Een multimodaal AI-model kan met meerdere soorten invoer of uitvoer werken, zoals tekst, afbeeldingen, audio en video, bijvoorbeeld een foto van een formulier lezen of een gesprek uitschrijven.
De eerste chatbots konden alleen tekst. De meeste grote modellen kunnen nu ook afbeeldingen bekijken, en vaak ook spraak verwerken. Sommige kunnen zelf beelden, audio of video maken. Het woord verwijst naar de soort informatie: tekst, beeld en geluid zijn verschillende modaliteiten, en een multimodaal model kan er meerdere aan.
Onder de motorkap zet het model beeld en geluid om naar een vorm die het samen met tekst kan verwerken. Daardoor kun je in één vraag combineren: wat staat er in deze grafiek, en klopt het met de tekst in dit rapport? Je kunt een foto van een whiteboard laten uitwerken, een screenshot van een foutmelding laten uitleggen of een grafiek laten beschrijven.
Een uitvoerder in de bouw maakt foto's van handgeschreven werkbonnen en laat de AI er een nette tabel van maken voor de administratie. Een marketingmedewerker legt een ontwerp van een flyer voor en vraagt of de tekst leesbaar is en de boodschap overkomt. Een teamleider spreekt onderweg een memo in en laat die omzetten naar een gestructureerd verslag.
Een model kijkt niet zoals een mens. Het kan kleine tekst, handschrift, tabellen met veel cijfers of technische tekeningen verkeerd lezen, en ook dan klinkt het antwoord zeker. Bij beeld kan het net zo goed hallucineren als bij tekst. Controleer dus de overgenomen cijfers. Daarnaast maakt dezelfde techniek die beelden en stemmen maakt ook deepfakes mogelijk.