Multimodale AI: als AI ook kijkt en luistert in plaats van alleen leest

Je krijgt een foto van een kapotte verpakking, een screenshot van een foutmelding, of een spraakbericht van een klant met een klacht. Overtypen kost tijd en voelt onnodig, dus je vraagt je af: kan AI dit niet gewoon zelf bekijken of beluisteren, in plaats van dat jij eerst alles in tekst omzet?

Stel je een collega voor die vroeger alleen memo's kon lezen. Stuurde je een foto of speelde je een spraakbericht af, dan stond diegene met lege handen: eerst overtypen, dan pas kon hij verder. Diezelfde collega kan inmiddels ook gewoon naar een foto kijken of naar een spraakbericht luisteren en meteen vertellen wat erin staat, net zo goed als bij een geschreven tekst. Dat is een fikse uitbreiding van wat die collega voor je kan doen, zonder dat jij eerst iets hoeft over te typen.

Een AI-model dat naast tekst ook beeld, audio en soms video kan lezen en begrijpen, heet multimodaal. Waar een klassiek taalmodel alleen tekst leest en tekst teruggeeft, kan een multimodaal model een foto bekijken en daar in gewone taal over vertellen, of een gesproken vraag beantwoorden.

Zodra je dit weet, snap je waarom je steeds minder handmatig hoeft over te typen. Veel informatie in een bedrijf zit niet alleen in tekst: een factuur is een foto, een instructie is een video, een klacht komt binnen als spraakbericht. Multimodale AI maakt het mogelijk om die informatie direct te verwerken zonder alles eerst handmatig naar tekst om te zetten.

Dat opent toepassingen die met tekst-only AI niet mogelijk waren, en het scheelt vooral tijd bij het soort werk dat nu nog met overtypen of handmatig doorbladeren gebeurt.

• Ondernemer (MKB): een klant stuurt een foto van een kapot product of een spraakbericht met een klacht, en je wilt dat snel en overzichtelijk kunnen verwerken.
• Office/administratie: ingescande formulieren, certificaten of handgeschreven notities verwerken zonder alles over te typen.
• Verkoop: een productfoto of brochure laten samenvatten voor een offerte.
• Corporate teams (marketing, HR, IT, onderwijs, manager): marketing analyseert beeldmateriaal, HR beoordeelt ingescande documenten, IT beschrijft screenshots in bugrapporten, onderwijs legt een diagram of handgeschreven aantekening uit, de manager neemt snel een presentatie met veel afbeeldingen door.

1. Bepaal welk type input je hebt: tekst, foto, screenshot, audio of video.
2. Kies een model dat die specifieke input ondersteunt, dat verschilt per model en per versie.
3. Upload of plak het bestand samen met een duidelijke tekstinstructie over wat je wilt (beschrijven, samenvatten, vergelijken, vertalen).
4. Controleer het antwoord extra kritisch bij details in beeld of audio, zoals kleine tekst op een foto of achtergrondgeluid in audio.
5. Combineer waar nodig meerdere modaliteiten, bijvoorbeeld een foto plus een korte tekstuele vraag erover.
6. Bewaar gevoelige beeld- of audiobestanden bewust: check vooraf het privacybeleid van de tool voordat je iets gevoeligs uploadt.

Een HR-medewerker krijgt een foto van een handgeschreven verlofformulier binnen. In plaats van het handmatig over te typen, uploadt ze de foto naar een multimodaal model met de vraag om de gegevens (naam, periode, reden) in een gestructureerde lijst te zetten. Het model leest het handschrift, herkent de velden en levert een bruikbare samenvatting, die ze vervolgens nog even controleert op onduidelijke woorden.

• Gebruik dit morgen: upload een foto van een document, whiteboard of screenshot naar een multimodaal model en vraag om een samenvatting of gestructureerde lijst.
• Gebruik dit morgen: laat een model een grafiek of diagram in gewone taal uitleggen voordat je het in een presentatie verwerkt.
• Gebruik dit morgen: gebruik spraakinvoer voor snelle notities en laat het model die meteen omzetten in een actielijst.
• Gebruik dit morgen: check bij een nieuwe AI-tool expliciet of hij beeld en audio ondersteunt, dat scheelt vaak een handmatige overtypstap.

Alle modellen (ChatGPT, Claude, Gemini, Copilot)

[Afbeelding of screenshot bijvoegen]
Beschrijf wat er op deze afbeelding te zien is en zet de belangrijkste informatie
(tekst, cijfers, namen) in een overzichtelijke lijst. Geef aan als iets onduidelijk
of moeilijk leesbaar is, in plaats van te gokken.

[Afbeelding van een diagram of grafiek bijvoegen]
Leg in eenvoudige taal uit wat dit diagram laat zien, alsof je het uitlegt
aan iemand zonder achtergrond in dit onderwerp. Noem de belangrijkste trend
of conclusie in een zin.

• Ervan uitgaan dat elk model automatisch beeld of audio ondersteunt: dat verschilt per model en versie.
• Kleine tekst of details in een foto klakkeloos overnemen zonder te controleren of het model die goed heeft gelezen.
• Gevoelige documenten (identiteitsbewijzen, medische gegevens) uploaden zonder te checken hoe de tool met die data omgaat.
• Geen duidelijke tekstinstructie meegeven bij een afbeelding, waardoor het model moet raden wat je precies wilt.

• Geef altijd een concrete tekstinstructie mee naast het beeld of de audio, in plaats van alleen het bestand te uploaden.
• Controleer output die uit beeld of audio komt extra kritisch, vooral bij kleine tekst, handschrift of achtergrondgeluid.
• Wees terughoudend met gevoelige bestanden totdat je weet hoe de tool daarmee omgaat.
• Combineer modaliteiten bewust: een foto plus tekst geeft vaak een preciezer antwoord dan losse input.

Maak een foto of screenshot van een tabel, diagram of handgeschreven notitie die je nu bij de hand hebt. Upload die naar een multimodaal model met de vraag om de inhoud samen te vatten in een lijst. Vergelijk het antwoord met het origineel en noteer welke details het model goed oppakte en welke het miste of verkeerd las.