Lokale AI is een AI-model dat je op je eigen apparaat of server draait in plaats van in de cloud van een aanbieder, zodat je tekst, audio of documenten je eigen omgeving niet verlaten.
Bij de meeste AI-tools gaat je tekst via internet naar de servers van de aanbieder. Bij lokale AI draait het model op je eigen laptop, pc of een server binnen je organisatie. Met tools als Ollama en LM Studio download je een open model en gebruik je het ook zonder internetverbinding. Whisper kan gesprekken lokaal uitschrijven.
Het voordeel is controle: je weet waar je gegevens zijn, er gaat niets naar een externe AI-aanbieder en je bent niet afhankelijk van een dienst die van voorwaarden of prijs verandert. Er zijn ook geen kosten per token; je betaalt wel voor hardware, stroom en de tijd voor beheer.
Een huisartsenpraktijk wil spraakmemo's van de huisarts laten uitschrijven, maar wil geen patiëntgegevens naar een clouddienst sturen. Een lokaal draaiend spraakmodel op een afgeschermde computer zet de memo's om naar tekst. Daarna controleert de huisarts de uitwerking voordat die in het dossier komt.
Lokale modellen zijn meestal kleiner en minder sterk dan de grootste cloudmodellen, en vragen een computer met veel werkgeheugen en bij voorkeur een krachtige videokaart. Verwacht dus niet dezelfde kwaliteit bij complexe taken. Een misverstand is ook dat lokaal automatisch veilig is: een slecht beveiligde laptop of een server die open op internet staat, blijft een risico. En de AVG blijft gewoon gelden voor wat je met de gegevens doet.