Een transformer is het type neuraal netwerk achter moderne taalmodellen; het weegt alle woorden in een tekst tegen elkaar om te begrijpen wat met wat samenhangt.
Oudere taalmodellen lazen een zin woord voor woord en verloren daarbij makkelijk het verband met het begin. De transformer, geintroduceerd in 2017, lost dat op met een mechanisme dat attention heet: het model kijkt voor elk woord naar alle andere woorden en bepaalt welke ertoe doen. Zo begrijpt het dat in de zin 'de bank bij de rivier' iets anders bedoeld wordt dan 'geld op de bank'.
Vrijwel alle bekende modellen, zoals GPT, Claude en Gemini, zijn transformers. De T in GPT staat er zelfs voor. Je hoeft de techniek niet te kennen om AI te gebruiken, maar het verklaart waarom deze modellen zo goed zijn in taal: ze wegen context over een hele tekst in plaats van alleen de laatste paar woorden.