Bias in AI is een systematische scheefheid in de uitkomsten van een AI-systeem, waardoor bepaalde groepen mensen, meningen of situaties structureel anders of oneerlijk worden behandeld, meestal doordat de trainingsdata of het ontwerp scheef zijn.
Een AI-model leert van voorbeelden uit het verleden. Zitten daar vooroordelen of ongelijkheden in, dan leert het model die mee, en past het ze daarna op grote schaal toe. Bias kan ook ontstaan doordat bepaalde groepen ondervertegenwoordigd zijn in de data, doordat de makers ongemerkt keuzes maken in wat het model moet voorspellen, of doordat een ogenschijnlijk neutraal kenmerk, zoals een postcode, samenhangt met afkomst of inkomen.
Bij generatieve AI zie je bias in de teksten en beelden die het maakt. Vraag om een afbeelding van een directeur of een verpleegkundige, en je krijgt vaak een stereotiep beeld. Vraag om een functieomschrijving, en het model kiest soms woorden die de ene groep meer aanspreken dan de andere. Dat is subtieler dan een fout, maar het kan wel effect hebben op wie zich aangesproken voelt.
Een bedrijf gebruikt een AI-tool om sollicitanten voor te selecteren. De tool is getraind op de cv's van mensen die in het verleden zijn aangenomen. Omdat in die functie vooral mannen werkten, scoort de tool cv's met kenmerken die vaker bij vrouwen voorkomen lager, zonder dat iemand dat zo heeft bedoeld. Pas bij een analyse van de uitkomsten per groep valt het op. Dit soort risico's is een reden dat AI voor werving onder de AI Act als hoog risico geldt.
Een misverstand is dat je bias oplost door gevoelige kenmerken als geslacht of afkomst weg te laten. Andere gegevens kunnen ze verraden, zoals een naam, een hobby of een postcode. Een ander misverstand is dat een computer objectiever is dan een mens. Een model kan menselijke vooroordelen juist versterken en consequent toepassen. Bias helemaal uitsluiten lukt zelden; het gaat erom dat je het meet, beperkt en blijft bewaken.