Guardrails zijn de controles en grenzen rond een AI-systeem die ervoor zorgen dat het binnen de bedoelde kaders blijft, bijvoorbeeld door ongewenste vragen te weigeren, gevoelige gegevens te filteren of risicovolle acties te blokkeren.
Een taalmodel doet in principe zijn best om elke vraag te beantwoorden. Guardrails zorgen ervoor dat een AI-systeem dat alleen doet binnen de grenzen die jij stelt. Ze kunnen op drie plekken zitten: bij de invoer (welke vragen of gegevens laat je toe), bij de uitvoer (wat mag het systeem teruggeven) en bij de acties (wat mag het systeem doen in andere systemen).
Sommige guardrails zitten in het model zelf: de aanbieder heeft het getraind om bepaalde verzoeken te weigeren. Andere bouw je zelf. Denk aan instructies in de systeemprompt, een filter dat burgerservicenummers of rekeningnummers uit de invoer haalt, een controle of het antwoord over het juiste onderwerp gaat, een schema voor structured output en een regel dat betalingen altijd door een mens worden bevestigd. De sterkste guardrails zijn gewone regels in je software, buiten het model, omdat het model die niet kan negeren.
Een energiebedrijf bouwt een chatbot voor klantvragen. De guardrails: de chatbot beantwoordt alleen vragen over energiecontracten en de factuur, weigert juridisch of medisch advies, toont geen klantgegevens zonder dat de klant is ingelogd en kan zelf geen contracten wijzigen. Een apart filter controleert elk antwoord op bedragen en toezeggingen, en stuurt twijfelgevallen door naar een medewerker.
Een misverstand is dat een regel in de systeemprompt genoeg is. Het model volgt die meestal, maar met prompt injection of slim doorvragen is het soms om te praten. Zie instructies als eerste laag, niet als enige. Een ander misverstand is dat meer guardrails altijd beter zijn: een systeem dat te veel weigert, wordt onbruikbaar en zet mensen aan om onveilige alternatieven te zoeken. Test daarom zowel of het systeem ongewenste dingen tegenhoudt als of het gewone vragen nog goed beantwoordt.