In de les over je eerste automatisering bouwde je een workflow met een trigger, een AI-stap en een actie. Zo'n workflow werkt in een demo vaak meteen. In de praktijk komt er een keer een mail zonder tekst, een antwoord in een ander formaat of een storing bij de AI-dienst. Deze les laat zien hoe je daarop voorbereid bent.
Waarom AI-stappen anders zijn
Een gewone stap in een automatisering doet bij dezelfde invoer altijd hetzelfde. Een AI-stap niet: het antwoord kan per keer net anders zijn, en soms klopt het niet. Behandel de uitkomst van een AI-stap daarom als een voorstel dat je controleert, niet als een vast gegeven.
Vraag om een vast antwoordformaat
Laat de AI-stap antwoorden in een vast formaat, zoals JSON met vaste velden en vaste keuzes. Dan kan de volgende stap er direct mee werken, en kun je automatisch controleren of het antwoord klopt. Veel AI-diensten en automatiseringsplatforms hebben een instelling voor gestructureerde outputStructured outputStructured output is een antwoord van een AI-model in een vast, door software leesbaar formaat, zoals JSON met vooraf bepaalde velden, in plaats van vrije tekst.. Gebruik die als hij er is.
Antwoord alleen met JSON in dit formaat:
{
"categorie": "factuur" | "offerte" | "klacht" | "overig",
"bedrag": getal of null,
"zeker": true of false,
"samenvatting": "maximaal 25 woorden"
}
Zet "zeker" op false als de tekst onduidelijk is of over meerdere onderwerpen gaat.Controleer elk antwoord
- Is het geldige JSON met alle verplichte velden?
- Is de categorie een van de toegestane waarden?
- Zijn bedragen en datums echte getallen en datums, en vallen ze binnen redelijke grenzen?
- Komen genoemde gegevens, zoals een factuurnummer, echt voor in de oorspronkelijke tekst?
Faalt een van deze controles, dan gaat het item niet door naar de volgende stap. Het gaat naar een aparte lijst voor een collega.
Foutafhandeling en opnieuw proberen
AI-diensten zijn soms even niet bereikbaar of te druk. Stel in dat een mislukte stap na een korte pauze nog een of twee keer opnieuw wordt geprobeerd. Blijft het mislukken, dan stopt de automatisering voor dit item en krijg je een melding. Zorg ook dat een stap die twee keer draait geen dubbele actie oplevert, zoals twee keer dezelfde mail of twee keer dezelfde boeking.
Test met een vaste testset
Verzamel een reeks echte voorbeelden, geanonimiseerd waar nodig, met het juiste antwoord erbij. Neem ook lastige gevallen op: lege berichten, berichten in een andere taal, twee onderwerpen in één mail. Draai de testset opnieuw elke keer dat je de promptPromptEen prompt is de tekst die je aan een AI-model geeft: je vraag of opdracht, met de context, voorbeelden en wensen voor de vorm van het antwoord., het model of de stappen aanpast. Zo zie je meteen of een verbetering ergens anders iets kapotmaakt.
Monitoring en kosten
- Hoeveel items zijn er verwerkt, en hoeveel gingen er naar een mens?
- Hoe vaak faalde de controle of de AI-dienst?
- Hoe vaak paste een collega het resultaat aan?
- Wat kostte de automatisering deze maand, en past dat bij de tijd die ze bespaart?
Tokens per run = tokens in de invoer (instructie + tekst) + tokens in het antwoord
Tokens per maand = tokens per run x aantal runs per maand
Kosten per maand = tokens per maand x prijs per token van jouw model
Rekenvoorbeeld: 2.000 tokens per run x 3.000 runs = 6 miljoen tokens per maand.
Zoek de actuele prijs op bij je aanbieder en vul die in.
Invoer- en uitvoertokens hebben vaak een eigen prijs: reken ze dan apart.
Tel nieuwe pogingen na een fout mee als extra runs.Onthoud
- Behandel de uitkomst van een AI-stap als een voorstel dat je controleert.
- Vraag om een vast antwoordformaat en controleer elk antwoord voordat het verder gaat.
- Probeer mislukte stappen opnieuw, voorkom dubbele acties en stuur twijfelgevallen naar een mens.
- Test met een vaste testset en houd verwerking, fouten en kosten per maand bij.
Test jezelf
0/3 beantwoordKies een antwoord. Je ziet meteen of het klopt, en waarom.
1.Waarom laat je een AI-stap antwoorden in een vast formaat zoals JSON?
2.Wat doe je met een item dat niet door de controle komt?
3.Hoe bereken je de kosten per maand van een AI-stap?