In mei 2023 begonnen we, in samenwerking met collega’s van de Sociale Verzekeringsbank (SVB), het ST.AI experiment. Dit experiment had als doel om te onderzoeken of we met behulp van kunstmatige intelligentie (AI) vragen van burgers in gespreksvorm via de SVB-website kunnen beantwoorden.

Aanleiding en Team

Binnen de SVB worden regelmatig inspiratiesessies gehouden. In 2022 werden ook de resultaten gepresenteerd van het Novum onderzoek naar generatieve AI. Dit leidde in 2023 tot twee AI-experimenten, waaronder het ST.AI traject. We vormden een divers team bestaande uit een UX Designer, innovatiecoach en -designer, een ethiekexpert, een algoritme-expert en een ontwikkelaar.

Wat is Conversational AI

Conversational AI is een verzamelnaam voor technologieën die zorgen voor taalkundige interacties tussen machines en mensen. Ons doel was om te onderzoeken of we de bezoekers van SVB.nl beter van informatie kunnen voorzien met behulp van Conversational AI. Vaak zie je dat terug in de vorm van een chatbot, zo ook in dit experiment.

Opzet van het eerste experiment

Onze UX Designer bouwde een prototype waarmee we een eerste gebruikerstest konden uitvoeren. Deze gebruikerstest richtte zich op bezoekers van de website die kinderbijslag ontvangen. Een belangrijke aanname was dat een Generatief AI systeem deze bezoekers van cruciale informatie kan voorzien. We dachten ook dat het gebruik van een LLM op de SVB-website de informatievoorziening zou verbeteren en de klanttevredenheid zou verhogen. De respondenten werden geworven uit het SVB-klantpanel. Uit de test bleek dat de respondenten deze vorm van informatievoorziening waarderen en zouden gebruiken als het beschikbaar was. Het prototype was beperkt, maar gaf ons genoeg inzicht om een vervolgexperiment te starten.

Opzet van het tweede experiment

In april 2024 startten wij het tweede experiment. Dit experiment moest onze aannames over technische aspecten, gebruikersgedrag en -behoefte verder onderzoeken. Voor het opzetten van de testomgeving is gekozen voor de Azure producten “Azure AI Studio”, “Azure OpenAI Studio” en enkele losse services. Deze bleken niet goed op elkaar aan te sluiten. Na overleg met Microsoft support bleek dat deze producten nog verder verbeterd zouden worden de komende maanden. Daarom is besloten om het experiment tijdelijk stil te leggen.

Volgende Stappen

Wij blijven de ontwikkelingen van Microsoft Azure AI Studio en relevante functies en diensten volgen. Het ST.AI experiment is een volgende stap richting een nog betere informatievoorziening voor onze bezoekers met behulp van AI.