Case study: PoC van een AI-Agent

Achtergrond

Om ervoor te zorgen dat de opdrachtgever voorop blijft lopen in de markt en de beste, snelste meest efficiënte dienstverlening kan blijven leveren bij het leveren van medische hulpmiddelen, kregen wij de vraag om een Proof of Concept te ontwikkelen die AI inzet om de juiste hulpmiddelen makkelijker te verkrijgen via hun portalen. Niet zomaar een chatbot maar een AI-agent die bezoekers persoonlijk begeleidt in het gehele proces.

Uitdaging

Het doel was om de technische haalbaarheid van een AI-agent binnen het portaal te toetsen en te valideren. Is de AI-agent in staat om gebruikersvragen correct te begrijpen, relevante antwoorden te geven, en effectief te communiceren binnen de bestaande applicatie en infrastructuur?

Oplevering

Na vijf dagen knallen hebben onze ontwikkelaars een AI-Agent gebouwd die op basis van de kennisbank en de content van de portalen, gebruikers snel en accuraat antwoord kan geven op vragen en verschillende processen automatisch in gang kan zetten. Daarnaast is deze Proof Of Concept zeer gebruiksvriendelijk en echt gericht op het analyseren van gesprekken, wat het mogelijk maakt om hiervan te leren en deze continu te verbeteren.

Hieronder een lijst aan onderdelen die zijn ontwikkeld, mindblowing om te zien wat je in een week kunt doen:

AI Model vergelijkingsmodule
Om te onderzoeken welk AI model het beste werkt, is er een live vergelijkingstest opgezet waarmee je met maar liefst vijf verschillende AI-modellen tegelijkertijd output kan testen. Dit is gedaan om zo de beste prestaties te garanderen voor de gebruiker.

Intentie herkenning
Om de gebruikers op de best mogelijke manier te helpen is een slimme intent recognition toegevoegd aan het model zodat de AI begrijpt wat de gebruiker echt wil en een goed en correct antwoord kan geven. Dit minimaliseert ook het risico op misbruik van hackers of enthousiaste gebruikers.

Serviceformulier
De serviceformulieren voor bijvoorbeeld ophaalverzoeken, zijn direct beschikbaar en eenvoudig in te vullen vanuit het gesprek met AI. Eindelijk een manier om snel een formulier in te vullen en een AI-Agent die je helpt.

Slimme winkelwagen
Vanuit het gesprek met de Agent is het mogelijk om producten toe te voegen aan de winkelwagen, dus de Agent voegt producten toe aan je winkelmand zonder dat je daar zelf iets voor hoeft te doen Nu het afrekenen nog, en dan heb je helemaal geen webshop meer nodig 😉 

Track & Trace
De Agent is gekoppeld aan een gebruiksvriendelijke Track & Trace widget, waarmee zendingen eenvoudig kunnen worden opgezocht en gevolgd.

Feedback verzameling
De Agent is uitgerust met intelligente feedback verzameling, waarbij de Agent gebruikers vraagt om het gesprek te beoordelen maar dit ook zelf doet op basis van andere gesprekken.

Logging systeem en Scoremodel
Elk chat gesprek wordt gelogd in een geavanceerd logging systeem, inclusief alle tool calls (e.g. context ophalen of producten ophalen). Ook worden er scores gegeven door zowel de Agent als de testgebruiker. Daarnaast vat het systeem het gesprek ook samen zodat de testers achter de schermen snel en overzichtelijk een objectieve beoordeling van het gesprek kunnen bekijken en kunnen inzien of dit later kan worden gebruikt als trainingsdata om het model te finetunen.

Admin panel voor testers
Een krachtig admin panel waarmee testers prompts van de AI kunnen aanpassen en real-time het effect hiervan kunnen testen.

En dat allemaal in 1 week 😀

 

 

Next steps

Na de succesvolle demo van deze Agent is er een duidelijk plan van aanpak opgesteld voor de volgende fase: van PoC naar Pilot. 

Het doel van deze pilot zal worden om de Agent in een realistische productieomgeving te testen, waarbij wordt onderzocht hoe de Agent presteert op live gebruikersdata. Hierbij ligt de focus op het meten van de impact op conversie, klanttevredenheid en operationele efficiëntie, met als doel om inzicht te krijgen in de toegevoegde waarde van deze AI-oplossing voor zowel gebruikerservaring als bedrijfsresultaten. 

In deze fase zal de nadruk ook liggen op het finetunen van het AI model. Door middel van trainingsdata (goede gespreksvoorbeelden) uit het logging systeem proberen we de kwaliteit van de reacties flink te verhogen.