"We willen zoiets als ChatGPT, maar dan over onze eigen documenten." Dat is bijna letterlijk de vraag die we het vaakst krijgen, en het is een goede vraag. Alleen zit er een aanname in die het waard is om uit te pakken, want daar hangt de helft van de prijs aan.
Het probleem met een model dat alles al weet
Een taalmodel heeft ontzettend veel gelezen, maar niets van jou. Het kent je prijslijst niet, je leveringsvoorwaarden niet en je installatiehandleiding niet.
Vraag je er toch naar, dan krijg je zelden "dat weet ik niet". Je krijgt een plausibel antwoord dat nergens op gebaseerd is. Bij een prijs of een artikelnummer is dat lastiger te herkennen dan een foutmelding, en dat is precies waarom dit soort projecten misgaat als je er niets aan doet.
Wat RAG doet
RAG staat voor retrieval-augmented generation. In gewone taal: eerst opzoeken, dan pas antwoorden.
Het werkt zo. Je documenten worden in stukjes geknipt, ongeveer een paar alinea's per stuk. Van elk stukje wordt een soort vingerafdruk van de betekenis gemaakt. Komt er een vraag binnen, dan wordt daar dezelfde vingerafdruk van gemaakt en zoeken we de paar stukjes die er qua betekenis het dichtst bij liggen.
Alleen die stukjes gaan mee naar het model, met de instructie: beantwoord de vraag met deze tekst en zeg het als het er niet in staat.
Drie dingen die daardoor veranderen. Het antwoord komt uit jouw tekst en niet uit algemene kennis. Het model kan de bron erbij zetten, zodat iemand kan nakijken of het klopt. En je kunt je kennis bijwerken door een document te vervangen, zonder dat er iets opnieuw getraind hoeft te worden.
De assistent rechtsonder op deze site werkt precies zo. Hij kent alleen wat er op omcode.nl staat en zet er altijd bij waar het vandaan komt. Probeer hem gerust: vraag hem iets dat hier niet staat en kijk wat hij doet.
RAG of finetunen?
Dit is de andere vraag die vaak langskomt. Finetunen is een model bijtrainen op je eigen voorbeelden.
Vuistregel: gaat het om kennis, dan is het RAG. Gaat het om stijl of vorm, dan kan finetunen zinvol zijn.
Wil je dat het model jouw prijzen kent, kies RAG. Je prijzen veranderen, en dan wil je een bestand vervangen en niet opnieuw trainen. Wil je dat elk antwoord klinkt zoals jullie schrijven en heb je duizenden voorbeelden van hoe dat is, dan wordt finetunen interessant. In het MKB is het antwoord bijna altijd RAG, en meestal is een goede instructie genoeg voor de toon.
Wanneer je het niet nodig hebt
Niet elke chatbot heeft RAG nodig, en het weglaten scheelt geld.
Je hebt twintig veelgestelde vragen en die veranderen nauwelijks. Zet ze dan gewoon in de instructie. Dat is goedkoper, sneller en volledig voorspelbaar. Onder de ongeveer vijftig vragen is dit vrijwel altijd de betere keuze.
Het antwoord moet elke keer identiek zijn. Bij leveringsvoorwaarden, garantietermijnen of veiligheidsinstructies wil je geen geformuleerd antwoord maar het letterlijke stuk tekst. Toon dan de bron zelf, met hooguit een zin eromheen.
De vraag is eigenlijk een zoekfunctie. Wil iemand het document vinden in plaats van er een antwoord uit, dan is een goede zoekfunctie beter en veel goedkoper. Zie slimme zoekfunctie.
Je documenten kloppen niet. Drie versies van dezelfde handleiding met andere getallen erin. RAG maakt dat niet beter, het maakt het schaalbaar. Ruim eerst op.
Waar het in de praktijk op stukloopt
Rommelige bronnen. Gescande pdf's zonder tekstlaag, presentaties waar de inhoud in plaatjes zit, notities van drie jaar geleden die nooit zijn ingetrokken. Dit is bij vrijwel elk project het echte werk.
Verkeerd geknipt. Knip je te klein, dan mist een stukje de context om iets te betekenen. Te groot, en één stukje gaat over zes onderwerpen tegelijk waardoor het bij geen enkele vraag goed past. Wij knippen per logische eenheid, dus per hoofdstuk of per vraag-en-antwoord, niet per vast aantal woorden.
Geen ondergrens. Als je altijd de vijf best passende stukjes meestuurt, krijg je ook bij een vraag die nergens over gaat vijf stukjes. Er hoort een drempel in: is niets goed genoeg, dan is het antwoord "dat staat er niet".
Niet bijgewerkt. De kennisbron is een momentopname van je documenten. Verandert er iets en werk je hem niet bij, dan antwoordt hij overtuigd over de oude situatie. Bij ons draait daar een controle op die waarschuwt zodra de content nieuwer is dan de kennisbron.
Wat het kost
Een chatbot met een vaste instructie en een handvol vragen: vanaf ongeveer veertienhonderd euro. Met RAG op je eigen documenten zit je meestal tussen de drie- en achtduizend, afhankelijk van hoe rommelig je bronnen zijn en of er nog een koppeling bij komt.
Daarnaast betaal je verbruik. Bij RAG is dat iets hoger per vraag, want je stuurt de gevonden stukjes mee. Reken op enkele centen per vraag; wat dat bij jouw aantallen wordt staat in wat kost een AI-agent laten bouwen.
Het opknappen van je documenten zit daar niet in en is vaak de grootste post. Dat kun je zelf doen, en dat scheelt het meest.
Waar de gegevens heen gaan
Bij het bouwen van de kennisbron gaan je documenten eenmalig langs een model om die vingerafdrukken te maken. Bij elke vraag gaan de gevonden stukjes mee. De rest van je documenten niet.
Dat betekent ook: zet er niets in wat niet iedereen mag lezen die de chatbot kan gebruiken. Wil je wel onderscheid, dan moet de zoekstap je rechten kennen, en dat is een wezenlijk andere bouw. Vraag daar expliciet naar. Wat er verder met je gegevens gebeurt staat in is een AI-agent veilig met bedrijfsgegevens.
Hoe wij het doen
We beginnen bij je documenten en niet bij de techniek: wat is er, wat klopt er nog, en wat kan weg. Daarna bouwen we de kennisbron en testen we met echte vragen van echte mensen, niet met vragen die wij zelf bedenken.
Elk antwoord krijgt zijn bron mee, zodat iemand kan doorklikken. En weet hij het niet, dan zegt hij dat en wijst hij naar een mens. Dat laatste is geen zwakte maar de reden dat mensen de rest wel geloven.
Meer staat op de pagina's over AI-integraties en bij de toepassingen chatbot op eigen kennis en AI-kennisassistent. De begrippen zelf staan uitgelegd in de begrippenlijst.
Kort samengevat
- Een model kent jouw documenten niet en verzint liever iets dan dat het niks zegt.
- RAG zoekt eerst de juiste stukjes op en laat het model daaruit antwoorden, met bronvermelding.
- Gaat het om kennis: RAG. Gaat het om stijl en heb je duizenden voorbeelden: finetunen.
- Onder de vijftig vaste vragen is een goede instructie goedkoper en voorspelbaarder.
- Het echte werk zit in je documenten, niet in de techniek.