Wat is een embedding?

Een embedding is een lijst met cijfers die vastlegt wat een stuk tekst betekent, niet alleen welke woorden erin staan. Twee teksten die over hetzelfde gaan, zoals "vakantiegeld" en "betaald verlof", komen dicht bij elkaar in die cijfers te staan, ook al delen ze geen enkel woord.

Het is de techniek die ervoor zorgt dat zoeken begrip wordt in plaats van alleen maar woordmatching. Als je vraagt: "wat geldt er als ik vrij ben?", kan het systeem het beleidsstuk over vakantie vinden, ook al stond het woord "vakantie" niet in je vraag.

In de praktijk worden embeddings gebruikt als index: jullie documenten worden in stukken verdeeld, elk stuk krijgt zijn eigen cijfers, en als er een vraag binnenkomt, worden de cijfers van die vraag vergeleken met die van de stukken. De resultaten die het dichtstbij liggen, worden naar het taalmodel gestuurd als basis. Zo vindt de kennisbank en documentszoekfunctie van EuroWork het juiste stukje in een handboek van honderd pagina’s. En de kosten voor het indexeren staan, net als al het andere, in de kostenlog.