Kaj je embedding?

Embedding je seznam števil, ki zajame, kaj pomeni delček besedila, ne samo to, katere besede vsebuje. Dve besedili, ki govorita o isti stvari, na primer »plačilo za dopust« in »plačan dopust«, se v številkah pojavita blizu skupaj, čeprav nista delila niti ene besede.

To je tehnologija, ki omogoča, da iskanje postane razumevanje namesto zgolj ujemanja besed. Ko vprašaš »kaj velja, ko sem na dopustu?«, lahko sistem najde odsek pravilnika o dopustu, čeprav tvoje vprašanje ne vsebuje besede »dopust«.

V praksi se embeddingi uporabljajo kot kazalo: vaši dokumenti se razdelijo na dele, vsakemu delu se dodelijo števila, in ko pride vprašanje, se števila vprašanja primerjajo s števili delov. Najbližji zadetki se pošljejo jezikovnemu modelu kot podlaga. Tako EuroWorkova knjižnica znanja in iskanje po dokumentih najde pravi odstavek v priročniku s sto stranmi, strošek indeksiranja pa je viden v dnevniku stroškov kot vse ostalo.