Šta je embedding?

Embedding je lista brojeva koja hvata šta dio teksta znači, a ne samo koje riječi sadrži. Dva teksta koja govore o istoj stvari, na primjer "naknada za godišnji odmor" i "plaćeno odsustvo", završit će blizu jedan drugom u tim brojevima iako ne dijele nijednu riječ.

To je tehnologija koja pretragu pretvara u razumijevanje umjesto pukog podudaranja riječi. Kada pitate "šta vrijedi kada sam na odmoru?", sistem može pronaći dio pravilnika o godišnjem odmoru iako vaše pitanje nije sadržavalo tu riječ.

U praksi se embeddings koriste kao indeks: vaši dokumenti se dijele na dijelove, svakom dijelu se dodjeljuju brojevi, a kada stigne pitanje, brojevi pitanja se uspoređuju s brojevima dijelova. Najbliži rezultati se šalju jezičkom modelu kao osnova. Tako EuroWork-ova biblioteka znanja i pretraga dokumenata pronalazi pravi odlomak u priručniku od stotinu stranica, a trošak indeksiranja se vidi u evidenciji troškova kao i sve ostalo.