Šta je token?

Token je mala jedinica teksta koju AI model čita i piše. To nije baš riječ, ali ni slovo, nego nešto između: u tekućem tekstu jedan token odgovara otprilike četiri znaka, tako da stotinu riječi grubo iznosi oko 130 tokena.

Zašto je to važno? Zato što se za tokene plaća. Dobavljači AI usluga naplaćuju po milion tokena, i za ulazne i za izlazne. Kratak odgovor na kratko pitanje košta djelić novčića, a analiza dugog godišnjeg izvještaja košta više, jer model mora pročitati sve.

Zato se može vjerovati AI usluzi koja prikazuje troškove po odgovoru: cijena proizilazi iz količine teksta koji je stvarno pročitan i napisan, a ne iz neke izmišljene kreditne valute. U EuroWorku trošak je naveden ispod svakog odgovora, u vašoj valuti, izračunat na osnovu tačno onoliko tokena koliko je odgovor potrošio.