Token

Token je základná jednotka textu, na ktorú jazykový model rozdeľuje vstupný aj výstupný text – zvyčajne ide o časť slova, celé slovo, znak alebo interpunkciu. Modely spracúvajú text práve v tokenoch, nie v celých slovách, a cena aj rýchlosť práce s väčšinou AI API sa počíta podľa počtu spracovaných a vygenerovaných tokenov. Pochopenie tokenizácie je dôležité aj pri odhadovaní nákladov na nasadenie AI vo firemných procesoch.