الرمز (Token) هو الوحدة الأساسية للنص، التي يقسم النموذج اللغوي النص المدخل والنص الناتج إليها — وعادةً ما يكون جزءًا من كلمة، أو كلمة كاملة، أو حرفًا، أو علامة ترقيم. تقوم النماذج بمعالجة النص باستخدام التوكينات، وليس الكلمات الكاملة، ويتم حساب تكلفة وسرعة العمل مع معظم واجهات برمجة تطبيقات الذكاء الاصطناعي (AI API) بناءً على عدد التوكينات التي تمت معالجتها وإنشاؤها. كما أن فهم عملية التقطيع إلى توكنات مهم أيضًا عند تقدير تكاليف نشر الذكاء الاصطناعي في العمليات المؤسسية.
