Transformer architektúra

Transformer je architektúra neurónovej siete predstavená v roku 2017, ktorá pomocou mechanizmu tzv. attention (pozornosti) dokáže efektívne spracúvať dlhé sekvencie textu a zohľadňovať vzťahy aj medzi vzdialenými slovami vo vete či dokumente. Táto architektúra je základom takmer všetkých moderných veľkých jazykových modelov vrátane GPT, Claude či Gemini a jej vynález sa považuje za jeden z kľúčových míľnikov súčasného rozmachu generatívnej AI.