Inferencia

Inferencia je fáza, v ktorej už natrénovaný a hotový model spracúva nový vstup a na jeho základe generuje výstup, napríklad odpoveď na prompt – na rozdiel od trénovania, počas ktorého sa model dáta ešte len učí. Rýchlosť a náklady inferencie sú kľúčové pre reálne komerčné nasadenie AI produktov, keďže práve inferencia prebieha pri každom jednotlivom použití modelu koncovým používateľom.