Semantic caching je technika, pri ktorej si systém ukladá odpovede na dopyty a pri novom, významovo podobnom dopyte použije uloženú odpoveď namiesto nového spracovania. Dôvodom je cena a rýchlosť – volanie modelu stojí peniaze a trvá, kým vrátenie uloženej odpovede je takmer okamžité. Pre firmy, ktoré prevádzkujú vlastného asistenta alebo chatbota, ide o jeden z najúčinnejších spôsobov, ako znížiť náklady, keďže veľká časť otázok zákazníkov sa opakuje. Má to však dôsledok, s ktorým treba počítať: po zmene informácie na webe alebo v cenníku môže systém istý čas odpovedať podľa starých údajov. Preto sa nastavuje platnosť uloženej odpovede a pri kritických údajoch, ako sú ceny a dostupnosť, sa ukladanie vypína.
Pozri aj: oneskorenie indexácie v AI, signál aktuálnosti obsahu, koľko stojí AI riešenie.
