Lokálne modely sú jazykové modely spustené na vlastnom hardvéri firmy namiesto cloudovej služby. Hlavným dôvodom pre ich nasadenie je, že spracúvané údaje neopustia firemnú infraštruktúru, čo rieši obavy pri citlivých dokumentoch a v regulovaných odvetviach. Druhotným dôvodom býva predvídateľnosť nákladov pri veľkom objeme spracovania. Cena za to je však reálna: potrebný hardvér nie je lacný, otvorené modely bývajú pri zložitejších úlohách slabšie než najlepšie komerčné, a firma preberá zodpovednosť za prevádzku, aktualizácie a bezpečnosť. Prakticky sa lokálne modely oplatia pri úlohách s vysokým objemom a nižšou náročnosťou – triedenie, vyťažovanie údajov, prepis – a menej pri úlohách vyžadujúcich najvyššiu kvalitu výstupu.
Pozri aj: cloudové AI platformy, koľko stojí AI riešenie, RAG nad vlastným obsahom firmy.
