Frameworky pre AI aplikácie sú knižnice a nástroje, ktoré vývojárom uľahčujú stavbu riešení nad jazykovými modelmi. Riešia opakujúce sa úlohy: napojenie na rôznych poskytovateľov modelov, delenie dokumentov na bloky a ich vyhľadávanie, poskladanie kontextu, volanie externých nástrojov a orchestráciu viacerých krokov za sebou. Vďaka nim vzniká prototyp rýchlo, čo je zároveň ich riziko – od funkčného prototypu k spoľahlivej prevádzke je ďaleko a väčšina práce spočíva v testovaní, ošetrení chýb a monitorovaní. Pre firmu je podstatné, že voľba frameworku je technické rozhodnutie s dlhodobým dopadom na údržbu, a že vlastný vývoj má zmysel až vtedy, keď hotové riešenia narazia na preukázateľné obmedzenie.
Pozri aj: hotové riešenie vs vývoj na mieru, RAG nad vlastným obsahom firmy, retrieval pipeline.
