AI crawler je automatizovaný robot, ktorý sťahuje obsah webu pre potreby jazykových modelov. Nejde o jednu kategóriu – rozlišujte tréningové roboty zbierajúce dáta na učenie modelu, vyhľadávacie roboty budujúce index pre generatívne odpovede a roboty, ktoré načítajú stránku až v momente, keď sa na ňu používateľ pýta. Najznámejšie sú GPTBot a OAI-SearchBot od OpenAI, ClaudeBot od Anthropicu, PerplexityBot a token Google-Extended, ktorým sa riadi využitie obsahu pre generatívne funkcie Googlu. Riadia sa súborom robots.txt, kde ich možno povoliť aj zakázať samostatne. Práve v tejto granularite je jadro rozhodnutia: zablokovaním tréningových botov chránite obsah pred učením modelu, no zablokovaním vyhľadávacích botov si zároveň zatvárate cestu do AI odpovedí a prichádzate o viditeľnosť aj o návštevnosť.
Pozri aj: grounding, pasážové indexovanie, share of voice v AI odpovediach.
