Crawl budget je množstvo stránok, ktoré je vyhľadávací robot ochotný a schopný na vašom webe prejsť za dané obdobie. Určujú ho dva faktory: koľko dokáže server zniesť bez spomalenia a nakoľko sa robotovi oplatí web prechádzať, teda ako často sa na ňom mení niečo hodnotné. Malé weby to riešiť nemusia, no pri e-shopoch a portáloch s desiatkami tisíc adries sa stáva limitom. Rozpočet sa najčastejšie míňa na veci, ktoré nemajú byť v indexe: nekonečné kombinácie filtrov, vyhľadávacie výsledky, stránkovanie, testovacie adresy a reťazenia presmerovaní. Nasmerovať ho späť sa dá blokovaním zbytočných adries, zrýchlením odpovede servera, odstránením mŕtvych odkazov a udržiavaním čistej mapy stránok, ktorá obsahuje len adresy, ktoré majú byť indexované.
Pozri aj: index bloat, facetová navigácia, reťazenie presmerovaní.
