Rate limiting je obmedzenie počtu požiadaviek za časový úsek pri automatizovanom zbere dát. Má dva dôvody. Prvým je praktický – agresívny zber je okamžite rozpoznaný a zablokovaný, takže pomalší postup je paradoxne rýchlejší k cieľu. Druhým je etický a právny, keďže tisíce požiadaviek za minútu môžu spomaliť alebo zhodiť cudzí server, čo už je škoda, nie zber dát. K slušnému postupu patrí rešpektovanie pravidiel v súbore robots.txt, identifikácia robota s kontaktom na prevádzkovateľa, zber mimo špičky, sťahovanie len potrebných stránok namiesto celého webu, ukladanie výsledkov a ich opätovné použitie namiesto opakovaného sťahovania. Ak prevádzkovateľ ponúka rozhranie alebo dátový export, použite ho prednostne.
Pozri aj: právne aspekty scrapingu, AI crawler, dátový audit.
