تحديد معدل الطلبات هو تقييد عدد الطلبات خلال فترة زمنية معينة عند جمع البيانات آليًّا. وهناك سببان لذلك. الأول عملي — فالجمع المكثف يتم التعرف عليه وحظره على الفور، لذا فإن اتباع نهج أبطأ يؤدي، بشكل متناقض، إلى الوصول إلى الهدف بشكل أسرع. والسبب الثاني أخلاقي وقانوني، حيث إن آلاف الطلبات في الدقيقة الواحدة قد تؤدي إلى إبطاء أو تعطل خادم آخر، وهو ما يمثل ضررًا بحد ذاته، وليس عملية جمع البيانات. ومن بين الإجراءات اللائقة احترام القواعد الواردة في ملف robots.txt، وتحديد هوية الروبوت مع توفير وسيلة اتصال بمشغل الموقع، وجمع البيانات خارج أوقات الذروة، تنزيل الصفحات الضرورية فقط بدلاً من الموقع بأكمله، وتخزين النتائج وإعادة استخدامها بدلاً من التنزيل المتكرر. إذا كان مشغل الموقع يوفر واجهة أو إمكانية تصدير البيانات، فاستخدمها بشكل تفضيلي.
انظر أيضًا: الجوانب القانونية لعملية استخراج البيانات، زاحف الذكاء الاصطناعي، تدقيق البيانات.
