ميزانية الزحف هي عدد الصفحات التي يكون روبوت البحث مستعدًا وقادرًا على تصفحها على موقعك خلال فترة معينة. ويتم تحديده بناءً على عاملين: مقدار ما يمكن للخادم تحمله دون أن يتباطأ، ومدى فائدة تصفح الروبوت للموقع، أي مدى تكرار حدوث تغييرات ذات قيمة عليه. لا تحتاج المواقع الصغيرة إلى الاهتمام بهذا الأمر، ولكنه يصبح قيدًا في حالة المتاجر الإلكترونية والبوابات التي تحتوي على عشرات الآلاف من العناوين. وغالبًا ما يُستهلك هذا الحد الأقصى على عناصر لا ينبغي أن تُدرج في الفهرس: مثل التركيبات اللانهائية للفلاتر، ونتائج البحث، وتقسيم الصفحات، وعناوين الاختبار، وسلاسل إعادة التوجيه. يمكن إعادة توجيه الميزانية إلى المسار الصحيح عن طريق حظر العناوين غير الضرورية، وتسريع استجابة الخادم، وإزالة الروابط المعطلة، والحفاظ على خريطة صفحات نظيفة لا تحتوي إلا على العناوين التي يجب فهرستها.
انظر أيضًا: تضخم الفهرس، التنقل حسب الجوانب، تسلسل عمليات إعادة التوجيه.
