يُعد «البحث» و«الفهرسة» خطوتين منفصلتين غالبًا ما يتم الخلط بينهما. يعني «البحث» أن الروبوت يزور الصفحة ويقوم بتنزيل محتواها. أما الفهرسة فهي قرار لاحق يتخذه محرك البحث بشأن إدراج الصفحة في قاعدة بياناته وعرضها في نتائج البحث. وللتفريق بينهما تأثير عملي عند حل المشكلات: إذا لم تظهر الصفحة في نتائج البحث، فيجب أولاً تحديد الخطوة التي توقفت عندها. غالبًا ما تكون الصفحة التي لم يتم فحصها محظورة في ملف robots.txt، أو بسبب رابط مفقود، أو خطأ في الخادم. أما الصفحة التي تم فحصها ولكن لم يتم إدراجها، فتشير إلى أمر آخر – قلة قيمة المحتوى، أو تكرار مع صفحة أخرى، أو رابط أساسي (كانونيكال) يوجه إلى مكان آخر. يمكن التحقق من هاتين الحالتين في أدوات مشرفي المواقع، التي توضح السبب أيضًا.
انظر أيضًا: تقرير تغطية الفهرس، ملف robots.txt، الرابط الأساسي.
