ملف Robots.txt هو ملف نصي موجود في الدليل الجذري للموقع، ويحدد لروبوتات البحث (الزواحف) أجزاء الموقع التي يجب أو لا يجب عليها فهرستها. لا يمنع هذا الملف بشكل مباشر فهرسة الصفحة التي تم حظرها بطريقة أخرى، ولكنه يتحكم بفعالية في وصول برامج التتبع إلى الأقسام الفردية للموقع ويحافظ على ما يُعرف بـ«ميزانية التتبع».
