Robots.txt je textový súbor umiestnený v koreňovom adresári webu, ktorý vyhľadávacím robotom (crawlerom) udáva, ktoré časti webu majú, alebo naopak nemajú, prehľadávať. Tento súbor priamo nezabraňuje indexácii stránky, ktorá je zablokovaná iným spôsobom, no účinne riadi prístup crawlerov k jednotlivým sekciám webu a šetrí tzv. crawl budget.
