Plik tekstowy robots.txt zawiera wytyczne i informacje dla robotów wyszukiwarek internetowych dotyczące przemierzania i indeksowania danej strony www. Musi się znajdować w katalogu głównym strony www.

htttp://www.adresstrony.pl/robots.txt

Za jego pomocą możiwe jest zablokowanie robotom wyszukwiarek dostępu do całości lub poszczególnych części serwisu (kategorie, strony, pliki, podkatalogi, katalogi). Umożliwia on również ograniczenie częstotliwości odwiedzin poszczególnych robotów wyszukiwarek.

Plik robots.txt nie jest respektowany przez wszystkie wyszukiwarki. Brak pliku robots.txt jest rozpoznawany przez wyszukwiarki jako brak ograniczeń co do przemierzania struktury i treści strony www.