Słownik

Jeśli nie znalazłeś interesującego Cię pojęcia powiadom nas o tym korzystając z formularza kontaktowego
szukaj

Robots.txt

Plik tekstowy robots.txt zawiera wytyczne i informacje dla robotów wyszukiwarek internetowych dotyczące przemierzania i indeksowania danej strony www. Musi się znajdować w katalogu głównym strony www.

 

htttp://www.adresstrony.pl/robots.txt

 

Za jego pomocą możiwe jest zablokowanie robotom wyszukwiarek dostępu do całości lub poszczególnych części serwisu (kategorie, strony, pliki, podkatalogi, katalogi). Umożliwia on również ograniczenie częstotliwości odwiedzin poszczególnych robotów wyszukiwarek.

 

Plik robots.txt nie jest respektowany przez wszystkie wyszukiwarki. Brak pliku robots.txt jest rozpoznawany przez wyszukwiarki jako brak ograniczeń co do przemierzania struktury i treści strony www.

Komentarze