Słownik
Robots tag
Meta tag opcjonalny pozwalający na określenie wytycznych dla robotów wyszukiwarek. Pozwala na określenie czy zawartość danej strony ma być pobrana (index, noindex) i zapisana w indeksie oraz czy robot wyszukiwarki może podążać po linkach (follow, nofollow) zawartych w treści danej strony. Jest to tag indywidualny, a więc możliwe jest skonfigurowanie go z różnymi parametrami dla różnych adresów w obrębie jednej domeny. W przypadku braku tagu robots robot wyszukiwarki przyjmuje parametry index i follow.
przykład: <meta name="Robots" content="noindex, nofollow" />
Parametry tagu robots:
- follow
- nofollow
- index
- noindex
- all
- none
- noimageindex
- noarchive
- noodp
- nosnippet
Możliwe jest zawężenie wytycznych zawartych w tagu dla robota google. W tym celu należy w znaczniku "name" tagu wstawić "googlebot".
przykład: <meta name="googlebot" content="noindex, nofollow" />