Słownik
Robot wyszukiwarki
Robot wyszukiwarki (inaczej: bot, spider, crawler, pająk) jest to samodzielna aplikacja (program), której zadaniem jest automatyczne przemierzaniu internetu w celu zbierania informacji o stronach www.
Istnieje kilka rodzajów robotów wyszukiwarek różniących się ruchliwością (ilością stron odwiedzanych w tym samym przedziale czasu), długością czasu spędzonego pod danym adresem, celem przemierzania internetu (prawdopodobnie - roboty aktualizujące informacje, roboty cache'ujące, roboty sprawdzające poprawność stron www, roboty wyszukujące nowe elementy).
Zachowanie robota wyszukiwarki na danej stronie uzależnione jest od jej struktury, treści, czynników zewnętrznych (np. ilość linków przychodzących).