Robot internetowy - jest programem zbierającym informacje o strukturze i stronach umieszczanych w indeksie wyszukiwarek i służą m.in. do:

  • Dodawania do wyszukiwarek
  • Sprawdzania kodu strony
  • Zbierania informacji o stronie
  • Monitorowania "co nowego"
  • Tworzenia mirrorów stron.

W przypadku robota Google tzn. Googlebota mówi się robotach wykonujących "Google's fresh crawl" i "Google's deep crawl" lub "Google's main crawl". "Fresh crawl" jest wykonywany często, nawet kilka razy dziennie - robot najprawdopodobniej sprawdza co się zmieniło na stronie, "deep crawl" głębokie indeksowanie najprawdopodobniej polega na pobieraniu większej ilości danych z witryny i odbywa się kilka razy w miesiącu.

Ruch generowany przez roboty jest jednym z podstawowych wskaźników mówiących o pozycjonowaniu strony.

edytuj Nazwy używane wymiennie

  • bot
  • robot
  • pajÄ…k
  • peÅ‚zacz
  • web wanderer
  • web crawler
  • spider.

edytuj Podstawowe informacje o robotach wyszukiwarek