Roboty indeksujące strony: Różnice pomiędzy wersjami

Aktualna wersja na dzień 17:50, 14 cze 2014

Roboty indeksujące strony są to programy zbierające informacje ze stron internetowych. Analizują one strukturę i treść publikowaną na stronach aby następnie umieścić ją w indeksie wyszukiwarek.

Roboty stale "przeglądają" zawartość stron. Jedne robią to pobieżnie - sprawdzając czy od ostatniej wizyty zaszyły jakieś zmiany, drugie przeglądają cały serwis.

Główne zadania robotów

• zbieranie informacji o stronie,
• sprawdzanie kodu strony,
• monitorowanie "co nowego",
• dodawanie do wyszukiwarek,
• tworzenia mirrorów stron.

Inne nazwy robotów

• bot indeksujący
• pająk, spider
• pełzacz, web crawler
• web wanderer

Zobacz też

<htmlet>zobacz-tez</htmlet>

• Sterowanie zachowaniem robotów za pomocą pliku robots.txt
• Sterowanie zachowaniem robotów za pomocą META NAME

Podstawowe informacje o robotach wyszukiwarek

• The Web Robots FAQ
• Robots Exclusion Opis zasad sterowania robotem na własnej stronie
• The Web Robots Database Lista aktywnych działających robotów sieciowych