Zmiany
'''Roboty indeksujące strony'''są to [[program]]y zbierające informacje ze stron internetowych. Analizują one strukturę i treść publikowaną na stronach aby następnie umieścić ją w indeksie [[Wyszukiwarka internetowa |wyszukiwarek]].
== Główne zadania robotów ==* zbieranie informacji o stronie,* sprawdzanie kodu strony,* monitorowanie "co nowego",* dodawanie do wyszukiwarek,* tworzenia mirrorów stron. == Inne nazwy robotów ==* [[Bot |bot]] indeksujący* pająk, spider* pełzacz, web crawler* web wanderer == Zobacz też ==<htmlet>zobacz-tez</htmlet> === Podstawowe informacje o robotach wyszukiwarek ===* [http://www.robotstxt.org/wc/faq.html The Web Robots FAQ] * [http://www.robotstxt.org/wc/exclusion.html Robots Exclusion] Opis zasad sterowania robotem na własnej stronie * [http://www.robotstxt.org/wc/active.html The Web Robots Database] Lista aktywnych działających robotów sieciowych [[Kategoria:UzupełnićWyszukiwarki internetowe]]
