Roboty indeksujące strony: Różnice pomiędzy wersjami
Z ToProste
m |
m (→Zobacz też) |
||
Linia 20: | Linia 20: | ||
== Zobacz też == | == Zobacz też == | ||
<htmlet>zobacz-tez</htmlet> | <htmlet>zobacz-tez</htmlet> | ||
− | * [[Robots.txt]] | + | * [[Robots.txt |Sterowanie zachowaniem robotów za pomocą pliku robots.txt]] |
+ | * [[Meta name – robots |Sterowanie zachowaniem robotów za pomocą META NAME]] | ||
+ | |||
Wersja z 21:55, 20 kwi 2013
Roboty indeksujące strony są to programy zbierające informacje ze stron internetowych. Analizują one strukturę i treść publikowaną na stronach aby następnie umieścić ją w indeksie wyszukiwarek.
Roboty stale "przeglądają" zawartość stron. Jedne robią to pobieżnie - sprawdzając czy od ostatniej wizyty zaszyły jakieś zmiany, drugie przeglądają cały serwis.
Spis treści
Główne zadania robotów
- zbieranie informacji o stronie,
- sprawdzanie kodu strony,
- monitorowanie "co nowego",
- dodawanie do wyszukiwarek,
- tworzenia mirrorów stron.
Inne nazwy robotów
- bot indeksujący
- pająk, spider
- pełzacz, web crawler
- web wanderer
Zobacz też
<htmlet>zobacz-tez</htmlet>
- Sterowanie zachowaniem robotów za pomocą pliku robots.txt
- Sterowanie zachowaniem robotów za pomocą META NAME
Podstawowe informacje o robotach wyszukiwarek
- The Web Robots FAQ
- Robots Exclusion Opis zasad sterowania robotem na własnej stronie
- The Web Robots Database Lista aktywnych działających robotów sieciowych