Robots.txt

robots.txt jest to zwykły plik tekstowy, który umieszczony w katalogu domowym serwisu www informuje roboty indeksujące strony o tym co powinny indeksować, a czego nie. Wskazuje również robotom wyszukiwarek mapę stron serwisu.

Każdy serwis internetowy powinien posiadać plik robots.txt, zwłaszcza, że jego obecność korzystnie wpływa na szybkość indeksowania stron i pozycjonowanie serwisu w wyszukiwarkach internetowych.

Reguły zawarte w pliku robots.txt są tylko sugestiami dla robotów indeksujących strony.
Nie wszystkie roboty muszą ich przestrzegać. 

Struktura pliku robots.txt

• znak # oznacza wiersz zawierający komentarz
• każda komenda powinna być w nowym wierszu
• poszczególne reguły oddziela się pustym wierszem
• wielkość znaków w nazwach robotów nie ma znaczenia (RoBot = robot = ROBOT)

Komedy

• User-agent: * - Gwiazdka * oznacza że reguła dotyczy wszystkich robotów.

User-agent: nazwa_robota - określa robota którego dotyczy reguła.

• Allow: / - zezwala robotowi na dostęp do całej zawartości serwisu.

Allow: nazwa_katalogu - zezwala na przeglądanie - indeksowanie zawartości katalogu nazwa_katalogu.

• Disallow: / - zabrania robotowi dostępu do całej zawartości serwisu.

Disallow: - odwrotność komendy Disallow: /. Nie zabrania robotowi dostępu do całej zawartości serwisu.

Disallow: nazwa_katalogu - nie zezwala na przeglądanie - indeksowanie zawartości katalogu nazwa_katalogu.

• Sitemap: http//towja_domena/sitemap.xml - określa adres mapy serwisu.