Robots.txt: Różnice pomiędzy wersjami
Z ToProste
m (Utworzył nową stronę „'''robots.txt''' jest to zwykły plik tekstowy, który umieszczony w katalogu domowym serwisu www informuje [[roboty indeksujące str...”) |
m |
||
| Linia 3: | Linia 3: | ||
Każdy serwis internetowy powinien posiadać plik '''robots.txt''', zwłaszcza, że jego obecność korzystnie wpływa na szybkość indeksowania stron i pozycjonowanie serwisu w [[Wyszukiwarka internetowa|wyszukiwarkach internetowych]]. | Każdy serwis internetowy powinien posiadać plik '''robots.txt''', zwłaszcza, że jego obecność korzystnie wpływa na szybkość indeksowania stron i pozycjonowanie serwisu w [[Wyszukiwarka internetowa|wyszukiwarkach internetowych]]. | ||
| − | Reguły zawarte | + | Reguły zawarte w pliku robots.txt są tylko sugestiami dla robotów indeksujących strony. |
| + | Nie wszystkie roboty muszą ich przestrzegać. | ||
| Linia 19: | Linia 20: | ||
*'''Allow: /''' <span style="color:grey">- zezwala robotowi na dostęp do całej zawartości serwisu.</span> | *'''Allow: /''' <span style="color:grey">- zezwala robotowi na dostęp do całej zawartości serwisu.</span> | ||
| − | ::''Allow:''' ''nazwa_katalogu'' <span style="color:grey">- zezwala na przeglądanie - indeksowanie zawartości katalogu</span> ''nazwa_katalogu''. | + | ::'''Allow:''' ''nazwa_katalogu'' <span style="color:grey">- zezwala na przeglądanie - indeksowanie zawartości katalogu</span> ''nazwa_katalogu''. |
| Linia 25: | Linia 26: | ||
::'''Disallow:''' <span style="color:grey">- odwrotność komendy Disallow: /. Nie zabrania robotowi dostępu do całej zawartości serwisu.</span> | ::'''Disallow:''' <span style="color:grey">- odwrotność komendy Disallow: /. Nie zabrania robotowi dostępu do całej zawartości serwisu.</span> | ||
::'''Disallow:''' ''nazwa_katalogu'' <span style="color:grey">- nie zezwala na przeglądanie - indeksowanie zawartości katalogu</span> ''nazwa_katalogu''. | ::'''Disallow:''' ''nazwa_katalogu'' <span style="color:grey">- nie zezwala na przeglądanie - indeksowanie zawartości katalogu</span> ''nazwa_katalogu''. | ||
| + | |||
| + | *'''Sitemap:''' ''http//towja_domena/sitemap.xml'' <span style="color:grey">- określa adres [[Mapa serwisu www|mapy serwisu]].</span> | ||
Wersja z 19:47, 1 paź 2012
robots.txt jest to zwykły plik tekstowy, który umieszczony w katalogu domowym serwisu www informuje roboty indeksujące strony o tym co powinny indeksować, a czego nie. Wskazuje również robotom wyszukiwarek mapę stron serwisu.
Każdy serwis internetowy powinien posiadać plik robots.txt, zwłaszcza, że jego obecność korzystnie wpływa na szybkość indeksowania stron i pozycjonowanie serwisu w wyszukiwarkach internetowych.
Reguły zawarte w pliku robots.txt są tylko sugestiami dla robotów indeksujących strony. Nie wszystkie roboty muszą ich przestrzegać.
Struktura pliku robots.txt
- znak # oznacza wiersz zawierający komentarz
- każda komenda powinna być w nowym wierszu
- poszczególne reguły oddziela się pustym wierszem
- wielkość znaków w nazwach robotów nie ma znaczenia (RoBot = robot = ROBOT)
Komedy
- User-agent: * - Gwiazdka * oznacza że reguła dotyczy wszystkich robotów.
- User-agent: nazwa_robota - określa robota którego dotyczy reguła.
- Allow: / - zezwala robotowi na dostęp do całej zawartości serwisu.
- Allow: nazwa_katalogu - zezwala na przeglądanie - indeksowanie zawartości katalogu nazwa_katalogu.
- Disallow: / - zabrania robotowi dostępu do całej zawartości serwisu.
- Disallow: - odwrotność komendy Disallow: /. Nie zabrania robotowi dostępu do całej zawartości serwisu.
- Disallow: nazwa_katalogu - nie zezwala na przeglądanie - indeksowanie zawartości katalogu nazwa_katalogu.
- Sitemap: http//towja_domena/sitemap.xml - określa adres mapy serwisu.
