Ilya Dorofeev 10 years online

21Jan/09Off

“Changes, that’s what’s up”

Кто о чем, а ильямихалыч - об интернетах.
Файл robots.txt используется для ограничения индексирования сайта поисковыми машинами. Ну, в идеале - на самом деле, некоторые роботы игнорируют инструкции, содержащиеся в robots.txt. Будем считать, что они не правы, и поступать так - некрасиво.
Так вот, при администрации Буша список ограничений состоял примерно из 2400 строк:
User-agent: *
Disallow: /cgi-bin
Disallow: /search
Disallow: /query.html
Disallow: /omb/search
Disallow: /omb/query.html
Disallow: /expectmore/search
Disallow: /expectmore/query.html
Disallow: /results/search
Disallow: /results/query.html
Disallow: /earmarks/search
Disallow: /earmarks/query.html
Disallow: /help
Disallow: /360pics/text
Disallow: /911/911day/text
Disallow: /911/heroes/text
...

Но вчера в городе появился новый шериф:
User-agent: *
Disallow: /includes/

В includes обычно держат скрипты, которые контента не содержат.
Ускорение, перестройка, гласность!

Filed under: geek Comments Off
Comments (0) Trackbacks (0)

Sorry, the comment form is closed at this time.

No trackbacks yet.