Provisov.netВ Яндекс изменился алгоритм обработки robots.txt
Представители компании Яндекс рассказали об изменениях при обработке файла robots.txt. Теперь поисковый робот не будет учитывать пустую директиву Allow как запрет к индексации сайта.
По мнению специалистов, очень часто возникает ситуация, когда вебмастера по ошибке устанавливает пустую директиву Allow, что приводит к запрету индексации всего веб-сайта.
Чтобы избежать таких ситуаций, представители поисковой системы решили изменить алгоритм учета данной директивы — сейчас она игнорируется при обнаружении в robots.txt.
Теперь для того чтобы поставить запрет на индексацию всего сайта, вебмастерам рекомендуется использовать директиву Disallow:
User-agent: Yandex
Disallow: / # блокирует доступ ко всему сайту
Эта запись была опубликована в рубрике Новости IT-индустрии. Добавить в закладки ссылку.
11 июня 2016Хакеры получили более 33 млн паролей от Twitter
