Позиции сайтов наших клиентов
Сайт: lira-upak.ru
Яндекс
Суточный трафик: 129
Сайт: taxity.ru
Яндекс
Суточный трафик: 420
Сайт: kover.spb.ru
Яндекс
Суточный трафик: 620
1 место

Другой пример

Смотреть все

Файл robots.txt будет «прочитан» Яндексом иначе

Теперь в данном файле директива Allow может быть пустая, однако поисковик больше не считает это запретом для проведения индексации сайта. Такая информация появилась на прошлой неделе.

Ранее поисковый робот не получал доступ ко многим сайтам, у которых в файле robots.txt была такая строка: «Allow:».

User-agent: *

Allow:

Такая «разрешающая» директива позволяет проиндексировать сайт только при наличии уточнения: User-agent: *

Allow: /wp-admin

Пустая директива в данном файле подсказывала Яндексу: полная индексация сайта запрещена, вот почему многочисленные ресурсы не попадали в индекс, сообщают в компании.

Отныне поисковые роботы не реагируют на пустую директиву, индексация будет проводиться при отсутствии иных запретов в файле.

Некоторые владельцы сайтов не хотят индексировать свой сайт, тогда необходимо прописать такую команду:

User-agent: *

Disallow: /

или

User-agent: Yandex

Disallow: *

 

Похожие новости:




X