Какие теги учитывает Яндекс

Методы управления поведением робота
Мета-тегиМета-теги позволяют вебмастерам указывать метаданные о странице сайта. Ряд мета-тегов также используется роботами поисковых систем. Робот Яндекса учитывает содержание следующих тегов: 

<meta name=»Keywords» content=»…»/> — может учитываться при определении соответствия страницы поисковым запросам,
<meta name=»Description» content=»…»/> — содержание данного тега может использоваться в сниппетах (описаниях сайтов на странице результатов поиска),
<meta http-equiv=»Content-Type» content=»type; charset=…»/> — робот может учитывать этот тег при определении типа документа и его кодировки,
<meta http-equiv=»refresh» content=»N;url=_адрес цели перенаправления_»/> — перенаправление (редирект) пользователя на страницу с адресом url, после N секунд нахождения на данной странице. При небольших значениях N считается временным перенаправлением, аналогичным серверным редиректам с HTTP-кодом 302/303/307.

Также робот Яндекса учитывает указания в тегах:

<meta name=»robots» content=»all»/> — разрешено индексировать текст и ссылки на странице, аналогично <meta name=»robots» content=»index, follow»/>
<meta name=»robots» content=»noindex»/> — не индексировать текст страницы,
<meta name=»robots» content=»nofollow»/> — не переходить по ссылкам на странице и не индексировать их,
<meta name=»robots» content=»none»/> — запрещено индексировать и текст, и ссылки на странице, аналогично <meta name=»robots» content=»noindex, nofollow»/>
<meta name=»robots» content=»noarchive»/> — не показывать ссылку на сохраненную копию на странице результатов поиска.

Робот не узнает о документах, если ссылки на них стоят со страницы, содержащей мета-тег со значением nofollow, тем не менее, они могут быть проиндексированы, если где-либо еще на них указаны ссылки без nofollow.

Если мета-теги не указаны, по умолчанию они имеют положительное значение (index, follow, archive). В случаях конфликтов между тегами робот делает выбор в пользу значения по умолчанию.

Пример:
<meta name=»robots» content=»all»/>
<meta name=»robots» content=»noindex, follow»/>
Робот выберет значение all, текст и ссылки будут проиндексированы.

Тег со значением all не распространяется на noarchive.

Пример:
<meta name=»robots» content=»all»/>
<meta name=»robots» content=»noarchive»/>
Текст и ссылки будут проиндексированы, но ссылки на сохраненную копию в результатах поиска не будет.

Тег <noindex>

Для запрета индексирования служебных участков текста вы можете использовать тег <noindex>. Тег работает аналогично мета-тегу noindex, но распространяется только на контент, заключенный внутри тега в формате:
<noindex>текст, индексирование которого нужно запретить</noindex>

Тег noindex не чувствителен к вложенности (может находиться в любом месте html-кода страницы). При необходимости сделать код сайта валидным возможно использование тега в следующем формате:
<!—noindex—>текст, индексирование которого нужно запретить<!—/noindex—>

Атрибут rel=»nofollow» тега <a>

Атрибут rel=»nofollow» используется в теге <a> в формате:

<a href=»url» rel=»nofollow»>текст ссылки</a>

Атрибут работает аналогично мета-тегу со значением nofollow, но распространяется только на ссылку, для которой указан.