Как запретить индексацию сайта?

Здравствуйте. Данная статья поднимет тему “Индексация”, а точнее как её запретить. Способов есть много, но для начала давайте разберём для чего нам это делать. Бывают случаи, когда срочно нужно закрыть роботу доступ к сайту, так как на нём что-то случилось. Второй же немного меньше, чем первый. Нам просто нужно закрыть некоторые страницы от индексации. И третий ещё меньше. Нам нужно закрыть какую-либо часть страницы от робота. И последний является самым маленьким. Мы не хотим делиться весом ссылки (передавать тИЦ с PR), то нам нужно закрыть ссылку. Я перебрал моменты, когда нужно запретить индексацию сайта. Теперь давайте решать, как это можно сделать. Начнём с первого.

Чтобы запретить роботу “смотреть” весь сайт, нам нужно открыть текстовый файл robots.txt . Там нужно заменить всё на эти две строчки:

User-agent: *
Disallow: /

Данный “Код” запретит индексацию всего сайта. Но предположим, нам нужно закрыть от индексации только две страницы. Первая – “О блоге”. Вторая – “Первая статья”. Дальше я предоставлю вам код, который запретит индексацию этих страниц.

User-agent: *
Disallow: /o bloge                                                                                                                                                                         Allow: /new page

Давайте теперь попробуем закрыть только часть страницы. Теперь нам уже не нужен “Робот”, так как в нём можно только работать со страницами сайта. Теперь же к нам на помощь приходит мета-тег <noindex>. Он учитывается и Яндексом и Гугл. Используется он просто. Вот пример:

<noindex>  Ненужный кусок текста с ненужной ссылкой </noindex>.

Также этим способов вы можете обрезать ненужные к индексации ссылки. Однако для них существует другой мета-тег, который идёт парой с тегом /a. А точнее с его атрибутом /rel. Правда, с мая 2010 года Яндекс перестал учитывать этот мета-тег, но как им пользоваться, всё равно написать стоит.

<a href=“http://site.ru” rel=nofollow /a>

Однако у вас есть решение этой проблемы. Если вам нужно закрыть все ссылки страницы, то тогда мы соединяем этот мета-тег и уже знакомый нам robots. Правда, этот код может подойти каталогам или тому подобным. Вот пример:

<meta name=»robots» content=»nofollow»/>

Теперь всё. Я рассказал вам, как закрыть от индексации весь сайта, отдельную страницу сайта, отдельный кусок текста, ссылки. Теперь у вас не должно возникать каких-либо вопросов.