Как закрыть сайт от индексации в Google и Яндекс? Как убрать свой сайт из поисковиков?

Современные поисковые системы работают благодаря индексации - сканированию многочисленных сайтов при помощи ботов, чтобы на основе поступивших данных присвоить странице место в поисковой выборке. Попадание на первые строки крупных поисковиков, таких как Google и Яндекс является целью SEO-оптимизации, поэтому работа вебмастера состоит в улучшении “видимости” страниц в интернете. Однако в некоторых случаях индексация может не помочь, а навредить, поэтому убрать сайт с поиска необходимо до нужного момента. 

Зачем запрещать индексацию

Индексация проходит вскоре после запуска сайта и впоследствии регулярно повторяется, чтобы актуализировать поисковую выборку. Временно запретить сканирование стоит в следующих ситуациях:

• сайт запущен, но не доработан до конца. В этом случае контент и дизайн страниц попросту не оптимизированы, что приведёт к старту с низких позиций. На то, чтобы повысить позицию сайта, придётся потратить много времени и сил, поэтому лучше заранее закрыть сайт от поисковиков и разрешить индексацию только когда он будет полностью готов;
• мобильная версия на отдельном домене. Поскольку оптимизированный для телефона сайт расположен по другому адресу, поисковик не будет ассоциировать его с исходным. Наоборот - есть шанс получить серьёзное пенальти за дубли страниц или повторяющийся контент, которые приведут к пессимизации;
• тестовая версия на другом домене. Чтобы протестировать функции сайта в “боевых” условиях, вебмастера и разработчики создают рабочую версию с другим адресом, где выявляют ошибки и проверяют нововведения. Если страницы будут индексироваться, то оригинальный сайт также может пострадать от пессимизации при наличии дубля.

В целом запрет индексации применяется при смене дизайна, контента или параметров сайта. Сделать это можно через файл robots.txt - в нём нужно удалить все правила кроме двух строчек 

• User-agent: *

• Disallow: /

Если сайт всё равно индексируется, можно применить запрет через мета-тег. Для этого в шаблоне страницы нужно прописать или в теге.

Куда обратиться

Предлагаем полное обслуживание сайта от специалистов. Для вас:

• эффективная SEO-оптимизация;
• полное сопровождение сайта;
• качественное обслуживание и развитие;
• регулярные отчёты и планы продвижения.

Узнать, как закрыть сайт от индексации, а также заказать другие услуги можно по телефону в разделе контактов.