Как закрыть сайт от индексации в Google и Яндекс? Как убрать свой сайт из поисковиков?

Современные поисковые системы работают благодаря индексации - сканированию многочисленных сайтов при помощи ботов, чтобы на основе поступивших данных присвоить странице место в поисковой выборке. Попадание на первые строки крупных поисковиков, таких как Google и Яндекс является целью SEO-оптимизации, поэтому работа вебмастера состоит в улучшении “видимости” страниц в интернете. Однако в некоторых случаях индексация может не помочь, а навредить, поэтому убрать сайт с поиска необходимо до нужного момента.

Зачем запрещать индексацию

Индексация проходит вскоре после запуска сайта и впоследствии регулярно повторяется, чтобы актуализировать поисковую выборку. Временно запретить сканирование стоит в следующих ситуациях:

сайт запущен, но не доработан до конца. В этом случае контент и дизайн страниц попросту не оптимизированы, что приведёт к старту с низких позиций. На то, чтобы повысить позицию сайта, придётся потратить много времени и сил, поэтому лучше заранее закрыть сайт от поисковиков и разрешить индексацию только когда он будет полностью готов;
мобильная версия на отдельном домене. Поскольку оптимизированный для телефона сайт расположен по другому адресу, поисковик не будет ассоциировать его с исходным. Наоборот - есть шанс получить серьёзное пенальти за дубли страниц или повторяющийся контент, которые приведут к пессимизации;
тестовая версия на другом домене. Чтобы протестировать функции сайта в “боевых” условиях, вебмастера и разработчики создают рабочую версию с другим адресом, где выявляют ошибки и проверяют нововведения. Если страницы будут индексироваться, то оригинальный сайт также может пострадать от пессимизации при наличии дубля.

В целом запрет индексации применяется при смене дизайна, контента или параметров сайта. Сделать это можно через файл robots.txt - в нём нужно удалить все правила кроме двух строчек