АГС - Как вывести сайт

Со своим АГСом я полностью согласен, ибо мой сайт только загрязняет выдачу. Но сдаваться не мое, в ответ на АГС склепал 3 новых сайта.

(с) Неизвестный Вебмастер

АГС - фильтр от Яндекса накладываемый на сайт.

Принцип действия:

Сайт проверяется ботом.
В случае подозрений отправляется на проверку модератору.
Модератор просматривает сайт (~10 сек) и жмет или не жмет соответсвующую кнопку.

По опыту - для бота при проверке очень важна величина произошедших на сайте изменений. Любые резкие изменения воспринимаются им крайне негативно. Это является основной причиной его ошибок.

Симптомы - как узнать что сайт попал под АГС

Главный симптом - в индексе остается порядка 10 страниц. Обычно чуть меньше чем десять. Но бывает и чуть больше.
Не всегда все рушится в один день после апдейта. По личным наблюдениям - все происходит не мгновенно, но достаточно резко. Зависит от размера сайта. Примерно в течении недели может падать траф с яндекса и выпадают страницы. Причем бывает что страницы в индексе нет, а траф с яндекса на нее еще идет. У меня такое было с посещаемыми, популярными страницами.

Причины АГС

Поговорим о причинах которые могут привести к наложению АГС на сайт.

Фильтр накладывается за совокупность "нарушений". Попасть под АГС за какое-то одно неверное действие как правило очень сложно (я тут не говорю о грубых нарушениях вроде размещения на сайте ста тысяч ссылок на п..но сайты или размещения этого самого п.но контента). Итак основные причины:

Неуникальный контент (в том числе неуникальность с самим собой - дубли страниц)
Наличие поисковых нарушений и поискового спама на страницах сайта.
Большой процент внешних ссылок с сайта по отношению к общему числу страниц сайта.
Стук (при этом у сайта должны быть какие-то нарушения).
Неуникальный шаблон и распространённая CMS.

Некоторые ложные факторы, которые вводят в заблуждение:

Неуникальный контент - впринципе неуникальный контент яндексом допускается. Весь вопрос в его количестве. У меня растаскивали множество текстов по всему интернету, но мои растащенные страницы только поднимались наверх.
Sape - как таковая торговля ссылками не ведет к наложению фильтра. Увлечение торговлей или резкое начало может разбудить и спровоцировать Зверя.
Adsense - распространенный в последнее время миф. Четких доказательств этому нет. У меня в эксперименте не подтверждалось. При плохом качестве контента возможно может служить фактором запускающим процесс.

Как вывести сайт из под АГС

Итак. На данный момент существуют два способа вывода сайта из под АГС:

Следование рекомендации Платона - Звучит это примерно так: "Улучшайте свой сайт". Рекомендация как видите весьма размытая. Эффективность способа весьма низкая. Но иногда хочется сохранить домен.
За: Сохраняется имя домена. 100% сохранение "веса" сайта (ТИЦ, PR...). Над сайтом придется поработать и он станет лучше.

Против: Придется много работать в неизвестном направлении. Мало кому на практике это удается осуществить.
Полный перенос сайта на другой домен. Эффективность весьма высокая.
За: 100% вывод из под АГС

Против: Не понятно перенестся ли весь вес старого сайта. Сменится имя домена. Если фильтр был наложен не по ошибке и на сайте действительно что-то не так - возможно скорое повторное попадание под АГС.

Рассмотрим подробно и поэтапно оба этих способа. Начнем со второго.

Выводим сайт из АГС - перенос домена

Лично для меня загадка почему Яндекс оставил этот способ работающим. Как результат АГС превратился в временный фильтр, от которого люди просто перебегают на другой домен. Этот способ хороший для тех, у кого сайт "белый и пушистый" и попал под АГС случайно. Если доменное имя не важно - пользуйтесь.

Если Ваш сайт полное УГ - лучше пользоваться способом 1 и действительно улучшать сайт. Простой перенос опять приведет к бану.

Итак, алгоритм действий по выводу из АГС без потерь:

Создаем новый домен и полностью переносим туда наш сайт.
Всем роботам, кроме робота Яндекса, файлом robots.txt запрещаем новый домен для индексации.
Для робота Яндекса новый домен открыт. Robots.txt для Яндекса должен быть идентичен файлу robots.txt который был на старом. Таким образом получаем файл robots.txt нового домена:

User-agent: Yandex Disallow: /из старого robots.txt Disallow: /из старого robots.txt . . Disallow: /из старого robots.txt Host: нашновыйдомен.ru

User-agent: * Disallow: / Sitemap: http://нашновыйдомен.ru/sitemap.xml

Для старого домена роботу Яндекса файлом robots.txt закрываем домен для индексации .
Прописываем ему директиву Host:нашновыйдомен.ru
Т.е. добавляем:

User-agent: Yandex Disallow: / Host: нашновыйдомен.ru
Ждем месяца 3 пока домены склеятся. Необходим апдейт зеркал от Яндекса, а он тут очень неспешен. Должен перетечь ТИЦ, появится трафик.
...Ждем
После того как дождались - открываем новый домен для индексации всем поисковикам.
Делаем 301 редирект с старого домена на новый. В файле .htaccess прописываем:
RewriteEngine On RewriteBase / RewriteCond %{HTTP_HOST} !нашновыйдомен.ru RewriteRule (.*) http://нашновыйдомен.ru/$1 [R=301,L]
В Google Webmaster указываем новый домен как основной.
????? (ждем)
PROFIT!

Позиции и трафик должны вернуться. Возможны небольшие потери.

Это общий стандартный план. Один вебмастер с Searchengines.ru предложил небольшое отступление от него.

Вместо закрытия старого домена в robots.txt для Яндекса отдаем ему 404 ошибку на все страницы через .htaccess.
Создаем несколько тестовых документов .htm специально для Яндекса. С помощью них мы сможем отследить если вдруг Яндекс выведет сайт из под АГС.
В .htaccess добавляем:
RewriteEngine On RewriteBase / RewriteCond %{HTTP_USER_AGENT} yandex [NC] # если представился ботом яндекса RewriteCond %{REQUEST_FILENAME} !\.(htm)$ # и документ не htm RewriteCond %{REQUEST_FILENAME} !\.(txt)$ # и документ не txt (пусть смотрит robots.txt) RewriteRule .* - [R=404,L] #отправляем 404 ошибку

Все остальное аналогично стандартному плану.

Выводим сайт из АГС по Платону

Тут сложно порекомендовать что-то конкретное, т.к. все случаи индивидуальны. Либо вебмастер знает свои грешки и тогда необходимо просто работать по их исправлению. Либо не знает и\или грехов нет - тогда это возможно ошибка Яндекса. Приведу личный опыт, что делал я.

Сайт попал под АГС в начале апреля 2011 года. Катализатор: проводились работы по смене CMS. было сделано неаккуратно и некоторое время многие страницы были недоступны. В это же время шел апдейт индекса. Результат - АГС. Я лично это связываю с "резким изменением" на сайте которое запустило процесс дополнительной проверки алгоритмом - модератором - фильтр.

Что делалось:

Разговоры с Платоном, как обычно, результатов не дали.
За 2 месяца были уникализированы все растащенные у меня тексты.
Удалены тексты, которые можно было признать за "поисковый спам".
Разговор с Платоном - без результата.
Перенес сайт на другой домен. Оставил только страницы, на которые шел хороший траф с яндекса.
Ничего не делал с сайтом месяца 4.
Повесил на главной плашку, что сайт на реконструкции (статьи были доступны по меню и для роботов).
Разговор с Платоном - мне дали ответ, что сайт неактивен и проверять нечего. Этим ответом я добился знания, что сайт все таки смотрит человек, а не просто прогоняется алгоритмом.
Сделал приличную главную. Добавил пару хороших статей.
Разговор с Платоном - Вывод из АГС.

Как видите, ничего сверхестесвенного не делалось. На время выхода из АГС на сайте были только статьи, по которым шел хороший трафик (с яндекса), и эти статьи были "нужны" Яндексу. Вопрос о том этично ли Яндексу решать за пользователя, что ему нужно, а что нет, оставим для комментариев.

p.s. Для закрепления:

Несколько фактов об АГС

По утверждению поддержки Яндекса фильтр накладываетс на сайт. Вероятно они врут и накладыается он на домен, т.к. при покупке домена под АГС и размещении на нем нового сайта фильрт сохраняется.
Фильтр накладывается за совокупность факторов.
При наложенном фильтре в индексе остается порядка 10 страниц.
АГС это не только фильтр, но и пулемет (видимо поэтому иногда без разбора косит и невиновных)
Выйти или уйти из под фильтра вполне можно. Не паникуйте. Делайте уклонение влево. И два новых ГС! : Шутка.