Персональный сайт Артура Корсакова
Закрытие контента от поисковых краулеров и парсеров иногда помогает выйти из под фильтра за переоптимизацию (Баден-Баден, Панда и т.п.) Так же с помощью этих технологий оптимизаторы могут улучшить релевантность страницы или даже скрыть какие-то нежелательные ссылки.
Какие же варианты скрытия контента от Яндекса и Google сейчас работают?
У популярных поисковых систем технологии краулинга и рендеринга работают по разному
Давайте проведём этот интересный эксперимент прямо на этой странице.
Этот блок я закрыл в теги noindex для Яндекса и googleoff для Google. Уникальное слово: googleoff
Обычный клоакинг. Выводим этот блок, когда user agent у нас не соответствует краулеру Яндекса или Google. Уникальное слово: клоакинг
Проверить защиту от индексацию этих способов можно через поисковые системы с помощью оператора url:страница и уникальное слово для Яндекса или site:cтраница и уникальное слово для Google
Конечно я тут далеко не все заковыристые способы рассмотрел, но большинство простых, которые не потребуют особых знаний от программистов.
