Индексация страниц сайта в Яндексе и Google

Пока поисковая система не проиндексирует страницу сайта [что такое индексация], та не будет участвовать в её результатах выдачи. Узнать о сайте поисковик может двумя способами:

  1. от вебмастера. Для чего URL-адрес веб-документа [что такое URL] нужно добавить в аддурилку Яндекса или Google (от английского add url).
  2. перейдя на страницы сайта по ссылке с других проиндексированных веб-документов.

На данном блоге я столкнулась с такой ситуацией, что без проблем Яндекс проиндексировал только Главную страницу, а вот внутренние не участвовали в поиске. У Google похожего невнимания не наблюдалось. Там практически молниеносно можно было заметить свою статью в выдаче.

Почему не индексируется сайт в Яндексе

  1. Google заносит в свою базу данных все страницы сайта: качественные и некачественные без разбора. Но участвуют в ранжировании [что такое ранжирование] только полезные веб-документы [не путать оригинальное содержание с уникальным]. Яндекс же сразу не включает веб-хлам. Можно заставить его проиндексировать любую страницу, но со временем поисковик удалит мусор. У обоих систем есть дополнительный индекс. У обоих систем низкокачественные страницы влияют на рейтинг сайта в целом. По последнему пункту есть как официальное заявление [см. блог Google], так и простая логика. Любимые сайты конкретного человека будут на более высоких позициях в его выдаче. Зато этот же человек с трудом найдёт сайт, который не смог его заинтересовать в прошлый раз. Поэтому вначале нужно закрыть от индексации дубликаты веб-документов [как это сделать], проверить есть ли страницы с отсутствующем содержанием и не пускать в выдачу никудышный контент.
  2. Может случиться так, что страницу нужно проиндексировать, а она закрыта для индексации или сервер выдаёт 301 редирект или 404 ошибку. Чтобы определить так ли это в большинстве случаев достаточно внести URL в аддурилку Яндекса и посмотреть на его ответ. "Проверить URL" в Вебмастере.Яндекса напомнит, что rel="canonical" указывает на другую страницу. Проверить URL в Яндекс.Вебмастере
  3. Если был приобретён поддержанный домен, на который наложены санкции, то нужно написать в службу поддержки что-то типа
    Здравствуйте.
    
    01.01.2000 года был приобретён домен сайт.ru.
    20.01.2000 года сайт был добавлен в Вебмастер и аддурилку. По прошествии трёх недель он не был проиндексирован.
    
    Подскажите, пожалуйста, может ли домен быть причиной плохой индексации?

Как ускорить индексацию в Яндексе

  1. Подтвердить права на управление сайтом в Яндекс.Вебмастере.
  2. Опубликовать ссылку на статью в twitter. С 2012 года у Яндекса с ним подписан договор.
  3. Добавить поиск для сайта от Yandex. Там в графе "Индексирование" можно указать свои URL-адреса вручную точно также как в аддурилке. [не актуально]
  4. Установить код Яндекс.Метрики без указания галочки "Запрет отправки страниц на индексацию".
  5. Создать файл Sitemap. Тогда по приходу на сайт робот в первую очередь будет проверять его. Этот файл существует только для него и не виден аудитории. Состоит он из списка URL-адресов страниц. Только что созданные или с обновлённым содержимым находятся сверху. Адрес Sitemap прописывается в robots.txt или в соответствующую форму в Вебмастере-"Настройка индексирования"-"Файлы Sitemap".

Дополнительные действия, когда Яндекс проиндексировал только 1 страницу

  1. Насколько часто обновляется страница, настолько часто поисковый робот будет её переиндексировать. В основном содержание периодически меняется на странице "карта сайта" и Главная. Чем чаще публиковать новые статьи, тем чаще будут обновляться вышеназванные страницы и по ссылкам внутри них индексироваться новый материал.
  2. Если на всех страницах сделать сквозной блок с последними написанными публикациями, то поисковый робот может перейти на новую запись с любой посещённой им страницы сайта. А это будет быстрее. Ссылки в сквозном блоке не должны быть реализованы скриптом, по ним не нужно запрещать переход с помощью rel="nofollow".
  3. Сайты, имеющие RSS ленту, могут зарегистрироваться в каталоге Яндекс.блоги, а уже оттуда данные будут переданы основному роботу.
  4. Набрать 12 КУ в Я.ру и внести свои ссылки в Яндекс.Закладки с наличием галочки "Поделиться ссылкой на Я.ру".
  5. Оставить ссылки на свои статьи на часто обновляемых ресурсах: "Живой Журнал", ВКонтакте", "Facebook" и др.

Обновление базы данных - апдейт (ап) выдачи - происходит в среднем раз в неделю. Если все вышеуказанные действия не помогли, чего у меня ни разу не было, то следует написать в службу поддержки письмо, где рассказать что было сделано, немного о сайте, о том, что он регулярно наполняется, что людям он интересен, дать пару ссылок на самые лучшие статьи в качестве примера. Если ресурс имеет низкую посещаемость по причине узкотематичности, нужно проговорить это. Например, сказать, что проект не планирует большую посещаемость, так как создан для общества лепидоптерологов, которые изучают бабочек семейства чешуекрылых. Если сайт коммерческий, то сообщите, что за ним стоит реальная организация.

Что нужно сделать пока веб-страница не проиндексирована Яндексом

  1. Чтобы отечественный поисковик считал сайт первоисточником, ещё до публикации статьи нужно обязательно её содержание добавить в форму "Оригинальных текстов". Иначе плагиаторы могут скопировать запись к себе на ресурс и именно они, если первыми попадут в базу данных, будут признаны авторами.

Индексация Google

Вот и всё, что нужно сделать для быстрой индексации Яндексом. Для Google подойдут те же рекомендации, только сервисы будут другими:

  1. Google Инструменты для веб-мастеров
  2. Google+ (вместо twitter)
  3. Поиск внутри сайта от Гугла
  4. Google Analytics (вместо Яндекс.Метрики)