Ссылки на страницу
Единственный стопроцентный способ не дать проиндексироваться странице - не размещать на неё ссылки, пусть даже текстовые. А при использовании Яндекс.Метрики на вкладке "Код счётчика" установить галочку "Запрет отправки страниц на индексацию".
Файл robots.txt
Текстовый файл robots.txt позволяет управлять индексацией блога. Справка Яндекса, Google. Расположен он по адресу: http://ваш_домен/robots.txt (например, для моего блога). Вместо того, чтобы прописывать какие страницы не должны быть доступны, я предпочитаю указывать, наоборот, список тех, которые нуждаются в индексации. Поэтому файл такой небольшой, но в нём есть всё необходимое:
User-agent: Mediapartners-Google Disallow: User-agent: * Disallow: / Disallow: /index.html Allow: /*.html$ # разрешает статичные страницы Allow: /$ # разрешает Главную Allow: /feeds/posts/default?orderby=updated$ # разрешает Sitemap Sitemap: http://ваш_домен/feeds/posts/default?orderby=updated
В качестве Sitemap Гугл принимает RSS ленту, его я не стала изменять, использовала стандартный вариант.
Для пользователей Blogger нужно пройти в Настройки - Настройки поиска - Поисковые роботы и индексация - Пользовательский файл robots.txt - Изменить - Да. В поле ниже вводим указанный выше код.
Влияние кнопки +1 на индексацию.
Для Гугла +1 имеет приоритет перед robots.txt. Поэтому для того, чтобы страница не была проиндексированной, не устанавливайте на неё данную кнопку.
Инструменты для вебмастеров Google.
Гугл предоставляет похожие на robots.txt функции, то есть мы можем заблокировать индексацию страниц, которые содержат в своём URL-адресе определённые фрагменты, например, "default". Для чего выбираем "Конфигурация сайта"-"Параметры URL"-"Изменяет ли этот параметр содержание страницы, которое видит пользователь?-Да (то есть это не абсолютный дубликат)"-"Никакие URL (то есть Googlebot не будет сканировать URL с выбранным параметром)".
Атрибут rel="canonical".
Атрибут rel="canonical" подсказывает поисковым системам предпочитаемую из нескольких страниц с очень похожим содержанием. Поддерживается Google, Яндекс и Yahoo!. Как-будто создавался именно для платформы Blogger с её многочисленными относительными URL, на которые нельзя повлиять, вида:
 |
| Дублирование страницы. Страница комментариев. |
Размещается автоматически в данном веб-сервисе и выглядит:
<link href='http://shpargalkablog.ru/2010/07/kontent.html' rel='canonical'/>
Мета-теги
Мета-теги делают более успешной индексацию веб-страницы, но не все они учитываются поисковыми системами (например, для Яндекса). Укажем наиболее значимые. Редактируем шаблон: строку
<title><data:blog.pageTitle/></title>заменим на
<b:if cond='data:blog.url == data:blog.homepageUrl'>
<meta content='index,follow' name='robots'/>
<meta content='Ключевые_слова_страницы' name='keywords'/>
<title><data:blog.title/></title>
<b:else/>
<b:if cond='data:blog.pageType == "static_page"'>
<meta content='index,follow' name='robots'/>
<meta expr:content='data:blog.pageName + " пара_ваших_слов"' name='keywords'/>
<title><data:blog.pageName/> — Ваш_бренд</title>
<b:else/>
<b:if cond='data:blog.pageType == "item"'>
<meta content='index,follow' name='robots'/>
<meta expr:content='data:blog.pageName + " пара_ваших_слов"' name='keywords'/>
<title><data:blog.pageName/> — Ваш_бренд</title>
<b:else/>
<meta content='noindex,follow' name='robots'/>
<title><data:blog.pageTitle/></title>
</b:if>
</b:if>
</b:if>
<b:if cond='data:blog.metaDescription != ""'>
<meta expr:content='data:blog.metaDescription' name='description'/>
</b:if>
Он означает:
- Для Главной странице (вида http://shpargalkablog.ru/)
- Она должна быть проиндексирована. Используя при написании сообщения кнопку на Главной можно отображать лишь анонсы статей, полная версия которых будет доступна по ссылке "Дальше".
- Ей присваиваем ключевые слова. Например, у сайта браузера Google Chrome список будет таков: browser, browsing, web browser, internet browser, free browser, web applications, web apps, bookmark, web applications, search box, navigate the web.
- Тег <title> идентичен названию блога.
- Для страниц (static_page) и сообщений (item)
- Документы также должны быть проиндексированы.
- Ключевые слова будут те же, что и в заголовке. Но чтобы содержание было не совсем идентичным, добавьте пару общих слов. Например, у меня - это "как сделать". Если у вас блог про машины, то можете внести "авто автомобили".
- Тег <title> будет содержать заголовки статей и ваш бренд (элемент "— Ваш_бренд" можно не указывать). Например,
"Дублирование контента Blogger. Пути решения. — Шпаргалка блоггера",
а не"Шпаргалка блоггера (про интернет заработок с нуля): Дублирование контента Blogger. Пути решения."
Здесь я советую прочитать статью Google.
- Все остальные URL, в том числе получаемые в результате использования архива и ярлыков
- Индексации не подлежат.
- Последняя строка в коде говорит о наличии мета-тега description, который можно индивидуализировать для каждого сообщения.
Можно добавить мета-теги для URL конкретного сообщения (особенно актуально для "приклеенного поста" на Главной странице). Для чего часть кода:
<b:if cond='data:blog.pageType == "item"'>
<meta content='index,follow' name='robots'/>
<meta expr:content='data:blog.pageName + " пара_ваших_слов"' name='keywords'/>
<title><data:blog.pageName/> — Ваш_бренд</title>заменяем на:<b:if cond='data:blog.pageType == "item"'>
<title><data:blog.pageName/> — Ваш_бренд</title>
<b:if cond='data:blog.url != "http://адрес_вашей_страницы_2"'>
<b:if cond='data:blog.url != "http://адрес_вашей_страницы_1"'>
<!-- для всех, кроме страницы_1-->
<meta content='index,follow' name='robots'/>
<meta expr:content='data:blog.pageName + " пара_ваших_слов"' name='keywords'/>
<b:else/>
<!-- для указанной станицы_1 -->
<meta content='noindex,follow' name='robots'/> <!-- не индексировать -->
</b:if>
<b:else/>
<!-- для указанной станицы_2 -->
<meta content='index,follow' name='robots'/>
<meta content='ваш_вариант_для_страницы_2' name='keywords'/>
</b:if>
Аналогично для static_page. Это те страницы, которые создаются и редактируэтся на вкладке "Отправка"-"Изменить страницы" и не имеют в своём URL даты создания, например, http://shpargalkablog.ru/p/soderzhanie.html.
Мета-тег nosnippet
С ноября 2010 года в Google в правой части экрана монитора можно, нажав на , увидеть миниатюрную копию интересующей страницы. Таким образом, в дальнейшем стоит более внимательно отнестись к дизайну блога, который теперь будет стимулом пользователя зайти на сайт.
Мгновенный предпросмотр можно запретить, указав после тега robots:
<meta name="googlebot" content="nosnippet">
Мета-тег noarchive
Для того, чтобы запретить роботу сохранять результаты страницы в кэше (сохранённая копия в выдаче) (официальная страница Гугла), используется
<meta name="robots" content="noarchive">
Мета-тег description
 |
| title: "Шпаргалка блоггера" (про интернет заработок с нуля) description: для получения заработка с нуля создаём успешный блог |
В "Настройках" - "Настройки поиска" - "Метатеги" - "Описание" - "Включить описание для поисковых систем?" - "Да". В поле ниже добавляем текст description для Главной страницы.
В "Сообщения" - "Изменить" на нужном пункте - справа блок "Настройки сообщения" -
"Описание для поисковых систем" - вносим description для конкретной страницы.Перенаправление URL.
Blogger реализует перенаправление с основного (http://имя.blogspot.com) на региональный домен (http://имя.blogspot.com.ru или http://имя.blogspot.com.es или http://имя.blogspot.com.au и т.д.). Делается это для того, чтобы при поступлении запроса на удаление при нарушении законодательства конкретной страны, содержание блога переставало быть доступным именно для этой страны, то есть блокировалась копия сайта. Автор не увидит ни каких изменений, но ему поступит соответствующее уведомление. См. справка Google.
Решение: наличие своего домена.
Удаление страниц, находящихся в индексе.
Несмотря на предпринятые меры, поисковые системы могут проиндексировать нежелательную страницу. Стоит периодически просматривать свои URL в поисковиках, задав запрос: site:http://shpargalkablog.ru. Их надо убирать вручную. Для Яндекса воспользуемся формой удаления страницы, а для Google нужно зайти в "Инструменты для веб-мастеров"-"Конфигурация сайта"-"Доступ для сканера"-"Удалить URL"-"Создать запрос на удаление".
 |
| Удалить URL в Google Инструменты для веб-мастеров. |
Отправить комментарий