Удаление устаревшего контента из Яндекс и Google

Сегодня владельцы сайтов достаточно много времени тратят на создание интересных и привлекательных страниц, уделяя внимание контенту и его оформлению в попытке привлечь посетителей и поднять страницу в выдаче по поисковым запросам. Нередко владельцы корректируют и оформляют уже существующий контент, пытаясь улучшить его. Однако, в некоторых случаях, от устаревшего контента следует избавляться, даже если в него было вложено многое.

Случаи, в которых стоит удалять ненужный контент

Жёсткое регулирование потока информации со стороны органов власти законодательно

В интернете имеются такие отрасли, которые строго регулируются законодательными актами со стороны государства. Такими отраслями можно называть медицину и финансовую сферу. Так по отношению к ним могут измениться правила, из-за чего размещённую информацию следует подкорректировать или удалить. Это вынужденная мера, чтобы не получить штраф или блокирование ресурса.
К примеру, на сегодня статья, связанная с медициной и советами должна иметь пометку о том, что перед исполнением прочитанного следует обратиться к врачу для консультации, так как могут быть некоторые противопоказания. Раньше же такую пометку можно было не оставлять, но после изменения законодательных актов, все статьи пришлось изменять под новое законодательство.

Новости и статьи, потерявшие актуальность

Большинство новостей не будут пользоваться популярностью долго, и в скором времени они теряют свою актуальность, но никуда не исчезают. В результате сайт начинает забиваться ненужной информацией и разрастаться. Следовательно, от таких новостей лучше избавиться. Статьи также имеют свойство устаревать из-за изменений в изложенных темах и советах. Для актуализации нередко используют смешивание информации из нескольких тем или делают сравнение, но не всегда такой подход оправдан и будет пользоваться интересом. Поэтому статейную информацию также можно удалять по возможности.

Скидки и акции с ограниченным сроком действия

Во время проведения акций часто создаются отдельные страницы для размещения более полной информации и привлечения внимания пользователей, например, посредством перенаправления на такую страничку из письма рассылки или ссылки с баннера. Проведение таких мероприятий и распродаж проводится лишь в определенный временной промежуток, и через время актуальность теряется. Привести трафик и заинтересованных покупателей на устаревшую информацию уже не получится, а количество старого контента может мешать продвижению нового и актуального при определенных условиях. Это ещё один повод удалить неактуальную информацию из интернета.

Изменение ассортимента товаров

У крупных интернет-магазинов товары, которые быстро распродаются, как правило, быстро заканчиваются на складах, а некоторые и вовсе снимаются с производства или заменяются другими, из-за чего появляются неактуальные карточки товаров. Большие объемы ненужных страниц съедают лимиты на обход страниц поисковыми роботами, поэтому не стоит копить неактуальные страницы на сайте.

Методы правильного удаления контента из браузеров

Удалить контент можно как навсегда, так и на определённый промежуток времени. На время можно убрать информацию с помощью архива, таким образом доступ закроется до того, пока данные не будут разархивированы. Также контент можно удалять из индекса, однако пользователи браузера смогут выходить на него с помощью иных ссылок и страниц.

Рассмотрим возможные варианты.

Мета-тег запрещения индексации

Необязательно удалять страницу. Существует вариант, когда с помощью мета-тега noindex (который говорит сам за себя -  "не индексировать") можно дать роботам сигнал на запрет индексации. При размещении такого указания в следующий обход роботы поисковой системы должны увидеть тег и убрать страницу из индекса.

При размещении тега страница будет существовать и открываться для пользователей, но в индексе поисковые системы учитывать ее не будут.

Пример размещения через мета тег <meta name="robots" ...>:

В тегах заголовка <head> можно запретить страницы к индексации. Для этого нужно прописать:

<head> ... <meta name="robots" content="noindex,nofollow"> ... </head> , где

  • noindex - запрет индексации;
  • nofollow - запрет перехода по ссылкам на странице;

Этот способ позволяет точечно запретить индексацию, но такой вариант возможен не на всех cms.
Удаление страницы из индекса с помощью noindex не будет необратимым действием. Если вы захотите вернуть страницу, удалите тег и при следующем сканировании поисковый бот возобновит индексацию. Обратите внимание, что если вы удалите страницу с хорошими позициями, не факт, что при ее возврате они вернутся на то же место в выдаче.

Удаление страниц из поиска Яндекса с помощью вебмастера

Есть способ ускорения процесса удаления из браузера «Яндекс». Для этого нужно написать «disallow» в файле robots.txt и обязательно указать на странице мета-тег «robots» с директивой «noindex».
Другой хороший способ, как удалить страницу – использовать инструмент «Удалить URL» в самом Вебмастере. Можно выбрать вариант удаления одной страницы по URL или нескольких - по префиксу.

Удаление по URL:

удаление страниц Яндекс Вебмастер

Удаление по префиксу:

Удаление страниц по префиксу в Яндекс


Инструмент удаления URL-адресов Google Search Console

У браузера «Google» так же как и у «Яндекса» есть инструмент по удалению страниц – «Инструмент удаления URL».

инструмент удаления урл

Инструмент удаления URL

С помощью него можно удалить страницу временно или навсегда.
Удалять разрешено все URL с определенным префиксом. Префикс site.com/tovar/ приведет к удалению всех других URL-адресов с /category/ в пути, которые стоят после него, например, такими будут  site.com/category/divan/, site.com/category/krovat/, site.com/category/stul/ и другие.
Ещё одна функция – это удаление только кэшированной версии URL или фрагмента.

удаление кэшированной копии

Данный способ отлично подходит для тех, кто желает быстро изменить информацию о быстро меняющихся ценах на телефоны и другую бытовую технику.

Редирект

Если владелец производит два и более товаров, то можно настраивать редирект на некоторые его страницы, чтобы не удалять страницы. Например, одна из страниц товаров стала неактуальной, посещаемость упала, а удаление – не вариант решения проблемы. В этом случае стоит настроить редирект неактуальной страницы на другие странички. Таким образом пользователь будет перенаправляться на другие товары, что, скорее всего, приведёт его к выбору именно вашего товара. Как только товар вернётся к прежней продаваемости, редирект можно удалить. Такая же система работает с относительно одинаковыми статьями.

Самое обычное удаление страницы с сайта

Самое простое и быстрое удаление страницы из сайта – использование 404, 403 или 410 HTTP-кодов ответа сервера, с помощью них робот удалит нужные страницы из индекса. Не забывайте, что при удалении страницы с сайта, следует удалить любые ссылки на неё или заменить их. Без этого пользователи смогут спокойно посещать уже недоступную страницу, что не очень благоприятно для владельцев сайтов. Следует отметить, если информация на устаревшей странице может в определённый момент снова стать актуальной, то такую страницу лучше не удалять, а лишь перенаправить на схожую или смиксовать их.

«А стоит ли удалять? Нет!»

Есть такие случаи, когда совсем неактуальную страницу можно не удалять. Это возможно в том случае, если через какое-то время активность на ней повысится со стопроцентной вероятностью. Такой механизм срабатывает со страницами под ежегодные акционные периоды, на них можно лишь разместить одну надпись с датой начала крупной акции. Это плюс к тому, что владельцу не придётся каждый раз вкладываться в развитие новой страницы.

Какие способы ненадёжны?

Некоторые владельцы сайтов часто используют канонические теги для удаления страниц, что не будет гарантировать исполнение задачи. При таком раскладе роботы могут определить страницу рекомендованной к удалению, что уже будет исполнятся по «желанию» самого робота. Также в браузере «Google» лучше не использовать «robots.txt» не в совокупности с другими способами, так как роботы могут воспринимать изменения как рекомендации – исчезает гарантия. Способ, выбранный владельцем, должен зависеть от ценности устаревшего контента и от срока удаления. Поэтому способ удаления следует выбирать с умом. Правильные действия помогут вам быстро и своевременно удалять устаревший и неактуальный контент!