Обработка 404 и 410 ошибок поисковой системой Google

Глава команды по борьбе с поисковым спамом Мэтт Каттс выпустил новое обучающее видео, в котором рассказал, как поисковой робот различает страницы с кодами 404 (Not Found) и 410 (Gone).

Как известно, обе ошибки говорят о том, что страница, к которой обратились, недоступна. Однако разница между двумя кодами все-таки есть. В случае, если пользователю была возвращена ошибка с кодом 404 - значит, что по запрашиваемому URL не нашлось ни одной страницы. На то может быть 2 причины: была введена неверная ссылка или существовавшая ранее по этому адресу страница попросту удалена. При этом ответ сервера 404 не дает нам точной информации, была ли страница удалена насовсем или в будущем появится снова.

Код 410 - это уже совсем другое дело. Если при запросе сайт возвращает вам ошибку с кодом 410, это значит, что страница, к которой вы обращаетесь, совершенно точно существовала ранее, но теперь удалена с сервера насовсем.

Учитывая информацию, приведенную выше, поисковая система Google по разному будет относиться к страницам с 404 и 410 статусами. В случае, если возвращенный код ошибки соответствует 404, то робот Google не станет помечать ее как удаленную в течение суток. По прошествию 24 часов робот снова обратится к странице и проверит ее статус.

Если же робот обращается к странице и получает ошибку с кодом 410 - он автоматически пометит ее в результатах выдачи как удаленную.