Обработка 404 и 410 ошибки поисковой системой Google

Глава команды по борьбе с поисковым спамом Мэтт Каттс выпустил новое обучающее видео, в котором рассказал о том, как поисковой робот различает страницы с кодами 404 (Not Found) и 410 (Gone).

Как известно, обе ошибки, и 404, и 410, говорят о том, что страница, к которой обратились недоступна. Однако разница между двумя кодами все-таки есть. В случае, если пользователю была возвращена ошибка с кодом 404 - это значит, что по запрашиваевому URL не нашлось ни одной страницы. На то может быть 2 причины: была введена неверная ссылка или существовавшая ранее по этому адресу страница была попросту удалена. При этом ответ сервера 404 не дает нам точной информации - была ли страница удалена насовсем или возможно в будущем появится снова.

Код 410 - это уже совсем другое дело. Если при запросе сайт возвращает Вам ошибку с кодом 410 - это значит, что страница, к которой Вы обращаетесь, совершенно точно существовала ранее, но теперь удалена с сервера насовсем.

Учитывая информацию, приведенную выше, поисковая система Google по разному будет относится к страницам с 404 и 410 статусам. В случае, если возвращенный код ошибки соответствует 404, то робот Google не станет помечать её как удаленную в течение суток. По прошествию 24 часов робот снова обратится к странице и проверит её статус.

Если же робот обращается к странице и получает ошибку с кодом 410 - он автоматически пометит её в результатах выдачи как удаленную.