# robots.txt > robots.txt — это текстовый файл в корне сайта, который предписывает поисковым роботам, какие страницы и разделы разрешено сканировать, а какие — нет. Он работает как директива, а не как технический запрет: нарушение игнорируется ботами. Файл составляется по стандарту де-факто и содержит правила для --- URL: https://www.oweb-solutions.ru/glossary/robots-txt/ Источник: oWeb Solutions —