robots.txt

robots.txt — это текстовый файл, который содержит параметры индексирования сайта для роботов поисковых систем.

В файле robots.txt нужно разместить информацию о sitemap.xml

1
Sitemap: https://ams74.ru/sitemap.xml

Запрет для всех поисковиков

1
2
User-agent: * 
Disallow: / 

1
2
3
4
5
6
7
8
9
10
11

User-agent: *
Disallow:/admin
Sitemap: http://namesite.ru/sitemap.xml

User-agent: Yandex
Disallow:/admin
Host: namesite.ru