robots.txt и карта сайта

Карта сайта лежит по адресу /sitemap.xml и собирается сама при каждом запросе — файла на диске нет и создавать его не надо. В неё попадают только страницы с уровнем доступа «Всем»; языковые версии перечисляются внутри одной записи, как того требует Google.

robots.txt открывается по адресу /robots.txt: посетитель и поисковый робот увидят текст, а вы — редактор. Пустое поле здесь осмысленно: значит «собирай автоматически», и движок сам напишет разумный файл со ссылкой на карту сайта.

Раздел robots.txt есть на каждом сайте, но в меню он не показывается — это нормально.

Если не получилось

• Изменения в robots.txt не видны. Если на сервере в корне сайта лежит настоящий файл robots.txt, веб-сервер отдаёт его и до движка запрос не доходит. Файл надо удалить.
• Страницы нет в карте сайта. Проверьте уровень доступа: всё, кроме «Всем», в карту не попадает. Также не попадают адреса с расширением и информеры.