Предназначение файлов robots.txt и sitemap.xml
Если у вас есть сайт, значит, вам нужно, чтоб он отображался в поиске, а иначе нет смысла разработки веб-сайта. Файлы robots.txt и sitemap.xml предназначены как раз для правильного сканирования и для ограничения доступа к некоторым разделам и страницам веб-сайта.
Sitemap.xml – файл, содержащий специальные данные для всех поисковиков, о месторасположении страниц, о возможности их сканирования, о преимущественной важности в сравнении с другими страницами веб-сайта и т. д. Данный документ помогает поисковикам прочитать данные ресурса быстрее и правильнее.
Располагается sitemap в корневом каталоге сайта:
https://astanacreative.kz/sitemap.xml
Данный документ пишется по определенным правилам создания карты сайта, документа, предусмотренные поисковыми системами.
Robots.txt – это текстовый документ, содержащий специальные символы, предназначенные для поисковых роботов, о запрете, доступе индексации страниц сайта. В данном случае идет ограничение в индексации каталогов или страниц. По сравнению с sitemap файл robots считается обязательным в существовании, так как включает в себя более важные данные. Также в robots.txt указывается путь и расположение карты сайта sitemap.
Содержание обоих документов должно соответствовать друг другу, то есть если в карте сайта указана страница, а в robots.txt она закрыта от индексации – это неправильно.
Расположение аналогично первому документу:
https://astanacreative.kz/robots.txt
Другое: