Перед тем как вы сделали сайт и сели за написания статей вам первой что карта сайта и маленький файл под название robots.txt. Он предназначен для поисковых ботов, а именно разрешает или запрещает страницы вашего сайта к индексации. Как правило он находится в корневой папке сайта. Как показывают эксперименты идеального robots.txt не существует в принципе, так ...