Здравствуйте, уважаемые начинающие вебмастера. Речь в сегодняшней статье пойдет от том, как составить правильный Robots.txt на своем Dle сайте, так что бы поисковые машины индексировали именно те страницы сайта, которые Вы хотели видеть в индексе поисковых системах. Robots.txt позволяет правильно направлять поисковые машины по заданному курс, что улучшить индексацию сайта и запретит к индексации те страницы Dle сайта, которые не должны оказываться в публичном доступе. Поисковые машины индексируют все, что предоставляет ему веб - мастер и выдает их в индекс. Только веб - мастер вправе, что то запретить индексировать поисковым системам. Как раз о том, что запретить, а что разрешить индексировать поисковым системам и пойдёт речь в данной статье.
Данная статья повествует о файле .htaccess, с помощью которого возможно управление вашим веб-сервером. Этот полезный файл способен устанавливать пароль на целую папку или определенный файл, устанавливать страницу, к которой будет обращаться сервер при запросе к каталогу, создавать редиректы, использовать ЧПУ (Человеку Понятный URL), устанавливать страницы ошибок, запрещать доступ к файлу по определенному IP, и много других полезностей. Я вам расскажу на примерах, быстро и понятно, про этот файл, а так же научу создавать ЧПУ для определенной ссылки, сделаем добавление для DLE.