Всем привет! Суть такая, роботы атакуют сайт. 90% всех посещений идут на 2 страницы. Я их удалил, в поиске они особо не ранжируются. Однако при переходе срабатывает 404 ошибка, т.е. робот все равно на сайт попадает. Подскажите как полностью заблокировать доступ к определенным страницам сайта, например через .HTACCESS? Всем спасибо за советы!
перечитай свой вопрос... ты сам не знаешь чё хочешь...
про твой сайт кроме тех ботов никто не знает
и за ботами стоят те, кто знает тебя лично, и ты из тоже знаешь...
вот там и разбирайся..
Вместо `страница1.html` и `страница2.html` укажи пути к тем страницам, которые хочешь заблокировать. Например, если страница находится по адресу `https://www.example.com/страница1.html`, то пиши `страница1.html`. Добавь эти правила в .htaccess файл в корневой директории сайта. После этого роботы не смогут получить доступ к этим страницам и должны будут получать ошибку 403 (Доступ запрещен). Если роботы продолжают атаковать другие страницы, ты можешь добавить дополнительные правила RewriteRule для блокировки их доступа.
Никак не заблокируешь. Даже если страница удалена из поисковой выдачи, то ее адрес все равно сохранен в БД ботов и они будут лезть на нее. Ну а север при запросе данной страницы просто обязан что-то ответить. В твоем случае он отвечает - 404 - страница не найдена. И так будет до тех пор, пока боты не вычеркнут ее из своих баз данных.
Если хочешь, то можешь прикольнутся - сделать при обращении на данные страницы редирект на Ответы.ru