Что-то у меня все чаще и чаще с роботами конфликты возникают. И раньше бывало, но последнее время что не день, то какая-нибудь ерунда.
Пару дней назад думал, что заломали мне каптчу на сепульке. Как выяснилось, не каптча и была — я там сессию не проверял, но, как говорится, осадочек остался…
Ну ладно роботы-спамеры, они для того и сделаны были чтобы ломать каптчи, да пролезать во все "дыры". Но поисковики! Это же просто верх невоспитанности! Приходят на сайт, да еще толпой все вместе и давай индексировать с бешенной скоростью, так что у провайдера пробки выбивает. Потом провайдер говорит "Ай-ай-ай! Какой нагрузка балшой!" и отключает сайт.
А все из-за ленивых программистов — нет того сделать индексацию распределенной по времени, высосать 5000 страниц не за час, а за сутки хотя бы! А роботы тоже не дураки, они чувствуют, что им все с рук сходит…
Я после этого случая решил для робота специальный раздел-кормушку сделать на очень легком скрипте, чтобы он только там пасся и сервер не нагружал. Так эта скотина обиделась и приходить вообще перестала! Не понравилось! Я из за этого три месяца поисковиками вообще не искался. В итоге пришлось оптимизировать обычные страницы, так чтобы они нагрузку выдерживали.
Еще случай был… Запускал новую версию CMS на своем сайте. Все выложил, смотрю как работает. Пользователи ходят, все пучком. Тут бах — главная страница пропала! Ну, пиздец, думаю — система безопасности у CMS ни к черту, хакеры пролезли, всю CMS переделывать! Месяцы работы! Но как??? SQL-иньекция? Прямой доступ к файлам получили или еще чего? За время моих дум пропадает еще несколько страниц. "Срань господня! Мы теряем его!" — проносится у меня в голове. Сайт умирает на глазах, а надо сказать он был моим единственным источником дохода на тот момент и от его работоспособности зависел бюджет семьи.
Делать нечего, бросайсь в бой с невидимым врагом: откапываю логи, среди сотен тысяч строк пытаюсь найти ip-шник наглеца… И вижу кучу строк с одним айпишником, явно не хорошим и всюду лезущим. Поймал, думаю! Лезу быстро в гугл, ввожу айпишник (может его уже знают и разыскивает ФСБ) — хуяк, а это Гуглбот.
И тут я обрел просветление — я не поставил пароль на CMS, эта тварь пришла индексировать и по какой-то ссылке пролезла в CMS (по какой — до сих пор загадка) и стала там топтаться своими грязными лапами по всем кнопкам, включая "удалить раздел". Вроде опять как бы робот не причем, сам виноват, но осадок остался. Сайт восстановил из бэкапа конечно, пароль поставил, жизнь наладилась, но нет-нет, а с роботами постоянно какие-то проблемы возникают.
