Я вот знаете что подумал... Если единственная защита мегафона от майнинга смсок — это robots.txt, и Яндекс и правда индексирует только открытую часть интернета, то кто мешает запустить краулер, который будет все disallow игнорить нафиг?
Есть у меня подозрения что все не так как на самом деле...
Да нет, всё именно так. Как только вскрылась эта тема, я сразу сказал Семёнову, что проблема в отсутствии robots.txt, а лучше всего делать привязку по сессии, куки там и всё такое. Он со мной согласился. Мне кажется, девелоперская ошибка налицо. Или ты думаешь, что там скрытый заговор? :)
Яндекс действительно индексирует только открытую часть интернета. Это абсолютно искреннее заявление со стороны Яндекса.