Google не учитывает robots.txt?
03.08.2008 от admin
Сегодня исследуя дорвеи в буржунете наткнулся на забавный факт… Google проиндексил редирект Яндекса, хотя в robots.txt это запрещено.
Скриншот для истории:
03.08.2008 от admin
Сегодня исследуя дорвеи в буржунете наткнулся на забавный факт… Google проиндексил редирект Яндекса, хотя в robots.txt это запрещено.
Скриншот для истории: