Поисковые роботы...
xPlo 20 апр 2007
Вопрос, ребяты, у меня такой:
Сможет ли робот просмотреть папки и проиндексировать в них страницы, если доступ к ним разрешен в файле robots.txt (т.е. эти папки/файлы не указаны в директиве Disallow), но сервером (Апачем) к папкам закрыт доступ директивой <location></location>
Иными словами:
-------------------------------------------
httpd.conf:
...
<location /some_folder>
deny from all
</location>
...
-------------------------------------------
robots.txt
...
User-agent: *
#Disallow: /some_folder/
...
-------------------------------------------
Сможет ли робот получить доступ к файлам, лежащим в папке some_folder?
На вопрос "а зачем так делать, если можно указать все это в robots.txt?" сразу отвечаю: не хочу явным образом указывать название "секретной" папки в общедоступном "robots.txt", но и давать роботу попыток пробраться куда не слудует не собираюсь (особенно, если робот не смотрит "robots.txt")
Сообщение отредактировал xPlo: 20 апреля 2007 - 00:24
Сможет ли робот просмотреть папки и проиндексировать в них страницы, если доступ к ним разрешен в файле robots.txt (т.е. эти папки/файлы не указаны в директиве Disallow), но сервером (Апачем) к папкам закрыт доступ директивой <location></location>
Иными словами:
-------------------------------------------
httpd.conf:
...
<location /some_folder>
deny from all
</location>
...
-------------------------------------------
robots.txt
...
User-agent: *
#Disallow: /some_folder/
...
-------------------------------------------
Сможет ли робот получить доступ к файлам, лежащим в папке some_folder?
На вопрос "а зачем так делать, если можно указать все это в robots.txt?" сразу отвечаю: не хочу явным образом указывать название "секретной" папки в общедоступном "robots.txt", но и давать роботу попыток пробраться куда не слудует не собираюсь (особенно, если робот не смотрит "robots.txt")
Сообщение отредактировал xPlo: 20 апреля 2007 - 00:24
atran 20 апр 2007
ну
httpd.conf - блокирует
robots.txt -просто указывает боту
так что не сможет
httpd.conf: ... <location /some_folder> deny from all </location> ... ------------------------------------------- robots.txt ... User-agent: * #Disallow: /some_folder/ ...
httpd.conf - блокирует
robots.txt -просто указывает боту
так что не сможет