Поисковые роботы...

Вопрос, ребяты, у меня такой:

Сможет ли робот просмотреть папки и проиндексировать в них страницы, если доступ к ним разрешен в файле robots.txt (т.е. эти папки/файлы не указаны в директиве Disallow), но сервером (Апачем) к папкам закрыт доступ директивой <location></location>

Иными словами:
-------------------------------------------
httpd.conf:
...
<location /some_folder>
deny from all
</location>
...
-------------------------------------------
robots.txt
...
User-agent: *
#Disallow: /some_folder/
...
-------------------------------------------
Сможет ли робот получить доступ к файлам, лежащим в папке some_folder?

На вопрос "а зачем так делать, если можно указать все это в robots.txt?" сразу отвечаю: не хочу явным образом указывать название "секретной" папки в общедоступном "robots.txt", но и давать роботу попыток пробраться куда не слудует не собираюсь (особенно, если робот не смотрит "robots.txt")

Сообщение отредактировал xPlo: 20 апреля 2007 - 00:24

ну

httpd.conf:
...
<location /some_folder>
deny from all
</location>
...
-------------------------------------------
robots.txt
...
User-agent: *
#Disallow: /some_folder/
...

httpd.conf - блокирует
robots.txt -просто указывает боту

так что не сможет

Парни, а как правельно написать чтоб полность все разрешить

CoLoS (Jul 2 2007, 17:46) писал:

Allow from all

если не заработает, перед этим ставь Order allow,deny

CoLoS (Jul 2 2007, 17:46) писал:

Ничего не пиши и будет полный доступ