File robots.txt

[19Natale83]

Ciao a tutti!
Se non ho capito male, il file robots.txt serve ad indicare ai crawler dei motori di ricerca di non indicizzare alcune parti del sito. Me lo confermate?
Ve lo chiedo perché Drupal crea automaticamente un file robots.txt che riporto di seguito:

# $Id: robots.txt,v 1.9.2.1 2008/12/10 20:12:19 goba Exp $
#
# robots.txt
#
# This file is to prevent the crawling and indexing of certain parts
# of your site by web crawlers and spiders run by sites like Yahoo!
# and Google. By telling these "robots" where not to go on your site,
# you save bandwidth and server resources.
#
# This file will be ignored unless it is at the root of your host:
# Used: http://example.com/robots.txt
# Ignored: http://example.com/site/robots.txt
#
# For more information about the robots.txt standard, see:
# http://www.robotstxt.org/wc/robots.html
#
# For syntax checking, see:
# http://www.sxw.org.uk/computing/robots/check.html

User-agent: *
Crawl-delay: 10
# Directories
Disallow: /includes/
Disallow: /misc/
Disallow: /modules/
Disallow: /profiles/
Disallow: /scripts/
Disallow: /sites/
Disallow: /themes/
# Files
Disallow: /CHANGELOG.txt
Disallow: /cron.php
Disallow: /INSTALL.mysql.txt
Disallow: /INSTALL.pgsql.txt
Disallow: /install.php
Disallow: /INSTALL.txt
Disallow: /LICENSE.txt
Disallow: /MAINTAINERS.txt
Disallow: /update.php
Disallow: /UPGRADE.txt
Disallow: /xmlrpc.php
# Paths (clean URLs)
Disallow: /admin/
Disallow: /comment/reply/
Disallow: /contact/
Disallow: /logout/
Disallow: /node/add/
Disallow: /search/
Disallow: /user/register/
Disallow: /user/password/
Disallow: /user/login/
# Paths (no clean URLs)
Disallow: /?q=admin/
Disallow: /?q=comment/reply/
Disallow: /?q=contact/
Disallow: /?q=logout/
Disallow: /?q=node/add/
Disallow: /?q=search/
Disallow: /?q=user/password/
Disallow: /?q=user/register/
Disallow: /?q=user/login/

Nella directory che ho evidenziato in neretto ci sono cartelle con immagini che uso nel sito e che voglio che siano indicizzate. Così come è ora, invece, le immagini non sarebbero indicizzate, giusto? Se è così, come faccio a cambiare questa regola? Cancello la parte in neretto? (Nella stessa directory, comunque, ci sono altri files che possono anche non essere indicizzati).
Grazie!

[ssjx]

Si se le cancelli (e se Drupal non le riscrive) ne permetti l'indicizzazione .... solo che il mio dubbio è: come mai se Drupal imposta quella regola tu hai messo le immagini lì ? E' stata una tua scelta o il CMS funziona proprio così?

Nel secondo caso io non toglierei la regola mentre nel primo semplicemente sposterei le immagini in una directory diversa

[19Natale83]

In un certo senso sono costretto ad usare quella directory perché Drupal di base non permette di importare le immagini. Per farlo ho dovuto usare il modulo IMCE che permette ciò ma facendomi scegliere obbligatoriamente da quella directory o da sottocartelle comunque presenti in quella directory.
Forse non vedo io qualche opzione, ma non credo. In ogni caso cerco di utilizzare un'altra directory; se non riesco toglierò la stessa dal file robots.txt.

Pensandoci bene... Hai ragione! Se Drupal inserisce quella cartella nel file robots.txt un motivo ci sarà! Ho controllato meglio: non posso selezionare un'altra directory, ma posso cambiare dopo la directory da cui legge l'immagine! Farò così, anche se non è molto elegante, ma almeno potrò scegliere la directory in cui inserire le immagini a mio piacimento!
Grazie, ciao!