Punto informatico Network
Login Esegui login | Non sei registrato? Iscriviti ora (è gratuito!)
Username: Password:
  • Annuncio Pubblicitario

File robots.txt

Cerchi consigli per migliorare il tuo sito? Vuoi aprire un sito in poco tempo?
Discuti con altri webmaster, chiedi chiarimenti ed opinioni in tutta libertà.
Lo spam verrà cancellato.

File robots.txt

Messaggioda 19Natale83 » sab feb 20, 2010 10:14 am

Ciao a tutti!
Se non ho capito male, il file robots.txt serve ad indicare ai crawler dei motori di ricerca di non indicizzare alcune parti del sito. Me lo confermate?
Ve lo chiedo perché Drupal crea automaticamente un file robots.txt che riporto di seguito:

    # $Id: robots.txt,v 1.9.2.1 2008/12/10 20:12:19 goba Exp $
    #
    # robots.txt
    #
    # This file is to prevent the crawling and indexing of certain parts
    # of your site by web crawlers and spiders run by sites like Yahoo!
    # and Google. By telling these "robots" where not to go on your site,
    # you save bandwidth and server resources.
    #
    # This file will be ignored unless it is at the root of your host:
    # Used: http://example.com/robots.txt
    # Ignored: http://example.com/site/robots.txt
    #
    # For more information about the robots.txt standard, see:
    # http://www.robotstxt.org/wc/robots.html
    #
    # For syntax checking, see:
    # http://www.sxw.org.uk/computing/robots/check.html

    User-agent: *
    Crawl-delay: 10
    # Directories
    Disallow: /includes/
    Disallow: /misc/
    Disallow: /modules/
    Disallow: /profiles/
    Disallow: /scripts/
    Disallow: /sites/
    Disallow: /themes/
    # Files
    Disallow: /CHANGELOG.txt
    Disallow: /cron.php
    Disallow: /INSTALL.mysql.txt
    Disallow: /INSTALL.pgsql.txt
    Disallow: /install.php
    Disallow: /INSTALL.txt
    Disallow: /LICENSE.txt
    Disallow: /MAINTAINERS.txt
    Disallow: /update.php
    Disallow: /UPGRADE.txt
    Disallow: /xmlrpc.php
    # Paths (clean URLs)
    Disallow: /admin/
    Disallow: /comment/reply/
    Disallow: /contact/
    Disallow: /logout/
    Disallow: /node/add/
    Disallow: /search/
    Disallow: /user/register/
    Disallow: /user/password/
    Disallow: /user/login/
    # Paths (no clean URLs)
    Disallow: /?q=admin/
    Disallow: /?q=comment/reply/
    Disallow: /?q=contact/
    Disallow: /?q=logout/
    Disallow: /?q=node/add/
    Disallow: /?q=search/
    Disallow: /?q=user/password/
    Disallow: /?q=user/register/
    Disallow: /?q=user/login/

Nella directory che ho evidenziato in neretto ci sono cartelle con immagini che uso nel sito e che voglio che siano indicizzate. Così come è ora, invece, le immagini non sarebbero indicizzate, giusto? Se è così, come faccio a cambiare questa regola? Cancello la parte in neretto? (Nella stessa directory, comunque, ci sono altri files che possono anche non essere indicizzati).
Grazie!
http://medicinapertutti.it
Avatar utente
19Natale83
Bronze Member
Bronze Member
 
Messaggi: 719
Iscritto il: lun ott 29, 2007 9:22 am
Località: Bari

Re: File robots.txt

Messaggioda ssjx » sab feb 20, 2010 4:10 pm

Si se le cancelli (e se Drupal non le riscrive) ne permetti l'indicizzazione .... solo che il mio dubbio è: come mai se Drupal imposta quella regola tu hai messo le immagini lì ? E' stata una tua scelta o il CMS funziona proprio così?

Nel secondo caso io non toglierei la regola mentre nel primo semplicemente sposterei le immagini in una directory diversa
Usavo IE e mi lamentavo... usavo Mozilla e mi lamentavo, decisamente meno ma mi lamentavo, ... poi ho trovato Opera e fu amore a prima vista
Avatar utente
ssjx
Membro Ufficiale (Gold)
Membro Ufficiale (Gold)
 
Messaggi: 5756
Iscritto il: ven nov 26, 2004 3:37 pm
Località: Barcellona

Re: File robots.txt

Messaggioda 19Natale83 » sab feb 20, 2010 4:18 pm

In un certo senso sono costretto ad usare quella directory perché Drupal di base non permette di importare le immagini. Per farlo ho dovuto usare il modulo IMCE che permette ciò ma facendomi scegliere obbligatoriamente da quella directory o da sottocartelle comunque presenti in quella directory.
Forse non vedo io qualche opzione, ma non credo. In ogni caso cerco di utilizzare un'altra directory; se non riesco toglierò la stessa dal file robots.txt.

Pensandoci bene... Hai ragione! Se Drupal inserisce quella cartella nel file robots.txt un motivo ci sarà! Ho controllato meglio: non posso selezionare un'altra directory, ma posso cambiare dopo la directory da cui legge l'immagine! Farò così, anche se non è molto elegante, ma almeno potrò scegliere la directory in cui inserire le immagini a mio piacimento!
Grazie, ciao!
http://medicinapertutti.it
Avatar utente
19Natale83
Bronze Member
Bronze Member
 
Messaggi: 719
Iscritto il: lun ott 29, 2007 9:22 am
Località: Bari


Torna a Sviluppo Web

Chi c’è in linea

Visitano il forum: Nessuno e 0 ospiti

Powered by phpBB © 2002, 2005, 2007, 2008 phpBB Group
Traduzione Italiana phpBB.it

megalab.it: testata telematica quotidiana registrata al Tribunale di Cosenza n. 22/09 del 13.08.2009, editore Master New Media S.r.l.; © Copyright 2008 Master New Media S.r.l. a socio unico - P.I. 02947530784. GRUPPO EDIZIONI MASTER Spa Tutti i diritti sono riservati. Per la pubblicità: Master Advertising