Login Esegui login | Non sei registrato? Iscriviti ora (è gratuito!)
Username: Password:
  • Annuncio Pubblicitario

Come non far indicizzare alcuni URL con Drupal

Cerchi consigli per migliorare il tuo sito? Vuoi aprire un sito in poco tempo?
Discuti con altri webmaster, chiedi chiarimenti ed opinioni in tutta libertà.
Lo spam verrà cancellato.

Come non far indicizzare alcuni URL con Drupal

Messaggioda 19Natale83 » ven lug 29, 2011 9:47 am

Ciao a tutti!
A causa di un limite del modulo "Libri" di Drupal, a volte sono costretto a creare delle pagine nel mio sito che non contengano niente se non un link alla pagina vera e propria dell'articolo. Siccome queste pagine, che indico con [rif.], sono aperte solo qualora un utente sfogli i vari argomenti e NON vorrei che Google le mostrasse nelle SERP, per ogni pagina [rif.] spunto la casella "NOINDEX", che Drupal mette a disposizione, al momento della sua creazione.
Il problema è che sembra che quella spunta non serva a niente poichè quelle pagine vengono inserite nella sitemap e, di conseguenza, appaiono tra i risultati di ricerca (ovviamente in posizioni ultime, ma io non le vorrei proprio!).
Posso fare qualcosa, magari agendo anche manualmente sulla sitemap?
Grazie!

P.S.: per vedere un esempio di pagina [rif.], potete cercare su Google "Tessuto osseo lamellare (o stratificato)": sarà il primo risultato!
http://medicinapertutti.it
Avatar utente
19Natale83
Bronze Member
Bronze Member
 
Messaggi: 712
Iscritto il: lun ott 29, 2007 9:22 am
Località: Bari

Re: Come non far indicizzare alcuni URL con Drupal

Messaggioda BlackJack » dom lug 31, 2011 3:57 pm

Dovrebbe essere una soluzione universale, dacci un occhiata:
http://www.webxall.net/robots.txt.html
Un giorno ho messo un disco di Jimi Hendrix e mio figlio ha chiesto: ‘Papà, chi è?’. Io ho risposto, ‘Figlio mio, questo è Dio’. Robert Plant, Led Zeppelin
Avatar utente
BlackJack
Membro Ufficiale (Gold)
Membro Ufficiale (Gold)
 
Messaggi: 1811
Iscritto il: gio mag 06, 2010 7:47 pm
Località: Prov. Vercelli

Re: Come non far indicizzare alcuni URL con Drupal

Messaggioda 19Natale83 » lun ago 01, 2011 8:49 am

BlackJack ha scritto:Dovrebbe essere una soluzione universale, dacci un occhiata:
http://www.webxall.net/robots.txt.html

Allora Black, nella root del mio sito è già presente un file robots.txt il cui contenuto è il seguente:
Codice: Seleziona tutto
# $Id: robots.txt,v 1.9.2.1 2008/12/10 20:12:19 goba Exp $
#
# robots.txt
#
# This file is to prevent the crawling and indexing of certain parts
# of your site by web crawlers and spiders run by sites like Yahoo!
# and Google. By telling these "robots" where not to go on your site,
# you save bandwidth and server resources.
#
# This file will be ignored unless it is at the root of your host:
# Used:    http://example.com/robots.txt
# Ignored: http://example.com/site/robots.txt
#
# For more information about the robots.txt standard, see:
# http://www.robotstxt.org/wc/robots.html
#
# For syntax checking, see:
# http://www.sxw.org.uk/computing/robots/check.html

User-agent: *
Crawl-delay: 10
# Directories
Disallow: /includes/
Disallow: /misc/
Disallow: /modules/
Disallow: /profiles/
Disallow: /scripts/
Disallow: /sites/
Disallow: /themes/
# Files
Disallow: /CHANGELOG.txt
Disallow: /cron.php
Disallow: /INSTALL.mysql.txt
Disallow: /INSTALL.pgsql.txt
Disallow: /install.php
Disallow: /INSTALL.txt
Disallow: /LICENSE.txt
Disallow: /MAINTAINERS.txt
Disallow: /update.php
Disallow: /UPGRADE.txt
Disallow: /xmlrpc.php
# Paths (clean URLs)
Disallow: /admin/
Disallow: /comment/reply/
Disallow: /contact/
Disallow: /logout/
Disallow: /node/add/
Disallow: /search/
Disallow: /user/register/
Disallow: /user/password/
Disallow: /user/login/
# Paths (no clean URLs)
Disallow: /?q=admin/
Disallow: /?q=comment/reply/
Disallow: /?q=contact/
Disallow: /?q=logout/
Disallow: /?q=node/add/
Disallow: /?q=search/
Disallow: /?q=user/password/
Disallow: /?q=user/register/
Disallow: /?q=user/login/


Ora, se io volessi non utilizzare il comando noindex,follow per la pagina http://medicinapertutti.altervista.org/ ... ratificato, come dovrei scrivere in fondo a quel file? Forse <a rel="noindex,follow" href="http://medicinapertutti.altervista.org/argomento/tessuto-osseo-lamellare-o-stratificato">?
Grazie!
http://medicinapertutti.it
Avatar utente
19Natale83
Bronze Member
Bronze Member
 
Messaggi: 712
Iscritto il: lun ott 29, 2007 9:22 am
Località: Bari


Re: Come non far indicizzare alcuni URL con Drupal

Messaggioda BlackJack » mar ago 02, 2011 2:40 pm

Codice: Seleziona tutto
User-agent: Googlebot
Disallow: /argomento/tessuto-osseo-lamellare-o-stratificato



In user-agent dovrai specificare il nome dello spider/crawler. Questo è di google. Per più spider fai così:

Codice: Seleziona tutto
User-agent: Googlebot
Disallow: /argomento/tessuto-osseo-lamellare-o-stratificato

User-agent: scooter
Disallow: /argomento/tessuto-osseo-lamellare-o-stratificato


eccetra..
Un giorno ho messo un disco di Jimi Hendrix e mio figlio ha chiesto: ‘Papà, chi è?’. Io ho risposto, ‘Figlio mio, questo è Dio’. Robert Plant, Led Zeppelin
Avatar utente
BlackJack
Membro Ufficiale (Gold)
Membro Ufficiale (Gold)
 
Messaggi: 1811
Iscritto il: gio mag 06, 2010 7:47 pm
Località: Prov. Vercelli

Re: Come non far indicizzare alcuni URL con Drupal

Messaggioda 19Natale83 » mar ago 02, 2011 2:51 pm

BlackJack ha scritto:
Codice: Seleziona tutto
User-agent: Googlebot
Disallow: /argomento/tessuto-osseo-lamellare-o-stratificato



In user-agent dovrai specificare il nome dello spider/crawler. Questo è di google. Per più spider fai così:

Codice: Seleziona tutto
User-agent: Googlebot
Disallow: /argomento/tessuto-osseo-lamellare-o-stratificato

User-agent: scooter
Disallow: /argomento/tessuto-osseo-lamellare-o-stratificato


eccetra..


Scusa black, ma con quel "codice" in che momento è usato il comando "noindex,follow"?
http://medicinapertutti.it
Avatar utente
19Natale83
Bronze Member
Bronze Member
 
Messaggi: 712
Iscritto il: lun ott 29, 2007 9:22 am
Località: Bari

Re: Come non far indicizzare alcuni URL con Drupal

Messaggioda BlackJack » mar ago 02, 2011 6:51 pm

http://www.webxall.net/robots.txt.html

Il link che ti ho fornito nel primo post.... leggilo [:)]
Un giorno ho messo un disco di Jimi Hendrix e mio figlio ha chiesto: ‘Papà, chi è?’. Io ho risposto, ‘Figlio mio, questo è Dio’. Robert Plant, Led Zeppelin
Avatar utente
BlackJack
Membro Ufficiale (Gold)
Membro Ufficiale (Gold)
 
Messaggi: 1811
Iscritto il: gio mag 06, 2010 7:47 pm
Località: Prov. Vercelli


Torna a Sviluppo Web

Chi c’è in linea

Visitano il forum: Nessuno e 0 ospiti

Powered by phpBB © 2002, 2005, 2007, 2008 phpBB Group
Traduzione Italiana phpBB.it

megalab.it: testata telematica quotidiana registrata al Tribunale di Cosenza n. 22/09 del 13.08.2009, editore Master New Media S.r.l.; © Copyright 2008 Master New Media S.r.l. a socio unico - P.I. 02947530784. GRUPPO EDIZIONI MASTER Spa Tutti i diritti sono riservati. Per la pubblicità: Master Advertising