Perché uno spider, una volta raggiunta una pagina del tuo sito, inizia a seguire tutti i link in essa presenti e pian piano si spazzola "tutte" le tue pagine. Se però erroneamente una pagina non è raggiungibile da alcun link lo spider non sa come raggiungerla, anzi continuerà ad ignorarne l'esistenza.
La sitemap (ad esempio quella di Google) è uno strumento che facilita il lavoro allo spider nel senso che in un'unica soluzione gli da in pasto tutti i link del sito.