Considerazioni finali su Sphider

Sphider è estremamente semplice da istallare e configurare.

In negativo, si può rilevare l’incapacità di indicizzare il filesystem in quanto si sa muovere solo attraverso links, oltre a non essere in grado di procedere all’indicizzazione di siti contenenti più di 100000 pagine.

In positivo si segnala l’aderenza alle regole del robots.txt; la capacità di ignorare i link se nel tag è presente l’attributo rel=”nofollow” ed infine, l’inclusione di un’opzione in grado di escludere parti di pagine dall’indicizzazione, ad esempio quando alcune keywords appaiono nella maggior parte delle pagine, (come l’intestazione o il menu).