Motore di ricerca Nutch

Informazioni Nutch

È uno dei più famosi motori di ricerca open-source oggi disponibili [17]. Benché sia un progetto molto giovane, nato nel 2003, la sua fama è dovuta essenzialmente ai suoi sviluppatori, in particolare Doug Cutting creatore di Apache Lucene, il cuore di Nutch, in quanto costituisce le sue librerie per l’indicizzazione e per la ricerca. L’obbiettivo di Nutch è di rendere disponibile la tecnologia di un motore di ricerca aumentando la trasparenza sui risultati forniti; quindi perfetto per Università e Organizzazioni di governo, dove la percezione dell’imparzialità del ranking è più importante.
Nutch è flessibile: può essere personalizzato e incorporato in altre applicazioni.

Fra i siti che utilizzano Nutch i più importanti sono http://labs.yahoo.com/demo/nutch e http://www.mozdex.com. Dato il semplice utilizzo di Nutch, la documentazione non è molto ampia (www.nutch.org/cgi-bin/twiki/), in più ci sono quattro mailing list per sviluppatori e semplici utenti.

Dopo la semplice istallazione, utilizzare e configurare Nutch [16] è immediato, vi sono tre metodi di indicizzazione: FileSystem locale, intranet e l’intero web o piccoli domini. Tutti e tre hanno differenti caratteristiche. Per esempio, il crawling del filesystem è molto più affidabile, in quanto non ci sono errori di rete e non sono necessarie copie cache dei contenuti delle pagine mentre, il crawling del web pone grandi problemi ingegneristici: da quale pagina partire, come si divide il lavoro di un insieme di crawler? ogni quanto tempo aggiornare le pagine?

Le estensioni supportate sono html, pdf e doc; sono indicizzate anche le URL e l’anchor text quindi, effettuando una query, si cerca il testo voluto anche in questi campi. Nutch può effettuare query in AND e per frase ed è possibile visualizzare: la pagina in cache, l’anchor text e la spiegazione del calcolo del rank del risultato, tutto raggiungibile dalla pagina dei match.

Lascia un commento

Il tuo indirizzo email non sarà pubblicato. I campi obbligatori sono contrassegnati *