Per il filesystem, ht://Dig offre le prestazioni migliori sia per quanto riguarda il tempo di indicizzazione, che di risposta alle query; i risultati forniti alle interrogazioni raggiungono sempre i target voluti e la dimensione dell’indice si aggira intorno al 45% rispetto alla dimensione del dataset. Nonostante gli ottimi risultati, c’è da dire in negativo che ht://Dig segue solo i link, quindi le pagine devono essere collegate tra loro, oppure è necessario passare come path un file contenente tutti i percorsi assoluti dei file da indicizzare.

Considerando proprio questo aspetto si può rilevare che Nutch è l’unico spider a non presentare tale problema e quindi, anche se a volte non si mostra altrettanto veloce nella fase di crawling o altrettanto capace nel far sì che il rapporto tra la dimensione dell’indice e quella del dataset sia piuttosto contenuta, è sicuramente il più adatto per ambiziosi progetti di crawling dell’intero web o di un numero elevato di siti internet. Non potendo effettuare prove sull’intero web, ciò che ci fa giungere a questo risultato, è la possibilità di analizzare i link prima di effettuare il crawling e l’efficiente eliminazione dei duplicati che in dataset giganteschi è fondamentale. In più la possibilità di visualizzare le pagine in cache e anchor text dei link che puntano a tali pagine, sono caratteristiche importanti per la ricerca nel web.

Per i piccoli domini, Sphider e PhpDig sono ideali. In particolare Sphider è adatto sia per i complessi che per i siti più semplici, agendo in tempi abbastanza ottimali; la negatività però, sta nel fatto che non è concepito per scalare su dataset di milioni di pagine, quindi non paragonabile né a Nutch né a ht://Dig. Una demo di questo crawler è visibile sul sito www.arredamenti-casa.com.

L’unico pregio di Phpdig invece, è rappresentato dalla possibilità di fare crawling tra siti “vicini” (a distanza di un link) che permettono di indicizzare una ristretta nicchia di domini e che, escludendo spam e pubblicità, possono riguardare lo stesso insieme di argomenti.

Per i domini un po’ più elaborati, ossia contenenti frames o duplicati, Phpdig si dimostra assolutamente inadeguato.

I test consistevano, dopo l’emissione della query, nel misurare tempi di risposta e nell’analizzare la qualità dei primi 10 risultati; per far questo ho scelto alcune pagine target, come metro di giudizio, che soddisfacessero a pieno la richiesta. Il primo test, sul dataset sul filesystem è stato con la query “chmod” (Tab. 5) che si trova al terzo livello di profondità.

Tab. 5 Query “chmod” su filesystem

Le pagine target erano due, ma ho considerato sufficienti quelle pagine che attraverso link mi potessero portare alla pagina target.

La seconda query è stata “Security Manager” (Tab.6)

Tab. 6 Query “Security Manager” su filesystem

Nutch ritorna un numero molto più alto di risultati poichè indicizza anche i path dei file.

Con il dataset www.univaq.it è stata effettuata la query “Mignosi” (Prof. Mignosi) in Tab. 7.

 Tab. 7 Query “Mignosi” su www.univaq.it

In questo caso, ho considerato buono la pagina in cui ci sono le informazioni del prof. Mignosi, mentre sufficiente la pagina in cui è presente tutta la lista dei professori, tra cui compare anche il prof. Mignosi.

Possiamo notare come, sia phpdig che il motore interno del sito stesso non raggiungono nemmeno un obbiettivo prefissato, benché, se si effettua una ricerca sul motore interno utilizzato dal sito  www.univaq.it sotto la sezione “rubrica”, si ottiene il risultato che solo il motore Sphider riesce a vedere.

Infine, l’ultima query eseguita è stata “tessuti tende” sul sito www.arredamenti-casa.com .

Tab. 8 Query “Tessuti Tende” su www.arredamenti-casa.com

Da notare che PHPDIG visualizza nei primi 10 risultati quattro target buoni di cui, 2 sono buoni, mentre gli altri 2 sono pagine duplicate.

Sphider si comporta molto bene, anche se la pagina specifica dei “Tessuti per tende” viene collocata solo in settima posizione e non tra le prime, come dovrebbe essere. Inoltre la percentuale di aderenza della notizia alle chiavi di ricerca è solo del 56,86 % e non del 100 %.

ht://Dig riesce a trovare il target principale come primo risultato dandogli il massimo delle stellette (l’aderenza non è espressa in percentuale ma in stelle, con un massimo di cinque), e il secondo risultato buono è collocato in terza posizione con tre stellette.

Nutch riesce a trovare due target buoni e li sistema entrambi nelle prime posizioni. 

Tab. 3 test su www.univaq.it

Sphider è il crawl che si è comportato meglio, avendo indicizzato più file di tutti in tempi contenuti. In realtà, i file analizzati raggiungevano il numero di 5662, ma il fatto che ne siano stati indicizzati solo la metà rappresenta un dato positivo, visto che non sono stati considerati quelli con un contenuto minore di 10 parole. 

Inoltre, possiamo evidenziare la grossa dimensione creata da Nutch, grazie al mantenimento delle pagine in cache e dalla memorizzazione della struttura HTML.

Phpdig al contrario, non riesce a eguagliare i risultati ottenuti dagli altri motori di ricerca poiché il sito www.univaq.it è composto da frames e il crawler non riesce a riconoscere i collegamenti tra le varie pagine. Nonostante abbia cercato di risolvere il problema guidando lo spider attraverso il file project.htm, menù principale del sito, non ho ottenuto un considerevole miglioramento.

Il secondo sito scelto per i test è www.arredamenti-casa.com, sito di modeste dimensioni che non possiede frames o codici javascript, ma solo link href (Tab. 4).

Tab. 4 test su www.arredamenti-casa.com.

È importante notare come ht://Dig indicizza molti più file degli altri, ma, ciò non rappresenta un dato positivo anzi, deriva da una non adeguata trattazione di file duplicati.

Ulteriormente si pone l’attenzione su Phpdig che, come Ht://dig, riesce ad ottenere risultati unicamente nel caso in cui il sito in considerazione possiede solo link href.

Per gli altri crawler, infine, si conferma l’analisi già svolta in precedenza.  In termini di rapporto velocità dimensione indice, Nutch è quello che ha un rendimento migliore.

Tab. 1 test su filesystem documentazione php

In questo e nel successivo test sono stati presi in considerazione il numero di file indicizzati, il tempo, la dimensione dell’indice e il rapporto, in percentuale, tra dimensione del dataset e dell’indice.

Per il secondo test, ho aggiunto alla documentazione precedente anche quella dell’apache tomcat 5.5, per raggiungere un totale di 5559 file con dimensione di 31,4 MB; i risultati ottenuti sono in Tab. 2. 

Tab. 2 test su filesystem documentazione php + apache tomcat 5.5

Il numero di file indicizzati da tutti i motori di ricerca è pressoché lo stesso, ma quelli che si distinguono per velocità di indicizzazione e dimensione dell’indice sono Nutch e ht://Dig. Quello invece che si evidenzia per la sua negatività è Phpdig, in quanto riesce a malapena  ad indicizzare 1/5 dei file rispetto agl’altri. Sphider infine, nonostante una buona capacità di indicizzazione presenta problemi a livello di velocità e compressione del dataset.

Innanzitutto ho scelto due documentazioni html di dimensioni diverse nel filesystem, misurando i tempi impiegati dai motori per indicizzarle.

In rete poi, sono stati trattati due siti internet di dimensione crescente per valutare la funzionalità dei crawler.

 Infine, ho compiuto query sugl’indici creati, valutando tempi di risposta e qualità dei risultati restituiti.

La possibilità di fare crawling tra siti “vicini” (a distanza di un link) permettono di indicizzare una ristretta nicchia di domini che, escludendo spam e pubblicità, possono riguardare lo stesso insieme di argomenti.

Le query per wildcard sono molto funzionali, anche se aumentano drasticamente il tempo di risposta. Altro fattore negativo è la mancanza di un’adeguata rimozione dei duplicati che non garantisce un’ottima efficienza nella restituzione dei risultati.

I risultati delle ricerche sono strutturati in questo modo:
nella prima riga si evidenzia il titolo della notizia che collega al contenuto, titolo che è preceduto dalla percentuale di aderenza della notizia alle chiavi di ricerca; sotto si evidenzia il dominio su cui si sta effettuando la ricerca; accanto c’è la sezione in cui si trova il contenuto. Al di sotto di tutto si trova la descrizione minima della pagina a cui si rimanda.

È da notare che le keywords inserite nella form del motore di ricerca, sono evidenziate per permettere un’immediata consapevolezza del risultato.

È possibile comunque, sin dall’inizio, operare una scelta sul numero dei risultati da visualizzare e sul luogo dove effettuare la ricerca cioè, se in un dominio o in un sottodominio.

• Apache come server web.
• MySQL per il database.

Una volta scompattato il file e posto all’interno del server, si apre il file config.php e si settano username_login e password. Successivamente si accede a http://localhost/[PHPDIG_DIR]/admin/install.php, dove [PHPDIG_DIR] è il nome dato al file scompattato, e si riempiono i campi rispettando l’user, la password, etc… settati nel file config.php. Infine si procede all’istallazione, dando ovviamente un nome al database.

Di default, Phpdig non esce dal dominio che gli si definisce per l’indicizzazione. Varie opzioni di indicizzazione sono scelte dall’user, incluso un parametro per estendere l’indicizzazione ai sottodomini e un parametro per limitare la stessa ad una specifica directory.

Si può limitare l’indicizzazione così che il massimo dei link trovati sia ((x*y*)+1), dove x è il link e y la profondità. In alternativa si può indicizzare una sola pagina o si possono settare le opzioni per indicizzare un maggior numero di pagine.

Phpdig indicizza tutte le parole del documento e, le parole del titolo, possono avere un peso molto importante ai fini del risultato. Phpdig indicizza html e file di testo autonomamente, può inoltre indicizzare php, Ms-word, Ms-excel e Ms-powerPoint, se si istallano esterni binari sul server preposto a tale scopo.

Quando Phpdig prova a leggere un file robots.txt al server web root, considera anche meta robots tags. L’ultima modifica dell’header è memorizzata nel database per evitare indicizzazioni ridondanti.

Per la fase di searching, inoltre, è positiva la facoltà di mutare la formula di ranking e restringere la ricerca a parti del dominio; in più, la modifica dei template per l’interfaccia web permette di integrarla a piacimento in una propria. Il riconoscimento dei Meta tag e il rispetto delle regole imposte dal file robots.txt, consentono di sfruttare al meglio le metainformazioni che i webmaster inseriscono nel codice HTML.

Nonostante il crawler sia efficiente, non è designato per l’intero web e quindi non si può scalare più di tanto. Per quanto riguarda il filesystem, ht://Dig è limitato, non prevedendo un meccanismo appropriato per effettuare l’indicizzazione di più directory senza specificare i path dei file. In più, l’utilizzo degli algoritmi fuzzy possono far decadere la velocità di risposta in maniera pesante e la mancanza di una rimozione dei duplicati può fare ritrovare più volte lo stesso documento.