Test sui motori di ricerca

Per confrontare le caratteristiche di scalabilità, efficienza e qualità delle risposte alla query, ho effettuato una serie di test su diversi tipi di dataset.

Innanzitutto ho scelto due documentazioni html di dimensioni diverse nel filesystem, misurando i tempi impiegati dai motori per indicizzarle.

In rete poi, sono stati trattati due siti internet di dimensione crescente per valutare la funzionalità dei crawler.

 Infine, ho compiuto query sugl’indici creati, valutando tempi di risposta e qualità dei risultati restituiti.

Test file system

Come primo dataset ho scelto il manuale in Php, composto da 5185 file per un totale di 25,4 MB, sia HTML che immagini; i risultati ottenuti sono riassunti in Tab.1.

Tab. 1 test su filesystem documentazione php

In questo e nel successivo test sono stati presi in considerazione il numero di file indicizzati, il tempo, la dimensione dell’indice e il rapporto, in percentuale, tra dimensione del dataset e dell’indice.

Per il secondo test, ho aggiunto alla documentazione precedente anche quella dell’apache tomcat 5.5, per raggiungere un totale di 5559 file con dimensione di 31,4 MB; i risultati ottenuti sono in Tab. 2. 

Tab. 2 test su filesystem documentazione php + apache tomcat 5.5

Il numero di file indicizzati da tutti i motori di ricerca è pressoché lo stesso, ma quelli che si distinguono per velocità di indicizzazione e dimensione dell’indice sono Nutch e ht://Dig. Quello invece che si evidenzia per la sua negatività è Phpdig, in quanto riesce a malapena  ad indicizzare 1/5 dei file rispetto agl’altri. Sphider infine, nonostante una buona capacità di indicizzazione presenta problemi a livello di velocità e compressione del dataset.

Test in rete

Il primo sito indicizzato è stato quello dell’Università degli studi dell’Aquila (http://www.univaq.it); questo sito è molto complesso perché possiede frames e pagine duplicate. I risultati ottenuti sono mostrati in Tab. 3.

Tab. 3 test su www.univaq.it

Sphider è il crawl che si è comportato meglio, avendo indicizzato più file di tutti in tempi contenuti. In realtà, i file analizzati raggiungevano il numero di 5662, ma il fatto che ne siano stati indicizzati solo la metà rappresenta un dato positivo, visto che non sono stati considerati quelli con un contenuto minore di 10 parole. 

Inoltre, possiamo evidenziare la grossa dimensione creata da Nutch, grazie al mantenimento delle pagine in cache e dalla memorizzazione della struttura HTML.

Phpdig al contrario, non riesce a eguagliare i risultati ottenuti dagli altri motori di ricerca poiché il sito www.univaq.it è composto da frames e il crawler non riesce a riconoscere i collegamenti tra le varie pagine. Nonostante abbia cercato di risolvere il problema guidando lo spider attraverso il file project.htm, menù principale del sito, non ho ottenuto un considerevole miglioramento.

Il secondo sito scelto per i test è www.arredamenti-casa.com, sito di modeste dimensioni che non possiede frames o codici javascript, ma solo link href (Tab. 4).

Tab. 4 test su www.arredamenti-casa.com.

È importante notare come ht://Dig indicizza molti più file degli altri, ma, ciò non rappresenta un dato positivo anzi, deriva da una non adeguata trattazione di file duplicati.

Ulteriormente si pone l’attenzione su Phpdig che, come Ht://dig, riesce ad ottenere risultati unicamente nel caso in cui il sito in considerazione possiede solo link href.

Per gli altri crawler, infine, si conferma l’analisi già svolta in precedenza.  In termini di rapporto velocità dimensione indice, Nutch è quello che ha un rendimento migliore.

Test sulle Query

Per effettuare i test sulle query, ho scelto il dataset più grande, cioè composto dalla documentazione Php, più la documentazione del Tomcat per quanto riguarda query in locale e, i due dataset composti da www.univaq.it e www.arredamenti-casa.com per quanto riguarda query svolte in rete. Ho considerato solo query in AND poiché è l’unico tipo di query supportato da tutti i motori di ricerca.

I test consistevano, dopo l’emissione della query, nel misurare tempi di risposta e nell’analizzare la qualità dei primi 10 risultati; per far questo ho scelto alcune pagine target, come metro di giudizio, che soddisfacessero a pieno la richiesta. Il primo test, sul dataset sul filesystem è stato con la query “chmod” (Tab. 5) che si trova al terzo livello di profondità.

Tab. 5 Query “chmod” su filesystem

Le pagine target erano due, ma ho considerato sufficienti quelle pagine che attraverso link mi potessero portare alla pagina target.

La seconda query è stata “Security Manager” (Tab.6)

Tab. 6 Query “Security Manager” su filesystem

Nutch ritorna un numero molto più alto di risultati poichè indicizza anche i path dei file.

Con il dataset www.univaq.it è stata effettuata la query “Mignosi” (Prof. Mignosi) in Tab. 7.

 Tab. 7 Query “Mignosi” su www.univaq.it

In questo caso, ho considerato buono la pagina in cui ci sono le informazioni del prof. Mignosi, mentre sufficiente la pagina in cui è presente tutta la lista dei professori, tra cui compare anche il prof. Mignosi.

Possiamo notare come, sia phpdig che il motore interno del sito stesso non raggiungono nemmeno un obbiettivo prefissato, benché, se si effettua una ricerca sul motore interno utilizzato dal sito  www.univaq.it sotto la sezione “rubrica”, si ottiene il risultato che solo il motore Sphider riesce a vedere.

Infine, l’ultima query eseguita è stata “tessuti tende” sul sito www.arredamenti-casa.com .

Tab. 8 Query “Tessuti Tende” su www.arredamenti-casa.com

Da notare che PHPDIG visualizza nei primi 10 risultati quattro target buoni di cui, 2 sono buoni, mentre gli altri 2 sono pagine duplicate.

Sphider si comporta molto bene, anche se la pagina specifica dei “Tessuti per tende” viene collocata solo in settima posizione e non tra le prime, come dovrebbe essere. Inoltre la percentuale di aderenza della notizia alle chiavi di ricerca è solo del 56,86 % e non del 100 %.

ht://Dig riesce a trovare il target principale come primo risultato dandogli il massimo delle stellette (l’aderenza non è espressa in percentuale ma in stelle, con un massimo di cinque), e il secondo risultato buono è collocato in terza posizione con tre stellette.

Nutch riesce a trovare due target buoni e li sistema entrambi nelle prime posizioni.