Come detto, lo scambio dei file avviene principalmente tramite protocollo FTP, che presenta uno svantaggio evidente: bisognava conoscere a quale host collegarsi per poter scaricare il file desiderato.
Gli utenti, in prima battuta, pubblicizzano la disponibilità di un nuovo file tramite una e-mail inviata ad una message list o aprendo una discussione su di un forum.
Una prima riposta a tutto ciò è Archie che arriva nel 1990 grazie alla geniale intuizione dello studente dell’università McGill di Montreal Alan Emtage, oggi accreditato come il “papà” dei motori di ricerca, anche se profondamente diverso dagli attuali search engine: il Web non era neanche nato al momento del suo rilascio (bisognerà aspettare fino al 6 agosto 1991).
Archie
Emtage pensò inizialmente di chiamare il proprio sistema “Archives”, ma decise di allinearsi alla pratica Unix di assegnare ai programmi nomi semplici e criptici (es: grep, cat, troff, sed, awk, perl, ecc.). Archie- (con il trattino) indicava il core del sistema, ovvero “Archie servers” composto da una serie di programmi in grado di gestire un database di FTP anonimi in cui effettuare la ricerca dei file per nome.
Automaticamente, Archie si connetteva agli host presenti nei propri archivi e, oltre a verificarne il funzionamento, scaricava l’elenco completo dei file pubblici.
La base dati che così si creava veniva interrogata tramite espressioni regolari al fine di effettuare il match tra la stringa specificata dall’utente e il nome del file. Una volta trovato quanto richiesto, veniva presentato all’utente l’host FTP relativo da cui recuperare il file.
Nel libro “The daemon, the gnu, and the penguin: A History of Free and Open Source” si riporta che, nel 1992, Archie conteneva informazioni inerenti circa 2,6 milioni di file per un totale di 150 gigabytes di informazioni, mentre nel documento Research Problems for Scalable Internet Resource Discovery si evidenzia che nel 1993 Archie era al massimo del suo splendore, anche se cominciava a dare i primi segni di difficoltà nei tempi di risposta:
“The global collection of Archie servers process approximately 50,000 queries per day, generated by a few thousand users worldwide. Every month or two of Internet growth requires yet another replica of Archie. A dozen Archie servers now replicate a continuously evolving 150 MB database of 2.1 million records. While it responds in seconds on a Saturday night, it can take five minutes to several hours to answer simple queries during a weekday afternoon”
Chiaramente l’ascesa del Web cambia completamente gli scenari e Archie lascia presto lo spazio ai nuovi search engine basata su indicizzazione automatica delle pagine. In particolare, però, ispira il lavoro di Martijn Koster che realizza ALIWEB (Archie-Like Indexing in the Web), fondamentale per lo sviluppo dei robot automatici di indicizzazione.
Sempre nel 1993 compare anche JumpStation che introduce gli spider, consentendo agli utenti di cercare parole chiave nei titoli e nelle intestazioni delle pagine web.
JumpStation (Intellectual property owned by Jonathon Fletcher, Fair use)
JumpStation può essere considerato a tutti gli effetti il primo motore di ricerca in chiave moderna, anche se, dopo solo un anno, non era più in grado di stare al passo con la crescita esponenziale del Web.