Suchmaschinen vor Google Am Anfang war die Liste

Zehn Jahre nach der Gründung steht Google synonym für die Suche im Internet. Gesucht und gefunden wurde dort aber schon lange vorher. SPIEGEL ONLINE beleuchtet die Netz-Welt vor Google: von Veronica über Gopher bis zu den ersten Web-Suchmaschinen.

Eigentlich war ja alles gar nicht so gemeint: Als Tim Berners-Lee ab 1989 daran ging, mit dem http-Protokoll und dem darauf aufsetzenden World Wide Web ein Hypertext-fähiges Netzwerk zu schaffen, hatte er nur die Bedürfnisse der Forscher am Schweizer Forschungszentrum Cern im Blick. Ihnen wollte er ein plattformübergreifendes Kommunikations- und Informationsnetzwerk zur Verfügung stellen, über das die ins Kraut schießende, per Rechner abrufbare Informationsfülle der Institute bequemer zugänglich werden sollte.

Die Sache sprach sich schnell herum in den damals informierten Kreisen, und schnell stieg die Zahl der Web-Server in aller Welt. Fast zwangsläufig wurde Berners-Lee so nicht nur zum Vater des WWW, sondern auch zum Schöpfer und Betreiber des ersten echten und wahrscheinlich letzten wirklich vollständigen Web-Katalogs. Berners-Lees 1991 veröffentliche "Virtual Library" der weltweiten Web-Server wurde so zum Ur-Yahoo.

Bereits Ende 1992 gab Berners-Lee den Versuch wieder auf, wirklich jeden einzelnen WWW-Server erfassen zu wollen. Seine letzte Liste  umfasste 29 Einträge, hinter jedem einzelnen verbargen sich zum Teil mehrere weitere WWW-Server: Klar, dass der vielbeschäftigte Wissenschaftler die Fleißarbeit am Katalog da aufgab und sie anderen überließ.

Die Vor- und Frühzeit der öffentlichen Computernetze generierte zahllose solche Geschichten, die in Rückschau als niedliche Anekdoten erscheinen. Es war eine Phase, die von Akademikern und Überzeugungstätern geprägt war - noch lag der Gedanke fern, mit Dienstleistungen wie Internet-Suche Geld verdienen zu können oder zu wollen. Das Internet, dessen Grundelemente ab Ende der sechziger Jahre zunächst als militärische und universitäre Netze entstanden waren, blieb bis Mitte der Neunziger eine höchst elitäre Veranstaltung.

Die Notwendigkeit, im Datenwust Orientierung zu schaffen, wurde jedoch schon erkannt, als man noch theoretisierend über die Möglichkeit solcher Netze nachdachte. Bereits früh schälten sich zwei grundsätzliche Ansätze heraus, der wachsenden Informationsfülle Herr zu werden: Auf der einen Seite stand der Grundgedanke des Katalogs, auf der anderen der des Indexierungsprogramms.

Mit der Indexierung von Inhalten hatten sich bereits zahllose Generationen von Bibliotheksfachleuten beschäftigt. An der Schwelle zum Computerzeitalter aber wurde klar, dass das Vorhalten von Informationen in Datenbanken etwas völlig anderes sein würde, als Bücher und andere Druckwerke zu lagern und deren Inhalte auffindbar zu machen.

Pioniere und Vordenker

In einem berühmten Artikel in der Zeitschrift "Atlantic Monthly" hatte Vannevar Bush bereits 1945 das Kommen der Netzwerke und des Hypertextes ("Memex") antizipiert. Fünfzehn Jahre später begann in den USA der deutschstämmige Informatiker Gerard Salton an intelligenten Netzwerk-Strukturen zu arbeiten ("SMART informational retrieval system"), deren Wert vor allem in der Indexierung der darin enthaltenen Informationen liegen sollte. Zugleich plante Ted Nelsons sein nie vollendetes "Xanadu"-Netzwerkprojekt, dessen Kernelement in der Verknüpfung der Inhalte miteinander lag ("Hypertext"). Nelson erträumte sich einen Informationsraum, in dem alles mit allem verbunden sein sollte.

Das frühe Internet unterschied sich deutlich von dieser Vision. FTP, der anfänglich weitestverbreitete Dienst des Netzes, leistete wenig mehr, als Datei-Downloads unter festen Adressen anzubieten. Um Inhalte zu finden, brauchte man entweder konkrete Hinweise, wo genau man etwas finden konnte oder systematisch strukturierte Dateiverzeichnisse in Listenform, die man dann nach Inhalten durchsuchen musste. Einziger Hinweis auf die Inhalte solcher Downloads waren die Datei- und Verzeichnisnamen, und genau die erschloss dann auch die erste eigentliche Suchmaschine für das Internet: Archie ging 1990 online und stellte einen enormen Fortschritt dar.

Schon 1991 folgte Veronica, die nicht nur Dateinamen erfasste, sondern zumindest versuchte, auch in Dokumenten (natürlich nur Texten) nach den vom Nutzer verlangten Stichwörtern zu suchen. Das versuchten im gleichen Jahr auch die Entwickler des Gopher-Protokolls, das kurzzeitig große Popularität erlangte - es machte FTP-Verzeichnisse leichter durchsuchbar.

Gopher stützte sich auf eine eigene Browser-Software, die im Verbund mit einer Gopher-Schnittstelle auf Serverseite Ordnung in den FTP-Dateiwust bringen sollte: Gopher war in der Lage, auf Anfrage FTP-Downloadlisten zu erstellen und darzustellen. Damit war Gopher der Eingang in eine NetzwWelt, in der zumindest der Überblick über Inhalte auf Seiten frei generiert wurde - auf so etwas hatten viele gewartet. Für ein kurzes Jahr flossen großzügige Mittel in Gopher-Projekte: Das ambitionierteste davon war wohl LC MARVEL, die "Library of Congress Machine-Assisted Realization of the Virtual Electronic Library". Die interne Mitteilung vom 7. Oktober 1993  findet sich noch immer in einer Gopher-Version im Netz.

Parallel dazu gab die Kongressbibliothek eine stolze Pressemitteilung  zu dem Thema heraus. Interessant daran ist heute vor allem die Umständlichkeit, mit der dieses exotische, neue und weltweite Informationsmedium eingeführt wird: "Das neue System kann über das weltweite Computernetzwerk, das als Internet bekannt ist, erreicht werden." Und zwar ganz einfach: Per Telnet-Direktverbindung, wonach man sich mit einem öffentlich zugänglichen Passwort einloggen konnte und vollen Zugriff auf die kärglichen Informationen bekam - soweit man das Glück hatte, eine der zehn zur Verfügung stehenden Telnet-Schnittstellen offen zu erwischen. Denn mehr als zehn Personen zur gleichen Zeit konnten dieses weltweite Angebot des US-Kongresses nicht nutzen.

Die erste echte WWW-Suchmaschine

Gopher ist das letzte Stück dieser Web-Vorläuferwelt, das noch immer aktiv ist: Der Browser Firefox bietet den Dienst noch immer an (Internet Explorer nicht). Mit ihm lässt sich darum auch noch immer die Veronica-Suche unter Gopher nutzen. Ein witziger Blick in die Web-Vergangenheit: Schon lustig, was man damit alles nicht findet . Endgültig deaktiviert wird Gopher voraussichtlich mit der Firefox-Version 4.

Doch die Zeit solcher umständlicher Lösungen ging rapide ihrem Ende entgegen. Der umgehende Erfolg des WWW-Modells sorgte für eine regelrechte Explosion der Zahl der online verfügbaren Inhalte - selbst vor dem Zeitpunkt der Öffnung des WWW für die Öffentlichkeit.

Bereits 1993 lieferte der World Wide Web Wanderer eine erste Lösung für das Problem: Der Wanderer war die erste echte Crawler-Suchmaschine für das WWW - auch, wenn sie zunächst nur Adressen von Dokumenten sammelte.

Die Suche löste sich von den Beschränkungen der Verzeichnisse. Man musste nicht mehr wissen, wo man etwas suchen sollte - das erledigte der Bot.

Besser als der Wanderer schaffte dies die Suchmaschine Aliweb. Sie indexierte auch die Inhalte der Seiten - allerdings nur, wenn man ihr vorher mitteilte, wo diese zu finden waren und wie diese Inhalte aussahen: Man lieferte quasi den Index in Form von Stichworten (Metatags) selbst. Aliweb fand eine Menge Beifall - und kaum Nutzer oder Webmaster, die die Maschine mit Seiten fütterten. Der World Wide Web Worm versuchte die Indexierung bald darauf im Alleingang: Der Bot erfasste immerhin Adressen und Seitentitel.

Diese und andere frühe Bots zeigten allerdings auch schnell, dass das neue Web ganz neue Probleme mit sich bringen würde: Anders als FTP, Gopher und Co entwickelte das WWW quasi aus sich heraus einen unersättlichen Hunger nach Bandbreite. Weil die Crawler-Bots ihre Ziel-Web-Seiten teils mehrere hundertmal am Tag ansteuerten und indexierten, entstand eine ganz neue Form des Auto-Verkehrs: Die Server begannen, ohne Unterlass miteinander zu kommunizieren.

Die erste Reaktion von Seiten vieler Server-Betreiber mutet heute völlig aberwitzig an: Sie blockierten ihre Server für Crawler und Bots, entsprechende "Diese Seite bitte meiden!"-Tags standen bald schon in den für Web-Leser nicht sichtbaren Header-Informationen zahlreicher Web-Seiten. Es war 1993, Tim Berners-Lee gab das WWW-Protokoll unpatentiert zur allgemeinen Verwendung frei - und noch immer hatte niemand eine Vorstellung davon, was nun innerhalb von nur zwei Jahren beginnen sollte: Die größte Revolution der Medienwelt seit Einführung des Fernsehens.

Möglich wurde die vor allem durch immer bessere Suchmaschinen. Schon standen die ersten Entwickler und Unternehmen mit Weitblick in den Startlöchern, und alle einte ein Plan: Das zu schaffen, was Google erst Jahre später gelingen sollte - mit dem Stochern im Web sehr viel Geld zu verdienen.

Googles Geschichte