Deep Web

Das Deep Web (auch Hidden Web oder Invisible Web) bzw. Verstecktes Web bezeichnet den Teil des Internet, der bei einer Recherche nicht über normale Suchmaschinen auffindbar ist. Im Gegensatz zum Deep Web werden die über Suchmaschinen zugänglichen Webseiten Visible Web (Sichtbares Web) oder Surface Web (Oberflächenweb) genannt. Das Deep Web besteht zu großen Teilen aus themenspezifischen Datenbanken (Fachdatenbanken) und Webseiten, die erst durch Anfragen dynamisch aus Datenbanken generiert werden. Grob kann das Deep Web unterschieden werden in "Inhalte, die nicht frei zugänglich sind" und "Inhalte, die nicht von Suchmaschinen indiziert werden". Die Größe des Deep Web kann nur geschätzt werden – es wird davon ausgegangen, dass es ein Vielfaches des direkt zugänglichen Webs umfasst. Suchmaschinen werden ständig weiterentwickelt, daher können Webseiten, die gestern noch zum Deep Web gehörten, heute schon Teil des Oberflächenwebs sein.

Eigenschaften

Nach einer Studie (Bergmann 2001) der Firma BrightPlanet ergeben sich für das Deep Web folgende Eigenschaften:

Die Datenmenge des Deep Web sei etwa 400 bis 550 mal größer als die des Surface Web. Allein 60 der größten Deep Web Seiten enthalten etwa 750 Terabyte an Informationen, was die Menge des Surface Web um den Faktor 40 übersteigt. Es existieren angeblich mehr als 200.000 Deep-Websites. So haben laut der Studie Webseiten aus dem Deep Web durchschnittlich 50 % mehr Zugriffe pro Monat, und seien öfter verlinkt als Webseiten aus dem Surface Web. Das Deep Web sei auch die am schnellsten wachsende Kategorie von neuen Informationen im Web. Trotzdem sei der im Internet suchenden Öffentlichkeit die normale Deep Web-Site kaum bekannt. Mehr als die Hälfte des Deep Web sei in themenspezifischen Datenbanken angesiedelt. Mehr als 95 % des Deep Web seien gebührenfrei zugänglich.

Da Bright Planet mit DQM2 eine kommerzielle Suchhilfe anbietet, ist die stark überschätzte Größenangabe mit großer Vorsicht zu genießen. Die geschätzte Datenmenge des Deep Web muss um einige Daten bereinigt werden:

Dubletten aus Bibliothekskatalogen, die sich überschneiden
Datensammlung des National Climatic Data Center (370.000 GByte)
Daten der NASA (220.000 GByte)
weitere Datensammlungen (National Oceanographic Data Center & National Geophysical Data Center, Right to know Network, Alexa, ...)

Anhand der Anzahl der Datensätze zeigt sich, dass die Studie die Größe des Deep Web um das zehnfache überschätzt. Allein der Informationsanbieter LexisNexis hat mit 4,6 Milliarden Datensätzen mehr als die Hälfte der Anzahl der Datensätze des Suchmaschinenprimus Google. Das Deep Web ist daher sicher weitaus größer als das Oberflächenweb.

In einer Untersuchung der University of California, Berkeley aus dem Jahr 2003 wurden folgende Werte als Umfang des Internets ermittelt: Surface Web – 167 Terabyte, Deep Web – 91.850 Terabyte. Die gedruckten Bestände der Library of Congress in Washington, der größten Bibliothek der Welt, umfassen 10 Terabyte.

Arten des Deep Web

Nach Sherman & Price (2001) werden fünf Typen des Invisible Web unterschieden: „Opaque Web“, „Private Web“, „Proprietary Web“, „Invisible Web“ und „Truly invisible Web“.

Opaque Web

Das Opaque Web (engl. undurchsichtig) sind Webseiten, die indiziert werden könnten, zurzeit aber aus Gründen der technischen Leistungsfähigkeit oder Aufwand-Nutzen-Relation nicht indiziert werden (Suchtiefe, Besuchsfrequenz).

Suchmaschinen berücksichtigen nicht alle Verzeichnisebenen und Unterseiten einer Webseite. Beim Erfassen von Webseiten steuern Webcrawler über Links zu den folgenden Webseiten. Webcrawler selbst können nicht navigieren, sich sogar in tiefen Verzeichnisstrukturen verlaufen, Seiten nicht erfassen und nicht zurück zur Startseite finden. Aus diesem Grund berücksichtigen Suchmaschinen oft höchstens fünf oder sechs Verzeichnisebenen. Umfangreiche und somit relevante Dokumente können in tieferen Hierarchieebenen liegen und wegen der beschränkten Erschließungstiefe von Suchmaschinen nicht gefunden werden.

Dazu kommen Dateiformate, die nur teilweise erfasst werden können (z.B. PDF, Google indiziert immer nur die ersten 120 kB – etwa 100.000 Textzeichen – einer PDF-Datei).

Es besteht eine Abhängigkeit von der Häufigkeit der Indizierung einer Webseite (täglich, monatlich). Außerdem sind ständig aktualisierte Datenbestände, Messdaten, Echtzeit-Daten betroffen. Webseiten ohne Hyperlinks oder Navigationssystem, unverlinkte Webseiten, Einsiedler-URLs oder Orphan-Seiten (engl. Waise) fallen ebenfalls darunter.

Private Web

Das Private Web beschreibt Webseiten, die indiziert werden könnten, aber auf Grund von Zugangsbeschränkungen des Webmasters nicht indiziert werden.

Dies können Webseiten im Intranet (interne Webseiten) sein, aber auch passwortgeschützte Daten (Registrierung und evtl. Kennwort und Login), Zugang nur für bestimmte IP-Adressen, Schutz vor einer Indizierung durch den Robots Exclusion Standard oder Schutz vor einer Indizierung durch die Meta-Tag-Werte noindex, nofollow und noimageindex im Quelltext der Webseite.

Proprietary Web

Mit Proprietary Web sind Webseiten gemeint, die indiziert werden könnten, die jedoch nur nach Anerkennung einer Nutzungsbedingung zugänglich sind (kostenlos oder kostenpflichtig).

Derartige Webseiten sind üblicherweise erst nach einer Identifizierung (Webbasierte Fachdatenbanken) abrufbar.

Invisible Web

Unter das Invisible Web fallen Webseiten, die indiziert werden könnten, die jedoch aus kaufmännischen oder strategischen Gründen nicht indiziert werden - wie zum Beispiel Datenbanken mit einem Webformular.

Truly Invisible Web

Mit Truly Invisible Web werden Webseiten bezeichnet, die nicht indiziert werden können. Das können Datenbankformate sein, die vor dem WWW entstanden sind (Einige Hosts), Dokumente, die nicht direkt im Browser angezeigt werden können, Nicht-Standardformate genauso wie Dateiformate, die nicht erfasst werden können (zum Beispiel Flash und Grafikformate). Dazu kommen komprimierte Daten, oder Webseiten, die nur über eine Benutzernavigation, die Grafiken (Image Maps) oder Scripte (Frames) benutzt, zu bedienen sind. Außerdem gibt es auch von Suchmaschinen absichtlich vernachlässigte Daten.

Datenbanken

Dynamisch erstellte Webseiten

Suchmaschinen nutzen Webcrawler (Suchroboter), die ununterbrochen im Netz unterwegs sind, um neue Webseiten zu finden. Diese Webcrawler folgen den Hyperlinks der Webseiten. Eine der technischen Grundlagen des World Wide Web und von Hyperlinks ist die Hypertext-Auszeichnungssprache HTML, Hyperlinks sind in HTML verfasst (SelfHTML, Links). Webcrawler bearbeiten fast ausschließlich statische Webseiten in HTML. Datenbanken, deren Seiten erst auf Anfrage dynamisch generiert werden, werden von den link-basierten Webcrawlern der Suchmaschinen noch kaum durchsucht. Die Suchroboter können Datenbankabfragen von Servern mit Datenbankverwaltungssystemen wie MySQL oder Microsoft Access, die mit Programmiersprachen wie PHP, ASP oder CGI-Skripten dynamisch erstellt wurden, oft nicht indizieren. Dynamisch erstellte Webseiten sind zu erkennen an den Sonderzeichen ?, &, %, und = im URL. Der Teil eines dynamischen URLs mit den Suchparametern (nach dem Sonderzeichen) nennt sich Query-String. Als Schnittstelle zum Internet (Gateway) dient dynamischen Datenbanken eine Bedienoberfläche mit einem Such-Formular in HTML. Dieses Suchformular oder diese Suchmaske der Datenbanken wird von Suchmaschinen gefunden. Um auf diese Datenbanken zugreifen zu können, müssten Suchmaschinen für jeden einzelnen Datenbanktypus eine eigene Zugriffsmethode (einen sogenannten Wrapper) einpflegen, was durch einen hohen Entwicklungsaufwand in keinem Kosten-Nutzen Verhältnis stehen würde. Kooperative Datenbankanbieter erlauben Suchmaschinen über JDBC oder andere Mechanismen einen Zugriff auf den Inhalt ihrer Datenbank. Nicht kooperative Datenbanken erlauben den Datenbankzugriff nur über ein Such-Formular. Das Oberflächenweb ist einfach zu definieren, es besteht aus HTML-Seiten, die von Webcrawlern indiziert wurden. Mittlerweile werden aber viele dynamische Seiten regelrecht "statisch maskiert". Das geschieht meistens mit mod_rewrite, einem Modul des Apache-Webservers; siehe Google-Spamming.

Hosts und Fachdatenbanken

Hosts sind kommerzielle Informationsanbieter, die Fachdatenbanken unterschiedlicher Informationsproduzenten innerhalb einer Oberfläche bündeln. Manche Datenbankanbieter (Hosts) oder Datenbankproduzenten selbst betreiben relationale Datenbanken, deren Daten nicht ohne eine spezielle Zugriffsmöglichkeit (Retrieval-Sprache, Retrieval-Tool) abgerufen werden können. Webcrawler verstehen weder die Struktur noch die Sprache, die benötigt wird, um Informationen aus diesen Datenbanken auszulesen. Viele Hosts sind seit den 1970er Jahren als Online-Dienst tätig und betreiben in ihren Datenbanken teilweise Datenbanksysteme, die lange vor dem WWW entstanden sind. Die Vorteile von Informationen aus Host-Datenbanken sind unter anderem die hohe Qualität, Relevanz, Aktualität, Authentizität, Integrität und Neutralität.

Beispiele für Datenbanken: Bibliothekskataloge (OPAC), Börsenkurse, Fahrpläne, Gesetzestexte, Jobbörsen, Nachrichten, Patente, Telefonbücher, Webshops, Wörterbücher.

Ausblick

Suchmaschinen machen zunehmend die Inhalte des Deep Web zugänglich und recherchierbar (Produktsuche, Routenplaner, Patente, Wetter). Zudem entwickeln sie sich weg vom bisher maßgeblichen Page-Rank hin zu einer Orientierung an den personalisierten Bedürfnissen des Nutzers (Beispiel Eurekster). Bei einer Recherche nach aktuellen Fachinformationen ist eine Suche mit Suchmaschinen zurzeit noch unzulänglich. Gute Informationen benötigen die Kenntnis über entsprechende kostenlose Fachdatenbanken und deren Einstiegsadressen – oder kosten Geld (Host). Das Wissen über geeignete Gateways zu Informationsressourcen ist jedoch unter Nutzern wenig verbreitet. Es entwickelt sich zunehmend eine Zahlungsbereitschaft für qualitativ hochwertige Daten.

Siehe auch

Literatur

Bergman, Michael K.: The Deep Web: Surfacing Hidden Value, The Journal of Electronic Publishing, Jahrgang 7, Nr.1, 2001 ^*
Warnick, W. L. et al.: Searching the Deep Web, D-Lib Magazine, January 2001, Volume 7 Number 1, ^*
Sherman, Chris; Price, Gary; The Invisible Web: Finding Hidden Internet Resources Search Engines Can't See, Cyberage Books 2001, ISBN 0-910965-51-X, Webseite zum Buch, Stand 2001

Weblinks

World_Wide_Web | Dokumentation

Deep web | Web profond | Глубокая паутина

Gourt Home::Gourt :: Deep Web