Suchmaschinen sind gewissermaßen der Herzschlag des Internets; „Googeln“ ist Teil der Alltagssprache geworden und wird von Merriam-Webster sogar als grammatikalisch korrektes Verb erkannt. Es ist jedoch ein weit verbreitetes Missverständnis, dass das Googeln eines Suchbegriffs jede Website aufdeckt, die Ihre Suche anspricht. Typische Suchmaschinen wie Google, Yahoo oder Bing greifen tatsächlich nur auf einen winzigen Bruchteil – geschätzt auf 0,03% – des Internets zu. Die Websites, die traditionelle Suchanfragen ergeben, sind Teil des sogenannten Surface Web, das aus indizierten Seiten besteht, für deren Abruf die Webcrawler einer Suchmaschine programmiert sind.
“ So viel wie 90 Prozent des Internets ist nur über deb Web-Websites zugänglich.“
Also, wo ist der Rest? Die überwiegende Mehrheit des Internets liegt im Deep Web, manchmal auch als unsichtbares Web bezeichnet. Die tatsächliche Größe des Deep Web ist unmöglich zu messen, aber viele Experten schätzen, dass es etwa 500 Mal so groß ist wie das Web, wie wir es kennen.
Was genau ist das Deep Web? Deep Web-Seiten funktionieren wie jede andere Website online, aber sie sind so konstruiert, dass ihre Existenz für Crawler unsichtbar ist. Während jüngste Nachrichten, wie die Pleite der berüchtigten Drogenhandelsseite Silk Road und Edward Snowdens NSA-Shenanigans, die Existenz des Deep Web beleuchtet haben, wird es immer noch weitgehend missverstanden.
Suchmaschinen und das Surface Web
Wenn Sie verstehen, wie Surface-Seiten von Suchmaschinen indiziert werden, können Sie besser verstehen, worum es im Deep Web geht. In den frühen Tagen waren Rechenleistung und Speicherplatz so hoch, dass Suchmaschinen eine minimale Anzahl von Seiten indexierten und oft nur Teilinhalte speicherten. Die Methodik hinter der Suche spiegelte die Absichten der Benutzer wider; Frühe Internetnutzer suchten im Allgemeinen nach Forschung, Daher indizierten die ersten Suchmaschinen einfache Abfragen, die Studenten oder andere Forscher wahrscheinlich stellten. Suchergebnisse bestanden aus tatsächlichen Inhalten, die eine Suchmaschine gespeichert hatte.
Im Laufe der Zeit machte es die fortschreitende Technologie für Suchmaschinen rentabel, die Indizierung von Website-Inhalten gründlicher durchzuführen. Heutige Webcrawler oder Spider verwenden ausgeklügelte Algorithmen, um Seitendaten von verlinkten Seiten zu sammeln. Diese Roboter manövrieren sich durch alle verknüpften Daten im Internet und verdienen sich ihren Spitznamen spidery. Jede Oberflächenseite wird durch Metadaten indiziert, die Crawler sammeln. Diese Metadaten, die aus Elementen wie Seitentitel, Seitenspeicherort (URL) und wiederholten Schlüsselwörtern bestehen, die im Text verwendet werden, benötigen viel weniger Speicherplatz als der tatsächliche Seiteninhalt. Anstelle des zwischengespeicherten Inhaltsdumps der alten, Heutigen Suchmaschinen leiten Benutzer schnell und effizient zu Websites, die für ihre Anfragen relevant sind.
Um ein Gefühl dafür zu bekommen, wie sich Suchmaschinen im Laufe der Zeit verbessert haben, beschreibt Googles interaktive Aufschlüsselung „Wie die Suche funktioniert“ alle Faktoren, die bei jeder Google-Suche eine Rolle spielen. In ähnlicher Weise, Moz.com die Zeitleiste des Suchmaschinenalgorithmus von Google gibt Ihnen eine Vorstellung davon, wie ununterbrochen die Suchanfragen verfeinert wurden. Wie sich diese Bemühungen auf das Deep Web auswirken, ist nicht genau klar. Aber es ist vernünftig anzunehmen, dass, wenn sich die großen Suchmaschinen weiter verbessern, gewöhnliche Webbenutzer weniger wahrscheinlich nach arkanen Deep-Web-Suchen suchen werden.
Wie ist das Deep Web für Suchmaschinen unsichtbar?
Suchmaschinen wie Google sind extrem leistungsfähig und effektiv darin, aktuelle Webinhalte zu destillieren. Was ihnen jedoch fehlt, ist die Fähigkeit, die große Menge an Daten zu indizieren, die nicht verlinkt sind und daher für einen Webcrawler sofort zugänglich sind. Dies kann beabsichtigt sein oder auch nicht; Beispielsweise befinden sich Inhalte hinter einer Paywall oder ein Blogbeitrag, der geschrieben, aber noch nicht veröffentlicht wurde, technisch gesehen im Deep Web.
Einige Beispiele für andere Deep Web-Inhalte sind:
- Daten, auf die über eine Suchschnittstelle zugegriffen werden muss
- Ergebnisse von Datenbankabfragen
- Nur-Abonnement-Informationen und andere passwortgeschützte Daten
- Seiten, auf die durch keine andere Seite verlinkt wird
- Technisch eingeschränkte Inhalte, wie z. B. solche, die Technologie erfordern
- Textinhalte, die außerhalb der von herkömmlichem http:// oder https:// /
Während das Ausmaß und die Vielfalt des Deep Web atemberaubend sind, kommt seine Bekanntheit – und Attraktivität – von der Tatsache, dass Benutzer im Deep Web anonym sind, und so sind ihre Aktivitäten. Aus diesem Grund war es ein wichtiges Instrument für Regierungen; Das US Naval Research Laboratory hat 2003 erstmals Intelligence-Tools für den Einsatz im Deep Web auf den Markt gebracht.
Leider hat diese Anonymität einen Nährboden für kriminelle Elemente geschaffen, die die Gelegenheit nutzen, illegale Aktivitäten zu verbergen. Illegale Pornografie, Drogen, Waffen und Pässe sind nur einige der Gegenstände, die im Deep Web gekauft werden können. Die Existenz solcher Websites bedeutet jedoch nicht, dass das Deep Web von Natur aus böse ist; Anonymität hat ihren Wert, und viele Benutzer ziehen es einfach vor, grundsätzlich in einem unauffindbaren System zu arbeiten.
“ Anonymität hat ihren Wert, und viele Benutzer bevorzugen es einfach, grundsätzlich in einem unauffindbaren System zu arbeiten.“
So wie Deep-Web-Inhalte nicht von Webcrawlern verfolgt werden können, kann auch nicht auf herkömmliche Weise darauf zugegriffen werden. Dieselbe Marineforschungsgruppe zur Entwicklung von Tools zum Sammeln von Informationen hat das Onion Router-Projekt ins Leben gerufen, das heute unter dem Akronym TOR bekannt ist. Onion Routing bezieht sich auf den Prozess des Entfernens von Verschlüsselungsschichten aus der Internetkommunikation, ähnlich wie das Abziehen der Schichten einer Zwiebel. Die Identitäten und Netzwerkaktivitäten von TOR-Benutzern werden von dieser Software verborgen. TOR und ähnliche Software bieten eine anonyme Verbindung zum Deep Web. Es ist in der Tat Ihre Deep Web Suchmaschine.
Aber trotz seines schlechten Rufs gibt es viele legitime Gründe, TOR zu benutzen. Zum einen können Benutzer mit TOR die „Verkehrsanalyse“ und die Überwachungstools vermeiden, die von kommerziellen Websites verwendet werden, um den Standort der Webbenutzer und das Netzwerk, über das sie sich verbinden, zu bestimmen. Diese Unternehmen können diese Informationen dann verwenden, um die Preise anzupassen oder sogar, welche Produkte und Dienstleistungen sie zur Verfügung stellen.
Laut der Tor-Projektseite ermöglicht das Programm den Leuten auch, “ eine Website einzurichten, auf der Leute Material veröffentlichen, ohne sich um Zensur sorgen zu müssen.“ Während dies keineswegs eine klare gute oder schlechte Sache ist, ist die Spannung zwischen Zensur und Redefreiheit auf der ganzen Welt zu spüren. Das Deep Web fördert diese Debatte, indem es zeigt, was Menschen tun können und werden, um politische und soziale Zensur zu überwinden.
Gründe, warum eine Seite unsichtbar ist
Wenn eine normale Suchmaschinenanfrage ohne Ergebnisse zurückkommt, bedeutet das nicht unbedingt, dass nichts gefunden werden kann. Eine „unsichtbare“ Seite ist nicht unbedingt unzugänglich; es ist einfach nicht von einer Suchmaschine indiziert. Es gibt mehrere Gründe, warum eine Seite unsichtbar sein kann. Beachten Sie, dass einige Seiten nur vorübergehend unsichtbar sind und möglicherweise zu einem späteren Zeitpunkt indiziert werden sollen.
Zu viele Parameter
Engines haben traditionell alle Webseiten ignoriert, deren URLs eine lange Reihe von Parametern und Gleichheitszeichen und Fragezeichen haben, auf die Chance, dass sie duplizieren, was in ihrer Datenbank ist – oder schlimmer – die Spinne wird irgendwie im Kreis herumgehen. Bekannt als das „flache Web“, wurden eine Reihe von Problemumgehungen entwickelt, um Ihnen den Zugriff auf diese Inhalte zu erleichtern.
Formulargesteuerter Eintrag, der nicht kennwortgeschützt ist
In diesem Fall wird der Seiteninhalt nur angezeigt, wenn ein Mensch eine Reihe von Aktionen ausführt und dabei hauptsächlich Daten in ein Formular eingibt (bestimmte Abfrageinformationen, z. B. Jobkriterien für eine Jobsuchmaschine). Dazu gehören in der Regel Datenbanken, die Seiten bei Bedarf generieren. Zu den anwendbaren Inhalten gehören Daten der Reisebranche (Fluginformationen, Hotelverfügbarkeit), Stellenangebote, Produktdatenbanken, Patente, öffentlich zugängliche Regierungsinformationen, Wörterbuchdefinitionen, Gesetze, Börsendaten, Telefonbücher und Fachverzeichnisse.
Passwortgeschützter Zugriff, Abonnements oder Nicht-Abonnements.
Dazu gehören VPN (Virtual Private Networks) und jede Website, auf der Seiten einen Benutzernamen und ein Passwort erfordern. Der Zugriff kann über ein kostenpflichtiges Abonnement erfolgen oder nicht. Zu den anwendbaren Inhalten gehören akademische und Unternehmensdatenbanken, Zeitungs- oder Zeitschrifteninhalte und Abonnements für wissenschaftliche Bibliotheken.
Zeitgesteuerter Zugriff
Auf einigen Websites wie wichtigen Nachrichtenquellen wie der New York Times wird nach einer bestimmten Anzahl von Seitenaufrufen auf kostenlose Inhalte zugegriffen. Suchmaschinen behalten die URL bei, aber die Seite generiert ein Anmeldeformular und der Inhalt wird in eine neue URL verschoben, für die ein Kennwort erforderlich ist.
Roboter und
Die Roboter.die TXT-Datei, die sich normalerweise im Hauptverzeichnis einer Site befindet, teilt Suchrobotern mit, welche Dateien und Verzeichnisse nicht indiziert werden sollen. Daher der Name „robots exclusion file.“ Wenn diese Datei eingerichtet ist, wird die Indizierung bestimmter Seiten blockiert, die dann für Suchende unsichtbar sind. Blog-Plattformen bieten diese Funktion häufig an.
Versteckte Seiten
Es gibt einfach keine Folge von Hyperlink-Klicks, die Sie zu einer solchen Seite führen könnten. Die Seiten sind zugänglich, aber nur für Menschen, die von ihrer Existenz wissen.
Mythen über das unsichtbare Netz
Drogen, Pornografie und andere illegale Aktivitäten sind aus gutem Grund der am meisten diskutierte Aspekt des Deep Web. Geschichten über Menschen, die Heroin online mit Bitcoins, einer Form elektronischer Währung, kaufen oder Waffen international verkaufen, machen große Schlagzeilen.
Was die Leute nicht wissen, ist, dass das unsichtbare Internet neben illegalen Aktivitäten noch viel zu bieten hat. Stereotypen und Boogeyman-Geschichten halten die Menschen vom Deep Web fern, wenn es tatsächlich viele wunderbare Gründe gibt, ihm einen Besuch abzustatten. In Ländern wie China, in denen Websites blockiert sind und der Datenschutz im Internet schwer zu erreichen ist, gibt es eine wachsende Gemeinschaft von Benutzern, die das Deep Internet nutzen, um Informationen auszutauschen und frei zu sprechen. Browser wie TOR sind in China noch relativ unbekannt, aber die Zahl der Nutzer des Dienstes wächst stetig. Bürger in der Türkei und anderen politisch turbulenten Ländern nutzen das tiefe Internet, um sich zu versammeln, Proteste zu planen und lokale Nachrichten außerhalb des wachsamen Auges der Regierung zu diskutieren.
Warum sollte der durchschnittliche Amerikaner das Deep Internet nutzen wollen? Trotz seines Ruhms durch illegale Aktivitäten ist das Deep Internet einfach alles, was mit einer einfachen Google-Suche nicht erreichbar ist. So viel wie 90 Prozent des Internets ist nur über deb Web-Websites zugänglich. Die Verwendung von TOR selbst ist weder illegal noch auf vielen Deep-Web-Websites. Die einzige illegale Aktivität ist das, was in der realen Welt illegal wäre. Im Deep Web finden Sie seltene und verbotene Bücher, lesen schwer zu findende Nachrichten und sogar Fanfiction. Die Idee eines wilden Westens des Internets wird mit dem Deep Web wieder lebendig.
Zugriff auf und Suche nach unsichtbaren Inhalten
Wenn auf eine Site mit herkömmlichen Mitteln nicht zugegriffen werden kann, gibt es immer noch Möglichkeiten, auf den Inhalt zuzugreifen, wenn nicht auf die tatsächlichen Seiten. Abgesehen von Software wie TOR gibt es eine Reihe von Entitäten, die es ermöglichen, Deep-Web-Inhalte anzuzeigen, wie Universitäten und Forschungseinrichtungen.
Für unsichtbare Inhalte, die nicht sichtbar sein können oder sollen, gibt es noch eine Reihe von Möglichkeiten, Zugang zu erhalten:
Mitgliedschaft
Treten Sie einem Berufs- oder Forschungsverband bei, der Zugang zu Aufzeichnungen, Forschung und Peer-Review-Zeitschriften bietet.
VPN
Zugriff auf ein virtuelles privates Netzwerk über einen Arbeitgeber
Um Erlaubnis bitten
Zugriff anfordern; Dies könnte so einfach sein wie eine kostenlose Registrierung.
Abonnementdienste
Bezahlen Sie für ein Abonnement einer Zeitschrift oder einer anderen Ressource, deren Arbeit Sie unterstützen möchten.
Finden Sie eine geeignete Ressource
Verwenden Sie ein unsichtbares Webverzeichnis, Portal oder eine spezialisierte Suchmaschine wie Google Book Search oder Librarian’s Internet Index.
Nutzung des Deep Web in der Bildung
Wo kommen Sie als Pädagoge ins Spiel? Das Deep Web kann verwendet werden, um Informationen zu finden, auf die Sie sonst nicht über eine einfache Google-Suche zugreifen könnten und die sich für Ihre Schüler und Kollegen als unermesslich nützlich erweisen können.
“ Stereotypen zu überwinden und die Verwendung von Deep-Web-Suchen zu zeigen, ist eine aufregende Perspektive für Schüler – sie können sehen, dass das Internet so viel größer ist als soziale Medien und die typischen Google- oder Yahoo-Suchanfragen, die sie für Schulprojekte und Essays verwenden.“
Was die Leute nicht verstehen, ist, was genau Deep Web-Informationen ausmacht. Zeitschriften und Bücher, auf die nur über eine Website der Universitätsbibliothek zugegriffen werden kann, sind über Google nicht auffindbar, ebenso wie Websites, auf denen die Suche über eine Suchmaschine deaktiviert ist. Für Schüler, die diese Firewall benötigen, wird die Möglichkeit, auf Deep-Web-Websites zu suchen, zu einem nützlichen Werkzeug für die Schule und darüber hinaus.
Zeigen Sie den Schülern, wie sie versteckte Suchmaschinen finden und welche Art von Informationen über sie gefunden werden können. Stereotypen zu überwinden und die Verwendung von Deep—Web-Suchen zu zeigen, ist eine aufregende Perspektive für Schüler – sie können sehen, dass das Internet so viel größer ist als soziale Medien und die typischen Google- oder Yahoo-Suchanfragen, die sie für Schulprojekte und Essays verwenden. Ihre lokale Bibliothek kann eine Quelle für Tonnen von nicht googelbaren Informationen sein, und über Ihre Bibliothek können Sie möglicherweise Quellen wie JSTOR und JURN verwenden. Weitere Informationen zur Verwendung von Deep Web-Quellen finden Sie im Buch Going Beyond Google: Das unsichtbare Web im Lernen und Lehren von Jane Devine und Francine Egger-Sider.
Unsichtbare Websuchwerkzeuge
Hier finden Sie eine kleine Auswahl unsichtbarer Websuchwerkzeuge (Verzeichnisse, Portale, Suchmaschinen), mit denen Sie unsichtbare Inhalte finden können. Um mehr darüber zu erfahren, schauen Sie sich bitte unseren Artikel Research Beyond Google an.
Eine Liste von Deep Web Suchmaschinen
Purdue Owl’s Resources to Search the Invisible Web
Art
Musie du Louvre
Books Online
The Online Books Page
Economic and Job Data
FreeLunch.com
Finanzen und Investieren
Bankrate.com
Allgemeine Forschung
GPO-Katalog der Veröffentlichungen der US-Regierung
Regierungsdaten