vyhledávače jsou v jistém smyslu srdeční tep internetu; „Googling“ se stal součástí každodenní řeči a Merriam-Webster je dokonce rozpoznán jako gramaticky správné sloveso. Je to běžná mylná představa, nicméně, že Googling hledaný výraz odhalí každý web, který řeší vaše vyhledávání. Typické vyhledávače jako Google, Yahoo nebo Bing ve skutečnosti přistupují pouze k malému zlomku-odhadovanému na 0, 03% – internetu. Stránky, které přinášejí tradiční vyhledávání, jsou součástí takzvaného povrchového webu, který se skládá z indexovaných stránek, které jsou naprogramovány k načtení webových prohledávačů vyhledávače.
„až 90 procent internetu je přístupné pouze prostřednictvím webových stránek deb.“
tak kde je zbytek? Drtivá většina Internetu spočívá v hlubokém webu, někdy označovaném jako neviditelný Web. Skutečná velikost hlubokého webu není možné měřit, ale mnoho odborníků odhaduje, že je to asi 500krát větší než velikost webu, jak ho známe.
co je tedy Hluboký Web přesně? Hluboké webové stránky fungují stejně jako jakýkoli jiný web online, ale jsou konstruovány tak, aby jejich existence byla pro prohledávače neviditelná. Zatímco nedávné zprávy, jako je busta nechvalně známého webu pro obchodování s drogami Silk Road a vylomeniny NSA Edwarda Snowdena, upozornili na existenci hlubokého webu, je to stále do značné míry nepochopeno.
vyhledávače a povrchový Web
pochopení toho, jak jsou povrchové stránky indexovány vyhledávači, vám může pomoci pochopit, o čem je hluboký Web. V počátcích byl výpočetní výkon a úložný prostor na takové prémii, že vyhledávače indexovaly minimální počet stránek, často ukládaly pouze částečný obsah. Metodika vyhledávání odrážela záměry uživatelů; první uživatelé Internetu obecně hledali výzkum, takže první vyhledávače indexovaly jednoduché dotazy, které studenti nebo jiní vědci pravděpodobně provedli. Výsledky vyhledávání se skládaly ze skutečného obsahu, který vyhledávač uložil.
v průběhu doby, pokrok technologie dělal to ziskové pro vyhledávače dělat důkladnější práci indexování obsahu webu. Dnešní webové prohledávače nebo pavouci používají sofistikované algoritmy ke sběru dat stránek z hypertextových odkazů. Tito roboti manévrovat jejich cestu přes všechna propojená data na internetu, vydělávat jejich spidery přezdívku. Každý povrchový web je indexován metadaty, která prohledávače shromažďují. Tato metadata, skládající se z prvků, jako je název stránky, umístění stránky (URL) a opakovaná klíčová slova použitá v textu, zabírají mnohem méně místa než skutečný obsah stránky. Namísto ukládání obsahu do mezipaměti starých, dnešní vyhledávače rychle a efektivně nasměrují uživatele na webové stránky, které jsou relevantní pro jejich dotazy.
Chcete – li získat představu o tom, jak se vyhledávače v průběhu času zlepšily, interaktivní rozpis Google „jak funguje vyhledávání“ podrobně popisuje všechny faktory, které se hrají v každém vyhledávání Google. V podobném duchu, Moz.com časová osa algoritmu vyhledávače Google vám poskytne představu o tom, jak nepřetržité úsilí bylo vylepšit vyhledávání. Jak tyto snahy ovlivňují Deep Web, není zcela jasné. Je však rozumné předpokládat, že pokud se hlavní vyhledávače stále zlepšují, běžní uživatelé webu budou méně pravděpodobně hledat tajemné hluboké vyhledávání na webu.
jak je hluboký Web neviditelný pro vyhledávače?
vyhledávače jako Google jsou extrémně výkonné a účinné při destilaci aktuálního webového obsahu. Co jim však chybí, je schopnost indexovat obrovské množství dat, která nejsou hypertextově propojena, a proto jsou okamžitě přístupná webovému prohledávači. To může nebo nemusí být úmyslné; například, obsah za paywall nebo blogový příspěvek, který je napsán, ale dosud nezveřejněn, technicky sídlí v hlubokém webu.
některé příklady dalšího hlubokého webového obsahu zahrnují:
- Data, ke kterým je třeba přistupovat pomocí vyhledávacího rozhraní
- výsledky databázových dotazů
- informace pouze pro předplatné a další data chráněná heslem
- stránky, které nejsou propojeny žádnou jinou stránkou
- technicky omezený obsah, jako například obsah vyžadující technologii
- textový obsah, který existuje mimo konvenční http: / / nebo https:// protokoly
zatímco rozsah a rozmanitost hlubokého webu jsou ohromující – je to proslulost – a přitažlivost-vychází ze skutečnosti, že uživatelé jsou anonymní na hlubokém webu, stejně jako jejich aktivity. Z tohoto důvodu je to důležitý nástroj pro vlády; americká námořní výzkumná laboratoř poprvé uvedla na trh zpravodajské nástroje pro hluboké používání webu v roce 2003.
bohužel tato anonymita vytvořila živnou půdu pro zločinecké živly, které využívají příležitosti skrýt nezákonné činnosti. Nelegální pornografie, drogy, zbraně, a pasy jsou jen některé z položek, které lze zakoupit na hlubokém webu. Existence takových stránek však neznamená, že Deep Web je ze své podstaty zlý; anonymita má svou hodnotu a mnoho uživatelů jednoduše dává přednost fungování v principu nevystopovatelném systému.
„anonymita má svou hodnotu a mnoho uživatelů prostě raději pracuje v principu v nevystopovatelném systému.“
stejně jako hluboký webový obsah nelze sledovat webovými prohledávači, nelze k němu přistupovat také běžnými prostředky. Stejná Námořní výzkumná skupina pro vývoj nástrojů pro shromažďování zpravodajských informací vytvořila projekt Onion Router, nyní známý pod zkratkou TOR. Onion routing označuje proces odstraňování šifrovacích vrstev z internetové komunikace, podobně jako odlupování vrstev cibule. Identita uživatelů TOR a síťové aktivity jsou skryty tímto softwarem. TOR a další podobný software nabízí anonymní připojení k hlubokému webu. Je to ve skutečnosti váš hluboký webový vyhledávač.
ale navzdory své pověsti v zadní uličce existuje spousta legitimních důvodů k použití TOR. Pro jednoho, TOR umožňuje uživatelům vyhnout se „analýze provozu“ a monitorovacím nástrojům používaným komerčními weby k určení polohy uživatelů webu a sítě, přes kterou se připojují. Tyto podniky pak mohou tyto informace použít k úpravě cen nebo dokonce k tomu, jaké produkty a služby zpřístupňují.
podle webu projektu Tor program také umožňuje lidem “ vytvořit web, kde lidé publikují materiál bez obav z cenzury.“I když to v žádném případě není jasná dobrá nebo špatná věc, napětí mezi cenzurou a svobodou projevu je pociťováno po celém světě. Deep Web podporuje tuto debatu tím, že demonstruje, co lidé mohou a budou dělat, aby překonali politickou a sociální cenzuru.
důvody stránka je neviditelná
když se běžný dotaz vyhledávače vrátí bez výsledků, nemusí to nutně znamenat, že není nic k nalezení. „Neviditelná“ stránka nemusí být nutně nepřístupná; jednoduše není indexována vyhledávačem. Existuje několik důvodů, proč může být stránka neviditelná. Mějte na paměti, že některé stránky jsou pouze dočasně neviditelné, případně mají být indexovány později.
příliš mnoho parametrů
motory tradičně ignorovaly všechny webové stránky, jejichž adresy URL mají dlouhý řetězec parametrů a stejné značky a otazníky, v naději, že duplikují to, co je v jejich databázi – nebo horší – pavouk bude nějak chodit v kruzích. Známý jako „mělký Web,“ byla vyvinuta řada řešení, která vám pomohou získat přístup k tomuto obsahu.
položka řízená formulářem, která není chráněna heslem
v tomto případě se obsah stránky zobrazí pouze tehdy, když člověk použije sadu akcí, většinou zadává data do formuláře (konkrétní informace o dotazu, například kritéria úlohy pro vyhledávač práce). To obvykle zahrnuje databáze, které generují stránky na vyžádání. Použitelný obsah zahrnuje údaje o cestovním ruchu (informace o letu, dostupnost hotelu), výpisy pracovních míst, databáze produktů, patenty, veřejně přístupné vládní informace, definice slovníku, zákony, údaje o akciovém trhu, telefonní seznamy a profesionální adresáře.
přístup Passworded, předplatné, nebo non-předplatné.
to zahrnuje VPN (virtuální privátní sítě) a všechny webové stránky, kde stránky vyžadují uživatelské jméno a heslo. Přístup může nebo nemusí být placeným předplatným. Použitelný obsah zahrnuje akademické a firemní databáze, obsah novin nebo časopisů a předplatné akademické knihovny.
časovaný přístup
na některých webech, jako jsou hlavní zpravodajské zdroje, jako je New York Times, se bezplatný obsah po určitém počtu zobrazení stránek stává nepřístupným. Vyhledávače si zachovávají adresu URL, ale stránka vygeneruje registrační formulář a obsah se přesune na novou adresu URL, která vyžaduje heslo.
vyloučení robotů
roboti.soubor txt, který obvykle žije v hlavním adresáři webu, říká vyhledávacím robotům, které soubory a adresáře by neměly být indexovány. Proto název “ soubor vyloučení robotů.“Pokud je tento soubor nastaven, zablokuje indexování určitých stránek, které pak budou pro hledající neviditelné. Blog platformy běžně nabízejí tuto funkci.
skryté stránky
prostě neexistuje sekvence kliknutí na hypertextový odkaz, která by vás mohla přenést na takovou stránku. Stránky jsou přístupné, ale pouze lidem, kteří vědí o jejich existenci.
mýty o neviditelném webu
drogy, pornografie a další nezákonné činnosti jsou z nějakého důvodu nejvíce mluveným aspektem hlubokého webu. Příběhy o lidech, kteří nakupují heroin online pomocí Bitcoinů, forma elektronické měny, nebo prodej zbraní na mezinárodní úrovni, dělají velké titulky.
lidé si neuvědomují, že kromě nelegální činnosti může neviditelný internet nabídnout mnoho. Stereotypy a boogeyman příběhy udržet lidi daleko od hlubokého webu, když existuje skutečně mnoho úžasných důvodů, proč ji navštívit. V zemích, jako je Čína, kde jsou webové stránky blokovány a soukromí na internetu je těžké získat, roste komunita uživatelů, kteří používají hluboký internet ke sdílení informací a svobodnému mluvení. Prohlížeče jako TOR jsou v Číně stále relativně neznámé, ale počet lidí, kteří tuto službu používají, neustále roste. Občané Turecka a dalších politicky bouřlivých zemí využívají hluboký internet ke shromažďování, plánování protestů a diskusi o místních zprávách mimo ostražité oko vlády.
proč by průměrný Američan chtěl používat hluboký internet? Přes jeho slávu z nelegální činnosti, hluboký internet je prostě něco, co není přístupné jednoduchým vyhledáváním Google. Až 90 procent internetu je přístupné pouze prostřednictvím webových stránek deb. Použití TOR samo o sobě není nezákonné, ani se děje na mnoha hlubokých webových stránkách. Jedinou nezákonnou činností je to, co by bylo nezákonné ve skutečném světě. Na hlubokém webu najdete vzácné a zakázané knihy, Přečtěte si těžko dostupné zprávy a dokonce i fikci fanoušků. Myšlenka Divokého západu internetu je opět naživu pomocí hlubokého webu.
jak přistupovat a hledat neviditelný obsah
pokud je web nepřístupný konvenčními prostředky, stále existují způsoby přístupu k obsahu, ne-li ke skutečným stránkám. Kromě softwaru, jako je TOR, existuje řada subjektů, které umožňují prohlížet Hluboký webový obsah, jako jsou univerzity a výzkumná zařízení.
pro neviditelný obsah, který nemůže nebo by neměl být viditelný, stále existuje řada způsobů, jak získat přístup:
členství
Připojte se k odbornému nebo výzkumnému sdružení, které poskytuje přístup k záznamům, výzkumu a recenzovaným časopisům.
VPN
přístup k virtuální privátní síti prostřednictvím zaměstnavatele
požádat o povolení
požádat o přístup; to by mohlo být stejně jednoduché jako bezplatná registrace.
služby předplatného
platí za předplatné periodického nebo jiného zdroje, jehož práci chcete podporovat.
najděte vhodný zdroj
použijte neviditelný webový adresář, portál nebo specializovaný vyhledávač, jako je Vyhledávání knih Google nebo internetový Index knihovníka.
používání hlubokého webu ve vzdělávání
tak kde jste jako pedagog? Deep web lze použít k nalezení informací, ke kterým byste jinak neměli přístup prostřednictvím jednoduchého vyhledávání Google, a které se mohou ukázat jako nesmírně užitečné pro vaše studenty a kolegy.
„bití stereotypy a ukazuje použití hluboké vyhledávání na webu je vzrušující vyhlídky pro studenty-mohou vidět, že internet je mnohem větší než sociální média a typické Google nebo Yahoo vyhledávání, které jsou zvyklí používat pro školní projekty a eseje . „
co lidé nechápou, je to, co přesně představuje hluboké webové informace. Časopisy a knihy, ke kterým lze přistupovat pouze prostřednictvím webové stránky univerzitní knihovny, Nelze najít prostřednictvím Googlu, stejně jako weby, které vypnuly možnost vyhledávání prostřednictvím vyhledávače. Pro studenty, kteří potřebují firewall, Schopnost vyhledávat na hlubokých webových stránkách se stává užitečným nástrojem pro školu i mimo ni.
ukázat studentům použití při hledání skryté vyhledávače, a jaký druh informací lze nalézt prostřednictvím nich. Bití stereotypy a ukazuje použití hluboké vyhledávání na webu je vzrušující vyhlídky pro studenty-mohou vidět, že internet je mnohem větší než sociální média a typické Google nebo Yahoo vyhledávání, které jsou zvyklí používat pro školní projekty a eseje. Vaše místní knihovna může být zdrojem tun un-Googleable informací, a prostřednictvím knihovny, můžete být schopni využít zdroje, jako je JSTOR a JURN. Další informace o tom, jak používat hluboké webové zdroje, podívejte se na knihu Going Beyond Google: neviditelný Web v učení a výuce Jane Devine a Francine Egger-Sider.
neviditelné nástroje pro vyhledávání na webu
zde je malý vzorkování neviditelných nástrojů pro vyhledávání na webu (adresáře, portály, motory), které vám pomohou najít neviditelný obsah. Chcete-li vidět více podobných, podívejte se prosím na náš výzkum mimo článek Google.
seznam hlubokých webových vyhledávačů
zdroje Purdue Owl pro vyhledávání na neviditelném webu
umění
Musie du Louvre
knihy Online
stránka Online knih
ekonomické a pracovní údaje
FreeLunch.com
Finance a investice
Bankrate.com
obecný výzkum
GPO Katalog vládních publikací USA
vládní údaje