wyszukiwarki są w pewnym sensie sercem Internetu; „Googlowanie” stało się częścią codziennej mowy i jest nawet uznawane przez Merriam-Webster za gramatycznie poprawny czasownik. Jest to jednak powszechne błędne przekonanie, że Googlowanie hasła wyszukiwania ujawni każdą witrynę, która adresuje twoje wyszukiwanie. Typowe wyszukiwarki, takie jak Google, Yahoo lub Bing, mają dostęp tylko do niewielkiej części — szacowanej na 0,03% — Internetu. Witryny, które generują tradycyjne wyszukiwania, są częścią tzw. Surface Web, która składa się z indeksowanych stron, do których roboty wyszukiwarek są zaprogramowane.
„aż 90 procent Internetu jest dostępne tylko za pośrednictwem stron internetowych deb.”
gdzie reszta? Zdecydowana większość Internetu leży w głębokiej sieci, czasami określanej jako niewidzialna sieć. Rzeczywisty rozmiar głębokiej sieci jest niemożliwy do zmierzenia, ale wielu ekspertów szacuje, że jest około 500 razy większy od sieci, jaką znamy.
czym dokładnie jest głęboka sieć? Głębokie strony internetowe działają tak jak każda inna strona online, ale są skonstruowane tak, że ich istnienie jest niewidoczne dla robotów indeksujących. Podczas gdy najnowsze wiadomości, takie jak popiersie niesławnego miejsca handlu narkotykami Silk Road i wybryki NSA Edwarda Snowdena, podkreślają istnienie głębokiej sieci, nadal jest ona w dużej mierze źle rozumiana.
wyszukiwarki i sieć Surface
zrozumienie, w jaki sposób strony surface są indeksowane przez wyszukiwarki, może pomóc ci zrozumieć, o co chodzi w głębokiej sieci. W pierwszych dniach moc obliczeniowa i przestrzeń dyskowa były na takim poziomie, że wyszukiwarki indeksowały minimalną liczbę stron, często przechowując tylko częściową zawartość. Metodologia wyszukiwania odzwierciedlała intencje użytkowników; pierwsi użytkownicy Internetu na ogół poszukiwali badań, więc pierwsze Wyszukiwarki indeksowały proste zapytania, które prawdopodobnie wykonają studenci lub inni badacze. Wyniki wyszukiwania składały się z rzeczywistej zawartości, którą przechowywała wyszukiwarka.
z czasem postępująca technologia sprawiła, że wyszukiwarki zyskały na dokładniejszym indeksowaniu treści witryny. Dzisiejsze roboty sieciowe lub pająki używają wyrafinowanych algorytmów do zbierania danych stron ze stron hiperłącza. Roboty te manewrują przez wszystkie połączone dane w Internecie, zdobywając swój pajęczy pseudonim. Każda witryna surface jest indeksowana przez metadane zbierane przez roboty. Te metadane, składające się z takich elementów jak tytuł strony, lokalizacja strony (URL) i powtarzające się słowa kluczowe używane w tekście, zajmują znacznie mniej miejsca niż rzeczywista zawartość strony. Zamiast buforowanego zrzutu treści starych, dzisiejsze Wyszukiwarki szybko i skutecznie kierują użytkowników do stron internetowych, które są istotne dla ich zapytań.
aby zorientować się, jak Wyszukiwarki poprawiły się w czasie, interaktywny podział Google „jak działa wyszukiwanie” szczegółowo opisuje wszystkie czynniki w każdej wyszukiwarce Google. W podobnym duchu, Moz.com ’ s oś czasu algorytmu wyszukiwarki Google daje wyobrażenie o tym, jak nonstop wysiłki zostały do udoskonalenia wyszukiwania. Jak te wysiłki wpływają na głęboką sieć nie jest do końca jasne. Ale rozsądne jest założenie, że jeśli główne wyszukiwarki będą się poprawiać, zwykli użytkownicy sieci będą mniej skłonni do poszukiwania tajemnych głębokich wyszukiwań internetowych.
Jak głęboka sieć jest niewidoczna dla wyszukiwarek?
wyszukiwarki takie jak Google są niezwykle potężne i skuteczne w destylacji up-to-the-moment treści internetowych. Brakuje im jednak możliwości indeksowania ogromnej ilości danych, które nie są hiperłączami, a zatem są natychmiast dostępne dla robota sieciowego. Może to być zamierzone, ale nie musi; na przykład treść za paywall lub post na blogu, który został napisany, ale jeszcze nie opublikowany, znajdują się w głębokiej sieci.
niektóre przykłady innych głębokich treści internetowych obejmują:
- dane, które muszą być dostępne za pomocą interfejsu wyszukiwania
- wyniki zapytań do bazy danych
- informacje tylko o subskrypcji i inne dane chronione hasłem
- strony, które nie są połączone żadną inną stroną
- technicznie ograniczona treść, na przykład wymagająca technologii
- zawartość tekstowa, która istnieje poza konwencjonalnym http:// lub https:// protokoły
chociaż skala i różnorodność głębokiej sieci są oszałamiające, jego rozgłos – i atrakcyjność – wynika z faktu, że użytkownicy są anonimowi w głębokiej sieci, podobnie jak ich działania. Z tego powodu było to ważne narzędzie dla rządów; U. S. Naval research laboratory po raz pierwszy uruchomił narzędzia wywiadowcze do głębokiego wykorzystania w Internecie w 2003 roku.
niestety ta anonimowość stworzyła wylęgarnię elementów przestępczych, którzy korzystają z okazji do ukrywania nielegalnych działań. Nielegalna Pornografia, narkotyki, broń i paszporty to tylko niektóre z przedmiotów dostępnych do kupienia w głębokiej sieci. Jednak istnienie takich witryn nie oznacza, że głęboka sieć jest z natury zła; anonimowość ma swoją wartość, a wielu użytkowników po prostu woli działać w ramach niewykrywalnego systemu z zasady.
„anonimowość ma swoją wartość, a wielu użytkowników po prostu woli działać w ramach niewykrywalnego systemu.”
tak jak głębokie treści internetowe nie mogą być śledzone przez roboty indeksujące, nie można również uzyskać do nich dostępu za pomocą konwencjonalnych środków. Ta sama morska grupa badawcza w celu opracowania narzędzi gromadzenia danych wywiadowczych stworzyła projekt Onion Router, znany obecnie pod akronimem TOR. Routing cebulowy odnosi się do procesu usuwania warstw szyfrowania z komunikacji internetowej, podobnie jak odrywanie warstw cebuli. Tożsamość użytkowników TOR i aktywność sieciowa są ukrywane przez to oprogramowanie. TOR i inne podobne oprogramowanie oferuje anonimowe połączenie z głęboką siecią. W efekcie jest to Twoja głęboka wyszukiwarka internetowa.
ale pomimo swojej reputacji w back-alley istnieje wiele uzasadnionych powodów, aby korzystać z Tora. Po pierwsze, TOR pozwala użytkownikom uniknąć „analizy ruchu” i narzędzi monitorujących używanych przez witryny komercyjne w celu określenia lokalizacji użytkowników sieci i sieci, przez którą się łączą. Firmy te mogą następnie wykorzystać te informacje do dostosowania cen, a nawet tego, jakie produkty i usługi udostępniają.
zgodnie ze stroną projektu Tor, program pozwala również na ” utworzenie strony internetowej, na której ludzie publikują materiały bez obawy o cenzurę.”Chociaż nie jest to w żadnym razie wyraźna rzecz dobra lub zła, napięcie między cenzurą a wolnością słowa jest odczuwalne na całym świecie. Deep Web kontynuuje tę debatę, pokazując, co ludzie mogą i zrobią, aby przezwyciężyć cenzurę polityczną i społeczną.
powody strona jest niewidoczna
gdy zwykłe zapytanie w wyszukiwarce wraca bez wyników, nie musi to oznaczać, że nic nie można znaleźć. „Niewidoczna” strona niekoniecznie jest niedostępna; po prostu nie jest indeksowana przez wyszukiwarkę. Istnieje kilka powodów, dla których strona może być niewidoczna. Należy pamiętać, że niektóre strony są tylko tymczasowo niewidoczne, prawdopodobnie mają być indeksowane w późniejszym terminie.
zbyt wiele parametrów
silniki tradycyjnie ignorują wszelkie strony internetowe, których adresy URL mają długi ciąg parametrów i znaków równości i znaków zapytania, na off szansa, że będą powielać to, co jest w ich bazie danych – lub gorzej-pająk będzie jakoś krążyć w kółko. Znane jako” płytka sieć”, opracowano wiele obejść, aby ułatwić dostęp do tej zawartości.
wpis kontrolowany przez formularz, który nie jest chroniony hasłem
w tym przypadku zawartość strony jest wyświetlana tylko wtedy, gdy człowiek zastosuje zestaw działań, głównie wprowadzając dane do formularza (określone informacje o zapytaniach, takie jak kryteria pracy dla wyszukiwarki ofert pracy). Zazwyczaj obejmuje To bazy danych, które generują strony na żądanie. Obowiązujące Treści obejmują dane z branży turystycznej (informacje o locie, dostępność hoteli), oferty pracy, bazy danych produktów, patenty, publicznie dostępne informacje rządowe, definicje słownikowe, Prawa, dane giełdowe, książki telefoniczne i profesjonalne katalogi.
dostęp, subskrypcje lub bez subskrypcji.
obejmuje to VPN (Wirtualne Sieci Prywatne) i dowolną stronę internetową, na której strony wymagają nazwy użytkownika i hasła. Dostęp może, ale nie musi, odbywać się za pośrednictwem płatnej subskrypcji. Obowiązujące Treści obejmują akademickie i korporacyjne bazy danych, zawartość gazet lub czasopism oraz subskrypcje Biblioteki Akademickiej.
czasowy dostęp
na niektórych stronach, takich jak główne źródła informacji, takie jak New York Times, wolna treść staje się niedostępna po określonej liczbie odsłon. Wyszukiwarki zachowują adres URL, ale strona generuje formularz rejestracji, a zawartość jest przenoszona do nowego adresu URL, który wymaga hasła.
roboty wykluczają
roboty.plik txt, który zwykle mieszka w głównym katalogu witryny, mówi robotom wyszukiwania, które pliki i katalogi nie powinny być indeksowane. Stąd nazwa ” robots exclusion file.”Jeśli ten plik zostanie skonfigurowany, zablokuje indeksowanie niektórych stron, które będą niewidoczne dla wyszukiwarek. Platformy blogowe zwykle oferują tę funkcję.
Ukryte strony
po prostu nie ma sekwencji kliknięć hiperłącza, które mogłyby doprowadzić cię do takiej strony. Strony są dostępne, ale tylko dla osób, które wiedzą o ich istnieniu.
mity o niewidzialnej sieci
narkotyki, Pornografia i inne nielegalne działania są najczęściej omawianym aspektem głębokiej sieci z jakiegoś powodu. Historie o ludziach kupujących heroinę w Internecie za pomocą bitcoinów, formy elektronicznej waluty lub sprzedających broń na arenie międzynarodowej pojawiają się na pierwszych stronach gazet.
ludzie nie zdają sobie sprawy, że niewidzialny internet ma wiele do zaoferowania poza nielegalną działalnością. Stereotypy i boogeyman historie trzymać ludzi z dala od głębokiej sieci, gdy istnieje rzeczywiście wiele wspaniałych powodów, aby złożyć wizytę. W krajach takich jak Chiny, gdzie strony internetowe są blokowane, a prywatność w Internecie jest trudna do zdobycia, rośnie społeczność użytkowników, którzy używają głębokiego Internetu do dzielenia się informacjami i swobodnego mówienia. Przeglądarki takie jak TOR są nadal stosunkowo nieznane w Chinach, ale liczba osób korzystających z usługi stale rośnie. Obywatele w Turcji i innych politycznie burzliwych krajach używają głębokiego Internetu, aby zebrać się, zaplanować protesty i omówić lokalne wiadomości poza czujnym okiem rządu.
dlaczego przeciętny Amerykanin chciałby korzystać z głębokiego Internetu? Pomimo swojej sławy z nielegalnej działalności, głęboki internet jest po prostu wszystko, co nie jest dostępne za pomocą prostego wyszukiwania Google. Aż 90 procent Internetu jest dostępne tylko za pośrednictwem stron internetowych deb. Korzystanie z Tora nie jest nielegalne, ani nie dzieje się na wielu głębokich stronach internetowych. Jedyną nielegalną działalnością jest to, co byłoby nielegalne w prawdziwym świecie. W głębokiej sieci można znaleźć rzadkie i Zakazane książki, czytać trudne do znalezienia wiadomości, a nawet fan fiction. Idea Dzikiego Zachodu Internetu jest znowu żywa przy użyciu głębokiej sieci.
jak uzyskać dostęp do niewidocznych treści i wyszukiwać je
jeśli witryna jest niedostępna za pomocą konwencjonalnych środków, nadal istnieją sposoby dostępu do treści, jeśli nie do rzeczywistych stron. Oprócz oprogramowania takiego jak TOR, istnieje wiele podmiotów, które umożliwiają przeglądanie głębokich treści internetowych, takich jak uniwersytety i ośrodki badawcze.
w przypadku niewidocznych treści, które nie mogą lub nie powinny być widoczne, nadal istnieje wiele sposobów uzyskania dostępu:
członkostwo
Dołącz do stowarzyszenia zawodowego lub badawczego, które zapewnia dostęp do dokumentacji, badań i recenzowanych czasopism.
VPN
Uzyskaj dostęp do wirtualnej sieci prywatnej za pośrednictwem pracodawcy
poproś o pozwolenie
poproś o dostęp; może to być tak proste, jak bezpłatna rejestracja.
usługi subskrypcyjne
Zapłać za subskrypcję periodyku lub innego zasobu, którego pracę chcesz wspierać.
Znajdź odpowiedni zasób
użyj niewidocznego katalogu stron internetowych, portalu lub specjalistycznej Wyszukiwarki, takiej jak wyszukiwarka Książek Google lub indeks internetowy bibliotekarza.
wykorzystanie głębokiej sieci w edukacji
więc gdzie Ty, jako pedagog, wchodzisz? W głębokiej sieci można znaleźć informacje, do których nie można uzyskać dostępu za pomocą prostego wyszukiwania Google, a które mogą okazać się niezmiernie przydatne dla uczniów i współpracowników.
„pokonywanie stereotypów i Pokazywanie wykorzystania głębokich wyszukiwań internetowych jest ekscytującą perspektywą dla uczniów – widzą, że internet jest o wiele większy niż media społecznościowe i typowe wyszukiwania Google lub Yahoo, które są używane do szkolnych projektów i esejów.”
ludzie nie rozumieją, co dokładnie stanowi głęboką informację w sieci. Czasopisma i książki, do których dostęp można uzyskać tylko za pośrednictwem strony internetowej biblioteki uniwersyteckiej, nie można znaleźć za pośrednictwem Google, a także witryny, które wyłączyły możliwość wyszukiwania za pomocą wyszukiwarki. Dla uczniów, którzy potrzebują tej zapory, możliwość wyszukiwania na głębokich stronach internetowych staje się przydatnym narzędziem dla szkoły i nie tylko.
Pokaż uczniom, jak można znaleźć ukryte wyszukiwarki i jakie informacje można znaleźć za ich pośrednictwem. Pokonywanie stereotypów i Pokazywanie wykorzystania głębokich wyszukiwań internetowych jest ekscytującą perspektywą dla uczniów – widzą, że internet jest o wiele większy niż media społecznościowe i typowe wyszukiwania Google lub Yahoo, które są przyzwyczajone do korzystania z projektów szkolnych i esejów. Twoja lokalna biblioteka może być źródłem mnóstwa informacji niemożliwych do Wygooglowania, a dzięki swojej bibliotece możesz korzystać z takich źródeł, jak JSTOR i JURN. Więcej informacji o tym, jak korzystać z głębokich źródeł internetowych, można znaleźć w książce Going Beyond Google: The Invisible Web in Learning and Teaching autorstwa Jane Devine i Francine Egger-Sider.
niewidzialne narzędzia wyszukiwania w sieci
oto mała próbka niewidocznych narzędzi wyszukiwania w sieci (katalogi, portale, silniki), które pomogą Ci znaleźć niewidzialną zawartość. Aby zobaczyć więcej takich informacji, zapoznaj się z naszym artykułem Research Beyond Google.
lista głębokich wyszukiwarek internetowych
zasoby sowy do wyszukiwania w niewidzialnej sieci
Sztuka
muzeum Louvre
książki Online
strona książek Online
dane ekonomiczne i pracy
FreeLunch.com
Finanse i inwestowanie
com
General Research
Katalog publikacji rządowych GPO w USA
dane rządowe