søgemaskiner er på en måde internetets hjerteslag; “Googling” er blevet en del af hverdagens tale og anerkendes endda af Merriam-Netster som et grammatisk korrekt verb. Det er en almindelig misforståelse, imidlertid, at Googling af et søgeudtryk afslører hvert sted derude, der adresserer din søgning. Typiske søgemaskiner som Google, Yahoo eller Bing har faktisk kun adgang til en lille brøkdel — anslået til 0,03% — af internettet. De sider, som traditionelle søgninger giver, er en del af det, der kaldes Overfladenettet, som består af indekserede sider, som en søgemaskines internetsøgere er programmeret til at hente.
“så meget som 90 procent af internettet er kun tilgængelig via deb hjemmesider.”
hvor er resten? Langt størstedelen af internettet ligger i det dybe internet, undertiden benævnt det usynlige Internet. Den faktiske størrelse på det dybe net er umuligt at måle, men mange eksperter vurderer, at det er omkring 500 gange størrelsen på nettet, som vi kender det.
så hvad er det dybe net, præcis? Dybe hjemmesider fungerer ligesom enhver anden hjemmeside online, men de er konstrueret således, at deres eksistens er usynlig for krybere. Mens de seneste nyheder, såsom busten af den berygtede narkotikahandel site Silk Road og Edvard sneens NSA narrestreger, har spotlighted den dybe net eksistens, det er stadig stort set misforstået.
søgemaskiner og Overfladenettet
at forstå, hvordan surface-sider indekseres af søgemaskiner, kan hjælpe dig med at forstå, hvad det dybe net handler om. I de tidlige dage var computerkraft og lagerplads til en sådan præmie, at søgemaskiner indekserede et minimalt antal sider og ofte kun lagrede delvist indhold. Metoden bag søgning afspejlede brugernes intentioner; tidlige internetbrugere søgte generelt forskning, så de første søgemaskiner indekserede enkle forespørgsler, som studerende eller andre forskere sandsynligvis ville stille. Søgeresultaterne bestod af faktisk indhold, som en søgemaskine havde gemt.
med tiden gjorde avanceret teknologi det rentabelt for søgemaskiner at gøre et mere grundigt stykke arbejde med indeksering af sideindhold. Dagens internetsøgere, eller edderkopper, bruger avancerede algoritmer til at indsamle sidedata fra hyperlinkede sider. Disse robotter manøvrerer sig gennem alle sammenkædede data på internettet og tjener deres spidery-kaldenavn. Hvert overfladested er indekseret af metadata, som krybere indsamler. Denne metadata, der består af elementer som sidetitel, sideplacering (URL) og gentagne nøgleord, der bruges i tekst, tager meget mindre plads end faktisk sideindhold. I stedet for den cachelagrede indhold dump af gamle, dagens søgemaskiner hurtigt og effektivt direkte brugere til hjemmesider, der er relevante for deres forespørgsler.
for at få en fornemmelse af, hvordan søgemaskiner har forbedret sig over tid, beskriver Googles interaktive opdeling “hvordan Søgning fungerer” alle de faktorer, der spiller i hver Google-søgning. På samme måde, Moz.com ‘ s tidslinje for Googles søgemaskine algoritme vil give dig en ide om, hvordan nonstop indsatsen har været at forfine søgninger. Hvordan disse bestræbelser påvirker det dybe net er ikke helt klart. Men det er rimeligt at antage, at hvis store søgemaskiner fortsætter med at forbedre sig, vil almindelige internetbrugere være mindre tilbøjelige til at søge mystiske dybe internetsøgninger.
Hvordan er det dybe internet usynligt for søgemaskiner?
søgemaskiner som Google er ekstremt kraftfulde og effektive til at destillere up-to-the-moment indhold. Hvad de mangler, Imidlertid, er evnen til at indeksere den enorme mængde data, der ikke er hyperlinket, og derfor umiddelbart tilgængelig for en internetsøgning. Dette er måske eller måske ikke forsætligt; for eksempel, indhold bag en betalingsmur eller et blogindlæg, der er skrevet, men endnu ikke offentliggjort, findes begge teknisk på det dybe internet.
nogle eksempler på andet dybt indhold omfatter:
- Data, der skal tilgås af en søgegrænseflade
- resultater af databaseforespørgsler
- kun abonnementsoplysninger og andre adgangskodebeskyttede data
- sider, der ikke er linket til af nogen anden side
- teknisk begrænset indhold, såsom det, der kræver teknologi
- tekstindhold, der findes uden for af konventionel http:// eller https:// protokoller
mens omfanget og mangfoldigheden af det dybe internet er svimlende, er det berygtet – og appel – kommer fra det faktum, at brugerne er anonyme på det dybe Internet, og det samme er deres aktiviteter. På grund af dette har det været et vigtigt redskab for regeringer; US Naval research laboratory lancerede først efterretningsværktøjer til dyb internetbrug i 2003.
desværre har denne anonymitet skabt en yngleplads for kriminelle elementer, der udnytter muligheden for at skjule ulovlige aktiviteter. Ulovlig pornografi, narkotika, våben og pas er blot nogle få af de varer, der kan købes på det dybe net. Eksistensen af sider som disse betyder dog ikke, at det dybe net i sig selv er ondt; anonymitet har sin værdi, og mange brugere foretrækker simpelthen at operere inden for et ikke-sporbart system i princippet.
“anonymitet har sin værdi, og mange brugere foretrækker simpelthen at operere inden for et ikke-sporbart system i princippet.”
ligesom dybt indhold ikke kan spores af internetsøgere, kan det heller ikke tilgås via konventionelle midler. Den samme Flådeforskningsgruppe til udvikling af efterretningsindsamlingsværktøjer oprettede Onion Router-projektet, nu kendt under dets akronym TOR. Løg routing refererer til processen med at fjerne krypteringslag fra internetkommunikation, svarende til at skrælle lagene af en løg tilbage. Tor-brugernes identiteter og netværksaktiviteter er skjult af dette program. TOR, og andre programmer som det, tilbyder en anonym forbindelse til det dybe internet. Det er faktisk din dybe søgemaskine.
men på trods af sin back-alley ry er der masser af legitime grunde til at bruge TOR. For det første lader Tor brugerne undgå “trafikanalyse” og de overvågningsværktøjer, der bruges af kommercielle sider til at bestemme internetbrugernes placering og det netværk, de forbinder gennem. Disse virksomheder kan derefter bruge disse oplysninger til at justere prisfastsættelsen eller endda hvilke produkter og tjenester de stiller til rådighed.
ifølge Tor-projektstedet tillader programmet også folk at ” oprette en hjemmeside, hvor folk udgiver materiale uden at bekymre sig om censur.”Selvom dette på ingen måde er en klar god eller dårlig ting, mærkes spændingen mellem censur og ytringsfrihed verden over. Det dybe net fremmer denne debat ved at demonstrere, hvad folk kan og vil gøre for at overvinde politisk og social censur.
årsager en side er usynlig
når en almindelig søgemaskineforespørgsel kommer tilbage uden resultater, betyder det ikke nødvendigvis, at der ikke er noget at finde. En” usynlig ” side er ikke nødvendigvis utilgængelig; det er simpelthen ikke indekseret af en søgemaskine. Der er flere grunde til, at en side kan være usynlig. Husk, at nogle sider kun er midlertidigt usynlige, muligvis bestemt til at blive indekseret på et senere tidspunkt.
for mange parametre
motorer har traditionelt ignoreret alle hjemmesider, hvis URL ‘ er har en lang række parametre og lige tegn og spørgsmålstegn, hvis de vil duplikere, hvad der er i deres database – eller værre – edderkoppen vil på en eller anden måde gå rundt i cirkler. Kendt som det” overfladiske Internet ” er der udviklet en række løsninger, der hjælper dig med at få adgang til dette indhold.
Formularstyret post, der ikke er adgangskodebeskyttet
i dette tilfælde vises sideindhold kun, når et menneske anvender et sæt handlinger, hovedsagelig indtastning af data i en formular (specifikke forespørgselsoplysninger, såsom jobkriterier for en jobsøgemaskine). Dette inkluderer typisk databaser, der genererer sider efter behov. Gældende indhold omfatter rejse Industri data (Fly info, Hotel tilgængelighed), jobannoncer, produktdatabaser, patenter, offentligt tilgængelige offentlige oplysninger, ordbog definitioner, love, aktiemarkedet data, telefonbøger og professionelle mapper.
adgangskodeadgang, abonnementer eller ikke-abonnementer.
dette inkluderer VPN (virtuelle private netværk) og enhver hjemmeside, hvor sider kræver et brugernavn og en adgangskode. Adgang kan eller ikke ske ved betalt abonnement. Gældende indhold omfatter akademiske og corporate databaser, avis eller tidsskrift indhold, og akademiske bibliotek abonnementer.
tidsindstillet adgang
på nogle sider, som f.eks. store nyhedskilder, bliver gratis indhold utilgængeligt efter et vist antal sidevisninger. Søgemaskiner bevarer URL ‘ en, men siden genererer en tilmeldingsformular, og indholdet flyttes til en ny URL, der kræver en adgangskode.
udelukkelse af robotter
robotterne.tekstfil, som normalt bor i hovedkataloget på et sted, fortæller søgrobotter, hvilke filer og mapper der ikke skal indekseres. Derfor navnet ” robotter udelukkelse fil.”Hvis denne fil er konfigureret, vil den blokere visse sider fra at blive indekseret, hvilket så vil være usynligt for søgere. Blogplatforme tilbyder ofte denne funktion.
skjulte sider
der er simpelthen ingen sekvens af hyperlinkklik, der kan føre dig til en sådan side. Siderne er tilgængelige, men kun for folk, der kender til deres eksistens.
myter om det usynlige internet
narkotika, pornografi og andre ulovlige aktiviteter er det mest omtalte aspekt af det dybe internet af en grund. Historier om folk, der køber heroin online ved hjælp af Bitcoins, en form for elektronisk valuta eller sælger våben internationalt, skaber store overskrifter.
hvad folk ikke indser er, at der er meget det usynlige internet har at tilbyde udover ulovlig aktivitet. Stereotyper og boogeyman-historier holder folk væk fra det dybe net, når der faktisk er mange vidunderlige grunde til at besøge det. I lande som Kina, hvor hjemmesider er blokeret, og Internet privatliv er svært at komme med, er der et voksende fællesskab af brugere, der bruger det dybe internet til at dele information og tale frit. Brugere som TOR er stadig relativt ukendte i Kina, men antallet af mennesker, der bruger tjenesten, vokser støt. Borgere i Tyrkiet og andre politisk tumultagtige lande bruger det dybe internet til at samles, planlægge protester, og diskutere lokale nyheder uden for regeringens vågne øje.
Hvorfor vil den gennemsnitlige amerikaner bruge det dybe internet? På trods af sin berømmelse fra ulovlig aktivitet er det dybe internet simpelthen noget, der ikke er tilgængeligt ved en simpel Google-søgning. Så meget som 90 procent af internettet er kun tilgængelig via deb hjemmesider. Brug af TOR i sig selv er ikke ulovligt, og det foregår heller ikke på mange dybe hjemmesider. Den eneste ulovlige aktivitet er, hvad der ville være ulovligt ude i den virkelige verden. På det dybe net kan du finde sjældne og forbudte bøger, læse svære at finde nyheder og endda fanfiktion. Ideen om et vildt vest for internettet lever igen ved hjælp af det dybe internet.
Sådan får du adgang til og søger efter usynligt indhold
hvis et sted er utilgængeligt på konventionelle måder, er der stadig måder at få adgang til indholdet, hvis ikke de faktiske sider. Bortset fra programmer som TOR er der en række enheder, der gør det muligt at se dybt indhold, som universiteter og forskningsfaciliteter.
for usynligt indhold, der ikke kan eller bør være synligt, er der stadig en række måder at få adgang til:
medlemskab
Deltag i en professionel eller forskningsforening, der giver adgang til Poster, Forskning og fagfællebedømte tidsskrifter.
VPN
få adgang til et virtuelt privat netværk via en arbejdsgiver
Bed om tilladelse
Anmod om adgang; dette kan være så simpelt som en gratis registrering.
abonnementstjenester
Betal for et abonnement på en periodisk eller anden ressource, hvis arbejde du ønsker at støtte.
Find en passende ressource
brug en usynlig internetkatalog, portal eller specialiseret søgemaskine som Google Book Search eller bibliotekarens Internetindeks.
brug af det dybe net i uddannelse
så hvor kommer du som underviser ind? Det dybe internet kan bruges til at finde oplysninger, som du ellers ikke kunne få adgang til via en simpel Google-søgning, og som kan vise sig umådeligt nyttige for dine studerende og kolleger.
“at slå stereotyper og vise brugen af dybe internetsøgninger er et spændende perspektiv for studerende-de kan se, at internettet er så meget større end sociale medier og de typiske Google-eller Yahoo-søgninger, som de er vant til at bruge til skoleprojekter og essays.”
hvad folk ikke forstår, er, hvad der præcist udgør dyb internetinformation. Tidsskrifter og bøger, der kun kan tilgås via et universitetsbiblioteks hjemmeside, kan ikke findes via Google, såvel som sider, der har slukket muligheden for at blive søgt gennem en søgemaskine. For studerende, der har brug for at brandmurede, evnen til at søge på dybe hjemmesider bliver et nyttigt værktøj til skole og videre.
Vis eleverne brugen til at finde skjulte søgemaskiner, og hvilken slags information kan findes gennem dem. At slå stereotyper og vise brugen af dybe internetsøgninger er et spændende perspektiv for studerende — de kan se, at internettet er så meget større end sociale medier og de typiske Google-eller Yahoo-søgninger, som de er vant til at bruge til skoleprojekter og essays. Dit lokale bibliotek kan være en kilde til tonsvis af Un-Googleable oplysninger, og gennem dit bibliotek, kan du være i stand til at udnytte kilder som JSTOR og JURN. For mere om, hvordan du bruger dybe internetkilder, se bogen Going Beyond Google: The Invisible Internet in Learning and Teaching af Jane Devine og Francine Egger-Sider.
usynlige Internetsøgningsværktøjer
her er et lille udsnit af usynlige internetsøgningsværktøjer (mapper, portaler, motorer), der hjælper dig med at finde usynligt indhold. For at se mere som disse, Se venligst vores forskning ud over Google artikel.
en liste over dybe internetsøgemaskiner
Purdue ugles ressourcer til at søge på det usynlige Internet
Art
Musie du Louvre
bøger Online
siden online bøger
økonomiske og jobdata
FreeLunch.com
Finans og investering
Bankrate.kom
generel forskning
GPO ‘ s katalog over amerikanske Regeringspublikationer
regeringsdata