Søkemotorer er på en måte hjerteslag på internett; «Googling» har blitt en del av daglig tale Og er til og med anerkjent Av Merriam-Webster som et grammatisk korrekt verb. Det er en vanlig misforståelse, men At Googling et søkeord vil avsløre hvert nettsted der ute som adresserer søket ditt. Typiske søkemotorer som Google, Yahoo eller Bing har faktisk bare tilgang til en liten brøkdel — estimert til 0,03% – av internett. Nettstedene som tradisjonelle søk gir, er en del av Det som kalles Surface Web, som består av indekserte sider som en søkemotors web crawlere er programmert til å hente.
«så mye som 90 prosent av internett er bare tilgjengelig gjennom deb web nettsteder.»
så hvor er resten? Det store flertallet av Internett ligger I Det Dype Nettet, noen ganger referert til Som Det Usynlige Nettet. Den faktiske størrelsen På Det Dype Nettet er umulig å måle, men mange eksperter anslår at det er omtrent 500 ganger størrelsen på nettet som vi kjenner det.
Så hva Er Det Dype Nettet, akkurat? Dype Websider fungerer akkurat som alle andre nettsteder på nettet, men de er konstruert slik at deres eksistens er usynlig for crawlere. Mens nylige nyheter, som bysten av Det beryktede narkotikahandel Nettstedet Silk Road og Edward Snowdens nsa shenanigans, har spotlighted Deep Webs eksistens, er det fortsatt stort sett misforstått.
Søkemotorer Og Surface Web
Forstå hvordan surface sider er indeksert av søkemotorer kan hjelpe deg å forstå Hva Deep Web handler om. I tidlige dager, datakraft og lagringsplass var på en slik premie at søkemotorer indeksert et minimalt antall sider, ofte lagring bare delvis innhold. Metodikken bak søking reflekterte brukernes intensjoner; tidlige Internett-brukere søkte generelt forskning, så de første søkemotorene indekserte enkle søk som studenter eller andre forskere sannsynligvis ville gjøre. Søkeresultatene besto av faktisk innhold som en søkemotor hadde lagret.
over tid gjorde avansert teknologi det lønnsomt for søkemotorer å gjøre en grundigere jobb med å indeksere innhold på nettstedet. Dagens søkeroboter, eller edderkopper, bruker avanserte algoritmer for å samle sidedata fra hyperkoblede sider. Disse robotene manøvrerer seg gjennom alle koblede data på Internett, og tjener sitt spidery kallenavn. Hvert surface-område er indeksert av metadata som søkeroboter samler inn. Denne metadataen, som består av elementer som sidetittel, SIDEPLASSERING (URL) og gjentatte søkeord som brukes i tekst, tar opp mye mindre plass enn faktisk sideinnhold. I stedet for bufret innhold dump av gamle, dagens søkemotorer raskt og effektivt direkte brukere til nettsteder som er relevante for sine spørsmål.
For å få en følelse av hvordan søkemotorer har forbedret seg over tid, beskriver Googles interaktive sammenbrudd «Hvordan Søk Fungerer» alle faktorene som spiller inn i Hvert Google-søk. På samme måte, Moz.com ‘ s tidslinje Av Googles søkemotor algoritme vil gi deg en ide om hvordan nonstop innsatsen har vært å avgrense søk. Hvordan dette arbeidet påvirker Den Dype Nettet er ikke helt klart. Men det er rimelig å anta at hvis store søkemotorer holde bedre, vanlige nettbrukere vil være mindre sannsynlig å oppsøke uforståelige Dype Nettsøk.
Hvordan Er Det Dype Nettet Usynlig For Søkemotorer?
Søkemotorer som Google er ekstremt kraftige og effektive for å destillere oppdatert webinnhold. Det de mangler, er imidlertid evnen til å indeksere den enorme mengden data som ikke er hyperkoblet, og derfor umiddelbart tilgjengelig for en web crawler. Dette kan eller ikke kan være tilsiktet; for eksempel innhold bak en betalingsmur eller et blogginnlegg som er skrevet, men ennå ikke publisert både teknisk ligge i Dypnettet.
noen eksempler på Annet Dypt Webinnhold inkluderer:
- Data som må nås av et søkegrensesnitt
- Resultater av databasespørringer
- Abonnementsinformasjon og andre passordbeskyttede data
- Sider som ikke er koblet til av noen annen side
- Teknisk begrenset innhold, for eksempel det som krever teknologi
- Tekstinnhold som finnes utenfor av konvensjonell http:// eller https:// protokoller
mens omfanget Og mangfoldet Av Deep Web er svimlende, er det beryktet – og appell – kommer fra det faktum at brukerne er anonyme på Deep Web, og det er også deres aktiviteter. PÅ grunn av dette har DET vært et viktig verktøy for regjeringer; US Naval research laboratory lanserte først etterretningsverktøy For Dyp Webbruk i 2003.
Dessverre har denne anonymiteten skapt grobunn for kriminelle elementer som utnytter muligheten til å skjule ulovlige aktiviteter. Ulovlig pornografi, narkotika, våpen og pass er bare noen av elementene som er tilgjengelige for kjøp på Deep Web. Eksistensen av nettsteder som disse betyr imidlertid ikke At Den Dype Nettet er iboende ond; anonymitet har sin verdi, og mange brukere foretrekker ganske enkelt å operere innenfor et usporbart system på prinsippet.
«Anonymitet har sin verdi, og mange brukere foretrekker rett og slett å operere innenfor et usporbart system på prinsippet.»
Akkurat Som Dypt Webinnhold ikke kan spores av web crawlere, kan det heller ikke nås via konvensjonelle midler. Den Samme Naval research group for å utvikle etterretningsinnsamlingsverktøy opprettet Onion Router-Prosjektet, nå kjent med akronymet TOR. Løkruting refererer til prosessen med å fjerne krypteringslag Fra Internettkommunikasjon, som ligner på peeling tilbake lagene av en løk. TOR brukernes identiteter og nettverksaktiviteter er skjult av denne programvaren. TOR, OG annen programvare som den, tilbyr en anonym tilkobling Til Deep Web. Det er, i kraft, Din Dyp Web søkemotor.
men til tross for sitt bakgateomdømme er det mange legitime grunner til å bruke TOR. FOR DET første lar TOR brukere unngå «trafikkanalyse» og overvåkingsverktøyene som brukes av kommersielle nettsteder for å bestemme nettbrukernes plassering og nettverket de kobler seg til. Disse bedriftene kan da bruke denne informasjonen til å justere priser, eller til og med hvilke produkter og tjenester de gjør tilgjengelig.
Ifølge Tor-Prosjektets nettsted tillater programmet også folk å » Sette opp et nettsted der folk publiserer materiale uten å bekymre seg for sensur.»Selv om dette på ingen måte er en klar god eller dårlig ting, føles spenningen mellom sensur og ytringsfrihet over hele verden. Det Dype Nettet fremmer den debatten ved å demonstrere hva folk kan og vil gjøre for å overvinne politisk og sosial sensur.
Grunner Til At En Side Er Usynlig
når en vanlig søkemotor spør kommer tilbake uten resultater, betyr det ikke nødvendigvis at det ikke er noe å finne. En «usynlig» side er ikke nødvendigvis utilgjengelig; det er rett og slett ikke indeksert av en søkemotor. Det er flere grunner til at en side kan være usynlig. Husk at noen sider er bare midlertidig usynlig, muligens planlagt å bli indeksert på et senere tidspunkt.
For Mange parametere
Motorer har tradisjonelt ignorert Nettsider hvis Nettadresser har en lang rekke parametere og like tegn og spørsmålstegn, på sjansen for at de vil duplisere hva som er i databasen – eller verre – edderkoppen vil på en eller annen måte gå rundt i sirkler. Kjent som «Shallow Web», har en rekke løsninger blitt utviklet for å hjelpe deg med å få tilgang til dette innholdet.
skjemakontrollert oppføring som ikke er passordbeskyttet
i dette tilfellet vises sideinnhold bare når et menneske bruker et sett med handlinger, for det meste skriver inn data i et skjema (spesifikk spørringsinformasjon, for eksempel jobbkriterier for en jobbsøkemotor). Dette inkluderer vanligvis databaser som genererer sider på forespørsel. Gjeldende innhold inkluderer reiseindustridata (flyinformasjon, hotelltilgjengelighet), stillingsannonser, produktdatabaser, patenter, offentlig tilgjengelig informasjon fra myndighetene, ordbokdefinisjoner, lover, aksjemarkedsdata, telefonbøker og profesjonelle kataloger.
Passordtilgang, abonnementer eller ikke-abonnementer.
DETTE inkluderer VPN (virtuelle private nettverk) og alle nettsteder der sider krever brukernavn og passord. Tilgang kan eller ikke kan være ved betalt abonnement. Gjeldende innhold inkluderer akademiske og bedriftsdatabaser, avis-eller tidsskriftinnhold og abonnementer på fagbiblioteket.
Tidsbestemt tilgang
på noen nettsteder, som store nyhetskilder Som New York Times, blir gratis innhold utilgjengelig etter et visst antall sidevisninger. Søkemotorer beholder NETTADRESSEN, men siden genererer et registreringsskjema og innholdet flyttes til en NY NETTADRESSE som krever et passord.
utelukkelse Av Roboter
robotene.txt-fil, som vanligvis bor i hovedkatalogen på et nettsted, forteller søkroboter hvilke filer og kataloger som ikke skal indekseres. Derav navnet » robots exclusion file.»Hvis denne filen er satt opp, vil den blokkere visse sider fra å bli indeksert, som da vil være usynlig for søkere. Bloggplattformer tilbyr vanligvis denne funksjonen.
Skjulte sider
det er rett og slett ingen sekvens av hyperkoblingsklikk som kan ta deg til en slik side. Sidene er tilgjengelige, men bare for folk som vet om deres eksistens.
Myter om det usynlige nettet
Narkotika, pornografi og andre ulovlige aktiviteter er det mest omtalte aspektet Av Det Dype Nettet av en grunn. Historier om folk som kjøper heroin på nettet ved Hjelp Av Bitcoins, en form for elektronisk valuta, eller selger våpen internasjonalt, gjør store overskrifter.
hva folk ikke vet er at det er mye usynlig internett har å tilby i tillegg til ulovlig aktivitet. Stereotyper og boogeyman-historier holder folk borte fra Det Dype Nettet når det faktisk er mange fantastiske grunner til å besøke det. I Land Som Kina, hvor nettsteder er blokkert og internett-personvern er vanskelig å komme forbi, er det et voksende fellesskap av brukere som bruker det dype internett til å dele informasjon og snakke fritt. Nettlesere SOM TOR er fortsatt relativt ukjente I Kina, men antall personer som bruker tjenesten vokser jevnt. Borgere I Tyrkia og andre politisk stormende land bruker den dype internett for å samle sammen, planlegge protester, og diskutere lokale nyheter utenfor det vaktsomme øyet av regjeringen.
Hvorfor vil den gjennomsnittlige Amerikaneren bruke det dype internett? Til tross for sin berømmelse fra ulovlig aktivitet, er det dype internett bare noe som ikke er tilgjengelig Med Et Enkelt Google-søk. Så mye som 90 prosent av internett er bare tilgjengelig gjennom deb web nettsteder. Å bruke TOR i SEG selv er ikke ulovlig, og det skjer heller ikke på mange dype nettsteder. Den eneste ulovlige aktiviteten er det som ville være ulovlig ute i den virkelige verden. På den dype nettet kan du finne sjeldne og forbudte bøker, lese vanskelige å finne nyheter, og til og med fanfiksjon. Ideen om en vill vest for internett er levende igjen ved hjelp av deep web.
Hvordan Få Tilgang Til Og Søke Etter Usynlig Innhold
hvis et nettsted er utilgjengelig på konvensjonell måte, er det fortsatt måter å få tilgang til innholdet, om ikke de faktiske sidene. Bortsett FRA programvare SOM TOR, er det en rekke enheter som gjør Det mulig å se Dypt Webinnhold, som universiteter og forskningsfasiliteter.
for usynlig innhold som ikke kan eller ikke skal være synlig, er det fortsatt en rekke måter å få tilgang til:
Medlemskap
Bli med i en profesjonell eller forskningsforening som gir tilgang til poster, forskning og fagfellevurderte tidsskrifter.
VPN
Få tilgang til et virtuelt privat nettverk via en arbeidsgiver
Be om tillatelse
Be om tilgang; dette kan være så enkelt som en gratis registrering.
Abonnementstjenester
Betal for abonnement på et tidsskrift eller en annen ressurs hvis arbeid du ønsker å støtte.
Finn en passende ressurs
Bruk en usynlig webkatalog, portal eller spesialisert søkemotor som Google Boksøk eller Bibliotekarens Internettindeks.
Bruke Det Dype Nettet I Utdanning
Så hvor kommer du som lærer inn? Deep web kan brukes til å finne informasjon som du ellers ikke kunne få tilgang til gjennom et enkelt Google-søk, og det kan vise seg å være umåtelig nyttig for studenter og kolleger.
«Å Slå stereotyper og vise bruk av dype nettsøk er et spennende prospekt for studenter-de kan se at internett er så mye større enn sosiale medier og de typiske Google-eller Yahoo-søkene de er vant til å bruke til skoleprosjekter og essays.»
hva folk ikke forstår er hva som utgjør dyp webinformasjon. Tidsskrifter og bøker som bare kan nås via et universitetsbiblioteksnettsted, kan ikke søkes gjennom Google, samt nettsteder som har slått av muligheten til å bli søkt gjennom en søkemotor. For studenter som trenger det brannmur, muligheten til å søke på deep web nettsteder blir et nyttig verktøy for skolen og utover.
Vis elevene bruken i å finne skjulte søkemotorer, og hva slags informasjon kan bli funnet gjennom dem. Å slå stereotyper og vise bruk av dype nettsøk er et spennende prospekt for studenter-de kan se at internett er så mye større enn sosiale medier og de typiske Google-eller Yahoo-søkene de er vant til å bruke til skoleprosjekter og essays. Ditt lokale bibliotek kan være en kilde til tonnevis av un-Googleable informasjon, og gjennom biblioteket ditt kan du kanskje bruke kilder som JSTOR og JURN. For mer om hvordan du bruker dype webkilder, sjekk ut boken Going Beyond Google: The Invisible Web in Learning and Teaching Av Jane Devine og Francine Egger-Sider.
Usynlige Nettsøkeverktøy
her er et lite utvalg av usynlige nettsøkeverktøy (kataloger, portaler, motorer) for å hjelpe deg med å finne usynlig innhold. For å se mer som disse, kan du se På Vår Forskning Utover Google artikkel.
En Liste Over Dype Nettsøkemotorer
Purdue Owls Ressurser For Å Søke På Det Usynlige Nettet
Kunst
Musie du Louvre
Bøker På Nettet
Online Books Page
Økonomiske Og Jobbdata
FreeLunch.com
Finans Og Investering
Bankrate.com
Generell Forskning
GPO Katalog OVER Amerikanske Offentlige Publikasjoner
Offentlige Data