보이지 않는 웹에 대한 궁극적 인 가이드

검색 엔진은,어떤 의미에서,인터넷의 심장 박동이다;”인터넷 검색”은 일상 연설의 일부가되었다 심지어 문법적으로 올바른 동사로 메리 엄-웹스터에 의해 인식된다. 그러나 그것은 일반적인 오해,,검색어를 인터넷 검색 검색 주소 거기 밖으로 모든 사이트를 발표할 예정 이다. 구글,야후,또는 빙 같은 일반적인 검색 엔진은 실제로 단지 작은 부분에 액세스—0.03%로 추정—인터넷의. 전통적인 수색 수확량이 검색 엔진의 웹 크롤러가 만회하기 위하여 프로그램된다 고 색인을 붙인 페이지를 구성되어 있는 지상 웹으로 있있는 것이의 부분 이는 위치.

그래서 나머지는 어디 있습니까? 인터넷의 대부분은 때로는 보이지 않는 웹이라 깊은 웹에 자리 잡고 있습니다. 딥 웹의 실제 크기는 측정 할 수 없지만 많은 전문가들은 우리가 알고있는 웹의 약 500 배 크기라고 추정합니다.

그렇다면 딥 웹은 정확히 무엇입니까? 깊은 웹 페이지는 다른 사이트 온라인 처럼 작동 하지만 그들은 그들의 존재는 크롤 러에 보이지 않는 있도록 구성 됩니다. 이러한 악명 높은 마약 밀매 사이트 실크로드와 에드워드 스노 든의 국가 안보국 헛소리의 흉상으로 최근 뉴스,딥 웹의 존재를 주목 한 반면,여전히 크게 오해입니다.

검색 엔진과 표면 웹

표면 페이지가 검색 엔진에 의해 색인되는 방법을 이해하면 딥 웹이 무엇인지 이해하는 데 도움이 될 수 있습니다. 초기에 컴퓨팅 성능과 저장 공간은 검색 엔진이 최소한의 페이지 수를 색인화하여 종종 부분 콘텐츠 만 저장하는 프리미엄이었습니다. 검색 뒤에 방법론은 사용자의 의도를 반영;초기 인터넷 사용자는 일반적으로 연구를 추구,그래서 첫 번째 검색 엔진은 학생이나 다른 연구자가 만들 가능성이 있었다 간단한 쿼리를 색인. 검색 결과는 검색 엔진이 저장 한 실제 콘텐츠로 구성되었습니다.

시간이 지남에 따라 기술의 발전으로 인해 검색 엔진이 사이트 콘텐츠 인덱싱을보다 철저히 수행 할 수있게되었습니다. 오늘날의 웹 크롤러 또는 스파이더는 정교한 알고리즘을 사용하여 하이퍼 링크 된 페이지에서 페이지 데이터를 수집합니다. 이 로봇은 인터넷에 연결된 모든 데이터를 통해 자신의 길을 조종하여 스파이더 닉네임을 얻습니다. 모든 표면 사이트는 크롤러가 수집하는 메타 데이터에 의해 인덱싱됩니다. 페이지 제목,페이지 위치 및 텍스트에 사용되는 반복 키워드와 같은 요소로 구성된이 메타 데이터는 실제 페이지 콘텐츠보다 훨씬 적은 공간을 차지합니다. 대신 기존의 캐시 된 콘텐츠 덤프,오늘날의 검색 엔진은 신속하고 효율적으로 자신의 쿼리와 관련된 웹 사이트에 사용자를 직접.

검색 엔진은 시간이 지남에 따라 개선 방법의 감각을 얻으려면,구글의 대화 형 고장”검색 작동 방법”모든 구글 검색에서 놀이에 모든 요소를 자세히 설명합니다. 비슷한 맥락에서,Moz.com 구글의 검색 엔진 알고리즘의 타임 라인은 당신에게 노력이 검색을 구체화하는 것이 얼마나 논스톱의 아이디어를 줄 것이다. 이러한 노력이 딥 웹에 미치는 영향은 정확히 명확하지 않습니다. 그러나 주요 검색 엔진이 계속 개선된다면 일반 웹 사용자는 비전 깊은 웹 검색을 추구 할 가능성이 줄어들 것이라고 가정하는 것이 합리적입니다.

딥 웹은 검색 엔진에 어떻게 보이지 않습니까?

구글과 같은 검색 엔진은 순간 웹 콘텐츠를 증류하는 데 매우 강력하고 효과적입니다. 그러나 그들이 부족한 것은 하이퍼 링크되지 않은 방대한 양의 데이터를 색인화 할 수 있기 때문에 웹 크롤러가 즉시 액세스 할 수 있다는 것입니다. 예를 들어,페이월 뒤의 콘텐츠 또는 작성되었지만 아직 게시되지 않은 블로그 게시물은 기술적으로 딥 웹에 있습니다.

기타 딥 웹 콘텐츠의 몇 가지 예는 다음과 같습니다:

• 검색 인터페이스에서 액세스해야 하는 데이터
• 데이터베이스 쿼리 결과
• 구독 전용 정보 및 기타 암호로 보호된 데이터
• 다른 페이지에 의해 링크되지 않은 페이지
• 기술적으로 제한된 콘텐츠(예:기술이 필요한 페이지
• 외부에 존재하는 텍스트 콘텐츠 이 문제를 해결하려면 다음을 수행하십시오.:/ 프로토콜

딥 웹의 규모와 다양성은 엄청나지만,사용자가 딥 웹에서 익명이며 그들의 활동도 마찬가지라는 점에서 악명이 높습니다. 이 때문에,그것은 정부를위한 중요한 도구이었다;미국 해군 연구소는 먼저 2003 년에 깊은 웹 사용을위한 정보 도구를 출시했다.

불행하게도,이 익명은 불법 활동을 숨길 수있는 기회를 활용 범죄 요소의 온상을 만들었습니다. 불법 포르노,마약,무기 및 여권은 딥 웹에서 구입할 수있는 항목 중 일부에 불과합니다. 그러나,이 같은 사이트의 존재는 깊은 웹이 본질적으로 악 것을 의미하지 않는다;익명은 그 값을 가지고 있으며,많은 사용자는 단순히 원칙에 추적 할 수없는 시스템 내에서 작동하는 것을 선호합니다.

웹 크롤러가 딥 웹 콘텐츠를 추적 할 수없는 것처럼 기존의 수단을 통해서도 액세스 할 수 없습니다. 정보 수집 도구를 개발하는 같은 해군 연구 그룹은 이제 토르의 약어로 알려진 양파 라우터 프로젝트를 만들었습니다. 양파 라우팅은 양파의 레이어를 다시 박리와 유사한 인터넷 통신에서 암호화 레이어를 제거하는 과정을 의미한다. 토르 사용자의 정체성과 네트워크 활동이 소프트웨어에 의해 은폐된다. 토르,그리고 같은 다른 소프트웨어는 깊은 웹에 익명의 연결을 제공합니다. 그것은,사실상,당신의 깊은 웹 검색 엔진입니다.

그러나 뒷골목 명성에도 불구하고 토르를 사용하는 정당한 이유가 많이 있습니다. 하나 들어,토르는 사용자가”트래픽 분석”및 웹 사용자의 위치와 그들이 통해 연결하는 네트워크를 결정하기 위해 상용 사이트에서 사용하는 모니터링 도구를 방지 할 수 있습니다. 이 기업은 가격,또는 그들이 사용할 수 있도록 어떤 제품과 서비스를 조정하기 위해이 정보를 사용할 수 있습니다.

토르 프로젝트 사이트에 따르면,이 프로그램은 또한 사람들이,”사람들이 검열에 대한 걱정없이 자료를 게시 웹 사이트를 설정할 수 있습니다.”이것이 분명 좋거나 나쁜 것은 아니지만 검열과 언론의 자유 사이의 긴장은 전 세계에서 느껴집니다. 딥 웹은 사람들이 정치적,사회적 검열을 극복하기 위해 할 수있는 것과 할 수있는 것을 보여줌으로써 논쟁을 발전시킵니다.

페이지가 보이지 않는 이유

일반 검색 엔진 쿼리가 아무런 결과도 없이 다시 올 때 반드시 찾을 것이 없다는 것을 의미하지는 않습니다. “보이지 않는”페이지는 반드시 접근 할 수없는 것은 아니다;그것은 단순히 검색 엔진에 의해 색인이 생성되지 않습니다. 페이지가 보이지 않을 수있는 몇 가지 이유가 있습니다. 일부 페이지는 일시적으로 만 보이지 않으며 나중에 색인이 생성 될 예정입니다.

너무 많은 매개 변수

엔진 전통적으로 무시 하는 모든 웹 페이지의 긴 문자열 매개 변수 및 등호와 물음표,그들은 그들의 데이터베이스에 있는 복제 거 야 오프 기회에–또는 더 나쁜-거미는 어떻게든 원에 주위를 갈 것 이다. “얕은 웹”으로 알려진 이 콘텐츠에 액세스할 수 있도록 여러 가지 해결 방법이 개발되었습니다.

암호로 보호되지 않는 양식 제어 항목

이 경우 페이지 콘텐츠는 사용자가 작업 집합을 적용할 때만 표시되며,주로 양식에 데이터를 입력합니다(작업 검색 엔진의 작업 기준과 같은 특정 쿼리 정보). 여기에는 일반적으로 요청 시 페이지를 생성하는 데이터베이스가 포함됩니다. 해당 콘텐츠에는 여행 업계 데이터(항공편 정보,호텔 가용성),작업 목록,제품 데이터베이스,특허,공개적으로 액세스 할 수있는 정부 정보,사전 정의,법률,주식 시장 데이터,전화 번호부 및 전문 디렉토리가 포함됩니다.

암호화된 액세스,구독 또는 비 구독.

여기에는 가상 사설망 및 페이지에 사용자 이름과 암호가 필요한 모든 웹 사이트가 포함됩니다. 액세스 또는 유료 가입하지 않을 수 있습니다. 해당 콘텐츠에는 학술 및 기업 데이터베이스,신문 또는 저널 콘텐츠,학술 도서관 구독이 포함됩니다.

시간 제한 액세스

뉴욕 타임즈와 같은 주요 뉴스 소스와 같은 일부 사이트에서는 특정 수의 페이지 뷰 후에 무료 콘텐츠에 액세스 할 수 없게됩니다. 검색엔진은 링크를 유지하지만 페이지는 로그인 양식을 생성하고 콘텐츠는 비밀번호가 필요한 새 페이지로 이동됩니다.

로봇 제외

로봇.일반적으로 사이트의 기본 디렉토리에 있는 파일은 검색 로봇에 어떤 파일과 디렉토리를 인덱싱하면 안 되는지 알려줍니다. 따라서 이름은”로봇 제외 파일.”이 파일이 설정되면 특정 페이지가 색인되는 것을 차단하고 검색자에게는 보이지 않습니다. 블로그 플랫폼은 일반적으로이 기능을 제공합니다.

숨겨진 페이지

이러한 페이지로 이동할 수 있는 하이퍼링크 클릭 순서가 없습니다. 이 페이지는 액세스 할 수 있지만 자신의 존재를 알고있는 사람들 만 사용할 수 있습니다.

보이지 않는 웹에 대한 신화

마약,포르노 및 기타 불법 행위는 이유 때문에 딥 웹의 측면에 대해 가장 많이 언급됩니다. 비트 코인,전자 화폐의 한 형태 또는 국제적으로 무기를 판매하여 온라인으로 헤로인을 구매하는 사람들에 대한 이야기는 큰 헤드 라인을 만듭니다.

사람들이 깨닫지 못하는 것은 불법 행위 외에 보이지 않는 인터넷이 제공해야하는 것이 많다는 것입니다. 그것을 방문을 지불하는 멋진 이유의 많은 실제로있을 때 고정 관념과 부기맨 이야기는 깊은 웹에서 멀리 사람들을 유지. 웹 사이트가 차단되고 인터넷 개인 정보 보호가 어려운 중국과 같은 국가에서는 깊은 인터넷을 사용하여 정보를 공유하고 자유롭게 말하는 사용자 커뮤니티가 늘어나고 있습니다. 토르와 같은 브라우저는 여전히 중국에서 상대적으로 알 수 있지만,이 서비스를 사용하는 사람들의 수는 꾸준히 증가하고있다. 터키 및 기타 정치적으로 떠들썩한 국가의 시민들은 함께 모여 시위를 계획하고 정부의 조심스러운 눈 밖에서 지역 뉴스를 논의하기 위해 깊은 인터넷을 사용하고 있습니다.

왜 평균 미국인은 깊은 인터넷을 사용 할 수 있습니다? 불법 활동에서 그것의 명성에도 불구 하 고 깊은 인터넷은 단순히 아무것도 간단한 구글 검색에 의해 액세스할 수 없습니다. 인터넷의 90%는 뎁 웹 사이트를 통해서만 액세스 할 수 있습니다. 토르 자체를 사용하는 것은 불법이 아니며 많은 딥 웹 웹 사이트에서 진행되는 것도 아닙니다. 유일한 불법 행위는 현실 세계에서 불법이 될 것입니다. 딥 웹에서는 희귀하고 금지 된 책을 찾고,찾기 어려운 뉴스를 읽고,심지어 팬 픽션을 읽을 수 있습니다. 인터넷의 와일드 웨스트의 아이디어는 다시 깊은 웹을 사용하여 살아있다.

보이지 않는 콘텐츠에 액세스하고 검색하는 방법

일반적인 방법으로 사이트에 액세스 할 수없는 경우 실제 페이지가 아닌 경우 콘텐츠에 액세스 할 수있는 방법이 여전히 있습니다. 이외에도 토르와 같은 소프트웨어에서,가능한 대학 및 연구 시설과 같은 깊은 웹 콘텐츠를 볼 수 있도록 할 엔티티의 숫자가 있습니다.

보이지 않거나 보이지 않아야 하는 보이지 않는 콘텐츠의 경우,여전히 여러 가지 접근 방법이 있습니다:

회원 가입

기록,연구 및 동료 검토 저널에 대한 액세스를 제공하는 전문가 또는 연구 협회에 가입하십시오.고용주를 통해 가상 사설망 액세스 권한 요청

액세스 요청;이는 무료 등록만큼 간단할 수 있습니다.

구독 서비스

정기 간행물 또는 지원하고자 하는 기타 리소스에 대한 구독료를 지불합니다.

적절한 리소스 찾기

보이지 않는 웹 디렉토리,포털 또는 구글 북 검색이나 사서의 인터넷 색인과 같은 특수 검색 엔진을 사용하십시오.

교육에서 딥 웹 사용

그렇다면 교육자로서 당신은 어디에서 들어 옵니까? 깊은 웹은 그렇지 않으면 간단한 구글 검색을 통해 액세스 할 수없는 정보를 찾을 수 있습니다,그것은 당신의 학생 및 동료에게 헤아릴 수 없을 정도로 유용 증명할 수 있습니다.

사람들이 이해하지 못하는 것은 정확히 깊은 웹 정보를 구성하는 것입니다. 단지 대학 도서관 웹 사이트를 통해 액세스 할 수있는 저널과 책은 검색 엔진을 통해 검색 할 수있는 기능을 해제 한 구글뿐만 아니라 사이트를 통해 찾을 수 없습니다. 방화벽이 필요 학생들을 위해,깊은 웹 웹 사이트에서 검색 할 수있는 기능은 학교 및 이후 유용한 도구가된다.

학생들에게 숨겨진 검색 엔진을 찾는 데 사용하고,이를 통해 어떤 종류의 정보를 찾을 수 있는지 보여줍니다. 고정 관념을 치고 깊은 웹 검색의 사용을 보여주는 것은 학생들을위한 흥미로운 전망이다—그들은 인터넷이 너무 많은 소셜 미디어와 그들이 학교 프로젝트와 에세이에 사용하는 데 사용되는 일반적인 구글이나 야후 검색보다 큰 것을 볼 수 있습니다. 귀하의 지역 도서관은 수많은 구글 검색 가능한 정보의 원천이 될 수 있으며,귀하의 도서관을 통해 다음과 같은 출처를 활용할 수 있습니다. 제인 디바인과 프랜신 에거 사이더에 의해 학습과 교육에 보이지 않는 웹:깊은 웹 소스를 사용하는 방법에 대한 자세한 내용은 구글 넘어 책을 확인하십시오.

보이지 않는 웹 검색 도구

보이지 않는 콘텐츠를 찾는 데 도움이되는 보이지 않는 웹 검색 도구(디렉토리,포털,엔진)의 작은 샘플입니다. 이 같은 자세한 내용을 보려면,구글 기사를 넘어 우리의 연구를 봐 주시기 바랍니다.

딥 웹 검색 엔진 목록

퍼듀 올빼미의 자원은 보이지 않는 웹을 검색

예술

뮤지 뒤 루브르

온라인 도서

온라인 도서 페이지

경제 및 작업 데이터

FreeLunch.com

금융 및 투자

은행 금리.미국 정부 간행물의 카탈로그

정부 데이터