로봇

것은 로봇

인터넷 로봇은 소프트웨어 응용 프로그램으로 실행되는 자동화된 작업입니다. 봇에 의해 실행되는 작업은 일반적으로 간단하고 인간의 인터넷 활동에 비해 훨씬 더 높은 속도로 수행됩니다.

로봇은 합법적인 예를 들어,Googlebot 응용 프로그램을 사용하여 Google 크롤링과 인터넷 색인을 위해 그것을 검색합니다. 다른 로봇은 악성—예를 들어,로봇을 사용하여 자동으로 스캔 웹사이트에 대한 소프트웨어의 취약성 및 실행 단순한 공격 패턴이 있습니다.,

봇넷이란 무엇입

의 많은 종류가 있는 악성 코드 감염을 최종 사용자 기기의 목적은 참으로 그들을됩니다. 하는 모든 장치가 감염된 통신을 시작합으로 명령 및 제어(C&C)중앙 및 수행할 수 있는 자동화된 활동에서 공격자의 중앙 제어합니다.

많은 위협 행위자들은 수백만 대의 컴퓨터에 걸쳐 가장 큰 봇넷을 구축하는 데 적극적으로 참여하고 있습니다., 종종 파괴하여 심각한 손상을 일으킬 수 있는 성장 자체를 이용하여 예를 들어,감염된 장치 스팸 메일을 발송하는 이메일 수 있는 감염 더 많은 기계입니다.

봇넷 소유자는 대규모 악성 활동,일반적으로 DDoS(Distributed Denial Of Service)공격에 사용합니다. 봇넷에도 사용할 수 있는 다른 악의적 활동 로봇,이러한 스팸으로 로봇이나 소셜 로봇(아래에 설명),이기는 하지만 훨씬 큰 규모입니다.

봇의 종류

합법적이고 악의적 인 인터넷에서 활동하는 많은 유형의 봇이 있습니다. 다음은 몇 가지 일반적인 예입니다.,

스파이더 봇

Spider 로봇으로도 알려진 웹미나 크롤러,웹을 검색하여 다음과 같은 하이퍼링크를 목적으로,의 검색 및 인덱싱 웹 콘텐츠입니다. Spiders 는 CSS,JavaScript 및 이미지와 같은 HTML 및 기타 리소스를 다운로드하여 사이트 콘텐츠를 처리하는 데 사용합니다.많은 수의 웹 페이지가있는 경우 로봇을 배치 할 수 있습니다.txt 파일의 루트에서 당신의 웹 서버 및 지침을 제공하여 로봇을 지정하여 사이트의 어떤 부분이 그들이 크롤링할 수 있습니다,얼마나 자주 합니다.,

스크레이퍼 봇

구가 로봇에서 데이터를 읽 웹사이트의 목적으로 저장하는 오프라인 활성화 및 그들의 재사용할 수 있습니다. 이 형태를 취할 수 있습니다 긁고의 전체 내용을 웹 페이지를 긁어 웹 콘텐츠를 얻은 특정 데이터 포인트,같은 이름과 가격에 제품의 전자 상거래 사이트입니다.

웹 스크래핑은 회색 영역입니다-경우에 따라 스크래핑은 합법적이며 웹 사이트 소유자가 허용 할 수 있습니다. 다른 경우에는,로봇할 수 있습니다 위반 웹사이트 이용 약관,또는 나쁜—활용하여 긁어를 훔치는 민감한 또는 저작권 보호 콘텐츠.,

스팸 봇

스팸봇은 스팸 메일 링리스트에 대한 이메일 주소를 수집하도록 설계된 인터넷 응용 프로그램입니다. 스팸봇 수집할 수 있는 웹사이트에서 이메일,소셜 미디어 웹 사이트,기업과 조직을 활용,독특한 형식의 전자 메일 주소입니다.

후 공격자를 축적했 큰 이메일 주소 목록,그들은 그들을 사용할 수 있지만 스팸 메일을 보낼 이메일,하지만 또한 다른 목적으로 사악한다.

• 자격증명을 균열이 되어 이메일에 암호를 일반적인을 무단 액세스 계정이다.,
• 양식 스팸 자동으로 삽입하는 스팸,이러한 광고와 같거나 악성 코드 링크 양식에서 인기있는 웹 사이트 일반적으로 의견 또는 의견을 형성한다.

에서 직접 발생하는 손해 최종 사용자와 조직의 영향을 받는 스팸 캠페인,스팸봇한 초크 대역폭과 서버의 증가 비용한 인터넷 서비스 업체(Isp).

소셜 미디어 봇

로봇 운영 소셜 미디어 네트워크를 사용하여 자동으로 메시지를 생성하고,옹호하는 아이디어,행위의 추종자로 사용자,그리고로 가짜 계정을 얻는 추종자들., 트위터 계정의 9-15%가 소셜 봇인 것으로 추산됩니다.

소셜 봇은 사람들의 그룹에 침투하는 데 사용하고 특정 아이디어를 전파하는 데 사용할 수 있습니다. 그들의 활동을 규율하는 엄격한 규제가 없기 때문에 소셜 봇은 온라인 여론에서 중요한 역할을합니다.

소셜 로봇을 만들 수 있는 가짜 계정(하지만 이것은 더 어려워지고 있으로 소셜 네트워크를 더 세련되고있다),증폭 로봇 운영자의 메시지를 생성 가짜 추종자/습니다., 실제 사용자와 매우 유사한 동작을 나타낼 수 있기 때문에 소셜 봇을 식별하고 완화하기가 어렵습니다.

다운로드 로봇

다운로드 로봇 자동화 프로그램을 사용할 수 있는 자동으로 다운로드 소프트웨어 또는 모바일 앱입니다. 그들이 사용할 수 있는 영향을 다운로드 통계,예를 들어를 얻 더 다운로드에서 인기있는 응용 프로그램점과 데 도움이 새로운 앱을 차트. 또한 다운로드 사이트를 공격하여 dos(application-layer Denial Of Service)공격의 일부로 가짜 다운로드를 만들 수 있습니다.,

발권 봇

발권 봇은 이익을 위해 해당 티켓을 재판매하는 목적으로 인기있는 이벤트 티켓을 구매하는 자동화 된 방법입니다. 이 활동은 많은 국가에서 불법,그리고 심지어는 경우 법에 의해 금지되지 않은,그것은 두통이 이벤트 주최자,티켓 판매자와 소비자 있습니다.

발권 봇은 인간 티켓 구매자와 동일한 행동을 모방하여 매우 정교한 경향이 있습니다. 많은 발권 도메인에서 자동화 된 봇이 구매 한 티켓의 비율은 40-95%사이입니다.,

을 감지하는 방법 로봇 트래픽에 Web Analytics

다음은 몇 개의 매개변수에서 사용할 수 있는 수동 검사 웹 분석 검출하는,로봇 트래픽을 치는 웹 사이트:

• 트래픽을 트렌드—비정상적인 스파이크에서 트래픽을 나타낼 수 있습 로봇을 타격 사이트입니다. 특히 홀수 시간 동안 트래픽이 발생하는 경우 특히 그렇습니다.
• 반송 률-비정상적인 최고 또는 최저치는 나쁜 봇의 징후 일 수 있습니다. 예를 들어 사이트의 특정 페이지에 충돌 한 다음 IP 를 전환하는 봇은 100%바운스 된 것으로 나타납니다.,
• 트래픽 소스 중에는 악의적인 공격,기본 채널 트래픽을 전송이’직접’소통량 및 트래픽으로 구성됩니다 새로운 사용자와 세션이 있습니다.
• 서버 성능-서버 성능의 둔화는 봇의 징조 일 수 있습니다.
• 의심스러운 IPs/지리적 위치-알 수없는 IP 범위 또는 사업을하지 않는 지역으로의 활동 증가.
  단일 Ip 의 의심스러운 조회수—단일 IP 의 많은 조회수. 인간은 일반적으로 다른 페이지가 아닌 몇 페이지를 요청하는 반면 봇은 종종 모든 페이지를 요청합니다.,
• 언어 소스-고객이 일반적으로 사용하지 않는 다른 언어의 히트를 봅니다.

위의 모든 내용은 봇 활동의 대략적인 지표 일뿐입니다. 정교한 악성 봇이 웹 분석에서 사실적이고 사용자와 같은 서명을 생성 할 수 있다는 점에 유의하십시오. 봇 트래픽의 전체 가시성을 제공하는 전용 봇 관리 솔루션을 사용하는 것이 좋습니다.

를 중지하는 방법 로봇 트:기본적인 완화 조치

거기에 몇 가지 간단한 조치를 취할 수 있습니다 차단하는 적어도 일부는 로봇에의 노출을 줄이기 위해 나쁜 로봇:

• 장소는 로봇입니다.,귀하의 웹 사이트에 액세스 할 수있는 봇을 정의하기 위해 귀하의 웹 사이트의 루트에 txt. 명심하십시오,이것은 합법적 인 봇의 크롤링 패턴을 관리하는 데만 효과적이며 악의적 인 봇 활동으로부터 보호하지 않습니다.
• 가입,댓글 또는 다운로드 양식에 추가하십시오. 많은 게시자와 프리미엄 웹 사이트는 다운로드 또는 스팸 봇을 방지하기 위해 배치합니다.
• 자바 스크립트 경고를 설정하여 봇 트래픽을 알립니다. 는 상황에서 자바스크립트 장소로 행동할 수 있는 초인종을 경고 때마다 당신은 그것을 볼 로봇 또는 이와 유사한 요소를 입력합니다.,

봇은 어떻게 탐지를 회피합니까?

봇 기술은 지난 10 년간 발전해 왔습니다. 원래 봇은 데이터를 검색하거나 작업을 수행하기 위해 웹 사이트를 치는 스크립트였습니다. 이 스크립트는 쿠키를 허용하지 않으며 자바 스크립트를 구문 분석하지 않아 매우 쉽게 감지 할 수 있습니다.

통해 시간이 로봇 더 정교한,쿠키를 허용하고 분석 자바스크립트,하지만 그들은 여전히 발견되기 때문에 아주 쉽게 그들이 사용하는 동적인 웹사이트의 요소보다 인간적인 사용자.,

다음 진화는 PhantomJS 와 같은 헤드리스 브라우저의 사용이었습니다.이 브라우저는 웹 사이트 콘텐츠를 전체적으로 처리 할 수 있습니다. 이러한 브라우저에서 보다 더 정교한 기본적인 로봇,머리 브라우저가 아직 없다면 모든 작업을 수행할 수 있는 실제 사용 할 수 있습니다.

가장 진보 된 유형의 봇은 Chrome 브라우저를 기반으로하며 실제 사용자와 거의 구별 할 수 없습니다. 이러한 봇은 심지어 온 페이지 요소를 클릭하는 것과 같은 인간 활동을 시뮬레이션합니다.

고급 봇 완화 기술

봇이 진화함에 따라 완화 기술도 마찬가지였습니다., 가 현재 세 개의 기술적인 접근을 검출하고 완화하는 나쁜 로봇:

• 정적 접근—정적 분석 도구를 식별할 수 있는 웹 요청과 헤더 정보와 상관이 나쁜 로봇,수동적으로 결정하는 로봇의 정체성,그리고 그것을 차단하는 경우 필요합니다.
• 과제-기반 접근법을 갖출 수 있습으로 귀하의 웹사이트하는 기능을 사전에 확인하는 경우 트래픽에서 유래 인간 또는 사용자 합니다. 챌린지 기반 봇 탐지기는 쿠키를 사용하고 자바 스크립트를 실행하며 요소와 상호 작용하는 각 방문자의 능력을 확인할 수 있습니다., 이러한 유형의 요소를 처리 할 수있는 능력이 감소하면 봇 트래픽의 징조입니다.
• 행동 접근—행동 로봇 완화 메커니즘에서 보이는 행동을 서명의 각 방문자를 보면 그것이 무엇을 주장을 합니다. 행동 완화 로봇을 설정하는 기준의 정상적인 동작을 위한 사용자 에이전트 구글 크롬,그리고 보면 현재 사용자에서 벗어나는 동작입니다. 또한 행동 서명을 나쁜 봇의 이전 알려진 서명과 비교할 수 있습니다.,

세 가지 접근 방식을 결합하여 모든 유형의 회피 봇을 극복하고 인간 트래픽과 성공적으로 분리 할 수 있습니다. 이러한 접근 방식을 독립적으로 사용하거나 봇 완화 서비스에 의존하여 기술을 수행 할 수 있습니다.

봇 완화 서비스는 위의 방법을 사용하여 봇을 식별하는 자동화 된 도구입니다. 이러한 서비스 모니터링하는 데 사용할 수 있습 API 트래픽을 감지하는 경우 그것은 합법적인 기계는 트래픽이나 나쁜 로봇”짜는”당신의 API 를 사용합니다.,

진보된 로봇 완화 서비스 사용률을 제한하기 위한 각 요청하는 클라이언트 또는 기계에 대한 전체 IP 할 수 있도록 제한하는 크롤링에서 나쁜 얻을 것입니다. 봇이 식별되면 이러한 서비스는 네트워크를 통해 정보를 전파하여 동일한 봇이 사이트 또는 API 에 다시 액세스 할 수 없도록 할 수 있습니다.

Imperva 로봇 Management

Imperva 의 로봇 관리 솔루션을 사용하여 모든 세 가지 방법 위에 덮여 정적 도전,기반과 행동 기반을 조사하고 각 귀하의 사이트에 방문자는지 여부,인간 또는지,그리고 경기에 그것을 행동 ID 입니다. 합법적 인 봇과 인간 사용자가 귀하의 사이트에 중단없이 액세스 할 수 있도록 보장하면서 악의적 인 봇으로부터 효과적으로 보호 할 수 있습니다.,

Imperva 로봇 관리:검색 방법 및 응답 옵션

도움뿐만 아니라 완화하는 나쁜 로봇의 활동,Imperva 제공합 다층 보호하는지 확인 웹사이트 및 애플리케이션은 쉽게 접근 할 수 있고 안전합니다. 의 퍼바 애플리케이션 디 보안 솔루션이 포함됩니다:

• API 보안을 보호하 Api 에서 로봇과 인간의 공격에 의해 손님들만을 원하는 트래픽에 액세스할 수 있는 API 를 끝점뿐만 아니라,감지하고 차단하는 공격의 취약성을 검사합니다.,
• DDoS 보호-모든 상황에서 가동 시간을 유지합니다. 모든 유형의 DDoS 공격을 막아 웹 사이트 및 네트워크 인프라에 액세스하지 못하게합니다.
• CDN-개발자를 위해 설계된 CDN 으로 웹 사이트 성능을 향상시키고 대역폭 비용을 줄입니다. Api 및 동적 웹 사이트를 가속화하면서 에지에서 정적 리소스를 캐시합니다.
• 웹 응용 프로그램 방화벽-합법적 인 트래픽을 허용하고 잘못된 트래픽을 방지합니다. 엔터프라이즈급 클라우드 WAF 로 엣지에서 애플리케이션을 보호하십시오.,
• RASP-알려진 공격 및 제로 데이 공격에 대해 응용 프로그램을 안전하게 유지하십시오. 서명 또는 학습 모드가없는 빠르고 정확한 보호.
• 계정을 인수 보호—사용하는 의도는 기반 검출 프로세스를 식별하고해에 대한 방어를 위해 사용자의 계정에 대한 악의적인 목적이다.리>