boty

Co to są boty

Bot internetowy to aplikacja, która uruchamia zautomatyzowane zadania przez internet. Zadania wykonywane przez boty są zazwyczaj proste i wykonywane w znacznie wyższym tempie w porównaniu do ludzkiej aktywności w Internecie.

niektóre boty są legalne—na przykład Googlebot jest aplikacją używaną przez Google do indeksowania internetu i wyszukiwania. Inne boty są złośliwe—na przykład boty używane do automatycznego skanowania stron internetowych w poszukiwaniu luk w oprogramowaniu i wykonywania prostych wzorców ataków.,

Co To jest Botnet

istnieje wiele rodzajów złośliwego oprogramowania, które infekują urządzenia użytkowników końcowych, w celu włączenia ich do botnetu. Każde zainfekowane urządzenie zaczyna komunikować się z Centrum Dowodzenia i kontroli (C&C) i może wykonywać zautomatyzowane czynności pod centralną kontrolą atakującego.

wiele podmiotów zajmujących się zagrożeniami aktywnie angażuje się w tworzenie ogromnych botnetów, z których największe obejmują miliony komputerów., Często botnet może się rozwijać, na przykład za pomocą zainfekowanych urządzeń do wysyłania spamu, który może zainfekować więcej maszyn.

właściciele botnetów używają ich do ataków typu Denial of Service (DDoS) na dużą skalę. Botnety mogą być również używane do innych złośliwych działań botów, takich jak spam boty lub boty społecznościowe (opisane poniżej), aczkolwiek na znacznie większą skalę.

rodzaje botów

istnieje wiele rodzajów botów aktywnych w Internecie, zarówno legalnych, jak i złośliwych. Poniżej znajduje się kilka typowych przykładów.,

Spider Bots

Spider bots, znany również jako web spiders lub crawlers, przegląda sieć, śledząc hiperłącza, w celu pobierania i indeksowania treści internetowych. Pająki pobierają HTML i inne zasoby, takie jak CSS, JavaScript i obrazy, i używają ich do przetwarzania treści witryny.

Jeśli masz dużą liczbę stron internetowych, możesz umieścić robotów.plik txt w katalogu głównym serwera WWW i instrukcje dla botów, określając, które części witryny mogą indeksować i jak często.,

Scraper Bots

Scrapery to boty, które odczytują dane ze stron internetowych w celu zapisania ich w trybie offline i umożliwienia ich ponownego wykorzystania. Może to przybrać formę skrobania całej zawartości stron internetowych lub skrobania treści internetowych w celu uzyskania konkretnych punktów danych, takich jak nazwy i ceny produktów na stronach e-commerce.

skrobanie stron internetowych jest szarą strefą-w niektórych przypadkach skrobanie jest legalne i może być dozwolone przez właścicieli witryn. W innych przypadkach operatorzy botów mogą naruszać warunki korzystania z witryny lub, co gorsza, wykorzystywać skrobanie do kradzieży wrażliwych lub chronionych prawem autorskim treści.,

Spam Bots

spambot jest aplikacją internetową przeznaczoną do zbierania adresów e-mail dla list spamowych. Bot spamowy może zbierać wiadomości e-mail ze stron internetowych, serwisów społecznościowych, firm i organizacji, wykorzystując charakterystyczny format adresów e-mail.

Po zebraniu dużej listy adresów e—mail napastnicy mogą używać ich nie tylko do wysyłania spamu, ale także do innych nikczemnych celów:

• cracking poświadczeń-parowanie wiadomości e-mail ze wspólnymi hasłami w celu uzyskania nieautoryzowanego dostępu do kont.,
• formularz spam—automatyczne wstawianie spamu, takiego jak reklamy lub linki złośliwego oprogramowania, do formularzy na popularnych stronach internetowych, zazwyczaj formularzy komentarzy lub opinii.

oprócz bezpośrednich szkód wyrządzonych użytkownikom końcowym i organizacjom dotkniętym kampaniami spamowymi, boty spamowe mogą również Dławić przepustowość serwera i zwiększać koszty dla dostawców usług internetowych (ISP).

boty w mediach społecznościowych

boty są obsługiwane w sieciach społecznościowych i używane do automatycznego generowania wiadomości, promowania pomysłów, działania jako obserwator użytkowników i jako fałszywe konta, aby zdobyć obserwujących., Szacuje się, że 9-15% kont na Twitterze To boty społecznościowe.

boty społeczne mogą być wykorzystywane do infiltracji grup ludzi i propagowania konkretnych idei. Ponieważ nie ma ścisłych przepisów regulujących ich działalność, boty społeczne odgrywają ważną rolę w opinii publicznej online.

boty społecznościowe mogą tworzyć fałszywe konta (chociaż staje się to coraz trudniejsze, gdy sieci społecznościowe stają się bardziej wyrafinowane), wzmacniać wiadomość operatora bota i generować fałszywych obserwatorów/polubień., Trudno jest zidentyfikować i złagodzić boty społeczne, ponieważ mogą one wykazywać bardzo podobne zachowania do rzeczywistych użytkowników.

Download Bots

Download bots to zautomatyzowane programy, które mogą być używane do automatycznego pobierania oprogramowania lub aplikacji mobilnych. Mogą być używane do wpływania na statystyki pobierania, na przykład do uzyskiwania większej liczby pobrań w popularnych sklepach z aplikacjami i pomagania nowym aplikacjom dostać się na szczyt Wykresów. Mogą być również używane do atakowania stron pobierania, tworząc fałszywe pliki do pobrania jako część ataku DoS (Denial of Service) warstwy aplikacji.,

boty biletowe

boty biletowe są zautomatyzowanym sposobem zakupu biletów na popularne wydarzenia, w celu odsprzedaży tych biletów dla zysku. Działalność ta jest nielegalna w wielu krajach, a nawet jeśli nie jest zabroniona przez prawo, jest uciążliwa dla organizatorów imprez, sprzedawców biletów i konsumentów.

boty biletowe są zazwyczaj bardzo wyrafinowane, naśladując te same zachowania, co ludzie kupujący bilety. W wielu domenach sprzedaży biletów odsetek biletów zakupionych przez zautomatyzowane boty waha się pomiędzy 40-95%.,

jak wykryć ruch botów w Web Analytics

Poniżej przedstawiono kilka parametrów, których można użyć do ręcznego sprawdzania analizy internetowej, aby wykryć ruch botów uderzających w stronę internetową:

• Trendy ruchu—nieprawidłowe skoki ruchu mogą wskazywać na boty uderzające w stronę. Jest to szczególnie ważne, jeśli ruch odbywa się w nieparzystych godzinach.
• współczynnik odrzuceń—nienormalne wzloty lub upadki mogą być oznaką złych botów. Na przykład boty, które trafią na określoną stronę w witrynie, a następnie przełącznik IP, będą miały 100% odbicia.,
• źródła ruchu-podczas złośliwego ataku głównym kanałem wysyłającym ruch jest Ruch „bezpośredni”, a ruch będzie składał się z nowych użytkowników i sesji.
• wydajność serwera—spowolnienie wydajności serwera może być oznaką botów.
• podejrzane adresy IP / geo-lokalizacje—wzrost aktywności do nieznanego zakresu adresów IP lub regionu, w którym nie prowadzi się działalności gospodarczej.
  podejrzane trafienia z pojedynczych IP—duża liczba trafień z jednego IP. Ludzie zazwyczaj żądają kilku stron, a nie innych, podczas gdy boty często żądają wszystkich stron.,
• Źródła językowe-wyświetlanie trafień z innych języków, których klienci zazwyczaj nie używają.

wszystkie powyższe są tylko przybliżonymi wskaźnikami aktywności bota. Pamiętaj, że wyrafinowane złośliwe boty mogą generować realistyczny, podobny do użytkownika podpis w analityce internetowej. Wskazane jest użycie dedykowanego rozwiązania do zarządzania botami, które zapewnia pełny wgląd w ruch botów.

Jak zatrzymać ruch botów: podstawowe środki łagodzące

istnieje kilka prostych środków, które możesz podjąć, aby zablokować przynajmniej niektóre boty i zmniejszyć ekspozycję na złe boty:

• umieść roboty.,txt w katalogu głównym Twojej witryny, aby określić, które boty mogą uzyskać dostęp do twojej witryny. Pamiętaj, że jest to skuteczne tylko do zarządzania wzorcami indeksowania legalnych botów i nie chroni przed złośliwą aktywnością botów.
• dodawaj przy rejestracji, komentuj lub pobieraj formularze. Wielu wydawców i stron premium umieszcza, aby zapobiec pobieraniu lub spamowaniu botów.
• Ustaw alert JavaScript, aby powiadomić Cię o ruchu botów. JavaScript kontekstowy może działać jako brzęczyk i ostrzegać cię, gdy tylko zobaczy bota lub podobny element wchodzący do witryny.,

jak boty unikają wykrycia?

technologia botów ewoluowała w ciągu ostatniej dekady. Pierwotnie boty były skryptem uderzającym w stronę internetową w celu pobrania danych lub wykonania akcji. Skrypty te nie akceptują plików cookie i nie analizują JavaScript, dzięki czemu są bardzo łatwe do wykrycia.

z czasem boty stały się bardziej wyrafinowane, akceptując pliki cookie i analizując JavaScript, ale nadal można je wykryć dość łatwo, ponieważ używały dynamicznych elementów strony mniej niż ludzie użytkownicy.,

kolejną ewolucją było użycie bezgłośnych przeglądarek, takich jak PhantomJS—mogą one przetwarzać zawartość strony w całości. Chociaż te przeglądarki są bardziej wyrafinowane niż podstawowe boty, przeglądarki bezgłowe nadal nie mogą wykonywać wszystkich działań, które mogą wykonywać prawdziwi użytkownicy.

najbardziej zaawansowane typy botów są oparte na przeglądarce Chrome i są prawie nie do odróżnienia od prawdziwych użytkowników. Boty te symulują nawet ludzką aktywność, taką jak klikanie elementów na stronie.

zaawansowane techniki łagodzenia Botăłw

wraz z rozwojem botów rozwijaĺ ' y siÄ ™ takĹźe techniki łagodzenia Botăłw., Obecnie istnieją trzy techniczne podejścia do wykrywania i łagodzenia złych botów:

• podejście statyczne—narzędzia analizy statycznej mogą identyfikować żądania sieciowe i informacje nagłówka skorelowane ze złymi botami, biernie określając tożsamość bota i blokując go w razie potrzeby.
• podejście oparte na wyzwaniach – możesz wyposażyć swoją stronę w możliwość proaktywnego sprawdzania, czy ruch pochodzi od ludzkich użytkowników lub botów. Wykrywacze botów oparte na wyzwaniach mogą sprawdzić zdolność każdego odwiedzającego do korzystania z plików cookie, uruchamiania JavaScript i interakcji z elementami., Zmniejszona zdolność do przetwarzania tego typu elementów jest oznaką ruchu botów.
• podejście behawioralne – behawioralny mechanizm łagodzenia botów sprawdza podpis behawioralny każdego odwiedzającego, aby sprawdzić, czy jest tym, za kogo się podaje. Funkcja behawioral Bot mitigation ustanawia linię bazową normalnego zachowania agentów użytkowników, takich jak Google Chrome, i sprawdza, czy bieżący użytkownik odbiegł od tego zachowania. Może również porównywać podpisy behawioralne do poprzednich, znanych podpisów złych botów.,

łącząc te trzy podejścia, możesz pokonać boty wymijające wszystkich typów i skutecznie oddzielić je od ruchu ludzi. Możesz korzystać z tych metod niezależnie lub możesz polegać na usługach łagodzenia botów, aby wykonać techniki za Ciebie.

Bot mitigation services to zautomatyzowane narzędzia, które wykorzystują powyższe metody do identyfikacji botów. Usługi te mogą być używane do monitorowania ruchu API i wykrywania, czy jest to legalny ruch maszyny lub złe boty „dojące” API.,

Advanced bot mitigation services używa ograniczenia szybkości dla każdego żądającego klienta lub maszyny, zamiast całego adresu IP, pozwalając mu na ograniczenie indeksowania od złych botów. Po zidentyfikowaniu bota usługi te mogą rozpowszechniać informacje w sieci, aby ten sam bot nie mógł ponownie uzyskać dostępu do witryny lub API.

Zarządzanie botami Imperva

rozwiązanie do zarządzania botami Imperva wykorzystuje wszystkie trzy opisane powyżej podejścia—statyczne, oparte na wyzwaniach i oparte na zachowaniu-w celu zbadania każdego odwiedzającego na twojej stronie, czy to człowieka, czy nie, i dopasowania go do identyfikatora behawioralnego. Może skutecznie chronić przed złośliwymi botami, zapewniając jednocześnie, że uzasadnione boty i Użytkownicy mają nieprzerwany dostęp do witryny.,

Imperva Bot Management: detection methods and response options

oprócz pomocy w łagodzeniu złych działań botów, Imperva zapewnia wielowarstwową ochronę, aby upewnić się, że strony internetowe i aplikacje są dostępne, łatwo dostępne i bezpieczne. Rozwiązanie Imperva application security obejmuje:

• API security—chroni interfejsy API przed botami i atakującymi ludźmi, zapewniając, że tylko żądany ruch może uzyskać dostęp do punktu końcowego API, a także wykrywając i blokując exploity luk.,
• Ochrona przed atakami DDoS-utrzymuj czas działania w każdej sytuacji. Zapobiegaj wszelkim rodzajom ataków DDoS, o dowolnej wielkości, uniemożliwiającym dostęp do twojej witryny i infrastruktury sieciowej.
• CDN-zwiększ wydajność witryny i zmniejsz koszty przepustowości dzięki CDN zaprojektowanemu dla programistów. Buforuj statyczne zasoby na krawędzi, przyspieszając interfejsy API i dynamiczne witryny internetowe.
• Zapora aplikacji WWW-zezwala na legalny ruch i zapobiega złym ruchom. Zabezpiecz swoje aplikacje na krawędzi dzięki chmurze WAF klasy korporacyjnej.,
• zgrzyt-Zabezpiecz swoje aplikacje przed znanymi i atakami zero-day. Szybka i dokładna Ochrona bez sygnatury i trybu uczenia się.
• Ochrona przed przejęciem konta-wykorzystuje intencyjny proces wykrywania w celu identyfikacji i ochrony przed próbami przejęcia kont użytkowników w złośliwych celach.