Bots (Deutsch)

Was sind Bots

Ein Internet-Bot ist eine Softwareanwendung, die automatisierte Aufgaben über das Internet ausführt. Aufgaben, die von Bots ausgeführt werden, sind in der Regel einfach und werden im Vergleich zu menschlichen Internetaktivitäten mit einer viel höheren Rate ausgeführt.

Einige Bots sind legitim—zum Beispiel ist Googlebot eine Anwendung, die von Google verwendet wird, um das Internet zu crawlen und für die Suche zu indizieren. Andere Bots sind böswillig—zum Beispiel Bots, mit denen Websites automatisch auf Software-Schwachstellen gescannt und einfache Angriffsmuster ausgeführt werden.,

Was ist ein Botnetz

Es gibt viele Arten von Malware, die Endbenutzergeräte infizieren, mit dem Ziel, sie in ein Botnetz einzubinden. Jedes Gerät, das infiziert wird, beginnt mit der Kommunikation mit einem Command and Control (C&C) Center und kann automatisierte Aktivitäten unter der zentralen Kontrolle des Angreifers ausführen.

Viele Bedrohungsakteure sind aktiv am Aufbau massiver Botnetze beteiligt, von denen die größten Millionen von Computern umfassen., Oft kann sich das Botnetz selbst vergrößern, indem beispielsweise infizierte Geräte zum Versenden von Spam-E-Mails verwendet werden, die mehr Maschinen infizieren können.

Botnet-Besitzer verwenden sie für groß angelegte bösartige Aktivitäten, häufig verteilte Denial-of-Service (DDoS) – Angriffe. Botnetze können auch für andere bösartige Bot-Aktivitäten wie Spam-Bots oder Social Bots (unten beschrieben) verwendet werden, wenn auch in viel größerem Maßstab.

Arten von Bots

Im Internet sind viele Arten von Bots aktiv, sowohl legitim als auch böswillig. Im Folgenden sind einige gemeinsame Beispiele.,

Spider Bots

Spider Bots, auch bekannt als Webspinnen oder Crawler, durchsuchen Sie das Web, indem Sie Hyperlinks folgen, mit dem Ziel, Webinhalte abzurufen und zu indizieren. Spider laden HTML und andere Ressourcen wie CSS, JavaScript und Bilder herunter und verarbeiten damit Websiteinhalte.

Wenn Sie eine große Anzahl von Webseiten haben, können Sie einen Roboter platzieren.txt-Datei im Stammverzeichnis Ihres Webservers und Anweisungen an Bots, die angeben, welche Teile Ihrer Website sie kriechen können, und wie häufig.,

Scraper-Bots

Scraper sind Bots, die Daten von Websites lesen, um sie offline zu speichern und ihre Wiederverwendung zu ermöglichen. Dies kann in Form von Scraping des gesamten Inhalts von Webseiten oder Scraping von Webinhalten erfolgen, um bestimmte Datenpunkte zu erhalten, z. B. Namen und Preise von Produkten auf E-Commerce-Websites.

Web Scraping ist eine Grauzone-in einigen Fällen ist Scraping legitim und kann von Website-Eigentümern erlaubt sein. In anderen Fällen verletzen Bot-Betreiber möglicherweise die Nutzungsbedingungen der Website oder nutzen Scraping, um sensible oder urheberrechtlich geschützte Inhalte zu stehlen.,

Spam Bots

Ein Spambot ist eine Internet-Anwendung entwickelt, um E-Mail-Adressen für Spam-Mailinglisten zu sammeln. Ein Spam-Bot kann E-Mails von Websites, Social-Media-Websites, Unternehmen und Organisationen sammeln und dabei das unverwechselbare Format von E-Mail-Adressen nutzen.

Nachdem Angreifer eine große Liste von E-Mail-Adressen angehäuft haben, können sie diese nicht nur zum Senden von Spam—E-Mails verwenden, sondern auch für andere schändliche Zwecke:

• Credential Cracking-Pairing-E-Mails mit gängigen Passwörtern, um unbefugten Zugriff auf Konten zu erhalten.,
• Form Spam-automatisches Einfügen von Spam, wie Anzeigen oder Malware-Links, in Formulare auf beliebten Websites, in der Regel Kommentar oder Feedback-Formulare.

Abgesehen von den direkten Schäden, die Endnutzern und Organisationen durch Spam-Kampagnen entstehen, können Spam-Bots auch die Serverbandbreite ersticken und die Kosten für Internetdienstanbieter (ISPs) erhöhen.

Social-Media-Bots

Bots werden in Social-Media-Netzwerken betrieben und verwendet, um automatisch Nachrichten zu generieren, Ideen zu vertreten, als Follower von Benutzern und als gefälschte Konten zu fungieren, um selbst Follower zu gewinnen., Es wird geschätzt, dass 9-15% der Twitter-Konten Social Bots sind.

Social Bots können verwendet werden, um Gruppen von Menschen zu infiltrieren und bestimmte Ideen zu verbreiten. Da es keine strengen Vorschriften für ihre Aktivitäten gibt, spielen Social Bots eine wichtige Rolle in der öffentlichen Meinung im Internet.

Social Bots können gefälschte Konten erstellen (obwohl dies mit zunehmender Komplexität sozialer Netzwerke schwieriger wird), die Nachricht des Bot-Betreibers verstärken und gefälschte Follower/Likes generieren., Es ist schwierig, Social Bots zu identifizieren und zu mildern, da sie ein sehr ähnliches Verhalten wie echte Benutzer aufweisen können.

Download-Bots

Download-Bots sind automatisierte Programme, mit denen Software oder mobile Apps automatisch heruntergeladen werden können. Sie können verwendet werden, um Download-Statistiken zu beeinflussen, z. B. um mehr Downloads in beliebten App Stores zu erhalten und neuen Apps zu helfen, an die Spitze der Charts zu gelangen. Sie können auch verwendet werden, um Download-Sites anzugreifen und gefälschte Downloads als Teil eines DoS-Angriffs (Application-Layer Denial of Service) zu erstellen.,

Ticketing-Bots

Ticketing-Bots sind eine automatisierte Möglichkeit, Tickets für beliebte Veranstaltungen zu kaufen, mit dem Ziel, diese Tickets mit Gewinn weiterzuverkaufen. Diese Aktivität ist in vielen Ländern illegal, und selbst wenn sie nicht gesetzlich verboten ist, ist sie für Veranstalter, Ticketverkäufer und Verbraucher ein Ärgernis.

Ticketing-Bots sind in der Regel sehr anspruchsvoll und emulieren das gleiche Verhalten wie menschliche Ticketkäufer. In vielen Ticket-Domains liegt der Anteil der von automatisierten Bots gekauften Tickets zwischen 40 und 95%.,

So erkennen Sie Bot-Datenverkehr in der Webanalyse

Im Folgenden finden Sie einige Parameter, die Sie bei einer manuellen Überprüfung Ihrer Webanalysen verwenden können, um Bot—Datenverkehr auf einer Website zu erkennen:

• Verkehrstrends-abnormale Verkehrsspitzen können darauf hindeuten, dass Bots auf die Website treffen. Dies gilt insbesondere, wenn der Verkehr während ungeraden Stunden auftritt.
• Absprungrate-abnormale Hochs oder Tiefs können ein Zeichen für schlechte Bots sein. Zum Beispiel scheinen Bots, die eine bestimmte Seite auf der Site treffen und dann die IP wechseln, 100% Bounce zu haben.,
• Verkehrsquellen-Während eines bösartigen Angriffs ist der primäre Kanal, der Datenverkehr sendet,“ direkter “ Datenverkehr, und der Datenverkehr besteht aus neuen Benutzern und Sitzungen.
• Serverleistung—Eine Verlangsamung der Serverleistung kann ein Zeichen für Bots sein.
• Verdächtige IPs / Geo-Standorte – eine Zunahme der Aktivität auf einen unbekannten IP-Bereich oder eine Region, in der Sie keine Geschäfte tätigen.
  Verdächtige Treffer von einzelnen IPs—eine große Anzahl von Treffern aus einer einzigen IP. Menschen fordern normalerweise einige Seiten an und nicht andere, während Bots häufig alle Seiten anfordern.,
• Sprachquellen-Das Anzeigen von Treffern aus anderen Sprachen, die Ihre Kunden normalerweise nicht verwenden.

Alle Angaben sind nur grobe Indikatoren für die bot-Aktivität. Beachten Sie, dass ausgeklügelte bösartige Bots eine realistische, benutzerähnliche Signatur in Ihren Webanalysen generieren können. Es ist ratsam, eine dedizierte Bot-Management-Lösung zu verwenden, die eine vollständige Sichtbarkeit des Bot-Verkehrs bietet.

So stoppen Sie den Bot-Verkehr: Grundlegende Minderungsmaßnahmen

Es gibt einige einfache Maßnahmen, die Sie ergreifen können, um zumindest einige Bots zu blockieren und die Exposition gegenüber schlechten Bots zu verringern:

• Platzieren Sie Roboter.,geben Sie im Stammverzeichnis Ihrer Website an, welche Bots auf Ihre Website zugreifen dürfen. Beachten Sie, dass dies nur zum Verwalten der Crawling-Muster legitimer Bots wirksam ist und nicht vor böswilligen Bot-Aktivitäten schützt.
• Anmeldeformulare hinzufügen, kommentieren oder herunterladen. Viele Publisher und Premium-Websites legen Download oder Spam-Bots zu verhindern.
• Setzen Sie eine JavaScript-Warnung, um Sie über Bot-Verkehr zu informieren. Kontextbezogenes JavaScript kann als Summer fungieren und Sie warnen, wenn ein Bot oder ein ähnliches Element eine Website betritt.,

Wie umgehen Bots die Erkennung?

Die Bot-Technologie hat sich in den letzten zehn Jahren weiterentwickelt. Ursprünglich waren Bots ein Skript, das eine Website traf, um Daten abzurufen oder Aktionen auszuführen. Diese Skripte akzeptieren keine Cookies und haben JavaScript nicht analysiert, wodurch sie sehr leicht zu erkennen sind.

Im Laufe der Zeit wurden Bots ausgefeilter und akzeptierten Cookies und analysierten JavaScript, aber sie konnten immer noch recht leicht erkannt werden, da sie dynamische Website-Elemente weniger verwendeten als menschliche Benutzer.,

Die nächste Entwicklung war die Verwendung von Headless-Browsern wie PhantomJS—diese können Website-Inhalte in ihrer Gesamtheit verarbeiten. Obwohl diese Browser anspruchsvoller sind als grundlegende Bots, können Headless-Browser immer noch nicht alle Aktionen ausführen, die echte Benutzer ausführen können.

Die fortschrittlichsten Arten von Bots basieren auf dem Chrome-Browser und sind von echten Benutzern kaum zu unterscheiden. Diese Bots simulieren sogar menschliche Aktivitäten wie das Klicken auf Seitenelemente.

Fortgeschrittene Bot-Minderungstechniken

Als sich Bots entwickelten, auch Minderungstechniken., Derzeit gibt es drei technische Ansätze zur Erkennung und Minderung fehlerhafter Bots:

• Statischer Ansatz-Statische Analysetools können Webanforderungen und Header-Informationen identifizieren, die mit fehlerhaften Bots korrelieren, die Identität des Bots passiv bestimmen und bei Bedarf blockieren.
• Herausforderungsbasierter Ansatz-Sie können Ihre Website mit der Möglichkeit ausstatten, proaktiv zu überprüfen, ob der Datenverkehr von menschlichen Benutzern oder Bots stammt. Challenge-basierte Bot-Detektoren können die Fähigkeit jedes Besuchers überprüfen, Cookies zu verwenden, JavaScript auszuführen und mit Elementen zu interagieren., Eine reduzierte Fähigkeit, diese Art von Elementen zu verarbeiten, ist ein Zeichen für Bot-Verkehr.
• Behavioral Ansatz—eine Verhaltens-bot-mitigation-Mechanismus sieht auf der Verhaltens-Signatur jeder Besucher zu sehen wenn es ist, was es vorgibt zu sein. Behavioral Bot Mitigation legt eine Basis für normales Verhalten für Benutzeragenten wie Google Chrome fest und prüft, ob der aktuelle Benutzer von diesem Verhalten abweicht. Es kann auch Verhaltenssignaturen mit früheren, bekannten Signaturen von schlechten Bots vergleichen.,

Durch die Kombination der drei Ansätze können Sie ausweichende Bots aller Art überwinden und sie erfolgreich vom menschlichen Verkehr trennen. Sie können diese Ansätze unabhängig voneinander verwenden oder sich auf Bot Mitigation Services verlassen, um Techniken für Sie auszuführen.

Bot Mitigation Services sind automatisierte Tools, die die oben genannten Methoden verwenden, um Bots zu identifizieren. Diese Dienste können verwendet werden, um den API-Datenverkehr zu überwachen und festzustellen, ob es sich um legitimen Maschinenverkehr handelt oder ob fehlerhafte Bots Ihre API „melken“.,

Advanced Bot Mitigation Services verwenden eine Ratenbegrenzung für jeden anfragenden Client oder Computer anstelle einer gesamten IP, sodass das Crawlen von fehlerhaften Bots eingeschränkt werden kann. Sobald ein Bot identifiziert wurde, können diese Dienste die Informationen über das Netzwerk weitergeben, um sicherzustellen, dass derselbe Bot nicht mehr auf Ihre Site oder API zugreifen kann.

Imperva Bot Management

Die Bot Management—Lösung von Imperva verwendet alle drei oben behandelten Ansätze-statisch, herausforderungsbasiert und verhaltensbasiert -, um jeden Besucher auf Ihrer Website zu untersuchen, ob menschlich oder nicht, und passen Sie es mit einer Verhaltens—ID an. Es kann effektiv vor böswilligen Bots schützen und gleichzeitig sicherstellen, dass legitime Bots und menschliche Benutzer ununterbrochenen Zugriff auf Ihre Website haben.,

Imperva Bot Management: Methoden zur Aufdeckung und Reaktion Optionen

zusätzlich zu helfen zu mildern schlechten bot-Aktivität, Imperva bietet mehrschichtigen Schutz, um sicherzustellen, dass Webseiten und Anwendungen sind verfügbar, leicht zugänglich und sicher. Die Imperva-Anwendungssicherheitslösung umfasst:

• API-Sicherheit-Schützt APIs vor Bots und menschlichen Angreifern, indem sichergestellt wird, dass nur der gewünschte Datenverkehr auf Ihren API-Endpunkt zugreifen kann, und erkennt und blockiert Exploits von Schwachstellen.,
• DDoS-Schutz-Halten Sie die Betriebszeit in allen Situationen aufrecht. Verhindern Sie, dass jede Art von DDoS-Angriff jeglicher Größe den Zugriff auf Ihre Website und Netzwerkinfrastruktur verhindert.
• CDN-Verbessern Sie die Website-Leistung und reduzieren Sie Bandbreitenkosten mit einem CDN für Entwickler. Zwischenspeichern Sie statische Ressourcen am Rand, während Sie APIs und dynamische Websites beschleunigen.
• Web Application Firewall – Erlauben Sie legitimen Datenverkehr und verhindern Sie schlechten Datenverkehr. Schützen Sie Ihre Anwendungen mit einer Cloud‑WAF der Enterprise-Klasse am Rand.,
• RASP-Schützen Sie Ihre Anwendungen von innen gegen bekannte und Zero-Day-Angriffe. Schneller und genauer Schutz ohne Signatur oder Lernmodus.
• Account Takeover Protection – verwendet einen absichtsbasierten Erkennungsprozess zur Identifizierung und Abwehr von Versuchen, Benutzerkonten für böswillige Zwecke zu übernehmen.