Bots

Wat zijn Bots

een Internet bot is een software applicatie die geautomatiseerde taken over het internet uitvoert. Taken uitgevoerd door bots zijn meestal eenvoudig en uitgevoerd op een veel hoger tarief in vergelijking met menselijke internet activiteit.

sommige bots zijn legitiem – bijvoorbeeld Googlebot is een applicatie die door Google wordt gebruikt om het Internet te doorzoeken en te indexeren voor zoeken. Andere bots zijn kwaadaardig – bijvoorbeeld, bots gebruikt om automatisch websites te scannen op software kwetsbaarheden en uit te voeren eenvoudige aanval patronen.,

Wat is een Botnet

Er zijn vele soorten malware die apparaten van eindgebruikers infecteren, met als doel ze in een botnet te integreren. Elk apparaat dat geïnfecteerd raakt begint te communiceren met een Command and Control (C&C) centrum en kan geautomatiseerde activiteiten uitvoeren onder het centrale controle van de aanvaller.

veel dreigingsactoren zijn actief bezig met het bouwen van enorme botnets, waarvan de grootste miljoenen computers omvatten., Vaak kan het botnet zelf groeien, bijvoorbeeld door geà nfecteerde apparaten te gebruiken om spam e-mails te versturen, die meer machines kunnen infecteren.

botneteigenaren gebruiken ze voor grootschalige kwaadaardige activiteiten, algemeen gedistribueerde Denial of Service (DDoS) – aanvallen. Botnets kunnen ook worden gebruikt voor andere schadelijke bot activiteiten, zoals spam bots of sociale bots (hieronder beschreven), zij het op een veel grotere schaal.

soorten Bots

Er zijn veel soorten bots actief op het Internet, zowel legitiem als kwaadaardig. Hieronder staan een aantal veel voorkomende voorbeelden.,

Spider Bots

Spider bots, ook bekend als web spiders of crawlers, surfen op het web door het volgen van hyperlinks, met als doel het ophalen en indexeren van webinhoud. Spiders downloaden HTML en andere bronnen, zoals CSS, JavaScript en afbeeldingen, en gebruiken ze om inhoud van de site te verwerken.

als u een groot aantal webpagina ‘ s hebt, kunt u een robot plaatsen.txt-bestand in de root van uw webserver, en geef instructies aan bots, met vermelding van welke delen van uw site ze kunnen crawlen, en hoe vaak.,

Scraper Bots

Scrapers zijn bots die gegevens van websites lezen met als doel ze offline op te slaan en hergebruik mogelijk te maken. Dit kan de vorm aannemen van het schrapen van de volledige inhoud van webpagina ‘ s of het schrapen van webinhoud om specifieke gegevenspunten te verkrijgen, zoals namen en prijzen van producten op e-commerce sites.

Web scraping is een grijs gebied -in sommige gevallen is scraping legitiem en kan worden toegestaan door website-eigenaren. In andere gevallen kunnen Bot-exploitanten de Gebruiksvoorwaarden van de website schenden of, erger nog, gebruik maken van scraping om gevoelige of auteursrechtelijk beschermde inhoud te stelen.,

Spam Bots

een spambot is een internetapplicatie ontworpen om e-mailadressen voor spam mailinglijsten te verzamelen. Een spam bot kan e-mails van websites, social media websites, bedrijven en organisaties te verzamelen, gebruik te maken van de onderscheidende indeling van e-mailadressen.

nadat aanvallers een grote lijst met e—mailadressen hebben verzameld, kunnen ze deze niet alleen gebruiken om spam e-mail te verzenden, maar ook voor andere snode doeleinden:

• Credential cracking-pairing e-mails met veelgebruikte wachtwoorden om ongeautoriseerde toegang tot accounts te krijgen.,
• vorm spam-het automatisch invoegen van spam, zoals advertenties of malware links, in formulieren op populaire websites, meestal commentaar of feedback formulieren.

naast de directe schade die wordt veroorzaakt aan eindgebruikers en organisaties die door spamcampagnes worden getroffen, kunnen spambots ook de bandbreedte van de server verstikken en de kosten voor internetproviders (ISP ‘ s) verhogen.

Bots voor sociale Media

Bots worden gebruikt op sociale media netwerken, en worden gebruikt om automatisch berichten te genereren, ideeën te bepleiten, te fungeren als een volgeling van gebruikers, en als nep-accounts om zelf volgers te krijgen., Naar schatting 9-15% van de Twitter-accounts zijn sociale bots.

sociale bots kunnen worden gebruikt om groepen mensen te infiltreren en om specifieke ideeën te verspreiden. Aangezien er geen strikte regelgeving voor hun activiteiten is, spelen sociale bots een belangrijke rol in de online publieke opinie.

sociale bots kunnen valse accounts aanmaken (hoewel dit moeilijker wordt naarmate sociale netwerken geavanceerder worden), de boodschap van de bot-operator versterken en valse volgers/likes genereren., Het is moeilijk om sociale bots te identificeren en te beperken, omdat ze zeer vergelijkbaar gedrag kunnen vertonen met dat van echte gebruikers.

Download Bots

Download bots zijn geautomatiseerde programma ‘ s die kunnen worden gebruikt om automatisch software of mobiele apps te downloaden. Ze kunnen worden gebruikt om downloadstatistieken te beïnvloeden, bijvoorbeeld om meer downloads op populaire App stores te krijgen en nieuwe apps naar de top van de grafieken te helpen. Ze kunnen ook worden gebruikt om download sites aan te vallen, het creëren van nep-downloads als onderdeel van een Application-layer Denial of Service (DoS) aanval.,

Ticketing Bots

Ticketing Bots zijn een geautomatiseerde manier om tickets voor populaire evenementen te kopen, met als doel deze tickets voor winst te verkopen. Deze activiteit is illegaal in veel landen, en zelfs als niet verboden door de wet, Het is een ergernis voor organisatoren van evenementen, ticketverkopers en consumenten.

Bots voor ticketverkoop zijn over het algemeen zeer geavanceerd en volgen hetzelfde gedrag als menselijke ticketkopers. In veel ticketing domeinen, het aandeel van tickets gekocht door geautomatiseerde bots varieert tussen 40-95%.,

Botverkeer detecteren in webanalyse

Hieronder volgen enkele parameters die u kunt gebruiken bij een handmatige controle van uw webanalyse om botverkeer te detecteren dat een website raakt:

• Verkeerstrends—abnormale pieken in het verkeer kunnen duiden op bots die de site raken. Dit geldt vooral als het verkeer tijdens oneven uren plaatsvindt.
• Bounce rate-abnormale hoogte-of dieptepunten kunnen een teken zijn van slechte bots. Bots die bijvoorbeeld een specifieke pagina op de site raken en vervolgens van IP wisselen, lijken 100% bounce te hebben.,
• Verkeersbronnen-tijdens een kwaadaardige aanval is het primaire kanaal dat verkeer verzendt “direct” verkeer en het verkeer zal bestaan uit nieuwe gebruikers en sessies.
• serverprestaties-een vertraging in serverprestaties kan een teken zijn van bots.
• verdachte IPs/geo-locaties – een toename van de activiteit naar een onbekend IP-bereik of een regio waar u geen zaken doet.
  verdachte hits van enkele IP ‘ s-een groot aantal hits van een enkel IP. Mensen vragen meestal een paar pagina ’s en niet anderen, terwijl bots vaak alle pagina’ s opvragen.,
• taalbronnen-hits zien van andere talen die uw klanten normaal gesproken niet gebruiken.

alle bovenstaande indicatoren zijn slechts ruwe indicatoren van botactiviteit. Wees ervan bewust dat geavanceerde kwaadaardige bots een realistische, gebruiker-achtige handtekening kan genereren in uw web analytics. Het is raadzaam om een speciale bot management oplossing te gebruiken die volledige zichtbaarheid van bot Verkeer biedt.

How To Stop Bot Traffic: Basic Mitigation Measures

Er zijn een paar eenvoudige maatregelen die u kunt nemen om ten minste enkele bots te blokkeren en uw blootstelling aan slechte bots te verminderen:

• plaats robots.,txt in de root van uw website om te bepalen welke bots toegang hebben tot uw website. Houd in gedachten, dit is alleen effectief voor het beheren van de crawl patronen van legitieme bots, en zal niet beschermen tegen kwaadaardige bot activiteit.
• voeg aanmeldings -, commentaar-of downloadformulieren toe. Veel uitgevers en premium websites plaatsen om te voorkomen dat downloaden of spam bots.
• Stel een JavaScript alert in om u op de hoogte te stellen van bot verkeer. Het hebben van contextuele JavaScript op zijn plaats kan fungeren als een zoemer en u waarschuwen wanneer het ziet een bot of soortgelijk element het invoeren van een website.,

hoe ontwijken Bots detectie?

Bottechnologie is de afgelopen tien jaar geëvolueerd. Oorspronkelijk waren bots een script dat een website raakte om gegevens op te halen of acties uit te voeren. Deze scripts zouden geen cookies accepteren en JavaScript niet ontleden, waardoor ze zeer gemakkelijk te detecteren zijn.

na verloop van tijd bots kregen meer geavanceerde, het accepteren van cookies en het ontleden van JavaScript, maar ze konden nog steeds vrij gemakkelijk worden gedetecteerd omdat ze gebruikt dynamische website elementen minder dan menselijke gebruikers.,

de volgende evolutie was het gebruik van headless browsers zoals PhantomJS—deze kunnen website-inhoud in zijn geheel verwerken. Hoewel deze browsers geavanceerder zijn dan eenvoudige bots, kunnen headless browsers nog steeds niet alle acties uitvoeren die echte gebruikers kunnen.

de meest geavanceerde typen bots zijn gebaseerd op de Chrome-browser en zijn bijna niet te onderscheiden van echte gebruikers. Deze bots simuleren zelfs menselijke activiteit, zoals het klikken op pagina-elementen.

geavanceerde Bot-Mitigatietechnieken

naarmate bots evolueerden, evolueerden ook mitigatietechnieken., Er zijn momenteel drie technische benaderingen voor het detecteren en beperken van slechte bots:

• statische benadering—statische analysetools kunnen webverzoeken en headerinformatie identificeren die gecorreleerd zijn met slechte bots, passief de identiteit van de bot bepalen en indien nodig blokkeren.
• Challenge-based approach – u kunt uw website uitrusten met de mogelijkheid om proactief te controleren of verkeer afkomstig is van menselijke gebruikers of bots. Challenge-based bot detectors kunnen de mogelijkheid van elke bezoeker om cookies te gebruiken controleren, uitvoeren JavaScript, en interactie met elementen., Een verminderde mogelijkheid om dit soort elementen te verwerken is een teken van bot verkeer.
• Behavioral approach-een gedrag bot mitigatie mechanisme kijkt naar de gedragssignatuur van elke bezoeker om te zien of het is wat het beweert te zijn. Behavioral bot mitigation stelt een basislijn van normaal gedrag voor user agents zoals Google Chrome, en ziet of de huidige gebruiker afwijkt van dat gedrag. Het kan ook gedragssignaturen vergelijken met eerdere, bekende handtekeningen van slechte bots.,

door de drie benaderingen te combineren, kunt u ALLE soorten uitwijkende bots overwinnen en ze succesvol scheiden van menselijk verkeer. U kunt deze benaderingen onafhankelijk gebruiken of u kunt vertrouwen op bot mitigation services om technieken voor u uit te voeren.

bot-mitigatiediensten zijn geautomatiseerde tools die de bovenstaande methoden gebruiken om bots te identificeren. Deze diensten kunnen worden gebruikt om API-verkeer te controleren en te detecteren of het legitieme machine verkeer of slechte bots “melken” uw API.,

geavanceerde bot-mitigatieservices gebruiken tarieflimieten voor elke aanvragende client of machine, in plaats van een volledig IP, waardoor het kruipen van slechte bots kan beperken. Zodra een bot is geïdentificeerd, kunnen deze services de informatie verspreiden over het netwerk, om ervoor te zorgen dat dezelfde bot geen toegang meer heeft tot uw site of API.

Imperva Bot Management

Imperva ‘ s bot management oplossing gebruikt alle drie de hierboven beschreven benaderingen—statisch, challenge-based en behavior-based—om elke bezoeker op uw site te onderzoeken, al dan niet menselijk, en deze te vergelijken met een gedragsidentificatie. Het kan effectief beschermen tegen kwaadaardige bots terwijl ervoor te zorgen dat legitieme bots en menselijke gebruikers ononderbroken toegang hebben tot uw site.,

Imperva Botbeheer: detectiemethoden en responsopties

naast het helpen verminderen van slechte botactiviteit biedt Imperva Meerlagige bescherming om ervoor te zorgen dat websites en applicaties beschikbaar, gemakkelijk toegankelijk en veilig zijn. De Imperva application security solution bevat:

• API security-beschermt API ‘ s tegen bots en menselijke aanvallers door ervoor te zorgen dat alleen gewenst verkeer toegang heeft tot uw API-eindpunt, evenals het detecteren en blokkeren van exploits van kwetsbaarheden.,
• DDoS-bescherming-behoud uptime in alle situaties. Voorkom dat elke vorm van DDoS-aanval, van elke omvang, de toegang tot uw website en netwerkinfrastructuur verhindert.
• CDN-verbeter de prestaties van de website en verlaag de bandbreedtekosten met een CDN dat is ontworpen voor ontwikkelaars. Cache statische bronnen aan de rand terwijl het versnellen van API ‘ s en dynamische websites.
• Firewall voor webtoepassingen-legitiem verkeer toestaan en slecht verkeer Voorkomen. Bescherm uw applicaties aan de rand met een enterprise‑class cloud WAF.,
• RASP-houd uw applicaties veilig van binnenuit tegen bekende en zero‑day aanvallen. Snelle en nauwkeurige bescherming zonder handtekening of leermodus.
• account Takeover Protection-gebruikt een intent-based detectieproces om te identificeren en te verdedigen tegen pogingen om gebruikersaccounts over te nemen voor kwaadaardige doeleinden.