Vad är Bots
en Internet bot är ett program som körs automatiserade uppgifter via internet. Uppgifter som drivs av robotar är vanligtvis enkla och utförs i en mycket högre takt jämfört med mänsklig internetaktivitet.
vissa robotar är legitima—Googlebot är till exempel ett program som används av Google för att genomsöka Internet och indexera det för sökning. Andra robotar är skadliga-till exempel bots som används för att automatiskt skanna webbplatser för sårbarheter i programvara och utföra enkla attackmönster.,
Vad är en Botnet
det finns många typer av skadlig kod som infekterar slutanvändare enheter, med målet att värva dem till en botnet. Alla enheter som blir infekterade börjar kommunicera med ett kommando och kontroll (C&C) center och kan utföra automatiserade aktiviteter under angriparens centrala kontroll.
många hotaktörer är aktivt engagerade i att bygga massiva botnät, med de största som spänner över miljontals datorer., Ofta kan botnet växa sig, till exempel genom att använda infekterade enheter för att skicka ut skräppost, vilket kan infektera fler maskiner.
Botnet-ägare använder dem för storskaliga skadliga aktiviteter, allmänt distribuerade överbelastningsattacker (DDoS). Botnät kan också användas för någon annan skadlig bot aktivitet, såsom spam bots eller sociala bots (beskrivs nedan), om än i mycket större skala.
typer av Bots
det finns många typer av bots aktiva på Internet, både legitima och skadliga. Nedan finns flera vanliga exempel.,
Spider Bots
Spider bots, även känd som web spindlar eller sökrobotar, surfa på webben genom att följa hyperlänkar, med målet att hämta och indexera webbinnehåll. Spindlar hämta HTML och andra resurser, såsom CSS, JavaScript och bilder, och använda dem för att bearbeta webbplatsens innehåll.
om du har ett stort antal webbsidor kan du placera en robot.txt-fil i roten på din webbserver, och ge instruktioner till bots, ange vilka delar av din webbplats de kan genomsöka, och hur ofta.,
skrapa Bots
Skrapor är bots som läser data från webbplatser med målet att spara dem offline och möjliggöra deras återanvändning. Detta kan ske i form av skrapa hela innehållet på webbsidor eller skrapa webbinnehåll för att få specifika datapunkter, såsom namn och priser på produkter på e-handelssajter.
webbskrapning är ett grått område-i vissa fall är skrapning legitim och kan tillåtas av webbplatsägare. I andra fall kan botoperatörer bryta mot webbplatsens användarvillkor, eller sämre utnyttja skrapning för att stjäla känsligt eller upphovsrättsskyddat innehåll.,
spam Bots
en spambot är ett Internetprogram som är utformat för att samla in e-postadresser för skräppost. En spam bot kan samla e-post från webbplatser, sociala medier webbplatser, företag och organisationer, utnyttja distinkt format av e-postadresser.
efter angripare har samlat en stor lista med e—postadresser, kan de använda dem inte bara för att skicka skräppost, men också för andra skändliga ändamål:
- Credential cracking-pairing e-post med vanliga lösenord för att få obehörig åtkomst till konton.,
- Form spam—automatiskt infoga spam, såsom annonser eller malware länkar, i formulär på populära webbplatser, vanligtvis kommentera eller feedback formulär.
förutom den direkta skada som orsakas slutanvändare och organisationer som påverkas av spamkampanjer kan spambotar också kväva serverns bandbredd och öka kostnaderna för Internetleverantörer (Internet Service Providers).
sociala medier Bots
Bots drivs på sociala medier nätverk, och används för att automatiskt generera meddelanden, förespråkar idéer, fungera som en följare av användare, och som falska konton för att få anhängare själva., Det uppskattas att 9-15% av Twitter-konton är sociala bots.
sociala bots kan användas för att infiltrera grupper av människor och används för att sprida specifika idéer. Eftersom det inte finns någon strikt reglering som styr deras verksamhet spelar sociala bots en viktig roll i den allmänna opinionen online.
sociala bots kan skapa falska konton (även om det blir svårare eftersom sociala nätverk blir mer sofistikerade), förstärka botoperatörens meddelande och generera falska anhängare / gillar., Det är svårt att identifiera och mildra sociala bots, eftersom de kan uppvisa mycket liknande beteende som för riktiga användare.
Download Bots
Download bots är automatiserade program som kan användas för att automatiskt ladda ner programvara eller mobilappar. De kan användas för att påverka nedladdningsstatistik, till exempel för att få fler nedladdningar på populära appbutiker och hjälpa nya appar att komma till toppen av diagrammen. De kan också användas för att attackera nedladdningsplatser, skapa falska nedladdningar som en del av en applikation-layer Denial of Service (DoS) attack.,
biljett Bots
biljett Bots är ett automatiserat sätt att köpa biljetter till populära evenemang, i syfte att sälja dessa biljetter för en vinst. Denna verksamhet är olaglig i många länder, och även om det inte är förbjudet enligt lag är det en irritation för evenemangsarrangörer, biljettförsäljare och konsumenter.
biljett bots tenderar att vara mycket sofistikerade, emulera samma beteenden som mänskliga biljettköpare. I många biljett domäner, andelen biljetter som köps av automatiserade bots varierar mellan 40-95%.,
hur man upptäcker Bot trafik i Web Analytics
Följande är några parametrar som du kan använda i en manuell kontroll av din webbanalys, för att upptäcka bot trafik träffar en webbplats:
- trafik trender-onormala spikar i trafiken kan tyda bots träffar webbplatsen. Detta gäller särskilt om trafiken inträffar under udda timmar.
- avvisningsfrekvens—onormala toppar eller dalar kan vara ett tecken på dåliga bots. Till exempel, bots Som träffar en viss sida på webbplatsen och sedan byta IP visas ha 100% studsa.,
- trafikkällor—under en skadlig attack är den primära kanalen som skickar trafik ”direkt” trafik och trafiken kommer att bestå av nya användare och sessioner.
- serverprestanda—en avmattning i serverns prestanda kan vara ett tecken på robotar.
- misstänkta IPs / geo-platser—en ökning av aktiviteten till ett okänt IP-intervall eller en region som du inte gör affärer i.
misstänkta träffar från enstaka IP—adresser-ett stort antal träffar från en enda IP. Människor begär vanligtvis några sidor och inte andra, medan bots ofta kommer att begära alla sidor., - språkkällor—att se träffar från andra språk som kunderna normalt inte använder.
alla ovanstående är bara grova indikatorer på bot-aktivitet. Var medveten om att sofistikerade skadliga bots kan generera en realistisk, användarliknande signatur i din webbanalys. Det är lämpligt att använda en dedikerad bot management lösning som ger full synlighet bot trafik.
hur man stoppar Bottrafik: grundläggande begränsningsåtgärder
det finns några enkla åtgärder du kan vidta för att blockera åtminstone några bots och minska din exponering för dåliga bots:
- placera robotar.,txt i roten på din webbplats för att definiera vilka bots som får komma åt din webbplats. Tänk på att detta bara är effektivt för att hantera krypmönstren för legitima bots, och skyddar inte mot skadlig botaktivitet.
- Lägg till vid registrering, kommentar eller nedladdningsformulär. Många utgivare och premium webbplatser placera för att förhindra nedladdning eller spam bots.
- Ställ in en JavaScript-varning för att meddela dig om bot-trafik. Att ha kontextuell JavaScript på plats kan fungera som en summer och varna dig när det ser en bot eller liknande element in på en webbplats.,
hur undviker Bots upptäckt?
Bot-tekniken har utvecklats under det senaste decenniet. Ursprungligen var bots ett skript som slog en webbplats för att hämta data eller utföra åtgärder. Dessa skript skulle inte acceptera cookies och inte tolka JavaScript, vilket gör dem mycket lätt att upptäcka.
med tiden blev bots mer sofistikerade, accepterade cookies och tolkade JavaScript, men de kunde fortfarande upptäckas ganska enkelt eftersom de använde dynamiska Webbplatselement mindre än mänskliga användare.,
nästa utveckling var användningen av huvudlösa webbläsare som PhantomJS—dessa kan bearbeta webbplatsinnehåll i sin helhet. Även om dessa webbläsare är mer sofistikerade än grundläggande bots, headless webbläsare fortfarande inte kan utföra alla åtgärder som verkliga användare kan.
de mest avancerade typerna av bots är baserade på Chrome-webbläsaren och är nästan oskiljbara från riktiga användare. Dessa bots simulerar även mänsklig aktivitet som att klicka på sidelement.
avancerade Botreducerande tekniker
som robotar utvecklats, så gjorde mildrande tekniker., Det finns för närvarande tre tekniska metoder för att upptäcka och mildra dåliga bots:
- statisk metod-statiska analysverktyg kan identifiera webbförfrågningar och header-information som är korrelerad med dåliga bots, passivt bestämma botens identitet och blockera den om det behövs.
- Utmaningsbaserad strategi-du kan utrusta din webbplats med möjlighet att proaktivt kontrollera om trafiken kommer från mänskliga användare eller bots. Utmaningsbaserade botdetektorer kan kontrollera varje besökares förmåga att använda cookies, köra JavaScript och interagera med element., En minskad förmåga att bearbeta dessa typer av element är ett tecken på bottrafik.
- Behavioral approach-en beteendemässig bot-begränsningsmekanism tittar på varje besökares beteendesignatur för att se om det är vad det påstår sig vara. Beteende bot begränsning etablerar en baslinje för normalt beteende för användaragenter som Google Chrome, och ser om den aktuella användaren avviker från det beteendet. Det kan också jämföra beteendesignaturer till tidigare kända signaturer av dåliga bots.,
genom att kombinera de tre tillvägagångssätten kan du övervinna undvikande bots av alla slag och framgångsrikt skilja dem från mänsklig trafik. Du kan använda dessa metoder självständigt eller du kan lita på bot förmildrande tjänster för att utföra tekniker för dig.
Botreduceringstjänster är automatiserade verktyg som använder ovanstående metoder för att identifiera robotar. Dessa tjänster kan användas för att övervaka API-trafik och upptäcka om det är legitim maskintrafik eller dåliga bots ”mjölkning” ditt API.,
avancerade bot begränsningstjänster använder hastighetsbegränsande för varje begärande klient eller maskin, i stället för en hel IP, så att den kan begränsa genomsökning från dåliga robotar. När en bot har identifierats kan dessa tjänster sprida informationen över nätverket, för att säkerställa att samma bot inte kan komma åt din webbplats eller API igen.
se hur hantering av Imperva Bot kan hjälpa dig med automatiserade hot.,
Imperva Bot Management
Impervas bot management—lösning använder alla tre metoder som omfattas ovan-statisk, utmaningsbaserad och beteendebaserad-för att undersöka varje besökare på din webbplats, oavsett om det är mänskligt eller inte, och matcha det med ett beteende—ID. Det kan effektivt skydda mot skadliga bots och samtidigt säkerställa att legitima bots och mänskliga användare har oavbruten tillgång till din webbplats.,
Imperva Bot Management: detektionsmetoder och svarsalternativ
förutom att hjälpa till att mildra dålig bot-aktivitet ger Imperva flerskiktsskydd för att se till att webbplatser och applikationer är tillgängliga, lättillgängliga och säkra. Imperva application security-lösningen innehåller:
- API security—skyddar API: er från robotar och mänskliga angripare genom att säkerställa att endast önskad trafik kan komma åt din API-slutpunkt, samt upptäcka och blockera utnyttjande av sårbarheter.,
- DDoS skydd—upprätthålla upptid i alla situationer. Förhindra någon typ av DDoS-attack, av vilken storlek som helst, från att förhindra åtkomst till din webbplats och nätverksinfrastruktur.
- CDN—förbättra webbplatsens prestanda och minska bandbreddskostnaderna med en CDN avsedd för utvecklare. Cache statiska resurser vid kanten samtidigt påskynda API och dynamiska webbplatser.
- Web Application Firewall—Tillåt legitim trafik och förhindra dålig trafik. Skydda dina applikationer vid kanten med en företagsklass cloud WAF.,
- RASP—Håll dina program säkra inifrån mot kända och nolldagsattacker. Snabbt och korrekt skydd utan signatur eller inlärningsläge.
- Account Takeover Protection—använder en avsiktsbaserad detekteringsprocess för att identifiera och försvara sig mot försök att ta över användarnas konton för skadliga ändamål.