Boti

co jsou Boti

Internet bot je softwarová aplikace, která spouští automatizované úkoly přes internet. Úkoly provozované roboty jsou obvykle jednoduché a provádějí se mnohem vyšší rychlostí ve srovnání s lidskou internetovou aktivitou.

někteří roboti jsou legitimní-například Googlebot je aplikace, kterou Google používá k procházení Internetu a jeho indexování pro vyhledávání. Jiné roboty jsou škodlivé-například roboty používané k automatickému skenování webových stránek pro zranitelnosti softwaru a provádění jednoduchých vzorců útoku.,

co je Botnet

existuje mnoho typů malwaru, které infikují koncová uživatelská zařízení, s cílem jejich zařazení do botnetu. Jakékoli zařízení, které se nakazí, začne komunikovat s centrem příkazů a řízení (C&C) a může provádět automatizované činnosti pod centrální kontrolou útočníka.

mnoho aktérů hrozeb se aktivně podílí na budování masivních botnetů, přičemž ty největší pokrývají miliony počítačů., Botnet může často růst sám, například pomocí infikovaných zařízení k odesílání nevyžádaných e-mailů, které mohou infikovat více strojů.

majitelé botnetu je používají pro rozsáhlé škodlivé aktivity, běžně distribuované útoky Denial of Service (DDoS). Botnety lze také použít pro jakoukoli jinou škodlivou aktivitu botů, jako jsou spamové roboty nebo sociální roboty (popsané níže), i když v mnohem větším měřítku.

typy robotů

na internetu je aktivní mnoho typů robotů, legitimních i škodlivých. Níže uvádíme několik běžných příkladů.,

Spider Bots

Spider bots, také známý jako web spiders nebo crawlers, procházet web pomocí následujících hypertextových odkazů, s cílem načítání a indexování webového obsahu. Pavouci stahují HTML a další zdroje, jako jsou CSS, JavaScript a obrázky, a používají je ke zpracování obsahu webu.

Pokud máte velké množství webových stránek, můžete umístit roboty.txt soubor v kořenovém adresáři vašeho webového serveru, a poskytovat pokyny pro roboty, určení, které části vašeho webu mohou procházet, a jak často.,

Scraper Bots

škrabky jsou roboti, kteří čtou data z webových stránek s cílem uložit je offline a umožnit jejich opětovné použití. To může mít podobu škrábání celého obsahu webových stránek nebo škrábání webového obsahu za účelem získání konkrétních datových bodů, jako jsou názvy a ceny produktů na webech elektronického obchodu.

web scraping je šedá oblast-v některých případech je škrábání legitimní a může být povoleno majiteli webových stránek. V ostatních případech mohou provozovatelé bot porušovat podmínky používání webových stránek nebo hůře využívat škrábání k odcizení citlivého nebo autorsky chráněného obsahu.,

spamové roboty

spambot je internetová aplikace určená ke shromažďování e-mailových adres pro spamové seznamy. Spam bot může shromažďovat e-maily z webových stránek, webových stránek sociálních médií, podniků a organizací a využívat výrazný formát e-mailových adres.

Poté, co útočníci dali dohromady velký seznam e-mailových adres, které se mohou používat nejen k odesílání nevyžádané pošty e-mailu, ale také pro jiné hanebné účely:

• Pověření praskání—spárování e-mailů s běžnými hesla získat neoprávněný přístup k účtům.,
• Form spam-automatické vkládání spamu, jako jsou reklamy nebo malware odkazy, do formulářů na populárních webových stránkách, obvykle komentáře nebo formuláře zpětné vazby.

na Rozdíl od přímé škody způsobené konečnému uživateli a organizacemi postižených spam kampaně, spam boti mohou také dusit serveru, šířku pásma a zvýšit náklady pro Poskytovatele Služeb Internetu (Isp).

Sociální Média Roboty

Roboty jsou provozovány na sociální média, sítí, a používá, aby se automaticky generovat zprávy, zastáncem myšlenky, působit jako následovník uživatelů, a jako falešné účty, aby získali následovníky sami., Odhaduje se, že 9-15% účtů Twitter jsou sociální roboty.

sociální roboty mohou být použity k infiltraci skupin lidí a použity k šíření konkrétních myšlenek. Vzhledem k tomu, že neexistuje žádná přísná regulace, která by upravovala jejich činnost, hrají sociální roboti hlavní roli v online veřejném mínění.

sociální roboti mohou vytvářet falešné účty (i když je to stále obtížnější, protože sociální sítě se stávají sofistikovanějšími), zesilují zprávu operátora bot a generují falešné následovníky/lajky., Je obtížné identifikovat a zmírnit sociální roboty, protože mohou vykazovat velmi podobné chování jako skuteční uživatelé.

Download Bots

Download bots jsou automatizované programy, které lze použít k automatickému stahování softwaru nebo mobilních aplikací. Mohou být použity k ovlivnění statistik stahování, například k získání více stažení v populárních obchodech s aplikacemi a pomoci novým aplikacím dostat se na vrchol grafů. Mohou být také použity k útoku na weby ke stažení, vytváření falešných stahování jako součást útoku na odmítnutí služby (DoS) aplikační vrstvy.,

Ticketing Bots

Ticketing Bots jsou automatizovaný způsob nákupu vstupenek na populární akce s cílem prodat tyto vstupenky za účelem zisku. Tato činnost je v mnoha zemích nezákonná, a i když není zákonem zakázána, je to obtěžování organizátorů akcí, prodejců vstupenek a spotřebitelů.

Ticketingové roboty bývají velmi sofistikované a napodobují stejné chování jako kupci lidských vstupenek. V mnoha doménách prodeje jízdenek se podíl vstupenek zakoupených automatizovanými roboty pohybuje mezi 40-95%.,

Jak Rozpoznat Bot Provozu v Web Analytics

níže jsou uvedeny některé parametry, které lze použít v manuálu zkontrolujte, zda vaše webové analýzy, k detekci bot dopravní bít stránky:

• trendy Provozu—abnormální výkyvy v provozu může znamenat, roboty bít stránky. To platí zejména v případě, že k provozu dochází během lichých hodin.
• míra okamžitého opuštění-abnormální výšky nebo minima mohou být známkou špatných robotů. Zdá se například, že roboti, kteří narazí na konkrétní stránku na webu a poté přepnou IP, mají 100% odrazit.,
• zdroje provozu – během škodlivého útoku je primární přenos kanálu „přímý“ provoz a provoz bude sestávat z nových uživatelů a relací.
• výkon serveru-zpomalení výkonu serveru může být známkou robotů.
• podezřelé IPs / geo-lokace-zvýšení aktivity na Neznámý rozsah IP nebo oblast, ve které nepodnikáte.
  podezřelé hity z jednotlivých IP-velké množství hitů z jedné IP. Lidé obvykle požadují několik stránek a ne jiné, zatímco roboti často požadují všechny stránky.,
• jazykové zdroje-Zobrazení hitů z jiných jazyků, které vaši zákazníci obvykle nepoužívají.

všechny výše uvedené jsou pouze hrubými ukazateli aktivity bot. Uvědomte si, že sofistikované škodlivé roboty mohou ve vaší webové analytice generovat realistický podpis podobný uživateli. Je vhodné použít vyhrazené řešení pro správu bot, které poskytuje plnou viditelnost provozu bot.

Jak Zastavit Bot Provoz: Základní Opatření ke Zmírnění

Existuje několik jednoduchých opatření, si můžete vzít do bloku aspoň nějaké roboty a omezit vaše expozice na špatné roboty:

• Místo roboty.,txt v kořenovém adresáři vašeho webu definovat, které roboty mají přístup na vaše webové stránky. Mějte na paměti, že je to efektivní pouze pro správu vzorců procházení legitimních robotů a nebude chránit před škodlivou aktivitou botů.
• přidat na sign-up, komentář, nebo stáhnout formuláře. Mnoho vydavatelů a prémiové webové stránky místo, aby se zabránilo stahování nebo spam roboty.
• nastavte upozornění JavaScriptu, které vás upozorní na provoz bot. Mít kontextový JavaScript na svém místě může fungovat jako bzučák a upozorní vás, kdykoli uvidí bot nebo podobný prvek vstupující na web.,

jak se roboti vyhýbají detekci?

Bot technologie se vyvinula v posledních deseti letech. Původně byli Boti skriptem, který zasáhl web, aby načetl data nebo provedl akce. Tyto skripty by nepřijímaly soubory cookie a neparsovaly JavaScript, což je velmi snadno detekuje.

v Průběhu času boti dostali sofistikovanější, přijímání cookies a parsování Javascriptu, ale stále ještě mohou být detekovány poměrně snadno, protože se používá dynamické webové stránky prvky méně než lidské uživatele.,

dalším vývojem bylo použití bezhlavých prohlížečů, jako je PhantomJS—ty mohou zpracovávat obsah webových stránek v plném rozsahu. Přestože jsou tyto prohlížeče sofistikovanější než základní roboty,bezhlavé prohlížeče stále nemohou provádět všechny akce, které mohou skuteční uživatelé.

nejpokročilejší typy robotů jsou založeny na prohlížeči Chrome a jsou téměř nerozeznatelné od skutečných uživatelů. Tito roboti dokonce simulují lidskou činnost, jako je kliknutí na prvky stránky.

pokročilé techniky zmírňování Bot

jak se Boti vyvíjeli,stejně tak techniky zmírňování., V současné době existují tři technické přístupy k detekci a zmírnění špatné roboty:

• Statická přístupu—statické analýzy nástroje mohou identifikovat webové žádosti a záhlaví informace koreluje se špatnou roboty, pasivně určení bot identity, a blokování je-li to nezbytné.
• Challenge-based approach – svůj web můžete vybavit schopností aktivně kontrolovat, zda provoz pochází od lidských uživatelů nebo robotů. Detektory bot založené na výzvách mohou zkontrolovat schopnost každého návštěvníka používat soubory cookie, spouštět JavaScript a komunikovat s prvky., Snížená schopnost zpracovávat tyto typy prvků je známkou provozu bot.
• Behaviorální přístup behaviorální bot zmírnění mechanismus vypadá na behaviorální podpis každého návštěvníka, jestli je to to, co to tvrdí. Behaviorální bot mitigation stanoví základní linii normálního chování pro uživatelské agenty, jako je Google Chrome, a zjistí, zda se současný uživatel od tohoto chování odchyluje. Může také porovnat behaviorální podpisy s předchozími známými podpisy špatných robotů.,

kombinací tří přístupů můžete překonat vyhýbavé roboty všech typů a úspěšně je oddělit od lidského provozu. Tyto přístupy můžete použít samostatně nebo se můžete spolehnout na služby zmírňování botů, abyste pro vás mohli provádět techniky.

bot mitigation services jsou automatizované nástroje, které používají výše uvedené metody k identifikaci robotů. Tyto služby mohou být použity ke sledování provozu API a zjistit, zda se jedná o legitimní strojový provoz nebo špatné roboty „dojení“ API.,

Advanced bot mitigation services používá omezení rychlosti pro každého žádajícího klienta nebo stroj namísto celé IP, což mu umožňuje omezit procházení od špatných robotů. Jakmile je bot identifikován, mohou tyto služby šířit informace v síti, aby se zajistilo, že stejný bot nemůže znovu přistupovat k vašemu webu nebo API.

Imperva Bot Řízení

Imperva je bota řízení řešení používá všechny tři přístupy uvedené výše—static, problém-založené a chování-based—vyšetřovat každý návštěvník na vašem webu, ať už lidské, nebo ne, a porovnejte ji s behaviorální ID. Může účinně chránit před škodlivými roboty a zároveň zajistit, aby legitimní roboti a lidští uživatelé měli nepřetržitý přístup k vašemu webu.,

Imperva Bot Řízení: metody Detekce a možnosti reakce

kromě toho, že pomáhá zmírnit špatné bot aktivity, Imperva poskytuje vícevrstvou ochranu, aby se ujistěte se, že webové stránky a aplikace jsou k dispozici, snadno přístupné a bezpečné. Na Imperva aplikace bezpečnostní řešení zahrnuje:

• API zabezpečení—chrání Api od roboty a lidské útočníky tím, že zajistí pouze požadovanou provoz může přístup k API koncový bod, stejně jako detekci a blokování využije zranitelnosti.,
• ochrana DDoS-udržujte provozuschopnost ve všech situacích. Zabraňte jakémukoli typu útoku DDoS jakékoli velikosti, aby se zabránilo přístupu na vaše webové stránky a síťovou infrastrukturu.
• CDN-Zvyšte výkon webových stránek a snižte náklady na šířku pásma pomocí CDN určeného pro vývojáře. Cache statické zdroje na okraji při urychlení API a dynamické webové stránky.
• brána firewall webové aplikace-povolte legitimní provoz a zabraňte špatnému provozu. Zabezpečte své aplikace na okraji pomocí cloudového WAF podnikové třídy.,
• RASP-Udržujte své aplikace v bezpečí zevnitř proti známým a nulovým útokům. Rychlá a přesná ochrana bez podpisu nebo režimu učení.
• ochrana převzetí účtu – používá detekční proces založený na záměru k identifikaci a obraně proti pokusům převzít účty uživatelů pro škodlivé účely.