ce sunt Bots
un bot de Internet este o aplicație software care rulează sarcini automate pe internet. Sarcinile conduse de roboți sunt de obicei simple și efectuate la o rată mult mai mare în comparație cu activitatea umană pe Internet.unii roboți sunt legitimi—de exemplu, Googlebot este o aplicație folosită de Google pentru a accesa Internetul și a-l indexa pentru căutare. Alți roboți sunt rău intenționați—de exemplu, roboți folosiți pentru a scana automat Site-urile web pentru vulnerabilități software și pentru a executa modele simple de atac.,există multe tipuri de malware care infectează dispozitivele utilizatorilor finali, cu obiectivul de a le înscrie într-o botnet. Orice dispozitiv infectat începe să comunice cu un centru de comandă și Control (C&C) și poate efectua activități automate sub controlul central al atacatorului.mulți actori de amenințare sunt implicați activ în construirea de botnete masive, cele mai mari acoperind milioane de computere., Adesea, botnetul se poate dezvolta singur, de exemplu prin utilizarea dispozitivelor infectate pentru a trimite e-mailuri spam, care pot infecta mai multe mașini.
proprietarii de Botnet le folosesc pentru activități rău intenționate pe scară largă, atacuri de tip Denial of Service (DDoS) distribuite în mod obișnuit. Botnet-urile pot fi, de asemenea, utilizate pentru orice altă activitate de bot rău intenționat, cum ar fi spam-uri sau roboți sociali (descriși mai jos), deși la o scară mult mai mare.
tipuri de roboți
există multe tipuri de roboți activi pe Internet, atât legitimi, cât și rău intenționați. Mai jos sunt câteva exemple comune.,
Spider Bots
Spider bots, cunoscuți și sub denumirea de păianjeni web sau crawlere, navighează pe web urmând hyperlink-uri, cu obiectivul de a prelua și indexa conținut web. Păianjenii descarcă HTML și alte resurse, cum ar fi CSS, JavaScript și imagini, și le folosesc pentru a procesa conținutul site-ului.dacă aveți un număr mare de pagini web, puteți plasa un roboți.fișier txt în rădăcina serverului dvs. de web, și să furnizeze instrucțiuni pentru roboții, specificând care părți ale site-ului se pot accesa cu crawlere, și cât de des.,racletele sunt roboți care citesc date de pe site-uri web cu obiectivul de a le salva offline și de a permite reutilizarea acestora. Aceasta poate lua forma răzuirii întregului conținut al paginilor web sau a răzuirii conținutului web pentru a obține puncte de date specifice, cum ar fi numele și prețurile produselor de pe site-urile de comerț electronic.răzuirea Web este o zonă gri-în unele cazuri, răzuirea este legitimă și poate fi permisă de proprietarii de site-uri web. În alte cazuri, operatorii de bot pot încălca termenii de utilizare a site—ului web sau, mai rău, pot folosi răzuirea pentru a fura conținut sensibil sau protejat de drepturi de autor.,un spambot este o aplicație de internet concepută pentru a aduna adrese de e-mail pentru listele de corespondență spam. Un bot spam poate aduna e-mailuri de pe site-uri web, site-uri de social media, companii și organizații, folosind formatul distinctiv al adreselor de e-mail.după ce atacatorii au acumulat o listă mare de adrese de e—mail, le pot folosi nu numai pentru a trimite e-mailuri spam, ci și pentru alte scopuri nefaste:
- cracare de acreditare-asocierea e-mailurilor cu parole comune pentru a obține acces neautorizat la conturi.,
- formular spam-inserarea automată a spamului, cum ar fi reclame sau link-uri malware, în formularele de pe site-urile web populare, de obicei formulare de comentarii sau feedback.
în afară de daunele directe cauzate utilizatorilor finali și organizațiilor afectate de campaniile de spam, spam-urile pot, de asemenea, să sufoce lățimea de bandă a serverului și să crească costurile pentru furnizorii de servicii de Internet (ISP).Bots social Media sunt operate pe rețelele de socializare și utilizate pentru a genera automat mesaje, a susține idei, a acționa ca un adept al utilizatorilor și ca conturi false pentru a obține ei înșiși adepți., Se estimează că 9-15% din conturile Twitter sunt roboți sociali.roboții sociali pot fi folosiți pentru a se infiltra în grupuri de oameni și pentru a propaga idei specifice. Deoarece nu există o reglementare strictă care să le reglementeze activitatea, roboții sociali joacă un rol major în opinia publică online.
roboții sociali pot crea conturi false (deși acest lucru devine din ce în ce mai dificil pe măsură ce rețelele sociale devin mai sofisticate), amplifică mesajul operatorului de bot și generează adepți/like-uri false., Este dificil să se identifice și să se atenueze roboții sociali, deoarece aceștia pot prezenta un comportament foarte similar cu cel al utilizatorilor reali.
descărcați roboții
descărcați roboții sunt programe automate care pot fi utilizate pentru a descărca automat software sau aplicații mobile. Acestea pot fi utilizate pentru a influența statisticile de descărcare, de exemplu pentru a obține mai multe descărcări în magazinele de aplicații populare și pentru a ajuta aplicațiile noi să ajungă în partea de sus a topurilor. De asemenea, pot fi folosite pentru a ataca site-urile de descărcare, creând descărcări false ca parte a unui atac de refuz al serviciului (DoS) în stratul de aplicație.,boturile de ticketing sunt o modalitate automată de a cumpăra bilete la evenimente populare, cu scopul de a revinde aceste bilete pentru profit. Această activitate este ilegală în multe țări și, chiar dacă nu este interzisă prin lege, este o supărare pentru organizatorii de evenimente, vânzătorii de bilete și consumatorii.bot-urile de Ticketing tind să fie foarte sofisticate, emulând aceleași comportamente ca și cumpărătorii de bilete umane. În multe domenii de ticketing, proporția biletelor achiziționate de roboții automatizați variază între 40-95%.,
Cum de A Detecta Bot de Trafic în Web Analytics
în Urma sunt câteva parametri puteți folosi într-un manual de web analytics, pentru a detecta bot trafic lovind un site:
- Trafic tendințe anormale piroane în trafic ar putea indica boti lovind pe site-ul. Acest lucru este valabil mai ales dacă traficul are loc în timpul orelor ciudate.
- rata de respingere—maximele sau minimele anormale pot fi un semn de roboți răi. De exemplu, roboții care au lovit o anumită pagină de pe site și apoi switch IP vor părea să aibă 100% bounce.,
- surse de trafic-în timpul unui atac rău intenționat, traficul principal de trimitere a canalului este traficul „direct”, iar traficul va consta din utilizatori și sesiuni noi.
- performanța serverului-o încetinire a performanței serverului poate fi un semn de roboți.
- IP-uri suspecte / geo-locații—o creștere a activității într-un interval IP necunoscut sau într-o regiune în care nu faceți afaceri.
Hit-uri suspecte de la un singur IP – un număr mare de hit-uri de la un singur IP. Oamenii solicită de obicei câteva pagini și nu altele, în timp ce roboții vor solicita adesea toate paginile., - surse de limbă-vizualizarea accesărilor din alte limbi pe care clienții dvs. nu le utilizează în mod obișnuit.toate cele de mai sus sunt doar indicatori bruți ai activității botului. Fiți conștienți de faptul că roboții sofisticați pot genera o semnătură realistă, asemănătoare utilizatorului, în analizele dvs. web. Este recomandabil să utilizați o soluție dedicată de gestionare a botului care oferă vizibilitate completă a traficului bot.
cum să opriți traficul Bot: măsuri de atenuare de bază
există câteva măsuri simple pe care le puteți lua pentru a bloca cel puțin unii roboți și pentru a reduce expunerea la roboți răi:
- plasați roboți.,txt în rădăcina site-ului dvs. web pentru a defini ce roboți au voie să acceseze site-ul dvs. web. Rețineți că acest lucru este eficient numai pentru gestionarea tiparelor de accesare cu crawlere a roboților legitimi și nu va proteja împotriva activității botului rău intenționat.
- adaugă la înscriere, Comentează sau descarcă formulare. Mulți editori și site-uri web premium plasează pentru a preveni descărcarea sau spam-urile.
- setați o alertă JavaScript pentru a vă anunța traficul bot. Având JavaScript contextual în loc poate acționa ca un buzzer și vă avertizează ori de câte ori vede un bot sau un element similar care intră pe un site web.,
cum se sustrag roboții de detectare?
Tehnologia Bot a evoluat în ultimul deceniu. Inițial, roboții erau un script care lovea un site web pentru a prelua date sau pentru a efectua acțiuni. Aceste Scripturi nu ar accepta cookie-uri și nu ar analiza JavaScript, ceea ce le face foarte ușor de detectat.de-a lungul timpului, roboții au devenit mai sofisticați, acceptând cookie-uri și parsând JavaScript, dar au putut fi detectați destul de ușor, deoarece au folosit elemente dinamice ale site-ului mai puțin decât utilizatorii umani.,următoarea evoluție a fost utilizarea browserelor fără cap precum PhantomJS—acestea pot procesa conținutul site-ului în întregime. Deși aceste browsere sunt mai sofisticate decât roboții de bază, browserele fără cap încă nu pot efectua toate acțiunile pe care utilizatorii reali le pot face.cele mai avansate tipuri de roboți se bazează pe browserul Chrome și sunt aproape indistinguizabile de utilizatorii reali. Acești roboți simulează chiar și activitatea umană, cum ar fi elementele de clic pe pagină.
Tehnici Avansate de atenuare a boturilor
pe măsură ce roboții au evoluat, la fel și tehnicile de atenuare., În prezent, există trei abordări tehnice pentru detectarea și atenuarea roboților răi:
- abordare statică-instrumentele de analiză statică pot identifica solicitările web și informațiile din antet corelate cu roboții răi, determinând pasiv identitatea botului și blocând-o, dacă este necesar.abordare bazată pe provocări-puteți echipa site—ul dvs. web cu posibilitatea de a verifica proactiv dacă traficul provine de la utilizatori umani sau roboți. Detectoarele de bot bazate pe provocări pot verifica capacitatea fiecărui vizitator de a utiliza cookie-uri, de a rula JavaScript și de a interacționa cu elemente., O capacitate redusă de a procesa aceste tipuri de elemente este un semn al traficului bot.
- abordare comportamentală-un mecanism de atenuare a botului comportamental analizează semnătura comportamentală a fiecărui vizitator pentru a vedea dacă este ceea ce pretinde a fi. Atenuarea comportamentală a botului stabilește o linie de bază a comportamentului normal pentru agenții utilizatori precum Google Chrome și vede dacă utilizatorul curent se abate de la acel comportament. De asemenea, poate compara semnăturile comportamentale cu semnăturile anterioare, cunoscute ale roboților răi.,prin combinarea celor trei abordări, puteți depăși roboții evazivi de toate tipurile și le puteți separa cu succes de traficul uman. Puteți utiliza aceste abordări în mod independent sau vă puteți baza pe serviciile de atenuare a boturilor pentru a efectua tehnici pentru dvs.serviciile Bot mitigation sunt instrumente automate care utilizează metodele de mai sus pentru a identifica roboții. Aceste servicii pot fi utilizate pentru a monitoriza traficul API și pentru a detecta dacă este trafic legitim de mașină sau roboți răi care „mulg” API-ul dvs.,
Avansat bot de atenuare utilizare a serviciilor de limitare a vitezei pentru fiecare solicitarea clientului sau mașină, în loc de un întreg IP, permițându-i să se limiteze plin de roboții rău. Odată ce un bot este identificat, aceste servicii pot propaga informațiile în rețea, pentru a se asigura că același bot nu poate accesa din nou site-ul sau API-ul dvs.
vedeți cum Imperva Bot Management vă poate ajuta cu amenințări automate.,
Imperva Bot Management
soluția Imperva bot management utilizează toate cele trei abordări acoperite mai sus—statice, bazate pe provocări și bazate pe comportament-pentru a investiga fiecare vizitator de pe site-ul dvs., uman sau nu, și pentru a—l potrivi cu un ID comportamental. Poate proteja eficient împotriva roboților rău intenționați, asigurându-se în același timp că roboții legitimi și utilizatorii umani au acces neîntrerupt la site-ul dvs.,
Imperva Bot de Management: metode de Detectare și opțiuni de răspuns
În plus, pentru a ajuta la atenuarea bot rau de activitate, Imperva oferă protecție multi-strat pentru a asigurați-vă că site-urile și aplicațiile sunt disponibile, ușor accesibile și în condiții de siguranță. Soluția de securitate a aplicației Imperva include:
- API security-protejează API-urile de roboți și atacatori umani, asigurându-se că numai traficul dorit poate accesa punctul final API, precum și detectarea și blocarea exploatărilor vulnerabilităților.,
- protecție DDoS-mențineți timpul de funcționare în toate situațiile. Împiedicați orice tip de atac DDoS, de orice dimensiune, să împiedice accesul la site-ul dvs. web și la infrastructura de rețea.
- CDN-îmbunătățiți performanța site-ului și reduceți costurile de lățime de bandă cu un CDN conceput pentru dezvoltatori. Cache resurse statice la margine în timp ce accelerarea API-uri și site-uri dinamice.
- Web Application Firewall-permite traficul legitim și pentru a preveni traficul rău. Protejați‑vă aplicațiile de la margine cu un WAF cloud de clasă enterprise.,
- RASP-păstrați aplicațiile în siguranță din interior împotriva atacurilor cunoscute și zero-day. Protecție rapidă și precisă, fără semnătură sau Mod de învățare.
- protecția preluării contului—utilizează un proces de detectare bazat pe intenție pentru a identifica și apăra împotriva încercărilor de a prelua conturile utilizatorilor în scopuri rău intenționate.