O assunto com bots no site é muito doloroso para alguns e dá uma dor de cabeça constante, enquanto outros preferem ignorá-lo totalmente. E aqui você precisa entender: se o dano dos bots não é grande, então investir dinheiro para combatê-los não se torna muito justificado do ponto de vista do negócio. Na maioria das vezes, em tais casos, eles são limitados a alguma solução bastante simples de escrita própria que combate os bots de primeira geração (sobre as gerações abaixo). No entanto, se os ataques ao site prejudicarem o negócio, a empresa começa a pensar em como lidar com eles.
Por experiência própria, posso dizer que empresas aéreas e grandes de comércio eletrônico sofrem com o fluxo constante de bots na maioria das vezes. Um caso típico de uma companhia aérea, quando ela pode ser atingida por bots e ser paga, é a conhecida reserva de assento. Como funciona: você quer comprar uma passagem e escolher voo, horário, local e receber o pagamento. Muitas vezes, neste local, a companhia aérea reserva este local para si (não disponível para compra neste momento a outros visitantes do site) e dá-lhe tempo para pagar com cartão - de alguns minutos a várias horas. O que acontece: uma onda de bots chega ao site, que reserva todo o avião (e depois que o prazo de pagamento termina, reserva um assento novamente). Assim, ninguém pode comprar uma passagem e o avião pode voar vazio. E isso é dinheiro e bastante.Para empresas de comércio eletrônico, geralmente é a busca por credenciais e a baixa de pontos de bônus.
Que tipo de bots existem? Aqui, na verdade, tudo é muito simples. Existem duas respostas - boas e más. Os bons são bots de mecanismo de pesquisa, bots de seus parceiros, algum tipo de sistema de monitoramento e assim por diante. Em geral, são os bots que seguem as regras:
personificar quem eles são
não tente prejudicar o site
seguir links robots.txt
Os maus são aqueles que têm intenções hostis ou são usados para outros fins. Normalmente, eles tentam se disfarçar de pessoas ou falsificar outros bots bons e conhecidos. Na maioria das vezes, bots ruins são usados para:
Faça login automaticamente usando credenciais roubadas de uma violação de dados ou dark web.
Crie novas contas online para receber bônus de registro
, , .
DDoS-,
, . – ?
. , :
cURL- -. IP-. cookie JavaScript, -.
-, «» (headless) (: PhantomJS SimpleBrowser), Chrome Firefox, . , cookie JavaScript. - headless JavaScript - .
– . , . .
, , , , , , . UA IP-. , « » - , , - . - , . , , .
, , .
? :
, , ,
,
,
, , , , .
? :
( CDN, reverse proxy)
, /.
, Akamai, Distill ( Imperva ABP) RadWare. – PerimeterX.
, Akamai.
, Akamai, , . Akamai – -, (wiki). 1998., CDN . 20 . Akamai CDN, , -. CDN, , , WAF, DDoS mitigation ( L3/L4, L7), BOT, DNS, Real User Monitoring (RUM), API Gateway . , , . Akamai ? , 40 ( – 5). .
, , Akamai Bot Manager. :
Bot Manager Standard (BMS)
Bot Manager Premier (BMP)
, .
.
, General bot management, BMS, Transactional endpoint protection – BMP. , .
Customer-Categorized Bots? , , . , , , . ? . (, “Partners”), .
, .
Akamai-Categorized Bots. , , , . Akamai 1400 17 . ? , : , , , , . , «».
, – . : (transparent) (active). , , , . - . :
, , . , “Impersonators of Known Bots” – , , , Google, . :
Chrome –
-
Active – JavaScript cookie ( – SDK):
Akamai cookie . . , , JS .
BMP. , : /, , . endpoint. , POST /login, BODY user pass. , endpoint-a Akamai . BMP – . , BMS BMP , BMS, , - , BMP , . , , , . , - , .
: ? , : – , . , , . .
: ? :
( )
( 1–3 )
( 8–10 )
( 403 , - )
Tarpit ( , )
Challenge ( Google Captcha, Akamai Crypto Challenge)
Conditional action ( , 20% , – )
, Deny ( 403 ) -. 403 – , . , . . Akamai Tarpit. , Linux, , action IPTables. Tarpit, , . , , . : Akamai? -. 270 , . , . , . , . , , .
– Captcha. , . ! Google Captcha – Akamai. Crypto Challenge. : Akamai , ( 30 , ). , : crypto challenge ( ). , Akamai , , – challenge ( ).
Akamai ? , - (, , ). : . , , . , 60–70% . – .
, . , , . : , . : Akamai , . , User-Agent. Akamai – , . , 30% , , .
Como surgiu a ideia de escrever este artigo? Por dois dias, participamos do Highload ++ este ano com nosso estande GlobalDots, e algumas pessoas nos abordaram com aproximadamente as mesmas perguntas: Há Akamai na Rússia? Qualquer coisa além de CDN? Na verdade, foi assim que apareceu este pequeno artigo.
Isso provavelmente é tudo. Acabou sendo um artigo bastante introdutório. Estou acostumado a mostrar mais do que dizer - acaba sendo mais informativo. Se você tiver alguma dúvida - bem - vindo ao saint tropez nos comentários.