O branco começa: os bots “bons” são realmente tão bons?

O branco começa: os bots “bons” são realmente tão bons?

Parece que a questão dos bots bons e ruins é bastante simples para as empresas: bloqueie alguns, deixe outros passarem. No entanto, esse processo tem suas próprias nuances. Isso se deve ao fato de que os bots ruins se disfarçam de bons e ao fato de que os bots configurados incorretamente da lista branca podem prejudicar o tráfego e derrubar um site, e ao fato de que as empresas nem sempre precisam bloquear um bot, mas você só precisa entender onde ele andou. Vamos ver como os bots ruins diferem dos bons.

Algumas estatísticas

GlobalDots 2019 Bad Bot Report, 39% - , . 20,4% , 17.5% - . , 2019 « » , « » . , , “”, , .

, , . , , - 22.9%, - - 17.9%.

: , , DDoS-, , , , - , - , - , , , - , .

. . , (, - -), , -.

(crawlers)

- , , , , , .. 30% -. : Googlebot, YandexBot, ematchers – , , YandexImages.

-

, , , , . : Amazon Echo, Google Home, Siri, . .

-, : , , . , . - Content ID YouTube, .

, Google Shopping. - , .

, (, , - ).

, whitelist Variti , , , preview - , - . , , ., AdSense-, , .

, , , , . .

, . . , - - . , , . .

. , , - , . .

, , , , - .. , , IP-, .

, . , Android , , . , , . , - , , , . , .

, , IP , . IP , CIDR-, .

“” IP , . , , , / IP . . , , token . . IP . , - , user agent -. .

. , , website.com/api. API, - , API IP . , API .

whitelists, IP , , – Variti, , Telegram- Variti .

, , . , , . - SMS-. , SMS- - . , . , . , SMS, .

, “”, . , 10 , 1000. robots.txt, , . , , . , - , .

- . - , IP-, , .. DDoS-. , .

, , . . . – , , . , .

GlobalDots 2019 Bad Bot Report 523 . « » (55,4%) Google Chrome. Firefox, - Android. Safari, Internet Explorer, Safari Mobile, Opera, Googlebot Bingbot .

, , , 20 , - , , Internet Explorer 5, 1999-. 0.8% Internet Explorer 7. , . , - , .

, 74% « » - advanced persistent bots (APB), , . , , IP-, -, Java- peer-to-peer , .

, , . , , .

Variti user agent, , IP , , , . , , ( Chrome, headless) , .

, , , , . .

, “ ”

“” , . , , . , , — . , , - - , .

, , , email. - , . , , .

Firefox, Chrome, Internet Explorer Safari , - , . .

robots.txt — , . , , . : , . , - - , robots.txt. - .

, , . , - - , (, - ), stealth-, , . - ?