- Os sites desaparecem da pesquisa do Google e desaparecem no esquecimento
- Os vídeos do YouTube são desonetizados e os criadores estão perdendo receita
- Os aplicativos Android desaparecem do Google Play e não podem alcançar seus usuários
- APIs estão se tornando mais caras ou simplesmente desatualizadas
- Por último, mas não menos importante, uma contrapartida pessoal de tudo isso: as pessoas perdem o acesso às suas contas do Gmail e a toda a sua vida digital.
Juro que li o FAQ!
Tudo vai de acordo com um cenário. No início, as empresas usam deliberadamente os serviços do Google de uma forma que depende inteiramente deles para sua sobrevivência. Em seguida, o gigante automatizado do Google faz seu trabalho: muda ligeiramente a posição de sua bunda em uma cadeira de couro do tamanho de um planeta e, sem perceber, destrói uma miríade de (relativamente) pequenas empresas do tamanho de uma formiga no processo. E, finalmente, empresas do tamanho de formigas estão desesperadas para dizer ao Google que estão arrasadas, mas só podem se comunicar com um formulário de sugestão automatizado.
Às vezes, um CEO do tamanho de uma formiga conhece alguém no Google porque eram colegas de faculdade, ou um CTO escreve um post que de alguma forma acaba na primeira página do Hacker News. Então, o Google percebe o problema e às vezes o considera digno de uma solução, geralmente por medo das implicações regulatórias que a revolução das formigas poderia ter.
Por esse motivo, a sabedoria convencional das formigas dita que você não deve depender excessivamente dos serviços do Google. E se você conseguir evitar esse vício, tudo ficará bem.
Uma superfície azul tão plana com um telhado vermelho legal! Tão conveniente!
O que há de novo sob a lua
Na série de hoje "A Internet não era o que era antes", falaremos sobre uma nova maneira como o Google pode inadvertidamente sobrecarregar sua startup. Não exige que você use os serviços do Google de nenhuma forma (intencional) .
Você sabia que seus domínios podem ser colocados na lista negra do Google sem nenhum motivo específico e que essa lista negra é usada não apenas pelo Google Chrome, mas também por vários outros fornecedores de software e hardware? Você sabia que esses outros fornecedores sincronizam a lista com cronogramas e interpretações que mudam radicalmente, de modo que a solução de quaisquer problemas se torna extremamente estressante e imprevisível? Ao mesmo tempo, os termos de processamento de reclamações sobre a lista negra do Google são medidos em semanas?
Agora é assim que seu site ou aplicativo SaaS se parece.
Esse "recurso" da lista negra é chamado de Navegação segura do Google e, na imagem acima, você pode ler a mensagem que os visitantes do seu site veem se um dos domínios está incluído no banco de dados de Navegação segura. Os textos de aviso variam de “site falso” a “site contém malware” (lista completa aqui ), mas todos eles são colocados contra um fundo vermelho igualmente assustador que tenta impedir o usuário de acessar o site tanto quanto possível.
A primeira vez que ouvimos sobre o problema foi devido a um aumento nas reclamações de clientes que encontraram esse aviso vermelho ao tentar usar nosso aplicativo SaaS. Na segunda vez estamos mais bem preparados, então já temos tempo livre para escrever este post.
Nossa empresa InvGate - é uma plataforma SaaS para departamentos de TI, trabalhando em AWS. Atende mais de 1000 clientes corporativos e milhões de usuários finais. As empresas usam o produto para gerenciar tíquetes e solicitações de seus usuários. Você pode imaginar a reação dos gerentes de TI quando, de repente, seu sistema de tíquetes começa a mostrar aos usuários finais avisos de segurança ameaçadores.
Quando encontramos esse problema pela primeira vez, estávamos desesperados para entender o que estava acontecendo e entender como o Google Safe Browsing (GSB) funciona, enquanto o suporte técnico tentava lidar com o fluxo de solicitações dos clientes. Percebemos rapidamente que a URL para o Amazon Cloudfront CDN , a partir do qual servíamos recursos estáticos (CSS, Javascript, etc.), entrou no banco de dados GSB e isso fez com que todo o aplicativo travasse para clientes que usassem esse CDN específico. Uma rápida olhada no sistema rotulado mostrou que tudo parece bem.
Enquanto a equipe de Devops estava trabalhando com pressa para configurar um novo CDN e se preparar para mover clientes para um novo domínio, encontrei na documentação do Google que via Google Search Console(GSC), você pode obter explicações adicionais sobre os motivos pelos quais o site está sinalizado no banco de dados. Não vou aborrecê-lo com os detalhes, mas para acessar essas informações, você deve provar que é o proprietário do site , para fazer isso, configure um registro DNS personalizado ou carregue alguns arquivos para a raiz do domínio. Conseguimos - e em 20 minutos recebemos um relatório sobre nosso site.
O relatório era mais ou menos assim:
Isto não é ... particularmente informativo
O relatório também tinha um botão Solicitar revisão, no qual cliquei rapidamente sem realmente realizar nenhuma ação no site, pois não havia informações sobre o suposto problema. Enviei uma reclamação com a observação de que não havia URLs maliciosos listados, embora a documentação diga que o Google sempre fornece URLs de amostra para ajudar os webmasters a identificar problemas.
Bem! Uma solicitação de verificação de um relatório inválido pode tornar as verificações futuras ainda mais lentas.
Cerca de uma hora depois, o site foi removido do banco de dados GSB, nem terminamos de retirar clientes deste CDN. Cerca de duas horas depois, um e-mail automático chegou confirmando que a verificação foi bem-sucedida. Nenhum esclarecimento sobre o que causou o problema.
O que aconteceu depois
Durante a semana seguinte ao incidente, continuamos a receber relatórios periódicos de problemas de acesso dos clientes.
A Navegação segura do Google fornece duas APIs diferentes para uso em produtos comerciais e não comerciais. No nosso caso, o problema era reproduzível em pelo menos alguns usuários do Firefox, bem como em alguns antivírus e dispositivos de segurança de rede. Eles marcaram nosso site e bloquearam o acesso a ele muitos dias depois .
Continuamos a migrar todos os clientes do CDN antigo para o novo e, assim, resolvemos o problema para sempre. Nunca descobrimos realmente o motivo e atribuímos a culpa a alguma IA doida na sede do Google.
Como evitar que a Navegação segura do Google codifique seu site
Se você administra um negócio SaaS e promete aos clientes disponibilidade garantida, listar no Google Safe Browsing sem motivo específico é um risco comercial muito real.
Infelizmente, devido ao mecanismo puramente opaco do Google para marcar e visualizar sites, é improvável que isso seja evitado. Mas você certamente pode projetar seu aplicativo e processos para minimizar a probabilidade de isso acontecer, reduzir o impacto da lista negra real e minimizar o tempo que leva para resolver o problema.
Aqui estão as etapas que estamos tomando e que posso recomendar:
- . , GSB . , . , company.om , app.company.net , eucdn.company.nt , useastcdn.company.nt . .
- . - , SaaS . , , . , , . , companyusercontent.cm .
- Google Search Console. , , . , , .
- Esteja preparado para alterar seu domínio, se necessário . Esta é a coisa mais difícil de fazer, mas é a única ferramenta eficaz de anti-lista negra: sistemas de design para que os nomes de domínio de serviço possam ser facilmente alterados (por meio de scripts ou ferramentas de orquestração). Por exemplo, suponha que eucdn.company2.net tenha um registro CNAME para eucdn.company.net e, se o primeiro estiver bloqueado, atualize a configuração do aplicativo para carregar recursos de um domínio alternativo.
O que fazer se seu aplicativo SaaS ou site estiver na lista negra do Google Safe Browsing
Aqui está o que eu recomendaria:
- Se você puder alternar de forma fácil e rápida seu aplicativo para outro domínio, esta é a única maneira de resolver o incidente de forma confiável, rápida e supostamente definitiva . Se você puder, faça isso. Isso é tudo.
- , , Google Search Console. , , .
- , (, ), . Safe Browsing , , .
- , , , . .
Alguns meses após o primeiro incidente, recebemos um e-mail do Search Console informando que um de nossos domínios foi novamente colocado na lista negra. Algumas horas depois, como administrador de domínio do G Suite, recebi outro e-mail interessante, que você pode ler abaixo.
O "sc" em sc-noreply@google.com significa Search Console.
Deixe-me explicar com minhas próprias palavras o que é, porque é simplesmente alucinante. Este é um aviso por e-mail do Search Console sobre estar na lista negra. Este segundo e-mail diz que o filtro automático de e-mail de phishing do G Suite considera este e-mail do Google Search Console falso . Claro que não.porque nosso domínio estava realmente na lista negra. Portanto, o Google nem consegue decidir se seus próprios alertas de phishing são phishing . (Ri muito?)
Alguns pensamentos desagradáveis sobre o futuro da internet
Para qualquer pessoa da indústria de tecnologia, está bastante claro que os grandes gigantes da tecnologia são praticamente os guardiões da Internet. Mas antes, eu interpretei em um sentido metafórico livre. O incidente de Navegação segura descrito aqui deixou muito claro que o Google controla literalmente quem pode acessar seu site, não importa onde e como você o opera. Como o Chrome responde por cerca de 70% do mercado e o Firefox e o Safari até certo ponto usam o banco de dados GSB, o Google pode tornar qualquer site quase inacessível na Internet com um toque de um dedo.