Facebook, Instagram e WhatsApp caíram: o comando que errou em 2021

Em 4 de outubro de 2021, um único comando de manutenção desligou a rede que liga os data centers da Meta e tirou Facebook, Instagram e WhatsApp do ar no mundo todo.

Não foi ataque. Quem diz é a própria empresa: em post de 5 de outubro, o executivo Santosh Janardhan escreveu que a queda não veio de atividade maliciosa, e sim de uma mudança de configuração feita por dentro. Cinco anos depois, o caso continua sendo a melhor aula de como a internet "some" sem que ninguém a derrube.

O comando que ninguém queria que derrubasse tudo

A Meta mantém uma rede própria, chamada de backbone, que liga todos os seus prédios de computadores. Janardhan descreve cabos de fibra óptica que cruzam o planeta e conectam cada data center da empresa.

Essa rede precisa de manutenção o tempo todo: trocar um cabo, aumentar capacidade, atualizar o software de um roteador. Segundo a Meta, foi numa dessas tarefas de rotina que alguém mandou um comando para avaliar a capacidade disponível do backbone global. O comando desligou todas as conexões do backbone ao mesmo tempo.

Pense numa casa em que você vai conferir quantos disjuntores estão ligados e, sem querer, o gesto derruba o quadro de luz inteiro.

Por que o sistema de proteção não segurou o erro

A Meta afirma que seus sistemas auditam comandos desse tipo justamente para impedir erros assim. Só que, nas palavras do post, um bug na ferramenta de auditoria fez com que ela não conseguisse barrar o comando.

Foi a primeira falha. A segunda veio logo atrás e piorou tudo.

O segundo erro: os endereços da Meta sumiram do mapa

Sempre que você digita facebook.com, algo precisa traduzir o nome para o endereço do servidor. Esse tradutor se chama DNS, e a Meta tem os seus próprios, em instalações menores que ficam perto da borda da internet.

Para o resto do mundo achar esses tradutores, a Meta os anuncia por um protocolo chamado BGP, uma espécie de aviso aos outros provedores: "o caminho para este endereço passa por aqui".

Há uma regra de segurança nesses servidores de DNS: se eles perdem contato com os data centers, entendem que a conexão está doente e retiram o anúncio BGP. Com o backbone inteiro desligado, todos fizeram isso ao mesmo tempo. A Meta resume o resultado assim: os servidores de DNS ficaram inalcançáveis mesmo funcionando, e a internet não conseguia mais encontrar os servidores da empresa.

Nenhum app tinha sido apagado. A estrada até eles é que tinha sido arrancada do mapa.

A linha do tempo, hora a hora (em Brasília)

A Cloudflare, empresa que opera o resolvedor de DNS público 1.1.1.1, acompanhou tudo de fora e publicou os horários em UTC. Convertidos para Brasília (UTC menos 3 horas), ficam assim:

• 12h40: a Cloudflare vê um pico de mudanças de rotas vindas do Facebook. É quando o problema começa.
• 12h51: a Cloudflare abre um incidente interno chamado "Facebook DNS lookup returning SERVFAIL", achando que o defeito podia estar no 1.1.1.1.
• 12h58: a empresa percebe que o Facebook parou de anunciar as rotas dos seus servidores de DNS.
• Por volta de 18h: nova atividade de rotas, que chega ao pico às 18h17.
• 18h20: facebook.com volta a resolver no 1.1.1.1. Às 18h28, a Cloudflare vê o Facebook reconectado à internet.

Pelas contas da própria Cloudflare, o endereço facebook.com ficou indisponível no 1.1.1.1 de cerca de 12h50 até 18h20 em Brasília. São cerca de cinco horas e meia sem o Facebook na internet, e os serviços ainda levaram mais tempo para voltar ao normal.

A Cloudflare relata que Facebook e os serviços afiliados WhatsApp e Instagram caíram juntos: os nomes deixaram de resolver e os endereços de infraestrutura ficaram inalcançáveis. Os testes publicados no post mostram, por exemplo, os resolvedores 1.1.1.1 e 8.8.8.8 devolvendo erro ao consultar whatsapp.com.

Por que os engenheiros não conseguiram consertar de longe

Aqui está a parte que mais surpreende. A Meta diz que os engenheiros enfrentaram dois obstáculos grandes. Primeiro, não dava para entrar nos data centers pelos meios normais, porque as redes estavam fora. Segundo, a perda total de DNS quebrou muitas ferramentas internas que a equipe usaria para investigar e resolver uma queda dessas.

Até o acesso de emergência, por rede separada, estava fora. A solução foi mandar engenheiros ao local. Só que esses prédios são desenhados com muita segurança física e de sistema: segundo o post, são difíceis de entrar, e o hardware e os roteadores são feitos para serem difíceis de modificar mesmo para quem está lá dentro. Ativar os protocolos de acesso seguro levou tempo extra.

Janardhan faz um comentário que vale ler com calma. A empresa tinha reforçado muito suas defesas contra acesso não autorizado, e foi "interessante" ver como isso atrasou a recuperação de uma queda causada por erro próprio. Ele afirma que a troca vale a pena: muito mais segurança no dia a dia em troca de uma recuperação mais lenta num evento que se espera raro.

Por que não ligaram tudo de uma vez

Reconectado o backbone, tudo voltou a funcionar. Mesmo assim, a Meta não religou os serviços de um só golpe. O motivo, segundo o post: ligar tudo de uma vez poderia causar uma nova rodada de falhas por causa do pico de tráfego.

Os data centers registravam quedas de consumo de energia na faixa de dezenas de megawatts. Reverter isso de repente colocaria em risco desde os sistemas elétricos até os caches.

A empresa diz que estava preparada por causa dos exercícios que chama de "tempestade" (storm), em que simula uma falha grande derrubando um serviço, um data center ou uma região inteira. Nunca tinham simulado a perda do backbone global, e a Meta afirma que vai procurar formas de simular eventos como esse. O retorno, segundo o post, ocorreu de forma relativamente rápida e sem novas falhas generalizadas.

O que a Meta disse sobre a causa e o que ela não disse

Fica registrado o que a empresa afirmou: comando de manutenção, bug na ferramenta de auditoria, servidores de DNS que se retiraram do mapa por regra própria. E nada de ataque.

O post de Janardhan não traz o número de usuários afetados nem a lista de apps na explicação técnica; ele fala em plataformas e serviços. A confirmação de que WhatsApp e Instagram estavam fora vem da Cloudflare, que mediu de fora. O post também não diz quem emitiu o comando. Por isso este texto não vai além do que as duas fontes dizem.

O que isso muda para quem usa WhatsApp no trabalho

Ninguém conseguiria resolver aquela queda do lado do celular. Reiniciar o aparelho, reinstalar o app ou trocar de Wi-Fi não ajudava, porque o problema estava fora da casa de quem usava. Se o seu negócio depende do WhatsApp, o caso mostra três cuidados baratos:

• Guarde o telefone e o e-mail dos clientes mais importantes fora do aplicativo, numa planilha ou na agenda do celular.
• Tenha um segundo canal combinado com quem te atende ou te paga, como ligação comum, SMS ou e-mail.
• Em dia de queda, confira primeiro se o problema é geral antes de mexer no aparelho.

Para contas que travam por outro motivo, o caminho é diferente: veja o passo a passo para recuperar o Facebook invadido e entenda o que a Meta anda mudando em outro produto no texto sobre os Instants do Instagram.

Como separar queda do serviço de problema no seu celular

Quando o app não abre, três sinais ajudam. Se outros apps e sites abrem normalmente, mas só um da mesma empresa falha, a chance de a queda ser do serviço cresce. Se os três da Meta caem ao mesmo tempo, como em 2021, é quase certo que o defeito está na infraestrutura dela. E se só o seu aparelho falha, o caminho é o de sempre: reiniciar, conferir a conexão e atualizar o app.

Em 2021, a própria Cloudflare só percebeu o tamanho do problema quando viu o resolvedor devolver erro para facebook.com. O erro, chamado SERVFAIL, significa que o tradutor de nomes não conseguiu resposta de quem deveria dá-la. Os resolvedores públicos, segundo o post, passaram a emitir e guardar essa resposta de erro, o que ajuda a explicar por que pedir de novo não resolvia.

O relato completo da Meta e a medição da Cloudflare continuam no ar, nos links das fontes, e são o melhor ponto de partida para quem quer conferir cada hora por conta própria.