A Califórnia publicou nesta sexta-feira (18) uma ordem executiva para acelerar a supervisão independente de sistemas de inteligência artificial. O texto também pede recomendações para avançar um mecanismo de desligamento de emergência, o chamado “kill switch”, em modelos de fronteira.
O detalhe importante está no verbo: a Califórnia ainda não tornou esse mecanismo obrigatório. A ordem determina que a Government Operations Agency, em conjunto com o escritório estadual de emergências, reúna especialistas nacionais e entregue recomendações em até dois meses. Entre as propostas a estudar está a verificação contínua da eficácia do desligamento por uma organização independente.
Auditoria fora do laboratório
A medida acelera a implementação de duas leis estaduais recentes. A SB 813 criou uma estrutura para certificar organizações independentes capazes de avaliar riscos e segurança de modelos. A AB 1405 estabeleceu um registro de auditores de IA e regras sobre independência, transparência e integridade.
A ordem agora pede que o grupo avalie exigências mais concretas: verificadores externos trabalhando dentro dos laboratórios, validação independente de planos de segurança e relatórios de risco, além da atualização da definição de incidente crítico para incluir situações de perda de controle.
Isso muda o foco da governança. Em vez de aceitar apenas o relatório produzido pelo próprio desenvolvedor, a proposta aproxima a auditoria do ciclo real de construção e operação do modelo. Para quem trabalha com software regulado, a lógica é familiar: controles importantes precisam ser testáveis, repetíveis e separados de quem entrega o sistema.
Um botão não resolve sozinho
“Kill switch” é uma expressão visualmente poderosa, mas simplifica um problema técnico difícil. Modelos podem estar distribuídos entre regiões, integrados a agentes e conectados a serviços de terceiros. Desligar um endpoint não necessariamente interrompe cópias, tarefas já delegadas ou credenciais em uso.
Por isso, a parte mais relevante da ordem talvez seja menos cinematográfica: verificar continuamente se o mecanismo funciona. Um controle de emergência só existe de verdade quando há inventário de dependências, isolamento de credenciais, trilhas de auditoria, testes periódicos e responsáveis claros para acioná-lo. Sem isso, o grande botão vermelho vira decoração cara.
O impacto para empresas de IA
As recomendações ainda passarão por elaboração e poderão exigir novas mudanças na legislação estadual. Mesmo assim, a direção é clara. Empresas que desenvolvem modelos de fronteira na Califórnia podem enfrentar uma camada adicional de verificação independente sobre avaliações de risco, planos de segurança e resposta a incidentes.
Para times que consomem esses modelos, a discussão também importa. Contratos de continuidade, rotas de contingência e capacidade de trocar de provedor deixam de ser apenas temas de custo. Se um modelo crítico precisar ser interrompido, a arquitetura do cliente precisa degradar com segurança.
A Califórnia está tentando transformar uma metáfora simples em um controle verificável. O teste real não será criar o botão, mas provar que toda a cadeia sabe o que acontece quando alguém precisa apertá-lo.