É provável que isso acelere a pressão cada vez maior do governo dos EUA para gerenciar melhor os riscos de segurança da IA, em um momento em que a Anthropic e a OpenAI estão correndo para lançar sistemas mais capazes antes de suas aberturas de capital planejadas. Líderes proeminentes desses laboratórios pediram uma desaceleração para lidar primeiro com os riscos.
A Anthropic, com sede em San Francisco, afirmou em uma postagem no blog que identificou os incidentes após analisar 141.006 sessões de teste, um processo iniciado depois que a OpenAI informou, na semana passada, que um agente autônomo alimentado por seus modelos de IA desencadeou um ataque que comprometeu a infraestrutura da startup Hugging Face.
Durante os testes cibernéticos, os modelos Claude da Anthropic foram informados de que não tinham acesso à internet, mas um mal-entendido envolvendo um dos parceiros de avaliação da Anthropic deixou os sistemas conectados à rede pública. Isso permitiu o acesso não autorizado aos sistemas de três organizações, informou a Anthropic, sem citar os nomes das organizações.
“O Claude comprometeu a infraestrutura das organizações afetadas usando técnicas básicas, como a exploração de senhas fracas e terminais não autenticados”, afirmou a Anthropic.
Jeffrey Ladish, diretor executivo da Palisade Research, que estuda as capacidades ofensivas dos sistemas de IA, disse suspeitar que várias das principais empresas de IA tenham passado por outros incidentes que passaram despercebidos ou não foram divulgados publicamente.
“Isso só vai piorar à medida que os modelos ficarem mais inteligentes. Eles vão ficar mais hábeis em trapacear. Vão ficar mais hábeis em mentir”, disse ele.
