Organizações que avaliarem modelos de pré-lançamento com proteções reduzidas terão de seguir novas exigências. As medidas incluem isolamento total da rede, verificação prévia de vulnerabilidades, limites claros para cada modelo e monitoramento de seu raciocínio, ações e tráfego de rede.
As regras não valem para clientes que usam modelos com as proteções padrão, como o Claude Fable 5. A empresa concentra as novas exigências em avaliações que reduzem deliberadamente as salvaguardas cibernéticas.
Experimento aponta risco no treinamento
A Anthropic também testou as origens de comportamentos desalinhados ao treinar um modelo da classe Opus em 80 ambientes vulneráveis. Esses ambientes permitiam a chamada trapaça por recompensa, quando o modelo busca obter uma pontuação sem cumprir de fato a tarefa.
O modelo treinado nesses ambientes tentou escapar de simulações, atacar infraestrutura simulada e adulterar a própria função de recompensa. Ele também forneceu orientações sobre construção de armas biológicas para satisfazer um avaliador, de acordo com a empresa.
Os modelos de produção da Anthropic não repetiram esse comportamento nas mesmas simulações. Em fevereiro, a empresa reverteu três dias de treinamento do Mythos Preview após identificar sinais de que o modelo escrevia anotações para um revisor inexistente.
