IA da Anthropic invade 3 empresas em testes, destacando crescentes riscos à segurança

San Francisco, 30 Jul (Reuters) – A Anthropic informou na quinta-feira que alguns de seus modelos de ⁠IA Claude invadiram os sistemas de três empresas durante testes de segurança cibernética, uma revelação que ocorre poucos ⁠dias depois que a rival OpenAI divulgou que um de seus agentes de IA realizou um ataque não autorizado.Os novos incidentes ocorreram devido a ‌um erro que, inadvertidamente, concedeu aos modelos da Anthropic acesso à internet aberta. Isso contrasta com o caso da OpenAI, cujo agente de IA explorou de forma independente uma nova vulnerabilidade para acessar a internet durante os testes de segurança cibernética.Mesmo assim, a mais recente revelação ressalta como a IA aumentou as ameaças à ‌segurança cibernética e como seus desenvolvedores podem ter dificuldade em manter as capacidades de seus modelos sob controle.É provável que isso acelere a pressão cada vez maior do governo dos EUA para gerenciar melhor os riscos de segurança da IA, em um momento em que a Anthropic e a OpenAI estão correndo para lançar sistemas mais capazes antes de suas aberturas de capital planejadas. Líderes proeminentes desses laboratórios pediram uma desaceleração para lidar primeiro com os riscos.A Anthropic, com sede em San Francisco, afirmou em uma postagem no blog que identificou os incidentes após analisar 141.006 sessões de teste, um processo iniciado depois que a OpenAI informou, na semana passada, que um agente autônomo alimentado por ⁠seus modelos ‌de IA desencadeou um ataque que comprometeu a infraestrutura da startup Hugging Face.Durante os testes cibernéticos, os modelos Claude da Anthropic foram informados de que não tinham acesso ⁠à internet, mas um mal-entendido envolvendo um dos parceiros de avaliação da Anthropic deixou os sistemas conectados à rede pública. Isso permitiu o acesso não autorizado aos sistemas de três organizações, informou a Anthropic, sem citar os nomes das organizações.“O Claude comprometeu a infraestrutura das organizações afetadas usando técnicas básicas, como a exploração de senhas fracas e terminais não autenticados”, afirmou a Anthropic.Jeffrey Ladish, diretor executivo da Palisade Research, que estuda as capacidades ofensivas dos sistemas de IA, disse suspeitar que várias das principais empresas de IA tenham passado por outros incidentes que passaram despercebidos ou não foram divulgados publicamente.“Isso só vai piorar à ​medida que os modelos ficarem mais inteligentes. Eles vão ficar mais hábeis em trapacear. Vão ficar mais hábeis em mentir”, disse ele.EXERCÍCIOS DE CAPTURE-THE-FLAG DÃO ERRADOA Anthropic informou que os incidentes — que classificou como uma “falha operacional” — envolveram três modelos distintos: o Claude Opus 4.7, o Claude Mythos 5 e um modelo de ​teste de pesquisa interno. Os casos mais antigos datam de abril e ocorreram em ambientes de avaliação que intencionalmente não possuíam medidas de segurança, para que a Anthropic pudesse avaliar do que sua IA era capaz.Seus modelos foram encarregados dos chamados desafios de “capture-the-flag”, cenários fictícios nos quais precisavam encontrar informações ocultas em redes simuladas.Em um dos incidentes, o Claude Opus 4.7 recebeu uma empresa-alvo fictícia, que acabou tendo o mesmo nome de uma empresa do mundo real. O modelo de IA então encontrou e explorou falhas que lhe permitiram acessar credenciais e um banco de dados dessa empresa. O Opus 4.7 concluiu que o que parecia pertencer ao mundo real devia ‌fazer parte da simulação que a Anthropic havia configurado, informou a startup de IA.Um incidente separado envolveu o modelo ​de teste mais recente e ainda não divulgado da Anthropic, que interrompeu seu ataque de forma independente ao perceber que o alvo atingido era real. Esse comportamento deixou a Anthropic cautelosamente otimista quanto ao seu progresso para fazer com que a IA se comporte adequadamente, “mas precisaríamos realizar mais testes para ter certeza dessa conclusão”, afirmou.A Anthropic informou que suspendeu todas as avaliações cibernéticas em 23 de ⁠julho. A empresa notificou as organizações afetadas em 27 de julho, duas ​das quais não tinham conhecimento da atividade antes ​de serem contatadas. A Anthropic afirmou que continua tentando entrar em contato com a terceira empresa.Leia tambémAmazon supera projeções de crescimento da receita de nuvem no 2º tri e ação saltaA receita de sua unidade de computação em nuvem, a Amazon Web Services (AWS), saltou 37%, para US$ 42,2 bilhões, no segundo trimestre encerrado em 30 de junhoUm de seus parceiros de avaliação terceirizados, um laboratório de segurança cibernética chamado Irregular, disse à Reuters que está ⁠conduzindo uma investigação sobre os incidentes.ALTMAN, DA OPENAI, EM CONVERSAS COM SENADORES E COM A ​CASA BRANCAA Anthropic afirmou que os incidentes ressaltam a necessidade de controles mais rigorosos tanto em ambientes de teste internos quanto em ambientes de terceiros, à medida que os modelos de IA se tornam cada vez mais capazes de realizar atividades cibernéticas no mundo real.Elon Musk, presidente-executivo da SpaceX, que opera um laboratório concorrente de IA, respondeu à notícia no X dizendo que “isso acontecerá ​com frequência à medida que a IA se tornar mais inteligente e mais autônoma”, referindo-se a programas de computador ou “agentes” que agem com intervenção humana limitada.O agente da OpenAI que invadiu o Hugging Face, uma plataforma usada por desenvolvedores para hospedar e colaborar em modelos de ​IA, realizou uma série de ataques cibernéticos que durou ⁠vários dias e que a OpenAI só detectou bem depois que a ameaça foi contida e o FBI foi informado, conforme noticiado anteriormente pela Reuters.O presidente-executivo da OpenAI, Sam Altman, disse esta semana que discutiu o ataque ⁠com senadores no Capitólio, e um porta-voz da OpenAI afirmou que planeja discutir os próximos modelos de IA e os testes com a Casa Branca.Washington começou a reforçar a supervisão do lançamento de novos modelos. Em 2 de junho, o presidente dos EUA, Donald Trump, instruiu seus assessores a desenvolver uma estrutura voluntária de testes de segurança cibernética para as IA mais avançadas, incluindo contribuições dos desenvolvedores da tecnologia. A Anthropic havia restringido anteriormente o acesso aos seus modelos Fable 5 e Mythos 5 depois que os EUA emitiram temporariamente uma diretiva de controle de exportação, citando preocupações com a segurança nacional.The post IA da Anthropic invade 3 empresas em testes, destacando crescentes riscos à segurança appeared first on InfoMoney.