A OpenAI disse que pausou o treinamento dos seus mais recentes modelos de inteligência artificial, conforme aumentam os relatos de agentes de IA se tornando descontrolados.
A decisão de interromper o desenvolvimento veio apenas horas após a empresa ter divulgado na sexta-feira que estava analisando vários incidentes do verão em que agentes da OpenAI que buscavam sites do governo federal agiram de maneiras inesperadas além do que lhes foi solicitado, enquanto coletavam e distribuíam informações.
Separadamente, o avaliador de IA Transluce disse que agentes que pareciam vir da OpenAI tentaram, sem sucesso, invadir um site do Departamento de Educação dos EUA, um detalhe que a OpenAI não confirmou.
A OpenAI afirmou em um comunicado que retomará o treinamento "apenas quando tivermos confiança de que dispomos de salvaguardas adicionais", acrescentando que espera ter que "pausar" novamente conforme a IA evolui e outros problemas surgem.
Na semana passada, o primeiro-ministro da Austrália, Anthony Albanese, revelou que um agente da OpenAI havia invadido o sistema nacional de saúde do governo – mas disse que nenhuma informação sensível havia sido comprometida.
Laboratórios de IA estão sob pressão de legisladores e especialistas em tecnologia para desacelerar o desenvolvimento a fim de construir barreiras de segurança que impeçam os agentes de agir por conta própria, invadir sites e divulgar informações não públicas. Os chefes tanto da OpenAI quanto do rival Anthropic também pediram uma desaceleração.
Invasão da OpenAI ao governo australiano revela a ansiedade no centro do dilema global da inteligência artificial
Leia mais
É a segunda vez em três meses que a OpenAI suspendeu o desenvolvimento dos seus modelos. O primeiro ocorreu em julho após a divulgação de um ciberataque contra a startup de IA Hugging Face, um incidente agora notório que levantou temores de que a indústria estava perdendo o controle.
Em uma reunião com o presidente chinês Xi Jinping nesta semana, Donald Trump concordou em compartilhar informações sobre os perigos da IA e coordenar esforços para mantê-la segura. Trump acredita, no entanto, que os medos em relação à IA são exagerados e, mais tarde, sugeriu que não planeja nenhuma repressão própria.
Os EUA não vão 'aplicar freios', disse Trump a repórteres fora da Casa Branca. "Eles querem parar nosso progresso porque estamos liderando a China por muito, e vamos manter isso assim",
Os incidentes mais recentes da OpenAI não pareceram envolver a divulgação de qualquer informação não pública, mas foram preocupantes o suficiente para que a empresa alertasse as agências federais envolvidas.
No incidente do departamento de educação, agentes da OpenAI encontraram 'chaves de desenvolvedor' de API para acessar dados governamentais, embora no final apenas informações publicamente disponíveis tenham sido coletadas.
Em outro caso envolvendo a Comissão de Valores Mobiliários (Securities and Exchange Commission), agentes encontraram informações livremente disponíveis a todos e depois as postaram em outro lugar na internet, um ato que ultrapassou o que eles foram instruídos a fazer.
O porta-voz da Securities and Exchange Commission dos EUA, Kurt Hopfenspirger, disse no sábado que "nenhuma informação não pública foi acessada".
O Departamento de Educação disse anteriormente que encontrou "nenhuma evidência de qualquer impacto em nosso site ou bancos de dados".
Várias outras empresas de IA divulgaram incidentes de seus modelos saírem do controle e até mesmo hackearem sites.
O CEO da OpenAI, Sam Altman, disse em uma postagem nas redes sociais na sexta-feira que o incidente Hugging Face "é ainda o evento mais grave que vimos".
A OpenAI anteriormente compartilhou seis outros relatórios de comportamento 'inesperado ou preocupante' em modelos de IA e introduziu um framework para rastrear, investigar e divulgar ocorrências.
