A OpenAI culpou o incidente de hacking pela desonestidade de seus modelos de IA. Aqui está o que você deve saber: NPR
ARQUIVO – O logotipo OpenAI é exibido em um telefone celular na frente de uma imagem criada pelo modelo de texto para imagem Dall-E do ChatGPT, 8 de dezembro de 2023, em Boston.
Michael Dwyer/AP
Ocultar legenda
Alternar título
Michael Dwyer/AP
A OpenAI, fabricante do ChatGPT, disse que ainda está investigando um “incidente cibernético sem precedentes” que levou seus sistemas de inteligência artificial a serem retirados de um ambiente de teste e invadidos por outra empresa de IA.
A OpenAI disse na terça-feira que dois de seus modelos de IA mais eficientes foram responsáveis por um ataque cibernético contra a startup de IA Hugging Face. O incidente está a suscitar debates sobre a necessidade de barreiras de proteção de IA mais fortes e a capacidade dos agentes de IA agirem por conta própria.
A Hugging Face detectou na semana passada uma intrusão em seu sistema de processamento de dados que suspeitava ter sido causada por um agente de IA agindo por conta própria. Mas a startup com sede em Nova York disse que não soube que a OpenAI era responsável até esta semana, e o CEO da Hugging Face, Clement DeLongue, trabalhou com uma empresa maior no que ele chamou de “um ataque diferente de tudo que vimos antes”.
A OpenAI, com sede em São Francisco, disse que sua IA usou credenciais roubadas e descobriu uma vulnerabilidade até então desconhecida para acessar os servidores do Hugging Face. Ele está operando com guarda-corpos reduzidos, pois deve estar em um ambiente de teste isolado conhecido como sandbox.
Mas fez de tudo para “atingir um objetivo de teste bastante restrito”, encontrando maneiras de se conectar à Internet sem orientação humana e “obtendo acesso a informações confidenciais que poderiam usar para enganar o avaliador”, disse a empresa.
Alguns especialistas dizem que a OpenAI está deturpando a tecnologia
Hannes Kools, cientista social da Universidade de Amsterdã, disse que enquadrar o ataque cibernético como um agente de IA agindo por conta própria é uma humanização desnecessária que tirará um pouco da pressão da empresa.
“Desligar certas salvaguardas é uma decisão humana”, disse Cools. “Não foi uma IA desonesta nesse sentido. Ela seguiu instruções específicas baseadas em um aviso dado a esse sistema de IA.”
Essas instruções, segundo a OpenAI, exigiam o uso de “caminhos de ataque sofisticados” para testar como a IA pode explorar um sistema de computador.
Mesmo assim, outros especialistas dizem que os modelos de IA com pouca orientação humana podem causar problemas com a inteligência que fala dos riscos. A OpenAI disse que a intrusão foi causada por uma combinação de seus modelos de IA, incluindo o recém-lançado GPT‑5.6 Sol e um modelo “ainda mais capaz” que ainda está sendo testado internamente.
“Ele saiu e fez esse hack, até onde sabemos”, disse Colin Shi-Blimier, pesquisador de segurança cibernética do Centro de Segurança e Tecnologias Emergentes da Universidade de Georgetown. “Este é o mais alto nível de autonomia que vimos no uso de um grande modelo de linguagem para operações cibernéticas”.
Como o agente de IA encontrou as chaves da ‘casa do professor’
Uma das descobertas mais surpreendentes, que Shea-Blymeier descreve como um ataque “quase completamente autodirigido”, é a decisão independente do agente de IA de atingir o Hugging Face, um conhecido centro e mercado de desenvolvimento de IA.
O ambiente interno da OpenAI para testar as capacidades e riscos da IA, disse ele, “funcionou um pouco como colocar um aluno em uma sala e dizer-lhe para ‘fazer coisas ruins. E então você tranca o quarto e sai para o fim de semana e volta e eles já saíram do quarto.”
Mas então um “agente de segurança cibernética testado saiu da sua caixa de proteção, teve acesso à Internet e perguntou: ‘Quem tem as respostas para o teste em que estou trabalhando?’ “
A resposta foi Hugging Face, um repositório de dados de testes de IA.
“Então os agentes pensaram: ‘Tudo bem, vamos para a casa do professor’, por assim dizer. E era um plano para invadir e roubar o gabarito de lá”, disse ele.
O hack destaca o debate sobre código aberto versus IA fechada
O hack surge num momento de intenso debate sobre os benefícios e riscos dos modelos de IA de código aberto, especialmente aqueles construídos na China que são mais baratos e estão a ser construídos por empresas de “IA de fronteira” sediadas nos EUA, como a Anthropic, Google e OpenAI.
Apesar do nome, os modelos do OpenAI são fechados. Hugging Face, por outro lado, é um grande defensor da tecnologia de código aberto, na qual os desenvolvedores tornam os componentes principais acessíveis para qualquer pessoa revisar, modificar e desenvolver.
O cofundador e diretor científico da Hugging Face, Thomas Wolff, disse que o ataque reforçou sua crença na importância do amplo acesso a modelos de código aberto para proteção da segurança cibernética. O abraço usa um modelo chinês para lidar com a intrusão facial.
“Quando um modelo fronteiriço ataca e se move lateralmente para a sua infraestrutura, os defensores precisam de acesso generalizado aos dispositivos fronteiriços em horas ou minutos, em vez de apontar para uma porta fechada”, escreveu Wolf numa publicação nas redes sociais.
