Os agentes desonestos da OpenAI são um alerta para os riscos representados pela inteligência artificial | Shakeel Hashim

Na semana passada, a Hugging Face – uma empresa que hospeda modelos e conjuntos de dados de inteligência artificial – foi hackeado.

Depois de relatar o incidente à polícia, poucos poderiam ter previsto o que se seguiria: os culpados descoberto serem agentes de IA da OpenAI, que saíram das restrições e agiram à vontade.

O incidente parece ficção científica: a IA escapa e entra autonomamente nas empresas. Mas é tudo muito real – e tão assustador quanto parece. É uma demonstração concreta de algo que não podemos mais evitar: os sistemas de IA tornaram-se extremamente poderosos e parece que não os temos maneiras confiáveis restringindo seu comportamento.

OpenAI era avaliando as capacidades de dois de seus modelos em um teste que levou à descoberta – incluindo um ainda não disponível publicamente. Os modelos, ambos trabalhando em um ambiente supostamente seguro e sem acesso à Internet, foram convidados a resolver um desafio de hacking. No entanto, em vez de resolverem sozinhos, eles decidiram que seria mais fácil trapacear. Eles usaram seus recursos avançados para sair de seu ambiente seguro, acessar a Internet e depois invadir os sistemas do Hugging Face para roubar as respostas. Eles trabalharam nisso durante todo o fim de semana – aparentemente sem que ninguém na OpenAI percebesse.

Embora os modelos funcionassem com alguns de seus guarda-corpos desativados, eles ainda apresentavam um bom desempenho fora dos limites existentes. De acordo com OpenAInão foram instruídos a sair de sua sandbox ou invadir outra empresa, e é seguro presumir que ninguém na OpenAI pediu para fazer isso.

Nem os modelos estavam agindo de forma maliciosa: eles não eram Exterminadores malvados dispostos a causar estragos. Em vez disso, o roteiro é quase assustador em sua banalidade. Foi dada aos modelos uma tarefa muito limitada, mas adoptaram uma forma indesejável e inaceitável para a alcançar – uma que teve consequências no mundo real.

Os pesquisadores de segurança de IA vêm alertando sobre esse tipo de problema de incentivo há anos. O filósofo Nick Bostrom popularizou-o em 2003 com o seu experimento mental “maximizador de clipes de papel”: uma inteligência artificial avançada, com o objetivo de produzir clipes de papel, poderia fazer de tudo para fazê-lo. Poderia invadir a rede elétrica e as fábricas para desviá-las para a produção de alimentos básicos. No final, a máquina – perseguindo incansavelmente o seu próprio objetivo – decide matar todos os humanos, reaproveitando os nossos átomos para fazer mais clipes de papel. Em outras palavras, uma meta não precisa ser sinistra para levar ao desastre. Uma tarefa trivial, perseguida com bastante obstinação, pode.

No cenário OpenAI-Hugging Face, pouco dano é causado. Hugging Face teve que dedicar tempo para lidar com o incidente, mas parece que nenhum dado particularmente sensível foi roubado. Não é difícil imaginar, no entanto, que a situação poderia acabar muito pior: um agente de IA desonesto quebra acidentalmente uma peça crítica da infraestrutura da web ou rouba o dinheiro de alguém. O um cenário de pesadelo para muitos pesquisadores a IA é um modelo “exfiltrado” – copiado para servidores que controles, para que ele não possa ser desligado, mesmo que seu mau comportamento seja eventualmente descoberto.

O incidente desta semana deveria servir como um alerta, forçando-nos a fazer uma pergunta incómoda: Deveríamos realmente construir sistemas perigosos que não possamos controlar?

• Shakeel Hashim é o editor Transformadorpublicação sobre o poder e a política da IA ​​transformadora