Seja cético em relação à história do falso agente hacker da OpenAI | John Thickston

Ón 14 de fevereiro de 2019 OpenAI anunciou um modelo de linguagem chamado GPT-2, um precursor dos modelos que alimentam os modernos chatbots e agentes de IA como ChatGPT e Claude. Mas a OpenAI declarou o GPT-2 muito arriscado para ser lançado, citando preocupações de segurança e abuso.

Lembro-me de ter ficado irritado na época em que a OpenAI fez um anúncio tão inútil: os riscos pareciam exagerados e sem acesso ao modelo não havia muito para um pesquisador como eu aprender sobre o GPT-2.

Ainda assim, o anúncio não foi inútil para a OpenAI. O GPT-2 gerou entusiasmo muito além da comunidade científica: as pessoas ficaram intrigadas com esta estranha nova tecnologia, tão poderosa que poderia ser perigoso publicá-la. Pessoas com poder e dinheiro perceberam: em julho daquele ano, a Microsoft investiu US$ 1 bilhão na OpenAI.

Este foi um dos primeiros exemplos de um padrão nas comunicações da OpenAI: proclame em voz alta o quão perigosa a IA é e os investidores ouvirão o quão poderosa ela é. Uma nova tecnologia tão significativa que poderia destruir o mundo foi uma mensagem esmagadora para os investidores habituados a falar sobre como as tecnologias banais poderiam mudar o mundo.

Sete anos depois, encontramo-nos num cenário semelhante. A OpenAI anunciou na terça-feira que seu modelo mais recente invadiu outra empresa, a HuggingFace, enquanto operava como agente autônomo durante um teste de suas capacidades de segurança cibernética. Em vez de realizar o teste conforme esperado, o modelo percebeu que poderia invadir os servidores do HuggingFace e recuperar as respostas dos testes que a OpenAI havia armazenado lá. A equipe da OpenAI foi avisada de que os testes da empresa poderiam levar a tal cenário de desligamento, deixando-os “não surpresos, mas completamente ‘aterrorizados’ com o incidente”. O FT informou.

Embora o agente tenha trapaceado tecnicamente, esta é uma excelente demonstração de experiência em segurança cibernética! Também parece assustador: como será o futuro, com agentes sofisticados de IA inteligentes o suficiente para invadir sistemas corporativos?

A história do agente desonesto é uma página da campanha mediática que a OpenAI tem travado desde o anúncio do GPT-2 em 2019. A OpenAI continua ávida por cada vez mais investimentos, e a empresa procura cada vez mais um estatuto regulamentar privilegiado como defesa contra a concorrência.

A IA é tão poderosa que os investidores deveriam comprar OpenAI, mesmo com uma avaliação de um trilhão de dólares; A IA é tão perigosa que apenas atores confiáveis ​​como a OpenAI deveriam ter permissão para possuir e operar esta tecnologia. Dê um passo atrás em relação a esses avisos apocalípticos e considere quem pode se beneficiar com eles.

OpenAI não é o único jogador no jogo

Recomendo aos leitores que pensem criticamente ao ler comunicados de imprensa, como a história do agente desonesto da OpenAI, e evitem as reações manipuladas que essas histórias pretendem provocar.

A IA está se tornando excelente na identificação de vulnerabilidades de segurança e ficará ainda melhor com o tempo. Esses recursos podem ser usados ​​para invadir sistemas, mas também podem ser usados ​​para proteger os sistemas contra ataques. Se os atacantes e os defensores tiverem acesso a uma inteligência artificial igualmente poderosa, não vejo razão para acreditar que os sistemas cibernéticos se tornarão menos seguros com o tempo. Na verdade, espero que se tornem mais seguros, já que a IA é barata e escalável em comparação com a análise de segurança cibernética humana.

No entanto, o equilíbrio entre ataque e defesa só funciona se todos tiverem acesso a uma IA forte. O próprio HuggingFace usou IA para analisar logs de segurança em resposta à violação do OpenAI em seus sistemas. Mas o HuggingFace não pôde usar o modelo da OpenAI, ou outros modelos de fronteira dos EUA, como Claude, para realizar esta análise. Isso ocorre porque as versões públicas desses modelos possuem proteções que limitam seu uso para análise de segurança cibernética, para evitar que atores mal-intencionados os utilizem para hackers. A HuggingFace teve que contar com um modelo chinês aberto, o GLM 5.2, para realizar sua análise de segurança.

Considero preocupante e um pouco irónico que a indústria da IA ​​dos EUA esteja a adoptar uma abordagem centralizada e autoritária à gestão da IA, enquanto a China assumiu a liderança no desenvolvimento de IA aberta. Queremos um ambiente regulatório onde apenas a OpenAI, o governo dos EUA e parceiros de confiança tenham acesso a uma IA poderosa? A IA é demasiado perigosa para ser generalizada? Como equilibrar os riscos do acesso generalizado à IA com os riscos do poder concentrado e do controlo centralizado?