IA foge de isolamento durante testes e ganha acesso à internet.

Resenha por Calien Alves

Revisado por Rafaela Lessa

Publicado por Bruno de luca

No dia 21 de Julho, a OpenAI, empresa criadora do Chat GPT, publicou em seu blog um artigo intitulado “OpenAI e Hugging Face se unem para tratar incidente de segurança durante avaliação de modelo”. Segundo a empresa e, posteriormente, conforme confirmado pela Hugging Face- corporação que armazena e disponibiliza bases de código e testes para o treinamento de IAs -, um novo agente de inteligência artificial teria sido capaz de escapar da contenção de um laboratório de testes, encontrar uma vulnerabilidade em seu ambiente de execução e, consequentemente, descobrir uma forma de invadir a infraestrutura da Hugging Face, obtendo acesso a dados confidenciais da empresa. Embora a história pareça absurda, especialistas acreditam que ambas as empresas realmente estejam realmente falando a verdade, uma vez que acidentes como esse são esperados devido à forma como essas tecnologias são desenvolvidas.

Os Modelos Transformadores com Blocos de Atenção, como são chamados no meio técnico, os modelos de Inteligência Artificial que conhecemos atualmente, passam por um processo de treinamento que lhes garante as capacidades exploradas no dia a dia. Durante este processo, a IA é submetida a uma ssérie de desafios, como completar trechos de textos, identificar objetos em imagens, produzir programas de computador ou encontrar vulnerabilidades nesses programas. Quanto maior a quantidade e a diversidade de desafios enfrentados, mais capaz tende a se tornar a IA.

Com a competição acirrada pelo desenvolvimento de IAs e o crescimento exponencial desse mercado, grande parte dos desafios disponíveis já foi explorada. Pense nisso como um grande banco de questões: A IA seria como um vestibulando qualquer, que precisa resolver exercícios para desenvolver seus conhecimentos. A diferença é que ela consegue responder a milhares e milhares de questões por segundo, enquanto nós nos limitamos a poucas dezenas por dia, quando muito. Entretanto, enquanto nós absorvemos conhecimento sobre o processo de resolução de uma questão, a IA aprende principalmente a partir dos resultados e dos padrões presentes nos dados. Isso impõe uma dificuldade ao processo de aprendizagem da máquina. Por isso, embora ela possa realizar essas tarefas muito mais rapidamente, a quantidade de questões necessárias para que domine determinado assunto é assustadoramente maior. É tão grande que, na realidade, nem mesmo com todas as questões de simulados e provas antigas possíveis e imagináveis a IA consegue alcançar precisão completa sobre qualquer assunto.

Embora existam métodos para a criação de novos desafios, eles requerem análise e aprovação humana para garantir a qualidade dos exercícios, em uma escala que os pesquisadores nem sempre conseguem acompanhar. Por isso, alguns bancos de testes são produzidos sem verificação humana e, consequentemente, podem conter desafios sem solução ou de baixa qualidade. Foi o que teria acontecido com o banco de dados utilizado no treinamento do agente que escapou do laboratório, chamado CyberGym.

Segundo s1r1us, pesquisador independente em cibersegurança de inteligências artificiais, o agente pode ter encontrado um desses desafios durante o processo de treinamento e tentado “trapacear” na avaliação. Isso teria ocorrido após constatar a impossibilidade de resolver o problema proposto, levando-o a alterar a resposta presente no gabarito.

Diferentemente do ser humano, a IA não possui uma concepção bem desenvolvida dos limites de sua própria capacidade. Assim, mesmo que tenha identificado que não seria capaz de resolver a questão proposta, ela ainda precisava cumprir o objetivo de obter uma boa avaliação e produzir uma resposta considerada adequada pelo algoritmo que a treina. Esse mecanismo ajuda a explicar um dos fenômenos conhecidos como “alucinação” em sistemas de IA. Quando uma inteligência artificial fornece uma informação incorreta sobre determinado assunto, ela pode, diante da ausência de uma resposta confiável, gerar uma informação plausível com base nos padrões que aprendeu, ainda que essa informação esteja errada.

Com a possibilidade de produzir um resultado plausível reduzida, o agente teria tentado alcançar seu objetivo por meio de uma espécie de trapaça. Se possuísse o gabarito da questão, não precisaria encontrar sua resolução. Dessa forma, teria encontrado uma maneira de conectar seu ambiente de execução à internet por meio de uma falha no processo de contenção e, então, invadido a infraestrutura da Hugging Face em busca do gabarito dos exercícios que estava resolvendo. O grande problema é que a base de testes utilizada no treinamento desse modelo não é disponibilizada pela Hugging Face, mas pelo GitHub, um site com propósito semelhante. Ainda assim, o agente teria conseguido acessar informações relacionadas ao conteúdo. Esse episódio demonstra uma falha preocupante na linha de raciocínio do modelo, especialmente considerando as consequências de suas ações.

Outra possibilidade levantada pelo pesquisador é a de que o objetivo da IA tenha se modificado para além daquele inicialmente estipulado pelos pesquisadores da OpenAI, levando-a ao incidente. Isso poderia ter ocorrido devido a outro fator que dificulta a aprendizagem desse tipo de modelo: sua memória limitada. Conforme o modelo foi perdendo informações sobre o objetivo original, pode ter reconstruído sua finalidade de maneira equivocada, utilizando como base o contexto mais recente. Seria como se estivesse jogando telefone sem fio consigo mesmo: ao final, aquilo que antes significava “resolva a questão apresentada” poderia ter se transformado em “encontre a resposta certa”. Dessa forma, o agente teria agido de acordo com essa nova interpretação.

O avanço desregulado das inteligências artificiais, diante de suas falhas e das preocupações relacionadas à segurança, representa uma ameaça real à sociedade humana. Embora organizações independentes aleguem que essas empresas não estejam se preocupando suficientemente com a segurança da população humana, o debate sobre os impactos dessa tecnologia vai além dos próprios sistemas de IA. Diariamente, agências de notícias independentes trazem à tona possíveis violações de leis ambientais que passam sem fiscalização devido à influência de grupos de interesse e também apontam que violações de direitos humanos em países subdesenvolvidos podem estar associadas a diferentes setores desse mercado.

Outra preocupação levantada por esses comunicadores é a possibilidade de não sermos capazes de controlar adequadamente determinados agentes de inteligência artificial, como demonstraria o incidente aqui relatado. Afinal, à medida que a inteligência artificial se torna cada vez mais presente em nossa sociedade, eventuais falhas podem produzir consequências igualmente maiores. Ao mesmo tempo, as IAs abrem novas fronteiras para a ciência e para o cotidiano, tornando mais acessível e palpável o vasto conhecimento que nos cerca.

Gostou? Compartilhe!