Modelos populares de geração de imagens podem produzir fotos identificáveis de pessoas reais, potencialmente ameaçando a privacidade delas, de acordo com uma nova pesquisa. O trabalho também mostra que esses sistemas de Inteligência Artificial (IA) podem ser criados para produzir cópias exatas de imagens médicas e trabalhos protegidos por direitos autorais. É uma descoberta que pode fortalecer as acusações feitas por artistas que atualmente estão processando empresas de IA pela violação desses direitos.
Para conseguir os resultados, os pesquisadores, do Google, da DeepMind, da Universidade da Califórnia em Berkeley, do ETH Zürich e de Princeton, inseriram nos modelos Stable Diffusion e Imagen do Google legendas para imagens, sendo elas muitas vezes o nome de uma pessoa. Em seguida, eles analisaram se alguma das produções geradas correspondia às imagens originais no banco de dados do modelo. O grupo conseguiu extrair mais de 100 réplicas de imagens no conjunto de treinamento da IA.
Esses modelos de IA geradores de imagens são treinados em vastos conjuntos de dados que consistem em imagens com descrições de texto que foram extraídas da Internet. Essa tecnologia de ponta funciona pegando imagens no conjunto de dados e alterando um pixel por vez até que a imagem original não seja nada além de uma coleção de pixels aleatórios. O modelo de IA, em seguida, reverte o processo para transformar a bagunça pixelizada em uma nova imagem.
Esta é a primeira vez que os pesquisadores conseguiram provar que esses modelos de IA memorizam imagens em seus conjuntos de treinamento, diz Ryan Webster, aluno de doutorado da Universidade de Caen Normandy, na França, que estudou privacidade em outros modelos de geração de imagens, mas não foi envolvido na pesquisa. Isso pode ter implicações para startups que desejam usar modelos generativos de IA na área da saúde, porque é uma prova de que esses sistemas correm o risco de vazar informações privadas confidenciais. A OpenAI, o Google e a Stability.AI não responderam aos pedidos de comentários da MIT Technology Review americana.
Eric Wallace, um estudante de doutorado da Universidade da Califórnia em Berkeley que fazia parte do grupo de estudo, diz que espera que isso possa alertar sobre os possíveis problemas de privacidade em torno desses modelos de IA antes que eles sejam amplamente implementados em setores sensíveis como a medicina.
“Muitas pessoas são tentadas a aplicar esses tipos de abordagens generativas a dados confidenciais, e nosso trabalho é definitivamente um alerta de que essa provavelmente é uma má ideia, a menos que medidas extremas de segurança sejam tomadas para evitar [violações de privacidade],” Wallace diz.
Como esses modelos de IA memorizam e regurgitam imagens de seus bancos de dados também é a causa de uma grande disputa entre empresas de IA e artistas. A Stability.AI está enfrentando dois processos de um grupo de artistas e da Getty Images, que argumentam que a empresa extraiu e incorporou ilegalmente seus materiais protegidos por direitos autorais.
As descobertas dos pesquisadores, portanto, podem fortalecer o caso de artistas que acusam empresas de IA de cometer essas violações. Se os artistas cujos trabalhos foram usados para treinar a Stable Diffusion puderem provar que o modelo os copiou sem permissão, a empresa pode ter que compensá-los.
As descobertas são oportunas e importantes, diz Sameer Singh, professor associado de ciência da computação na Universidade da Califórnia, em Irvine, que não participou da pesquisa. “Isso é importante para a conscientização do público e para iniciar discussões sobre segurança e privacidade desses grandes modelos”, acrescenta.
Além disso, a pesquisa demonstra que é possível descobrir se os modelos de IA copiaram imagens e medir até que ponto isso aconteceu, aspectos muito valiosos a longo prazo, diz Singh.
O Stable Diffusion é de código aberto, o que significa que qualquer pessoa pode analisá-lo e investigá-lo. Já o Imagen é fechado, mas o Google concedeu acesso aos pesquisadores. Singh diz que o trabalho é um ótimo exemplo de como é importante dar acesso a esses modelos para análise de pesquisadores, e ele argumenta que as empresas devem ser igualmente transparentes com outros modelos de IA, como o ChatGPT da OpenAI.
No entanto, embora os resultados sejam impressionantes, eles vêm com algumas ressalvas. As imagens que os pesquisadores conseguiram extrair apareceram várias vezes nos dados de treinamento ou eram altamente incomuns em relação a outras imagens no conjunto de dados, diz Florian Tramèr, professor assistente de ciência da computação na ETH Zürich, na Suíça, que fazia parte do grupo.
Ou seja, pessoas que tenham uma aparência incomum ou têm nomes incomuns correm maior risco de serem memorizadas pelos modelos, diz Tramèr.
Os pesquisadores só conseguiram extrair relativamente poucas cópias exatas das fotos dos indivíduos do modelo de IA: apenas uma em um milhão de imagens eram cópias, de acordo com Webster.
Mas isso ainda é preocupante, diz Tramèr: “Eu realmente espero que ninguém olhe para esses resultados e diga ‘Ah, na verdade, esses números não são tão ruins se for apenas uma em um milhão.’”
“O fato de serem maiores que zero é o que importa”, acrescenta.
MIT Technology Review
