A comunidade de Inteligência Artificial (IA) está finalmente acordando para o fato de que o machine learning pode causar danos desproporcionais a grupos já oprimidos e desfavorecidos. Temos ativistas e militantes para agradecer por isso. Agora, pesquisadores e acadêmicos de machine learning estão procurando maneiras de tornar a IA mais justa, responsável e transparente – mas também mais participativa.
Um dos eventos mais empolgantes e com boa participação da International Conference on Machine Learning em julho foi chamado de “Abordagens Participativas de Machine Learning”. Este workshop aproveitou o interesse da comunidade de construir sistemas algorítmicos mais democráticos, cooperativos e equitativos, incorporando métodos participativos em seu design. Esses métodos trazem para o processo de design aqueles que interagem e são afetados por um sistema algorítmico – por exemplo, pedir a enfermeiras e médicos para ajudar a desenvolver uma ferramenta de detecção de sepse.
Esta é uma intervenção muito necessária no campo de machine learning, que pode ser excessivamente hierárquica e homogênea. Mas não é uma solução milagrosa: na verdade, a “apagamento da participação” pode se tornar a próxima moda perigosa da área.
Isso é o que eu, junto a meus co-autores Emanuel Moss, Olaitan Awomolo e Laura Forlano, argumentamos em nosso artigo recente “A participação não é uma correção de design para o machine learning“.
Ignorar padrões de opressão e privilégio sistêmico leva a incontáveis sistemas de machine learning que são profundamente injustos e pouco transparentes. Esses padrões têm permeado a área nos últimos 30 anos. Enquanto isso, o mundo assistiu ao crescimento exponencial da desigualdade de riqueza e às mudanças climáticas causadas pelos combustíveis fósseis. Esses problemas estão enraizados em uma dinâmica chave do capitalismo: extração. A participação também é frequentemente baseada na mesma lógica extrativa, especialmente quando se trata de machine learning.
A participação não é gratuita
Vamos começar com esta observação: a participação já é uma grande parte do machine learning, mas de maneiras problemáticas. Uma delas é a participação como trabalho.
Independentemente de seu trabalho ser reconhecido ou não, muitos participantes desempenham um papel importante na produção de dados que são usados para treinar e avaliar modelos de machine learning. Fotos que alguém tirou e postou são retiradas da web, e os trabalhadores com baixos salários em plataformas como Amazon Mechanical Turk tomam nota dessas fotos para transformá-las em dados de treinamento. Os usuários comuns de sites também fazem essa anotação ao preencher um reCAPTCHA. E há muitos exemplos do que é conhecido como trabalho fantasma – termo da antropóloga Mary Gray para todo o trabalho nos bastidores que faz com que sistemas aparentemente automatizados funcionem. Grande parte dessa participação não é devidamente compensada e, em muitos casos, nem mesmo reconhecida.
A participação como consultoria, por sua vez, é uma tendência observada em áreas como o design urbano e, cada vez mais, no machine learning também. Mas a eficácia dessa abordagem é limitada. Geralmente é de curta duração, sem nenhum plano para estabelecer parcerias significativas de longo prazo. As preocupações com a propriedade intelectual tornam difícil examinar verdadeiramente essas ferramentas. Como resultado, essa forma de participação é muitas vezes meramente performativa.
Mais promissora é a ideia de participação como justiça. Aqui, todos os membros do processo de design trabalham juntos em relações estreitamente integradas com comunicação frequente. A participação como justiça é um compromisso de longo prazo que se concentra no design de produtos guiados por pessoas de diversas origens e comunidades, incluindo a comunidade de deficientes, que há muito desempenha um papel de liderança aqui. Este conceito tem importância social e política, mas as estruturas de mercado capitalistas tornam quase impossível uma boa implementação.
O machine learning estende as prioridades mais amplas do setor de tecnologia, que se concentram em escala e extração. Isso significa que o machine learning participativo é, por enquanto, um paradoxo. Por padrão, a maioria dos sistemas de machine learning tem a capacidade de vigiar, oprimir e coagir (inclusive no local de trabalho). Esses sistemas também têm maneiras de “manipular” consentimento – por exemplo, exigindo que os usuários optem por sistemas de vigilância para usar certas tecnologias, ou implementando configurações padrão que os desencorajam de exercer seu direito à privacidade.
Diante disso, não é surpresa que o machine learning deixe de levar em consideração a dinâmica de poder existente e adote uma abordagem extrativa para a colaboração. Se não tomarmos cuidado, o machine learning participativo pode seguir o caminho da ética da IA e se tornar apenas mais um modismo usado para legitimar a injustiça.
Uma maneira melhor
Como podemos evitar esses perigos? Não existe uma resposta simples. Mas aqui estão quatro sugestões:
Reconheça a participação como trabalho. Muitas pessoas já usam sistemas de machine learning no decorrer do dia. Muito desse trabalho mantém e melhora esses sistemas e, portanto, é valioso para os proprietários dos sistemas. Para reconhecer isso, todos os usuários devem ser solicitados a consentir e receber formas de optar por sair de qualquer sistema. Se eles escolherem participar, eles devem receber uma compensação. Fazer isso pode significar esclarecer quando e como os dados gerados pelo comportamento de um usuário serão usados para fins de treinamento (por exemplo, por meio de um banner no Google Maps ou uma notificação opt-in). Significaria também fornecer suporte apropriado para moderadores de conteúdo, compensando de forma justa os trabalhadores fantasmas e desenvolvendo sistemas de recompensa monetária ou não monetária para compensar os usuários por seus dados e trabalho.
Faça um contexto de participação específico. Em vez de tentar usar uma abordagem única para todos, os tecnólogos devem estar cientes dos contextos específicos em que operam. Por exemplo, ao projetar um sistema para prever a violência juvenil e de gangues, os tecnólogos devem reavaliar continuamente as maneiras como se baseiam na experiência vivida e no conhecimento do domínio, e colaborarem com as pessoas para as quais projetam. Isso é particularmente importante porque o contexto de um projeto muda com o tempo. Documentar até mesmo pequenas mudanças no processo e no contexto pode formar uma base de conhecimento para uma participação efetiva de longo prazo. Por exemplo, apenas médicos devem ser consultados no um sistema de machine learning para atendimento clínico, ou enfermeiros e pacientes também devem ser incluídos? Deixar claro por que e como certas comunidades foram envolvidas tornam tais decisões e relacionamentos transparentes, responsáveis e práticos.
Planeje uma participação de longo prazo desde o início. As pessoas são mais propensas a permanecer envolvidas nos processos ao longo do tempo se forem capazes de compartilhar e obter conhecimento, em oposição a ter que extraí-lo deles. Isso pode ser difícil de conseguir no machine learning, especialmente para casos de design patenteados. Aqui, vale a pena reconhecer as tensões que complicam a participação de longo prazo no machine learning e reconhecer que a cooperação e a justiça não se expandem sem atrito. Esses valores exigem manutenção constante e devem ser articulados continuamente em novos contextos.
Aprenda com os erros do passado. Mais danos podem ser causados ao replicar as maneiras de pensar que originalmente produziram tecnologia prejudicial. Nós, como pesquisadores, precisamos aumentar nossa capacidade de pensamento lateral em aplicações e profissões. Para facilitar isso, a comunidade de machine learning e design poderia desenvolver um banco de dados pesquisável para destacar as falhas de participação (como o projeto da enseada do Sidewalk Labs em Toronto). Essas falhas, por sua vez, podem ser cruzadas com conceitos socio estruturais (como questões relativas à desigualdade racial). Esse banco de dados deve cobrir projetos de design em todos os setores e domínios, não apenas aqueles em machine learning, e reconhecer explicitamente as ausências e exceções. Esses casos extremos são frequentemente aqueles com os quais podemos aprender mais.
É emocionante ver a comunidade de machine learning abraçar as questões de justiça e equidade. Mas as respostas não devem se basear apenas na participação. O desejo por uma solução milagrosa tem atormentado a comunidade de tecnologia por muito tempo. É hora de abraçar a complexidade que vem com o desafio da lógica capitalista extrativista do machine learning.
Mona Sloane é socióloga da New York University. Ela trabalha com os temas desigualdade de design no contexto de design e política de IA.
MIT Technology Review
