Oferecido por
A próxima edição da revista Technology Review americana é dedicada a problemas de longo prazo. Poucos problemas são de longo prazo ou mais difíceis do que a desigualdade racial sistêmica da América do Norte. E uma forma particularmente entranhada disso é a discriminação habitacional.
Um longo histórico de políticas bancárias, companhias de seguro e imobiliárias negaram às pessoas de cor uma chance justa de terem uma casa própria, concentrou riqueza e propriedade nas mãos de pessoas brancas e suas comunidades, e perpetuou a segregação de facto. Embora essas políticas – com nomes como redlining, blockbusting, zoneamento racial, convenções restritivas e direcionamento racial – não sejam mais legais, suas consequências persistem e às vezes ainda são praticadas secreta ou inadvertidamente.
A tecnologia em alguns casos exacerbou o preconceito racial sistêmico da América do Norte. O reconhecimento facial baseado em algoritmos, o policiamento preditivo e as decisões de sentença e fiança, por exemplo, têm mostrado produzir resultados piores para os negros. Também em questões de habitação, uma pesquisa recente da Universidade da Califórnia em Berkeley, mostrou que um sistema de empréstimos hipotecários baseado em IA cobrava taxas mais altas dos prestatários negros e hispânicos do que os brancos pelos mesmos empréstimos.
A tecnologia poderia ser usada para ajudar a mitigar o preconceito no setor imobiliário? Reunimos alguns especialistas para discutir as possibilidades. São eles:
Lisa Rice
Presidente e CEO da National Fair Housing Alliance, o maior consórcio de organizações dedicado a acabar com a discriminação habitacional.
Bobby Bartlett
Professor de direito da UC Berkeley que liderou a pesquisa, fornecendo algumas das primeiras evidências em grande escala de como a inteligência artificial cria discriminação nos empréstimos hipotecários.
Charlton McIlwain
Professor de mídia, cultura e comunicação na NYU e autor de Black Software: The Internet & Racial Justice, from the Afronet to Black Lives Matter.
A conversa foi editada e condensada para maior clareza.
McIlwain: Quando testemunhei perante o Congresso em dezembro passado sobre o impacto da automação e da IA no setor de serviços financeiros, citei um estudo recente que descobriu que, ao contrário dos agentes de crédito humanos, os sistemas automatizados de empréstimos hipotecários aprovavam de forma justa os empréstimos imobiliários, sem discriminação com base na cor. No entanto, os sistemas automatizados ainda cobram dos mutuários negros e hispânicos preços significativamente mais altos por esses empréstimos.
Isso me deixa cético de que a IA poderá ou fará melhor do que os humanos. Bobby – esta era a sua pesquisa. Você chegou as mesmas conclusões?
Bartlett: Tivemos acesso a um conjunto de dados que nos permitiu identificar o credor do registro e se ele usava um sistema totalmente automatizado, sem qualquer intervenção humana – pelo menos em termos de aprovação e contratação. Tínhamos informações sobre a raça e etnia do tomador de empréstimo registrado e pudemos identificar se os preços dos empréstimos aprovados diferiam ou não por raça. Comprovamos que isso acontecia, com uma diferença de aproximadamente US $ 800 milhões por ano.
Por que esses algoritmos, que são cegos para a raça ou etnia do mutuário, discriminariam dessa maneira? Nossa hipótese de trabalho é que os algoritmos estão simplesmente tentando maximizar o preço. Presumivelmente, quem quer que esteja projetando o algoritmo não tem conhecimento das consequências raciais desse foco unilateral na lucratividade. Mas eles devem entender que existe essa dinâmica racial, que a discriminação está nas variáveis e indicadores que eles usam. Em certo sentido, há efetivamente uma redlining do tipo mais discriminatório no código. É semelhante ao que acontece no mercado hipotecário em geral. Sabemos que os corretores oferecerão preços mais altos para os mutuários minoritários, sabendo que alguns irão rejeitá-los, mas outros estarão mais propensos a aceitá-los por uma série de razões.
McIlwain: Eu tenho uma teoria de que uma das razões pelas quais terminamos com sistemas tendenciosos – mesmo quando eles foram construídos para serem menos discriminatórios – é porque as pessoas que os projetam realmente não entendem a complexidade subjacente do problema. Parece-me haver uma certa ingenuidade em pensar que um sistema seria livre de preconceitos apenas porque é “indiferente a raça”.
Rice: Sabe, Charlton, tínhamos a mesma perspectiva que você tinha nos anos 90 e no início dos anos 2000. Proibimos as instituições financeiras de usarem sistemas de pontuação de seguro, precificação baseada em risco ou pontuação de crédito apenas para essa finalidade. Percebemos que os próprios sistemas estavam manifestando preconceitos. Mas então começamos a dizer que você só pode usá-los se ajudarem as pessoas, expandir o acesso ou gerar preços mais justos.
McIlwain: As pessoas que projetam esses sistemas erram porque realmente não entendem o problema subjacente à discriminação habitacional? E sua fonte de otimismo vem do fato de que você e organizações como a sua entendem essa complexidade?
Rice: Somos uma organização de direitos civis. Isso é o que somos. Fazemos todo o nosso trabalho através das lentes da equidade racial. Somos uma organização antirracismo.
Para resolver os casos de redlining e revertê-los encorajamos as instituições financeiras e seguradoras a repensar seus modelos de negócios, como estavam fazendo com o marketing, suas diretrizes de contratação e os produtos que estavam desenvolvendo. E acho que a razão pela qual fomos capazes de fazer isso é porque somos uma agência de direitos civis.
Começamos ajudando as corporações a entender a história imobiliária e financeira nos Estados Unidos e como todas as nossas políticas nessas áreas foram aplicadas através de uma lente racial. Você não pode começar do zero em termos de desenvolvimento de um sistema e pensar que ele vai ser justo. Você tem que desenvolvê-lo de uma forma que utilize tecnologias e metodologias antirracistas.
McIlwain: Ainda podemos realmente reduzir esse problema usando as ferramentas tecnológicas à nossa disposição? Se sim, por onde começamos?
Rice: Sim – depois que a crise financeira de 2008 acabou e pudemos levantar a cabeça, foi como se a tecnologia tivesse nos ultrapassado. E então decidimos que se não pudéssemos vencê-la, talvez fosse melhor nos unirmos. Passamos muito tempo tentando aprender como os sistemas baseados em algoritmos e a IA funcionam, e realmente chegamos ao ponto em que pensamos que agora podemos usar a tecnologia para ajudar a diminuir os resultados discriminatórios.
Se pudermos entender como esses sistemas manifestam preconceito, podemos nos aprofundar e desfiá-los e construir novos com as técnicas de eliminação de preconceito incorporadas a eles.
Realmente não temos agências reguladoras que saibam como testar uma instituição de crédito para descobrir se seu sistema é tendencioso ou não.
Mas quando você pensa sobre o quão atrasados estamos, é realmente assustador pensar sobre todo o trabalho e toda a pesquisa que precisam ser feitos. Precisamos de mais pessoas como Bobby no mundo. Mas também toda a educação disponível para que os cientistas de dados entendam essas questões.
Rice: Estamos tentando fazer com que os reguladores entendam como os sistemas manifestam essas inclinações. Você sabe, nós realmente não temos um corpo de examinadores nas agências reguladoras que entendem como realizar um exame de uma instituição de crédito para descobrir se seu sistema – o de contratação automatizado, de marketing, de serviço – é enviesado. Mas as próprias instituições desenvolvem suas próprias políticas organizacionais que podem ajudar.
A outra coisa que temos que fazer é realmente aumentar a diversidade no espaço tecnológico. Precisamos levar mais alunos de várias origens para os campos STEM (sigla em inglês para Ciência, Tecnologia, Engenharia e Matemática) e para o espaço de tecnologia para ajudar a promover mudanças. Posso pensar em vários exemplos em que ter apenas uma pessoa negra na equipe fez uma grande diferença em termos de aumentar a justiça da tecnologia que estava sendo desenvolvida.
McIlwain: Qual é o papel da política? Tenho a impressão de que, da mesma forma que as organizações de direitos civis estavam por trás da indústria em termos de compreensão de como funcionam os sistemas algorítmicos, muitos de nossos legisladores estão atrás da curva. Eu não sei quanta fé eu colocaria em sua capacidade de servir de forma realista como um controle eficaz no sistema, ou nos novos sistemas de IA que estão rapidamente chegando ao campo de hipotecas.
McIlwain: Continuo cético. Por enquanto, para mim, a magnitude do problema ainda excede em muita nossa vontade humana coletiva e as capacidades de nossa tecnologia. Bobby, você acha que a tecnologia pode ajudar este problema?
Bartlett: Eu tenho que responder isso como um advogado e dizer que depende. O que vemos, pelo menos no contexto do empréstimo, é que você pode eliminar a fonte de preconceito e discriminação que observou nas interações face a face por meio de algum tipo de tomada de decisão algorítmica. O outro lado é que, se implementado incorretamente, você pode acabar com um aparato de tomada de decisão que é tão ruim quanto um regime redlining. Então realmente depende da execução, do tipo de tecnologia e do cuidado com que ela é implantada. Mas um regime de empréstimo justo que é operacionalizado por meio de tomadas de decisão automatizadas? Eu acho que é uma proposta realmente desafiadora. E que ainda não sabemos a resposta.
MIT Technology Review
