A próxima revolução política será pelo controle dos algoritmos

Por Cathy O’Neil, via Eldiario, traduzido por Bernardo Neves

Palavra de Deus. Por mandato real. É a economia, estúpido. A história oferece constantemente exemplos de como as pessoas recorrem ao mito da autoridade superior para revestir nossas decisões com uma suposta justiça objetiva. Para Cathy O’Neil, os algoritmos são o próximo mito dessa lista.

Palavra de Deus. Por mandato real. É a economia, estúpido. A história oferece constantemente exemplos de como as pessoas recorrem ao mito da autoridade superior para revestir nossas decisões com uma suposta justiça objetiva. Para Cathy O’Neil, os algoritmos são o próximo mito dessa lista.

O’Neil, matemática doutora em Harvard, pós-doutora no MIT, foi uma das primeiras a ressaltar que nosso novo imperador também está nu. Um algoritmo (ou a célebre Inteligência Artificial, que “nada mais é que um termo de marketing para nomear os algoritmos”) é tão machista, racista ou discriminatório quanto quem o desenvolve. Mal programados, podem tornar-se Armas de Destruição Matemática (Capitão Swing), como detalha em seu livro [Weapons of math destruction] sobre o perigo que representam para a democracia.

Você defenda que há uma diferença entre o que as pessoas pensam ser um algoritmo e o que realmente é. Que diferença é essa?

As pessoas pensam que um algoritmo é um método para tentar chegar a uma verdade objetiva. Temos desenvolvido uma fé cega neles porque pensamos que há uma autoridade científica por trás dos algoritmos.

Na verdade, um algoritmo é algo bobo, basicamente um sistema de perfis demográficos gerados a partir de big data. Averigua se você é um cliente que paga ou quais são suas possibilidades para comprar uma casa com base nas pistas que você vai deixando, como sua classe social, sua renda, sua raça ou etnia.

O que é uma arma de destruição matemática?

É um algoritmo importante, secreto e destrutivo. Injusto para os indivíduos que avalia.

Normalmente são um sistema de pontuação. Se você tem uma pontuação alta o suficiente, você tem uma opção, mas se você não conseguir, você é negado. Pode ser um trabalho ou admissão na universidade, um cartão de crédito ou uma apólice de seguro. O algoritmo atribui-lhe uma pontuação de forma secreta, você não pode entendê-lo, você não pode entrar com um recurso. Utiliza um método de decisão injusto.

No entanto, não só é injusto para o indivíduo, normalmente este sistema de decisão também é destrutivo para a sociedade. Com algoritmos estamos tratando transcender o preconceito humano, de pôr em marcha uma ferramenta científica. Se eles falham, fazem a sociedade entrar em um ciclo destrutivo, pois aumentam progressivamente a desigualdade.

Mas também pode ser algo mais preciso. Pode ser um algoritmo para decidir quem acessa a liberdade condicional racista, quem determina quais bairros sofrem uma pressão policial maior em função da presença de minorias…

A quem nos queixamos quando um algoritmo é injusto?

É uma boa pergunta. Na semana passada, veio à tona a notícia de que a Amazon tinha um algoritmo para selecionar empregados sexistas. Toda vez que algo assim acontece, as empresas ficam surpreendidas, toda a comunidade tecnológica se mostra surpresa. Na verdade, é uma reação fingida, existem exemplos de algoritmos discriminatórios em todos os lugares.

Se eles admitissem que os algoritmos são imperfeitos e que poderiam ser racistas ou sexistas, ilegais, então teriam que resolver esse problema para todos os algoritmos que estão utilizando. Se agirem como se ninguém soubesse de nada, podem continuar difundindo essa fé cega nos algoritmos, que eles realmente não têm, mas eles sabem que o resto do público tem.

É por isso que escrevi o livro, para que as pessoas parem de ser intimidadas por modelos matemáticos. Não devemos abandonar a automação ou parar de confiar em algoritmos, mas que prestem contas. Sobre tudo quando atuam em um campo onde não há definição clara do que seja “êxito”. Esse é o tipo de algoritmo que me preocupa. Quem controla o algoritmo controla a definição de seu êxito. Algoritmos sempre funcionam bem para as pessoas que os projetam, mas não sabemos se funcionam bem para o público-alvo desses algoritmos. Eles podem ser tremendamente injustos com eles.

A próxima revolução política será sobre o controle dos algoritmos?

Em certo sentido, sim. Acredito que os algoritmos substituirão todos os processos burocráticos humanos porque são mais baratos, mais fáceis de manter e muito mais fáceis de controlar. Então, sim: a questão de quem está no controle está relacionada a de quem quem implanta esse algoritmo. Espero que tenhamos controle com prestação de contas sobre eles.

Mas se olharmos para um lugar como a China, onde existem sistemas de pontuação social que são tentativas explícitas de controlar os cidadãos, não tenho muita esperança de que os cidadãos chineses possam ser os proprietários desses algoritmos. Nesses casos, estamos falando de uma distopia, uma sociedade de vigilância na qual o governo controla os cidadãos com algoritmos, como uma ameaça real. É algo que pode acontecer.

No momento, o poder político não fez muito para melhorar a transparência dos algoritmos.

Sim, é um problema real. Os políticos pensam que, a partir de sua posição, eles terão controle sobre os algoritmos em suas mãos, de modo que não querem renunciar a esse poder, mesmo que seja ruim para a democracia.

É uma consideração muito séria. Como eu disse no livro, Obama foi adorado pela esquerda pelo uso de big data para aumentar as doações ou melhorar a segmentação de mensagens. Mas esse foi um precedente muito perigoso: nas últimas eleições vimos como a campanha Trump conseguiu suprimir o voto dos afro-americanos graças à mesma segmentação de mensagens através dos algoritmos do Facebook.

Seu livro foi publicado em 2016. Alguma coisa mudou desde então?

Quando escrevi o livro, não conhecia ninguém preocupado com esse problema. Isso sim mudou. Eu venho de Barcelona, onde tenho visto 300 pessoas, a maioria jovens, preocupadas com essa questão. É um fenômeno emergente em todo o mundo, as pessoas estão começando a ver o dano, o mal que há aqui. A maior parte desse dano algorítmico não se vê, é invisível. O fato de as pessoas estarem mais conscientes nos faz esperar que haja uma demanda por algoritmos que prestem contas. Eu espero que isso aconteça.