CAMBRIDGE –Os algoritmos são tão tendenciosos como os dados que sustentam. E todos os dados são tendenciosos. Até as estatísticas “oficiais” não podem ser consideradas como “factos” objetivos e eternos. Os números que os governos publicam representam a sociedade como ela é agora, através da lente do que aqueles que reúnem os dados consideram ser relevante e importante. As categorias e classificações utilizadas para dar sentido aos dados não são neutras. Da mesma forma que avaliamos o que vimos e, por isso, temos tendência a ver apenas aquilo que avaliamos.
À medida que a tomada de decisão algorítmica se propaga para uma gama mais ampla de áreas de formulação de políticas, ela lança uma luz crua sobre os preconceitos sociais que, em tempos, se escondiam nas sombras dos dados que recolhemos. Ao levar as estruturas e os processos existentes aos seus extremos lógicos, a inteligência artificial (IA) está a forçar-nos a confrontar o tipo de sociedade que criámos.
O problema não é apenas os computadores serem projetados para pensarem como empresas, tal como o meu colega da Universidade de Cambridge, Jonnie Penn, argumentou. É também o facto de os computadores pensarem como economistas. Uma IA, afinal de contas, é uma versão tão infalível do homo economicus como se pode imaginar. É um agente racionalmente calculista, logicamente consistente, centrado nos objetivos, capaz de alcançar os seus resultados desejados com recursos computacionais finitos. Quando se trata de “maximizar a utilidade”, eles são muito mais eficazes do que qualquer ser humano.
A “utilidade” está para a economia, assim como o “flogisto” esteve em tempos para a química. Os primeiros químicos colocaram a hipótese de que a matéria combustível continha um elemento oculto - o flogisto - que poderia explicar o porquê de as substâncias mudarem de forma quando queimavam. No entanto, por mais que tentassem, os cientistas nunca conseguiram confirmar a hipótese. Eles não puderam localizar o flogisto pela mesma razão que os economistas, hoje, não podem oferecer uma medida da verdadeira utilidade.
Os economistas usam o conceito de utilidade para explicar o porquê de as pessoas fazerem as escolhas que fazem - o que comprar, onde investir, o quanto trabalham: toda a gente está a tentar maximizar a utilidade de acordo com as suas preferências e crenças sobre o mundo, e dentro dos limites impostos pelos escassos rendimentos ou recursos. Apesar de não existir, a utilidade é uma construção poderosa. Parece natural supor que todos estão a tentar fazer o melhor que podem para si mesmos.
Além disso, a noção de utilidade dos economistas nasce do utilitarismo clássico, que visa assegurar a maior quantidade de bem para o maior número de pessoas. À semelhança dos economistas modernos que seguem os passos de John Stuart Mill, a maioria dos que desenham algoritmos são utilitários que acreditam que, se um “bem” é conhecido, então ele pode ser maximizado.
Mas esta suposição pode produzir resultados preocupantes. Por exemplo, tenhamos em consideração como é que os algoritmos estão a ser utilizados para se decidir se os prisioneiros são merecedores de liberdade condicional. Um importante estudo de 2017 constata que os algoritmos superam em muito os humanos na previsão de taxas de reincidência e poderiam ser utilizados para reduzir a taxa de encarceramento em mais de 40%, “sem aumento nas taxas de criminalidade”. Nessa altura, as IA podiam ser utilizadas nos Estados Unidos para se reduzir uma população prisional que é desproporcionalmente negra. Mas o que acontece quando as IA dominarem o processo de liberdade condicional e os afro-americanos ainda estiverem a ser presos a uma taxa superior à dos brancos?
A tomada de decisão algorítmica altamente eficiente trouxe essas questões à tona, obrigando-nos a decidir com precisão quais resultados deverão ser maximizados. Queremos meramente reduzir a população prisional em geral ou deveríamos também preocupar-nos com a justiça? Enquanto a política permite que os embustes e os compromissos disfarcem essas compensações, o código informático requer clareza.
Essa exigência de clareza está a tornar mais difícil ignorar as fontes estruturais das desigualdades sociais. Na era da IA, os algoritmos obrigar-nos-ão a reconhecer como é que os resultados dos conflitos sociais e políticos do passado se perpetuaram até aos nossos dias através da nossa utilização de dados.
Graças a grupos como a Iniciativa da Ética na IA e a Parceria sobre a IA, começou a emergir um debate mais amplo sobre a ética da IA. Mas os algoritmos de IA estão, é claro, apenas a fazer aquilo que são codificados para fazer. A verdadeira questão estende-se além do uso de decisões algorítmicas na governação das empresas e política, e atinge os fundamentos éticos das nossas sociedades.
Embora, certamente, precisemos de debater as compensações práticas e filosóficas da maximização da “utilidade” através da IA, também precisamos de nos envolver numa autorreflexão. Os algoritmos estão a levantar questões fundamentais sobre como temos organizado as relações sociais, políticas e económicas até hoje. Agora, temos de decidir se realmente queremos codificar os acordos sociais atuais nas estruturas de tomada de decisões do futuro. Dada a fratura política que ocorre atualmente em todo o mundo, este parece ser um bom momento para escrever um novo guião.
CAMBRIDGE –Os algoritmos são tão tendenciosos como os dados que sustentam. E todos os dados são tendenciosos. Até as estatísticas “oficiais” não podem ser consideradas como “factos” objetivos e eternos. Os números que os governos publicam representam a sociedade como ela é agora, através da lente do que aqueles que reúnem os dados consideram ser relevante e importante. As categorias e classificações utilizadas para dar sentido aos dados não são neutras. Da mesma forma que avaliamos o que vimos e, por isso, temos tendência a ver apenas aquilo que avaliamos.
À medida que a tomada de decisão algorítmica se propaga para uma gama mais ampla de áreas de formulação de políticas, ela lança uma luz crua sobre os preconceitos sociais que, em tempos, se escondiam nas sombras dos dados que recolhemos. Ao levar as estruturas e os processos existentes aos seus extremos lógicos, a inteligência artificial (IA) está a forçar-nos a confrontar o tipo de sociedade que criámos.
O problema não é apenas os computadores serem projetados para pensarem como empresas, tal como o meu colega da Universidade de Cambridge, Jonnie Penn, argumentou. É também o facto de os computadores pensarem como economistas. Uma IA, afinal de contas, é uma versão tão infalível do homo economicus como se pode imaginar. É um agente racionalmente calculista, logicamente consistente, centrado nos objetivos, capaz de alcançar os seus resultados desejados com recursos computacionais finitos. Quando se trata de “maximizar a utilidade”, eles são muito mais eficazes do que qualquer ser humano.
A “utilidade” está para a economia, assim como o “flogisto” esteve em tempos para a química. Os primeiros químicos colocaram a hipótese de que a matéria combustível continha um elemento oculto - o flogisto - que poderia explicar o porquê de as substâncias mudarem de forma quando queimavam. No entanto, por mais que tentassem, os cientistas nunca conseguiram confirmar a hipótese. Eles não puderam localizar o flogisto pela mesma razão que os economistas, hoje, não podem oferecer uma medida da verdadeira utilidade.
Os economistas usam o conceito de utilidade para explicar o porquê de as pessoas fazerem as escolhas que fazem - o que comprar, onde investir, o quanto trabalham: toda a gente está a tentar maximizar a utilidade de acordo com as suas preferências e crenças sobre o mundo, e dentro dos limites impostos pelos escassos rendimentos ou recursos. Apesar de não existir, a utilidade é uma construção poderosa. Parece natural supor que todos estão a tentar fazer o melhor que podem para si mesmos.
Além disso, a noção de utilidade dos economistas nasce do utilitarismo clássico, que visa assegurar a maior quantidade de bem para o maior número de pessoas. À semelhança dos economistas modernos que seguem os passos de John Stuart Mill, a maioria dos que desenham algoritmos são utilitários que acreditam que, se um “bem” é conhecido, então ele pode ser maximizado.
BLACK FRIDAY SALE: Subscribe for as little as $34.99
Subscribe now to gain access to insights and analyses from the world’s leading thinkers – starting at just $34.99 for your first year.
Subscribe Now
Mas esta suposição pode produzir resultados preocupantes. Por exemplo, tenhamos em consideração como é que os algoritmos estão a ser utilizados para se decidir se os prisioneiros são merecedores de liberdade condicional. Um importante estudo de 2017 constata que os algoritmos superam em muito os humanos na previsão de taxas de reincidência e poderiam ser utilizados para reduzir a taxa de encarceramento em mais de 40%, “sem aumento nas taxas de criminalidade”. Nessa altura, as IA podiam ser utilizadas nos Estados Unidos para se reduzir uma população prisional que é desproporcionalmente negra. Mas o que acontece quando as IA dominarem o processo de liberdade condicional e os afro-americanos ainda estiverem a ser presos a uma taxa superior à dos brancos?
A tomada de decisão algorítmica altamente eficiente trouxe essas questões à tona, obrigando-nos a decidir com precisão quais resultados deverão ser maximizados. Queremos meramente reduzir a população prisional em geral ou deveríamos também preocupar-nos com a justiça? Enquanto a política permite que os embustes e os compromissos disfarcem essas compensações, o código informático requer clareza.
Essa exigência de clareza está a tornar mais difícil ignorar as fontes estruturais das desigualdades sociais. Na era da IA, os algoritmos obrigar-nos-ão a reconhecer como é que os resultados dos conflitos sociais e políticos do passado se perpetuaram até aos nossos dias através da nossa utilização de dados.
Graças a grupos como a Iniciativa da Ética na IA e a Parceria sobre a IA, começou a emergir um debate mais amplo sobre a ética da IA. Mas os algoritmos de IA estão, é claro, apenas a fazer aquilo que são codificados para fazer. A verdadeira questão estende-se além do uso de decisões algorítmicas na governação das empresas e política, e atinge os fundamentos éticos das nossas sociedades.
Embora, certamente, precisemos de debater as compensações práticas e filosóficas da maximização da “utilidade” através da IA, também precisamos de nos envolver numa autorreflexão. Os algoritmos estão a levantar questões fundamentais sobre como temos organizado as relações sociais, políticas e económicas até hoje. Agora, temos de decidir se realmente queremos codificar os acordos sociais atuais nas estruturas de tomada de decisões do futuro. Dada a fratura política que ocorre atualmente em todo o mundo, este parece ser um bom momento para escrever um novo guião.