Países Baixos

O algoritmo racista que discriminou minorias étnicas e estragou a vida a milhares de pessoas

| 26 Out 21

Um algoritmo racista e xenófobo que “aprende” a discriminar pessoas? O escândalo foi a causa da queda do Governo holandês em Janeiro. Agora, a Amnistia Internacional exige medidas e diz como é que o sistema tem discriminado famílias de minorias étnicas e de baixos rendimentos.

Amnistia Internacional, Holanda, racismo, xenofobia

Ilustração da capa do relatório Máquinas Xenófobas, da Amnistia Internacional, sobre o algoritmo racista na Holanda.

 

O Governo holandês arrisca-se a exacerbar a discriminação racial através do uso continuado de algoritmos não regulados no sector público, denuncia a Amnistia Internacional (AI) num comunicado divulgado na noite desta segunda-feira, 25, e enviado ao 7MARGENS. A organização de defesa dos direitos humanos condena deste modo o escândalo que permitiu que a caraterização étnica introduzida num sistema algorítmico discriminasse dezenas de milhar de crianças e famílias de baixos rendimentos e de minorias étnicas, por terem sido falsamente acusados de fraude pelas autoridades fiscais holandesas.

Este escândalo foi a causa imediata da queda do anterior Governo holandês, em Janeiro, mas a AI diz que “não se aprenderam lições suficientes”. No relatório Xenophobic Machines (Máquinas xenófobas), a Amnistia mostra a forma como a caracterização racial foi introduzida na concepção do sistema algorítmico, que era utilizado para determinar se os pedidos de subsídio de cuidados infantis tinham sido assinalados como incorrectos e potencialmente fraudulentos.

“Milhares de vidas foram arruinadas por um processo vergonhoso que incluiu um algoritmo xenófobo baseado no perfil racial. As autoridades holandesas arriscam-se a repetir estes erros catastróficos, uma vez que ainda faltam protecções dos direitos humanos na utilização de sistemas algorítmicos”, afirmou Merel Koning, conselheiro sénior para a Tecnologia e Direitos Humanos, da Amnistia Internacional.

O problema é que, de forma alarmante, “os holandeses não estão sozinhos”, diz a AI. “Governos de todo o mundo apressam-se a automatizar a prestação de serviços públicos, mas são os mais marginalizados da sociedade que estão a pagar o preço mais alto.” Por causa disso, a Amnistia Internacional quer que todos os governos proíbam imediatamente a utilização de dados sobre nacionalidade e etnia, quando a busca de potenciais suspeitos de crimes ou fraudes tem como objectivo a detecção de riscos para efeitos de aplicação da lei.

A organização não se fica por aí: impedir violações dos direitos humanos nos sistemas de decisão algorítmicos, nomeadamente através de “uma avaliação obrigatória e vinculativa do impacto dos direitos humanos antes da utilização de tais sistemas” é outro dos apelos; a par do estabelecimento de mecanismos eficazes de monitorização e supervisão dos sistemas algorítmicos no sector público.

“Responsabilizar os responsáveis pelas violações” e indemnizar os indivíduos e grupos cujos direitos tenham sido violados, acabando imediatamente com a utilização de “sistemas de caixas negras e algoritmos de auto-aprendizagem em que a decisão é susceptível de ter um impacto significativo nos direitos dos indivíduos” são as duas outras exigências da Amnistia Internacional.

 

Discriminação étnica estava lá desde o início

As pessoas marcadas como fraudulentas entravam num labirinto em que as suas perguntas nunca foram respondidas durante anos. Foto: Direitos reservados

 

A organização de defesa dos direitos humanos recorda que, desde o início, “a discriminação racial e étnica foi fundamental para a concepção do sistema algorítmico introduzido em 2013 pelas autoridades fiscais holandesas para detectar pedidos incorrectos de prestações infantis e potenciais fraudes”. No processo, as autoridades fiscais utilizavam informações sobre se um requerente tinha a nacionalidade holandesa como factor de risco e os nacionais não holandeses receberam pontuações de risco mais elevadas.

Os pais e prestadores de cuidados designados pelo sistema tiveram os seus benefícios suspensos e “foram sujeitos a investigações hostis, caracterizadas por regras e políticas severas, interpretações rígidas das leis e políticas implacáveis de recuperação de benefícios”, acrescenta ainda a Amnistia. “Isto provocou problemas financeiros devastadores para as famílias afectadas, desde dívidas e desemprego a despejos forçados porque as pessoas não podiam pagar as suas rendas ou fazer pagamentos sobre as suas hipotecas. Outras ficaram com problemas de saúde mental e stress nas suas relações pessoais, levando a divórcios e lares desfeitos.”

Um dos resultados mais gravosos, aponta ainda a AI, foi que o modo como este algoritmo foi concebido “reforçou o preconceito institucional existente de uma ligação” entre determinadas etnias “e criminalidade, bem como um comportamento generalizado a toda uma raça ou grupo étnico”. E, tal como acontece noutros mecanismos do género, estas características discriminatórias “foram reproduzidas por um mecanismo de auto-aprendizagem”. Ou seja, o algoritmo como que aprendeu com base na experiência, sem qualquer supervisão humana, aumentando exponencialmente a discriminação em relação a cidadãos não holandeses assinalados como potenciais autores de fraudes com maior frequência do que os de nacionalidade holandesa.

A Amnistia explica que, quando alguém era assinalado como risco de fraude, um funcionário público tinha de fazer uma revisão manual do processo, mas sem qualquer informação sobre a razão pela qual o sistema tinha gerado uma pontuação de maior risco. Um tal modo de proceder gerou, entretanto, uma completa ausência de responsabilização e supervisão, denuncia a organização.

“O sistema de ‘caixa negra’ resultou num buraco negro de responsabilização, com as autoridades fiscais holandesas a confiarem num algoritmo para ajudar na tomada de decisões sem supervisão adequada”, acusou Merel Koning. E, em muitos casos, os pais ou prestadores de cuidados identificados pelas autoridades fiscais como causadores de fraudes não receberam durante anos qualquer resposta às perguntas sobre o que tinham feito de errado.

 

Investigação sobre Goa e catolicismo oriental distingue Ângela Xavier na Índia

Infosys premeia historiadora

Investigação sobre Goa e catolicismo oriental distingue Ângela Xavier na Índia novidade

O Prémio Infosys 2021 em Humanidades, da prestigiada fundação indiana Infosys Science Foundation, foi atribuído à historiadora portuguesa Ângela Barreto Xavier “pela sua profunda pesquisa e sofisticada análise da conversão e violência no Império Português na Índia, especialmente em Goa”. O júri destaca a contribuição significativa da galardoada para a “história social e cultural do colonialismo português”, concretizando uma voz “importante e original” no que à história colonial e imperial diz respeito.

Apoie o 7MARGENS e desconte o seu donativo no IRS ou no IRC

Novo arcebispo de Braga quer “portas abertas” para todos novidade

O novo arcebispo de Braga, D. José Cordeiro, saudou a sua nova diocese manifestando a vontade de construir uma “Igreja em saída” missionária e “uma Igreja sinodal samaritana de portas abertas para todos”. O até agora bispo de Bragança-Miranda propõe as atitudes de escuta, conversão, confiança, comunhão, coragem criativa e oração como “caminhos sempre a percorrer no processo sinodal para uma Igreja de hoje”.

Dois terços dos jovens adultos católicos não vão à missa

EUA

Dois terços dos jovens adultos católicos não vão à missa novidade

Mais de um terço (36%) dos jovens adultos católicos americanos nunca frequentava a missa e quase um terço (31%) raramente o fazia, revela um inquérito realizado pelo centro de estudos CARA e divulgado esta quinta-feira, 2 de dezembro. Os dados recolhidos dizem respeito às práticas deste grupo anteriores à pandemia.

Fale connosco

Pin It on Pinterest

Share This