Países Baixos

O algoritmo racista que discriminou minorias étnicas e estragou a vida a milhares de pessoas

| 26 Out 2021

Um algoritmo racista e xenófobo que “aprende” a discriminar pessoas? O escândalo foi a causa da queda do Governo holandês em Janeiro. Agora, a Amnistia Internacional exige medidas e diz como é que o sistema tem discriminado famílias de minorias étnicas e de baixos rendimentos.

Amnistia Internacional, Holanda, racismo, xenofobia

Ilustração da capa do relatório Máquinas Xenófobas, da Amnistia Internacional, sobre o algoritmo racista na Holanda.

 

O Governo holandês arrisca-se a exacerbar a discriminação racial através do uso continuado de algoritmos não regulados no sector público, denuncia a Amnistia Internacional (AI) num comunicado divulgado na noite desta segunda-feira, 25, e enviado ao 7MARGENS. A organização de defesa dos direitos humanos condena deste modo o escândalo que permitiu que a caraterização étnica introduzida num sistema algorítmico discriminasse dezenas de milhar de crianças e famílias de baixos rendimentos e de minorias étnicas, por terem sido falsamente acusados de fraude pelas autoridades fiscais holandesas.

Este escândalo foi a causa imediata da queda do anterior Governo holandês, em Janeiro, mas a AI diz que “não se aprenderam lições suficientes”. No relatório Xenophobic Machines (Máquinas xenófobas), a Amnistia mostra a forma como a caracterização racial foi introduzida na concepção do sistema algorítmico, que era utilizado para determinar se os pedidos de subsídio de cuidados infantis tinham sido assinalados como incorrectos e potencialmente fraudulentos.

“Milhares de vidas foram arruinadas por um processo vergonhoso que incluiu um algoritmo xenófobo baseado no perfil racial. As autoridades holandesas arriscam-se a repetir estes erros catastróficos, uma vez que ainda faltam protecções dos direitos humanos na utilização de sistemas algorítmicos”, afirmou Merel Koning, conselheiro sénior para a Tecnologia e Direitos Humanos, da Amnistia Internacional.

O problema é que, de forma alarmante, “os holandeses não estão sozinhos”, diz a AI. “Governos de todo o mundo apressam-se a automatizar a prestação de serviços públicos, mas são os mais marginalizados da sociedade que estão a pagar o preço mais alto.” Por causa disso, a Amnistia Internacional quer que todos os governos proíbam imediatamente a utilização de dados sobre nacionalidade e etnia, quando a busca de potenciais suspeitos de crimes ou fraudes tem como objectivo a detecção de riscos para efeitos de aplicação da lei.

A organização não se fica por aí: impedir violações dos direitos humanos nos sistemas de decisão algorítmicos, nomeadamente através de “uma avaliação obrigatória e vinculativa do impacto dos direitos humanos antes da utilização de tais sistemas” é outro dos apelos; a par do estabelecimento de mecanismos eficazes de monitorização e supervisão dos sistemas algorítmicos no sector público.

“Responsabilizar os responsáveis pelas violações” e indemnizar os indivíduos e grupos cujos direitos tenham sido violados, acabando imediatamente com a utilização de “sistemas de caixas negras e algoritmos de auto-aprendizagem em que a decisão é susceptível de ter um impacto significativo nos direitos dos indivíduos” são as duas outras exigências da Amnistia Internacional.

 

Discriminação étnica estava lá desde o início

As pessoas marcadas como fraudulentas entravam num labirinto em que as suas perguntas nunca foram respondidas durante anos. Foto: Direitos reservados

 

A organização de defesa dos direitos humanos recorda que, desde o início, “a discriminação racial e étnica foi fundamental para a concepção do sistema algorítmico introduzido em 2013 pelas autoridades fiscais holandesas para detectar pedidos incorrectos de prestações infantis e potenciais fraudes”. No processo, as autoridades fiscais utilizavam informações sobre se um requerente tinha a nacionalidade holandesa como factor de risco e os nacionais não holandeses receberam pontuações de risco mais elevadas.

Os pais e prestadores de cuidados designados pelo sistema tiveram os seus benefícios suspensos e “foram sujeitos a investigações hostis, caracterizadas por regras e políticas severas, interpretações rígidas das leis e políticas implacáveis de recuperação de benefícios”, acrescenta ainda a Amnistia. “Isto provocou problemas financeiros devastadores para as famílias afectadas, desde dívidas e desemprego a despejos forçados porque as pessoas não podiam pagar as suas rendas ou fazer pagamentos sobre as suas hipotecas. Outras ficaram com problemas de saúde mental e stress nas suas relações pessoais, levando a divórcios e lares desfeitos.”

Um dos resultados mais gravosos, aponta ainda a AI, foi que o modo como este algoritmo foi concebido “reforçou o preconceito institucional existente de uma ligação” entre determinadas etnias “e criminalidade, bem como um comportamento generalizado a toda uma raça ou grupo étnico”. E, tal como acontece noutros mecanismos do género, estas características discriminatórias “foram reproduzidas por um mecanismo de auto-aprendizagem”. Ou seja, o algoritmo como que aprendeu com base na experiência, sem qualquer supervisão humana, aumentando exponencialmente a discriminação em relação a cidadãos não holandeses assinalados como potenciais autores de fraudes com maior frequência do que os de nacionalidade holandesa.

A Amnistia explica que, quando alguém era assinalado como risco de fraude, um funcionário público tinha de fazer uma revisão manual do processo, mas sem qualquer informação sobre a razão pela qual o sistema tinha gerado uma pontuação de maior risco. Um tal modo de proceder gerou, entretanto, uma completa ausência de responsabilização e supervisão, denuncia a organização.

“O sistema de ‘caixa negra’ resultou num buraco negro de responsabilização, com as autoridades fiscais holandesas a confiarem num algoritmo para ajudar na tomada de decisões sem supervisão adequada”, acusou Merel Koning. E, em muitos casos, os pais ou prestadores de cuidados identificados pelas autoridades fiscais como causadores de fraudes não receberam durante anos qualquer resposta às perguntas sobre o que tinham feito de errado.

 

Igreja precisa mais dos média do que o contrário

Debate 7M: A Igreja e os média (1)

Igreja precisa mais dos média do que o contrário novidade

Quando se pergunta se em Portugal a relação da Igreja com os média e os jornalistas é boa, uma resposta simplista é sempre uma má resposta, principalmente porque estamos a falar de uma instituição, a Igreja Católica, que por si só é uma multiplicidade de realidades. Para ser honesto, prefiro responder que não há uma resposta, mas muitas respostas, tantas quanto as instituições ou os serviços que constituem a Igreja portuguesa.

… E de novo tostões e milhões!

[Segunda Leitura]

… E de novo tostões e milhões! novidade

Para o sr. Berardo, pelos vistos, um milhão de euros deve ser uma ninharia. Porque ele deve cerca de 900 milhões. Ou seja: gente como nós precisava de viver novecentas vidas para acumular esse montão de notas. E como é que alguém, no espaço de meia dúzia de anos, consegue ficar a dever 900 milhões de euros?… Como?…

Apoie o 7MARGENS e desconte o seu donativo no IRS ou no IRC

O melhor seria

O melhor seria novidade

Tive três filhos e perdi quatro. Por um deles, que não sobreviveu in utero, fui levada para uma ala da maternidade onde havia mulheres com os seus filhos, já nascidos ou prestes a nascer. Havia uma outra ala, a de quem estava para abortar.

A Igreja tem de aprender a prestar contas

Abusos sexuais

A Igreja tem de aprender a prestar contas novidade

Gostaria de falar, em primeiro lugar, acerca da Igreja enquanto instituição de poder, porque essa é uma das maiores premissas que orientam o meu trabalho enquanto jornalista que se dedica à cobertura dos assuntos religiosos e, em especial, ao escrutínio da atividade da Igreja Católica. Que não haja dúvidas: a Igreja é uma instituição de poder.

Igrejas cristãs debatem guerra, pandemia, crise ecológica e de valores”

Encontro em Sintra

Igrejas cristãs debatem guerra, pandemia, crise ecológica e de valores” novidade

A décima segunda edição do Encontro Cristão reúne este sábado, 21 de maio, no Centro Cultural Olga Cadaval (Sintra) cristãos de várias denominações. O objetivo é refletir sobre o contexto atual, “em que a guerra, a pandemia, a crise ecológica e de valores condicionam a vivência entre todos e ameaçam a construção sustentável do futuro” e “reforçar a unidade, a esperança e a alegria”.

Agenda

Fale connosco

Pin It on Pinterest

Share This