Países Baixos

O algoritmo racista que discriminou minorias étnicas e estragou a vida a milhares de pessoas

| 26 Out 2021

Um algoritmo racista e xenófobo que “aprende” a discriminar pessoas? O escândalo foi a causa da queda do Governo holandês em Janeiro. Agora, a Amnistia Internacional exige medidas e diz como é que o sistema tem discriminado famílias de minorias étnicas e de baixos rendimentos.

Amnistia Internacional, Holanda, racismo, xenofobia

Ilustração da capa do relatório Máquinas Xenófobas, da Amnistia Internacional, sobre o algoritmo racista na Holanda.

 

O Governo holandês arrisca-se a exacerbar a discriminação racial através do uso continuado de algoritmos não regulados no sector público, denuncia a Amnistia Internacional (AI) num comunicado divulgado na noite desta segunda-feira, 25, e enviado ao 7MARGENS. A organização de defesa dos direitos humanos condena deste modo o escândalo que permitiu que a caraterização étnica introduzida num sistema algorítmico discriminasse dezenas de milhar de crianças e famílias de baixos rendimentos e de minorias étnicas, por terem sido falsamente acusados de fraude pelas autoridades fiscais holandesas.

Este escândalo foi a causa imediata da queda do anterior Governo holandês, em Janeiro, mas a AI diz que “não se aprenderam lições suficientes”. No relatório Xenophobic Machines (Máquinas xenófobas), a Amnistia mostra a forma como a caracterização racial foi introduzida na concepção do sistema algorítmico, que era utilizado para determinar se os pedidos de subsídio de cuidados infantis tinham sido assinalados como incorrectos e potencialmente fraudulentos.

“Milhares de vidas foram arruinadas por um processo vergonhoso que incluiu um algoritmo xenófobo baseado no perfil racial. As autoridades holandesas arriscam-se a repetir estes erros catastróficos, uma vez que ainda faltam protecções dos direitos humanos na utilização de sistemas algorítmicos”, afirmou Merel Koning, conselheiro sénior para a Tecnologia e Direitos Humanos, da Amnistia Internacional.

O problema é que, de forma alarmante, “os holandeses não estão sozinhos”, diz a AI. “Governos de todo o mundo apressam-se a automatizar a prestação de serviços públicos, mas são os mais marginalizados da sociedade que estão a pagar o preço mais alto.” Por causa disso, a Amnistia Internacional quer que todos os governos proíbam imediatamente a utilização de dados sobre nacionalidade e etnia, quando a busca de potenciais suspeitos de crimes ou fraudes tem como objectivo a detecção de riscos para efeitos de aplicação da lei.

A organização não se fica por aí: impedir violações dos direitos humanos nos sistemas de decisão algorítmicos, nomeadamente através de “uma avaliação obrigatória e vinculativa do impacto dos direitos humanos antes da utilização de tais sistemas” é outro dos apelos; a par do estabelecimento de mecanismos eficazes de monitorização e supervisão dos sistemas algorítmicos no sector público.

“Responsabilizar os responsáveis pelas violações” e indemnizar os indivíduos e grupos cujos direitos tenham sido violados, acabando imediatamente com a utilização de “sistemas de caixas negras e algoritmos de auto-aprendizagem em que a decisão é susceptível de ter um impacto significativo nos direitos dos indivíduos” são as duas outras exigências da Amnistia Internacional.

 

Discriminação étnica estava lá desde o início

As pessoas marcadas como fraudulentas entravam num labirinto em que as suas perguntas nunca foram respondidas durante anos. Foto: Direitos reservados

 

A organização de defesa dos direitos humanos recorda que, desde o início, “a discriminação racial e étnica foi fundamental para a concepção do sistema algorítmico introduzido em 2013 pelas autoridades fiscais holandesas para detectar pedidos incorrectos de prestações infantis e potenciais fraudes”. No processo, as autoridades fiscais utilizavam informações sobre se um requerente tinha a nacionalidade holandesa como factor de risco e os nacionais não holandeses receberam pontuações de risco mais elevadas.

Os pais e prestadores de cuidados designados pelo sistema tiveram os seus benefícios suspensos e “foram sujeitos a investigações hostis, caracterizadas por regras e políticas severas, interpretações rígidas das leis e políticas implacáveis de recuperação de benefícios”, acrescenta ainda a Amnistia. “Isto provocou problemas financeiros devastadores para as famílias afectadas, desde dívidas e desemprego a despejos forçados porque as pessoas não podiam pagar as suas rendas ou fazer pagamentos sobre as suas hipotecas. Outras ficaram com problemas de saúde mental e stress nas suas relações pessoais, levando a divórcios e lares desfeitos.”

Um dos resultados mais gravosos, aponta ainda a AI, foi que o modo como este algoritmo foi concebido “reforçou o preconceito institucional existente de uma ligação” entre determinadas etnias “e criminalidade, bem como um comportamento generalizado a toda uma raça ou grupo étnico”. E, tal como acontece noutros mecanismos do género, estas características discriminatórias “foram reproduzidas por um mecanismo de auto-aprendizagem”. Ou seja, o algoritmo como que aprendeu com base na experiência, sem qualquer supervisão humana, aumentando exponencialmente a discriminação em relação a cidadãos não holandeses assinalados como potenciais autores de fraudes com maior frequência do que os de nacionalidade holandesa.

A Amnistia explica que, quando alguém era assinalado como risco de fraude, um funcionário público tinha de fazer uma revisão manual do processo, mas sem qualquer informação sobre a razão pela qual o sistema tinha gerado uma pontuação de maior risco. Um tal modo de proceder gerou, entretanto, uma completa ausência de responsabilização e supervisão, denuncia a organização.

“O sistema de ‘caixa negra’ resultou num buraco negro de responsabilização, com as autoridades fiscais holandesas a confiarem num algoritmo para ajudar na tomada de decisões sem supervisão adequada”, acusou Merel Koning. E, em muitos casos, os pais ou prestadores de cuidados identificados pelas autoridades fiscais como causadores de fraudes não receberam durante anos qualquer resposta às perguntas sobre o que tinham feito de errado.

 

Apoie o 7MARGENS e desconte o seu donativo no IRS ou no IRC

Breves

 

Índia

Carnataca é o décimo Estado a aprovar lei anticonversão

O Estado de Carnataca, no sudoeste da Índia, tornou-se, no passado dia 15 de setembro, o décimo estado daquele país a adotar leis anticonversão no âmbito das quais cristãos e muçulmanos e outras minorias têm sido alvo de duras perseguições, noticiou nesta sexta-feira, 23, o Vatican News, portal de notícias do Vaticano.

Neste sábado, em Lisboa

“Famílias naturais” em convívio contra a ideologia de género

Prometem uma “tarde de convívio e proximidade”, um concerto, diversão e “múltiplas actividades para crianças e adultos: o “Encontro da Família no Parque” decorre esta tarde de sábado, 24 de Setembro, no Parque Eduardo VII (Lisboa), a partir das 15h45, e “pretende demonstrar um apoio incondicional à família natural e pela defesa das crianças”.

Fraternidade sem fronteiras

Fraternidade sem fronteiras novidade

A fraternidade é imprescindível na vida e na missão. No Congresso sobre o tema, a realizar nos dias 14 e 15 de Outubro, em Lisboa, queremos reflectir sobre a construção da fraternidade na sociedade, na política, na economia, na missão, no diálogo entre as religiões e na reconstrução da esperança.

Irmã Elis Santos: “São mais de 500 anos a sobreviver, e nós queremos existir”

Indígena do povo Mura em entrevista

Irmã Elis Santos: “São mais de 500 anos a sobreviver, e nós queremos existir” novidade

Aos 35 anos, Elis Santos, religiosa da Divina Providência, é uma das vozes mais ativas no Brasil na luta pelos direitos dos povos indígenas. Descendente do povo Mura e mestre em Antropologia Social, a irmã Elis falou ao 7MARGENS durante o encontro d’A Economia de Francisco, que decorreu na semana passada em Assis, e lamentou que no seu país continue a prevalecer “uma economia que mata”. 

Agenda

There are no upcoming events.

Fale connosco

Autores

 

Pin It on Pinterest

Share This