L’utilisation aveugle des technologies peut porter atteinte aux droits

« Les technologies numériques – notamment l’intelligence artificielle, l’automatisation et la prise de décision basée sur des algorithmes – exacerbent les inégalités dans les systèmes de protection sociale à travers le monde », déclare Amnesty International dans un communiqué. nouveau rapport publié aujourd’hui.

“De la Serbie à l’Inde en passant par les Pays-Bas, ces technologies sont saluées par les gouvernements comme des solutions de pointe pour parvenir à une meilleure répartition des ressources, améliorer les systèmes administratifs, détecter la fraude et améliorer la sécurité. Toutefois, les recherches d’Amnesty International ont montré que la numérisation incontrôlée des systèmes de protection sociale présente de nombreux risques pour les droits humains et exacerbe les inégalités.», a déclaré Imogen Richmond-Bishop, chercheuse en technologie et droits économiques, sociaux et culturels à Amnesty Tech.

« Face aux multiples crises mondiales provoquées par les conflits, l’urgence climatique et la pandémie de COVID-19, entre autres facteurs, il est plus essentiel que jamais que des systèmes de protection sociale solides soient en place pour protéger les personnes et les communautés de l’insécurité des revenus.

La protection sociale à l’ère numérique met en évidence les risques que l’utilisation incontrôlée des technologies numériques fait peser sur les droits de l’homme.
L’enregistrement des cartes sociales en Serbie est un bon exemple de système de prise de décision semi-automatisé utilisé dans un paysage de sécurité sociale déjà défaillant et affectant directement des communautés déjà marginalisées, comme indiqué dans un rapport d’Amnesty International de 2023. La technologie, qui a été mise en œuvre sans des garanties et protections adéquates des droits de l’homme, ont eu des conséquences concrètes pour les communautés roms et les personnes handicapées.

Le système a élargi la discrimination déjà existante et créé des obstacles supplémentaires à l’accès au droit à la sécurité sociale. De nombreuses personnes interrogées par Amnesty International ont été privées de leur maigre aide financière, ce qui a entraîné la suspension de leur accès à des biens et services essentiels, tels que la nourriture et les médicaments, en raison de défauts d’enregistrement de leur carte sociale.

En Inde, le système d’identification biométrique Aadhaar – qui fournit un numéro d’identification unique à chaque personne, qu’elle soit nationale ou résidente, même si elle est mineure – est utilisé comme moyen de vérifier et d’authentifier les informations d’identité dans de nombreux services publics, comme des prestations de sécurité sociale et des rations alimentaires, entre autres. Cela se fait à l’aide de méthodes entièrement numérisées. Les journalistes et les professionnels d’investigation de la société civile, entre autres personnes et entités, ont documenté comment cela a conduit à l’exclusion de nombreuses personnes d’une protection sociale vitale.

“Il est essentiel qu’avant d’introduire la technologie dans les systèmes de protection sociale, les États étudient soigneusement son utilisation et la mettent en balance avec les risques potentiels pour les droits de l’homme. L’introduction de toute technologie doit s’accompagner d’évaluations indépendantes et solides de son impact sur les droits de l’homme tout au long du cycle de vie du système, de la conception au déploiement, et des mesures d’atténuation efficaces doivent être mises en place.», a déclaré Imogen Richmond-Bishop.

« Les communautés qui seront touchées par un système doivent être consultées et tout changement apporté à ces systèmes de soutien vitaux doit être communiqué de manière claire et accessible. « Il est crucial que s’il est conclu qu’un système est susceptible de porter atteinte aux droits de l’homme et que de telles atteintes ne peuvent être efficacement évitées, il ne soit jamais utilisé. »

En 2023, les recherches d’Amnesty International présentées dans le rapport intitulé Piégé par l’automatisation : pauvreté et discrimination dans l’État-providence en Serbie documentó considérant que de nombreuses personnes, en particulier les Roms et les personnes handicapées, n’étaient pas en mesure de payer leurs factures ni de rapporter de la nourriture à la maison, et avaient du mal à joindre les deux bouts après avoir été retirées de l’aide sociale suite à l’introduction de la carte sociale d’enregistrement des personnes handicapées

En 2021, Amnesty International a documenté comment un système algorithmique utilisé par les autorités fiscales néerlandaises avait procédé à un profilage racial des personnes bénéficiant d’allocations de garde d’enfants. L’outil était destiné à vérifier si les demandes de subvention étaient authentiques ou frauduleuses, mais le système a pénalisé à tort des milliers de parents immigrés et à faible revenu, les plongeant dans une dette et une pauvreté exorbitantes.