Les autorités doivent immédiatement mettre fin à l’utilisation de l’algorithme discriminatoire utilisé par l’agence de sécurité sociale

Les autorités françaises doivent immédiatement mettre fin à l’utilisation d’un algorithme de notation des risques discriminatoire utilisé par la Caisse nationale de prestations familiales (CNAF) de la Sécurité sociale française pour détecter les trop-payés et les erreurs liées au paiement des prestations, a déclaré Amnesty International aujourd’hui.

Le 15 octobre, Amnesty International et 14 autres partenaires de la coalition dirigée par La Quadrature du Net (LQDN) ont déposé une plainte auprès du Conseil d’État, la plus haute juridiction administrative de France, demandant l’arrêt du système algorithmique de notation des risques utilisé par. la CNAF.

« Dès l’origine, le système de notation des risques utilisé par la CNAF traite comme suspecte les personnes qui souffrent de marginalisation : les personnes handicapées, les familles monoparentales – majoritairement composées de femmes – et celles vivant dans la pauvreté. Ce système va directement à l’encontre des normes relatives aux droits humains et viole le droit à l’égalité et à la protection contre la discrimination, ainsi que le droit à la vie privée », a déclaré Agnès Callamard, secrétaire générale d’Amnesty International.

En 2023, La Quadrature du Net (LQDN) a eu accès à des versions du code source de l’algorithme – un ensemble d’instructions écrites par des programmeurs pour créer un programme informatique – qui ont révélé le caractère discriminatoire du système.

Depuis 2010, la CNAF utilise un algorithme de notation des risques pour identifier les personnes susceptibles de commettre une fraude aux prestations en recevant des trop-perçus. L’algorithme attribue un score de risque compris entre zéro et un à toutes les personnes bénéficiant d’allocations familiales et de logement. Plus le score est proche de un, plus il est probable qu’il soit signalé aux fins d’enquête.

En France, on compte au total 32 millions de personnes vivant en cellule familiale et bénéficiant d’une prestation de la CNAF. Vos données personnelles sensibles et celles de votre famille sont périodiquement traitées et un score de risque leur est attribué.

Les critères qui augmentent le score de risque d’une personne comprennent des paramètres discriminatoires à l’égard des familles vulnérables, comme avoir un faible revenu, ne pas être employé, vivre dans un quartier défavorisé, consacrer une part importante de son revenu au loyer et travailler avec un handicap. Les détails des personnes signalées comme ayant un score de risque élevé sont compilés dans une liste qui fera l’objet d’une enquête plus approfondie par un enquêteur chargé des fraudes.

« Bien que les autorités annoncent l’introduction de technologies algorithmiques dans les systèmes de protection sociale comme moyen d’accroître l’efficacité et de détecter les fraudes et les erreurs, dans la pratique, ces systèmes compliquent la réalité de la vie des gens. Ils fonctionnent comme de vastes outils d’exploration de données qui stigmatisent les groupes marginalisés et portent atteinte à la vie privée », a déclaré Agnès Callamard.

Amnesty International n’a pas enquêté sur les cas spécifiques de personnes identifiées par le système CNAF. Cependant, nos recherches aux Pays-Bas et en Serbie indiquent que l’utilisation de systèmes assistés par l’IA et l’automatisation dans le secteur public permettent une surveillance de masse : la quantité de données collectées est disproportionnée par rapport à l’objectif supposé du système. En outre, les données détenues par Amnesty International ont également révélé combien de ces systèmes se sont montrés très inefficaces dans la réalisation de ce qu’ils sont censés faire, qu’il s’agisse d’identifier la fraude ou les erreurs dans le système de prestations.

Il a également été affirmé que l’ampleur des erreurs ou des fraudes en matière de prestations avait été exagérée pour justifier le développement de ces systèmes technologiques, entraînant souvent des actions discriminatoires, racistes ou sexistes à l’encontre de groupes spécifiques, en particulier les migrants et les réfugiés.

Au cours de l’année écoulée, la France s’est activement présentée au niveau international comme le prochain pôle des technologies d’intelligence artificielle (IA), une initiative qui aboutira à un sommet prévu en février 2025. Dans le même temps, la France a également légalisé les technologies de surveillance de masse. et a systématiquement sapé la loi sur l’intelligence artificielle de l’Union européenne.

« La France utilise un système algorithmique de notation des risques pour les prestations sociales qui met en évidence, entretient et consacre les préjugés et la discrimination de la bureaucratie. La France doit plutôt veiller à respecter ses obligations en matière de droits de l’homme, avant tout de ne pas se livrer à des discriminations. « Les autorités doivent s’attaquer aux méfaits actuels et existants liés à l’intelligence artificielle alors que le pays s’efforce de devenir un centre mondial de l’intelligence artificielle », a déclaré Agnès Callamard.

En vertu du règlement sur l’intelligence artificielle récemment adopté par l’Union européenne (loi sur l’intelligence artificielle), les systèmes d’intelligence artificielle utilisés par les autorités pour déterminer l’accès aux services et prestations publics essentiels sont considérés comme présentant un risque élevé pour les droits de l’homme, la santé et la sécurité des personnes. Par conséquent, ils doivent se conformer à des normes techniques, de transparence et de gouvernance strictes, y compris l’obligation pour ceux qui les introduisent de procéder à une évaluation des risques liés aux droits de l’homme et de garantir des mesures d’atténuation avant leur mise en œuvre.

Parallèlement, certains systèmes, comme ceux utilisés pour le « score social » (ou score citoyen), sont considérés comme comportant un niveau de risque inacceptable et devraient donc être interdits.

Il est actuellement difficile de savoir si le système utilisé par la CNAF peut être considéré comme un système de notation sociale en raison du manque de clarté de la loi sur l’intelligence artificielle quant à ce qui constitue ce type de système.

« Il est regrettable que les législateurs de l’Union européenne aient été imprécis lorsqu’il s’agit de définir explicitement ce qu’on entend par score social. La Commission européenne doit veiller à ce que ses prochaines lignes directrices fournissent une interprétation claire et applicable de l’interdiction du score social, notamment lorsqu’elle est appliquée aux systèmes discriminatoires de détection des fraudes et de notation des risques », a déclaré Agnès Callamard.

Quelle que soit sa classification au titre de la Loi sur l’Intelligence Artificielle, toutes les données indiquent que le système utilisé par la CNAF est discriminatoire. Il est essentiel que les autorités cessent de l’utiliser et examinent les pratiques biaisées qui sont intrinsèquement néfastes, en particulier pour les communautés marginalisées qui réclament des prestations sociales.

Informations Complémentaires

La Commission européenne publiera des orientations sur la manière d’interpréter les interdictions incluses dans la loi sur l’intelligence artificielle avant son entrée en vigueur le 2 février 2025, y compris sur ce qui peut être qualifié de systèmes de notation sociale.

La loi sur l’intelligence artificielle est entrée en vigueur en août 2024. Amnesty International, en tant que membre d’une coalition d’organisations de la société civile dirigée par le Réseau européen des droits numériques (EDRi), a réclamé une réglementation européenne sur l’intelligence artificielle qui protège et promeut les droits humains.

En mars 2024, un rapport d’Amnesty International a révélé comment les technologies numériques – notamment l’intelligence artificielle, l’automatisation et la prise de décision algorithmique – exacerbent les inégalités dans les systèmes de protection sociale à travers le monde.

En 1921, le rapport Xenophobic Machines d’Amnesty International révélait comment le profilage racial était inclus dans la conception du système algorithmique utilisé par les autorités fiscales des Pays-Bas pour signaler les demandes d’aide à la garde d’enfants potentiellement frauduleuses.