C’est ce que la loi sur l’IA considère comme un « risque inacceptable »

Le premier accord au monde car une loi qui réglemente l’intelligence artificielle a été adoptée en Europe. En tant que pionnier, il pourrait avoir une influence sur d’autres réglementations internationales, comme cela a été le cas avec le règlement général sur la protection des données. C’est pour cela qu’il est sous le feu des projecteurs. Le projet de loi a été élaboré en fonction des risques qu’il peut engendrer. Au plus haut niveau se trouvent ceux considérés comme des « risques inacceptables ».

Même s’il faudra attendre le texte final, l’accord distingue pour l’instant trois types de risques : le risque inacceptable, lorsqu’on considère que son utilisation compromet sérieusement les droits de la personne ; risque élevé, s’il affecte les droits fondamentaux mais que son utilisation peut être comprise dans certains contextes ; et léger risque.

Il est interdit de classer selon les croyances, la race ou l’identité sexuelle

Que diriez-vous si, lors du processus de sélection pour un emploi, vous étiez exclu comme candidat parce qu’un système d’IA a identifié votre tendance sexuelle et que votre patron potentiel n’aime pas cela ? Ils pourraient le faire sans même vous appeler pour un entretien, sans vous connaître.

C’est l’un des soi-disant « risques inacceptables » découlant de l’utilisation de l’intelligence artificielle. Elle repose sur une catégorisation biométrique, qui a le potentiel de détecter l’idéologie politique, les croyances religieuses ou philosophiques, ainsi que la race et l’orientation sexuelle.

La reconnaissance faciale, utilisée dans les systèmes de sécurité, tant publics que privés, est alimentée par un grand nombre d’images. Celles-ci peuvent être collectées sur Internet ou à partir du grand nombre de caméras de vidéosurveillance présentes dans les lieux publics. C’est le cas de l’application ClearviewAIet logiciel technologie de reconnaissance faciale qui fournit ses produits aux gouvernements et aux agences de police pour la détection de personnes. Eh bien, cette forme de collecte automatisée d’images va être interdite.

Parce que? Principalement en raison de l’intrusion dans la vie privée, mais aussi parce qu’ils disposent d’une grande marge d’erreur lors de l’identification de la personne. S’il est admis dans les procès, par exemple, cela n’aurait aucun sens d’utiliser un système qui ne parvient pas à identifier les sujets dans des processus pouvant conduire à des sanctions pénales. De plus, ce système permet de contrôler les personnes dans les espaces publics.

Les systèmes de reconnaissance des émotions qui surveillent en permanence les individus dans l’environnement éducatif ou professionnel sont également interdits pour éviter, entre autres, laisse-les dormir, perdre sa concentration ou faire preuve d’apathie. Ici aussi la loi parle de « risque inacceptable ».

Surveillance au travail

Lorsqu’ils ont été mis en œuvre dans des environnements de travail, les travailleurs ont décrit ressentir un inconfort extrême en se sentant surveillé tout le temps. Mais le problème va au-delà de l’inconfort : les entreprises pourraient imposer des mesures lorsqu’elles détectent ces émotions pour augmenter la productivité des travailleurs s’ils ne fonctionnent pas comme prévu. De plus, une mauvaise nuit peut suffire pour qu’un système présentant ces caractéristiques nous alerte de notre « faible productivité ».

Il peut certainement être judicieux d’utiliser la reconnaissance faciale et la surveillance des émotions dans un but clairement positif pour la société, comme empêcher une personne de s’endormir au volant d’une voiture et de provoquer un accident. Ce qui est controversé, c’est que ces technologies peuvent être utilisées à des fins telles que le contrôle de l’immigration ou pour justifier l’action de la police.

Comportement contrôlé

Il n’y a pas si longtemps, le gouvernement néerlandais a décidé d’utiliser un système d’intelligence artificielle pour organiser une répartition de l’aide sociale auprès des plus défavorisés. Quel était le problème? Quoi discrimination envers les immigrés et les noirs, deux groupes vulnérables qui ont été exclus de l’obtention de cette aide. Les conséquences ont été si graves que le ministre qui a mis en place le système a dû démissionner peu de temps après.

En Chine, ils sont allés encore plus loin. Le gouvernement a établi un système de points pour évaluer ses citoyens. L’obtention d’une mauvaise évaluation peut entraîner des restrictions de voyage ou empêcher l’accès au crédit bancaire ou à l’emploi.

Pour éviter ce type de situation, le nouveau règlement propose de supprimer les usages dédiés à l’exploitation des vulnérabilités des personnes telles que l’âge, le handicap ou la situation sociale et économique.

Un autre modèle inacceptable est celui des systèmes de renseignement qui manipulent le comportement humain pour restreindre leur libre arbitre. Ce sont des systèmes qui servent, par exemple, à rendre les utilisateurs accros plus longtemps aux réseaux sociaux, à les inciter à acheter certains produits ou à empêcher les gens de prendre certaines décisions librement.

Les utilisations policières ne sont pas interdites, mais sont considérées comme à haut risque

Toutefois, la loi n’interdit pas aux forces et organismes de sécurité d’utiliser des systèmes d’identification biométrique dans les espaces ouverts au public à des fins policières. Dans ces cas, une autorisation judiciaire est nécessaire pour les utiliser. Et ils ne peuvent être utilisés que pendant une durée et un espace limités.

Ces hypothèses sont les suivantes :

1. Recherchez des victimes spécifiques, par exemple dans les enlèvements, la traite et l’exploitation sexuelle.

2. Prévention des menaces terroristes spécifiques et actuelles.

3. Localisation ou identification d’une personne ayant commis un crime grave de terrorisme, de trafic et d’exploitation sexuelle, de meurtre, d’enlèvement, de viol, de vol à main armée, de participation à un groupe organisé et de délits environnementaux.

Le scepticisme de certains groupes à l’égard de ces applications est compréhensible compte tenu le grand nombre de faux positifs qui se produisent lors de l’identification faciale en direct. Si l’on ajoute à cela le nombre de délits inclus dans le troisième point, il semble presque que toute utilisation dans les enquêtes policières reçoit le feu vert en général.

Les efforts déployés par les États pour empêcher que l’IA soit interdite dans les enquêtes policières ont été plus que remarquables. Peut-être que pour ces utilisations en matière pénale, une législation spécifique devrait être articulée, comme c’est le cas pour l’utilisation des données personnelles.

Quoi qu’il en soit, nous pouvons considérer cet accord comme un grand succès, étant donné que les droits fondamentaux restent obligatoires. Et les citoyens, que leur utilisation soit interdite ou non, pourront recourir aux tribunaux lorsqu’ils ne se sentent pas protégés.