Dans l’imaginaire commun, utiliser l’intelligence artificielle pour prédire l’avenir ou exercer un contrôle, quel qu’il soit, sur le comportement humain relève de la dystopie propre à la science-fiction, où des êtres cognitifs ou mutants font office dans certaines œuvres de traqueurs de crimes (comme dans l’univers terrifiant de Blade Runner issu d’un roman classique de Philip K. Dick) ou encore de prédicteurs de comportements criminels (comme dans celui de Steven Spielberg dans son film Minority Report). Pourtant, il semble bien que la réalité puise ironiquement dans ces imaginaires littéraires ou cinématographiques, même si les mutants, créatures souvent affreuses, disparaissent au profit des intelligences artificielles, systèmes auprès desquels nous avons déjà entamé une certaine cohabitation.

Concrètement, des services de police et des systèmes judiciaires commencent de plus en plus à faire usage de logiciels et de dispositifs fonctionnant grâce à l’intelligence artificielle pour prévenir le déclenchement de comportements criminels ou pour la détermination de la peine dans des affaires de droit pénal. Perspective orwellienne d’une dystopie à venir ou merveilleuse technique offrant la possibilité d’améliorer la sécurité de l’espace public?

Le magazine Forbes indique par exemple que “les services de police du Royaume-Uni (y compris Durham, Kent et Galles du Sud) utilisent déjà la reconnaissance faciale ainsi qu’un logiciel comportemental pour prévenir les crimes avant qu’ils ne se produisent”. Des logiciels servant en quelque sorte de guide en matière de prise de décisions pour ce qui concerne la détention et la détermination pénale de la peine.

Le fonctionnement des caméras de reconnaissance faciale est simple: lorsqu’un individu est reconnu, une alerte est envoyée aux policiers de Londres, qui devront alors approcher le “suspect” afin de procéder à un contrôle d’identité. Si l’image scannée correspond bien à l’identité figurant sur la liste de surveillance déjà établie par la police, alors la personne sera arrêtée par les forces de l’ordre. La police affirme que cette technologie est fiable à 70% et qu’elle ne génère qu’une fausse alerte sur 1000. Quant aux images scannées des personnes qui ne figurent pas sur la liste de surveillance, la police affirme qu’elles ne sont pas conservées.

Et c’est tout le problème de l’intelligence artificielle: aussi intrigante qu’inquiétante, elle ne permet de remarquables avancées que lorsqu’elle est entre de bonnes mains. Pour l’heure, l’Information Commissionner’s Office (ICO), organisme public de protection des données au Royaume-Uni, a lancé une enquête sur l’utilisation de la reconnaissance faciale, affirmant que la technologie est une “menace potentielle pour la vie privée”. L’ICO souhaite que l’utilisation de la technologie de reconnaissance faciale en direct soit “correctement gouvernée, ciblée et guidée par le renseignement” et estime que le gouvernement devrait introduire un code de pratique juridiquement contraignant.

L’exemple polémique de COMPAS

Aux Etats-Unis, des algorithmes d’évaluation du risque criminel utilisés par les tribunaux, tels que le célèbre et néanmoins très critiqué COMPAS, présentent indirectement de forts préjugés et biais basés sur la race, dans un pays où les Noirs sont déjà fortement touchés par le racisme systémique que traduit notamment la répétition des violences policières à leur encontre. Ce “Correctional Offender Management Profiling for Alternative Sanctions” est un outil de gestion de cas et d’aide à la décision développé et détenu par Northpointe et utilisé par les tribunaux américains pour évaluer la probabilité qu’un criminel devienne récidiviste en fonction notamment de son passif judiciaire, de l’âge qu’il avait lors de sa première arrestation, de données liées à sa vie professionnelle ou éducative, etc.

Or cette étude, qui a ouvert une polémique à propos de COMPAS en 2016, montre statistiques à l’appui comment le dispositif introduit des biais raciaux dans les résultats produits.

L’étude souligne que la race est “assez prédictive” dans l’obtention d’un score (évaluation du risque de récidive, ndlr) plus élevé. “Bien que les accusés noirs aient globalement des taux de récidive plus élevés, après ajustement pour tenir compte de cette différence et d’autres facteurs, ils étaient 45% plus susceptibles d’obtenir un score plus élevé que les blancs”, explique cette étude menée par un groupe américain de journalistes d’investigation. Dans le même temps, COMPAS “fait l’erreur inverse chez les Blancs”, qui sont “beaucoup plus susceptibles que les Noirs d’être étiquetés [comme présentant] un risque plus faible de commettre d’autres crimes”. Ils ont également constaté que seulement 20% des prédictions de récidive violente par COMPAS étaient justes.

La perspective d’un contrôle prédictif des crimes par l’intelligence artificielle n’est donc pas sans soulever de sérieuses questions éthiques, et même méthodologiques. Les services de police prédictifs ont par exemple tendance à “s’appuyer sur des casiers judiciaires signalés par la communauté ou par des patrouilles de police. Cela peut entraîner des boucles de rétroaction et une application plus ferme des règles dans les communautés déjà fortement contrôlées”, poursuit Forbes. Le magazine indique en outre que la technologie de reconnaissance faciale du service de police londonien présente un “taux de faux positifs de 98%”. Une donnée qui rend nécessaire l’utilisation des ressources de la police en vue de prévenir des menaces réelles, et non pas potentielles.

Reconnaissance faciale: Même Google s’inquiète

Cette année, la perspective d’une mise en œuvre de dispositifs d’anticipation d’actes criminels en ayant recours à la reconnaissance faciale a provoqué une véritable levée de boucliers. En juin dernier, plus de 2000 personnalités, universitaires, spécialistes des NTIC, membres d’organisations comme le MIT, Microsoft, ou encore Google, ont dénoncé une étude qui était sur le point d’être publiée par Springer, le groupe éditorial scientifique allemand spécialisé dans le secteur des STM (Sciences, Technologies et Médecine). Springer entendait publier un travail de recherche académique de l’Université d’Harrisburg (Pennsylvanie) portant sur le développement d’un outil d’intelligence artificielle destiné à assurer une prédiction systématisée d’actes criminels, rendue possible grâce à un dispositif de reconnaissance faciale. Et même prédire si une personne peut éventuellement devenir un auteur de crimes! Les auteurs de l’étude avortée de Harrisburg affirmaient pouvoir prédire un crime avec une précision de 80%, sans biais.

Le groupe Springer devait donc publier l’étude, qui devait s’intituler A Deep Neural Network Model to Predict Criminality Using Image Processing, avant de se voir heurté à une vague de contestation et d’opposition à une telle publication.

Pourquoi ces experts et personnalités de la tech sont inquiets? Car le dispositif algorithmique de reconnaissance faciale automatisée pourrait être le déclencheur d’une série de dérives racistes, en faisant très possiblement reposer sa technique de reconnaissance faciale sur des préjugés raciaux.

De la “phrénologie”

Dans une lettre ouverte adressée à Springer, ces 2300 personnalités regroupées au sein de la Coalition pour une technologie critique ont donc appelé à ce que la publication de l’étude soit annulée. Celle-ci a d’ailleurs été surnommée “Pipeline de la technologie vers la prison”. “Les applications d’intelligence artificielle qui affirment pouvoir prédire la criminalité sur des caractéristiques physiques s’inscrivent dans l’héritage de pseudosciences discréditées de longue date, comme la physiognomonie et la phrénologie; la physiognomonie et la phrénologie étant des théories scientifiques tombées en désuétude et prétendant pouvoir déterminer le caractère ou la personnalité d’un individu d’après l’étude de son apparence et de certaines caractéristiques de sa physionomie.

“Soyons clairs, ajoutaient-ils dans leur lettre ouverte, il n’est pas possible de développer un système de prédiction de la criminalité qui ne soit pas raciste, parce que la catégorie ‘criminelle’ est elle-même liée à des biais racistes”. D’autant qu’au moment où cette polémique enflait au sein de ce cercle d’initiés, le meurtre par la police américaine de l’Afro-américain George Floyd était encore tout récent et suscitait émoi, tensions sociales et vent de révolte aux Etats-Unis, puis partout dans le monde, sous la bannière “Black Lives Matter”, rendant ainsi particulièrement choquant l’usage de statistiques judiciaires à des fins de prédiction de la criminalité. Car même si les systèmes informatiques, machines, robots ou tout type de dispositif basé sur l’intelligence artificielle ne sont pas intrinsèquement racistes, ils peuvent en revanche “reproduire”, voire “amplifier” des “résultats discriminatoires”, puisque leur fonctionnement repose sur des “prémisses scientifiques, des recherches et des méthodes peu fiables, que de nombreuses autres études couvrant nos disciplines respectives démystifient au fil des ans”, ajoutent les experts.

Les signataires de la lettre ouverte relèvent deux obstacles majeurs pouvant entraver la justesse d’un tel dispositif de neurones artificiels. Le premier est les préjugés raciaux sur lesquels repose l’analyse des traits d’un visage. “D’innombrables études ont démontré que les personnes de couleur sont traitées plus durement que les blancs, dans des situations similaires, à différents niveaux du système juridique. Ce qui entraîne de graves distorsions dans les données”.

Vient ensuite un phénomène de prophétie autoréalisatrice. Toute technologie de prévision criminelle “reproduit les injustices et engendre un préjudice réel” aux victimes d’un système judiciaire qui, dans un pays comme les Etats-Unis, est loin d’être égalitaire. Surtout que les chercheurs soulignent l’importance que leurs algorithmes prendront “comme avantage significatif aux services répressifs et autres agences de renseignements, pour prévenir les délits”. Enfin, s’agissant de la question du respect des libertés individuelles, la Coalition estime que nous vivons à une époque “où la légitimité de l’Etat carcéral et les services de police en particulier est contestée”, une époque où il est devenu essentiel de rompre avec “la violence historique” instituée. Techniquement, les programmes de Machine Learning ne sont pas “neutres”, soutiennent-ils. Et la cause en est… humaine, bien sûr.

En effet, le vaste ensemble de données que traitent les machines est souvent basé sur les croyances culturelles dominantes qui ont tendance à se perpétuer. Ce qui mène inévitablement à des “conceptions discriminatoires” au sein des systèmes algorithmiques, reproduisant les “idées qui normalisent la hiérarchie sociale et légitiment la violence contre les groupes marginalisés”.

Forts risques éthiques?

La presse spécialisée s’est également saisie du sujet. Le directeur de publication du magazine ActuaLitté, spécialisé notamment dans l’actualité du numérique, estime ainsi que “prédire des crimes sur la base d’analyses aussi fragiles ne pourra que conforter les craintes d’une injustice grandissante”.

Le magazine Le Big Data parle pour sa part d’une “étude inquiétante” et craint les “conséquences désastreuses” que peut provoquer le contrôle d’un outil de ce genre par les forces de l’ordre.  Le magazine souligne d’ailleurs que les pionniers des technologies de reconnaissance faciale que sont IBM ou encore Microsoft ont tous “décidé de ne plus fournir leurs outils à la police”, et même de mettre temporairement fin aux recherches sur la reconnaissance faciale tant que n’est pas encore rigoureusement établi un cadre juridique et éthique suffisamment robuste.

Enfin, les technologies de reconnaissance faciale peuvent être très intrusives. Lorsqu’elles sont utilisées, des informations personnelles de sujets sont introduites dans le système sans qu’ils ne le sachent, et a fortiori sans leur consentement. Les logiciels prétendant définir les traits du “visage type” du criminel, par exemple, s’appuient sur des données collectées sur les réseaux sociaux: relations, événements, horaires scolaires, et toutes sortes de données disponibles sur le marché des données. Si les méthodes traditionnelles des forces de l’ordre – arrestations, fouilles, etc. – peuvent être contrôlées administrativement, la manière dont les outils technologies établissent des prévisions et dont les services de police les utilisent “n’est pas claire”, souligne Forbes.

Un cadre éthique permettant de veiller à ce que des codes de pratique soient appliqués doit donc être établi. Même pour Sundar Pichai, le PDG d’Alphabet (la maison-mère de Google), les entreprises qui développent des technologies basées sur l’intelligence artificielle ont une lourde responsabilité à assumer et ne doivent pas les laisser à la portée de tous.

L’intelligence artificielle au service des citoyens: Oui, mais…

L’intelligence artificielle ne doit toutefois pas être vue comme étant uniquement un moyen pouvant être utilisé contre les citoyens. En juin, le chef de la police du Minnesota où Gorge Floyd a été assassiné, Medaria Arradondo, a présenté une idée de réforme de la police passant par la collaboration avec une société de technologie “obscure” nommée Benchmark Analytics, rapportait Bloomberg en juillet 2020. La société entend développer des services de police prédictifs, qui utilisent des algorithmes pour prévoir où les crimes se produiront ou qui les commettra, mais également en utilisant un modèle informatique qui prétend prédire quels agents sont les plus susceptibles d’être impliqués dans des fautes professionnelles graves, en s’appuyant notamment leurs antécédents en matière d’affrontements de rue avec les citoyens, les plaintes portées à leur encontre, etc.

Mais la technologie de Benchmark, basée sur un programme du Center for Data Science and Public Policy de l’Université de Chicago, fait face à des défis importants, commente Bloomberg. Son succès dépendra en effet de la qualité des données reçues des services de police, “qui peut être considérablement variable”. Les progrès de la société ont stagné, écrit Bloomberg, et “elle a eu du mal à tenir ses promesses, selon des observateurs familiarisés avec sa technologie”.  

Certains experts affirment qu’un système comme celui de Benchmark, dans la mesure où il peut s’avérer utile, n’inspirerait la confiance du public que s’il était exploité en dehors de la chaîne de commandement policière standard.

Ainsi, tout comme les débats sur la technologie et l’intelligence artificielle, il s’agit toujours au final de savoir par qui et comment les données précieuses de l’IA sont contrôlées, à quelles fins, et dans quel cadre de transparence.

“Supposons qu’un policier tue quelqu’un. Quelqu’un en dehors du département policier saura-t-il jamais qu’il faisait partie des 10 agents les plus violents repérés pendant l’année?”, s’interroge dans Bloomberg Sarah Brayne, professeure adjointe à l’Université du Texas à Austin qui étudie la technologie policière. “Si ce n’est que si c’est la police qui détient ces données, alors nous continuerons de dire que c’est elle qui se tient responsable”, dit-elle, en pointant notamment le caractère sélectif des signalements de données qui ont été faits par la police américaine tout au long des dernières décennies… Le modèle fournit simplement aux fonctionnaires des départements de police des informations à utiliser, mais comme bon leur semble, d’où l’impossibilité d’attribuer une capacité de prise de décisions spécifiques à la technologie elle-même.