IA : « Les acteurs techniques doivent travailler avec les acteurs de la justice »

Que risque la justice à se saisir de l’intelligence artificielle ? Quels bénéfices peut-elle en tirer ? Pour éclairer ces questions, qui agitent le monde judiciaire, la Fondation Jean Jaurès rendait public en juin dernier un rapport intitulé : « Mécanisme d’une justice algorithmisée ». Ses trois auteurs, Adrien Basdevant, avocat en droit du numérique, Aurélie Jean, docteure en mécanique numérique et Victor Strachan, ingénieur en intelligence artificielle, se sont associés pour décrire les grands principes et les mécanismes sous-jacents à ce nouveau centre de préoccupation. Ils proposent un modèle de justice algorithmique responsable et éthique, qui permet à la fois de mieux comprendre les affaires judiciaires, grâce aux algorithmes, tout en conservant un certain jugement humain dans la considération et l’appréciation des affaires judiciaires.

Actu-juridique : Quelle est l’origine de ce rapport sur les algorithmes ?

Adrien Basdevant, Aurélie Jean, et Victor Strachan : Nous avons eu l’idée de cette note après une discussion entre nous sur le sujet du développement et de l’usage des algorithmes dans le domaine de la justice. Nos compétences combinées en sciences de la data, en intelligence artificielle et en droit, étaient selon nous idéales pour aborder un tel sujet sous l’angle de l’interdisciplinarité.

Ce rapport a pour objectif de présenter un état de l’art de la justice algorithmisée et une analyse fine des opportunités et des risques intrinsèques à l’algorithmique, et plus précisément à son application à la justice. Nous avons écrit cette note pour les juristes, les dirigeants politiques, les législateurs, les scientifiques de l’IA, qui peuvent être amenés un jour à développer de tels outils. Nous l’envisageons comme une grille de lecture pour les acteurs de la justice, qu’ils soient avocats, juges ou policiers, pour les concepteurs de la loi mais aussi plus généralement pour les citoyens, qui sont directement concernés. Pour cela, nous avons prêté une grande attention à l’intelligibilité de nos propos tant sur le droit que sur la science algorithmique.

AJ : Contrairement aux idées reçues, vous rappelez que la justice algorithmisée ne date pas d’hier. Que disent les philosophes du XVIII^e siècle de l’usage des probabilités en droit ?

A.B., A.J. et V.S. : Dès 1706, le philosophe et mathématicien Leibniz, un des pères du calcul infinitésimal, établissait un lien entre les concepts de justice et de géométrie ou d’arithmétique. Pour lui, les règles de la justice d’égalité et de proportions relevaient de la même nature que les règles mathématiques. Quelques années plus tard, le probabiliste Nicolas Bernoulli défendra aussi l’application de la notion mathématique de probabilité au domaine juridique, notamment pour les questions d’attribution de pensions alimentaires ou l’achat des rentes viagères. Une des premières controverses sur l’utilisation des algorithmes et des statistiques dans le domaine public apparaît en 1774 lorsque la variole emporte le roi, conduisant son successeur, Louis XVI, à inoculer le vaccin à l’ensemble de la famille royale. La question se posait alors de savoir si l’hygiène publique serait davantage assurée en rendant obligatoire ce vaccin. Les mathématiciens et les juristes comme D’Alembert et Daniel Bernoulli s’affrontent alors sur la pertinence et le contrôle de ces méthodes mathématiques utilisées pour orienter le droit.

AJ : Quand est apparu le terme de « justice prédictive », qui semble d’ailleurs vous gêner ?

A.B., A.J. et V.S. : On commence concrètement à parler de justice prédictive aux débuts de l’ère du big data, et des larges calculs numériques. Cela étant dit, et comme nous l’expliquons dans la note, nous préférons parler de justice algorithmisée car ce terme exprime davantage ce qui est fait en pratique : algorithmiser la justice, c’est-à-dire construire des algorithmes pour automatiser certaines tâches, ou encore fournir des estimations et des évaluations sans prédire stricto sensu une décision judiciaire. De plus, le terme justice algorithmisée nous éloigne des fantasmes que le terme de justice prédictive sous-entend et qui tend à déformer la réalité.

« Le terme justice algorithmisée nous éloigne des fantasmes que le terme de justice prédictive sous-entend et qui tend à déformer la réalité »

AJ : Comment conçoit-on un algorithme ?

A.B., A.J. et V.S. : Vaste question, cela dépend du type d’algorithme. Un algorithme explicite est défini par les concepteurs, qui précisent les règles logiques, les conditions, les hypothèses ou encore les équations mathématiques. L’algorithme est ensuite calibré pour ajuster son fonctionnement afin de modéliser et de simuler le phénomène avec exactitude. Dans le cas des algorithmes implicites – on parle aussi d’apprentissage machine – la logique est construite implicitement sur des données dites d’apprentissage, qui représentent les scénarios de la réalité sur lequel l’algorithme est entraîné et sur lequel il doit fournir une réponse. Par exemple, un algorithme de reconnaissance de chien sur une photo, va être entraîné sur des photos comprenant ou ne comprenant pas de chien, afin de correctement identifier dans le futur un chien sur une photo (qui ne fait pas partie de l’échantillon d’apprentissage). On comprend alors l’importance du choix de ces données d’apprentissage qui doivent être représentatives de la réalité afin que l’algorithme puisse identifier correctement un chien sur une photo.

AJ : De quoi parle-t-on quand on se réfère à l’intelligence artificielle dans le domaine judiciaire ? Pouvez-vous nous expliquer la différence entre data non structurée et data structurée ?

A.B., A.J. et V.S. : En pratique, on parle de construction de modèle d’IA ou d’algorithmes, pour simuler certains mécanismes de décisions judiciaires afin d’avoir des éléments pertinents pour assister les acteurs de la justice. Cela peut être par exemple le calcul du risque de récidive d’un individu ou l’indemnité judiciaire perçue pour un préjudice corporel. Les algorithmes fonctionnent principalement sur des données structurées qui sont des données dont on a défini un champ de métadonnées, à savoir des données servant à décrire d’autres données. Cela étant dit, des travaux sont réalisés sur l’entraînement d’algorithmes sur des données non structurées, ce qui permettrait de gagner du temps car la structuration et la labellisation est une tâche chronophage dans la construction d’un algorithme aujourd’hui.

AJ : La justice algorithmisée existe-t-elle déjà aujourd’hui en France ? Pouvez-vous nous donner quelques exemples ?

A.B., A.J. et V.S. : Elle existe déjà dans certains domaines bien spécifiques. Ainsi, lorsqu’une personne a subi un dommage corporel et souhaite en obtenir l’indemnisation conformément aux règles de la responsabilité civile, il revient aux juges d’évaluer le dommage subi et de décider du montant de l’indemnisation à attribuer. Dans ce contexte est apparue la volonté de créer un outil d’aide à la détermination du montant de l’indemnisation du dommage corporel. Un décret du 27 mars 2020 – qui a fait l’objet de plusieurs contestations – a autorisé la mise en œuvre d’un traitement automatisé de données à caractère personnel, appelé DataJust, pour une durée de 2 ans. Il s’inscrit dans le cadre du projet de réforme de la responsabilité civile. L’objectif final de ce traitement de données est de mettre à disposition du public un référentiel indicatif d’indemnisation des préjudices corporels, destiné à aider les parties et leurs avocats à estimer le montant des indemnités auxquelles elles peuvent prétendre en réparation des préjudices et, d’autre part, les magistrats à allouer aux victimes une indemnité juste. La répartition des élèves à l’issue de leur baccalauréat par ParcourSup (anciennement Admission Post Bac) constitue une autre illustration française connue, et a fait l’objet de plusieurs contentieux, notamment sur l’application d’un traitement de données à caractère personnel purement automatisé pouvant avoir des impacts importants sur la vie des personnes concernées.

AJ : Quels sont les procédures ou domaines judiciaires qui se prêtent à l’usage des algorithmes ?

A.B., A.J. et V.S. : Les domaines d’applications sont multiples et se situent à différents niveaux. Les algorithmes permettent d’automatiser, de standardiser certaines démarches auprès de l’administration et des tribunaux. Les premiers domaines qui viennent à l’esprit sont le contentieux du préjudice corporel, le droit du travail, le droit routier, ou encore les contentieux nécessitant un traitement massif comme le surendettement ou les baux d’habitation.

AJ : Quelles sont les limites à l’usage des algorithmes par le monde judiciaire ?

A.B., A.J. et V.S. : L’application de telles logiques algorithmiques au pénal est souvent dénoncée. Un enjeu critique concerne l’explicabilité des algorithmes. La justice doit pouvoir rendre compte des raisons et des motivations des décisions judiciaires, en permettant à chacun de comprendre la loi et son application. Plus généralement, certains principes fondamentaux de la procédure requièrent de prendre en considération l’accès à un juge impartial, le droit au procès équitable, l’égalité des armes, l’assistance par un avocat, la présomption d’innocence ou encore le principe du contradictoire. Existera-t-il un risque de partialité ou de dépendance des juges qui s’appuient sur un outil d’aide à la décision algorithmique, par manque de recul ou de connaissances nécessaires à l’interprétation des suggestions algorithmiques ? Existera-t-il un risque de rupture d’égalité des armes entre les parties équipées d’outils algorithmiques et celles qui n’en disposent pas ? Les décisions de justice seront-elles suffisamment « motivées » si elles sont rendues par des suggestions algorithmiques dont on ne peut comprendre les logiques de fonctionnement ?

AJ : Pourquoi les pays de common law les développent-ils davantage ?

A.B., A.J. et V.S. : Le système juridique de common law s’est développé dans les pays anglo-saxons et les colonies anglaises. Il s’agit d’un régime juridique qui a très peu recours aux normes textuellement consacrées et se fonde sur les décisions de justice rendues par les juges. Le droit n’étant pas contenu dans des lois générales et impersonnelles, ce sont les juges qui créent les règles de droit par les décisions qu’ils rendent. Dans chaque décision rendue par les juridictions, les juges indiquent les motifs déterminants de la décision. Ainsi ce système pourrait se prêter davantage à la justice algorithmisée en ce que les décisions rendues par les juridictions qui l’appliquent sont particulièrement exhaustives et se fondent sur des précédents ; augmentant les possibilités de modélisation des décisions judiciaires. De ce fait, il est plus simple de réduire des décisions de justice en un raisonnement permettant d’estimer la probabilité de l’issue d’un litige par confrontation entre, d’une part, une règle et ses applications antérieures et, d’autre part, des faits nouveaux.

AJ : Des systèmes numériques prédictifs ont déjà été développés pour identifier des criminels en puissance. Pouvez-vous nous en présenter quelques-uns ?

A.B., A.J. et V.S. : Il existe des outils qui donnent des signaux sur des crimes qui peuvent exister dans certains endroits à certains moments. Ce ne sont pas des prédictions stricto sensu. Un algorithme nommé PredPol a été développé initialement par un groupe de recherche à l’Université de Los Angeles. Il a été commercialisé en 2012, et utilisé par la police de Los Angeles qui a finalement arrêté ce programme en 2020 en raison de phénomènes de discriminations raciales. L’algorithme était renseigné sur les crimes passés déclarés, en considérant les lieux du crime, le type de criminel et le moment de la journée. On comprend alors les limitations d’un tel dispositif, car étaient pris en compte uniquement les crimes déclarés et non tous les crimes commis. Écrit autrement, cet algorithme amenait les policiers à patrouiller dans les mêmes zones, abandonnant d’autres quartiers, ce qui amenait à stigmatiser encore davantage certains quartiers et certaines populations. Même si l’ethnicité n’est pas collectée, elle peut être considérée implicitement par l’algorithme par le quartier de patrouille, comme les quartiers de l’Est de Los Angeles principalement habités par des populations hispaniques et afro-américaines.

AJ : De tels usages pourraient-ils se généraliser, et si oui avec quelles conséquences sont à prévoir pour la présomption d’innocence et le droit de l’accusé à se défendre ?

A.B., A.J. et V.S. : Ces questions sont en effet fondamentales, car un jugement ne constitue pas la reproduction probabiliste de cas passés. Il existe par exemple des situations de revirement jurisprudentiel, à savoir d’évolution des solutions retenues dans des configurations données. Ainsi, la modélisation, le calcul, la prédiction de cas passés ne peuvent pour autant abolir la possibilité d’introduire du nouveau et de l’aléa, sous peine de s’enfermer dans des raisonnements passés et affirmer une forme de fatalité, niant tout contradictoire, toute présomption d’irréductible singularité des cas jugés qui fondent aujourd’hui l’obligation de rendre une décision individualisée.

« Un jugement ne constitue pas la reproduction probabiliste de cas passé »

Que restera-t-il de la présomption d’innocence pour celui qui présente les caractéristiques d’un multirécidiviste ? Il s’agirait alors de glisser insensiblement du commencement d’exécution à l’acte préparatoire, puis de l’acte préparatoire à la potentialité de commettre un crime.

AJ : La justice doit-elle se méfier des algorithmes ou au contraire les intégrer ?

A.B., A.J. et V.S. : La justice doit utiliser ces outils avec précaution en étant éclairée sur les plans scientifiques et techniques. Les acteurs de la justice doivent comprendre les limites de ces outils, ce qu’ils peuvent permettre de faire et ce qu’ils ne feront jamais. Ils doivent prendre conscience des risques de biais algorithmique et de discrimination technologique. L’usage des algorithmes dans la justice ne doit pas menacer le principe d’équité impliquant un même traitement par tous face à la loi. Enfin, la justice doit assurer que chaque citoyen interagissant avec elle, comprenne les tenants et les aboutissants de ces outils, afin de garantir son principe de transparence des décisions judiciaires.

AJ : Quelles sont vos recommandations de bonnes pratiques?

A.B., A.J. et V.S. : Un acteur de la justice doit comprendre systématiquement la construction et le fonctionnement de l’outil qu’il utilise afin de pouvoir challenger les concepteurs, poser des questions pertinentes, voire rejeter la suggestion algorithmique. Il y a également des bonnes pratiques à développer du côté des scientifiques et des ingénieurs qui construisent ces outils. Sans parler des pratiques intrinsèques à l’algorithmique comme des tests et des calculs d’explicabilité. Enfin, les acteurs techniques doivent travailler en étroite collaboration avec les acteurs de la justice, et ce avant le développement de l’algorithme, pour assurer un bon dimensionnement et un usage éclairé par les acteurs de la justice qui sont impliqués dans leur élaboration.

AJ : Est-ce à dire que les magistrats devraient être formés aux nouvelles technologies ?

A.B., A.J. et V.S. : Sans devenir des experts de l’algorithmique, les magistrats doivent comprendre un minimum la construction et le fonctionnement d’un algorithme, ainsi que l’utilisation des données par ces algorithmes pendant l’entraînement et en production, c’est-à-dire une fois utilisés. Il est important qu’ils puissent comprendre ce qu’est un biais algorithmique, et comment les éviter ou du moins les détecter rapidement avant un usage massif de l’algorithme en question. Ils doivent également être capables de travailler avec des scientifiques et des ingénieurs en charge du développement. Cela passe par une formation pendant les études de droit mais, aussi et surtout, dans la formation continue car la discipline évolue rapidement.