Lancement de « Benchmark AI », le premier service de benchmark, d’accompagnement et de labellisation des solutions d’intelligence artificielle au service du droit

Un besoin de marché devenu critique

LLM généralistes, IA métiers, agents autonomes, outils RAG, plateformes hybrides : les organisations sont confrontées à une explosion des offres et à des discours commerciaux souvent difficilement vérifiables et comparables.

Or, derrière les promesses d’automatisation et de gains de productivité, les risques sont réels :

• hallucinations,
• non-conformité juridique,
• dépendance technologique ou verrouillage fournisseur,
• risques cyber et sécurité des données,
• destruction de valeur,
• ROI négatif,
• impacts humains et organisationnels.

Comme le souligne Christophe Roquilly, professeur à l’EDHEC, directeur de l’EDHEC Augmented Law Institute et responsable du Comité IA Labellisation       de Benchmark AI 

« Des ROIs négatifs en termes de valeur et de gestion des talents sont tout aussi possibles quand les investissements IA sont réalisés avec des outils non adaptés au contexte de l’entreprise. »

Benchmark AI est né de cette réalité : l’IA ne peut créer durablement de valeur sans cadre de confiance, sans méthodologie d’évaluation, sans gouvernance et sans vision stratégique.

Benchmark AI : une double approche au service des éditeurs d’IA et des décideurs du droit

Benchmark AI distingue clairement deux usages et niveaux de services.

• Pour les éditeurs de solutions IA, le dispositif propose un parcours de référencement, d’évaluation et, le cas échéant, de labellisation. Les solutions peuvent être analysées à partir d’indicateurs de fiabilité, de conformité, de gouvernance, de performance et d’adéquation aux usages des professionnels du droit.

Cette démarche permet aux éditeurs d’objectiver les forces de leur solution, d’identifier d’éventuels axes d’amélioration et de valoriser, lorsque les critères sont réunis, leur engagement dans une démarche de confiance, de transparence et de conformité.

Les solutions évaluées et répondant aux exigences du référentiel pourront intégrer une short list IA EDHEC ALI, actualisée annuellement. Cette short list a vocation à offrir aux décideurs du droit un point d’entrée fiable et lisible pour identifier les solutions les plus robustes au regard de leurs usages professionnels.

• Pour les décideurs du droit, Benchmark AI constitue un outil d’aide à la décision. Il leur permet d’accéder à des critères lisibles, fiables et comparables pour évaluer les solutions disponibles, comprendre leurs conditions d’usage et choisir les outils les plus adaptés à leurs besoins.

Le dispositif vise ainsi à sécuriser la sélection et le déploiement des solutions IA en tenant compte de critères essentiels : pertinence du cas d’usage, niveau de fiabilité attendu, conformité, gouvernance, sécurité des données, dépendance technologique, qualité de l’expérience utilisateur, conditions d’adoption par les équipes, performance attendue et création de valeur réelle.

Benchmark AI ne se limite donc pas à référencer et comparer des solutions : il cherche à rendre le marché plus lisible pour les décideurs du droit, tout en proposant aux éditeurs un cadre d’évaluation structuré et exigeant.

Jimini AI : première solution d'IA juridique labellisée selon le référentiel EDHEC ALI - ADEL

Dans ce cadre, Jimini AI devient la première solution labellisée selon le référentiel EDHEC ALI - ADEL porté par l’EDHEC Augmented Law Institute (EDHEC ALI).

Premier label portant sur le périmètre éthique numérique et conformité, il propose un cadre d’analyse construit pour apprécier les solutions d’IA au regard d’exigences de fiabilité, de transparence, de conformité et de gouvernance. Elle constitue une avancée majeure dans la structuration du marché de l’IA professionnelle.

Selon Raphaël Arroche, Président de Jimini AI

« L’enjeu n’est plus seulement de développer des IA performantes, mais des IA dignes de confiance, auditables et compatibles avec les exigences européennes. »

Pour Jérôme Beranger - Président de Good Algo

« Nous mettons nos 10 ans d'expérience d'analyse éthique des systèmes numériques au service d’une démarche structurée, indépendante et documentée. En tant qu'assesseur agréé du label éthique numérique et conformité, nous contribuons à objectiver l’évaluation des solutions d’IA et à fiabiliser les analyses menées dans le cadre du référentiel EDHEC ALI. »     

Un second éditeur, Septeo Legal Suite, est également engagé dans le processus de labellisation.

Bénéficier du service Benchmark IA 

Les éditeurs de solutions IA souhaitant être référencés gratuitement ou s’informer sur l’accompagnement et le processus de labellisation peuvent déposer leur demande ici : https://benchmark-ai.augmentedlawventures.com/panel

Les décideurs du droit souhaitant en savoir plus pour faire de Benchmark IA un outil d’aide à la décision, peuvent contacter directement Jérôme Frizzera-Mogli, responsable de l’initiative à Jerô[email protected]

À propos de Benchmark AI

Benchmark AI est un programme de recherche et de services dédié à l’évaluation, au benchmark, à l’accompagnement et à la labellisation des solutions d’intelligence artificielle au service du droit.

Soutenu par BPI France dans le cadre de France 2030, le programme réunit experts IA, chercheurs, spécialistes de la conformité, acteurs académiques et professionnels afin de structurer un marché de l’IA fondé sur des indices de fiabilité développés par l’EDHEC Augmented Law Institute, alliant critères de confiance et performance. 

Ces indices articulent critères de confiance, conformité, gouvernance, performance, adéquation aux usages et création de valeur durable.     

Site web : https://benchmark-ai.augmentedlawventures.com