Des tâches tirées de la pratique : analyse de crédit, conformité, sinistres, clauses contractuelles.
Benchmark
Purple Bench FR : les agents d'IA face aux métiers de la banque, de l'assurance et du droit
Des tâches réelles, rédigées et notées par des professionnels français, pour mesurer ce que les modèles savent vraiment faire dans les métiers réglementés.
Première édition en préparation.Comment c'est construit
Une réponse de référence et une grille de notation par tâche, rédigées par des experts.
Chaque note est justifiée par écrit et vérifiée en double revue.
Un échantillon public pour la transparence ; le reste reste privé pour éviter que les modèles s'y entraînent.