Alpaca Law face à Doctrine : un test à l'aveugle sur deux dossiers français

Les résultats

Claude connecté à Alpaca Law a gagné les deux dossiers, selon chacun des quatre juges. Sur l'ensemble, il obtient 94 points sur 100, contre 51 pour Doctrine.

Ce qui fait la différence

Le plus grand écart porte sur les sources : 19 sur 20 pour Claude avec Alpaca Law, 8 pour Doctrine. Avec notre base de données, Claude a appuyé chaque argument sur les décisions de la Cour de cassation les plus pertinentes, et les juges qui les ont vérifiées les ont trouvées exactes.

Les juges ont relevé chez Doctrine des erreurs qui desservent le client. Dans le dossier du prêt, il renonce à réclamer les 2 400 € d'intérêts impayés, se trompe sur la sanction de l'usure et rédige une assignation sans date d'audience, au risque de la faire annuler. Dans le dossier du bail, il cite un arrêt rendu en matière de bail commercial pour un bail d'habitation, et un arrêt qui dit le contraire de ce qu'il lui fait dire.

Claude avec Alpaca Law a aussi commis des erreurs, la principale dans l'assignation : il a gardé l'ancienne formule sur le défaut de comparution, alors qu'un décret du 27 juillet 2026 l'a modifiée à partir du 1^er octobre.

Comment nous avons testé

Nous avons donné aux deux outils exactement la même consigne et les mêmes documents, pour deux dossiers :

• Un bail meublé à réviser pour le bailleur. Plusieurs de ses exigences sont illégales en l'état : une pénalité de 100 € par retard, l'interdiction des animaux, des visites mensuelles avec ses propres clés, une hausse automatique du loyer de 5 % par an. Le bon avocat obtient le maximum pour son client sans franchir la loi. Le dossier part d'un modèle de bail type.
• Un prêt de 40 000 € entre particuliers, impayé. Les emprunteurs soutiennent que le contrat est nul faute de mention manuscrite et que les intérêts sont usuraires. Il faut analyser le dossier et rédiger l'assignation.

D'un côté, Claude (Opus 5.5) connecté à la base de données d'Alpaca Law, avec la recherche web. De l'autre, l'Assistant de Doctrine en mode « Raisonnement avancé ».

Chaque réponse a ensuite été évaluée à l'aveugle par deux juges IA par dossier, qui ne savaient pas quel outil avait écrit quoi. Ils ont noté cinq critères de 1 à 5 : la qualité des sources, le respect du droit en vigueur, la stratégie, la justesse de la conclusion et la qualité des arguments. Ils ont aussi vérifié les décisions et les articles cités sur les sites officiels.

Les consignes, les documents, chaque réponse et les rapports complets des juges sont publiés ici.

Les limites de ce test

Alpaca Law, concurrent de Doctrine, a conçu et mené ce test, selon un protocole fixé avant les essais. Il porte sur deux dossiers, avec une seule réponse par outil : un autre essai pourrait donner d'autres notes. Les juges sont des modèles d'IA : Claude.