Alpaca Law face à Doctrine : le matériel du test

Comment le test a été mené

Le protocole a été fixé avant les essais, le 19 octobre 2026 : dossiers, consignes, versions comparées et grille de notation.
Les versions comparées : Claude Opus 5.5 (dans Claude Code) connecté à la base de données d'Alpaca Law, avec la recherche web, et l'Assistant de Doctrine en mode « Raisonnement avancé ». Les juges ont aussi noté, dans le même lot, une réponse de Claude sans la base d'Alpaca Law, qui sert à une autre comparaison et n'est pas publiée ici ; les rapports des juges, publiés sans retouche, en parlent.
Doctrine a reçu la même consigne et les mêmes documents, en pièces jointes, le 20 octobre 2026. Comme il n'accepte pas les fichiers .md et .html, ceux-ci lui ont été joints en .txt, avec le même contenu.
À l'aveugle : chaque réponse a été convertie en texte, sans liens ni nom d'outil, et marquée A, B ou C au hasard ; le second juge a reçu d'autres lettres. Le tableau des notes donne la correspondance.
Les juges sont des modèles d'IA (Claude Opus 5.5), deux par dossier, sans corrigé : ils ont fait leurs propres recherches et vérifié les sources citées. Un troisième juge était prévu en cas d'égalité ; il n'y en a pas eu. La base d'Alpaca Law n'a pas fonctionné pour les juges, qui ont vérifié sur les sites officiels et publics.

Consigne et documents : consigne · explication.md · contrat.docx · Historique_Emails.html · Historique_Emails.txt · Recu_001 · Recu_002 · Recu_003 · Recu_004 · Recu_005 · Recu_006 · Recu_007 · Recu_008 · Recu_009 · Recu_010 · Recu_011
Claude + Alpaca Law : analyse-assignation.md · assignation.md · assignation.docx
Doctrine : answer.md
Juge 1 : rapport · texte A · texte C
Juge 2 : rapport · texte B · texte C