The Royal Highness / L’altesse royale / regalis celsitudo : une thématique de préambule pour mesurer l’utilité d’HIMANIS

Il y a quelques années, deux de mes amis ont publié une somme magistrale sur les préambules des rois de France, étudiant la production des actes royaux et ses acteurs au regard des actions juridiques et des thématiques et du style rhétorique des préambules : Barret, Sébastien, et Benoît Grévin. Regalis excellentia :  les préambules des actes des rois de France au XIVe siècle, 1300-1380. Paris: École des chartes, 2014 (Mémoires et documents de l’École des chartes, 98), ci-après abrégé « Barret-Grévin ».

La finesse de ce travail, sa complétude et son existence même, preuve que les méthodes les plus austères de l’érudition ouvrent des vues riches et chatoyantes sur les pratiques intellectuelles et l’histoire culturelle.

Pour ce billet, c’est principalement la partie documentaire de l’ouvrage qui sera utilisée, afin de mesurer l’utilité des recherches et développements faits dans le projet HIMANIS, même si je tenterai, in fine, quelques remarques sur les préambules eux-mêmes.

Méthodologie : performance, précision, rappel et résultats

Après l’énorme travail d’indexation automatique, il faut évaluer la performance de l’indexation.

Nous allons donc comparer nos résultats d’indexation automatique au dépouillement de nos collègues sur une tranche de cotes (JJ 80 – JJ 93 et JJ 105, avec JJ 81 dépouillé en partie seulement). Pour leur importante étude, Sébastien Barret et Benoît Grévin ont, en effet, notamment dépouillé les registres de la chancellerie royale produits durant le règne de Jean II le Bon, offrant au lecteur un très important corpus de préambules, comprenant  548 numéros (p. 425-576), dont trente-et-un font l’objet d’une analyse stylistique prouvant et décomposant les influences de l’ars dictaminis dans l’écriture des notaires et secrétaires du roi (p. 577-623). Les champs lexicaux et sémantiques sont illustrés et mesurés dans le corps de l’étude, mais aussi dans une annexe très fournie : aux p. 625-643, champs sémantiques ; aux p. 643-811, répertoire lexical des termes latins ; aux p. 812-828, répertoire lexical des termes français.

Méthodologie

Pour mesurer la performance de l’indexation automatique, il faut mesurer deux valeurs distinctes : d’une part la « précision », c’est-à-dire le pourcentage d’occurrences correctes parmi l’ensemble des résultats fournis à une requête, et, d’autre part, le « rappel », c’est-à-dire le pourcentage d’occurrences correctes trouvées parmi celles que le système aurait dû trouver dans le corpus indexé.

C’est là que le dépouillement systématique des registres par Sébastien Barret et Benoît Grévin se révèle extrêmement précieux. En effet, le « rappel » est difficile à mesurer, puisqu’il faut avoir lu les registres pour fournir la « vérité terrain » et savoir combien d’occurrences se trouvent réellement dans le corpus.

La méthode suivante a été mise en œuvre. Dans un premier temps, j’ai exploité l’index et le corpus de préambules de l’ouvrage imprimé :

  • choix d’un concept dans l’index Barret-Grévin, en l’occurrence « celsitudo » qui renvoie à 45 numéros du corpus ;
  • exploitation du corpus, repérage des actes multiples utilisant un même préambule ;
  • établissement de la liste des cotes avec préambules contenant le terme recherché.

Dans un deuxième temps, j’ai utilisé l’interface de recherche http://prhlt-kws.prhlt.upv.es/himanis/ avec un « niveau de confiance » (« confidence ») placé à 0 :

  • recherche successive des termes « celsitudo » (56 occurrences), « celsitudinem » (64 occurrences), « celsitudinis » (44 occurrences), « celsitudini » (29 occurrences), « celsitudine » (38 occurrences), et validation systématique : cette étape permet de mesurer de façon fine la précision, ce qui n’est pas réellement possible si on fait une recherche combinée avec plusieurs termes ;
  • recherche avec les cinq termes avec l’opérateur ||, pour « OU », menant à 194 occurrences reconnues du mot sur les images, au lieu des 231 qui sont la somme des différentes indexations : le système lui-même en compte davantage, car il compte une occurrence de « celsitudini » indexée sous « celsitudinis » et sous « celsitudini » pour deux occurrences distinctes ;
  • lecture des textes ainsi indexés pour identifier si le mot se trouve dans un préambule ou dans une autre partie de l’acte ;
  • le cas échéant, vérification dans le corpus Barret-Grévin et identification du numéro de corps.

Enfin, dans un troisième temps, pour mesurer le « rappel », il convenait de vérifier les occurrences de préambules présents dans le corpus et non retrouvé par notre système pour essayer de comprendre le « mécanisme de la faute ».

Mesure de la précision

L’une des difficultés avec l’indexation profonde, c’est que chaque mot peut faire l’objet d’indexations multiples. Parfois, la requête « celsitudinis » aboutira à ce que l’on appelle un « faux positif », par exemple une occurrence de « celsitudini ». Mais la forme qui a été incorrectement indexée, menant au « faux positif » peut également être indexée sous l’entrée correcte. Parfois, le faux positif est la seule entrée de l’index automatique, par exemple il arrive que « celsitudinem » avec tilde final soit indexé sous « celsitudine », comme si le tilde n’avait pas été vu. Dans un cas (JJ56, f. 57r), « celsitudinem » avec tilde final est indexé sous « celsitudine » (sans tilde) et sous « celsitudinere », qui est, certes, un barbarisme, mais manifeste correctement la perception d’un tilde, mal interprété.

Le tableau suivant montre la mesure de la précision à la fois de façon stricte (« faux positif »), mais aussi dans une approche lemmatisée, c’est-à-dire en acceptant comme occurrence correcte une indexation qui n’est pas exacte, mais qui concorde avec l’une des formes déclinées de « celsitudo », par exemple si le système a indexé « sollicitudinis », alors que le texte porte « sollicitudini », on a compté ce dernier comme un « vrai positif ».

 

Entrée d’indexation Occurrences Faux positif Faux positif (hors déclinaison) Précision Précision (hors déclinaison)
celsitudo 56 0 0 1 1
celsitudinem 62 4 0 0,93548387 1
celsitudinis 44 8 0 0,81818182 1
celsitudini 29 1 0 0,96551724 1
celsitudine 38 22 0 0,42105263 1
TOTAL 229 35 0 0,84716157 1

 

La précision moyenne est de 84,7 % de façon stricte et de 100 % si l’on intègre les autres formes déclinées ! C’est d’autant plus admirable que j’avais, il faut le rappeler, placer la « confiance » à zéro, ce qui n’a pas mené à produire du bruit informationnel et la précision est plus que satisfaisante.

Rappel

Ce que je redoutais, par rapport à la précision que nous savons déjà excellente (cf. billets précédents), c’est le rappel. Pour cette mesure, il faut d’abord compter les occurrences des 45 préambules attestées dans les registres. L’un des préambules recensés dans l’index de l’ouvrage imprimé l’est sous un numéro fautif et il faut remplacer le n° 74 (indiqué dans l’index Barret-Grévin et renvoyant à JJ 89, fol. 325r, n° 674) qui ne contient pas le mot « celsitudo » par le n° 75, renvoyant à un formulaire. En tout, il y a 59 occurrences alléguées par les notices des préambules recensés dans l’index.

Comme les auteurs le mentionnent (p. 427), le renvoi à une édition sans indication de cote ne suppose pas l’absence de l’acte dans les registres eux-mêmes, mais, généralement, quand le préambule est connue par une autre source, la cote du registre n’est pas indiquée. Il y reste en tout 35 occurrences dans les registres du Trésor des chartes.

Parmi ces 35, nous en identifions 17, soit 48,6 %. Des circonstances permettent de non pas seulement de se consoler de ce résultat un peu décevant, mais de le corriger en l’améliorant.

Tout d’abord, on trouve trois occurrences de préambules que nous ne cherchions pas car cités d’après une édition ou une copie tardive : les préambules Barret-Grévin n° 114A et n° 114B sont conservés dans les registres du Trésor des chartes en JJ 80, n° 294, fol. 204r et JJ 91, n° 20, fol. 12r, puis le préambule n° 259 en JJ 91, n° 345, fol. 179v. Puis nous trouvons les préambules n° 32 et n° 73, qui étaient omis dans l’index, mais pour lesquels le corpus des préambules Barret-Grévin renvoie correctement aux registres de la chancellerie (JJ 105, n° 265, fol. 145r et JJ 105, n° 596, fol. 296v). Bref, au final, nous trouvons non pas seulement 17 préambules contenant « celsitudo » et recensés par Barret-Grévin, mais 22.

Si l’on compte d’après les occurrences repérées sur le nombre d’occurrences présentes, autant que l’on puisse savoir après nos repérages et mise à jour de la liste établie d’après l’index, il faut compter toutes les occurrences, qui se répartissent en : 18 occurrences non repérées ; 21 listées dans des sources autres que les registres du Trésor des chartes (en comptant Barret-Grévin n° 75), et 22 occurrences correctement identifiées (dont les deux omises dans l’index, mais présentes dans le corpus Barret-Grévin). À ce stade, le rappel est de 22/(22+18) = 55 %

Analyse des résultats quantitatifs

Une première remarque doit être faite quant à la précision et au rappel. Dans une comparaison entre les experts humains et la machine, si on compte les cinq occurrences supplémentaires, par rapport à une vérité-terrain « humaine », donc elle-même imparfaite, celle de l’index, on trouve 22 occurrences de « celsitudo » dans un préambule par rapport aux 35 de l’index, soit un rappel qui s’établit à 62,9 %. Évidemment, les Sciences de l’ingénieur ne peuvent pas réellement mesurer le rappel de cette façon, mais c’est une mesure réelle de ce que peut apporter la machine à nos recherches.

Une deuxième peut être formulée en comparant les 229 occurrences de notre recherche sur l’ensemble des registres numérisés actuellement aux 35 correspondant aux cotes JJ 80 – JJ 93 et JJ 105 qui sont listées dans le corpus Barret-Grévin, l’aide apportée aux recherches historiques est évidente. Des comparaisons plus approfondies seraient assurément nécessaires, mais l’étude du champ lexical et sémantique de « l’altesse royale » peut être entamée directement sans dépouillement systématique.

La troisième remarque vise les causes et mécanismes de la faute, et le développement de stratégies de recherche et d’indexation.

  • Plusieurs fois, l’origine de l’absence d’indexation est la mauvaise segmentation en ligne, parfois elle-même causée par des courbures sur l’image ou par la présence d’annotations marginales, comme l’analyse de l’acte – et le préambule est une partie particulièrement concernée, puisque l’analyse est en tête de l’acte.
  • Outre ces absences d’indexation, il faut aussi compter les erreurs de lecture et deux sont apparues de façon récurrente : « celsitudis » (abréviation non résolue) et « celsitudum » (erreur classique d’interprétation des jambages). La combinaison (celsitudis || celsitudum) apporte 28 résultats, et pas moins de quatre préambules pour dans les cotes JJ 80 – JJ 93 et JJ 105, ce qui améliore drastiquement le rappel et le fait monter à 65 %. Pour améliorer les résultats, tant de l’indexation que de la recherche, il est important de mieux implémenter les dictionnaires et outils de lemmatisation dans le moteur d’indexation, pour pousser la reconnaissance vers un terme existant, et, du côté de la recherche, créer une recherche floue qui pourrait intégrer des mécanismes de faute.

Dans un prochain billet, j’aurai le plaisir de faire quelques remarques sur les préambules dans une analyse historique.

Nota 1
ce texte a été rédigé le 28 septembre 2017, rendu visible sur le site le 24 novembre 2017.

Nota 2
Les données de l’évaluation sont rassemblées dans les différents onglets du tableur suivant :
HIMANIS : mesure de la précision et du rappel pour le mot “celsitudo” et comparaison avec le relevé Barret-Grévin


Leave a Reply

Your email address will not be published.

This site uses Akismet to reduce spam. Learn how your comment data is processed.