analyse
ton couple

Comprendre · Guide

Ce que vaut une IA qui lit des messages : mes mesures

Un modèle de langue répond toujours. La seule question est de savoir combien de fois il a raison, et si ses erreurs vont toutes dans le même sens. Pour savoir ce que vaut un rapport qui lit une conversation, je l’ai mesuré sur la mienne : neuf ans de messages avec ma femme, qui a accepté que je m’en serve. Voici ce qui a tenu, ce qui est tombé, et ce qui reste ouvert.

Pourquoi une vraie conversation, et pourquoi la mienne

Une méthode éprouvée sur des exemples inventés ne dit rien de ce qu’elle fera sur de vrais messages ; je l’ai appris à mes dépens, on le verra plus bas. Mais une vraie conversation de couple est ce qu’il y a de plus intime, et la seule que je pouvais utiliser sans demander à quelqu’un de me montrer la sienne, c’était la nôtre. Ma femme a accepté.

Le corpus : 73 452 messages, du 26 août 2015 au 20 janvier 2025, regroupés en 35 901 prises de parole — une prise de parole réunit les messages envoyés d’affilée par la même personne. Il a été lu et pseudonymisé exactement par le code qui traite vos conversations : prénoms, tiers cités, numéros et adresses remplacés avant qu’un modèle ne lise une seule ligne.

Deux règles pour lire la suite. Aucun chiffre sur notre couple n’est publié ici, seulement ce que les mesures disent de la méthode. Et il n’existe aucune étiquette humaine sur ce corpus : les références sont produites par des modèles, relues par d’autres modèles. Elles mesurent la cohérence de la lecture et son accord avec un lecteur plus fort, pas une vérité. Je reviens sur ce point à la fin.

À quoi ressemblent de vrais messages

La moitié des prises de parole font huit mots ou moins. Un quart en font trois ou moins, et une sur sept tient en un seul mot. Un « ok » peut être chaleureux ou glacial, et seule la suite le dit. C’est la première chose que les exemples inventés ne montrent pas : ils sont longs, explicites, écrits pour être compris. Les vrais messages sont courts, elliptiques, et pleins de références que seuls les deux intéressés comprennent.

Première leçon : le jeu d’école trompe

J’ai commencé par 198 prises de parole écrites à la main, chacune étiquetée. L’idée était séduisante : repérer les passages qui concernent une grille de lecture — une distorsion de pensée, un des cavaliers de Gottman, un comportement d’attachement — par leur ressemblance avec des phrases types, grâce aux plongements sémantiques qui représentent chaque message par un vecteur, puis ne faire lire que ces passages-là. Sur le jeu d’école, 88 % des passages recherchés se trouvaient dans la présélection.

Sur ma conversation, les 18 % de prises de parole les mieux classées contenaient entre 24 % et 58 % des passages de référence selon la grille, quand le hasard en donne 18 %. À peine mieux qu’un tirage au sort. Ni un modèle de plongement plus gros et plusieurs fois plus cher, ni des exemples réels pris dans la conversation elle-même n’ont changé la conclusion. En huit mots, une lecture de pensée et un message d’organisation se ressemblent davantage, pour le modèle, que deux lectures de pensée.

La leçon vaut pour tout le reste : ne jamais conclure sur des exemples inventés. Leurs cas positifs sont des cas d’école, écrits dans le même registre que les phrases types. Ils mesurent la facilité de l’exercice, pas la qualité de la méthode.

Deuxième leçon : ce qu’un modèle relève doit être relu

Dans la première version, chaque grille était confiée à une lecture dédiée, qui ne cherchait qu’une chose à la fois. Puis une seconde lecture, plus attentive, reprenait chaque passage relevé et devait le confirmer. Selon la grille, elle ne confirmait qu’entre 22 % et 59 % de ce que la première avait relevé. Une lecture seule, sans relecture, se tromperait donc plus souvent qu’elle n’aurait raison sur la plupart des grilles.

Autre découverte : le taux de « oui » d’un modèle dépend de ce qu’on lui montre autour. Sur des lots riches en passages suspects, la même lecture relève quatre à huit fois plus de positifs par ligne que sur des lots ordinaires, sans être plus juste. Le modèle ajuste sa sévérité à ce qu’il voit. À lot identique, en revanche, il est parfaitement constant : trois exécutions ont donné trois fois exactement les mêmes passages. L’instabilité ne vient pas du hasard du modèle, elle vient de la composition de ce qu’on lui donne à lire.

Trois règles du rapport viennent de là, et des mesures qui ont suivi :

J’analyse mon couple

Troisième leçon : deux modèles ne lisent pas la même conversation

Mêmes consignes, mêmes 2 824 prises de parole, deux modèles compétents du même éditeur. Ils ne s’accordent sur le sujet d’un message — organisation, argent, vie sociale, projets — que 57 fois sur 100. Et les passages qu’ils confirment l’un et l’autre ne se recouvrent presque pas : trois distorsions de pensée en commun, sur dix-sept d’un côté et trente-sept de l’autre. Sur les exemples inventés, les deux étaient bons.

Conséquence : changer de modèle n’est pas une décision de coût. C’est changer ce que le rapport mesure. Le choix du modèle fait partie de la méthode, au même titre que les consignes.

La contre-expertise, étiquette par étiquette

En septembre 2026, j’ai soumis la lecture tour par tour à une contre-expertise complète. Le dispositif : un modèle récent et capable, Claude Sonnet 5, étiquette les 35 901 prises de parole avec les consignes du service, mot pour mot — le ton, la cible, la valence de −2 à +2, la réponse à une sollicitation, le sujet. Un modèle plus fort, Claude Opus 5.5, réétiquette à l’aveugle 3 149 prises de parole tirées au hasard dans des strates, avec beaucoup de moments tendus et un témoin de 235 messages jugés sans intérêt, pour mesurer ce que le tri laisse passer : un seul s’est révélé négatif. Une partie des messages est relue deux fois par chaque modèle, pour savoir ce que les consignes laissent ouvert. Enfin, 600 désaccords sont soumis à un arbitre qui voit les deux réponses dans un ordre tiré au sort, sans savoir laquelle vient de quel modèle.

Les consignes tiennent, le lecteur fait la différence. Relu une seconde fois par lui-même, Opus retrouve sa propre étiquette principale 84 fois sur 100 (kappa de 0,82, un accord très bon). Sonnet ne retrouve la sienne que 63 fois sur 100 (0,60). Entre les deux, l’accord tombe à 54 sur 100 (0,51, un accord modéré). Le kappa corrige l’accord de ce que le hasard donnerait ; au-delà de 0,8, deux lecteurs lisent vraiment la même chose.

Les chiffres d’ensemble sont solides. La présence d’un reproche ou d’une marque négative est reconnue de la même façon 92 fois sur 100 (0,78). Rapporté à toute la conversation, le rapport entre marques positives et négatives ne diffère que d’un dixième entre les deux modèles, un écart qui n’est pas significatif ; la part des messages négatifs et la part des sollicitations bien accueillies bougent à peine. Le reproche ordinaire et la défensive, qui font l’essentiel du négatif, sont reconnus de façon stable.

Le détail l’est beaucoup moins, et ses erreurs ont un sens. Sonnet pose deux fois plus de « critiques de caractère » qu’Opus ; là où il en voit une, Opus lit un reproche dans 36 cas sur 69 — exactement la confusion contre laquelle les consignes mettent en garde. Il compte un tiers d’expressions d’amour en plus. Et sur les marqueurs rares, contrôle, pression, menace, culpabilisation, le kappa tombe entre 0,19 et 0,38 : les deux modèles ne désignent presque jamais les mêmes messages.

L’arbitre penche, mais pas au hasard. Quand l’arbitre est un Opus neuf, il donne raison à Opus seul dans 43 % des désaccords et à Sonnet seul dans 4 %. Quand c’est Sonnet qui arbitre, 36 % contre 27 %. Chaque arbitre penche vers les siens ; le sens de l’écart ne fait pas de doute, sa taille si.

Le modèle en production, mesuré de la même façon. La lecture tour par tour du service est confiée à un petit modèle d’OpenAI. Le premier, gpt-5-mini, ne tenait pas : sur ces messages, il ramenait le rapport entre marques positives et négatives à 0,37 fois celui de la référence, et triplait la part des messages négatifs. Il a été remplacé. Depuis le 1er octobre 2026, c’est GPT-6 Luna, choisi sur une référence arbitrée de 3 149 prises de parole : il reconnaît mieux un message négatif (kappa de 0,67 avec la référence, et 78 % de ses messages négatifs le sont aussi pour elle), mais il laisse passer le négatif léger. Sur la conversation entière, la part des messages négatifs est à 0,79 fois celle de la référence, et le rapport entre positif et négatif à 1,27 fois : le chiffre imprimé penche vers le positif. Il compte aussi 1,7 fois plus d’expressions d’amour que la référence, comme les autres modèles d’OpenAI essayés.

Ce que j’en retiens

Un modèle de langue est un codeur comme un autre : il a une précision, un accord avec lui-même et avec les autres, et des biais qui vont dans un sens. Tout cela se mesure, et rien ne se devine sur des exemples inventés. Les agrégats sont bien plus solides que les étiquettes prises une à une : une erreur isolée se dilue dans mille messages, une erreur systématique non. D’où la forme du rapport : des taux avec leur marge plutôt que des verdicts sur un message, des tendances d’une période à l’autre plutôt que des niveaux absolus, et aucun extrait sans relecture ni citation exacte.

Ce qui reste ouvert

Cette page sera mise à jour à chaque nouvelle mesure. Les travaux de recherche sur lesquels le rapport s’appuie sont présentés dans les travaux de référence, et ce qu’il advient de vos données dans la page confidentialité.

Ce que le rapport montre

Des chiffres d’ensemble avec leur marge, et la phrase « trop peu de messages lus pour conclure » quand la matière manque ; des extraits confirmés et cités mot pour mot ; et, en annexe, la précision mesurée de la relecture, ce qui a été lu et le coût de l’analyse.

Ce qu’il ne montre pas

Une certitude sur un message isolé. La lecture automatique est fiable en moyenne, sur des centaines de messages ; sur une phrase de trois mots, elle peut se tromper, et le rapport ne prétend jamais le contraire.

Sources

  • Cohen, J. (1960). A coefficient of agreement for nominal scales. Educational and Psychological Measurement, 20(1), 37–46.
  • Landis, J. R., & Koch, G. G. (1977). The measurement of observer agreement for categorical data. Biometrics, 33(1), 159–174.
  • Wilson, E. B. (1927). Probable inference, the law of succession, and statistical inference. Journal of the American Statistical Association, 22(158), 209–212.
  • Gilardi, F., Alizadeh, M., & Kubli, M. (2023). ChatGPT outperforms crowd workers for text-annotation tasks. PNAS, 120(30), Article e2305016120.
  • Zhao, Z., Wallace, E., Feng, S., Klein, D., & Singh, S. (2021). Calibrate before use: Improving few-shot performance of language models. Proceedings of the 38th International Conference on Machine Learning, PMLR 139, 12697–12706.
  • Ziems, C., Held, W., Shaikh, O., Chen, J., Zhang, Z., & Yang, D. (2024). Can large language models transform computational social science? Computational Linguistics, 50(1), 237–291.

Lire aussi

Par Théophile Ravillion · Mis à jour le 11 novembre 2026.

Analyser votre conversation

Déposez votre export et voyez ce qui a été détecté avant tout paiement.

J’analyse mon couple