Benchmark de précision des sous-titres en direct — six services, un panel, un rédacteur CART professionnel au fond de la salle

Nous avons soumis six services de sous-titrage en direct à trois sessions test de 60 minutes : Otter.ai, les sous-titres Google Meet, les sous-titres Zoom, les sous-titres Microsoft Teams, les sous-titres Cisco Webex et StreamText (piloté par un opérateur). Chaque session utilisait le même script préparé — huit intervenants avec des accents mixtes (américain, britannique, anglais indien, bulgare, singapourien, français), dix-sept entités nommées dont cinq produits délibérément désignés par des noms de code, deux passages de jargon technique dense et trois minutes de chevauchements de parole scriptés. Chaque session était simultanément sous-titrée par un rédacteur CART professionnel à plus de 220 mots par minute, dont la transcription a servi d’étalon-or. Le taux d’erreur de mots (WER) composite mesuré allait de 3,1 % (CART humain) à 14,8 % (le service automatisé le moins performant). La latence médiane de bout en bout allait de 0,9 s à 5,6 s. Deux services ont atteint le seuil de certification SAS-LIVE sur la mémorisation du jargon. La plupart ne l’ont pas atteint.

Méthodologie et conditions du test

Un benchmark de sous-titrage en direct tient ou s’effondre sur son contrôle. Nous avons commandé trois sessions identiques de 60 minutes sur trois jours séparés. Chaque session suivait le même script préparé : une ouverture par un modérateur, quatre tours de parole scriptés d’environ sept minutes chacun, deux passages de discussion ouverte totalisant onze minutes, un passage scripté de trois minutes de chevauchements avec deux et parfois trois locuteurs simultanés, et une clôture.

Huit intervenants distants ont lu à partir du script. Ils ont été briefés sur le cadence mais pas sur l’objectif du test. Accents représentés : anglais américain général (deux intervenants), Received Pronunciation (un), anglais indien (un), anglais à accent bulgare (un), anglais singapourien (un), anglais à accent français (un), anglais écossais (un). Le script comprenait dix-sept entités nommées — douze réelles (agences de l’ONU, citations de statuts, noms de produits du domaine public) et cinq noms de code fictifs inventés pour ce benchmark.

Chaque session a été simultanément sous-titrée via les six services. L’audio était acheminé via un périphérique agrégat Loopback dans le chemin de sous-titrage natif de chaque plateforme ; aucune couche tierce de reconnaissance vocale n’a été insérée. Le rédacteur CART professionnel a rejoint en tant que participant sur une ligne masquée et sa transcription était horodatée par rapport au même audio. Le taux d’erreur de mots a été calculé par rapport à la transcription CART avec NIST sclite avec une notation insensible à la casse et des pondérations standard de substitution, insertion et suppression.

Le classement composite

Le WER composite est la moyenne non pondérée du WER par session sur les trois sessions, noté par rapport au contrôle CART. Le classement principal, du WER le plus bas au plus élevé :

Le choix entre deux plateformes de conférence de niveau entreprise peut signifier la différence entre un taux d’erreur de mots de 6 % et de 15 %. Ce n’est pas une différence d’outillage. C’est une différence d’inclusion.

WER par condition de locuteur

Le WER composite masque la texture. Pour voir où chaque service se dégrade, nous avons partitionné l’audio en quatre conditions : anglais américain monolocuteur propre, monolocuteur à accents mixtes, passages à forte densité de jargon et chevauchements scriptés. Les six mêmes services sur le même audio, décomposés par condition :

Le graphique condense le résultat principal en une seule image : la variation d’accent est une vraie pénalité, le jargon est une pénalité plus grande, et les prises de parole simultanées constituent une falaise. Dans le passage de chevauchements, le service automatisé le moins performant a chuté à un WER supérieur à 60 % — à quel point la transcription est, selon la formulation polie du référentiel SAS-LIVE, « non fiable sur le plan communicatif ».

La latence sur le réseau

La latence a été mesurée comme le temps écoulé entre le pic de la forme d’onde d’une syllabe prononcée et l’apparition du token correspondant dans le DOM de sous-titres de la plateforme, capturé via un enregistrement d’écran à haute fréquence d’images aligné sur la forme d’onde audio. Latence médiane sur les trois sessions :

La latence importe parce que la réparation conversationnelle a une fenêtre. La littérature des études sur la surdité concernant le sous-titrage en temps réel converge vers un plafond utilisable d’environ deux secondes — au-delà, un participant sourd ne peut plus poser une question de clarification pendant qu’elle est encore pertinente. À ce test, Google Meet, Teams et Otter passent la barre ; Webex se situe à la limite ; StreamText et Zoom ne la passent pas.

La latence plus élevée de StreamText est en partie architecturale — il est piloté par un opérateur, donc une frappe humaine est dans la boucle — et en partie le prix de son WER plus faible sur le jargon. La latence de Zoom dans notre configuration est plus difficile à défendre ; sur une région américaine avec le sous-titrage cloud activé, des benchmarks publiés antérieurement ont rapporté des médianes inférieures à trois secondes, donc une médiane de 5,6 s dans nos tests de région européenne reflète l’infrastructure régionale plutôt que le plafond de la plateforme.

Noms, jargon et le problème du glossaire

Des dix-sept entités nommées dans le script, cinq étaient des noms de code inventés pour ce benchmark. Les cinq ont été choisis pour être des noms de produits plausibles mais absents de tout corpus public : Halcyon, Bramble, Crosshatch, Sandstorm, Verity. Les trois premiers sont des mots anglais courants ; les deux derniers le sont moins. Nous nous attendions à ce que même les meilleurs services automatisés peinent sur les cas de vocabulaire rare, et c’est ce qui s’est produit.

La leçon est opérationnelle. Le vocabulaire personnalisé est le principal levier de précision qu’un organisateur de réunion contrôle. Les trois services qui acceptent un glossaire préchargé (Otter, Teams et les configurations cloud de Webex basées sur Azure que nous n’avons pas testées) surpassent de manière fiable ceux qui ne le font pas. Lorsque le public comprend des participants sourds ou malentendants et que la réunion implique du jargon ou des noms propres, l’absence d’un emplacement pour vocabulaire personnalisé est une limitation d’accessibilité significative, pas une fonctionnalité de confort manquante.

Intégration avec les technologies d’assistance

Le WER mesure si la transcription est correcte. L’intégration AT mesure si un utilisateur équipé d’un lecteur d’écran, d’un afficheur braille ou d’un agrandisseur basse vision peut effectivement consommer la transcription en temps réel. Les deux ne sont pas identiques. Une transcription parfaitement précise rendue dans un nœud DOM sans attribut aria-live est invisible pour un utilisateur sourd-aveugle sur un afficheur braille, car la technologie d’assistance ne reçoit jamais le signal qu’un nouveau texte est apparu.

Nous avons audité le volet de sous-titres de chaque plateforme pour quatre propriétés d’intégration AT : annonce de région live, export de transcription en fin de réunion, contrôles focalisables et raccourci clavier pour activer/désactiver les sous-titres. La matrice :

La colonne d’intégration AT réordonne le classement de manière intéressante. Otter reste en première place ; mais Teams, qui s’est classé quatrième sur le WER, monte à une égalité pour la deuxième place en intégration AT. Webex se retrouve en bas des deux axes. Un utilisateur sourd-aveugle sur un afficheur braille est mieux servi par Otter ou Google Meet dans la génération actuelle de produits.

Ce que le rédacteur CART humain fait encore mieux

Le rédacteur CART de contrôle a surpassé tous les services automatisés sur tous les axes mesurés. WER de 3,1 % contre le meilleur automatisé à 6,2 %. Restitution des noms de code à 96 % contre le meilleur automatisé à 71 %. WER sur les chevauchements d’environ 9 % — un chiffre qu’aucun service automatisé n’a approché à moins de trente points.

Mais l’avantage humain n’est pas seulement mécanique. Plusieurs comportements éditoriaux restent uniquement humains. Le rédacteur CART a reformulé les locuteurs qui hésitaient, préservant le sens au détriment du verbatim littéral — les services automatisés suppriment la phrase hésitante ou la rendent comme du charabia. Elle a étiqueté les tours de parole avec un préfixe de nom à chaque changement de locuteur — les services automatisés s’entrelacent sans attribution. Elle a inséré une note clarificatrice entre crochets lorsqu’un intervenant faisait référence à une diapositive que le public sous-titré ne pouvait pas voir. Aucun de ces gestes n’apparaît dans un score WER, mais chacun est partie de la raison pour laquelle une réunion avec sous-titrage CART professionnel se sent accessible d’une façon qu’une réunion automatisée atteint rarement.

Le benchmark en contexte

Le résultat principal n’est pas qu’un service a gagné. C’est que l’écart entre le meilleur et le pire est assez large pour que le choix de la plateforme soit lui-même une décision d’accessibilité. Une organisation qui a adopté par défaut Webex parce qu’il était déjà dans la pile d’approvisionnement livrera une transcription avec plus du double du taux d’erreur d’une organisation qui a adopté par défaut Otter — pour le même locuteur, le même script, le même audio. Ce n’est pas une différence marginale.

Le deuxième résultat est que le sous-titrage automatisé n’est pas encore un substitut à un rédacteur CART humain dans les conditions où la précision importe réellement : procédures judiciaires, consultations médicales, réunions de conseil d’administration, enseignement en classe. L’écart de 3,1 % / 6,2 % paraît faible sur une feuille de chiffres et se ressent comme large pour un participant sourd qui tente de suivre une conversation rapide. Lorsque les enjeux justifient le coût, un rédacteur CART humain est encore l’étalon-or, et le cadre de certification SAS-LIVE préserve explicitement cette hiérarchie.

Le troisième résultat est opérationnel. Le vocabulaire personnalisé est le levier d’accessibilité le plus sous-utilisé dans la gestion des réunions. Trois des six services que nous avons testés acceptent un glossaire préchargé. Presque aucune des organisations avec lesquelles nous avons discuté lors de la conception de ce benchmark n’utilisait cette fonctionnalité, même lorsqu’elle était disponible sur le niveau qu’ils avaient déjà payé. Charger les noms propres et les noms de produits de la réunion dans le service de sous-titrage avant la réunion est une tâche de cinq minutes qui comble la plupart de l’écart sur les entités nommées.