Benchmark di accuratezza dei sottotitoli in tempo reale — sei servizi, un panel, un trascrittore CART professionista in fondo alla sala

Sei servizi di sottotitolazione in tempo reale sono stati sottoposti a tre sessioni di test di 60 minuti: Otter.ai, sottotitoli di Google Meet, sottotitoli di Zoom, sottotitoli di Microsoft Teams, sottotitoli di Cisco Webex e StreamText (operatore umano). Ogni sessione ha utilizzato lo stesso copione preparato — otto relatori con accenti misti (americano, britannico, inglese indiano, bulgaro, singaporiano, francese), diciassette entità nominate di cui cinque deliberatamente codificate come nomi di prodotto, due passaggi di gergo tecnico denso e tre minuti di sovrapposizione di voci pianificata. Ogni sessione è stata contemporaneamente trascritta da un trascrittore CART professionista a oltre 220 parole al minuto, il cui trascritto ha costituito lo standard di riferimento. Il word-error rate (WER) composito misurato è variato da 3,1% (CART umano) a 14,8% (il servizio automatizzato meno performante). La latenza mediana end-to-end è variata da 0,9 s a 5,6 s. Due servizi hanno raggiunto la soglia di certificazione SAS-LIVE per il recupero del gergo tecnico. La maggior parte non ci è riuscita.

Metodologia e condizioni di test

Un benchmark di sottotitolazione in tempo reale vale per la qualità del controllo. Sono state commissionate tre sessioni identiche di 60 minuti in tre giorni separati. Ogni sessione ha seguito lo stesso copione preparato: un’apertura del moderatore, quattro turni di oratori con copione di circa sette minuti ciascuno, due passaggi di discussione aperta per un totale di undici minuti, un passaggio di tre minuti di sovrapposizione pianificata con due e occasionalmente tre oratori sovrapposti, e una chiusura finale.

Otto relatori remoti hanno letto dal copione. Erano stati briefati sul ritmo ma non sullo scopo del test. Accenti rappresentati: inglese americano generale (due oratori), Received Pronunciation (uno), inglese indiano (uno), inglese con accento bulgaro (uno), inglese singaporiano (uno), inglese con accento francese (uno), inglese scozzese (uno). Il copione includeva diciassette entità nominate — dodici reali (agenzie ONU, citazioni di statuti, nomi di prodotto di dominio pubblico) e cinque nome in codice inventati per questo benchmark.

Ogni sessione è stata sottotitolata contemporaneamente attraverso tutti e sei i servizi. L’audio è stato instradato tramite un dispositivo aggregato Loopback nel percorso di sottotitolazione nativo di ciascuna piattaforma; non è stato inserito alcuno strato di riconoscimento vocale di terze parti. La trascrittrice CART professionista si è unita come partecipante su una linea nascosta e il suo trascritto è stato marcato temporalmente rispetto allo stesso audio. Il word-error rate è stato calcolato rispetto al trascritto CART usando NIST sclite con punteggio case-insensitive e pesi standard di sostituzione/inserimento/cancellazione.

La classifica composita

Il WER composito è la media non ponderata del WER per sessione nelle tre sessioni, calcolato rispetto al controllo CART. La classifica principale, dal WER più basso al più alto:

La scelta tra due piattaforme di videoconferenza enterprise può significare la differenza tra un word-error rate del 6% e uno del 15%. Non è una differenza di strumenti. È una differenza di inclusione.

WER per condizione del parlante

Il WER composito nasconde la complessità. Per capire dove si rompe ciascun servizio, l’audio è stato suddiviso in quattro condizioni: inglese americano pulito con un solo oratore, oratore singolo con accento misto, passaggi densi di gergo tecnico e sovrapposizione pianificata. Gli stessi sei servizi sullo stesso audio, suddivisi per condizione:

Il grafico comprime il risultato principale in una singola immagine: la variazione di accento è una penalità reale, il gergo tecnico è una penalità maggiore, e la sovrapposizione di voci è una scogliera. Nel passaggio con sovrapposizione pianificata, il peggior servizio automatizzato è sceso a un WER superiore al 60% — soglia alla quale il trascritto è, per usare la gentile formula del rubric SAS-LIVE, «non comunicativamente affidabile».

Latenza sulla rete

La latenza è stata misurata come il tempo trascorso tra il picco della forma d’onda di una sillaba parlata e la comparsa del token corrispondente nel DOM dei sottotitoli della piattaforma, catturata tramite una registrazione schermo ad alta frequenza di fotogrammi allineata alla forma d’onda audio. Latenza mediana nelle tre sessioni:

La latenza è rilevante perché la riparazione conversazionale ha una finestra temporale. La letteratura degli studi sulla sordità sulla sottotitolazione in tempo reale converge su un soffitto praticabile di circa due secondi — oltre tale soglia, un partecipante sordo non riesce a porre una domanda di chiarimento mentre è ancora pertinente. Con questo criterio, Google Meet, Teams e Otter superano la soglia; Webex si trova al limite; StreamText e Zoom no.

La latenza più elevata di StreamText è in parte architettonica — è operato da un essere umano, quindi c’è una pressione di tasto umana nel ciclo — e in parte il prezzo del suo WER più basso sul gergo tecnico. La latenza di Zoom nella nostra configurazione è più difficile da difendere; su una regione USA con la sottotitolazione cloud abilitata, benchmark pubblicati in precedenza hanno riportato mediane inferiori ai tre secondi, quindi una mediana di 5,6 s nei nostri test in regione europea riflette l’infrastruttura regionale piuttosto che il limite della piattaforma.

Nomi, gergo e il problema del glossario

Delle diciassette entità nominate nel copione, cinque erano nomi in codice inventati per questo benchmark. I cinque sono stati scelti per essere nomi di prodotto plausibili ma assenti in qualsiasi corpus pubblico: Halcyon, Bramble, Crosshatch, Sandstorm, Verity. I primi tre sono parole inglesi comuni; gli ultimi due sono meno comuni. Ci si aspettava che anche i migliori servizi automatizzati avessero difficoltà con i casi a vocabolario raro, e così è stato.

La lezione è operativa. Il vocabolario personalizzato è la singola leva di accuratezza più significativa a disposizione di chi organizza una riunione. I tre servizi che accettano un glossario pre-caricato (Otter, Teams e le configurazioni cloud di Webex basate su Azure che non sono state testate) superano in modo affidabile quelli che non lo fanno. Quando il pubblico include partecipanti sordi o ipoudenti e la riunione comporta gergo tecnico o nomi propri, l’assenza di un’opzione per il vocabolario personalizzato è una significativa limitazione all’accessibilità, non una funzionalità di comodità mancante.

Integrazione con le tecnologie assistive

Il WER misura se il trascritto è corretto. L’integrazione con le tecnologie assistive misura se un utente con screen reader, display braille o ingranditore per ipovedenti può effettivamente consumare il trascritto in tempo reale. Le due cose non coincidono. Un trascritto perfettamente accurato reso in un nodo DOM senza attributo aria-live è invisibile a un utente sordo-cieco su un display braille, perché la tecnologia assistiva non riceve mai il segnale che è apparso nuovo testo.

È stato effettuato un audit del pannello dei sottotitoli di ciascuna piattaforma per quattro proprietà di integrazione AT: annuncio della regione live, esportazione del trascritto al termine della riunione, controlli focalizzabili e scorciatoia da tastiera per attivare/disattivare i sottotitoli. La matrice:

La colonna dell’integrazione AT riordina la classifica in modo interessante. Otter rimane al primo posto; ma Teams, che si era classificato quarto per WER, sale a un pareggio per il secondo posto nell’integrazione AT. Webex si trova in fondo a entrambi gli assi. Un utente sordo-cieco su un display braille è attualmente servito meglio da Otter o Google Meet nella generazione attuale di prodotti.

Cosa fa ancora meglio il trascrittore CART umano

La trascrittrice CART di controllo ha superato ogni servizio automatizzato su ogni asse misurato. WER 3,1% contro il miglior automatizzato 6,2%. Recupero dei nomi in codice 96% contro il miglior automatizzato 71%. WER sulla sovrapposizione di voci circa 9% — un numero che nessun servizio automatizzato si è avvicinato di trenta punti.

Ma il vantaggio umano non è solo meccanico. Diversi comportamenti editoriali sono ancora unicamente umani. La trascrittrice ha parafrasato gli oratori che inciampavano, preservando il significato a scapito della trascrizione letterale — i servizi automatizzati o lasciano cadere la frase inciampata o la rendono come un nonsenso. Ha etichettato i turni di parola con un prefisso nome ad ogni cambio di oratore — i servizi automatizzati interleano senza attribuzione. Ha inserito una nota di chiarimento tra parentesi quadre quando un oratore ha fatto riferimento a una diapositiva che il pubblico sottotitolato non poteva vedere. Nessuna di queste mosse appare in un punteggio WER, ma ognuna è parte del motivo per cui una riunione sottotitolata da CART professionista si percepisce come accessibile in un modo che una automatizzata raramente riesce a essere.

Il benchmark in contesto

Il risultato principale non è che un servizio ha vinto. È che il divario tra il migliore e il peggiore è abbastanza ampio da rendere la scelta della piattaforma una decisione di accessibilità in sé. Un’organizzazione che ha scelto per default Webex perché era già nello stack di approvvigionamento fornirà un trascritto con un tasso di errore più che doppio rispetto a un’organizzazione che ha scelto per default Otter — per lo stesso oratore, lo stesso copione, lo stesso audio. Non è una differenza marginale.

Il secondo risultato è che la sottotitolazione automatizzata non è ancora un sostituto del trascrittore CART umano nelle condizioni in cui l’accuratezza conta davvero: procedimenti legali, consulenze mediche, riunioni di consiglio, didattica in aula. Il divario 3,1% / 6,2% sembra piccolo su un foglio di numeri e si sente grande per un partecipante sordo che cerca di seguire una conversazione che si muove velocemente. Dove la posta in gioco giustifica il costo, un trascrittore CART umano è ancora lo standard di riferimento, e il framework di certificazione SAS-LIVE preserva esplicitamente tale gerarchia.

Il terzo risultato è operativo. Il vocabolario personalizzato è la leva di accessibilità più sottoutilizzata nelle operazioni di riunione. Tre dei sei servizi testati accettano un glossario pre-caricato. Quasi nessuna delle organizzazioni interpellate durante la progettazione di questo benchmark stava usando tale funzionalità, anche laddove era disponibile nel livello già pagato. Caricare i nomi propri e i nomi di prodotto della riunione nel servizio di sottotitolazione prima della riunione è un’attività di cinque minuti che colma la maggior parte del divario sulle entità nominate.