Każdy komercyjny asystent głosowy jest dostarczany z modelem akustycznym wytrenowanym na mowie, którą zespół zajmujący się danymi oznaczył jako „czystą“. Czysta mowa w praktyce oznacza: rodzimego lub zbliżonego do rodzimego użytkownika jednego z kilkunastu języków większościowych, mówiącego w tempie ok. 150 słów na minutę, bez stałej dysfluencji, bez rytmicznego drżenia, bez trudu z grupami oddechowymi i bez ekstremalnych wahań tonu. Potok rozpoznawania — akustyczny front-end, dekoder fonemów, model językowy, klasyfikator intencji — jest optymalizowany end-to-end względem tego rozkładu. Gdy rzeczywisty użytkownik wykracza poza ten profil, każda warstwa potoku go penalizuje.

Ta rozbieżność nie jest hipotetyczna. Opublikowany zestaw ewaluacyjny Project Euphonia, udostępniony przez zespół badawczy Google w 2022 r. i rozszerzony w 2024 r., zawiera nagrania osób ze stwardnieniem zanikowym bocznym (ALS), mózgowym porażeniem dziecięcym, parkinsonowską dysartrią, zespołem Downa i afazją poudarową. Apple Speech Accessibility Project, uruchomiony w 2023 r. i obejmujący obecnie wkłady od ponad 2 200 mówców, uzupełnia go o ciężkie jąkanie, mowę osób głuchych i niedosłyszących oraz kilka profili akcentu nienatywnego. Oba zbiory danych są zbilansowane pod kątem stopnia nasilenia zaburzenia i oba ujawniają, jak kruche są produkcyjne asystenty w rzeczywistości.

Dwa dominujące rodzaje błędów to zastąpienie słowa i ciche odrzucenie. Zastąpienie zachodzi, gdy dekoder narzuca nieznaną sekwencję fonemów na najbliższe słowo ze słownika — „play Coldplay“ staje się „play Coldspring“ i asystent radośnie pobiera złą muzykę. Ciche odrzucenie ma miejsce, gdy detektor słowa aktywującego lub detektor końca wypowiedzi uzna, że komunikat nie był skierowany do urządzenia, i asystent usypia bez potwierdzenia. Pierwszy rodzaj błędu jest audytowalny z odpowiedzi. Drugi jest niewidoczny — i dominuje w skargach użytkowników z nietypową mową.

Zebrano zbilansowany zestaw ewaluacyjny liczący 3 420 wypowiedzi, próbkując sześć kohort po ok. 570 wypowiedzi z Apple Speech Accessibility Project i zestawu ewaluacyjnego Project Euphonia. Kohorty: mózgowe porażenie dziecięce z umiarkowaną do ciężkiej dysartrią, ALS z postępującym zajęciem opuszki, afazja poudarowa (Broki i globalna), przetrwałe jąkanie z dysfluencją sylabu powyżej 10%, mowa osób głuchych i niedosłyszących oraz silny akcent nienatywny dla rodzimych użytkowników języków mandaryńskiego, hindi i brazylijskiego portugieskiego. Wypowiedzi obejmują kanoniczny spektrum zadań asystenta: odtwarzanie mediów, sterowanie domem inteligentnym, timery i przypomnienia, zapytania nawigacyjne i krótkie pytania faktyczne.

Każda wypowiedź była odtwarzana z kalibrowanego monitora studyjnego przy 65 dBA SPL, jeden metr od mikrofonu urządzenia, w akustycznie przystosowanym pomieszczeniu z czasem pogłosu poniżej 0,3 sekundy. Testowano cztery urządzenia w stanie firmware z końca 2025 r.: Amazon Echo (5. gen.) z Alexą, Google Nest Audio z Google Assistant, iPhone 17 Pro z Siri pod kontrolą iOS 19 oraz Samsung Galaxy S25 z Bixby 4. Każda wypowiedź była podawana dziesięciokrotnie na każdym z czterech urządzeń; raportowana jest mediana przebiegów z przedziałami ufności obliczonymi na podstawie rozrzutu wyników.

W każdej próbie rejestrowano dwie wartości. Po pierwsze: transkrypcja zwrócona przez asystenta (lub odtworzona na podstawie jego akcji — Bixby i Siri nie zawsze udostępniają transkrypcję). Po drugie: czy wykonana akcja odpowiadała intencji mówiącego, oceniane przez panel trzech oceniających na podstawie pisemnego opisu intencji dołączonego do zbioru źródłowego. Wskaźnik błędów słów obliczono zgodnie ze standardową formułą NIST. Wskaźnik skuteczności rozpoznawania intencji to odsetek prób, w których akcja odpowiadała oznaczonej intencji, zaokrąglony do pełnego procentu.

Każda komórka podaje dwie wartości: wskaźnik błędów słów (niższy jest lepszy) i wskaźnik skuteczności rozpoznawania intencji (wyższy jest lepszy), zmierzone przy domyślnym profilu asystenta bez włączonej personalizacji na urządzeniu. Wpływ personalizacji omówiono w kolejnej sekcji.

Z macierzy wynikają trzy obserwacje. Po pierwsze, każdy asystent gwałtownie pogarsza wyniki wobec kohort z dysartrią — ALS, mózgowym porażeniem dziecięcym i afazją poudarową — przy skuteczności rozpoznawania intencji poniżej 50% we wszystkich przypadkach. Dla użytkownika, który posługuje się głosem jako podstawową modalności wejściową, mniej niż jedno na dwa polecenia działające to coś nieużywalnego; zmusza do powrotu do klawiatury lub opiekuna, co niweczy sens asystenta. Po drugie, przetrwałe jąkanie i mowa głuchych plasują się w środkowym paśmie, gdzie tylko Google Assistant przekracza 60% skuteczności intencji przy domyślnych ustawieniach; pozostałe asystenty pozostają w tyle o 7 do 23 punktów procentowych. Po trzecie, silny akcent nienatywny to jedyna „atypowa“ kategoria, w której wszystkie cztery asystenty są z grubsza użyteczne przy domyślnych ustawieniach — choć nawet tu 64% skuteczności intencji Bixby byłoby brutalnym doświadczeniem użytkownika każdego dnia.

Kolumna Bixby jest najgorsza we wszystkich kategoriach, co jest spójne z węższą dystrybucją treningową Samsunga i przestarzałym statusem Bixby w samej mapie drogowej produktów Samsunga. Kolumna Google Assistant prowadzi w każdej kohortzie z dysartrią, co jest zgodne z konsekwentnym inwestowaniem Google w dane Project Euphonia i warstwę wnioskowania on-device Project Relate. Siri plasuje się w środku stawki przy domyślnych ustawieniach, lecz — jak pokazuje kolejna sekcja — ma największą spośród czterech asystentów przepaść między wynikami domyślnymi a wynikami po personalizacji.

Wszystkie cztery platformy oferują co najmniej jedną funkcję personalizacji skierowaną do użytkowników z nietypową mową. Różnią się kosztem konfiguracji, miejscem uruchomienia wnioskowania i faktycznym wpływem na rozpoznawanie. Te same 3 420 wypowiedzi przetestowano ponownie dla każdego asystenta po włączeniu flagowego trybu personalizacji danej platformy, z rejestracją głosu użytkownika przez ok. 15 minut.

Platformy wyznaczają minimalny poziom rozpoznawania, lecz wzorce voice-UI, które projektanci i deweloperzy budują na tych platformach, wyznaczają sufit. Ta sama umiejętność, ten sam Action, ta sama intencja SiriKit mogą być zbudowane w sposób pogłębiający błędy rozpoznawania lub w sposób pozwalający na eleganckie ich odzyskanie. Poniższe pary ilustrują trzy wzorce, w których obserwujemy największe rozbieżności w produkcyjnym kodzie.

Powyższa macierz jest przygnębiająca, lecz czytelna. Każda komórka ze skutecznością intencji poniżej 50% odpowiada rozpoznawalnemu brakowi w rozkładzie treningowym — za mało mówców z dysartrią, za mało jąkania, za mało mowy głuchych, za mało nienatywnych użytkowników angielskiego z niedoreprezentowanymi językami ojczystymi. Rozwiązania nie są tajemnicze: powiększyć zbiór danych, zbudować adaptacyjną warstwę personalizacji głosu, udostępnić ujednoznacznianie z ograniczonym słownikiem i dostarczyć niewerbalną alternatywę na każdej powierzchni.

Spośród czterech testowanych asystentów stos Google — Assistant plus Project Relate plus Voice Access — przesuwa największą liczbę wyników w największej liczbie kohort, ponieważ Google inwestuje najkonsekwentniej w dane mowy atypowej i adaptację on-device. Funkcja Apple „Słuchaj mowy atypowej“, wprowadzona w iOS 17, zamyka większość luki przy znacznie niższym koszcie konfiguracji i w pełni działającym modelu on-device — jest to silna historia prywatności, która ma znaczenie dla kategorii użytkowników mogących czuć dyskomfort z przesyłaniem próbek swojej atypowej mowy do chmury. Alexa Amazon pozostaje w tyle pod względem architektury personalizacji; Bixby Samsunga pozostaje w tyle we wszystkich kategoriach.

Dla projektantów wniosek jest taki, że asystent, na którym lądują użytkownicy, wyznacza połowę poziomu minimalnego; wzorce budowane dookoła niego wyznaczają resztę. Monity ujednoznaczniające, ustawienia wydłużonej pauzy, niewerbalane alternatywy i przepływy rejestracyjne przyjazne dla personalizacji to cztery interwencje, które w testach dają największe przyrosty. Żadna z nich nie wymaga zespołu badawczego — jedynie systemu projektowania traktującego atypową mowę jako pełnoprawnego użytkownika, nie jako przypadek brzegowy.