Transkrypcja nagrania na tekst po polsku: jak działa i gdzie się myli?

Transkrypcja nagrania na tekst po polsku polega na tym, że system dzieli dźwięk na krótkie fragmenty, dopasowuje do nich polskie słowa i składa je w zdania z interpunkcją. W porównaniu 25 systemów dla polskiego (Junczyk, 2024) mediana wyniosła ok. 13–15 błędnych słów na 100 przy nagraniach czytanych i ok. 30–34 przy swobodnej rozmowie (zależnie od tego, czy system jest komercyjny, czy darmowy).

Polszczyzna sprawia systemom kłopot m.in. przez odmianę słów. W gabinecie pomyłki trafiają w dawki i nazwy leków, dlatego każdy tekst z nagrania lekarz czyta przed wpisaniem do dokumentacji.

Jak działa transkrypcja nagrania na tekst po polsku?

Każde narzędzie do transkrypcji nagrania AI przechodzi po polsku przez te same trzy kroki:

1. Dźwięk. System tnie nagranie na kawałki trwające ułamki sekundy.
2. Słowa. Do każdego kawałka dobiera słowo, które najlepiej pasuje do dźwięku i do sąsiednich słów w zdaniu.
3. Zapis. Na końcu wstawia kropki i przecinki, dodaje wielkie litery, a liczebniki zamienia na cyfry.

Najwięcej błędów powstaje przy doborze słów. Gdy dźwięk jest niewyraźny, system zgaduje słowo po kontekście. Przy rzadkim słowie albo nietypowym zdaniu potrafi wstawić inne, podobnie brzmiące. Pełną drogę od rozmowy do notatki pokazuje tekst jak działa transkrypcja wizyty lekarskiej.

Dlaczego polski jest trudny dla rozpoznawania mowy?

Polski sprawia kłopot przez odmianę. Rzeczownik ma tradycyjnie siedem przypadków i dwie liczby, więc „tabletka” pojawia się w mowie także jako tabletki, tabletce, tabletkę, tabletką, tabletek i tabletkami.

Zespół z RWTH Aachen, który budował system rozpoznawania polskiej mowy, opisał skutek: z bogatej odmiany bierze się duża liczba form, których system nie zna. U lekarza psuje to końcówki, liczebniki, skrótowce i słowa obce:

• Końcówki. W szybkiej mowie końcówka bywa ledwo słyszalna. System może zapisać „dwie tabletki” jako „dwóch tabletek” albo „z ciśnieniem” jako „ciśnienie”.
• Liczebniki. „Pół tabletki”, „dwa i pół miligrama”, „sto dwadzieścia na osiemdziesiąt” to po kilka słów, z których system musi złożyć liczbę z jednostką. Może źle rozpoznać każde z nich.
• Skrótowce. Lekarz mówi „ce-er-pe” albo „te-es-ha”, a w zapisie powinno stać CRP i TSH. System, który nie zna skrótu, zapisze go fonetycznie albo zamieni na przypadkowe słowo.
• Słowa obce. Nazwy leków mają łacińskie lub angielskie korzenie, a lekarz wymawia je z polskim akcentem i odmienia: „amlodypiny”, „z bisoprololem”.

Jak dokładna jest transkrypcja po polsku?

Na nagraniach czytanych największa wersja systemu w teście Radforda i współautorów pomyliła po polsku ok. 5 słów na 100, a mediana dla swobodnej rozmowy u Junczyka to ok. 30–34 na 100. Dokładność mierzy się odsetkiem błędnych słów: liczy się słowa zamienione, pominięte i dopisane, a potem dzieli przez liczbę słów w poprawnym tekście.

• Mowa czytana. Radford i współautorzy (2022) sprawdzili jeden z najpopularniejszych otwartych systemów na zbiorze czytanych polskich zdań. Największa wersja pomyliła 5,4% słów, najmniejsza 45,6%.
• Swobodna rozmowa. Michał Junczyk z Uniwersytetu im. Adama Mickiewicza porównał w 2024 r. 25 systemów rozpoznawania polskiej mowy. Na nagraniach czytanych mediana błędów wyniosła ok. 13% dla systemów komercyjnych i 15% dla darmowych. Na spontanicznych rozmowach wzrosła do ok. 30% i 34%.

Wyniki z testów na mowie czytanej nie przenoszą się więc na rozmowę, a wizyta lekarska jest rozmową dwóch osób. Junczyk pokazał też, że sam sposób liczenia (wielkie litery, interpunkcja) zmienia wynik o 15–16 punktów procentowych, więc procentów z różnych testów nie da się porównać wprost.

Jak transkrypcja radzi sobie z polskimi terminami medycznymi?

Systemy ogólnego przeznaczenia rozpoznają polskie terminy medyczne słabo. Badacze z Politechniki Gdańskiej sprawdzili w 2023 r. trzy popularne systemy rozpoznawania mowy na 100 terminach z polskiej wersji klasyfikacji ICD. Każdy termin przeczytało 10 osób i dwa syntetyczne głosy, co dało 1200 nagrań. Autorzy uznali, że żaden z nich nie nadaje się do głosowego wypełniania dokumentacji, bo popełnia za dużo błędów.

Do terminów dochodzi język pacjenta. Pacjent powie „łupie mnie w krzyżu” albo „ćmi od rana” tam, gdzie lekarz zapisze ból w okolicy lędźwiowej. System może te słowa zapisać poprawnie, ale ich sens odczytuje lekarz.

Zgubione „nie” zmienia „nie bierze” w „bierze”, a źle postawiony przecinek robi z „nie biorę” zdanie „nie, biorę”. Jedno słowo potrafi odwrócić zalecenie. Jak wyłapywać takie miejsca w gotowej notatce, opisuje artykuł czy AI myli się w notatkach medycznych.

Zapis polskiej rozmowy ma pomyłki, których nikt nie usłyszał na wizycie. Dlatego notatka z niego to szkic do kontroli lekarza, a lekarz odpowiada za ostateczny wpis.

Jak poprawić jakość transkrypcji nagrania po polsku?

Jakość transkrypcji po polsku najbardziej poprawia nagrywanie blisko mikrofonu i w cichym pokoju. Google w zaleceniach do swojej usługi rozpoznawania mowy podaje zasady, które pasują też do innych narzędzi:

• mikrofon jak najbliżej mówiącego, bez echa i szumu w tle,
• jakość dźwięku co najmniej 16 kHz,
• wyłączone filtry redukcji szumu i automatyczna regulacja głośności, bo zniekształcają mowę,
• jedna osoba mówi naraz, bo nakładające się głosy system może pominąć jako szum.

Przy wizycie pomagają jeszcze trzy nawyki. Dawkę lepiej wypowiedzieć z jednostką („dwa i pół miligrama”, a nie samo „dwa i pół”). Rzadki skrót warto raz rozwinąć pełną nazwą. Własny dyktat po wizycie wychodzi zwykle czyściej niż zapis rozmowy, bo mówi jedna osoba. Oba sposoby zestawia tekst dyktowanie notatek czy AI słuchające wizyty.

Co sprawdzić najpierw w tekście z polskiego nagrania?

W tekście z polskiego nagrania najpierw trzeba sprawdzić nazwy leków, dawki z jednostkami, liczby z wyników badań i zaprzeczenia. W tych miejscach jedno źle rozpoznane słowo zmienia zalecenie. Potem formy liczebników („dwie” czy „dwóch”) i skrótowce, które system mógł zapisać fonetycznie.

Pomyłki z odmiany, liczb i skrótów przechodzą z zapisu rozmowy do notatki, jeśli nikt ich nie poprawi. Czym zapis rozmowy różni się od notatki do karty, wyjaśnia artykuł notatka AI a transkrypcja wizyty.

Jak to wygląda w Notatce Lekarza?

W szkicu SOAP z Notatki Lekarza lekarz najpierw sprawdza końcówki przy dawkach, skrótowce i zaprzeczenia, czyli miejsca, w których polszczyzna myli systemy najczęściej. Wątpliwe zdanie porównuje z zapisem rozmowy. Poprawioną notatkę przenosi do programu gabinetowego przez kopiuj-wklej. Może też założyć konto i sprawdzić, jak system zapisze leki i skróty, których używa na co dzień.

Źródła: Radford A. i wsp., „Robust Speech Recognition via Large-Scale Weak Supervision”, 2022, tabela 13; Junczyk M., „Framework for Curating Speech Datasets and Evaluating ASR Systems: A Case Study for Polish”, 2024, tabela 4; Zielonka M. i wsp., „A survey of automatic speech recognition deep models performance for Polish medical terms”, Politechnika Gdańska, 2023; Shaik M.A.B. i wsp., „Using Morpheme and Syllable Based Sub-words for Polish LVCSR”, RWTH Aachen; Jurafsky D., Martin J.H., „Speech and Language Processing”, wyd. 3, rozdz. 16; Google Cloud, „Speech-to-Text: Best practices”; ZPE, „Deklinacja – temat i końcówka rzeczownika”.