Naukowcy z Uniwersytetu im. Adama Mickiewicza w Poznaniu (dr Marek Kubis, dr Paweł Skórzewski) oraz z Samsung R&D Institute Poland (Marcin Sowański, Tomasz Ziętkiewicz) opracowali nową metodę oceny odporności systemów rozumienia języka naturalnego na błędy rozpoznawania mowy.
Pozwala ona określić w jakim stopniu błędy rozpoznawania mowy (np. człowiek mówi „Czy przyjedziesz po mnie?”, a system rozumie „Czy przyjedziesz do mnie?”) wpływają na zrozumienie sensu wypowiedzi.
Metoda wykorzystuje modele syntezy i rozpoznawania mowy do generowania danych zawierających błędy, dokonuje automatycznej oceny działania modeli NLU (Natural Language Understanding) względem wyróżnionych kryteriów odporności oraz wykrywa błędy rozpoznawania mowy, które w największym stopniu obniżają odporność systemów rozumienia języka.
Szczegóły metody i wyniki badań zaprezentowano na konferencji EMNLP 2023 (arxiv), a z szerszym opisem można zapoznać się na stronie research.samsung.com
