韓國科學技術院研發唇讀人工智能助聽障人士識別模糊詞彙

https://www.techritual.com/2026/11/17/603486/

2026/11/17

圖文引用自:www.techritual.com

韓國科學技術院(KAIST)的研究人員開發了一種讀唇人工智能,能夠首先解碼清晰的單詞,然後利用這些單詞來解決模糊的詞彙,該研究論文在 2026 年語言處理會議中獲得了優秀論文獎。該技術在 LRS3 基準測試中達到了 19.4%的詞錯誤率,作者稱這是使用 LRS3 作為標註訓練數據的最佳方法。論文指出,讀唇的難度在於英語的 40 種聲音只能對應到 10 到 13 種可區分的嘴型,因此/p/、/b/和/m/看起來幾乎相同。

KAIST 表示,人工智能模型從第一個單詞寫到最後一個單詞,因此早期的錯誤猜測可能會影響後面的單詞。詞錯誤率計算錯誤、缺失或新增的單詞,與正確的文本相比,數值越低越好。KAIST 指出,這項技術可以將嘈雜的語音轉換為文本,或幫助聽障人士跟上對話進度。該論文僅測試了錄製的基準影片。

系統首先填充清晰的單詞。該系統使用了一種擴散大型語言模型,這是一種文本生成器,開始時每個單詞位置均為空白,並通過重複的遍歷填充,而不是從左到右寫入。根據論文,該模型在確信的詞彙位置上會提前進行承諾,然後利用這些詞彙作為上下文來細化不確定的詞彙。在論文的示例中,像「bags」和「trip」這樣的確信單詞有助於將「back」更正為「pack」。KAIST 表示,該團隊由羅永滿教授領導,模型的訓練分為兩個階段。…

提供相關智權新聞
若您有智權相關新聞,也歡迎透過email連繫。
Exit mobile version
%%footer%%