冬奧實時接力（教AI主播說手語）

2023-06-22 16:11:23 3

新華社天津2月18日電（記者白佳麗、宋瑞）對聽障人士來說，激烈的賽事往往只能被看見，卻無法被聽見。而今年的北京冬奧會上，不少聽障人士發現，賽事新聞中出現了一名面容清秀的冬奧新聞AI主播，「她」精準的手語手勢讓聽障人士與健聽人（聽力健全人的簡稱）一樣，可以同步感受冰雪運動的魅力。

「用技術跨越聲音的障礙，讓聽障人士『聽見』冬奧。」天津理工大學聾人工學院副院長、冬奧新聞AI主播的手語資料庫支持團隊負責人袁甜甜說。

海報製作：方金洋

用6年時間搭一座「溝通的橋」

袁甜甜身上，有股堅持到底的韌勁。

她帶領團隊用6年時間，為聽障人士搭建了一座與健聽人無障礙溝通的「橋梁」。並在北京冬奧會上，邁出了落地應用的「第一步」。

「我們研發了一套系統，叫作『複雜場景下中國手語實時翻譯系統』，這套系統能將輸入的手語動作和表情經由計算機視覺技術識別後翻譯成文字或語音。為此，我們共收集了20多萬條語料。」袁甜甜說。

談到做這件事的初衷，袁甜甜表示是為了與聽障學生更好地交流。

天津理工大學聾人工學院學生通過手機App為手語識別系統進行數據採集。新華社記者 孫凡越 攝

「我16年前來到學院當老師，與聽障學生接觸的過程中，發現他們最渴望也最懼怕的就是與健聽人交流。因為有網絡專業背景，於是我決心通過技術改變這種現狀。」袁甜甜說。

從一個人摸索，到僅有一名聽障學生加入，再到成立無障礙智能科技研發團隊。如今，這支由健聽人與聽障人士組成的「特殊」技術團隊，核心成員達50多人，其中不少是「00後」聽障學生。

隨著團隊的發展壯大，技術難關也被層層攻破。「目前，我們實現了在光線充足且穩定的室內，系統對手語的識別率最高達95%，部分場景下可以實現『同步翻譯』。」袁甜甜自豪地補充，「只要在攝像頭前打出手語，顯示屏上就會出現語意連貫的文字翻譯。現在已經可以用於教育、法律諮詢、餐飲、交通多個場景。」

讓聽障人士「聽見」冬奧

2021年11月，袁甜甜接到一個緊急任務——教冬奧新聞AI主播「說」手語。

「人工智慧深度學習的過程，就像教小孩子學說話，每一個詞、每一個手語動作都需要重複『學習』才能實現精準無誤。」袁甜甜與同伴們開始一一攻克難題。

第一時間參與其中的聾人工學院教師閔笛對這一過程深有體會。「一個字『難』。」他說。

首先擺在面前的，就是「冷門」的冬奧詞彙，以及專業新聞語言，怎麼才能轉換為大多數聽障人士能看懂的手語？

團隊成員先把整理出的新詞形成一定的手語打法，再讓手語專家一一判定聽障人士能否看懂。遇到難用手語表示的詞彙時，還需多番討論。「每個詞至少要經歷這樣兩個來回，就這樣我們共新增了1000多個專業詞彙的手語打法。」閔笛說。

有了過去20多萬條語料做基礎，又增加了新的專業詞彙，本以為工作已接近完成。但很快大家發現，手語語序與普通人說話語序並不相同，即便把這些詞彙通通「灌輸」給AI主播，也無法打出連貫的、聽障人士能夠理解的語句。

「我們通過多年積累的技術經驗，讓AI主播逐步掌握從普通人語言到手語的流暢直譯，並不斷調試AI主播手語速度，讓聽障人士能夠更清晰地理解。」閔笛說。

用技術破解更多「52赫茲」的密碼

今年22歲的王曉陽，是聾人工學院大三的學生。作為一名聽障學生，他參與了冬奧新聞AI主播「學習」手語的全過程。從冬奧會開幕那天起，他每天都會準時打開手機「盯著」AI主播的每一個手語手勢。

「就怕她沒學好，怕她出錯！」王曉陽用手語解釋。但令他欣慰的是，越來越多聽障朋友發來信息，告訴他AI主播的手語「看得清楚、清晰」。「手語打得很漂亮，我們為自己驕傲。」一旁的同學魏翔羽用手語補充。

天津理工大學聾人工學院學生在進行手語識別系統調試。新華社記者 孫凡越 攝

技術越過聲音的障礙，讓更多聽障人士走向更廣闊的世界。

「信息技術對我們幫助很大。」王曉陽用手語說，以前與健聽人交流，他總覺得不安，有了這些技術手段，讓他更有勇氣融入社會。「以後我想當老師，因為我的家鄉缺少聾人老師。或者我去當程式設計師，用技術讓更多人聾人『聽見』。」

對袁甜甜來說，還有很多工作等著她帶領團隊完成。「我們將不斷迭代升級我們的系統，直到它能夠在各種場景下讓聽障人士與我們流暢交流。」

袁甜甜講了一個「52赫茲鯨」的故事——海洋中，有隻叫聲頻率與眾不同的鯨魚，因無法與同類交流而孤獨。這隻鯨魚很像聽障群體，「我們要去破解『52赫茲』的密碼，用技術把孤獨的鯨魚與其他鯨魚連起，讓它們獲得更多機會與幸福。」

來源： 新華社