根據全國第二次殘疾人抽樣調查數據，我國約有聽障人士2780萬人。對他們來說，激烈的賽事往往“只見其貌，不聽其聲”，但他們同樣渴望像普通人一樣，感受體育比賽的激情。
今年的北京冬奧會上，不少聽障人士發現，賽事新聞中出現了一名面容清秀、氣質優雅的冬奧新聞AI主播。其精準的手語手勢，配合著妙語連珠的解說，讓聽障人士能與健聽人（聽力健全人的簡稱）一樣，同步感受冰雪運動的魅力。
“我們用技術跨越聲音的障礙，幫助聽障人士‘聽見’冬奧。”天津理工大學聾人工學院副院長、冬奧新聞AI主播的手語數據庫支持團隊負責人袁甜甜接受本刊記者采訪時說。
教AI主播打手語
2021年11月，距離北京冬奧會開幕僅剩兩個多月的時間，袁甜甜團隊接到一個緊急任務——教冬奧新聞AI主播打手語。
雖然有20多萬條手語語料庫作基礎，但團隊依舊感覺一個字：“難”。
第一時間參與其中的教師閔笛對這一過程深有體會。首個難關是“冷門”詞匯。團隊成員們把整理出的新詞形成一定的手語打法，再讓手語專家一一判定聽障人士能否看懂。遇到難以用手語表示的詞匯時，還需多番討論。
“每個詞至少要經歷這樣兩個來回，就這樣我們共新增了1000多個專業詞匯的手語打法。”閔笛說。
“詞匯關”克服后，“語法關”又擺在了面前。
“手語具有獨立的語法體系，而且手語和語言文字并非一一對應，而是多對多的關系。這樣復雜的‘翻譯環境’，意味著AI主播除了要將語言文字解析成對應的手語詞匯，還得將其調整順序，轉化為聽障人士習慣的手語語序。”閔笛說，團隊只能不斷對AI主播進行“認知訓練”。
“人工智能深度學習的過程，就像教小孩子學說話，每一個詞、每一個手語動作、每一句語序都需要反復‘學習’，人工智能才能建立認知，結果才能實現精準無誤。”袁甜甜說。
經過大量數據采集、語料提取、數據處理等步驟后，專屬于北京冬奧會的AI主播初步打造了出來。
不過，“第一次進行模擬賽事新聞播報時，AI主播的手勢動作非常快，有點‘鬼畜’。”閔笛說，“對于激烈的賽事講解，解說的語速本就很快，而手語如果和這一語速保持一致的話，聽障人士很難看懂。”
對此，團隊又多番對翻譯思路進行調整。
六年磨一劍
功夫不負有心人，冬奧新聞AI主播終于如期亮相。其準確的翻譯、親切自然的形象很快獲得了聽障人士的喜愛。
今年22歲的王曉陽，是聾人工學院大三的學生。作為一名聽障學生，他既參與了冬奧新聞AI主播“學習”手語的全過程，也是冬奧賽事的忠實“聽眾”，每天準時上線，“盯著”AI主播的手語播報。
“就怕‘她’沒學好，怕‘她’出錯！”王曉陽用手語解釋。但令他欣慰的是，聽障朋友們紛紛發來信息，告訴他AI主播的手語“看得清楚、清晰”。“手語打得很漂亮，我們為自己驕傲。”一旁的同學魏翔羽用手語補充。
“能以服務聽障朋友的方式參與北京冬奧會，我們感到無比自豪。”袁甜甜對本刊記者說，“團隊收到很多反饋意見，這些寶貴的意見將推動我們不斷迭代升級。”
其實，通過技術手段讓聽障人士“聽見”健聽人的想法，袁甜甜從6年前就開始醞釀。
“我2016年來到學院當老師，與聽障學生接觸的過程中，發現他們最渴望也最懼怕的就是與健聽人交流。因為有計算機專業背景，所以我想到通過技術改變這種現狀。”袁甜甜說，六年來，從她一人摸索，到僅有一名聽障學生加入，再到成立無障礙智能科技研發團隊，如今團隊的核心成員已達50多人，其中不少是“00后”聽障學生。
隨著團隊發展壯大，技術難關層層攻破，AI主播亮相冬奧成為該團隊實現技術落地應用的“第一步”。
把手語變成文字
“不僅要讓聽障人士‘聽見’，還要讓他們被‘聽懂’。”袁甜甜表示，冬奧賽事之外，團隊一直在不懈探索。
“會手語的健聽人實在太少了。有人說，聽障人士可以通過寫字、打字的方式進行交流，但那樣溝通的有效性差很多。聽障人士自然的表達方式是手語，為什么不直接識別手語呢？”袁甜甜團隊研發出了“復雜場景下中國手語實時翻譯系統”，可將輸入的手語動作和表情經由計算機視覺技術識別后翻譯成文字或語音。
“這類似于手語版的‘語音輸入法’。”袁甜甜說。但語音識別只需收集“聲音”，手語的表達方式則意味著團隊要把手勢、表情、大肢體動作等從視頻轉化為數據，再“教”給計算機，經過反復訓練，才能“教出”一個隨叫隨到、及時準確的“手語翻譯”。
“目前，我們實現了在光線充足且穩定的室內，系統對手語的識別率最高達95%，部分場景下可以實現‘同步翻譯’。”袁甜甜自豪地說，只要在攝像頭前打出手語，顯示屏上就會出現語意連貫的文字翻譯。
“信息技術對我們的幫助很大。”王曉陽用手語說，以前與健聽人交流，他總覺得不安，有了這些技術手段，讓他更有勇氣融入社會。據介紹，該系統可用于教育、法律咨詢、餐飲、交通多個場景。
2021年5月，袁甜甜在第五屆世界智能大會的現場展示了這一翻譯系統，吸引了不少人駐足。演示人員在攝像頭前打出手語，身后的顯示屏上就會出現語意連貫的文字翻譯。
“一些銀行從業人員、超市經理對我說，如果這一系統實現產業化落地，能夠幫助他們解決很多實際問題。那一刻，我深切地感受到，不僅僅是聽障人士，社會對手語翻譯系統也有很強烈的需求。”袁甜甜說。
值得一提的還有，依托“復雜場景下中國手語實時翻譯系統”，袁甜甜指導學生創業團隊開發出“鯨可語”項目，代表天津理工大學拿下了第七屆中國國際“互聯網+”大學生創新創業大賽總決賽高教主賽道的金獎。
談及“鯨可語”，袁甜甜講訴了“52赫茲鯨”的故事——海洋中，發出15-25赫茲之間的鯨魚可以正常交流，而叫聲頻率為52赫茲的鯨魚在其他鯨魚眼中就像“聾啞魚”。
“我們希望用技術把‘52赫茲鯨’與其他鯨魚連起來，讓它們不再孤單。”袁甜甜說。
