天津理工大學(xué)聾人工學(xué)院研究團(tuán)隊(duì)對(duì)手語(yǔ)數(shù)據(jù)庫(kù)做進(jìn)一步調(diào)試完善。記者 姜寶成 攝

　　日前，北京冬奧會(huì)開(kāi)幕，央視新聞AI手語(yǔ)主播正式“上崗”，在央視新聞冬奧直播特別節(jié)目等為聽(tīng)障人士提供實(shí)時(shí)手語(yǔ)翻譯。為這名手語(yǔ)主播搭建手語(yǔ)資料庫(kù)的，是天津理工大學(xué)聾人工學(xué)院無(wú)障礙智能科技研發(fā)團(tuán)隊(duì)的師生們。

　　“我們從6年前就開(kāi)始研發(fā)這套‘復(fù)雜場(chǎng)景下中國(guó)手語(yǔ)實(shí)時(shí)翻譯系統(tǒng)’，目前已累計(jì)20多萬(wàn)條語(yǔ)料，可以實(shí)時(shí)把手語(yǔ)動(dòng)作轉(zhuǎn)化為文字。”該團(tuán)隊(duì)負(fù)責(zé)人、天津理工大學(xué)聾人工學(xué)院副院長(zhǎng)袁甜甜教授介紹，就像現(xiàn)在成熟的語(yǔ)音翻譯軟件一樣，這套系統(tǒng)能將輸入的手語(yǔ)動(dòng)作和表情經(jīng)由計(jì)算機(jī)視覺(jué)技術(shù)識(shí)別后翻譯成文字或語(yǔ)音，幫助聾人實(shí)現(xiàn)其信息向聽(tīng)者方面?zhèn)鬏敚斑@樣既能提高溝通效率，也讓溝通體現(xiàn)人文關(guān)懷。有了雙向?qū)崟r(shí)翻譯，項(xiàng)目才算真正落地。”

　　用手語(yǔ)“說(shuō)話”的語(yǔ)序和健聽(tīng)人習(xí)慣的漢語(yǔ)語(yǔ)序是不一樣的，有一套相對(duì)獨(dú)立的語(yǔ)法體系，而且手語(yǔ)的表達(dá)方式豐富，要“說(shuō)”出一個(gè)意思完整的句子，除了手勢(shì)，也要配合相應(yīng)的表情甚至肢體動(dòng)作。所以，想讓人工智能成為合格的手語(yǔ)翻譯，需要把手勢(shì)、表情、大肢體動(dòng)作從視頻轉(zhuǎn)化為數(shù)據(jù)，再“教”給計(jì)算機(jī)學(xué)習(xí)。此外，為了讓手語(yǔ)主播在新聞場(chǎng)景下的手語(yǔ)實(shí)時(shí)生成能跟上新聞播報(bào)的速度，團(tuán)隊(duì)還要“教”計(jì)算機(jī)“學(xué)會(huì)”自己提取主干信息，同時(shí)完善與體育、新聞相關(guān)的專業(yè)語(yǔ)料，并按照聽(tīng)障人士的語(yǔ)言順序不斷調(diào)整手語(yǔ)速度、停頓間隙等，讓手語(yǔ)含義得到準(zhǔn)確表達(dá)。

　　“能為冬奧會(huì)服務(wù)，我們感到很光榮、很自豪。”袁甜甜說(shuō)，研發(fā)團(tuán)隊(duì)已對(duì)百萬(wàn)級(jí)日常使用的對(duì)譯文本、十萬(wàn)級(jí)冬奧會(huì)專有對(duì)譯文本及冬奧會(huì)專有手語(yǔ)動(dòng)作進(jìn)行了多輪打磨，努力為手語(yǔ)主播提供盡可能豐富的語(yǔ)料支撐，使其能為聽(tīng)障人士提供專業(yè)、準(zhǔn)確的手語(yǔ)解說(shuō)，“此次冬奧會(huì)是實(shí)現(xiàn)手語(yǔ)識(shí)別落地的第一步，我們致力于實(shí)現(xiàn)手語(yǔ)識(shí)別項(xiàng)目在多個(gè)場(chǎng)景下的落地，助力聽(tīng)障人群和健聽(tīng)人群無(wú)障礙交流，并將這項(xiàng)技術(shù)推廣到環(huán)境感知、微表情分析等眾多領(lǐng)域。”（記者 姜凝）