近日，千博信息、中國科學院自動化研究所、華為基于“紫東太初”三模態大模型、昇騰AI基礎軟硬件平臺打造出手語多模態模型及手語教考一體機，輔助聽障人士更好地理解和學習手語。我國有2700多萬聽障人士，手語是聽障人群溝通交流的主要方式，但手語學習面臨詞匯更新慢、師資短缺、手語標準難統一等多重挑戰。
手語多模態模型及手語教考一體機
研發人員讓“紫東太初”三模態大模型學習了1.2萬個手語詞匯、50多萬語法、70多萬語料，基于昇思MindSpore AI框架，開發手語多模態模型，開創性地實現手語動作與視頻、圖片示意和文字說明的聯動，讓初學者對手語語義理解更加深刻。而后，基于手語多模態模型，利用昇騰AI基礎軟硬件平臺開發出手語教考一體機。目前，該一體機已在湖南多個特殊教育學校陸續上線，一定程度上緩解了手語師資短缺問題。
手語教考一體機可以實現文本到圖像的自動生成，具備實時手語手勢識別、表情及唇語識別等能力，并且還可實現新事物詞匯的及時學習與更新，適用于特殊教育學校、開設手語教學師資培養的大專院校、通用手語推廣教學點和全國殘聯基層培訓點等。此外，基于手語多模態模型打造的AI手語助手功能可用于同傳翻譯、新聞主持、服務引導等場景。
2021年底，基于“紫東太初”三模態大模型，華為攜手伙伴成立了多模態人工智能產業聯盟，經過半年多緊密合作，陸續孵化出多個行業解決方案，如手語多模態模型和手語教考一體機。在AI大模型產業化落地過程中，豐富的數據和參數、更泛化的應用場景，反哺大模型基礎能力，讓大模型更智能、場景適用性更好，從而對行業應用提供更大的支持，實現大模型創新到應用，再到迭代升級的產業正循環。未來基于中國算力網—智算網絡的充沛算力，AI大模型的創新、應用到迭代升級的速度將進一步加快，大模型在不同領域的應用也將更加多元化。
