中國科學院自動化研究所(中科院自動化所)6日發布消息說，該所以其多模態大模型“紫東太初”1.0為基礎，目前正在和武漢人工智能研究院聯合打造全模態大模型“紫東太初”2.0，可實現文本、圖片、語音、視頻、3D點云、傳感信號等不同模態的統一表征和學習，助推從感知世界到認知世界的通用人工智能時代加速到來。

(資料圖片)

以多模態技術探索通用人工智能

在當天下午舉行的華為昇騰AI(人工智能)開發者峰會上，中科院自動化所“紫東太初”大模型研究中心常務副主任、武漢人工智能研究院院長王金橋研究員應邀作主旨演講介紹說，中科院自動化所2019年開始在語音、文本、圖像等單模態大模型研究和應用基礎上，瞄準多模態大模型領域聯合攻關，2021年7月正式發布全球首個千億參數多模態大模型“紫東太初”，以多模態技術探索通用人工智能發展道路。

有別于以文本為主的大部分語言大模型，“紫東太初”在研發之初即堅持以多模態技術為核心，利用圖-音-文等更多類型數據進行跨模態的統一表征和學習，實現圖像、文本、語音三模態數據間的“統一表示”與“相互生成”，使人工智能大模型的理解和生成能力更加接近人類，為貫通多模態人工智能行業應用提供創新基礎，向通用人工智能邁出關鍵一步。

王金橋指出，在“紫東太初”1.0應用推廣過程中，除需要處理海量語音、圖像和文本等互聯網信息外，更需要處理多種傳感器、3D點云及視頻等物聯網海量數據，才能滿足現實生產力的提高。針對數字物聯時代的新需求與新趨勢，中科院自動化所研究探索全模態大模型體系架構和基礎算法，持續推動“紫東太初”技術和應用發展。在文本、圖片、音頻、視頻的基礎上，“紫東太初”2.0可融入3D、視頻、傳感信號等更多模態數據，并優化語音、視頻和文本的融合認知以及常識計算等功能，進一步突破感知、認知和決策的交互屏障，讓人工智能從感知世界進化為認知世界，延伸出更強大的通用能力。

促進國產全棧式基礎軟硬件發展

王金橋表示，“紫東太初”大模型從立項開始，就以中科院自動化所自研算法為核心，以全棧國產化基礎軟硬件昇騰AI平臺為基礎，依托武漢人工智能計算中心算力支持，從而有力促進國產全棧式基礎軟硬件的發展。

在華為昇騰AI開發者峰會上，“紫東太初”大模型開源了基于昇騰與昇思的3.8B圖像-文本-語音多模態模型，并開放“紫東太初”大模型服務平臺。

中科院自動化所稱，從互聯網的圖音文多模態走向物聯網的全模態，以打造國產化通用人工智能“底座”為目標，該所將持續推進“紫東太初”大模型基礎理論、關鍵技術和應用生態的全鏈條自主創新，著力以自主可控基礎軟硬件建立開源開放的多模態產業生態，不懈探索通用人工智能創新路徑。

“紫東太初”具有廣闊應用潛力

王金橋透露，目前，由中科院自動化牽頭打造的多模態人工智能產業聯合體已陸續吸納產學研各界近70家成員單位，圍繞多模態大模型技術及應用，“紫東太初”大模型已在手語教學、法律咨詢、交通出行、廣電、醫療機器人、醫學影像判讀等數十個行業場景領域，展現出廣闊的落地應用潛力。

其中，在法律咨詢行業，“紫東太初”大模型僅用0.546秒就可對法律案件進行拆解、提取關鍵事件，在辦公效率方面實現案件分析速度的百倍提升，可有效解決律師整體資源匱乏、服務成本高等問題。

在智慧交通領域，基于“紫東太初”大模型構建的面向公路路網孿生仿真、調度、養護、節能、服務等全周期、全天候、安全安心的數智平臺，讓道路通行率有效提升30%。

在醫療領域，基于“紫東太初”打造的MicroNeuro顱內微創手術機器人系統已完成國際首例深位顱內活檢手術，支持視覺、觸覺的跨模態融合，該大模型的升級也將加速優化針對神經外科手術場景的自主理解。

（文章來源：中國新聞網）

標簽：