游客發表
新浪科技訊 8月12日晚間消息,推理在2025金融AI推理應用落地與發展論壇上,創新中國銀聯執行副總裁涂曉軍、技術華為數字金融軍團CEO曹沖出席并發表致辭。于今論壇上,年月華為公司副總裁、正式數據存儲產品線總裁周躍峰發布AI推理創新技術——UCM推理記憶數據管理器,開源旨在推動AI推理體驗升級,推理提升推理性價比,創新加速AI商業正循環。技術同時,于今華為攜手中國銀聯率先在金融典型場景開展UCM技術試點應用,年月并聯合發布智慧金融AI推理加速方案應用成果。正式
周躍峰在論壇上強調:“AI時代,開源模型訓練、推理推理效率與體驗的量綱都以Token數為表征,Token經濟已經到來”。為保障流暢的推理體驗,企業需持續加大算力投入,但如何在推理效率與成本之間找到最佳平衡點,成為了全行業亟待解決的重要課題。
為此,華為推出UCM推理記憶數據管理器,包括對接不同引擎與算力的推理引擎插件(Connector)、支持多級KV Cache管理及加速算法的功能庫(Accelerator)、高性能KV Cache存取適配器(Adapter)三大組件,通過推理框架、算力、存儲三層協同,實現AI推理“更優體驗、更低成本”。
在與中國銀聯的聯合創新技術試點中,UCM的技術價值得到驗證。在中國銀聯“客戶之聲”業務場景下,借助UCM技術及工程化手段,大模型推理速度提升125倍,僅需10秒即可精準識別客戶高頻問題,促進服務質量提升。未來,中國銀聯將依托國家人工智能應用中試基地,聯合華為等生態伙伴共建“AI+金融”示范應用,推動技術成果從“實驗室驗證”走向“規模化應用”。
論壇現場,華為正式公布了UCM開源計劃。UCM通過開放統一的南北向接口,可適配多類型推理引擎框架、算力及存儲系統。今年9月,UCM將正式開源,后續逐步貢獻給業界主流推理引擎社區,攜手全產業共同推動AI推理生態的繁榮發展。
責任編輯:何俊熹
隨機閱讀
熱門排行
友情鏈接