AI應用在產業廣泛落地,騰訊正在推動推理需求暴漲和云基礎設施升級。邱躍球化趨勢全面 在2025騰訊全球數字生態大會上,鵬面騰訊集團副總裁、和全騰訊云總裁邱躍鵬表示,升級施騰訊云正不斷升級云基礎設施,云基以支撐Agent規模化落地和企業全球化發展。礎設他介紹,騰訊騰訊云已在推理加速、邱躍球化趨勢全面Agent Infra和國際化布局等方面取得突破,鵬面并將以更加開放的和全姿態,助力企業把握時代機遇。升級施 騰訊集團副總裁、云基騰訊云總裁邱躍鵬 在推理加速方面,礎設騰訊云深入參與開源貢獻,騰訊向DeepSeek、vLLM、SGLang等社區提交了多項優化技術。針對大模型推理面臨的內存瓶頸,騰訊云自研并開源FlexKV 多級緩存技術,大幅降低KVCache的占用,將首字時延降低多達70%。 邱躍鵬表示,騰訊云持續深度參與并回饋開源社區,同時依托異構計算平臺整合多種芯片資源,向外界提供高性價比的 AI 算力。目前,該平臺已全面適配主流國產芯片。 為了支持Agent的大規模應用,騰訊云推出了 Agent Runtime 解決方案,通過集成執行引擎、云沙箱和安全可觀測等五大能力,提供穩定可靠的運行環境。其中,云沙箱基于自研技術,啟動時間只需100毫秒,支持數十萬實例并發。 騰訊云還將Agent技術應用于云基礎設施,推出的專家服務智能體 Cloud Mate,顯著提升了架構治理和故障排查效率。在內部實踐中,Cloud Mate實現風險SQL攔截率95%,排障時間從30小時縮短至最快3分鐘。 在全球市場,騰訊云持續提升自研產品的性能和可靠性。星星海服務器部署已超2億核,旗艦SA9在高密技術持續突破,單機核數達到768核。專有云TCE實現2分鐘級的RTO,近金融六級容災標準。 騰訊云還發布全新架構數據庫 TDSQL Boundless,兼具易用性與高并發能力,并通過 AI 優化器在復雜查詢中將時延降低八成以上。 騰訊云基礎設施已覆蓋全球 55 個可用區,部署 3200 多個加速節點,為上萬款游戲提供安全防護,在過去一年抵御了同比增長 183% 的 DDoS 攻擊。 此外,騰訊云還為中小企業和開發者提供了便捷的出海工具。比如,EdgeOne Pages 結合AI編程,幾分鐘就能搭建電商網站。低代碼直播組件也大幅縮短了開發周期。 騰訊云加快國際化布局,并計劃在日本大阪和沙特新建可用區,目前全球已經設立 9 個技術支持中心,并獲得400 多項專業認證。 今年,依托適配全球技術生態的產品能力和本地化服務,騰訊云完成印尼版“滴滴+美團”超大規模遷移,過程中僅用 5 個月建成印尼第三可用區。 邱躍鵬最后表示,騰訊云將持續加大在技術創新和全球化布局上的投入,幫助中國企業穩健出海,同時也為全球企業提供安全、可靠、智能的云服務。 以下為演講全文: 尊敬的各位領導、各位嘉賓、媒體朋友: 大家上午好!我是邱躍鵬。 大模型產業重心從訓練到推理的轉變,已經成為行業共識。從騰訊自身的實踐,我們也看到了同樣的趨勢,同時客戶對于使用大模型和建設Agent迸發出強烈熱情,這都帶來了推理需求的暴漲。從IDC咨詢公司的數據可以看到,Agent也將進一步推動推理需求的爆發。這也意味著,我們的AI基礎設施,也要同步升級。 下面想和大家一起探討如何通過AI Infra的升級,來加速Agent的規模化落地。 從技術角度來看,開源社區與推理相關的技術范式正在快速迭代。騰訊在推理加速上一直有非常多的積累,我們積極參與到社區貢獻中,共建推理加速技術生態。 今年2月,DeepSeek 一口氣開源了五大代碼庫,為社區注入了前所未有的活力。其中,專注 GPU 通信的 DeepEP,與我們長期積累的 TRMT技術方向高度契合。我們在此基礎上優化了 DeepEP,使其在 IB 網絡性能提升了 30%,在數據中心常用的 RoCE 網絡環境中性能更是翻倍。DeepSeek 在社區公開致謝,并用“huge speedup”形容這次貢獻。 第二個重點是 KV Cache 優化。隨著大模型參數規模激增,推理對顯存的需求急劇上升。同時,智能客服、代碼助手等場景,對上下文長度的要求不斷擴展,導致推理過程中產生的 KV Cache 線性增長,GPU 顯存成為瓶頸。對此,我們將KV Cache逐層緩存至內存、SSD及云端擴展存儲,充分利用整個推理集群節點上的存儲資源,以及外置擴展資源,以存換算,提高性價比和系統吞吐,并極大降低TTFT等延遲指標。 為了解決分布式KV Cache和多級緩存的精細管理,并建起推理引擎到云存儲的橋梁,我們研發并正式開源了 FlexKV。在知名SSD廠商“群聯電子”的測試中,FlexKV 將首字時延最高降低 70%,對話時延降低57%。 推理框架優化對于提升推理效率也非常重要。圍繞用戶體驗、成本控制和應用拓展,我們貢獻了多項核心技術,補充到了不同社區框架中。 例如,我們集成了多 token 聯合預測 (MTP) 技術,讓模型一次運算生成多個 token,將生成速度提升了 35%。我們還幫助社區打通了注意力數據并行 (Attention DP) 功能,將吞吐量提升了 30%。 此外,通過集成 MoE-Chunk 技術,成功使推理框架能夠處理超過 256K 的超長輸入,使其在長文檔分析、復雜代碼生成等場景中也能保持高效。 這些成果背后,是騰訊軟硬件協同全棧優化的長期戰略投入,騰訊始終堅持積極參與和回饋開源社區,并通過騰訊云異構計算平臺的軟件能力,整合不同類型的芯片,對外提供高性價比的AI算力,目前我們已經全面適配主流的國產芯片。 當Agent從前沿技術走向企業生產環境,如何確保其在一個安全可信的環境中高效運行成為新的挑戰。為此,我們推出了全新的 Agent infra 解決方案——Agent Runtime。 它集成了執行引擎、云沙箱、上下文服務、網關、安全可觀測服務等多項產品和能力。可以說,Agent Runtime 為Agent提供了堅實可靠的“手”和“腳”,以及至關重要的安全隔離云端執行環境,真正打通了Agent從技術到應用的最后一公里。 比如大家最關注的沙箱技術。云沙箱是 Agent Runtime 的核心組件,基于自研的Cube沙箱技術,通過“運行時快照”、“資源預創建池化”等多種技術手段,實現了 100毫秒的極速啟動,并能支持數十萬Agent實例同時并發,這意味著Agent無需等待,隨時可以投入使用,具備卓越的資源彈性和秒級調度能力。 云沙箱也支持多種靈活的接入方式,無論通過 MCP、SDK 還是 API,都能快速集成,滿足不同業務場景的需求。我們還提供了全方位的安全保障,包括嚴格的身份權限管理和數據安全防護,確保每一個Agent都能在一個安全可信的環境中高效運行。 除了面向Agent升級基礎設施,我們也在思考如何將Agent能力應用在客戶的云上旅程,幫助客戶更好的用云、管云,很高興向大家介紹騰訊云的專家服務智能體——Cloud Mate。 Cloud Mate由一系列凝聚了各個云上領域經驗的子Agent構成,它不僅僅是一項技術,更是騰訊云海量實踐的匯總,能夠可視化治理云上架構、前置攔截風險,并大幅提升問題處理效率,改變我們管理云的方式。 在云上架構治理方面,具備Agent能力的智能顧問就像一個全能的數字架構師,可以無縫集成超過 90% 的騰訊云產品,對整個云上架構進行全面感知和可視化。 例如,在新游上線前必做的重保演練,它能將整個周期從原來的 1周縮短至1天,目前,騰訊云智能顧問已經為云上客戶提供,超過100萬次的智能架構治理服務,是真正值得信賴的云上伙伴。 在風險防范場景,慢查詢或低效SQL是長期困擾開發與DBA的難題,這種業務代碼一旦上線,可能嚴重拖慢數據庫性能,甚至導致服務宕機。 Cloud Mate非常擅長數據庫業務,能夠深入到代碼環節,在開發提交代碼前,自動進行風險檢測與攔截,從源頭保障線上數據庫的安全穩定。從內部實踐看,Cloud Mate對風險SQL的攔截率高達95%,累計檢測了超過770萬行代碼。 在排障方面,Cloud Mate 帶來的改變尤為顯著。當客戶云上業務系統日益復雜時,如何快速定位問題,是一個巨大的挑戰。過去,解決一個復雜問題平均需要30小時以上,并且高度依賴于個人經驗和手動操作。 而現在,通過 Cloud Mate 強大的自動化和并行編排能力,我們能夠將平均排障時間,從小時級縮短至分鐘級,最快僅需3分鐘。Cloud Mate 能夠自動執行診斷工具鏈,并行處理多個任務,極大地提升了運維效率,讓故障定位不再是難題。 除了智能化升級之外,企業全球化的趨勢也勢不可擋。 我們持續打磨產品性能,通過堅實的基礎設施建設,助力客戶在全球范圍拓展業務。 騰訊云自研的星星海服務器從SA5到SA9持續迭代,通過硬件架構創新,在有限空間內,最大化提升計算密度與能效,旗艦SA9單機規格,從前一代的512核進一步提升到768核,星星海服務器目前在全球累計部署核數超過2億,為客戶持續提供穩定可靠的計算能力。 我們還推出了新一代架構的TDSQL數據庫, 讓分布式數據庫像單機 MySQL一樣好用,同時享受到單機數據庫的易用性,以及分布式數據庫的海量存儲與高并發能力,具備無限的TP擴展性與輕量AP能力。 同時,我們還將AI和數據庫的優化器結合,在復雜查詢場景下,總時延能下降 80%以上。 專有云TCE在國內政企客戶中備受好評,當我們推向國際市場,“高可用性”也得到了國際客戶的肯定。我們持續提升TCE容災切換的一致性、準確性和實時性,目前已經達到RTO 2分鐘級別,具備近金融6級的容災能力。 游戲體驗的流暢性、穩定性和安全性,直接決定著一款產品能否成功走向全球。在今年Omdia的報告中,我們與AWS、Google、Microsoft等企業,一同被評為全球游戲云平臺的領導者。 為了讓精品游戲都能高效進入全球市場,我們不斷打磨基礎設施的健壯性。目前,我們的服務已覆蓋全球55個可用區,擁有超過3200個加速節點,確保游戲能夠以極低的延遲觸達全球玩家。我們還為全球超過1萬款游戲保駕護航,成功抵御的DDoS攻擊次數同比增長了183%,為游戲的平穩運營筑起了堅實的防線。同時,我們通過WeTest和ACE等一系列產品,為游戲開發者提供全方位的測試與安全服務,幫助他們在游戲上線前,就徹底排除潛在隱患。 以韓國頭部頭部游戲集團Com2uS為例,他們不僅是成功的游戲開發商,更打造了面向開發者的游戲后端服務平臺Hive。借助騰訊云40多款云產品的支撐,Hive構建了上百個游戲開發和部署組件,并被90多家游戲公司接入使用,成功支撐了250款游戲上線,服務全球超過9億游戲玩家。今年,他們準備從亞太啟航,進一步進軍北美市場,而騰訊云依然是他們最信賴的合作伙伴。 我們與創夢天地的合作也持續深化。他們的全新游戲《卡拉彼丘》在全球發行后,不到2小時就登頂Steam排行榜榜首,背后正是我們WeTest、大模型服務等能力保障的結果,大幅提升了游戲質量優化和多語言輿情處置的效率,讓創夢天地能夠更加專注于核心業務,擁抱全球市場。 面向AI時代,我們持續升級產品,助力客戶輕松進入低門檻的開發新時代。EdgeOne是我們面向國際市場推出的下一代安全加速產品,今年我們進一步將大模型與MCP Server結合,推出了EdgeOne Pages,當用戶使用Codebuddy、Cursor、VScode等AI編程工具時,可以便捷調用EdgeOne Pages的MCP,在幾分鐘內完成涵蓋注冊、支付、加速和安全防護的完整電商網頁部署。產品上線三個月,已助力超過10萬用戶走向全球市場,成為中小企業和獨立開發者的出海首選平臺。 如果客戶希望進一步豐富產品的互動能力,我們提供低代碼、模塊化的互動直播組件,結合目前市面上主流的AI編程工具,可以將開發周期從月級壓縮至天級,同時支持千萬級規模的單房間直播。組件上線半年以來,客戶數增長超300% 。 我們致力于通過“邊加端”的AI整體方案,以極低門檻和極快速度,將創新想法落地為全球產品,釋放開發者的生產力。 產品技術的升級,也能讓騰訊云的用戶更從容應對全球化復雜場景,尤其是瞬時流量洪峰。 過去一年,我們成功護航了多個高并發場景。例如,騰訊云平穩支撐了國家級大型活動的直播,支撐了全球超過8000萬觀眾同時在線觀看,直播平臺全程無卡斷。我們還支持并保障了亞太地區超過一半的正版英超直播。其中的智能媒體處理技術,為客戶實現了提質增效,保障了音視頻全鏈路的流暢體驗。 在安全防護方面,騰訊云的防護容量相比去年增長了70%,達到了25T,帶寬儲備增長100%,達到400T。在服務某頭部潮玩企業火爆發售的過程中,我們成功應對了全球業務十倍級的流量突發,并通過AI實時防刷引擎,將高峰時段黑產比例從80%大幅壓縮到0.2% 。 騰訊云在海外完善的基礎設施和本地化服務,也在吸引越來越多的海外本地企業跨云遷移。印尼 GoTo 就是一個典型案例: GoTo是東南亞最大的科技集團,合并了印尼兩大獨角獸企業——負責即時配送和出行服務的Gojek和電商平臺Tokopedia。騰訊云負責的Gojek業務,是這場遷移中復雜度最高的部分,相當于把印尼的“滴滴+美團”云上搬家。 我們面對的,是一個超大體量的平臺:擁有超過1億的注冊用戶, 管理著超過10000臺云主機、730多個數據庫實例和1000多個微服務。同時,其系統極其復雜 :四大核心業務線、九個工程子系統,模塊間高度耦合。這無疑是一個世界級的云業務遷移挑戰。 面對如此復雜的項目,團隊駐扎雅加達現場,與GoTo緊密協作:高效完成了500多項定制化需求交付,讓客戶50多個產品模塊在遷移前后的體驗和功能無縫延續。為了確保萬無一失,進行了5輪全鏈路演練,制定了20多項應急預案。 更值得一提的是,為了滿足GoTo的高可用需求,我們僅用5個月就在印尼建成了第三個可用區,為遷移提供了堅實的本地基礎設施保障。 過去一年,是騰訊云在海外快速發展的一年。我們在日本大阪和沙特新建了可用區,并已在全球范圍內設立9個技術支持中心,持續為本地客戶提供卓越服務。同時,我們通過了400多項專業認證,為企業在安全合規的前提下穩健前行保駕護航。 全球化市場充滿挑戰,也蘊藏著無限機遇。對于正在或即將出海的中國企業而言,如何穩扎穩打、因地制宜,抓住AI技術浪潮驅動創新提效,是每一步都需要認真思考的課題。 騰訊云愿以扎實的準備和開放的心態,幫助全球企業用好云,陪伴中國企業走得更穩、更遠。 謝謝大家。 |