當前,構建隨著大型語言模型(LLMs)和多模態人工智能的原生爆發式發展,全球數據量呈指數級增長,統數數據特性與訪問模式也發生根本性轉變。據基AI發展重心已從“訓練主導”轉向“推理優化”和“Agent生態”,礎設這使得對底層基礎設施提出了全新的構建審視與要求。這種范式轉變對數據存儲提出了前所未有的原生要求:極致吞吐、低延遲、統數高并發、據基多模態數據統管、礎設記憶持久化以及自主可控和安全性。構建這些要求使得存儲不再僅僅是原生傳統的數據持久化介質,而是統數支撐萬億參數大模型高效訓推和Agent行動閉環的智能樞紐。
面對這些挑戰,據基傳統的礎設豎井式存儲架構已顯得力不從心,導致數據割裂、管理復雜、效率低下,難以滿足AI對極致性能、彈性擴展及統一數據訪問的嚴苛要求。傳統存儲產品“硬件專屬、協議分立、無法協同”,性能低、時延大,嚴重限制了新興硬件和AI數據的價值發揮。打補丁式優化已無法滿足Agent時代對存力的顛覆性需求,迫使行業必須重構存儲基座。
ExponTech AI 原生智能數據平臺WADP應運而生,旨在為企業構建面向未來的AI數據基礎設施,驅動智能化轉型 。這一重構存儲基礎設施的理念,正是通用存儲(Universal Storage)的核心要義,即構建一個統一、智能、無限擴展的數據平臺底座,消除數據孤島,讓企業真正步入“數據隨用隨取”的AI應用新時代 。
01 Universal Storage,為AI時代注入強勁動能
WADP(WIDE AI Data Platform)是華瑞指數云最新推出的AI原生智能數據平臺,以“One Platform, All Workloads”為核心理念,通過統一平臺融合替代傳統存儲陣列、文件系統及大數據存儲,一站式承載企業核心生產系統(如關鍵數據庫)與AI全流程數據(訓練/推理/向量檢索),滿足高吞吐、低時延、大容量、低成本和智能數據管理的需求。其基于自研WiDE分布式數據引擎與天樞元數據引擎,性能較開源Ceph提升30倍,僅用普通服務器即可媲美高端全閃陣列存儲。支持塊/文件/對象/AI專用接口(KV/Semantic)等多協議共池,實現萬億文件管理及微秒級時延。這種“多種存儲協議原生互通訪問同一份數據”的能力 ,極大提升了數據流動性,消除了傳統方案中因數據拷貝產生的延遲和冗余。借助全速RDMA/IB網絡與SDS 2.0架構,可擴展至千節點集群,并支持混合多云部署,將AI數據效率提升10倍。
02 特性價值:創新引擎增強與全新子產品線
WADP在核心引擎層面進行了多項突破性增強,顯著提升了系統的性能、靈活性和可靠性。
1. 增強的引擎能力:驅動前所未有的靈活性與性價比
1.1 跨池在線卷遷移:簡化與動態調整業務
WADP引入了先進的“跨池在線卷遷移”能力,旨在簡化數據管理并支持業務的動態調整。
遷移機制: 基于“日志原理”實現,確保數據遷移過程中基于IO粒度的數據一致性,實現“無感RPO和RTO”。
業務無感知: 遷移過程對上層業務完全“無感知”,無需業務系統配合或停機,確保業務連續性。
數據粒度與場景:支持在同集群內以數據卷粒度進行跨池在線熱遷移。用戶可方便地在各存儲池或存儲集群間進行數據遷移,充分利用存儲空間,實現容量均衡,并根據業務性能要求,將數據在不同性能池之間遷移,如數據庫冷熱數據動態遷移。
方案優勢: WDS遷移次數無限制,采用并行復制機制,速度快,提供可視化UI管理和自定義遷移速度。支持A/A(Active-Active)模式遷移,天然支持iSCSI/FC/RBD等多種協議。結合異構存儲納管特性,還支持第三方SDS或傳統存儲納管后,實現跨集群跨池數據管理與遷移。
這種在線卷遷移能力,為AI工作負載提供了極大靈活性,使得企業能根據AI工作負載實時需求,動態調整數據在不同性能層級存儲池中的位置,優化資源利用率和成本效益,同時確保AI訓練和推理的連續性。
1.2 Append Only存儲引擎作為EC底座:提升性能與延長壽命
WiDE存儲引擎引入了創新的“Append Only存儲引擎”,作為其糾刪碼(EC)的底層基礎。
工作原理: 無論SSD還是HDD,大塊順序寫都能極大提升硬盤吞吐能力。Append Only引擎采用“ROW策略”,將隨機小IO寫轉換為順序大塊寫,從根本上改善了傳統覆蓋寫模式的性能低下局面,并解決了EC模式下的寫放大問題。
減少寫放大: 在EC模式下,有效地消除讀改寫減少寫放大問題。
延長SSD壽命: 數據以追加方式寫入,避免頻繁覆蓋寫和隨機寫,從而“大大減少SSD閃存的擦寫次數”,有效延長SSD使用壽命。
1.3 自研高性能EC實現:高效率與高可靠性的保障
WADP采用了“自研高性能EC(Erasure Code)算法”,為數據提供了極致的空間利用率和高可靠性。
靈活的冗余策略: 支持從“2+1、4+2、6+2、8+2最大可以到22+2”的不同比例EC配置,空間利用率最高可達“91.6%”。支持機柜級、節點級冗余策略,并支持不同比例EC的折疊,滿足容量與成本平衡。
低時延與快速故障切換: 得益于Append Only引擎優勢,WADP在系統常態工作負載運行區間(40%-60%)下,仍能提供“百微秒級的時延響應”。對于磁盤、網絡等設備亞健康問題,系統能夠實現“毫秒級切換”,確保業務系統穩定運行。
SSD壽命延長: Append Only模式下數據以追加方式寫入,避免頻繁覆蓋與隨機寫,有效減少SSD閃存擦寫次數,延長SSD使用壽命。
WADP的高性能EC不僅提供業界領先的空間利用率,顯著降低存儲成本,更通過自研算法和與Append Only引擎的協同,確保極端負載下的性能穩定性和故障恢復能力 。
1.4 EC引擎實現軟件壓縮能力:空間優化與性能兼顧
WADP的EC引擎還集成了“軟件壓縮能力”,實現了數據存儲的進一步優化 。
無損壓縮:提供“無損數據壓縮和解壓縮”,通過算法剔除冗余信息,縮減數據體積而不丟失任何細節,實現“壓縮不減質、還原零誤差”。
高壓縮率:壓縮率可達到“≥2:1”,顯著降低存儲硬件成本。
大幅提升得盤率:結合高效的壓縮比在EC或者副本場景可以實現超過100%的得盤率。
2. 全新子產品線:WFS與WQS的發布
除了對核心引擎的增強,華瑞指數云還發布了兩款全新的子產品線:WFS和WQS,進一步完善了WADP在全場景數據融合和AI特定需求上的能力 。
2.1 WFS (WiDE File Storage):高性能分布式并行文件系統
WFS作為WADP的“高性能分布式并行文件系統”,其優勢在于:
架構優勢:“采用獨立元數據服務引擎——天樞元數據服務引擎,并支持元數據負載均衡。這種獨立元數據設計,是其實現高效元數據服務和高性能的關鍵,尤其適用于處理AI訓練中常見的海量小文件場景”
功能特性:支持多協議接口(NFS、CSI-NFS、SMB),提供目錄權限管理、文件系統跨池、文件網關HA(高可用)、小文件合并、訪問認證、用戶鑒權、用戶管理、目錄配額和目錄QoS等豐富功能。
目標場景:專為“AI大模型、醫療PACS、企業辦公文件存儲、云原生K8S”等場景設計。
WFS的推出,使得WADP能以統一架構,同時滿足企業對傳統文件存儲和AI大模型對高性能并行文件系統的需求 。其對小文件合并和高效元數據服務的支持,直接解決了AI訓練中頻繁讀寫大量小文件帶來的性能瓶頸,確保數據加載效率,提升GPU利用率。
2.2 重磅發布AI原生產品 WQS (WiDE Query Storage):優化推理效率,降低算力成本
WQS(WiDE Query Storage)是華瑞指數云面向AI場景推出的“全新AI原生產品”,核心目標是“優化推理效率,降低推理算力成本,為Agent的運行提供便捷的記憶體服務層。
AI專用接口能力:基于WiDE引擎,提供“AI場景的專屬接口能力”,特別是KV和Semantic接口。被設計為“面向大模型推理的多級KVCache與Agent記憶體服務層”。
KVCache優化:WQS能將KVCache從昂貴的GPU顯存和CPU內存分層到成本更低的SSD上,形成L2/L3級KVCache能力。這“顯著降低顯存占用”,從而支持“多會話并發與長上下文推理”。通過卸載KVCache,“大幅提升LLM推理效率,并且降低顯存和內存的使用成本”。
極低時延:憑借WiDE引擎的高性能低時延KV讀寫能力,WQS能保障關鍵路徑的穩定響應達到“100us級別”(100微秒級)。
極高帶寬:KVCache的讀寫可以逼近物理網絡的帶寬上限。
語義接口實現:WQS未來將實現Semantic接口,由天樞元數據服務統一進行推理全流程過程中的數據管理跟語義檢索。
生態集成:支持即插即用接入vLLM/LightLLM/SGLang等主流推理框架。
WQS直接解決了大模型推理中最核心的成本和性能瓶頸——GPU顯存。通過創新KVCache分層技術,WQS不僅大幅降低推理成本,更提升推理效率和模型處理長上下文能力,加速大型AI模型的工業化和普及。
03 以存代算,開創AIDC新紀元
華瑞指數云堅持“核心代碼全棧自研”,不依賴國外開源“捷徑”。WADP通過“全軟件化、分布式化、云化與智能化”,為AI、高性能分析、核心數據庫等場景提供極高性能、超低時延、穩定可靠的統一存儲與管理能力。徹底打破了傳統豎井式存儲架構的局限 ,將企業核心生產系統與AI數據管道統一承載于同一平臺,實現了數據在塊、文件、對象和AI專用接口間的原生互通與共享 。可以自如應對AI海量小文件和高并發元數據挑戰,并賦能了AI檢索和Agent記憶體等高級功能。憑借其統一架構和AI原生特性,WADP能夠全面覆蓋兩大核心應用領域:通用企業存儲場景和AI Infra存儲場景。
在通用企業存儲場景,它為數據庫、虛擬化、容器和通用文件需求提供了高性能、高可靠的統一解決方案 。而在AI Infra存儲場景,WADP更是核心所在。
1、優化AI訓練與推理工作流: 提供統一數據平臺,覆蓋AI數據全生命周期,通過WDS和WFS加速數據加載、Checkpoint寫入和模型分發,實現模型秒級加載和5倍加速。
2、革命性L2/L3 SSD KVCache(WQS):通過將KVCache從GPU顯存卸載到SSD,大幅降低推理成本(節省60%GPU卡成本),同時將推理速度提升5-8倍,并提供近似無限的持久化內存空間,與主流推理框架無縫兼容。
3、一站式RAG全流程數據存儲:統一承載結構化和非結構化數據,包括關系型數據庫和向量數據庫,并借助WiDE引擎高性能優化整個RAG過程,賦能Agent長久記憶。
WADP卓越的產品能力也得到了世界級權威測試的驗證,是目前全球唯一能同時覆蓋企業關鍵業務(SPC-1)與AI工作負載(MLPerf Storage)的分布式存儲軟件。ExponTech在2023年打破了SPC-1性能世界紀錄,成為全球首個超越高端全閃陣列的分布式存儲軟件 。在MLPerf Storage v2.0評測中,WADP在AI訓練和Checkpoint寫入效率上均取得了全球頂尖成績,尤其在硬件利用效率上遙遙領先。這些成就共同證明了WADP是目前業界在通用存儲和AI存儲領域都具備超高性能、高可靠性及全棧式能力的產品 。
未來,WADP將在兩大領域中不斷完善產品能力,真正實現“Universal Storage —— One Platform, All Workloads”的愿景,引領行業邁入“數據隨用隨取”的AIDC新時代,加速千行百業的智能化轉型。