飛象網訊 日前,在中國深圳舉辦的第20屆華為全球分析師大會,長江學者特聘教授、華中科技大學計算機科學與技術學院院長馮丹對數據中心Diskless架構及近數據處理發展趨勢做出了權威解讀,為傳統云存儲、大數據等計算域和存儲域不完全分離造成的資源浪費,提出了一個新的技術解決方向,幫助云和互聯網數據中心降本增效,實現數據中心高質量演進。
馮丹教授提到,傳統存算融合架構下,企業通常采用應用與本地盤耦合的服務器一體化架構,存在存力效率低、無效數據遷移、資源浪費等典型問題:
1. 計算域和存儲域未徹底分離,仍各自存在獨立的本地存儲,往往按照最大容量預設配置,存力利用率低;
2. 采用通用算力進行數據處理,IO效率低,存儲域仍以CPU為中心,存取性能無法充分發揮;
3. 數據從盤到計算域CPU,需要8次以上數據搬遷,無效搬遷帶來了網絡和算力資源的浪費;
4. 在存算融合的上千節點大規模集群中,算力、容量空間配比無法均衡,擴容時需要額外遷移數據,不僅帶來現有業務風險,還會浪費投資;
5. 數據爆發增長,面向結構化數據的數據縮減策略不完全適用于非結構化場景。
隨著算力多樣化、高性能網絡和存儲介質的發展,數據中心架構從以CPU中心朝著以數據為中心的Diskless架構演進。Diskless架構下,單一CPU算力發展到GPU、DPU、XPU等多樣算力,算力效率得以充分發揮;網絡從IP、NOF發展到高通量的CXL,為算力和存力等硬件解耦奠定了基礎;存力也從傳統HDD到SSD,性能、功耗實現全面提升。在Intel、華為、KIOXIA、阿里云等業界芯片、存儲、云和互聯網廠商的積極推進下,Diskless架構借助專用DPU/IPU等數據處理芯片和OceanDisk等專用存儲模塊,進一步提升數據處理和存儲的效能,充分調動數據中心資源。
馮丹教授表示,資源池化共享的Diskless架構應具備以下關鍵技術:
1. 網存協同,DPU硬件卸載加速,數據高效協同處理。通過DPU等專有數據處理模塊,使服務器CPU全為應用服務,基礎設施與應用任務解耦,將VirtIO、NVMe-oF等CPU計算效率低任務轉移到DPU的專用加速器執行,實現資源彈性擴展。
2. 數控分離+IO直通,實現控制流與IO流分離,IO直通到存儲介質,進一步提升存儲效率。通過數控分離,可達到極致IO訪問時延,通過存儲域IO讀寫數據流與IO控制處理的分離,使得讀寫IO直通到存儲介質中,減少IO處理路徑,降低處理復雜度,極大提升存儲域訪問性能。計算域則可以借助DPU bypass CPU,減少數據拷貝開銷,提升IO訪問性能。
3. 盤控協同,盤芯片與控制器芯片配合,提升集成度,達到最佳成本和能耗。盤控協同技術的關鍵是要實現高性能、低成本的大盤,通過硬件對盤控系統內的算法進行加速,比如利用FPGA實現FTL/DIF/在線壓縮/加密/EC/GC等硬化,提升性能;盤內和框內的各類驅動和緩存層合一,實現盤框一體,構建極致成本和能耗的大盤存儲。
4. 算子卸載,EC、數據縮減等算法通過硬件卸載到存儲端,實現近數據處理。通過計算語義的卸載,存儲直出語義接口,主機側軟件棧打薄,減少80%的IO交互次數,實現對整系統的CPU和網絡帶寬節省。同時,在大數據/數據倉庫場景,可以利用引擎的下推接口,下推謂詞和投影等運算操作到存儲資源池,減少無效數據的搬移。
馮丹教授表示:“從技術趨勢來看,高性能異構算力、高速網絡、大存力新型盤框、算子卸載等技術的發展,帶來了數據中心架構的變革,加速了以CPU為中心的耦合架構走向徹底存算分離、資源池化共享的以數據為中心的Diskless架構,這種架構進一步簡化了數據中心基礎設施構建,能夠實現存力和算力資源的集約高效發展,已經成為大規模數據中心發展的重要技術趨勢!