客戶介紹

聚水潭是中國領先的電商SaaS ERP服務商，通過全鏈路數字化解決方案（覆蓋訂單/倉儲/供應鏈/財務）助力企業降本增效。其核心ERP產品為不同類型及規模的客戶提供一套統一且直觀的業務監控、運營及管理工具，賦能客戶做出數據驅動的智能決策，使其能在快速發展的電商行業中脫穎而出。

●      服務客戶基數大，截至 2024 年，已為 88,400 名不同類型的 SaaS 客戶提供服務。

●      核心產品成熟度高，其雲端電商 SaaS 產品，能夠推動商家客戶與中國乃至全球超過 400 個電商平台連接（根據灼識谘詢的資料，行業平均連接的電商平台數量不足 200 個）

●      美女福利导航基礎設施穩定高效，在 2024 年“雙11”期間成功處理了約 16 億份訂單，創下行業領先記錄。

為什麽選擇MaxCompute 近實時數倉解決方案

原有架構痛點

用戶很多現有業務數據符合PK主鍵的場景，在相關表格的日常數據的增全量合並操作時，必須進行複雜的PK去重操作以維護數據一致性。隨著用戶業務的不斷擴展，用戶倉內核心業務數據量迅速增大，給客戶帶來如下明顯痛點：

1.       日常維護複雜的增全量合並ETL鏈路

2.       每日對全量數據進行掃描，計算成本隨數據量提升不斷增加

3.       最新全量數據按天保存，冗餘數據不斷積累大大提升存儲成本

4.       增全量合並計算性能隨數據量上升而下降，數據新鮮度變低，下遊業務消費數據的壓力不斷增大

MaxCompute 近實時數倉 Delta Table 解決方案優勢

MaxCompute在原有的離線批處理引擎基礎上升級了係統架構，推出了近實時數倉解決方案。MaxCompute的近實時數倉，基於全新的表格式實現了增全量數據一體化存儲和管理，並且推出了豐富的增量計算能力，同時升級了MaxCompute短查詢加速（MaxQA）以支持查詢秒級返回。

MaxCompute近實時數倉設計了多種新的表數據組織格式，既可支持MaxCompute普通表的所有功能，同時也能很好的支持增量處理鏈路的新場景。其中，PK Delta Table作為增量表格式中支持數據包含主鍵場景的重要格式，完全契合聚水潭包含PK主鍵的業務場景，並能很好的解決用戶原有業務的諸多痛點。

●      PK Delta Table數據文件類型

PK Delta Table支持多種數據文件組織格式，來高效支持全量讀寫和近實時增量讀寫等多種場景，主要包含 Checkpoint File，Delta File 和 CDC Log。

其中，每次上遊事務commit的數據會寫入Delta File，來保存每行數據的中間曆史狀態，從而為用戶提供增量數據的讀取功能。Delta File經過Compact合並操作後會生成Checkpoint File，PK值相同的記錄隻會保留一行，並按照列式壓縮存儲，用來支撐高效的全量數據查詢需求。

●      Deletion Vector功能提升PK Delta Table文件讀寫性能

MaxCompute針對PK Delta Table的表格式最新推出了Deletion Vector功能，通過一種輕量化的緊湊的二級製格式，形成一個類似向量的結構(Bitmap)，在增量數據不斷更新過程中，高效管理已經被刪除的數據，從而避免每次讀寫時候的全量數據進行replay掃描的耗時，來提升查詢性能。當用戶讀寫的PK Delta Table數據量較大（平均文件大小>10M）且SQL對表格多列進行讀寫時加速效果更為明顯。

客戶生產係統落地效果：提效比例超過200%

在深度參與商家業務優化的分析後，客戶發現在聚水潭電商最核心的銷售履約鏈路上，圍繞訂單、出庫、售後的全流程數據，均存在如下符合Delta Table使用場景的明顯特征：

1.       明確的業務PK主鍵

2.       基於業務主鍵的數據更新

3.       主表和明細表關聯查詢

4.       數據量大（PB級數據規模）

基於以上評估分析，最終用戶選擇對訂單明細鏈路（表數據量最大，邏輯最複雜，依賴最多，計算存儲成本消耗最大，且成上升趨勢）作為Delta Table改造項目的首選目標進行嚐試。

圖1 - 銷售履約訂單明細鏈路增全量合並ETL鏈路

圖2 - T時增量具體業務流程

伴隨訂單明細鏈路的改造完成，Delta Table也完成了元數據更新，寫入攢批，多表查詢等諸多特性的優化，最終聚水潭履約鏈路的數據更新周期從近3個小時提升至30分鍾左右，提效比例超過200%，配合業務上對於更長周期數據更新的訴求（如預售訂單超180，售後維保超1年），聚水潭數據中台團隊基於Delta Table架構快速驗證了更長更新周期、全鏈路H時效的美女福利导航方案，整體方案從設計到落地優化不到2個月時間，大大簡化了增量數據寫入和消費的成本，計算資源消耗降低56%。同時，利用MaxCompute近實時數倉最新推出的Deletion Vector的性能優化功能，針對生產的23條相關核心SQL任務進行優化後，整體性能提升42%，且計算資源消耗在之前基礎上進一步降低21%。

未來展望

聚水潭將部分核心業務從傳統批式引擎遷移到近實時數倉鏈路的過程中，構建了統一的增全量一體化數據鏈路，大幅降低了日常處理新增數據的核心業務的複雜度和資源成本，同時利用最新的Deletion Vector能力使得增量數據寫入和查詢任務的性能得到明顯提升。未來，用戶將重點致力於進一步提升核心業務數據的新鮮度，確保下遊能更及時獲取最新業務狀態。同時，結合MaxQA對秒級查詢響應的支持，將為商家提供更敏捷的實時數據洞察與交互式分析體驗，進一步賦能其快速決策。

繼續閱讀：

星空人工智能美女福利导航網 倡導尊重與保護知識產權。如發現本站文章存在版權等問題，煩請30天內提供版權疑問、身份證明、版權證明、聯係方式等發郵件至1851688011@qq.com美女直播全婐APP免费下载將及時溝通與處理。！：首頁 > 大數據 » MaxCompute x 聚水潭：基於近實時數倉解決方案構建統一增全量一體化數據鏈路