近日，阿裏雲機器學習平台PAI正式發布自研的基於HLO的全自動分布式深度學習係統 TePDist。它通過在HLO上做分布式策略搜索，能夠與用戶模型構建語言解耦。並且在保持通用性的同時，能夠在可接受的策略搜索時間內，追求高性能分布式策略，同時用戶無需修改模型主體代碼，係統能夠全自動地幫助用戶做分布式擴展，有效解決了分布式框架長期以來在實際生產場景中手工優化和自動分布式工作存在的諸多性能和效率問題。
TePDist不僅僅是一個分布式Compiler，還擁有自己的分布式Runtime，以解決深度學習模型並行策略的自動搜索與分布式策略實施問題。在架構方麵，TePDist采用Client/Server模式，實現分布式策略與模型描述的解耦。Server端是TePDist最重要部分，以HLO IR作為輸入，自動探索並實施分布式並行策略；Client端以用戶描述的模型為輸入，將其轉換成HLO IR。因此，任何具有轉換HLO IR能力的Client，都可經過適配後接入Server端。
在功能方麵，TePDist分為兩個部分。一是在HLO IR上進行SPMD（Data Parallel和Sharding）和Pipeline並行的策略搜索。並以此構建編譯基於Task Graph的執行計劃。二是高效運行執行計劃的分布式執行引擎。同時，TePDist提供了不同優化級別，高優化級別更加追求分布式策略質量，低優化級別會額外采取一些Heuristic，以較為微小策略質量犧牲，換取更快地搜索時間，以此滿足落地需求。
性能上，TePDist通過在GPT和MoE模型上SPMD+Pipeline混合策略的模型擴展性實驗，TePDist能夠使GPT和MoE分別達到峰值能力的62%和58%。同時，在自動化方麵的通用性上，TePDist也通過了VGG-19，DNABert和UNet等模型實驗驗證。
一直以來，大模型在模型效果上被證明具有顯著優勢。而ChatGPT的出現，證明了其在工業生產工具方麵具有巨大潛力。阿裏雲機器學習平台PAI也宣布將TePDist開源，與AI開發者共同打造更快更好的自動分布式係統，全麵助力AI大模型發展！
開源地址：http://github.com/alibaba/TePDist
開源釘群：
星空人工智能美女福利导航網 倡導尊重與保護知識產權。如發現本站文章存在版權等問題，煩請30天內提供版權疑問、身份證明、版權證明、聯係方式等發郵件至1851688011@qq.com美女直播全婐APP免费下载將及時溝通與處理。！：首頁 > 新聞 » 阿裏雲機器學習PAI發布基於HLO的全自動分布式係統 TePDist，並宣布開源！