近日，阿裏雲機器學習平台PAI與華東師範大學高明教授團隊合作的論文《結構感知的稀疏注意力Transformer模型SASA》被頂會 SIGIR 2022錄取。論文主導通過引入稀疏自注意力的方式來提高Transformer模型處理長序列的效率和性能，並提出了結合代碼語言和結構特性的麵向長代碼序列的Transformer模型性能優化方法。
SIGIR是星空人工智能領域智能信息檢索方向頂級國際會議，涉及搜索引擎、推薦係統等多個方向，該會議曾推動了麵向搜索的排序模型、基於深度學習的推薦算法等星空人工智能領域的核心創新，在學術和工業界都有巨大的影響力。此次入選意味著阿裏雲機器學習平台PAI自研的稀疏注意力Transformer模型達到了業界先進水平，獲得了國際學者的認可，展現了中國機器學習係統美女福利导航創新在國際上的競爭力。
那麽SASA主要解決了什麽問題？基於Transformer的模型在self-attention模塊的複雜度隨序列長度呈次方增長，多數編程預訓練語言模型（Programming-based Pretrained Language Models, PPLM）采用序列截斷的方式處理代碼序列，從而導致上下文信息缺失。
針對以上問題，SASA設計了四種稀疏注意力模式，包括：sliding window attention，global attention，Top-k attention，AST-aware attention，在一定程度上將計算複雜度與序列長度解耦。其中sliding window和Top-k模式基於局部上下文和重要的attention交互學習表示，抽象語法樹（AST）模式引入代碼的結構特性，與序列上下文信息相互補足，global attention通過與序列中所有token進行交互來獲取全局信息。對比CodeBERT，GraphCodeBERT等方法，SASA在多個長代碼任務上取得最佳效果，同時也降低了內存和計算複雜度。
SASA美女福利导航將在開源框架EasyNLP中集成，給PAI的NLP開發者提供基於稀疏注意力機製的長序列自然語言處理能力。機器學習平台PAI麵向企業客戶級開發者，提供輕量化、高性價比的雲原生機器學習，涵蓋PAI-DSW交互式建模、PAI-Designer可視化建模、PAI-DLC分布式訓練到PAI-EAS模型在線部署的全流程。
論文信息
EasyNLP開源地址：http://github.com/alibaba/EasyNLP
論文鏈接：http://arxiv.org/abs/2205.13730
論文名字
Understanding Long Programming Languages with Structure-Aware Sparse Attention. SIGIR 2022
論文作者
劉婷婷，汪誠愚，陳岑，高明，周傲英
星空人工智能美女福利导航網 倡導尊重與保護知識產權。如發現本站文章存在版權等問題，煩請30天內提供版權疑問、身份證明、版權證明、聯係方式等發郵件至1851688011@qq.com美女直播全婐APP免费下载將及時溝通與處理。！：首頁 > 新聞 » 阿裏雲機器學習平台PAI與華東師範大學論文入選SIGIR 2022