近日，阿裏雲機器學習 PAI 開源框架 EasyNLP進行升級發布，推出了融合了豐富電商場景知識的CLIP模型，在電商文圖檢索效果上刷新了SOTA結果，並且將上述模型免費開源，貢獻給開源社區。
CLIP（Contrastive Language-Image Pre-training）是一種經典的文圖跨模態檢索模型，它在大規模圖文數據集上進行了對比學習預訓練，具有很強的文圖跨模態表征學習能力。EasyNLP借鑒CLIP的輕量化、易遷移的預訓練架構，構建基於CLIP包含圖像和文本Encoder兩部分的雙流模型，同時基於商品數據，以優化電商場景的文圖檢索優化。
Fashion-Gen數據集是一個大規模的時尚場景的圖文數據集，以Fashion-Gen數據集為例，EasyNLP基於pai-clip-commercial-base-en和pai-clip-commercial-large-en這兩個模型在Fashion-Gen數據集上進行了20個epoch的微調。實驗結果表明，相比於現公布的SOTA模型（CommerceMM），電商CLIP-large模型在文到圖和圖到文的檢索結果上均有顯著提升，評測指標最高提升了8.7～15個百分點。
除此之外，電商base模型在文到圖與CommerceMM相當檢索結果下，使用了更少的參數量。由此可見，電商CLIP無論在large還是base圖像Encoder的設置下，都取得了有競爭力的電商場景跨模態檢索能力。
文到圖檢索評測結果
圖到文檢索評測結果
目前，電商CLIP可在EasyNLP中直接安裝使用，在未來，EasyNLP框架會集成更多NLP的多模態的知識模型，覆蓋各個常見領域和任務，同時也將集成更多SOTA模型（特別是中?模型），來?持各種NLP和多模態任務，共建NLP和多模態算法庫。
Github地址：http://github.com/alibaba/EasyNLP
星空人工智能美女福利导航網 倡導尊重與保護知識產權。如發現本站文章存在版權等問題，煩請30天內提供版權疑問、身份證明、版權證明、聯係方式等發郵件至1851688011@qq.com美女直播全婐APP免费下载將及時溝通與處理。！：首頁 > 大數據 » 阿裏雲 EasyNLP 跨模態學習能力再升級，電商文圖檢索效果刷新SOTA