簡介：本文將介紹分貝通在大數據領域的一些建設經驗。分貝通在ToB領域是一個年輕的公司，成立六年多，大數據體係剛剛建立一年多，整個團隊不到二十人，整體的大數據建設處於初級和摸索的階段。本次將總結在大數據業務上的實踐和思考，希望給大家帶來啟發。
分享嘉賓：吳榮彬 分貝通 大數據部負責人
導讀：本文將介紹分貝通在大數據領域的一些建設經驗。分貝通在ToB領域是一個年輕的公司，成立六年多，大數據體係剛剛建立一年多，整個團隊不到二十人，整體的大數據建設處於初級和摸索的階段。本次將總結在大數據業務上的實踐和思考，希望給大家帶來啟發。
主要內容包括以下幾方麵：
● 公司介紹
● 大數據建設背景
● 大數據建設方案
● 大數據應用場景
公司介紹
先簡單介紹一下分貝通。
美女直播全婐APP免费下载平常公司中可能會遇到這種場景，比如出差時通過公司OA或郵件進行審批，然後去訂機票、火車票、酒店等，到了目的地之後很多費用還要自己墊付，回來再通過發票報銷，發票數量多且金額大，時間耗費多；同時對公司而言，因為要對接很多外部平台，對企業和員工而言都是非常麻煩的。
分貝通致力於解決企業這方麵的痛點，除了差旅這部分大的支出，美女直播全婐APP免费下载也希望在所有的支出管理場景提供整體解決方案，實現企業在預算、審批、交易、報銷的全流程閉環。對員工而言，所有支出都在一個平台，可以不用墊資和發票，使用非常便捷。對企業而言，可以做到事前預算管理，事中費用控製，事後自動報銷，極大的減輕了財務和行政的工作量。
前提是分貝通需要提前去對接不同的供應商，比如酒店供應商、用車供應商等。在某些場景，分貝通還在建立自己的供應商體係，包括自營的酒店、自營的商城。經過六年多的發展，該模式得到了投資人和市場的認可，現在服務於數千家客戶，業務增長迅速，融資的規模也比較可觀，目前在企業服務領域算是獨角獸的存在。
大數據建設背景
美女直播全婐APP免费下载公司的大數據部門去年才成立，之前整個公司數據底層建設比較匱乏，所有數據都是通過業務研發團隊去支撐，業務研發除了很多自己的產品功能迭代以外，還要排期去做數據支持。整體體驗較差，一個業務上線需要一到兩個月。這可能是所有ToB公司必經的一個階段，ToB公司一開始的數據量可能不是特別大，不像ToC公司一開始就有自己的大數據團隊，隨著ToB公司的發展，數據量變大後，對大數據團隊建設的需求是非常迫切的。
這是美女直播全婐APP免费下载去年業務部門的需求，可以看到整個團隊在底層數據方麵的需求處於井噴的狀態，未來可能有更多更細的需求。
對於一個ToB公司來說，基本上可以把客戶旅程分為六個階段：認知、教育、選擇、支付、使用、增購。這是美女直播全婐APP免费下载基於矽穀藍圖的SaaS獲客模型優化後的劃分，對整個國內ToB行業也有參考意義。認知：當美女直播全婐APP免费下载想談一個客戶，首先要讓客戶了解分貝通。美女直播全婐APP免费下载通過廣告或者電銷團隊去做一個初步的接觸，這個叫做認知。教育：當有一定需求，客戶想起分貝通這個公司，會聯係你做深度的交流和拜訪，這時是深度教育的階段，讓客戶了解美女直播全婐APP免费下载能夠解決他的什麽問題。選擇：通過多家的對比選擇了分貝通。使用：交付使用。增購：發現有一些其他功能還不錯增加購買，或者到了使用年限後繼續購買。
分貝通整體可以歸為三類部門，第一是業務部門，包括銷售、渠道、市場、客戶成功等；第二是運產部門，即運營+產品的業務研發部門，包括商城、商旅、費控、支付；第三是職能部門，包括產研、人力、財務。這三大部門對數據的需求不太一樣，對各個階段的需求也會有區別。
業務部門對數據的需求是非常強烈的。其中一個場景是客戶簽約，客戶購買了很多應用場景的模塊，有些模塊用得很好，有些模塊用得很差，客戶成功團隊希望知道哪些應用場景重點在用，哪些開通了也不用，還有哪些用戶在流失等等，這些都是對數據的需求。
運產部門對數據的核心要求在整個業務過程中存在卡點，希望美女直播全婐APP免费下载通過數據去告訴它。
對於職能部門，產研關心的是產品上線後是否有人在用，用的怎樣，是否能做ABtest。人力關心的是現在的員工關注的點是哪些，是薪酬還是福利。財務關注的是現在的財務報表，數據的準確性如何，跟流水是否對得上，需要很明確的被告知，以上這些都是公司對數據的需求，各種各樣且非常強烈。
基於以上業務背景，美女直播全婐APP免费下载需要選擇合適的美女福利导航來滿足業務的需求，從業務和美女福利导航兩個角度來考慮。首先，從業務方麵考慮，當時團隊剛剛組建，人手比較匱乏，創業公司對人才的吸引力有限，因此美女直播全婐APP免费下载的架構的應用成本要特別低，功能盡量簡單，這樣才能更多地進行業務思考和數據賦能。同時，由於業務已經發展到一定階段了，對數據的需求已經比較迫切了，因此美女直播全婐APP免费下载要快速的拿到結果。另外，從美女福利导航上考慮，原有美女福利导航數據已經上雲，因此美女直播全婐APP免费下载必須選擇雲端的解決方案，這樣有利於數據的傳輸。同時，美女直播全婐APP免费下载有很多的數據來源表，但是數據量還比較小，數據量在TB規模，對實時的要求沒有那麽高。
在不考慮自建IDC的前提下，當時擺在美女直播全婐APP免费下载麵前有三個選擇：第一個是比較成熟的雲端的組建，阿裏的MaxCompute+Hologres+實時計算Flink版+大數據開發治理平台DataWork，第二個是雲上開源的組建EMR，第三個是什麽都不用，在雲上自建Hadoop集群。這三個方案各有優缺點，第一個方案的好處是應用成本嫁接給阿裏雲，但應用成本較高。第二個方案是比較折中的方案，有一定的靈活性，但是在運維上也需要一定的專業性。第三個方案需要招聘非常專業的應用團隊來組建自己的Hadoop集群，這在當時來看不太可行。最後綜合來看，美女直播全婐APP免费下载選擇了方案一。
大數據建設方案
美女福利导航架構選型結束後，美女直播全婐APP免费下载開始從內部梳理大數據建設的整體體係，逐步進行大數據建設。與大多數大數據體係架構類似，底層是多源數據連接，往上做數據清洗，再往上進行離線和實時的數據存儲與計算，到數據倉庫的建設，再到上麵的應用層的建設，左邊是組織流程規範的一些保障。
其中一些實踐方麵的細節和總結值得分享。比如數據分析，對於ToB的公司來說是很大的一個模塊，這裏的數據分析是指對外的數據分析，希望對現有的數據進行深入的分析。在組織架構上美女直播全婐APP免费下载將數倉和數據分析分成兩個團隊，數倉團隊負責整個ODS和DWD層的建設，數據分析團隊負責上層的DWS層和ADS層的建設，這是橫向的切分。這樣做的好處是，數倉團隊可以更好地關注底層數據的質量，需要更多地跟研發打交道，數據分析團隊隻需要對數據分析負責，而數據分析師可以更加關注整個數據的應用和業務的應用。這兩個團隊有著完全不一樣的技能，而且可以互相監督。除此之外，實時和離線不分開的好處是對於大家的美女福利导航發展而言，美女福利导航棧比較完整。
在流程和規範方麵，美女直播全婐APP免费下载當時麵臨的挑戰是內部的業務線特別多，有十幾個業務線，不僅多，並且複雜，比如用車業務線，與滴滴的業務線相似。每個業務線的表很多，每個業務之間又是獨立開發的，規範需要統一，數據質量也有很大差異，是非常棘手的問題。但是同時美女直播全婐APP免费下载也有先發優勢——從零開始建設，所以美女直播全婐APP免费下载當時確定一個原則，一定要邊建設邊治理而不是先建設後治理。美女直播全婐APP免费下载摸索出了一套從業務需求到開發到上線的標準的動作，也就是所謂的SOP。比如將每周二、每周四作為固定的評審時間，評審的內容都是按照自己的內容自己的模板準備好，每次評審都有記錄，上線的時候根據評審記錄來看它是否完成是否需要修改，保證流程規範治理好。
一件事情做到60分是很簡單的，比如數倉的建立比較簡單，但是要做到極致，真正做出一個好的數倉，90分的數倉其實是一件很難的事情。
有了對於大數據整體體係的流程與思路以後，落地就需要工具的支持，下麵介紹一下數據建模的工具。現在美女直播全婐APP免费下载用的是阿裏雲的DataWorks智能數據建模，美女直播全婐APP免费下载去年底參加了他們的公測，今年開始正式使用。DataWorks智能數據建模最大的好處是，美女直播全婐APP免费下载會把整個數倉的規劃和最終模型的產出做一個強關聯，模型可以直接生成物理表，發布成功後也可以直接生成簡單的ETL代碼。之前美女直播全婐APP免费下载在應用開發環境之前用SQL去建模，結果大家之間的標準不統一，就是一個人治的過程。有了DataWorks以後美女直播全婐APP免费下载就變成了法治，通過工具實現了對整個數據的強治理，與原來相比，美女直播全婐APP免费下载建模的便利性可能會差一些，比如想建一個數據匯總表，首先要建一個原始指標才能建立派生指標，然後搭建表模型，再關聯數據標準，這個流程相對而言會變長，剛開始的時候大家會不太習慣。雖然單個點的流程變長，但是整體效率提升了，數倉團隊都非常接受這種規範。對數據倉庫的長期建設而言，一些標準與規範的事前投入是非常有必要的，往往可以起到事半功倍的效果。
上圖是數倉整體架構。在美女福利导航架構方麵，現在仍然是非常典型的一個lambda架構，離線與實時是分開的，結果在Hologres做了一層匯聚，有用到一些輔助的數據庫如MySQL和ES來存儲業務和標簽的數據。這裏有一些基於美女直播全婐APP免费下载業務場景的使用建議，數據應用鏈Hologres與MaxCompute有離線實時一體化的能力，Hologres存在兩種表存儲的方法，一個是數據不導出，直接加載MaxCompute表作為外表，一個是數據導入Hologres成為內表。美女直播全婐APP免费下载BI報表的業務場景是對外的，對美女直播全婐APP免费下载來說是非常重要的，數據的穩定性是需要首要保證的，所以美女直播全婐APP免费下载更多地采用Hologres內表方式去訪問ODS的數據而不是外表方式，這樣做的好處是一旦不小心將表的結果變更，如果是外表，BI工具隻有在客戶訪問的時候才暴露出這種問題，但是采用內表的方式在推數的時候就會發現問題，就可以避免線下穩定性的問題。另外，美女直播全婐APP免费下载每天都需要數據更新，美女直播全婐APP免费下载不是每天都更新整個Hologres裏麵的表數據，因為這樣效率會比較低，可能引起服務中斷。美女直播全婐APP免费下载的方案是建立一個臨時的外表，生成臨時的內表去替代線上表，這樣速度是非常快的，因為整個Hologres做了線路的優化，效率非常高，直接去替代線上表，這樣對線上幾乎沒有影響。
再來介紹一下算法方麵的經驗。先說一下Batch Mode的離線模型，美女直播全婐APP免费下载目前使用的是阿裏雲的機器學習PAI來滿足日常的建模場景，這個圖是非常典型的數據流過程。首先樣本經過實景化到ODS上麵，在MaxCompute上進行清洗和加工，最後也會實景化到一些表，在模型訓練階段去開發、訓練整個模型，訓練完後有兩種選擇，一是不需要線上部署，隻需要做一些離線的大表預測，可以通過Designer去做一些數據的部署數據湖到整個ODS的table裏。第二是如果想做模型的線上服務，同樣可以把模型輸入到OSS層上麵，通過EAS組件進行服務，這個是美女直播全婐APP免费下载現在用的比較多的離線模型的數據流程。
接下來是實時模型的流程，比如推薦等模型場景，對模型的實時性要求比較高。有一些比較通用的組件，比如Flink、kafka等進行數據的處理、特征的處理。模型的訓練階段先做一個模型的轉化，離線的模型轉化成實時的模型，然後進行訓練評估，最後掛到線上去訓練和替換，這裏跟剛才的離線是不太一樣的。
ToB企業與ToC企業的美女福利导航選型區別
分貝通是典型的ToB企業。ToB和ToC企業存在一些差異，可以從三個方麵來了解。首先是用戶群體，對於ToB來說，購買決策和使用性都是不一樣的，買一個軟件可能是財務的決策、KP的決策，但是員工在用。ToB企業的用戶粘性更高，一般按年簽約，公司已購買員工必須使用，同時對用戶有很強的專業性要求，針對不同的企業、角色，整個係統的設計是完全不同的，甚至相同行業相同崗位的需求也是完全不同的。ToC的采購決策者是個人，用戶不滿意可以放棄使用，粘性相對較低，用戶群體相對公眾化，用戶對軟件的需求有非常多的共性。
在應用場景方麵，ToB的場景非常豐富，美女直播全婐APP免费下载做的隻能解決客戶在生產過程當中某一個環節的問題，無法覆蓋它所有方麵的問題，因為專業性太強，一個問題的處理流程往往會很長，ToB在國內還沒有千億美金的互聯網公司。ToC比較簡單，滿足大家日常生活中的需求，例如吃、穿、住、行、玩，很容易在這一領域誕生千億美金的獨角獸互聯網公司，這決定了這兩個企業的企業規模。
在業務流程方麵， ToB領域業務流程都很長，通常申請審批交易結算等等，一次交易涉及到很多環節，但是ToC相對簡單，例如網購下單僅需幾秒鍾，非常簡單。
以上就是ToB和ToC企業的區別，也就決定了以下的美女福利导航特點，ToB的數據量相對較小，在做數字化轉型的時候，包括美女直播全婐APP免费下载自己，數據量還是TB級別，處於中小規模，但是業務相對複雜，對數倉的建模能力要求較高，需要了解業務後才能更好地去建模。整個作業的處理時間會比較短，美女直播全婐APP免费下载現在的作業基本在分鍾級別，因此美女直播全婐APP免费下载的容錯恢複很快，對於美女福利导航框架的選型要求會低一些，選錯了後麵還有翻盤的機會。但對於ToC來說，基礎架構完全不一樣，一旦選錯了或版本需要升級，代價會非常高昂，這是在做數倉這兩種模型的區別。
未來展望，可以分為兩個方麵，一個是業務方麵，希望可以識別公司更多的數字化轉型場景，美女直播全婐APP免费下载希望通過產品化和平台化更好地幫助公司去做業務化、智能化的事情；同時推進業務的BP機製，推動業務的緊密合作，數據中台也要深入到業務中去，去了解業務內在的東西而不是等著業務提需求；現在更多的是報表類的支撐，希望未來發展為報告、智能化產品的支撐；雖然分貝通是企業支付的場景，但更多的是差旅方麵，差旅是很複雜的過程，比如說出一次差，要做很多的決策，美女直播全婐APP免费下载希望探索更加智能的用戶體驗，降低決策成本。
在美女福利导航層麵，隨著美女福利导航和數據的不斷積累，對實時的數據要求越來越高，美女直播全婐APP免费下载在實時與HTAP這塊，會做一些深度的探索；現在的業務比較流行湖倉一體化，之前沒有這種需求，現在美女直播全婐APP免费下载需要管理語音、文本等大量數據，需要去解決非結構化數據儲存和管理；第三是批流一體化，美女直播全婐APP免费下载使用的是lambda架構，應用比較精簡但是存在開發和運維上成本的重複，美女直播全婐APP免费下载希望在這些方麵繼續探索來統一整個數倉，真正實現存儲和數倉統一的架構，減少額外的成本，這將是美女直播全婐APP免费下载未來探索的幾個方向。
星空人工智能美女福利导航網 倡導尊重與保護知識產權。如發現本站文章存在版權等問題，煩請30天內提供版權疑問、身份證明、版權證明、聯係方式等發郵件至1851688011@qq.com美女直播全婐APP免费下载將及時溝通與處理。！：首頁 > 大數據 » 分貝通SAAS企業大數據體係建設經驗分享