<fieldset id="26ue2"><table id="26ue2"></table></fieldset>
  • <ul id="26ue2"></ul>
  • <center id="26ue2"></center>
    您的位置:首頁 >公共 >

    十年經驗的我詳解阿里數據中臺,小白都能看懂

    2023-05-05 10:32:53 來源:清一色財經

    造概念這個詞,IT行業的各位可能并不陌生。中文博大精深,我很佩服可以發明出新名詞、新概念的人,這些詞簡單準確,既可以被大眾接受,又可以被專家把玩,真正做到雅俗共賞、各有趣味。

    騰訊面試官:“ 我們部門是AI組下面NLP全棧,包括前臺、中臺、后臺…..,你做過數據中臺么?“

    我:”…..(啥是中臺??)“那不好意思,到此你的面試就結束了。


    (資料圖片)

    造概念這個詞,IT行業的各位可能并不陌生。中文博大精深,我很佩服可以發明出新名詞、新概念的人,這些詞簡單準確,既可以被大眾接受,又可以被專家把玩,真正做到雅俗共賞、各有趣味。

    比如“中臺”這個詞就是其中之一,自從阿里提出的“大中臺,小前臺”之后,各種中臺概念就被生造出來了,魚龍混雜;許多舊的架構也搖身一變,被包裝成各色中臺……這不禁讓我們深深懷疑:中臺這東西,到底靠譜嗎?

    在回答這個問題之前,我們先看看數據中臺應該怎么理解?

    它是工具?是方法?還是組織架構?我的回答是:都有,但都不全是。

    企業所屬行業不同,經營策略不同,從而數據場景也千差萬別。再加上企業人員運用數據的能力參差不齊,這就導致了每一家企業的數據中臺都是獨一無二的,不是購買一個所謂的數據中臺工具就能解決的。

    數據中臺的本質就是“數據倉庫+數據服務中間件”。中臺構建這種服務時是考慮到可復用性的,每個服務就像一塊積木,可以隨意組合,非常靈活,有些個性化的需求在前臺解決,這樣就避免了重復建設,既省時、省力,又省錢。

    圖片來源于網絡

    給大家舉個生動形象的例子吧:小漁村的改革自強之路。

    1.海邊有個小漁村,準備搞市場經濟,把村子發展為魚塘,大家可以把這個“魚”想象成“數據”

    2.由于每位村民捕魚技巧和喜好不同,所以他們從大魚塘撈上來的海鮮品種也不一樣,于是最原始的業務數據積累就產生了。同時,海鮮腐爛,就是業務數據多源異構的問題,質量和時效參差不齊。

    3.整個村子生意越做越不錯,很多臨近的村子前來主動采購,于是“數據需求”開始呈現出賣方市場的跡象。因此村長又決定海鮮市場做銷售批發,并成立專門的運輸團隊。這樣不僅保證了時效有統一保障,大家的貨損都少了,這可以理解為數據平臺成立了。

    4.村長又發現,由于客戶對于海鮮的做法不同,有些人并不太在意新鮮程度,因此決定建立一個大型冷庫,這就是我們常說的數據倉庫的構建。

    5.整個村子奔小康,而且貿易更加頻繁、市場成長很快,因此村子里鋪設了符合國家標準的鐵軌、修建了車站,還興建了國際港口,符合萬噸輪級別的航運要求。這就是中臺提供標準的數據接口,不僅執行數據接入,還提供數據訂閱、數據消費的作用。

    數據中臺的3個能力

    1. 在中臺能力及資源充足的情況下(包括業務知識、技術能力、人才積累),提供數據產品、數據服務。

    一般而言,數據應用是上層的概念,讓用戶去使用的東西,無非不過是:

    決策支持類:主題報表(月度/季度/年度/專題)、、大屏數據可視化展示數據分析類:BI商業智能、OLAP分析、數據挖掘、數據驅動的機器學習數據檢索類:全文檢索、日志分析、數據血緣分析、數據地圖數據共享開放類:實時數據訂閱、離線數據接觸、數據API接出

    2. 在中臺業務能力及人力資源不充分、但體系相對成熟的情況下(包括數據體系、技術體系),提供平臺級別的能力,包括數據平臺能力、技術平臺能力、建模平臺能力等,甚至是數據本身。

    以前當我們可以提供較完備的數據倉庫/集市的時候,產生了自助式的BI分析,解決了業務人員需求報表,但技術人員來不及做的尷尬;現在我們也理應打造這樣的中臺,通過這樣的能力,給業務人員提供自助式的、一站式的、從產生數據到產生價值的完整通路。

    3. 在中臺人力資源和對業務領域知識理解不充分,平臺級別能力也無法滿足要求的情況下,作為算力基礎平臺提供服務。

    當提供這一種能力的時候,數據中臺的人力投入應該是最低的,但需要進行資源的日常監控和任務管理。

    數據中臺和數據平臺的關系?

    很多人會疑惑這個點,同樣是很火的東西,大數據平臺與數據中臺的差別在哪里呢?

    其實,數據中臺與大數據平臺最本質的區別在于數據中臺是具備業務屬性的,輸入的是原始數據,輸出的是指標。

    如果我們把數據中臺看作是一個汽車工廠,那大數據平臺就是工廠中的設備,Hadoop 集群則是工廠運作所必須的水、電、煤。

    Hadoop提供的是大數據生產所必須的計算和存儲資源,大數據平臺使得數據開發人員具備了對數據的加工和處理能力,但還不能提供產品,這么多的原始數據,要按照一定的方法論,進行良好的組織,加工,才能生成最終的指標。

    看完這篇文章,問各位一個直擊靈魂的問題:不做中臺會死嗎?你怎么看?

    標簽: