前有阿里雄心勃勃的數據中臺戰略,后有馬化騰稱“騰訊不會任意打通數據”的謹慎態度,近幾年,數據中臺作為“大數據的下一站”,成為業界熱議的話題,眾多實力雄厚的互聯網公司和銀行等金融機構都頻繁提起這一概念。
圖丨各大互聯網公司中臺體系建設
那么,數據中臺究竟是什么?為什么它會如此為大公司重視?它又是否是大公司的專利?在數據技術時代,它又將帶給不同公司怎樣的啟示?
一個不到 7 人的團隊驚艷了阿里
數據中臺概念最早于 2015 年年底被阿里巴巴首次提出,是阿里雄心勃勃的中臺戰略的核心之一。2015 年年底,阿里巴巴集團對外宣布全面啟動 2018 年中臺戰略,構建符合 DT(Data Technology,數據技術)時代更具創新性、靈活性的“大中臺,小前臺”組織機制和業務機制。
根據阿里中間件首席架構師鐘華在其書中的說法,“中臺將集合整個集團的運營數據能力、產品技術能力,對各前臺業務形成強力支撐?!?/p>
他介紹道,阿里會在當時的時間點做出這樣的決定,源于一次商務拜訪。
2015 年年中,馬云帶領阿里的高管們拜訪了移動游戲公司Supercell。Supercell 以《海島奇兵》等游戲知名,號稱是世界上最成功的移動游戲公司。
Supercell 允許由 2 到 5 個人,不到 7 個人的小團隊自主創新,以最快的速度推出公測版,檢測游戲受用戶歡迎的情況。2016 年 6 月騰訊公司以 86 億美元收購了員工數不超過 200 人的 Supercell 公司 84.3% 的股權,每一位員工人均貢獻值超過 3.54 億人民幣。
必然有很多公司想要模仿這樣成功的模式,卻總是達不到相同的效果。鐘云認為,這是因為那些公司缺乏 Supercell 所構建的中臺,業務得不到有力的支撐。Supercell 將多年實踐中積累的科學的研發方法和相關技術集成為一個完善的中臺體系,這樣才能支撐這些區區幾個人的組成小團隊在短時間內就能研發出一款新游戲,快速上線測試,探知用戶喜好,把握市場。
Supercell 的模式給阿里高管們帶來極大的震撼,他們開始反思信息時代的公司架構究竟應該是怎樣的,怎樣才能將公司的各個部分、將公司的資源有機結成在一起。此行之后,阿里巴巴的領導層下定決心進行組織架構的調整,并正式啟動中臺戰略。
數據中臺并非新生事物
在阿里龐大的中臺戰略中,數據中臺的建設就是核心之一。它旨在為阿里生態中的數據提供統一的接口,承載集團數據中心的工作,核心任務就是建設全域大數據。
2017 年云棲大會阿里大數據分論壇上,阿里的高級技術專家張磊介紹到:從內容上看,數據中臺管理和運維著阿里巴巴集團最核心的基礎數據;在技術上,它覆蓋了從數據采集、計算加工到數據服務、數據應用等消費鏈路上的每一個環節,為阿里生態中的業務,用戶,中小企業提供全鏈路、全渠道的數據服務。
圖丨阿里巴巴數據中臺全景圖
從上圖所示的阿里數據中臺的全景圖上可以看到,整個阿里巴巴數據中臺呈現了“四橫三縱”的體系結構。
其中的三縱分別是統一計算后臺(上圖最下方紫色模塊);第二部分是統一數據中臺(上圖中部無色模塊),第三部分賦能業務前臺(上圖上部紅色模塊)。最下方的垂直數據中心負責數據的采集接入。這部分輸入的數據主要包含兩方面:第一部分是按照業務狀態接入的企業內部的數據,例如淘寶,天貓的數據等;第二部分是根據業務需求從其他數據源爬取或采購的數據,如天氣數據等。
接下來,這些數據集成到以業務板塊,業務過程和分析維度為架構構建的公共數據中心 OneData。最后,基于 OneData 公共數據中心,上層的數據萃取數據中心根據業務需求或自然對象結合萃取標簽建設例如“消費者數據體系”的不同的數據體系,構建 OneID 體系。這三部分組合在一起就構成了阿里開放的,面向應用的統一服務中間件 OneService。數據經過 OneService 的深度加工后可以更好地發揮它的價值,新的業務可以簡易方便地建立在數據中心之上。
現在,阿里內部數據平臺上已經有幾十種不同的數據產品,每天有來自不同部門的上萬名員工使用這些數據產品進行業務分析,做出決策。
可以看出,數據中臺是一個統一的數據管理系統,它的目標是根據企業的業務需求等制定統一的規范,對數據進行組織和管理,但它并非是徹頭徹尾的新生物,現階段的數據中臺的核心技術就是數據集成。
圖丨 數據集成架構示意圖。左圖為數據倉庫模式。該模式通過抽取器定期從數據源爬取數據,將數據物化,存儲在物理的數據倉庫中。用戶的查詢訪問等直接在數據倉庫中進行。右圖為虛擬中介模式。該模式不爬取數據,而是根據創建的模式將用戶的查詢重寫為數據源上的查詢在數據源上執行(來源:DeepTech)
數據集成的目標是為多個自治的,異構的數據源提供統一的訪問入口。即將自不同數據源,形式各異的數據集成,讓用戶可以忽視這些差異,以統一的方式訪問。數據集成系統有多種可能的架構,但絕大多數系統都介于數據倉庫和虛擬集成系統之間,如上圖所示。數據倉庫就是把各個獨立的數據源加載并存儲到一個物理數據庫(數據倉庫)中,即對數據進行物化。當用戶的查詢到來時,直接在數據倉庫上執行。在虛擬集成系統中,數據還是保存在原來的數據源中,通過建立中介模式和數據源之間的映射完成用戶與數據集成系統的交互。當用戶查詢到來時,根據映射將查詢重寫,在數據源上執行。
企業會掀起再造數據樞紐的新浪潮嗎?
目前,阿里數據中臺的代表性產品之一——螞蟻金服的全行數據中臺解決方案——已為多家銀行所應用。該數據中臺為銀行業提供一整套端到端的大數據中臺解決方案,從其官網介紹中主要針對的行業現狀和痛點,我們不難發現數據集成尤其和大數據集成的影子。
相比于 Web 網頁上的大數據集成,企業內部大數據集成的難度由于企業內部數據質量有保障,多樣性易于統一等同樣有所減小,它挑戰主要集中在數據的海量性和高速性給數據集成在保證實時性帶來的困難上。
圖 丨螞蟻金服全行數據中臺解決方案行業現狀及痛點
它可以近似理解為企業的統一數據集成平臺,為企業的各項業務和活動服務,對公司的數據進行統一的管理。這樣統一的規范化的管理使得不同的數據得以集成交互,打破之前不同部門不同數據源之間的壁壘,讓數據的價值爆炸性增長并得以被充分挖掘。
現在,阿里已經推出了不同的類型的數據中臺產品:OneData 致力于解決大數據集成的痛點;螞蟻金服的相關產品則專注金融行業的數據中臺構建;而“生意參謀”則是阿里內部數據開放的窗口,集成了海量數據及店鋪經營思路,可以更好為商家提供流量,商品,交易等店鋪的數據分析預測等服務,協助商家進行商業決策。
從以上內容,我們不難看出這樣的數據管理系統對于類似阿里這樣的擁有龐大生態系統的企業的重要性,幾年來眾多大型互聯網公司和銀行機構也紛紛打造自己的數據中臺。
那么對于小型的,沒有海量數據的企業,構建這樣的平臺是否也有必要呢?
數據被譽為企業“石油”,它可以反應企業活動,經營狀況方方面面的信息。在數據時代,不能利用數據協助自己的管理業務,做出決策的企業很難走的長遠。不管是否已經手握大數據,對現有數據的管理都是每一個企業都應該考慮的問題。這種考慮不僅僅是針對企業當下的狀態,更應該有長遠的考量:如何充分挖掘數據的價值,為新業務的擴展助力。而這一切的背后,都離不開數據集成技術的支撐。
不過,雖然每個企業都應該合理管理和充分利用數據,但數據究竟要集成到什么程度,以怎樣的形式使用和開放卻是要謹慎對待的問題。
就像馬化騰就在 18 年 11 月初第五屆世界互聯網大會的論壇上所說的:“我們要從用戶的角度來考慮,把個人信息和數據保護放在優先地位,而不能套用其它公司的做法,把數據直接去任意打通?!彼麖娬{騰訊不會任意打通數據,技術中臺會打通,但數據中臺要特別謹慎。
-
數據
+關注
關注
8文章
7145瀏覽量
89582
原文標題:馬云say yes、馬化騰說“需謹慎”,風口浪尖上的數據中臺究竟是什么?
文章出處:【微信號:deeptechchina,微信公眾號:deeptechchina】歡迎添加關注!文章轉載請注明出處。
發布評論請先 登錄
相關推薦
評論