大數據行業圖譜之一:底層基礎平台公司能做多大?


大數據是企業服務市場中的新興領域,短短几年時間,大數據概念從興起到落地,開始在各行各業發揮作用,行業政策頻出,技術飛速發展,受到資本追捧。



整個大數據行業可大致分為三層,底層基礎平台,中間層通用技術,上層行業應用。接下來,愛分析將按照上述分類,逐步介紹各細分領域的行業現狀、未來前景。今天是大數據系列的第一篇——底層基礎平台。

底層基礎平台主要解決的是數據存儲、計算的問題,是整個大數據生態的基石。採集到的數據,首先要能高效、快捷地存起來,才能進行數據分析和數據挖掘。

這一層非常重要,同時也是技術含量最高的一層。以底層技術中明星Hadoop為例,用Hadoop的公司很多,能做Hadoop發行版的公司鳳毛麟角。


底層基礎平台細分領域裏的大數據公司眾多,有專注Hadoop發行版的星環科技、紅象雲騰和天雲大數據,有傳統數據庫廠商人大金倉和南大通用,有研發新型分佈式數據庫的巨杉數據庫,還有唯一來自中國的Apache社區頂級項目Kylin背後公司Kyligence。


這裏面最受人關注的Hadoop以及由此衍生的公司,接下來愛分析為您重點闡述國內外Hadoop生態的現狀。

Hadoop興起的原因:便宜才是硬道理

進入新世紀的第一個十年,各大企業都在大力投入IT設備,建設自己的機房,上線各套辦公系統。第二個十年,經濟下行,傳統企業的盈利下降,對IT設備的投入已經不像上個十年那般狂熱,大型企業採購IT設備的經費受到控制,開始核算成本,意圖在滿足需求的情況下,降低投入。

以Hadoop為代表的新底層技術能夠興起,拋開技術原因,最主要的原因是便宜、擴展性強。利用分佈式架構,將一些性能一般的機器串聯起來,達到與高性能單機同樣的效果。隨着公司發展,數據量增大,不需要更換全套設備,只需要再增加機器就可以達到目的,省時省力。

分佈式架構的技術很多,為什麼Hadoop最後勝出?還是因為便宜,用的人多。以微軟的Cosmos為例,這套系統本身優於Hadoop,主要是針對大型機房,設計理念很好,上萬台機器的機房,拿出幾十台做別的事情,來提升系統運營效率。但如果是幾十台機器,仍然需要拿出很大一部分來做別的事情,機器使用效率就很低。

實際應用時,用上萬台機器的公司少,用幾十台機器的公司多,因此Hadoop的應用面更廣。用的人多,自然幫助優化架構的人多,社區貢獻的人多,技術發展快,漸漸成為主流。

國外Hadoop三駕馬車,商業模式各有差異


Hadoop三駕馬車,數據源:公司公告,愛分析整理

提到Hadoop,必然要提到國外三家圍繞Hadoop技術的公司:Cloudera、Hortonworks和MapR。三家公司都成立時間不長,Cloudera和MapR都是2009年成立,而Hortonworks是2011年從雅虎獨立出來。

三家公司都在資本市場上受到追捧。Hortonworks在2014年上市,IPO當天市值接近11億美金;Cloudera獲得英特爾7.4億美金的投資,估值近50億美金;MapR最近剛剛獲得5000萬美金融資,估值也超過10億美金。

Hadoop技術是開源的,為什麼還有公司會提供Hadoop相關服務?這是因為開源技術的兼容性和穩定性比較差,同時,企業在實際應用中需要將開源技術和自身系統、產品相連接,這就是Hadoop發行版的市場所在,三家公司利用自己在這領域的技術、經驗積累,幫助企業更好地應用Hadoop技術。

儘管三家公司都是提供Hadoop相關服務,但是商業模式區別不小。Cloudera和MapR都研發自己的Hadoop發行版,只不過MapR的技術完全閉源,不會對外開放,而Cloudera的產品分為免費版和企業版,只有企業版的核心組件不對外開放,其他技術均提供給社區。Hortonworks將自己的技術完全貢獻給社區,不靠產品獲利,靠派駐技術人員到客户現場提供服務盈利。
因為MapR的技術不開源,所以對社區貢獻有限,目前對Apache Hadoop社區影響最大的是Cloudera和Hortonworks這兩家公司。


國內市場處於跑馬圈地階段,新興大數據公司剛剛起步

正如開篇所言,儘管近年大數據行業風起雲湧,創業公司如雨後春筍般冒出,卻少有專注底層基礎平台的公司。

星環科技是業內的明星公司,創始團隊來自原Intel開發Hadoop發行版的部門,經驗豐富。成立三年,星環科技已完成1.55億人民幣的B輪融資,估值超過10億人民幣,目前主要服務金融、電信領域客户。

天雲大數據和紅象雲騰同樣在做底層基礎平台,都在尋找適合自身的發展路線。天雲大數據的業務在向上層遷移,除了提供Hadoop發行版,目前也涉足複雜神經網絡等算法技術;紅象雲騰將業務下沉,基於芯片層提升系統處理數據的效率。

當前,銀行等大型企業紛紛喊出“去IOE”(IBM小型機、Oracle數據庫、EMC存儲設備),儘管國產企業的產品尚不能滿足大型企業核心系統的要求,但是必然會有大量新業務的IT系統採用國產品牌,舊有業務面臨更新換代也會優先選擇國內廠商。

數據庫等底層設施不同於上層應用,更換成本較高,客户黏性很大,非萬不得已不會進行替換,同時Hadoop這類新技術迭代速度快,需要後期維護。因此,各家公司都在大力開拓市場,跑馬圈地。

新興公司服務客户的方式類似,前期以產品為內核,用項目制的形式幫助企業搭建系統,後期每年收取20%的維護費。各家企業都在降低初裝費,意圖佔據市場,靠後期維護費用收回成本。

巨頭環伺的市場,大數據初創公司突圍不易

在去IOE的趨勢下,中國大型企業都在面臨IT設備的更新換代,整個底層基礎平台市場潛力巨大。新興大數據公司利用其技術優勢和初創公司的高效決策機制,迅速搶佔一些市場份額,佔據一席之地不成問題。

這類公司主要服務金融、電信、交通、電力等領域的大型企業,這些領域原本是傳統集成商的地盤,因此新興大數據公司不可避免地將與集成商正面競爭。華為、浪潮、亞信等公司之前主要是為大型企業提供硬件基礎設施,近年看到大數據領域的巨大潛力,紛紛成立了大數據部門,為客户提供全套解決方案。

愛分析認為,未來幾年在底層基礎平台領域誕生一家估值10億美金的獨角獸公司是可以預見的,但是這些大數據公司中出現類似Oracle這樣的巨頭公司可能性不大,基於以下幾點:


第一,產品同質化嚴重,市場競爭激烈

底層基礎平台不同於上層應用,客户需求類似,產品很難體現出差異化優勢。各家公司主要比拼產品性能的優劣,這種技術上的差異,新興公司最初會佔據一定優勢,隨着開源技術的普及,華為等公司會逐步趕上,技術的差距會逐步縮小。

這個市場並非全新市場,華為、浪潮、亞信等公司在這領域盤桓多年,新興公司發展到一定程度,勢必會侵入集成商的地盤。最近這段時間,星環科技和華為競爭非常激烈,價格戰打得火熱。

第二, 技術迭代更新快,長期保持技術領先不易

Hadoop誕生於2006年,Spark於2009年出現,2013年Hadoop已經發布2.0穩定版本,兩種技術從誕生到成熟時間之短,令人震驚。在當今這個技術快速發展的時代,新興大數據公司一方面要應對市場競爭,另一方面還要保持技術的領先地位,難度不小。

Hadoop等分佈式架構顛覆了傳統單機架構,很難説未來不會有新技術出現顛覆掉Hadoop。一旦大數據公司賴以生存的根基遭到顛覆,謀求轉型勢必困難重重,公司大概率會失敗。不過目前Apache Hadoop社區運作良好,Hadoop經過這些年的改善優化,性能和穩定性上獲得很大提升,Spark等新技術大多都會對接在Hadoop上面。未來幾年這方面風險較小,畢竟技術發展到現在,獨自造輪子的難度很大。

第三, 產品銷售能力遜於傳統巨頭公司

企業級市場,產品銷售能力將成為影響公司發展的重要因素。以Oracle為例,早年與Oracle競爭的Sybase和Informix,其技術實力不遜於Oracle,Informix的技術甚至領先於Oracle。這兩家公司最後在競爭中出局,落得被收購的下場,主要是輸在市場推廣上,市場推廣的失利直接影響到公司的技術革新,最後導致衰落。

在這方面,華為等傳統巨頭公司佔據絕對優勢,一方面他們與客户有長期合作關係,另一方面銷售團隊長期服務大型企業,經驗豐富。

那麼,什麼樣的公司有機會突圍成功,成為中國的Oracle,愛分析認為具備以下幾點的公司機會最大。


第一, 開源心態有助於保持技術領先地位


以Hadoop為代表的開源技術正在改變世界,但開源和可持續盈利模式總是存在着一些矛盾,近期RethinkDB公司的倒閉值得警惕,國內專注Hadoop技術的公司效仿國外找到了一條盈利模式,但目前仍然存在一些風險。

公司要不要保持開源的心態,開放自己的技術給更多人使用?對大數據公司而言,技術是核心競爭力之一,特別是對於這些做基礎平台的公司,開放技術無疑是削弱自身競爭優勢,降低產品的附加值,減少公司的毛利,短期來看,開放技術會對公司的營收造成不良影響。

但是,從公司長遠發展來看,完全閉源會增大公司風險,其嚴重後果遠遠大於開放技術的影響。大數據公司最擔心的是路線圖出現偏差,自身技術與時代發展相左,喪失技術上的優勢。一旦發生公司的技術發展方向背離整個行業發展方向,需要停止已研發的項目,掉頭追趕行業腳步,這對創業公司來説是非常致命的。

如果向開源社區開放自己技術,讓更多人了解、研究,有助於自身技術的發展,保證路線圖的正確性。同時,不斷向開源社區做出貢獻,還能提升公司在社區的話語權,進而提升公司在行業的影響力。這也是為什麼Cloudera和Hortonworks願意開放技術,爭奪在Hadoop社區的話語權。影響了開源社區,就會影響到整個行業技術發展進程,可以讓公司的發展始終保持在正確的軌道中。

第二, 商業拓展與技術研發同等重要
企業服務市場是銷售驅動型市場,而非技術驅動型,大數據這個細分領域同樣如此。技術實力再強,產品功能再多樣,也需要有客户買單才行。有些創業公司只重視研發上的投入,輕視市場推廣,公司每年訂單少,營收自然不高,團隊規模上不去,融資困難,公司發展緩慢。

單純技術上的優勢,在企業級市場並不是絕對影響因素。很多公司在POC階段都曾遇到過技術標第一,卻因為商業談判階段不理想而錯失訂單的事情。特別是現在市場處於跑馬圈地階段,搶佔位置比什麼都重要,更是需要大力進行商業拓展。一旦市場格局穩定下來,到時候再切入市場難度很大。

另一方面,即使是基礎平台技術,也需要在實際應用中進行改進優化,各行各業中應用同樣的技術還是有一些差異,在應用過程中才會真正了解企業的痛點,更好地服務企業。在做項目過程中,大數據公司可以積累經驗,將這些經驗內化成產品的一部分,做出更適合中國企業用户的基礎平台產品,築起公司的壁壘。

第三, 效仿Oracle,建立適合公司的小生態

建立生態這一點並不是適合初創公司,是公司發展到一定程度後需要考慮的。擴大自己合作伙伴的隊伍,與其他公司共同開發產品,讓其他公司承擔一定銷售任務,有些時候要比單打獨鬥更適合企業級市場。

Oracle這樣的巨頭公司,剛進入中國市場時也遇到不小的阻力。當時採取的做法是與中國本土公司合作,建立圍繞Oracle的小生態,藉助本土公司的力量敲開中國市場的大門。

做底層基礎平台的公司,作為連接硬件和應用的中間層,更需要與其他公司合作。平台上對接的應用越多,越有助於平台產品的推廣,開闢新的市場。

底層基礎平台篇到這裏告一段落,愛分析會持續關注這一領域,不定期更新信息和觀點。下一篇將是介紹中間層——通用技術篇,BI與數據可視化、用户行為分析、移動端運營統計、廣告監測、日誌分析等都會在這篇中介紹,歡迎各位讀者繼續關注愛分析。

愛分析是一家專注於創新企業研究和評價的互聯網投研平台。愛分析以企業價值為研究內核,以獨特的產品形態,對創新領域和標杆企業長期跟蹤調研,服務於企業決策者、從業者及投資者用户羣體。關注愛分析公眾號ifenxicom,及時獲取重要信息。您可以發郵件至[email protected],或者加微信號aiyangyudejiji聯繫作者。


資料來源:36Kr

如果喜歡我們的文章,請即分享到︰