大數據跑馬圈地的時代已過

三年前，一部暢銷書—《爆發》，點燃了公眾對大數據的熱情?！侗l》的作者巴拉巴西教授為大家打開了一扇從未見有過的窗戶，讓人們看到了另外一個世界，一個和諧、有序、美麗的世界。這個世界，是我們之前從未想過，也從不敢想的世界。

這個世界，就是掩藏在表象之下，被數據所揭示的世界！

在這個世界里，93%的未來事件是可以預知的；在這個世界里，所有的一切都是有序的，和諧的，按照自然規律運轉的。

半年之后，就在人們逐漸淡忘了《爆發》的時候，舍恩伯格教授的《大數據時代》面世了。雖然只經歷了短短半年，但大數據得到了飛速的發展。大數據（Big Data）一詞越來越多地被提及。數據正在迅速膨脹變大，它決定著企業的未來發展，人們也越來越多的意識到數據對企業的重要性。

正如《紐約時報》2012年2月的一篇專欄中所稱，“大數據”時代已經降臨，在商業、經濟及其他領域中，決策將日益基于數據和分析而作出，而并非基于經驗和直覺。

哈佛大學社會學教授加里·金說：“這是一場革命，龐大的數據資源使得各個領域開始了量化進程，無論學術界、商界還是政府，所有領域都將開始這種進程。

知乎有組數據，到2012年為止，人類生產的所有印刷材料的數據量是200PB（1024TB=1PB），全人類歷史上說過的所有話的數據量大約是5EB（1024PB=1EB）。IBM的研究稱，整個人類文明所獲得的全部數據中，有90%是2012、2013兩年產生的；而到了2020年，全世界所產生的數據規模將達到今天的44倍。

我們正處于一個大數據時代。

大數據真的有用嗎

盡管今天到處都在談著大數據的神奇之處；盡管現在不跟大數據扯上點關系的業務就仿佛不是好業務；但相信用不了多久，越來越多的人會質疑大數據的真正功效。一切幻象終要回歸本質。

大數據是泡沫嗎？這是個從2012年起至今資本圈一直爭論不休的話題。一方面投出去的項目還在年復一年地燒錢，別說何時賺錢，就連個像樣的商業模型都沒有；另一方面又感覺這是個大機會，一旦踏空，將會犯系統性錯誤。資本市場就在糾結中度過了三年。

今年初，隨著互聯網金融的持續升溫，各種金服讓資本市場眼前一亮，終于在層層迷茫中看到了希望。于是各路神仙紛紛出手，造就了一個又一個的資本神話。身邊的幾個項目，最少的估值也在十億以上！

為什么金服公司能夠擁有如此高的估值？大數據真的能給金融業帶來革命性的變化嗎？

客觀地講，大數據的確會給金融行業帶來一些很有意義的變化，如信用卡的低成本精準獲客，貸前的決策支持和貸后的預警等等，但這些改變，還沒有達到革命性的地步。

大數據的典型應用之一，營銷白名單。通過對數據的處理，可以還原出用戶的畫像，并精準地篩選出合適的用戶。并通過線上線下的互動，以很低成本的代價，快速獲客。

而對于金融業更為關心的貸前的風控而言，還沒有足夠的證據表明基于大數據的信用模型，可以取代原有的經過近百年實踐考驗的信用模型。

傳統的信用模型，是基于結構化數據設計的模型。盡管沒有大數據那么大的規模，那么多的變量，但這個模型行之有效。幾十年來，一直很好地工作著，被各大銀行所使用。而相比于傳統模型，以大數據為基礎的信用模型，選用了數百倍，數千倍的變量來試圖降低在原有信用模型中，對某一個變量準確度的要求。

如果說，傳統模型是基于結構化數據，模型中雖然涉及的變量不多，但每一個變量都對數據的準確性有非常高的要求；那么，大數據信用模型，是基于結構化和非結構化混合數據，用大量的變量去替代少數強變量，從而試圖降低對某一變量數據準確性的要求。

這一理念和想法是好的，但迄今為止，還沒有取得足夠令人信服的效果。

這里并沒有貶低大數據信用模型的意思，相反，由于得到大數據的補充，以銀行為代表的金融機構，可以很好地解決自身數據時效性和完整性的問題，從而可以將這些信息更好地補充到傳統的信貸模型里去。只是不要過分夸大大數據在金融風控環節的作用。

在貸后的預警方面，大數據也可以發揮很好的作用。以前需要全部依靠人工的方式去做的事情，現在很多可以由數據的挖掘和分析來實現。在保證風險控制水準不降低的情況下，降低對人工的需求。而且有些時候，數據的挖掘與分析可以使銀行更及時地發現企業的不良狀況，提早預警。

所以說，大數據在金融業的作用已經得到了證實。

除了金融行業，其實大數據在更多的領域預測都有過很好的效果，長尾效應的改善，交通擁堵的預警，自然災難的預測，等等。

早在80年代，翁文波老先生就預測到了91年華東、華中的那場特大洪水。這個預測發布在1984年出版的《預測論基礎》一書的第125頁，當時并沒有引起人們的注意。七年后，一場特大洪澇災害襲擊了華東、華中廣大地區，這才有人想起，一位石油科學家對這場洪水早有預料。

在天災預測中，翁文波對天文學中的可公度性給予了特別關注。翁文波認為，可公度性并不是偶然的，它是自然界的一種秩序，因而是一種信息系?？晒刃圆粌H存在于天體運動中，也存在于地球上的自然現象中。

大數據是有用的，只是很多價值還需要我們不斷地去探索，開發。在很多應用場景里，不要只過于關心數據是否“大”，同樣還要關心數據的挖掘，因為只有對數據的深加工，才能發現很多隱藏在表象下面的“真相”。

大數據能賺錢嗎

近幾年來不知是由于經濟下滑，還是物極必反，人們已經很排斥純粹燒錢的模式。能否“變現”，也成了衡量一個項目好壞的標準。

在一次演講會上，美國大數據領域超人Nate Silver對臺下眾多企盼得到成功秘笈的聽眾們坦言，“我的成功你沒法復制”。這也是整個行業的縮影。大數據項目雖然橫跨了多個領域，但真正在一個行業或者一個領域內取得巨大成功的創業公司還是鳳毛麟角；而且，這些為數不多的企業，之所以取得成功還夾雜著這樣或那樣的“偶然”因素，別人根本無法復制他們的成功模式。

既然成功模式還無法復制，那我們退一步，來看看產業鏈中都有哪些環節，你在整個產業鏈中可能會扮演什么角色？我們以北美目前最為成熟的數字廣告業（目前被公認的為數不多的成熟大數據項目）為例，來說明大數據產業中可能的幾種角色。

數字廣告產業鏈看大數據格局

從這幅圖中我們可以看出，整個大數據產業鏈，可以分成這樣四種角色：數據提供商，算法提供商，數據優化提供商和應用提供商。

數據提供商

一般都是由于擁有某種入口資源，經過了數年，甚至十數年的積累，形成了在某一領域，某一行業獨特的數據資源優勢。數據提供商可以將數據提供給第三方使用，從而將資源優勢轉化，形成實際的收益。由于分工的細化，數據提供商未必自己去做產業鏈的其它角色。當然，隨著數據成本的日益增高，數據將越來越匯聚到幾家巨頭手里，而形成幾家數據寡頭為中心，數家各領域，各行業壟斷為補充的格局。

舉個最簡單的例子，按照身邊幾家數據公司最多的融資（注意是融資，不是估值！），4億人民幣，如果想打通某項數據，需要去外部購買，每條信息1元，買4億個用戶的數據，資金鏈就斷了，又得融下一輪了；而現在1元錢，根本買不到足夠數量和質量的數據。

所以說，數據提供商是講出身的，你沒有入口資源，還是不要去妄想成為這一角色了吧。

算法提供商

這一角色可以沒有數據，但必須要擁有很強的算法能力和行業的背景。目前在各個行業都有一些獨立的第三方算法服務提供商。這些企業雖然沒有數據，但具有行業豐富的經驗和背景，可以為客戶提供很好的算法服務。

單純有算法，沒有行業的背景，沒有對行業的了解是不夠的。再好的模型，沒有行業的最佳實踐，沒有對行業的深邃洞察力，沒有經驗的積累也只能是紙上談兵。

數據優化提供商

這一角色一般也沒有足夠的數據源。屬于整個產業鏈比較尷尬的角色，有點像生產線上的技術工人。它需要從數據提供方買來數據（或者由需求方提供數據），然后按照需求方的要求，將數據整理、優化，交付給甲方。至于甲方如何來使用，它并不介入。數據優化提供商既沒有足夠的數據資源，又沒有算法提供商強大的算法和行業洞察能力，所以只能做些低附加值的技術勞務輸出。

應用提供商

這一角色又叫解決方案提供商，是離客戶最近的一個環節，也是最能體現價值的一個環節。

對客戶而言，他并不關心大數據到底有多大，數據是否足夠優化，算法是否足夠科學；他關心的是，是否能給他解決實際的問題。

從這一點上，應用提供商頗似一個系統集成商。它需要根據用戶的實際需求，去判斷需要準備什么樣的數據，需要采用什么樣的算法，需要將數據如何優化，以便達到最優的效果，幫助客戶解決什么樣的實際問題。

以上，就是我歸納的目前大數據市場上的幾種角色。要想在市場立足，必須要先明白自己屬于哪個角色。定錯了位，沒有一個正確的起點，沒有一個正確的方向，跑的再辛苦也不會達到終點。

清楚了自己的身份，接下來要做的就是積累，不斷地積累、優化；不斷地往上爬，爭取做到各自領域的前三。只要你提供服務的價值是被市場認可的，賺錢是遲早的事兒。

數據有多重要

近來有個說法，得數據者得天下。在大數據時代，沒有數據你怎么能夠進入這一市場呢？相反，我有了數據，即使我不知道怎么來用，也比沒數據，知道怎么用的公司強，估值高。數據是稀缺資源，待價而沽。

從某種程度來說，這個是有道理的。因為不同的數據質量，決定了不同的業務。業務的發展，從一定程度上會受到數據的質量、數量、維度三方面的限制。

數據的數量、維度比較容易理解。只有擁有了足夠豐富的數據維度，足夠的數據數量才可以盡可能地去描繪、還原事物的本來面目。經常被人忽略的是數據的質量。所謂數據的質量，其實就是跟被推斷，被挖掘事物的關聯程度。最好的數據是不需要挖掘的，數據等于“真相”。

舉個例子，比方說你在微博上發了一條信息，“我的寶寶今天上午十一點出生了”。那么這條信息作為數據被存儲起來，數據等于“真相”。這是不需要任何挖掘和推斷的，直接可以被利用。比方說，基于某天“有了寶寶”這一事實，就需要奶粉、尿不濕，之后三年需要早教，等等，等等。

相反，如果信息匱乏，或者說不能直接采集到相關的數據，需要通過已知的信息去推斷未知的事物，那么就屬于挖掘的范疇。推斷的結果自然可能是對的，也可能是錯的，這就涉及到準確率的問題了。再好的模型，再豐富的數據維度和再大的數據量，也只能是無限逼近真相。

所以，離真相越近的數據，質量就越高，價值也就越大；相反，離真相越遠的數據，質量就越低，價值就越小。這一點已經得到市場的充分認可。

由于數據質量的差別，客觀上也造成了業務上的差異。

所幸，從各種跡象上表明，未來成熟的大數據格局，在朝著我所歸納的四種角色發展。數據將逐漸打破壟斷，趨于開放。只是好的數據質量自然會貴些，差的數據質量自然會便宜些而已。

當然，這不是一個短期內可以實現的目標，需要一個演進的過程。在這個過程當中，勢必會有一些巨頭，利用數據資源上的差異，開發出比其他競爭對手更有優勢的業務來。但我個人認為，這一優勢沒有那么大，也不會維系很久。

支撐我觀點的原因有兩點，一個是隨著國家很多數據資源的開放，即便沒有少數幾個寡頭壟斷的數據，也可以找到其他替代的數據來達成目標，形成新業務；還有一個原因是可以采取借雞生蛋的方法，只要想辦法搞到初期啟動的數據，做成產品，迅速形成商業閉環，用業務產生的數據，用機器學習的方法，不斷地訓練模型，不斷地優化，最終實現目標。

所以，我雖然同意數據是一種戰略資源，從某種程度上說，有了壟斷的，高質量的數據，可以做出好的數據產品，可以領先別的競爭對手一段時間，提供差異化服務；但我真的不認為，得數據者得天下。

淘金大數據

上面將整個大數據產業鏈劃分成了四種角色。什么角色掙什么錢；有多大本事掙多少錢。想在市場上謀有一席之地，靠的還是實力。

數據提供商

數據提供商領域，依舊屬于市場初期。目前沒有任何一家數據提供商可以提供所有維度的數據；每家都只擁有網民的部分數據（業界最高的識別率，一般不超過30%）。現在最時髦的各家的“用戶畫像”也只是盲人摸象。距離真相，還有一定的距離。

這就造成了客觀上由于信息不對稱，而給一些中小數據提供商的市場空間。中小數據提供商可以充分利用巨頭們還在整合數據資源的階段里，快速地變現（最簡單地例子就是數據的粗加工出售，控制成本，做到哪天算哪天，爭取利益最大化）；或者去尋找某一個行業，苦練內功，成為大數據的應用服務提供商。從而在數據提供商市場壟斷到來的那天，能夠華麗轉身，蛻變成應用提供商，繼續在市場中存活。

數據優化服務提供商

雖然數據優化服務提供商低端，但在整個的產業鏈里還不容易被取代。隨著產業鏈的日益成熟，分工的日益細化，數據優化服務提供商可能作為一個環節獨立存在，而不是作為數據提供商的一環。

這一角色，需要精通各種大數據的模型、算法，也需要了解不同數據的特點，從而可以根據用戶的需求，為用戶“優化”出符合他們需求的數據。

算法提供商

算法提供商將會隨著行業應用的深化不斷地強化自身在行業的優勢，對后來者筑起壁壘；而且，隨著在行業經驗的積累，算法提供商是最容易成為應用服務提供商的。也勢必會被應用服務提供商所取代，不會以單獨的形式存在。起碼會被應用服務提供商壓縮至很小的空間。隨著行業應用的深入，每個行業逐漸也會形成幾家獨大的格局。由算法提供商演變的應用提供商勢必會給后來的單純算法提供商造成很大的壁壘。所以，單純的算法提供商在未來幾年內，可能會逐漸淡出。

應用提供商

應用提供商應該具有乾坤大挪移的功夫，他不但要了解用戶的需求，而且清楚地知道哪些是大數據能做到的，哪些是大數據做不到的。他需要懂得約束客戶的需求和預期，大數據不是萬能的。

應用提供商還需要了解什么樣的應用，需要什么樣的數據，什么樣的算法模型。

應用提供商是未來成熟大數據市場最為關鍵的角色。數據終究是原材料，能否做出一桌好菜，還要看廚師的手藝。對行業的洞察力和經驗，就是對火候的掌握，就是廚師的手藝。

大數據不但有用，而且確確實實可以賺錢。只是你需要搞清楚，自己是什么角色，能賺什么錢！數據作為未來企業的戰略資源，的確有著毋庸置疑的重要性，但不至于沒有數據，就寸步難行，還沒到得數據者得天下的地步。

清晰了產業鏈的格局，就可以對號入座，清楚自己在產業鏈的位置。繼而沿著自己既定的發展方向堅定不移地走下去。

大數據的決戰已然拉開了帷幕，你準備好了嗎？