大數據概念一經提出便席卷全球，迅速的從概念轉化為實踐，給各個行業領域帶來顛覆式的改造和創新，成為任何人都無法忽視的一股革命性力量。在數據生態系統中，個人的思維、企業的創新、國家的治理、國家之間的博弈方式，都將發生系統性改變。我們需要詳細考察大數據產生、發展、深化的歷程，在此基礎上清醒把握大數據的系統變革意義。
大數據發展歷程：從“靈感火花”到“時代浪潮”
萌芽時期。在上世紀80年代，國外的計算機學者在面對超出常規規模的數據時，就嘗試著提出了“大數據”這一名詞。但他們所提到的大數據只是軟件工程師的非正式術語，和當前的大數據概念相比，在內涵上、特征上、影響力上都不可同日而語。
真正對數據快速增長這一現象密切關注、并正式提出“大數據”概念的是SGI(美國硅圖公司，成立于1982年，是一家生產高性能計算機系統的跨國公司)首席科學家John Mashey。他在1997年的一篇題為“Big Data and the Next Wave of InfraStress”的演講中，詳細的講述了數據量和數據類型的快速增長趨勢給世界帶來的挑戰。John Mashey將大數據定義為數據存儲密度的快速增長，他以磁盤密度為例進行說明，在1990年以前以每年130%的速度增長，1990年到1997年以每年160%的速度增長，到了1998年和1999年，增長速度將是每年200%，這是數據規模增長的一個直接的體現。隨著數據來源的快速擴展，像圖片、表格、模型、數據、視頻、音頻等更為復雜的數據，將會給互聯網等基礎設施帶來壓力。Mashey強調我們應該關注這一趨勢，并設法應對這些新變化。
形成討論風暴。2009年，《自然》雜志以專刊的形式提出了關于大數據的觀點和訪談。隨后，麥肯錫首次全面、系統地揭示了大數據革命的內涵和邏輯，并對其影響力進行了定量評估。麥肯錫研究院于2011年5月發布了報告《Big data: The nextfrontier for innovation, competition,and productivity》(大數據:下一個創新、競爭和生產力的前沿)，詳細地回答了以下幾個問題：究竟如何定義大數據？大數據涉及到哪些關鍵技術群？大數據能夠為世界創造多大的價值？大數據為哪些行業帶來最大的沖擊和改變？企業和政府應該以怎么樣的策略去迎接大數據革命？
在這份報告中，麥肯錫首次對大數據進行了一個相對清晰的定義：“大數據是指其大小超出了常規數據庫工具獲取、儲存、管理和分析能力的數據集”。這篇報告引起了企業界、政府界、學術界對于大數據革命空前的重視和討論，大數據的創新案例開始迅速增加。
認知走向成熟。國際數據公司IDC于2012年8月發布了一份題為“Big Data: Trends, Strategies, and SAP Technology”的報告，進一步提出了大數據的“4V”特征：數據量(volume)、數據速度(velocity)、數據多樣性(variety)、價值(value)。從數據量來講(volume)，數據規模將會從以往的GB和TB級別升級到PB和EB級別；從數據類型來講(variety)，不同來源、不同格式的數據爆發式涌現，個人、企業、社會、政府都將密集地產生數據，結構化數據、半結構化數據、非結構化數據都將大規模增加；從數據速度來講(velocity)，筆者理解其包含三個方面的含義。一是數據的增長速度在加快，平均每2年翻一番。二是數據的獲得速度，可以沒有時滯地實時監測一個病人、一臺機器、一架飛機、一座城市、一個國家的運行態勢，第一時間掌握進展。三是數據的處理速度也在加快，分布式計算大大提升了計算速度；從數據價值來講(value)，大數據蘊含著大價值，需要用新的挖掘技術將之提煉出來，為決策提供支持。
大數據的“4V”定義提出之后，迅速成為廣為接受的一個經典認知。但在筆者看來，“4V”定義過于局限在大數據本身的性質上，卻忽視了大數據帶來的認識論變革、方法論變革、世界觀變革，此外，大數據時代個人的生存方式、企業組織管理模式、國家治理體系，許多方面都將被顛覆和重構，也就是說，大數據是塑造“社會關系”的基礎性力量，這些重要內容應該體現到大數據定義中來。
大數據是一場管理革命。谷歌學術上引用量最高的大數據文獻，是2012年10月發表于哈佛商業評論的一篇題為“Big Data：The Management Revolution”的文章，該文在兩年多的時間里累計被引用接近500次。對于大數據的定義，該文援引了“3V”的思想，但除此之外，尤其強調大數據是引發管理革命的力量，認為大數據能夠使管理者更好的運用數據證據而非直覺來進行判斷，大數據可以讓管理者掌握任何時間、任何地點、任何對象、任何方面的信息，“大數據的主要變化在于從數據中提煉信息，加以分析然后轉化為商業優勢。”
在倍受關注的《大數據時代》一書中，數據專家舍恩伯格對大數據的定義也更加側重其系統性的變革意義。他指出，“最初，這個概念(大數據)是指需要處理的信息量過大，已經超出了一般電腦在處理數據時所能使用的內存量，因此工程師們必須改進處理數據的工具”，“今天，一種可能的(定義)方式，也是本書采取的方式，認為大數據是人們在大規模數據的基礎上可以做到的事情，而這些事情在小規模數據的基礎上是無法完成的。大數據是人們獲得新的認知、創造新的價值的源泉；大數據還是改變市場、組織結構，以及政府與公民關系的方法。”可見，作者幾乎完全揚棄了數據規模和數據特征的定義方法，將大數據帶來的認知、價值、組織、政府治理的系統變革，做為定義大數據的核心內容。
多維度把握大數據變革意義
任何理論認識都是對實踐進行抽象、總結、升華的結晶。要深刻理解大數據的本質，需要將大數據在實踐上帶來的廣泛影響、沖擊、變革進行系統的把握，可以從微觀、中觀、宏觀三個層次把握。
微觀層次看，大數據是信息經濟時代人類努力記錄、刻畫、認知萬事萬物運動過程的必然結果，是數據高速增長并持續對人類數據承載能力、駕馭能力構成壓力和挑戰的現象的總結與表達。
從中觀層次看，大數據是企業和國家新的資產形式，是信息經濟時代最主要的生產要素，是改造“生產方式”的基礎性力量。同時，它也是改造“社會關系”的基礎性力量，個人的角色和思維、企業組織結構與戰略、國家治理方式、國家之間競爭方式，將在數字空間中被重新構建。
從宏觀層次看，大數據是認識論和方法論的變革，大量對象從不可知變為可知，從不確定性變為精確預測，從小樣本近似推理變為全樣本完整把握，以往人類一知半解的事物，現在可以完整的還原其面目，這可以說是人類認識世界和改造世界能力的一次升華。
第一，大數據的根本點絕不在于數據規模之大。因為數據的絕對規模并不是大數據的有效標志，目前全球數據每兩年翻一番，以指數型速度增長，無論今天看來多大的數據，在幾年后都是微不足道的小數據。所以筆者更加強調大數據之所以“大”，是因為它持續對人類的數據承載能力和駕馭能力構成壓力和挑戰。IDC的數據顯示，“數字宇宙的增長速度要遠遠高于世界存儲能力增長速度。2013年我們僅僅有能力儲存33%的數據資源，其余的只能丟棄，2020年我們僅能存儲15%的數字宇宙內容。”
第二，大數據是促進生產力變革的基礎性力量。這包括數據成為生產要素，數據重構生產過程，數據驅動型企業的快速崛起等。此外，數據做為生產要素構建起來的經濟增長方式可能導致一些經濟規律失效。過去的經濟學規律非常強調“邊際效應”，因為傳統增長方式之下的能源、資源、環境都是越消耗越少，邊際成本越來越高，最終約束經濟無法持續快速增長。但數據做為生產要素其邊際成本為零，不僅不會越消耗越少，反而保持“摩爾定律”所說的指數型增長速度，大數據時代需要新的經濟增長理論來指導實踐。
第三，大數據是促進國家治理變革的基礎性力量。正如《大數據時代》作者舍恩伯格在定義中所強調的，“大數據是人們在大規模數據的基礎上可以做到的事情，而這些事情在小規模數據的基礎上是無法完成的”。在國家治理領域，陽光政府、責任政府、智慧政府建設，大數據為解決以往的“頑疾”和“痛點”提供了強大支撐；精準醫療、個性化教育、社會監管、輿情監測預警，大數據使以往無法實現的環節變得簡單、可操作；大數據也使一些新的主題成為國家治理的重點，比如維護數據主權、開放數據資產、保持在數字空間的國家競爭力等。
第四，大數據是人類認識世界和改造世界能力的一次升華。以往由于處理數據能力的限制，人類只能從“小數據”中發現規律，對于隱藏在大規模數據中的規律卻無緣問津，小到基因測序、原子運動、機器設備的全息監測，大到氣象學、天文學，這些領域的數據規模正在失控，人類已經無法駕馭。但大數據極大地擴展了人類的能力邊界，在數據密集型領域進行研究和創新成為可能，可以預期，在不遠的將來，大數據必將形成一輪巨大的創新浪潮。 |
