5-15 美國社會思想家托夫勒在 《第三次浪潮》中提出,“如果說IBM的主機拉開了信息化革命的大幕,那么‘大數(shù)據(jù)’才是第三次浪潮的華彩樂章。”大數(shù)據(jù)以其“淺顯易懂”的概念、廣泛的潛在應用需求和可展望的巨大經(jīng)濟社會效益,正成為繼云計算、物聯(lián)網(wǎng)之后信息技術(shù)領域的又一熱點,并將在社會經(jīng)濟各領域產(chǎn)生深刻影響。
麥肯錫全球研究院 (MGI)于2011年6月發(fā)布了題為《大數(shù)據(jù):下一個創(chuàng)新、競爭和生產(chǎn)力的前沿》的研究報告,最早提出“大數(shù)據(jù)時代已經(jīng)到來”,并從經(jīng)濟角度引發(fā)全球?qū)Υ髷?shù)據(jù)的關注。報告指出,當前大數(shù)據(jù)規(guī)模以及其存儲容量正在迅速增長,已經(jīng)滲透到各個行業(yè)和業(yè)務職能領域,成為可以與物質(zhì)資產(chǎn)和人力資本相提并論的重要的生產(chǎn)要素。大數(shù)據(jù)是繼傳統(tǒng)IT之后下一個提高生產(chǎn)率的技術(shù)前沿。只要具有適當?shù)恼咄苿?,大?shù)據(jù)的使用將成為未來提高競爭力、生產(chǎn)力、創(chuàng)新能力以及創(chuàng)造消費者盈余的關鍵要素,成為領軍企業(yè)與其他企業(yè)之間最大的顯著差別。那些沒有引入新的分析技術(shù)和新的數(shù)據(jù)類型的企業(yè),不太可能成為其行業(yè)的領軍者。
2012年3月,美國奧巴馬政府宣布推出 “大數(shù)據(jù)的研究和發(fā)展計劃”。該計劃涉及美國國家科學基金、美國國家衛(wèi)生研究院、美國能源部、美國國防部、美國國防部高級研究計劃局、美國地質(zhì)勘探局等6個聯(lián)邦政府部門,承諾將投資兩億多美元,大力推動和改善與大數(shù)據(jù)相關的收集、組織和分析工具及技術(shù),以推進從大量的、復雜的數(shù)據(jù)集合中獲取知識和洞見的能力。美國奧巴馬政府宣布投資大數(shù)據(jù)領域,是大數(shù)據(jù)從商業(yè)行為上升到國家戰(zhàn)略的分水嶺,表明大數(shù)據(jù)正式提升到戰(zhàn)略層面,大數(shù)據(jù)在經(jīng)濟社會各個層面、各個領域都開始受到重視。
大數(shù)據(jù)的三重內(nèi)涵
大數(shù)據(jù)在業(yè)內(nèi)并沒有統(tǒng)一的定義。不同廠商、不同用戶,站的角度不同,對大數(shù)據(jù)的理解也不一樣。麥肯錫報告中對大數(shù)據(jù)的基本定義是:大數(shù)據(jù)是指其大小超出了典型數(shù)據(jù)庫軟件的采集、儲存、管理和分析等能力的數(shù)據(jù)集合。賽迪智庫指出,大數(shù)據(jù)是一個相對的概念,并沒有一個嚴格的標準限定多大規(guī)模的數(shù)據(jù)集合才稱得上是大數(shù)據(jù)。事實上,隨著時間推移和數(shù)據(jù)管理與處理技術(shù)的進步,符合大數(shù)據(jù)標準的數(shù)據(jù)集合的規(guī)模也在并將繼續(xù)增長。同時,對于不同行業(yè)領域和不同應用而言,“大數(shù)據(jù)”的規(guī)模也不統(tǒng)一。
雖然“大數(shù)據(jù)”直接代表的是數(shù)據(jù)集合這一靜態(tài)對象,但賽迪智庫經(jīng)過深入研究認為,目前所提到的“大數(shù)據(jù)”,并不僅僅是大規(guī)模數(shù)據(jù)集合本身,而應當是數(shù)據(jù)對象、技術(shù)與應用三者的統(tǒng)一:
1.從對象角度看,大數(shù)據(jù)是大小超出典型數(shù)據(jù)庫軟件采集、儲存、管理和分析等能力的數(shù)據(jù)集合。需要注意的是,大數(shù)據(jù)并非大量數(shù)據(jù)簡單、無意義的堆積,數(shù)據(jù)量大并不意味著一定具有可觀的利用前景。由于最終目標是從大數(shù)據(jù)中獲取更多有價值的“新”信息,所以必然要求這些大量的數(shù)據(jù)之間存在著或遠或近、或直接或間接的關聯(lián)性,才具有相當?shù)姆治鐾诰騼r值。數(shù)據(jù)間是否具有結(jié)構(gòu)性和關聯(lián)性,是 “大數(shù)據(jù)”與“大規(guī)模數(shù)據(jù)”的重要差別。
2.從技術(shù)角度看,大數(shù)據(jù)技術(shù)是從各種各樣類型的大數(shù)據(jù)中,快速獲得有價值信息的技術(shù)及其集成?!?/strong>大數(shù)據(jù)”與“大規(guī)模數(shù)據(jù)”、“海量數(shù)據(jù)”等類似概念間的最大區(qū)別,就在于“大數(shù)據(jù)”這一概念中包含著對數(shù)據(jù)對象的處理行為。為了能夠完成這一行為,從大數(shù)據(jù)對象中快速挖掘更多有價值的信息,使大數(shù)據(jù)“活起來”,就需要綜合運用靈活的、多學科的方法,包括數(shù)據(jù)聚類、數(shù)據(jù)挖掘、分布式處理等,而這就需要擁有對各類技術(shù)、各類軟硬件的集成應用能力??梢?,大數(shù)據(jù)技術(shù)是使大數(shù)據(jù)中所蘊含的價值得以發(fā)掘和展現(xiàn)的重要工具。
3.從應用角度看,大數(shù)據(jù)是對特定的大數(shù)據(jù)集合、集成應用大數(shù)據(jù)技術(shù)、獲得有價值信息的行為。正由于與具體應用緊密聯(lián)系,甚至是一對一的聯(lián)系,才使得“應用”成為大數(shù)據(jù)不可或缺的內(nèi)涵之一。
需要明確的是,大數(shù)據(jù)分析處理的最終目標,是從復雜的數(shù)據(jù)集合中發(fā)現(xiàn)新的關聯(lián)規(guī)則,繼而進行深度挖掘,得到有效用的新信息。如果數(shù)據(jù)量不小,但數(shù)據(jù)結(jié)構(gòu)簡單,重復性高,分析處理需求也僅僅是根據(jù)已有規(guī)則進行數(shù)據(jù)分組歸類,未與具體業(yè)務緊密結(jié)合,依靠已有基本數(shù)據(jù)分析處理技術(shù)已足夠,則不能算作是完全的“大數(shù)據(jù)”,只是“大數(shù)據(jù)”的初級發(fā)展階段。
大數(shù)據(jù)對信息產(chǎn)業(yè)的影響
大數(shù)據(jù)的熱潮興起于新一代信息技術(shù)的融合發(fā)展,物聯(lián)網(wǎng)、移動互聯(lián)網(wǎng)、數(shù)字家庭、社會化網(wǎng)絡等應用使得數(shù)據(jù)規(guī)??焖贁U大,對大數(shù)據(jù)的處理和分析的需求日益旺盛,推動了大數(shù)據(jù)領域的發(fā)展。反過來,大數(shù)據(jù)的分析、優(yōu)化結(jié)果又反饋到這些應用中,進一步改善其使用體驗,支撐和推動新一代信息技術(shù)產(chǎn)業(yè)的發(fā)展。
賽迪智庫 《軟件與信息服務研究》指出,大數(shù)據(jù)將為信息產(chǎn)業(yè)帶來新的增長點。IDC預測,全球數(shù)據(jù)在2015年將達到10萬億TB。面對爆發(fā)式增長的海量數(shù)據(jù),基于傳統(tǒng)架構(gòu)的信息系統(tǒng)已難以應對,同時傳統(tǒng)商業(yè)智能系統(tǒng)和數(shù)據(jù)分析軟件面對以視頻、圖片、文字等非結(jié)構(gòu)化數(shù)據(jù)為主的大數(shù)據(jù)時,也缺少有效的分析工具和方法。信息系統(tǒng)普遍面臨升級換代的迫切需求為信息產(chǎn)業(yè)帶來新的、更為廣闊的增長點。
同時,大數(shù)據(jù)將加速信息技術(shù)產(chǎn)品的創(chuàng)新融合發(fā)展。大數(shù)據(jù)面臨著有效存儲、實時分析等挑戰(zhàn),必將對芯片、存儲產(chǎn)業(yè)產(chǎn)生重要影響,將推動一體化數(shù)據(jù)存儲處理服務器、內(nèi)存計算等產(chǎn)品的升級創(chuàng)新。對數(shù)據(jù)快速處理和分析的需求,將推動商業(yè)智能、數(shù)據(jù)挖掘等軟件在企業(yè)級的信息系統(tǒng)中得到融合應用,成為業(yè)務創(chuàng)新的重要手段。
大數(shù)據(jù)對經(jīng)濟領域的影響
大數(shù)據(jù)作為一種重要的戰(zhàn)略資產(chǎn),已經(jīng)不同程度地滲透到每個行業(yè)領域和部門,其深度應用不僅有助于企業(yè)經(jīng)營活動,還有利于推動國民經(jīng)濟發(fā)展。麥肯錫研究表明,在醫(yī)療、零售和制造業(yè)領域,大數(shù)據(jù)可以每年提高勞動生產(chǎn)率0.5—1個百分點。
賽迪智庫 《軟件與信息服務研究》指出,在宏觀層面,大數(shù)據(jù)使經(jīng)濟決策部門可以更敏銳地把握經(jīng)濟走向,制定并實施科學的經(jīng)濟政策。事實表明,電子商務集團阿里巴巴就從其掌握的大量交易數(shù)據(jù)中更早發(fā)現(xiàn)了國際金融危機的到來,而其基于每天實時交易數(shù)據(jù)提供的數(shù)據(jù)分析,也為制定并實施經(jīng)濟政策提供了重要參考。聯(lián)合國發(fā)起的“全球脈動”(GlobalPulse)項目,使用自然語言解密軟件分析社交網(wǎng)站和文本消息中的信息,從而幫助預測某個地區(qū)的失業(yè)率、支出削減或是疾病爆發(fā)等現(xiàn)象,目標在于利用數(shù)字化的早期預警信號來提前指導援助項目,以阻止某個地區(qū)重新陷入貧困等困境。
而在微觀方面,大數(shù)據(jù)可以提高企業(yè)經(jīng)營決策水平和效率,推動創(chuàng)新,給企業(yè)、行業(yè)領域帶來價值。一是增加收入。零售商可通過對海量數(shù)據(jù)的實時分析掌握市場動態(tài)并迅速做出應對,通過精準營銷增加營業(yè)收入;二是提高效率。在制造業(yè),通過整合來自研發(fā)、工程和制造部門的數(shù)據(jù)以便實行并行工程,可以顯著縮短產(chǎn)品上市時間并提高質(zhì)量;在市場和營銷方面,大數(shù)據(jù)能夠幫助消費者在更合理的價格范圍內(nèi)找到更合適的產(chǎn)品來滿足自身的需求,提高附加值。三是推動創(chuàng)新。企業(yè)可從產(chǎn)品開發(fā)、生產(chǎn)和銷售的歷史大數(shù)據(jù)中找到創(chuàng)新的源泉,從客戶和消費者的大數(shù)據(jù)中尋找新的合作伙伴,以及從售后反饋的大數(shù)據(jù)中發(fā)現(xiàn)額外的增值服務,從而改善現(xiàn)有產(chǎn)品和服務,創(chuàng)新業(yè)務模式。
對大數(shù)據(jù)發(fā)展的總體判斷
賽迪智庫認為,數(shù)據(jù)分析是大數(shù)據(jù)的核心,數(shù)據(jù)分析技術(shù)是大數(shù)據(jù)技術(shù)的核心。但由于數(shù)據(jù)分析技術(shù)與人工智能、商業(yè)智能等相關聯(lián),而這些領域在過去若干年內(nèi)的進展相對遲緩,并未進入成熟應用階段,在未來是否能夠?qū)崿F(xiàn)長足發(fā)展也未可知。這就決定了大數(shù)據(jù)發(fā)展也處于起步期,而當前所設想的美好應用藍圖能否快速實現(xiàn)也難以確定。
對于大數(shù)據(jù)發(fā)展,應借鑒“大膽假設、小心求證”的科學研究思路,既高度重視大數(shù)據(jù)發(fā)展的戰(zhàn)略意義,盡早布局,搶位發(fā)展,又要正視大數(shù)據(jù)發(fā)展面臨的巨大困難和挑戰(zhàn),確定科學、現(xiàn)實的發(fā)展目標和任務內(nèi)容,把握大數(shù)據(jù)發(fā)展核心環(huán)節(jié)和關鍵領域,堅持“數(shù)據(jù)、技術(shù)、應用”三位一體的發(fā)展策略,穩(wěn)步推進。同時,堅持“有所為有所不為”和“適時而動”的科學態(tài)度,對有一定基礎的工作加速推進,對大數(shù)據(jù)相關政策法規(guī)、標準規(guī)范制定等條件尚不成熟的工作,先跟蹤研究,以便今后條件成熟時能及時開展。
同時,鑒于大數(shù)據(jù)應用具有“一對一”的特性,且各行業(yè)領域、各部門和各地區(qū)的大數(shù)據(jù)強度都不同,務必需要結(jié)合自身的發(fā)展實際,不盲目跟風,在已有基礎設施條件和軟件配備下,循序漸進地開展相關工作,使“大數(shù)據(jù)”工作有名有實。
VIA:中國經(jīng)濟時報