云計算(cloud computing,臺灣譯作云端運算),是分布式計算技術的一種,其最基本的概念,是透過網絡將龐大的計算處理程序自動分拆成無數(shù)個較小的子程序,再交由多部服務器所組成的龐大系統(tǒng)經搜尋、計算分析之后將處理結果回傳給用戶。透過這項技術,網絡服務提供者可以在數(shù)秒之內,達成處理數(shù)以千萬計甚至億計的信息,達到和“超級計算機”同樣強大效能的網絡服務。
云計算是一種資源交付和使用模式,指通過網絡獲得應用所需的資源(硬件、平臺、軟件)。提供資源的網絡被稱為“云”。“云”中的資源在使用者看來是可以無限擴展的,并且可以隨時獲取。這種特性經常被比喻為像水電一樣使用硬件資源,按需購買和使用。(Cloud computing is a resource delivery and usage model, it means get resource (Hardware, software)via network. The network of providing resource is called ‘Cloud’. The hardware resource in the ‘Cloud’ seems scalable infinitely and can be used whenever.)
最簡單的云計算技術在網絡服務中已經隨處可見,例如搜尋引擎、網絡信箱等,使用者只要輸入簡單指令即能得到大量信息。
未來如手機、GPS等行動裝置都可以透過云計算技術,發(fā)展出更多的應用服務。
進一步的云計算不僅只做資料搜尋、分析的功能,更可計算一些像是分析DNA結構、基因圖譜定序、解析癌癥細胞等。
稍早之前的大規(guī)模分布式計算技術即為“云計算”的概念起源。
Google目前的云技術,主要由MapReduce、GFS及BigTable三項所組成
云在計算機中的含義
云是指因特網,因過去一直將因特網畫成一朵云。
云端儲存
云端儲存(cloud storage)是一種將數(shù)據保存在虛擬服務器上的數(shù)據類型,通常意義上,數(shù)據存儲在第三方媒介,而非特定單一服務器上。
云計算的推廣與發(fā)展
2007年10月,Google與IBM開始在美國大學校園,包括卡內基美隆大學、麻省理工學院、史丹佛大學、加州大學柏克萊分校及馬里蘭大學等,推廣云計算的計劃,這項計劃希望能降低分布式計算技術在學術研究方面的成本,并為這些大學提供相關的軟硬件設備及技術支援(包括數(shù)百臺個人計算機及BladeCenter與System x服務器,這些計算平臺將提供1600個處理器,支援包括Linux、Xen、Hadoop等開放源代碼平臺)。而學生則可以透過網絡開發(fā)各項以大規(guī)模計算為基礎的研究計劃。
2008年1月30日,Google宣布在臺灣啟動“云計算學術計劃”,將與臺灣大學、臺灣交通大學等學校合作,將這種先進的大規(guī)模、快速計算技術推廣到校園。
2008年8月3日,美國專利商標局(以下簡稱“SPTO”)網站信息顯示,戴爾正在申請“云計算”(Cloud Computing)商標,此舉旨在加強對這一未來可能重塑技術架構的術語的控制權。戴爾在申請文件中稱,云計算是“在數(shù)據中心和巨型規(guī)模的計算環(huán)境中,為他人提供計算機硬件定制制造”。。
云計算與IT技術云計算是隨著處理器技術、虛擬化技術、分布式存儲技術、寬帶互聯(lián)網技術和自動化管理技術的發(fā)展而產生的. 這種大規(guī)模的計算能力通常是由分布式的大規(guī)模集群和服務器虛擬化軟件搭建。(Cloud computing and technology:New advances in processors, virtualization technology, distributed storage, broadband Internet access , automated management and fast, inexpensive servers have all combined to make cloud computing a compelling paradigm.This vast process power is usually got with a distributed, large-scale server cluster and server virtualization software.)
什么是大數(shù)據
大數(shù)據是指無法在一定時間內用常規(guī)軟件工具對其內容進行抓取、管理和處理的數(shù)據集合。大數(shù)據技術,是指從各種各樣類型的數(shù)據中,快速獲得有價值信息的能力。適用于大數(shù)據的技術,包括大規(guī)模并行處理(MPP)數(shù)據庫,數(shù)據挖掘電網,分布式文件系統(tǒng),分布式數(shù)據庫,云計算平臺,互聯(lián)網,和可擴展的存儲系統(tǒng)。
大數(shù)據的定義
大數(shù)據由巨型數(shù)據集組成,這些數(shù)據集大小常超出人類在可接受時間下的收集、庋用、管理和處理能力。大數(shù)據的大小經常改變,截至2012年,單一數(shù)據集的大小從數(shù)太字節(jié)(TB)至數(shù)十兆億字節(jié)(PB)不等。
在一份2001年的研究與相關的演講中,麥塔集團(META Group,現(xiàn)為高德納)分析員道格·萊尼(Doug Laney)指出數(shù)據增長的挑戰(zhàn)和機遇有三個方向:量(Volume,數(shù)據大?。?、速(Velocity,數(shù)據輸入輸出的速度)與多變(Variety,多樣性),合稱“3V”或“3Vs”。高德納與現(xiàn)在大部分大數(shù)據產業(yè)中的公司,都繼續(xù)使用3V來描述大數(shù)據。高德納于2012年修改對大數(shù)據的定義:“大數(shù)據是大量、高速、及/或多變的信息資產,它需要新型的處理方式去促成更強的決策能力、洞察力與最優(yōu)化處理?!绷硗?,有機構在3V之外定義第4個V:真實性(Veracity)為第四特點。
大數(shù)據必須借由計算機對數(shù)據進行統(tǒng)計、比對、解析方能得出客觀結果。美國在2012年就開始著手大數(shù)據,奧巴馬更在同年投入2億美金在大數(shù)據的開發(fā)中,更強調大數(shù)據會是之后的未來石油。數(shù)據挖掘(data mining)則是在探討用以解析大數(shù)據的方法。
大數(shù)據的特點
具體來說,大數(shù)據具有4個基本特征:
一是數(shù)據體量巨大。百度資料表明,其新首頁導航每天需要提供的數(shù)據超過1.5PB(1PB=1024TB),這些數(shù)據如果打印出來將超過5千億張A4紙。有資料證實,到目前為止,人類生產的所有印刷材料的數(shù)據量僅為200PB。
二是數(shù)據類型多樣?,F(xiàn)在的數(shù)據類型不僅是文本形式,更多的是圖片、視頻、音頻、地理位置信息等多類型的數(shù)據,個性化數(shù)據占絕對多數(shù)。
三是處理速度快。數(shù)據處理遵循“1秒定律”,可從各種類型的數(shù)據中快速獲得高價值的信息。
四是價值密度低。以視頻為例,一小時的視頻,在不間斷的監(jiān)控過程中,可能有用的數(shù)據僅僅只有一兩秒。
大數(shù)據的作用
第一,對大數(shù)據的處理分析正成為新一代信息技術融合應用的結點。移動互聯(lián)網、物聯(lián)網、社交網絡、數(shù)字家庭、電子商務等是新一代信息技術的應用形態(tài),這些應用不斷產生大數(shù)據。云計算為這些海量、多樣化的大數(shù)據提供存儲和運算平臺。通過對不同來源數(shù)據的管理、處理、分析與優(yōu)化,將結果反饋到上述應用中,將創(chuàng)造出巨大的經濟和社會價值。
大數(shù)據具有催生社會變革的能量。但釋放這種能量,需要嚴謹?shù)臄?shù)據治理、富有洞見的數(shù)據分析和激發(fā)管理創(chuàng)新的環(huán)境(Ramayya Krishnan,卡內基·梅隆大學海因茲學院院長)。
第二,大數(shù)據是信息產業(yè)持續(xù)高速增長的新引擎。面向大數(shù)據市場的新技術、新產品、新服務、新業(yè)態(tài)會不斷涌現(xiàn)。在硬件與集成設備領域,大數(shù)據將對芯片、存儲產業(yè)產生重要影響,還將催生一體化數(shù)據存儲處理服務器、內存計算等市場。在軟件與服務領域,大數(shù)據將引發(fā)數(shù)據快速處理分析、數(shù)據挖掘技術和軟件產品的發(fā)展。
第三,大數(shù)據利用將成為提高核心競爭力的關鍵因素。各行各業(yè)的決策正在從“業(yè)務驅動” 轉變“數(shù)據驅動”。
對大數(shù)據的分析可以使零售商實時掌握市場動態(tài)并迅速做出應對;可以為商家制定更加精準有效的營銷策略提供決策支持;可以幫助企業(yè)為消費者提供更加及時和個性化的服務;在醫(yī)療領域,可提高診斷準確性和藥物有效性;在公共事業(yè)領域,大數(shù)據也開始發(fā)揮促進經濟發(fā)展、維護社會穩(wěn)定等方面的重要作用。
第四,大數(shù)據時代科學研究的方法手段將發(fā)生重大改變。例如,抽樣調查是社會科學的基本研究方法。在大數(shù)據時代,可通過實時監(jiān)測、跟蹤研究對象在互聯(lián)網上產生的海量行為數(shù)據,進行挖掘分析,揭示出規(guī)律性的東西,提出研究結論和對策。