大數據及云計算培訓資料

大數據及云計算培訓資料何為大？信息度量1Byte=8Bit1KB=1,024Bytes1MB=1,024KB=1,048,576Bytes1GB=1,024MB=1,048,576KB=1,073,741,824Bytes1TB=1,024GB=1,048,576MB=1,099,511,627,776Bytes1PB=1,024TB=1,048,576GB=1,125,899,906,842,624Bytes1EB=1,024PB=1,048,576TB=1,152,921,504,606,846,976Bytes1ZB=1,024EB=1,180,591,620,717,411,303,424Bytes1YB=1,024ZB=1,208,925,819,614,629,174,706,176Bytes23Google每天要處理超過24PB的數據Facebook每天更新的照片量超過1000萬張YouTube每月接待多達8億的訪客，平均每一秒鐘就會有一段長度在一小時以上的視頻上傳twitter上的信息量幾乎每年翻一倍，截至2012年，每天都會發布超過4億條微博4數據都從哪里來？5表面張力vs萬有引力量變導致質變一個月吃一碗飯一天吃一碗飯一餐吃一碗飯一個小時吃一碗飯一分鐘吃一碗飯一秒吃一碗飯6這么多數據要放哪里？怎樣處理？7不要問我從哪里來的

“不知所云”通過使計算分布在大量的分布式計算機上，而非本地計算機或遠程服務器中，企業數據中心的運行將與互聯網更相似。這使得企業能夠將資源切換到需要的應用上，根據需求訪問計算機和存儲系統。8服務特征9把計算能力像水和電一樣提供給用戶10什么是云計算11權威定義Wiki定義：云計算是一種通過Internet以服務的方式提供動態可伸縮的虛擬化的資源的計算模式。美國國家標準與技術研究院（NIST）定義：云計算是一種按使用量付費的模式，這種模式提供可用的、便捷的、按需的網絡訪問，進入可配置的計算資源共享池（資源包括網絡，服務器，存儲，應用軟件，服務），這些資源能夠被快速提供，只需投入很少的管理工作，或與服務供應商進行很少的交互。12Googleの野望“瀏覽器＝操作系統”13IaaS基礎設施云(代表：亞馬遜的S3)SaaS應用云（代表：salesforce的CRM）PaaS平臺云（代表：GoogleAppEngine）私有云(數據中心–內部網)公共云(服務提供商–互連網)混合云(公共和私有)XX就是服務14亞馬遜IaaS應用案例：紐約時報15Google云計算SaaS16軟件終結者可提供隨需應用的客戶關系管理(On-demandCRM)允許客戶與獨立軟件供應商定制并整合其產品，同時建立他們各自所需的應用軟件SalesforceCRM價格分別有5美元，17美元，65美元，125美元和250美元的不同版本17云計算的演化182006年8月9日Google

CEO埃里克·施密特（EricSchmidt）在搜索引擎大會（SESSanJose2006）首次提出“云計算”（CloudComputing）的概念。191996年，互聯網上只有一萬多個網站，現在有一億六千萬個96年能上網的人基本上使用28.8或者33.6Kbps的貓，高速的56Kbps貓直到97年才出來640×480才是主流，800×600是高端90年代20199720132122231998年24GoogolGoogle100000000000000000000000000000000000000000000000000000000000000000000000000000000000000000025Google的BIDPROBLEM海量數據快速處理26搜索排名

Google的PageRank技術PageRank并不計算直接鏈接的數量，而是將從網頁A指向網頁B的鏈接解釋為由網頁A對網頁B所投的一票。評估每個投票網頁的重要性，因為某些網頁的投票被認為具有較高的價值，這樣，它所鏈接的網頁就能獲得較高的價值。杜絕人工干預或操縱27Google的海量數據怎樣存儲？28摩爾定律正在走向終結…單芯片容納晶體管的增加，對制造工藝提出要求CPU制造18nm技術，電子泄漏問題CPU主頻已達3GHz時代，難以繼續提高散熱問題（發熱太大，且難以驅散）功耗太高29Google云計算應用MapReduce并行數據處理BigTable結構化數據表GFS分布式文件系統Chubby分布式鎖30GFS設計原則：機器失效不能視為異常現象能應付對大型/超大型文件處理支持大量用戶同時訪問GFS組成GFS集群:一個的Master和多個ChunkServer（塊服務器）組成，并可以多客戶端Client訪問GFS設計要點每個文件拆成若干個64M文件塊Chunk組成每個Chunk都由Master根據其創建時間指定ChunkHandle(64)文件塊被保存在ChunkServer本地磁盤中缺省情況下3處熱備份Chunk塊文件31GFS32P2P傳輸協議

多源文件傳輸協議MFTP

theMultisourceFileTransferProtocolBitTorrent專門為大容量文件的共享而設計，它采用了一種像傳銷一樣的通訊方式。33P2P34MapReduceGoogleMapReduce架構設計師JeffreyDean只要執行的簡單計算，而將并行化、容錯、數據分布、負載均衡的等雜亂細節放在一個庫里，使并行編程時不必關心它們35只需要編寫兩個函數：//產生<key,value>映射關系Map:(in_key,in_value)//對相同的key進行歸類處理Reduce:(key,[value1,value2…])36例子：單詞統計37Map

(key,value){

for(each‘world’invalue)

collect(‘world’,1);……}Reduce(key,value[]){

intcount=0;

for(eachwinvalue) count++;

collect(key,count);……}第一步編碼38第二步分割39第三步Map（映射）40第四步Fold（合并）41第五步Reduce（歸納）4243大數據、云計算有什么用？4445馬云成功預測2008年經濟危機“2008年初,阿里巴巴平臺上整個買家詢盤數急劇下滑,歐美對中國采購在下滑。海關是賣了貨,出去以后再獲得數據;而我們提前半年時間從詢盤上推斷出世界貿易發生變化了。”4647其他云平臺…48云計算平臺49商業化云計算平臺公司技術特性核心技術企業服務開發語言微軟整合其所用軟件及數據服務大型應用軟件開發技術Azure平臺.NETGoogle儲存及運算水平擴充能力平行分散技術MapReduce，BigTable，GFSGoogleAppEngine，應用代管服務Python，JavaIBM整合其所有軟件及硬件服務網格技術，分布式存儲，動態負載虛擬資源池提供，企業云計算整合方案Oracle軟硬件彈性虛擬平臺Oracle的數據存儲技術，Sun開源技術EC2上的Oracle數據庫，OracleVM，SunxVMAmazon彈性虛擬平臺虛擬化技術XenEC2、S3，SimpleDB、SQSSaleforce彈性可定制商務軟件應用平臺整合技術F服務Java，APEXEMC信息存儲系統及虛擬化技術Vmware的虛擬化技術，一流存儲技術Atoms云存儲系統，私有云解決方案阿里巴巴彈性可定制商務軟件應用平臺整合技術軟件互聯平臺，云電子商務平臺中國移動堅實的網絡技術豐富的帶寬資源底層集群部署技術，資源池虛擬技術，網絡相關技術BigCloude-大云平臺50開源計算平臺平臺名稱描述AbiCloud（Abiquo公司）AbiCloud是一款用于公司的開源的云計算[1]平臺，使公司能夠以快速、簡單和可擴展的方式創建和管理大型、復雜的IT基礎設施（包括虛擬服務器、網絡、應用、存儲設備等）Hadoop（Apache基金會）該計劃是完全模仿Google體系架構做的一個開源項目，主要包括Map/Reduce和HDFS文件系統Eucalyptus項目（加利福尼亞大學）創建了一個使企業能夠使用它們內部IT資源（包括服務器、存儲系統、網絡設備）的開源界面，來建立能夠和AmazonEC2兼容的云MongoDB（10gen）MongoDB是一個高性能、開源、無模式的文檔型數據庫，它在許多場景下可用于替代傳統的關系型數據庫或鍵/值存儲方式Enomalism彈性計算平臺它提供了一個功能類似于EC2的云計算框架。Enomalism基于Linux，同時支持Xen和KernelVirtualMachine(KVM)。與其他純IaaS解決方案不同的是，Enomalism提供了一個基于TurboGearsWeb