大數據的處理和分析

大數據的處理和分析

1

2課程內容課程內容（本次講座與下述內容關系不大）圍繞學科理論體系中的模型理論,程序理論和計算理論1.模型理論關心的問題

給定模型M，哪些問題可以由模型M解決；如何比較模型的表達能力2.程序理論關心的問題給定模型M，如何用模型M解決問題包括程序設計范型、程序設計語言、程序設計、形式語義、類型論、程序驗證、程序分析等3.計算理論關心的問題

給定模型M和一類問題,解決該類問題需多少資源2中國科大2026/8/13講座提綱大數據的魅力數據挖掘、大數據、大數據案例、大數據的特點大數據時代的思維變革樣本和全體、精確性和混雜性、因果關系和相關關系大數據的處理幾種主要處理方式、MapReduce編程模型大數據的分析關鍵技術概述、PageRank初步3中國科大2026/8/13數據挖掘數據挖掘的定義 1.從數據中提取出隱含的過去未知的有價值的潛在信息 2.從大量數據或者數據庫中提取有用信息的科學相關概念：知識發現 1.數據挖掘是知識發現過程中的一步 2.粗略看：數據預處理數據挖掘數據后處理

預處理:將未加工輸入數據轉換為適合處理的形式

后處理:如可視化,便于從不同視角探查挖掘結果大數據的魅力4中國科大2026/8/13數據挖掘典型事例：購物籃分析

顧客

一次購買商品 1 面包、黃油、尿布、牛奶 2 咖啡、糖、小甜餅、鮭魚 3 面包、黃油、咖啡、尿布、牛奶、雞蛋 4 面包、黃油、鮭魚、雞 5 雞蛋、面包、黃油 6 鮭魚、尿布、牛奶 7 面包、茶葉、糖、雞蛋 8 咖啡、糖、雞、雞蛋 9 面包、尿布、牛奶、鹽 10 茶葉、雞蛋、小甜餅、尿布、牛奶經關聯分析，可發現顧客經常同時購買的商品：尿布

牛奶大數據的魅力5中國科大2026/8/13大數據大數據，或稱海量數據，指所涉及的數據量規模巨大到無法通過人工，在合理時間內達到截取、管理、處理、并整理成為人類所能解讀的信息在總數據量相同的情況下，與個別分析獨立的小型數據集相比，將各個小型數據集合并后進行分析可得出許多額外的信息和數據關系性，可用來察覺商業趨勢、避免疾病擴散、打擊犯罪、測定實時交通路況或判定研究質量等這樣的用途正是大型數據集盛行的原因數據挖掘則是探討用以解析大數據的方法大數據的魅力6中國科大2026/8/13大數據案例—谷歌預測冬季流感的傳播2009年出現了一種稱為甲型H1N1的新流感病毒，在短短幾周內迅速傳播開來，全球的公共衛生機構都擔心一場致命的流行病即將來襲美國也要求醫生在發現甲型H1N1病例時告知疾病控制與預防中心。但人們從患病到求醫會滯后，信息傳到疾控中心也需要時間，因此通告新病例往往有一兩周的延遲。而且疾控中心每周只進行一次數據匯總信息滯后兩周對一種飛速傳播的疾病是致命的，它使得公共衛生機構在疫情爆發的關鍵時期難以有效發揮作用大數據的魅力7中國科大2026/8/13大數據案例—谷歌預測冬季流感的傳播在這種流感爆發的幾周前，谷歌的工程師在《自然》雜志發表引人注目的論文，令公共衛生官員和計算機科學家感到震驚因為文章不僅預測了流感在全美的傳播，而且具體到特定的地區和州谷歌是通過觀察人們在網上的搜索記錄來完成這個預測的，這種方法以前一直是被忽略的谷歌保存了多年來所有的搜索記錄,每天有來自全球30億條搜索指令(僅谷歌有這樣的數據資源),如此龐大數據資源足以支撐和幫助它完成這項工作大數據的魅力8中國科大2026/8/13大數據的魅力大數據案例—谷歌預測冬季流感的傳播原理十分簡單

現在大家都有上網搜索信息的習慣，連頭痛感冒也上網搜索，谷歌流感趨勢項目通過記錄搜索有關“流感”詞條的地區和頻率，并分析其與流感在時間和空間上的傳播之間的聯系，追蹤到流感廣泛傳播的地區，進而預測流感可能爆發的高危地區。即當某地區在網上搜尋與流感有關信息的人日益增多，很可能意味著該地區有許多人患上流感類疾病因為流感趨勢項目能夠近乎實時地估計流感活動情況，故它比其他系統能夠更早地發現流感疫情9中國科大2026/8/13大數據的魅力大數據案例—谷歌預測冬季流感的傳播谷歌把5000萬條美國人最頻繁檢索的詞條與疾控中心在2003年到2008年間季節性流感傳播期間的數據進行比較，以確定相關檢索詞條，并總共處理了4.5億(?)個不同的數學模型在把得出的預測與2007年和2008年美國疾控中心記錄的實際流感病例進行對比后，篩選了45條檢索詞條的組合，并把它們用于一個特定的數學模型后，其預測與官方數據相關性高達97%因此當2009年甲型H1N1流感爆發時，與滯后的官方數據相比，谷歌成為一個更有效及時的指示者10中國科大2026/8/13大數據的魅力大數據案例—谷歌預測冬季流感的傳播這是當今社會所獨有的一種新型能力：以一種前所未有的方式，通過對海量數據的分析，獲得巨大價值的產品和服務，或深刻的洞見大數據不僅會變革公共衛生，也會變革商業、變革思維，改變政府與民眾關系的方法，…，開啟重大的時代轉型11中國科大2026/8/13大數據的魅力大數據的特點體量巨大(Volume)數據集合的規模不斷擴大，已從GB(1024MB)到TB(1024GB)再到PB級，甚至已經開始以EB和ZB來計數。至今，人類生產的所有印刷材料的數據量是200PB。未來10年，全球大數據將增加50倍，管理數據倉庫的服務器的數量將增加10倍類型繁多(Variety)數據種類繁多，并且被分為結構化、半結構化和非結構化的數據。半結構化和非結構化數據，包括傳感器數據、網絡日志、音頻、視頻、圖片、地理位置信息等，占有量越來越大，已遠遠超過結構化數據12中國科大2026/8/13大數據的魅力大數據的特點價值密度低(Value)。

數據總體的價值巨大，但價值密度很低。以視頻為例，在長達數小時連續不斷的視頻監控中，有用數據可能僅一二秒。另一極端是各數據都有貢獻，但單個數據價值很低速度快(Velocity)。數據往往以數據流的形式動態快速地產生，具有很強的時效性，用戶只有把握好對數據流的掌控才能有效利用這些數據。例如，一天之內需要審查500萬起潛在的貿易欺詐案件；需要分析5億條日實時呼叫的詳細記錄，以預測客戶的流失率13中國科大2026/8/13大數據時代的思維變革

數據采集和數據處理技術已經發生了翻天覆地的變化，人們的思維和方法要跟得上這個變化

大數據時代的精髓在于人們分析信息時的三個轉變，這些轉變將改變人們決策的制定和對表象的理解14中國科大2026/8/13大數據時代的思維變革變革一—更多:不是隨機樣本,而是全體數據1.隨機抽樣：用最少的數據獲得最多的信息過去由于獲取和分析全體數據的困難，抽樣調查是一種常用統計分析方法。它根據隨機原則從總體中抽取部分實際數據進行調查，并運用概率估計方法，根據樣本數據推算總體相應的數量指標抽樣分析的精確性隨抽樣隨機性的增加而提高，與樣本數量的增加關系不大。抽樣隨機性高時，分析的精度能達到把全體作為樣本調查時的97%樣本選擇的隨機性比樣本數量更重要15中國科大2026/8/13大數據時代的思維變革變革一—更多:不是隨機樣本,而是全體數據1.隨機抽樣：用最少的數據獲得最多的信息

抽樣分析的成功依賴于抽樣的隨機性，但實現抽樣的隨機性非常困難當想了解更深層次的細分領域的情況時，隨機抽樣方法不一定有效，即在宏觀領域起作用的方法在微觀領域可能失去了作用隨機抽樣需要嚴密的安排和執行，人們只能從抽樣數據中得出事先設計好的問題的結果16中國科大2026/8/13大數據時代的思維變革變革一—更多:不是隨機樣本,而是全體數據2.全體數據：用全體數據可對數據進行深度探討流感趨勢預測分析了整個美國幾十億條互聯網檢索記錄，使得它能提高微觀層面分析的準確性，甚至能夠推測某個特定城市的流感狀況信用卡詐騙需通過觀察異常情況來識別，這只有在掌握所有的數據時才能做到社會科學是被“樣本=全體”撼動得最厲害的一門學科。這門學科過去非常依賴于樣本分析、研究和調查問卷。當記錄下人們的平常狀態，就不用擔心在做研究和調查問卷時存在的偏見了17中國科大2026/8/13大數據時代的思維變革變革二—更雜：不是精確性，

而是混雜性

對小數據而言，最基本和最重要的要求就是減少錯誤，保證質量。因為收集的數據較少，應確保每個數據盡量精確，以保證分析結果的準確性允許不精確數據是大數據的一個亮點,而非缺點。因為放松了容錯的標準，就可以掌握更多數據，而掌握大量新型數據時，精確性就不那么重要了例如，與服務器處理投訴時的數據進行比較，用語音識別系統識別呼叫中心接到的投訴會產生不太準確的結果,但它有助于把握事情的大致情況不精確的大量新型數據能幫助掌握事情發展趨勢18中國科大2026/8/13大數據時代的思維變革變革二—更雜：不是精確性，

而是混雜性執迷于精確性是信息缺乏時代的產物，大數據時代要求重新審視精確性的優劣，如果將傳統的思維模式運用于數字化、網絡化的21世紀，就會錯過重要信息，失去做更多事情，創造出更好結果的機會另一方面，需要與數據增加引起的各種混亂（數據格式不一致，數據錯誤率增加等）做斗爭。錯誤并不是大數據的固有特性，但可能是長期存在并需要去處理的現實問題19中國科大2026/8/13大數據時代的思維變革變革三—更好:不是因果關系,而是相關關系1.因果關系與相關關系因果關系是指一個事件是另一個事件的結果相關關系是指兩個事件的發生存在某個規律與通過邏輯推理研究因果關系不同，大數據研究通過統計性的搜索、比較、聚類、分析和歸納，尋找事件（或數據）之間的相關性一般來說，統計學無法檢驗邏輯上的因果關系也許正因為統計方法不致力于尋找真正的原因,才促進數據挖掘和大數據技術在商業領域廣泛應用20中國科大2026/8/13大數據時代的思維變革變革三—更好:不是因果關系,而是相關關系2.相關關系幫助捕捉現在和預測未來如果A和B經常一起發生，則只需注意到B發生了,就可以預測A也發生了故障經常是慢慢出現的，通過收集所有數據，可預先捕捉到事物要出故障的信號。如將發動機的嗡嗡聲、引擎過熱等異常情況與正常情況對比，就能知道什么地方將出毛病，及時更換或修復過去需先有想法，然后收集數據來測試想法的可行性，現在可以對大數據進行相關關系分析知道機票是否會飛漲、哪些詞條最能顯示流感的傳播21中國科大2026/8/13大數據時代的思維變革變革三—更好:不是因果關系,而是相關關系3.大數據改變人類探索世界的方法越來越多的事物不斷地數據化，將拓展人類的視野，使得人們可從大量的數據中，發現隱藏在其中的自然規律、社會規律和經濟規律當網頁變成數據，谷歌具備了令人大跌眼球的全文搜索能力，在幾個毫秒之內，就能讓人們檢索世界上幾乎所有的網頁當方位變成數據，每個人都能借助GPS快速到達目的地22中國科大2026/8/13大數據時代的思維變革變革三—更好:不是因果關系,而是相關關系3.大數據改變人類探索世界的方法當情緒變成數據，人們甚至根據大家快樂與否判斷股市的漲跌上述這些不同的數據可歸結為幾類相似的數學模型，從而使得“數據科學”（應用數據學習知識的學科）成為一門具備普遍適用的學科生物信息學、計算社會學、天體信息學、電子工程、金融學、經濟學等學科，都依賴數據科學的發展23中國科大2026/8/13大數據的處理大數據處理的幾種主要方式

海量數據的處理對于當前的技術來說是一種極大的挑戰，目前大數據的主要處理形式如下：靜態數據的批量處理

數據體量巨大、精確度高、價值密度低；挖掘合適模式、得出具體含義、制定明智決策、…；用于社交網絡、電子商務、搜索引擎等在線數據的實時流式處理

日志數據、傳感器數據、Web數據等；數據連續不斷、來源眾多、格式復雜等;流式挖掘、實時分析、…；應用于智能交通、環境監控、金融銀行等還有在線數據的交互處理、圖數據處理24中國科大2026/8/13大數據的處理MapReduce編程模型是批量數據處理的一個常用編程模型源于函數式語言的兩個高階函數：map和reducemap(f1,[x1,…,xn])=[f1(x1),…,f1(xn)]f1作用于n個變元的計算可以并行reduce(f2,[y1,…,yn])=f2(…f2(f2(y1,y2),y3),…,yn)若二元函數f2是有交換律和結合率的運算，則f2作用于n個變元的計算也可以適當并行兩者的復合：reduce(f2,map(f1,[x1,…,xn]))MapReduce源于此，但更加一般25中國科大2026/8/13MapReduce編程模型MapReduce是一種比較專用的并行編程模型，面向大數據集上的可并行化的問題Map完成過濾或分類，例如，它把數據集中所有的人按姓氏分成若干隊列，每個姓氏一個隊列；Reduce完成概括總結操作，例如，計算各姓氏隊列中的人數，產生按姓氏的人口比例MapReduce可以在并行計算機、計算機集群和計算機網格上實現大數據的處理26中國科大2026/8/13MapReduce編程模型計算過程如圖所示程序員只需編

寫Map和Reduce

函數1.Map任務執行Map函數的

多個任務并行執行每個Map任務把文

件塊轉換成“鍵-值” (key-value)對序列大數據的處理Map任務Reduce任務按鍵分組輸出文件輸入文件塊鍵-值對(k,v)鍵及所有值(k,[v,w,…])27中國科大2026/8/13MapReduce編程模型2.按鍵組合其處理方式與兩個函數無關把“鍵-值”對序列組成“鍵-值表”對序列把各“鍵-值表”對分發給Reduce任務按鍵組合由主控程序完成大數據的處理Map任務Reduce任務按鍵分組輸出文件輸入文件塊鍵-值對(k,v)鍵及所有值(k,[v,w,…])28中國科大2026/8/13MapReduce編程模型3.Reduce任務執行Reduce函數的多個任務并行執行每個Reduce任務把“鍵-值表”對中的值以某種方式組合，轉換成“鍵-值”對輸出大數據的處理Map任務Reduce任務按鍵分組輸出文件輸入文件塊鍵-值對(k,v)鍵及所有值(k,[v,w,…])29中國科大2026/8/13

當矩陣很大時，可用MapReduce實現矩陣運算。對于分塊乘： 1.Map任務計算兩塊的乘，用結果在Z中的位置作為鍵 2.Reduce任務按鍵值來分別累加Map任務的結果bn大數據的處理X:Y:Z:30中國科大2026/8/13

當矩陣很大時，可用MapReduce實現矩陣運算。對于分塊乘： 1.Map任務計算兩塊的乘，用結果在Z中的位置作為鍵

2.Reduce任務按鍵值來分別累加Map任務的結果bn大數據的處理X:Y:Z:31中國科大2026/8/13bn大數據的處理X:Y:Z:

當矩陣很大時，可用MapReduce實現矩陣運算。對于分塊乘： 1.Map任務計算兩塊的乘，用結果在Z中的位置作為鍵

2.Reduce任務按鍵值來分別累加Map任務的結果32中國科大2026/8/13bn大數據的處理X:Y:Z:

當矩陣很大時，可用MapReduce實現矩陣運算。對于分塊乘： 1.Map任務計算兩塊的乘，用結果在Z中的位置作為鍵

2.Reduce任務按鍵值來分別累加Map任務的結果33中國科大2026/8/13

當矩陣很大時，可用MapReduce實現矩陣運算。對于分塊乘：

1.Map任務計算兩塊的乘，用結果在Z中的位置作為鍵 2.Reduce任務按鍵值來分別累加Map任務的結果bn大數據的處理X:Y:Z:34中國科大2026/8/13bn大數據的處理X:Y:Z:

當矩陣很大時，可用MapReduce實現矩陣運算。對于分塊乘：

1.Map任務計算兩塊的乘，用結果在Z中的位置作為鍵 2.Reduce任務按鍵值來分別累加Map任務的結果35中國科大2026/8/13bn大數據的處理X:Y:Z:

當矩陣很大時，可用MapReduce實現矩陣運算。對于分塊乘：

1.Map任務計算兩塊的乘，用結果在Z中的位置作為鍵 2.Reduce任務按鍵值來分別累加Map任務的結果36中國科大2026/8/13大數據分析的關鍵技術

要挖掘大數據的大價值，必須對大數據進行內容上的分析與計算深度學習

大數據的出現提供了使用復雜(而不是簡單或淺層)的模型來有效地表征和解釋數據的機會，深度學習就是利用層次化的架構學習出對象在不同層次上的表達(例:降低語音識別錯誤率)知識計算

要對大數據進行高端分析，就需要從大數據中抽取出有價值的知識，并將其構建成可支持查詢、分析和計算的知識庫，涉及知識庫的構建、多源知識的融合和知識庫的更新大數據的分析37中國科大2026/8/13大數據的分析大數據分析的關鍵技術社會計算

是現代計算技術與社會科學之間的交叉學科,它是指面向社會活動、社會過程、社會結構、社會組織和社會功能的計算理論和方法。在線社會計算包括在線社會網絡的結構分析、信息傳播模型以及信息內容的分析、建模與挖掘等可視化

不同于傳統的信息可視化，大數據可視化的最大挑戰源自其數據規模：如何提出新的可視化方法，它能夠幫助人們分析大規模、高維度、多來源、動態演化的信息，并輔助作出實時的決策38中國科大2026/8/13大數據的分析PageRank初步PageRank（網頁排名）通過對網絡浩瀚的超鏈接關系的分析來確定一個頁面的等級Google把從A頁面到B頁面的鏈接解釋為A頁面給B頁面投票，B頁面從A頁面的投票能得多少分還與A頁面的等級有關一個頁面的PageRank，由所有給它投票的頁面的數量和重要性，經過迭代計算得到這項技術使得Google成為第一個能夠戰勝作弊者的搜索引擎。當然，與作弊者之間的斗爭永遠不會停止39中國科大2026/8/13大數據的分析PageRank初步1.早期搜索引擎與詞項作弊搜索引擎：詞項出現在網頁頭部比在普通正文的得分高、詞項在網頁中出現的次數越多得分越高作弊者：在自己的網頁上增加熱門詞項,如movie,并重復很多次，以提高與movie的相關性。詞項movie在該網頁上的顏色與背景色一樣，以掩蓋作弊者的不道德行為40中國科大2026/8/13大數據的分析PageRank初步2.Google的對策使用PageRank技術來模擬Web漫游者的行為：他們從隨機頁面出發，每次從當前網頁隨機地選擇出鏈前行，該過程可以迭代多次。最終，較多漫游者訪問的網頁則重要性較高。在決定查詢應答順序時，Google把重要頁面放在前面在判斷網頁內容時,不僅考慮網頁上出現的詞項，還考慮有鏈接指向該網頁的網頁中所使用的詞項41中國科大2026/8/13大數據的分析PageRank初步3.最簡單的PageRank舉例PageRank：網頁集實數，值越大則網頁越重要定義網頁的Web遷移矩陣M來描述隨機漫游者的下一步訪問行為

例：從A出發，以1/3的概率訪問B、C和D，訪問A的概率為001/2101/3001/21/3001/21/31/200ABCDM=ABCD42中國科大2026/8/13大數據的分析PageRank初步3.最簡單的PageRank舉例隨機漫游者位置的概率分布可通過一個n維向量v來描述，每個分量表示處于相應網頁的概率

例(續)：假定處于各網頁的初始概率相等Mkv是隨機漫游者k步后的概率分布向量ABCD01/2101/3001/21/3001/21/31/200ABCDM=1/41/41/41/4v43中國科大2026/8/13大數據的分析PageRank初步3.最簡單的PageRank舉例在Web網頁鏈接圖滿足一定的條件下，概率分布向量將逼近