《云計算綜合設計》教學大綱6-27

《云計算綜合設計》教學大綱課程編號：1705037課程類別：專業(yè)能力課

適用專業(yè)：物聯(lián)網工程學時：2周學分：2執(zhí)筆人：郎春玲

審定人：馮福生

審批人：王國權一、課程性質及教學目標《云計算》課程是計算機學科相關專業(yè)的一門重要的專業(yè)基礎選修課。云計算課程是介紹目前信息技術領域熱點、“云計算”的現(xiàn)狀及其發(fā)展，探討云計算的主要發(fā)展及趨勢。針對已經學習的各種框架，設計一綜合系統(tǒng)。課程主要是將各個框架結合在一起開發(fā)一個項目，提高學生的綜合能力。為以后從事這方面工作，奠定堅實的基礎。二、課程設計教學基本環(huán)節(jié)序號畢業(yè)設計（課程設計）環(huán)節(jié)名稱學時1項目介紹討論方案0.5天2方案確定及介紹優(yōu)缺點0.5天3學生進行編程實現(xiàn)與撰寫設計報告8天4答辯1天三、課程設計各環(huán)節(jié)基本內容及要求學生可以自己選題也可以根據(jù)老師給的題目來進行課程設計。學生選題時一定要結合本科目的要求和工作量來選擇。以論壇日志統(tǒng)計為例：（一）理論部分介紹：論壇數(shù)據(jù)有兩部分：①歷史數(shù)據(jù)約56GB，統(tǒng)計到2016-05-29②每天生成一個數(shù)據(jù)文件，約150MB日志數(shù)據(jù)每行記錄有五部分組成：訪問IP，訪問時間，訪問資源，訪問狀態(tài)，本次流量，關鍵指標1、瀏覽量PV定義。2、注冊用戶數(shù)。3、IP數(shù)。4、跳出率。5、版塊熱度排行榜。重點：各種定義的理解。難點：對每種定義的分析，學生是否能夠掌握。（二）學生實踐部分：課程設計的開發(fā)步驟：1、把日志數(shù)據(jù)上傳到hdfs。2、編寫一個LogParser類來解析日志數(shù)據(jù)。3、使用mapreduce程序清洗數(shù)據(jù)。4、創(chuàng)建一個外部分區(qū)表用于接收清洗后的數(shù)據(jù)。5、把數(shù)據(jù)加載到外部分區(qū)表中。6、創(chuàng)建一個表用于接收pv。7、創(chuàng)建一個表用于接收獨立ip。8、創(chuàng)建一個表用于接收register。9、創(chuàng)建一個表用于接收jumper。10、創(chuàng)建一個表用于匯總各項指標。11、使用sqoop把匯總表的數(shù)據(jù)導出到MySQL中。12、用mapreduce程序把經過LogParser.java解析的日志文件批量導入到HBase中，用于明細查詢。重點：使用sqoop把匯總表的數(shù)據(jù)導出到MySQL中。難點：用mapreduce程序把經過LogParser.java解析的日志文件批量導入到HBase中，用于明細查詢。四、教學參考資料與教學形式1、教學參考資料（1）劉鵬主編.云計算.電子工業(yè)出版社（第3版），2014年7月.（2）TomWhite[美]著.Hadoop權威指南.北京：清華大學出版社（第3版），2015年1月.（3）（英）特金頓著，張治起譯.Hadoop實戰(zhàn).機械工業(yè)出版社（第2版），2012年11月.（4）范東來著.Hadoop海量數(shù)據(jù)處理技術詳解與項目實戰(zhàn).人民郵電出版社，2015年3月.2、教學形式采用導師制的教學形式，每名教師對課程設計全過程進行指導，學生獨立完成資料查閱、方案確定、程序設計工作，并提交設計報告，最后采用分組答辯的形式，檢查學生的完成情況。五、考核方式與成績評定方法1、考核方式學習態(tài)度設計報告質量答辯陳述和回答問題。2、成績構成學習態(tài)度：20%；設計報告質量：40%；辯陳述和回答問題：40%。六、說明1、立足本教學大綱，結合具體內容，實施教學過程，突出重點內容講解。2、按照本教學大綱實施教學任務之前，要求學生必須具有一定的Java和Linux基礎。3、授