大數(shù)據(jù)關(guān)鍵技術(shù)與應(yīng)用 課件1.2 大數(shù)據(jù)時(shí)代

02大數(shù)據(jù)時(shí)代1.2.1大數(shù)據(jù)的數(shù)據(jù)類型結(jié)構(gòu)化數(shù)據(jù)是指那些以固定格式存儲(chǔ)的數(shù)據(jù)，通常可以通過行和列的形式在數(shù)據(jù)庫中存儲(chǔ)和查詢。這類數(shù)據(jù)的結(jié)構(gòu)是預(yù)定義的，包括數(shù)字、日期或字符串等類型。例如：關(guān)系數(shù)據(jù)庫中的表格數(shù)據(jù)（如客戶信息、交易記錄）、Excel電子表格、在線事務(wù)處理系統(tǒng)（OLTP）中的數(shù)據(jù)。結(jié)構(gòu)化數(shù)據(jù)半結(jié)構(gòu)化數(shù)據(jù)是介于結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)之間的數(shù)據(jù)類型，它不符合固定的結(jié)構(gòu)，但包含相關(guān)信息，如標(biāo)簽或其他標(biāo)記，以區(qū)分?jǐn)?shù)據(jù)元素并啟用信息分組。例如：JSON文件、XML文檔、電子郵件等。半結(jié)構(gòu)化數(shù)據(jù)非結(jié)構(gòu)化數(shù)據(jù)指的是沒有預(yù)定義數(shù)據(jù)模型的數(shù)據(jù)，也就是說，它們的格式和結(jié)構(gòu)不固定，因此處理起來更加復(fù)雜。例如文本數(shù)據(jù)：書籍、文章、報(bào)告、社交媒體帖子等；媒體數(shù)據(jù)：視頻、音頻、圖片等；網(wǎng)絡(luò)日志：包括網(wǎng)站訪問日志、搜索引擎查詢?nèi)罩镜取７墙Y(jié)構(gòu)化數(shù)據(jù)1.2.2大數(shù)據(jù)的特征大數(shù)據(jù)的體量巨大，從TB級(jí)向PB級(jí)、EB級(jí)邁進(jìn)，數(shù)據(jù)來源廣泛，如物聯(lián)網(wǎng)設(shè)備、社交媒體等，產(chǎn)生海量數(shù)據(jù)。體量（Volume）大數(shù)據(jù)具有高速流動(dòng)的特點(diǎn)，實(shí)時(shí)數(shù)據(jù)流如傳感器數(shù)據(jù)、交易記錄等，要求快速處理和分析。速度（Velocity）大數(shù)據(jù)包含結(jié)構(gòu)化、半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)，不同類型數(shù)據(jù)的處理方式和存儲(chǔ)方式各異。多樣性（Variety）數(shù)據(jù)質(zhì)量與可信度是大數(shù)據(jù)面臨的挑戰(zhàn)，數(shù)據(jù)的準(zhǔn)確性、完整性和可靠性影響數(shù)據(jù)分析結(jié)果的可信度。真實(shí)性（Veracity）1.2.3大數(shù)據(jù)帶來的改變01傳統(tǒng)的數(shù)據(jù)存儲(chǔ)方式難以應(yīng)對(duì)海量數(shù)據(jù)的存儲(chǔ)需求，大數(shù)據(jù)時(shí)代促使了分布式存儲(chǔ)技術(shù)的發(fā)展，這些技術(shù)支持高容量和高擴(kuò)展性的數(shù)據(jù)存儲(chǔ)，降低了存儲(chǔ)成本。(1)數(shù)據(jù)存儲(chǔ)技術(shù)的革命02為了有效處理和分析龐大的數(shù)據(jù)集，并行計(jì)算框架被開發(fā)出來。這些框架可以在數(shù)百甚至數(shù)千臺(tái)機(jī)器上并行處理數(shù)據(jù)，顯著提高了數(shù)據(jù)處理速度和效率。數(shù)據(jù)并行處理能力的飛躍03大數(shù)據(jù)推動(dòng)了統(tǒng)計(jì)學(xué)、數(shù)據(jù)挖掘、文本分析、圖形分析等高級(jí)分析技術(shù)的發(fā)展，使得從復(fù)雜數(shù)據(jù)中提取有價(jià)值信息變得可能。數(shù)據(jù)分析與挖掘技術(shù)的進(jìn)步04隨著數(shù)據(jù)量的激增，數(shù)據(jù)泄露和濫用的風(fēng)險(xiǎn)也隨之增加。這促使了數(shù)據(jù)加密技術(shù)、訪問控制和數(shù)據(jù)監(jiān)管政策的進(jìn)步，以確保數(shù)據(jù)的安全和用戶隱私的保護(hù)。數(shù)據(jù)安全和隱私保護(hù)的挑戰(zhàn)05云計(jì)算為大數(shù)據(jù)提