數據倉庫實施步驟與關鍵成功因素

數據倉庫實施步驟與關鍵成功因素一、數據倉庫實施方法論?規劃解決方案支持數據倉庫管理(處理流程與操作)物理數據庫設計數據轉換應用開發數據挖掘服務設計與實現支持與增強解決方案體系結構設計元數據管理數據倉庫評估應用增強邏輯數據模型回顧物理數據庫回顧性能調整容量規劃解決方案集成定制解決方案規劃詳細數據分析解決方案準備就緒解決方案實施建議現成解決方案規劃數據倉庫策略開發業務探索業務探索解決方案定義邏輯數據模型設計修改邏輯數據模型驗證解決方案數據倉庫的循環過程3/16/20022數據倉庫管理物理數據模型數據轉換應用開發數據挖掘服務系統體系結構設計元數據管理解決方案集成項目具體實施步驟項目前期準備業務探索信息探索邏輯數據模型二、項目具體實施步驟1.項目前期準備2.業務探索（BusinessDiscovery)3.信息探索（InformationDiscovery)4.邏輯數據模型設計5.系統體系結構設計6.物理數據庫設計7.數據轉換加載ETL8.前端應用開發9.數據挖掘服務10.元數據管理11.數據倉庫管理（處理流程與操作）12.解決方案集成（測試驗收與試運行）3/16/200232.1項目前期準備主要任務：–項目啟動會議(Kick-offMeeting)–確認項目范圍和主要目標–確認項目階段性驗收及總體驗收標準–確認項目實施計劃–成立項目組–確定各項目小組的成員及各自的工作職責–確定各項目小組的階段性工作目標–確定教育訓練計劃–確定服務流程及方式

交付項目：《項目組織機構》《項目人員組成》

項目前期準備業務探索信息探索邏輯數據模型3/16/200242.2業務探索（BusinessDiscovery)主要任務：–確定重點用戶與數據源–用戶需求調研與確認–數據源確認–用戶需求和數據源的篩選和分析交付項目：《業務需求說明書BRL(BusinessRequirementList)》《概念數據模型CDM（ConceptualDataModel)》

項目前期準備業務探索信息探索邏輯數據模型3/16/200252.3信息探索（InformationDiscovery)主要任務：–分析用戶需求–數據源分析–進行工具評估–系統安全性設計–系統命名規范設計交付項目：《功能需求列表FRL(FunctionRequirementList)》《系統安全性設計說明書》

《系統命名規范說明書》《數據質量分析》項目前期準備業務探索信息探索邏輯數據模型3/16/200262.4邏輯數據模型設計主要任務：–進行原始數據分析–建立實體模型–建立實體間依賴關系–完善并填入所有屬性–建立數據庫邏輯模型利用工具：

ERWin交付項目：數據倉庫邏輯數據模型LDM《邏輯數據模型說明書》項目前期準備業務探索信息探索邏輯數據模型3/16/200272.4邏輯數據模型概念邏輯數據模型是用來發現、記錄和溝通業務的詳細“藍圖”基于概念數據模型（CDM）由一系列表和實體詳細描述組成通用的業務語言便于業務與業務之間的功能理解集成當前和未來數據的藍圖獨立于技術為物理數據庫設計作準備是IT人員和業務人員溝通的工具發現屬性發現關系發現實體1.業務規則2.ER圖3.ERA建模3/16/200282.4邏輯數據模型(LDM)示例3/16/200292.5系統體系結構設計主要任務：對業務、技術環境及企業文化的充分了解，從技術、組織、教育和支持等方面對系統進行全面評估定義業務驅動力定義數據倉庫成功的關鍵因素定義數據倉庫的實施原則對系統體系結構各個組件進行詳細設計交付項目：《系統體系結構設計說明書》數據倉庫管理物理數據模型數據轉換應用開發數據挖掘服務系統體系結構設計元數據管理解決方案集成3/16/2002102.5體系結構設計組件用戶類型拓撲結構網絡存取與互連組織機構安全性數據體系結構邏輯數據模型元數據數據質量命名規范數據采集與轉換用戶存取及工具備份系統操作管理3/16/200211主要任務：轉換邏輯數據模型（LDM）為物理數據模型定義主索引、次索引非正則化處理（denormalizations）數據庫建立設計優化數據庫功能測試使用工具：ERWwin交付項目：物理數據模型（LDM）《物理數據模型說明書》《數據庫描述語言DDL》2.6物理數據庫設計建模方法：

第三范式3NF

星型結構雪花狀結構數據倉庫管理物理數據模型數據轉換應用開發數據挖掘服務系統體系結構設計元數據管理解決方案集成3/16/200212概念數據模型（CDM–ConceptualDataModel）主要實體和它們的關系（MajorEntitiesandTheirRelationships）邏輯數據模型（LDM-LogicalDataModel）業務模型加（CDMPlus）

:所有的表及簡單的數據（AllTableswithSampleData）輔助的表及簡單的數據（MinorTableswithSampleData

）主鍵與外鍵的關系（PK&FKRelationships）數據約束（Constraints

）屬性（Attributes

）擴展邏輯數據模型（ELDM-ExtendedLogicalDataModel）邏輯數據模型加（LDMPlus）

:存取詳細描述（AccessDemographics）數據詳細描述（DataDemographics）物理數據模型（PDM-PhysicalDataModel）擴張邏輯數據模型（ELDMPlus）:索引（Indices）非正則化（Denormalization）2.6數據模型的演變3/16/200213非正則化的兩種類型：物理非正則化派生數據（DerivedData）匯總表（SummaryTables）重復的Groups(RepeatingGroups) 多物理表（MultiplePhysicalTables）預連接（Pre-joins）子實體（Sub-entities）

邏輯非正則化視圖（Views）邏輯星型結構（LogicalStarSchemas）物理非正則化對模型的靈活性會有影響邏輯非正則化是一個優選的方法（OLAP實現）2.6非正則化處理

(Denormalization)3/16/2002142.6物理數據模型（PDM）3/16/2002152.7數據轉換與加載（ETL）主要任務：數據源及其特性定義數據析取、轉換和加載策略設計構建和測試初始加載的程序和處理流程構建和測試日常加載的程序和處理流程40%的工作量在數據轉換與加載上使用工具：Teradata

Builder、C、Shell、Perl交付項目：《數據轉換加載設計說明書》《數據映射（DataMapping）說明書》

數據轉換加載腳本（ETLScripts)

加載流程控制（ETLProcessControl)數據倉庫管理物理數據模型數據轉換應用開發數據挖掘服務系統體系結構設計元數據管理解決方案集成3/16/2002162.7數據清洗方法在源系統上進行清洗（數據析取前）在加載服務器上進行清洗（數據析取后、加載前）在數據倉庫里進行清洗（數據加載后）源系統ETL服務器數據倉庫SQL,C,ShC,ShSQL3/16/2002172.7數據轉換常用手段析取Extracting

條件Conditioning

剔除Scrubbing

合并Merging

濃縮Enrichment

確認Validating

加載Loading

評分Scoring

家庭關系識別Householding3/16/2002182.8前端應用開發主要任務：前端應用體系結構設計OLAP應用設計(Summary/Fact表及Cub的產生）前端應用開發（隨機查詢、預定義報表、OLAP應用）撰寫用戶使用手冊用戶測試驗收使用工具：查詢報表工具OLAP工具（Brio,Cognos,MicroStrategy…)基于Web的開發工具(InterDev,ColdFusion…)其他開發工具,如:Portal交付項目：《前端應用體系結構設計說明書》《應用模塊設計說明書》《用戶使用手冊》數據倉庫管理物理數據模型數據轉換應用開發數據挖掘服務系統體系結構設計元數據管理解決方案集成3/16/2002192.9數據挖掘服務2.知識應用(KnowledgeDeployment):將發現的知識應用于某種目標，例如進行預測1.知識發現(KnowledgeDiscovery):

發現將數據轉變成信息的潛在模式數據知識信息決策與行動3/16/2002202.9數據挖掘方法項目管理知識轉移業務理解體系結構和技術準備數據理解和數據準備分析建模和模型評估知識應用DataMiningLabAnalyticServicesTeradataDatabaseDataMining&OLAPAssistsTeraMinerSQL3/16/2002212.9數據挖掘常用算法及應用Debt<10%ofIncomeDebt=0%GoodCreditRisksBadCreditRisksGoodCreditRisksYesYesYesNONONOIncome>$40KQQQQII123456factor1factor2factorn神經網絡NeuralNetworks聚類分析ClusteringOpenAccn’tAddNewProductDecreaseUsage???Time序列分析SequenceAnalysis決策樹DecisionTrees傾向性分析客戶保留客戶生命周期管理目標市場價格彈性分析客戶細分市場細分傾向性分析客戶保留目標市場欺詐檢測關聯分析Association市場組合分析套裝產品分析目錄設計交叉銷售3/16/2002222.10元數據管理元數據(Metadata)是指關于數據的數據，即用來描述數據的類型、來源、定義、存儲位置，使得業務用戶可以正確地使用數據倉庫。主要任務：定義元數據使用功能設計元數據環境邏輯結構設計元數據環境物理結構選擇合適的元數據管理工具建立元數據倉庫（MetadataRepository)建立和測試元數據接口使用工具：TeradataMetadataService交付項目：《元數據管理說明書》數據倉庫管理物理數據模型數據轉換應用開發數據挖掘服務系統體系結構設計元數據管理解決方案集成3/16/2002232.10元數據開發元數據的開發應該包含在數據倉庫實施過程的每一步驟中，下圖是元數據各部分內容與數據倉庫開發過程的對應關系：

3/16/2002242.11數據倉庫管理主要任務：設計和開發數據倉庫支持體系結構開發和測試數據倉庫日常運作流程開發和測試性能監視程序開發和測試數據備份與恢復程序開發和測試安全系統設計和開發操作人員/最終用戶培訓計劃建立用戶支持和培訓材料使用工具：系統監控工具和管理工具交付項目：《數據倉庫管理過程說明書》《數據備份過程設計說明書》《安全管理模塊設計說明書》《用戶培訓計劃》及《用戶使用手冊》數據倉庫管理物理數據模型數據轉換應用開發數據挖掘服務系統體系結構設計元數據管理解決方案集成3/16/2002252.12解決方案集成(系統驗收與試運行)主要任務：建立并執行集成測試計劃建立并執行數據倉庫平臺測試計劃建立并執行系統驗收測試計劃移植開發系統到生產系統執行用戶培訓計劃實施數據倉庫管理基礎設施項目實施完成回顧項目狀態交付項目：《數據轉換管理系統測試報告》《數據訪問和信息發布系統測試報告》《數據倉庫平臺測試報告》《數據倉庫管理過程測試報告》《系統回顧報告》數據倉庫管理物理數據模型數據轉換應用開發數據挖掘服務系統體系結構設計元數據管理解決方案集成3/16/2