1. 数据管理(4)
- DMBOK 金字塔 4 阶段:
- 数据建模、存储、集成、安全
- 数据质量、元数据
- 数据治理、数仓、主数据、智能商务
- 数据挖掘、大数据分析
2. 数据处理伦理(2)
3. 数据治理(10)
- 度量指标: 遵法合规、价值、有效性、持续性
- 活动: 规划、指定战略、实施、嵌入
- 治理程序: 可持续发展、可度量、嵌入式
- 驱动因素、减少风险、改进流程
- 原则: 业务驱动、原则导向、多层面、领导力战略、基于框架、共担责任
- 工具和方法: 简洁信息、联系人表、图标logo
- 输入: 业务策略、数据管理策略、监管要求等
- 交付物: 数据治理策略、路线图、业务术语、记分卡、网站、成熟度评估等
- 资产评估方式: 替换成本、市场价值、发现商机、售卖数据、风险成本
- 目标: 提升管理资产能力、定义实施数据管理原则、监控合规数据使用
4. 数据架构(10)
- 企业架构包括: 企业数据模型、数据流设计
- 目标: 识别需求、设计结构满足数据需求、做准备发展产品和服务
- 构件: 状态描述、需求定义、整合指引、资产管理规范
- 实施指南: 就绪和风险评估、组织和文化
- 基本组成: 数据架构成果、活动、行为
- 活动: 建立企业架构(评估规范、制定路线图、管理企业需求)、与其他企业架构集成
- 度量指标: 架构接受度、实现趋势、业务价值
- 成果: 数据存储、处理、设计结构和规划
- 企业数据架构开发过程: 瀑布、迭代、敏捷
5. 数据建模和设计(10)
- 数据库 PRISM 设计原则: 性能和易用性、可重用性、完整性、安全性、可维护性
- 数据建模方法: 关系、维度、面向对象(UML)、基于事实、基于时间(数据拱顶、锚建模)、非关系型
- 维度建模: 事实表、维度表(渐变类)、雪花模型
- 数据模型组件: 实体、关系、属性、域
- 数据模型级别: 概念、逻辑、物理模型
6. 数据存储与操作(2)
- 数据库处理类型: ACID(原子,一致,隔离,持久): 强调一致性,BASE(基本可用,软状态,最终一致): 强调可用性
7. 数据安全(8)
- 安全过程(4A1E): 访问(Access)、审计(Audit)、验证(Authentication)、授权(Authorization)、权限(Entitlement)
- 活动:识别需求、指定制度和细则、评估风险、实施规程
- 加密方法: 哈希(MD5、SHA)、对称(DES、3DES、AES、IDEA)、非对称(RAS、Diffie-Hellman 密钥交换协议)
- 驱动因素: 降低风险、业务增长、安全性作为资产
- 目标: 适当访问、遵守隐私法规、确保隐私要求
- 脱敏类型: 静态(落地:源目标相同,不落地:不同)、动态
- 度量指标: 安全意识、实施、事件指标、数据保护指标、机密数据扩散率
- 机密级别: 对普通受众公开、仅内部使用、机密、受限机密、绝密
- 数据安全类型: 设施安全、设备安全、凭据安全、电子信息安全
- 风险分类: 关键风险、高风险、中风险数据
8. 数据集成和互操作(2)
- 原则: 企业视角增量交付、平衡需求、确保可靠
- 时延
- 数据剖析: 定义的和实际的格式、数据量、数据有效值集合、数据集内部和与外部的关系
- 数据探索: 确定位置、数据评估、生成数据目录在元数据仓中维护
- 度量指标: 传输量率、延迟、功能上线时间、成本和复杂度、价值实现
- 目标: 按格式提供数据、降本降复杂度、识别有意义事件、支撑智能商务,数据分析,主数据管理、数据合并至数据中心
- 交互模式: 中心辐射、点到点、发布订阅
9. 文件和内容管理(2)
- 驱动因素: 法律遵从、诉讼电子取证、业务连续、提高效率
- 档案管理: 内容真实、背景元数据维护、及时、永久、结构清晰准确
- 目标: 高效采用非机构化数据、确保数据见整合能力、遵法满足客户预期
- 档案管理成熟度: 低于标准(未解决)、发展中(认识到)、基本的(守法)、积极的(有重点)、完成变革(融入架构)
- 元数据对管理费结构话数据至关重要
- 内容分发需要: 模块化、结构话、可复用、设备无关
10. 主数据和参考数据(4)
- 度量指标: 数据质量和遵从性、服务水平协议、数据共享和使用量、数据变更活动等
- 原则: 共享、所有权、质量、管理职责、控制变量、权限
- 异同点: 同: 用途相似、都应共享,异: 侧重点不同、参考数据更不易变化
- 实现主数据中心环境方法: 注册表、交易中心、混合模式
- 主数据驱动因素: 满足需求、管控质量、管控成本、降低风险
- 主数据管理工具: 整合工具、修复工具、操作型数据库、数据共享中心、专门应用
- 实施指南: 遵循主数据、管理参考数据变更、数据共享协议、检测数据流动、组织文化变更
- 主数据管理关键处理步骤: 数据模型管理、数据采集、数据验证、标准化和数据丰富、实体解析、管理和共享
11. 数据仓库和商务智能(10)
- 活动: 理解需求、定义架构、开发加载实施数仓、维护产品
- 数据仓库方法有企业信息工厂、多维数据仓库
- 企业信息工厂: 面向主题的、整合的、随时间变化的、包含汇总和明细的、稳定的历史数据集合
- 多维数据仓库: 方便理解和使用、支持更优的查询性能、由维度和事实表组成、常见星型和雪花型
- 目标: 进行有效的业务分析和决策、支持和赋能知识工作者、支持运营功能
- 方法: 驱动需求原型(数据剖析、源数据状态评估)、自助商务智能(根据权限提供功能、报表、可视化)、查询审计数据(维护血缘关系、故障排除)
- 度量指标: 使用指标、客户满意度、主题域覆盖率、时间响应和性能指标
- 血缘关系的作用: 调出数据原因、对变更和问题分析、确定数据可靠性
- 指导原则: 聚焦业务目标、以终为始、全局思考、持续优化、自助、源数据、协同、不千篇一律
- 构建轨迹: 数据、技术、商务智能工具
12. 元数据管理(10)
- 定义元数据架构基本步骤: 创建元模型、应用元数据标准、管理元数据存储
- 元数据的类型: 业务、技术、操作元数据
- 业务元数据: 数据集等定义、数据血缘、数据标准、有效值约束等
- 技术元数据: 数据库表字段定义、数据血缘文档等
- 操作元数据: 批处理日志、数据共享协议等
- 元数据架构类型: 集中式、分布式、混合式架构
- 集中式架构: 优点: 高可用、快速检索、解决数据库结构问题、提高元数据质量;缺点: 流程复杂、维护成本高、抽取需要自定义、维护代码要求高
- 分布式架构: 优点: 最新的、提高响应效率、降低工作量、自动化查询开发简单、减少批处理;缺点: 不支持自定义和手动插入数据、需要统一展示、查询受源系统影响、质量受源系统影响
- 活动: 定义战略、理解需求、定义架构、创建维护、查询分析
- 原则: 组织承诺、企业视角、潜移默化、战略、访问、质量、审计、改进
- 元数据存储库的扫描方式: 专用接口、半专用接口
- 度量指标: 元数据库完整性、管理成熟度、专职人员配置、业务术语活动
13. 数据质量(10)
- 目标: 开发管理方法、定义标准规范、监控过程、提高机会
- 戴明环: 计划,执行,检查,行动(PDCA)
- 数据质量维度是数据的某个可测量的特性
- 数据质量常见问题: 缺乏领导力、数据输入过程、数据处理功能、系统设计、解决问题
- 关键数据: 监管和财务报告、商业政策、持续经营、商业策略差异化竞争
- 度量指标/高阶指标: 投资回报、质量水平、数据质量趋势、数据问题管理指标、服务水平一致性、数据质量计划示意图
- ISO8000数据质量管理结构和组织: 数据质量规划、控制、保证、改进
- 驱动因素: 提高机会、降低风险、提高生产力、保护声誉
- 提升数据质量: 数据清理、数据增强、数据解析格式化、数据转换和标准化
14. 大数据和数据科学(4)
- 数据挖掘技术: 剖析、数据缩减、关联、聚类、自组织映射
- 业务驱动: 利用数据进行预测性、规范性分析,以发现更大的商机
- 机器学习类型: 监督、无监督、强化学习
15. 数据管理成熟度评估(6)
- 活动: 规划、执行评估、解释结果、指定计划、重新评估
- DAMA 对文化积极影响: 介绍概念、厘清利益角色、强调数据资产重要性、扩大认识、改进协作
- 目标: 全面评估活动、向利益方介绍原则、加强管理计划
- 度量指标: DAMA 评级、资源利用率、风险敞口、支出管理、DAMA 输入、变革速度
- IBM数据治理委员会成熟度模型: 结果、使能因素、核心内容、支持内容
16. 数据管理组织与角色期望(4)
- 首席数据官(CDO)任务: 建立战略、数据需求与IT一致、建立数据治理政策、为业务提供建议、宣传信息管理重要性、监督数据使用情况
- 数据治理为数据管理提供了框架和指导方向,
- 数据质量规划: 分散式、网络式、混合式
17. 数据管理和组织变革管理(2)
- 计划要素: 信息、目标/目的、受众、风格、渠道、时机、频率、材料、沟通者、预期反应、指标、预算和资源计划
- 创新扩散因素: 创新、沟通渠道、时间、社会系统
- 基于服务的架构(SBA): 批处理层、加速层、服务层