大数据治理是传统信息治理的延续和扩展，其涉及的内容非常广泛。大数据治理确保以正确的方式对数据和信息进行管理，为大数据的有效应用保驾护航，使得数据成为一个有机整体而不是各自为政。大数据治理所需的技术支撑需要涵盖大数据管理、存储、质量、共享与开放、安全与隐私保护等多个方面。本书首先对大数据治理的背景和基本概念进行简要介绍，尝试为读者提供对大数据治理的基础认识；然后从政策、管理和技术等多个方面对大数据治理相关的概念和方法加以介绍，对数据架构管理、元数据管理、主数据管理、大数据集成、数据质量管理、数据的标准化、数据资产化、数据安全与隐私保护等进行深入探讨，以期为读者提供一个比较全面的大数据治理的场景。本书适合作为高等院校“数据科学与大数据”专业的本科生、研究生的教材，也可供大数据领域的从业人员阅读，还可为对大数据治理感兴趣的广大读者提供参考。

在数字经济时代, 大数据的价值及应用受到了越来越多数据拥有者和使用者的重视。由于真实数据经常来自于独立自治的数据源, 而这些数据源存在着缺少面向具体应用的顶层设计、缺少质量保障等机制问题, 因此很多大数据分析模型和算法达不到预期的效果。这些问题催生了大数据治理这一研究领域。大数据治理是连接大数据科学和应用的桥梁, 要实现大数据的变现, 就离不开科学的大数据治理, 离不开与时俱进的管理革新。目前, 大数据治理的必要性已得到较为广泛的认可, 也已有不少成功实践。 本书全面、系统地向读者解读大数据治理这一复杂主题。对数据科学与大数据专业的本科生、研究生和大数据领域的从业人员来说, 本书能够帮助读者理解大数据治理的框架、流程、技术和典型应用等, 具有一定的可参照性、可操作性和可读性。本书为读者应对大数据治理领域的挑战, 提供了必要的理论和实践参考。围绕着本书的主题--大数据治理, 本书共分为9 章, 第1 章对大数据治理的背景进行了详细的介绍, 然后清晰地界定了相关概念; 在之后的章节中, 对数据架构管理、元数据管理、主数据管理、大数据集成、数据质量管理、数据标准化、数据资产化及数据安全与隐私保护进行了详细的探究。 本书基于作者在大数据治理与安全方面的研究经验和成果编写, 对大数据治理进行了系统、全面的介绍。本书的主要特点如下: 本书的内容十分丰富、详实。作者对大数据治理方面的基础和实践应用进行了系统而完整的介绍, 同时, 基于大数据治理在典型行业的实践, 深入浅出地介绍了当今主流的大数据技术与平台, 在每章内容中加入了大数据治理领域前沿的学术研究成果概述, 这样一来, 不但可以让学生掌握大数据治理各个板块的基础知识, 同时能对学生之后在该方面的进一步研究工作起到很大指导作用。 本书在结构上非常严谨。本书9 个章节之间安排得十分紧凑, 章节内容环环相扣、层层递进, 具备深度和广度, 对于读者把握全书的主要内容十分有利。 本书图文并茂, 图表和公式清晰, 案例丰富。 本书以实用性为导向, 对大数据治理进行了全方位的解构, 精心设计图表、案例,适合作为高等院校" 数据科学与大数据专业" 的核心课程教材。 由于编写时间有限, 书中难免有错误之处, 请读者批评指正。

第1 章　大数据治理的背景和基本概念………………………………………………… 1 　　1. 1　大数据治理的定义………………………………………………………… 2 　　1. 2　大数据治理的应用………………………………………………………… 3 　　1. 2. 1　大数据治理的任务…………………………………………………… 3 　　1. 2. 2　数据治理与数据管理的区别…………………………………………… 4 　　1. 2. 3　大数据治理的典型案例……………………………………………… 4 　　1. 3　大数据治理的挑战………………………………………………………… 7 　　1. 3. 1　大数据的发展和现状………………………………………………… 7 　　1. 3. 2　当下面临的挑战……………………………………………………… 8 　　1. 4　本书的主要内容…………………………………………………………… 9 第2 章　数据架构管理……………………………………………………………… 11 　　2. 1　数据架构概述…………………………………………………………… 12 　　2. 2　IBM 数据架构参考模型………………………………………………… 13 　　2. 2. 1　逻辑层……………………………………………………………… 14 　　2. 2. 2　垂直层……………………………………………………………… 16 　　2. 3　企业数据架构参考模型………………………………………………… 17 　　2. 4　CESI 大数据参考架构模型……………………………………………… 18 　　2. 5　大数据技术参考架构…………………………………………………… 19 　　2. 6　数据湖(Data Lake) …………………………………………………… 20 　　2. 7　面向大数据的数据架构实现…………………………………………… 21 　　2. 7. 1　Hadoop ……………………………………………………………… 21 　　2. 7. 2　Storm ……………………………………………………………… 23 　　2. 7. 3　Spark ……………………………………………………………… 24 　　2. 7. 4　三种架构的比较分析………………………………………………… 25 　　2. 8　数据架构设计原则……………………………………………………… 25 第3 章　元数据管理………………………………………………………………… 27 　　3. 1　元数据概述……………………………………………………………… 28 　　3. 1. 1　定义………………………………………………………………… 28 　　3. 1. 2　组织方式…………………………………………………………… 29 　　3. 1. 3　作用和意义………………………………………………………… 31 　　3. 2　业务元数据……………………………………………………………… 32 　　3. 2. 1　意义………………………………………………………………… 32 　　3. 2. 2　概念………………………………………………………………… 33 　　3. 2. 3　实践要点…………………………………………………………… 34 　　3. 3　技术元数据……………………………………………………………… 34 　　3. 3. 1　意义………………………………………………………………… 34 　　3. 3. 2　概念………………………………………………………………… 35 　　3. 3. 3　实践要点…………………………………………………………… 36 　　3. 4　元数据管理……………………………………………………………… 36 　　3. 4. 1　元数据管理方案…………………………………………………… 37 　　3. 4. 2　元数据标准和规范………………………………………………… 39 　　3. 4. 3　元数据管理的成熟度………………………………………………… 40 第4 章　主数据管理………………………………………………………………… 42 　　4. 1　概述……………………………………………………………………… 43 　　4. 1. 1　主数据的概念……………………………………………………… 43 　　4. 1. 2　主数据的类型……………………………………………………… 44 　　4. 1. 3　主数据管理的基本思路……………………………………………… 44 　　4. 2　主数据管理系统………………………………………………………… 45 　　4. 2. 1　主数据管理的架构设计……………………………………………… 46 　　4. 2. 2　主数据管理的核心功能……………………………………………… 50 　　4. 2. 3　主数据管理的实现风格……………………………………………… 50 　　4. 3　主数据管理的成熟度…………………………………………………… 52 第5 章　大数据集成………………………………………………………………… 56 　　5. 1　数据集成的基本概念…………………………………………………… 57 　　5. 1. 1　数据集成的定义…………………………………………………… 57 　　5. 1. 2　数据集成的分类…………………………………………………… 58 　　5. 1. 3　数据集成的难点…………………………………………………… 59 　　5. 2　传统数据集成…………………………………………………………… 60 　　5. 2. 1　联邦数据库系统…………………………………………………… 61 　　5. 2. 2　中间件集成………………………………………………………… 62 　　5. 2. 3　数据仓库…………………………………………………………… 63 　　5. 3　传统数据集成的关键技术……………………………………………… 65 　　5. 3. 1　模式匹配…………………………………………………………… 65 　　5. 3. 2　数据映射…………………………………………………………… 66 　　5. 4　跨界数据集成…………………………………………………………… 67 　　5. 4. 1　基于阶段的集成…………………………………………………… 67 　　5. 4. 2　基于特征的集成…………………………………………………… 68 　　5. 4. 3　基于语义的集成…………………………………………………… 68 第6 章　数据质量管理……………………………………………………………… 71 　　6. 1　概述……………………………………………………………………… 72 　　6. 1. 1　数据质量定义……………………………………………………… 72 　　6. 1. 2　数据质量问题……………………………………………………… 74 　　6. 2　缺失值填充……………………………………………………………… 76 　　6. 2. 1　什么是缺失值……………………………………………………… 76 　　6. 2. 2　缺失值处理方法…………………………………………………… 77 　　6. 2. 3　缺失值处理例析…………………………………………………… 79 　　6. 3　实体识别与真值发现…………………………………………………… 81 　　6. 3. 1　什么是实体识别…………………………………………………… 81 　　6. 3. 2　基于规则的实体识别方法…………………………………………… 81 　　6. 3. 3　什么是真值发现…………………………………………………… 84 　　6. 3. 4　真值发现方法……………………………………………………… 85 　　6. 5　错误检测与修复………………………………………………………… 85 　　6. 5. 1　格式内容清洗……………………………………………………… 85 　　6. 5. 2　逻辑错误清洗……………………………………………………… 86 　　6. 5. 3　非需求数据清洗…………………………………………………… 87 　　6. 6　面向大数据的数据清洗………………………………………………… 87 　　6. 6. 1　大数据清洗的探索………………………………………………… 87 　　6. 6. 2　时间序列错误清洗………………………………………………… 88 　　6. 6. 3　基于众包的数据清洗………………………………………………… 90 第7 章　数据标准化………………………………………………………………… 92 　　7. 1　数据标准化概述………………………………………………………… 93 　　7. 1. 1　数据标准…………………………………………………………… 93 　　7. 1. 2　数据标准管理……………………………………………………… 94 　　7. 1. 3　企业数据标准化…………………………………………………… 95 　　7. 2　数据标准化例析………………………………………………………… 95 　　7. 2. 1　工业大数据………………………………………………………… 95 　　7. 2. 2　信息技术元数据注册系统…………………………………………… 97 第8 章　数据资产化………………………………………………………………… 98 　　8. 1　数据资产管理概述……………………………………………………… 99 　　8. 1. 1　数据资产…………………………………………………………… 99 　　8. 1. 2　数据资产管理……………………………………………………… 100 　　8. 2　数据资产发现与评估…………………………………………………… 101 　　8. 2. 1　数据资产发现……………………………………………………… 101 　　8. 2. 2　数据资产评估……………………………………………………… 102 　　8. 3　数据交易与数据定价…………………………………………………… 103 　　8. 3. 1　数据交易………………………………………………………… 103 　　8. 3. 2　数据定价………………………………………………………… 106 　　8. 4　拓展: 大数据拍卖模型………………………………………………… 107 　　8. 4. 1　问题背景………………………………………………………… 107 　　8. 4. 2　基本拍卖模型……………………………………………………… 107 　　8. 4. 3　扩展的Vickrey 拍卖模型…………………………………………… 108 　　8. 4. 4　扩展的序贯拍卖模型……………………………………………… 111 第9 章　　数据安全与隐私保护………………………………………………… 114 　　9. 1　概述……………………………………………………………………… 115 　　9. 1. 1　基本概念………………………………………………………… 115 　　9. 1. 2　数据安全与数据管理生命周期……………………………………… 116 　　9. 2　数据安全存储、传输与访问…………………………………………… 117 　　9. 2. 1　加密存储和传输…………………………………………………… 117 　　9. 2. 2　访问控制………………………………………………………… 120 　　9. 3　数据安全检索与处理…………………………………………………… 121 　　9. 3. 1　安全检索………………………………………………………… 121 　　9. 3. 2　安全处理………………………………………………………… 124 　　9. 4　隐私保护………………………………………………………………… 125 　　9. 4. 1　基本概念………………………………………………………… 125 　　9. 4. 2　数据脱敏………………………………………………………… 127 　　9. 4. 3　k-匿名…………………………………………………………… 128 　　9. 2. 4　差分隐私………………………………………………………… 130