复杂性是大数据区别于小数据的本质特性，也是当前大数据质量控制与数据治理面临的核心挑战。本书围绕大数据的复杂性开展研究，旨在探索当前数据资源建设与利用过程中面临的挑战和技术难题，促进数据价值的充分释放。

全书分为6部分，共24章。第1部分概述(第1、2章)，综述所研究数据控制技术的基本概念和任务定位，以及国内外的研究进展； 第2部分实体分辨技术(第3~13章)，研究了高维数据实体分辨、名称分辨、XML数据实体分辨和跨模态数据实体分辨等； 第3部分真值发现技术(第14~18章)，研究了单真值发现、多真值发现、文本数据真值发现，以及基于多蚁群优化和基于深度神经网络的真值发现等； 第4部分基于数据依赖的数据质量控制技术(第19~21章)，研究了数据录入辅助预测与推理方法、不一致数据检测与修复方法，以及有限先验知识下的全局数据质量评估； 第5部分系统与平台(第22、23章)，介绍了数据质量控制系统，以及数据治理平台的设计与实现； 第6部分结束语(第24章)，归纳总结了当前面临的风险和挑战。

本书务实求新，系统性强，易读性和可操作性好，既可作为数据质量控制与数据治理领域的进阶用书，又可作为数据资源建设与利用、信息技术等相关学科领域的教学参考或工程实践指导用书。

复杂性是大数据区别于小数据的本质特性，也是当前大数据质量控制与数据治理面临的核心挑战。高维性、非结构性、多模态性等是大数据复杂性的具体表现，数据复杂性直接加剧了模型和算法的复杂性，进而导致技术的复杂性。本书围绕大数据的复杂性开展研究，旨在探索当前数据资源建设与利用过程中面临的挑战和技术难题，促进数据价值的充分释放。

国防科技大学信息质量研究组(Information Quality Research Group，IQRG)成立于2008年，以结合我国信息环境特点系统开展数据质量控制与数据治理研究和实践为己任，随着相关工作推进至深水区，我们对国内数据资源建设现状及面临的真正挑战体会愈深。

2008年以来，信息质量研究组陆续出版了译著《数据质量工程实践》(2010年11月)、《信息质量》(2013年3月)和《数据质量改进实践指南》(2016年8月)，后两者得到了装备科技译著出版基金的资助。三本译著对国内普及数据质量理论与实践体系、提升数据质量认知发挥了积极作用。为了有计划地推出研究成果，立足我国信息环境特点，逐步构建数据治理与应用理论技术体系，2016年上半年，受国防工业出版社之邀，信息质量研究组启动了“大数据治理与应用丛书”的出版工作，译著《数据质量改进实践指南》是丛书的开卷，随后又出版了专著《数据质量导论》(2017年10月)、译著《数据与信息质量： 维度、原理和技术》(2022年8月)。

本书聚焦于复杂数据的质量控制技术，包括《数据质量导论》出版后信息质量研究组取得的主要研究进展，是丛书第4个成员。

本书分为6部分，共24章。本书除第1部分、第6部分外，其他各部分甚至各章支持读者按需选择阅读，使读者快速获取感兴趣的知识，以提升本书的使用效率。

本书由曹建军全面筹划，负责第1部分概述(第1、2章)、第6部分结束语(第24章)的撰写工作，并参与了其他各章的研究撰写； 在第2部分实体分辨技术(第3~13章)中，刘艺负责第3~6章的研究撰写，尚玉玲负责第7~9章的研究撰写，周星负责第10章的研究撰写，郑奇斌负责第11~13章的研究撰写； 在第3部分真值发现技术(第14~18章)中，冯钦负责第14、15章的研究撰写，常宸负责第16~18的研究撰写； 周金陵负责第4部分基于数据依赖的数据质量控制技术(第19~21章)的研究撰写； 第5部分系统与平台(第22、23章)由翁年凤负责研究撰写； 谭明超参加了第2章、第9章的研究撰写。聂子博、余旭、王孟大参加了部分材料收集整理的工作，盛艳萍负责了部分格式调整的工作。刁兴春对全书内容进行了审校。

本书出版得到了信息质量研究组瞿雷、汪挺、江春、袁震、严浩、丁鲲、蒋国权、王芳潇、张慧、许永平、彭琮、周晓磊、张骁雄、范强、刘茗、刘姗姗等其他成员的支持和帮助。

在本书内容的研究撰写过程中，广泛参考了国内外相关成果，并与多家兄弟科研团队及多位专家同仁进行了有益的长期交流研讨，在此一并致以诚挚的谢意。

受水平所限，书中难免有错误和不妥之处，恳请广大读者批评指正，并欢迎与作者直接交流。

作者2023年1月

第1部分概述

第1章绪论

1．1研究背景及意义

1．2基本概念和任务定位

1．2．1实体分辨

1．2．2高维数据实体分辨

1．2．3名称分辨

1．2．4XML数据实体分辨

1．2．5跨模态数据实体分辨

1．2．6冲突消解与真值发现

1．2．7不一致数据检测与修复

1．2．8数据录入辅助预测与修复

1．2．9数据质量评估

1．3本书内容结构安排

本章参考文献

第2章国内外研究进展

2．1引言

2．2高维数据实体分辨的研究进展

2.2.1实体分辨方法

2．2．2多目标蚁群算法

2．2．3特征选择稳定性

2.2.4不平衡数据分类方法

2．3名称分辨的研究进展

2．3．1机构名称分辨的研究现状

2．3．2姓名消歧的研究现状

2．4XML数据实体分辨的研究进展

2．4．1文本比较方法

2．4．2结构比较方法

2．5跨模态数据实体分辨的研究进展

2．5．1单模态表征

2．5．2相似性度量方法

2．5．3相似性匹配方法

2．6真值发现的研究进展

2．6．1结构化数据真值发现

2．6．2文本数据真值发现

2．6．3特殊场景下的真值发现

2．7不一致数据检测与修复的研究进展

2．7．1数据检测

2．7．2数据修复

2．8数据录入辅助预测与推理的研究进展

2．8．1数据预测模型

2．8．2智能人机接口

2．9全局数据质量评估的研究进展

本章小结

本章参考文献

第2部分实体分辨技术

第3章高维数据特征选择的多目标蚁群算法

3．1引言

3．2理论方法

3．2．1两档案设置

3．2．2等效路径信息素增强策略

3．2．3多样性度量指标

3．3算法描述

3．3．1路径选择概率公式

3．3．2变异机制

3．3．3两档案更新

3．3．4信息素更新方式

3．3．5算法伪代码及时间复杂度分析

3．4实验与分析

本章小结

本章参考文献

第4章高维数据特征选择稳定性研究

4．1引言

4．2特征选择稳定性指标分析

4．3特征选择稳定性集成方法分析

4．4演化算法特征选择稳定性提升方法

4．4．1系统描述

4．4．2基于多目标蚁群优化的稳定特征选择

4．5实验与分析

4．5．1EAFSSIS实验分析

4．5．2SFSMOACO实验分析

本章小结

本章参考文献

第5章高维数据实体分辨多分类器方法

5．1引言

5．2分类器度量

5．2．1分类器性能度量

5．2．2分类器相似性度量

5．3基于特征选择的多分类器方法

5．3．1系统模型设计

5．3．2方法实现

5．4实验与分析

5．4．1实验设置与对比方法

5．4．2实验验证与结果分析

本章小结

本章参考文献

第6章高维不平衡数据实体分辨集成学习方法

6．1引言

6．2不平衡数据分类度量指标

6．3遗传欠采样多目标蚁群优化特征选择

6．3．1方法框架

6．3．2V统计量

6．3．3遗传欠采样

6．3．4多目标蚁群算法特征选择

6．3．5特征预处理及算法伪代码描述

6．4实验与分析

6．4．1实验数据与评估指标

6．4．2遗传欠采样分析

6．4．3算法分析

6．5综合验证

6．5．1实验数据与评估指标

6．5．2实验与分析

本章小结

本章参考文献

第7章基于增强相似度数据空间转换的机构别名挖掘

7．1引言

7．2机构作者二部图构造

7．3作者集合间的增强相似度计算

7．4集合型数值型数据空间转换

7．5机构别名挖掘流程及算法

7．5．1机构别名挖掘流程

7．5．2机构别名挖掘算法描述

7．6实验验证

7．6．1实验数据

7．6．2实验方法

7．6．3评价指标

7．6．4实验结果

本章小结

本章参考文献

第8章基于多重集增强相似度数据空间转换的机构别名挖掘

8．1引言

8．2多重集的定义及运算法则

8．3机构作者加权二部图构造

8．4作者多重集间的增强相似度计算

8．5机构别名挖掘步骤及算法描述

8．5．1机构别名挖掘步骤

8．5．2机构别名挖掘算法描述

8．6实验验证

8．6．1实验数据

8．6．2实验方法

8．6．3实验结果

本章小结

本章参考文献

第9章基于合作作者和隶属机构信息的姓名消歧

9．1引言

9．2实体关系图构造

9．3有效路径选择

9．4连接强度计算

9．4．1连接强度

9．4．2路径概率

9．4．3路径权重

9．5姓名消歧步骤及算法描述

9．5．1姓名消歧步骤

9．5．2姓名消歧算法描述

9．6实验验证

9．6．1实验数据

9．6．2实验方法

9．6．3实验结果

本章小结

本章参考文献

第10章面向XML数据实体分辨的树相似度

10．1引言

10．2树相似度

10．3具有文本相似度的扩展子树

10．4效果评估

10．4．1实验设置

10．4．2与其他树相似度的比较

10．4．3参数对分类正确率的影响

本章小结

本章参考文献

第11章基于语义空间结构的多模态数据表征

11．1引言

11．2基于语义结构的数据表征

11．3基于参考点的低维语义结构表征

11．3．1语义结构的参考表征

11．3．2参考点选择策略

11．4实验分析

11．4．1数据集和实验设置

11．4．2最近邻覆盖率测试结果及分析

11．4．3聚类测试结果及分析

11．4．4运行效率测试及复杂度分析

本章小结

本章参考文献

第12章基于语义结构一致性的跨模态相似度度量

12．1引言

12．2基于抽象和关联的跨模态相似度计算框架

12．3语义结构一致性与相似度计算

12．3．1文本与图像特征提取

12．3．2多模态语义结构一致性

12．3．3多模态参考点选择及相似度计算

12．4实验分析

12．4．1数据集和实验设置

12．4．2文本图像相似度验证

本章小结

本章参考文献

第13章考虑“相似性漂移”的多模态匹配

13．1引言

13．2跨模态映射的“相似性漂移”问题

13．3基于近邻传播的匹配方法

13．4基于近邻增强的匹配方法

13．5实验分析

13．5．1数据集和实验设置

13．5．2平均最近邻覆盖率测试

13．5．3跨模态匹配验证

本章小结

本章参考文献

第3部分真值发现技术

第14章基于数据源质量多属性评估的单真值发现

14．1引言

14．2问题定义

14．3基于加权多属性的真值发现算法

14．3．1模型概述

14．3．2数据源质量多属性评估

14．3．3MESOTD算法描述

14．4实验与分析

14．4．1实验数据及方法

14．4．2评价指标

14．4．3实验结果分析

本章小结

本章参考文献

第15章基于多蚁群同步优化的多真值发现

15．1引言

15．2问题定义

15．3多真值发现模型

15．3．1模型概述

15．3．2模型分析

15．4MACSOMTD算法设计

15．4．1算法流程描述

15．4．2蚁群算法设计

15．5实验分析

15．5．1实验数据及对比算法

15．5．2评价指标

15．5．3参数敏感性分析

15．5．4对比结果分析

本章小结

本章参考文献

第16章基于深度神经网络嵌入的结构化数据真值发现

16．1引言

16．2问题定义

16．3TDBNNE算法描述

16．3．1数据源观测值嵌入空间构建

16．3．2基于嵌入空间的真值发现

16．4实验与分析

16．4．1实验设置

16．4．2评价指标

16．4．3实验结果分析

本章小结

本章参考文献

第17章基于蚁群优化的文本数据真值发现

17．1引言

17．2问题定义

17．3Ant_Truth算法描述

17．3．1文本答案预处理

17．3．2文本数据真值发现

17．3．3实验与分析

17．4蚁群算法参数选择

17．4．1进化强度

17．4．2ACOP_ES算法描述

17．4．3实验与分析

本章小结

本章参考文献

第18章基于图卷积神经网络的文本数据真值发现

18．1引言

18．2问题定义

18．3GCN_Truth算法描述

18．3．1基于SIF的文本答案语义表征

18．3．2文本数据真值发现

18．4实验与分析

18．4．1实验设置 

18．4．2评价指标 

18．4．3实验结果分析

本章小结

本章参考文献

第4部分基于数据依赖的数据质量控制技术

第19章数据录入辅助预测与推理方法研究

19．1引言

19．2数据预测模型

19．2．1最频繁使用模型

19．2．2最近使用模型

19．2．3确定性模型

19．2．4基于上下文的协同式频繁使用模型

19．2．5Usher： 动态监控数据收集质量的系统

19．3基于统计依赖的辅助录入流程

19．3．1基于贝叶斯网络的数据预测和推理研究

19．3．2数据积累对基于贝叶斯网络推理的影响

19．3．3基于贝叶斯网络的关系数据字段排序算法

19．4实验验证与结果分析

19．4．1贝叶斯网络学习

19．4．2基于贝叶斯网络的预测

19．4．3排序算法

本章小结

本章参考文献

第20章不一致数据检测与修复方法研究

20．1引言

20．2数据的检测与修复

20．3检测规则与修复规则的转换

20．3．1修复规则Fixing Rule的形式化定义

20．3．2基于修复规则Fixing Rule抽取常量CFD

20．3．3基于常量条件函数依赖生成Fixing Rule

20．4基于常量CFD和Fixing Rule的不一致数据检测与修复

20．4．1不一致数据检测与修复算法DetecRep

20．4．2DetecRep算法复杂度分析

20．4．3实验验证与结果分析

本章小结

本章参考文献

第21章有限先验知识下的全局数据质量评估

21．1引言

21．2基于贝叶斯网络结构学习的全局数据质量评估

21．3全局数据准确性评估拓展研究

21．3．1基于评分和搜索全局准确性评估方法

21．3．2基于邻接矩阵的度量标准

21．4实验验证与结果分析

21．4．1实验设置

21．4．2实验结果与分析

本章小结

本章参考文献

第5部分系统与平台

第22章数据质量控制系统

22．1引言

22．2数据质量控制系统的发展现状

22．2．1存储层数据质量控制

22．2．2应用层数据质量控制

22．2．3独立数据质量工具

22．2．4大数据质量控制

22．3基于规则的数据质量控制系统

22．3．1系统功能

22．3．2系统架构

22．4大数据质量控制系统

22．4．1系统功能

22．4．2系统架构

本章小结

本章参考文献

第23章数据治理平台

23．1引言

23．2数据治理平台的发展现状

23．2．1数据治理平台概述

23．2．2典型数据治理解决方案

23．3跨域数据质量控制系统

23．3．1系统功能

23．3．2系统架构

23．4目标驱动的数据治理平台

23．4．1平台功能

23．4．2平台架构

本章小结

本章参考文献

第6部分结束语

第24章被忽视的挑战和风险

24．1引言

24．2举步维艰的现实

24．3不得不说的风险和挑战

24．3．1“开源社区”是“自主可控”还是“失去自我”

24．3．2不得不走的“主数据建设”回头路

24．3．3“数据中台”的误导

24．3．4脱离“业务数据需求”的盲目

24．3．5尚不能预判的“挑战”

本章小结

本章参考文献

附录项目资助

本书内容丰富，详细介绍了数据资源建设与利用，以及**的信息技术。