在市场主体数目快速攀升、企业活跃度日益上升、社会各界数据信息总量呈现爆炸式增长的态势下，以往的市场监管模式已经不能满足现今市场主体发展趋势以及国家针对事中事后监管的要求。如何处理这类数量巨大、来源分散、格式多样的数据信息，进而提高政府部门服务与监管质量，对于政府市场监管部门是一项颇具难度的挑战。 本书首先对市场监管大数据的相关政策以及江苏省市场监管数据管理的情况进行了梳理，点出江苏省目前市场监管数据建设领域存在的问题，接着进行了详细的数据需求分析和总体设计；然后，面向市场监管领域，提出了基于数据生命周期的数据治理理念、基于知识图谱的市场监管数据融合；最后，从安全角度提供了面向市场监管的数据共享安全设计。

“十四五”时期是我国经济转型和体制完善的关键时期。加强和改善市场监督管理体制，是维护市场公平竞争、充分激发市场活力和创造力的重要保障，是政府职能转变的重要方向，也是国家治理体系和治理能力现代化的重要任务。目前，我国市场主体数目快速攀升，企业活跃度日益上升，社会各界数据信息总量呈现爆炸式增长。以往的市场监管模式已经不能满足市场快速发展的需求。充分运用大数据等新一代信息技术，实现“互联网+”背景下的监管创新，降低监管成本，提高监管效率，增强市场监管的智慧化、精准化水，不仅是提升国家竞争力的战略选择，更是提高政府服务和监管能力的必然要求。 市场监管数据来源广泛、种类繁多，导致跨部门、跨区域的数据共享交换手段无法实现，从而无法为各级市场监管部门提供数据整合支撑服务，无法实现数据驱动业务创新。本书阐述了市场监管数据治理的相关情况，并对江苏省市场监管数据进行深度梳理，对全生命周期的数据治理闭环、多源异构数据归集技术、基于知识图谱的异构数据融合、资源目录驱动的数据共享交换、面向共享的数据安全技术5个方面提出解决方案。（1）以元数据为核心，实现数据采集、数据存储、数据处理、数据融合、交换共享等阶段的全生命周期数据管理。（2）运用ETL技术、相似度算法等进行数据采集，通过建设数据归集系统，实现不同系统、不同层级的数据汇聚及数据在各个部门之间的自由流动。（3）研究了多层级的数据融合关键技术，构建江苏省市场监管知识图谱，实现了数据资源体系的较小冗余度、较高数据独立性和多业务适应性。（4）研究了资源目录驱动的数据共享交换技术，采用数据资产可视化技术、LDAP、SOA框架等，满足数据共享交换需求。（5）研究了面向共享的数据安全技术，提出敏感数据交换、数据加密技术、区块链技术在数据共享交换中安全应用的方案。这些研究成基于市场监管大数据的共享融合研究果应用于市场监管大数据的体系结构中，为政务服务一网通办、协同监管、信用监管、移动执法等新型监管方式创新提供强有力的数据支撑。 本书是项目“基于市场监管大数据的共享融合关键技术研究”的研究成果，在编写过程中得到了江苏省市场监督管理局的大力支持，尤其是信息中心的庞文迪、卜意磊两位科长给出了很多宝贵的建议。研究生吴甜甜、柳莺、陈妙苗、朱时召等做了大量的数据收集和整理工作。在此，一并表示感谢。 限于笔者水平，本书难免存在不足与疏漏之处，恳请专家和广大读者不吝批评指正。

第1章 绪论 ............................................................................................................ 1 1.1 背景 .............................................................................................................. 2 1.2 意义 .............................................................................................................. 3 1.3 研究内容和方法 .......................................................................................... 4 1.3.1 系统逻辑架构 .................................................................................. 4 1.3.2 研究内容 .......................................................................................... 9 1.3.3 技术路线 ........................................................................................ 10 1.4 研究创新点 ................................................................................................ 11 1.5 组织结构 .................................................................................................... 12 第2章 相关政策及国内外研究现状 ...................................................................... 14 2.1 市场监管大数据相关政策......................................................................... 15 2.1.1 市场监管应用系统 ........................................................................ 15 2.1.2 制度规范 ........................................................................................ 16 2.1.3 大数据来源 .................................................................................... 16 2.1.4 大数据综合分析 ............................................................................ 17 2.2 数据归集研究现状 .................................................................................... 17 2.2.1 基于元数据的异构数据集成框架................................................. 18 2.2.2 基于本体的异构数据集成框架 .................................................... 19 2.2.3 基于XML的异构数据集成框架 .................................................. 19 2.3 数据融合研究现状 .................................................................................... 20 2.3.1 信息融合基础理论 ........................................................................ 20 2.3.2 多源数据融合 ................................................................................ 21 2.4 数据资源目录研究现状 ............................................................................ 23 2.4.1 资源分类 ........................................................................................ 23 2.4.2 资源目录标准 ................................................................................ 25 2.4.3 资源目录 ........................................................................................ 26 2.5 共享安全设计研究现状 ............................................................................ 27 2.5.1 大数据安全共享与可信服务 ........................................................ 27 2.5.2 大数据存储安全 ............................................................................ 33 2.6 文献评述 .................................................................................................... 35 第3章 江苏省市场监管数据管理概况及建设需求 ................................................ 37 3.1 总体情况 .................................................................................................... 38 3.2 原业务系统的数据 .................................................................................... 40 3.2.1 原工商局数据 ................................................................................ 40 3.2.2 原质监局数据 ................................................................................ 40 3.2.3 原食药监局数据 ............................................................................ 41 3.2.4 原知识产权局数据 ........................................................................ 41 3.3 各业务系统网络连接现状......................................................................... 41 3.4 各业务系统特点 ........................................................................................ 42 3.5 系统功能需求分析 .................................................................................... 45 第4章 市场监管全生命周期数据治理 .................................................................. 49 4.1 全生命周期数据治理系统需求分析 ......................................................... 50 4.1.1 数据全生命周期的界定 ................................................................ 50 4.1.2 市场监管数据治理需求分析 ........................................................ 51 4.2 全生命周期数据治理系统架构设计 ......................................................... 54 4.2.1 数据治理系统设计原则和选型 .................................................... 54 4.2.2 数据治理系统功能架构 ................................................................ 56 4.2.3 数据治理系统多层级构建策略 .................................................... 57 4.2.4 数据治理流程 ................................................................................ 58 4.3 全生命周期数据治理系统设计 ................................................................. 59 4.3.1 数据标准管理服务 ........................................................................ 59 4.3.2 元数据管理服务 ............................................................................ 64 4.3.3 基础数据管理服务 ........................................................................ 71 4.3.4 数据质量管理服务 ........................................................................ 74 4.3.5 数据模型管理服务 ........................................................................ 82 第5章 市场监管数据的归集 ................................................................................. 85 5.1 多源数据归集系统分析 ............................................................................ 86 5.1.1 系统主要用户与边界 .................................................................... 86 5.1.2 系统功能需求分析 ........................................................................ 87 5.2 多源数据归集系统设计 ............................................................................ 88 5.2.1 数据归集的原则 ............................................................................ 88 5.2.2 数据归集系统的总体框架设计 .................................................... 89 5.2.3 数据归集系统的技术架构设计 .................................................... 92 5.3 基于ETL技术的多源异构数据全量采集 ............................................... 94 5.4 基于相似度算法的多源语义自动适配归集 ........................................... 101 5.4.1 多源语义自动适配归集 .............................................................. 101 5.4.2 基于相似度算法获取数据匹配度............................................... 102 5.5 基于Flume技术的实时数据采集 .......................................................... 106 5.6 基于Hadoop平台的数据存储和计算 .................................................... 111 第6章 基于知识图谱的市场监管数据融合 ......................................................... 116 6.1 市场监管数据融合需求分析 ................................................................... 117 6.1.1 市场监管数据融合面临的挑战 .................................................. 117 6.1.2 市场监管数据融合需求及建设目标 ........................................... 119 6.2 市场监管知识图谱的构建....................................................................... 120 6.2.1 市场监管知识图谱构成元素 ...................................................... 120 6.2.2 市场监管知识图谱的构建流程 .................................................. 121 6.3 基于元数据构建市场监管知识体系局部E-R图 .................................... 125 6.4 市场监管知识抽取 .................................................................................. 127 6.4.1 面向结构化数据的知识抽取 ...................................................... 127 6.4.2 面向非结构化数据的知识抽取 .................................................. 132 6.5 市场监管深层次知识融合....................................................................... 139 6.5.1 基于决策树模型的共指消解 ...................................................... 139 6.5.2 基于实体链接的实体消歧 .......................................................... 143 6.6 市场监管知识存储管理 .......................................................................... 147 6.7 市场监管局部知识图谱实体可视化 ....................................................... 149 第7章 市场监管集成数据的管理和共享机制 ..................................................... 152 7.1 数据资产管理 .......................................................................................... 153 7.1.1 数据资产管理流程 ...................................................................... 153 7.1.2 数据资产管理系统技术架构 ...................................................... 154 7.1.3 数据资产可视化技术 .................................................................. 156 7.1.4 数据资产检索与智能推荐服务 .................................................. 158 7.2 集成数据资源目录管理 .......................................................................... 158 7.2.1 集成数据资源目录的活动 .......................................................... 161 7.2.3 数据资源目录体系的技术模块 .................................................. 165 7.3 集成数据共享服务系统设计 ................................................................... 175 7.3.1 数据共享服务的原则 .................................................................. 176 7.3.2 数据共享服务系统的设计架构 .................................................. 176 第8章 市场监管数据共享安全设计 .................................................................... 186 8.1 市场监管数据共享安全风险分析 ........................................................... 187 8.2 市场监管数据共享安全保障框架 ........................................................... 188 8.2.1 设计目标 ...................................................................................... 188 8.2.2 设计原则 ...................................................................................... 189 8.2.3 设计框架 ...................................................................................... 189 8.3 市场监管数据脱敏技术实现 ................................................................... 201 8.3.1 数据脱敏技术实现流程 .............................................................. 201 8.3.2 敏感数据发现 .............................................................................. 202 8.3.3 数据脱敏规则 .............................................................................. 206 8.3.4 数据脱敏引擎 .............................................................................. 212 8.4 基于TrustZone技术的市场监管数据加密方法实现 ............................ 213 8.4.1 数据加密模块需求分析与概要设计 ........................................... 213 8.4.2 密钥管理模块需求分析与设计 .................................................. 217 8.5 基于区块链技术的市场监管数据安全共享 ........................................... 219 8.5.1 区块链+市场监管的技术架构 .................................................... 219 8.5.2 区块链+市场监管的食品监管应用场景 .................................... 220 8.6 市场监管数据共享安全管控平台 ........................................................... 224 8.6.1 市场监管数据共享安全管控平台架构设计 ............................... 224 8.6.2 市场监管数据共享安全管控平台功能设置 ............................... 225 第9章 总结与展望 ............................................................................................. 229 9.1 总结 .......................................................................................................... 230 9.2 展望 .......................................................................................................... 232 参考文献 ............................................................................................................... 233