近年来，大数据已在公共管理、医疗卫生、金融与商务等领域得到了广泛应用。如何对海量和高速增长的数据进行有效处理以及如何针对不同领域特点有效应用大数据，倍受广大科研工作者的广泛关注。本书集结了作者近年来在大数据及其应用领域的研究成果，针对大数据高效处理问题，从点排序识别聚类、多标签排序、不平衡数据采样、主动学习、增量学习等方面研究并设计了相关算法。在此基础上，对大数据环境下电信客户价值评价、客户换机预测和客户流失预测等问题，设计了相关算法、流程和仿真实验，并提出了一些合理化的建议，为大数据分析与在相关行业的应用提供了参考。

前 言 随着数据获取、数据通信和数据存储技术的迅猛发展，在海量搜索、社交网络、物联网、电子商务等应用驱动和Google、Amazon、Hortonworks、Yahoo、Facebook、华为、阿里巴巴等公司的技术创新驱动下，我们步入了大数据(Big Data)时代。经过近二十年的发展，大数据已在金融、电信、零售、政务管理、医疗卫生、汽车电子、能源、交通等领域得到广泛应用，对自然科学、社会科学等领域的研究也产生了深远的影响，世界主要发达国家和经济体已经将推动大数据研究和产业发展上升为国家战略。不断增长的大数据呈现出数据量大、增长速度快、结构多样化、价值密度低、数据质量不高等特点。因此，如何设计高效的大数据分析方法，实现从海量数据中获取深入的、智能的、有价值的信息与知识，是大数据发展面临的重要挑战，备受广大研究人员的关注。 伴随着以客户为中心的管理思想的发展，客户成为企业最重要的资源，客户关系管理的核心是对客户的价值进行评价和管理。国内电信市场已快速发展十多年，我国手机用户数已近16亿，由于各大运营商之间的激烈竞争，电信市场已逐步从卖方市场过渡到买方市场，优质客户已成为各大运营商争夺的焦点。由于电信客户数量众多，且具有稳定性差、低端客户比重大等特征，因此借助领域专家的先验知识和数据本身的特征，设计高效的评价准则和算法，全面、科学地对众多客户的价值进行评价和管理，就具有重要的意义和价值。 近年来，我们在大数据处理和电信客户价值评价与管理方面做了一些研究，现将部分研究成果集结成书，希望能对大数据处理方法及其在电信客户价值评价与管理等方面的应用和发展作出一定的贡献。全书共12章，由重庆邮电大学邓维斌、胡峰、刘进等撰写。第1～9章为大数据环境下的数据挖掘和分析算法，第10～12章为电信客户价值评价与管理方法。第1章为大数据概述，由刘进、邓维斌撰写；第2章为Spark点排序识别聚类结构算法，由邓维斌、胡峰和瞿原撰写；第3章为Spark标签校准排序多标签算法，由胡峰、张其龙撰写；第4章为不平衡数据的样本权重欠采样方法，由胡峰、向倞撰写；第5章为不平衡数据的三支决策过采样方法，由邓维斌和熊冰妍撰写；第6章为三支决策主动学习方法，由胡峰、王蕾撰写；第7章为邻域粗糙集主动学习方法，由胡峰、张苗撰写；第8章为决策熵增量学习方法，由胡峰、周耀撰写；第9章为MapReduce增量FP-Growth算法，由胡峰、周静奇撰写；第10章为电信客户价值评价，由邓维斌、刘进和王海锦撰写；第11章为电信客户换机预测，由邓维斌、王海锦和刘力凯撰写；第12章为电信客户流失预测，由邓维斌、刘进和齐捷撰写。 感谢王国胤、张清华、于洪、樊自甫等教授对作者在研究过程中提供的大量帮助，感谢谭春莉、何流、朱坤、李云波、苏婷、胡迪等研究生在书稿审校中付出的努力，特别感谢万晓榆教授为本书出版给予的大力支持。在该书的写作过程中引用了一些宝贵资料，在此向相关作者表示深切谢意。 本书的出版得到了教育部人文社科规划基金(大数据时代海量电信客户价值评价方法研究No.15XJA630003)、重庆邮电大学出版基金、重庆邮电大学电子商务与现代物流重点实验室开放基金资助，在此一并表示衷心的感谢。 由于作者水平有限，书中难免有不妥之处，敬请广大读者批评指正。 作 者 2020年3月

目 录 第1章 大数据处理概述 1 1.1 大数据的定义 1 1.2 大数据带来的挑战与机遇 3 1.3 大数据研究的现状 5 1.3.1 大数据处理平台 5 1.3.2 大数据处理算法 6 1.3.3 大数据应用研究 9 1.4 大数据研究的挑战与趋势 10 1.5 本章小结 11 参考文献 12 第2章 Spark点排序识别聚类结构算法 19 2.1 引言 19 2.2 点排序识别聚类结构算法 21 2.3 Spark并行内存计算框架 23 2.4 基于Spark的OPTICS算法 25 2.5 仿真实验与结果分析 27 2.5.1 度量标准 27 2.5.2 数据集与运行环境 28 2.5.3 实验方法 29 2.5.4 实验结果与分析 29 2.6 本章小结 32 参考文献 33 第3章 Spark标签校准排序多标签算法 35 3.1 引言 35 3.2 校准标签排序算法与并行化研究 36 3.2.1 校准标签排序算法介绍 36 3.2.2 校准标签排序算法研究现状 37 3.3 朴素贝叶斯校准标签排序方法 37 3.3.1 朴素贝叶斯概率模型 37 3.3.2 朴素贝叶斯校准标签排序算法 38 3.3.3 仿真实验与结果分析 40 3.4 朴素贝叶斯校准标签排序方法的并行化研究 44 3.4.1 Spark并行化内存计算 44 3.4.2 朴素贝叶斯校准标签排序算法的并行化研究 45 3.4.3 仿真实验与结果分析 47 3.5 本章小结 51 参考文献 52 第4章 不平衡数据的样本权重欠采样方法 54 4.1 引言 54 4.2 不平衡数据处理的相关方法 55 4.2.1 K-means聚类算法 55 4.2.2 AdaCost算法 56 4.2.3 Bagging算法 58 4.3 基于样本权重的欠采样方法 59 4.3.1 样本权重的确定 59 4.3.2 分类器加权投票 60 4.4 仿真实验与结果分析 61 4.4.1 分类的评价方法 61 4.4.2 非参数统计检验方法 62 4.4.3 UCI数据集检验 63 4.5 本章小结 67 参考文献 68 第5章 不平衡数据的三支决策过采样算法 70 5.1 引言 70 5.2 三支决策粗糙集 71 5.2.1 邻域模型 71 5.2.2 邻域三支决策模型 71 5.3 不平衡数据的三支决策过采样算法 74 5.3.1 算法思路 74 5.3.2 算法描述与分析 76 5.4 仿真实验与结果分析 77 5.4.1 数据集选择 77 5.4.2 实验方法 78 5.4.3 实验结果分析 79 5.5 本章小结 84 参考文献 84 第6章 三支决策主动学习方法 87 6.1 引言 87 6.2 主动学习理论 88 6.2.1 主动学习工作机制 88 6.2.2 主动学习方法的分类 88 6.3 三支决策主动学习 89 6.3.1 对冗余信息的删减 89 6.3.2 对无标签样本的区域划分 90 6.3.3 对不同区域样本的处理 91 6.3.4 算法描述 92 6.4 仿真实验与结果分析 95 6.4.1 数据集选择 95 6.4.2 实验方法 95 6.4.3 实验结果分析 96 6.5 本章小结 100 参考文献 100 第7章 邻域粗糙集主动学习方法 104 7.1 引言 104 7.2 邻域粗糙集基本理论 104 7.3 邻域粗糙集主动学习算法 106 7.3.1 算法思路 106 7.3.2 算法描述 109 7.4 仿真实验与结果分析 110 7.4.1 数据集与实验方法 110 7.4.2 结果与分析 111 7.5 本章小结 117 参考文献 118 第8章 决策熵增量学习方法 120 8.1 引言 120 8.2 粗糙集的基本概念 121 8.3 决策熵增量知识获取算法 123 8.3.1 算法复杂度分析 126 8.3.2 实例分析 126 8.4 仿真实验与结果分析 128 8.4.1 UCI数据集测试 128 8.4.2 KDDCUP99数据集测试 130 8.4.3 KDDCUP99数据集连续增量测试 130 8.5 本章小结 131 参考文献 131 第9章 MapReduce并行增量FP-Growth算法 133 9.1 引言 133 9.2 MapReduce编程模型与Hadoop平台 135 9.2.1 MapReduce编程模型 135 9.2.1 Hadoop平台介绍 136 9.3 MapReduce增量FP-Growth算法 138 9.3.1 增量学习 138 9.3.2 FP-Growth算法 139 9.3.3 MapReduce并行FP-Growth算法 140 9.3.4 MapReduce并行增量FP-Growth算法 141 9.4 仿真实验与结果分析 143 9.4.1 MapReduce并行增量FP-Growth算法单机效率测试 143 9.4.2 MapReduce并行增量FP-Growth算法集群效率测试 143 9.4.3 Mapreduce并行增量FP-Growth算法性能测试 146 9.5 本章小结 149 参考文献 149 第10章 电信客户价值评价 151 10.1 引言 151 10.2 客户价值与评价 152 10.2.1 客户价值的概念 152 10.2.2 电信客户价值与评价 153 10.3 优势关系粗糙集的基本概念 155 10.4 领域及数据驱动的数据挖掘模型 156 10.4.1 数据驱动的数据挖掘 156 10.4.2 领域驱动的数据挖掘 157 10.4.3 面向领域的数据驱动的数据挖掘 158 10.5 领域及数据驱动的电信客户价值评价方法 159 10.5.1 电信客户价值评价的特征提取 159 10.5.2 电信客户价值评价流程 161 10.5.3 电信客户价值评价算法 162 10.6 仿真实验 163 10.6.1 算法效果验证 163 10.6.2 算法应用 165 10.7 本章小结 167 参考文献 167 第11章 电信客户换机预测 171 11.1 引言 171 11.2 优势关系粗糙集换机预测方法 172 11.2.1 算法描述 172 11.2.2 仿真实验 174 11.3 数据驱动的电信客户换机预测方法 179 11.3.1 手机客户特征提取 179 11.3.2 算法描述 180 11.3.3 仿真实验 182 11.4 本章小结 185 参考文献 186 第12章 电信客户流失预测 188 12.1 引言 188 12.2 C4.5决策树及其改进算法 189 12.2.1 C4.5决策树 189 12.2.2 改进C4.5决策树算法 190 12.3 改进C4.5决策树不平衡数据抽样方法 191 12.3.1 算法思路 191 12.3.2 算法描述 192 12.4 实验与结果分析 193 12.4.1 电信客户流失预测流程 194 12.4.2 实验数据选择 195 12.2.3 实验结果与分析 196 12.5 本章小结 198 参考文献 198