这是一本全面描述互联网业务反欺诈体系的书籍，本书主要分为洞察黑产、体系构建、实战教程和新的战场4个部分。第1部分介绍了黑产欺诈团伙的运作套路和攻击手段；第2部分总结了我们在构建反欺诈技术体系过程中沉淀的实践经验；第3部分分享了我们和黑产对抗的多个实战案例，以及机器学习算法的综合运用；第4部分介绍了我们在物联网、内容安全、隐私合规等方面的实践和对海外厂商的观察。读者通过仔细阅读本书，可以对互联网反欺诈的过去、现在和未来有一个系统的认识。希望本书能够为正在关注该领域或从事相关工作的读者提供有价值的参考。本书适合互联网投资人、创业者、产品经理、运营人员和安全风控人员阅读。

从2018年开始，我和高岳、孙奇一起从事业务安全产品设计、研发的工作。在此之前，高岳是移动安全方面的专家，孙奇是资深的Java架构师，而我则是从事黑客攻防对抗的工程师。于我们而言，这是一段非常美好的经历，非常感谢命运的安排。 因为个人兴趣和工作需要，我们和很多朋友就互联网业务安全进行了深入交流。他们有的是互联网公司的产品研发人员和运营人员，有的是传统金融机构互联网线上业务拓展推广人员，也有的是专业风控和安全从业者。从与他们的沟通交流中，我们学到了很多业务领域的知识，同时也发现大家对互联网黑产及互联网业务安全体系构建缺乏深入了解。我们常常听到这样的话：“投入了很多资源构建互联网业务安全体系，购买了专业公司的风控产品和服务，但是依然没能阻止网络黑产无情的攻击。” 在实际项目中，我们也遇到了一些困扰：产品POC测试严重脱离业务场景实际需求，错误的策略部署导致产品无法正常发挥防御能力。我们在复盘时常常反思这些问题，是不是可以通过某些方式帮助客户更全面地理解业务风险的脉络和黑产攻击的套路。很多问题的产生并不是因为黑产团伙的技术有多么高明，而是因为防御方不能够很好地帮助客户理解业务风险。 2019年3月的某一天，高岳提议写一本全面介绍互联网业务反欺诈体系构建和实践经验的书籍，这个建议点燃了我们心中的火焰。我们立即开始整理资料并写作，经过8个多月的努力，我们在2020年的春节前完成了这本书稿。 本书主要分为洞察黑产、体系构建、实战教程和新的战场4个部分。第1部分介绍了黑产欺诈团伙的运作套路和攻击手段；第2部分总结了我们在构建反欺诈技术体系过程中沉淀的实践经验；第3部分分享了我们和黑产对抗的多个实战案例，以及机器学习算法的综合运用；第4部分介绍了我们在物联网、内容安全、隐私合规等方面的实践和对海外厂商的观察。 希望读者通过阅读本书，可以对互联网反欺诈的行业现状有一个系统而具体的认识。业务安全的真正力量是内生的，专业的安全风控公司可以提供工具、平台和策略建议，但是只有业务方真正理解风险和防控思路，才能在与黑产的对抗中设计好业务规则、运营好安全策略，取得较好的效果。如果读者正在关注该领域或从事相关工作，我们相信本书一定能够为您提供帮助。 我们相信本书将成为中国互联网历史中一个微小但坚硬的符号。以当前互联网的进化速度，若干年后本书介绍的风控体系可能会被新技术完全重构，行业态势也会有很大的不同。后来者可以通过本书观察和体会行业与技术的演进轨迹，进而把握未来的发展趋势。 用工作之外的时间把自己的想法变成数十万字的图书，是一件非常考验耐心的事情。除了三位主要作者，还有以下几位同学坚持参与撰写本书的部分内容。 ? 李克勤、章岚撰写了“第2章 黑产武器库概览”、“第10章 黑风险数据名单体系”和“第11章 黑欺诈情报体系”章节的初稿。 ? 郭嵩、彭亮撰写了“第4章 黑风控核心组件设备指纹”中Web设备指纹和JS混淆相关内容的初稿。 ? 赵峰撰写了“第5章 基于用户行为的生物探针”章节的初稿。 ? 江杰撰写了“第6章 黑智能验证码的前世今生”章节的初稿。 ? 贺海军、王明英撰写了“第12章 黑机器学习算法的使用”实战案例相关的内容。 ? 刘莹撰写了“第13章 黑互联网反欺诈实战”章节的初稿。 在稿件完成之际，有特别多想感谢的朋友。在过去的一年中，罗小果等同事运作的项目，促使我们对业务安全防御体系有了更深入的思考，使得本书的整体框架更具有逻辑性。在完成初稿后，陈钧衍等多位技术同事给出了很多非常好的修改建议。感谢电子工业出版社的策划编辑符隆美，感谢我们的同事韬哥、伟哥、艺严等，感谢“蓝星技术群”的互联网安全同行，没有你们的鼓励和帮助，也许就不会有这本书的面世。 作为互联网安全从业者，回顾这几年走过的路，黑产的技术发展和规模膨胀给我们带来了很大的压力，同时也让我们有了更大的动力去构建更加有效的安全防御产品体系。在此我们向互联网安全行业中诸多提携我们成长的前辈和守望相助的朋友们致敬，他们是alert7、binw、cnhawk、coolc、cy07、flashsky、huiwang、instruder、kevin1986、lake2、lenx、linkboy、marcohp、mkliu、oldjun、pix、rozero、scz、tb、xi4oyu、xundi、方斌、丁丽萍、顾孔希、高亮、何艺、刘进、林鹏、马坤、聂君、秦波、王彬、王任飞、王英健、阎文斌、杨珉、赵弼政等等（排名不分前后），还有很多很多行业拓荒者和同行者，在此难以一一列举。 由于作者写作水平有限，书中难免存在疏漏与不足之处，恳请读者批评指正。就本书覆盖的内容而言，在反爬虫、反洗钱、业务生态秩序安全治理及用户安全心智建设等深水区没有进行深入阐述，我们也是心有遗憾并且希望能够在下一本书中弥补，敬请期待。 马传雷

引言 互联网业务安全概述 1 第一部分 洞察黑产 第1章 黑产发展态势 8 1.1 黑产组织结构 8 1.2 黑产成员分布 11 1.3 黑产专业化分工 12 1.4 黑产攻击规模 13 1.5 电信欺诈黑产 15 1.6 本章小结 16 第2章 黑产武器库概览 17 2.1 虚假号码 17 2.1.1 猫池 18 2.1.2 短信验证码 20 2.1.3 接码平台 21 2.1.4 空号注册 22 2.1.5 流量卡和物联网卡 22 2.1.6 手机rom后门 23 2.2 代理IP 23 2.3 设备伪造工具 25 2.3.1 改机工具 25 2.3.2 多开工具 26 2.3.3 Root/越狱工具 27 2.3.4 Xposed 28 2.3.5 Cydia Substrate 28 2.3.6 Frida 28 2.3.7 硬改工具 29 2.3.8 脱机挂 29 2.3.9 备份恢复/抹机恢复 30 2.3.10 模拟器 32 2.3.11 定制浏览器 33 2.3.12 自动化脚本 34 2.4 其他工具 35 2.4.1 位置伪造工具 35 2.4.2 群控 36 2.4.3 工具集 42 2.5 本章小结 43 第二部分 体系构建 第3章 反欺诈体系建设思路 46 3.1 动态防控理念 46 3.2 防控体系构建 47 3.3 本章小结 50 第4章 风控核心组件设备指纹 51 4.1 设备指纹的原理 51 4.2 设备指纹的技术实现 52 4.2.1 Android设备指纹 52 4.2.2 iOS设备指纹 54 4.2.3 Web设备指纹 56 4.2.4 设备ID生成与恢复逻辑 58 4.2.5 被动式识别技术 61 4.3 代码保护 62 4.3.1 JS代码混淆技术 63 4.3.2 Android/iOS SDK加固保护 77 4.4 本章小结 92 第5章 基于用户行为的生物探针 93 5.1 生物探针 94 5.2 无感认证 95 5.2.1 无感认证的基础 96 5.2.2 无感认证的构建 97 5.3 生物探针的应用场景 100 5.4 本章小结 100 第6章 智能验证码的前世今生 102 6.1 验证码的诞生 102 6.1.1 验证码的本质 103 6.1.2 验证码的发展 105 6.2 验证码的攻防 108 6.2.1 字符验证码的识别 108 6.2.2 新型验证码的识别 112 6.2.3 对抗黑产的方案 115 6.3 设计一款优秀的验证码 117 6.3.1 设计标准 117 6.3.2 设计实战 118 6.4 本章小结 122 第7章 风控中枢决策引擎系统 123 7.1 规则引擎 123 7.1.1 脚本引擎 124 7.1.2 开源规则引擎 125 7.1.3 商业规则引擎 125 7.1.4 几种规则引擎实现方案的对比 126 7.2 规则管理 127 7.3 规则推送 128 7.4 规则执行 129 7.5 外部系统集成 129 7.6 灰度测试 130 7.7 本章小结 131 第8章 海量数据的实时指标计算 132 8.1 实时指标计算概述 132 8.2 实时指标计算方案 135 8.2.1 基于数据库SQL的计算方案 135 8.2.2 基于事件驱动的计算方案 135 8.2.3 基于实时计算框架的计算方案 136 8.2.4 实时指标计算方案对比 141 8.3 反欺诈实时指标计算实践 141 8.3.1 实时指标计算引擎原型 141 8.3.2 数据拆分计算 144 8.3.3 分片计算 147 8.3.4 引入Flink 148 8.3.5 Lambda架构 148 8.4 反欺诈实时指标计算系统 149 8.5 本章小结 151 第9章 风险态势感知系统 152 9.1 基于统计分析的方法 153 9.1.1 核心风控指标数据 154 9.1.2 核心业务数据 156 9.2 基于无监督学习的方法 157 9.3 基于欺诈情报的方法 158 9.4 预警系统 159 9.5 本章小结 160 第10章 风险数据名单体系 161 10.1 名单体系的价值 162 10.2 名单体系的设计 162 10.3 名单体系的生命周期 166 10.4 名单体系质量管理 168 10.5 本章小结 168 第11章 欺诈情报体系 169 11.1 情报采集 169 11.1.1 数据情报 170 11.1.2 技术情报 171 11.1.3 事件情报 174 11.2 情报分析 175 11.3 本章小结 179 第三部分 实战教程 第12章 机器学习算法的使用 182 12.1 机器学习的广泛应用 182 12.2 机器学习的落地过程 183 12.2.1 特征工程 183 12.2.2 模型选择 187 12.2.3 模型训练 195 12.2.4 工程化和业务落地 197 12.3 机器学习实战案例 198 12.3.1 案例一：黑产设备群控网络挖掘 198 12.3.2 案例二：黑产用户行为聚类分析 205 12.3.3 案例三：金融在线申请反欺诈 212 12.4 本章小结 220 第13章 互联网反欺诈实战 221 13.1 典型反欺诈业务场景风险分析 221 13.1.1 垃圾注册风险识别 222 13.1.2 批量登录风险识别 223 13.1.3 “薅羊毛”风险识别 225 13.1.4 裂变拉新作弊风险识别 227 13.1.5 “任务”作弊风险识别 229 13.1.6 恶意退单风险识别 229 13.2 解决方案设计示例 231 13.2.1 电商薅羊毛 233 13.2.2 裂变拉新 236 13.3 策略部署 239 13.3.1 策略配置 239 13.3.2 策略迭代 241 13.4 运营监控 241 13.4.1 监控预警报表 241 13.4.2 态势感知 242 13.4.3 情报监控 243 13.5 本章小结 244 第四部分 新的战场 第14章 物联网时代的风控 246 14.1 物联网安全态势 246 14.2 物联网安全威胁分析 247 14.2.1 云端平台安全威胁 248 14.2.2 网络通信安全威胁 249 14.2.3 设备终端安全威胁 250 14.2.4 物联网安全监管要求 253 14.3 物联网安全风险控制体系建设思路 254 14.4 物联网安全风险态势感知系统 256 14.5 本章小结 260 第15章 内容安全与合规 261 15.1 内容安全合规概述 261 15.2 文本内容安全 263 15.2.1 敏感词系统 264 15.2.2 基于NLP的AI模型 267 15.3 图像内容安全 271 15.3.1 图像分类 271 15.3.2 敏感人物识别 276 15.3.3 图像文字识别 285 15.4 语音内容安全 286 15.4.1 有语义语音 286 15.4.2 无语义语音 287 15.5 视频内容安全 288 15.5.1 视频内容安全处理流程 289 15.5.2 关键帧提取 289 15.6 内容安全工程 290 15.7 内容安全系统的评价指标 291 15.8 本章小结 292 第16章 风控与数据合规使用 293 16.1 网络安全立法进程 293 16.2 个人数据合规使用 294 16.2.1 用户隐私政策 295 16.2.2 数据安全流转 296 16.3 数据合规技术创新实践 298 16.3.1 数据匿名查询 298 16.3.2 区块链共享黑名单 299 16.4 本章小结 300 第17章 海外风控公司 302 17.1 ARKOSE LABS 302 17.2 SIFT 304 17.3 FORTER 305 17.4 SHAPE SECURITY 306 17.5 OKTA 308 17.6 本章小结 313