互联网平台智能风控实战

互联网平台智能风控实战"

作者:王永会
ISBN:9787302594345
定价:¥99
字数:千字
页数:
出版时间:2022.01.01
开本:
版次:1-1
装帧:
出版社:清华大学出版社
简介

风控是互联网平台业务的重要环节。随着业务的迅速发展,黑灰产问题逐渐突出,大数据和人工智能技术的普及为智能风控提供了强力支撑。本书以作者实践经验和总结为基础,介绍搭建智能风控系统对抗黑灰产的方法。全书共10章,按如下思路组织内容:

(1)认识问题:第1章介绍常见的黑产类型,解密黑产运转的内幕,带读者认识建立风控体系的必要性。

(2)分析问题:第2章分析风险范围和种类,提出智能风控的系统框架和需要的各项能力,从整体上介绍智能风控系统,避免一开始就陷入技术细节。

(3)解决问题:包括第3~8章,介绍搭建智能风控系统需要的软硬能力,包括理解业务和避免过度黑盒的实用方法、数据建设、常用技术手段(监督学习、迁移学习、GNN等)、量化评估和可视化效果呈现。

(4)总结与展望:包括第9章和第10章,总结搭建智能风控系统的注意事项,简单展望智能风控技术的发展趋势和前景。

本书内容源自作者的工作实践和经验总结,适合风控从业人员(技术管理者、分析师、算法工程师、产品经理)以及其他对互联网风控感兴趣的人员阅读。

前言

推荐语

随着现代互联网科技的发展,以互联网平台为支撑的业务遍地开花,由此引发的黑色产业不断滋生,营销、欺诈、信用风险等方面都面临一定的挑战,如何建立并迭代企业的智能风控体系显得尤为重要。 

《互联网平台智能风控实战》一书全面介绍了风控体系建立的背景、如何理解业务场景、数据的处理流程、常用风控手段以及实际案例,从系统开发到业务实践,全方位展示了智能风控系统在互联网平台的实战应用,深入浅出并系统地讨论了智能风控体系进化历史和发展全景,对于想要快速了解智能风控的从业人员是一本难得的参考书,同时对于业务及研发人员具有很好的参考和借鉴价值。 

耿艳坤,顺丰速运集团 CTO、顺丰科技 CEO 

《互联网平台智能风控实战》一书侧重讲解搭建智能风控系统的思路框架,引导读者从全局视野了解风控,从业务全流程去思考,采用多种技术路径去实施,并归纳出智能风控管理应做到全链路覆盖、依托丰富的大数据、从业务源头上减少风险、灵活管控,非常具有参考价值。 

唐会军,数美科技 CEO 

在互联网的江湖里,黑灰产是一股神秘又恼人的力量,而与黑灰产的对抗又是互联网平台无法回避的问题。《互联网平台智能风控实战》一书结合作者多年的一线作战经验,给出了一整套与黑灰产对抗的智能风控体系,既能从技术手段给出实操建议,又能跳出技术,从更高视角来理解风控,从整体上思考解决方案,相信会给读者带来有益的启发。 

巴川,竞技世界首席数据科学家、CCFTF 数据科学 SIG 主席 

随着互联网领域技术的快速发展,网络黑灰产已经形成成熟的产业链。据测算,网络黑产从业人员已过百万,市场规模达到千亿元级别。同时,黑产技术和风控手段也在随着攻防对抗过程不断演变,虽然有关黑产以及攻防技术的文章发表不少,但是都缺乏系统性。《互联网平台智能风控实战》一书作者长年在一线工作,在同黑产对抗中积累了丰富的实战经验,对黑色产业链有着深入的研究和总结。本书首先介绍了黑色产业链,然后从业务、数据、规则防控、实战、评估、平台等维度系统讲解了对应的风控解决方案,深入浅出,是当下业务安全领域少有的专业图书,非常值得一读。 

陈成,快手业务安全负责人 

推荐序一 

在硝烟四起的互联网平台大战结束之后,留给人们最深的印象可能就是无处不在、越来越多的平台补贴了。商家收获了潮水般突然涌来的用户,用户体验到了远高于价格的超值服务,平台快速扩大了市场占有率,投资人眼看着公司估值节节攀升——大家似乎各取所需,皆大欢喜。然而,盛宴之后很少有人会真正关心互联网产业的长期健康发展,更少有人会认真思索如何借助基于数据和算法的先进技术手段,去挤出繁荣里的虚假泡沫,维护平台上的良性增长。 

在《互联网平台智能风控实战》一书中,作者基于自己在一线互联网平台公司的长期实战经验,帮助大家建立起一套科学地收集、加工、评测和呈现大数据的智能风控方法论,能够指导工作在互联网行业不同场景下的业务、产品和研发人员,能够更加及时、精准和全面地掌握商业活动的真实状况,制定更能贴合实际的商业决策。在当今互联网平台经济迅猛发展的风口浪尖,本书所倡导的“技术要理解业务、服务产品”的思路,将能从根本上有效对抗黑产风气,最终带来整个行业的有序发展。 

智能风控技术虽然来源于数据和算法,但又不限于冷冰冰的规则和指标。风控技术对抗的是利益背后的人性。相信读者们能够从本书的实战经验中,体会到那一场场攻防对抗战之下隐藏的复杂利益关系和算计取舍。智能风控之所以能够有效地建立起保护正常商业行为、促进合理商业生态屏障的逻辑,最终依赖的也是技术专家在设计模型与系统时,综合考虑数据的价值、损益的平衡、信息的隐藏和权力的制约,等等,这些都是需要反复博弈的因素,也是本书最引人入胜的地方。 

所谓魔高一尺、道高一丈,互联网平台上的智能风控战争永远不会有终结的一天,不过这也是这项事业最让人着迷的一点。希望大家跟随作者对智能风控技术发展趋势的解读,更加深刻地理解这门学问中需要反复揣摩的门道,在未来更为广阔的数据安全治理空间中,创造更大价值,发现更多商机。 

蒋凡,京东科技集团智能城市副总裁、《智能增长》作者 

推荐序二 

为什么互联网平台需要智能风控?智能风控是什么?如何系统化地构建智能风控体系以应对平台运营中面临的各种风险挑战?这三个问题不仅需要我们从理论层面去探索和研究,更需要我们从各互联网平台的业务实践中去总结和认识。 

互联网的发展极大地推动了我国数字经济的发展,与此同时,平台在拉新、留存促活、交易、内容生产与传播等运营环节也面临着越来越严峻的欺诈风险。黑产遍布在互联网的各个领域,无论一个平台提供的是什么样的产品服务,都会成为黑产的套利目标。 

如果平台做拉新活动,黑产就会造大量的虚假账号“卖”给平台;如果平台做促活活动,黑产就会造大量的虚假活跃“卖”给平台;在下单交易中,黑产可能采用盗刷、恶意退款等方式,让平台货、款两空;如果平台上存在有价值的数据,黑产就会盗爬数据并进行倒卖;如果平台存在榜单,黑产就会通过提供“刷榜”服务来获利;如果平台存在 UGC,黑产就会通过发送大量违法诈骗广告进行套利。总之,对于黑产来说,产品是什么不重要,利益才是唯一的思考角度。面对每天金额庞大的损失,对平台来说打击黑产刻不容缓。 

最近几年,网信办对互联网行业监管趋严,重拳打击了很多涉政治敏感、黄赌毒以及三俗内容的产品。互联网不是法外之地,在此背景下,加强互联网平台业务和内容风控意识,建立完善的风控制度,构建以反欺诈反垃圾为核心的风控系统和机制显得尤为重要。而互联网的飞速发展也让我们清醒地认识到,对于不同规模、不同实力及处于不同经济发展水平的平台来说,风控的侧重点、切入点及路径也应有所不同。平台需要从自身条件出发,制定适合自身情况的规划。 

本书侧重讲解搭建智能风控系统的思路框架,引导读者从全局视野了解风控,从业务全流程去思考,采用多种技术路径去实施,并归纳出智能风控管理应做到全链路覆盖、依托丰富的大数据、从业务源头上减少风险、灵活管控。 

本书分为 10 章,从黑产、解决方案、业务、数据、模型、应用、工具、痛点、挑战与未来等角度,对互联网平台智能风控进行了精辟的总结分析。 

最后,特别感谢王永会先生邀请我为本书写序,数美科技作为一家专业的在线业务风控解决方案服务商,将持续关注智能风控领域,为塑造智能风控商业价值和实现健康向上的互联网生态贡献微薄的力量。 

唐会军,数美科技CEO

 

互联网平台业务发展迅猛,产品迭代以快节奏见长,营销推广多以线上为主,这些特点是平台业务的优势,同时也深受黑灰产的喜爱。黑灰产有发达完善的情报和监控体系,也有成熟配套的刷量工具和研发资源,任何产品的漏洞和玩法都会被黑灰产在短时间内研究得明明白白,刷量一触即发。 

本书所讲的风控面向的就是与黑灰产对抗的问题。时至今日,黑灰产已经发展得 非常成熟,软件架构和基础工具都能够根据不同产品和业务快速调整定制。反观风控,在不少中小企业中遇到刷量问题时,既无风控人员又无风控措施,只能临时抱佛脚,花费人力、物力不停地趟路,研究对抗之法。实际上很多大型互联网公司早已积累沉 淀了成熟的方法论,但由于风控内容较为隐秘,无法较为直白地系统化描述。本书试 图通过笔者在实践中的一些经验体会,讲述构建智能风控系统的粗略框架,希望能够给还在趟路的从业人员提供参考。 

本书不追求具体潮流的某个技术、某个模型来解决单个具体案例,而是强调搭建 智能风控系统的思路框架,引导读者从整体上思考解决方案,从更高的视角来理解风控。 

全书共 10 章,按照如下思路组织内容: 

(1)认识问题:第 1 章介绍常见的黑产类型,解密黑产运转的内幕。 

(2)分析问题:第 2 章提出智能风控的系统框架和需要的各项能力,从整体上介绍智能风控系统,承上启下。 

(3)解决问题:包括第 3~8 章,介绍搭建智能风控系统需要的软硬能力,包括理解业务和避免过度黑盒的实用方法、数据建设、常用技术手段、量化评估和可视化效 果呈现。 

(4)总结与展望:包括第 9 章和第 10 章,总结搭建智能风控系统的注意事项,简单展望智能风控技术的发展趋势和前景。 

书中第 6 章介绍了一些场景和案例,一方面便于读者更好地理解技术手段的应用,另一方面也想通过这些案例说明一个问题:任何一个被黑产盯上的场景,想要彻底解决问题,都需要多手段、全链路地防控。书中多次强调数据打通,有些案例的解决方案读者可能会觉得有些别扭,原因就在于数据无法获取。笔者认为大数据的维度丰富性一定程度上需要跨产品跨平台的数据打通才能做到,体现到业务上就需要全链路的防控,全链路防控也是避免单节点不断暴露问题的必经之路;而智能则只是把大数据的维度发 挥出来的一个技术手段。 

在写作之初,笔者信心满满。写到中间处,已觉自己站在愚昧之巅,随着在工作中认知的不断变化,书中内容写了删、删了又写,一度进入绝望之谷。书中内容多是自身体会,难免有认知错误之处,恳请广大读者批评指正。 

书中很多想法的落实,离不开领导和团队成员的大力支持,在此诚挚感谢耿艳坤、崔代锐、蒋凡、戴少伟的指导和培养,感谢刘梦宇、谭星、徐龙飞、魏尧、李子杰、田会会、张正龙等兄弟们的努力和贡献。起笔容易,坚持不易,时间和精力有限,感谢家人的理解和支持。 

谨以此书献给我的孩子。虽然书中内容还有很多可完善之处,虽然拖拖拉拉持续了很长时间,但最终还是坚持写完了,希望你长大以后能克服惰性、坚持长期主义,不要贪图瞬时满足感,哪怕学个滑板车,想要灵活自如地滑行也需要长久地多多练习。 

王永会 

2021 年 10 月 

目录

目? 录 

第1章 

解密黑产 

1.1 认识黑产 / 2 

1.1.1 黑产的危害 / 2 

1.1.2 黑产的产生 / 4 

1.1.3 黑产的类型 / 5 

1.1.4 黑色产业链 / 6 

1.1.5 黑产的焦点 / 9 

1.2 黑产运作 / 10 

1.2.1 外卖领域的黑产运作 / 11 

1.2.2 出行领域的黑产运作 / 13 

1.2.3 金融领域的黑产运作 / 14 

1.2.4 黑产的特点 / 15 

1.3 黑产技术演变 / 16 

1.3.1 风险控制的发展阶段 / 16 

1.3.2 黑产的发展阶段 / 17 

第2章 

风控解决方案 

2.1 风险的范围和种类 / 20 

2.1.1 风险的范围 / 20 

2.1.2 风险的种类 / 20 

2.2 风控的团队配备 / 21 

2.3 智能风控的技术思路 / 23 

2.3.1 智能风控的定义 / 23 

2.3.2 设备指纹 / 23 

2.3.3 规则引擎 / 25 

2.3.4 监督学习模型 / 28 

2.3.5 无监督学习模型 / 30 

2.3.6 知识图谱 / 36 

2.3.7 深度学习 / 37 

2.3.8 联防联控 / 39 

2.3.9 系统化解决方案 / 41 

2.4 风控系统框架实例 / 44 

2.4.1 外卖风控系统框架 / 44 

2.4.2 电商风控系统框架 / 45 

2.4.3 金融风控系统框架 / 47 

2.4.4 视频风控系统框架 / 49 

2.4.5 小结 / 50 

2.5 智能风控系统的构建要点 / 50 

第3章 

核心:理解业务、服务于产品 

3.1 风控、业务和产品 / 54 

3.1.1 风控工作的生存困境 / 54 

3.1.2 如何理解业务 / 55 

3.1.3 业务理解的认知表现 / 56 

3.1.4 业务理解的行动表现 / 58 

3.1.5 数据和模型论 / 60 

3.1.6 理解业务的风控实例 / 61 

3.2 风控需要被理解 / 62 

3.2.1 模型可解释性 / 63 

3.2.2 全局解释 / 64 

3.2.3 模型相关的解释方法 / 72 

3.2.4 模型无关的解释方法 / 75 

3.3 引导型风控 / 87 

第4章 

关键:数据的重要性 

4.1 数据的价值 / 91 

4.2 大数据风控误区 / 92 

4.2.1 大数据风控污名化 / 92 

4.2.2 被忽视的数据质量问题 / 93 

4.2.3 大数据并不“大” / 93 

4.3 数据的搜集 / 94 

4.3.1 数据源 / 94 

4.3.2 埋点采集 / 95 

4.4 风控数仓 / 97 

4.4.1 风控数据流程 / 97 

4.4.2 大宽表与数据指标 / 100 

4.5 特征工程 / 102 

4.5.1 特征构造 / 102 

4.5.2 特征加工处理 / 103 

4.5.3 特征选择和降维 / 107 

4.6 案例 / 114 

4.6.1 一个简单的例子 / 114 

4.6.2 Kaggle 比赛的例子 / 117 

4.7 风控的数据输出 / 118 

4.8 数据可视化分析 / 120 

第5章 

手段:规则、模型和监控 

5.1 设备指纹 / 124 

5.1.1 Hook 机制 / 125 

5.1.2 反 Hook / 128 

5.1.3 设备指纹技术 / 131 

5.1.4 模拟器 / 135 

5.1.5 群控 / 云控系统 / 138 

5.2 规则引擎 / 141 

5.2.1 规则引擎的总体架构 / 141 

5.2.2 规则引擎的核心技术 / 143 

5.3 风控模型方法 / 146 

5.3.1 评分卡 / 146 

5.3.2 监督学习模型 / 155 

5.3.3 样本不均衡处理策略 / 158 

5.3.4 PU Learning / 173 

5.3.5 主动学习和迁移学习 / 175 

5.3.6 社区发现 / 178 

5.3.7 异构网络的密集子图挖掘 / 190 

5.3.8 图神经网络(GNN) / 200 

5.3.9 知识图谱 / 210 

5.3.10 其他算法模型 / 218 

5.4 监控 / 220 

5.4.1 大盘指标监控 / 221 

5.4.2 规则监控 / 222 

5.4.3 模型稳定性监控 / 224 

5.4.4 变量级监控 / 228 

5.4.5 情报和舆情监控 / 230 

第6章 

场景:反制手段的应用 

6.1 系统性防御 / 233 

6.2 刷销量、好评、排名、榜单 / 234 

6.2.1 背景 / 235 

6.2.2 技术手段 / 237 

6.2.3 案例 / 240 

6.3 刷红包、优惠券 / 243 

6.3.1 背景 / 243 

6.3.2 技术手段 / 245 

6.3.3 案例 / 245 

6.4 刷团伙、群控、BC 联合套现 / 255 

6.4.1 背景 / 256 

6.4.2 技术手段 / 257 

6.4.3 案例 / 259 

6.5 虚假商户、虚假申请、虚假账号、 

多角色联合的虚假孤岛 / 274 

6.5.1 背景 / 275 

6.5.2 技术手段 / 275 

6.5.3 案例 / 276 

6.6 刷广告、渠道推广 / 282 

6.6.1 背景 / 284 

6.6.2 技术手段 / 286 

6.6.3 案例 / 291 

6.7 舞弊刷业绩—销售 / 296 

6.7.1 背景 / 296 

6.7.2 技术手段 / 298 

6.7.3 案例 / 299 

6.8 内容风险 / 311 

6.8.1 背景 / 312 

6.8.2 技术手段 / 312 

6.8.3 案例 / 313 

6.9 物流作弊 / 320 

6.9.1 背景 / 320 

6.9.2 技术手段 / 321 

6.9.3 案例 / 322 

6.10 分角色治理 / 323 

第7章 

评估:损失与收益的平衡 

7.1 评估的意义和困难 / 327 

7.2 评估指标 / 328 

7.2.1 有明确样本集的评估 / 328 

7.2.2 无明确样本集的评估 / 332 

7.3 样本来源 / 335 

7.4 A/B 测试 / 336 

7.4.1 A/B 测试原理 / 336 

7.4.2 风控中的 A/B 测试 / 337 

7.5 损失与收益评估 / 338 

7.5.1 业务损失和收益评估 / 338 

7.5.2 风控视角的损失和收益评估 / 339 

7.5.3 实施方法 / 339 

第8章 

管理平台:直观的可视化工具和管控工具 

8.1 管理平台的重要性 / 342 

8.2 可视化看板 / 343 

8.3 可解释性与可视化 / 347 

8.4 查询分析平台 / 354 

8.5 监控和引擎配置平台 / 356 

8.6 其他工具 / 357 

8.7 小结 / 358 

第9章 

风控的挑战与智能风控系统的搭建原则 

9.1 风控的痛点与挑战 / 360 

9.2 搭建智能风控系统的原则 / 362 

9.3 搭建智能风控系统的注意事项 / 364 

第 10 章 

风控的未来技术 

10.1 未来的技术趋势 / 370 

10.2 智能风控公司的机遇 / 373 

作者简介

编辑推荐

1.揭露鲜为人知的黑产运转内幕

2. 详解风控系统搭建的五大核心能力

3. 呈现典型场景的八大实战案例

作者寄语

王永会,2012年毕业于北航,先后任职于腾讯、百度,长期从事风控工作,依托大数据和机器学习技术建立了以健康度模型为中心的智能风控体系,在黑灰产打击方面积累了丰富经验。

电子资料

www.luweidong.cn

下一个