我们能相信统计么？ 抛了5次硬币，结果都是正面，抛硬币是否肯定是正面？如何从高层的统计指标看透数据后面的本质？如何在大数据时代获取战略制高点，确定自己的职业发展定位？从一个互联网公司数据分析师的成长经历，为您娓娓道来，数据分析中的奇闻趣事、心得总结、方法技巧与哲学感悟。

序 李 湛 自从2011年麦肯锡提出大数据是未来之星，这几年里，大数据俨然越来越火。不同于其他转瞬即逝的概念，大数据能持续火爆，的确有缘由在。信息产业的发展，使数字化记录变得容易；互联网的爆发，使越来越多社会和个人的行为转移到线上，线上化又天然是数字化的过程。如今若不考虑隐私问题，通过线上数据准确勾勒一个人已非常容易。另一方面，硬件计算能力的提升，以及以Hadoop为代表的分布式软件计算能力的提升，使超大规模数据存储和计算不再成为瓶颈。自然语言、声音、图像和视频技术近年发展迅猛，充分反映了软硬件能力的提升。同时，大数据也在确确实实地革新行业，比如营销领域。短短十几年，以Google为首的互联网媒体，充分挖掘了数据的价值，实践和发扬了计算广告这一新兴领域，颠覆了营销行业格局，以营收计，Google已经成为世界上最大的广告公司。大数据的价值，已经被事实证明。 从营销行业的经验看，数据想要产生价值，有两个关键点： 第一，特征能被数字化； 第二，目标能量化。 大数据的目的是通过数据解决业务问题，这就首先需要业务能被数字化地描述和记录。而且，数据的价值跟其充分程度是乘数级关系，数据越“大”越有价值。同时，业务上要解决的问题需要是清晰的，目标量化就是清晰化。有了量化的目标，形成优化的闭环，数据的价值就能不断加强。数字营销领域，数据化程度高，覆盖人群充分，具备了第一个要素。数字营销的目标又很清楚：媒体获得最大的媒体价值、广告主获得最具性价比的投资回报，这些可以用CPM、ROI等做较为准确的量化描述。这样，又具备了第二个要素。金融领域、电商领域也是类似。只要能充分数据化，目标能量化，能不断持续优化，数据就能发挥巨大的价值。 在营销领域，大数据提升的是精准性，本质是效率改进。在内部运营领域，大数据也能提升精准性，本质也是效率改进。这也解释了大数据在中国为什么会上升到国家战略：大数据的本质是对效率的提升，是对精细化的追求。我国的很多行业过去享受了太多政策、人口之类的红利，粗放经营也能发展得很快。可如今面临经济转型，精细化才有竞争力。在中国，大数据是一个双肩Gartener曲线，第二个热度就是来自于政府在2015年的大力提倡。为什么提倡？就是因为大数据是促进经济转型的发动机。 数据的另一层价值，在于“连接”。不同的行业，就好像不同的语言，如果没有翻译，就很难做信息交换，自然很难碰撞出价值。而业务数据化的过程，就是翻译的过程，不同的行业、业务问题，都被统一的语言——“数据”来描述了，跨行业的交流就变得容易，创造价值的机会也出现了。此时，数据的互通互联还要解决抽象层次、结构化、交换标准等问题，但解决这些问题就像解决方言问题一样，难度已经降维成工作量了。如今的大数据创业，基于数据交换和交易、公私数据结合进行价值挖掘的方向发展得很快，就是因为其能创造“连接”的价值。这也解释了，为什么大数据与互联网+的结合是天然有机的。跨行业跨领域的创新，数据化程度本已很高的互联网和数据潜力巨大的实体行业的碰撞和创新，自然需要大数据作为基础支撑。 大数据的热度之一体现在资本的角度。不管A股市场还是创投领域，大数据类的企业都受到追捧，经常能获得高溢价。热度之二体现在注意力的角度。如今“大数据”这个词几乎已是家喻户晓，虽然事实上很多人还不太明白大数据本质是什么。这些热度有副作用，但也有好处：资本会加速市场的成熟，注意力会使得市场教育的难度降低。市场的发展既有必然性又有偶然性，这两个热度都会增加必然性的概率，终究是好事。 当市场环境大好，自身的判断力就变得重要。如何去提升对大数据的判断力？本书就是最好的途径。细细读下来，感觉本书有以下几个特点。 第一，重根本。本书不堆砌概念，不讲求大而全，甚至不讲求论述的严谨性和行文上的优美，但善于从原理讲起，重在剖析根本。“知其所以然”是最好的理解和记忆。 第二，娓娓道来。本书的话题其实严肃甚至深奥，但作者把自己学习、思考的过程分享出来，从容而自然，让读者有很强的代入感。学习可以是教科书式的枯燥，也可以是娓娓道来的轻松，考验的就是作者的功力。 第三，重实战。作者在广告大数据领域浸润多年，书中到处可见实战而来的经验或者示例，鲜活而深刻。 在轻轻松松中学习，理解其本质，辅以实战的案例，阅读本书的过程，愉快而又受益。 我之前与作者共事时，同事们都称作者为“毕老师”。看似玩笑，却十分贴切。作者乐于分享，更重要的是擅长分享，本来复杂的概念，在他一剖一析之间，听者茅塞顿开。这种感觉，在我多年求学的生涯里，只寥寥数次。 非常欣喜地看到作者新书的问世，直接向身边的人分享，范围始终有限，沉淀为书，分享的能力圈就大了很多。写书从来不是个轻松的生意，机会成本高，性价比差，也只有责任感和享受分享的乐趣才是作者最大的动机。为人师，乐分享，善莫大焉。 李湛（曾任百度研发总监，现任游族首席技术官） 自 序 我在互联网行业工作7年，虽然很早就开始积累本书的内容，相关讲座也大受欢迎，但并没有成书的想法。由于一个偶然的契机，感觉需要通过成书来更好地使自己的积累体系化，同时为数据技术的传播贡献一点自己的力量，所以有了此书的面试。 数据分析是一种非常通用的技能，所有存在数据分析需求的产品、研发、销售、运营及管理人员等都是本书的受众。尤其适合有一定的基础或实践，想系统化地提升能力和扩大视野的同学。另外，本书的后半部分适合期望了解大数据理念和技术精髓的高层管理者。 全书按照“先道后术，以道驭术”的结构组织。第一篇：数据分析之道分为“业务调研”、“创新思考”、“逻辑推理”、“可行建议”四个关键要素来讲述，从“业务”出发到“业务”落地，完整地介绍有效数据分析的核心原则，对应本书的第一章。第二篇：数据分析之术按照“统计指标是怎样被发明的”，“能否相信统计推断”、“如何运用统计分析”和“统计建模等高级工具”四个要素来组织，内容由浅入深，遵循人类了解事物的逻辑：“怎么来的→能使用吗→怎么使用→深入方法”，分别对应第二、三、四、五章。第三篇：数据分析之释，谈谈一些数据技术从业者的常见问题，包括大数据的价值、企业如何向数据技术转型、个人在数据行业中的职业选择、以及数据技术团队的管理经验，对应书籍的第六、七章。 我创作本书有三个鲜明的风格。 风格1：写一本既讲“是什么”也讲“为什么”的书，谈“知识”也谈“思考”的书。 在《苏菲的世界》一书中关于“哲学家和好奇心”有一段话：“尽管我们都想过哲学性的问题，却并不一定每个人都会成为哲学家。由于种种理由，大多数人都忙于日常生活的琐事，因此他们对于这世界的好奇心都受到压抑。”孩子和哲学家均持有对世界的好奇心，只是大部分孩子在成长的过程中失去了它，而哲学家则一直没有放弃。 在现实生活中，普通人太习惯于生活周围发生的事情了，导致我们只是被动地接受知识和事实，却甚少思考“为什么”。如我学习游泳和滑雪的亲身经历，教练在蛙泳教学时，指示手脚要在时间上间隔开运动，但从未解释为什么要这样做。实际上，在手划水的时候腿处于伸直、夹紧的状态（腿的阻力最小），而蹬腿划水的时候，手处于向前伸直的状态（手的阻力最小），使得两者推进的力气不互相干扰，身体一直处于直线型，运动效率最高。很多初学者都爱犯这个错误，手脚滑动频率很高、很费力，但速度快不起来，因为手脚互为阻力，身体总处于张开的状态。教练在滑雪教学的时候，讲述拐弯的做法是将身体重心转移到单脚上，另外一只脚虚悬，即单脚滑雪，但他同样没有解释为什么。实际原因是重力较大的那只滑板速度会变快，而一只滑雪板速度快，另一只滑雪板速度慢，整个身体自然会发生旋转。如果两位教练能把这些原理的前因后果讲清楚，相信大家学习游泳和滑雪的时候会更有体会，也学得更快。 很多事情的结果很重要，但思考过程更重要。以我个人感觉，数学史比数学更启迪人的思维。真心期望在高中和大学的数学课本中，减少一些知识的教学，而增加数学史的内容。因为数学知识只是思考的成果，而数学史才是思考的过程。例如翻开高中代数或几何的课本，翻开大学微积分或线性代数的课本，会发现教科书以非常清晰的结构，完整地组织了这些知识成果。但科学家是怎样研究发明这些知识的？研究过程是从第一章到最后一章顺序进行的吗？他们碰到了什么实际问题，怎样进行思考的？为何这些学科的知识呈现出现在的样子？这些内容才是真正重要的，因为它使我们学习到科学家的思考方式，而不是思考结果。近两年一些领域出现的科学史作品，如《上帝掷筛子吗：量子物理史话》，正是这样的写作方式，给我带来很大启发。 所以，本书是一本注重讲解数据分析思想的书。相信读者先学习数据统计的思想，再去学习数据统计知识，会有庖丁解牛之感，如果这本书能够达到这样的效果，也是我最大的期望。 风格2：写一本“快乐”的书，而不是“刻苦”的书。 先与大家分享两个故事和自己的心得。 故事1：有个老人习惯每天在公园的角落静静地享受静谧时光。突然某天来了一群孩子，非常快乐、非常吵闹地在公园角落这玩泥巴。由于小孩子天天大声吵闹，老人感觉自己的生活被严重打扰了，于是想了一个办法。第一天和孩子们说，“你们欢乐地玩耍让我看着非常舒心，以后你们每天都来玩吧，我给你们10美元一天”。孩子们乐坏了，很高兴地答应了。到了第二周，老人又说“我最近手头有点拮据，只能每天给5美元了”。孩子们想了想也可以接受，依然每天来玩耍。到了第三周老人把金额降到了2美元，直到第四周老人和孩子们说“我的经济条件其实不太好，以后能不能就不给大家钱了，让我免费看大家玩耍呢？”。孩子们纷纷大怒“我们这么用心、这么累地玩耍，容易吗？！”，之后再也不来公园这边玩了。老人最终获得了自己想要的清净。 故事2：小时候写作文，老师拟定的题目是《爱迪生：成功是99%的汗水+1%的灵感》，记得所有同学的文章都从各种角度写“爱迪生平时工作多么多么的刻苦，毅力是多么多么的强大，值得我们学习！”，总结一句话：人要想成功，必须十分刻苦才可以！长大以后，发现实际上并不完全是这么回事。爱迪生每天工作12个小时以上，晚上还要花3～4个小时读书，这难道真的是意志和刻苦所致的吗？他自己坦承：“在探索世界的途中，我感受到了极大的愉悦和乐趣”。换句话说，我们不应该说他是在“刻苦”工作，而是在“快乐”工作。他每天做实验、读书和研究的过程是一种乐趣和享受。 这两个故事给我触动很大，工作和生活是有一些原始的兴趣和快乐的，但这个社会不断地将薪酬、地位、名声等一些价值观强加到我们头上，逐渐让我们认为工作就是为了薪酬、地位、名声，就如故事1中的老人改变孩子们的想法一样。在这个过程中，人很容易迷失自己，使得努力做事的原因由乐趣变成“有用”这样功利性的衡量准则。与大家分享这两个故事的目的，并不是说追求“有用”就不对，而是在追求的过程中不应该忘记做事本身的乐趣。很多人在这个过程中，变成了为了被灌输的“人生目标”不断“刻苦”忍耐过程的人。而我希望自己成为，为了自己确定的“人生目标”不断享受过程的人，也期望向往后一种生活的人越来越多。 回到本书内容的写作上，这本书的目的是让大家理解做好数据分析的关键和技术方法，但期望大家能以“快乐”的学习方式达成这个目标。所以这是一本轻松的书，刻意避开数学公式与大家谈谈数据分析背后的思想，并穿插我个人对很多事物的思考，辅以有趣的漫画故事。大家可能会发现本书的用例不那么正统，除了与数据分析主题直接相关的统计技术，间接相关的经济学、心理学、营销学和企业经营之外，还会有相当多的历史、文学和哲学方面的例子。这一方面是由于数据分析本身是一个辐射很广的学科，另一方面是因为：同一个思想，只有从决然不同的多个角度去认知，才能达到透彻的理解。所以我有意进行了发散的思考。当然，这也注定了这本书在某些环节欠完备。整个数学体系构建的过程也是数学思想的表达不断严谨、完备的过程，同样这个过程使数学离普通人越来越远。而我期望能够反其道而行之，与大家“快乐”享受探索数据分析技术知识的过程。 风格3：写一本实用的书而不是泛泛概念的书。 创作这本书的过程中，我与很多业界好友讨论这个话题，不少人都提到“数据技术的书，学术界有很多人写，在统计理论和算法模型方面确实讲解得非常清晰、详细，但如何应用到具体业务中往往没有提及，使用的案例也非常陈旧”。也就是说，大家缺少的不是统计知识，而是如何应用技术的实务方法。工业界一些讲新的数据技术的书籍又容易走另一个极端：大谈概念和发展，但没有讲技术实现的细节。 我很喜欢一些以“自传体”来讲道理的书，比如冯仑的《野蛮生长》、老雕的《MBA教不了的创富课》。可能这类书籍的内容的确不够系统和全面，但是有着极强的生命力，兼具独创性和实用性。我期望以我这些年的工作经历和积累为蓝本，写一本有独特心得的实用书籍。 这本书承载的最后一个作用是对我个人成长的帮助。在互联网从业7年，读过很多书、经历过很多项目，发现如果不早日形成自己的知识体系，所学知识和项目经验就如向桌子上倒水，倒再多的水也积存不住。一旦形成了自己的知识体系，通过沉淀成书来强化，就如有了一个盛水的杯子，所学知识和项目经历会源源不断地注入其中。将更本质的知识从历史的应用场景迁移到未来的应用场景，需要对知识有更深层次的抽象，所以本书体系化方法论的总结对我自身也有很大帮助。 近些年，我的研究方向会集中在：数据技术（数据分析、机器学习）、经济学与商业、互联网产品这几个领域，所以向大家预告，未来几年，我还会写一本机器学习的书（用漫画故事的方式讲解机器学习原理和应用心得）与一本从经济学、心理学和统计学角度思考互联网产品设计的书，请大家期待！ 可以通过“在行”（www.zaih.com）搜索我的姓名来约见我，当面探讨与数据技术相关的业务布局和思考；亦可以发邮件（biran1983@qq.com），互相分享与产品技术相关的内容。 感 谢 首先，感谢百度，生活在互联网大发展的壮阔时代，处于百度这样的顶尖企业，是我最幸运的经历。出色的平台、厉害的同事，前沿的项目，使我每天都在成长，这是本书得以沉淀的首要原因。 感谢我经历过的领导：陈清阳、田枫、刘子正、张文斌、李湛、郑子斌、付徐军、毛枫华、吴甜、孙雯玉（相识的时间顺序），和你们相处使我受益匪浅。感谢田枫，带我进入了数据分析的领域。感谢李湛，以一贯“广阔而深刻”的思考视角为本书做序。 感谢技术上同行的朋友们：田浩、赵世奇、夏粉、孙琳、张钋、候俊琦，为本书做了很多贡献。感谢田浩帮我梳理机器学习的框架，使得本书的第五章能够更清晰地呈现。感谢孙琳和候俊琦，不仅提出了很多详实的建议，还在写书的过程中不断给予认可和鼓励，让我能够坚持完成。 感谢产品上合作过的朋友们:戎文晋、余昌远、汪牧远、俞海，数据分析是改进产品的重要工具，感谢你们的意见，使得本书在很多方面更加“接地气”。感谢俞海专门为本书书名题字，“道”和“术”两字尽显神韵。 感谢百度技术学院（BIT）的朋友们（部分是曾经）：孙群芳、李黎、赵云宽、张轩，以及帮我做漫画图标的魏婷。在BIT授课分享是一个愉悦的、教学相长的过程。 感谢戴文渊、吴茗，以及4paradigam的伙伴们，和你们的思维碰撞，产生了书中相当重要且有趣的一些内容。 感谢成长路上对我有诸多帮助的伙伴们，林战刚、黄晶、王瑜、王熙、陈炯、闫觅、祝文祥，生命的经历由你们构成。 感谢王海峰、余凯、何海文老师，对本书高层面的指导，使得本书的内容更加专业。 感谢北京邮电大学的吴斌、王柏、张雷老师，加入实验室使我走上了数据技术这条道路，从事自己喜欢并擅长的事情，在今天回顾是多么的幸运。感谢人民大学的吴喜之教授，在百忙之中抽时间帮忙审阅文章中的统计内容，使得很多说法更加准确。 感谢袁晓洁为本书做了配画，对数据技术的深刻理解+形象的画笔，使得整个故事增色不少。感谢电子工业出版社的张瑞喜编辑，面对首次出书无经验的我，不厌其烦地进行修改，保证了内容的高质量。 最后，感谢我的家人，妻子和岳母对我生活的照料，能够让我专心致志。感谢我的父母，尤其是学地质的父亲花了很多精力校验了文稿。 愿与更多的朋友一道，专注“大数据技术”，探索世界并有所创造。 毕然 2016年 农历春节

目 录 第一篇 道 1 第1章 大数据分析之道 2 1.1 做好数据分析的关键 3 1.2 业务调研 10 1.3 创新思考 14 1.4 逻辑推理 25 1.5 可行建议 48 1.6 补充阅读：数据分析报告的撰写要点 51 第二篇 术 63 第2章 统计是怎么发明的？ 64 2.1 重启思维模式 65 2.2 统计的意义及指标 71 2.3 统计图形是如何设计的？ 102 第3章 我们能相信统计吗？ 115 3.1 统计可信吗？ 116 3.2 基于概率的信任 120 3.3 如何实现基于概率的信任？ 126 3.4 应用理念：细致与置信的权衡之道 140 3.5 评估：正确的认识世界 144 3.6 设计统计方案中的方法论 156 第4章 统计分析方法 159 4.1 拆指标-1 分布分析 161 4.2 拆指标-2 趋势分析 165 4.3 拆指标-3 因素分析 177 4.4 拆数据-1 个案分析 186 4.5 拆数据-2 异常分析 188 4.6 拆数据-3 分组分析 193 4.7 附加阅读：消费者偏好和企业差异化战略 197 4.8 不同分析方法的结合与创新 209 4.9 与领域相关的分析方法 213 第5章 数据分析的高级工具：OLAP与机器学习 220 5.1 OLAP技术 221 5.2 无监督学习模型 225 5.3 监督学习模型 234 第三篇 释 287 第6章 大数据时代 288 6.1 大数据的价值 289 6.2 企业如何向数据技术转型？ 301 6.3 数据技术的职业发展 315 第7章 数据技术团队组建和发展 331 7.1 自我修炼与领导团队 332 7.2 数据技术团队的组织结构 334 7.3 数据技术团队发展中的优劣势 336

百度资深数据技术专家，在检索系统、在线广告、商业营销等领域有丰富的大数据分析和建模经验。曾获得首届百度百万美金最高奖，并多次获得技术创新奖。专注于理论与实践的结合，涉猎大数据技术、经济与商业机制、营销心理学、互联网产品几个方面，深究其根源并擅长跨界思考。乐于分享，是百度技术学院的明星讲师，创设和主讲有《大数据分析的道与术》、《经济学与互联网商业产品设计》和《机器学习的设计故事》等课程。__eol__