
本书主要围绕人工智能平台ModelArts和人工智能应用开发流程,介绍基本概念、关键模块以及典型的场景化应用开发案例。全书共分为三篇: 第一篇人工智能应用开发概述(第1章和第2章),介绍了人工智能技术、应用、平台,以及人工智能应用快速开发流程; 第二篇人工智能应用开发方法(第3章~第9章),介绍了人工智能应用开发全流程及其子流程,包括数据准备、算法选择和开发、模型训练、模型评估和调优、应用生成、应用评估和发布、应用维护; 第三篇人工智能应用开发场景化实践(第10章~第12章),介绍了企业级人工智能平台、面向复杂行业的自动化人工智能系统、基于端边云协同的人工智能平台及应用开发。
本书旨在通过一整套工具链和方法传递,使得每个开发者都可以借助ModelArts平台在具体业务场景下更快、更高效、更低成本地开发出人工智能应用,从而更好地解决各行业各领域面临的实际问题。本书适合有志于从事人工智能应用开发的开发者参考。
PREFACE
人工智能已经有70多年的历史。经过多年的发展,人工智能技术已经在很多产品或商业场景中发挥了非常巨大的作用,如语音识别、人脸识别、机器翻译、推荐搜索、数据分析等。但是,目前业界仍然缺乏对人工智能开发全流程的完整定义及相应的整套平台支撑,这极大地影响了人工智能商业化拓展时的效率和成本。为了加速人工智能面向各行业各领域的应用,华为云推出一站式人工智能开发平台——ModelArts。本书将从“端到端”的角度,介绍人工智能应用开发全流程,以及如何基于ModelArts快速高效地开发人工智能应用。
“端到端”是人工智能应用开发平台的基础核心能力,缺乏或弱化任意一个环节都会造成“木桶效应”,进而成为人工智能应用开发的阻塞点。ModelArts支持从数据准备、算法选择、算法开发、模型训练、模型评估、模型调优、应用生成、应用评估、应用发布、应用维护的“端到端”全流程开发。在全流程开发过程中,ModelArts具备如下几个关键特点,使得人工智能应用开发效率更高、门槛更低、成本更低。
(1) ModelArts支持丰富的预置数据集、算法和模型、Notebook案例,以及端到端的开发模板,大大加速了人工智能应用的生产效率。进一步地,为了降低人工智能开发门槛,ModelArts支持大量的自动化能力,例如半自动化标注、自动训练、自动模型搜索、自动超参搜索、自动模型转换和压缩、自动难例挖掘等。
(2) ModelArts还通过高性能预置引擎,结合软硬件优化,使训练和推理速度更快,为开发者提供极致的性能体验。另外,从云服务的角度出发,ModelArts充分挖掘多元弹性算力和多用户联邦的可能性,进一步降低人工智能应用开发的成本。
(3) ModelArts作为企业级人工智能平台的核心底座,对上层平台提供全开放的接口,支持灵活定制面向各行业各领域的人工智能平台或解决方案。
本书主要面向人工智能应用的开发者,首先对人工智能的技术、应用和平台以及快速开发展开介绍; 然后针对全流程开发的各个环节展开深入解析; 最后,结合几个场景化案例,介绍如何基于ModelArts构建企业级人工智能平台和应用、面向复杂行业的人工智能系统、端边云协同的人工智能应用。
感谢ModelArts平台的开发者,他们提供的反馈建议促使ModelArts的不断改进和完善。感谢参与本书撰写和审阅的华为同事,他们在内容整理、审阅等方面投入了很多的时间。感谢清华大学出版社盛东亮编辑等对本书的细致修改和大力支持。没有他们就没有本书的顺利出版。
由于作者水平有限,如果书中有遗漏或不足之处,恳请读者批评指正!
编著者
2020年8月
CONTENTS
第一篇人工智能应用开发概述
第1章人工智能技术、应用及平台
1.1人工智能技术
1.1.1人工智能技术的发展
1.1.2人工智能技术的主要领域
1.1.3人工智能技术的价值
1.2人工智能应用
1.2.1人工智能应用的特点
1.2.2人工智能应用的商业化场景
1.3人工智能平台
第2章人工智能应用快速开发
2.1基于图像分类模板的开发
2.2基于目标检测模板的开发
2.3基于声音分类模板的开发
2.4基于文本分类模板的开发
第二篇人工智能应用开发方法
第3章人工智能应用开发全流程
3.1人工智能应用开发全流程解析
3.1.1数据准备子流程
3.1.2算法选择和开发子流程
3.1.3模型训练子流程
3.1.4模型评估和调优子流程
3.1.5应用生成、评估和发布子流程
3.1.6应用维护子流程
3.2人工智能应用开发流程的权衡
3.2.1复杂和简单的取舍
3.2.2人与机器的平衡
3.2.3开发和运行的融合
3.3人工智能应用开发全流程的成本分析
3.3.1设计和开发成本
3.3.2部署和维护成本
3.3.3边际成本
第4章数据准备
4.1数据采集和接入
4.1.1数据采集
4.1.2数据接入
4.2数据处理
4.2.1数据校验和转换
4.2.2数据清洗
4.2.3数据选择
4.2.4数据增强
4.2.5其他数据处理
4.3数据标注
4.3.1标注任务分类
4.3.2智能数据标注
4.3.3数据标注元信息管理
4.4数据分析和优化
4.4.1数据集特征分析和优化
4.4.2细粒度数据诊断和优化
第5章算法选择和开发
5.1算法选择
5.1.1基础层算法选择
5.1.2应用层算法选择
5.1.3ModelArts预置算法选择
5.2算法开发
5.2.1开发语言
5.2.2开发库
5.2.3交互式开发环境
5.2.4ModelArts云上云下协同开发
第6章模型训练
6.1模型训练的基本过程
6.1.1基础概念
6.1.2模型训练与数据源的交互
6.1.3模型训练具体过程
6.2基于ModelArts的模型训练
6.2.1使用预置算法训练
6.2.2使用自定义算法训练
6.2.3使用自定义镜像训练
6.3端到端训练加速
6.3.1数据侧加速
6.3.2计算侧加速
6.3.3分布式并行侧加速
6.3.4调参侧加速
6.4自动搜索
6.4.1AutoSearch框架
6.4.2基于AutoSearch进行搜索
6.5弹性训练
6.6联邦协同训练
第7章模型评估和调优
7.1模型评估
7.1.1精度评估
7.1.2性能评估
7.1.3其他维度的评估
7.1.4基于ModelArts的模型评估
7.2模型诊断优化
7.2.1精度诊断优化
7.2.2性能诊断优化
第8章应用生成、评估和发布
8.1应用管理
8.1.1模型格式转换
8.1.2简单应用生成
8.1.3基于编排的应用生成
8.1.4应用评估
8.2应用部署和发布
8.2.1部署类型
8.2.2部署管理
8.2.3应用测试和使用
第9章应用维护
9.1数据采集和筛选
9.2应用迭代
9.2.1基于数据的应用迭代优化
9.2.2基于算法和模型的应用迭代优化
9.3基于ModelArts的应用维护
第三篇人工智能应用开发场景化实践
第10章构建企业级人工智能平台
10.1企业级人工智能平台
10.1.1企业级人工智能平台的设计要素
10.1.2ModelArts Pro企业级开发套件
10.2企业级OCR平台
10.2.1OCR算法的基本流程
10.2.2企业级OCR平台及关键流程
第11章构建面向复杂行业的自动化人工智能系统
11.1面向复杂行业的人工智能系统
11.2面向基因组学的自动化人工智能建模系统
11.2.1基于人工智能的组学数据建模
11.2.2面向基因组学的自动化建模
11.2.3基于SHAP的模型解释
11.2.4基因组数据自动建模工具——AutoGenome
第12章端边云协同的人工智能平台及应用开发
12.1端云协同的人工智能应用开发
12.1.1端云协同开发的应用场景
12.1.2HiLens端云协同开发平台
12.1.3HiLens开发环境
12.1.4HiLens开发框架
12.1.5案例: 智慧工地安全帽识别
12.2边云协同的人工智能应用开发
12.2.1智能交通解决方案的背景
12.2.2智能交通解决方案的设计
12.2.3基于边云协同的智能视频分析
华为公司官方出品!一站式AI开发平台,让人工智能应用开发更便捷
华为轮值董事长徐直军,中国工程院院士潘云鹤联袂作序!华为技术有限公司 创立于1987年,是全球领先的ICT(Information and Communications Technology,信息和通信技术)基础设施和智能终端提供商,致力于把数字世界带入每个人、每个家庭、每个组织,构建万物互联的智能世界。目前,华为约有19.4万名员工,业务遍及170多个国家和地区,为30多亿人提供服务。华为在通信网络、IT、智能终端和云服务等领域为客户提供有竞争力、安全可信赖的产品、解决方案与服务,与生态伙伴开放合作,持续为客户创造价值,释放个人潜能,丰富家庭生活,激发组织创新。华为坚持围绕客户需求持续创新,加大基础研究投入,厚积薄发,推动世界进步。
田奇 华为云人工智能领域首席科学家,IEEE Fellow,国家自然科学基金海外杰青,中国科学院海外评审专家。本科毕业于清华大学电子工程系,后赴美国伊利诺伊大学香槟分校师从Thomas S. Huang教授获博士学位(2002年),后任美国德克萨斯大学圣安东尼奥分校(UTSA)计算机系教授。2010年获谷歌教授科研奖(Google Faculty Research Award),2017年获UTSA校长杰出研究奖,2016年获评多媒体领域十大最具影响力学者。2018年6月至2020年3月,担任华为诺亚方舟实验室计算视觉首席科学家,主导视觉方向的前沿研究。拥有多项美国专利,在计算机视觉及多媒体方向顶级期刊及会议上发表文章550多篇,谷歌学术引用21800多次,7篇论文获最佳论文奖或最佳学生论文。白小龙 华为云机器学习和深度学习技术专家、ModelArts产品架构师,浙江大学工学博士,新加坡南洋理工大学公派联合培养博士,《深入理解TensorFlow:架构设计与实现原理》作者之一。博士期间主要从事图像识别、机器学习、智能检测系统的研究,曾主导研发了智能检测和图像识别系统,曾获教育部博士研究生学术新人奖。