
本书主要适用于参加“数据标注”职业技能等级认证的人员,是数据标注领域的实训教材。为了更好地培养数据标注员,将着重对常见的文本、语音和图像标注任务类型进行介绍及训练,辅助从事标注行业的学习者快速地完成系统化学习,进行标注实战工作。 本书对文本的分类标注和实体标注、语音的转写和校对以及图像的2D拉框任务进行逐一讲解和分析,每种标注类型均配有对应的规范、举例分析、习题及解析。同时,本书还针对各类标注配套了多种子任务类型或多个领域的实操练习题,目的是帮助标注学习者增长见识,从而实现系统、完整的标注学习和实战练习。
序 目前,我们正经历人工智能的第三次浪潮,机器学习大行其道。机器学习的发展和进步主要依赖算法和数据。如今,算法基本相同,数据的作用尤其突出。这里所说的数据是指机器学习用的带标数据,这种带标数据是通过数据标注的过程获得的。 数据标注是被人工智能催生出来的新兴职业,对人工智能的实现至关重要,也因人工智能技术落地的大量需求而进入从业者的视野。近几年,在数据标注的助力下,人工智能的应用场景不断落地,让大家享受到了人工智能的便利。 人工智能变得越来越聪明,数据标注行业面临的挑战也越来越大,这种挑战主要体现在两个方面。一是数据标注的质量要求越来越高:人工智能正在经历着从1到2的发展过程,需要更多高质量的带标数据支撑,人工智能发展初期阶段的准确率已无法满足当今人工智能技术发展的需求。二是数据标注任务的难度越来越高:随着人工智能技术的日趋成熟,人工智能任务的难度不断提高,数据标注的难度也不断提高。 这些都对数据标注人员提出了更高的要求,一方面要求数据标注工作更加细致,另一方面也要求数据标注人员具有更高的素质。基于这种趋势,数据标注人员想在数据标注行业取得持续性发展,要不断提高自身的能力和素质,向专业化方向发展。 事在人为,业以人兴。数据标注乃至人工智能行业的发展关键在于专业人才的培养。 在未来几十年,数据标注会伴随人工智能的需求而不断发展、精进。我相信会有更多的年轻人愿意加入数据标注行业,享受学习的复利与时代的红利,也相信“数据标注”职业技能等级证书配套教材能为他们的职业生涯助一臂之力,为求知者打开一扇新领域的大门。我期待这套教材的读者将来会用自己卓越的数据标注技能让计算机及智能设备给人类提供更丰富的智能服务。 中国中文信息学会名誉理事长 哈尔滨工业大学教授 李生 2022年7月 前言 近年来,人工智能飞速发展,使得种类繁多的智能应用落地,进入大众的视野。在这之前人工智能的概念早已被提出,但大多数都只存在于理论层面。而数据标注行业的崛起是人工智能加速落地的关键之一。因此,无论是从企业层面还是政府层面,如今,社会各界对于数据标注的重视程度都有明显的提升,纷纷加大了相应的投入和扶持力度。 2020年2月,人力资源和社会保障部与国家市场监督管理总局、国家统计局联合发布《人力资源社会保障部办公厅 市场监管总局办公厅 统计局办公室关于发布智能制造工程技术人员等职业信息的通知》(人社厅发﹝2020﹞17号),明确将人工智能训练师纳入新增职业,同时再次明确,其工种包括但不限于数据标注员和人工智能算法测试员。 由于人工智能的大量需求,从事数据标注行业人员的数量出现了空前的增长。目前,我国从事数据标注的专职人员数量已经超过了20万,兼职人员不计其数。在未来5~10年里,伴随着人工智能的发展,数据标注行业的规模将呈现几何式增长。对于人工智能行业来说,数据标注员可谓是供不应求,作为近年来新兴发展的职业之一,数据标注行业正以茁壮的势头健康发展。 然而,由于数据标注行业还处于起步发展阶段,业内现今缺少相应的资格评定,标注人员均处于无证从业的状态,缺乏规范的管理,也没有系统的人才培养体系。众多数据标注员业务能力水平参差不齐,高等院校也没有相关的数据标注员培养课程,严重制约了行业发展。 本书是“数据标注”职业技能等级证书配套教材。为更好地培养数据标注员,本书着重对常见的文本、语音和图像标注任务类型进行介绍及训练,辅助从事标注行业的学习者快速地完成系统化学习,进行标注实战工作。 本书对文本的分类标注和实体标注、语音的转写和校对以及图像的2D拉框任务进行逐一讲解和分析,每种标注类型均配有对应的规范、举例分析、习题及解析。同时,本书还针对各类标注任务配套了多种子任务类型或多个领域的实操练习题,目的是帮助标注学习者增长见识,从而实现系统、完整的标注学习和实战练习。 由于编者水平有限,疏漏之处在所难免,欢迎读者提出宝贵意见。如有建议,请发送至邮箱business@panshidata.com。
第1章 数据标注概述 001 1.1 什么是数据标注 002 1.2 数据标注的行业现状 003 1.2.1 政策层面 003 1.2.2 行业需求 004 1.2.3 行业发展 006 1.2.4 市场结构 007 1.3 数据标注的应用场景 009 1.3.1 智能教育 009 1.3.2 智慧医疗 011 1.3.3 智慧司法 013 1.3.4 智慧金融 014 1.3.5 智慧出行 016 1.3.6 智能家居 017 1.3.7 智慧农业 018 1.3.8 智能营销 020 1.3.9 智能安防 021 1.3.10 智能制造 022 1.3.11 智慧物流 023 1.4 常见标注任务类型介绍 025 1.4.1 文本标注 025 1.4.2 语音标注 034 1.4.3 图像标注 037 1.5 实训习题 043 第2章 数据标注实训平台 044 2.1 平台基本功能介绍 044 2.2 平台支持标注类型及操作页面展示 050 第3章 文本标注实训 053 3.1 分类标注 053 3.1.1 认识分类标注 054 3.1.2 分类标注实训之相关性标注 056 3.1.3 相关性标注规范 057 3.1.4 实训习题 069 3.2 命名实体标注 072 3.2.1 认识命名实体及实体标注 072 3.2.2 命名实体标注实训之通用实体标注 074 3.2.3 实训习题 092 第4章 语音标注—语音切割转写 095 4.1 认识语音切割转写 095 4.2 语音切割转写实训 096 4.2.1 语音转写标注规范 096 4.2.2 项目案例分析 109 4.3 实训习题 111 第5章 图像标注—2D拉框 114 5.1 认识2D拉框 114 5.2 拉框标注之2D人体拉框标注 116 5.2.1 2D人体拉框标注规范 116 5.2.2 项目案例分析 137 5.3 实训习题 138 第6章 全流程项目实训 144 6.1 标注项目的基本操作流程 144 6.2 全流程标注项目实操步骤详解 147 6.2.1 进入全流程项目练习页并查看任务要求 148 6.2.2 原始数据获取 149 6.2.3 数据处理 150 6.2.4 项目创建 151 6.2.5 项目配置 152 6.2.6 标注实施 156 6.2.7 标注结果导出 159 6.3 全流程标注项目案例演示 160 6.4 实训习题 165