
本书是数据标注领域领先的实训讲义。本书着重对常见的文本、语音和图像标注任务类型进行介绍,帮助从事标注工作的学习者快速地完成系统化学习,进行标注实战。 本书对文本、语音及图像标注的多种任务类型逐一进行讲解和分析,每种标注类型均配有对应的规范、举例分析、习题及解析。同时,本书还针对各类标注配套多种子任务类型或多个领域的实操练习题,以帮助本书学习者增长见识,实现系统的、完整的学习,培养实战能力。
序 目前,我们正经历人工智能的第三次浪潮,机器学习大行其道。机器学习的发展和进步主要依赖算法和数据。如今,算法基本相同,数据的作用尤其突出。这里所说的数据是指机器学习所用的带标数据,这种带标数据是通过数据标注的方式获得的。 数据标注是被人工智能催生出来的新兴职业,对人工智能的实现至关重要,也因人工智能技术落地的大量需求而进入从业者的视野。近几年,在数据标注的助力下,人工智能的应用场景不断落地,让大家享受到了人工智能的便利。 人工智能变得越来越智能,数据标注行业面临的挑战也就越来越大,这种挑战主要体现在两个方面:一是数据标注的质量要求越来越高,人工智能正在经历着从 1 到 2的发展过程,需要更多高质量的带标数据支撑,人工智能发展初期阶段的准确率已无法满足当今人工智能技术发展的需求;二是数据标注任务的难度越来越高,随着人工智能技术的日趋成熟,人工智能任务的难度不断提高,数据标注的难度也在不断提高。 这些都对数据标注人员提出了更高的要求,一方面要求数据标注人员在工作时要更加细致,另一方面也要求数据标注人员具有更高的素质。基于这种趋势,数据标注人员想在数据标注行业取得持续性发展,就要不断提高自身的能力和素质,向专业化方向发展。 事在人为,业以人兴。数据标注乃至人工智能行业的发展关键在于专业人才的培养。 在未来几十年,数据标注会伴随着人工智能需求的不断提高而不断发展、精进。我相信会有更多的年轻人愿意加入数据标注行业,享受学习的福利与时代的红利,也相信本书能为他们的职业生涯助一臂之力,为求知者打开一扇新领域的大门。我期待数据标注人员将来利用自己卓越的数据标注技能通过计算机及智能设备给人类提供更丰富的智能服务。 中国中文信息学会名誉理事长 哈尔滨工业大学教授 李生 2023年3月 前言 人工智能近年来飞速发展,使种类繁多的智能应用落地,进入大众的视野。在此之前,人工智能的概念早已被提出,但大多数只存在于理论层面,而数据标注行业的崛起才是人工智能加速落地的关键。因此,无论是企业层面还是国家层面,如今对于数据标注的重视程度都有明显的提升,社会各界纷纷加大了相应的投入和扶持力度。 2020年2月,我国人力资源和社会保障部与国家市场监督管理总局联合发布《人力资源社会保障部办公厅 市场监管总局办公厅 统计局办公室关于发布智能制造工程技术人员等职业信息的通知》,在通知中明确将人工智能训练师纳入新增职业,同时再次明确其工种包括但不限于数据标注员和人工智能算法测试员,这充分表明我国国家机关对数据标注行业的认可。 由于人工智能的大量需求,从事数据标注行业人员的数量出现了空前的增长。目前,我国从事数据标注的专职人员数量已经超过了20万人,兼职人员难以计数。在未来5~10年,伴随着人工智能的发展,数据标注行业规模将呈现几何级数增长。对于人工智能行业来说,数据标注员可谓供不应求,作为近年来新兴的职业之一,数据标注行业正以茁壮的势头健康发展。 然而,数据标注行业毕竟还处于起步发展阶段,业内现今仍缺少相应的资格评定,标注人员均处于无证从业的状态,缺乏规范的管理,也没有系统的人才培养体系。众多数据标注员的业务水平参差不齐,高等院校没有相关的数据标注人员培养课程,严重掣肘行业发展。 本书是数据标注领域领先的实训讲义。为了更好地培养数据标注员,本书着重对常见的文本、语音和图像标注任务类型进行介绍,帮助从事数据标注工作的学习者快速地完成系统化学习,进行标注实战。 本书对文本、语音及图像标注的多种任务类型逐一进行讲解和分析,每种标注类型均配有对应的规范、举例分析、习题及解析。同时,本书还针对各类标注配套多种子任务类型或多个领域的实操练习题,以帮助学习者增长见识,进行系统的、完整的学习,培养实战能力。 对作者来说,实训讲义的编撰是一次新的尝试,本书难免有不当之处,欢迎您提出宝贵建议;如有建议,请发送至邮箱business@panshidata.com。
目录 第1章 语言和语言数据 001 1.1 自然语言 002 1.1.1 什么是自然语言 002 1.1.2 世界语言概况 005 1.2 语言智能 006 1.2.1 语言智能是什么 006 1.2.2 语言智能的常见任务和应用 007 1.3 语言资源 013 1.3.1 什么是语言资源 013 1.3.2 为什么语言资源是语言智能的基础 014 1.3.3 语言资源建设概况 015 第2章 语音和语音数据 017 2.1 语音和语音信息处理 018 2.1.1 语音合成 018 2.1.2 语音识别 019 2.2 语音的语言学结构 019 2.2.1 语音的属性 019 2.2.2 音节和音位 022 2.2.3 辅音和声母 023 2.2.4 元音和韵母 024 2.3 语音的信息结构 026 2.3.1 时域信息 027 2.3.2 频域信息 028 第3章 汉字和文字数据 030 3.1 汉字信息处理 031 3.2 汉字的结构 032 3.2.1 汉字的演化 032 3.2.2 汉字的特点 034 3.3 汉字的信息化 036 3.3.1 字符编码 036 3.3.2 汉字编码 037 3.3.3 汉字的字符集 039 第4章 词法和词义 043 4.1 词与词处理 044 4.1.1 分词 045 4.1.2 命名实体识别 046 4.1.3 词性标注 047 4.2 词汇的结构 048 4.2.1 词汇的结构单元 048 4.2.2 词语的类型 052 4.2.3 特殊类型的词 055 4.3 词汇的语法功能:词性 061 4.3.1 实词 062 4.3.2 虚词 070 4.4 词汇的语义 075 4.4.1 词义的构成 075 4.4.2 词义的聚合关系 080 4.4.3 词典和词语的释义 084 4.5 词语数据资源 087 4.5.1 汉语词表资源 087 4.5.2 汉语词典资源 091 4.5.3 其他重要汉语词汇语义资源 105 第5章 句法和句义 109 5.1 句与句处理 110 5.1.1 句法分析 110 5.1.2 句义分析 111 5.2 句子的结构 113 5.2.1 句法成分 113 5.2.2 句子的结构类型 118 5.2.3 句子的特殊类型 123 5.2.4 句子的语气类型 128 5.3 句法信息的表示形式 135 5.3.1 短语结构文法 135 5.3.2 依存文法 139 5.4 句子的语义 141 5.4.1 句子的语义种类 141 5.4.2 句子的语义结构 144 5.4.3 句子中的歧义 149 5.4.4 语义的表现形式:语义角色 153 5.4.5 语义的表现形式:语义依存 155 5.4.6 语义的表现形式:抽象语义表示 156 5.4.7 语义的表现形式:逻辑命题表示 160 5.5 句级数据资源 162 5.5.1 树库资源 162 5.5.2 句级语义资源 167 5.5.3 平行语料库 167 第6章 篇章和篇章信息处理 169 6.1 对篇章的信息处理 169 6.1.1 文本分类 170 6.1.2 自动摘要 170 6.1.3 信息抽取 171 6.2 修辞和语体 171 6.2.1 修辞 171 6.2.2 语体和体裁 183 6.3 修辞结构理论 190 6.3.1 修辞结构理论起源 190 6.3.2 定义关系 191 6.3.3 认知图式 198 6.4 篇章的数据资源 200 6.4.1 修辞结构篇章树库 200 6.4.2 文本分类 201 6.4.3 面向话题指称结构的语料库资源 202 6.4.4 篇章意图资源 203 6.4.5 汉语篇章广义话题结构资源 203 6.4.6 基于主述位理论的汉语微观话题语料库资源 204