AI探视人类情感原理与实践——人工智能驱动的音乐信息检索"
音乐信息检索是从海量音频信号、音乐的符号表示或网页资源上提取并分析出音乐有意义的特征，用此特征为音乐建立索引，然后设计不同的查询和检索机制，以获得人们想要查询的音乐作品的过程。随着数字音乐的发展，音乐信息检索融合了计算机机器学习、模式识别和人工智能技术，是人工智能应用的典型领域之一。同时，作为计算机技术探寻人类情感等语义的重要领域，吸引了众多学者和业界的广泛关注。
本书论述了以旋律作为主要特征检索音乐的模型及其实现方法，建立基于流形排序的整首音乐内容检索模型，并介绍了相关反馈方法对检索结果的改进技术。另外，解读了基于示例语义的检索模型，论述了如何克服音乐检索“语义鸿沟”问题，将音乐映射到一个语义空间的方法。最后，讲解人工智能技术在音乐检索方向上的发展趋势和全新应用。
本书读者主要是艺术、计算机应用领域的艺术家、研究人员、计算机应用开发人员、数字媒体设计人员、数字音乐产业从业人员及教育工作者。另外，本书对于语音识别、模式识别等领域的从业者也有很高的参考价值。
音乐是人类精神文明的重要产物，是人类灵魂的最佳安慰剂。在中华民族
五千年的文明中，礼乐文明是重要的组成部分，其中“乐”就是指音乐。古代
先贤十分重视音乐在社会文明发展、社会秩序维护方面的重要作用，认为音乐
可以帮助维护社会和谐，即所谓“乐至则无怨，礼至则不争”的社会发展理想
境界。孔子开经授课，讲授《诗》《书》《礼》《乐》，这些著作构筑了儒家
博大精深的政治理论体系，孔子也曾在齐国闻《韶》乐而三月不知肉味，可见
音乐对社会和个人精神文明的深远影响。
随着网络和大规模数字音乐产业的发展，音乐的获取和收听以更加便捷的
方式呈现在用户面前，如何从海量的互联网数字音乐数据中，找到用户喜闻乐
见的音乐，成为音乐信息检索领域要解决的关键问题和主要目标。常见的音乐
检索都是以文本检索为主要手段，需要大量的人工标注，大大阻碍了音乐作品
的检索和传播，成为数字音乐产业发展的瓶颈问题。
音乐是人类思维的产物，以物理波形为载体，传递着人们对生活的理解和
主观感受。情感是音乐先天的属性，音乐是最能够表达人类思想和传播文化的
途径。人工智能发展到今天也不同程度地遇到了“语义瓶颈”，如何让机器理
解和表达人类情感，成为人工智能技术无法跨越的鸿沟。
为了探索机器理解语义的方法，本书从音乐这一情感载体入手，详细论述
了从基于音乐内容到音乐语义的信息检索模式，从而为机器理解人类情感打开
一扇有趣的窗口。本书的研究思路、研究方法及其发展历程，在文本、图像和
视频领域有相通之处，本书也能使读者进一步理解多媒体信号语义提取方法和
应用。
本书融合了作者十余年来在该领域学习研究的经验，对相关算法和方法的
IV AI探视人类情感原理与实践——人工智能驱动的音乐信息检索
论述深入浅出，使得读者能够理论联系实际，更快地从事该领域的工作。
作为计算机领域的专业书籍、科普读物，本书总结、回顾了计算机领域对
音乐检索做出的研究工作，为计算机科普人员、青少年读者、模式识别和人工
智能领域研究人员、语音处理和互联网多媒体技术研究人员、IT从业者、数字
音乐产业服务人员、音乐服务提供商进一步学习和从事音乐信息检索方向的工
作，提供坚实的理论和实践案例。
感谢北京师范大学周明全教授、西北大学耿国华教授、大连理工大学林鸿
飞教授提供的指导，感谢安雯、孙法莉、马雪倩、高福杰、王伟滨、蒋卓同学
的帮助。
衷心感谢清华大学出版社的大力支持和协助，使本书能够顺利出版。
由于作者的水平有限，书中难免有不足和疏漏之处，恳请各位读者提出批
评和建议，以便进一步修订和改进。
秦静
第1章 音乐信息检索的产生与发展.......................................
.
001
1.1 音乐信息检索历史与发展............................................003
1.2 音乐信息检索建模与表达............................................005
1.3 音乐信息检索相关研究................................................006
1.4 国内外研究进展..........................................................010
1.4.1 音乐检索.........................................................
.
010
1.4.2 音乐推荐.........................................................
.
014
1.4.3 音乐播放列表生成...........................................
.
015
1.4.4 音乐浏览界面..................................................
.
016
1.4.5 其他检索应用..................................................
.
019
1.5 研究思路.....................................................................021
1.5.1 框架................................................................
.
021
1.5.2 研发思路.........................................................
.
022
第2章 音乐计算理论..........................................................
.
023
2.1 音乐特征提取..............................................................025
2.1.1 时域和频域特征..............................................
.
025
2.1.2 低层特征和音色..............................................
.
028
2.1.3 音高特征.........................................................
.
030
2.1.4 旋律、和弦和音调...........................................
.
035
2.2 音乐相似度.................................................................038
2.2.1 自相似性分析与音乐结构................................
.
038
2.2.2 全局相似度.....................................................
.
038
2.2.3 基于向量空间模型的音乐相似度.....................
.
039
2.2.4 基于共现分析的音乐相似度............................
.
041
2.3 本章小结.....................................................................045
第3章 基于旋律的哼唱音乐检索模型...................................
.
047
3.1 哼唱旋律的表示模型及其匹配技术框架.......................048
3.2 基于遗传算法的旋律轮廓对齐算法..............................050
3.2.1 染色体编码设计..............................................
.
052
3.2.2 适应度函数定义..............................................
.
053
3.2.3 算法描述.........................................................
.
053
3.2.4 加权综合旋律模板匹配算法............................
.
054
3.3 旋律模板的局部敏感哈希............................................055
3.3.1 音乐文件的模板生成.......................................
.
056
3.3.2 局部哈希算法..................................................
.
057
3.3.3 面向欧氏距离的LSH函数族.............................
.
058
3.3.4 基于局部哈希算法的哼唱检索.........................
.
059
3.4 实验结果与分析..........................................................060
3.4.1 遗传算法实验结果及其分析............................
.
061
3.4.2 哼唱检索系统检索结果及其分析.....................
.
064
3.5 本章小结.....................................................................066
第4章 基于示例内容的音乐检索模型...................................
.
067
4.1 基于流形排序的音乐检索技术框架..............................068
4.2 流形排序.....................................................................069
4.3 音频流形排序算法设计................................................071
4.3.1 特征选择.........................................................
.
071
4.3.2 流形排序算法设计...........................................
.
072
4.3.3 相关反馈算法设计...........................................
.
074
4.4 实验结果与分析..........................................................077
4.5 本章小结.....................................................................081
第5章 基于示例语义的音乐检索模型...................................
.
083
5.1 基于示例语义的音乐检索............................................084
5.2 基于示例语义的音乐检索系统框架..............................086
5.3 基于深度学习算法的模型设计.....................................087
5.3.1 问题描述.........................................................
.
087
5.3.2 模型设计.........................................................
.
091
5.3.3 算法描述.........................................................
.
094
5.4 模型改进.....................................................................096
5.4.1 损失函数调整..................................................
.
097
5.4.2 SMOTE算法....................................................
.
098
5.4.3 基于ELM的语义向量生成................................
.
100
5.5 实验结果与分析..........................................................101
5.5.1 数据集与语义特征提取...................................
.
101
5.5.2 标注性能评价..................................................
.
102
5.5.3 检索性能评价..................................................
.
103
5.5.4 实验结果分析..................................................
.
103
5.6 本章小结.....................................................................111
第6章 基于示例语义的音乐检索与交互技术应用...................
.
113
6.1 音乐检索交互系统.......................................................114
6.2 基于语义的音乐检索交互系统框架..............................116
6.3 基于语义的音乐检索交互系统设计..............................117
6.3.1 基于语义的音乐检索算法实现.........................
.
117
6.3.2 基于交互信息的音乐推荐算法实现..................
.
118
6.3.3 用户语义配置文件的生成................................
.
119
6.4 系统实现.....................................................................120
6.4.1 检索数据集的建立...........................................
.
120
6.4.2 检索交互系统实现...........................................
.
122
6.5 本章小结.....................................................................125
第7章 人工智能在音乐检索技术中的应用.............................
.
127
7.1 音乐语义提取及应用...................................................128
7.1.1 音乐语义标注的深度神经网络模型..................
.
128
7.1.2 可解释模型音乐语义模型................................
.
133
7.2 跨模态音乐检索..........................................................133
7.2.1 音乐-视频跨模态检索.....................................
.
133
7.2.2 音乐-歌词跨模态检索.....................................
.
134
7.3 智能音乐交互及发现工具............................................136
7.3.1
基于LibROSA的音乐信息检索系统评估工具.....
.
136
7.3.2 基于语义图表的音乐元数据复杂性建模...........
.
139
7.3.3
MusicWeb：具有开放链接语义元数据的音乐发现..
.
139
7.3.4 基于肢体动作相似度的舞蹈音乐检索系统.......
.
141
7.3.5 语义音乐播放器..............................................
.
143
7.4 本章小结.....................................................................143
参考文献............................................................................
.
145
智能音箱播放歌曲这个看似简单的场景背后，是多种人工智能技术的集体协作，包括声学信号处理、语音自动识别、自然语言理解、资源检索与发现、自然语言生成、语音合成等，其中内容检索是满足用户最终需求的关键技术之一。
面向音乐数据集的这些特征构建索引，根据特征数据收录的不同可以有不同的技术体系。在自然语言处理中，自然语言理解处于核心地位。如果把音乐看成一种特殊的“语言”，那么，对音乐的语义理解意味着什么？音乐的那些主要特征能够表达音乐的语义特征吗？人类情感可以量化吗？人工智能可以具备情感吗？情感化的人工智能在产品设计中的竞争力有多强？在本书中，希望你可以找到答案。
秦静，女，博士，大连大学软件工程学院副教授，辽宁省智慧医疗协同创新中心、大连市智慧健康与医疗重点实验室成员。主要研究方向为模式识别与信息检索。先后主持国家自然科学基金青年基金一项项、辽宁省重点研发计划一项。十余年来一直从事音乐检索领域的研究，先后发表数篇音乐信息检索领域论文，其中多篇被《科学引文索引》（SCI）或《工程索引》（EI）检索，积累了音乐信息检索丰富的理论及应用经验。
