本书系统地介绍了情感的认知基础及数学模型、从fMRI数据中解读情绪状态的方法、图像特征提取算法、神经网络和支持向量机、MPEG中图像的描述标准、本体构建和推理方法，并在此基础上结合当前的研究动态，着重对基于强度的多层情感模型、图像特征和情感映射算法、图像特征本体的构建和推理的相关技术进行了讨论，力求向读者展示相关领域的最新研究动态，希望能为从事相关研究的广大读者提供参考，能对图像理解、人机交互技术的发展起到推动作用。     读者对象：本书可作为信号处理、计算机等专业硕士研究生和博士研究生的专业教材，以及本科生的选修教材，也可作为相关领域科技工作者的参考书。

前言 情感在人类的感知、决策等过程中扮演着重要角色，情感活动离不开周围的环境。现实世界的环境是由一帧帧图像组成的，图像中蕴涵着丰富的情感。如何利用计算机技术自动识别图像情感，从以机为本到以人为本，实现用户和多媒体信息之间的无缝连接，近年来受到许多学者的关注。图像情感语义分析是人工智能、情感计算、图像理解、模式识别等领域中一个重要的研究方向，从理论和实际应用的角度来看，国内外学者进行了广泛深入的研究，已经取得了不少成果，但尚未出现系统介绍该领域研究成果的图书。本书系统地介绍了情感的认知基础及数学模型、图像特征提取算法、神经网络和支持向量机、MPEG中图像的描述标准、本体构建和推理方法，并在此基础上结合当前的研究动态，围绕相关技术，介绍了作者的研究内容及结果分析。主要内容如下： 　　通过理解脑科学有关情绪神经机制的研究进展，采用认知心理学实验手段，设计了情绪个性化认知实验。分析了现有的fMRI分类算法，针对目前fMRI数据分析工作难以揭示全脑协同工作模式的缺陷，介绍了SVVC数据分类方法， 该方法可以作为一种通过fMRI数据识别情感的方法。 　　通过对影响情感个性化因素的研究，介绍了一种基于强度的多层情感模型。模型将性格、前一时刻情感衰减、情感间的相互影响、外界刺激和情感激活阈值有机地结合在一起，克服了OCC模型和基于维度的情感模型忽视非认知因素的缺点，弥补了HMM模型仅仅从概率上处理情感的缺陷，强化了个性化因素的影响。利用所设计情感预测系统和人对相应图像情感理解的比较表明，预测准确率达75%左右。 　　针对颜色、纹理特征提取问题，介绍了一种基于眼动跟踪的视觉注意图像特征提取算法。根据人眼观察图像的特点引入感兴趣区域概念，利用眼动仪获取感兴趣区域，并以其为中心对图像分块，采用不同区域特征向量赋予不同权重的策略，强化了感兴趣区域对情感的影响，降低了特征向量维数，提高了计算速度；采用自组织网络将已标注情感的样例图像特征进行了聚类，分析了情感分布情况，根据反馈信息调整权重，有效地优化了算法的性能。通过与颜色直方图特征提取算法比较，该算法聚类效果较好，有利于个性化图像情感理解。 　　针对图像低层特征与高层语义之间的复杂映射关系，总结了图像低层特征的特点，对机器学习算法进行了选择。分析了径向基概率神经网络算法具有计算复杂度低、收敛速度快的优点，同时针对此模型的不足，介绍了解决或部分解决神经网络缺陷的改进方法，根据服装情感的特点，将径向基概率神经网络算法和基于眼动跟踪的视觉注意图像特征提取算法相结合，介绍了服装图像情感分类系统，实现了服装图像的情感分类。 　　分析了现有的SVM多类分类方法，选择基于聚类的SVM多类分类策略，并且分析了该方法没有考虑样本的类别信息，当异类样本混杂时导致二叉树分支过多，降低分类性能的缺点。介绍了LFCM-SVM方法，该算法结合图像低层特征的特点，将LDA引入二叉树建树过程之中，在聚类之前先对样本进行投影，选择最优子空间使得同类样本聚集而异类样本松散，改进了原算法的分类性能，并通过UCI数据集上的实验验证了此方法的可行性。将LFCM-SVM方法应用于图像语义映射，得到较高的准确率。针对图像情感语义模糊性和不确定性的特点，对LFCM-SVM进行调整，将结果模糊化，调整参数控制映射结果的精度。通过实验验证了该方法的合理性和可行性。 　　利用本体可以将图像情感领域的概念和术语规范化、刻画概念之间内在的联系以及本体所具有的语义特性，将图像低层特征和高层语义衔接起来，同时利用本体的推理能力，将情感语义检索的范围和深度进一步扩大，使基于本体的信息检索结果能更加符合用户的检索要求。介绍了一种基于MPEG-7与模糊概念格的图像情感语义本体库构建方法，利用该方法将图像情感和低层特征整合为一个整体，建立了图像情感语义本体库。介绍了应用于图像情感本体背景下基于属性的模糊概念格生成维护算法,较好地解决了由于图像所包含的情感的丰富性、不确定性所带来的“图像视觉特征”和“丰富情感语义”之间复杂的映射问题。 　　本书第1章11节~14节由李海芳执笔，第1章其余部分、第2章和第5章由陈俊杰执笔，第3章、第4章由相洁执笔，第6章、第7章由赵涓涓执笔，全书由李海芳整理。在课题的研究中，硕士贺静、焦立鹏、郭尚波、李晋、赵炜、成琳、刘嘉玲等参与了相关研究，书中部分实验和结果由他们完成。博士研究生郭涛、郭浩，硕士研究生王艳群、白瑀、李剑斌、郭凯、刘菲军、姜华杰完成了全书的校对， 电子工业出版社董亚峰编辑为本书的出版付出了辛勤的劳动，在此我们表示深切的感谢！本书所反映的研究成果得到国家自然科学基金资助项目（项目编号：60970059，61070077）和山西省自然科学基金资助项目（项目编号：2010011020-2）的资助，在此一并表示感谢！ 　　由于作者水平有限，书中错误和不妥在所难免，恳请同行和广大读者批评指正。

目录 第1章绪论 11图像语义提取技术与发展 111图像语义提取技术 112图像语义提取研究进展 12情感计算的产生与发展 121情感计算的产生及研究内容 122情感计算的研究进展 123情感计算的应用 13图像特征和情感的关系 131颜色与情感的对应 132纹理、形状与情感的对应 133对象及感兴趣区域与情感的对应 14脑科学与情感计算 141脑科学 142脑科学的主要研究手段 143脑科学研究与情感计算的关系 15本体与图像特征的描述 151MPEG标准与本体 152本体的构建 本章小结 参考文献 第2章情感的认知基础 21情绪、情感的关系 211什么是情绪和情感 212情绪和情感的区别和联系 22情感的范畴表示 221基本情绪 222复合情绪 23情感的维度表述 231情感的维度表示 232PAD三维情感模型 24情感的生理特征 241面部表情与姿态 242皮肤电反应 243循环系统 244内分泌系统 245声音与音调 246呼吸 247脑电反应 25情绪的内在神经机制 251情绪的脑机制 252情感的基本环路 26从fMRI数据中解读情绪状态 261fMRI基本原理 262fMRI实验设计 263fMRI数据采集 264fMRI数据预处理 265fMRI数据脑功能定位分析 266基于fMRI数据解读情绪状态 本章小结 参考文献 第3章情感模型 31基于认知的情感模型 311OCC模型 312Roseman模型 313Scherer模型 314非认知的情感模型 32基于概率的模型 321隐马尔可夫模型 322隐马尔可夫情感模型 323状态转移概率矩阵的求取 33多层情感模型 331情感影响因素 332情感预测系统 333实验及结果分析 34情感建模的应用 本章小结 参考文献 第4章图像特征提取算法 41颜色特征提取算法 411颜色空间 412颜色直方图 413颜色矩 414颜色集 415颜色相关图 42纹理特征提取算法 421纹理特征和纹理分析 422基于统计的方法 423基于结构的方法 424基于频谱的方法 43形状特征提取算法 431边界描述 432区域描述 433几何形状描述 44感兴趣区域特征提取算法 441基于拐点的方法 442基于灰度变换的方法 443基于视觉注意的方法 444基于眼动跟踪的方法 445权重的确定 45图像特征聚类及结果分析 451实验数据 452实验步骤及结果分析 本章小结 参考文献 第5章图像语义提取算法 51径向基概率神经网络算法 511径向基函数神经网络 512概率神经网络 513径向基概率神经网络 514径向基概率神经网络的应用 52自组织映射算法 521自组织映射网络 522自组织映射算法 523SOM网络模型的应用 53支持向量机 531基本思想 532SVM多类分类方法 533基于聚类的SVM多类分类方法 534LFCMSVM多类分类方法 535LFCMSVM图像语义映射 536图像情感语义映射 54有判定的极小极大规则学习算法 541极小极大规则学习方法 542有判定的极小极大规则学习算法 543规则抽取及简化的实现 本章小结 参考文献 第6章多媒体信息的描述标准（MPEG标准） 61MPEG1标准与MPEG2标准 611MPEG1标准 612MPEG2标准 62MPEG4标准 621MPEG4标准的目标 622MPEG4标准的组成 623MPEG4标准主要特征 63MPEG7标准 631MPEG7标准的目标 632MPEG7标准的内容 633MPEG7标准中的关键技术 64MPEG21标准 641MPEG21标准的目标 642MPEG21标准框架的基本要素 65MPEG7标准与图形描述 651基于MPEG7的颜色描述子 652基于MPEG7的纹理描述子 653基于MPEG7的其他描述子 654基于MPEG7的描述举例 本章小结 参考文献 第7章本体的构建及推理 71本体的定义及相关概念 711本体的定义 712本体的结构 713本体的作用 714已有本体的简介 72本体的分类 721根据应用主题的分类 722根据形式化程度的本体分类 723根据研究层次的本体分类 73本体的构建 731本体构建的相关知识 732本体的构建工具 733本体的构建方法 74概念格理论与本体的结合 75模糊概念格的本体约束 751融合MPEG7的模糊情感本体框架 752模糊图像情感本体框架 753模糊形式背景 754模糊情感形式概念分析 76本体推理 761本体推理方法 762模糊情感匹配规则算法 77图像情感本体库构建实验及结果分析 771实验数据 772实验步骤及结果分析 本章小结 参考文献