教育>本科研究生>数学类
最优化方法及其Python程序实现  

最优化方法及其Python程序实现  "

作者:谢亚君等
ISBN:9787121461231
定价:¥68.0
字数:396千字
页数:248
出版时间:2023-08
开本:16开
版次:01-01
装帧:
出版社:电子工业出版社
简介

本书较为系统地介绍了非线性最优化的基本理论、方法及其 Python 程序设计, 主要内容包括线搜索方法、梯度法和牛顿法、共轭梯度法、拟牛顿法、信赖域方法、非线性最小二乘问题、 约束优化的最优性条件、罚函数法、可行方向法、二次规划问题的解法、序列二次规划法等。书中配有丰富的例题和习题, 同时简要介绍了Python 软件的安装和Python 程序的基本编写方法。本书既注重计算方法的实用性, 又注意保持理论分析的严谨性, 强调最优化理论、方法及其Python 程序的实现。本书的主要阅读对象是数学与应用数学、信息与计算科学、数据科学与大数据技术等相关专业的本科生, 应用数学、计算数学、运筹学与控制论专业的研究生, 理工科有关专业的研究生, 以及对最优化理论与算法感兴趣的教师及科技工作人员。

前言

运筹学的理论与方法广泛应用于工业、农业、交通运输、国防、建筑、通信与管理等各个领域, 主要解决最优计划、最优分配、最优决策以及最佳设计和最佳管理等最优化问题. 本书所介绍的最优化方法又称为数学规划, 是运筹学的一个重要分支, 也是计算数学和应用数学的一个重要组成部分. 本书系统地介绍了非线性优化的基本理论、方法及其Python 程序设计, 其主要阅读对象是数学与应用数学、信息与计算科学、数据科学与大数据技术等相关专业的本科生, 应用数学、计算数学、运筹学与控制论专业的研究生, 理工科有关专业的研究生, 以及对最优化理论与算法感兴趣的教师及科技工作人员. 读者只需具备微积分、线性代数和Python 程序设计方面的初步知识即可. 本书的主要内容包括线搜索方法、梯度法和牛顿法、共轭梯度法、拟牛顿法、信赖域方法、非线性最小二乘问题、约束优化的最优性条件、罚函数法、可行方向法、二次规划问题的解法、序列二次规划法等, 并给出了精确线搜索的0.618 法和二次插值法、非精确线搜索的Armijo 准则、梯度法、牛顿法、再开始共轭梯度法、对称秩1 算法、BFGS 算法、DFP 算法、Broyden 族算法、信赖域方法、求解非线性最小二乘问题的L-M 算法、求解约束优化问题的乘子法、求解二次规划问题的有效集方法、牛顿-拉格朗日方法、SQP 方法等的Python 程序. 此外, 书中配有丰富的例题和习题, 同时简要介绍了Python 软件的安装和Python 程序的基本编写方法. 本书既注重计算方法的实用性, 又注意保持理论分析的严谨性, 强调最优化理论、方法及其Python 程序的实现方式. 本书具有如下特点: 1. 介绍非线性优化中最重要、最基础的理论与方法, 它们是研究各种复杂的最优化问题的基础和工具. 2. 最优化方法与Python 程序设计相结合, 采用当前最流行的数学软件Python 编制了主要优化方法的Python 程序. 所有程序都在计算机上经过调试和运行, 简洁而不乏准确. 3. 本书所给的每个程序之后都给出了相应的计算实例. 这不仅能帮助读者理解程序里所包含的最优化理论知识, 而且对培养读者处理数值最优化问题的能力也大有裨益. 4. 全书每章都配备了一定数量的习题, 包括理论分析题和编程实验题, 以加强读者对所学知识的理解和巩固. 本书的编写和出版得到了“数据科学与智能计算重点实验室” 及福建省自然科学基金最优化方法及其Python 程序实现 项目(编号: 2022J01378) 的部分经费资助, 在此表示由衷的感谢. 由于作者水平有限, 加之时间仓促, 书中疏漏和错误之处在所难免, 敬请专家和读者批评指正. 作者 2023 年3 月

目录

第1 章 绪论. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1 1.1 最优化模型. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1 1.2 向量和矩阵范数. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2 1.3 函数的可微性. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3 1.4 凸函数. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6 1.5 最优性条件. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8 1.6 优化算法的一般框架. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10 习题. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12 第2 章 Python 基础. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .13 2.1 Python 的安装. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .13 2.2 环境变量配置. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 15 2.3 Python 编程中的注意事项. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 15 2.4 Python 中的几个重要库. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .16 2.5 第三方库的安装与升级. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17 2.6 Python 编程基础知识. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 18 第3 章 线搜索方法. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 28 3.1 精确线搜索及其Python 实现. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 29 3.2 非精确线搜索及其Python 实现. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 37 3.3 线搜索法的收敛性. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 39 习题. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 42 第4 章 梯度法和牛顿法. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 44 4.1 梯度法及其Python 实现. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 44 4.2 牛顿法及其Python 实现. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 48 4.3 修正牛顿法及其Python 实现. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 53 习题. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 57 第5 章 共轭梯度法. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 59 5.1 共轭方向法. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 59 5.2 共轭梯度法. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 61 5.3 共轭梯度法的Python 实现. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 65 习题. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 68 第6 章 拟牛顿法. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 70 6.1 拟牛顿法及其性质. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 70 6.2 对称秩1 算法及其Python 实现. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 71 6.3 BFGS 算法及其Python 实现. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 74 6.4 DFP 算法及其Python 实现. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .79 6.5 Broyden 族算法及其Python 实现. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 82 6.6 拟牛顿法的收敛性. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 88 习题. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 93 第7 章 信赖域方法. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 95 7.1 信赖域方法的一般框架. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 95 7.2 信赖域方法的收敛性. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 97 7.3 信赖域子问题的求解. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 99 7.4 信赖域方法的Python 程序. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 103 习题. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 106 第8 章 非线性最小二乘问题. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 108 8.1 Gauss-Newton 算法. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .108 8.2 Levenberg-Marquardt 算法. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 111 8.3 L-M 算法的Python 实现. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 118 习题. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 120 第9 章 约束优化的最优性条件. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 122 9.1 等式约束优化问题的最优性条件. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .122 9.2 不等式约束优化问题的最优性条件. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 125 9.3 混合约束优化问题的最优性条件. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .128 9.4 鞍点和对偶问题. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 131 习题. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 135 第10 章 罚函数法. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 137 10.1 外罚函数法. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 137 10.2 内点法. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 140 10.2.1 不等式约束优化问题的内点法. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 140 10.2.2 混合约束优化问题的内点法. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 144 10.3 乘子法. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 145 10.3.1 等式约束优化问题的乘子法. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 145 10.3.2 混合约束优化问题的乘子法. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 149 10.4 乘子法的Python 实现. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 152 习题. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 154 第11 章 可行方向法. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .156 11.1 Zoutendijk 可行方向法. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 156 11.1.1 线性约束下的Zoutendijk 可行方向法. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 156 11.1.2 非线性约束下的Zoutendijk 可行方向法. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 160 11.2 梯度投影法. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 165 11.2.1 梯度投影法的理论基础. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 165 11.2.2 梯度投影法的计算步骤. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 168 11.3 简约梯度法. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 171 11.3.1 Wolfe 简约梯度法. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 171 11.3.2 广义简约梯度法. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 179 习题. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 182 第12 章 二次规划问题的解法. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 185 12.1 等式约束凸二次规划问题的解法. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 185 12.1.1 零空间方法. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 185 12.1.2 拉格朗日方法及其Python 程序. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 186 12.2 求解混合约束凸二次规划问题的有效集方法. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 189 12.2.1 有效集方法的理论推导. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 190 12.2.2 有效集方法的算法步骤. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 192 12.2.3 有效集方法的Python 实现. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 196 习题. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 200 第13 章 序列二次规划法. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 202 13.1 牛顿-拉格朗日方法. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 202 13.1.1 牛顿-拉格朗日方法的基本理论. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .202 13.1.2 牛顿-拉格朗日方法的Python 实现. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 204 13.2 SQP 方法的算法模型. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 207 13.2.1 基于拉格朗日函数Hesse 矩阵的SQP 方法. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .207 13.2.2 基于修正Hesse 矩阵的SQP 方法. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 214 13.3 SQP 方法的相关问题. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 216 13.3.1 二次规划子问题的Hesse 矩阵. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 216 13.3.2 价值函数与搜索方向的下降性. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 217 13.4 SQP 方法的Python 实现. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 223 13.4.1 SQP 子问题的Python 实现. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 224 13.4.2 SQP 方法的Python 实现. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 231 习题. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 236 参考文献. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 238

作者简介

编辑推荐

作者寄语

电子资料

http://www.hxedu.com.cn/hxedu/fg/book/bookinfo.html?code=G0461230

www.luweidong.cn

下一个