
网络爬虫是按照一定规则自动请求服务器上的网页,并采集网页数据的一种程序或脚本,它可以代替人进行数据采集,也可以自动采集网页数据、高效利用互联网数据,因此在市场应用中占据了重要位置。本书以Windows操作系统为主要开发平台,系统、全面地讲解了网络爬虫的相关知识。本书的主要内容包括保存服务器网页到本地、使用正则表达式提取网页内容、爬取豆瓣电影TOP250栏目、使用requests库爬取电影网站、通过模拟用户登录爬取网站、使用Scrapy框架爬取图片网站、使用分布式爬虫爬取腾讯招聘频道,主要知识点囊括网络爬虫基础知识、网页请求原理、抓取静态网页数据、解析网页数据、抓取动态网页数据、网络爬虫的优化、数据的持久化存储、识别验证码、搭建网络爬虫框架、网络分布式爬虫Scrapy-Redis的开发和部署等。本书内容通俗易懂,案例丰富,实用性强,特别适合Python语言的基础学习者和进阶学习者,也适合Python程序员、爬虫工程师等编程爱好者。本书不仅可以作为高校教材,也可以作为相关培训机构的教材,还可以作为广大网络爬虫开发者的参考书。此外,本书开发了丰富的教学资源库,并免费提供所有素材。
在大数据和人工智能应用越来越普遍的今天,Python可以说是当下最热门、应用最广泛的编程语言之一,在人工智能、网络爬虫、数据科学、机器学习、游戏开发、自动化运维等方面,无处不见其身影。数据的收集、统计工作发挥着越来越重要的作用,而这些工作大多需要网络爬虫完成,因此掌握网络爬虫技术显得十分重要。 随着大数据时代的到来,数据的价值不断凸显和提升。互联网是数据产生和存在的重要环境和载体,如何高效地从海量数据中获取信息成了一个亟待解决的问题。海量数据是释放优质算力效能的前提,数据获取是发生“数聚效应”的基础。在此背景下,具有瞬时获取数据功能的网络爬虫技术应运而生,并迅速发展成为一门受企业、开发人员青睐和追捧的技术。本书从初学者的角度出发,循序渐进地介绍了学习网络爬虫必备的基础知识,以及一些热门网络爬虫框架的基本使用方法,以帮助读者快速掌握网络爬虫的相关技能,并能够独立编写Python网络爬虫程序,进而成长为一名能胜任具体工作岗位的Python网络工程师。 在内容编排上,本书采用“理论知识+案例代码+拓展提高”的模式,不仅介绍了普适性内容,还提供了实战案例,确保读者在理解核心知识的前提下学以致用;在知识配置上,本书涵盖了Python网络爬虫常用的库及工具。希望读者通过对本书的学习,可以全面掌握Python网络爬虫的核心知识,具备开发简单网络爬虫项目的能力。 本书的主要特色体现在如下几点。 ? 内容由浅入深:本书从日常生活中的常见项目案例入手,通过对项目案例的不断迭代和优化,引导读者进入网络爬虫的抽象世界。 ? 实操性强:本书选用多个具有代表性的网站作为爬取目标,介绍了网页数据的爬取方法和转换方法,以及新式网络中各种类型的数据的使用方法。 ? 代码详尽:为了便于读者理解相应的知识点,本书对每一个知识点都提供了完整、详细的代码,并对核心代码进行了详细注解,读者可在编写代码时结合注解更好地掌握网络爬虫程序的设计思想(本书所有代码都用Python语言编写,因此,要求读者对Python语言的基本语法有所了解)。 ? 配套资源丰富:编者为本书制作了专业的教学PPT、教案、授课进度计划书、课程标准等配套资源,可为相关院校或培训机构的教学人员提供授课便利。 ? 代码更新及时:案例代码可从GitHub官网获取,能够满足读者对最新代码的需求。 本书由重庆城市职业学院的老师编写。曹勇老师编写了本书的项目一,黄天春老师编写了本书的项目二,廖丽老师编写了本书的项目三,刘振栋老师编写了本书的项目四,其余项目由钱游老师编写。全书的统稿工作由钱游老师完成。 由于本书的案例较多,且许多案例存在多种解决方案,但鉴于本书篇幅有限,加之编者水平和学识有限,因此未列举所有程序代码。但本书提供的全部程序代码都是由编者在Python环境中调试通过的,读者可直接借鉴、使用。请有需要的读者登录华信教育资源网(www.hxedu.com.cn)注册后免费下载相关配套资源,或扫描书中的二维码获取,如有问题可与电子工业出版社联系(E-mail:hxedu@phei.com.cn)。 资源名称 资源类别 资源个数 二维码 电子教案 Word文档 (详细版,共240页) 1 教学课件 PPT文档 7 教学视频 MP4视频 24 课后习题 Word文档及源代码 9 案例代码 .py文件或文件夹 123 尽管编者竭尽全力减少书中的错误,但难免有疏漏的地方,敬请广大读者朋友批评指正,并提出宝贵意见。 编 者 2023年2月
目 录 项目一 保存服务器网页到本地 1 任务1 认识网络爬虫 2 任务演示 2 知识准备 2 1. 初步认识网络爬虫 2 2. 网络爬虫的结构及其工作原理 4 3. 爬虫技术的风险与Robots协议 5 4. Python的安装 6 5. Pygame的简单使用 11 任务实施 12 任务拓展 13 1. 反爬虫的目的与手段 13 2. Windows环境下的MongoDB数据库安装和配置 14 3. Linux环境下的MongoDB数据库安装和配置 16 任务2 将请求到的网页保存到本地 18 任务演示 18 知识准备 19 1. 使用urllib请求网页 19 2. 安装和配置MySQL数据库 20 任务实施 28 任务拓展 29 小结 30 复习题 31 项目二 使用正则表达式提取网页内容 32 任务1 在网页上展示伟大抗疫精神 33 任务演示 33 知识准备 33 1. HTML基础知识 33 2. CSS基础知识 35 3. CSS样式选择器 38 任务实施 44 任务拓展 45 1. JavaScript的引入 45 2. JavaScript的基本语法 48 任务2 使用正则表达式提取文本中的指定内容 53 任务演示 53 知识准备 53 1. 正则表达式的基本语法 54 2. 正则表达式的使用 57 任务实施 61 任务拓展 62 小结 63 复习题 63 项目三 爬取豆瓣电影TOP250栏目 65 任务1 使用urllib框架请求网页 66 任务演示 66 知识准备 66 1. 网络爬虫开发的基本流程 66 2. urllib框架的基本模块 66 3. 字符的编码和解码 74 任务实施 76 1. URL分析 76 2. 编码规范 77 3. 爬取豆瓣电影TOP250栏目 77 任务拓展 81 任务2 使用BeautifulSoup4解析网页 82 任务演示 82 知识准备 82 1. BeautifulSoup4的四个对象 82 2. 文档的遍历 86 3. 文档的搜索 91 任务实施 95 任务拓展 97 任务3 使用XPath解析网页数据 99 任务演示 99 知识准备 99 任务实施 105 任务拓展 106 任务4 数据的持久化存储 108 任务演示 108 知识准备 108 任务实施 116 任务拓展 118 小结 121 复习题 121 项目四 使用requests库爬取电影网站 123 任务1 使用requests库请求网页 124 任务演示 124 知识准备 124 1. requests库的安装 124 2. GET请求 125 3. POST请求 126 任务实施 129 任务拓展 131 任务2 使用requests-html库解析网页 136 任务演示 136 知识准备 136 1. requests-html库的新功能 136 2. requests-html库的安装 136 3. requests-html库的使用 137 任务实施 139 任务拓展 142 1. 网络爬虫的优化 142 2. 将请求到的数据保存到MySQL数据库中 145 小结 149 复习题 149 项目五 通过模拟用户登录爬取网站 151 任务1 模拟用户登录 152 任务演示 152 知识准备 152 1. 使用ddddocr模块识别验证码 153 2. 使用在线平台进行打码 153 任务实施 160 1. 对古诗文网的登录验证码进行验证 160 2. 实现模拟用户登录 163 任务拓展 167 1. 携带Cookies请求网页 167 2. 古诗文网登录实现 169 3. 在登录成功后进行数据采集 174 任务2 使用Selenium模拟用户登录豆瓣网 175 任务演示 175 知识准备 176 1. 什么是Selenium 176 2. Selenium的安装 176 任务实施 180 任务拓展 182 小结 184 复习题 185 项目六 使用Scrapy框架爬取图片网站 186 任务1 Scrapy开发环境搭建 187 任务演示 187 知识准备 187 1. 常见的爬虫框架 187 2. Scrapy框架概述 188 任务实施 189 任务拓展 196 任务2 使用Scrapy框架爬取代理IP 200 任务演示 200 知识准备 200 1. XPath选择器 200 2. CSS选择器 201 任务实施 202 任务拓展 210 任务3 Scrapy数据的持久化存储 211 任务演示 211 知识准备 211 1. 基于终端命令存储 212 2. 基于管道存储 212 任务实施 214 1. 实现基于终端命令的数据持久化存储 214 2. 实现基于管道的数据持久化存储——使用文本存储数据 215 3. 实现基于管道的数据持久化存储—使用MySQL数据库存储数据 219 4. 实现基于管道的数据持久化存储——使用Redis数据库存储数据 221 5. 实现基于管道的数据持久化存储——使用MongoDB数据库存储数据 224 任务拓展 227 任务4 爬取图片网站 230 任务演示 230 知识准备 230 任务实施 231 任务拓展 235 1. 将爬取的图片名及其路径保存到MySQL数据库中 235 2. 使用Scrapy框架爬取图说历史栏目 236 小结 239 复习题 239 项目七 使用分布式爬虫爬取腾讯招聘频道 241 任务1 搭建Scrapy-Redis开发环境 242 任务演示 242 知识准备 242 1. 分布式爬虫的基本概念 242 2. 分布式环境的搭建 243 3. 在Ubuntu系统上安装Scrapy 247 4. 在CentOS 7系统上安装Scrapy 249 任务实施 250 任务拓展 251 任务2 开发分布式爬虫 252 任务演示 252 知识准备 253 任务实施 254 1. 创建Scrapy爬虫 254 2. 初始化配置 256 3. 网站结构分析 256 4. 爬虫的核心代码 261 5. 部署分布式爬虫 266 任务拓展 271 1. 随机请求头 271 2. 爬取视频 273 小结 277 复习题 277