教育>高职高专>计算机类
网络爬虫项目实战  

网络爬虫项目实战  "

作者:何福男,艾旭升
ISBN:9787121452543
定价:¥46.0
字数:364千字
页数:228
出版时间:2023-07
开本:16开
版次:01-01
装帧:
出版社:电子工业出版社
简介

本书从爬虫项目开发环境搭建开始,详细讲解从数据采集到内容可视化的全过程。本书从7个网站爬虫项目出发,根据项目需求选取不同的数据采集和处理技术,并有针对性地讲解几种Python网络爬虫。本书共8章,前3章是入门篇,第4、5、6章是进阶篇,第7、8章是高级篇。涵盖的内容有Scrapy爬虫、Requests爬虫、Selenium模拟浏览器、XPath语言、CSS选择器、CSV存储、MySQL存储、JSON读取、Parsel解析、Flask框架、ECharts可视化等。本书参考企业项目开发的工作流程,图文并茂地讲解每个操作步骤,并提供运行结果让读者检验自己的代码,中间也穿插介绍相关知识点和疑难问题。本书适用于高职高专院校大数据技术专业开展项目化教学和毕业设计指导,也可作为网络爬虫爱好者的启蒙资料。

前言

当前,数据已成为重要的生产要素。“十三五”时期,我国大数据产业快速发展。据测算,产业规模年均复合增长率超过30%,2020年超过1万亿元,发展取得显著成效,逐渐成为支撑我国经济社会发展的优势产业。到2025年,大数据产业规模将突破3万亿元,年均复合增长率保持在25%左右,创新力强、附加值高、自主可控的现代化大数据产业体系基本形成。随着大数据技术的不断发展和落地应用,数据价值正在不断得到体现和提升,所以未来大数据很有可能会构建出一个非常庞大的价值空间,而这个价值空间的重要价值载体就是数据。从这个角度来看,未来数据的价值会越来越高,数据也将成为一种重要的资源。在大数据时代,数据采集是一项重要的工作,如果单纯靠人力进行信息采集,不仅低效烦琐,而且搜集的成本也会很高。网络爬虫从浩瀚的互联网知识海洋中自动采集感兴趣的信息,是数据分析和应用的基础,已经成为获取海量数据的关键技术。 为适应产业发展,“十四五”大数据产业发展规划鼓励职业院校与大数据企业深化校企合作,建设实训基地,推进专业升级调整,对接产业需求,培养高素质技术技能人才。迄今为止,全国高职院校大数据技术专业累计备案数量达到3084次,为大数据应用型、技能型、实战型人才培养奠定了基础。2018年,软件学院开设了大数据技术专业,网络爬虫技术成为专业核心课程。经过编者多年来的课堂讲学和交流培训,吸取其他高职高专院校授课教师的实践经验,发现任课教师在授课过程中,开发或找到适合高职高专学生特点的教材成为难点。由于存在着高校教师项目经验不足和企业工程师高职教材开发能力欠缺的矛盾,再加上依赖网站模拟困难,目前市面上的网络爬虫教材普遍存在着项目案例单调、网站资源匮乏、项目不完整等问题。 本书以党的二十大精神为指引,充分发挥教材的铸魂育人功能,深入贯彻落实党的二十大精神,由职业院校教师和企业高级工程师倾力合作打造,为深入实施科教兴国战略,强化现代化建设人才支撑贡献力量。 本书主编艾旭升博士曾经在思科研发中心工作10余年,有丰富的企业项目开发经验,联合北京华育科技有限公司共同开发教材。在编写过程中,艾旭升博士和其他编者一起,大量查看网络爬虫相关知识技术,翻阅已经出版发行的网络爬虫教材,开发覆盖常用爬虫技术的7个爬虫项目,进而设计项目、知识、技术有机融合的教材内容,达到技术技能提高、项目流程熟悉、创新素质提升的目标。本书定位于高职高专院校或培训学校相关专业的配套教材,也可以作为大数据技术专业毕业设计的参考用书,或者网络爬虫初学者的入门用书。内容设计遵循项目式教材开发要求,主要特色有: 1. 项目案例丰富。7个爬虫项目基于6种网站,涵盖Scrapy爬虫、Requests爬虫、Selenium爬虫、XPath路径、CSS选择器等技术,并且各章节独立,解决定制化学习难题。 2. 爬取网站独立。本书提供了配套的爬取网站,部署到本地计算机后爬虫代码可直接访问,不会出现网站更新代码运行失败的情况,教师也可以按需更新网站,避免代码失效问题。 3. 知识技能浸入。随着项目的推进,本书穿插介绍用到的知识和技能,详细阐述常用案例和方法,并在课后习题环节设计相关习题强化理解和熟练度,解决项目和知识技能融合的问题。 4. 结构层次递进。全书分为三篇,从入门篇到进阶篇再到高级篇,每篇包含不同类型的项目,渐进式地推进项目的学习难度和广度,避免读者产生陌生感和畏惧感。 5. 图文并茂设计。在项目实施过程中,具体步骤都有文字介绍和相关截图,代码截图中提供详尽的注释帮助读者理解,结果截图便于读者验证自己的实现,解决文字描述模糊的缺陷。 6. 项目过程完整。项目涵盖数据采集、数据清洗、数据存储、数据分析、数据可视化全过程,读者身临其境地感受每个步骤在项目中的作用和地位,消除学校课堂学习与企业工作环境之间的差异。 本书共8章,第1章介绍Chrome、Anaconda、ChromeDriver、PyCharm、MySQL、Navicat等依赖软件的安装和配置。第2章以爬取购物网站为例介绍Scrapy爬虫框架的创建过程,描述数据处理过程,完成数据分析和可视化。第3章设计Requests爬虫爬取招聘网站,讲解数据清洗和分析代码,指导读者设计ECharts可视化数据。第4章以爬取二手车网站为例,介绍Scrapy数据采集和MySQL数据存储的工作过程,并用Flask+ECharts可视化数据。第5章描述Requests爬取旅游网站的工作流程及导入MySQL数据库的实施步骤,并用Flask+ECharts可视化分析结果。第6章以爬取房产网站为例,介绍Requests结合Parsel采集数据的方法,并用Flask+ECharts可视化网站数据。第7章介绍Selenium模拟浏览器爬取购物网站的工作过程,演示开发Selenium爬虫的工作步骤,指导读者完成可视化图表。第8章介绍Selenium执行JavaScript爬取社交网站,深入学习定义CSS路径的工作步骤,指导分析结果的可视化设计。 本书在写作过程中得到了北京华育科技有限公司的大力支持和帮助。张佳磊负责第1、3章的编写,并协助完成学习导览和公共图标的设计工作;李良负责第4、5章的编写;陈园园负责第6章的编写;艾旭升负责第2、7、8章的编写及全书的统稿工作;王昆宇负责模拟网站开发;何福男负责整体设计并主审了本书。 由于时间仓促,加上我们的水平有限,书中难免有错误和不妥之处,敬请读者批评、指正。 编者 2023年2月

目录

第一篇 网络爬虫入门篇 第1章 开发环境准备 3 技能要求 3 学习导览 3 1.1 安装Chrome 4 1.2 安装Anaconda 4 1.3 安装第三方库 10 1.4 安装ChromeDriver 12 1.5 安装PyCharm 14 1.6 安装Java 21 1.7 安装Tomcat 22 1.8 安装MySQL 24 1.9 安装Navicat 33 第2章 购物Scrapy项目实战 37 技能要求 37 学习导览 37 2.1 项目介绍 38 2.2 任务分解 39 2.3 项目实施 39 课后习题 57 能力拓展 组合图可视化手机关注度 60 第3章 招聘Requests项目实战 63 技能要求 63 学习导览 63 3.1 项目介绍 64 3.2 任务分解 65 3.3 项目实施 65 课后习题 80 能力拓展 组合图可视化招聘态势 82 本篇小结 87 第二篇 网络爬虫进阶篇 第4章 汽车Scrapy+MTC实战 91 技能要求 91 学习导览 91 4.1 项目介绍 92 4.2 任务分解 93 4.3 项目实施 93 课后习题 112 能力拓展 组合图可视化城市二手车趋势 114 第5章 旅游Requests+MTC实战 117 技能要求 117 学习导览 117 5.1 项目介绍 118 5.2 任务分解 119 5.3 项目实施 119 课后习题 137 能力拓展 组合图可视化旅游目的地分析结果 138 第6章 房产Requests+Parsel+MTC项目实战 142 技能要求 142 学习导览 142 6.1 项目介绍 143 6.2 任务分解 143 6.3 项目实施 144 课后习题 164 能力拓展 组合图可视化房源分析统计结果 167 本篇小结 171 第三篇 网络爬虫高级篇 第7章 购物Selenium爬虫实战 175 技能要求 175 学习导览 175 7.1 项目介绍 176 7.2 任务分解 177 7.3 项目实施 177 课后习题 191 能力拓展 组合图可视化城市彩妆销售趋势 194 第8章 社交Selenium项目实战 198 技能要求 198 学习导览 198 8.1 项目介绍 199 8.2 任务分解 200 8.3 项目实施 200 课后习题 216 能力拓展 组合图可视化计算机视觉与模式识别论文分析 218 本篇小结 220

作者简介

编辑推荐

作者寄语

电子资料

www.luweidong.cn

下一个