Python3网络爬虫开发实战第2版 [2 ed.] 9787115577092

◎ 编辑推荐 Python 之父 Guido van Rossum 推荐的爬虫入门书，第 1 版销量近 100000 册；微软中国大数据工程师、博客文章过百万的静觅大神力作；新增异步爬虫、JavaScript 逆向、App

1,029 945 591MB

Chinese Pages 926 Year 2021

Python3网络爬虫开发实战第2版 [2 ed.]
9787115577092

Author / Uploaded
崔庆才

Table of contents :
封面
序一
序二
前言
目录
第1章爬虫基础
1.1 HTTP基本原理
1.2 Web网页基础
1.3 爬虫的基本原理
1.4 Session和Cookie
1.5代理的基本原理
1.6多线程与多进程的基本原理
第2章基本库的使用
2.1 urllib的使用
2.2 requests的使用
2.3 正则表达式
2.4 httpx的使用
2.5 基础爬虫案例实战
第3章网页数据的解析提取
3.1 XPath的使用
3.2 Beautiful Soup的使用
3.3 pyquery的使用
3.4 parsel的使用
第4章数据的存储
4.1 TXT文本文件存储
4.2 JSON文件存储
4.3 CSV文件存储
4.4 MySQL存储
4.5 MongoDB 文档存储
4.6 Redis缓存存储
4.7 Elasticsearch搜索引擎存储
4.8 RabbitMQ的使用
第5章 Ajax数据爬取
5.1 什么是Ajax
5.2 Ajax分析方法
5.3 Ajax分析与爬取实战
第6章异步爬虫
6.1 协程的基本原理
6.2 aiohttp的使用
6.3 aiohttp异步爬取实战
第7章 JavaScript动态渲染页面爬取
7.1 Selenium的使用
7.2 Splash的使用
7.3 Pyppeteer的使用
7.4 Playwright的使用
7.5 Selenium爬取实战
7.6 Pyppeteer爬取实战
7.7 CSS位置偏移反爬案例分析与爬取实战
7.8 字体反爬案例分析与爬取实战
第8章验证码的识别
8.1 使用OCR技术识别图形验证码
8.2 使用OpenCV 识别滑动验证码的缺口
8.3 使用深度学习识别图形验证码
8.4 使用深度学习识别滑动验证码的缺口
8.5 使用打码平台识别验证码
8.6 手机验证码的自动化处理
第9章代理的使用
9.1 代理的设置
9.2 代理池的维护
9.3 付费代理的使用
9.4 ADSL拨号代理的搭建方法
9.5 代理反爬案例爬取实战
第10章模拟登录
10.1 模拟登录的基本原理
10.2 基于Session和Cookie的模拟登录爬取实战
10.3 基于JWT的模拟登录爬取实战
10.4 大规模账号池的搭建
第11章 JavaScript逆向爬虫
11.1 网站加密和混淆技术简介
11.2 浏览器调试常用技巧
11.3 JavaScript Hook的使用
11.4 无限debugger的原理与绕过
11.5 使用Python模拟执行JavaScript
11.6 使用Node.js模拟执行JavaScript
11.7 浏览器环境下JavaScript的模拟执行
11.8 AST技术简介
11.9 使用AST技术还原混淆代码
11.10 特殊混淆案例的还原
11.11 WebAssembly案例分析和爬取实战
11.12 JavaScript 逆向技巧总结
11.13 JavaScript逆向爬取实战
第12章 APP数据的爬取
12.1 Charles抓包工具的使用
12.2 mitmproxy抓包工具的使用
12.3 mitmdump实时抓包处理
12.4 Appium的使用
12.5 基于Appium的App爬取实战
12.6 Airtest的使用
12.7 基于Airtest的App爬取实战
12.8 手机群控爬取实战
12.9 云手机的使用
第13章 Android逆向
13.1 jadx的使用
13.2 JEB的使用
13.3 Xposed框架的使用
13.4 基于Xposed的爬取实战案例
13.5 Frida的使用
13.6 SSL Pining问题的解决方案
13.7 Android脱売技术简介与实战
13.8 利用IDA Pro静态分析和动态调试so文件
13.9 基于Frida-RPC模拟执行so文件
13.10 基于AndServer-RPC模拟执行so文件
13.11 基于unidbg 模拟执行so文件
第14章页面智能解析
14.1 页面智能解析简介
14.2 详情页智能解析算法简介
14.3 详情页智能解析算法的实现
14.4 列表页智能解析算法简介
14.5 列表页智能解析算法的实现
14.6 如何智能分辨列表页和详情页
第15章 Scrapy框架的使用
15.1 Scrapy框架介绍
15.2 Scrapy入门
15.3 Selector的使用
15.4 Spider的使用
15.5 Downloader Middleware的使用
15.6 Spider Middleware的使用
15.7 Item Pipeline的使用
15.8 Extension的使用
15.9 Scrapy对接 Selenium
15.10 Scrapy 对接 Splash
15.11 Scrapy 对接 Pyppeteer
15.12 Scrapy 规则化爬虫
15.13 Scrapy实战
第16章分布式爬虫
16.1 分布式爬虫理念
16.2 Scrapy-Redis原理和源码解析
16.3 基于Scrapy-Redis的分布式爬虫实现
16.4 基于Bloom Filter进行大规模去重
16.5 基于RabbitMQ的分布式爬虫
第17章爬虫的管理和部署
17.1 Scrapyd和ScrapydAPI的使用
17.2 Scrapyd-Client的使用
17.3 Gerapy爬虫管理框架的使用
17.4 将Scrapy项目打包成Docker镜像
17.5 Docker Compose的使用
17.6 Kubernetes的使用
17.7 用Kubernetes 部署和管理 Scrapy爬虫
17.8 Scrapy分布式爬虫的数据统计方案
17.9 基于Prometheus和Grafana的分布式爬虫监控方案
附录爬虫与法律