用Python写网络爬虫 pdf下载超清完整版.pdf

发布时间：2022-05-30 发布人：admin 分类：说明书资料大小：9.87M 资料格式：pdf 举报版权申诉

taishangzao-9768273-16359647526436907190.pdf-第1页.png

第1页 / 共171页

taishangzao-9768273-16359647526436907190.pdf-第2页.png

第2页 / 共171页

taishangzao-9768273-16359647526436907190.pdf-第3页.png

第3页 / 共171页

taishangzao-9768273-16359647526436907190.pdf-第4页.png

第4页 / 共171页

taishangzao-9768273-16359647526436907190.pdf-第5页.png

第5页 / 共171页

taishangzao-9768273-16359647526436907190.pdf-第6页.png

第6页 / 共171页

taishangzao-9768273-16359647526436907190.pdf-第7页.png

第7页 / 共171页

taishangzao-9768273-16359647526436907190.pdf-第8页.png

第8页 / 共171页

第1章網絡爬蟲簡介

1.1 網絡爬蟲何時有用

1.2 網絡爬蟲是否合法

1.3 背景調研

1.3.1 檢查 robots.txt

1.3.2 檢查網站地圖

1.3.3 估算網站大小

1.3.4 識別網站所用技術

1.3.5 尋找網站所有者

1.4 編寫第一個網絡爬蟲

1.4.1 下載網頁

1.4.2 網站地圖爬蟲

1.4.3 ID 遍歷爬蟲

1.4.4 鏈接爬蟲

1.5 本章小結

第2章數據抓取

2.1 分析網頁

2.2 三種網頁抓取方法

2.2.1 正則表達式

2.2.2 Beautiful Soup

2.2.3 Lxml

2.2.4 性能對比

2.2.5 結論

2.2 .6 為鏈接爬蟲添加抓取回調

2.3 本章小結

第3章下載緩存

3.1 為鏈接爬蟲添加緩存支持

3.2 磁盤緩存

3.2.1 實現

3.2.2 緩存測試

3.2.3 節省磁盤空間

3.2.4 清理過期數據

3.2.5 缺點

3.3 數據庫緩存

3.3.1 NoSQL 是什麼

3.3.2 安裝 MongoDB

3.3.3 MongoDB 概述

3.3.4 MongoDB 緩存實現

3.3.5 壓縮

3.3.6 緩存測試

3.4 本章小結

第4章並發下載

4.1 100 萬個網頁

4.2 串行爬蟲

4.3 多線程爬蟲

4.3.1 線程和進程如何工作

4.3.2 實現

4.3.3 多進程爬蟲

4.4 性能

4.5 本章小結

第5章動態內容

5.1 動態網頁示例

5.2 對動態網頁進行逆向工程

5.3 渲染動態網頁

5.3.1 PyQt 還是 PySide

5.3.2 執行 JavaScript

5.3.3 使用 WebKit 與網站交互

5.3.4 Selenium

5.4 本章小結

第6章表單交互

6.1 登錄表單

6.2 支持內容更新的登錄腳本擴展

6.3 使用 Mechanize 模塊實現自動化表單處理

6.4 本章小結

第7章驗證碼處理

7.1 註冊賬號

7.2 光學字符識別

7.3 處理複雜驗證碼

7.3.1 使用驗證碼處理服務

7.3.2 9kw 入門

7.3.3 與註冊功能集成

7.4 本章小結

第8章 Scrapy

8.1 安裝

8.2 啟動項目

8.2.1 定義模型

8.2.2 創建爬蟲

8.2.3 使用 shell 命令抓取

8.2.4 檢查結果

8.2.5 中斷與恢復爬蟲

8.3 使用 Portia 編寫可視化爬蟲

8.3.1 安裝

8.3.2 標註

8.3.3 優化爬蟲

8.3.4 檢查結果

8.4 使用 Scrapely 實現自動化抓取

8.5 本章小結

第9章總結

9.1 Google 搜索引擎

9.2 Facebook

9.2.1 網站

9.2 .2 API

9.3 Gap

9.4 寶馬

9.5 本章小結

／写人民邮电出版社北京［澳］Richard Lawson 著李斌译

图书在版编目（CIP）数据用Python写网络爬虫／（澳大利亚）理查德·劳森 Lawson）著；李斌译．一北京：人民邮电出 (Richard 版社， 2016.9 ISBN 978-7-115-43179一0 I .①用…II.①理…②李…III.①软件工具一程序设计N. ①TP311.56 中国版本图书馆CIP数据核宇（2016）第177976号版权声明 Cop严ight© 201 5 Packt Publishing. All Rights Reserved. 本书由英国PacktPublishing 得以任何方式或任何手段复制和传播。版权所有，侵权必究。 First published in the English language under the title Web Scraping with Python. 公司授权人民邮电出版社出版。未经出版者书面许可，对本书的任何部分不 awson ［澳］Richard L ’ 著译李斌责任编辑傅道坤责任印制焦志炜 ’ 人民邮电出版社出版发行北京市丰台区成寿寺路II号邮编 100164 电子邮件 3 l 5@ptpress.com.cn 网址 http://www .ptpress.com.cn 三河市海波印务有限公司印刷 ’ 开本：800x!OOO 1/16 印张： 10.75 字数z148千字印数z1-3000册著作权合同登记号 2016年9月第l版 2016年9月河北第1次印刷图字：0 1-2016-3962号定价：45.00元读者服务热线： (010) 81055410 印装质量热线：（010)81055316 反盗版热线：（010)81055315

内容提要本书讲解了如何使用P川lOil来编写网络爬虫程序，内容包括网络爬虫简介，从页面中抓取数据的三种方法，提取缓存中的数据，使用多个线程和进程来进行并发抓取，如何抓取动态页面中的内容，与表单进行交互，处理页面中的验证码问题，以及使用 Scarpy 和Portia来进行数据抓取，并在最后使用本书介绍的数据抓取技术对几个真实的网站进行了抓取，旨在帮助读者活学活用书中介绍的技术。本书适合有一定Python编程经验，而且对爬虫技术感兴趣的读者阅读。

关于作者 Richard Lawson来自澳大利亚，毕业于墨尔本大学计算机科学专业。毕业后，他创办了一家专注于网络爬虫的公司，为超过 50 个国家的业务提供远程工作。他精通于世界语，可以使用汉语和韩语对话，并且积极投身于开源软件。他目前在牛津大学攻读研究生学位，并利用业余时间研发自主无人机。我要感谢 TimothyBaldwin教授将我引入这个令人兴奋的领域，以及本书编写时在巴黎招待我的ηiara可Douc。

关于审稿人 Martin Bur咄是一名常驻纽约的数据记者，其工作是为华尔街日报绘制交互式图表。他在新墨西哥州立大学获得了新闻学和信息系统专业的学士学位，然后在纽约城市大学新闻学研究院获得了新闻学专业硕士学位。我要感谢我的妻子 Lisa鼓励我协助本书的创作，我的叔叔Michael 耐心解答我的编程问题，以及我的父亲 Richard激发了我对新闻学和写作的热爱。 William Sankey是一位数据专业人士，也是一位业余开发人员，生活在马里兰州科利奇帕克市。他于 2012年毕业于约翰·霍普金斯大学，获得了公共政策硕士学位，专业方向为定量分析。他目前在 L &M政策研究有限责任公司担任健康服务研究员，从事与美国医疗保险和医疗补助服务中心（CM S）相关的项目。这些项目包括责任医疗机构评估以及精神病院住院患者预付费系统监测。我要感谢我深爱的妻子Julia和顽皮的小猫 Ruby，给予我全部的爱和支持。

关于审稿人 Ayush Tiwari是一名Python开发者，本科就读于印度理工学院罗克分校。他自 2013年起工作于印度理工学院罗克分校信息管理小组，并活跃于网络开发领域。对他而言，审阅本书是一个非常棒的经历。他不仅是一名审稿人，也是一名狂热的网络爬虫学习者。他向所有 Python爱好者推荐本书，以便享受爬虫的益处。他热衷于Python网络爬虫，曾参与体育直播订阅、通用 P川lOil电子商务网络爬虫（在M iranj）等相关项目。他还使用 Django应用开发了就业门户，帮助改善印度理工学院罗克分校的就业流程。除了后端开发之外，他还喜欢使用诸如Nu mPy、SciPy等Python库进行科学计算和数据分析，目前他从事计算流体力学领域的研究。你可以在GitHub 上访问到他的项目，他的用户名是 tiwariayush。他喜欢徒步穿越喜马拉雅山谷，每年会参加多次徒步行走活动。此外，他还喜欢弹吉他。他的成就还包括参加国际知名的 Super30小组，并在其中成为排名保持者。他在高中时，还参加了国际奥林匹克数学竞赛。我的家庭成员（我的姐姐Aditi、我的父母以及 Anand先生）、我在 VI和 IMG的朋友以及我的教授都为我提供了很大的帮助。我要感谢他们所有人对我的支持。最后，感谢尊敬的作者和Packt出版社团队出版了这些非常好的技术书籍。我要对他们在编写这些书籍时的所有辛苦工作表示赞赏。 2

..a.&. ....1』．刷昌互联网包含了迄今为止最有用的数据集，并且大部分可以免费公开访问。但是，这些数据难以复用。它们被嵌入在网站的结构和样式当中，需要抽取出来才能使用。从网页中抽取数据的过程又被称为网络爬虫。随着越来越多的信息被发布到网络上，网络爬虫也变得越来越有用。本书内容第 1章，网络爬虫简介，介绍了网络爬虫，并讲解了爬取网站的方法。第 2章，数据抓取，展示了如何从网页中抽取数据。第 3章，下载缓存，学习了如何通过缓存结果避免重复下载的问题。第 4章，并发下载，通过并行下载加速数据抓取。第 5章，动态内容，展示了如何从动态网站中抽取数据。第 6章，表单交互，展示了如何与表单进行交互，从而访问你需要的数据。第 7章，验证码处理，阐述了如何访问被验证码图像保护的数据。第 8章， Scrapy，学习了如何使用流行的高级框架 Scrapy。第 9章，总结，对我们介绍的这些网络爬虫技术进行总结。

分享到：

赞收藏

资料库

用Python写网络爬虫 pdf下载超清完整版.pdf

相关推荐

开发技术

热门标签

最新资料