Python-crawler

从零开始系统化的学习写Python爬虫。 主要是记录一下自己写Python爬虫的经过与心得。 同时也是为了分享一下如何能更高效率的学习写爬虫。 IDE：Vscode Python版本: 3.6

每天的学习记录都会 同步更新到：

• 微信公众号： findyourownway
• 知乎专栏：https://www.zhihu.com/people/Ehcostuff/pins/posts
• blog ： www.ehcoblog.ml

详细学习路径：

一：Beautiful Soup 爬虫

• requests库的安装与使用
• 安装beautiful soup 爬虫环境
• beautiful soup 的解析器
• re库 正则表达式的使用
• bs4 爬虫实践： 获取百度贴吧的内容
• bs4 爬虫实践： 获取双色球中奖信息
• bs4 爬虫实践： 获取起点小说信息
• bs4 爬虫实践： 获取电影信息
• bs4 爬虫实践： 获取悦音台榜单

---

二： Scrapy 爬虫框架

• 安装Scrapy
• Scrapy中的选择器 Xpath和CSS
• Scrapy 爬虫实践：今日影视
• Scrapy 爬虫实践：天气预报
• Scrapy 爬虫实践：获取代理
• Scrapy 爬虫实践：糗事百科
• Scrapy 爬虫实践： 爬虫相关攻防（代理池相关）

---

三： 浏览器模拟爬虫

• Mechanize模块的安装与使用
• 利用Mechanize获取乐音台公告
• Selenium模块的安装与使用
• 浏览器的选择 PhantomJS
• Selenium & PhantomJS 实践： 获取代理
• Selenium & PhantomJS 实践： 漫画爬虫