Skip to content

Python队列+多线程爬虫(起点小说网、豆瓣、京东订单、百度贴吧、淘宝优惠券6W数据、糗事百科)

Notifications You must be signed in to change notification settings

wenjunzhangp/becatPython

Folders and files

NameName
Last commit message
Last commit date

Latest commit

 

History

20 Commits
 
 
 
 
 
 
 
 
 
 
 
 
 
 

Repository files navigation

Python队列+多线程爬虫(起点小说网、豆瓣、京东订单、百度贴吧、淘宝优惠券6W数据、糗事百科)



一.大致介绍

1.api文件夹为一些基本的api接口,可供前台调用
2.common文件夹为核心的py脚本,各种封装的脚本文件
3.config文件夹顾名思义,为配置信息文件,包括数据库配置信息和邮件收发配置
4.test文件夹为各种测试common包下的脚本文件
5.main.py是整个工程的启动文件,执行main即可启动项目
6.grab文件下为几个爬虫demo的脚本、curd.py是python连接mysql进行增删改查的demo

二.说明与结语

想学爬虫的同学把我这个down下来,熟悉熟悉运行起来,基本就能学会多线程+队列爬虫了,别等了快去下载然后点个star哈哈哈!
有问题或者有任何疑问请加QQ群:259217951 包括你运行项目的问题,各种问题。我会一一回复你们。如果觉得代码生成器好用,请不要吝啬你的小星星,帮我点点star thanks~~ 那将会是支持我前进的源动力!
另外推荐一个特别好用的基金自选助手,https://www.jrcfn.com

About

Python队列+多线程爬虫(起点小说网、豆瓣、京东订单、百度贴吧、淘宝优惠券6W数据、糗事百科)

Resources

Stars

Watchers

Forks

Releases

No releases published

Packages

No packages published

Languages