diff --git a/README.md b/README.md index 3a5dfabc5..909b81743 100644 --- a/README.md +++ b/README.md @@ -190,20 +190,20 @@ PROXY_FETCHER = [ 目前实现的采集免费代理网站有(排名不分先后, 下面仅是对其发布的免费代理情况, 付费代理测评可以参考[这里](https://zhuanlan.zhihu.com/p/33576641)): - | 厂商名称 | 状态 | 更新速度 | 可用率 | 是否被墙 | 地址 | - | ----- | ---- | -------- | ------ | --------- | ----- | - | 无忧代理 | 可用 | 几分钟一次 | * | 否 | [地址](http://www.data5u.com/free/index.html) | - | 66代理 | 可用 | 更新很慢 | * | 否 | [地址](http://www.66ip.cn/) | - | 西刺代理 | 可用 | 几分钟一次 | * | 否 | [地址](http://www.xicidaili.com)| - | 全网代理 | 可用 | 几分钟一次 | * | 否 | [地址](http://www.goubanjia.com/)| - | ~~训代理~~ | 已关闭免费代理 | * | * | 否 | [地址](http://www.xdaili.cn/)| - | 快代理 | 可用 |几分钟一次| * | 否 | [地址](https://www.kuaidaili.com/)| - | 云代理 | 可用 |几分钟一次| * | 否 | [地址](http://www.ip3366.net/)| - | IP海 | 可用 |几小时一次| * | 否 | [地址](http://www.iphai.com/)| - | 免费IP代理库 | 可用 |快| * | 否 | [地址](http://ip.jiangxianli.com/)| - | 中国IP地址 | 可用 |几分钟一次| * | 是 | [地址](http://cn-proxy.com/)| - | Proxy List | 可用 |几分钟一次| * | 是 | [地址](https://proxy-list.org/chinese/index.php)| - | ProxyList+ | 可用 |几分钟一次| * | 是 | [地址](https://list.proxylistplus.com/Fresh-HTTP-Proxy-List-1)| + | 代理名称 | 状态 | 更新速度 | 可用率 | 地址 | 代码 | + | --------- | ---- | -------- | ------ | ----- | ------- | + | 无忧代理 | √ | ★ | * | [地址](http://www.data5u.com/) | `freeProxy01` | + | 66代理 | √ | ★★ | * | [地址](http://www.66ip.cn/) | `freeProxy02` | + | ~~西刺代理~~ | ~~已关闭~~ | —— | —— | ~~[地址](http://www.xicidaili.com)~~| ~~`freeProxy03`~~| + | 全网代理 | √ | ★ | * | [地址](http://www.goubanjia.com/)| `freeProxy04` | + | 快代理 | √ | ☆ | * | [地址](https://www.kuaidaili.com/)| `freeProxy05` | + | 代理盒子 | √ | ★★★ | * | [地址](https://proxy.coderbusy.com/)| `freeProxy06` | + | 云代理 | √ | ★ | * | [地址](http://www.ip3366.net/)| `freeProxy07` | + | ~~IP海~~ |~~已关闭~~| —— | —— | ~~[地址](http://www.iphai.com/)~~|~~`freeProxy08`~~| + | 免费代理库 | √ | ☆ | * | [地址](http://ip.jiangxianli.com/)| `freeProxy09` | + | 89代理 | √ | ☆ | * | [地址](http://cn-proxy.com/)| `freeProxy13` | + | 西拉代理 | √ | ★★ | * | [地址](https://proxy-list.org/chinese/index.php)| `freeProxy14` | + 如果还有其他好的免费代理网站, 可以在提交在[issues](https://github.com/jhao104/proxy_pool/issues/71), 下次更新时会考虑在项目中支持。 diff --git a/docs/changelog.rst b/docs/changelog.rst index e31ba5cb9..34d3b9b35 100644 --- a/docs/changelog.rst +++ b/docs/changelog.rst @@ -7,6 +7,9 @@ ChangeLog ------------------ 1. Fix Bug `#493`_, 新增时区配置; (2020-08-12) +2. 修复 **66代理** 采集; (2020-11-04) +3. 修复 **全网代理** 采集, 解决HTML端口加密问题; (2020-11-04) +4. 新增 **代理盒子** 免费源; (2020-11-04) .. _#493: https://github.com/jhao104/proxy_pool/issues/493 diff --git a/fetcher/proxyFetcher.py b/fetcher/proxyFetcher.py index 71cf276b0..2a73bcc3f 100644 --- a/fetcher/proxyFetcher.py +++ b/fetcher/proxyFetcher.py @@ -54,57 +54,22 @@ def freeProxy01(): print(e) @staticmethod - def freeProxy02(count=20): + def freeProxy02(): """ 代理66 http://www.66ip.cn/ - :param count: 提取数量 :return: """ - urls = [ - "http://www.66ip.cn/mo.php?sxb=&tqsl={}&port=&export=&ktip=&sxa=&submit=%CC%E1++%C8%A1&textarea=", - "http://www.66ip.cn/nmtq.php?getnum={}&isp=0&anonymoustype=0&s" - "tart=&ports=&export=&ipaddress=&area=0&proxytype=2&api=66ip" - ] - - try: - import execjs - import requests - - headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64; rv:34.0) Gecko/20100101 Firefox/34.0', - 'Accept': '*/*', - 'Connection': 'keep-alive', - 'Accept-Language': 'zh-CN,zh;q=0.8'} - session = requests.session() - src = session.get("http://www.66ip.cn/", headers=headers).text - src = src.split("")[0] + '}' - src = src.replace("