【爬虫开源】91+1024+mm131爬虫

eqblog

早上差点被吓死。。mjj。。

项目全部整理到了Github：
91视频解析:https://github.com/eqblog/91_**_video_url
91视频爬虫:https://github.com/eqblog/91_**_spider
1024图片爬虫：https://github.com/eqblog/1024_img_spider_threads
mm131图片爬虫：https://github.com/eqblog/mm131_spider_threading


注意：仅支持python3
注意：仅支持python3
注意：仅支持python3


python需要requests库
请使用pip安装
pip3 install requests


修改目录出现的错误，请自行看代码修改。。本人精力有限（没入股营养快线），精力不足啊
至于我是哪学的爬虫吗。。
python3基础是网上随便找的教程看的。
其实不需要基础也可以学爬虫的。。有其它语言入门水平即可
我是从网上下的免费教程
是崔庆才的，他博客有付费教程，当然你也可以像我一样从网上下载免费的
我只学到了正则。。第10课时左右。。

ecosway598

大佬  python2.7  你放弃了么

oldj

py3 才好，py2还需要自己转编码

倾城翻翻

91 video spider

fl20002

91视频的  只爬了54G就自己退了  难道91只有这么多 ?

不可能吧   退出也没提示

1024爬的吊炸天   2500个目录

eqblog

本帖最后由 eqblog 于 2018-2-4 14:30 编辑

fl20002 发表于 2018-2-4 14:27

91视频的  只爬了54G就自己退了  难道91只有这么多 ?

不可能吧   退出也没提示



你应该是用windows吧？ 建议你拿cmd用用python命令执行脚本
这样你会看到报什么错

对了。。默认只爬100页哦。。你把flag改下

while flag
ecosway598 发表于 2018-2-4 14:22

大佬  python2.7  你放弃了么


python2太麻烦了。。中文字符还得自己转。。还不如用python3。。方便点

nerlnsqy

eqblog 发表于 2018-2-4 14:29

你应该是用windows吧？ 建议你拿cmd用用python命令执行脚本
这样你会看到报什么错
用的window  用Linux 好多502

100页  54G 差不多

大佬还是入股营养快线吧

稳赚不赔