爬取某站自动上传到OneDrive并删除本地文件

孫笑川

本帖最后由 孫笑川 于 2021-1-31 00:45 编辑

爬取某站自动上传到OneDrive并删除本地文件
之前发的贴被版主删了还给了次警告，这次不说关键词了。




本spider的缺点：
1.只支持新时代***、达盖尔**两个板块的图片
2.程序逻辑为下载上传上一个帖子之后才会处理下个帖子，速度比较慢。
3.没有内置会员账号，只能处理到第100页。
本spider的优点：
1.占用资源小，速度不够暴力，因此应该不会被封ip。也不会影响到服务器的其他任务。
2.全自动任务，上传完成后就会删除本地文件，对于小盘机也很友好。
3.没有了，本人python菜鸡。此脚本也是二开，原作者主页：https://github.com/scriptcoder1


1、授权认证
点击右侧URL登录并授权，授权地址:
【国际版、个人版(家庭版)】:https://login.microsoftonline.com/common/oauth2/v2.0/authorize?client_id=78d4dc35-7e46-42c6-9023-2d39314433a5&response_type=code&redirect_uri=http://localhost/onedrive-login&response_mode=query&scope=offline_access%20User.Read%20Files.ReadWrite.All

【中国版(世纪互联)】:https://login.chinacloudapi.cn/common/oauth2/v2.0/authorize?client_id=dfe36e60-6133-48cf-869f-4d15b8354769&response_type=code&redirect_uri=http://localhost/onedrive-login&response_mode=query&scope=offline_access%20User.Read%20Files.ReadWrite.All

授权后会获取一个localhost开头打不开的链接，这里复制好整个链接地址，包括localhost。


2、安装OneDriveUploader
[ol]

#64位系统下载

wget https://raw.githubusercontent.com/MoeClub/OneList/master/OneDriveUploader/amd64/linux/OneDriveUploader -P /usr/local/bin/

#32位系统下载

wget https://raw.githubusercontent.com/MoeClub/OneList/master/OneDriveUploader/i386/linux/OneDriveUploader -P /usr/local/bin/

#arm架构下载

wget https://raw.githubusercontent.com/MoeClub/OneList/master/OneDriveUploader/arm/linux/OneDriveUploader -P /usr/local/bin/

#给予权限

chmod +x /usr/local/bin/OneDriveUploader[/ol]复制代码

3、初始化配置
[ol]

#国际版，将url换成你上面复制的授权地址，包括http://loaclhost。

OneDriveUploader -a "url"

#个人版(家庭版)，将url换成你上面复制的授权地址，包括http://loaclhost。

OneDriveUploader -ms -a "url"

#中国版(世纪互联)，将url换成你上面复制的授权地址，包括http://loaclhost。

OneDriveUploader -cn -a "url"[/ol]复制代码
如果提示Init config file: /path/to/file/auth.json类似信息，则初始化成功。


4、上传spider到服务器
下载地址：https://fan.cowtransfer.com/s/8fca12f1d48e41

对了，大家应该都会使用screen之类的吧，这个就不写了。



————————————————————————————————————————————
新增了自动跳过已上传文件的功能：
https://fan.cowtransfer.com/s/d08d5d7fcb874c
有时会遇到索引越界的问题，还没修。

wangjy

身体不好，告辞了

半世烟尘

建议出个存在本地的  我硬盘够大

孫笑川

wangjy 发表于 2021-1-30 23:13

身体不好，告辞了
你在说什么，这是学习资料。

369

感谢分享~

cxuqry

感谢分享，新玩法+1

孫笑川

半世烟尘 发表于 2021-1-30 23:14

建议出个存在本地的  我硬盘够大
把脚本里的这行代码删除就可以不删除本地了。
shutil.rmtree(name)

燕十三丶

单片小于5g的 djj 不想下  

孫笑川

燕十三丶 发表于 2021-1-30 23:16

单片小于5g的 djj 不想下
我这是闲着没事玩玩，不过这个是爬图片的。
我搜集影片也都是5g以上

aipage

有没有整理分类和车牌号？