立即注册  找回密码
 立即注册
CeraNetworksBGVM服务器主机交流会员请立即修改密码Sharktech防护
查看: 63|回复: 4

写了个漫画下载的脚本

[复制链接]

写了个漫画下载的脚本

[复制链接]

32

主题

252

回帖

1150

积分

金牌会员

积分
1150
oldj

32

主题

252

回帖

1150

积分

金牌会员

积分
1150
2020-4-15 14:54:43 | 显示全部楼层 |阅读模式
接https://www.hostloc.com/thread-674260-1-1.html
因为看老哥一直没发出来,所以就写了一个脚本下载
支持多线程下载
注意使用前修改json_url为json地址
脚本下载地址
https://github.com/tusik/json-parser-downloader/blob/master/process.py
https://raw.githubusercontent.com/tusik/json-parser-downloader/master/process.py
如果出现创建目录的编码报错,请注意设置环境编码为utf8
[ol]
  • # -*- coding: UTF-8 -*-
  • import psycopg2
  • import requests
  • import sys,json,os
  • from threading import Thread
  • def download_img(path,url):
  •     r = requests.get(url, headers=headers)
  •     filename_t = str(url).split('/')
  •     filename = filename_t[len(filename_t)-1]
  •     with open(path+'/'+filename, 'wb') as f:
  •         f.write(r.content)
  • headers = {
  •     'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_3) AppleWebKit/537.36 (KHTML, like Gecko) '
  •                   'Chrome/80.0.3987.149 Safari/537.36 '
  • }
  • title = ''
  • json_url = ''
  • if not os.path.exists("export.json"):
  •     r = requests.get(json_url, stream=True)
  •     f = open("export.json", "wb")
  •     for chunk in r.iter_content(chunk_size=512):
  •         if chunk:
  •             f.write(chunk)
  • with open("export.json","r",encoding='utf-8') as data:
  •     json_obj = json.load(data)
  • for i in json_obj:
  •     title = i['title']
  •     if not os.path.exists(title):
  •         os.mkdir(title)
  •     r = requests.get(i['cover'], headers=headers)
  •     with open(i['title']+"/cover.jpg", 'wb') as f:
  •         f.write(r.content)
  •     chaper = ''
  •     for k in i['chapters']:
  •         threads = []
  •         cp_title = k['title']
  •         if not os.path.exists(title+'/'+cp_title):
  •             os.mkdir(title+'/'+cp_title)
  •         print('Downloading ' + cp_title)
  •         for j in k['images']:
  •             t = Thread(target=download_img,args=[title+'/'+cp_title,j])
  •             t.start()
  •             threads.append(t)
  •         for t in threads:
  •             t.join()
  • [/ol]复制代码
  • 回复

    使用道具 举报

    14

    主题

    5570

    回帖

    1万

    积分

    论坛元老

    积分
    12700
    b66667777

    14

    主题

    5570

    回帖

    1万

    积分

    论坛元老

    积分
    12700
    2020-4-15 14:56:36 | 显示全部楼层
    感谢分享   
    回复

    使用道具 举报

    51

    主题

    254

    回帖

    1641

    积分

    金牌会员

    积分
    1641
    C大

    51

    主题

    254

    回帖

    1641

    积分

    金牌会员

    积分
    1641
    2020-4-15 15:10:00 | 显示全部楼层
    谢谢!
    回复

    使用道具 举报

    11

    主题

    86

    回帖

    273

    积分

    中级会员

    积分
    273
    夏渔

    11

    主题

    86

    回帖

    273

    积分

    中级会员

    积分
    273
    2020-4-15 15:12:40 | 显示全部楼层
    感谢分享
    回复

    使用道具 举报

    16

    主题

    130

    回帖

    746

    积分

    高级会员

    积分
    746
    鼎剑阁

    16

    主题

    130

    回帖

    746

    积分

    高级会员

    积分
    746
    2020-4-15 21:00:19 | 显示全部楼层
    爬到哪吒传出错了QQ
    Downloading 哪吒传 公告
    Downloading 哪吒传 第33话(1)
    Downloading 哪吒传 第32话(4)
    Downloading 哪吒传 第32话(3)
    Downloading 哪吒传 第32话(2)
    Downloading 哪吒传 双12活动专题宣传~
    Downloading 哪吒传 第32话(1)
    Traceback (most recent call last):
      File "process.py", line 44, in
        os.mkdir(title+'/'+cp_title)
    FileNotFoundError: [Errno 2] No such file or directory: '哪吒传/哪吒传 单行本3-4册上市啦~(≧▽≦)/~'
    回复

    使用道具 举报

    您需要登录后才可以回帖 登录 | 立即注册

    本版积分规则

    Archiver|小黑屋|HS2V主机综合交流论坛

    GMT+8, 2024-11-22 11:04 , Processed in 0.106489 second(s), 4 queries , Gzip On, Redis On.

    Powered by Discuz! X3.5

    © 2001-2024 Discuz! Team.

    快速回复 返回顶部 返回列表