openos 发表于 2018-2-23 16:37:02

采集1024论坛贴图区自动发布到wordpress的基础配置教程

本帖最后由 openos 于 2018-3-5 14:33 编辑

shkong老大写了一个爬虫,
https://www.hs2v.com/thread-430613-1-1.html

但发现有些大爷不会配置环境, 现在把详细的基础流程写一下.   
高手老大请略过.

本教程以CentOS 7为例, 环境配置不适合其他的系统.


1, 首先你需要配置好基本的服务器环境, 可以使用bt等面板.
安装方法
https://www.bt.cn/bbs/thread-1186-1-1.html

2, 再安装好WordPress和chevereto图床

https://cn.wordpress.org/wordpress-4.9.4-zh_CN.zip

https://github.com/Chevereto/Chevereto-Free/archive/1.0.9.zip

建议分开安装
如:www.free.com安装WordPress
i.free.comchevereto图床



安装好了后先去chevereto后台关闭防洪保护, 然后再去上传参数那边根据自己的要求设置.




3, 配置好Python3.6和pip3
安装EPEL和IUS软件源
[*]yum install epel-release
[*]yum install https://centos7.iuscommunity.org/ius-release.rpm复制代码


安装Python3.6
[*]yum install python36u复制代码

创建python3连接符
[*]ln -s /bin/python3.6 /bin/python3复制代码

安装pip3
[*]yum install python36u-pip复制代码
创建pip3链接符
[*]ln -s /bin/pip3.6 /bin/pip3复制代码


再安装requests和pymysql
[*]pip3 install requests
[*]pip3 install pymysql复制代码


再下载爬虫
[*]mkdir /home/1024
[*]cd /home/1024
[*]wget https://github.com/ishkong/1024_img_spider_wordpress/archive/master.zip
[*]unzip master.zip
[*]cd 1024_img_spider_wordpress复制代码

编辑spider.py文件
[*]vi spider.py复制代码

配置参数
在12行这里填写WordPress的MySQL数据库参数
conn = pymysql.connect(host='', port=3306, user='
MySQL用户名
', passwd='
密码
', db='
MySQL数据库名
', charset='utf8') #数据库填这里

一般情况MySQL用户名和MySQL数据库名都是一样的

在26行这里添加图床的API
    APIKey = "" #API填这里

这个API可以在chevereto后台找到

https://s1.ax1x.com/2018/02/23/9ULLcT.png


在28行这里修改你的图床地址
    url = "http://你的域名/api/1/upload/?key="+ APIKey + "&format=" + format #图床地址
如
    url = "http://i.free.com/api/1/upload/?key="+ APIKey + "&format=" + format #图床地址

退出保存spider.py


再修改文件权限
[*]chmod +x spider.py复制代码

再开始运行
[*]python3 spider.py复制代码


开始采集了

https://s1.ax1x.com/2018/02/23/9ULNp6.png


然后可以去查看wordpress和chevereto的数据


https://s1.ax1x.com/2018/02/23/9ULD7d.png


1天的效果

https://s1.ax1x.com/2018/02/23/9ULB0H.png



4天后的效果

https://s1.ax1x.com/2018/02/25/9djwB8.png

xiaonichen 发表于 2018-5-25 14:54:41


下载完成，共1张图片
开始上传图片
开始上传图片:temp/0.jpg
主程序出错，请重新运行

openos 发表于 2018-2-23 16:43:50


左手写爱 发表于 2018-2-23 16:43

27.8G   看来真的需要上大盘鸡了
这是1天的多量..........


static/image/smiley/default/lol.gif

左手写爱 发表于 2018-2-23 16:43:00

27.8G   看来真的需要上大盘鸡了

lianwu520 发表于 2018-2-23 16:43:14

前排吃西瓜 mark下

zhujiwiki 发表于 2018-2-23 16:43:40

好详细，有空搞

openos 发表于 2018-2-23 16:45:02

另外chevereto免费版不支持php 7.2
建议使用7.1

cw723 发表于 2018-2-23 16:45:19

不错挺骚的操作。

ownones 发表于 2018-2-23 16:47:49

你们这些采集真6，什么时候把1024全部采集完送个VIP。

maiawpyg 发表于 2018-2-23 16:50:32

这操作真666 另外问下chevereto 支持远程存储吗 比如 google的drive.
页: [1] 2
查看完整版本: 采集1024论坛贴图区自动发布到wordpress的基础配置教程