请教一下火车头采集的问题

夏渔

本帖最后由 夏渔 于 2020-3-23 20:28 编辑

采集的是这个网站
可能是我表达错误，不是列表页，是文章分页没法采，比如https://www.xgmn.org/Xiuren/Xiuren13413_2.html
分页规则设置了，数据来源也设置分页源码了，循环匹配也设置，还是没法采集分页内容







有大佬帮我看一下怎么弄吗

一个不知名网友

这就涉及到了我的知识盲区

bluevm

没用过工具，只是这种我一般都FOR循环

https://www.xgmn.org/Xiuren/page_变量+1.html

英梨梨

夏渔

本帖最后由 夏渔 于 2020-3-23 20:26 编辑

bluevm 发表于 2020-3-23 20:18

没用过工具，只是这种我一般都FOR循环

https://www.xgmn.org/Xiuren/page_变量+1.html ...

不是列表页，是文章分页没法采，比如https://www.xgmn.org/Xiuren/Xiuren13413_2.html

夏渔

英梨梨 发表于 2020-3-23 20:24

可能是我表达错误，不是列表页，是文章分页没法采，比如https://www.xgmn.org/Xiuren/Xiuren13413_2.html

bluevm

夏渔 发表于 2020-3-23 20:25

不是列表页，是文章分页没法采，比如https://www.xgmn.org/Xiuren/Xiuren13413_2.html ...
一样的道理啊

FOR循环

https://www.xgmn.org/Xiuren/Xiuren13413_变量.html

简单点的话遇到404 之类的 就是最后了

或者第一页的时候匹配出来最后一页的页码ID

木易酱

9.x分页采集有问题，
返回200状态码，就是获取不到内容。

换8.x就好了

luceos

今天看到两则说pyone因为采集被抓了？

夏渔

木易酱 发表于 2020-3-23 22:13

9.x分页采集有问题，
返回200状态码，就是获取不到内容。


谢谢大佬了