采集网站，如何快速去除网站里的404页面？

FDD

www.xxx.com/1.html  
......
www.xxx.com/400000.html  

火车头想采集一个站点，有40万个页面，但里面起码有一半的页面是404页面，直接火车头采集会浪费大量的时间。
请教各位大佬，有什么办法能快速的判断并筛选出正常的页面（非404的页面）？

lna

本帖最后由 lna 于 2020-4-6 22:35 编辑

当我没说

一个不知名网友

你会自己写程序就很简单，不会就很难了

FDD

一个不知名网友 发表于 2020-4-6 21:43

你会自己写程序就很简单，不会就很难了
就是不会写，所以问下LOC大佬有什么工具推荐没有！

skyboy0671

不懂，帮顶。
我很想知道
1、你采集的站被百度收录了吗？如果收录了你，你采了还会收录你的吗？加入伪原创吗？怎么加的？
2、你的采集目标站如果没被百度收录 ，那么你是怎么找到的？？

wgetrc

看看 404 页面有什么特征....

fuan

在采集的时候跳过空白内容就行

FDD

wgetrc 发表于 2020-4-6 22:14

看看 404 页面有什么特征....
有特征，就是看有什么工具推荐没？

FDD

fuan 发表于 2020-4-6 22:27

在采集的时候跳过空白内容就行
采集至少得留间隔时间，例如间隔时间5s，那20万个404页面也就占了不少时间。
所以问下LOC的大佬，是否有什么工具能先判断筛选出来。

suwubee

响应是404。。。正常响应是200，火车头我记得可以判断页头