采集网站，如何快速去除网站里的404页面？

FDD · 发表于 2020-4-6 21:42:38

www.xxx.com/1.html
......
www.xxx.com/400000.html

火车头想采集一个站点，有40万个页面，但里面起码有一半的页面是404页面，直接火车头采集会浪费大量的时间。
请教各位大佬，有什么办法能快速的判断并筛选出正常的页面（非404的页面）？

lna · 发表于 2020-4-6 22:19:34

本帖最后由 lna 于 2020-4-6 22:35 编辑

当我没说

一个不知名网友 · 发表于 2020-4-6 21:43:38

你会自己写程序就很简单，不会就很难了

FDD · 发表于 2020-4-6 21:45:31

一个不知名网友发表于 2020-4-6 21:43

你会自己写程序就很简单，不会就很难了
就是不会写，所以问下LOC大佬有什么工具推荐没有！

skyboy0671 · 发表于 2020-4-6 21:43:00

不懂，帮顶。
我很想知道
1、你采集的站被百度收录了吗？如果收录了你，你采了还会收录你的吗？加入伪原创吗？怎么加的？
2、你的采集目标站如果没被百度收录，那么你是怎么找到的？？

wgetrc · 发表于 2020-4-6 21:56:08

看看 404 页面有什么特征....

fuan · 发表于 2020-4-6 22:07:00

在采集的时候跳过空白内容就行

FDD · 发表于 2020-4-6 22:14:06

wgetrc 发表于 2020-4-6 22:14

看看 404 页面有什么特征....
有特征，就是看有什么工具推荐没？

FDD · 发表于 2020-4-6 22:27:32

fuan 发表于 2020-4-6 22:27

在采集的时候跳过空白内容就行
采集至少得留间隔时间，例如间隔时间5s，那20万个404页面也就占了不少时间。
所以问下LOC的大佬，是否有什么工具能先判断筛选出来。

suwubee · 发表于 2020-4-6 22:29:45

响应是404。。。正常响应是200，火车头我记得可以判断页头

		自动登录	找回密码
密码			立即注册