onepx 发表于 2018-8-31 12:37:57

请教一下这可是百度的什么行为?关于百度蜘蛛的

forum.php?mod=attachment&aid=MTEzODQ1fGRjMmI2ZmE2fDE1MzgyNTY2ODl8MTI4MDd8NDcyNDc0&noupdate=yes&nothumb=yes


每天都有这种分散在全国的各种ip访问网站
UA都是Firefox 43
来源referer都是http://www.baidu.com/s?wd=xxxx
xxxx=各种随机字符数字串
因为百度已经https了,而且已经没有 s?wd= 这种连接结构了
说以这个referer只能是伪造的

我截取了其中的一部分log,如图。
我为什么怀疑是百度呢?因为ip很多,只能是全国都有机房的大公司行为,其中我拉红的两个ip段与Baiduspider的段相同。

请对百度蜘蛛有研究的看看这是百度的什么行为?
页: [1]
查看完整版本: 请教一下这可是百度的什么行为?关于百度蜘蛛的