咨询一个双IP爬虫的问题

TMD

加入一台机器有两个IP
1.1.1.1和2.2.2.2

建立两个站点

a.com绑定1.1.1.1
b.com绑定2.2.2.2

那么a.com下面的爬虫出去爬东西的时候是不是以1.1.1.1这个ip去爬的，会不会出现2.2.2.2？

我是一个大水怪

本帖最后由 我是一个大水怪 于 2020-3-2 17:02 编辑

两个都是公网IP，没使用代理、隧道，爬虫所使用的IP取决于该爬虫建立TCP连接时所使用的本地地址，如果未指定则自动选择。

建议你从爬虫框架、编程语言、操作系统这3个层次来分析被使用的本地地址。

guoguomiao

首先。主动发起的连接。和被绑定的域名是不可能有联系的。
被访问的那里只有访问者的IP。
那么问题就呼之欲出了。

至于你出现在别人那里的IP。就是你本地的路由规则问题了

TMD

我是一个大水怪 发表于 2020-3-2 17:00

两个都是公网IP，没使用代理、隧道，爬虫所使用的IP取决于该爬虫建立TCP连接时所使用的本地地址，如果未指 ...
php的爬虫，那么能不能指定a.com这个域名只以1.1.1.1这个IP去爬？

TMD

guoguomiao 发表于 2020-3-2 17:02

首先。主动发起的连接。和被绑定的域名是不可能有联系的。
被访问的那里只有访问者的IP。
那么问题就呼之欲 ...
a.com这个域名发起的链接能不能指定他用1.1.1.1建立链接呢？

guoguomiao

TMD 发表于 2020-3-2 17:19

a.com这个域名发起的链接能不能指定他用1.1.1.1建立链接呢？
emmm。都说了。主动发起的连接取决于发起设备的路由规则。

TMD

guoguomiao 发表于 2020-3-2 17:20

emmm。都说了。主动发起的连接取决于发起设备的路由规则。
听这话应该是不能指定了

我是一个大水怪

TMD 发表于 2020-3-2 17:18

php的爬虫，那么能不能指定a.com这个域名只以1.1.1.1这个IP去爬？
不了解PHP。

但不是给你思路了吗？去读你使用的框架文档、去读PHP的文档、按照关键字去Google。

参考：golang的tcp api可以指定发起tcp的本地地址。

Yancheng

wget curl 都可以了
php 不熟, php 爬蟲應該是 curl 吧
https://stackoverflow.com/questions/2425651/select-outgoing-ip-for-curl-request

TMD

Yancheng 发表于 2020-3-2 17:31

wget curl 都可以了
php 不熟, php 爬蟲應該是 curl 吧
https://stackoverflow.com/questions/2425651/sele ...
大佬威武，就是这个东西，我怎么没搜索到，看来不懂英语真不行呀