你还在采集内容吗？那就真的落伍了！(Nginx反向代理实践)

查无此人

采集耗电、费时间，对方更换了规则，还得重新配置采集规则。相信很多做垃圾站的朋友会有类似感慨。

相信大家都已经很熟悉 Apache 和 Nginx, 其实它们本身都有关键词替换功能，也就是说，你根本不需要安装任何额外的软件，甚至连 php/mysql 都省了，只要用 Apache 或者 nginx 就可以实现网站克隆/伪原创。

要点只有2个:
1. 反向代理
2. 关键词替换

下面就讲讲过程 (centos-32bit)
1. nginx + substitutions 安装
nginx 自带一个Substitution模块，但该模块只能写一行，所以我们改用 substitutions

下面是安装一些预备软件[ol]

yum -y --noplugins install wget zip

yum -y --noplugins install unzip

yum -y --noplugins install gcc

yum -y --noplugins install make

yum -y --noplugins install pcre-devel

yum -y --noplugins install openssl-devel[/ol]复制代码下载软件[ol]

wget -c http://www.nginx.org/download/nginx-1.0.8.tar.gz                      //下载nginx

svn checkout http://substitutions4nginx.googlecode.com/svn/trunk/ substitutions4nginx-read-only           //下载substitutions[/ol]复制代码编译软件[ol]

tar zxf nginx-1.0.8.tar.gz

cd nginx-1.0.8.tar.gz

./configure ./configure --add-module=path/substitutions4nginx-read-only           //注意这里的path是相对应的真实路径

make

make install[/ol]复制代码此时，nginx应该安装在于 /usr/local/nginx 下面
配置 nginx.conf[ol]

server_name  www.m-mo.com;

location / {

    subs_filter ca-pub-9805743306566114  ca-pub-98057433063434;        //把google ad 的用户号 ca-pub-9805743306566114 改成你自己的，比如 ca-pub-98057433063434

    subs_filter 6121088089    612108343455;      //把google ad 的广告号 6121088089  改成你自己的，比如 612108343455 ，你懂的！：D           

    proxy_pass   http://www.richlog.info;            //反向代理美国主机村。 最好找一些带有google 广告的网站，主机村在 google 收录 34万条，百度收录几乎没有，这或许是.info 的失败，也是为什么我们选择这样的网站来反代的原因。

    index  index.html index.htm;

}[/ol]复制代码记住subs_filter 命令的格式，你想替换设么就随你了。比如我把网站的网址 www.richlog.info 替换成了 www.m-mo.com

另外， 反向代理的个数是不限制的。只要你掌握了规则，一个网站下可以包含n多个网站的镜像。 一个nginx 上也可以跑 n多个网站。就看你自己怎么运用了。
别忘了吧logo地址替换成自己的

qxwo

时代在进步啊

maidd88

我朋友被反代，我直接在朋友服务器上iis里把对方IP禁掉了

rizi

如果能实现自动把网页保存在本地才有可操作性

wusir

马一个

查无此人

原帖由 rizi 于 2011-10-28 19:52 发表


如果能实现自动把网页保存在本地才有可操作性
缓存

lxqfff

原帖由 查无此人 于 2011-10-28 20:05 发表



缓存
要把缓存文件保存下来的话，不又成了采集了- -

zhegehaokan

到编译软件出错

dongdong.im

看样子好厉害，有没有样品站点？