nginx+apache实现反向代理与负载均衡

  • 内容
  • 评论
  • 相关

前言:谈到Linux下的web生产环境,大家就会想到apache这个开源服务器软件.apache可以整合大多数应用,比如jsp,php,cgi,python等等,但是apache过于臃肿以及对静态文件响应过于缓慢让很多使用者感到头疼.而nginx作为新崛起的服务器软件,在很多方面超出apache,定位也很明确:高性能的 HTTP 和反向代理服务器.因而,本篇主要讲的是nginx作为前端,apache作为后端的应用环境搭建过程.

为什么不使用nginx+php(fastcgi)作为生产环境?我提出我的看法.

php(fastcgi)不够稳定,经常出现502错误,生成相对复杂的页面没有优势,反而会使php-cgi进程变为僵尸进程.
安全性,多用户多站点权限问题.php(fastcgi)在应对多用户多站点往往捉襟见肘,不易于实施.
整合其他开发语言,apache表现得游刃有余.资源利用恰到好处.
为什么采用nginx做前端,apache作为后端的方案?nginx在处理静态内容上较apache是几倍或几十倍的差异,因而放在前面过滤静态内容是最为恰当的.同时nginx也是一个负载均衡器,低资源消耗,高性能转发是它的特点.经过nginx在前面的过滤,后端的apache需要处理的内容相对就比较少了.只需负责处理动态内容就可以了.在性能与稳定性的权衡下,使用nginx+apache搭配会让它们在各自擅长的领域展现自身的价值.

首先介绍反向代理
反向代理负载均衡
使用代理服务器可以将请求转发给内部的Web服务器,使用这种加速模式显然可以提升静态网页的访问速度。因此也可以考虑使用这种技术,让代理服务器将请求均匀转发给多台内部Web服务器之一上,从而达到负载均衡的目的。这种代理方式与普通的代理方式有所不同,标准代理方式是客户使用代理访问多个外部Web 服务器,而这种代理方式是多个客户使用它访问内部Web服务器,因此也被称为反向代理模式。

1、概念
实现这个反向代理能力并不能算是一个特别复杂的任务,但是在负载均衡中要求特别高的效率,这样实现起来就不是十分简单的了。每针对一次代理,代理服务器就 必须打开两个连接,一个为对外的连接,一个为对内的连接,因此对于连接请求数量非常大的时候,代理服务器的负载也就非常之大了,在最后反向代理服务器会成 为服务的瓶颈。例如,使用Apache的mod_rproxy模块来实现负载均衡功能时,提供的并发连接数量受Apache本身的并发连接数量的限制。一 般来讲,可以使用它来对连接数量不是特别大,但每次连接都需要消耗大量处理资源的站点进行负载均衡,例如搜寻。
使用反向代理的好处是,可以将负载均衡和代理服务器的高速缓存技术结合在一起,提供有益的性能,具备额外的安全性,外部客户不能直接访问真实的服务器。并且实现起来可以实现较好的负载均衡策略,将负载可以非常均衡的分给内部服务器,不会出现负载集中到某个服务器的偶然现象。

2、nginx 实现反向代理负载均衡
a. 本地使用Windows系统,然后使用VirutalBox安装一个虚拟的Linux系统。
在本地的Windows系统上分别安装nginx(侦听8080端口)和apache(侦听80端口)。在虚拟的Linux系统上安装apache(侦听80端口)。这样相当于拥有了1台nginx在前端作为反向代理服务器;后面有2台apache作为应用程序服务器(可以看作是小型的server cluster。);
b. nginx用来作为反向代理服务器,放置到两台apache之前,作为用户访问的入口;
nginx仅仅处理静态页面,动态的页面(php请求)统统都交付给后台的两台apache来处理。也就是说,可以把网站的静态页面或者文件放置到nginx的目录下;动态的页面和数据库访问都保留到后台的apache服务器上。
c. 如下两种方法实现server cluster的负载均衡。
假设前端nginx(为127.0.0.1:8080)仅仅包含一个静态页面index.html;后 台的两个apache服务器(分别为localhost:80和158.37.70.143:80),一台根目录放置phpMyAdmin文件夹和 test.php(里面测试代码为print "server1";),另一台根目录仅仅放置一个test.php(里面测试代码为print "server2";)。
2)针对不同请求的负载均衡:
a. 在最简单地构建反向代理的时候(nginx仅仅处理静态不处理动态内容,动态内容交给后台的apache server来处理),具体的设置为:在nginx.conf中修改:
location ~ \.php$ {
proxy_pass 158.37.70.143:80;
}
这样当客户端访问localhost:8080/index.html的时候,前端的nginx会自动进行响应;
当用户访问localhost:8080/test.php的时候(这个时候nginx目录下根本就没有该文件),但是通过上面的设置location ~ \.php$(表示正则表达式匹配以.php结尾的文件,详情参看location是如何定义和匹配的),nginx服务器会自动pass给158.37.70.143的apache服务器了。该服务器下的test.php就会被自动解析,然后将html的 结果页面返回给nginx,然后nginx进行显示(如果nginx使用memcached模块或者squid还可以支持缓存),输出结果为打印 server2。
如上是最为简单的使用nginx做为反向代理服务器的例子;
b. 我们现在对如上例子进行扩展,使其支持如上的两台服务器。
设置nginx.conf的server模块部分,将对应部分修改为:
location ^~ /phpMyAdmin/ {
proxy_pass 127.0.0.1:80;
}
location ~ \.php$ {
proxy_pass 158.37.70.143:80;
}
上面第一个部分location ^~ /phpMyAdmin/,表示不使用正则表达式匹配(^~),而是直接匹配,也就是如果客户端访问的URL是以http://localhost:8080/phpMyAdmin/开头的话(本地的nginx目录下根本没有phpMyAdmin目录),nginx会自动pass到127.0.0.1:80的Apache服务器,该服务器对phpMyAdmin目录下的页面进行解析,然后将结果发送给nginx,后者显示;
如果客户端访问URL是http://localhost/test.php的话,则会被pass到158.37.70.143:80的apache进行处理。
因此综上,实现了针对不同请求的负载均衡。
如果用户访问静态页面index.html,最前端的nginx直接进行响应;
如果用户访问test.php页面的话,158.37.70.143:80的Apache进行响应;
如果用户访问目录phpMyAdmin下的页面的话,127.0.0.1:80的Apache进行响应;
3)访问同一页面的负载均衡:
即用户访问http://localhost:8080/test.php这个同一页面的时候,实现了两台服务器的负载均衡(实际情况中,这两个服务器上的数据要求同步一致,这里我们分别定义了打印server1和server2是为了进行辨认区别)。
a. 现在的情况是在windows下nginx是localhost侦听8080端口;
两台apache,一台是127.0.0.1:80(包含test.php页面但是打印server1),另一台是虚拟机的158.37.70.143:80(包含test.php页面但是打印server2)。
b. 因此重新配置nginx.conf为:
首先在nginx的配置文件nginx.conf的http模块中添加,服务器集群server cluster(我们这里是两台)的定义:
upstream myCluster {
server 127.0.0.1:80;
server 158.37.70.143:80;
}
表示这个server cluster包含2台服务器
然后在server模块中定义,负载均衡:
location ~ \.php$ {
proxy_pass http://myCluster; #这里的名字和上面的cluster的名字相同
proxy_redirect off;
proxy_set_header Host $host;
proxy_set_header X-Real-IP $remote_addr;
proxy_set_header X-Forwarded-For$proxy_add_x_forwarded_for;
}
这样的话,如果访问http://localhost:8080/test.php页面的话,nginx目录下根本没有该文件,但是它会自动将其pass到myCluster定义的服务区机群中,分别由127.0.0.1:80;或者158.37.70.143:80;来做处理。上面在定义upstream的时候每个server之后没有定义权重,表示两者均衡;如果希望某个更多响应的话例如:
upstream myCluster {
server 127.0.0.1:80 weight=5 max_fails=2 fail_timeout=30s;;
server 158.37.70.143:80 weight=1 max_fails=2 fail_timeout=30s;
}
这样表示5/6的几率访问第一个server,1/6访问第二个。同时还可以定义max_fails和fail_timeout等参数。
====================
综上,通过使用nginx的反向代理服务器reverse proxy server的功能,将其布置到多台apache server的前端。nginx仅仅用来处理静态页面响应和动态请求的代理pass,后台的apache server作为app server来对前台pass过来的动态页面进行处理并返回给nginx。
通过以上的架构,我们可以实现nginx和多台apache构成的机群cluster的负载均衡。

两种均衡:
1)可以在nginx中定义访问不同的内容,代理到不同的后台server;如上例子中的访问phpMyAdmin目录代理到第一台server上;访问test.php代理到第二台server上;
2)可以在nginx中定义访问同一页面,均衡(当然如果服务器性能不同可以定义权重来均衡)地代理到不同的后台server上。如上的例子访问test.php页面,会均衡地代理到server1或者server2上。
实际应用中,server1和server2上分别保留相同的app程序和数据,需要考虑两者的数据同步。

本地安装了apache之后启动如果报libpq.dll类的错误,可以将php目录下的libpq.ll复制到apache的bin目录下。
同时给出一个apache的win64的非官方版本下载:
http://www.apachelounge.com/download/
给出一个nginx配置apache代理的简单配置文件

server {
   listen 80;
   server_name gaoxueping.com;

   location / {
      root /home/www/gaoxueping.com/www;
      index index.php index.html;

      # Nginx找不到文件时,转发请求给后端Apache
      error_page 404 @proxy;

      # css, js 静态文件设置有效期1天
      location ~ .*\.(js|css)$ {
         access_log off;
         expires      1d;
      }

      # 图片设置有效期3天
      location ~ .*\.(gif|jpg|jpeg|png|bmp|swf)$ {
         access_log off;
         expires      3d;
      }
   }

   # 动态文件.php请求转发给后端Apache
   location ~ \.php$ {
     #proxy_redirect off;
     #proxy_pass_header Set-Cookie;
     #proxy_set_header Cookie $http_cookie;

      # 传递真实IP到后端
      proxy_set_header Host $http_host;
      proxy_set_header X-Real-IP $remote_addr;
      proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;

      proxy_pass   http://127.0.0.1:8080;
   }

   location @proxy {
      proxy_set_header Host $http_host;
      proxy_set_header X-Real-IP $remote_addr;
      proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;

      proxy_pass http://127.0.0.1:8080;
   }
}

在这里还有一个问题就是nginx和apache的通信时间问题,apache经常会不定期不定时间的出现不能服务失去响应,然后nginx出现"504 Gateway Time-out"。例如在安装magento的时候,这系统需要导入很多sql,在apache端需要处理很久的时间,nginx长久得不到回应于是就报出了504错误,这个时候可以设置一下两者的通信时间以保证不报错,就是设置proxy_connect_timeout之类的。

   location ~ \.php {

     #proxy_redirect off;
     #proxy_pass_header Set-Cookie;
     #proxy_set_header Cookie $http_cookie;


      # 传递真实IP到后端
      proxy_set_header Host $http_host;
      proxy_set_header X-Real-IP $remote_addr;
      proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
      proxy_next_upstream error timeout invalid_header http_500 http_502 http_503 http_504;
        proxy_max_temp_file_size 0;
        proxy_connect_timeout      9000;
        proxy_send_timeout         9000;
        proxy_read_timeout         9000;
        proxy_buffer_size          64k;
        proxy_buffers              4 64k;
        proxy_busy_buffers_size    64k;
        proxy_temp_file_write_size 64k;


      proxy_pass   http://www.ducms.com:8080;

   }

linux安装apache首先要安装apr和apr-util
下载apr

./configure --prefix=/usr/local/apr
make && make install

下载apr-util

./configure --with-apr=/usr/local/apr prefix=/usr/local/apr-util
make && make install

下载pcre

./configure --prefix=/usr/local/pcre
make && make install

安装apache

./configure --prefix=/usr/local/httpd --with-apr=/usr/local/apr --with-apr-util=/usr/local/apr-util --with-pcre=/usr/local/pcre -enable-rewrite -enable-so
make && make install

在安装过程中可能会出错类似

error: Size of "void *" is less than size of "long"

在配置参数中原先加入了“--with-pcre=/usr/local/pcre”这样有错误“configure: error: Size of "void *" is less than size of "long"”去掉此参数后正常
如果出现这样的错误:

make[2]: *** [exports.lo] Error 1

在configure后加上 --with-included-apr 即可解决.

评论

0条评论

发表评论

电子邮件地址不会被公开。 必填项已用*标注