基于反向代理的Web缓存加速现代理服务器方案附squid性能测试

梦里梦外; 2022-09-18 04:56 129阅读 0赞

## 基于反向代理的Web**缓存**加速现代理**服务器**方案 ##

**基于Apache mod\_proxy的反向代理缓存加速实现**  
　　Apache包含了mod\_proxy模块，可以用来实现代理 **服务器**，针对后台 **服务器**的反向加速  
　　安装apache 1.3.x 编译时：  
　　--enable-shared=max --enable-module=most  
　　注：Apache 2.x中mod\_proxy已经被分离成mod\_proxy和mod\_cache：同时mod\_cache有基于文件和基于内存的不同实现  
　　创建/var/www/proxy，设置apache服务所用户可写  
　　mod\_proxy配置样例：反相代理 **缓存**＋ **缓存**  
　　架设前台的www.example.com反向代理后台的www.backend.com的8080端口服务。  
　　修改：httpd.conf  
　　<VirtualHost \*>  
　　ServerName www.example.com  
　　ServerAdmin admin@example.com  
　　\# reverse proxy setting  
　　ProxyPass / http://www.backend.com:8080/  
　　ProxyPassReverse / http://www.backend.com:8080/  
　　\# cache dir root  
　　CacheRoot "/var/www/proxy"  
　　\# max cache storage  
　　CacheSize 50000000  
　　\# hour: every 4 hour  
　　CacheGcInterval 4  
　　\# max page expire time: hour  
　　CacheMaxExpire 240  
　　\# Expire time = (now - last\_modified) \* CacheLastModifiedFactor  
　　CacheLastModifiedFactor 0.1  
　　\# defalt expire tag: hour  
　　CacheDefaultExpire 1  
　　\# force complete after precent of content retrived: 60-90%  
　　CacheForceCompletion 80  
　　CustomLog /usr/local/apache/logs/dev\_access\_log combined  
　　</VirtualHost>  
　　  
　　 **基于Squid的反向代理加速实现**  
　　 **Squid**是一个更专用的代理 **服务器**，性能和效率会比Apache的mod\_proxy高很多。  
　　如果需要combined格式日志补丁：  
　　http://www. **squid**\-cache.org/mail-archive/ **squid**\-dev/200301/0164.html  
　　 **squid**的编译：  
　　./configure --enable-useragent-log　--enable-referer-log --enable-default-err-language=Simplify\_Chinese --enable-err-languages="Simplify\_Chinese English" --disable-internal-dns　  
　　make  
　　\#make install  
　　\#cd /usr/local/ **squid**  
　　make dir cache  
　　chown **squid**. **squid** \*  
　　vi /usr/local/ **squid**/etc/ **squid**.conf  
　　在/etc/hosts中：加入内部的DNS解析，比如：  
　　192.168.0.4 \[url\]www.chedong.com\[/url\]  
　　192.168.0.4 news.chedong.com  
　　192.168.0.3 bbs.chedong.com  
　　---------------------cut here----------------------------------  
　　\# visible name  
　　visible\_hostname cache.example.com  
　　\# cache config: space use 1G and memory use 256M  
　　cache\_dir ufs /usr/local/ **squid**/cache 1024 16 256  
　　cache\_mem 256 MB  
　　cache\_effective\_user **squid**  
　　cache\_effective\_group **squid**  
　　  
　　http\_port 80  
　　httpd\_accel\_host virtual  
　　httpd\_accel\_single\_host off  
　　httpd\_accel\_port 80  
　　httpd\_accel\_uses\_host\_header on  
　　httpd\_accel\_with\_proxy on  
　　\# accelerater my domain only  
　　acl acceleratedHostA dstdomain .example1.com  
　　acl acceleratedHostB dstdomain .example2.com  
　　acl acceleratedHostC dstdomain .example3.com  
　　\# accelerater http protocol on port 80  
　　acl acceleratedProtocol protocol HTTP  
　　acl acceleratedPort port 80  
　　\# access arc  
　　acl all src 0.0.0.0/0.0.0.0  
　　\# Allow requests when they are to the accelerated machine AND to the  
　　\# right port with right protocol  
　　http\_access allow acceleratedProtocol acceleratedPort acceleratedHostA  
　　http\_access allow acceleratedProtocol acceleratedPort acceleratedHostB  
　　http\_access allow acceleratedProtocol acceleratedPort acceleratedHostC  
　　\# logging  
　　emulate\_httpd\_log on  
　　cache\_store\_log none  
　　\# manager  
　　acl manager proto cache\_object  
　　http\_access allow manager all  
　　cachemgr\_passwd pass all  
　　  
　　----------------------cut here---------------------------------  
　　创建 **缓存**目录：  
　　/usr/local/ **squid**/sbin/ **squid** \-z  
　　启动 **squid**  
　　/usr/local/ **squid**/sbin/ **squid**  
　　停止 **squid**：  
　　/usr/local/ **squid**/sbin/ **squid** \-k shutdown  
　　启用新配置：  
　　/usr/local/ **squid**/sbin/ **squid** \-k reconfig  
　　通过crontab每天0点截断/轮循日志：  
　　0 0 \* \* \* (/usr/local/ **squid**/sbin/ **squid** \-k rotate)  
　　  
　　 **附：SQUID性能测试试验**  
　　phpMan.php是一个基于php的man page server，每个man  
　　page需要调用后台的man命令和很多页面格式化工具，系统负载比较高，提供了Cache  
　　Friendly的URL，以下是针对同样的页面的性能测试资料：  
　　测试环境：Redhat 8 on Cyrix 266 / 192M Mem  
　　测试程序：使用apache的ab(apache benchmark)：  
　　测试条件：请求50次，并发50个连接  
　　测试项目：直接通过apache 1.3 (80端口) vs **squid** 2.5(8000端口：加速80端口)  
　　  
　　测试1：无CACHE的80端口动态输出：  
　　ab -n 100 -c 10 \[url\]http://www.chedong.com:81/phpMan.php/man/kill/1\[/url\]  
　　This is ApacheBench, Version 1.3d <$Revision: 1.2 $> apache-1.3  
　　Copyright (c) 1996 Adam Twiss, Zeus Technology Ltd,  
　　\[url\]http://www.zeustech.net/\[/url\]  
　　Copyright (c) 1998-2001 The Apache Group, \[url\]http://www.apache.org/\[/url\]  
　　  
　　Benchmarking localhost (be patient).....done  
　　Server Software:　　　  
　　Apache/1.3.23　　　　　　　　　　　　　　　　　　  
　　Server Hostname:　　　　localhost  
　　Server  
　　Port:　　　　　  
　　80  
　　  
　　Document Path:　　　　  
　　/phpMan.php/man/kill/1  
　　Document Length:　　　　4655 bytes  
　　  
　　Concurrency Level:　　　5  
　　Time taken for tests:　 63.164 seconds  
　　Complete requests:　　　50  
　　Failed requests:　　　　0  
　　Broken pipe errors:　　 0  
　　Total transferred:　　　245900 bytes  
　　HTML transferred:　　　 232750 bytes  
　　Requests per second:　　0.79 \[\#/sec\] (mean)  
　　Time per request:　　　 6316.40 \[ms\]  
　　(mean)  
　　Time per request:　　　 1263.28 \[ms\]  
　　(mean, across all concurrent requests)  
　　Transfer rate:　　　　  
　　3.89 \[Kbytes/sec\] received  
　　  
　　Connnection Times (ms)  
　　　　　　　　  
　　min　mean\[+/-sd\] median　 max  
　　Connect:　　　　0　  
　　29　106.1　　　0　 553  
　　Processing:　2942　6016  
　　1845.4　 6227 10796  
　　  
　　Waiting:　　  
　　2941　5999 1850.7　 6226 10795  
　　  
　　Total:　　　  
　　2942　6045 1825.9　 6227 10796  
　　  
　　Percentage of the requests served within a certain time (ms)  
　　　50%　 6227  
　　　66%　 7069  
　　　75%　 7190  
　　　80%　 7474  
　　　90%　 8195  
　　　95%　 8898  
　　　98%　 9721  
　　　99%　10796  
　　100%　10796 (last request)  
　　  
　　测试2： **SQUID** **缓存**输出  
　　/home/apache/bin/ab -n50 -c5  
　　"http://localhost:8000/phpMan.php/man/kill/1"  
　　This is ApacheBench, Version 1.3d <$Revision: 1.2 $> apache-1.3  
　　Copyright (c) 1996 Adam Twiss, Zeus Technology Ltd,  
　　\[url\]http://www.zeustech.net/\[/url\]  
　　Copyright (c) 1998-2001 The Apache Group, \[url\]http://www.apache.org/\[/url\]  
　　  
　　Benchmarking localhost (be patient).....done  
　　Server Software:　　　  
　　Apache/1.3.23　　　　　　　　　　　　　　　　　　  
　　Server Hostname:　　　　localhost  
　　Server  
　　Port:　　　　　  
　　8000  
　　  
　　Document Path:　　　　  
　　/phpMan.php/man/kill/1  
　　Document Length:　　　　4655 bytes  
　　  
　　Concurrency Level:　　　5  
　　Time taken for tests:　 4.265 seconds  
　　Complete requests:　　　50  
　　Failed requests:　　　　0  
　　Broken pipe errors:　　 0  
　　Total transferred:　　　248043 bytes  
　　HTML transferred:　　　 232750 bytes  
　　Requests per second:　　11.72 \[\#/sec\] (mean)  
　　Time per request:　　　 426.50 \[ms\] (mean)  
　　Time per request:　　　 85.30 \[ms\] (mean,  
　　across all concurrent requests)  
　　Transfer rate:　　　　  
　　58.16 \[Kbytes/sec\] received  
　　  
　　Connnection Times (ms)  
　　　　　　　　  
　　min　mean\[+/-sd\] median　 max  
　　Connect:　　　  
　　0　　 1　  
　　9.5　　　0　　68  
　　Processing:　　  
　　7　　83　537.4　　  
　　7　3808  
　　  
　　Waiting:　　　  
　　5　　81　529.1　　  
　　6　3748  
　　  
　　Total:　　　　  
　　7　　84　547.0　　  
　　7　3876  
　　  
　　Percentage of the requests served within a certain time (ms)  
　　　50%　　　7  
　　　66%　　　7  
　　　75%　　　7  
　　　80%　　　7  
　　　90%　　　7  
　　　95%　　　7  
　　　98%　　　8  
　　　99%　 3876  
　　100%　 3876 (last request)  
　　  
　　结论：No Cache / Cache = 6045 / 84 = 70