在CentOS 6.3 64bit上安装Apache Trafficserver 4.2.3挂载SAS硬盘和SSD

梦里梦外; 2022-08-05 12:25 130阅读 0赞

我在调研ATS 4.2.3挂载SSD的过程中，遇到很多坑，特此详细记录我摸索的主要过程，以便大家以后避免之。  
基本思路可以完全照搬参考文献\[2\]\[3\]  
  
下面的安装假定是以root用户身份进行的，Linux服务器已经安装好系统，磁盘已经做好分区。  
首先需要认识我们的Linux服务器的硬件配置和软件情况  
硬件配置：  
DELL R720 2U服务器  
CPU  8核 Intel(R) Xeon(R) CPU E5-2609 0 @ 2.40GHz  
内存 32G  
硬盘  系统盘 /dev/sda 300GB  
      ssd /dev/sd\{b,c\} 240GB \* 2  
      普通磁盘 /dev/sd\{d-l\}  2TB \* 9  
软件配置：  
操作系统 CentOS release 6.3 (Final)  
内核     2.6.32-279.el6.x86\_64  
注意：我们这里仅是测试，只使用两块2TB普通SAS磁盘和一块240G SSD来供ATS测试，其他盘都没有使用。  
  
1.磁盘格式化问题  
使用SSD作为interim cache缓存中间层解决方案，需要磁盘和SSD完全是裸盘，也就是不要分区和格式化。  
如果是全新盘，可以不做任何操作，如果不是全新盘，需求删除所有分区，下面的bash脚本create\_partition.sh实现了fdisk分区的功能，并创建了一个分区，后来又使用另一个脚本delete\_partition.sh删除了这个分区，最后得到了所谓的裸盘。  
希望你有更好的方法得到一个裸盘。脚本create\_partition.sh的内容  
\#!/bin/bash  
fdisk $1<<EOF  
d  
n  
p  
1  
1  
  
t  
83  
w  
EOF  
另一个脚本delete\_partition.sh的内容  
\#!/bin/bash  
fdisk $1<<EOF  
d  
w  
EOF  
使用方法是：如果要将SAS或是SSD磁盘/dev/sdl变为裸盘，运行  
sh create\_partition.sh /dev/sdl  
sh delete\_partition.sh /dev/sdl  
就可以了。对于一个主流的服务器来说，如果只想使用其中的两块磁盘，可以对它们分别执行上面的操作。当然，如果是线上环境，这个方法还待改进。  
  
2.创建新用户并管理裸设备  
这一步非常关键，关系到后面步骤的顺利性，故拿到前面来做。  
新建用户  
useradd -s /sbin/nologin tserver  
我们打算将tserver作为ATS所在的user和group名称。使用如下命令检测用户组是否创建成功  
cat /etc/passwd |cut -f 1 -d :  
增加如下设备文件  
vim /etc/udev/rules.d/99-ats.rules   
将你要管理的裸设备都添加到里面，包括SSD和SAS，我这里使用了两块2TB普通SAS磁盘和一块240G SSD，所以如下设置  
KERNEL=="sdk",MODE="0660",OWNER="tserver",GROUP="tserver"  
KERNEL=="sdl",MODE="0660",OWNER="tserver",GROUP="tserver"  
KERNEL=="sdb",MODE="0660",OWNER="tserver",GROUP="tserver"  
保存退出后，更新设备信息  
start\_udev  
验证改动是否成功，查看  
ll /dev/sd\[bcdefghijkl\]  
  
3.下载并安装好ATS 4.2.3  
我们打算将ATS安装到/opt/ats下面，并使用tserver作为用户和组来管理它。ATS安装时会自动创建该安装目录，同时为了内网测试方便，采用debug版本，线上可以去掉  
3.1.安装依赖包  
yum install gcc gcc-c++ pkgconfig pcre-devel tcl-devel expat-devel openssl-devel -y  
yum install perl-ExtUtils-MakeMaker -y  
yum install libcap libcap-devel hwloc hwloc-devel -y  
yum install libunwind libunwind-devel -y  
yum install autoconf automake libtool -y  
yum install git -y  
  
3.2.下载并解压  
cd /usr/local/src  
wget -d "http://mirror.bit.edu.cn/apache/trafficserver/trafficserver-4.2.3.tar.bz2"  
tar -jxvf trafficserver-4.2.3.tar.bz2   
cd trafficserver-4.2.3  
  
3.3.编译和安装  
./configure --prefix=/opt/ats --with-user=tserver --with-group=tserver --enable-reclaimable-freelist --enable-interim-cache --enable-debug  
make -j 8  
make install -j 8  
这里指定安装前缀的好处是，如果安装失败，可以直接删除掉ats文件夹，再重新编译和安装。  
  
4.配置  
主要有这几个文件需要配置：  
records.config，storage.config，logs\_xml.config  
我要达到的效果是正向代理，裸盘，自定义日志等功能。  
修改storage.config  
添加  
/dev/sdl  
/dev/sdl  
注意ssd的那块盘/dev/sdb一定不要添加，因为它不是数据盘，你把它视作内存就可以了。  
  
修改records.cofig，将  
LOCAL proxy.config.cache.interim.storage STRING NULL  
改为  
LOCAL proxy.config.cache.interim.storage STRING /dev/sdb  
如果是正向代理测试，需要做如下配置  
traffic\_line -s proxy.config.reverse\_proxy.enabled -v 0  
traffic\_line -s proxy.config.url\_remap.remap\_required -v 0 \#1为只反向代理，0为正向+反向代理  
traffic\_line -s proxy.config.url\_remap.pristine\_host\_hdr -v 0  
  
traffic\_line -s  proxy.config.http.insert\_request\_via\_str -v 1      
traffic\_line -s  proxy.config.http.insert\_response\_via\_str -v 2   \#会产生类似Via:http/1.1 localhost (ApacheTrafficServer/4.2.3 \[cHs f \])的头  
traffic\_line -s proxy.config.http.cache.required\_headers -v 0     \#配置在源服务器没有定义缓存的情况缓存文件  
traffic\_line -s proxy.config.http.cache.enable\_default\_vary\_headers -v 1  
traffic\_line -s proxy.config.cache.ram\_cache\_cutoff -v 40960      \#非常关键，确定缓存命中是在RAM cache还是SSD中  
  
根据硬件配置设置RAM cache的大小，一般是物理内存的1/2或1/3为宜，我这里采用默认配置-1，就是让系统自动分配。  
CONFIG proxy.config.log.custom\_logs\_enabled INT 1  
CONFIG proxy.config.log.squid\_log\_enabled INT 0  
CONFIG proxy.config.log.xml\_config\_file STRING logs\_xml.config  
其中，logs\_xml.config文件内容如下  
<LogFormat>  
  <Name = "access"/>  
  <Format = "%<cqtq> %<ttms> %<pssc> %<sssc> \[%<cqtt>\] %<\{X-Forwarded-For\}cqh> \\"%<cqtx>\\" %<psql> \\"%<pqsi>\\" %<crc>:%<phr> %<\{Referer\}cqh> \\"%<\{User-Agent\}cqh>\\" %<psct>"/>  
</LogFormat>  
<LogObject>  
  <Format = "access"/>  
  <Filename = "access"/>  
</LogObject>  
  
5.添加环境变量  
echo "export PATH=/opt/ats/bin:$PATH" >> /etc/profile  
更新配置文件  
source /etc/profile  
再次确认环境变量是否添加成功  
echo $PATH  
这样的话，在命令行直接运行trafficserver start就可以识别了。  
  
6.安装tsar并监控  
需要能够监控ATS，特别是ssdhit选项，参见博文  
http://blog.csdn.net/tao\_627/article/details/44808637  
安装好tsar后直接使用如下命令就可以看到了

tsar --ts\_cache -l i 2

![Center][]

7.启动查看状态  
trafficserver start  
查看

echo "show:cache-stats" | traffic\_shell

![Center 1][]

在diags.log中的显示如下：  
也已经说明我们指定的/dev/sdl已经被自动加载了  
另外，进入到日志目录下面，查看访问日志  
cd /opt/ats/var/log/trafficserver  
如果没有自定义日志文件格式，就是默认的squid日志，采用下面的命令查看  
traffic\_line -f squid.log  
如果自定义了日志的文件格式，就直接查看  
tail -f access.log  
也可以查看traffic\_server和traffic\_manager进程的日志信息，或者是控制台信息  
tail -f traffic.out  
如果允许过程中有段错误，这里将会显示出来  
![Center 2][]  
  
8.说明  
a.磁盘的格式化非常关键，经过测试，可以使用未分区的裸盘，也可以使用mkfs.ext4命令格式化的伪裸盘都可以，但建议使用纯粹的裸盘  
b.普通硬盘和SSD的格式化和加载完全一样处理，可以在线上分批多次添加裸盘或是SSD，以前加载的磁盘不会再格式化，只会对新添加的磁盘做处理，所以已有的缓存数据应该不会损坏。但是对storage.conf的配置更新必须重启ATS，简单使用traffic\_line -x并不凑效  
c.线上服务器的硬盘配置都需要在storage.conf文件中明确指定，如果你有12块磁盘，但是只在storage.conf中指定4块，它就只会使用4块，也就是说，用几块就指定几块。

d.ssd的配置项proxy.config.cache.interim.storage可以在线更新，但是需要先traffic\_server -Cclear清空缓存再执行traffic\_server start重建索引，都需要很长时间处理

traffic\_line -s proxy.config.cache.interim.storage -v NULL

![Center 3][]

e.每次关闭服务器，下次打开服务器时，需要使用traffic\_server -Cclear清空缓存，在开启ATS，否则会有段错误。运行过程中的ATS重启不存在这个问题  
f.tsar没有ATS的监控数据或者ssdhit没有数据，请检查tsar编译时注意修改正确mgmtapisocket路径和interim相关的配置项  
g.ssdhit数据很小，但是ramhit数据很大，这是因为records.config中的proxy.config.cache.ram\_cache\_cutoff选项造成的，为了压测ssd性能，请尽量调大这个选项，并使用较大的请求样本压测，jtest中就是设置-q参数，比如  
  ./jtest -P 10.10.110.81 -p 8080 -S ts.cn -s 9080 -z 1.0 -D 9080 -k 2 -c 500 -Z 1000 -q 100000000  
h.使用SSD会极大改善缓存命中效果，并显著提升ATS的QPS指标，建议线上尽量使用  
i.不要将ssd添加到storage.config中，它不是数据磁盘，但是应该将它添加到/etc/udev/rules.d/99-ats.rules中来设置正确的用户组和权限  
  
参考文献  
\[1\].https://cwiki.apache.org/confluence/display/TS/CentOS  
\[2\].http://www.huilinwang.com/blog/post/425.html   
\[3\].http://www.shencan.net/index.php/2012/09/08/trafficserver-%e4%bd%bf%e7%94%a8%e8%a3%b8%e7%9b%98%e9%85%8d%e7%bd%ae/   
\[4\].https://blog.zymlinux.net/index.php/archives/906

[Center]: /images/20220805/b42b0dd9ee6b4bb9a7a0d89fd1b35dd1.png
[Center 1]: /images/20220805/fb2b21ec24954edda2e87602a3ff7cd4.png
[Center 2]: /images/20220805/1288726c8ccb4a1b9cc568bbb4aa3e24.png
[Center 3]: /images/20220805/37c9e575694d479cbfaf237afaf96281.png