ubuntu下Nginx详解及点播直播服务器搭建

偏执的太偏执、 2022-03-07 01:56 456阅读 0赞

# 1 Nginx简介 #

Nginx(engine x)是一个高性能的HTTP服务器，也是一款轻量级的Web服务器，反向代理服务器及电子邮件IMAP/POP3/SMTP代理服务器。Nginx是由伊戈尔·赛索耶夫为站点Rambler.ru开发的。第一个公开版本发布于2004年10月4日。其将源代码以类BSD许可证的形式发布，因它的稳定性、丰富的功能集、示列配置文件和低系统资源的消耗而闻名。其特点是占用内存少，并发能力强，事实上nginx的并发能力确实在同类型的网页服务器中表现比较好，中国大陆使用nginx网站用户有：百度、京东、新浪、网易、腾讯、淘宝等。

# 2 [Nginx的特点][Nginx] #

## 2.1 动静分离 ##

Nginx是一种轻量级，高性能，多进程的Web服务器，非常适合作为静态资源服务器使用，而动态的访问操作可以是用稳定的Apache，Tomcat及IIS等来实现。这里就以Nginx作为代理服务器的同时，也使用其作为静态资源服务器。  
静态资源服务器通过绝对路径去访问，放在nginx服务器当中。  
动态资源通过url拼接字符串的方式去访问例如tomcat服务器

## 2.2 均衡负载 ##

### 2.2.1 Nginx的upstream目前支持以下几种方式的分配 ###

1).轮询（默认）  
    每个请求按实际顺序逐一分配到不同的后端服务器，如果后端服务器dump掉，能自动剔除。  
  2) weight（权重）  
    为后台服务器指定轮询几率，weight和访问量成正比，让性能高的服务器承担更多的访问量。  
  3).ip\_hash  
    每个请求按访问ip的hash结构分配，这样每个访客固定访问一个后端服务器，可以解决session的问题。  
  4).fair（第三方）  
    按后端服务器的响应时间来分配请求，响应时间快短的优先分配。  
  5).url\_hash（第三方）  
    按访问url的hash结果来分配请求，使每个url定向到同一个后端服务器，后端服务器为缓存时比较有效。

### 2.2.2 Session问题 ###

当我们确定一系列负载的服务器后，如果你先访问到A服务器，下一次请求突然转到B服务器。这时候与A服务器建立的Session，传到B服务器肯定是无法响应的。下面我们来看一下解决方案：  
  1).Session或凭据缓存到独立的服务器上  
    将seesion保存到独立的服务器，缓存效率会比较高，但如果同时访问的服务器过多的话，可能导致session服务器无法负荷而宕机。  
  2).Session或凭据保存数据库中  
    保存到数据中，除了要控制Session的有效期，同时也加重了数据库的负担，所以最终转变为SQL Server负载均衡，涉及读，写，过期同步，处理起来会很复杂。  
  3).nginx ip\_hash保持同一IP的请求都是指定到固定的一台服务器  
    通过nginx ip\_hash负载保持对同一服务器的会话，这种方式最方便，最轻量。

### 2.2.3 文件的上传下载 ###

如果实现了均衡负载，除了Session问题，我们还会碰到文件的上传下载问题。文件不可能上传不同的服务器上，这样会导致下载不到对应文件的问题。下面来看一下解决方案：  
  1).独立文件服务器  
  2).文件压缩数据库  
  两种方案都是常用的，我们来说一下文件压缩数据库，以前的方式都是将文件二进制压缩至关系型数据库，而现在NOSQL的流行，加上MongoDB处理文件又比较方便，所以文件压库又多了一种选择。毕竟文件服务器的效率和管理以及安全都不及数据库。

## 2.3 反向代理 ##

反向代理（Reverse Proxy）方式是指以代理服务器来接受Internet上的连接请求，然后将请求转发给内部网络上的服务器；并将从服务器上得到的结果返回给Internet上请求连接的客户端，此时代理服务器对外就表现为一个服务器。  
  反向代理服务器：  
  通常的代理服务器，只用于代理内部网络对Internet的连接请求，客户机必须指定代理服务器,并将本来要直接发送到Web服务器上的http请求发送到代理服务器中。当一个代理服务器能够代理外部网络上的主机，访问内部网络时，这种代理服务的方式称为反向代理服务器。

## 2.4 单点故障 ##

某台节点服务器挂了，但是Nginx仍然会可能选中这个出故障的机器，然后就一直连接着是因为超时时间很长，具体多长不清楚，所以为了避免一直连接着，我们需要设置超时时间。  
  用Keepalived搭建双Nginx server集群，防止单点故障

## 2.5.优化 ##

## 2.5.1 高层的配置（nginx.conf） ##

worker_processes auto;  
    worker_rlimit_nofile 100000;
    worker_cpu_affinity 0001 0010 0100 1000 0001 0010 0100 1000;

worker\_processes：  
  定义了nginx对外提供web服务时的worker进程数。最优值取决于许多因素，包括（但不限于）CPU核的数量、存储数据的硬盘数量及负载模式。不能确定的时候，将其设置为可用的CPU内核数将是一个好的开始（设置为“auto”将尝试自动检测它）。

worker\_rlimit\_nofile：  
  更改worker进程的最大打开文件数限制。如果没设置的话，这个值为操作系统的限制。设置后你的操作系统和Nginx可以处理比“ulimit -a”更多的文件，所以把这个值设高，这样nginx就不会有“too many open files”问题了。

worker\_cpu\_affinity：  
  CPU亲和力配置，让不同的进程绑定不同的CPU，可以减少由于线程切换时CPU切换带来的缓存拷贝导致降低效率。

## 2.5.2 Events模块 ##

events模块中包含Nginx中所有处理连接的设置。

events {
    worker_connections 2048;  
    multi_accept on;  
    use epoll;  
    }

worker\_connections：  
  设置可由一个worker进程同时打开的最大连接数。如果设置了上面提到的worker\_rlimit\_nofile，我们可以将这个值设得很高。但是不能超过系统的可用socket连接数限制（~ 64K）。  
multi\_accept：  
  告诉nginx收到一个新连接通知后接受尽可能多的连接。  
use 设置用于复用客户端线程的轮询方法。如果你使用Linux 2.6+，你应该使用epoll。如果你使用FreeBSD，你应该使用kqueue。  
（值得注意的是如果你不知道Nginx该使用哪种轮询方法的话，它会选择一个最适合你操作系统的）

## 2.5.3 HTTP 模块 ##

HTTP模块控制着Nginx http处理的所有核心特性。

http {  
    server_tokens off;  
    sendfile on;  
    tcp_nopush on;  
    tcp_nodelay on;  
    ...  
    }

server\_tokens：  
  并不会让nginx执行的速度更快，但它可以关闭在错误页面中的nginx版本数字，这样对于安全性是有好处的。  
sendfile：  
  可以让sendfile()发挥作用。sendfile()可以在磁盘和TCP socket之间互相拷贝数据(或任意两个文件描述符)。Pre-sendfile是传送数据之前在用户空间申请数据缓冲区。  
之后用read()将数据从文件拷贝到这个缓冲区，write()将缓冲区数据写入网络。sendfile()是立即将数据从磁盘读到OS缓存。  
因为这种拷贝是在内核完成的，sendfile()要比组合read()和write()以及打开关闭丢弃缓冲更加有效(更多有关于sendfile)。  
tcp\_nopush：  
  告诉nginx在一个数据包里发送所有头文件，而不一个接一个的发送。  
tcp\_nodelay：  
  告诉nginx不要缓存数据，而是一段一段的发送--当需要及时发送数据时，就应该给应用设置这个属性，这样发送一小块数据信息时就不能立即得到返回值。

access_log off;  
    error_log /var/log/nginx/error.log crit;

access\_log：  
  设置nginx是否将存储访问日志。关闭这个选项可以让读取磁盘IO操作更快(aka,YOLO)  
error\_log：  
  告诉nginx只能记录严重的错误：

# 3 Nginx编译 #

nginx依赖于pcre, openssl, zlib, nginx-rtmp-module。故在编译nginx之前必须下载先编译这些库。  
  pcre是一个Perl库，包括perl兼容的正则表达式库。  
    
  zlib提供数据压缩用的函式库。  
  nginx-rtmp-module是nginx的rtmp流媒体服务拓展库，实现了rtmp,hls,dash的流媒体服务功能。下面是本人编写的nginx一键下载编译脚本，运行该脚步即可下载编译nginx：

#!/bin/bash
    #indicate that this script execute by /bin/bash
    # 本脚本用于自动下载nginx已经依赖库pcre, openssl, zlib, nginx-rtmp-module，并编译安装，安装时需要输入管理员账号权限
    #zipexts=(".tar.gz" ".tar.bz2" ".tar.Z" ".tgz" ".tar" ".gz" ".bz2" ".Z" ".rar" ".zip")
    #zipexts=(".tar.gz" ".tar.bz2" ".tar.Z" ".tgz" ".tar" ".gz" ".bz2" ".Z" ".rar" ".zip")
    # 由于shell脚本的函数不能返回字符串，故设置全局变量以便记录dezip产生的返回值以及下downloazanddezip函数下载解压后的文件夹名称
    extname=""
    outputname=""
    
    # 解压压缩包,并返回解压后的文件夹或文件名称
    # param1:压缩包名称，必填项
    # param2:解压到指定文件夹，可为空
    # 返回值:无, 注，shell返回值只能为整形，不能为字符串
    dezip(){
        outputname=$2
        extname=""
        exename="tar"
        unzipflag=""
        echo "param1:"$1
        # 检测压缩包类型，并使用对应的解压方式
        if expr match $1 ".*.tar.gz" != 0; then
            extname=".tar.gz"
            exename="tar"
            unzipflag="-zxvf"
            #echo $extname
        elif expr match $1 ".*.tar.bz2" != 0; then
            extname=".tar.bz2"
            exename="tar"
            unzipflag="-xjf"
            #echo $extname
        elif expr match $1 ".*.tar" != 0; then
            extname=".tar"
            exename="tar"
            unzipflag="-xvf"
        elif expr match $1 ".*.tgz" != 0; then
            extname=".tgz"
            exename="tar"
            unzipflag="-xvf"
        elif expr match $1 ".*.gz" != 0; then
            extname=".gz"
            exename="gzip" # 或gunzip
            unzipflag="-d"
        elif expr match $1 ".*.bz2" != 0; then
            extname=".bz2"
            exename="bzip2" # 或bunzip2
            unzipflag="-d"
        elif expr match $1 ".*.tar.Z" != 0; then
            extname=".tar.Z"
            exename="tar"
            unzipflag="-xZf"
        elif expr match $1 "*.Z" != 0; then
            extname=".Z"
            exename="uncompress"
            unzipflag=""
        elif expr match $1 ".*.rar" != 0; then
            extname=".rar"
            exename="unrar"
            unzipflag="e"
        elif expr match $1 ".*.zip" != 0; then
            extname=".zip"
            exename="unzip"
            unzipflag="-o"
        fi
        if [ ! -d $outputname ]; then
            outputname=${1%$extname}
            echo "outputname" $outputname
        fi
        #if [ ! -d $outputname ]; then
            #mkdir $outputname
            #echo $outputname
        #fi
        echo "$exename $unzipflag $1"
        # 解压文件
        $exename $unzipflag $1
        #return $extname
    }
    # 下载压缩包并解压
    # param1:url
    # param2:zip
    # return: dezip filename
    downloazanddezip()
    {
        if [ -d $1 ]; then
           echo "Invalid url, please input url while you run downloazanddezip"
        fi
        downloadurl=$1
        # 截取？前面的字符串
        downloadurl=${downloadurl%\?*}
        echo $downloadurl
        # 截取最后一个/后面的字符串，即压缩包名称
        zipname=${downloadurl##*/}
        echo $zipname
        if [ ! -f $zipname ]; then
            curl -o $zipname $1
            echo 'curl -o $zipname $1'
        fi
        echo "dezip:"$zipname
        dezip $zipname
        #extname=$?
        echo $extname'=dezip' $zipname
    
        if expr match $zipname $extname == 0; then
            zipname=${zipname%$extname}
            echo "zipname:"$zipname
        fi
        outputname=$zipname
    }
    
    # 下载nginx源码，如果链接有误，直接替换链接即可
    curdir=$PWD
    downloazanddezip http://117.128.6.28/cache/nginx.org/download/nginx-1.14.2.tar.gz?ich_args2=468-23103716018527_5b6f2632bf91b3cdae35405cfb43338b_10001002_9c89612cdfcbf8d59538518939a83798_ff478ef610d500dd7f20fe13dd251d7b
    # 记录nginx库源码文件夹目录名称
    nginxname=$outputname
    cd $outputname
    if [ ! -d "./thirdpart/" ];then
        mkdir thirdpart
    fi
    cd ./thirdpart
    # 下载pcre库
    downloazanddezip https://ftp.pcre.org/pub/pcre/pcre-8.42.zip
    # 记录pcre库源码文件夹目录名称
    pcrename=$outputname
    # 下载openssl
    downloazanddezip https://www.openssl.org/source/openssl-1.0.2q.tar.gz
    # 记录openssl库源码文件夹目录名称
    opensslname=$outputname
    # 下载zlib库
    downloazanddezip http://117.128.6.17/cache/www.zlib.net/zlib-1.2.11.tar.gz?ich_args2=531-22232503018317_67f53fed3443a8995b0d31f74b74bce1_10001002_9c89612cdfc7f8d09639518939a83798_9b3b5eb8fa2f98e0b42e37f3838be97f
    # 记录zlib库源码文件夹目录名称
    zlibname=$outputname
    # 从github下载nginx-rtmp-module源码
    if [ ! -d "./nginx-rtmp-module/" ];then
        git clone https://github.com/arut/nginx-rtmp-module.git
    fi
    cd ../
    make clean
    ./configure --prefix=$curdir/$nginxname/build  --with-openssl=$curdir/$nginxname/thirdpart/$opensslname --with-pcre=$curdir/$nginxname/thirdpart/$pcrename  --with-zlib=$curdir/$nginxname/thirdpart/$zlibname --add-module=$curdir/$nginxname/thirdpart/nginx-rtmp-module --with-http_ssl_module
    make
    make install

# 4 配置点播服务 #

## 4.1 修改nginx.conf ##

打开build目录下conf文件夹下的nginx.conf文件：

http {
        include       mime.types;
        default_type  application/octet-stream;
        sendfile        on;
        #tcp_nopush     on;
    
        #keepalive_timeout  0;
        keepalive_timeout  65;
    
        #gzip  on;
    
        server {
            listen       80;
            server_name  localhost;
    
            # add stat page
            location /stat {
                rtmp_stat all;
            rtmp_stat_stylesheet stat.xsl;
            }
            location /stat.xsl {
                root $nginxpath/thirdpart/nginx-rtmp-module;
            }
            # add stat page end
            location / {
                root   html;
                index  index.html index.htm;
            }
    
            error_page   500 502 503 504  /50x.html;
            location = /50x.html {
                root   html;
            }
        # 支持flv、mp4文件点播
        location ~* \.flv$ {#flv 支持
            root $flvpath;#flv点播文件目录
        }
        location ~* \.mp4$ {#MP4 支持
            root $mp4path;#mp4点播文件目录
        }
        }

## 4.2 测试点播服务 ##

运行nginx:

$sudo ./nginx -c $buildpath/conf/nginx.conf

然后打开浏览器访问：

http://127.0.0.1/test.mp4
    如果能够正常播放，说明点播服务配置成功。

# 5 配置直播服务 #

## 5.1 修改nginx.conf配置： ##

http {
        include       mime.types;
        default_type  application/octet-stream;
    
        #log_format  main  '$remote_addr - $remote_user [$time_local] "$request" '
        #                  '$status $body_bytes_sent "$http_referer" '
        #                  '"$http_user_agent" "$http_x_forwarded_for"';
    
        #access_log  logs/access.log  main;
    
        sendfile        on;
        #tcp_nopush     on;
    
        #keepalive_timeout  0;
        keepalive_timeout  65;
    
        #gzip  on;
    
        server {
            listen       80;
            server_name  localhost;
    
            location /stat {
                    rtmp_stat all;
                rtmp_stat_stylesheet stat.xsl;
            }
    
            location /stat.xsl {
                root $nginxpath/third/nginx-rtmp-module;
            }
            location / {
                root   html;
                index  index.html index.htm;
            }
            location /live {  #这里也是需要添加的字段。
            types {  
                application/vnd.apple.mpegurl m3u8;  
                video/mp2t ts;  
            }
            alias /opt/video/hls;   
            expires -1;
            add_header Cache-Control no-cache;  
        }
            error_page   500 502 503 504  /50x.html;
            location = /50x.html {
                root   html;
            }
        # 支持flv、mp4文件点播
        location ~* \.flv$ {#flv 支持
            root $flvpath;#flv点播文件目录
        }
        location ~* \.mp4$ {#MP4 支持
            root $mp4path;#mp4点播文件目录
        }
        }
    }
    # 增加rtmp服务
    rtmp {
        server {
            listen 1935;
        chunk_size 4096;
        # rtmp点播
        application vod {
            play $rtmpvodpath;#rtmp点播文件存放路径
        }
        # rtmp直播
        application live {
        live on;
        hls on; #这个参数把直播服务器改造成实时回放服务器。
        wait_key on; #对视频切片进行保护，这样就不会产生马赛克了。
        hls_path $hls_save_path; #切片视频文件存放位置。
        hls_fragment 10s;     #每个视频切片的时长。
        hls_playlist_length 60s;  #总共可以回看的事件，这里设置的是1分钟。
        hls_continuous on; #连续模式。
        hls_cleanup on;    #对多余的切片进行删除。
        hls_nested on;     #嵌套模式。
        }
        }
    }

## 5.2 测试rtmp直播服务 ##

安装ffmpeg,并使用ffmpeg进行rtmp推流

$ sudo apt-get install ffmpeg
    $ ffmpeg -re -I $mp4path/test.mp4 -vcodec libx264 -acodec aac -strict -2 -f flv rtmp://localhost:1935/live
    $ ffplay -I rtmp://localhost:1935/live

若能正常播放rtmp流，则rtmp直播服务发布成功。

[Nginx]: https://www.cnblogs.com/ba1yang/p/7844841.html