（TeamTalk服务端源码分析二）Login_server源码分析

旧城等待， 2023-06-15 09:56 13阅读 0赞

### Login\_server源码分析 ###

Login\_server是Teamtalk客户端最先通信的后台服务程序，客户端发送请求到login\_server获取到负载最小的msg\_server的地址，端口等信息，然后再连接到相应的msg\_server上，发送登录请求，完成登录的流程。这样看来，虽然这个服务器名称是叫login\_server，但是它承担的功能更像是一个负载均衡服务。下面分析一下源码。

入口函数main在login\_server.cpp中：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2JhamlhbnhpYW9mZW5kdWk_size_16_color_FFFFFF_t_70]  
     在看配置文件解析之前，我们先看上面那个信号处理，将SIGPIPE信号的处理设定为SIG\_IGN来忽略它，为什么这样做呢。  
     这是因为TCP是全双工的信道, 可以看作两条单工信道, TCP连接两端的两个端点各负责一条. 当对端调用close时, 虽然本意是关闭整个两条信道,但本端只是收到FIN包. 按照TCP协议的语义, 表示对端只是关闭了其所负责的那一条单工信道, 仍然可以继续接收数据. 也就是说, 因为TCP协议的限制,一个端点无法获知对端的socket是调用了close还是shutdown。  
     对一个已经收到FIN包的socket调用read方法,如果接收缓冲已空, 则返回0, 这就是常说的表示连接关闭. 但第一次对其调用write方法时, 如果发送缓冲没问题, 会返回正确写入(发送)。但发送的报文会导致对端发送RST报文, 因为对端的socket已经调用了close, 完全关闭, 既不发送, 也不接收数据. 所以,第二次调用write方法(假设在收到RST之后), 会生成SIGPIPE信号, 导致进程退出。  
     因此为了避免进程退出，我们忽略SIGPIPE信号。  
     我们看一下loginserver.conf文件，包含以下配置项：  
![在这里插入图片描述][20191121201732602.png]  
（1） ClientListenIP和ClientPort是本地的tcp监听地址和端口。  
（2） HttpListenIP和HttpPort是本地的http请求监听地址和端口，也就是说login\_server同时支持tcp和http两种不同的数据通信请求。  
（3） MsgServerListenIP和MsgServerPort是login\_server连接的msg\_sever的地址和端口，支持多配，多配时，login\_server就充当了这几个msg\_server的负载均衡服务。  
（4） Msfs是图片存储服务器的地址，该配置是提供给客户端获取参数时使用。  
（5） discovery是发现内容获取地址，该配置是提供给客户端获取参数时使用。

接下来login\_server需要干三件事：  
（1） 开启当前服务tcp监听流程。  
（2） 开启当前服务http监听流程。  
（3） 建立与配置中所有msg\_server的连接。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2JhamlhbnhpYW9mZW5kdWk_size_16_color_FFFFFF_t_70 1]  
     由于这三个地方的网络连接底层部分都是一样的，只是业务处理不一样，我们就以tcp监听流程为例进行代码分析：

netlib_listen(client_listen_ip_list.GetItem(i), client_port, client_callback, NULL);

通过封装的netlib\_listen函数，创建socket，设置当前socket为非阻塞，绑定ip和端口：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2JhamlhbnhpYW9mZW5kdWk_size_16_color_FFFFFF_t_70 2]  
     最后将当前CbaseSocket类加入到全局变量g\_socket\_map中，然后注册epoll事件：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2JhamlhbnhpYW9mZW5kdWk_size_16_color_FFFFFF_t_70 3]  
     查看epoll文件描述符m\_epfd使用的地方：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2JhamlhbnhpYW9mZW5kdWk_size_16_color_FFFFFF_t_70 4]  
     在CeventDispatch类创建时，通过epoll\_create创建了一个epoll的句柄，size用来告诉内核这个监听的数目一共有多大。这个参数不同于select()中的第一个参数，给出最大监听的fd+1的值。需要注意的是，当创建好epoll句柄后，它就是会占用一个fd值（在linux下如果查看/proc/进程id/fd/，是能够看到这个fd的），所以在使用完epoll后，必须调用close()关闭，否则可能导致fd被耗尽。

在CeventDispatch::StartDispatch函数中，通过一个while循环来等待事件触发，传进来的等待时间为100ms：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2JhamlhbnhpYW9mZW5kdWk_size_16_color_FFFFFF_t_70 5]  
     我们以可读事件为例，调用的是CbaseSocket的OnRead()函数：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2JhamlhbnhpYW9mZW5kdWk_size_16_color_FFFFFF_t_70 6]  
     这里我们进入的是第一个分支，因为在上面CbaseSocket::Listen函数中把m\_state置为了SOCKET\_STATE\_LISTENING，当前服务器收到了一个新的客户端的连接，那么建立与该客户端的专有通信通道，同样的，也将新的fd加入到epoll监听事件中：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2JhamlhbnhpYW9mZW5kdWk_size_16_color_FFFFFF_t_70 7]  
     看最后一行代码，调用了m\_callback回调函数，而这个m\_callback也就是我们在main函数中设置的client\_callback函数：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2JhamlhbnhpYW9mZW5kdWk_size_16_color_FFFFFF_t_70 8]  
     这个回调只有当有新的客户端和服务端建立连接时才会进来，主要是为每一个连接创建一个独有的CloginConn业务处理对象。  
     而在CloingConn::OnConnect2中，也主要是修改当前CbaseScoket的回调函数：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2JhamlhbnhpYW9mZW5kdWk_size_16_color_FFFFFF_t_70 9]  
     在imconn\_callback中，根据当前的fd找到对应的CloingConn指针，再根据消息的不同调用不同的业务接口：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2JhamlhbnhpYW9mZW5kdWk_size_16_color_FFFFFF_t_70 10]  
     以OnRead为例，在基类CimConn中实现：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2JhamlhbnhpYW9mZW5kdWk_size_16_color_FFFFFF_t_70 11]  
     首先通过for循环接收完所有数据，然后再调用HandlePdu函数处理业务，这是一个虚函数，我们直接看CloginConn中的实现：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2JhamlhbnhpYW9mZW5kdWk_size_16_color_FFFFFF_t_70 12]  
     CloginConn::HandlePdu中处理了四个业务：  
（1） CID\_OTHER\_HEARTBEAT：心跳。  
（2） CID\_OTHER\_MSG\_SERV\_INFO：处理来自msg\_server的当前负载信息，做本地缓存。  
（3） CID\_OTHER\_USER\_CNT\_UPDATE：处理来自msg\_server的用户上下线通知，更新本地负载缓存数据。  
（4） CID\_LOGIN\_REQ\_MSGSERVER：处理来自客户端的获取msg\_server信息请求。

先看\_HandleMsgServInfo的实现：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2JhamlhbnhpYW9mZW5kdWk_size_16_color_FFFFFF_t_70 13]  
     直接解析msg\_server的主ip，备ip，端口，最大连接数，当前连接数，主机名等信息并缓存在全局变量g\_msg\_serv\_info中。  
     大家注意这里对map的操作没有加锁，因为只有在最初连接上msg\_server时才进行了insert操作，其他地方都只是查找，并访问和修改value，key值没有动过，所以树的结构也没变更，无需加锁。

用户的上下线状态更新就很简单了，直接找到对应的msg\_server连接的fd，并更新cur\_conn\_cnt字段：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2JhamlhbnhpYW9mZW5kdWk_size_16_color_FFFFFF_t_70 14]  
     Login\_server最核心的功能应该就在\_HandleMsgServRequest函数中，它主要处理客户端获取msg\_server信息的请求，此处选择一个负载最小的msg\_server返回给客户端：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2JhamlhbnhpYW9mZW5kdWk_size_16_color_FFFFFF_t_70 15]  
     通过一个for循环遍历g\_msg\_serv\_info的所有成员，取出cur\_conn\_cnt最小的那个msg\_server信息，然后再打包回给客户端。

上面就是login\_server的tcp端口监听处理的全部流程，而msg\_server的业务处理类也是CloginConn，也就是和上述流程完全一样，至于http端口的监听流程，感兴趣的可以自己可以照着上述步骤分析一下，比较简单，此处不再复述。（需要注意http的监听是短连接，即客户端与login\_server建立一个请求，响应流程后，就断开连接）

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2JhamlhbnhpYW9mZW5kdWk_size_16_color_FFFFFF_t_70]: https://img-blog.csdnimg.cn/2019112120171037.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2JhamlhbnhpYW9mZW5kdWk=,size_16,color_FFFFFF,t_70
[20191121201732602.png]: https://img-blog.csdnimg.cn/20191121201732602.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2JhamlhbnhpYW9mZW5kdWk_size_16_color_FFFFFF_t_70 1]: https://img-blog.csdnimg.cn/20191121201809110.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2JhamlhbnhpYW9mZW5kdWk=,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2JhamlhbnhpYW9mZW5kdWk_size_16_color_FFFFFF_t_70 2]: https://img-blog.csdnimg.cn/20191121201902981.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2JhamlhbnhpYW9mZW5kdWk=,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2JhamlhbnhpYW9mZW5kdWk_size_16_color_FFFFFF_t_70 3]: https://img-blog.csdnimg.cn/2019112120191445.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2JhamlhbnhpYW9mZW5kdWk=,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2JhamlhbnhpYW9mZW5kdWk_size_16_color_FFFFFF_t_70 4]: https://img-blog.csdnimg.cn/20191121201929412.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2JhamlhbnhpYW9mZW5kdWk=,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2JhamlhbnhpYW9mZW5kdWk_size_16_color_FFFFFF_t_70 5]: https://img-blog.csdnimg.cn/2019112120195270.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2JhamlhbnhpYW9mZW5kdWk=,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2JhamlhbnhpYW9mZW5kdWk_size_16_color_FFFFFF_t_70 6]: https://img-blog.csdnimg.cn/20191121202009135.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2JhamlhbnhpYW9mZW5kdWk=,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2JhamlhbnhpYW9mZW5kdWk_size_16_color_FFFFFF_t_70 7]: https://img-blog.csdnimg.cn/20191121202054270.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2JhamlhbnhpYW9mZW5kdWk=,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2JhamlhbnhpYW9mZW5kdWk_size_16_color_FFFFFF_t_70 8]: https://img-blog.csdnimg.cn/20191121202113363.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2JhamlhbnhpYW9mZW5kdWk=,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2JhamlhbnhpYW9mZW5kdWk_size_16_color_FFFFFF_t_70 9]: https://img-blog.csdnimg.cn/20191121202135909.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2JhamlhbnhpYW9mZW5kdWk=,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2JhamlhbnhpYW9mZW5kdWk_size_16_color_FFFFFF_t_70 10]: https://img-blog.csdnimg.cn/20191121202152767.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2JhamlhbnhpYW9mZW5kdWk=,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2JhamlhbnhpYW9mZW5kdWk_size_16_color_FFFFFF_t_70 11]: https://img-blog.csdnimg.cn/20191121202203514.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2JhamlhbnhpYW9mZW5kdWk=,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2JhamlhbnhpYW9mZW5kdWk_size_16_color_FFFFFF_t_70 12]: https://img-blog.csdnimg.cn/20191121202221345.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2JhamlhbnhpYW9mZW5kdWk=,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2JhamlhbnhpYW9mZW5kdWk_size_16_color_FFFFFF_t_70 13]: https://img-blog.csdnimg.cn/20191121202252663.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2JhamlhbnhpYW9mZW5kdWk=,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2JhamlhbnhpYW9mZW5kdWk_size_16_color_FFFFFF_t_70 14]: https://img-blog.csdnimg.cn/20191121202310381.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2JhamlhbnhpYW9mZW5kdWk=,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2JhamlhbnhpYW9mZW5kdWk_size_16_color_FFFFFF_t_70 15]: https://img-blog.csdnimg.cn/20191121202328207.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2JhamlhbnhpYW9mZW5kdWk=,size_16,color_FFFFFF,t_70