从零搭建开发脚手架 Spring Boot集成CAT实现APM和链路监控、业务埋点

╰半橙微兮° 2022-10-09 06:18 554阅读 0赞

### 文章目录 ###

*   *  简介
     *   *  Cat 简介
         *  Cat 产品价值
         *  Cat 优势
     *  服务端部署
     *   *  准备阶段
         *   *  CAT安装环境
             *  安装CAT集群步骤概览
         *  具体实操
         *   *  1.初始化数据库
             *  2.创建目录和配置文件
             *  3.CATwar部署
             *  4.修改客户端路由配置
             *  5.修改服务器配置
             *  6.验证
     *  客户端集成
     *   *  1.maven依赖
         *  2.配置client.xml
         *  3.配置项目名称
         *  4.测试验证
     *  功能介绍
     *   *  核心功能
         *   *  Transaction
             *  Event
             *  Problem
             *  Heartbeat
             *   *  JVM相关指标
                 *  系统指标
             *  Business
     *  实战集成
     *   *  SpringBoot 集成CatFilter
         *  Logback配置
         *  消息属性

## 简介 ##

### Cat 简介 ###

*  CAT 是基于 Java 开发的实时应用监控平台，为美团点评提供了全面的实时监控告警服务。
 *  CAT 作为服务端项目基础组件，提供了 Java, C/C++, Node.js, Python, Go 等多语言客户端，已经在美团点评的基础架构中间件框架（MVC框架，RPC框架，数据库框架，缓存框架等，消息队列，配置系统等）深度集成，为美团点评各业务线提供系统丰富的性能指标、健康状况、实时告警等。
 *  CAT 很大的优势是它是一个实时系统，CAT 大部分系统是分钟级统计，但是从数据生成到服务端处理结束是秒级别，秒级定义是48分钟40秒，基本上看到48分钟38秒数据，整体报表的统计粒度是分钟级；第二个优势，监控数据是全量统计，客户端预计算；链路数据是采样计算。

Github地址：[https://github.com/dianping/cat/wiki][https_github.com_dianping_cat_wiki]

### Cat 产品价值 ###

*  减少故障发现时间
 *  降低故障定位成本
 *  辅助应用程序优化

### Cat 优势 ###

*  实时处理：信息的价值会随时间锐减，尤其是事故处理过程中
 *  全量数据：全量采集指标数据，便于深度分析故障案例
 *  高可用：故障的还原与问题定位，需要高可用监控来支撑
 *  故障容忍：故障不影响业务正常运转、对业务透明
 *  高吞吐：海量监控数据的收集，需要高吞吐能力做保证
 *  可扩展：支持分布式、跨 IDC 部署，横向扩展的监控系统

> 类比于Skywalking，APM和链路追踪功能，感觉是APM+metrics
> 
> 多语言客户端：Java、C/C++、Node.js、Python、Go
> 
> 支持 Transaction、Event、Heartbeat、Metric 四种消息模型。

## 服务端部署 ##

### 准备阶段 ###

#### CAT安装环境 ####

*  Linux 2.6以及之上（2.6内核才可以支持epoll），线上服务端部署请使用Linux环境，Mac以及Windows环境可以作为开发环境，美团点评内部CentOS 6.5
 *  Java 6，7，8，服务端推荐使用jdk7的版本，客户端jdk6、7、8都支持
 *  Maven 3及以上
 *  MySQL 5.6，5.7，更高版本MySQL都不建议使用，不清楚兼容性
 *  J2EE容器建议使用tomcat，建议使用推荐版本7.\*.*或8.0.*
 *  **Hadoop环境可选**，一**般建议规模较小的公司直接使用磁盘模式**，可以申请CAT服务端，500GB磁盘或者更大磁盘，这个磁盘挂载在/data/目录上

> 很明显我们直接使用磁盘模式，部署就变得非常的easy了，这也是我喜欢CAT的原因之一。

#### 安装CAT集群步骤概览 ####

1.  初始化Mysql数据库，`一套CAT集群需要部署一个数据库`，数据库脚本script/CatApplication.sql（下文已提供）
2.  准备一台CAT服务器用于搭建服务端（这里是单机版本，集群请参考官网）
3.  初始化/data/目录，配置几个配置文件/data/appdatas/cat/\*.xml 几个配置文件，具体下面有详细说明
4.  `打包并重命名为cat.war`，放入tomcat容器webapps根目录下，并启动tomcat
5.  修改服务器配置、及路由配置，重启tomcat

### 具体实操 ###

#### 1.初始化数据库 ####

在MySQL中创建cat数据库，然后执行`script/Cat.sql`中的SQL语句。地址：[https://github.com/dianping/cat/blob/master/script/CatApplication.sql][https_github.com_dianping_cat_blob_master_script_CatApplication.sql]

这里我也贴出来了

> 注意1：`一套独立的CAT集群只需要一个数据库`（之前碰到过个别同学在每台cat的服务端节点都安装了一个数据库）
> 
> 注意2：`数据库编码使用utf8mb4，否则可能造成中文乱码等问题`
> 
> 注意3：MySQL的一个系统参数：`max_allowed_packet`，其默认值为1048576(1M)，修改为1000M，修改完需要重启mysql
> 
>  或者 `set global max_allowed_packet = 1000 * 1024 * 1024`，但是mysql重启失效

CREATE TABLE `dailyreport` (
      `id` int(11) NOT NULL AUTO_INCREMENT,
      `name` varchar(20) NOT NULL COMMENT '报表名称, transaction, problem...',
      `ip` varchar(50) NOT NULL COMMENT '报表来自于哪台cat-consumer机器',
      `domain` varchar(50) NOT NULL COMMENT '报表处理的Domain信息',
      `period` datetime NOT NULL  COMMENT '报表时间段',
      `type` tinyint(4) NOT NULL COMMENT '报表数据格式, 1/xml, 2/json, 默认1',
      `creation_date` datetime NOT NULL COMMENT '报表创建时间',
      PRIMARY KEY (`id`),
      UNIQUE KEY `period` (`period`,`domain`,`name`)
    ) ENGINE=InnoDB DEFAULT CHARSET=utf8 COMMENT='天报表';
    
    CREATE TABLE `weeklyreport` (
      `id` int(11) NOT NULL AUTO_INCREMENT,
      `name` varchar(20) NOT NULL COMMENT '报表名称, transaction, problem...',
      `ip` varchar(50) NOT NULL COMMENT '报表来自于哪台cat-consumer机器',
      `domain` varchar(50) NOT NULL COMMENT '报表处理的Domain信息',
      `period` datetime NOT NULL  COMMENT '报表时间段',
      `type` tinyint(4) NOT NULL COMMENT '报表数据格式, 1/xml, 2/json, 默认1',
      `creation_date` datetime NOT NULL COMMENT '报表创建时间',
      PRIMARY KEY (`id`),
      UNIQUE KEY `period` (`period`,`domain`,`name`)
    ) ENGINE=InnoDB DEFAULT CHARSET=utf8 COMMENT='周报表';
    
    CREATE TABLE `monthreport` (
      `id` int(11) NOT NULL AUTO_INCREMENT,
      `name` varchar(20) NOT NULL COMMENT '报表名称, transaction, problem...',
      `ip` varchar(50) NOT NULL COMMENT '报表来自于哪台cat-consumer机器',
      `domain` varchar(50) NOT NULL COMMENT '报表处理的Domain信息',
      `period` datetime NOT NULL  COMMENT '报表时间段',
      `type` tinyint(4) NOT NULL COMMENT '报表数据格式, 1/xml, 2/json, 默认1',
      `creation_date` datetime NOT NULL COMMENT '报表创建时间',
      PRIMARY KEY (`id`),
      UNIQUE KEY `period` (`period`,`domain`,`name`)
    ) ENGINE=InnoDB DEFAULT CHARSET=utf8 COMMENT='月报表';
    
    CREATE TABLE `hostinfo` (
      `id` int(11) NOT NULL AUTO_INCREMENT,
      `ip` varchar(50) NOT NULL COMMENT '部署机器IP',
      `domain` varchar(200) NOT NULL COMMENT '部署机器对应的项目名',
      `hostname` varchar(200) DEFAULT NULL COMMENT '机器域名',
      `creation_date` datetime NOT NULL,
      `last_modified_date` datetime NOT NULL,
      PRIMARY KEY (`id`),
      UNIQUE KEY `ip_index` (`ip`)
    ) ENGINE=InnoDB DEFAULT CHARSET=utf8 COMMENT='IP和项目名的对应关系';
    
    CREATE TABLE `hourlyreport` (
      `id` int(11) NOT NULL AUTO_INCREMENT,
      `type` tinyint(4) NOT NULL COMMENT '报表类型, 1/xml, 9/binary 默认1',
      `name` varchar(20) NOT NULL COMMENT '报表名称',
      `ip` varchar(50) DEFAULT NULL COMMENT '报表来自于哪台机器',
      `domain` varchar(50) NOT NULL  COMMENT '报表项目',
      `period` datetime NOT NULL COMMENT '报表时间段',
      `creation_date` datetime NOT NULL COMMENT '报表创建时间',
      PRIMARY KEY (`id`),
      KEY `IX_Domain_Name_Period` (`domain`,`name`,`period`),
      KEY `IX_Name_Period` (`name`,`period`),
      KEY `IX_Period` (`period`)
    ) ENGINE=InnoDB DEFAULT CHARSET=utf8 ROW_FORMAT=COMPRESSED COMMENT='用于存放实时报表信息，处理之后的结果';
    
    CREATE TABLE `hourly_report_content` (
      `report_id` int(11) NOT NULL COMMENT '报表ID',
      `content` longblob NOT NULL COMMENT '二进制报表内容',
      `period` datetime NOT NULL  COMMENT '报表时间段',
      `creation_date` datetime NOT NULL COMMENT '创建时间',
      PRIMARY KEY (`report_id`),
      KEY `IX_Period` (`period`)
    ) ENGINE=InnoDB DEFAULT CHARSET=utf8 ROW_FORMAT=COMPRESSED COMMENT='小时报表二进制内容';
    
    CREATE TABLE `daily_report_content` (
      `report_id` int(11) NOT NULL COMMENT '报表ID',
      `content` longblob NOT NULL COMMENT '二进制报表内容',
      `period` datetime  COMMENT '报表时间段',
      `creation_date` datetime NOT NULL COMMENT '创建时间',
      PRIMARY KEY (`report_id`),
      KEY `IX_Period` (`period`)
    )ENGINE=InnoDB DEFAULT CHARSET=utf8 ROW_FORMAT=COMPRESSED COMMENT='天报表二进制内容';
    
    CREATE TABLE `weekly_report_content` (
      `report_id` int(11) NOT NULL COMMENT '报表ID',
      `content` longblob NOT NULL COMMENT '二进制报表内容',
      `period` datetime  COMMENT '报表时间段',
      `creation_date` datetime NOT NULL COMMENT '创建时间',
      PRIMARY KEY (`report_id`),
      KEY `IX_Period` (`period`)
    )ENGINE=InnoDB DEFAULT CHARSET=utf8 ROW_FORMAT=COMPRESSED COMMENT='周报表二进制内容';
    
    CREATE TABLE `monthly_report_content` (
      `report_id` int(11) NOT NULL COMMENT '报表ID',
      `content` longblob NOT NULL COMMENT '二进制报表内容',
      `period` datetime  COMMENT '报表时间段',
      `creation_date` datetime NOT NULL COMMENT '创建时间',
      PRIMARY KEY (`report_id`),
      KEY `IX_Period` (`period`)
    )ENGINE=InnoDB DEFAULT CHARSET=utf8 ROW_FORMAT=COMPRESSED COMMENT='月报表二进制内容';
    
    CREATE TABLE `businessReport` (
      `id` int(11) NOT NULL AUTO_INCREMENT,
      `type` tinyint(4) NOT NULL COMMENT '报表类型 报表数据格式, 1/Binary, 2/xml , 3/json',
      `name` varchar(20) NOT NULL COMMENT '报表名称',
      `ip` varchar(50) NOT NULL COMMENT '报表来自于哪台机器',
      `productLine` varchar(50) NOT NULL COMMENT '指标来源于哪个产品组',
      `period` datetime NOT NULL COMMENT '报表时间段',
      `content` longblob COMMENT '用于存放报表的具体内容',
      `creation_date` datetime NOT NULL COMMENT '报表创建时间',
      PRIMARY KEY (`id`),
      KEY `IX_Period_productLine_name` (`period`,`productLine`,`name`)
    ) ENGINE=InnoDB DEFAULT CHARSET=utf8 ROW_FORMAT=COMPRESSED COMMENT='用于存放业务监控实时报表信息，处理之后的结果';
    
    CREATE TABLE `task` (
      `id` int(11) NOT NULL AUTO_INCREMENT,
      `producer`      varchar(20) NOT NULL COMMENT '任务创建者ip',
      `consumer`      varchar(20) NULL COMMENT '任务执行者ip',
      `failure_count` tinyint(4) NOT NULL COMMENT '任务失败次数',
      `report_name`   varchar(20) NOT NULL COMMENT '报表名称, transaction, problem...',
      `report_domain` varchar(50) NOT NULL COMMENT '报表处理的Domain信息',  
      `report_period` datetime NOT NULL  COMMENT '报表时间',
      `status`        tinyint(4) NOT NULL COMMENT '执行状态: 1/todo, 2/doing, 3/done 4/failed',  
      `task_type`     tinyint(4) NOT NULL DEFAULT '1' COMMENT '0表示小时任务，1表示天任务',
      `creation_date` datetime NOT NULL  COMMENT '任务创建时间',
      `start_date`    datetime NULL  COMMENT '开始时间, 这次执行开始时间',
      `end_date`      datetime NULL  COMMENT '结束时间, 这次执行结束时间',
      PRIMARY KEY (`id`),
      UNIQUE KEY `task_period_domain_name_type` (`report_period`,`report_domain`,`report_name`,`task_type`)
    ) ENGINE=InnoDB DEFAULT CHARSET=utf8 COMMENT='后台任务';
    
    CREATE TABLE `project` (
      `id` int(11) NOT NULL AUTO_INCREMENT,
      `domain` varchar(200) NOT NULL COMMENT '项目名称',
      `cmdb_domain` varchar(200) DEFAULT  NULL COMMENT 'cmdb项目名称',
      `level` int(5) DEFAULT NULL COMMENT '项目级别',  
      `bu` varchar(50) DEFAULT NULL COMMENT 'CMDB事业部',
      `cmdb_productline` varchar(50) DEFAULT NULL COMMENT 'CMDB产品线',
      `owner` varchar(50)  DEFAULT NULL COMMENT '项目负责人',
      `email` longtext  DEFAULT NULL COMMENT '项目组邮件',
      `phone` longtext  DEFAULT NULL COMMENT '联系电话',
      `creation_date` datetime DEFAULT NULL COMMENT '创建时间',
      `modify_date` datetime DEFAULT NULL COMMENT '修改时间',
      PRIMARY KEY (`id`),
      UNIQUE KEY `domain` (`domain`)
    )ENGINE=InnoDB DEFAULT CHARSET=utf8 COMMENT='项目基本信息';
    
    CREATE TABLE `topologyGraph` (
      `id` int(11) NOT NULL AUTO_INCREMENT,
      `ip` varchar(50) NOT NULL COMMENT '报表来自于哪台cat-client机器ip',
      `period` datetime NOT NULL  COMMENT '报表时间段,精确到分钟',
      `type` tinyint(4) NOT NULL COMMENT '报表数据格式, 1/xml, 2/json, 3/binary',
      `content` longblob COMMENT '用于存放报表的具体内容',
      `creation_date` datetime NOT NULL COMMENT '报表创建时间',
      PRIMARY KEY (`id`),
      KEY `period` (`period`)
    ) ENGINE=InnoDB DEFAULT CHARSET=utf8 COMMENT='用于存储历史的拓扑图曲线';
    
    CREATE TABLE `config` (
      `id` int(11) NOT NULL AUTO_INCREMENT,
      `name` varchar(50) NOT NULL COMMENT '配置名称',
      `content` longtext COMMENT '配置的具体内容',
      `creation_date` datetime NOT NULL COMMENT '配置创建时间',
      `modify_date` datetime NOT NULL COMMENT '配置修改时间',
      PRIMARY KEY (`id`),
      UNIQUE KEY `name` (`name`)
    ) ENGINE=InnoDB DEFAULT CHARSET=utf8 COMMENT='用于存储系统的全局配置信息';
    
    CREATE TABLE `baseline` (
      `id` int(11) NOT NULL AUTO_INCREMENT,
      `report_name` varchar(100) DEFAULT NULL,
      `index_key` varchar(100) DEFAULT NULL,
      `report_period` datetime DEFAULT NULL,
      `data` blob,
      `creation_date` datetime DEFAULT NULL,
      PRIMARY KEY (`id`),
      KEY `period_name_key` (`report_period`,`report_name`,`index_key`)
    ) ENGINE=InnoDB DEFAULT CHARSET=utf8;
    
    CREATE TABLE `alteration` (
      `id` int(11) NOT NULL AUTO_INCREMENT COMMENT '自增长ID',
      `type` varchar(64) NOT NULL COMMENT '分类',
      `title` varchar(128) NOT NULL COMMENT '变更标题',
      `domain` varchar(128) NOT NULL COMMENT '变更项目',
      `hostname` varchar(128) NOT NULL COMMENT '变更机器名',
      `ip` varchar(128) DEFAULT NULL COMMENT '变更机器IP',
      `date` datetime NOT NULL COMMENT '变更时间',
      `user` varchar(45) NOT NULL COMMENT '变更用户',
      `alt_group` varchar(45) DEFAULT NULL COMMENT '变更组别',
      `content` longtext NOT NULL COMMENT '变更内容',
      `url` varchar(200) DEFAULT NULL COMMENT '变更链接',
      `status` tinyint(4) DEFAULT '0' COMMENT '变更状态',
      `creation_date` datetime NOT NULL COMMENT '数据库创建时间',
      PRIMARY KEY (`id`),
      KEY `ind_date_domain_host` (`date`,`domain`,`hostname`)
    ) ENGINE=InnoDB DEFAULT CHARSET=utf8 COMMENT='变更表';
    
    CREATE TABLE `alert` (
      `id` int(11) NOT NULL AUTO_INCREMENT COMMENT '自增长ID',
      `domain` varchar(128) NOT NULL COMMENT '告警项目',
      `alert_time` datetime NOT NULL COMMENT '告警时间',
      `category` varchar(64) NOT NULL COMMENT '告警分类:network/business/system/exception -alert',
      `type` varchar(64) NOT NULL COMMENT '告警类型:error/warning',
      `content` longtext NOT NULL COMMENT '告警内容',
      `metric` varchar(128) NOT NULL COMMENT '告警指标',
      `creation_date` datetime NOT NULL COMMENT '数据插入时间',
      PRIMARY KEY (`id`)
    ) ENGINE=InnoDB DEFAULT CHARSET=utf8 COMMENT='存储告警信息';
    
    CREATE TABLE `alert_summary` (
      `id` int(11) NOT NULL AUTO_INCREMENT COMMENT '自增长ID',
      `domain` varchar(128) NOT NULL COMMENT '告警项目',
      `alert_time` datetime NOT NULL COMMENT '告警时间',
      `content` longtext NOT NULL COMMENT '统一告警内容',
      `creation_date` datetime NOT NULL COMMENT '数据插入时间',
      PRIMARY KEY (`id`)
    ) ENGINE=InnoDB DEFAULT CHARSET=utf8 COMMENT='统一告警信息';
    
    CREATE TABLE `operation` (
      `id` int(11) NOT NULL AUTO_INCREMENT COMMENT '自增长ID',
      `user` varchar(128) NOT NULL COMMENT '用户名',
      `module` varchar(128) NOT NULL COMMENT '模块',
      `operation` varchar(128) NOT NULL COMMENT '操作',
      `time` datetime NOT NULL COMMENT '修改时间',
      `content` longtext NOT NULL COMMENT '修改内容',
      `creation_date` datetime NOT NULL COMMENT '数据插入时间',
      PRIMARY KEY (`id`)
    ) ENGINE=InnoDB DEFAULT CHARSET=utf8 COMMENT='用户操作日志';
    
    CREATE TABLE `overload` (
      `id` int(11) NOT NULL AUTO_INCREMENT COMMENT '自增长ID',
      `report_id` int(11) NOT NULL COMMENT '报告id',
      `report_type` tinyint(4) NOT NULL COMMENT '报告类型 1:hourly 2:daily 3:weekly 4:monthly',
      `report_size` double NOT NULL COMMENT '报告大小 单位MB',
      `period` datetime NOT NULL COMMENT '报表时间',
      `creation_date` datetime NOT NULL COMMENT '创建时间',
      PRIMARY KEY (`id`),
      KEY `period` (`period`)
    ) ENGINE=InnoDB DEFAULT CHARSET=utf8 COMMENT='过大容量表';
    
    CREATE TABLE `config_modification` (
      `id` int(11) NOT NULL AUTO_INCREMENT COMMENT '自增长ID',
      `user_name` varchar(64) NOT NULL COMMENT '用户名',
      `account_name` varchar(64) NOT NULL COMMENT '账户名',
      `action_name` varchar(64) NOT NULL COMMENT 'action名',
      `argument` longtext COMMENT '参数内容',
      `date` datetime NOT NULL COMMENT '修改时间',
      `creation_date` datetime NOT NULL COMMENT '创建时间',
      PRIMARY KEY (`id`)
    ) ENGINE=InnoDB DEFAULT CHARSET=utf8 COMMENT='配置修改记录表';
    
    CREATE TABLE `user_define_rule` (
      `id` int(11) NOT NULL AUTO_INCREMENT COMMENT '自增长ID',
      `content` text NOT NULL COMMENT '用户定义规则',
      `creation_date` datetime NOT NULL COMMENT '创建时间',
      PRIMARY KEY (`id`)
    ) ENGINE=InnoDB DEFAULT CHARSET=utf8 COMMENT='用户定义规则表';
    
    CREATE TABLE `business_config` (
      `id` int(11) NOT NULL AUTO_INCREMENT,
      `name` varchar(20) NOT NULL DEFAULT '' COMMENT '配置名称',
      `domain` varchar(50) NOT NULL DEFAULT '' COMMENT '项目',
      `content` longtext COMMENT '配置内容',
      `updatetime` datetime NOT NULL,
      PRIMARY KEY (`id`),
      KEY `updatetime` (`updatetime`),
      KEY `name_domain` (`name`,`domain`)
    ) ENGINE=InnoDB DEFAULT CHARSET=utf8;
    
    CREATE TABLE `metric_screen` (
      `id` int(11) NOT NULL AUTO_INCREMENT,
      `name` varchar(50) NOT NULL COMMENT '配置名称',
      `graph_name` varchar(50) NOT NULL DEFAULT '' COMMENT 'Graph名称',
      `view` varchar(50) NOT NULL DEFAULT '' COMMENT '视角',
      `endPoints` longtext NOT NULL,
      `measurements` longtext NOT NULL COMMENT '配置的指标',
      `content` longtext NOT NULL COMMENT '配置的具体内容',
      `creation_date` datetime NOT NULL COMMENT '配置创建时间',
      `updatetime` datetime NOT NULL COMMENT '配置修改时间',
      PRIMARY KEY (`id`),
      UNIQUE KEY `name_graph` (`name`,`graph_name`)
    ) ENGINE=InnoDB DEFAULT CHARSET=utf8 COMMENT='系统监控的screen配置';
    
    CREATE TABLE `metric_graph` (
          `id` int(11) NOT NULL AUTO_INCREMENT,
          `graph_id` int(11) NOT NULL COMMENT '大盘ID',
          `name` varchar(50) NOT NULL COMMENT '配置ID',
          `content` longtext COMMENT '配置的具体内容',
          `creation_date` datetime NOT NULL COMMENT '配置创建时间',
          `updatetime` datetime NOT NULL COMMENT '配置修改时间',
          PRIMARY KEY (`id`),
          UNIQUE `name` (`name`)
    ) ENGINE=InnoDB DEFAULT CHARSET=utf8 COMMENT='系统监控的graph配置';
    
    CREATE TABLE `server_alarm_rule` (
          `id` int(11) NOT NULL AUTO_INCREMENT,
          `category` varchar(50) NOT NULL COMMENT '监控分类',
          `endPoint` varchar(200) NOT NULL COMMENT '监控对象ID',
          `measurement` varchar(200) NOT NULL COMMENT '监控指标',
          `tags` varchar(200) NOT NULL DEFAULT '' COMMENT '监控指标标签',
          `content` longtext NOT NULL COMMENT '配置的具体内容',
          `type` varchar(20) NOT NULL DEFAULT '' COMMENT '数据聚合方式',
          `creator` varchar(100) DEFAULT '' COMMENT '创建人',
          `creation_date` datetime NOT NULL COMMENT '配置创建时间',
          `updatetime` datetime NOT NULL COMMENT '配置修改时间',
          PRIMARY KEY (`id`),
          KEY `updatetime` (`updatetime`)
    ) ENGINE=InnoDB DEFAULT CHARSET=utf8 COMMENT='系统告警的配置';

#### 2.创建目录和配置文件 ####

**创建目录配置权限**

mkdir /data
    chmod -R 777 /data/

> 此目录会存一些CAT必要的配置文件以及运行时候的数据存储目录。

**创建服务端配置文件**

mkdir -p /data/appdatas/cat/
    vim client.xml

在Tomcat所在的盘中创建`/data/appdatas/cat`文件夹，然后创建`/data/appdatas/cat/client.xml`文件，写入如下内容：

<?xml version="1.0" encoding="utf-8"?>
    <config mode="client">
        <servers>
            <server ip="192.168.1.111" port="2280" http-port="8080"/>
        </servers>
    </config>

> ip为服务器的ip，2280是默认的CAT服务端接受数据的端口，不允许修改，http-port是Tomcat启动的端口，默认是8080，建议使用默认端口
> 
> 如果修改了http-port 同时也要修改tomcat的端口

**创建数据库配置文件**

配置`/data/appdatas/cat/datasources.xml`($CAT\_HOME/datasources.xml)

vim datasources.xml

<?xml version="1.0" encoding="utf-8"?>
    <data-sources>
    	<data-source id="cat">
    		<maximum-pool-size>3</maximum-pool-size>
    		<connection-timeout>1s</connection-timeout>
    		<idle-timeout>10m</idle-timeout>
    		<statement-cache-size>1000</statement-cache-size>
    		<properties>
    			<driver>com.mysql.jdbc.Driver</driver>
    			<url><![CDATA[jdbc:mysql://127.0.0.1:3306/cat]]></url>  
    			<user>root</user>  
    			<password>root</password>  
    			<connectionProperties><![CDATA[useUnicode=true&characterEncoding=UTF-8&autoReconnect=true&socketTimeout=120000]]></connectionProperties>
    		</properties>
    	</data-source>
    </data-sources>

> 替换的有：数据库IP、port、用户名和密码。

#### 3.CATwar部署 ####

**有2种方式获取war包。**

*  源码构建 在cat的源码目录，执行`mvn clean install -DskipTests`
 *  使用下面链接进行下载：
    
    http://unidal.org/nexus/service/local/repositories/releases/content/com/dianping/cat/cat-home/3.0.0/cat-home-3.0.0.war
    
    > 官方的cat的master版本，`重命名为cat.war进行部署，注意此war是用jdk8，服务端请使用jdk8版本`

复制到Tomcat的webapps下，启动tomcat。

修改中文乱码 tomcat conf 目录下 server.xml

#### 4.修改客户端路由配置 ####

1.  打开控制台的URL，http://ip:port/cat/s/config?op=routerConfigUpdate
2.  默认用户名：**admin** 默认密码：**admin**。CAT本身无登录和权限校验功能，请按需定制
3.  更新配置示例如下：

<?xml version="1.0" encoding="utf-8"?>
    <router-config backup-server="192.168.1.111" backup-server-port="2280">
       <default-server id="192.168.1.111" weight="1.0" port="2280" enable="true"/>
       <network-policy id="default" title="默认" block="false" server-group="default_group">
       </network-policy>
       <server-group id="default_group" title="default-group">
          <group-server id="192.168.1.111"/>
       </server-group>
       <domain id="cat">
          <group id="default">
             <server id="192.168.1.111" port="2280" weight="1.0"/>
          </group>
       </domain>
    </router-config>

> 配置说明：
> 
>  *  backup-server属性：设置为当前服务器对外IP地址，端口固定为2280
>  *  default-server属性：定义可跳转的路由地址，可以设置多个。default-server的id属性配置可路由的cat-home服务IP地址，端口固定为2280;若需要禁用路由地址，可把enable设置为false
>  *  network-policy 这边可以配置多个不同网段，表示这个网段使用server-group的cat节点，这里面的作用主要是当多机房部署cat的时候，可以将cat分为多个多个子集群，然后多个子集群处理不同的客户端，避免跨专线访问
>  *  domain id=cat 这部分主要是定制路由，当发现一些项目数据量特别大，或者其他场景，可以将这些domain的监控请求单独隔离处理

#### 5.修改服务器配置 ####

配置链接：http://\{ip:port\}/cat/s/config?op=serverConfigUpdate

> 说明：这个只需要更新一次，配置是保存在mysql的数据库里面。

<?xml version="1.0" encoding="utf-8"?>
    <server-config>
       <server id="default">
          <properties>
             <property name="local-mode" value="false"/>
             <property name="job-machine" value="true"/>
             <property name="send-machine" value="false"/>
             <property name="alarm-machine" value="true"/>
             <property name="hdfs-enabled" value="false"/>
             <property name="remote-servers" value="192.168.1.111:8080"/>
          </properties>
          <storage local-base-dir="/data/appdatas/cat/bucket/" max-hdfs-storage-time="15" local-report-storage-time="2" local-logivew-storage-time="1" har-mode="true" upload-thread="5">
             <hdfs id="dump" max-size="128M" server-uri="hdfs://127.0.0.1/" base-dir="/user/cat/dump"/>
             <harfs id="dump" max-size="128M" server-uri="har://127.0.0.1/" base-dir="/user/cat/dump"/>
             <properties>
                <property name="hadoop.security.authentication" value="false"/>
                <property name="dfs.namenode.kerberos.principal" value="hadoop/dev80.hadoop@testserver.com"/>
                <property name="dfs.cat.kerberos.principal" value="cat@testserver.com"/>
                <property name="dfs.cat.keytab.file" value="/data/appdatas/cat/cat.keytab"/>
                <property name="java.security.krb5.realm" value="value1"/>
                <property name="java.security.krb5.kdc" value="value2"/>
             </properties>
          </storage>
          <consumer>
             <long-config default-url-threshold="1000" default-sql-threshold="100" default-service-threshold="50">
                <domain name="cat" url-threshold="500" sql-threshold="500"/>
                <domain name="OpenPlatformWeb" url-threshold="100" sql-threshold="500"/>
             </long-config>
          </consumer>
       </server>
       <server id="192.168.1.111">
          <properties>
             <property name="job-machine" value="true"/>
             <property name="send-machine" value="false"/>
             <property name="alarm-machine" value="true"/>
          </properties>
       </server>
    </server-config>

配置说明：  
server节点：代表一台机器的配置。如果id为default，代表默认配置；如果id为ip，代表该台服务器的配置

*  local-mode : 定义服务是否为本地模式（开发模式），在生产环境时，设置为false,启动远程监听模式。默认为 false;
 *  hdfs-machine : 定义是否启用HDFS存储方式，默认为 false；
 *  job-machine : 定义当前服务是否为报告工作机（开启生成汇总报告和统计报告的任务，只需要一台服务机开启此功能），默认为 false；
 *  alarm-machine : 定义当前服务是否为报警机（开启各类报警监听，只需要一台服务机开启此功能），默认为 false；
 *  send-machine : 定义当前服务告警是否发送（当时为了解决测试环境开启告警线程，但是最后告警不通知，此配置后续会逐步去除，建议alarm-machine开启为true的时候，这个同步为true）

storage节点: 定义数据存储配置信息

*  local-report-storage-time : 定义本地报告存放时长，单位为（天）
 *  local-logivew-storage-time : 定义本地日志存放时长，单位为（天）
 *  local-base-dir : 定义本地数据存储目录
 *  hdfs : 定义HDFS配置信息，便于直接登录系统
 *  server-uri : 定义HDFS服务地址
 *  console : 定义服务控制台信息
 *  remote-servers : 定义HTTP服务列表，（远程监听端同步更新服务端信息即取此值）
 *  ldap : 定义LDAP配置信息（这个可以忽略）
 *  ldapUrl : 定义LDAP服务地址（这个可以忽略）

**重点：重新启动Tomcat。**

#### 6.验证 ####

访问`http://192.168.1.111:8080/cat/r`，点击“State”，可以看到“CAT服务端正常”和CAT一些基本状态。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2FidTkzNTAwOTA2Ng_size_16_color_FFFFFF_t_70][]

**看到这些Transaction才是成功的。**

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2FidTkzNTAwOTA2Ng_size_16_color_FFFFFF_t_70 1][]

## 客户端集成 ##

### 1.maven依赖 ###

<dependency>
        <groupId>com.dianping.cat</groupId>
        <artifactId>cat-client</artifactId>
        <version>3.0.0</version>
    </dependency>
    上面maven仓库没有，用这个
    <dependency>
        <groupId>com.alidaodao.app</groupId>
        <artifactId>cat-client</artifactId>
        <version>3.0.0</version>
    </dependency>

### 2.配置client.xml ###

创建`/data/appdatas/cat/`目录，并创建`client.xml`文件：

<?xml version="1.0" encoding="utf-8"?>
    <config xmlns:xsi="http://www.w3.org/2001/XMLSchema" xsi:noNamespaceSchemaLocation="config.xsd">
        <servers>
            <server ip="127.0.0.1" port="2280" http-port="8080" />
        </servers>
    </config>

**注意**：把127.0.0.1替换成CAT服务端的IP。

### 3.配置项目名称 ###

在每个项目中创建如下文件：  
`src/main/resources/META-INF/app.properties`  
然后，在每个项目里添加如下内容：  
`app.name=buy-buy-buy-checkout`

**注意**：项目名称只能包含英文字母 (a-z, A-Z)、数字 (0-9)、下划线 (\_) 和中划线 (-)

### 4.测试验证 ###

当设计者对监控以及性能分析有足够深度的理解下，才能定义好监控的API，监控和性能分析所针对的场景有如下几种

*  一段代码的执行时间，一段代码可以是URL执行耗时，也可以是SQL的执行耗时
 *  一段代码的执行次数，比如程序抛出异常记录次数，或者一段逻辑的执行次数
 *  定期执行某段代码，比如定期上报一些核心指标，jvm内存、gc等指标
 *  关键的业务监控指标，比如监控订单数、交易额、支付成功率等

在如上的领域模型的基础上，CAT设计自己核心的几个监控对象 Transaction、Event、Heartbeat、Metric

String serverIp = "";
    Transaction t = Cat.newTransaction("URL", "pageName"); 
    try { 
        // 记录一个事件
        Cat.logEvent("URL.Server", serverIp, Event.SUCCESS, "ip="+serverIp+"&...");
        // 记录一个业务指标，衡量单位时间内的次数总和
        Cat.logMetricForCount("order.count");
        // 记录一个timer类业务指标，衡量单位时间内平均值
        Cat.logMetricForDuration("order.avg", 5);
    
        yourBusiness();// 自己业务代码
    
        t.setStatus(Transaction.SUCCESS);// 设置成功状态
    } catch (Exception e) { 
        t.setStatus(e);//设置错误状态
        Cat.logError(e);// 上报错误
    } finally { 
        t.complete();// 结束
    }

有任何问题可以去`\data\applogs\cat`目录看日志。

## 功能介绍 ##

还有告警功能，待研究。

### 核心功能 ###

CAT提供以下几种报表，也就是支持以下几种类型的功能。

*  **[Transaction报表][Transaction]** 一段代码运行时间、次数，比如URL、Cache、SQL执行次数和响应时间
 *  **[Event报表][Event]** 一行代码运行次数，比如出现一个异常
 *  **[Problem报表][Problem]** 根据Transaction/Event数据分析出来系统可能出现的异常，包括访问较慢的程序等
 *  **[Heartbeat报表][Heartbeat]** JVM内部一些状态信息，比如Memory，Thread等
 *  **[Business报表][Business]** 业务监控报表，比如订单指标，支付等业务指标

#### Transaction ####

监控一段代码运行情况：`运行次数、QPS、错误次数、失败率、响应时间统计（平均影响时间、Tp分位值）等等`。

应用启动后默认会打点的部分:

<table> 
 <thead> 
  <tr> 
   <th>打点</th> 
   <th>来源组件</th> 
   <th>描述</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>System</td> 
   <td>cat-client</td> 
   <td>上报监控数据的打点信息</td> 
  </tr> 
  <tr> 
   <td>URL</td> 
   <td>需要接入cat-filter</td> 
   <td>URL访问的打点信息</td> 
  </tr> 
 </tbody> 
</table>

Transaction transaction = Cat.newTransaction("ShopService", "Service3getByUrl");
    try { 
        TimeUnit.MILLISECONDS.sleep(1300);
        transaction.setStatus(Transaction.SUCCESS);
    } catch (Exception e) { 
        transaction.setStatus(e); // catch 到异常，设置状态，代表此请求失败
        Cat.logError(e); // 将异常上报到cat上
        // 也可以选择向上抛出： throw e;
    } finally { 
        transaction.complete();
    }

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2FidTkzNTAwOTA2Ng_size_16_color_FFFFFF_t_70 2][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2FidTkzNTAwOTA2Ng_size_16_color_FFFFFF_t_70 3][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2FidTkzNTAwOTA2Ng_size_16_color_FFFFFF_t_70 4][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2FidTkzNTAwOTA2Ng_size_16_color_FFFFFF_t_70 5][]

#### Event ####

监控一段代码运行次数：`例如记录程序中一个事件记录了多少次，错误了多少次`。Event报表的整体结构与Transaction报表几乎一样，只缺少响应时间的统计。

应用启动后默认会打点的部分:

<table> 
 <thead> 
  <tr> 
   <th>打点</th> 
   <th>来源组件</th> 
   <th>描述</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>System</td> 
   <td>cat-client</td> 
   <td>上报监控数据的打点信息、Reboot重启等</td> 
  </tr> 
 </tbody> 
</table>

感觉用不着吧，先放着。

#### Problem ####

Problem记录整个项目在运行过程中出现的问题，包括一些异常、错误、访问较长的行为。Problem报表是由logview存在的特征整合而成，方便用户定位问题。 来源：

1.  业务代码显示调用Cat.logError(e) API进行埋点，具体埋点说明可查看埋点文档。
2.  与LOG框架集成，会捕获log日志中有异常堆栈的exception日志。
3.  long-url，表示Transaction打点URL的慢请求
4.  long-sql，表示Transaction打点SQL的慢请求
5.  long-service，表示Transaction打点Service或者PigeonService的慢请求
6.  long-call，表示Transaction打点Call或者PigeonCall的慢请求
7.  long-cache，表示Transaction打点Cache.开头的慢请求

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2FidTkzNTAwOTA2Ng_size_16_color_FFFFFF_t_70 6][]

#### Heartbeat ####

Heartbeat报表是CAT客户端，以一分钟为周期，定期向服务端汇报当前运行时候的一些状态。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2FidTkzNTAwOTA2Ng_size_16_color_FFFFFF_t_70 7][]

##### JVM相关指标 #####

以下所有的指标统计都是1分钟内的值，cat最低统计粒度是一分钟。

<table> 
 <thead> 
  <tr> 
   <th>JVM GC 相关指标</th> 
   <th>描述</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>NewGc Count / PS Scavenge Count</td> 
   <td>新生代GC次数</td> 
  </tr> 
  <tr> 
   <td>NewGc Time / PS Scavenge Time</td> 
   <td>新生代GC耗时</td> 
  </tr> 
  <tr> 
   <td>OldGc Count</td> 
   <td>老年代GC次数</td> 
  </tr> 
  <tr> 
   <td>PS MarkSweepTime</td> 
   <td>老年代GC耗时</td> 
  </tr> 
  <tr> 
   <td>Heap Usage</td> 
   <td>Java虚拟机堆的使用情况</td> 
  </tr> 
  <tr> 
   <td>None Heap Usage</td> 
   <td>Java虚拟机Perm的使用情况</td> 
  </tr> 
 </tbody> 
</table>

<table> 
 <thead> 
  <tr> 
   <th>JVM Thread 相关指标</th> 
   <th>描述</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>Active Thread</td> 
   <td>系统当前活动线程</td> 
  </tr> 
  <tr> 
   <td>Daemon Thread</td> 
   <td>系统后台线程</td> 
  </tr> 
  <tr> 
   <td>Total Started Thread</td> 
   <td>系统总共开启线程</td> 
  </tr> 
  <tr> 
   <td>Started Thread</td> 
   <td>系统每分钟新启动的线程</td> 
  </tr> 
  <tr> 
   <td>CAT Started Thread</td> 
   <td>系统中CAT客户端启动线程</td> 
  </tr> 
 </tbody> 
</table>

可以参考java.lang.management.ThreadInfo的定义

##### 系统指标 #####

<table> 
 <thead> 
  <tr> 
   <th>System 相关指标</th> 
   <th>描述</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>System Load Average</td> 
   <td>系统Load详细信息</td> 
  </tr> 
  <tr> 
   <td>Memory Free</td> 
   <td>系统memoryFree情况</td> 
  </tr> 
  <tr> 
   <td>FreePhysicalMemory</td> 
   <td>物理内存剩余空间</td> 
  </tr> 
  <tr> 
   <td>/ Free</td> 
   <td>/根的使用情况</td> 
  </tr> 
  <tr> 
   <td>/data Free</td> 
   <td>/data盘的使用情况</td> 
  </tr> 
 </tbody> 
</table>

#### Business ####

Business报表对应着业务指标，比如订单指标。与Transaction、Event、Problem不同，Business更偏向于宏观上的指标，另外三者偏向于微观代码的执行情况。

场景示例：

1. 我想监控订单数量。
    2. 我想监控订单耗时。

Cat.logMetricForCount("metric.key");
    Cat.logMetricForDuration("metric.key", 5);

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2FidTkzNTAwOTA2Ng_size_16_color_FFFFFF_t_70 8][]

1.  `打点尽量用纯英文，不要带一些特殊符号，例如 空格( )、分号(:)、竖线(|)、斜线(/)、逗号(,)、与号(&)、星号(*)、左右尖括号(<>)、以及一些奇奇怪怪的字符`
2.  `如果有分隔需求，建议用下划线(_)、中划线(-)、英文点号(.)等`
3.  `由于数据库不区分大小写，请尽量统一大小写，并且不要对大小写进行改动`
4.  `有可能出现小数：趋势图每个点都代表一分钟的值。假设监控区间是10分钟，且10分钟内总共上报5次，趋势图中该点的值为5%10=0.5`

## 实战集成 ##

看看这个：[https://github.com/dianping/cat/tree/master/integration][https_github.com_dianping_cat_tree_master_integration]

### SpringBoot 集成CatFilter ###

1.  一个http请求来了之后，会自动打点，能够记录每个url的访问情况，并将以此请求后续的调用链路串起来，可以在cat上查看logview
2.  可以在cat Transaction及Event 页面上都看到URL和URL.Forward（如果有Forward请求的话）两类数据；Transaction数据中URL点进去的数据就是被访问的具体URL（去掉参数的前缀部分）

@Configuration
    public class CatFilterConfigure { 
    
        @Bean
        public FilterRegistrationBean catFilter() { 
            FilterRegistrationBean registration = new FilterRegistrationBean();
            CatFilter filter = new CatFilter();
            registration.setFilter(filter);
            registration.addUrlPatterns("/*");
            registration.setName("cat-filter");
            registration.setOrder(1);
            return registration;
        }
    }

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2FidTkzNTAwOTA2Ng_size_16_color_FFFFFF_t_70 9][]

### Logback配置 ###

需要在logback.xml中添加如下配置：

把Error日志上传到Cat

### 消息属性 ###

*  type
    
    表示一种类型的消息，比如 `SQL`，`RPC` 或 `HTTP`。
 *  name
    
    表示一个特定的行为，举例来说：
    
     *  如果 **type** 是 `SQL`, **name** 可以是 `select <?> from user where id = <?>`, 表示一个 SQL 模版。
     *  如果 **type** 是 `RPC`, **name** 可以是 `QueryOrderByUserId(string, int)`, 表示一个 API 的函数签名。
     *  如果 **type** 是 `HTTP`, **name** 可以是 `/api/v8/{int}/orders`, 表示基础 URI。
    
    > 更详细的信息建议在 **data** 字段中记录，比如 api 的参数
 *  status
    
    表示消息的状态。
    
    当消息的状态不为 “0” 时，会被标记成一个 “problem”。无论消息类型是什么，只要被标记为 “problem”，它所在的消息树就不会被聚合，这也意味着你随时可以获取它完整的日志信息。
 *  data
    
    记录一个消息的详细信息
    
     *  如果 **type** 是 `SQL`, **data** 可以是 `id=75442432`
     *  如果 **type** 是 `RPC`, **data** 可以是 `userType=dianping&userId=9987`
     *  如果 **type** 是 `HTTP`, **data** 可以是 `orderId=75442432`
    
    在一些情况下，`data` 字段会包含错误堆栈信息（比如代表一个 exception 或者 error）

[https_github.com_dianping_cat_wiki]: https://github.com/dianping/cat/
[https_github.com_dianping_cat_blob_master_script_CatApplication.sql]: https://github.com/dianping/cat/blob/master/script/CatApplication.sql
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2FidTkzNTAwOTA2Ng_size_16_color_FFFFFF_t_70]: /images/20221005/36fa89e961ae42d08873ff30dff13c06.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2FidTkzNTAwOTA2Ng_size_16_color_FFFFFF_t_70 1]: /images/20221005/30e19815e39a4c12af42381ab40f6fe4.png
[Transaction]: https://github.com/dianping/cat/wiki/transaction
[Event]: https://github.com/dianping/cat/wiki/event
[Problem]: https://github.com/dianping/cat/wiki/problem
[Heartbeat]: https://github.com/dianping/cat/wiki/heartbeat
[Business]: https://github.com/dianping/cat/wiki/business
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2FidTkzNTAwOTA2Ng_size_16_color_FFFFFF_t_70 2]: /images/20221005/703ce16ad1214ffc8c7540b901ecb348.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2FidTkzNTAwOTA2Ng_size_16_color_FFFFFF_t_70 3]: /images/20221005/99280e28dbf6487e898ac8095c167f00.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2FidTkzNTAwOTA2Ng_size_16_color_FFFFFF_t_70 4]: /images/20221005/c286f1932f6c46bf9b1d6f2e47399aeb.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2FidTkzNTAwOTA2Ng_size_16_color_FFFFFF_t_70 5]: /images/20221005/c05f1f7c1d2849768bf1ecff976b51c5.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2FidTkzNTAwOTA2Ng_size_16_color_FFFFFF_t_70 6]: /images/20221005/9a348320229042319cb59c6908e787c1.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2FidTkzNTAwOTA2Ng_size_16_color_FFFFFF_t_70 7]: /images/20221005/71a25a9d5bd9424786531dadeb883e26.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2FidTkzNTAwOTA2Ng_size_16_color_FFFFFF_t_70 8]: /images/20221005/005e0e35d2a34ef2b63b3417fde977fa.png
[https_github.com_dianping_cat_tree_master_integration]: https://github.com/dianping/cat/tree/master/integration
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2FidTkzNTAwOTA2Ng_size_16_color_FFFFFF_t_70 9]: /images/20221005/049c38a799844f6698a9b1a39b7be359.png