Arthas : 具体问题分析小册子

一时失言乱红尘 2022-09-05 12:54 217阅读 0赞

**目录**

前言

正文

准备

先给出我的测试代码

下载并运行 Arthas

访问 WebConsole

问题 1：这个类从哪个 jar 包加载的？为什么会报各种类相关的 Exception？

问题 2：我改的代码为什么没有执行到？难道是我没 commit？分支搞错了？

问题 3：遇到问题无法在线上 debug，难道只能通过加日志再重新发布吗？

问题 4：线上遇到某个用户的数据处理有问题，但线上同样无法 debug，线下无法重现！

问题 5：是否有一个全局视角来查看系统的运行状况？

问题 6：有什么办法可以监控到JVM的实时运行状态？

问题 7：怎么快速定位应用的热点，生成火焰图？

问题 8：怎样直接从JVM内查找某个类的实例？

--------------------

## 前言 ##

`Arthas` 是Alibaba开源的Java诊断工具，深受开发者喜爱。

当你遇到以下类似问题而束手无策时，`Arthas`可以帮助你解决：

1.  这个类从哪个 jar 包加载的？为什么会报各种类相关的 Exception？
2.  我改的代码为什么没有执行到？难道是我没 commit？分支搞错了？
3.  遇到问题无法在线上 debug，难道只能通过加日志再重新发布吗？
4.  线上遇到某个用户的数据处理有问题，但线上同样无法 debug，线下无法重现！
5.  是否有一个全局视角来查看系统的运行状况？
6.  有什么办法可以监控到JVM的实时运行状态？
7.  怎么快速定位应用的热点，生成火焰图？
8.  怎样直接从JVM内查找某个类的实例？

这 8 个问题，[Arthas 官方文档(https://arthas.aliyun.com/doc)][Arthas _https_arthas.aliyun.com_doc]中并没有给出答案或标准的解决方案。

![20210818105949909.png][]

## 正文 ##

**「下面是笔者结合多年使用 Arthas 的经验，针对这 8 个问题给出的详细解决方案，如果有疑问欢迎评论区指出。」**

## 准备 ##

### 先给出我的测试代码 ###

package com.shockang.study;
    
    import com.alibaba.fastjson.JSON;
    import lombok.AccessLevel;
    import lombok.Getter;
    import lombok.Setter;
    import lombok.ToString;
    import lombok.experimental.FieldDefaults;
    
    import java.util.List;
    import java.util.concurrent.TimeUnit;
    
    public class ArthasDemo {
        public static void main(String[] args) {
            String s = "[{\"name\":\"zhangsan\",\"age\":\"10\",\"telephone\":\"123456\",\"interests\":[\"sing\",\"dance\",\"rap\"]},\n" +
                    "{\"name\":\"lisi\",\"age\":\"20\",\"telephone\":\"123457\",\"interests\":[\"sing\",\"swim\"]},\n" +
                    "{\"name\":\"wangwu\",\"age\":\"30\",\"telephone\":\"123458\",\"interests\":[\"sing\",\"program\"]}]";
            //模拟一遍遍的调用方法的过程
            for (; ; ) {
                System.out.println(new ArthasDemo().convert(s));
                try {
                    TimeUnit.SECONDS.sleep(10);
                } catch (InterruptedException e) {
                    e.printStackTrace();
                }
            }
        }
    
        private List<People> convert(String s) {
            return JSON.parseArray(s, People.class);
        }
    
    
        @Getter
        @Setter
        @ToString
        @FieldDefaults(level = AccessLevel.PRIVATE)
        private static class People {
            /**
             * 姓名
             */
            String name;
            /**
             * 年龄
             */
            String age;
            /**
             * 电话
             */
            String telephone;
            /**
             * 兴趣列表
             */
            List<String> interests;
        }
    }

以下是控制台正常打印的结果

/Library/Java/JavaVirtualMachines/jdk1.8.0_192.jdk/Contents/Home/bin/java ...
    [ArthasDemo.People(name=zhangsan, age=10, telephone=123456, interests=[sing, dance, rap]), ArthasDemo.People(name=lisi, age=20, telephone=123457, interests=[sing, swim]), ArthasDemo.People(name=wangwu, age=30, telephone=123458, interests=[sing, program])]
    [ArthasDemo.People(name=zhangsan, age=10, telephone=123456, interests=[sing, dance, rap]), ArthasDemo.People(name=lisi, age=20, telephone=123457, interests=[sing, swim]), ArthasDemo.People(name=wangwu, age=30, telephone=123458, interests=[sing, program])]

### 下载并运行 Arthas ###

按照下图中的步骤，选择一个 Java 进程进行 attach。

![图片][322e176350ac00c31d8c7769b55bc64b.png]

下载并运行Arthas

### 访问 WebConsole ###

attach 成功后可以打开谷歌浏览器输入`http://127.0.0.1:3658/` 打开 WebConsole

（吐槽一句 Mac OS 的 Safari 浏览器不支持）

> ❝
> 
> 使用 WebConsole 最方便的是你可以打开多个标签页同时操作
> 
> ❞

## 问题 1：这个类从哪个 jar 包加载的？为什么会报各种类相关的 Exception？ ##

这个问题我经常在处理各种**「依赖冲突」**的时候遇到，有一些类的完全名称是一模一样，通过常规的办法无法解决类具体从哪个 jar 包加载。

别急，看我下面的解决办法。

1.  sc

通过 `sc` 命令 模糊查看当前 JVM 中是否加载了包含关键字的类，以及获取其完全名称。

> ❝
> 
> 注意使用 `sc -d` 命令，获取 classLoaderHash，这个值在后面需要用到。
> 
> ❞

sc -d *ArthasDemo*

![图片][537b5ec097153735f6c569e67b476017.png]

sc-d命令

1.  classloader

通过 `classloader` 查看 class 文件来自哪个 jar 包

> ❝
> 
> 使用 `cls` 命令可以清空命令行，这个简单的命令官方文档居然找不到。。。
> 
> ❞

> ❝
> 
> 注意 `classloader -c` 后面的值填上面第一步中获取到的 Hash 值，class 文件路径使用'/'分割，且必须以.class 结尾。
> 
> ❞

[arthas@3633]$ classloader -c 18b4aac2 -r com/shockang/study/ArthasDemo.class
    file:/Users/shockang/code/concurrentbook/target/classes/com/shockang/study/ArthasDemo.class
    Affect(row-cnt:1) cost in 0 ms.

上面是显示 class 文件路径的，如果 class 文件来自 jar 包，可以显示 jar 包路径，例如官方文档给的例子：

$ classloader -c 1b6d3586 -r java/lang/String.class
    jar:file:/Library/Java/JavaVirtualMachines/jdk1.8.0_60.jdk/Contents/Home/jre/lib/rt.jar!/java/lang/String.class

## 问题 2：我改的代码为什么没有执行到？难道是我没 commit？分支搞错了？ ##

推荐使用 `watch` 和 `tt` 命令，非常好用。

这两个命令都是用来查看方法调用过程的，不同的是 `watch` 命令是调用一次打印一次方法的调用情况，而 `tt` 命令可以先生成一个不断增加的调用列表，然后指定其中某一项进行观测。

1.  使用 `watch` 命令查看方法调用情况。我们要查看 ArthasDemo 这个类里面的 convert 方法调用情况。

![图片][6a1149de1892b6333f5455956e768636.png]

watch命令

watch com.shockang.study.ArthasDemo convert "{params,target,returnObj}" -f -x 4

`watch` 后面跟上完全类名和方法名，以及一个 OGNL 的表达式，-f 表示不论正常返回还是异常返回都进行观察，-x 表示输出结果的属性遍历深度，默认为 1，

> ❝
> 
> 建议无脑写 4 就行，这是笔者经验来看最大的遍历深度，再大就不支持了
> 
> ❞

1.  使用 `tt` 命令来观测方法调用情况，`tt` 命令可以查看**「多次调用」**并选择其中一个进行观测，但是如果输出结果是多层嵌套就没办法看了，而 `watch` 可以查看**「多层嵌套」**的结果。

> ❝
> 
> 使用 tt -t 记录下当前方法的每次调用环境现场
> 
> ❞

![图片][f4b6898cb008927890a84e76e3a47127.png]

tt -t命令

tt -t com.shockang.study.ArthasDemo convert

TIMESTAMP表示方法调用发生的时间，COST 表示调用耗时（ms），IS-RET表示是否正常返回，IS-EXP 表示是否异常返回，OBJECT 表示对象的 HASH 值

> ❝
> 
> 对于具体一个时间片的信息而言，你可以通过 -i 参数后边跟着对应的 INDEX 编号查看到他的详细信息
> 
> ❞

![图片][4a03c2d756ae6dca5c4e6576bc5b5ddd.png]

tt-i命令

> ❝
> 
> 图中之所以可以打印兴趣列表，是调用了其 toString 方法，如果没有重写 java.lang.Object 类的 toString 方法，只会看到 hash 值。
> 
> ❞

1.  如何判断代码是否已经提交？

通过 `jad --source-only` 可以查看源代码。

[arthas@3633]$ jad --source-only com.shockang.study.ArthasDemo
           /*
            * Decompiled with CFR.
            */
           package com.shockang.study;
    
           import com.alibaba.fastjson.JSON;
           import java.util.List;
           import java.util.concurrent.TimeUnit;
    
           public class ArthasDemo {
               public static void main(String[] args) {
    /*15*/         String s = "[{\"name\":\"zhangsan\",\"age\":\"10\",\"telephone\":\"123456\",\"interests\":[\"sing\",\"dance\",\"rap\"]},\n{\"name\":\"lisi\",\"age\":\"20
    \",\"telephone\":\"123457\",\"interests\":[\"sing\",\"swim\"]},\n{\"name\":\"wangwu\",\"age\":\"30\",\"telephone\":\"123458\",\"interests\":[\"sing\",\"program\"]}]";
                   while (true) {
    /*20*/             System.out.println(new ArthasDemo().convert(s));
                       try {
    /*22*/                 TimeUnit.SECONDS.sleep(10L);
    /*25*/                 continue;
                       }
                       catch (InterruptedException e) {
    /*24*/                 e.printStackTrace();
                           continue;
                       }
                       break;
                   }
               }
    
               private List<People> convert(String s) {
    /*30*/         return JSON.parseArray(s, People.class);
               }
    
               private static class People {
                   private String name;
                   private String age;
                   private String telephone;
                   private List<String> interests;
    
                   private People() {
                   }
    
                   public String toString() {
                       return "ArthasDemo.People(name=" + this.getName() + ", age=" + this.getAge() + ", telephone=" + this.getTelephone() + ", interests=" + this.getIntere
    sts() + ")";
                   }
    
                   public String getName() {
                       return this.name;
                   }
    
                   public void setName(String name) {
                       this.name = name;
                   }
    
                   public String getAge() {
                       return this.age;
                   }
    
                   public String getTelephone() {
                       return this.telephone;
                   }
    
                   public List<String> getInterests() {
                       return this.interests;
                   }
    
                   public void setAge(String age) {
                       this.age = age;
                   }
    
                   public void setTelephone(String telephone) {
                       this.telephone = telephone;
                   }
    
                   public void setInterests(List<String> interests) {
                       this.interests = interests;
                   }
               }
           }
    
    [arthas@3633]$

## 问题 3：遇到问题无法在线上 debug，难道只能通过加日志再重新发布吗？ ##

通过上面问题 2 的 `watch` 和 `tt` 命令可以查看方法调用情况。

此外，可以通过 `redefine` 命令**「热替换」**线上的代码，注意应用重启之后会失效，这在某些紧急情况下会有奇效。

比如说我们修改一下方法体里面的代码，加了一行日志打印：

private List<People> convert(String s) {
            System.out.println(s);
            return JSON.parseArray(s, People.class);
        }

这时我们就可以将新代码编译后的 class 文件热替换正在运行的 ArthasDemo 的代码。

![图片][59573b554c518a26d6296549472ffe13.png]

redefine命令

![图片][b53fcddadf27dc624983f7c3abdf5e80.png]

热替换 JVM 内存中（方法区）加载的类

从这张图可以明显的看出，明明源码中没有打印字符串 s 的逻辑，但是控制台还是打印了字符串，因为我们已经热替换了 JVM 内存中（方法区）加载的类。

## 问题 4：线上遇到某个用户的数据处理有问题，但线上同样无法 debug，线下无法重现！ ##

这个问题没有完美的解决办法

参考一下问题 2 和问题 3的解决方案

推荐使用 `tt` 命令并将命令行返回结果输出到一个文件中，后续可以选择异常的一行记录使用 `tt -i` 命令进行深入的分析。

`tee`指令会从标准输入设备读取数据，将其内容输出到标准输出设备，同时保存成文件。

![图片][af033e4ca786036319619cd22abd929a.png]

tee命令

tt -t com.shockang.study.ArthasDemo convert | tee /Users/shockang/Downloads/log

此外还可以使用 `monitor` 命令统计方法调用成功失败情况。

![图片][8483cd4fd2a4eb29179e5800e2716d5f.png]

monitor命令

monitor -c 30 com.shockang.study.ArthasDemo convert | tee /Users/shockang/Downloads/log1

> ❝
> 
> \-c 后面接统计周期，默认值为120秒
> 
> ❞

## 问题 5：是否有一个全局视角来查看系统的运行状况？ ##

使用 `dashboard` 命令可以查看当前系统的实时数据面板， 当运行在Ali-tomcat时，会显示当前tomcat的实时信息，如HTTP请求的qps, rt, 错误数, 线程池信息等等。

![图片][add333f7c60aaceb8f15910a89db9fef.png]

dashboard实时数据面板

从图中可以看到线程情况，内存使用情况，系统参数等。

## 问题 6：有什么办法可以监控到JVM的实时运行状态？ ##

使用 `jvm` 命令可以查看 JVM 的实时运行状态。

![图片][84c74d6968eadf6c42c09c9f27091de5.png]

JVM 的实时运行状态

## 问题 7：怎么快速定位应用的热点，生成火焰图？ ##

`profiler` 命令支持生成应用热点的火焰图。本质上是通过不断的采样，然后把收集到的采样结果生成火焰图。

> ❝
> 
> 默认情况下，生成的是 cpu 的火焰图，即 event 是 cpu，可以用--event 参数来指定。注意不同系统支持的 event 不同
> 
> ❞

![图片][3af08f989be6af42cca4eaf7f40b34b1.png]

默认情况下，arthas使用3658端口，则可以打开：`http://localhost:3658/arthas-output/` 查看到arthas-output目录下面的profiler结果：

![图片][f6348985543c1d0c9385f6bf68706940.png]

profiler目录

选择一项点击

![图片][3b7a916b9c98f640d0770e9766b37581.png]

profiler结果图

## 问题 8：怎样直接从JVM内查找某个类的实例？ ##

使用 `vmtool` 可以达成目的

> ❝
> 
> 这个功能是 Arthas 3.5.1 新增的。可以参考官方文档 https://arthas.aliyun.com/doc/vmtool.html\#id1
> 
> ❞

$ vmtool --action getInstances --className java.lang.String --limit 10
    @String[][
        @String[com/taobao/arthas/core/shell/session/Session],
        @String[com.taobao.arthas.core.shell.session.Session],
        @String[com/taobao/arthas/core/shell/session/Session],
        @String[com/taobao/arthas/core/shell/session/Session],
        @String[com/taobao/arthas/core/shell/session/Session.class],
        @String[com/taobao/arthas/core/shell/session/Session.class],
        @String[com/taobao/arthas/core/shell/session/Session.class],
        @String[com/],
        @String[java/util/concurrent/ConcurrentHashMap$ValueIterator],
        @String[java/util/concurrent/locks/LockSupport],
    ]

通过 `--limit`参数，可以限制返回值数量，避免获取超大数据时对JVM造成压力。默认值是10。

如果想精确的定位到具体的类实例，可以通过指定 classloader name 或者 classloader hash，如下所示：

vmtool --action getInstances --classLoaderClass org.springframework.boot.loader.LaunchedURLClassLoader --className org.springframework.context.ApplicationContext

vmtool --action getInstances -c 19469ea2 --className org.springframework.context.ApplicationContext

> ❝
> 
> 获取 classloader hash 的方法请参考上面的问题 1
> 
> ❞

vmtool 还有个不错的功能，可以**「强制进行GC」**，这在某些生产环境内存紧张的情况下有奇效。

vmtool --action forceGc

[Arthas _https_arthas.aliyun.com_doc]: https://arthas.aliyun.com/doc/
[20210818105949909.png]: /images/20220829/b9e97b3084714f988671f84fe6d8a054.png
[322e176350ac00c31d8c7769b55bc64b.png]: /images/20220829/e11e722ec1fd4776a3e19bcc057c0e0d.png
[537b5ec097153735f6c569e67b476017.png]: /images/20220829/47596cd34dc6472eacf451f91ef18f9d.png
[6a1149de1892b6333f5455956e768636.png]: /images/20220829/5e8ba24ea2f7496aa1005afcb044427a.png
[f4b6898cb008927890a84e76e3a47127.png]: /images/20220829/1af3c83f47374782868258b6b231a909.png
[4a03c2d756ae6dca5c4e6576bc5b5ddd.png]: /images/20220829/9ba1936716df4a2dafb03d90ea995397.png
[59573b554c518a26d6296549472ffe13.png]: /images/20220829/235a051534294ed88f3097d146f149b1.png
[b53fcddadf27dc624983f7c3abdf5e80.png]: /images/20220829/cfdb316506f14fa792387ff2d1a6caf9.png
[af033e4ca786036319619cd22abd929a.png]: /images/20220829/04791153db4344158984553b520e33fd.png
[8483cd4fd2a4eb29179e5800e2716d5f.png]: /images/20220829/a41e5d3089d14148870d08cfdaf28338.png
[add333f7c60aaceb8f15910a89db9fef.png]: /images/20220829/3e295947810446ef9584d6856cb1e4b0.png
[84c74d6968eadf6c42c09c9f27091de5.png]: /images/20220829/6e47e3b39bc84da6a1edc49bfee2eed4.png
[3af08f989be6af42cca4eaf7f40b34b1.png]: /images/20220829/a17eb29e461544b0af97d1212e22bc59.png
[f6348985543c1d0c9385f6bf68706940.png]: /images/20220829/bcb4c11d2a2c426f8ea538acd3cb3818.png
[3b7a916b9c98f640d0770e9766b37581.png]: /images/20220829/005da1b4b0e74ee4be8094857d2b78f2.png