HBase Thrift2 CPU过高问题分析

àì夳堔傛蜴生んèń 2022-07-14 10:40 220阅读 0赞

# 目录 #

目录 1

1. 现象描述 1

2. 问题定位 2

3. 解决方案 5

4. 相关代码 5

# 1. 现象描述 #

外界连接9090端口均超时，但telnet端口总是成功。使用top命令观察，发现单个线程的CPU最高达99.99%，但并不总是99.9%，而是在波动。当迁走往该机器的流量后，能够访问成功，但仍然有超时，读超时比写超时多：

<table> 
 <tbody> 
 <tr> 
 <td> #&nbsp;./hbase_stress&nbsp;--hbase=110.13.136.207:9090&nbsp;--test=2&nbsp;--timeout=10 [2016-11-27&nbsp;10:15:21/771][139756154767104/31562][ERROR][hbase_stress.cpp:302]TransportException(thrift://110.13.136.207:9090):&nbsp;EAGAIN&nbsp;(timed&nbsp;out) [2016-11-27&nbsp;10:15:31/775][139756154767104/31562][ERROR][hbase_stress.cpp:302]TransportException(thrift://110.13.136.207:9090):&nbsp;EAGAIN&nbsp;(timed&nbsp;out) &nbsp; &nbsp;&nbsp;PID&nbsp;USER&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;PR&nbsp;&nbsp;NI&nbsp;&nbsp;&nbsp;&nbsp;VIRT&nbsp;&nbsp;&nbsp;&nbsp;RES&nbsp;&nbsp;&nbsp;&nbsp;SHR&nbsp;S&nbsp;%CPU&nbsp;%MEM&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;TIME+&nbsp;COMMAND&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 20727&nbsp;zhangsan&nbsp;&nbsp;&nbsp;&nbsp;20&nbsp;&nbsp;&nbsp;0&nbsp;10.843g&nbsp;9.263g&nbsp;&nbsp;26344&nbsp;R&nbsp;99.9&nbsp;26.4&nbsp;&nbsp;&nbsp;1448:00&nbsp;java&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 20729&nbsp;zhangsan&nbsp;&nbsp;&nbsp;&nbsp;20&nbsp;&nbsp;&nbsp;0&nbsp;10.843g&nbsp;9.263g&nbsp;&nbsp;26344&nbsp;R&nbsp;99.9&nbsp;26.4&nbsp;&nbsp;&nbsp;1448:00&nbsp;java&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 20730&nbsp;zhangsan&nbsp;&nbsp;&nbsp;&nbsp;20&nbsp;&nbsp;&nbsp;0&nbsp;10.843g&nbsp;9.263g&nbsp;&nbsp;26344&nbsp;R&nbsp;99.9&nbsp;26.4&nbsp;&nbsp;&nbsp;1449:10&nbsp;java&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 20728&nbsp;zhangsan&nbsp;&nbsp;&nbsp;&nbsp;20&nbsp;&nbsp;&nbsp;0&nbsp;10.843g&nbsp;9.263g&nbsp;&nbsp;26344&nbsp;R&nbsp;99.8&nbsp;26.4&nbsp;&nbsp;&nbsp;1448:00&nbsp;java&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 20693&nbsp;zhangsan&nbsp;&nbsp;&nbsp;&nbsp;20&nbsp;&nbsp;&nbsp;0&nbsp;10.843g&nbsp;9.263g&nbsp;&nbsp;26344&nbsp;S&nbsp;&nbsp;0.0&nbsp;26.4&nbsp;&nbsp;&nbsp;0:00.00&nbsp;java &nbsp; 20727&nbsp;zhangsan&nbsp;&nbsp;&nbsp;&nbsp;20&nbsp;&nbsp;&nbsp;0&nbsp;10.843g&nbsp;9.263g&nbsp;&nbsp;26344&nbsp;R&nbsp;75.5&nbsp;26.4&nbsp;&nbsp;&nbsp;1448:06&nbsp;java&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 20728&nbsp;zhangsan&nbsp;&nbsp;&nbsp;&nbsp;20&nbsp;&nbsp;&nbsp;0&nbsp;10.843g&nbsp;9.263g&nbsp;&nbsp;26344&nbsp;R&nbsp;75.2&nbsp;26.4&nbsp;&nbsp;&nbsp;1448:06&nbsp;java&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 20729&nbsp;zhangsan&nbsp;&nbsp;&nbsp;&nbsp;20&nbsp;&nbsp;&nbsp;0&nbsp;10.843g&nbsp;9.263g&nbsp;&nbsp;26344&nbsp;R&nbsp;75.2&nbsp;26.4&nbsp;&nbsp;&nbsp;1448:06&nbsp;java&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 20730&nbsp;zhangsan&nbsp;&nbsp;&nbsp;&nbsp;20&nbsp;&nbsp;&nbsp;0&nbsp;10.843g&nbsp;9.263g&nbsp;&nbsp;26344&nbsp;R&nbsp;75.2&nbsp;26.4&nbsp;&nbsp;&nbsp;1449:15&nbsp;java&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 20716&nbsp;zhangsan&nbsp;&nbsp;&nbsp;&nbsp;20&nbsp;&nbsp;&nbsp;0&nbsp;10.843g&nbsp;9.263g&nbsp;&nbsp;26344&nbsp;S&nbsp;24.9&nbsp;26.4&nbsp;&nbsp;93:48.75&nbsp;java </td> 
 </tr> 
 </tbody> 
</table>

# 2. 问题定位 #

使用ps命令找出CPU最多的线程，和top显示的一致：

<table> 
 <tbody> 
 <tr> 
 <td> $&nbsp;ps&nbsp;-mp&nbsp;20693&nbsp;-o&nbsp;THREAD,tid,time&nbsp;|&nbsp;sort&nbsp;-rn zhangsan&nbsp;&nbsp;&nbsp;18.8&nbsp;&nbsp;19&nbsp;&nbsp;&nbsp;&nbsp;-&nbsp;-&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;-&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;-&nbsp;20730&nbsp;1-00:11:23 zhangsan&nbsp;&nbsp;&nbsp;18.7&nbsp;&nbsp;19&nbsp;&nbsp;&nbsp;&nbsp;-&nbsp;-&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;-&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;-&nbsp;20729&nbsp;1-00:10:13 zhangsan&nbsp;&nbsp;&nbsp;18.7&nbsp;&nbsp;19&nbsp;&nbsp;&nbsp;&nbsp;-&nbsp;-&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;-&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;-&nbsp;20728&nbsp;1-00:10:13 zhangsan&nbsp;&nbsp;&nbsp;18.7&nbsp;&nbsp;19&nbsp;&nbsp;&nbsp;&nbsp;-&nbsp;-&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;-&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;-&nbsp;20727&nbsp;1-00:10:13 zhangsan&nbsp;&nbsp;&nbsp;16.1&nbsp;&nbsp;19&nbsp;&nbsp;&nbsp;&nbsp;-&nbsp;futex_&nbsp;&nbsp;&nbsp;&nbsp;-&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;-&nbsp;20731&nbsp;20:44:51 zhangsan&nbsp;&nbsp;&nbsp;&nbsp;5.2&nbsp;&nbsp;19&nbsp;&nbsp;&nbsp;&nbsp;-&nbsp;futex_&nbsp;&nbsp;&nbsp;&nbsp;-&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;-&nbsp;20732&nbsp;06:46:39 </td> 
 </tr> 
 </tbody> 
</table>

然后借助jstack，发现为GC进程：

<table> 
 <tbody> 
 <tr> 
 <td> "Gang&nbsp;worker#0&nbsp;(Parallel&nbsp;CMS&nbsp;Threads)"&nbsp;os_prio=0&nbsp;tid=0x00007fb7200d4000&nbsp;nid=0x50f7&nbsp;runnable&nbsp; "Gang&nbsp;worker#1&nbsp;(Parallel&nbsp;CMS&nbsp;Threads)"&nbsp;os_prio=0&nbsp;tid=0x00007fb7200d5800&nbsp;nid=0x50f8&nbsp;runnable&nbsp; "Gang&nbsp;worker#2&nbsp;(Parallel&nbsp;CMS&nbsp;Threads)"&nbsp;os_prio=0&nbsp;tid=0x00007fb7200d7800&nbsp;nid=0x50f9&nbsp;runnable&nbsp; "Gang&nbsp;worker#3&nbsp;(Parallel&nbsp;CMS&nbsp;Threads)"&nbsp;os_prio=0&nbsp;tid=0x00007fb7200d9000&nbsp;nid=0x50fa&nbsp;runnable&nbsp; </td> 
 </tr> 
 </tbody> 
</table>

使用jstat工具查看GC，情况很不乐观，问题就是有GC引起的：

<table> 
 <tbody> 
 <tr> 
 <td> $&nbsp;jstat&nbsp;-gcutil&nbsp;20693&nbsp;1000&nbsp;100&nbsp; &nbsp;&nbsp;S0&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;S1&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;E&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;O&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;M&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;CCS&nbsp;&nbsp;&nbsp;&nbsp;YGC&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;YGCT&nbsp;&nbsp;&nbsp;&nbsp;FGC&nbsp;&nbsp;&nbsp;&nbsp;FGCT&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;GCT&nbsp;&nbsp;&nbsp; &nbsp;&nbsp;0.00&nbsp;&nbsp;99.67&nbsp;100.00&nbsp;100.00&nbsp;&nbsp;98.08&nbsp;&nbsp;94.41&nbsp;&nbsp;42199&nbsp;&nbsp;369.132&nbsp;27084&nbsp;34869.601&nbsp;35238.733 &nbsp;&nbsp;0.00&nbsp;&nbsp;99.67&nbsp;100.00&nbsp;100.00&nbsp;&nbsp;98.08&nbsp;&nbsp;94.41&nbsp;&nbsp;42199&nbsp;&nbsp;369.132&nbsp;27084&nbsp;34870.448&nbsp;35239.580 &nbsp;&nbsp;0.00&nbsp;&nbsp;99.67&nbsp;100.00&nbsp;100.00&nbsp;&nbsp;98.08&nbsp;&nbsp;94.41&nbsp;&nbsp;42199&nbsp;&nbsp;369.132&nbsp;27084&nbsp;34870.448&nbsp;35239.580 &nbsp;&nbsp;0.00&nbsp;&nbsp;99.67&nbsp;100.00&nbsp;100.00&nbsp;&nbsp;98.08&nbsp;&nbsp;94.41&nbsp;&nbsp;42199&nbsp;&nbsp;369.132&nbsp;27084&nbsp;34870.448&nbsp;35239.580 &nbsp; $&nbsp;jstat&nbsp;-gccapacity&nbsp;&nbsp;20693&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; &nbsp;NGCMN&nbsp;&nbsp;&nbsp;&nbsp;NGCMX&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;NGC&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;S0C&nbsp;&nbsp;&nbsp;S1C&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;EC&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;OGCMN&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;OGCMX&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;OGC&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;OC&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;MCMN&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;MCMX&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;MC&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;CCSMN&nbsp;&nbsp;&nbsp;&nbsp;CCSMX&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;CCSC&nbsp;&nbsp;&nbsp;&nbsp;YGC&nbsp;&nbsp;&nbsp;&nbsp;FGC&nbsp; 191808.0&nbsp;1107520.0&nbsp;1107520.0&nbsp;110720.0&nbsp;110720.0&nbsp;886080.0&nbsp;&nbsp;&nbsp;383680.0&nbsp;&nbsp;8094144.0&nbsp;&nbsp;8094144.0&nbsp;&nbsp;8094144.0&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;0.0&nbsp;1077248.0&nbsp;&nbsp;31584.0&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;0.0&nbsp;1048576.0&nbsp;&nbsp;&nbsp;3424.0&nbsp;&nbsp;42199&nbsp;27156 &nbsp; $&nbsp;jstat&nbsp;-gcold&nbsp;&nbsp;20693&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; &nbsp;&nbsp;&nbsp;MC&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;MU&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;CCSC&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;CCSU&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;OC&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;OU&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;YGC&nbsp;&nbsp;&nbsp;&nbsp;FGC&nbsp;&nbsp;&nbsp;&nbsp;FGCT&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;GCT&nbsp;&nbsp;&nbsp; &nbsp;31584.0&nbsp;&nbsp;30978.7&nbsp;&nbsp;&nbsp;3424.0&nbsp;&nbsp;&nbsp;3232.7&nbsp;&nbsp;&nbsp;8094144.0&nbsp;&nbsp;&nbsp;8094144.0&nbsp;&nbsp;42199&nbsp;27174&nbsp;34964.347&nbsp;35333.479 &nbsp; $&nbsp;jstat&nbsp;-gcoldcapacity&nbsp;20693&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; &nbsp;&nbsp;&nbsp;OGCMN&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;OGCMX&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;OGC&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;OC&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;YGC&nbsp;&nbsp;&nbsp;FGC&nbsp;&nbsp;&nbsp;&nbsp;FGCT&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;GCT&nbsp;&nbsp;&nbsp; &nbsp;&nbsp;&nbsp;383680.0&nbsp;&nbsp;&nbsp;8094144.0&nbsp;&nbsp;&nbsp;8094144.0&nbsp;&nbsp;&nbsp;8094144.0&nbsp;42199&nbsp;27192&nbsp;34982.623&nbsp;35351.755 &nbsp; $&nbsp;jstat&nbsp;-gcnewcapacity&nbsp;20693&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; &nbsp;&nbsp;NGCMN&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;NGCMX&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;NGC&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;S0CMX&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;S0C&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;S1CMX&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;S1C&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;ECMX&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;EC&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;YGC&nbsp;&nbsp;&nbsp;FGC&nbsp; &nbsp;&nbsp;191808.0&nbsp;&nbsp;1107520.0&nbsp;&nbsp;1107520.0&nbsp;110720.0&nbsp;110720.0&nbsp;110720.0&nbsp;110720.0&nbsp;&nbsp;&nbsp;886080.0&nbsp;&nbsp;&nbsp;886080.0&nbsp;42199&nbsp;27202 &nbsp; $&nbsp;jstat&nbsp;-gc&nbsp;20693&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; &nbsp;S0C&nbsp;&nbsp;&nbsp;&nbsp;S1C&nbsp;&nbsp;&nbsp;&nbsp;S0U&nbsp;&nbsp;&nbsp;&nbsp;S1U&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;EC&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;EU&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;OC&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;OU&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;MC&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;MU&nbsp;&nbsp;&nbsp;&nbsp;CCSC&nbsp;&nbsp;&nbsp;CCSU&nbsp;&nbsp;&nbsp;YGC&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;YGCT&nbsp;&nbsp;&nbsp;&nbsp;FGC&nbsp;&nbsp;&nbsp;&nbsp;FGCT&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;GCT&nbsp;&nbsp;&nbsp; 110720.0&nbsp;110720.0&nbsp;&nbsp;0.0&nbsp;&nbsp;&nbsp;110395.9&nbsp;886080.0&nbsp;886080.0&nbsp;8094144.0&nbsp;&nbsp;8094144.0&nbsp;&nbsp;31584.0&nbsp;30978.7&nbsp;3424.0&nbsp;3232.7&nbsp;&nbsp;42199&nbsp;&nbsp;369.132&nbsp;27206&nbsp;34996.538&nbsp;35365.671 &nbsp; $&nbsp;jstat&nbsp;-gcnew&nbsp;20693 &nbsp;S0C&nbsp;&nbsp;&nbsp;&nbsp;S1C&nbsp;&nbsp;&nbsp;&nbsp;S0U&nbsp;&nbsp;&nbsp;&nbsp;S1U&nbsp;&nbsp;&nbsp;TT&nbsp;MTT&nbsp;&nbsp;DSS&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;EC&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;EU&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;YGC&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;YGCT&nbsp;&nbsp; 110720.0&nbsp;110720.0&nbsp;&nbsp;&nbsp;&nbsp;0.0&nbsp;110396.9&nbsp;&nbsp;6&nbsp;&nbsp;&nbsp;6&nbsp;55360.0&nbsp;886080.0&nbsp;886080.0&nbsp;&nbsp;42199&nbsp;&nbsp;369.132 </td> 
 </tr> 
 </tbody> 
</table>

使用lsof显示该进程的连接数不多，完全在安全范围内，问题应当是有对象不能被回收。使用jmap查看内存详情，先看堆的使用情况：

<table> 
 <tbody> 
 <tr> 
 <td> $&nbsp;jmap&nbsp;-heap&nbsp;20693 Attaching&nbsp;to&nbsp;process&nbsp;ID&nbsp;20693,&nbsp;please&nbsp;wait... Debugger&nbsp;attached&nbsp;successfully. Server&nbsp;compiler&nbsp;detected. JVM&nbsp;version&nbsp;is&nbsp;25.77-b03 &nbsp; using&nbsp;parallel&nbsp;threads&nbsp;in&nbsp;the&nbsp;new&nbsp;generation. using&nbsp;thread-local&nbsp;object&nbsp;allocation. Concurrent&nbsp;Mark-Sweep&nbsp;GC &nbsp; Heap&nbsp;Configuration: &nbsp;&nbsp;&nbsp;MinHeapFreeRatio&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;=&nbsp;40 &nbsp;&nbsp;&nbsp;MaxHeapFreeRatio&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;=&nbsp;70 &nbsp;&nbsp;&nbsp;MaxHeapSize&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;=&nbsp;9422503936&nbsp;(8986.0MB) &nbsp;&nbsp;&nbsp;NewSize&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;=&nbsp;196411392&nbsp;(187.3125MB) &nbsp;&nbsp;&nbsp;MaxNewSize&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;=&nbsp;1134100480&nbsp;(1081.5625MB) &nbsp;&nbsp;&nbsp;OldSize&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;=&nbsp;392888320&nbsp;(374.6875MB) &nbsp;&nbsp;&nbsp;NewRatio&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;=&nbsp;2 &nbsp;&nbsp;&nbsp;SurvivorRatio&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;=&nbsp;8 &nbsp;&nbsp;&nbsp;MetaspaceSize&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;=&nbsp;21807104&nbsp;(20.796875MB) &nbsp;&nbsp;&nbsp;CompressedClassSpaceSize&nbsp;=&nbsp;1073741824&nbsp;(1024.0MB) &nbsp;&nbsp;&nbsp;MaxMetaspaceSize&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;=&nbsp;17592186044415&nbsp;MB &nbsp;&nbsp;&nbsp;G1HeapRegionSize&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;=&nbsp;0&nbsp;(0.0MB) &nbsp; Heap&nbsp;Usage: New&nbsp;Generation&nbsp;(Eden&nbsp;+&nbsp;1&nbsp;Survivor&nbsp;Space): &nbsp;&nbsp;&nbsp;capacity&nbsp;=&nbsp;1020723200&nbsp;(973.4375MB) &nbsp;&nbsp;&nbsp;used&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;=&nbsp;1020398064&nbsp;(973.1274261474609MB) &nbsp;&nbsp;&nbsp;free&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;=&nbsp;325136&nbsp;(0.3100738525390625MB) &nbsp;&nbsp;&nbsp;99.96814650632022%&nbsp;used Eden&nbsp;Space: &nbsp;&nbsp;&nbsp;capacity&nbsp;=&nbsp;907345920&nbsp;(865.3125MB) &nbsp;&nbsp;&nbsp;used&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;=&nbsp;907345920&nbsp;(865.3125MB) &nbsp;&nbsp;&nbsp;free&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;=&nbsp;0&nbsp;(0.0MB) &nbsp;&nbsp;&nbsp;100.0%&nbsp;used From&nbsp;Space: &nbsp;&nbsp;&nbsp;capacity&nbsp;=&nbsp;113377280&nbsp;(108.125MB) &nbsp;&nbsp;&nbsp;used&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;=&nbsp;113052144&nbsp;(107.81492614746094MB) &nbsp;&nbsp;&nbsp;free&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;=&nbsp;325136&nbsp;(0.3100738525390625MB) &nbsp;&nbsp;&nbsp;99.71322649476156%&nbsp;used To&nbsp;Space: &nbsp;&nbsp;&nbsp;capacity&nbsp;=&nbsp;113377280&nbsp;(108.125MB) &nbsp;&nbsp;&nbsp;used&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;=&nbsp;0&nbsp;(0.0MB) &nbsp;&nbsp;&nbsp;free&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;=&nbsp;113377280&nbsp;(108.125MB) &nbsp;&nbsp;&nbsp;0.0%&nbsp;used concurrent&nbsp;mark-sweep&nbsp;generation: &nbsp;&nbsp;&nbsp;capacity&nbsp;=&nbsp;8288403456&nbsp;(7904.4375MB) &nbsp;&nbsp;&nbsp;used&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;=&nbsp;8288403424&nbsp;(7904.437469482422MB) &nbsp;&nbsp;&nbsp;free&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;=&nbsp;32&nbsp;(3.0517578125E-5MB) &nbsp;&nbsp;&nbsp;99.9999996139184%&nbsp;used &nbsp; 10216&nbsp;interned&nbsp;Strings&nbsp;occupying&nbsp;934640&nbsp;bytes. </td> 
 </tr> 
 </tbody> 
</table>

进一步查看对象的情况：

<table> 
 <tbody> 
 <tr> 
 <td> $&nbsp;jmap&nbsp;-histo&nbsp;20693 &nbsp; &nbsp;num&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;#instances&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;#bytes&nbsp;&nbsp;class&nbsp;name ---------------------------------------------- &nbsp;&nbsp;&nbsp;1:&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;72835212&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;2518411456&nbsp;&nbsp;[B &nbsp;&nbsp;&nbsp;2:&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;49827147&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;1993085880&nbsp;&nbsp;java.util.TreeMap$Entry &nbsp;&nbsp;&nbsp;3:&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;12855993&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;617087664&nbsp;&nbsp;java.util.TreeMap &nbsp;&nbsp;&nbsp;4:&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;4285217&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;445662568&nbsp;&nbsp;org.apache.hadoop.hbase.client.ClientScanner &nbsp;&nbsp;&nbsp;5:&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;4285222&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;377099536&nbsp;&nbsp;org.apache.hadoop.hbase.client.Scan &nbsp;&nbsp;&nbsp;6:&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;4284875&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;377069000&nbsp;&nbsp;org.apache.hadoop.hbase.client.ScannerCallable &nbsp;&nbsp;&nbsp;7:&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;4285528&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;342921344&nbsp;&nbsp;[Ljava.util.HashMap$Node; &nbsp;&nbsp;&nbsp;8:&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;4284880&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;308511360&nbsp;&nbsp;org.apache.hadoop.hbase.client.ScannerCallableWithReplicas &nbsp;&nbsp;&nbsp;9:&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;8570671&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;274261472&nbsp;&nbsp;java.util.LinkedList &nbsp;&nbsp;10:&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;4285579&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;205707792&nbsp;&nbsp;java.util.HashMap &nbsp;&nbsp;11:&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;4285283&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;205693584&nbsp;&nbsp;org.apache.hadoop.hbase.client.RpcRetryingCaller &nbsp;&nbsp;12:&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;3820914&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;152836560&nbsp;&nbsp;org.apache.hadoop.hbase.filter.SingleColumnValueFilter &nbsp;&nbsp;13:&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;4291904&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;137340928&nbsp;&nbsp;java.util.concurrent.ConcurrentHashMap$Node &nbsp;&nbsp;14:&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;8570636&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;137130176&nbsp;&nbsp;java.util.TreeMap$EntrySet &nbsp;&nbsp;15:&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;4285278&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;137128896&nbsp;&nbsp;org.apache.hadoop.hbase.io.TimeRange &nbsp;&nbsp;16:&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;8570479&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;137127664&nbsp;&nbsp;java.util.concurrent.atomic.AtomicBoolean &nbsp;&nbsp;17:&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;2891409&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;92525088&nbsp;&nbsp;org.apache.hadoop.hbase.NoTagsKeyValue &nbsp;&nbsp;18:&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;4286540&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;68584640&nbsp;&nbsp;java.lang.Integer &nbsp;&nbsp;19:&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;4285298&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;68564768&nbsp;&nbsp;java.util.TreeMap$KeySet &nbsp;&nbsp;20:&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;4285275&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;68564400&nbsp;&nbsp;java.util.TreeSet &nbsp;&nbsp;21:&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;4285006&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;68560096&nbsp;&nbsp;java.util.HashSet &nbsp;&nbsp;22:&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;4284851&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;68557616&nbsp;&nbsp;java.util.HashMap$KeySet &nbsp;&nbsp;23:&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;3176118&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;50817888&nbsp;&nbsp;org.apache.hadoop.hbase.filter.BinaryComparator &nbsp;&nbsp;24:&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;109&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;33607600&nbsp;&nbsp;[Ljava.util.concurrent.ConcurrentHashMap$Node; &nbsp;&nbsp;25:&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;418775&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;18479112&nbsp;&nbsp;[Lorg.apache.hadoop.hbase.Cell; &nbsp;&nbsp;26:&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;671443&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;17693224&nbsp;&nbsp;[C &nbsp;&nbsp;27:&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;418781&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;16751240&nbsp;&nbsp;org.apache.hadoop.hbase.client.Result &nbsp;&nbsp;28:&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;669739&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;16073736&nbsp;&nbsp;java.lang.String &nbsp;&nbsp;29:&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;644796&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;15475104&nbsp;&nbsp;org.apache.hadoop.hbase.filter.SubstringComparator &nbsp;&nbsp;30:&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;419134&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;10059216&nbsp;&nbsp;java.util.LinkedList$Node </td> 
 </tr> 
 </tbody> 
</table>

为使系统能够正常工作，先实施治标不治本的方案：监控GC，定时重启HBase Thrift2进程，然后再找出根本原因达到治本的目的。

从上面jmap的输出来看，猜测是不是因为额scanner没有被关闭导致的。而scanner没有被关闭的原因有两个：一是客户端程序问题没有关闭，也就是有内存泄漏了，二是客户端程序异常导致没机会关闭。

查看客户端源代码，确实存在openScanner的异常时未关闭。另外客户端被kill掉或断电等，也会导致无法释放，这一点是HBase Thrift2得解决的问题。

# 3. 解决方案 #

针对前面分析出的问题分别加以解决：

1) 客户端保证scanner全部释放；

2) HBase Thrift2增加自动释放长时间未操作的scanner；

3) 另外也可以使用getScannerResults替代getScannerRows来规避此问题。

补丁：

[https://issues.apache.org/jira/browse/HBASE-17182][https_issues.apache.org_jira_browse_HBASE-17182]。

# 4. 相关代码 #

<table> 
 <tbody> 
 <tr> 
 <td> private&nbsp;final&nbsp;Map&lt;Integer,&nbsp;ResultScanner&gt;&nbsp;scannerMap &nbsp;&nbsp;&nbsp;&nbsp;=&nbsp;new&nbsp;ConcurrentHashMap&lt;Integer,&nbsp;ResultScanner&gt;(); &nbsp; @Override public&nbsp;int&nbsp;openScanner(ByteBuffer&nbsp;table,&nbsp;TScan&nbsp;scan)&nbsp;throws&nbsp;TIOError,&nbsp;TException&nbsp;{ Table&nbsp;htable&nbsp;=&nbsp;getTable(table); ResultScanner&nbsp;resultScanner&nbsp;=&nbsp;null; try&nbsp;{ resultScanner&nbsp;=&nbsp;htable.getScanner(scanFromThrift(scan)); }&nbsp;catch&nbsp;(IOException&nbsp;e)&nbsp;{ throw&nbsp;getTIOError(e); }&nbsp;finally&nbsp;{ closeTable(htable); } //&nbsp;将scanner放入到scannerMap中， //&nbsp;如果客户端没有调用closeScanner，则导致该scanner泄漏，GC无法回收改部分内存 return&nbsp;addScanner(resultScanner); } &nbsp; /** *&nbsp;Assigns&nbsp;a&nbsp;unique&nbsp;ID&nbsp;to&nbsp;the&nbsp;scanner&nbsp;and&nbsp;adds&nbsp;the&nbsp;mapping&nbsp;to&nbsp;an&nbsp;internal&nbsp;HashMap. *&nbsp;@param&nbsp;scanner&nbsp;to&nbsp;add *&nbsp;@return&nbsp;Id&nbsp;for&nbsp;this&nbsp;Scanner */ private&nbsp;int&nbsp;addScanner(ResultScanner&nbsp;scanner)&nbsp;{ int&nbsp;id&nbsp;=&nbsp;nextScannerId.getAndIncrement(); scannerMap.put(id,&nbsp;scanner);&nbsp;//&nbsp;将scanner放入到scannerMap中 return&nbsp;id; } &nbsp; /** *&nbsp;Returns&nbsp;the&nbsp;Scanner&nbsp;associated&nbsp;with&nbsp;the&nbsp;specified&nbsp;Id. *&nbsp;@param&nbsp;id&nbsp;of&nbsp;the&nbsp;Scanner&nbsp;to&nbsp;get *&nbsp;@return&nbsp;a&nbsp;Scanner,&nbsp;or&nbsp;null&nbsp;if&nbsp;the&nbsp;Id&nbsp;is&nbsp;invalid */ private&nbsp;ResultScanner&nbsp;getScanner(int&nbsp;id)&nbsp;{ return&nbsp;scannerMap.get(id); } &nbsp; @Override public&nbsp;void&nbsp;closeScanner(int&nbsp;scannerId)&nbsp;throws&nbsp;TIOError,&nbsp;TIllegalArgument,&nbsp;TException&nbsp;{ LOG.debug("scannerClose:&nbsp;id="&nbsp;+&nbsp;scannerId); ResultScanner&nbsp;scanner&nbsp;=&nbsp;getScanner(scannerId); if&nbsp;(scanner&nbsp;==&nbsp;null)&nbsp;{ String&nbsp;message&nbsp;=&nbsp;"scanner&nbsp;ID&nbsp;is&nbsp;invalid"; LOG.warn(message); TIllegalArgument&nbsp;ex&nbsp;=&nbsp;new&nbsp;TIllegalArgument(); ex.setMessage("Invalid&nbsp;scanner&nbsp;Id"); throw&nbsp;ex; } scanner.close();&nbsp;//&nbsp;关闭scanner removeScanner(scannerId);&nbsp;//&nbsp;从scannerMap中移除scanner } &nbsp; /** *&nbsp;Removes&nbsp;the&nbsp;scanner&nbsp;associated&nbsp;with&nbsp;the&nbsp;specified&nbsp;ID&nbsp;from&nbsp;the&nbsp;internal&nbsp;HashMap. *&nbsp;@param&nbsp;id&nbsp;of&nbsp;the&nbsp;Scanner&nbsp;to&nbsp;remove *&nbsp;@return&nbsp;the&nbsp;removed&nbsp;Scanner,&nbsp;or&nbsp;&lt;code&gt;null&lt;/code&gt;&nbsp;if&nbsp;the&nbsp;Id&nbsp;is&nbsp;invalid */ protected&nbsp;ResultScanner&nbsp;removeScanner(int&nbsp;id)&nbsp;{ return&nbsp;scannerMap.remove(id);&nbsp;//&nbsp;从scannerMap中移除scanner } </td> 
 </tr> 
 </tbody> 
</table>

[https_issues.apache.org_jira_browse_HBASE-17182]: https://issues.apache.org/jira/browse/HBASE-17182