java應用占用內存過高排查的解決方案
故障:收到服務器報警,內存使用率超過80%
1.查看使用dstat和top查看內存使用最高的應用
使用dstat
查到內存占用最高的是java應用,使用2253M內存,但是這臺服務器跑了好幾個java,具體哪個進程使用top看下資源情況
使用top
可以看到java應用整體內存使用率超過了70%,其中pid為16494的進程 一個應用占了28.7的內存
2.定位線程問題使用ps查看16494的線程情況
命令:ps p 16494 -L -o pcpu,pmem,pid,tid,time,tname,cmd
看到16494這個pid的應用產生了很多線程。
3.查看內存使用的堆棧使用jstack查看
我們挑選了TID=17417的線程進行分析
在分析前需要將17417這個id轉換為16進制,方便查找信息
[root@localhost ~]# printf '%xn' 174174409
16進制為4409
將pid為16494的應用打印到日志中
[root@localhost ~]# jstack -l 16494 > jstack.log4.查看內存堆棧信息
[root@localhost ~]# vim jstack.log
在日志信息中查找剛剛轉換的4409
可以看到這個線程狀態為WAITING
通過查看日志發現有大量的 waiting on condition
parking to wait for <0x0000000085dce510>
存在大量線程等待被喚醒,占用大量內存
5.代碼優化將相應日志發送給相應開發,優化線程
補充:分析java線程占用cpu或者內存高的代碼
1、通過top查看占用cpu或者內存高的進程截圖如下【備注輸入大寫P以cpu從大到小排序,大寫M以內存大小排序】
2、通過對應的cpu找到PID也就是進程對應的pid,然后找到java進程106854這個進程id
3、通過命令top -Hp PID 例如top -Hp 106854
就可以列出該進程下的所有線程id
4、通過輸出大寫的P查看線程占用cpu最高的或者通過大寫M查看內存占用最高的
然后找到109391這個線程id
5、使用命令printf “%xn” 109391 輸出對應的十六進制碼,1ab4f這個碼是為了過濾線程id查到對應的代碼
6、使用命令jstack PID|grep 1ab4f 【備注PID是進程的id,1ab4f是這個進程下的一個線程占用最高的cpu十六進制碼】
7、通過上面的輸出發現kafka,所以會聯想到,kafka一直監聽消息,所以消耗cpu,正常現象
8、如果出現自己寫的類,說明需要修改代碼邏輯了
以上為個人經驗,希望能給大家一個參考,也希望大家多多支持好吧啦網。如有錯誤或未考慮完全的地方,望不吝賜教。
相關文章:
