注册 登录  
 加关注
   显示下一条  |  关闭
温馨提示!由于新浪微博认证机制调整,您的新浪微博帐号绑定已过期,请重新绑定!立即重新绑定新浪微博》  |  关闭

qus的博客

 
 
 

日志

 
 

记一次真实的DATANODE down的排查  

2013-03-25 20:04:51|  分类: 默认分类 |  标签: |举报 |字号 订阅

  下载LOFTER 我的照片书  |
正准备下班,运维的同学告诉我HADOOP放不进去文件了。
我觉得不可能啊,这么稳定的东东。

找了其中一个datanode登录上去,随手放了一个小文件,爆卡,动不了。
先看了下日志,竟然发现shutdown的信息,自己shutdown了。

上namenode,看下4个datanode死了3个。

重启下,其中一个datanode,发现重启过程很慢。
socket报错,google之,可能跟内存有关系。
看了下一个datanode上的快数200W+

回去datanode 那里jstat -gcutil 下
[root@4399om_121.14.45.224 ~]# jstat -gcutil 19608 1000
  S0     S1     E      O      P     YGC     YGCT    FGC    FGCT     GCT   
  0.00  92.86  88.03  87.34  88.18    210    7.361   264  690.851  698.211
  0.00  92.86  88.03  87.34  88.18    210    7.361   264  690.851  698.211
  0.00  92.86  88.25  87.34  88.18    210    7.361   264  690.851  698.211
  0.00  92.86  88.43  87.34  88.18    210    7.361   264  690.851  698.211

内存基本满了...
各种看到YGC 和FGC都非常努力地工作,不过,都是硬引用,你回收毛啊...

记得DATANODE启动的时候要索引掉所有数据块的,200W+的文件块。

过了一会看到一组惊人的GC状况....
  S0     S1     E      O      P     YGC     YGCT    FGC    FGCT     GCT   
  0.00   0.00 100.00 100.00  88.46    239   14.547   347  900.922  915.470
  0.00   0.00 100.00 100.00  88.46    239   14.547   348  903.378  917.925
  0.00   0.00 100.00 100.00  88.46    239   14.547   348  903.378  917.925
  0.00   0.00 100.00 100.00  88.46    239   14.547   348  903.378  917.925
  0.00   0.00 100.00 100.00  88.46    239   14.547   349  905.799  920.346
  0.00   0.00 100.00 100.00  88.46    239   14.547   349  905.799  920.346
  0.00   0.00 100.00 100.00  88.46    239   14.547   350  908.222  922.769
  0.00   0.00 100.00 100.00  88.46    239   14.547   350  908.222  922.769
  0.00   0.00 100.00 100.00  88.46    239   14.547   350  908.222  922.769
  0.00   0.00 100.00 100.00  88.46    239   14.547   351  910.644  925.191
  0.00   0.00 100.00 100.00  88.46    239   14.547   351  910.644  925.191
  0.00   0.00 100.00 100.00  88.46    239   14.547   352  913.061  927.608
  0.00   0.00 100.00 100.00  88.46    239   14.547   352  913.061  927.608
  0.00   0.00 100.00 100.00  88.46    239   14.547   353  915.493  930.040
  0.00   0.00 100.00 100.00  88.46    239   14.547   353  915.493  930.040
  0.00   0.00 100.00 100.00  88.46    239   14.547   353  915.493  930.040

都100%了....


  评论这张
 
阅读(239)| 评论(1)
推荐 转载

历史上的今天

评论

<#--最新日志,群博日志--> <#--推荐日志--> <#--引用记录--> <#--博主推荐--> <#--随机阅读--> <#--首页推荐--> <#--历史上的今天--> <#--被推荐日志--> <#--上一篇,下一篇--> <#-- 热度 --> <#-- 网易新闻广告 --> <#--右边模块结构--> <#--评论模块结构--> <#--引用模块结构--> <#--博主发起的投票-->
 
 
 
 
 
 
 
 
 
 
 
 
 
 

页脚

网易公司版权所有 ©1997-2017