查看详情
   显示下一条  |  关闭
温馨提示!由于新浪微博认证机制调整,您的新浪微博帐号绑定已过期,请重新绑定!立即重新绑定新浪微博》  |  关闭

qus的博客

 
 
 
 
 
 

hbase oom

2013-5-28 14:46:06 阅读225 评论0 282013/05 May28

记录一次hbaseOOM
regionseerver启动的时候需要300M左右的内存...
1G的总内存

memstore的上限是upperlimit设置了0.4
cache的上限是hfile.block.cache.size  设置了0.4

作者  | 2013-5-28 14:46:06 | 阅读(225) |评论(0) | 阅读全文>>

namenode 的namecache优化

2013-4-11 11:25:08 阅读212 评论0 112013/04 Apr11

JAVA中对于字符串什么的名字处理会衍生出很多值相同的不同对象(equal 为真,但是引用地址不用)。
namenode为了节省内存会使用namecache优化。

namenodecache只会保存文件名称,不会针对目录名称保存。

namecache的优化手段就是,如果两个对象是一样的,只需要保存一份final的就可以。
但namecache不是LRU的,是常驻内存的。看不到有任何清空的手段。
不过其实也是正常的,因为namenode本来就是要保存整个路径树。


namecache的优化是有条件的。跟inode有关系。

作者  | 2013-4-11 11:25:08 | 阅读(212) |评论(0) | 阅读全文>>

在ubuntu里面把ubuntu给破坏了..

2013-3-27 23:02:28 阅读190 评论0 272013/03 Mar27

装个storm,看到要用python 2.6 立马敲了个apt-get remove python

然后 260个依赖都没了....

好吧原理ubuntu很多都是用python写的....

重启crtl+alt+f2 命令行

登录之后

sudo apt-get install ubuntu-minimal ubuntu-standard ubuntu-desktop

回来了 ...

作者  | 2013-3-27 23:02:28 | 阅读(190) |评论(0) | 阅读全文>>

记一次真实的DATANODE down的排查

2013-3-25 20:04:51 阅读267 评论1 252013/03 Mar25

正准备下班,运维的同学告诉我HADOOP放不进去文件了。
我觉得不可能啊,这么稳定的东东。

找了其中一个datanode登录上去,随手放了一个小文件,爆卡,动不了。
先看了下日志,竟然发现shutdown的信息,自己shutdown了。

上namenode,看下4个datanode死了3个。

重启下,其中一个datanode,发现重启过程很慢。
socket报错,google之,可能跟内存有关系。
看了下一个datanode上的快数200W+

回去datanode 那里jstat -gcutil 下

作者  | 2013-3-25 20:04:51 | 阅读(267) |评论(1) | 阅读全文>>

flume 几个比较有用的source、sink和decorator

2013-3-25 14:20:38 阅读395 评论0 252013/03 Mar25

flume 几个比较有用的source、sink和decorator

4.1  Source catalog:1.Console 控制台输出,可以带输出内容格式的参数

比如console(“raw”), console(“json”)

2.text("filename"[, format])一次读取文件内容,每一个换行做为一个事件。

作者  | 2013-3-25 14:20:38 | 阅读(395) |评论(0) | 阅读全文>>

查看所有日志>>

 
 
 
 
 
 
 
模块内容加载中...
 
 
 
 
 
 
 
 

广东省 广州市 摩羯座

 发消息  写留言

 
博客等级加载中...
今日访问加载中...
总访问量加载中...
最后登录加载中...
 
 
 
 
 
 
 
心情随笔列表加载中...
 
 
 
 
 
 
 
博友列表加载中...
 
 
 
 
 

发现好博客

 
 
列表加载中...
 
 
 
 
 
 
 
列表加载中...
 
 
 
 
 
 我要留言
 
 
 
留言列表加载中...
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 

页脚

网易公司版权所有 ©1997-2018

注册 登录  
 加关注