注册 登录  
 加关注
   显示下一条  |  关闭
温馨提示!由于新浪微博认证机制调整,您的新浪微博帐号绑定已过期,请重新绑定!立即重新绑定新浪微博》  |  关闭

qus的博客

 
 
 

日志

 
 

namenode 的namecache优化  

2013-04-11 11:25:08|  分类: 默认分类 |  标签: |举报 |字号 订阅

  下载LOFTER 我的照片书  |
JAVA中对于字符串什么的名字处理会衍生出很多值相同的不同对象(equal 为真,但是引用地址不用)。
namenode为了节省内存会使用namecache优化。

namenodecache只会保存文件名称,不会针对目录名称保存。

namecache的优化手段就是,如果两个对象是一样的,只需要保存一份final的就可以。
但namecache不是LRU的,是常驻内存的。看不到有任何清空的手段。
不过其实也是正常的,因为namenode本来就是要保存整个路径树。


namecache的优化是有条件的。跟inode有关系。

每次添加新的inode到目录树FSDirectory(addfile和addtoParent函数)
都会计算一次名字的使用频率。当使用次数超过DFS_NAMENODE_NAME_CACHE_THRESHOLD_KEY(默认为10)的时候才会保存。

具体是通过一个临时表来计算的。namecache内部不做任何线程同步。
1.设置了临时transientMap 保存短暂的名字次数使用,transientMap 是延迟初始化的。
2.设置了cache保持常用的名字
  评论这张
 
阅读(184)| 评论(0)
推荐 转载

历史上的今天

评论

<#--最新日志,群博日志--> <#--推荐日志--> <#--引用记录--> <#--博主推荐--> <#--随机阅读--> <#--首页推荐--> <#--历史上的今天--> <#--被推荐日志--> <#--上一篇,下一篇--> <#-- 热度 --> <#-- 网易新闻广告 --> <#--右边模块结构--> <#--评论模块结构--> <#--引用模块结构--> <#--博主发起的投票-->
 
 
 
 
 
 
 
 
 
 
 
 
 
 

页脚

网易公司版权所有 ©1997-2017