首页 百科知识 源代码分析(二一)

源代码分析(二一)

时间:2024-09-22 百科知识 版权反馈
【摘要】:不好意思,突然间需要忙项目的其他事情了,更新有点慢下来,争取月底搞定HDFS吧。我们来分析FSEditLog.java,该类提供了NameNode操作日志和日志文件的相关方法,相关类图如下:首先是FSEditLog依赖的输入/输出流。rollEditLog()我们在前面已经提到过,它用于关闭edits,打开日志到edits.new。purgeEditLog()的作用正好相反,它删除老的edits文件,然后把edits.new改名为edits。这也是Hadoop在做更新修改时经常采用的策略。

不好意思,突然间需要忙项目的其他事情了,更新有点慢下来,争取月底搞定HDFS吧。

我们来分析FSEditLog.java,该类提供了NameNode操作日志和日志文件的相关方法,相关类图如下:

mhtml:file://I:\技术文章下载\2010-4-23整理到notebook\Hadoop汇总2010-4-22\Hadoop源码分析\Hadoop<a href=源代码分析(二一)%20-%20-%20JavaEye技术网站.mht!http://caibinbupt.javaeye.com/upload/attachment/59053/30a3f141-9e7d-3e4a-acac-162cbffc7c0b.jpg">

首先是FSEditLog依赖的输入/输出流。输入流基本上没有新添加功能;输出流在打开的时候,会写入日志的版本号(最前面的4字节),同时,每次将内存刷到硬盘时,会为日志尾部写入一个特殊的标识(OP_INVALID)。

FSEditLog有打开/关闭的方法,它们都是很简单的方法,就是关闭的时候,要等待所有正在写日志的操作都完成写以后,才能关闭。processIOError用于处理IO出错,一般这会导致对于的Storage的日志文件被关闭(还记得loadFSImage要找出最后写的日志文件吧,这也是提高系统可靠性的一个方法),如果系统再也找不到可用的日志文件,NameNode将会退出。

loadFSEdits是个大家伙,它读取日志文件,并把日志应用到内存中的目录结构中。这家伙大是因为它需要处理所有类型的日志记录,其实就一大case语句。logEdit的作用和loadFSEdits相反,它向日志文件中写入日志记录。我们来分析一下什么操作需要写log,还有就是需要log那些参数:

logOpenFile(OP_ADD):申请lease

path(路径)/replication(副本数,文本形式)/modificationTime(修改时间,文本形式)/accessTime(访问时间,文本形式)/preferredBlockSize(块大小,文本形式)/BlockInfo[](增强的数据块信息,数组)/permissionStatus(访问控制信息)/clientName(客户名)/clientMachine(客户机器名)

logCloseFile(OP_CLOSE):归还lease

path/replication/modificationTime/accessTime/preferredBlockSize/BlockInfo[]/permissionStatus

logMkDir(OP_MKDIR):创建目录

path/modificationTime/accessTime/permissionStatus

logRename(OP_RENAME):改文件名

src(原文件名)/dst(新文件名)/timestamp(时间戳)

logSetReplication(OP_SET_REPLICATION):更改副本数

src/replication

logSetQuota(OP_SET_QUOTA):设置空间额度

path/nsQuota(文件空间额度)/dsQuota(磁盘空间额度)

logSetPermissions(OP_SET_PERMISSIONS):设置文件权限位

src/permissionStatus

logSetOwner(OP_SET_OWNER):设置文件组和主

src/username(所有者)/groupname(所在组)

logDelete(OP_DELETE):删除文件

src/timestamp

logGenerationStamp(OP_SET_GENSTAMP):文件版本序列号

genstamp(序列号)

logTimes(OP_TIMES):更改文件更新/访问时间

src/modificationTime/accessTime

通过上面的分析,我们应该清楚日志文件里记录了那些信息。

rollEditLog()我们在前面已经提到过(配合saveFSImage和rollFSImage),它用于关闭edits,打开日志到edits.new。purgeEditLog()的作用正好相反,它删除老的edits文件,然后把edits.new改名为edits。这也是Hadoop在做更新修改时经常采用的策略。


免责声明:以上内容源自网络,版权归原作者所有,如有侵犯您的原创版权请告知,我们将尽快删除相关内容。

我要反馈