不好意思,突然间需要忙项目的其他事情了,更新有点慢下来,争取月底搞定HDFS吧。
我们来分析FSEditLog.java,该类提供了NameNode操作日志和日志文件的相关方法,相关类图如下:
源代码分析(二一)%20-%20-%20JavaEye技术网站.mht!http://caibinbupt.javaeye.com/upload/attachment/59053/30a3f141-9e7d-3e4a-acac-162cbffc7c0b.jpg">
首先是FSEditLog依赖的输入/输出流。输入流基本上没有新添加功能;输出流在打开的时候,会写入日志的版本号(最前面的4字节),同时,每次将内存刷到硬盘时,会为日志尾部写入一个特殊的标识(OP_INVALID)。
FSEditLog有打开/关闭的方法,它们都是很简单的方法,就是关闭的时候,要等待所有正在写日志的操作都完成写以后,才能关闭。processIOError用于处理IO出错,一般这会导致对于的Storage的日志文件被关闭(还记得loadFSImage要找出最后写的日志文件吧,这也是提高系统可靠性的一个方法),如果系统再也找不到可用的日志文件,NameNode将会退出。
loadFSEdits是个大家伙,它读取日志文件,并把日志应用到内存中的目录结构中。这家伙大是因为它需要处理所有类型的日志记录,其实就一大case语句。logEdit的作用和loadFSEdits相反,它向日志文件中写入日志记录。我们来分析一下什么操作需要写log,还有就是需要log那些参数:
logOpenFile(OP_ADD):申请lease
path(路径)/replication(副本数,文本形式)/modificationTime(修改时间,文本形式)/accessTime(访问时间,文本形式)/preferredBlockSize(块大小,文本形式)/BlockInfo[](增强的数据块信息,数组)/permissionStatus(访问控制信息)/clientName(客户名)/clientMachine(客户机器名)
logCloseFile(OP_CLOSE):归还lease
path/replication/modificationTime/accessTime/preferredBlockSize/BlockInfo[]/permissionStatus
logMkDir(OP_MKDIR):创建目录
path/modificationTime/accessTime/permissionStatus
logRename(OP_RENAME):改文件名
src(原文件名)/dst(新文件名)/timestamp(时间戳)
logSetReplication(OP_SET_REPLICATION):更改副本数
src/replication
logSetQuota(OP_SET_QUOTA):设置空间额度
path/nsQuota(文件空间额度)/dsQuota(磁盘空间额度)
logSetPermissions(OP_SET_PERMISSIONS):设置文件权限位
src/permissionStatus
logSetOwner(OP_SET_OWNER):设置文件组和主
src/username(所有者)/groupname(所在组)
logDelete(OP_DELETE):删除文件
src/timestamp
logGenerationStamp(OP_SET_GENSTAMP):文件版本序列号
genstamp(序列号)
logTimes(OP_TIMES):更改文件更新/访问时间
src/modificationTime/accessTime
通过上面的分析,我们应该清楚日志文件里记录了那些信息。
rollEditLog()我们在前面已经提到过(配合saveFSImage和rollFSImage),它用于关闭edits,打开日志到edits.new。purgeEditLog()的作用正好相反,它删除老的edits文件,然后把edits.new改名为edits。这也是Hadoop在做更新修改时经常采用的策略。
免责声明:以上内容源自网络,版权归原作者所有,如有侵犯您的原创版权请告知,我们将尽快删除相关内容。