首页 百科知识 源代码分析(三四)

源代码分析(三四)

时间:2024-09-22 百科知识 版权反馈
【摘要】:NameNode上的处理不算复杂,对输入参数进行检查以后,调用上面分析的addStoredBlock方法。publicvoid errorReport向NameNode报告DataNode上的一个错误,如果错误是硬盘错,会删除该DataNode,其它情况只是简单地记录收到一条出错信息。NameNode会循环调用FSNamesystem的markBlockAsCorrupt方法。目前为止,我们已经完成了NameNode上的ClientProtocol和DatanodeProtocol的分析了,NamenodeProtocol我们在理解从NameNode的时候,才会进行分析。

继续对NameNode实现的接口做分析。

publicDatanodeCommand blockReport(DatanodeRegistration nodeReg,
                                     long[]blocks) throws IOException

DataNode向NameNode报告它拥有的所有数据块,其中,参数blocks包含了数组化以后数据块的信息。FSNamesystem.processReport处理这个请求。一番检查以后,调用DatanodeDescriptor的reportDiff,将上报的数据块分成三组,分别是:

l          删除:其它情况;

l          加入:BlocksMap中有数据块,但目前的DatanodeDescriptor上没有对应信息;

l          使无效:BlocksMap中没有找到数据块。

对于删除的数据块,调用removeStoredBlock,这个方法我们前面已经分析过啦。

对应需要加入的数据块,调用addStoredBlock方法,处理流程如下:

l          从BlocksMap获取现在的信息,记为storedBlock;如果为空,返回;

l          记录block和DatanodeDescriptor的关系;

l          新旧数据块记录不是同一个(我们这个流程是肯定不是啦):

1.      如果现有数据块长度为0,更新为上报的block的值;

2.      如果现有数据块长度比新上报的长,invalidateBlock(前面分析过,很简单的一个方法)当前数据块;

3.      如果现有数据块长度比新上报的小,那么会删除所有老的数据块(还是通过invalidateBlock),并更新BlocksMap中数据块的大小信息;

4.      跟新可用存储空间等信息;

l          根据情况确定数据块需要复制的数目和目前副本数;

l          如果文件处于构建状态或系统现在是安全模式,返回;

l          处理当前副本数和文件的目标副本数不一致的情况;

l          如果当前副本数大于系统设定门限,开始删除标记为无效的数据块。

还是给个流程图吧:


mhtml:file://I:\技术文章下载\2010-4-23整理到notebook\Hadoop汇总2010-4-22\Hadoop源码分析\Hadoop<a href=源代码分析(三四)%20-%20-%20JavaEye技术网站.mht!http://caibinbupt.javaeye.com/upload/attachment/63327/452e09c6-2ae1-3bac-a933-68c0a70fa821.jpg">
 

对于标记为使无效的数据块,调用addToInvalidates方法,很简单的方法,直接加到FSNamesystem的成员变量recentInvalidateSets中。

publicvoid blockReceived(DatanodeRegistrationregistration,
                            Blockblocks[],

                            String[] delHints)

DataNode可以通过blockReceived,向NameNode报告它最近接受到的数据块,同时给出如果数据块副本数太多时,可以删除数据块的节点(参数delHints)。在DataNode中,这个信息是通过方法notifyNamenodeReceivedBlock,记录到对应的列表中。

 


mhtml:file://I:\技术文章下载\2010-4-23整理到notebook\Hadoop汇总2010-4-22\Hadoop源码分析\Hadoop源代码分析(三四)%20-%20-%20JavaEye技术网站.mht!http://caibinbupt.javaeye.com/upload/attachment/63325/bd4bc451-f0be-3370-8939-d0748929f8a2.jpg
 

NameNode上的处理不算复杂,对输入参数进行检查以后,调用上面分析的addStoredBlock方法。然后在PendingReplicationBlocks对象中删除相应的block。

 

  publicvoid errorReport(DatanodeRegistration registration,

                          interrorCode,
                          String msg)

向NameNode报告DataNode上的一个错误,如果错误是硬盘错,会删除该DataNode,其它情况只是简单地记录收到一条出错信息。

  publicNamespaceInfo versionRequest() throws IOException;

从NameNode上获取NamespaceInfo,该信息用于构造DataNode上的DataStorage。

 


mhtml:file://I:\技术文章下载\2010-4-23整理到notebook\Hadoop汇总2010-4-22\Hadoop源码分析\Hadoop源代码分析(三四)%20-%20-%20JavaEye技术网站.mht!http://caibinbupt.javaeye.com/upload/attachment/63466/9b7d9a46-f1f5-37d3-87d8-9b3c051eb1ed.jpg
 

 UpgradeCommand processUpgradeCommand(UpgradeCommand comm) throwsIOException;

我们不讨论。

  public voidreportBadBlocks(LocatedBlock[] blocks) throws IOException

报告错误的数据块。NameNode会循环调用FSNamesystem的markBlockAsCorrupt方法。处理流程不是很复杂,找对应的INodeFile,如果副本数够,那么调用invalidateBlock,使该DataNode上的Block无效;如果副本数不够,加Block到CorruptReplicasMap中,然后准备对好数据块进行复制。

目前为止,我们已经完成了NameNode上的ClientProtocol和DatanodeProtocol的分析了,NamenodeProtocol我们在理解从NameNode的时候,才会进行分析。


免责声明:以上内容源自网络,版权归原作者所有,如有侵犯您的原创版权请告知,我们将尽快删除相关内容。

我要反馈