首页 百科知识 源代码分析(三)

源代码分析(三)

时间:2024-09-22 百科知识 版权反馈
【摘要】:由于Hadoop的MapReduce和HDFS都有通信的需求,需要对通信的对象进行序列化。Hadoop并没有采用Java的序列化,而是引入了它自己的系统。下图给出了庞大的org.apache.hadoop.io中对象的关系。当我们讨论Hadoop的RPC时,我们会提到RPC上交换的信息,必须是Java的基本类型,String和Writable接口的实现类,以及元素为以上类型的数组。应该注意到,ObjectWritable依赖于WritableFactories,那存储了Writable子类对应的工厂。


由于Hadoop的MapReduce和HDFS都有通信的需求,需要对通信的对象进行序列化。Hadoop并没有采用Java的序列化,而是引入了它自己的系统。

org.apache.hadoop.io中定义了大量的可序列化对象,他们都实现了Writable接口。实现了Writable接口的一个典型例子如下:

Java代码 复制代码

public class MyWritable implements Writable {     

        // Some data           

        private int counter;     

        private long timestamp;     

    

        public void write(DataOutput out) throws IOException {     

        out.writeInt(counter);     

        out.writeLong(timestamp);     

        }     

        

        public void readFields(DataInput in) throws IOException {     

        counter = in.readInt();     

        timestamp = in.readLong();     

        }     

    

        public static MyWritable read(DataInput in) throws IOException {     

        MyWritable w = new MyWritable();     

        w.readFields(in);     

        return     w;     

        }     

}      

 其中的write和readFields分别实现了把对象序列化和反序列化的功能,是Writable接口定义的两个方法。下图给出了庞大的org.apache.hadoop.io中对象的关系。

 

mhtml:file://I:\技术文章下载\2010-4-23整理到notebook\Hadoop汇总2010-4-22\Hadoop源码分析\Hadoop<a href=源代码分析(三)%20-%20-%20JavaEye技术网站.mht!http://caibinbupt.javaeye.com/upload/attachment/53721/85946056-d977-3f4c-9a37-f7775d207fce.jpg">
这里,我把ObjectWritable标为红色,是因为相对于其他对象,它有不同的地位。当我们讨论Hadoop的RPC时,我们会提到RPC上交换的信息,必须是Java的基本类型,String和Writable接口的实现类,以及元素为以上类型的数组。ObjectWritable对象保存了一个可以在RPC上传输的对象和对象的类型信息。这样,我们就有了一个万能的,可以用于客户端/服务器间传输的Writable对象。例如,我们要把上面例子中的对象作为RPC请求,需要根据MyWritable创建一个ObjectWritable,ObjectWritable往流里会写如下信息

对象类名长度,对象类名,对象自己的串行化结果

这样,到了对端,ObjectWritable可以根据对象类名创建对应的对象,并解串行。应该注意到,ObjectWritable依赖于WritableFactories,那存储了Writable子类对应的工厂。我们需要把MyWritable的工厂,保存在WritableFactories中(通过WritableFactories.setFactory)。

免责声明:以上内容源自网络,版权归原作者所有,如有侵犯您的原创版权请告知,我们将尽快删除相关内容。

我要反馈