深入Protobuf源码�Q�Descriptor、Message、RPC框架

DLevin — Wed, 01 Apr 2015 01:31:00 GMT

Descriptor框架

寚w��optimize_for�?/span>LITE_RUNTIME�?/span>proto文�g�Q?/span>protobuf�~�译器会在编译出�?/span>Java代码文�g末尾��d��一�?/span>FileDescriptor静态字�D�以描述�?/span>proto文�g定义时的所有元数据信息、�ؓ每个message对象定义一�?/span>Descriptor静态字�D�以描述�?/span>message定义时的元数据信息、�ؓ每个message对象定义一�?/span>FieldAccessorTable静态字�D는�于��用反��读�?/span>/讄��某个字段的值等�Q�以提供GeneratedMessage中方法的反射实现�Q�：

private static Descriptor inter-nal_static_levin_protobuf_Result_descriptor;
private static FieldAccessorTable inter-nal_static_levin_protobuf_Result_fieldAccessorTable;
private static Descriptor inter-nal_static_levin_protobuf_SearchResponse_descriptor;
private static FieldAccessorTable inter-nal_static_levin_protobuf_SearchResponse_fieldAccessorTable;
private static FileDescriptor descriptor;

�?/span>protobuf中存在多�U�类型的元数据描�q�类�Q?/span>

1. FileDescriptor�Q�对一�?/span>proto文�g的描�q�ͼ�它包含文件名、包名、选项�Q�如java_package�?/span>java_outer_classname�{�）、文件中定义的所�?/span>message、文件中定义的所�?/span>enum、文件中定义的所�?/span>service、文件中所有定义的extension、文件中定义的所有依赖文�Ӟ��import�Q�等。在FileDescriptor中还存在一�?/span>DescriptorPool实例�Q�它保存了所有的dependencies(依赖文�g�?/span>FileDescriptor)�?/span>name�?/span>GenericDescriptor的映��、字�D�到FieldDescriptor的映��、枚��N��?/span>EnumValueDescriptor的映��，从而可以从�?/span>DescriptorPool中查扄��关的信息�Q�因而可以通过名字�?/span>FileDescriptor中查�?/span>Message�?/span>Enum�?/span>Service�?/span>Extensions�{��?/span>

2. Descriptor�Q�对一�?/span>message定义的描�q�ͼ�它包含该message定义的名字、所有字�D�c��内�?/span>message、内�?/span>enum、关联的FileDescriptor�{�。可以��用字�D�名或字�D�号查找FieldDescriptor�?/span>

3. FieldDescriptor�Q�对一个字�D�|��扩展字段定义的描�q�ͼ�它包含字�D�名、字�D�号、字�D늱�型、字�D�定�?/span>(required/optional/repeated/packed)、默认倹{��是否是扩展字段以及和它兌��?/span>Descriptor/FileDescriptor�{��?/span>

4. EnumDescriptor�Q�对一�?/span>enum定义的描�q�ͼ�它包�?/span>enum名、全名、和它关联的FileDescriptor。可以��用枚��N��或枚丑ր�查�?/span>EnumValueDescriptor�?/span>

5. EnumValueDescriptor�Q�对一个枚��N��定义的描�q�ͼ�它包含枚丑֐�、枚丑ր�{��关联的EnumDescriptor/FileDescriptor�{��?/span>

6. ServiceDescriptor�Q�对一�?/span>service定义的描�q�ͼ�它包�?/span>service名、全名、关联的FileDescriptor�{��?/span>

7. MethodDescriptor�Q�对一个在service中的method的描�q�ͼ�它包�?/span>method名、全名、参数类型、返回类型、关联的FileDescriptor/ServiceDescriptor�{��?/span>

最后，protobuf�~�译生成的代码末��还有一�?/span>descriptorData字符串数�l�，它是序列化后�?/span>FileDescriptorProto数据�Q�在静态初始化块中可以调用FileDescriptor.internalBuildGeneratedFileFrom()�Ҏ��构造整�?/span>FileDescriptor实例�Q�在完成FileDescriptor的构造后�Q�还会回调传入的InternalDescriptorAssigner实例以初始化其他的静态字�D�，如以上提到的所有的静态字�D�c�?br />

�?/span>protobuf�?/span>Descriptor的类图：

Message、MessageLite框架

序列化和反序列化�?/span>protobuf最基础的框�Ӟ��它��?/span>MessageLite/Message接口来抽象一个可序列化的实例�Q?/span>�q�且使用Builder从字节数�l�或输入字节��中构徏MessageLite/Message实例�Q?/span>MessageLite�?/span>Message内部都定义了自己�?/span>Builder�c�，他们个字�l�承�?/span>MessageLiteOrBuilder以及MessageOrBuiler�Q�它们定义了MessageLite/Message和它们各�?/span>Builder�cȝ��共同接口�?/span>

MessageLiteOrBuilder接口只定义了MessageLite�?/span>MessageLite.Builder两个接口共有的两个方法：getDefaultInstanceForType()�Ҏ��获取一个当前还未初始化的当�?/span>Message实例(没有字段被赋��|��因而所有字�D�返回默认��|��?/span>repeat字段�q�回�I�，在当�?/span>protobuf 2.5.0的实��C��Q�它�q�回的是一个单例，和每个生成的静态方�?/span>getDefaultInstance()�q�回相同的实�?/span>)�Q?/span>isInitialized()�Ҏ��用来判断是否所�?/span>required字段已经被赋倹{�?/span>MessageLite接口中定义了两个writeTo()�Ҏ��分别��当前实例序列化�q�写入输出字节流中，而另一�?/span>writeDelimitedTo()�Ҏ��则在写入之前��当前实例的总长度写入输出字节流中（以可变长32�?/span>Int�~�码方式�Q�，从而可以同时向一个输出字节流中写入多�?/span>Message实例�Q?/span>MessageLite中还定义了获取当�?/span>MessageLite在序列化成字节流后的��d��节数的方�?/span>getSerializedSize()�Q�两个直接返回字节数�l�的toByteArray()/toByteString()�Ҏ��Q�以及获取它�?/span>Parser实例(getParserForType())和返回它�?/span>Builder实例(toBuilder()�Q�创��Z��个新�?/span>Builder实例/newBuilderForType()�Q�用当前MessageLite�c�d��始化一个新�?/span>Builder实例�q�返�?/span>)�Ҏ��。其�?/span>Builder接口用于从字节流或字节数�l�中解析�q�构�?/span>MessageLite对象(各种版本�?/span>mergeFrom()�Ҏ��Q�如果发送端写入�?/span>MessageLite字节长度�Q�则使用mergeDelimitedFrom()�Ҏ��)�Q�最�?/span>Builder使用build()�Ҏ��构�?/span>MessageLite对象�Q�此时如果有required字段�q�未被设�|�，会抛�?/span>UninitializedMessageException�Q��ؓ了避免抛出异常，可以使用buildPartial()�Ҏ��Q�另�?/span>Builder�q�定义了clone()�?/span>clear()�Ҏ��Q�在生成的每�?/span>Message对象中都定义了一�?/span>newBuilder()静态方法，一般��用该静态方法初始化一�?/span>Builder实例�?/span>Parser接口也定义了各个版本�?/span>parseFrom()/parsePartialFrom()/parseDelimitedFrom()/parsePartialDelimitedFrom()�Ҏ��用来从字节数�l�或字节��中解析�?/span>Message实例�Q�在生成的代码中�Q?/span>Builder的实现直接调�?/span>Parser实现�c�M��的方法�?/span>

在大部分情况下，MessageLite已经能完成所有的序列化和反序列化操作了，特别是一些资源有限额手持讑֤��Q�它如果�q�行整个protobuf库会昑־�太耗资源；可以�?/span>.proto文�g中加入一下指令来告诉protobuf�~�译器只需要生成实�?/span>MessageLite的类�Q?/span>

option optimize_for = LITE_RUNTIME

然而对一般的Server�E�序来说�Q�我们�ƈ不在乎这点资源的损耗，因而会选择实现Message接口�Q�它相比MessageLite�Q�添加了Descriptors相关的支持，��x��持��?/span>FieldDescriptor来构�?/span>Message.Builder实例�q�最�l�构�?/span>Message实例�?/span>

MessageOrBuilder接口�l�承�?/span>MessageLiteOrBuilder接口�Q�它定义�?/span>Message�?/span>Message.Builder共有的接口，��x��加了Descriptor�?/span>FieldDescriptor�{�相关的扩展。由于实�?/span>Message�?/span>Message.Builder接口的类保存了所�?/span>Message定义时具有的信息(文�g名、包名、字�D�列表等�Q��用各�U?/span>Descriptor�c�L��抽象)�Q�因而我们可以��?/span>Message/Message.Builder�c�获取到更多的信息，如一�?/span>Message/Message.Builder没有赋值所�?/span>required的字�D�，可以使用findInitializationErrors()�Ҏ��来获取所有未赋值的字段列表(字段的全路径名，getInitializationErrorString()是这个列表的字符串�Ş式表达，��Z��提升性能�Q�徏议��?/span>isInitialized()�Ҏ��先做初步判断�Q�因为它更快)�Q�另外在MessageOrBuilder中还定义了当�?/span>Message对应�?/span>Descriptor实例�Q?/span>getDescriptorForType()�Ҏ��Q�获取所有已�l�赋值的FieldDescriptor到其值的一�?/span>Map�Q?/span>getAllFields()�Q�通过FieldDescriptor取得其��|��getField()�Q�判断一个字�D�|��否已�l�被赋��|��hasField()�Q�获�?/span>repeated字段�?/span>count�Q?/span>getRepeatedFieldCount()�Q�通过FieldDescriptor以及index获取repeated字段�?/span>index处的��|��getRepeatedField()�Q�获取未知的字段�Q?/span>getUnknownFields()�?/span>Message接口除了�l�承�?/span>MessageOrBuilder接口的方法，�q�没有定义多余的�Ҏ��Q�只是添加了equals�?/span>hashCode�?/span>toString�Ҏ��的定义。�?/span>Message.Builder接口除了�l�承�?/span>MessageOrBuilder接口以外�Q�它�q�定义了��Z��FieldDescriptor的方法，如通过FieldDescriptor创徏/获取Builder实例�Q?/span>newBuilderForFileld()/getFieldBuilder()�Q�通过FieldDescriptor讄��/清除字段的��|��setField()/clearField()/setRepeatedField()/addRepeatedField()�Q�以及设�|?/span>UnknownFields�Q?/span>setUnknownFields()/mergeUnknownFields()�?/span>

MessageLite/Message�c�d��如下�Q?/span>

RPC框架

除了序列化框�Ӟ��protobuf�q�定义了一套简单的RPC框架。之所以说��单是因�ؓ它定义的Service层接口的协议�Q�而没有具体和传输相关的实玎ͼ�而只是将传输相关的逻辑抽象�?/span>RpcChannel�?/span>BlockingRpcChannel分别用于表示同步和一步方式的Service�Ҏ��调用�Q�而至于底层用什么样的协议和框架�Q�由用户自己军_��q�实现�?/span>

所�?/span>RPC框架�Q�从用户角度上最基本的就是定义客��L��和服务器端的协议�Q�即服务器端暴露��Z��么样的接口供客户端调用，�q�个接口定义了服务器在一�?/span>Host的某个（些）端口上接收某些请求数据，�q�期望能�q�回的响应。其中服务器和端口号属于传输实现的范��_��protobuf只是�?/span>RpcChannel/BlockingRpcChannel的概念做了抽象，而没有给出具体实玎ͼ�而接收某个请求数据以及期待的响应数据�Q�在protobuf使用Service/BlockingService抽象来定义，�q�且�q�也�?/span>protobuf�?/span>RPC框架的定义部分，其中Service�?/span>RpcChannel共同构成异步方式�?/span>RPC框架�Q��?/span>BlockingService�?/span>BlockingRpcChannel共同构成了同步（��d��Q�方式的RPC框架�?/span>

从底层实现的角度�Q�一�?/span>RPC调用��是客户端发送一些请求数据给服务器，服务器解析�ƈ处理�q�些��h��数据�Q�然后将响应数据�q�回�l�客��L��。�ؓ了隐藏内部实现细节，提升写代码的效率�Q?/span>RPC��这一�q�程��装成方法调用，即不同的��h��用不同的�Ҏ��表达�Q�这��是protobuf�?/span>RPC的定义。在protobuf中，定义一�?/span>PRC接口比较��单：首先开�?/span>RPC功能�Q�然后用service关键字定义一个接口，在接口中使用rpc关键字定义一个方法，�Ҏ��包含�Ҏ��名、方法参数、返回��|��其中�Ҏ��参数和返回值都必须是一�?/span>message�c�d��Q��ƈ且只能有一个：

option java_generic_services = true;

service MyService {
rpc request(SearchRequest) returns(SearchResponse);
}

�?/span>protobuf�~�译生成的代码中�Q�它会生成一�?/span>MyService抽象�c�d��C��Service接口�Q�一般它只是作�ؓ一个命名空��_��它内部定义了两个接口�Q?/span>Interface�?/span>BlockingInterface本别�l�承�?/span>Service接口�?/span>BlockingService接口�Q�用于抽象异步和同步方式�?/span>RPC�Ҏ��调用�Q�这两个接口有两个实现类�Q?/span>Stub�?/span>BlockingStub�Q�他们分别接�?/span>RpcChannel�?/span>BlockingRpcChannel实例作�ؓ构造函数参敎ͼ�可以使用MyService中的静态方�?/span>newStub()�?/span>newBlockingStub()�Ҏ��获取他们各自实例�Q�他们主要用于客��L��的调用。在生成�?/span>request�Ҏ��中，除了request本��n的参敎ͼ��q�有一�?/span>RpcController参数�Q�它用于处理�?/span>RpcChannel/BlockingRpcChannel调用中的状态处理，如错误处理等�Q��用它可以��L��此次调用是否出错�Q�错误信息是什么等。在MyService中还定义了两个静态方�?/span>newReflectiveService/newReflectiveBlockingService�Q�他们接�?/span>Interface/BlockingInterface实例�Q��ƈ�q�回Service/BlockingService的实现实例（暂时�q�没有想��C��用他们的场景�Q��?/span>

�?/span>MyService�?/span>RPC框架实现中，在服务器端，实现MyService.Interface/MyService.BlockingInterface接口�Q�然后将它注册到�?/span>RpcChannel/BlockingRpcChannel框架的实��C��Q�在客户端则创徏一�?/span>RpcChannel/BlockingRpcChannel实例�Q�传�?/span>MyService.newStub()/MyService.newBlockingStub()�Ҏ��获取对应的实例，然后使用�q�个Stub/BlockingStub实例调用相应的方法即可�?/span>

DLevin 2015-04-01 09:31 发表评论

DLevin — Wed, 01 Apr 2015 01:23:00 GMT

摘要: 基本�c�d��~�码在前文有提到消息是一�p�d��的基本类型以及其他消息类型的�l�合�Q�因而基本类型是probobuf�~�码实现的基��Q�这些基本类型有�Q? .proto Type Java Type C++ Type Wire Type double double double WI... 阅读全文

DLevin 2015-04-01 09:23 发表评论

DLevin — Wed, 01 Apr 2015 01:13:00 GMT

摘要: 概述捣鼓hdfs、yarn、hbase、zookeeper的代码一�q�多了，是时候整理一下了。在hadoop �Q?.5.2�Q�中protobuf是节点之间以及客��L��和各个节炚w��信的基��序列化框�Ӟ��协议�Q�，而基于avro和Writable的序列化框架则是�q�个协议里的payload�Q�因而这一�p�d��的文章打��从protobuf�q�个框架开始入�?版本2.5.0)�?从抽象的角度来说�Q�protobuf框架�?.. 阅读全文

DLevin 2015-04-01 09:13 发表评论

天堂在线第六区,国产精品福利在线观看网址,精品女同一区二区三区在线观看

深入Protobuf源码�Q�Descriptor、Message、RPC框架

Descriptor框架

Message、MessageLite框架

RPC框架