【protobuf】No1. Google protobuf 开发指南

﹏ヽ暗。殇╰゛Y 2022-04-24 14:52 328阅读 0赞

# Google protobuf 开发指南 #

欢迎来到关于使用`Protocol buffers`的开发者文档——一种与语言无关，平台无关，可扩展的序列化结构化数据的方法，用于通信协议，数据存储等。

本文档面向希望在其应用程序中使用`Protocol buffer`的`Java`，`C++`和`Python`开发人员。本概述介绍了`Protocol buffers`，并告诉您需要做什么才能开始——然后您可以继续学习本教程或深入研究`protocol buffer encoding`.还为多种语言提供了`API`的参考文档，以及用于编写`.proto`文件的语言和式样指南。

## 什么是Protocol buffers？ ##

`protocol buffers`是一种灵活，高效，自动化的机制，用于序列化结构化数据——想想`XML`，但是`Protocol buffers`更小，更快，更简单。您可以定义数据的结构化结构，然后使用特殊化的源代码轻松地将结构化数据写入以及读取各种数据流，并使用各种语言。您甚至可以更新数据结构，而不会破坏根据“旧”格式编译的已部署程序。

## 他们是如何工作的？ ##

你可以在`.proto`文件中定义`Protocol buffer`消息类型来指定你希望如何构建序列化信息。每个协议缓冲区消息都是一个小的逻辑信息记录，包含一系列`name-value pairs`。以下`.proto`是定义包含有关人员信息的文件的一个非常基本的示例：

message Person{
        required string name = 1;
        required int32 id = 2;
        optional string email = 3;
    }
    
    enum PhoneType{
        MOBILE = 0;
        HOME = 1;
        WORK = 2;
    }
    
    message PhoneNumber{
        required string number = 1;
        optional PhoneType type = 2[default = HOME];
    }
    
    repeated PhoneNumber phone = 4;

如你所愿，消息格式很简单——每种消息类型都一个或者多个唯一编号的字段，每个字段都一个名称和一个值类型，其中值类型可以是数字（整型(`integer`)或浮点数(`floating-point`)），布尔值(`booleans`)，字符值(`strings`)，原始字节(`raw bytes`)，甚至（如上例所示）其他`Protocol buffers`类型，允许您分层次地构建数据。您可以指定可选字段(`optional fileds`)，必填字段(`required fileds`)和重复字段(`repeated fields`)。你可以在[Protocol Buffer Language Guide][]找到更多的关于写`.proto`文件的的信息。

一旦定义了消息，就可以在`.proto`文件中运行应用程序的`Protocol buffers`编译器来生成数据访问类。这些为每个字段（如`name()`和`set_name()`)提供了简单的访问器，以及methods to serialize/parse the whole structure to/from raw bytes——例如，如果您选择的语言是C++，则在上面的实例中运行编译器将生成类`Person`。然后，您可以在应用程序中使用此类来填充，序列化和检索```````Person``````Protocol buffers```````消息。然后你可以写一些这样的`code`：

Person person；
    person.set_name("John Doe");
    person.set_id(1234)
    person.set_email("jode@example.com");
    fstream output("myfile",ios::out|ios::binary);
    person.SerializeToOstream(&Output);

然后，稍后，您可以在以下位置阅读您的消息：

fstream input("myfile",ios::in|ios:binary);
    Person person;
    person.ParseFraomIstream(&input));
    cout << "Name:" << person.name() << endl;
    cout << "E-mail:" << person.emali() << endl;

你可以在不破话向后兼容的情况下为你的`message`格式添加新字段；旧的二进制文件在解析时只是忽略新字段。因此，如果你的通信协议使用`Protocol buffers`作为数据格式，则可以扩展协议，而无需担心破坏现有代码。

您可以在[API Reference section][]找到相关生成`Protocol buffers`代码的完整参考，您在[Protocol Buffer Encoding][]找到有关`Protocal buffers`如何编码的更多信息。

## 为什么不使用XML？ ##

对于序列化结构化数据，`Protocol buffers`比XML具有更多优点。`Protocal buffers`:

*  更简单（are simpler）
 *  比`xml`小3到10倍（are 3 to 10 times smaller)
 *  比`xml`要快20到100倍（are 20 to 100 timers faster)
 *  生成更加易于以编程方式使用的数据访问类

举个例子，假设你想要模拟一个`person`有`name`和`email`。在XML，您需要：

<person>
    	<name>John Doe </name>
    	<email>jdoe@example.com</email>
    </person>

而相应的Protocol buffer消息（Protocol buffer [文本格式][Link 1])是：

#Textual representation of protocol buffer.
    #This is *not* the binary format used on the wire
    person{
        name: "John Doe"
        email: "jdoe@example.com"
    }

此消息被编码为`Protocol buffer`的[二进制格式][Protocol Buffer Encoding](上面的文本格式对于调试和编辑更加人性化了)时，它可能是28字节长并且需要大约100-200纳秒来解析。如果删除空格，XML版本至少为69个字节，并且需要5000-10000纳秒才能解析。

此外，操作`Protocal Buffer`要容易很多：

cout << "Name: " << person.name() << endl;
    cout << "E-mail: " << person.email() << endl;

而使用XML，你必须要执行以下操作：

cout << "Name: "
         << person.getElementsByTagName("name")->item(0)->interText()
         <<endl;
    cout << "E-mail: "
    	 << person.getElementsByTagName("email"->item(0)->interText())
    	 <<endl;

但是，`Protocol buffer`并不是总是比XML的解决方案更好——例如，`Protocal buffer`不是使用标记（例如HTML）对基于文本的文档建模的好方法，因为您无法轻松地将结构和文本交错。此外，XML是人类可读和人类可编辑的；`Protocol buffer`,是原生格式。

XML在某种程度上也是自我描述的。只用拥有消息定义(`.proto`文件)时，`Protocol buffer`才有意义。

## 对我来说听起来像是解决方案！那我如何开始？ ##

[Download the package][]——它包含Java,Python和C++协议`Protocol buffer`编译器的完整源代码，以及I/O和测试所需的类。要构建和安装编译器，请按照自述文件中的说明进行操作。

完成所有设置后，请尝试按照所选语言的[教程][Link 2]进行操作——这将指导您创建一个使用`Protocol buffer`的简单应用程序。

## 介绍 Proto3 ##

我们最新的版本3[发布][Link 3]了一个新的语言版本——`Protocol Buffers language version3(aka proto3)`中的一些新功能。`Proto3`简化了`Protocol buffer`语言，既易于使用，又可以在更加广泛的编程语言中使用：我们当前的版本允许你使用`Java`,`C++`,`Python`,```````Java``````Lite```````,`Ruby`,`JavaScript`,`Objective-C`以及`C#`生成`Protocal buffer`代码。此外，您可以使用最新的`Go protoc`插件为`Go`生成`proto3`代码，该插件从[golang/protobuf gihhub][golang_protobuf gihhub]仓库获得。更多的语言在筹备中。

请注意，两种语言版本的`API`不完全兼容。为避免给现有用户带来不便，我们将继续在新的`Protocol buffer`协议中支持以前的语言版本。

您可以在[发行说明中][Link 3]看到与当前默认版本的主要差异，并在[Proto3 Language Guide][]中了解`Proto3`的语法。`Proto3`的完整文档即将推出。

(如果名称`proto2`和`proto3`看起来有点令人困惑，那是因为我们最初开源的的`Prototol buffer`时，它实际是Google的第二版语言——也称为`proto2`。这也是我们的开源版本号从`v2.0.0`开始的原因）。

## 有点历史 ##

`Protocol buffer`是最初Google开发的，用于处理索引服务器请求/响应协议。在`Protocol buffer`之前，有一种请求和响应的格式，它使用请求和响应的手动编组/解组，并支持多种版本的协议。这导致了一些非常丑陋的代码，例如：

if（version == 3){
        ...
    }else if(version > 4)
    {
        if(version == 5)
        {
            ...
        }
        ...
    }

明确格式化的协议也使新协议版本的推出变得复杂，因为开发人员必须确保请求的发起者和处理请求的实际服务器之间的所有服务器都能理解新协议，然后才能切换开关以开始使用新协议。

`Prototol buffer`旨在解决许多这些问题：

*  可以轻松引入新字段，而不需要检查数据的中间服务器可以简单地解析它并传递数据而无需了解所有字段。
 *  格式更具有自我描述性，可以用各种语言(`C++`,`Java`等)处理。

但是，用户仍然需要手写自己的解析代码。

随着系统的发展，它获得了许多其他功能和用途：

*  自动生成的序列化和反序列化代码避免了手动解析的需要
 *  除了用于短期`RPC`（远程过程调用）请求之外，人们还开始使用协议缓冲区作为一种方便的自描述格式，用于持久存储数据（例如，在`Bigtable`中)。
 *  服务器`RPC`接口开始被声明为协议文件的一部分，协议编译器生成存根类，用户可以通过服务器接口的实际实现来覆盖它们。

`Protocol buffer`现在是Google的数据通用语言——在撰写文本时，Google 代码树中定义了48162种不同的消息类型，它涵盖了12183个`.proto`文件。它们既可用于`RPC`系统，也可以用于各种存储系统中的数据持久存储。

[Protocol Buffer Language Guide]: https://developers.google.cn/protocol-buffers/docs/proto
[API Reference section]: https://developers.google.cn/protocol-buffers/docs/reference/overview
[Protocol Buffer Encoding]: https://developers.google.cn/protocol-buffers/docs/encoding
[Link 1]: https://developers.google.cn/protocol-buffers/docs/reference/cpp/google.protobuf.text_format
[Download the package]: https://developers.google.cn/protocol-buffers/docs/downloads
[Link 2]: https://developers.google.cn/protocol-buffers/docs/tutorials
[Link 3]: https://github.com/protocolbuffers/protobuf/releases
[golang_protobuf gihhub]: https://github.com/golang/protobuf
[Proto3 Language Guide]: https://developers.google.cn/protocol-buffers/docs/proto3