Golang版protobuf的安装与使用

秒速五厘米 2022-04-22 21:20 305阅读 0赞

## Protobuf 介绍 ##

序列化库在网络传输，RPC，数据库访问等环境中经常用到，它的性能的好坏直接影响着整个产品的性能, 所以我们有必要对一些优秀的序列化库进一步的学习与掌握.

`protobuf`是Google开发的一种数据描述语言语言，能够将结构化的数据序列化，可用于数据存储，通信协议等方面,官方版本支持 Go, C++, Java, Python，社区版本支持更多语言.

相对于JSON和XML具有以下优点：

*  简洁
 *  体积小:消息大小只需要XML的1/10 ~ 1⁄3
 *  速度快:解析速度比XML快20 ~ 100倍
 *  使用Protobuf的编译器,可以生成更容易在编程中使用的数据访问代码
 *  更好的兼容性,Protobuf设计的一个原则就是要能够很好的支持向下或向上兼容

本文主要以Go语言的方式来具体讲述如何使用Pb进行数据的定义与传输

## Protobuf 使用 ##

### 安装 ###

1.从 [https://github.com/google/protobuf/releases][https_github.com_google_protobuf_releases] 获取 Protobuf 编译器 protoc

wget https://github.com/google/protobuf/releases/download/v2.6.1/protobuf-2.6.1.tar.gztar zxvf protobuf-2.6.1.tar.gz
    cd protobuf-2.6.1./configure
    make
    make install
    protoc   -h

Bash

2.获取 goprotobuf 提供的 Protobuf 插件 protoc-gen-go（被放置于 $GOPATH/bin 下，$GOPATH/bin 应该被加入 PATH 环境变量，以便 protoc 能够找到 protoc-gen-go）

此插件被 protoc 使用，用于编译 .proto 文件为 Golang 源文件，通过此源文件可以使用定义在 .proto 文件中的消息。

go get github.com/golang/protobuf/protoc-gen-go
     
    cd github.com/golang/protobuf/protoc-gen-go
     
    go build
     
    go install
     
    vi /etc/profile 将$GOPATH/bin 加入环境变量
     
    source profile

Bash

3.获取 goprotobuf 提供的支持库，包含诸如编码（marshaling）、解码（unmarshaling）等功能

go get github.com/golang/protobuf/proto
    cd github.com/golang/protobuf/proto
    go build
    go install

Bash

## 使用 go protobuf ##

接着, 我们进行数据格式的定义, 写一个简单的例子: 我们在 $GOPATH下新建一个测试项目 pblearn/packet 在 $GOPATH/pblearn/packet 下, 创建一个名为 packet.proto 的文件, 然后编写如下的内容

syntax = "proto2";
    package packet;
    message Header{
        required string messageId = 1;
        required string topic = 2;
    }
    message BytesMessage{
        required Header  header= 1;
        required  bytes body = 2;    
    }
    message StringMessage{
        required Header header = 1;
        required string body = 2;
    }

Proto

然后通过 –go\_out 来使用 goprotobuf 提供的 Protobuf 插件 protoc-gen-go。这时候我们会生成一个名为 test.pb.go 的源文件, 参考如下

protoc --go_out=. *.proto

Bash

注：若在编译过程中出现以下的报错
    
    packet.proto:1:1: Expected top-level statement (e.g. "message").
    
    可能起因: 实际上是由于在简体操作系统下,默认的proto文件,其实就是文本文件,的"被读取编码"是GB2312,如果proto文件不是使用该编码编写的,而是utf-8等其他格式,文件头会有乱码,即在message前会有1位乱码,导致protoc程序无法识别到messge开头的标识,导致了异常,
    
    解决: 修改GB2312编码保存后，继续编译成功.

命令执行后, pblearn/packet 下会生成一个go的文件 packet.pb.go, 这个就是我们消息操作对象

最后,我们可以编写测试例子, 在 在 $GOPATH/pblearn/ 下,我们编写 main.go

package main
    
    import (
        // 辅助库
        "github.com/golang/protobuf/proto"
        // test.pb.go 的路径
        "./packet"
    )
    
    func main() {
    
        bodyData := "shenzhen/nanshan/tencent/company"
    
        p := &packet.StringMessage{
            Body: proto.String(bodyData),
            Header: &packet.Header{
                MessageId: proto.String("1234567890"),
                Topic:     proto.String("golang"),
            },
        }
    
        pData, err := proto.Marshal(p)
    
        if err != nil {
            println(err.Error())
        }
        println(string(pData))
    
        p2 := &packet.StringMessage{}
        proto.Unmarshal(pData, p2)
    
        println(p2.GetHeader().GetTopic())
    }

通过运行例子 go run main.go 可以发现, 我们的数据格式可以正常的序列化和反序列化了.

这样,我们日后可以根据自己的业务需要, 进行高效的数据传输

参考文献：

[https://lihaoquan.me/2017/6/29/how-to-use-protobuf.html][https_lihaoquan.me_2017_6_29_how-to-use-protobuf.html]

[https_github.com_google_protobuf_releases]: https://github.com/google/protobuf/releases
[https_lihaoquan.me_2017_6_29_how-to-use-protobuf.html]: https://lihaoquan.me/2017/6/29/how-to-use-protobuf.html