【Android】移动端接入Cronet实践

一时失言乱红尘 2021-11-17 08:04 1150阅读 0赞

### 移动端接入Cronet实践 ###

*   *  QUIC协议
     *  获取Chromium源码
     *  编译Cronet
     *   *  Android / iOS builds
         *  Desktop builds (targets the current OS)
         *  Running the ninja files
         *  生成的文件
     *  使用Cronet
     *   *  Android Debug Log
         *   *  See VLOG(1) and VLOG(2) logging:
             *  See VLOG(1) logging:
             *  See NO (only FATAL) logging:
         *  Network Log
     *  GN语法
     *  Cronet request lifecycle
     *  参考资料

## QUIC协议 ##

[QUIC, a multiplexed stream transport over UDP][QUIC_ a multiplexed stream transport over UDP] 是Chromium使用的通信协议，是基于UDP实现的类似于 TCP+TLS+HTTP/2 的协议。也是HTTP 3.0的设计方案。有兴趣的话大家可参考文档： [Playing with QUIC][]

Chromium项目是开源的，The Chromium Projects([http://dev.chromium.org/chromium-projects][http_dev.chromium.org_chromium-projects]) 文档详细介绍了Chromium项目的实现原理，以及如何获取源码并进行编译。

Cronet 库是Chrome使用的移动端网络库。支持 HTTP、HTTP/2 以及 QUIC 协议。支持 Android 和 iOS 平台。 其编译工具是 gn 和 ninja，类似于 cmake 与 make 的关系。 下面介绍 Cronet 库的编译及编译注意事项。

## 获取Chromium源码 ##

可以参考官方文档：[Checking out and building Chromium for Mac][]

获取源码之前，首先需要下载安装 [depot\_tools][depot_tools] 工具。在一个适当的目录下clone depot\_tools包：

$ git clone https://chromium.googlesource.com/chromium/tools/depot_tools.git

将`depot_tools`的路径（最好是绝对路径，`~`需替换为`$HOME`）加进环境变量PATH中，假设 `depot_tools` 工程在`/path/to/depot_tools`目录下：

export PATH=$PATH:/path/to/depot_tools

如果从来没有下载过Chromium的代码的话，为源码创建一个文件夹并下载源码：

mkdir chromium && cd chromium
    fetch --no-history chromium       # 可能花费30min或几小时，依网络速度而不同

`–no-history` 可以节省代码下载时间，它忽略仓库的历史信息；整个代码量较大，约 14G，且**需要翻墙**，1M 左右的速度需要 20~30 分钟。若中间拉取失败，可以执行 `gclient sync` 继续拉取， 拉取结束后，该目录会生成一个 src 目录，包含 cronet 源码。

获取源码是很漫长的过程，Chromium项目的源码有8G。我花了2个半小时才完成。中途遇到了download\_from\_google\_storage.py 下载文件没反应的问题，参考了[Chromium的源码获取与编译（2018-06-06）][Chromium_2018-06-06]

命令行翻墙，需要使用 http proxy 配置：

export http_proxy=http://127.0.0.1:8118 
    export https_proxy=http://127.0.0.1:8118 
    
    // git代理，我没有使用
    git config --global http.proxy 'socks5://127.0.0.1:1080' 
    git config --global https.proxy 'socks5://127.0.0.1:1080'

启动 privoxy 转换 socks5 为 http proxy：

privoxy --no-daemon /usr/local/etc/privoxy/config

## 编译Cronet ##

Cronet的源码位于 [`src/components/cronet`][src_components_cronet] 目录，官方编译流程可参考[Cronet build instructions][]，编译环境要求：

*  Linux：python 2.7.5，及 jdk 8，较高版本由于接口不兼容需避免使用。
 *  Mac: python 2.7.5，jdk 8，以及 xcode。 进入 chromium/src 目录，执行下面命令

### Android / iOS builds ###

$ ./components/cronet/tools/cr_cronet.py gn --out_dir=out/Cronet   # 生成 ninja 文件

如果主机是linux，build的是Android的库。如果主机是MacOS，build的是ios库。以下命令在Mac上会生成 cronet 静态库，目录 obj/components/cronet/ios/libcronet\*.a

### Desktop builds (targets the current OS) ###

gn gen out/Cronet

### Running the ninja files ###

输入 ninja 文件执行编译，必须指定为 cronet\_package

$ ninja -C out/Cronet cronet_package

这个命令会编译 cronet 模块，及其依赖的所有模块，包括base，crypto，boringssl，protobuf，url等。编译Cronet库，最终文件可以在`out/Cronet/cornet`中寻找。

### 生成的文件 ###

iOS 库：

*  out/MyCronet/obj/components/cronet/ios/libcronet.a， 大小为 89M；
 *  out/MyCronet/obj/components/cronet/ios/libcronet\_static.a， 大小为 17M；
 *  out/MyCronet/obj/components/cronet/ios/libcronet\_deps\_complete.a，大小为 1G。

Android 库：

*  out/Cronet-android/lib.java/components/cronet/android/ 所有 jar 包在此目录下，一般不用；
 *  out/Cronet-android/cronet/ **需要使用cronet库的java API的so、及jar包都在此目录下**；
 *  out/Cronet-android/libcronet.77.0.3825.0.so，strip 后的库，6M；
 *  out/Cronet-android/lib.unstripped，未 strip 的库在此目录下。50.9M;
 *  out/Cronet-android/gen/components/cronet/android/cronet\_jni\_registration.h，该文件便是自动生成的JNI头文件

## 使用Cronet ##

### Android Debug Log ###

C++层的日志可以通过 `adb logcat` 输出. 但是默认只显示 FATAL 级别的日志。如果想要更改日志输出级别，可以通过以下命令打开chromium日志输出:

#### See VLOG(1) and VLOG(2) logging: ####

$ adb shell setprop log.tag.CronetUrlRequestContext VERBOSE

#### See VLOG(1) logging: ####

$ adb shell setprop log.tag.CronetUrlRequestContext DEBUG

#### See NO (only FATAL) logging: ####

$ adb shell setprop log.tag.CronetUrlRequestContext NONE

### Network Log ###

NetLog 是 Chromium 网络模块的日志：[NetLog: Chrome’s network logging system][NetLog_ Chrome_s network logging system]。可以使用下面两行代码操作 dump 出 chromium 网络模块的日志:

CronetEngine.startNetLogToFile()
    CronetEngine.stopNetLog()

Chromium网络模块的日志输出内容是 JSON 格式的，所以**需要主动调用 `stopNetLog()` 方法保证 JSON日志的完整性。**

导出的log文件可以使用 [https://netlog-viewer.appspot.com/\#import][https_netlog-viewer.appspot.com_import] 分析。如果打不开，可以使用 [Chromium NetLog dump viewer][] 这个Chrome扩展程序。

## GN语法 ##

参考 [GN Quick Start guide][] 和 [GN Language and Operation][]，建议大家先了解下target的概念，因为gn命令操作的基本上都是target。

// 列出指定构建目录下所有的targets
    $ gn ls out/Default 
    
    // 查看当前环境的配置参数
    $ gn args --list out/Default
    
    // 显示关于一个给定target或config的信息。
    // usage:  gn desc <out_dir> <label or pattern> [<what to show>] [--blame] [--format=json]
    $ gn desc out/Default net
    
    // 查找两个taregets之间的依赖路径
    $ gn path out/Default //base //net --all
    
    // 查找反向的依赖(也就是依赖此target的其他targets)
    $ gn refs out/Default/ //net
    
    // 检查头文件依赖的有效性
    $ gn check out/Default/ //net

## Cronet request lifecycle ##

\[外链图片转存失败(img-Oj5Ub8tT-1564461659657)(/gallery/android\_commoncronet-lifecycle.svg)\]

$ ninja -help
    usage: ninja [options] [targets...]
    
    if targets are unspecified, builds the 'default' target (see manual).
    
    options:
      --version  print ninja version ("1.8.2")
    
      -C DIR   change to DIR before doing anything else
      -f FILE  specify input build file [default=build.ninja]
    
      -j N     run N jobs in parallel [default=6, derived from CPUs available]
      -k N     keep going until N jobs fail [default=1]
      -l N     do not start new jobs if the load average is greater than N
      -n       dry run (don't run commands but act like they succeeded)
      -v       show all command lines while building
    
      -d MODE  enable debugging (use -d list to list modes)
      -t TOOL  run a subtool (use -t list to list subtools)
        terminates toplevel options; further flags are passed to the tool
      -w FLAG  adjust warnings (use -w list to list warnings)

## 参考资料 ##

*  [Cronet build instructions][] \- Google chromium官方文档 [Cronet源码][src_components_cronet]
 *  [QUIC协议初探-iOS实践][QUIC_-iOS]
 *  [蘑菇街 App Chromium 网络栈实践][App Chromium]
 *  [Cronet 库编译指南][Cronet]
 *  [Employing QUIC Protocol to Optimize Uber’s App Performance][Employing QUIC Protocol to Optimize Uber_s App Performance] \- Uber Engineering Blog
 *  [Cronet request lifecycle][]
 *  [QQ 空间已在生产环境中使用 QUIC 协议][QQ _ QUIC]
 *  [Cronet should provide Native API for use on Android and iOS][]

[QUIC_ a multiplexed stream transport over UDP]: https://www.chromium.org/quic
[Playing with QUIC]: https://www.chromium.org/quic/playing-with-quic
[http_dev.chromium.org_chromium-projects]: http://dev.chromium.org/chromium-projects
[Checking out and building Chromium for Mac]: https://chromium.googlesource.com/chromium/src/+/master/docs/mac_build_instructions.md
[depot_tools]: https://commondatastorage.googleapis.com/chrome-infra-docs/flat/depot_tools/docs/html/depot_tools_tutorial.html#_setting_up
[Chromium_2018-06-06]: https://www.jianshu.com/p/08aa03e8ce18
[src_components_cronet]: https://chromium.googlesource.com/chromium/src/+/master/components/cronet/
[Cronet build instructions]: https://chromium.googlesource.com/chromium/src/+/master/components/cronet/build_instructions.md
[NetLog_ Chrome_s network logging system]: https://www.chromium.org/developers/design-documents/network-stack/netlog
[https_netlog-viewer.appspot.com_import]: https://netlog-viewer.appspot.com/#import
[Chromium NetLog dump viewer]: https://chrome.google.com/webstore/detail/chromium-netlog-dump-view/hfnehammfofphmomkllapngelnabmcho
[GN Quick Start guide]: https://chromium.googlesource.com/chromium/src/tools/gn/+/48062805e19b4697c5fbd926dc649c78b6aaa138/docs/quick_start.md
[GN Language and Operation]: https://chromium.googlesource.com/chromium/src/tools/gn/+/48062805e19b4697c5fbd926dc649c78b6aaa138/docs/language.md#Targets
[QUIC_-iOS]: https://mp.weixin.qq.com/s/NbewZ1NU49qSjIcdFrpotw
[App Chromium]: https://www.infoq.cn/article/mogujie-app-chromium-network-layer/
[Cronet]: https://juejin.im/post/5d087863f265da1b6029053c
[Employing QUIC Protocol to Optimize Uber_s App Performance]: https://eng.uber.com/employing-quic-protocol/
[Cronet request lifecycle]: https://developer.android.com/guide/topics/connectivity/cronet/lifecycle
[QQ _ QUIC]: https://www.infoq.cn/article/2017/10/qzone-quic-practise
[Cronet should provide Native API for use on Android and iOS]: https://bugs.chromium.org/p/chromium/issues/detail?id=786559