linux c brotli压缩简介

川长思鸟来 2021-08-26 15:19 446阅读 0赞

Brotli是一种全新的数据格式，可以提供比Zopfli高20-26%的压缩比。据谷歌研究，Brotli压缩速度同zlib的Deflate实现大致相同，而在Canterbury语料库上的压缩密度比LZMA和bzip2略大。 链接：Google开源Brotli压缩算法 微软使用了一种基于谷歌提供的C代码的实现，向.NET Core 2.1添加了Brotli压缩支持。由于Brotli得到了许多Web浏览器和Web服务器的广泛支持，所以.NET Core提供对这项技术的支持是非常有用的。

什么是 Brotli 压缩算法  
Brotli最初发布于2015年，用于网络字体的离线压缩。Google软件工程师在2015年9月发布了包含通用无损数据压缩的Brotli增强版本，特别侧重于HTTP压缩。其中的编码器被部分改写以提高压缩比，编码器和解码器都提高了速度，流式API已被改进，增加更多压缩质量级别。新版本还展现了跨平台的性能改进，以及减少解码所需的内存。

与常见的通用压缩算法不同，Brotli使用一个预定义的120千字节字典。该字典包含超过13000个常用单词、短语和其他子字符串，这些来自一个文本和HTML文档的大型语料库。预定义的算法可以提升较小文件的压缩密度。

使用brotli替换deflate来对文本文件压缩通常可以增加20%的压缩密度，而压缩与解压缩速度则大致不变。使用Brotli进行流压缩的内容编码类型已被提议使用“br”。

摘自：[https://zh.wikipedia.org/wiki/Brotli][https_zh.wikipedia.org_wiki_Brotli]

另附 Brotli 算法和其他算法的性能比较：

[https://cran.r-project.org/web/packages/brotli/vignettes/benchmarks.html][https_cran.r-project.org_web_packages_brotli_vignettes_benchmarks.html]  
[https://hacks.mozilla.org/2015/11/better-than-gzip-compression-with-brotli/][https_hacks.mozilla.org_2015_11_better-than-gzip-compression-with-brotli]  
大部分浏览器都已经支持Brotli压缩

Brotli浏览器支持

所以，除了gzip之外，该是支持Brotli的时候了！有关 ASP.NET 核心响应压缩中间件：[https://docs.microsoft.com/zh-cn/aspnet/core/performance/response-compression?view=aspnetcore-2.1&tabs=aspnetcore2x][https_docs.microsoft.com_zh-cn_aspnet_core_performance_response-compression_view_aspnetcore-2.1_tabs_aspnetcore2x]， 这篇文章中已经介绍了在asp.net core中使用 GzipCompressionProvider，同时也介绍了自定义提供程序来支持Brotli 压缩，微软.net团队博客有篇文章详细的介绍了Brotli [https://blogs.msdn.microsoft.com/dotnet/2017/07/27/introducing-support-for-brotli-compression/][https_blogs.msdn.microsoft.com_dotnet_2017_07_27_introducing-support-for-brotli-compression]。

在 netcoreapp2.1 包里面包含了 System.IO.Compression.Brotli

image

响应压缩中间件查看请求的头部并检查压缩提供者是否可以处理其中一种可接受的编码。默认情况下，只支持gzip算法。通过实施自定义压缩提供程序来支持自定义编码。自定义提供程序必须实现该ICompressionProvider接口。该接口包含一个具有编码名称的属性以及一个创建压缩流的方法。System.IO.Compression.Brotli.dll 提供了一个BrotliStream类，所以实现非常简单：

public class BrotliCompressionProvider : ICompressionProvider
    {
        public string EncodingName => "br";
        public bool SupportsFlush => true;
    
        public Stream CreateStream(Stream outputStream)
         {
                return new BrotliStream(outputStream,CompressionLevel.Fastest);
         }
     }

客户端提交的请求Accept-Encoding: br 标头。 该中间件使用自定义压缩的实现，并返回响应，其中Content-Encoding: br 标头。 客户端必须能够解压缩顺序用于工作的自定义压缩实现的自定义编码brotli 。

Vary和Content-Encoding标头会显示在响应。当压缩响应基于Accept-Encoding标头，有可能的多个压缩的版本响应和未压缩的版本。 若要指示客户端和代理服务器缓存，多个版本存在，并且应存储Vary标头添加与Accept-Encoding值。

// This method gets called by the runtime. Use this method to add services to the container.
    public void ConfigureServices(IServiceCollection services)
    {
        services.AddResponseCompression(options =>
        {
        options.Providers.Add();
        options.MimeTypes = ResponseCompressionDefaults.MimeTypes.Concat(new[] {         "image/svg+xml" });
        });
    
    }
    public void Configure(IApplicationBuilder app)
    {
        app.UseResponseCompression();
        app.UseStaticFiles();
        app.UseMvcWithDefaultRoute();
    }

[https_zh.wikipedia.org_wiki_Brotli]: https://zh.wikipedia.org/wiki/Brotli
[https_cran.r-project.org_web_packages_brotli_vignettes_benchmarks.html]: https://cran.r-project.org/web/packages/brotli/vignettes/benchmarks.html
[https_hacks.mozilla.org_2015_11_better-than-gzip-compression-with-brotli]: https://hacks.mozilla.org/2015/11/better-than-gzip-compression-with-brotli/
[https_docs.microsoft.com_zh-cn_aspnet_core_performance_response-compression_view_aspnetcore-2.1_tabs_aspnetcore2x]: https://docs.microsoft.com/zh-cn/aspnet/core/performance/response-compression?view=aspnetcore-2.1&tabs=aspnetcore2x
[https_blogs.msdn.microsoft.com_dotnet_2017_07_27_introducing-support-for-brotli-compression]: https://blogs.msdn.microsoft.com/dotnet/2017/07/27/introducing-support-for-brotli-compression/