Mp4V2与ffmpeg静态库符号冲突问题解决

柔情只为你懂 2021-11-05 01:32 329阅读 0赞

一、为什么静态符号会冲突

无论macho二进制类型，还是Windows上的PE格式，还是Linux上的ELF格式，里面都是按照特定格式存放的一个程序的代码和数据

比如Linux下的可执行文件格式，大致分为下面这些段

参考：[https://www.ibm.com/developerworks/cn/linux/l-excutff/][https_www.ibm.com_developerworks_cn_linux_l-excutff]　　　　![688750-20190629145209500-735474150.png][]

不同操作系统支持的可执行文件格式不一样，但是不同平台上面可执行文件执行的流程是一样的。读取可执行文件，分别解析不同段，并解析之后，映射到进程中，

进程中的内存分布也是分段，这样方便数据组织和权限管理。

不同的静态库文件，映射到进程之后，还存在一个软连接的过程，想象一下，一个函数在其他B库中实现，A要使用的时候，是怎么调用的。

怎么知道B中方法的地址呢。

在B库映射到进程中后，A方法调用这个函数（符号）之前，操作系统已经找到这个符号在进程中的地址，建立符号->之际函数入口点的过程，就是符号表映射的过程，

这也是fishhook的原理，以上是我的理解。

二、分析工具介绍

有一个工具nm，能够用来分析二进制文件，可以扫描到可执行文件中的符号、以及相关信息。

NAME
           nm - list symbols from object files
    
    SYNOPSIS
           nm [-A|-o|--print-file-name] [-a|--debug-syms]
              [-B|--format=bsd] [-C|--demangle[=style]]
              [-D|--dynamic] [-fformat|--format=format]
              [-g|--extern-only] [-h|--help]
              [-l|--line-numbers] [-n|-v|--numeric-sort]
              [-P|--portability] [-p|--no-sort]
              [-r|--reverse-sort] [-S|--print-size]
              [-s|--print-armap] [-t radix|--radix=radix]
              [-u|--undefined-only] [-V|--version]
              [-X 32_64] [--defined-only] [--no-demangle]
              [--plugin name] [--size-sort] [--special-syms]
              [--synthetic] [--target=bfdname]
              [objfile...]
    
    DESCRIPTION
           GNU nm lists the symbols from object files objfile....  If no object
           files are listed as arguments, nm assumes the file a.out.
    
           For each symbol, nm shows:
            # ... run man nm for detials.

不同符号的不同类型

<table> 
 <thead> 
  <tr> 
   <th>Value</th> 
   <th>Descripition</th> 
   <th>Note</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>A</td> 
   <td>The symbol's value is absolute, and will not be changed by further linking.</td> 
   <td>符号绝对，链接过程不会改变</td> 
  </tr> 
  <tr> 
   <td>B/b</td> 
   <td>The symbol is in the uninitialized data section (known as BSS).</td> 
   <td>非初始化符号</td> 
  </tr> 
  <tr> 
   <td>C</td> 
   <td>The symbol is common.</td> 
   <td>公有符号，链接时会被同名符号覆盖</td> 
  </tr> 
  <tr> 
   <td>D/d</td> 
   <td>The symbol is in the initialized data section.</td> 
   <td>初始化符号</td> 
  </tr> 
  <tr> 
   <td>G/g</td> 
   <td>The symbol is in an initialized data section for small objects.</td> 
   <td>初始化符号，面向小数据访问优化</td> 
  </tr> 
  <tr> 
   <td>I</td> 
   <td>The symbol is an indirect reference to another symbol.</td> 
   <td>其它符号的间接引用</td> 
  </tr> 
  <tr> 
   <td>N</td> 
   <td>The symbol is a debugging symbol.</td> 
   <td>调试符号</td> 
  </tr> 
  <tr> 
   <td>P</td> 
   <td>The symbols is in a stack unwind section.</td> 
   <td>栈区符号（清空）</td> 
  </tr> 
  <tr> 
   <td>R/r</td> 
   <td>The symbol is in a read only data section.</td> 
   <td>符号只读</td> 
  </tr> 
  <tr> 
   <td>S/s</td> 
   <td>The symbol is in an uninitialized data section for small objects.</td> 
   <td>非初始化符号，面向小数据访问优化</td> 
  </tr> 
  <tr> 
   <td>T/t</td> 
   <td>The symbol is in the text (code) section.</td> 
   <td>代码区符号</td> 
  </tr> 
  <tr> 
   <td>U</td> 
   <td>The symbol is undefined.</td> 
   <td>未定义或在外部定义的符号</td> 
  </tr> 
  <tr> 
   <td>u</td> 
   <td>The symbol is a unique global symbol.</td> 
   <td>全局唯一，GNU保留符</td> 
  </tr> 
  <tr> 
   <td>V/v</td> 
   <td>The symbol is a weak object.</td> 
   <td>弱定义符（详见C++强弱符号定义）</td> 
  </tr> 
  <tr> 
   <td>W/w</td> 
   <td>The symbol is a weak symbol that has not been specifically tagged as a weak object symbol.</td> 
   <td>emm...绕口令符号</td> 
  </tr> 
  <tr> 
   <td>-</td> 
   <td>The symbol is a stabs symbol in an a.out object file.</td> 
   <td>stabs格式符号</td> 
  </tr> 
  <tr> 
   <td>?</td> 
   <td>The symbol type is unknown, or object file format specific.</td> 
   <td>NM也不认识的符号</td> 
  </tr> 
 </tbody> 
</table>

比如：（参考 [https://www.jianshu.com/p/a86bd1b8e4a5][https_www.jianshu.com_p_a86bd1b8e4a5]）

rew@rew:/usr/lib64$ nm libpthread.a
    
    nptl-init.o:
                     U __default_pthread_attr
                     U __default_pthread_attr_lock
                     U _dl_cpuclock_offset
                     U _dl_get_tls_static_info
                     U _dl_init_static_tls
                     U _dl_pagesize
                     U _dl_wait_lookup_done
                     U __fork_generation
                     U __getrlimit
                     U __is_smp
                     U __libc_fatal
    0000000000000008 C __libc_multiple_threads_ptr
                     U __libc_pthread_init
                     U __libc_setup_tls
                     U __libc_sigaction
                     U __libc_stack_end
                     U __lll_lock_wait_private
                     U __lll_unlock_wake_private
    0000000000000000 b __nptl_initial_report_events
    00000000000001b0 T __nptl_set_robust
                     U __nptl_setxid_error
    0000000000000000 r nptl_version
    00000000000004b0 T __pthread_get_minstack
    00000000000001d0 T __pthread_initialize_minimal
    00000000000001d0 T __pthread_initialize_minimal_internal

三、问题解决过程

最近发现，米家App中新引入了一个Mp4V2的.a静态库后，ffmpeg工作不正常了，Xcode调试过程中没有任何信息，只能看到crash

![688750-20190629150702462-1095941414.png][]

经过一番思索，猜测可能是这个库和ffmpeg本来的库存在符号冲突，使用nm工具导出所有符号

在静态库libmp4v2.a同级目录下面执行 命令

nm -U libmp4v2.a  | grep  -v ' t ' | grep -v ' s ' | grep -v ' d ' |  grep -v ' b ' | awk '{print $3}' | tr -s '\n' > symbol.txt

看下symbol.txt的结果

cat symbol.txt

![688750-20190629151209522-1368696066.png][]

生成的符号结果很多，其中因为.a是fat结构，很多符号是冲突的。

一些符号明显带有mp4v2的标记，不可能跟ffmpeg冲突，所以，要对结果过滤下

编写一段脚本代码，过滤这个文本

过滤掉Mp4相关，并且去重

#!/usr/bin/env python3
    # _*_ coding:utf-8 _*_
    #
    # @Version : 1.0
    # @Time    : 2019/6/29 3:13
    # @Author  : ddyt
    # @File    : LessSymbol.py
    #
    # 符号表处理
    
    import cxxfilt
    
    if __name__ == '__main__':
        s = set()
        file = open("symbol.txt")
        fileLines = file.readlines()
        for line in fileLines:
            if "mp4" not in line and line.rstrip() not in s and "MP4" not in line:
                print(cxxfilt.demangle(line.rstrip()))
                s.add(line.rstrip())

过滤结果

![688750-20190629151523896-1049416202.png][]

部分符号看起来很复杂，这个是C++类的方法经过编译器mangle之后生成的

将所有内容进行demangle，打开 [https://demangler.com/][https_demangler.com]，输入脚本生成的结果，demangle

可以看到一些复杂的符号，是C++ string的符号产生的，忽略掉这些符号

![688750-20190629151821450-841658234.png][]

可以看到一些特殊的方法

_av_free
    _av_freep
    _av_log2
    _av_log2_16bit
    _av_malloc
    _av_mallocz
    _av_realloc
    _av_realloc_array
    _av_realloc_f
    _av_reallocp
    _av_reallocp_array
    _avio_w8
    _avio_wb16
    _avio_wb32
    _avio_write
    _ff_avc_find_startcode
    _ff_avc_parse_nal_units
    _ff_avc_parse_nal_units_buf
    _ff_golomb_vlc_len
    _ff_interleaved_dirac_golomb_vlc_code
    _ff_interleaved_golomb_vlc_len
    _ff_interleaved_se_golomb_vlc_code
    _ff_interleaved_ue_golomb_vlc_code
    _ff_isom_write_hvcc
    _ff_se_golomb_vlc_code
    _ff_ue_golomb_len
    _ff_ue_golomb_vlc_code
    _mov_assm_hvcc_data
    _mov_hvcc_add_nal_unit
    _mov_write_hev1_tag
    _mov_write_hvcc_tag

这些带有ff前缀和av前缀的，就是来自ffmpeg，这些符号就是冲突的根源

再看下crash时候的堆栈，最后一个方法avio\_write在上面的符号中

![688750-20190629150702462-1095941414.png][]

现在冲突的原因找到了，处理思路分为两种

1、修改冲突的函数的名字

2、使用宏定义来修改函数的名字

这里采用第一种，使用Visual Code打开代码目录

![688750-20190629152221350-1507719466.png][]

然后，针对可能冲突的符号，逐一全局查找替换

![688750-20190629152308037-992918681.png][]

到此，工作基本完成

修改完毕之后，合并测试

转载于:https://www.cnblogs.com/doudouyoutang/p/11106725.html

[https_www.ibm.com_developerworks_cn_linux_l-excutff]: https://www.ibm.com/developerworks/cn/linux/l-excutff/
[688750-20190629145209500-735474150.png]: /images/20211104/b10005074b804b4790fef1c554940b4f.png
[https_www.jianshu.com_p_a86bd1b8e4a5]: https://www.jianshu.com/p/a86bd1b8e4a5
[688750-20190629150702462-1095941414.png]: /images/20211104/6d3bab80cd26440483fc162bbf546ebe.png
[688750-20190629151209522-1368696066.png]: /images/20211104/6a69ba0c4f064f539bb31724404dc297.png
[688750-20190629151523896-1049416202.png]: /images/20211104/1cbc8ae599ea4d6f8af0ea123197fe52.png
[https_demangler.com]: https://demangler.com/
[688750-20190629151821450-841658234.png]: /images/20211104/2b08de84665c4150a33c41aa762057a9.png
[688750-20190629152221350-1507719466.png]: /images/20211104/3f19e47457154314969afbbb13b135af.png
[688750-20190629152308037-992918681.png]: /images/20211104/9518505e5991481f9b7dd661277128da.png