Android 虹软3.0SDK集成相关(人脸1:N视频流)

青旅半醒 2023-07-03 07:05 12阅读 0赞

#### 前言 ####

关于如何集成，各个API的作用，大家可以直接去官网看文档。  
[https://ai.arcsoft.com.cn/product/arcface.html][https_ai.arcsoft.com.cn_product_arcface.html]

在下载SDK后，一定要看一看SDK带的示例demo，由于我的业务需求主要是人脸和视频流之间的对比，如果你跟我一样的画，可以直接看demo中的`RegisterAndRecognizeActivity`。

#### demo中判断识别成功的位置 ####

由于我们一般集成这个sdk只是为了实现相关业务，我们首先关心的就是在哪里可以判断识别成功  
在`RegisterAndRecognizeActivity`的 `drawPreviewInfo`方法中

#### demo中人脸库在哪里 ####

demo中人脸库是FaceServer这个管理类来管理的。  
注册的人脸照片、人脸特征信息保存到了`文件`中，每次启动这个界面的时候，都会调用人脸库初始化方法，也就是`FaceServer`类的`initFaceList`方法，初始化就是将文件的信息读取到List中

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80Mzg4OTg0MQ_size_16_color_FFFFFF_t_70]

#### 识别的过程 ####

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80Mzg4OTg0MQ_size_16_color_FFFFFF_t_70 1]  
参数nv21就是每一时刻的帧数据。

List<FacePreviewInfo> facePreviewInfoList = faceHelper.onPreviewFrame(nv21);

这行代码的作用是将nv21数据给到facehelper类，返回来人脸信息。

继续往下看

faceHelper.requestFaceFeature(nv21, facePreviewInfoList.get(i).getFaceInfo(), previewSize.width, previewSize.height, FaceEngine.CP_PAF_NV21, facePreviewInfoList.get(i).getTrackId());

这一行就是对每一个前面返回的人脸信息进行提取特征的操作。

提取到特征后就去人脸库中搜索  
可以看`RegisterAndRecognizeActivity`中的`initCamera()`方法，在这个方法中有一个监听器`FaceListener`，监听器中的`onFaceFeatureInfoGet`方法参数feature就是刚才提取到的特征，可以看到  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80Mzg4OTg0MQ_size_16_color_FFFFFF_t_70 2]  
demo中是调用searchface方法进行搜索的，我们去searchface方法中看一看（这个方法中，主要使用了rxjava的知识，rxjava是观察者模式的典型，大家可以去了解一下，这里不再赘述。）  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80Mzg4OTg0MQ_size_16_color_FFFFFF_t_70 3]  
注意看的是它调用了faceserver人脸库管理类的`getTopOfFaceLib`方法，这就是具体比较特征的地方。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80Mzg4OTg0MQ_size_16_color_FFFFFF_t_70 4]  
可以看到调用了`compareFaceFeature`这个方法，这个方法我们不需要观察怎么实现，这是虹软为我们提供的比较人脸特征的接口，官方文档中也有写。

让我们回到刚才的searchFace方法中来再看看  
`getTopOfFaceLib`这个方法返回了一个比较结果的对象，包括相似度等信息，并且再下一行将比较结果给到了OnNext方法，如果了解观察者模式的话，可以说是把比较结果给到了观察者。

观察者做了什么呢？  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80Mzg4OTg0MQ_size_16_color_FFFFFF_t_70 5]  
首先是进行了一大堆错误情况判断。  
继续往下看  
![在这里插入图片描述][20200203201408101.png]  
如果是成功的，就会将这个特征给到`requestFeatureStatusMap`这个结构。  
然后`drawPreviewInfo`方法就会依靠于这个结构来进行判断，从而画出人脸识别成功的那个框。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80Mzg4OTg0MQ_size_16_color_FFFFFF_t_70 6]

[https_ai.arcsoft.com.cn_product_arcface.html]: https://ai.arcsoft.com.cn/product/arcface.html
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80Mzg4OTg0MQ_size_16_color_FFFFFF_t_70]: https://img-blog.csdnimg.cn/20200203194146646.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80Mzg4OTg0MQ==,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80Mzg4OTg0MQ_size_16_color_FFFFFF_t_70 1]: https://img-blog.csdnimg.cn/20200203194325538.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80Mzg4OTg0MQ==,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80Mzg4OTg0MQ_size_16_color_FFFFFF_t_70 2]: https://img-blog.csdnimg.cn/20200203195728211.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80Mzg4OTg0MQ==,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80Mzg4OTg0MQ_size_16_color_FFFFFF_t_70 3]: https://img-blog.csdnimg.cn/20200203200003851.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80Mzg4OTg0MQ==,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80Mzg4OTg0MQ_size_16_color_FFFFFF_t_70 4]: https://img-blog.csdnimg.cn/20200203200149734.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80Mzg4OTg0MQ==,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80Mzg4OTg0MQ_size_16_color_FFFFFF_t_70 5]: https://img-blog.csdnimg.cn/20200203201343223.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80Mzg4OTg0MQ==,size_16,color_FFFFFF,t_70
[20200203201408101.png]: https://img-blog.csdnimg.cn/20200203201408101.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80Mzg4OTg0MQ_size_16_color_FFFFFF_t_70 6]: https://img-blog.csdnimg.cn/20200203201625469.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80Mzg4OTg0MQ==,size_16,color_FFFFFF,t_70