Android Camera2Demo学习

左手的ㄟ右手 2022-12-03 09:06 296阅读 0赞

> 真的好难啊，我不会......之前没有接触过，一搜就陷入知识爆炸的海洋中毫无头绪，看了很多文章有几篇讲得很好，感谢，现在似懂非懂的状态，先梳理下，要配合代码一起看...

官方demo:[ android-Camera2Basic][android-Camera2Basic]

一、相机开发的一般流程：

1.  检测并访问相机资源 检查手机是否存在相机资源，如果存在则请求访问相机资源。
2.  创建预览界面，创建继承自SurfaceView并实现SurfaceHolder接口的拍摄预览类。有了拍摄预览类，即可创建一个布局文件，将预览画面与设计好的用户界面控件融合在一起，实时显示相机的预览图像。
3.  设置拍照监听器，给用户界面控件绑定监听器，使其能响应用户操作, 开始拍照过程。
4.  拍照并保存文件，将拍摄获得的图像转换成位图文件，最终输出保存成各种常用格式的图片。
5.  释放相机资源，相机是一个共享资源，当相机使用完毕后，必须正确地将其释放，以免其它程序访问使用时发生冲突。

二、相机开发需要注意：

1.  版本兼容性问题，Android 5.0以下的Camera和Android 5.0以上使用Camera2，Android 4.0以下的SurfaceView和Android 4.0以上的TextureView，Android 6.0以上要做相机等运行时权限兼容。
2.  设备兼容性问题，Camera/Camera2里的各种特性在有些手机厂商的设备实现方式和支持程度是不一样的，这个需要做兼容性测试，一点点踩坑。
3.  各种场景下的生命周期变化问题，最常见的是后台场景和锁屏场景，这两种场景下的相机资源的申请与释放，Surface的创建与销毁会带来一些问题，这个我们 后面会仔细分析。

*  如何将功能和UI分离？

利用Fragment，将各种点击事件（点击拍照、点击切换摄像头、点击切换闪光模式等）对应的功能封装在Fragment里，业务方在用的时候可以在Fragment之上蒙一层 UI（当然我们也需要提供默认的实现），这样就可以让功能和UI相分离，集成起来也非常的简便。

三、相机SDK框架图：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjczMTI0MQ_size_16_color_FFFFFF_t_70][]

*  CameraActivity：相机界面，主要用来实现UI的定制，实际功能（点击事件）交由CameraFragment完成。
 *  CameraFragment：向CameraActivity提供功能接口，完成CameraActivity里的点击事件，例如：拍照、录像等。
 *  CameraLifecycle：处理相机随着Activity生命周期变化的情况，内部持有CameraManager，处理相机初始化和释放，预览的创建与销毁等问题。
 *  CameraManager：相机的实际管理者，调用相机API来操作相机，进行拍照和录像等操作。
 *  Camera/Camera2：相机API

四、Camera2

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjczMTI0MQ_size_16_color_FFFFFF_t_70 1][]

系统向摄像头发送 Capture 请求，而摄像头会返回 CameraMetadata。整个流程建立在一个CameraCaptureSession的会话中。

Camera2 API中主要涉及以下几个关键类：

*  CameraManager：摄像头管理器，用于打开和关闭系统摄像头
 *  CameraCharacteristics：描述摄像头的各种特性，我们可以通过CameraManager的getCameraCharacteristics(@NonNull String cameraId)方法来获取。
 *  CameraDevice：描述系统摄像头，类似于早期的Camera。
 *  CameraCaptureSession：这是一个非常重要的API，当程序需要预览、拍照时，都需要先通过该类的实例创建Session。而且不管预览还是拍照，也都是由该对象的方法进行控制的，其中控制预览的方法为setRepeatingRequest()；控制拍照的方法为capture()。
 *  为了监听CameraCaptureSession的创建过程，以及监听CameraCaptureSession的拍照过程，Camera v2 API为CameraCaptureSession提供了StateCallback、CaptureCallback等内部类。
 *  CameraRequest和CameraRequest**.**Builder：当程序调用setRepeatingRequest()方法进行预览时，或调用capture()方法进行拍照时，都需要传入CameraRequest参数。CameraRequest代表了一次捕获请求，用于描述捕获图片的各种参数设置，比如对焦模式、曝光模式……总之，程序需要对照片所做的各种控制，都通过CameraRequest参数进行设置。CameraRequest.Builder则负责生成CameraRequest对象。
 *  CaptureResult：描述拍照完成后的结果。

4.1打开相机

在TextureView.SurfaceTextureListener()的onSurfaceTextureAvailable函数中调用了openCamera(width, height)函数，其实它对打开相机的过程做了一个封装，打开相机之前，首先要获取CameraManager，然后获取相机列表，进而获取各个摄像头（主要是前置摄像头和后置摄像头）的参数，这部分是在setUpCameraOutputs（）这个函数中完成的，里面通过mCameraManager.getCameraIdList()来获取cameraId列表，然后通过mCameraManager.getCameraCharacteristics(id) 获取每个id对应摄像头的参数，打开相机主要调用的是mCameraManager.openCamera(currentCameraId, stateCallback, backgroundHandler)方法

private void openCamera(int width, int height) {
            if (ContextCompat.checkSelfPermission(getActivity(), Manifest.permission.CAMERA)
                    != PackageManager.PERMISSION_GRANTED) {
                requestCameraPermission();
                return;
            }
            //获取相机列表并设置
            setUpCameraOutputs(width, height);
            //设置mTextureView，用TextureView预览
            configureTransform(width, height);
            Activity activity = getActivity();
            CameraManager manager = (CameraManager) activity.getSystemService(Context.CAMERA_SERVICE);
            try {
                if (!mCameraOpenCloseLock.tryAcquire(2500, TimeUnit.MILLISECONDS)) {
                    throw new RuntimeException("Time out waiting to lock camera opening.");
                }
                //这里才是真正的打开相机，参数的含义下面有解释
                manager.openCamera(mCameraId, mStateCallback, mBackgroundHandler);
            } catch (CameraAccessException e) {
                e.printStackTrace();
            } catch (InterruptedException e) {
                throw new RuntimeException("Interrupted while trying to lock camera opening.", e);
            }
        }

CameraCharacteristics里面的参数，主要用到的有以下几个：

*  LENS\_FACING：前置摄像头（LENS\_FACING\_FRONT）还是后置摄像头（LENS\_FACING\_BACK）。
 *  SENSOR\_ORIENTATION：摄像头拍照方向。
 *  FLASH\_INFO\_AVAILABLE：是否支持闪光灯。
 *  CameraCharacteristics.INFO\_SUPPORTED\_HARDWARE\_LEVEL：获取当前设备支持的相机特性。

mCameraManager.openCamera(currentCameraId, stateCallback, backgroundHandler)方法

*  String cameraId：摄像头的唯一ID。
 *  CameraDevice.StateCallback callback：用于监听摄像头的状态，摄像头打开的相关回调。
 *  Handler handler：代表执行callback的Handler，如果程序希望直接在当前线程中执行callback，则可将handler参数设为null。

CameraDevice.StateCallback，它是摄像头打开的一个回调，定义了打开，关闭以及出错等各种回调方法，我们可以在 这些回调方法里做对应的操作。

private final CameraDevice.StateCallback mStateCallback = new CameraDevice.StateCallback() {
    
            @Override
            public void onOpened(@NonNull CameraDevice cameraDevice) {
                // This method is called when the camera is opened.  We start camera preview here.
                mCameraOpenCloseLock.release();
                //获取CameraDevice
                mCameraDevice = cameraDevice;
                //开启预览
                createCameraPreviewSession();
            }
    
            @Override
            public void onDisconnected(@NonNull CameraDevice cameraDevice) {
                mCameraOpenCloseLock.release();
                //关闭CameraDevice
                cameraDevice.close();
                mCameraDevice = null;
            }
    
            @Override
            public void onError(@NonNull CameraDevice cameraDevice, int error) {
                mCameraOpenCloseLock.release();
                //关闭CameraDevice
                cameraDevice.close();
                mCameraDevice = null;
                Activity activity = getActivity();
                if (null != activity) {
                    activity.finish();
                }
            }
    
        };

4.2关闭相机

//关闭CameraDevice
    cameraDevice.close();

4.3开启预览

打开相机获取CameraDevice后，就可以开启预览了，就是在上面看到的createCameraPreviewSession()函数中完成，可以点进取看一下，Camera2都是通过创建请求会话的方式进行调用的，调用mCameraDevice.createCaptureRequest(CameraDevice.

TEMPLATE\_PREVIEW)方法创建CaptureRequest，调用mCameraDevice.createCaptureSession()方法创建CaptureSession。

createCaptureRequest()方法里参数templateType代表了请求类型，请求类型一共分为六种，分别为：

*  TEMPLATE\_PREVIEW：创建预览的请求
 *  TEMPLATE\_STILL\_CAPTURE：创建一个适合于静态图像捕获的请求，图像质量优先于帧速率。
 *  TEMPLATE\_RECORD：创建视频录制的请求
 *  TEMPLATE\_VIDEO\_SNAPSHOT：创建视视频录制时截屏的请求
 *  TEMPLATE\_ZERO\_SHUTTER\_LAG：创建一个适用于零快门延迟的请求。在不影响预览帧率的情况下最大化图像质量。
 *  TEMPLATE\_MANUAL：创建一个基本捕获请求，这种请求中所有的自动控制都是禁用的(自动曝光，自动白平衡、自动焦点)。

createCaptureSession()方法一共包含三个参数：

*  List outputs：我们需要输出到的Surface列表。
 *  CameraCaptureSession.StateCallback callback：会话状态相关回调。
 *  Handler handler：callback可以有多个（来自不同线程），这个handler用来区别那个callback应该被回调，一般写当前线程的Handler即可。

CameraCaptureSession.StateCallback里的回调方法：

*  onConfigured(@NonNull CameraCaptureSession session); 摄像头完成配置，可以处理Capture请求了。
 *  onConfigureFailed(@NonNull CameraCaptureSession session); 摄像头配置失败
 *  onReady(@NonNull CameraCaptureSession session); 摄像头处于就绪状态，当前没有请求需要处理。
 *  onActive(@NonNull CameraCaptureSession session); 摄像头正在处理请求。
 *  onClosed(@NonNull CameraCaptureSession session); 会话被关闭
 *  onSurfacePrepared(@NonNull CameraCaptureSession session, @NonNull Surface surface); Surface准备就绪

...
    // We set up a CaptureRequest.Builder with the output Surface.
    mPreviewRequestBuilder=mCameraDevice.createCaptureRequest(CameraDevice.TEMPLATE_PREVIEW);
    mPreviewRequestBuilder.addTarget(surface);
    
    // Here, we create a CameraCaptureSession for camera preview.
    ///注意这里除了预览的Surface，我们还添加了imageReader.getSurface()它就是负责拍照完成后用来获取数据的
    mCameraDevice.createCaptureSession(Arrays.asList(surface,mImageReader.getSurface(new CameraCaptureSession.StateCallback() {
    @Override
    public void onConfigured(@NonNull CameraCaptureSessioncameraCaptureSession) {
            // The camera is already closed
    if (null == mCameraDevice) {
                    return;
    }
    
    // When the session is ready, we start displaying the preview.
    mCaptureSession = cameraCaptureSession;
    try {
    // Auto focus should be continuous for camera preview.
    mPreviewRequestBuilder.set(CaptureRequest.CONTROL_AF_MODE,CaptureRequest.CONTROL_AF_MODE_CONTINUOUS_PICTURE);
    // Flash is automatically enabled when necessary.
    setAutoFlash(mPreviewRequestBuilder);
    mPreviewRequestBuilder.set(CaptureRequest.CONTROL_AF_MODE,                                       
    
    CaptureRequest.CONTROL_AF_MODE_CONTINUOUS_PICTURE);
    // Flash is automatically enabled when necessary.
    setAutoFlash(mPreviewRequestBuilder);
    // Finally, we start displaying the camera preview.
     mPreviewRequest = mPreviewRequestBuilder.build();
    //在onConfigured()里调用了cameraCaptureSession.setRepeatingRequest(previewRequest, //captureCallback, backgroundHandler)，这样可以
    //持续的进行预览了。
    mCaptureSession.setRepeatingRequest(mPreviewRequest,mCaptureCallback, mBackgroundHandler);
    } catch (CameraAccessException e) {
       e.printStackTrace();
    }
    }
    ...

添加了imageReader.getSurface()它就是负责拍照完成后用来获取数据，具体操作就是为ImageReader设置一个OnImageAvailableListener，然后在它的onImageAvailable() 方法里获取。

//这一步在setUpCameraOutputs()中
    mImageReader.setOnImageAvailableListener(mOnImageAvailableListener,mBackgroundHandler);
    
    //mOnImageAvailableListener具体是这样的
    private final ImageReader.OnImageAvailableListener mOnImageAvailableListener= new ImageReader.OnImageAvailableListener() {
    
            @Override
            public void onImageAvailable(ImageReader reader) {
               //当图片可得到的时候获取图片并保存
                mBackgroundHandler.post(new ImageSaver(reader.acquireNextImage(), mFile));
            }
    
        };

4.4拍照

拍照过程在函数lockFocus()中，在takePicture()中调用，takePicture()又是在onClick()函数中调用的，应该跟layout中的某个控件关联的点击事件，其实我还不知道这些是怎么跟layout关联起来的

...
    try {
          //相机对焦
          mPreviewRequestBuilder.set(CaptureRequest.CONTROL_AF_TRIGGER,CameraMetadata.CONTROL_AF_TRIGGER_START);
          //修改状态
          mState = STATE_WAITING_LOCK;
          //发送对焦请求
          mCaptureSession.capture(mPreviewRequestBuilder.build(),mCaptureCallback,mBackgroundHandler);
            } catch (CameraAccessException e) {
                e.printStackTrace();
     }

mCaptureSession.capture的第二个参数CameraCaptureSession.CaptureCallback是用来处理对焦请求返回的结果，点进去看里面调用captureStillPicture();进行拍照

private void captureStillPicture() {
            try {
                final Activity activity = getActivity();
                if (null == activity || null == mCameraDevice) {
                    return;
                }
                //构建用来拍照的CaptureRequest
                final CaptureRequest.Builder captureBuilder =
                        mCameraDevice.createCaptureRequest(CameraDevice.TEMPLATE_STILL_CAPTURE);
                captureBuilder.addTarget(mImageReader.getSurface());
    
                //使用相同的AR和AF模式作为预览
                captureBuilder.set(CaptureRequest.CONTROL_AF_MODE,
                        CaptureRequest.CONTROL_AF_MODE_CONTINUOUS_PICTURE);
                setAutoFlash(captureBuilder);
    
                //设置方向
                int rotation = activity.getWindowManager().getDefaultDisplay().getRotation();
                captureBuilder.set(CaptureRequest.JPEG_ORIENTATION, getOrientation(rotation));
                //创建会话
                CameraCaptureSession.CaptureCallback CaptureCallback
                        = new CameraCaptureSession.CaptureCallback() {
    
                    @Override
                    public void onCaptureCompleted(@NonNull CameraCaptureSession session,
                                                   @NonNull CaptureRequest request,
                                                   @NonNull TotalCaptureResult result) {
                        showToast("Saved: " + mFile);
                        Log.d(TAG, mFile.toString());
                        //取消对焦的函数，拍完照后会调用
                        unlockFocus();
                    }
                };
                //停止连续取景
                mCaptureSession.stopRepeating();
                //捕获照片
                mCaptureSession.abortCaptures();
                mCaptureSession.capture(captureBuilder.build(), CaptureCallback, null);
            } catch (CameraAccessException e) {
                e.printStackTrace();
            }
        }

拍完照后，要解锁相机焦点，让相机恢复预览状态，这个过程在unlockFocus();函数中

private void unlockFocus() {
            try {
                //重置自动对焦
                mPreviewRequestBuilder.set(CaptureRequest.CONTROL_AF_TRIGGER,
                        CameraMetadata.CONTROL_AF_TRIGGER_CANCEL);
                setAutoFlash(mPreviewRequestBuilder);
                mCaptureSession.capture(mPreviewRequestBuilder.build(), mCaptureCallback,
                        mBackgroundHandler);
                // 相机恢复正常的对焦状态
                mState = STATE_PREVIEW;
                //打开连续取景模式
                mCaptureSession.setRepeatingRequest(mPreviewRequest, mCaptureCallback,
                        mBackgroundHandler);
            } catch (CameraAccessException e) {
                e.printStackTrace();
            }
        }

上面的如有错误麻烦及时指正，其实还有好多没看懂...

【参考】

[https://blog.csdn.net/kanglong618/article/details/80701118][https_blog.csdn.net_kanglong618_article_details_80701118]

[https://wiki.jikexueyuan.com/project/android-actual-combat-skills/android-hardware-camera2-operating-guide.html][https_wiki.jikexueyuan.com_project_android-actual-combat-skills_android-hardware-camera2-operating-guide.html]

[https://juejin.im/post/6844903534610087943\#heading-8][https_juejin.im_post_6844903534610087943_heading-8]

[android-Camera2Basic]: https://github.com/googlearchive/android-Camera2Basic
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjczMTI0MQ_size_16_color_FFFFFF_t_70]: /images/20221123/448ff8cc258341b9a37dfec00dfd5bec.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjczMTI0MQ_size_16_color_FFFFFF_t_70 1]: /images/20221123/ebb649b29fd4432b9a4cb709ae983480.png
[https_blog.csdn.net_kanglong618_article_details_80701118]: https://blog.csdn.net/kanglong618/article/details/80701118
[https_wiki.jikexueyuan.com_project_android-actual-combat-skills_android-hardware-camera2-operating-guide.html]: https://wiki.jikexueyuan.com/project/android-actual-combat-skills/android-hardware-camera2-operating-guide.html
[https_juejin.im_post_6844903534610087943_heading-8]: https://juejin.im/post/6844903534610087943#heading-8