什么是ISP?

Myth丶恋晨 2023-01-09 15:48 152阅读 0赞

ISP(Image signal processor)图像信号处理，用于处理图像信号传感器（sensor）输出的图像信号。

广义的ISP:ISP通过一系列数字图像处理算法完成对数字图像的效果处理。  
主要包括坏点校正、去噪、强光抑制、背光补偿、色彩增强、镜头阴影校正等处理。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDE3NDMxMg_size_16_color_FFFFFF_t_70_pic_center]  
ISP的控制结构上图所示，lens将光信号投射到sensor的感光区域后，sensor经过光电转换，将bayer格式的原始图像送给ISP，ISP经过算法处理，输出RGB空间区域的图像给后端的视频采集单元。  
在这个过程中，ISP通过运行在其上的firmvare对ISP逻辑，lens和sensor进行相应控制，进而完成自动光圈、自动曝光、自动白平衡等功能。其中firmware的运转靠视频采集单元的中断驱动。

广义的ISP  
DEMOSAIC :  
是ISP的主要功能之一。  
SENSOR的像素点上覆盖着CFA,光线通过CFA后照射到像素上。  
CFA 由RGB三种颜色遮光罩组成，每种遮光罩只允许一种颜色通过，因此每个像素输出的信号只包含R、G、B三者中的一种颜色信息。  
SENSOR输出这种数据就是BAYER数据，DEMOSAIC就是通过插值算法将每个像素所代表的真实颜色计算出来。

FOCUS:  
根据光学知识，景物在传感器上成像最清晰时处于合焦平面上。  
通过更改LENS的位置，使得景物在传感器上清晰的成像，是ISP FOCUS功能所需要完成的任务。  
FOCUS分为手动和自动两种模式。  
ISP可以运行CONTRAST AF、PDAF LASER AF等算法实现自动对焦。

曝光：EXPOSURE  
主要影响图像的明暗程度。ISP需要实现AE功能，通过控制曝光程度，使得图像亮度适宜。  
WB:白平衡 白平衡与色温相关，用于衡量图像的色彩真实性和准确性。ISP需要实现AWB功能，力求在各种复杂场景下精确还原物体本来的颜色。

LSC:用于消除图像周边和图像中心的不一致性，包含亮度和色度两方面。ISP需要借助OTP中的校准数据完成。

GAMMA CORRETION  
伽马校正，传感器对光线的响应和人眼对光线的响应是不同的。伽马校正就是使得图像看起来符合人眼的特性。

CROP/RESIZE:  
图像裁剪，即改变图像的尺寸，可用于输出不同分辨率的图像。  
VRA：  
视觉识别。用于识别特定的景物例如人脸识别。ISP通过各种VRA算法，准确识别特定景物。  
DRC:  
动态范围校正。动态范围即图像的明暗区间。DRC可以使暗处的景物不至于欠曝，亮出的景物不至于过曝。ISP需要支持DRC功能。

CSC：  
颜色空间转换 例如 ISP会将RGB信号转化为YUV信号输出。

IS：  
图像稳定。IS的主要作用是使得图像不要因为手持时轻微抖动而模糊不清。IS有很多种，例如OIS DIS EIS 。 ISP可以实现 DIS和EIS。

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDE3NDMxMg_size_16_color_FFFFFF_t_70_pic_center]: /images/20221119/66051a6b6171440aa33e29e7be5cf843.png