仿射扭曲---图像中的图像

r囧r小猫 2022-03-02 03:40 290阅读 0赞

# 仿射扭曲---图像中的图像 #

仿射扭曲的一个简单例子是将图像或者图像的一部分放置在另一幅图像中，使得他们能够和制定的区域或者标记物对齐。

扭曲的图像实在扭曲区域边界之外以0来填充的图像，来创建一个二值的alpha图像。简单地说，就是我们在地一幅图像中潜在0像素上加一个小的数值。（注意，这里使用的图像坐标是齐次坐标意义下的）

**图像映射**

1、单应性变换是将一个平面内的点映射到另一个平面内的二维投影变换。

![2019031915273495.png][]  
单应性矩阵还具有自由度的定义，该矩阵有8个自由元素。

（1）**仿射变换 **

简单来说，仿射变换就是允许图形任意倾斜，而且允许图形在两个方向上任意伸缩的变换。仿射变换具有6个自由度。

a.仿射变换可以保持原来的线共点、点共线的关系不变，保持原来相互平行的线仍然平行，保持原来的中点依然是中点，保持原来在一直线上几段线段之间的比例关系不变，非共线的三对对应点确定一个唯一的仿射变换。但仿射变换不能保持原来的线段长度和夹角角度。

b.仿射变换可以通过一系列的原子变换的复合来实现，包括平移、缩放、旋转、翻转和错切。

c.二维图像仿射变换

图像处理中，可应用仿射变换对二维图像进行平移、缩放、旋转等操作。实例如下：

![893836-20160303143621221-1015120775.png][]

经仿射变换后，图像关键点依然构成三角形，但三角形形状已经发生变化。

d.仿射变换公式如下：

![20190319153251953.png][]  
仿射变换包含一个可逆矩阵A和一个平移向量![\\tiny t=\[t\_\{x\},t\{\_\{y\}\}\]][tiny t_t_x_t_y],仿射变换可以应用于图像扭曲等场景。

（2）直接线性变换算法   
单应性矩阵可以由两幅图像（或者平面）中对应点对计算出来。每个对应点可以写出两个方程，分别对应与x和y坐标。因此，计算单应性矩阵H需要4个对应点对。   
DLT（Direct Linear Transformation，直接线性变换）是给定4个或者更多对应点对矩阵，来计算单应性矩阵H算法。我们可以得到下面的方程：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM3Mzc0NjQz_size_16_color_FFFFFF_t_70][]  
其中A是一个具有对应点对二倍数量行数的矩阵。

2、对图像块应用仿射变换，我们将其称为**图像扭曲**。

3、**Alpha通道**

Alpha通道是计算机图形学中的术语，指的是特别的通道，意思是“非彩色”通道，主要是用来保存选区和编辑选区。

在图形图像学中，透明通道也称Alpha通道，代表数字图像中像素点的透明信息。白色的Alpha像素用以定义不透明的彩色像素，而黑色的Alpha定以透明像素，黑白之间的灰阶则是彩色图片中的半透明部分。

4、**图像配准**是对图像进行变换，是变换后的图像能够在常见的坐标系中对齐。

以下是图像扭曲的简单实例：

内容：将一张图进行仿射变换后贴到另一张图的指定位置

# -*- coding: utf-8 -*-
    from PCV.geometry import warp, homography
    from PIL import  Image
    from pylab import *
    from scipy import ndimage
    
    # 仿射扭曲im1到im2的例子
    
    im1 = array(Image.open('E:/study_work/python/image/one.jpg').convert('L'))      # 要贴的图
    im2 = array(Image.open('E:/study_work/python/image/school11.jpg').convert('L'))    # 底图
    # 选定一些目标
    tp = array([[500,960,960,40],[350,270,860,850],[1,1,1,1]])               # 贴图所在底图的位置
    im3 = warp.image_in_image(im1,im2,tp)
    figure()
    gray()
    subplot(141)
    axis('off')
    imshow(im1)
    subplot(142)
    axis('off')
    imshow(im2)
    subplot(143)
    axis('off')
    imshow(im3)
    axis('equal')
    axis('off')
    
    # 将图片分成两个三角形，然后分别对它们进行扭曲图像操作
    
    # 选定im1角上的一些点
    m,n = im1.shape[:2]
    fp = array([[0,m,m,0],[0,0,n,n],[1,1,1,1]])
    # 第一个三角形
    tp2 = tp[:,:3]
    fp2 = fp[:,:3]
    # 计算H
    H = homography.Haffine_from_points(tp2,fp2)  # 返回给定tp2、fp2的最优仿射变换
    im1_t = ndimage.affine_transform(im1,H[:2,:2],
    (H[0,2],H[1,2]),im2.shape[:2])
    # 三角形的alpha
    alpha = warp.alpha_for_triangle(tp2,im2.shape[0],im2.shape[1])   # 三角形的alpha图像
    im3 = (1-alpha)*im2 + alpha*im1_t
    # 第二个三角形
    tp2 = tp[:,[0,2,3]]
    fp2 = fp[:,[0,2,3]]
    # 计算H
    H = homography.Haffine_from_points(tp2,fp2)
    im1_t = ndimage.affine_transform(im1,H[:2,:2],
    (H[0,2],H[1,2]),im2.shape[:2])
    # 三角形的alpha图像
    alpha = warp.alpha_for_triangle(tp2,im2.shape[0],im2.shape[1])
    im4 = (1-alpha)*im3 + alpha*im1_t
    subplot(144)
    imshow(im4)
    axis('off')
    show()

>     Haffine_from_points()函数会返回给对应点对的最有仿射变换。如果透视效应比较弱，那此方法会返回很好的结果，如果透视效应很强，那图像上使用射影变换输出图像的情况。
>     tp = array([[500,960,960,40],[350,270,860,850],[1,1,1,1]])表示贴图在地图上的位置、倾斜度。

在代码中我们为每个三角形都创建了alpha图像，然后将所有的图像合并起来。该三角形的alpha图像可以简单的通过检查像素的坐标是否能够写成三角形顶点坐标的凸组合来计算得出。

结果显示出了贴图、底图、以及仿射变换后的图和扭曲的图

![20190319150807120.png][]

实现过程中可能会遇到的错误：

![20190320163559588.png][]

这是因为PCV包中geometry里的warp.py里的matplotlib.delaunay不再被使用了，需要替换成相同功能的引用就行了

即将warp.py中的

import matplotlib.delaunay as md

换为

from scipy.spatial import Delaunay as md

就成了。

最后，本文章实例所展现的图片结果都是对图像进行灰度处理之后得出的，对于此实例的理解纯属我个人的想法，如有错误和建议，欢迎指出。

*参考：*

1、[何为仿射变换][Link 1]

2、[图像到图像的映射][Link 2]

3、[什么是Alpha通道？][Alpha]

[2019031915273495.png]: /images/20220302/c7d688b837a2483c895f5cca6337806e.png
[893836-20160303143621221-1015120775.png]: /images/20220302/9b7bd940e1dd4148b0529b58b67029c0.png
[20190319153251953.png]: /images/20220302/d76727df18e74914a6e5e233c8537458.png
[tiny t_t_x_t_y]: https://private.codecogs.com/gif.latex?%5Cdpi%7B200%7D%20%5Ctiny%20t%3D%5Bt_%7Bx%7D%2Ct%7B_%7By%7D%7D%5D
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM3Mzc0NjQz_size_16_color_FFFFFF_t_70]: /images/20220302/b20ec54908bd4413b8b0a90e3ff4bc1e.png
[20190319150807120.png]: /images/20220302/bc19e68b4135468a99afbf449abc80ba.png
[20190320163559588.png]: /images/20220302/24de05d6e6514625bb46175df1e7c80a.png
[Link 1]: https://www.cnblogs.com/bnuvincent/p/6691189.html
[Link 2]: https://blog.csdn.net/algzjh/article/details/80152230
[Alpha]: https://www.cnblogs.com/suogasus/p/5311264.html