OpenCV是应用广泛的开源图像处理库
一、OpenCV简介
1. 图像概念
- 图像
- 概念：
- 图像是人类视觉的基础，是自然景物的客观反映，是人类认识世界和人类本身的重要源泉；
- “图”是物体反射或透射光的分布，
- “像“是人的 视觉系统所接受的图在人脑中所形版的印象或认识
- 分类：
- 模拟图像(已经完全摒弃)
- 数字图像
- 概念：
1.1 数字图像的表示
- 图像的分类：
- 二值图像
- 一幅二值图像的二维矩阵仅由0、1两个值构成，“0”代表黑色，“1”代白色。
- 灰度图
- 每个像素只有一个采样颜色的图像，这类图像通常显示为从最暗黑色到最亮的白色的灰度。
- 我们平常接触的图像都是8位数图像，包含0~255灰度，其中0，代表最黑， 1，表示最白。
- 彩色图
- 每个像素通常是由红(R)、绿(G)、蓝(B)三个分量来表示的，分量介于(0，255)。
- 二值图像
2. OpenCV介绍
- OpenCV是计算机视觉的开源库
- 优势:
- 支持多种编程语言
- 跨平台
- 活跃的开发团队
- 丰富的API
- 优势:
2.1 安装方式
- 需要python3.6.8，可以先创建虚拟环境：
- conda create -n opencv python=3.6.8
- 由于一些经典的算法被申请了版权，新版本有很大的限制，所以选用3.4.3以下的版本（这里如果指定了虚拟环境，不要使用pip3）
- pip install opencv-python==3.4.2.17
- 利用SIFT和SURF等进行特征提取
- pip install opencv-contrib-python==3.4.2.17
2.2 主要模块
- core:
- 最核心的数据结构
- highgui:
- 视频与图像的读取、显示、存储
- imgproc:
- 图像处理的基础方法
- features2d:
- 图像特征以及特征匹配
3. 图像基本操作
3.1 图像IO操作
- cv.imread()
- 要读取的图像
- 参数：
- 读取方式的标志
- cv.IMREAD*COLOR:以彩色模式加载图像，任何图像的透明度都将被忽略。这是默认参数。
- cv.IMREAD*GRAYSCALE:以灰度模式加载图像
- cv.IMREAD_UNCHANGED:包括alpha通道的加载图像模式。
- 可以使用1、0或者-1来替代上面三个标志
- 读取方式的标志
- cv.imshow()
- 显示图像
- 参数：
- 显示图像的窗口名称，以字符串类型表示
- 要加载的图像
- 显示图像的窗口名称，以字符串类型表示
- cv.imwrite()
- 保存图像
- 参数：
- 文件名，要保存在哪里
- 要保存的图像
import numpy as np
import cv2 as cv
import matplotlib.pyplot as plt
# 1 读取图像
## -1：imread按解码得到的方式读入图像
## 0：imread按单通道的方式读入图像，即灰白图像
## 1：imread按三通道方式读入图像，即彩色图像
img = cv.imread('./img/gulinazha.jpeg', 1)
# 2 显示图像
# 2.1 利用opencv展示图像
# cv.imshow('image', img)
# 2.2 在matplotplotlib中展示图像
## img[:, :, ::-1] 图像读出来的三个张量，高宽以及RGB
plt.imshow(img[:, :, ::-1])
plt.title('dilireba')
plt.xticks([])
plt.yticks([])
plt.show()
k = cv.waitKey(0)
# # 3 保存图像
cv.imwrite('messigray.png', img)
3.2 绘制几何图形
- cv.line(img,start,end,color,thickness) 绘制直线
- img:要绘制直线的图像
- Start,end: 直线的起点和终点
- color: 线条的颜色
- Thickness: 线条宽度
- cv.circle(img,centerpoint, r, color, thickness) 绘制圆形
- img:要绘制圆形的图像
- Centerpoint, r: 圆心和半径
- color: 线条的颜色
- Thickness: 线条宽度，为-1时生成闭合图案并填充颜色
- cv.rectangle(img,leftupper,rightdown,color,thickness) 绘制矩形
- img:要绘制矩形的图像
- Leftupper, rightdown: 矩形的左上角和右下角坐标
- color: 线条的颜色
- Thickness: 线条宽度
- cv.putText(img,text,station, font, fontsize,color,thickness,cv.LINE_AA) 向图像中添加文字
- img: 图像
- text:要写入的文本数据
- station:文本的放置位置
- font:字体
- Fontsize :字体大小
import numpy as np
import cv2 as cv
import matplotlib.pyplot as plt
# 1 创建一个空白的图像
img = np.zeros((512,512,3), np.uint8)
# 2 绘制图形
cv.line(img,(0,0),(511,511),(255,0,0),5)
cv.rectangle(img,(384,0),(510,128),(0,255,0),3)
cv.circle(img,(447,63), 63, (0,0,255), -1)
font = cv.FONT_HERSHEY_SIMPLEX
cv.putText(img,'OpenCV',(10,500), font, 4,(255,255,255),2,cv.LINE_AA)
# 3 图像展示
plt.imshow(img[:,:,::-1])
plt.title('匹配结果'), plt.xticks([]), plt.yticks([])
plt.show()
3.3 获取并修改图像中的像素点
import numpy as np
import cv2 as cv
img = cv.imread('messi5.jpg')
# 获取某个像素点的值
px = img[100,100]
# 仅获取蓝色通道的强度值
blue = img[100,100,0]
# 修改某个位置的像素值
img[100,100] = [255,255,255]
3.4 获取图像的属性
3.5 图像通道的拆分与合并
# 通道拆分
b,g,r = cv.split(img)
# 通道合并
img = cv.merge((b,g,r))
3.6 色彩空间的改变
- cv.cvtColor(input_image，flag)
- input_image: 进行颜色空间转换的图像
- flag: 转换类型
- cv.COLOR_BGR2GRAY : BGR↔Gray
- cv.COLOR_BGR2HSV: BGR→HSV
4. 算数操作
4.1 图像的加法
- 使用OpenCV的cv.add()函数把两幅图像相加，或者可以简单地通过numpy操作添加两个图像
- 两个图像应该具有相同的大小和类型，或者第二个图像可以是标量值。
- OpenCV加法和Numpy加法之间存在差异。
- OpenCV的加法是饱和操作，而Numpy添加是模运算
import numpy as np
import cv2 as cv
import matplotlib.pyplot as plt
# 1 读取图像
img1 = cv.imread("view.jpg") img2 = cv.imread("rain.jpg")
# 2 加法操作
img3 = cv.add(img1,img2) # cv中的加法
img4 = img1+img2 # 直接相加
# 3 图像显示
fig,axes=plt.subplots(nrows=1,ncols=2,figsize=(10,8),dpi=100)
axes[0].imshow(img3[:,:,::-1])
axes[0].set_title("cv中的加法")
axes[1].imshow(img4[:,:,::-1])
axes[1].set_title("直接相加")
plt.show()
4.2 图像的混合
import numpy as np
import cv2 as cv
import matplotlib.pyplot as plt
# 1 读取图像
img1 = cv.imread("view.jpg") img2 = cv.imread("rain.jpg")
# 2 图像混合
img3 = cv.addWeighted(img1,0.7,img2,0.3,0)
# 3 图像显示
plt.figure(figsize=(8,8))
plt.imshow(img3[:,:,::-1])
plt.show()
二、OpenCV图像处理
1. 图像缩放
- 缩放是对图像的大小进行调整，即使图像放大或缩小
- cv2.resize(src,dsize,fx=0,fy=0,interpolation=cv2.INTER_LINEAR)
- src : 输入图像
- dsize: 绝对尺寸，直接指定调整后图像的大小
- fx,fy: 相对尺寸，将dsize设置为None，然后将fx和fy设置为比例因子即可
-
interpolation:插值方法
import cv2 as cv
# 1. 读取图片
img1 = cv.imread("./image/dog.jpeg")
# 2.图像缩放
# 2.1 绝对尺寸
rows,cols = img1.shape[:2]
res = cv.resize(img1,(2*cols,2*rows),interpolation=cv.INTER_CUBIC)
# 2.2 相对尺寸
res1 = cv.resize(img1,None,fx=0.5,fy=0.5)
# 3 图像显示
# 3.1 使用opencv显示图像(不推荐)
cv.imshow("orignal",img1)
cv.imshow("enlarge",res)
cv.imshow("shrink)",res1)
cv.waitKey(0)
# 3.2 使用matplotlib显示图像
fig,axes=plt.subplots(nrows=1,ncols=3,figsize=(10,8),dpi=100)
axes[0].imshow(res[:,:,::-1])
axes[0].set_title("绝对尺度(放大)")
axes[1].imshow(img1[:,:,::-1])
axes[1].set_title("原图")
axes[2].imshow(res1[:,:,::-1])
axes[2].set_title("相对尺度(缩小)")
plt.show()
2. 图像平移
- cv.warpAffine(img,M,dsize)
- img: 输入图像
- M: 2∗3移动矩阵
- 注意:将M 设置为np.float32类型的Numpy数组。
- dsize: 输出图像的大小
- 注意:输出图像的大小，它应该是(宽度，高度)的形式。请记住,width=列数，height=行数。
import numpy as np
import cv2 as cv
import matplotlib.pyplot as plt
# 1. 读取图像
img1 = cv.imread("./image/image2.jpg")
# 2. 图像平移
rows,cols = img1.shape[:2]
M = np.float32([[1,0,100],[0,1,50]])
# 平移矩阵
dst = cv.warpAffine(img1,M,(cols,rows))
# 3. 图像显示
fig,axes=plt.subplots(nrows=1,ncols=2,figsize=(10,8),dpi=100)
axes[0].imshow(img1[:,:,::-1])
axes[0].set_title("原图")
axes[1].imshow(dst[:,:,::-1])
axes[1].set_title("平移后结果")
plt.show()
3. 图像旋转
- 图像旋转三步走：
- 将图像中心平移至原点
- 顺时针旋转
- 将图像中心平移回起始位置
- 参考博客
# 1 读取图像
img = cv.imread("./image/image2.jpg")
# 2 图像旋转
rows,cols = img.shape[:2]
# 2.1 生成旋转矩阵
M = cv.getRotationMatrix2D((cols/2,rows/2),90,1)
# 2.2 进行旋转变换
dst = cv.warpAffine(img,M,(cols,rows))
# 3 图像展示
fig,axes=plt.subplots(nrows=1,ncols=2,figsize=(10,8),dpi=100)
axes[0].imshow(img1[:,:,::-1])
axes[0].set_title("原图")
axes[1].imshow(dst[:,:,::-1])
axes[1].set_title("旋转后结果")
plt.show()
4. 仿射变换
- 图像的仿射变换涉及到图像的形状位置角度的变化，是深度学习预处理中常到的功能;
- 仿射变换主要是对图像的缩放，旋转，翻转和平移等操作的组合;
- 该变换能够 保持图像的平直性和平行性。
- 平直性是指图像经过仿射变换后，直线仍然是直线;
- 平行性是指 图像在完成仿射变换后，平行线仍然是平行线。
import numpy as np
import cv2 as cv
import matplotlib.pyplot as plt
# 1 图像读取
img = cv.imread("./image/image2.jpg")
# 2 仿射变换
rows,cols = img.shape[:2]
# 2.1 创建变换矩阵
pts1 = np.float32([[50,50],[200,50],[50,200]])
pts2 = np.float32([[100,100],[200,50],[100,250]])
M = cv.getAffineTransform(pts1,pts2)
# 2.2 完成仿射变换
dst = cv.warpAffine(img,M,(cols,rows))
# 3 图像显示
ig,axes=plt.subplots(nrows=1,ncols=2,figsize=(10,8),dpi=100)
axes[0].imshow(img[:,:,::-1])
axes[0].set_title("原图")
axes[1].imshow(dst[:,:,::-1])
axes[1].set_title("仿射后结果")
plt.show()
5. 投射变换
- 透射变换是视角变化的结果，是指利用透视中心、像点、目标点三点共线的条件，按透视旋转定律使承影面(透视面)绕迹线(透视轴)旋转某一角度，破坏原有的投影光线束，仍能保持承影面上投影几何图形不变的变换
- 将矩形映射为 任意四边形。
import numpy as np
import cv2 as cv
import matplotlib.pyplot as plt
# 1 读取图像
img = cv.imread("./image/image2.jpg")
# 2 透射变换
rows,cols = img.shape[:2]
# 2.1 创建变换矩阵
pts1 = np.float32([[56,65],[368,52],[28,387],[389,390]])
pts2 = np.float32([[100,145],[300,100],[80,290],[310,300]])
T = cv.getPerspectiveTransform(pts1,pts2)
# 2.2 进行变换
dst = cv.warpPerspective(img,T,(cols,rows))
# 3 图像显示
fig,axes=plt.subplots(nrows=1,ncols=2,figsize=(10,8),dpi=100)
axes[0].imshow(img[:,:,::-1])
axes[0].set_title("原图")
axes[1].imshow(dst[:,:,::-1])
axes[1].set_title("透射后结果")
plt.show()
6. 图像金字塔
- 图像金字塔是图像多尺度表达的一种，最主要用于图像的分割，是一种以多分辨率来解释图像的有效但概念简单的结构。
- 图像金字塔用于机器视觉和图像压缩，一幅图像的金字塔是一系列以金字塔形状排列的分辨率逐步降低，且来源于同一张原始图的图像集合。
- 其通过梯次向下采样获得，直到达到某个终止条件才停止采样。
- 金字塔的底部是待处理图像的高分辨率表示，而顶部是低分辨率的近似，层级越高，图像越小，分辨率越低。
- API
- cv.pyrUp(img) 对图像进行上采样
- cv.pyrDown(img) 对图像进行下采样
import numpy as np
import cv2 as cv
import matplotlib.pyplot as plt
# 1 图像读取
img = cv.imread("./image/image2.jpg")
# 2 进行图像采样
up_img = cv.pyrUp(img) # 上采样操作
img_1 = cv.pyrDown(img) # 下采样操作
# 3 图像显示
cv.imshow('enlarge', up_img)
cv.imshow('original', img)
cv.imshow('shrink', img_1)
cv.waitKey(0)
cv.destroyAllWindows()
