一，导论
计算机视觉是研究计算机去模拟生物外显或宏观视觉功能的科学与技术，其首要目标是通过图像认识和理解现实世界的模型，从而实现对人类视觉系统功能的扩大，延申和部分替代
二，图像采样和频域处理
1.计算机图像
计算机图像（光栅图像）是一个像素矩阵，矩阵中的每个元素被称为像素（Pixel）
2.常用的亮度等级（灰度值）
计算机图像中通常以[0, 2^𝐾]做为均匀量化范围，代表从黑到白的色阶或亮度变化。
常用K值
➢ 𝐾 = 1：二值图像，仅包含0和1两个亮度等级。
➢ 𝐾 = 8：灰度图像，包含0到255共计256个亮度等级。
➢ 𝐾 = 12：包含4096个亮度等级。
➢ 𝐾 = 16：包含65536个亮度等级。
3.多通道图像
多通道图像可以用一个大小为(ℎ, 𝑤, 𝑐)的三维矩阵表示，其中ℎ为图像高度（行数），𝑤为图
像宽度（列数），𝑐为图像通道数，可看作为多个单通道的叠加。每个像素点代表长度为𝑐的向量
，分别代表各自通道中的灰度值。
计算时记住×通道数
4.图像插值算法（记住哪些算法）
最邻近插值，
线性插值，双线性插值，
三次插值，双三次插值
5.像素空间关系
1像素邻域
4邻域（N4）： 𝑥, 𝑦 → 𝑥 − 1, 𝑦 , 𝑥 + 1, 𝑦 , 𝑥, 𝑦 − 1 , (𝑥, 𝑦 + 1)
对角邻域（ND）： 𝑥, 𝑦 → 𝑥 − 1, 𝑦 − 1 , 𝑥 − 1, 𝑦 + 1 , 𝑥 + 1, 𝑦 − 1 , (𝑥 + 1, 𝑦 + 1)
8邻域（N8）：N4 + ND
2.像素连接
同样，像素连接也由三种形式，以最简单的二值图像为例，假设𝑉 = {1}是既定灰度集合：
4-连接：两个像素𝑃和𝑄的像素值均在𝑉中，且𝑄在𝑃的4-邻域中
8-连接：两个像素𝑃和𝑄的像素值均在𝑉中，且𝑄在𝑃的8-邻域中。
m-连接（混合连接）：两个像素𝑃和𝑄的像素值均在𝑉中，且满足下列条件之一：
𝑄在𝑃的4-邻域中
𝑄在𝑃的对角邻域中，且𝑃的4-邻域与𝑄的4-邻域的交集中不包含取值为𝑉中的像素
eg：
- 图(a)中，p和q是m邻接、8邻接的。q和r是m邻接、4邻接的。p和r不邻接。
- 图(b)中，p和q是m邻接、4邻接的。q和r是m邻接、4邻接的。p和r是8邻接、但不是m邻接的（因为p和r的4邻域交集中，有个q是属于V的）。
- 只要是4邻接就是m邻接。8邻接，旁边能不能找到一个同时和你是4邻接的像素。如果有，就靠这个中间像素建立m通路。m通路建立起来，可以彼此互通，但不是直达。所以你们不是m邻接。
3.像素连通
像素点𝑃 𝑥, 𝑦 到像素点𝑄 𝑠,𝑡 的一条通路由一系列独立像素点 𝑥𝑛, 𝑦𝑛 组成，像素序列
𝑥𝑛, 𝑦𝑛 满足同一连接规则的同时且满足灰度相似准则。：
➢ 4-连通：序列中相邻像素均满足4-连接
➢ 8-连通：序列中相邻像素均满足8-连接
4-连通：不存在，8-连通：两条。
4.像素距离（三个公式记住）
距离公式：欧式距离，城市距离，棋盘距离
欧式距离
城市距离(D4距离)：
像素点𝑃 𝑥, 𝑦 到像素点𝑄 𝑠,𝑡 的城市距离定义如下：
棋盘距离（D8距离）：
像素点𝑃 𝑥, 𝑦 到像素点𝑄 𝑠,𝑡 的棋盘距离定义如下：
6.傅里叶级数
定义𝑓(𝑡)为**周期**为𝑇的函数（ 𝑓 𝑡 = 𝑓 𝑡 + 𝑇 ），并且满足傅里叶级数的收敛条件，那么可
以通过三角函数和常数项的叠加来逼近周期为𝑇的函数𝑓(𝑡)：
7.傅里叶变换
离散信号
目前已经学习的傅里叶级数仅针对于在**周期**内**连续**的函数，那么**离散**信号又如何处理呢？
一维离散傅里叶变换
离散傅里叶变换（**D**iscrete **F**ourier **T**ransform, **DFT**）是傅里叶变换在时域和频域上都呈现离 散的形式，将时域信号的**采样**变换为在离散时间傅里叶变换（**D**iscrete-**t**ime **F**ourier **T**ransform， **DTFT**）的频域**采样**。 在形式上，变换两端（时域与频域）的序列都是有限长（**技术限制**）的，那么我们将这一组不同域的序列都认为是离散周期信号的**主值序列**。换一种思路，可以将有限长的离散信号看作为经过**周期延拓**后的周期信号再作变换
记住下图：
** 傅里叶变换的意义，性质（选择填空）**
意义：
简化计算，傅里叶变换可将空域中复杂的卷积运算转换为频域中简单的乘积运算。
某些在空域中难以处理或比较复杂的问题，利用傅里叶变换将空域映射至频域，在频域中
处理后反变换回空域，从而简化处理和分析过程。
- 存在着部分仅能在频域处理的特定应用需求，如在频域中进行特征提取、数据压缩、纹理
分析、水印嵌入等。
性质：
- 可分离性，可将二维DFT分解为两个一维DFT。
2.图像平均值， 即图像灰度平均值可有DFT在原点处的值求得。
3.周期性
4.共轭对称性
- 图像的傅里叶变换频谱关于(𝑀/2, 𝑁/2)对称。𝑓（ 𝑥, 𝑦） 是大小为𝑀 ∗ 𝑁的图像，根据离散傅里 叶变换的周期性和共轭对称性：
6.DFT的周期性：对于图像的二维离散傅里叶变换，其时域与频域始终都是沿着图像的轴方向无限拓展。
ps:
图像平移对频谱没有影响
8.离散余弦变换
➢ 围绕图像边缘（不重叠）将其折叠成对称形式再进行变换称为偶离散余弦变换。
➢ 通过重叠图像的第一列和第𝑁 − 1行像素将其折叠成对称形式再进行变换成为奇离散余弦
变换。
离散余弦变换主要用于数据压缩
三，基本图像处理运算
1.灰度直方图
按灰度值大小，统计其出现的频率
2.点算子
3.直方图正规化（计算题）
4.直方图均衡化（步骤，计算）
直方图均衡化是使用灰度直方图对图像的对比度进行调整的图像处理方法，目的在于提高图像的全局对比度。其基本思想是对图像进行非线性拉伸，重新分配像素灰度值，使一定灰度范围内的像素数量可以大致相当。
eg：A0：像素（乘积结果），H（a0）：nk, L:灰度范围
5.阈值处理
提取我们感兴趣图标
选取具有特定灰度值或特定灰度范围的像素点，将图像中的像素点分为若干类，从而实现对
感兴趣目标的定位或分割。
6.最优阈值处理（写出算法流程）
Ostu算法流程：
假设存在阈值Th将图像中所有像素分为两类Cb(<Th)和Cf（>=Th） ,那么Cb和Cf中的所有像素点的灰度均值记作Mb和Mf,整张图的灰度均值记为Mg，Cb和Cf的概率为Pb和Pf.
其中
7.自适应阈值处理
简而言之，自适应阈值在当前点邻域范围内采用**均值**、**中值**或**高斯加权**求得阈值来对当前像素点进行二值化处理
8.群运算（给出原图卷积和结果）
卷积：
通过两个函数𝑓和𝑔生成第三个函数的一种数学算子，表征函数𝑓与𝑔经过翻转平移的重叠部分
函数值的乘积对重叠长度（或面积）的积分
eg：
eg2：
9.形态学操作
作用是什么？
膨胀
膨胀（Dilation）的定义为“位于某个点的探针（结构元素）是否有探测到物件”
膨胀操作可实现将目标区域边界点向外扩张，或将距离较近的不同区域进行连通，或可填补
区域内部存在的空洞。
腐蚀
腐蚀（Erosion）的定义为“位于某个点的探针（结构元素）是否全都有探测到物件”
主要作用是消除原图中目标边界上的像素
腐蚀操作可实现目标区域沿边界向内收缩，或将区域边界点消除，或可将小于指定结构元素
的部分去除。
开操作
先腐蚀后膨胀
有消除细小物体，在纤细处分离物体和平滑较大物体边界的作用
闭操作
先膨胀后腐蚀
填充物体内细小空洞，连接邻接区域和平滑边界作用
顶帽操作
用原图减去开操作的结果
保留比结构元素小的部分，同时也能保留比周围环境亮的像素
底帽变换
用闭操作的结果减去原图
保留比结构元素小的部分，同时也能保留比周围环境暗的像素
四，低级特征提取
1.边缘检测
1.边缘是不同区域的分界线，是**图像局部强度变化最显著**的像素集合 2边缘上的这种灰度变化可以利用**微分算子**进行检测，通常使用一阶或二阶导数来检测边缘。
3.一阶导数在**阶跃图像**由暗变明的位置处由一个向上的脉冲，而其他位置都为0，这表明可用**一阶导数的幅度值**来检测边缘的存在，幅度峰值位置一般对应于边缘位置。 4.二阶导数在一阶导数的阶跃上升区有一个向上的脉冲，而在一阶导数的阶跃下降区有一个向下的脉冲，在这两个脉冲之间有一个过零点。因此，也可以用**二阶导数过零点**来检测边缘位置，此外还可用二阶导数在过零点附近的符号来确定边缘像素在图像边缘的暗区或明区
** 5.脉冲状边缘的剖面与上升阶跃边缘的一阶导数形状相似，所以脉冲状边缘的一阶导数与上升阶跃边缘的二阶导数形状相同，而且它的两个二阶导数过零点正好分别对应脉冲状边缘的上升沿与下降沿，通过检测脉冲剖面的两个二阶导数过零点**可以确定脉冲的范围。
6.通过检测屋顶边缘的**一阶导数过零点**可以确定屋顶的位置。
2.一阶边缘检测
物体边缘实际上是灰度值的阶梯变化，而灰度变化可以通过相邻点进行差分处理来增强。
➢ 水平边缘检测：对水平方向上的相邻点进行差分处理可以检测垂直方向上的灰度变化。
➢ 垂直边缘检测：对垂直方向上的相邻点进行差分处理可以检测水平方向上的灰度变化。
3.Canny边缘检测算子（考流程尽量记住公式）
1.高斯滤波。 目的是降噪，过滤掉噪声，以免对边缘检测进行干扰，同时也有可能加大边缘宽度
2.计算梯度幅度和梯度方向。利用Sobel边缘检测算子得到不同方向上的梯度值gx（x，y）和gy（x，y）。根据下列公式得到梯度幅度和梯度方向。
3.过滤非最大值。在高斯滤波的过程中，边缘的宽度可能被扩大了，因此我们使用非极大抑制算法来过滤不是边缘的点，使边缘的宽度尽可能趋近于1.
4.双阈值处理。设定两个阈值，分别记为maxVal和minVal。其中大于maxVal的点都判定为边缘，而低于minVal的点判定为非边缘。对于中间像素点，如果与确定为边缘的像素点邻接，则判定为边缘，否则为非边缘。
4.二阶边缘检测
二阶相对于一阶存在的优势
➢ 二阶微分关心的是图像灰度的突变而不强调灰度缓慢变化区域，对边缘定位能力更强。
➢ 二阶边缘检测具有旋转不变性。在一阶微分中，我们用 𝑑𝑥 + |𝑑𝑦|来近似像素点的梯度，
当旋转一个角度时，该值就会相应发生变化，但对于二阶微分则没有这个问题。
➢ 散度：纯量，表示空间各点矢量场发散的强弱程度
拉普拉斯边缘检测算子的主要优点是各向同性（旋转不变性）。
5.局部特征检测
理解图像的前提是需要计算机能较好的对图像进行描述，取得图像的**特征**。
不同的检测方法对特征点有不同的定义。
➢ 图像局部曲率突变的点。
➢ 局部窗口沿各方向移动，均产生明显变化的点
6.Harris角点检测（写出流程）
1.计算图像I（X，Y）两个方向上的梯度Ix，Iy。
2.计算图像两个方向梯度的乘积
3.用高斯函数对Ix^2、Iy^2,Ixy进行高斯加权
,生成矩阵M的元素A,B,C。
4.计算每个像素的Harris响应值R，对小于阈值t的R置为0
5.在3X3或5X5的邻域内进行非极大值抑制，局部最大值点为图像中的角点
性质：
Harris角点检测算子具有旋转不变性，
Harris角点检测算子具有部分灰度不变性。
不足：
➢ 具有旋转不变性但不具有尺度不变性
➢ 像素级角点提取
➢ 检测时间较长，不能满足实时检测要求
7.尺度不变特征变换（大题）
特征点定位（大题）
构建尺度空间（高斯金字塔）。高斯金字塔的构建过程分为两步：1）高斯平滑；2）降采样。
构建高斯差分金字塔（Difference of Gaussian，DoG）：由高斯金字塔每组逐层相减构建。
- 寻找DoG局部极值点。某像素点为邻域中的最大或最小值，则认为该点即为图像在该尺
度下的一个局部极值点。
- 极值点过滤。为了提高关键点的稳定性，需要对尺度空间DoG函数进行曲线拟合对极值点坐标进行修正。
利用已知的离散空间点插值求得连续空间极值点的方法叫做子像元插值。
直方图的峰值代表了该特征点处邻域内梯度主方向
梯度直方图生成过程：
以半径为3 ∙ 1.5𝜎的邻域范围进行梯度与方向统计；
以10°为一柱，共分36个柱子，直方图的峰值代表了该特征点处邻域内梯度主方向；
统计梯度幅值时在为邻域每个像素点配以1.5𝜎的高斯加权，以降低远离点的幅值权重；
五，形状匹配的特征提取
1.低级，高级特征
低级特征：它表示数字图像的基本特征，无需任何形状信息即可从图像中自动提取，如角点、边缘、颜色特征等。
高级特征性质：
1.光照不变性。对光照强度变化不敏感。
2.平移不变性。形状出现在图像任意位置均可检测。
3.旋转不变性。不因形状旋转方向改变而对结果产生影响。
4.尺度不变性。无论目标大小都能稳定提取。
2.阈值处理，背景减法
阈值处理是一种简单的形状提取技术。若形状的灰度已知，则可利用该灰度级对图像进行阈
值处理来找到相应的形状。
3.模板匹配（！）
模板匹配四种方法
1计算相关度前先求模板与图像之间的灰度差：
- 两步检测法：每隔几个像素位置进行匹配，目标一般在相关度较高位置的附件，在此区域
再进行逐像素匹配。
- 边缘匹配法：先抽取图像边缘，计算相关度时只考虑边缘点。由于像素个数较少，因此可
以提高匹配速度。
- 局部匹配法：先对模板的一部分进行匹配，当匹配程度较高时，再考虑全部模板匹配，否
则退出匹配。
4.霍夫变换（计算题）
六，可变形形状分析
1.图像分割，边缘检测，串行边界技术
图像分割是指把图像**分解**成各具特性的区域并**提取**处感兴趣目标的技术和过程。
图像分割的基本策略为提取图像中各像素点的**特征**（全局或局部），通过分析特征的**相似**性
从而组合近似像素称为区域，区域的外轮廓即为对象的边缘
主动轮廓模型（Active Contour Models, Snakes）是Kass等人在1988年提出的，该算法将图像分割的问题转换为求解能量**泛函**最小值的问题。主要思路是通过构造能量泛函，通过迭代使得轮
廓曲线由初始位置逐渐向能量函数值最小的位置逼近，最终分割出目标。
Snakes模型是在曲线本身的**内力**与图像数据的**外部约束力**共同作用下移动的**变形轮廓线**，作
用在模型上的力依据其所在图像位置及其形状决定如何在空间局部变化（蠕动）。内力的作用是
对轮廓线起平滑约束作用，而外力的作用则是引导模型向图像特征移动。
2.串行区域技术：区域生长(给一张原图，区域生长结果是什么)
3.串行区域技术：区域分裂合并
七，目标描述与纹理描述
1.目标描述（关注标红地方）
2.链码（给一张图求得它的链码）、
给定起点，起点坐标要写
3.灰度共生矩阵
目22
标描述与2纹理描述目标描述与纹
理描述
版权归原作者 Zhuang 所有， 如有侵权，请联系我们删除。