相机模型、相机标定及基于yolov5的单目测距实现

相机模型、相机标定及基于yolov5的单目测距实现

1 前言

在摄像头成像过程中，物体反射的光线通过摄像头的凸透镜打在成像器件上，形成一张图片。这是一个三维物体转换为二维图像的过程。在这个过程中，丢失了物体的深度信息，所以单目摄像头很难测距。但是，我们可以通过一个强假设，来简单计算物体的距离，即假设物体是处于地面上。具体意思下面再详细说。

2 相机模型及单目测距原理

相机模型可以简单看成一个凸透镜成像的模型。下图中，XcYcZc是相机坐标系，其原点为光心O，是相机凸透镜的中心点。x-o1-y坐标系是图像坐标系。

图片从b站up主（uid:109364003）的视频中截图的。

图中有一个车辆，且车辆在地面上，其接地点Q必定在地面上。那么Q点的深度便可以求解出来。具体求解步骤懒得打公式了，就截图了。在单目测距过程中，实际物体上的Q点在成像的图片上对应Q’点，Q’点距离o1点沿y轴的距离为o1p’。这个距离o1p’除以y轴像素焦距fy (单位为pixel) ，再求arctan即可得到角度b’。然后按图中步骤很容易理解了。

在按图中步骤求解深度OD时，如果相机高度H、相机光轴与水平线的夹角a没有准确测量的话，会对测距精准度造成较大影响。所以用于自动驾驶时，随着车身抖动，测距精度会很低。如果路面不是水平的，而是具有曲率的，那该方法也将失效。

3 相机参数标定

3.1 内参矩阵

相机内参指得是相机内部参数，主要有相机的x轴和y轴焦距、图像的成像中心的偏移量。相机坐标系和图像坐标系下物体坐标可按照下式转换。

式中，u和v是图像坐标系中点的x轴和y轴像素坐标，其原点是图像的左上角顶点，x轴朝右、y轴朝下是正方向。Zc是在相机坐标系下的Z轴坐标，也即2中的深度OD。fx和fy分别是x轴和y轴像素焦距 (单位为pixel)。cx和cy是图像的中心点o1（相机坐标系的光心在图像上成像的点）的像素坐标（以图像左上角顶点作为原点）。

3.2 内参标定

可以采用matlab的相机标定工具箱来进行摄像头的内参标定，matlab自带的这个工具箱是采用张正友棋盘格标定方法。我们需要准备一组20张左右的棋盘格照片。棋盘格图可以在此下载。

打开matlab->App->图像处理和计算机视觉->Camera Calibration，打开后界面如下。

直接点击Add Image一张张添加图片即可。弹窗提示输入棋盘格尺寸时，输入25mm（我提供的棋盘格单个方格的边长为25mm）。添加完20张图片左右后，点击Calibration按钮，再点击Export Camera Parameters，选择导出到工作空间，则在malatb工作空间出现标定结果。

如上图所示，标定结果变量为cameraParams，其中的IntrinsicMatrix即为我们所需要的内参矩阵。该矩阵转置后便是3.1中所描述的内参矩阵。

3.3 外参矩阵

外参矩阵描述的是相机坐标系与世界坐标系之间的转换关系。

在智能车上，世界坐标系可以设为：智能车质心作为原点，车辆车头朝向为Xw正方向，车辆右侧为Yw正方向，车辆垂直向上作为Zw正方向。

相机坐标系的原点为凸透镜的光心，垂直于相机凸透镜向外的方向为Zc正方向，相机右侧为Xc正方向，相机上侧为Yc正方向。

两个坐标系之间的转换主要包括绕三个轴的旋转、沿着三个轴的平移

需要确定好绕各轴的旋转顺序，先旋转的在右边，后旋转的再左乘上去，如下式是依次绕x，y，z轴旋转。总的旋转矩阵R = RzRyRx。

外参矩阵由旋转矩阵和平移矩阵构成，如下式。旋转矩阵为R，平移矩阵为T。通过下式可以将世界坐标系的坐标转换为相机坐标系下的坐标。

4 基于yolov5的单目测距实现

全部程序可以在这下载。该文件夹下，estimate_distance.py为主程序。该程序中有一个DistanceEstimation类，该类的主要成员函数有camera_parameters（）、object_point_world_position（）、distance（）、Detect（）。在Detect函数中调用yolov5检测得到目标框后，便可以提取目标框的底边的中点作为2中所述的测距所需的Q’点。然后按照2中所述原理，便可以求得到Q点的Xw和Yw坐标。取Xw和Yw的坐标的平方和，再开根号便得到了目标的直线距离。

由于本人水平有限，如有错误之处，希望不吝赐教！