世界坐标系、相机坐标系、图像坐标系、像素坐标系

四个坐标系都是什么？

1.世界坐标系->相机坐标系->图像坐标系->像素坐标系

2.像素坐标系->图像坐标系->相机坐标系->世界坐标系

图像处理、立体视觉等等方向常常涉及到四个坐标系：世界坐标系、相机坐标系、图像坐标系、像素坐标系

               ![](https://img-blog.csdnimg.cn/20201112151340743.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0FfQTY2Ng==,size_16,color_FFFFFF,t_70#pic_center)

构建世界坐标系只是为了更好的描述相机的位置在哪里，在双目视觉中一般将世界坐标系原点定在左相机或者右相机或者二者X轴方向的中点。
接下来的重点，就是关于这几个坐标系的转换。也就是说，一个现实中的物体是如何在图像中成像的。

四个坐标系之间的相互转换

1. 从世界坐标系到相机坐标系

        ![这里写图片描述](https://img-blog.csdn.net/20161210142306747?watermark/2/text/aHR0cDovL2Jsb2cuY3Nkbi5uZXQvY2hlbnRyYXZlbGxpbmc=/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70/gravity/SouthEast)

其中[ x ′ , y ′ ] 为世界坐标系下的坐标，将世界坐标系顺时针旋转θ得到相机坐标系,将[ x ′ , y ′ ]在相机坐标系下的坐标记为[ x , y ]。z轴坐标不发生改变。相当于我们沿z轴做旋转。

如果将世界坐标系逆时针旋转θ得到相机坐标系，此时得到坐标变换过程为：

此时，我们

               ![](https://img-blog.csdnimg.cn/1701db9aa1554bf19085b771548de58c.png)

同理我们沿着剩下的两个坐标轴x和y进行旋转得到可以有剩下的两个变换矩阵R2和R3,那么我们从世界坐标系变换到相机坐标系所需要进行的变换是R = R1R2R3

这样我们就得到了，沿着Z轴方向旋转后的相机坐标new，和世界坐标wold之间的转换关系。

              ![](https://img-blog.csdnimg.cn/8750521315684ff0a7fa4f29138b6217.png)

同理可得，沿着x轴和沿着y轴旋转的变化分别如下：

               ![](https://img-blog.csdnimg.cn/66ae6647621545e79b58faefed89ff44.png)

于是，新的相机坐标，即同时沿着x，y，z轴三个方向旋转的矩阵R如下：

于是，世界坐标系到相机坐标系的转化可以写成：

           ![](https://img-blog.csdnimg.cn/f53f3cb00f3a40fab77d058076f11e35.png)

进行平移变换得到的结果为：

2. 从相机坐标系变换到图像坐标系，属于透视投影关系，从3D转换到2D。

   ![在这里插入图片描述](https://img-blog.csdnimg.cn/20201112151429576.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0FfQTY2Ng==,size_16,color_FFFFFF,t_70#pic_center)

此时投影点p的单位还是mm，并不是pixel，需要进一步转换到像素坐标系。

3. 从图像坐标系到像素坐标系。

   像素坐标系和图像坐标系都在成像平面上，只是各自的原点和度量单位不一样。图像坐标系的原点为相机光轴与成像平面的交点，通常情况下是成像平面的中点或者叫principal point。图像坐标系的单位是mm，属于物理单位，而像素坐标系的单位是pixel，我们平常描述一个像素点都是几行几列。所以这二者之间的转换如下：其中dx和dy表示每一列和每一行分别代表多少mm，即1pixel=dx mm

               ![在这里插入图片描述](https://img-blog.csdnimg.cn/2020111215144837.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0FfQTY2Ng==,size_16,color_FFFFFF,t_70#pic_center)

那么通过上面四个坐标系的转换就可以得到一个点从世界坐标系如何转换到像素坐标系的。

![在这里插入图片描述](https://img-blog.csdnimg.cn/20201112151607761.png#pic_center)

其中相机的内参和外参可以通过张正友标定获取，通过最终的转换关系来看，一个三维中的坐标点，的确可以在图像中找到一个对应的像素点，但是反过来，通过图像中的一个点找到它在三维中对应的点就很成了一个问题，因为我们并不知道等式左边的Zc的值。

其实在大多数时候，直接是像素坐标系和相机坐标系之间进行转换，因此可以将这两部分的转化矩阵合并，从而得到：

 ![](https://img-blog.csdnimg.cn/34c157fda5e7425ebf68064789c4ca93.png)

这样我们就完成了从世界坐标系到相机坐标系的一个转换，如果将K1记录为相机的外参，K2为相机的内参。那么像素坐标系和世界坐标系可以之间的关系可以表示为如下的

                ![](https://img-blog.csdnimg.cn/0e17df5d5c7a4017b936153873ee8365.png)

像素坐标系->图像坐标系->相机坐标系->世界坐标系

                    ![](https://img-blog.csdnimg.cn/55a12f03f3654bcdbd02c26b67ddc414.png)