在国产芯片上实现YOLOv5/v8图像AI识别-【4.2】RK3588获取USB摄像头图像推流RTSP更多内容见视频

本专栏主要是提供一种国产化图像识别的解决方案，专栏中实现了YOLOv5/v8在国产化芯片上的使用部署，并可以实现网页端实时查看。根据自己的具体需求可以直接产品化部署使用。

B站配套视频：https://www.bilibili.com/video/BV1or421T74f

前言

在实际生产过程中，有很多时候不光是通过网络获取rtsp视频流，通常会采用在板子上插上USB摄像头获取画面。
今天我将向搭建演示该如何通过USB获取画面后推流出RTSP视频流。

本课程相关代码以开源在V8的项目中，有开源链接的朋友可以重新拉取一下代码。

前期准备

首先我们需要确定一下基本原理，usb的获取和推流到rtsp是这里面存在编码不一致的问题。

通常我们会采用opencv获取usb摄像头的画面然后进行推理，这时候图像是RGB编码的。

而推流到RTSP中就变成了YUV编码，那自然就会想到RK3588的固有能力，硬件编码器MPP。

那RTSP的推流我们就选择官方推荐的ZLMediakit来实现。正题结构如下所示：

#mermaid-svg-KYqRPVY2dj0UufyW {font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:16px;fill:#333;}#mermaid-svg-KYqRPVY2dj0UufyW .error-icon{fill:#552222;}#mermaid-svg-KYqRPVY2dj0UufyW .error-text{fill:#552222;stroke:#552222;}#mermaid-svg-KYqRPVY2dj0UufyW .edge-thickness-normal{stroke-width:2px;}#mermaid-svg-KYqRPVY2dj0UufyW .edge-thickness-thick{stroke-width:3.5px;}#mermaid-svg-KYqRPVY2dj0UufyW .edge-pattern-solid{stroke-dasharray:0;}#mermaid-svg-KYqRPVY2dj0UufyW .edge-pattern-dashed{stroke-dasharray:3;}#mermaid-svg-KYqRPVY2dj0UufyW .edge-pattern-dotted{stroke-dasharray:2;}#mermaid-svg-KYqRPVY2dj0UufyW .marker{fill:#333333;stroke:#333333;}#mermaid-svg-KYqRPVY2dj0UufyW .marker.cross{stroke:#333333;}#mermaid-svg-KYqRPVY2dj0UufyW svg{font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:16px;}#mermaid-svg-KYqRPVY2dj0UufyW .label{font-family:"trebuchet ms",verdana,arial,sans-serif;color:#333;}#mermaid-svg-KYqRPVY2dj0UufyW .cluster-label text{fill:#333;}#mermaid-svg-KYqRPVY2dj0UufyW .cluster-label span{color:#333;}#mermaid-svg-KYqRPVY2dj0UufyW .label text,#mermaid-svg-KYqRPVY2dj0UufyW span{fill:#333;color:#333;}#mermaid-svg-KYqRPVY2dj0UufyW .node rect,#mermaid-svg-KYqRPVY2dj0UufyW .node circle,#mermaid-svg-KYqRPVY2dj0UufyW .node ellipse,#mermaid-svg-KYqRPVY2dj0UufyW .node polygon,#mermaid-svg-KYqRPVY2dj0UufyW .node path{fill:#ECECFF;stroke:#9370DB;stroke-width:1px;}#mermaid-svg-KYqRPVY2dj0UufyW .node .label{text-align:center;}#mermaid-svg-KYqRPVY2dj0UufyW .node.clickable{cursor:pointer;}#mermaid-svg-KYqRPVY2dj0UufyW .arrowheadPath{fill:#333333;}#mermaid-svg-KYqRPVY2dj0UufyW .edgePath .path{stroke:#333333;stroke-width:2.0px;}#mermaid-svg-KYqRPVY2dj0UufyW .flowchart-link{stroke:#333333;fill:none;}#mermaid-svg-KYqRPVY2dj0UufyW .edgeLabel{background-color:#e8e8e8;text-align:center;}#mermaid-svg-KYqRPVY2dj0UufyW .edgeLabel rect{opacity:0.5;background-color:#e8e8e8;fill:#e8e8e8;}#mermaid-svg-KYqRPVY2dj0UufyW .cluster rect{fill:#ffffde;stroke:#aaaa33;stroke-width:1px;}#mermaid-svg-KYqRPVY2dj0UufyW .cluster text{fill:#333;}#mermaid-svg-KYqRPVY2dj0UufyW .cluster span{color:#333;}#mermaid-svg-KYqRPVY2dj0UufyW div.mermaidTooltip{position:absolute;text-align:center;max-width:200px;padding:2px;font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:12px;background:hsl(80, 100%, 96.2745098039%);border:1px solid #aaaa33;border-radius:2px;pointer-events:none;z-index:100;}#mermaid-svg-KYqRPVY2dj0UufyW :root{--mermaid-font-family:"trebuchet ms",verdana,arial,sans-serif;}
opencv

yolo

mpp

mpp

ZLMediakit

       USB 
     

       RGBimg 
     

       推理画面 
     

       YUVimg 
     

       RTSP 
     

下载和编译zlmediakit、mpp

代码讲解查看视频 https://www.bilibili.com/video/BV1or421T74f](https://www.bilibili.com/video/BV1or421T74f

cd ZLMediaKit
git submodule init
git submodule update
cmake .-B build && cmake --build build -j4cd../mpp
cmake .-B build && cmake --build build -j4cp ./submodules/mpp/build/utils/libutils.a libs/
cp ./submodules/ZLMediaKit/release/linux/Debug/libmk_api.so libs/

源码核心部分

intprocess_video_file(rknn_app_context_t *ctx,constchar*video_path){// 读取视频
    cv::VideoCapture cap(video_path);if(!cap.isOpened()){printf("Failed to open video file: %s", video_path);}// 获取视频尺寸、帧率int cap_width = cap.get(cv::CAP_PROP_FRAME_WIDTH);int cap_height = cap.get(cv::CAP_PROP_FRAME_HEIGHT);int fps = cap.get(cv::CAP_PROP_FPS);

    ctx->media =mk_media_create("__defaultVhost__", ctx->push_path_first.c_str(), ctx->push_path_second.c_str(),0,0,0);
    codec_args v_args ={0};
    mk_track v_track =mk_track_create(MKCodecH264,&v_args);mk_media_init_track(ctx->media, v_track);mk_media_init_complete(ctx->media);mk_media_set_on_regist(ctx->media, on_mk_media_source_regist_func, ctx);// 初始化编码器
    MppEncoder *mpp_encoder =newMppEncoder();
    MppEncoderParams enc_params;memset(&enc_params,0,sizeof(MppEncoderParams));
    enc_params.width = cap_width;
    enc_params.height = cap_height;
    enc_params.fmt = MPP_FMT_YUV420SP;
    enc_params.type = MPP_VIDEO_CodingAVC;
    mpp_encoder->Init(enc_params, ctx);
    ctx->encoder = mpp_encoder;// mpp编码配置void*mpp_frame =NULL;int mpp_frame_fd =0;void*mpp_frame_addr =NULL;int enc_data_size;int frame_index =0;int ret =0;// 画面
    cv::Mat img;while(true){// 读取视频帧
        cap >> img;if(img.empty()){printf("Video end.");break;}
        frame_index++;// 结束计时auto end_time = std::chrono::high_resolution_clock::now();// 将当前时间点转换为毫秒级别的时间戳auto millis = std::chrono::time_point_cast<std::chrono::milliseconds>(end_time).time_since_epoch().count();

        mpp_frame = ctx->encoder->GetInputFrameBuffer();
        mpp_frame_fd = ctx->encoder->GetInputFrameBufferFd(mpp_frame);
        mpp_frame_addr = ctx->encoder->GetInputFrameBufferAddr(mpp_frame);
        rga_buffer_t src =wrapbuffer_fd(mpp_frame_fd, cap_width, cap_height, RK_FORMAT_YCbCr_420_SP);int enc_buf_size = ctx->encoder->GetFrameSize();char*enc_data =(char*)malloc(enc_buf_size);
        rga_buffer_t rgb_img =wrapbuffer_virtualaddr((void*)img.data, cap_width, cap_height, RK_FORMAT_BGR_888);// 将RGB图像复制到src中imcopy(rgb_img, src);if(frame_index ==1){
            enc_data_size = ctx->encoder->GetHeader(enc_data, enc_buf_size);}// 内存初始化memset(enc_data,0, enc_buf_size);
        enc_data_size = ctx->encoder->Encode(mpp_frame, enc_data, enc_buf_size);
        ret =mk_media_input_h264(ctx->media, enc_data, enc_data_size, millis, millis);if(ret !=1){printf("mk_media_input_frame failed\n");}}
    cap.release();}

代码讲解查看视频https://www.bilibili.com/video/BV1or421T74f