关于JAVA海康ISUPSDK推送前端播放

知识点

须知

注意：该需求是用于公网设备（4G、户外坏境）；请先了解需求后做参考
下载好海康的ISUPSDK的demo（ehome5.0）
在这里插入图片描述

安装zlmediakit流媒体服务器

自行查看

前端环境

vue2、西瓜播放器

后端核心

这个是核心，获取到sdk回调得到的流数据后推送到zlm

private PipedOutputStream outputStream;// 管道输出流private PipedOutputStream picOutputStream;// 抓图管道流//预览回调数据publicclassFPreviewDataCallbackimplementsPREVIEW_DATA_CB{

        @Override
        public boolean invoke(int iPreviewHandle, Pointer pPreviewCBMsg, Pointer pUserData){
            String sClassName =NET_EHOME_PREVIEW_CB_MSG.class.getName();NET_EHOME_PREVIEW_CB_MSG strPreviewData=null;try{
                strPreviewData =(NET_EHOME_PREVIEW_CB_MSG) CommonMethod.WritePointerDataToClass(pPreviewCBMsg, sClassName);}catch(Exception e){
                e.printStackTrace();}if(strPreviewData.pRecvdata ==null|| strPreviewData.dwDataLen <=0){returnfalse;}switch(strPreviewData.byDataType){case ISUPStreamByJNA.NET_DVR_SYSHEAD:{
                    logger.info("HIK Stream Header len:"+ strPreviewData.dwDataLen);break;}case ISUPStreamByJNA.NET_DVR_STREAMDATA:{try{
                        haiKangSdkAccessHashMap.get(iPreviewHandle+"_1").onMediaStream(strPreviewData.pRecvdata.getByteArray(0,strPreviewData.dwDataLen),false,true);}catch(Exception e){
                        e.printStackTrace();
                        WvpDevice wvpDevice=wvpDeviceService.selectWvpDeviceByIPreviewHandle((long)iPreviewHandle);if(wvpDevice!=null){//                            Preview.StopPreview(wvpDevice.getDeviceId());
                            haiKangSdkAccessHashMap.remove(iPreviewHandle +"_1");}}}}returntrue;}

publicvoidonMediaStream(byte[] data, boolean isAudio, boolean isReal) throws IOException {if(t==null){
            String zlmRTMPUrl = rtmpUrl +deviceChannel ;//启动javacv解析处理器线程
            logger.info("启动javacv解析处理器线程"+zlmRTMPUrl);
            t=newJavaCVProcessThread(zlmRTMPUrl,deviceChannel,redisCache);//            t=new JavaCVProcessThread("rtmp://127.0.0.1:1935/live/"+deviceId);
            t.start();}if(t!=null){//写出视频码流到javacv多线程解析处理器
            redisCache.setCacheObject(deviceChannel,deviceChannel,60, TimeUnit.SECONDS);
            t.push(data, data.length,deviceChannel, isReal);}}

package com.wvp.camera.module.service.util;import com.wvp.common.core.redis.RedisCache;import com.wvp.camera.module.service.stream.EStream;import com.wvp.camera.module.service.stream.Preview;import lombok.extern.slf4j.Slf4j;import org.bytedeco.ffmpeg.avcodec.AVCodecParameters;import org.bytedeco.ffmpeg.avformat.AVFormatContext;import org.bytedeco.ffmpeg.avformat.AVStream;import org.bytedeco.ffmpeg.global.avcodec;import org.bytedeco.ffmpeg.global.avutil;import org.bytedeco.javacv.*;import org.slf4j.Logger;import org.slf4j.LoggerFactory;import java.io.IOException;import java.io.PipedInputStream;import java.io.PipedOutputStream;import java.util.concurrent.TimeUnit;/**
 * 海康sdk接收实时视频回调演示demo
 * @author eguid
 *
 */publicclassHaiKangSdkAccess{

    RedisCache redisCache;//日志文件protectedstatic final Logger logger = LoggerFactory.getLogger(EStream.class);

    JavaCVProcessThread t =null;private String deviceChannel;private Long luserId;private int lLinkHandle;private String rtmpUrl;private int model;publicHaiKangSdkAccess(String deviceChannel, Long luserId, int lLinkHandle, String rtmpUrl,RedisCache redisCache,int model){this.deviceChannel = deviceChannel;this.luserId = luserId;this.lLinkHandle = lLinkHandle;this.rtmpUrl = rtmpUrl;this.redisCache=redisCache;//1实时预览 2-回放this.model = model;}//通过海康/大华sdk回调函数每次回调传输过来的视频字节数组数据写入到管道流publicvoidonMediaStream(byte[] data, boolean isAudio, boolean isReal) throws IOException {if(t==null){
            String zlmRTMPUrl = rtmpUrl +deviceChannel ;//启动javacv解析处理器线程
            logger.info("启动javacv解析处理器线程"+zlmRTMPUrl);
            t=newJavaCVProcessThread(zlmRTMPUrl,deviceChannel,redisCache);//            t=new JavaCVProcessThread("rtmp://127.0.0.1:1935/live/"+deviceId);
            t.start();}if(t!=null){//写出视频码流到javacv多线程解析处理器
            redisCache.setCacheObject(deviceChannel,deviceChannel,60, TimeUnit.SECONDS);
            t.push(data, data.length,deviceChannel, isReal);}}}/**
 * javacv多线程解析处理器，用于读取海康/大华/宇视设备sdk回调视频码流并解析转码推流到rtmp
 * @author fs
 *
 */classJavaCVProcessThreadextendsThread{privatestatic final Logger log = LoggerFactory.getLogger(JavaCVProcessThread.class);//日志文件protectedstatic final Logger logger = LoggerFactory.getLogger(EStream.class);
    FFmpegFrameGrabber grabber=null;
    FFmpegFrameRecorder recorder =null;
    PipedInputStream inputStream;
    PipedOutputStream outputStream;
    String pushAddress;
    String deviceId;

    RedisCache redisCache;/**
     * 创建用于把字节数组转换为inputstream流的管道流
     * @throws IOException
     */publicJavaCVProcessThread(String output,String deviceId,RedisCache redisCache) throws IOException {this.redisCache=redisCache;this.deviceId=deviceId;
        pushAddress = output;
        outputStream =newPipedOutputStream();
        inputStream =newPipedInputStream();
        outputStream.connect(inputStream);

        System.out.println("创建线程："+inputStream);}/**
     * 异步接收海康/大华/宇视设备sdk回调实时视频裸流数据
     * @param data
     * @param size
     */publicvoidpush(byte[] data,int size,String playKey, boolean isReal) throws IOException {try{

            outputStream.write(data,0, size);}catch(Exception e){// TODO Auto-generated catch block
            e.printStackTrace();if(isReal){
                Preview.StopPreview(playKey);}else{
                Preview.PlaybackStop(playKey);}}}

    @Override
    publicvoidrun(){try{
            Thread.sleep(500);// ffmepg日志级别
            avutil.av_log_set_level(avutil.AV_LOG_ERROR);
            FFmpegLogCallback.set();// 实例化帧抓取器对象，将文件路径传入// 1.直接以文件形式实例化帧抓取器，此方式可以推送h264，ps码流格式的MP4//        FFmpegFrameGrabber grabber = new FFmpegFrameGrabber(MP4_FILE_PATH);// 2.从文件中取流实例化帧抓取器,此方式只能推送ps码流的MP4
            log.info(inputStream.toString());
            FFmpegFrameGrabber grabber =newFFmpegFrameGrabber(inputStream,0);

            long startTime = System.currentTimeMillis();

            log.info("开始初始化帧抓取器");// 下面两行设置可加可不加
            grabber.setOption("analyzeduration","1000000");//        grabber.setFormat("h264");// 初始化帧抓取器，例如数据结构（时间戳、编码器上下文、帧对象等），// 如果入参等于true，还会调用avformat_find_stream_info方法获取流的信息，放入AVFormatContext类型的成员变量oc中
            grabber.setPixelFormat(avutil.AV_PIX_FMT_YUV420P);
            grabber.setVideoCodec(avcodec.AV_CODEC_ID_H264);
            grabber.setAudioStream(Integer.MAX_VALUE);
            grabber.start();//        grabber.startUnsafe(true); // 也可以使用此方法
            log.info("帧抓取器初始化完成，耗时[{}]毫秒", System.currentTimeMillis()-startTime);// grabber.start方法中，初始化的解码器信息存在放在grabber的成员变量oc中
            AVFormatContext avFormatContext = grabber.getFormatContext();// 文件内有几个媒体流（一般是视频流+音频流）
            int streamNum = avFormatContext.nb_streams();// 没有媒体流就不用继续了if(streamNum<1){
                log.error("文件内不存在媒体流");return;}// 取得视频的帧率
            int frameRate =(int)grabber.getVideoFrameRate();

            log.info("视频帧率[{}]，视频时长[{}]秒，媒体流数量[{}]",
                    frameRate,
                    avFormatContext.duration()/1000000,
                    avFormatContext.nb_streams());// 遍历每一个流，检查其类型for(int i=0; i< streamNum; i++){
                AVStream avStream = avFormatContext.streams(i);
                AVCodecParameters avCodecParameters = avStream.codecpar();
                log.info("流的索引[{}]，编码器类型[{}]，编码器ID[{}]", i, avCodecParameters.codec_type(), avCodecParameters.codec_id());}// 视频宽度
            int frameWidth = grabber.getImageWidth();// 视频高度
            int frameHeight = grabber.getImageHeight();// 音频通道数量
            int audioChannels = grabber.getAudioChannels();

            log.info("视频宽度[{}]，视频高度[{}]，音频通道数[{}]",
                    frameWidth,
                    frameHeight,
                    audioChannels);// 实例化FFmpegFrameRecorder，将SRS的推送地址传入
            FFmpegFrameRecorder recorder =newFFmpegFrameRecorder(pushAddress,
                    frameWidth,
                    frameHeight,
                    audioChannels);// 设置编码格式
            recorder.setVideoCodec(avcodec.AV_CODEC_ID_H264);// 设置封装格式
            recorder.setFormat("flv");// 一秒内的帧数
            recorder.setFrameRate(frameRate);// 两个关键帧之间的帧数
            recorder.setGopSize(frameRate);// 设置音频通道数，与视频源的通道数相等
            recorder.setAudioChannels(grabber.getAudioChannels());

            startTime = System.currentTimeMillis();
            log.info("开始初始化帧抓取器");// 初始化帧录制器，例如数据结构（音频流、视频流指针，编码器），// 调用av_guess_format方法，确定视频输出时的封装方式，// 媒体上下文对象的内存分配，// 编码器的各项参数设置
            recorder.start();

            log.info("帧录制初始化完成，耗时[{}]毫秒", System.currentTimeMillis()-startTime);

            Frame frame;

            startTime = System.currentTimeMillis();

            log.info("开始推流");

            long videoTS =0;

            int videoFrameNum =0;
            int audioFrameNum =0;
            int dataFrameNum =0;// 假设一秒钟15帧，那么两帧间隔就是(1000/15)毫秒
            int interVal =1000/frameRate;// 发送完一帧后sleep的时间，不能完全等于(1000/frameRate)，不然会卡顿，// 要更小一些，这里取八分之一
            interVal/=8;// 持续从视频源取帧while(null!=(frame=grabber.grab())){
                videoTS =1000*(System.currentTimeMillis()- startTime);// 时间戳
                recorder.setTimestamp(videoTS);// 有图像，就把视频帧加一if(null!=frame.image){
                    videoFrameNum++;}// 有声音，就把音频帧加一if(null!=frame.samples){
                    audioFrameNum++;}// 有数据，就把数据帧加一if(null!=frame.data){
                    dataFrameNum++;}// 取出的每一帧，都推送到SRS
                recorder.record(frame);// 停顿一下再推送
                Thread.sleep(interVal);}
            String[] deviceChannel = deviceId.split("_");

            log.info("推送完成，视频帧[{}]，音频帧[{}]，数据帧[{}]，耗时[{}]秒",
                    videoFrameNum,
                    audioFrameNum,
                    dataFrameNum,(System.currentTimeMillis()-startTime)/1000);// 关闭帧录制器
            recorder.close();// 关闭帧抓取器
            grabber.stop();
            grabber.close();
            inputStream.close();}catch(Exception e){
            e.printStackTrace();}}}

总结

海康的sdk对接起来确实有点难度，简直就是一坨*
先去了解zlm或者其它流媒体服务器（原理都差不多），搭建好后再去写核心推流。
业务层要基于你们的需求来（每个人都不同），关于前端如何播放的核心代码就这些
目前我demo已经完成了实时预览、录像回放、云台控制、远程配置参数（视音频、图像OSD等）
对接了好几个月，如有需要请联系（当然是有偿的啦回点血，不会很贵）

标签： java 前端开发语言

本文转载自: https://blog.csdn.net/qq_38819770/article/details/138065881
版权归原作者 伞兵7号 所有，如有侵权，请联系我们删除。

关于JAVA海康ISUPSDK推送前端播放

知识点

须知

安装zlmediakit流媒体服务器

前端环境

后端核心

总结

发表评论

“关于JAVA海康ISUPSDK推送前端播放”的评论:

关于作者

overfit同步小助手

相关阅读

文章导航