CN117319591B - 一种视频传输方法、装置、计算机可读存储介质及设备 - Google Patents

Abstract

本申请公开了一种超高清视频远距离传输装置、方法、系统、设备及介质，包括采集来自MIPI CSI协议接口的原始图像；对原始图像进行预处理，得到预处理图像；对预处理图像进行编码，得到编码图像；对编码图像进行压缩，得到压缩图像；通过SDI接口将压缩图像串行传输至远程设备，以使远程设备接收压缩数据，对压缩数据进行解串还原和解码还原，得到CSI图像信号。本申请可以将高质量的数字音视频信号传输到距离较远的设备上，满足汽车领域数字高清图像应用系统的需求，保证了高质量视频的传输质量，提高了自动驾驶的安全性。

Description

一种视频传输方法、装置、计算机可读存储介质及设备

技术领域

本申请涉及车辆自动驾驶技术领域，尤其是涉及一种超高清视频远距离传输装置、方法、系统、设备及介质。

背景技术

随着汽车电子技术的不断发展，车载摄像头在车载监控、智能驾驶和电子后视镜系统中得到广泛应用。车载摄像头通过采集图像信号，并将其传输到车载电子系统进行处理和分析，从而实现各种功能，例如车辆监控、安全驾驶提示、自适应巡航控制等。然而，在现有的技术中，车载摄像头的图像信号传输仍然存在一些问题和挑战。例如，由于车载环境的复杂性和多样性，传统的模拟信号传输方式容易受到干扰和衰减，影响图像的质量和稳定性。此外，随着车载摄像头数量的不断增加，传统的模拟信号传输方式也难以满足系统的扩展性和灵活性需求。

MIPI信号采用低压差分信号，传输速率快，抗干扰能力强，具有较高的图像质量。MIPI CSI物理层协议D-PHY标准，规范了物理层的传输和协议规范，尽管在实现高速数据传输方面表现出色，由于其初衷和定位，MIPI CSI信号传输的距离受到严格的限制，通常仅能在数十厘米范围内的距离传输数据，这使其难以满足远距离传输需求等，现有应用于汽车领域数字高清图像传输的技术通常是基于LVDS技术规范标准的GMSL和FPD-Link技术，整个传输线路包含串行器和解串器，只支持长达15m的屏蔽双绞线(STP)或同轴电缆传输。

发明内容

本申请提供了一种超高清视频远距离传输装置、方法、系统、设备及介质，能够实现MIPI CSI图像信号的远程传输。

第一方面，本申请提供一种超高清视频远距离传输装置，采用如下的技术方案：

一种超高清视频远距离传输装置，包括：

原始数据编码模块，用于接收来自车载摄像头的CSI图像信号，对所述CSI图像信号进行编码，得到编码数据；

压缩模块，用于接收编码数据，对所述编码数据进行压缩，得到压缩数据；

传输模块，用于将所述压缩数据通过SDI接口串行传输至远程设备；

解码模块，用于接收所述压缩数据，对所述压缩数据进行解串还原和解码还原，得到所述CSI图像信号。

进一步地，上述压缩模块为MPEG压缩模块，所述MPEG压缩模块响应于接收编码数据，对所述编码数据进行MPEG无损压缩，得到所述压缩数据，其中，所述压缩数据为基于MPEG压缩标准的压缩数据。

进一步地，上述SDI接口为EX-SDI接口，所述EX-SDI接口之间通过同轴电缆连接。

第二方面，本申请提供一种超高清视频远距离传输方法，采用如下的技术方案：

一种超高清视频远距离传输方法，包括以下步骤：

采集来自MIPI CSI协议接口的原始图像；

对所述原始图像进行预处理，得到预处理图像；

对所述预处理图像进行编码，得到编码图像；

对所述编码图像进行压缩，得到压缩图像；

通过SDI接口将所述压缩图像串行传输至远程设备，以使所述远程设备接收所述压缩数据，对所述压缩数据进行解串还原和解码还原，得到所述CSI图像信号。

进一步地，上述对所述原始图像进行预处理包括：

对所述原始图像依次进行电平补偿、阴影矫正、去坏点、去马赛克插值、去噪、自动白平衡、颜色矫正、YUV色彩空间转换，得到所述预处理图像。

进一步地，上述对所述编码图像进行压缩包括：

将所述编码图像压缩为MPEG格式的压缩包，得到压缩图像。

进一步地，上述通过SDI接口将所述压缩图像串行传输至远程设备包括：

将所述压缩图像传输至域转换引擎库，所述域转换引擎库对所述压缩图像进行EX-SDI数据流编码后，通过EX-SDI接口和同轴电缆传输至远程设备。

进一步地，上述域转换引擎库对所述压缩图像进行EX-SDI数据流编码时，与原始数据编码模块同步域转换引擎库中的缓冲区状态，所述原始数据编码模块根据所述缓冲区状态控制编码速率。

第三方面，本申请提供一种计算机设备，采用如下的技术方案：

一种计算机设备，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序时实现如第一方面所述的方法。

第四方面，本申请提供一种计算机可读存储介质，采用如下的技术方案：

一种计算机可读存储介质，存储有能够被处理器加载并执行如第一方面中任一种方法的计算机程序。

综上所述，本申请包括以下至少一种有益技术效果：

本申请提供了一种超高清视频远距离传输装置、方法、系统、设备及介质，将 CSI图像信号经过原始数据编码、压缩和转换SDI信号数据流的处理，可以将数字音视频信号传输到距离较远的设备上，满足汽车领域数字高清图像应用系统的需求，保证了高质量视频的传输质量，提高了自动驾驶的安全性。

附图说明

图1是本申请实施方式中超高清视频远距离传输装置结构示意图。

图2是本申请实施方式中超高清视频远距离传输方法流程示意图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本申请，并不用于限定本申请。

本申请实施例中的超高清视频为基于MIPI CSI信号的视频流，MIPI CSI技术作为汽车领域嵌入式视觉系统的图像采集接口具有关键性能亮点：

（1）其RAW-16或24色深可提高高动态范围(HDR)和信噪比(SNR)，为自动驾驶汽车配备先进的视觉能力。

（2）具有使用多达32个虚拟通道的能力，可容纳具有多种数据类型的图像传感器；支持高级驾驶辅助系统(ADAS)的多曝光和多范围传感器融合。

（3）延迟减少和传输效率(LRTE)促进实时感知和优化传输，以减少电线数量和功耗。

（4）差分脉冲编码调制(DPCM)压缩可降低带宽，同时为视觉应用提供无压缩伪影的信噪比图像。

本申请实施例公开一种超高清视频远距离传输方法，采用如下的技术方案：

一种超高清视频远距离传输方法，包括以下步骤：

S101：采集来自MIPI CSI协议接口的原始图像；

在本实施方式中，车载摄像头中的图像传感器通过感光元件感受光线并进行光电信号转换，经过模拟信号处理、复位和A/D转换处理后输出原始图像，再通过MIPI CSI 2协议接口进行数字图像信号输出。

S102：对所述原始图像进行预处理，得到预处理图像；

在本实施方式中，车载摄像头中的图像处理器通过MIPI CSI协议接口接收到原始图像的数字图像信号后，对所述原始图像依次进行电平补偿、阴影矫正、去坏点、去马赛克插值、去噪、自动白平衡、颜色矫正、YUV色彩空间转换，得到所述预处理图像。其中，电平补偿可以有效的将衰减的数字图像信号还原，使图像的信噪比更高；阴影矫正、去坏点、去马赛克插值、去噪、自动白平衡、颜色矫正、YUV色彩空间等可以有效的提高原始图像的视频图像质量，能够保证图像的传输质量稳定可靠，提供高清图像。

S103：对所述预处理图像进行编码，得到编码图像；

在本实施方式中，图像处理器完成对图像的预处理后，将预处理图像输出至摄像头中的图像压缩编解码库进行数据编码，得到编码图像，以便对图像数据进行压缩。

S104：对所述编码图像进行压缩，得到压缩图像；

在本实施方式中，可以通过图像压缩编解码库对编码图像进行压缩处理，例如，选用MPEG无损压缩方式，得到MPEG格式的压缩图像，其中，MPEG是一种针对动态图像的视频压缩标准。

S105：通过SDI接口将所述压缩图像串行传输至远程设备；

在本实施方式中，图像压缩编解码库完成对编码图像的压缩后，需要将压缩图像传输至域转换引擎库中，域转换引擎库进行EX-SDI数据流编码和输出；EX-SDI数据流基于同轴电缆，将数据字节的各个比特以及相应的数据通过单一通道顺序从传送，传输距离支持100米以上。需要注意的是，EX-SDI采用同轴电缆作为传输介质，而MIPI CSI是差分信号对，要求阻抗严格规范的集成电路。此外，在域转换引擎库的编码过程中对缓冲区状态及时反馈并由编解码控制库进行处理和均衡，进而对图像数据的压缩速率进行控制。以确保数据传输的低延时、无帧缓冲以及压缩速率的自动控制，以便实时传输。其中，EX-SDI（Extended Serial Digital Interface）是一种基于SDI（Serial Digital Interface ）标准扩展的串行数字接口，SDI是一种数字视频传输接口，用于将数字音视频信号传输到距离较远的设备上。SDI接口基于同轴电缆，传输速率可达270Mbps，传输距离支持长达100米。

S106：上位机接收所述压缩图像，进行解串还原和解码应用。

在本实施方式中，上位机接收到串行传输的图像信号后，将其解压缩还原为原始的编码数据；并通过解码库解码为原始图像具体地，上位机将接收到的字节数（RX）进行解压缩和解码还原，得到Mipi CS2图像数据，然后通过相应的端口将Mipi CS2图像数据传输到上位机的芯片中，最后可以直接输出到EX-SDI装置显示以及还原为MIPI CSI，或通过硬件设计转换成LVDS/USB 3.0/DVP等接口协议数据作进一步的图像分析和加工处理。

由上可见，本实施例提供的一种超高清视频远距离传输方法，基于摄像头中的图像传感器完成图像采集，然后将原始图像以MIPI CSI2的格式传输给摄像头内的图像处理器中，图像处理器内置图像压缩编解码库和域转换引擎库，可以完成对原始图像的预处理、编码、压缩，然后通过EX-SDI串行器输出到远程设备的上位机中。数据的压缩采用MPEG无损压缩处理，有效降低了数据传输的带宽要求，同时保持了图像质量。这有利于降低数据传输的成本，尤其是在有限的带宽条件下。在域转换引擎库的编码过程中对缓冲区状态及时反馈并由编解码控制库进行处理和均衡，保证了数据传输的低延迟性，使图像可以实时传输，适用于需要实时反馈的应用，如智能驱动、电子后视镜系统。采用同轴电缆作为传输介质，支持长达100米的传输距离。这解决了传统MIPI CSI图像信号传输距离设定的问题，使系统更加灵活和可靠。通过上位机可以将解码后的图像数据输出到多种不同的接口协议，如EX-SDI、LVDS、USB 3.0、DVP等，满足不同应用的需求，包括显示和图像分析等。而在整个传输过程中，应用矩阵状态的监控和均衡，保证数据传输的稳定性和可靠性。这对于车辆监控和智能驾驶等关键应用非常重要。通过上述方法，可以支持2MP-8MP像素、帧率60fps的数字高清图像应用，并能够进行长达100米的远距离无损图像传输，同时，上位机中的一个解压/解码库可以同时处理两路2MP-8MP@60fps的图像。如果需要支持4路图像处理，只需扩展上位机资源，增加一个解压/解码库，并实现并行处理逻辑即可。这种灵活性和扩展性完全可以满足汽车领域数字高清图像应用系统的需求。本申请的方法应用在车载设备中时，相比于AHD模拟图像，具有更高的分辨率和帧率，能呈现更高清晰度、更流畅的画面；使用POC (PowerOver Coaxial)传输，安装布线便捷，能够有效避免外部干扰对传输的影响，提高传输的可靠性和稳定性。相比于LVDS技术规范标准下GMSL和FPD-Link方案，本申请的数字图像传输方案能够实现更远的传输距离，达到100米，从而满足更广泛的应用需求。

本申请实施例还公开一种超高清视频远距离传输装置，采用如下的技术方案：

一种超高清视频远距离传输装置，包括：

原始数据编码模块，用于接收来自车载摄像头的CSI图像信号，对所述CSI图像信号进行编码，得到编码数据；

压缩模块，用于接收编码数据，对所述编码数据进行压缩，得到压缩数据；

传输模块，用于将所述压缩数据通过SDI接口串行传输至远程设备；

解码模块，用于接收所述压缩数据，对所述压缩数据进行解串还原和解码还原，得到所述CSI图像信号。

在本实施方式中，上述压缩模块为MPEG压缩模块，所述MPEG压缩模块响应于接收编码数据，对所述编码数据进行MPEG无损压缩，得到所述压缩数据，其中，所述压缩数据为基于MPEG压缩标准的压缩数据。

在本实施方式中，上述SDI接口为EX-SDI接口，所述EX-SDI接口之间通过同轴电缆连接。

本申请实施例的超高清视频远距离传输装置能够实现上述超高清视频远距离传输方法的任一种方法，且超高清视频远距离传输装置中各个模块的具体工作过程可参考上述方法实施例中的对应过程。

在本申请所提供的几个实施例中，应该理解到，所提供的方法和系统，可以通过其它的方式实现。例如，以上所描述的系统实施例仅仅是示意性的；例如，某个模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个模块可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。

本申请实施例还公开一种计算机设备。

计算机设备，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现如上述的xx方法。

本申请实施例还公开一种计算机可读存储介质。

计算机可读存储介质，存储有能够被处理器加载并执行如上述的xx方法中任一种方法的计算机程序。

其中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用；计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、电线、光缆、RF等等，或者上述的任意合适的组合。

实施例一：

本申请实施例提供了一种超高清视频远距离传输装置在汽车间接视野装置系统或电子后视镜的应用方法，具体包括：

通过摄像头中的图像传感器采集汽车后视镜的Ⅱ类（主外后视野）和Ⅳ 类（广角外视野）视野，以及Ⅴ类以上视野的状况，并进行光电信号转换，经过模拟信号处理、复位和A/D转换处理后输出原始图像，再通过MIPI CSI 2协议接口进行数字图像信号输出

摄像头中的图像处理器基于MIPI CSI 2协议接口接收到原始图像的数字图像信号后，对所述原始图像依次进行电平补偿、阴影矫正、去坏点、去马赛克插值、去噪、自动白平衡、颜色矫正、YUV色彩空间转换，得到预处理图像；然后将处理图像输出至摄像头中的图像压缩编解码库进行数据编码，得到编码图像；再通过图像压缩编解码库对编码图像进行压缩处理，得到MPEG格式的压缩图像。

图像压缩编解码库完成对编码图像的压缩后，将压缩图像传输至域转换引擎库中，域转换引擎库进行EX-SDI数据流编码，基于同轴电缆输出，同时，在域转换引擎库的编码过程中对缓冲区状态及时反馈并由编解码控制库进行处理和均衡。

汽车座舱的上位机通过解压缩/解码还原模块接收到串行传输的图像信号后，将接收到的字节数（RX）进行解压缩和解码还原，得到Mipi CS2图像数据，然后通过相应的端口将Mipi CS2图像数据传输到上位机的芯片中，进行LVDS/MIPI处理，就可以输出直接视野无法观察到的车辆临近交通区域。

在上述过程中，摄像头采集和输出，以及上位机解码还原后输出到SOC中的视频图像为2MP-8MP像素、帧率60fps的数字高清图像，上位机的解码模块的端口与芯片之间的传输为MIPI 4lane 1188MHz2M60P*2CH，上位机和摄像头之间基于同轴电缆，传输速率可达270Mbps，传输距离支持长达100米，满足GB15084-2022标准要求的机动车间接视野装置的图像性能、延时特性和安装要求。

实施例二：

本申请实施例提供了一种超高清视频远距离传输装置在智能驾驶系统中的应用方法，具体包括：

通过摄像头中的图像传感器采集汽车各个方向的交通情况或路面状况，并进行光电信号转换，经过模拟信号处理、复位和A/D转换处理后输出原始图像，再通过MIPI CSI 2协议接口进行数字图像信号输出

摄像头中的图像处理器基于MIPI CSI 2协议接口接收到原始图像的数字图像信号后，对所述原始图像依次进行电平补偿、阴影矫正、去坏点、去马赛克插值、去噪、自动白平衡、颜色矫正、YUV色彩空间转换，得到预处理图像；然后将处理图像输出至摄像头中的图像压缩编解码库进行数据编码，得到编码图像；再通过图像压缩编解码库对编码图像进行压缩处理，得到MPEG格式的压缩图像。

图像压缩编解码库完成对编码图像的压缩后，将压缩图像传输至域转换引擎库中，域转换引擎库进行EX-SDI数据流编码，基于同轴电缆输出，同时，在域转换引擎库的编码过程中对缓冲区状态及时反馈并由编解码控制库进行处理和均衡。

汽车座舱的上位机通过解压缩/解码还原模块接收到串行传输的图像信号后，将接收到的字节数（RX）进行解压缩和解码还原，得到Mipi CS2图像数据，然后通过相应的端口将Mipi CS2图像数据传输到上位机的芯片中，进行LVDS/MIPI处理，就可以得到单目/双目自动驾驶（ADAS）数据。

本实施例的单目/双目ADAS系统基于样本特征数据库，通过低延时、高清晰、高动态的图像数据匹配进行目标识别，以实现预警/识别类ADAS功能。该系统采用数字图像处理技术，能够在复杂的交通环境中快速准确地识别车辆、行人、道路标志等目标，并提供及时有效的预警信息，从而提高驾驶安全性。

需要说明的是，在上述实施例中，对各个实施例的描述各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。

以上均为本申请的较佳实施例，并非依此限制本申请的保护范围，本说明书（包括摘要和附图）中公开的任一特征，除非特别叙述，均可被其他等效或者具有类似目的的替代特征加以替换。即，除非特别叙述，每个特征只是一系列等效或类似特征中的一个例子而已。

Claims (8)

1.一种视频传输方法，其特征在于，包括以下步骤：

采集来自MIPI CSI协议接口的原始图像；

对所述原始图像进行预处理，得到预处理图像；

对所述预处理图像进行编码，得到编码图像；

对所述编码图像进行压缩，得到压缩图像；

通过SDI接口将所述压缩图像串行传输至远程设备，以使所述远程设备接收所述压缩图像，对所述压缩图像进行解串还原和解码还原，得到CSI图像信号；

所述通过SDI接口将所述压缩图像串行传输至远程设备包括：

将所述压缩图像传输至域转换引擎库，所述域转换引擎库对所述压缩图像进行EX-SDI数据流编码后，通过EX-SDI接口和同轴电缆传输至远程设备；

所述域转换引擎库对所述压缩图像进行EX-SDI数据流编码时，与原始数据编码模块同步域转换引擎库中的缓冲区状态，所述原始数据编码模块根据所述缓冲区状态控制编码速率。

2.根据权利要求1所述的方法，其特征在于：所述对所述原始图像进行预处理包括：

对所述原始图像依次进行电平补偿、阴影矫正、去坏点、去马赛克插值、去噪、自动白平衡、颜色矫正、YUV色彩空间转换，得到所述预处理图像。

3.根据权利要求1所述的方法，其特征在于：所述对所述编码图像进行压缩包括：

将所述编码图像压缩为MPEG格式的压缩包，得到压缩图像。

4.一种视频传输装置，其特征在于，用于执行权利要求1到3任一所述的视频传输方法，包括：

原始数据编码模块，用于接收来自车载摄像头的CSI图像信号，对所述CSI图像信号进行编码，得到编码数据；

压缩模块，用于接收编码数据，对所述编码数据进行压缩，得到压缩数据；

传输模块，用于将所述压缩数据通过SDI接口串行传输至远程设备；

解码模块，用于接收所述压缩数据，对所述压缩数据进行解串还原和解码还原，得到所述CSI图像信号。

5.根据权利要求4所述的视频传输装置，其特征在于：所述压缩模块为MPEG压缩模块，所述MPEG压缩模块响应于接收编码数据，对所述编码数据进行MPEG无损压缩，得到所述压缩数据，其中，所述压缩数据为基于MPEG压缩标准的压缩数据。

6.根据权利要求4或5所述的视频传输装置，其特征在于：所述SDI接口为EX-SDI接口，所述EX-SDI接口之间通过同轴电缆连接。

7.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质包括计算机程序，所述计算机程序用于实现如权利要求1-3中任一项所述的方法。

8.一种计算设备，其特征在于，所述计算设备包括存储器和处理器，所述存储器用于存储计算机程序，当所述计算机程序被所述处理器执行时，实现如权利要求1-3中任一项所述的方法。