CN114936174B - 基于地面无人平台的图像处理与融合计算方法 - Google Patents
基于地面无人平台的图像处理与融合计算方法 Download PDFInfo
- Publication number
- CN114936174B CN114936174B CN202210650730.0A CN202210650730A CN114936174B CN 114936174 B CN114936174 B CN 114936174B CN 202210650730 A CN202210650730 A CN 202210650730A CN 114936174 B CN114936174 B CN 114936174B
- Authority
- CN
- China
- Prior art keywords
- image
- infrared
- low
- light
- pixel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000004364 calculation method Methods 0.000 title claims abstract description 86
- 238000012545 processing Methods 0.000 title claims abstract description 72
- 230000004927 fusion Effects 0.000 title claims abstract description 63
- 238000006243 chemical reaction Methods 0.000 claims abstract description 53
- 238000007781 pre-processing Methods 0.000 claims abstract description 51
- 238000000034 method Methods 0.000 claims abstract description 37
- 230000008569 process Effects 0.000 claims abstract description 22
- 230000006870 function Effects 0.000 claims abstract description 9
- 230000015654 memory Effects 0.000 claims description 80
- 239000004973 liquid crystal related substance Substances 0.000 claims description 20
- 238000001914 filtration Methods 0.000 claims description 17
- 230000005540 biological transmission Effects 0.000 claims description 16
- 230000002146 bilateral effect Effects 0.000 claims description 12
- 238000012790 confirmation Methods 0.000 claims description 8
- 238000013500 data storage Methods 0.000 claims description 8
- 230000014759 maintenance of location Effects 0.000 claims description 8
- 238000004458 analytical method Methods 0.000 claims description 5
- 239000000284 extract Substances 0.000 claims description 4
- 238000003825 pressing Methods 0.000 claims description 4
- 230000000630 rising effect Effects 0.000 claims description 4
- 230000000007 visual effect Effects 0.000 claims description 4
- 230000000694 effects Effects 0.000 abstract description 6
- 230000004044 response Effects 0.000 abstract description 3
- 238000007499 fusion processing Methods 0.000 abstract 1
- 238000003384 imaging method Methods 0.000 description 4
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000020169 heat generation Effects 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F13/00—Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
- G06F13/38—Information transfer, e.g. on bus
- G06F13/382—Information transfer, e.g. on bus using universal interface adapter
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
- G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
- G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A40/00—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production
- Y02A40/10—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production in agriculture
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- Image Processing (AREA)
- Picture Signal Circuits (AREA)
Abstract
本发明属于图像处理、边缘计算和无人驾驶技术领域，为实现地面无人平台低延时、响应快、高敏捷的图像处理和融合处理过程，且同时兼顾平台全天候和本地化处理任务，本发明提出一种基于地面无人平台的图像处理与融合计算方法，所述方法所基于的装置包括：视频接入转换单元、FPGA预处理计算单元、视频接出转换单元、ARM核心计算单元。该方法充分发挥FPGA和ARM两类计算单元硬件架构特点，利用与软件功能相匹配的并行和流水线计算资源，在视频转换单元的输入输出协同下，极大程度的减少了视频采集与处理延时时间，满足高清、低功耗场景使用需求，可达到较优的图像处理与融合计算效果。
Description
技术领域
本发明属于图像处理、边缘计算和无人驾驶技术领域，具体涉及一种基于地面无人平台的图像处理与融合计算方法。
背景技术
随着人工智能技术和无人驾驶技术的发展，无人智能化设备数量将迎来爆发式增长，特别是“人-机协同”或“半自主”的应用模式要求地面无人平台自身具备一定的前端探测和昼夜巡航能力，通过将各类图像传感器资源加持于地面无人平台上可显著提升其自主感知决策能力。但由于这些图像传感器种类繁多，受限于各自工作原理、成像方式等不同，造成了不同图像传感器最终成像效果均有较大差异性，比如微光摄像头在白天或弱光环境下能够做到场景细节的完整复原，但对夜间环境中的人员、车辆等信息，无法与场景背景有较强的对比度区分；红外摄像头能够针对人体、发动机、车窗等表面热源做出灵敏探测，但对于道路、树木等无热源背景成像效果较差。因此，可以通过采用特定的图像计算装置对地面无人平台获取到的图像信息进行互补处理和融合利用，实现最佳的成像效果。
如图1所示，目前业界常采用如下两种方式用于地面无人平台的图像处理与融合计算，方式一是采用传统工控机安装于地面无人平台，工控机内部计算单元由CPU(中央处理器)和具备图形计算能力的GPU(图形处理器)构成，通过PCIE接口连接组成两种异构运算单元。地面无人平台所需的微光、红外摄像头一般采用通用标准USB式接口或以太网接口，方便传感设备接入。GPU负责图像的不同像素标准数据并行解析、图像降噪等预处理操作，CPU负责对摄像头数据的接入读取和结果融合；方式二是地面无人平台只负责前端采集，采集完成后将所有图像信息汇聚至网关，然后通过无线数据链方式发送至背负式或手持式控制台，控制台对地面无人平台采集到前端图像进行图像处理与融合，处理后将融合结果回传给地面无人平台。
对于方式一，该方式仍然遵循传统计算机使用方式，可支持的摄像头外设接口种类较少，仅包含常规USB接口、以太网接口等，并且常规高清大带宽摄像头通过USB协议或以太网RTSP协议传输时，传输图像信息存在协议层编解码延时问题，在1080P60帧传输质量下，实测单帧视频平均传输延时时间在200ms以上。而对于诸如SDI、PAL等低延时摄像头接口而言，则无法直接接入工控机，无法满足实时性要求。且GPU作为异构并行计算单元，虽然能够很好地满足图像像素遍历、降噪等并行计算使用需求，但在开启GPU计算后，整机功耗基本上保持在百瓦以上，对于地面无人平台电池供电使用方式而言，无疑缩短了整机工作时长，无法满足低功耗使用。对于方式二，该方法将图像计算部分放置于控制台，地面无人平台主要负责采集，虽然地面无人平台整机功耗降低不少，但数据链在传输过程中同样存在延时问题，且该前端采集加远端控制台处理方式，一旦数据链受到干扰无法连接，整个系统必将工作中断无法继续使用。
发明内容
(一)要解决的技术问题
本发明要解决的技术问题是：一是如何在满足基本的图像处理与融合计算使用前提下，能够接入低延时的微光、红外车规级摄像头供地面无人平台使用，同时在整个处理过程实现低延时、响应快的敏捷处理效果；二是能够兼顾地面无人平台全天候和本地化处理任务，装置在整机形态上应尽量小巧、完整、独立，应不借助远端控制台，可单独完成图像处理与融合计算，并将计算结果输出至地面无人平台供其使用。
(二)技术方案
为解决上述技术问题，本发明提供一种基于地面无人平台的图像处理与融合计算方法，所述图像处理与融合计算方法基于图像处理与融合计算装置来实施，所述图像处理与融合计算装置包括：视频接入转换单元、FPGA预处理计算单元、视频接出转换单元、ARM核心计算单元、LVDS液晶屏、按键、以太网发送模块；
所述图像处理与融合计算方法包括如下步骤：
步骤1：无人平台的摄像头图像信息通过同轴电缆线将微光SDI制式图像信息、红外PAL制式图像信息传输至视频接入转换单元，所述视频接入转换单元分别按照BT.1120YUV422像素标准和BT.656YUV422像素标准进行数据位和帧场行标志位信息解析，接着将包含该信息的高速图像信号发送至FPGA预处理计算单元；
步骤2：FPGA预处理计算单元对接收到的高速图像信号进行进一步的图像预处理工作，先调整图像的亮度和色度，接着转化为RGB888像素标准数据后，通过FIFO输入缓冲区存储至DDR中，存储过程同步做顺序场调整，接着将调整完成后的微光和红外顺序场图像做双边滤波处理，发送至视频接出转换单元；
步骤3：视频接出转换单元中的单片机通过I2C总线对视频接出转换器的内部寄存器做功能配置，使转换器能够输出微光和红外的MIPI CSI制式图像；
步骤4：ARM核心计算单元接收所述MIPI CSI制式图像并进行读取，调整和裁剪红外的图像尺寸使其与微光图像保持一致，接着发送至LVDS液晶屏以供观察；
步骤5：手动调整微光摄像头和红外摄像头的焦距和方位角使其呈现在LVDS液晶屏上的拍摄视野保持一致；一致后按下确认按键；
步骤6：ARM处理器对红外图像做灰度化处理，并根据平均值计算方法提取出判断阈值，根据阈值依次标记出像素剔除点和像素保留点，并最终将像素保留点的灰度值叠加至微光图像像素点的红色分量，构成完整的微光红外融合图像，并通过以太网发送模块将包含融合图像信息的UDP网络数据包传输至地面无人平台。
其中，所述视频接入转换单元包括两组视频接入转换器、两组同轴端子插座；所述两组同轴端子插座分别接收来自地面无人平台的微光高分辨率摄像头和红外低分辨率摄像头的图像信息，微光图像信息和红外图像信息的制式分别限定为SD/HD/3G的SDI制式图像信息和PAL制式图像信息，用于达到低延时传输的目的；
所述两组同轴端子插座将SDI制式图像信息和PAL制式图像信息分别传输至两组视频接入转换器，两组视频接入转换器接收到图像信息后，一组视频接入转换器用于将SDI制式图像信息按照BT.1120YUV422像素标准进行图像信息的像素数据解析，另一组视频接入转换器用于将PAL制式图像信息按照BT.656YUV422像素标准进行图像信息的像素数据解析，解析过程伴随产生相应频率时钟，图像信息的像素数据位和帧场行标志位跟随频率时钟周期上升沿依次转换为FPGA预处理计算单元可识别的高速图像信号，并通过软排线发送至FPGA预处理计算单元；所述高速图像信号包括表征微光图像信息的YUV422像素标准数据和帧场行标志位、表征红外图像信息的YUV422像素标准数据和帧场行标志位；
所述FPGA预处理计算单元包括：FPGA可编程逻辑器、两组DDR存储器、FLASH存储器；所述FPGA预处理计算单元用于负责地面无人平台图像信息的预处理工作，其预处理逻辑程序存储于FLASH存储器中；
所述FPGA可编程逻辑器通过软排线接收到来自视频接入转换单元的高速图像信号后，先对其所包含的YUV422像素标准数据的亮度、色度通道进行调整，Y代表亮度通道，UV代表色度通道，使其避免图像过暗或偏色，接着将YUV422像素标准数据转化为RGB888像素标准数据，将转换后的RGB888像素标准数据通过FPGA可编程逻辑器内部定义的FIFO输入缓冲区存至两组DDR存储器中，其中表征微光图像信息的RGB888像素标准数据存储至DDR存储器一，表征红外图像信息的RGB888像素标准数据存储至DDR存储器二；两组DDR存储器所存储的单帧图像数据伴随视频流传输不断刷新，并保持当前最新帧数据；
所述DDR存储器一及DDR存储器二在存储过程中，若FPGA可编程逻辑器检测到帧场行标志位表征的图像场为顺序场，则直接将图像场中的每一行数据顺序存入DDR存储器一或DDR存储器二；若FPGA可编程逻辑器检测到帧场行标志位表征的图像场为奇偶场，则先将每帧图像的像素单数行隔行存入DDR存储器一或DDR存储器二，再将每帧图像的像素双数行依次插入隔行间隙中，从而构成一幅完整的顺序场图像；
所述FPGA可编程逻辑器内部定义一个5阶双边滤波算子，FPGA可编程逻辑器对调整后的顺序场图像从两组DDR存储器中读出，然后调用5阶双边滤波算子对图像进行滤波处理，使其减少因为硬件平台抖动或电磁干扰而产生的像素噪点，最终所述FPGA可编程逻辑器将完成预处理后的微光和红外高速图像信号通过软排线传输至视频接出转换单元；
所述视频接出转换单元包括两组视频接出转换器和单片机，单片机通过I2C总线与两组视频接出转换器相连，用于配置视频接出转换器内部的寄存器，通过I2C总线对寄存器进行功能配置使视频接出转换器输出图像制式为MIPI CSI制式，用以兼容ARM核心计算单元视频接入标准；配置完成后，两组视频接出转换器分别将微光和红外高速图像信号转换为两路MIPI CSI制式图像，并发送至ARM核心计算单元；
所述ARM核心计算单元包括：ARM处理器、EMMC存储器、DDR存储器三、LVDS液晶屏；
所述EMMC存储器用于存储ARM处理器工作所需要的操作系统，DDR存储器三用于临时存储ARM处理器工作过程中所涉及的计算结果值；所述ARM处理器用于接收来自两组视频接出转换器发出的两路MIPI CSI制式的图像，并按照RGB888像素标准进行读取，读取后的每个像素点的值由3字节构成，第1字节为蓝色分量、第2字节为绿色分量、第3字节为红色分量；接着计算出微光图像和红外图像各自分辨率尺寸信息和各自图像的长宽比；计算完成后，将红外图像等比例拉伸放大，若微光图像的长宽比大于红外图像的长宽比，则拉伸红外图像至长边边长与微光图像的长边边长保持一致；若微光图像的长宽比小于红外图像的长宽比，则拉伸红外图像至短边边长与微光图像的短边边长保持一致；使用图像双线性插值法填充拉伸过程中产生的空缺像素点数据；填充完成后，按照微光图像的尺寸大小将多出部分的红外图像信息裁剪掉，保证微光和红外图像尺寸一致性；最终将调整完成后的两组图像按照周期1秒的频率交替推送至LVDS液晶屏上进行显示。
其中，所述LVDS液晶屏用于显示微光图像和红外图像，该两组图像分别对应地面无人平台微光摄像头和红外摄像头的实时观测值，手动调整微光摄像头和红外摄像头的焦距和方位角使其呈现在LVDS液晶屏上的拍摄视野保持一致。
其中，所述按键用于确认当前两组摄像头拍摄视野是否调整一致，完成按键确认后，ARM处理器对红外图像做灰度化处理，并对灰度图单帧所有像素点的值求平均，像素值小于该平均值的像素点划分为区间A，像素值大于等于该平均值的像素点划分为区间B，接着再次对区间A和区间B的像素点的值求平均，分别记为平均值A和平均值B，将平均值A和平均值B相加除以2得平均值Z，最后将像素值小于该Z值的像素点全部标记为剔除点，大于等于该Z值的像素点全部标记为保留点，保留点所构成的区域图像即为明显热源区域图像。ARM处理器将保留点的灰度值按照像素点坐标位置依次叠加至微光图像像素点的红色分量上，从而构成完整的微光红外融合图像。
其中，所述ARM处理器将微光红外融合图像按照UDP协议格式转化为网络数据包，通过以太网发送模块将该网络数据包传输至地面无人平台，供地面无人平台后续使用；
至此，所述图像处理与融合计算装置最终完成所有的图像处理与融合计算环节。
其中，所述视频接入转换单元通过软排线与FPGA处理计算单元连接。
其中，所述视频接出转换单元通过软排线与FPGA预处理计算单元连接。
其中，所述ARM核心计算单元通过软排线与视频接出单元连接。
其中，所述两组同轴端子插座通过同轴电缆线分别接收来自地面无人平台的微光高分辨率摄像头和红外低分辨率摄像头的图像信息。
其中，所述两组视频接出转换器分别将微光和红外高速图像信号转换为两路MIPICSI制式图像，并通过软排线发送至ARM核心计算单元。
(三)有益效果
本发明提出一种基于地面无人平台的图像处理与融合计算方法，与现有技术相比较，本发明具备如下有益效果：
(1)本方法分别根据FPGA和ARM的处理计算特性，将FPGA用于像素标准转换、顺序场图像调整，滤波等预处理工作，将ARM用于图像尺寸调整、裁剪、区域像素筛选、融合等核心处理工作，充分发挥两类硬件架构特点，充分利用与软件功能相匹配的并行和流水线计算资源，能够较好的实现按需处理，实现低延时、响应快的敏捷处理效果。
(2)本方法所设计的视频接入和接出转换单元分别具备接入SD/HD/3G-SDI制式微光图像及PAL制式红外图像功能，具备统一转化MIPI CSI制式图像功能，与USB和以太网网络视频流接入方式相比，极大程度的减少了视频采集与处理延时时间，满足高清低延时大带宽场景使用需求。
(3)本方法利用FPGA和ARM组成异构计算资源，替代功耗高、发热大的GPU和CPU组合的工控机计算模式，在保留所需计算资源的前提下，将功耗由百瓦级降至五十瓦以下，满足地面无人平台电池供电使用场景需求。
附图说明
图1为现有技术方案原理示意图。
图2为本发明技术方案原理示意图。
图3为本发明技术方案流程示意图。
具体实施方式
为使本发明的目的、内容、和优点更加清楚，下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。
为解决上述技术问题，本发明提供一种基于地面无人平台的图像处理与融合计算方法，如图2及图3所示，所述图像处理与融合计算方法基于图像处理与融合计算装置来实施，所述图像处理与融合计算装置包括：视频接入转换单元、FPGA预处理计算单元、视频接出转换单元、ARM核心计算单元、LVDS液晶屏、按键、以太网发送模块；
所述图像处理与融合计算方法包括如下步骤：
步骤1：无人平台的摄像头图像信息通过同轴电缆线将微光SDI制式图像信息、红外PAL制式图像信息传输至视频接入转换单元，所述视频接入转换单元分别按照BT.1120YUV422像素标准和BT.656YUV422像素标准进行数据位和帧场行标志位信息解析，接着将包含该信息的高速图像信号发送至FPGA预处理计算单元；
步骤2：FPGA预处理计算单元对接收到的高速图像信号进行进一步的图像预处理工作，先调整图像的亮度和色度，接着转化为RGB888像素标准数据后，通过FIFO输入缓冲区存储至DDR中，存储过程同步做顺序场调整，接着将调整完成后的微光和红外顺序场图像做双边滤波处理，发送至视频接出转换单元；
步骤3：视频接出转换单元中的单片机通过I2C总线对视频接出转换器的内部寄存器做功能配置，使转换器能够输出微光和红外的MIPI CSI制式图像；
步骤4：ARM核心计算单元接收所述MIPI CSI制式图像并进行读取，调整和裁剪红外的图像尺寸使其与微光图像保持一致，接着发送至LVDS液晶屏以供观察；
步骤5：手动调整微光摄像头和红外摄像头的焦距和方位角使其呈现在LVDS液晶屏上的拍摄视野保持一致；一致后按下确认按键；
步骤6：ARM处理器对红外图像做灰度化处理，并根据平均值计算方法提取出判断阈值，根据阈值依次标记出像素剔除点和像素保留点，并最终将像素保留点的灰度值叠加至微光图像像素点的红色分量，构成完整的微光红外融合图像，并通过以太网发送模块将包含融合图像信息的UDP网络数据包传输至地面无人平台。
其中，所述视频接入转换单元包括两组视频接入转换器、两组同轴端子插座；所述两组同轴端子插座分别接收来自地面无人平台的微光高分辨率摄像头和红外低分辨率摄像头的图像信息，微光图像信息和红外图像信息的制式分别限定为SD/HD/3G的SDI制式图像信息和PAL制式图像信息，用于达到低延时传输的目的；
所述两组同轴端子插座将SDI制式图像信息和PAL制式图像信息分别传输至两组视频接入转换器，两组视频接入转换器接收到图像信息后，一组视频接入转换器用于将SDI制式图像信息按照BT.1120YUV422像素标准进行图像信息的像素数据解析，另一组视频接入转换器用于将PAL制式图像信息按照BT.656YUV422像素标准进行图像信息的像素数据解析，解析过程伴随产生相应频率时钟，图像信息的像素数据位和帧场行标志位跟随频率时钟周期上升沿依次转换为FPGA预处理计算单元可识别的高速图像信号，并通过软排线发送至FPGA预处理计算单元；所述高速图像信号包括表征微光图像信息的YUV422像素标准数据和帧场行标志位、表征红外图像信息的YUV422像素标准数据和帧场行标志位；
所述FPGA预处理计算单元包括：FPGA可编程逻辑器、两组DDR存储器、FLASH存储器；所述FPGA预处理计算单元用于负责地面无人平台图像信息的预处理工作，其预处理逻辑程序存储于FLASH存储器中；
所述FPGA可编程逻辑器通过软排线接收到来自视频接入转换单元的高速图像信号后，先对其所包含的YUV422像素标准数据的亮度、色度通道进行调整，Y代表亮度通道，UV代表色度通道，使其避免图像过暗或偏色，接着将YUV422像素标准数据转化为RGB888像素标准数据，将转换后的RGB888像素标准数据通过FPGA可编程逻辑器内部定义的FIFO输入缓冲区存至两组DDR存储器中，其中表征微光图像信息的RGB888像素标准数据存储至DDR存储器一，表征红外图像信息的RGB888像素标准数据存储至DDR存储器二；两组DDR存储器所存储的单帧图像数据伴随视频流传输不断刷新，并保持当前最新帧数据；
所述DDR存储器一及DDR存储器二在存储过程中，若FPGA可编程逻辑器检测到帧场行标志位表征的图像场为顺序场，则直接将图像场中的每一行数据顺序存入DDR存储器一或DDR存储器二；若FPGA可编程逻辑器检测到帧场行标志位表征的图像场为奇偶场，则先将每帧图像的像素单数行隔行存入DDR存储器一或DDR存储器二，再将每帧图像的像素双数行依次插入隔行间隙中，从而构成一幅完整的顺序场图像；
所述FPGA可编程逻辑器内部定义一个5阶双边滤波算子，FPGA可编程逻辑器对调整后的顺序场图像从两组DDR存储器中读出，然后调用5阶双边滤波算子对图像进行滤波处理，使其减少因为硬件平台抖动或电磁干扰而产生的像素噪点，最终所述FPGA可编程逻辑器将完成预处理后的微光和红外高速图像信号通过软排线传输至视频接出转换单元；
所述视频接出转换单元包括两组视频接出转换器和单片机，单片机通过I2C总线与两组视频接出转换器相连，用于配置视频接出转换器内部的寄存器，通过I2C总线对寄存器进行功能配置使视频接出转换器输出图像制式为MIPI CSI制式，用以兼容ARM核心计算单元视频接入标准；配置完成后，两组视频接出转换器分别将微光和红外高速图像信号转换为两路MIPI CSI制式图像，并发送至ARM核心计算单元；
所述ARM核心计算单元包括：ARM处理器、EMMC存储器、DDR存储器三、LVDS液晶屏；
所述EMMC存储器用于存储ARM处理器工作所需要的操作系统，DDR存储器三用于临时存储ARM处理器工作过程中所涉及的计算结果值；所述ARM处理器用于接收来自两组视频接出转换器发出的两路MIPI CSI制式的图像，并按照RGB888像素标准进行读取，读取后的每个像素点的值由3字节构成，第1字节为蓝色分量、第2字节为绿色分量、第3字节为红色分量；接着计算出微光图像和红外图像各自分辨率尺寸信息和各自图像的长宽比；计算完成后，将红外图像等比例拉伸放大，若微光图像的长宽比大于红外图像的长宽比，则拉伸红外图像至长边边长与微光图像的长边边长保持一致；若微光图像的长宽比小于红外图像的长宽比，则拉伸红外图像至短边边长与微光图像的短边边长保持一致；使用图像双线性插值法填充拉伸过程中产生的空缺像素点数据；填充完成后，按照微光图像的尺寸大小将多出部分的红外图像信息裁剪掉，保证微光和红外图像尺寸一致性；最终将调整完成后的两组图像按照周期1秒的频率交替推送至LVDS液晶屏上进行显示。
其中，所述LVDS液晶屏用于显示微光图像和红外图像，该两组图像分别对应地面无人平台微光摄像头和红外摄像头的实时观测值，手动调整微光摄像头和红外摄像头的焦距和方位角使其呈现在LVDS液晶屏上的拍摄视野保持一致。
其中，所述按键用于确认当前两组摄像头拍摄视野是否调整一致，完成按键确认后，ARM处理器对红外图像做灰度化处理，并对灰度图单帧所有像素点的值求平均，像素值小于该平均值的像素点划分为区间A，像素值大于等于该平均值的像素点划分为区间B，接着再次对区间A和区间B的像素点的值求平均，分别记为平均值A和平均值B，将平均值A和平均值B相加除以2得平均值Z，最后将像素值小于该Z值的像素点全部标记为剔除点，大于等于该Z值的像素点全部标记为保留点，保留点所构成的区域图像即为明显热源区域图像。ARM处理器将保留点的灰度值按照像素点坐标位置依次叠加至微光图像像素点的红色分量上，从而构成完整的微光红外融合图像。
其中，所述ARM处理器将微光红外融合图像按照UDP协议格式转化为网络数据包，通过以太网发送模块将该网络数据包传输至地面无人平台，供地面无人平台后续使用；
至此，所述图像处理与融合计算装置最终完成所有的图像处理与融合计算环节。
其中，所述视频接入转换单元通过软排线与FPGA处理计算单元连接。
其中，所述视频接出转换单元通过软排线与FPGA预处理计算单元连接。
其中，所述ARM核心计算单元通过软排线与视频接出单元连接。
其中，所述两组同轴端子插座通过同轴电缆线分别接收来自地面无人平台的微光高分辨率摄像头和红外低分辨率摄像头的图像信息。
其中，所述两组视频接出转换器分别将微光和红外高速图像信号转换为两路MIPICSI制式图像，并通过软排线发送至ARM核心计算单元。
此外，本发明还提供一种图像处理与融合计算装置，包括：视频接入转换单元、FPGA预处理计算单元、视频接出转换单元、ARM核心计算单元；
所述视频接入转换单元包括两组视频接入转换器、两组同轴端子插座；所述两组同轴端子插座分别接收来自地面无人平台的微光高分辨率摄像头和红外低分辨率摄像头的图像信息，微光图像信息和红外图像信息的制式分别限定为SD/HD/3G的SDI制式图像信息和PAL制式图像信息，用于达到低延时传输的目的；
所述两组同轴端子插座将SDI制式图像信息和PAL制式图像信息分别传输至两组视频接入转换器，两组视频接入转换器接收到图像信息后，一组视频接入转换器用于将SDI制式图像信息按照BT.1120YUV422像素标准进行图像信息的像素数据解析，另一组视频接入转换器用于将PAL制式图像信息按照BT.656YUV422像素标准进行图像信息的像素数据解析，解析过程伴随产生相应频率时钟，图像信息的像素数据位和帧场行标志位跟随频率时钟周期上升沿依次转换为FPGA预处理计算单元可识别的高速图像信号，并通过软排线发送至FPGA预处理计算单元；所述高速图像信号包括表征微光图像信息的YUV422像素标准数据和帧场行标志位、表征红外图像信息的YUV422像素标准数据和帧场行标志位；
所述FPGA预处理计算单元包括：FPGA可编程逻辑器、两组DDR存储器、FLASH存储器；所述FPGA预处理计算单元用于负责地面无人平台图像信息的预处理工作，其预处理逻辑程序存储于FLASH存储器中；
所述FPGA可编程逻辑器通过软排线接收到来自视频接入转换单元的高速图像信号后，先对其所包含的YUV422像素标准数据的亮度、色度通道进行调整，Y代表亮度通道，UV代表色度通道，使其避免图像过暗或偏色，接着将YUV422像素标准数据转化为RGB888像素标准数据，将转换后的RGB888像素标准数据通过FPGA可编程逻辑器内部定义的FIFO输入缓冲区存至两组DDR存储器中，其中表征微光图像信息的RGB888像素标准数据存储至DDR存储器一，表征红外图像信息的RGB888像素标准数据存储至DDR存储器二；两组DDR存储器所存储的单帧图像数据伴随视频流传输不断刷新，并保持当前最新帧数据；
所述DDR存储器一及DDR存储器二在存储过程中，若FPGA可编程逻辑器检测到帧场行标志位表征的图像场为顺序场，则直接将图像场中的每一行数据顺序存入DDR存储器一或DDR存储器二；若FPGA可编程逻辑器检测到帧场行标志位表征的图像场为奇偶场，则先将每帧图像的像素单数行隔行存入DDR存储器一或DDR存储器二，再将每帧图像的像素双数行依次插入隔行间隙中，从而构成一幅完整的顺序场图像；
所述FPGA可编程逻辑器内部定义一个5阶双边滤波算子，FPGA可编程逻辑器对调整后的顺序场图像从两组DDR存储器中读出，然后调用5阶双边滤波算子对图像进行滤波处理，使其减少因为硬件平台抖动或电磁干扰而产生的像素噪点，最终所述FPGA可编程逻辑器将完成预处理后的微光和红外高速图像信号通过软排线传输至视频接出转换单元；
所述视频接出转换单元包括两组视频接出转换器和单片机，单片机通过I2C总线与两组视频接出转换器相连，用于配置视频接出转换器内部的寄存器，通过I2C总线对寄存器进行功能配置使视频接出转换器输出图像制式为MIPI CSI制式，用以兼容ARM核心计算单元视频接入标准；配置完成后，两组视频接出转换器分别将微光和红外高速图像信号转换为两路MIPI CSI制式图像，并发送至ARM核心计算单元；
所述ARM核心计算单元包括：ARM处理器、EMMC存储器、DDR存储器三、LVDS液晶屏；
所述EMMC存储器用于存储ARM处理器工作所需要的操作系统，DDR存储器三用于临时存储ARM处理器工作过程中所涉及的计算结果值；所述ARM处理器用于接收来自两组视频接出转换器发出的两路MIPI CSI制式的图像，并按照RGB888像素标准进行读取，读取后的每个像素点的值由3字节构成，第1字节为蓝色分量、第2字节为绿色分量、第3字节为红色分量；接着计算出微光图像和红外图像各自分辨率尺寸信息和各自图像的长宽比；计算完成后，将红外图像等比例拉伸放大，若微光图像的长宽比大于红外图像的长宽比，则拉伸红外图像至长边边长与微光图像的长边边长保持一致；若微光图像的长宽比小于红外图像的长宽比，则拉伸红外图像至短边边长与微光图像的短边边长保持一致；使用图像双线性插值法填充拉伸过程中产生的空缺像素点数据；填充完成后，按照微光图像的尺寸大小将多出部分的红外图像信息裁剪掉，保证微光和红外图像尺寸一致性；最终将调整完成后的两组图像按照周期1秒的频率交替推送至LVDS液晶屏上进行显示。
其中，所述LVDS液晶屏用于显示微光图像和红外图像，该两组图像分别对应地面无人平台微光摄像头和红外摄像头的实时观测值，手动调整微光摄像头和红外摄像头的焦距和方位角使其呈现在LVDS液晶屏上的拍摄视野保持一致。
其中，所述ARM核心计算单元还包括：按键；
所述按键用于确认当前两组摄像头拍摄视野是否调整一致，完成按键确认后，ARM处理器对红外图像做灰度化处理，并对灰度图单帧所有像素点的值求平均，像素值小于该平均值的像素点划分为区间A，像素值大于等于该平均值的像素点划分为区间B，接着再次对区间A和区间B的像素点的值求平均，分别记为平均值A和平均值B，将平均值A和平均值B相加除以2得平均值Z，最后将像素值小于该Z值的像素点全部标记为剔除点，大于等于该Z值的像素点全部标记为保留点，保留点所构成的区域图像即为明显热源区域图像。ARM处理器将保留点的灰度值按照像素点坐标位置依次叠加至微光图像像素点的红色分量上，从而构成完整的微光红外融合图像。
其中，所述ARM核心计算单元还包括：以太网发送模块；
所述ARM处理器将微光红外融合图像按照UDP协议格式转化为网络数据包，通过以太网发送模块将该网络数据包传输至地面无人平台，供地面无人平台后续使用；
至此，所述图像处理与融合计算装置最终完成所有的图像处理与融合计算环节。
其中，所述图像处理与融合计算方法包括如下步骤：
步骤1：无人平台的摄像头图像信息通过同轴电缆线将微光SDI制式图像信息、红外PAL制式图像信息传输至视频接入转换单元，所述视频接入转换单元分别按照BT.1120YUV422像素标准和BT.656YUV422像素标准进行数据位和帧场行标志位信息解析，接着将包含该信息的高速图像信号发送至FPGA预处理计算单元；
步骤2：FPGA预处理计算单元对接收到的高速图像信号进行进一步的图像预处理工作，先调整图像的亮度和色度，接着转化为RGB888像素标准数据后，通过FIFO输入缓冲区存储至DDR中，存储过程同步做顺序场调整，接着将调整完成后的微光和红外顺序场图像做双边滤波处理，发送至视频接出转换单元；
步骤3：视频接出转换单元中的单片机通过I2C总线对视频接出转换器的内部寄存器做功能配置，使转换器能够输出微光和红外的MIPI CSI制式图像；
步骤4：ARM核心计算单元接收所述MIPI CSI制式图像并进行读取，调整和裁剪红外的图像尺寸使其与微光图像保持一致，接着发送至LVDS液晶屏以供观察；
步骤5：手动调整微光摄像头和红外摄像头的焦距和方位角使其呈现在LVDS液晶屏上的拍摄视野保持一致；一致后按下确认按键；
步骤6：ARM处理器对红外图像做灰度化处理，并根据平均值计算方法提取出判断阈值，根据阈值依次标记出像素剔除点和像素保留点，并最终将像素保留点的灰度值叠加至微光图像像素点的红色分量，构成完整的微光红外融合图像，并通过以太网发送模块将包含融合图像信息的UDP网络数据包传输至地面无人平台。
其中，所述视频接入转换单元通过软排线与FPGA处理计算单元连接。
其中，所述视频接出转换单元通过软排线与FPGA预处理计算单元连接。
其中，所述ARM核心计算单元通过软排线与视频接出单元连接。
其中，所述两组同轴端子插座通过同轴电缆线分别接收来自地面无人平台的微光高分辨率摄像头和红外低分辨率摄像头的图像信息。
其中，所述两组视频接出转换器分别将微光和红外高速图像信号转换为两路MIPICSI制式图像，并通过软排线发送至ARM核心计算单元。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变形，这些改进和变形也应视为本发明的保护范围。
Claims (10)
1.一种基于地面无人平台的图像处理与融合计算方法，其特征在于，所述图像处理与融合计算方法基于图像处理与融合计算装置来实施，所述图像处理与融合计算装置包括：视频接入转换单元、FPGA预处理计算单元、视频接出转换单元、ARM核心计算单元、LVDS液晶屏、按键、以太网发送模块；
所述图像处理与融合计算方法包括如下步骤：
步骤1：无人平台的摄像头图像信息通过同轴电缆线将微光SDI制式图像信息、红外PAL制式图像信息传输至视频接入转换单元，所述视频接入转换单元分别按照BT.1120YUV422像素标准和BT.656YUV422像素标准进行数据位和帧场行标志位信息解析，接着将包含该信息的高速图像信号发送至FPGA预处理计算单元；
步骤2：FPGA预处理计算单元对接收到的高速图像信号进行进一步的图像预处理工作，先调整图像的亮度和色度，接着转化为RGB888像素标准数据后，通过FIFO输入缓冲区存储至DDR中，存储过程同步做顺序场调整，接着将调整完成后的微光和红外顺序场图像做双边滤波处理，发送至视频接出转换单元；
步骤3：视频接出转换单元中的单片机通过I2C总线对视频接出转换器的内部寄存器做功能配置，使转换器能够输出微光和红外的MIPICSI制式图像；
步骤4：ARM核心计算单元接收所述MIPICSI制式图像并进行读取，调整和裁剪红外的图像尺寸使其与微光图像保持一致，接着发送至LVDS液晶屏以供观察；
步骤5：手动调整微光摄像头和红外摄像头的焦距和方位角使其呈现在LVDS液晶屏上的拍摄视野保持一致；一致后按下确认按键；
步骤6：ARM处理器对红外图像做灰度化处理，并根据平均值计算方法提取出判断阈值，根据阈值依次标记出像素剔除点和像素保留点，并最终将像素保留点的灰度值叠加至微光图像像素点的红色分量，构成完整的微光红外融合图像，并通过以太网发送模块将包含融合图像信息的UDP网络数据包传输至地面无人平台。
2.如权利要求1所述的基于地面无人平台的图像处理与融合计算方法，其特征在于，所述视频接入转换单元包括两组视频接入转换器、两组同轴端子插座；所述两组同轴端子插座分别接收来自地面无人平台的微光高分辨率摄像头和红外低分辨率摄像头的图像信息，微光图像信息和红外图像信息的制式分别限定为SD/HD/3G的SDI制式图像信息和PAL制式图像信息，用于达到低延时传输的目的；
所述两组同轴端子插座将SDI制式图像信息和PAL制式图像信息分别传输至两组视频接入转换器，两组视频接入转换器接收到图像信息后，一组视频接入转换器用于将SDI制式图像信息按照BT.1120YUV422像素标准进行图像信息的像素数据解析，另一组视频接入转换器用于将PAL制式图像信息按照BT.656YUV422像素标准进行图像信息的像素数据解析，解析过程伴随产生相应频率时钟，图像信息的像素数据位和帧场行标志位跟随频率时钟周期上升沿依次转换为FPGA预处理计算单元可识别的高速图像信号，并通过软排线发送至FPGA预处理计算单元；所述高速图像信号包括表征微光图像信息的YUV422像素标准数据和帧场行标志位、表征红外图像信息的YUV422像素标准数据和帧场行标志位；
所述FPGA预处理计算单元包括：FPGA可编程逻辑器、两组DDR存储器、FLASH存储器；所述FPGA预处理计算单元用于负责地面无人平台图像信息的预处理工作，其预处理逻辑程序存储于FLASH存储器中；
所述FPGA可编程逻辑器通过软排线接收到来自视频接入转换单元的高速图像信号后，先对其所包含的YUV422像素标准数据的亮度、色度通道进行调整，Y代表亮度通道，UV代表色度通道，使其避免图像过暗或偏色，接着将YUV422像素标准数据转化为RGB888像素标准数据，将转换后的RGB888像素标准数据通过FPGA可编程逻辑器内部定义的FIFO输入缓冲区存至两组DDR存储器中，其中表征微光图像信息的RGB888像素标准数据存储至DDR存储器一，表征红外图像信息的RGB888像素标准数据存储至DDR存储器二；两组DDR存储器所存储的单帧图像数据伴随视频流传输不断刷新，并保持当前最新帧数据；
所述DDR存储器一及DDR存储器二在存储过程中，若FPGA可编程逻辑器检测到帧场行标志位表征的图像场为顺序场，则直接将图像场中的每一行数据顺序存入DDR存储器一或DDR存储器二；若FPGA可编程逻辑器检测到帧场行标志位表征的图像场为奇偶场，则先将每帧图像的像素单数行隔行存入DDR存储器一或DDR存储器二，再将每帧图像的像素双数行依次插入隔行间隙中，从而构成一幅完整的顺序场图像；
所述FPGA可编程逻辑器内部定义一个5阶双边滤波算子，FPGA可编程逻辑器对调整后的顺序场图像从两组DDR存储器中读出，然后调用5阶双边滤波算子对图像进行滤波处理，使其减少因为硬件平台抖动或电磁干扰而产生的像素噪点，最终所述FPGA可编程逻辑器将完成预处理后的微光和红外高速图像信号通过软排线传输至视频接出转换单元；
所述视频接出转换单元包括两组视频接出转换器和单片机，单片机通过I2C总线与两组视频接出转换器相连，用于配置视频接出转换器内部的寄存器，通过I2C总线对寄存器进行功能配置使视频接出转换器输出图像制式为MIPI CSI制式，用以兼容ARM核心计算单元视频接入标准；配置完成后，两组视频接出转换器分别将微光和红外高速图像信号转换为两路MIPI CSI制式图像，并发送至ARM核心计算单元；
所述ARM核心计算单元包括：ARM处理器、EMMC存储器、DDR存储器三、LVDS液晶屏；
所述EMMC存储器用于存储ARM处理器工作所需要的操作系统，DDR存储器三用于临时存储ARM处理器工作过程中所涉及的计算结果值；所述ARM处理器用于接收来自两组视频接出转换器发出的两路MIPI CSI制式的图像，并按照RGB888像素标准进行读取，读取后的每个像素点的值由3字节构成，第1字节为蓝色分量、第2字节为绿色分量、第3字节为红色分量；接着计算出微光图像和红外图像各自分辨率尺寸信息和各自图像的长宽比；计算完成后，将红外图像等比例拉伸放大，若微光图像的长宽比大于红外图像的长宽比，则拉伸红外图像至长边边长与微光图像的长边边长保持一致；若微光图像的长宽比小于红外图像的长宽比，则拉伸红外图像至短边边长与微光图像的短边边长保持一致；使用图像双线性插值法填充拉伸过程中产生的空缺像素点数据；填充完成后，按照微光图像的尺寸大小将多出部分的红外图像信息裁剪掉，保证微光和红外图像尺寸一致性；最终将调整完成后的两组图像按照周期1秒的频率交替推送至LVDS液晶屏上进行显示。
3.如权利要求2所述的基于地面无人平台的图像处理与融合计算方法，其特征在于，所述LVDS液晶屏用于显示微光图像和红外图像，该两组图像分别对应地面无人平台微光摄像头和红外摄像头的实时观测值，手动调整微光摄像头和红外摄像头的焦距和方位角使其呈现在LVDS液晶屏上的拍摄视野保持一致。
4.如权利要求3所述的基于地面无人平台的图像处理与融合计算方法，其特征在于，所述按键用于确认当前两组摄像头拍摄视野是否调整一致，完成按键确认后，ARM处理器对红外图像做灰度化处理，并对灰度图单帧所有像素点的值求平均，像素值小于该平均值的像素点划分为区间A，像素值大于等于该平均值的像素点划分为区间B，接着再次对区间A和区间B的像素点的值求平均，分别记为平均值A和平均值B，将平均值A和平均值B相加除以2得平均值Z，最后将像素值小于该Z值的像素点全部标记为剔除点，大于等于该Z值的像素点全部标记为保留点，保留点所构成的区域图像即为明显热源区域图像，ARM处理器将保留点的灰度值按照像素点坐标位置依次叠加至微光图像像素点的红色分量上，从而构成完整的微光红外融合图像。
5.如权利要求4所述的基于地面无人平台的图像处理与融合计算方法，其特征在于，所述ARM处理器将微光红外融合图像按照UDP协议格式转化为网络数据包，通过以太网发送模块将该网络数据包传输至地面无人平台，供地面无人平台后续使用；
至此，所述图像处理与融合计算装置最终完成所有的图像处理与融合计算环节。
6.如权利要求5所述的基于地面无人平台的图像处理与融合计算方法，其特征在于，所述视频接入转换单元通过软排线与FPGA处理计算单元连接。
7.如权利要求5所述的基于地面无人平台的图像处理与融合计算方法，其特征在于，所述视频接出转换单元通过软排线与FPGA预处理计算单元连接。
8.如权利要求5所述的基于地面无人平台的图像处理与融合计算方法，其特征在于，所述ARM核心计算单元通过软排线与视频接出单元连接。
9.如权利要求5所述的基于地面无人平台的图像处理与融合计算方法，其特征在于，所述两组同轴端子插座通过同轴电缆线分别接收来自地面无人平台的微光高分辨率摄像头和红外低分辨率摄像头的图像信息。
10.如权利要求5所述的基于地面无人平台的图像处理与融合计算方法，其特征在于，所述两组视频接出转换器分别将微光和红外高速图像信号转换为两路MIPI CSI制式图像，并通过软排线发送至ARM核心计算单元。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210650730.0A CN114936174B (zh) | 2022-06-09 | 2022-06-09 | 基于地面无人平台的图像处理与融合计算方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210650730.0A CN114936174B (zh) | 2022-06-09 | 2022-06-09 | 基于地面无人平台的图像处理与融合计算方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114936174A CN114936174A (zh) | 2022-08-23 |
| CN114936174B true CN114936174B (zh) | 2024-01-30 |
Family
ID=82866550
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210650730.0A Active CN114936174B (zh) | 2022-06-09 | 2022-06-09 | 基于地面无人平台的图像处理与融合计算方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114936174B (zh) |
Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN203773910U (zh) * | 2014-04-18 | 2014-08-13 | 中国兵器工业计算机应用技术研究所 | 一种液晶屏测试设备 |
| CN104360968A (zh) * | 2014-09-24 | 2015-02-18 | 广东电网有限责任公司佛山供电局 | 数据甄别与预处理物理卡及运行方法、电能数据处理系统 |
| CN106529466A (zh) * | 2016-11-03 | 2017-03-22 | 中国兵器工业计算机应用技术研究所 | 一种基于仿生眼的无人驾驶车辆路径规划方法及系统 |
| CN107005661A (zh) * | 2015-11-03 | 2017-08-01 | 深圳市大疆创新科技有限公司 | 图像信号补偿电路、补偿方法、相机模组及无人飞行器 |
| CN108154494A (zh) * | 2017-12-25 | 2018-06-12 | 北京航空航天大学 | 一种基于微光和红外传感器的图像融合系统 |
| WO2018145575A1 (zh) * | 2017-02-10 | 2018-08-16 | 杭州海康威视数字技术股份有限公司 | 图像融合设备和图像融合方法 |
| CA2989134A1 (en) * | 2017-02-24 | 2018-08-24 | Thomson Licensing | Method and device for reconstructing image data from decoded image data |
| CN109262581A (zh) * | 2018-10-24 | 2019-01-25 | 北京精密机电控制设备研究所 | 一种轻型便携式地面无人平台 |
| JP2020013582A (ja) * | 2019-08-02 | 2020-01-23 | 三菱ロジスネクスト株式会社 | 無人飛行体および無人搬送システム |
| CN111510688A (zh) * | 2020-05-19 | 2020-08-07 | 国网上海市电力公司 | 一种带无人巡检功能的变电站智能辅控方法 |
| CN112882837A (zh) * | 2021-03-10 | 2021-06-01 | 国网河北省电力有限公司信息通信分公司 | 一种基于云计算的移动网络资源管理系统 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7050097B2 (en) * | 2001-11-13 | 2006-05-23 | Microsoft Corporation | Method and apparatus for the display of still images from image files |
| US20210061466A1 (en) * | 2019-09-03 | 2021-03-04 | Howard Gee | Monitoring events employing a drone having a camera controlled via an application |
-
2022
- 2022-06-09 CN CN202210650730.0A patent/CN114936174B/zh active Active
Patent Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN203773910U (zh) * | 2014-04-18 | 2014-08-13 | 中国兵器工业计算机应用技术研究所 | 一种液晶屏测试设备 |
| CN104360968A (zh) * | 2014-09-24 | 2015-02-18 | 广东电网有限责任公司佛山供电局 | 数据甄别与预处理物理卡及运行方法、电能数据处理系统 |
| CN107005661A (zh) * | 2015-11-03 | 2017-08-01 | 深圳市大疆创新科技有限公司 | 图像信号补偿电路、补偿方法、相机模组及无人飞行器 |
| CN106529466A (zh) * | 2016-11-03 | 2017-03-22 | 中国兵器工业计算机应用技术研究所 | 一种基于仿生眼的无人驾驶车辆路径规划方法及系统 |
| WO2018145575A1 (zh) * | 2017-02-10 | 2018-08-16 | 杭州海康威视数字技术股份有限公司 | 图像融合设备和图像融合方法 |
| CA2989134A1 (en) * | 2017-02-24 | 2018-08-24 | Thomson Licensing | Method and device for reconstructing image data from decoded image data |
| CN108154494A (zh) * | 2017-12-25 | 2018-06-12 | 北京航空航天大学 | 一种基于微光和红外传感器的图像融合系统 |
| CN109262581A (zh) * | 2018-10-24 | 2019-01-25 | 北京精密机电控制设备研究所 | 一种轻型便携式地面无人平台 |
| JP2020013582A (ja) * | 2019-08-02 | 2020-01-23 | 三菱ロジスネクスト株式会社 | 無人飛行体および無人搬送システム |
| CN111510688A (zh) * | 2020-05-19 | 2020-08-07 | 国网上海市电力公司 | 一种带无人巡检功能的变电站智能辅控方法 |
| CN112882837A (zh) * | 2021-03-10 | 2021-06-01 | 国网河北省电力有限公司信息通信分公司 | 一种基于云计算的移动网络资源管理系统 |
Non-Patent Citations (3)
| Title |
|---|
| 改进型图像中的直线快速检测;赵小川;罗庆生;陈少波;;光学精密工程(07);全文 * |
| 移动无线传感器协作网络的中断概率性能研究;王涵;杜文才;万倩倩;;传感技术学报(02);全文 * |
| 红外与可见光图像实时配准融合系统;刘卫光, 郭师红, 周利华;红外技术(05);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114936174A (zh) | 2022-08-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN208971624U (zh) | 车载摄像系统 | |
| CN106060462B (zh) | 一种基于Zynq平台的高性能视频处理及传输系统 | |
| CN101309430A (zh) | 基于fpga的视频图像预处理器 | |
| CN109688382B (zh) | 一种水下机器人的水下图像处理系统 | |
| CN101662671A (zh) | 基于fpga的多台数字相机图像传输方法 | |
| CN102843522B (zh) | 基于pcie的视频拼接处理卡、其控制系统及控制方法 | |
| CN109743515A (zh) | 一种基于软核平台的异步视频融合叠加系统及方法 | |
| CN209297726U (zh) | 显示控制卡以及显示屏控制系统 | |
| US11902706B2 (en) | Method for transmitting high bandwidth camera data through SerDes links | |
| CN111447409A (zh) | 一种无人机机载多传感器单处理器视频压缩处理方法和装置 | |
| CN208956216U (zh) | 基于低照度摄像头同步采集长距传输的大型车环视系统 | |
| CN112367537A (zh) | 一种基于zynq的视频采集-拼接-显示系统 | |
| CN103916643A (zh) | 一种高速智能线阵彩色ccd相机 | |
| CN114936174B (zh) | 基于地面无人平台的图像处理与融合计算方法 | |
| CN109495707B (zh) | 一种高速视频采集传输方法 | |
| CN115086590B (zh) | 基于地面无人平台的图像处理与融合计算装置 | |
| CN111145133A (zh) | 基于zynq的红外和可见光同光轴图像融合系统及方法 | |
| CN109429043B (zh) | 基于fpga的交通标志视频图像的采集系统及方法 | |
| CN105430297A (zh) | 多视频格式向iidc协议视频格式转换的自动控制系统 | |
| CN110266961A (zh) | 图像生成方法、系统及图像生成设备 | |
| CN101742316B (zh) | 一种基于niosⅱ的视频处理方法 | |
| CN204929046U (zh) | 一种实时图像采集系统 | |
| CN104270554A (zh) | 一种高清cmos内窥镜的摄像头 | |
| CN109688314B (zh) | 低延时少缓存且数据输出方式可控的摄像头系统及方法 | |
| CN206042233U (zh) | 基于fpd‑link技术的数字口腔观察仪 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |