CN118397078B - 屏幕定位方法、装置、电子设备及计算机可读存储介质 - Google Patents
屏幕定位方法、装置、电子设备及计算机可读存储介质 Download PDFInfo
- Publication number
- CN118397078B CN118397078B CN202410193912.9A CN202410193912A CN118397078B CN 118397078 B CN118397078 B CN 118397078B CN 202410193912 A CN202410193912 A CN 202410193912A CN 118397078 B CN118397078 B CN 118397078B
- Authority
- CN
- China
- Prior art keywords
- potential
- area
- straight line
- closed
- candidate
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 64
- 238000001514 detection method Methods 0.000 claims abstract description 49
- 230000005856 abnormality Effects 0.000 claims description 10
- 230000008859 change Effects 0.000 claims description 9
- 238000012216 screening Methods 0.000 claims description 7
- 238000012937 correction Methods 0.000 claims description 4
- 238000012545 processing Methods 0.000 abstract description 9
- 238000012549 training Methods 0.000 description 25
- 230000002159 abnormal effect Effects 0.000 description 17
- 238000004590 computer program Methods 0.000 description 13
- 238000010586 diagram Methods 0.000 description 11
- 230000006870 function Effects 0.000 description 6
- 230000008569 process Effects 0.000 description 5
- 230000009286 beneficial effect Effects 0.000 description 4
- 238000004891 communication Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 238000002372 labelling Methods 0.000 description 4
- 230000011218 segmentation Effects 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 230000001788 irregular Effects 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000003709 image segmentation Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000004931 aggregating effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000009429 electrical wiring Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
- G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Geometry (AREA)
- Image Analysis (AREA)
Abstract
本申请应用于图像处理技术领域，公开了一种屏幕定位方法、装置、电子设备及计算机可读存储介质，包括：获取摄像机拍摄的图像数据，调用直线检测模型检测出图像数据中各直线段以及调用目标区域检测模型检测出图像数据中的各矩形区域；根据各矩形区域、各直线段以及各直线段之间的潜在交点，从图像数据中确定至少一个候选闭合区域，并分别确定各候选闭合区域的闭合面积和候选闭合区域上各候选直线段之间的平行度；基于各候选闭合区域各自对应的闭合面积和平行度分别确定各候选闭合区域的候选值；在各候选闭合区域中选择候选值最大的候选闭合区域作为目标屏幕区域。本申请旨在解决在拍摄背景复杂的情况下，难以准确定位电子屏幕的区域的技术问题。
Description
技术领域
本申请属于图像处理技术领域，涉及一种屏幕定位方法、装置、电子设备及计算机可读存储介质。
背景技术
在多媒体教学全自动录播、视频会议录制等使用场景中，电子屏幕常被用作信息交互的主要载体，因此如何通过摄像对电子屏幕进行实时录制具有重要的价值。然而在自然场景下，电子屏幕经过拍摄后，电子屏幕在图像中的表现较为复杂，例如，电子屏幕所在的场景可能会存在较为复杂的背景，在录制时会对屏幕区域的定位形成干扰，且拍摄时摄像机镜头相对电子屏幕的表面倾斜，拍摄距离不确定等的因素导致不能准确定位电子屏幕的位置，进而满足用户对电子屏幕拍摄录制的需求。
目前，往往通过图像分割技术来提取屏幕区域，比如采用边缘分割、图像二值化分割等一些经典图像处理技术，但在背景较为复杂的场景下，仍难以准确识别电子屏幕的位置，进而难以满足用户对电子屏幕拍摄录制的需求。
上述内容仅用于辅助理解本申请的技术方案，并不代表承认上述内容为现有技术。
发明内容
本申请的主要目的在于提供一种屏幕定位方法、装置、电子设备及计算机可读存储介质，旨在解决在拍摄背景复杂的情况下，难以准确定位电子屏幕的区域的技术问题。
为实现上述目的，本申请提供一种屏幕定位方法，所述屏幕定位方法包括：
获取摄像机拍摄的图像数据，调用直线检测模型检测出所述图像数据中各直线段，以及调用目标区域检测模型检测出所述图像数据中的各矩形区域；
根据各所述矩形区域、各所述直线段以及各所述直线段之间的潜在交点，从所述图像数据中确定至少一个候选闭合区域，并分别确定各所述候选闭合区域的闭合面积比和所述候选闭合区域的直线平行度；
基于各所述候选闭合区域各自对应的所述闭合面积和所述平行度，分别确定各所述候选闭合区域的候选值；
在各所述候选闭合区域中选择候选值最大的候选闭合区域作为目标屏幕区域。
为实现上述目的，本申请提供一种屏幕定位装置，所述屏幕定位装置包括：
获取模块，用于获取摄像机拍摄的图像数据，调用直线检测模型检测出所述图像数据中各直线段，以及调用目标区域检测模型检测出所述图像数据中的各矩形区域；
候选闭合区域确定模块，用于根据各所述矩形区域、各所述直线段以及各所述直线段之间的潜在交点，从所述图像数据中确定至少一个候选闭合区域，并分别确定各所述候选闭合区域的闭合面积比和所述候选闭合区域的直线平行度；
候选值确定模块，用于基于各所述候选闭合区域各自对应的所述闭合面积和所述平行度，分别确定各所述候选闭合区域的候选值；
屏幕确定模块，用于在各所述候选闭合区域中选择候选值最大的候选闭合区域作为目标屏幕区域。
本申请还提供一种电子设备，所述电子设备包括：存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的所述屏幕定位方法的程序，所述屏幕定位方法的程序被处理器执行时可实现如上述的屏幕定位方法的步骤。
本申请还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有实现屏幕定位方法的程序，所述屏幕定位方法的程序被处理器执行时实现如上述的屏幕定位方法的步骤。
本申请还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述的屏幕定位方法的步骤。
本申请提供了一种屏幕定位方法、装置、电子设备及计算机可读存储介质，获取摄像机拍摄的图像数据，调用直线检测模型检测出所述图像数据中各直线段，以及调用目标区域检测模型检测出所述图像数据中的各矩形区域；根据各所述矩形区域、各所述直线段以及各所述直线段之间的潜在交点，从所述图像数据中确定至少一个候选闭合区域，并分别确定各所述候选闭合区域的闭合面积比和所述候选闭合区域的直线平行度；基于各所述候选闭合区域各自对应的所述闭合面积和所述平行度，分别确定各所述候选闭合区域的候选值；在各所述候选闭合区域中选择候选值最大的候选闭合区域作为目标屏幕区域。
本申请获取摄像机拍摄的图像数据，分别调用直线检测模型和目标区域检测模型，从而实现检测出图像数据中的矩形区域和各直线段；再根据矩形区域、直线段以及直线段之间潜在的交点，从图像数据中确定至少一个候选闭合区域，后续则对各潜在闭合区域进行分析以得到目标屏幕区域，实现通过矩形区域、直线段和各直线段之间的潜在交点，确定可以通过直线段组成的候选闭合区域，从而可以排除不会形成闭合区域的直线段，减少了复杂背景下非闭合区域对应的直线段的干扰；进一步的，通过确定候选闭合区域的闭合面积比和直线平行度，并通过闭合面积和平行度，确定候选闭合区域的候选值，并选择候选值最大的候选闭合区域作为目标屏幕区域，实现在各候选闭合区域中选择闭合面积和平行度的水平都相对高的候选闭合区域作为目标屏幕区域，从而可以排除候选闭合区域的面积小和/或平行度低的候选区域的干扰，实现了在拍摄背景复杂的情况下，仍能准确定位目标屏幕区域，提高了目标屏幕区域定位的准确性。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，表示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本申请屏幕定位方法第一实施例的流程示意图；
图2为本申请屏幕定位方法中训练图像的数据标注示意图；
图3为本申请屏幕定位方法第二实施例的流程示意图；
图4为本申请屏幕定位方法为候选闭合区域的生成示意图；
图5为本申请屏幕定位方法一实施例的装置示意图；
图6为本申请实施例中屏幕定位方法涉及的硬件运行环境的设备结构示意图。
本申请目的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
为使本申请的上述目的、特征和优点能够更加明显易懂，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其它实施例，均属于本申请保护的范围。
实施例一
在多媒体教学全自动录播、视频会议录制等使用场景中，电子屏幕常被用作信息交互的主要载体，因此，利用算法自动对其所在区域定位及状态检测具有重要价值。然而，在自然场景下，电子屏幕通过摄像机拍摄后，其在图像中表现的“方式和内容”较为复杂，具体体现为：1)成像条件复杂，室内光照强度不定，摄像机镜头相对屏幕表面的倾斜、俯仰角、拍摄距离不确定，使得屏幕区域在图像中的位置和大小不定、亮度不定、形状上呈现为无规则的凸四边形；2)成像背景较复杂，室内存在较为复杂的背景，对屏幕区域的定位形成干扰；3)屏幕内容不确定，会出现蓝屏、黑屏、花屏等各种情况，给算法鲁棒性带来了挑战；现有方法，往往通过图像分割技术来提取屏幕区域，采用如边缘分割、图像二值化分割等一些经典图像处理技术，其效果在复杂场景下泛化性较弱，难以满足大规模的商业化落地。
参照图1，本申请实施例提供一种屏幕定位方法，在本申请屏幕定位方法的第一实施例中，所述屏幕定位方法包括：
步骤S10，获取摄像机拍摄的图像数据，调用直线检测模型检测出所述图像数据中各直线段，以及调用目标区域检测模型检测出所述图像数据中的各矩形区域；
需要说明的是，本申请实施例可以应用于屏幕录制系统，屏幕录制系统可以获取摄像机拍摄的图像数据，具体的，屏幕录制系统可以通过SOC(System of Chip，片上系统)接口获取摄像机拍摄的图像数据，屏幕录制系统可以存储图像数据。图像数据为摄像机拍摄到的图像帧，可以实时获取摄像机拍摄的图像数据，并对每个图像数据进行分析以准确定位图像数据中的屏幕区域。
直线检测模型用于识别图像数据中的直线段，目标区域检测模型用于识别图像数据中的多个矩形区域。矩形区域为规则的四边形。直线检测模型和目标区域检测模型都是预先训练得到的。
示例性的，在步骤S10之前，直线检测模型和目标区域检测模型的训练过程可以为：获取训练样本，确定待训练直线模型以及待训练目标检测模型，基于训练样本以及损失函数对待训练直线模型进行训练，在待训练直线模型训练成功后得到待量化直线模型，以及根据训练样本和损失函数对待训练目标检测模型进行训练，在待训练目标检测模型训练成功后得到待量化目标检测模型；对待量化直线模型进行量化得到直线检测模型，对待量化目标检测模型得到目标区域检测模型。可以将直线检测模型和目标区域检测模型部署在屏幕录制系统。部署在屏幕录制系统上的直线检测模型和目标区域检测模型都可以更新，例如可以更新直线检测模型的权重，也可以更新目标区域检测模型对应的权重。其中，可以以YOLO系列的模型作为待训练目标检测模型，例如，待训练目标检测模型可以是YOLO v3模型，待训练直线模型可以是MLSD(直线检测)模型。
其中，获取训练样本的步骤可以是获取实际场景下摄像头捕获的图像作为训练图像，对训练图像进行数据标注，包括：标注训练图像中电子屏幕的位置，电子屏幕的标注格式为bbx(bounding box，边界框)，还包括标注训练图像中的直线段，直线段的标注方式可以是标记直选段的起始点和终止点。
为更好理解训练图像中数据标注的过程，参照图2，图2为训练图像中电子屏幕的直线段的标注示意图：可以用P表示训练图像中某点的坐标，可以通过标记电子屏幕的左上角点(Plt)，以及右下角点(Prd)以标注训练图像中电子屏幕的位置bbx(Plt,Prd)，可以通过标记直线段的起始点(Pstart)和终止点(Pend)以标注训练图像中直线段的位置Line(Pstart,Pend)，3为训练图像，训练图像的左上角点为坐标原点，X为横坐标，Y为纵坐标，1为真实的电子屏幕，2为标注的电子屏幕的位置。通过标注训练图像中的直线段和电子屏幕对应的位置，得到训练样本。训练样本中可以包括多个训练图像。
本申请实施例通过获取训练样本对待训练直线模型和待训练目标检测模型进行训练，并对训练完成的模型进行量化处理，得到目标检测模型和目标区域检测模型从而可以提高识别图像中直线段和矩形区域的准确度，且由于对训练完成后的模型进行量化处理，从而减小了直线检测模型和目标区域检测模型的运行量，提高了识别图像数据中直线段和矩形区域的速度，从而可以提高图像中电子屏幕定位的效率。
示例性的，步骤S10包括：本申请实施例应用于屏幕录制系统，屏幕录制系统上部署有直线检测模型和目标区域检测模型；并可以提前将预设闭合条件以及预设屏幕状态异常条件都配置在屏幕录制系统上；获取摄像机拍摄的图像数据，调用直线检测模型识别图像数据中的各直线段，以及调用目标区域检测模型识别出图像数据中的各矩形区域；其中，图像数据中的各直线段可以用直线段的起始点坐标和终止点坐标表示，图像数据中的各矩形区域可以用矩形区域的两个对角点坐标表示，两个对角点坐标可以是左上角坐标和右下角坐标，也可以是左下角坐标和右上角坐标。本申请实施例通过模型检测出图像数据中的直线段和矩形区域，提高了图像数据的检测准确度。
步骤S20，根据各所述矩形区域、各所述直线段以及各所述直线段之间的潜在交点，从所述图像数据中确定至少一个候选闭合区域，并分别确定各所述候选闭合区域的闭合面积比和所述候选闭合区域的直线平行度；
需要说明的是，潜在交点表征为两两直线段之间可能的交点，可以是两直线段之间已经相交的交点，也可以是两直线段之间可能会相交的交点。候选闭合区域可以表现为不规则的四边形。闭合面积比表征为候选闭合区域的面积大小与图像数据的图像面积之比，候选直线段为候选闭合区域边缘上任一直线段。直线平行度为候选闭合区域中不相邻两候选直线段之间的平行情况，直线平行度越接近1则候选闭合区域的直线平行度越高，候选闭合区域为电子屏幕所在区域的可能性也越高。候选闭合区域为各直线段可能组合成的闭合的区域，从而可以排除不会构成闭合区域的其他直线段的干扰。
示例性的，根据各所述直线段，确定各所述直线段之间的潜在交点，根据各所述潜在交点，从所述候选图像中确定出至少一个潜在闭合区域，对于任一潜在闭合区域，遍历各所述矩形区域，确定出所述潜在闭合区域与对应的矩形区域之间的区域面积重合比，在区域面积重合比满足预设候选阈值的情况下，将所述潜在闭合区域作为所述候选闭合区域。在确定了多个候选闭合区域后，可以计算候选闭合区域对应的闭合面积和候选闭合区域上各候选直线段之间的平行度。
步骤S30，基于各所述候选闭合区域各自对应的所述闭合面积和所述平行度，分别确定各所述候选闭合区域的候选值；
步骤S40，在各所述候选闭合区域中选择候选值最大的候选闭合区域作为目标屏幕区域。
需要说明的是，候选值为闭合面积和平行度之和，每个候选闭合区域都有对应的候选值。目标屏幕区域为电子屏幕所在的区域。示例性的，分别聚合所述候选闭合区域的闭合面积和平行度，得到各所述候选闭合区域对应的候选值，在各所述候选闭合区域中选择候选值最大的候选闭合区域作为目标屏幕区域。
本申请获取摄像机拍摄的图像数据，分别调用直线检测模型和目标区域检测模型，从而实现检测出图像数据中的矩形区域和各直线段；再根据矩形区域、直线段以及直线段之间潜在的交点，从图像数据中确定至少一个候选闭合区域，后续则对各潜在闭合区域进行分析以得到目标屏幕区域，实现通过矩形区域、直线段和各直线段之间的潜在交点，确定可以通过直线段组成的候选闭合区域，从而可以排除不会形成闭合区域的直线段，减少了复杂背景下非闭合区域对应的直线段的干扰；进一步的，通过确定候选闭合区域的闭合面积比和直线平行度，并通过闭合面积和平行度，确定候选闭合区域的候选值，并选择候选值最大的候选闭合区域作为目标屏幕区域，实现在各候选闭合区域中选择闭合面积和平行度的水平都相对高的候选闭合区域作为目标屏幕区域，从而可以排除候选闭合区域的面积小和/或平行度低的候选区域的干扰，实现了在拍摄背景复杂的情况下，仍能准确定位目标屏幕区域，提高了目标屏幕区域定位的准确性。
实施例二
进一步地，参照图3，基于本申请上述实施例，在本申请另一实施例中，与上述实施例相同或相似的内容，可以参考上文介绍，后续不再赘述。在此基础上，所述根据各所述矩形区域、各所述直线段以及各所述直线段之间的潜在交点，从所述图像数据中确定至少一个候选闭合区域的步骤包括：
步骤A10，根据各所述直线段以及各所述直线段之间的潜在交点，从所述图像数据中确定至少一个潜在闭合区域；
需要说明的是，潜在闭合区域为可能闭合的区域，图像数据中可以存在多个潜在闭合区域。潜在交点可以表示为坐标，由于图像数据可以是图像帧，可以以图像帧的相邻的两边缘和两边缘的交点共同作为二维坐标系，图像数据中各点的坐标可以基于二维坐标系确定，其中，两边缘的交点可以为二维坐标系的原点，两边缘可以分别为x轴和y轴。潜在闭合区域也可以以坐标的形式表示，可以是潜在闭合区域上各潜在交点的坐标表示。示例性的，根据各所述直线段，确定各直线段之间的潜在交点，并根据各所述潜在交点，确定出所述图像数据中的至少一个潜在闭合区域。
在一可行实施例中，步骤A10包括：
步骤A11，根据各所述直线段的延伸趋势线，确定各所述直线段之间的潜在交点；
步骤A12，在各所述潜在交点中筛选出满足预设闭合条件的多个潜在顶点；
步骤A13，根据各所述潜在顶点的顶点标识，确定至少一个潜在闭合区域，所述顶点标识基于潜在相交于所述潜在顶点的两直线段分别对应的直线标识确定。
需要说明的是，延伸趋势线表征为往直线段的两端延伸的直线，潜在交点可以在直线段的延伸趋势线上，预设闭合条件包括预设闭合距离条件和预设闭合角度阈值，预设闭合条件用于判断各潜在交点是否可以作为潜在闭合区域的顶点。潜在顶点表征为可以构建成潜在闭合区域的潜在交点。顶点标识基于潜在相交于所述潜在顶点的两直线段分别对应的直线标识确定，直线标识为直线段的标识，直线标识可以用字母或数字标识，顶点标识包括与潜在顶点潜在相交的两直线的直线标识。
示例性的，步骤A11至步骤A13包括：根据各所述直线段的延伸趋势线，判断各所述直线段是否相交或潜在相交，对于任一直线段，若有与所述直线段相交的直线段，则将两直线段相交的点作为潜在交点，若有与所述直线段的延伸趋势线相交的直线段，则将与延伸趋势线相交的点作为潜在交点；筛选出满足预设闭合条件的潜在交点，确定各所述直线段之间的潜在交点；根据各所述潜在顶点的顶点标识，确定至少一个潜在闭合区域，其中潜在闭合区域上包括四个潜在顶点。
本申请实施例通过确定潜在交点，并通过预设闭合条件将可能可以组成闭合区域的潜在顶点筛选出来，以根据各潜在顶点构成潜在闭合区域，从而可以排除不能构成潜在闭合区域的潜在顶点，提高确定潜在闭合区域的准确性。本申请实施例通过各潜在交点和预设闭合条件确定多个潜在顶点，从而根据各潜在顶点确定图像数据中的多个潜在闭合区域，从而可以较为全面的检测出可能是电子屏幕对应的区域，避免遗漏电子屏幕对应的区域。
在一可行实施例中，步骤A12还包括：
步骤A121，对于任一所述潜在交点，确定潜在相交于所述潜在交点的第一潜在直线段和第二潜在直线段；
步骤A122，根据所述第一潜在直线段的第一直线中点到所述潜在交点的第一距离，计算所述第一距离与所述第一潜在直线段的第一线段长度之比，得到第一距离重合比；
步骤A123，根据所述第二潜在直线段的第二直线中点到所述潜在交点的第二距离，计算所述第二距离与所述第二潜在直线段的第二线段长度之比，得到第二距离重合比；
需要说明的是，第一潜在直线段和第二潜在直线段都是潜在相交于潜在交点的直线段；第一潜在直线段包括第一潜在相交远端点和第一潜在相交近端点，第一直线中点为第一潜在直线段的中点，第二直线中点为第二潜在直线段的中点，第一潜在相交近端点为第一潜在直线段中距离所述潜在交点最近的直线端点，第一潜在相交远端点为第一潜在直线段中距离所述潜在交点最远的直线端点。第一距离重合比表征为潜在交点到第一直线中点的距离与第一潜在直线段的比，当第一距离重合比越接近0.5，则说明潜在交点与第一潜在直线段的第一潜在相交近端点重合。
所述预设闭合条件包括预设闭合距离条件和预设闭合角度条件。预设闭合距离条件包括预设闭合距离比值范围，预设闭合距离比值范围可以在预设闭合距离阈值上下浮动，可以基于实际情况雪顶预设闭合距离条件，预设闭合距离阈值可以为0.5。预设闭合角度条件包括预设闭合角度范围，可以基于实际情况确定角度范围。
第二潜在相交直线段包括第二潜在相交近端点和第二潜在相交远端点，第二潜在相交近端点为第二潜在直线段中距离所述潜在交点最近的直线端点。第二潜在相交远端点为第二潜在直线段中距离所述潜在交点最远的直线端点，第一距离为第一直线中点与潜在交点之间的直线距离，第二距离为第二直线中点与潜在交点之间的直线距离。第二距离重合比表征为潜在交点到第二直线中点的距离与第二潜在直线段的比，当第二距离重合比越接近0.5，则说明潜在交点与第二潜在直线段的第二潜在相交近端点重合。
示例性的：对于任一所述潜在交点，确定潜在相交于所述潜在交点的第一潜在直线段和第二潜在直线段；在第一潜在直线段上的两端点中选择与潜在交点的距离最近的端点作为第一潜在相交近端点，在第二潜在直线段中选择与潜在交点的距离最近的端点作为第二潜在相交近端点；根据第一潜在相交近端点的第一近端点坐标和潜在交点的潜在交点坐标，计算第一潜在相交近端点与潜在交点之间的距离，得到第一近端点距离，根据第一潜在相交远端点的第一远端点坐标和潜在交点坐标，计算第一潜在相交远端点与潜在交点之间的距离，得到第一远端点距离，将第一近端点距离和第一远端点距离的平均值作为第一距离；根据所述第一近端点坐标和第一远端点坐标，计算所述第一潜在直线段的长度，得到第一线段长度，将所述第一距离和所述第一线段长度之比作为第一距离重合比。
根据第二潜在相交远端点的第二远端点坐标和潜在交点的潜在交点坐标，计算第二潜在相交远端点与潜在交点之间的距离，得到第二远端点距离，根据第二潜在相交远端点的第二远端点坐标和潜在交点坐标，计算第二潜在相交远端点与潜在交点之间的距离，得到第二远端点距离，将第二远端点距离和第二远端点距离的平均值作为第二距离。根据所述第二近端点坐标和第二远端点坐标，计算所述第二潜在直线段的长度，得到第二线段长度，将所述第二距离和所述第二线段长度之比作为第二距离重合比。
本申请实施例通过确定第一距离重合比和第二距离重合比，从而便于排除第一距离重合比和第二距离重合比不满足预设闭合距离条件的两直线段对应的潜在交点，第一距离过长或第二距离过长说明第一潜在直线段和第二潜在直线段之间不存在组合成闭合区域的可能，因此可以排除此种情况下对应潜在交点，以提高确定候选闭合区域的准确度。
示例性的，计算第一距离重合比的公式为：
其中，disi为第一距离重合比，为第一潜在相交近端点，为第一潜在相交远端点，vij为潜在交点，thri为第一距离重合比，为第一近端点距离，为第一远端点距离，为第一线段长度。
示例性的，计算第二距离重合比的公式为：
其中，disj为第二距离重合比，,为第二潜在相交近端点，,为第二潜在相交远端点，vij为潜在交点，thrj为第二距离重合比，为第二近端点距离，为第二远端点距离，为第二线段长度。
步骤A124，计算所述第一潜在直线段与所述第二潜在直线段之间的潜在夹角；
步骤A125，若所述第一距离重合比和所述第二距离重合比都满足所述预设闭合距离条件，且所述潜在夹角满足预设闭合角度条件，则确定所述潜在交点为所述潜在顶点。
需要说明的是，潜在夹角表征为第一潜在直线段与第二潜在直线段之间的夹角。预设闭合距离条件包括第一距离重合比在预设闭合角度范围内，以及第二距离重合比在预设闭合角度范围内；预设闭合角度条件包括潜在夹角在预设闭合距离比值范围内，当第一距离和第二距离都满足预设闭合条件，且潜在夹角满足预设闭合角度阈值时，说明第一直线段与第二直线段之间存在潜在顶点。
示例性的，步骤A124至步骤A125包括：计算所述第一潜在直线段与所述第二潜在直线段之间的潜在夹角；若所述第一距离重合比和所述第二距离重合比都满足所述预设闭合距离条件，且所述潜在夹角满足预设闭合角度条件，则确定所述潜在交点为所述潜在顶点，若所述第一距离重合比和/或所述第二距离重合比不满足所述预设闭合距离条件，或所述潜在夹角不满足预设闭合角度条件，则获取新的潜在交点，并返回步骤A121。本申请实施例通过距离比值还有潜在夹角等判断存在的潜在交点是否可以作为潜在顶点，进而将可以构成闭合区域的顶点筛选出来，提高了确定潜在闭合区域的准确性，且也可以提高在各潜在交点中筛选出潜在顶点的效率。
示例性的，计算所述第一潜在直线段与所述第二潜在直线段之间的潜在夹角的公式可以为：
thrij＝abs(degree(Li)-degree(Lj))
其中，thrij为第一潜在直线段与所述第二潜在直线段之间的潜在夹角，Li为第一潜在直线段，Lj为第二潜在直线段，abs表示绝对值，degree(Li)为直线Li与图像数据对应的横坐标轴之间的夹角，degree(Lj)为直线Lj与图像数据对应的横坐标轴之间的夹角。
在一可行实施例中，步骤A13还包括：
步骤A131，对于所述潜在顶点中的任一目标潜在顶点，根据所述目标潜在顶点的目标顶点标识，在各所述潜在顶点中确定与所述目标顶点标识相匹配的第一目标闭合顶点和第二目标闭合顶点；
步骤A132，在各所述潜在顶点中确定与所述第二目标闭合顶点和所述第二目标闭合顶点都匹配的第三目标闭合顶点；
步骤A133，根据目标潜在顶点、所述第一目标闭合顶点、所述第二目标闭合顶点以及所述第三目标闭合顶点，确定所述潜在闭合区域。
需要说明的是，目标潜在顶点为任一潜在顶点，目标顶点标识为目标潜在顶点的顶点标识，目标顶点标识由潜在相交于目标潜在顶点的目标第一潜在直线段的第一直线标识和目标第二潜在直线段的第二直线标识组成，可以理解的，目标顶点标识包括第一直线标识和第二直线标识，一条直线段有两个端点，所以一条直线段也可以对应两个潜在顶点。第一目标闭合顶点为与目标潜在顶点相交的目标第一潜在直线段的另一端对应的潜在顶点，第二目标闭合顶点为与目标潜在顶点相交的第二潜在直线段的另一端对应的潜在顶点。
第一目标闭合顶点携带有第一目标闭合顶点标识，第一目标闭合顶点标识为第一目标闭合顶点对应的顶点标识，第一目标闭合顶点标识为第一直线标识和第三直线标识的组合；第二目标闭合顶点携带有第二目标闭合顶点标识，第二目标闭合顶点标识为第二目标闭合顶点对应的顶点标识，第二目标闭合顶点标识为第二直线标识和第四直线标识的组合。第三直线标识为第三直线段的标识，第四直线标识为第四直线段的标识。第三目标闭合顶点携带有第三闭合顶点标识，第三闭合顶点标识为第三直线标识和第四直线标识的组合。
示例性的，步骤A131至步骤A133包括：对于所述潜在顶点中的任一目标潜在顶点，根据所述目标潜在顶点的目标顶点标识，在各所述潜在顶点中确定与所述目标顶点标识相匹配的第一目标闭合顶点和第二目标闭合顶点；具体的，目标顶点标识包括第一直线标识和第二直线标识，在各所述潜在顶点中查找顶点标识包括第一直线标识的且不包括第二直线标识的第一目标闭合顶点，在各所述潜在顶点中查找顶点标识中包括第二直线标识且不包括第一直线标识的第二目标闭合顶点。
从第二目标闭合顶点的第二目标闭合顶点标识中确定第三直线标识，从第三目标闭合顶点的第三闭合顶点标识中确定第四直线标识，在各所述潜在顶点中查找顶点标识包括所述第三直线标识且包括所述第四直线标识的第三目标闭合顶点；根据目标顶点标识、第一目标闭合顶点标识、第二目标闭合顶点标识和第三闭合顶点标识，对目标潜在顶点、所述第一目标闭合顶点、所述第二目标闭合顶点以及所述第三目标闭合顶点进行拼接，得到潜在闭合区域。本申请实施例通过各潜在顶点的顶点标识，构建候选闭合区域，实现在多个潜在顶点中确定出多个候选闭合区域，提高候选闭合区域的确定效率和准确度，避免因各潜在顶点之间随机组合导致的候选闭合区域确定不准确的情况。
步骤A20，根据各所述矩形区域，分别确定各所述潜在闭合区域的区域面积重合比；
步骤A30，在各所述潜在闭合区域中筛选出区域面积重合比大于或等于预设候选阈值的至少一个所述候选闭合区域。
需要说明的是，区域面积重合比表征为潜在闭合区域的面积与潜在闭合区域对应的矩形区域的面积之间的重合度，与潜在闭合区域的面积与潜在闭合区域对应的矩形区域的面积和之比。预设候选阈值是提前设定的，预设候选阈值可以是数值，表征为可以作为候选闭合区域的最小面积重合度阈值。从而可以排除掉可以构成潜在闭合区域但与其对应的矩形区域之间的面积重合度低的区域，可以筛除掉明显不是电子屏幕所在区域对应的区域。从而可以提高定位目标屏幕区域的准确性。
示例性的，步骤A20至步骤A30包括：分别确定各所述潜在闭合区域与各自对应的矩形区域之间的区域面积重合比；在各所述潜在闭合区域中选择区域面积重合比大于或等于预设候选阈值的潜在闭合区域作为候选闭合区域。
为更好理解本申请实施例，参照图4，图4为候选闭合区域的生成示意图。其中，Li、Lk、Ll和Lj分别为组成候选闭合区域的候选直线段，Vij、Vjk、Vkl和Vlj分别为候选闭合区域对应的四个潜在顶点，和分别为候选直线段Li的两端点。
在一可行实施例中，步骤A20还包括：
步骤A21，对于任一所述潜在闭合区域，计算所述潜在闭合区域分别与所述图像数据中各所述矩形区域之间的面积重合度，分别得到各待选面积重合度；
步骤A22，分别确定各所述矩形区域与所述潜在闭合区域之间的面积和，得到各所述矩形区域对应的待选面积和。
步骤A23，分别计算各所述矩形区域对应的所述待选面积重合度与所述待选面积和之比，得到各所述矩形区域对应的待选面积比；
步骤A24，在各所述待选面积比中选择最大的待选面积比作为所述潜在闭合区域的所述区域面积重合比。
需要说明的是，对于每个潜在闭合区域，都需要执行步骤A21至步骤A22。本申请实施例可以识别出图像数据中的多个矩形区域，待选面积重合度表征为潜在闭合区域与矩形区域之间的面积重合度。待选面积和为潜在闭合区域与矩形区域的面积和，待选面积比为待选面积重合度与待选面积和之比。对于每个潜在闭合区域而言，都需要计算出与各矩形区域之间的待选面积重合度和待选面积和，进而在各待选面积比中选择最大的待选面积比作为潜在闭合区域对应区域面积重合比。
示例性的，步骤A21至步骤A22包括：对于任一所述潜在闭合区域，计算所述潜在闭合区域分别与所述图像数据中各所述矩形区域之间的面积重合度，分别得到各所述矩形区域的待选面积重合度；分别计算各所述矩形区域与所述潜在闭合区域之间的面积和，得到各所述矩形区域对应的待选面积和；分别计算各所述矩形区域对应的所述待选面积重合度与所述待选面积和之比，得到各所述矩形区域对应的待选面积比；在各所述待选面积比中选择最大的待选面积比作为所述潜在闭合区域的所述区域面积重合比。
示例性的，计算区域面积重合比的公式为：
S1＝calc_max_IOU(region1,bbxs)
其中，S1为区域面积重合比，IOU为Intersection of union(并集交点)是指两个区域交叠部分的面积除以区域并的面积，region1为潜在闭合区域，bbxs为各矩形区域，可以为本实施例中的待选面积比；calc_max_IOU(region,bbxs)为各待选面积比中选择最大的待选面积比作为区域面积重合比。
在一可行实施例中，所述分别确定各所述候选闭合区域的闭合面积和所述候选闭合区域上各候选直线段之间的平行度的步骤包括：
步骤X10，根据所述候选闭合区域上的各潜在顶点的潜在坐标，计算所述候选闭合区域的闭合区域面积；
步骤X20，将所述闭合区域面积与所述图像数据的图像面积之比，作为所述闭合面积比；
步骤X30，从所述候选闭合区域的各候选直线段中确定第一组相邻直线段和第二组相邻直线段，根据所述第一组相邻直线段确定所述候选闭合区域的第一候选角，以及根据所述第二组相邻直线段确定所述候选闭合区域的第二候选角；
步骤X40，根据所述第一候选角和所述第二候选角，确定所述候选闭合区域的直线平行度。
需要说明的是，闭合区域面积为候选闭合区域的面积，图像面积为图像数据对应的图像面积，图像面积可以基于图像数据的长和宽计算得到。候选闭合区域上对应的包括四条候选直线段分别可以为第一候选直线段、第二候选直线段、第三候选直线段以及第四候选直线段。第一组相邻直线段包括候选闭合区域中相邻的两候选直线段，第二组相邻直线段包括候选闭合区域中相邻的两候选直线段，第一组相邻直线段中不包括所述第二组相邻直线段对应的候选直线段。第一候选角与第二候选角为一组对角。
示例性的，步骤X10至步骤X40包括：根据所述候选闭合区域上的各潜在顶点的潜在坐标，计算所述候选闭合区域的闭合区域面积；图像数据对应的图像长和图像宽，计算所述图像数据对应的图像面积，将所述闭合区域面积与所述图像数据的图像面积之比，作为所述闭合面积比；从所述候选闭合区域的各候选直线段中确定第一组相邻直线段和第二组相邻直线段，根据所述第一组相邻直线段确定所述候选闭合区域的第一候选角，以及根据所述第二组相邻直线段确定所述候选闭合区域的第二候选角；比较第一候选角和所述第二候选角的大小，以确定第一候选角与第二候选角之间的比值，得到直线平行度，直线平行度小于等于1。本申请实施例通过确定候选闭合区域的闭合区域面积比以及直线平行度，从而可以将图像数据中最像电子屏幕的区域筛选出来。且通过对角的关系确定直线平行度，可以简化计算量，无需计算每两两候选直线段之间的角度，提高了直线平行度的计算效率。
示例性的，计算候选面积比的公式为：
Calc_region＝region/(h*w)
其中，Calc_region为候选面积比，region为候选闭合区域的闭合区域面积，(h*w)为图像面积，h为图像数据的长，w为图像数据的宽。
示例性的，计算直线平行度的公式为：
Calc_degree＝min(degree(i,j),degree(k,l))/max(degree(i,j),degree(k,l))
其中，Calc_degree为直线平行度，degree(i,j)为第一候选角，degree(k,l)为第二候选角，i和j表征为第一组相邻直线段中的两相邻的直线段，k和l为第二组相邻直线段中的两相邻的直线段。
在一可行实施例中，在所述在各所述候选闭合区域中选择候选值最大的候选闭合区域作为目标屏幕区域的步骤之后还包括：
步骤Y10，对所述目标屏幕区域进行几何校正得到标准屏幕区域，并计算所述标准屏幕区域对应的当前像素值；
步骤Y20，获取所述标准屏幕区域对应的图像数据的上一时间步的历史相邻图像数据的历史相邻像素值；
步骤Y30，计算所述当前像素值与历史相邻像素值之差得到当前像素差值，并获取与所述当前像素差值依次相邻的预设数量的历史像素差值；
步骤Y40，若所述当前像素差值与各所述历史像素差值之间满足预设周期值变化条件，则确定所述标准屏幕区域的闪频异常信息；
需要说明的是，目标屏幕区域可能是不规则的四边形，因此需要对目标屏幕区域进行几何校正，示例性的，将目标屏幕区域还原为规则的四边形。当前像素值为标准屏幕区域的像素值，可以从图像数据中确定标准屏幕区域，然后计算标准屏幕区域的像素值。历史相邻像素值为当前像素值对应的图像数据的上一时间步的历史相邻图像数据。当前像素差值为当前像素值与历史响铃像素值之差。
预设数量为提前预设的，预设数量为历史像素差值的数量，历史像素差值是各相邻历史图像数据中标准屏幕区域之间的像素差值，各历史像素差值是与当前像素差值依次相邻的。例如，当前像素值对应的当前的图像数据为i，当前的图像数据对应的当前像素值表示为feature(i)，历史相邻图像数据为i-1，历史相邻像素值为feature(i-1)，当前像素差值为feature(i)-feature(i-1)，当预设数量为2时，与当前像素差值依次相邻的2各历史像素差值为：feature(i-1)-feature(i-2)，feature(i-2)-feature(i-3)，feature(i-2)为与历史相邻像素值相邻的上一时间步的图像数据的标准屏幕区域的像素值，feature(i-3)与feature(i-2)对应的图像数据相邻的上一时间步的图像数据的标准屏幕区域的像素值。
预设周期变化条件包括当前像素差值与各历史像素差值之间符合周期变化关系，例如，在当前像素差值为A、与当前像素差值依次相邻的各历史像素差值为B、A、B和A时，说明当前像素差值和各历史像素差值符合预设周期变化条件，本申请实施例中不限定具体的周期数。闪频异常信息用于提示用户电子屏幕出现闪频异常，闪频异常信息可以表示为闪频异常的文本。
示例性的，步骤Y10至步骤Y40包括：对所述目标屏幕区域进行几何校正得到标准屏幕区域，并计算所述标准屏幕区域对应的当前像素值；获取所述标准屏幕区域对应的图像数据的上一时间步的历史相邻图像数据中历史标准屏幕区域的历史相邻像素值；计算所述当前像素值与历史相邻像素值之差得到当前像素差值，并获取与所述当前像素差值依次相邻的预设数量的历史像素差值；判断当前像素差值与各所述历史像素差值之间是否满足预设周期值变化条件；若所述当前像素差值与各所述历史像素差值之间满足预设周期值变化条件，则确定所述标准屏幕区域的闪频异常信息；若所述当前像素差值与各所述历史像素差值之间不预设周期值变化条件，则所述标准屏幕区域的不存在闪频。
步骤Y50，若所述当前像素值与预设黑屏状态值相匹配，则确定所述标准屏幕区域的黑屏异常信息；
步骤Y60，若所述当前像素值与预设蓝屏状态值相匹配，则确定所述标准屏幕区域蓝屏异常信息。
需要说明的是，预设黑屏状态值为电子屏幕黑屏时对应的像素值，预设蓝屏状态值为电子屏幕蓝屏时对应的像素值，黑屏异常信息用于提示用户电子屏幕出现黑屏异常，蓝屏异常信息用于提示用户电子屏幕出现蓝屏异常，黑屏异常信息和蓝屏异常信息都可以以文本的形式表示，蓝屏异常信息、黑屏异常信息以及闪屏异常信息都可以发送到屏幕录制系统上的SOC接口上。
示例性的，判断所述当前像素值是否与预设黑屏状态值相匹配，若所述当前像素值与预设黑屏状态值相匹配，则确定所述标准屏幕区域的黑屏异常信息；若所述当前像素值与预设黑屏状态值不匹配，则确定所述标准屏幕区域不存在黑屏状态；判断所述当前像素值是否与预设蓝屏状态值相匹配，若所述当前像素值与预设蓝屏状态值相匹配，则确定所述标准屏幕区域的蓝屏异常信息；若所述当前像素值与预设蓝屏状态值不匹配，则确定所述标准屏幕区域不存在蓝屏状态。
本申请实施例在识别出图像数据中的电子屏幕的同时还对电子屏幕的状态进行监测，从而可以实时监测出电子屏幕的异常状态，保证屏幕录制的准确性。
实施例三
参照图5，本申请实施例还提供一种屏幕定位装置，所述屏幕定位装置包括：
获取模块10，用于获取摄像机拍摄的图像数据，调用直线检测模型检测出所述图像数据中各直线段，以及调用目标区域检测模型检测出所述图像数据中的各矩形区域；
候选闭合区域确定模块20，用于根据各所述矩形区域、各所述直线段以及各所述直线段之间的潜在交点，从所述图像数据中确定至少一个候选闭合区域，并分别确定各所述候选闭合区域的闭合面积比和所述候选闭合区域的直线平行度；
候选值确定模块30，用于基于各所述候选闭合区域各自对应的所述闭合面积和所述平行度，分别确定各所述候选闭合区域的候选值；
屏幕确定模块40，用于在各所述候选闭合区域中选择候选值最大的候选闭合区域作为目标屏幕区域。
可选地，所述候选闭合区域确定模块20还包括：
根据各所述直线段以及各所述直线段之间的潜在交点，从所述图像数据中确定至少一个潜在闭合区域；
根据各所述矩形区域，分别确定各所述潜在闭合区域的区域面积重合比；
在各所述潜在闭合区域中筛选出区域面积重合比大于或等于预设候选阈值的至少一个所述候选闭合区域。
可选地，所述候选闭合区域确定模块20还包括：
根据各所述直线段的延伸趋势线，确定各所述直线段之间的潜在交点；
在各所述潜在交点中筛选出满足预设闭合条件的多个潜在顶点；
根据各所述潜在顶点的顶点标识，确定至少一个潜在闭合区域，所述顶点标识基于潜在相交于所述潜在顶点的两直线段分别对应的直线标识确定。
可选地，所述候选闭合区域确定模块20还包括：
对于任一所述潜在交点，确定潜在相交于所述潜在交点的第一潜在直线段和第二潜在直线段；
根据所述第一潜在直线段的第一直线中点到所述潜在交点的第一距离，计算所述第一距离与所述第一潜在直线段的第一线段长度之比，得到第一距离重合比；
根据所述第二潜在直线段的第二直线中点到所述潜在交点的第二距离，计算所述第二距离与所述第二潜在直线段的第二线段长度之比，得到第二距离重合比；
计算所述第一潜在直线段与所述第二潜在直线段之间的潜在夹角；
若所述第一距离重合比和所述第二距离重合比都满足所述预设闭合距离条件，且所述潜在夹角满足预设闭合角度条件，则确定所述潜在交点为所述潜在顶点。
可选地，所述候选闭合区域确定模块20还包括：
对于所述潜在顶点中的任一目标潜在顶点，根据所述目标潜在顶点的目标顶点标识，在各所述潜在顶点中确定与所述目标顶点标识相匹配的第一目标闭合顶点和第二目标闭合顶点；
在各所述潜在顶点中确定与所述第二目标闭合顶点和所述第二目标闭合顶点都匹配的第三目标闭合顶点；
根据目标潜在顶点、所述第一目标闭合顶点、所述第二目标闭合顶点以及所述第三目标闭合顶点，确定所述潜在闭合区域。
可选地，所述候选闭合区域确定模块20还包括：
对于任一所述潜在闭合区域，计算所述潜在闭合区域分别与所述图像数据中各所述矩形区域之间的面积重合度，分别得到各所述矩形区域的待选面积重合度；
分别确定各所述矩形区域与所述潜在闭合区域之间的面积和，得到各所述矩形区域对应的待选面积和；
分别计算各所述矩形区域对应的所述待选面积重合度与所述待选面积和之比，得到各所述矩形区域对应的待选面积比；
在各所述待选面积比中选择最大的待选面积比作为所述潜在闭合区域的所述区域面积重合比。
可选地，所述候选闭合区域确定模块20还包括：
根据所述候选闭合区域上的各潜在顶点的潜在坐标，计算所述候选闭合区域的闭合区域面积；
将所述闭合区域面积与所述图像数据的图像面积之比，作为所述闭合面积比；
从所述候选闭合区域的各候选直线段中确定第一组相邻直线段和第二组相邻直线段，根据所述第一组相邻直线段确定所述候选闭合区域的第一候选角，以及根据所述第二组相邻直线段确定所述候选闭合区域的第二候选角；
根据所述第一候选角和所述第二候选角，确定所述候选闭合区域的直线平行度。
可选地，所述屏幕确定模块40还包括：
对所述目标屏幕区域进行几何校正得到标准屏幕区域，并计算所述标准屏幕区域对应的当前像素值；
获取所述标准屏幕区域对应的图像数据的上一时间步的历史相邻图像数据的历史相邻像素值；
计算所述当前像素值与历史相邻像素值之差得到当前像素差值，并获取与所述当前像素差值依次相邻的预设数量的历史像素差值；
若所述当前像素差值与各所述历史像素差值之间满足预设周期值变化条件，则确定所述标准屏幕区域的闪频异常信息；
若所述当前像素值与预设黑屏状态值相匹配，则确定所述标准屏幕区域的黑屏异常信息；
若所述当前像素值与预设蓝屏状态值相匹配，则确定所述标准屏幕区域蓝屏异常信息。
本申请提供的屏幕定位装置，采用上述实施例中的屏幕定位方法，旨在解决在拍摄背景复杂的情况下，难以准确定位电子屏幕的区域的技术问题。与现有技术相比，本申请实施例提供的屏幕定位方法的有益效果与上述实施例提供的屏幕定位方法的有益效果相同，且该屏幕定位装置中的其他技术特征与上述实施例方法公开的特征相同，在此不做赘述。
实施例四
本申请实施例提供一种电子设备，所述电子设备可以为播放设备，电子设备包括：至少一个处理器；以及，与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行上述实施例中的屏幕定位方法。
下面参考图6，其示出了适于用来实现本公开实施例的电子设备的结构示意图。本公开实施例中的电子设备可以包括但不限于诸如移动电话、笔记本电脑、数字广播接收器、PDA(personal digital assistant，个人数字助理)、PAD(portable Android device，平板电脑)、PMP(Portable Media Player，便携式多媒体播放器)、车载终端(例如车载导航终端)等等的移动终端以及诸如数字TV、台式计算机等等的固定终端。图6示出的电子设备仅仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。
如图6所示，电子设备可以包括处理装置(例如中央处理器、图形处理器等)，其可以根据存储在ROM(Read-Only Memory，只读存储器)中的程序或者从存储装置加载到RAM(Random Access Memory，随机访问存储器)中的程序而执行各种适当的动作和处理。在RAM中，还存储有电子设备操作所需的各种程序和数据。处理装置、ROM以及RAM通过总线彼此相连。输入/输出(I/O)接口也连接至总线。
通常，以下系统可以连接至I/O接口：包括例如触摸屏、触摸板、键盘、鼠标、图像传感器、麦克风、加转速计、陀螺仪等的输入装置；包括例如LCD(Liquid Crystal Display，液晶显示器)、扬声器、振动器等的输出装置；包括例如磁带、硬盘等的存储装置；以及通信装置。通信装置可以允许电子设备与其他设备进行无线或有线通信以交换数据。虽然图中示出了具有各种系统的电子设备，但是应理解的是，并不要求实施或具备所有示出的系统。可以替代地实施或具备更多或更少的系统。
特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信系统从网络上被下载和安装，或者从存储系统被安装，或者从ROM被安装。在该计算机程序被处理系统执行时，执行本公开实施例的方法中限定的上述功能。
本申请提供的电子设备，采用上述实施例一中的屏幕定位方法旨在解决在拍摄背景复杂的情况下，难以准确定位电子屏幕的区域的技术问题。与现有技术相比，本申请实施例提供的产品流量数据分配的有益效果与上述实施例提供的屏幕定位方法的有益效果相同，且该屏幕定位装置中的其他技术特征与上述实施例方法公开的特征相同，在此不做赘述。
应当理解，本公开的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式的描述中，具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。
实施例五
本实施例提供一种计算机可读存储介质，具有存储在其上的计算机可读程序指令，计算机可读程序指令用于执行上述实施例一中的屏幕定位方法。
本申请实施例提供的计算机可读存储介质例如可以是U盘，但不限于电、磁、光、电磁、红外线、或半导体的设备、设备或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程EPROM(Electrical ProgrammableRead Only Memory，只读存储器)或闪存、光纤、便携式紧凑磁盘CD-ROM(compact discread-only memory，只读存储器)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本实施例中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行设备、设备或者器件使用或者与其结合使用。计算机可读存储介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：电线、光缆、RF(RadioFrequency，射频)等等，或者上述的任意合适的组合。
上述计算机可读存储介质可以是电子设备中所包含的；也可以是单独存在，而未装配入电子设备中。
上述计算机可读存储介质承载有一个或者多个程序，当上述一个或者多个程序被电子设备执行时，使得电子设备：获取摄像机拍摄的图像数据，调用直线检测模型检测出图像数据中各直线段以及调用目标区域检测模型检测出图像数据中的各矩形区域；根据各矩形区域、各直线段以及各直线段之间的潜在交点，从图像数据中确定至少一个候选闭合区域，并分别确定各候选闭合区域的闭合面积和候选闭合区域上各候选直线段之间的平行度；基于各候选闭合区域各自对应的闭合面积和平行度分别确定各候选闭合区域的候选值；在各候选闭合区域中选择候选值最大的候选闭合区域作为目标屏幕区域。
可以以一种或多种程序设计语言或其组合来编写用于执行本公开的操作的计算机程序代码，上述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括LAN(localarea network，局域网)或WAN(Wide Area Network，广域网)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
附图中的流程图和框图，图示了按照本申请各种实施例的设备、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的设备来实现，或者可以用专用硬件与计算机指令的组合来实现。
描述于本公开实施例中所涉及到的模块可以通过软件的方式实现，也可以通过硬件的方式来实现。其中，模块的名称在某种情况下并不构成对该单元本身的限定。
本申请提供的计算机可读存储介质，存储有用于执行上述屏幕定位方法的计算机可读程序指令，旨在解决在拍摄背景复杂的情况下，难以准确定位电子屏幕的区域的技术问题。与现有技术相比，本申请实施例提供的计算机可读存储介质的有益效果与上述实施例提供的屏幕定位方法的有益效果相同，在此不做赘述。
实施例六
本申请还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述的屏幕定位方法的步骤。
本申请提供的计算机程序产品旨在解决在拍摄背景复杂的情况下，难以准确定位电子屏幕的区域的技术问题。与现有技术相比，本申请实施例提供的计算机程序产品的有益效果与上述实施例提供的屏幕定位方法的有益效果相同，在此不做赘述。
以上仅为本申请的优选实施例，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利处理范围内。
Claims (7)
1.一种屏幕定位方法，其特征在于，所述屏幕定位方法包括：
获取摄像机拍摄的图像数据，调用直线检测模型检测出所述图像数据中各直线段，以及调用目标区域检测模型检测出所述图像数据中的各矩形区域；
根据各所述矩形区域、各所述直线段以及各所述直线段之间的潜在交点，从所述图像数据中确定至少一个候选闭合区域，并分别确定各所述候选闭合区域的闭合面积比和所述候选闭合区域的直线平行度；
基于各所述候选闭合区域各自对应的所述闭合面积比和所述直线平行度，分别确定各所述候选闭合区域的候选值；
在各所述候选闭合区域中选择候选值最大的候选闭合区域作为目标屏幕区域；
所述根据各所述矩形区域、各所述直线段以及各所述直线段之间的潜在交点，从所述图像数据中确定至少一个候选闭合区域的步骤包括：
根据各所述直线段以及各所述直线段之间的潜在交点，从所述图像数据中确定至少一个潜在闭合区域；
根据各所述矩形区域，分别确定各所述潜在闭合区域的区域面积重合比；
在各所述潜在闭合区域中筛选出区域面积重合比大于或等于预设候选阈值的至少一个所述候选闭合区域；区域面积重合比表征为潜在闭合区域的面积与潜在闭合区域对应的矩形区域的面积之间的重合度，与潜在闭合区域的面积与潜在闭合区域对应的矩形区域的面积和之比；
根据各所述直线段的延伸趋势线，确定各所述直线段之间的潜在交点，对于任一所述潜在交点，确定潜在相交于所述潜在交点的第一潜在直线段和第二潜在直线段，根据所述第一潜在直线段的第一直线中点到所述潜在交点的第一距离，计算所述第一距离与所述第一潜在直线段的第一线段长度之比，得到第一距离重合比，根据所述第二潜在直线段的第二直线中点到所述潜在交点的第二距离，计算所述第二距离与所述第二潜在直线段的第二线段长度之比，得到第二距离重合比，计算所述第一潜在直线段与所述第二潜在直线段之间的潜在夹角，若所述第一距离重合比和所述第二距离重合比都满足预设闭合距离条件，且所述潜在夹角满足预设闭合角度条件，则确定所述潜在交点为潜在顶点；
根据所述候选闭合区域上的各潜在顶点的潜在坐标，计算所述候选闭合区域的闭合区域面积；图像数据对应的图像长和图像宽，计算所述图像数据对应的图像面积，将所述闭合区域面积与所述图像数据的图像面积之比，作为所述闭合面积比；
从所述候选闭合区域的各候选直线段中确定第一组相邻直线段和第二组相邻直线段，根据所述第一组相邻直线段确定所述候选闭合区域的第一候选角，以及根据所述第二组相邻直线段确定所述候选闭合区域的第二候选角；
比较第一候选角和所述第二候选角的大小，以确定第一候选角与第二候选角之间的比值，得到直线平行度，直线平行度小于等于1。
2.如权利要求1所述的屏幕定位方法，其特征在于，所述根据各所述直线段以及各所述直线段之间的潜在交点，从所述图像数据中确定至少一个潜在闭合区域的步骤包括：
根据各所述直线段的延伸趋势线，确定各所述直线段之间的潜在交点；
在各所述潜在交点中筛选出满足预设闭合条件的多个潜在顶点；
根据各所述潜在顶点的顶点标识，确定至少一个潜在闭合区域，所述顶点标识基于潜在相交于所述潜在顶点的两直线段分别对应的直线标识确定；所述预设闭合条件包括预设闭合距离条件和预设闭合角度条件。
3.如权利要求1所述的屏幕定位方法，其特征在于，所述根据各所述潜在顶点的顶点标识，确定至少一个潜在闭合区域的步骤包括：
对于所述潜在顶点中的任一目标潜在顶点，根据所述目标潜在顶点的目标顶点标识，在各所述潜在顶点中确定与所述目标顶点标识相匹配的第一目标闭合顶点和第二目标闭合顶点；
在各所述潜在顶点中确定与所述第二目标闭合顶点和所述第二目标闭合顶点都匹配的第三目标闭合顶点；
根据目标潜在顶点、所述第一目标闭合顶点、所述第二目标闭合顶点以及所述第三目标闭合顶点，确定所述潜在闭合区域。
4.如权利要求1所述的屏幕定位方法，其特征在于，所述根据各所述矩形区域，分别确定各所述潜在闭合区域的区域面积重合比的步骤包括：
对于任一所述潜在闭合区域，计算所述潜在闭合区域分别与所述图像数据中各所述矩形区域之间的面积重合度，分别得到各所述矩形区域的待选面积重合度；
分别确定各所述矩形区域与所述潜在闭合区域之间的面积和，得到各所述矩形区域对应的待选面积和；
分别计算各所述矩形区域对应的所述待选面积重合度与所述待选面积和之比，得到各所述矩形区域对应的待选面积比；
在各所述待选面积比中选择最大的待选面积比作为所述潜在闭合区域的所述区域面积重合比。
5.如权利要求1所述的屏幕定位方法，其特征在于，在所述在各所述候选闭合区域中选择候选值最大的候选闭合区域作为目标屏幕区域的步骤之后还包括：
对所述目标屏幕区域进行几何校正得到标准屏幕区域，并计算所述标准屏幕区域对应的当前像素值；
获取所述标准屏幕区域对应的图像数据的上一时间步的历史相邻图像数据的历史相邻像素值；
计算所述当前像素值与历史相邻像素值之差得到当前像素差值，并获取与所述当前像素差值依次相邻的预设数量的历史像素差值；
若所述当前像素差值与各所述历史像素差值之间满足预设周期值变化条件，则确定所述标准屏幕区域的闪频异常信息；
若所述当前像素值与预设黑屏状态值相匹配，则确定所述标准屏幕区域的黑屏异常信息；
若所述当前像素值与预设蓝屏状态值相匹配，则确定所述标准屏幕区域蓝屏异常信息。
6.一种电子设备，其特征在于，所述电子设备包括：
至少一个处理器；
以及与所述至少一个处理器通信连接的存储器；
其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1至5中任一项所述屏幕定位方法的步骤。
7.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有实现屏幕定位方法的程序，所述实现屏幕定位方法的程序被处理器执行以实现如权利要求1至5中任一项所述屏幕定位方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410193912.9A CN118397078B (zh) | 2024-02-21 | 2024-02-21 | 屏幕定位方法、装置、电子设备及计算机可读存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410193912.9A CN118397078B (zh) | 2024-02-21 | 2024-02-21 | 屏幕定位方法、装置、电子设备及计算机可读存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN118397078A CN118397078A (zh) | 2024-07-26 |
| CN118397078B true CN118397078B (zh) | 2024-12-13 |
Family
ID=91996694
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202410193912.9A Active CN118397078B (zh) | 2024-02-21 | 2024-02-21 | 屏幕定位方法、装置、电子设备及计算机可读存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN118397078B (zh) |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108446698A (zh) * | 2018-03-15 | 2018-08-24 | 腾讯大地通途（北京）科技有限公司 | 在图像中检测文本的方法、装置、介质及电子设备 |
| CN109559344A (zh) * | 2017-09-26 | 2019-04-02 | 腾讯科技（上海）有限公司 | 边框检测方法、装置及存储介质 |
Family Cites Families (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4538214B2 (ja) * | 2002-11-22 | 2010-09-08 | オセ−テクノロジーズ・ベー・ヴエー | グラフによる画像分割 |
| US7577298B2 (en) * | 2003-06-20 | 2009-08-18 | Siemens Medical Solutions Usa, Inc. | Method and system for response image feature collection and candidate summit, surface, and core estimation |
| JP6105179B1 (ja) * | 2016-06-30 | 2017-03-29 | 楽天株式会社 | 画像処理装置、画像処理方法、および、画像処理プログラム |
| CN108073849B (zh) * | 2016-11-18 | 2021-04-30 | 杭州海康威视数字技术股份有限公司 | 条码检测方法、装置及系统 |
| CN108229433B (zh) * | 2018-02-01 | 2021-10-26 | 中国电子科技集团公司第十五研究所 | 一种基于直线段检测和形状特征的靠岸舰船检测方法 |
| CN112507759A (zh) * | 2019-09-16 | 2021-03-16 | 中国银联股份有限公司 | 用于识别银行卡的图像处理方法以及图像处理装置 |
| CN116758151A (zh) * | 2023-05-26 | 2023-09-15 | 南京航空航天大学 | 一种视觉图像中的多类型屏幕定位方法 |
-
2024
- 2024-02-21 CN CN202410193912.9A patent/CN118397078B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109559344A (zh) * | 2017-09-26 | 2019-04-02 | 腾讯科技（上海）有限公司 | 边框检测方法、装置及存储介质 |
| CN108446698A (zh) * | 2018-03-15 | 2018-08-24 | 腾讯大地通途（北京）科技有限公司 | 在图像中检测文本的方法、装置、介质及电子设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN118397078A (zh) | 2024-07-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112348815A (zh) | 图像处理方法、图像处理装置以及非瞬时性存储介质 | |
| CN112101305B (zh) | 多路图像处理方法、装置及电子设备 | |
| CN110781823B (zh) | 录屏检测方法、装置、可读介质及电子设备 | |
| US11423611B2 (en) | Techniques for creating, organizing, integrating, and using georeferenced data structures for civil infrastructure asset management | |
| CN110264523B (zh) | 一种确定测试图像中的目标图像的位置信息的方法与设备 | |
| WO2022237811A1 (zh) | 图像处理方法、装置及设备 | |
| WO2022161172A1 (zh) | 图像中图形角点的识别方法、装置、介质及电子设备 | |
| CN115063618A (zh) | 一种基于模板匹配的缺陷定位方法、系统、设备及介质 | |
| CN115905622A (zh) | 视频标注方法、装置、设备、介质及产品 | |
| CN118781113B (zh) | 表面缺陷检测方法、设备及存储介质 | |
| CN115861354A (zh) | 图像边缘检测方法、装置、设备及存储介质 | |
| CN118397078B (zh) | 屏幕定位方法、装置、电子设备及计算机可读存储介质 | |
| CN113793349B (zh) | 目标检测方法及装置、计算机可读存储介质、电子设备 | |
| CN114359147A (zh) | 裂缝检测方法、装置、服务器及存储介质 | |
| CN115460353B (zh) | 教学跟踪摄像设备配置方法、装置、电子设备及介质 | |
| CN113066128B (zh) | 自识别标识板的视觉检测与恢复方法、装置、设备及介质 | |
| CN117710225A (zh) | 一种面向复合绝缘子的融合式数据生成方法及装置 | |
| CN115278368B (zh) | 画面清晰度优化方法、装置、电子设备及可读存储介质 | |
| CN119272787B (zh) | 条码识别方法、装置、设备、存储介质及产品 | |
| JPH1153539A (ja) | 円形パターン判定方法および記録媒体 | |
| CN119863466B (zh) | 晶圆缺陷检测方法、装置、设备、存储介质和程序产品 | |
| CN118916507B (zh) | 高效存储方法、装置、电子设备以及存储介质 | |
| CN119992260B (zh) | 模型构建方法、电子设备、存储介质与计算机程序产品 | |
| CN119128186B (zh) | 桥墩施工进度及纠偏的检测方法、系统、设备及介质 | |
| CN111325804B (zh) | 一种确定yuv图像显示参数的方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |