[go: up one dir, main page]

CN114708443B - 截图处理方法及装置、电子设备和计算机可读介质 - Google Patents

截图处理方法及装置、电子设备和计算机可读介质 Download PDF

Info

Publication number
CN114708443B
CN114708443B CN202210397260.1A CN202210397260A CN114708443B CN 114708443 B CN114708443 B CN 114708443B CN 202210397260 A CN202210397260 A CN 202210397260A CN 114708443 B CN114708443 B CN 114708443B
Authority
CN
China
Prior art keywords
candidate
intercepting
target
screenshot
area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210397260.1A
Other languages
English (en)
Other versions
CN114708443A (zh
Inventor
朱海舟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Oppo Mobile Telecommunications Corp Ltd
Original Assignee
Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Oppo Mobile Telecommunications Corp Ltd filed Critical Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority to CN202210397260.1A priority Critical patent/CN114708443B/zh
Publication of CN114708443A publication Critical patent/CN114708443A/zh
Priority to PCT/CN2022/138591 priority patent/WO2023197648A1/zh
Priority to US18/913,558 priority patent/US20250039537A1/en
Application granted granted Critical
Publication of CN114708443B publication Critical patent/CN114708443B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/44Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/22Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/22Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • G06V10/235Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition based on user input or interaction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/25Determination of region of interest [ROI] or a volume of interest [VOI]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/26Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/44Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761Proximity, similarity or dissimilarity measures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/62Text, e.g. of license plates, overlay texts or captions on TV images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10Character recognition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10Character recognition
    • G06V30/14Image acquisition
    • G06V30/1444Selective acquisition, locating or processing of specific regions, e.g. highlighted text, fiducial marks or predetermined fields
    • G06V30/1448Selective acquisition, locating or processing of specific regions, e.g. highlighted text, fiducial marks or predetermined fields based on markings or identifiers characterising the document or the area
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10Character recognition
    • G06V30/18Extraction of features or characteristics of the image
    • G06V30/1801Detecting partial patterns, e.g. edges or contours, or configurations, e.g. loops, corners, strokes or intersections
    • G06V30/18019Detecting partial patterns, e.g. edges or contours, or configurations, e.g. loops, corners, strokes or intersections by matching or filtering
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/61Control of cameras or camera modules based on recognised objects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • H04N23/631Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
    • H04N23/632Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters for displaying or modifying preview images prior to image capturing, e.g. variety of image resolutions or capturing parameters
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/667Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Human Computer Interaction (AREA)
  • User Interface Of Digital Computer (AREA)
  • Image Analysis (AREA)

Abstract

本公开提供一种截图处理方法,涉及图像处理技术领域。该方法包括:对当前画面进行轮廓识别,以根据获得的轮廓识别结果确定候选截取区域;响应于截图操作,根据所述截图操作和所述候选截取区域,在所述当前画面中确定至少一个目标截取区域;基于所述至少一个目标截取区域在所述当前画面中进行截图操作,以生成目标图像。本公开在执行截图操作之前,提供可以执行的截取方式,以便用户基于提供的截取方式进行截图操作,最后根据用户的截图操作和候选截取区域确定至少一个目标截取区域并生成目标图像,在提供符合用户图像处理意图的目标图像的同时,提高截图处理效率。

Description

截图处理方法及装置、电子设备和计算机可读介质
技术领域
本公开涉及图像处理技术领域,具体涉及一种截图处理方法、截图处理装置、电子设备和计算机可读介质。
背景技术
终端设备通常能够实现多种功能,以满足用户的需求,用户在使用终端设备的过程中,往往需要对终端设备中感兴趣的内容进行保存,例如通过截图的方式将图像或文字进行保存。然而,相关技术中根据用户的截图操作指令截取画面内容,不仅操作步骤较多,也无法快速得到符合用户预期的图像,在实际应用中十分不方便。
发明内容
本公开的目的在于提供一种截图处理方法、截图处理装置、电子设备和计算机可读介质,进而至少在一定程度上提高截图处理效率和截图准确性。
根据本公开的第一方面,提供一种截图处理方法,包括:对当前画面进行轮廓识别,以根据获得的轮廓识别结果确定候选截取区域;响应于截图操作,根据所述截图操作和所述候选截取区域,在所述当前画面中确定至少一个目标截取区域;基于所述至少一个目标截取区域在所述当前画面中进行截图操作。
根据本公开的第二方面,提供一种截图处理装置,包括:图像识别模块,用于对当前画面进行轮廓识别,以根据获得的轮廓识别结果确定候选截取区域;区域确定模块,用于响应截图操作,根据所述截图操作和所述候选截取区域,在所述当前画面中确定至少一个目标截取区域;图像处理模块,用于基于所述至少一个目标截取区域在所述当前画面中进行截图操作。
根据本公开的第三方面,提供一种电子设备,其特征在于,包括:处理器;以及存储器,用于存储一个或多个程序,当一个或多个程序被一个或多个处理器执行时,使得一个或多个处理器实现上述的方法。
根据本公开的第四方面,提供一种计算机可读介质,其上存储有计算机程序,计算机程序被处理器执行时实现上述的方法。
本公开的实施例所提供的截图处理方法,对当前画面进行轮廓识别,并根据轮廓识别结果确定当前画面中的候选截取区域,然后响应于截图操作,根据截图操作与候选截取区域,在当前画面中确定至少一个目标截取区域,以根据至少一个目标截取区域在当前画面中进行截图操作,以从当前画面截取目标图像。一方面,在用户执行截图操作之前,首先提供可以执行截图操作的候选截取区域,以供用户选择参考,以便快速确定截图范围并执行截图操作,不仅丰富了当前画面的截图方式,而不是刻板地将整张画面截取,也降低了截图操作的繁琐程度,截图操作效率高;另一方面,结合候选截取区域和截图操作来确定目标截取区域,将用户的截图操作意图也融入至目标截取区域的确定过程,更容易得到符合用户期望的截图结果。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本公开的实施例,并与说明书一起用于解释本公开的原理。显而易见地,下面描述中的附图仅仅是本公开的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。在附图中:
图1示出了可以应用本公开实施例的一种示例性系统架构的示意图;
图2示意性示出本公开示例性实施例中一种截图处理方法的流程图;
图3示意性示出本公开示例性实施例中一种当前画面的显示方式示意图;
图4示意性示出本公开示例性实施例中另一种当前画面的显示方式示意图;
图5示意性示出本公开示例性实施例中一种根据当前画面的轮廓识别结果确定候选截取区域的示意图;
图6示意性示出本公开示例性实施例中一种生成的目标图像的示意图;
图7示意性示出本公开示例性实施例中另一种生成的目标图像的示意图;
图8示意性示出本公开示例性实施例中一种筛选候选截取区域的流程图;
图9示意性示出本公开示例性实施例中一种进入截图模式后的终端界面示意图;
图10示意性示出本公开示例性实施例中一种筛选候选截取区域的结果示意图;
图11示意性示出本公开示例性实施例中一种确定目标截取区域的实现方式的流程图;
图12示意性示出本公开示例性实施例中一种根据截图操作和候选截取区域,在候选截取区域确定目标截取区域的示意图;
图13示意性示出本公开示例性实施例中一种同时选取多个候选截取区域的示意图;
图14示意性示出本公开示例性实施例中一种补全目标截取区域的实现方式的示意图;
图15示意性示出本公开示例性实施例中另一种补全目标截取区域的实现方式的示意图;
图16示意性示出本公开示例性实施例中一种结合目标相似度对应的目标轨迹形状,确定目标截取区域的示意图;
图17示意性示出本公开示例性实施例中截图处理装置的组成示意图;
图18示出了可以应用本公开实施例的一种电子设备的示意图。
具体实施方式
现在将参考附图更全面地描述示例实施方式。然而,示例实施方式能够以多种形式实施,且不应被理解为限于在此阐述的范例;相反,提供这些实施方式使得本公开将更加全面和完整,并将示例实施方式的构思全面地传达给本领域的技术人员。所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施方式中。
此外,附图仅为本公开的示意性图解,并非一定是按比例绘制。图中相同的附图标记表示相同或类似的部分,因而将省略对它们的重复描述。附图中所示的一些方框图是功能实体,不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体,或在一个或多个硬件模块或集成电路中实现这些功能实体,或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。
图1示出了可以应用本公开实施例的一种截图处理方法及装置的示例性应用环境的系统架构的示意图。以下描述中,“用户终端”、“移动终端”和“终端”可互换使用。
如图1所示,系统架构100可以包括终端设备101、102、103中的一个或多个,网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型,例如有线、无线通信链路或者光纤电缆等等。终端设备101、102、103可以是各种具有图像处理功能的电子设备,包括但不限于台式计算机、便携式计算机、智能手机和平板电脑等等。应该理解,图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要,可以具有任意数目的终端设备、网络和服务器。比如服务器105可以是多个服务器组成的服务器集群等。
本公开实施例所提供的截图处理方法一般由终端设备101、102、103中执行,相应地,截图处理装置一般设置于终端设备101、102、103中。但本领域技术人员容易理解的是,本公开实施例所提供的截图处理方法也可以由服务器105执行,相应的,截图处理装置也可以设置于服务器105中,本示例性实施例中对此不做特殊限定。举例而言,在一种示例性实施例中,可以是用户通过终端设备101、102、103包括的用于采集画面的图像采集器采集当前画面,然后将当前画面上传至服务器105,服务器105通过本公开实施例所提供的截图处理方法对当前画面进行轮廓识别,并根据获得的轮廓识别结果确定候选截取区域并提供至终端设备101、102、103,然后响应于截图操作,基于候选截取区域和截图操作确定至少一个目标截取区域,以根据至少一个目标截取区域在当前画面中进行截图操作,从当前画面中截取目标图像,并将目标图像发送给终端设备101、102、103等。
在相关技术中,当用户进入截图模式后,用户首先触发截图操作指令,然后根据截图操作指令对画面进行截图,例如用户通过触控介质(如触控笔、用户手指、鼠标等)在移动终端的界面手动框选截图范围,或者,用户使用系统提供的截图选择工具(如方框、圆形框或自由框)来框选截图内容。然而,这种截图方法完全依赖于用户操作,用户手动框选截图,得到的截图结果与用户预期存在很大程度的偏差,例如用户无法通过手动截图在图像中准确框选出某人或某物体的轮廓,导致截图结果不理想,用户需要反复调整,增加了截图操作的繁琐性,影响截图操作的效率。同时,相关技术中的截图方法,还未有对用户的截图意图进行预判,并根据预判结果提供可执行的截图方式的实现方案。
基于上述一个或多个问题,本示例实施方式提供了一种截图处理方法。该截图处理方法可以应用于上述服务器105,也可以应用于上述终端设备101、102、103中的一个或多个,本示例性实施例中对此不做特殊限定。参考图2所示,该截图处理方法可以包括以下步骤S210至步骤S230:
在步骤S210中,对当前画面进行轮廓识别,以根据获得的轮廓识别结果确定候选截取区域。
在本公开的示例性实施例中,在进行截图操作之前,终端界面的显示内容作为当前画面。例如,用户终端在进入截图模式时,终端界面的显示内容为图片、网页或文字等静态内容,则将当前的终端界面的显示内容作为当前画面;若用户终端进入截图模式时,终端界面的显示内容为动图、正播放的电影等动态内容,则将进入截图模式时所对应的单帧画面作为当前画面。
其中,如图3所示,当前画面可以完全覆盖于终端界面的显示区域上,即在用户终端进入截图模式后,终端界面仅显示有当前画面;相应的,当前画面也可以部分覆盖终端界面的显示区域上,如图4所示,当前画面可以位于终端界面的某一端,或者,当前画面也可以位于折叠屏手机的某一折叠屏,而另一折叠屏则正常显示终端界面的其它显示内容,用户可以自行选择是否将当前画面完全覆盖于终端界面。当然,本公开实施例包括但不限于上述的当前画面的显示方式,可以根据截图处理的实际应用场景做出相应调整。
本公开实施例的进入截图模式的方式包括但不限于:通过点击终端上的截图功能键、组合键或触发手写笔上的物理按键等方式,本公开实施例对此不做特殊限定。
图像识别是指利用计算机对图像进行处理、分析和理解,以识别各种不同的目标和对象的技术,是应用深度学习算法的一种实践应用。例如,生物识别、物体和场景识别以及视频识别等等,涉及图像匹配、图像分类、图像检索、人脸检测、边缘轮廓检测等。通过图像识别技术,对当前画面进行轮廓识别可以包括:获取当前画面的基本信息,将其转换为机器能识别的信息,然后进行图像预处理、特征提取与选择、分类器决策等过程,以从当前画面中识别出人物、物品、文字或场景等。其中,图像预处理包括但不限于图像增强、图像恢复、形态处理以及彩色图像处理等过程,本公开实施例可基于上述至少一种图像识别方法来对当前画面进行轮廓识别,凡是能用于对当前画面进行轮廓识别的技术手段,均可作为本公式实施例的识别方法。
如图5示出了根据本公开实施例的根据当前画面的轮廓识别结果确定候选截取区域的示意图。如图5所示,当前画面为电影视频的某一视频帧,对当前画面进行轮廓识别后,确定的候选截取区域包括上下黑边框、底部文字、人物角色、背景广告牌、树、高楼、云朵以及公路等。其中,可以将确定的候选截取区域的轮廓进行区别性显示,如改变轮廓的颜色、线形等,以为用户提供更直观的视觉提示。
在一些可能的实施方式中,还可以根据轮廓识别结果,确定各候选截取区域的图像内容,并根据图像内容的类别确定候选截取区域的图像类别。例如,确定候选截取区域的图像类别为文字,确定候选截取区域的图像类别为人物类别,确定候选截取区域的图像类别为物品类别,确定候选截取的图像类别为风景,确定候选截取区域的图像类别为网页,等等。基于此,还可以将属于不同的图像类别的候选截取区域的轮廓或区域面积进行区别性显示,例如,可以将人物角色与背景广告牌的轮廓进行区别性显示,而将背景后的云朵与树(同属于风景类别)以相同的方式显示,本公开实施例可根据实际截图场景,将候选截取区域的轮廓进行区别性显示。
在确定候选截取区域并区别性显示后,用户能直观地获得当前画面中可以执行截图操作的区域范围,该过程是对用户截图意愿的一种预判,通过提供候选截取区域供用户参考,不仅丰富了当前画面的截图方式,也降低后续基于候选截图区域的截图操作复杂度,以提高截图操作效率,还降低截图操作的操作门槛,方便不同年龄段的用户得到契合其需求的截图结果。
在步骤S220中,响应于截图操作,根据截图操作和候选截取区域,在当前画面中确定至少一个目标截取区域。
在本公开的示例性实施例中,检测截图操作,截图操作可以是用户通过触控介质(如用户手指、手写笔等)在用户终端上的操作,包括但不限于操作轨迹、操作时长、按压力度等操作信息。可以结合截图操作和候选截图区域,在当前画面中确定至少一个目标截取区域。
其中,目标截取区域可以是候选截取区域中的至少一个,目标截取区域也可以是当前画面中区别于候选截取区域的区域,目标截取区域还可以是既包含候选截取区域中的至少一个,也包含区别于候选截取区域的区域。也即,基于截图操作和候选截图区域,用户可以从候选截取区域中选择至少一个作为目标截取区域,也可以跳过候选截取区域,以截图操作所确定的目标截取区域为准,还可以在选择至少一个作为目标截取区域的同时,也将截图操作所确定的区域作为目标截取区域。
通过本示例性实施例,结合候选截取区域和截图操作来确定目标截取区域,能将用户的截图意图融入至最终获得的目标截取区域中,更容易获得符合用户期望的截图结果,提高截图操作的准确性。
在步骤S230中,基于至少一个目标截取区域在当前画面中进行截图操作。
在本公开的示例性实施例中,在获得至少一个目标截取区域后,可以根据该至少一个目标截取区域在当前画面中执行截图操作,以从当前画面中截取目标图像。其中,可以由用户终端根据至少一个目标截图区域,在当前画面中执行截图操作得到目标图像,也可以由服务器根据至少一个目标截图区域,在当前画面中执行截图操作得到目标图像,并将目标图像返回至用户终端进行显示,本公开对此不做特殊限定。
在一些可能的实施方式中,可以根据至少一个目标截取区域,在当前画面中进行截图操作,并根据得到的至少一个截图生成目标图像,即,继续参见图5所示,若确定目标截取区域为人物角色和云朵,那么在对当前画面进行截图操作后,生成的目标图像如图6所示。
相应的,在另一些可能的实施方式中,也可以根据至少一个目标截取区域,在当前画面中进行截图操作,并将得到的至少一个截图删除,以根据删除该至少一个截图后的当前画面,生成目标图像,如图7所示,在将人物角色和云朵删除后,生成的目标图像。也即,目标截取区域可能并非作为从当前画面中截取生成的目标画面,也可能是除了目标截取区域以外的其它区域,作为从当前画面中截取生成的目标画面。可选地,可以将图5中被人物角色挡住的公路部分进行补齐,也可以不补齐,可根据实际截图场景选择是否进行补齐。
根据本公开的示例性实施例,能根据确定的至少一个目标截取区域,在当前画面中进行截图操作,突破了将当前界面进行整体截图的刻板模式,从当前界面中有选择性地截取区域,丰富了截图方式,且由于目标截取区域是结合候选截取区域与截图操作确定的,使目标图像较标准化,而不是无规则的截图形状,使得目标图像符合用户所期望的截图结果,截图效率高,针对不同年龄段的终端使用者,都能截取到符合预期的截图结果,用户使用体验感好。
在一示例性实施例中,为了进一步提高截图效率,还提供一种筛选候选截取区域的实现方式。在响应于截图操作,根据截图操作和候选截取区域,在当前画面中确定至少一个目标截取区域之前,还可以包括步骤S810和步骤S820:
步骤S810,将候选截取区域分为对应于不同图像类别的至少两种截取模式。
在本公开的示例性实施例中,可以根据图像识别结果,确定各候选截取区域的图像内容,以根据图像内容的类别确定候选截取区域的图像类别。如可以包括文字类别、人物类别、物品类别、风景类别和网页类别等,针对这些类别,还可以进一步划分,例如文字类别还可以根据文字的字体、字形、颜色等划分,人物类别还可以进一步划分为人脸、肢体、装饰物,等等。本公开实施例可根据实际截图场景确定候选截取区域的图像类别,进而根据候选截取区域的图像类别,将候选截取区域分为至少两种截取模式。
示例性的,继续参见图5,按照候选截取区域的图像类别,可以将候选截取区域分为4种截取模式:截取模式1包括人物角色,截取模式2包括风景(云朵和大树),截取模式3包括城市建筑(高楼和公路),截取模式4包括广告牌。当然,还可以针对每种截取模式进一步划分,本公开实施例在此不再一一列举。
在本公开的示例性实施例中,将候选截取区域分为至少两种截取模式后,可以在用户终端提供截取模式选择选项,以供用户选择,进而响应用户从至少两种截取模式中选取目标截取模式的操作,以在当前画面中提供目标截取模式对应的候选截取区域。
如图9所示,可以首先在用户终端的当前界面中提供截取模式选择选项,以供用户选择,进而在当前界面仅显示目标截取模式对应的候选截取区域。
步骤S820,响应用户从至少两种截取模式中选取目标截取模式的操作,在当前画面中提供目标截取模式对应的候选截取区域。
在本公开的示例性实施例中,可以响应用户从至少两种截取模式中选取目标截取模式的操作,在当前画面中提供目标截取模式对应的候选截取区域,如图10,当接收用户从至少两种截取模式(如图9所示)中选取目标截取模式“城市建筑”的操作后,在当前画面中仅提供“城市建筑”相关的候选截取区域“高楼”和“公路”(轮廓为虚线所示),而其它类别的候选截取区域不显示(轮廓为实线)。
当然,本公开实施例也可以将用户未选择的其它候选截取区域,与目标截取模式所对应的候选截取区域,进行区别性显示,以突出显示目标截取模式所对应的候选截取区域。
通过本公开的示例性实施例,通过向用户提供截取模式选择选项,并在当前画面中提供目标截取模式对应的候选截取模式,能排除其它截取模式对用户选择的干扰,例如,若当前画面存在的图像类别较多,若将全部的候选截取区域都显示在画面中,容易造成用户视觉上的混乱,无法准确找到想要选取的候选截取区域。
在本公开一示例性实施例中,还提供一种确定目标截取区域的实现方式。响应于截图操作,根据截图操作和候选截取区域,在当前画面中确定至少一个目标截取区域可以包括:响应于第一操作,根据第一操作和候选截取区域,在候选截取区域中确定至少一个目标截取区域。其中,第一操作可以为操作时长小于时长阈值的截图操作,也可以是截图操作的按压力度小于压力阈值的截图操作等等,本公开实施例可以根据实际截图场景,确定第一操作。
示例性,针对第一操作为按压力度小于压力阈值的截图操作的场景,响应第一操作,根据第一操作和候选截取区域,在当前画面中确定至少一个目标截取区域可以包括步骤S1110至步骤S1120:
步骤S1110,判断截图操作对应的操作时长是否小于时长阈值。
在本公开的示例性实施例中,截图操作对应的操作时长,是指用户使用触控介质(如用户手指、手写笔、鼠标等)在用户终端界面上,从初始触控点对应的时间到触控介质离开用户终端界面之间的整体时长,时长阈值是根据用户终端的实际硬件结构以及实际的截图场景确定的,例如可以为0.1秒,0.2秒等,本公开实施例对此不做特殊限定。本公开实施例可以将截图操作对应的操作时长与时长阈值进行比较,以判断截图操作对应的操作时长是否小于时长阈值。
其中,操作时长与时长阈值的不同的比较结果,可以对应于不同的截图意图,进而基于比较结果提供不同的截图方式。
步骤S1120,若操作时长小于时长阈值,根据截图操作和候选截取区域,在候选截取区域中确定至少一个目标截取区域。
在本公开的示例性实施例中,相较于直接选择已有的候选截取区域,用户在终端界面中自行框选截图内容时,通常需要耗费一定操作时间,因此若操作时长小于时长阈值,表明用户将从候选截取区域中来确定目标截取区域,即若操作时长小于时长阈值,可以根据截图操作和候选截取区域,在候选截取区域中确定至少一个目标截取区域。也就是说,可以根据截取操作,直接从候选截取区域中选择至少一个目标截取区域。
通过本公开的示例性实施例,在操作时长小于时长阈值时,预判用户的操作意图是从已有的候选截取区域中进行选择,因此可以根据截图操作,从候选截取区域中确定至少一个目标截取区域,以操作时长与时长阈值的比对结果,区别用户的操作意图,以提供契合用户需求的截图方式,降低用户截图操作的思考成本,也提高了截图操作效率。
在本公开一示例性实施例中,提供了一种响应于第一操作,确定目标截取区域的实现方式:获取操作轨迹与候选截取区域的重合轨迹点,若存在目标候选截取区域所对应的重合轨迹点的数量,占操作轨迹点总量的比例大于比例阈值,将目标候选截取区域确定为所述目标截取区域。
其中,操作轨迹可以是触控介质在用户终端界面的滑动轨迹(如画圈、画线条等)、点击操作的轨迹点(如点击、双连击或三连击)等,本公开对操作轨迹的具体类型不做特殊限制。操作轨迹与候选截取区域的重合轨迹点是指操作轨迹落入候选截取区域内的轨迹点,或者操作轨迹与候选截取区域的边界重合点。可选地,操作轨迹可以仅与某一个候选截取区域存在重合轨迹点;可选地,操作轨迹也可以同时与多个候选截取区域存在重合轨迹点。基于此,本公开实施例将重合轨迹点的数量占操作轨迹点总量的比例,大于比例阈值所对应的目标候选截取区域,确定为目标截取区域。
示例性的,如图12示出了根据本公开的示例性实施例的根据截图操作和候选截取区域,在候选截取区域确定目标截取区域的示意图,操作轨迹与人物角色所在的候选截取区域的重合轨迹点数量为17,占操作轨迹点总量25的比例为68%,大于比例阈值60%,操作轨迹与大树所在的候选截取区域的重合轨迹点数量为6,占操作轨迹点总量25的比例为24%,小于比例阈值60%,则将人物角色对应的候选截取区域确定为目标截取区域。其中,图12所示的加粗点表征操作轨迹,以下所述各附图中的操作轨迹均指图中的加粗点,之后不再赘述。
通过本示例性实施例,基于操作轨迹与候选截取区域的重合轨迹点数量与比例阈值的比较结果,从目标候选截取区域中确定目标截取区域,能准确获得用户想要的截图区域,避免因用户误操(如操作轨迹与多个候选截取区域存在重合轨迹点)而导致选择错误的截图区域。
需要说明的是,在确定操作轨迹与候选截取区域的重合轨迹点的过程中,操作轨迹是指一次的选择操作所对应的操作轨迹,即初始触控点到触控介质离开用户终端界面之间所产生的操作轨迹,而若用户需要选择多个候选截取区域,则产生多个操作轨迹,并分别获取该多个操作轨迹与对应的候选截取区域的重合轨迹点,以将重合轨迹点的数量占对应的操作轨迹点总量的比例,与比例阈值进行比较,进而实现对多个候选截取区域的选择操作。继续参见图12所示,用户分别进行了两次选择操作,每个选择操作分别具有对应的操作轨迹,针对每个操作轨迹均进行了如上所述的判断过程,在此不再一一陈述。
在本公开一示例性实施例中,为了提高确定目标截取区域的效率,还提供另一种响应于第一操作,确定目标截取区域的实现方式:若操作轨迹与至少两个目标候选截取区域存在重合轨迹点,则将该至少两个目标候选截取区域确定为目标截取区域。
其中,操作轨迹可以同时横跨多个候选截取区域,因此可以将横跨的多个候选截取区域均确定为目标截取区域。如图13所示,基于本示例性实施例,也可以将人物角色和大树所在的候选截取区域,均确定为目标截取区域,以提高目标截取区域的选择效率。
需要说明的是,可能存在一种情况,虽然操作轨迹同时与多个区域存在重合轨迹点,但是其中存在的区域并非是候选截取区域,则不将此类非候选截取区域的区域作为目标截取区域。继续参见图13,虽然操作轨迹与白背景存在重合轨迹点,但白背景区域并非是候选截取区域,则不将白背景作为目标截取区域。
在一示例性实施例中,还提供了一种补全目标截取区域的实现方式:若存在与操作轨迹没有重合轨迹点的其它候选截取区域,位于目标候选截取区域内,则将该其它候选截取区域也确定为目标截取区域,其中其它候选截取区域与操作轨迹没有重合轨迹点。
示例性,如图14所示,操作轨迹与目标候选截取区域“公路”上的“小球”没有重合轨迹点,但“小球”位于目标候选截取区域“公路”内,则将“小球”也作为目标截取区域。基于此,可以将目标截取区域进行补全,得到完整的目标截取区域。
在前述示例性实施例的基础上,为了进一步提高目标截取区域的完整性,本公开实施例还提供了另一种补全目标截取区域的实现方式:若存在与目标候选截取区域具有区域重叠关系的其它候选截取区域,将其它候选截取区域同时确定为目标截取区域,其中其它候选截取区域与操作轨迹没有重合轨迹点。
示例性,如图15所示,操作轨迹与目标候选截取区域“公路”上的“小球”没有重合轨迹点,且“小球”与“公路”所对应的区域具有区域重叠关系,则不仅将位于“公路”所对应的区域内的小球部分(区域重叠部分)确定为目标截取区域,将位于“公路”所对应的区域以外(球的上半部分)的小球部分也确定为目标截取区域,即,将该“小球”也确定为目标截取区域,从而提高目标截取区域的完整性,避免最终得到的截图内容缺失对象或对象不完整。
在本公开一示例性实施例中,为了根据用户的截图操作,提供更契合其需求的截图方式,还提供另一种确定目标截取区域的实现方式:响应于第二操作,根据操作轨迹对应的轨迹形状,在当前画面中确定至少一个目标截取区域。其中,第二操作可以为操作时长大于或等于时长阈值的截图操作,也可以是对应的按压力度大于或等于压力阈值的截图操作等等,本公开实施例可以根据实际截图场景,确定第二操作。
示例性的,在第二操作为对应的操作时长大于或等于时长阈值的截图操作的场景下,响应于截图操作,根据截图操作和候选截取区域,在当前画面中确定至少一个目标截取区域可以包括步骤S1130,且步骤S1130与步骤S1120不分先后。
步骤1130,若操作时长大于或等于时长阈值,根据操作轨迹对应的轨迹形状,在当前画面中确定至少一个目标截取区域。
在本公开的示例性实施例中,用户在终端界面中自行框选或选择截图内容时,通常需要耗费一定操作时间,因此在操作时长大于或等于时长阈值时,表明用户不需将提供的候选截取区域确定为目标截取区域,从而可以根据操作轨迹对应的轨迹形状,在当前画面中确定至少一个目标截取区域。也即,根据用户绘制的图形范围来确定目标截取区域。其中,若确定用户进入自行绘制目标截取区域时,还可以将提供的候选截取区域进行隐藏,以避免候选截取区域对用户视觉产生干扰影响。
在一种可能的实施方式中,可以获取操作轨迹的轨迹形状与预设的轨迹形状的相似度,若存在目标相似度大于或等于相似度阈值的,则根据目标相似度对应的目标轨迹形状,确定目标截取区域。其中,可以预先预设多种轨迹形状,如椭圆形、方形、心形、菱形以及五角星形等。
其中,根据目标轨迹形状,在当前画面中生成目标截取区域,使目标截取区域包含操作轨迹。如图16所示,操作轨迹的轨迹形状与椭圆形的相似度大于相似度阈值,则根据椭圆形轨迹,在当前画面中生成椭圆形的目标截取区域,且该椭圆形的目标截取区域包含了用户的操作轨迹。基于此,可以根据用户的操作轨迹,预判用户需要绘制某种规则图形的目标截取区域,从而生成包含操作轨迹的规则图形的目标截取区域,不仅用户的截图意图融入至最终的目标截取区域,也使目标截取区域具有更准确的规则图形截图,用户使用体验感好,促进产品使用率。其中,该目标轨迹形状的范围可以是将操作轨迹的轨迹形状包含在内的区域范围最小的,也可以根据实际截图需求相应调整区域范围大小。
在另一示例性实施例中,若操作轨迹的轨迹形状与预设的形状轨迹的相似度小于或等于相似度阈值,则按照操作轨迹的轨迹形状确定目标截取区域。
此外,本公开一示例性实施例还可以既从候选截取区域选择至少一个目标截取区域,同时也按照用户的操作轨迹的轨迹形状确定目标截取区域,并将得到的所有目标截取区域进行融合,作为最终的目标截取区域,具体每种目标截取区域的确定方式已在上述实施例中记载,在此不再赘述。
在本公开的示例性实施例中,可以采用图像识别技术,扫描当前画面,以获得当前画中的图像内容,并结合自动识别边缘、色差识别、人物和物品识别、自动抠像的技术等,提取图像内容的轮廓,以根据轮廓确定截取区域边界线,进而得到候选截取区域。其中,用于对当前画面进行智能分析的各类开源算法均适用于本公开实施例,本公开对此不做详述。
在一些可能的实施方式中,在根据轮廓确定截取区域边界线时,可以对得到的轮廓进行过滤,例如将概率值大于70%所对应的轮廓,确定为截取区域边界线,而将概率值小于或等于70%所对应的轮廓过滤,不作为截取区域边界线,从而通过对轮廓进行过滤,提高候选截取区域的准确性。其中概率值是通过图像识别技术得到的,用于表征识别结果是否为轮廓的可能性大小。
在本公开一示例性实施例中,当前画面中的图像类型可能是文字类别,在对当前画面进行图像识别的过程中,还可以将不同的文字格式作为不同的识别结果。也即,若轮廓对应的图像内容的类别为文字,可以将轮廓分离为对应于不同文字格式的子轮廓。例如,将宋体文字,楷体文字和黑体文字分别确定不同的子轮廓,并将分离后的各个子轮廓分别作为独立的候选截取区域。当然,还可以根据文字颜色、字号等将轮廓分离为不同的子轮廓,并分别作为独立的候选截取区域,本公开实施例不再赘述。
通过本示例性实施例,在将文字按照文字格式分为不同的候选截取区域后,用户可根据实际截取需求,选择目标文字格式所对应的候选截取区域,例如可以选择所有的蓝色文字,并作为候选截取区域,能满足用户不同的截图需求。
在一示例性实施例中,若确定目标截取区域为文字类别时,还可以对该目标截取区域进行OCR识别(Optical Character Recognition,光学字符识别),并提供对识别结果的编辑功能,以供用户进行剪切、复制以及保存等编辑操作,以满足用户通过截图方式来选择文字的操作意图。
综上所述,本公开的示例性实施例中,在用户执行截图操作之前,首先提供可以执行截图操作的候选截取区域,以供用户选择参考,以便快速确定截图范围并执行截图操作,不仅丰富了当前画面的截图方式,而不是刻板地将整张画面截取,也降低了截图操作的繁琐程度,截图操作效率高;本公开实施例还结合候选截取区域和用户的截图操作来确定目标截取区域,将用户的截图操作意图也融入至目标截取区域的确定过程,更容易得到符合用户期望的截图结果。
需要注意的是,上述附图仅是根据本公开示例性实施例的方法所包括的处理的示意性说明,而不是限制目的。易于理解,上述附图所示的处理并不表明或限制这些处理的时间顺序。另外,也易于理解,这些处理可以是例如在多个模块中同步或异步执行的。
进一步的,参考图17所示,本公开的示例性实施方式中提供一种截图处理装置1700,包括图像识别模块1710、区域确定模块1720和图像处理模块1730。其中:
图像识别模块1710可以用于对当前画面进行轮廓识别,以根据获得的轮廓识别结果确定候选截取区域。
区域确定模块1720可以用于响应于截图操作,根据截图操作和候选截取区域,在当前画面中确定至少一个目标截取区域。
图像处理模块1730可以用于基于至少一个目标截取区域在当前画面中进行截图操作。
在一示例性实施例中,区域确定模块1720可以包括:
第一确定单元,用于响应于第一操作,根据所述第一操作和所述候选截取区域,在所述候选截取区域中确定所述至少一个目标截取区域。
在一示例性实施例中,所述第一操作为操作时长小于时长阈值的截图操作。
在一示例性实施例中,第一确定单元还可以包括:
获取子单元,用于获取操作轨迹与候选截取区域的重合轨迹点;第一确定子单元,用于若存在目标候选截取区域所对应的重合轨迹点的数量,占操作轨迹点总量的比例大于比例阈值,将目标候选截取区域确定为所述目标截取区域。
在一示例性实施例中,第一确定单元还可以包括:
第二确定子单元,用于在操作轨迹与至少两个目标候选截取区域存在重合轨迹点时,则将至少两个目标候选截取区域确定为目标截取区域。
在一示例性实施例中,截图处理装置1700还可以包括:
第一区域补全模块,用于将位于目标候选截取区域内的其它候选截取区域,也确定为目标截取区域。其中,其它候选截取区域与操作轨迹没有重合轨迹点。
在一示例性实施例中,截图处理装置1700还可以包括:
第二区域补全模块,用于若存在与所述目标候选截取区域具有区域重叠关系的其它候选截取区域,将所述其它候选截取区域同时确定为所述目标截取区域;其中,所述其它候选截取区域与所述操作轨迹没有重合轨迹点。
在一示例性实施例中,截图处理装置1700还可以包括:
划分模式模块,用于根据候选截取区域的图像类别,将候选截取区域分为至少两种截取模式,区域筛选模块,用于响应用户从至少两种截取模式中选取目标截取模式的操作,在当前画面中提供目标截取模式对应的候选截取区域。
在一示例性实施例中,区域确定模块1720可以包括:
第二确定单元,用于响应于第二操作,根据操作轨迹对应的轨迹形状,在所述当前画面中确定至少一个目标截取区域
在一示例性实施例中,所述第二操作为操作时长大于或等于时长阈值的截图操作。
在一示例性实施例中,第二确定单元还可以包括:
相似度获取子单元,用于获取操作轨迹与预设的形状轨迹的相似度;第二确定子单元,用于若存在目标相似度大于或等于相似度阈值的,则根据目标相似度对应的目标形状轨迹,在当前画面中生成目标截取区域;其中,目标截取区域包含该操作轨迹。
在一示例性实施例中,图像处理模块1730可以包括:
第一截图处理单元,用于根据至少一个目标截取区域,对当前画面进行截图操作,并根据得到的至少一个截图生成目标图像;第二截图处理单元,用于将得到的至少一个截图删除,根据删除至少一个截图后的当前画面,生成目标图像。
在一示例性实施例中,图像处理模块1730可以包括:
轮廓拆分子单元,用于若轮廓对应的图像内容的类别为文字,将轮廓分离为对应于不同文字格式的子轮廓;轮廓确定子单元,用于将分离后的各个子轮廓分别作为独立的候选截取区域。
上述装置中各模块的具体细节在方法部分实施方式中已经详细说明,未披露的细节内容可以参见方法部分的实施方式内容,因而不再赘述。
所属技术领域的技术人员能够理解,本公开的各个方面可以实现为系统、方法或程序产品。因此,本公开的各个方面可以具体实现为以下形式,即:完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等),或硬件和软件方面结合的实施方式,这里可以统称为“电路”、“模块”或“系统”。
本公开的示例性实施方式中还提供一种用于实现截图处理方法的电子设备,其可以是图1中的终端设备101、102、103或服务器105。该电子设备至少包括处理器和存储器,存储器用于存储处理器的可执行指令,处理器配置为经由执行可执行指令来执行截图处理方法。
下面以图18中的移动终端1800为例,对本公开实施例中的电子设备的构造进行示例性说明。本领域技术人员应当理解,除了特别用于移动目的的部件之外,图18中的构造也能够应用于固定类型的设备。在另一些实施方式中,移动终端1800可以包括比图示更多或更少的部件,或者组合某些部件,或者拆分某些部件,或者不同的部件布置。图示的部件可以以硬件、软件或软件和硬件的组合实现。各部件间的接口连接关系只是示意性示出,并不构成对移动终端1800的结构限定。在另一些实施方式中,移动终端1800也可以采用与图18不同的接口连接方式,或多种接口连接方式的组合。
如图18所示,移动终端1800具体可以包括:处理器1810、内部存储器1821、外部存储器接口1822、通用串行总线(Universal Serial Bus,USB)接口1830、充电管理模块1840、电源管理模块1841、电池1842、天线1、天线2、移动通信模块1850、无线通信模块1860、音频模块1870、扬声器1871、受话器1872、麦克风1873、耳机接口1874、传感器模块1880、显示屏1890、摄像模组1891、指示器1892、马达1893、按键1894以及用户标识模块(subscriberidentification module,SIM)卡接口1895等。其中传感器模块1880可以包括深度传感器18801、触摸传感器18802、陀螺仪传感器18803等。
处理器1810可以包括一个或多个处理单元,例如:处理器1810可以包括应用处理器(Application Processor,AP)、调制解调处理器、图形处理器(Graphics ProcessingUnit,GPU)、图像信号处理器(Image Signal Processor,ISP)、控制器、视频编解码器、数字信号处理器(Digital Signal Processor,DSP)、基带处理器和/或神经网络处理器(Neural-Network Processing Unit,NPU)等。其中,不同的处理单元可以是独立的器件,也可以集成在一个或多个处理器中。
NPU为神经网络(Neural-Network,NN)计算处理器,通过借鉴生物神经网络结构,例如借鉴人脑神经元之间传递模式,对输入信息快速处理,还可以不断的自学习。通过NPU可以实现移动终端1800的智能认知等应用,例如:图像识别,人脸识别,语音识别,文本理解等。
处理器1810中设置有存储器。存储器可以存储用于实现六个模块化功能的指令:检测指令、连接指令、信息管理指令、分析指令、数据传输指令和通知指令,并由处理器1810来控制执行。
充电管理模块1840用于从充电器接收充电输入。电源管理模块1841用于连接电池1842、充电管理模块1840与处理器1810。电源管理模块1841接收电池1842和/或充电管理模块1840的输入,为处理器1810、内部存储器1821、显示屏1890、摄像模组1891和无线通信模块1860等供电。
移动终端1800的无线通信功能可以通过天线1、天线2、移动通信模块1850、无线通信模块1860、调制解调处理器以及基带处理器等实现。其中,天线1和天线2用于发射和接收电磁波信号;移动通信模块1850可以提供应用在移动终端1800上的包括2G/3G/4G/5G等无线通信的解决方案;调制解调处理器可以包括调制器和解调器;无线通信模块1860可以提供应用在移动终端1800上的包括无线局域网(Wireless Local Area Networks,WLAN)(如无线保真(Wireless Fidelity,Wi-Fi)网络)、蓝牙(Bluetooth,BT)等无线通信的解决方案。在一些实施例中,移动终端1800的天线1和移动通信模块1850耦合,天线2和无线通信模块1860耦合,使得移动终端1800可以通过无线通信技术与网络以及其他设备通信。
移动终端1800通过GPU、显示屏1890及应用处理器等实现显示功能。GPU为图像处理的微处理器,连接显示屏1890和应用处理器。GPU用于执行数学和几何计算,用于图形渲染。处理器1810可包括一个或多个GPU,其执行程序指令以生成或改变显示信息。
移动终端1800可以通过ISP、摄像模组1891、视频编解码器、GPU、显示屏1890及应用处理器等实现拍摄功能。其中,ISP用于处理摄像模组1891反馈的数据;摄像模组1891用于捕获静态图像或视频;数字信号处理器用于处理数字信号,除了可以处理数字图像信号,还可以处理其他数字信号;视频编解码器用于对数字视频压缩或解压缩,移动终端1800还可以支持一种或多种视频编解码器。
外部存储器接口1822可以用于连接外部存储卡,例如Micro SD卡,实现扩展移动终端1800的存储能力。外部存储卡通过外部存储器接口1822与处理器1810通信,实现数据存储功能。例如将音乐,视频等文件保存在外部存储卡中。
内部存储器1821可以用于存储计算机可执行程序代码,可执行程序代码包括指令。内部存储器1821可以包括存储程序区和存储数据区。其中,存储程序区可存储操作系统,至少一个功能所需的应用程序(比如声音播放功能,图像播放功能等)等。存储数据区可存储移动终端1800使用过程中所创建的数据(比如音频数据,电话本等)等。此外,内部存储器1821可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件,闪存器件,通用闪存存储器(Universal Flash Storage,UFS)等。处理器1810通过运行存储在内部存储器1821的指令和/或存储在设置于处理器中的存储器的指令,执行移动终端1800的各种功能应用以及数据处理。
移动终端1800可以通过音频模块1870、扬声器1871、受话器1872、麦克风1873、耳机接口1874及应用处理器等实现音频功能。例如音乐播放、录音等。
深度传感器18801用于获取景物的深度信息。在一些实施例中,深度传感器可以设置于摄像模组1891。
触摸传感器18802用于感受触控信号,可以将触控信号转换成电信号。在一些实施例中,触摸传感器18802可以设置于显示屏1890。触摸传感器18802的种类很多,如电阻式触摸传感器,电感式触摸传感器,电容式触摸传感器等。
陀螺仪传感器18803可以用于确定移动终端1800的运动姿态。在一些实施方式中,可以通过陀螺仪传感器18803确定移动终端1800围绕三个轴(即,x,y和z轴)的角速度。陀螺仪传感器18803可以用于拍摄防抖、导航、体感游戏场景等。
此外,还可以根据实际需要在传感器模块1880中设置其他功能的传感器,例如气压传感器、磁传感器、加速度传感器、距离传感器、接近光传感器、指纹传感器、温度传感器、环境光传感器、骨传导传感器等。
移动终端1800中还可包括其它提供辅助功能的设备。例如,按键1894包括开机键,音量键等,用户可以通过按键输入,产生与移动终端1800的用户设置以及功能控制有关的键信号输入。再如,指示器1892、马达1893、SIM卡接口1895等。
此外,本公开的示例性实施方式还提供了一种计算机可读存储介质,其上存储有能够实现本说明书上述方法的程序产品。在一些可能的实施方式中,本公开的各个方面还可以实现为一种程序产品的形式,其包括程序代码,当程序产品在终端设备上运行时,程序代码用于使终端设备执行本说明书上述“示例性方法”部分中描述的根据本公开各种示例性实施方式的步骤。
需要说明的是,本公开所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
在本公开中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开中,计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质,该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输,包括但不限于:无线、电线、光缆、RF等等,或者上述的任意合适的组合。
此外,可以以一种或多种程序设计语言的任意组合来编写用于执行本公开操作的程序代码,程序设计语言包括面向对象的程序设计语言—诸如Java、C++等,还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中,远程计算设备可以通过任意种类的网络,包括局域网(LAN)或广域网(WAN),连接到用户计算设备,或者,可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。
本领域技术人员在考虑说明书及实践这里公开的发明后,将容易想到本公开的其他实施例。本申请旨在涵盖本公开的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本公开的真正范围和精神由权利要求指出。
应当理解的是,本公开并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限。

Claims (14)

1.一种截图处理方法,其特征在于,包括:
响应进入截图模式,对当前画面进行轮廓识别,以根据获得的轮廓识别结果确定候选截取区域,根据轮廓识别结果确定所述候选截取区域的图像内容,并根据图像内容的类别确定候选截取区域的图像类别;所述当前画面为终端界面的显示内容;
将所述候选截取区域分为对应于不同图像类别的至少两种截取模式;
响应于用户从所述至少两种截取模式中选取目标截取模式的操作,在所述当前画面中提供所述目标截取模式对应的候选截取区域;将对应不同的所述图像类别的候选截取区域的轮廓或面积进行区别性显示;
响应于截图操作,根据所述截图操作和所述候选截取区域,在所述当前画面中确定至少一个目标截取区域;
基于所述至少一个目标截取区域在所述当前画面中进行截图操作;
其中,所述基于所述至少一个目标截取区域在所述当前画面中进行截图操作,包括:
基于所述至少一个目标截取区域,在所述当前画面中进行截图操作,并根据得到的至少一个截图生成目标图像;或者
将得到的所述至少一个截图删除,根据删除所述至少一个截图后的所述当前画面,生成所述目标图像。
2.根据权利要求1所述的方法,其特征在于,所述响应于截图操作,根据所述截图操作和所述候选截取区域,在所述当前画面中确定至少一个目标截取区域,包括:
响应于第一操作,根据所述第一操作和所述候选截取区域,在所述候选截取区域中确定所述至少一个目标截取区域。
3.根据权利要求2所述的方法,其特征在于,所述第一操作为操作时长小于时长阈值的截图操作。
4.根据权利要求2所述的方法,其特征在于,所述响应于第一操作,根据所述第一操作和所述候选截取区域,在所述候选截取区域中确定至少一个目标截取区域,包括:
获取操作轨迹与所述候选截取区域的重合轨迹点;
若存在目标候选截取区域所对应的重合轨迹点的数量,占操作轨迹点总量的比例大于比例阈值,将所述目标候选截取区域确定为所述目标截取区域。
5.根据权利要求2所述的方法,其特征在于,所述响应于第一操作,根据所述第一操作和所述候选截取区域,在所述候选截取区域中确定至少一个目标截取区域,包括:
若操作轨迹与至少两个目标候选截取区域存在重合轨迹点,则将所述至少两个目标候选截取区域确定为所述目标截取区域。
6.根据权利要求4或5所述的方法,其特征在于,所述方法还包括:
将位于所述目标候选截取区域内的其它候选截取区域,同时确定为所述目标截取区域;
其中,所述其它候选截取区域与所述操作轨迹没有重合轨迹点。
7.根据权利要求4或5所述的方法,其特征在于,所述方法还包括:
若存在与所述目标候选截取区域具有区域重叠关系的其它候选截取区域,将所述其它候选截取区域同时确定为所述目标截取区域;
其中,所述其它候选截取区域与所述操作轨迹没有重合轨迹点。
8.根据权利要求1所述的方法,其特征在于,所述响应于截图操作,根据所述截图操作和所述候选截取区域,在所述当前画面中确定至少一个目标截取区域,包括:
响应于第二操作,根据操作轨迹对应的轨迹形状,在所述当前画面中确定至少一个目标截取区域。
9.根据权利要求8所述的方法,其特征在于,所述第二操作为操作时长大于或等于时长阈值的截图操作。
10.根据权利要求8或9所述的方法,其特征在于,所述响应于第二操作,根据操作轨迹对应的轨迹形状,在所述当前画面中确定至少一个目标截取区域,包括:
获取操作轨迹的轨迹形状与预设的轨迹形状的相似度;
若存在目标相似度大于或等于相似度阈值的,则根据所述目标相似度对应的目标轨迹形状,在所述当前画面中生成所述目标截取区域;
其中,所述目标截取区域包含所述操作轨迹。
11.根据权利要求1所述的方法,其特征在于,所述对当前画面进行轮廓识别,以根据获得的轮廓识别结果确定候选截取区域,包括:
若轮廓识别结果的轮廓所对应的图像内容类别为文字,将所述轮廓分离为对应于不同文字格式的子轮廓;
将分离后的各个子轮廓分别作为独立的候选截取区域。
12.一种截图处理装置,其特征在于,包括:
图像识别模块,用于响应进入截图模式,对当前画面进行轮廓识别,以根据获得的轮廓识别结果确定候选截取区域,根据轮廓识别结果确定所述候选截取区域的图像内容,并根据图像内容的类别确定候选截取区域的图像类别;所述当前画面为终端界面的显示内容;将所述候选截取区域分为对应于不同图像类别的至少两种截取模式;响应于用户从所述至少两种截取模式中选取目标截取模式的操作,在所述当前画面中提供所述目标截取模式对应的候选截取区域;以及将对应不同的所述图像类别的候选截取区域的轮廓或面积进行区别性显示;
区域确定模块,用于响应于截图操作,根据所述截图操作和所述候选截取区域,在所述当前画面中确定至少一个目标截取区域;
图像处理模块,用于基于所述至少一个目标截取区域在所述当前画面中进行截图操作;
所述图像处理模块被配置为执行:
基于所述至少一个目标截取区域,在所述当前画面中进行截图操作,并根据得到的至少一个截图生成目标图像;或者
将得到的所述至少一个截图删除,根据删除所述至少一个截图后的所述当前画面,生成所述目标图像。
13.一种电子设备,其特征在于,包括:
处理器;以及
存储器,用于存储所述处理器的可执行指令;
其中,所述处理器配置为经由执行所述可执行指令来执行权利要求1至11中任一项所述的方法。
14.一种计算机可读介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至11中任一项所述的方法。
CN202210397260.1A 2022-04-15 2022-04-15 截图处理方法及装置、电子设备和计算机可读介质 Active CN114708443B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202210397260.1A CN114708443B (zh) 2022-04-15 2022-04-15 截图处理方法及装置、电子设备和计算机可读介质
PCT/CN2022/138591 WO2023197648A1 (zh) 2022-04-15 2022-12-13 截图处理方法及装置、电子设备和计算机可读介质
US18/913,558 US20250039537A1 (en) 2022-04-15 2024-10-11 Screenshot processing method, electronic device, and computer readable medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210397260.1A CN114708443B (zh) 2022-04-15 2022-04-15 截图处理方法及装置、电子设备和计算机可读介质

Publications (2)

Publication Number Publication Date
CN114708443A CN114708443A (zh) 2022-07-05
CN114708443B true CN114708443B (zh) 2024-11-12

Family

ID=82174962

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210397260.1A Active CN114708443B (zh) 2022-04-15 2022-04-15 截图处理方法及装置、电子设备和计算机可读介质

Country Status (3)

Country Link
US (1) US20250039537A1 (zh)
CN (1) CN114708443B (zh)
WO (1) WO2023197648A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114708443B (zh) * 2022-04-15 2024-11-12 Oppo广东移动通信有限公司 截图处理方法及装置、电子设备和计算机可读介质
CN118034559A (zh) * 2022-11-03 2024-05-14 华为技术有限公司 截屏处理方法及电子设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013021878A1 (ja) * 2011-08-11 2013-02-14 シャープ株式会社 情報処理装置、操作画面表示方法、制御プログラムおよび記録媒体
CN114253451A (zh) * 2021-12-21 2022-03-29 咪咕音乐有限公司 截图方法、装置、电子设备及存储介质
CN114285961A (zh) * 2021-10-22 2022-04-05 腾讯科技(深圳)有限公司 图像处理方法、装置、计算机设备及存储介质

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105824537B (zh) * 2016-03-30 2019-03-01 努比亚技术有限公司 截图方法和装置
CN107766108A (zh) * 2017-09-11 2018-03-06 深圳市金立通信设备有限公司 一种截取图像的方法、终端及计算机可读介质
CN107678644B (zh) * 2017-09-18 2020-06-02 维沃移动通信有限公司 一种图像处理方法及移动终端
US11039196B2 (en) * 2018-09-27 2021-06-15 Hisense Visual Technology Co., Ltd. Method and device for displaying a screen shot
CN109508216B (zh) * 2018-10-10 2020-05-19 珠海格力电器股份有限公司 截屏处理方法、装置、存储介质及用户终端
CN114708443B (zh) * 2022-04-15 2024-11-12 Oppo广东移动通信有限公司 截图处理方法及装置、电子设备和计算机可读介质

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013021878A1 (ja) * 2011-08-11 2013-02-14 シャープ株式会社 情報処理装置、操作画面表示方法、制御プログラムおよび記録媒体
CN114285961A (zh) * 2021-10-22 2022-04-05 腾讯科技(深圳)有限公司 图像处理方法、装置、计算机设备及存储介质
CN114253451A (zh) * 2021-12-21 2022-03-29 咪咕音乐有限公司 截图方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
CN114708443A (zh) 2022-07-05
WO2023197648A1 (zh) 2023-10-19
US20250039537A1 (en) 2025-01-30

Similar Documents

Publication Publication Date Title
US10664060B2 (en) Multimodal input-based interaction method and device
CN109688463B (zh) 一种剪辑视频生成方法、装置、终端设备及存储介质
US10599914B2 (en) Method and apparatus for human face image processing
CN112381104B (zh) 一种图像识别方法、装置、计算机设备及存储介质
CN111696176B (zh) 图像处理方法、装置、电子设备及计算机可读介质
WO2022089170A1 (zh) 字幕区域识别方法、装置、设备及存储介质
KR102124466B1 (ko) 웹툰 제작을 위한 콘티를 생성하는 장치 및 방법
WO2021213067A1 (zh) 物品显示方法、装置、设备及存储介质
US11681409B2 (en) Systems and methods for augmented or mixed reality writing
US20250039537A1 (en) Screenshot processing method, electronic device, and computer readable medium
CN111241340A (zh) 视频标签确定方法、装置、终端及存储介质
CN109271533A (zh) 一种多媒体文件检索方法
CN107885430A (zh) 一种音频播放方法、装置、存储介质及电子设备
CN111491123A (zh) 视频背景处理方法、装置及电子设备
CN108021905A (zh) 图片处理方法、装置、终端设备及存储介质
CN107886110A (zh) 人脸检测方法、装置及电子设备
CN109286848B (zh) 一种终端视频信息的交互方法、装置及存储介质
CN113655933B (zh) 文本标注方法及装置、存储介质及电子设备
CN108628454B (zh) 基于虚拟人的视觉交互方法及系统
CN115114229A (zh) 文档格式转换方法、装置、存储介质、设备及程序产品
CN111107264A (zh) 图像处理方法、装置、存储介质以及终端
CN111507143A (zh) 表情图像效果生成方法、装置和电子设备
CN112149599A (zh) 表情追踪方法、装置、存储介质和电子设备
CN111161710A (zh) 同声传译方法、装置、电子设备及存储介质
US12131433B2 (en) Method and apparatus for adjusting virtual face model, electronic device and storage medium

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant