[go: up one dir, main page]

CN113115037B - 一种在线教育方法、系统、设备及存储介质 - Google Patents

一种在线教育方法、系统、设备及存储介质 Download PDF

Info

Publication number
CN113115037B
CN113115037B CN202110660037.7A CN202110660037A CN113115037B CN 113115037 B CN113115037 B CN 113115037B CN 202110660037 A CN202110660037 A CN 202110660037A CN 113115037 B CN113115037 B CN 113115037B
Authority
CN
China
Prior art keywords
frame
image
video
value
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110660037.7A
Other languages
English (en)
Other versions
CN113115037A (zh
Inventor
高德平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Zhongpeng Education Technology Co ltd
Original Assignee
Shenzhen Zhongpeng Education Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Zhongpeng Education Technology Co ltd filed Critical Shenzhen Zhongpeng Education Technology Co ltd
Priority to CN202110660037.7A priority Critical patent/CN113115037B/zh
Publication of CN113115037A publication Critical patent/CN113115037A/zh
Application granted granted Critical
Publication of CN113115037B publication Critical patent/CN113115037B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本申请提供了一种在线教育方法、系统、设备及存储介质，包括步骤：摄像头实时采集教师讲课视频流数据；从第二帧开始，实时计算第n帧与前一帧视频图像的差异度矩阵Hn；遍历矩阵Hn；选取第n帧图像的区域位置信息集合S1对应的RGB视频图像信息作为数据子集集合S2；将第n帧视频图像变化度大于阈值W的RGB视频图像信息作为数据子集集合S3；对数据子集集合S3进行MPS编码，并将得到的结构化数据传输至用户端。本发明实现了只针对视频图像发生显著变化的区域进行数据传输，而不发生显著变化区域保留原始图像，大大降低了传输数据量，且显著的提升了数据传输效率，差异度矩阵对视频帧图像区域的计算方式，大大加快了图像数据选择速度。

Description

一种在线教育方法、系统、设备及存储介质
技术领域
申请涉及计算机视觉技术领域，具体地涉及一种在线教育方法、系统、设备及存储介质。
背景技术
目前，随着在线教育短视频或实时视频的规模的不断增大，对数据传输带宽提出了较高要求，实时视频或短视频可以让用户实时随时随地的进行相关课程的培训，因此，课程的视频播放流畅程度与网络传输速度和传输数据量密切相关，尤其疫情期间，在线教育在远程教育方面有了较大的普及，对远程学习起到了重要作用。
但传统的在线教育视频数据传输效率低下、视频数据传输量大，且成本较高，不能满足学员人数较多的需求；而远程视频信息的快捷、方便、高效传输目前显得十分必要。且传统的视频传输都是将所有的数据进行传输，不能够有效利用传输数据的结构特征；因此，一种能够实时、快速、降低无效数据量传输成为了迫切需求，从而改善用户的体验。
发明内容
鉴于所述问题，提出了本申请以便提供克服所述问题或者至少部分地解决所述问题的一种在线教育方法、系统、设备及存储介质，本发明根据课程视频结构特征，通过只针对显著变化区域的图像数据进行传输，而不发生显著变化区域保留原始图像，大大降低了传输数据量，且显著的提升了数据传输效率；差异度矩阵对视频帧图像区域的计算方式，大大加快了图像数据选择速度；且本申请的图像变化度计算方式能够显著提升显著区域的选择速率以及大大降低了图像失真；一种在线教育方法，包括步骤：摄像头实时采集教师讲课视频流数据；从第二帧开始，实时计算第n帧与前一帧视频图像的差异度矩阵Hn，
Figure 710173DEST_PATH_IMAGE001
其中，
Figure 91476DEST_PATH_IMAGE002
表示第n帧与第n-1帧视频RGB 图像的R通道的R值矩阵之差，
Figure 727994DEST_PATH_IMAGE003
表示第n帧与第n-1帧视频RGB 图像的G通道的G值矩阵之差,
Figure 5391DEST_PATH_IMAGE004
表示第n帧与第n-1帧视频RGB 图像的B通道的B值矩阵之差,
Figure 97500DEST_PATH_IMAGE005
、
Figure 751335DEST_PATH_IMAGE006
、
Figure 976780DEST_PATH_IMAGE007
分别为 R通道、G通道、B通道的矩阵比例系数；
遍历矩阵Hn，记录矩阵内元素不等于0的区域位置信息集合S1；
选取第n帧图像的区域位置信息集合S1对应的RGB视频图像信息作为数据子集集合S2，计算数据子集集合S2中每个连通区域集合的图像变化度，第k个数据子集连通区域的图像变化度Wk为：
Figure 425079DEST_PATH_IMAGE008
其中，
Figure 532712DEST_PATH_IMAGE009
表示第n帧与n-1帧视频的第k个数据子集连通区域的灰度均值之差，
Figure 459080DEST_PATH_IMAGE010
表示第n帧与n-1帧视频的第k个数据子集连通区域的图像陡度之差，
Figure 335769DEST_PATH_IMAGE011
表示第k个数据子集连通区域占整幅视频画面图像的比例，h为设定阈值，若
Figure 689390DEST_PATH_IMAGE012
，则
Figure 487582DEST_PATH_IMAGE013
；若
Figure 952061DEST_PATH_IMAGE014
，则
Figure 886519DEST_PATH_IMAGE015
；图像陡度为提取每个图像块中灰度值最低以及灰度值最高的像素点，分别为T1、T2；陡度为L=（T2-T1）/q；其中，q为图像块中灰度值最低与灰度值最高的像素点的间隔像素数；
Figure 207779DEST_PATH_IMAGE016
为n个数据子集连通区域的灰度均值；
Figure 507915DEST_PATH_IMAGE017
为n个数据子集连通区域的图像陡度均值；
将第n帧视频图像变化度大于阈值W的RGB视频图像信息作为数据子集集合S3；
对数据子集集合S3进行MPS编码，并将得到的结构化数据传输至用户端，MPS为用于表达线性优化模型的模型数据存储格式与传输格式。
优选地，对所述连通区域的灰度均值获取步骤包括对连通区域图像进行灰度化处理，根据最大类间方差法OSTU进行灰度阈值选取。
优选地，对所述连通区域的灰度均值获取步骤包括采用最大值方法对视频图像进行灰度化，将彩色图像中的三分量亮度的最大值作为灰度图的灰度值。
优选地，对所述连通区域的灰度均值获取之前还包括对视频图像进行预处理，对视频图像信息的滤波去噪。
还公开了一种在线教育系统，包括：
获取模块，用于摄像头实时采集教师讲课视频流数据；从第二帧开始，实时计算第n帧与前一帧视频图像的差异度矩阵Hn，
Figure 307244DEST_PATH_IMAGE018
其中，
Figure 627367DEST_PATH_IMAGE019
表示第n帧与第n-1帧视频RGB 图像的R通道的R值矩阵之差，
Figure 322791DEST_PATH_IMAGE020
表示第n帧与第n-1帧视频RGB 图像的G通道的G值矩阵之差,
Figure 95574DEST_PATH_IMAGE021
表示第n帧与第n-1帧视频RGB 图像的B通道的B值矩阵之差,
Figure 433015DEST_PATH_IMAGE005
、
Figure 607644DEST_PATH_IMAGE022
、
Figure 270707DEST_PATH_IMAGE007
分别为 R通道、G通道、B通道的矩阵比例系数；
遍历模块，用于遍历矩阵Hn，记录矩阵内元素不等于0的区域位置信息集合S1；
区域初选模块，用于选取第n帧图像的区域位置信息集合S1对应的RGB视频图像信息作为数据子集集合S2，计算数据子集集合S2中每个连通区域集合的图像变化度，第k个数据子集连通区域的图像变化度Wk为：
Figure 796366DEST_PATH_IMAGE023
其中，
Figure 671918DEST_PATH_IMAGE024
表示第n帧与n-1帧视频的第k个数据子集连通区域的灰度均值之差，
Figure 701054DEST_PATH_IMAGE025
表示第n帧与n-1帧视频的第k个数据子集连通区域的图像陡度之差，
Figure 472701DEST_PATH_IMAGE026
表示第k个数据子集连通区域占整幅视频画面图像的比例，h为设定阈值，若
Figure 488586DEST_PATH_IMAGE027
，则
Figure 167829DEST_PATH_IMAGE028
；若
Figure 317051DEST_PATH_IMAGE029
，则
Figure 790757DEST_PATH_IMAGE030
；图像陡度为提取每个图像块中灰度值最低以及灰度值最高的像素点，分别为T1、T2；陡度为L=（T2-T1）/q；其中，q为图像块中灰度值最低与灰度值最高的像素点的间隔像素数；
Figure 759850DEST_PATH_IMAGE016
为n个数据子集连通区域的灰度均值；
Figure 242784DEST_PATH_IMAGE017
为n个数据子集连通区域的图像陡度均值；
区域选定模块，用于将第n帧视频图像变化度大于阈值W的RGB视频图像信息作为数据子集集合S3；
编码传输模块，用于对数据子集集合S3进行MPS编码，得到MPS数据包，根据预设数据结构解析所述MPS数据包，得到符合优化处理的结构化数据，并将得到的结构化数据传输至用户端，MPS为用于表达线性优化模型的模型数据存储格式与传输格式。
优选地，还包括：灰度化模块，用于对连通区域的灰度均值获取步骤包括对连通区域图像进行灰度化处理，根据最大类间方差法OSTU进行灰度阈值选取。
优选地，所述灰度化模块，还用于对所述连通区域的灰度均值获取步骤包括采用最大值方法对视频图像进行灰度化，将彩色图像中的三分量亮度的最大值作为灰度图的灰度值。
优选地，还包括：预处理模块，用于对所述连通区域的灰度均值获取之前还包括对视频图像进行预处理，对视频图像信息的滤波去噪。
一种设备，包括处理器、存储器及存储在所述存储器上并能够在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如上所述的在线教育方法的步骤。
一种计算机可读存储介质，所述计算机可读存储介质上存储计算机程序，所述计算机程序被处理器执行时实现如上所述的在线教育方法的步骤。
本申请具有以下优点：
本申请一种在线教育方法和系统，通过从第二帧开始，实时计算第n帧与前一帧视频图像的差异度矩阵Hn；遍历矩阵Hn，记录矩阵内元素不等于0的区域位置信息集合S1；选取第n帧图像的区域位置信息集合S1对应的RGB视频图像信息作为数据子集集合S2；将第n帧视频图像变化度大于阈值W的RGB视频图像信息作为数据子集集合S3；对数据子集集合S3进行MPS编码，并将得到的结构化数据传输至用户端。本发明实现了只针对视频图像发生显著变化的区域进行数据传输，而不发生显著变化区域保留原始图像，大大降低了传输数据量，且显著的提升了数据传输效率。
尤其本申请的差异度矩阵对视频帧图像区域的计算方式，大大加快了图像数据选择速度；且本申请的图像变化度计算方式能够显著提升显著区域的选择速率以及大大降低了图像失真。
附图说明
为了更清楚地说明本申请的技术方案，下面将对本申请的描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请一实施例提供的一种在线教育方法流程图；
图2是本申请一实施例提供的一种计算机设备的结构示意图。
具体实施方式
本领域技术人员理解，如背景技术所言，传统的在线教育视频数据传输效率低下、视频数据传输量大，且成本较高，不能满足学员人数较多的需求；而远程视频信息的快捷、方便、高效传输目前显得十分必要。且传统的视频传输都是将所有的数据进行传输，不能够有效利用传输数据的结构特征；因此，一种能够实时、快速、降低无效数据量传输成为了迫切需求，从而改善用户的体验。为使本发明的上述目的、特征和有益效果能够更为明显易懂，下面结合附图对本发明的具体实施例做详细的说明。显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
实施例1：
本发明提供一种在线教育方法、系统、设备及存储介质，本发明根据课程视频结构特征，通过只针对显著变化区域的图像数据进行传输，而不发生显著变化区域保留原始图像，大大降低了传输数据量，且显著的提升了数据传输效率；
参照图1，示出了本申请一实施例提供的一种在线教育方法流程图，包括步骤：
S100、摄像头实时采集教师讲课视频流数据；
S200、从第二帧开始，实时计算第n帧与前一帧视频图像的差异度矩阵Hn，
Figure 980933DEST_PATH_IMAGE031
其中，
Figure 891120DEST_PATH_IMAGE032
表示第n帧与第n-1帧视频RGB 图像的R通道的R值矩阵之差，
Figure 613089DEST_PATH_IMAGE033
表示第n帧与第n-1帧视频RGB 图像的G通道的G值矩阵之差,
Figure 368555DEST_PATH_IMAGE034
表示第n帧与第n-1帧视频RGB 图像的B通道的B值矩阵之差,
Figure 961210DEST_PATH_IMAGE005
、
Figure 776720DEST_PATH_IMAGE022
、
Figure 454826DEST_PATH_IMAGE007
分别为 R通道、G通道、B通道的矩阵比例系数；
S300、遍历矩阵Hn，记录矩阵内元素不等于0的区域位置信息集合S1；
S400、选取第n帧图像的区域位置信息集合S1对应的RGB视频图像信息作为数据子集集合S2，计算数据子集集合S2中每个连通区域集合的图像变化度，第k个数据子集连通区域的图像变化度Wk为：
Figure 13983DEST_PATH_IMAGE035
其中，
Figure 729654DEST_PATH_IMAGE036
表示第n帧与n-1帧视频的第k个数据子集连通区域的灰度均值之差，
Figure 450485DEST_PATH_IMAGE037
表示第n帧与n-1帧视频的第k个数据子集连通区域的图像陡度之差，
Figure 881466DEST_PATH_IMAGE038
表示第k个数据子集连通区域占整幅视频画面图像的比例，h为设定阈值，若
Figure 978735DEST_PATH_IMAGE039
，则
Figure 545983DEST_PATH_IMAGE040
；若
Figure 703295DEST_PATH_IMAGE041
，则
Figure 355993DEST_PATH_IMAGE042
；图像陡度为提取每个图像块中灰度值最低以及灰度值最高的像素点，分别为T1、T2；陡度为L=（T2-T1）/q；其中，q为图像块中灰度值最低与灰度值最高的像素点的间隔像素数；
Figure 991374DEST_PATH_IMAGE043
为n个数据子集连通区域的灰度均值；
Figure 678707DEST_PATH_IMAGE044
为n个数据子集连通区域的图像陡度均值；
S500、将第n帧视频图像变化度大于阈值W的RGB视频图像信息作为数据子集集合S3；
S600、对数据子集集合S3进行MPS编码，并将得到的结构化数据传输至用户端，MPS为用于表达线性优化模型的模型数据存储格式与传输格式。
在本申请一实施例中，对所述连通区域的灰度均值获取步骤包括对连通区域图像进行灰度化处理，根据最大类间方差法OSTU进行灰度阈值选取。
在本申请一实施例中，对所述连通区域的灰度均值获取步骤包括采用最大值方法对视频图像进行灰度化，将彩色图像中的三分量亮度的最大值作为灰度图的灰度值。
在本申请一实施例中，对所述连通区域的灰度均值获取之前还包括对视频图像进行预处理，对视频图像信息的滤波去噪。
实施例2：
本发明还公开了一种在线教育系统，包括：
获取模块，用于摄像头实时采集教师讲课视频流数据；从第二帧开始，实时计算第n帧与前一帧视频图像的差异度矩阵Hn，
Figure 741341DEST_PATH_IMAGE045
其中，
Figure 881335DEST_PATH_IMAGE046
表示第n帧与第n-1帧视频RGB 图像的R通道的R值矩阵之差，
Figure 54828DEST_PATH_IMAGE047
表示第n帧与第n-1帧视频RGB 图像的G通道的G值矩阵之差,
Figure 596667DEST_PATH_IMAGE048
表示第n帧与第n-1帧视频RGB 图像的B通道的B值矩阵之差,
Figure 95782DEST_PATH_IMAGE005
、
Figure 457493DEST_PATH_IMAGE022
、
Figure 700256DEST_PATH_IMAGE007
分别为 R通道、G通道、B通道的矩阵比例系数；
遍历模块，用于遍历矩阵Hn，记录矩阵内元素不等于0的区域位置信息集合S1；
区域初选模块，用于选取第n帧图像的区域位置信息集合S1对应的RGB视频图像信息作为数据子集集合S2，计算数据子集集合S2中每个连通区域集合的图像变化度，第k个数据子集连通区域的图像变化度Wk为：
Figure 96602DEST_PATH_IMAGE049
其中，
Figure 766618DEST_PATH_IMAGE050
表示第n帧与n-1帧视频的第k个数据子集连通区域的灰度均值之差，
Figure 350046DEST_PATH_IMAGE051
表示第n帧与n-1帧视频的第k个数据子集连通区域的图像陡度之差，
Figure 399429DEST_PATH_IMAGE052
表示第k个数据子集连通区域占整幅视频画面图像的比例，h为设定阈值，若
Figure 915861DEST_PATH_IMAGE053
，则
Figure 491199DEST_PATH_IMAGE054
；若
Figure 827502DEST_PATH_IMAGE055
，则
Figure 146488DEST_PATH_IMAGE056
；图像陡度为提取每个图像块中灰度值最低以及灰度值最高的像素点，分别为T1、T2；陡度为L=（T2-T1）/q；其中，q为图像块中灰度值最低与灰度值最高的像素点的间隔像素数；
Figure 517426DEST_PATH_IMAGE057
为n个数据子集连通区域的灰度均值；
Figure 263666DEST_PATH_IMAGE058
为n个数据子集连通区域的图像陡度均值；
区域选定模块，用于将第n帧视频图像变化度大于阈值W的RGB视频图像信息作为数据子集集合S3；
编码传输模块，用于对数据子集集合S3进行MPS编码，得到MPS数据包，根据预设数据结构解析所述MPS数据包，得到符合优化处理的结构化数据，并将得到的结构化数据传输至用户端，MPS为用于表达线性优化模型的模型数据存储格式与传输格式。
在本申请一实施例中，还包括：灰度化模块，用于对连通区域的灰度均值获取步骤包括对连通区域图像进行灰度化处理，根据最大类间方差法OSTU进行灰度阈值选取。
在本申请一实施例中，所述灰度化模块，还用于对所述连通区域的灰度均值获取步骤包括采用最大值方法对视频图像进行灰度化，将彩色图像中的三分量亮度的最大值作为灰度图的灰度值。
在本申请一实施例中，还包括：预处理模块，用于对所述连通区域的灰度均值获取之前还包括对视频图像进行预处理，对视频图像信息的滤波去噪。
与现有技术相比，本发明的技术方案具有以下有益效果：
本申请一种在线教育方法、系统、设备及存储介质，通过从第二帧开始，实时计算第n帧与前一帧视频图像的差异度矩阵Hn；遍历矩阵Hn，记录矩阵内元素不等于0的区域位置信息集合S1；选取第n帧图像的区域位置信息集合S1对应的RGB视频图像信息作为数据子集集合S2；将第n帧视频图像变化度大于阈值W的RGB视频图像信息作为数据子集集合S3；对数据子集集合S3进行MPS编码，并将得到的结构化数据传输至用户端。本发明实现了只针对视频图像发生显著变化的区域进行数据传输，而不发生显著变化区域保留原始图像，大大降低了传输数据量，且显著的提升了数据传输效率。
尤其本申请的差异度矩阵对视频帧图像区域的计算方式，大大加快了图像数据选择速度；且本申请的图像变化度计算方式能够显著提升显著区域的选择速率以及大大降低了图像失真。
实施例3：
参照图2，示出了本申请的一种在线教育方法的计算机设备，具体可以包括如下：
上述计算机设备12以通用计算设备的形式表现，计算机设备12的组件可以包括但不限于：一个或者多个处理器或者处理单元16，内存28，连接不同系统组件（包括内存28和处理单元16）的总线18。
总线18表示几类总线18结构中的一种或多种，包括存储器总线18或者存储器控制器，外围总线18，图形加速端口，处理器或者使用多种总线18结构中的任意总线18结构的局域总线18。举例来说，这些体系结构包括但不限于工业标准体系结构（ISA）总线18，微通道体系结构（MAC）总线18，增强型ISA总线18、音视频电子标准协会（VESA）局域总线18以及外围组件互连（PCI）总线18。
计算机设备12典型地包括多种计算机系统可读介质。这些介质可以是任何能够被计算机设备12访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。
内存28可以包括易失性存储器形式的计算机系统可读介质，例如随机存取存储器30和/或高速缓存存储器32。计算机设备12可以进一步包括其他移动/不可移动的、易失性/非易失性计算机体统存储介质。仅作为举例，存储系统34可以用于读写不可移动的、非易失性磁介质（通常称为“硬盘驱动器”）。尽管图2中未示出，可以提供用于对可移动非易失性磁盘（如“软盘”）读写的磁盘驱动器，以及对可移动非易失性光盘（例如CD-ROM，DVD-ROM或者其他光介质）读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质界面与总线18相连。存储器可以包括至少一个程序产品，该程序产品具有一组（例如至少一个）程序模块42，这些程序模块42被配置以执行本申请各实施例的功能。
具有一组（至少一个）程序模块42的程序/实用工具40，可以存储在例如存储器中，这样的程序模块42包括——但不限于——操作系统、一个或者多个应用程序、其他程序模块42以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块42通常执行本申请所描述的实施例中的功能和/或方法。
计算机设备12也可以与一个或多个外部设备14（例如键盘、指向设备、显示器24、摄像头等）通信，还可与一个或者多个使得操作人员能与该计算机设备12交互的设备通信，和/或与使得该计算机设备12能与一个或多个其他计算设备进行通信的任何设备（例如网卡，调制解调器等等）通信。这种通信可以通过I/O接口22进行。并且，计算机设备12还可以通过网络适配器20与一个或者多个网络（例如局域网（LAN）），广域网（WAN）和/或公共网络（例如因特网）通信。如图2所示，网络适配器20通过总线18与计算机设备12的其他模块通信。应当明白，尽管图2中未示出，可以结合计算机设备12使用其他硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元16、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统34等。
处理单元16通过运行存储在内存28中的程序，从而执行各种功能应用以及数据处理，例如实现本申请实施例所提供的一种在线教育方法。
也即，上述处理单元16执行上述程序时实现：一种在线教育方法，包括步骤：摄像头实时采集教师讲课视频流数据；从第二帧开始，实时计算第n帧与前一帧视频图像的差异度矩阵Hn，
Figure 352844DEST_PATH_IMAGE059
其中，
Figure 475521DEST_PATH_IMAGE060
表示第n帧与第n-1帧视频RGB 图像的R通道的R值矩阵之差，
Figure 700966DEST_PATH_IMAGE047
表示第n帧与第n-1帧视频RGB 图像的G通道的G值矩阵之差,
Figure 883686DEST_PATH_IMAGE061
表示第n帧与第n-1帧视频RGB 图像的B通道的B值矩阵之差,
Figure 929002DEST_PATH_IMAGE005
、
Figure 855370DEST_PATH_IMAGE022
、
Figure 935321DEST_PATH_IMAGE007
分别为 R通道、G通道、B通道的矩阵比例系数；
遍历矩阵Hn，记录矩阵内元素不等于0的区域位置信息集合S1；
选取第n帧图像的区域位置信息集合S1对应的RGB视频图像信息作为数据子集集合S2，计算数据子集集合S2中每个连通区域集合的图像变化度，第k个数据子集连通区域的图像变化度Wk为：
Figure 288942DEST_PATH_IMAGE062
其中，
Figure 87134DEST_PATH_IMAGE063
表示第n帧与n-1帧视频的第k个数据子集连通区域的灰度均值之差，
Figure 551613DEST_PATH_IMAGE064
表示第n帧与n-1帧视频的第k个数据子集连通区域的图像陡度之差，
Figure 751651DEST_PATH_IMAGE065
表示第k个数据子集连通区域占整幅视频画面图像的比例，h为设定阈值，若
Figure 276173DEST_PATH_IMAGE066
，则
Figure 296081DEST_PATH_IMAGE067
；若
Figure 821042DEST_PATH_IMAGE068
，则
Figure 875585DEST_PATH_IMAGE069
；图像陡度为提取每个图像块中灰度值最低以及灰度值最高的像素点，分别为T1、T2；陡度为L=（T2-T1）/q；其中，q为图像块中灰度值最低与灰度值最高的像素点的间隔像素数；
Figure 571009DEST_PATH_IMAGE070
为n个数据子集连通区域的灰度均值；
Figure 343793DEST_PATH_IMAGE071
为n个数据子集连通区域的图像陡度均值；
将第n帧视频图像变化度大于阈值W的RGB视频图像信息作为数据子集集合S3；
对数据子集集合S3进行MPS编码，并将得到的结构化数据传输至用户端，MPS为用于表达线性优化模型的模型数据存储格式与传输格式。
在本申请一实施例中，还提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本申请所有实施例提供的一种在线教育方法。
也即，给程序被处理器执行时实现：一种在线教育方法，包括步骤：摄像头实时采集教师讲课视频流数据；从第二帧开始，实时计算第n帧与前一帧视频图像的差异度矩阵Hn，
Figure 150075DEST_PATH_IMAGE072
其中，
Figure 59125DEST_PATH_IMAGE073
表示第n帧与第n-1帧视频RGB 图像的R通道的R值矩阵之差，
Figure 191029DEST_PATH_IMAGE074
表示第n帧与第n-1帧视频RGB 图像的G通道的G值矩阵之差,
Figure 185530DEST_PATH_IMAGE075
表示第n帧与第n-1帧视频RGB 图像的B通道的B值矩阵之差,
Figure 61082DEST_PATH_IMAGE005
、
Figure 90218DEST_PATH_IMAGE022
、
Figure 393023DEST_PATH_IMAGE007
分别为 R通道、G通道、B通道的矩阵比例系数；
遍历矩阵Hn，记录矩阵内元素不等于0的区域位置信息集合S1；
选取第n帧图像的区域位置信息集合S1对应的RGB视频图像信息作为数据子集集合S2，计算数据子集集合S2中每个连通区域集合的图像变化度，第k个数据子集连通区域的图像变化度Wk为：
Figure 140400DEST_PATH_IMAGE076
其中，
Figure 554063DEST_PATH_IMAGE077
表示第n帧与n-1帧视频的第k个数据子集连通区域的灰度均值之差，
Figure 437706DEST_PATH_IMAGE078
表示第n帧与n-1帧视频的第k个数据子集连通区域的图像陡度之差，
Figure 911412DEST_PATH_IMAGE079
表示第k个数据子集连通区域占整幅视频画面图像的比例，h为设定阈值，若
Figure 880505DEST_PATH_IMAGE053
，则
Figure 100790DEST_PATH_IMAGE080
；若
Figure 838939DEST_PATH_IMAGE081
，则
Figure 483547DEST_PATH_IMAGE082
；图像陡度为提取每个图像块中灰度值最低以及灰度值最高的像素点，分别为T1、T2；陡度为L=（T2-T1）/q；其中，q为图像块中灰度值最低与灰度值最高的像素点的间隔像素数；
Figure 674357DEST_PATH_IMAGE070
为n个数据子集连通区域的灰度均值；
Figure 429823DEST_PATH_IMAGE071
为n个数据子集连通区域的图像陡度均值；
将第n帧视频图像变化度大于阈值W的RGB视频图像信息作为数据子集集合S3；
对数据子集集合S3进行MPS编码，并将得到的结构化数据传输至用户端，MPS为用于表达线性优化模型的模型数据存储格式与传输格式。
可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子（非穷举的列表）包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器（RAM）、只读存储器（ROM）、可擦可编程只读存储器（EPROM或闪存）、光纤、便携式紧凑磁盘只读存储器（CD-ROM）、光存储器件、磁存储器件或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括——但不限于——电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
可以以一种或多种程序设计语言或其组合来编写用于执行本申请操作的计算机程序代码，上述程序设计语言包括面向对象的程序设计语言——诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言——诸如“C”语言或类似的程序设计语言。程序代码可以完全地在操作人员计算机上执行、部分地在操作人员计算机上执行、作为一个独立的软件包执行、部分在操作人员计算机上部分在远程计算机上执行或者完全在远程计算机或者服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网（LAN）或广域网（WAN）——连接到操作人员计算机，或者，可以连接到外部计算机（例如利用因特网服务提供商来通过因特网连接）。本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。
尽管已描述了本申请实施例的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本申请实施例范围的所有变更和修改。
最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。
以上对本申请所提供的一种在线教育方法、系统、设备及存储介质，进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。

Claims (10)

1.一种在线教育方法，其特征在于，包括步骤：摄像头实时采集教师讲课视频流数据；从第二帧开始，实时计算第n帧与前一帧视频图像的差异度矩阵
Figure 131293DEST_PATH_IMAGE001
，
Figure 940986DEST_PATH_IMAGE002
其中，
Figure 292333DEST_PATH_IMAGE003
表示第n帧与第n-1帧视频RGB 图像的R通道的R值矩阵之差，
Figure 238292DEST_PATH_IMAGE004
表示第n帧与第n-1帧视频RGB 图像的G通道的G值矩阵之差,
Figure 649682DEST_PATH_IMAGE005
表示第n帧与第n-1帧视频RGB 图像的B通道的B值矩阵之差,
Figure 684022DEST_PATH_IMAGE006
、
Figure 573480DEST_PATH_IMAGE007
、
Figure 639525DEST_PATH_IMAGE008
分别为 R通道、G通道、B通道的矩阵比例系数；
遍历矩阵
Figure 221816DEST_PATH_IMAGE009
，记录矩阵内元素不等于0的区域位置信息集合S1；
选取第n帧图像的区域位置信息集合S1对应的RGB视频图像信息作为数据子集集合S2，计算数据子集集合S2中每个连通区域集合的图像变化度，第k个数据子集连通区域的图像变化度
Figure 740522DEST_PATH_IMAGE010
为：
Figure 168093DEST_PATH_IMAGE011
其中，
Figure 885382DEST_PATH_IMAGE012
表示第n帧与n-1帧视频的第k个数据子集连通区域的灰度均值之差，
Figure 904153DEST_PATH_IMAGE013
表示第n帧与n-1帧视频的第k个数据子集连通区域的图像陡度之差，
Figure 910156DEST_PATH_IMAGE014
表示第k个数据子集连通区域占整幅视频画面图像的比例，h为设定阈值，若
Figure 406996DEST_PATH_IMAGE015
，则
Figure 182054DEST_PATH_IMAGE016
；若
Figure 840568DEST_PATH_IMAGE017
，则
Figure 333867DEST_PATH_IMAGE018
；图像陡度为提取每个图像块中灰度值最低以及灰度值最高的像素点，分别为T1、T2；陡度为L=（T2-T1）/q；其中，q为图像块中灰度值最低与灰度值最高的像素点的间隔像素数；
Figure 368819DEST_PATH_IMAGE019
为第n帧所有连通区域的灰度均值,
Figure 284470DEST_PATH_IMAGE020
为第n帧所有连通区域的图像陡度均值；
将第n帧视频图像变化度大于阈值W的RGB视频图像信息作为数据子集集合S3；
对数据子集集合S3进行MPS编码，并将得到的结构化数据传输至用户端，MPS为用于表达线性优化模型的模型数据存储格式与传输格式。
2.根据权利要求1所述的一种在线教育方法，其特征在于，所述对连通区域的灰度均值获取步骤包括对连通区域图像进行灰度化处理，根据最大类间方差法OSTU进行灰度阈值选取。
3.根据权利要求1所述的一种在线教育方法，其特征在于，所述对连通区域的灰度均值获取步骤包括采用最大值方法对视频图像进行灰度化，将彩色图像中的三分量亮度的最大值作为灰度图的灰度值。
4.根据权利要求2所述的一种在线教育方法，其特征在于，所述对连通区域的灰度均值获取之前还包括对视频图像进行预处理，对视频图像信息的滤波去噪。
5.一种在线教育系统，其特征在于，包括获取模块：摄像头实时采集教师讲课视频流数据；从第二帧开始，实时计算第n帧与前一帧视频图像的差异度矩阵
Figure 113886DEST_PATH_IMAGE022
，
Figure 94480DEST_PATH_IMAGE024
其中，
Figure 933123DEST_PATH_IMAGE026
表示第n帧与第n-1帧视频RGB 图像的R通道的R值矩阵之差，
Figure 151615DEST_PATH_IMAGE028
表示第n帧与第n-1帧视频RGB 图像的G通道的G值矩阵之差,
Figure 10987DEST_PATH_IMAGE030
表示第n帧与第n-1帧视频RGB 图像的B通道的B值矩阵之差,
Figure 885402DEST_PATH_IMAGE032
、
Figure 527736DEST_PATH_IMAGE034
、
Figure 131892DEST_PATH_IMAGE036
分别为 R通道、G通道、B通道的矩阵比例系数；
遍历模块：遍历矩阵
Figure 568690DEST_PATH_IMAGE038
，记录矩阵内元素不等于0的区域位置信息集合S1；
区域初选模块：选取第n帧图像的区域位置信息集合S1对应的RGB视频图像信息作为数据子集集合S2，计算数据子集集合S2中每个连通区域集合的图像变化度，第k个数据子集连通区域的图像变化度
Figure 258297DEST_PATH_IMAGE040
为：
Figure 438743DEST_PATH_IMAGE042
其中，
Figure 897406DEST_PATH_IMAGE044
表示第n帧与n-1帧视频的第k个数据子集连通区域的灰度均值之差，
Figure 505105DEST_PATH_IMAGE046
表示第n帧与n-1帧视频的第k个数据子集连通区域的图像陡度之差，
Figure 682008DEST_PATH_IMAGE048
表示第k个数据子集连通区域占整幅视频画面图像的比例，h为设定阈值，若
Figure 134986DEST_PATH_IMAGE050
，则
Figure 982244DEST_PATH_IMAGE052
；若
Figure 760844DEST_PATH_IMAGE054
，则
Figure 425044DEST_PATH_IMAGE056
；图像陡度为提取每个图像块中灰度值最低以及灰度值最高的像素点，分别为T1、T2；陡度为L=（T2-T1）/q；其中，q为图像块中灰度值最低与灰度值最高的像素点的间隔像素数；
Figure 947292DEST_PATH_IMAGE058
为第n帧所有连通区域的灰度均值,
Figure DEST_PATH_IMAGE060
为第n帧所有连通区域的图像陡度均值；
区域选定模块：将第n帧视频图像变化度大于阈值W的RGB视频图像信息作为数据子集集合S3；
编码传输模块：对数据子集集合S3进行MPS编码，得到MPS数据包，根据预设数据结构解析所述MPS数据包，得到符合优化处理的结构化数据，并将得到的结构化数据传输至用户端，MPS为用于表达线性优化模型的模型数据存储格式与传输格式。
6.根据权利要求5所述的一种在线教育系统，其特征在于，灰度化模块，对连通区域的灰度均值获取步骤包括对连通区域图像进行灰度化处理，根据最大类间方差法OSTU进行灰度阈值选取。
7.根据权利要求5所述的一种在线教育系统，其特征在于，灰度化模块，所述对连通区域的灰度均值获取步骤包括采用最大值方法对视频图像进行灰度化，将彩色图像中的三分量亮度的最大值作为灰度图的灰度值。
8.根据权利要求5所述的一种在线教育系统，其特征在于，预处理模块，所述对连通区域的灰度均值获取之前还包括对视频图像进行预处理，对视频图像信息的滤波去噪。
9.一种设备，其特征在于，包括处理器、存储器及存储在所述存储器上并能够在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如权利要求1至4中任一项所述的方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储计算机程序，所述计算机程序被处理器执行时实现如权利要求1至4中任一项所述的方法。
CN202110660037.7A 2021-06-15 2021-06-15 一种在线教育方法、系统、设备及存储介质 Active CN113115037B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110660037.7A CN113115037B (zh) 2021-06-15 2021-06-15 一种在线教育方法、系统、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110660037.7A CN113115037B (zh) 2021-06-15 2021-06-15 一种在线教育方法、系统、设备及存储介质

Publications (2)

Publication Number Publication Date
CN113115037A CN113115037A (zh) 2021-07-13
CN113115037B true CN113115037B (zh) 2021-09-14

Family

ID=76723492

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110660037.7A Active CN113115037B (zh) 2021-06-15 2021-06-15 一种在线教育方法、系统、设备及存储介质

Country Status (1)

Country Link
CN (1) CN113115037B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113660495A (zh) * 2021-08-11 2021-11-16 易谷网络科技股份有限公司 实时视频流压缩方法、装置、电子设备以及存储介质
CN114155254B (zh) * 2021-12-09 2022-11-08 成都智元汇信息技术股份有限公司 基于图像校正的切图方法、电子设备及介质
CN114140542B (zh) * 2021-12-09 2022-11-22 成都智元汇信息技术股份有限公司 基于色彩补偿的切图方法、电子设备及介质
CN115119016B (zh) * 2022-06-29 2024-06-18 北京精确指向信息技术有限公司 一种信息数据加密算法

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1946144A (zh) * 2006-11-01 2007-04-11 李博航 实时视频、图像传输技术
CN101184216A (zh) * 2007-12-07 2008-05-21 广东纺织职业技术学院 一种智能家居网关呈现视频控制方法及其系统
CN101321287A (zh) * 2008-07-08 2008-12-10 浙江大学 基于运动目标检测的视频编码方法
CN103400154A (zh) * 2013-08-09 2013-11-20 电子科技大学 一种基于有监督等距映射的人体动作识别方法
CN104394418A (zh) * 2014-09-23 2015-03-04 清华大学 一种视频数据编码、解码的方法及装置
CN105306960A (zh) * 2015-10-18 2016-02-03 北京航空航天大学 一种用于传输高质量在线课程视频的动态自适应流系统
CN105787597A (zh) * 2016-01-20 2016-07-20 北京优弈数据科技有限公司 一种数据优化处理系统
US9578324B1 (en) * 2014-06-27 2017-02-21 Google Inc. Video coding using statistical-based spatially differentiated partitioning
CN107147906A (zh) * 2017-06-12 2017-09-08 中国矿业大学 一种虚拟视角合成视频质量的无参考评价方法
CN108021347A (zh) * 2017-12-29 2018-05-11 航天科工智慧产业发展有限公司 一种Android终端屏幕共享的方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6647061B1 (en) * 2000-06-09 2003-11-11 General Instrument Corporation Video size conversion and transcoding from MPEG-2 to MPEG-4
JP5821610B2 (ja) * 2011-12-20 2015-11-24 富士通株式会社 情報処理装置、情報処理方法及びプログラム
US10536693B2 (en) * 2016-11-22 2020-01-14 Pixvana, Inc. Analytic reprocessing for data stream system and method
CN112930557A (zh) * 2018-09-26 2021-06-08 相干逻辑公司 任何世界视图生成

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1946144A (zh) * 2006-11-01 2007-04-11 李博航 实时视频、图像传输技术
CN101184216A (zh) * 2007-12-07 2008-05-21 广东纺织职业技术学院 一种智能家居网关呈现视频控制方法及其系统
CN101321287A (zh) * 2008-07-08 2008-12-10 浙江大学 基于运动目标检测的视频编码方法
CN103400154A (zh) * 2013-08-09 2013-11-20 电子科技大学 一种基于有监督等距映射的人体动作识别方法
US9578324B1 (en) * 2014-06-27 2017-02-21 Google Inc. Video coding using statistical-based spatially differentiated partitioning
CN104394418A (zh) * 2014-09-23 2015-03-04 清华大学 一种视频数据编码、解码的方法及装置
CN105306960A (zh) * 2015-10-18 2016-02-03 北京航空航天大学 一种用于传输高质量在线课程视频的动态自适应流系统
CN105787597A (zh) * 2016-01-20 2016-07-20 北京优弈数据科技有限公司 一种数据优化处理系统
CN107147906A (zh) * 2017-06-12 2017-09-08 中国矿业大学 一种虚拟视角合成视频质量的无参考评价方法
CN108021347A (zh) * 2017-12-29 2018-05-11 航天科工智慧产业发展有限公司 一种Android终端屏幕共享的方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于可区分边界和加权对比度优化的显著度检测算法;姜青竹等;《电子学报》;20170115(第01期);第150-159页 *

Also Published As

Publication number Publication date
CN113115037A (zh) 2021-07-13

Similar Documents

Publication Publication Date Title
CN113115037B (zh) 一种在线教育方法、系统、设备及存储介质
CN109886210B (zh) 一种交通图像识别方法、装置、计算机设备和介质
CN110189336B (zh) 图像生成方法、系统、服务器及存储介质
CN111950723B (zh) 神经网络模型训练方法、图像处理方法、装置及终端设备
CN113052868B (zh) 一种抠图模型训练、图像抠图的方法及装置
CN111382647B (zh) 一种图片处理方法、装置、设备及存储介质
CN103971340A (zh) 一种高位宽数字图像动态范围压缩和细节增强方法
CN109194878B (zh) 视频图像防抖方法、装置、设备和存储介质
CN113344826A (zh) 图像处理方法、装置、电子设备及存储介质
WO2023284236A1 (zh) 图像盲去噪方法、装置、电子设备和存储介质
CN105894506A (zh) 一种人脸图像模糊度计算方法及装置
CN116977195A (zh) 复原模型的调整方法、装置、设备及存储介质
CN111861204A (zh) 基于智能平台的课程移动学习评价系统及方法
CN113516697B (zh) 图像配准的方法、装置、电子设备及计算机可读存储介质
CN113315995B (zh) 提高视频质量的方法、装置、可读存储介质及电子设备
CN115601820A (zh) 一种人脸伪造图像检测方法、装置、终端及存储介质
CN113762260B (zh) 一种版面图片的处理方法、装置、设备及存储介质
CN115222606A (zh) 图像处理方法、装置、计算机可读介质及电子设备
CN115333879B (zh) 一种远程会议方法及系统
CN112507243B (zh) 一种基于表情的内容推送方法与装置
CN111754412A (zh) 构建数据对的方法、装置及终端设备
CN113450276A (zh) 视频图像增强方法及其模型训练方法、相关设备
CN108419095A (zh) 一种流媒体转码方法、装置、计算机设备及可读介质
CN111524208A (zh) 海报排布模型的训练方法、海报生成方法及装置
CN112584117B (zh) 一种白平衡调节方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant