[go: up one dir, main page]

CN109792472B - 信号调整程序、信号调整装置以及信号调整方法 - Google Patents

信号调整程序、信号调整装置以及信号调整方法 Download PDF

Info

Publication number
CN109792472B
CN109792472B CN201680089949.0A CN201680089949A CN109792472B CN 109792472 B CN109792472 B CN 109792472B CN 201680089949 A CN201680089949 A CN 201680089949A CN 109792472 B CN109792472 B CN 109792472B
Authority
CN
China
Prior art keywords
signal
embedded
compression
amplitude
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201680089949.0A
Other languages
English (en)
Other versions
CN109792472A (zh
Inventor
仓木健介
田中龙太
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Publication of CN109792472A publication Critical patent/CN109792472A/zh
Application granted granted Critical
Publication of CN109792472B publication Critical patent/CN109792472B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04B—TRANSMISSION
    • H04B10/00—Transmission systems employing electromagnetic waves other than radio-waves, e.g. infrared, visible or ultraviolet light, or employing corpuscular radiation, e.g. quantum communication
    • H04B10/11—Arrangements specific to free-space transmission, i.e. transmission through air or vacuum
    • H04B10/114—Indoor or close-range type systems
    • H04B10/116—Visible light communication
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H04N19/467—Embedding additional information in the video signal during the compression process characterised by the embedded information being invisible, e.g. watermarking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/387—Composing, repositioning or otherwise geometrically modifying originals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4223—Cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/433—Content storage operation, e.g. storage operation in response to a pause request, caching operations
    • H04N21/4334—Recording operations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440245—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display the reformatting operation being performed only on part of the stream, e.g. a region of the image or a time segment
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/835—Generation of protective data, e.g. certificates
    • H04N21/8358—Generation of protective data, e.g. certificates involving watermark
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • H04N5/772—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera the recording apparatus and the television camera being placed in the same enclosure
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • H04N5/913—Television signal processing therefor for scrambling ; for copy protection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/804—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
    • H04N9/8042—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • H04N5/913—Television signal processing therefor for scrambling ; for copy protection
    • H04N2005/91307—Television signal processing therefor for scrambling ; for copy protection by adding a copy protection signal to the video signal
    • H04N2005/91335—Television signal processing therefor for scrambling ; for copy protection by adding a copy protection signal to the video signal the copy protection signal being a watermark
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/74—Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Computer Security & Cryptography (AREA)
  • Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Facsimile Transmission Control (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Optical Communication System (AREA)
  • Image Processing (AREA)

Abstract

计算机对第一映像进行解析，上述第一映像为对反射光的物体进行拍摄所得，其中，上述光嵌入有按时间序列变化的信号，并且计算机在第一映像所包含的图像内确定嵌入有信号的区域。而且，计算机对该区域中所嵌入的信号进行调整，并输出包含调整后的信号的第二映像。

Description

信号调整程序、信号调整装置以及信号调整方法
技术领域
本发明涉及信号调整程序、信号调整装置以及信号调整方法。
背景技术
作为使用可见光传输信息的可见光通信技术之一，已知有发送装置对物体照射重叠有信息的光，且接收装置对该物体进行拍摄检测所重叠的信息的通信系统(例如，参照专利文献1)。根据该通信系统，能够将与照射光的物体相关的信息分发至安装有照相机的智能设备等。
也已知有对图像嵌入附加信息的电子水印技术、对压缩图像数据重叠附加信息的技术等(例如，参照专利文献2～专利文献4)。
专利文献1:国际公开第2016/001972号小册子
专利文献2:日本特开2002－344720号公报
专利文献3:日本特开2005－39603号公报
专利文献4:日本特开2004－312663号公报
在对照明光嵌入信息并照射至物体，并将拍摄有包含该物体的场景的映像提供给用户的情况下，有时表示映像中所嵌入的信息的信号减弱，从而从映像中检测信息变得困难。
发明内容
在一个侧面，本发明的目的在于即使信号衰减，也能够以可检测的方式提供对反射光的物体进行拍摄所得的映像，其中，上述光嵌入有信号。
在一个方案中，信号调整程序使计算机执行以下的处理。
(1)计算机对第一映像进行解析，上述第一映像为对反射光的物体进行拍摄所得，其中，上述光嵌入有按时间序列变化的信号，并且计算机在第一映像所包含的图像内确定嵌入有信号的区域。
(2)计算机对确定出的区域中所嵌入的信号进行调整。
(3)计算机输出包含调整后的信号的第二映像。
根据实施方式，即使信号衰减，也能够以可检测的方式提供对反射光的物体进行拍摄所得的映像，其中，上述光嵌入有信号。
附图说明
图1是信号调整装置的功能性结构图。
图2是信号调整处理的流程图。
图3是表示信号调整装置的具体例的功能性结构图。
图4是表示信号调整处理的具体例的流程图。
图5是表示区域分割处理以及区域提取处理的图。
图6是区域提取处理的流程图。
图7是表示信号的振幅的时间变化的图。
图8是表示信号的振幅的上限值以及下限值的图。
图9是第一调整处理的流程图。
图10是表示衰减率信息的图。
图11是表示第一调整处理的图。
图12是第二调整处理的流程图。
图13是表示压缩处理的图。
图14是信息处理装置的结构图。
具体实施方式
以下，参照附图，对实施方式进行详细说明。
作为可见光通信技术的应用例，假定对活动会场或者摄影棚等拍摄场所的照明光嵌入信息并照射至物体，并将拍摄有包含该物体的场景的映像经由电视(TV)广播或者互联网分发等提供给用户。用户利用照相机对显示所提供的映像的TV接收器或者个人计算机(PC)的画面进行拍摄，从而能够基于映像中所嵌入的信息，获取与拍摄场所的物体、广播节目等相关的附加信息。
然而，在物体表面的反射率为规定值以下的情况下，存在表示所嵌入的信息的信号变弱的情况。进一步，存在为了TV广播或者互联网分发，而对所拍摄的映像实施压缩处理的情况。在该情况下，映像中所嵌入的微弱的信号进一步减弱、或消失，从而从拍摄画面所得的映像中检测信息很困难。
专利文献2所公开的电子水印嵌入处理装置从嵌入有电子水印的图像中检测与各位对应的电子水印，并基于电子水印的检测强度的过剩或不足，设定电子水印图案的强度并执行重新嵌入或者追加嵌入。
但是，在该方法中，由于参照嵌入图像的电子水印图案来测定检测强度，所以很难应用于不知道被嵌入照明光的信息的情况。进一步，由于在映像的各帧内嵌入有信息的区域根据照射照明光的物体和拍摄所使用的照相机的位置关系而发生变化，所以很难进行各帧的图像和所嵌入的信息的相关运算，且很难进行检测强度的测定。
此外，这样的问题并不限于为了TV广播或者互联网分发而压缩映像的情况，在将对反射嵌入有信号的光的物体进行拍摄所得的映像以其它形式提供给用户的情况下也会产生。
图1示有实施方式的信号调整装置的功能性结构例。图1的信号调整装置101包含存储部111、区域确定部112、调整部113、以及输出部114。存储部111存储第一映像，该第一映像是对反射光的物体拍摄所得，其中，上述光嵌入有按时间序列变化的信号。区域确定部112以及调整部113对存储部111所存储的第一映像进行信号调整处理。
图2是表示信号调整处理的例子的流程图。首先，区域确定部112对第一映像进行解析，并在第一映像所包含的图像内确定嵌入有信号的区域(步骤201)。接下来，调整部113对由区域确定部112确定出的区域中所嵌入的信号进行调整(步骤202)。而且，输出部114输出包含由调整部113调整后的信号的第二映像(步骤203)。
根据这样的信号调整装置，即使信号衰减也能够以可检测的方式提供对反射嵌入有信号的光的物体进行拍摄所得的映像。
图3示有图1的信号调整装置101的具体例。图3的信号调整装置101包含存储部111、区域确定部112、调整部113、输出部114、以及输入部311。区域确定部112包含分割部312以及提取部313。
照明装置301例如设置于活动会场或者摄影棚等拍摄场所，对物体304照射嵌入有按时间序列变化的信号的照明光。例如，使用专利文献1所公开的技术，从而能够向照明光嵌入信号。物体304可以是在活动或者TV节目中表演的表演者，也可以是设置于拍摄场所的构造物。嵌入有信号的照明光也可以是伴随着表演者注意不到的程度的微小的颜色变化的光。
拍摄装置302例如是设置于拍摄场所的照相机，对反射照明光的物体304进行拍摄，并输出包含多个时刻每一时刻的多个图像的映像。各时刻的图像有被称为帧的情况。
输入部311接收由拍摄装置302输出的映像，并将接收到的映像作为映像321储存至存储部111。区域确定部112的分割部312将映像321的各帧分割为多个区域。各区域的大小为1个像素以上，并且，为1帧的全像素数以下。提取部313按照每个区域对时间方向的频率特性进行解析，并基于具有特定的频率的信号的振幅的大小，提取嵌入有信号的区域。而且，提取部313将表示所提取出的区域的区域信息322储存至存储部111。
调整部113对被嵌入区域信息322所表示的各区域的信号进行调整，生成包含调整后的信号的映像323，并储存至存储部111。所嵌入的信号的振幅的大小由于物体304的表面上的反射率等的影响，存在在每个区域中不一致的情况。因此，调整部113进行与各区域相应的调整处理。
输出部114将映像323输出至提供装置303。提供装置303例如是进行TV广播的广播装置、进行互联网分发的分发装置等。提供装置303对由信号调整装置101输出的映像323进行压缩，并广播或者分发压缩后的映像323。用户利用照相机对由提供装置303提供的映像323进行拍摄，从而从被嵌入映像323的信息中，获取与物体304、广播节目等相关的附加信息。
图4是表示由图3的信号调整装置101进行的信号调整处理的具体例的流程图。首先，输入部311将从拍摄装置302接收到的映像作为映像321储存至存储部111(步骤401)。
接下来，分割部312将映像321的各帧分割为多个区域(步骤402)，提取部313按照每个区域对时间方向的频率特性进行解析，并提取嵌入有信号的区域，并生成区域信息322(步骤403)。
接下来，调整部113对被嵌入由区域信息322所表示的各区域的信号进行调整，生成映像323(步骤404)，输出部114将映像323输出至提供装置303(步骤405)。
根据这样的信号调整处理，能够在活动会场或者摄影棚等中实施基于照明光的可见光通信的计划的情况下，对到场者提供信息，同时也经由TV广播或者互联网分发等对处于远处的观众提供信息。因此，TV广播或者互联网分发的观众也能够使用经由映像提供的信息，参加计划。
图5示有图4的步骤402中的区域分割处理和步骤403中的区域提取处理的例子。分割部312将与映像321所包含的1张帧对应的图像501分割为多个矩形区域。而且，提取部313提取与照明光的照射范围对应的区域502所包含的各矩形区域，作为嵌入有信号的区域。
图6是表示图4的步骤403中的区域提取处理的例子的流程图。首先，提取部313在各时刻的帧中，对每个区域，计算表示照明光中所嵌入的信号的特征量，并储存至存储部111(步骤601)。作为各区域的特征量，例如，能够使用与RGB颜色空间中的各颜色成分对应的像素值的平均值、总和、最大值、最小值、最频值、中央值等统计值。
接下来，提取部313进行使用规定期间内的多个帧中的各区域的特征量的傅立叶变换，将每个区域的特征量的时间变化变换为频域表现(步骤602)。
然后，提取部313根据变换后的频域表现，计算与照明光中所嵌入的信号相同的频率的信号的强度，并提取计算出的强度为规定范围内的区域，作为嵌入有信号的区域(步骤603)。作为信号的强度，例如，能够使用信号的振幅、振幅的平方等。
图7示有具有与照明光中所嵌入的信号相同的频率的信号的振幅的时间变化的例子。在图7(a)的波形701所表示的时间变化的情况下，由于信号的振幅比规定范围的下限值小，所以判定为在检测出波形701的区域未嵌入信号。
在图7(b)的波形702所表示的时间变化的情况下，由于信号的振幅比规定范围的上限值大，所以判定为在检测出波形702的区域未嵌入信号。例如，在照明光被在拍摄区域内移动的人物等遮挡，而发生场景变化的情况下，有检测出如波形702那样的时间变化的可能性。
另一方面，在图7(c)的波形703所示的时间变化的情况下，由于信号的振幅收敛于规定范围内，所以判定为在检测出波形703的区域嵌入有信号。
图8示有信号的振幅的上限值以及下限值的例子。用于判定在各区域中是否嵌入有信号的规定范围的上限值Y以及下限值Z例如能够基于照明光中所嵌入的信号的振幅X，通过下式来决定。
Y＝X×M (1)
Z＝X×N (2)
M和N是通过预先的评价实验等决定的系数，例如，M≥1，N≤1。
调整部113例如根据提供装置303压缩映像323的压缩处理的压缩方式或者压缩率中的至少一方，使区域信息322所表示的各区域中所嵌入的信号的强度增减。由此，即使信号因为了TV广播或者互联网分发而进行的压缩处理而衰减的情况下，也能够根据压缩后的映像检测信号。
图9是表示图4的步骤404中的第一调整处理的例子的流程图。在第一调整处理中，存储部111存储表示与多个压缩方式以及多个压缩率分别对应的衰减率的倒数的衰减率信息。衰减率的倒数Q例如能够使用压缩前的信号的振幅A1和压缩后的信号的振幅A2，通过下式来计算。
Q＝A1/A2 (3)
振幅A1对应于压缩前的映像所包含的信号的振幅，振幅A2对应于通过接收压缩后的映像的TV接收器或者PC进行恢复处理而恢复的映像所包含的信号的振幅。
作为衰减率信息，设定通过预先的评价实验等，通过式(3)计算出的衰减率的倒数Q。通过将衰减率信息预先储存至存储部111，在给予特定的压缩方式以及压缩率的情况下，能够立即获取衰减率的倒数。
调整部113参照衰减率信息，求出与压缩处理的压缩方式以及压缩率对应的衰减率的倒数，并根据所求出的衰减率的倒数求出振幅的阈值。而且，调整部113在区域信息322所表示的各区域中所嵌入的信号的振幅比阈值小的情况下，使该信号的振幅增加，以使得振幅成为阈值以上。
首先，调整部113参照衰减率信息，求出与压缩处理的压缩方式以及压缩率对应的衰减率的倒数(步骤901)。而且，调整部113通过对所求出的衰减率的倒数乘以针对压缩后的信号的振幅A2的阈值TH2，来求出针对压缩前的信号的振幅A1的阈值TH1(步骤902)。作为阈值TH2，例如，能够使用在TV接收器或者PC恢复后的映像中可检测出信号的振幅的下限值。
接下来，调整部113将区域信息322所表示的各区域中所嵌入的信号的振幅与TH1进行比较(步骤903)。在信号的振幅为TH1以上的情况下，调整部113结束处理。另一方面，在信号的振幅比TH1小的情况下，调整部113使该信号的振幅增加，以使得振幅成为TH1以上(步骤904)。例如，调整部113能够对所嵌入的信号的振幅乘以衰减率的倒数来求出调整后的振幅，并通过使该区域内的各颜色成分的像素值增减，来增加振幅，以使得信号的振幅与调整后的振幅一致。
通过对帧内的多个区域中的振幅小于TH1的区域的信号进行调整，能够对由于物体表面的反射率较低等光学因素而局部减弱的信号进行修正。此时，通过使用衰减率的倒数来决定调整后的振幅，能够越是信号较弱的区域越强烈地强调。
图10示有衰减率信息的例子。图10的衰减率信息的各条目包含压缩方式、分辨率、比特率、以及衰减率的倒数。在本例中，对每个压缩方式以及比特率的组合，设定有对应的衰减率的倒数。
作为压缩方式，例如，能够使用Moving Picture Experts Group phase 2(MPEG－2)，H.264/Advanced Video Coding(H.264/AVC)，H.265/High Efficiency Video Coding(H.265/HEVC)等。分辨率对应于1帧的画面尺寸，比特率对应于压缩处理的压缩率。
也能够对相同的压缩方式组合不同的比特率。例如，在地面数字电视广播的情况下，由于通过MPEG－2压缩为15～18Mbps的比特率，所以除了MPEG－2以及10Mbps的组合以外，也可以追加表示MPEG－2以及15～18Mbps的组合的条目。另外，除了H.264/AVC以及10Mbps的组合以外，也可以追加表示H.264/AVC以及20Mbps的组合的条目。
图11示有针对图7(c)的波形703的第一调整处理的例子。在本例中，作为压缩方式以及比特率的组合，示有以下的3种组合。
(1)MPEG－2以及10Mbps
(2)H.264以及10Mbps
(3)H.264以及20Mbps
在提供装置303中进行MPEG－2以及10Mbps的压缩处理的情况下，根据与MPEG－2以及10Mbps对应的衰减率的倒数，计算直线1101所表示的阈值TH1。在该情况下，由于波形703的振幅小于TH1，所以通过对波形703乘以衰减率的倒数来生成波形1111，并调整检测出波形703的区域内的像素值，以向该区域内嵌入波形1111。
在提供装置303中进行H.264以及10Mbps的压缩处理的情况下，根据与H.264以及10Mbps对应的衰减率的倒数，计算直线1102所表示的阈值TH1。在该情况下，由于波形703的振幅小于TH1，所以通过波形703乘以衰减率的倒数来生成波形1112，并调整检测出波形703的区域内的像素值，以向该区域嵌入波形1112。
在提供装置303中进行H.264以及20Mbps的压缩处理的情况下，根据与H.264以及20Mbps对应的衰减率的倒数，计算直线1103所表示的阈值TH1。在该情况下，由于波形703的振幅大于TH1，所以检测出波形703的区域内的像素值不变更。
图12是表示图4的步骤404中的第二调整处理的例子的流程图。在第二调整处理中，调整部113通过由提供装置303进行的压缩处理压缩映像321，并基于压缩前的信号的振幅A1和压缩后的信号的振幅A2求出衰减率的倒数，并根据求出的衰减率的倒数求出振幅的阈值。而且，调整部113在区域信息322所表示的各区域中所嵌入的信号的振幅小于阈值的情况下，使该信号的振幅增加，以使得振幅成为阈值以上。
通过由提供装置303进行的压缩处理压缩映像321，从而不论压缩方式以及压缩率是什么样的组合，都能够求出对应的衰减率的倒数。因此，无需预先准备如图10所示的衰减率信息。
首先，调整部113通过压缩处理对映像321进行压缩(步骤1201)。然后，调整部113根据压缩前的信号的振幅A1和压缩后的信号的振幅A2，通过式(3)求出衰减率的倒数Q(步骤1202)。步骤1203～步骤1205的处理与图9的步骤902～步骤904的处理相同。
图13示有图12的步骤1201中的压缩处理的例子。通过压缩映像321而映像321所包含的信号衰减，且压缩前的信号的波形703变化为压缩后的信号的波形1301。在该情况下，使用根据波形703求出的振幅A1和根据波形1301求出的振幅A2，求出衰减率的倒数Q。
图1以及图3的信号调整装置101的结构只是一个例子，也可以根据信号调整装置101的用途或者条件省略或变更一部分构成要素。例如，在图3的信号调整装置101中，在存储部111中预先储存有映像321的情况下，能够省略输入部311。
图2、图4、图6、图9、以及图12的流程图只是一个例子，也可以根据信号调整装置101的结构或者条件省略或变更部分处理。例如，在存储部111中预先储存有映像321的情况下，能够省略图4的步骤401的处理。
在图4的步骤404中，调整部113也可以代替图9或者图12的调整处理进行其它的调整处理。例如，调整部113也可以使各区域中所嵌入的信号的强度与压缩方式以及压缩率无关地增减。在图6的步骤602中，提取部313也可以代替傅立叶变换使用其它的解析方法，进行针对各区域中的特征量的时间变化的频率解析。
图5的区域分割处理以及区域提取处理只是一个例子，也可以根据信号调整装置101的结构或者条件变更为其它的处理。例如，分割部312也可以将图像501分割为具有矩形以外的形状的多个区域。
图7的信号的时间变化、图8的上限值以及下限值、图11的调整处理、以及图13的压缩处理只是一个例子，信号的时间变化等根据照明光中所嵌入的信号、信号调整装置101的结构或者条件而变化。
图10的衰减率信息只是一个例子，也可以根据信号调整装置101的结构或者条件变更为其它的衰减率信息。例如，也能够省略压缩方式、分辨率、或者比特率中的任意一个以上的信息。在省略了比特率的情况下，在图9的步骤901中，调整部113参照衰减率信息，求出与压缩处理的压缩方式对应的衰减率的倒数。另一方面，在省略压缩方式的情况下，调整部113参照衰减率信息，求出与压缩处理的压缩率(比特率)对应的衰减率的倒数。也可以使用代替衰减率的倒数设定衰减率的衰减率信息。
图14示有作为图1以及图3的信号调整装置101来使用的信息处理装置(计算机)的构成例。图14的信息处理装置包含Central Processing Unit(CPU)1401、存储器1402、输入装置1403、输出装置1404、辅助存储装置1405、介质驱动装置1406、以及网络连接装置1407。这些构成要素通过总线1408相互连接。
存储器1402例如是Read Only Memory(ROM)、Random Access Memory(RAM)、闪存等半导体存储器，储存处理所使用的程序以及数据。存储器1402能够作为图1以及图3的存储部111来使用。
CPU1401(处理器)例如通过利用存储器1402执行程序，作为图1以及图3的区域确定部112以及调整部113、图3的分割部312以及提取部313来动作。
输入装置1403例如为键盘、指示设备等，用于来自操作人员或者用户的指示以及信息的输入。输出装置1404例如是显示装置、打印机、扬声器等，用于对操作人员或者用户的询问或者指示、以及处理结果的输出。
辅助存储装置1405例如为磁盘装置、光盘装置、光磁盘装置、磁带装置等。辅助存储装置1405也可以是硬盘驱动器。在辅助存储装置1405中储存有程序以及数据，信息处理装置能够将它们加载到存储器1402中来使用。辅助存储装置1405能够作为图1以及图3的存储部111来使用。
介质驱动装置1406驱动便携式记录介质1409，并访问其记录内容。便携式记录介质1409为存储设备、软盘、光盘、光磁盘等。便携式记录介质1409也可以为Compact DiskRead Only Memory(CD－ROM：光盘只读存储器)、Digital Versatile Disk(DVD：数字多功能磁盘)、Universal Serial Bus(USB：通用串行总线)存储器等。在该便携式记录介质1409中储存有程序以及数据，操作人员或者用户能够将它们加载至存储器1402并使用。
这样，储存处理所使用的程序以及数据的计算机可读取的记录介质为如存储器1402、辅助存储装置1405、或者便携式记录介质1409那样的物理的(非暂时的)记录介质。
网络连接装置1407是与Local Area Network、Wide Area Network等通信网络连接，进行伴随着通信的数据变换的通信接口。信息处理装置能够从外部的装置经由网络连接装置1407受理程序以及数据，并将它们加载至存储器1402来使用。网络连接装置1407能够作为图1以及图3的输出部114、以及图3的输入部311来使用。
此外，信息处理装置无需包含图14的全部的构成要素，也可以根据用途或者条件省略一部分构成要素。例如，在不需要与操作人员或者用户的接口的情况下，也可以省略输入装置1403以及输出装置1404。另外，在不利用便携式记录介质1409的情况下，也可以省略介质驱动装置1406。作为图3的提供装置303，也能够使用与图14相同的信息处理装置。
对公开的实施方式及其优点进行了详细说明，但本领域技术人员能够在不脱离权利要求书明确记载的本发明的范围内，进行各种变更、追加、省略。

Claims (8)

1.一种非易失性计算机可读的存储介质，其特征在于，存储有使处理器执行处理的信号调整程序，上述处理包括：
对拍摄对嵌入有按时间序列变化的信号的光进行反射的物体所得的第一映像进行解析，并在上述第一映像所包含的图像内确定嵌入有上述信号的区域，
对上述区域中所嵌入的上述信号进行调整，
输出包含调整后的信号的第二映像，
上述处理还包括：
通过根据压缩上述第二映像的压缩处理的压缩方式或者压缩率中的至少一方，使在上述区域中所嵌入的上述信号的强度增减，来调整上述信号。
2.根据权利要求1所述的非易失性计算机可读的存储介质，其特征在于，上述处理还包括：
参照表示与多个压缩方式分别对应的衰减率的倒数的衰减率信息，求出与上述压缩处理的上述压缩方式对应的衰减率的倒数，并根据与上述压缩处理的上述压缩方式对应的上述衰减率的倒数求出振幅的阈值，在上述区域中所嵌入的上述信号的振幅比上述阈值小的情况下，使上述信号的振幅增加，以使得上述信号的振幅成为上述阈值以上。
3.根据权利要求1所述的非易失性计算机可读的存储介质，其特征在于，上述处理还包括：
参照表示与多个压缩率分别对应的衰减率的倒数的衰减率信息，求出与上述压缩处理的上述压缩率对应的衰减率的倒数，并根据与上述压缩处理的上述压缩率对应的上述衰减率的倒数求出振幅的阈值，在上述区域中所嵌入的上述信号的振幅比上述阈值小的情况下，使上述信号的振幅增加，以使得上述信号的振幅成为上述阈值以上。
4.根据权利要求1所述的非易失性计算机可读的存储介质，其特征在于，上述处理还包括：
通过利用压缩上述第二映像的压缩处理的压缩方式或者压缩率中的至少一方压缩上述第一映像，并基于压缩前的上述第一映像所包含的上述信号的振幅和压缩后的上述第一映像所包含的上述信号的振幅求出衰减率的倒数，并根据上述衰减率的倒数求出振幅的阈值，在上述区域中所嵌入的上述信号的振幅比上述阈值小的情况下，使上述信号的振幅增加，以使得上述信号的振幅成为上述阈值以上。
5.根据权利要求1所述的非易失性计算机可读的存储介质，其特征在于，上述处理还包括：
将上述图像分割为多个区域，并基于上述多个区域每一个的特征量的时间变化，确定上述多个区域中的嵌入有上述信号的上述区域。
6.根据权利要求5所述的非易失性计算机可读的存储介质，其特征在于，上述处理还包括：
通过进行针对嵌入有上述信号的上述区域中的上述特征量的时间变化的频率解析，来求出上述区域中所嵌入的上述信号的振幅。
7.一种信号调整装置，其特征在于，具备：
存储部，存储对反射光的物体进行拍摄所得的第一映像，其中，上述光嵌入有按时间序列变化的信号；
区域确定部，对上述第一映像进行解析，并在上述第一映像所包含的图像内确定嵌入有上述信号的区域；
调整部，对上述区域中所嵌入的上述信号进行调整；以及
输出部，输出包含调整后的信号的第二映像，
上述调整部通过根据压缩上述第二映像的压缩处理的压缩方式或者压缩率中的至少一方，使在上述区域中所嵌入的上述信号的强度增减，来调整上述信号。
8.一种信号调整方法，其特征在于，
计算机对拍摄对嵌入有按时间序列变化的信号的光进行反射的物体所得的第一映像进行解析，并在上述第一映像所包含的图像内确定嵌入有上述信号的区域，
对上述区域中所嵌入的上述信号进行调整，
输出包含调整后的信号的第二映像，
上述计算机通过根据压缩上述第二映像的压缩处理的压缩方式或者压缩率中的至少一方，使在上述区域中所嵌入的上述信号的强度增减，来调整上述信号。
CN201680089949.0A 2016-10-12 2016-10-12 信号调整程序、信号调整装置以及信号调整方法 Active CN109792472B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2016/080287 WO2018070001A1 (ja) 2016-10-12 2016-10-12 信号調整プログラム、信号調整装置、及び信号調整方法

Publications (2)

Publication Number Publication Date
CN109792472A CN109792472A (zh) 2019-05-21
CN109792472B true CN109792472B (zh) 2020-11-03

Family

ID=61905281

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680089949.0A Active CN109792472B (zh) 2016-10-12 2016-10-12 信号调整程序、信号调整装置以及信号调整方法

Country Status (5)

Country Link
US (1) US10651935B2 (zh)
EP (1) EP3528486B1 (zh)
JP (1) JP6729708B2 (zh)
CN (1) CN109792472B (zh)
WO (1) WO2018070001A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114422714B (zh) * 2020-10-28 2024-07-02 北京小米移动软件有限公司 闪频光源与无闪频光源之间的切换方法及切换装置
USD984446S1 (en) * 2021-09-27 2023-04-25 HUM Systems GmbH Communication equipment

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015173001A1 (en) * 2014-05-12 2015-11-19 Koninklijke Philips N.V. Verification of images captured using a timestamp decoded from illumination from a modulated light source
JP2016178528A (ja) * 2015-03-20 2016-10-06 カシオ計算機株式会社 復号装置、復号方法、及び、プログラム

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7373513B2 (en) * 1998-09-25 2008-05-13 Digimarc Corporation Transmarking of multimedia signals
JP2002344720A (ja) 2001-05-17 2002-11-29 Sony Corp 電子透かし埋め込み処理装置、および電子透かし埋め込み処理方法、並びにプログラム
JP4224690B2 (ja) 2002-12-27 2009-02-18 ソニー株式会社 記録方法、記録装置、再生方法、再生装置および撮像装置
JP2005039603A (ja) 2003-07-16 2005-02-10 Kyodo Printing Co Ltd 電子透かし検出システム及び電子透かし検出方法並びに情報提供システム及び情報提供方法
US20060045308A1 (en) * 2004-09-02 2006-03-02 Microsoft Corporation Camera and method for watermarking film content
US7876978B2 (en) * 2005-10-13 2011-01-25 Penthera Technologies, Inc. Regions of interest in video frames
JP2008028563A (ja) * 2006-07-19 2008-02-07 Yokohama Tlo Co Ltd 被写体照明方法、透かし情報埋め込み方法及び撮像方法
JP5031427B2 (ja) * 2007-03-30 2012-09-19 三星電子株式会社 可視光送信装置、可視光受信装置、可視光通信システム、及び可視光通信方法
JP5021061B2 (ja) * 2009-12-08 2012-09-05 株式会社 資生堂 非可視化情報埋込装置、非可視化情報認識装置、非可視化情報埋込方法、非可視化情報認識方法、非可視化情報埋込プログラム、及び非可視化情報認識プログラム
US8941686B2 (en) * 2010-06-08 2015-01-27 Panasonic Intellectual Property Corporation Of America Information display apparatus, display control integrated circuit, and display control method for superimposing, for display, information onto images captured in a time sequence
JP5729464B2 (ja) * 2011-03-22 2015-06-03 富士通株式会社 位置情報付加装置、位置情報付加方法及び位置情報付加用コンピュータプログラムならびに位置検出装置
US9608725B2 (en) * 2012-12-27 2017-03-28 Panasonic Intellectual Property Corporation Of America Information processing program, reception program, and information processing apparatus
WO2016001972A1 (ja) 2014-06-30 2016-01-07 富士通株式会社 送信装置、受信装置、通信システム、及び送信方法ならびに受信方法
JP6405820B2 (ja) * 2014-09-17 2018-10-17 富士通株式会社 信号伝送装置、信号伝送方法および信号伝送プログラム
WO2016060518A1 (en) * 2014-10-17 2016-04-21 Samsung Electronics Co., Ltd. Apparatus and method for transmitting and receiving visible light data
US10727943B2 (en) * 2015-09-07 2020-07-28 Signify Holding B.V. Embedding data into light
WO2017119619A1 (ko) * 2016-01-08 2017-07-13 서울과학기술대학교 산학협력단 디스플레이의 표출 컬러 및 패턴 형태를 이용한 가시광 통신 방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015173001A1 (en) * 2014-05-12 2015-11-19 Koninklijke Philips N.V. Verification of images captured using a timestamp decoded from illumination from a modulated light source
JP2016178528A (ja) * 2015-03-20 2016-10-06 カシオ計算機株式会社 復号装置、復号方法、及び、プログラム

Also Published As

Publication number Publication date
CN109792472A (zh) 2019-05-21
US10651935B2 (en) 2020-05-12
JP6729708B2 (ja) 2020-07-22
WO2018070001A1 (ja) 2018-04-19
EP3528486A4 (en) 2019-10-09
US20190229804A1 (en) 2019-07-25
EP3528486B1 (en) 2023-01-11
EP3528486A1 (en) 2019-08-21
JPWO2018070001A1 (ja) 2019-06-24

Similar Documents

Publication Publication Date Title
US10282801B2 (en) Full-color visibility model using CSF which varies spatially with local luminance
Winkler Perceptual video quality metrics—A review
US20150187039A1 (en) Full-color visibility model using csf which varies spatially with local luminance
CN107925779B (zh) 确定视频序列的原始分辨率
US6782135B1 (en) Apparatus and methods for adaptive digital video quantization
CA2674149A1 (en) Banding artifact detection in digital video content
US20130169834A1 (en) Photo extraction from video
JP2009501479A (ja) テクスチャの領域のための画像コーダ
US20120027207A1 (en) Composite masking system and method for improving invisibility of high-definition video watermarking
KR101156117B1 (ko) 영상 검출 장치 및 영상 검출 방법
CN109792472B (zh) 信号调整程序、信号调整装置以及信号调整方法
Bondžulić et al. Picture-wise just noticeable difference prediction model for JPEG image quality assessment
US9049453B2 (en) Image encoding apparatus and method based on intensity of edge information
JP4602983B2 (ja) 構造化透かしの埋め込み及び検出のための方法及び装置
KR101717733B1 (ko) Hdr 이미지 처리 장치 및 방법
KR100902887B1 (ko) 디지털 영상 장치의 영상 왜곡 판단 테스트 자동화 시스템
KR20060058703A (ko) 블럭 아티팩트 검출
Zeng et al. Perceptual quality measure using JND model of the human visual system
Hasan et al. Measuring blockiness of videos using edge enhancement filtering
Anitha et al. Quality assessment of resultant images after processing
Wang et al. A human visual system-based objective video distortion measurement system
Alsrehin et al. VMQ: an algorithm for measuring the Video Motion Quality
US20160071281A1 (en) Method and apparatus for segmentation of 3d image data
Ji et al. A full-reference image quality assessment algorithm based on haar wavelet transform
US20180376146A1 (en) Sdr bit depth enhancement via codeword range amplification in a codec with inverse display management

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant