CN110268643B - 发送装置、发送控制装置、通信系统、发送方法及记录介质 - Google Patents
发送装置、发送控制装置、通信系统、发送方法及记录介质 Download PDFInfo
- Publication number
- CN110268643B CN110268643B CN201780086050.8A CN201780086050A CN110268643B CN 110268643 B CN110268643 B CN 110268643B CN 201780086050 A CN201780086050 A CN 201780086050A CN 110268643 B CN110268643 B CN 110268643B
- Authority
- CN
- China
- Prior art keywords
- characteristic
- pulse
- light
- light emission
- value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 230000005540 biological transmission Effects 0.000 title claims description 72
- 238000004891 communication Methods 0.000 title claims description 52
- 238000000034 method Methods 0.000 title claims description 28
- 238000005286 illumination Methods 0.000 claims abstract description 112
- 238000003384 imaging method Methods 0.000 claims description 63
- 238000005070 sampling Methods 0.000 claims description 38
- 238000004590 computer program Methods 0.000 claims description 11
- 238000010586 diagram Methods 0.000 description 26
- 238000012545 processing Methods 0.000 description 26
- 230000008859 change Effects 0.000 description 17
- 230000002123 temporal effect Effects 0.000 description 17
- 238000000605 extraction Methods 0.000 description 16
- 239000000284 extract Substances 0.000 description 13
- 230000004048 modification Effects 0.000 description 13
- 238000012986 modification Methods 0.000 description 13
- 238000001514 detection method Methods 0.000 description 8
- 230000008569 process Effects 0.000 description 7
- 239000004065 semiconductor Substances 0.000 description 6
- 238000001228 spectrum Methods 0.000 description 6
- 238000004458 analytical method Methods 0.000 description 3
- 239000002131 composite material Substances 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 239000003086 colorant Substances 0.000 description 2
- 238000005401 electroluminescence Methods 0.000 description 2
- 230000000737 periodic effect Effects 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 230000010363 phase shift Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 238000005096 rolling process Methods 0.000 description 2
- 230000035945 sensitivity Effects 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 230000004397 blinking Effects 0.000 description 1
- 125000004122 cyclic group Chemical group 0.000 description 1
- 239000006185 dispersion Substances 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000002834 transmittance Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04B—TRANSMISSION
- H04B10/00—Transmission systems employing electromagnetic waves other than radio-waves, e.g. infrared, visible or ultraviolet light, or employing corpuscular radiation, e.g. quantum communication
- H04B10/11—Arrangements specific to free-space transmission, i.e. transmission through air or vacuum
- H04B10/114—Indoor or close-range type systems
- H04B10/116—Visible light communication
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04B—TRANSMISSION
- H04B10/00—Transmission systems employing electromagnetic waves other than radio-waves, e.g. infrared, visible or ultraviolet light, or employing corpuscular radiation, e.g. quantum communication
- H04B10/50—Transmitters
- H04B10/501—Structural aspects
- H04B10/502—LED transmitters
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04B—TRANSMISSION
- H04B10/00—Transmission systems employing electromagnetic waves other than radio-waves, e.g. infrared, visible or ultraviolet light, or employing corpuscular radiation, e.g. quantum communication
- H04B10/50—Transmitters
- H04B10/516—Details of coding or modulation
- H04B10/524—Pulse modulation
Landscapes
- Physics & Mathematics (AREA)
- Electromagnetism (AREA)
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Optical Communication System (AREA)
- Circuit Arrangement For Electric Light Sources In General (AREA)
Abstract
发送装置具有:照明部,能够沿着时间序列变更发出的光的第一特性以及第二特性;以及控制部,控制照明部以在具有第一时间长度的期间中根据具有与传送的信息对应的波形且具有第一时间长度的发光模式沿着时间序列对从照明部发出的光的第一特性进行调制,并且控制照明部以根据传送的信息以具有比第一时间长度短的第二时间长度的脉冲模式对从照明部发出的光的第二特性进行脉冲调制,并按照分割具有第一时间长度的期间而得到的多个子区间的每个子区间,设定该子区间所包含的各脉冲的与第二特性有关的峰值和谷值,以使得该子区间中的从照明部发出的光的第二特性的平均值成为维持发光模式的波形的值。
Description
技术领域
本发明涉及例如利用光来传送信号的通信系统以及在那样的通信系统中所利用的发送装置、发送控制装置、发送方法及发送用计算机程序。
背景技术
以往,广泛利用发光二极管(Light Emitting Diode,LED)作为照明光源。LED与白炽灯或者荧光灯相比较,具有响应速度快这个特征。研究一种利用该特征,通过以人眼不能够识别的速度使LED闪烁,从而在从LED发出的光上叠加信息来进行通信的可见光通信技术。特别是在照明光上叠加传送的信息的技术也被称为照明光通信。
讨论可见光通信在电波的使用被限制的场所的通信用途、限定于室内等光到达的范围的信息分布、或者在Intelligent Transport Systems(ITS;智能交通系统)等中的利用。
在可见光通信中,为了传送数据,提出将发送数据调制为由高输出的脉冲光和低输出的脉冲光构成的可见光信号(例如参照专利文献1)。
专利文献1:日本特开2009-290359号公报
在通过脉冲调制在可见光上叠加发送的信息的情况下,为了使人不能够感知到由该脉冲调制引起的可见光的闪变,而例如要求使光源以数kHz这样的高速闪烁。另一方面,为了接收信息的接收装置对可见光上叠加的信息进行解调,而要求接收装置能够识别那样的高速下的可见光的闪烁。例如,为了识别那样的高速下的可见光的闪烁,优选接收装置具有滚动快门方式的相机、且能调节曝光或者灵敏度。然而,根据接收装置具有的相机的曝光方式,接收装置有时不能够识别那样的高速下的可见光的闪烁。例如,在接收装置具有的相机的快门速度被固定在比脉冲调制的周期慢的速度的情况下,接收装置不能够识别那样的高速下的可见光的闪烁。结果是接收装置有时无法解调被传送的信息。
发明内容
在一个方面,本发明的目的在于提供一种不管接收叠加有信息的光的接收装置具有的相机的曝光方式如何而都能够将信息向接收装置传送的发送装置。
根据一个实施方式,提供一种发送装置。该发送装置具有:照明部,能够沿着时间序列变更发出的光的第一特性以及第二特性;以及控制部,控制照明部以在具有第一时间长度的期间中根据具有与传送的信息对应的波形且具有第一时间长度的发光模式沿着时间序列对从照明部发出的光的第一特性进行调制,并且控制照明部以根据传送的信息以具有比第一时间长度短的第二时间长度的脉冲模式对从照明部发出的光的第二特性进行脉冲调制,并按照分割具有第一时间长度的期间而得到的多个子区间的每个子区间,设定该子区间所包含的各脉冲的与第二特性有关的峰值和谷值,以使得该子区间中的从照明部发出的光的第二特性的平均值成为维持发光模式的波形的值。
另外,根据另一实施方式,提供一种发送控制装置。该发送控制装置具有:发光模式调制部,控制照明部以在具有第一时间长度的期间中根据具有与传送的信息对应的波形且具有第一时间长度的发光模式沿着时间序列对从照明部发出的光的第一特性进行调制;以及脉冲模式调制部,控制照明部以根据传送的信息以具有比第一时间长度短的第二时间长度的脉冲模式对从照明部发出的光的第二特性进行脉冲调制,并按照分割具有第一时间长度的期间而得到的多个子区间的每个子区间,设定该子区间所包含的各脉冲的与第二特性有关的峰值和谷值,以使得该子区间中的从照明部发出的光的第二特性的平均值成为维持发光模式的波形的值。
根据又一实施方式,提供具有发送装置和接收装置的通信系统。在该通信系统中,发送装置具有:照明部,能够沿着时间序列变更发出的光的第一特性以及第二特性;以及控制部,控制照明部以在具有第一时间长度的期间中根据具有与传送的信息对应的波形且具有第一时间长度的发光模式沿着时间序列对从照明部发出的光的第一特性进行调制,并且控制照明部以根据传送的信息以具有比第一时间长度短的第二时间长度的脉冲模式对从照明部发出的光的第二特性进行脉冲调制,并按照分割具有第一时间长度的期间而得到的多个子区间的每个子区间,设定该子区间所包含的各脉冲的与第二特性有关的峰值和谷值,以使得该子区间中的从照明部发出的光的第二特性的平均值成为维持发光模式的波形的值。
接收装置具有:拍摄部,以规定的拍摄周期生成映现有包括被来自发送装置的光照射的范围的至少一部分的拍摄范围的图像;以及控制部,基于由拍摄部生成的多个图像来对传送的信息进行解码。
根据另一实施方式,提供一种发送方法。该发送方法包括:在具有第一时间长度的期间中,根据具有与传送的信息对应的波形且具有第一时间长度的发光模式沿着时间序列对从照明部发出的光的第一特性进行调制;以及根据传送的信息以具有比第一时间长度短的第二时间长度的脉冲模式对从照明部发出的光的第二特性进行脉冲调制,并按照分割具有第一时间长度的期间而得到的多个子区间的每个子区间,设定该子区间所包含的各脉冲的与第二特性有关的峰值和谷值,以使得该子区间中的从照明部发出的光的第二特性的平均值成为维持发光模式的波形的值。
根据又一实施方式,提供一种发送用计算机程序。该发送用计算机程序包括命令,该命令用于使计算机执行:在具有第一时间长度的期间中,根据具有与传送的信息对应的波形且具有第一时间长度的发光模式沿着时间序列对从照明部发出的光的第一特性进行调制;以及根据传送的信息以具有比第一时间长度短的第二时间长度的脉冲模式对从照明部发出的光的第二特性进行脉冲调制,并按照分割具有第一时间长度的期间而得到的多个子区间的每个子区间,设定该子区间所包含的各脉冲的与第二特性有关的峰值和谷值,以使得该子区间中的从照明部发出的光的第二特性的平均值成为维持发光模式的波形的值。
本说明书所公开的发送装置不管接收叠加有信息的光的接收装置具有的相机的曝光方式如何都能够将信息向接收装置传送。
附图说明
图1是一个实施方式的通信系统的示意结构图。
图2是图1所示的通信系统中所利用的发送装置的硬件结构图。
图3是与发送处理有关的控制部的功能框图。
图4是表示发光模式与所叠加的符号的值的关系的一个例子的图。
图5是表示与发光模式对应的、YUV颜色空间中的各成分的值的时间变化和RGB颜色空间中的各成分的值的时间变化的关系的一个例子的图。
图6是表示与发光模式对应的一个颜色成分的明亮度的时间变化的一个例子的图。
图7是基于发光模式的调制和脉冲调制的复用的说明图。
图8是变形例的、基于发光模式的调制和脉冲调制的复用的说明图。
图9是其它变形例的、基于发光模式的调制和脉冲调制的复用的说明图。
图10是发送装置的发送处理的动作流程图。
图11是图1所示的通信系统中所利用的接收装置的硬件结构图。
图12是与接收处理相关的控制部的功能框图。
图13是与通过发光模式叠加的信息有关的接收处理的概念图。
图14是与通过脉冲调制叠加的信息有关的接收处理的概念图。
图15是接收装置的接收处理的动作流程图。
具体实施方式
以下,参照图,对通信系统以及通信系统中所利用的发送装置进行说明。在该通信系统中,发送装置以具有与传送的信息对应的波形且具有第一时间长度的发光模式对从照明部发出的光的第一特性进行调制。并且,发送装置以具有比第一时间长度短的第二时间长度的脉冲模式根据传送的信息对从照明部发出的光的第二特性进行脉冲调制。此时,发送装置按照分割具有通过发光模式调制后的第一时间长度的期间而得到的多个子区间的每个子区间,设定该子区间所包含的各脉冲的与第二特性有关的峰值以及谷值,以便维持发光模式的波形。由此,该发送装置不管接收装置具有的相机的曝光方式如何而都能够将叠加到从照明部发出的光上的信息向接收装置传送。
图1是一个实施方式的通信系统的示意结构图。通信系统100具有发送装置1和接收装置2。而且,发送装置1在本装置具有的照明部发出的光上叠加所发送的信息。另一方面,接收装置2具有拍摄部,根据由该拍摄部按时间序列连续地拍摄包括被来自发送装置1的光照明的物体3的拍摄范围而获得的、按照时间序列排列的多个图像,来解码叠加在光上的信息。此外,在该例子中,通信系统100仅包括一个接收装置2,但通信系统100所包括的接收装置2的台数并不局限于1台。通信系统100也可以包括多个接收装置2。另外,详细如后述那样,接收装置2并不局限于具有能识别经脉冲调制的光的各个脉冲的曝光方式的相机,也可以具备不能识别经脉冲调制的光的各个脉冲的曝光方式的相机。
图2是发送装置1的硬件结构图。发送装置1具有通信接口部11、存储部12、存储介质访问装置13、照明部14以及控制部15。而且,发送装置1将经由通信接口部11或者存储介质访问装置13获取到的或者预先存储在存储部12中的应传送的信息叠加到照明部14发出的光上,来发送该信息。
通信接口部11例如具有用于将发送装置1与有线或者无线的通信网络连接的通信接口及其控制电路。而且,通信接口部11将从其它装置经由通信网络接收到的信息向控制部15转交。
存储部12例如具有读出专用的非易失性的半导体存储器和可读写的易失性的半导体存储器。而且存储部12例如存储经由通信接口部11获取到的或者从存储介质访问装置13读入的应传送的信息。另外,存储部12存储控制部15为了进行发送处理而利用的各种信息以及程序。例如,存储部12按每个符号值存储表示与该符号值对应的发光模式的波形数据。表示发光模式的波形数据例如包括与该发光模式对应的来自照明部14的光的控制开始时刻的发光模式的相位、周期、被调制的光的特性的最大值以及最小值等。另外,存储部12按每个符号值存储与该符号值对应的脉冲调制中的脉冲模式。另外,在应传送的信息是固定的情况下,存储部12也可以预先存储表示该信息所包含的各符号的发光模式的波形数据以及脉冲模式。
存储介质访问装置13例如是访问磁盘、半导体存储卡以及光存储介质之类的存储介质16的装置。存储介质访问装置13例如读入存储介质16中存储的、在控制部15上执行的发送处理用的计算机程序或应传送的信息,并转交给控制部15。
照明部14具有能够使发出的光的第一特性以及第二特性沿着时间序列变化的至少一个发光元件、和驱动电路。驱动电路根据来自控制部15的控制信号来驱动该至少一个发光元件,以变更从该至少一个发光元件发出的光的特性。驱动电路例如根据由控制信号指示的、从该发光元件发出的光的亮度或者颜色成分的明亮度,来调节在发光元件中流动的电流的大小或者电流在发光元件中流动的期间的占空比(即,采用脉冲宽度调制的情况)。此外,在采用脉冲宽度调制的情况下,以比脉冲模式短的周期例如第二时间长度的1/1000~1/100的周期控制在发光元件中流动的电流的导通/截止即可。
能够沿着时间序列变化的光的第一特性例如能够设为发光颜色。或者,能够沿着时间序列变化的光的第一特性也可以是亮度。或者,能够沿着时间序列变化的光的第一特性也可以是发光颜色和亮度的组合。
另外,能够沿着时间序列变更的光的第二特性能够设为规定的颜色成分或亮度。此外,对第一特性和第二特性的组合没有特别限制。例如能够第一特性为发光颜色,且第二特性设为规定的颜色成分。或者,也可以第一特性以及第二特性均为亮度。或者,也可以第一特性为亮度,第二特性为发光颜色。通过设为这样的组合,对于脉冲调制,只要控制一个发光元件即可,所以能够简化用于进行基于发光模式的调制和脉冲调制的复用的控制。
在第一特性或者第二特性是与颜色相关的特性的情况下,照明部14例如具有发光颜色相互不同的至少两种发光元件,例如红色LED、绿色LED以及蓝色LED中的至少两种。而且,通过使各发光元件发出的亮度的比率沿着时间序列变化,由此照明部14发出的光的颜色也沿着时间序列变化。或者,照明部14也可以具有能调制发光颜色本身的至少一个发光元件。能调制发光颜色本身的发光元件例如能够设为如荧光灯那样发出包括多个波长的光的发光元件、以及如具有配置成阵列状的滤色片的液晶面板那样能够调整光的每个波长的透过率的光调制元件的组合。
另外,在第一特性以及第二特性均为亮度的情况下,照明部14也可以具有能够沿着时间序列变更亮度的至少一个发光元件、例如白色LED或有机电致发光(ElectroLuminescence,EL)元件。
照明部14通过按照来自控制部15的控制信号使发出的光的第一特性根据与传送的信息所包含的符号的值对应的发光模式以具有第一时间长度的周期沿时间序列变化,从而在从照明部14发出的光上叠加信息。
并且,照明部14按与符号的值对应的脉冲模式以具有比第一时间长度短的第二时间长度的周期对发出的光的第二特性进行脉冲调制。因此,从照明部14发出的光通过基于发光模式的调制和脉冲调制而被多重调制。
控制部15是发送控制装置的一个例子,具有一个或者多个处理器和其周边电路。而且控制部15控制整个发送装置1。控制部15在经由通信接口部11或者从存储介质访问装置13接受到应传送的信息的情况下,将该信息暂时存储至存储部12。而且,控制部15在执行发送处理时,从存储部12读入应传送的信息,并以符号单位分割该信息。而且,控制部15按每个符号从存储部12读入表示与该符号的值对应的发光模式的波形数据以及表示与该符号的值对应的脉冲模式的数据。控制部15控制照明部14,以使得根据发光模式使从照明部14发出的光的第一特性沿着时间序列变化,并且根据脉冲模式使从照明部14发出的光的第二特性沿着时间序列变化。
此外,也可以预先设定执行发送处理的定时。或者,也可以通过来自未图示的用户接口部的操作或者根据经由通信接口部11接收到的来自其它装置的发送处理的开始指示信号,而控制部15开始发送处理。或者,另外,控制部15也可以按照每一恒定周期反复执行发送处理。
图3是与发送处理相关的控制部15的功能框图。控制部15具有发光模式调制部151和脉冲模式调制部152。
发光模式调制部151以与符号的值对应的发光模式对从照明部14发出的光的第一特性进行调制。
图4是表示发光模式与所叠加的符号的值的关系的一个例子的图。在图4中,横轴表示时间,纵轴表示从发送装置1发出的光的第一特性。发光模式401以及发光模式402分别相当于符号值“0”、“1”。而且,在发光模式401以及发光模式402中,光的第一特性都随着时间经过而周期性地变化,但相位相互相差180°。这样,通过使光的第一特性的时间变动中的相位按每个符号值而不同,从而发送装置1能够在照明部14发出的光上叠加信息。此外,发光模式和符号值的关系并不局限于该例子。
在本实施方式中,例如如图4所示,发光模式成为光的第一特性随着时间经过以正弦波状的方式变化的周期性的变动模式。发光模式并不局限于该例子,例如也可以是光的第一特性以三角形状或矩形脉冲状的方式周期性地变动的模式。另外,发光模式并不局限于周期性地变动的模式,例如也可以是光的第一特性在与一个符号对应的期间内单调地变化的模式。例如,也可以在与符号值“0”对应的发光模式中第一特性单调地变化,以使在与该符号对应的期间的开始时刻,从照明部14发出的光的第一特性具有第一值,在该期间的结束时刻,第一特性具有第二值。另一方面,也可以在与符号值“1”对应的发光模式中光的特性单调地变化,以使在与该符号对应的期间的开始时刻,从照明部14发出的光的第一特性具有第二值,在该期间的结束时刻,第一特性具有第一值。
发光模式的一个周期、即第一时间长度例如被设定为接收装置2具有的拍摄部的拍摄速率的倒数的数倍,以使得接收装置即使在接收装置2具有的拍摄部的拍摄速率下也能够再现该发光模式的波形。例如,第一时间长度能够设为数10msec~数100msec(即,与第一时间长度对应的第一频率为数Hz~数10Hz)。
发光模式调制部151例如以具有一个~多个位的位串为单位分割应传送的信息,并将各位串分别设为一个符号。发光模式调制部151从存储部12读入表示与符号的值对应的发光模式的数据。而且,发光模式调制部151针对每个符号设定具有规定长度的期间。发光模式调制部151在该期间中以一个~数个周期使照明部14重复与符号值对应的发光模式。
此外,发光模式调制部151也可以在应传送的信息的规定的位置例如前端包括规定的符号串(例如,“01010101”)作为前导码。或者,发光模式调制部151也可以在应传送的信息中包括循环冗余校验(Cyclic Redundancy Check,CRC)码之类的错误检测码。通过发光模式调制部151将这些符号串或者错误检测码包括在应传送的信息中,从而接收装置2容易将所传送的信息准确解码。
发光模式调制部151能够利用在无线通信中所利用的各种调制方式,作为与符号的值对应的发光模式的调制方式。例如,发光模式调制部151也可以使一个符号与一个位对应。该情况下,发光模式调制部151如二相相移键控(binary phase-shift keying,BPSK)那样在与符号的值为“0”对应的发光模式和与符号的值为“1”对应的发光模式之间使相位反转180°。
另外,发光模式调制部151也可以使一个符号与两个位对应。该情况下,发光模式调制部151例如也可以根据四相相移键控(quadriphase phase-shift keying,QPSK)设定光的第一特性周期性地变动的发光模式。即,发光模式调制部151也可以设定针对符号可取的四种值(“00”、“01”、“10”、“11”)的各种,相位各相差90°的、光的第一特性周期性地变动的发光模式。
或者,发光模式调制部151也可以根据符号的值也调制光的第一特性的变化宽度(以下,称为振幅水平)。该情况下,发光模式调制部151也可以设定如正交相位振幅调制(quadrature amplitude modulation,QAM)那样,针对符号可取的各值,振幅水平和相位的组合不同的发光模式。此时,发光模式调制部151也可以关于振幅水平,在某个符号值,在与符号对应的期间内使振幅水平单调增加,在其它符号值,在与符号对应的期间内使振幅水平单调减少。通过像这样在与一个符号对应的期间内,根据符号的值使振幅水平变化,从而即使振幅水平因由本身物体3引起的来自照明部14的光的反射或者散射而变化,接收装置2也能够容易地准确地确定发光模式。
图5是表示在发光模式中沿着时间序列变化的光的第一特性为发光颜色的情况下的、与发光模式对应的、YUV颜色空间中的各成分的值的时间变化和RGB颜色空间中的各成分的值的时间变化的关系的一个例子的图。
在图5的左侧示出与发光模式对应的YUV颜色空间中的各成分的值。如最上面的曲线图501所示,Y成分、即亮度成分被保持为恒定而不随时间经过而变化。另一方面,如中央的曲线图502所示,作为一个色差成分的U成分的值根据发光模式随着时间经过而变化。同样地,如最下面的曲线图503所示,作为另一个色差成分的V成分的值也根据发光模式随着时间经过而变化。
另一方面,在图5的右侧示出与图5的左侧所示的发光模式对应的、RGB颜色空间中的各成分的值。曲线图511~513分别表示红色成分、绿色成分、蓝色成分的时间变化。如曲线图511~513所示,各颜色成分根据发光模式而变化。
在发光模式中沿着时间序列变化的光的第一特性为发光颜色的情况下,例如发光模式调制部151在发光模式的一个周期内设定多个取样点(例如,10~20个点)。而且,发光模式调制部151在YUV或HLS这种的亮度成分和颜色成分被相互独立地表示的颜色空间中,求出使该颜色成分的值以正弦波状的方式变化时的各取样点处的颜色成分的值。而且,发光模式调制部151针对各取样点,根据该颜色空间中的亮度成分的值和颜色成分的值来求出能够与照明部14具有的各发光元件的发光颜色对应的RGB颜色空间中的红色、绿色以及蓝色的各成分的值。而且,发光模式调制部151针对每个取样点,根据红色、绿色以及蓝色的各成分的值来决定从各发光元件发出的颜色成分的明亮度。此外,优选发光模式调制部151将从照明部14发出的光整体的亮度成分的值保持为恒定。由此,即使照明部14发出的光的颜色根据发光模式沿着时间序列变化,该光的每单位时间的光量也被保持为恒定。人的视觉对光量的变化是比较敏感的,但对颜色的变化是比较迟钝的。因此,通过将每单位时间的光量保持为恒定,发光模式调制部151能够使人难以感知到来自照明部14的光的特性根据发光模式沿着时间序列变化这一情况。
图6是表示与发光模式对应的一个颜色成分的明亮度的时间变化的一个例子的图。在图6中,横轴表示时间,纵轴表示明亮度。上侧所示的曲线图601作为一个例子表示与发光模式对应的蓝色成分的时间变化。在该例子中,在发光模式的一个周期内设定取样点a、b、c。下侧所示的曲线图602表示各取样点处的蓝色成分的明亮度。如曲线图602所示,例如,针对用取样点数分割发光模式的一个周期而得到的每个子区间611,离散地变更蓝色成分,以使得成为该子区间611所包括的取样点的蓝色成分值。
另外,在根据发光模式被调制的光的第一特性为亮度的情况下,例如,发光模式调制部151也在发光模式的一个周期内设定多个取样点(例如,10~20个点)。而且,发光模式调制部151根据该发光模式决定各取样点处的照明部14的发光元件发出的光的亮度即可。
发光模式调制部151如上述那样按传送的信息所包括的每个符号决定与该符号对应的各取样点处的照明部14的各发光元件发出的颜色成分值或者亮度。而且,发光模式调制部151针对照明部14具有的发光元件中的与被脉冲调制的第二特性无关的发光元件,生成表示每个符号的各取样点处的颜色成分值或者亮度的控制信号,并向照明部14输出。另外,发光模式调制部151针对照明部14具有的发光元件中的与被脉冲调制第二特性相关的发光元件,向脉冲模式调制部152通知各取样点处的该发光元件发出的颜色成分的值或者亮度。
脉冲模式调制部152针对应通过脉冲调制传送的信息,也与应通过基于发光模式的调制传送的信息同样地,以具有一个~多个位的位串为单位进行分割,并将各位串分别设为一个符号。脉冲模式调制部152从存储部12读入表示与符号的值对应的脉冲模式的数据。而且,脉冲模式调制部152针对每个符号,以具有第二时间长度且与该符号的值对应的脉冲模式对从照明部14发出的光的第二特性进行脉冲调制。在符号表示1位的数据的情况下,脉冲模式能够设为基于曼彻斯特码的模式。或者,在符号表示2位的数据的情况下,脉冲模式也可以是基于4Pulse Phase Modulation(PPM;4脉冲相位调制)方式的模式。另外,第二时间周期例如能够设为数100μsec~1msec(即,与第二时间周期对应的第二频率为1kHz~数kHz)。
此外,脉冲模式调制部152也可以与发光模式调制部151同样地在应传送的信息的前端包括规定的符号串作为前导码。或者,脉冲模式调制部152也可以在应传送的信息中包括CRC码这种错误检测码。通过脉冲模式调制部152将这些符号串或者错误检测码包括在应传送的信息中,从而接收装置2容易将通过脉冲模式被传送的信息准确解码。
在本实施方式中,脉冲模式调制部152针对基于发光模式的调制中的每个子区间,设定该子区间所包含的各脉冲的与第二特性有关的峰值和谷值,以使得复用基于发光模式的调制和基于脉冲模式的调制。此外,以下,将脉冲的与第二特性有关的峰值以及谷值分别简称为脉冲的峰值以及谷值。例如,脉冲模式调制部152针对每个子区间,设定该子区间所包含的各脉冲的峰值和谷值,以使得该子区间内的第二特性的平均值与该子区间所包括的发光模式的取样点处的第二特性的值相等。
此外,在以下的说明中,设通过发光模式而被调制的光的第一特性为颜色成分,被脉冲调制的光的第二特性为规定的颜色成分。然而,即使在第一特性和第二特性的组合与上述不同的情况下,脉冲模式调制部152按照下述的说明设定各脉冲的峰值以及谷值即可。
图7是基于发光模式的调制和脉冲调制的复用的说明图。在图7中,横轴表示时间,纵轴表示被脉冲调制的颜色成分的明亮度。此外,在图7中,作为一个例子,对蓝色成分进行脉冲调制。如最上面的曲线图701所示,通过基于发光模式的调制,蓝色成分在各子区间PS1~PS3中变化。在图7所示的例子中,在子区间PS1~PS3中,在子区间PS2中,蓝色成分最亮,在子区间PS1中,蓝色成分最暗。
另外,如第二个曲线图702所示,根据传送的信息,以具有与比各个子区间PS1~PS3短的第二时间周期相当的脉冲长PW的脉冲模式对蓝色成分进行脉冲调制。在该例子中,通过曼彻斯特码,对蓝色成分进行脉冲相位调制。即,每个符号中的、脉冲成为谷值的期间和脉冲成为峰值的期间的长度相等。
最下面的曲线图703表示复用基于发光模式的调制和脉冲调制的、蓝色成分的时间变化。针对子区间PS1~PS3的各个,设定各脉冲的峰值以及谷值,以使得该子区间中的、被多重调制的蓝色成分的平均值等于与基于发光模式的调制对应的、该子区间所包含的取样点处的蓝色成分的值。在该例子中,基于包括该脉冲的子区间中的、与基于发光模式的调制对应的、该子区间所包括的取样点处的蓝色成分的值来设定各脉冲的峰值。另一方面,各脉冲的谷值被设定为恒定值。因此,根据下式来设定各脉冲的峰值。
[式1]
Ck2≡恒定
此处,Ck0表示子区间k(在第一时间周期内设定N个取样点的情况下,k=1、2、...、N)中的、与基于发光模式的调制对应的、子区间k所包括的取样点处的蓝色成分的值。另外,Ck1表示子区间k所包括的各脉冲的峰值。而且,Ck2表示子区间k所包括的各脉冲的谷值。
图8是变形例的、基于发光模式的调制和脉冲调制的复用的说明图。在该变形例中,各脉冲的振幅被保持为恒定,代替不仅各脉冲的峰值,谷值也根据基于发光模式的调制被调整。在图8中,横轴表示时间,纵轴表示被脉冲调制的颜色成分的明亮度。此外,在图8中,作为一个例子,设对蓝色成分进行脉冲调制。
与图7同样地,如最上面的曲线图801所示,通过基于发光模式的调制,蓝色成分在子区间PS1~PS3内变化。另外,如第二个曲线图802所示,根据传送的信息,以具有与比各个子区间PS1~PS3短的第二时间周期相当的脉冲长PW的脉冲模式对蓝色成分进行脉冲相位调制。
最下面的曲线图803表示复用基于发光模式的调制和脉冲调制的、蓝色成分的时间变化。在该例子中也是,针对每个子区间,设定各脉冲的峰值以及谷值,以使得该子区间中的被多重调制的蓝色成分的平均值等于与基于发光模式的调制对应的该子区间所包括的取样点处的蓝色成分的值。在该例子中,各脉冲的振幅被保持为恒定。因此,根据下式来设定各脉冲的峰值以及谷值。
[式2]
此处,A为脉冲的振幅。根据该变形例,不管发光模式的波形如何,都将脉冲的振幅保持为恒定,所以接收装置2容易确定叠加到从照明部14发出的光上的脉冲模式。
图9是其它变形例的基于发光模式的调制和脉冲调制的复用的说明图。在该变形例中,根据4PPM码,对来自照明部14的光进行脉冲相位调制。即,在该例子中,与一个符号相当的具有第二时间长度PW的脉冲期间被4分割,在被4分割的脉冲期间中的任意一个中,根据符号的值,脉冲成为谷值,在除此以外,脉冲成为峰值。在图9中,横轴表示时间,纵轴表示被脉冲调制的颜色成分的明亮度。此外,在图9中,作为一个例子,设对蓝色成分进行脉冲调制。
与图7同样地,如最上面的曲线图901所示,通过基于发光模式的调制,蓝色成分在子区间PS1~PS3内变化。另外,如第二个曲线图902所示,根据传送的信息,以具有比各个子区间PS1~PS3短的第二时间长度PW的脉冲模式对蓝色成分进行脉冲相位调制。
最下面的曲线图903表示复用基于发光模式的调制和脉冲调制的蓝色成分的时间变化。在该例中也是,针对每个子区间,设定各脉冲的峰值以及谷值,以使得该子区间中的被多重调制的蓝色成分的平均值等于与基于发光模式的调制对应的该子区间所包括的取样点处的蓝色成分的值。在该例子中,各脉冲的谷值被保持为恒定。另外,在与一个符号对应的第二时间长度的1/4中,脉冲成为谷值,而在第二时间长度的3/4中,脉冲成为峰值。因此,根据下式来设定各脉冲的峰值以及谷值。
[式3]
Ck2≡恒定
此外,在使用4PPM码的情况下,也可以对被脉冲调制的颜色成分进行脉冲调制,以使得在与一个符号对应的第二时间长度的3/4中,脉冲成为谷值,而在第二时间长度的1/4中,脉冲成为峰值。此时,例如,根据下式来设定各脉冲的峰值以及谷值。
[式4]
Ck2≡恒定
此外,在使用4PPM码的情况下,也可以设定各脉冲的峰值以及谷值,以使得各脉冲的振幅为恒定。
此外,只要各子区间内的被脉冲调制的颜色成分的平均值是维持与发光模式对应的波形的值,则各子区间内的被脉冲调制的颜色成分的平均值与该子区间所包括的发光模式的取样点处的该颜色成分的值也可以不一致。例如,也可以针对各子区间,设定各脉冲的峰值以及谷值,以使得该子区间内的被脉冲调制的颜色成分的平均值比与该子区间对应的发光模式的取样点处的该颜色成分的值高规定值。此时,也可以设定各脉冲的峰值以及谷值,以使得子区间所包括的发光模式的取样点处的颜色成分的值越高,则规定值也越大。或者另外,也可以针对各子区间,设定各脉冲的峰值以及谷值,以使得该子区间内的被脉冲调制的颜色成分的平均值比该子区间所包括的发光模式的取样点处的颜色成分的值低规定值。这样,即使在设定各脉冲的峰值以及谷值的情况下,也维持发光模式的波形,所以接收装置2通过对利用发光模式而被调制的光进行解调,从而能够解码被传送的信息。
脉冲模式调制部152针对每个符号,生成在与该符号的值对应的脉冲模式中第二特性值成为所设定的脉冲的峰值以及谷值的控制信号,并将该控制信号向照明部14输出。
图10是发送装置1的发送处理的动作流程图。
发送装置1的控制部15的发光模式调制部151按符号单位分割传送的信息(步骤S101)。然后,发光模式调制部151针对每个符号,设定叠加发光模式的期间(步骤S102)。另外,发光模式调制部151选择包含在传送的信息中且未关注的符号中的前端的符号作为关注的符号(步骤S103)。然后,发光模式调制部151根据该关注的符号值来决定发光模式(步骤S104)。
发光模式调制部151在具有第一时间长度的期间中设定多个取样点,并针对包括取样点的每个子区间,根据发光模式来决定照明部14具有的各发光元件的颜色成分值Ck0(步骤S105)。然后,发光模式调制部151针对未进行脉冲调制的各颜色成分,按每个子区间生成使对应的发光元件以该子区间所包括的取样点处的颜色成分值发光的控制信号,并将该控制信号向照明部14输出(步骤S106)。
另一方面,脉冲模式调制部152针对每个子区间,设定该子区间所包含的各脉冲的峰值Ck1以及谷值Ck2,以使得该子区间内的被脉冲调制的颜色成分的平均值与取样点处的颜色成分值Ck0相等(步骤S107)。脉冲模式调制部152生成针对被脉冲调制的颜色成分,基于具有为各子区间所设定的各脉冲的峰值Ck1及谷值Ck2和与每个符号的值对应的第二时间长度的脉冲模式进行脉冲调制的控制信号。然后,脉冲模式调制部152将该控制信号向照明部14输出(步骤S108)。
控制部15判定是否剩余未被设定为关注的符号的未关注的符号(步骤S109)。如果剩余未关注的符号(步骤S109-是),则控制部15反复进行步骤S103及其之后的处理。
另一方面,如果没有剩余未关注的符号(步骤S109-否),则控制部15结束发送处理。
接下来,对接收装置2进行说明。
图11是接收装置2的硬件结构图。接收装置2例如可以为具有拍摄部的移动终端或者固定型的装置。而且,接收装置2具有通信接口部21、存储部22、存储介质访问装置23、拍摄部24、用户接口部25以及控制部26。接收装置2通过解析利用拍摄部24以规定的拍摄速率沿着时间序列多次拍摄包括被来自发送装置1的光照射的区域的至少一部分的拍摄范围而获得的多个图像,来解码发送装置1发送出的信息。
通信接口部21例如具有用于将接收装置2与有线或者无线的通信网络连接的通信接口及其控制电路。而且,通信接口部21将从控制部26接受到的信息经由通信网络向其它装置例如服务器发送。另外,通信接口部21将从其它装置接受到的信息转交给控制部26。
存储部22例如具有读出专用的非易失性的半导体存储器以及可读写的易失性的半导体存储器。并且,存储部22例如在接收处理的执行期间存储由拍摄部24沿着时间序列生成的多个图像。另外,存储部22存储控制部26为了进行接收处理而利用的各种信息以及程序。并且,存储部22也可以存储由发送装置1发送且被解码的信息。
存储介质访问装置23例如是访问磁盘、半导体存储卡以及光存储介质之类的存储介质27的装置。存储介质访问装置23例如读入存储于存储介质27的、在控制部26上执行的、接收处理用的计算机程序,并转交给控制部26。
拍摄部24例如具有由CCD或者CMOS之类的、对发送装置1的照明部14发出的光具有感光度的固体拍摄元件的二维阵列形成的图像传感器、以及在该图像传感器上成像拍摄范围的像的成像光学系统。此外,优选以在拍摄范围包括被来自发送装置1的照明部14的光照射的区域的至少一部分的方式,例如以在拍摄范围包括图1的物体3的方式配置接收装置2。并且,拍摄部24在接收装置2进行接收处理的期间,以规定的拍摄速率进行拍摄,每次进行拍摄时生成图像。此外,在第一特性值或者第二特性值与颜色有关的情况下,优选拍摄部24生成的图像是彩色图像。
另外,拍摄部24例如可以采用滚动快门方式之类的、能够与脉冲调制对应的可实现高速的快门速度的曝光方式,或者,也可以采用不能够与脉冲调制对应的曝光方式。在拍摄部24采用能与脉冲调制对应的曝光方式、且恢复通过脉冲调制叠加到光上的信息的情况下,规定的拍摄速率例如能够设为与第二时间长度的1/2以下的时间周期相当的拍摄速率。另一方面,在只要能够恢复通过基于发光模式的调制叠加到光上的信息即可的情况下,规定的拍摄速率例如能够设为与第一时间长度的1/2以下的时间周期相当的拍摄速率。
拍摄部24每当生成图像时,将该图像向控制部26输出。
用户接口部25例如具有触摸面板显示器之类的、用于人操作接收装置2或者用于接收装置2向人显示信息的器件。并且,用户接口部25将与人的操作对应的操作信号、例如指示接收处理的开始的操作信号向控制部26输出。另外,用户接口部25显示从控制部26接受到的各种信息以及由拍摄部24生成的图像。例如,用户接口部25也可以与由拍摄部24生成的图像一起显示通过接收处理解码的、从发送装置1发送的信息。
控制部26具有一个或者多个处理器及其周边电路。并且,控制部26控制接收装置2整体。另外,控制部26对由拍摄部24沿着时间序列生成的多个图像进行频率解析,解码从发送装置1发送的信息。
图12是与接收处理有关的控制部26的功能框图。控制部26具有分割部261、特征提取部262、发光模式解码部263以及脉冲解码部264。控制部26具有的这些各部例如是通过在控制部26具有的处理器上进行动作的计算机程序来实现的软件模块。或者,控制部26具有的这些各部也可以作为实现该各部的功能的固件安装于接收装置2。或者,另外,控制部26具有的这些各部例如也可以作为在Web浏览器上进行动作的Web应用来安装。此外,在拍摄部24采用不能够与脉冲调制对应的曝光方式的情况下,可以省略脉冲解码部264。另外,在拍摄部24采用能够与脉冲调制对应的曝光方式的情况下,可以省略发光模式解码部263。
图13是与通过发光模式叠加的信息有关的接收处理的概念图。如果被来自发送装置1的照明部14的光照明的物体映现在由拍摄部24生成的各图像中,则映现有该物体的区域所包括的像素值受照明部14发出的光的第一特性的变化影响。另外,在拍摄部24拍摄时的快门速度长于第二时间长度的情况下,映现有该物体的区域所包括的像素值成为与在快门被开放的期间中对来自照明部14的光量进行积分所得的值相当的值。因此,由拍摄部24生成的图像1300-1、1300-2、1300-3、…、1300-n分别被分割成多个局部区域1301。而且,从各局部区域提取表示照明部14发出的光的第一特性的特征量1302,调查该特征量1302的时间变化,从而确定发光模式1303。因此,接收装置2能够解码与发光模式1303对应的符号的值。
图14是与通过脉冲调制叠加的信息有关的接收处理的概念图。在图14中,横轴表示时间。另外,在左侧的曲线图中,纵轴表示经过脉冲调制的颜色成分的明亮度。而在右侧的曲线图中,纵轴表示像素值。如曲线图1401所示,设对照明部14发出的光中的任意一个颜色成分进行脉冲调制。在这种情况下,如果拍摄部24以各脉冲的脉冲宽度以下的周期t进行拍摄,则如曲线图1402所示,映现有被照明部14发出的光照明的物体的局部区域内的像素值中的被脉冲调制的颜色成分也沿时间序列变化。因此,通过调查像素值中的被脉冲调制的颜色成分的时间变化来确定脉冲模式,接收装置2能够解码与该脉冲模式对应的符号的值。
分割部261将各图像分割成多个局部区域。例如,分割部261也可以对各图像沿水平方向以及垂直方向分别进行2~4分割。另外,分割部261也可以以多个分割方法分割各图像。例如,分割部261也可以在水平方向以及垂直方向的各方向对各图像进行2分割,对各图像设定四个局部区域,并且在水平方向以及垂直方向的各方向对各图像进行3分割,对各图像设定9个局部区域。由此,能够以在任意的局部区域中显示出被来自发送装置1的光照明的物体的区域或者发送装置1的照明部14本身占据局部区域的大部分的方式设定局部区域的概率变高。
分割部261将表示各图像的各局部区域的信息(例如,局部区域间的边界的位置)转交给特征提取部262。
特征提取部262从各图像的各局部区域提取表示根据从发送装置1的照明部14发出的光的发光模式沿时间序列变化的光的第一特性的特征量。例如,在沿时间序列变化的光的第一特性为亮度的情况下,特征提取部262提取各局部区域的像素的亮度值的平均值或者中央值作为特征量。另外,在沿时间序列变化的光的第二特性为发光颜色的情况下,特征提取部262将各局部区域的各像素的值变换为YUV颜色空间或者HLS颜色空间的值,并计算各像素的颜色成分(例如U成分、V成分、或者色相)的平均值或者中央值作为特征量。此外,在由拍摄部24得到的图像的各像素的值被以RGB颜色空间表示的情况下,特征提取部262能够通过将图像的各像素的值转换为YUV颜色空间或者HLS颜色空间的值,来计算颜色成分的平均值或者中央值。另外,特征量不局限于上述的例子,特征提取部262也可以提取根据以发光模式变化的光的第一特性并沿时间序列变化的各种各样的特征量,例如局部区域内的亮度值或者特定的颜色成分的总和、分散或者标准偏差作为特征量。或者,另外,特征提取部262也可以提取在时间上连续的2张图像间处于相同的位置处的像素的像素值间的差分值的局部区域内的平均值作为特征量。
此外,在拍摄部24采用与脉冲调制对应的曝光方式、且以比第二时间长度的1/2(在采用4PPM方式的情况下,第二时间周期的1/4)短的拍摄周期生成图像的情况下,各图像的像素值受到脉冲调制所带来的影响。因此,特征提取部262也可以按照每个具有规定的时间长度的区间,针对该区间所包括的多个图像,计算对应像素间的像素值的平均值,由此来生成合成图像。而且特征提取部262也可以通过针对按时间序列排列的多个合成图像执行上述的处理来从各合成图像的各局部区域提取特征量。此外,优选规定的时间长度例如被设定为第二时间长度的2倍以上且发光模式的一个周期(即,第一时间长度)的1/2以下的时间长度,以减少脉冲调制所带来的影响,并且不会失去与发光模式的波形相关的信息。
另外,在拍摄部24采用与脉冲调制对应的曝光方式、且以比脉冲宽度短的拍摄周期生成图像的情况下,特征提取部262从各图像的各局部区域提取表示脉冲调制的特征量。例如,在从照明部14发出的光的特定的颜色成分被脉冲调制的情况下,特征提取部262针对各图像,按每个局部区域,提取该局部区域所包括的各像素的该特定的颜色成分的平均值作为表示脉冲调制的特征量。
特征提取部262将各图像的每个局部区域的与发光模式相关的特征量转交给发光模式解码部263,将与脉冲调制相关的特征量转交给脉冲解码部264。
发光模式解码部263根据按每个局部区域提取出的特征量的时间序列顺序的变化来确定发光模式,解码与该发光模式对应的符号的值。
如上述那样,在从发送装置1的照明部140发出的光的特性按照发光模式周期性地变动的情况下,映现有被发送装置1照明的物体的局部区域的特征量的时间变动具有与发光模式的变动周期对应的时间轴方向的频率成分。例如,如上述那样,来自发送装置1的光的特性以正弦波状的方式变动的情况下,时间轴方向上的特征量的频率成分包括与该正弦波对应的特定的频率成分。
因此,发光模式解码部263针对与一个符号所对应的期间相同的长度的关注期间所包含的多个图像,按映现有同一物体的各局部区域,按时间序列顺序将从该局部区域提取出的特征量进行排列来创建一维向量。此外,在接收装置2静止且在接收装置2的拍摄范围内存在静止的物体的情况下,在多个图像中映现有同一物体的局部区域能够设为图像上的相同位置的局部区域。然后,发光模式解码部263对该一维向量进行傅立叶变换。然后,发光模式解码部263按每个局部区域从得到的频率成分提取与发光模式的周期相同的频率的频谱。
发光模式解码部263选择局部区域中的、提取出的频谱的振幅水平最大的局部区域。或者,发光模式解码部263也可以选择提取出的频谱的振幅水平为规定的阈值以上的局部区域。由此,发光模式解码部263能够选择映现有被发送装置1照明的物体或者发送装置1的照明部14本身的局部区域。而且,发光模式解码部263对选择出的局部区域从提取出的频谱检测具有与发光模式对应的值的成分。具有与发光模式对应的值的成分例如是关注期间内的规定时刻(例如,关注期间的开始时刻或者结束时刻)的光的特性的周期性的变动的相位或者振幅水平。
此外,存在发送装置1针对各符号所设定的期间和关注期间偏移的可能性。因此,发光模式解码部263沿时间序列使关注期间1个帧1个帧地移动,并进行上述的处理,按每个关注期间检测具有与发光模式对应的值的成分。该情况下,在关注期间与发送装置1针对每个符号所设定的期间一致的情况下,该检测出的成分的值为极值,所以发光模式解码部263将该极值设为具有与发光模式对应的值的成分即可。一旦得到极值,则认为与该极值对应的关注期间与一个符号所对应的期间一致,所以发光模式解码部263以该关注期间为基准来设定以后的关注期间即可。然后,发光模式解码部263按每个关注期间检测具有与发光模式对应的值的成分。
此外,发光模式解码部263也可以利用上述的方法以外的方法确定发光模式。例如,发光模式解码部263也可以在关注期间内求出在时间上相邻的图像间的特征量的差值,并根据该差值调查特征量的增减,由此确定发光模式。
发光模式解码部263将检测出的成分按时间序列顺序排列。在如上述那样,作为前导码,在被传送的信息中包含规定的符号串(例如“01010101”)的情况下,发光模式解码部263从检测出的成分的排列提取与和该前导码相当的符号串一致的部分。然后,发光模式解码部263以在提取出的部分中检测出的成分与符号的值一致的方式使检测出的成分和符号的值建立对应即可。
或者,在传送的信息包括CRC码之类的错误检测码的情况下,发光模式解码部263也可以以利用该错误检测码使符号的错误为最小的方式使检测出的成分和符号的值建立对应。
或者,另外,发光模式解码部263也可以参照表示检测出的成分和符号的值的对应关系的参照表来求出与所检测出的成分对应的符号的值。此外,该参照表例如预先存储至存储部22。
发光模式解码部263通过将解码后的符号的值按规定的顺序、例如按时间顺序排列,从而解码被传送的信息。而且,发光模式解码部263将解码后的信息存储至存储部22。
脉冲解码部264基于与各图像的各局部区域的脉冲调制相关的特征量来解码通过脉冲调制叠加到从发送装置1的照明部14发出的光上的信息。
例如,脉冲解码部264按每个局部区域,计算得到的特征量的最大值与最小值的差,并将该差为规定值以上的局部区域判定为映现有被照明部14发出的光照明的物体的局部区域。而且,脉冲解码部264针对映现有被照明部14发出的光照明的物体的局部区域,按每个具有规定的时间长度的区间计算特征量的平均值。此外,优选规定的时间长度例如设为比第二时间长度长、且为关于基于发光模式的调制在发光模式的一个周期中所设定的子区间的长度以下。由此,即使各脉冲的峰值以及谷值根据发光模式而变化,脉冲解码部264也能够识别各脉冲。而且,脉冲解码部264将比平均值高的特征量与脉冲的峰值建立对应,将比平均值低的特征量与脉冲的谷值建立对应。脉冲解码部264根据脉冲的峰值和谷值的时间变化的模式来确定被叠加的脉冲模式即可。而且,将表示脉冲模式和符号的值的关系的参照表预先存储至存储部22,脉冲解码部264参照该参照表来确定与脉冲模式对应的符号的值即可。
脉冲解码部264通过将解码后的符号的值按规定的顺序、例如按时间顺序排列,从而解码被传送的信息。此外,在如上述那样,作为前导码,在传送的信息中包含规定的符号串的情况下,脉冲解码部264从检测出的成分的排列提取与和该前导码相当的符号串一致的部分。而且,脉冲解码部264以在提取出的部分中检测出的成分和符号的值一致的方式使检测出的成分和符号的值建立对应。
或者,在传送的信息包括CRC码之类的错误检测码的情况下,脉冲解码部264也可以以利用该错误检测码使符号的错误为最小的方式使检测出的成分和符号的值建立对应。而且,脉冲解码部264将解码后的信息存储至存储部22。
控制部26将解码后的信息经由通信接口部21向其它装置输。或者,控制部26执行与解码后的信息对应的处理。例如,如果解码后的信息是指示规定的应用的启动的信息,则控制部26启动该应用。或者,控制部26也可以使解码后的信息显示于用户接口部25。此外,在通过基于发光模式的调制叠加的信息和通过脉冲调制叠加的信息相同的情况下,控制部26对由通过发光模式解码部263解码后的信息和由脉冲解码部264解码后的信息中的一方进行上述的处理即可。
图15是由接收装置2执行的接收处理的动作流程图。
控制部26的分割部261将各图像分割成多个局部区域(步骤S201)。然后,控制部26的特征提取部262按照每个局部区域提取表示以发光模式变化的光的第一特性的特征量(步骤S202)。并且,特征提取部262按照每个局部区域提取与脉冲调制相关的特征量(步骤S203)。
发光模式解码部263按与一个符号相当的期间所包含的包括多个图像的组的每一期间,对与相同的位置的局部区域的发光模式相关的特征量进行频率解析,检测具有发光模式的周期的频谱(步骤S204)。然后,发光模式解码部263按每个该期间从检测出的频谱确定与发光模式对应的符号的值,并解码被传送的信息(步骤S205)。
另一方面,脉冲解码部264通过根据与脉冲调制相关的特征量的时间变化来确定对应的符号的值,从而解码被传送的信息(步骤S206)。然后,控制部26结束接收处理。
如以上说明的那样,该通信系统能够在发送装置发出的光上叠加信息并向接收装置传送。此时,发送装置通过使按时间序列变化的发光模式根据符号的值而不同,来在发送装置发出的光上叠加信息,并且即使以比发光模式短的周期对发送装置发出的光进行脉冲调制,也叠加信息。因此,如果接收装置的拍摄部采用能与脉冲调制对应的曝光方式,则接收装置能够通过对经脉冲调制的光进行解调来解码被传送的信息。另一方面,在接收装置的拍摄部采用不与脉冲调制对应的曝光方式的情况下,接收装置能够通过对根据发光模式而被调制的光进行解调来解码被传送的信息。这样,该通信系统不管接收装置具有的拍摄部的曝光方式如何都能够将信息从发送装置向接收装置传送。并且,由于基于脉冲调制的调制的周期比基于发光模式的调制的周期短,所以在接收装置的拍摄部采用能与脉冲调制对应的曝光方式的情况下,该通信系统能够以更短期间将信息从发送装置向接收装置传送。
此外,根据变形例,通过基于发光模式的调制在照明部14发出的光上叠加的信息和通过脉冲调制在照明部14发出的光上叠加的信息也可以相互不同。此时,发送装置1例如也可以将重要度相对高的信息通过基于发光模式的调制叠加到照明部14发出的光上,将重要度相对低的信息通过脉冲调制叠加到照明部14发出的光上。
另外,根据其它变形例,也可以按照明部14发出的光的每个颜色成分,将不同的信息通过脉冲调制进行叠加。此时,接收装置2的控制部26的特征提取部262以及脉冲解码部264也可以按照每个颜色成分,执行上述的实施方式或者变形例的处理。根据该变形例,由于按每个颜色成分叠加不同的信息,所以传送效率提高。
而且,根据其它变形例,发送装置1的控制部15也可以根据传送的符号的值对从照明部14发出的光进行脉冲频率调制。该情况下也是,在分割基于发光模式的调制的一个周期而得到的各子区间中,脉冲具有峰值的时间的长度和脉冲具有谷值的时间的长度相等,所以按照(1)式或者(2)式来设定各脉冲的峰值以及谷值即可。该情况下,接收装置2的脉冲解码部264与发光模式解码部263同样地通过对按照时间序列排列的与脉冲调制相关的特征量进行频率解析来解码通过脉冲调制叠加到光上的信息即可。
此外,在上述的实施方式或者变形例中,接收装置也可以具备具有拍摄部的终端、以及与该终端经由通信网络连接的例如服务器的其它装置。在该情况下,也可以终端在每当生成图像时,将该图像与用于确定终端的识别信息例如该终端的IP地址一起经由通信网络向服务器发送。并且,服务器的处理器也可以执行上述的实施方式的接收装置的控制部的各处理,解码从发送装置传送的信息。并且,服务器也可以参照用于确定终端的识别信息,将解码后的信息送回给该终端。
或者,终端具有的处理器也可以在每当生成图像时,对该图像进行分割部261的处理和特征提取部262的处理,来提取每个局部区域的特征量。并且,终端也可以将从各图像提取出的每个局部区域的特征量与用于确定终端的识别信息一起经由通信网络向服务器发送。并且,服务器的处理器也可以执行上述的实施方式的接收装置的发光模式解码部263以及脉冲解码部264的处理,解码从发送装置传送的信息。
并且,使计算机实现上述的各实施方式的发送装置的控制部具有的各功能的计算机程序也可以以记录于计算机可读取的介质的形式来提供。同样,使计算机实现上述的实施方式的接收装置的控制部具有的各功能的计算机程序也可以以记录于计算机可读取的介质的形式来提供。
此处列举的全部例子以及特定的用语是在帮助读者理解针对本发明以及该技术的促进的被本发明人赋予的概念的、示教的目的下所意图使用的,应解释为不局限于与表示本发明的优越性以及低劣性相关的、本说明书的任何例子的构成、那样的特定的所列举的例子以及条件。对本发明的实施方式详细地进行了说明,但应理解在不脱离本发明的精神以及范围内,能够对其施加各种变更、置换以及修正。
附图标记说明:100…通信系统;1…发送装置;11…通信接口部;12…存储部;13…存储介质访问装置;14…照明部;15…控制部;151…发光模式调制部;152…脉冲模式调制部;16…存储介质;2…接收装置;21…通信接口部;22…存储部;23…存储介质访问装置;24…拍摄部;25…用户接口部;26…控制部;27…存储介质;261…分割部;262…特征提取部;263…发光模式解码部;264…脉冲解码部。
Claims (9)
1.一种发送装置,具备:
照明部,能够沿着时间序列变更发出的光的第一特性以及第二特性;以及
控制部,控制所述照明部以在具有第一时间长度的期间中根据具有与传送的信息对应的波形且具有所述第一时间长度的发光模式沿着时间序列对从所述照明部发出的光的所述第一特性进行调制,并且控制所述照明部以根据所述传送的信息以具有比所述第一时间长度短的第二时间长度的脉冲模式对从所述照明部发出的光的所述第二特性进行脉冲调制,并在所述发光模式的一个周期内设定多个取样点,按照以所述取样点的数目分割所述期间而得到的多个子区间的每个子区间,设定所述子区间所包含的各脉冲的与所述第二特性有关的峰值和谷值,以使得所述子区间中的从所述照明部发出的光的所述第二特性的平均值成为维持所述发光模式的所述波形的值。
2.根据权利要求1所述的发送装置,其中,
所述控制部按照所述多个子区间的每个子区间,设定所述子区间所包含的各脉冲的与所述第二特性有关的峰值和谷值,以使得所述子区间中的基于所述发光模式的所述波形的所述第二特性的值与所述子区间中的从所述照明部发出的光的所述第二特性的平均值相等。
3.根据权利要求1或者2所述的发送装置,其中,
所述控制部按照所述多个子区间的每个子区间,设定所述子区间所包含的各脉冲的与所述第二特性有关的峰值和谷值,以使得在整个所述期间中,各脉冲的与所述第二特性有关的峰值与谷值的差恒定。
4.根据权利要求1~3中的任意一项所述的发送装置,其中,
所述第一特性是从所述照明部发出的光的发光颜色,所述第二特性是从所述照明部发出的光的规定的颜色成分。
5.根据权利要求1~3中的任意一项所述的发送装置,其中,
所述第一特性以及所述第二特性分别是从所述照明部发出的光的亮度。
6.一种发送控制装置,具有:
发光模式调制部,控制照明部以在具有第一时间长度的期间中根据具有与传送的信息对应的波形且具有所述第一时间长度的发光模式沿着时间序列对从所述照明部发出的光的第一特性进行调制;以及
脉冲模式调制部,控制所述照明部以根据所述传送的信息以具有比所述第一时间长度短的第二时间长度的脉冲模式对从所述照明部发出的光的第二特性进行脉冲调制,并在所述发光模式的一个周期内设定多个取样点,按照以所述取样点的数目分割所述期间而得到的多个子区间的每个子区间,设定所述子区间所包含的各脉冲的与所述第二特性有关的峰值和谷值,以使得所述子区间中的从所述照明部发出的光的所述第二特性的平均值成为维持所述发光模式的所述波形的值。
7.一种通信系统,具有发送装置和接收装置,其中,
所述发送装置具有:
照明部,能够沿着时间序列变更发出的光的第一特性以及第二特性;以及
控制部,控制所述照明部以在具有第一时间长度的期间中根据具有与传送的信息对应的波形且具有所述第一时间长度的发光模式沿着时间序列对从所述照明部发出的光的所述第一特性进行调制,并且控制所述照明部以根据所述传送的信息以具有比所述第一时间长度短的第二时间长度的脉冲模式对从所述照明部发出的光的所述第二特性进行脉冲调制,并在所述发光模式的一个周期内设定多个取样点,按照以所述取样点的数目分割所述期间而得到的多个子区间的每个子区间,设定所述子区间所包含的各脉冲的与所述第二特性有关的峰值和谷值,以使得所述子区间中的从所述照明部发出的光的所述第二特性的平均值成为维持所述发光模式的所述波形的值,
所述接收装置具有:
拍摄部,以规定的拍摄周期生成映现有包括被来自所述发送装置的光照射的范围的至少一部分的拍摄范围的图像;以及
控制部,基于由所述拍摄部生成的多个所述图像来对所述传送的信息进行解码。
8.一种发送方法,包括:
在具有第一时间长度的期间中,根据具有与传送的信息对应的波形且具有所述第一时间长度的发光模式沿着时间序列对从照明部发出的光的第一特性进行调制;以及
根据所述传送的信息以具有比所述第一时间长度短的第二时间长度的脉冲模式对从所述照明部发出的光的第二特性进行脉冲调制,并在所述发光模式的一个周期内设定多个取样点,按照以所述取样点的数目分割所述期间而得到的多个子区间的每个子区间,设定所述子区间所包含的各脉冲的与所述第二特性有关的峰值和谷值,以使得所述子区间中的从所述照明部发出的光的所述第二特性的平均值成为维持所述发光模式的所述波形的值。
9.一种记录介质,存储有发送用计算机程序,所述发送用计算机程序用于使计算机执行:
在具有第一时间长度的期间中,根据具有与传送的信息对应的波形且具有所述第一时间长度的发光模式沿着时间序列对从照明部发出的光的第一特性进行调制;以及
根据所述传送的信息以具有比所述第一时间长度短的第二时间长度的脉冲模式对从所述照明部发出的光的第二特性进行脉冲调制,并在所述发光模式的一个周期内设定多个取样点,按照以所述取样点的数目分割所述期间而得到的多个子区间的每个子区间,设定所述子区间所包含的各脉冲的与所述第二特性有关的峰值和谷值,以使得所述子区间中的从所述照明部发出的光的所述第二特性的平均值成为维持所述发光模式的所述波形的值。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2017/004790 WO2018146778A1 (ja) | 2017-02-09 | 2017-02-09 | 送信装置、送信制御装置、通信システム、及び送信方法ならびに送信用コンピュータプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110268643A CN110268643A (zh) | 2019-09-20 |
CN110268643B true CN110268643B (zh) | 2022-01-11 |
Family
ID=63108245
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201780086050.8A Expired - Fee Related CN110268643B (zh) | 2017-02-09 | 2017-02-09 | 发送装置、发送控制装置、通信系统、发送方法及记录介质 |
Country Status (5)
Country | Link |
---|---|
US (1) | US10951312B2 (zh) |
EP (1) | EP3582410B1 (zh) |
JP (1) | JP6848988B2 (zh) |
CN (1) | CN110268643B (zh) |
WO (1) | WO2018146778A1 (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
NL2021044B1 (en) * | 2018-06-01 | 2019-12-10 | Eldolab Holding Bv | LED driver and method of operating a camera |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101406013A (zh) * | 2006-04-20 | 2009-04-08 | 松下电器产业株式会社 | 脉冲发送装置、脉冲接收装置、脉冲传输方法和脉冲解调方法 |
JP5750837B2 (ja) * | 2010-05-28 | 2015-07-22 | カシオ計算機株式会社 | 情報伝送システム、情報伝送方法、受光装置、受光方法、及び、プログラム |
CN105049118A (zh) * | 2015-08-20 | 2015-11-11 | 华南理工大学 | 基于双重调制技术的可见光通信方法及其可见光通信系统 |
WO2016001972A1 (ja) * | 2014-06-30 | 2016-01-07 | 富士通株式会社 | 送信装置、受信装置、通信システム、及び送信方法ならびに受信方法 |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7715723B2 (en) * | 2004-08-05 | 2010-05-11 | Japan Science And Technology Agency | Information-processing system using free-space optical communication and free-space optical communication system |
JP5000327B2 (ja) | 2007-02-22 | 2012-08-15 | パナソニック株式会社 | 可視光通信システム |
JP5171393B2 (ja) | 2008-05-27 | 2013-03-27 | パナソニック株式会社 | 可視光通信システム |
JP5394843B2 (ja) | 2009-07-24 | 2014-01-22 | 三星電子株式会社 | 送信装置、受信装置、可視光通信システム、及び可視光通信方法 |
US8447189B2 (en) * | 2009-09-21 | 2013-05-21 | Electronics And Telecommunications Research Institute | Transmitter, receiver for visible light communication and method using the same |
US9385808B2 (en) * | 2011-12-31 | 2016-07-05 | Moon Key Lee | Flicker-free color visible light communication system |
-
2017
- 2017-02-09 WO PCT/JP2017/004790 patent/WO2018146778A1/ja unknown
- 2017-02-09 EP EP17895770.0A patent/EP3582410B1/en active Active
- 2017-02-09 CN CN201780086050.8A patent/CN110268643B/zh not_active Expired - Fee Related
- 2017-02-09 JP JP2018566711A patent/JP6848988B2/ja not_active Expired - Fee Related
-
2019
- 2019-08-07 US US16/534,844 patent/US10951312B2/en active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101406013A (zh) * | 2006-04-20 | 2009-04-08 | 松下电器产业株式会社 | 脉冲发送装置、脉冲接收装置、脉冲传输方法和脉冲解调方法 |
JP5750837B2 (ja) * | 2010-05-28 | 2015-07-22 | カシオ計算機株式会社 | 情報伝送システム、情報伝送方法、受光装置、受光方法、及び、プログラム |
WO2016001972A1 (ja) * | 2014-06-30 | 2016-01-07 | 富士通株式会社 | 送信装置、受信装置、通信システム、及び送信方法ならびに受信方法 |
CN105049118A (zh) * | 2015-08-20 | 2015-11-11 | 华南理工大学 | 基于双重调制技术的可见光通信方法及其可见光通信系统 |
Also Published As
Publication number | Publication date |
---|---|
EP3582410A1 (en) | 2019-12-18 |
CN110268643A (zh) | 2019-09-20 |
JPWO2018146778A1 (ja) | 2019-12-19 |
US20190363794A1 (en) | 2019-11-28 |
JP6848988B2 (ja) | 2021-03-24 |
EP3582410B1 (en) | 2021-09-01 |
US10951312B2 (en) | 2021-03-16 |
WO2018146778A1 (ja) | 2018-08-16 |
EP3582410A4 (en) | 2020-02-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10236979B2 (en) | Transmitter, receiver, communication system, and transmission and reception methods | |
EP2805586B1 (en) | Visible light communications using a remote control | |
US9112606B2 (en) | Method and apparatus for transmitting and receiving data using visible light communication | |
JP5936902B2 (ja) | 伝送システム、送信装置および受信装置 | |
CN102696280B (zh) | 使用常规相机传感器针对可见光通信的数据检测 | |
US10523365B2 (en) | Discrimination method and communication system | |
WO2016001339A1 (en) | Communicating barcode data | |
CN105429701B (zh) | 信号发送装置、信号发送方法、信号接收装置和通信系统 | |
CN107222258A (zh) | 一种数据获取方法、数据发送方法、装置及数据传输系统 | |
CN110268643B (zh) | 发送装置、发送控制装置、通信系统、发送方法及记录介质 | |
JP2018107824A (ja) | 受信装置及び受信方法 | |
WO2018073870A1 (ja) | 送信装置、受信装置、通信システム、送信方法、受信方法および送信用コンピュータプログラムならびに受信用コンピュータプログラム | |
KR20120067268A (ko) | 가시광 무선 통신을 이용한 송수신 장치 및 방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20220111 |