[go: up one dir, main page]

WO2016001972A1 - 送信装置、受信装置、通信システム、及び送信方法ならびに受信方法 - Google Patents

送信装置、受信装置、通信システム、及び送信方法ならびに受信方法 Download PDF

Info

Publication number
WO2016001972A1
WO2016001972A1 PCT/JP2014/067379 JP2014067379W WO2016001972A1 WO 2016001972 A1 WO2016001972 A1 WO 2016001972A1 JP 2014067379 W JP2014067379 W JP 2014067379W WO 2016001972 A1 WO2016001972 A1 WO 2016001972A1
Authority
WO
WIPO (PCT)
Prior art keywords
unit
light
symbol
value
period
Prior art date
Application number
PCT/JP2014/067379
Other languages
English (en)
French (fr)
Inventor
健介 倉木
圭造 加藤
田中　竜太
Original Assignee
富士通株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士通株式会社 filed Critical 富士通株式会社
Priority to PCT/JP2014/067379 priority Critical patent/WO2016001972A1/ja
Priority to JP2016530697A priority patent/JP6388030B2/ja
Priority to CN201480080270.6A priority patent/CN106464365B/zh
Priority to EP14896604.7A priority patent/EP3163769B1/en
Publication of WO2016001972A1 publication Critical patent/WO2016001972A1/ja
Priority to US15/383,272 priority patent/US10236979B2/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04B—TRANSMISSION
    • H04B10/00—Transmission systems employing electromagnetic waves other than radio-waves, e.g. infrared, visible or ultraviolet light, or employing corpuscular radiation, e.g. quantum communication
    • H04B10/11—Arrangements specific to free-space transmission, i.e. transmission through air or vacuum
    • H04B10/114—Indoor or close-range type systems
    • H04B10/116—Visible light communication

Definitions

  • the present invention relates to, for example, a communication system that transmits light using light, a transmission device and a reception device, a transmission method, and a reception method that are used in such a communication system.
  • LEDs light emitting diodes
  • the LED has a feature that its response speed is faster than that of an incandescent bulb or a fluorescent lamp.
  • Visible light communication technology that uses this feature to communicate by superimposing information on illumination light emitted from the LED by blinking the LED at a speed that cannot be recognized by the human eye (for example, non-patented) Reference 1).
  • Visible light communication is being considered for use in places where radio wave usage is restricted, for information distribution limited to light, such as indoors, or for use in Intelligent Transport Systems (ITS).
  • ITS Intelligent Transport Systems
  • the information transmission system disclosed in Patent Document 1 includes light emitting means for transmitting information by illuminating a predetermined area, and light receiving means for decoding information from an image obtained by imaging the predetermined area in time series.
  • the predetermined area emits light that has been multi-valued into at least three values according to the information and is color-modulated, and the light receiving means receives information based on the multi-valued color modulation information in the predetermined area. Is decrypted.
  • an optical module that includes at least two primary light sources that emit primary color light, and that incorporates data into the light by modulating the color coordinates of the light emitted from the primary light source in accordance with data to be embedded (for example, Patent Documents). 2).
  • the sensitivity to color changes in human eye color is lower than the sensitivity to changes in intensity, so when this light module is used in a lighting system, it is emitted without degrading its function as a light.
  • Data can be embedded in light.
  • a value of data to be transmitted is assigned for each color. Also in the technique disclosed in Patent Document 2, a logical value represented by one bit or a plurality of bits is assigned to each color coordinate. Therefore, in the technique disclosed in Patent Document 1 and the technique disclosed in Patent Document 2, in order for the receiving apparatus to accurately decode the information superimposed on the light emitted by the transmitting apparatus, the receiving apparatus The device on the side is required to directly receive the light emitted by the device on the transmission side. The receiving device cannot directly receive the light emitted from the transmitting device, for example, the light reflected or scattered by the object on the transmitting device is received by the receiving device. This is because the color of the received light may be different from the original color depending on the object.
  • the color of the received light is different from the color of the light emitted by the transmitting device, the color of the received light is not a color corresponding to the value of the data included in the superimposed information, It becomes difficult for the receiving device to accurately decode the information superimposed on the light emitted by the transmitting device.
  • a transmission device sets a predetermined period for a symbol included in information to be transmitted and an illumination unit capable of changing the characteristics of emitted light in time series, and performs illumination according to the value of the symbol within the period And a control unit that controls the illumination unit so as to change the characteristics of the light emitted from the unit in time series.
  • a receiving device configured to generate an image with an imaging range captured at a predetermined imaging cycle and a plurality of images generated by the imaging unit according to a symbol value included in transmitted information.
  • a feature extraction unit that extracts a feature amount representing a characteristic of light emitted from a transmission device that is changed along a sequence, and a feature amount extracted from each of a plurality of images included in a period set according to a symbol
  • a decoding unit that decodes a symbol value from a change in sequence order.
  • a communication system having a transmission device and a reception device.
  • a transmission device sets a predetermined period for a symbol included in information to be transmitted and an illumination unit that can change the characteristics of emitted light in time series, and the value of the symbol within that period.
  • a control unit that controls the illumination unit so as to change the characteristics of light emitted from the illumination unit in a time series.
  • the receiving device includes an imaging unit that generates an image in which a shooting range including at least a part of a range irradiated with light from the transmission device in a predetermined shooting period is captured, and a plurality of images generated by the imaging unit.
  • a feature extraction unit that extracts a feature amount representing a characteristic of light emitted from a transmission device that is changed in time series according to a symbol value, and a plurality of images included in a period set according to the symbol
  • a decoding unit that decodes the value of the symbol from the change of the feature amount extracted from each of them in time series order.
  • the transmitting device disclosed in this specification can transmit information superimposed on light to the receiving device even when the receiving device cannot directly receive the light that superimposes information.
  • FIG. 1 is a schematic configuration diagram of a communication system according to one embodiment.
  • FIG. 2 is a diagram illustrating an example of a relationship between a light emission pattern and a symbol value to be superimposed.
  • FIG. 3 is a diagram for explaining the influence on the light emission pattern due to the light emitted from the transmission device being reflected or scattered by the object.
  • FIG. 4 is a schematic configuration diagram of a transmission device used in the communication system shown in FIG.
  • FIG. 5 is a diagram illustrating an example of the relationship between the temporal change in the value of each component in the YUV color space and the temporal change in the value of each component in the RGB color space according to the light emission pattern.
  • FIG. 1 is a schematic configuration diagram of a communication system according to one embodiment.
  • FIG. 2 is a diagram illustrating an example of a relationship between a light emission pattern and a symbol value to be superimposed.
  • FIG. 3 is a diagram for explaining the influence on the light emission pattern due to the light emitted from the transmission
  • FIG. 6A is a diagram illustrating a temporal change in the light emission intensity of the light emitting element, which is determined according to the light emission pattern.
  • FIG. 6B is an explanatory diagram of the relationship between the amount of light emitted from the light emitting element in the PWM method and the period during which current flows through the light emitting element.
  • FIG. 7 is an operation flowchart of the transmission process.
  • FIG. 8 is a schematic configuration diagram of a receiving apparatus used in the communication system shown in FIG.
  • FIG. 9 is a functional block diagram of the control unit of the receiving apparatus.
  • FIG. 10 is a conceptual diagram of reception processing.
  • FIG. 11 is an operation flowchart of the reception process.
  • the transmission device changes the characteristics of light emitted from the illumination unit in a time-series manner according to the value of the symbol included in the information to be transmitted.
  • the transmission apparatus varies the light emission pattern, which is a time-series change pattern of the light characteristics, according to the value of the symbol included in the information to be transmitted.
  • the receiving device cannot directly receive the light emitted from the transmitting device, and even when receiving light reflected or scattered by any object, it extracts a time-series change pattern of the characteristics of the received light.
  • the superimposed information can be decoded.
  • FIG. 1 is a schematic configuration diagram of a communication system according to one embodiment.
  • the communication system 100 includes a transmission device 1 and a reception device 2. And the transmission apparatus 1 superimposes the information transmitted on the light which the illumination part which an own apparatus has emits.
  • the receiving device 2 has an imaging unit, and is obtained in a time series obtained by continuously shooting a shooting range including the object 3 illuminated with the light from the transmission device 1 in the imaging unit. Information superimposed on light is decoded from a plurality of images arranged side by side.
  • the communication system 100 includes only one receiving device 2, but the number of receiving devices 2 included in the communication system 100 is not limited to one.
  • the communication system 100 may include a plurality of receiving devices 2.
  • FIG. 2 is a diagram showing an example of the relationship between the light emission pattern and the symbol value to be superimposed.
  • the horizontal axis represents time
  • the vertical axis represents the characteristics of light emitted from the transmission apparatus 1.
  • the light emission pattern 201 and the light emission pattern 202 correspond to symbol values “0” and “1”, respectively.
  • the light characteristics periodically change with time, but the phases are shifted by 180 ° with respect to each other.
  • the transmission device 1 can superimpose information on the light emitted by the illumination unit by changing the phase in the temporal variation of the light characteristics for each symbol value.
  • the relationship between the light emission pattern and the symbol value is not limited to this example. Details of the relationship between the light emission pattern and the symbol value will be described later.
  • FIG. 3 is a diagram for explaining the influence on the light emission pattern due to the light emitted from the transmission device being reflected or scattered by the object.
  • a graph 301 represents a time change of light emitted from the illumination unit of the transmission device 1 according to the light emission pattern. In this example, it is assumed that the color of light emitted from the illumination unit changes in time series.
  • a graph 302 represents a temporal change of light obtained by reflection or scattering of light from the illumination unit of the transmission device 1 by the object 3. The color of the object 3 is constant as indicated by the dotted line 303 unless the object 3 itself is an object that changes color in time series.
  • the receiver 2 receives the light emitted from the illumination unit of the transmitter 1 and reflected or scattered by the object 3, the receiver 2 identifies the light emission pattern by analyzing the frequency characteristics of the variation pattern of the received light. Thus, the information superimposed on the light emitted from the illumination unit by the transmitter 1 can be decoded.
  • FIG. 4 is a schematic configuration diagram of the transmission device 1.
  • the transmission device 1 includes a communication interface unit 11, a storage unit 12, a storage medium access device 13, an illumination unit 14, and a control unit 15.
  • the transmitting device 1 superimposes information to be transmitted acquired via the communication interface unit 11 or the storage medium access device 13 or stored in advance in the storage unit 12 on the light emitted by the illumination unit 14. Send.
  • the communication interface unit 11 includes, for example, a communication interface for connecting the transmission device 1 to a wired or wireless communication network and its control circuit. Then, the communication interface unit 11 passes information received from another device via the communication network to the control unit 15.
  • the storage unit 12 includes, for example, a read-only nonvolatile semiconductor memory and a readable / writable volatile semiconductor memory. And the memory
  • FIG. The storage unit 12 stores various information and programs used by the control unit 15 to perform transmission processing. For example, for each symbol value, the storage unit 12 stores data representing a light emission pattern corresponding to the symbol value.
  • the data representing the light emission pattern includes, for example, the light emission pattern phase, period, light emission color or light amount corresponding to the maximum value and the minimum value of the light characteristics at the start of light control from the illumination unit 14 according to the light emission pattern, and the like including.
  • the storage unit 12 may store data representing the light emission pattern of each symbol included in the information in advance.
  • the storage medium access device 13 is a device that accesses the storage medium 16 such as a magnetic disk, a semiconductor memory card, and an optical storage medium.
  • the storage medium access device 13 reads, for example, a computer program for transmission processing executed on the control unit 15 or information to be transmitted, which is stored in the storage medium 16, and passes it to the control unit 15.
  • the illuminating unit 14 includes at least one light emitting element capable of changing the characteristics of the emitted light in time series, and a drive circuit.
  • the drive circuit drives the at least one light emitting element so as to change the characteristics of the light emitted from the at least one light emitting element in accordance with a control signal from the control unit 15.
  • the characteristic of the light that can change along the time series can be, for example, a light emission color.
  • the illumination unit 14 includes, for example, at least two types of light emitting elements having different emission colors, for example, a red LED, a green LED, and a blue LED. And since the ratio of the light quantity which each light emitting element emits changes along a time series, the color of the light which the illumination part 14 emits also changes along a time series.
  • the illumination unit 14 may include at least one light emitting element that can modulate the emission color itself.
  • a light emitting element capable of modulating the emission color itself is, for example, a light emitting element that emits light including a plurality of wavelengths, such as a fluorescent lamp, and a liquid crystal panel having a color filter arranged in an array, for each light wavelength. It is possible to use a combination with a light modulation element capable of adjusting the transmittance.
  • the light characteristic that can change along the time series may be a light amount per unit time.
  • the illumination unit 14 includes at least one light-emitting element that can change the amount of light in time series, for example, a white LED or an organic electroluminescence (EL) element.
  • the characteristic of light that can be changed along the time series may be a combination of the emission color and the light amount.
  • the illuminating unit 14 changes the characteristics of the emitted light according to the control signal from the control unit 15 in time series according to the light emission pattern corresponding to the value of the symbol included in the transmitted information, so that the light emitted from the illuminating unit 14 Superimpose information on
  • the control unit 15 has one or a plurality of processors and its peripheral circuits. And the control part 15 controls the transmitter 1 whole.
  • the control unit 15 receives information to be transmitted via the communication interface unit 11 or from the storage medium access device 13, the control unit 15 temporarily stores the information in the storage unit 12.
  • the control unit 15 reads information to be transmitted from the storage unit 12 and divides the information in symbol units. Then, for each symbol, the control unit 15 reads data representing a light emission pattern corresponding to the value of the symbol from the storage unit 12, and illuminates so as to change the characteristics of the light emitted according to the light emission pattern in time series.
  • the unit 14 is controlled.
  • the timing for executing the transmission process may be set in advance.
  • the control unit 15 starts transmission processing in response to a transmission processing start instruction signal from another device. Also good.
  • the control unit 15 may repeatedly execute the transmission process at regular intervals.
  • the light emission pattern is a periodic fluctuation pattern in which the characteristics of light change in a sine wave shape with the passage of time.
  • the light emission pattern is not limited to this example.
  • the light emission pattern may be a pattern in which the light characteristics periodically change in a triangular shape or a rectangular pulse shape.
  • the light emission pattern is not limited to a periodically changing pattern, and may be, for example, a pattern in which light characteristics change monotonously within a period corresponding to one symbol.
  • the light emitted from the illumination unit 14 at the start of the period corresponding to the symbol has the first characteristic value and is emitted from the illumination unit 14 at the end of the period.
  • the light characteristic changes monotonously so that the light has the second characteristic value.
  • the light emitted from the illumination unit 14 at the start of the period corresponding to the symbol has the second characteristic value and is emitted from the illumination unit 14 at the end of the period.
  • the light characteristic changes monotonously so that the light has the first characteristic value.
  • the length of one cycle of the light emission pattern is set to, for example, several times the reciprocal of the shooting rate so that the reception device can reproduce the light emission pattern even at the shooting rate of the imaging unit included in the reception device 2.
  • the length of one cycle of the light emission pattern is set to, for example, 100 milliseconds to 1 second.
  • control unit 15 divides the information to be transmitted in units of bit strings having one to a plurality of bits, and each bit string is set as one symbol.
  • the control unit 15 reads data representing the light emission pattern corresponding to the symbol value from the storage unit 12. Then, the control unit 15 sets a period having a predetermined length for each symbol.
  • the control unit 15 causes the illumination unit 14 to repeat the light emission pattern corresponding to the symbol value for one to several cycles during the period.
  • the control unit 15 may include a predetermined symbol sequence (for example, “01010101”) as a preamble at a predetermined position of information to be transmitted, for example, at the head.
  • the control unit 15 may include an error detection code such as a cyclic redundancy check (CCR) code in the information to be transmitted.
  • CCR cyclic redundancy check
  • the controller 15 can use various modulation schemes used in wireless communication as the modulation scheme of the light emission pattern according to the symbol value.
  • the control unit 15 may associate one symbol with one bit.
  • BPSK binary phase-shift keying
  • the controller 15 sets the light emission pattern corresponding to the symbol value “0” and the symbol value “′”. The phase is inverted by 180 ° with respect to the light emission pattern corresponding to 1 '.
  • the control unit 15 may associate two bits with one symbol.
  • the control unit 15 performs four values ('00', '01', '10', '11) that the symbol can take, as in quadriphase phase-shift keying (QPSK). For each of '), a light emission pattern in which the characteristics of light periodically change with a phase difference of 90 ° may be set.
  • QPSK quadriphase phase-shift keying
  • control unit 15 may modulate the change width of the light characteristic (hereinafter referred to as an amplitude level) according to the value of the symbol.
  • the control unit 15 may set a light emission pattern having a different combination of amplitude level and phase for each value that a symbol can take, such as quadrature amplitude modulation (QAM).
  • QAM quadrature amplitude modulation
  • the control unit 15 monotonically increases the amplitude level within a period corresponding to the symbol for a certain symbol value, and monotonically decreases the amplitude level within a period corresponding to the symbol for other symbol values. May be.
  • control unit 15 may multiplex information to be transmitted using a plurality of light emission patterns having different frequencies (that is, different periods).
  • the control unit 15 represents a symbol with a light emission pattern according to any one of the modulation schemes described above for each of a plurality of frequencies, for example, orthogonal frequency division multiplexing (or OFDM).
  • the light emission pattern of each frequency may be subjected to inverse Fourier transform.
  • the inverse Fourier transform is an example of frequency time conversion.
  • the control part 15 may control the illumination part 14 so that the illumination part 14 may change the characteristic of light along a time series according to the light emission pattern obtained by frequency time conversion.
  • the control unit 15 may spread information to be transmitted to a plurality of frequencies, such as spread spectrum used in a code division multiple access method (Code Division Multiple Access, CDMA). And the control part 15 may control the illumination part 14 so that the illumination part 14 may change the characteristic of light along a time series according to the light emission pattern obtained by diffusing the information to transmit to several frequencies. .
  • CDMA Code Division Multiple Access
  • the characteristic of the light that changes in time series in the light emission pattern can be, for example, a light emission color or a light amount of a unit time value, or a combination of a light emission color and a light amount per unit time.
  • the control unit 15 sets a plurality of sampling points (for example, 10 to 20 points) in one cycle of the light emission pattern. Then, the control unit 15 uses a color component at each sampling point when the value of the color component is changed to a sine wave in a color space such as YUV or HLS in which the luminance component and the color component are represented independently of each other. Find the value of. Then, for each sampling point, the control unit 15 determines the red and green colors in the RGB color space that can correspond to the emission color of each light emitting element of the illumination unit 14 from the luminance component value and the color component value in the color space. And the value of each component of blue is calculated
  • control part 15 determines the emitted light amount per unit time of the light emitting element corresponding to the color component according to the value of each component of red, green, and blue for every sampling point.
  • control unit 15 preferably keeps the value of the luminance component constant. Thereby, even if the color of the light emitted from the illumination unit 14 changes in time series according to the light emission pattern, the light quantity per unit time of the light is kept constant. Human vision is relatively sensitive to changes in light intensity, but relatively insensitive to changes in color. Therefore, the light quantity per unit time is kept constant, so that the control unit 15 makes it difficult for a person to perceive that the characteristics of the light from the illumination unit 14 change in time series according to the light emission pattern. be able to.
  • FIG. 5 is a diagram illustrating an example of the relationship between the temporal change in the value of each component in the YUV color space and the temporal change in the value of each component in the RGB color space according to the light emission pattern.
  • the value of each component in the YUV color space corresponding to the light emission pattern is shown.
  • the Y component that is, the luminance component is kept constant regardless of the passage of time.
  • the value of the U component which is one of the color difference components, changes over time according to the light emission pattern.
  • the value of the V component which is the other color difference component, also changes over time according to the light emission pattern.
  • Graphs 511 to 513 represent temporal changes of the red component, the green component, and the blue component, respectively. As shown in graphs 511 to 513, each color component changes according to the light emission pattern.
  • the control part 15 should just make the light emitting element corresponding to the color component of the illumination part 14 light-emit with the emitted light quantity per unit time according to the value of each color component in each sampling point.
  • the fluctuation range of the light emission amount per unit time of each light emitting element is about several percent with respect to the time average value over the period corresponding to one symbol of the light emission amount per unit time of the light emitting element.
  • the control unit 15 preferably determines values of the U component and the V component. Thereby, the time change of the characteristic of the light from the illumination part 14 according to a light emission pattern becomes harder to be perceived with respect to a person.
  • the control unit 15 may include a plurality of sampling points (for example, 10 to 10) in one cycle of the light emission pattern. 20 points). And the control part 15 should just determine the emitted light quantity per unit time of the light emitting element which the illumination part 14 has in each sampling point according to the light emission pattern.
  • the control unit 15 sets each light emitting element to, for example, a pulse width.
  • PWM Pulse Width Modulation
  • the amount of light emitted from the light emitting element is adjusted by the ratio of the time during which the light emitting element is lit to the unit time (duty ratio).
  • each section obtained by equally dividing the period by the number of sampling points set in one period of the light emission pattern is a section corresponding to one sampling point (the length of the section is T).
  • M is the maximum amount of emitted light per unit time of the light emitting element
  • n is the amount of emitted light per unit time at the sampling point.
  • FIG. 6A is a diagram illustrating a temporal change in the light emission amount per unit time of the light emitting element, which is determined according to the light emission pattern.
  • the horizontal axis represents time
  • the vertical axis represents the amount of light.
  • a graph 601 indicated by a dotted line represents a temporal change in the amount of emitted light per unit time of the light emitting element, which is determined according to the light emission pattern.
  • Each point 602 on the graph 601 represents a sampling point.
  • FIG. 6B is an explanatory diagram of a relationship between a light emission amount of a light emitting element and a period in which a current flows through the light emitting element in the PWM method, that is, a period in which the light emitting element is turned on.
  • the horizontal axis represents time
  • the vertical axis represents current flowing through the light-emitting element.
  • Graphs 611 and 612 show the relationship between time and the current flowing through the light-emitting element, respectively.
  • the control unit 15 may pass a current through the light emitting element.
  • control unit 15 may divide a section in which a current flows through the light emitting element into a plurality of sub-sections P1, P2, and P3 within a section T corresponding to one sampling point.
  • the total length of each sub-section may be T ⁇ (n / M).
  • the control unit 15 makes the length T of the section corresponding to one sampling point difficult to see flickering due to blinking to the human eye. It is preferable to set it to 100 seconds or less. Furthermore, the length T of the section is preferably shorter than the exposure period when the photographing unit of the receiving device 2 performs one photographing. Thereby, the area
  • the control part 15 makes each sampling point. You may adjust the brightness
  • FIG. 7 is an operation flowchart of transmission processing by the transmission apparatus 1.
  • the control unit 15 of the transmission device 1 divides information to be transmitted into symbol units (step S101). And the control part 15 sets the period which superimposes a light emission pattern for every symbol (step S102). Further, the control unit 15 selects the head symbol as the symbol of interest among the unfocused symbols included in the information to be transmitted (step S103). Then, the control unit 15 determines a light emission pattern according to the focused symbol value (step S104).
  • the control unit 15 sets a plurality of sampling points in one cycle of the light emission pattern, and determines the light emission intensity of each light emitting element included in the illumination unit 14 for each sampling point (step S105). And the control part 15 outputs the control signal showing the light-emission light quantity per unit time of each light emitting element for every sampling point, for example, the control signal containing a duty ratio, to the illumination part 14, and each light emitting element of the illumination part 14 is output. Light is emitted with the amount of emitted light (step S106).
  • the control unit 15 determines whether or not an unfocused symbol that is not set as the focused symbol remains (step S107). If an unfocused symbol remains (step S107—Yes), the control unit 15 repeats the processing after step S103. On the other hand, if there is no unfocused symbol remaining (step S107—No), the control unit 15 ends the transmission process.
  • FIG. 8 is a schematic configuration diagram of the receiving device 2.
  • the receiving device 2 can be, for example, a portable terminal having an imaging unit or a stationary device.
  • the receiving device 2 includes a communication interface unit 21, a storage unit 22, a storage medium access device 23, an imaging unit 24, a user interface unit 25, and a control unit 26.
  • the receiving device 2 has a plurality of images obtained by photographing a photographing range including at least a part of a region irradiated with light from the transmitting device 1 a plurality of times along the time series at a predetermined photographing rate by the imaging unit 24. Is analyzed, the information transmitted by the transmission device 1 is decoded.
  • the communication interface unit 21 includes, for example, a communication interface for connecting the receiving device 2 to a wired or wireless communication network and its control circuit. Then, the communication interface unit 21 transmits the information received from the control unit 26 to another device, for example, a server via the communication network. The communication interface unit 21 passes information received from another device to the control unit 26.
  • the storage unit 22 includes, for example, a read-only nonvolatile semiconductor memory and a readable / writable volatile semiconductor memory. And the memory
  • the storage unit 22 stores various information and programs used by the control unit 26 to perform reception processing. Further, the storage unit 22 may store information transmitted and decoded by the transmission device 1.
  • the storage medium access device 23 is a device that accesses a storage medium 27 such as a magnetic disk, a semiconductor memory card, and an optical storage medium.
  • a storage medium 27 such as a magnetic disk, a semiconductor memory card, and an optical storage medium.
  • the storage medium access device 23 reads a computer program for reception processing, which is stored in the storage medium 27 and executed on the control unit 26, and passes it to the control unit 26.
  • the imaging unit 24 includes, for example, an image sensor formed of a two-dimensional array of solid-state imaging devices having sensitivity to light emitted from the illumination unit 14 of the transmission device 1, such as CCD or CMOS, and an imaging range on the image sensor.
  • the receiving device 2 so that the object 3 in FIG. 1 is included in the imaging range so that the imaging range includes at least a part of the region irradiated with the light from the illumination unit 14 of the transmission device 1.
  • the imaging unit 24 performs imaging at a predetermined imaging rate (for example, 30 frames / second) while the reception device 2 performs reception processing, and generates an image every time imaging is performed.
  • generates is a color image.
  • the imaging unit 24 outputs the image to the control unit 26 every time an image is generated.
  • the user interface unit 25 includes a device such as a touch panel display for a person to operate the receiving apparatus 2 or for the receiving apparatus 2 to display information to the person. Then, the user interface unit 25 outputs an operation signal corresponding to a human operation, for example, an operation signal instructing the start of reception processing to the control unit 26. In addition, the user interface unit 25 displays various information received from the control unit 26 and the image generated by the imaging unit 24. For example, the user interface unit 25 may display the information transmitted from the transmission device 1 decoded by the reception process together with the image generated by the imaging unit 24.
  • the control unit 26 has one or a plurality of processors and its peripheral circuits. And the control part 26 controls the receiver 2 whole. In addition, the control unit 26 performs frequency analysis on the plurality of images generated along the time series by the imaging unit 24 and decodes information transmitted from the transmission device 1.
  • FIG. 9 is a functional block diagram of the control unit 26 relating to reception processing.
  • the control unit 26 includes a dividing unit 31, a feature extracting unit 32, and a decoding unit 33.
  • Each of these units included in the control unit 26 is, for example, a software module realized by a computer program that operates on a processor included in the control unit 26.
  • these units included in the control unit 26 may be implemented in the receiving device 2 as firmware that realizes the functions of the units.
  • these units included in the control unit 26 may be implemented as, for example, a Web application that operates on a Web browser.
  • FIG. 10 is a conceptual diagram of reception processing. If an object illuminated with light from the illuminating unit 14 of the transmission apparatus 1 is reflected in each image generated by the imaging unit 24, the illuminating unit 14 determines pixel values included in the region in which the object is captured. It is affected by changes in the characteristics of emitted light. Therefore, the dividing unit 31 divides the images 1000-1, 1000-2, 1000-3,..., 1000-n generated by the imaging unit 24 into a plurality of partial areas 1001, respectively.
  • the feature extraction unit 32 extracts a feature amount 1002 representing the characteristics of light emitted from the illumination unit 14 from each partial region.
  • the decoding unit 33 identifies the light emission pattern 1003 by examining the temporal change of the feature amount 1002. Then, the decoding unit 33 decodes the symbol value corresponding to the light emission pattern 1003.
  • the dividing unit 31 divides each image into a plurality of partial areas. For example, the dividing unit 31 may divide each image into 2 to 4 in the horizontal direction and the vertical direction. Further, the dividing unit 31 may divide each image by a plurality of dividing methods. For example, the dividing unit 31 divides each image into two for each of the horizontal direction and the vertical direction, sets four partial areas for each image, and sets each image to 3 for each of the horizontal direction and the vertical direction. It is possible to divide and set nine partial areas for each image. Thereby, the partial area is set so that the area illuminated by the light from the transmission device 1 in any partial area, or the illumination unit 14 of the transmission apparatus 1 occupies most of the partial area. Probability increases.
  • the dividing unit 31 passes information representing each partial area of each image (for example, the position of the boundary between the partial areas) to the feature extracting unit 32.
  • the feature extraction unit 32 extracts a feature amount representing the characteristics of light that changes in time series according to the light emission pattern of light emitted from the illumination unit 14 of the transmission device 1 from each partial region of each image. For example, when the characteristic of light that changes in time series is the amount of light per unit time, the feature extraction unit 32 extracts the average value or median value of the luminance values of the pixels in each partial region as a feature amount. In addition, when the characteristic of light that changes in time series is the emission color, the feature extraction unit 32 converts the value of each pixel in each partial area into a value in the YUV color space or HLS color space, and the color of each pixel. An average value or median value of components (for example, U component, V component, or hue) is calculated as a feature amount.
  • U component, V component, or hue is calculated as a feature amount.
  • the feature extraction unit 32 converts the value of each pixel of the image into the value of the YUV color space or the HLS color space.
  • the average value or median value of the color components can be calculated by converting to.
  • the feature amount is not limited to the above example, and the feature extraction unit 32 may select various feature amounts that change in time series according to the characteristics of light that changes in the light emission pattern, for example, luminance values in a partial region or a specific value. The sum, variance, or standard deviation of the color components may be extracted as the feature amount.
  • the feature extraction unit 32 may extract an average value in a partial area of a difference value between pixel values of pixels located at the same position between two temporally continuous images as a feature amount.
  • the feature extraction unit 32 passes the feature amount for each partial region of each image to the decoding unit 33.
  • the decoding unit 33 identifies the light emission pattern from the change in the time series order of the feature amount extracted for each partial region, and decodes the symbol value corresponding to the light emission pattern.
  • the fluctuation has a frequency component in the time axis direction according to the fluctuation cycle of the light emission pattern.
  • the frequency component of the feature amount in the time axis direction includes a specific frequency component corresponding to the sine wave.
  • the decoding unit 33 extracts a plurality of images included in the period of interest having the same length as the period corresponding to one symbol, for each partial area in which the same object is captured, from the partial areas in time series order.
  • a feature vector is arranged to create a one-dimensional vector.
  • the decoding unit 33 performs a Fourier transform on the one-dimensional vector.
  • the decoding part 33 extracts the spectrum of the same frequency as the period of a light emission pattern from the obtained frequency component for every partial region.
  • the decoding unit 33 selects a partial region having the maximum amplitude level of the extracted spectrum from the partial regions. Or the decoding part 33 may select the partial area
  • the decoding unit 33 then extracts a component having a value corresponding to the light emission pattern from the extracted spectrum for the selected partial region, for example, light at a predetermined time point (for example, a start time point or an end time point of the focus period) in the focus period. Detect the phase or amplitude level of periodic variations in characteristics.
  • the decoding unit 33 performs the above processing while shifting the focus period by one frame along the time series, and detects a component having a value corresponding to the light emission pattern for each focus period. In this case, when the period of interest and the period set for each symbol by the transmission apparatus 1 match, the value of the detected component becomes an extreme value, so the decoding unit 33 converts the extreme value into a light emission pattern. A component having a corresponding value may be used. Once the extreme value is obtained, it is considered that the period of interest corresponding to the extreme value coincides with the period corresponding to one symbol. Therefore, the decoding unit 33 uses the period of interest as a reference and performs subsequent attention.
  • the decoding part 33 detects the component which has a value according to the light emission pattern for every attention period.
  • the decoding unit 33 may specify the light emission pattern by a method other than the above method.
  • the decoding unit 33 may specify a light emission pattern by obtaining a difference value of feature amounts between temporally adjacent images within a period of interest and examining increase / decrease of the feature amount based on the difference value. .
  • the decoding unit 33 arranges the detected components in time series. As described above, when the transmitted information includes a predetermined symbol sequence (for example, '01010101') as a preamble, the decoding unit 33 determines a symbol corresponding to the preamble from the detected component sequence. Extract the part that matches the column. And the decoding part 33 should just match
  • a predetermined symbol sequence for example, '01010101'
  • CRC error detection code
  • the decoding unit 33 decodes the transmitted information by arranging the decoded symbol values in a predetermined order. Then, the control unit 26 outputs the decrypted information to another device via the communication interface unit 21. Or the control part 26 performs the process according to the decoded information. For example, if the decrypted information is information for instructing activation of a predetermined application, the control unit 26 activates the application. Alternatively, the control unit 26 may display the decrypted information on the user interface unit 25.
  • FIG. 11 is an operation flowchart of a reception process executed by the reception device 2.
  • the dividing unit 31 of the control unit 26 divides each image into a plurality of partial areas (step S201). Then, the feature extraction unit 32 of the control unit 26 extracts a feature amount representing the characteristics of light that changes in the light emission pattern for each partial region (step S202).
  • the decoding unit 33 For each period including a plurality of sets of images included in a period corresponding to one symbol, the decoding unit 33 frequency-analyzes the feature amount of the partial region at the same position and detects a spectrum having a cycle of the light emission pattern (Ste S203). And the decoding part 33 decodes the value of the symbol corresponding to a light emission pattern from the detected spectrum for every period, and decodes the transmitted information (step S204). Then, the control unit 26 ends the reception process.
  • this communication system can superimpose information on the light emitted from the transmission apparatus and transmit the information to the reception apparatus.
  • information is superimposed on the light emitted by the transmission device by changing the light emission pattern that changes in time series according to the value of the symbol. Therefore, even if the receiving device cannot directly receive the light emitted from the transmitting device, it can decode the information by detecting the light emission pattern that changes in time series.
  • this communication system can transmit information even if the change in the characteristic of light emitted from the transmission device with respect to time elapses, the change in the characteristic of light can be made difficult to be perceived by humans.
  • the receiving apparatus may include a terminal having an imaging unit and another apparatus connected to the terminal via a communication network, for example, a server.
  • the terminal may transmit the image to a server via a communication network together with identification information for identifying the terminal, for example, the IP address of the terminal.
  • the processor of a server may perform each process of the control part of the receiver by said embodiment, and may decode the information transmitted from the transmitter. Further, the server may return the decrypted information to the terminal with reference to the identification information for specifying the terminal.
  • the processor of the terminal may extract the feature amount for each partial region by performing the process of the dividing unit 31 and the process of the feature extracting unit 32 on the image every time the image is generated.
  • a terminal may transmit the feature-value for every partial area extracted from each image to a server via a communication network with the identification information for specifying a terminal.
  • the processor of the server may decode the information transmitted from the transmission device by executing the processing of the decoding unit 33 of the reception device according to the above-described embodiment.
  • the control unit of the reception device may perform tracking processing using an optical flow or the like, and specify a partial region in which the same object is captured among a plurality of images arranged in time series. Then, the control unit of the receiving device may execute the process of the decoding unit using the feature amount extracted from the partial region in which the same object of each image in the target period is captured.
  • the control unit of the reception device is similarly extracted from the partial region in which the same object identified by the tracking process is captured.
  • the processing of the decoding unit may be executed using the feature amount.
  • the area of an area in which an object irradiated with light emitted from the illuminating unit of the transmitting device appears on an image generated by the imaging unit of the receiving device is equal to or larger than a predetermined area.
  • the processing of the dividing unit may be omitted in the receiving device.
  • the predetermined area can be, for example, half of the image size.
  • the feature extraction unit may extract a feature amount from the entire image.
  • a computer program that causes a computer to realize each function of the control unit of the transmission device according to each of the above embodiments may be provided in a form recorded on a computer-readable medium.
  • a computer program that causes a computer to realize each function of the control unit of the receiving device according to the above-described embodiment may be provided in a form recorded on a computer-readable medium.

Landscapes

  • Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Optical Communication System (AREA)
  • Circuit Arrangement For Electric Light Sources In General (AREA)

Abstract

　送信装置は、発する光の特性を時系列に沿って変更可能な照明部と、伝送する情報に含まれるシンボルに対して所定の期間を設定し、その期間内でシンボルの値に応じて照明部から発する光の特性を時系列に沿って変化させるよう照明部を制御する制御部とを有する。一方、受信装置は、所定の撮影周期で送信装置からの光が照射された範囲の少なくとも一部を含む撮影範囲が写った画像を生成する撮像部と、撮像部により生成された複数の画像のそれぞれから、送信装置の照明部が発する光の特性を表す特徴量を抽出する特徴抽出部と、シンボルに応じて設定される期間に含まれる複数の画像のそれぞれから抽出された特徴量の時系列順での変化からシンボルの値を復号する復号部とを有する。

Description

送信装置、受信装置、通信システム、及び送信方法ならびに受信方法
　本発明は、例えば、光を利用して信号を伝送する通信システム及びそのような通信システムで利用される送信装置及び受信装置ならびに送信方法及び受信方法に関する。
　従来より、照明光源として発光ダイオード(Light Emitting Diode, LED)が広く利用されている。LEDは、白熱電球または蛍光灯と比較して、応答速度が速いという特徴を有する。この特徴を利用して、人の目では認識できない速さでLEDを明滅させることでLEDから発する照明光に情報を重畳して通信を行う可視光通信技術が研究されている（例えば、非特許文献１を参照）。
　可視光通信は、電波の使用が制限されている場所での通信用途、室内など光が届く範囲に限定した情報配布、または、Intelligent Transport Systems(ITS)などでの利用が検討されている。
　例えば、特許文献１に開示された情報伝送システムは、所定の領域を光らせて情報を送信する発光手段と、所定の領域を時系列的に撮像した画像から情報を復号する受光手段とを含む。この情報伝送システムでは、所定の領域は情報に応じて少なくとも三値に多値化して色変調された光を発し、受光手段は、所定の領域の多値化された色変調情報に基づいて情報を復号する。
　また、原色光を発する少なくとも二つの一次光源を含み、一次光源から発する光の色座標を埋め込むデータに応じて変調することで、光にデータを組み込む光モジュールが提案されている（例えば、特許文献２を参照）。人間の目の色における色の変化に対する感知性は、強度における変化に対する感知性よりも低いので、この光モジュールが照明システムに利用された場合、照明としての機能を低下させることなく、発される光へデータを埋め込むことが可能となる。
特開平３－１０４８３号公報 国際公開第２００９／１３６３１２号
春山、「可視光通信」、電子情報通信学会論文誌、Vol.J86-A、No.12 pp.1284-1291、2003年12月
　しかしながら、特許文献１に開示された技術では、色ごとに、送信されるデータの値が割り当てられている。また、特許文献２に開示された技術でも、個々の色座標に、１ビットまたは複数ビットで表される論理値が割り当てられている。そのため、特許文献１に開示された技術及び特許文献２に開示された技術では、信号を送信側の装置が発する光に重畳された情報を受信側の装置が正確に復号するためには、受信側の装置は、送信側の装置が発した光を直接受光することが求められる。受信側の装置が送信側の装置が発した光を直接受光することができず、例えば、送信側の装置が発した光が物体で反射または散乱された光が受信側の装置で受光される場合、その物体により、受光された光の色が元の色と異なってしまうおそれがあるためである。そして受光された光の色が送信側の装置が発した光の色と異なっている場合、受光された光の色は、重畳された情報に含まれるデータの値に対応する色ではないため、受信側の装置は、送信側の装置が発した光に重畳された情報を正確に復号することは困難となる。
　そこで本明細書は、情報を重畳する光を受信装置が直接受光できない場合でも、光に重畳された情報を受信装置へ伝送できる送信装置を提供することを目的とする。
　一つの実施形態によれば、送信装置が提供される。この送信装置は、発する光の特性を時系列に沿って変更可能な照明部と、伝送する情報に含まれるシンボルに対して所定の期間を設定し、その期間内でシンボルの値に応じて照明部から発する光の特性を時系列に沿って変化させるよう照明部を制御する制御部とを有する。
　また、他の実施形態によれば、受信装置が提供される。この受信装置は、所定の撮影周期で撮影範囲が写った画像を生成する撮像部と、撮像部により生成された複数の画像のそれぞれから、伝送される情報に含まれるシンボルの値に応じて時系列に沿って変更される送信装置が発する光の特性を表す特徴量を抽出する特徴抽出部と、シンボルに応じて設定される期間に含まれる複数の画像のそれぞれから抽出された特徴量の時系列順での変化からシンボルの値を復号する復号部とを有する。
　さらに他の実施形態によれば、送信装置と受信装置とを有する通信システムが提供される。この通信システムにおいて、送信装置は、発する光の特性を時系列に沿って変更可能な照明部と、伝送する情報に含まれるシンボルに対して所定の期間を設定し、その期間内でシンボルの値に応じて照明部から発する光の特性を時系列に沿って変化させるよう照明部を制御する制御部とを有する。一方、受信装置は、所定の撮影周期で送信装置からの光が照射された範囲の少なくとも一部を含む撮影範囲が写った画像を生成する撮像部と、撮像部により生成された複数の画像のそれぞれから、シンボルの値に応じて時系列に沿って変更される送信装置が発する光の特性を表す特徴量を抽出する特徴抽出部と、シンボルに応じて設定される期間に含まれる複数の画像のそれぞれから抽出された特徴量の時系列順での変化からシンボルの値を復号する復号部とを有する。
　本発明の目的及び利点は、請求項において特に指摘されたエレメント及び組み合わせにより実現され、かつ達成される。
　上記の一般的な記述及び下記の詳細な記述の何れも、例示的かつ説明的なものであり、請求項のように、本発明を制限するものではないことを理解されたい。
　本明細書に開示された送信装置は、情報を重畳する光を受信装置が直接受光できない場合でも、光に重畳された情報を受信装置へ伝送できる。
図１は、一つの実施形態による通信システムの概略構成図である。 図２は、発光パターンと重畳されるシンボルの値の関係の一例を示す図である。 図３は、送信装置から発した光が物体により反射または散乱されることによる発光パターンへの影響を説明する図である。 図４は、図１に示された通信システムで利用される送信装置の概略構成図である。 図５は、発光パターンに応じた、YUV色空間における各成分の値の時間変化と、RGB色空間における各成分の値の時間変化の関係の一例を示す図である。 図６（Ａ）は、発光パターンに応じて決定される、発光素子の発光強度の時間変化を表す図である。図６（Ｂ）は、PWM方式における発光素子の発光光量と発光素子に電流を流す期間の関係の説明図である。 図７は、送信処理の動作フローチャートである。 図８は、図１に示された通信システムで利用される受信装置の概略構成図である。 図９は、受信装置の制御部の機能ブロック図である。 図１０は、受信処理の概念図である。 図１１は、受信処理の動作フローチャートである。
　以下、図を参照しつつ、通信システム及び通信システムで利用される送信装置及び受信装置について説明する。この通信システムでは、送信装置は、照明部から発する光の特性を、伝送する情報に含まれるシンボルの値に応じて時系列的に変化させる。その際、送信装置は、その光の特性の時系列的な変化のパターンである発光パターンを、伝送する情報に含まれるシンボルの値に応じて異ならせる。これにより、受信装置は、送信装置が発した光を直接受光できず、何らかの物体で反射または散乱された光を受光する場合でも、受光した光の特性の時系列的な変化のパターンを抽出することで、重畳された情報を復号できる。
　図１は、一つの実施形態による通信システムの概略構成図である。通信システム１００は、送信装置１と受信装置２とを有する。そして送信装置１は、自装置が有する照明部が発する光に送信する情報を重畳する。一方、受信装置２は、撮像部を有し、その撮像部で送信装置１からの光で照明された物体３を含む撮影範囲を時系列的に連続して撮影して得られる、時系列に並んだ複数の画像から光に重畳された情報を復号する。なお、この例では、通信システム１００は、一つの受信装置２のみを含んでいるが、通信システム１００に含まれる受信装置２の台数は１台に限られない。通信システム１００は、複数の受信装置２を含んでもよい。
　図２は、発光パターンと重畳されるシンボルの値の関係の一例を示す図である。図２において、横軸は時間を表し、縦軸は、送信装置１から発せられる光の特性を表す。発光パターン２０１及び発光パターン２０２は、それぞれ、シンボル値'0'、'1'に相当する。そして発光パターン２０１及び発光パターン２０２では、何れも時間経過とともに光の特性が周期的に変化するが、位相が互いに対して180°ずれている。このように、光の特性の時間変動における位相をシンボル値ごとに異ならせることで、送信装置１は、照明部が発する光に情報を重畳することができる。なお、発光パターンとシンボル値の関係は、この例に限られない。発光パターンとシンボル値の関係の詳細については後述する。
　図３は、送信装置から発した光が物体により反射または散乱されることによる発光パターンへの影響を説明する図である。図３において、グラフ３０１は、発光パターンに従った、送信装置１の照明部が発した光の時間変化を表す。なお、この例では、時系列に沿って照明部から発する光の色が変化するものとする。またグラフ３０２は、送信装置１の照明部からの光が物体３により反射または散乱されることにより得られた光の時間変化を表す。物体３が自ら時系列に沿って変色する物体でない限り、物体３の色は、点線３０３で示されるように一定である。そのため、物体３により反射または散乱されることで、光の色そのものは変化しても、反射または散乱後の光の時系列に沿った変動パターンは発光パターンと同一である。したがって、受信装置２は、送信装置１の照明部が発し、物体３により反射または散乱された光を受光する場合でも、受光した光の変動パターンの周波数特性を解析して発光パターンを特定することで、送信装置１が照明部から発する光に重畳した情報を復号できる。
　図４は、送信装置１の概略構成図である。送信装置１は、通信インターフェース部１１と、記憶部１２と、記憶媒体アクセス装置１３と、照明部１４と、制御部１５とを有する。そして送信装置１は、通信インターフェース部１１または記憶媒体アクセス装置１３を介して取得した、あるいは、記憶部１２に予め記憶された伝送すべき情報を、照明部１４が発する光に重畳してその情報を送信する。
　通信インターフェース部１１は、例えば、送信装置１を、有線または無線の通信ネットワークに接続するための通信インターフェース及びその制御回路を有する。そして通信インターフェース部１１は、他の装置から、通信ネットワークを介して受信した情報を制御部１５へ渡す。
　記憶部１２は、例えば、読み出し専用の不揮発性の半導体メモリと読み書き可能な揮発性の半導体メモリとを有する。そして記憶部１２は、例えば、通信インターフェース部１１を介して取得した、または、記憶媒体アクセス装置１３から読み込んだ、伝送すべき情報を記憶する。また記憶部１２は、制御部１５が送信処理を行うために利用する各種の情報及びプログラムを記憶する。例えば、記憶部１２は、シンボル値ごとに、そのシンボル値に対応する発光パターンを表すデータを記憶する。発光パターンを表すデータは、例えば、その発光パターンに応じた照明部１４からの光の制御開始時点における発光パターンの位相、周期、光の特性の最大値及び最小値に相当する発光色または光量などを含む。また、伝送すべき情報が固定である場合には、記憶部１２は、予め、その情報に含まれる各シンボルの発光パターンを表すデータを記憶していてもよい。
　記憶媒体アクセス装置１３は、例えば、磁気ディスク、半導体メモリカード及び光記憶媒体といった記憶媒体１６にアクセスする装置である。記憶媒体アクセス装置１３は、例えば、記憶媒体１６に記憶された、制御部１５上で実行される、送信処理用のコンピュータプログラムあるいは伝送すべき情報を読み込み、制御部１５に渡す。
　照明部１４は、発光する光の特性を時系列に沿って変化させることが可能な少なくとも一つの発光素子と、駆動回路とを有する。駆動回路は、制御部１５からの制御信号に応じて、その少なくとも一つの発光素子から発する光の特性を変更するよう、その少なくとも一つの発光素子を駆動する。
　時系列に沿って変化可能な光の特性は、例えば、発光色とすることができる。この場合、照明部１４は、例えば、発光色が互いに異なる少なくとも２種類の発光素子、例えば、赤色LED、緑色LED及び青色LEDのうちの少なくとも２種類を有する。そして各発光素子が発する光量の比率が時系列に沿って変化することで照明部１４が発する光の色も時系列に沿って変化する。あるいは、照明部１４は、発光色そのものを変調可能な少なくとも一つの発光素子を有してもよい。発光色そのものを変調可能な発光素子は、例えば、蛍光灯のように複数の波長を含む光を発する発光素子と、アレイ状に配置されたカラーフィルタを有する液晶パネルのように、光の波長ごとの透過率を調整できる光変調素子との組み合わせとすることができる。
　あるいは、時系列に沿って変化可能な光の特性は、単位時間当たりの光量であってもよい。この場合、照明部１４は、光量を時系列に沿って変更可能な少なくとも一つの発光素子、例えば、白色LEDあるいは有機エレクトロルミネッセンス(Electro Luminescence, EL)素子を有する。
　あるいはまた、時系列に沿って変化可能な光の特性は、発光色と光量の組み合わせであってもよい。
　照明部１４は、制御部１５からの制御信号に従って、発光する光の特性を、伝送する情報に含まれるシンボルの値に応じた発光パターンに従って時系列で変化させることで、照明部１４から発する光に情報を重畳する。
　制御部１５は、一つまたは複数のプロセッサと、その周辺回路とを有する。そして制御部１５は、送信装置１全体を制御する。制御部１５は、通信インターフェース部１１を介して、あるいは、記憶媒体アクセス装置１３から伝送すべき情報を受け取った場合、その情報を一旦記憶部１２に記憶する。そして制御部１５は、送信処理を実行する場合、伝送すべき情報を記憶部１２から読み込み、その情報をシンボル単位で分割する。そして制御部１５は、シンボルごとに、そのシンボルの値に応じた発光パターンを表すデータを記憶部１２から読み込み、その発光パターンに応じて発する光の特性を時系列に沿って変化させるように照明部１４を制御する。
　なお、送信処理を実行するタイミングは予め設定されていてもよい。あるいは、図示しないユーザインターフェース部からの操作によって、あるいは、通信インターフェース部１１を介して受信した、他の装置からの送信処理の開始指示信号に応じて、制御部１５は、送信処理を開始してもよい。あるいはまた、制御部１５は、一定周期ごとに、送信処理を繰り返し実行してもよい。
　以下、照明部１４の制御及び発光パターンについて詳述する。
　本実施形態では、発光パターンは、例えば、図２に示されるように、時間経過に伴って光の特性が正弦波状に変化する周期的な変動パターンとなる。発光パターンは、この例に限られず、例えば、光の特性が三角形状、あるいは矩形パルス状に周期的に変動するパターンであってよい。また発光パターンは、周期的に変動するパターンに限られず、例えば、一つのシンボルに応じた期間内で、光の特性が単調に変化するパターンであってもよい。例えば、シンボル値'0'に対応する発光パターンでは、そのシンボルに対応する期間の開始時点において照明部１４から発する光は第１の特性値を持ち、その期間の終了時点において照明部１４から発する光は第２の特性値を持つように光の特性が単調に変化する。一方、シンボル値'1'に対応する発光パターンでは、そのシンボルに対応する期間の開始時点において照明部１４から発する光は第２の特性値を持ち、その期間の終了時点において照明部１４から発する光は第１の特性値を持つように光の特性が単調に変化する。
　発光パターンの１周期の長さは、例えば、受信装置２が有する撮像部の撮影レートでも、受信装置がその発光パターンを再現できるように、その撮影レートの逆数の数倍に設定される。例えば、受信装置の撮影レートが30フレーム／秒である場合、発光パターンの１周期の長さは、例えば、100ミリ秒～1秒に設定される。
　制御部１５は、例えば、伝送すべき情報を、１～複数のビットを持つビット列単位で分割し、各ビット列を、それぞれ、一つのシンボルとする。制御部１５は、シンボルの値に応じた発光パターンを表すデータを記憶部１２から読み込む。そして制御部１５は、シンボルごとに所定長を持つ期間を設定する。制御部１５は、その期間において、１～数周期分、照明部１４にシンボル値に応じた発光パターンを繰り返させる。
　なお、制御部１５は、伝送すべき情報の所定の位置、例えば、先頭に、プリアンブルとして、所定のシンボル列（例えば、'01010101'）を含めてもよい。あるいは、制御部１５は、伝送すべき情報に、巡回冗長検査(Cyclic Redundancy Check, CRC)符号といった、誤り検出符号を含めてもよい。制御部１５が、これらのシンボル列及び誤り検出符号を伝送すべき情報に含めることで、受信装置２は、伝送された情報を正確に復号することが容易となる。
　制御部１５は、シンボルの値に応じた発光パターンの変調方式として、無線通信で利用されている様々な変調方式を利用できる。例えば、制御部１５は、一つのシンボルを一つのビットに対応させてもよい。この場合、制御部１５は、図２に示した二位相偏移変調方式(binary phase-shift keying, BPSK)のように、シンボルの値が'0'に対応する発光パターンとシンボルの値が'1'に対応する発光パターンとの間で位相を180°反転させる。
　また、制御部１５は、二つのビットを一つのシンボルに対応させてもよい。この場合、制御部１５は、四位相偏移変調方式(quadriphase phase-shift keying, QPSK)のように、シンボルが取り得る４通りの値('00','01','10','11')のそれぞれごとに、位相が90°ずつ異なる、周期的に光の特性が変動する発光パターンを設定してもよい。
　あるいは、制御部１５は、シンボルの値に応じて、光の特性の変化幅（以下、振幅レベルと呼ぶ）も変調してもよい。この場合、制御部１５は、直角位相振幅変調(quadrature amplitude modulation, QAM)のように、シンボルが取り得る各値ごとに、振幅レベルと位相の組み合わせが異なる発光パターンを設定してもよい。その際、制御部１５は、振幅レベルに関して、あるシンボル値では、シンボルに対応する期間内で振幅レベルを単調増加させ、他のシンボル値では、シンボルに対応する期間内で振幅レベルを単調減少させてもよい。このように一つのシンボルに対応する期間内で、シンボルの値に応じて振幅レベルを変化させることで、物体３による照明部１４からの光の反射または散乱によって振幅レベル自体が変化しても、受信装置２が正確に発光パターンを特定することが容易となる。
　また、制御部１５は、互いに異なる周波数（すなわち、互いに異なる周期）を持つ複数の発光パターンを利用して、伝送する情報を多重化してもよい。制御部１５は、例えば、直交周波数分割多重方式(orthogonal frequency-division multiplexing, OFDM)のように、複数の周波数のそれぞれごとに、上記の何れかの変調方式に従った発光パターンでシンボルを表し、各周波数の発光パターンを逆フーリエ変換してもよい。なお、逆フーリエ変換は、周波数時間変換の一例である。そして制御部１５は、周波数時間変換により得られた発光パターンに従って、照明部１４が光の特性を時系列に沿って変化させるように、照明部１４を制御してもよい。
　また、送信装置１の周囲の環境光、特に、周期的に発光特性が変化する光が受信装置２にとってノイズとなり、受信装置２における、伝送された情報の復号精度が低下するおそれもある。そこで制御部１５は、符号分割多元接続方式(Code Division Multiple Access, CDMA)で利用されているスペクトラム拡散のように、伝送する情報を複数の周波数に拡散してもよい。そして制御部１５は、伝送する情報を複数の周波数に拡散して得られる発光パターンに従って、照明部１４が光の特性を時系列に沿って変化させるように、照明部１４を制御してもよい。
　次に、発光パターンにおいて時系列に沿って変化する光の特性について説明する。
　発光パターンにおいて時系列に沿って変化する光の特性は、例えば、発光色あるいは単位時間値の光量、あるいは、発光色と単位時間当たりの光量の組み合わせとすることができる。
　発光パターンにおいて時系列に沿って変化する光の特性が発光色である場合、例えば、制御部１５は、発光パターンの１周期に、複数のサンプリング点（例えば、10～20点）を設定する。そして制御部１５は、YUVあるいはHLSといった、輝度成分と色成分とが互いに独立して表される色空間において、その色成分の値を正弦波状に変化させたときの各サンプリング点での色成分の値を求める。そして制御部１５は、各サンプリング点について、その色空間における輝度成分の値と色成分の値から、照明部１４が有する各発光素子の発光色に対応させることができるRGB色空間における赤色、緑色及び青色の各成分の値を求める。そして制御部１５は、サンプリング点ごとに、赤色、緑色及び青色の各成分の値に応じて、その色成分に対応する発光素子の単位時間当たりの発光光量を決定する。なお、制御部１５は、輝度成分の値を一定に保つことが好ましい。これにより、照明部１４が発する光の色が発光パターンに従って時系列に沿って変化しても、その光の単位時間当たりの光量は一定に保たれる。人の視覚は光量の変化については比較的敏感であるが、色の変化については比較的鈍感である。そのため、単位時間当たりの光量が一定に保たれることで、制御部１５は、照明部１４からの光の特性が発光パターンに従って時系列に沿って変化していることを人に知覚され難くすることができる。
　図５は、発光パターンに応じた、YUV色空間における各成分の値の時間変化と、RGB色空間における各成分の値の時間変化の関係の一例を示す図である。
　図５の左側には、発光パターンに応じたYUV色空間での各成分の値が示される。一番上のグラフ５０１に示されるように、Y成分、すなわち、輝度成分は、時間経過によらず一定に保たれる。一方、中央のグラフ５０２に示されるように、一方の色差成分であるU成分の値は、発光パターンに応じて時間経過とともに変化する。同様に、一番下のグラフ５０３に示されるように、他方の色差成分であるV成分の値も、発光パターンに応じて時間経過とともに変化する。
　一方、図５の右側には、図５の左側に示された発光パターンに対応する、RGB色空間での各成分の値が示される。グラフ５１１～５１３は、それぞれ、赤色成分、緑色成分、青色成分の時間変化を表す。グラフ５１１～５１３に示されるように、各色成分は、発光パターンに応じて変化する。制御部１５は、各サンプリング点での各色成分の値に応じた単位時間当たりの発光光量で、照明部１４のその色成分に対応する発光素子を発光させればよい。
　なお、各発光素子の単位時間当たりの発光光量の変動幅が、その発光素子の単位時間当たりの発光光量の一つのシンボルに対応する期間にわたる時間平均値に対して数％程度となるように、制御部１５は、U成分及びV成分の値を決定することが好ましい。これにより、発光パターンに応じた照明部１４からの光の特性の時間変化が、人に対してより知覚され難くなる。
　また、発光パターンに従って時系列に沿って変化する光の特性が、単位時間当たりの光量である場合も、例えば、制御部１５は、発光パターンの１周期に、複数のサンプリング点（例えば、10～20点）を設定する。そして制御部１５は、その発光パターンに従って、各サンプリング点での照明部１４が有する発光素子の単位時間当たりの発光光量を決定すればよい。
　照明部１４が有する各発光素子の単位時間当たりの発光光量を、上記のように決定された各サンプリング点での発光光量とするために、制御部１５は、各発光素子を、例えば、パルス幅変調(Pulse Width Modulation, PWM)方式に従って制御してもよい。PWM方式では、単位時間に対する発光素子が点灯している時間の比（デューティ比）により、発光素子の発光光量が調節される。この場合、例えば、発光パターンの１周期に設定されるサンプリング点の数でその周期を等分して得られる個々の区間が、一つのサンプリング点に対応する区間（その区間の長さをTとする）となる。そして制御部１５は、その区間Tにおいて発光素子を点灯させる時間tを、次式に従って決定する。
　　t=T×n/M
ここで、Mは、発光素子の単位時間当たりの最大発光光量であり、nは、そのサンプリング点における単位時間当たりの発光光量である。
　図６（Ａ）は、発光パターンに応じて決定される、発光素子の単位時間当たりの発光光量の時間変化を表す図である。図６（Ａ）において、横軸は時間を表し、縦軸は光量を表す。点線で示されるグラフ６０１は、発光パターンに応じて決定される、発光素子の単位時間当たりの発光光量の時間変化を表す。そしてグラフ６０１上の各点６０２は、それぞれ、サンプリング点を表す。
　図６（Ｂ）は、PWM方式における発光素子の発光光量と発光素子に電流を流す期間、すなわち、発光素子を点灯させる期間の関係の説明図である。図６（Ｂ）において、横軸は時間を表し、縦軸は、発光素子に流れる電流を表す。そしてグラフ６１１及び６１２は、それぞれ、時間と発光素子に流れる電流の関係を示す。例えば、図６（Ａ）におけるサンプリング点t1における単位時間当たりの発光光量がnであるとする。この場合、単位時間当たりの発光光量がnとなるように発光素子を点灯させるために、例えば、グラフ６１１に示されるように、一つのサンプリング点に対応する区間T内で連続する区間T×(n/M)の間、制御部１５は、発光素子に電流を流せばよい。あるいは、グラフ６１２に示されるように、制御部１５は、一つのサンプリング点に対応する区間T内で、発光素子に電流を流す区間を複数のサブ区間P1、P2、P3に分割してもよい。この場合も、各サブ区間の長さの合計がT×(n/M)となればよい。
　PWM方式による発光素子の明滅が人に知覚されないようにするために、制御部１５は、一つのサンプリング点に対応する区間の長さTが、人の目に明滅によるちらつきが見え難くなる1/100秒以下とすることが好ましい。さらに、その区間の長さTは、受信装置２の撮影部が１回の撮影を行うときの露光期間よりも短いことが好ましい。これにより、受信装置２の撮像部により生成された画像上で照明部１４からの光が照射されている物体が写る領域は、照明部１４が発した光の光量に応じた明るさとなる。また制御部１５は、PWM方式による発光素子の明滅が人に知覚されないようにするために、PWM方式による発光素子の変調周波数を500Hz以上とすることが好ましい。
　なお、照明部１４が有する各発光素子の輝度を、一つのサンプリング点に対応する区間の長さTよりも短い周期で調節することが可能な場合には、制御部１５は、各サンプリング点に対応する発光光量となるように、各発光素子の輝度を調節してもよい。
　図７は、送信装置１による送信処理の動作フローチャートである。
　送信装置１の制御部１５は、伝送する情報をシンボル単位に分割する（ステップＳ１０１）。そして制御部１５は、シンボルごとに、発光パターンを重畳する期間を設定する（ステップＳ１０２）。また制御部１５は、伝送する情報に含まれ、未着目のシンボルのうち、先頭のシンボルを着目するシンボルとして選択する（ステップＳ１０３）。そして制御部１５は、その着目するシンボル値に応じて発光パターンを決定する（ステップＳ１０４）。
　制御部１５は、発光パターンの１周期に複数のサンプリング点を設定し、サンプリング点ごとに、照明部１４が有する各発光素子の発光強度を決定する（ステップＳ１０５）。そして制御部１５は、サンプリング点ごとに、各発光素子の単位時間当たりの発光光量を表す制御信号、例えば、デューティ比を含む制御信号を照明部１４に出力し、照明部１４の各発光素子をその発光光量で発光させる（ステップＳ１０６）。
　制御部１５は、着目するシンボルに設定されていない未着目のシンボルが残っているか否か判定する（ステップＳ１０７）。未着目のシンボルが残っていれば（ステップＳ１０７－Ｙｅｓ）、制御部１５は、ステップＳ１０３以降の処理を繰り返す。
　一方、未着目のシンボルが残っていなければ（ステップＳ１０７－Ｎｏ）、制御部１５は、送信処理を終了する。
　次に、受信装置２について説明する。
　図８は、受信装置２の概略構成図である。受信装置２は、例えば、撮像部を有する携帯端末、あるいは、据え置き型の装置とすることができる。そして受信装置２は、通信インターフェース部２１と、記憶部２２と、記憶媒体アクセス装置２３と、撮像部２４と、ユーザインターフェース部２５と、制御部２６とを有する。受信装置２は、送信装置１からの光が照射された領域の少なくとも一部を含む撮影範囲を、撮像部２４により所定の撮影レートで時系列に沿って複数回撮影して得られる複数の画像を解析することで、送信装置１が送信した情報を復号する。
　通信インターフェース部２１は、例えば、受信装置２を、有線または無線の通信ネットワークに接続するための通信インターフェース及びその制御回路を有する。そして通信インターフェース部２１は、制御部２６から受け取った情報を、通信ネットワークを介して他の装置、例えば、サーバへ送信する。また通信インターフェース部２１は、他の装置から受け取った情報を制御部２６へ渡す。
　記憶部２２は、例えば、読み出し専用の不揮発性の半導体メモリと読み書き可能な揮発性の半導体メモリとを有する。そして記憶部２２は、例えば、撮像部２４により時系列に沿って生成された複数の画像を受信処理の間記憶する。また記憶部２２は、制御部２６が受信処理を行うために利用する各種の情報及びプログラムを記憶する。さらに記憶部２２は、送信装置１が送信し、かつ復号された情報を記憶してもよい。
　記憶媒体アクセス装置２３は、例えば、磁気ディスク、半導体メモリカード及び光記憶媒体といった記憶媒体２７にアクセスする装置である。記憶媒体アクセス装置２３は、例えば、記憶媒体２７に記憶された、制御部２６上で実行される、受信処理用のコンピュータプログラムを読み込み、制御部２６に渡す。
　撮像部２４は、例えば、CCDあるいはCMOSといった、送信装置１の照明部１４が発する光に感度を持つ固体撮像素子の２次元アレイにより形成されるイメージセンサと、そのイメージセンサ上に、撮影範囲の像を結像する結像光学系を有する。なお、撮影範囲に、送信装置１の照明部１４からの光が照射された領域の少なくとも一部が含まれるように、例えば、図１の物体３が撮影範囲に含まれるように、受信装置２は配置されることが好ましい。そして撮像部２４は、受信装置２が受信処理を行っている間、所定の撮影レート（例えば、30フレーム／秒）で撮影を行って、撮影を行う度に画像を生成する。なお、伝送する情報に応じて重畳される発光パターンによる光の特性の変化が発光色の変化で表される場合、撮像部２４が生成する画像はカラー画像であることが好ましい。
　撮像部２４は、画像を生成する度に、その画像を制御部２６へ出力する。
　ユーザインターフェース部２５は、例えば、タッチパネルディスプレイといった、人が受信装置２を操作したり、あるいは、受信装置２が人に情報を表示するためのデバイスを有する。そしてユーザインターフェース部２５は、人の操作に応じた操作信号、例えば、受信処理の開始を指示する操作信号を制御部２６へ出力する。またユーザインターフェース部２５は、制御部２６から受け取った各種の情報及び撮像部２４により生成された画像を表示する。例えば、ユーザインターフェース部２５は、撮像部２４により生成された画像とともに、受信処理によって復号した、送信装置１から送信された情報を表示してもよい。
　制御部２６は、一つまたは複数のプロセッサと、その周辺回路とを有する。そして制御部２６は、受信装置２全体を制御する。また制御部２６は、撮像部２４により、時系列に沿って生成された複数の画像を周波数解析して、送信装置１から送信された情報を復号する。
　図９は、受信処理に関する制御部２６の機能ブロック図である。制御部２６は、分割部３１と、特徴抽出部３２と、復号部３３とを有する。制御部２６が有するこれらの各部は、例えば、制御部２６が有するプロセッサ上で動作するコンピュータプログラムにより実現されるソフトウェアモジュールである。あるいは、制御部２６が有するこれらの各部は、その各部の機能を実現するファームウェアとして受信装置２に実装されてもよい。あるいまた、制御部２６が有するこれらの各部は、例えば、Webブラウザ上で動作するWebアプリケーションとして実装されてもよい。
　図１０は、受信処理の概念図である。送信装置１の照明部１４からの光で照明された物体が撮像部２４により生成された各画像に写っているとすると、その物体が写っている領域に含まれる画素値は、照明部１４が発する光の特性の変化に影響される。そこで分割部３１は、撮像部２４により生成された画像１０００－１、１０００－２、１０００－３、・・・、１０００－ｎをそれぞれ複数の部分領域１００１に分割する。特徴抽出部３２は、各部分領域から照明部１４が発する光の特性を表す特徴量１００２を抽出する。復号部３３は、その特徴量１００２の時間変化を調べることで、発光パターン１００３を特定する。そして復号部３３は、発光パターン１００３に対応するシンボルの値を復号する。
　分割部３１は、各画像を複数の部分領域に分割する。例えば、分割部３１は、各画像を、水平方向及び垂直方向に、それぞれ２～４分割してもよい。また分割部３１は、複数の分割方法で各画像を分割してもよい。例えば、分割部３１は、各画像を、水平方向及び垂直方向のそれぞれについて２分割して、各画像について４個の部分領域を設定するとともに、各画像を、水平方向及び垂直方向のそれぞれについて３分割して、各画像について９個の部分領域を設定してもよい。これにより、何れかの部分領域において送信装置１からの光で照明された物体が表された領域、あるいは送信装置１の照明部１４そのものが部分領域の大部分を占めるように、部分領域を設定できる確率が高くなる。
　分割部３１は、各画像の各部分領域を表す情報（例えば、部分領域間の境界の位置）を特徴抽出部３２へ渡す。
　特徴抽出部３２は、各画像の各部分領域から、送信装置１の照明部１４から発した光の発光パターンに応じて時系列で変化する光の特性を表す特徴量を抽出する。例えば、時系列で変化する光の特性が単位時間当たりの光量である場合、特徴抽出部３２は、各部分領域の画素の輝度値の平均値あるいは中央値を特徴量として抽出する。また、時系列で変化する光の特性が発光色である場合、特徴抽出部３２は、各部分領域の各画素の値をYUV色空間またはHLS色空間の値に変換して、各画素の色成分（例えば、U成分、V成分、または色相）の平均値または中央値を特徴量として算出する。なお、撮像部２４により得られた画像の各画素の値がRGB色空間で表されている場合には、特徴抽出部３２は、画像の各画素の値をYUV色空間またはHLS色空間の値に変換することで、色成分の平均値または中央値を算出できる。なお、特徴量は上記の例に限られず、特徴抽出部３２は、発光パターンで変化する光の特性に応じて時系列で変化する様々な特徴量、例えば、部分領域内の輝度値または特定の色成分の総和、分散または標準偏差を特徴量として抽出してもよい。あるいはまた、特徴抽出部３２は、時間的に連続する２枚の画像間で同じ位置にある画素の画素値間の差分値の部分領域内の平均値を特徴量として抽出してもよい。
　特徴抽出部３２は、各画像の部分領域ごとの特徴量を復号部３３に渡す。
　復号部３３は、部分領域ごとに抽出された特徴量の時系列順での変化から発光パターンを特定し、その発光パターンに応じたシンボルの値を復号する。
　上記のように、発光パターンに従って送信装置１の照明部１４から発した光の特性が周期的に変動している場合、送信装置１により照明された物体が写っている部分領域の特徴量の時間変動は、発光パターンの変動周期に応じた時間軸方向の周波数成分を持つ。例えば、上記のように、送信装置１からの光の特性が正弦波状に変動する場合、時間軸方向における特徴量の周波数成分には、その正弦波に対応する特定の周波数成分が含まれる。
　そこで復号部３３は、一つのシンボルに対応する期間と同じ長さの着目期間に含まれる複数の画像について、同一の物体が写っている部分領域ごとに、時系列順にその部分領域から抽出された特徴量を並べて１次元ベクトルを作成する。なお、受信装置２が静止しており、かつ、受信装置２の撮影範囲内に静止している物体が存在する場合、複数の画像において同一の物体が写っている部分領域は、画像上の同じ位置にある部分領域とすることができる。そして復号部３３は、その１次元ベクトルをフーリエ変換する。そして復号部３３は、部分領域ごとに、得られた周波数成分から発光パターンの周期と同じ周波数のスペクトルを抽出する。
　復号部３３は、部分領域のうち、抽出したスペクトルの振幅レベルが最大となる部分領域を選択する。あるいは、復号部３３は、抽出したスペクトルの振幅レベルが所定の閾値以上となる部分領域を選択してもよい。これにより、復号部３３は、送信装置１により照明された物体または送信装置１の照明部１４そのものが写っている部分領域を選択できる。そして復号部３３は、選択した部分領域について、抽出したスペクトルから、発光パターンに応じた値を持つ成分、例えば、着目期間内の所定時点（例えば、着目期間の開始時点または終了時点）における光の特性の周期的な変動の位相または振幅レベルを検出する。
　なお、送信装置１がシンボルごとに設定する期間と、着目期間とがずれている可能性がある。そこで復号部３３は、時系列に沿って着目期間を１フレームずつずらしながら、上記の処理を行って、着目期間ごとに発光パターンに応じた値を持つ成分を検出する。この場合、着目期間と送信装置１がシンボルごとに設定する期間とが一致した場合に、その検出された成分の値が極値となるので、復号部３３は、その極値を、発光パターンに応じた値を持つ成分とすればよい。一旦、極値が得られれば、その極値に対応する着目期間が一つのシンボルに対応する期間と一致していると考えられるので、復号部３３は、その着目期間を基準として、以後の着目期間を設定すればよい。そして復号部３３は、着目期間ごとに、発光パターンに応じた値を持つ成分を検出する。
　なお、復号部３３は、上記の方法以外の方法により、発光パターンを特定してもよい。例えば、復号部３３は、着目期間内で、時間的に隣接する画像間での特徴量の差分値を求め、その差分値により特徴量の増減を調べることで、発光パターンを特定してもよい。
　復号部３３は、検出された成分を時系列順に並べる。復号部３３は、上記のように、プリアンブルとして、伝送される情報に所定のシンボル列（例えば、'01010101'）が含まれている場合、検出された成分の並びから、そのプリアンブルに相当するシンボル列と一致する部分を抽出する。そして復号部３３は、抽出した部分において検出された成分とシンボルの値が一致するように、検出された成分とシンボルの値を対応付ければよい。
　あるいは、復号部３３は、伝送される情報にCRCといった誤り検出符号が含まれている場合、その誤り検出符号を利用してシンボルの誤りが最小となるように、検出された成分とシンボルの値を対応付けてもよい。
　あるいはまた、復号部３３は、検出された成分とシンボルの値との対応関係を表す参照テーブルを参照して、検出された成分に応じたシンボルの値を求めてもよい。なお、その参照テーブルは、例えば、予め記憶部２２に記憶される。
　復号部３３は、復号されたシンボルの値を所定の順序で並べることで、伝送された情報を復号する。そして制御部２６は、復号した情報を通信インターフェース部２１を介して他の装置へ出力する。あるいは、制御部２６は、復号した情報に応じた処理を実行する。例えば、復号した情報が所定のアプリケーションの起動を指示する情報であれば、制御部２６は、そのアプリケーションを起動する。あるいは、制御部２６は、復号した情報をユーザインターフェース部２５に表示させてもよい。
　図１１は、受信装置２により実行される受信処理の動作フローチャートである。
　制御部２６の分割部３１は、各画像を複数の部分領域に分割する（ステップＳ２０１）。そして制御部２６の特徴抽出部３２は、部分領域ごとに発光パターンで変化する光の特性を表す特徴量を抽出する（ステップＳ２０２）。
　復号部３３は、一つのシンボルに相当する期間に含まれる複数の画像の組を含む期間ごとに、同じ位置の部分領域の特徴量を周波数解析して発光パターンの周期を持つスペクトルを検出する（ステップＳ２０３）。そして復号部３３は、その期間ごとに、検出したスペクトルから発光パターンに対応するシンボルの値を復号して、伝送された情報を復号する（ステップＳ２０４）。そして制御部２６は、受信処理を終了する。
　以上に説明してきたように、この通信システムは、送信装置が発する光に情報を重畳して受信装置へ伝送することができる。そしてこの通信システムでは、時系列に変化する発光パターンをシンボルの値に応じて異ならせることで、送信装置が発する光に情報を重畳する。そのため、受信装置は、送信装置が発した光を直接受光できなくても、その時系列に変化する発光パターンを検出することで情報を復号できる。またこの通信システムは、時間経過に対する送信装置が発する光の特性の変化を緩やかにしても情報を伝送できるので、光の特性の変化を人に感知され難くすることができる。
　なお、受信装置は、撮像部を有する端末と、その端末と通信ネットワークを介して接続された他の装置、例えばサーバとを有していてもよい。この場合、端末は、画像を生成する度に、その画像を、端末を特定するための識別情報、例えば、その端末のIPアドレスとともに通信ネットワークを介してサーバへ送信してもよい。そしてサーバのプロセッサが、上記の実施形態による受信装置の制御部の各処理を実行して、送信装置から伝送された情報を復号してもよい。さらに、サーバは、復号した情報を、端末を特定するための識別情報を参照して、その端末へ返送してもよい。
　あるいは、端末が有するプロセッサは、画像を生成する度に、その画像に対して分割部３１の処理と特徴抽出部３２の処理を行って、部分領域ごとの特徴量を抽出してもよいい。そして端末は、各画像から抽出された部分領域ごとの特徴量を、端末を特定するための識別情報とともに通信ネットワークを介してサーバへ送信してもよい。そしてサーバのプロセッサは、上記の実施形態による受信装置の復号部３３の処理を実行して、送信装置から伝送された情報を復号してもよい。
　また、他の変形例によれば、受信装置が携帯型の装置である場合、送信装置によって照明されている物体が静止していても、受信装置自身の移動によって画像上での物体の位置が時間経過とともに移動することがある。そこで受信装置の制御部は、オプティカルフローなどを利用してトラッキング処理を行い、時系列に沿って並んだ複数の画像間で同じ物体が写っている部分領域を特定してもよい。そして受信装置の制御部は、着目期間内の各画像の同じ物体が写っている部分領域から抽出された特徴量を用いて復号部の処理を実行してもよい。また、送信装置により照明される物体が移動物体である可能性がある場合についても、同様に、受信装置の制御部は、トラッキング処理により特定された同じ物体が写っている部分領域から抽出された特徴量を用いて復号部の処理を実行してもよい。
　これにより、受信装置と送信装置により照明された物体とが相対的に移動する場合でも、受信装置は、送信装置から伝送された情報を正確に復号できる。
　さらに他の変形例によれば、送信装置の照明部から発した光が照射される物体が受信装置の撮像部により生成される画像上に写る領域の面積が所定の面積以上となることが想定される場合、受信装置において分割部の処理は省略されてもよい。なお、所定の面積は、例えば、画像サイズの半分とすることができる。この場合には、特徴抽出部は、画像全体から特徴量を抽出すればよい。
　さらに、上記の各実施形態による送信装置の制御部が有する各機能をコンピュータに実現させるコンピュータプログラムは、コンピュータによって読み取り可能な媒体に記録された形で提供されてもよい。同様に、上記の実施形態による受信装置の制御部が有する各機能をコンピュータに実現させるコンピュータプログラムは、コンピュータによって読み取り可能な媒体に記録された形で提供されてもよい。
　ここに挙げられた全ての例及び特定の用語は、読者が、本発明及び当該技術の促進に対する本発明者により寄与された概念を理解することを助ける、教示的な目的において意図されたものであり、本発明の優位性及び劣等性を示すことに関する、本明細書の如何なる例の構成、そのような特定の挙げられた例及び条件に限定しないように解釈されるべきものである。本発明の実施形態は詳細に説明されているが、本発明の精神及び範囲から外れることなく、様々な変更、置換及び修正をこれに加えることが可能であることを理解されたい。
　１００　　通信システム
　１　　送信装置
　１１　　通信インターフェース部
　１２　　記憶部
　１３　　記憶媒体アクセス装置
　１４　　照明部
　１５　　制御部
　１６　　記憶媒体
　２　　受信装置
　２１　　通信インターフェース部
　２２　　記憶部
　２３　　記憶媒体アクセス装置
　２４　　撮像部
　２５　　ユーザインターフェース部
　２６　　制御部
　２７　　記憶媒体

Claims (11)

  1. 　発する光の特性を時系列に沿って変更可能な照明部と、
    　伝送する情報に含まれるシンボルに対して所定の期間を設定し、該期間内で前記シンボルの値に応じて前記照明部から発する光の特性を時系列に沿って変化させるよう前記照明部を制御する制御部と、
    を有する送信装置。
  2. 　前記光の特性は色であり、前記制御部は、前記シンボルの値に応じて前記期間内で前記照明部から発する光の単位時間当たりの光量を変えずに前記期間内で前記照明部から発する光の色を変化させる、請求項１に記載の送信装置。
  3. 　前記制御部は、前記シンボルの値ごとに異なる位相で前記照明部から発する前記光の特性を周期的に変化させる、請求項１または２に記載の送信装置。
  4. 　前記制御部は、前記シンボルの値ごとに異なる位相と振幅レベルの組み合わせで前記照明部から発する前記光の特性を周期的に変化させる、請求項１または２に記載の送信装置。
  5. 　前記制御部は、複数の前記シンボルのそれぞれに異なる周期を設定し、該周期ごとに、対応する前記シンボルの値に応じた前記光の特性の時系列に沿った変動パターンを設定し、該周期ごとの前記変動パターンを周波数時間変換して得られる前記光の特性の時系列に沿った変動パターンに従って前記照明部から発する前記光の特性を変化させる、請求項１～４の何れか一項に記載の送信装置。
  6. 　所定の撮影周期で撮影範囲が写った画像を生成する撮像部と、
    　前記撮像部により生成された複数の前記画像のそれぞれから、伝送される情報に含まれるシンボルの値に応じて時系列に沿って変更される送信装置が発する光の特性を表す特徴量を抽出する特徴抽出部と、
    　前記シンボルに対して設定される期間に含まれる前記複数の画像のそれぞれから抽出された前記特徴量の時系列順での変化から前記シンボルの値を復号する復号部と、
    を有する受信装置。
  7. 　前記撮像部により生成された複数の前記画像のそれぞれを複数の部分領域に分割する分割部をさらに有し、
    　前記特徴抽出部は、前記複数の画像のそれぞれについて、前記複数の部分領域のそれぞれから前記特徴量を抽出し、
    　前記復号部は、前記複数の画像のそれぞれの前記複数の部分領域のうち、同じ物体が写っている部分領域から抽出された前記特徴量の時系列順での変化から前記シンボルの値を復号する、請求項６に記載の受信装置。
  8. 　前記復号部は、前記期間に含まれる前記複数の画像のそれぞれから抽出された前記特徴量を時系列順に並べたベクトルを時間周波数変換することで、前記シンボルの値に応じて変化する、前記送信装置が発する光の前記特性の変動周期に対応する周波数のスペクトル成分を求め、当該スペクトル成分から前記シンボルの値を復号する、請求項６または７に記載の受信装置。
  9. 　送信装置と受信装置とを有する通信システムであって、
    　前記送信装置は、
    　　発する光の特性を時系列に沿って変更可能な照明部と、
    　　伝送する情報に含まれるシンボルに対して所定の期間を設定し、該期間内で前記シンボルの値に応じて前記照明部から発する光の特性を時系列に沿って変化させるよう前記照明部を制御する制御部と、
    を有し、
    　前記受信装置は、
    　　所定の撮影周期で前記送信装置からの光が照射された範囲の少なくとも一部を含む撮影範囲が写った画像を生成する撮像部と、
    　　前記撮像部により生成された複数の前記画像のそれぞれから、前記光の特性を表す特徴量を抽出する特徴抽出部と、
    　　前記シンボルに応じて設定される期間に含まれる前記複数の画像のそれぞれから抽出された前記特徴量の時系列順での変化から前記シンボルの値を復号する復号部と、
    を有する通信システム。
  10. 　伝送する情報に含まれるシンボルに対して所定の期間を設定し、
    　発する光の特性を時系列に沿って変更可能な照明部から発する光の特性を、前記期間内で前記シンボルの値に応じて時系列に沿って変化させるよう前記照明部を制御する、
    ことを含む送信方法。
  11. 　所定の撮影周期で撮影範囲が写った画像を生成し、
    　複数の前記画像のそれぞれから、伝送する情報に含まれるシンボルの値に応じて時系列に沿って変更される送信装置が発する光の特性を表す特徴量を抽出し、
    　前記シンボルに応じて設定される期間に含まれる前記複数の画像のそれぞれから抽出された前記特徴量の時系列順での変化から前記シンボルの値を復号する、
    ことを含む受信方法。
PCT/JP2014/067379 2014-06-30 2014-06-30 送信装置、受信装置、通信システム、及び送信方法ならびに受信方法 WO2016001972A1 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
PCT/JP2014/067379 WO2016001972A1 (ja) 2014-06-30 2014-06-30 送信装置、受信装置、通信システム、及び送信方法ならびに受信方法
JP2016530697A JP6388030B2 (ja) 2014-06-30 2014-06-30 送信装置、受信装置、通信システム、及び送信方法ならびに受信方法
CN201480080270.6A CN106464365B (zh) 2014-06-30 2014-06-30 发送装置、接收装置、通信系统以及发送方法和接收方法
EP14896604.7A EP3163769B1 (en) 2014-06-30 2014-06-30 Transmission apparatus, reception apparatus, communication system, transmission method, and reception method
US15/383,272 US10236979B2 (en) 2014-06-30 2016-12-19 Transmitter, receiver, communication system, and transmission and reception methods

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2014/067379 WO2016001972A1 (ja) 2014-06-30 2014-06-30 送信装置、受信装置、通信システム、及び送信方法ならびに受信方法

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US15/383,272 Continuation US10236979B2 (en) 2014-06-30 2016-12-19 Transmitter, receiver, communication system, and transmission and reception methods

Publications (1)

Publication Number Publication Date
WO2016001972A1 true WO2016001972A1 (ja) 2016-01-07

Family

ID=55018574

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2014/067379 WO2016001972A1 (ja) 2014-06-30 2014-06-30 送信装置、受信装置、通信システム、及び送信方法ならびに受信方法

Country Status (5)

Country Link
US (1) US10236979B2 (ja)
EP (1) EP3163769B1 (ja)
JP (1) JP6388030B2 (ja)
CN (1) CN106464365B (ja)
WO (1) WO2016001972A1 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017192122A (ja) * 2016-04-11 2017-10-19 大学共同利用機関法人情報・システム研究機構 情報送信装置、情報受信装置、情報伝送システム及びプログラム、測位システム、照明器具並びに照明システム
WO2018144106A1 (en) * 2017-02-02 2018-08-09 Qualcomm Incorporated Visible light communication
WO2018146778A1 (ja) * 2017-02-09 2018-08-16 富士通株式会社 送信装置、送信制御装置、通信システム、及び送信方法ならびに送信用コンピュータプログラム
US10651935B2 (en) 2016-10-12 2020-05-12 Fujitsu Limited Signal adjustment apparatus and signal adjustment method

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB201605142D0 (en) 2016-03-25 2016-05-11 Purelifi Ltd A camera system
JP6897389B2 (ja) * 2017-07-25 2021-06-30 富士通株式会社 判別用コンピュータプログラム、判別装置及び判別方法ならびに通信システム
NL2021044B1 (en) * 2018-06-01 2019-12-10 Eldolab Holding Bv LED driver and method of operating a camera
CN109067466A (zh) * 2018-09-30 2018-12-21 京东方科技集团股份有限公司 一种光通信发射器和接收器、发射方法和接收方法
CN115002983B (zh) * 2022-07-15 2023-02-03 深圳市爱图仕影像器材有限公司 照明灯具及其控制方法、装置和计算机可读存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009088704A (ja) * 2007-09-27 2009-04-23 Toyota Central R&D Labs Inc 光送信装置、光受信装置、及び光通信システム
WO2010021273A1 (ja) * 2008-08-21 2010-02-25 ビーコア株式会社 発光装置及び対象物の追尾方法
JP2013077244A (ja) * 2011-09-30 2013-04-25 Casio Comput Co Ltd 情報伝達効果測定システム及び情報伝達効果測定方法
JP2013115497A (ja) * 2011-11-25 2013-06-10 Ntt Docomo Inc 送信装置、受信装置及び方法
JP2013255253A (ja) * 2013-07-19 2013-12-19 Casio Comput Co Ltd 情報送信装置、情報送信方法、及び、プログラム
JP5525664B1 (ja) * 2012-12-27 2014-06-18 パナソニック株式会社 情報通信方法

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0310483A (ja) 1989-06-07 1991-01-18 Toshiba Corp 付加信号多重装置および付加信号分離装置
JPH08331057A (ja) * 1995-03-27 1996-12-13 Sony Corp 光信号送信装置及び光信号受信装置並びに光信号送受信装置
WO2008068544A1 (en) * 2006-12-05 2008-06-12 Nokia Corporation Method and device for wireless optical data transmission
WO2009136312A1 (en) 2008-05-06 2009-11-12 Koninklijke Philips Electronics N.V. Light module, illumination system and method incorporating data in light emitted
JP5044502B2 (ja) * 2008-08-06 2012-10-10 株式会社東芝 可視光通信システム
JP5410933B2 (ja) * 2009-11-27 2014-02-05 三星電子株式会社 可視光通信システム、及び可視光通信方法
JP2013077224A (ja) * 2011-09-30 2013-04-25 Toshiba Corp 電子機器、及び電子機器の制御方法
JP6053822B2 (ja) 2011-12-31 2016-12-27 ムン キ イ， フリッカーフリーのカラー可視光通信システム
WO2013109934A1 (en) * 2012-01-20 2013-07-25 Digimarc Corporation Shared secret arrangements and optical data transfer
JP5405695B1 (ja) 2012-05-24 2014-02-05 パナソニック株式会社 情報通信方法および情報通信装置
US8913144B2 (en) 2012-12-27 2014-12-16 Panasonic Intellectual Property Corporation Of America Information communication method
WO2015006911A1 (en) * 2013-07-16 2015-01-22 Intel Corporation Techniques for low power visual light communication

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009088704A (ja) * 2007-09-27 2009-04-23 Toyota Central R&D Labs Inc 光送信装置、光受信装置、及び光通信システム
WO2010021273A1 (ja) * 2008-08-21 2010-02-25 ビーコア株式会社 発光装置及び対象物の追尾方法
JP2013077244A (ja) * 2011-09-30 2013-04-25 Casio Comput Co Ltd 情報伝達効果測定システム及び情報伝達効果測定方法
JP2013115497A (ja) * 2011-11-25 2013-06-10 Ntt Docomo Inc 送信装置、受信装置及び方法
JP5525664B1 (ja) * 2012-12-27 2014-06-18 パナソニック株式会社 情報通信方法
JP2013255253A (ja) * 2013-07-19 2013-12-19 Casio Comput Co Ltd 情報送信装置、情報送信方法、及び、プログラム

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
"Terebi Eizo o Keitai Denwa de Satsuei suru dake de Joho no Shutoku o Kano ni suru Atarashii Tsushin Gijutsu o Kaihatsu", PRESS RELEASE (GIJUTSU, 4 June 2012 (2012-06-04), pages 1 - 4, XP055340907, Retrieved from the Internet <URL:http: //pr.fujitsu.com/jp/news/ 2012/06/4 -1.html> [retrieved on 20140804] *
See also references of EP3163769A4 *

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017192122A (ja) * 2016-04-11 2017-10-19 大学共同利用機関法人情報・システム研究機構 情報送信装置、情報受信装置、情報伝送システム及びプログラム、測位システム、照明器具並びに照明システム
US10651935B2 (en) 2016-10-12 2020-05-12 Fujitsu Limited Signal adjustment apparatus and signal adjustment method
WO2018144106A1 (en) * 2017-02-02 2018-08-09 Qualcomm Incorporated Visible light communication
US10090926B2 (en) 2017-02-02 2018-10-02 Qualcomm Incorporated Visible light communication
WO2018146778A1 (ja) * 2017-02-09 2018-08-16 富士通株式会社 送信装置、送信制御装置、通信システム、及び送信方法ならびに送信用コンピュータプログラム
CN110268643A (zh) * 2017-02-09 2019-09-20 富士通株式会社 发送装置、发送控制装置、通信系统、发送方法及发送用计算机程序
JPWO2018146778A1 (ja) * 2017-02-09 2019-12-19 富士通株式会社 送信装置、送信制御装置、通信システム、及び送信方法ならびに送信用コンピュータプログラム
US10951312B2 (en) 2017-02-09 2021-03-16 Fujitsu Limited Transmitting device, transmission control device, and transmission method
CN110268643B (zh) * 2017-02-09 2022-01-11 富士通株式会社 发送装置、发送控制装置、通信系统、发送方法及记录介质

Also Published As

Publication number Publication date
EP3163769B1 (en) 2019-03-06
CN106464365A (zh) 2017-02-22
CN106464365B (zh) 2019-01-11
EP3163769A1 (en) 2017-05-03
JP6388030B2 (ja) 2018-09-12
US10236979B2 (en) 2019-03-19
US20170099104A1 (en) 2017-04-06
EP3163769A4 (en) 2017-06-14
JPWO2016001972A1 (ja) 2017-04-27

Similar Documents

Publication Publication Date Title
JP6388030B2 (ja) 送信装置、受信装置、通信システム、及び送信方法ならびに受信方法
CN102696280B (zh) 使用常规相机传感器针对可见光通信的数据检测
EP2805586B1 (en) Visible light communications using a remote control
JP6800858B2 (ja) 光学的に符号化された情報を提供するためのシステムと方法
US9112606B2 (en) Method and apparatus for transmitting and receiving data using visible light communication
JP6405820B2 (ja) 信号伝送装置、信号伝送方法および信号伝送プログラム
US10523365B2 (en) Discrimination method and communication system
WO2016001339A1 (en) Communicating barcode data
JP2018107824A (ja) 受信装置及び受信方法
US10951312B2 (en) Transmitting device, transmission control device, and transmission method
WO2018073870A1 (ja) 送信装置、受信装置、通信システム、送信方法、受信方法および送信用コンピュータプログラムならびに受信用コンピュータプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 14896604

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2016530697

Country of ref document: JP

Kind code of ref document: A

REEP Request for entry into the european phase

Ref document number: 2014896604

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 2014896604

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE