[go: up one dir, main page]

WO2022190961A1 - カメラ装置及びカメラシステム - Google Patents

カメラ装置及びカメラシステム Download PDF

Info

Publication number
WO2022190961A1
WO2022190961A1 PCT/JP2022/008572 JP2022008572W WO2022190961A1 WO 2022190961 A1 WO2022190961 A1 WO 2022190961A1 JP 2022008572 W JP2022008572 W JP 2022008572W WO 2022190961 A1 WO2022190961 A1 WO 2022190961A1
Authority
WO
WIPO (PCT)
Prior art keywords
camera
unit
information
fingertip
finger
Prior art date
Application number
PCT/JP2022/008572
Other languages
English (en)
French (fr)
Inventor
鉄二 鈴木
隆幸 菅原
Original Assignee
株式会社Ｊｖｃケンウッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社Ｊｖｃケンウッド filed Critical 株式会社Ｊｖｃケンウッド
Priority to CN202280019506.XA priority Critical patent/CN116998146A/zh
Priority to EP22766920.7A priority patent/EP4290308A4/en
Publication of WO2022190961A1 publication Critical patent/WO2022190961A1/ja
Priority to US18/461,549 priority patent/US20230419719A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/12—Fingerprints or palmprints
    • G06V40/13—Sensors therefor
    • G06V40/1318—Sensors therefor using electro-optical elements or layers, e.g. electroluminescent sensing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00064—Constructional details of the endoscope body
    • A61B1/00071—Insertion part of the endoscope body
    • A61B1/0008—Insertion part of the endoscope body characterised by distal tip features
    • A61B1/00097—Sensors
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163—Optical arrangements
    • A61B1/00194—Optical arrangements adapted for three-dimensional imaging
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/389—Electromyography [EMG]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6801—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
    • A61B5/6813—Specially adapted to be attached to a specific body part
    • A61B5/6825—Hand
    • A61B5/6826—Finger
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B17/00—Details of cameras or camera bodies; Accessories therefor
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B17/00—Details of cameras or camera bodies; Accessories therefor
    • G03B17/24—Details of cameras or camera bodies; Accessories therefor with means for separately producing marks on the film, e.g. title, time of exposure
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B17/00—Details of cameras or camera bodies; Accessories therefor
    • G03B17/56—Accessories
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B35/00—Stereoscopic photography
    • G03B35/02—Stereoscopic photography by sequential recording
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B7/00—Control of exposure by setting shutters, diaphragms or filters, separately or conjointly
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/014—Hand-worn input/output arrangements, e.g. data gloves
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/17—Image acquisition using hand-held instruments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107—Static hand or arm
    • G06V40/117—Biometrics derived from hands
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/51—Housings
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00043—Operational features of endoscopes provided with output arrangements
    • A61B1/00045—Display arrangement
    • A61B1/0005—Display arrangement combining images e.g. side-by-side, superimposed or tiled
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/005—Flexible endoscopes
    • A61B1/009—Flexible endoscopes with bending or curvature detection of the insertion part
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2576/00—Medical imaging apparatus involving image processing or analysis
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/243—Image signal generators using stereoscopic image cameras using three or more 2D image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture

Definitions

  • the present disclosure relates to a user interface for controlling a compact camera, and more particularly to technology for controlling a camera attached to a fingertip using palm biometric information.
  • a camera including a stereo camera unit having a pair of left and right lenses and image pickup devices, a stereo viewfinder and viewer unit having a pair of left and right eyepieces and display devices, and a mobile information terminal unit wirelessly connected to a public communication line
  • a terminal with a terminal is known (see, for example, Patent Document 1).
  • this type of camera-equipped terminal it is possible to complete the shooting and viewing of stereo images with a single unit.
  • the present disclosure has been made in view of the above, and aims to provide a camera device and a camera system that can easily detect the direction of a camera attached to a finger.
  • the camera device includes a camera unit worn on a finger, a biometric information acquisition unit that acquires biometric information of the palm, and a a camera direction detection unit for detecting the relative direction of the camera unit with respect to a predetermined reference direction; and an output unit for outputting.
  • the camera system is configured to obtain three images based on the above-described camera device, a plurality of captured images captured by the camera unit, and direction information indicating the relative direction of the camera unit corresponding to the captured image information. and a stereoscopic image generation processing unit that generates stereoscopic image information representing a dimensional structure.
  • the orientation of the camera unit relative to the predetermined reference direction is detected based on the acquired biological information, so the orientation of the camera attached to the finger can be easily detected.
  • FIG. 1 is a schematic diagram showing an example of a fingertip camera system including a fingertip camera device according to the first embodiment.
  • FIG. 2 is a schematic diagram showing an example of a state in which the fingertip camera device is worn on the hand.
  • FIG. 3 is a flow chart showing the operation procedure of the fingertip camera system.
  • FIG. 4 is a schematic diagram showing an example of a fingertip camera system including a fingertip camera device according to the second embodiment.
  • FIG. 5 is a schematic diagram showing an example of a state in which the fingertip camera device is worn on the hand.
  • FIG. 6 is a flow chart showing the operation procedure of the fingertip camera system.
  • FIG. 7 is a schematic diagram showing an example of a fingertip camera system having a fingertip camera device according to the third embodiment.
  • FIG. 8 is a schematic diagram showing an example of a state in which the fingertip camera device is worn on the hand.
  • FIG. 9 is a flow chart showing the operation procedure of the fingertip camera system.
  • FIG. 10 is a diagram showing a schematic configuration of a camera section according to a modification.
  • FIG. 11 is a diagram showing a schematic configuration of a camera section according to a modification.
  • FIG. 12 is a diagram showing a schematic configuration of a camera section according to a modification.
  • FIG. 1 is a schematic diagram showing an example of a fingertip camera system including a fingertip camera device according to the first embodiment.
  • FIG. 2 is a schematic diagram showing an example of a state in which the fingertip camera device is worn on the hand.
  • the fingertip camera system (camera system) 10 processes an image captured by the camera unit 21 attached to the fingertip of the user's hand and displays the image on the predetermined display unit 34 .
  • the fingertip camera system 10 includes a fingertip camera device (camera device) 20 and an image processing unit 30 .
  • the fingertip camera device 20 and the image processing unit 30 are connected via, for example, a LAN (Local Area Network).
  • the LAN relays between the fingertip camera device 20 and the image processing unit 30, and uses, for example, a wireless LAN such as WI-FI (registered trademark) or a wireless communication path such as LTE or 5G.
  • WI-FI registered trademark
  • 5G wireless communication path
  • the fingertip camera device 20 includes a camera section 21 , a myoelectric sensor (biological information detection section) 22 and a control unit 23 .
  • the camera unit 21 includes a camera body 210 attached to the fingertip of a user's hand (for example, the index finger (second finger)) and a lens 211 provided on the camera body 210 .
  • the camera body 210 is formed into a bottomed cylindrical shape like a finger sack, and is worn on the fingertip by inserting the fingertip from the opening side.
  • An image capturing unit (not shown) is built in.
  • the image captured by the image capturing unit is, for example, a moving image, but may be a still image.
  • the captured image information is transmitted to the control unit 23 at a predetermined frequency.
  • the lens 211 has a function of condensing light, and is provided at the tip (bottomed portion) of the camera body 210. That is, in the example of FIG. It extends in the direction of the fingertip of the attached finger.
  • the myoelectric sensor 22 is formed in a ring shape and attached to the base of the finger to which the camera section 21 is attached.
  • the myoelectric sensor 22 has a plurality of surface electrodes arranged on the inner peripheral surface of the ring-shaped main body, and these surface electrodes receive myoelectric information (biological information) generated according to the movement of the muscles of the user's fingers. To detect.
  • myoelectric information is bioelectric signals generated by contraction of muscles (muscle fibers) when fingers are moved.
  • the inner peripheral surface refers to the side that comes into contact with the outer peripheral surface of the user's fingers.
  • the myoelectric sensor 22 detects the extension of the left and right tendons of the fingers and the muscles (for example, Detects myoelectric information generated by elongation of adductor pollicis lateral head. Accordingly, the myoelectric sensor 22 is configured to be able to detect movements of a plurality of muscles and tendons by detecting myoelectric information. The detected myoelectric information is transmitted to the control unit 23 as needed at a predetermined frequency.
  • the myoelectric sensor 22 is attached to the base of the finger to which the camera unit 21 is attached. The myoelectric sensor 22 may be worn separately from the wrist, or may be worn collectively on the wrist. When a myoelectric sensor is attached to the wrist, it can be provided in the control unit 23 .
  • the control unit 23 is connected to the camera section 21 and the myoelectric sensor 22, respectively, and controls the operations of the camera section 21 and the myoelectric sensor 22.
  • the control unit 23 is, for example, wrapped around the user's wrist and worn on the wrist, as shown in FIG.
  • the control unit 23 is wired to the camera section 21 and the myoelectric sensor 22, supplies power to the camera section 21 and the myoelectric sensor 22, and receives various information from the camera section 21 and the myoelectric sensor 22. get.
  • the wired connection is used, but the present invention is not limited to this, and a wireless connection may be used.
  • the camera section 21 and the myoelectric sensor 22 are each provided with a power supply (battery) for driving itself.
  • control unit 23 includes an imaging information acquisition section 40, a myoelectric information acquisition section (biological information acquisition section) 42, a position sensor (arm direction detection section) 44, and a camera direction detection section 46. , a storage unit 48 , a power supply unit 50 , an output unit 52 , an operation unit 54 and a control unit 56 .
  • the imaging information acquisition unit 40 is an interface that acquires imaging information transmitted from the camera unit 21 .
  • the myoelectric information acquisition unit 42 acquires myoelectric information transmitted from the myoelectric sensor 22 .
  • the acquired imaging information and myoelectric information are stored in the storage unit 48 in association with the camera unit 21, for example.
  • the position sensor 44 is a sensor that detects the position and orientation of the control unit 23, and includes, for example, a gyro sensor, a 3-axis acceleration sensor, and a geomagnetic sensor.
  • the position sensor 44 can detect the position of the user's wrist (arm) to which the control unit 23 is attached and the direction in which the user's arm extends. A specific example of calculating the direction in which the arm extends will be described.
  • two or more position sensors 44 are installed within the control unit 23 .
  • Two or more position sensors 44 are installed in the control unit 23 so that the two or more position sensors 44 are positioned on a line in the direction in which the wrist extends when the user attaches the control unit 23 .
  • the number of position sensors 44 may be one, and the direction in which the arm extends can be calculated from the change in the position detected by the position sensor 44 .
  • the camera direction detection unit 46 detects the direction (imaging direction) of the camera unit 21 relative to a predetermined reference direction based on the acquired myoelectric information.
  • the reference direction is the direction in which the user's arm extends detected by the position sensor 44, and the direction of the camera section 21 relative to the direction in which the arm extends is detected.
  • the bending direction of the fingers ie, the direction of the camera unit 21 with respect to the palm, is calculated as, for example, a three-dimensional direction vector from myoelectric information.
  • the myoelectric information of the muscles at the base of the fingers (for example, the lateral head of the adductor pollicis muscle, the internal oblique muscle of the pollicis muscle, the abductor pollicis brevis muscle, the flexor pollicis brevis muscle, etc.) and the movement of the fingers at that time
  • Data associated with each directional information (direction vector) obtained is retrieved from the storage unit 48, and each directional information (direction vector) in which the finger moves is calculated by comparing this data with the acquired myoelectric information. Then, the direction of the camera unit 21 with respect to the palm can be calculated.
  • the myoelectric information measured for the muscles at the base of the fingers (for example, the lateral head of the adductor pollicis muscle, the internal oblique muscle of the pollicis muscle, the abductor pollicis brevis muscle, the flexor pollicis brevis muscle, etc.)
  • a learning model is generated by performing machine learning using this information as a teacher data set.
  • the orientation of the part 21 can be calculated.
  • the direction in which the arm extends is calculated as a three-dimensional direction vector based on detection by the position sensor. Therefore, by using the direction in which the arm extends as a reference direction, it is possible to detect (calculate) the relative direction of the camera section 21 with respect to this reference direction.
  • the storage unit 48 is configured with, for example, a RAM and a flash memory, and stores acquired imaging information and myoelectric information. Also, the direction (imaging direction) of the camera unit 21 relative to a predetermined reference direction is stored. In addition, the learning model described above is stored in the storage unit 48 . This learning model is generated, for example, by machine learning using myoelectric information generated when a finger is moved and each direction information (direction vector) in which the finger is moved at that time as a teacher data set.
  • the power supply unit 50 is a power supply for driving the fingertip camera device 20.
  • the power supply unit 50 is, for example, a rechargeable battery, and supplies power to the camera unit 21 and the myoelectric sensor 22 .
  • the output section 52 outputs information from the control unit 23 to the image processing unit 30 .
  • the output unit 52 is an interface that adds relative direction information of the camera unit 21 detected by the camera direction detection unit 46 to image information captured by the camera unit 21 and outputs the information. In this case, the direction information and the imaging information may be associated (linked) and output.
  • the operation unit 54 operates the fingertip camera device 20 .
  • the operation section 54 includes a switch formed on the surface of the control unit 23 worn on the wrist, and by operating this switch, the imaging operation of the camera section 21 is started and stopped.
  • the control section 56 controls the operation of each component of the control unit 23 .
  • the myoelectric information acquisition unit 42, the camera direction detection unit 46, and the control unit 56 are each configured by a CPU, a ROM, a RAM, and the like.
  • the image processing unit 30 includes a communication section 31, a storage section 32, a stereoscopic image generation processing section 33, a display section 34, and a control section 35, as shown in FIG.
  • the image processing unit 30 is specifically an information processing device such as a computer device or a smart phone.
  • the stereoscopic image generation processing section 33 and the control section 35 of the image processing unit 30 are configured by, for example, a CPU, a ROM, and a RAM. Specific examples of the communication unit 31, storage unit 32, and display unit 34 will be described later.
  • the communication unit 31 is an interface that receives relative direction information and imaging information of the camera unit 21 output from the control unit 23 of the fingertip camera device 20 .
  • the storage unit 32 stores various types of received information and control programs.
  • the storage unit 32 may be, for example, a semiconductor memory device such as a flash memory, but may be a storage device such as an HDD.
  • the stereoscopic image generation processing unit 33 generates stereoscopic image information representing a three-dimensional structure from a plurality of captured images.
  • the stereoscopic image generation processing unit 33 can generate stereoscopic image information using a so-called photogrammetry technique.
  • the stereoscopic image generation processing unit 33 extracts an imaging target as a feature point from a plurality of pieces of imaging information captured by the fingertip camera device 20, and based on direction information of a plurality of cameras corresponding to the imaging information, generates a stereoscopic image from the plurality of pieces of imaging information.
  • Stereoscopic image information is generated by associating the extracted feature points.
  • the generated stereoscopic image information is stored in the storage unit 32 .
  • the stereoscopic image may be, for example, a three-dimensional model composed of a three-dimensional point group in a predetermined coordinate system.
  • the display unit 34 is, for example, a monitor unit configured with a liquid crystal display (LCD), etc., and displays the generated stereoscopic image information.
  • the display section 34 is provided integrally with the image processing unit 30, but the display section 34 may be provided separately, for example, as a glasses-type display such as a head-mounted display.
  • the control section 35 controls the operation of the image processing unit 30 as a whole.
  • FIG. 3 is a flow chart showing the operation procedure of the fingertip camera system.
  • the fingertip camera device 20 described above is attached to the user's hand.
  • a camera unit 21 is attached to the tip of the index finger
  • a myoelectric sensor 22 is attached to the base of the index finger.
  • the control unit 23 is worn on the wrist.
  • the basic condition is to extend the index finger straight in the direction of the arm.
  • step S1 by operating the operation section 54 of the control unit 23, an image is captured by the camera section 21 attached to the fingertip (step S1).
  • the captured imaging information is sent from the camera section 21 to the control unit 23 and acquired by the imaging information acquisition section 40 .
  • the myoelectric sensor 22 detects myoelectric information that accompanies the movement of the finger during imaging and sends it to the control unit 23, and the myoelectric information acquisition unit 42 acquires the myoelectric information (step S2).
  • These imaging information and myoelectric information are stored in the storage unit 48 in association with each other.
  • the camera direction detection unit 46 first calculates the bending direction of the fingers, that is, the angle (direction) of the camera unit 21 with respect to the palm, based on the myoelectric information (step S3).
  • myoelectric information measured for the muscles at the base of the fingers for example, the lateral head of the adductor pollicis muscle, the internal oblique muscle of the pollicis muscle, the abductor pollicis brevis muscle, the flexor pollicis brevis muscle, etc.
  • a learning model is generated by performing machine learning using each direction information (direction vector) in which the finger moves as a teacher data set, and the camera direction detection unit 46 inputs the detected myoelectric information to this learning model.
  • the angle (direction) of the camera unit 21 with respect to the palm is calculated.
  • the calculated angle information of the camera unit 21 is, for example, a three-dimensional direction vector.
  • the camera direction detection unit 46 detects the relative direction (imaging direction) of the camera unit 21 with the orientation of the arm as the reference direction (step S4).
  • the camera direction detection unit 46 acquires the extension direction DS of the user's arm detected by the position sensor 44 .
  • the direction DS in which the arm extends is calculated as a three-dimensional direction vector.
  • the camera direction detection section 46 detects (calculates) a relative direction D1 of the camera section 21 with respect to this reference direction.
  • the output unit 52 adds the relative direction information of the camera unit 21 obtained from the camera direction detection unit 46 to the imaging information captured by the camera unit 21, and outputs the information to the image processing unit 30 (step S5).
  • a method of multiplexing the direction information with the imaging information for example, data of a moving image compression method such as MPEG.
  • the stereoscopic image generation processing unit 33 of the image processing unit 30 performs three-dimensional image processing based on a plurality of captured images captured by the camera unit 21 and direction information indicating the relative direction of the camera unit corresponding to the captured images.
  • Stereoscopic image information representing the dimensional structure is generated (step S6).
  • the stereoscopic image generation processing unit 33 can generate stereoscopic image information using a so-called photogrammetry technique. That is, the stereoscopic image generation processing unit 33 extracts the imaging target as a feature point from a plurality of imaging information captured by the fingertip camera device 20 at predetermined time intervals, and based on the direction information of the plurality of cameras corresponding to the imaging information. , stereoscopic image information is generated by associating feature points extracted from a plurality of pieces of imaging information.
  • control section 35 of the image processing unit 30 displays the generated stereoscopic image information on the display section 34 (step S7) and ends the process.
  • the camera unit 21 is attached to the fingertip, it is possible to easily capture an image of a distant scene or a nearby object simply by pointing. (image) can also be captured. Furthermore, since the myoelectric sensor 22 can simultaneously acquire information about the direction of the finger on which the camera unit 21 is attached, the imaging direction of the camera unit 21 attached to the fingertip can be easily detected.
  • FIG. 4 is a schematic diagram showing an example of a fingertip camera system including a fingertip camera device according to the second embodiment.
  • FIG. 5 is a schematic diagram showing an example of a state in which the fingertip camera device is worn on the hand.
  • the fingertip camera device 20 is configured to include one camera unit 21 and one myoelectric sensor 22, but in the second embodiment, a plurality of camera units 21 and myoelectric sensors 22 are provided.
  • the configuration is different in that The same reference numerals are assigned to the same configurations as those of the above-described embodiment, and the description thereof is omitted.
  • the fingertip camera system 10A includes a fingertip camera device 20A and an image processing unit 30.
  • the fingertip camera device 20A includes two camera units 21A and 21B, two myoelectric sensors (biological information detection units) 22A and 22B, and a control unit 23A.
  • one camera unit 21A is attached to a fingertip (for example, index finger (second finger)) of a user's hand
  • the other camera unit 21B is attached to an adjacent fingertip (for example, middle finger (second finger)).
  • the two camera units 21A and 21B work together to function as a stereo camera.Specifically, they are attached to adjacent fingertips.
  • a stereo image can be captured from the images captured by the camera units 21A and 21B. , is the same as the above embodiment.
  • the configuration of the control unit 23A differs from that of the control unit 23 of the above embodiment in that it includes an inter-adjacent-camera angle calculator 45 .
  • the inter-adjacent camera angle calculation unit 45 calculates the angles of the adjacent camera units 21A and 21B (mainly the angle in the horizontal direction with respect to the palm) based on the myoelectric information of each finger detected by the two electromyographic sensors 22A and 22B. , the angle at which the fingers are spread or narrowed).
  • the directions (angles) of the camera units 21A and 21B with respect to the palm can be calculated by inputting detected electromyographic information into a predetermined learning model.
  • angles of the adjacent camera units 21A and 21B can be calculated from the directions (angles) of the camera units 21A and 21B. According to this configuration, the parallax between the camera units 21A and 21B functioning as stereo cameras can be calculated, so stereo images can be captured with high accuracy.
  • FIG. 6 is a flow chart showing the operation procedure of the fingertip camera system.
  • the camera unit 21A is attached to the tip of the index finger, and the myoelectric sensor 22A is attached to the base of the index finger.
  • the camera section 21B is attached to the fingertip of the middle finger, and the myoelectric sensor 22B is attached to the base of the middle finger.
  • the control unit 23A is worn on the wrist.
  • a stereo image is captured by the two camera sections 21A and 21B attached to the two fingertips (step S11).
  • the captured image information is sent from the camera units 21A and 21B to the control unit 23A, and the image information acquisition unit 40 acquires it.
  • the myoelectric sensors 22A and 22B detect myoelectric information associated with the movement of each finger during imaging and send it to the control unit 23A, and the myoelectric information acquisition unit 42 acquires the myoelectric information of each finger. (Step S12). These imaging information and myoelectric information are stored in the storage unit 48 in association with each other.
  • the inter-adjacent camera angle calculation unit 45 calculates the angles of the adjacent camera units 21A and 21B based on the electromyographic information of each finger detected by the two electromyographic sensors 22A and 22B (step S13). .
  • the camera direction detection unit 46 detects relative directions (imaging directions) of the respective camera units 21A and 21B with the direction of the arm as a reference direction (step S14).
  • the camera direction detection unit 46 acquires the extension direction DS of the user's arm detected by the position sensor 44 .
  • the direction DS in which the arm extends is calculated as a three-dimensional direction vector.
  • the camera direction detection unit 46 detects (calculates) a relative direction D1 of the camera unit 21A and a relative direction D2 of the camera unit 21B with respect to the reference direction. )do.
  • the output unit 52 adds the relative direction information of the camera units 21A and 21B obtained from the camera direction detection unit 46 to the imaging information of the stereo images captured by the camera units 21A and 21B, respectively, and outputs the information to the image processing unit. 30 (step S15).
  • a method of multiplexing the direction information with the imaging information for example, data of a moving image compression method such as MPEG.
  • the stereoscopic image generation processing unit 33 of the image processing unit 30 generates a plurality of stereo images captured by the camera units 21A and 21B, and relative images of the respective camera units 21A and 21B corresponding to the captured images.
  • Stereoscopic image information representing a three-dimensional structure is generated based on the direction information indicating the direction (step S16).
  • the stereoscopic image generation processing unit 33 can generate stereoscopic image information using a so-called photogrammetry technique. That is, the stereoscopic image generation processing unit 33 extracts the imaging target as a feature point from the imaging information of the plurality of stereo images captured by the fingertip camera device 20A at predetermined time intervals, and the direction information of the plurality of cameras corresponding to the imaging information. Based on, stereoscopic image information is generated by associating feature points extracted from a plurality of pieces of imaging information.
  • control section 35 of the image processing unit 30 displays the generated stereoscopic image information on the display section 34 (step S17) and ends the process.
  • the camera unit 21 since the camera unit 21 is attached to the fingertip, it is possible to easily capture an image of a distant scene or a nearby object simply by pointing. (image) can also be captured. Furthermore, since the myoelectric sensor 22 can simultaneously acquire information about the direction of the finger on which the camera unit 21 is attached, the imaging direction of the camera unit 21 attached to the fingertip can be easily detected. Further, in this embodiment, since the two camera units 21A and 21B are provided, stereo images (parallax images) can be obtained, and stereoscopic images using parallax can be generated. In addition, stereoscopic space information can be reconstructed using imaging information from the viewpoints of the two camera units 21A and 21B.
  • FIG. 7 is a schematic diagram showing an example of a fingertip camera system having a fingertip camera device according to the third embodiment.
  • FIG. 8 is a schematic diagram showing an example of a state in which the fingertip camera device is worn on the hand.
  • the fingertip camera device 20A has two camera units 21A and 21B and two myoelectric sensors 22A and 22B. and myoelectric sensors 22A to 22E.
  • the same reference numerals are assigned to the same configurations as those of the above-described embodiment, and the description thereof is omitted.
  • the fingertip camera system 10B includes a fingertip camera device 20B and an image processing unit 30.
  • the fingertip camera device 20B includes five camera units 21A to 21E, five myoelectric sensors (biological information detection units) 22A to 22E, and a control unit 23B.
  • the first camera unit 21A is attached to the fingertip of the user's hand (for example, the index finger (second finger)), and the second camera unit 21B is attached to the next fingertip (for example, the middle finger).
  • the third camera unit 21C is attached to the adjacent fingertip (for example, the ring finger (fourth fingertip)), and the fourth camera unit 21D is attached to the adjacent fingertip (fingertip of the fourth finger).
  • the fifth camera unit 21E is attached to a fingertip (for example, the little finger (fingertip of the fifth finger)).
  • the fifth camera unit 21E is attached to another fingertip (for example, the thumb (fingertip of the first finger)).
  • the reference numerals of the camera units and the fingers on which they are attached are assigned for convenience of explanation, and can be changed as appropriate.
  • the configuration of the control unit 23B differs from that of the control unit 23 of the above embodiment in that it includes an inter-adjacent-camera angle calculator 45 .
  • the inter-adjacent-camera angle calculation unit 45 calculates the angles of the two adjacent camera units (mainly the horizontal angle with respect to the palm, the finger The angle at which the is widened or narrowed) is calculated.
  • the directions (angles) of the camera units 21A to 21E with respect to the palm can be calculated by inputting the detected myoelectric information into a predetermined learning model. Therefore, the angle between two adjacent camera units can be calculated from the direction (angle) of each of these camera units 21A to 21E.
  • FIG. 9 is a flow chart showing the operation procedure of the fingertip camera system.
  • a camera unit 21A is attached to the tip of the index finger, and a myoelectric sensor 22A is attached to the base of the index finger.
  • the camera section 21B is attached to the fingertip of the middle finger, and the myoelectric sensor 22B is attached to the base of the middle finger.
  • the camera section 21C is attached to the fingertip of the ring finger, and the myoelectric sensor 22C is attached to the base of the ring finger.
  • a camera unit 21D is attached to the tip of the little finger, and a myoelectric sensor 22D is attached to the base of the little finger.
  • a camera section 21E is attached to the tip of the thumb, and a myoelectric sensor 22E is attached to the base of the thumb.
  • the control unit 23B is worn on the wrist.
  • images are captured by the five camera sections 21A to 21E attached to the five fingertips (step S21).
  • the imaging information obtained by imaging is sent from each of the camera units 21A to 21E to the control unit 23B, and the imaging information acquisition unit 40 acquires the information.
  • the myoelectric sensors 22A to 22E respectively detect myoelectric information associated with the movement of each finger during imaging and send it to the control unit 23B, and the myoelectric information acquisition unit 42 acquires the myoelectric information of each finger.
  • These imaging information and myoelectric information are stored in the storage unit 48 in association with each other.
  • the inter-adjacent camera angle calculation unit 45 calculates the angles of the two adjacent camera units based on the electromyographic information of each finger detected by the five electromyographic sensors 22A to 22E (step S23).
  • the camera direction detection unit 46 detects the relative direction (imaging direction) of each of the camera units 21A to 21E with the orientation of the arm as the reference direction (step S24).
  • the camera direction detection unit 46 acquires the extension direction DS of the user's arm detected by the position sensor 44 .
  • the direction DS in which the arm extends is calculated as a three-dimensional direction vector.
  • the camera direction detection unit 46 detects a relative direction D1 of the camera unit 21A and a relative direction D2 of the camera unit 21B with respect to the reference direction, and A relative direction D3 of 21C, a relative direction D4 of camera section 21D, and a relative direction D5 of camera section 21E are detected (calculated).
  • the output unit 52 adds the relative direction information of the camera units 21A to 21E obtained from the camera direction detection unit 46 to the image information captured by the camera units 21A to 21E, respectively, and outputs the information to the image processing unit 30.
  • Output step S25.
  • a method of multiplexing the direction information with the imaging information for example, data of a moving image compression method such as MPEG.
  • the stereoscopic image generation processing unit 33 of the image processing unit 30 generates a plurality of captured images captured by the camera units 21A to 21E and the relative directions of the camera units 21A to 21E corresponding to the captured images.
  • Stereoscopic image information representing a three-dimensional structure is generated based on the indicated direction information (step S26).
  • the stereoscopic image generation processing unit 33 can generate stereoscopic image information using a so-called photogrammetry technique. That is, the stereoscopic image generation processing unit 33 extracts an imaging target as a feature point from a plurality of imaging information captured by the camera units 21A to 21E of the fingertip camera device 20B, and converts the direction information of the plurality of cameras corresponding to the imaging information. Based on this, stereoscopic image information is generated by associating feature points extracted from a plurality of pieces of imaging information.
  • control section 35 of the image processing unit 30 displays the generated stereoscopic image information on the display section 34 (step S27) and ends the process.
  • the camera unit 21 is attached to the fingertip, it is possible to easily capture an image of a distant scene or a nearby object simply by pointing. (image) can also be captured. Furthermore, since the myoelectric sensor 22 can simultaneously acquire information about the direction of the finger on which the camera unit 21 is attached, the imaging direction of the camera unit 21 attached to the fingertip can be easily detected. Further, in this embodiment, since the five camera units 21A to 21E are provided, for example, the five camera units each have a parallax in the space of the extension of each finger around the palm as if gripping a ball. can be imaged.
  • the camera unit 121 includes a camera body 122 placed on the fingertip, a lens 123 provided on the camera body 122, and a ring 124 for attaching the camera body 122 to the fingertip.
  • this configuration leaves the pad side of the finger open, so there is no hindrance to detailed work with the fingertips or fingerprint authentication.
  • the camera unit 221 includes a camera body 222 placed on the fingertip and a lens 223 provided on this camera body 222 .
  • the camera body 222 is attached to a fingernail with an adhesive or a suction cup, for example. In this configuration, since the ring is not used, the pad side of the finger is more open, so that fine work and fingerprint authentication can be easily performed with the fingertip.
  • the camera unit 321 is of the finger sack type as in the above-described embodiment, and includes a bottomed cylindrical camera body 322 into which a fingertip is inserted, and a and a lens 323 that This lens 323 is arranged, for example, on the pad side of the finger.
  • each camera unit 321 is arranged on an arc formed by each fingertip, so that the object to be imaged is 360 degrees. It is possible to take an image in an enclosed state, and a stereoscopic image can be easily formed.
  • the fingertip camera device 20 includes the camera unit 21 attached to the fingertip of the hand, the myoelectric information acquisition unit 42 for acquiring myoelectric information of the palm, and the myoelectric information based on the acquired myoelectric information. , a camera direction detection unit 46 for detecting the relative direction of the camera unit 21 with respect to a predetermined reference direction; Since the output unit 52 for additionally outputting is provided, the direction of the camera unit 21 attached to the fingertip can be easily detected.
  • the myoelectric information acquisition unit 42 acquires myoelectric information associated with the movement of the fingers to which the camera unit 21 is attached, it is possible to easily detect the direction of the camera unit 21 associated with the movement of the fingers.
  • the camera units 21 are attached to each of a plurality of fingertips, it is possible to generate, for example, a stereoscopic image using images captured by the plurality of camera units 21 .
  • a position sensor 44 attached to the wrist to detect the orientation of the arm is provided, and a camera direction detection section 46 detects the direction of the camera section 21 relative to the reference direction, using the detected orientation of the arm as a reference direction.
  • the direction of the camera unit can be easily detected by following the direction of the arm moved by the user.
  • the myoelectric sensor 22 for detecting myoelectric information is attached to the base of the finger where the camera unit 21 is attached or on the wrist, the myoelectric information associated with finger movements can be accurately detected. , the direction of the camera unit 21 can be accurately detected according to the movement of the fingers.
  • the fingertip camera system 10 performs a three-dimensional image based on a plurality of captured images captured by the fingertip camera device 20 and the camera unit 21, and direction information indicating the relative direction of the camera unit 21 corresponding to the captured images. Since the three-dimensional image generation processing unit 33 for generating three-dimensional image information expressing the structure is provided, the three-dimensional image can be easily generated.
  • the embodiment is not limited by the constituent elements of these embodiments.
  • the components described above include those that can be easily assumed by those skilled in the art, those that are substantially the same, and those within the so-called equivalent range.
  • the components described above can be combined as appropriate.
  • various omissions, replacements, or modifications of components can be made without departing from the gist of the above-described embodiments.
  • the myoelectric sensor 22 is provided at the base of the finger, but it may be provided integrally with or separately from the control unit 23 worn on the wrist, for example.
  • the camera device and camera system of the present embodiment can be used, for example, as a fingertip camera device that is worn on a fingertip and shoots.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Signal Processing (AREA)
  • General Engineering & Computer Science (AREA)
  • Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Animal Behavior & Ethology (AREA)
  • Medical Informatics (AREA)
  • Pathology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Optics & Photonics (AREA)
  • Computing Systems (AREA)
  • Neurology (AREA)
  • Dermatology (AREA)
  • Neurosurgery (AREA)
  • User Interface Of Digital Computer (AREA)
  • Exposure Control For Cameras (AREA)
  • Stereoscopic And Panoramic Photography (AREA)
  • Accessories Of Cameras (AREA)
  • Studio Devices (AREA)
  • Details Of Cameras Including Film Mechanisms (AREA)
  • Length Measuring Devices With Unspecified Measuring Means (AREA)

Abstract

指に装着したカメラの方向を容易に検出することができるカメラ装置及びカメラシステムを提供する。指先カメラ装置（２０）は、指に装着されるカメラ部（２１）と、掌の筋電情報を取得する筋電情報取得部（４２）と、取得した筋電情報に基づき、所定の基準方向に対するカメラ部（２１）の相対的な方向を検出するカメラ方向検出部（４６）と、カメラ方向検出部（４６）から得たカメラ部（２１）の方向情報を、該カメラ部（２１）が撮像した撮像情報に付加して出力する出力部（５２）とを備える。

Description

カメラ装置及びカメラシステム
　本開示は、小型カメラを制御するユーザインターフェースに関し、特に、掌の生体情報を用いて指先に装着されたカメラを制御する技術に関する。
　従来、レンズや撮像素子を左右一対で備えるステレオカメラ部と、接眼レンズや表示素子を左右一対で備えるステレオファインダー兼ビューワー部と、公衆通信回線に無線によって接続する携帯情報端末部と、を含むカメラ付き端末が知られている（例えば、特許文献１参照）。この種のカメラ付き端末では、ステレオ映像の撮影と閲覧を一台で完結することが可能となっている。
特開２００５－１５９７７１号公報
　ところで、近年、指にカメラを装着し、このカメラが撮像した画像を表示することが実行されている。この場合、例えば、２本（複数）の指にそれぞれカメラを装着し、各カメラで撮像した画像を処理してステレオ（立体）画像を生成する技術が模索されている。しかし、この種の技術では、例えば、ジャイロセンサなどをカメラに設けるとカメラが大型化してしまい、指に装着したカメラの方向（撮像方向）を容易に検出することが難しいという問題があった。
　本開示は、上記に鑑みてなされたものであって、指に装着したカメラの方向を容易に検出することができるカメラ装置及びカメラシステムを提供することを目的とする。
　上述した課題を解決し、目的を達成するために、本実施形態に係るカメラ装置は、指に装着されるカメラ部と、掌の生体情報を取得する生体情報取得部と、取得した生体情報に基づき、所定の基準方向に対するカメラ部の相対的な方向を検出するカメラ方向検出部と、カメラ方向検出部から得たカメラ部の方向情報を、該カメラ部が撮像した撮像情報に付加して出力する出力部と、を備えたことを特徴とする。
　また、本実施形態に係るカメラシステムは、上記したカメラ装置と、カメラ部が撮像した複数の撮像画像、及び、これら撮像情報と対応するカメラ部の相対的な方向を示す方向情報に基づき、３次元の構造体を表現する立体画像情報を生成する立体画像生成処理部と、を備えることを特徴とする。
　本実施形態によれば、取得した生体情報に基づき、所定の基準方向に対するカメラ部の相対的な方向を検出するため、指に装着したカメラの方向を容易に検出することができる。
図１は、第１実施形態に係る指先カメラ装置を備えた指先カメラシステムの一例を示す概略図である。 図２は、手に指先カメラ装置が装着された状態の一例を示す概略図である。 図３は、指先カメラシステムの動作の手順を示すフローチャートである。 図４は、第２実施形態に係る指先カメラ装置を備えた指先カメラシステムの一例を示す概略図である。 図５は、手に指先カメラ装置が装着された状態の一例を示す概略図である。 図６は、指先カメラシステムの動作の手順を示すフローチャートである。 図７は、第３実施形態に係る指先カメラ装置を備えた指先カメラシステムの一例を示す概略図である。 図８は、手に指先カメラ装置が装着された状態の一例を示す概略図である。 図９は、指先カメラシステムの動作の手順を示すフローチャートである。 図１０は、変形例に係るカメラ部の概略構成を示す図である。 図１１は、変形例に係るカメラ部の概略構成を示す図である。 図１２は、変形例に係るカメラ部の概略構成を示す図である。
　以下に、本実施形態を図面に基づいて詳細に説明する。なお、この実施形態により本開示の内容が限定されるものではない。また、以下の実施形態における構成要素には、当業者が置換可能かつ容易なもの、あるいは実質的に同一のものが含まれる。
［第１実施形態］
　図１は、第１実施形態に係る指先カメラ装置を備えた指先カメラシステムの一例を示す概略図である。図２は、手に指先カメラ装置が装着された状態の一例を示す概略図である。本実施形態において、指先カメラシステム（カメラシステム）１０は、ユーザの手の指先に装着されたカメラ部２１が撮像した画像を処理して所定の表示部３４に表示するものである。
　図１に示すように、指先カメラシステム１０は、指先カメラ装置（カメラ装置）２０と、画像処理ユニット３０とを備えて構成される。これら指先カメラ装置２０と画像処理ユニット３０とは、例えば、ＬＡＮ（Ｌｏｃａｌ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）を介して接続されている。ＬＡＮは、指先カメラ装置２０と画像処理ユニット３０を中継するものであり、例えば、ＷＩ－ＦＩ（登録商標）などの無線ＬＡＮや、ＬＴＥ、５Ｇなどの無線通信路が用いられる。
　指先カメラ装置２０は、カメラ部２１と、筋電センサ（生体情報検出部）２２と、制御ユニット２３とを備える。カメラ部２１は、図２に示すように、ユーザの手の指先（例えば、人差し指（第二指の指先）に装着されるカメラ本体２１０と、このカメラ本体２１０に設けられるレンズ２１１とを備える。カメラ本体２１０は、指サックのように、有底円筒形状に形成されて開口側から指先が挿入されて指先に装着される。また、カメラ本体２１０には、レンズ２１１を介して周辺を撮影する撮像部（不図示）が内蔵されている。撮像部が撮像する画像は、例えば動画であるが静止画であってもよい。撮像された撮像情報は、所定の頻度で制御ユニット２３に送信される。レンズ２１１は、集光する機能を有し、カメラ本体２１０の先端部（有底部）に設けられている。即ち、図２の例では、カメラ部２１の光軸（撮像方向）は、装着された手指の指先の方向に延びている。
　筋電センサ２２は、リング状に形成されて、カメラ部２１が装着された手指の付け根部分に装着される。筋電センサ２２は、リング状の本体の内周面に配置された複数の表面電極を有し、これら表面電極がユーザの手指の筋肉の動きに応じて発生する筋電情報（生体情報）を検出する。ここで、筋電情報とは、手指を動かした際に筋肉（筋繊維）の収縮によって発生する生体電気信号である。また、内周面とは、ユーザの手指の外周面と当接する側を示す。筋電センサ２２は、例えば、手指を折り曲げた場合や、隣合う指間の距離を変えるように手指を掌と水平方向に移動させた場合に、手指の左右の腱の延びや、筋肉（例えば母指内転筋横頭など）の延びで発生する筋電情報を検出する。これにより、筋電センサ２２は、筋電情報を検出することで、複数の筋肉や腱の動きを検出可能に構成される。検出された筋電情報は、所定の頻度で随時、制御ユニット２３に送信される。なお、本実施形態では、筋電センサ２２を、カメラ部２１が装着された手指の付け根部分に装着した構成としたが、検出する筋電情報に対応する筋肉の位置によって、手指の付け根部分と手首とで筋電センサ２２を分けて装着してもよいし、手首にまとめて装着してもよい。手首に筋電センサを装着する場合には制御ユニット２３に設けることができる。
　制御ユニット２３は、カメラ部２１及び筋電センサ２２とそれぞれ接続され、これらカメラ部２１及び筋電センサ２２の動作を制御する。制御ユニット２３は、図２に示すように、例えば、ユーザの手首に巻き付けられて該手首に装着される。本実施形態では、制御ユニット２３は、カメラ部２１及び筋電センサ２２と有線接続され、カメラ部２１及び筋電センサ２２に電力を供給するとともに、カメラ部２１及び筋電センサ２２から各種情報を取得する。なお、本実施形態では、有線接続としたがこれに限るものではなく、無線接続であってもよい。この場合、カメラ部２１及び筋電センサ２２にはそれぞれ自己を駆動するための電源（バッテリ）を備えることが好ましい。制御ユニット２３は、図１に示すように、撮像情報取得部４０と、筋電情報取得部（生体情報取得部）４２と、ポジションセンサ（腕方向検出部）４４と、カメラ方向検出部４６と、記憶部４８と、電源部５０と、出力部５２と、操作部５４と、制御部５６とを備える。
　撮像情報取得部４０は、カメラ部２１から送信された撮像情報を取得するインターフェイスである。筋電情報取得部４２は、筋電センサ２２から送信された筋電情報を取得する。取得した撮像情報及び筋電情報は、例えば、カメラ部２１と対応づけて記憶部４８に記憶される。
　ポジションセンサ４４は、制御ユニット２３の位置や向きを検出するセンサであり、例えば、ジャイロセンサや３軸加速度センサ、地磁気センサを備えて構成される。このポジションセンサ４４により、制御ユニット２３が装着されたユーザの手首（腕）の位置およびユーザの腕の延びる方向が検出できる。なお、腕の延びる方向を算出する具体例を説明する。例えば、制御ユニット２３内に２つ以上のポジションセンサ４４を設置する。ユーザが制御ユニット２３を取り付けた際に手首の延びる方向の線上に２つ以上のポジションセンサ４４が位置するよう、制御ユニット２３内に２つ以上のポジションセンサ４４を設置する。各ポジションセンサ４４の位置を結びつけることで延びた方向の検出が可能となる。また、ポジションセンサ４４が一つであってもよく、ポジションセンサ４４が検出した位置の変化から、腕の延びる方向が算出することができる。
　カメラ方向検出部４６は、取得した筋電情報に基づき、所定の基準方向に対するカメラ部２１の相対的な方向（撮像方向）を検出する。本構成では、基準方向は、ポジションセンサ４４が検出したユーザの腕の延びる方向であり、この腕の延びる方向に対するカメラ部２１の相対的な方向を検出する。ここで、手指の曲げ方向、すなわち、掌に対するカメラ部２１の方向は、筋電情報により例えば３次元の方向ベクトルとして演算される。この場合、手指の付け根にある筋肉（例えば、母指内転筋横頭、母指内斜筋、短母指外転筋、短母指屈筋等）の筋電情報と、その時に指が動作した各方向情報（方向ベクトル）との関連性を対応付けしたデータを記憶部４８から呼び出し、取得した筋電情報とこのデータを比較することで指が動作した各方向情報（方向ベクトル）を算出し、掌に対するカメラ部２１の方向を演算することができる。また、手指の付け根にある筋肉（例えば、母指内転筋横頭、母指内斜筋、短母指外転筋、短母指屈筋等）について測定された筋電情報と、その時に指が動作した各方向情報（方向ベクトル）とを用いて、これらの情報を教師データセットとして機械学習した学習モデルを生成し、この学習モデルに検出した筋電情報を入力することにより、掌に対するカメラ部２１の方向を演算することができる。また、腕の延びる方向については、ポジションセンサの検出により、３次元の方向ベクトルとして演算される。このため、腕の延びる方向を基準方向とすることにより、この基準方向に対するカメラ部２１の相対的な方向を検出（演算）することができる。
　記憶部４８は、例えば、ＲＡＭやフラッシュメモリを備えて構成され、取得した撮像情報及び筋電情報を記憶する。また、所定の基準方向に対するカメラ部２１の相対的な方向（撮像方向）を記憶する。また、記憶部４８には、上記した学習モデルが記憶されている。この学習モデルは、例えば、手指の動かした際に発生した筋電情報と、その時に手指が動作した各方向情報（方向ベクトル）とを教師データセットとして機械学習することで生成される。
　電源部５０は、指先カメラ装置２０を駆動するための電源である。この電源部５０は、例えば、充電型のバッテリであり、電力をカメラ部２１及び筋電センサ２２に供給する。出力部５２は、制御ユニット２３から画像処理ユニット３０に情報を出力する。本実施形態では、出力部５２は、カメラ方向検出部４６が検出したカメラ部２１の相対的な方向情報を、該カメラ部２１が撮像した撮像情報に付加して出力するインターフェイスである。この場合、方向情報と撮像情報とを対応づけて（紐づけて）出力すればよい。
　操作部５４は、指先カメラ装置２０の動作を操作する。例えば、操作部５４は、手首に装着された制御ユニット２３の表面に形成されたスイッチを備え、このスイッチを操作することにより、カメラ部２１の撮像動作の開始及び停止操作を行う。制御部５６は、制御ユニット２３の各構成要素の動作を制御する。
　なお、筋電情報取得部４２、カメラ方向検出部４６、制御部５６は、それぞれＣＰＵ、ＲＯＭ、ＲＡＭなどによって構成される。
　画像処理ユニット３０は、図１に示すように、通信部３１と記憶部３２と立体画像生成処理部３３と表示部３４と制御部３５とを備える。画像処理ユニット３０は、具体的には、コンピュータ装置やスマートフォンなどの情報処理装置である。また、画像処理ユニット３０の立体画像生成処理部３３、制御部３５は、例えば、ＣＰＵ、ＲＯＭ、ＲＡＭなどによって構成される。なお、通信部３１、記憶部３２、表示部３４の具体例は後述する。
　通信部３１は、指先カメラ装置２０の制御ユニット２３から出力されたカメラ部２１の相対的は方向情報及び撮像情報を受信するインターフェイスである。記憶部３２は、受信した各種の情報や制御プログラムを記憶する。記憶部３２は、例えば、フラッシュメモリなどの半導体メモリ素子を用いることができるが、ＨＤＤなどの記憶装置であってもよい。
　立体画像生成処理部３３は、複数の撮像画像から３次元の構造体を表現する立体画像情報を生成する。立体画像生成処理部３３は、いわゆるフォトグラメトリー（写真測量）の技術を用いて立体画像情報を生成することができる。立体画像生成処理部３３は、指先カメラ装置２０が撮像した複数の撮像情報から撮像対象を特徴点として抽出し、これら撮像情報に対応する複数のカメラの方向情報に基づいて、複数の撮像情報から抽出された特徴点の対応付けを行うことで立体画像情報を生成する。生成された立体画像情報は記憶部３２に記憶される。また、立体画像は、例えば、所定座標系における３次元点群により構成される３次元モデルであってもよい。
　表示部３４は、例えば、液晶ディスプレイ（ＬＣＤ）等で構成されたモニタ部であり、生成された立体画像情報を表示する。本実施形態では、表示部３４を画像処理ユニット３０と一体に設けた構成としたが、表示部３４を別体として、例えば、ヘッドマウントディスプレイのようなメガネ型のディスプレイとしてもよい。制御部３５は、画像処理ユニット３０全体の動作を制御する。
　次に、指先カメラシステムの動作について説明する。図３は、指先カメラシステムの動作の手順を示すフローチャートである。動作に先立って、上記した指先カメラ装置２０をユーザの手に装着する。本実施形態では、図２に示すように、人差し指の指先にカメラ部２１を装着し、人差し指の付け根部分に筋電センサ２２を装着する。また、制御ユニット２３を手首に装着する。この場合、人差し指を腕の方向にまっすぐ伸ばした状態を基本とする。
　まず、制御ユニット２３の操作部５４を操作して、指先に装着されたカメラ部２１で画像を撮像する（ステップＳ１）。この場合、撮像された撮像情報は、カメラ部２１から制御ユニット２３に送られ、撮像情報取得部４０が取得する。次に、筋電センサ２２は、撮像中の手指の動きに伴う筋電情報を検知して制御ユニット２３に送り、筋電情報取得部４２は筋電情報を取得する（ステップＳ２）。これらの撮像情報と筋電情報とは対応付けて記憶部４８に記憶される。
　次に、カメラ方向検出部４６は、まず筋電情報に基づいて、手指の曲げ方向、すなわち、掌に対するカメラ部２１の角度（方向）を演算する（ステップＳ３）。この場合、手指の付け根にある筋肉（例えば、母指内転筋横頭、母指内斜筋、短母指外転筋、短母指屈筋等）について測定された筋電情報と、その時に指が動作した各方向情報（方向ベクトル）とを教師データセットとして機械学習した学習モデルを生成しておき、カメラ方向検出部４６は、この学習モデルに検出した筋電情報を入力することにより、掌に対するカメラ部２１の角度（方向）を演算する。この演算されたカメラ部２１の角度情報は、例えば、３次元の方向ベクトルである。
　次に、カメラ方向検出部４６は、腕の向きを基準方向としたカメラ部２１の相対的な方向（撮像方向）を検出する（ステップＳ４）。カメラ方向検出部４６は、ポジションセンサ４４が検出したユーザの腕の延びる方向ＤＳを取得する。この腕の延びる方向ＤＳは、３次元の方向ベクトルとして演算される。そして、この腕の延びる方向を基準方向とすることにより、カメラ方向検出部４６は、この基準方向に対するカメラ部２１の相対的な方向Ｄ１を検出（演算）する。
　次に、出力部５２は、カメラ方向検出部４６から得たカメラ部２１の相対的な方向情報を、カメラ部２１が撮像した撮像情報に付加して画像処理ユニット３０に出力する（ステップＳ５）。この場合、撮像情報（例えば、ＭＰＥＧ等の動画圧縮方式のデータ）に方向情報を多重化する方式を採用することができる。
　次に、画像処理ユニット３０の立体画像生成処理部３３は、カメラ部２１が撮像した複数の撮像画像、及び、これら撮像情報と対応するカメラ部の相対的な方向を示す方向情報に基づき、３次元の構造体を表現する立体画像情報を生成する（ステップＳ６）。この場合、立体画像生成処理部３３は、いわゆるフォトグラメトリー（写真測量）の技術を用いて立体画像情報を生成することができる。すなわち、立体画像生成処理部３３は、指先カメラ装置２０が所定時間間隔で撮像した複数の撮像情報から撮像対象を特徴点として抽出し、これら撮像情報に対応する複数のカメラの方向情報に基づいて、複数の撮像情報から抽出された特徴点の対応付けを行うことで立体画像情報を生成する。
　次に、画像処理ユニット３０の制御部３５は、生成された立体画像情報を表示部３４に表示して（ステップＳ７）処理を終了する。
　本実施形態では、指先にカメラ部２１を装着するので、遠くの景色や近くの物体を指差すだけで簡単に撮像することができ、例えば、虫眼鏡のように小さな対象物に近接して拡大映像（画像）を撮像することもできる。更に、筋電センサ２２により、カメラ部２１が装着された指の方向に関する情報も同時に取得することができるため、指先に装着したカメラ部２１の撮像方向を容易に検出することができる。
［第２実施形態］
　図４は、第２実施形態に係る指先カメラ装置を備えた指先カメラシステムの一例を示す概略図である。図５は、手に指先カメラ装置が装着された状態の一例を示す概略図である。第１実施形態では、指先カメラ装置２０が１台のカメラ部２１と１つの筋電センサ２２とを備える構成としたが、第２実施形態では、カメラ部２１及び筋電センサ２２を複数備えている点で構成を異にしている。上記した実施形態と同一の構成については、同一符号を付して説明を省略する。
　図４に示すように、指先カメラシステム１０Ａは、指先カメラ装置２０Ａと、画像処理ユニット３０とを備える。指先カメラ装置２０Ａは、２台のカメラ部２１Ａ，２１Ｂと２つの筋電センサ（生体情報検出部）２２Ａ，２２Ｂと、制御ユニット２３Ａとを備える。一方のカメラ部２１Ａは、図５に示すように、ユーザの手の指先（例えば、人差し指（第二指の指先）に装着され、他方のカメラ部２１Ｂは、隣の指先（例えば、中指（第三指の指先）に装着される。本実施形態では、２台のカメラ部２１Ａ，２１Ｂが組となって協働してステレオカメラとして機能する。具体的には、隣合う指先に装着されたカメラ部２１Ａ，２１Ｂの視差を利用して、各カメラ部２１Ａ，２１Ｂがそれぞれ撮像した画像からステレオ画像を撮像することができる。各カメラ部２１Ａ，２１Ｂ及び筋電センサ２２Ａ，２２Ｂの構成については、上記実施形態と同様である。
　制御ユニット２３Ａは、上記実施形態の制御ユニット２３と比べて、隣接カメラ間角度演算部４５を備えている点で構成を異にする。隣接カメラ間角度演算部４５は、２つの筋電センサ２２Ａ，２２Ｂが検知した各手指の筋電情報に基づいて、隣接する各カメラ部２１Ａ，２１Ｂの角度（主として掌に対して水平方向の角度、手指を広げたり狭めたりする際の角度）を演算する。上記したように、掌に対する各カメラ部２１Ａ，２１Ｂのそれぞれ方向（角度）は、所定の学習モデルに検出した各筋電情報を入力することにより演算することができる。このため、これらの各カメラ部２１Ａ，２１Ｂの方向（角度）から隣接する各カメラ部２１Ａ，２１Ｂの角度を演算することができる。この構成によれば、ステレオカメラとして機能するカメラ部２１Ａ，２１Ｂ間の視差を演算することできるため、ステレオ画像を精度よく撮像することができる。
　次に、指先カメラシステム１０Ａの動作について説明する。図６は、指先カメラシステムの動作の手順を示すフローチャートである。本実施形態では、図５に示すように、人差し指の指先にカメラ部２１Ａを装着し、人差し指の付け根部分に筋電センサ２２Ａを装着する。また、中指の指先にカメラ部２１Ｂを装着し、中指の付け根部分に筋電センサ２２Ｂを装着する。また、制御ユニット２３Ａを手首に装着する。
　まず、制御ユニット２３Ａの操作部５４を操作して、２本の指先に装着された２台のカメラ部２１Ａ，２１Ｂでステレオ画像を撮像する（ステップＳ１１）。この場合、撮像された撮像情報は、カメラ部２１Ａ，２１Ｂから制御ユニット２３Ａに送られ、撮像情報取得部４０が取得する。次に、筋電センサ２２Ａ，２２Ｂは、それぞれ撮像中の各手指の動きに伴う筋電情報を検知して制御ユニット２３Ａに送り、筋電情報取得部４２は各手指の筋電情報を取得する（ステップＳ１２）。これらの撮像情報と筋電情報とは対応付けて記憶部４８に記憶される。
　次に、隣接カメラ間角度演算部４５は、２つの筋電センサ２２Ａ，２２Ｂが検知した各手指の筋電情報に基づいて、隣接する各カメラ部２１Ａ，２１Ｂの角度を演算する（ステップＳ１３）。次に、カメラ方向検出部４６は、腕の向きを基準方向とした各カメラ部２１Ａ，２１Ｂの相対的な方向（撮像方向）を検出する（ステップＳ１４）。カメラ方向検出部４６は、ポジションセンサ４４が検出したユーザの腕の延びる方向ＤＳを取得する。この腕の延びる方向ＤＳは、３次元の方向ベクトルとして演算される。そして、この腕の延びる方向を基準方向とすることにより、カメラ方向検出部４６は、この基準方向に対するカメラ部２１Ａの相対的な方向Ｄ１と、カメラ部２１Ｂの相対的な方向Ｄ２を検出（演算）する。
　次に、出力部５２は、カメラ方向検出部４６から得たカメラ部２１Ａ，２１Ｂの相対的な方向情報を、それぞれカメラ部２１Ａ，２１Ｂが撮像したステレオ画像の撮像情報に付加して画像処理ユニット３０に出力する（ステップＳ１５）。この場合、撮像情報（例えば、ＭＰＥＧ等の動画圧縮方式のデータ）に方向情報を多重化する方式を採用することができる。
　次に、画像処理ユニット３０の立体画像生成処理部３３は、カメラ部２１Ａ，２１Ｂが撮像した複数のステレオ画像の撮像画像、及び、これら撮像情報と対応する各カメラ部２１Ａ，２１Ｂの相対的な方向を示す方向情報に基づき、３次元の構造体を表現する立体画像情報を生成する（ステップＳ１６）。この場合、立体画像生成処理部３３は、いわゆるフォトグラメトリー（写真測量）の技術を用いて立体画像情報を生成することができる。すなわち、立体画像生成処理部３３は、指先カメラ装置２０Ａが所定時間間隔で撮像した複数のステレオ画像の撮像情報から撮像対象を特徴点として抽出し、これら撮像情報に対応する複数のカメラの方向情報に基づいて、複数の撮像情報から抽出された特徴点の対応付けを行うことで立体画像情報を生成する。
　次に、画像処理ユニット３０の制御部３５は、生成された立体画像情報を表示部３４に表示して（ステップＳ１７）処理を終了する。
　本実施形態では、指先にカメラ部２１を装着するので、遠くの景色や近くの物体を指差すだけで簡単に撮像することができ、例えば、虫眼鏡のように小さな対象物に近接して拡大映像（画像）を撮像することもできる。更に、筋電センサ２２により、カメラ部２１が装着された指の方向に関する情報も同時に取得することができるため、指先に装着したカメラ部２１の撮像方向を容易に検出することができる。また、本実施形態では、２台のカメラ部２１Ａ，２１Ｂを備えるため、ステレオ画像（視差画像）を取得することができ、視差を使った立体画像を生成することができる。また、２台のカメラ部２１Ａ，２１Ｂの視点からの撮像情報を使って、立体空間情報を再構成することができる。
［第３実施形態］
　図７は、第３施形態に係る指先カメラ装置を備えた指先カメラシステムの一例を示す概略図である。図８、手に指先カメラ装置が装着された状態の一例を示す概略図である。第２実施形態では、指先カメラ装置２０Ａが２台のカメラ部２１Ａ，２１Ｂと２つの筋電センサ２２Ａ，２２Ｂとを備える構成としたが、第３実施形態では、５台のカメラ部２１Ａ～２１Ｅ及び筋電センサ２２Ａ～２２Ｅを備えている点で構成を異にしている。上記した実施形態と同一の構成については、同一符号を付して説明を省略する。
　図７に示すように、指先カメラシステム１０Ｂは、指先カメラ装置２０Ｂと、画像処理ユニット３０とを備える。指先カメラ装置２０Ｂは、５台のカメラ部２１Ａ～２１Ｅと５つの筋電センサ（生体情報検出部）２２Ａ～２２Ｅと、制御ユニット２３Ｂとを備える。第１のカメラ部２１Ａは、図８に示すように、ユーザの手の指先（例えば、人差し指（第二指の指先）に装着され、第２のカメラ部２１Ｂは、隣の指先（例えば、中指（第三指の指先）に装着される。また、第３のカメラ部２１Ｃは、隣の指先（例えば、薬指（第四指の指先）に装着され、第４のカメラ部２１Ｄは、隣の指先（例えば、小指（第五指の指先）に装着される。また、第５のカメラ部２１Ｅは、別の指先（例えば、親指（第一指の指先）に装着される。ここで、各カメラ部の符号と装着される手指は、説明の便宜上、割り当てられたものであり、適宜変更することができる。同様に、各手指の付け根部分にそれぞれ筋電センサ２２Ａ～２２Ｅが装着される。
　制御ユニット２３Ｂは、上記実施形態の制御ユニット２３と比べて、隣接カメラ間角度演算部４５を備えている点で構成を異にする。隣接カメラ間角度演算部４５は、５つの筋電センサ２２Ａ～２２Ｅが検知した各手指の筋電情報に基づいて、隣接する２つのカメラ部の角度（主として掌に対して水平方向の角度、手指を広げたり狭めたりする際の角度）を演算する。上記したように、掌に対する各カメラ部２１Ａ～２１Ｅのそれぞれ方向（角度）は、所定の学習モデルに検出した各筋電情報を入力することにより演算することができる。このため、これらの各カメラ部２１Ａ～２１Ｅの方向（角度）から隣接する２つのカメラ部間の角度を演算することができる。
　次に、指先カメラシステム１０Ｂの動作について説明する。図９は、指先カメラシステムの動作の手順を示すフローチャートである。本実施形態では、図８に示すように、人差し指の指先にカメラ部２１Ａを装着し、人差し指の付け根部分に筋電センサ２２Ａを装着する。また、中指の指先にカメラ部２１Ｂを装着し、中指の付け根部分に筋電センサ２２Ｂを装着する。また、薬指の指先にカメラ部２１Ｃを装着し、薬指の付け根部分に筋電センサ２２Ｃを装着する。また、小指の指先にカメラ部２１Ｄを装着し、小指の付け根部分に筋電センサ２２Ｄを装着する。また、親指の指先にカメラ部２１Ｅを装着し、親指の付け根部分に筋電センサ２２Ｅを装着する。また、制御ユニット２３Ｂを手首に装着する。
　まず、制御ユニット２３Ｂの操作部５４を操作して、５本の指先に装着された５台のカメラ部２１Ａ～２１Ｅでそれぞれ画像を撮像する（ステップＳ２１）。この場合、撮像された各撮像情報は、各カメラ部２１Ａ～２１Ｅからそれぞれ制御ユニット２３Ｂに送られ、撮像情報取得部４０が取得する。次に、筋電センサ２２Ａ～２２Ｅは、それぞれ撮像中の各手指の動きに伴う筋電情報を検知して制御ユニット２３Ｂに送り、筋電情報取得部４２は各手指の筋電情報を取得する（ステップＳ２２）。これらの撮像情報と筋電情報とは対応付けて記憶部４８に記憶される。
　次に、隣接カメラ間角度演算部４５は、５つの筋電センサ２２Ａ～２２Ｅが検知した各手指の筋電情報に基づいて、隣接する２台のカメラ部の角度を演算する（ステップＳ２３）。次に、カメラ方向検出部４６は、腕の向きを基準方向とした各カメラ部２１Ａ～２１Ｅの相対的な方向（撮像方向）を検出する（ステップＳ２４）。カメラ方向検出部４６は、ポジションセンサ４４が検出したユーザの腕の延びる方向ＤＳを取得する。この腕の延びる方向ＤＳは、３次元の方向ベクトルとして演算される。そして、この腕の延びる方向を基準方向とすることにより、カメラ方向検出部４６は、この基準方向に対するカメラ部２１Ａの相対的な方向Ｄ１と、カメラ部２１Ｂの相対的な方向Ｄ２と、カメラ部２１Ｃの相対的な方向Ｄ３と、カメラ部２１Ｄの相対的な方向Ｄ４と、カメラ部２１Ｅの相対的な方向Ｄ５とを検出（演算）する。
　次に、出力部５２は、カメラ方向検出部４６から得たカメラ部２１Ａ～２１Ｅの相対的な方向情報を、それぞれカメラ部２１Ａ～２１Ｅがそれぞれ撮像した撮像情報に付加して画像処理ユニット３０に出力する（ステップＳ２５）。この場合、撮像情報（例えば、ＭＰＥＧ等の動画圧縮方式のデータ）に方向情報を多重化する方式を採用することができる。
　次に、画像処理ユニット３０の立体画像生成処理部３３は、カメラ部２１Ａ～２１Ｅがそれぞれ撮像した複数の撮像画像、及び、これら撮像情報と対応する各カメラ部２１Ａ～２１Ｅの相対的な方向を示す方向情報に基づき、３次元の構造体を表現する立体画像情報を生成する（ステップＳ２６）。この場合、立体画像生成処理部３３は、いわゆるフォトグラメトリー（写真測量）の技術を用いて立体画像情報を生成することができる。すなわち、立体画像生成処理部３３は、指先カメラ装置２０Ｂのカメラ部２１Ａ～２１Ｅが撮像した複数の撮像情報から撮像対象を特徴点として抽出し、これら撮像情報に対応する複数のカメラの方向情報に基づいて、複数の撮像情報から抽出された特徴点の対応付けを行うことで立体画像情報を生成する。
　次に、画像処理ユニット３０の制御部３５は、生成された立体画像情報を表示部３４に表示して（ステップＳ２７）処理を終了する。
　本実施形態では、指先にカメラ部２１を装着するので、遠くの景色や近くの物体を指差すだけで簡単に撮像することができ、例えば、虫眼鏡のように小さな対象物に近接して拡大映像（画像）を撮像することもできる。更に、筋電センサ２２により、カメラ部２１が装着された指の方向に関する情報も同時に取得することができるため、指先に装着したカメラ部２１の撮像方向を容易に検出することができる。また、本実施形態では、５台のカメラ部２１Ａ～２１Ｅを備えるため、例えば、ボールを握るような掌の周りのそれぞれの指の延長の空間を５台のカメラ部がそれぞれ視差を持った状態で撮像することができる。このため、取得した５つの撮像情報と、各カメラ部の腕に対する相対的な方向情報とに基づき、５つの画像情報からデプスとか上下左右視差による空間として演算でき、立体画像を生成することができる。
　次に、変形例について説明する。図１０～図１２は、変形例に係るカメラ部の概略構成を示す図である。図１０の例では、カメラ部１２１は、指先に配置されるカメラ本体１２２と、このカメラ本体１２２に設けられるレンズ１２３と、カメラ本体１２２を指先に装着するためのリング１２４とを備える。この構成では、上記した各実施形態に示す指サックタイプのものと比較して、指の腹側が開放されるため、指先での細かな作業や指紋認証などに支障がない。
　また、図１１の例では、カメラ部２２１は、指先に配置されるカメラ本体２２２と、このカメラ本体２２２に設けられるレンズ２２３とを備える。カメラ本体２２２は、例えば、粘着剤や吸盤によって指先の爪に貼り付けられている。この構成では、リングを使用しないため、指の腹側がより開放されるため、指先での細かな作業や指紋認証などを容易に行うことができる。
　また、図１２の例では、カメラ部３２１は、上記した実施形態と同様に指サックタイプであり、指先が挿入される有底円筒状のカメラ本体３２２と、このカメラ本体３２２の外周面に設けられるレンズ３２３とを備える。このレンズ３２３は、例えば、指の腹側に配置されている。この構成によれば、例えば、カメラ部３２１を５本の指に装着して、各指を折り曲げると、各指先で形成される円弧上に各カメラ部３２１が配置されるため、撮像対象を３６０°囲んだ状態で撮像することができ、立体画像を容易に形成することができる。
　以上、本実施形態によれば、指先カメラ装置２０は、手の指先に装着されるカメラ部２１と、掌の筋電情報を取得する筋電情報取得部４２と、取得した筋電情報に基づき、所定の基準方向に対するカメラ部２１の相対的な方向を検出するカメラ方向検出部４６と、カメラ方向検出部４６から得たカメラ部２１の方向情報を、該カメラ部２１が撮像した撮像情報に付加して出力する出力部５２と、を備えたため、指先に装着したカメラ部２１の方向を容易に検出することができる。
　また、筋電情報取得部４２は、カメラ部２１が装着された手指の動きに伴う筋電情報を取得するため、手指の動きに伴うカメラ部２１の方向を容易に検出することができる。
　また、カメラ部２１は、複数本の指先にそれぞれ装着されるため、複数台のカメラ部２１の撮像画像を利用して、例えば、立体画像を生成することができる。
　また、手首に装着されて腕の向きを検出するポジションセンサ４４を備え、カメラ方向検出部４６は、検出された腕の向きを基準方向として、該基準方向に対するカメラ部２１の相対的な方向を検出するため、ユーザが動かした腕の方向に追従して、容易にカメラ部の方向を検出でできる。
　また、筋電情報を検出する筋電センサ２２を、カメラ部２１が装着された手指の付け根部分、もしくは、手首に装着するため、手指の動作に伴う筋電情報を正確に検出することができ、手指の動きに伴うカメラ部２１の方向を正確に検出することができる。
　また、指先カメラシステム１０は、指先カメラ装置２０と、カメラ部２１が撮像した複数の撮像画像、及び、これら撮像情報と対応するカメラ部２１の相対的な方向を示す方向情報に基づき、３次元の構造体を表現する立体画像情報を生成する立体画像生成処理部３３とを備えるため、立体画像を容易に生成することができる。
　以上、本実施形態について説明したが、これら実施形態の構成要素により実施形態が限定されるものではない。また、前述した構成要素には、当業者が容易に想定できるもの、実質的に同一のもの、いわゆる均等の範囲のものが含まれる。さらに、前述した構成要素は適宜組み合わせることが可能である。さらに、前述した実施形態の要旨を逸脱しない範囲で構成要素の種々の省略、置換又は変更を行うことができる。例えば、上記した実施形態では、筋電センサ２２を手指の付け根に設ける構成としたが、例えば手首に装着される制御ユニット２３と一体もしくは別体に設けても良い。
　本実施形態のカメラ装置、及びカメラシステムは、例えば指先に装着して撮影する指先カメラ装置に利用することができる。
　１０、１０Ａ、１０Ｂ　指先カメラシステム（カメラシステム）
　２０、２０Ａ、２０Ｂ　指先カメラ装置（カメラ装置）
　２１、２１Ａ、２１Ｂ、２１Ｃ、２１Ｄ、２１Ｅ　カメラ部
　２２、２２Ａ、２２Ｂ、２２Ｃ、２２Ｄ、２２Ｅ　筋電センサ（生体情報検出部）
　２３、２３Ａ、２３Ｂ　制御ユニット
　３０　画像処理ユニット
　３３　立体画像生成処理部
　３４　表示部
　４０　撮像情報取得部
　４２　筋電情報取得部（生体情報取得部）
　４４　ポジションセンサ（腕方向検出部）
　４５　隣接カメラ間角度演算部
　４６　カメラ方向検出部
　５２　出力部

Claims (5)

  1. 　指に装着されるカメラ部と、
    　掌の生体情報を取得する生体情報取得部と、
    　取得した生体情報に基づき、所定の基準方向に対する前記カメラ部の相対的な方向を検出するカメラ方向検出部と、
    　前記カメラ方向検出部から得た前記カメラ部の方向情報を、該カメラ部が撮像した撮像情報に付加して出力する出力部と、
    　を備えたことを特徴とするカメラ装置。
  2. 　前記生体情報は、前記カメラ部が装着された手指の動きに伴う筋電情報であることを特徴とする請求項１に記載のカメラ装置。
  3. 　手首に装着されて腕の向きを検出する腕方向検出部を備え、
    　前記カメラ方向検出部は、検出された腕の向きを前記基準方向として、該基準方向に対する前記カメラ部の相対的な方向を検出することを特徴とする請求項１または２に記載のカメラ装置。
  4. 　前記生体情報を検出する生体情報検出部を、前記カメラ部が装着された手指の付け根、もしくは、手首に装着することを特徴とする請求項１～３のいずれか一項に記載のカメラ装置。
  5. 　請求項１～４のいずれか一項に記載のカメラ装置と、
    　前記カメラ部が撮像した複数の撮像画像、及び、これら撮像情報と対応する前記カメラ部の相対的な方向を示す方向情報に基づき、３次元の構造体を表現する立体画像情報を生成する立体画像生成処理部と、
    　を備えることを特徴とするカメラシステム。
PCT/JP2022/008572 2021-03-08 2022-03-01 カメラ装置及びカメラシステム WO2022190961A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202280019506.XA CN116998146A (zh) 2021-03-08 2022-03-01 相机装置及相机系统
EP22766920.7A EP4290308A4 (en) 2021-03-08 2022-03-01 CAMERA DEVICE AND CAMERA SYSTEM
US18/461,549 US20230419719A1 (en) 2021-03-08 2023-09-06 Camera device and camera system

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021-036476 2021-03-08
JP2021036476A JP7709011B2 (ja) 2021-03-08 2021-03-08 カメラ装置及びカメラシステム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US18/461,549 Continuation US20230419719A1 (en) 2021-03-08 2023-09-06 Camera device and camera system

Publications (1)

Publication Number Publication Date
WO2022190961A1 true WO2022190961A1 (ja) 2022-09-15

Family

ID=83226612

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/008572 WO2022190961A1 (ja) 2021-03-08 2022-03-01 カメラ装置及びカメラシステム

Country Status (5)

Country Link
US (1) US20230419719A1 (ja)
EP (1) EP4290308A4 (ja)
JP (2) JP7709011B2 (ja)
CN (1) CN116998146A (ja)
WO (1) WO2022190961A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20240361845A1 (en) * 2023-04-27 2024-10-31 Meta Platforms Technologies, Llc Optical ring that enables thumb-to-index gestures

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004192167A (ja) * 2002-12-09 2004-07-08 Matsushita Electric Ind Co Ltd 携帯端末及び情報入力装置
JP2005159771A (ja) 2003-11-26 2005-06-16 Sony Corp 無線通信装置及び無線通信方法、無線通信システム、並びにコンピュータ・プログラム
JP2006060584A (ja) * 2004-08-20 2006-03-02 Fuji Photo Film Co Ltd デジタルカメラ
JP2019016999A (ja) * 2016-08-09 2019-01-31 株式会社アスタリスク 読取システム及びカメラ

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0637036B2 (ja) * 1984-04-13 1994-05-18 三菱重工業株式会社 多本指マニプレ−タ
JP2001344053A (ja) * 2000-06-01 2001-12-14 Olympus Optical Co Ltd 操作入力装置
US20130135223A1 (en) * 2009-12-13 2013-05-30 Ringbow Ltd. Finger-worn input devices and methods of use
WO2014144015A2 (en) * 2013-03-15 2014-09-18 Keller Eric Jeffrey Computing interface system
US20150035743A1 (en) * 2013-07-31 2015-02-05 Plantronics, Inc. Wrist Worn Platform for Sensors
US20200073483A1 (en) 2018-08-31 2020-03-05 Ctrl-Labs Corporation Camera-guided interpretation of neuromuscular signals
US20180096215A1 (en) 2016-09-30 2018-04-05 Thomas Alton Bartoshesky Operator guided inspection system and method of use
KR102036019B1 (ko) * 2018-03-02 2019-10-24 한양대학교 산학협력단 수부 기능 장애 진단을 위한 분리형 데이터 글러브

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004192167A (ja) * 2002-12-09 2004-07-08 Matsushita Electric Ind Co Ltd 携帯端末及び情報入力装置
JP2005159771A (ja) 2003-11-26 2005-06-16 Sony Corp 無線通信装置及び無線通信方法、無線通信システム、並びにコンピュータ・プログラム
JP2006060584A (ja) * 2004-08-20 2006-03-02 Fuji Photo Film Co Ltd デジタルカメラ
JP2019016999A (ja) * 2016-08-09 2019-01-31 株式会社アスタリスク 読取システム及びカメラ

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP4290308A4

Also Published As

Publication number Publication date
JP2022136727A (ja) 2022-09-21
JP2023017867A (ja) 2023-02-07
EP4290308A1 (en) 2023-12-13
JP7709011B2 (ja) 2025-07-16
US20230419719A1 (en) 2023-12-28
EP4290308A4 (en) 2024-07-17
CN116998146A (zh) 2023-11-03

Similar Documents

Publication Publication Date Title
KR102458344B1 (ko) 카메라의 초점을 변경하는 방법 및 장치
JP2015039522A (ja) リハビリ装置および幻肢痛治療支援装置
US10198075B2 (en) Operation apparatus
WO2016021252A1 (ja) 情報処理装置及び情報処理方法、並びに画像表示システム
US9442571B2 (en) Control method for generating control instruction based on motion parameter of hand and electronic device using the control method
US20150009103A1 (en) Wearable Display, Computer-Readable Medium Storing Program and Method for Receiving Gesture Input
KR20170062439A (ko) 제어 장치, 제어 방법 및 프로그램
JP2020071587A (ja) 表示装置、及び、表示装置の制御方法
US20230141494A1 (en) Markerless motion capture of hands with multiple pose estimation engines
CN106961546A (zh) 信息处理装置和方法、摄像装置、显示装置、控制方法
JP2023017867A (ja) カメラ装置及びカメラシステム
KR101564967B1 (ko) 아이 트래킹을 이용한 사용자 관심 대상 파악 시스템 및 방법
KR101356015B1 (ko) 센서를 이용한 3ｄ 영상 보정 장치 및 이를 위한 방법
JP2012146220A (ja) ジェスチャ入力装置
EP3971683A1 (en) Human body portion tracking method and human body portion tracking system
JP2012194492A (ja) ヘッドマウントディスプレイ及びヘッドマウントディスプレイのためのコンピュータプログラム
CN114078279B (zh) 动作捕捉方法、装置、电子设备及存储介质
WO2018076609A1 (zh) 一种操作终端的方法和终端
US11783492B2 (en) Human body portion tracking method and human body portion tracking system
JP2017074398A (ja) 情報処理装置、情報処理方法、プログラム、及び測定システム
CN210302240U (zh) 一种增强现实ar腕关节康复评估和训练系统
CN110520792B (zh) 成像装置和隐形眼镜
JP6149211B2 (ja) 携帯端末装置、プログラムおよび手ぶれ補正方法
KR102553830B1 (ko) 카메라를 이용한 실시간 로봇 원격 제어 방법 및 장치
JP2015163113A (ja) 歩行支援装置、及び情報処理装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22766920

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 202280019506.X

Country of ref document: CN

Ref document number: 2022766920

Country of ref document: EP

ENP Entry into the national phase

Ref document number: 2022766920

Country of ref document: EP

Effective date: 20230906

NENP Non-entry into the national phase

Ref country code: DE