[go: up one dir, main page]

WO2013125298A1 - 端末装置、撮影システム、及び撮影方法 - Google Patents

端末装置、撮影システム、及び撮影方法 Download PDF

Info

Publication number
WO2013125298A1
WO2013125298A1 PCT/JP2013/051703 JP2013051703W WO2013125298A1 WO 2013125298 A1 WO2013125298 A1 WO 2013125298A1 JP 2013051703 W JP2013051703 W JP 2013051703W WO 2013125298 A1 WO2013125298 A1 WO 2013125298A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
terminal device
unit
imaging
angle
Prior art date
Application number
PCT/JP2013/051703
Other languages
English (en)
French (fr)
Inventor
伸 三国
Original Assignee
Necカシオモバイルコミュニケーションズ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Necカシオモバイルコミュニケーションズ株式会社 filed Critical Necカシオモバイルコミュニケーションズ株式会社
Priority to EP13751467.5A priority Critical patent/EP2819409A4/en
Priority to US14/380,752 priority patent/US9762891B2/en
Priority to JP2014500624A priority patent/JP6319081B2/ja
Publication of WO2013125298A1 publication Critical patent/WO2013125298A1/ja

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/246Calibration of cameras
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B17/00Details of cameras or camera bodies; Accessories therefor
    • G03B17/18Signals indicating condition of a camera member or suitability of light
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B35/00Stereoscopic photography
    • G03B35/08Stereoscopic photography by simultaneous recording
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/20Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/207Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/221Image signal generators using stereoscopic image cameras using a single 2D image sensor using the relative movement between cameras and objects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/239Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/296Synchronisation thereof; Control thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • H04N23/635Region indicators; Field of view indicators
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00Indexing scheme for image data processing or generation, in general
    • G06T2200/04Indexing scheme for image data processing or generation, in general involving 3D image data
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10004Still image; Photographic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20112Image segmentation details
    • G06T2207/20132Image cropping
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20212Image combination
    • G06T2207/20221Image fusion; Image merging
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20Indexing scheme for editing of 3D models
    • G06T2219/2004Aligning objects, relative positioning of parts
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals

Definitions

  • the present invention relates to a technique for generating a stereoscopic image based on image data photographed by two photographing devices.
  • a stereoscopic imaging device that generates a stereoscopic image
  • a device in which two imaging devices are fixed to one frame is well known.
  • this stereoscopic imaging apparatus one imaging apparatus captures an image for the left eye, and the other imaging apparatus captures an image for the right eye.
  • a stereoscopic image is obtained by superimposing the left-eye and right-eye images.
  • a stereoscopic imaging device that obtains a stereoscopic image using only one imaging device.
  • the imaging device captures an image for the left eye, and then moves the imaging device to the right eye position for imaging, and superimposes the image for the left eye and the image for the right eye currently being captured.
  • a stereoscopic image is displayed. Shooting while aligning the position of the image for the right eye with respect to the image for the left eye improves the stereoscopic effect.
  • Patent Document 1 Japanese Patent Application Laid-Open No. 2010-157850
  • the camera system described in Patent Document 1 includes first and second cameras that can communicate with each other.
  • the first camera includes an imaging unit that captures a subject and obtains a first image, a communication unit that receives a second image obtained by capturing the subject from the second camera, and each of the first and second images.
  • the image processing unit that recognizes the main subject and generates composition information including the main subject and the background is compared with the composition information of the first image and the composition information of the second image, and the first and second images
  • a determination unit that determines whether a three-dimensional image can be generated from the display unit, and a display unit that displays whether a three-dimensional image can be generated.
  • the determination unit determines that a stereoscopic image cannot be generated when the size of the main subject in the first image is different from the size of the main subject in the second image.
  • the size of the main subject in the first and second images being the same means that the angle of view of the first image matches the angle of view of the second image.
  • the determination unit compares the first and second images captured by the first and second cameras, respectively, and when the size of the main subject is the same, that is, When the angle of view of both images is the same, it is determined that a stereoscopic image can be generated. In other words, the determination unit determines that a stereoscopic image cannot be generated unless the angles of view of the first and second images match. In this way, in this camera system, the conditions for determining the relationship between the shooting ranges of the two cameras are limited, so the range in which a stereoscopic image can be captured becomes narrow. It becomes difficult to shoot.
  • An object of the present invention is to provide a terminal device, a photographing system, and a photographing method capable of solving the above-described problems and widening the range in which a stereoscopic image can be photographed.
  • Photographing means In order to achieve the above object, according to one aspect of the present invention, Photographing means; Communication means for receiving a first image having a first angle of view from an external terminal device; Determining means for determining a relationship of a photographing range between a first image received by the communication means and a second image having a second angle of view wider than the first angle of view taken by the photographing means; A terminal device is provided.
  • a first imaging device A second imaging device capable of communicating with the first imaging device, The first imaging device First imaging means; First communication means for transmitting a first image having a first angle of view photographed by the first photographing means, The second imaging device A second imaging means; Second communication means for receiving the first image from the first communication means; Judgment for determining the relationship between the imaging range of the first image received by the second communication means and the second image of the second angle of view wider than the first angle of view taken by the second imaging means. And a photographing system is provided.
  • Receiving a first image of a first angle of view from an external terminal device There is provided a photographing method for determining a relation of a photographing range between a received first image and a second image having a second field angle wider than the first field angle photographed by a photographing unit.
  • the first imaging device including the first imaging unit transmits the first image having the first angle of view captured by the first imaging unit to the second imaging device including the second imaging unit. And Shooting of the first image received by the second imaging device from the first imaging device and the second image having a second field angle wider than the first field angle captured by the second imaging unit.
  • An imaging method for determining a range relationship is provided.
  • the range in which a stereoscopic image can be captured can be widened, so that it is possible to easily capture a stereoscopic image.
  • FIG. 5 is a schematic diagram illustrating an example of a screen display in a photographing operation linked between terminal devices in the photographing system illustrated in FIG. 4.
  • FIG. 5 is a schematic diagram for explaining an image cut-out operation in a terminal device in a sub device mode in the photographing system shown in FIG. 4.
  • FIG. 1 shows a terminal device based on the first embodiment.
  • a terminal device 1 shown in FIG. 1 is used in a photographing system capable of photographing a stereoscopic image, and includes a camera unit 2, an image memory 3, a control unit 4, a communication unit 5, an operation unit 6, and a display unit. 7
  • the operation unit 6 includes input means such as a plurality of operation buttons and a touch panel, and supplies a signal corresponding to an input operation by the user to the CPU 1.
  • the operation buttons include, for example, a shutter button, a setting button for setting the main device mode and the sub device mode, a setting button for setting the high-speed shooting mode and the high-quality shooting mode, and the like.
  • the communication unit 5 has inter-device communication means for transmitting and receiving data to and from other terminal devices.
  • the inter-device communication means is a wireless communication means represented by, for example, Bluetooth (registered trademark).
  • communication means using infrared (IR) communication can be used as the inter-device communication means.
  • the communication part 5 may have another communication means for connecting to the network represented by the internet other than the communication apparatus between apparatuses.
  • Another communication means may be, for example, a communication means using a wireless LAN (Local Area Network). A necessary program or data may be downloaded using this other communication means.
  • the display unit 7 includes a display device such as an LCD (Liquid Crystal Display).
  • a display device such as an LCD (Liquid Crystal Display).
  • the camera unit 2 includes an image sensor represented by a CCD (Charge-Coupled Device) image sensor or a CMOS (Complementary Metal-Oxide-Semiconductor) image sensor, and is obtained via the image sensor according to an instruction from the control unit 4. Output image signal.
  • the camera unit 2 performs focus adjustment, white balance control, and exposure control according to instructions from the control unit 4.
  • the image memory 3 holds an image signal from the camera unit 2 as image data.
  • the image memory 3 holds image data from the camera unit 2 in units of frames.
  • the image data stored in the image memory 3 may be still image data or moving image data.
  • the control unit 4 includes a main control unit 40, a camera control unit 41, an image processing unit 42, an image buffer memory 43, a motion detection unit 44, and switches 45 and 46.
  • the switch 45 has an output terminal and first and second input terminals, and selects either the first or second input terminal according to the switching signal 51 from the main control unit 40.
  • the output terminal is connected to the camera unit 2.
  • the first input terminal is connected to the main control unit 40, and the second input terminal is connected to the camera control unit 41.
  • the switch 46 has an output terminal and first and second input terminals, and selects either the first or second input terminal according to the switching signal 52 from the main control unit 40.
  • the output terminal is connected to the motion detection unit 44.
  • the first input terminal is connected to the image memory 3.
  • the second input terminal is connected to the image buffer memory 43.
  • the image processing unit 42 operates by storing image data for one frame in the image memory 3.
  • the image processing unit 42 reads image data from the image memory 3 and performs a reduction process or an image cut-out process on the read image data.
  • a reduced image of the image stored in the image memory 3 is obtained.
  • an image with a predetermined angle of view is obtained from the image stored in the image memory 3.
  • the predetermined angle of view is smaller than the angle of view of the image before processing stored in the image memory 3.
  • the image processing unit 42 stores image data of a reduced image or an image with a predetermined angle of view in the image buffer memory 43.
  • the data size of the reduced image is smaller than the pre-processed image stored in the image memory 3.
  • the data size here is represented by the number of pixels.
  • the data size of the image of the predetermined angle of view is smaller than the image before processing stored in the image memory 3, but the data size can maintain the image quality when generating the stereoscopic image at a certain level or higher.
  • the number of pixels of the image sensor of the camera unit 2 particularly the number of effective pixels, is a number that can maintain the image quality of an image with a predetermined angle of view at a certain level or higher.
  • the camera control unit 41 performs control of the camera unit 2, for example, focus adjustment, white balance control, and exposure control.
  • the camera control unit 41 uses a preset initial value as a control value, and performs focus adjustment, white balance control, and exposure control of the camera unit 2 based on the control value. Thereafter, the camera control unit 41 calculates each control value based on the image data stored in the image buffer memory 43, and based on the calculated control value, focus adjustment, white balance control, And exposure control automatically.
  • a technique well known in the technical field of the camera for example, an autofocus technique, an auto white balance technique, or an automatic exposure control technique can be used.
  • an autofocus technique for example, a technique based on phase difference detection, a distance measuring method based on contrast detection, or the like can be used.
  • the main control unit 40 is connected to the switches 45 and 46, the image processing unit 42, the image buffer memory 43, the motion detection unit 44, the communication unit 5, the operation unit 6, and the display unit 7, respectively.
  • the main control unit 40 operates according to a program and controls the operation of each unit in accordance with a signal from the operation unit 6.
  • the main control unit 40 includes a CPU (Central Processing Unit) 40-1, a graphic drawing unit 40-2, a work memory 40-3, and a data memory 40-4.
  • CPU Central Processing Unit
  • the work memory 40-3 and the data memory 40-4 are storage devices composed of a semiconductor memory or the like.
  • the work memory 40-3 holds a part of the program executed by the CPU 40-1 and data necessary when the program is executed.
  • the data memory 40-4 holds data and image files necessary for drawing a figure by the figure drawing unit 40-2.
  • the work memory 40-3 and the data memory 40-4 may be configured by one storage device.
  • the storage device includes a storage area for the work memory 40-3 and a storage area for the data memory 40-4.
  • the CPU 40-1 When the main device mode setting button of the operation unit 6 is pressed, the CPU 40-1 causes the camera control unit 41 to control the camera unit 2 and switches by the switching signals 51 and 52 so that the motion detection unit 44 does not operate. 45 and 46 are controlled. When the sub device mode setting button of the operation unit 6 is pressed, the CPU 40-1 operates the switches 45 and 46 by the switching signals 51 and 52 so that the motion detection unit 44 operates and the camera control unit 41 does not operate. Control.
  • FIG. 2 is a schematic diagram showing an operation state of the terminal device 1 when the terminal device 1 is set to the main device mode.
  • blocks indicated by solid lines are effective blocks that operate in the main device mode, and blocks indicated by broken lines do not operate in the main device mode.
  • the camera unit 2 in the main device mode, in the terminal device 1, the camera unit 2, the image memory 3, the communication unit 5, the operation unit 6, the display unit 7, the CPU 40-1, the work memory 40-3, and the data memory 40 -4, the camera control unit 41, the image processing unit 42, and the image buffer memory 43 operate, and the motion detection unit 44 does not operate.
  • the figure drawing unit 40-2 basically does not operate, and is activated only when a specific notification is received from the terminal device 1B (see FIG. 4) set to the sub device mode.
  • the image processing unit 42 executes a cut-out process.
  • the cut-out process the central portion of the image stored in the image memory 3 is fixedly cut out.
  • This clipped image is an image having a predetermined angle of view and is stored in the image buffer memory 43.
  • the camera control unit 41 performs focus adjustment, white balance control, and exposure control of the camera unit 2 based on image data having a predetermined angle of view stored in the image buffer memory 43. Specifically, in each of focus adjustment, white balance control, and exposure control, the camera control unit 41 calculates a control value based on image data of a predetermined angle of view, and based on the control value, the camera unit 2 operation is controlled.
  • the CPU 40-1 acquires control values for focus adjustment, white balance control, and exposure control from the camera control unit 41, and the acquired control values from the communication unit 5 are set to the sub device mode. To send to. In addition, the CPU 40-1 transmits the contents of the image buffer memory 43 and the shooting execution command from the communication unit 5 to the terminal device in the sub device mode, or notifies the terminal device in the sub device mode via the communication unit 5 about the video. Or receive. As described above, the contents of the image buffer memory 43 here are image data having a predetermined angle of view.
  • FIG. 3 is a schematic diagram showing an operation state of the terminal device 1 when the terminal device 1 is set to the sub device mode.
  • blocks indicated by solid lines are effective blocks that operate in the sub device mode, and blocks indicated by broken lines do not operate in the sub device mode.
  • the camera unit 2 As shown in FIG. 3, in the sub apparatus mode, in the terminal apparatus 1, the camera unit 2, the image memory 3, the communication unit 5, the operation unit 6, the display unit 7, the CPU 40-1, the graphic drawing unit 40-2, the work memory 40-3, the data memory 40-4, the image processing unit 42, the image buffer memory 43, and the motion detection unit 44 operate, and the camera control unit 41 does not operate.
  • the camera control unit 41 In the sub device mode, the camera control unit 41 is in a stopped state, and the CPU 40-1 receives control values for focus adjustment, white balance control, and exposure control from the terminal device in the main device mode via the communication unit 5.
  • the camera unit 2 is controlled based on the received control values.
  • the CPU 40-1 receives image data having a predetermined angle of view from the terminal device in the main device mode via the communication unit 5, and supplies the received image data to the motion detection unit 44. Further, the CPU 40-1 transmits a notification regarding the video from the communication unit 5 to the terminal device in the main device mode.
  • the image processing unit 42 performs the reduction process in the normal state, and stores the image data obtained by reducing the entire image stored in the image memory 3 in the image buffer memory 43. Then, the CPU 40-1 displays the reduced image data stored in the image buffer memory 43 on the display unit 7.
  • the motion detection unit 44 includes a detection target image memory 44-1.
  • the detection target image memory 44-1 holds image data of a predetermined angle of view supplied from the CPU 40-1.
  • the motion detection unit 44 also includes a shooting range of image data stored in the image memory 3, that is, image data that has not been subjected to reduction processing or clipping processing, and a predetermined range stored in the detection target image memory 44-1.
  • the relationship between the angle of view and the shooting range of the image data is determined.
  • the motion detection unit 44 detects an image area corresponding to an image having a predetermined angle of view from the image stored in the image memory 3, and coordinates of the detected image area on the image memory 3. Is detected.
  • the coordinates on the image memory 3 directly indicate the position or location in the image. Then, the motion detection unit 44 determines the relationship between the shooting ranges based on the detected coordinates, that is, position information.
  • the motion detection unit 44 may be configured by diverting a circuit generally used in moving image compression. Eventually, the CPU 40-1 and the motion detection unit 44 make the first image received by the communication unit 5 and the second image having a second field angle wider than the first field angle captured by the camera unit 2. It functions as a determination unit or determination means for determining the relationship of the photographing range. Also, the determination unit can be configured by dedicated hardware without using the CPU 40-1.
  • the detection processing of the image area corresponding to the image of the predetermined angle of view described above is a technique widely known in the technical fields of video compression and image recognition, for example, how similar the pattern matching processing and image data are. It is possible to apply an image processing technique such as a process for detecting a region where the degree of similarity is equal to or greater than a predetermined value.
  • the CPU 40-1 acquires position information of an image area corresponding to an image having a predetermined angle of view of the image stored in the image memory 3 from the motion detection unit 44, and acquires the acquired position.
  • Information is supplied to the graphic drawing unit 40-2.
  • the graphic drawing unit 40-2 is a rectangular graphic that graphically represents the position of the image area corresponding to the image of a predetermined angle of view in the image stored in the image memory 3. And the generated rectangular figure is superimposed on the image in the image buffer memory 43.
  • the CPU 40-1 can receive a shooting command from the terminal device in the main device mode via the communication unit 5.
  • the CPU 40-1 sets the clipping range of the image processing unit 42 to the position information detected by the motion detection unit 44, that is, the coordinates in the image memory 3.
  • the image processing unit 42 cuts out an image in the same shooting range as the terminal device in the main device mode from the image memory 3 and stores it in the image buffer memory 43. Then, the CPU 40-1 transmits the contents of the image buffer memory 43 as shooting data from the communication unit 5 to the terminal device in the main device mode.
  • the imaging system of the present embodiment is composed of a plurality of terminal devices, and each terminal device has the configuration shown in FIG.
  • two terminal apparatuses are used, one of which operates as a terminal apparatus set to the main apparatus mode, that is, the main apparatus, and the other operates as a terminal apparatus set to the sub apparatus mode, that is, the sub apparatus.
  • the form is shown.
  • the photographing system has two terminal devices 1A and 1B.
  • Each of the terminal devices 1A and 1B has the configuration shown in FIG.
  • the terminal device 1A operates as a main device when the main device mode setting button is pressed in the operation unit 6. Therefore, the terminal device 1A is in the state shown in FIG.
  • the terminal device 1B operates as a sub device when the sub device mode setting button is pressed in the operation unit 6. Therefore, the terminal device 1B is in the state shown in FIG.
  • Terminal users 1A and 1B are operated by different users.
  • the user A operates the terminal device 1A
  • the user B operates the terminal device 1B.
  • One of the terminal devices 1A and 1B is used as a right-eye imaging device, and the other is used as a left-eye imaging device.
  • Users A and B can obtain a stereoscopic image by photographing the subject while arranging the terminal devices 1A and 1B at an appropriate distance and operating them in cooperation. For example, when the terminal devices 1A and 1B are arranged at a predetermined distance having an appropriate parallax, a stereoscopic image having a natural perspective can be taken. In addition, when the terminal devices 1A and 1B are arranged slightly apart from a predetermined distance, it is possible to capture images in which perspective is emphasized with respect to a plurality of subjects that are separated from each other.
  • FIG. 5 is a schematic diagram showing an example of a screen display in a shooting operation linked between the terminal device 1A in the main device mode and the terminal device 1B in the sub device mode.
  • the image memory 3 holds an image 80A obtained by photographing the subject 80 by the camera unit 2, and the image processing unit 42 is in the center of the image 80A.
  • the vicinity is cut out and stored in the image buffer memory 43 as an image 80A-1 having a predetermined angle of view.
  • the CPU 40-1 displays the image 80A-1 stored in the image buffer memory 43 on the screen 1A-1 of the display unit 7, and further displays the image 80A-1 from the communication unit 7 to the terminal device 1B in the sub device mode. To send to.
  • the image memory 3 holds the image 80B obtained by the camera unit 2 photographing the subject 80, and the image processing unit 42 stores the reduced image of the image 80B in the image buffer memory. 43. Then, the CPU 40-1 displays a reduced image of the image 80B stored in the image buffer memory 43 on the screen 1B-1 of the display unit 7.
  • the shooting range of the image 80B is slightly different from the shooting range of the image 80A.
  • the angle of view of the image 80B is larger than that of the image 80A-1.
  • the detection target image memory 44-1 holds the image 80A-1 having a predetermined angle of view transmitted from the terminal device 1A.
  • the motion detection unit 44 compares the unreduced image 80B stored in the image memory 3 with the image 80A-1 stored in the detection target image memory 44-1, and corresponds to the image 80B to the image 80A-1. An image area is detected, and the coordinates of the detected image area on the image memory 3 are detected. Then, the image drawing unit 40-2 generates a rectangular image indicating an image area corresponding to the image 80A-1 based on the detected coordinates, and the rectangular image 80B-1 is stored in the image buffer memory 43. Is superimposed on the reduced image of the existing image 80B.
  • an image obtained by superimposing the rectangular image 80B-1 on the reduced image of the image 80B is displayed on the screen 1B-1 of the display unit 7.
  • the photographing range by the camera unit is represented as a rectangular area. Therefore, the image area is also represented by a rectangular area. Therefore, in the terminal device of the present embodiment, a rectangular image is generated as an image of a line indicating the outer periphery of the rectangular area corresponding to the shooting range or the image area. Therefore, the rectangular image is a frame-like image, and when the rectangular image 80B-1 is superimposed on the reduced image of the image 80B, the reduced image of the image 80B can be seen inside the rectangular image 80B-1.
  • the operator A confirms the display on the screen 1A-1 of the terminal device 1A while checking the display on the screen 1A-1 so that the subject 80 is positioned at the center of the screen. Take 80.
  • the rectangular image 80B-1 displayed on the screen 1B-1 shows the central portion of the shooting range of the camera unit 2 of the terminal device 1A. Therefore, the operator B confirms the relationship between the shooting range of the camera unit 2 of the terminal device 1B and the shooting range of the camera unit 2 of the terminal device 1A based on the rectangular image 80B-1 displayed on the screen 1B-1. Can do.
  • the operator B changes the direction of the camera unit 2 while confirming the display position of the rectangular image 80B-1, so that the camera unit 2 of the terminal device 1B with respect to the shooting range of the camera unit 2 of the terminal device 1A. Can be maintained in a desired relationship.
  • the rectangular image 80B-1 is at the lower left position of the screen 1B-1.
  • the rectangular image 80B-1 moves toward the center of the screen.
  • the subject 80 can be set to the shooting range of the camera unit 2 of the terminal device 1B and the shooting range of the camera unit 2 of the terminal device 1A, respectively.
  • the imaging range of the camera unit 2 of the terminal device 1B and the imaging range of the camera unit 2 of the terminal device 1A can be maintained in a relationship suitable for forming a stereoscopic image.
  • the motion detection unit 44 detects an image area corresponding to the image 80A-1 transmitted from the terminal device 1A from the image 80B before reduction stored in the image memory 3, The coordinates on the image memory 3 of the detected image area are detected. Then, based on the detected coordinates, the CPU 40-1 determines the relationship between the shooting range of the camera unit 2 of the terminal device 1A and the shooting range of the camera unit 2 of the terminal device 1B, and notifies according to the determination result. This is performed for the terminal device 1A.
  • the CPU 40-1 performs the first determination as to whether or not the image area corresponding to the image 80A-1 is located in the peripheral portion of the image 80B, and the image area corresponding to the image 80A-1 is the image.
  • a second determination is made as to whether or not it is located at the center of 80B.
  • FIG. 6 shows an example of the coordinates of the image area corresponding to the image 80A-1 of the image 80B.
  • the image area 80B-2 is an image area corresponding to the image 80A-1 transmitted from the terminal device 1A of the unreduced image 80B stored in the image memory 3.
  • the interval between the upper end of the image 80B and the upper end of the image region 80B-2 is the margin Yd1
  • the interval between the lower end of the image 80B and the lower end of the image region 80B-2 is the margin Yd2
  • the left end of the image 80B and the left end of the image region 80B-2 Is the margin Xd1
  • the interval between the right end of the image 80B and the right end of the image region 80B-2 is the margin Xd2.
  • the motion detection unit 44 acquires each value of the margins Yd1, Yd2, Xd1, and Xd2 as coordinate information of the image region 80B-2 of the image 80B.
  • the CPU 40-1 compares the values of the margins Yd1, Yd2, Xd1, and Xd2 with the threshold value T1, and if any of the margins Yd1, Yd2, Xd1, and Xd2 is smaller than the threshold value T1. Then, it is determined that the image area corresponding to the image 80A-1 is located in the peripheral portion of the image 80B, and a shooting range warning is notified to the terminal device 1A.
  • the CPU 40-1 determines whether or not the difference between the margins Yd1 and Yd2 and the difference between the margins Xd1 and Xd2 are both smaller than the threshold T2.
  • the difference between Yd1 and Yd2 and the difference between Xd1 and Xd2 are both expressed as absolute values. Only when these differences are both smaller than the threshold value T2, the CPU 40-1 determines that the image area corresponding to the image 80A-1 is located at the center of the image 80B, and the subject 80 is located in the terminal device with respect to the terminal device 1A. A central notification indicating that the camera is located at the center of the photographing range of 1A and 1B is performed.
  • Threshold values T1 and T2 can be set arbitrarily, for example, 10.
  • the CPU 40-1 may hold the threshold values T1 and T2 in advance. Further, the threshold values T1 and T2 may be held in the memory work 40-3 when the program is started.
  • the graphic drawing unit 40-2 is activated and the warning image is displayed in the graphic drawing unit 40-2.
  • the CPU 40-1 displays the warning image created by the figure drawing unit 40-2 on the display unit 7.
  • the warning image is, for example, a rectangular frame indicated by a broken line, and the CPU 40-1 displays the rectangular frame superimposed on the image 80A-1.
  • the operator A can recognize that the shooting range of the camera unit 2 of the terminal device 1A is likely to deviate significantly from the shooting range of the camera unit 2 of the terminal device 1B. .
  • the CPU 40-1 performs a shooting command issuance process corresponding to the shooting mode.
  • the shooting mode includes a high-speed shooting mode and a high-quality shooting mode.
  • the operator A can set one of the high-speed shooting mode and the high-quality shooting mode with the operation unit 6.
  • the CPU 40-1 executes shooting processing for saving the image shot by the camera unit 2 as an image for forming a stereoscopic image.
  • the shooting command is issued, and the shooting command is transmitted from the communication unit 5 to the terminal device 1B.
  • the CPU 40-1 does not perform shooting processing for forming a three-dimensional image even when the shutter button of the operation unit 6 is pressed until it receives a center notification from the terminal device 1B. No shooting command is issued.
  • the CPU 40-1 executes a shooting process for forming a stereoscopic image, issues a shooting command, and sends the shooting command from the communication unit 5 to the terminal device 1B. Send it.
  • the CPU 40-1 receives a shooting command via the communication unit 5, and instructs the image processing unit 42 to perform a clipping process in accordance with the shooting command.
  • the image processing unit 42 performs the clipping process in accordance with an instruction from the CPU 40-1.
  • the cut-out process the central portion of the image stored in the image memory 3 is fixedly cut out.
  • This clipped image is an image having a predetermined angle of view and is stored in the image buffer memory 43.
  • the CPU 40-1 After executing the cutout process, the CPU 40-1 causes the communication unit 5 to transmit the image data having a predetermined angle of view stored in the image buffer memory 43 to the apparatus terminal 1A.
  • the CPU 40-1 receives image data of a predetermined angle of view from the apparatus terminal 1B via the communication unit 5, and stores the received image data of the predetermined angle of view and the image buffer memory 43.
  • Stereoscopic image data is generated based on the image data having a predetermined angle of view, and a stereoscopic image based on the generated stereoscopic image data is displayed on the display unit 7.
  • the angle of view of the image from the apparatus terminal 1 ⁇ / b> B substantially matches the angle of view of the image stored in the image buffer memory 43.
  • 7A to 7D schematically show changes in the screen display of the terminal devices 1A and 1B when the orientation of the camera unit 2 is operated so that the rectangular image 80B-1 is positioned at the center of the screen.
  • the state shown in FIG. 7A is a state where the camera unit 2 is chasing the subject 80 made of two persons and waits for the shutter button 53 to be pressed when the third person appears.
  • a rectangular image 80B-1 indicating the imaging range of the terminal device 1A is displayed on the screen 1B-1.
  • the rectangular image 80B-1 is located in the lower left area on the screen 1B-1, but is slightly apart from the edge of the screen 1B-1.
  • the operation in which the operator A follows the subject 80 using the camera unit 2 of the terminal device 1A is compared with the operation in which the operator B uses the camera unit 2 of the terminal device 1B. It is in a delayed state. Specifically, the rectangular image 80B-1 is located near the end of the lower left area on the screen 1B-1, and the margin Xd1 shown in FIG. 6 is smaller than the threshold T2.
  • the CPU 40-1 issues a shooting range warning notification to the terminal device 1A.
  • the CPU 40-1 receives the shooting range warning notification from the terminal device 1B via the communication unit 5, and causes the display unit 7 to display the warning image 80A-2.
  • the warning image 80A-2 is a rectangular frame, but is not limited to this.
  • the warning image 80A-2 may be any image as long as the operator A can recognize the warning.
  • an image of a specific color, an image in which the color or luminance is periodically changed, an image including a warning message, or the like can be used.
  • An image that changes periodically is, for example, a blinking image.
  • the CPU 40-1 performs out-of-range notification to the terminal device 1A.
  • the CPU 40-1 receives the out-of-range notification from the terminal device 1B via the communication unit 5, and causes the display unit 7 to display an image for informing the out-of-range notification.
  • the out-of-range notification image may be any image as long as it can be distinguished from the warning image 80A-2 and the operator A can recognize the out-of-range notification.
  • the out-of-range notification image an image of a specific color, an image in which the color or luminance is periodically changed, an image including an out-of-range notification message, or the like can be used.
  • the image that periodically changes is, for example, a blinking image.
  • the warning image 80A-2 is displayed, if the operation of the operator A using the camera unit 2 of the terminal device 1A to follow the subject 80 is delayed, the operator B will eventually have the camera unit 2 of the terminal device 1B. The operation of following the subject 80 using the catch-up catches up with the operation on the operator A side, and the terminal device 1B does not transmit the range warning notification. As a result, in the terminal device 1A, the display of the warning image 80A-2 is canceled.
  • the state shown in FIG. 7C is a state in which the operator A presses the shutter button 53 of the operation unit 6 of the terminal device 1A because the composition is desired.
  • the rectangular image 80B-1 is within the screen 1B-1, no shooting range warning notification and out-of-range notification are performed, but the rectangular image 80B-1 is not located at the center of the screen.
  • the central notification for the terminal device 1A has not been performed yet.
  • the CPU 40-1 immediately A photographing process for forming an image is performed, and a photographing command is supplied to the terminal device 1B.
  • the CPU 40-1 performs a photographing process for forming a stereoscopic image in accordance with the photographing command from the terminal device 1A.
  • the CPU 40-1 waits for a central notification from the terminal device 1B.
  • the state illustrated in FIG. 7D is a state in which the rectangular image 80B-1 is positioned at the center of the screen as a result of the operator B changing the orientation of the camera unit of the terminal device 1B.
  • the CPU 40-1 makes a central notification to the terminal device 1A.
  • the CPU 40-1 performs shooting processing for forming a stereoscopic image at the reception timing of the center notification from the terminal device 1B, and supplies a shooting command to the terminal device 1B.
  • the CPU 40-1 performs a photographing process for forming a stereoscopic image in accordance with the photographing command from the terminal device 1A.
  • FIG. 8 shows a procedure of the camera activation process of the terminal device 1A in the main device mode.
  • the CPU 40-1 sets the image processing unit 42 to perform the center cutout process.
  • the CPU 40-1 sets the camera control unit 41 to control the camera unit 2 in step S11, and invalidates the motion detection unit 44 in step S12.
  • the CPU 40-1 accepts a shooting mode setting operation via the operation unit 6, and in step S14, information on the set shooting mode, that is, a setting value of the shooting mode is received from the work memory 40-. 3 is stored.
  • the CPU 40-1 activates the camera unit 2 in step S15, and enables an interrupt based on information input via the operation unit 6 or the communication unit 5 in step S16.
  • FIG. 9 shows a procedure of camera activation processing of the terminal device 1B in the sub device mode.
  • the CPU 40-1 sets the image processing unit 42 to perform the reduction process.
  • the CPU 40-1 sets the control of the camera unit 2 to the direct control from the CPU 40-1, sets a temporary control value, and invalidates the camera control unit 41 in step S22.
  • the CPU 40-1 sets the input of the motion detection unit 44 in the image memory 3 and validates the motion detection unit 44.
  • the CPU 40-1 activates the camera unit 2 in step S24, and enables an interrupt based on information input via the operation unit 6 or the communication unit 5 in step S25.
  • FIG. 10 shows one procedure of processing in the steady state of the terminal device 1A in the main device mode.
  • the steady-state process means that a process for pressing the shutter button or a notification from the terminal apparatus 1B in the sub apparatus mode is performed while displaying the central portion of the image captured by the camera unit 2 on the screen.
  • the CPU 40-1 determines whether or not image data is stored in the image memory 3 from the camera unit 2 in step S30. If the determination result in step S30 is “No”, the CPU 40-1 waits for storage of image data by executing step S30 again. If the determination result in step S30 is “Yes”, then the CPU 40-1 determines whether or not the shutter button has been pressed in step S31.
  • step S31 determines whether or not the set shooting mode is a high-quality shooting mode.
  • the determination of the shooting mode is performed based on the setting value of the shooting mode stored in the work memory 40-3 during the camera activation process.
  • step S32 determines whether or not a central notification is received from the terminal device 1B in step S33. On the other hand, if the determination result in step S32 is “No”, the CPU 40-1 determines whether or not an out-of-range notification has been received from the terminal device 1B in step S34.
  • step S33 If the determination result in step S33 is “Yes”, or if the determination result in step S34 is “No”, the CPU 40-1 stops the camera unit 2 in step S35, and stores it in the image memory 3. Stop writing image data.
  • step S35 the CPU 40-1 issues a shooting command to the terminal device 1B in step S36, and determines in step S37 whether an image has been received from the terminal device 1B. If the determination result in step S37 is “No”, the CPU 40-1 executes step S37 again to wait for image reception. If the determination result in step S37 is “Yes”, the CPU 40-1 uses the image data for the stereoscopic image based on the image data stored in the image buffer memory 43 and the image data received from the terminal device 1B in step S38. And the image data is stored in the data memory 40-4. After execution of step S38, the CPU 40-1 activates the camera unit 2 in step S39. After the camera unit 2 is activated, the CPU 40-1 returns to step S30 and executes the processing from step S30.
  • step S31 determines in step S31. Then, the display unit transfer image is acquired from the image buffer memory 43.
  • step S41 it is determined whether a range warning notification is received from the terminal device 1B. If the determination result in step S41 is “Yes”, the CPU 40-1 superimposes the warning image on the display unit transfer image in step S42, and then in step S43, displays the warning image on the display unit transfer image. An image obtained by superimposing the images is displayed on the display unit 7. On the other hand, if the determination result in step S41 is “No”, the CPU 40-1 displays the display unit transfer image on the display unit 7 as it is in step S43.
  • the CPU 40-1 causes the communication unit 5 to transmit the image data acquired from the image buffer memory 43 and the control data for controlling the camera unit 2 to the terminal device 1B in step S44.
  • the control data here includes control values for focus adjustment, white balance control, and exposure control.
  • step S44 the CPU 40-1 returns to step S30 and executes the processing from step S30 again.
  • FIG. 11 shows a procedure of processing in the steady state of the terminal device 1B in the sub device mode.
  • the steady state process is a process of performing notification based on the relationship between the shooting ranges of the terminal devices 1A and 1B while displaying an image shot by the camera unit 2 on the screen together with a rectangular image indicating the shooting range of the terminal device 1A. It also means that a shooting process is performed according to a shooting command from the terminal device 1A.
  • step 50 the CPU 40-1 determines whether or not image data is stored in the image memory 3 from the camera unit 2. If the determination result in step S50 is “No”, the CPU 40-1 waits for storage of image data by executing step S50 again. If the determination result in step S50 is “Yes”, the CPU 40-1 acquires the display unit transfer image from the image buffer memory 43 in step S51, and then captures the image from the terminal device 1A in step S52. Determine whether a command has been received.
  • step S52 determines whether or not the detection by the motion detection unit 44-1 is successful.
  • step S55 If the determination result in step S55 is “Yes”, the CPU 40-1 adds the display unit transfer image to the display unit transfer image in step S56 based on the detection result in the motion detection unit 44-1. In step S58, the display unit 7 displays an image obtained by superimposing the rectangular image on the display unit transfer image. On the other hand, if the determination result in step S55 is “No”, the CPU 40-1 notifies the terminal device 1A of out-of-range in step S57, and then displays a display unit transfer image in step S58. Displayed in part 7.
  • the CPU 40-1 determines in step S59 whether or not the rectangular image is located at the center of the screen based on the detection result in the motion detection unit 44-1. If the determination result in step S59 is “Yes”, the CPU 40-1 makes a central notification to the terminal device 1A in step S60. On the other hand, if the determination result of step S59 is “No”, the CPU 40-1 determines whether or not the rectangular image is located in the peripheral portion of the screen in step S61. If the determination result in step S61 is “Yes”, the CPU 40-1 issues a range warning notification to the terminal device 1A in step S62.
  • step S60 When step S60 is executed, when step S62 is executed, or when the determination result of step S61 is “No”, the CPU 40-1 returns to step S50 and executes the processing from step S50.
  • step S52 If the determination result in step S52 is “Yes”, the CPU 40-1 stops the camera unit 2 in step S63, stops writing image data to the image memory 3, and then in step S64.
  • the cutout range of the image processing unit 42 is set to a range corresponding to the shooting range of the terminal device 1A, and the image processing unit 42 is caused to execute cutout processing. Thereafter, the CPU 40-1 acquires the image cut out by the image processing unit 42 from the image buffer memory 43 in step S65, transmits the acquired image to the terminal device 1A from the communication unit 5, and then reduces the image in step S66.
  • the image processing unit 42 is set to execute the processing, and then the camera unit 2 is activated in step S67. After execution of step S67, the CPU 40-1 returns to step S50 and executes the processing from step S50.
  • the operator B uses the imaging range of the terminal device 1B and the main device based on the display position of the rectangular image displayed on the screen.
  • the relationship with the shooting range of the terminal device 1A in the mode can be confirmed. Therefore, the operator B can easily follow the photographing of the terminal device 1B with respect to the photographing of the terminal device 1A.
  • the operator A makes the terminal device 1B based on the notification. It is possible to grasp the situation of the side following. For example, when the shooting range of the terminal device 1A is likely to be out of the shooting range of the terminal device 1B, the terminal device 1B transmits a range warning notification to the terminal device 1A. When the shooting range of the terminal device 1A is out of the shooting range of the terminal device 1B, the terminal device 1B transmits an out-of-range notification to the terminal device 1A.
  • the operator A can check the status of the terminal device 1B side by checking the warning image.
  • the operator A can recover the follow-up delay on the terminal device 1B side by slowing the moving speed or the speed of shaking the camera according to the delay. it can.
  • the terminal device 1A in the main device mode displays a first angle-of-view image cut out from the captured image of the camera unit 2.
  • the terminal device 1B in the sub device mode an image of the second field angle larger than the first field angle captured by the camera unit 2 is displayed, and the image of the first field angle is displayed on the display screen.
  • a rectangular image corresponding to the shooting range is displayed.
  • the relationship between the shooting range of the terminal device 1A and the shooting range of the terminal device 1B is determined. According to this determination, since an area corresponding to an image with a small angle of view is detected from images with a large angle of view, the range in which the area can be detected is wide.
  • the system according to the present embodiment has a wider range in which a stereoscopic image can be captured as compared with a system that displays images with the same angle of view in each terminal device.
  • a stereoscopic image can be taken in the terminal device 1B.
  • the circuit to be operated can be shared between the device terminal 1A and the device terminal 1B, so that shooting can be performed. Stereoscopic shooting can be performed while suppressing power.
  • the terminal device 1A in the main device mode receives control data including control values for focus adjustment, white balance control, and exposure control for controlling the camera unit 2 in the sub device mode.
  • the terminal device 1B controls the camera unit 2 based on control data from the terminal device 1A.
  • the shooting conditions of the camera unit 2 on the terminal device 1B side can be matched with the shooting conditions of the camera unit 2 on the terminal device 1A side, and a stereoscopic image is formed based on the shot images shot under substantially the same shooting conditions. be able to.
  • the exposure control and white balance calculation processing can be omitted in the terminal device 1B in the sub device mode, the calculation load of the entire system can be reduced and the power consumption can be reduced.
  • the system of this embodiment it is possible to shoot in two types of shooting modes, a high-speed shooting mode and a high-quality shooting mode, and the convenience in stereoscopic shooting is improved by properly using these shooting modes according to the shooting scene.
  • the high-speed shooting mode when the rectangular image is displayed with a certain margin from the edge of the screen of the terminal device 1B, in the terminal device 1A, the operator A performs shooting at an arbitrary shooting timing. be able to.
  • the high-definition shooting mode when the rectangular image comes to the center of the screen of the terminal device 1B, a center notification is transmitted from the terminal device 1B to the terminal device 1A, and the terminal device 1A starts shooting and issues a shooting command.
  • the terminal device 1B starts shooting.
  • the terminal devices 1A and 1B automatically start photographing, so that the operation burden on the operators A and B is reduced. Is done.
  • each of the terminal devices 1A and 1B cuts out an image with a predetermined angle of view at the center of the image taken by the camera unit 2, and based on the cut-out images with the predetermined angle of view Since a stereoscopic image is formed, a high-quality stereoscopic image can be obtained.
  • a high-quality stereoscopic image can be obtained.
  • an image of the subject is formed on the image sensor via the lens.
  • an image of a subject formed on an image sensor is affected by lens aberrations, and the influence is reflected in an image taken by the image sensor.
  • the aberration at the peripheral portion is larger than that at the center of the lens. For this reason, image quality degradation due to the influence of aberration occurs in the peripheral portion of the captured image.
  • the peripheral portion of the captured image becomes unclear due to spherical aberration.
  • Color blur occurs in the peripheral portion of the photographed image due to chromatic aberration, particularly magnification chromatic aberration.
  • Astigmatism makes the peripheral portion of the captured image unclear.
  • Coma aberration that is, spherical aberration that occurs outside the optical axis, blurs the periphery of the captured image.
  • FIG. 12A shows the state of an image obtained by cutting out the peripheral portion of the photographed image
  • FIG. 12B shows the image obtained by cutting out the central portion of the photographed image.
  • the image obtained by cutting out the peripheral portion of the photographed image shown in FIG. 12A and the image obtained by cutting out the central portion of the photographed image shown in FIG. 12B are both compositions in which three persons are arranged in the center.
  • each terminal device 1A, 1B cuts out an image with a predetermined angle of view at the center of the image shot by the camera unit 2, so that a clear image with little influence of aberration is obtained as a cut-out image. It is done. Since a stereoscopic image is formed based on these clear cut-out images, a high-quality stereoscopic image can be obtained.
  • the terminal device 1A cuts out an image having a predetermined angle of view at the center of the image captured by the camera unit 2, and the terminal device 1B selects a predetermined peripheral portion of the image captured by the camera unit 2. Images with a certain angle of view are cut out, and a stereoscopic image is formed based on these cut-out images with a predetermined angle of view. In this case, the image quality of the cut-out image on the terminal device 1B side deteriorates due to the influence of aberration. For this reason, compared with the high-quality shooting mode, the quality of the stereoscopic image is lowered.
  • FIG. 13 shows a configuration of a terminal device based on the second embodiment.
  • the basic configuration of the terminal device 1 shown in FIG. 13 is the same as that described in the first embodiment, but the point related to the reduction process and the cutout process is duplicated in the first embodiment. It is different from what was explained in. Specifically, a cutout processing unit 42-1 and a reduction processing unit 42-2 are provided instead of the image processing unit 43, and an image buffer 43-1 and a display buffer 43-2 are provided instead of the image buffer memory 43. Is provided.
  • the cutout processing unit 42-1 performs processing corresponding to the cutout processing in the image processing unit 43, and the image buffer 43-1 holds the cutout image data.
  • the reduction processing unit 42-2 performs processing corresponding to the reduction processing in the image processing unit 43, and the display buffer 43-2 holds the reduced image data. An image based on the image data held in the display buffer 43-2 is displayed on the display unit 7.
  • the cutout processing unit 42-1 and the reduction processing unit 42-2 operate in the sub apparatus mode.
  • the reduced image can be displayed and cut out at the same time, and it is possible to take a 3D video image.
  • the above-described terminal device of the present invention can be applied to a mobile phone terminal such as a mobile phone or a smart phone, and other terminal devices including a photographing unit and a communication unit, such as a tablet terminal, a notebook personal computer, a PDA (Personal Data) Assistants: portable information terminals) and game machines.
  • a mobile phone terminal such as a mobile phone or a smart phone
  • other terminal devices including a photographing unit and a communication unit, such as a tablet terminal, a notebook personal computer, a PDA (Personal Data) Assistants: portable information terminals) and game machines.
  • the terminal device described in each of the above embodiments may be configured using dedicated hardware, or may be configured using a computer system in which a computer operates according to a program.
  • the program can cause the computer to execute at least the camera activation process shown in FIGS. 8 and 9 and the steady-state process shown in FIGS. 10 and 11.
  • the program receives a first image having a first angle of view from an external terminal device, the received first image, and a second image wider than the first angle of view, which is captured by the camera unit. And causing the computer to execute processing for determining the relationship of the imaging range with the second image at the corner.
  • the program causes the display unit to display the first image of the first angle of view captured by the camera unit, and transmits the first image and the first image from the external terminal device.
  • a computer that receives a result of determining the relationship of the shooting range with the second image having a second angle of view wider than the angle of view of the image and causing the display unit to display a predetermined image according to the determination result. It is something to be made.
  • Such a program may be provided using a computer-readable recording medium, for example, an optical disc such as a CD (Compact Disc) or DVD (Digital Video Disc), a USB (Universal Serial Bus) memory, a memory card, or the like. It may also be provided via a communication network (for example, the Internet). Therefore, the above-mentioned programs and computer-readable recording media on which these programs are recorded are also included in the scope of the present invention.
  • a computer-readable recording medium for example, an optical disc such as a CD (Compact Disc) or DVD (Digital Video Disc), a USB (Universal Serial Bus) memory, a memory card, or the like. It may also be provided via a communication network (for example, the Internet). Therefore, the above-mentioned programs and computer-readable recording media on which these programs are recorded are also included in the scope of the present invention.
  • a stereoscopic image is also called a 3D image, a three-dimensional image, a stereoscopic image, or the like, and is generated based on two images, a right-eye image and a left-eye image using binocular parallax.
  • the camera unit 2 may have a zoom function. In this case, the image magnification of the camera unit 2 is matched between the terminal devices 1A and 1B.
  • the present invention has been described above with reference to the embodiment, but the present invention is not limited to the above embodiment. Various changes that can be understood by those skilled in the art can be made to the configuration and details of the present invention within the scope of the present invention.
  • the present invention may take forms such as the following supplementary notes 1 to 33, but is not limited to these forms.
  • Photographing means (Appendix 1) Photographing means; Communication means for receiving a first image having a first angle of view from an external terminal device; Determining means for determining a relationship of a photographing range between the first image received by the communication means and a second image having a second angle of view wider than the first angle of view, which is photographed by the photographing means; A terminal device.
  • the determination unit detects an area corresponding to the first image from the second image, and captures the first and second images based on a position of the detection area on the second image.
  • the terminal device according to supplementary note 1, wherein a relationship between ranges is determined.
  • Appendix 4 The terminal device according to appendix 2 or 3, wherein the determination unit causes a notification indicating a determination result of a relationship between the shooting ranges of the first and second images to be transmitted from the communication unit to the external terminal device.
  • Appendix 5 A cutting-out unit that cuts out the detection area from the second image; The terminal device according to any one of appendices 2 to 4, wherein the determination unit causes the image cut out by the cutout unit to be transmitted from the communication unit to the external terminal device.
  • (Appendix 6) Display means; Reduction means for reducing the second image to obtain a reduced image; Cutting means for cutting out the detection area from the second image,
  • the determination unit is configured to cause the display unit to display an image indicating the range of the detection area on the reduced image, and to cause the image extracted by the clipping unit to be transmitted from the communication unit to the external terminal device.
  • the determination means when the detection area is located in the center of the second image, indicates a central notification indicating that the shooting ranges of the first and second images are optimally related to the formation of a stereoscopic image
  • the terminal device according to any one of supplementary notes 2 to 6, wherein the communication unit transmits the message to the external terminal device.
  • the determination means indicates that when the detection area is located in a peripheral portion of the second image, the shooting range of the first image may be out of the shooting range of the second image.
  • the terminal device according to any one of appendices 2 to 7, wherein a range warning notification is transmitted from the communication means to the external terminal device.
  • the determination unit receives a shooting command from the external terminal device via the communication unit, causes the clipping unit to cut out an image in response to the shooting command, and sends the cut-out image from the communication unit to the external device.
  • the terminal device according to appendix 5 or 6, which is transmitted to the terminal device.
  • the determination unit receives control data indicating a shooting condition of the first image from the external terminal device via the communication unit, and controls the shooting unit based on the control data.
  • the terminal device as described in any one.
  • a terminal device that receives a result and causes the display unit to display a predetermined image according to the determination result.
  • the determination result is a central notification indicating that the detection area is located at the center of the second image
  • the control unit receives the central notification from the external terminal device via the communication unit, and then receives the central notification from the external terminal device via the communication unit.
  • the determination result indicates that the detection area is located in a peripheral portion of the second image, and that the imaging range of the first image may be out of the imaging range of the second image.
  • the control means receives the shooting range warning notification from the external terminal device via the communication means, and causes the display means to display a first warning image according to the shooting range warning notification.
  • the control means includes When the setting of the second shooting mode is received and neither the shooting range warning notification nor the out-of-range notification is received, when the shutter button is pressed, a shooting command is sent from the communication means to the external terminal. To the device, After transmission of the shooting command, the third image cut out in accordance with the shooting command is received from the external terminal device via the communication means, and based on the third image and the first image The terminal device according to appendix 16, wherein a stereoscopic image is displayed on the display means.
  • Appendix 18 The terminal device according to any one of appendices 12 to 17, wherein the control unit causes control data indicating a shooting condition of the shooting unit to be transmitted from the communication unit to the external terminal device.
  • the first photographing device includes: First imaging means; First communication means for transmitting a first image of a first angle of view taken by the first photographing means,
  • the second imaging device includes: A second imaging means; Second communication means for receiving the first image from the first communication means; The relationship of the imaging range between the first image received by the second communication unit and the second image having a second field angle wider than the first field angle captured by the second imaging unit. And a determination unit for determining.
  • the determination unit detects an area corresponding to the first image from the second image, and captures the first and second images based on a position of the detection area on the second image.
  • the imaging system according to appendix 19, wherein a relationship between ranges is determined.
  • the second imaging device further includes display means, The imaging system according to appendix 20, wherein the determination unit superimposes an image indicating the range of the detection region on the second image and causes the display unit to display the image.
  • the determination unit causes a notification indicating a determination result of a relationship between the shooting ranges of the first and second images to be transmitted from the second communication unit to the first shooting device,
  • the first photographing apparatus receives a first display unit, a control unit that receives the notification via the first communication unit, and causes the first display unit to display a predetermined image in response to the notification.
  • the second imaging device further includes a cutout unit that cuts out the detection area from the second image
  • the determination means causes the third image cut out by the cut-out means to be transmitted from the second communication means to the first photographing device
  • the control means receives the third image via the first communication means, and causes the first display means to display a stereoscopic image based on the third image and the first image. 22.
  • the determination means when the detection area is located in the center of the second image, indicates a central notification indicating that the shooting ranges of the first and second images are optimally related to the formation of a stereoscopic image Is transmitted from the second communication means to the first photographing device,
  • the control unit receives the setting of the first shooting mode, the control unit receives the central notification from the second shooting device via the first communication unit, and then receives the central notification from the second shooting device.
  • 24 The imaging system according to appendix 23, wherein the third image is received via the first communication means, and a stereoscopic image based on the third image and the first image is displayed on the first display means. .
  • the determination means indicates that when the detection area is located in a peripheral portion of the second image, the shooting range of the first image may be out of the shooting range of the second image.
  • the control means receives the imaging range warning notification from the second imaging device via the first communication means, and sends a first warning image to the first display means in response to the imaging range warning notification.
  • the first photographing device further includes a shutter button
  • the control means receives the setting of the second shooting mode, and when neither the shooting range warning notification nor the out-of-range notification is received, when the shutter button is pressed, the shooting command is sent to the first shooting mode. Transmitting from the first communication means to the second imaging device;
  • the determination unit receives the shooting command via the second communication unit, and causes the clipping unit to cut out the third image in response to the shooting command, and the third image is extracted from the second image. Transmitting from the communication means to the first imaging device;
  • the control means receives the third image via the first communication means, and causes the first display means to display a stereoscopic image based on the third image and the first image.
  • the control means causes control data indicating the photographing condition of the first photographing means to be transmitted from the first communication means to the second photographing device,
  • the imaging system according to any one of appendices 22 to 27, wherein the determination unit receives the control data via the second communication unit and controls the second imaging unit based on the control data.
  • the first imaging device including the first imaging unit transfers the first image of the first angle of view captured by the first imaging unit to the second imaging device including the second imaging unit.
  • Send The second image capturing device receives the first image received from the first image capturing device and the second image angle captured by the second image capturing unit and having a second field angle wider than the first field angle.
  • Appendix 32 A process of receiving a first image having a first angle of view from an external terminal device; Causing the computer to execute a process of determining a relationship of an imaging range between the received first image and a second image having a second field angle wider than the first field angle captured by the imaging unit. program.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Architecture (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Stereoscopic And Panoramic Photography (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

 立体画像の生成に用いられる端末装置は、撮影手段と、外部端末装置から第1の画角の第1の画像を受信する通信手段と、通信手段が受信した第1の画像と、撮影手段が撮影した、第1の画角より広い第2の画角の第2の画像との撮影範囲の関係を判定する判定手段と、を有する。

Description

端末装置、撮影システム、及び撮影方法
 本発明は、2台の撮影装置で撮影した画像データに基づいて立体画像を生成する技術に関する。
 立体画像を生成する立体視撮影装置として、例えば2台の撮影装置を1つの枠に固定したものがよく知られている。この立体視撮影装置では、一方の撮影装置が左目用の画像を撮影し、他方の撮影装置が右目用の画像を撮影する。左目用および右目用の画像を重畳して立体画像を得る。
 また、1台の撮影装置のみを用いて立体画像を得る立体視撮影装置もある。この立体視撮影装置では、撮影装置で左目用の映像を撮影し、その後、撮影装置を右目位置に移動して撮影し、左目用の画像と現在撮影中の右目用の画像とを重畳して立体視画像を表示する。左目用の画像に対する右目用の画像の位置を合わせながら撮影することで、立体感が向上する。
 しかし、上記の立体視撮影装置はいずれも、非常に使い勝手が悪いため、2台の撮影装置を別々の操作者が使用して同時に被写体を撮影することにより簡便に立体画像を得る手法が模索されてきた。そのような手法に基づくカメラシステムとして、例えば特開2010-157850号公報(特許文献1)に記載されたものがある。
 特許文献1に記載されたカメラシステムは、通信可能な第1および第2のカメラを有する。第1のカメラは、被写体を撮影して第1の画像を得る撮像部と、第2のカメラから被写体を撮影した第2の画像を受信する通信部と、第1および第2の画像それぞれから主要被写体を認識し、主要被写体と背景とを含む構図情報を生成する画像処理部と、第1の画像の構図情報と第2の画像の構図情報とを比較し、第1および第2の画像から立体画像を生成することができるか否かを判定する判定部と、立体画像の生成の可否を表示する表示部と、を有する。判定部は、第1の画像中の主要被写体の大きさが、第2の画像中の主要被写体の大きさと異なる場合は、立体画像の生成が不可能であると判定する。ここで、第1および第2の画像中の主要被写体の大きさが同じであるということは、第1の画像の画角が、第2の画像の画角に一致することを意味する。
特開2010-157850号公報
 特許文献1に記載のカメラシステムにおいては、判定部が、第1および第2のカメラそれぞれで撮影した第1および第2の画像を比較し、主要被写体の大きさが同じである場合、すなわち、両画像の画角が同じである場合に、立体画像の生成が可能であると判定する。換言すると、判定部は、第1および第2の画像の画角が一致しない限り、立体画像の生成が不可能であると判定する。このようにこのカメラシステムでは、2台のカメラの撮影範囲の関係を判定する条件が限られているため、立体画像の撮影が可能な範囲が狭くなってしまい、その結果、実際に立体画像を撮影することが困難となる。
 本発明の目的は、上記問題を解決し、立体画像の撮影が可能な範囲を広くすることが可能な、端末装置、撮影システム及び撮影方法を提供することにある。
 上記目的を達成するため、本発明の一態様によれば、
 撮影手段と、
 外部端末装置から第1の画角の第1の画像を受信する通信手段と、
 通信手段が受信した第1の画像と、撮影手段が撮影した、第1の画角より広い第2の画角の第2の画像との撮影範囲の関係を判定する判定手段と、を有する、端末装置が提供される。
 本発明の別の態様によれば、
 第1の撮影装置と、
 第1の撮影装置と通信可能な第2の撮影装置と、を有し、
 第1の撮影装置は、
  第1の撮影手段と、
  第1の撮影手段が撮影した第1の画角の第1の画像を送信する第1の通信手段と、を有し、
 第2の撮影装置は、
  第2の撮影手段と、
  第1の画像を第1の通信手段から受信する第2の通信手段と、
  第2の通信手段が受信した第1の画像と、第2の撮影手段が撮影した、第1の画角より広い第2の画角の第2の画像との撮影範囲の関係を判定する判定手段と、を有する、撮影システムが提供される。
 本発明のさらに別の態様によれば、
 外部端末装置から第1の画角の第1の画像を受信し、
 受信した第1の画像と、撮影手段が撮影した、第1の画角より広い第2の画角の第2の画像との撮影範囲の関係を判定する、撮影方法が提供される。
 本発明のさらに別の態様によれば、
 第1の撮影手段を備えた第1の撮影装置が、第1の撮影手段が撮影した第1の画角の第1の画像を、第2の撮影手段を備えた第2の撮影装置に送信し、
 第2の撮影装置が、第1の撮影装置から受信した第1の画像と、第2の撮影手段が撮影した、第1の画角より広い第2の画角の第2の画像との撮影範囲の関係を判定する、撮影方法が提供される。
 本発明によれば、立体画像の撮影が可能な範囲を広くすることができるので、立体画像の撮影を容易に行うことができる。
本発明の第1の実施形態に基づく端末装置の構成を示すブロック図である。 メイン装置モードに設定されたときの図1に示した端末装置の動作状態を示す模式図である。 サブ装置モードに設定されたときの図1に示した端末装置の動作状態を示す模式図である。 図1に示す端末装置を用いた撮影システムの構成を示すブロック図である。 図4に示す撮影システムでの端末装置間の連係した撮影動作における画面表示の例を示す模式図である。 図4に示す撮影システムでのサブ装置モードの端末装置における画像切り出し動作を説明するための模式図である。 図4に示す撮影システムでの各端末装置の画面表示の一例を示す模式図である。 図4に示す撮影システムでの各端末装置の画面表示の別の例を示す模式図である。 図4に示す撮影システムでの各端末装置の画面表示のさらに別の例を示す模式図である。 図4に示す撮影システムでの各端末装置の画面表示の他の例を示す模式図である。 メイン装置モードの端末装置でのカメラ起動処理の一手順を示すフローチャートである。 サブ装置モードの端末装置でのカメラ起動処理の一手順を示すフローチャートである。 メイン装置モードの端末装置での定常状態の処理の一手順を示すフローチャートである。 サブ装置モードの端末装置での定常状態の処理の一手順を示すフローチャートである。 撮影画像の周辺部を切り出して得た画像の状態を示す模式図である。 撮影画像の中心部を切り出して得た画像の状態を示す模式図である。 本発明の第2の実施形態に基づく端末装置の構成を示すブロック図である。
 次に、本発明の実施形態について図面を参照して説明する。
 図1は、第1の実施形態に基づく端末装置を示している。図1に示される端末装置1は、立体画像の撮影が可能な撮影システムに用いられるものであって、カメラ部2、画像メモリ3、制御部4、通信部5、操作部6、および表示部7を有する。
 操作部6は、複数の操作ボタンやタッチパネル等の入力手段によって構成されるものであって、使用者による入力操作に応じた信号をCPU1に供給する。操作ボタンとして、例えば、シャッターボタン、メイン装置モードやサブ装置モードの設定のための設定ボタン、高速撮影モードや高品位撮影モードの設定のための設定ボタンなどが含まれる。
 通信部5は、他の端末装置との間でデータを送受信する装置間通信手段を有する。装置間通信手段は、例えば、Bluetooth(登録商標)に代表される無線通信手段である。この他、装置間通信手段として、赤外線(IR)通信を利用した通信手段を用いることも可能である。また、通信部5は、装置間通信手段の他に、インターネットに代表されるネットワークへの接続を行うための別の通信手段を有していてもよい。別の通信手段は、例えば、無線LAN(Local Area Network)を用いた通信手段であってもよい。この別の通信手段を用いて、必要なプログラムやデータをダウンロードしてもよい。
 表示部7は、LCD(Liquid Crystal Display)等の表示装置で構成される。
 カメラ部2は、CCD(Charge Coupled Device)イメージセンサやCMOS(Complementary Metal-Oxide-Semiconductor)イメージセンサに代表されるイメージセンサを含み、制御部4からの指示に従って、イメージセンサを介して得られた画像信号を出力する。また、カメラ部2は、制御部4からの指示に従って、フォーカス調整、ホワイトバランス制御、および露出制御を行う。
 画像メモリ3は、カメラ部2からの画像信号を画像データとして保持する。例えば、画像メモリ3は、カメラ部2からの画像データをフレーム単位に保持する。画像メモリ3に蓄積される画像データは、静止画データであっても、動画データであってもよい。
 制御部4は、主制御部40、カメラ制御部41、画像処理部42、画像バッファメモリ43、動き検出部44、およびスイッチ45,46を有する。
 スイッチ45は、出力端子と第1および第2の入力端子とを有し、主制御部40からの切替信号51に従って、第1および第2の入力端子のいずれかを選択する。出力端子は、カメラ部2に接続されている。第1の入力端子は、主制御部40に接続され、第2の入力端子は、カメラ制御部41に接続されている。
 スイッチ46は、出力端子と第1および第2の入力端子とを有し、主制御部40からの切替信号52に従って、第1および第2の入力端子のいずれかを選択する。出力端子は、動き検出部44に接続されている。第1の入力端子は、画像メモリ3に接続されている。第2の入力端子は、画像バッファメモリ43に接続されている。
 画像処理部42は、1フレーム分の画像データが画像メモリ3に蓄積されることで動作する。画像処理部42は、画像メモリ3から画像データを読み出し、読み出した画像データに対して縮小処理または画像切り出し処理を施す。縮小処理では、画像メモリ3に格納された画像の縮小画像を得る。画像切り出し処理では、画像メモリ3に格納された画像から所定の画角の画像を得る。所定の画角は、画像メモリ3に格納された処理前の画像の画角よりも小さい。画像処理部42は、縮小画像または所定の画角の画像の画像データを画像バッファメモリ43に格納する。
 なお、縮小画像のデータサイズは、画像メモリ3に格納された処理前の画像よりも小さい。ここでいうデータサイズは画素数で表されるものとする。また、所定の画角の画像のデータサイズは、画像メモリ3に格納された処理前の画像よりも小さいが、立体画像を生成する際の画質を一定レベル以上で維持できるようなデータサイズである。換言すると、カメラ部2のイメージセンサの画素数、特に有効画素数は、所定の画角の画像の画質を一定レベル以上で維持できるような数である。
 カメラ制御部41は、カメラ部2の制御、例えば、フォーカス調整、ホワイトバランス制御、および露出制御を行う。カメラ部2の起動時は、カメラ制御部41は、予め設定された初期値を制御値として、この制御値に基づいて、カメラ部2のフォーカス調整、ホワイトバランス制御、および露出制御を行う。その後は、カメラ制御部41は、画像バッファメモリ43に格納された画像データに基づいて、各制御値を算出し、それら算出した制御値に基づいて、カメラ部2のフォーカス調整、ホワイトバランス制御、および露出制御を自動的に行う。
 なお、カメラ部2の制御として、カメラの技術分野でよく知られている技術、例えば、オートフォーカスの技術や、オートホワイトバランスの技術や、自動露出制御の技術を用いることができる。オートフォーカスの技術としては、例えば、位相差検出による技術や、コントラスト検出に基づく測距手法などを用いることができる。
 主制御部40は、スイッチ45,46、画像処理部42、画像バッファメモリ43、動き検出部44、通信部5、操作部6、および表示部7のそれぞれと接続されている。主制御部40は、プログラムに従って動作し、操作部6からの信号に応じて各部の動作を制御する。具体的には、主制御部40は、CPU(Central Processing Unit)40-1、図形描画部40-2、ワークメモリ40-3、およびデータメモリ40-4を有する。
 ワークメモリ40-3およびデータメモリ40-4は、半導体メモリ等によって構成された記憶装置である。ワークメモリ40-3は、CPU40-1が実行するプログラムの一部や、そのプログラムが実行される際に必要となるデータを保持する。データメモリ40-4は、図形描画部40-2による図形描画に必要なデータや画像のファイルを保持する。ワークメモリ40-3およびデータメモリ40-4は、1つの記憶装置で構成されてもよい。この場合は、記憶装置は、ワークメモリ40-3用の記憶領域と、データメモリ40-4用の記憶領域とを含む。
 操作部6のメイン装置モード設定ボタンが押下された場合は、CPU40-1は、カメラ制御部41にカメラ部2を制御させ、動き検出部44は動作しないように、切替信号51,52によってスイッチ45,46を制御する。操作部6のサブ装置モード設定ボタンが押下された場合は、CPU40-1は、動き検出部44は動作させ、カメラ制御部41は動作しないように、切替信号51,52によってスイッチ45,46を制御する。
 図2は、端末装置1がメイン装置モードに設定されたときのその端末装置1の動作状態を示す模式図である。図2において、端末装置1を構成するブロックのうち、実線で示したブロックがメイン装置モードで動作する有効ブロックであり、破線で示したブロックは、メイン装置モードでは動作しない。
 図2に示すように、メイン装置モードにおいて、端末装置1では、カメラ部2、画像メモリ3、通信部5、操作部6、表示部7、CPU40-1、ワークメモリ40-3、データメモリ40-4、カメラ制御部41、画像処理部42、および画像バッファメモリ43が動作し、動き検出部44は動作しない。図形描画部40-2は、基本的には動作せず、サブ装置モードに設定された端末装置1B(図4参照)から特定の通知を受けた場合にのみ起動する。
 メイン装置モードにおいて、画像処理部42は、切り出し処理を実行する。切り出し処理では、画像メモリ3に格納された画像の中央部分が固定的に切り出される。この切り出された画像は、所定の画角の画像であり、画像バッファメモリ43に格納される。
 カメラ制御部41は、画像バッファメモリ43に格納された所定の画角の画像データに基づいて、カメラ部2のフォーカス調整、ホワイトバランス制御、および露出制御を行う。具体的には、フォーカス調整、ホワイトバランス制御、および露出制御のそれぞれにおいて、カメラ制御部41は、所定の画角の画像データに基づいて制御値を演算し、その制御値に基づいて、カメラ部2の動作を制御する。
 CPU40-1は、フォーカス調整、ホワイトバランス制御、および露出制御の各制御値をカメラ制御部41から取得し、取得した各制御値を、通信部5から、サブ装置モードに設定されている端末装置に送信させる。また、CPU40-1は、画像バッファメモリ43の内容や撮影実行コマンドを通信部5からサブ装置モードの端末装置へ送信させたり、通信部5を介してサブ装置モードの端末装置から映像に関する通知を受信したりする。上述したようにここでの画像バッファメモリ43の内容は、所定の画角の画像データである。
 一方、図3は、端末装置1がサブ装置モードに設定されたときのその端末装置1の動作状態を示す模式図である。図3において、端末装置1を構成するブロックのうち、実線で示したブロックがサブ装置モードで動作する有効ブロックであり、破線で示したブロックは、サブ装置モードでは動作しない。
 図3に示すように、サブ装置モードにおいて、端末装置1では、カメラ部2、画像メモリ3、通信部5、操作部6、表示部7、CPU40-1、図形描画部40-2、ワークメモリ40-3、データメモリ40-4、画像処理部42、画像バッファメモリ43、および動き検出部44が動作し、カメラ制御部41は動作しない。
 サブ装置モードにおいて、カメラ制御部41は停止状態であり、CPU40-1は、通信部5を介して、メイン装置モードの端末装置から、フォーカス調整、ホワイトバランス制御、および露出制御の各制御値を受信し、受信した各制御値に基づいて、カメラ部2を制御する。また、CPU40-1は、通信部5を介して、メイン装置モードの端末装置から、所定の画角の画像データを受信し、受信した画像データを動き検出部44に供給する。さらに、CPU40-1は、映像に関する通知を通信部5からメイン装置モードの端末装置へ送信させる。
 また、サブ装置モードにおいて、画像処理部42は、通常状態で、縮小処理を行い、画像メモリ3に格納された画像全体を縮小した画像データを画像バッファメモリ43に格納する。そして、CPU40-1は、画像バッファメモリ43に格納された縮小画像データを表示部7にて表示させる。
 動き検出部44は、検出対象画像メモリ44-1を有する。サブ装置モードにおいて、検出対象画像メモリ44-1は、CPU40-1から供給された所定の画角の画像データを保持する。
 また、動き検出部44は、画像メモリ3に格納されている画像データ、すなわち縮小処理または切り出しの処理が施されていない画像データの撮影範囲と、検出対象画像メモリ44-1に格納された所定の画角の画像データの撮影範囲との関係を判定する。この判定において、例えば、動き検出部44は、画像メモリ3に格納されている画像から、所定の画角の画像に対応する画像領域を検出し、その検出した画像領域の画像メモリ3上の座標を検出する。画像メモリ3上の座標は、画像における位置あるいは場所をそのまま示すものである。そして、動き検出部44は、検出した座標すなわち位置情報に基づいて、撮影範囲の関係を判定する。動き検出部44は、動画圧縮で一般的に使用される回路を転用して構成してもよい。結局、CPU40-1および動き検出部44は、通信部5が受信した第1の画像と、カメラ部2が撮影した、第1の画角より広い第2の画角の第2の画像との撮影範囲の関係を判定する判定部あるいは判定手段として機能することになる。また、CPU40-1を用いることなく専用ハードウェアによって判定部を構成することもできる。
 上記の所定の画角の画像に対応する画像領域の検出処理には、動画圧縮や画像認識の技術分野において広く知られている技術、例えば、パターンマッチング処理や、画像データがどれだけ似ているかの類似度が所定値以上の領域を検出する処理などの画像処理技術を適用することができる。
 さらに、サブ装置モードにおいて、CPU40-1は、動き検出部44から、画像メモリ3に格納されている画像の、所定の画角の画像に対応する画像領域の位置情報を取得し、取得した位置情報を図形描画部40-2に供給する。図形描画部40-2は、CPU40-1からの位置情報に基づき、画像メモリ3に格納されている画像の、所定の画角の画像に対応する画像領域の位置を、グラフィカルに表現した矩形図形を生成し、生成した矩形図形を画像バッファメモリ43の画像に重畳する。
 さらに、サブ装置モードにおいて、CPU40-1は、通信部5を介して、メイン装置モードの端末装置から撮影コマンドを受け取ることができる。CPU40-1は、その受信した撮影コマンドに従い、画像処理部42の切り出し範囲を、動き検出部44で検出した位置情報、すなわち画像メモリ3における座標に設定する。画像処理部42は、画像メモリ3から、メイン装置モードの端末装置と同じ撮影範囲の画像を切り出して画像バッファメモリ43に格納する。そして、CPU40-1は、画像バッファメモリ43の内容を撮影データとして通信部5からメイン装置モードの端末装置へ送信させる。
 次に、本実施形態の撮影システムの動作を説明する。
 本実施形態の撮影システムは、複数の端末装置からなり、それぞれの端末装置が、図1に示した構成を有する。
 図4に、2台の端末装置が用いられ、一方がメイン装置モードに設定された端末装置、すなわちメイン装置として動作し、他方がサブ装置モードに設定された端末装置、すなわちサブ装置として動作する形態を示す。
 図4に示す形態において、撮影システムは、2台の端末装置1A,1Bを有する。端末装置1A,1Bはそれぞれ、図1に示した構成を有する。端末装置1Aは、操作部6にてメイン装置モード設定ボタンが押下されており、メイン装置として動作する。したがって、端末装置1Aは図2に示した状態にある。端末装置1Bは、操作部6にてサブ装置モード設定ボタンが押下されており、サブ装置として動作する。したがって、端末装置1Bは図3に示した状態にある。
 端末装置1A,1Bはそれぞれ異なる使用者が操作する。ここでは、使用者Aが端末装置1Aを操作し、使用者Bが端末装置1Bを操作するものとする。端末装置1A,1Bの一方が、右目用撮影装置として用いられ、他方が左目用撮影装置として用いられる。
 使用者A,Bは、端末装置1A,1Bを適切な距離で並べて連携動作させながら被写体撮影することで、立体画像を得ることができる。例えば、端末装置1A,1Bを適切な視差を有する所定の距離に配置した場合は、自然な遠近感を有する立体画像を撮影することができる。また、端末装置1A,1Bを所定の距離よりも少し離して配置した場合には、互いの距離が離れている複数の被写体に対して、遠近感が強調された画像を撮影することもできる。
 図5は、メイン装置モードの端末装置1Aとサブ装置モードの端末装置1Bとの間の連係した撮影動作における画面表示の例を示す模式図である。
 図5に示すように、メイン装置モードの端末装置1Aでは、画像メモリ3が、カメラ部2が被写体80を撮影して得られた画像80Aを保持し、画像処理部42が、画像80Aの中央付近を切り出し、所定の画角の画像80A-1として画像バッファメモリ43に格納する。そして、CPU40-1が、画像バッファメモリ43に格納された画像80A-1を表示部7の画面1A-1に表示させ、さらに、画像80A-1を通信部7からサブ装置モードの端末装置1Bに送信させる。
 一方、サブ装置モードの端末装置1Bでは、画像メモリ3が、カメラ部2が被写体80を撮影して得られた画像80Bを保持し、画像処理部42が、画像80Bの縮小画像を画像バッファメモリ43に格納する。そして、CPU40-1が、画像バッファメモリ43に格納された画像80Bの縮小画像を表示部7の画面1B-1に表示させる。ここで、画像80Bの撮影範囲は、画像80Aの撮影範囲とは少しずれている。画像80Bの画角は、画像80A-1の画角よりも大きい。
 また、サブ装置モードの端末装置1Bでは、検出対象画像メモリ44-1が、端末装置1Aから送信された所定の画角の画像80A-1を保持する。動き検出部44が、画像メモリ3に格納された縮小前の画像80Bと、検出対象画像メモリ44-1に格納された画像80A-1とを比較し、画像80Bから画像80A-1に対応する画像領域を検出し、その検出した画像領域の画像メモリ3上の座標を検出する。そして、画像描画部40-2が、その検出座標に基づいて、画像80A-1に対応する画像領域を示す矩形画像を生成し、その矩形画像80B-1を、画像バッファメモリ43に格納されている画像80Bの縮小画像に重畳する。これにより、画像80Bの縮小画像に矩形画像80B-1を重ねた画像が表示部7の画面1B-1に表示させる。一般に、カメラ部による撮影範囲は、矩形の領域として表される。したがって、画像領域も矩形の領域で表されることになる。そこで、本実施形態の端末装置では、撮影範囲あるいは画像領域に対応する矩形の領域の外周を示す線の画像として、矩形画像が生成される。したがって、矩形画像は枠状の画像であり、画像80Bの縮小画像に矩形画像80B-1を重畳させた場合、矩形画像80B-1の内側にも画像80Bの縮小画像が見えることになる。
 上述の図5に示した連係した撮影動作によれば、操作者Aは、端末装置1Aの画面1A-1の表示を確認しながら、被写体80が画面中央に位置するようにカメラ部2で被写体80を撮影する。一方、端末装置1Bにおいて、画面1B-1に表示された矩形画像80B-1は、端末装置1Aのカメラ部2の撮影範囲の中央部分を示す。よって、操作者Bは、画面1B-1に表示された矩形画像80B-1に基づいて、端末装置1Bのカメラ部2の撮影範囲と端末装置1Aのカメラ部2の撮影範囲との関係を確認することできる。また、操作者Bは、矩形画像80B-1の表示位置を確認しながら、カメラ部2の向きを変えることで、端末装置1Aのカメラ部2の撮影範囲に対して端末装置1Bのカメラ部2の撮影範囲を所望の関係で維持することができる。
 例えば、図5に示した例では、矩形画像80B-1は画面1B-1の左下の位置にある。操作者Bが、カメラ部2を左下方向へ振ると、矩形画像80B-1が画面中央の方向に移動する。矩形画像80B-1が画面中央に位置するようにカメラ部2の向きを変えることで、被写体80が、端末装置1Bのカメラ部2の撮影範囲および端末装置1Aのカメラ部2の撮影範囲のそれぞれの中心に位置する。これにより、端末装置1Bのカメラ部2の撮影範囲と端末装置1Aのカメラ部2の撮影範囲とを、立体画像の形成に適した関係に維持することができる。
 なお、被写体80の移動速度が速いと、端末装置1Aのカメラ部2の撮影範囲が端末装置1Bのカメラ部2の撮影範囲から大きく外れてしまう場合がある。本実施形態では、端末装置1Bにおいて、動き検出部44が、画像メモリ3に格納された縮小前の画像80Bから、端末装置1Aから送信された画像80A-1に対応する画像領域を検出し、その検出した画像領域の画像メモリ3上の座標を検出する。そして、CPU40-1が、その検出座標に基づいて、端末装置1Aのカメラ部2の撮影範囲と端末装置1Bのカメラ部2の撮影範囲との関係を判定し、その判定結果に応じた通知を端末装置1Aに対して行う。
 上記の判定において、CPU40-1は、画像80A-1に対応する画像領域が画像80Bの周辺部に位置するか否かの第1の判定、および、画像80A-1に対応する画像領域が画像80Bの中央部に位置するか否かの第2の判定を行う。
 図6は、画像80Bの画像80A-1に対応する画像領域の座標の一例を示している。図6に示した例では、画像領域80B-2は、画像メモリ3に格納された縮小前の画像80Bの、端末装置1Aから送信された画像80A-1に対応する画像領域である。画像80Bの上端と画像領域80B-2の上端との間隔をマージンYd1、画像80Bの下端と画像領域80B-2の下端との間隔をマージンYd2、画像80Bの左端と画像領域80B-2の左端との間隔をマージンXd1、画像80Bの右端と画像領域80B-2の右端との間隔をマージンXd2とする。
 端末装置1Bにおいて、動き検出部44は、画像80Bの画像領域80B-2の座標情報として、マージンYd1,Yd2,Xd1,Xd2それぞれの値を取得する。
 第1の判定において、CPU40-1は、マージンYd1,Yd2,Xd1,Xd2それぞれの値と閾値T1とを比較し、マージンYd1,Yd2,Xd1,Xd2のいずれかの値が閾値T1より小さい場合に、画像80A-1に対応する画像領域が画像80Bの周辺部に位置すると判定し、端末装置1Aに対し、撮影範囲警告通知を行う。
 第1の判定が否である場合に、第2の判定において、CPU40-1は、マージンYd1とYd2との差およびマージンXd1とXd2との差が共に閾値T2より小さいか否かを判定する。ここでは、Yd1とYd2との差、およびXd1とXd2との差は、いずれも絶対値で表されるものとする。それらの差が共に閾値T2より小さい場合にのみ、CPU40-1は、画像80A-1に対応する画像領域が画像80Bの中央部に位置すると判定し、端末装置1Aに対し、被写体80が端末装置1A,1Bの撮影範囲の中心部に位置することを示す中央通知を行う。
 閾値T1,T2は任意に設定可能であり、例えば10である。CPU40-1は、閾値T1,T2を予め保持していてもよい。また、プログラム起動時に、閾値T1,T2がメモリワーク40-3に保持されてもよい。
 端末装置1Aでは、CPU40-1が、通信部5を介して、端末装置1Bからの撮影範囲警告通知を受け取ると、図形描画部40-2を起動させ、警告用画像を図形描画部40-2にて作成させる。そして、CPU40-1が、図形描画部40-2が作成した警告用画像を表示部7にて表示させる。警告用画像は、例えば、破線で示される矩形枠であり、CPU40-1は、その矩形枠を画像80A-1上に重ねて表示させる。
 操作者Aは、警告用画像の表示に基づいて、端末装置1Aのカメラ部2の撮影範囲が端末装置1Bのカメラ部2の撮影範囲から大きく外れそうな状況にあることを認識することができる。
 また、端末装置1Aでは、CPU40-1が、撮影モードに応じた撮影コマンドの発行処理を行う。撮影モードは、高速撮影モードおよび高品位撮影モードを含む。操作者Aは、操作部6にて、高速撮影モードおよび高品位撮影モードのいずれかのモードを設定することができる。
 高速撮影モードにおいて、CPU40-1は、操作部6のシャッターボタンが押下されると、カメラ部2が撮影した画像を、立体画像を形成するための画像として保存するための撮影処理を実行するとともに、撮影コマンドを発行し、その撮影コマンドを通信部5から端末装置1Bへ送信させる。
 高品位撮影モードにおいて、CPU40-1は、端末装置1Bからの中央通知を受け取るまでは、操作部6のシャッターボタンが押下されても、立体画像を形成するための撮影処理は行わず、また、撮影コマンドも発行しない。端末装置1Bからの中央通知を受け取ったタイミングで、CPU40-1は、立体画像を形成するための撮影処理を実行するとともに、撮影コマンドを発行し、その撮影コマンドを通信部5から端末装置1Bへ送信させる。
 端末装置1Bでは、CPU40-1が、通信部5を介して撮影コマンドを受け取り、この撮影コマンドに応じて、切り出し処理を行うように画像処理部42に指示する。画像処理部42は、CPU40-1からの指示に従って、切り出し処理を実行する。切り出し処理では、画像メモリ3に格納された画像の中央部分が固定的に切り出される。この切り出された画像は、所定の画角の画像であり、画像バッファメモリ43に格納される。
 切り出し処理の実行後、CPU40-1は、画像バッファメモリ43に格納された所定の画角の画像データを通信部5から装置端末1Aに送信させる。
 装置端末1Aでは、CPU40-1は、通信部5を介して装置端末1Bからの所定の画角の画像データを受け取り、受け取った所定の画角の画像データと、画像バッファメモリ43に格納されている所定の画角の画像データとに基づいて立体画像データを生成し、生成した立体画像データに基づく立体画像を表示部7にて表示させる。ここで、装置端末1Bからの画像の画角は、画像バッファメモリ43に格納されている画像の画角と略一致している。
 図7A~図7Dに、矩形画像80B-1が画面中央に位置するようにカメラ部2の向きを操作する場合の端末装置1A,1Bそれぞれの画面表示の変化を模式的に示す。
 図7Aに示す状態は、二人の人物からなる被写体80をカメラ部2で追いながら、3人目が写ったら、シャッターボタン53を押そうと待ち構えている状態である。この状態で、端末装置1Bでは、端末装置1Aの撮像範囲を示す矩形画像80B-1が画面1B-1に表示されている。矩形画像80B-1は、画面1B-1上の左下領域に位置しているが、画面1B-1の端から少し離れている。
 図7Bに示す状態は、操作者Aが端末装置1Aのカメラ部2を用いて被写体80を追う動作に対して、操作者Bが端末装置1Bのカメラ部2を用いて被写体80を追う動作が遅れた状態である。具体的には、矩形画像80B-1が画面1B-1上の左下領域の端部の近くに位置し、図6に示したマージンXd1が閾値T2より小さくなった状態である。
 上記の状態において、端末装置1Bでは、CPU40-1が、端末装置1Aに対し、撮影範囲警告通知を行う。端末装置1Aでは、CPU40-1が、通信部5を介して、端末装置1Bからの撮影範囲警告通知を受け取り、警告用画像80A-2を表示部7にて表示させる。警告用画像80A-2は、矩形形状の枠であるが、これに限定されない。警告用画像80A-2は、操作者Aが警告を認識できるのであれば、どのような画像であってもよい。例えば、警告用画像80A-2として、特定の色の画像、色や輝度を周期的に変化させるような画像、警告用メッセージを含む画像などを用いることができる。周期的に変化する画像は、一例として点滅画像である。
 警告用画像80A-2の表示後、もし、操作者Aが端末装置1Aのカメラ部2を用いて被写体80を追う動作がさらに速くなると、端末装置1Bでは、矩形画像80B-1が画面1B-1から外れるため、操作者Bは、端末装置1Aの撮影範囲を認識することが困難になる。この場合は、端末装置1Bでは、CPU40-1が、端末装置1Aに対し、範囲外通知を行う。端末装置1Aでは、CPU40-1が、通信部5を介して、端末装置1Bからの範囲外通知を受け取り、範囲外通知を知らせるための画像を表示部7にて表示させる。範囲外通知用画像は、警告用画像80A-2と区別することができ、かつ、操作者Aが範囲外通知を認識できるのであれば、どのような画像であってもよい。例えば、範囲外通知用画像として、特定の色の画像、色や輝度を周期的に変化させるような画像や、範囲外通知メッセージを含む画像などを用いることができる。ここでも周期的に変化する画像は、例えば、点滅画像である。
 また、警告用画像80A-2の表示後、もし、操作者Aが端末装置1Aのカメラ部2を用いて被写体80を追う動作が遅くなると、やがて、操作者Bが端末装置1Bのカメラ部2を用いて被写体80を追う動作が操作者A側の動作に追いつき、端末装置1Bでは、範囲警告通知が送信されなくなる。この結果、端末装置1Aでは、警告用画像80A-2の表示が解除される。
 図7Cに示す状態は、操作者Aが、写真が欲しい構図となったために、端末装置1Aの操作部6のシャッターボタン53を押下した状態である。端末装置1Bでは、矩形画像80B-1が画面1B-1内に収まっているので、撮影範囲警告通知および範囲外通知は行われないが、矩形画像80B-1は画面中央に位置していないので、未だ端末装置1Aに対する中央通知は行われていない。
 上記の状態で、もし、端末装置1Aが高速撮影モードに設定されていた場合は、端末装置1Aでは、撮影範囲警告通知および範囲外通知を受け取っていないので、CPU40-1は、即座に、立体画像を形成するための撮影処理を行い、撮影コマンドを端末装置1Bに供給する。端末装置1Bでは、CPU40-1が、端末装置1Aからの撮影コマンドに応じて立体画像を形成するための撮影処理を行う。
 もし、端末装置1Aが高品位撮影モードに設定されていた場合は、端末装置1Aでは、CPU40-1が、端末装置1Bからの中央通知を待つ。図7Dに示す状態は、操作者Bが端末装置1Bのカメラ部の向きを変えた結果、矩形画像80B-1が画面中央に位置した状態である。
 上記の状態において、端末装置1Bでは、CPU40-1が、端末装置1Aに対して、中央通知を行う。端末装置1Aでは、CPU40-1が、端末装置1Bからの中央通知の受信タイミングで、立体画像を形成するための撮影処理を行い、撮影コマンドを端末装置1Bに供給する。端末装置1Bでは、CPU40-1が、端末装置1Aからの撮影コマンドに応じて立体画像を形成するための撮影処理を行う。
 次に、図4に示した撮影システムの各端末装置の動作を説明する。
 まず、端末装置1A,1Bそれぞれのカメラ起動処理について説明する。
 図8は、メイン装置モードの端末装置1Aのカメラ起動処理の一手順を示している。この手順では、まず、CPU40-1が、ステップS10において、中央切り出し処理を行うように画像処理部42を設定する。その後、CPU40-1は、ステップS11において、カメラ部2の制御をカメラ制御部41に行わせるように設定し、ステップS12において、動き検出部44を無効化する。次に、CPU40-1は、ステップS13において、操作部6を介して、撮影モードの設定操作を受け付け、ステップS14において、設定された撮影モードに関する情報、すなわち撮影モードの設定値をワークメモリ40-3に格納する。最後に、CPU40-1は、ステップS15において、カメラ部2を起動させ、ステップS16において、操作部6や通信部5を介した情報入力に基づく割り込みを有効化する。
 図9は、サブ装置モードの端末装置1Bのカメラ起動処理の一手順を示している。図9に示す手順では、まず、CPU40-1が、ステップS20において、縮小処理を行うように画像処理部42を設定する。その後、CPU40-1は、ステップS21において、カメラ部2の制御をCPU40-1からの直接制御に設定し、仮の制御値を設定し、ステップS22において、カメラ制御部41を無効化する。次に、CPU40-1は、ステップS23において、動き検出部44の入力を画像メモリ3に設定し、動き検出部44を有効化する。最後に、CPU40-1は、ステップS24において、カメラ部2を起動させ、ステップS25において、操作部6や通信部5を介した情報入力に基づく割り込みを有効化する。
 次に、端末装置1A,1Bそれぞれの定常状態での処理について説明する。
 図10は、メイン装置モードの端末装置1Aの定常状態での処理の一手順を示している。ここで定常状態の処理とは、カメラ部2が撮影した画像の中央部分を画面に表示しながら、シャッターボタンの押下やサブ装置モードの端末装置1Bからの通知に対する処理を行うことを意味する。
 まず、CPU40-1が、ステップS30において、カメラ部2から画像メモリ3に画像データが格納されたか否かを判定する。ステップS30の判定結果が「いいえ」である場合には、CPU40-1は再びステップS30を実行することにより、画像データの格納を待ち受ける。ステップS30の判定結果が「はい」である場合は、続いて、CPU40-1は、ステップS31において、シャッターボタンが押下されたか否かを判定する。
 ステップS31の判定結果が「はい」である場合は、CPU40-1は、ステップS32において、設定されている撮影モードが高品位撮影モードであるか否かを判定する。この撮影モードの判定は、カメラ起動処理時にワークメモリ40-3に格納された撮影モードの設定値に基づいて行う。
 ステップS32の判定結果が「はい」である場合は、CPU40-1は、ステップS33において、端末装置1Bから中央通知を受け取ったか否かを判定する。一方、ステップS32の判定結果が「いいえ」である場合は、CPU40-1は、ステップS34において、端末装置1Bから範囲外通知を受け取ったか否かを判定する。
 ステップS33の判定結果が「はい」である場合、または、ステップS34の判定結果が「いいえ」である場合は、CPU40-1は、ステップS35において、カメラ部2を停止し、画像メモリ3への画像データの書き込みを停止する。ステップS35の実行後、CPU40-1は、ステップS36において、端末装置1Bに対して撮影コマンドを発行し、ステップS37において、端末装置1Bからの画像受信があったか否かを判定する。ステップS37の判定結果が「いいえ」である場合には、CPU40-1は再びステップS37を実行することにより、画像の受信を待ち受ける。ステップS37の判定結果が「はい」である場合は、CPU40-1は、ステップS38において、画像バッファメモリ43に格納されている画像データと端末装置1Bから受信した画像データとに基づいて立体画像用の画像データを作成し、その画像データをデータメモリ40-4に格納する。ステップS38の実行後、CPU40-1は、ステップS39において、カメラ部2を起動する。カメラ部2の起動後、CPU40-1は、ステップS30に戻ってステップS30からの処理を実行する。
 ステップS31の判定結果が「いいえ」である場合、ステップS33の判定結果が「いいえ」である場合、または、ステップS34の判定結果が「はい」である場合は、CPU40-1は、ステップS40において、画像バッファメモリ43から表示部転送用画像を取得し、次にステップS41において、端末装置1Bから範囲警告通知を受け取ったか否かを判定する。ステップS41の判定結果が「はい」である場合は、CPU40-1は、ステップS42において、表示部転送用画像に警告用画像を重畳し、その後、ステップS43において、表示部転送用画像に警告用画像を重畳して得られた画像を表示部7にて表示させる。一方、ステップS41の判定結果が「いいえ」である場合は、CPU40-1は、ステップS43において、表示部転送用画像をそのままで表示部7に表示させる。
 ステップS43の後、CPU40-1は、ステップS44において、画像バッファメモリ43から取得した画像データとカメラ部2を制御するための制御データとを通信部5から端末装置1Bへ送信させる。ここでの制御データは、フォーカス調整、ホワイトバランス制御、および露出制御の各制御値を含んでいる。
 ステップS44の実行後、CPU40-1は、ステップS30に戻ってステップS30からの処理を再び実行する。
 図11は、サブ装置モードの端末装置1Bの定常状態での処理の一手順を示している。ここで定常状態の処理とは、カメラ部2が撮影した画像を端末装置1Aの撮影範囲を示す矩形画像とともに画面に表示しながら、端末装置1A,1Bの撮影範囲の関係に基づく通知を行う処理や、端末装置1Aからの撮影コマンドに応じた撮影処理を行うことを意味する。
 まず、CPU40-1が、ステップ50において、カメラ部2から画像メモリ3に画像データが格納されたか否かを判定する。ステップS50の判定結果が「いいえ」である場合には、CPU40-1は再びステップS50を実行することにより、画像データの格納を待ち受ける。ステップS50での判定結果が「はい」である場合は、CPU40-1は、ステップS51において、画像バッファメモリ43から表示部転送用画像を取得し、次に、ステップS52において、端末装置1Aから撮影コマンドを受信した否かを判定する。
 ステップS52の判定結果が「いいえ」である場合は、CPU40-1は、ステップS53において、端末装置1Aから受信した制御データに基づいてカメラ部2を設定し、次に動き検出部44-1が、ステップS54において、画像メモリ3に格納された画像の、端末装置1Aから送られてきた所定の画角の画像に対応する領域の位置を検出する。その後、CPU40-1が、ステップS55において、動き検出部44-1での検出が成功した否かを判定する。
 ステップS55の判定結果が「はい」である場合は、CPU40-1は、ステップS56において、表示部転送用画像に、動き検出部44-1での検出結果に基づいて得られた端末装置1Aの撮影範囲を示す矩形画像を重畳し、次にステップS58において、表示部転送用画像に矩形画像を重畳して得られた画像を表示部7にて表示させる。一方、ステップS55の判定結果が「いいえ」である場合は、CPU40-1は、ステップS57において、端末装置1Aに対して範囲外通知を行い、次にステップS58において、表示部転送用画像を表示部7にて表示させる。
 ステップS58での画像表示処理ののち、CPU40-1は、ステップS59において、動き検出部44-1での検出結果に基づいて、矩形画像が画面中央に位置するか否かを判定する。ステップS59の判定結果が「はい」である場合は、CPU40-1はステップS60において、端末装置1Aに対して中央通知を行う。一方、ステップS59の判定結果が「いいえ」である場合は、CPU40-1は、ステップS61において、矩形画像が画面の周辺部に位置するか否かを判定する。ステップS61の判定結果が「はい」である場合は、CPU40-1は、ステップS62において、端末装置1Aに対して範囲警告通知を行う。
 ステップS60を実行したとき、ステップS62を実行したとき、またはステップS61の判定結果が「いいえ」であった場合、CPU40-1は、ステップS50に戻ってステップS50からの処理を実行する。
 ステップS52の判定結果が「はい」である場合は、CPU40-1は、ステップS63において、カメラ部2を停止し、画像メモリ3への画像データの書き込みを停止し、次に、ステップS64において、画像処理部42の切り出し範囲を端末装置1Aの撮影範囲に対応する範囲に設定し、画像処理部42に切り出しの処理を実行させる。その後、CPU40-1は、ステップS65において、画像処理部42が切り出した画像を画像バッファメモリ43から取得し、取得した画像を通信部5から端末装置1Aに送信させ、次にステップS66において、縮小処理を実行するように画像処理部42を設定し、続いてステップS67において、カメラ部2を起動する。ステップS67の実行後、CPU40-1は、ステップS50に戻ってステップS50からの処理を実行する。
 以上説明した本実施形態の撮影システムによれば、サブ装置モードの端末装置1Bにおいて、操作者Bは、画面に表示された矩形画像の表示位置に基づいて、端末装置1Bの撮影範囲とメイン装置モードの端末装置1Aの撮影範囲との関係を確認できる。よって、操作者Bは、端末装置1Aの撮影に対して端末装置1Bの撮影を容易に追従させることができる。
 また、端末装置1Aの撮影範囲と端末装置1Bの撮影範囲との関係の判定結果が、端末装置1Bから端末装置1Aに通知されるので、その通知に基づいて、操作者Aが、端末装置1B側の追従の状況を把握することできる。例えば、端末装置1Aの撮影範囲が端末装置1Bの撮影範囲から外れそうな場合は、端末装置1Bは、範囲警告通知を端末装置1Aに送信する。また、端末装置1Aの撮影範囲が端末装置1Bの撮影範囲から外れている場合は、端末装置1Bは、範囲外通知を端末装置1Aに送信する。端末装置1Aでは、範囲警告通知や範囲外通知に応じた警告画像を表示するので、操作者Aは、その警告画像を確認することで、端末装置1B側の追従の状況を確認することできる。そして、端末装置1B側の追従が遅れた場合は、操作者Aが、その遅れに応じて移動速度やカメラを振る速さを遅くすることで、端末装置1B側の追従の遅れを取り戻すことができる。
 本実施形態のシステムでは、メイン装置モードの端末装置1Aにおいて、カメラ部2の撮影画像から切り出した第1の画角の画像が表示される。一方、サブ装置モードの端末装置1Bにおいて、カメラ部2が撮影した、第1の画角より大きな第2の画角の画像が表示され、その表示画面上に、第1の画角の画像の撮影範囲に対応する矩形画像が表示される。そして、矩形画像の表示位置に基づいて、端末装置1Aの撮影範囲と端末装置1Bの撮影範囲との関係が判定される。この判定によれば、画角が大きな画像のうちから、画角の小さな画像に対応する領域を検出しているので、領域の検出が可能な範囲が広い。換言すると、本実施形態のシステムは、端末装置それぞれで画角が同じ画像を表示するシステムと比較して、立体画像の撮影が可能な範囲が広い。本実施形態のシステムによれば、例えば図7Cに示したように、端末装置1Bにおいて、矩形画像80B-1が表示画面の中央にきていない場合でも、立体画像の撮影が可能である。
 さらに本実施形態のシステムでは、図2および図3に示したように、装置端末1Aと装置端末1Bとの間で、動作させる回路を分担して撮影を行うことができるので、システム全体における消費電力を抑えながら立体視撮影を行うことができる。
 本実施形態のシステムでは、メイン装置モードの端末装置1Aは、カメラ部2を制御するための、フォーカス調整、ホワイトバランス制御、および露出制御の各制御値を含む制御データをサブ装置モードの端末装置1Bへ送信する。端末装置1Bでは、端末装置1Aからの制御データに基づいてカメラ部2を制御する。これにより、端末装置1B側のカメラ部2の撮影条件を端末装置1A側のカメラ部2の撮影条件と一致させることができ、略同じ撮影条件で撮影した撮影画像に基づいて立体画像を形成することができる。加えて、サブ装置モードの端末装置1Bでは、露出制御とホワイトバランスの算出処理を省略できるので、システム全体の演算負荷を下げ、消費電力を低減することができる。
 本実施形態のシステムでは、高速撮影モードと高品位撮影モードの2種類の撮影モードでの撮影が可能であり、撮影シーンに応じてそれら撮影モードを使い分けることで、立体視撮影における利便性が向上する。さらに、高速撮影モードにおいて、矩形画像が端末装置1Bの画面の端部からある程度のマージンを持って表示されている場合において、端末装置1Aでは、操作者Aは、任意の撮影タイミングで撮影を行うことができる。一方、高品位撮影モードにおいて、矩形画像が端末装置1Bの画面中央に来たタイミングで、中央通知が端末装置1Bから端末装置1Aに送信され、端末装置1Aが撮影を開始するとともに撮影コマンドを発行し、この撮影コマンドに応じて端末装置1Bが撮影を開始する。このようにこのシステムでは、端末装置1A、1Bの撮影範囲が最適な関係にある場合に、端末装置1A、1Bは自動的に撮影を開始するので、操作者A、Bに対する操作の負担が軽減される。
 さらにこのシステムでは、高品位撮影モードにおいて、端末装置1A、1Bそれぞれで、カメラ部2で撮影した画像の中央部の所定の画角の画像を切り出し、これら切り出した所定の画角の画像に基づいて立体画像が形成されるので、高品位の立体画像を得ることができる。以下、高品位の立体画像を得ることができる理由について説明する。
 被写体をカメラで撮影する場合、レンズを介してイメージセンサ上に被写体の像が形成される。一般に、イメージセンサ上に形成された被写体の像は、レンズの収差の影響を受けるので、イメージセンサで撮影した画像にもその影響が反映される。
 レンズを設計する場合、通常、レンズの中心部を基準に収差を補正するため、レンズの中心部に比較して周辺部の収差が大きくなる。このため、収差の影響による画質劣化が、撮影画像の周辺部に生じる。例えば、球面収差により撮影画像の周辺部が不鮮明になる。色収差、特に倍率色収差により撮影画像の周辺部に色滲みが生じる。非点収差により撮影画像の周辺部が不鮮明になる。像面湾曲により撮影画像の周辺部が、ピントが合っていない状態、いわゆるボケを生じた状態になる。歪曲収差により撮影画像の周辺部に歪が生じる。コマ収差、すなわち光軸外で生じる球面収差により、撮影画像の周辺部が不鮮明になる。
 図12Aに、撮影画像の周辺部を切り出した画像の状態を示し、図12Bに、撮影画像の中心部を切り出した画像を示す。図12Aに示す撮影画像の周辺部を切り出した画像と、図12Bに示す撮影画像の中心部を切り出した画像は、どちらも3人の人物が中央に配置された構図である。
 図12Aに示すように、撮影画像の左下周辺部の画像を切り出すと、切り出した画像の、右上の領域を除く領域が、収差の影響を受ける。このため、例えば、中央に配置された人物が不鮮明になる。一方、図12Bに示すように、撮影画像の中心部の画像を切り出すと、切り出した画像は、収差の影響をほとんど受けない。よって、鮮明な画像を得ることができる。
 高品位撮影モードにおいて、端末装置1A、1Bそれぞれで、カメラ部2で撮影した画像の中央部の所定の画角の画像を切り出すので、切り出し画像として、収差の影響の少ない、鮮明な画像が得られる。これら鮮明な切り出し画像に基づいて立体画像を形成するので、高品位の立体画像を得ることができる。
 なお、高速撮影モードにおいては、端末装置1Aでは、カメラ部2で撮影した画像の中央部の所定の画角の画像を切り出し、端末装置1Bでは、カメラ部2で撮影した画像の周辺部の所定の画角の画像を切り出し、これら切り出した所定の画角の画像に基づいて立体画像が形成される。この場合は、端末装置1B側の切り出し画像の画質は、収差の影響により劣化する。このため、高品位撮影モードに比較して、立体画像の画質は低下する。
 図13は、第2の実施形態に基づく端末装置の構成を示している。
 図13に示す端末装置1の基本的な構成は、第1の実施形態で説明したものと同様であるが、縮小処理および切り出し処理に係る部分が二重化されている点が、第1の実施形態で説明したものと異なる。具体的には、画像処理部43に代えて、切り出し処理部42-1および縮小処理部42-2が設けられ、画像バッファメモリ43に代えて、画像バッファ43-1および表示バッファ43-2が設けられている。
 切り出し処理部42-1は、画像処理部43での切り出し処理に対応する処理を行う、画像バッファ43-1は、その切り出された画像データを保持する。縮小処理部42-2は、画像処理部43での縮小処理に対応する処理を行い、表示バッファ43-2は、その縮小された画像データを保持する。表示バッファ43-2に保持された画像データに基づく画像が表示部7に表示される。
 本実施形態では、サブ装置モードにおいて、切り出し処理部42-1および縮小処理部42-2が動作する。これにより、縮小画像の表示と切り出し動作とを同時に行うことができ、動画の立体映像の撮影に対応できる。
 上述した本発明の端末装置は、携帯電話機やスマートフォンなどの携帯電話端末に適用できる他、撮影手段と通信手段を備えた他の端末装置、例えば、タブレット端末、ノート型パーソナルコンピュータ、PDA(Personal Data Assistants:携帯情報端末)、ゲーム機などにも適用することができる。
 また、上記の各実施形態で説明した端末装置は、専用ハードウェアを用いて構成することもできるし、あるいは、コンピュータがプログラムに従って動作するコンピュータシステムを用いて構成されてもよい。プログラムは、少なくとも、図8および図9に示したカメラ起動処理や、図10および図11に示した定常状態の処理を、コンピュータに実行させることが可能なものである。例えば、プログラムは、外部端末装置から第1の画角の第1の画像を受信する処理と、受信した第1の画像と、カメラ部が撮影した、第1の画角より広い第2の画角の第2の画像との撮影範囲の関係を判定する処理と、をコンピュータに実行させるものである。あるいは、プログラムは、カメラ部が撮影した第1の画角の第1の画像を、表示部に表示させるとともに、外部端末装置へ送信する処理と、外部端末装置から、第1の画像と第1の画角より広い第2の画角の第2の画像との撮影範囲の関係を判定した結果を受け取り、その判定結果に応じて所定の画像を表示部に表示させる処理と、をコンピュータに実行させるものである。
 このようなプログラムは、コンピュータ読み取り可能な記録媒体、例えば、CD(Compact Disc)やDVD(Digital Video Disc)などの光ディスクや、USB(Universal Serial Bus)メモリやメモリカードなどを用いて提供されてもよく、また、通信網(例えばインターネット)を介して提供されてもよい。したがって、上記のプログラムや、これらのプログラムを記録したコンピュータ読み取り可能な記録媒体も、本発明の範疇に含まれる。
 各実施形態において、立体画像は、3D画像、3次元画像、立体視画像などとも呼ばれるものであり、両眼視差を利用した右目用画像と左目用画像の2つの画像に基づいて生成される。
 また、各実施形態において、カメラ部2は、ズーム機能を備えていてもよい。この場合は、端末装置1A、1B間で、カメラ部2の像倍率を一致させる。
 以上、実施形態を参照して本発明を説明したが、本発明は上記の実施形態に限定されるものではない。本発明の構成や詳細には、本発明のスコープ内で当業者が理解し得る様々な変更をすることができる。本発明は、例えば、以下の付記1~33のような形態をとり得るが、これら形態に限定されるものではない。
 この出願は、2012年2月23日に出願された日本国特許出願:特願2012-037348を基礎とする優先権を主張し、その開示の全てを参照によりここに取り込む。
 (付記1)
 撮影手段と、
 外部端末装置から第1の画角の第1の画像を受信する通信手段と、
 前記通信手段が受信した前記第1の画像と、前記撮影手段が撮影した、前記第1の画角より広い第2の画角の第2の画像との撮影範囲の関係を判定する判定手段と、を有する、端末装置。
 (付記2)
 前記判定手段は、前記第2の画像から前記第1の画像に対応する領域を検出し、該検出領域の前記第2の画像上の位置に基づいて、前記第1および第2の画像の撮影範囲の関係を判定する、付記1に記載の端末装置。
 (付記3)
 表示手段を、さらに有し、
 前記判定手段は、前記検出領域の範囲を示す画像を前記第2の画像に重ねて前記表示手段に表示させる、付記2に記載の端末装置。
 (付記4)
 前記判定手段は、前記第1および第2の画像の撮影範囲の関係の判定結果を示す通知を前記通信手段から前記外部端末装置へ送信させる、付記2または3に記載の端末装置。
 (付記5)
 前記第2の画像から前記検出領域を切り出す切り出し手段を、さらに有し、
 前記判定手段は、前記切り出し手段が切り出した画像を前記通信手段から前記外部端末装置へ送信させる、付記2から4のいずれか1つに記載の端末装置。
 (付記6)
 表示手段と、
 前記第2の画像を縮小して縮小画像を得る縮小手段と、
 前記第2の画像から前記検出領域を切り出す切り出し手段と、をさらに有し、
 前記判定手段は、前記検出領域の範囲を示す画像を前記縮小画像に重ねて前記表示手段に表示させ、前記切り出し手段が切り出した画像を前記通信手段から前記外部端末装置へ送信させる、付記2に記載の端末装置。
 (付記7)
 前記判定手段は、前記検出領域が前記第2の画像の中心部に位置する場合に、前記第1および第2の画像の撮影範囲が立体画像の形成に最適な関係であることを示す中央通知を前記通信手段から前記外部端末装置へ送信させる、付記2から6のいずれか1つに記載の端末装置。
 (付記8)
 前記判定手段は、前記検出領域が前記第2の画像の周辺部に位置する場合に、前記第1の画像の撮影範囲が前記第2の画像の撮影範囲から外れる可能性があることを示す撮影範囲警告通知を前記通信手段から前記外部端末装置へ送信させる、付記2から7のいずれか1つに記載の端末装置。
 (付記9)
 前記判定手段は、前記第2の画像から前記第1の画像に対応する領域を検出することができない場合に、前記第1の画像の撮影範囲が前記第2の画像の撮影範囲から外れていることを示す範囲外通知を前記通信手段から前記外部端末装置へ送信させる、付記2から8のいずれか1つに記載の端末装置。
 (付記10)
 前記判定手段は、前記外部端末装置から前記通信手段を介して撮影コマンドを受け取り、該撮影コマンドに応じて、前記切り出し手段に画像の切り出しを行わせ、該切り出した画像を前記通信手段から前記外部端末装置へ送信させる、付記5または6に記載の端末装置。
 (付記11)
 前記判定手段は、前記外部端末装置から前記通信手段を介して、前記第1の画像の撮影条件を示す制御データを受け取り、該制御データに基づいて前記撮影手段を制御する、付記1から10のいずれか1つに記載の端末装置。
 (付記12)
 表示手段と、
 撮影手段と、
 外部端末装置との通信を行う通信手段と、
 前記撮影手段が撮影した第1の画角の第1の画像を、前記表示手段に表示させるとともに、前記通信手段から前記外部端末装置へ送信させる制御手段と、を有し、
 前記制御手段は、前記外部端末装置から前記通信手段を介して、前記第1の画像と前記第1の画角より広い第2の画角の第2の画像との撮影範囲の関係を判定した結果を受け取り、該判定結果に応じて所定の画像を前記表示手段に表示させる、端末装置。
 (付記13)
 前記判定結果は、前記第2の画像から前記第1の画像に対応する領域を検出し、該検出領域の前記第2の画像上の位置に基づいて、前記第1および第2の画像の撮影範囲の関係を判定した結果であり、
 前記外部端末装置から前記通信手段を介して、前記第2の画像から前記検出領域を切り出した第3の画像を受け取り、該第3の画像と前記第1の画像とに基づく立体画像を前記表示手段に表示させる、付記12に記載の端末装置。
 (付記14)
 前記判定結果は、前記検出領域が前記第2の画像の中心部に位置することを示す中央通知であり、
 前記制御手段は、第1の撮影モードの設定を受け付けた場合は、前記外部端末装置から前記通信手段を介して前記中央通知を受け取った後に、前記外部端末装置から前記通信手段を介して前記第3の画像を受け取り、該第3の画像と前記第1の画像とに基づく立体画像を前記表示手段に表示させる、付記13に記載の端末装置。
 (付記15)
 前記判定結果は、前記検出領域が前記第2の画像の周辺部に位置し、前記第1の画像の撮影範囲が前記第2の画像の撮影範囲から外れる可能性があることを示す撮影範囲警告通知であり、
 前記制御手段は、前記外部端末装置から前記通信手段を介して前記撮影範囲警告通知を受け取り、該撮影範囲警告通知に応じて第1の警告画像を前記表示手段に表示させる、付記13または14に記載の端末装置。
 (付記16)
 前記判定結果は、前記第2の画像から前記第1の画像に対応する領域を検出することができない場合に、前記第1の画像の撮影範囲が前記第2の画像の撮影範囲から外れていることを示す範囲外通知であり、
 前記制御手段は、前記外部端末装置から前記通信手段を介して前記範囲外通知を受け取り、該範囲外通知に応じて第2の警告画像を前記表示手段に表示させる、付記15に記載の端末装置。
 (付記17)
 シャッターボタンを、さらに有し、
 前記制御手段は、
 第2の撮影モードの設定を受け付けた場合で、前記撮影範囲警告通知および範囲外通知のいずれも受け付けていない場合は、前記シャッターボタンが押下されると、撮影コマンドを前記通信手段から前記外部端末装置へ送信させ、
 前記撮影コマンドの送信後に、前記外部端末装置から前記通信手段を介して、前記撮影コマンドに応じて切り出された前記第3の画像を受け取り、該第3の画像と前記第1の画像とに基づく立体画像を前記表示手段に表示させる、付記16に記載の端末装置。
 (付記18)
 前記制御手段は、前記撮影手段の撮影条件を示す制御データを前記通信手段から前記外部端末装置へ送信させる、付記12から17のいずれか1つに記載の端末装置。
 (付記19)
 第1の撮影装置と、
 前記第1の撮影装置と通信可能な第2の撮影装置と、を有し、
 前記第1の撮影装置は、
  第1の撮影手段と、
  前記第1の撮影手段が撮影した第1の画角の第1の画像を送信する第1の通信手段と、を有し、
 前記第2の撮影装置は、
  第2の撮影手段と、
  前記第1の画像を前記第1の通信手段から受信する第2の通信手段と、
  前記第2の通信手段が受信した前記第1の画像と、前記第2の撮影手段が撮影した、前記第1の画角より広い第2の画角の第2の画像との撮影範囲の関係を判定する判定手段と、を有する、撮影システム。
 (付記20)
 前記判定手段は、前記第2の画像から前記第1の画像に対応する領域を検出し、該検出領域の前記第2の画像上の位置に基づいて、前記第1および第2の画像の撮影範囲の関係を判定する、付記19に記載の撮影システム。
 (付記21)
 前記第2の撮影装置は、表示手段を、さらに有し、
 前記判定手段は、前記検出領域の範囲を示す画像を前記第2の画像に重ねて前記表示手段に表示させる、付記20に記載の撮影システム。
 (付記22)
 前記判定手段は、前記第1および第2の画像の撮影範囲の関係の判定結果を示す通知を前記第2の通信手段から前記第1の撮影装置へ送信させ、
 前記第1の撮影装置は、第1の表示手段と、前記第1の通信手段を介して前記通知を受け取り、該通知に応じて所定の画像を前記第1の表示手段に表示させる制御手段と、をさらに有する、付記20または21に記載の撮影システム。
 (付記23)
 前記第2の撮影装置は、前記第2の画像から前記検出領域を切り出す切り出し手段を、さらに有し、
 前記判定手段は、前記切り出し手段が切り出した第3の画像を前記第2の通信手段から前記第1の撮影装置へ送信させ、
 前記制御手段は、前記第1の通信手段を介して前記第3の画像を受け取り、該第3の画像と前記第1の画像とに基づく立体画像を前記第1の表示手段に表示させる、付記22に記載の撮影システム。
 (付記24)
 前記判定手段は、前記検出領域が前記第2の画像の中心部に位置する場合に、前記第1および第2の画像の撮影範囲が立体画像の形成に最適な関係であることを示す中央通知を前記第2の通信手段から前記第1の撮影装置へ送信させ、
 前記制御手段は、第1の撮影モードの設定を受け付けた場合は、前記第2の撮影装置から前記第1の通信手段を介して前記中央通知を受け取った後に、前記第2の撮影装置から前記第1の通信手段を介して前記第3の画像を受け取り、該第3の画像と前記第1の画像とに基づく立体画像を前記第1の表示手段に表示させる、付記23に記載の撮影システム。
 (付記25)
 前記判定手段は、前記検出領域が前記第2の画像の周辺部に位置する場合に、前記第1の画像の撮影範囲が前記第2の画像の撮影範囲から外れる可能性があることを示す撮影範囲警告通知を前記第2の通信手段から前記第1の撮影装置へ送信させ、
 前記制御手段は、前記第2の撮影装置から前記第1の通信手段を介して前記撮影範囲警告通知を受け取り、該撮影範囲警告通知に応じて第1の警告画像を前記第1の表示手段に表示させる、付記24に記載の撮影システム。
 (付記26)
 前記判定手段は、前記第2の画像から前記第1の画像に対応する領域を検出することができない場合に、前記第1の画像の撮影範囲が前記第2の画像の撮影範囲から外れていることを示す範囲外通知を前記第2の通信手段から前記第1の撮影装置へ送信させ、
 前記制御手段は、前記第2の撮影装置から前記第1の通信手段を介して前記範囲外通知を受け取り、該範囲外通知に応じて第2の警告画像を前記第1の表示手段に表示させる、付記25に記載の撮影システム。
 (付記27)
 前記第1の撮影装置は、シャッターボタンを、さらに有し、
 前記制御手段は、第2の撮影モードの設定を受け付けた場合で、前記撮影範囲警告通知および範囲外通知のいずれも受け付けていない場合は、前記シャッターボタンが押下されると、撮影コマンドを前記第1の通信手段から前記第2の撮影装置へ送信させ、
 前記判定手段は、前記第2の通信手段を介して前記撮影コマンドを受け取り、該撮影コマンドに応じて、前記切り出し手段に前記第3の画像を切り出させ、該第3の画像を前記第2の通信手段から前記第1の撮影装置へ送信させ、
 前記制御手段は、前記第1の通信手段を介して前記第3の画像を受け取り、該第3の画像と前記第1の画像とに基づく立体画像を前記第1の表示手段に表示させる、付記26に記載の撮影システム。
 (付記28)
 前記制御手段は、前記第1の撮影手段の撮影条件を示す制御データを前記第1の通信手段から前記第2の撮影装置へ送信させ、
 前記判定手段は、前記第2の通信手段を介して前記制御データを受け取り、該制御データに基づいて前記第2の撮影手段を制御する、付記22から27のいずれか1つに記載の撮影システム。
 (付記29)
 外部端末装置から第1の画角の第1の画像を受信し、
 受信した前記第1の画像と、撮影手段が撮影した、前記第1の画角より広い第2の画角の第2の画像との撮影範囲の関係を判定する撮影方法。
 (付記30)
 撮影手段が撮影した第1の画角の第1の画像を、表示手段に表示させるとともに、外部端末装置へ送信し、
 前記外部端末装置から、前記第1の画像と前記第1の画角より広い第2の画角の第2の画像との撮影範囲の関係を判定した結果を受け取り、該判定結果に応じて所定の画像を前記表示手段に表示させる、撮影方法。
 (付記31)
 第1の撮影手段を備えた第1の撮影装置が、前記第1の撮影手段が撮影した第1の画角の第1の画像を、第2の撮影手段を備えた第2の撮影装置に送信し、
 前記第2の撮影装置が、前記第1の撮影装置から受信した前記第1の画像と、前記第2の撮影手段が撮影した、前記第1の画角より広い第2の画角の第2の画像との撮影範囲の関係を判定する、撮影方法。
 (付記32)
 外部端末装置から第1の画角の第1の画像を受信する処理と、
 受信した前記第1の画像と、撮影手段が撮影した、前記第1の画角より広い第2の画角の第2の画像との撮影範囲の関係を判定する処理と、をコンピュータに実行させるプログラム。
 (付記33)
 撮影手段が撮影した第1の画角の第1の画像を、表示手段に表示させるとともに、外部端末装置へ送信する処理と、
 前記外部端末装置から、前記第1の画像と前記第1の画角より広い第2の画角の第2の画像との撮影範囲の関係を判定した結果を受け取り、該判定結果に応じて所定の画像を前記表示手段に表示させる処理と、をコンピュータに実行させるプログラム。
 1 端末装置
 2 カメラ部
 3 画像メモリ
 4 制御部
 5 通信部
 6 操作部
 7 表示部
 40 主制御部
 40-1 CPU
 40-2 図形描画部
 40-3 ワークメモリ
 40-4 データメモリ
 41 カメラ制御部
 42 画像処理部
 43 画像バッファメモリ
 44 動き検出部
 44-1 検出対象画像メモリ
 45,46 スイッチ
 51,52 切替信号
 53 シャッターボタン

Claims (10)

  1.  撮影手段と、
     外部端末装置から第1の画角の第1の画像を受信する通信手段と、
     前記通信手段が受信した前記第1の画像と、前記撮影手段が撮影した、前記第1の画角より広い第2の画角の第2の画像との撮影範囲の関係を判定する判定手段と、を有する、端末装置。
  2.  前記判定手段は、前記第2の画像から前記第1の画像に対応する領域を検出し、該検出領域の前記第2の画像上の位置に基づいて、前記第1および第2の画像の撮影範囲の関係を判定する、請求項1に記載の端末装置。
  3.  表示手段を、さらに有し、
     前記判定手段は、前記検出領域の範囲を示す画像を前記第2の画像に重ねて前記表示手段に表示させる、請求項2に記載の端末装置。
  4.  前記判定手段は、前記第1および第2の画像の撮影範囲の関係の判定結果を示す通知を前記通信手段から前記外部端末装置へ送信させる、請求項2または3に記載の端末装置。
  5.  前記第2の画像から前記検出領域を切り出す切り出し手段を、さらに有し、
     前記判定手段は、前記切り出し手段が切り出した画像を前記通信手段から前記外部端末装置へ送信させる、請求項2から4のいずれか1項に記載の端末装置。
  6.  表示手段と、
     前記第2の画像を縮小して縮小画像を得る縮小手段と、
     前記第2の画像から前記検出領域を切り出す切り出し手段とを、さらに有し、
     前記判定手段は、前記検出領域の範囲を示す画像を前記縮小画像に重ねて前記表示手段に表示させ、前記切り出し手段が切り出した画像を前記通信手段から前記外部端末装置へ送信させる、請求項2に記載の端末装置。
  7.  第1の撮影装置と、
     前記第1の撮影装置と通信可能な第2の撮影装置と、を有し、
     前記第1の撮影装置は、
      第1の撮影手段と、
      前記第1の撮影手段が撮影した第1の画角の第1の画像を送信する第1の通信手段と、を有し、
     前記第2の撮影装置は、
      第2の撮影手段と、
      前記第1の画像を前記第1の通信手段から受信する第2の通信手段と、
      前記第2の通信手段が受信した前記第1の画像と、前記第2の撮影手段が撮影した、前記第1の画角より広い第2の画角の第2の画像との撮影範囲の関係を判定する判定手段と、を有する、撮影システム。
  8.  外部端末装置から第1の画角の第1の画像を受信し、
     受信した前記第1の画像と、撮影手段が撮影した、前記第1の画角より広い第2の画角の第2の画像との撮影範囲の関係を判定する撮影方法。
  9.  第1の撮影手段を備えた第1の撮影装置が、前記第1の撮影手段が撮影した第1の画角の第1の画像を、第2の撮影手段を備えた第2の撮影装置に送信し、
     前記第2の撮影装置が、前記第1の撮影装置から受信した前記第1の画像と、前記第2の撮影手段が撮影した、前記第1の画角より広い第2の画角の第2の画像との撮影範囲の関係を判定する、撮影方法。
  10.  外部端末装置から第1の画角の第1の画像を受信する処理と、
     受信した前記第1の画像と、撮影手段が撮影した、前記第1の画角より広い第2の画角の第2の画像との撮影範囲の関係を判定する処理と、をコンピュータに実行させるプログラム。
PCT/JP2013/051703 2012-02-23 2013-01-28 端末装置、撮影システム、及び撮影方法 WO2013125298A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
EP13751467.5A EP2819409A4 (en) 2012-02-23 2013-01-28 END DEVICE, PICTURE RECORDING SYSTEM AND IMAGE RECORDING METHOD
US14/380,752 US9762891B2 (en) 2012-02-23 2013-01-28 Terminal device, image shooting system and image shooting method
JP2014500624A JP6319081B2 (ja) 2012-02-23 2013-01-28 端末装置、撮影システム、及び撮影方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2012037348 2012-02-23
JP2012-037348 2012-02-23

Publications (1)

Publication Number Publication Date
WO2013125298A1 true WO2013125298A1 (ja) 2013-08-29

Family

ID=49005491

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2013/051703 WO2013125298A1 (ja) 2012-02-23 2013-01-28 端末装置、撮影システム、及び撮影方法

Country Status (4)

Country Link
US (1) US9762891B2 (ja)
EP (1) EP2819409A4 (ja)
JP (1) JP6319081B2 (ja)
WO (1) WO2013125298A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102527134B1 (ko) 2021-08-10 2023-04-27 변용선 복합 소재형 선박 스턴 시일 조립체

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08317424A (ja) * 1995-05-19 1996-11-29 Olympus Optical Co Ltd 立体撮影装置
JP2005210217A (ja) * 2004-01-20 2005-08-04 Olympus Corp ステレオカメラ
JP2010157850A (ja) 2008-12-26 2010-07-15 Olympus Imaging Corp カメラ及びカメラシステム
JP2010157851A (ja) * 2008-12-26 2010-07-15 Olympus Imaging Corp カメラ及びカメラシステム
JP2010206643A (ja) * 2009-03-04 2010-09-16 Fujifilm Corp 撮像装置、方法およびプログラム
JP2010252186A (ja) * 2009-04-17 2010-11-04 Nec Casio Mobile Communications Ltd 端末装置及びプログラム
JP2011166756A (ja) * 2010-01-13 2011-08-25 Panasonic Corp 撮影装置及び撮影システム
JP2012037348A (ja) 2010-08-06 2012-02-23 Hitachi Cable Ltd 放射線検出器モジュール

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6486129A (en) 1987-09-28 1989-03-30 Sharp Kk Camera device for stereoscopy image pickup
JPH08317425A (ja) 1995-05-19 1996-11-29 Olympus Optical Co Ltd 電子カメラ
JPH10186549A (ja) 1996-12-24 1998-07-14 Canon Inc 立体画像撮影装置
JPH10224823A (ja) 1997-02-05 1998-08-21 Sanyo Electric Co Ltd 立体映像表示方法および立体映像表示装置
JP2001008089A (ja) 1999-06-23 2001-01-12 Canon Inc 画像処理装置及びその制御方法、画像処理システム、撮像支援方法並びにメモリ媒体
DE10204430A1 (de) 2002-02-04 2003-08-07 Zeiss Carl Stereo-Mikroskopieverfahren und Stereo-Mikroskopiesystem
JP4207585B2 (ja) 2003-01-29 2009-01-14 株式会社ニコン デジタルカメラシステム
JP2005260810A (ja) 2004-03-15 2005-09-22 Matsushita Electric Ind Co Ltd カメラレコーダ
JP4967579B2 (ja) * 2006-10-10 2012-07-04 株式会社ニコン カメラ
US20080193120A1 (en) * 2007-02-06 2008-08-14 Nikon Corporation Digital camera
JP2009094724A (ja) * 2007-10-05 2009-04-30 Fujifilm Corp 撮像装置
JP2010154052A (ja) 2008-12-24 2010-07-08 Hitachi Ltd 複数カメラ制御システム
JP2010273046A (ja) * 2009-05-20 2010-12-02 Sanyo Electric Co Ltd 撮像装置
JP5543870B2 (ja) 2010-07-23 2014-07-09 オリンパスイメージング株式会社 カメラ、カメラの制御方法、及びプログラム

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08317424A (ja) * 1995-05-19 1996-11-29 Olympus Optical Co Ltd 立体撮影装置
JP2005210217A (ja) * 2004-01-20 2005-08-04 Olympus Corp ステレオカメラ
JP2010157850A (ja) 2008-12-26 2010-07-15 Olympus Imaging Corp カメラ及びカメラシステム
JP2010157851A (ja) * 2008-12-26 2010-07-15 Olympus Imaging Corp カメラ及びカメラシステム
JP2010206643A (ja) * 2009-03-04 2010-09-16 Fujifilm Corp 撮像装置、方法およびプログラム
JP2010252186A (ja) * 2009-04-17 2010-11-04 Nec Casio Mobile Communications Ltd 端末装置及びプログラム
JP2011166756A (ja) * 2010-01-13 2011-08-25 Panasonic Corp 撮影装置及び撮影システム
JP2012037348A (ja) 2010-08-06 2012-02-23 Hitachi Cable Ltd 放射線検出器モジュール

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP2819409A4

Also Published As

Publication number Publication date
JPWO2013125298A1 (ja) 2015-07-30
JP6319081B2 (ja) 2018-05-09
EP2819409A1 (en) 2014-12-31
US9762891B2 (en) 2017-09-12
EP2819409A4 (en) 2015-09-30
US20150009297A1 (en) 2015-01-08

Similar Documents

Publication Publication Date Title
CN108377329B (zh) 摄像装置及其控制方法
CN109218606B (zh) 摄像控制设备、其控制方法及计算机可读介质
CN105493493B (zh) 摄像装置、摄像方法及图像处理装置
US20150172531A1 (en) Image capturing apparatus, communication apparatus, and control method therefor
CN102014198A (zh) 具有拍摄控制功能的移动终端和拍摄控制系统
JP5901801B2 (ja) 画像処理装置、撮像装置、プログラム及び画像処理方法
US9706101B2 (en) Image processing terminal, imaging machine, information processing method, program, and remote imaging system to remotely operate the imaging machine
JP5753323B2 (ja) 撮像装置及び画像表示方法
US10462358B2 (en) Information processing apparatus, information processing system, and information processing method
JP6611614B2 (ja) 電子機器及びその制御方法、プログラムならびに記憶媒体
WO2015107927A1 (ja) 画像処理装置および方法、並びにプログラム
JP5955417B2 (ja) 画像処理装置、撮像装置、プログラム及び画像処理方法
US20220345642A1 (en) Electronic apparatus, method of controlling the same, and storage medium
JP6374535B2 (ja) 操作装置、追尾システム、操作方法、及びプログラム
JP6319081B2 (ja) 端末装置、撮影システム、及び撮影方法
US20230300453A1 (en) Electronic apparatus, control method of electronic apparatus, and non-transitory computer readable medium
JP2011017754A (ja) 撮像装置、撮像装置の制御方法、及びコンピュータプログラム
JP6641662B2 (ja) 撮影装置、撮影装置における表示制御方法及び撮影装置の制御に用いられるコンピュータプログラム
JP2018067802A (ja) 撮像制御装置、撮像装置の制御方法及びプログラム
JP2011030123A (ja) 撮像装置、撮像装置の制御方法、及びコンピュータプログラム
JP6351394B2 (ja) 表示装置、通信システム、表示装置の制御方法及びプログラム
US12175951B2 (en) Imaging apparatus, and method of controlling imaging apparatus
JP2013046343A (ja) 画像撮像装置
JP2014062926A (ja) オートフォーカスシステム
JP2016063472A (ja) 携帯端末および携帯端末の制御方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 13751467

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2013751467

Country of ref document: EP

ENP Entry into the national phase

Ref document number: 2014500624

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 14380752

Country of ref document: US