[go: up one dir, main page]

JPH09163210A - Imaging system - Google Patents

Imaging system

Info

Publication number
JPH09163210A
JPH09163210A JP7324302A JP32430295A JPH09163210A JP H09163210 A JPH09163210 A JP H09163210A JP 7324302 A JP7324302 A JP 7324302A JP 32430295 A JP32430295 A JP 32430295A JP H09163210 A JPH09163210 A JP H09163210A
Authority
JP
Japan
Prior art keywords
image
image pickup
frame
motion vector
captured
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP7324302A
Other languages
Japanese (ja)
Inventor
Kazutake Kamihira
員丈 上平
Takahiro Muraki
隆浩 村木
Kazuo Kimura
一夫 木村
Hideki Nakajima
秀樹 中嶋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Priority to JP7324302A priority Critical patent/JPH09163210A/en
Publication of JPH09163210A publication Critical patent/JPH09163210A/en
Pending legal-status Critical Current

Links

Landscapes

  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

(57)【要約】 【課題】 従来の解像度の高い撮像手段で撮像した画像
を、高いフレーム周波数で出力することが可能な技術を
提供すること。 【解決手段】 被写体を撮像する撮像手段と、該撮像を
電気信号に変換する変換手段とを有し、前記電気信号を
画像信号として出力する撮像システムにおいて、前記撮
像手段は、所定の画像数を有する第1の撮像手段と、該
第1の撮像手段と同一の領域を撮影し、前記所定の画素
数より多い画素数を有する第2の撮像手段とからなり、
前記第1の撮像手段が撮像した画像から動領域と該動領
域の動きベクトルとを検出する動きベクトル生成手段
と、前記動領域と前記動きベクトルとに基づき、前記第
2の撮像手段が撮像した画像から新たな画像を生成し、
該新たな画像を前記第2の撮像手段が撮像した画像と共
に出力する画像生成手段とを具備する。
(57) Abstract: To provide a technique capable of outputting an image picked up by a conventional high-resolution image pickup means at a high frame frequency. In an imaging system that includes an imaging unit that captures an image of a subject and a conversion unit that converts the captured image into an electrical signal, and outputs the electrical signal as an image signal, the imaging unit is configured to display a predetermined number of images. And a second image pickup unit having a larger number of pixels than the predetermined number of pixels for photographing the same region as the first image pickup unit.
Based on the motion area and the motion vector, a motion vector generation means that detects a motion area and a motion vector of the motion area from the image captured by the first imaging means, and the second imaging means images the motion area and the motion vector. Generate a new image from the image,
An image generating unit that outputs the new image together with the image captured by the second image capturing unit.

Description

【発明の詳細な説明】Detailed Description of the Invention

【0001】[0001]

【発明の属する技術分野】本発明は、撮像システムに関
し、特に、高解像度で動画を撮像するための撮像システ
ムに適用して有効な技術に関するものである。
BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to an image pickup system, and more particularly to a technique effective when applied to an image pickup system for picking up a moving image with high resolution.

【0002】[0002]

【従来の技術】従来の撮像システムは、基本的には、図
6に示すようにレンズ系1、光電変換系2、信号処理系
3から構成されていた。
2. Description of the Related Art A conventional image pickup system basically comprises a lens system 1, a photoelectric conversion system 2 and a signal processing system 3 as shown in FIG.

【0003】レンズ系1は、被写体の光学像を光電変換
系2の図示しない撮像素子(撮像手段)上に結像させる
ための光学レンズで構成されていた。
The lens system 1 is composed of an optical lens for forming an optical image of a subject on an image pickup device (image pickup means) (not shown) of the photoelectric conversion system 2.

【0004】光電変換系2は、たとえば、周知のCCD
(Charge CoupledDevice)等の撮
像素子と、この撮像素子を駆動するための駆動回路等か
ら構成されており、撮像素子に結像された被写体の光学
像を電気信号に変換する。
The photoelectric conversion system 2 is, for example, a well-known CCD.
It is composed of an image sensor such as (Charge Coupled Device) and a drive circuit for driving the image sensor, and converts an optical image of a subject formed on the image sensor into an electric signal.

【0005】信号処理系3は、電気信号の増幅および各
種補正処置等を行う。
The signal processing system 3 performs amplification of electric signals and various corrections.

【0006】このような従来の撮像システムでは、撮影
画像の解像度、すなわち、撮影画像の分解能は、主とし
て光電変換系2の図示しない撮像素子の受光素子数によ
り決定されていた。
In such a conventional image pickup system, the resolution of the picked-up image, that is, the resolution of the picked-up image is mainly determined by the number of light receiving elements of the image pickup element (not shown) of the photoelectric conversion system 2.

【0007】図7は撮像素子の概略構成を示す図であ
り、2pは受光素子を示す。
FIG. 7 is a diagram showing a schematic structure of an image pickup element, and 2p shows a light receiving element.

【0008】図7において、2次元に配列された受光素
子2pは、特に、動画の撮像に適しており、受光素子2
p上に結像された光学像の2次元的明暗分布を電気信号
の大小に変換する。
In FIG. 7, the two-dimensionally arranged light receiving elements 2p are particularly suitable for capturing a moving image.
The two-dimensional light and dark distribution of the optical image formed on p is converted into the magnitude of the electric signal.

【0009】1枚のフレーム画像を撮像する場合、光電
変換は受光素子2pの全てで同時に行われるが、光電変
換結果を1本の電気信号として取り出すときには、周知
の走査と呼ばれる方式、すなわち、各々の受光素子2p
から時系列的に読み出される。
When one frame image is picked up, photoelectric conversion is simultaneously performed by all of the light receiving elements 2p, but when the photoelectric conversion result is taken out as one electric signal, a method known as scanning, that is, each is used. Light receiving element 2p
Are read in time series.

【0010】近年、前述する撮像素子は1枚の半導体チ
ップ上に形成されており、固体撮像デバイスと呼ばれて
いる。
In recent years, the above-mentioned image pickup device is formed on one semiconductor chip and is called a solid-state image pickup device.

【0011】すなわち、撮像画像の解像度は半導体チッ
プ上に形成された受光素子2pの数によって決定される
ので、受光素子数が多いほど高精細な画像を撮像でき
る。
That is, since the resolution of the picked-up image is determined by the number of light receiving elements 2p formed on the semiconductor chip, the higher the number of light receiving elements, the higher the resolution of the image that can be picked up.

【0012】このため、従来の撮像システムでは、微細
加工技術等により受光素子2pを高密度で形成すること
により、受光素子2pの単位面積当たりの数を増やす方
法や、あるいは、半導体チップのサイズを大面積にする
ことにより、1つの撮像素子上に形成される受光素子2
pの数を増やす方法を用いることにより撮像画像の高精
細化行われてきた。
Therefore, in the conventional image pickup system, the number of light receiving elements 2p per unit area is increased by forming the light receiving elements 2p at a high density by a fine processing technique or the like, or the size of the semiconductor chip is increased. Light receiving element 2 formed on one image pickup element by increasing the area
High-definition of a captured image has been performed by using a method of increasing the number of p.

【0013】なお、半導体チップ上で1つの受光素子を
含むセルは、撮像デバイスの画素と呼ばれている。
A cell including one light receiving element on a semiconductor chip is called a pixel of an image pickup device.

【0014】[0014]

【発明が解決しようとする課題】本発明者は、前記従来
技術を検討した結果、以下の問題点を見いだした。
SUMMARY OF THE INVENTION As a result of studying the above prior art, the present inventor has found the following problems.

【0015】従来の撮像システムにおいては撮像画像の
解像度を高めるためには、撮像素子上の受光素子2pの
数を増やし続けなければならないが、受光素子2pの数
を増やした場合、撮像素子を走査するためのクロック周
波数を高くしなければならないという問題があった。
In the conventional image pickup system, in order to increase the resolution of a picked-up image, it is necessary to keep increasing the number of light receiving elements 2p on the image pickup element. However, when the number of light receiving elements 2p is increased, the image pickup element is scanned. There was a problem that the clock frequency for doing so must be increased.

【0016】前述するクロック周波数は、単位時間あた
りに情報が読み出される受光素子数Nに比例し、撮像素
子上の受光素子数をn、単位時間あたりのフレーム数
(フレーム周波数)をfとした場合、Nは次式に示すよ
うになる。
The above-mentioned clock frequency is proportional to the number N of light receiving elements from which information is read out per unit time, where n is the number of light receiving elements on the image pickup element and f is the number of frames (frame frequency) per unit time. , N is as shown in the following equation.

【0017】[0017]

【数1】N=n×f一方、動画を撮像する場合、fは一
定以上の値が必要であり、たとえば、現行方式のテレビ
ジョンであるNTSC方式TVやHDTV(High
Density Television)では30フレ
ーム/秒となる。
## EQU1 ## N = n × f On the other hand, when capturing a moving image, f needs to have a certain value or more. For example, the current system televisions such as NTSC system TV and HDTV (High
In Density Television, it is 30 frames / second.

【0018】したがって、NTSC方式TVに使用する
撮像素子の受光素子数を増やして撮像画像の解像度を高
くしようとする場合、受光素子数に比例してクロック周
波数を高くしなければならなかった。
Therefore, in order to increase the resolution of the picked-up image by increasing the number of light receiving elements of the image pickup element used in the NTSC system TV, it is necessary to increase the clock frequency in proportion to the number of light receiving elements.

【0019】また、従来の撮像素子にあって、動画の撮
像が可能(フレーム周波数が30フレーム/秒以上)で
あり、受光素子2pの数がもっとも多い撮像素子は、H
DTV用に使用されている200万画素(1000×2
000画素)程度の撮像素子である。
In the conventional image pickup device, a moving image can be picked up (frame frequency is 30 frames / sec or more), and the image pickup device having the largest number of light receiving elements 2p is H.
2 million pixels (1000 x 2) used for DTV
It is an image sensor of about 000 pixels).

【0020】画素数が前述する200万画素以上の撮像
素子としては、文献(1)の「Proceeding of SPIE Vo
l.1161 p61」に記載される4000×4000画素の撮
像素子、文献(2)の「DALSA社製品カタログ:CC
D Image Sensor and Camera」に記載される5000×
5000のCCD型撮像素子があるが、共にフレーム周
波数が10以下と低く、動画撮像には適用できないとい
う問題があった。
As the image pickup device having the number of pixels of 2 million pixels or more, the "Proceeding of SPIE Vo
l.1161 p61 ", 4000x4000 pixel image sensor, document (2)" DALSA product catalog: CC
5000 × described in "D Image Sensor and Camera"
There are 5000 CCD type image pickup devices, but both have a problem that the frame frequency is as low as 10 or less and cannot be applied to moving image pickup.

【0021】本発明の目的は、従来の解像度の高い撮像
手段で撮像した画像を、高いフレーム周波数で出力する
ことが可能な技術を提供することにある。
An object of the present invention is to provide a technique capable of outputting an image picked up by a conventional high-resolution image pickup means at a high frame frequency.

【0022】本発明の前記ならびにその他の目的と新規
な特徴は、本明細書の記述及び添付図面によって明らか
になるであろう。
The above and other objects and novel features of the present invention will become apparent from the description of the present specification and the accompanying drawings.

【0023】[0023]

【課題を解決するための手段】本願において開示される
発明のうち、代表的なものの概要を簡単に説明すれば、
下記のとおりである。
SUMMARY OF THE INVENTION Among the inventions disclosed in the present application, the outline of a representative one will be briefly described.
It is as follows.

【0024】被写体を撮像する撮像手段と、該撮像を電
気信号に変換する変換手段とを有し、前記電気信号を画
像信号として出力する撮像システムにおいて、前記撮像
手段は、所定の画像数を有する第1の撮像手段と、該第
1の撮像手段と同一の領域を撮影し、前記所定の画素数
より多い画素数を有する第2の撮像手段とからなり、前
記第1の撮像手段が撮像した画像から動領域と該動領域
の動きベクトルとを検出する動きベクトル生成手段と、
前記動領域と前記動きベクトルとに基づき、前記第2の
撮像手段が撮像した画像から新たな画像を生成し、該新
たな画像を前記第2の撮像手段が撮像した画像と共に出
力する画像生成手段とを具備する。
In an image pickup system having an image pickup means for picking up an image of a subject and a conversion means for converting the image pickup into an electric signal, and outputting the electric signal as an image signal, the image pickup means has a predetermined number of images. The first image pickup means and the second image pickup means having the number of pixels larger than the predetermined number of pixels are photographed in the same area as the first image pickup means, and the first image pickup means picks up the image. Motion vector generation means for detecting a motion area and a motion vector of the motion area from an image;
An image generating unit that generates a new image from the image captured by the second image capturing unit based on the moving region and the motion vector, and outputs the new image together with the image captured by the second image capturing unit. And.

【0025】前述した手段によれば、動画撮像に必要な
フレーム周波数で駆動できない第2の撮像手段で撮像し
た画像を、動画撮像のフレーム周波数で出力するため
に、第1の撮像手段で撮像した画像からベクトル生成手
段が画像中の動領域とその動きベクトルとを検出する。
According to the above-mentioned means, the image picked up by the second image pickup means which cannot be driven at the frame frequency necessary for picking up the moving picture is picked up by the first image pickup means in order to output at the frame frequency for picking up the moving picture. From the image, the vector generation means detects the moving area in the image and the motion vector thereof.

【0026】一方、画像生成手段は第2の撮像手段が撮
像した高画質の画像を、動画撮像のフレーム周波数で決
定される出力周期に同期させて出力すると共に、動領域
と動きベクトルとに基づき、第2の撮像手段の撮像した
画素数の多い、すなわち、高画質の画像から、欠落する
ことになる画像を新たに生成し、この新たに生成した画
像を欠落することになるタイミングで、第2の撮像手段
が撮像した画像として出力することにより、画素数の多
い第2の撮像手段が撮像した高画質の画像を動画撮像の
フレーム周波数で決定される出力周期毎に出力できるの
で、従来の解像度の高い第2の撮像手段で撮像した高画
質の画像を、高いフレーム周波数で出力することができ
る。
On the other hand, the image generating means outputs the high-quality image captured by the second image capturing means in synchronization with the output cycle determined by the frame frequency of the moving image capturing, and based on the moving area and the motion vector. , An image to be dropped is newly generated from an image having a large number of pixels captured by the second image pickup means, that is, a high quality image, and at a timing at which the newly generated image is dropped, By outputting as an image captured by the second image capturing unit, a high-quality image captured by the second image capturing unit having a large number of pixels can be output at each output cycle determined by the frame frequency of moving image capturing. It is possible to output a high-quality image captured by the second image capturing unit having high resolution at a high frame frequency.

【0027】[0027]

【発明の実施の形態】以下、本発明について、発明の実
施の形態(実施例)とともに図面を参照して詳細に説明
する。
DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS Hereinafter, the present invention will be described in detail with reference to the drawings together with embodiments (examples) of the invention.

【0028】なお、発明の実施の形態を説明するための
全図において、同一機能を有するものは同一符号を付
け、その繰り返しの説明は省略する。
In all the drawings for describing the embodiments of the present invention, components having the same functions are denoted by the same reference numerals, and their repeated description will be omitted.

【0029】(実施の形態1)図1は本発明の実施の形
態1の撮像システムの概略構成を示すブロック図であ
り、1はレンズ、21は超多画素撮像デバイス(第1の
撮像手段)、22は低画素撮像デバイス(第2の撮像手
段)、4はハーフミラー、51,52は前処理手段、6
は動きベクトル生成手段、7はフレーム遅延手段、8は
画像合成手段(画像生成手段)、Mはモニタを示す。
(Embodiment 1) FIG. 1 is a block diagram showing a schematic configuration of an image pickup system according to Embodiment 1 of the present invention, in which 1 is a lens and 21 is an ultra-multipixel image pickup device (first image pickup means). , 22 is a low pixel imaging device (second imaging means), 4 is a half mirror, 51 and 52 are pre-processing means, 6
Is a motion vector generating means, 7 is a frame delaying means, 8 is an image synthesizing means (image generating means), and M is a monitor.

【0030】図1において、レンズ1は所定の焦点距離
を有する周知のレンズであり、被写体の画像をハーフミ
ラー4を介して、超多画素撮像デバイス21および低画
素撮像デバイス22上に結像させる。
In FIG. 1, a lens 1 is a well-known lens having a predetermined focal length, and an image of a subject is formed on a super multi-pixel image pickup device 21 and a low pixel image pickup device 22 via a half mirror 4. .

【0031】超多画素撮像デバイス21は周知の画素数
の多い撮像デバイスであり、たとえば、2000×20
00画素の撮像デバイスである。
The super multi-pixel image pickup device 21 is a well-known image pickup device having a large number of pixels, for example, 2000 × 20.
It is an image pickup device with 00 pixels.

【0032】また、超多画素撮像デバイス21は、動画
の撮像に必要であるフレーム周波数30Hzでは駆動で
きないので、図示しない駆動手段aによりフレーム周波
数15Hzで駆動される。
Further, since the super multi-pixel image pickup device 21 cannot be driven at the frame frequency of 30 Hz necessary for picking up a moving image, it is driven at a frame frequency of 15 Hz by the driving means a (not shown).

【0033】低画素撮像デバイス22は周知の通常もし
くは画素数の少ない撮像デバイスであり、たとえば、図
示しない駆動手段bによりフレーム周波数30Hzで駆
動される、1000×1000画素の撮像デバイスであ
る。
The low pixel image pickup device 22 is a well-known normal image pickup device or a small image pickup device having a small number of pixels.

【0034】ハーフミラー4は周知のハーフミラーであ
り、レンズ1から入力される被写体の光学像を超多画素
撮像デバイス21と低画素撮像デバイス22とに結像さ
せるために、光線を2分する。
The half mirror 4 is a well-known half mirror and divides a light beam into two in order to form an optical image of a subject input from the lens 1 on the super-multipixel image pickup device 21 and the low pixel image pickup device 22. .

【0035】前処理手段51,52は、超多画素撮像デ
バイス21および低画素撮像デバイス22で電気信号に
変換された被写体の画像情報を、周知のA/D変換器で
デジタル信号に変換すると共に、黒レベル調整および輝
度調整等の周知の補正処理を行う。
The pre-processing means 51, 52 convert the image information of the subject converted into electric signals by the super-multipixel image pickup device 21 and the low-pixel image pickup device 22 into digital signals by a known A / D converter. Well-known correction processing such as black level adjustment and brightness adjustment is performed.

【0036】動きベクトル生成手段6は、周知の技術を
用いており、入力される画像情報の内で動領域を検出す
ると共に、その動きベクトル、すなわち、検出した動領
域の移動方向および移動量を計算する。
The motion vector generating means 6 uses a well-known technique and detects a moving area in the input image information, and at the same time, detects the moving vector, that is, the moving direction and moving amount of the detected moving area. calculate.

【0037】フレーム遅延手段7は、周知の技術を用い
ており、入力される画像情報を、たとえば、内蔵される
画像メモリに一時的に記憶させておくことにより、1フ
レーム分遅延させて画像情報を出力する。
The frame delay means 7 uses a well-known technique, and the input image information is temporarily stored in, for example, a built-in image memory to delay the image information by one frame. Is output.

【0038】なお、フレーム遅延手段7の遅延基準とな
るフレーム信号は、超多画素撮像デバイス21を駆動す
るための図示しない駆動手段aの駆動信号を基準とす
る。
The frame signal serving as the delay reference of the frame delay means 7 is based on the drive signal of the drive means a (not shown) for driving the super multi-pixel image pickup device 21.

【0039】画像合成手段8は、フレーム遅延手段7か
ら入力される画像情報は入力されると直ちに出力すると
共に、動きベクトル生成手段6で検出される動領域、そ
のベクトル情報、画像情報(1)および画像情報(2)
とから新たな画像情報を生成し、この画像情報をフレー
ム遅延手段7から入力される画像情報(1)と、次の画
像情報(2)との間に出力することにより、フレーム周
波数30Hzで画像情報を出力する。
The image synthesizing means 8 immediately outputs the image information input from the frame delay means 7, and at the same time, the moving area detected by the motion vector generating means 6, its vector information, and image information (1). And image information (2)
By generating new image information from the image information and outputting this image information between the image information (1) input from the frame delay means 7 and the next image information (2), the image is displayed at the frame frequency of 30 Hz. Output information.

【0040】なお、本実施の形態1において、レンズ
1、超多画素撮像デバイス21、低画素撮像デバイス2
2およびハーフミラー4は図示しないケースに収められ
ており、レンズ1を通過した光のみが超多画素撮像デバ
イス21および低画素撮像デバイス22に入射すること
はいうまでもない。
In the first embodiment, the lens 1, the super-multipixel image pickup device 21, and the low pixel image pickup device 2 are used.
Needless to say, the light 2 and the half mirror 4 are housed in a case (not shown), and only the light that has passed through the lens 1 is incident on the super-multipixel image pickup device 21 and the low-pixel image pickup device 22.

【0041】図2はフレーム間の画像を生成する動作を
説明するための図であり、(i)…(i+4)(ただ
し、iは1以上の自然数)はフレーム番号、Rmは動領
域、Rsは静止領域、Vmはフレーム(i)からフレー
ム(i+1)の間に動領域Rmが移動したときの動きベ
クトル、Tは低画素撮像デバイス22のフレーム周期を
示し、特に、本実施の形態1におけるフレーム周期Tは
T=1/(30Hz)である。
FIG. 2 is a diagram for explaining the operation of generating an image between frames. (I) ... (i + 4) (where i is a natural number of 1 or more) is a frame number, Rm is a moving area, and Rs is Is a still region, Vm is a motion vector when the moving region Rm moves from frame (i) to frame (i + 1), T is a frame period of the low pixel imaging device 22, and particularly in the first embodiment. The frame period T is T = 1 / (30 Hz).

【0042】したがって、超多画素撮像デバイス21の
フレーム周期は2Tとなる。
Therefore, the frame period of the super multi-pixel image pickup device 21 is 2T.

【0043】次に、図2に基づき本実施の形態1の撮像
システムの動作を説明すると、まず、レンズ1から入射
した光は、ハーフミラー4で超多画素撮像デバイス21
に向かう光と、低画素撮像デバイス22に向かう光に分
光され、それぞれの撮像デバイス上で結像する。
Next, the operation of the image pickup system according to the first embodiment will be described with reference to FIG. 2. First, the light incident from the lens 1 is transmitted by the half mirror 4 to the super multi-pixel image pickup device 21.
Toward the low-pixel image pickup device 22 and the light toward the low-pixel image pickup device 22, and are imaged on the respective image pickup devices.

【0044】次に、超多画素撮像デバイス21および低
画素撮像デバイス22で電気信号に変換された画像(フ
レーム画像)は、図示しない駆動回路a,bによりそれ
ぞれ読み出され、前処理部51,52で画像の補正を行
われる。
Next, the images (frame images) converted into electric signals by the super-multipixel image pickup device 21 and the low-pixel image pickup device 22 are read by the drive circuits a and b (not shown), respectively, and the preprocessor 51, At 52, the image is corrected.

【0045】このとき、図2に示すように、低画素撮像
デバイス22側ではフレーム周波数が高く、周期Tでフ
レーム画像を撮像するのに対して、超多画素撮像デバイ
ス21側ではフレーム周波数が低く、動画撮像に必要な
フレーム周期(T=1/(30Hz))でフレーム画像
を撮像することができない。
At this time, as shown in FIG. 2, the frame frequency is high on the low pixel image pickup device 22 side and a frame image is picked up at the cycle T, whereas the frame frequency is low on the super multi-pixel image pickup device 21 side. , Frame images cannot be captured at the frame cycle (T = 1 / (30 Hz)) required for capturing moving images.

【0046】すなわち、図2においては、点線で示すよ
うにフレーム番号(i+1)、(i+3)でフレーム画
像が欠落する。
That is, in FIG. 2, the frame images are missing at the frame numbers (i + 1) and (i + 3) as shown by the dotted lines.

【0047】このため、本発明の実施の形態1では、ま
ず、低画素撮像デバイス22が撮像した(i)と(i+
1)番目のフレーム画像とから、動きベクトル生成手段
6が動領域Rmとその動きベクトルVmを求める。
Therefore, in the first embodiment of the present invention, first, the low pixel image pickup device 22 picks up images (i) and (i +).
From the 1) th frame image, the motion vector generation means 6 obtains the motion region Rm and its motion vector Vm.

【0048】次に、画像合成手段8は、超多画素撮像デ
バイス21が撮像した(i)番目のフレーム画像におけ
る動領域Rmを、生成すべき(i+1)目のフレーム画
像内に、動きベクトルVmで示される位置にコピーす
る。
Next, the image synthesizing means 8 sets the motion vector Rm in the (i + 1) th frame image to be generated as the moving region Rm in the (i) th frame image captured by the super-multipixel image capturing device 21. Copy to the position indicated by.

【0049】次に、画像合成手段8は、超多画素撮像デ
バイス21が撮像した(i)番目のフレーム画像におけ
る静止領域Rsを、生成すべき(i+1)番目のフレー
ム画像内にコピーする。
Next, the image synthesizing means 8 copies the still area Rs in the (i) th frame image captured by the super-multipixel image pickup device 21 into the (i + 1) th frame image to be generated.

【0050】次に、(i)番目のフレーム画像で動領域
Rmが存在した領域については、(i+2)番目のフレ
ーム画像の同一領域を、生成すべき(i+1)番目のフ
レーム画像にコピーする。
Next, for the area where the moving area Rm exists in the (i) th frame image, the same area of the (i + 2) th frame image is copied to the (i + 1) th frame image to be generated.

【0051】以上に示す手順により作成された(i+
1)番目のフレーム画像を(i+1)に出力することに
より、超多画素撮像デバイス21では欠落することにな
るフレーム画像を生成して表示させる。
(I +) created by the above procedure
By outputting the 1) th frame image to (i + 1), a frame image that will be missing in the super-multipixel imaging device 21 is generated and displayed.

【0052】以降、超多画素撮像デバイス21では欠落
することになる(i+3)番目のフレーム画像について
も同様に生成することにより表示することができる。
After that, the (i + 3) th frame image, which will be missing in the super-multipixel image pickup device 21, can be similarly generated and displayed.

【0053】以上説明したように、本実施の形態1によ
れば、ハーフミラー4で分光された光(被写体)、すな
わち、超多画素撮像デバイス21と同一の領域をフレー
ム周波数で低画素撮像デバイス22が撮像したフレーム
画像から、動きベクトル生成手段6が検出した動領域R
mとその動きベクトルVmとに基づいて、画像合成手段
8が超多画素撮像デバイス21の撮像した2000×2
000画素のフレーム画像から欠落することになる画像
を新たに生成し、欠落することになるフレームで新たに
生成した画像を出力することにより、超多画素撮像デバ
イス21が撮像した高画質の画像を出力周期T毎に出力
できるので、超多画素撮像デバイス21で撮像した高画
質の画像を、超多画素撮像デバイス21のフレーム周期
より小さいフレーム周期T、すなわち、低画素撮像デバ
イス22と同じフレーム周期で超多画素撮像デバイス2
1が撮像したフレーム画像を出力することができる。
As described above, according to the first embodiment, the light (subject) dispersed by the half mirror 4, that is, the same region as the super multi-pixel image pickup device 21 has the low pixel image pickup device at the frame frequency. The moving region R detected by the motion vector generation means 6 from the frame image captured by 22.
2000 × 2 imaged by the super-multipixel image pickup device 21 by the image synthesizing means 8 based on m and its motion vector Vm.
A high-quality image captured by the super-multipixel imaging device 21 is generated by newly generating an image that will be missing from the frame image of 000 pixels and outputting the image that is newly generated in the frame that will be missing. Since the image can be output at each output cycle T, a high-quality image captured by the super-multipixel imaging device 21 is a frame cycle T smaller than the frame cycle of the super-multipixel imaging device 21, that is, the same frame cycle as the low-pixel imaging device 22. With super multi-pixel imaging device 2
It is possible to output the frame image captured by the device 1.

【0054】(実施の形態2)図3は本発明の実施の形
態2の撮像システムの概略構成を示すブロック図であ
り、9は伝送手段、Eは符号化手段、Dは復号化手段を
示す。
(Embodiment 2) FIG. 3 is a block diagram showing a schematic structure of an image pickup system according to Embodiment 2 of the present invention, in which 9 is a transmission means, E is an encoding means, and D is a decoding means. .

【0055】図3において、伝送手段9は、たとえば、
建物内の1階と2階とを結ぶ周知の伝送線、あるいは、
電話回線やインターネット等の周知の公衆回線であり、
この図に示すように、レンズ1、超多画素撮像デバイス
21、低画素撮像デバイス22、ハーフミラー4、前処
理手段51,52、動きベクトル生成手段6および符号
化手段Eからなる撮像側と、復号化手段D、フレーム遅
延手段7、画像合成手段8およびモニタMからなる表示
側とを結ぶ。
In FIG. 3, the transmission means 9 is, for example,
A well-known transmission line that connects the first and second floors in the building, or
It is a well-known public line such as a telephone line or the Internet,
As shown in this figure, an imaging side including a lens 1, a super-multipixel imaging device 21, a low-pixel imaging device 22, a half mirror 4, preprocessing means 51 and 52, a motion vector generation means 6 and an encoding means E, The display side including the decoding means D, the frame delay means 7, the image synthesizing means 8 and the monitor M is connected.

【0056】なお、伝送路9は有線の信号線路に限定さ
せることはなく、無線を使用する信号線路でもよいこと
はいうまでもない。
It is needless to say that the transmission line 9 is not limited to a wired signal line, and may be a wireless signal line.

【0057】符号化器Eは、周知の符号圧縮手段であ
り、入力されるデジタル信号を所定の手順に従い圧縮す
る。
The encoder E is a well-known code compression means and compresses an input digital signal according to a predetermined procedure.

【0058】復号化手段Dは、周知の符号復号化手段で
あり、入力される圧縮されたデジタル信号を所定の手順
に従い復号化(伸張)する。
The decoding means D is a well-known code decoding means, and decodes (expands) the input compressed digital signal according to a predetermined procedure.

【0059】図3に示す撮像システムは、本発明を撮像
側と表示側とが伝送路を介し、離れた位置に配置されて
いるシステムであり、以下、図3に基づき、本発明の実
施の形態2の撮像システムの動作を説明する。
The image pickup system shown in FIG. 3 is a system in which the image pickup side and the display side are arranged at positions separated from each other via a transmission line, and the embodiment of the present invention will be described below based on FIG. The operation of the imaging system of mode 2 will be described.

【0060】まず、超多画素撮像デバイス21が撮像し
たフレーム画像は、実施の形態1に示す撮像システムと
同様に、動きベクトル生成手段6に入力される。
First, the frame image picked up by the super multi-pixel image pickup device 21 is input to the motion vector generation means 6 as in the image pickup system shown in the first embodiment.

【0061】動きベクトル生成手段6で検出された動領
域Rmと動きベクトルVmとは、伝送手段9を介して画
像合成手段8に入力される。
The moving area Rm and the motion vector Vm detected by the motion vector generating means 6 are input to the image synthesizing means 8 via the transmitting means 9.

【0062】一方、低画素撮像デバイス22が撮像した
フレーム画像は、実施の形態1に示す撮像システムと同
様に、前処理手段52で補正を行われた後、符号化手段
Eに入力される。
On the other hand, the frame image picked up by the low-pixel image pickup device 22 is input to the coding means E after being corrected by the preprocessing means 52, as in the image pickup system shown in the first embodiment.

【0063】符号化手段Eに入力されたフレーム画像
は、所定の圧縮をされた後、伝送手段9を介して復号化
手段Dに入力され、復号化手段Dで複合化される。
The frame image input to the encoding means E is subjected to a predetermined compression and then input to the decoding means D via the transmission means 9 and is composited by the decoding means D.

【0064】複合化手段Dから出力されたフレーム画像
は、実施の形態1に示す撮像システムと同様に、画像合
成手段8とフレーム遅延手段7とに出力され、フレーム
遅延手段に入力したフレーム画像は、1フレーム分だけ
遅延を行われ画像合成手段8に入力される。
The frame image output from the compositing means D is output to the image synthesizing means 8 and the frame delay means 7 as in the image pickup system shown in the first embodiment, and the frame image input to the frame delay means is It is delayed by one frame and input to the image synthesizing means 8.

【0065】画像合成手段8では、入力された動領域R
m、動きベクトルVmおよびフレーム画像から、フレー
ム周波数30Hzの画像を合成してモニタMに出力す
る。
In the image synthesizing means 8, the input moving area R
An image with a frame frequency of 30 Hz is synthesized from m, the motion vector Vm, and the frame image and output to the monitor M.

【0066】以上説明したように、本実施の形態2によ
れば、レンズ1、超多画素撮像デバイス21、低画素撮
像デバイス22、ハーフミラー4、前処理手段51,5
2、動きベクトル生成手段6、フレーム遅延手段7、画
像合成手段8およびモニタMの基本構成や使用する撮像
デバイスは、前述する実施の形態1の撮像システムと同
じであるが、情報を伝送手段9を介して伝送するため
に、超多画素撮像デバイス21で撮像したフレーム画像
は画像信号(画像情報)を撮像側で符号化して伝送し、
表示側で複合化され、さらに、表示側の画像合成手段8
で画像合成を行う構成となるので、前述する実施の形態
1の効果に加え、画像情報を伝送するためのデータ量を
増やすことなく、超多画素撮像デバイス21で撮像した
画像を表示側に伝送できるという効果もある。
As described above, according to the second embodiment, the lens 1, the super-multipixel image pickup device 21, the low pixel image pickup device 22, the half mirror 4, and the preprocessing means 51, 5 are provided.
2, the motion vector generation means 6, the frame delay means 7, the image composition means 8 and the basic configuration of the monitor M and the image pickup device used are the same as those of the image pickup system of the first embodiment described above, but the information transmission means 9 is used. In order to transmit the frame image captured by the super multi-pixel image capturing device 21, the image signal (image information) is encoded on the image capturing side and transmitted.
The image is combined on the display side, and further the image combining means 8 on the display side.
In addition to the effect of the first embodiment described above, the image captured by the super multi-pixel image capturing device 21 is transmitted to the display side in addition to the effect of the first embodiment described above. There is also an effect that you can.

【0067】(実施の形態3)図4は本発明の実施の形
態3の撮像システムの概略構成を示すブロック図であ
り、Dpはダイクロイックプリズム、21B,21G,
21Rは超多画素撮像デバイス、5B,5G,5Rは前
処理部、7B,7G,7Rはフレーム遅延手段、8B,
8G,8Rは画像合成手段を示す。
(Third Embodiment) FIG. 4 is a block diagram showing the schematic arrangement of an image pickup system according to the third embodiment of the present invention. Dp is a dichroic prism, 21B, 21G,
21R is a super multi-pixel imaging device, 5B, 5G and 5R are pre-processing units, 7B, 7G and 7R are frame delay means, 8B,
Reference numerals 8G and 8R denote image synthesizing means.

【0068】図4において、ダイクロイックプリズムD
pは、周知のプリズムであり、所定の面から入力された
光を赤色(R)、緑色(G)、青色(B)の光にそれぞ
れ分光する。
In FIG. 4, the dichroic prism D
p is a well-known prism, and splits the light input from a predetermined surface into red (R), green (G), and blue (B) lights, respectively.

【0069】超多画素撮像デバイス21Bは、ダイクロ
イックプリズムDpで分光された光の内で青色の光が出
力される面に設置される超多画素撮像デバイス、超多画
素撮像デバイス21Gは、ダイクロックプリズムDpで
分光された光の内で緑色の光が出力される面に設置され
る超多画素撮像デバイス、超多画素撮像デバイス21R
は、ダイクロックプリズムDpで分光された光の内で赤
色の光が出力される面に設置される超多画素撮像デバイ
スである。
The super-multi-pixel image pickup device 21B is an ultra-multi-pixel image pickup device installed on the surface from which blue light is output from the light dispersed by the dichroic prism Dp. Ultra-multi-pixel imaging device, super-multi-pixel imaging device 21R, which is installed on a surface from which green light is output from the light dispersed by the prism Dp
Is a super multi-pixel image pickup device which is installed on a surface from which red light is output among the light split by the dichroic prism Dp.

【0070】前処理手段5Bは、前述する前処理手段5
1,52と同じ構成であり、超多画素撮像デバイス21
Bで電気信号に変換された被写体の画像情報の補正処理
を行う。
The preprocessing means 5B is the preprocessing means 5 described above.
1, 52 has the same configuration as the super multi-pixel imaging device 21.
The correction processing of the image information of the subject converted into the electric signal in B is performed.

【0071】前処理手段5Gは、前述する前処理手段5
1,52と同じ構成であり、超多画素撮像デバイス21
Gで電気信号に変換された被写体の画像情報の補正処理
を行う。
The preprocessing means 5G is the preprocessing means 5 described above.
1, 52 has the same configuration as the super multi-pixel imaging device 21.
The image information of the subject converted into the electric signal by G is corrected.

【0072】前処理手段5Rは、前述する前処理手段5
1,52と同じ構成であり、超多画素撮像デバイス21
Rで電気信号に変換された被写体の画像情報の補正処理
を行う。
The pre-processing means 5R is the above-mentioned pre-processing means 5
1, 52 has the same configuration as the super multi-pixel imaging device 21.
The correction processing of the image information of the subject converted into the electric signal by R is performed.

【0073】フレーム遅延手段7Bは、前述するフレー
ム遅延手段7と同じ構成であり、前処理手段5Bから入
力される画像情報を1フレーム分遅延させて出力する。
The frame delay means 7B has the same configuration as the frame delay means 7 described above, and delays the image information input from the preprocessing means 5B by one frame and outputs it.

【0074】フレーム遅延手段7Gは、前述するフレー
ム遅延手段7と同じ構成であり、前処理手段5Gから入
力される画像情報を1フレーム分遅延させて出力する。
The frame delay means 7G has the same structure as the frame delay means 7 described above, and delays the image information input from the preprocessing means 5G by one frame and outputs it.

【0075】フレーム遅延手段7Rは、前述するフレー
ム遅延手段7と同じ構成であり、前処理手段5Rから入
力される画像情報を1フレーム分遅延させて出力する。
The frame delay means 7R has the same structure as the frame delay means 7 described above, and delays the image information input from the preprocessing means 5R by one frame and outputs it.

【0076】なお、フレーム遅延手段7B,7G,7R
の遅延基準となるフレーム信号は、超多画素撮像デバイ
ス21B,21G,21Rを駆動するための図示しない
駆動手段の駆動信号を基準とする。
The frame delay means 7B, 7G, 7R
The frame signal serving as the delay reference is based on the drive signal of the driving unit (not shown) for driving the super-multipixel image pickup devices 21B, 21G, and 21R.

【0077】画像合成手段8Bは、フレーム遅延手段7
Bから画像情報が入力されるとその画像情報を直ちに出
力すると共に、動きベクトル生成手段6で検出される動
領域、そのベクトル情報、画像情報(1)および画像情
報(2)とから新たな画像情報を生成し、この画像情報
をフレーム遅延手段7Bから入力される画像情報(1)
と、次の画像情報(2)との間に出力することにより、
フレーム周波数30Hzで画像情報を出力する。
The image composition means 8B is the frame delay means 7
When the image information is input from B, the image information is immediately output, and a new image is obtained from the moving area detected by the motion vector generation means 6, the vector information, the image information (1) and the image information (2). Information is generated, and this image information is input as image information (1) from the frame delay means 7B.
And the next image information (2),
Image information is output at a frame frequency of 30 Hz.

【0078】画像合成手段8Gは、フレーム遅延手段7
Gから画像情報が入力されるとその画像情報を直ちに出
力すると共に、動きベクトル生成手段6で検出される動
領域、そのベクトル情報、画像情報(1)および画像情
報(2)とから新たな画像情報を生成し、この画像情報
をフレーム遅延手段7Gから入力される画像情報(1)
と、次の画像情報(2)との間に出力することにより、
フレーム周波数30Hzで画像情報を出力する。
The image synthesizing means 8G is the frame delay means 7
When the image information is input from G, the image information is immediately output, and a new image is obtained from the moving area detected by the motion vector generating means 6, the vector information, the image information (1) and the image information (2). Information is generated, and this image information is input as image information (1) from the frame delay means 7G.
And the next image information (2),
Image information is output at a frame frequency of 30 Hz.

【0079】画像合成手段8Rは、フレーム遅延手段7
Rから画像情報が入力されるとその画像情報を直ちに出
力すると共に、動きベクトル生成手段6で検出される動
領域、そのベクトル情報、画像情報(1)および画像情
報(2)とから新たな画像情報を生成し、この画像情報
をフレーム遅延手段7Rから入力される画像情報(1)
と、次の画像情報(2)との間に出力することにより、
フレーム周波数30Hzで画像情報を出力する。
The image synthesizing means 8R is the frame delay means 7
When the image information is input from R, the image information is immediately output, and a new image is obtained from the moving area detected by the motion vector generating means 6, the vector information, the image information (1) and the image information (2). Information is generated, and this image information is input as image information (1) from the frame delay means 7R.
And the next image information (2),
Image information is output at a frame frequency of 30 Hz.

【0080】図4に示す撮像システムは、本発明をカラ
ー動画像の撮像システムに適用したものであり、以下、
図4に基づき、本発明の実施の形態3の撮像システムの
動作を説明する。
The image pickup system shown in FIG. 4 is obtained by applying the present invention to a color moving image pickup system.
The operation of the imaging system according to the third embodiment of the present invention will be described with reference to FIG.

【0081】なお、超多画素撮像デバイス21B,21
G,21R、前処理手段5B,5G,5R、フレーム遅
延手段7B,7G,7Rおよび画像合成手段8B,8G
8Rからなる画像の合成手順は、RGBの各色成分毎で
は前述する実施の形態1の撮像システムと同じである。
The super multi-pixel image pickup devices 21B and 21
G, 21R, preprocessing means 5B, 5G, 5R, frame delay means 7B, 7G, 7R and image composition means 8B, 8G.
The procedure of synthesizing an image composed of 8R is the same as that of the image pickup system of the first embodiment described above for each of the RGB color components.

【0082】したがって、本実施の形態3の撮像システ
ムでは、ダイクロイックプリズムDpによりRGBの各
色成分ごとの光学像を、RGBの各色毎に超多画素撮像
デバイス21B,21G,21Rで電気信号に変換す
る。
Therefore, in the image pickup system of the third embodiment, the dichroic prism Dp converts the optical image of each of the RGB color components into an electric signal by the super multi-pixel image pickup devices 21B, 21G, and 21R. .

【0083】一方、低画素撮像デバイス22は1個と
し、モノクロ画像から動領域Rmと動きベクトルVmと
を、前述する実施の形態1に示す手順により求める。
On the other hand, the number of low-pixel image pickup devices 22 is one, and the moving area Rm and the motion vector Vm are obtained from the monochrome image by the procedure shown in the above-described first embodiment.

【0084】また、本実施の形態3の撮像システムにお
いては、図4に示すように、RGBの各色成分毎に撮像
した画像を並列に処理することによって、モニタMにカ
ラーの画像を表示させる。
Further, in the image pickup system of the third embodiment, as shown in FIG. 4, the image picked up for each color component of RGB is processed in parallel to display a color image on the monitor M.

【0085】このとき、動領域Rmと動きベクトルVm
とは、前述するように1つの低画素撮像デバイス22で
撮像した画像から得たものを、画像合成部8B,8G,
8Rでそれぞれ使用する。
At this time, the motion area Rm and the motion vector Vm
As described above, what is obtained from the image picked up by the single low pixel image pickup device 22 is the image synthesizing unit 8B, 8G,
Used in 8R respectively.

【0086】以上説明したように、本実施の形態3によ
れば、RGBの各色成分毎に分光し、この分光した光を
各色に対応する超多画素撮像デバイス21B,21G,
21Rで電気信号に変換するにより、RGB各色成分毎
の高分解能の画像を撮像することができると共に、1個
の低画素撮像デバイス22で撮像した画像から得た動領
域Rmと動きベクトルVmとを得て、この動領域Rmと
動きベクトルVmとを各色毎に共用するので、動領域R
mと動きベクトルVmとを計算する(得る)ための手段
を1つのみで構成できる。
As described above, according to the third embodiment, the color components of R, G, and B are spectrally separated, and the dispersed light is divided into super-multipixel image pickup devices 21B, 21G, which correspond to the respective colors.
By converting into an electric signal by 21R, a high-resolution image for each of the RGB color components can be captured, and the moving region Rm and the motion vector Vm obtained from the image captured by one low pixel imaging device 22 can be captured. Since the moving area Rm and the motion vector Vm are shared for each color, the moving area Rm
It is possible to configure only one means for calculating (obtaining) m and the motion vector Vm.

【0087】(実施の形態4)図5は本発明の実施の形
態4の撮像システムの概略構成を示すブロック図であ
り、C1,C2はCCDカメラを示す。
(Fourth Embodiment) FIG. 5 is a block diagram showing a schematic structure of an image pickup system according to a fourth embodiment of the present invention, and C1 and C2 denote CCD cameras.

【0088】図4において、CCDカメラC1,C2は
周知のCCD(Charge Coupled Dev
ice)を撮像デバイスに用いたテレビカメラであり、
CCDカメラC1は超多画素撮像デバイスのCCDを用
いており、CCDカメラC2は低画素撮像デバイスのC
CDを用いている。
In FIG. 4, CCD cameras C1 and C2 are known CCDs (Charge Coupled Dev).
ice) is a television camera using an imaging device,
The CCD camera C1 uses the CCD of the super-multi-pixel image pickup device, and the CCD camera C2 uses the CCD of the low-pixel image pickup device.
CD is used.

【0089】また、CCDカメラC1とCCDカメラC
2とはハーフミラー4により、同一の領域を撮像する。
Further, the CCD camera C1 and the CCD camera C
The same area as 2 is imaged by the half mirror 4.

【0090】次に、図5に基づき、本発明の実施の形態
4の撮像システムの動作を説明すると、前述する実施の
形態1と同様に、ハーフミラー4で分光された光、すな
わち、超多画素のCCDカメラC1と同一の領域を、フ
レーム周波数のCCDカメラC2で撮像したフレーム画
像から、動きベクトル生成手段6が検出した動領域Rm
とその動きベクトルVmとに基づいて、画像合成手段8
がCCDカメラC1の撮像した高画質のフレーム画像か
ら欠落することになる画像を生成し、欠落することにな
るフレームで出力するので、CCDカメラC2と同じフ
レーム周波数でCCDカメラC1が撮像したフレーム画
像を画像合成手段8からモニタMに出力し、表示するこ
とができる。
Next, referring to FIG. 5, the operation of the image pickup system according to the fourth embodiment of the present invention will be described. As in the case of the above-mentioned first embodiment, the light split by the half mirror 4, that is, the super-multiplicity. The moving area Rm detected by the motion vector generation means 6 from the frame image obtained by capturing the same area as the pixel CCD camera C1 with the frame frequency CCD camera C2.
And the motion vector Vm thereof, the image synthesizing means 8
Generates an image that will be missing from the high-quality frame image captured by the CCD camera C1 and outputs it in the frame that will be missing. Therefore, the frame image captured by the CCD camera C1 at the same frame frequency as the CCD camera C2. Can be output from the image synthesizing means 8 to the monitor M and displayed.

【0091】なお、本発明の実施の形態1〜4において
は、超多画素撮像デバイス(CCDカメラC1)のフレ
ーム周波数を低画素撮像デバイス(CCDカメラC2)
のフレーム周波数の1/2としたが、1/2に限定され
ることはなく、たとえば、1/3もしくは1/4等のフ
レーム周波数でもよいことは言うまでもない。
In the first to fourth embodiments of the present invention, the frame frequency of the super multi-pixel image pickup device (CCD camera C1) is set to the low pixel image pickup device (CCD camera C2).
However, it is needless to say that the frame frequency is not limited to 1/2 and may be, for example, 1/3 or 1/4.

【0092】また、この場合には、超多画素撮像デバイ
ス(CCDカメラC1)として、さらに画素数の多い撮
像デバイス(CCDカメラ)を用いることができる。
In this case, an image pickup device (CCD camera) having a larger number of pixels can be used as the super-multipixel image pickup device (CCD camera C1).

【0093】さらには、本発明の実施の形態1〜4にお
いて、動画撮影が可能な低画素撮像デバイスとして10
00×1000画素の撮像デバイスを使用したが、NT
SC方式用の撮像デバイスを使用することもでき、動画
撮像が可能な撮像デバイスであれば、画素数や種類に関
係なく使用できることは言うまでもない。
Furthermore, in the first to fourth embodiments of the present invention, a low pixel image pickup device capable of shooting a moving image is used.
I used an imaging device with 00x1000 pixels, but NT
It goes without saying that an image pickup device for the SC system can also be used, and any image pickup device capable of picking up a moving image can be used regardless of the number of pixels or the type.

【0094】以上、本発明者によってなされた発明を、
前記発明の実施の形態に基づき具体的に説明したが、本
発明は、前記発明の実施の形態に限定されるものではな
く、その要旨を逸脱しない範囲において種々変更可能で
あることは勿論である。
The inventions made by the present inventors are as follows.
Although specifically described based on the embodiments of the present invention, the present invention is not limited to the embodiments of the present invention, and it is needless to say that various modifications can be made without departing from the gist of the present invention. .

【0095】[0095]

【発明の効果】本願において開示される発明のうち代表
的なものによって得られる効果を簡単に説明すれば、下
記の通りである。
The effects obtained by typical ones of the inventions disclosed in the present application will be briefly described as follows.

【0096】画像生成手段が動領域と動きベクトルとに
基づき、第2の撮像手段の撮像した画素数の多い高画質
の画像から欠落することになる画像を生成し、この画像
を欠落することになるタイミングで、第2の撮像手段が
撮像した画像として出力することにより、画素数の多い
第2の撮像手段が撮像した高画質の画像を動画撮像のフ
レーム周波数で決定される出力周期で出力できるので、
従来の解像度の高い第2の撮像手段で撮像した高画質の
画像を、高いフレーム周波数で出力することができる。
On the basis of the moving area and the motion vector, the image generating means generates an image to be dropped from the high quality image having a large number of pixels picked up by the second image pickup means, and decides to drop this image. By outputting as an image captured by the second imaging unit at such timing, a high-quality image captured by the second imaging unit having a large number of pixels can be output at an output cycle determined by the frame frequency of moving image capturing. So
It is possible to output a high-quality image captured by the conventional second image capturing means having high resolution at a high frame frequency.

【図面の簡単な説明】[Brief description of the drawings]

【図1】本発明の実施の形態1の撮像システムの概略構
成を示すブロック図である。
FIG. 1 is a block diagram showing a schematic configuration of an image pickup system according to a first embodiment of the present invention.

【図2】フレーム間の画像を生成する動作を説明するた
めの図である。
FIG. 2 is a diagram for explaining an operation of generating an image between frames.

【図3】本発明の実施の形態2の撮像システムの概略構
成を示すブロック図である。
FIG. 3 is a block diagram showing a schematic configuration of an image pickup system according to a second embodiment of the present invention.

【図4】本発明の実施の形態3の撮像システムの概略構
成を示すブロック図である。
FIG. 4 is a block diagram showing a schematic configuration of an image pickup system according to a third embodiment of the present invention.

【図5】本発明の実施の形態4の撮像システムの概略構
成を示すブロック図である。
FIG. 5 is a block diagram showing a schematic configuration of an image pickup system according to a fourth embodiment of the present invention.

【図6】従来の撮像システムの概略構成を示すブロック
図である。
FIG. 6 is a block diagram showing a schematic configuration of a conventional imaging system.

【図7】撮像手段上に配置される受光素子の配置を説明
するための図である。
FIG. 7 is a diagram for explaining the arrangement of light receiving elements arranged on the image pickup means.

【符号の説明】[Explanation of symbols]

1…レンズ、21,21B,21G,21R…超多画素
撮像デバイス、22…低画素撮像デバイス、4…ハーフ
ミラー、51,52,5B,5G,5R…前処理手段、
6…動きベクトル生成手段、7,7B,7G,7R…フ
レーム遅延手段、8,8B,8G,8R…画像合成手
段、9…伝送手段、M…モニタ、E…符号化手段、D…
復号化手段、Dp…ダイクロイックプリズム、C1,C
2…CCDカメラ。
DESCRIPTION OF SYMBOLS 1 ... Lens, 21, 21B, 21G, 21R ... Super multi-pixel imaging device, 22 ... Low pixel imaging device, 4 ... Half mirror, 51, 52, 5B, 5G, 5R ... Pre-processing means,
6 ... Motion vector generation means, 7, 7B, 7G, 7R ... Frame delay means, 8, 8B, 8G, 8R ... Image combining means, 9 ... Transmission means, M ... Monitor, E ... Encoding means, D ...
Decoding means, Dp ... Dichroic prism, C1, C
2 ... CCD camera.

フロントページの続き (72)発明者 中嶋 秀樹 東京都新宿区西新宿三丁目19番2号 日本 電信電話株式会社内Continued Front Page (72) Hideki Nakajima Inventor Hideki Nakajima 3-19-2 Nishishinjuku, Shinjuku-ku, Tokyo Inside Nippon Telegraph and Telephone Corporation

Claims (1)

【特許請求の範囲】[Claims] 【請求項1】 被写体を撮像する撮像手段と、該撮像を
電気信号に変換する変換手段とを有し、前記電気信号を
画像信号として出力する撮像システムにおいて、 前記撮像手段は、所定の画像数を有する第1の撮像手段
と、該第1の撮像手段と同一の領域を撮影し、前記所定
の画素数より多い画素数を有する第2の撮像手段とから
なり、前記第1の撮像手段が撮像した画像から動領域と
該動領域の動きベクトルとを検出する動きベクトル生成
手段と、前記動領域と前記動きベクトルとに基づき、前
記第2の撮像手段が撮像した画像から新たな画像を生成
し、該新たな画像を前記第2の撮像手段が撮像した画像
と共に出力する画像生成手段とを具備することを特徴と
する撮像システム。
1. An imaging system, comprising: an image pickup means for picking up an image of a subject, and a conversion means for converting the image pickup into an electric signal, and outputting the electric signal as an image signal, wherein the image pickup means has a predetermined number of images. And a second image capturing unit that captures the same area as the first image capturing unit and has a larger number of pixels than the predetermined number of pixels, the first image capturing unit comprising: A motion vector generation unit that detects a moving region and a motion vector of the moving region from the captured image, and a new image is generated from the image captured by the second imaging unit based on the moving region and the motion vector. And an image generating unit that outputs the new image together with the image captured by the second image capturing unit.
JP7324302A 1995-12-13 1995-12-13 Imaging system Pending JPH09163210A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP7324302A JPH09163210A (en) 1995-12-13 1995-12-13 Imaging system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP7324302A JPH09163210A (en) 1995-12-13 1995-12-13 Imaging system

Publications (1)

Publication Number Publication Date
JPH09163210A true JPH09163210A (en) 1997-06-20

Family

ID=18164293

Family Applications (1)

Application Number Title Priority Date Filing Date
JP7324302A Pending JPH09163210A (en) 1995-12-13 1995-12-13 Imaging system

Country Status (1)

Country Link
JP (1) JPH09163210A (en)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007006021A (en) * 2005-06-22 2007-01-11 Nikon Corp Imaging apparatus and image processing program
US7701485B2 (en) 2004-08-31 2010-04-20 Nikon Corporation High resolution imaging apparatus with reduced data
JP2011083025A (en) * 2010-12-15 2011-04-21 Active Optics Pty Ltd Method of controlling image capturing system, image capturing system, and, digital camera
US8098288B2 (en) * 2008-01-04 2012-01-17 Fujifilm Corporation Imaging apparatus and method of controlling imaging
JP2013546238A (en) * 2010-10-22 2013-12-26 ユニバーシティ オブ ニュー ブランズウィック Camera imaging system and method
CN113433684A (en) * 2020-03-23 2021-09-24 丽宝大数据股份有限公司 Microscopic imaging splicing device and method thereof

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7701485B2 (en) 2004-08-31 2010-04-20 Nikon Corporation High resolution imaging apparatus with reduced data
JP2007006021A (en) * 2005-06-22 2007-01-11 Nikon Corp Imaging apparatus and image processing program
US8098288B2 (en) * 2008-01-04 2012-01-17 Fujifilm Corporation Imaging apparatus and method of controlling imaging
JP2013546238A (en) * 2010-10-22 2013-12-26 ユニバーシティ オブ ニュー ブランズウィック Camera imaging system and method
JP2011083025A (en) * 2010-12-15 2011-04-21 Active Optics Pty Ltd Method of controlling image capturing system, image capturing system, and, digital camera
CN113433684A (en) * 2020-03-23 2021-09-24 丽宝大数据股份有限公司 Microscopic imaging splicing device and method thereof
JP2021149081A (en) * 2020-03-23 2021-09-27 麗寶大數據股▲フン▼有限公司 Microscope imaging stitching device and method thereof

Similar Documents

Publication Publication Date Title
US6788338B1 (en) High resolution video camera apparatus having two image sensors and signal processing
US6819359B1 (en) Method and apparatus for controlling the processing of signals containing defective pixels in accordance with imaging operation mode
CN1086534C (en) Image pickup device
JP3382359B2 (en) Imaging device
US20010030708A1 (en) Digital camera
US5978023A (en) Color video camera system and method for generating color video signals at increased line and/or frame rates
US20040046884A1 (en) Electric camera
JP4424088B2 (en) Imaging device
US8111298B2 (en) Imaging circuit and image pickup device
KR100843195B1 (en) Image pickup signal processing device and method for simultaneously performing display processing and data compression
US6429953B1 (en) Super resolution scanning using color multiplexing of image capture devices
US7236194B2 (en) Image signal processing apparatus
JP2011109576A (en) Imaging apparatus
JPH09163210A (en) Imaging system
JPH07203318A (en) Imaging device
JP2001078210A (en) Solid-state image pickup device and signal read method
US8350924B2 (en) System and method for processing image signals based on interpolation
JP2008199403A (en) Imaging apparatus, imaging method, and integrated circuit
JPH07135599A (en) Image pickup device and its picture processing method
JP3346481B2 (en) Video input device
JP6886026B2 (en) Imaging device
JP3925479B2 (en) Imaging device
JPH04172086A (en) Image pickup device
JP2006101227A (en) Imaging apparatus and imaging system
KR19990033092A (en) Digital still camera with panorama function

Legal Events

Date Code Title Description
A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20040203