[go: up one dir, main page]

JP2001307073A - Three-dimensional space reconstruction apparatus and three-dimensional space reconstruction method - Google Patents

Three-dimensional space reconstruction apparatus and three-dimensional space reconstruction method

Info

Publication number
JP2001307073A
JP2001307073A JP2000122645A JP2000122645A JP2001307073A JP 2001307073 A JP2001307073 A JP 2001307073A JP 2000122645 A JP2000122645 A JP 2000122645A JP 2000122645 A JP2000122645 A JP 2000122645A JP 2001307073 A JP2001307073 A JP 2001307073A
Authority
JP
Japan
Prior art keywords
voxel
target object
divided
voxels
dimensional space
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2000122645A
Other languages
Japanese (ja)
Other versions
JP4550221B2 (en
Inventor
Shogo Hamazaki
省吾 濱崎
Hiroyuki Yoshida
裕之 吉田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Japan Science and Technology Agency
Panasonic Holdings Corp
Original Assignee
Japan Science and Technology Corp
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Japan Science and Technology Corp, Matsushita Electric Industrial Co Ltd filed Critical Japan Science and Technology Corp
Priority to JP2000122645A priority Critical patent/JP4550221B2/en
Publication of JP2001307073A publication Critical patent/JP2001307073A/en
Application granted granted Critical
Publication of JP4550221B2 publication Critical patent/JP4550221B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Image Input (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

(57)【要約】 【課題】 演算量を劇的に削減して、十分な解像度と高
速処理を両立できる三次元空間再構成方法を提供する。 【解決手段】 対象物体が入りきれない最大ボクセルを
決定する。当初、測定対象空間を前記最大ボクセルで分
割した複数のボクセルを分割ボクセルとして出力すると
共に、当初以降、与えられたボクセルを一定個数に分割
した分割ボクセルを出力する。それぞれの分割ボクセル
と対象物体とが、重なり合うか否かを決定する。さら
に、対象物体と重なり合うと決定された、分割ボクセル
が、一定脱出条件を満たしていない場合、この分割ボク
セルを、繰り返し分割させる。意味のあるボクセルだけ
を、大から小へ段階的に分割する。
(57) [Summary] [PROBLEMS] To provide a three-dimensional space reconstruction method capable of achieving both sufficient resolution and high-speed processing by dramatically reducing the amount of computation. SOLUTION: A maximum voxel in which a target object cannot be accommodated is determined. Initially, a plurality of voxels obtained by dividing the measurement target space by the maximum voxel are output as divided voxels, and a divided voxel obtained by dividing a given voxel into a fixed number is output from the beginning. It is determined whether or not each of the divided voxels and the target object overlap. Further, if the divided voxel determined to overlap with the target object does not satisfy the certain escape condition, the divided voxel is repeatedly divided. Only meaningful voxels are divided stepwise from large to small.

Description

【発明の詳細な説明】DETAILED DESCRIPTION OF THE INVENTION

【0001】[0001]

【発明の属する技術分野】本発明は、視体積交差法を用
い、最小ボクセルで対象物体の三次元形状を再構成する
三次元空間再構成装置及びその方法に関するものであ
る。
BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a three-dimensional space reconstructing apparatus and method for reconstructing a three-dimensional shape of a target object with minimum voxels using a volume intersection method.

【0002】[0002]

【従来の技術】視体積交差法(Volume Inte
rsection Method)を用いた、三次元空
間再構成法の従来例として、米国カリフォルニア大学の
SAIED MOEZZIらの文献「Virtual
View generation for 3D Di
gital Video」(IEEE MULTIME
DIA Vol.4 No.1 pp.18−26、1
997年)がある。
2. Description of the Related Art Volume Integer
As a conventional example of a three-dimensional spatial reconstruction method using the Rection method, a document “Virtual” by SAIED MOEZZI of the University of California, USA, et al.
View generation for 3D Di
digital video "(IEEE MULTIME
DIA Vol. 4 No. 1 pp. 18-26, 1
997).

【0003】このものでは、対象物体が入る測定対象空
間を、小さな立方体(ボクセル)で分割して考える。即
ち、測定対象空間を、このボクセル(本発明の「最小ボ
クセル」に相当)が、XYZ方向にすき間無く積み上げ
られた空間として扱う。また、このボクセルの一辺の長
さは、測定の解像度を決定するものであり、一辺の長さ
を小さくするほど、測定の解像度は向上し、一辺の長さ
を大きくするほど、測定の解像度は低下する。
In this method, a measurement target space into which a target object enters is divided into small cubes (voxels). That is, the measurement target space is treated as a space in which the voxels (corresponding to the “minimum voxel” of the present invention) are stacked without any gap in the XYZ directions. The length of one side of the voxel determines the resolution of the measurement.The smaller the length of one side, the higher the resolution of the measurement.The larger the length of one side, the higher the resolution of the measurement. descend.

【0004】ここで、測定対象空間のXYZ方向のそれ
ぞれの長さが、ボクセルの一辺の長さのXL倍、YL
倍、ZL倍であったとすると、測定対象空間は、XL×
YL×ZL個のボクセルで満たされた空間であるという
ことになる。
Here, each length of the measurement object space in the XYZ directions is XL times the length of one side of the voxel, YL
And ZL times, the measurement target space is XL ×
This means that the space is filled with YL × ZL voxels.

【0005】そして、視体積交差法では、これらXL×
YL×ZL個の全てのボクセルについて、該当ボクセル
が対象物体の内部にあるか否かを、しらみつぶしに調べ
る(調査回数:XL×YL×ZL回)。調査の結果、対
象物体の内部にあるとされたボクセルの塊で、いわば積
み木を積むように、対象物体の三次元形状を再構成す
る。
[0005] In the visual volume intersection method, these XL ×
For all the YL × ZL voxels, it is determined whether the corresponding voxel is inside the target object or not (examination count: XL × YL × ZL times). As a result of the investigation, the three-dimensional shape of the target object is reconstructed so as to pile a block with so-called blocks of voxels inside the target object.

【0006】より具体的には、図18に示すように、視
点1〜視点n(通常n≧3)を持つように、複数のカメ
ラをセットし、互いに異なる方向から対象物体を撮影す
る。
More specifically, as shown in FIG. 18, a plurality of cameras are set so as to have viewpoints 1 to n (usually n ≧ 3), and an object is photographed from different directions.

【0007】これにより、各カメラの画像面には、対象
物体のシルエットが撮影される。ボクセルの状態(ボク
セルと対象物体とが重なり合うか否か)は、ボクセルに
対応する画素が、シルエットに含まれているか否かで判
定できる。
As a result, the silhouette of the target object is photographed on the image plane of each camera. The state of the voxel (whether the voxel and the target object overlap) can be determined based on whether or not the pixel corresponding to the voxel is included in the silhouette.

【0008】例えば、対象物体の外にあるボクセルAに
対応する画素は、少なくとも1つのカメラ画像におい
て、シルエットの外部にある(図18では、画像面1に
おいてシルエットの外部にある)。また、対象物体の内
部にあるボクセルBに対応する画素は、全てのカメラ画
像において、シルエットの内部にある。
For example, a pixel corresponding to voxel A outside the target object is outside the silhouette in at least one camera image (in FIG. 18, outside the silhouette on image plane 1). Also, the pixel corresponding to voxel B inside the target object is inside the silhouette in all camera images.

【0009】つまり、あるボクセルに対応する画素が、
全てのカメラ画像において、対象物体のシルエットに含
まれていれば、そのボクセルは、対象物体の内部に有る
ことになる。逆に、いずれかのカメラ画像において、ボ
クセルに対応する画素が、対象物体のシルエットに含ま
れていなければ、そのボクセルは、対象物体の外部にあ
ることになる。
That is, the pixel corresponding to a certain voxel is
In all camera images, if the voxel is included in the silhouette of the target object, the voxel is inside the target object. Conversely, in any camera image, if the pixel corresponding to the voxel is not included in the silhouette of the target object, the voxel is outside the target object.

【0010】なお、カメラのキャリブレーションが終了
しており、カメラの位置、姿勢、焦点距離などのカメラ
パラメータが既知であれば、レンズ中心とボクセルの位
置と画像面との位置関係から幾何学的に、ボクセルを画
像面に投影した位置を、容易に求めることができる。
If the camera calibration has been completed and camera parameters such as the camera position, posture, and focal length are known, the geometrical relationship is determined from the positional relationship between the lens center, the voxel position, and the image plane. In addition, the position where the voxel is projected on the image plane can be easily obtained.

【0011】このための構成例を図19に示す。図19
において、カメラ群等を備えた複数方向画像取得手段1
は、複数の異なる視点及び方向で、対象物体を同時に撮
影し、それらの画像データを出力する。
FIG. 19 shows a configuration example for this purpose. FIG.
, A multi-directional image acquisition means 1 including a camera group and the like
, Simultaneously shoots a target object from a plurality of different viewpoints and directions, and outputs image data thereof.

【0012】パラメータ保持手段2は、あらかじめ入力
された複数方向画像取得手段1を構成する複数のカメラ
の位置・姿勢などの情報を保持している。
The parameter holding means 2 holds information such as the positions and orientations of a plurality of cameras constituting the multi-directional image acquisition means 1 which have been input in advance.

【0013】ボクセル状態テーブル保持手段3は、全て
のボクセルの状態(ボクセルと対象物体とが重なり合う
か否か)を保持する。
The voxel state table holding means 3 holds the state of all voxels (whether voxels and target objects overlap).

【0014】着目ボクセル発生手段4は、XL×YL×
ZL個のボクセルを、1つずつ順番に選び着目ボクセル
として出力する。
The voxel generating means 4 of interest is XL × YL ×
The ZL voxels are sequentially selected one by one and output as the focused voxel.

【0015】着目ボクセルの状態決定手段5は、着目ボ
クセル発生手段4が出力した着目ボクセルについて、複
数方向画像取得手段1の画像データとパラメータ保持手
段2に保持されている各カメラのパラメータから、上述
した要領でボクセルの状態を決定し、ボクセル状態テー
ブル保持手段3の内容を更新する。
The state determination means 5 of the target voxel outputs the voxel of interest output from the target voxel generation means 4 from the image data of the multi-directional image acquisition means 1 and the parameters of each camera held in the parameter holding means 2. The state of the voxel is determined in the manner described above, and the contents of the voxel state table holding means 3 are updated.

【0016】次に、図20を用いて、処理例を説明す
る。まず、着目ボクセルの状態決定手段5は、初期化を
行うため、ボクセル状態テーブル保持手段3をアクセス
し、全てのボクセルの状態を”占有”(ボクセルと対象
物体とが重なり合うという意)とする(ステップS10
01)。
Next, a processing example will be described with reference to FIG. First, the target voxel state determination unit 5 accesses the voxel state table holding unit 3 to perform initialization, and sets all voxel states to “occupied” (meaning that the voxel and the target object overlap) ( Step S10
01).

【0017】次に、着目ボクセル発生手段4が、最初の
着目ボクセルを定め(ステップS1002)、着目ボク
セルの状態決定手段5が、このボクセルの中心位置と、
最初のカメラのレンズ中心とを結ぶ直線が画像面と交わ
る点にある、画素pを決定する(ステップS100
4)。
Next, the focused voxel generating means 4 determines the first focused voxel (step S1002), and the focused voxel state determining means 5 determines the center position of the voxel,
A pixel p at a point where a straight line connecting the lens center of the first camera intersects the image plane is determined (step S100).
4).

【0018】ステップS1005では、着目ボクセルの
状態決定手段5が、画素pが画像面にあるシルエットに
含まれているか否かを判定し、画素pがシルエットに含
まれていなければ、ボクセルの状態を”空”とし、次の
ボクセルの処理に移る(ステップS1006)。含まれ
ていれば、次のカメラについて、ステップS1003以
降の処理を繰り返す。
In step S1005, the state determination means 5 for the voxel of interest determines whether or not the pixel p is included in the silhouette on the image plane. If the pixel p is not included in the silhouette, the state of the voxel is determined. It is set to “empty”, and the process proceeds to the next voxel (step S1006). If it is included, the process from step S1003 is repeated for the next camera.

【0019】そして、全てのカメラで含まれていること
になれば、状態は、”占有”のままとなり、そうでなけ
れば、状態は、”空”となる。
If the state is included in all the cameras, the state remains "occupied"; otherwise, the state becomes "empty".

【0020】そして、全てのボクセルについて、以上の
処理を繰り返す(ステップS1002)。
The above processing is repeated for all voxels (step S1002).

【0021】これら一連の処理が終わると、全ボクセル
の状態が確定し、三次元空間が再構成されたことにな
る。
When these series of processes are completed, the state of all voxels is determined, and the three-dimensional space is reconstructed.

【0022】[0022]

【発明が解決しようとする課題】いま、現状の解像度で
は、測定精度が不十分であるとして、解像度を向上させ
るため、ボクセルの一辺の長さを、従前の1/4倍にし
たものとする。すると、測定対象空間は、(4×XL)
×(4×YL)×(4×ZL)=64(XL×YL×Z
L)個のボクセルで満たされることになり、調査回数
は、従前の64倍にも膨張してしまう。
At present, it is assumed that the measurement accuracy is insufficient with the current resolution, and in order to improve the resolution, the length of one side of the voxel is assumed to be 1 / times as long as before. . Then, the measurement target space is (4 × XL)
× (4 × YL) × (4 × ZL) = 64 (XL × YL × Z
L) voxels will be filled, and the number of surveys will be 64 times larger than before.

【0023】この例から明らかなように、従来技術にお
いて、実用的な解像度を得ようとすると、演算量が膨大
になって、実時間処理を行うのが非常に困難になってし
まうという問題点があった。
As is apparent from this example, in the prior art, when trying to obtain a practical resolution, the amount of calculation becomes enormous, and it becomes very difficult to perform real-time processing. was there.

【0024】そこで本発明は、演算量を劇的に削減し
て、十分な解像度と高速処理を両立できる三次元空間再
構成装置及びその方法を提供することを目的とする。
An object of the present invention is to provide a three-dimensional space reconstructing apparatus and a method thereof which can achieve both sufficient resolution and high-speed processing while dramatically reducing the amount of calculation.

【0025】[0025]

【課題を解決するための手段】本発明では、測定対象空
間内にある対象物体を、互いに異なる方向から撮像し、
多数の最小ボクセルの塊により、対象物体を再構成する
ものであり、対象物体が入りきれない最大ボクセルを決
定する最大ボクセル決定手段と、当初、測定対象空間を
最大ボクセルで分割した複数のボクセルを分割ボクセル
として出力すると共に、当初以降、与えられたボクセル
を一定個数に分割した分割ボクセルを出力するボクセル
分割手段と、ボクセル分割手段が出力するそれぞれの分
割ボクセルと対象物体とが、重なり合うか否かを決定す
るボクセル状態決定手段と、対象物体と重なり合うと決
定された、分割ボクセルが、一定脱出条件を満たしてい
ない場合、この分割ボクセルをボクセル分割手段に与え
て、繰り返し分割させる制御手段とを備える。
According to the present invention, an object in a measurement object space is imaged from different directions, and
A target object is reconstructed by a mass of a number of minimum voxels. A voxel dividing unit that outputs a divided voxel obtained by dividing a given voxel into a fixed number while outputting as a divided voxel, and whether each of the divided voxels output by the voxel dividing unit and the target object overlap with each other. Voxel state determining means for determining the voxel state, and control means for giving the divided voxel to the voxel dividing means when the divided voxel determined to overlap with the target object does not satisfy a certain escape condition, and repeatedly dividing the voxel. .

【0026】この構成により、三次元空間再構成におけ
る、演算量を劇的に削減して、十分な解像度と高速処理
を両立できる。
With this configuration, the amount of calculation in the three-dimensional space reconstruction is dramatically reduced, and both a sufficient resolution and high-speed processing can be achieved.

【0027】[0027]

【発明の実施の形態】請求項1記載の三次元空間再構成
装置では、測定対象空間内にある対象物体を、互いに異
なる方向から撮像し、多数の最小ボクセルの塊により、
対象物体を再構成するものであり、対象物体が入りきれ
ない最大ボクセルを決定する最大ボクセル決定手段と、
当初、測定対象空間を最大ボクセルで分割した複数のボ
クセルを分割ボクセルとして出力すると共に、当初以
降、与えられたボクセルを一定個数に分割した分割ボク
セルを出力するボクセル分割手段と、ボクセル分割手段
が出力するそれぞれの分割ボクセルと対象物体とが、重
なり合うか否かを決定するボクセル状態決定手段と、対
象物体と重なり合うと決定された、分割ボクセルが、一
定脱出条件を満たしていない場合、この分割ボクセルを
ボクセル分割手段に与えて、繰り返し分割させる制御手
段とを備える。
DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS In a three-dimensional space reconstruction apparatus according to the present invention, a target object in a measurement target space is imaged from different directions, and a large number of minimum voxel clusters are used.
Maximum voxel determination means for reconstructing the target object, determining the maximum voxel that the target object can not fit,
Initially, a plurality of voxels obtained by dividing the measurement target space by the maximum voxel are output as divided voxels, and voxel dividing means for outputting a divided voxel obtained by dividing a given voxel into a fixed number, and voxel dividing means, Voxel state determining means for determining whether or not each divided voxel and the target object overlap with each other, and the divided voxel determined to overlap with the target object does not satisfy a certain escape condition. And a control unit for giving the voxel dividing unit a repetitive division.

【0028】この構成において、上述の最大ボクセルか
らはじめて、ボクセル分割を繰り返すことにより、空の
ボクセルの調査を削減し、大幅に演算量を削減できる。
その結果、十分な解像度を得るため、最小ボクセルの一
辺を小さくしても、実用にかなう処理時間で、対象物体
の三次元空間を再構築できる。
In this configuration, by repeating the voxel division starting from the above-described maximum voxel, the search for empty voxels can be reduced, and the calculation amount can be greatly reduced.
As a result, even if one side of the minimum voxel is reduced in order to obtain a sufficient resolution, the three-dimensional space of the target object can be reconstructed in a practical processing time.

【0029】請求項2記載の三次元空間再構成装置で
は、一定脱出条件は、分割ボクセルと最小ボクセルのサ
イズが同じであることである。
In the three-dimensional space reconstruction apparatus according to the second aspect, the constant escape condition is that the size of the divided voxel and the size of the minimum voxel are the same.

【0030】この構成により、繰り返し処理が完了すれ
ば、別途特段の処理をしなくとも、最小ボクセルの塊
で、対象物体の三次元形状を再構成できる。
With this configuration, when the repetitive processing is completed, the three-dimensional shape of the target object can be reconstructed with the minimum voxel block without any special processing.

【0031】請求項3記載の三次元空間再構成装置で
は、一定個数は、8である。
In the three-dimensional space reconstruction apparatus according to the third aspect, the fixed number is eight.

【0032】この構成により、XYZ方向に半分ずつ無
理なく分割ができる。
According to this configuration, it is possible to easily divide each half in the XYZ directions.

【0033】請求項4記載の三次元空間再構成装置で
は、ボクセル状態決定手段が、与えられたボクセルの表
面付近のみを調べ、いずれかの表面付近に対象物体を検
出できたとき、このボクセルと対象物体とが、重なり合
うと決定する。
In the three-dimensional space reconstruction apparatus according to the fourth aspect, the voxel state determining means examines only the vicinity of the surface of a given voxel, and when a target object can be detected near any of the surfaces, the voxel state is determined. It is determined that the target object and the target object overlap.

【0034】この構成により、分割ボクセルの内部の調
査を省略して、演算量を一層削減できる。
With this configuration, the amount of calculation can be further reduced by omitting the investigation inside the divided voxels.

【0035】請求項5記載の三次元空間再構成装置で
は、ボクセル状態決定手段が、ボクセルの表面付近の一
部を標本化して標本ボクセルを発生する標本ボクセル発
生部を有し、標本ボクセルに基づいて、対象物体の検出
を行う。
In the three-dimensional space reconstruction apparatus according to the fifth aspect, the voxel state determining means has a sample voxel generating unit for generating a sample voxel by sampling a part near the surface of the voxel, and based on the sample voxel. Then, the target object is detected.

【0036】この構成により、標本化により演算対象を
間引いて、演算量をさらに削減することができる。
With this configuration, it is possible to further reduce the amount of calculation by thinning out the calculation target by sampling.

【0037】請求項6記載の三次元空間再構成装置で
は、標本ボクセルは、与えられたボクセルを最小ボクセ
ルのサイズで均等に分割した複数のボクセルのいずれか
である。
In the three-dimensional space reconstruction apparatus according to the sixth aspect, the sample voxel is any one of a plurality of voxels obtained by equally dividing a given voxel by a minimum voxel size.

【0038】この構成により、標本ボクセルの状態と最
小ボクセルの状態が同一になり、後に最小ボクセルまで
分割した段階において、標本ボクセルと一致する最小ボ
クセルについて、状態の決定処理を省略することがで
き、それだけ演算量を削減できる。
With this configuration, the state of the sample voxel and the state of the minimum voxel become the same, and the state determination processing can be omitted for the minimum voxel that matches the sample voxel at a stage where the sample voxel is later divided. The amount of calculation can be reduced accordingly.

【0039】以下、本発明の実施の形態について、図面
を参照しながら説明する。
Hereinafter, embodiments of the present invention will be described with reference to the drawings.

【0040】図1において、制御手段10は、後述する
各手段を制御する。特に、対象物体と重なり合うと決定
された、分割ボクセルが、一定脱出条件を満たしていな
い場合、この分割ボクセルをボクセル分割手段18に与
えて、繰り返し分割させる。
In FIG. 1, a control means 10 controls each means described later. In particular, when the divided voxel determined to overlap with the target object does not satisfy the certain escape condition, the divided voxel is provided to the voxel dividing unit 18 to be repeatedly divided.

【0041】入力手段11は、オペレータの入力を受け
付ける。
The input means 11 receives an input from an operator.

【0042】複数方向画像取得手段12は、測定対象空
間内にある対象物体を、互いに異なる方向・視点から撮
像し、複数の画像データを出力する。
The multi-directional image obtaining means 12 captures a target object in the measurement target space from different directions and viewpoints, and outputs a plurality of image data.

【0043】記憶手段13は、制御手段10が実行する
プログラムや、必要に応じて、情報を一時記憶させるた
めの領域の他、後述する繰り返しレベル毎に、各ボクセ
ルの状態を保持するボクセル状態テーブル14を有す
る。勿論、このようなテーブルにしなくとも、読み書き
が自在である以上、リストなど他の周知のデータ構造を
採用しても差し支えない。
The storage means 13 includes a program executed by the control means 10, an area for temporarily storing information as necessary, and a voxel state table for holding the state of each voxel for each repetition level described later. It has 14. Of course, other well-known data structures, such as lists, may be adopted as long as reading and writing are free without using such a table.

【0044】パラメータ保持手段15は、全てのカメラ
の位置・姿勢などのパラメータを保持する。
The parameter holding means 15 holds parameters such as the positions and postures of all the cameras.

【0045】最大ボクセル決定手段16は、対象物体が
入りきれない最大ボクセルを決定する。
The maximum voxel determining means 16 determines the maximum voxel that cannot be covered by the target object.

【0046】脱出条件判定手段17は、制御手段10が
繰り返しボクセル分割手段18を用いて分割ボクセルを
再分割する際に参照する一定脱出条件(本例では、分割
ボクセルが最小ボクセルと同じサイズになること)が満
たされているか否かを判定する。なお、この脱出条件
は、分割ボクセルが最小ボクセルの数倍になることなど
と、変更しても良い。
The escape condition judging means 17 is a constant escape condition referred to when the control means 10 re-divides the divided voxel using the repeated voxel dividing means 18 (in this example, the divided voxel has the same size as the smallest voxel). Is determined to be satisfied. Note that the escape condition may be changed such that the divided voxel is several times the minimum voxel.

【0047】ボクセル分割手段18は、当初、測定対象
空間を最大ボクセルで分割した複数のボクセルを分割ボ
クセルとして出力すると共に、当初以降、与えられたボ
クセルを一定個数に分割した分割ボクセルを出力する。
The voxel dividing means 18 initially outputs a plurality of voxels obtained by dividing the measurement target space by the maximum voxels as divided voxels, and outputs divided voxels obtained by dividing a given voxel into a fixed number thereafter.

【0048】ボクセル状態決定手段19は、ボクセル分
割手段18が出力する、それぞれの分割ボクセルと、対
象物体とが、重なり合うか否かを決定する。本例では、
ボクセル状態決定手段19は、与えられたボクセルの表
面付近のみを調べ、いずれかの表面付近に対象物体を検
出できたとき、このボクセルと対象物体とが重なり合う
と決定する。
The voxel state determining means 19 determines whether or not each of the divided voxels output by the voxel dividing means 18 and the target object overlap. In this example,
The voxel state determination means 19 examines only the vicinity of the surface of the given voxel, and when a target object can be detected near any surface, determines that the voxel and the target object overlap.

【0049】また、ボクセル状態決定手段19は、ボク
セルの表面付近の一部を標本化して標本ボクセルを発生
する標本ボクセル発生部20を有し、標本ボクセルに基
づいて、対象物体の検出を行う。
The voxel state determining means 19 has a sample voxel generator 20 which samples a part of the voxel near the surface to generate a sample voxel, and detects a target object based on the sample voxel.

【0050】そして、標本ボクセル状態決定部21は、
標本ボクセル発生部20が発生した標本ボクセルのみを
調べ、標本ボクセルのうち、1つでも対象物体と重なり
合うものが存在していれば、該当分割ボクセル(サイズ
は不問)と、対象物体とが、重なり合うと決定し、そう
でないとき、該当分割ボクセルと対象物体とは、重なり
合わないと決定する。
Then, the sample voxel state determination unit 21
Only the sample voxel generated by the sample voxel generator 20 is examined. If at least one of the sample voxels overlaps with the target object, the corresponding divided voxel (regardless of size) overlaps with the target object. Otherwise, it is determined that the divided voxel and the target object do not overlap.

【0051】さらに具体的に説明すると、図3に示すよ
うになる。即ち、測定対象空間S内に対象物体O(ここ
では、人間であるとする)が存在するとき、複数方向画
像取得手段12で異なる方向から対象物体Oを撮像す
る。即ち、視点や方向が異なる、複数台(オクルージョ
ンを防止するため、通常、4台以上が望ましい)のカメ
ラ22〜26で、対象物体Oを撮像し、カメラ22〜2
6に接続されるキャプチャボード群27により、画像デ
ータを情報処理装置へ取り込む。
More specifically, the result is as shown in FIG. That is, when the target object O (here, it is assumed to be a human) exists in the measurement target space S, the target object O is imaged from different directions by the multidirectional image acquisition means 12. That is, the target object O is imaged by a plurality of cameras 22 to 26 (preferably four or more in order to prevent occlusion) having different viewpoints and directions.
The image data is taken into the information processing device by a group of capture boards 27 connected to the information processing device 6.

【0052】情報処理装置は、入力手段としてのキーボ
ード32の他、各要素間でのデータ通信を仲介するバス
28、CPU29、メモリ30及び外部記憶装置31を
備える。ここで、上述した各手段10、15〜19は、
CPU29が、記憶手段13としてのメモリ30、外部
記憶装置31に対して、読み書きを行い、後述するフロ
ーチャートに沿ったプログラムを実行することにより実
現される。
The information processing apparatus includes a keyboard 28 serving as input means, a bus 28 for mediating data communication between elements, a CPU 29, a memory 30, and an external storage device 31. Here, each of the means 10 and 15 to 19 described above includes:
This is realized by the CPU 29 reading and writing from and to the memory 30 and the external storage device 31 as the storage unit 13 and executing a program according to a flowchart described later.

【0053】次に、本発明の処理のあらましを説明す
る。本発明では、上述したように、対象物体が入りきれ
ない「最大ボクセル」という概念を導入している。ここ
で、「最大」というように命名したのは、この「最大ボ
クセル」が、後述するボクセルの繰り返し分割の出発点
であり、処理が進むと、分割ボクセルは、最大ボクセル
から一段毎に小さくなってゆくからである。
Next, an outline of the processing of the present invention will be described. In the present invention, as described above, the concept of “maximum voxel” in which the target object cannot be accommodated is introduced. Here, the name such as “maximum” is a point at which this “maximum voxel” is the starting point of repetitive division of a voxel, which will be described later. Because it goes.

【0054】これに対して、解像度を決定するボクセル
を「最小ボクセル」と呼んでいる。つまり、本発明にお
いて繰り返されるボクセル分割は、最大ボクセルのサイ
ズで出発し、爾後、何段(以下の説明では、レベルで表
現する)か分割が進む毎に小さくなってゆき、最小ボク
セルへ至るという過程を経る。
On the other hand, the voxel for determining the resolution is called "minimum voxel". In other words, the voxel division repeated in the present invention starts with the size of the maximum voxel, and then becomes smaller as the number of stages (expressed as levels in the following description) increases, and reaches the minimum voxel. Go through the process.

【0055】ここで、本発明の処理を最も理想的な状態
で実現するには、次の条件にかなう対象物体であること
が望ましい。 (1)対象物体は変形可能であるが、全ての変形パター
ンで空間的に外接する立方体のうち、最小となる立方体
(最小外接立方体)の大きさが既知である。 (2)対象物体の各部位を任意の面で切断した断面がそ
の切断面上で外接する正方形を想定し、最小となる正方
形(最小外接正方形)の大きさが既知である。
Here, in order to realize the processing of the present invention in the most ideal state, it is desirable that the target object satisfies the following conditions. (1) Although the target object can be deformed, the size of the smallest cube (minimum circumscribed cube) among the cubes spatially circumscribed in all the deformation patterns is known. (2) Assuming that a cross section obtained by cutting each part of the target object by an arbitrary surface is a circumscribed square on the cut surface, the size of the smallest square (minimum circumscribed square) is known.

【0056】但し、以上の条件は、必須ではなく、最大
ボクセルを比較的小さめに設定するだけでも、実用上十
分な場合が多い。
However, the above conditions are not essential, and setting the maximum voxel relatively small is often sufficient for practical use.

【0057】ところで、図4は、人間を対象物体にする
場合の、最大ボクセルV0の決定要領を示している。即
ち、人間は、多数の関節を持ち、種々の姿勢をとりうる
が、体をできるだけ小さく折り畳んでも、これ以上小さ
くできないという姿勢がある。そのとき、人間に外接す
る立方体よりも、やや小さい立方体を定め、これを最大
ボクセルとする(一辺の長さ:L)。
FIG. 4 shows how to determine the maximum voxel V0 when a human is used as the target object. That is, a human has many joints and can take various postures. However, there is a posture in which even if the body is folded as small as possible, it cannot be further reduced. At this time, a cube that is slightly smaller than a cube circumscribing a human is determined, and is set as the maximum voxel (length of one side: L).

【0058】そして、このように決めた最大ボクセルV
0と人間との関係を注視すると、次のことがわかる。即
ち、この最大ボクセルV0に人間は入りきれないのであ
るから、人間のある部分(図4の例では、頭とつま先の
部分)は、最大ボクセルV0からはみ出さざるを得な
い。
The maximum voxel V thus determined
Looking closely at the relationship between 0 and humans, the following can be seen. That is, since a human cannot fully enter the maximum voxel V0, a certain part of the human (in the example of FIG. 4, the head and the toe) must protrude from the maximum voxel V0.

【0059】ここで、最大ボクセルV0は、6つの表面
を有するが、これらの表面のいずれかによって、はみ出
した人間の部分が切断されることになる。より詳しく
は、最大ボクセルV0の表面に着目し、いずれかの表面
に人間の部分が存在していれば、最大ボクセルV0の内
部を見なくとも(調査を省略しても)、最大ボクセルV
0の中に人間が存在している(つまり、最大ボクセルV
0と人間とが重なり合っている)と断定できる。
Here, the maximum voxel V0 has six surfaces, and any part of these surfaces will cut off the protruding human part. More specifically, focusing on the surface of the maximum voxel V0, if a human part exists on any surface, the maximum voxel V0 can be obtained without looking inside the maximum voxel V0 (even if the investigation is omitted).
0 (that is, the maximum voxel V
0 and human beings overlap).

【0060】逆に、最大ボクセルV0の全ての表面に人
間の部分が存在していなければ、この最大ボクセルV0
の中には、人間は存在していない(重なり合っていな
い)ことになる。
Conversely, if no human part exists on all surfaces of the maximum voxel V0, the maximum voxel V0
In, there is no human being (it does not overlap).

【0061】本発明は、以上の知見に基づいて、最大ボ
クセルV0を起点とし、これを繰り返し細分化するプロ
セスを利用することとしたのである。また、1つの最大
ボクセルを調べる際には、その表面付近のみを調べ、内
部の調査を省略することにより、調査回数を削減でき
る。
According to the present invention, based on the above findings, a process is used in which the maximum voxel V0 is used as a starting point and this is repeatedly subdivided. Further, when examining one maximum voxel, only the vicinity of the surface is examined, and the number of surveys can be reduced by omitting the internal survey.

【0062】また、最大ボクセルV0またはおおきめの
分割ボクセルと、対象物体とが、重なり合わないとされ
たとき、爾後の分割(つまりより詳しい調査)を行わな
いことにしたのである。
Further, when it is determined that the maximum voxel V0 or the large divided voxel does not overlap the target object, the subsequent division (that is, more detailed investigation) is not performed.

【0063】仮に、最大ボクセルV0が1000個の最
小ボクセルからなるとき、一度の調査で対象物体と重な
り合わないとされれば、その後の調査を省略するのであ
る。これに対し、従来技術では、1000個の最小ボク
セルの全部をしらみつぶしに調査していたのであるか
ら、本発明の手法は、従来技術に対して、はるかに有利
であり、演算量を劇的に削減できることは、容易に理解
されよう。
If the maximum voxel V0 is composed of 1000 minimum voxels, and if it is determined that the maximum voxel V0 does not overlap the target object in one investigation, the subsequent investigation is omitted. On the other hand, in the prior art, since all of the minimum 1000 voxels were exhaustively investigated, the method of the present invention is much more advantageous than the prior art, and the amount of computation is dramatically reduced. It will be easily understood that it can be reduced.

【0064】図5では、本発明による処理段階を模式的
に表現している。当初、図5(a)に示すように、測定
対象空間Sは、最大ボクセルV0と同じサイズの分割ボ
クセルで分けられる。このとき、図5(e)に示すよう
に、各分割ボクセルの表面付近のみを調べ、上述した知
見により、各分割ボクセルと対象物体とが重なり合うか
どうか決定する。
FIG. 5 schematically illustrates the processing steps according to the present invention. Initially, as shown in FIG. 5A, the measurement target space S is divided into divided voxels having the same size as the maximum voxel V0. At this time, as shown in FIG. 5E, only the vicinity of the surface of each divided voxel is examined, and whether or not each divided voxel and the target object overlap is determined based on the above-described knowledge.

【0065】さらに、本例では、これらの表面の全部を
調べるのではなく、格子状の標本化による好ましい間引
きを行っており、表面付近の一部のみについてだけ調査
を行っている。
Further, in this example, instead of examining all of these surfaces, preferable thinning is performed by grid-like sampling, and only a part near the surface is examined.

【0066】次に、図5(b)に示すように、対象物体
と重なり合うもののみ取り扱い、分割ボクセルの分割と
調査を繰り返し(図5(b)のレベルから図5(c)の
レベルへ、図5(c)のレベルから図5(d)のレベル
へ、…)、最終的に、最小ボクセルまで分割した時点で
終了するものである。
Next, as shown in FIG. 5B, only the object overlapping with the target object is handled, and the division and the investigation of the divided voxels are repeated (from the level of FIG. 5B to the level of FIG. 5C). From the level in FIG. 5 (c) to the level in FIG. 5 (d)...), The process ends when the image is finally divided into the minimum voxels.

【0067】以下、より具体的に説明する。まず、ボク
セル状態テーブル14は、図8のように構成する。即
ち、ボクセル状態テーブル14は、複数のレベル毎(図
8(a)はレベル0で最大ボクセルのサイズ、図8
(d)はレベルLsで最小ボクセルのサイズ)のボクセ
ル空間の状態テーブルで構成される。
Hereinafter, a more specific description will be given. First, the voxel state table 14 is configured as shown in FIG. In other words, the voxel state table 14 stores a plurality of levels (FIG. 8A shows the maximum voxel size at level 0, FIG. 8A).
(D) is a state table of the voxel space of level Ls and the size of the smallest voxel).

【0068】各テーブルには、各ボクセル空間を構成す
るボクセルに、同一レベル内でユニークに付与された識
別番号であるボクセル番号と、その状態が対応付けられ
ている。
In each table, voxels constituting each voxel space are associated with voxel numbers, which are identification numbers uniquely assigned within the same level, and their states.

【0069】次に、最大ボクセルの大きさ、最小ボクセ
ルのレベル、標本ボクセルの間隔等の決定要領を、具体
的に説明する。これらのパラメータは、要求される空間
分解能と測定対象空間Sの大きさと、対象物体Oが決ま
った時点で決定する。
Next, how to determine the size of the maximum voxel, the level of the minimum voxel, the interval between sample voxels, and the like will be specifically described. These parameters are determined when the required spatial resolution, the size of the measurement target space S, and the target object O are determined.

【0070】最小ボクセルの一辺の長さは、要求される
空間分解能と同じ値で、Aminとする。また、上述し
た最小外接立方体の一辺の長さAとする。
The length of one side of the minimum voxel is the same value as the required spatial resolution, and is set to Amin. In addition, the length A of one side of the minimum circumscribed cube described above is assumed.

【0071】次式で、レベルLsを求める。The level Ls is obtained by the following equation.

【0072】[0072]

【数1】 (Equation 1)

【0073】次式で最大ボクセルの大きさを求める。The maximum voxel size is obtained by the following equation.

【0074】[0074]

【数2】 (Equation 2)

【0075】標本ボクセルは、最小ボクセルと同じサイ
ズにする。標本ボクセルの間隔Sは、次の手順で求め
る。図9(a)に示すように、最小外接正方形の一辺の
長さAsとし、図9(b)に示すように、長さAsの対
角線を持つ正方形の一辺の長さAtを次式で求める。
The sample voxel is the same size as the smallest voxel. The interval S between sample voxels is obtained by the following procedure. As shown in FIG. 9A, the length As of one side of the minimum circumscribed square is As, and as shown in FIG. 9B, the length At of one side of a square having a diagonal line of As is obtained by the following equation. .

【0076】[0076]

【数3】 (Equation 3)

【0077】また、標本ボクセルの間隔S(最小ボクセ
ルS個分の間隔)を、2の指数乗とするために、次式を
満たす指数S1を決定する。
In order to set the interval S between sample voxels (interval for the minimum number of voxels S) to the power of 2, an index S1 satisfying the following equation is determined.

【0078】[0078]

【数4】 (Equation 4)

【0079】次式で、指数S1とLs−Lとの大きくな
い方の値を指数SSとする。
In the following equation, the smaller value of the index S1 and Ls-L is defined as the index SS.

【0080】[0080]

【数5】 (Equation 5)

【0081】そして、標本ボクセルの間隔Sは、次式に
より、指数SSを使って求める。
The interval S between the sample voxels is obtained using the index SS according to the following equation.

【0082】[0082]

【数6】 (Equation 6)

【0083】次に、着目する分割ボクセル(以下の説明
及び図面において、単に「着目ボクセル」という)と、
その表面の標本ボクセルとの関係について説明する。
Next, a divided voxel of interest (hereinafter, simply referred to as a “vox of interest” in the following description and drawings)
The relationship between the surface and the sample voxel will be described.

【0084】まず、分割レベルLの着目ボクセルの一辺
の長さと、標本ボクセルの間隔Sとを、共に2の指数乗
になるように選ぶ。こうすると、図10(a)、(b)
に示すように、着目ボクセルの各表面には、間隔Sで標
本ボクセルが格子状に並ぶ。
First, the length of one side of the target voxel at the division level L and the interval S between the sample voxels are selected so as to be a power of two. In this case, FIGS. 10 (a) and 10 (b)
As shown in (1), sample voxels are arranged in a grid at intervals S on each surface of the voxel of interest.

【0085】なお、標本ボクセルの中心は、厳密には、
着目ボクセルの表面上になく、標本ボクセルの大きさの
半分ほど空間的にずれているが、着目ボクセルの表面付
近に位置する。これは、標本ボクセルと着目ボクセルと
が、上述のような分割関係にあるためであり、こうする
ことにより、アルゴリズムを簡単化でき、処理速度を向
上できる。
Note that, strictly speaking, the center of the sample voxel is
Although it is not on the surface of the voxel of interest and is spatially shifted by about half the size of the sample voxel, it is located near the surface of the voxel of interest. This is because the sample voxel and the voxel of interest are in the above-described division relationship, and by doing so, the algorithm can be simplified and the processing speed can be improved.

【0086】次に、より具体的な演算例を説明する。こ
こでは、対象物体Oを一人の人間とし、各パラメータの
具体的な決定方法を説明する。
Next, a more specific calculation example will be described. Here, the target object O is a single person, and a specific method for determining each parameter will be described.

【0087】最小ボクセルの一辺の長さ(つまり要求さ
れる空間分解能)をAmin =6.25mmとする。
カメラ台数は、n=4(台)とする。
The length of one side of the minimum voxel (that is, the required spatial resolution) is set to Amin = 6.25 mm.
The number of cameras is n = 4 (units).

【0088】さて人間は、多くの姿勢をとることができ
るが、背を丸めて両腕で屈曲した両膝を抱えている姿勢
を想定し、この姿勢に外接する立方体を最小外接立方体
とし、その一辺の長さをA=850mmとする。
Now, a human can take many postures. However, assuming a posture in which his back is round and his knees bent with both arms are bent, a cube circumscribing this posture is defined as a minimum circumscribed cube. The length of one side is A = 850 mm.

【0089】(数1)を満たすレベルLsは7となる。The level Ls that satisfies (Equation 1) is 7.

【0090】最大ボクセルの大きさは、(数2)からA
max=800mmとなる。
The size of the maximum voxel is given by
max = 800 mm.

【0091】測定対象空間Sを、一辺が2400mmの
立方体の領域とすると、最大ボクセルをM=3×3×3
=27個組み合わせた空間となる。
Assuming that the measurement target space S is a cubic region having a side of 2400 mm, the maximum voxel is M = 3 × 3 × 3.
= 27 combined spaces.

【0092】次に、標本ボクセルの間隔Sを求める。こ
こでは、人体の最も細い部分は、手首とする(本例で
は、手首より細い手足の指等は測定対象としない)。そ
して、手首の最小断面を直径75mmの円とすると、最
小外接正方形の一辺の長さはAs=75mmとなる。
Next, an interval S between sample voxels is obtained. Here, the thinnest part of the human body is the wrist (in this example, the finger of the limb thinner than the wrist is not measured). If the minimum cross section of the wrist is a circle having a diameter of 75 mm, the length of one side of the minimum circumscribed square is As = 75 mm.

【0093】(数3)からAt=53mmとなり、(数
4)から指数S1=3、(数5)からS1と7−Lとの
大小関係により指数SS=3またはSS=7−Lとな
り、(数6)から、標本ボクセル間隔Sは、同じくS1
と7−Lとの大小関係によりS=8またはS=2^(7
−L)となる。
(Equation 3) gives At = 53 mm, (Equation 4) gives an index S1 = 3, and (Equation 5) gives an index SS = 3 or SS = 7-L depending on the magnitude relationship between S1 and 7-L. From (Equation 6), the sample voxel interval S is similarly S1
S = 8 or S = 2 ^ (7
-L).

【0094】次に、本発明の三次元空間再構成装置の動
作を、図11から図16のフローチャートを使って説明
する。
Next, the operation of the three-dimensional space reconstruction apparatus of the present invention will be described with reference to the flowcharts of FIGS.

【0095】まず、図11のステップS0にて、n台の
カメラ22〜26で、対象物体Oを含む測定対象空間S
を同時に画像を撮影する。また、あらかじめ撮影してい
た対象物体Oがない背景のみの画像との背景差分によ
り、対象物体Oのシルエットを抽出し画像データとす
る。
First, in step S0 in FIG. 11, the n cameras 22 to 26 use the measurement target space S including the target object O.
To shoot the image at the same time. In addition, a silhouette of the target object O is extracted as image data based on a background difference from an image of only the background without the target object O which has been captured in advance.

【0096】次に、全てのレベルのボクセル空間の状態
テーブルの要素を”未定”に設定する(ステップS
1)。
Next, the elements of the state table of the voxel space of all levels are set to "undecided" (step S).
1).

【0097】次に、ステップS2〜S6の処理を、レベ
ルL=0〜Lsについて繰り返す。ここで、レベルを示
すカウンタLが、脱出条件を定めており、ループを抜け
るとき、着目ボクセルが最小ボクセルと同じサイズにな
る。ステップ2では、レベルLに合った標本ボクセルの
間隔Sを、(数3)〜(数6)から決定する。また、粗
いボクセルをレベルLボクセルに分割し、それぞれを着
目ボクセルViとする(ステップS3)。
Next, the processing of steps S2 to S6 is repeated for levels L = 0 to Ls. Here, the counter L indicating the level defines an escape condition, and when exiting the loop, the voxel of interest has the same size as the minimum voxel. In step 2, an interval S between sample voxels matching the level L is determined from (Equation 3) to (Equation 6). Further, the coarse voxels are divided into level L voxels, each of which is set as a target voxel Vi (step S3).

【0098】すなわち、ここでは、図12に示すよう
に、レベルLを評価して(ステップS31)、L=0の
場合(当初)には、測定対象空間SをM個のレベル0ボ
クセル(最大ボクセルと同じサイズ)に分割し、M個の
着目ボクセルViとする(ステップS33)。また、L
≠0の場合(当初以外)には、1つ粗いレベル(L−
1)ボクセル空間の状態テーブルを参照し、”占有”状
態にあるボクセルのみ、レベルLボクセルに分割し、着
目ボクセルViとする(ステップS32)。
That is, here, as shown in FIG. 12, the level L is evaluated (step S31). If L = 0 (initial), the measurement target space S is divided into M level 0 voxels (maximum). (The same size as the voxel), and set as M focused voxels Vi (step S33). Also, L
If ≠ 0 (other than at the beginning), one coarse level (L-
1) With reference to the state table of the voxel space, only the voxels in the “occupied” state are divided into level L voxels and set as the voxel of interest Vi (step S32).

【0099】図11のステップS3が済んだら、ステッ
プS4〜S6の処理を、各着目ボクセルViについて繰
り返す。即ち、着目ボクセルViの表面の標本ボクセル
をSVjとし(ステップS4)、全ての標本ボクセルS
Vjついて、その状態を決定する(ステップS5)。
After step S3 in FIG. 11, the processing of steps S4 to S6 is repeated for each voxel of interest Vi. That is, the sample voxel on the surface of the target voxel Vi is set to SVj (step S4), and all the sample voxels S
The state of Vj is determined (step S5).

【0100】ここでは、図13に示すように、全ての標
本ボクセルSVjについて、ステップS51、S52の
処理を繰り返す。
Here, as shown in FIG. 13, the processing of steps S51 and S52 is repeated for all the sample voxels SVj.

【0101】即ち、標本ボクセルSVjの状態を評価
し、”未定”なら、視体積交差法でその状態を決定する
(ステップS51、S52)。
That is, the state of the sample voxel SVj is evaluated, and if "undecided", the state is determined by the visual volume intersection method (steps S51 and S52).

【0102】この視体積交差法では、図14に示すよう
に、標本ボクセルSVjの中心とカメラCのレンズ中心
とを結ぶ直線が、カメラCの画像面と交わる位置の画素
Pcを全てのカメラC(C=1〜n)について求める
(ステップS521)。
In this volume intersection method, as shown in FIG. 14, a straight line connecting the center of the sample voxel SVj and the center of the lens of the camera C is defined by a pixel Pc at a position where the pixel Pc intersects the image plane of the camera C. (C = 1 to n) is obtained (step S521).

【0103】そして、全ての画素Pc(C=1〜n)が
対象物体Oのシルエット上にあるときは、標本ボクセル
SVjの状態を”占有”とし、画素Pcのうち少なくと
も1つがシルエット上にないときは”空”とし、最小ボ
クセル空間の状態テーブルを更新する(ステップS52
2〜524)。以上で、標本ボクセルSVjの状態が決
定できる。
When all the pixels Pc (C = 1 to n) are on the silhouette of the target object O, the state of the sample voxel SVj is set to “occupied”, and at least one of the pixels Pc is not on the silhouette. At this time, it is set to “empty” and the state table of the minimum voxel space is updated (step S52).
2-524). As described above, the state of the sample voxel SVj can be determined.

【0104】次に、図11のステップS6にて、標本ボ
クセルSVjの状態から着目ボクセルViの状態を決定
する。ここでは、着目ボクセルViの表面にある全ての
標本ボクセルSVjの状態が”空”なら着目ボクセルV
iの状態を”空”とし、標本ボクセルViのうち1つで
も”占有”の状態があれば、着目ボクセルViの状態
を”占有”とする。以上で、レベルLボクセル空間が決
定でき、測定対象空間121の三次元空間再構成をレベ
ルLボクセル空間で完了したことになる。
Next, in step S6 in FIG. 11, the state of the target voxel Vi is determined from the state of the sample voxel SVj. Here, if the state of all the sample voxels SVj on the surface of the target voxel Vi is “empty”, the target voxel V
The state of i is set to “empty”, and if at least one of the sample voxels Vi is in the state of “occupied”, the state of the voxel Vi of interest is set to “occupied”. Thus, the level L voxel space can be determined, and the three-dimensional space reconstruction of the measurement target space 121 has been completed in the level L voxel space.

【0105】なお、ステップS3でレベルLに分割しな
かったボクセルについては、状態テーブルの内容が”未
定”のままである。これは、分割前のレベル(L−1)
ボクセルの段階で、対象物体と重なり合わないことが判
明しているため、”未定”状態は”空”状態と見なして
良い。これらのボクセルは、以降さらに詳しく検討され
ることはない。
For the voxels not divided into levels L in step S3, the contents of the state table remain "undecided". This is the level before division (L-1)
At the voxel stage, it has been found that the object does not overlap with the target object, so the “undecided” state may be regarded as an “empty” state. These voxels will not be discussed in further detail hereafter.

【0106】以上の処理をレベルL=0〜LS−1まで
繰り返し、測定対象空間121の三次元空間再構成を全
てのレベルLボクセル空間で完了する。
The above processing is repeated from level L = 0 to LS-1, and the three-dimensional space reconstruction of the measurement target space 121 is completed in all level L voxel spaces.

【0107】さらに、図11のステップS7にて、最小
ボクセルでの三次元空間の再構成を行う。ここでは、図
16に示すように、レベル(Ls−1)ボクセル空間の
状態テーブルを参照し、”占有”状態のボクセルのみ8
分割し、着目ボクセルViとする(ステップS71)。
Further, in step S7 in FIG. 11, the three-dimensional space is reconstructed using the minimum voxel. Here, as shown in FIG. 16, referring to the state table in the level (Ls-1) voxel space, only the voxels in the “occupied” state
The image is divided into voxels Vi of interest (step S71).

【0108】そして、全ての着目ボクセルViについ
て、ステップS72、S52の処理を繰り返す。即ち、
着目ボクセルViの状態を評価し、”未定”なら、視体
積交差法でその状態を決定する(ステップS52)。
Then, the processing of steps S72 and S52 is repeated for all the voxels Vi of interest. That is,
The state of the voxel Vi of interest is evaluated, and if "undecided", the state is determined by the visual volume intersection method (step S52).

【0109】ここで、レベルLsでは、着目ボクセルと
最小ボクセルは同一であり、これまでの処理で標本ボク
セルを決定した結果は、最小ボクセル空間の状態テーブ
ルに記録されており、あらためて、最小ボクセルレベル
の処理を追加する必要がない。
Here, at the level Ls, the voxel of interest and the minimum voxel are the same, and the result of determining the sample voxel by the processing so far is recorded in the state table of the minimum voxel space. No additional processing is required.

【0110】以上の処理で、最小ボクセル空間で測定対
象空間Sの三次元空間の再構成が完成し、測定対象空間
Sの内部にある、対象物体Oの位置と形状が決定でき
た。
With the above processing, reconstruction of the three-dimensional space of the measurement target space S in the minimum voxel space is completed, and the position and shape of the target object O inside the measurement target space S can be determined.

【0111】測定対象空間Sを、部屋などとすると、人
が占める体積占有率(測定対象空間に占める対象物体の
体積占有率)は数%から高々10%以下である。つま
り、測定対象空間のほとんどは人のいない「空」状態で
ある。このような低い体積占有率の状況では、粗いボク
セルのうちに演算対象から削除できることが、演算量削
減に大きく貢献している。因みに、実際に測定を行う場
合には、この程度の体積占有率になることが多く、実用
上効果大である。
Assuming that the measurement target space S is a room or the like, the volume occupancy of the person (volume occupancy of the target object in the measurement target space) is several percent to 10% or less at most. That is, most of the measurement target space is in an “empty” state where no people are present. In such a situation with a low volume occupation ratio, the fact that coarse voxels can be deleted from the calculation target greatly contributes to a reduction in the amount of calculation. Incidentally, when the measurement is actually performed, the volume occupancy is often about this level, which is practically effective.

【0112】本発明者らの試算では、2400mm立方
の空間(測定対象空間)を、4台のカメラで撮像し、1
人の人物(身長1700mm)の動きを測定する場合、
測定対象空間に占める人物の体積占有率(空間占有率)
は、約1.38%となり、図17に示すように、演算量
は、従来技術と比較して、約1/50〜1/60という
ように、激減した。
According to the estimation of the present inventors, a space (measurement target space) of 2400 mm 3 is imaged by four cameras and 1
When measuring the movement of a person (height 1700 mm)
Volume occupancy of the person in the measurement target space (space occupancy)
Is about 1.38%, and as shown in FIG. 17, the amount of calculation is drastically reduced to about 1/50 to 1/60 as compared with the related art.

【0113】[0113]

【発明の効果】本発明では、対象物体の性質に着目し
て、最大ボクセルを利用し、さらに、意味のある部分の
みについて、繰り返しボクセル分割を行っているため、
演算量を劇的に削減でき、十分な解像度を持ちながら、
高速に処理を完了することができる。
According to the present invention, the maximum voxel is used by paying attention to the properties of the target object, and furthermore, only the significant portion is repeatedly subjected to voxel division.
The amount of computation can be dramatically reduced, and while having sufficient resolution,
Processing can be completed at high speed.

【図面の簡単な説明】[Brief description of the drawings]

【図1】本発明の一実施の形態における三次元空間再構
成装置の機能ブロック図
FIG. 1 is a functional block diagram of a three-dimensional space reconstruction apparatus according to an embodiment of the present invention.

【図2】同機能ブロック図FIG. 2 is a functional block diagram of the same.

【図3】同ブロック図FIG. 3 is a block diagram of the same.

【図4】同最大ボクセルの説明図FIG. 4 is an explanatory diagram of the maximum voxel.

【図5】(a)同処理の流れの概説図 (b)同処理の流れの概説図 (c)同処理の流れの概説図 (d)同処理の流れの概説図 (e)同処理の流れの概説図FIG. 5A is a schematic diagram of the flow of the same process; FIG. 5B is a schematic diagram of a flow of the same process; FIG. 5C is a schematic diagram of a flow of the same process; Outline diagram of flow

【図6】(a)同測定対象空間の説明図 (b)同最大ボクセルの説明図FIG. 6A is an explanatory diagram of the measurement target space. FIG. 6B is an explanatory diagram of the maximum voxel.

【図7】(a)同分割ボクセルの分割説明図 (b)同分割ボクセルの分割説明図 (c)同分割ボクセルの分割説明図 (d)同分割ボクセルの分割説明図FIG. 7A is an explanatory view of dividing the same voxel. FIG. 7B is an explanatory view of dividing the same voxel. FIG. 7C is an explanatory view of dividing the same voxel.

【図8】(a)同ボクセル状態テーブルの例示図 (b)同ボクセル状態テーブルの例示図 (c)同ボクセル状態テーブルの例示図 (d)同ボクセル状態テーブルの例示図FIG. 8A is a view showing an example of the voxel state table. FIG. 8B is a view showing an example of the voxel state table. FIG. 8C is a view showing an example of the voxel state table.

【図9】(a)同パラメータの説明図 (b)同パラメータの説明図FIG. 9A is an explanatory diagram of the parameter; FIG. 9B is an explanatory diagram of the parameter;

【図10】(a)同標本ボクセルの説明図 (b)同標本ボクセルの説明図FIG. 10A is an explanatory diagram of the sample voxel. FIG. 10B is an explanatory diagram of the sample voxel.

【図11】同フローチャートFIG. 11 is the same flowchart.

【図12】同フローチャートFIG. 12 is the same flowchart.

【図13】同フローチャートFIG. 13 is the same flowchart.

【図14】同フローチャートFIG. 14 is the same flowchart.

【図15】同フローチャートFIG. 15 is the same flowchart.

【図16】同フローチャートFIG. 16 is the same flowchart.

【図17】同計算量と体積占有率との関係を示すグラフFIG. 17 is a graph showing the relationship between the calculation amount and the volume occupancy.

【図18】従来の三次元空間再構成の原理説明図FIG. 18 is a diagram illustrating the principle of conventional three-dimensional space reconstruction.

【図19】同三次元空間再構成装置の機能ブロック図FIG. 19 is a functional block diagram of the three-dimensional space reconstruction apparatus.

【図20】同三次元空間再構成装置のフローチャートFIG. 20 is a flowchart of the three-dimensional space reconstruction apparatus.

【符号の説明】[Explanation of symbols]

10 制御手段 12 複数方向画像取得手段 14 ボクセル状態テーブル 16 最大ボクセル決定手段 18 ボクセル分割手段 19 ボクセル状態決定手段 DESCRIPTION OF SYMBOLS 10 Control means 12 Multi-directional image acquisition means 14 Voxel state table 16 Maximum voxel determination means 18 Voxel division means 19 Voxel state determination means

───────────────────────────────────────────────────── フロントページの続き (72)発明者 吉田 裕之 大阪府門真市大字門真1006番地 松下電器 産業株式会社内 Fターム(参考) 5B047 AA07 BB06 CA14 CB22 5B057 BA02 CB13 CD20 CE10 CH07 DA06  ──────────────────────────────────────────────────続 き Continuing on the front page (72) Inventor Hiroyuki Yoshida 1006 Kazuma Kadoma, Kadoma City, Osaka Prefecture F-term in Matsushita Electric Industrial Co., Ltd. 5B047 AA07 BB06 CA14 CB22 5B057 BA02 CB13 CD20 CE10 CH07 DA06

Claims (12)

【特許請求の範囲】[Claims] 【請求項1】測定対象空間内にある対象物体を、互いに
異なる方向から撮像し、多数の最小ボクセルの塊によ
り、対象物体を再構成する三次元空間再構成装置であっ
て、 対象物体が入りきれない最大ボクセルを決定する最大ボ
クセル決定手段と、 当初、測定対象空間を前記最大ボクセルで分割した複数
のボクセルを分割ボクセルとして出力すると共に、当初
以降、与えられたボクセルを一定個数に分割した分割ボ
クセルを出力するボクセル分割手段と、 前記ボクセル分割手段が出力するそれぞれの分割ボクセ
ルと対象物体とが、重なり合うか否かを決定するボクセ
ル状態決定手段と、 対象物体と重なり合うと決定された、分割ボクセルが、
一定脱出条件を満たしていない場合、この分割ボクセル
を前記ボクセル分割手段に与えて、繰り返し分割させる
制御手段とを備えることを特徴とする三次元空間再構成
装置。
1. A three-dimensional space reconstruction apparatus for imaging a target object in a measurement target space from directions different from each other and reconstructing the target object by a mass of a number of minimum voxels. Maximum voxel determining means for determining the maximum voxel that cannot be cut off, and initially outputting a plurality of voxels obtained by dividing the measurement target space by the maximum voxel as a divided voxel, and dividing a given voxel into a fixed number from the beginning. Voxel dividing means for outputting voxels, voxel state determining means for determining whether or not each of the divided voxels output by the voxel dividing means and the target object overlap with each other, and a divided voxel determined to overlap with the target object. But,
A three-dimensional space reconstructing apparatus, comprising: a controller that supplies the divided voxel to the voxel dividing unit when the predetermined escape condition is not satisfied, and performs repeated division.
【請求項2】前記一定脱出条件は、分割ボクセルと最小
ボクセルのサイズが同じであることを特徴とする請求項
1記載の三次元空間再構成装置。
2. The three-dimensional space reconstruction apparatus according to claim 1, wherein said constant escape condition is that the size of the divided voxel and the size of the smallest voxel are the same.
【請求項3】前記一定個数は、8であることを特徴とす
る請求項1から2記載の三次元空間再構成装置。
3. The three-dimensional space reconstruction apparatus according to claim 1, wherein the predetermined number is eight.
【請求項4】前記ボクセル状態決定手段は、与えられた
ボクセルの表面付近のみを調べ、いずれかの表面付近に
対象物体を検出できたとき、このボクセルと対象物体と
が重なり合うと決定することを特徴とする請求項1から
3記載の三次元空間再構成装置。
4. The voxel state determining means examines only the vicinity of the surface of a given voxel, and when a target object can be detected near any of the surfaces, determines that the voxel and the target object overlap. The three-dimensional space reconstruction apparatus according to claim 1, wherein
【請求項5】前記ボクセル状態決定手段は、ボクセルの
表面付近の一部を標本化して標本ボクセルを発生する標
本ボクセル発生部を有し、標本ボクセルに基づいて、対
象物体の検出を行うことを特徴とする請求項4記載の三
次元空間再構成装置。
5. The voxel state determining means includes a sample voxel generating unit that samples a part of the voxel near its surface to generate a sample voxel, and detects a target object based on the sample voxel. The three-dimensional space reconstruction apparatus according to claim 4, wherein
【請求項6】前記標本ボクセルは、与えられたボクセル
を最小ボクセルのサイズで均等に分割した複数のボクセ
ルのいずれかであることを特徴とする請求項5記載の三
次元空間再構成装置。
6. The three-dimensional space reconstruction apparatus according to claim 5, wherein the sample voxel is one of a plurality of voxels obtained by equally dividing a given voxel by a minimum voxel size.
【請求項7】測定対象空間内にある対象物体を、互いに
異なる方向から撮像し、多数の最小ボクセルの塊によ
り、対象物体を再構成する三次元空間再構成方法であっ
て、 対象物体が入りきれない最大ボクセルを決定するステッ
プと、 当初、測定対象空間を前記最大ボクセルで分割した複数
のボクセルを分割ボクセルとして出力すると共に、当初
以降、与えられたボクセルを一定個数に分割した分割ボ
クセルを出力するステップと、 それぞれの分割ボクセルと対象物体とが、重なり合う否
かを決定するステップと、 対象物体と重なり合うと決定された、分割ボクセルが、
一定脱出条件を満たしていない場合、この分割ボクセル
を、繰り返し分割させるステップとを備えることを特徴
とする三次元空間再構成方法。
7. A three-dimensional space reconstruction method for imaging a target object in a measurement target space from directions different from each other, and reconstructing the target object by a large number of minimum voxel clusters. Determining a maximum voxel that cannot be cut, and initially outputting a plurality of voxels obtained by dividing the measurement target space by the maximum voxel as a divided voxel, and outputting a divided voxel obtained by dividing a given voxel into a fixed number from the beginning. Determining whether each of the divided voxels and the target object overlap with each other, and determining whether or not the divided voxel and the target object overlap with each other.
And a step of repeatedly dividing the divided voxels when the fixed escape condition is not satisfied.
【請求項8】前記一定脱出条件は、分割ボクセルと最小
ボクセルのサイズが同じであることを特徴とする請求項
7記載の三次元空間再構成方法。
8. The three-dimensional space reconstruction method according to claim 7, wherein the constant escape condition is that the size of the divided voxel and the size of the smallest voxel are the same.
【請求項9】前記一定個数は、8であることを特徴とす
る請求項7から8記載の三次元空間再構成方法。
9. The three-dimensional space reconstruction method according to claim 7, wherein the predetermined number is eight.
【請求項10】与えられたボクセルの表面付近のみを調
べ、いずれかの表面付近に対象物体を検出できたとき、
このボクセルと対象物体とが重なり合うと決定すること
を特徴とする請求項7から9記載の三次元空間再構成方
法。
10. Examining only the vicinity of a given voxel surface and detecting an object near any of the surfaces,
10. The three-dimensional space reconstruction method according to claim 7, wherein it is determined that the voxel and the target object overlap.
【請求項11】ボクセルの表面付近の一部を標本化して
標本ボクセルを発生し、標本ボクセルに基づいて、対象
物体の検出を行うことを特徴とする請求項10記載の三
次元空間再構成方法。
11. The three-dimensional space reconstruction method according to claim 10, wherein a sample voxel is generated by sampling a part of the voxel near the surface, and a target object is detected based on the sample voxel. .
【請求項12】前記標本ボクセルは、与えられたボクセ
ルを最小ボクセルのサイズで均等に分割した複数のボク
セルのいずれかであることを特徴とする請求項11記載
の三次元空間再構成方法。
12. The three-dimensional space reconstruction method according to claim 11, wherein the sample voxel is any one of a plurality of voxels obtained by equally dividing a given voxel by a minimum voxel size.
JP2000122645A 2000-04-24 2000-04-24 Three-dimensional space reconstruction device and three-dimensional space reconstruction method Expired - Fee Related JP4550221B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2000122645A JP4550221B2 (en) 2000-04-24 2000-04-24 Three-dimensional space reconstruction device and three-dimensional space reconstruction method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2000122645A JP4550221B2 (en) 2000-04-24 2000-04-24 Three-dimensional space reconstruction device and three-dimensional space reconstruction method

Publications (2)

Publication Number Publication Date
JP2001307073A true JP2001307073A (en) 2001-11-02
JP4550221B2 JP4550221B2 (en) 2010-09-22

Family

ID=18633097

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2000122645A Expired - Fee Related JP4550221B2 (en) 2000-04-24 2000-04-24 Three-dimensional space reconstruction device and three-dimensional space reconstruction method

Country Status (1)

Country Link
JP (1) JP4550221B2 (en)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008027438A (en) * 2006-07-19 2008-02-07 Envisiontec Gmbh Method and device for producing three-dimensional object, and computer and data carrier useful thereof
JP2008107877A (en) * 2006-10-23 2008-05-08 Nippon Hoso Kyokai <Nhk> 3D shape restoration device
JP2016103265A (en) * 2014-10-23 2016-06-02 株式会社東芝 Method and systems for generating three-dimensional model of subject
US10325378B2 (en) 2016-09-29 2019-06-18 Canon Kabushiki Kaisha Image processing apparatus, image processing method, and non-transitory storage medium
JP2021033682A (en) * 2019-08-26 2021-03-01 Kddi株式会社 Image processing equipment, methods and programs
US11037323B2 (en) 2018-02-22 2021-06-15 Canon Kabushiki Kaisha Image processing apparatus, image processing method and storage medium
JP2021099671A (en) * 2019-12-23 2021-07-01 Kddi株式会社 Three-dimensional model generation method and device
US11138702B2 (en) 2018-12-17 2021-10-05 Canon Kabushiki Kaisha Information processing apparatus, information processing method and non-transitory computer readable storage medium
JP2022138797A (en) * 2021-03-11 2022-09-26 Kddi株式会社 3D model generation device, method and program

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS63155366A (en) * 1986-12-19 1988-06-28 Fujitsu Ltd Forming system for cubic form
JPH1063873A (en) * 1996-08-23 1998-03-06 Atr Tsushin Syst Kenkyusho:Kk Octal tree generating method
WO1999006956A1 (en) * 1997-07-29 1999-02-11 Koninklijke Philips Electronics N.V. Method of reconstruction of tridimensional scenes and corresponding reconstruction device and decoding system
JP2000222600A (en) * 1999-01-29 2000-08-11 Ricoh Co Ltd Method and system for generating volume model from dot group, and recording medium on which program for this method is recorded

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS63155366A (en) * 1986-12-19 1988-06-28 Fujitsu Ltd Forming system for cubic form
JPH1063873A (en) * 1996-08-23 1998-03-06 Atr Tsushin Syst Kenkyusho:Kk Octal tree generating method
WO1999006956A1 (en) * 1997-07-29 1999-02-11 Koninklijke Philips Electronics N.V. Method of reconstruction of tridimensional scenes and corresponding reconstruction device and decoding system
JP2001501348A (en) * 1997-07-29 2001-01-30 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ Three-dimensional scene reconstruction method, corresponding reconstruction device and decoding system
JP2000222600A (en) * 1999-01-29 2000-08-11 Ricoh Co Ltd Method and system for generating volume model from dot group, and recording medium on which program for this method is recorded

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008027438A (en) * 2006-07-19 2008-02-07 Envisiontec Gmbh Method and device for producing three-dimensional object, and computer and data carrier useful thereof
JP2008107877A (en) * 2006-10-23 2008-05-08 Nippon Hoso Kyokai <Nhk> 3D shape restoration device
JP2016103265A (en) * 2014-10-23 2016-06-02 株式会社東芝 Method and systems for generating three-dimensional model of subject
US9905047B2 (en) 2014-10-23 2018-02-27 Kabushiki Kaisha Toshiba Method and systems for generating a three dimensional model of a subject by iteratively generating meshes
US10325378B2 (en) 2016-09-29 2019-06-18 Canon Kabushiki Kaisha Image processing apparatus, image processing method, and non-transitory storage medium
US11037323B2 (en) 2018-02-22 2021-06-15 Canon Kabushiki Kaisha Image processing apparatus, image processing method and storage medium
US11138702B2 (en) 2018-12-17 2021-10-05 Canon Kabushiki Kaisha Information processing apparatus, information processing method and non-transitory computer readable storage medium
JP2021033682A (en) * 2019-08-26 2021-03-01 Kddi株式会社 Image processing equipment, methods and programs
JP7177020B2 (en) 2019-08-26 2022-11-22 Kddi株式会社 Image processing device, method and program
JP2021099671A (en) * 2019-12-23 2021-07-01 Kddi株式会社 Three-dimensional model generation method and device
JP7245766B2 (en) 2019-12-23 2023-03-24 Kddi株式会社 3D model generation method and apparatus
JP2022138797A (en) * 2021-03-11 2022-09-26 Kddi株式会社 3D model generation device, method and program
JP7465234B2 (en) 2021-03-11 2024-04-10 Kddi株式会社 3D model generation device, method and program

Also Published As

Publication number Publication date
JP4550221B2 (en) 2010-09-22

Similar Documents

Publication Publication Date Title
CN109255352B (en) Target detection method, device and system
EP1952354B1 (en) Determining camera motion
CN108765351B (en) Image processing method, device, electronic device and storage medium
CN111652054B (en) Joint point detection method, gesture recognition method and device
JP7227969B2 (en) Three-dimensional reconstruction method and three-dimensional reconstruction apparatus
CN113034581B (en) Relative pose estimation method of space targets based on deep learning
CN111028237A (en) Image segmentation method and device and terminal equipment
CN112819875B (en) Monocular depth estimation method and device and electronic equipment
CN112907736A (en) Implicit field-based billion pixel scene crowd three-dimensional reconstruction method and device
JP2001307073A (en) Three-dimensional space reconstruction apparatus and three-dimensional space reconstruction method
WO2014002521A1 (en) Image processing device and image processing method
JP7432793B1 (en) Mapping methods, devices, chips and module devices based on three-dimensional point clouds
CN116109778B (en) Face three-dimensional reconstruction method based on deep learning, computer equipment and medium
CN111489384A (en) Occlusion assessment method, device, equipment, system and medium based on mutual view
CN116051736A (en) Three-dimensional reconstruction method, device, edge equipment and storage medium
KR102167655B1 (en) Neural network training method for utilizing differences between a plurality of images, and method thereof
CN118781341A (en) Medical image segmentation method, device, storage medium and electronic equipment
CN112613383A (en) Joint point detection method, posture recognition method and device
CN117788686A (en) Three-dimensional scene reconstruction method and device based on 2D image and electronic equipment
JP2005331285A (en) Image processing method and image processing apparatus
CN113971734A (en) Target object detection method, device, electronic device and storage medium
JP3149923B2 (en) Curve length measuring device, measuring method thereof, and storage medium storing control program for measuring curve length
JP6355206B2 (en) Camera calibration method, camera calibration device, and camera calibration program
JP2018092507A (en) Image processing apparatus, image processing method, and program
CN113221971A (en) Multi-scale crowd counting method and system based on front and back feature fusion

Legal Events

Date Code Title Description
RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20040210

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20070329

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20091217

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20091224

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100216

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100331

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100517

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100616

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100708

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130716

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130716

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140716

Year of fee payment: 4

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees