【特許請求の範囲】
【請求項１】 複数の要素画像を１つの画像に合成する画像合成方法であって、ディスプレイ装置に複数の画素画像を表示し、該表示画面上で人手操作によって複数の要素画像の位置合わせを行わせ、この位置合わせ後の画面上の複数の要素画像の相対的位置及び配置関係の情報を、複数の要素画像の合成のための処理に利用することを特徴とする画像合成方法。
【請求項２】 複数の要素画像を１つの画像に合成する画像合成方法であって、ディスプレイ装置に複数の画素画像を表示し、該表示画面上で人手操作によって隣り合う要素画像の対応点を指定させてその座標を入力し、入力された座標から認識される複数の要素画像の相対的位置及び配置関係の情報を、複数の要素画像の合成のための処理に利用することを特徴とする画像合成方法。
【請求項３】 ディスプレイ装置に複数の画素画像を表示し、該表示画面上で人手操作によって複数の要素画像の位置合わせを行わせる第１のステップと、該第１のステップによる位置合わせ後の画面上の複数の要素画像の相対的位置及び配置関係を認識する第２のステップと、該第２のステップにより認識された情報に基づき、隣り合う要素画像のオーバーラップ領域を推定し、推定したオーバーラップ領域内の対応点を抽出する第３のステップと、該第３のステップにより抽出された隣り合う要素画像の対応点の位置関係に基づいて、複数の要素画像を位置合わせし貼り合わせることにより合成画像を生成する第４のステップとを含むことを特徴とする画像合成方法。
【請求項４】 ディスプレイ装置に複数の画素画像を表示し、該表示画面上で人手操作によって複数の要素画像中の隣り合う要素画像の対応点を指定させてその座標を入力する第１のステップと、該第１のステップにより入力された座標から複数の要素画像の相対的位置及び配置関係を認識する第２のステップと、該第２のステップにより認識された情報に基づき、隣り合う要素画像のオーバーラップ領域を推定し、推定したオーバーラップ領域内の対応点を抽出する第３のステップと、該第３のステップにより抽出された隣り合う要素画像の対応点の位置関係に基づいて、複数の要素画像を位置合わせし貼り合わせることにより合成画像を生成する第４のステップとを含むことを特徴とする画像合成方法。
【請求項５】 請求項３又は４記載の画像合成方法において、該第４のステップは、要素画像を撮影した撮像手段の焦点距離又はその整数倍を半径とする参照球面に、該第３のステップで抽出された隣り合う要素画像の対応点を投影し、その位置関係に基づいて隣り合う一方の要素画像から他方の要素画像の座標系への座標変換行列を決定する第５のステップと、複数の要素画像を参照球面へ投影し、該第５のステップで決定された座標変換行列を用いて複数の要素画像を共通の座標系へ座標変換して出力画像平面へ投影し貼り合わせる第６のステップとを含むことを特徴とする画像合成方法。
【請求項６】 表示画面上で人手操作により任意の要素画像中の任意の位置を視点として指定させ、該指定された視点に対応する投影平面を設定する第５のステップをさらに有し、該第４のステップは、要素画像を撮影した撮像手段の焦点距離又はその整数倍を半径とする参照球面に、該第３のステップで抽出された隣り合う要素画像の対応点を投影し、その位置関係に基づいて隣り合う一方の要素画像から他方の要素画像の座標系への座標変換行列を決定する第６のステップと、該第５のステップで指定された視点に対応する要素画像を基準画像とし、各要素画像から該基準画像の座標系への座標変換行列を該第６のステップで決定された隣り合う要素画像間の座標変換行列から計算する第７のステップと、複数の要素画像を参照球面へ投影し、該第７のステップで計算された座標変換行列を用いて複数の要素画像を基準画像の座標系へ座標変換して該第５のステップで設定された投影平面へ投影し貼り合わせる第８のステップとを含むことを特徴とする請求項３又は４記載の画像合成方法。
【請求項７】 ディスプレイ装置に複数の画素画像を表示し、該表示画面上で人手操作によって複数の要素画像の位置合わせを行わせる第１の手段と、該人手操作による位置合わせ後の画面上の複数の要素画像の相対的位置及び配置関係を認識する第２の手段と、該第２の手段により認識された情報に基づき、隣り合う要素画像のオーバーラップ領域を推定し、推定したオーバーラップ領域内の対応点を抽出する第３の手段と、該第３の手段により抽出された隣り合う要素画像の対応点の位置関係に基づいて、複数の要素画像を位置合わせし貼り合わせることにより合成画像を生成する第４の手段とを具備する画像合成装置。
【請求項８】 ディスプレイ装置に複数の画素画像を表示し、該表示画面上で人手操作によって複数の要素画像中の隣り合う要素画像の対応点を指定させてその座標を入力する第１の手段と、該人手操作により入力された座標から複数の要素画像の相対的位置及び配置関係を認識する第２の手段と、該第２の手段により認識された情報に基づき、隣り合う要素画像のオーバーラップ領域を推定し、推定したオーバーラップ領域内の対応点を抽出する第３の手段と、該第３の手段により抽出された隣り合う要素画像の対応点の位置関係に基づいて、複数の要素画像を位置合わせし貼り合わせることにより合成画像を生成する第４手段とを具備する画像合成装置。
【請求項９】 請求項７又は８記載の画像合成装置において、該第４の手段は、要素画像を撮影した撮像手段の焦点距離又はその整数倍を半径とする参照球面に該第３の手段により抽出された隣り合う要素画像の対応点を投影し、その位置関係に基づいて隣り合う一方の要素画像から他方の要素画像の座標系への座標変換行列を決定する第５の手段と、複数の要素画像を参照球面へ投影し、該第５の手段で決定された座標変換行列を用いて複数の要素画像を共通の座標系へ座標変換して出力画像平面へ投影し貼り合わせる第６の手段とを含むことを特徴とする画像合成装置。
【請求項１０】 ディスプレイ装置の画面上で人手操作により任意の要素画像中の任意の位置を視点として指定するための第５の手段と、該人手操作により指定された視点に対応する投影平面を設定する第６の手段とをさらに有し、該第４の手段は、要素画像を撮影した撮像手段の焦点距離又はその整数倍を半径とする参照球面に、該第３の手段で抽出された隣り合う要素画像の対応点を投影し、その位置関係に基づいて隣り合う一方の要素画像から他方の要素画像の座標系への座標変換行列を決定する第７の手段と、該人手操作により指定された視点に対応する要素画像を基準画像とし、各要素画像から該基準画像の座標系への座標変換行列を該第７の手段により決定された隣り合う要素画像間の座標変換行列から計算する第８の手段と、複数の要素画像を参照球面へ投影し、該第８の手段により計算された座標変換行列を用いて複数の要素画像を基準画像の座標系へ座標変換して該第６の手段により設定された投影平面へ投影し貼り合わせる第９の手段とを含むことを特徴とする請求項８記載の画像合成装置。
【請求項１１】 コンピュータを請求項７，８，９又は１０記載の画像合成装置の各手段として機能させるためのプログラムが記録されたことを特徴とする機械読み取り可能な情報記録媒体。
[Claims]
[Claim 1] An image synthesis method for synthesizing multiple elemental images into a single imageAnd, display deviceA plurality of pixel images are displayed on the display.An image synthesis method characterized by manually aligning a plurality of elemental images on a screen, and using information on the relative positions and layout relationships of the plurality of elemental images on the screen after this alignment in processing for synthesizing the plurality of elemental images.
[Claim 2] An image synthesis method for synthesizing multiple elemental images into a single imageAnd, display deviceA plurality of pixel images are displayed on the display.Corresponding points on adjacent element images are manually specified on the screen.Let meThe coordinates are input, and information on the relative positions and layout relationships of the multiple element images recognized from the input coordinates is used in processing to combine the multiple element images.
[Claim 3] Display deviceA plurality of pixel images are displayed on the display.Alignment of multiple element images manually on the screenmake it happenAn image synthesis method comprising: a first step; a second step of recognizing the relative positions and layout relationships of a plurality of elemental images on a screen after alignment in the first step; a third step of estimating an overlap area of adjacent elemental images based on the information recognized in the second step and extracting corresponding points within the estimated overlap area; and a fourth step of generating a composite image by aligning and pasting together the plurality of elemental images based on the positional relationships of the corresponding points of adjacent elemental images extracted in the third step.
[Claim 4] Display deviceA plurality of pixel images are displayed on the display.Corresponding points of adjacent element images among multiple element images are specified manually on the screen.Let mea first step of inputting the coordinates; a second step of recognizing the relative positions and layout relationships of a plurality of element images from the coordinates input in the first step; a third step of estimating an overlap area of adjacent element images based on the information recognized in the second step and extracting corresponding points within the estimated overlap area; and a fourth step of generating a composite image by aligning and pasting together the plurality of element images based on the positional relationships of the corresponding points of adjacent element images extracted in the third step.
[Claim 5] In the image synthesis method according to claim 3 or 4, the fourth step isImaging meansa fifth step of projecting corresponding points of adjacent element images extracted in the third step onto a reference sphere having a radius equal to or an integral multiple of the focal length of the element images, and determining a coordinate transformation matrix from one adjacent element image to the coordinate system of the other adjacent element image based on their positional relationship; and a sixth step of projecting a plurality of element images onto the reference sphere, transforming the plurality of element images into a common coordinate system using the coordinate transformation matrix determined in the fifth step, and projecting and pasting the element images onto an output image plane.
[Claim 6] displayAny position in any element image can be manually specified as the viewpoint on the screen.andThe method further includes a fifth step of setting a projection plane corresponding to a designated viewpoint, and the fourth step is performed by taking the elemental images.Imaging meansa sixth step of projecting corresponding points of adjacent element images extracted in the third step onto a reference sphere having a radius equal to or an integral multiple of the focal length of the element images, and determining a coordinate transformation matrix from one of the adjacent element images to the coordinate system of the other adjacent element image based on the positional relationship; a seventh step of using the element image corresponding to the viewpoint specified in the fifth step as a reference image, and calculating a coordinate transformation matrix from each element image to the coordinate system of the reference image from the coordinate transformation matrix between the adjacent element images determined in the sixth step; and an eighth step of projecting a plurality of element images onto the reference sphere, transforming the coordinates of the plurality of element images into the coordinate system of the reference image using the coordinate transformation matrix calculated in the seventh step, and projecting and pasting the element images onto the projection plane set in the fifth step.
[Claim 7] Display deviceA plurality of pixel images are displayed on the display.Alignment of multiple element images manually on the screenmake it happenAn image synthesis device comprising: first means; second means for recognizing the relative positions and arrangement relationship of a plurality of elemental images on a screen after the manual alignment; third means for estimating an overlap area of adjacent elemental images based on the information recognized by the second means and extracting corresponding points within the estimated overlap area; and fourth means for generating a synthetic image by aligning and pasting together the plurality of elemental images based on the positional relationship of the corresponding points of adjacent elemental images extracted by the third means.
[Claim 8] Display deviceA plurality of pixel images are displayed on the display.Corresponding points of adjacent element images among multiple element images are specified manually on the screen.Let meand a fourth means for generating a composite image by aligning and pasting together the plurality of element images based on the positional relationship of the corresponding points of the adjacent element images extracted by the third means.
Claim 9: In the image synthesis device according to claim 7 or 8, the fourth means is aImaging meansa fifth means for projecting corresponding points of adjacent element images extracted by the third means onto a reference sphere having a radius equal to or an integral multiple of the focal length of the element images, and determining a coordinate transformation matrix from one adjacent element image to the coordinate system of the other adjacent element image based on the positional relationship; and a sixth means for projecting a plurality of element images onto the reference sphere, transforming the plurality of element images into a common coordinate system using the coordinate transformation matrix determined by the fifth means, and projecting and pasting the element images onto an output image plane.
Claim 10: The present invention further comprises a fifth means for manually specifying an arbitrary position in an arbitrary elemental image as a viewpoint on the screen of a display device, and a sixth means for setting a projection plane corresponding to the viewpoint manually specified, and the fourth means is a means for manually specifying a projection plane corresponding to the viewpoint specified by the fourth means when the elemental image is captured.Imaging meansand a coordinate transformation matrix for transforming each element image into the coordinate system of the reference image from the coordinate transformation matrix between the adjacent element images determined by the seventh means, using the element image corresponding to the manually specified viewpoint as a reference image; and a ninth means for projecting a plurality of element images onto the reference spherical surface, transforming the coordinates of the plurality of element images into the coordinate system of the reference image using the coordinate transformation matrix calculated by the eighth means, and projecting and pasting the element images onto the projection plane set by the sixth means.
Claim 11] A machine-readable information recording medium having recorded thereon a program for causing a computer to function as each means of the image synthesis device described in claim 7, 8, 9, or 10.
より詳しくは、本発明の画像合成方法又は装置は、ディスプレイ装置に複数の画素画像を表示し、該表示画面上で人手操作によって複数の要素画像の位置合わせを行わせ、あるいは、ディスプレイ装置の画面上で人手操作によって隣り合う要素画像の対応点を指定させてその座標を入力するための第１のステップ又は手段と、該人手操作による位置合わせ後の画面上の複数の要素画像の位置及び配置関係を認識する、あるいは入力された座標から複数の要素画像の相対的位置及び配置関係を認識する第２のステップ又は手段と、該第２のステップ又は手段により認識された情報に基づき、隣り合う要素画像のオーバーラップ領域を推定し、推定したオーバーラップ領域内の対応点を抽出する第３のステップ又は手段と、該第３のステップ又は手段により抽出された隣り合う要素画像の対応点の位置関係に基づいて複数の要素画像を位置合わせし貼り合わせることにより合成画像を生成する第４のステップ又は手段とを含む。
More specifically, the image synthesis method or apparatus of the present invention includes a first step or means for displaying a plurality of pixel images on a display device and manually aligning the plurality of elemental images on the display screen, or manually specifying corresponding points of adjacent elemental images on the screen of the display device and inputting their coordinates; a second step or means for recognizing the positions and layout relationship of the plurality of elemental images on the screen after the manual alignment, or recognizing the relative positions and layout relationship of the plurality of elemental images from the input coordinates; a third step or means for estimating an overlap area of adjacent elemental images based on the information recognized by the second step or means and extracting corresponding points within the estimated overlap area; and a fourth step or means for generating a composite image by aligning and pasting together the plurality of elemental images based on the positional relationship of the corresponding points of adjacent elemental images extracted by the third step or means.
本発明の画像合成方法又は装置の一態様によれば、前記第４のステップ又は手段では、要素画像を撮影したデジタルカメラ等の撮像手段の焦点距離又はその整数倍を半径とする参照球面に前記第３のステップで抽出された隣り合う要素画像の対応点を投影し、その位置関係に基づいて隣り合う一方の要素画像から他方の要素画像の座標系への座標変換行列を決定し、複数の要素画像を参照球面へ投影し、座標変換行列を用いて複数の要素画像を共通の座標系へ座標変換して出力画像平面へ投影し貼り合わせることにより、合成画像を生成する。
According to one aspect of the image synthesis method or device of the present invention, in the fourth step or means, corresponding points of adjacent element images extracted in the third step are projected onto a reference sphere having a radius equal to the focal length of an imaging means such as a digital camera that captured the element images or an integer multiple thereof, a coordinate transformation matrix from one adjacent element image to the coordinate system of the other adjacent element image is determined based on the positional relationship, the multiple element images are projected onto the reference sphere, and the multiple element images are coordinate-transformed using the coordinate transformation matrix to a common coordinate system, and then projected and pasted onto an output image plane, thereby generating a composite image.
本発明の画像合成方法又は装置の別の一態様によれば、ディスプレイ装置に複数の画素画像を表示し、該表示画面上で人手操作により任意の要素画像中の任意の位置を視点として指定させ、該指定された視点に対応する投影平面を設定するためのステップ又は手段をさらに有する。そして、前記第４のステップ又は手段では、要素画像を撮影したデジタルカメラ等の撮像手段の焦点距離又はその整数倍を半径とする参照球面に、前記第３のステップ又は手段で抽出された隣り合う要素画像の対応点を投影し、その位置関係に基づいて隣り合う一方の要素画像から他方の要素画像の座標系への座標変換行列を決定し、指定された視点に対応する要素画像を基準画像とし、各要素画像から該基準画像の座標系への座標変換行列を前記の隣り合う要素画像間の座標変換行列から計算し、複数の要素画像を参照球面へ投影し、基準画像への座標変換行列を用いて複数の要素画像を基準画像の座標系へ座標変換して、前記の投影平面へ投影し貼り合わせることにより、指定された視点から撮影もしくは観測した如き合成画像を生成する。
According to another aspect of the image compositing method or apparatus of the present invention, the method or apparatus further comprises a step or means for displaying a plurality of pixel images on a display device, manually specifying an arbitrary position in any of the element images as a viewpoint on the display screen, and setting a projection plane corresponding to the specified viewpoint. The fourth step or means projects corresponding points of adjacent element images extracted in the third step or means onto a reference sphere having a radius equal to the focal length of an imaging means , such as a digital camera, that captured the element images, or an integral multiple thereof, determines a coordinate transformation matrix from one adjacent element image to the coordinate system of the other adjacent element image based on their positional relationship, sets the element image corresponding to the specified viewpoint as a reference image, calculates a coordinate transformation matrix from each element image to the coordinate system of the reference image from the coordinate transformation matrix between the adjacent element images, projects the plurality of element images onto the reference sphere, transforms the plurality of element images into the coordinate system of the reference image using the coordinate transformation matrix to the reference image, and projects and stitches them onto the projection plane to generate a composite image that looks like it was photographed or observed from the specified viewpoint.