JP2009172122A

JP2009172122A - ミシン

Info

Publication number: JP2009172122A
Application number: JP2008013439A
Authority: JP
Inventors: Atsuya Hayakawa; 敦也早川; Hitoshi Higashikura; 仁東倉
Original assignee: Brother Industries Ltd
Current assignee: Brother Industries Ltd
Priority date: 2008-01-24
Filing date: 2008-01-24
Publication date: 2009-08-06
Also published as: US20090194008A1; US8267024B2

Abstract

【課題】任意の視点から容易に針位置や縫製状態を確認することができるミシンを提供する。
【解決手段】ミシンベッド上を撮像可能なイメージセンサと、画像を表示する液晶ディスプレイとが設けられている。そして、ユーザがタッチパネルを操作することにより、画像の視点位置の変更指示が行われると（Ｓ２５：ＹＥＳ）、操作に応じて視点位置を変更する処理が行われ、変更された視点位置が記憶される（Ｓ２６）。次いで、実際にイメージセンサによって撮像された実体画像から、ユーザによって変更された視点位置を視点とする仮想画像に視点変換され（Ｓ２７）、この仮想画像が液晶ディスプレイに表示される（Ｓ２８）。
【選択図】図６

Description

本発明は、任意の視点から見た画像を表示手段に表示させることができるミシンに関する。

従来、画像を撮像する撮像手段と、この撮像手段によって撮像された画像を表示する表示手段とを備えたミシンが知られている。例えば、特許文献１に記載のミシンでは、縫針の針落ち点近傍の画像を撮像装置によって撮像し、撮像された画像に針落ち点の位置を示す表示を重ね合わせて表示手段に表示する。これにより、針落ち点近傍に顔を近づけることなく針位置や縫製状態を確認することができる。また、押え足等の部品によって視界が遮られることなく、針位置や縫製状態の確認を容易に行うことができる。
特開平８−７１２８７号公報

しかしながら、特許文献１に記載のミシンでは、ミシンに配設されている撮像装置は所定の位置に配設されており、撮像装置の配設位置とは異なる位置を視点とした画像を表示手段に表示させることができなかった。従って、異なる視点から針位置や縫製状態を確認するためには、ユーザは結局針落ち点近傍に顔を近づけて目視しなければならないという問題点があった。

本発明は上記課題を解決するためになされたものであり、任意の視点から容易に針位置や縫製状態を確認することができるミシンを提供することを目的とする。

上記目的を達成するために、本発明の請求項１に記載のミシンは、ベッド部と、このベッド部から立設された脚柱部と、前記ベッド部の上方で前記脚柱部から水平に張り出したアーム部とを有し、前記アーム部の先端側に設けられた頭部に、縫針が装着される針棒を上下に往復揺動可能に備えたミシンであって、前記ベッド部上を撮像可能な撮像手段と、前記撮像手段によって撮像された実体画像を、任意の視点から見た仮想画像に視点変換する画像変換手段と、前記画像変換手段によって視点変換された前記仮想画像を表示させる表示手段とを備えている。

また、本発明の請求項２に記載のミシンは、請求項１に記載の発明の構成に加え、前記仮想画像の視点位置を所定の空間位置に指定する視点位置指定手段を備え、前記画像変換手段は、前記視点位置指定手段によって指定された視点位置から見た仮想画像に前記実体画像を視点変換することを特徴とする。

また、本発明の請求項３に記載のミシンは、請求項１又は２に記載の発明の構成に加え、前記撮像手段は、前記針棒の配設位置よりも前方で、且つ前記縫針に上糸を案内するための糸道経路から所定距離離間した前記頭部の所定位置に配設されていることを特徴とする。

また、本発明の請求項４に記載のミシンは、請求項３に記載の発明の構成に加え、前記仮想画像の視点位置を、前記ベッド部、前記脚柱部、及び前記アーム部に囲まれた空間内の特定位置に指定する特定視点位置指定手段を備えている。

また、本発明の請求項５に記載のミシンは、請求項１乃至４のいずれかに記載の発明の構成に加え、前記撮像手段はＣＭＯＳイメージセンサであることを特徴とする。

本発明の請求項１に記載のミシンによると、撮像手段によって撮像された実体画像を、任意の視点から見た仮想画像に視点変換し、表示手段によって表示させることができる。従って、多数のカメラをミシンに配設しなくても、また、カメラを移動させなくても、針棒近傍を実際に目視することなく、針位置や縫製状態を任意の視点から確認することができる。また、ユーザ自身が視点を変えなくても、視点変更された仮想画像を見ることで、通常では視認できない方向や視認しづらい方向からも針位置や縫製状態を容易に確認することができる。

また、本発明の請求項２に記載のミシンは、請求項１に記載の発明の効果に加え、仮想画像の視点位置が視点位置指定手段によって指定されると、指定された視点位置から見た仮想画像に実体画像を視点変換することができる。従って、ユーザは希望する視点から安全且つ容易に針位置や縫製状態を確認することができる。

また、本発明の請求項３に記載のミシンは、請求項１又は２に記載の発明の効果に加え、撮像手段が針棒の配設位置よりも前側で、且つ上糸を案内するための糸道経路から所定距離離間した位置に配設されている。従って、上糸を案内するための糸道経路に干渉することなく、ユーザの視点により近い針棒の前方側から実体画像を撮像することができる。

また、本発明の請求項４に記載のミシンは、請求項３に記載の発明の効果に加え、ユーザ特定視点位置指定手段によって、仮想画像の視点位置をベッド部、脚柱部、及びアーム部に囲まれた空間内の特定位置に指定することができる。従って、加工布の布縁にかがり縫いを行う場合等、縫製状態を針落ち位置の右側から確認したい場合に、ユーザはベッド部、脚柱部、及びアーム部に囲まれた空間内を視点とした画像を用いて縫製状態を確認することができる。

また、本発明の請求項５に記載のミシンは、請求項１乃至４のいずれかに記載の発明の効果に加え、撮像手段に小型且つ安価なＣＭＯＳイメージセンサを用いることで、撮像手段をミシンに設置するスペースが小さくて済むと共に、撮像手段のコストを低く抑えることが可能となる。

以下、本発明の実施の形態を図面を参照して説明する。図１乃至図３を参照して、ミシン１の物理的構成及び電気的構成について説明する。図１は、ミシン１の上側からの斜視図であり、図２は、イメージセンサ５０を示す模式図である。また、図３は、上糸２２の糸道経路とイメージセンサ５０との位置関係を示す図であり、図４は、ミシン１の電気的構成を示す模式図である。尚、図１における紙面手前側、図２における左側、図３における紙面右下側をミシン１の正面側とする。

まず、図１を参照して、本実施の形態におけるミシン１の物理的構成について説明する。図１に示すように、ミシン１は、左右方向に長いミシンベッド２と、ミシンベッド２の右端部から上方へ立設された脚柱部３と、脚柱部３の上端から左方へ延びるアーム部４と、アーム部４の左先端部に設けられた頭部５とを有する。脚柱部３の正面部には、表面にタッチパネル１６を備えた液晶ディスプレイ１０が設けられている。液晶ディスプレイ１０には、縫製模様や縫製条件の入力キー等が表示され、タッチパネル１６においてこれらの入力キー等に対応した位置がユーザによって触れられることにより、縫製模様や縫製条件等が選択される。さらに、イメージセンサ５０（図２及び図３参照）によって撮像された実体画像を、ユーザが希望する視点から見た仮想画像に視点変換して表示する場合に、ユーザによる視点位置の入力を受け付けるための視点指定画面が液晶ディスプレイ１０に表示される。この詳細は、図９を参照して後述する。尚、ミシンベッド２が本発明の「ベッド部」に相当する。

また、ミシン１の内部には、ミシンモータ７９（図４参照）、主軸（図示せず）、下端部に縫針７を装着した針棒６（図２及び図３参照）、この針棒６を上下動させる針棒上下動機構（図示せず）、針棒６を左右方向に針振りさせる針振り機構（図示せず）等が収納されている。さらに、アーム部４の上部には、縫製に用いられる糸駒２１を装着する糸駒装着部２０が形成されている。

また、ミシンベッド２の上部には針板８０が配設されている。この針板８０の下側の内部には、送り歯（図示せず）を駆動する送り歯前後動機構（図示せず）及び送り歯上下動機構（図示せず）、送り歯による加工布の送り量を調整する送り量調整用パルスモータ７８（図４参照）、下糸を巻回したボビンを格納した釜（図示せず）等が収納されている。また、ミシンベッド２の左方には補助テーブル８が嵌め込まれている。この補助テーブル８は取り外しが可能であり、補助テーブル８が取り外されたミシンベッド２には、刺繍装置（図示せず）を装着することができる。

また、ミシン１の右側面には、手動で主軸を回転させ、前記針棒６を上下動させるプーリ（図示せず）が設けられている。また、頭部５及びアーム部４の正面に設けられている正面カバー５９には、ミシンモータ７９の駆動を開始させて縫製を開始させる又はミシンモータ７９の駆動を停止させて縫製を停止させる縫製開始・停止スイッチ４１、加工布を通常とは逆方向である後方から前方へ送るための返し縫いスイッチ４２、及びその他の操作スイッチが設けられている。さらに、縫製速度（主軸の回転速度）を調整する速度調整摘み４３が設けられている。ここで、縫製開始・停止スイッチ４１は、ミシン１の停止中に押圧操作されると運転が開始され、ミシン１の運転中に押圧操作されると運転が停止するようになっている。さらに、正面カバー５９の内部における下端部６０、正面視にて、縫針７から右斜め上方の位置には、イメージセンサ５０（図２及び図３参照）が設置されており、ミシンベッド２上の針板８０近傍を撮像することができる。

次に、図２及び図３を参照して、イメージセンサ５０について説明する。イメージセンサ５０は周知のＣＭＯＳイメージセンサであり、画像を撮像する。本実施の形態では、図２及び図３に示すように、正面カバー５９の内部における下端部６０に支持フレーム５１が取り付けられており、この支持フレーム５１に、イメージセンサ５０がミシンベッド２上を撮像できるように下方へ向けて取り付けられている。ここで、縫製時には、図３に示すように、糸駒２１（図１参照）から延びる上糸２２は、針棒糸案内２４に案内されて縫針７の目孔９に挿通される。そして、イメージセンサ５０は、この上糸２２の糸道経路から所定距離Ｄだけ離間した位置であり、且つ針棒６よりも前方に配設される。従って、上糸２２の糸道経路に干渉することなく、ユーザの視点により近い針棒６の前方側から画像を撮像することができるため、ユーザは違和感を抱くことなく、表示された画像内の物体の位置関係を容易に把握することができる。以下、イメージセンサ５０によって撮像された画像を「実体画像」という。尚、針落ち点とは、縫針７が針棒上下動機構により下方に移動され、加工布に刺さった点を指している。そして、加工布を抑える押え足４７は、押え棒４５の下端部に固定される押えホルダ４６に装着されている。また、本実施の形態では、イメージセンサ５０に小型且つ安価なＣＭＯＳイメージセンサを用いることで、設置スペースが小さくて済むと共に、製造コストを低く抑えることが可能となる。しかし、これに限定されることなく、イメージセンサ５０はＣＣＤカメラであってもよいし、他の撮像素子であってもよい。また、イメージセンサ５０が本発明の「撮像手段」に相当する。

次に、図４を参照して、ミシン１の主な電気的構成について説明する。図４に示すように、ミシン１は、ＣＰＵ６１、ＲＯＭ６２、ＲＡＭ６３、ＥＥＰＲＯＭ６４、カードスロット１７、外部アクセスＲＡＭ６８、入力インターフェイス６５、出力インターフェイス６６等を有し、これらはバス６７により相互に接続されている。そして、入力インターフェイス６５には、縫製開始・停止スイッチ４１、返し縫いスイッチ４２、速度調整摘み４３、タッチパネル１６、イメージセンサ５０等が接続されている。一方、出力インターフェイス６６には、送り量調整用パルスモータ７８を駆動させる駆動回路７１、主軸を回転駆動させるためのミシンモータ７９を駆動させる駆動回路７２、液晶ディスプレイ１０を駆動させる駆動回路７５が電気的に接続されている。また、カードスロット１７には、メモリカード１８を接続することができる。このメモリカード１８には、ミシン１で刺繍縫製を行うための刺繍データを記憶する刺繍データ記憶エリア１８１が設けられている。

ＣＰＵ６１は、ミシン１の主制御を司り、読み出し専用の記憶素子であるＲＯＭ６２の制御プログラム記憶領域に記憶された制御プログラムに従って、各種演算及び処理を実行する。ＲＡＭ６３は、任意に読み書き可能な記憶素子であり、イメージセンサ５０で撮像された実体画像が記憶される実体画像記憶エリア、ユーザによって変更された画像の視点の座標を記憶する変更視点座標記憶エリア、ＣＰＵ６１が演算処理した演算結果を収容する各種記憶領域が必要に応じて設けられている。

次に、図５を参照して、ＥＥＰＲＯＭ６４に設けられている記憶エリアについて説明する。図５は、ＥＥＰＲＯＭ６４に設けられている記憶エリアの構成を示す模式図である。ＥＥＰＲＯＭ６４には、特徴点三次元座標記憶エリア６４１、内部パラメータ記憶エリア６４２及び外部パラメータ記憶エリア６４３が設けられている。

特徴点三次元座標記憶エリア６４１には、後述する各種パラメータをミシン１自身で算出するために、予め算出されている針板８０上の特徴点のワールド座標系における三次元座標が記憶されている。ワールド座標系とは、主に三次元グラフィックスの分野で用いられる三次元の座標系であり、空間全体を示す座標系である。対象物の重心等の影響を受けることのない座標系である。よって、空間内での物体の位置を示したり、異なる物体に対する座標を比較したりする際に用いられる。本実施の形態では、図１に示すように、ミシンベッド２の上面をＸＹ平面とし、針板８０上の特定の点を原点（０，０，０）としてワールド座標系が設定されている。そして、ミシン１の上下方向にＺ軸、左右方向にＸ軸、前後方向にＹ軸を取っている。

内部パラメータ記憶エリア６４２には、Ｘ軸焦点距離記憶エリア６４２１、Ｙ軸焦点距離記憶エリア６４２２、Ｘ軸主点座標記憶エリア６４２３、Ｙ軸主点座標記憶エリア６４２４、第一歪み係数記憶エリア６４２５、第二歪み係数記憶エリア６４２６が設けられている。外部パラメータ記憶エリア６４３には、Ｘ軸回転ベクトル記憶エリア６４３１、Ｙ軸回転ベクトル記憶エリア６４３２、Ｚ軸回転ベクトル記憶エリア６４３３、Ｘ軸並進ベクトル記憶エリア６４３４、Ｙ軸並進ベクトル記憶エリア６４３５、Ｚ軸並進ベクトル記憶エリア６４３６が設けられている。

ここで、パラメータについて説明する。ＥＥＰＲＯＭ６４に記憶されているパラメータは、イメージセンサ５０で撮像された実体画像を任意の視点から見た仮想画像に視点変換したり、三次元座標を二次元座標に変換したり、二次元座標を三次元座標に変換したりするのに用いられる。そして、パラメータは、撮像された針板８０の画像から算出される特徴点の二次元座標と、特徴点三次元座標記憶エリア６４１に記憶されている特徴点の三次元座標との組み合わせに基づいて、周知のカメラキャリブレーションのパラメータの算出方法により算出される。パラメータの算出方法は、三次元座標が既知である点（特徴点）を含む対象物（本実施の形態では、針板８０）をカメラで撮像し、撮像された画像における特徴点の二次元座標を算出して、既知の三次元座標と算出された二次元座標とに基づいて射影行列を求め、射影行列からパラメータを求めるものである。この算出方法については、種々の研究、提案がなされている（例えば、特許第３１３８０８０号公報参照）。本発明においては、いずれの算出方法を用いてもよい。また、本実施の形態では、ミシン１自身でパラメータが算出されてＥＥＰＲＯＭ６４に記憶されるが、ミシン１の製造時にあらかじめパラメータを算出し、記憶させておいてもよい。

内部パラメータは、イメージセンサ５０の特性により生じる焦点距離のずれ、主点座標のずれ、撮像した画像の歪みを補正するためのパラメータである。本実施の形態では、Ｘ軸焦点距離、Ｙ軸焦点距離、Ｘ軸主点座標、Ｙ軸主点座標、第一歪み係数、第二歪み係数の６つの内部パラメータが用いられる。ここで、イメージセンサ５０により撮像された実体画像を考える場合、次のような問題点がある。画像の中心がどこにあるか不明である。イメージセンサ５０の画素が正方形でない場合、画像の２つの座標軸のスケールが異なる。画像の２つの座標軸は必ずしも直交しない。そこで、２つの座標軸のスケールが同じであり、且つ、２つの座標軸が直交しており、且つ、焦点から単位長の所に画像が撮像される「正規化カメラ」の概念を導入する。そして、イメージセンサ５０で撮像された画像を、この正規化カメラで撮像した画像（正規化画像）に変換する。この正規化画像に変換する際に内部パラメータが用いられる。

Ｘ軸焦点距離は、イメージセンサ５０のＸ軸方向の焦点距離のずれを示す内部パラメータであり、Ｙ軸焦点距離は、Ｙ軸方向の焦点距離のずれを示す内部パラメータである。Ｘ軸主点座標は、イメージセンサ５０のＸ軸方向の主点のずれを示す内部パラメータであり、Ｙ軸主点座標は、Ｙ軸方向の主点のずれを示す内部パラメータである。第一歪み係数及び第二歪み係数は、イメージセンサ５０のレンズの傾きによる歪みを示す内部パラメータである。

また、外部パラメータは、ワールド座標系に対するイメージセンサ５０の設置状態（位置や向き）を示すパラメータである。つまり、イメージセンサ５０における三次元座標系（以下、「カメラ座標系」という。）と、ワールド座標系とのずれを示すパラメータである。本実施の形態では、Ｘ軸回転ベクトル、Ｙ軸回転ベクトル、Ｚ軸回転ベクトル、Ｘ軸並進ベクトル、Ｙ軸並進ベクトル、Ｚ軸並進ベクトルの６つの外部パラメータを算出する。これらの外部パラメータを用いることにより、イメージセンサ５０のカメラ座標系をワールド座標系に変換することができる。Ｘ軸回転ベクトルは、カメラ座標系のワールド座標系に対するＸ軸周りの回転を示し、Ｙ軸回転ベクトルは、Ｙ軸周りの回転を示し、Ｚ軸回転ベクトルは、Ｚ軸周りの回転を示している。そして、ワールド座標系からカメラ座標系へ変換する転換行列や、カメラ座標系からワールド座標系へ変換する転換行列を決定する際に使用される。Ｘ軸並進ベクトルはワールド座標系に対するカメラ座標系のＸ軸方向のずれを示し、Ｙ軸並進ベクトルはＹ軸方向のずれを示し、Ｚ軸並進ベクトルはＺ軸方向のずれを示している。そして、Ｘ軸並進ベクトル、Ｙ軸並進ベクトル、Ｚ軸並進ベクトルは、ワールド座標系からカメラ座標系へ変換する並進ベクトルや、カメラ座標系からワールド座標系へ変換する並進ベクトルを決定する際に使用される。

次に、図６乃至図１０を参照して、本発明の特徴である画像表示処理について説明する。図６は、ミシン１で行われる画像表示処理のフローチャートであり、図７は、液晶ディスプレイ１０に表示される画像取り込み指示受付画面の一具体例を示す図である。また、図８は、液晶ディスプレイ１０に表示される視点変更指示受付画面の一具体例を示す図であり、図９は、液晶ディスプレイ１０に表示される視点位置変更受付画面の一具体例を示す図であり、図１０は、本実施の形態における視点位置の移動を示す説明図である。以下、フローチャートの各ステップについて「Ｓ」と略記する。

本実施形態のミシン１では、イメージセンサ５０によって撮像された画像を、そのまま実体画像として液晶ディスプレイ１０に表示させることができる。さらに、この実体画像を、ユーザが希望する任意の視点から見た仮想画像に視点変換して表示させることもできる。これにより、多数のイメージセンサ５０をミシン１に配設することなく、針位置や縫製状態を液晶ディスプレイ１０を用いて任意の視点から確認することを可能にしている。

ユーザがタッチパネル１６を操作することにより、「カメラによる画像データの取り込み」機能が選択されると、図６のフローチャートに示す画像表示処理が開始される。この処理は、ＲＯＭ６２の制御プログラム記憶エリアに記憶されている制御プログラムにより行われ、ＣＰＵ６１において実行される。まず、ユーザの希望するタイミングで画像を撮像するために、画像取り込み指示受付画面が液晶ディスプレイ１０に表示される（Ｓ１１）。図７に示すように、画像取り込み指示受付画面では、ユーザが画像の取り込みを指示するための画像取り込みボタン１０１、及び画像表示処理を終了させるための終了ボタン１０２が表示される。

次いで、終了ボタン１０２が操作されたか否かが判断される（Ｓ１２）。タッチパネル１６内の終了ボタン１０２に対応する部分がユーザによって触れられて、終了ボタン１０２が操作されると（Ｓ１２：ＹＥＳ）、画像表示処理を終了する。一方で、終了ボタン１０２が操作されなかった場合には（Ｓ１２：ＮＯ）、画像取り込みボタン１０１が操作されたか否かが判断され（Ｓ１３）、操作されていなければ（Ｓ１３：ＮＯ）、Ｓ１２の判断へ戻る。

そして、画像取り込みボタン１０１が操作された場合には（Ｓ１３：ＹＥＳ）、イメージセンサ５０により画像が撮像され、実体画像としてＲＡＭ６３の実体画像記憶エリアに記憶される（Ｓ１４）。次いで、撮像された実体画像が、液晶ディスプレイ１０の略上半分に形成される画像表示領域１０４（図８参照）に表示される（Ｓ１５）。さらに、視点変換を行うか否かをユーザに選択させるための視点変更指示受付画面が、液晶ディスプレイ１０に表示される（Ｓ１６）。図８に示すように、視点変更指示受付画面では、ユーザが視点変換の実行を指示するための視点指定ボタン１０５、及び画像の表示を終了するための終了ボタン１０６が表示される。

次いで、終了ボタン１０６が操作されたか否かが判断され（Ｓ２１）、操作された場合には（Ｓ２１：ＹＥＳ）、Ｓ１１の処理へ戻る。終了ボタン１０６が操作されなかった場合には（Ｓ２１：ＮＯ）、視点指定ボタン１０５が操作されたか否かが判断され（Ｓ２２）、いずれのボタンも操作されていなければ（Ｓ２２：ＮＯ）、Ｓ２１の判断へ戻る。そして、視点指定ボタン１０５が操作された場合には（Ｓ２２：ＹＥＳ）、ユーザによる画像の視点位置の変更を受け付けるための視点位置変更受付画面が液晶ディスプレイ１０に表示される（Ｓ２３）。

図９に、視点位置変更受付画面の一例を示す。液晶ディスプレイ１０には、視点移動ボタン１１０、視点位置表示領域１２０、ズームインボタン１３１、ズームアウトボタン１３２、特定視点位置指定ボタン１３３、終了ボタン１３４が表示される。視点移動ボタン１１０は、ユーザが視点位置を移動させるためのボタンであり、上ボタン１１１、下ボタン１１２、左ボタン１１３、右ボタン１１４、及び視点位置を元に戻す、即ち、表示されている画像を仮想画像から実体画像へ戻すためのリセットボタン１１５からなる。ユーザが、上ボタン１１１、下ボタン１１２、左ボタン１１３、右ボタン１１４の何れかのボタンを押下すると、その方向に視点位置が移動する。また、上ボタン１１１と下ボタン１１２のいずれか一方と、左ボタン１１３と右ボタン１１４のいずれか一方とを同時に押下することにより、斜め４５度方向への移動も可能としてもよい。また、図示はしないが、斜め４５度方向への移動ボタンを４つ付加した所謂８方向ボタンであってもよい。

そして、視点位置表示領域１２０には、針落ち点を中心とする複数の同心円１２１が表示され、視点マーク１２２により視点位置が示されると共に、カメラマーク１２３によりイメージセンサ５０の配設位置が示される。また、ズームインボタン１３１は、視点位置を針落ち点に近づけるためのボタンであり、ズームアウトボタン１３２は、視点位置を針落ち点から遠ざけるためのボタンである。ここで、ズームインボタン１３１が押下されると、視点位置が近づいたことを示すために、視点位置表示領域１２０の同心円１２１の間隔を大きくすると共に、画像表示領域１０４にはズームイン画像を表示する。一方、ズームアウトボタン１３２が押下されると、視点位置が遠ざかったことを示すために、視点位置表示領域１２０の同心円１２１の間隔を小さくすると共に、画像表示領域１０４にはズームアウト画像を表示する。そして、特定視点位置指定ボタン１３３は、針落ち点よりも右側の特定位置へ視点位置を指定するためのボタンであり、終了ボタン１３４は、視点変換を終了するためのボタンである。

次いで、終了ボタン１３４が操作されたか否かが判断され（Ｓ２４）、操作された場合には（Ｓ２４：ＹＥＳ）、Ｓ１１の処理へ戻る。終了ボタン１３４が操作されなかった場合には（Ｓ２４：ＮＯ）、ユーザからの視点変更の指示があったか否かが判断され（Ｓ２５）、指示がなければ（Ｓ２５：ＮＯ）、Ｓ２４の判断へ戻る。

そして、視点変更の指示があった場合には（Ｓ２５：ＹＥＳ）、視点位置変更処理が行われる（Ｓ２６）。この処理では、上ボタン１１１、下ボタン１１２、左ボタン１１３、及び右ボタン１１４の少なくともいずれかが操作されると、図１０に示すように、針落ち点８１を中心とする仮想球面１４０上で視点位置１４２を移動させる処理が行われる（図中、矢印「Ｋ」）。これに伴い、視点位置表示領域１２０（図９参照）内の視点マーク１２２が移動されると共に、移動後の視点位置の座標がＲＡＭ６３の変更視点座標記憶エリアに記憶される。また、リセットボタン１１５が操作されると、画像表示領域１０４に表示される画像は仮想画像から実体画像に戻されて、視点位置表示領域１２０内の視点マーク１２２はカメラマーク１２３へ移動される。

また、ズームインボタン１３１が操作された場合には、図１０に示すように、針落ち点８１と視点位置１４２との間の距離を近づける処理が行われる（図中、矢印「Ｌ」）。これに伴い、視点位置表示領域１２０（図９参照）の同心円１２１の間隔を大きくすると共に、移動後の視点位置の座標がＲＡＭ６３の変更視点座標記憶エリアに記憶される。一方で、ズームアウトボタン１３２が操作されると、視点位置１４２を針落ち点８１から遠ざけて、視点位置表示領域１２０の同心円１２１の間隔を小さくする。

また、特定視点位置指定ボタン１３３が操作された場合には、ミシンベッド２、脚柱部３、及びアーム部４に囲まれた空間内（所謂ふところ部）の特定位置８５（図１参照）に視点位置が変更され、カメラマーク１２３の移動及びＲＡＭ６３への座標の記憶が行われる。この特定位置８５は、脚柱部３の左側における略中央部であって、針落ち点の右側が見えるような視点位置である。これにより、ユーザは、加工布の布縁にかがり縫いを行う場合等、縫製状態を針落ち点の右側から確認したい場合に、目視では視認できない画像を簡単な操作で画像表示領域１０４に表示させて、縫製状態を確認することができる。本実施の形態では、脚柱部３の左側における略中央部が特定位置８５に設定されているが、特定位置は適宜設定することができる。そして、視点位置変更処理（Ｓ２６）が終了すると、画像データ変換処理が行われる（Ｓ２７）。

ここで、画像データ変換処理（Ｓ２７）について説明する。この画像データ変換処理では、イメージセンサ５０によって撮像された実体画像を、ユーザによって指定された視点位置から見た仮想画像に視点変換する処理が行われる。まず、空間全体を示す、先述したワールド座標系上の点の三次元座標をＭ_ｗ（Ｘ_ｗ，Ｙ_ｗ，Ｚ_ｗ）、イメージセンサ５０のカメラ座標系上の点の三次元座標をＭ_１（Ｘ_１，Ｙ_１，Ｚ_１）、移動させた視点の座標系（移動視点座標系）上の点の三次元座標をＭ_２（Ｘ_２，Ｙ_２，Ｚ_２）とする。そして、カメラ座標系の実体画像平面上の点の二次元座標を（ｕ_１，ｖ_１）、移動視点座標系の仮想画像平面上の点の二次元座標を（ｕ_２，ｖ_２）とする。さらに、「Ｒ_ｗ」は外部パラメータであるＸ軸回転ベクトルｒ_１、Ｙ軸回転ベクトルｒ_２、及びＺ軸回転ベクトルｒ_３に基づいて決定される３×３の回転行列、「ｔ_ｗ」は、外部パラメータであるＸ軸並進ベクトルｔ_１、Ｙ軸並進ベクトルｔ_２、及びＺ軸並進ベクトルｔ_３に基づいて決定される３×１の並進ベクトルである。つまり、Ｒ_ｗ、ｔ_ｗは、ワールド座標系の三次元座標Ｍ_ｗ（Ｘ_ｗ，Ｙ_ｗ，Ｚ_ｗ）をカメラ座標系の三次元座標Ｍ_１（Ｘ_１，Ｙ_１，Ｚ_１）に変換する際に利用される。そして、ワールド座標系の三次元座標Ｍ_ｗ（Ｘ_ｗ，Ｙ_ｗ，Ｚ_ｗ）を移動視点座標系の三次元座標Ｍ_２（Ｘ_２，Ｙ_２，Ｚ_２）に変換する際には、Ｒ_ｗ２（３×３の回転行列）、ｔ_ｗ２（３×１の並進ベクトル）が用いられる。これらの行列式は、移動先の視点がワールド座標系のどの点に該当するかにより決定される。そして、移動視点座標系の三次元座標Ｍ_２（Ｘ_２，Ｙ_２，Ｚ_２）を、カメラ座標系の三次元座標Ｍ_１（Ｘ_１，Ｙ_１，Ｚ_１）に変換する行列式を、Ｒ_２１（３×３の回転行列）、ｔ_２１（３×１の並進ベクトル）とする。

まず、移動視点座標系の三次元座標Ｍ_２（Ｘ_２，Ｙ_２，Ｚ_２）を、カメラ座標系の三次元座標Ｍ_１（Ｘ_１，Ｙ_１，Ｚ_１）に変換する行列式Ｒ_２１、ｔ_２１を算出する。Ｒ_ｗ，Ｒ_ｗ２，Ｒ_２１，ｔ_ｗ，ｔ_ｗ２，ｔ_２１には、次のような関係が成り立つ。「Ｍ_１＝Ｒ_ｗ×Ｍ_ｗ＋ｔ_ｗ（ワールド座標系からカメラ座標系へ）」，「Ｍ_２＝Ｒ_ｗ２×Ｍ_ｗ＋ｔ_ｗ２（ワールド座標系から移動視点座標系へ）」，「Ｍ_１＝Ｒ_２１×Ｍ_２＋ｔ_２１（移動視点座標系からカメラ座標系へ）」である。これらをＲ_２１，ｔ_２１について解くと、「Ｒ_２１＝Ｒ_ｗ×Ｒ_ｗ２ ^Ｔ」，「ｔ_２１＝Ｒ_ｗ×Ｒ_ｗ２ ^Ｔ×ｔ_ｗ２＋ｔ_ｗ」となる。Ｒ_ｗ，Ｒ_ｗ２，ｔ_ｗ，ｔ_ｗ２はすでに算出された固定値であるので、Ｒ_２１，ｔ_２１は一意的に決定される。

次に、仮想画像上の点の二次元座標（ｕ_２，ｖ_２）が、実体画像上のどの二次元座標（ｕ_１，ｖ_１）となるかを算出することで、仮想画像を作成する。そのために、仮想画像上の二次元座標（ｕ_２，ｖ_２）が、視点変更座標系の正規化画像上の二次元座標（ｘ_２"，ｙ_２"）へ変換される。この値は、ＥＥＰＲＯＭ６４の内部パラメータ記憶エリア６４２に記憶されているＸ軸焦点距離ｆｘ、Ｙ軸焦点距離ｆｙ、Ｘ軸主点座標ｃｘ、及びＹ軸主点座標ｃｙが用いられて、「ｘ_２"＝（ｕ_２−ｃｘ）／ｆｘ」、「ｙ_２"＝（ｖ_２−ｃｙ）／ｆｙ」により算出される。次いで、正規化画像上の二次元座標（ｘ_２"，ｙ_２"）にレンズの歪みを加味した座標（ｘ_２'，ｙ_２'）が算出される。この値は、内部パラメータである第一歪み係数ｋ_１及び第二歪み係数ｋ_２が用いられて、「ｘ_２'＝ｘ_２"−ｘ_２"×（１＋ｋ_１×ｒ^２＋ｋ_２×ｒ^４）」、「ｙ_２'＝ｙ_２"−ｙ_２"×（１＋ｋ_１×ｒ^２＋ｋ_２×ｒ^４）」により算出される。尚、「ｒ^２＝ｘ_２'^２＋ｙ_２'^２」である。

次いで、視点変更座標系の正規化画像上の二次元座標（ｘ_２'，ｙ_２'）から、視点変更座標系の三次元座標Ｍ_２（Ｘ_２，Ｙ_２，Ｚ_２）が算出される。ここで、「Ｘ_２＝ｘ_２'×Ｚ_２」、「Ｙ_２＝ｙ_２'×Ｚ_２」である。さらに、ミシンベッド２の上面をワールド座標系のＸＹ平面としているので、「Ｍ_２＝Ｒ_ｗ２×Ｍ_ｗ＋ｔ_ｗ２」においてＺ＝０とする。そして、連立方程式を解くことにより、視点変更座標系の三次元座標（Ｘ_２，Ｙ_２，Ｚ_２）が算出される。

そして、移動視点座標系の三次元座標Ｍ_２（Ｘ_２，Ｙ_２，Ｚ_２）を、カメラ座標系の三次元座標Ｍ_１（Ｘ_１，Ｙ_１，Ｚ_１）に変換する。ここでは、式「Ｍ_１＝Ｒ_２１×Ｍ_２＋ｔ_２１」にＭ_２（Ｘ_２，Ｙ_２，Ｚ_２）が代入され、Ｍ_１（Ｘ_１，Ｙ_１，Ｚ_１）が算出される。次いで、カメラ座標系の三次元座標Ｍ_１（Ｘ_１，Ｙ_１，Ｚ_１）からカメラ座標系の正規化画像上の二次元座標（ｘ_１'，ｙ_１'）へ変換される。ここで、「ｘ_１'＝ｘ_１／ｚ_１」、「ｙ_１'＝ｙ_１／ｚ_１」である。さらに、レンズの歪みが加味された二次元座標（ｘ_１"，ｙ_１"）が算出される。この値は、「ｘ_１"＝ｘ_１'×（１＋ｋ_１×ｒ^２＋ｋ_２×ｒ^４）」、「ｙ_１"＝ｙ_１'×（１＋ｋ_１×ｒ^２＋ｋ_２×ｒ^４）」により算出される。尚、「ｒ^２＝ｘ_１'^２＋ｙ_１'^２」である。次いで、正規化画像上の二次元座標（ｘ_１"，ｙ_１"）からカメラ座標系の二次元座標（ｕ_１，ｖ_１）へ変換される。この座標は「ｕ_１＝ｆｘ×ｘ_１"＋ｃｘ」、「ｖ_１＝ｆｙ×ｙ_１"＋ｃｙ」で算出される。

このような処理を、仮想画像の全ての画素について実施すれば、実体画像のどの画素（ｕ_１，ｖ_１）が仮想画像のどの画素（ｕ_２，ｖ_２）に対応するかが分かるため、ユーザによって指定された視点位置から見た仮想画像を実体画像から作成することができる。そして、図６のフローチャートの説明に戻り、画像データ変換処理（Ｓ２７）が終了すると、視点変換された仮想画像が画像表示領域１０４に表示されて（Ｓ２８）、Ｓ２４の判断へ戻る。

次に、図１１及び図１２を参照して、本実施の形態のイメージセンサ５０によって撮像された実体画像、及びこの実体画像から視点変換された仮想画像について説明する。図１１は、イメージセンサ５０によって針板８０が撮像された実体画像の一例を示す図であり、この実体画像は、針板８０を斜め上方から見た画像である。図１２は、図１１に示す実体画像から視点変換された仮想画像の一例を示す図である。まず、画像表示処理において最初に画像を表示させる処理（Ｓ１５、図６参照）では、イメージセンサ５０によって撮像された実体画像がそのまま表示される（図１１参照）。そして、ユーザによって視点位置が変更されると（Ｓ２６）、変更された視点位置から見た仮想画像に実体画像が視点変換されて（Ｓ２７）、画像を表示させる処理が行われる（Ｓ２８）。すると、図１２に示すように、ユーザによって指定された視点位置から見た画像が画像表示領域１０４に表示されることとなる。このように視点変換された仮想画像は、針板８０のほぼ真上から見た画像となる。

以上説明したように、本実施の形態のミシン１によると、イメージセンサ５０によって撮像された実体画像を、ユーザが希望する視点位置から見た仮想画像に視点変換し、液晶ディスプレイ１０に表示させることができる。従って、多数のイメージセンサ５０をミシンに配設しなくても、また、イメージセンサ５０を移動させなくても、針棒６近傍を実際に目視することなく、針位置や縫製状態を任意の視点から確認することができる。また、ユーザ自身が視点を変えなくても、視点変更された仮想画像を見ることで、通常では視認できない方向や視認しづらい方向からも針位置や縫製状態を容易に確認することができる。

尚、図６に示すＳ１５及びＳ２８において、液晶ディスプレイ１０に実体画像及び仮想画像を表示させるＣＰＵ６１が本発明の「表示手段」に相当し、Ｓ２７において実体画像を仮想画像に視点変換する処理を行うＣＰＵ６１が「画像変換手段」として機能する。また、図６に示すＳ２６において、ユーザが希望する仮想画像の視点位置を、タッチパネル１６の操作に応じて所定の空間位置に指定するＣＰＵ６１が「視点位置指定手段」として機能する。

尚、本発明のミシンは上記実施の形態に限られず、本発明の要旨を逸脱しない範囲内において種々の変更を加え得ることは勿論である。まず、本実施の形態では、ミシンベッド２上を撮像するために、正面カバー５９の下端部６０（図２及び図３参照）にイメージセンサ５０が１つ配設されている。しかし、イメージセンサ５０の配設位置や配設個数は適宜変更が可能であり、例えば、２つのイメージセンサ５０によって撮像された画像を用いて仮想画像を作成し、液晶ディスプレイ１０に表示させる構成としてもよい。

また、ユーザによる仮想画像の視点位置の入力を受け付けるための構成は、変更が可能である。図９に示すように、本実施の形態では、ユーザが希望する方向へ視点位置を移動させるための矢印ボタン１１１〜１１４と、表示されている画像を仮想画像から実体画像へ戻すためのリセットボタン１１５と、視点位置を特定位置に移動させるための特定視点位置指定ボタン１３３とが設けられている。しかし、矢印ボタン１１１〜１１４を設けずに、あらかじめ定められた所定位置に視点位置を移動させるための視点位置指定ボタンを複数設けておき（例えば、「後方」、「左方」、「右方」、「前方」等）、複数の視点位置の中から１つをユーザに選択させるようにしてもよい。また、特定視点位置指定ボタン１３３を２種類以上設けてもよいし、リセットボタン１１５を省いてもよい。また、タッチパネル１６でなく、視点位置の入力を受け付けるための専用の入力部を新たに設けてもよい。また、マウス、トラックパッド、トラックボール、ジョイスティック等のポインティングデバイスをミシン１に接続して、このポインティングデバイスの操作により視点位置を移動させるように構成してもよい。

また、本実施の形態では、所定の位置をより大きく画像表示領域１０４に表示させる場合、画像を拡大するのではなく、視点位置を近づけることで画像を大きく表示させている。すなわち、拡大・縮小でなく、パラメータを利用したズームイン・ズームアウトを採用している。しかし、実体画像、又は仮想画像を拡大・縮小して画像表示領域１０４に表示させる構成とすることも可能である。

ミシン１の上側からの斜視図である。イメージセンサ５０を示す模式図である。上糸２２の糸道経路とイメージセンサ５０との位置関係を示す模式図である。ミシン１の電気的構成を示す模式図である。ＥＥＰＲＯＭ６４に設けられている記憶エリアの構成を示す模式図である。ミシン１で行われる画像表示処理のフローチャートである。液晶ディスプレイ１０に表示される画像取り込み指示受付画面の一具体例を示す図である。液晶ディスプレイ１０に表示される視点変更指示受付画面の一具体例を示す図である。液晶ディスプレイ１０に表示される視点位置変更受付画面の一具体例を示す図である。本実施の形態における視点位置の移動を示す説明図である。イメージセンサ５０によって針板８０が撮像された実体画像の一例を示す図である。図１１に示す実体画像から視点変換された仮想画像の一例を示す図である。

符号の説明

１ミシン
２ミシンベッド
３脚柱部
４アーム部
５頭部
６針棒
７縫針
１０液晶ディスプレイ
１６タッチパネル
５０イメージセンサ
６１ＣＰＵ
６２ＲＯＭ
６３ＲＡＭ
６４ＥＥＰＲＯＭ
８５特定位置
６４２内部パラメータ記憶エリア
６４３外部パラメータ記憶エリア

Claims

ベッド部と、このベッド部から立設された脚柱部と、前記ベッド部の上方で前記脚柱部から水平に張り出したアーム部とを有し、前記アーム部の先端側に設けられた頭部に、縫針が装着される針棒を上下に往復揺動可能に備えたミシンであって、
前記ベッド部上を撮像可能な撮像手段と、
前記撮像手段によって撮像された実体画像を、任意の視点から見た仮想画像に視点変換する画像変換手段と、
前記画像変換手段によって視点変換された前記仮想画像を表示させる表示手段とを備えたことを特徴とするミシン。
前記仮想画像の視点位置を所定の空間位置に指定する視点位置指定手段を備え、
前記画像変換手段は、前記視点位置指定手段によって指定された視点位置から見た仮想画像に前記実体画像を視点変換することを特徴とする請求項１に記載のミシン。
前記撮像手段は、前記針棒の配設位置よりも前方で、且つ前記縫針に上糸を案内するための糸道経路から所定距離離間した前記頭部の所定位置に配設されていることを特徴とする請求項１又は２に記載のミシン。
前記仮想画像の視点位置を、前記ベッド部、前記脚柱部、及び前記アーム部に囲まれた空間内の特定位置に指定する特定視点位置指定手段を備えたことを特徴とする請求項３に記載のミシン。
前記撮像手段はＣＭＯＳイメージセンサであることを特徴とする請求項１乃至４のいずれかに記載のミシン。