JP6729939B2 - 行分割光学モジュール、及びそれを利用した電子鍵盤 - Google Patents

Description

本発明は、長い物体を高解像度で観察することができる行分割（row division）光学モジュール、及びそれを利用した電子鍵盤に関する。

鍵盤のように、左右に長い物体を一度に高解像度で撮影することができる行分割光学モジュール、及びそれを利用した電子鍵盤に係り、ピアノの多数の鍵盤のように、左右に長い物体を一目で観察しようとすれば、観察者は、その物体の全体が一目に見えるほど遠く離れなければならない。かように、遠く離れれば、一目で物体の全体が見えるが、物体が小さく見え、物体を詳細に観察し難いという問題がある。

本発明が解決しようとする課題は、かような問題を解決することができる行分割光学モジュール、及びそれを利用した電子鍵盤を提供することである。

本発明は、前述の問題を解決するために、長い物体の左側（または、右側）は、視野の上側に見えるようにし、残りの右側（または、左側）は、視野の下側に見えるようにする、プリズムのような行分割光学モジュールを提供する。かような光学モジュールをカメラのレンズの前に設け、長い物体に対して、高解像度で一度に物体の全体領域を撮影することができる。かようなカメラでもって、ピアノの左右に長い多数の鍵盤を一度に高解像度で撮影し、映像処理手段によって撮影された映像でもって鍵盤の動きを検出し、楽器音またはＭＩＤＩ信号を出力することができる。

既存のデジタルピアノは、鍵盤ごとに鍵盤の動きを検出するためのセンサやスイッチが設けられるので、部品数が多く、回路が複雑であり、製造し難く、故障しやすくて重い。しかし、本発明による行分割光学モジュールと、カメラを利用したピアノは、鍵盤ごとに設けられる複雑なスイッチ回路を、簡単であって小型であるカメラで代替することにより、製造を、容易であって電子回路の信頼性を向上させることができ、消費者が鍵盤部品とカメラモジュールとを購入して直接組み立てて製造することもでき、廉価でデジタルピアノを具現することができる。

また、鍵盤下に印刷回路基板（ＰＣＢ）とセンサ回路とがないので、鍵盤が軽くなるという長所があり、鍵盤を透明な材質で形成し、宝石のような感じが出るようにデザインし、視覚的美しさも提供することもできる。

本発明の実施形態の構成図である。 本発明の実施形態の構成図である。 行分割プリズム斜視図である。 行分割プリズム側面図である。 行分割プリズム平面図である。 行分割プリズム分解図である。 プリズムシート分解図である。 行分割プリズム分解図である。 図８のプリズムの側面図である。 図６の構成の変形例である。 行分割プリズムを使用せずに鍵盤のマークを撮影した映像である。 カメラの前に行分割プリズムを設けて鍵盤のマークを撮影した映像である。 行分割プリズム変形例である。 図１３の行分割プリズムをカメラの前に設けて鍵盤のマークを撮影した映像である。 潜望鏡を利用した行分割光学モジュール斜視図である。 カメラを鍵盤下側に設けた様子である。 カメラを鍵盤下側に斜めに設けた様子である。 カメラを鍵盤真下に設けた様子である。 図１７または図１８の構成の平面図である。 カメラを鍵盤上側に設けた様子である。 図２０の斜視図である。 鍵盤のマーク間の間隔を異ならせて調整した様子である。

［実施形態１］
電子ピアノは、鍵盤を押せば、その鍵盤に連結されたスイッチが押され、それをスキャニング回路が感知し、その鍵盤に対応する楽器音を出力する装置である。かような装置は、各鍵盤ごとにスイッチが設けられるので、部品数が多くて故障しやすく、配線が複雑であって製造が困難である。また、複雑な回路と配線は、視覚的に美しくないので、不透明なケースを使用して隠しているという実情である。かような不透明なケースは、見るからに息苦しい。本発明は、かような複雑な回路を、小型であって信頼性あるカメラで代替し、鍵盤部分を簡単であて見やすく改善することにより、不透明なケースを除去することができる。また、鍵盤を、透明に宝石のように加工し、視覚的に息苦しくなく、美しい感じを提供することも可能である。また、スイッチ回路の印刷回路基板を取り除くことにより、製造が容易であり、産業廃棄物の発生を減らすことも可能である。

そのために、本発明のカメラを利用したピアノは、図１のように、各鍵盤ＫＥの動きが大きい部分に、再帰反射フィルムＳＲのようなマークを付着させ、その前に赤外線ＬＥＤのような光源ＬＳとカメラＣＭとを、互いに密着させて設け、光源ＬＳから放射された光が、再帰反射フィルムＳＲによって再帰反射された後、カメラＣＭに逹すれば、その光をカメラで撮影し、映像処理手段によって、撮影された映像でもって再帰反射フィルムの位置を分析し、鍵盤の押された程度を検出し、その程度に対応する音を発生させることを特徴とする。

赤外線光源を使用する場合、カメラの前には、赤外線だけ通過させるフィルタを付着させることが望ましい。それにより、背景は黒色であって、再帰反射フィルムだけが明るく撮影されるので、鍵盤の動きを検出することが容易である。

別途の赤外線ＬＥＤを使用する代わりに、周辺光を使用し、別途の再帰反射フィルムの代わりに、一般的なマークを使用してもよい。現在撮影された映像と、それ以前の瞬間に撮影された映像との差分映像（difference image）を求めれば、動きのない背景は、差分ピクセル値が０になり、動きがあるマーク部分だけピクセル値が０ではなくなるので、鍵盤の動きを検出しやすい。ここで、差分映像とは、そのピクセル値が、２つの映像をまたがる場合、重なった２映像の重なった同一位置の２つのピクセルの差値であるということを意味する。

図１において鍵盤は、支持棒ＡＸ上に置かれており、鍵盤の一端を押せば（ＤＮ）、反対側の一端が、支持棒ＡＸを中心に上に回転する（ＵＰ）。かように鍵盤が回転すれば、カメラに撮影される再帰反射フィルムの位置が変わり、その位置を分析すれば、鍵盤が回転した程度（すなわち、鍵盤が押された程度）を知ることができる。

鍵盤数が多い場合、１台のカメラで全ての鍵盤を撮影することができないこともある。全ての鍵盤を１台のカメラによって撮影するためには、カメラと鍵盤との距離を長くすればよいが、再帰反射フィルムが、図１１のように小さく撮影され、鍵盤の位置を追跡し難いという問題がある。かような問題を解決するために図１のように、カメラの前には、本発明の行分割（row division）プリズムＰＳを設けることが望ましい。図３は、カメラの前に設けられた行分割プリズムを詳細に示した図面であり、図４は、その側面図であり、図５は、その平面図である。図６は、行分割プリズムを、４個の単純な直角プリズムに分解した様子である。かような本実施形態の行分割プリズムを使用すれば、１台のカメラでもって、左右に長い多数の鍵盤を一度に大きく撮影することができる。

図１２は、図３のようなプリズムを介してカメラで撮影した鍵盤の再帰反射フィルムＳＲの様子である。図１２には、２４個の鍵盤のうち、０番から１１番までの鍵盤は、イメージの下側水平領域部分に撮影され、残りの１２番から２３番までの鍵盤は、イメージの上側水平領域に撮影された。それに比べ、該プリズムを使用せずに撮影した映像は、図１１のように、全ての鍵盤が１本の水平線上に小さく撮影された。かように撮影すれば、各鍵盤が小さく撮影され、映像処理手段において、鍵盤の動きを検出し難く、鍵盤撮影に使用されない浪費されるピクセルが多いという問題がある。

図６の第３プリズムＰ３及び第４プリズムＰ４（第３光学部及び第４光学部）は、それぞれ左右に長い１行の鍵盤を、カメラ視野に２行に分離させて撮影されるように、ビームを上下側にそれぞれ屈折させる。すなわち、第３プリズムは、マークＳＲにおいて、若干上側に反射された光が水平になるように下側に屈折させ、第４プリズムは、マークにおいて、若干下側に反射された光が水平になるように上側に屈折させる。

第１プリズムＰ１及び第２プリズムＰ２（第１光学部及び第２光学部）は、第３プリズムＰ３及び第４プリズムＰ４によって屈折され、２行に分割された水平ビームを、それぞれ右側及び左側に屈折させる役割を行う。第１プリズムＰ１及び第２プリズムＰ２を同一形態に形成し、第３プリズムＰ３及び第４プリズムＰ４も、互いに同一形態に形成することが望ましい。

赤外線ＬＥＤのような光源ＬＳは、第１プリズムの上側及び第２プリズムの下側にそれぞれ設けられもするが、その場合、２回設置作業をしなければならず、２つの光源モジュールを製作しなければならないという不都合がある。従って、光源モジュールＬＳは、１つのモジュールにするにしても、図９のように、第１プリズムＰ１及び第２プリズムＰ２の間に設けることが望ましい。その場合、光源モジュールがカメラ視野を遮らないように（すなわち、カメラ上側視野をさらに上側に移動させ、下側視野をさらに下側に移動させるように、図８のように、第１プリズムＰ１及び第２プリズムＰ２と、カメラレンズとの間に、第５プリズムＰ５及び第６プリズムＰ６（第５光学部及び第６光学部）をさらに設けることが望ましい。第１プリズムと第５プリズムとの対向面上の点が互いに接触することができるように、図８のように、第５プリズムを斜めに形成し、第１プリズムと第５プリズムとを一体型に形成することもできる。同様に、第２プリズムと第６プリズムとの対向面上の点が互いに接触することができるように、図８のように、第２プリズムを斜めに形成し、第２プリズムと第６プリズムとを一体型に形成することもできる。図９は、前記プリズムの側面図である。

かようなプリズムは、体積を少なく占めるように、図７のように、フレネルレンズ状のプリズムシートまたはホログラムに形成することもできる。すなわち、かようなプリズムは、屈折機能がある任意の光学モジュールとして具現することができる。図６のように、第３プリズムＰ３及び第４プリズムＰ４の直角部分Ｒ３，Ｒ４は、互いに接するように付着され、二等辺三角形プリズムになるように形成し、第１プリズム及び第２プリズムの直角部分Ｒ１，Ｒ２は、互いに左右に遠く離れるように付着され、本実施形態の行分割プリズムを形成することができる。第３プリズム、第４プリズム、第５プリズム及び第６プリズムは、省略されもする。

また、図６の第１プリズム及び第２プリズムを、図１０のように、直角プリズムではない一般的な三角形（例えば、二等辺三角形）プリズムとして構成してもよい。その場合、第１プリズムと第３プリズムとの対向面の上の全ての点が、互いに接触するように、第３プリズムを、図１０のように斜めに形成することが望ましい。同様に、第４プリズムも、第２プリズムとの対向面上の全ての点が接触するように、第４プリズムを図１０のように斜めに形成することが望ましい。かように２つのプリズムの対向面が接するように形成して、プリズム（例えば、アクリルプリズム）を接着剤（例えば、アクリルボンド）で付着し、一体型プリズムに製作することができる。

図１は、鍵盤の左右側半分を２台のカメラＣＭ１，ＣＭ２でそれぞれ撮影する様子である。鍵盤数が少なければ、カメラは、１台だけでも使用することもでき、鍵盤数が多ければ、２台以上使用することもできる。各カメラの前には、左右側に入射されるビームをカメラそれから屈折させる図３のようなプリズムを設け、左側の鍵盤は、映像の下側（または、上側）水平線領域に撮影し、残りの鍵盤の右側部分は、映像の上側（または、下側）水平線領域に撮影することができる。すなわち、本来左右に長い１行（row）の鍵盤を、映像に短い２行に分けて撮影するが、分けられた２行は、それぞれカメラ視野において、上下にも配列される。

図１３は、カメラ前の２つのプリズム間に、空いたスペースがあるように設け、そのスペースの間でも鍵盤を撮影する構成である。かような構成で撮影した鍵盤映像は、図１４のように、３行に撮影される。図１５は、プリズムの代わりに、潜望鏡形態の鏡を使用して、鍵盤を３行に撮影する構成である。かように、長い物体を高解像度で一度に撮影することができる光学モジュール（プリズム、ホログラム、潜望鏡形態の鏡モジュールなど）を、本発明では行分割（row division）光学モジュールという。

再帰反射フィルムは、３Ｍ社で販売している製品であり、入射された光線を光源側に反射させるフィルムである。鍵盤に再帰反射フィルムを付着させるとき、隣接した２つの鍵盤に、互いに異なる色の再帰反射フィルムを付着させることが、映像処理手段において、各鍵盤を区別して動きを追跡するところに便利である。例えば、黒鍵盤には、赤色再帰反射フィルムを付着させ、白鍵盤には、青色再帰反射フィルムを付着させ、カラーカメラでそれを撮影し、映像処理手段は、撮影された映像の色を分析し、明るい部分を追跡し、鍵盤の動きをさらに正確に検出することができる。基準位置になる鍵盤を表示するために、前述の２色（赤色、青色）と、単色（例えば、緑色）との再帰反射フィルムを、特定鍵盤（例えば、中間オクターブの開始鍵盤、すなわち、中間の「ド」）に付着させることもできる。かような特定色を映像処理手段が検出し、周辺鍵盤が何番目の鍵盤であるかということを容易に認識することができる。または、特定基準位置の鍵盤を表示するために、再帰反射フィルムの形態を異ならせて形成することもできる。例えば、普通鍵盤の再帰反射フィルムは、四角形のような多角形にし、基準位置の鍵盤の再帰反射フィルムは、円形にすることもできる。

そして、特定基準位置の鍵盤を表示するために、再帰反射フィルムの間隔を異ならせて調整することもできる。例えば、図２２のように、隣合再帰反射フィルム間の間隔を狭くしたり広くしたりして調整することができる。

鍵盤を押した深さ（角度）と、撮影された映像における、再帰反射フィルムまたはマークの移動距離とがほぼ比例するので、撮影された映像において、各鍵盤の再帰反射フィルムの位置を追跡し、各鍵盤が押された深さ（程度）を知ることができ、その程度に対応する音を出力させることができる。例えば、鍵盤を押した深さに比例し、本来出力する音より周波数を若干高めて出力することもできる。その場合、押す深さを振動させれば、まるでギターやバイオリンの弦を弾く指を振動させる演奏効果を醸し出すことができる。また、深く押した程度に比例し、オルガン音の大きさ（ボリューム）を増大させることもできる。そして、鍵盤を押した速度を検出し、その速度に比例し、ピアノ音の強度を増大させることもできる。

または、図２のように、鍵盤が左右に振動するところをカメラで撮影し、映像処理手段で検出し、モジュレーションホイール、ピッチバンドまたはアフタータッチの機能を具現することもできる。その場合、撮影された映像において、鍵盤に付着された再帰反射フィルムは、左右に振動するように示される。そのために、鍵盤は上下だけではなく、左右にも動くように構成することが望ましい。すなわち、既存のマスターキーボードのモジュレーションホイール、ピッチバンドまたはアフタータッチの機能を、各鍵盤の押す程度や方向を検出し、具現することができる。

既存の電子鍵盤の場合は、鍵盤数に比例し、かような深さ検出回路が増加するという短所がある。

しかし、本発明による回路は、鍵盤数が増えたとしても、カメラ数は、鍵盤数に比例して増える必要はない。また、物理的な電気端子を含むスイッチを使用するのではなく、カメラを使用した非接触式検出法であるので、電気端子で発生する接触不良問題、摩擦問題、チャタリング問題が源泉的に封鎖される。かような機能は、例えば、玄琴や伽椰琴のような弦楽器を演奏するとき、弦を弾く力を連続的に変化させる効果を得るのに使用される。

装置の体積を減らすために、カメラと鍵盤との間に、鍵盤ほど長い直角プリズムＲＰまたは鏡を設け、カメラを、図１６または図２０のように、鍵盤の下側または上側に設けることもできる。図２１は、図２０の斜視図である。

図１６の直角プリズムを省略する代わりに、図１７または図１８のように、カメラをさらに鍵盤下側に移動させ、鍵盤端の部分に、棒ＬＢをＬ字形に付着させ、その端に、カメラに向かう方向に、再帰反射フィルムＳＲを付着させることもできる。鍵盤個数が多く、カメラを１台超えて使用する場合（例えば、８８鍵盤の場合、カメラ２台を使用する場合）、複数のカメラは鍵盤ペダル近くに集めて設けることが望ましい。図１９は、図１７または図１８の平面図である。カメラ視野の左右側端に位置した、かような再帰反射フィルムは、歪曲されて撮影されることを緩和させるために、図１９のように、再帰反射フィルムの面は、可能な限りカメラに向かうように、曲線（例えば、カメラ側に中心が存在する楕円）上に配置することが望ましい。また、カメラから遠い左右側端の部分の再帰反射フィルムＦＳＲであるほど、その大きさを大きくし、カメラに近い正面の再帰反射フィルムＮＳＲであるほど、その大きさを小さくし、全ての再帰反射フィルムが、可能な限り同一サイズに撮影されるように調整することが望ましい。そして、カメラから遠い左右側端部分の再帰反射フィルムＦＳＲであるほど、隣合再帰反射フィルムとの間隔を広くし、カメラに近い正面の再帰反射フィルムＮＳＲであるほど、隣合再帰反射フィルムの間隔を狭くし、全ての再帰反射フィルムの間隔が、可能な限り同一サイズに撮影されるように調整することが望ましい。

また、長い間演奏を行わないときには、光源とカメラとが自動的にオフになり、電気消耗を減らすことが望ましい。そのために、映像処理プログラムでもって鍵盤の動きが検出されない時間が、臨界時間以上になれば、自動的に光源とカメラとをオフにし、スリープモードにすることが望ましい。ここで、該スリップモードは、例えば、１秒間、光源とカメラとをオンにして撮影し、２秒間、光源とカメラとをオフにして撮影を行わないことを反復することができる。かようなスリープモードの間、鍵盤の動きが検出されるならば、本来の普通モード（常に光源とカメラとがオンであるモード）に復帰することができる。

Claims (9)

1. 右側から入射される光を、正面に屈折、反射または回折させる第１光学部と、
   左側から入射される光を、正面に屈折、反射または回折させる第２光学部と、
   を含む行分割光学モジュールにおいて、
   前記第１光学部と前記第２光学部は、上下に配列され、
   前記第１光学部と前記第２光学部との間に、空スペースが形成されていることを特徴とする、行分割光学モジュール。
2. 前記光学部は、プリズム、プリズムシート、ホログラムまたは鏡を含むことを特徴とする、請求項１に記載の行分割光学モジュール。
3. 左右に長く配列された多数の鍵盤と、
   前記鍵盤を多数の行に分割して撮影する行分割光学モジュールを含むカメラと、
   前記カメラに撮影された映像において鍵盤の動きを検出し、その動きに対応する楽器音またはＭＩＤＩ信号を出力する映像処理手段と、
   を含み、
   前記行分割光学モジュールは、右側から入射される光を、前記カメラ側に、屈折、反射または回折させる第１光学部と、
   左側から入射される光を、前記カメラ側に、屈折、反射または回折させる第２光学部と、
   を含み、
   前記第１光学部と前記第２光学部は、上下に配列され、前記第１光学部と前記第２光学部との間に空スペースがあり、該空スペースを介して光が直進し、カメラに撮影されることを特徴とする、カメラを利用した電子鍵盤装置。
4. 前記第１光学部と前記第２光学部は、プリズム、プリズムシート、ホログラムまたは鏡を含むことを特徴とする、請求項３に記載のカメラを利用した電子鍵盤装置。
5. 前記鍵盤には、マークが含まれ、
   前記映像処理手段は、撮影された映像において前記マークを検出し、鍵盤の動きを知ることを特徴とする、請求項３に記載のカメラを利用した電子鍵盤装置。
6. 前記マークは、再帰反射手段であり、
   前記カメラは、前記再帰反射手段に光を照射する光源を含むことを特徴とする、請求項５に記載のカメラを利用した電子鍵盤装置。
7. 前記鍵盤は、端の棒が鍵盤の下側にＬ字形に付着しており、
   前記カメラは、鍵盤下に位置し、前記棒を撮影し、
   前記映像処理手段は、撮影された映像において前記棒の運動を検出し、楽器音またはＭＩＤＩ信号を出力することを特徴とする、請求項３に記載のカメラを利用した電子鍵盤装置。
8. 前記鍵盤は、端の直角プリズムまたは鏡を含み、
   前記カメラは、前記鍵盤の下側または上側に位置し、前記プリズムまたは鏡を介して、前記鍵盤の動きを撮影することを特徴とする、請求項３に記載のカメラを利用した電子鍵盤装置。
9. 前記映像処理手段は、前記鍵盤が押された速度または前記鍵盤が押された深さに比例し、楽器音またはＭＩＤＩ信号を出力することを特徴とする、請求項３に記載のカメラを利用した電子鍵盤装置。

Images