JP2016119624A - 撮影システム、撮影制御装置、撮影制御方法及びプログラム - Google Patents
撮影システム、撮影制御装置、撮影制御方法及びプログラム Download PDFInfo
- Publication number
- JP2016119624A JP2016119624A JP2014259354A JP2014259354A JP2016119624A JP 2016119624 A JP2016119624 A JP 2016119624A JP 2014259354 A JP2014259354 A JP 2014259354A JP 2014259354 A JP2014259354 A JP 2014259354A JP 2016119624 A JP2016119624 A JP 2016119624A
- Authority
- JP
- Japan
- Prior art keywords
- imaging
- sensor
- driver
- physical quantity
- evaluation processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 42
- 238000003384 imaging method Methods 0.000 claims abstract description 188
- 238000011156 evaluation Methods 0.000 claims abstract description 125
- 238000012545 processing Methods 0.000 claims abstract description 108
- 230000001133 acceleration Effects 0.000 claims abstract description 40
- 230000008859 change Effects 0.000 claims description 37
- 238000005259 measurement Methods 0.000 abstract description 28
- 230000036544 posture Effects 0.000 description 82
- 230000008569 process Effects 0.000 description 32
- 230000006870 function Effects 0.000 description 15
- 238000004891 communication Methods 0.000 description 13
- 238000010586 diagram Methods 0.000 description 13
- 238000012986 modification Methods 0.000 description 13
- 230000004048 modification Effects 0.000 description 13
- 230000003287 optical effect Effects 0.000 description 7
- 238000006243 chemical reaction Methods 0.000 description 6
- 238000010801 machine learning Methods 0.000 description 5
- 238000012854 evaluation process Methods 0.000 description 4
- 239000004065 semiconductor Substances 0.000 description 4
- 238000012423 maintenance Methods 0.000 description 3
- 230000000284 resting effect Effects 0.000 description 3
- 241000238370 Sepia Species 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 230000035945 sensitivity Effects 0.000 description 2
- 241000270281 Coluber constrictor Species 0.000 description 1
- 206010049565 Muscle fatigue Diseases 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000001351 cycling effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- OQZCSNDVOWYALR-UHFFFAOYSA-N flurochloridone Chemical compound FC(F)(F)C1=CC=CC(N2C(C(Cl)C(CCl)C2)=O)=C1 OQZCSNDVOWYALR-UHFFFAOYSA-N 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000001141 propulsive effect Effects 0.000 description 1
- 210000003314 quadriceps muscle Anatomy 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Landscapes
- Exposure Control For Cameras (AREA)
- Studio Devices (AREA)
Abstract
Description
このような撮影を行う場合、走行の開始から終了まで連続的に撮影されることが一般的である。
なお、このようなウェアラブルカメラに関する技術は、例えば特許文献1に記載されている。
即ち、従来の技術においては、自転車による走行中の風景を適切に撮影することが困難であった。
自転車の乗車時に撮像を行う撮像装置と、
運転者に関連する物理量を計測するセンサと、
前記センサと一体または別体の装置として構成される第1の装置と、を含み、
前記第1の装置は、
前記センサによって計測された物理量に基づいて、前記運転者の状態に関する評価を行う評価処理手段と、
前記評価処理手段の処理結果に基づいて、前記撮像装置における撮影の制御を実行する撮影制御手段と、
を備えることを特徴とする。
図1は、本発明の一実施形態に係る撮影システム1のシステム構成を示す模式図である。
撮影システム1は、計測装置100と、情報表示装置200と、撮像装置300とを含んで構成され、これらの装置は、ブルートゥース(登録商標)等の無線通信によって互いに通信可能に構成されている。
計測装置100は、自転車のライダー(運転者)の身体(例えば腰部)に装着され、ライダーの身体における物理量を計測する。
情報表示装置200は、スマートフォン等の携帯端末によって構成され、計測装置100の計測結果を表示する。
撮像装置300は、ライダーの身体(例えば頭部)に装着され、ライダーが視認する風景を撮影する。
図2は、計測装置100のハードウェアの構成を示すブロック図である。
計測装置100は、CPU(Central Processing Unit)111と、ROM(Read Only Memory)112と、RAM(Random Access Memory)113と、バス114と、入出力インターフェース115と、センサ部116と、入力部117と、出力部118と、記憶部119と、通信部120と、を備えている。
入力部117は、各種ボタン等で構成され、ユーザの指示操作に応じて各種情報を入力する。
出力部118は、ランプやスピーカあるいは振動用モータ等で構成され、光や音声あるいはバイブレーション信号を出力する。
記憶部119は、DRAM(Dynamic Random Access Memory)等の半導体メモリで構成され、各種データを記憶する。
通信部120は、端末間の直接的な無線通信によって他の装置との間で行う通信を制御する。
情報表示装置200は、CPU211と、ROM212と、RAM213と、バス214と、入出力インターフェース215と、撮像部216と、入力部217と、出力部218と、記憶部219と、通信部220と、ドライブ221と、を備えている。
フォーカスレンズは、イメージセンサの受光面に被写体像を結像させるレンズである。ズームレンズは、焦点距離を一定の範囲で自在に変化させるレンズである。
光学レンズ部にはまた、必要に応じて、焦点、露出、ホワイトバランス等の設定パラメータを調整する周辺回路が設けられる。
光電変換素子は、例えばCMOS(Complementary Metal Oxide Semiconductor)型の光電変換素子等から構成される。光電変換素子には、光学レンズ部から被写体像が入射される。そこで、光電変換素子は、被写体像を光電変換(撮像)して画像信号を一定時間蓄積し、蓄積した画像信号をアナログ信号としてAFEに順次供給する。
AFEは、このアナログの画像信号に対して、A/D(Analog/Digital)変換処理等の各種信号処理を実行する。各種信号処理によって、ディジタル信号が生成され、撮像部216の出力信号として出力される。
このような撮像部216の出力信号を、以下、「撮像画像のデータ」と呼ぶ。撮像画像のデータは、CPU211等に適宜供給される。
出力部218は、ディスプレイやスピーカ等で構成され、画像や音声を出力する。
記憶部219は、ハードディスクあるいはDRAM等で構成され、各種画像のデータを記憶する。
通信部220は、端末間の直接的な無線通信あるいはインターネットを含むネットワークを介して他の装置との間で行う通信を制御する。
撮像装置300は、例えばウェアラブルなデジタルカメラ等によって構成され、CPU311と、ROM312と、RAM313と、バス314と、入出力インターフェース315と、撮像部316と、記憶部317と、通信部318と、を備えている。
運転状態判定処理とは、計測装置100において、センサ部116によって取得した物理量からライダーの乗車姿勢及び運転状態を判定し、判定結果に応じて画像の撮影を行う一連の処理をいう。
また、撮影処理とは、撮像装置300において、運転状態判定処理を実行する計測装置100からの撮影トリガ信号を受けて、撮影を実行する一連の処理をいう。
また、計測装置100における記憶部119の一領域には、評価情報記憶部171が設定される。
評価情報記憶部171には、センサ部116によって計測された物理量のデータと、ライダーの乗車姿勢と、ライダーの運転状態の評価結果とが対応付けて記憶される。
運転評価処理部152は、センサ情報取得部151によって取得された物理量を基に、後述する運転評価処理を実行し、ライダーの乗車姿勢及び運転状態の評価結果を取得する。なお、以下、これらを総称して、適宜「運転評価処理結果」と呼ぶ。運転評価処理結果は、ライダーの乗車姿勢がどのような状態であるか、及び、運転内容がどのような状態であるかを含む、ライダーの状態に関する評価を総合的に表している。ライダーの乗車姿勢としては、主として、サドルに座ってペダルを踏むシッティングの状態と、サドルから腰を浮かせて立ち上がった状態でペダルを踏むダンシングとが知られている。ライダーがいずれの乗車姿勢であるかは、鉛直方向、進行方向の前後方向及び左右方向の加速度の波形パターンから判定することができる。また、運転状態の評価としては、例えば、ライダーの運転状態として望ましい状態、通常の状態あるいは望ましくない状態といった評価を行うことができる。運転状態の評価は、センサ部116によって計測された物理量の安定性、乗車姿勢の継続時間、基準とするデータとの相違の大きさ、あるいは、ケイデンスや走行速度の維持状態等から判定することができる。
図6に示すように、シッティングの状態とダンシングの状態とでは、鉛直方向、前後方向及び左右方向の加速度の比及び振幅の絶対値が明確に異なるという実験結果が得られている。そのため、乗車姿勢を判別する条件として、鉛直方向、前後方向及び左右方向の加速度の比及び振幅の絶対値における判定閾値を実験値に基づいて設定することができる。例えば、一例として、シッティングの場合とダンシングの場合とでは、鉛直方向、前後方向及び左右方向の加速度の振幅(絶対値)の比が、シッティングではおおよそ1:1:2、ダンシングではおおよそ4:1:1となるため、これらの比を基準として、判定閾値を設定することができる。ただし、これらの比は、ライダーが乗車する自転車の仕様等によって幅があることから、乗車する自転車においてキャリブレーションを行う等して、調整することが望ましい。
乗車判定部154は、センサ情報取得部151によって取得された物理量を基に、ライダーが自転車に乗車している状態であるか否かを判定する。ライダーが自転車に乗車している状態であるか否かは、鉛直方向、前後方向及び左右方向の加速度の波形パターンから判定することができる。
また、図8は、自転車乗車時(シッティング時)の加速度の波形パターンの一例を示す図である。
図7及び図8に示すように、歩行している場合と自転車に乗車している状態とでは、鉛直方向、前後方向及び左右方向の加速度の比が明確に異なるという実験結果が得られている。そのため、歩行時と自転車の乗車時とを判別する条件として、鉛直方向、前後方向及び左右方向の加速度の比における判定閾値を実験値に基づいて設定することができる。また、同様に、ジョギング等の走行時と自転車の乗車時とでは、加速度の振幅が明確に異なるため、加速度の振幅における判定閾値を実験値に基づいて設定することができる。例えば、一例として、歩行の場合とシッティングの場合とでは、鉛直方向、前後方向及び左右方向の加速度の振幅(絶対値)の比が、歩行ではおおよそ2:1:1、シッティングではおおよそ1:1:2となるため、これらの比を基準として、判定閾値を設定することができる。ただし、これらの比は、ライダーの身体的特徴や、ライダーが乗車する自転車の仕様等によって幅があることから、歩行によるキャリブレーションあるいは乗車する自転車においてキャリブレーションを行う等して、調整することが望ましい。
また、情報表示装置200において、表示情報受信部251は、計測装置100から運転評価処理結果を受信する。
表示制御部252は、表示情報受信部251が受信した運転評価処理結果をディスプレイに表示する。このとき、表示制御部252は、地図データに重畳して、GPS等に基づく計測装置100の現在位置を表示し、現在位置と対応付けて運転評価処理結果を表示することができる。
また、記憶部317の一領域には、画像記憶部371が設定される。
画像記憶部371には、撮像された静止画像または動画像が記憶される。本実施形態において、画像記憶部371には、撮像された静止画像または動画像のデータと、撮影位置を示す情報と、ライダーの乗車姿勢及び運転状態の評価結果(運転評価処理結果)と、撮影トリガが生成された情報(撮影トリガ信号が生成された要因あるいは状況等を表す情報)とが対応付けて記憶される。
撮影パラメータ設定部352は、撮影トリガ信号に含まれている撮影パラメータに撮像部316を設定する。ここで、撮影パラメータとしては、シャッタ速度、絞り、感度、セピア、パノラマあるいはブラー(スピード感を出すために画角の周縁をぼかす処理)等の撮影シーン設定が含まれる。
撮像制御部353は、撮影パラメータ設定部352によって設定された撮影パラメータに従って、撮像部316による撮像を実行する。
記憶制御部354は、撮像部316によって撮像された撮像画像のデータを、撮影位置を示す情報、ライダーの乗車姿勢及び運転状態の評価結果(運転評価処理結果)、撮影トリガが生成された情報と対応付けて、画像記憶部371に記憶する。撮影トリガが生成された情報は、撮像画像によって認識される。撮影トリガが生成された情報を表示する形態としては、前述の撮影パラメータの変更結果によるものの他、撮影トリガが生成された情報のアイコン表示、表示カラーの変更やフリッカ表示等を用いることができる。
即ち、より速く、あるいは、より遠くへ移動したいライダーにとっては効率的に乗車姿勢を変更することは重要である。例えば、前乗りの場合、進行方向右側から見てクランクの12時の位置から踏み込むことができ、真下に掛ける力を強めることができる。この時に主に利用さるのは大腿四頭筋である。また、後乗りの場合では、進行方向右側から見てクランクの2時半の位置から7時までの位置で踏み込むことができ、踏み込み量を大きく取ることができる。この場合には通常よりも大腿二頭筋が多く利用される。そのため、乗車姿勢を変化させることで、乗車時における特定部位の筋疲労の集中を防ぐことが可能となり、より長距離への走行、あるいは、より短時間での走破が可能となる。そこで、上述のように、乗車姿勢や運転状態の評価結果(運転評価処理結果)を記憶しておくことができれば、自分自身の気付かなかった乗車姿勢の偏りや非効率な姿勢変化等を認識できる。そのため、次回以降のサイクリングへ活かすデータとすることができる。
図9は、図5の機能的構成を有する図2の計測装置100が実行する運転状態判定処理の流れを説明するフローチャートである。
運転状態判定処理は、ユーザによる入力部117への運転状態判定処理開始のための操作により開始される。
ステップS2において、運転評価処理部152は、取得されたセンサ情報に基づいて、後述する運転評価処理を実行する。
運転評価処理部152によって取得された乗車姿勢及び運転状態の評価結果(運転評価処理結果)が、予め設定された特定の状態となっている場合、ステップS3においてYESと判定されて、処理はステップS4に移行する。
一方、運転評価処理部152によって取得された乗車姿勢及び運転状態の評価結果(運転評価処理結果)が、予め設定された特定の状態となっていない場合、ステップS3においてNOと判定されて、処理はステップS5に移行する。
また、ステップS4において、出力制御部155は、運転評価処理結果を情報表示装置200に送信する。さらに、出力制御部155は、評価情報記憶部171に記憶されている計測された物理量のデータ、ライダーの乗車姿勢及びライダーの運転状態の評価結果を、情報表示装置200の出力部218のディスプレイに表示する。
ステップS5において、乗車判定部154は、センサ部116の計測結果に基づいて、自転車に乗車中の状態であるか否かの判定を行う。
自転車に乗車中の状態である場合、ステップS5においてYESと判定されて、処理はステップS1に移行する。
一方、自転車に乗車中の状態でない場合、ステップS5においてNOと判定されて、処理はステップS6に移行する。
自転車に乗車中でない時間に設定されたタイムアウトの状態となっていない場合、ステップS6においてNOと判定されて、処理はステップS1に移行する。
一方、自転車に乗車中でない時間に設定されたタイムアウトの状態となっている場合、ステップS6においてYESと判定されて、運転状態判定処理は終了となる。
図10は、運転評価処理の流れを説明するフローチャートである。
ステップS21において、運転評価処理部152は、センサ部116によって計測された物理量を乗車姿勢判定条件と照合する。乗車姿勢判定条件は、各種乗車姿勢について設定された物理量(ここでは加速度)の各方向の比あるいは振幅それぞれに設定された閾値として定義される。
ステップS23において、運転評価処理部152は、センサ部116によって計測された物理量及び乗車姿勢の履歴を用いて、現在のライダーの運転状態を運転評価条件と照合する。運転評価条件は、ライダーの運転状態が望ましい状態、通常の状態あるいは望ましくない状態といった評価を行うための条件であり、センサ部116によって計測された物理量の安定性、乗車姿勢の継続時間、基準とするデータとの相違の大きさ、あるいは、走行速度の維持状態等として定義される。
例えば、運転評価の基準となる理想の乗車姿勢の物理量(例えば、ロードレース選手の運動データ)と自分の測定された物理量とを比較して、物理量の差分を評価結果として情報表示装置200の出力部218に表示することができる。
また、評価する項目としては、腰の上下動の変化量、胴体の左右の変化量、ケイデンス、推進力(所定のペダル回転数で進む距離)等が考えられる。ステップS4で運転評価結果を表示する際に、これらの項目をレーダーチャートで表わして出力部218に出力してもよい。
ステップS24の後、処理は運転状態判定処理に戻る。
図11は、図5の機能的構成を有する図4の撮像装置300が実行する撮影処理の流れを説明するフローチャートである。
撮影処理は、計測装置100において運転状態判定処理が実行されることに対応して開始される。
ステップS101において、撮影トリガ信号受信部351は、計測装置100から撮影トリガ信号を受信する。
ステップS102において、撮影パラメータ設定部352は、撮影トリガ信号に含まれている撮影パラメータに撮像部316を設定する。
ステップS103において、撮像制御部353は、撮影パラメータ設定部352によって設定された撮影パラメータに従って、撮像部316による撮像を実行する。
ステップS104において、撮像制御部353は、撮像画像のデータを画像記憶部371に記憶する。このとき、撮像画像のデータを情報表示装置200等の他の装置に送信する設定となっている場合、撮像制御部353は、撮像画像のデータを他の装置に送信する。
自転車乗車時の加速度の変化は、走行路面の状況によっても生じる。例えば、凹凸の大きな路面上を走行すると重力加速度方向に変化が生じるが、加速度データをフーリエ変換し、周波数成分として表すことで、路面状況を推定することができる。そして、路面状況に応じて選択されたローパスフィルタを用いてセンサ部116の計測結果をフィルタ処理することで、姿勢変化をより正確に捉えることができる。
乗車姿勢あるいは乗車中であるか否かを判定する際に、GPSによる測位結果とセンサ部116の計測結果とを合わせて判定することで、より正確に乗車姿勢等を判定することができる。
例えば、シッティングの場合、各軸に対する加速度変化の度合いは比較的小さいものの、一定量以上の移動量変化がGPSにより観察された場合、自転車による移動であるとことをより明確に判定できる。
シッティングの状態からスタンディングとなった場合、各軸に対して大きな加速度変化が生じる。なお、この加速度を2回積分することで、姿勢変化に係る移動距離として検出することができる。シッティングからスタンディングへ移行した場合の垂直方向の変化量は、実験の結果、おおよそ15〜40cm程度であり、センサ部116によって十分に計測可能である。同様に、進行方向への変化量は、おおよそ20〜45cm程度であり、進行方向に対する左右方向の変化量は、各方向に対しておおよそ5〜25cm程度である。
即ち、上述の実施形態に示すように、鉛直方向、前後方向及び左右方向の加速度の比及び振幅の絶対値を用いる他、シッティングからスタンディングの姿勢変化は、これらの変化量のデータを用いることによっても判定することができる。
スタンディングにおいて、GPSにより得られた移動距離と、スタンディングの維持時間とから単位時間あたりの移動量を算出することができる。このとき、攻めのダンシングは、休みのダンシングと比較すると、明らかに単位時間あたりの移動量が大きく、一方で持続時間が短いという特徴がある。また、スタンディングの場合、上下動と左右の移動に周期性あり、攻めのダンシングの方が休みのダンシングに比べて周期が短いという特徴がある。
そのため、単位時間あたりの移動量及び波形パターンの周期の長さを基に、スタンディングとダンシングをより正確に判定することができる。
シッティングにおいて重力方向に対する前傾角度は、実験の結果、通常時はおおよそ95〜135度の範囲にあるが、アップライト時にはそれまでの角度範囲から外れ、おおよそ140〜180度に変化することが明らかとなった。
そのため、シッティングにおけるアップライトとノーマルとの判定は、計測装置100の重力方向に対する前傾角度によって、より正確に判定することができる。
シッティングにおいて、上方向に移動した後、進行方向の移動量変化が続けて生じる場合がある。この時の移動量変化はスタンディングへの変化よりも小さく、上方向に5cm程度、前後方向に10cm程度であったが、これは、シッティングにおける前乗りと後乗りの差異を表していると推定できる。
即ち、シッティングにおける上記進行方向への移動量変化を監視することで、前乗り及び後乗りをより正確に判定することができる。
上述の実施形態において、乗車中にライダーに対して、こぎ方のアドバイスを行うこととしてもよい。
即ち、コースの走行中に、スピードを求める、あるいは、効率的なこぎ方を求める等のライダーの目的に合った自転車のこぎ方をアドバイスすることができる。具体的には、運転評価処理部152において、ライダーの乗車姿勢の判定条件及び運転評価条件を目的に合ったものに設定しておき、これらの条件に対する判定結果を音声あるいはディスプレイによってライダーに報知する。
なお、こぎ方のアドバイスの他、乗車姿勢の乱れの傾向に応じて、自転車の設定(サドルやハンドルの位置等)についてのアドバイスを行うこととしてもよい。例えば、「腰が左右に揺れ過ぎているため、サドルの高さを下げた方がよい」といったアドバイスを行うことができる。
上述の実施形態において、地図データ、現在位置のデータ及びセンサ部116の計測結果を基に、ライダーが理想的なコーナリングを行っているか否かを判定することとしてもよい。
具体的には、地図データから把握される旋回半径を基に、コーナーへの理想的な進入速度及びコース取りを算出し、コーナリング時におけるふらつきや加減速の状態から、理想的なコーナリングの状態との相違を判定することができる。
上述の実施形態において、乗車姿勢や運転状態の評価結果(運転評価処理結果)を、走行中に計測装置100からライダーに対して、逐次報知することとしてもよい。例えば、コーナーを曲がる度、乗車姿勢が変化する度といったタイミングで、運転状態や現在の乗車姿勢の適否を音声あるいはバイブレーション信号等によって、リアルタイムにライダーに報知することができる。
上述の実施形態において、撮影制御部153が乗車姿勢や運転状態の評価結果(運転評価処理結果)が特定の状態であるか否かを判定する場合に、センサ部116によって検出された物理量の絶対値に基づいて判定すること、センサ部116によって検出された物理量の組み合わせが所定状態であるか否かに基づいて判定すること、センサ部116によって検出された物理量が基準値と一致するか否かに基づいて判定することが可能であり、これらの判定方法を組み合わせることも可能である。
即ち、撮影制御部153は、物理量の絶対値が閾値以上(または閾値以下)となった場合に、状態の変化があったものとして、撮影トリガ信号を送信することが可能である。
これにより、単独の物理量として表れる乗車姿勢の変化等を検出して、撮影を行うことができる。
これにより、複数の物理量の組み合わせとして表れる乗車姿勢の変化等を検出して、撮影を行うことができる。
さらに、撮影制御部153は、コースに対して基準となる物理量のデータ(プロのライダーのデータ、複数ユーザのデータあるいは過去の自身のデータ等)を用意しておき、計測された物理量と基準のデータとに所定量の乖離が生じた場合に、撮影トリガ信号を送信することが可能である。
これにより、疲労等によって、基準となるデータとの乖離が生じ、乗車姿勢が乱れた場合等に、撮影を行うことができる。
上述の実施形態において、撮影制御部153は、乗車姿勢に対応して、撮像トリガ信号に含める撮影パラメータを種々設定することができる。
例えば、乗車姿勢に応じて、シャッタ速度、絞り、感度、セピア、パノラマあるいはブラー等の撮影シーン設定の他、撮影インターバル、画角等の撮影パラメータを設定することができる。
これにより、乗車姿勢から推定される走行状態に応じて、より適切な撮影パラメータで撮影を行うことができる。
これにより、乗車姿勢から推定される走行状態に応じて、動画または静止画像を適切に選択して撮影を行うことができる。
さらに、撮影制御部153は、乗車姿勢に応じて、撮影された画像に施すエフェクトを種々切り替えることができる。
例えば、攻めのダンシング時に撮影された静止画像には、ブレを低減するために高速なシャッタ速度で撮影する一方、スピード感を出すためのブラーを施すことができる。また、アップライトのシッティング時に撮影された動画像は、風景が映りやすい姿勢であることから、パノラマ撮影を行ったりすることができる。
次に、本発明の第2実施形態について説明する。
本実施形態に係る撮影システム1では、計測装置100がセンサ部116にジャイロセンサを備えている。
そして、運転状態判定処理において、計測装置100が計測したライダーの身体における角速度を用いて、乗車姿勢判定条件及び運転評価条件の判定が行われる。
ジャイロセンサを用いることにより、ペダルを踏む動作に伴う腰の回転の有無が明瞭に判定される。腰の回転の周期を算出することでケイデンス(ペダル回転数)を計測することが可能となった。ケイデンスが変化するのはライダーが置かれた状況が変化したとき(例えば、上り坂や下り坂により負荷が変動した、あるいは風景を楽しもうと走行速度を落とした等)であることが多いため、この変化を捉えて撮影を行うことで効果的な撮影を行うことができる。具体的には、ケイデンスに対して閾値判定を行い、閾値を通過する際にシャッタを切る。自転車に特別な機器を取り付けることなくケイデンスの計測が可能であり、旅先でレンタサイクルを利用したときでもケイデンスの計測及びこれを利用した撮影が容易に行うことができる
これに対し、本実施形態に係る計測装置100は、ジャイロセンサの計測結果を用いることで、より正確に姿勢変化を検出することができる。
具体的には、ジャイロセンサのサンプリングレートを200Hz程度とし、左右1回転に要する時間を正確に計測することで、右脚と左脚との回転左右差を判定することができる。
そのため、一方の脚の回転に注目し、半回転に要する時間を前半と後半とで比較することで、シッティングの前乗りであるか後乗りであるかをより正確に判定することができる。
次に、本発明の第3実施形態について説明する。
本実施形態に係る撮影システム1では、計測装置100がセンサ部116に気圧センサを備えている。
そして、運転状態判定処理において、計測装置100が計測した気圧のデータを用いて、乗車姿勢判定条件及び運転評価条件の判定が行われる。具体的には、気圧のデータから計測装置100の高度の変化を計測し、高度の変化を利用して、乗車姿勢判定条件及び運転評価条件の判定が行われる。
また、シッティングにおいて、ノーマルからアップライトに姿勢を変化する際に、姿勢変化の速度が小さい場合においては、加速度センサの計測結果として明確に表れ難い場合がある。これに対し、気圧センサを用いた場合、ノーマルからアップライトへの姿勢変化の速度が小さい場合であっても、計測結果に明確な上昇が見られ、より容易にアップライト姿勢の判定を行うことができる。
次に、本発明の第4実施形態について説明する。
第1実施形態〜第3実施形態においては、各軸の加速度の計測結果に対する閾値の判定に基づいて姿勢変化の検出を行うものであった。
これに対し、本実施形態に係る撮影システム1では、機械学習により姿勢変化の検出を行う。
撮像装置300は、自転車の乗車時に撮像を行う。
センサ部116は、自転車の運転者に関連する物理量(加速度、角速度あるいは気圧等)を計測する。
運転評価処理部152は、センサ部116によって計測された物理量に基づいて、運転者の状態に関する評価を行う。
撮影制御部153は、運転評価処理部152の処理結果に基づいて、撮像装置300における撮影の制御を実行する。
これにより、運転者に関連する物理量を基に、運転者の状態に関する評価が行われ、その評価結果に基づいて、撮像装置300の撮影を制御することができる。
そのため、走行時における運転者の状態と対応付けて、走行中の風景を撮影することができる。
したがって、自転車による走行中の風景をより適切に撮影することができる。
これにより、走行時の風景をより適切な画角で撮影することができる。
これにより、運転者に関連する物理量をより適切に取得することができる。
これにより、運転者の状態を適確に表す加速度を、運転者に関連する物理量として取得することができる。
これにより、位置情報、角速度、気圧(高度)の少なくともいずれかひとつをさらに用いて、より適切に運転者の状態を評価することができる。
出力部218は、運転評価処理部152による処理結果を表示する。
これにより、走行時における運転者の運転技術を運転時または運転後に表示することができる。
したがって、走行時に撮影が行われた根拠となる運転の評価結果を、運転者に対して、わかりやすい形態で知らせることができる。
これにより、運転者に生じている物理量の変化に対応して、撮像装置300の撮影を制御することができる。
これにより、運転者に生じている物理量の基準値との比較結果に対応して、撮像装置300の撮影を制御することができる。
これにより、運転者の状態の変化に対応して、撮像装置300による撮影を実行することができる。
これにより、運転者の状態が撮影に適している状態で、撮影を実行することが可能となる。
これにより、運転者の状態に対応させて、より適切に撮影を行うことができる。
撮影制御部153は、運転評価処理部152による評価結果が特定の状態となった場合に、撮影を実行する。
これにより、乗車姿勢に基づく運転者の状態の変化を加味して、自転車による走行中の風景をより適切に撮影することができる。
また、計測装置100をライダーの複数個所に装着し、複数の計測結果に基づいて運転状態を評価するようにしてもよい。
また、上述の実施形態では、撮像装置300をライダーの身体に装着するものとして説明したが、ライダーが視認する風景を撮影できれば、自転車に設置することとしてもよい。
例えば、情報表示装置200は、情報表示機能を有する電子機器一般に適用することができる。具体的には、例えば、情報表示装置200は、ノート型のパーソナルコンピュータ、テレビジョン受像機、ビデオカメラ、携帯型ナビゲーション装置、携帯電話機、ポータブルゲーム機等によって構成することが可能である。
例えば、撮像装置300は、撮像機能を有する電子機器一般に適用することができる。例えば、撮像装置300は、ノート型のパーソナルコンピュータ、ビデオカメラ、携帯型ナビゲーション装置、携帯電話機、スマートフォン、ポータブルゲーム機等によって構成することが可能である。
換言すると、図5の機能的構成は例示に過ぎず、特に限定されない。即ち、上述した一連の処理を全体として実行できる機能が撮影システム1に備えられていれば足り、この機能を実現するためにどのような機能ブロックを用いるのかは特に図5の例に限定されない。
また、1つの機能ブロックは、ハードウェア単体で構成してもよいし、ソフトウェア単体で構成してもよいし、それらの組み合わせで構成してもよい。
つまり、撮影システム1の機能構成は、全体として、図5に示す機能が実現されていれば、いずれの装置が各機能を備えるかは、図5の例に限定されない。
即ち、情報表示装置200が運転評価処理部152、撮影制御部153、乗車判定部154あるいは出力制御部155等の機能の一部または全部を備えること等が可能である。
コンピュータは、専用のハードウェアに組み込まれているコンピュータであってもよい。また、コンピュータは、各種のプログラムをインストールすることで、各種の機能を実行することが可能なコンピュータ、例えば汎用のパーソナルコンピュータであってもよい。
また、本明細書において、システムの用語は、複数の装置や複数の手段等より構成される全体的な装置を意味するものとする。
[付記1]
自転車の乗車時に撮像を行う撮像装置と、
運転者に関連する物理量を計測するセンサと、
前記センサと一体または別体の装置として構成される第1の装置と、を含み、
前記第1の装置は、
前記センサによって計測された物理量に基づいて、前記運転者の状態に関する評価を行う評価処理手段と、
前記評価処理手段の処理結果に基づいて、前記撮像装置における撮影の制御を実行する撮影制御手段と、
を備えることを特徴とする撮影システム。
[付記2]
前記撮像装置は、自転車の運転者または該自転車に設置されることを特徴とする付記1に記載の撮影システム。
[付記3]
前記センサは、前記運転者に装着されることを特徴とする付記1または2に記載の撮影システム。
[付記4]
前記センサは、加速度センサによって構成され、前記運転者における鉛直方向、進行方向の前後方向及び左右方向それぞれの加速度の変化を検出することを特徴とする付記1から3のいずれか1項に記載の撮影システム。
[付記5]
前記センサは、GPSセンサ、ジャイロセンサ、気圧センサの少なくともいずれかひとつをさらに備えることを特徴とする付記1から4のいずれか1項に記載の撮影システム。
[付記6]
前記評価処理手段の処理結果を表示する表示手段を備える第2の装置をさらに含むことを特徴とする付記1から5のいずれか1項に記載の撮影システム。
[付記7]
前記撮影制御手段は、前記センサによって計測された物理量と、該物理量に設定された閾値との比較結果に基づいて、撮影の制御を実行することを特徴とする付記1から6のいずれか1項に記載の撮影システム。
[付記8]
前記撮影制御手段は、前記センサによって計測された物理量と、該物理量に関する基準値との比較結果に基づいて、撮影の制御を実行することを特徴とする付記1から7のいずれか1項に記載の撮影システム。
[付記9]
前記撮影制御手段は、前記評価処理手段によって前記運転者の状態に変化があったと判定された場合に、撮影を実行することを特徴とする付記1から8のいずれか1項に記載の撮影システム。
[付記10]
前記撮影制御手段は、前記評価処理手段によって前記運転者の状態が特定の状態と判定された場合に、撮影を実行することを特徴とする付記1から9のいずれか1項に記載の撮影システム。
[付記11]
前記撮影制御手段は、前記評価処理手段によって前記運転者の状態が特定の状態と判定された場合に、前記特定の状態に対応する撮影パラメータを設定することを特徴とする付記1から10のいずれか1項に記載の撮影システム。
[付記12]
前記評価処理手段は、前記運転者の現在の乗車姿勢と、乗車姿勢の履歴とに基づいて、前記運転者の状態の評価を行い、
前記撮影制御手段は、前記評価処理手段による評価結果が特定の状態となった場合に、撮影を実行することを特徴とする付記1から11のいずれか1項に記載の撮影システム。
[付記13]
自転車の運転者に関連する物理量を計測するセンサによって計測された物理量に基づいて、前記運転者の状態に関する評価を行う評価処理手段と、
前記評価処理手段の処理結果に基づいて、自転車の乗車時に撮像を行う撮像装置における撮影の制御を実行する撮影制御手段と、
を備えることを特徴とする撮影制御装置。
[付記14]
自転車の乗車時に撮像を行う撮像装置と、運転者に関連する物理量を計測するセンサと、前記センサと一体または別体の装置として構成される第1の装置と、を含む撮影システムにおける撮影制御方法であって、
前記第1の装置が、
前記センサによって計測された物理量に基づいて、前記運転者の状態に関する評価を行う評価処理ステップと、
前記評価処理ステップにおける処理結果に基づいて、前記撮像装置における撮影の制御を実行する撮影制御ステップと、
を含むことを特徴とする撮影制御方法。
[付記15]
自転車の乗車時に撮像を行う撮像装置と、運転者に関連する物理量を計測するセンサと、前記センサと一体または別体の装置として構成される第1の装置と、を含む撮影システムにおける前記第1の装置を制御するコンピュータに、
前記センサによって計測された物理量に基づいて、前記運転者の状態に関する評価を行う評価処理機能と、
前記評価処理機能による処理結果に基づいて、前記撮像装置における撮影の制御を実行する撮影制御機能と、
を実現させることを特徴とするプログラム。
Claims (15)
- 自転車の乗車時に撮像を行う撮像装置と、
運転者に関連する物理量を計測するセンサと、
前記センサと一体または別体の装置として構成される第1の装置と、を含み、
前記第1の装置は、
前記センサによって計測された物理量に基づいて、前記運転者の状態に関する評価を行う評価処理手段と、
前記評価処理手段の処理結果に基づいて、前記撮像装置における撮影の制御を実行する撮影制御手段と、
を備えることを特徴とする撮影システム。 - 前記撮像装置は、自転車の運転者または該自転車に設置されることを特徴とする請求項1に記載の撮影システム。
- 前記センサは、前記運転者に装着されることを特徴とする請求項1または2に記載の撮影システム。
- 前記センサは、加速度センサによって構成され、前記運転者における鉛直方向、進行方向の前後方向及び左右方向それぞれの加速度の変化を検出することを特徴とする請求項1から3のいずれか1項に記載の撮影システム。
- 前記センサは、GPSセンサ、ジャイロセンサ、気圧センサの少なくともいずれかひとつをさらに備えることを特徴とする請求項1から4のいずれか1項に記載の撮影システム。
- 前記評価処理手段の処理結果を表示する表示手段を備える第2の装置をさらに含むことを特徴とする請求項1から5のいずれか1項に記載の撮影システム。
- 前記撮影制御手段は、前記センサによって計測された物理量と、該物理量に設定された閾値との比較結果に基づいて、撮影の制御を実行することを特徴とする請求項1から6のいずれか1項に記載の撮影システム。
- 前記撮影制御手段は、前記センサによって計測された物理量と、該物理量に関する基準値との比較結果に基づいて、撮影の制御を実行することを特徴とする請求項1から7のいずれか1項に記載の撮影システム。
- 前記撮影制御手段は、前記評価処理手段によって前記運転者の状態に変化があったと判定された場合に、撮影を実行することを特徴とする請求項1から8のいずれか1項に記載の撮影システム。
- 前記撮影制御手段は、前記評価処理手段によって前記運転者の状態が特定の状態と判定された場合に、撮影を実行することを特徴とする請求項1から9のいずれか1項に記載の撮影システム。
- 前記撮影制御手段は、前記評価処理手段によって前記運転者の状態が特定の状態と判定された場合に、前記特定の状態に対応する撮影パラメータを設定することを特徴とする請求項1から10のいずれか1項に記載の撮影システム。
- 前記評価処理手段は、前記運転者の現在の乗車姿勢と、乗車姿勢の履歴とに基づいて、前記運転者の状態の評価を行い、
前記撮影制御手段は、前記評価処理手段による評価結果が特定の状態となった場合に、撮影を実行することを特徴とする請求項1から11のいずれか1項に記載の撮影システム。 - 自転車の運転者に関連する物理量を計測するセンサによって計測された物理量に基づいて、前記運転者の状態に関する評価を行う評価処理手段と、
前記評価処理手段の処理結果に基づいて、自転車の乗車時に撮像を行う撮像装置における撮影の制御を実行する撮影制御手段と、
を備えることを特徴とする撮影制御装置。 - 自転車の乗車時に撮像を行う撮像装置と、運転者に関連する物理量を計測するセンサと、前記センサと一体または別体の装置として構成される第1の装置と、を含む撮影システムにおける撮影制御方法であって、
前記第1の装置が、
前記センサによって計測された物理量に基づいて、前記運転者の状態に関する評価を行う評価処理ステップと、
前記評価処理ステップにおける処理結果に基づいて、前記撮像装置における撮影の制御を実行する撮影制御ステップと、
を含むことを特徴とする撮影制御方法。 - 自転車の乗車時に撮像を行う撮像装置と、運転者に関連する物理量を計測するセンサと、前記センサと一体または別体の装置として構成される第1の装置と、を含む撮影システムにおける前記第1の装置を制御するコンピュータに、
前記センサによって計測された物理量に基づいて、前記運転者の状態に関する評価を行う評価処理機能と、
前記評価処理機能による処理結果に基づいて、前記撮像装置における撮影の制御を実行する撮影制御機能と、
を実現させることを特徴とするプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014259354A JP2016119624A (ja) | 2014-12-22 | 2014-12-22 | 撮影システム、撮影制御装置、撮影制御方法及びプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014259354A JP2016119624A (ja) | 2014-12-22 | 2014-12-22 | 撮影システム、撮影制御装置、撮影制御方法及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2016119624A true JP2016119624A (ja) | 2016-06-30 |
JP2016119624A5 JP2016119624A5 (ja) | 2018-01-18 |
Family
ID=56244540
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014259354A Pending JP2016119624A (ja) | 2014-12-22 | 2014-12-22 | 撮影システム、撮影制御装置、撮影制御方法及びプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2016119624A (ja) |
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2016179718A (ja) * | 2015-03-23 | 2016-10-13 | カシオ計算機株式会社 | 運動計測装置、運動計測方法及びプログラム |
CN106043526A (zh) * | 2016-07-21 | 2016-10-26 | 柳州国淘科技有限公司 | 一种监测儿童自行车车速的多功能装置及控制方法 |
JP2018158672A (ja) * | 2017-03-23 | 2018-10-11 | カシオ計算機株式会社 | 情報処理装置、情報処理方法及びプログラム |
JP2019025229A (ja) * | 2017-08-03 | 2019-02-21 | カシオ計算機株式会社 | 活動状況解析装置、活動状況解析方法及びプログラム |
US10334160B2 (en) | 2016-09-28 | 2019-06-25 | Casio Computer Co., Ltd. | Imaging apparatus capable of automatic photography, image playback apparatus which plays back automatically photographed image, image playback method, and imaging method |
JPWO2018122887A1 (ja) * | 2016-12-27 | 2019-10-31 | 川崎重工業株式会社 | 鞍乗型車両、車両外力情報記憶システム、及び外力関連情報記憶方法 |
JP2020138700A (ja) * | 2019-03-01 | 2020-09-03 | 株式会社シマノ | 推定装置、制御システム、学習モデル、学習モデルの生成方法、コンピュータプログラム、および、記憶媒体 |
US10870038B2 (en) | 2017-08-03 | 2020-12-22 | Casio Computer Co., Ltd. | Activity recording data processing apparatus |
US10881906B2 (en) | 2017-08-03 | 2021-01-05 | Casio Computer Co., Ltd. | Track estimation device |
CN113781837A (zh) * | 2021-03-19 | 2021-12-10 | 北京沃东天骏信息技术有限公司 | 骑行安全实现方法、装置、介质及电子设备 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004361708A (ja) * | 2003-06-05 | 2004-12-24 | Fuji Photo Film Co Ltd | リストカメラ |
JP2006279619A (ja) * | 2005-03-30 | 2006-10-12 | Olympus Corp | カメラ操作装置 |
JP2013236224A (ja) * | 2012-05-08 | 2013-11-21 | Honda Motor Co Ltd | 移動体撮影システム、移動体撮影装置、移動体撮影方法、および移動体撮影プログラム |
-
2014
- 2014-12-22 JP JP2014259354A patent/JP2016119624A/ja active Pending
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004361708A (ja) * | 2003-06-05 | 2004-12-24 | Fuji Photo Film Co Ltd | リストカメラ |
JP2006279619A (ja) * | 2005-03-30 | 2006-10-12 | Olympus Corp | カメラ操作装置 |
JP2013236224A (ja) * | 2012-05-08 | 2013-11-21 | Honda Motor Co Ltd | 移動体撮影システム、移動体撮影装置、移動体撮影方法、および移動体撮影プログラム |
Cited By (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2016179718A (ja) * | 2015-03-23 | 2016-10-13 | カシオ計算機株式会社 | 運動計測装置、運動計測方法及びプログラム |
CN106043526A (zh) * | 2016-07-21 | 2016-10-26 | 柳州国淘科技有限公司 | 一种监测儿童自行车车速的多功能装置及控制方法 |
US10334160B2 (en) | 2016-09-28 | 2019-06-25 | Casio Computer Co., Ltd. | Imaging apparatus capable of automatic photography, image playback apparatus which plays back automatically photographed image, image playback method, and imaging method |
JPWO2018122887A1 (ja) * | 2016-12-27 | 2019-10-31 | 川崎重工業株式会社 | 鞍乗型車両、車両外力情報記憶システム、及び外力関連情報記憶方法 |
JP2018158672A (ja) * | 2017-03-23 | 2018-10-11 | カシオ計算機株式会社 | 情報処理装置、情報処理方法及びプログラム |
JP2019025229A (ja) * | 2017-08-03 | 2019-02-21 | カシオ計算機株式会社 | 活動状況解析装置、活動状況解析方法及びプログラム |
CN109387203A (zh) * | 2017-08-03 | 2019-02-26 | 卡西欧计算机株式会社 | 活动状况分析装置、活动状况分析方法及记录介质 |
US10870038B2 (en) | 2017-08-03 | 2020-12-22 | Casio Computer Co., Ltd. | Activity recording data processing apparatus |
US10881906B2 (en) | 2017-08-03 | 2021-01-05 | Casio Computer Co., Ltd. | Track estimation device |
US11123606B2 (en) | 2017-08-03 | 2021-09-21 | Casio Computer Co., Ltd. | Activity state analyzer to analyze activity state during cycling |
JP2020138700A (ja) * | 2019-03-01 | 2020-09-03 | 株式会社シマノ | 推定装置、制御システム、学習モデル、学習モデルの生成方法、コンピュータプログラム、および、記憶媒体 |
JP7626352B2 (ja) | 2019-03-01 | 2025-02-07 | 株式会社シマノ | 推定装置、制御システム、学習モデル、学習モデルの生成方法、コンピュータプログラム、および、記憶媒体 |
CN113781837A (zh) * | 2021-03-19 | 2021-12-10 | 北京沃东天骏信息技术有限公司 | 骑行安全实现方法、装置、介质及电子设备 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2016119624A (ja) | 撮影システム、撮影制御装置、撮影制御方法及びプログラム | |
JP2016158780A (ja) | 乗車姿勢評価装置、乗車姿勢評価方法及びプログラム | |
US8364389B2 (en) | Systems and methods for integrating a portable electronic device with a bicycle | |
CN103246543B (zh) | 显示控制设备,显示控制方法和程序 | |
KR101256320B1 (ko) | 재생 표시 장치, 촬영 장치, 재생 표시 방법 및 기억 매체 | |
JP6318784B2 (ja) | 回転数検出装置及び回転数検出方法並びにプログラム | |
JP2013197995A (ja) | 動画撮影装置、動画撮影方法、及び、プログラム | |
KR20130088059A (ko) | 오브젝트의 정보를 표시하는 정보 처리 장치, 정보 처리 방법 및 기록 매체 | |
JP2012026844A (ja) | 情報処理装置、情報処理方法、及びプログラム | |
WO2012011345A1 (ja) | 情報処理装置、情報処理方法、プログラム、及び記録媒体 | |
CN108079547B (zh) | 图像处理装置、分析系统、图像处理方法以及记录介质 | |
JP2024071543A (ja) | 情報処理装置、情報処理方法、及びプログラム | |
CN105387870B (zh) | 信息处理装置、行进方向推断方法以及存储介质 | |
CN106153040A (zh) | 信息处理装置以及行进方向推测方法 | |
JP6380634B2 (ja) | 画像再生装置、画像再生方法及びプログラム | |
JP2021102075A (ja) | 出力装置、出力方法、及び、プログラム | |
JP6914480B2 (ja) | 指標表示装置、指標表示方法、プログラム、及び指標表示システム | |
JP2011250339A (ja) | デジタルカメラ | |
CN108234739A (zh) | 信息处理装置、移动轨迹信息输出方法以及记录介质 | |
JP2022175890A (ja) | アドバイス提示システム、情報端末、器具端末、プログラム及びアドバイス提示方法 | |
JP6052274B2 (ja) | 情報処理装置、情報処理方法、及びプログラム | |
JP6787072B2 (ja) | 画像処理装置、解析システム、画像処理方法及びプログラム | |
JP6939001B2 (ja) | 情報処理装置、情報処理方法及びプログラム | |
JP2017177830A (ja) | 表情記録システム | |
JP6598732B2 (ja) | 電子機器、制御装置、制御プログラム及び動画表示方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20171129 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20171129 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20180928 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20181023 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20190507 |