JP6993793B2 - Electronics, control methods and programs - Google Patents
Electronics, control methods and programs Download PDFInfo
- Publication number
- JP6993793B2 JP6993793B2 JP2017096537A JP2017096537A JP6993793B2 JP 6993793 B2 JP6993793 B2 JP 6993793B2 JP 2017096537 A JP2017096537 A JP 2017096537A JP 2017096537 A JP2017096537 A JP 2017096537A JP 6993793 B2 JP6993793 B2 JP 6993793B2
- Authority
- JP
- Japan
- Prior art keywords
- moving image
- formats
- image data
- determined
- encoding
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Studio Devices (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Television Signal Processing For Recording (AREA)
Description
本発明は、動画データをエンコード(符号化)しながら配信することができる電子機器およびその制御方法に関するものである。 The present invention relates to an electronic device capable of delivering moving image data while encoding (encoding) and a control method thereof.
近年、IP(Internet protocol)ネットワークを介して、リアルタイムに動画データを配信することが行われている。一般に、動画データのデータサイズは大きいため、動画データをIPネットワークを介して転送する場合は、動画データをMPEG-4等の規格に従ってエンコード(符号化)して伝送する。複数の表示装置に対して動画データを配信する場合は、各表示装置が表示可能な規格でエンコードすることになる。 In recent years, moving image data has been distributed in real time via an IP (Internet protocol) network. Generally, since the data size of moving image data is large, when transferring moving image data via an IP network, the moving image data is encoded (encoded) according to a standard such as MPEG-4 and transmitted. When distributing video data to a plurality of display devices, the video data is encoded according to a standard that can be displayed by each display device.
動画データのエンコードには空間変換やフレーム間予測など高度な演算が必要である。また、動画データのエンコードを行いながら動画を配信するストリーミング配信の場合には、再生時間より早くエンコードを行う必要があるという時間的な制約も存在する。このため、動画を配信する電子機器では、専用ハードウェアや、高速にデジタル演算をすることのできるDSP(digital signal processor)などのプロセッサを用いてエンコードを行う。なお、このようなエンコードを行うハードウェア(またはハードウェアとソフトウェアの組み合わせ)は、エンコーダと呼ばれる。 Encoding video data requires advanced operations such as spatial conversion and inter-frame prediction. Further, in the case of streaming distribution in which the video is distributed while encoding the video data, there is a time constraint that the encoding must be performed earlier than the playback time. Therefore, in an electronic device that distributes a moving image, encoding is performed using dedicated hardware or a processor such as a DSP (digital signal processor) capable of performing digital calculation at high speed. The hardware (or a combination of hardware and software) that performs such encoding is called an encoder.
ところで、上述のような構成を有する電子機器であっても、同時にエンコードできる動画データの個数または組み合わせには上限がある。上限を超える個数または組み合わせでエンコードを行った場合は、前述の時間的な制約を守れずに表示装置での動画表示が乱れる等の問題が生じる。特許文献1では、同時に複数のエンコードが行える構成において、エンコード処理の負荷が高いと判定された場合は、符号化品質を落としてエンコード処理の負荷を軽減する方法が記載されている。
By the way, even in an electronic device having the above-mentioned configuration, there is an upper limit to the number or combination of moving image data that can be encoded at the same time. When encoding is performed with a number or combination exceeding the upper limit, there arises a problem that the moving image display on the display device is disturbed without observing the above-mentioned time constraint.
しかしながら、特許文献1では、エンコード処理の負荷が高い場合、同時に行っている複数のエンコード処理の全てで符号化品質が低下してしまうという課題がある。
However, in
そこで、本発明は、複数の外部装置に対して動画データをエンコード(符号化)しながら配信する際に、各外部装置の能力に適した動画データを送信できるようにすることを目的とする。
Therefore, an object of the present invention is to enable transmission of moving image data suitable for the capabilities of each external device when distributing moving image data to a plurality of external devices while encoding (encoding) them.
本発明に係る電子機器は、選択された動画データを複数の外部装置のすべてが表示できるようにするための1つ以上の形式が決定できるか否かを判定する決定手段と、前記1つ以上の形式が決定できた場合は、前記選択された動画データをエンコードして前記1つ以上の形式の動画データを生成するエンコード手段と、前記1つ以上の形式が決定できた場合は、生成された前記1つ以上の形式の動画データを前記複数の外部装置のそれぞれに送信する通信手段と、前記1つ以上の形式が決定できなかった場合は、前記選択された動画データを前記複数の外部装置のいずれにも提供することができないことを示す情報を表示手段に表示させる表示制御手段とを有する。
The electronic device according to the present invention includes a determination means for determining whether or not one or more formats for allowing all of a plurality of external devices to display selected moving image data can be determined, and the one or more . If the format of the above can be determined, the encoding means for encoding the selected moving image data to generate the moving image data in the one or more formats, and if the one or more formats can be determined, the generation is generated. The communication means for transmitting the moving image data in the one or more formats to each of the plurality of external devices, and the plurality of selected moving image data when the one or more formats cannot be determined. It has a display control means for causing the display means to display information indicating that it cannot be provided to any of the external devices.
本発明に係る制御方法は、電子機器の制御方法であって、選択された動画データを複数の外部装置のすべてが表示できるようにするための1つ以上の形式が決定できるか否かを判定する決定ステップと、前記1つ以上の形式が決定できた場合は、前記選択された動画データをエンコードして前記1つ以上の形式の動画データを生成するエンコードステップと、前記1つ以上の形式が決定できた場合は、生成された前記1つ以上の形式の動画データを前記複数の外部装置のそれぞれに送信する通信ステップと、前記1つ以上の形式が決定できなかった場合は、前記選択された動画データを前記複数の外部装置のいずれにも提供することができないことを示す情報を表示手段に表示させる表示制御ステップとを有する。
The control method according to the present invention is a control method for an electronic device, and determines whether or not one or more formats for allowing all of a plurality of external devices to display selected moving image data can be determined. The determination step to be performed, and if the one or more formats can be determined, the encoding step of encoding the selected moving image data to generate the moving image data in the one or more formats, and the one or more formats. If it can be determined, the communication step of transmitting the generated moving image data in one or more formats to each of the plurality of external devices, and if the one or more formats cannot be determined, the above. It has a display control step for displaying information indicating that the selected moving image data cannot be provided to any of the plurality of external devices to the display means.
本発明に係るプログラムは、コンピュータを、選択された動画データを複数の外部装置のすべてが表示できるようにするための1つ以上の形式が決定できるか否かを判定する決定手段と、前記1つ以上の形式が決定できた場合は、前記選択された動画データをエンコードして前記1つ以上の形式の動画データを生成するエンコード手段と、前記1つ以上の形式が決定できた場合は、生成された前記1つ以上の形式の動画データを前記複数の外部装置のそれぞれに送信する通信手段と、前記1つ以上の形式が決定できなかった場合は、前記選択された動画データを前記複数の外部装置のいずれにも提供することができないことを示す情報を表示手段に表示させる表示制御手段として機能させる。 The program according to the present invention comprises a determination means for determining whether or not the computer can determine one or more formats for allowing the selected moving image data to be displayed by all of the plurality of external devices, and the above- mentioned 1 . If one or more formats can be determined, the encoding means that encodes the selected moving image data to generate the moving image data in the one or more formats, and if the one or more formats can be determined , the encoding means. When the communication means for transmitting the generated moving image data in one or more formats to each of the plurality of external devices and the one or more formats cannot be determined, the selected moving image data is used. It functions as a display control means for displaying information indicating that it cannot be provided to any of a plurality of external devices to the display means.
本発明によれば、複数の外部装置に対して動画データをエンコード(符号化)しながら配信する際に、各外部装置の能力に適した動画データを送信することができる。 According to the present invention, when distributing moving image data to a plurality of external devices while encoding (encoding), it is possible to transmit moving image data suitable for the capabilities of each external device.
以下、図面を参照して本発明の実施形態を説明する。ただし、本発明は以下の実施形態に限定されるものではない。 Hereinafter, embodiments of the present invention will be described with reference to the drawings. However, the present invention is not limited to the following embodiments.
<実施形態1>
以下、動画処理装置として動作可能な電子機器100について説明する。実施形態1において、電子機器100が、無線LAN機能を有するデジタルカメラとして動作する例を説明する。
<
Hereinafter, the
図1Aは、電子機器100の構成要素を説明するためのブロック図である。電子機器100は、図1Aに示すように、CPU(central processing unit)101、メモリ102、不揮発性メモリ103、操作部104、表示部105、記憶媒体I/F106、撮像部108、画像処理部109、バッテリ110および無線LAN部111を有する。これらの構成要素は、システムバス112に接続されている。
FIG. 1A is a block diagram for explaining the components of the
CPU101は、電子機器100の各構成要素(図1Aおよび図1Bに示す構成要素を含む)を制御する。CPU101は、電子機器100の各構成要素を制御し、ユーザ設定およびユーザ操作に応じた動画データの記録などを実現する。メモリ102は随時に書き替えが可能なメモリであり、電子機器100を制御するプログラムにより作業領域として使用される。
The
不揮発性メモリ103は、電子機器100を制御するプログラム、動画データ、音声データ、その他のデータなどプログラムが使用するデータを格納する。また、電子機器100のユーザ設定情報なども不揮発性メモリ103に格納される。電子機器100に電源が投入されると、CPU101は不揮発性メモリ103からプログラムを読み込み実行することで、電子機器100の制御を開始する。不揮発性メモリ103は、例えばフラッシュメモリまたはEEPROMを有する。
The
操作部104は、ユーザの指示を電子機器100に伝えるために使用される。操作部104は、複数のボタンやダイヤルなどを有する。表示部105は、CPU101の制御に基づき、電子機器100を操作するためのGUI(graphical user interface)を表示する。表示部105は、例えば、液晶表示装置(LCD)とそれをコントロールするためのLCDドライバユニットとを有する。CPU101は、プログラムに従い、表示データ(警告情報など)を生成して表示部105に出力するように電子機器100の各構成要素を制御する。表示部105は出力された表示データを表示する。
The
記憶媒体I/F106は、メモリカードなどの記憶媒体107を接続するためのインターフェースである。記憶媒体I/F106は、CPU101の制御に基づき、記憶媒体I/F106に接続された記憶媒体107からのデータの読み出しや、記憶媒体107に対するデータの書き込みを行う。記憶媒体107は、撮像した動画データを記憶するための書き替え可能な不揮発性メモリを有する。記憶媒体107は、例えば、SDメモリカードまたはコンパクトフラッシュ(登録商標)カードとして動作する。
The storage medium I /
撮像部108は、CPU101の制御に基づいて、被写体像を動画データに変換し、動画データを内部バス113に出力する。撮像部108は、例えば、レンズユニットと、絞り、ズームおよびフォーカスを制御する光学系と、レンズユニットによって導かれた被写体像を動画信号に変換するための撮像素子と、撮像素子で生成された動画信号を動画データに変換するA/D変換部とを有する。撮像部108の撮像素子としては、一般的には、CMOSを利用したCMOS撮像素子(CMOSイメージセンサ)、または、CCDを利用したCCD撮像素子(CCDイメージセンサ)が用いられる。
The
画像処理部109は、CPU101の制御に基づいて、不揮発性メモリ103および/または記憶媒体107に格納された動画データや、撮像部108が出力する動画データに対して各種画像処理を施す。画像処理部109が行う画像処理には、動画データのエンコード処理、トンラスコード処理、圧縮処理、デコード処理、拡大/縮小処理(リサイズ)、ノイズ低減処理、色変換処理、顔検出処理などが含まれる。画像処理部109は、複数の専用ハードウェアブロックを有する構成であってもよい。画像処理部109のエンコード処理の能力に関しては図4を用いて後述する。
Based on the control of the
バッテリ110は、電子機器100が動作するための電力を供給する。バッテリ110は、充電可能な電池を有する。無線LAN部111は、無線通信を実現するための通信部である。無線LAN部111は、無線通信のためのアンテナと無線信号を処理するための通信コントローラを有し、IEEE802.11a、b、g、nに従った無線通信を実現する。また、実施形態1では、無線LAN部111は無線LANアクセスポイント機能を有し、他の無線LAN機器と直接通信を行うことが可能である。上述した各構成要素はシステムバス112に接続される。システムバス112に接続される各構成要素は、システムバス112を介して互いにデータのやりとりを行うことができるようにされている。
The
次に、図1Bを参照して、電子機器100がさらに有する構成要素を説明する。なお、図1Bに示す構成要素の一部またはすべては、専用のハードウェアにより実現される。
Next, with reference to FIG. 1B, the components further possessed by the
通信部151は、例えば、無線LAN部111を用いたネットワーク接続により、複数の外部装置と通信可能である。図1Bでは、複数の外部装置として、通信部151から送信される動画データを再生、表示することが可能な複数の受信機301,302,303が通信接続されている。取得部152は、通信部151を介して、通信接続された複数の外部装置(受信機)の各々が表示できる動画データの形式を取得する。実施形態1では、動画データの形式は、FHD、HD、SDなどの解像度、フレームレートにより規定される。なお、FHDはFull High Definitionすなわち1920x1080の解像度の動画を意味する。HDはHigh Definitionすなわち1280x720の解像度の動画を意味する。SDはStandard Ddefinitionすなわち640x480の解像度の動画を意味する。
The
選択部159は、通信接続されている複数の受信機のうち、実際に動画を送信する1つ以上の受信機をユーザに選択させる。決定部153は、取得部152の取得結果に基づいて、選択部159においてユーザが選択した1つ以上の受信機のすべてが動画データを表示できるように、エンコード部154で生成すべき動画の1つ以上の形式の組み合わせを決定する。決定部153は、エンコード部154が実質的に同時に生成することが可能な1つ以上の形式の組み合わせを登録した能力テーブル157の中から、取得部152の取得結果に基づいて使用する組み合わせを決定する。なお、決定部153の動作については後述する(図6のフローチャート参照)。エンコード部154は、決定部153により決定された組み合わせの形式の動画データが得られるように、送信対象の動画158をエンコードおよびトランスコードして1つ以上の形式の動画データを生成する。エンコード部154はCPU101が画像処理部109を用いて実現される。
The
送信制御部155は、1つ以上の受信機の各々が表示可能な形式の動画データを受信するように、決定部153により決定された組み合わせによりエンコード部154が生成した動画データを通信部151から送信するよう制御する。検出部156は、通信部151と通信接続を確立している受信機の増減を検出する。通信部151と受信機との通信が不能となり通信接続を確立している受信機の数が減少したことが検出部156により検出された場合、決定部153は残りの受信機について生成すべき動画の1つ以上の形式の組み合わせを再決定する。また、検出部156により、通信接続を確立している受信機の数が増加したことが検出された場合、決定部153は新たに検出された受信機を加えて1つ以上の形式の組み合わせを再決定する。
The
次に、図2(a)、図2(b)および図2(c)を参照して、電子機器100の外観例を説明する図である。図2(a)は電子機器100の正面外観図であり、図2(b)は電子機器100の背面外観図であり、図2(c)は電子機器100の底面外観図である。
Next, it is a figure explaining the appearance example of the
シャッターボタン201は操作部104に含まれる。シャッターボタン201は、半押し状態と全押し状態とを区別して検出可能な2段階押し込みスイッチとなっている。シャッターボタン201が半押し状態になるとオートフォーカス制御が開始し、全押し状態になると静止画データまたは動画データを撮像するための撮像動作が開始する。また、動画データの撮像時にシャッターボタン201を全押しすると、動画データの撮像を終了する。
The
レンズユニット204は、撮像部108の撮像素子に被写体像を導く。光学ファインダー202は、被写体像を取り込むための窓である。ユーザは、光学ファインダー202から取り込まれた被写体像を、ファインダー接眼部205から確認することができる。ストロボ203は、撮像時に必要に応じて発光し、暗い条件下でもきれいな静止画の撮像を可能にする。
The
電源ボタン206は、電子機器100の電源をON/OFFするためのスイッチである。ボタン群207は操作部104に含まれる。ユーザはこれらのボタンを利用し、電子機器100のメニューを表示したり、各種パラメータを設定したりする。LCD208は、表示部105に含まれるものであり、撮像開始前の撮像範囲(構図)の表示、操作メニューの表示、撮像した動画データの再生表示などに利用される。ねじ穴209は三脚を固定するために用いられる。バッテリ室210はバッテリ110と記憶媒体107を収納する。ユーザはバッテリ室210へのバッテリ110と記憶媒体107の着脱を行うことができる。
The
次に、図3(a)および図3(b)を参照して、電子機器100と、電子機器100が送信する動画データを受信する受信機301~303とを含む無線ネットワークの構成例を説明する。図3(a)において、電子機器100は、無線LANアクセスポイントとして動作する。受信機301~303は、電子機器100が構成する無線LANネットワークに無線LANクライアントとして参加している。
Next, with reference to FIGS. 3A and 3B, a configuration example of a wireless network including the
また、電子機器100および受信機301~303は、図3(b)で示したようなIPアドレスを有している。これにより、それぞれがIPデータ通信により相互にデータ通信を行うことができる。
Further, the
次に、図3(c)を参照して、受信機301~303の各々が有する表示能力(再生能力)の一例を説明する。ここで、FHD、HD、SDは上述のように解像度の異なる動画の種類を意味する。また、@に続く「60p」はフレームレートが1秒間に60フレームであることを意味し、「30p」はフレームレートが1秒間に30フレームであることを意味している。
Next, an example of the display capability (reproduction capability) possessed by each of the
実施形態1では、動画の種類(FHD、HD、SD)とフレームレート(60p、30p)の組み合わせにより、動画データの形式が定義される例を説明する。また、実施形態1では、受信機301はFHD、HD、SDのいずれも動画も表示することができ、受信機302はHDおよびSDの動画を表示することができ、受信機301はSDの動画のみを表示することができるものとして、説明を行う。
In the first embodiment, an example in which the format of the moving image data is defined by the combination of the type of moving image (FHD, HD, SD) and the frame rate (60p, 30p) will be described. Further, in the first embodiment, the
次に、図4を参照して、画像処理部109が有するエンコード能力の一例を説明する。図4は、能力テーブル157に登録された、画像処理部109(エンコード部154)が実質的に同時に生成可能な1つ以上の動画データの形式の組み合わせのリストである。画像処理部109はSET1からSET27の組み合わせで、動画データを生成することができる。例えば、画像処理部109は、FHD@30pであれば同時に2ストリームの動画データを生成することができる(SET2)。また、画像処理部109は、例えば、FHD@30pとSD@60pの組み合わせであればFHD@30pを1ストリーム、SD@60pを2ストリームの合計3ストリームの動画データを生成することができる(SET7)。
Next, an example of the encoding capability of the
なお、一般に、解像度が高いほど動画の品位が高く、同じ解像度の場合はフレームレートが高いほうが動画の品位が高い。したがって、図4に示すエンコード能力は、解像度が高くなる順序となっており、生成する動画の品位が高くなる順序となっている。ただし、表における順序がこの順序に制限されるわけでなく、例えば、フレームレートが高くなる順序となるように能力テーブル157を構成してもよい。 In general, the higher the resolution, the higher the quality of the moving image, and in the case of the same resolution, the higher the frame rate, the higher the quality of the moving image. Therefore, the encoding capabilities shown in FIG. 4 are in the order of increasing the resolution, and in the order of increasing the quality of the generated moving image. However, the order in the table is not limited to this order, and for example, the capacity table 157 may be configured so that the order is such that the frame rate becomes higher.
次に、図5のフローチャートを参照して、再生モードである電子機器100の動作例を説明する。ここで、再生モードとは、記憶媒体107に記録された動画データを、表示部105または外部の動画データ受信器に表示させる動作モードである。なお、電子機器100は再生モードのほかに、撮像部108を用いて撮像を行うための撮像モードと、待機時にバッテリ110の消費を抑える待機モードを有する。
Next, an operation example of the
ステップS501において、CPU101は、電子機器100が再生モードに遷移するまで待機する。再生モードへの遷移には、例えば、操作部104が用いられる。具体的には、図7(a)の再生ボタン701を押下することにより電子機器100は再生モードに遷移する。再生モードに遷移すると、記憶媒体107に記録された動画データが表示部105に表示される(図7(a)の表示702)。
In step S501, the
電子機器100が再生モードに遷移すると(S501でYES)、ステップS502において、CPU101は、操作部104での操作に対応して、表示部105に表示される動画データを更新する。具体的には、ユーザが図7(a)で左右ボタン703を押下した場合に、記憶媒体107に記録された前後の動画データが表示部105に表示される。
When the
ステップS503では、CPU101は、表示部105に表示している動画データを外部の受信器に出力する要求(以下、出力要求)があるか否かを判定する。実施形態1では、ユーザが図7(a)の上ボタン704を押下した場合に、外部の受信器に出力する要求があると判定する例を説明する。出力要求がない場合(S503でNO)、ステップS504において、CPU101は、再生モードを終了するか否かを判定する。具体的には、ユーザがシャッターボタン201を押下(半押しも含む)した場合や、電源ボタン206を押下した場合に再生モードを終了すると判定する。再生モードを終了すると判定した場合(S504でYES)には、図5のフローチャートは終了する。他方、継続すると判定された場合(S504でNO)にはステップS502以降の処理が繰り返される。なお、電子機器100は、シャッターボタン201が押下された場合には再生モードを終了して撮像モードへ遷移し、電源ボタン206が押下された場合には再生モードを終了して待機モードへ遷移する。これら撮像モード、待機モードは周知であるため説明を省略する。
In step S503, the
出力要求があると判定された場合(S503でYES)、ステップS505において、取得部152は、無線LAN部111を用いて通信可能な動画データの受信機を検索し、発見した受信機の情報を取得する。このような受信機の検索、情報の取得は、具体的には、UPnP(Universal Plug and Play)で利用されているSSDP(Simple Service Discover Protocol)を用いて行われる。なお、取得する情報には、受信機の製品名、表示能力情報が含まれている。図3(a)に示した例の場合、取得部152は、受信機301~303について、図3(b)に記載のIPアドレスと、図3(c)に記載の表示能力を取得する。
When it is determined that there is an output request (YES in S503), in step S505, the
ステップS506において、選択部159は、表示部105にステップS505で取得した情報を表示する。図7(b)は、ステップS506において表示部105が表示する表示情報の例である。選択部159は、ステップS505で発見した受信機の製品名を領域705にリスト表示し、このリスト表示からユーザに所望の受信機を選択させる。ステップS507では、選択部159は、ユーザが操作部104を用いて、動画を出力する受信機を領域705のリスト表示から選択するのを待つ。
In step S506, the
図7(b)において、ユーザは、上下ボタン706を用いて枠707を上下に動かすことができる。選択ボタン708の押下により、枠707で選択中の受信機に対応したチェックボックス709の内容が変更(トグル)され、選択中の受信機に対して動画を出力するか否かを選択することができる。更に、上下ボタン706により、決定ボタン710またはキャンセルボタン711aを選択し、選択ボタン708を押下することによって、動画の出力を行うか否かを選択することができる。
In FIG. 7B, the user can move the
決定ボタン710またはキャンセルボタン711aが選択されるまでは、ステップS505からステップS507までの処理が繰り返され、通信可能な受信機の検索が継続される。このため、通信可能な受信機が増減した場合は、図7(b)の705の表示は随時更新されることになる。なお、キャンセルボタン711aが選択された場合は、動画の出力は行われないとして図5のフローチャートは終了する。
Until the
ステップS508において、決定部153は、ステップS507で選択された出力対象の各受信機(選択部159より通知される)に対して送信する動画データの形式を決定する。
In step S508, the
ここで、図6のフローチャートを参照して、ステップS508で行われる処理(動画データ形式の決定処理)を説明する。 Here, the process (determination process of the moving image data format) performed in step S508 will be described with reference to the flowchart of FIG.
ステップS601では、決定部153は、画像処理部109でエンコード可能な動画データの形式の組み合わせ候補を能力テーブル157を参照して選択する。ここで、動画データの形式の組み合わせ候補の選択は、動画の品位が高い順に行うものとする。具体的には図4で示した組み合わせをSET1から順に選択することになる。
In step S601, the
ステップS602では、決定部153は、ステップS601で動画データ形式の組み合わせを選択することができたか否かを判定する。具体的には、後述のステップS606により図4で示したすべての組み合わせが既に除外されていた場合は、新たな動画データ形式の組み合わせを選択できないとして、候補なしと判定される(S602でNO)。この場合、ステップS507で選択した受信機のすべてに対して表示可能な動画データを出力することはできない。よって、ステップS603において、決定部153は、表示部105に図7(c)の表示アイテム712に示すようなエラーメッセージを表示して、図6のフローチャートは終了する(図5のステップS509に戻る)。
In step S602, the
一方、ステップS601で新たな動画データの形式の組み合わせを選択できた場合(S602でYES)、ステップS604において、決定部153は、ステップS601で選択した動画データの形式の組み合わせ候補がステップS507で選択した受信機の全てで表示可能か否かを判定する。具体的には、決定部153は、ステップS601で選択した動画データの形式組み合わせの候補と、ステップS505で取得した各受信機の表示能力を比較して上記の判定を行う。例えば、ステップS507で、受信機301と302が出力先として選択され、ステップS601でSET1が選択された場合を説明する。図4によればSET1では、FHDで60pの動画データを生成できることを示している。一方、図3の(c)によれば、受信機301はこの動画データを表示することができるが、受信機302は表示することができない。したがって、ステップS604の判定はNOとなる。別の例として、ステップS601でSET3が選択された場合を説明する。図4によればSET3では、FHDで30pの動画データとHDで60pの動画データを同時に生成できることを示している。一方、図3の(c)によれば受信機301は両方の動画データの表示が、受信機302はHDで60pの動画データの表示ができることが分かる。したがってステップS604の判定はYESとなる。
On the other hand, when a new combination of video data formats can be selected in step S601 (YES in S602), in step S604, the
ステップS604でYESの場合、ステップS605において、決定部153は、直前のステップS601で選択した動画データの形式の組み合わせをステップS510以降で使用するために、メモリ102に記憶させ、図6のフローチャートは終了する(図5のステップS509に戻る)。一方、ステップS604でNOの場合、ステップS606において、決定部153は、直前のステップS601で選択した動画データ形式の組み合わせを候補から除外する。したがって、ステップS601からの処理が繰り返される場合に、CPU101は、能力テーブル157のリストにおける次の動画データ形式の組み合わせを選択することになる。
If YES in step S604, in step S605, the
ステップS509では、ステップS508(図6のフローチャート)において、全ての出力先受信機で表示することが可能な動画データ形式の組み合わせが選択できたか否かを判定する。選択できなかったと判定された場合には、CPU101は、S504の処理を実行する。一方、選択できたと判定された場合は、ステップS510において、決定部153は、ステップS507で選択した受信機と、ステップS508で選択した動画データの形式の組み合わせから、各受信機に対して出力する動画データの形式を表示部105に表示する。
In step S509, in step S508 (flow chart of FIG. 6), it is determined whether or not a combination of moving image data formats that can be displayed by all output destination receivers can be selected. If it is determined that the selection cannot be made, the
図7(d)における表示アイテム713は、ステップS510において表示部105が表示する表示情報の例である。例えば、ステップS507で、受信機301と302を出力先と選択したとすると、ステップS508(図6のフローチャート)では図4のSET3が選択されることになる。図7(d)の表示アイテム713には、受信機301(「Digtal TV ○○」と記載)に対してはFHDで30pの動画データを、受信機302(「Tablet △△」と記載)に対してはHDで60pの動画データを出力することが表示されている。なお、受信機301はFHD@30pでもHD@60pでも表示可能であるが、より画質品位の高いFHD@30pが適用されている。すなわち、決定された組み合わせの中に、1つの受信機において表示可能な形式の動画データが複数ある場合は、動画品質の最も高い動画データが該1つの受信機に対して選択される。
The
ステップS511では、決定部153は、ユーザが操作部104を用いて、動画データの出力の開始を指示するのを待つ。図7(d)において、ユーザは、左右ボタン703を用いて選択枠をキャンセルボタン711bまたは開始ボタン715に移動させることができる。そして、選択ボタン708の押下により、キャンセルボタン711bまたは開始ボタン715が選択される。
In step S511, the
図7(d)において、開始ボタン715が選択された場合は、再生開始の指示と判定される(S511でYES)。この場合、ステップS512において、エンコード部154は、画像処理部109を用いて、ステップS502で選択した動画データを、ステップS508で決定した各受信機に対して送信する動画データの形式に変換(エンコード/トランスコード)する。そして、ステップS513において、送信制御部155は、通信部151(無線LAN部111)を用いて、ステップS512で生成した動画データを、ステップS507で選択した各受信機に対して送信する。この時、生成した動画データと送信先の受信機の組み合わせは、ステップS510で表示部105に示したものとなる。
In FIG. 7D, when the
なお、上記では送信先として選択された受信機が2台で、選択された形式の組み合わせも2つの形式を有している。したがって、送信制御部155は、それぞれの形式で生成された画像をユニキャストで対応する受信機へ送信する。一方、送信先に選択された受信機の台数よりも選択された組み合わせが有する形式の数が小さい場合がある。例えば、上記の例で、受信機301と同じ表示能力を持つ受信機がさらに送信先として選択された場合を想定する。この場合、決定部153がSET3を決定すると、3つの送信先に対し、組み合わせが有する形式は、FHD@30pとHD@60pの2つである。この場合、送信制御部155は、2つの受信機に共通する形式(FHD@30p)の画像のストリームをマルチスキャンで受信機301ともう1つの受信機に送信する。また、送信制御部155HD@60pの形式の画像のストリームをユニスキャンで受信機302に送信する。以上のように、画像形式の組み合わせにおける形式の数(ストリーム数)が送信先の数よりも小さい場合、マルチキャストが併用される。
In the above, the number of receivers selected as the transmission destination is two, and the combination of the selected formats also has two formats. Therefore, the
ステップS514では、CPU101は、すべての動画データを送信したか否かを判定する。すべての動画データを送信したと判定された場合には(S514でYES)、CPU101はステップS502からの処理を繰り返し、次に出力する画像をユーザが選択することが可能になる。送信を完了していないと判定された場合(S514でNO)、ステップS515で、検出部156は、通信部151による動画データの送信に失敗した受信機が存在するか否かを判定する。送信の失敗は、例えば受信機の電源がオフになった場合、動画データの受信が不可能な動作状態(例えば通話中など)になった場合に発生する。送信失敗を検出した場合(S515でYES)には送信対象の受信機が減ったことになる。したがって、この場合、決定部153は、ステップS518において、ステップS508での処理(図6のフローチャート参照)と同様の処理により、残りの出力対象の各受信機に対して送信する動画データの形式を決定する。
In step S514, the
動画データの送信に失敗した受信機が存在しない場合(S515でNO)、ステップS516において、検出部156は、無線LAN部111を用いて通信可能な動画データの受信機を検索し、この検索により発見した受信機の情報を取得する。新たな受信機を発見しなかった場合(S516でNO)には、CPU101はステップS512からの処理を繰り返し、エンコード/トランスコードを継続する。新たな受信機が発見された場合(S516でYES)、ステップS517において、検出部156は、ステップS516で新たに検出した受信機に対して、新たに動画データを出力するかどうか、ユーザの選択を受け付ける。
When there is no receiver that failed to transmit the moving image data (NO in S515), in step S516, the
図8(a)は、ステップS517において表示部105が表示する表示情報の例である。CPU101は、ステップS516で検出した新たな受信機の情報を表示アイテム801のように表示する。ユーザは、左右ボタン703を用いて、選択枠をはいボタン803またはいいえボタン804に移動させることができる。そして選択ボタン708の押下により、はいボタン803またはいいえボタン804が選択される。
FIG. 8A is an example of display information displayed by the
いいえボタン804が選択された場合(S517でNO)には出力先の受信機の組み合わせに変更はなく、CPU101は、ステップS512以降の処理を繰り返し、エンコード/トランスコードを継続する。はいボタン803が選択された場合(S517でYES)には、新たに検出した受信機に対して動画を出力するため、受信機の組み合わせに変化が生じる。したがって、決定部153は、ステップS518において、ステップS508での処理(図6のフローチャート参照)と同様の処理を行い、出力対象の各受信機に対して送信する動画データの形式を決定する。なお、ステップS515でYESであった場合(送信に失敗した受信機があった場合)は出力対象の受信機が減少しており、ステップS517でYESであった場合は出力対象の受信機が増加していることに注意されたい。
When the No
ステップS519では、決定部153は、ステップS509と同様に、ステップS517において全ての出力先受信機が表示可能な動画データ形式の組み合わせが選択できたか否かを判定する。選択できた場合(S519でYES)、ステップS520において、決定部153は、ステップS518で決定した動画データの形式を生成するように設定を変更して、ステップS512以降の処理を繰り返す。これ以降、ステップS512でエンコード/トランスコードして生成される動画データの形式の組み合わせと、ステップS513で動画データを送信する先の受信機は、ステップS518での決定事項に従うことになる。
In step S519, the
一方、ステップS519で全ての出力先受信機が表示可能な動画データ形式の組み合わせが選択できなかった場合(S519でNO)、ステップS521において、決定部153は、これまでの動画データの形式を生成するように設定を維持して、ステップS512以降の処理を繰り返す。したがって、ステップS512でエンコード/トランスコードにより生成する動画データの形式と、ステップS513で動画データを送信する先の受信機は変更されないことになる。なお、この際に、決定部153は、図8(b)の表示アイテム806のようにステップS516で新たに検出した受信機には動画を出力できないことを示す表示を行う。
On the other hand, when the combination of the moving image data formats that can be displayed by all the output destination receivers cannot be selected in step S519 (NO in S519), in step S521, the
以上のように、実施形態1によれば、ネットワーク上の複数の表示装置に対して、動画データをエンコード(符号化)しながら配信する際に、エンコーダの処理能力の範囲で、各表示装置の再生/表示能力に適した画質で送信することができる。 As described above, according to the first embodiment, when the moving image data is distributed while being encoded (encoded) to a plurality of display devices on the network, the processing capacity of the encoder is within the range of each display device. It is possible to transmit with an image quality suitable for the playback / display capability.
なお、実施形態1では、電子機器100が無線LANを用いる例を説明したが、電子機器100の構成はこれに限定されるものではない。電子機器100は、無線LANの代わりに無線LANとは異なる無線通信方式(例えばBluetooth(登録商標))を用いるように構成してもよい。また、実施形態1では、電子機器100がデジタルカメラとして動作する例を説明したが、電子機器100の構成はこれに限定されるものではない。電子機器100は、例えば、パーソナルコンピュータ、メディアプレーヤ、メディアサーバ、携帯電話、PDA、タブレットコンピュータ、スマートフォン、ゲーム機、デジタルビデオカメラの少なくとも一つとして動作できるように構成してもよい。
Although the example in which the
<実施形態2>
実施形態1で説明した様々な機能、処理または方法は、パーソナルコンピュータ、マイクロコンピュータ、CPU(central processing unit)、プロセッサなどがプログラムを用いて実現することもできる。以下、実施形態2では、パーソナルコンピュータ、マイクロコンピュータ、CPU(central processing unit)、プロセッサなどを「コンピュータX」と呼ぶ。また、実施形態2では、コンピュータXを制御するためのプログラムであって、実施形態1で説明した様々な機能、処理または方法を実現するためのプログラムを「プログラムY」と呼ぶ。
<
The various functions, processes, or methods described in the first embodiment can also be realized by a personal computer, a microcomputer, a CPU (central processing unit), a processor, or the like by using a program. Hereinafter, in the second embodiment, a personal computer, a microcomputer, a CPU (central processing unit), a processor, and the like are referred to as "computer X". Further, in the second embodiment, a program for controlling the computer X and for realizing various functions, processes, or methods described in the first embodiment is referred to as a "program Y".
実施形態1で説明した様々な機能、処理または方法は、コンピュータXがプログラムYを実行することによって実現される。この場合において、プログラムYは、コンピュータ読み取り可能な記憶媒体を介してコンピュータXに供給される。実施形態2におけるコンピュータ読み取り可能な記憶媒体は、ハードディスク装置、磁気記憶装置、光記憶装置、光磁気記憶装置、メモリカード、揮発性メモリ、不揮発性メモリなどの少なくとも1つを含む。実施形態2におけるコンピュータ読み取り可能な記憶媒体は、non-transitoryな記憶媒体である。 The various functions, processes or methods described in the first embodiment are realized by the computer X executing the program Y. In this case, the program Y is supplied to the computer X via a computer-readable storage medium. The computer-readable storage medium according to the second embodiment includes at least one such as a hard disk device, a magnetic storage device, an optical storage device, a photomagnetic storage device, a memory card, a volatile memory, and a non-volatile memory. The computer-readable storage medium according to the second embodiment is a non-transitory storage medium.
なお、本発明の実施形態は上述の実施形態1または2に限定されるものではない。発明の要旨を逸脱しない範囲で変更または修正された実施形態1または2も本発明の実施形態に含まれる。
The embodiment of the present invention is not limited to the above-mentioned first or second embodiment.
100:電子機器、101:CPU、102:メモリ、103:不揮発性メモリ、104:操作部、105:表示部、106:記憶媒体I/F、107:記憶媒体、108:撮像部、109:画像処理部、110:バッテリ、111:無線LAN部、112:システムバス 100: Electronic device, 101: CPU, 102: Memory, 103: Non-volatile memory, 104: Operation unit, 105: Display unit, 106: Storage medium I / F, 107: Storage medium, 108: Image pickup unit, 109: Image Processing unit, 110: Battery, 111: Wireless LAN unit, 112: System bus
Claims (9)
前記1つ以上の形式が決定できた場合は、前記選択された動画データをエンコードして前記1つ以上の形式の動画データを生成するエンコード手段と、
前記1つ以上の形式が決定できた場合は、生成された前記1つ以上の形式の動画データを前記複数の外部装置のそれぞれに送信する通信手段と、
前記1つ以上の形式が決定できなかった場合は、前記選択された動画データを前記複数の外部装置のいずれにも提供することができないことを示す情報を表示手段に表示させる表示制御手段と
を有することを特徴とする電子機器。 A determination means for determining whether one or more formats for allowing the selected video data to be displayed by all of the plurality of external devices can be determined.
When the one or more formats can be determined, an encoding means for encoding the selected moving image data to generate the moving image data in the one or more formats, and an encoding means.
When the one or more formats can be determined, a communication means for transmitting the generated moving image data in the one or more formats to each of the plurality of external devices, and a communication means.
When the one or more formats cannot be determined, the display control means for causing the display means to display information indicating that the selected moving image data cannot be provided to any of the plurality of external devices. An electronic device characterized by having.
前記決定手段は、前記第1の検出手段によって検出された外部装置を前記複数の外部装置から除いた残りの外部装置のすべてが表示できるようにするための1つ以上の形式が再決定できるか否かを判定することを特徴とする請求項1または2に記載の電子機器。 Further, it has a first detecting means for detecting an external device in which communication by the communication means becomes impossible.
Can the determining means redetermine one or more formats for allowing all of the remaining external devices, excluding the external device detected by the first detecting means, from the plurality of external devices to be visible ? The electronic device according to claim 1 or 2, wherein it is determined whether or not the device is used.
前記決定手段は、前記複数の外部装置と前記新たな外部装置とを含む複数の外部装置のすべてが表示できるようにするための1つ以上の形式が再決定できるか否かを判定することを特徴とする請求項1から3のいずれか1項に記載の電子機器。 It further has a second detection means for detecting a new external device capable of communicating by the communication means.
The determining means determines whether one or more formats for allowing all of the plurality of external devices, including the plurality of external devices and the new external device, to be visible can be redetermined. The electronic device according to any one of claims 1 to 3, which is characterized.
選択された動画データを複数の外部装置のすべてが表示できるようにするための1つ以上の形式が決定できるか否かを判定する決定ステップと、
前記1つ以上の形式が決定できた場合は、前記選択された動画データをエンコードして前記1つ以上の形式の動画データを生成するエンコードステップと、
前記1つ以上の形式が決定できた場合は、生成された前記1つ以上の形式の動画データを前記複数の外部装置のそれぞれに送信する通信ステップと、
前記1つ以上の形式が決定できなかった場合は、前記選択された動画データを前記複数の外部装置のいずれにも提供することができないことを示す情報を表示手段に表示させる表示制御ステップと
を有することを特徴とする制御方法。 It is a control method for electronic devices.
A decision step to determine if one or more formats can be determined so that the selected video data can be displayed by all of the multiple external devices.
When the one or more formats can be determined, the encoding step of encoding the selected moving image data to generate the moving image data of the one or more formats, and the encoding step.
When the one or more formats can be determined, the communication step of transmitting the generated moving image data of the one or more formats to each of the plurality of external devices, and
When the one or more formats cannot be determined, the display control step of displaying information indicating that the selected moving image data cannot be provided to any of the plurality of external devices is displayed on the display means. A control method characterized by having.
選択された動画データを複数の外部装置のすべてが表示できるようにするための1つ以上の形式が決定できるか否かを判定する決定手段と、
前記1つ以上の形式が決定できた場合は、前記選択された動画データをエンコードして前記1つ以上の形式の動画データを生成するエンコード手段と、
前記1つ以上の形式が決定できた場合は、生成された前記1つ以上の形式の動画データを前記複数の外部装置のそれぞれに送信する通信手段と、
前記1つ以上の形式が決定できなかった場合は、前記選択された動画データを前記複数の外部装置のいずれにも提供することができないことを示す情報を表示手段に表示させる表示制御手段
として機能させるためのプログラム。 Computer,
A determination means for determining whether one or more formats for allowing the selected video data to be displayed by all of the plurality of external devices can be determined.
When the one or more formats can be determined, an encoding means for encoding the selected moving image data to generate the moving image data in the one or more formats, and an encoding means.
When the one or more formats can be determined, a communication means for transmitting the generated moving image data in the one or more formats to each of the plurality of external devices, and a communication means.
When the one or more formats cannot be determined, as a display control means for causing the display means to display information indicating that the selected moving image data cannot be provided to any of the plurality of external devices. A program to make it work.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017096537A JP6993793B2 (en) | 2017-05-15 | 2017-05-15 | Electronics, control methods and programs |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017096537A JP6993793B2 (en) | 2017-05-15 | 2017-05-15 | Electronics, control methods and programs |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2018195915A JP2018195915A (en) | 2018-12-06 |
JP6993793B2 true JP6993793B2 (en) | 2022-01-14 |
Family
ID=64570626
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017096537A Active JP6993793B2 (en) | 2017-05-15 | 2017-05-15 | Electronics, control methods and programs |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6993793B2 (en) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001359077A (en) | 2000-06-09 | 2001-12-26 | Sony Corp | Image pickup device |
WO2011148887A1 (en) | 2010-05-24 | 2011-12-01 | 日本電気株式会社 | Video image delivery system, video image transmission device, video image delivery method, and video image delivery program |
JP2014158284A (en) | 2014-04-24 | 2014-08-28 | Olympus Imaging Corp | Imaging apparatus and control method of the same |
JP2016005139A (en) | 2014-06-17 | 2016-01-12 | 株式会社リコー | Communication device, communication system, communication control method, and program |
JP2016065958A (en) | 2014-09-24 | 2016-04-28 | ブラザー工業株式会社 | Display control system, display control device, and program |
-
2017
- 2017-05-15 JP JP2017096537A patent/JP6993793B2/en active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001359077A (en) | 2000-06-09 | 2001-12-26 | Sony Corp | Image pickup device |
WO2011148887A1 (en) | 2010-05-24 | 2011-12-01 | 日本電気株式会社 | Video image delivery system, video image transmission device, video image delivery method, and video image delivery program |
JP2014158284A (en) | 2014-04-24 | 2014-08-28 | Olympus Imaging Corp | Imaging apparatus and control method of the same |
JP2016005139A (en) | 2014-06-17 | 2016-01-12 | 株式会社リコー | Communication device, communication system, communication control method, and program |
JP2016065958A (en) | 2014-09-24 | 2016-04-28 | ブラザー工業株式会社 | Display control system, display control device, and program |
Also Published As
Publication number | Publication date |
---|---|
JP2018195915A (en) | 2018-12-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10298830B2 (en) | Transmission apparatus, reception apparatus, communication system, and recording medium | |
CN1992775B (en) | Information processing apparatus and method | |
WO2013132828A1 (en) | Communication system and relay apparatus | |
US20140043424A1 (en) | Video calling using a remote camera device to stream video to a local endpoint host acting as a proxy | |
KR20180073228A (en) | Method and Device for media streaming between server and client using RTP/RTSP standard protocol | |
US8854460B2 (en) | Image providing apparatus, image displaying apparatus, image transmitting system and image transmitting method using the same | |
JP6179179B2 (en) | Information processing apparatus, information processing method, and program | |
KR101730115B1 (en) | Apparatus and method for processing image | |
CN111385673B (en) | Communication apparatus, control method thereof, and recording medium thereof | |
JP5123681B2 (en) | Video display device and control method thereof, and video output device and control method thereof | |
EP2696591B1 (en) | Video calling using a remote camera device to stream video to a local endpoint host acting as a proxy | |
CN108600613B (en) | Image pickup apparatus, external apparatus, and control method of image pickup apparatus | |
JP6467395B2 (en) | Image transmitting apparatus, image receiving apparatus, control method therefor, and image communication system | |
JP6993793B2 (en) | Electronics, control methods and programs | |
US10771747B2 (en) | Imaging apparatus and imaging system | |
JP2019193161A (en) | Communication device, control method thereof, and program | |
US20150373073A1 (en) | Image pickup apparatus, control method and recording medium | |
JP2000138870A (en) | Data communication system, terminal, system control method and storage medium | |
JP6894757B2 (en) | Video processing equipment and its control method | |
JP7711707B2 (en) | Information processing device, information processing method, and program | |
JP2019068187A (en) | Information processing apparatus, control method thereof, and program | |
JP6701406B2 (en) | Communication device, control method thereof, and program | |
JP2006074242A (en) | Image communication system, image receiving device and imaging apparatus | |
JP2021093693A (en) | Imaging apparatus, information processing apparatus, method for controlling these, and program | |
JP2025012419A (en) | COMMUNICATION DEVICE, CONTROL METHOD, AND PROGRAM |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200430 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20201002 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20201201 |
|
RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20210103 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210113 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210607 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210803 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20211112 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20211210 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6993793 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |