[go: up one dir, main page]

JP6993793B2 - Electronics, control methods and programs - Google Patents

Electronics, control methods and programs Download PDF

Info

Publication number
JP6993793B2
JP6993793B2 JP2017096537A JP2017096537A JP6993793B2 JP 6993793 B2 JP6993793 B2 JP 6993793B2 JP 2017096537 A JP2017096537 A JP 2017096537A JP 2017096537 A JP2017096537 A JP 2017096537A JP 6993793 B2 JP6993793 B2 JP 6993793B2
Authority
JP
Japan
Prior art keywords
moving image
formats
image data
determined
encoding
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017096537A
Other languages
Japanese (ja)
Other versions
JP2018195915A (en
Inventor
岳史 四宮
隆一 石栗
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2017096537A priority Critical patent/JP6993793B2/en
Publication of JP2018195915A publication Critical patent/JP2018195915A/en
Application granted granted Critical
Publication of JP6993793B2 publication Critical patent/JP6993793B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Studio Devices (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Television Signal Processing For Recording (AREA)

Description

本発明は、動画データをエンコード(符号化)しながら配信することができる電子機器およびその制御方法に関するものである。 The present invention relates to an electronic device capable of delivering moving image data while encoding (encoding) and a control method thereof.

近年、IP(Internet protocol)ネットワークを介して、リアルタイムに動画データを配信することが行われている。一般に、動画データのデータサイズは大きいため、動画データをIPネットワークを介して転送する場合は、動画データをMPEG-4等の規格に従ってエンコード(符号化)して伝送する。複数の表示装置に対して動画データを配信する場合は、各表示装置が表示可能な規格でエンコードすることになる。 In recent years, moving image data has been distributed in real time via an IP (Internet protocol) network. Generally, since the data size of moving image data is large, when transferring moving image data via an IP network, the moving image data is encoded (encoded) according to a standard such as MPEG-4 and transmitted. When distributing video data to a plurality of display devices, the video data is encoded according to a standard that can be displayed by each display device.

動画データのエンコードには空間変換やフレーム間予測など高度な演算が必要である。また、動画データのエンコードを行いながら動画を配信するストリーミング配信の場合には、再生時間より早くエンコードを行う必要があるという時間的な制約も存在する。このため、動画を配信する電子機器では、専用ハードウェアや、高速にデジタル演算をすることのできるDSP(digital signal processor)などのプロセッサを用いてエンコードを行う。なお、このようなエンコードを行うハードウェア(またはハードウェアとソフトウェアの組み合わせ)は、エンコーダと呼ばれる。 Encoding video data requires advanced operations such as spatial conversion and inter-frame prediction. Further, in the case of streaming distribution in which the video is distributed while encoding the video data, there is a time constraint that the encoding must be performed earlier than the playback time. Therefore, in an electronic device that distributes a moving image, encoding is performed using dedicated hardware or a processor such as a DSP (digital signal processor) capable of performing digital calculation at high speed. The hardware (or a combination of hardware and software) that performs such encoding is called an encoder.

ところで、上述のような構成を有する電子機器であっても、同時にエンコードできる動画データの個数または組み合わせには上限がある。上限を超える個数または組み合わせでエンコードを行った場合は、前述の時間的な制約を守れずに表示装置での動画表示が乱れる等の問題が生じる。特許文献1では、同時に複数のエンコードが行える構成において、エンコード処理の負荷が高いと判定された場合は、符号化品質を落としてエンコード処理の負荷を軽減する方法が記載されている。 By the way, even in an electronic device having the above-mentioned configuration, there is an upper limit to the number or combination of moving image data that can be encoded at the same time. When encoding is performed with a number or combination exceeding the upper limit, there arises a problem that the moving image display on the display device is disturbed without observing the above-mentioned time constraint. Patent Document 1 describes a method of reducing the load of the encoding process by lowering the coding quality when it is determined that the load of the encoding process is high in the configuration in which a plurality of encodings can be performed at the same time.

特開2004-166132号公報Japanese Unexamined Patent Publication No. 2004-166132

しかしながら、特許文献1では、エンコード処理の負荷が高い場合、同時に行っている複数のエンコード処理の全てで符号化品質が低下してしまうという課題がある。 However, in Patent Document 1, when the load of the encoding process is high, there is a problem that the coding quality is deteriorated in all of the plurality of encoding processes performed at the same time.

そこで、本発明は、複数の外部装置に対して動画データをエンコード(符号化)しながら配信する際に、各外部装置の能力に適した動画データを送信できるようにすることを目的とする。
Therefore, an object of the present invention is to enable transmission of moving image data suitable for the capabilities of each external device when distributing moving image data to a plurality of external devices while encoding (encoding) them.

本発明に係る電子機器は、選択された動画データを複数の外部装置のすべてが表示できるようにするため1つ以上の形式決定できるか否かを判定する決定手段と、前記1つ以上の形式が決定できた場合は、前記選択された動画データをエンコードして前記1つ以上の形式の動画データを生成するエンコード手段と、前記1つ以上の形式が決定できた場合は、生成された前記1つ以上の形式の動画データを前記複数の外部装置のそれぞれに送信する通信手段と、記1つ以上の形式決定できなかった場合は、前記選択された動画データを前記複数の外部装置のいずれにも提供することができないことを示す情報を表示手段に表示させる表示制御手段とを有する。
The electronic device according to the present invention includes a determination means for determining whether or not one or more formats for allowing all of a plurality of external devices to display selected moving image data can be determined, and the one or more . If the format of the above can be determined, the encoding means for encoding the selected moving image data to generate the moving image data in the one or more formats, and if the one or more formats can be determined, the generation is generated. The communication means for transmitting the moving image data in the one or more formats to each of the plurality of external devices, and the plurality of selected moving image data when the one or more formats cannot be determined. It has a display control means for causing the display means to display information indicating that it cannot be provided to any of the external devices.

本発明に係る制御方法は、電子機器の制御方法であって、選択された動画データを複数の外部装置のすべてが表示できるようにするため1つ以上の形式決定できるか否かを判定する決定ステップと、前記1つ以上の形式が決定できた場合は、前記選択された動画データをエンコードして前記1つ以上の形式の動画データを生成するエンコードステップと、前記1つ以上の形式が決定できた場合は、生成された前記1つ以上の形式の動画データを前記複数の外部装置のそれぞれに送信する通信ステップと、記1つ以上の形式決定できなかった場合は、前記選択された動画データを前記複数の外部装置のいずれにも提供することができないことを示す情報を表示手段に表示させる表示制御ステップとを有する。
The control method according to the present invention is a control method for an electronic device, and determines whether or not one or more formats for allowing all of a plurality of external devices to display selected moving image data can be determined. The determination step to be performed, and if the one or more formats can be determined, the encoding step of encoding the selected moving image data to generate the moving image data in the one or more formats, and the one or more formats. If it can be determined, the communication step of transmitting the generated moving image data in one or more formats to each of the plurality of external devices, and if the one or more formats cannot be determined, the above. It has a display control step for displaying information indicating that the selected moving image data cannot be provided to any of the plurality of external devices to the display means.

本発明に係るプログラムは、コンピュータを、選択された動画データを複数の外部装置のすべてが表示できるようにするため1つ以上の形式決定できるか否かを判定する決定手段と、前記1つ以上の形式が決定できた場合は、前記選択された動画データをエンコードして前記1つ以上の形式の動画データを生成するエンコード手段と、前記1つ以上の形式が決定できた場合は、生成された前記1つ以上の形式の動画データを前記複数の外部装置のそれぞれに送信する通信手段と、記1つ以上の形式決定できなかった場合は、前記選択された動画データを前記複数の外部装置のいずれにも提供することができないことを示す情報を表示手段に表示させる表示制御手段として機能させる。 The program according to the present invention comprises a determination means for determining whether or not the computer can determine one or more formats for allowing the selected moving image data to be displayed by all of the plurality of external devices, and the above- mentioned 1 . If one or more formats can be determined, the encoding means that encodes the selected moving image data to generate the moving image data in the one or more formats, and if the one or more formats can be determined , the encoding means. When the communication means for transmitting the generated moving image data in one or more formats to each of the plurality of external devices and the one or more formats cannot be determined, the selected moving image data is used. It functions as a display control means for displaying information indicating that it cannot be provided to any of a plurality of external devices to the display means.

本発明によれば、複数の外部装置に対して動画データをエンコード(符号化)しながら配信する際に、各外部装置の能力に適した動画データを送信することができる。 According to the present invention, when distributing moving image data to a plurality of external devices while encoding (encoding), it is possible to transmit moving image data suitable for the capabilities of each external device.

実施形態1における電子機器100の構成要素を説明するためのブロック図である。It is a block diagram for demonstrating the component | component of the electronic device 100 in Embodiment 1. FIG. 電子機器100がさらに有する構成要素を説明するためのブロック図である。It is a block diagram for demonstrating the component which the electronic device 100 further has. 電子機器100の外観例を説明するための図である。It is a figure for demonstrating the appearance example of the electronic device 100. 電子機器100と受信機301~303とを含む無線ネットワークの構成例と、受信機301~303の表示能力(再生能力)の一例とを説明するための図である。It is a figure for demonstrating the configuration example of the wireless network including the electronic device 100 and the receivers 301-303, and an example of the display capacity (reproduction capacity) of the receivers 301-303. エンコード能力の一例を説明するための図である。It is a figure for demonstrating an example of an encoding ability. 再生モードである電子機器100の動作例を説明するためのフローチャートである。It is a flowchart for demonstrating the operation example of the electronic device 100 which is a reproduction mode. 動画データ形式の決定処理を説明するためのフローチャートである。It is a flowchart for demonstrating the determination process of a moving image data format. 電子機器100の表示部105の動作例を説明するための図である。It is a figure for demonstrating the operation example of the display part 105 of the electronic device 100. 電子機器100の表示部105の動作例を説明するための図である。It is a figure for demonstrating the operation example of the display part 105 of the electronic device 100.

以下、図面を参照して本発明の実施形態を説明する。ただし、本発明は以下の実施形態に限定されるものではない。 Hereinafter, embodiments of the present invention will be described with reference to the drawings. However, the present invention is not limited to the following embodiments.

<実施形態1>
以下、動画処理装置として動作可能な電子機器100について説明する。実施形態1において、電子機器100が、無線LAN機能を有するデジタルカメラとして動作する例を説明する。
<Embodiment 1>
Hereinafter, the electronic device 100 that can operate as a moving image processing device will be described. In the first embodiment, an example in which the electronic device 100 operates as a digital camera having a wireless LAN function will be described.

図1Aは、電子機器100の構成要素を説明するためのブロック図である。電子機器100は、図1Aに示すように、CPU(central processing unit)101、メモリ102、不揮発性メモリ103、操作部104、表示部105、記憶媒体I/F106、撮像部108、画像処理部109、バッテリ110および無線LAN部111を有する。これらの構成要素は、システムバス112に接続されている。 FIG. 1A is a block diagram for explaining the components of the electronic device 100. As shown in FIG. 1A, the electronic device 100 includes a CPU (central processing unit) 101, a memory 102, a non-volatile memory 103, an operation unit 104, a display unit 105, a storage medium I / F 106, an image pickup unit 108, and an image processing unit 109. , The battery 110 and the wireless LAN unit 111. These components are connected to the system bus 112.

CPU101は、電子機器100の各構成要素(図1Aおよび図1Bに示す構成要素を含む)を制御する。CPU101は、電子機器100の各構成要素を制御し、ユーザ設定およびユーザ操作に応じた動画データの記録などを実現する。メモリ102は随時に書き替えが可能なメモリであり、電子機器100を制御するプログラムにより作業領域として使用される。 The CPU 101 controls each component of the electronic device 100 (including the components shown in FIGS. 1A and 1B). The CPU 101 controls each component of the electronic device 100, and realizes recording of moving image data according to user settings and user operations. The memory 102 is a memory that can be rewritten at any time, and is used as a work area by a program that controls the electronic device 100.

不揮発性メモリ103は、電子機器100を制御するプログラム、動画データ、音声データ、その他のデータなどプログラムが使用するデータを格納する。また、電子機器100のユーザ設定情報なども不揮発性メモリ103に格納される。電子機器100に電源が投入されると、CPU101は不揮発性メモリ103からプログラムを読み込み実行することで、電子機器100の制御を開始する。不揮発性メモリ103は、例えばフラッシュメモリまたはEEPROMを有する。 The non-volatile memory 103 stores data used by the program, such as a program for controlling the electronic device 100, moving image data, audio data, and other data. In addition, user setting information of the electronic device 100 is also stored in the non-volatile memory 103. When the power is turned on to the electronic device 100, the CPU 101 starts controlling the electronic device 100 by reading and executing a program from the non-volatile memory 103. The non-volatile memory 103 has, for example, a flash memory or an EEPROM.

操作部104は、ユーザの指示を電子機器100に伝えるために使用される。操作部104は、複数のボタンやダイヤルなどを有する。表示部105は、CPU101の制御に基づき、電子機器100を操作するためのGUI(graphical user interface)を表示する。表示部105は、例えば、液晶表示装置(LCD)とそれをコントロールするためのLCDドライバユニットとを有する。CPU101は、プログラムに従い、表示データ(警告情報など)を生成して表示部105に出力するように電子機器100の各構成要素を制御する。表示部105は出力された表示データを表示する。 The operation unit 104 is used to convey a user's instruction to the electronic device 100. The operation unit 104 has a plurality of buttons, dials, and the like. The display unit 105 displays a GUI (graphic user interface) for operating the electronic device 100 based on the control of the CPU 101. The display unit 105 includes, for example, a liquid crystal display (LCD) and an LCD driver unit for controlling the liquid crystal display device (LCD). The CPU 101 controls each component of the electronic device 100 so as to generate display data (warning information and the like) and output it to the display unit 105 according to a program. The display unit 105 displays the output display data.

記憶媒体I/F106は、メモリカードなどの記憶媒体107を接続するためのインターフェースである。記憶媒体I/F106は、CPU101の制御に基づき、記憶媒体I/F106に接続された記憶媒体107からのデータの読み出しや、記憶媒体107に対するデータの書き込みを行う。記憶媒体107は、撮像した動画データを記憶するための書き替え可能な不揮発性メモリを有する。記憶媒体107は、例えば、SDメモリカードまたはコンパクトフラッシュ(登録商標)カードとして動作する。 The storage medium I / F 106 is an interface for connecting a storage medium 107 such as a memory card. Based on the control of the CPU 101, the storage medium I / F 106 reads data from the storage medium 107 connected to the storage medium I / F 106 and writes data to the storage medium 107. The storage medium 107 has a rewritable non-volatile memory for storing captured moving image data. The storage medium 107 operates, for example, as an SD memory card or a CompactFlash® card.

撮像部108は、CPU101の制御に基づいて、被写体像を動画データに変換し、動画データを内部バス113に出力する。撮像部108は、例えば、レンズユニットと、絞り、ズームおよびフォーカスを制御する光学系と、レンズユニットによって導かれた被写体像を動画信号に変換するための撮像素子と、撮像素子で生成された動画信号を動画データに変換するA/D変換部とを有する。撮像部108の撮像素子としては、一般的には、CMOSを利用したCMOS撮像素子(CMOSイメージセンサ)、または、CCDを利用したCCD撮像素子(CCDイメージセンサ)が用いられる。 The image pickup unit 108 converts the subject image into moving image data based on the control of the CPU 101, and outputs the moving image data to the internal bus 113. The image pickup unit 108 includes, for example, a lens unit, an optical system that controls aperture, zoom, and focus, an image pickup element for converting a subject image guided by the lens unit into a moving image signal, and a moving image generated by the image pickup element. It has an A / D conversion unit that converts a signal into moving image data. As the image pickup device of the image pickup unit 108, a CMOS image pickup device (CMOS image sensor) using CMOS or a CCD image pickup device (CCD image sensor) using a CCD is generally used.

画像処理部109は、CPU101の制御に基づいて、不揮発性メモリ103および/または記憶媒体107に格納された動画データや、撮像部108が出力する動画データに対して各種画像処理を施す。画像処理部109が行う画像処理には、動画データのエンコード処理、トンラスコード処理、圧縮処理、デコード処理、拡大/縮小処理(リサイズ)、ノイズ低減処理、色変換処理、顔検出処理などが含まれる。画像処理部109は、複数の専用ハードウェアブロックを有する構成であってもよい。画像処理部109のエンコード処理の能力に関しては図4を用いて後述する。 Based on the control of the CPU 101, the image processing unit 109 performs various image processing on the moving image data stored in the non-volatile memory 103 and / or the storage medium 107 and the moving image data output by the imaging unit 108. The image processing performed by the image processing unit 109 includes video data encoding processing, tongue code processing, compression processing, decoding processing, enlargement / reduction processing (resizing), noise reduction processing, color conversion processing, face detection processing, and the like. Is done. The image processing unit 109 may be configured to have a plurality of dedicated hardware blocks. The encoding processing capability of the image processing unit 109 will be described later with reference to FIG.

バッテリ110は、電子機器100が動作するための電力を供給する。バッテリ110は、充電可能な電池を有する。無線LAN部111は、無線通信を実現するための通信部である。無線LAN部111は、無線通信のためのアンテナと無線信号を処理するための通信コントローラを有し、IEEE802.11a、b、g、nに従った無線通信を実現する。また、実施形態1では、無線LAN部111は無線LANアクセスポイント機能を有し、他の無線LAN機器と直接通信を行うことが可能である。上述した各構成要素はシステムバス112に接続される。システムバス112に接続される各構成要素は、システムバス112を介して互いにデータのやりとりを行うことができるようにされている。 The battery 110 supplies electric power for operating the electronic device 100. The battery 110 has a rechargeable battery. The wireless LAN unit 111 is a communication unit for realizing wireless communication. The wireless LAN unit 111 has an antenna for wireless communication and a communication controller for processing wireless signals, and realizes wireless communication according to IEEE802.11a, b, g, and n. Further, in the first embodiment, the wireless LAN unit 111 has a wireless LAN access point function and can directly communicate with other wireless LAN devices. Each of the above components is connected to the system bus 112. Each component connected to the system bus 112 is configured to be able to exchange data with each other via the system bus 112.

次に、図1Bを参照して、電子機器100がさらに有する構成要素を説明する。なお、図1Bに示す構成要素の一部またはすべては、専用のハードウェアにより実現される。 Next, with reference to FIG. 1B, the components further possessed by the electronic device 100 will be described. It should be noted that some or all of the components shown in FIG. 1B are realized by dedicated hardware.

通信部151は、例えば、無線LAN部111を用いたネットワーク接続により、複数の外部装置と通信可能である。図1Bでは、複数の外部装置として、通信部151から送信される動画データを再生、表示することが可能な複数の受信機301,302,303が通信接続されている。取得部152は、通信部151を介して、通信接続された複数の外部装置(受信機)の各々が表示できる動画データの形式を取得する。実施形態1では、動画データの形式は、FHD、HD、SDなどの解像度、フレームレートにより規定される。なお、FHDはFull High Definitionすなわち1920x1080の解像度の動画を意味する。HDはHigh Definitionすなわち1280x720の解像度の動画を意味する。SDはStandard Ddefinitionすなわち640x480の解像度の動画を意味する。 The communication unit 151 can communicate with a plurality of external devices by, for example, a network connection using the wireless LAN unit 111. In FIG. 1B, as a plurality of external devices, a plurality of receivers 301, 302, 303 capable of reproducing and displaying moving image data transmitted from the communication unit 151 are connected by communication. The acquisition unit 152 acquires the format of the moving image data that can be displayed by each of the plurality of external devices (receivers) that are communicated and connected via the communication unit 151. In the first embodiment, the format of the moving image data is defined by the resolution and frame rate of FHD, HD, SD and the like. In addition, FHD means Full High Definition, that is, a moving image having a resolution of 1920x1080. HD means High Definition, that is, a moving image having a resolution of 1280x720. SD means Standard Ddefinition, that is, a moving image having a resolution of 640x480.

選択部159は、通信接続されている複数の受信機のうち、実際に動画を送信する1つ以上の受信機をユーザに選択させる。決定部153は、取得部152の取得結果に基づいて、選択部159においてユーザが選択した1つ以上の受信機のすべてが動画データを表示できるように、エンコード部154で生成すべき動画の1つ以上の形式の組み合わせを決定する。決定部153は、エンコード部154が実質的に同時に生成することが可能な1つ以上の形式の組み合わせを登録した能力テーブル157の中から、取得部152の取得結果に基づいて使用する組み合わせを決定する。なお、決定部153の動作については後述する(図6のフローチャート参照)。エンコード部154は、決定部153により決定された組み合わせの形式の動画データが得られるように、送信対象の動画158をエンコードおよびトランスコードして1つ以上の形式の動画データを生成する。エンコード部154はCPU101が画像処理部109を用いて実現される。 The selection unit 159 causes the user to select one or more receivers that actually transmit the moving image from the plurality of receivers connected by communication. The determination unit 153 is one of the moving images to be generated by the encoding unit 154 so that all of one or more receivers selected by the user in the selection unit 159 can display the moving image data based on the acquisition result of the acquisition unit 152. Determine the combination of one or more formats. The determination unit 153 determines the combination to be used based on the acquisition result of the acquisition unit 152 from the ability table 157 in which the combination of one or more formats that the encoding unit 154 can generate substantially simultaneously is registered. do. The operation of the determination unit 153 will be described later (see the flowchart of FIG. 6). The encoding unit 154 encodes and transcodes the moving image 158 to be transmitted to generate moving image data in one or more formats so that the moving image data in the combination format determined by the determining unit 153 can be obtained. The encoding unit 154 is realized by the CPU 101 using the image processing unit 109.

送信制御部155は、1つ以上の受信機の各々が表示可能な形式の動画データを受信するように、決定部153により決定された組み合わせによりエンコード部154が生成した動画データを通信部151から送信するよう制御する。検出部156は、通信部151と通信接続を確立している受信機の増減を検出する。通信部151と受信機との通信が不能となり通信接続を確立している受信機の数が減少したことが検出部156により検出された場合、決定部153は残りの受信機について生成すべき動画の1つ以上の形式の組み合わせを再決定する。また、検出部156により、通信接続を確立している受信機の数が増加したことが検出された場合、決定部153は新たに検出された受信機を加えて1つ以上の形式の組み合わせを再決定する。 The transmission control unit 155 transmits the video data generated by the encoding unit 154 by the combination determined by the determination unit 153 from the communication unit 151 so that each of the one or more receivers receives the video data in a displayable format. Control to send. The detection unit 156 detects an increase or decrease in the number of receivers that have established a communication connection with the communication unit 151. When the detection unit 156 detects that the communication between the communication unit 151 and the receiver becomes impossible and the number of receivers for which the communication connection is established has decreased, the determination unit 153 should generate a moving image for the remaining receivers. Redetermine a combination of one or more forms of. Further, when the detection unit 156 detects that the number of receivers for which communication connections have been established has increased, the determination unit 153 adds the newly detected receivers to combine one or more types. Re-determine.

次に、図2(a)、図2(b)および図2(c)を参照して、電子機器100の外観例を説明する図である。図2(a)は電子機器100の正面外観図であり、図2(b)は電子機器100の背面外観図であり、図2(c)は電子機器100の底面外観図である。 Next, it is a figure explaining the appearance example of the electronic device 100 with reference to FIG. 2 (a), FIG. 2 (b) and FIG. 2 (c). 2A is a front view of the electronic device 100, FIG. 2B is a rear view of the electronic device 100, and FIG. 2C is a bottom view of the electronic device 100.

シャッターボタン201は操作部104に含まれる。シャッターボタン201は、半押し状態と全押し状態とを区別して検出可能な2段階押し込みスイッチとなっている。シャッターボタン201が半押し状態になるとオートフォーカス制御が開始し、全押し状態になると静止画データまたは動画データを撮像するための撮像動作が開始する。また、動画データの撮像時にシャッターボタン201を全押しすると、動画データの撮像を終了する。 The shutter button 201 is included in the operation unit 104. The shutter button 201 is a two-step push switch that can distinguish between a half-pressed state and a fully-pressed state. When the shutter button 201 is half-pressed, the autofocus control is started, and when the shutter button 201 is fully pressed, the imaging operation for capturing still image data or moving image data is started. Further, when the shutter button 201 is fully pressed during the imaging of the moving image data, the imaging of the moving image data is completed.

レンズユニット204は、撮像部108の撮像素子に被写体像を導く。光学ファインダー202は、被写体像を取り込むための窓である。ユーザは、光学ファインダー202から取り込まれた被写体像を、ファインダー接眼部205から確認することができる。ストロボ203は、撮像時に必要に応じて発光し、暗い条件下でもきれいな静止画の撮像を可能にする。 The lens unit 204 guides the subject image to the image pickup element of the image pickup unit 108. The optical finder 202 is a window for capturing a subject image. The user can confirm the subject image captured from the optical viewfinder 202 from the viewfinder eyepiece 205. The strobe 203 emits light as needed at the time of imaging, and enables imaging of a beautiful still image even under dark conditions.

電源ボタン206は、電子機器100の電源をON/OFFするためのスイッチである。ボタン群207は操作部104に含まれる。ユーザはこれらのボタンを利用し、電子機器100のメニューを表示したり、各種パラメータを設定したりする。LCD208は、表示部105に含まれるものであり、撮像開始前の撮像範囲(構図)の表示、操作メニューの表示、撮像した動画データの再生表示などに利用される。ねじ穴209は三脚を固定するために用いられる。バッテリ室210はバッテリ110と記憶媒体107を収納する。ユーザはバッテリ室210へのバッテリ110と記憶媒体107の着脱を行うことができる。 The power button 206 is a switch for turning on / off the power of the electronic device 100. The button group 207 is included in the operation unit 104. The user uses these buttons to display the menu of the electronic device 100 and set various parameters. The LCD 208 is included in the display unit 105, and is used for displaying an imaging range (composition) before the start of imaging, displaying an operation menu, reproducing captured moving image data, and the like. The screw holes 209 are used to secure the tripod. The battery chamber 210 houses the battery 110 and the storage medium 107. The user can attach / detach the battery 110 and the storage medium 107 to / from the battery chamber 210.

次に、図3(a)および図3(b)を参照して、電子機器100と、電子機器100が送信する動画データを受信する受信機301~303とを含む無線ネットワークの構成例を説明する。図3(a)において、電子機器100は、無線LANアクセスポイントとして動作する。受信機301~303は、電子機器100が構成する無線LANネットワークに無線LANクライアントとして参加している。 Next, with reference to FIGS. 3A and 3B, a configuration example of a wireless network including the electronic device 100 and the receivers 301 to 303 for receiving the moving image data transmitted by the electronic device 100 will be described. do. In FIG. 3A, the electronic device 100 operates as a wireless LAN access point. The receivers 301 to 303 participate in the wireless LAN network configured by the electronic device 100 as a wireless LAN client.

また、電子機器100および受信機301~303は、図3(b)で示したようなIPアドレスを有している。これにより、それぞれがIPデータ通信により相互にデータ通信を行うことができる。 Further, the electronic device 100 and the receivers 301 to 303 have an IP address as shown in FIG. 3 (b). As a result, each of them can perform data communication with each other by IP data communication.

次に、図3(c)を参照して、受信機301~303の各々が有する表示能力(再生能力)の一例を説明する。ここで、FHD、HD、SDは上述のように解像度の異なる動画の種類を意味する。また、@に続く「60p」はフレームレートが1秒間に60フレームであることを意味し、「30p」はフレームレートが1秒間に30フレームであることを意味している。 Next, an example of the display capability (reproduction capability) possessed by each of the receivers 301 to 303 will be described with reference to FIG. 3 (c). Here, FHD, HD, and SD mean the types of moving images having different resolutions as described above. Further, "60p" following @ means that the frame rate is 60 frames per second, and "30p" means that the frame rate is 30 frames per second.

実施形態1では、動画の種類(FHD、HD、SD)とフレームレート(60p、30p)の組み合わせにより、動画データの形式が定義される例を説明する。また、実施形態1では、受信機301はFHD、HD、SDのいずれも動画も表示することができ、受信機302はHDおよびSDの動画を表示することができ、受信機301はSDの動画のみを表示することができるものとして、説明を行う。 In the first embodiment, an example in which the format of the moving image data is defined by the combination of the type of moving image (FHD, HD, SD) and the frame rate (60p, 30p) will be described. Further, in the first embodiment, the receiver 301 can display moving images of FHD, HD, and SD, the receiver 302 can display moving images of HD and SD, and the receiver 301 can display moving images of SD. The explanation will be given assuming that only can be displayed.

次に、図4を参照して、画像処理部109が有するエンコード能力の一例を説明する。図4は、能力テーブル157に登録された、画像処理部109(エンコード部154)が実質的に同時に生成可能な1つ以上の動画データの形式の組み合わせのリストである。画像処理部109はSET1からSET27の組み合わせで、動画データを生成することができる。例えば、画像処理部109は、FHD@30pであれば同時に2ストリームの動画データを生成することができる(SET2)。また、画像処理部109は、例えば、FHD@30pとSD@60pの組み合わせであればFHD@30pを1ストリーム、SD@60pを2ストリームの合計3ストリームの動画データを生成することができる(SET7)。 Next, an example of the encoding capability of the image processing unit 109 will be described with reference to FIG. FIG. 4 is a list of combinations of one or more video data formats registered in the capability table 157 that can be generated substantially simultaneously by the image processing unit 109 (encoding unit 154). The image processing unit 109 can generate moving image data by combining SET1 to SET27. For example, if the image processing unit 109 is FHD @ 30p, two streams of moving image data can be generated at the same time (SET2). Further, the image processing unit 109 can generate video data of a total of 3 streams, for example, in the case of a combination of FHD @ 30p and SD @ 60p, 1 stream for FHD @ 30p and 2 streams for SD @ 60p (SET7). ).

なお、一般に、解像度が高いほど動画の品位が高く、同じ解像度の場合はフレームレートが高いほうが動画の品位が高い。したがって、図4に示すエンコード能力は、解像度が高くなる順序となっており、生成する動画の品位が高くなる順序となっている。ただし、表における順序がこの順序に制限されるわけでなく、例えば、フレームレートが高くなる順序となるように能力テーブル157を構成してもよい。 In general, the higher the resolution, the higher the quality of the moving image, and in the case of the same resolution, the higher the frame rate, the higher the quality of the moving image. Therefore, the encoding capabilities shown in FIG. 4 are in the order of increasing the resolution, and in the order of increasing the quality of the generated moving image. However, the order in the table is not limited to this order, and for example, the capacity table 157 may be configured so that the order is such that the frame rate becomes higher.

次に、図5のフローチャートを参照して、再生モードである電子機器100の動作例を説明する。ここで、再生モードとは、記憶媒体107に記録された動画データを、表示部105または外部の動画データ受信器に表示させる動作モードである。なお、電子機器100は再生モードのほかに、撮像部108を用いて撮像を行うための撮像モードと、待機時にバッテリ110の消費を抑える待機モードを有する。 Next, an operation example of the electronic device 100 in the reproduction mode will be described with reference to the flowchart of FIG. Here, the reproduction mode is an operation mode in which the moving image data recorded on the storage medium 107 is displayed on the display unit 105 or an external moving image data receiver. In addition to the reproduction mode, the electronic device 100 has an imaging mode for performing imaging using the imaging unit 108 and a standby mode for suppressing consumption of the battery 110 during standby.

ステップS501において、CPU101は、電子機器100が再生モードに遷移するまで待機する。再生モードへの遷移には、例えば、操作部104が用いられる。具体的には、図7(a)の再生ボタン701を押下することにより電子機器100は再生モードに遷移する。再生モードに遷移すると、記憶媒体107に記録された動画データが表示部105に表示される(図7(a)の表示702)。 In step S501, the CPU 101 waits until the electronic device 100 transitions to the reproduction mode. For the transition to the reproduction mode, for example, the operation unit 104 is used. Specifically, by pressing the play button 701 of FIG. 7A, the electronic device 100 shifts to the play mode. When the mode shifts to the reproduction mode, the moving image data recorded on the storage medium 107 is displayed on the display unit 105 (display 702 in FIG. 7A).

電子機器100が再生モードに遷移すると(S501でYES)、ステップS502において、CPU101は、操作部104での操作に対応して、表示部105に表示される動画データを更新する。具体的には、ユーザが図7(a)で左右ボタン703を押下した場合に、記憶媒体107に記録された前後の動画データが表示部105に表示される。 When the electronic device 100 transitions to the reproduction mode (YES in S501), in step S502, the CPU 101 updates the moving image data displayed on the display unit 105 in response to the operation on the operation unit 104. Specifically, when the user presses the left / right button 703 in FIG. 7A, the moving image data before and after recorded on the storage medium 107 is displayed on the display unit 105.

ステップS503では、CPU101は、表示部105に表示している動画データを外部の受信器に出力する要求(以下、出力要求)があるか否かを判定する。実施形態1では、ユーザが図7(a)の上ボタン704を押下した場合に、外部の受信器に出力する要求があると判定する例を説明する。出力要求がない場合(S503でNO)、ステップS504において、CPU101は、再生モードを終了するか否かを判定する。具体的には、ユーザがシャッターボタン201を押下(半押しも含む)した場合や、電源ボタン206を押下した場合に再生モードを終了すると判定する。再生モードを終了すると判定した場合(S504でYES)には、図5のフローチャートは終了する。他方、継続すると判定された場合(S504でNO)にはステップS502以降の処理が繰り返される。なお、電子機器100は、シャッターボタン201が押下された場合には再生モードを終了して撮像モードへ遷移し、電源ボタン206が押下された場合には再生モードを終了して待機モードへ遷移する。これら撮像モード、待機モードは周知であるため説明を省略する。 In step S503, the CPU 101 determines whether or not there is a request to output the moving image data displayed on the display unit 105 to an external receiver (hereinafter referred to as an output request). In the first embodiment, an example of determining that there is a request to output to an external receiver when the user presses the upper button 704 of FIG. 7A will be described. If there is no output request (NO in S503), in step S504, the CPU 101 determines whether or not to end the reproduction mode. Specifically, it is determined that the reproduction mode is terminated when the user presses the shutter button 201 (including half-pressing) or when the power button 206 is pressed. When it is determined to end the reproduction mode (YES in S504), the flowchart of FIG. 5 ends. On the other hand, when it is determined to continue (NO in S504), the processing after step S502 is repeated. When the shutter button 201 is pressed, the electronic device 100 terminates the reproduction mode and transitions to the imaging mode, and when the power button 206 is pressed, the electronic device 100 terminates the reproduction mode and transitions to the standby mode. .. Since these imaging modes and standby modes are well known, the description thereof will be omitted.

出力要求があると判定された場合(S503でYES)、ステップS505において、取得部152は、無線LAN部111を用いて通信可能な動画データの受信機を検索し、発見した受信機の情報を取得する。このような受信機の検索、情報の取得は、具体的には、UPnP(Universal Plug and Play)で利用されているSSDP(Simple Service Discover Protocol)を用いて行われる。なお、取得する情報には、受信機の製品名、表示能力情報が含まれている。図3(a)に示した例の場合、取得部152は、受信機301~303について、図3(b)に記載のIPアドレスと、図3(c)に記載の表示能力を取得する。 When it is determined that there is an output request (YES in S503), in step S505, the acquisition unit 152 searches for a communicable moving image data receiver using the wireless LAN unit 111, and obtains information on the found receiver. get. Specifically, the search for such a receiver and the acquisition of information are performed using an SSDP (Simple Service Discover Protocol) used in UPnP (Universal Plug and Play). The information to be acquired includes the product name of the receiver and the display capability information. In the case of the example shown in FIG. 3A, the acquisition unit 152 acquires the IP address shown in FIG. 3B and the display capability shown in FIG. 3C for the receivers 301 to 303.

ステップS506において、選択部159は、表示部105にステップS505で取得した情報を表示する。図7(b)は、ステップS506において表示部105が表示する表示情報の例である。選択部159は、ステップS505で発見した受信機の製品名を領域705にリスト表示し、このリスト表示からユーザに所望の受信機を選択させる。ステップS507では、選択部159は、ユーザが操作部104を用いて、動画を出力する受信機を領域705のリスト表示から選択するのを待つ。 In step S506, the selection unit 159 displays the information acquired in step S505 on the display unit 105. FIG. 7B is an example of display information displayed by the display unit 105 in step S506. The selection unit 159 displays a list of the product names of the receivers found in step S505 in the area 705, and causes the user to select a desired receiver from this list display. In step S507, the selection unit 159 waits for the user to select the receiver for outputting the moving image from the list display in the area 705 by using the operation unit 104.

図7(b)において、ユーザは、上下ボタン706を用いて枠707を上下に動かすことができる。選択ボタン708の押下により、枠707で選択中の受信機に対応したチェックボックス709の内容が変更(トグル)され、選択中の受信機に対して動画を出力するか否かを選択することができる。更に、上下ボタン706により、決定ボタン710またはキャンセルボタン711aを選択し、選択ボタン708を押下することによって、動画の出力を行うか否かを選択することができる。 In FIG. 7B, the user can move the frame 707 up and down using the up and down buttons 706. By pressing the selection button 708, the contents of the check box 709 corresponding to the receiver selected in the frame 707 are changed (toggle), and it is possible to select whether or not to output the moving image to the selected receiver. can. Further, the up / down button 706 selects the enter button 710 or the cancel button 711a, and the select button 708 is pressed to select whether or not to output the moving image.

決定ボタン710またはキャンセルボタン711aが選択されるまでは、ステップS505からステップS507までの処理が繰り返され、通信可能な受信機の検索が継続される。このため、通信可能な受信機が増減した場合は、図7(b)の705の表示は随時更新されることになる。なお、キャンセルボタン711aが選択された場合は、動画の出力は行われないとして図5のフローチャートは終了する。 Until the enter button 710 or the cancel button 711a is selected, the processes from step S505 to step S507 are repeated, and the search for communicable receivers is continued. Therefore, when the number of communicable receivers increases or decreases, the display of 705 in FIG. 7B is updated at any time. When the cancel button 711a is selected, it is assumed that the moving image is not output, and the flowchart of FIG. 5 ends.

ステップS508において、決定部153は、ステップS507で選択された出力対象の各受信機(選択部159より通知される)に対して送信する動画データの形式を決定する。 In step S508, the determination unit 153 determines the format of the moving image data to be transmitted to each output target receiver (notified by the selection unit 159) selected in step S507.

ここで、図6のフローチャートを参照して、ステップS508で行われる処理(動画データ形式の決定処理)を説明する。 Here, the process (determination process of the moving image data format) performed in step S508 will be described with reference to the flowchart of FIG.

ステップS601では、決定部153は、画像処理部109でエンコード可能な動画データの形式の組み合わせ候補を能力テーブル157を参照して選択する。ここで、動画データの形式の組み合わせ候補の選択は、動画の品位が高い順に行うものとする。具体的には図4で示した組み合わせをSET1から順に選択することになる。 In step S601, the determination unit 153 selects a combination candidate of the video data format that can be encoded by the image processing unit 109 with reference to the ability table 157. Here, it is assumed that the selection of the combination candidate of the video data format is performed in descending order of the quality of the video. Specifically, the combinations shown in FIG. 4 are selected in order from SET1.

ステップS602では、決定部153は、ステップS601で動画データ形式の組み合わせを選択することができたか否かを判定する。具体的には、後述のステップS606により図4で示したすべての組み合わせが既に除外されていた場合は、新たな動画データ形式の組み合わせを選択できないとして、候補なしと判定される(S602でNO)。この場合、ステップS507で選択した受信機のすべてに対して表示可能な動画データを出力することはできない。よって、ステップS603において、決定部153は、表示部105に図7(c)の表示アイテム712に示すようなエラーメッセージを表示して、図6のフローチャートは終了する(図5のステップS509に戻る)。 In step S602, the determination unit 153 determines whether or not the combination of the moving image data formats could be selected in step S601. Specifically, if all the combinations shown in FIG. 4 have already been excluded by step S606 described later, it is determined that there is no candidate because a new combination of video data formats cannot be selected (NO in S602). .. In this case, it is not possible to output video data that can be displayed for all the receivers selected in step S507. Therefore, in step S603, the determination unit 153 displays an error message as shown in the display item 712 of FIG. 7 (c) on the display unit 105, and the flowchart of FIG. 6 ends (returns to step S509 of FIG. 5). ).

一方、ステップS601で新たな動画データの形式の組み合わせを選択できた場合(S602でYES)、ステップS604において、決定部153は、ステップS601で選択した動画データの形式の組み合わせ候補がステップS507で選択した受信機の全てで表示可能か否かを判定する。具体的には、決定部153は、ステップS601で選択した動画データの形式組み合わせの候補と、ステップS505で取得した各受信機の表示能力を比較して上記の判定を行う。例えば、ステップS507で、受信機301と302が出力先として選択され、ステップS601でSET1が選択された場合を説明する。図4によればSET1では、FHDで60pの動画データを生成できることを示している。一方、図3の(c)によれば、受信機301はこの動画データを表示することができるが、受信機302は表示することができない。したがって、ステップS604の判定はNOとなる。別の例として、ステップS601でSET3が選択された場合を説明する。図4によればSET3では、FHDで30pの動画データとHDで60pの動画データを同時に生成できることを示している。一方、図3の(c)によれば受信機301は両方の動画データの表示が、受信機302はHDで60pの動画データの表示ができることが分かる。したがってステップS604の判定はYESとなる。 On the other hand, when a new combination of video data formats can be selected in step S601 (YES in S602), in step S604, the determination unit 153 selects the combination candidate of the video data format selected in step S601 in step S507. It is judged whether or not it can be displayed by all the receivers. Specifically, the determination unit 153 makes the above determination by comparing the candidate for the format combination of the moving image data selected in step S601 with the display capability of each receiver acquired in step S505. For example, a case where the receivers 301 and 302 are selected as output destinations in step S507 and SET1 is selected in step S601 will be described. According to FIG. 4, SET1 shows that 60p moving image data can be generated by FHD. On the other hand, according to (c) of FIG. 3, the receiver 301 can display this moving image data, but the receiver 302 cannot display it. Therefore, the determination in step S604 is NO. As another example, the case where SET3 is selected in step S601 will be described. According to FIG. 4, SET 3 shows that 30p video data in FHD and 60p video data in HD can be generated at the same time. On the other hand, according to (c) of FIG. 3, it can be seen that the receiver 301 can display both moving image data, and the receiver 302 can display 60p moving image data in HD. Therefore, the determination in step S604 is YES.

ステップS604でYESの場合、ステップS605において、決定部153は、直前のステップS601で選択した動画データの形式の組み合わせをステップS510以降で使用するために、メモリ102に記憶させ、図6のフローチャートは終了する(図5のステップS509に戻る)。一方、ステップS604でNOの場合、ステップS606において、決定部153は、直前のステップS601で選択した動画データ形式の組み合わせを候補から除外する。したがって、ステップS601からの処理が繰り返される場合に、CPU101は、能力テーブル157のリストにおける次の動画データ形式の組み合わせを選択することになる。 If YES in step S604, in step S605, the determination unit 153 stores the combination of the video data formats selected in the immediately preceding step S601 in the memory 102 for use in step S510 and subsequent steps, and the flowchart of FIG. 6 is shown. Finish (return to step S509 in FIG. 5). On the other hand, if NO in step S604, in step S606, the determination unit 153 excludes the combination of the moving image data formats selected in the immediately preceding step S601 from the candidates. Therefore, when the process from step S601 is repeated, the CPU 101 selects the next combination of moving image data formats in the list of the capability table 157.

ステップS509では、ステップS508(図6のフローチャート)において、全ての出力先受信機で表示することが可能な動画データ形式の組み合わせが選択できたか否かを判定する。選択できなかったと判定された場合には、CPU101は、S504の処理を実行する。一方、選択できたと判定された場合は、ステップS510において、決定部153は、ステップS507で選択した受信機と、ステップS508で選択した動画データの形式の組み合わせから、各受信機に対して出力する動画データの形式を表示部105に表示する。 In step S509, in step S508 (flow chart of FIG. 6), it is determined whether or not a combination of moving image data formats that can be displayed by all output destination receivers can be selected. If it is determined that the selection cannot be made, the CPU 101 executes the process of S504. On the other hand, if it is determined that the selection has been made, in step S510, the determination unit 153 outputs to each receiver from the combination of the receiver selected in step S507 and the video data format selected in step S508. The format of the moving image data is displayed on the display unit 105.

図7(d)における表示アイテム713は、ステップS510において表示部105が表示する表示情報の例である。例えば、ステップS507で、受信機301と302を出力先と選択したとすると、ステップS508(図6のフローチャート)では図4のSET3が選択されることになる。図7(d)の表示アイテム713には、受信機301(「Digtal TV ○○」と記載)に対してはFHDで30pの動画データを、受信機302(「Tablet △△」と記載)に対してはHDで60pの動画データを出力することが表示されている。なお、受信機301はFHD@30pでもHD@60pでも表示可能であるが、より画質品位の高いFHD@30pが適用されている。すなわち、決定された組み合わせの中に、1つの受信機において表示可能な形式の動画データが複数ある場合は、動画品質の最も高い動画データが該1つの受信機に対して選択される。 The display item 713 in FIG. 7D is an example of the display information displayed by the display unit 105 in step S510. For example, if receivers 301 and 302 are selected as output destinations in step S507, SET3 in FIG. 4 is selected in step S508 (flow chart of FIG. 6). In the display item 713 of FIG. 7 (d), 30p video data in FHD for the receiver 301 (described as “Digital TV ○○”) is transmitted to the receiver 302 (described as “Tablet △△”). On the other hand, it is displayed that 60p video data is output in HD. The receiver 301 can display either FHD @ 30p or HD @ 60p, but FHD @ 30p with higher image quality quality is applied. That is, when there are a plurality of moving image data in a format that can be displayed by one receiver in the determined combination, the moving image data having the highest moving image quality is selected for the one receiver.

ステップS511では、決定部153は、ユーザが操作部104を用いて、動画データの出力の開始を指示するのを待つ。図7(d)において、ユーザは、左右ボタン703を用いて選択枠をキャンセルボタン711bまたは開始ボタン715に移動させることができる。そして、選択ボタン708の押下により、キャンセルボタン711bまたは開始ボタン715が選択される。 In step S511, the determination unit 153 waits for the user to instruct the user to start outputting the moving image data using the operation unit 104. In FIG. 7D, the user can use the left and right buttons 703 to move the selection frame to the cancel button 711b or the start button 715. Then, by pressing the selection button 708, the cancel button 711b or the start button 715 is selected.

図7(d)において、開始ボタン715が選択された場合は、再生開始の指示と判定される(S511でYES)。この場合、ステップS512において、エンコード部154は、画像処理部109を用いて、ステップS502で選択した動画データを、ステップS508で決定した各受信機に対して送信する動画データの形式に変換(エンコード/トランスコード)する。そして、ステップS513において、送信制御部155は、通信部151(無線LAN部111)を用いて、ステップS512で生成した動画データを、ステップS507で選択した各受信機に対して送信する。この時、生成した動画データと送信先の受信機の組み合わせは、ステップS510で表示部105に示したものとなる。 In FIG. 7D, when the start button 715 is selected, it is determined as an instruction to start playback (YES in S511). In this case, in step S512, the encoding unit 154 uses the image processing unit 109 to convert (encode) the moving image data selected in step S502 into the format of the moving image data to be transmitted to each receiver determined in step S508. / Transcode). Then, in step S513, the transmission control unit 155 uses the communication unit 151 (wireless LAN unit 111) to transmit the moving image data generated in step S512 to each receiver selected in step S507. At this time, the combination of the generated moving image data and the receiver of the transmission destination is shown on the display unit 105 in step S510.

なお、上記では送信先として選択された受信機が2台で、選択された形式の組み合わせも2つの形式を有している。したがって、送信制御部155は、それぞれの形式で生成された画像をユニキャストで対応する受信機へ送信する。一方、送信先に選択された受信機の台数よりも選択された組み合わせが有する形式の数が小さい場合がある。例えば、上記の例で、受信機301と同じ表示能力を持つ受信機がさらに送信先として選択された場合を想定する。この場合、決定部153がSET3を決定すると、3つの送信先に対し、組み合わせが有する形式は、FHD@30pとHD@60pの2つである。この場合、送信制御部155は、2つの受信機に共通する形式(FHD@30p)の画像のストリームをマルチスキャンで受信機301ともう1つの受信機に送信する。また、送信制御部155HD@60pの形式の画像のストリームをユニスキャンで受信機302に送信する。以上のように、画像形式の組み合わせにおける形式の数(ストリーム数)が送信先の数よりも小さい場合、マルチキャストが併用される。 In the above, the number of receivers selected as the transmission destination is two, and the combination of the selected formats also has two formats. Therefore, the transmission control unit 155 transmits the images generated in each format to the corresponding receivers by unicast. On the other hand, the number of formats that the selected combination has may be smaller than the number of receivers selected as the destination. For example, in the above example, it is assumed that a receiver having the same display capability as the receiver 301 is further selected as a transmission destination. In this case, when the determination unit 153 determines SET3, the combination has two formats, FHD @ 30p and HD @ 60p, for the three destinations. In this case, the transmission control unit 155 transmits a stream of images in a format (FHD @ 30p) common to the two receivers to the receiver 301 and another receiver by multi-scan. Further, the stream of the image in the format of the transmission control unit 155HD @ 60p is transmitted to the receiver 302 by uniscan. As described above, when the number of formats (number of streams) in the combination of image formats is smaller than the number of destinations, multicast is used together.

ステップS514では、CPU101は、すべての動画データを送信したか否かを判定する。すべての動画データを送信したと判定された場合には(S514でYES)、CPU101はステップS502からの処理を繰り返し、次に出力する画像をユーザが選択することが可能になる。送信を完了していないと判定された場合(S514でNO)、ステップS515で、検出部156は、通信部151による動画データの送信に失敗した受信機が存在するか否かを判定する。送信の失敗は、例えば受信機の電源がオフになった場合、動画データの受信が不可能な動作状態(例えば通話中など)になった場合に発生する。送信失敗を検出した場合(S515でYES)には送信対象の受信機が減ったことになる。したがって、この場合、決定部153は、ステップS518において、ステップS508での処理(図6のフローチャート参照)と同様の処理により、残りの出力対象の各受信機に対して送信する動画データの形式を決定する。 In step S514, the CPU 101 determines whether or not all the moving image data has been transmitted. If it is determined that all the moving image data has been transmitted (YES in S514), the CPU 101 repeats the process from step S502, and the user can select the image to be output next. If it is determined that the transmission has not been completed (NO in S514), in step S515, the detection unit 156 determines whether or not there is a receiver that has failed to transmit the moving image data by the communication unit 151. The transmission failure occurs, for example, when the power of the receiver is turned off or when the operation state (for example, during a call) in which the moving image data cannot be received is entered. When a transmission failure is detected (YES in S515), the number of receivers to be transmitted has decreased. Therefore, in this case, in step S518, the determination unit 153 determines the format of the moving image data to be transmitted to each of the remaining output target receivers by the same processing as the processing in step S508 (see the flowchart of FIG. 6). decide.

動画データの送信に失敗した受信機が存在しない場合(S515でNO)、ステップS516において、検出部156は、無線LAN部111を用いて通信可能な動画データの受信機を検索し、この検索により発見した受信機の情報を取得する。新たな受信機を発見しなかった場合(S516でNO)には、CPU101はステップS512からの処理を繰り返し、エンコード/トランスコードを継続する。新たな受信機が発見された場合(S516でYES)、ステップS517において、検出部156は、ステップS516で新たに検出した受信機に対して、新たに動画データを出力するかどうか、ユーザの選択を受け付ける。 When there is no receiver that failed to transmit the moving image data (NO in S515), in step S516, the detection unit 156 searches for a communicable moving image data receiver using the wireless LAN unit 111, and by this search, the receiver is searched. Get the information of the found receiver. If no new receiver is found (NO in S516), the CPU 101 repeats the process from step S512 and continues encoding / transcoding. When a new receiver is found (YES in S516), in step S517, the detection unit 156 selects whether to newly output moving image data to the receiver newly detected in step S516. Accept.

図8(a)は、ステップS517において表示部105が表示する表示情報の例である。CPU101は、ステップS516で検出した新たな受信機の情報を表示アイテム801のように表示する。ユーザは、左右ボタン703を用いて、選択枠をはいボタン803またはいいえボタン804に移動させることができる。そして選択ボタン708の押下により、はいボタン803またはいいえボタン804が選択される。 FIG. 8A is an example of display information displayed by the display unit 105 in step S517. The CPU 101 displays the information of the new receiver detected in step S516 like the display item 801. The user can use the left and right buttons 703 to move the selection frame to the yes button 803 or the no button 804. Then, by pressing the selection button 708, the yes button 803 or the no button 804 is selected.

いいえボタン804が選択された場合(S517でNO)には出力先の受信機の組み合わせに変更はなく、CPU101は、ステップS512以降の処理を繰り返し、エンコード/トランスコードを継続する。はいボタン803が選択された場合(S517でYES)には、新たに検出した受信機に対して動画を出力するため、受信機の組み合わせに変化が生じる。したがって、決定部153は、ステップS518において、ステップS508での処理(図6のフローチャート参照)と同様の処理を行い、出力対象の各受信機に対して送信する動画データの形式を決定する。なお、ステップS515でYESであった場合(送信に失敗した受信機があった場合)は出力対象の受信機が減少しており、ステップS517でYESであった場合は出力対象の受信機が増加していることに注意されたい。 When the No button 804 is selected (NO in S517), there is no change in the combination of receivers of the output destination, and the CPU 101 repeats the processing after step S512 and continues encoding / transcoding. When the Yes button 803 is selected (YES in S517), the moving image is output to the newly detected receiver, so that the combination of receivers changes. Therefore, in step S518, the determination unit 153 performs the same processing as the processing in step S508 (see the flowchart of FIG. 6), and determines the format of the moving image data to be transmitted to each receiver to be output. If YES in step S515 (if there is a receiver that failed in transmission), the number of receivers to be output has decreased, and if YES in step S517, the number of receivers to be output has increased. Please note that you are doing.

ステップS519では、決定部153は、ステップS509と同様に、ステップS517において全ての出力先受信機が表示可能な動画データ形式の組み合わせが選択できたか否かを判定する。選択できた場合(S519でYES)、ステップS520において、決定部153は、ステップS518で決定した動画データの形式を生成するように設定を変更して、ステップS512以降の処理を繰り返す。これ以降、ステップS512でエンコード/トランスコードして生成される動画データの形式の組み合わせと、ステップS513で動画データを送信する先の受信機は、ステップS518での決定事項に従うことになる。 In step S519, the determination unit 153 determines whether or not a combination of moving image data formats that can be displayed by all output destination receivers can be selected in step S517, as in step S509. If it can be selected (YES in S519), in step S520, the determination unit 153 changes the setting so as to generate the format of the moving image data determined in step S518, and repeats the processing after step S512. From this point onward, the combination of the formats of the moving image data generated by encoding / transcoding in step S512 and the receiver to which the moving image data is transmitted in step S513 will follow the determination items in step S518.

一方、ステップS519で全ての出力先受信機が表示可能な動画データ形式の組み合わせが選択できなかった場合(S519でNO)、ステップS521において、決定部153は、これまでの動画データの形式を生成するように設定を維持して、ステップS512以降の処理を繰り返す。したがって、ステップS512でエンコード/トランスコードにより生成する動画データの形式と、ステップS513で動画データを送信する先の受信機は変更されないことになる。なお、この際に、決定部153は、図8(b)の表示アイテム806のようにステップS516で新たに検出した受信機には動画を出力できないことを示す表示を行う。 On the other hand, when the combination of the moving image data formats that can be displayed by all the output destination receivers cannot be selected in step S519 (NO in S519), in step S521, the determination unit 153 generates the previous moving image data formats. The setting is maintained so as to be performed, and the processing after step S512 is repeated. Therefore, the format of the moving image data generated by encoding / transcoding in step S512 and the receiver to which the moving image data is transmitted in step S513 are not changed. At this time, the determination unit 153 displays that the moving image cannot be output to the receiver newly detected in step S516 as in the display item 806 of FIG. 8B.

以上のように、実施形態1によれば、ネットワーク上の複数の表示装置に対して、動画データをエンコード(符号化)しながら配信する際に、エンコーダの処理能力の範囲で、各表示装置の再生/表示能力に適した画質で送信することができる。 As described above, according to the first embodiment, when the moving image data is distributed while being encoded (encoded) to a plurality of display devices on the network, the processing capacity of the encoder is within the range of each display device. It is possible to transmit with an image quality suitable for the playback / display capability.

なお、実施形態1では、電子機器100が無線LANを用いる例を説明したが、電子機器100の構成はこれに限定されるものではない。電子機器100は、無線LANの代わりに無線LANとは異なる無線通信方式(例えばBluetooth(登録商標))を用いるように構成してもよい。また、実施形態1では、電子機器100がデジタルカメラとして動作する例を説明したが、電子機器100の構成はこれに限定されるものではない。電子機器100は、例えば、パーソナルコンピュータ、メディアプレーヤ、メディアサーバ、携帯電話、PDA、タブレットコンピュータ、スマートフォン、ゲーム機、デジタルビデオカメラの少なくとも一つとして動作できるように構成してもよい。 Although the example in which the electronic device 100 uses the wireless LAN has been described in the first embodiment, the configuration of the electronic device 100 is not limited to this. The electronic device 100 may be configured to use a wireless communication method (for example, Bluetooth®) different from the wireless LAN instead of the wireless LAN. Further, in the first embodiment, an example in which the electronic device 100 operates as a digital camera has been described, but the configuration of the electronic device 100 is not limited to this. The electronic device 100 may be configured to operate as at least one of a personal computer, a media player, a media server, a mobile phone, a PDA, a tablet computer, a smartphone, a game machine, and a digital video camera, for example.

<実施形態2>
実施形態1で説明した様々な機能、処理または方法は、パーソナルコンピュータ、マイクロコンピュータ、CPU(central processing unit)、プロセッサなどがプログラムを用いて実現することもできる。以下、実施形態2では、パーソナルコンピュータ、マイクロコンピュータ、CPU(central processing unit)、プロセッサなどを「コンピュータX」と呼ぶ。また、実施形態2では、コンピュータXを制御するためのプログラムであって、実施形態1で説明した様々な機能、処理または方法を実現するためのプログラムを「プログラムY」と呼ぶ。
<Embodiment 2>
The various functions, processes, or methods described in the first embodiment can also be realized by a personal computer, a microcomputer, a CPU (central processing unit), a processor, or the like by using a program. Hereinafter, in the second embodiment, a personal computer, a microcomputer, a CPU (central processing unit), a processor, and the like are referred to as "computer X". Further, in the second embodiment, a program for controlling the computer X and for realizing various functions, processes, or methods described in the first embodiment is referred to as a "program Y".

実施形態1で説明した様々な機能、処理または方法は、コンピュータXがプログラムYを実行することによって実現される。この場合において、プログラムYは、コンピュータ読み取り可能な記憶媒体を介してコンピュータXに供給される。実施形態2におけるコンピュータ読み取り可能な記憶媒体は、ハードディスク装置、磁気記憶装置、光記憶装置、光磁気記憶装置、メモリカード、揮発性メモリ、不揮発性メモリなどの少なくとも1つを含む。実施形態2におけるコンピュータ読み取り可能な記憶媒体は、non-transitoryな記憶媒体である。 The various functions, processes or methods described in the first embodiment are realized by the computer X executing the program Y. In this case, the program Y is supplied to the computer X via a computer-readable storage medium. The computer-readable storage medium according to the second embodiment includes at least one such as a hard disk device, a magnetic storage device, an optical storage device, a photomagnetic storage device, a memory card, a volatile memory, and a non-volatile memory. The computer-readable storage medium according to the second embodiment is a non-transitory storage medium.

なお、本発明の実施形態は上述の実施形態1または2に限定されるものではない。発明の要旨を逸脱しない範囲で変更または修正された実施形態1または2も本発明の実施形態に含まれる。 The embodiment of the present invention is not limited to the above-mentioned first or second embodiment. Embodiments 1 or 2 modified or modified without departing from the gist of the invention are also included in the embodiments of the present invention.

100:電子機器、101:CPU、102:メモリ、103:不揮発性メモリ、104:操作部、105:表示部、106:記憶媒体I/F、107:記憶媒体、108:撮像部、109:画像処理部、110:バッテリ、111:無線LAN部、112:システムバス 100: Electronic device, 101: CPU, 102: Memory, 103: Non-volatile memory, 104: Operation unit, 105: Display unit, 106: Storage medium I / F, 107: Storage medium, 108: Image pickup unit, 109: Image Processing unit, 110: Battery, 111: Wireless LAN unit, 112: System bus

Claims (9)

選択された動画データを複数の外部装置のすべてが表示できるようにするため1つ以上の形式決定できるか否かを判定する決定手段と、
前記1つ以上の形式が決定できた場合は、前記選択された動画データをエンコードして前記1つ以上の形式の動画データを生成するエンコード手段と、
前記1つ以上の形式が決定できた場合は、生成された前記1つ以上の形式の動画データを前記複数の外部装置のそれぞれに送信する通信手段と、
記1つ以上の形式決定できなかった場合は、前記選択された動画データを前記複数の外部装置のいずれにも提供することができないことを示す情報を表示手段に表示させる表示制御手段と
を有することを特徴とする電子機器。
A determination means for determining whether one or more formats for allowing the selected video data to be displayed by all of the plurality of external devices can be determined.
When the one or more formats can be determined, an encoding means for encoding the selected moving image data to generate the moving image data in the one or more formats, and an encoding means.
When the one or more formats can be determined, a communication means for transmitting the generated moving image data in the one or more formats to each of the plurality of external devices, and a communication means.
When the one or more formats cannot be determined, the display control means for causing the display means to display information indicating that the selected moving image data cannot be provided to any of the plurality of external devices. An electronic device characterized by having.
前記1つ以上の形式のそれぞれは、動画データの解像度とフレームレートによって規定されることを特徴とする請求項1に記載の電子機器。 The electronic device according to claim 1, wherein each of the one or more formats is defined by a resolution and a frame rate of moving image data. 前記通信手段による通信が不能となった外部装置を検出する第1の検出手段をさらに有し、
前記決定手段は、前記第1の検出手段によって検出された外部装置を前記複数の外部装置から除いた残りの外部装置のすべてが表示できるようにするための1つ以上の形式再決定できるか否かを判定することを特徴とする請求項1または2に記載の電子機器。
Further, it has a first detecting means for detecting an external device in which communication by the communication means becomes impossible.
Can the determining means redetermine one or more formats for allowing all of the remaining external devices, excluding the external device detected by the first detecting means, from the plurality of external devices to be visible ? The electronic device according to claim 1 or 2, wherein it is determined whether or not the device is used.
前記通信手段による通信が可能になった新たな外部装置を検出する第2の検出手段をさらに有し、
前記決定手段は、前記複数の外部装置前記新たな外部装置とを含む複数の外部装置のすべてが表示できるようにするための1つ以上の形式再決定できるか否かを判定することを特徴とする請求項1から3のいずれか1項に記載の電子機器。
It further has a second detection means for detecting a new external device capable of communicating by the communication means.
The determining means determines whether one or more formats for allowing all of the plurality of external devices, including the plurality of external devices and the new external device, to be visible can be redetermined. The electronic device according to any one of claims 1 to 3, which is characterized.
前記決定手段は、前記エンコード手段が生成する動画データの解像度が高くなるように前記1つ以上の形式決定できるか否かを判定することを特徴とする請求項1から4のいずれか1項に記載の電子機器。 One of claims 1 to 4, wherein the determination means determines whether or not the one or more formats can be determined so that the resolution of the moving image data generated by the encoding means is high. The electronic device described in. 前記決定手段は、前記エンコード手段が生成する動画データのフレームレートが高くなるように前記1つ以上の形式決定できるか否かを判定することを特徴とする請求項1から5のいずれか1項に記載の電子機器。 Any one of claims 1 to 5, wherein the determination means determines whether or not the one or more formats can be determined so that the frame rate of the moving image data generated by the encoding means is high. The electronic device described in the section. 前記複数の外部装置をユーザに選択させる選択手段をさらに有することを特徴とする請求項1から6のいずれか1項に記載の電子機器。 The electronic device according to any one of claims 1 to 6, further comprising a selection means for allowing the user to select the plurality of external devices. 電子機器の制御方法であって、
選択された動画データを複数の外部装置のすべてが表示できるようにするため1つ以上の形式決定できるか否かを判定する決定ステップと、
前記1つ以上の形式が決定できた場合は、前記選択された動画データをエンコードして前記1つ以上の形式の動画データを生成するエンコードステップと、
前記1つ以上の形式が決定できた場合は、生成された前記1つ以上の形式の動画データを前記複数の外部装置のそれぞれに送信する通信ステップと、
記1つ以上の形式決定できなかった場合は、前記選択された動画データを前記複数の外部装置のいずれにも提供することができないことを示す情報を表示手段に表示させる表示制御ステップと
を有することを特徴とする制御方法。
It is a control method for electronic devices.
A decision step to determine if one or more formats can be determined so that the selected video data can be displayed by all of the multiple external devices.
When the one or more formats can be determined, the encoding step of encoding the selected moving image data to generate the moving image data of the one or more formats, and the encoding step.
When the one or more formats can be determined, the communication step of transmitting the generated moving image data of the one or more formats to each of the plurality of external devices, and
When the one or more formats cannot be determined, the display control step of displaying information indicating that the selected moving image data cannot be provided to any of the plurality of external devices is displayed on the display means. A control method characterized by having.
コンピュータを、
選択された動画データを複数の外部装置のすべてが表示できるようにするため1つ以上の形式決定できるか否かを判定する決定手段と、
前記1つ以上の形式が決定できた場合は、前記選択された動画データをエンコードして前記1つ以上の形式の動画データを生成するエンコード手段と、
前記1つ以上の形式が決定できた場合は、生成された前記1つ以上の形式の動画データを前記複数の外部装置のそれぞれに送信する通信手段と、
記1つ以上の形式決定できなかった場合は、前記選択された動画データを前記複数の外部装置のいずれにも提供することができないことを示す情報を表示手段に表示させる表示制御手段
として機能させるためのプログラム。
Computer,
A determination means for determining whether one or more formats for allowing the selected video data to be displayed by all of the plurality of external devices can be determined.
When the one or more formats can be determined, an encoding means for encoding the selected moving image data to generate the moving image data in the one or more formats, and an encoding means.
When the one or more formats can be determined, a communication means for transmitting the generated moving image data in the one or more formats to each of the plurality of external devices, and a communication means.
When the one or more formats cannot be determined, as a display control means for causing the display means to display information indicating that the selected moving image data cannot be provided to any of the plurality of external devices. A program to make it work.
JP2017096537A 2017-05-15 2017-05-15 Electronics, control methods and programs Active JP6993793B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2017096537A JP6993793B2 (en) 2017-05-15 2017-05-15 Electronics, control methods and programs

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017096537A JP6993793B2 (en) 2017-05-15 2017-05-15 Electronics, control methods and programs

Publications (2)

Publication Number Publication Date
JP2018195915A JP2018195915A (en) 2018-12-06
JP6993793B2 true JP6993793B2 (en) 2022-01-14

Family

ID=64570626

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017096537A Active JP6993793B2 (en) 2017-05-15 2017-05-15 Electronics, control methods and programs

Country Status (1)

Country Link
JP (1) JP6993793B2 (en)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001359077A (en) 2000-06-09 2001-12-26 Sony Corp Image pickup device
WO2011148887A1 (en) 2010-05-24 2011-12-01 日本電気株式会社 Video image delivery system, video image transmission device, video image delivery method, and video image delivery program
JP2014158284A (en) 2014-04-24 2014-08-28 Olympus Imaging Corp Imaging apparatus and control method of the same
JP2016005139A (en) 2014-06-17 2016-01-12 株式会社リコー Communication device, communication system, communication control method, and program
JP2016065958A (en) 2014-09-24 2016-04-28 ブラザー工業株式会社 Display control system, display control device, and program

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001359077A (en) 2000-06-09 2001-12-26 Sony Corp Image pickup device
WO2011148887A1 (en) 2010-05-24 2011-12-01 日本電気株式会社 Video image delivery system, video image transmission device, video image delivery method, and video image delivery program
JP2014158284A (en) 2014-04-24 2014-08-28 Olympus Imaging Corp Imaging apparatus and control method of the same
JP2016005139A (en) 2014-06-17 2016-01-12 株式会社リコー Communication device, communication system, communication control method, and program
JP2016065958A (en) 2014-09-24 2016-04-28 ブラザー工業株式会社 Display control system, display control device, and program

Also Published As

Publication number Publication date
JP2018195915A (en) 2018-12-06

Similar Documents

Publication Publication Date Title
US10298830B2 (en) Transmission apparatus, reception apparatus, communication system, and recording medium
CN1992775B (en) Information processing apparatus and method
WO2013132828A1 (en) Communication system and relay apparatus
US20140043424A1 (en) Video calling using a remote camera device to stream video to a local endpoint host acting as a proxy
KR20180073228A (en) Method and Device for media streaming between server and client using RTP/RTSP standard protocol
US8854460B2 (en) Image providing apparatus, image displaying apparatus, image transmitting system and image transmitting method using the same
JP6179179B2 (en) Information processing apparatus, information processing method, and program
KR101730115B1 (en) Apparatus and method for processing image
CN111385673B (en) Communication apparatus, control method thereof, and recording medium thereof
JP5123681B2 (en) Video display device and control method thereof, and video output device and control method thereof
EP2696591B1 (en) Video calling using a remote camera device to stream video to a local endpoint host acting as a proxy
CN108600613B (en) Image pickup apparatus, external apparatus, and control method of image pickup apparatus
JP6467395B2 (en) Image transmitting apparatus, image receiving apparatus, control method therefor, and image communication system
JP6993793B2 (en) Electronics, control methods and programs
US10771747B2 (en) Imaging apparatus and imaging system
JP2019193161A (en) Communication device, control method thereof, and program
US20150373073A1 (en) Image pickup apparatus, control method and recording medium
JP2000138870A (en) Data communication system, terminal, system control method and storage medium
JP6894757B2 (en) Video processing equipment and its control method
JP7711707B2 (en) Information processing device, information processing method, and program
JP2019068187A (en) Information processing apparatus, control method thereof, and program
JP6701406B2 (en) Communication device, control method thereof, and program
JP2006074242A (en) Image communication system, image receiving device and imaging apparatus
JP2021093693A (en) Imaging apparatus, information processing apparatus, method for controlling these, and program
JP2025012419A (en) COMMUNICATION DEVICE, CONTROL METHOD, AND PROGRAM

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200430

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20201002

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201201

RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20210103

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210113

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210607

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210803

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20211112

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20211210

R151 Written notification of patent or utility model registration

Ref document number: 6993793

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151