JP2024156965A - COMMUNICATION SYSTEM, COMMUNICATION DEVICE, AND PROGRAM - Google Patents
COMMUNICATION SYSTEM, COMMUNICATION DEVICE, AND PROGRAM Download PDFInfo
- Publication number
- JP2024156965A JP2024156965A JP2024133749A JP2024133749A JP2024156965A JP 2024156965 A JP2024156965 A JP 2024156965A JP 2024133749 A JP2024133749 A JP 2024133749A JP 2024133749 A JP2024133749 A JP 2024133749A JP 2024156965 A JP2024156965 A JP 2024156965A
- Authority
- JP
- Japan
- Prior art keywords
- display
- image
- display device
- communication
- communication device
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Telephonic Communication Services (AREA)
Abstract
Description
本発明は、映像および音声の通信を行う通信システムに関し、より詳細には、複数の拠点間で映像および音声の相互通信を行う通信システム、通信装置およびプログラムに関する。 The present invention relates to a communication system for video and audio communication, and more specifically to a communication system, communication device, and program for mutual video and audio communication between multiple locations.
近年、インターネット等の高速データ通信が可能なネットワークの普及に伴い、遠隔地の複数の拠点間で映像や音声を相互に配信して会議等を行うビデオ会議が利用されるようになっている。 In recent years, with the spread of networks capable of high-speed data communication such as the Internet, videoconferencing has become common, in which multiple remote locations can transmit video and audio to each other to hold meetings.
このようなビデオ会議を実現する通信システムの一実施形態として、特許文献1は、他拠点の撮影画像を自拠点の表示装置に表示すると共に、会議等で使用される資料画像を当該表示装置に表示するコンテンツ配信装置を開示する。 As one embodiment of a communication system for implementing such video conferencing, Patent Literature 1 discloses a content distribution device that displays images captured at other locations on a display device at the location itself, and also displays images of materials used in the conference, etc., on the same display device.
しかしながら、特許文献1が開示するコンテンツ配信装置は、他拠点の撮影画像と資料画像とを同一の表示装置の画面上に表示するため、一方の画像の表示領域を拡大すると、他方の画像の表示領域が縮小されてしまい、これらの画像の視認性が低くなるという問題があった。 However, the content distribution device disclosed in Patent Document 1 displays images captured at other locations and document images on the same display device screen, so when the display area of one image is enlarged, the display area of the other image is reduced, resulting in a problem of reduced visibility of these images.
本発明は上述した課題を解決するものであり、表示装置に表示される画像の視認性を向上させる通信システム、通信装置およびプログラムを提供することを目的とする。 The present invention aims to solve the above-mentioned problems and provide a communication system, communication device, and program that improve the visibility of images displayed on a display device.
本発明の通信装置は、画像の表示方式を規定する配置情報を設定する配置情報設定手段と、配置情報を参照して複数の表示装置に画像を表示させる表示制御手段とを含み、表示制御手段は、自拠点および他拠点の撮影画像を第1の表示装置に表示させると共に、自拠点または他拠点の画像提供装置が提供する画像を第2の表示装置に表示させる。 The communication device of the present invention includes a layout information setting means for setting layout information that specifies the image display method, and a display control means for displaying images on a plurality of display devices by referring to the layout information, and the display control means displays images taken at the home base and other bases on a first display device, and displays images provided by an image providing device at the home base or other bases on a second display device.
本発明の通信装置は、上記構成を採用することにより、表示装置に表示される画像の視認性を向上させることができる。 By adopting the above configuration, the communication device of the present invention can improve the visibility of the image displayed on the display device.
以下、本発明について実施形態をもって説明するが、本発明は後述する実施形態に限定されるものではない。 The present invention will be described below with reference to an embodiment, but the present invention is not limited to the embodiment described below.
図1は、本発明の通信システムの一実施形態を示す図である。通信システム100は、通信装置10a~10hと、表示装置20a~20h,22a~22hと、画像提供装置30a~30hと、通信管理装置40とを含んで構成される。 Figure 1 is a diagram showing one embodiment of a communication system of the present invention. The communication system 100 includes communication devices 10a-10h, display devices 20a-20h and 22a-22h, image providing devices 30a-30h, and a communication management device 40.
通信装置10a~10hは、他拠点の通信装置10a~10hとの間で画像および音声を相互に通信し、当該通信装置10a~10hに接続された表示装置20a~20h,22a~22hに画像を表示すると共に音声を出力する装置である。通信装置10a~10hは、ルータ50およびネットワーク60を介して通信管理装置40に自拠点の画像および音声を送信する。また、通信装置10a~10hは、通信管理装置40から他拠点の画像を受信し、表示装置20a~20h,22a~22hに自拠点の画像および他拠点の画像を表示すると共に他拠点の音声を出力する。 The communication devices 10a to 10h communicate images and audio with the communication devices 10a to 10h at other locations, and display images and output audio on the display devices 20a to 20h, 22a to 22h connected to the communication devices 10a to 10h. The communication devices 10a to 10h transmit images and audio of their own location to the communication management device 40 via the router 50 and the network 60. The communication devices 10a to 10h also receive images of the other locations from the communication management device 40, and display images of their own location and the other locations on the display devices 20a to 20h, 22a to 22h, while outputting audio of the other locations.
本実施形態では、通信装置10a~10hは、有線通信によって表示装置20a~20h,22a~22hに画像を出力するが、他の実施形態では、無線通信によって当該表示装置に画像を出力してもよい。また、本実施形態では、1の通信装置に対して2の表示装置が接続されているが、他の実施形態では、1の通信装置に3以上の表示装置を接続してもよい。さらに他の実施形態では、通信装置に1以上の表示装置が内蔵されていて、デュアル・ディスプレイ対応とされていてもよい。 In this embodiment, the communication devices 10a-10h output images to the display devices 20a-20h, 22a-22h by wired communication, but in other embodiments, the images may be output to the display devices by wireless communication. Also, in this embodiment, two display devices are connected to one communication device, but in other embodiments, three or more display devices may be connected to one communication device. In still other embodiments, one or more display devices may be built into the communication device, making it compatible with dual displays.
画像提供装置30a~30hは、接続された通信装置10a~10hに対して画像を提供する装置である。画像提供装置30a~30hは、画像提供装置30a~30hの表示装置に表示される画像を通信装置10a~10hに提供する。画像提供装置30a~30hが提供する画像には、例えば、文書作成ソフトウェア、表計算ソフトウェア、プレゼンテーション用ソフトウェア等を用いて作成される資料画像や画像提供装置30a~30hのデスクトップ画面、アプリケーションプログラムのUI(User Interface)等の種々の画像が含まれる。なお、図1では、デスクトップ型のパーソナルコンピュータが画像提供装置30a~30hとして通信装置10a~10hと相互接続しているものとして説明するが、画像提供装置30a~30hとして、デスクトップ型PCの他、ノートブック型PC、iPad(登録商標)などのタブレット型PC、iPhone(登録商標)やアンドロイド(登録商標)などを搭載したスマートホンなども好ましく使用することができる。 The image providing devices 30a to 30h are devices that provide images to the connected communication devices 10a to 10h. The image providing devices 30a to 30h provide the communication devices 10a to 10h with images displayed on the display devices of the image providing devices 30a to 30h. The images provided by the image providing devices 30a to 30h include various images such as document images created using word processing software, spreadsheet software, presentation software, etc., desktop screens of the image providing devices 30a to 30h, and UIs (User Interfaces) of application programs. Note that in FIG. 1, a desktop personal computer is described as being interconnected with the communication devices 10a to 10h as the image providing devices 30a to 30h, but as the image providing devices 30a to 30h, in addition to desktop PCs, notebook PCs, tablet PCs such as iPad (registered trademark), and smartphones equipped with iPhone (registered trademark) or Android (registered trademark) can also be preferably used.
通信管理装置40は、通信システム100のデータ通信を管理する装置である。通信管理装置40は、複数の拠点間の通信装置10a~10hのセッションを確立し、各通信装置10a~10hの画像および音声を中継する。 The communication management device 40 is a device that manages data communications in the communication system 100. The communication management device 40 establishes sessions between the communication devices 10a to 10h between multiple bases, and relays images and audio from each of the communication devices 10a to 10h.
図2は、通信装置10aのハードウェア構成図の一実施形態を示す。以下、図2を参照して、通信装置10aのハードウェア構成について説明する。なお、他の通信装置10b~10hのハードウェア構成は、通信装置10aと同様であるため、説明を省略する。 Figure 2 shows one embodiment of a hardware configuration diagram of communication device 10a. Below, the hardware configuration of communication device 10a will be described with reference to Figure 2. Note that the hardware configurations of the other communication devices 10b to 10h are similar to that of communication device 10a, so the description will be omitted.
通信装置10aは、CPU(Central Processing Unit)201と、ROM(Read Only Memory)202と、RAM(Random Access Memory)203と、SSD(Solid State Drive)204と、メディアドライブ206とを含んで構成される。これらの装置はデータバス209を介して接続されている。 The communication device 10a includes a CPU (Central Processing Unit) 201, a ROM (Read Only Memory) 202, a RAM (Random Access Memory) 203, a Solid State Drive (SSD) 204, and a media drive 206. These devices are connected via a data bus 209.
CPU201は、通信装置10a全体の動作を制御するプロセッサである。ROM202は、本発明のプログラムが記憶される記憶装置である。RAM203は、本発明のプログラムの実行空間を提供する記憶装置である。通信装置10aは、WINDOWS(登録商標)シリーズ、Mac(登録商標)OS(Operating System)、UNIX(登録商標)、LINUX(登録商標)などのOSの管理下でアセンブラ、C、C++、Java(登録商標)、JavaScript(登録商標)、PERL、RUBY、PYTHON(登録商標)などのプログラム言語で記述された本発明のプログラムを、RAM203に展開して実行することにより、後述する各機能手段を通信装置10a上に実現する。 The CPU 201 is a processor that controls the overall operation of the communication device 10a. The ROM 202 is a storage device in which the program of the present invention is stored. The RAM 203 is a storage device that provides an execution space for the program of the present invention. The communication device 10a implements each of the functional means described below on the communication device 10a by expanding the program of the present invention, which is written in a programming language such as Assembler, C, C++, Java (registered trademark), JavaScript (registered trademark), PERL, RUBY, or PYTHON (registered trademark), in the RAM 203 and executing it under the management of an OS such as the WINDOWS (registered trademark) series, Mac (registered trademark) OS (Operating System), UNIX (registered trademark), or LINUX (registered trademark).
SSD204は、画像や音声等の各種データを記憶するフラッシュメモリやEEPROM(Electrically Erasable and Programmable ROM)等の不揮発メモリ(図示せず)を備えており、フラッシュメモリに対する各種データの読み出しまたは書き込みを制御する。メディアドライブ206は、フラッシュメモリ等の記録メディア205を挿入可能な装置であり、記録メディア205に対するデータの読み出しまたは書き込みを制御する。 The SSD 204 includes non-volatile memory (not shown) such as a flash memory or an EEPROM (Electrically Erasable and Programmable ROM) that stores various data such as images and audio, and controls the reading and writing of various data from and to the flash memory. The media drive 206 is a device into which a recording medium 205 such as a flash memory can be inserted, and controls the reading and writing of data from and to the recording medium 205.
また、通信装置10aは、操作ボタン207と、電源スイッチ208と、ネットワークインタフェース(I/F)210と、撮像素子I/F212と、音声入出力I/F215と、表示装置I/F216と、表示装置I/F217と、外部装置I/F218とを含んで構成される。これらの装置はデータバス209を介して接続される。 The communication device 10a also includes an operation button 207, a power switch 208, a network interface (I/F) 210, an image sensor I/F 212, an audio input/output I/F 215, a display device I/F 216, a display device I/F 217, and an external device I/F 218. These devices are connected via a data bus 209.
操作ボタン207は、セッションを確立する他拠点の通信装置の選択や種々の設定を行う入力装置である。電源スイッチ208は、通信装置10aの電源のON/OFFを切り換えるスイッチである。ネットワークI/F210は、ルータ50との接続を提供するインタフェースであり、ネットワーク60を介したデータ通信を行う。 The operation button 207 is an input device for selecting a communication device at another base with which to establish a session and for performing various settings. The power switch 208 is a switch for switching the power of the communication device 10a ON/OFF. The network I/F 210 is an interface that provides a connection to the router 50 and performs data communication via the network 60.
撮像素子I/F212は、被写体を撮像して画像を生成するCCD(Charge Coupled Device)211を接続するインタフェースであり、CCD211を制御して画像を生成する。本実施形態では、撮像素子としてCCDを採用するが、CMOS(Complementary Metal Oxide Semiconductor)等の他の撮像素子を採用してもよい。 The image sensor I/F 212 is an interface that connects a CCD (Charge Coupled Device) 211 that captures an image of a subject and generates an image, and controls the CCD 211 to generate an image. In this embodiment, a CCD is used as the image sensor, but other image sensors such as a CMOS (Complementary Metal Oxide Semiconductor) may also be used.
音声入出力I/F215は、マイク213およびスピーカ214を接続するインタフェースであり、マイク213およびスピーカ214との間で音声信号の入出力を行う。表示装置I/F216は、表示装置20aを接続するインタフェースであり、表示装置20aに画像を出力する。表示装置I/F217は、表示装置22aを接続するインタフェースであり、表示装置22aに画像を出力する。 The audio input/output I/F 215 is an interface that connects the microphone 213 and the speaker 214, and performs input and output of audio signals between the microphone 213 and the speaker 214. The display device I/F 216 is an interface that connects the display device 20a, and outputs images to the display device 20a. The display device I/F 217 is an interface that connects the display device 22a, and outputs images to the display device 22a.
表示装置20a,22aは、通信装置10aが出力する種々の画像を表示する表示装置である。外部装置I/F218は、画像提供装置30aを接続するインタフェースであり、画像提供装置30aから画像を受信する。 The display devices 20a and 22a are display devices that display various images output by the communication device 10a. The external device I/F 218 is an interface that connects to the image providing device 30a and receives images from the image providing device 30a.
図3は、通信装置10aの機能構成の一実施形態を示す図である。以下、図3を参照して、通信装置10aの機能構成について説明する。なお、他の通信装置10b~10hの機能構成は、通信装置10aと同様であるため、説明を省略する。 Figure 3 is a diagram showing one embodiment of the functional configuration of communication device 10a. Below, the functional configuration of communication device 10a will be described with reference to Figure 3. Note that the functional configurations of the other communication devices 10b to 10h are similar to that of communication device 10a, and therefore will not be described.
通信装置10aは、制御部300と、送受信部302と、操作受付部304と、撮像部306とを含んで構成される。 The communication device 10a includes a control unit 300, a transmission/reception unit 302, an operation reception unit 304, and an imaging unit 306.
制御部300は、通信装置10aが実行する処理の全体制御を行う機能手段である。制御部300は、後述する機能手段を用いて種々の処理を実行する。 The control unit 300 is a functional means that performs overall control of the processes executed by the communication device 10a. The control unit 300 executes various processes using the functional means described below.
送受信部302は、通信管理装置40または画像提供装置30aとの通信を行う機能手段であり、ネットワークI/F210および外部装置I/F218によって実現される。 The transmission/reception unit 302 is a functional means for communicating with the communication management device 40 or the image providing device 30a, and is realized by the network I/F 210 and the external device I/F 218.
操作受付部304は、ユーザによる各種の操作指示を受け付ける機能手段である。例えば、ユーザが電源スイッチ208をONにすると電源投入指示が発行される。操作受付部304は、当該指示を受け付けると、通信装置10aの電源をONにする。また、ユーザが操作ボタン207によって表示装置20a~20h,22a~22hの表示方式を変更すると、表示方式の変更指示が発行される。操作受付部304は、当該指示を受けると、配置情報設定部314に対し、ユーザが指定した表示方式(「VIEW_MULTI」および「SHARED_MULTI」等)を、表示装置の表示方式を指定する設定情報(以下、「表示方式設定情報」とする。)として記憶部310に保存させる。なお、本実施形態の表示方式については、図5を参照して詳述する。 The operation reception unit 304 is a functional means for receiving various operation instructions from the user. For example, when the user turns on the power switch 208, a power-on instruction is issued. When the operation reception unit 304 receives this instruction, it turns on the power of the communication device 10a. When the user changes the display method of the display devices 20a to 20h, 22a to 22h using the operation button 207, an instruction to change the display method is issued. When the operation reception unit 304 receives this instruction, it causes the layout information setting unit 314 to store the display method specified by the user (such as "VIEW_MULTI" and "SHARED_MULTI") in the storage unit 310 as setting information specifying the display method of the display device (hereinafter referred to as "display method setting information"). The display method of this embodiment will be described in detail with reference to FIG. 5.
撮像部306は、被写体を撮像して画像を生成する機能手段であり、CCD211および撮像素子I/F212によって実現される。撮像部306は、通信装置10aが起動すると撮影画像を生成する。 The imaging unit 306 is a functional means for capturing an image of a subject and generating an image, and is realized by the CCD 211 and the image sensor I/F 212. The imaging unit 306 generates a captured image when the communication device 10a is started.
また、通信装置10aは、メモリ制御部308と、記憶部310と、配置情報設定部314と、表示制御部316と、表示装置検出部318と、音声入力部320と、音声出力部322とを含んで構成される。 The communication device 10a also includes a memory control unit 308, a storage unit 310, a layout information setting unit 314, a display control unit 316, a display device detection unit 318, an audio input unit 320, and an audio output unit 322.
メモリ制御部308は、記憶部310を制御する手段である。メモリ制御部308は、記憶部310に各種データを保存し、また、記憶部310に保存された各種データを読み出す。 The memory control unit 308 is a means for controlling the storage unit 310. The memory control unit 308 stores various data in the storage unit 310, and also reads out various data stored in the storage unit 310.
配置情報設定部314は、表示装置20a~20h,22a~22hに表示する画像の表示方式を規定する配置情報および表示方式設定情報を設定する機能手段である。配置情報設定部314は、記憶部310の配置情報テーブル312に配置情報を設定する。また、配置情報設定部314は、表示方式設定情報を記憶部310に保存する。 The layout information setting unit 314 is a functional means for setting layout information and display method setting information that specifies the display method of the image to be displayed on the display devices 20a-20h and 22a-22h. The layout information setting unit 314 sets the layout information in the layout information table 312 of the storage unit 310. The layout information setting unit 314 also stores the display method setting information in the storage unit 310.
表示制御部316は、表示装置20a~20h,22a~22hを制御する機能手段である。表示制御部316は、記憶部310に保存された表示方式設定情報と、配置情報テーブル312に登録された配置情報とを使用して、当該表示装置に表示すべき画像を特定し、所定の画面割りに従って、当該画像を表示装置20a,22aに表示する。 The display control unit 316 is a functional means for controlling the display devices 20a to 20h, 22a to 22h. The display control unit 316 uses the display method setting information stored in the storage unit 310 and the layout information registered in the layout information table 312 to identify an image to be displayed on the display device, and displays the image on the display devices 20a, 22a according to a predetermined screen layout.
表示装置20a,22aに表示される画像には、自拠点または他拠点の通信装置10a~10hの撮像部306が撮像した画像(以下、「撮影画像」とする。)と、自拠点または他拠点の画像提供装置30a~30hが提供する画像とが含まれる。 The images displayed on the display devices 20a and 22a include images captured by the imaging units 306 of the communication devices 10a to 10h at the local base or other bases (hereinafter referred to as "captured images") and images provided by the image providing devices 30a to 30h at the local base or other bases.
音声入力部320は、ユーザの発話等の音声を検出して音声信号を生成する機能手段である。また、音声入力部320は、ユーザの音声を音声信号に変換し、当該音声信号の強度を測定し、当該強度が所定の閾値以上である場合に、ユーザの発話を検出する。音声出力部322は、音声信号を音声に変換して出力する機能手段である。 The audio input unit 320 is a functional means for detecting audio, such as a user's speech, and generating an audio signal. The audio input unit 320 also converts the user's speech into an audio signal, measures the strength of the audio signal, and detects the user's speech when the strength is equal to or greater than a predetermined threshold. The audio output unit 322 is a functional means for converting the audio signal into audio and outputting it.
表示装置検出部318は、通信装置10aに接続されている通電状態の表示装置を検出する手段である。表示装置検出部318は、表示装置のデバイスドライバであるグラフィックドライバによって、表示装置I/F216,217に接続されている表示装置の通電状態を検出し、通電状態の表示装置の個数を計数する。本実施形態では、WINDOWS(登録商標)OSが提供するAPI関数およびグラフィックドライバを用いて、通電状態の表示装置の個数を計数する。 The display device detection unit 318 is a means for detecting a powered display device connected to the communication device 10a. The display device detection unit 318 detects the powered state of the display devices connected to the display device I/Fs 216 and 217 using a graphic driver, which is a device driver for the display device, and counts the number of powered display devices. In this embodiment, the number of powered display devices is counted using an API function and graphic driver provided by the WINDOWS (registered trademark) OS.
制御部300は、通信装置10aの電源が投入されると、後述する表示装置の検出処理を実行し、撮像部306に撮影画像を生成させる。制御部300は、通信装置10a~10hに画像提供装置30a~30hが接続されている場合、当該画像提供装置30a~30hにメニュー画面を表示させ、画像提供を可能とさせている。 When the communication device 10a is powered on, the control unit 300 executes a display device detection process described below and causes the imaging unit 306 to generate a captured image. When an image providing device 30a-30h is connected to the communication devices 10a-10h, the control unit 300 causes the image providing device 30a-30h to display a menu screen, enabling image provision.
制御部300は、ユーザの指示に従い、他拠点の通信装置とのセッションの確立を通信管理装置40に要求する。セッションが確立すると、制御部300は、撮像部306が生成した自拠点の撮影画像と、画像提供装置30aが提供する画像とを、通信管理装置40を介して他拠点の通信装置に送信する。また、制御部300は、他拠点の通信装置から画像を受信すると、当該画像を表示装置20a,22aに表示する。また、通信装置10a~10hに画像提供装置30a~30hが接続されている場合、ユーザが当該画像提供装置に表示されたメニュー画面上の共有開始ボタンが選択されると、当該画像提供装置30a~30hから画像を取得する。 The control unit 300 requests the communication management device 40 to establish a session with a communication device at another base in accordance with a user's instruction. When the session is established, the control unit 300 transmits the captured image of the own base generated by the imaging unit 306 and the image provided by the image providing device 30a to the communication device at the other base via the communication management device 40. When the control unit 300 receives an image from the communication device at the other base, it displays the image on the display device 20a, 22a. When the image providing device 30a-30h is connected to the communication devices 10a-10h, when the user selects the start sharing button on the menu screen displayed on the image providing device, the control unit 300 acquires an image from the image providing device 30a-30h.
制御部300は、ユーザの発話を検出すると、ユーザが発話していることを示す情報(以下、「発話情報」とする。)を撮影画像に付加して通信管理装置40に送信する。制御部300は、他拠点から発話情報が付加された撮影画像を受信すると、当該撮影画像が表示装置20a,22aの所定の表示領域に表示されるよう、配置情報テーブル312の配置情報を変更する。 When the control unit 300 detects the user's speech, it adds information indicating that the user is speaking (hereinafter referred to as "speech information") to the captured image and transmits it to the communication management device 40. When the control unit 300 receives a captured image with speech information added from another location, it changes the placement information in the placement information table 312 so that the captured image is displayed in a specified display area of the display device 20a, 22a.
図4は、本発明の通信装置が起動時に実行する表示装置の検出処理を示すフローチャートである。以下、図4を参照して、通信装置10aの電源が投入された際に実行される表示装置の検出処理について説明する。 Figure 4 is a flowchart showing the display device detection process executed by the communication device of the present invention at startup. Below, the display device detection process executed when the communication device 10a is powered on will be described with reference to Figure 4.
図4の処理は、ステップS400で通信装置10aの電源が投入されることにより開始する。ステップS401では、表示装置検出部318が、RAM203に確保される変数(ACTIVE)を0で初期化する。ステップS402では、表示装置検出部318は、通信装置10aに接続されている表示装置のうち通電状態の表示装置の個数を計数し、その個数を変数(ACTIVE)に設定する。ステップS403では、配置情報設定部314が、変数(ACTIVE)の値が0であるか否か判断する。変数(ACTIVE)の値が0のときには(yes)、処理をステップS402に戻す。一方、変数(ACTIVE)の値が0でないときには(no)、処理がステップS404に分岐する。 The process in FIG. 4 begins when the communication device 10a is powered on in step S400. In step S401, the display device detection unit 318 initializes the variable (ACTIVE) secured in the RAM 203 to 0. In step S402, the display device detection unit 318 counts the number of powered display devices among the display devices connected to the communication device 10a, and sets this number to the variable (ACTIVE). In step S403, the placement information setting unit 314 determines whether the value of the variable (ACTIVE) is 0. If the value of the variable (ACTIVE) is 0 (yes), the process returns to step S402. On the other hand, if the value of the variable (ACTIVE) is not 0 (no), the process branches to step S404.
ステップS404では、配置情報設定部314は、変数(ACTIVE)を判断し、変数(ACTIVE)の値が1のとき、すなわち、通電状態の1の表示装置が接続されているときは、処理をステップS405に分岐する。ステップS405では、配置情報設定部314は、図5に示すような1の表示装置が接続されているときの配置情報を配置情報テーブルに設定し、ステップS407で処理が終了する。 In step S404, the placement information setting unit 314 judges the variable (ACTIVE), and when the value of the variable (ACTIVE) is 1, that is, when one display device in a powered state is connected, the process branches to step S405. In step S405, the placement information setting unit 314 sets the placement information when one display device is connected, as shown in FIG. 5, in the placement information table, and the process ends in step S407.
一方、変数(ACTIVE)の値が2のとき、すなわち、通電状態の2の表示装置が接続されているときは、処理をステップS406に分岐する。ステップS406では、配置情報設定部314は、図6および図8に示すような2の表示装置が接続されているときの配置情報を配置情報テーブルに設定し、ステップS407で処理が終了する。 On the other hand, when the value of the variable (ACTIVE) is 2, that is, when two powered display devices are connected, the process branches to step S406. In step S406, the layout information setting unit 314 sets the layout information when two display devices are connected, as shown in FIG. 6 and FIG. 8, in the layout information table, and the process ends in step S407.
図5は、通電状態の1の表示装置が通信装置10aに接続されているときの表示方式および配置情報テーブルの一実施形態を示す図である。以下、図5を参照して、通電状態の1の表示装置が通信装置10aに接続されているときの表示装置の画面割り500および配置情報テーブル502について説明する。 Figure 5 is a diagram showing one embodiment of a display method and a layout information table when one display device in a powered state is connected to a communication device 10a. Below, with reference to Figure 5, the screen layout 500 and the layout information table 502 of the display device when one display device in a powered state is connected to a communication device 10a will be described.
画面割り500は、通信装置10aに接続された表示装置の画面割りを示す。図5に示す実施形態では、表示装置の表示領域が4分割されており、表示領域1の面積は、他の表示領域2~4の面積よりも大きい。 Screen layout 500 shows the screen layout of the display device connected to communication device 10a. In the embodiment shown in FIG. 5, the display area of the display device is divided into four, and the area of display area 1 is larger than the areas of the other display areas 2 to 4.
配置情報テーブル502には、通電状態の1の表示装置が通信装置10aに接続されているときの配置情報として、表示装置に表示される画像の表示方式と、当該表示装置の表示領域に表示される画像の識別情報とが関連付けて登録される。 In the arrangement information table 502, the display method of the image displayed on the display device and the identification information of the image displayed in the display area of the display device are registered in association with each other as arrangement information when a display device in a powered state is connected to the communication device 10a.
本実施形態の表示方式には「VIEW_MULTI」および「SHARED_MULTI」がある。「VIEW_MULTI」は、通信装置10a~10hが自拠点および他拠点の撮影画像を表示する方式を示す。「SHARED_MULTI」は、自拠点および他拠点の撮影画像に加えて、画像提供装置30a~30hが提供する画像を表示する方式を示す。本実施形態では、これらの表示方式はユーザによって指定され、表示方式設定情報として記憶部310に保存される。 Display methods in this embodiment include "VIEW_MULTI" and "SHARED_MULTI." "VIEW_MULTI" indicates a method in which communication devices 10a-10h display images captured at their own base and other bases. "SHARED_MULTI" indicates a method in which images provided by image providing devices 30a-30h are displayed in addition to images captured at their own base and other bases. In this embodiment, these display methods are specified by the user and stored in the storage unit 310 as display method setting information.
図5に示す実施形態では、表示方式が「VIEW_MULTI」である場合には、表示領域1に他拠点の撮影画像が表示され、表示領域2に自拠点の撮影画像が表示される。また、表示方式が「SHARED_MULTI」である場合には、表示領域1に資料画像が表示され、表示領域2に他拠点の撮影画像が表示され、表示領域3に自拠点の撮影画像が表示される。 In the embodiment shown in FIG. 5, when the display method is "VIEW_MULTI", images taken at other locations are displayed in display area 1, and images taken at the user's own location are displayed in display area 2. When the display method is "SHARED_MULTI", document images are displayed in display area 1, images taken at other locations are displayed in display area 2, and images taken at the user's own location are displayed in display area 3.
他の実施形態では、本実施形態のようにユーザ指令によって表示方式「VIEW_MULTI」および「SHARED_MULTI」を切り替えるのではなく、通信装置10a~10hが、画像提供装置30a~30hによる画像提供が開始されたことを検知し、表示方式を切り替えてもよい。 In other embodiments, instead of switching between the display modes "VIEW_MULTI" and "SHARED_MULTI" by user command as in this embodiment, the communication devices 10a to 10h may detect that image provision by the image provision devices 30a to 30h has begun and switch the display mode.
具体的には、通信装置10a~10hが、例えば、特定のアプリケーションポートにおける通信開始や画像提供の開始を示す画像提供装置30a~30hからの明示的な通知を検知し、表示方式を「VIEW_MULTI」から「SHARED_MULTI」に自動的に切り替える。画像提供装置30a~30hからの画像提供が終了または中断すると、通信装置10a~10hは、表示方式を「SHARED_MULTI」から「VIEW_MULTI」に切り替える。これにより、ユーザによる操作を省略することができると共に、提供画像のストリーム処理を効率化させることができる。 Specifically, the communication devices 10a to 10h detect, for example, an explicit notification from the image providing devices 30a to 30h indicating the start of communication on a specific application port or the start of image provision, and automatically switch the display method from "VIEW_MULTI" to "SHARED_MULTI". When the image provision from the image providing devices 30a to 30h ends or is interrupted, the communication devices 10a to 10h switch the display method from "SHARED_MULTI" to "VIEW_MULTI". This makes it possible to eliminate user operations and to make the stream processing of provided images more efficient.
より詳細には、通信装置10a~10hの送受信部302が画像提供装置30a~30hから画像を受信すると、制御部300が、当該画像提供装置による画像提供が開始したこと通知する画像提供開始イベントを発行する。配置情報設定部314は、画像提供開始イベントを検知すると、表示方式設定情報を「SHARED_MULTI」に設定する。そして、表示制御部316は、配置情報テーブルを参照し、表示方式設定情報「SHARED_MULTI」に関連付けられている配置情報に従って資料画像および撮影画像を表示装置20a,20bに表示する。 More specifically, when the transmitting/receiving unit 302 of the communication devices 10a to 10h receives an image from the image providing device 30a to 30h, the control unit 300 issues an image provision start event to notify that the image providing device has started providing images. When the arrangement information setting unit 314 detects the image provision start event, it sets the display method setting information to "SHARED_MULTI". Then, the display control unit 316 refers to the arrangement information table and displays the document image and the captured image on the display devices 20a, 20b according to the arrangement information associated with the display method setting information "SHARED_MULTI".
画像提供装置30a~30hによる画像提供が停止すると、制御部300は、当該画像提供装置による画像提供が停止したこと通知する画像提供停止イベントを発行する。配置情報設定部314は、画像提供停止イベントを検知すると、表示方式設定情報を「SHARED_MULTI」から「VIEW_MULTI」に変更する。そして、表示制御部316は、配置情報テーブルを参照し、表示方式設定情報「VIEW_MULTI」に関連付けられている配置情報に従って撮影画像を表示装置20a,20bに表示する。 When image provision by the image providing devices 30a to 30h stops, the control unit 300 issues an image provision stop event to notify that image provision by the image providing device has stopped. When the arrangement information setting unit 314 detects the image provision stop event, it changes the display method setting information from "SHARED_MULTI" to "VIEW_MULTI". Then, the display control unit 316 refers to the arrangement information table, and displays the captured image on the display devices 20a and 20b according to the arrangement information associated with the display method setting information "VIEW_MULTI".
本実施形態では、表示装置の画面を4つの表示領域に分割するが、他の実施形態では、3または5以上の表示領域に分割してもよい。また、本実施形態の配置情報は、2拠点で画像を共有する場合の配置情報であるが、本発明は、3以上の拠点で画像を共有することもできる。 In this embodiment, the screen of the display device is divided into four display areas, but in other embodiments, it may be divided into three or five or more display areas. Also, the layout information in this embodiment is layout information when an image is shared between two locations, but the present invention can also share an image between three or more locations.
3以上の拠点で画像を共有する場合、表示方式「VIEW_MULTI」が指定されるときは、ユーザが注目すべき他拠点の撮影画像、すなわち、発話を検出した拠点の撮影画像が表示領域1に表示されるように配置情報を変更し、ユーザが発話をしている拠点の撮影画像を表示領域1に表示することができる。 When sharing images among three or more locations, if the display method "VIEW_MULTI" is specified, the layout information is changed so that the captured image of the other location on which the user should pay attention, i.e., the captured image of the location where speech was detected, is displayed in display area 1, and the captured image of the location where the user is speaking can be displayed in display area 1.
図6は、通電状態の2の表示装置が通信装置10aに接続されているときの表示方式および配置情報テーブルの一実施形態を示す図である。以下、図6を参照して、通電状態の2の表示装置が通信装置10aに接続されているときの表示装置の画面割り600,602および配置情報テーブル604について説明する。 Figure 6 is a diagram showing one embodiment of a display method and a layout information table when a powered display device 2 is connected to a communication device 10a. Below, with reference to Figure 6, the screen layouts 600, 602 of the display device and the layout information table 604 when a powered display device 2 is connected to a communication device 10a will be described.
画面割り600は、通信装置10aに接続された第1の表示装置の画面割りである。図6に示す実施形態では、表示装置の表示領域が4分割されており、表示領域1の面積は、他の表示領域2~4の面積よりも大きい。画面割り602は、通信装置10aに接続された第2の表示装置の画面割りであり、1の表示領域で構成される。 Screen layout 600 is the screen layout of a first display device connected to communication device 10a. In the embodiment shown in FIG. 6, the display area of the display device is divided into four, with display area 1 being larger than the areas of the other display areas 2 to 4. Screen layout 602 is the screen layout of a second display device connected to communication device 10a, and is composed of one display area.
配置情報テーブル604には、通電状態の2の表示装置が通信装置10aに接続されているときの配置情報として、第1の表示装置および第2の表示装置に表示される画像の表示方式と、当該表示装置の表示領域に表示される画像の識別情報とが関連付けて登録される。 In the arrangement information table 604, the display method of the images displayed on the first display device and the second display device and the identification information of the images displayed in the display area of the display device are registered in association with each other as arrangement information when the two display devices in the powered state are connected to the communication device 10a.
図6に示す実施形態では、表示方式が「VIEW_MULTI」である場合には、第1の表示装置の表示領域1に他拠点の撮影画像が表示され、第1の表示装置の表示領域2に自拠点の撮影画像が表示される。一方、第2の表示装置の表示領域1には画像が表示されない。 In the embodiment shown in FIG. 6, when the display method is "VIEW_MULTI", an image captured at another location is displayed in display area 1 of the first display device, and an image captured at the own location is displayed in display area 2 of the first display device. On the other hand, no image is displayed in display area 1 of the second display device.
表示方式が「SHARED_MULTI」である場合には、第1の表示装置の表示領域1に他拠点の撮影画像が表示され、第1の表示装置の表示領域2に自拠点の撮影画像が表示される。一方、第2の表示装置の表示領域1に資料画像が表示される。 When the display method is "SHARED_MULTI", an image taken at another location is displayed in display area 1 of the first display device, and an image taken at the own location is displayed in display area 2 of the first display device. Meanwhile, a document image is displayed in display area 1 of the second display device.
本実施形態では、表示装置の画面を4つの表示領域に分割するが、他の実施形態では、3または5以上の表示領域に分割してもよい。また、本実施形態の配置情報は、2拠点で画像を共有する場合の配置情報であるが、本発明は、3以上の拠点で画像を共有することもできる。3以上の拠点で画像を共有する場合には、ユーザが注目すべき他拠点の撮影画像、すなわち、発話を検出した拠点の撮影画像が第1の表示装置の表示領域1に表示されるように配置情報を変更し、ユーザが発話をしている拠点の撮影画像を当該表示領域に表示することができる。 In this embodiment, the screen of the display device is divided into four display areas, but in other embodiments, it may be divided into three or five or more display areas. Also, the layout information in this embodiment is layout information when an image is shared among two locations, but the present invention can also share an image among three or more locations. When sharing an image among three or more locations, the layout information is changed so that a captured image of another location that the user should pay attention to, i.e., a captured image of the location where speech was detected, is displayed in display area 1 of the first display device, and the captured image of the location where the user is speaking can be displayed in that display area.
本実施形態では、自拠点および他拠点の撮影画像を第1の表示装置に表示し、画像提供装置30a~30hが提供する資料画像等の画像を第2の表示装置に表示するため、これらの画像の視認性を向上させることができる。 In this embodiment, images captured at the local location and other locations are displayed on a first display device, and images such as document images provided by image providing devices 30a to 30h are displayed on a second display device, thereby improving the visibility of these images.
図7は、図6に示す画面割りおよび配置情報に基づく表示装置の画面の一実施形態を示す図である。画面700および画面706は、表示方式「VIEW_MULTI」が選択されたときの第1の表示装置の画面および第2の表示装置の画面である。画面700の表示領域702には他拠点の撮影画像が表示され、表示領域704には自拠点の撮影画像が表示される。画面706には画像が表示されない。 Figure 7 is a diagram showing one embodiment of the screen of a display device based on the screen layout and arrangement information shown in Figure 6. Screens 700 and 706 are the screens of the first display device and the second display device when the display method "VIEW_MULTI" is selected. Images captured at the other location are displayed in display area 702 of screen 700, and images captured at the own location are displayed in display area 704. No image is displayed on screen 706.
画面710および画面716は、表示方式「SHARED_MULTI」が選択されたときの第1の表示装置の画面および第2の表示装置の画面である。画面710の表示領域712には他拠点の撮影画像が表示され、表示領域714には自拠点の撮影画像が表示される。画面716には資料画像が表示される。 Screen 710 and screen 716 are the screens of the first display device and the second display device when the display method "SHARED_MULTI" is selected. Images captured at the other location are displayed in display area 712 of screen 710, and images captured at the user's own location are displayed in display area 714. Document images are displayed on screen 716.
図8は、通電状態の2の表示装置が通信装置10aに接続されているときの表示方式および配置情報テーブルの別の実施形態を示す図である。以下、図8を参照して、通電状態の2の表示装置が通信装置10aに接続されているときの表示装置の画面割り800,802および配置情報テーブル804について説明する。 Figure 8 is a diagram showing another embodiment of the display method and layout information table when the powered display device 2 is connected to the communication device 10a. Below, with reference to Figure 8, the screen layouts 800, 802 of the display device and the layout information table 804 when the powered display device 2 is connected to the communication device 10a will be described.
画面割り800は、通信装置10aに接続された第1の表示装置の画面割りである。図8に示す実施形態では、表示装置の表示領域が4つに等分されている。画面割り802は、通信装置10aに接続された第2の表示装置の画面割りであり、1の表示領域で構成される。本実施形態では、表示装置の画面を4つの表示領域に分割するが、他の実施形態では、3または5以上の表示領域に分割してもよい。 Screen layout 800 is the screen layout of a first display device connected to communication device 10a. In the embodiment shown in FIG. 8, the display area of the display device is divided into four equal parts. Screen layout 802 is the screen layout of a second display device connected to communication device 10a, and is composed of one display area. In this embodiment, the screen of the display device is divided into four display areas, but in other embodiments, it may be divided into three or five or more display areas.
配置情報テーブル804には、通電状態の2の表示装置が通信装置10aに接続されているときの配置情報として、第1の表示装置および第2の表示装置に表示される画像の表示方式と、当該表示装置の表示領域に表示される画像の識別情報とが関連付けて登録される。 In the arrangement information table 804, the display method of the images displayed on the first display device and the second display device and the identification information of the images displayed in the display area of the display device are registered in association with each other as arrangement information when the two display devices in the powered state are connected to the communication device 10a.
図8に示す実施形態では、表示方式が「VIEW_MULTI」である場合には、第1の表示装置の表示領域1に自拠点の撮影画像が表示され、第2の表示装置の表示領域1に他拠点の撮影画像が表示される。 In the embodiment shown in FIG. 8, when the display method is "VIEW_MULTI", an image captured at the own location is displayed in display area 1 of the first display device, and an image captured at another location is displayed in display area 1 of the second display device.
表示方式が「SHARED_MULTI」である場合には、第1の表示装置の表示領域1に他拠点の撮影画像が表示され、第1の表示装置の表示領域2に自拠点の撮影画像が表示される。一方、第2の表示装置の表示領域2に資料画像が表示される。 When the display method is "SHARED_MULTI", an image taken at another location is displayed in display area 1 of the first display device, and an image taken at the own location is displayed in display area 2 of the first display device. Meanwhile, a document image is displayed in display area 2 of the second display device.
本実施形態の配置情報は、2拠点で画像を共有する場合の配置情報であるが、本発明は、3以上の拠点で画像を共有することもできる。この場合、表示方式「VIEW_MULTI」が指定されているときには、ユーザが注目すべき他拠点の撮影画像、すなわち、発話を検出した拠点の撮影画像が第2の表示装置に表示されるように配置情報を変更し、ユーザが発話をしている拠点の撮影画像を第2の表示装置に表示し、それ以外の拠点の撮影画像を第1の表示装置に表示することができる。 The layout information in this embodiment is for when an image is shared among two locations, but the present invention can also share images among three or more locations. In this case, when the display method "VIEW_MULTI" is specified, the layout information is changed so that the captured images of other locations that the user should pay attention to, i.e., the captured images of the location where speech was detected, are displayed on the second display device, and the captured images of the location where the user is speaking are displayed on the second display device, and the captured images of the other locations are displayed on the first display device.
本実施形態では、撮影画像を第1の表示装置に表示し、画像提供装置が提供する資料画像等の画像を第2の表示装置に表示するため、画像の視認性を向上させることができる。また、注目すべき他拠点の撮影画像を、1の表示領域で構成される表示装置に表示するため、画像の視認性を向上させることができる。 In this embodiment, the captured image is displayed on the first display device, and the image such as the document image provided by the image providing device is displayed on the second display device, thereby improving the visibility of the image. In addition, the captured image of another location that is of interest is displayed on the display device configured with one display area, thereby improving the visibility of the image.
図9は、図8に示す画面割りおよび配置情報に基づく表示装置の画面の一実施形態を示す図である。画面900および画面906は、表示方式「VIEW_MULTI」が選択されたときの第1の表示装置の画面および第2の表示装置の画面である。画面900の表示領域902には自拠点の撮影画像が表示され、画面906には他拠点の撮影画像が表示される。 Figure 9 is a diagram showing one embodiment of the screen of a display device based on the screen layout and arrangement information shown in Figure 8. Screens 900 and 906 are the screens of the first display device and the second display device when the display method "VIEW_MULTI" is selected. The display area 902 of screen 900 displays an image captured at the own location, and screen 906 displays an image captured at another location.
画面910および画面916は、表示方式「SHARED_MULTI」が選択されたときの第1の表示装置の画面および第2の表示装置の画面である。画面910の表示領域912には他拠点の撮影画像が表示され、表示領域914には自拠点の撮影画像が表示される。画面916には資料画像が表示される。 Screen 910 and screen 916 are the screens of the first display device and the second display device when the display method "SHARED_MULTI" is selected. Images captured at the other location are displayed in display area 912 of screen 910, and images captured at the user's own location are displayed in display area 914. A document image is displayed on screen 916.
図10は、本発明の通信装置が起動後に実行する表示装置の検出処理を示すフローチャートである。以下、図10を参照して、通信装置10aの起動後に実行される表示装置の検出処理について説明する。 Figure 10 is a flowchart showing the display device detection process executed by the communication device of the present invention after startup. Below, the display device detection process executed after startup of the communication device 10a will be described with reference to Figure 10.
図10の処理は、ステップS1000から開始し、ステップS1001で表示装置検出部318が、通信装置10aのOSが表示装置20a~20h,22a~22hの通電状態を検知して発行する通電変化イベントを受信したか否か判断する。通電変化イベントを受信していない場合には(no)、ステップS1001の処理を反復する。一方、通電変化イベントを受信した場合には(yes)、処理がステップS1002に分岐する。 The process in FIG. 10 starts at step S1000, and in step S1001, the display device detection unit 318 determines whether or not a power change event has been received that is issued by the OS of the communication device 10a upon detecting the power state of the display devices 20a-20h, 22a-22h. If a power change event has not been received (no), the process of step S1001 is repeated. On the other hand, if a power change event has been received (yes), the process branches to step S1002.
ステップS1002では、表示装置検出部318は、RAM203に確保される変数(ACTIVE)を0で初期化する。ステップS1003では、表示装置検出部318が、通信装置10aに接続されている表示装置のうち通電状態の表示装置の個数を計数し、その個数を変数(ACTIVE)に設定する。ステップS1004では、配置情報設定部314が、変数(ACTIVE)の値が0であるか否か判断する。変数(ACTIVE)の値が0のときには(yes)、処理をステップS1003に戻す。一方、変数(ACTIVE)の値が0でないときには(no)、処理がステップS1005に分岐する。 In step S1002, the display device detection unit 318 initializes the variable (ACTIVE) secured in the RAM 203 to 0. In step S1003, the display device detection unit 318 counts the number of powered display devices among the display devices connected to the communication device 10a, and sets this number to the variable (ACTIVE). In step S1004, the placement information setting unit 314 determines whether the value of the variable (ACTIVE) is 0. If the value of the variable (ACTIVE) is 0 (yes), the process returns to step S1003. On the other hand, if the value of the variable (ACTIVE) is not 0 (no), the process branches to step S1005.
ステップS1005では、配置情報設定部314は、変数(ACTIVE)の値を判断し、変数(ACTIVE)の値が1のとき、すなわち、通電状態の1の表示装置が接続されているときは、処理をステップS1006に分岐する。ステップS1006では、配置情報設定部314は、図5に示すような1の表示装置が接続されているときの配置情報を配置情報テーブルに設定し、ステップS1008で処理が終了する。 In step S1005, the placement information setting unit 314 determines the value of the variable (ACTIVE), and when the value of the variable (ACTIVE) is 1, that is, when one powered display device is connected, the process branches to step S1006. In step S1006, the placement information setting unit 314 sets the placement information when one display device is connected, as shown in FIG. 5, in the placement information table, and the process ends in step S1008.
一方、変数(ACTIVE)の値が2のとき、すなわち、通電状態の2の表示装置が接続されているときは、処理をステップS1007に分岐する。ステップS1007では、配置情報設定部314は、図6および図8に示すような2の表示装置が接続されているときの配置情報を配置情報テーブルに設定し、ステップS1008で処理が終了する。 On the other hand, when the value of the variable (ACTIVE) is 2, that is, when two powered display devices are connected, the process branches to step S1007. In step S1007, the layout information setting unit 314 sets the layout information when two display devices are connected, as shown in Figures 6 and 8, in the layout information table, and the process ends in step S1008.
上述した処理により、通信装置10aが、起動後に表示装置を通信装置10aに接続し、または表示装置の電源を投入して通電状態となった表示装置を検知することができ、これらの表示装置に画像を表示させることができる。 By performing the above-described process, the communication device 10a can detect display devices that have been connected to the communication device 10a after startup, or that have been powered on and are in a powered state, and can display images on these display devices.
これまで本実施形態につき説明してきたが、本発明は、上述した実施形態に限定されるものではなく、本実施形態の構成要素を変更若しくは削除し、または本実施形態の構成要素を他の構成要素を追加するなど、当業者が想到することができる範囲内で変更することができ、いずれの態様においても本発明の作用効果を奏する限り、本発明の範囲に含まれるものである。 Although the present embodiment has been described so far, the present invention is not limited to the above-described embodiment, and the components of the present embodiment may be modified or deleted, or other components may be added to the components of the present embodiment, within the scope of what a person skilled in the art can conceive of. As long as the effects of the present invention are achieved in any aspect, it is within the scope of the present invention.
上述した機能手段を実現する本発明のプログラムは、ハードディスク装置、CD-ROM、MO、フレキシブルディスク、EEPROM、EPROMなどの装置可読な記録媒体に格納して頒布することができ、また他装置が可能な形式でネットワークを介して伝送することができる。 The program of the present invention that realizes the above-mentioned functional means can be distributed by storing it on a device-readable recording medium such as a hard disk device, CD-ROM, MO, flexible disk, EEPROM, or EPROM, and can also be transmitted over a network in a format that can be used by other devices.
10a~10h…通信装置、20a~20h…表示装置、22a~22h…表示装置、30a~30h…画像提供装置、40…通信管理装置、50…ルータ、60…ネットワーク、100…通信システム 10a-10h...communication device, 20a-20h...display device, 22a-22h...display device, 30a-30h...image providing device, 40...communication management device, 50...router, 60...network, 100...communication system
Claims (9)
画像の表示方式を規定する配置情報が格納される記憶手段と、
前記記憶手段に配置情報を設定する配置情報設定手段と、
前記配置情報を参照して複数の表示装置に画像を表示させる表示制御手段とを含み、
前記表示制御手段は、自拠点および他拠点の撮影画像を第1の表示装置に表示させると共に、自拠点または他拠点の画像提供装置が提供する画像を第2の表示装置に表示させる、通信装置。 A communication device for communicating images and audio,
A storage means for storing layout information defining a display format of an image;
A configuration information setting means for setting configuration information in the storage means;
a display control means for displaying images on a plurality of display devices by referring to the layout information;
The display control means displays images captured at the own location and other locations on a first display device, and displays images provided by an image providing device at the own location or other locations on a second display device.
通電状態の表示装置を検出する表示装置検出手段をさらに含む、請求項1に記載の通信装置。 The communication device includes:
2. The communication device of claim 1, further comprising display device detection means for detecting a powered display device.
前記通信装置は、
画像の表示方式を規定する配置情報が格納される記憶手段と、
前記記憶手段に配置情報を設定する配置情報設定手段と、
前記配置情報を参照して複数の表示装置に前記画像を表示させる表示制御手段とを含み、
前記表示制御手段は、自拠点および他拠点の撮影画像を第1の表示装置に表示させると共に、自拠点または他拠点の画像提供装置が提供する画像を第2の表示装置に表示させる、通信システム。 A communication system including a communication device that performs image and audio communication, and an image providing device that provides an image to the communication device,
The communication device includes:
A storage means for storing layout information defining a display format of an image;
A configuration information setting means for setting configuration information in the storage means;
a display control means for displaying the image on a plurality of display devices by referring to the layout information;
The display control means displays images captured at the own location and other locations on a first display device, and displays images provided by an image providing device at the own location or other locations on a second display device.
通電状態の表示装置を検出する表示装置検出手段をさらに含む、請求項4に記載の通信システム。 The communication device includes:
5. The communication system of claim 4, further comprising display device detection means for detecting a powered display device.
画像の表示方式を規定する配置情報を記憶手段に配置情報を設定するステップと、
前記配置情報を参照して、第1の表示装置に自拠点および他拠点の撮影画像を表示させると共に、自拠点または他拠点の画像提供装置が提供する画像を第2の表示装置に表示させるステップと
を前記通信装置に実行させる装置実行可能なプログラム。 A program for causing a communication device to execute a method executed by the communication device for performing image and audio communication, the program comprising:
setting arrangement information defining a display format of an image in a storage means;
A device-executable program that causes the communication device to execute the steps of: referring to the placement information, causing a first display device to display images taken at the local location and other locations, and causing a second display device to display images provided by an image providing device at the local location or other locations.
Applications Claiming Priority (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2012065917 | 2012-03-22 | ||
| JP2012065917 | 2012-03-22 | ||
| JP2020114699A JP7414360B2 (en) | 2012-03-22 | 2020-07-02 | Communication devices, methods and programs |
| JP2022185837A JP7540476B2 (en) | 2012-03-22 | 2022-11-21 | COMMUNICATION SYSTEM, COMMUNICATION DEVICE, AND PROGRAM |
Related Parent Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2022185837A Division JP7540476B2 (en) | 2012-03-22 | 2022-11-21 | COMMUNICATION SYSTEM, COMMUNICATION DEVICE, AND PROGRAM |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2024156965A true JP2024156965A (en) | 2024-11-06 |
| JP2024156965A5 JP2024156965A5 (en) | 2025-06-24 |
Family
ID=60687209
Family Applications (7)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2017147784A Active JP6394761B2 (en) | 2012-03-22 | 2017-07-31 | Communication apparatus, method and program |
| JP2017206026A Active JP6493483B2 (en) | 2012-03-22 | 2017-10-25 | Communication apparatus, method and program |
| JP2018127436A Active JP6521154B2 (en) | 2012-03-22 | 2018-07-04 | Communication device, method and program |
| JP2019084993A Active JP6729756B2 (en) | 2012-03-22 | 2019-04-26 | Communication system, communication device and program |
| JP2020114699A Active JP7414360B2 (en) | 2012-03-22 | 2020-07-02 | Communication devices, methods and programs |
| JP2022185837A Active JP7540476B2 (en) | 2012-03-22 | 2022-11-21 | COMMUNICATION SYSTEM, COMMUNICATION DEVICE, AND PROGRAM |
| JP2024133749A Pending JP2024156965A (en) | 2012-03-22 | 2024-08-09 | COMMUNICATION SYSTEM, COMMUNICATION DEVICE, AND PROGRAM |
Family Applications Before (6)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2017147784A Active JP6394761B2 (en) | 2012-03-22 | 2017-07-31 | Communication apparatus, method and program |
| JP2017206026A Active JP6493483B2 (en) | 2012-03-22 | 2017-10-25 | Communication apparatus, method and program |
| JP2018127436A Active JP6521154B2 (en) | 2012-03-22 | 2018-07-04 | Communication device, method and program |
| JP2019084993A Active JP6729756B2 (en) | 2012-03-22 | 2019-04-26 | Communication system, communication device and program |
| JP2020114699A Active JP7414360B2 (en) | 2012-03-22 | 2020-07-02 | Communication devices, methods and programs |
| JP2022185837A Active JP7540476B2 (en) | 2012-03-22 | 2022-11-21 | COMMUNICATION SYSTEM, COMMUNICATION DEVICE, AND PROGRAM |
Country Status (1)
| Country | Link |
|---|---|
| JP (7) | JP6394761B2 (en) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111031375B (en) * | 2019-11-19 | 2022-06-14 | 海信视像科技股份有限公司 | Method for skipping detailed page of boot animation and display equipment |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6025871A (en) * | 1998-12-31 | 2000-02-15 | Intel Corporation | User interface for a video conferencing system |
| JP2004048551A (en) * | 2002-07-15 | 2004-02-12 | Cs Plan:Kk | Tv conference system using two-screen monitor |
| JP2005197945A (en) * | 2004-01-06 | 2005-07-21 | Tietech Co Ltd | Video conference system |
| KR20110062099A (en) * | 2009-12-02 | 2011-06-10 | 엘지전자 주식회사 | Video conferencing system and method |
| US20110239142A1 (en) * | 2010-03-25 | 2011-09-29 | Nokia Corporation | Method and apparatus for providing content over multiple displays |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5625410A (en) * | 1993-04-21 | 1997-04-29 | Kinywa Washino | Video monitoring and conferencing system |
| JP4062029B2 (en) * | 2002-09-19 | 2008-03-19 | 富士ゼロックス株式会社 | Display control system and information terminal |
| EP1803058B1 (en) * | 2004-10-19 | 2008-07-16 | Sony Ericsson Mobile Communications AB | Videoconferencing method, handheld wireless communicator, and videoconferencing computer program product |
| JP5334687B2 (en) * | 2009-05-29 | 2013-11-06 | 株式会社イトーキ | Remote conference system |
| JP2011254442A (en) * | 2010-05-06 | 2011-12-15 | Ricoh Co Ltd | Remote communication terminal, remote communication method, and program for remote communication |
| JP2012004756A (en) * | 2010-06-15 | 2012-01-05 | Brother Ind Ltd | Terminal device, conference system, and processing program |
-
2017
- 2017-07-31 JP JP2017147784A patent/JP6394761B2/en active Active
- 2017-10-25 JP JP2017206026A patent/JP6493483B2/en active Active
-
2018
- 2018-07-04 JP JP2018127436A patent/JP6521154B2/en active Active
-
2019
- 2019-04-26 JP JP2019084993A patent/JP6729756B2/en active Active
-
2020
- 2020-07-02 JP JP2020114699A patent/JP7414360B2/en active Active
-
2022
- 2022-11-21 JP JP2022185837A patent/JP7540476B2/en active Active
-
2024
- 2024-08-09 JP JP2024133749A patent/JP2024156965A/en active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6025871A (en) * | 1998-12-31 | 2000-02-15 | Intel Corporation | User interface for a video conferencing system |
| JP2004048551A (en) * | 2002-07-15 | 2004-02-12 | Cs Plan:Kk | Tv conference system using two-screen monitor |
| JP2005197945A (en) * | 2004-01-06 | 2005-07-21 | Tietech Co Ltd | Video conference system |
| KR20110062099A (en) * | 2009-12-02 | 2011-06-10 | 엘지전자 주식회사 | Video conferencing system and method |
| US20110239142A1 (en) * | 2010-03-25 | 2011-09-29 | Nokia Corporation | Method and apparatus for providing content over multiple displays |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2023016858A (en) | 2023-02-02 |
| JP6394761B2 (en) | 2018-09-26 |
| JP6493483B2 (en) | 2019-04-03 |
| JP6521154B2 (en) | 2019-05-29 |
| JP7540476B2 (en) | 2024-08-27 |
| JP2017225149A (en) | 2017-12-21 |
| JP2018186539A (en) | 2018-11-22 |
| JP6729756B2 (en) | 2020-07-22 |
| JP2019161659A (en) | 2019-09-19 |
| JP7414360B2 (en) | 2024-01-16 |
| JP2018042268A (en) | 2018-03-15 |
| JP2020174375A (en) | 2020-10-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20250013348A1 (en) | Multi-Window Interface with Historical Task Bar | |
| CN111913628B (en) | Sharing method, device and electronic device | |
| RU2656691C2 (en) | Method and client terminal for remote support | |
| EP2940975A1 (en) | Wireless communication system | |
| CN107005739A (en) | External view for voice-based equipment is interacted | |
| EP4099690A1 (en) | Enhanced video call method and system, and electronic device | |
| JP2020523710A (en) | Display method and device | |
| CN108702446A (en) | A kind of photographic method and terminal | |
| US11256464B2 (en) | Communication system, communication device, and computer program | |
| CN114599020B (en) | Bluetooth connection method, Bluetooth connection device, electronic device and readable storage medium | |
| JP2024156965A (en) | COMMUNICATION SYSTEM, COMMUNICATION DEVICE, AND PROGRAM | |
| US11362854B2 (en) | Information processing apparatus, information processing method, program, and information processing system | |
| JP2015162040A (en) | Electronics | |
| EP2985981B1 (en) | Communication terminal and communication method | |
| CN111782099A (en) | Method, device, terminal and storage medium for realizing preview of background picture | |
| US12431241B2 (en) | Information processing apparatus and control method | |
| CN108345423A (en) | terminal control method, device and mobile terminal | |
| CN114489550A (en) | Screen projection control method, screen projector and storage medium | |
| CN111782100A (en) | Method, device, terminal and storage medium for realizing preview of background picture | |
| US10560939B2 (en) | User terminal device and control method therefor | |
| US20250298646A1 (en) | Device sharing method, electronic device, and computer-readable storage medium | |
| JP2016019204A (en) | Conference system, information processing apparatus, arrangement adjustment method, and program | |
| CN115955551A (en) | Control method and control device |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20240906 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20250616 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20250930 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20251007 |
|
| A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20251126 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20260202 |