JP2005151073A

JP2005151073A - Ｔｖ電話機能付き携帯端末装置

Info

Publication number: JP2005151073A
Application number: JP2003384559A
Authority: JP
Inventors: Mitsuaki Sugihara; 光明杉原
Original assignee: NEC Corp
Current assignee: NEC Corp
Priority date: 2003-11-14
Filing date: 2003-11-14
Publication date: 2005-06-09
Also published as: EP1542468A1; US7532229B2; DE602004016273D1; EP1542468B1; US20050108162A1; CN1617561A; CN100546324C

Abstract

【課題】ＴＶ電話機能を有し、通信相手と迅速且つ確実なコミュニケーションを可能にする携帯端末装置およびそれを使用する通信方法を提供する。
【解決手段】入力装置１０１として映像を取り込むカメラ１０１ｂおよび音声を取り込むマイク１０１ｃに加えて文字列を入力又は選択するキーボード１０１ａを備える。また、映像処理装置１０４にはカメラ１０１ｂで取り込んだ画像データと文字列とを合成する文字合成処理部１０４ｂを備え、ＴＶ電話通信中にテキスト（文字列）表示機能を有する。そして、送信される文字列を通信相手から受信する画像と共に出力装置１０２のディスプレイ１０２ａに表示する。
【選択図】図１

Description

本発明は携帯端末装置およびそれを使用する通信方法に関し、特に通信相手との間で動画および音声を送受信するＴＶ電話機能を備える携帯端末装置およびそれを使用する通信方法に関する。

携帯電話等の携帯端末装置は、その普及に伴う競争が激化し、自他商品の差別化のためおよびユーザのニーズに応えて各種の機能が付加されている。例えば、ＣＣＤ（電荷結合素子）を使用するカメラが付加され、液晶表示パネル（ＬＣＤ）等の表示装置に表示して音声（聴覚）のみでは困難な視覚による情報（即ち、画像又は映像）の送受信を可能にしている。

斯かるカメラおよび画像表示装置を備える従来の携帯電話等の電子機器が開示されている。この従来技術においては、この電子機器の使用者（ユーザ）が自己のカメラで撮影した画像データを送信部で通信相手へ送信する。また、通信相手がカメラで撮影した画像データを受信部で受信した画像を他の画像と共に表示装置に表示する技術を開示している（例えば、特許文献１参照）。また、副情報生成手段を備え、通信時に送受信される主情報とは異なる副情報を生成して、主情報の送受信中に使用者が感情等を表す副情報を生成して送信することにより、優れたコミュニケーションを図る通信装置および通信システムが開示されている（例えば、特許文献２参照）。
特開２００１−３０９０７３号公報（第５頁、第４図）特開２００２−３７４３６６号公報（第３−４頁、第２図）

従来のＴＶ電話機能を備える携帯電話又はＰＨＳ（Personal Handy-phone System）では、音声と映像のみを通信しているが、周囲の雑音が大きい場所（又は余り大きい声を出すことができない場所）や聴覚障害者等にとっては、音声による通信が困難又は不可能であるため、映像（視覚情報）のみの通信に依存する必要がある。そこで、十分に自己の意思を相手に伝達することが困難である場合が多い。

本発明は、従来技術の上述した課題に鑑みなされたものであり、通信相手との間で確実且つ迅速なコミュニケーションを可能にして、従来の課題を解消又は軽減するため、携帯端末装置およびそれを使用する通信方法を提供することを目的とする。

前述の課題を解決するため、本発明によるＴＶ電話機能付き携帯端末装置は、次のような特徴的な構成を採用している。

（１）入力装置として画像を取り込むカメラおよび音声を取り込むマイクと、出力装置としてディスプレイおよびスピーカを備え、前記カメラにより取り込まれた画像データを前記マイクから取り込んだ音声信号と共に通信相手に送信可能なＴＶ電話機能を備える携帯端末装置において、
前記入力装置は、更に文字情報を入力するキーボードと、前記画像データおよび前記文字情報を合成する文字合成処理部を備え、前記ＴＶ電話通信中に前記文字合成処理部で合成された前記画像データおよび文字情報を通信相手に送信する携帯端末装置。

（２）使用者が送信したい複数の入力文字列を予め登録し、必要時に使用者がキー操作により読み出して通信相手に送信する記憶装置を更に備える上記（１）に記載の携帯端末装置。

（３）前記送信したい複数の文字列をそれぞれ特定のキーに割り当てる文字列管理テーブルを備える上記（１）又は（２）に記載の携帯端末装置。

（４）前記ディスプレイは、通信相手に送信する前記入力文字列を予め表示する上記（１）、（２）又は（３）に記載の携帯端末装置。

（５）画像を撮影するカメラ、音声を取り込むマイク、画像等を表示するディスプレイ、音声信号を出力するスピーカを備え、画像および音声を送受信可能な携帯端末装置を使用する通信方法において、
前記カメラにより取り込まれた画像データおよび前記マイクから取り込んだ音声信号を送信中に、使用者のキー操作により文字列を通信相手に送信する携帯端末装置を使用する通信方法。

（６）前記文字列は、通信相手に送信する前に前記ディスプレイの文字表示領域に選択表示する上記（５）に記載の携帯端末装置を使用する通信方法。

（７）前記送信される文字列は、前記ディスプレイの文字表示領域にスクロール又は点滅表示される上記（５）又は（６）に記載の携帯端末装置を使用する通信方法。

本発明の携帯端末装置およびそれを使用する通信方法によると、音声信号と共に内蔵カメラによる画像データを送信するＴＶ電話通信中におけるキー入力機能を付加し、映像および音声のみではなく、文字により意思表現することにより、通信相手に対してコミュニケーション能力を高め、迅速且つ正確な意思疎通を図ることが可能である。また、音声を使用することなく映像と文字による表現が可能であるために、周囲のノイズが大きい場所、大きな声を出すことができない環境下又は聴覚障害者等にも良好なコミュニケーションを図ることが可能である。更に、本発明では、マルチアクセス機能を前提とせず、受信側（の携帯端末装置）がマルチアクセス機能に対応していなくても、ＴＶ電話通信が可能な端末であればよい。

以下、本発明による携帯端末装置およびそれを使用する通信方法の好適実施例の構成および動作を、添付図面を参照して詳細に説明する。

先ず、図１は、本発明による携帯端末装置の好適実施例であるＴＶ電話端末装置（又は携帯電話）の機能構成を示すブロック図である。この携帯端末装置又はＴＶ電話端末装置１００は、入力装置１０１、出力装置１０２、制御装置１０３、映像処理装置１０４、記憶装置１０５および通信装置１０６により構成される。

ここで、入力装置１０１は、文字を入力するキーボード１０１a、人物や風景等の映像を撮影又は取り込むカメラ１０１ｂおよび音声を取り込むマイク１０１ｃを有する。また、出力装置１０２は、文字やＴＶ電話等の画像を表示する液晶表示パネル（ＬＣＤ）等のディスプレイ１０２aおよび相手の音声を出力するスピーカ１０２ｂを有する。

制御装置１０３は、キーボードの入力処理制御を行うキー入力制御部１０３a、カメラ機能を制御するカメラ制御部１０３ｂ、通信装置を制御する通信制御部１０３ｃ、ディスプレイへの画像表示を行う表示制御部１０３ｄおよび時間制御を行うタイマ１０３ｅを有する。

映像処理装置１０４は、カメラ１０１ｂから取り込んだ動画像データをＴＶ電話画像に変換する画像処理部１０４ａおよびテキスト文字をＴＶ電話画像に合成する文字合成処理部１０４ｂを有する。また、記憶装置１０５は、テキスト入力時に使用される文字列管理用メモリ１０５ａ、入力されたテキストデータを画像データへ変換する際に使用される画像変換用メモリ１０５ｂ、文字合成処理時に使用される文字合成処理用メモリ１０５ｃおよび文字変換処理に使用される変換辞書１０５ｄを有する。通信装置１０６は、無線によりデータの送受信を行う送受信処理部１０６ａを有する。

次に、図２〜図４を参照して、図１に示す本発明による携帯端末装置であるＴＶ電話端末装置１００の動作を説明する。図２は、本発明のＴＶ電話端末装置１００において、ＴＶ電話通信中における文字入力の処理および画像合成処理動作を説明するフローチャートである。

利用者（ユーザ）が本発明のＴＶ電話端末装置１００を使用してＴＶ電話通信中に文字入力を行うには、先ず相手のＴＶ電話端末装置に対してＴＶ電話発信を行うため、入力装置１０１のキーボード１０１ａを使用して、電話番号を入力する（ステップS２０１）。次に、制御装置１０３の通信制御部１０３ｃおよび通信装置１０６の送受信処理部１０６ａにより、入力した電話番号の相手に対してＴＶ電話の接続処理（３Ｇ−３２４Ｍ基準のプロトコル等）が開始される（ステップS２０２）。

ステップS２０２において接続処理が完了すれば、ＴＶ電話通信処理が開始される。入力装置１０１のカメラ１０１ｂからは映像を、マイク１０１ｃからは音声をそれぞれ入力することによりＴＶ電話通信（送受信処理）を行う（ステップS２０３）。ステップS２０３までは一般的なＴＶ電話通信における操作となるが、ここから文字入力のステップSとなる。

ＴＶ電話通信中には、入力装置１０１のキーボード１０１ａのキー入力待ちとなり、利用者による文字入力を受け付ける状態となり、キー入力の有無を判断する（ステップS２０４）。ステップS２０４において、文字入力に関連するキーが入力された場合（ステップS２０４：Ｙｅｓ）には、制御装置１０３にあるキー入力制御部１０３ａにより判断したキーは、変換辞書１０５ｄにある文字変換テーブルを使用して文字へ変換される。

変換された文字は、記憶装置１０５内に存在する文字列管理用メモリ１０５ａに格納され、表示制御部１０３ｄがこの文字列管理用メモリ１０５ａを読み込む。そして、出力装置１０２にあるディスプレイ１０２ａに表示される（ステップS２０６）。ここで、入力文字は、予め決められた文字列管理用メモリ１０５ａのサイズまで格納することが可能である。サイズ容量が一杯になるか又は文字列を送信する送信キーが押される（ステップS２０７）までは繰り返される。

次に、送信キーを押下される（ステップS２０７：Ｙｅｓ）と、文字列管理用メモリ１０５ａ内に登録されているテキスト文字列は、映像処理装置１０４にて画像変換（ＹＵＶ静止画データ等）され、記憶装置１０５の文字合成処理用メモリ１０５ｃに格納される。一方、カメラ１０１ｂから入力された映像は、映像処理装置１０４の画像処理部１０４ａにおいてＴＶ電話用画像データに変換され、記憶装置１０５の画像変換用メモリ１０５ｂに格納される。

更に、映像処理装置１０４の文字合成処理部１０４ｂにおいて、記憶装置１０５の画像変換用メモリ１０５ｂに格納されている画像データは、文字合成処理用メモリ１０５ｃにある文字列と共に合成処理される。そして、最終的には、ＴＶ電話用映像として通信装置１０６の送受信処理部１０６ａを通して、相手の映像へ配信される（ステップS２０８）。ステップS２０５において、終話キー（オンフックキー）が押下された場合（ステップS２０５：Ｙｅｓ）には、ＴＶ電話通信切断処理（ステップS２０９）を行い、ＴＶ電話の切断を行い、通信が終了となる。

次に、図３は、上述したＴＶ電話端末装置１００によるＴＶ電話通信中に、文字入力を行っている画面を示す。画面３０１は、上述したステップS２０２でのＴＶ電話送受信処理において対局（通信相手のＴＶ電話端末装置から）の映像の表示を示している。一方、画面３０２は、ステップS２０６によるＴＶ電話通信中における文字入力を行っている画面を示している。入力した文字（例えば、「これからそっちへ遊びに行こうと思うんだけど」）は、この画面３０２の中（例えば、下部）に表示される。画面３０２の表示領域を超える文字入力を行った場合には、画面スクロールを行う。画面３０１は、ステップS２０７により「送信」を行うために割当てられているキー（又はソフトキー）を示している。

次に、図４は、上述したステップS２０７により「送信」し、通信相手に対して文字が送信されたときの様子を示したものである。ここでは、図３の画面３０２内で入力された文字が、画面４０２内に表示される様子を示している。尚、画面４０１には、通信相手からの映像が表示されている。

本発明では、上述した実施例１において説明した如く、単純に文字を入力するのみではなく、特定のキーに文字列を割当てることにより、ワンキーで文字を入力することを可能とする文字列管理用テーブル（図６参照）を記憶装置１０５内に配置する。これにより、使用者が煩わしい操作を行うことなく、簡単且つ迅速に文字入力を可能とする。

図５は、本発明の第２実施例における動作を説明するフローチャートである。第２実施例において、電話番号入力動作（ステップS５０１）、ＴＶ電話通信接続処理動作（ステップS５０２）、ＴＶ電話送受信処理動作（ステップS５０３）、終話キー判定処理動作（ステップS５０５）、ＴＶ電話通信切断処理動作（ステップS５０８）、送信キー判定動作（ステップS５１１）および文字合成処理動作（ステップS５１２）は、図２に示す第１実施例にて説明している内容と同等であるので、説明を省略する。以下、キー入力待ち動作（ステップS５０４）以降を説明する。

ステップS５０４では、キー入力待ち状態において、利用者が終話キー以外の操作を行った場合には、文字送信モードがダイレクト入力か否かの判定する（ステップS５０６）。ここでいう文字送信モードとは、設定によって通常の文字入力モード（図２に示す第１実施例）と、ワンキーでダイレクトに文字が入力できるモード（以下、ダイレクト入力モード）を切り分けるために行う。

ダイレクト入力モードの場合（ステップS５０６：Ｙｅｓ）には、割当てられている特定のキーが入力されたか否かを判定する（ステップS５０９）。この判定結果、文字列管理テーブル（図６参照）内に割り当てキーが存在した場合には、そこから表示文字列６０３（後述する図６参照）を取得する。取得した文字は、ディスプレイ１０２ａの文字入力枠内に表示される（ステップS５１０）。

尚、それ以降の送信キー判定動作（ステップS５１１）および文字合成処理動作（ステップS５１２）は、図２を参照して上述した第１実施例の動作と同様である。従って、それらの説明は省略する。

次に、図６は、特定のキーと表示文字列を割当てている文字列管理用テーブルを示す。メモリ番号６０１は、レコード（記録）を呼び出す際に使用される。割り当てキー６０２は、ここに登録されているキーを示す。表示文字列６０３は、上述した割り当てキー６０２に割当てられている文字列を示し、例えば「こんにちは」、「これから帰ります」、「迎えに来てください」等である。また、表示効果６０４は、文字合成を行う際に各種表示効果（停止、スクロールおよび点滅処理等）を追加することも可能なことを示している。

次に、図７は、上述したステップS５１０において特定のキーが入力された場合の具体例を示す。出力装置１０２のディスプレイ１０２ａには、上方の画面（画像表示部）７０１に映像および下方の文字表示部７０２に文字が表示される。この特定の例では、文字表示部７０２には、図６に示す[２]キーが入力された場合であり、このキーに割当てられた表示文字列（例えば、「これから帰ります」）が表示されている。

次に、図８は、上述したステップS５１１において、送信処理動作が行われた場合の具体例を示す。この具体例では、通信相手のＴＶ電話端末装置の画面８０１内に表示文字列「これから帰ります」８０２が横スクロールしながら表示される。

以上、本発明による携帯端末装置およびそれを使用する通信方法の好適実施例の構成および動作を詳述した。しかし、斯かる実施例は、本発明の単なる例示に過ぎず、何ら本発明を限定するものではないことに留意されたい。本発明の要旨を逸脱することなく、特定用途に応じて種々の変形変更が可能であること、当業者には容易に理解できよう。

本発明による携帯端末装置の好適実施例であるＴＶ電話端末装置の全体構成を示すブロック図である。図１に示すＴＶ電話端末装置を使用する通信方法の第１実施例であるＴＶ電話通信中に行う文字入力および画像合成動作を説明するフローチャートである。図１に示すＴＶ電話端末装置のＴＶ電話通信中における文字入力動作を説明する図である。図１に示すＴＶ電話端末装置のＴＶ電話中に相手に対して文字を送信する動作説明図である。本発明によるＴＶ電話端末装置を使用する通信方法の他の実施例の動作を説明するフローチャートである。図５の動作のために使用する文字列管理用テーブルの具体例である。図５のフローチャートの一部であるキー入力操作の説明図である。図５のフローチャートの一部である送信処理の説明図である。

符号の説明

１００携帯端末装置（ＴＶ電話端末装置）
１０１入力装置
１０１ａキーボード
１０１ｂカメラ（撮影手段）
１０１ｃマイク
１０２出力装置
１０２ａディスプレイ
１０２ｂスピーカ
１０３制御装置
１０４映像処理装置
１０４ａ画像処理部
１０４ｂ文字合成処理部
１０５記憶装置
１０６通信装置

Claims

入力装置として画像を取り込むカメラおよび音声を取り込むマイクと、出力装置としてディスプレイおよびスピーカを備え、前記カメラにより取り込まれた画像データを前記マイクから取り込んだ音声信号と共に通信相手に送信可能なＴＶ電話機能を備える携帯端末装置において、
前記入力装置は、更に文字情報を入力するキーボードと、前記画像データおよび前記文字情報を合成する文字合成処理部を備え、前記ＴＶ電話通信中に前記文字合成処理部で合成された前記画像データおよび文字情報を通信相手に送信することを特徴とする携帯端末装置。
使用者が送信したい複数の入力文字列を予め登録し、必要時に使用者がキー操作により読み出して通信相手に送信する記憶装置を更に備えることを特徴とする請求項１に記載の携帯端末装置。
前記送信したい複数の文字列をそれぞれ特定のキーに割り当てる文字列管理テーブルを備えることを特徴とする請求項１又は２に記載の携帯端末装置。
前記ディスプレイは、通信相手に送信する前記入力文字列を予め表示することを特徴とする請求項１、２又は３に記載の携帯端末装置。
画像を撮影するカメラ、音声を取り込むマイク、画像等を表示するディスプレイ、音声信号を出力するスピーカを備え、画像および音声を送受信可能な携帯端末装置を使用する通信方法において、
前記カメラにより取り込まれた画像データおよび前記マイクから取り込んだ音声信号を送信中に、使用者のキー操作により文字列を通信相手に送信することを特徴とする携帯端末装置を使用する通信方法。
前記文字列は、通信相手に送信する前に前記ディスプレイの文字表示領域に選択表示することを特徴とする請求項５に記載の携帯端末装置を使用する通信方法。
前記送信される文字列は、前記ディスプレイの文字表示領域にスクロール又は点滅表示されることを特徴とする請求項５又は６に記載の携帯端末装置を使用する通信方法。