JP4173951B2

JP4173951B2 - 多感覚情報送信装置及び多感覚情報受信装置

Info

Publication number: JP4173951B2
Application number: JP2000326099A
Authority: JP
Inventors: 忠裕坂井; 達哉石原; 崇之伊藤
Original assignee: Japan Broadcasting Corp
Current assignee: Japan Broadcasting Corp
Priority date: 2000-10-25
Filing date: 2000-10-25
Publication date: 2008-10-29
Anticipated expiration: 2020-10-25
Also published as: JP2002125999A

Description

【０００１】
【発明の属する技術分野】
本発明は、多感覚情報送信装置及び多感覚情報受信装置に係り、特に、画像に含まれる対象物の状態を多感覚でユーザに伝達する多感覚情報送信装置及び多感覚情報受信装置に関する。
【０００２】
【従来の技術】
従来、視覚，聴覚に障害を有するユーザに対し、視覚，聴覚以外の感覚を媒体に情報を伝達するための研究がなされている。
【０００３】
例えば視覚に障害を有するユーザへの感覚代行として、画像から輪郭情報を抽出し、触覚受容器に２次元又は３次元の情報を伝達する「オプタコン」，「ＴＶＳＳ」（「視覚障害とその代行技術」，市川ほか，名古屋大学出版、「生体情報工学」，星宮ほか，共立出版など）等の情報伝達装置がある。これらの装置は、光電変換して得られた画像情報から２値化した情報を抽出し、２次元に配列された触覚刺激素子を駆動して振動で指や背中に刺激呈示するものである。
【０００４】
また、３次元ディスプレイでは、「盲人用三次元情報表示装置」（医療福祉機器技術研究開発成果報告書）のように、２次元上に配置されたステッピングモータによる触覚刺激素子がコンピュータで作成された物体のデータに対応して上下に駆動され、擬似的な３次元の形状を表すものである。
【０００５】
さらに、近年のバーチャルリアリティの進展により、仮想物体の立体形状を視覚，触覚へ伝達する研究がなされている。触覚への情報伝達では、例えば「ＰＨＡＭＴＯＭ」（センサブルテクノロジー社）のように立体形状やテクスチャー等を指で触れて感じさせるものがある。この装置は、コンピュータで作成された立体の空間的な情報を、機械的な反力で触覚受容器にフィードバックすることで仮想的に立体感を再現している。
【０００６】
【発明が解決しようとする課題】
放送・通信の分野では、視覚，聴覚を媒体に情報が伝達されている。したがって、視覚に障害を有するユーザに対し、聴覚を媒体に情報を伝達していた。しかしながら、地図や教育番組におけるグラフ等の図，又は美術品，教育番組における分子モデル，地形等の立体情報を触覚で伝達する手段は確立されておらず、前述のような図又は立体情報を音声のみで伝達することには限界があった。また、視覚及び聴覚に障害を有するユーザは触覚だけが唯一の情報入手手段であり現状では形状などの情報を伝達することができない。
【０００７】
一方、従来の２次元，３次元の触覚呈示装置で利用する立体情報や図形情報をディジタルデータ放送で送信する方法も考えられる。しかしながら、限られた放送の伝送容量では十分な伝送容量を確保することが難しい。また、２次元，３次元の触覚呈示装置は空間や平面上の位置情報から立体や図形を触知することができるが、視覚に障害を有するユーザが触知だけで立体や図形の細部を理解することは困難であるという問題があった。
【０００８】
本発明は、上記の点に鑑みなされたもので、画像に含まれる対象物の図形情報又は立体情報を触覚呈示装置に送信することができ、画像に含まれる対象物の状態を多感覚でユーザに伝達することが可能な多感覚情報送信装置及び多感覚情報受信装置を提供することを目的とする。
【０００９】
【課題を解決するための手段】
そこで、上記課題を解決するため、本発明の多感覚情報送信装置は、画像に含まれる対象物の状態を多感覚でユーザに伝達する多感覚情報伝達システムに用いられる多感覚情報送信装置であって、前記画像に含まれる対象物の状態情報を生成する状態情報生成部と、前記生成した状態情報を送信する状態情報送信部とを備えることを特徴とする。
【００１０】
このように、画像に含まれる対象物の状態情報を生成し、生成した状態情報を画像情報とは別に受信側に送信することにより、画像に含まれる対象物の状態を視覚，聴覚，触覚等の多感覚で呈示することができる。
【００１１】
また、本発明の多感覚情報送信装置は、前記状態情報生成部が、前記画像に含まれる対象物を所定単位の部分に分割する分割部と、前記分割した部分の位置及び特徴を部分毎に検出し、前記検出した部分毎の位置及び特徴に応じて前記状態情報を生成する生成部と、前記生成した状態情報にアドレス情報を付加する一方、前記対象物を含む画像情報に前記アドレス情報を付加するアドレス情報付加部とを備えることを特徴とする。
【００１２】
このように、状態情報生成部は、画像に含まれる対象物を所定単位（例えば、所定面積）に分割し、分割した部分の位置及び特徴（例えば、形状，固さ等）に応じて状態情報を生成することにより、受信側で画像に含まれる対象物の状態を視覚，聴覚，触覚等の多感覚で呈示することができる。
【００１３】
また、本発明の多感覚情報送信装置は、前記状態情報生成部が、前記対象物の所定範囲を指定する範囲指定部と、前記分割した部分のうち前記指定された所定範囲に含まれる１以上の部分を検出する検出部と、前記検出した１以上の部分にタグ情報を付加するタグ情報付加部とを備えることを特徴とする。
【００１４】
このように、対象物の所定範囲を指定し、分割した部分のうち所定範囲に含まれる１以上の部分にタグ情報を付加することにより、部分毎に名称，特徴等の情報を付加することができる。
【００１５】
また、上記課題を解決するため、本発明の多感覚情報受信装置は、画像に含まれる対象物の状態を多感覚でユーザに伝達する多感覚情報伝達システムに用いられる多感覚情報受信装置であって、前記画像に含まれる対象物の状態情報を受信する状態情報受信部と、前記受信した状態情報に基づいて前記対象物の状態を抽出し、前記抽出した対象物の状態を状態呈示装置に呈示させるように制御する制御部とを備えることを特徴とする。
【００１６】
このように、画像に含まれる対象物の状態情報を画像情報とは別に受信し、受信した状態情報に基づいて対象物の状態を抽出し、抽出した対象物の状態を状態呈示装置に呈示させるように制御することにより、画像に含まれる対象物の状態を多感覚でユーザに伝達することができる。
【００１７】
また、本発明の多感覚情報受信装置は、前記制御部が、前記受信した状態情報から前記分割した部分毎の位置及び特徴を抽出する抽出部と、前記抽出した部分毎の位置及び特徴に基づいて前記触覚呈示装置に前記対象物を触覚で呈示させる触覚呈示制御部と、前記触覚で呈示された対象物のうちユーザが触れた位置を検出する位置検出部と、前記検出されたユーザが触れた位置に付加されているタグ情報を抽出し、前記抽出したタグ情報に基づいて前記ユーザが触れた位置に関する情報をタグ情報呈示装置に呈示させるタグ情報呈示制御部とを備えることを特徴とする。
【００１８】
このように、制御部は、受信した状態情報から分割した部分毎の位置及び特徴を抽出し、抽出した部分毎の位置及び特徴に基づいて前記触覚呈示装置に前記対象物を触覚で呈示させる。したがって、ユーザは触覚呈示装置が触覚で呈示した対象物を触れることにより、対象物の形状を触知することができる。
【００１９】
また、制御部は、ユーザが触れた位置を検出し、ユーザが触れた位置にタグ情報が付加されていれば、タグ情報に基づいて前記ユーザが触れた位置に関する情報をタグ情報呈示装置に呈示させることができる。タグ情報呈示装置は、例えばユーザが触れた位置に関する情報を音声又は点字などで出力する構成とすることができる。
【００２０】
【発明の実施の形態】
次に、本発明の実施例について図面に基づいて説明する。図１は、本発明の多感覚情報伝送システムの一例の概要図を示す。図１の多感覚情報伝送システム１は、送信部２，受信部３，表示部４を含むように構成される。送信部２と受信部３とは、例えばインターネット等のネットワーク網５，ＴＶ放送等の放送網６を介して接続されている。
【００２１】
送信部２は、図・立体オブジェクト情報生成部１１，放送番組コンテンツ入力部１２，インターネット発信部１３，データ放送多重部１４，ＴＶ送信部１５を含む。図・立体オブジェクト情報生成部１１は、放送番組で用いられる図，立体の位置，固さ，表面性，形状などの物理情報を検出し、検出した物理情報に基づいてオブジェクト情報を生成する。例えば、放送番組で用いられる図，立体としては、「日曜美術館」等の放送番組で紹介される美術品などがある。
【００２２】
図・立体オブジェクト情報生成部１１は、生成したオブジェクト情報をネットワーク網５を利用して送信する場合、そのオブジェクト情報をインターネット発信部１３に供給する。また、図・立体オブジェクト情報生成部１１は、生成したオブジェクト情報を放送網６を利用して送信する場合、そのオブジェクト情報をデータ放送多重部１４に供給する。
【００２３】
インターネット発信部１３は、図・立体オブジェクト情報生成部１１から供給されたオブジェクト情報をネットワーク網５に送信する。一方、データ放送多重部１４は、図・立体オブジェクト情報生成部１１から供給されたオブジェクト情報をデータ放送用データに挿入してＴＶ送信部１５に供給する。
【００２４】
ＴＶ送信部１５は、放送番組コンテンツ入力部１２から通常の放送番組用データが供給されると共にデータ放送多重部１４からデータ放送用データが供給され、供給された放送番組用データ及びデータ放送用データをＴＶ放送波として放送網６に送信する。ネットワーク網５に送信されたオブジェクト情報及び通信網６に送信されたＴＶ放送波は、受信部３に受信される。
【００２５】
受信部３は、インターネット受信部１６，ＴＶ受信部１７，データ放送受信部１８，図・立体オブジェクト情報再生部１９を含む。インターネット受信部１６は、ネットワーク網５を介してオブジェクト情報を受信する。インターネット受信部１６は、受信したオブジェクト情報を図・立体オブジェクト情報再生部１９に供給する。
【００２６】
ＴＶ受信部１７は、放送網６からＴＶ放送波を受信し、受信したＴＶ放送波から放送番組用データ及びデータ放送用データを検出する。ＴＶ受信部１７は、検出した放送番組用データを後述する放送番組コンテンツ表示部２３に送信すると共に、データ放送用データをデータ放送受信部１８に供給する。
【００２７】
データ放送受信部１８は、供給されたデータ放送用データから送信部２で挿入されたオブジェクト情報を検出し、検出したオブジェクト情報を図・立体オブジェクト情報再生部１９に供給する。図・立体オブジェクト情報再生部１９は、インターネット受信部１６，データ放送受信部１８から供給されるオブジェクト情報を供給され、そのオブジェクト情報に基づいて放送番組で用いられる図，立体の位置，固さ，表面性，形状などの物理情報を再生する。図・立体オブジェクト情報再生部１９は、再生した物理情報に基づいて後述する触覚・力覚呈示装置２０，音声・点字出力装置２１，画面出力装置２２の処理を制御する。
【００２８】
表示部４は、触覚・力覚呈示装置２０，音声・点字出力装置２１，画面出力装置２２，放送番組コンテンツ表示部２３を含む。触覚・力覚呈示装置２０は、図・立体オブジェクト情報再生部１９からの制御に応じて放送番組で用いられる図，立体を触覚で呈示する。音声・点字出力装置２１は、図・立体オブジェクト情報再生部１９からの制御に応じて放送番組で用いられる図，立体に関する情報を音声又は点字で出力する。
【００２９】
画面出力装置２２は、図・立体オブジェクトデータ再生部１９からの制御に応じて放送番組で用いられる図，立体を画像で出力する。また、放送番組コンテンツ表示部２３は、ＴＶ受信部１７から送信される放送番組用データを受信し、放送番組を表示する。
【００３０】
このように、本発明の多感覚情報伝送システム１は、通常の放送番組用データとは別に放送番組で用いられる図，立体の位置，固さ，表面性，形状などの物理情報をネットワーク網５，放送網６を用いて伝送することができ、受信側で図，立体の位置，固さ，表面性，形状などを視覚，触覚，聴覚等の多感覚で呈示することが可能である。
【００３１】
以下、本発明の多感覚情報伝送システム１を構成する送信部２，受信部３の詳細について説明する。図２は、本発明の送信部の一実施例の構成図を示す。図２の送信部２は、図・立体オブジェクト情報生成部１１，放送番組コンテンツ入力部１２，インターネット発信部１３，データ放送多重部１４，ＴＶ送信部１５，符号部３８，ＵＲＬ・データアドレス付加部３９，ＵＲＬ付加部４０を含むように構成される。また、図・立体オブジェクト情報生成部１１は、２・３次元オブジェクト表面分割部３１，オブジェクト空間位置＆パラメータ検出部３２，タグ情報付加位置指定部３３，タグ情報空間位置検出部３４，タグ情報入力部３５，２・３次元オブジェクト／タグ空間位置比較部３６及びオブジェクト情報生成部３７を含む。
【００３２】
２・３次元オブジェクト表面分割部３１は、放送番組で用いられる図，立体（以下、「オブジェクト」という）の表面を適切な数に分割した部分（以下、「ポリゴン」という）に分割し、分割したポリゴンをオブジェクト空間位置＆パラメータ検出部３２に供給する。オブジェクト空間位置＆パラメータ検出部３２は、各ポリゴンの空間位置，固さ，表面性，形状等のテクスチャ（Ｔｅｘｔｕｒｅ）を物理情報として検出する。
【００３３】
タグ情報付加位置指定部３３は、名称，特徴などを表すタグ情報を付加する空間位置を指定し、指定した空間位置をタグ情報空間位置検出部３４に供給する。タグ情報空間位置検出部３４は、指定された空間位置に含まれるポリゴンを選択し、選択した各ポリゴンの空間位置を検出する。タグ情報空間位置検出部３４は、選択した各ポリゴンの空間位置をタグ情報入力部３５に供給する。また、タグ情報入力部３５は、タグ情報空間位置検出部３４で選択された各ポリゴンにタグ情報を付加する。
【００３４】
２・３次元オブジェクト／タグ空間位置比較部３６は、オブジェクト空間位置＆パラメータ検出部３２から各ポリゴンの空間位置等の物理情報が供給されると共に、タグ情報入力部３５からタグ情報及びそのタグ情報が付加された各ポリゴンの空間位置が供給される。
【００３５】
２・３次元オブジェクト／タグ空間位置比較部３６は、オブジェクト空間位置＆パラメータ検出部３２で検出した各ポリゴンの空間位置と、タグ情報空間位置検出部３４で選択した各ポリゴンの空間位置との比較を行い、その比較結果をオブジェクト情報生成部３７に供給する。なお、２・３次元オブジェクト／タグ空間位置比較部３６は、オブジェクト空間位置＆パラメータ検出部３２から供給された各ポリゴンの空間位置等の物理情報、タグ情報入力部３５から供給されたタグ情報及びそのタグ情報が付加された各ポリゴンの空間位置もオブジェクト情報生成部３７に供給する。
【００３６】
オブジェクト情報生成部３７は、供給された比較結果に基づいて、タグ情報空間位置検出部３４で選択した各ポリゴンの空間位置と一致するオブジェクトの各ポリゴンにタグ情報を付加する。そして、オブジェクト情報生成部３７は、各ポリゴンの物理情報，タグ情報等からオブジェクト情報を生成し、符号部３８に供給する。
【００３７】
符号部３８は、オブジェクト情報生成部３７から供給されたオブジェクト情報をＶＲＭＬ（Virtual Reality Modeling Language）などで符号化し、符号化したオブジェクト情報（以下、「符号化オブジェクト情報」という）をＵＲＬ付加部４０，データ放送多重部１４に供給する。ＵＲＬ付加部４０は、符号部３８から供給された符号化オブジェクト情報にＵＲＬ（ＵｎｉｆｏｒｍＲｅｓｏｕｒｃｅＬｏｃａｔｏｒ）を付加し、ＵＲＬを付加した符号化オブジェクト情報をインターネット発信部１３に供給する。インターネット発信部１３は、ＵＲＬ付加部４０から供給された符号化オブジェクト情報を符号化オブジェクト情報に付加したＵＲＬに基づいて、例えばＴＣＰ／ＩＰフォーマットでネットワーク網５に配置されたサーバに送信する。
【００３８】
ＵＲＬ・データアドレス付加部３９は、符号化オブジェクト情報をネットワーク網５を利用して送信する場合、ＵＲＬをデータ放送多重部１４に供給し、符号化オブジェクト情報を放送網６を利用して送信する場合、符号化オブジェクト情報のインデックス或いはアドレスをデータ放送多重部１４に供給する。
【００３９】
データ放送多重部１４は、符号部３８から供給された符号化オブジェクト情報及びＵＲＬ・データアドレス付加部３９から供給されたＵＲＬ，インデックス或いはアドレス等をデータ放送用データに挿入してＴＶ送信部１５に供給する。ＴＶ送信部１５は、放送番組コンテンツ入力部１２から通常の放送番組用データが供給されると共にデータ放送多重部１４からデータ放送用データが供給され、供給された放送番組用データ及びデータ放送用データをＴＶ放送波として放送網６に送信する。
【００４０】
ここで、図・立体オブジェクト情報生成部１１のオブジェクト情報生成処理について図２〜図５を参照しつつ詳細に説明する。図３は、オブジェクト情報生成処理の一例のフローチャートを示す。図４は、ポリゴンに分割されたオブジェクトの一例について説明する図を示す。図５は、空間位置情報とタグ情報との関係を説明する一例の図を示す。
【００４１】
例えば放送番組で図４に示すオブジェクト４２を用いる場合、図・立体オブジェクト情報生成部１１は図３のフローチャートに示す手順に従ってオブジェクト情報を生成する。図３中、ステップＳ１では、２・３次元オブジェクト表面分割部３１はオブジェクト４２の表面を適切な数のポリゴンに分割する。なお、オブジェクト４２の表面に記載された１〜３８は、ポリゴンナンバー（ポリゴンＮＯ）を示している。ポリゴンナンバーは、ポリゴン毎に付与される。
【００４２】
ステップＳ１に続いてステップＳ２に進み、オブジェクト空間位置＆パラメータ検出部３２はステップＳ１で分割されたポリゴンの空間位置を例えばレーザによる距離測定手段で検出する。検出されたポリゴンの空間位置は図５の２・３次元オブジェクト空間位置情報に示すように、（Ｘ，Ｙ，Ｚ）座標で表された空間的な位置情報で記録される。また、ステップＳ２では、ポリゴンの空間位置以外の物理情報も検出される。
【００４３】
ステップＳ２に続いてステップＳ３に進み、オブジェクト空間位置＆パラメータ検出部３２は全ポリゴンの物理情報を取得したか否かを判定する。全ポリゴンの物理情報を取得していないと判定すると（Ｓ３においてＮＯ）、ステップＳ２に進み、オブジェクト空間位置＆パラメータ検出部３２は、まだ物理情報を取得していないポリゴンの物理情報を検出する。
【００４４】
全ポリゴンの物理情報を取得していると判定すると（Ｓ３においてＹＥＳ）、ステップＳ４に進み、タグ情報付加位置指定部３３はタグ情報を付加する空間位置を指定する。例えばオブジェクト４２の円又は楕円で囲まれたＡ部４３，Ｂ部４４に夫々「水平尾翼」，「胴体」というタグ情報を付加する場合、オブジェクト４２のＡ部４３，Ｂ部４４をレーザによる距離測定手段でスキャンすることによりタグ情報の付加位置を指定する。
【００４５】
ステップＳ４に続いてステップＳ５に進み、タグ情報空間位置検出部３４はステップＳ４で指定されたタグ情報付加位置に含まれるポリゴンの空間位置を検出する。そして、ステップＳ５に続いてステップＳ６に進み、タグ情報入力部３５はテキストタグ情報を入力する。
【００４６】
例えばオブジェクト４２の円又は楕円で囲まれたＡ部４３，Ｂ部４４に夫々「水平尾翼」，「胴体」というタグ情報を付加する場合、Ａ部４３に含まれるポリゴンの空間位置を検出すると共に、「水平尾翼」というテキストタグ情報を入力する。また、Ｂ部４４に含まれるポリゴンの空間位置を検出すると共に、「胴体」というテキストタグ情報を入力する。
【００４７】
ステップＳ６に続いてステップＳ７に進み、ステップＳ４で指定したタグ情報位置に対する全タグ情報の入力が終了したか否かを判定する。ステップＳ４で指定したタグ情報位置に対する全タグ情報の入力が終了していないと判定すると（Ｓ７においてＮＯ）、ステップＳ５に進む。また、ステップＳ４で指定したタグ情報位置に対する全タグ情報の入力が終了したと判定すると（Ｓ７においてＹＥＳ）、ステップＳ８に進む。
【００４８】
ステップＳ８では、必要な全タグ情報の入力が終了，言い替えればタグ情報を付加したいと所望するタグ情報の位置指定が終了したか否かを判定する。全タグ情報の位置指定が終了したと判定すると（Ｓ８においてＹＥＳ）、ステップＳ９に進む。また、全タグ情報の位置指定が終了していないと判定すると（Ｓ８においてＮＯ）、ステップＳ４に進む。
【００４９】
ステップＳ９では、２・３次元オブジェクト／タグ空間位置比較部３６はステップＳ２で検出された各ポリゴンの空間位置と、ステップＳ５で検出された各ポリゴンの空間位置とを比較する。ステップＳ９に続いてステップＳ１０に進み、２・３次元オブジェクト／タグ空間位置比較部３６は空間位置が等しいポリゴンを検出すると（Ｓ１０においてＹＥＳ）、ステップＳ１１に進み、図５の２・３次元オブジェクト空間位置情報及びタグ位置情報に示すように、ステップＳ２で検出されたポリゴンにタグ情報を付加する。
【００５０】
タグ位置情報は、ポリゴンナンバー，（Ｘ，Ｙ，Ｚ）座標で表された空間的な位置情報，テキストタグ情報を含むように構成される。なお、２・３次元オブジェクト／タグ空間位置比較部３６は空間位置が等しいポリゴンを検出しないと（Ｓ１０においてＮＯ）、ステップＳ９に進む。そして、ステップＳ１１に続いてステップＳ１２に進み、オブジェクト情報生成部３７は、物理情報，タグ情報等からオブジェクト情報を作成する。
【００５１】
なお、ステップＳ９，Ｓ１０において、ステップＳ２で検出された各ポリゴンの空間位置と、ステップＳ５で検出された各ポリゴンの空間位置とは測定誤差などにより完全に一致しないことがあるので、適切な誤差範囲を設定しておくことが望ましい。
【００５２】
次に、本発明の多感覚情報伝送システム１を構成する受信部３の詳細について説明する。図６は、本発明の受信部及び表示部の一実施例の構成図を示す。図６の受信部３は、インターネット受信部１６，ＴＶ受信部１７，データ放送受信部１８，図・立体オブジェクト情報再生部１９，ダウンロード制御部５１，ＵＲＬ・データアドレス抽出部５２を含むように構成される。
【００５３】
また、図・立体オブジェクト情報再生部１９は、オブジェクト情報復号部５３，触覚位置ポインタ付加部５４，オブジェクト触覚情報生成部５５，画面呈示出力制御部５６，タグ情報抽出出力制御部５７，触覚呈示出力制御部５８，触覚呈示位置検出部５９を含む。表示部４は、触覚・力覚呈示装置２０，音声・点字出力装置２１，画面出力装置２２，放送番組コンテンツ表示部２３，データ番組表示部６０を含むように構成される。
【００５４】
インターネット受信部１６はネットワーク網５を介して符号化オブジェクト情報を受信し、受信した符号化オブジェクト情報をダウンロード制御部５１に供給する。ＴＶ受信部１７は、放送網６からＴＶ放送波を受信し、受信したＴＶ放送波から放送番組用データ及びデータ放送用データを検出する。ＴＶ受信部１７は、検出した放送番組用データを放送番組コンテンツ表示部２３に送信すると共に、データ放送用データをデータ放送受信部１８に供給する。
【００５５】
データ放送受信部１８は、供給されたデータ放送用データを受信し、データ番組表示部６０及びＵＲＬ・データアドレス抽出部５２にデータ番組用データを供給する。ＵＲＬ・データアドレス抽出部５２は、データ番組用データに挿入された符号化オブジェクト情報のＵＲＬ，インデックス或いはアドレス等を抽出し、抽出したＵＲＬをダウンロード制御部５１に供給する一方、抽出したインデックス或いはアドレス等をデータ放送受信部１８に供給する。
【００５６】
ダウンロード制御部５１は、ＵＲＬ・データアドレス抽出部５２から供給されたＵＲＬに基づいて、例えばネットワーク網５に配置されたサーバから符号化オブジェクト情報をダウンロードするようにインターネット受信部１６を制御する。ダウンロード制御部５１は、ダウンロードした符号化オブジェクト情報をオブジェクト情報復号部５３に供給する。
【００５７】
データ放送受信部１８は、ＵＲＬ・データアドレス抽出部５２から供給されたインデックス或いはアドレス等に基づいて、データ放送用データに挿入した符号化オブジェクト情報を抽出する。データ放送受信部１８は、抽出したオブジェクト情報をオブジェクト情報復号部５３に供給する。
【００５８】
オブジェクト情報復号部５３は、ダウンロード制御部５１又はデータ放送受信部１８から供給されるＶＲＭＬなどで符号化された符号化オブジェクト情報を復号化し、復号化したオブジェクト情報に基づいてオブジェクトの物理情報，タグ情報等を再生する。オブジェクト情報復号部５３は、再生した物理情報，タグ情報をオブジェクト触覚情報生成部５５，画面呈示出力制御部５６に供給する。
【００５９】
オブジェクト触覚情報生成部５５は供給された物理情報に応じて触覚情報を生成し、生成した触覚情報を触覚呈示出力制御部５８に供給する。触覚呈示出力制御部５８は、供給された触覚情報に応じて例えばＰＨＡＭＴＯＭのような触覚・力覚呈示装置２０を駆動制御する。触覚・力覚呈示装置２０は、触覚呈示出力制御部５８の制御に応じてオブジェクトを触覚で呈示する。
【００６０】
触覚呈示位置検出部５９は、ユーザの手，指先等が触れている触察部分の位置情報を検出し、検出した位置情報をオブジェクト触覚情報生成部５５にフィードバックする。オブジェクト触覚情報生成部５５は、触察部分の位置情報からその触察部分に対応する触覚情報を生成し、生成した触覚情報を触覚呈示出力制御部５８に供給する。
【００６１】
つまり、ユーザが手，指先等を移動することにより、その触察部分の位置情報が触覚呈示位置検出部５９で検出され、検出された位置情報がオブジェクト触覚情報生成部５５にフィードバックされ、フィードバックされた位置情報からその触察部分に対応する触覚情報が順次生成される。
【００６２】
そして、順次生成した触覚情報を触覚呈示出力制御部５８に供給し、触覚・力覚呈示装置２０による反力を制御することにより、あたかもオブジェクトが存在するような感覚をユーザに与えることができ、ユーザに立体形状を認識させることができる。
【００６３】
また、オブジェクト触覚情報生成部５５は、触覚呈示位置検出部５９から供給された位置情報とタグ情報とをタグ情報抽出出力制御部５７に供給する。タグ情報抽出出力制御部５７は供給された位置情報とタグ情報とを利用して触察部分のタグ情報を抽出し、抽出したタグ情報に応じて音声・点字出力装置２１を駆動制御する。音声・点字出力装置２１は、タグ情報抽出出力制御部５７の制御に応じて音声情報又は点字情報を出力する。つまり、ユーザの手，指先等が触れている触察部分の名称，特徴などを位置情報及びタグ情報から取得し、音声又は点字でユーザに伝達することができる。
【００６４】
触覚位置ポインタ付加部５４は、触覚呈示位置検出部５９で検出された触察部分の位置をポインタとして画面上に付加するための情報を作成し、その情報を画面呈示出力制御部５６に供給する。画面呈示出力制御部５６は、オブジェクト情報復号部５３で再生したオブジェクトと触覚位置ポインタ付加部５４で付加したポインタとを画面出力装置２２に呈示させる。
【００６５】
なお、放送番組コンテンツ表示部２３は、ＴＶ受信部１７から送信される放送番組用データを受信し、放送番組を表示する。データ番組表示部６０は、データ放送受信部１８から送信されるデータ番組用データを受信し、受信したデータ番組を表示する。画面出力装置２２は、画面呈示出力制御部５６の制御に応じてオブジェクト，ポインタを画面に呈示する。
【００６６】
以上のように、放送番組で用いられる図，立体のオブジェクトは、視覚に加えて仮想的に空間上に触覚で検知できる物体として存在し、触れる位置により部分の名称，特徴を音声，点字で伝達される。したがって、ユーザは触覚で検知できる物体を触れつつ触れている位置の名称，特徴を音声，点字で確認することができ、美術品などの立体形状を容易に理解できる。
【００６７】
本実施例では、触覚呈示を行う触覚受容器の一例として触覚・力覚呈示装置２０を利用したが、これに限るものではなく、マイクロマシン又はその他の微小アクチュエータ等で形成される触覚受容器であってもよい。また、本実施例では、オブジェクト情報をネットワーク網５又は放送網６を利用して伝送する例について記載しているが、伝送容量に応じてネットワーク網５及び放送網６を併用する伝送，ネットワーク網又は放送網６の何れか一方を利用する伝送などが可能である。
【００６８】
なお、特許請求の範囲に記載した多感覚情報送信装置は送信部２に相当し、多感覚情報受信装置は受信部３に相当し、状態情報生成部は図・立体オブジェクト情報生成部１１に相当し、制御部は図・立体オブジェクト情報再生部１９に相当する。
【００６９】
【発明の効果】
上述の如く、本発明によれば、画像に含まれる対象物の状態情報を生成し、生成した状態情報を画像情報とは別に受信側に送信することで、受信側で画像に含まれる対象物の状態を視覚，聴覚，触覚等の多感覚で呈示することができる。
【００７０】
また、対象物の所定範囲を指定し、分割した部分のうち所定範囲に含まれる１以上の部分にタグ情報を付加することにより、部分毎に名称，特徴等の情報を付加することができる。
【００７１】
また、画像に含まれる対象物の状態情報を画像情報とは別に受信し、受信した状態情報に基づいて対象物の状態を抽出し、抽出した対象物の状態を状態呈示装置に呈示させるように制御することで、画像に含まれる対象物の状態を多感覚でユーザに伝達することができる。
【００７２】
また、触覚で呈示された対象物を触れることにより、ユーザは対象物の形状を触知することができる。さらに、ユーザが触れた位置に関する情報をタグ情報呈示装置に音声又は点字等で呈示させることができる。
【００７３】
【図面の簡単な説明】
【図１】本発明の多感覚情報伝送システムの一例の概要図である。
【図２】本発明の送信部の一実施例の構成図である。
【図３】オブジェクト情報生成処理の一例のフローチャートである。
【図４】ポリゴンに分割されたオブジェクトの一例について説明する図である。
【図５】空間位置情報とタグ情報との関係を説明する一例の図である。
【図６】本発明の受信部及び表示部の一実施例の構成図である。
【符号の説明】
１多感覚情報伝送システム
２送信部
３受信部
４表示部
５ネットワーク網
６放送網
１１図・立体オブジェクト情報生成部
１２放送番組コンテンツ入力部
１３インターネット発信部
１４データ放送多重部
１５ＴＶ送信部
１６インターネット受信部
１７ＴＶ受信部
１８データ放送受信部
１９図・立体オブジェクト情報再生部
２０触覚・力覚呈示装置
２１音声・点字出力装置
２２画面出力装置
２３放送番組コンテンツ表示部
３１２・３次元オブジェクト表面分割部
３２オブジェクト空間位置＆パラメータ検出部
３３タグ情報付加位置指定部
３４タグ情報空間位置検出部
３５タグ情報入力部
３６２・３次元オブジェクト／タグ空間位置比較部
３７オブジェクト情報生成部
３８符号部
３９ＵＲＬ・データアドレス付加部
４０ＵＲＬ付加部
５１ダウンロード制御部
５２ＵＲＬ・データアドレス抽出部
５３オブジェクト情報復号部
５４触覚位置ポインタ付加部
５５オブジェクト触覚情報生成部
５６画面呈示出力制御部
５７タグ情報抽出出力制御部
５８触覚呈示出力制御部
５９触覚呈示位置検出部
６０データ番組表示部

Claims

図又は立体を出力する画像に含まれる対象物の状態を多感覚でユーザに伝達する多感覚情報伝達システムに用いられる多感覚情報送信装置であって、
前記画像に含まれる対象物の状態情報を生成する状態情報生成部と、
前記生成した状態情報を送信する状態情報送信部と
を備え、
前記状態情報生成部は、前記画像に含まれる対象物を所定単位の部分に分割する分割部と、
前記分割した部分の位置及び特徴を部分毎に検出し、前記検出した部分毎の位置及び特徴に応じて前記状態情報を生成する生成部と、
前記生成した状態情報にアドレス情報を付加する一方、前記対象物を含む画像情報に前記アドレス情報を付加するアドレス情報付加部と、
前記対象物の所定範囲を指定する範囲指定部と、
前記分割した部分のうち前記指定された所定範囲に含まれる１以上の部分を検出する検出部と、
前記検出した１以上の部分にタグ情報を付加するタグ情報付加部と
を備える多感覚情報送信装置。
前記分割した部分の特徴は、固さ，表面性，形状を含むテクスチャであることを特徴とする請求項１記載の多感覚情報送信装置。
図又は立体を出力する画像に含まれる対象物の状態を多感覚でユーザに伝達する多感覚情報伝達システムに用いられる多感覚情報受信装置であって、
前記画像に含まれる対象物の状態情報を受信する状態情報受信部と、
前記受信した状態情報に基づいて前記対象物の状態を抽出し、前記抽出した対象物の状態を状態呈示装置に呈示させるように制御する制御部と
を備え、
前記制御部は、前記受信した状態情報から前記分割した部分毎の位置及び特徴を抽出する抽出部と、
前記抽出した部分毎の位置及び特徴に基づいて前記触覚呈示装置に前記対象物を触覚で呈示させる触覚呈示制御部と、
前記触覚で呈示された対象物のうちユーザが触れた位置を検出する位置検出部と、
前記検出されたユーザが触れた位置に付加されているタグ情報を抽出し、前記抽出したタグ情報に基づいて前記ユーザが触れた位置に関する情報をタグ情報呈示装置に呈示させるタグ情報呈示制御部と
を備える多感覚情報受信装置。
前記分割した部分の特徴は、固さ，表面性，形状を含むテクスチャであることを特徴とする請求項３記載の多感覚情報受信装置。