JP2002125999A - 多感覚情報送信装置及び多感覚情報受信装置 - Google Patents

Abstract

(57)【要約】 【課題】 画像に含まれる対象物の図形情報又は立体情
報を触覚呈示装置に送信することができ、画像に含まれ
る対象物の状態を多感覚でユーザに伝達することが可能
な多感覚情報送信装置及び多感覚情報受信装置を提供す
ることを目的とする。 【解決手段】 画像に含まれる対象物の状態を多感覚で
ユーザに伝達する多感覚情報伝達システム１に用いられ
る多感覚情報送信装置２及び多感覚情報受信装置３であ
って、多感覚情報送信装置２は、画像に含まれる対象物
の状態情報を生成する状態情報生成部１１と、生成した
状態情報を送信する状態情報送信部１３〜１５とを備
え、多感覚情報受信装置は、画像に含まれる対象物の状
態情報を受信する状態情報受信部１６〜１８と、受信し
た状態情報に基づいて対象物の状態を抽出し、抽出した
対象物の状態を状態呈示装置２０〜２２に呈示させるよ
うに制御する制御部１９とを備えることにより上記課題
を解決する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、多感覚情報送信装
置及び多感覚情報受信装置に係り、特に、画像に含まれ
る対象物の状態を多感覚でユーザに伝達する多感覚情報
送信装置及び多感覚情報受信装置に関する。

【０００２】

【従来の技術】従来、視覚，聴覚に障害を有するユーザ
に対し、視覚，聴覚以外の感覚を媒体に情報を伝達する
ための研究がなされている。

【０００３】例えば視覚に障害を有するユーザへの感覚
代行として、画像から輪郭情報を抽出し、触覚受容器に
２次元又は３次元の情報を伝達する「オプタコン」，
「ＴＶＳＳ」（「視覚障害とその代行技術」，市川ほ
か，名古屋大学出版、「生体情報工学」，星宮ほか，共
立出版など）等の情報伝達装置がある。これらの装置
は、光電変換して得られた画像情報から２値化した情報
を抽出し、２次元に配列された触覚刺激素子を駆動して
振動で指や背中に刺激呈示するものである。

【０００４】また、３次元ディスプレイでは、「盲人用
三次元情報表示装置」（医療福祉機器技術研究開発成果
報告書）のように、２次元上に配置されたステッピング
モータによる触覚刺激素子がコンピュータで作成された
物体のデータに対応して上下に駆動され、擬似的な３次
元の形状を表すものである。

【０００５】さらに、近年のバーチャルリアリティの進
展により、仮想物体の立体形状を視覚，触覚へ伝達する
研究がなされている。触覚への情報伝達では、例えば
「ＰＨＡＭＴＯＭ」（センサブルテクノロジー社）のよ
うに立体形状やテクスチャー等を指で触れて感じさせる
ものがある。この装置は、コンピュータで作成された立
体の空間的な情報を、機械的な反力で触覚受容器にフィ
ードバックすることで仮想的に立体感を再現している。

【０００６】

【発明が解決しようとする課題】放送・通信の分野で
は、視覚，聴覚を媒体に情報が伝達されている。したが
って、視覚に障害を有するユーザに対し、聴覚を媒体に
情報を伝達していた。しかしながら、地図や教育番組に
おけるグラフ等の図，又は美術品，教育番組における分
子モデル，地形等の立体情報を触覚で伝達する手段は確
立されておらず、前述のような図又は立体情報を音声の
みで伝達することには限界があった。また、視覚及び聴
覚に障害を有するユーザは触覚だけが唯一の情報入手手
段であり現状では形状などの情報を伝達することができ
ない。

【０００７】一方、従来の２次元，３次元の触覚呈示装
置で利用する立体情報や図形情報をディジタルデータ放
送で送信する方法も考えられる。しかしながら、限られ
た放送の伝送容量では十分な伝送容量を確保することが
難しい。また、２次元，３次元の触覚呈示装置は空間や
平面上の位置情報から立体や図形を触知することができ
るが、視覚に障害を有するユーザが触知だけで立体や図
形の細部を理解することは困難であるという問題があっ
た。

【０００８】本発明は、上記の点に鑑みなされたもの
で、画像に含まれる対象物の図形情報又は立体情報を触
覚呈示装置に送信することができ、画像に含まれる対象
物の状態を多感覚でユーザに伝達することが可能な多感
覚情報送信装置及び多感覚情報受信装置を提供すること
を目的とする。

【０００９】

【課題を解決するための手段】そこで、上記課題を解決
するため、本発明の多感覚情報送信装置は、画像に含ま
れる対象物の状態を多感覚でユーザに伝達する多感覚情
報伝達システムに用いられる多感覚情報送信装置であっ
て、前記画像に含まれる対象物の状態情報を生成する状
態情報生成部と、前記生成した状態情報を送信する状態
情報送信部とを備えることを特徴とする。

【００１０】このように、画像に含まれる対象物の状態
情報を生成し、生成した状態情報を画像情報とは別に受
信側に送信することにより、画像に含まれる対象物の状
態を視覚，聴覚，触覚等の多感覚で呈示することができ
る。

【００１１】また、本発明の多感覚情報送信装置は、前
記状態情報生成部が、前記画像に含まれる対象物を所定
単位の部分に分割する分割部と、前記分割した部分の位
置及び特徴を部分毎に検出し、前記検出した部分毎の位
置及び特徴に応じて前記状態情報を生成する生成部と、
前記生成した状態情報にアドレス情報を付加する一方、
前記対象物を含む画像情報に前記アドレス情報を付加す
るアドレス情報付加部とを備えることを特徴とする。

【００１２】このように、状態情報生成部は、画像に含
まれる対象物を所定単位（例えば、所定面積）に分割
し、分割した部分の位置及び特徴（例えば、形状，固さ
等）に応じて状態情報を生成することにより、受信側で
画像に含まれる対象物の状態を視覚，聴覚，触覚等の多
感覚で呈示することができる。

【００１３】また、本発明の多感覚情報送信装置は、前
記状態情報生成部が、前記対象物の所定範囲を指定する
範囲指定部と、前記分割した部分のうち前記指定された
所定範囲に含まれる１以上の部分を検出する検出部と、
前記検出した１以上の部分にタグ情報を付加するタグ情
報付加部とを備えることを特徴とする。

【００１４】このように、対象物の所定範囲を指定し、
分割した部分のうち所定範囲に含まれる１以上の部分に
タグ情報を付加することにより、部分毎に名称，特徴等
の情報を付加することができる。

【００１５】また、上記課題を解決するため、本発明の
多感覚情報受信装置は、画像に含まれる対象物の状態を
多感覚でユーザに伝達する多感覚情報伝達システムに用
いられる多感覚情報受信装置であって、前記画像に含ま
れる対象物の状態情報を受信する状態情報受信部と、前
記受信した状態情報に基づいて前記対象物の状態を抽出
し、前記抽出した対象物の状態を状態呈示装置に呈示さ
せるように制御する制御部とを備えることを特徴とす
る。

【００１６】このように、画像に含まれる対象物の状態
情報を画像情報とは別に受信し、受信した状態情報に基
づいて対象物の状態を抽出し、抽出した対象物の状態を
状態呈示装置に呈示させるように制御することにより、
画像に含まれる対象物の状態を多感覚でユーザに伝達す
ることができる。

【００１７】また、本発明の多感覚情報受信装置は、前
記制御部が、前記受信した状態情報から前記分割した部
分毎の位置及び特徴を抽出する抽出部と、前記抽出した
部分毎の位置及び特徴に基づいて前記触覚呈示装置に前
記対象物を触覚で呈示させる触覚呈示制御部と、前記触
覚で呈示された対象物のうちユーザが触れた位置を検出
する位置検出部と、前記検出されたユーザが触れた位置
に付加されているタグ情報を抽出し、前記抽出したタグ
情報に基づいて前記ユーザが触れた位置に関する情報を
タグ情報呈示装置に呈示させるタグ情報呈示制御部とを
備えることを特徴とする。

【００１８】このように、制御部は、受信した状態情報
から分割した部分毎の位置及び特徴を抽出し、抽出した
部分毎の位置及び特徴に基づいて前記触覚呈示装置に前
記対象物を触覚で呈示させる。したがって、ユーザは触
覚呈示装置が触覚で呈示した対象物を触れることによ
り、対象物の形状を触知することができる。

【００１９】また、制御部は、ユーザが触れた位置を検
出し、ユーザが触れた位置にタグ情報が付加されていれ
ば、タグ情報に基づいて前記ユーザが触れた位置に関す
る情報をタグ情報呈示装置に呈示させることができる。
タグ情報呈示装置は、例えばユーザが触れた位置に関す
る情報を音声又は点字などで出力する構成とすることが
できる。

【００２０】

【発明の実施の形態】次に、本発明の実施例について図
面に基づいて説明する。図１は、本発明の多感覚情報伝
送システムの一例の概要図を示す。図１の多感覚情報伝
送システム１は、送信部２，受信部３，表示部４を含む
ように構成される。送信部２と受信部３とは、例えばイ
ンターネット等のネットワーク網５，ＴＶ放送等の放送
網６を介して接続されている。

【００２１】送信部２は、図・立体オブジェクト情報生
成部１１，放送番組コンテンツ入力部１２，インターネ
ット発信部１３，データ放送多重部１４，ＴＶ送信部１
５を含む。図・立体オブジェクト情報生成部１１は、放
送番組で用いられる図，立体の位置，固さ，表面性，形
状などの物理情報を検出し、検出した物理情報に基づい
てオブジェクト情報を生成する。例えば、放送番組で用
いられる図，立体としては、「日曜美術館」等の放送番
組で紹介される美術品などがある。

【００２２】図・立体オブジェクト情報生成部１１は、
生成したオブジェクト情報をネットワーク網５を利用し
て送信する場合、そのオブジェクト情報をインターネッ
ト発信部１３に供給する。また、図・立体オブジェクト
情報生成部１１は、生成したオブジェクト情報を放送網
６を利用して送信する場合、そのオブジェクト情報をデ
ータ放送多重部１４に供給する。

【００２３】インターネット発信部１３は、図・立体オ
ブジェクト情報生成部１１から供給されたオブジェクト
情報をネットワーク網５に送信する。一方、データ放送
多重部１４は、図・立体オブジェクト情報生成部１１か
ら供給されたオブジェクト情報をデータ放送用データに
挿入してＴＶ送信部１５に供給する。

【００２４】ＴＶ送信部１５は、放送番組コンテンツ入
力部１２から通常の放送番組用データが供給されると共
にデータ放送多重部１４からデータ放送用データが供給
され、供給された放送番組用データ及びデータ放送用デ
ータをＴＶ放送波として放送網６に送信する。ネットワ
ーク網５に送信されたオブジェクト情報及び通信網６に
送信されたＴＶ放送波は、受信部３に受信される。

【００２５】受信部３は、インターネット受信部１６，
ＴＶ受信部１７，データ放送受信部１８，図・立体オブ
ジェクト情報再生部１９を含む。インターネット受信部
１６は、ネットワーク網５を介してオブジェクト情報を
受信する。インターネット受信部１６は、受信したオブ
ジェクト情報を図・立体オブジェクト情報再生部１９に
供給する。

【００２６】ＴＶ受信部１７は、放送網６からＴＶ放送
波を受信し、受信したＴＶ放送波から放送番組用データ
及びデータ放送用データを検出する。ＴＶ受信部１７
は、検出した放送番組用データを後述する放送番組コン
テンツ表示部２３に送信すると共に、データ放送用デー
タをデータ放送受信部１８に供給する。

【００２７】データ放送受信部１８は、供給されたデー
タ放送用データから送信部２で挿入されたオブジェクト
情報を検出し、検出したオブジェクト情報を図・立体オ
ブジェクト情報再生部１９に供給する。図・立体オブジ
ェクト情報再生部１９は、インターネット受信部１６，
データ放送受信部１８から供給されるオブジェクト情報
を供給され、そのオブジェクト情報に基づいて放送番組
で用いられる図，立体の位置，固さ，表面性，形状など
の物理情報を再生する。図・立体オブジェクト情報再生
部１９は、再生した物理情報に基づいて後述する触覚・
力覚呈示装置２０，音声・点字出力装置２１，画面出力
装置２２の処理を制御する。

【００２８】表示部４は、触覚・力覚呈示装置２０，音
声・点字出力装置２１，画面出力装置２２，放送番組コ
ンテンツ表示部２３を含む。触覚・力覚呈示装置２０
は、図・立体オブジェクト情報再生部１９からの制御に
応じて放送番組で用いられる図，立体を触覚で呈示す
る。音声・点字出力装置２１は、図・立体オブジェクト
情報再生部１９からの制御に応じて放送番組で用いられ
る図，立体に関する情報を音声又は点字で出力する。

【００２９】画面出力装置２２は、図・立体オブジェク
トデータ再生部１９からの制御に応じて放送番組で用い
られる図，立体を画像で出力する。また、放送番組コン
テンツ表示部２３は、ＴＶ受信部１７から送信される放
送番組用データを受信し、放送番組を表示する。

【００３０】このように、本発明の多感覚情報伝送シス
テム１は、通常の放送番組用データとは別に放送番組で
用いられる図，立体の位置，固さ，表面性，形状などの
物理情報をネットワーク網５，放送網６を用いて伝送す
ることができ、受信側で図，立体の位置，固さ，表面
性，形状などを視覚，触覚，聴覚等の多感覚で呈示する
ことが可能である。

【００３１】以下、本発明の多感覚情報伝送システム１
を構成する送信部２，受信部３の詳細について説明す
る。図２は、本発明の送信部の一実施例の構成図を示
す。図２の送信部２は、図・立体オブジェクト情報生成
部１１，放送番組コンテンツ入力部１２，インターネッ
ト発信部１３，データ放送多重部１４，ＴＶ送信部１
５，符号部３８，ＵＲＬ・データアドレス付加部３９，
ＵＲＬ付加部４０を含むように構成される。また、図・
立体オブジェクト情報生成部１１は、２・３次元オブジ
ェクト表面分割部３１，オブジェクト空間位置＆パラメ
ータ検出部３２，タグ情報付加位置指定部３３，タグ情
報空間位置検出部３４，タグ情報入力部３５，２・３次
元オブジェクト／タグ空間位置比較部３６及びオブジェ
クト情報生成部３７を含む。

【００３２】２・３次元オブジェクト表面分割部３１
は、放送番組で用いられる図，立体（以下、「オブジェ
クト」という）の表面を適切な数に分割した部分（以
下、「ポリゴン」という）に分割し、分割したポリゴン
をオブジェクト空間位置＆パラメータ検出部３２に供給
する。オブジェクト空間位置＆パラメータ検出部３２
は、各ポリゴンの空間位置，固さ，表面性，形状等のテ
クスチャ（Ｔｅｘｔｕｒｅ）を物理情報として検出す
る。

【００３３】タグ情報付加位置指定部３３は、名称，特
徴などを表すタグ情報を付加する空間位置を指定し、指
定した空間位置をタグ情報空間位置検出部３４に供給す
る。タグ情報空間位置検出部３４は、指定された空間位
置に含まれるポリゴンを選択し、選択した各ポリゴンの
空間位置を検出する。タグ情報空間位置検出部３４は、
選択した各ポリゴンの空間位置をタグ情報入力部３５に
供給する。また、タグ情報入力部３５は、タグ情報空間
位置検出部３４で選択された各ポリゴンにタグ情報を付
加する。

【００３４】２・３次元オブジェクト／タグ空間位置比
較部３６は、オブジェクト空間位置＆パラメータ検出部
３２から各ポリゴンの空間位置等の物理情報が供給され
ると共に、タグ情報入力部３５からタグ情報及びそのタ
グ情報が付加された各ポリゴンの空間位置が供給され
る。

【００３５】２・３次元オブジェクト／タグ空間位置比
較部３６は、オブジェクト空間位置＆パラメータ検出部
３２で検出した各ポリゴンの空間位置と、タグ情報空間
位置検出部３４で選択した各ポリゴンの空間位置との比
較を行い、その比較結果をオブジェクト情報生成部３７
に供給する。なお、２・３次元オブジェクト／タグ空間
位置比較部３６は、オブジェクト空間位置＆パラメータ
検出部３２から供給された各ポリゴンの空間位置等の物
理情報、タグ情報入力部３５から供給されたタグ情報及
びそのタグ情報が付加された各ポリゴンの空間位置もオ
ブジェクト情報生成部３７に供給する。

【００３６】オブジェクト情報生成部３７は、供給され
た比較結果に基づいて、タグ情報空間位置検出部３４で
選択した各ポリゴンの空間位置と一致するオブジェクト
の各ポリゴンにタグ情報を付加する。そして、オブジェ
クト情報生成部３７は、各ポリゴンの物理情報，タグ情
報等からオブジェクト情報を生成し、符号部３８に供給
する。

【００３７】符号部３８は、オブジェクト情報生成部３
７から供給されたオブジェクト情報をＶＲＭＬ（Virtua
l Reality Modeling Language）などで符号化し、符号
化したオブジェクト情報（以下、「符号化オブジェクト
情報」という）をＵＲＬ付加部４０，データ放送多重部
１４に供給する。ＵＲＬ付加部４０は、符号部３８から
供給された符号化オブジェクト情報にＵＲＬ（Ｕｎｉｆ
ｏｒｍ Ｒｅｓｏｕｒｃｅ Ｌｏｃａｔｏｒ）を付加
し、ＵＲＬを付加した符号化オブジェクト情報をインタ
ーネット発信部１３に供給する。インターネット発信部
１３は、ＵＲＬ付加部４０から供給された符号化オブジ
ェクト情報を符号化オブジェクト情報に付加したＵＲＬ
に基づいて、例えばＴＣＰ／ＩＰフォーマットでネット
ワーク網５に配置されたサーバに送信する。

【００３８】ＵＲＬ・データアドレス付加部３９は、符
号化オブジェクト情報をネットワーク網５を利用して送
信する場合、ＵＲＬをデータ放送多重部１４に供給し、
符号化オブジェクト情報を放送網６を利用して送信する
場合、符号化オブジェクト情報のインデックス或いはア
ドレスをデータ放送多重部１４に供給する。

【００３９】データ放送多重部１４は、符号部３８から
供給された符号化オブジェクト情報及びＵＲＬ・データ
アドレス付加部３９から供給されたＵＲＬ，インデック
ス或いはアドレス等をデータ放送用データに挿入してＴ
Ｖ送信部１５に供給する。ＴＶ送信部１５は、放送番組
コンテンツ入力部１２から通常の放送番組用データが供
給されると共にデータ放送多重部１４からデータ放送用
データが供給され、供給された放送番組用データ及びデ
ータ放送用データをＴＶ放送波として放送網６に送信す
る。

【００４０】ここで、図・立体オブジェクト情報生成部
１１のオブジェクト情報生成処理について図２〜図５を
参照しつつ詳細に説明する。図３は、オブジェクト情報
生成処理の一例のフローチャートを示す。図４は、ポリ
ゴンに分割されたオブジェクトの一例について説明する
図を示す。図５は、空間位置情報とタグ情報との関係を
説明する一例の図を示す。

【００４１】例えば放送番組で図４に示すオブジェクト
４２を用いる場合、図・立体オブジェクト情報生成部１
１は図３のフローチャートに示す手順に従ってオブジェ
クト情報を生成する。図３中、ステップＳ１では、２・
３次元オブジェクト表面分割部３１はオブジェクト４２
の表面を適切な数のポリゴンに分割する。なお、オブジ
ェクト４２の表面に記載された１〜３８は、ポリゴンナ
ンバー（ポリゴンＮＯ）を示している。ポリゴンナンバ
ーは、ポリゴン毎に付与される。

【００４２】ステップＳ１に続いてステップＳ２に進
み、オブジェクト空間位置＆パラメータ検出部３２はス
テップＳ１で分割されたポリゴンの空間位置を例えばレ
ーザによる距離測定手段で検出する。検出されたポリゴ
ンの空間位置は図５の２・３次元オブジェクト空間位置
情報に示すように、（Ｘ，Ｙ，Ｚ）座標で表された空間
的な位置情報で記録される。また、ステップＳ２では、
ポリゴンの空間位置以外の物理情報も検出される。

【００４３】ステップＳ２に続いてステップＳ３に進
み、オブジェクト空間位置＆パラメータ検出部３２は全
ポリゴンの物理情報を取得したか否かを判定する。全ポ
リゴンの物理情報を取得していないと判定すると（Ｓ３
においてＮＯ）、ステップＳ２に進み、オブジェクト空
間位置＆パラメータ検出部３２は、まだ物理情報を取得
していないポリゴンの物理情報を検出する。

【００４４】全ポリゴンの物理情報を取得していると判
定すると（Ｓ３においてＹＥＳ）、ステップＳ４に進
み、タグ情報付加位置指定部３３はタグ情報を付加する
空間位置を指定する。例えばオブジェクト４２の円又は
楕円で囲まれたＡ部４３，Ｂ部４４に夫々「水平尾
翼」，「胴体」というタグ情報を付加する場合、オブジ
ェクト４２のＡ部４３，Ｂ部４４をレーザによる距離測
定手段でスキャンすることによりタグ情報の付加位置を
指定する。

【００４５】ステップＳ４に続いてステップＳ５に進
み、タグ情報空間位置検出部３４はステップＳ４で指定
されたタグ情報付加位置に含まれるポリゴンの空間位置
を検出する。そして、ステップＳ５に続いてステップＳ
６に進み、タグ情報入力部３５はテキストタグ情報を入
力する。

【００４６】例えばオブジェクト４２の円又は楕円で囲
まれたＡ部４３，Ｂ部４４に夫々「水平尾翼」，「胴
体」というタグ情報を付加する場合、Ａ部４３に含まれ
るポリゴンの空間位置を検出すると共に、「水平尾翼」
というテキストタグ情報を入力する。また、Ｂ部４４に
含まれるポリゴンの空間位置を検出すると共に、「胴
体」というテキストタグ情報を入力する。

【００４７】ステップＳ６に続いてステップＳ７に進
み、ステップＳ４で指定したタグ情報位置に対する全タ
グ情報の入力が終了したか否かを判定する。ステップＳ
４で指定したタグ情報位置に対する全タグ情報の入力が
終了していないと判定すると（Ｓ７においてＮＯ）、ス
テップＳ５に進む。また、ステップＳ４で指定したタグ
情報位置に対する全タグ情報の入力が終了したと判定す
ると（Ｓ７においてＹＥＳ）、ステップＳ８に進む。

【００４８】ステップＳ８では、必要な全タグ情報の入
力が終了，言い替えればタグ情報を付加したいと所望す
るタグ情報の位置指定が終了したか否かを判定する。全
タグ情報の位置指定が終了したと判定すると（Ｓ８にお
いてＹＥＳ）、ステップＳ９に進む。また、全タグ情報
の位置指定が終了していないと判定すると（Ｓ８におい
てＮＯ）、ステップＳ４に進む。

【００４９】ステップＳ９では、２・３次元オブジェク
ト／タグ空間位置比較部３６はステップＳ２で検出され
た各ポリゴンの空間位置と、ステップＳ５で検出された
各ポリゴンの空間位置とを比較する。ステップＳ９に続
いてステップＳ１０に進み、２・３次元オブジェクト／
タグ空間位置比較部３６は空間位置が等しいポリゴンを
検出すると（Ｓ１０においてＹＥＳ）、ステップＳ１１
に進み、図５の２・３次元オブジェクト空間位置情報及
びタグ位置情報に示すように、ステップＳ２で検出され
たポリゴンにタグ情報を付加する。

【００５０】タグ位置情報は、ポリゴンナンバー，
（Ｘ，Ｙ，Ｚ）座標で表された空間的な位置情報，テキ
ストタグ情報を含むように構成される。なお、２・３次
元オブジェクト／タグ空間位置比較部３６は空間位置が
等しいポリゴンを検出しないと（Ｓ１０においてＮ
Ｏ）、ステップＳ９に進む。そして、ステップＳ１１に
続いてステップＳ１２に進み、オブジェクト情報生成部
３７は、物理情報，タグ情報等からオブジェクト情報を
作成する。

【００５１】なお、ステップＳ９，Ｓ１０において、ス
テップＳ２で検出された各ポリゴンの空間位置と、ステ
ップＳ５で検出された各ポリゴンの空間位置とは測定誤
差などにより完全に一致しないことがあるので、適切な
誤差範囲を設定しておくことが望ましい。

【００５２】次に、本発明の多感覚情報伝送システム１
を構成する受信部３の詳細について説明する。図６は、
本発明の受信部及び表示部の一実施例の構成図を示す。
図６の受信部３は、インターネット受信部１６，ＴＶ受
信部１７，データ放送受信部１８，図・立体オブジェク
ト情報再生部１９，ダウンロード制御部５１，ＵＲＬ・
データアドレス抽出部５２を含むように構成される。

【００５３】また、図・立体オブジェクト情報再生部１
９は、オブジェクト情報復号部５３，触覚位置ポインタ
付加部５４，オブジェクト触覚情報生成部５５，画面呈
示出力制御部５６，タグ情報抽出出力制御部５７，触覚
呈示出力制御部５８，触覚呈示位置検出部５９を含む。
表示部４は、触覚・力覚呈示装置２０，音声・点字出力
装置２１，画面出力装置２２，放送番組コンテンツ表示
部２３，データ番組表示部６０を含むように構成され
る。

【００５４】インターネット受信部１６はネットワーク
網５を介して符号化オブジェクト情報を受信し、受信し
た符号化オブジェクト情報をダウンロード制御部５１に
供給する。ＴＶ受信部１７は、放送網６からＴＶ放送波
を受信し、受信したＴＶ放送波から放送番組用データ及
びデータ放送用データを検出する。ＴＶ受信部１７は、
検出した放送番組用データを放送番組コンテンツ表示部
２３に送信すると共に、データ放送用データをデータ放
送受信部１８に供給する。

【００５５】データ放送受信部１８は、供給されたデー
タ放送用データを受信し、データ番組表示部６０及びＵ
ＲＬ・データアドレス抽出部５２にデータ番組用データ
を供給する。ＵＲＬ・データアドレス抽出部５２は、デ
ータ番組用データに挿入された符号化オブジェクト情報
のＵＲＬ，インデックス或いはアドレス等を抽出し、抽
出したＵＲＬをダウンロード制御部５１に供給する一
方、抽出したインデックス或いはアドレス等をデータ放
送受信部１８に供給する。

【００５６】ダウンロード制御部５１は、ＵＲＬ・デー
タアドレス抽出部５２から供給されたＵＲＬに基づい
て、例えばネットワーク網５に配置されたサーバから符
号化オブジェクト情報をダウンロードするようにインタ
ーネット受信部１６を制御する。ダウンロード制御部５
１は、ダウンロードした符号化オブジェクト情報をオブ
ジェクト情報復号部５３に供給する。

【００５７】データ放送受信部１８は、ＵＲＬ・データ
アドレス抽出部５２から供給されたインデックス或いは
アドレス等に基づいて、データ放送用データに挿入した
符号化オブジェクト情報を抽出する。データ放送受信部
１８は、抽出したオブジェクト情報をオブジェクト情報
復号部５３に供給する。

【００５８】オブジェクト情報復号部５３は、ダウンロ
ード制御部５１又はデータ放送受信部１８から供給され
るＶＲＭＬなどで符号化された符号化オブジェクト情報
を復号化し、復号化したオブジェクト情報に基づいてオ
ブジェクトの物理情報，タグ情報等を再生する。オブジ
ェクト情報復号部５３は、再生した物理情報，タグ情報
をオブジェクト触覚情報生成部５５，画面呈示出力制御
部５６に供給する。

【００５９】オブジェクト触覚情報生成部５５は供給さ
れた物理情報に応じて触覚情報を生成し、生成した触覚
情報を触覚呈示出力制御部５８に供給する。触覚呈示出
力制御部５８は、供給された触覚情報に応じて例えばＰ
ＨＡＭＴＯＭのような触覚・力覚呈示装置２０を駆動制
御する。触覚・力覚呈示装置２０は、触覚呈示出力制御
部５８の制御に応じてオブジェクトを触覚で呈示する。

【００６０】触覚呈示位置検出部５９は、ユーザの手，
指先等が触れている触察部分の位置情報を検出し、検出
した位置情報をオブジェクト触覚情報生成部５５にフィ
ードバックする。オブジェクト触覚情報生成部５５は、
触察部分の位置情報からその触察部分に対応する触覚情
報を生成し、生成した触覚情報を触覚呈示出力制御部５
８に供給する。

【００６１】つまり、ユーザが手，指先等を移動するこ
とにより、その触察部分の位置情報が触覚呈示位置検出
部５９で検出され、検出された位置情報がオブジェクト
触覚情報生成部５５にフィードバックされ、フィードバ
ックされた位置情報からその触察部分に対応する触覚情
報が順次生成される。

【００６２】そして、順次生成した触覚情報を触覚呈示
出力制御部５８に供給し、触覚・力覚呈示装置２０によ
る反力を制御することにより、あたかもオブジェクトが
存在するような感覚をユーザに与えることができ、ユー
ザに立体形状を認識させることができる。

【００６３】また、オブジェクト触覚情報生成部５５
は、触覚呈示位置検出部５９から供給された位置情報と
タグ情報とをタグ情報抽出出力制御部５７に供給する。
タグ情報抽出出力制御部５７は供給された位置情報とタ
グ情報とを利用して触察部分のタグ情報を抽出し、抽出
したタグ情報に応じて音声・点字出力装置２１を駆動制
御する。音声・点字出力装置２１は、タグ情報抽出出力
制御部５７の制御に応じて音声情報又は点字情報を出力
する。つまり、ユーザの手，指先等が触れている触察部
分の名称，特徴などを位置情報及びタグ情報から取得
し、音声又は点字でユーザに伝達することができる。

【００６４】触覚位置ポインタ付加部５４は、触覚呈示
位置検出部５９で検出された触察部分の位置をポインタ
として画面上に付加するための情報を作成し、その情報
を画面呈示出力制御部５６に供給する。画面呈示出力制
御部５６は、オブジェクト情報復号部５３で再生したオ
ブジェクトと触覚位置ポインタ付加部５４で付加したポ
インタとを画面出力装置２２に呈示させる。

【００６５】なお、放送番組コンテンツ表示部２３は、
ＴＶ受信部１７から送信される放送番組用データを受信
し、放送番組を表示する。データ番組表示部６０は、デ
ータ放送受信部１８から送信されるデータ番組用データ
を受信し、受信したデータ番組を表示する。画面出力装
置２２は、画面呈示出力制御部５６の制御に応じてオブ
ジェクト，ポインタを画面に呈示する。

【００６６】以上のように、放送番組で用いられる図，
立体のオブジェクトは、視覚に加えて仮想的に空間上に
触覚で検知できる物体として存在し、触れる位置により
部分の名称，特徴を音声，点字で伝達される。したがっ
て、ユーザは触覚で検知できる物体を触れつつ触れてい
る位置の名称，特徴を音声，点字で確認することがで
き、美術品などの立体形状を容易に理解できる。

【００６７】本実施例では、触覚呈示を行う触覚受容器
の一例として触覚・力覚呈示装置２０を利用したが、こ
れに限るものではなく、マイクロマシン又はその他の微
小アクチュエータ等で形成される触覚受容器であっても
よい。また、本実施例では、オブジェクト情報をネット
ワーク網５又は放送網６を利用して伝送する例について
記載しているが、伝送容量に応じてネットワーク網５及
び放送網６を併用する伝送，ネットワーク網又は放送網
６の何れか一方を利用する伝送などが可能である。

【００６８】なお、特許請求の範囲に記載した多感覚情
報送信装置は送信部２に相当し、多感覚情報受信装置は
受信部３に相当し、状態情報生成部は図・立体オブジェ
クト情報生成部１１に相当し、制御部は図・立体オブジ
ェクト情報再生部１９に相当する。

【００６９】

【発明の効果】上述の如く、本発明によれば、画像に含
まれる対象物の状態情報を生成し、生成した状態情報を
画像情報とは別に受信側に送信することで、受信側で画
像に含まれる対象物の状態を視覚，聴覚，触覚等の多感
覚で呈示することができる。

【００７０】また、対象物の所定範囲を指定し、分割し
た部分のうち所定範囲に含まれる１以上の部分にタグ情
報を付加することにより、部分毎に名称，特徴等の情報
を付加することができる。

【００７１】また、画像に含まれる対象物の状態情報を
画像情報とは別に受信し、受信した状態情報に基づいて
対象物の状態を抽出し、抽出した対象物の状態を状態呈
示装置に呈示させるように制御することで、画像に含ま
れる対象物の状態を多感覚でユーザに伝達することがで
きる。

【００７２】また、触覚で呈示された対象物を触れるこ
とにより、ユーザは対象物の形状を触知することができ
る。さらに、ユーザが触れた位置に関する情報をタグ情
報呈示装置に音声又は点字等で呈示させることができ
る。

【００７３】

【図面の簡単な説明】

【図１】本発明の多感覚情報伝送システムの一例の概要
図である。

【図２】本発明の送信部の一実施例の構成図である。

【図３】オブジェクト情報生成処理の一例のフローチャ
ートである。

【図４】ポリゴンに分割されたオブジェクトの一例につ
いて説明する図である。

【図５】空間位置情報とタグ情報との関係を説明する一
例の図である。

【図６】本発明の受信部及び表示部の一実施例の構成図
である。

【符号の説明】

１ 多感覚情報伝送システム ２ 送信部 ３ 受信部 ４ 表示部 ５ ネットワーク網 ６ 放送網 １１ 図・立体オブジェクト情報生成部 １２ 放送番組コンテンツ入力部 １３ インターネット発信部 １４ データ放送多重部 １５ ＴＶ送信部 １６ インターネット受信部 １７ ＴＶ受信部 １８ データ放送受信部 １９ 図・立体オブジェクト情報再生部 ２０ 触覚・力覚呈示装置 ２１ 音声・点字出力装置 ２２ 画面出力装置 ２３ 放送番組コンテンツ表示部 ３１ ２・３次元オブジェクト表面分割部 ３２ オブジェクト空間位置＆パラメータ検出部 ３３ タグ情報付加位置指定部 ３４ タグ情報空間位置検出部 ３５ タグ情報入力部 ３６ ２・３次元オブジェクト／タグ空間位置比較部 ３７ オブジェクト情報生成部 ３８ 符号部 ３９ ＵＲＬ・データアドレス付加部 ４０ ＵＲＬ付加部 ５１ ダウンロード制御部 ５２ ＵＲＬ・データアドレス抽出部 ５３ オブジェクト情報復号部 ５４ 触覚位置ポインタ付加部 ５５ オブジェクト触覚情報生成部 ５６ 画面呈示出力制御部 ５７ タグ情報抽出出力制御部 ５８ 触覚呈示出力制御部 ５９ 触覚呈示位置検出部 ６０ データ番組表示部

───────────────────────────────────────────────────── フロントページの続き (72)発明者 伊藤 崇之 東京都世田谷区砧一丁目10番11号 日本放 送協会 放送技術研究所内 Ｆターム(参考） 5B050 AA06 AA08 BA09 BA18 CA08 DA10 EA03 EA04 EA28 FA01 FA02 FA09 FA10 GA01 5E501 AB15 BA11 CA01

Claims (5)

【特許請求の範囲】
1. 【請求項１】 画像に含まれる対象物の状態を多感覚で
   ユーザに伝達する多感覚情報伝達システムに用いられる
   多感覚情報送信装置であって、 前記画像に含まれる対象物の状態情報を生成する状態情
   報生成部と、 前記生成した状態情報を送信する状態情報送信部とを備
   える多感覚情報送信装置。
2. 【請求項２】 前記状態情報生成部は、前記画像に含ま
   れる対象物を所定単位の部分に分割する分割部と、 前記分割した部分の位置及び特徴を部分毎に検出し、前
   記検出した部分毎の位置及び特徴に応じて前記状態情報
   を生成する生成部と、 前記生成した状態情報にアドレス情報を付加する一方、
   前記対象物を含む画像情報に前記アドレス情報を付加す
   るアドレス情報付加部とを備える請求項１記載の多感覚
   情報送信装置。
3. 【請求項３】 前記状態情報生成部は、前記対象物の所
   定範囲を指定する範囲指定部と、 前記分割した部分のうち前記指定された所定範囲に含ま
   れる１以上の部分を検出する検出部と、 前記検出した１以上の部分にタグ情報を付加するタグ情
   報付加部とを更に備える請求項２記載の多感覚情報送信
   装置。
4. 【請求項４】 画像に含まれる対象物の状態を多感覚で
   ユーザに伝達する多感覚情報伝達システムに用いられる
   多感覚情報受信装置であって、 前記画像に含まれる対象物の状態情報を受信する状態情
   報受信部と、 前記受信した状態情報に基づいて前記対象物の状態を抽
   出し、前記抽出した対象物の状態を状態呈示装置に呈示
   させるように制御する制御部とを備える多感覚情報受信
   装置。
5. 【請求項５】 前記制御部は、前記受信した状態情報か
   ら前記分割した部分毎の位置及び特徴を抽出する抽出部
   と、 前記抽出した部分毎の位置及び特徴に基づいて前記触覚
   呈示装置に前記対象物を触覚で呈示させる触覚呈示制御
   部と、 前記触覚で呈示された対象物のうちユーザが触れた位置
   を検出する位置検出部と、 前記検出されたユーザが触れた位置に付加されているタ
   グ情報を抽出し、前記抽出したタグ情報に基づいて前記
   ユーザが触れた位置に関する情報をタグ情報呈示装置に
   呈示させるタグ情報呈示制御部とを備える請求項４記載
   の多感覚情報受信装置。