[go: up one dir, main page]

JP3081377B2 - 3D video phone - Google Patents

3D video phone

Info

Publication number
JP3081377B2
JP3081377B2 JP04203874A JP20387492A JP3081377B2 JP 3081377 B2 JP3081377 B2 JP 3081377B2 JP 04203874 A JP04203874 A JP 04203874A JP 20387492 A JP20387492 A JP 20387492A JP 3081377 B2 JP3081377 B2 JP 3081377B2
Authority
JP
Japan
Prior art keywords
convex lens
dimensional
imaging
image
lens
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP04203874A
Other languages
Japanese (ja)
Other versions
JPH0654348A (en
Inventor
知彦 服部
盛夫 松平
秀行 金山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sanyo Electric Co Ltd
Original Assignee
Sanyo Electric Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sanyo Electric Co Ltd filed Critical Sanyo Electric Co Ltd
Priority to JP04203874A priority Critical patent/JP3081377B2/en
Publication of JPH0654348A publication Critical patent/JPH0654348A/en
Application granted granted Critical
Publication of JP3081377B2 publication Critical patent/JP3081377B2/en
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Landscapes

  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Description

【発明の詳細な説明】DETAILED DESCRIPTION OF THE INVENTION

【0001】[0001]

【産業上の利用分野】本発明は眼鏡を使用する必要がな
い立体画像撮影表示装置を使用した立体テレビ電話装置
に関する。
BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a three-dimensional video telephone apparatus using a three-dimensional image photographing and displaying apparatus which does not require the use of glasses.

【0002】[0002]

【従来の技術】従来、眼鏡を使用する必要がない立体画
像撮影表示装置として本願出願人は既に特願平2−29
1025号及び「1991年テレビジョン学会年次大
会」に提案している。
2. Description of the Related Art Conventionally, as a stereoscopic image photographing and displaying apparatus which does not require the use of eyeglasses, the present applicant has already filed Japanese Patent Application No. Hei 2-29.
No. 1025 and "1991 Television Society Annual Meeting".

【0003】この装置の原理について図4、図5に従い
説明する。まず、撮影装置は図4の如く水平方向に配置
されたn個のビデオカメラC1〜Cnを備え、これによ
り被写体を撮影する構成となっている。このとき各ビデ
オカメラの撮像面S1〜Snは同一平面上に配置されて
おり、且つ各撮像レンズL1は各撮像面S1〜Snに対
してその光軸が直交している。更に、被写体領域におい
て各ビデオカメラの撮像範囲は一致している。このよう
にしてn個のカメラで同一被写体を異なる角度から視差
をもって撮影した各画像をパララックス画像という。
The principle of this device will be described with reference to FIGS. First, the photographing apparatus includes n video cameras C1 to Cn arranged in the horizontal direction as shown in FIG. 4, and is configured to photograph a subject. At this time, the imaging surfaces S1 to Sn of the respective video cameras are arranged on the same plane, and the optical axis of each imaging lens L1 is orthogonal to the imaging surfaces S1 to Sn. Further, the imaging ranges of the respective video cameras coincide in the subject area. Each image obtained by capturing the same subject from different angles with parallax by the n cameras is called a parallax image.

【0004】一方、表示装置は図5の如くCRTや液晶
パネルよりなるn個の表示素子D1〜Dnを備え、前記
ビデオカメラC1〜Cnで撮影した映像信号が供給され
る。この表示素子は水平方向に且つ同一面内に配置され
る。その前方には図4の各撮像面と各撮像レンズとの関
係と同様な関係でn個の投写レンズL2がそれぞれ配置
される。
On the other hand, the display device is provided with n display elements D1 to Dn composed of a CRT or a liquid crystal panel as shown in FIG. 5, and supplied with video signals photographed by the video cameras C1 to Cn. The display elements are arranged horizontally and in the same plane. In front of this, n projection lenses L2 are arranged in a relationship similar to the relationship between each imaging surface and each imaging lens in FIG.

【0005】更に、この投写レンズの前方には観察面上
で複数のパララックス画像を分離するための大口径の凸
レンズL3が配置されており、n個のパララックス画像
はこの凸レンズL3上に拡大投影される。
Further, a large-diameter convex lens L3 for separating a plurality of parallax images on the observation surface is disposed in front of the projection lens, and the n parallax images are enlarged on the convex lens L3. Projected.

【0006】この凸レンズL3の焦点距離をfとすると
投写レンズ群の光学的実効位置からこの凸レンズL3の
光学的実効位置までの距離及び凸レンズL3から観察面
までの距離はともに2fに設定されている。
If the focal length of the convex lens L3 is f, the distance from the optically effective position of the projection lens group to the optically effective position of the convex lens L3 and the distance from the convex lens L3 to the observation surface are both set to 2f. .

【0007】尚、凸レンズL3はフレネル凸レンズでも
良い。
The convex lens L3 may be a Fresnel convex lens.

【0008】上述の撮影装置により撮影した映像信号を
表示装置に供給すると、n個のパララックス画像は凸レ
ンズL3上の同一位置上に重なって投写されるが、凸レ
ンズL3の屈折作用により各パララックス画像は別々の
指向性を持った光として放射され凸レンズL3の光学的
実効位置から2f離れた観察面上の水平方向の別々の位
置に照射される。従って、観察者は凸レンズL3を覗く
とn個のパララックス画像のうちの2個をそれぞれ左右
の目で見ることにより立体画像として認識することがで
きる。
When a video signal photographed by the above photographing device is supplied to a display device, n parallax images are projected on the same position on the convex lens L3 so as to overlap each other, but each parallax image is refracted by the convex lens L3. The images are radiated as lights having different directivities, and are radiated to different horizontal positions on the observation surface at a distance of 2f from the optically effective position of the convex lens L3. Therefore, when the observer looks into the convex lens L3, the observer can recognize two parallax images as n-dimensional images by viewing them with left and right eyes, respectively.

【0009】一方、近年、話者同士の顔を確認しながら
会話が可能なテレビ電話が普及しつつあるが、従来この
テレビ電話に上述の立体画像撮影表示装置を適用したも
のはなかった。
[0009] On the other hand, in recent years, videophones capable of talking while confirming the faces of speakers have become widespread. However, there has been no videophone to which the above-described stereoscopic image photographing and displaying apparatus has been applied.

【0010】また、テレビ電話の場合、話者同士の視線
を一致させることも必要であった。
[0010] In the case of a videophone, it is necessary to match the eyes of the speakers.

【0011】[0011]

【発明が解決しようとする課題】本発明は上述の点に鑑
み為されたものであり、話者同士の視線を一致させる事
ができ、且つ、特殊な眼鏡無しで立体画像表示を行う立
体画像撮影表示装置を使用した立体テレビ電話装置を提
供するものである。
DISCLOSURE OF THE INVENTION The present invention has been made in view of the above points, and has been made in view of the above-mentioned circumstances, and is capable of making the eyes of the speakers coincide with each other and displaying stereoscopic images without special glasses. It is intended to provide a three-dimensional videophone device using a photographing display device.

【0012】[0012]

【課題を解決するための手段】本発明は、第1被写体を
異なる角度から見た複数のパララックス画像として撮影
する撮像手段と、第2被写体の複数のパララックス画像
を表す複数の映像信号がそれぞれ供給される表示手段
と、前記撮像手段及び表示手段と前記第1被写体との間
に配置され、撮影時は撮像レンズの一部として機能し、
表示時は前記表示手段により表示された複数のパララッ
クス画像が結像する凸レンズとを備える立体テレビ電話
装置である。
According to the present invention, an image pickup means for photographing a first subject as a plurality of parallax images viewed from different angles, and a plurality of video signals representing a plurality of parallax images of the second subject are provided. Display means respectively provided, disposed between the imaging means and the display means and the first subject, function as a part of the imaging lens at the time of shooting,
A stereoscopic videophone device comprising: a convex lens on which a plurality of parallax images displayed by the display means are formed during display.

【0013】[0013]

【作用】本発明では、第1被写体の立体画像が撮像手段
により凸レンズを介して撮影されるとともに、表示手段
上に表示された第2被写体の立体画像が前記凸レンズ上
に結像される。
According to the present invention, a three-dimensional image of the first object is photographed by the imaging means via the convex lens, and a three-dimensional image of the second object displayed on the display means is formed on the convex lens.

【0014】[0014]

【実施例】以下、図面に従って本発明の一実施例につき
説明する。
An embodiment of the present invention will be described below with reference to the drawings.

【0015】図1は本実施例におけるテレビ電話装置の
概略構成図、図2はこのテレビ電話装置を側面から見た
光学経路を示す図、図3は撮影時の光学経路を示す図で
あり、図中、1、2はそれぞれ話者A、Bの前方に配置
された第1、第2立体テレビ電話装置である。C1〜C
nはn個のビデオカメラであり、図4の撮影装置の原理
を満たして各立体テレビ電話装置1、2内に配置されて
いる。D1〜Dnはn個の表示手段であり図5の表示装
置の原理を満たして第1立体テレビ電話装置1内に配置
されている。
FIG. 1 is a schematic configuration diagram of a video telephone device according to the present embodiment, FIG. 2 is a diagram showing an optical path when the video telephone device is viewed from a side, and FIG. In the figure, reference numerals 1 and 2 denote first and second three-dimensional videophone devices arranged in front of speakers A and B, respectively. C1-C
“n” denotes n video cameras, which are arranged in each of the three-dimensional videophone devices 1 and 2 so as to satisfy the principle of the photographing device in FIG. D1 to Dn denote n display means, which are arranged in the first three-dimensional videophone device 1 and satisfy the principle of the display device of FIG.

【0016】そして、各立体テレビ電話装置の前面には
撮像レンズL1から4f、投写レンズL2から2f離れ
た位置に大口径の凸レンズL3が配置されている。ここ
で、凸レンズL3は撮像レンズL1と共にビデオカメラ
C1の光学系を構成するように光学定数が設定されてい
る。
A large-diameter convex lens L3 is arranged at a position 4f away from the imaging lens L1 and 2f away from the projection lens L2 on the front of each stereoscopic videophone device. Here, the optical constant of the convex lens L3 is set so as to constitute the optical system of the video camera C1 together with the imaging lens L1.

【0017】また、この凸レンズL3と表示手段との間
の光路中には約45度傾斜してハーフミラーMが配置さ
れている。このハーフミラーMは外部からの光は反射し
て前記ビデオカメラに入射せしめるとともに表示手段か
らの光は透過させて外部へ照射する。
In the optical path between the convex lens L3 and the display means, a half mirror M is disposed at an angle of about 45 degrees. The half mirror M reflects light from the outside and makes it incident on the video camera, and also transmits light from the display means and irradiates it to the outside.

【0018】更に、各立体テレビ電話装置1、2は電話
回線3で結ばれている。尚、11、21はそれぞれ受話
器である。
Further, the three-dimensional videophone devices 1 and 2 are connected by a telephone line 3. In addition, 11 and 21 are receivers, respectively.

【0019】次にこの立体テレビ電話装置の動作につい
て説明する。
Next, the operation of the three-dimensional video telephone will be described.

【0020】まず、第1立体テレビ電話装置1におい
て、凸レンズL3から2f離れた位置にいる話者Aの像
はハーフミラーMで反射された後、凸レンズL3から2
f離れた位置Xに結像する。そして、この像は再度、各
撮像レンズL1を経て各ビデオカメラの撮像面S1に結
像する。従って、前記各撮像面には話者Aの複数のパラ
ラックス画像が撮像される。このようにして撮影された
立体画像は受話器11からの音声と共に電話回線3を通
じて第2立体テレビ電話装置2に電送される。
First, in the first three-dimensional video telephone 1, an image of the speaker A located at a position 2f away from the convex lens L3 is reflected by the half mirror M, and then is reflected by the convex lens L3.
An image is formed at a position X distant from f. Then, this image is formed again on the imaging surface S1 of each video camera via each imaging lens L1. Accordingly, a plurality of parallax images of speaker A are captured on each of the imaging surfaces. The stereoscopic image photographed in this manner is transmitted to the second stereoscopic videophone device 2 through the telephone line 3 together with the sound from the receiver 11.

【0021】第2立体テレビ電話装置2においては受信
した話者Aの立体画像、即ち、複数のパララックス画像
がそれぞれ表示手段D1〜Dnに表示される。ここで表
示された各パララックス画像は各投写レンズL2、ハー
フミラーM及び凸レンズL3を透過して話者Bの位置に
結像するため、話者Bは話者Aの音声と共に立体画像を
認識できる。
In the second three-dimensional video telephone 2, a received three-dimensional image of the speaker A, that is, a plurality of parallax images is displayed on the display means D1 to Dn, respectively. Each parallax image displayed here passes through the projection lens L2, the half mirror M, and the convex lens L3 to form an image at the position of the speaker B. Therefore, the speaker B recognizes the stereoscopic image together with the voice of the speaker A. it can.

【0022】同様にして、話者Bの像及び音声は話者A
に伝えられる。
Similarly, the image and voice of speaker B are
Conveyed to.

【0023】上述の装置においては撮像系と表示系とで
光軸が一致しているため凸レンズL3を覗いたときの各
話者の視線は一致する。
In the above-described apparatus, since the optical axes of the image pickup system and the display system are the same, the eyes of the speakers when looking into the convex lens L3 are the same.

【0024】尚、凸レンズL3はフレネル凸レンズでも
良い。
Incidentally, the convex lens L3 may be a Fresnel convex lens.

【0025】また、本実施例では撮像手段としては複数
のビデオカメラを用いたが、米国特許第4,943,8
60号に示されるように異なる方向から見た被写体像を
時分割で撮像する方法を採れば撮像手段は一つでもよ
い。
In this embodiment, a plurality of video cameras are used as the image pickup means, but US Pat. No. 4,943,8
As shown in No. 60, if a method of capturing a subject image viewed from different directions in a time-division manner is adopted, only one imaging means may be used.

【0026】また、本実施例では複数の表示装置を用い
たが、表示装置に話者の位置を検出するセンサーを設
け、話者の移動に連動して表示装置を移動させるように
構成すれば表示装置は2個でもよい。
Although a plurality of display devices are used in this embodiment, a sensor for detecting the position of a speaker may be provided on the display device so that the display device is moved in conjunction with the movement of the speaker. The number of display devices may be two.

【0027】更に、特開平4−74088号に示すよう
に、凸レンズL3をその焦点距離が可変のレンズ群で構
成するとともに、カメラからの映像信号に撮影距離デー
タを付加して表示側へ伝送し、この撮影距離データによ
り前記レンズ群の焦点距離を変化させ幅輳角を変化させ
ることにより立体画像を得る様にすればビデオカメラ及
び表示装置はそれぞれ1個で実現できる。
Further, as shown in Japanese Patent Application Laid-Open No. 4-74088, the convex lens L3 is constituted by a lens group having a variable focal length, and the photographing distance data is added to the video signal from the camera and transmitted to the display side. If a stereoscopic image is obtained by changing the focal length of the lens group and changing the convergence angle based on the photographing distance data, the video camera and the display device can be realized by one each.

【0028】[0028]

【発明の効果】上述の如く本発明によれば、特殊な眼鏡
無しで立体画像表示による立体テレビ電話装置を実現す
ることができる。
As described above, according to the present invention, it is possible to realize a three-dimensional videophone device that displays three-dimensional images without special glasses.

【0029】また、話者同士は凸レンズを覗きながら会
話できるので互いの視線をほぼ一致させることができ
る。
Also, since the speakers can talk with each other while looking through the convex lens, their eyes can be almost matched.

【図面の簡単な説明】[Brief description of the drawings]

【図1】本発明の一実施例における立体テレビ電話装置
の概略図である。
FIG. 1 is a schematic diagram of a three-dimensional videophone device according to an embodiment of the present invention.

【図2】本実施例の立体テレビ電話装置の側面から見た
光学経路を示す図である。
FIG. 2 is a diagram illustrating an optical path viewed from the side of the three-dimensional videophone device according to the present embodiment.

【図3】本実施例の立体テレビ電話装置の撮影時の光学
経路を示す図である。
FIG. 3 is a diagram illustrating an optical path of the stereoscopic videophone device of the present embodiment when shooting.

【図4】立体画像撮影表示装置の撮影時の原理図であ
る。
FIG. 4 is a principle diagram of the three-dimensional image capturing and displaying apparatus when capturing an image.

【図5】立体画像撮影表示装置の撮影時の原理図であ
る。
FIG. 5 is a principle diagram of the stereoscopic image photographing and displaying apparatus when photographing.

【符号の説明】[Explanation of symbols]

1、2、 第1、第2立体テレビ電話装置 C1〜Cn ビデオカメラ D1〜Dn 表示手段 L1 撮像レンズ L2 投写レンズ L3 凸レンズ M ハーフミラー 1, 2, first and second three-dimensional videophone devices C1 to Cn video cameras D1 to Dn display means L1 imaging lens L2 projection lens L3 convex lens M half mirror

フロントページの続き (72)発明者 金山 秀行 大阪府守口市京阪本通2丁目18番地 三 洋電機株式会社内 (56)参考文献 特開 昭63−78694(JP,A) 特開 昭63−228890(JP,A) 特開 平5−252539(JP,A) 特公 昭47−30569(JP,B1) 米国特許3525807(US,A) (58)調査した分野(Int.Cl.7,DB名) H04N 13/00 - 15/00 H04N 7/14 - 7/15 Continuation of the front page (72) Inventor Hideyuki Kanayama 2--18 Keihanhondori, Moriguchi-shi, Osaka Sanyo Electric Co., Ltd. (56) References JP-A-63-78694 (JP, A) JP-A-63-228890 (JP, A) JP-A-5-252539 (JP, A) JP-B-47-30569 (JP, B1) US Patent 3,525,807 (US, A) (58) Fields investigated (Int. Cl. 7 , DB name) ) H04N 13/00-15/00 H04N 7/14-7/15

Claims (3)

(57)【特許請求の範囲】(57) [Claims] 【請求項1】 第1被写体を異なる角度から見た複数の
パララックス画像として撮影する撮像手段と、第2被写
体の複数のパララックス画像を表す複数の映像信号がそ
れぞれ供給される表示手段と、前記撮像手段及び表示手
段と前記第1被写体との間に配置され、撮影時は撮像レ
ンズの一部として機能し、表示時は前記表示手段により
表示された複数のパララックス画像が結像する凸レンズ
とを備える立体テレビ電話装置。
An imaging unit that captures a plurality of parallax images of a first subject from different angles; a display unit to which a plurality of video signals representing a plurality of parallax images of a second subject are supplied; A convex lens that is arranged between the imaging unit and the display unit and the first subject, functions as a part of an imaging lens during shooting, and forms a plurality of parallax images displayed by the display unit during display; A stereoscopic videophone device comprising:
【請求項2】 前記凸レンズはフレネル凸レンズである
請求項1記載の立体テレビ電話装置。
2. The three-dimensional videophone device according to claim 1, wherein said convex lens is a Fresnel convex lens.
【請求項3】 前記凸レンズと前記撮像手段との間にハ
ーフミラーを配置してなる請求項1記載の立体テレビ電
話装置。
3. The three-dimensional videophone device according to claim 1, wherein a half mirror is arranged between said convex lens and said imaging means.
JP04203874A 1992-07-30 1992-07-30 3D video phone Expired - Lifetime JP3081377B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP04203874A JP3081377B2 (en) 1992-07-30 1992-07-30 3D video phone

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP04203874A JP3081377B2 (en) 1992-07-30 1992-07-30 3D video phone

Publications (2)

Publication Number Publication Date
JPH0654348A JPH0654348A (en) 1994-02-25
JP3081377B2 true JP3081377B2 (en) 2000-08-28

Family

ID=16481148

Family Applications (1)

Application Number Title Priority Date Filing Date
JP04203874A Expired - Lifetime JP3081377B2 (en) 1992-07-30 1992-07-30 3D video phone

Country Status (1)

Country Link
JP (1) JP3081377B2 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8973287B2 (en) 2008-08-27 2015-03-10 Himiko Co., Ltd. Shoe midsole and footwear

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3311832B2 (en) * 1992-10-14 2002-08-05 テルモ株式会社 3D image display device
JPH08163603A (en) * 1994-08-05 1996-06-21 Tomohiko Hattori Stereoscopic video display device
EP1098498A1 (en) 1999-11-04 2001-05-09 Koninklijke Philips Electronics N.V. Device having a display for stereoscopic images
JP6033941B1 (en) * 2015-10-14 2016-11-30 株式会社イチネンジコー Game machine
US10448030B2 (en) * 2015-11-16 2019-10-15 Ostendo Technologies, Inc. Content adaptive light field compression

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3525807A (en) 1967-07-25 1970-08-25 Bell Telephone Labor Inc Telephone-television substation apparatus

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3525807A (en) 1967-07-25 1970-08-25 Bell Telephone Labor Inc Telephone-television substation apparatus

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8973287B2 (en) 2008-08-27 2015-03-10 Himiko Co., Ltd. Shoe midsole and footwear

Also Published As

Publication number Publication date
JPH0654348A (en) 1994-02-25

Similar Documents

Publication Publication Date Title
US8687045B2 (en) Three-dimensional image-capturing apparatus
KR20020023227A (en) Three-dimensional image producing method and apparatus therefor
JPH07226957A (en) Stereoscopic picture communication equipment
JP2662252B2 (en) 3D image display device
JP3612865B2 (en) Video camera equipment
JP4338500B2 (en) Imaging device
JP3081377B2 (en) 3D video phone
JP2986659B2 (en) Stereoscopic image imaging and display system
JP2557406B2 (en) 3D image display device
KR20000024767A (en) Adapter for stereo picture shot device
JP4360180B2 (en) 3D image shooting device
JP2002027419A (en) Image terminal device and communication system using the same
JPH06276552A (en) Stereoscopic picture image pickup device and picture display device
JP2898496B2 (en) Imaging / display device
JPH0446489A (en) Stereoscopic video photographing device
JPH09322198A (en) Three-dimensional stereoscopic video signal converter and video monitor using the converter
JP2005010549A (en) Stereoscopic image photographing apparatus and display device
JPH09182113A (en) Three-dimensional solid video signal conversion device and video camera device using the device
CN220554028U (en) Mobile phone capable of shooting stereoscopic image
JPH1146373A (en) Stereoscopic video image capture device
JPH05244643A (en) Three-dimensional television device
JPH07193796A (en) Video communication system
JP2001075046A (en) Stereoscopic vision system
JP2001326946A (en) Stereoscopic image photographing device
JPH0481090A (en) Coincident glance type figure image photographing device

Legal Events

Date Code Title Description
R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080623

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090623

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100623

Year of fee payment: 10

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100623

Year of fee payment: 10

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110623

Year of fee payment: 11

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110623

Year of fee payment: 11

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120623

Year of fee payment: 12

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120623

Year of fee payment: 12

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130623

Year of fee payment: 13

EXPY Cancellation because of completion of term
FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130623

Year of fee payment: 13