RU2119184C1 - Process of formation and reproduction of three-dimensional image and device for its implementation - Google Patents
Process of formation and reproduction of three-dimensional image and device for its implementation Download PDFInfo
- Publication number
- RU2119184C1 RU2119184C1 RU97109969/25A RU97109969A RU2119184C1 RU 2119184 C1 RU2119184 C1 RU 2119184C1 RU 97109969/25 A RU97109969/25 A RU 97109969/25A RU 97109969 A RU97109969 A RU 97109969A RU 2119184 C1 RU2119184 C1 RU 2119184C1
- Authority
- RU
- Russia
- Prior art keywords
- reproducing
- dimensional image
- image
- angles
- unit
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 44
- 230000008569 process Effects 0.000 title abstract description 7
- 230000015572 biosynthetic process Effects 0.000 title abstract description 5
- 230000005855 radiation Effects 0.000 claims abstract description 47
- 230000005540 biological transmission Effects 0.000 claims description 9
- 230000000694 effects Effects 0.000 abstract description 2
- 239000000126 substance Substances 0.000 abstract 1
- 239000010408 film Substances 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 239000000839 emulsion Substances 0.000 description 4
- 239000010409 thin film Substances 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- OAICVXFJPJFONN-UHFFFAOYSA-N Phosphorus Chemical compound [P] OAICVXFJPJFONN-UHFFFAOYSA-N 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 230000001427 coherent effect Effects 0.000 description 2
- 230000021615 conjugation Effects 0.000 description 2
- 238000011089 mechanical engineering Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000008447 perception Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000004907 flux Effects 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000004020 luminiscence type Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000001454 recorded image Methods 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 239000000758 substrate Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
- G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
- G03H1/26—Processes or apparatus specially adapted to produce multiple sub- holograms or to obtain images from them, e.g. multicolour technique
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Nitrogen And Oxygen Or Sulfur-Condensed Heterocyclic Ring Systems (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
Abstract
Description
Изобретение относится к технической физике, в частности к способам и устройствам формирования и воспроизведения трехмерного изображения объекта в некогерентном свете и предназначено для использования в телевидении, компьютерной технике, фотографии и изобразительном искусстве. The invention relates to technical physics, in particular to methods and devices for generating and reproducing a three-dimensional image of an object in incoherent light and is intended for use in television, computer technology, photography and the visual arts.
Широко известен способ формирования стереоскопического изображения объекта, по которому освещают объект формирующим излучением, а излучение, отраженное от объекта, регистрируют на фоточувствительном элементе в виде двух ракурсов, соответствующих наблюдению объекта правым и левым глазом. Под термином ракурс объекта понимают изображение на плоскости, перпендикулярной падающему от объекта пучку параллельных лучей, т.е. изображение объекта с одной из возможных точек зрения (см. Советский энциклопедический словарь. -М. : Советская энциклопедия, 1987, с. 1101). При воспроизведении наблюдают изображение с помощью средств, обеспечивающих раздельное наблюдение каждого ракурса объекта правым и левым глазом. Такими средствами являются бинокли, цветные и поляризационные светофильтры, мигающие заслонки, линзовые растры. Способ может быть использован в фотографии, кино и телевидении. Недостатком способа является невозможность наблюдения эффекта параллакса, и, следовательно, невозможность наблюдения объекта под другими углами зрения, т.е. невозможность наблюдения объекта под другими углами зрения, т.е. невозможность наблюдения других ракурсов объекта, а также необходимость сохранения зрителем неподвижного положения (Валюс Н.Ф. Растровые оптические приборы, М. : "Машиностроение", 1966, с. 91-120). A widely known method of forming a stereoscopic image of an object is used to illuminate the object with forming radiation, and the radiation reflected from the object is recorded on the photosensitive element in the form of two angles corresponding to observing the object with the right and left eye. The term aspect of an object is understood to mean an image on a plane perpendicular to a beam of parallel rays incident from an object, i.e. image of an object from one of the possible points of view (see Soviet Encyclopedic Dictionary. -M.: Soviet Encyclopedia, 1987, p. 1101). During playback, the image is observed using means providing separate observation of each aspect of the object by the right and left eye. Such means are binoculars, color and polarizing filters, flashing dampers, lens rasters. The method can be used in photography, film and television. The disadvantage of this method is the impossibility of observing the parallax effect, and, therefore, the impossibility of observing an object from other angles of view, i.e. the impossibility of observing an object from other angles of view, i.e. the impossibility of observing other aspects of the object, as well as the need for the viewer to maintain a fixed position (Valyus NF Raster optical instruments, M.: "Mechanical Engineering", 1966, pp. 91-120).
Известны различные устройства, реализующие этот способ и направленные на усовершенствование, например, системы регистрации, средств наблюдения и др. (см., например, пат. США N 2922998, 1960, пат. США N 4049339, 1977). Various devices are known that implement this method and are aimed at improving, for example, registration systems, surveillance tools, etc. (see, for example, US Pat. No. 2,922,998, 1960, US Pat. No. 4,049,339, 1977).
Известен способ формирования трехмерного фотографического изображения, основанный на использовании растровой или линзово- растровой системы, т.н. "интегральная фотография", (см., например, Дудников Ю.А., Рожков Б.К. Растровые системы для получения объемных изображений, Л.: "Машиностроение", 1986, с. 102-172). По этому способу освещают объект формирующим излучением, имеющим произвольный спектр, а излучение, отраженное от объекта, пропускают через линзово-растровый экран, микролинзы которого имеют общую фокальную плоскость, и регистрируют совокупность элементарных изображений, сформированных указанными микролинзами на фоточувствительном элементе, помещенном в указанной фокальной плоскости. При наблюдении подсвечивают фотоизображение некогерентным излучением через указанный линзово- растровый экран, а наблюдают зарегистрированное изображение в проходящем свете. A known method of forming a three-dimensional photographic image based on the use of a raster or lens-raster system, the so-called "integral photography", (see, for example, Dudnikov Yu.A., Rozhkov BK Raster systems for obtaining three-dimensional images, L .: "Mechanical Engineering", 1986, pp. 102-172). According to this method, an object is illuminated with forming radiation having an arbitrary spectrum, and radiation reflected from the object is passed through a lens-raster screen, the microlenses of which have a common focal plane, and a set of elementary images formed by the indicated microlenses on a photosensitive element placed in the specified focal are recorded the plane. During observation, the photo image is illuminated with incoherent radiation through the specified lens-raster screen, and the recorded image is observed in transmitted light.
Устройство, реализующее этот способ, содержит источник формирующего излучения, оптически связанный с блоком формирования трехмерного изображения, который включает линзово-растровый экран и светочувствительный элемент. Блок воспроизведения трехмерного изображения содержит оптически связанные линзово-растровый экран, носитель фотоизображения и источник воспроизводящего излучения. A device that implements this method contains a source of forming radiation, optically coupled to a three-dimensional image forming unit, which includes a lens-raster screen and a photosensitive element. The three-dimensional image reproducing unit comprises optically coupled lens-raster screen, a photo-image carrier and a reproducing radiation source.
Однако трудности изготовления линзово-растровой системы, низкая разрешающая способность, наличие "мертвых зон", обусловленных краями линз, снижающее яркость фотографии, перевернутость микроизображений от микролинз (так называемая псевдоскопия) - все это не позволило способу и устройству, его реализующему, найти применение в телевидении и ограничило их применение в фотографии. However, the difficulties of manufacturing a lens-raster system, low resolution, the presence of "dead zones" due to the edges of the lenses, reducing the brightness of the photo, the inversion of micro images from microlenses (the so-called pseudoscopy) - all this did not allow the method and device that implements it to find application in television and limited their use in photography.
Широко известен голографический способ формирования и воспроизведения трехмерного изображения объекта, не требующий когерентности воспроизводящего излучения, разработанный Ю.Н. Денисюком (см., например, Физическая энциклопедия, Т. 1, М.: "Советская энциклопедия", 1988г., с. 509). По этому способу при формировании трехмерного изображения объект освещают когерентным формирующим излучением и опорным излучением, когерентным с формирующим излучением, формируют интерференционную картину, регистрируют ее и фиксируют с помощью светочувствительного элемента интенсивности, и направления всех лучей, идущих от объекта, т.е. фиксируют все ракурсы объекта. Фиксацию упомянутых ракурсов осуществляют в объеме светочувствительного элемента, толщина которого много больше пространственного периода полученной интерференционной картины. При воспроизведении трехмерного изображения объекта подсвечивают интерференционную картину некогерентным воспроизводящим излучением и выделяют при этом лучи, по интенсивности и направлению, соответствующие упомянутым ракурсам объекта, совокупность которых и образует трехмерное изображение объекта. The holographic method of forming and reproducing a three-dimensional image of an object that does not require the coherence of reproducing radiation, developed by Yu.N., is widely known. Denisyuk (see, for example, Physical Encyclopedia, T. 1, M .: "Soviet Encyclopedia", 1988, p. 509). According to this method, when forming a three-dimensional image, the object is illuminated with coherent forming radiation and reference radiation coherent with the forming radiation, an interference pattern is formed, it is recorded and recorded using a photosensitive intensity element, and the direction of all the rays coming from the object, i.e. capture all camera angles. The mentioned angles are fixed in the volume of the photosensitive element, the thickness of which is much larger than the spatial period of the obtained interference pattern. When reproducing a three-dimensional image of an object, the interference pattern is highlighted with incoherent reproducing radiation and rays are emitted in intensity and direction corresponding to the above-mentioned camera angles, the combination of which forms a three-dimensional image of the object.
Устройство для формирования и воспроизведения трехмерного изображения объекта, реализующее данный способ (см. там же), содержит оптически связанные источник формирующего излучения (лазер) и блок формирования трехмерного изображения, а также блок воспроизведения трехмерного изображения. Блок формирования трехмерного изображения включает источник опорного излучения и светочувствительный элемент, а блок воспроизведения трехмерного изображения включает оптически связанные источник воспроизводящего излучения и носитель изображения интерференционной картины. В качестве источника воспроизводящего излучения используют источник некогерентного излучения. Достоинством указанных выше способа формирования и воспроизведения трехмерного изображения и устройства для его реализации, является отсутствие необходимости использования лазера для воспроизведения трехмерного изображения. A device for generating and reproducing a three-dimensional image of an object that implements this method (see ibid.) Contains optically coupled source of forming radiation (laser) and a three-dimensional image forming unit, as well as a three-dimensional image reproducing unit. The three-dimensional image forming unit includes a reference radiation source and a photosensitive element, and the three-dimensional image reproducing unit includes optically coupled reproducing radiation source and an interference pattern image carrier. As a source of reproducing radiation using a source of incoherent radiation. The advantage of the above method of forming and reproducing a three-dimensional image and a device for its implementation is the lack of the need to use a laser to reproduce a three-dimensional image.
Ближайшим аналогом разработанного способа является способ формирования и воспроизведения трехмерного изображения в некогерентном свете (патент США N 4598973, МПК G 03 H 1/06, 1986). По этому способу при формировании трехмерного изображения объект освещают от источника некогерентного излучения, отраженные от объекта лучи пропускают через толстый слой эмульсии, нанесенный на поверхность обращающего волновой фронт (ОВФ) зеркала. Это зеркало направляет каждый пучок параллельных лучей, падающих на него под определенным углом и образующих один из ракурсов объекта, назад по пути падающих лучей. Таким образом, в слое эмульсии формируют пространственную интерференционную картину, содержащую информацию о всех ракурсах объекта. Эти сформированные ракурсы объекта фиксируют с помощью упомянутой светочувствительной эмульсии, которая таким образом становится носителем трехмерного изображения. При воспроизведении трехмерного изображения объекта подсвечивают воспроизводящим излучением картину на носителе изображения и выделяют лучи, по направлению и интенсивности соответствующие упомянутым ракурсам объекта, совокупность которых образует трехмерное изображение объекта. The closest analogue of the developed method is a method of forming and reproducing a three-dimensional image in incoherent light (US patent N 4598973, IPC G 03
Ближайшим аналогом разработанного устройства является устройство, реализующее описанный выше способ (см. там же). Устройство для формирования и воспроизведения трехмерного изображения объекта содержит оптически связанные источник формирующего излучения и блок формирования ракурсов объекта, а также блок воспроизведения трехмерного изображения. Блок формирования ракурсов объекта включает в себя элемент для совмещения всех ракурсов объекта в виде толстого слоя светочувствительной эмульсии, нанесенной на поверхность ОВФ зеркала, а блок воспроизведения трехмерного изображения включает оптически связанные источник воспроизводящего излучения и носитель изображения. В качестве источников формирующего и воспроизводящего излучений используют источники некогерентного излучения, что является достоинством прототипа. The closest analogue of the developed device is a device that implements the method described above (see ibid.). A device for forming and reproducing a three-dimensional image of an object contains optically coupled source of forming radiation and a block for forming camera angles of the object, as well as a block for reproducing a three-dimensional image. The unit for forming the camera angles of the object includes an element for combining all camera angles in the form of a thick layer of a photosensitive emulsion deposited on the surface of the phase conjugation mirror, and the three-dimensional image reproducing unit includes optically coupled reproducing radiation source and image carrier. As sources of forming and reproducing radiation using sources of incoherent radiation, which is the advantage of the prototype.
Однако эти технические решения, так же, как и другие известные, практически непригодны для создания трехмерного телевидения и трехмерного изображения в компьютерной технике, поскольку в настоящее время не разработаны среды (светочувствительные элементы), фиксирующие пространственные динамические интерференционные картины. Даже если бы такие среды существовали, для телевизионной передачи интерференционной картины потребовалась бы полоса пропускания TV-канала, на несколько порядков превышающая полосу пропускания существующих TV-каналов, т. к. характерный размер неоднородностей пространственной интерференционной картины много меньше характерных размеров неоднородностей существующих TV-изображений. However, these technical solutions, like other well-known ones, are practically unsuitable for creating three-dimensional television and three-dimensional images in computer technology, since no media (photosensitive elements) that fix spatial dynamic interference patterns have been developed. Even if such media existed, a television transmission of the interference pattern would require a bandwidth of the TV channel that is several orders of magnitude greater than the bandwidth of the existing TV channels, since the characteristic size of the inhomogeneities of the spatial interference pattern is much smaller than the characteristic sizes of the inhomogeneities of the existing TV images .
Таким образом задачей, на решение которой направлено настоящее изобретение, является разработка способа формирования и воспроизведения трехмерного изображения в некогерентном свете и устройства для его реализации, пригодных для использования как в телевидении, так и в компьютерной технике, в фотографии и изобразительном искусстве. Thus, the problem to which the present invention is directed is to develop a method for generating and reproducing a three-dimensional image in incoherent light and a device for its implementation, suitable for use both in television and in computer technology, in photography and the visual arts.
Технический результат в части способа достигается тем, что в разработанном способе формирования и воспроизведения трехмерного изображения объекта, так же, как в способе-прототипе, при формировании трехмерного изображения формируют и фиксируют различные ракурсы объекта. При воспроизведении трехмерного изображения объекта картину, полученную на носителе изображения, подсвечивают воспроизводящим излучением и выделяют лучи, по направлению и интенсивности соответствующие упомянутым ракурсам объекта, совокупность которых образует трехмерное изображение объекта. The technical result in terms of the method is achieved by the fact that in the developed method of forming and reproducing a three-dimensional image of the object, as well as in the prototype method, when forming a three-dimensional image, various angles of the object are formed and fixed. When reproducing a three-dimensional image of an object, the picture obtained on the image carrier is highlighted with reproducing radiation and rays are emitted that correspond in direction and intensity to the above-mentioned angles of the object, the totality of which forms a three-dimensional image of the object.
Новым в способе является то, что при формировании трехмерного изображения упомянутые ракурсы объекта перед фиксацией модулируют по интенсивности и совмещают. При воспроизведении трехмерного изображения объекта подсвечивают носитель изображения воспроизводящим излучением, а затем свет от носителя изображения пропускают через интерференционный фильтр, выполненный с возможностью осуществления интерференции с делением амплитуд, при этом упомянутую модуляцию каждого ракурса по интенсивности осуществляют с периодом, равным периоду пропускания упомянутого интерференционного фильтра для данного ракурса. New in the method is that when forming a three-dimensional image, the above-mentioned angles of the object are modulated in intensity and combined before fixing. When reproducing a three-dimensional image of an object, the image carrier is illuminated by reproducing radiation, and then the light from the image carrier is passed through an interference filter configured to perform amplitude division interference, wherein said intensity modulation of each angle is performed with a period equal to the transmission period of said interference filter for this angle.
Технический результат в части устройства достигается тем, что разработанное устройство для формирования и воспроизведения трехмерного изображения объекта так же, как и устройство-прототип, содержит блок формирования ракурсов объекта и блок воспроизведения трехмерного изображения объекта, при этом блок формирования ракурсов объекта включает элемент для совмещения всех ракурсов объекта, а блок воспроизведения трехмерного изображения объекта включает оптически связанные источник воспроизводящего излучения и носитель изображения. The technical result in terms of the device is achieved by the fact that the developed device for generating and reproducing a three-dimensional image of an object, as well as a prototype device, comprises a unit for generating views of an object and a unit for reproducing a three-dimensional image of an object, while the unit for forming views of an object includes an element for combining all angles of the object, and the unit for reproducing a three-dimensional image of the object includes optically coupled source of reproducing radiation and the image carrier.
Новым в разработанном устройстве является то, что в блок формирования дополнительно введен модулятор интенсивности ракурсов объекта, а в блок воспроизведения дополнительно введен интерференционный фильтр, выполненный с возможностью осуществления интерференции с делением амплитуд. New in the developed device is that an intensity modulator of the camera angles of the object is additionally introduced into the forming unit, and an interference filter made with the possibility of interfering with amplitude division is additionally introduced into the reproducing unit.
В одном частном случае в разработанном устройстве блок формирования ракурсов объекта представляет собой компьютер, при этом элементом для совмещения всех ракурсов объекта является экран монитора, а модулятор интенсивности ракурсов включает в себя те процессоры компьютера, которые осуществляют программу модуляции изображения, а упомянутый интерференционный фильтр установлен перед экраном монитора, который при таком оснащении совместно с компьютером представляет собой блок воспроизведения трехмерного изображения объекта, в котором функции источника воспроизводящего излучения и носителя изображения выполняет экран монитора. In one particular case, in the developed device, the object angle forming unit is a computer, and the monitor screen is an element for combining all object angles, and the angle intensity modulator includes those computer processors that implement the image modulation program, and the mentioned interference filter is installed before a monitor screen, which with such equipment, together with a computer, is a unit for reproducing a three-dimensional image of an object in which The functions of a source of reproducing radiation and an image carrier are provided by a monitor screen.
В другом частном случае блок формирования ракурсов объекта включает в себя несколько передающих ТВ-камер, модулятором интенсивности ракурсов при этом служит процессор, расположенный в ТВ-приемнике, а элементом для совмещения всех ракурсов объекта служит экран ТВ-приемника. Экран приемника одновременно выполняет еще две функции: источника воспроизводящего излучения и носителя изображения в блоке воспроизведения трехмерного изображения. Интерференционный фильтр расположен перед экраном этого ТВ-приемника. In another particular case, the unit for forming the camera angles of the object includes several transmitting TV cameras, the processor located in the TV receiver serves as a modulator of the camera angle, and the screen of the TV receiver serves as an element for combining all camera angles. The receiver screen simultaneously performs two more functions: a source of reproducing radiation and an image carrier in a three-dimensional image reproduction unit. An interference filter is located in front of the screen of this TV receiver.
В третьем частном случае в разработанном устройстве блок формирования ракурсов объекта выполнен в виде нескольких передающих ТВ-камер, при этом модулятор интенсивности ракурсов представляет собой либо процессор, расположенный на передающей ТВ-станции, либо набор масок, каждая из которых установлена перед светочувствительным элементом соответствующей ТВ-камеры, а блок воспроизведения трехмерного изображения выполнен в виде ТВ-приемника, при этом источником воспроизводящего излучения является экран, который одновременно выполняет функцию носителя изображения, а интерференционный фильтр расположен перед экраном этого ТВ-приемника. In the third particular case, in the developed device, the object angle forming unit is made in the form of several transmitting TV cameras, while the angle intensity modulator is either a processor located on the transmitting TV station or a set of masks, each of which is installed in front of the photosensitive element of the corresponding TV -cameras, and the three-dimensional image playback unit is made in the form of a TV receiver, while the source of the reproducing radiation is a screen that simultaneously performs fu function of the image carrier, and the interference filter is located in front of the screen of this TV receiver.
Целесообразно в четвертом частном случае выполнения устройства ввести в блок формирования ракурсов средство для их рисования или фотографирования, а модулятор ракурсов выполнить в виде набора масок, каждая из которых предназначена для модулирования одного ракурса объекта. It is advisable in the fourth particular case of the device to introduce a means for drawing or photographing them into the angle forming unit, and the angle modulator to be executed in the form of a set of masks, each of which is designed to modulate one aspect of the object.
Технический результат, обеспечиваемый разработанным способом, заключается в упрощении процесса формирования интерференционной картины и в упрощении структуры самой интерференционной картины до такой степени, что даже позволяет человеку ее рисовать. Кроме того (в отличие от прототипа), становится возможным формировать и воспроизводить любую заранее заданную систему ракурсов. Упрощение процесса формирования интерференционной картины достигается за счет введения операций модуляции интенсивности ракурсов объекта и последующего их совмещения. Каждый ракурс объекта модулируют со своим периодом, равным соответствующему периоду пропускания интерференционного фильтра, с помощью которого затем по интерференционной картине восстанавливают трехмерное изображение объекта. При этом следует отметить, что процедура проведения упомянутой модуляции интенсивности ракурсов значительно проще, чем, например, осуществление процесса формирования пространственной интерференционной картины в прототипе, т.к. предлагаемая модуляция ракурсов требует для своего осуществления более простые технические средства (например, набор масок или процессор в предлагаемом изобретении и ОВФ зеркало в прототипе, которое само является громоздким и сложным техническим устройством). Модуляция ракурсов объекта описывается достаточно простой математической формулой и поэтому может быть реализована с помощью процессора и уж тем более легко может быть осуществлена в компьютере. The technical result provided by the developed method consists in simplifying the process of forming an interference pattern and in simplifying the structure of the interference pattern itself to such an extent that it even allows a person to draw it. In addition (unlike the prototype), it becomes possible to form and reproduce any predetermined angle system. Simplification of the process of formation of the interference pattern is achieved through the introduction of operations modulating the intensity of the camera angles and their subsequent combination. Each aspect of the object is modulated with its own period equal to the corresponding period of transmission of the interference filter, with which then a three-dimensional image of the object is reconstructed from the interference pattern. It should be noted that the procedure for conducting the aforementioned modulation of the intensity of the angles is much simpler than, for example, the implementation of the process of forming a spatial interference pattern in the prototype, because The proposed modulation of angles requires simpler technical means for its implementation (for example, a set of masks or a processor in the present invention and a phase conjugation mirror in a prototype, which itself is a bulky and complex technical device). Modulation of the camera angles is described by a fairly simple mathematical formula and therefore can be implemented using a processor and even more so can be easily implemented in a computer.
Таким образом, технический результат, сформулированный выше и обеспечиваемый предлагаемым изобретением, позволяет решить поставленную задачу, т. е. получить трехмерное изображение объекта в телевидении, в компьютерной технике, в фотографии и изобразительном искусстве с помощью стандартных средств. Thus, the technical result formulated above and provided by the present invention allows us to solve the problem, that is, to obtain a three-dimensional image of the object in television, in computer technology, in photography and fine art using standard means.
Технический результат, обеспечиваемый разработанным устройством, заключается в том, что введение в блок формирования ракурсов объекта модулятора интенсивности ракурсов и элемента для их последующего совмещения позволяет закодировать с помощью сформированной интерференционной картины информацию о ракурсах объекта, а введение в блок воспроизведения интерференционного фильтра, период пропускания которого для каждого ракурса равен периоду модуляции соответствующего ракурса в упомянутом модуляторе, обеспечивает расшифровку информации о ракурсах, т.е. обеспечивает выделение лучей, по направлению и интенсивности соответствующих ракурсам объекта, совокупность которых образует трехмерное изображение объекта. The technical result provided by the developed device is that the introduction of the intensity modulator of the angles and the element for subsequent combining into the unit for forming the camera angles of the object allows you to encode information about the camera angles using the generated interference pattern, and the introduction of the interference filter, the transmission period of which for each angle is equal to the modulation period of the corresponding angle in the said modulator, provides decryption of information and perspectives, i.e. provides the selection of rays in the direction and intensity corresponding to the views of the object, the combination of which forms a three-dimensional image of the object.
В одном частном случае применительно к компьютерной технике технический результат предлагаемого изобретения заключается в том, что программа модуляции интенсивности ракурсов объекта, выражаемая математической формулой, является для компьютера среднего класса достаточно простой и не требует большого объема оперативной памяти компьютера. Поэтому интерференционная картина формируется непосредственно в компьютере и в нем же воспроизводится трехмерное изображение объекта. In one particular case, as applied to computer technology, the technical result of the invention is that the program for modulating the intensity of the camera angles, expressed by a mathematical formula, is quite simple for a middle-class computer and does not require a large amount of computer RAM. Therefore, the interference pattern is formed directly in the computer and a three-dimensional image of the object is reproduced in it.
В другом частном случае реализации предлагаемого изобретения применительно к телевидению технический результат, обеспечиваемый предлагаемым изобретением, заключается в том, что для реализации изобретения не требуется вносить каких-либо изменений в передающие ТВ-камеры и в передающую ТВ-станцию, т. к. интерференционная картина формируется в ТВ-приемнике и в нем же воспроизводится трехмерное изображение объекта. Поэтому небольшие изменения достаточно внести только в ТВ-приемник. In another particular case of the implementation of the invention in relation to television, the technical result provided by the invention is that for the implementation of the invention it is not necessary to make any changes to the transmitting TV cameras and to the transmitting TV station, since the interference pattern is formed in the TV receiver and it reproduces a three-dimensional image of the object. Therefore, small changes are enough to make only in the TV receiver.
В третьем частном случае реализации предлагаемого изобретения применительно к телевидению технический результат, обеспечиваемый разработанным изобретением, состоит в том, что для реализации изобретения используются либо обычные стандартные передающие ТВ-камеры без какой-либо переделки (в том случае, когда модулятор ракурсов выполнен в виде процессора, установленного на передающей ТВ-станции), либо каждая передающая ТВ-камера снабжается маской (трафаретом), установленным перед ее светочувствительным элементом. Экран ТВ-приемника в этом частном случае так же, как и в предыдущем, снабжается интерференционным фильтром, установленным перед экраном. In the third particular case of the implementation of the invention in relation to television, the technical result provided by the developed invention is that either conventional standard transmitting TV cameras without any alteration are used to implement the invention (in the case when the angle modulator is made in the form of a processor installed on the transmitting TV station), or each transmitting TV camera is equipped with a mask (stencil) installed in front of its photosensitive element. The screen of the TV receiver in this particular case, as well as in the previous one, is equipped with an interference filter installed in front of the screen.
В четвертом частном случае реализации изобретения применительно к изобразительному искусству и фотографии технический результат заключается в том, что интерференционная картина может быть нарисована вручную или создана с помощью фотографирования объекта в нескольких ракурсах через соответствующие трафареты для осуществления модуляции ракурсов. In the fourth particular case of the invention as applied to fine art and photography, the technical result is that the interference pattern can be drawn manually or created by photographing an object from several angles through appropriate stencils for modulating angles.
Изобретение поясняется чертежами. The invention is illustrated by drawings.
На фиг. 1 приведено схематическое изображение варианта устройства, реализующего разработанный способ формирования и воспроизведения трехмерного изображения для случая, когда пространственную фильтрацию лучей от объекта осуществляют путем модуляции ракурсов объекта и последующего их совмещения. In FIG. 1 is a schematic illustration of an embodiment of a device that implements the developed method for generating and reproducing a three-dimensional image for the case when spatial filtering of rays from an object is carried out by modulating the camera angles and their subsequent combination.
На фиг. 2 приведено схематическое изображение варианта устройства, реализующего разработанный способ применительно к компьютеру. In FIG. 2 shows a schematic illustration of a variant of the device that implements the developed method in relation to a computer.
На фиг. 3 приведено схематическое изображение варианта устройства, реализующего разработанный способ применительно к телевидению для случая, когда модулятор ракурсов расположен в ТВ-приемнике. In FIG. 3 is a schematic illustration of an embodiment of a device that implements the developed method with respect to television for the case when the angle modulator is located in the TV receiver.
На фиг. 4 приведено схематическое изображение варианта устройства, реализующего разработанный способ применительно к телевидению для случая, когда модулятор ракурсов расположен на передающей ТВ-станции. In FIG. 4 is a schematic illustration of an embodiment of a device that implements the developed method with respect to television for the case when the angle modulator is located on the transmitting TV station.
Устройство по фиг. 1 содержит блок 1 формирования ракурсов объекта и блок 2 воспроизведения трехмерного изображения объекта. Блок 1 включает в себя установленные последовательно модулятор 3 интенсивности ракурсов объекта и элемент 4 для совмещения ракурсов объекта. Блок 2 включает в себя оптически связанные источник 5 воспроизводящего излучения, носитель 6 изображения интерференционной картины и интерференционный фильтр 7. Фильтр 7 выполнен с возможностью осуществления интерференции с делением амплитуд, в частности интерференции типа "линии равной толщины". The device of FIG. 1 comprises a
В некоторых случаях реализации предлагаемого способа, например, применительно к телевидению или фотографии объект 8, ракурсы которого формируются в блоке 1, существует реально и в этом случае объект 8 располагается перед блоком 1 и оптически с ним связан. Однако в других случаях реализации способа объекта 8 может реально и не существовать, но его ракурсы с помощью компьютера или в результате действий художника формируются в блоке 1, а затем с помощью блока 2 трехмерное изображение этого вымышленного объекта восстанавливается. In some cases, the implementation of the proposed method, for example, in relation to television or photography,
Модулятор 3 может быть выполнен либо в виде процессора, управляющего операцией модуляции ракурсов объекта, либо в виде набора масок (трафаретов), каждая из которых предназначена для модулирования одного ракурса. Однако в обоих случаях период модуляции di для каждого i-го ракурса объекта равен периоду пропускания Li, интерференционного фильтра 7 для i-го ракурса.
Элемент 4 для совмещения всех промодулированных ракурсов объекта может быть выполнен в виде светочувствительного элемента устройства для реализации разработанного способа. Это может быть, например, светочувствительный элемент ТВ-камеры, экран телевизионного приемника, экран монитора в компьютере, стандартная фотопленка или фотопластинка и т.д. Element 4 for combining all modulated angles of the object can be made in the form of a photosensitive element of the device for implementing the developed method. This can be, for example, a photosensitive element of a TV camera, a television receiver screen, a monitor screen in a computer, a standard film or a photographic plate, etc.
Источник 5 воспроизводящего излучения выполнен некогерентным. В качестве источника 5 могут быть использованы естественный свет, лампа накаливания и т.п. The source 5 of the reproducing radiation is incoherent. As the source 5, natural light, an incandescent lamp, and the like can be used.
Носитель 6 изображения интерференционной картины расположен в блоке 2 воспроизведения трехмерного изображения объекта непосредственно перед интерференционным фильтром 7 по ходу луча света. В качестве носителя 6 изображения может быть использован стандартный носитель изображения, например, фотобумага, фотопластинка или покрытый люминофором экран монитора компьютера или ТВ-приемника и т.д. The carrier 6 of the image of the interference pattern is located in the unit 2 for reproducing a three-dimensional image of the object immediately before the
Интерференционный фильтр 7 выполнен с возможностью осуществления интерференции с делением амплитуд, например, типа "линий равной толщины". В этом случае интерференционный фильтр 7 может быть выполнен путем нанесения нескольких слоев тонкой пленки с переменной оптической толщиной на прозрачную подложку, например, из стекла. Расчеты необходимых параметров клинообразного пленочного интерференционного фильтра 7 могут быть выполнены, например, по книге Королева Ф. А. Теоретическая оптика. - М.: Высшая школа, 1966, с. 404-452. Например, период Li, пропускания интерференционного фильтра 7 для i-го ракурса пропорционален величине где n-показатель преломления тонкой пленки, δ - угол клина тонкой пленки, αi - угол, характеризующий направление лучей, соответствующих данному ракурсу.The
Устройство по фиг. 2 иллюстрирует реализацию разработанных способа и устройства применительно к компьютеру. Оно содержит блоки 1 и 2, совмещенные в одном компьютере 9. При этом модулятором 3 интенсивности ракурсов служат процессор компьютера 9 и те программы, которые управляют модуляцией изображения. Элементом 4 для совмещения всех ракурсов объекта в данной реализации является экран 10 монитора, который одновременно выполняет функцию источника 5 воспроизводящего излучения и носителя 6 изображения интерференционной картины. Снаружи экран 10 компьютера 9 снабжен интерференционным фильтром 7 в виде, например, нескольких слоев тонкой пленки, выполненных так же, как в устройстве по фиг.1. The device of FIG. 2 illustrates the implementation of the developed method and device in relation to a computer. It contains
Устройство по фиг. 3 содержит N стандартных передающих ТВ-камер 11 (по числу необходимых ракурсов объекта 8, которое определяется требуемым качеством восприятия трехмерного изображения). The device of FIG. 3 contains N standard transmitting TV cameras 11 (according to the number of required angles of the
Модулятором 3 интенсивности ракурсов в блоке 1 служит процессор, расположенный в ТВ-приемнике, а элементом 4 для совмещения ракурсов служит экран 12 ТВ-приемника, который одновременно выполняет функции источника 5 воспроизводящего излучения и носителя 6 изображения интерференционной картины в блоке 2. Интерференционный фильтр 7 расположен перед экраном 12 ТВ-приемника и может быть выполнен так же, как в устройстве по фиг.1. Данная реализация разработанных способа и устройства применительно к телевидению позволяет использовать стандартные ТВ-камеры 11 без внесения в них каких-либо изменений. The
Устройство по фиг.4 содержит блок 1 формирования ракурсов в виде N передающих ТВ-камер 11 (по одной камере для формирования одного ракурса объекта 8). Модулятором 3 интенсивности ракурсов объекта 8 служит либо процессор, расположенный на передающей ТВ-станции, либо набор масок, каждая из которых установлена перед светочувствительным элементом соответствующей ТВ-камеры 11, при этом светочувствительным элементом ТВ-камеры является, например, светочувствительный элемент системы прибора зарядовой связи (ПЗС). Элементом 4 для совмещения всех ракурсов объекта является блок совмещения сигналов ТВ-камер 11 в ТВ-станции. The device of FIG. 4 comprises an
Блок 2 воспроизведения трехмерного изображения выполнен в виде ТВ-приемника, при этом источником 5 воспроизводящего излучения и носителем 6 изображения служит экран 12 ТВ-приемника. Интерференционный фильтр 7 расположен перед экраном 12 ТВ-приемника и может быть выполнен так же, как в устройстве по фиг.1. Блок 1 по каналу 13 связи посредством электромагнитных волн связан с блоком 2.
Разработанный способ формирования и воспроизведения трехмерного изображения с помощью устройств, приведенных на фигурах 1,2,3,4 реализуется следующим образом. The developed method of forming and reproducing a three-dimensional image using the devices shown in figures 1,2,3,4 is implemented as follows.
Формируют трехмерное изображение объекта с помощью блока 1 (см. фиг.1, 3, 4). Для этого объект 8 освещают любым источником излучения, например, естественным светом. Отраженное от объекта 8 световое поле можно представить как набор неоднородных "плоских" волн, интенсивность которых зависит от поперечной по отношению к оси распространения координате. Каждый ракурс объекта как раз и есть результат регистрации одной из таких неоднородных плоских волн. При этом направление распространения упомянутой плоской волны совпадает с направлением угла зрения, отвечающего этому ракурсу. С помощью блока 1 формируют несколько ракурсов объекта 8 (число ракурсов определяется требуемым качеством последующего восприятия трехмерного изображения объекта). Например, с помощью N телевизионных камер 11 (см. фиг.3 и 4) на светочувствительном элементе каждой из камер 11 объективом камеры формируют изображение объекта 8 под определенным углом зрения, зависящим от ориентации данной камеры относительно объекта 8. Таким образом, в каждой камере 11 формируют один из ракурсов объекта 8. Затем с помощью модулятора 3 каждый из полученных ракурсов модулируют по интенсивности с периодом di, который выбран заранее для каждого i-го ракурса и равен периоду пропускания Li, интерференционного фильтра 7 для i-го ракурса.A three-dimensional image of the object is formed using block 1 (see figures 1, 3, 4). For this, the
В устройстве, приведенном на фиг.4, при модулировании ракурсов объекта 8 с помощью, например, масок, наложенных на светочувствительный элемент ПЗС каждой камеры 11, в электрический сигнал преобразуют не все изображение ракурса, а только ту его часть, которая не закрыта маской. При этом период di чередования пропускающих окошек масок выбран свой для каждого i-го ракурса.In the device shown in figure 4, when modulating the angles of the
При модулировании ракурсов объекта 8 с помощью процессора, выполняющего функцию модулятора 3 и расположенного либо на ТВ-приемнике (см. фиг.3), либо на передающей ТВ-станции (см. фиг.4), модулируют с периодом di электрический сигнал, управляющий процессом создания на экране 12 ТВ-приемника изображения каждого i-го ракурса.When modulating the angles of
Промодулированные ракурсы объекта 8 совмещают и фиксируют на элементе 4. Таким образом на элементе 4 формируют картину, идентичную интерференционной картине, которая была бы, если бы световое поле от объекта пропустили через интерференционный фильтр. В дальнейшем эта искусственная интерференционная картина будет называться просто интерференционной картиной. Таким образом на элементе 4 формируют интерференционную картину, содержащую информацию о всех ракурсах объекта 8. Элемент 4 после фиксации упомянутой интерференционной картины может выполнять функцию носителя 6 изображения интерференционной картины, например, в фотографии, изобразительном искусстве и в одном из частных случаев применительно к телевидению, представленному на фиг.3, когда интерференционную картину формируют непосредственно в ТВ-приемнике. В этом случае экран 12 ТВ-приемника является одновременно и элементом 4 для совмещения всех ракурсов объекта и носителем 6 изображения интерференционной картины. В другом частном случае применительно к телевидению, представленному на фиг.4, изображение интерференционной картины с элемента 4, находящегося на передающей ТВ-станции, с помощью канала 13 связи транслируют на носитель 6 изображения в ТВ-приемнике, которым является экран 12. The modulated views of the
При формировании интерференционной картины с помощью устройства, представленного на фиг. 2, объекта 8 может реально не существовать, но его ракурсы формируют и модулируют в компьютере 9 с помощью обычного программного обеспечения. Эти ракурсы затем совмещают и фиксируют на экране 10 монитора, который одновременно выполняет функции элемента 4 и носителя 6 изображения интерференционной картины. When forming an interference pattern using the device of FIG. 2, the
При реализации разработанного способа применительно к фотографии, ракурсы объекта 8 формируют, фотографируя объект 8 под разными углами зрения. Модуляцию этих ракурсов осуществляют либо одновременно с фотографированием с помощью модулятора 3 в виде набора масок (трафаретов), каждая из которых предназначена для модулирования одного ракурса, либо модулируют с помощью набора масок в процессе последующей работы с пленкой, например, при совмещении на мультипликационном станке всех ракурсов объекта, зафиксированных на пленке. When implementing the developed method in relation to photography, the angles of the
При реализации разработанного способа применительно к изобразительному искусству ракурсы объекта формирует (рисует) и одновременно модулирует художник с помощью набора трафаретов, каждый из которых предназначен для модуляции одного ракурса. Полученная при совмещении всех ракурсов на носителе изображения интерференционная картина содержит в закодированном виде информацию о трехмерном изображении объекта. When implementing the developed method in relation to fine art, the artist forms (draws) and simultaneously modulates the artist’s angles using a set of stencils, each of which is designed to modulate one angle. The interference pattern obtained by combining all angles on the image carrier contains encoded information about the three-dimensional image of the object.
При восстановлении трехмерного изображения объекта интерференционную картину на носителе 6 и оптически связанный с ним интерференционный фильтр 7 подсвечивают от источника 5 воспроизводящего излучения. При этом выделяют лучи, по направлению и интенсивности соответствующие ракурсам объекта, совокупность которых образует трехмерное изображение объекта, неотличимое от реального. When restoring a three-dimensional image of an object, the interference pattern on the carrier 6 and the optically coupled
В устройствах, приведенных на фиг.2, 3, 4 интерференционная картина формируется на носителе 6, которым является экран 10 монитора (фиг.2) или экран 12 ТВ-приемника (фиг.3, 4). Экран 10 монитора или экран 12 ТВ-приемника покрыт люминофором, пространственно промодулированное собственное свечение которого является картиной изображения, в данном случае - интерференционной картиной, поэтому самосветящийся экран является одновременно и источником 5 воспроизводящего излучения и носителем 6 изображения. In the devices shown in figures 2, 3, 4, an interference pattern is formed on the carrier 6, which is the
Интерференционную картину на экране 10 или на экране 12 рассматривают через интерференционный фильтр 7, осуществляющий интерференцию типа "линий равной толщины". Интерференционный фильтр 7 пропускает излучение от каждого ракурса, изображенного на экране, под определенным углом, зависящим от периода модуляции этого ракурса, и равным углу, соответствующему данному ракурсу объекта. При смещении наблюдателя относительно экрана он будет видеть разные ракурсы объекта, т.е. может оглядывать объект, изображенный на экране, с разных сторон, как реально существующий объемный объект. The interference pattern on the
Аналогично восстанавливают трехмерное изображение объекта 8 в случае, когда интерференционная картина сформирована на носителе 6, в качестве которого использована фотобумага или фотопленка. В этом случае интерференционную картину на носителе 6 освещают от источника 5 воспроизводящего излучения. Затем свет от носителя 6 пропускают через оптически связанный с ним интерференционный фильтр 7. Аналогично вышеописанному и в этом случае интерференционный фильтр 7 пропускает световой поток, отвечающий i-му ракурсу, под определенным углом, зависящим от периода di модуляции и равным углу i-го ракурса. Таким образом интерференционный фильтр совместно с интерференционной картиной восстанавливают совокупность ракурсов объекта, что и является его трехмерным изображением.Similarly, the three-dimensional image of the
Claims (6)
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
RU97109969/25A RU2119184C1 (en) | 1997-06-13 | 1997-06-13 | Process of formation and reproduction of three-dimensional image and device for its implementation |
PCT/RU1998/000155 WO1998057235A1 (en) | 1997-06-13 | 1998-05-27 | Method for generating and reproducing a three-dimensional image and device for realising the same |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
RU97109969/25A RU2119184C1 (en) | 1997-06-13 | 1997-06-13 | Process of formation and reproduction of three-dimensional image and device for its implementation |
Publications (2)
Publication Number | Publication Date |
---|---|
RU2119184C1 true RU2119184C1 (en) | 1998-09-20 |
RU97109969A RU97109969A (en) | 1999-01-10 |
Family
ID=20194173
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
RU97109969/25A RU2119184C1 (en) | 1997-06-13 | 1997-06-13 | Process of formation and reproduction of three-dimensional image and device for its implementation |
Country Status (2)
Country | Link |
---|---|
RU (1) | RU2119184C1 (en) |
WO (1) | WO1998057235A1 (en) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
RU2486608C2 (en) * | 2011-08-23 | 2013-06-27 | Федеральное государственное автономное образовательное учреждение высшего профессионального образования "Национальный исследовательский университет "МИЭТ" | Device for organisation of interface with object of virtual reality |
RU2526845C2 (en) * | 2008-05-06 | 2014-08-27 | Конинклейке Филипс Электроникс Н.В. | Light module, illumination system and method of embedding data in emitted light |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE2000109C3 (en) * | 1970-01-02 | 1980-08-21 | Siemens Ag, 1000 Berlin Und 8000 Muenchen | Arrangement for the optical transformation of an object space into an image space with a volume hologram |
US4598973A (en) * | 1984-03-07 | 1986-07-08 | Greenleaf James F | Apparatus and method for recording and displaying a three-dimensional image |
SU1254427A1 (en) * | 1984-07-16 | 1986-08-30 | Предприятие П/Я В-8584 | Method of measuring variations of three-dimensional phase objects |
-
1997
- 1997-06-13 RU RU97109969/25A patent/RU2119184C1/en not_active IP Right Cessation
-
1998
- 1998-05-27 WO PCT/RU1998/000155 patent/WO1998057235A1/en active Application Filing
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
RU2526845C2 (en) * | 2008-05-06 | 2014-08-27 | Конинклейке Филипс Электроникс Н.В. | Light module, illumination system and method of embedding data in emitted light |
RU2486608C2 (en) * | 2011-08-23 | 2013-06-27 | Федеральное государственное автономное образовательное учреждение высшего профессионального образования "Национальный исследовательский университет "МИЭТ" | Device for organisation of interface with object of virtual reality |
Also Published As
Publication number | Publication date |
---|---|
WO1998057235A1 (en) | 1998-12-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8068131B2 (en) | Apparatus and method for photographing three-dimensional image, apparatus and method for displaying three-dimensional image, and apparatus and method for converting three-dimensional image display position | |
EP0273845B1 (en) | Equipment and process for obtaining three-dimensional moving images, that is four-dimensional images in both colour and in black and white | |
JP3238755B2 (en) | Hologram creation and stereoscopic display method and stereoscopic display device | |
US5561537A (en) | Stereoscopic display method and apparatus | |
US4376950A (en) | Three-dimensional television system using holographic techniques | |
JP3942789B2 (en) | Stereoscopic image playback device with background | |
US5694235A (en) | Three-dimensional moving image recording/reproducing system which is compact in size and easy in recording and reproducing a three-dimensional moving image | |
US4520387A (en) | Holographic imager | |
US4067638A (en) | Multi-color holographic stereograms | |
JPH06124058A (en) | Projector for holographic stereogram recording | |
US6062693A (en) | Three-dimensional image projecting device | |
US6028621A (en) | Method of forming and reproducing a three-dimensional image and a device for that purpose | |
US4461541A (en) | Stereoscopic video image display | |
US6870651B2 (en) | Apparatus and method for generating a dynamic image | |
RU2119184C1 (en) | Process of formation and reproduction of three-dimensional image and device for its implementation | |
EP1241537A1 (en) | Hologram forming method | |
US3548093A (en) | Hologram television system and method | |
US20030053162A1 (en) | Method and apparatus for producing holographic stereograms | |
Lunazzi | Three-dimensional photography by holography | |
RU2104502C1 (en) | Process of formation and reconstruction of volumetric image and device for its implementation | |
KR930009119B1 (en) | Reproducing and recording 3d-image | |
US3946430A (en) | Multiple recording system for video signals and optical images | |
US3858239A (en) | Color encoded hologram playback apparatus | |
JPS5868084A (en) | Display of three-dimensional picture | |
KR930008307B1 (en) | Recording and Playback of Stereoscopic Images |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
NF4A | Reinstatement of patent | ||
MM4A | The patent is invalid due to non-payment of fees |
Effective date: 20070614 |
|
NF4A | Reinstatement of patent |
Effective date: 20100927 |
|
MM4A | The patent is invalid due to non-payment of fees |
Effective date: 20110614 |
|
NF4A | Reinstatement of patent |
Effective date: 20130410 |
|
MM4A | The patent is invalid due to non-payment of fees |
Effective date: 20140614 |