CN108268120B - 基于vr或ar的图像数据处理方法、设备和安检系统 - Google Patents
基于vr或ar的图像数据处理方法、设备和安检系统 Download PDFInfo
- Publication number
- CN108268120B CN108268120B CN201611255796.0A CN201611255796A CN108268120B CN 108268120 B CN108268120 B CN 108268120B CN 201611255796 A CN201611255796 A CN 201611255796A CN 108268120 B CN108268120 B CN 108268120B
- Authority
- CN
- China
- Prior art keywords
- user
- information
- dimensional
- determined
- scan data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000007689 inspection Methods 0.000 title claims description 36
- 238000003672 processing method Methods 0.000 title abstract description 8
- 230000033001 locomotion Effects 0.000 claims abstract description 38
- 238000012545 processing Methods 0.000 claims description 44
- 239000000463 material Substances 0.000 claims description 24
- 238000004891 communication Methods 0.000 claims description 20
- 238000000034 method Methods 0.000 claims description 17
- 238000012216 screening Methods 0.000 claims description 7
- 230000009471 action Effects 0.000 claims description 6
- 238000003325 tomography Methods 0.000 claims description 4
- 230000001953 sensory effect Effects 0.000 claims description 2
- 239000011521 glass Substances 0.000 claims 1
- 238000010586 diagram Methods 0.000 description 9
- 230000015654 memory Effects 0.000 description 9
- 230000003190 augmentative effect Effects 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 6
- 230000005855 radiation Effects 0.000 description 6
- 238000013519 translation Methods 0.000 description 4
- 238000004590 computer program Methods 0.000 description 3
- 230000008447 perception Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000005452 bending Methods 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000002591 computed tomography Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000035807 sensation Effects 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000010267 cellular communication Effects 0.000 description 1
- 238000010924 continuous production Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 239000002360 explosive Substances 0.000 description 1
- 239000000499 gel Substances 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 239000007788 liquid Substances 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01V—GEOPHYSICS; GRAVITATIONAL MEASUREMENTS; DETECTING MASSES OR OBJECTS; TAGS
- G01V5/00—Prospecting or detecting by the use of ionising radiation, e.g. of natural or induced radioactivity
- G01V5/20—Detecting prohibited goods, e.g. weapons, explosives, hazardous substances, contraband or smuggled objects
- G01V5/22—Active interrogation, i.e. by irradiating objects or goods using external radiation sources, e.g. using gamma rays or cosmic rays
- G01V5/228—Active interrogation, i.e. by irradiating objects or goods using external radiation sources, e.g. using gamma rays or cosmic rays using stereoscopic means
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N23/00—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00
- G01N23/02—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00 by transmitting the radiation through the material
- G01N23/04—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00 by transmitting the radiation through the material and forming images of the material
- G01N23/046—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00 by transmitting the radiation through the material and forming images of the material using tomography, e.g. computed tomography [CT]
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01P—MEASURING LINEAR OR ANGULAR SPEED, ACCELERATION, DECELERATION, OR SHOCK; INDICATING PRESENCE, ABSENCE, OR DIRECTION, OF MOVEMENT
- G01P13/00—Indicating or recording presence, absence, or direction, of movement
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01T—MEASUREMENT OF NUCLEAR OR X-RADIATION
- G01T1/00—Measuring X-radiation, gamma radiation, corpuscular radiation, or cosmic radiation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/08—Volume rendering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
- G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/40—Business processes related to the transportation industry
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
- G06T2207/10012—Stereo images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10081—Computed x-ray tomography [CT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30232—Surveillance
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- High Energy & Nuclear Physics (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Human Computer Interaction (AREA)
- Computer Graphics (AREA)
- Geophysics (AREA)
- General Life Sciences & Earth Sciences (AREA)
- Quality & Reliability (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Molecular Biology (AREA)
- Analytical Chemistry (AREA)
- Immunology (AREA)
- Pathology (AREA)
- General Health & Medical Sciences (AREA)
- Biochemistry (AREA)
- Pulmonology (AREA)
- Chemical & Material Sciences (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Processing Or Creating Images (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
公开了一种基于VR或AR的图像数据处理方法、设备和安检系统。在一实施例中，一种图像数据处理方法包括：基于针对内部容纳有物体的容器的三维扫描数据，重建容器及其容纳的物体的三维图像；立体显示重建的三维图像；基于用户的定位信息和动作信息确定针对容器中至少一件物体的操纵信息；基于所确定的操纵信息至少重新重建所述至少一件物体的三维图像；以及在所显示的三维图像上展示重新重建的所述至少一件物体。
Description
技术领域
本发明涉及安检技术领域，尤其涉及一种基于虚拟现实(VR)或增强现实(AR)技术的图像数据处理设备和安检系统。
背景技术
随着集装箱运输业务的快速发展，越来越多货物通过集装箱进行装卸和运输。而由于集装箱内货物的隐蔽性，给托运人瞒报危险品和走私品带来了可乘之机。虽然类似X射线透射系统的检查手段给集装箱的安全运输工作带来了很大便利，但仅靠看图员的经验获取货物信息工作量大，易疲劳。另一方面，实际检查时仍有一定比例的集装箱要求开箱检查，而集装箱的开箱检查存在诸多困难。例如，集装箱常用于运输大型物体，开箱检查搬运过程复杂且危险。又如，集装箱内货物排列较紧密，开箱检查完成后再装箱存在一定困难。再如，开箱检查手续复杂，耗时长，延长了货运时间。此外，对于瞒报危险品的集装箱，直接现场开箱检查，还威胁着检查员的人身安全。
发明内容
本公开的目的至少部分地在于提供一种基于虚拟现实(VirtualReality，VR)或增强现实(Augmented Reality，AR)技术的图像数据处理方法、设备和安检系统。
根据本公开的一个方面，提供了一种图像数据处理方法，包括：基于针对内部容纳有物体的容器的三维扫描数据，重建容器及其容纳的物体的三维图像；立体显示重建的三维图像；基于用户的定位信息和动作信息确定针对容器中至少一件物体的操纵信息；基于所确定的操纵信息至少重新重建所述至少一件物体的三维图像；以及在所显示的三维图像上展示重新重建的所述至少一件物体。
根据本公开的另一方面，提供了一种图像数据处理设备，包括：通信接口，配置为接收内部容纳有物体的容器的三维扫描数据；以及处理器，配置为基于接收到的三维扫描数据，重建容器及其容纳的物体的三维图像以便显示；其中，通信接口还配置为接收用户的定位信息和动作信息，处理器还配置为基于接收到的定位信息和动作信息确定针对容器中至少一件物体的操纵信息，并基于所确定的操纵信息至少重新重建所述至少一件物体的三维图像。
根据本公开的再一方面，提供了一种安检系统，包括：三维扫描设备，配置为对内部容纳有物体的容器进行三维扫描，以生成三维扫描数据；位置跟踪设备，配置为定位用户的位置，以便提供用户的定位信息；运动跟踪设备，配置为确定用户的运动，以便提供用户的动作信息；如权利要求7-12中任一项所述的图像数据处理设备；以及立体显示器，配置为显示重建的三维图像。
根据本公开的又一方面，提供了一种计算机可读记录介质，其上存储有可执行指令，所述指令在由一个或多个处理器执行时，使所述一个或多个处理器执行以下操作：基于针对内部容纳有物体的容器的三维扫描数据，重建容器及其容纳的物体的三维图像；立体显示重建的三维图像；基于用户的定位信息和动作信息确定针对容器中至少一件物体的操纵信息；基于所确定的操纵信息至少重新重建所述至少一件物体的三维图像；以及在所显示的三维图像上展示重新重建的所述至少一件物体。
三维扫描数据例如包括X射线断层(X-CT)扫描数据、多视角X射线扫描数据中至少之一。这些数据例如可以通过X-CT扫描设备、多视角X射线扫描设备等三维扫描设备来获得。
可以基于三维扫描数据，确定所述至少一个物体的结构和材料特性中至少之一。所确定的结构和材料特性中至少之一可以显示于所述至少一个物体周围。
用于显示三维图像和各种其他信息的显示器可以是立体显示器，例如头盔式、眼镜式、桌面式、投影式、手持式或自由立体显示式立体显示器。
可以基于操纵信息和/或所确定的结构和材料特性中至少之一，确定反馈信息。可以基于反馈信息，向用户提供力/触觉反馈。例如，可以通过用户可穿戴的力/触觉反馈设备，来向用户提供力/触觉反馈
可以基于所确定的操纵信息，控制扫描设备进一步扫描所述至少一个物体所在的区域。
根据本公开的实施例，通过三维扫描设备(例如，X-CT或多视角X射线扫描设备)，可以生成容器(例如，集装箱)内物品的(三维)图像。通过立体显示所生成的图像，产生虚拟现实或增强现实空间。检查员可以配备VR或AR技术相关的辅助设备，进入虚拟现实空间或增强现实空间中，并可以对可疑区域进行翻箱检查。可以将检查员的动作实时反映到虚拟空间中，并同步显示翻箱检查过程。于是，检查员可以借助虚拟现实或增强现实装备与数字化环境中的容器内物品相互作用，可以产生亲临检查现场的真实感。这种仿真检查方法与现场开箱检查相比，形象而简单地展示了箱内货物的情况及开箱检查的过程，节约了检查的人力、物力和时间，提高了集装箱检查的效率和操作的安全性。
附图说明
通过以下参照附图对本公开实施例的描述，本公开的上述以及其他目的、特征和优点将更为清楚，在附图中：
图1是示意性示出了根据本公开实施例的安检系统的框图；
图2是示意性示出了根据本公开实施例的图像数据处理方法的流程图；
图3是示意性示出了根据本公开实施例的图像数据处理设备的框图。
贯穿附图，相同或相似的附图标记表示相同或相似的部件。
具体实施方式
以下，将参照附图来描述本公开的实施例。但是应该理解，这些描述只是示例性的，而并非要限制本公开的范围。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本公开的概念。
在此使用的术语仅仅是为了描述具体实施例，而并非意在限制本公开。这里使用的词语“一”、“一个(种)”和“该”等也应包括“多个”、“多种”的意思，除非上下文另外明确指出。此外，在此使用的术语“包括”、“包含”等表明了所述特征、步骤、操作和/或部件的存在，但是并不排除存在或添加一个或多个其他特征、步骤、操作或部件。
在此使用的所有术语(包括技术和科学术语)具有本领域技术人员通常所理解的含义，除非另外定义。应注意，这里使用的术语应解释为具有与本说明书的上下文相一致的含义，而不应以理想化或过于刻板的方式来解释。
附图中示出了一些方框图和/或流程图。应理解，方框图和/或流程图中的一些方框或其组合可以由计算机程序指令来实现。这些计算机程序指令可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器，从而这些指令在由该处理器执行时可以创建用于实现这些方框图和/或流程图中所说明的功能/操作的装置。
因此，本公开的技术可以硬件和/或软件(包括固件、微代码等)的形式来实现。另外，本公开的技术可以采取存储有指令的计算机可读介质上的计算机程序产品的形式，该计算机程序产品可供指令执行系统使用或者结合指令执行系统使用。在本公开的上下文中，计算机可读介质可以是能够包含、存储、传送、传播或传输指令的任意介质。例如，计算机可读介质可以包括但不限于电、磁、光、电磁、红外或半导体系统、装置、器件或传播介质。计算机可读介质的具体示例包括：磁存储装置，如磁带或硬盘(HDD)；光存储装置，如光盘(CD-ROM)；存储器，如随机存取存储器(RAM)或闪存；和/或有线/无线通信链路。
图1是示意性示出了根据本公开实施例的安检系统的框图。
如图1所示，根据该实施例的安检系统100可以包括图像数据处理设备110、三维扫描设备120和立体显示设备160。这种安检系统100可以适用于车站、机场、海关等需要对物品进行检查以便防止违禁品进入的场所。
三维扫描设备120可以对对象例如内部容纳有物体的容器(例如，集装箱)200进行三维扫描，以生成三维扫描数据。在此，所谓“三维扫描数据”，是指可以基于这种数据来重建被扫描对象的三维轮廓，并可以由此得到被扫描对象的三维图像。例如，三维扫描设备120可以包括X射线断层(X-CT)扫描设备、多视角X射线扫描设备等。
在一个示例中，可以设置安检通道，并在安检通道周围布设辐射源(例如，X射线发生器)和相应的探测器。可以使待扫描的对象通过安检通道(例如，通过传送装置、运送车辆等)。在对象穿过安检通道时，辐射源发出的辐射可以照射到对象上，并可以通过探测器探测对象透射(和/或散射)的辐射。根据探测到的辐射，可以获知对象内部的信息。例如，在X-CT扫描设备或多视角X射线扫描设备等扫描设备中，可以根据探测辐射重建对象的截面，并可以基于多个重建的截面来产生对象的三维轮廓。
另外，可以使用双能扫描技术。例如，可以使用高能和低能X射线，对对象进行扫描。利用双能扫描技术，可以更好地获得对象的材料特性，例如等效原子系数、密度值等。但是，双能扫描不是绝对必要的，例如在单能扫描足以确定所需材料信息的情况下。
可以控制扫描的速度，以得到一定量的扫描数据。扫描数据的量一方面足以生成清楚的图像，另一方面不会太多，以便降低存储和处理负担。
在此，以集装箱等容纳物体的容器为例进行描述，但是本公开不限于此。本公开的技术适用于各种安检场合。
图像数据处理设备110可以基于三维扫描设备120生成的三维扫描数据，重建对象的三维图像，例如容器及其容纳的物体。例如，图像数据处理设备110可以利用边缘检测技术，在三维扫描数据中检测各物体的边缘，并可以匹配同一物体在不同视角下的边缘，从而重建物体的截面。通过将同一物体的多个截面相连接(并可以在截面之间进行插值)，来得到该物体的三维轮廓。另一方面，根据重建的截面，可以计算物体的等效原子系数、密度值等材料特性。
立体显示设备160可以立体地显示图像数据处理设备110重建的三维图像。这样，就产生了图像空间或者说虚拟现实(VR)或增强现实(AR)空间400(以下称为“虚拟空间”)。这种虚拟空间不必是现实世界中的物理空间，而是可以通过用户300的视觉感知到的一种空间。例如，用户300的眼睛可以接收到显示设备的光信号，从而感知到仿佛置身于一定的空间(在该示例中，可以是被检对象的内部空间)中。
用于(实时)显示三维图像的立体显示设备160可以是头盔式、眼镜式、桌面式、投影式、手持式或自由立体显示等。例如，在单个用户的情况下，用户可以佩戴头盔式或眼镜式显示设备；而在多个用户的情况下，可以使用桌面式、投影式、手持式或自由立体显示设备。
根据本公开的实施例，可以根据材料特性如等效原子序数和密度值，确定是否存在违禁品如爆炸物、武器等。例如，可以对多个截面中的原子序数和密度求平均。如果该平均值落入违禁品数据库中的违禁品区，则可以判定存在违禁品；如果落入违禁品区之外的其他区域，则可以判定为安全品。对于判定为违禁品的物体，可以突出显示，以提醒用户注意。
根据本公开的实施例，可以基于物体的结构(例如，三维轮廓)和/或材料特性，将检出的物体与物品清单(例如，报关单)进行比较。如果检出的物体与物品清单中列出的某一物体相匹配，则可以在相应物体周围显示(例如，以文本形式)物品清单中的相关信息(例如，物品名、制造商等)。如果某一检出的物体在物品清单中不存在相匹配的项，则可以提醒用户注意。
另外，还可以在各物体周围显示(例如，以文本形式)所确定的结构和/或材料特性，以便于用户查看。
安检系统100还可以包括各种传感设备如位置跟踪设备130和运动跟踪设备140，以便感测用户的位置、动作，从而确定用户的操纵对象和操纵方式。这些传感设备可以是可穿戴式的，从而由用户佩戴在身体上；或者可以是独立于用户另外设置的。
位置跟踪设备130可以定位用户的位置，从而提供用户的定位信息。图像数据处理设备110可以将位置跟踪设备130所确定的用户定位信息映射到图像空间或者虚拟空间中。例如，可以将用户的初始位置映射到集装箱的入口处，并可以根据由定位信息确定的用户移动来相应地改变用户在虚拟空间中的位置。例如，当根据定位信息确定用户向左/右/前/后移动一定距离时，可以将用户在虚拟空间中的位置相对于初始位置向左/右/前/后移动相应的距离(可以与用户的实际移动距离相同，或者按照一定比例)。
例如，位置跟踪设备130可以包括用户携带的全球定位系统(GPS)设备，用户携带的与用户周围布设的超声收发装置协同定位的超声定位设备，或者视频设备。在视频设备的情况下，可以通过图像识别来确定用户的移动。
位置跟踪设备130可以包括设于用户身体不同部位处的多个位置传感器。图像数据处理设备110可以根据这多个位置传感器的感测数据，将用户的不同部位分别映射到虚拟空间中，以便更准确地定位用户在虚拟空间中的位置。
运动跟踪设备140可以确定用户的运动，以便提供用户的动作信息。例如，运动跟踪设备140可以跟踪用户某些关键点(例如，关节部位、手部等)，捕获用户的运动数据。例如，运动跟踪设备140可以包括数据衣。图像数据处理设备110可以将这些运动数据映射到(预存的)人体模型上，并可以通过运动控制生成人体运动的连续过程。
图像数据处理设备110可以基于用户的定位信息和动作信息，确定针对至少一件物体的操纵信息。例如，当基于定位信息确定用户处于某一物体旁，且基于动作信息确定用户做出了搬动、翻转等动作时，图像数据处理设备110可以确定针对该物体的操纵信息(平移/转动、平移距离、转动角度等)。可以根据动作的幅度，来确定平移距离、转动角度。
在用户在虚拟空间中操纵物体时，可以相应地更新虚拟空间中的显示。例如，图像数据处理设备110可以基于操纵信息，至少部分地重建三维图像(例如，重建被操纵物体的三维图像，以及可选地重建被操纵物体周围区域的三维图像，当然也可以重建整个三维图像)。例如，当操纵信息指示平移操纵时，可以将该物体的三维图像重建至被平移至的位置，并可以在原位置处剔除该物体。又如，当操纵信息指示转动操纵时，依据转动角度从不同视角重建该物体。这样，在用户看来，就如同在实际地操纵该物体。
如上所述，用户可以针对提醒的可能为违禁品的物体进行操作，以便更加仔细地检查该物体。当某一物体被确定为操纵对象之后，可以在该物体周围显示该物体的结构和/或材料特性，以供用户参考。
根据本公开的实施例，当某一物体被确定为操纵对象之后，图像数据处理设备110可以向三维扫描设备120发出指示，来进一步扫描该物体所在的区域，例如可以更高的强度和/或以更密的扫描间隙来扫描该区域，以便得到更加清楚的细节。图像数据处理设备110可以根据重新扫描后的数据，重新重建该区域的图像，并更新该区域的显示。
根据本公开的实施例，为了向用户提供更加逼真的感受，还可以向用户提供感觉反馈。为此，安检系统100还可以包括力/触觉反馈设备150。力/触觉反馈设备150可以通过触觉感知，将虚拟空间中物体的物理特征(如纹理、材料、状态如液态、固态、凝胶态等)和移动变化情况反映给用户。例如，力/触觉反馈设备150可以向用户给出一定的刺激，从而使用户能够获得一定的感知。例如，力/触觉反馈设备150可以包括数据手套，在手套内层安装有一些可以振动的触点来模拟触觉。
图像数据处理设备110可以至少部分地基于物体的操纵信息和/或结构和材料特性中至少之一，来确定反馈信息。例如，当用户对物体进行操纵时，会感受到一定的反作用力。因此，可以根据操纵信息，确定用户受力，并可以通过力/触觉反馈设备150向用户给出这种反作用力的感觉。例如，当用户用双手搬动物体时，会感受到物体的重量。力/触觉反馈设备150可以通过向用户施加向下的力，来使用户获得这样的感受。所施加的力的大小可以根据物体的体积、密度值等确定。另外，物体表面可能存在一定的凹凸或纹理。可以根据结构/材料特性，确定这种表面凹凸或纹理。力/触觉反馈设备150可以通过调整触点，来向用户给予凹凸或纹理的感觉。另外，物体的材料不同会给出不同的触感，例如光滑或粗糙。可以通过力/触觉反馈设备150向用户给出这种触感。
另一方面，力/触觉反馈设备150也可以分析用户的运动参数如方向、速度和加速度等。例如，数据手套的手指处可以安装位置、弯曲和扭曲等传感器，在手掌处可以安装弯曲、弧度等传感器。利用这样的数据手套，可以确定手及关节的位置、方向、手指状态(并拢或张开、上翘或下弯)等运动数据。图像数据处理设备110可以根据这些运动数据(结合运动跟踪设备140的数据)，确定虚拟空间中对于物体的抓取、移动、装配或控制等操纵。这部分运动感知功能可以结合到运动跟踪设备140中。但是，例如在数据手套的实现方式中，由于这些运动感知和触觉反馈均设于手部，故而结合在同一设备即数据手套中。
在以上示例中，描述了集中式的图像数据处理设备110，但是本公开不限于此。例如，图像数据处理设备110可以是分布式的，包括以有线和/或无线链路连接的多个处理装置。这些处理装置协同完成以上描述的图像数据处理设备110的功能。在一个示例中，图像数据处理设备110可以包括用于图像重建的图像处理器以及处理其他信息(例如，传感器信息、操纵信息、反馈信息等)的数据处理装置。图像处理器可以承担负载较重的图像重建，并可以具有较高的配置，从而实现较快的处理速度(例如，实时更新三维图像，以便向用户提供逼真的感受)。另一方面，数据处理装置负责负载较轻的其他信息处理，并可以具有较低的配置，例如可以通过个人计算机(PC)、笔记本电脑、平板电脑等通用计算平台来实现。
图2是示意性示出了根据本公开实施例的图像数据处理方法的流程图。
如图2所示，根据该实施例的图像数据处理方法1000包括在操作1100处基于三维扫描数据，生成三维图像。如上所述，三维扫描数据可以是在操作2100中通过三维扫描设备扫描被检对象(例如，内部容纳有物体的容器)得到的。
在操作1200，可以立体地显示生成的三维图像，从而构建图像空间或者说虚拟空间(VR或AR空间)。如上所述，可以在操作1600中基于三维扫描数据，确定物体的结构和/或材料特性，并可以在物体周围显示所确定的结构和/或材料特性。
在操作1300，可以基于用户的定位信息和动作信息，确定针对至少一件物体的操纵信息。例如，可以在操作3100中由位置跟踪设备、动作跟踪设备(以及可选地力/触觉反馈设备)来确定用户的定位信息和动作信息。如上所述，可以基于操纵信息，来指示三维扫描设备进一步扫描被操纵物体周围的区域。
在操作1400，可以基于所确定的操纵信息，至少部分地重新生成三维图像。如上所述，可以重建被操纵的物体，可以重建该物体周围的区域，或者甚至可以重建整个三维图像。例如，可以根据用户的操纵，改变该物体在虚拟空间内的位置、方位等。
在操作1500，可以更新显示三维图像，以便展示重新生成的部分。
另外，在操作1700，还可以基于操纵信息、结构特性和材料特性中至少之一，确定反馈信息。这些反馈信息可以发送至力/触觉反馈设备，以便向用户给出触觉反馈。
图3是示意性示出了根据本公开实施例的图像数据处理设备的框图。
如图3所示，根据该实施例的图像数据处理设备310(例如，上述图像数据处理设备110)可以包括总线311、处理器312、存储器313、输入/输出(I/O)接口314、显示器315和通信接口316。在本公开的各种实施例中，可以省略上述元件中的至少一个，或可以向处理设备310添加其他元件。
总线311可以将上述部件312至316彼此连接，并且在上述部件之间进行通信(例如控制消息和/或数据)。
处理器312例如可以包括央处理单元(CPU)、应用处理器(AP)或者通信处理器(CP)等。处理器312可以执行数据处理或与处理设备310的至少一个其它部件的通信和/或控制相关的操作。
存储器313可以包括易失性存储器和/或非易失性存储器。存储器313可以存储与处理设备310中的至少一个其它部件相关的指令或数据。根据本公开的实施例，存储器313可以存储软件和/或程序。处理器312可以通过执行存储器313中存储的软件和/或程序来执行相应的操作，例如以上结合图2所述的操作。
I/O接口314可以用于向处理设备310的其他部件传送从用户或其他外部设备输入的指令或数据。此外，I/O接口314可以向用户或其他外部设备输出从处理设备310的其他部件接收到的指令或数据。
显示器315可以包括例如液晶显示器(LCD)、发光二极管(LED)显示器、有机发光二极管(OLED)显示器等。显示器315可以向例如用户展示各种内容(例如，文本、图像、视频等)。显示器315可以包括触摸屏，并可以接收触摸输入。
通信接口316可以在处理设备310和其他设备(例如，扫描设备120、位置跟踪设备130、运动跟踪设备140、力/触觉反馈设备150、立体显示设备160)之间进行通信。例如，通信接口316可以经由无线通信或有线通信与网络如计算机网络(例如局域网(LAN)、广域网(WAN)、互联网)相连，以便与其他设备进行通信。
无线通信可以使用蜂窝通信协议如长期演进(LET)、码分多址(CDMA)、宽带CDMA(WCDMA)或全球移动通信系统(GSM)等。无线通信可以包括例如短距离通信，如WiFi、蓝牙、近场通信(NFC)等。有线通信可以包括通用串行总线(USB)等。为了实时性，可以使用高速专用网络或互联网。
以上对本公开的实施例进行了描述。但是，这些实施例仅仅是为了说明的目的，而并非为了限制本公开的范围。尽管在以上分别描述了各实施例，但是这并不意味着各个实施例中的措施不能有利地结合使用。本公开的范围由所附权利要求及其等价物限定。不脱离本公开的范围，本领域技术人员可以做出多种替代和修改，这些替代和修改都应落在本公开的范围之内。
Claims (16)
1.一种在对内部容纳有物体的容器进行安检时进行的图像数据处理方法，包括：
对所述内部容纳有物体的容器进行三维扫描，以生成三维扫描数据；
基于所述三维扫描数据，重建容器及其容纳的物体的三维图像；
立体显示重建的三维图像；
基于用户的定位信息和动作信息确定针对容器中至少一件物体的操纵信息，其中通过定位用户的位置提供所述用户的定位信息；
基于所确定的操纵信息至少重新重建所述至少一件物体的三维图像；以及
在所显示的三维图像上展示重新重建的所述至少一件物体。
2.根据权利要求1所述的方法，其中，三维扫描数据包括X射线断层扫描数据、多视角X射线扫描数据中至少之一。
3.根据权利要求1所述的方法，还包括：
基于三维扫描数据，确定所述至少一个物体的结构和材料特性中至少之一。
4.根据权利要求3所述的方法，还包括：
在所述至少一个物体周围，显示所确定的结构和材料特性中至少之一。
5.根据权利要求3或4所述的方法，还包括：
基于操纵信息和/或所确定的所述至少一个物体的结构和材料特性中至少之一，确定反馈信息；以及
基于反馈信息，向用户提供感觉上的反馈。
6.根据权利要求1所述的方法，还包括：
基于所确定的操纵信息，控制生成所述三维扫描数据的扫描设备进一步扫描所述至少一个物体所在的区域。
7.一种安检系统，包括：
三维扫描设备，配置为对内部容纳有物体的容器进行三维扫描，以生成三维扫描数据；以及
图像数据处理设备，所述图像数据处理设备包括：
通信接口，配置为接收三维扫描设备所生产的三维扫描数据；以及
处理器，配置为基于接收到的三维扫描数据，重建容器及其容纳的物体的三维图像以便显示；
其中，通信接口还配置为接收用户的定位信息和动作信息，
处理器还配置为基于接收到的定位信息和动作信息确定针对容器中至少一件物体的操纵信息，并基于所确定的操纵信息至少重新重建所述至少一件物体的三维图像。
8.根据权利要求7所述的安检系统，其中，三维扫描设备包括X射线断层扫描设备、多视角X射线扫描设备中至少之一。
9.根据权利要求7所述的安检系统，其中，处理器还配置为基于三维扫描数据，确定所述至少一个物体的结构和材料特性中至少之一。
10.根据权利要求9所述的安检系统，其中，通信接口配置为将所确定的结构和材料特性中至少之一发送至显示器，以便显示在所述至少一个物体周围。
11.根据权利要求9或10所述的安检系统，其中，处理器还配置为基于操纵信息和/或所确定的所述至少一个物体的结构和材料特性中至少之一，确定反馈信息，并通过通信接口向用户所佩戴的力/触觉反馈设备发送所确定的反馈信息。
12.根据权利要求7所述的安检系统，其中，处理器还配置为基于所确定的操纵信息，生成由生成所述三维扫描数据的三维扫描设备进一步扫描所述至少一个物体所在区域的控制指令，并通过通信接口向三维扫描设备发送生成的控制指令。
13.根据权利要求7所述的安检系统，还包括：
位置跟踪设备，配置为定位用户的位置，以便提供用户的定位信息；
运动跟踪设备，配置为确定用户的运动，以便提供用户的动作信息；以及
立体显示器，配置为显示重建的三维图像。
14.根据权利要求7所述的安检系统，还包括：
用户可穿戴的力/触觉反馈设备，配置为向用户提供力/触觉反馈。
15.根据权利要求13所述的安检系统，其中，运动跟踪设备包括数据衣。
16.根据权利要求13所述的安检系统，其中，立体显示器包括头盔式、眼镜式、桌面式、投影式、手持式或自由立体显示式立体显示器。
Priority Applications (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201611255796.0A CN108268120B (zh) | 2016-12-29 | 2016-12-29 | 基于vr或ar的图像数据处理方法、设备和安检系统 |
| US15/858,868 US11699223B2 (en) | 2016-12-29 | 2017-12-29 | Image data processing method, device and security inspection system based on VR or AR |
| PL17211108.0T PL3346301T3 (pl) | 2016-12-29 | 2017-12-29 | Sposób przetwarzania danych obrazu, urządzenie i system kontroli bezpieczeństwa w oparciu o rzeczywistość wirtualną lub rzeczywistość rozszerzoną |
| EP17211108.0A EP3346301B1 (en) | 2016-12-29 | 2017-12-29 | Image data processing method, device and security inspection system based on virtual reality or augmented reality |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201611255796.0A CN108268120B (zh) | 2016-12-29 | 2016-12-29 | 基于vr或ar的图像数据处理方法、设备和安检系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN108268120A CN108268120A (zh) | 2018-07-10 |
| CN108268120B true CN108268120B (zh) | 2020-07-28 |
Family
ID=61002804
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201611255796.0A Active CN108268120B (zh) | 2016-12-29 | 2016-12-29 | 基于vr或ar的图像数据处理方法、设备和安检系统 |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US11699223B2 (zh) |
| EP (1) | EP3346301B1 (zh) |
| CN (1) | CN108268120B (zh) |
| PL (1) | PL3346301T3 (zh) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109785446B (zh) * | 2019-02-28 | 2024-02-02 | 清华大学 | 图像识别系统及其方法 |
| CN110031909B (zh) * | 2019-04-18 | 2024-08-16 | 西安天和防务技术股份有限公司 | 安检系统及安检方法 |
| CN112730468B (zh) * | 2019-10-28 | 2022-07-01 | 同方威视技术股份有限公司 | 物品检测设备及其检测物品的方法 |
| CN112784622B (zh) * | 2019-11-01 | 2023-07-25 | 抖音视界有限公司 | 图像的处理方法、装置、电子设备及存储介质 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101071111A (zh) * | 2006-05-08 | 2007-11-14 | 清华大学 | 一种多视角航空集装箱安全检查系统及方法 |
| WO2008109567A3 (en) * | 2007-03-02 | 2008-11-13 | Organic Motion | System and method for tracking three dimensional objects |
| CN102359971A (zh) * | 2011-09-14 | 2012-02-22 | 上海英迈吉东影图像设备有限公司 | 一种实现单源多视角安全检查的方法及系统 |
Family Cites Families (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| GB2427339A (en) | 2005-06-15 | 2006-12-20 | Stereo Scan Systems Ltd | X-ray stereoscopic screening apparatus |
| US8311791B1 (en) * | 2009-10-19 | 2012-11-13 | Surgical Theater LLC | Method and system for simulating surgical procedures |
| US9318032B2 (en) * | 2011-02-04 | 2016-04-19 | University of Pittsburgh—of the Commonwealth System of Higher Education | Hybrid physical-virtual reality simulation for clinical training capable of providing feedback to a physical anatomic model |
| KR101800189B1 (ko) * | 2012-04-30 | 2017-11-23 | 삼성전자주식회사 | 수술 로봇의 힘 제어 장치 및 방법 |
| US10884493B2 (en) * | 2013-06-20 | 2021-01-05 | Uday Parshionikar | Gesture based user interfaces, apparatuses and systems using eye tracking, head tracking, hand tracking, facial expressions and other user actions |
| CA2917478A1 (en) * | 2013-07-10 | 2015-01-15 | Real View Imaging Ltd. | Three dimensional user interface |
| KR101536115B1 (ko) | 2013-08-26 | 2015-07-14 | 재단법인대구경북과학기술원 | 수술 내비게이션 시스템 운용 방법 및 수술 내비게이션 시스템 |
| CN106255473B (zh) * | 2014-02-21 | 2020-08-07 | 特里斯佩拉牙科公司 | 增强现实牙科设计方法及系统 |
| US10261033B2 (en) | 2015-01-20 | 2019-04-16 | National Technology & Engineering Solutions Of Sandia, Llc | Material identification system |
| US9696795B2 (en) * | 2015-02-13 | 2017-07-04 | Leap Motion, Inc. | Systems and methods of creating a realistic grab experience in virtual reality/augmented reality environments |
| US20170131775A1 (en) * | 2015-11-10 | 2017-05-11 | Castar, Inc. | System and method of haptic feedback by referral of sensation |
| WO2017160651A1 (en) * | 2016-03-12 | 2017-09-21 | Lang Philipp K | Devices and methods for surgery |
| JP7482601B2 (ja) * | 2016-03-14 | 2024-05-14 | ラシュワン マフホウズ，モハメド | 無線超音波追跡および通信のためのウルトラワイドバンドの位置決め |
| CN109076148B (zh) * | 2016-04-12 | 2021-02-05 | 奎蒂安特有限公司 | 日常场景重建引擎 |
| US10194990B2 (en) * | 2016-04-27 | 2019-02-05 | Arthrology Consulting, Llc | Method for augmenting a surgical field with virtual guidance content |
| US10204448B2 (en) * | 2016-11-04 | 2019-02-12 | Aquifi, Inc. | System and method for portable active 3D scanning |
| US10928888B2 (en) * | 2016-11-14 | 2021-02-23 | Logitech Europe S.A. | Systems and methods for configuring a hub-centric virtual/augmented reality environment |
| US10271043B2 (en) * | 2016-11-18 | 2019-04-23 | Zspace, Inc. | 3D user interface—360-degree visualization of 2D webpage content |
-
2016
- 2016-12-29 CN CN201611255796.0A patent/CN108268120B/zh active Active
-
2017
- 2017-12-29 EP EP17211108.0A patent/EP3346301B1/en active Active
- 2017-12-29 PL PL17211108.0T patent/PL3346301T3/pl unknown
- 2017-12-29 US US15/858,868 patent/US11699223B2/en active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101071111A (zh) * | 2006-05-08 | 2007-11-14 | 清华大学 | 一种多视角航空集装箱安全检查系统及方法 |
| WO2008109567A3 (en) * | 2007-03-02 | 2008-11-13 | Organic Motion | System and method for tracking three dimensional objects |
| CN102359971A (zh) * | 2011-09-14 | 2012-02-22 | 上海英迈吉东影图像设备有限公司 | 一种实现单源多视角安全检查的方法及系统 |
Non-Patent Citations (1)
| Title |
|---|
| 支持力反馈的鼻腔镜虚拟手术仿真系统;王勇军，等;《系统仿真学报》;20010531;第13卷(第3期);第2-3章 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN108268120A (zh) | 2018-07-10 |
| US20180189945A1 (en) | 2018-07-05 |
| US11699223B2 (en) | 2023-07-11 |
| EP3346301B1 (en) | 2022-08-31 |
| PL3346301T3 (pl) | 2023-01-30 |
| EP3346301A1 (en) | 2018-07-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108268120B (zh) | 基于vr或ar的图像数据处理方法、设备和安检系统 | |
| EP3304252B1 (en) | Shared tactile interaction and user safety in shared space multi-person immersive virtual reality | |
| US10394327B2 (en) | Integration of auxiliary sensors with point cloud-based haptic rendering and virtual fixtures | |
| JP6478360B2 (ja) | コンテンツ閲覧 | |
| JP4999711B2 (ja) | 画像処理装置、画像処理方法 | |
| US11580706B2 (en) | Device and method for generating dynamic virtual contents in mixed reality | |
| US20170039767A1 (en) | Virtually visualizing energy | |
| Olson | Perspectives on structural molecular biology visualization: from past to present | |
| Irlitti et al. | Conveying spatial awareness cues in xR collaborations | |
| EP3994552B1 (en) | Preview animation | |
| KR20210087075A (ko) | 패스 스루 시각화 | |
| WO2018176773A1 (zh) | 三维空间的交互系统及其操作方法 | |
| Yu et al. | A survey of real-time rendering on Web3D application | |
| CN109978985B (zh) | 数据处理方法及装置、存储介质、电子设备 | |
| CN110313021B (zh) | 增强现实提供方法、装置以及计算机可读记录介质 | |
| CN106846447A (zh) | 渲染次表面散射效果的方法和装置 | |
| Bergmann et al. | Inspiration from VR gaming technology: Deep immersion and realistic interaction for scientific visualization | |
| US10769841B2 (en) | Selective display in an environment defined by a data set | |
| Nguyen et al. | Collaborative exploration in a multi-scale shared virtual environment | |
| Ruffaldi et al. | Co-located haptic interaction for virtual USG exploration | |
| Peng | Forward and Inversion of Reflected Wave Tomography for All Inner surfaces Layout Observation System in Tunnel | |
| Peng | Forward and Inversion of Reflected Wave Tomography for Full Space Layout Observation System in Tunnel | |
| Plavšić | Virtual reality-based digital twin for facilitating remote mining operations | |
| Busby et al. | D Oceanic Arc Crust Virtual Field Model: the Cretaceous Alisitos Arc (baja California) as a Reference Model for the Izu-Bonin Arc | |
| Borba et al. | A fully immersive virtual model to explore archaeological sites |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |