KR20220022390A - Method for providing 360° panoramic video based on real-time field-of-view changes with eye-gaze tracking in mri environment, recording medium and device for performing the method - Google Patents
Method for providing 360° panoramic video based on real-time field-of-view changes with eye-gaze tracking in mri environment, recording medium and device for performing the method Download PDFInfo
- Publication number
- KR20220022390A KR20220022390A KR1020200103507A KR20200103507A KR20220022390A KR 20220022390 A KR20220022390 A KR 20220022390A KR 1020200103507 A KR1020200103507 A KR 1020200103507A KR 20200103507 A KR20200103507 A KR 20200103507A KR 20220022390 A KR20220022390 A KR 20220022390A
- Authority
- KR
- South Korea
- Prior art keywords
- viewpoint
- panoramic video
- real
- subject
- eye
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 47
- 230000008859 change Effects 0.000 claims abstract description 56
- 238000002599 functional magnetic resonance imaging Methods 0.000 claims abstract description 50
- 238000002595 magnetic resonance imaging Methods 0.000 claims abstract description 41
- 230000000007 visual effect Effects 0.000 claims abstract description 28
- 238000004891 communication Methods 0.000 claims abstract description 22
- 210000001747 pupil Anatomy 0.000 claims abstract description 19
- 238000003384 imaging method Methods 0.000 claims abstract description 10
- 230000004424 eye movement Effects 0.000 claims description 19
- 238000004590 computer program Methods 0.000 claims description 3
- 210000004556 brain Anatomy 0.000 description 17
- 238000010586 diagram Methods 0.000 description 11
- 238000005516 engineering process Methods 0.000 description 8
- 230000008569 process Effects 0.000 description 7
- 210000003128 head Anatomy 0.000 description 5
- 230000008555 neuronal activation Effects 0.000 description 5
- 238000011160 research Methods 0.000 description 5
- 230000004434 saccadic eye movement Effects 0.000 description 5
- 230000004397 blinking Effects 0.000 description 4
- 238000002474 experimental method Methods 0.000 description 4
- 238000007654 immersion Methods 0.000 description 4
- 230000001419 dependent effect Effects 0.000 description 3
- 208000002173 dizziness Diseases 0.000 description 3
- 238000005259 measurement Methods 0.000 description 3
- 238000000692 Student's t-test Methods 0.000 description 2
- 238000013459 approach Methods 0.000 description 2
- 230000003542 behavioural effect Effects 0.000 description 2
- 230000017531 blood circulation Effects 0.000 description 2
- 230000001149 cognitive effect Effects 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 238000002059 diagnostic imaging Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000004886 head movement Effects 0.000 description 2
- 230000001788 irregular Effects 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 238000006213 oxygenation reaction Methods 0.000 description 2
- 230000000638 stimulation Effects 0.000 description 2
- 238000012353 t test Methods 0.000 description 2
- 206010053694 Saccadic eye movement Diseases 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 210000004369 blood Anatomy 0.000 description 1
- 239000008280 blood Substances 0.000 description 1
- 230000003925 brain function Effects 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000001727 in vivo Methods 0.000 description 1
- 230000009191 jumping Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000000691 measurement method Methods 0.000 description 1
- 238000002610 neuroimaging Methods 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/366—Image reproducers using viewer tracking
- H04N13/383—Image reproducers using viewer tracking for tracking with gaze detection, i.e. detecting the lines of sight of the viewer's eyes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
- H04N13/117—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation the virtual viewpoint locations being selected by the viewers or determined by viewer tracking
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/194—Transmission of image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/349—Multi-view displays for displaying three or more geometrical viewpoints without viewer tracking
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Magnetic Resonance Imaging Apparatus (AREA)
Abstract
MRI 환경에서 실시간 시야 변화 추적 기반 360° 파노라마 비디오 제공 방법은, 기능자기공명영상(이하, fMRI) 촬영 전에 피험자가 보고자 하는 시야에 따라 움직일 수 있도록 눈동자 조정(Calibration)을 진행하는 단계; fMRI 촬영 중 피험자에게 360° 파노라마 비디오 클립을 제공하여 피험자의 눈동자 움직임을 시선 추적(eye-tracking)하는 단계; 시선 추적 정보를 기록한 시야 데이터를 자바스크립트(JavaScript)로 TCP/IP 통신을 통해 서버로 전달하는 단계; 및 전달받은 시야 데이터를 360° 파노라마 비디오 클립에 적용하여 영상의 시점(viewpoint) 조작을 제어하는 단계;를 포함한다. 이에 따라, fMRI 환경에서 영상의 움직임을 통제할 수 있으므로 360° 파노라마 영상에 더욱 몰입할 수 있다.A method of providing a 360° panoramic video based on real-time visual field change tracking in an MRI environment includes: performing pupil calibration so that a subject can move according to a desired field of view before taking functional magnetic resonance imaging (hereinafter, fMRI); providing a 360° panoramic video clip to the subject during fMRI imaging to eye-track the subject's pupil movement; Transmitting the visual field data in which the gaze tracking information is recorded to a server through TCP/IP communication in JavaScript (JavaScript); and applying the received viewing data to the 360° panoramic video clip to control the manipulation of the viewpoint of the image. Accordingly, it is possible to control the movement of the image in the fMRI environment, so that you can be more immersed in the 360° panoramic image.
Description
본 발명은 MRI 환경에서 실시간 시야 변화 추적 기반 360° 파노라마 비디오 제공 방법, 이를 수행하기 위한 기록 매체 및 장치에 관한 것으로서, 더욱 상세하게는 기능자기공명영상(fMRI, functional Magnetic Resonance Imaging) 촬영 시, 피험자가 360° 파노라마 영상을 눈동자의 움직임을 통해 자유롭게 시청할 수 있도록 하여 뇌영상 데이터를 얻도록 하는 프로그램에 관한 것이다.The present invention relates to a method for providing a 360° panoramic video based on real-time field change tracking in an MRI environment, a recording medium and an apparatus for performing the same, and more particularly, to a functional magnetic resonance imaging (fMRI) when a subject is taken It relates to a program to obtain brain image data by allowing users to freely view 360° panoramic images through eye movement.
현재, 대표적인 뇌의 비침습(non-invasive) 계측 방법 중 데이터의 공간적 분해능이 비교적 높고, 널리 사용되고 있는 것이 기능자기공명영상인 fMRI이다. fMRI는, 뇌의 활성 부위를 특정 가능하게 하는 각종 물리량을 측정량으로서 영상화하는 방법으로, 뇌 기능의 계측에 대해서 유효한 방법이다. Currently, among the representative non-invasive measurement methods of the brain, the spatial resolution of data is relatively high, and fMRI, a functional magnetic resonance imaging, is widely used. fMRI is a method of imaging various physical quantities that enable identification of active regions of the brain as measurands, and is an effective method for measurement of brain functions.
fMRI는, 뇌의 구조를 이미지화하는 해부 MRI의 원리와 동일하게, 생체 내 조직의 프로톤(protons) 밀도나 세로 완화 시간 T1, 가로 완화 시간 T2를 반영하는 것이지만, 뇌의 활성 부위에서의 혈류량의 증가를 파악하는 점에 특징이 있다. Similar to the principle of anatomical MRI that images brain structures, fMRI reflects the proton density, longitudinal relaxation time T1, and transverse relaxation time T2 of in vivo tissues, but increases blood flow in the active region of the brain It is characterized by the fact that
뇌의 활성 부위에서는 국소적으로 혈류량이 증가하는 것이 알려져 있고, 혈중 산소농도(blood-oxygenation-level-dependent, BOLD)가 증가하게 된다. 따라서 fMRI를 이용하면, 피험자가 어떤 과제를 행하고 있을 때의 BOLD 신호의 변화를 근거로 하여, 해당 과제에 관련된 뇌 기능 영역을 특정할 수 있다.It is known that blood flow increases locally in the active region of the brain, and blood oxygenation level (blood-oxygenation-level-dependent, BOLD) increases. Therefore, by using fMRI, based on the change in the BOLD signal when the subject is performing a certain task, the brain functional region related to the task can be specified.
그러나, 자기공명장치 촬영에 있어 많은 제한적인 요소가 존재한다. 또한, 피험자는 촬영 중 머리의 움직임을 최소화해야 하므로 시각 자극 관점에서는 종래의 fMRI 실험은 정지된 영상(사진 및 그림) 혹은 보통의 2-차원(Dimension) 영상을 이용한 실험이 대부분인 한계가 존재한다.However, there are many limiting factors in imaging with a magnetic resonance scanner. In addition, since the subject has to minimize the movement of the head during the photographing, from the viewpoint of visual stimulation, the conventional fMRI experiment has a limitation in that most of the experiments using still images (photos and drawings) or normal two-dimensional (Dimension) images exist.
이에, 본 발명의 기술적 과제는 이러한 점에서 착안된 것으로 본 발명의 목적은 MRI 환경에서 실시간 시야 변화 추적 기반 360° 파노라마 비디오 제공 방법을 제공하는 것이다.Accordingly, it is an object of the present invention to provide a 360° panoramic video providing method based on real-time visual field change tracking in an MRI environment.
본 발명의 다른 목적은 상기 MRI 환경에서 실시간 시야 변화 추적 기반 360° 파노라마 비디오 제공 방법을 수행하기 위한 컴퓨터 프로그램이 기록된 기록 매체를 제공하는 것이다.Another object of the present invention is to provide a recording medium in which a computer program is recorded for performing a 360° panoramic video providing method based on real-time visual field change tracking in the MRI environment.
본 발명의 또 다른 목적은 상기 MRI 환경에서 실시간 시야 변화 추적 기반 360° 파노라마 비디오 제공 방법을 수행하기 위한 장치를 제공하는 것이다.Another object of the present invention is to provide an apparatus for performing a 360° panoramic video providing method based on real-time field change tracking in the MRI environment.
상기한 본 발명의 목적을 실현하기 위한 일 실시예에 따른 MRI 환경에서 실시간 시야 변화 추적 기반 360° 파노라마 비디오 제공 방법은, 기능자기공명영상(이하, fMRI) 촬영 전에 피험자가 보고자 하는 시야에 따라 움직일 수 있도록 눈동자 조정(Calibration)을 진행하는 단계; fMRI 촬영 중 피험자에게 360° 파노라마 비디오 클립을 제공하여 피험자의 눈동자 움직임을 시선 추적(eye-tracking)하는 단계; 시선 추적 정보를 기록한 시야 데이터를 자바스크립트(JavaScript)로 TCP/IP 통신을 통해 서버로 전달하는 단계; 및 전달받은 시야 데이터를 360° 파노라마 비디오 클립에 적용하여 영상의 시점(viewpoint) 조작을 제어하는 단계;를 포함한다.The 360° panoramic video providing method based on real-time field of view change tracking in an MRI environment according to an embodiment for realizing the above object of the present invention is to move according to the field of view that the subject wants to see before taking functional magnetic resonance imaging (hereinafter, fMRI). performing a pupil adjustment (Calibration) to make it possible; providing a 360° panoramic video clip to the subject during fMRI imaging to eye-track the subject's pupil movement; Transmitting the visual field data in which the gaze tracking information is recorded to a server through TCP/IP communication in JavaScript (JavaScript); and applying the received viewing data to the 360° panoramic video clip to control the manipulation of the viewpoint of the image.
본 발명의 실시예에서, 상기 영상의 시점(viewpoint) 조작을 제어하는 단계는, 현재의 고도 방향인 위 조작 방향 및 아래 조작 방향의 수치를 추적하는 단계; 및 현재의 고도가 최고 고도 높이 및 최저 고도 높이인 경우, 고도 방향으로의 시점 조작을 중지하는 단계;를 포함할 수 있다.In an embodiment of the present invention, the step of controlling the manipulation of the viewpoint of the image includes: tracking the numerical values of the upper manipulation direction and the lower manipulation direction, which are the current elevation directions; and when the current altitude is the highest elevation height and the lowest elevation height, stopping manipulation of the viewpoint in the elevation direction; may include.
본 발명의 실시예에서, 상기 영상의 시점(viewpoint) 조작을 제어하는 단계는, 좌우 방향으로의 시점 조작은 정상적으로 실행하는 단계;를 더 포함할 수 있다.In an embodiment of the present invention, the controlling of the manipulation of the viewpoint of the image may further include normally executing the manipulation of the viewpoint in the left and right directions.
본 발명의 실시예에서, 상기 최고 고도 높이 및 최저 고도 높이는 각각 +/-90 도로 설정할 수 있다.In an embodiment of the present invention, the highest elevation height and the lowest elevation height may be set to +/-90 degrees, respectively.
본 발명의 실시예에서, 상기 피험자의 눈동자 움직임을 시선 추적(eye-tracking)하는 단계는, 시선 추적 소프트웨어에서 시선 추적을 통해 피험자의 눈동자 움직임을 인식하는 단계; 및 인식한 피험자의 눈동자 움직임을 커서 움직임으로 변환하는 단계;를 포함할 수 있다.In an embodiment of the present invention, the step of eye-tracking the eye movement of the subject may include: recognizing the eye movement of the subject through eye tracking in eye tracking software; and converting the recognized eye movement of the subject into a cursor movement.
본 발명의 실시예에서, 상기 TCP/IP 통신을 통해 서버로 전달하는 단계는, 마우스 커서 좌표 취득 페이지에서 자바스크립트를 이용하여 시선에 따라 움직이는 마우스 커서의 좌표를 읽어들이는 단계; 및 읽어들인 마우스 커서의 좌표를 웹소켓을 통해 주기적으로 서버 스크립트로 전송하는 단계;를 포함할 수 있다.In an embodiment of the present invention, the step of transmitting to the server through TCP/IP communication includes: reading the coordinates of the mouse cursor moving according to the gaze using JavaScript in the mouse cursor coordinate acquisition page; and periodically transmitting the read coordinates of the mouse cursor to the server script through the websocket.
본 발명의 실시예에서, 상기 영상의 시점(viewpoint) 조작을 제어하는 단계는, 서버 스크립트에서 전달받은 커서 x, y 좌표를 화면 가운데 지점을 중심으로 하는 좌표로 변환하는 단계; 변환된 좌표에서 x축 성분과 y축 성분은 각각 (스크린 너비/2)와 (스크린 높이/2)로 나누어 -1 과 1 사이의 값으로 정규화하는 단계; 및 정규화된 x축 성분과 y축 성분을 영상에서 시점을 조작할 때 한 스텝(step) 당 이동하는 각도의 배율로 제공하는 단계;를 포함할 수 있다.In an embodiment of the present invention, the controlling of the manipulation of the viewpoint of the image comprises: converting the cursor x, y coordinates received from the server script into coordinates centered on the center point of the screen; dividing the x-axis component and the y-axis component in the transformed coordinates by (screen width/2) and (screen height/2), respectively, and normalizing them to values between -1 and 1; and providing the normalized x-axis component and the y-axis component as a magnification of a moving angle per one step when manipulating a viewpoint in the image.
본 발명의 실시예에서, 상기 영상의 시점(viewpoint) 조작을 제어하는 단계는, 화면 중심을 기준으로 정규화된 x축 성분과 y축 성분을 사용하여, 피험자가 중심에서 더 멀리 있는 지점으로 시선을 이동할수록 해당 방향으로 시점 이동이 빠르게 진행되어 피험자의 시점 이동을 유도할 수 있다.In an embodiment of the present invention, the step of controlling the manipulation of the viewpoint of the image uses the x-axis component and the y-axis component normalized with respect to the center of the screen, so that the subject's gaze is directed to a point further away from the center. As the movement progresses, the viewpoint movement in the corresponding direction is rapidly progressed, so that the viewpoint movement of the subject can be induced.
본 발명의 실시예에서, 상기 영상의 시점(viewpoint) 조작을 제어하는 단계는, 정규화된 x 축 성분과 y축 성분에 일정한 상수를 곱하여 최종적인 각도 업데이트 값을 생성하는 단계; 및 상기 각도 업데이트 값을 포함하는 시점 이동 명령을 웹소켓을 통해 영상 재생 페이지로 전달하는 단계;를 포함할 수 있다.In an embodiment of the present invention, controlling the viewpoint manipulation of the image includes: generating a final angle update value by multiplying a normalized x-axis component and a y-axis component by a constant constant; and transmitting a viewpoint moving command including the angle update value to an image playback page through a web socket.
본 발명의 실시예에서, 상기 시점 이동 명령은 A-Frame과 연계하여 계산된 각도 업데이트 값만큼 시점을 변경하고, 일정 횟수 반복하는 명령이 포함되어 점진적으로 시점을 변경할 수 있다.In an embodiment of the present invention, the command to move the viewpoint changes the viewpoint by the angle update value calculated in connection with the A-Frame, and includes a command to repeat a predetermined number of times to gradually change the viewpoint.
상기한 본 발명의 다른 목적을 실현하기 위한 일 실시예에 따른 컴퓨터로 판독 가능한 저장 매체에는, 상기 MRI 환경에서 실시간 시야 변화 추적 기반 360° 파노라마 비디오 제공 방법을 수행하기 위한 컴퓨터 프로그램이 기록되어 있다. A computer program for performing a 360° panoramic video providing method based on real-time visual field change tracking in the MRI environment is recorded in a computer-readable storage medium according to an embodiment for realizing another object of the present invention.
상기한 본 발명의 또 다른 목적을 실현하기 위한 일 실시예에 따른 MRI 환경에서 실시간 시야 변화 추적 기반 360° 파노라마 비디오 제공 장치는, 기능자기공명영상(이하, fMRI) 촬영 전에 피험자가 보고자 하는 시야에 따라 움직일 수 있도록 눈동자 조정(Calibration)을 진행하는 캘리브레이션부; fMRI 촬영 중 피험자에게 360° 파노라마 비디오 클립을 제공하여 피험자의 눈동자 움직임을 시선 추적(eye-tracking)하는 아이트래킹부; 시선 추적 정보를 기록한 시야 데이터를 자바스크립트(JavaScript)로 TCP/IP 통신을 통해 서버로 전달하는 TCP/IP 통신부; 및 전달받은 시야 데이터를 360° 파노라마 비디오 클립에 적용하여 영상의 시점(viewpoint) 조작을 제어하는 시선 제어부;를 포함한다.The 360° panoramic video providing apparatus based on real-time field of view change tracking in an MRI environment according to an embodiment for realizing another object of the present invention provides a visual field that a subject wants to see before taking functional magnetic resonance imaging (hereinafter, fMRI). a calibration unit that performs pupil adjustment to move along; an eye-tracking unit that provides a 360° panoramic video clip to the subject during fMRI imaging to track eye movement of the subject; A TCP/IP communication unit that transmits eye data recorded with eye tracking information to a server through TCP/IP communication in JavaScript; and a gaze control unit that controls manipulation of a viewpoint of an image by applying the received viewing data to a 360° panoramic video clip.
본 발명의 실시예에서, 상기 시선 제어부는, 현재의 고도 방향인 위 조작 방향 및 아래 조작 방향의 수치를 추적하여, 현재의 고도가 최고 고도 높이 및 최저 고도 높이인 경우, 고도 방향으로의 시점 조작을 중지할 수 있다.In an embodiment of the present invention, the gaze control unit tracks the numerical values of the up manipulation direction and the down manipulation direction, which are the current elevation directions, and when the current altitude is the highest elevation height and the lowest elevation height, the viewpoint manipulation in the elevation direction can be stopped
본 발명의 실시예에서, 상기 시선 제어부는, 피험자의 시선에 따라 움직이는 마우스 커서의 좌표를 x, y 좌표로 변환하여 정규화하고, 정규화된 x 축 성분과 y축 성분을 기초로 계산되는 각도 업데이트 값을 포함하여 점진적으로 시점을 변경하도록 하는 시점 이동 명령을 생성할 수 있다.In an embodiment of the present invention, the gaze control unit converts and normalizes the coordinates of the mouse cursor moving according to the subject's gaze into x and y coordinates, and an angle update value calculated based on the normalized x-axis component and the y-axis component It is possible to generate a viewpoint movement command to change the viewpoint gradually, including
이와 같은 MRI 환경에서 실시간 시야 변화 추적 기반 360° 파노라마 비디오 제공 방법에 따르면, 기능자기공명영상(fMRI, functional Magnetic Resonance Imaging) 촬영 시, 피험자가 360° 파노라마 영상을 눈동자의 움직임을 통해 자유롭게 시청할 수 있도록 하여 뇌영상 데이터를 얻도록 한다. 또한, JavaScript와 Node.JS를 기반으로 피험자에게 시각 정보 자극 영상(360도 시야로 회전이 가능한 영상)을 줄 수 있는 환경을 구축한다. According to the method of providing 360° panoramic video based on real-time field change tracking in such an MRI environment, when taking functional magnetic resonance imaging (fMRI), the subject can freely view the 360° panoramic image through the movement of the pupil. to obtain brain image data. In addition, based on JavaScript and Node.JS, an environment that can give visual information stimulation images (images that can be rotated in a 360-degree field of view) to the subject is built.
이를 위해 TCP/IP 통신을 이용하여 피험자의 시선 추적(eye-tracking) 정보를 공유하므로 그에 상응하는 위치로 자극 영상이 이동하게 된다. 이를 통해, 360° 파노라마 영상 시청시 해당 조건에서 반응하는 뇌영역의 활성도를 추정할 수 있다.To this end, since the subject's eye-tracking information is shared using TCP/IP communication, the stimulus image is moved to a corresponding position. Through this, when viewing a 360° panoramic image, the activity of a brain region that responds to the corresponding condition can be estimated.
도 1은 본 발명의 MRI 환경에서 실시간 시야 변화 추적 기반 360° 파노라마 비디오 제공 장치를 포함하는 전체 시스템의 개념도이다.
도 2는 본 발명의 일 실시예에 따른 MRI 환경에서 실시간 시야 변화 추적 기반 360° 파노라마 비디오 제공 장치의 블록도이다.
도 3은 본 발명에 따른 효과를 검증하기 위해 fMRI 데이터 수집 중 제시하는 실험 패러다임의 예시 도면이다.
도 4는 영상 간 획득한 뇌영상 데이터의 독립 표본 T 검정(Two sample t-test)의 값을 representational dissimilarity matrix(RDM) 값으로 재구성하여, 해당 영상 이후 피험자가 매긴 행동 데어터와 상관관계를 비교한 도면이다.
도 5는 fMRI 데이터에서 뉴런 활성화의 RDM 코드를 종속 변수로 사용하고, 실험 조건의 RDM 코드 및 주관적 등급을 독립 변수로 사용하는 2 단계 다중 회귀 접근법에 대한 도면이다.
도 6은 실험 조건의 RDM 코드를 회귀 자로 사용하여 fMRI 측정에서 뉴런 활성화의 RDM 코드를 맞추는 첫 번째 단계의 다중 회귀에서 찾은 관심 영역(ROI)에 대한 예시 도면이다.
도 7은 주관적 등급의 RDM 코드를 회귀 자로 사용하여 두 번째 단계의 다중 회귀에서 세분화된 뇌 영역을 사용하여 첫 번째 단계의 다중 회귀에서 발견된 ROI에서 뉴런 활성화의 RDM 코드에 일치시키는 예시 도면이다.
도 8은 시선 위치 추적을 위한 다운 샘플링된 화면 해상도의 세 가지 시나리오에서 시청 조건 및 비디오 클립의 개체 간 공간 상관(ISSC)의 평균 및 표준 오류가 포함된 막대 그래프이다.
도 9는 본 발명의 일 실시예에 따른 MRI 환경에서 실시간 시야 변화 추적 기반 360° 파노라마 비디오 제공 방법의 흐름도이다.1 is a conceptual diagram of an entire system including an apparatus for providing a 360° panoramic video based on real-time field change tracking in an MRI environment of the present invention.
2 is a block diagram of an apparatus for providing a 360° panoramic video based on real-time view change tracking in an MRI environment according to an embodiment of the present invention.
3 is an exemplary diagram of an experimental paradigm presented during fMRI data collection to verify the effect according to the present invention.
Figure 4 is a comparison of the correlation with the behavioral data rated by the subject after the image by reconstructing the value of the two sample t-test of the brain image data obtained between the images into a representational dissimilarity matrix (RDM) value. It is a drawing.
5 is a diagram of a two-step multiple regression approach using the RDM code of neuronal activation as a dependent variable in fMRI data, and the RDM code and subjective rating of an experimental condition as independent variables.
6 is an exemplary diagram of a region of interest (ROI) found in multiple regression in the first step of fitting the RDM code of neuronal activation in fMRI measurement using the RDM code of the experimental condition as a regressor.
7 is an exemplary diagram of matching RDM codes of neuronal activation in ROIs found in multiple regression in the first stage using subdivided brain regions in multiple regression in the second stage using the RDM code of subjective grade as the regressor.
8 is a bar graph with mean and standard error of inter-object spatial correlation (ISSC) of viewing conditions and video clips in three scenarios of down-sampled screen resolution for eye position tracking.
9 is a flowchart of a 360° panoramic video providing method based on real-time visual field change tracking in an MRI environment according to an embodiment of the present invention.
후술하는 본 발명에 대한 상세한 설명은, 본 발명이 실시될 수 있는 특정 실시예를 예시로서 도시하는 첨부 도면을 참조한다. 이들 실시예는 당업자가 본 발명을 실시할 수 있기에 충분하도록 상세히 설명된다. 본 발명의 다양한 실시예는 서로 다르지만 상호 배타적일 필요는 없음이 이해되어야 한다. 예를 들어, 여기에 기재되어 있는 특정 형상, 구조 및 특성은 일 실시예에 관련하여 본 발명의 정신 및 범위를 벗어나지 않으면서 다른 실시예로 구현될 수 있다. 또한, 각각의 개시된 실시예 내의 개별 구성요소의 위치 또는 배치는 본 발명의 정신 및 범위를 벗어나지 않으면서 변경될 수 있음이 이해되어야 한다. 따라서, 후술하는 상세한 설명은 한정적인 의미로서 취하려는 것이 아니며, 본 발명의 범위는, 적절하게 설명된다면, 그 청구항들이 주장하는 것과 균등한 모든 범위와 더불어 첨부된 청구항에 의해서만 한정된다. 도면에서 유사한 참조부호는 여러 측면에 걸쳐서 동일하거나 유사한 기능을 지칭한다.DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS [0012] DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS [0010] DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS [0010] Reference is made to the accompanying drawings, which show by way of illustration specific embodiments in which the present invention may be practiced. These embodiments are described in sufficient detail to enable those skilled in the art to practice the present invention. It should be understood that the various embodiments of the present invention are different but need not be mutually exclusive. For example, certain shapes, structures, and characteristics described herein with respect to one embodiment may be implemented in other embodiments without departing from the spirit and scope of the invention. In addition, it should be understood that the location or arrangement of individual components within each disclosed embodiment may be changed without departing from the spirit and scope of the present invention. Accordingly, the detailed description set forth below is not intended to be taken in a limiting sense, and the scope of the present invention, if properly described, is limited only by the appended claims, along with all scope equivalents as those claimed. Like reference numerals in the drawings refer to the same or similar functions throughout the various aspects.
이하, 도면들을 참조하여 본 발명의 바람직한 실시예들을 보다 상세하게 설명하기로 한다. Hereinafter, preferred embodiments of the present invention will be described in more detail with reference to the drawings.
도 1은 본 발명의 MRI 환경에서 실시간 시야 변화 추적 기반 360° 파노라마 비디오 제공 장치를 포함하는 전체 시스템의 개념도이다. 도 2는 본 발명의 일 실시예에 따른 MRI 환경에서 실시간 시야 변화 추적 기반 360° 파노라마 비디오 제공 장치의 블록도이다.1 is a conceptual diagram of an entire system including an apparatus for providing a 360° panoramic video based on real-time field change tracking in an MRI environment of the present invention. 2 is a block diagram of an apparatus for providing a 360° panoramic video based on real-time view change tracking in an MRI environment according to an embodiment of the present invention.
본 발명에 따른 MRI 환경에서 실시간 시야 변화 추적 기반 360° 파노라마 비디오 제공 장치(10, 이하 장치)는 종래의 fMRI 실험과는 달리, 피험자들의 시각적인 효과를 극대화하기 위해 시선 추적(eye-tracking) 정보를 TCP/IP를 통해 서버 컴퓨터에 전달하므로 영상의 움직임을 통제할 수 있도록 하여 360° 파노라마 영상에 더욱 몰입할 수 있도록 하는 기술이다.In an MRI environment according to the present invention, the 360° panoramic video providing apparatus (10, hereinafter) based on real-time visual field change tracking provides eye-tracking information to maximize the visual effect of subjects, unlike the conventional fMRI experiment. It is a technology that allows you to be more immersed in the 360° panoramic image by controlling the movement of the image by transmitting it to the server computer through TCP/IP.
도 1을 참조하면, fMRI 시스템(1)은 fMRI 촬영을 위해 MRI 룸(2)에 있는 피험자들은 눈동자 조정(Calibration)을 진행하여 실험 영상을 피험자가 보고자 하는 시야에 따라 움직일 수 있도록 한다.Referring to FIG. 1 , the
피험자는 360° 파노라마 비디오 클립을 보게 되며, 도중에 피험자의 눈동자 움직임은 시선 추적(eye-tracking) 컴퓨터(2)에 기록된다. 기록된 눈동자 움직임은 JavaScript로 TCP/IP 통신을 통해 컴퓨터(6)에 전달된다. 예를 들어, 상기 컴퓨터(6)는 Node.JS를 통해 이루어질 수 있다. The subject sees a 360° panoramic video clip, during which the subject's pupil movements are recorded on an eye-
전달받은 시야 데이터를 360° 파노라마 비디오 클립에 도입하여 영상을 움직인다. 이러한 작업은 해당 영상이 마칠 때까지 지속적으로 이루어진다. 본 발명 관련 코드 및 정보는 GitHub(https://github.com/bsplku/env)에서 공개적으로 이용할 수 있다. 코드와 데이터는 자금 조달 기관, 기관 및 기관 윤리 승인 요건을 준수한다.The received visual field data is introduced into a 360° panoramic video clip to move the image. This operation continues until the video is finished. Code and information related to the present invention are publicly available on GitHub (https://github.com/bsplku/env). Code and data comply with funding agencies, institutional and institutional ethical approval requirements.
도 1을 참조하면, 본 발명에 따른 장치(10)는 캘리브레이션부(110), 아이트래킹부(130), TCP/IP 통신부(150) 및 시선 제어부(170)를 포함한다.Referring to FIG. 1 , an
본 발명의 상기 장치(10)는 MRI 환경에서 실시간 시야 변화 추적 기반 360° 파노라마 비디오 제공하기 위한 소프트웨어(애플리케이션)가 설치되어 실행될 수 있으며, 상기 캘리브레이션부(110), 상기 아이트래킹부(130), 상기 TCP/IP 통신부(150) 및 상기 시선 제어부(170)의 구성은 상기 장치(10)에서 실행되는 상기 MRI 환경에서 실시간 시야 변화 추적 기반 360° 파노라마 비디오 제공하기 위한 소프트웨어에 의해 제어될 수 있다. In the
상기 장치(10)는 별도의 단말이거나 또는 단말의 일부 모듈일 수 있다. 또한, 상기 캘리브레이션부(110), 상기 아이트래킹부(130), 상기 TCP/IP 통신부(150) 및 상기 시선 제어부(170)의 구성은 통합 모듈로 형성되거나, 하나 이상의 모듈로 이루어 질 수 있다. 그러나, 이와 반대로 각 구성은 별도의 모듈로 이루어질 수도 있다.The
상기 장치(10)는 이동성을 갖거나 고정될 수 있다. 상기 장치(10)는, 서버(server) 또는 엔진(engine) 형태일 수 있으며, 디바이스(device), 기구(apparatus), 단말(terminal), UE(user equipment), MS(mobile station), 무선기기(wireless device), 휴대기기(handheld device) 등 다른 용어로 불릴 수 있다. The
상기 장치(10)는 운영체제(Operation System; OS), 즉 시스템을 기반으로 다양한 소프트웨어를 실행하거나 제작할 수 있다. 상기 운영체제는 소프트웨어가 장치의 하드웨어를 사용할 수 있도록 하기 위한 시스템 프로그램으로서, 안드로이드 OS, iOS, 윈도우 모바일 OS, 바다 OS, 심비안 OS, 블랙베리 OS 등 모바일 컴퓨터 운영체제 및 윈도우 계열, 리눅스 계열, 유닉스 계열, MAC, AIX, HP-UX 등 컴퓨터 운영체제를 모두 포함할 수 있다.The
상기 캘리브레이션부(110)는 기능자기공명영상(이하, fMRI) 촬영 전에 피험자가 보고자 하는 시야에 따라 움직일 수 있도록 눈동자 조정(Calibration)을 진행한다.The
도 3을 참조하면, 예를 들어, 각 fMRI 실행 전에 48초 동안 시선 추적 보정을 수행하여 피험자의 시선이 4 x 4 그리드를 사용하여 화면의 좌표에 올바르게 매핑되었는지 확인할 수 있다. 그런 다음 피험자가 화면의 원하는 위치로 마우스 커서를 자유롭게 이동할 수 있도록 응시 위치를 변경하여 마우스 커서를 화면의 네 모서리 각각으로 이동하도록 요청한다. Referring to FIG. 3 , for example, by performing gaze tracking correction for 48 seconds before each fMRI execution, it can be confirmed whether the subject's gaze is correctly mapped to the coordinates of the screen using a 4 x 4 grid. The subject is then asked to move the mouse cursor to each of the four corners of the screen by changing the gaze position so that the subject is free to move the mouse cursor to the desired location on the screen.
피험자가 원하는대로 마우스 커서를 움직일 수 없다고 보고하면 시선 추적기 보정 프로세스를 반복하고 참가자의 시선 위치가 화면의 좌표에 올바르게 매핑되었는지 확인한다.If the subject reports that they cannot move the mouse cursor as desired, repeat the gaze tracker calibration process and verify that the participant's gaze position is correctly mapped to coordinates on the screen.
도 4는 영상 간 획득한 뇌영상 데이터의 독립 표본 T 검정(Two sample t-test)의 값을 representational dissimilarity matrix(RDM) 값으로 재구성하여, 해당 영상 이후 피험자가 매긴 행동 데어터와 상관관계를 비교한 도면이다.Figure 4 is a comparison of the correlation with the behavioral data rated by the subject after the image by reconstructing the value of the two sample t-test of the brain image data obtained between the images into a representational dissimilarity matrix (RDM) value. It is a drawing.
상기 아이트래킹부(130)는 fMRI 촬영 중 피험자에게 360° 파노라마 비디오 클립을 제공하여 피험자의 눈동자 움직임을 시선 추적(eye-tracking)한다.The
시선 추적 소프트웨어에서 시선 추적을 통해 피험자의 눈동자 움직임을 인식할 수 있고, 인식한 피험자의 눈동자 움직임을 커서 움직임으로 변환한다.The eye tracking software can recognize the subject's eye movement through eye tracking, and convert the recognized subject's eye movement into a cursor movement.
아이트래킹(시선 추적, Eye-tracking)은 시선의 지점, 다시 말해 피험자가 어느 곳을 보고 있는지에 대한 눈의 상대적인 움직임을 측정하는 과정이다. 자기공명장치와 호환 가능한 아이트래커(시선추적기)는 시선의 위치와 시선의 움직임을 측정하는 기기로 의료 영상 시스템, 심리학, 인지 언어학 등에 대한 리서치에 사용되고 있다. 눈의 위치를 인식하는 비디오 이미지 방법이 보편적으로 사용되고 있다.Eye-tracking (eye-tracking) is the process of measuring the relative movement of the eyes with respect to the point of the gaze, that is, where the subject is looking. The eye tracker (eye tracker) compatible with magnetic resonance is a device that measures the position of the gaze and the movement of the gaze, and is used in research on medical imaging systems, psychology, and cognitive linguistics. A video image method for recognizing the position of an eye is commonly used.
일 실시예에서, 상기 fMRI 시스템(1)에서 파노라마 360 도 영상 재생은 오픈소스 WebVR 라이브러리인 A-Frame을 사용할 수 있다. A-Frame 은 내부 API 를 공개하여 라이브러리 외부에서 시점 변경이 가능하기 때문에 시선 움직임에 따라 계산되는 시점 조절 명령으로 시점을 자유롭게 조절할 수 있다. 만약 A-Frame 처럼 시점을 외부에서 바꿀 수 있는 다른 라이브러리가 있다면 코드 수정으로 해당 라이브러리에도 적용할 수 있다. In one embodiment, the panoramic 360-degree image playback in the
상기 TCP/IP 통신부(150)는 시선 추적 정보를 기록한 시야 데이터를 자바스크립트(JavaScript)로 TCP/IP 통신을 통해 서버로 전달한다.The TCP/
이를 위해, 마우스 커서 좌표 취득 페이지에서 자바스크립트를 이용하여 시선에 따라 움직이는 마우스 커서의 좌표를 읽어들이고, 읽어들인 마우스 커서의 좌표를 웹소켓을 통해 주기적으로 서버 스크립트로 전송할 수 있다.To this end, the coordinates of the mouse cursor moving according to the gaze are read using JavaScript on the mouse cursor coordinate acquisition page, and the read coordinates of the mouse cursor can be periodically transmitted to the server script through the websocket.
TCP는 서버와 클라이언트 간에 데이터를 전달하기 위해 만들어진 프로토콜이다. 데이터는 네트워크 선로를 통해 전달되는 과정에서 손실되거나 순서가 뒤바뀌어서 전달될 수 있는데, TCP는 손실을 검색해내서, 이를 교정하고 순서를 재조합 할 수 있도록 해준다. TCP is a protocol designed to pass data between a server and a client. Data may be lost or transmitted out of order in the process of being transmitted through the network line. TCP detects the loss, corrects it, and reorganizes the order.
IP는 컴퓨터와 컴퓨터 간의 혹은 노드(node)와 노드(node) 간의 데이터 패킷을 전송하기 위해서는 각 노드의 주소를 필요로 한다. IP는 4바이트로 이루어진 주소번호를 사용하여서 각각의 노드를 구분하고, 목적지를 찾아가게 된다. 다시 말해, 데이터를 전송하기 전에 데이터 전송을 위한 연결을 만드는 연결지향 프로토콜이다. 이를 IP 주소(Address)라고 하며 Internet Protocol의 줄임말이다. IP requires the address of each node to transmit data packets between a computer and a computer or between a node and a node. IP uses a 4-byte address number to identify each node and find its destination. In other words, it is a connection-oriented protocol that creates a connection for data transmission before sending it. This is called an IP address and is an abbreviation for Internet Protocol.
상기 fMRI 시스템(1)에서 서버와 클라이언트(마우스 커서 좌표 취득 페이지, VR 영상 재생 페이지 등)와의 통신은 LAN 을 이용한 연결과 웹소켓 기술을 사용할 수 있다. 웹소켓을 통해 서버 하나의 엔드포인트(endpoint)만 사용해서 별개의 컴퓨터에서 마우스 커서 좌표를 수신받고, 서버와 함께 재생되는 영상의 시점 조작을 할 수 있도록 서버를 설계할 수 있다.Communication between the server and the client (mouse cursor coordinate acquisition page, VR image playback page, etc.) in the
상기 시선 제어부(170)는 상기 TCP/IP 통신부(150)로부터 전달받은 시야 데이터를 360° 파노라마 비디오 클립에 적용하여 영상의 시점(viewpoint) 조작을 제어한다.The
VR(Virtual Reality, 가상 현실)에서 사용하는 파노라마 360 도 영상은 일반적으로 머리 움직임에 따라 시점(viewpoint)를 조절하는 HMD(Head Mount Display)에서 재생하는 것을 고려해 촬영, 편집된다. 즉, VR 에서 관찰할 수 있는 시점은 머리나 목이 움직일 수 있는 최대 각도의 제약을 받는다.Panoramic 360-degree images used in VR (Virtual Reality) are generally shot and edited in consideration of playback on an HMD (Head Mount Display) that adjusts the viewpoint according to the movement of the head. In other words, the viewpoint that can be observed in VR is limited by the maximum angle that the head or neck can move.
그러나, MRI 안에서 머리 움직임을 최소화 하여 조작할 수 있도록 시선 방향 추적(Eyetracking)을 도입한 본 시스템에서는 머리나 목이 움직일 수 있는 최대 각도를 이용해 시점 제약을 둘 수 없다. 실제로 아무 제약 없이 자유롭게 시점을 조작할 수 있도록 한 상태에서는 사용자가 조작한 시점이 180 도 뒤집히는 상황이 쉽게 발생하였으며, 사용자들은 어지러움과 불쾌감을 느꼈다.However, in this system, which introduces eye tracking so that it can be manipulated with minimal head movement in MRI, it is not possible to limit the viewpoint using the maximum angle that the head or neck can move. In fact, in a state where the viewpoint was freely manipulated without any restrictions, a situation in which the user's manipulated viewpoint was reversed 180 degrees easily occurred, and users felt dizzy and uncomfortable.
따라서, 서버에서 전달받은 시점 조작 명령을 실행할 때 현재의 위/아래 조작방향(고도 방향)의 수치를 추적하여, 현재의 고도가 +/-90 도(최고/최저 고도 높이) 일 때는 고도 방향으로의 시점 조작을 하지 않도록 하여(좌우방향 조작은 정상적으로 실행된다) 머리 움직임에 따라 시점 이동이 제한되는 일반적인 VR 과 비슷한 경험을 할 수 있도록 설계한다.Therefore, when executing the point-in-time manipulation command received from the server, the current up/down manipulation direction (altitude direction) values are tracked, and when the current altitude is +/-90 degrees (highest/lowest altitude height), it is displayed in the altitude direction. It is designed to provide a similar experience to general VR in which the viewpoint movement is limited according to the head movement by not manipulating the viewpoint (left and right direction operation is normally performed).
한편, 사람의 눈은 한 곳을 응시하는 도중에도 응시점 주변의 영역을 향해 단속적으로 움직인다(도약 안구 운동, saccadic eye movement). 이 현상은 실험용 아이트래커(Eyetracker)에서도 반영되어 사용자가 한 곳을 응시하고 있어도 아이트래커에서 출력되는 시선 좌표가 끊임없이 변하게 된다.On the other hand, the human eye intermittently moves toward the area around the gaze point even while gazing at one place (saccadic eye movement). This phenomenon is also reflected in the experimental Eyetracker, and the gaze coordinates output from the eye tracker constantly change even if the user is gazing at one place.
도약 안구 운동 현상 때문에 사용자가 영상의 한 부분을 응시하고 있어도 마우스 커서 좌표를 통해 서버로 입력받은 시선 좌표는 끊임없이 변하고, 서버에서 360 도 영상 재생 페이지로 보내는 시점 조작 명령도 계속해서 변하게 된다. 따라서 풍경 감상 등의 이유로 한 곳을 응시하고 싶은 사용자도 시점이 고정되어 있지 않고 움직이게 된다.Due to the jumping eye movement phenomenon, even if the user is gazing at a part of the image, the gaze coordinates input to the server through the mouse cursor coordinates constantly change, and the viewpoint manipulation commands sent from the server to the 360-degree video playback page also change continuously. Therefore, a user who wants to gaze at a place for reasons such as appreciation of a landscape is not fixed but moves.
본 발명의 상기 fMRI 시스템(1)에서는 마우스 커서 좌표(시선 좌표)를 서버에서 입력받을 때 스크린 중심으로부터 일정 크기의 원 안에 들어오는 좌표는 시점을 이동시키지 않도록 설계하였다. 이렇게 '응시 영역'을 설정하면, 영상에서 한 부분을 응시하고 싶은 사용자들은 시선을 가운데로 유지하면 시점을 이동하지 않고 영상을 감상할 수 있다. 응시 영역의 반지름은 선험적으로 100px 로 설정하였으나, 서버 코드 수정을 통해 피험자에 맞게 수정할 수 있다.In the
본 발명의 상기 fMRI 시스템(1)에서는 시선 이동을 통해 360 도 영상에서 시점을 조작하는 과정은 다음과 같다.In the
먼저 아이트래커 소프트웨어에서 아이트래커를 통해 사용자의 눈동자 움직임을 인식하고, 이를 커서 움직임으로 전환한다. 마우스 커서 좌표 취득 페이지에서는 자바스크립트를 이용해 시선에 따라 움직이는 마우스 커서의 좌표를 읽어들이고 웹소켓을 통해 주기적으로 서버 스크립트로 전송한다. First, the eye tracker software recognizes the user's eye movement through the eye tracker and converts it into a cursor movement. In the mouse cursor coordinate acquisition page, the coordinates of the mouse cursor moving according to the gaze are read using JavaScript and are periodically transmitted to the server script through the websocket.
서버 스크립트에서는 전달받은 커서 x, y 좌표(화면 왼쪽 위를 원점으로 계산되었음)를 화면 가운데 지점을 중심으로 하는 좌표로 변환한다. 변환된 좌표에서 x축 성분과 y축 성분은 각각 (스크린 너비/2)와 (스크린 높이/2)로 나누어 -1 과 1 사이의 값으로 정규화한다. 정규화된 x, y 성분은 영상에서 시점을 조작할 때 한 스텝(step) 당 이동하는 각도의 배율 역할을 한다. In the server script, the received cursor x and y coordinates (calculated as the origin in the upper left corner of the screen) are converted into coordinates centered on the center point of the screen. In the transformed coordinates, the x-axis component and the y-axis component are divided by (screen width/2) and (screen height/2), respectively, and normalized to a value between -1 and 1. The normalized x, y component serves as a magnification of the moving angle per step when manipulating the viewpoint in the image.
본 발명에서는 화면 중심을 기준으로 정규화된 x, y 성분을 사용하였기 때문에 사용자가 중심에서 더 멀리 있는 지점으로 시선을 이동할수록 해당 방향으로 시점 이동이 빠르게 진행되어 사용자의 시점 이동을 도와준다.In the present invention, since the normalized x and y components are used based on the center of the screen, as the user moves his gaze to a point further away from the center, the view moves faster in the corresponding direction, thereby helping the user to move the view.
서버에서 계산된 시점 이동 명령은 웹소켓을 통해 영상 재생 페이지로 전달된다. 전달된 시점 이동 명령에는 정규화된 x, y 성분이 포함되어 있으며, 이 값들은 일정한 상수(예: 0.08)와 곱해져 최종적인 각도 업데이트 값이 된다. 마지막으로 A-Frame과 연계하여 계산된 각도 업데이트 값만큼 시점을 변경하고, 이를 일정 횟수(예: 10 번) 반복한다.The viewpoint movement command calculated by the server is transmitted to the video playback page through the websocket. The transmitted viewpoint movement command includes normalized x and y components, and these values are multiplied by a constant (eg, 0.08) to become the final angle update value. Finally, the viewpoint is changed by the calculated angle update value in connection with A-Frame, and this is repeated a certain number of times (eg, 10 times).
만약, 시점 이동을 작은 각도로, 반복적으로 하지 않으면 시선 좌표가 바뀔 때 마다 시점이 불연속적으로 바뀌게 된다. 이는 눈깜빡임과 단속 안구 운동 등 지속적이고 불규칙적인 눈동자 움직임과 합쳐졌을 시 어지러움을 유발할 수 있고 영상의 몰입도를 낮추게 된다.If the viewpoint movement is not repeated at a small angle, the viewpoint is discontinuously changed whenever the gaze coordinates are changed. When combined with continuous and irregular eye movements such as blinking and saccades of eye movements, it can cause dizziness and lower the immersion of the image.
한번에 미세한 각도로 점진적으로 시점을 변경하면 눈 깜빡임이나 단속 안구 운동 등의 상황에서 시선 좌표의 변화에 시점이 부드럽게 돌아가 사용자의 몰입도를 높여준다.If you change the viewpoint gradually at a small angle at a time, the viewpoint smoothly returns to the change of gaze coordinates in situations such as blinking or saccades of eye movement, increasing the user's immersion.
도 5는 fMRI 데이터에서 뉴런 활성화의 RDM 코드를 종속 변수로 사용하고, 실험 조건의 RDM 코드 및 주관적 등급을 독립 변수로 사용하는 2 단계 다중 회귀 접근법에 대한 도면이다.5 is a diagram of a two-step multiple regression approach using the RDM code of neuron activation as a dependent variable in fMRI data, and the RDM code and subjective rating of an experimental condition as independent variables.
도 6은 실험 조건의 RDM 코드를 회귀 자로 사용하여 fMRI 측정에서 뉴런 활성화의 RDM 코드를 맞추는 첫 번째 단계의 다중 회귀에서 찾은 관심 영역(ROI)에 대한 예시 도면이다.6 is an exemplary diagram of a region of interest (ROI) found in multiple regression in the first step of fitting the RDM code of neuronal activation in fMRI measurement using the RDM code of the experimental condition as a regressor.
도 7은 주관적 등급의 RDM 코드를 회귀 자로 사용하여 두 번째 단계의 다중 회귀에서 세분화된 뇌 영역을 사용하여 첫 번째 단계의 다중 회귀에서 발견된 ROI에서 뉴런 활성화의 RDM 코드에 일치시키는 예시 도면이다.7 is an exemplary diagram of matching RDM codes of neuronal activation in ROIs found in multiple regression in the first stage using subdivided brain regions in multiple regression in the second stage using the RDM code of subjective grade as the regressor.
도 8은 시선 위치 추적을 위한 다운 샘플링된 화면 해상도의 세 가지 시나리오에서 시청 조건 및 비디오 클립의 개체 간 공간 상관(ISSC)의 평균 및 표준 오류가 포함된 막대 그래프이다.8 is a bar graph with mean and standard error of inter-object spatial correlation (ISSC) of viewing conditions and video clips in three scenarios of down-sampled screen resolution for eye position tracking.
현재 가상현실(VR) 기술 및 360° 파노라마 비디오 영상 시청에 대한 관심이 높아짐에 따라 이와 관련된 영상이 뇌에 미치는 혹은 활성화되는 영역에 대한 연구의 중요성이 증대되고 있다. 따라서, 본 발명은 이를 실현하기 위한 프로그램을 구축하고 해당 뇌영상 데이터 획득에 유용하게 활용될 수 있다.Currently, as interest in virtual reality (VR) technology and viewing of 360° panoramic video images increases, the importance of research on the area in which the related images affect or activate the brain is increasing. Therefore, the present invention can be usefully utilized to construct a program for realizing this and obtain the corresponding brain image data.
도 9는 본 발명의 일 실시예에 따른 MRI 환경에서 실시간 시야 변화 추적 기반 360° 파노라마 비디오 제공 방법의 흐름도이다.9 is a flowchart of a 360° panoramic video providing method based on real-time visual field change tracking in an MRI environment according to an embodiment of the present invention.
본 실시예에 따른 MRI 환경에서 실시간 시야 변화 추적 기반 360° 파노라마 비디오 제공 방법은, 도 1의 시스템(1) 및 도 2의 장치(10)와 실질적으로 동일한 구성에서 진행될 수 있다. 따라서, 도 1의 시스템(1) 및 도 2의 장치(10)와 동일한 구성요소는 동일한 도면부호를 부여하고, 반복되는 설명은 생략한다. The 360° panoramic video providing method based on real-time visual field change tracking in the MRI environment according to the present embodiment may be performed in substantially the same configuration as the
또한, 본 실시예에 따른 MRI 환경에서 실시간 시야 변화 추적 기반 360° 파노라마 비디오 제공 방법은 MRI 환경에서 실시간 시야 변화 추적 기반 360° 파노라마 비디오 제공하기 위한 소프트웨어(애플리케이션)에 의해 실행될 수 있다.Also, the method for providing a 360° panoramic video based on real-time field change tracking in an MRI environment according to the present embodiment may be executed by software (application) for providing a 360° panoramic video based on real-time field change tracking based on an MRI environment.
본 발명은 종래의 fMRI 실험과는 달리, 피험자들의 시각적인 효과를 극대화하기 위해 시선 추적(eye-tracking) 정보를 TCP/IP를 통해 서버 컴퓨터에 전달하므로 영상의 움직임을 통제할 수 있도록 하여 360° 파노라마 영상에 더욱 몰입할 수 있도록 하는 기술이다.Unlike the conventional fMRI experiment, the present invention transmits eye-tracking information to the server computer through TCP/IP in order to maximize the visual effect of the subjects, so that the movement of the image can be controlled by 360°. It is a technology that allows you to be more immersed in panoramic images.
도 9를 참조하면, 본 실시예에 따른 MRI 환경에서 실시간 시야 변화 추적 기반 360° 파노라마 비디오 제공 방법은, 기능자기공명영상(이하, fMRI) 촬영 전에 피험자가 보고자 하는 시야에 따라 움직일 수 있도록 눈동자 조정(Calibration)을 진행한다(단계 S10). Referring to FIG. 9 , in the method of providing a 360° panoramic video based on real-time visual field change tracking in an MRI environment according to the present embodiment, the pupil is adjusted so that the subject can move according to the desired field of view before taking functional magnetic resonance imaging (hereinafter, fMRI). (Calibration) is performed (step S10).
예를 들어, 각 fMRI 실행 전에 48초 동안 시선 추적 보정을 수행하여 피험자의 시선이 4 x 4 그리드를 사용하여 화면의 좌표에 올바르게 매핑되었는지 확인할 수 있다. 그런 다음 피험자가 화면의 원하는 위치로 마우스 커서를 자유롭게 이동할 수 있도록 응시 위치를 변경하여 마우스 커서를 화면의 네 모서리 각각으로 이동하도록 요청한다. For example, eye tracking corrections can be performed for 48 s prior to each fMRI run to ensure that the subject's gaze is correctly mapped to coordinates on the screen using a 4 x 4 grid. The subject is then asked to move the mouse cursor to each of the four corners of the screen by changing the gaze position so that the subject is free to move the mouse cursor to the desired location on the screen.
피험자가 원하는대로 마우스 커서를 움직일 수 없다고 보고하면 시선 추적기 보정 프로세스를 반복하고 참가자의 시선 위치가 화면의 좌표에 올바르게 매핑되었는지 확인한다.If the subject reports that they cannot move the mouse cursor as desired, repeat the gaze tracker calibration process and verify that the participant's gaze position is correctly mapped to coordinates on the screen.
fMRI 촬영 중 피험자에게 360° 파노라마 비디오 클립을 제공하여 피험자의 눈동자 움직임을 시선 추적(eye-tracking)한다(단계 S20).During fMRI imaging, a 360° panoramic video clip is provided to the subject to eye-track the subject's pupil movement (step S20).
상기 피험자의 눈동자 움직임을 시선 추적(eye-tracking)하는 단계는, 시선 추적 소프트웨어에서 시선 추적을 통해 피험자의 눈동자 움직임을 인식하고, 인식한 피험자의 눈동자 움직임을 커서 움직임으로 변환할 수 있다.In the step of eye-tracking the pupil movement of the subject, the eye tracking software may recognize the pupil movement of the subject through eye tracking, and convert the recognized pupil movement of the subject into a cursor movement.
아이트래킹(시선 추적, Eye-tracking)은 시선의 지점, 다시 말해 피험자가 어느 곳을 보고 있는지에 대한 눈의 상대적인 움직임을 측정하는 과정이다. 자기공명장치와 호환 가능한 아이트래커(시선추적기)는 시선의 위치와 시선의 움직임을 측정하는 기기로 의료 영상 시스템, 심리학, 인지 언어학 등에 대한 리서치에 사용되고 있다. 눈의 위치를 인식하는 비디오 이미지 방법이 보편적으로 사용되고 있다.Eye-tracking (eye-tracking) is the process of measuring the relative movement of the eyes with respect to the point of the gaze, that is, where the subject is looking. The eye tracker (eye tracker) compatible with magnetic resonance is a device that measures the position of the gaze and the movement of the gaze, and is used in research on medical imaging systems, psychology, and cognitive linguistics. A video image method for recognizing the position of an eye is commonly used.
일 실시예에서, 파노라마 360 도 영상 재생은 오픈소스 WebVR 라이브러리인 A-Frame을 사용할 수 있다. A-Frame 은 내부 API 를 공개하여 라이브러리 외부에서 시점 변경이 가능하기 때문에 시선 움직임에 따라 계산되는 시점 조절 명령으로 시점을 자유롭게 조절할 수 있다. 만약 A-Frame 처럼 시점을 외부에서 바꿀 수 있는 다른 라이브러리가 있다면 코드 수정으로 해당 라이브러리에도 적용할 수 있다. In an embodiment, the panoramic 360-degree video playback may use A-Frame, an open source WebVR library. Since A-Frame discloses its internal API, it is possible to change the viewpoint from outside the library, so the viewpoint can be freely adjusted with the viewpoint adjustment command calculated according to the movement of the gaze. If there is another library that can change the viewpoint from the outside like A-Frame, it can be applied to that library by modifying the code.
시선 추적 정보를 기록한 시야 데이터를 자바스크립트(JavaScript)로 TCP/IP 통신을 통해 서버로 전달한다(단계 S30).The field of view data in which the eye tracking information is recorded is transmitted to the server through TCP/IP communication in JavaScript (step S30).
상기 TCP/IP 통신을 통해 서버로 전달하는 단계는, 마우스 커서 좌표 취득 페이지에서 자바스크립트를 이용하여 시선에 따라 움직이는 마우스 커서의 좌표를 읽어들이고, 읽어들인 마우스 커서의 좌표를 웹소켓을 통해 주기적으로 서버 스크립트로 전송할 수 있다.The step of transmitting to the server through TCP/IP communication is to read the coordinates of the mouse cursor moving according to the gaze using JavaScript on the mouse cursor coordinate acquisition page, and periodically transmit the read coordinates of the mouse cursor through the websocket. It can be sent to a server script.
서버와 클라이언트(마우스 커서 좌표 취득 페이지, VR 영상 재생 페이지 등)와의 통신은 LAN 을 이용한 연결과 웹소켓 기술을 사용할 수 있다. 웹소켓을 통해 서버 하나의 엔드포인트(endpoint)만 사용해서 별개의 컴퓨터에서 마우스 커서 좌표를 수신받고, 서버와 함께 재생되는 영상의 시점 조작을 할 수 있도록 서버를 설계할 수 있다.Communication between the server and the client (mouse cursor coordinates acquisition page, VR video playback page, etc.) can use LAN connection and WebSocket technology. The server can be designed so that it can receive mouse cursor coordinates from a separate computer using only one endpoint of the server through WebSocket and manipulate the viewpoint of the video played with the server.
전달받은 시야 데이터를 360° 파노라마 비디오 클립에 적용하여 영상의 시점(viewpoint) 조작을 제어한다(단계 S40). The received visual field data is applied to the 360° panoramic video clip to control the manipulation of the viewpoint of the image (step S40).
구체적으로, 전달받은 시야 데이터를 360° 파노라마 비디오 클립에 도입하여 영상을 움직인다. 이러한 작업은 해당 영상이 마칠 때까지 지속적으로 이루어진다. 본 발명 관련 코드 및 정보는 GitHub(https://github.com/bsplku/env)에서 공개적으로 이용할 수 있다. 코드와 데이터는 자금 조달 기관, 기관 및 기관 윤리 승인 요건을 준수한다.Specifically, the received visual field data is introduced into a 360° panoramic video clip to move the image. This operation continues until the video is finished. Code and information related to the present invention are publicly available on GitHub (https://github.com/bsplku/env). Code and data comply with funding agencies, institutional and institutional ethical approval requirements.
상기 영상의 시점(viewpoint) 조작을 제어하는 단계는, 현재의 고도 방향인 위 조작 방향 및 아래 조작 방향의 수치를 추적하고, 현재의 고도가 최고 고도 높이 및 최저 고도 높이인 경우, 고도 방향으로의 시점 조작을 중지한다. 이때, 좌우 방향으로의 시점 조작은 정상적으로 실행할 수 있다. 상기 최고 고도 높이 및 최저 고도 높이는 각각 +/-90 도로 설정할 수 있다.The step of controlling the viewpoint manipulation of the image includes tracking the numerical values of the up manipulation direction and the down manipulation direction, which are the current altitude directions, and when the current altitude is the highest elevation height and the lowest elevation height, in the elevation direction Stop the view point operation. At this time, the viewpoint operation in the left and right direction can be normally executed. The highest elevation height and the lowest elevation height may be set to +/-90 degrees, respectively.
상기 영상의 시점(viewpoint) 조작을 제어하는 단계는, 서버 스크립트에서 전달받은 커서 x, y 좌표(화면 왼쪽 위를 원점으로 계산되었음)를 화면 가운데 지점을 중심으로 하는 좌표로 변환하고, 변환된 좌표에서 x축 성분과 y축 성분은 각각 (스크린 너비/2)와 (스크린 높이/2)로 나누어 -1 과 1 사이의 값으로 정규화한다.The step of controlling the viewpoint operation of the image is to convert the cursor x, y coordinates (calculated as the origin at the upper left of the screen) received from the server script into coordinates centered on the center point of the screen, and the converted coordinates In , the x-axis and y-axis components are divided by (screen width/2) and (screen height/2), respectively, and normalized to a value between -1 and 1.
정규화된 x축 성분과 y축 성분을 영상에서 시점을 조작할 때 한 스텝(step) 당 이동하는 각도의 배율로 제공할 수 있다. 이 경우, 화면 중심을 기준으로 정규화된 x축 성분과 y축 성분을 사용하여, 피험자가 중심에서 더 멀리 있는 지점으로 시선을 이동할수록 해당 방향으로 시점 이동이 빠르게 진행되어 피험자의 시점 이동을 유도할 수 있다.The normalized x-axis component and the y-axis component can be provided as a magnification of the moving angle per step when manipulating a viewpoint in an image. In this case, using the x-axis and y-axis components normalized with respect to the center of the screen, as the subject moves their gaze to a point further away from the center, the viewpoint moves faster in that direction to induce the subject's viewpoint movement. can
일 실시예에서, 상기 영상의 시점(viewpoint) 조작을 제어하는 단계는, 정규화된 x 축 성분과 y축 성분에 일정한 상수를 곱하여 최종적인 각도 업데이트 값을 생성한다. 상기 각도 업데이트 값을 포함하는 시점 이동 명령을 웹소켓을 통해 영상 재생 페이지로 전달한다.In an embodiment, the controlling of the viewpoint manipulation of the image generates a final angle update value by multiplying a normalized x-axis component and a y-axis component by a constant constant. A view point movement command including the angle update value is transmitted to the video playback page through the websocket.
상기 시점 이동 명령은 A-Frame과 연계하여 계산된 각도 업데이트 값만큼 시점을 변경하고, 일정 횟수 반복하는 명령이 포함되어 점진적으로 시점을 변경할 수 있다.The viewpoint movement command includes a command to change the viewpoint by the angle update value calculated in connection with the A-Frame and repeat a predetermined number of times, so that the viewpoint can be gradually changed.
만약, 시점 이동을 작은 각도로, 반복적으로 하지 않으면 시선 좌표가 바뀔 때 마다 시점이 불연속적으로 바뀌게 된다. 이는 눈깜빡임과 단속 안구 운동 등 지속적이고 불규칙적인 눈동자 움직임과 합쳐졌을 시 어지러움을 유발할 수 있고 영상의 몰입도를 낮추게 된다.If the viewpoint movement is not repeated at a small angle, the viewpoint is discontinuously changed whenever the gaze coordinates are changed. When combined with continuous and irregular eye movements such as blinking and saccades of eye movements, it can cause dizziness and lower the immersion of the image.
한번에 미세한 각도로 점진적으로 시점을 변경하면 눈 깜빡임이나 단속 안구 운동 등의 상황에서 시선 좌표의 변화에 시점이 부드럽게 돌아가 사용자의 몰입도를 높여준다.If you change the viewpoint gradually at a small angle at a time, the viewpoint smoothly returns to the change of gaze coordinates in situations such as blinking or saccades of eye movement, increasing the user's immersion.
현재 가상현실(VR) 기술 및 360° 파노라마 비디오 영상 시청에 대한 관심이 높아짐에 따라 이와 관련된 영상이 뇌에 미치는 혹은 활성화되는 영역에 대한 연구의 중요성이 증대되고 있다. 따라서, 본 발명은 이를 실현하기 위한 프로그램을 구축하고 해당 뇌영상 데이터 획득에 유용하게 활용될 수 있다.Currently, as interest in virtual reality (VR) technology and viewing of 360° panoramic video images increases, the importance of research on the area in which the related images affect or activate the brain is increasing. Therefore, the present invention can be usefully utilized to construct a program for realizing this and acquire the corresponding brain image data.
이와 같은, MRI 환경에서 실시간 시야 변화 추적 기반 360° 파노라마 비디오 제공 방법은 애플리케이션으로 구현되거나 다양한 컴퓨터 구성요소를 통하여 수행될 수 있는 프로그램 명령어의 형태로 구현되어 컴퓨터 판독 가능한 기록 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능한 기록 매체는 프로그램 명령어, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. Such a 360° panoramic video providing method based on real-time view change tracking in the MRI environment may be implemented as an application or in the form of program instructions that may be executed through various computer components and recorded in a computer-readable recording medium. The computer-readable recording medium may include program instructions, data files, data structures, etc. alone or in combination.
상기 컴퓨터 판독 가능한 기록 매체에 기록되는 프로그램 명령어는 본 발명을 위하여 특별히 설계되고 구성된 것들이거니와 컴퓨터 소프트웨어 분야의 당업자에게 공지되어 사용 가능한 것일 수도 있다. The program instructions recorded in the computer-readable recording medium are specially designed and configured for the present invention, and may be known and available to those skilled in the computer software field.
컴퓨터 판독 가능한 기록 매체의 예에는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM, DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 ROM, RAM, 플래시 메모리 등과 같은 프로그램 명령어를 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. Examples of the computer-readable recording medium include hard disks, magnetic media such as floppy disks and magnetic tapes, optical recording media such as CD-ROMs and DVDs, and magneto-optical media such as floppy disks. media), and hardware devices specially configured to store and execute program instructions, such as ROM, RAM, flash memory, and the like.
프로그램 명령어의 예에는, 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함된다. 상기 하드웨어 장치는 본 발명에 따른 처리를 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.Examples of program instructions include not only machine language codes such as those generated by a compiler, but also high-level language codes that can be executed by a computer using an interpreter or the like. The hardware device may be configured to operate as one or more software modules for carrying out the processing according to the present invention, and vice versa.
이상에서는 실시예들을 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.Although the above has been described with reference to the embodiments, those skilled in the art can variously modify and change the present invention within the scope without departing from the spirit and scope of the present invention described in the claims below You will understand.
본 발명은 MRI 환경 360° 파노라마 비디오 클립을 이용한 실시간 시야 변화 추적 프로그램은 JavaScript와 Node.JS 기반 GUI 환경지원을 통해 시선 추적(eye-tracking) 데이터를 전달받고 적용하는 프로그램으로 뇌영상(Neuroimaging) 개발자들 포함 연구자들 누구나 이용 가능한 제품으로 출시가 가능하다. The present invention is a real-time vision change tracking program using a 360° panoramic video clip in an MRI environment is a program that receives and applies eye-tracking data through JavaScript and Node.JS-based GUI environment support. Neuroimaging developer It can be launched as a product that can be used by anyone including researchers.
또한, 본 발명 기술은 일반적인 정상인 대상으로 분석을 진행함으로써, 과제 패러다임을 수행하는 피험자의 의도와 시선이 머무는 곳이 어디인지 추론이 가능하다. 따라서, 실시간 fMRI 신경귀환법(Neurofeedback) 기술에 적용하기 용이하며 더 성능이 증가된 결과를 추정할 수 있을 것으로 기대된다.In addition, the technology of the present invention is capable of inferring where the intention and gaze of the subject performing the task paradigm stay by conducting the analysis on a general normal subject. Therefore, it is easy to apply to the real-time fMRI neurofeedback technique, and it is expected that the result with increased performance can be estimated.
뿐만 아니라, MR 호환 시청각 기기 개발 관련 제품에 적용 가능할 것으로 기대된다. 본 발명 기술은 시각정보(VR 및 image)를 연구하는 fMRI 데이터를 처리, 분석하는 기업이나 의료기기 회사 등에서 적극적으로 활용될 수 있을 것으로 기대된다.In addition, it is expected to be applicable to products related to the development of MR compatible audiovisual devices. The technology of the present invention is expected to be actively utilized in companies that process and analyze fMRI data that research visual information (VR and images) or medical device companies.
1: fMRI 시스템
10: 실시간 시야 변화 추적 기반 360° 파노라마 비디오 제공 장치
110: 캘리브레이션부
130: 아이트래킹부
150: TCP/IP 통신부
170: 시선 제어부1: fMRI system
10: 360° panoramic video providing device based on real-time visual field change tracking
110: calibration unit
130: eye tracking unit
150: TCP/IP communication unit
170: gaze control
Claims (14)
fMRI 촬영 중 피험자에게 360° 파노라마 비디오 클립을 제공하여 피험자의 눈동자 움직임을 시선 추적(eye-tracking)하는 단계;
시선 추적 정보를 기록한 시야 데이터를 자바스크립트(JavaScript)로 TCP/IP 통신을 통해 서버로 전달하는 단계; 및
전달받은 시야 데이터를 360° 파노라마 비디오 클립에 적용하여 영상의 시점(viewpoint) 조작을 제어하는 단계;를 포함하는, MRI 환경에서 실시간 시야 변화 추적 기반 360° 파노라마 비디오 제공 방법.
Before taking functional magnetic resonance imaging (hereinafter, fMRI), performing pupil calibration so that the subject can move according to the desired field of view;
providing a 360° panoramic video clip to the subject during fMRI imaging to eye-track the subject's pupil movement;
Transmitting the visual field data in which the gaze tracking information is recorded to a server through TCP/IP communication in JavaScript; and
A method of providing a 360° panoramic video based on real-time view change tracking in an MRI environment, comprising the;
현재의 고도 방향인 위 조작 방향 및 아래 조작 방향의 수치를 추적하는 단계; 및
현재의 고도가 최고 고도 높이 및 최저 고도 높이인 경우, 고도 방향으로의 시점 조작을 중지하는 단계;를 포함하는, MRI 환경에서 실시간 시야 변화 추적 기반 360° 파노라마 비디오 제공 방법.
According to claim 1, wherein the step of controlling the view point (viewpoint) manipulation of the image,
tracking the numerical values of the upward manipulation direction and the downward manipulation direction, which are the current elevation directions; and
When the current elevation is the highest elevation height and the lowest elevation elevation, stopping manipulation of the viewpoint in the elevation direction; a method of providing 360° panoramic video based on real-time visual field change tracking in an MRI environment, comprising a.
좌우 방향으로의 시점 조작은 정상적으로 실행하는 단계;를 더 포함하는, MRI 환경에서 실시간 시야 변화 추적 기반 360° 파노라마 비디오 제공 방법.
The method of claim 2, wherein the controlling of the viewpoint operation of the image comprises:
A method of providing 360° panoramic video based on real-time visual field change tracking in an MRI environment, further comprising: normally executing view manipulation in the left and right directions.
상기 최고 고도 높이 및 최저 고도 높이는 각각 +/-90 도인, MRI 환경에서 실시간 시야 변화 추적 기반 360° 파노라마 비디오 제공 방법.
3. The method of claim 2,
The highest elevation height and the lowest elevation height are each +/-90 degrees, and a 360° panoramic video providing method based on real-time visual field change tracking in an MRI environment.
시선 추적 소프트웨어에서 시선 추적을 통해 피험자의 눈동자 움직임을 인식하는 단계; 및
인식한 피험자의 눈동자 움직임을 커서 움직임으로 변환하는 단계;를 포함하는, MRI 환경에서 실시간 시야 변화 추적 기반 360° 파노라마 비디오 제공 방법.
According to claim 1, wherein the step of eye-tracking the eye movement of the subject,
recognizing the subject's eye movement through eye tracking in eye tracking software; and
A method of providing a 360° panoramic video based on real-time visual field change tracking in an MRI environment, comprising the step of converting the recognized subject's pupil movement into a cursor movement.
마우스 커서 좌표 취득 페이지에서 자바스크립트를 이용하여 시선에 따라 움직이는 마우스 커서의 좌표를 읽어들이는 단계; 및
읽어들인 마우스 커서의 좌표를 웹소켓을 통해 주기적으로 서버 스크립트로 전송하는 단계;를 포함하는, MRI 환경에서 실시간 시야 변화 추적 기반 360° 파노라마 비디오 제공 방법.
The method of claim 5, wherein the transmitting to the server through the TCP/IP communication comprises:
Reading the coordinates of the mouse cursor moving according to the gaze using JavaScript on the mouse cursor coordinate acquisition page; and
Transmitting the read coordinates of the mouse cursor to a server script periodically through a websocket; A method of providing 360° panoramic video based on real-time view change tracking in an MRI environment, including.
서버 스크립트에서 전달받은 커서 x, y 좌표를 화면 가운데 지점을 중심으로 하는 좌표로 변환하는 단계;
변환된 좌표에서 x축 성분과 y축 성분은 각각 (스크린 너비/2)와 (스크린 높이/2)로 나누어 -1 과 1 사이의 값으로 정규화하는 단계; 및
정규화된 x축 성분과 y축 성분을 영상에서 시점을 조작할 때 한 스텝(step) 당 이동하는 각도의 배율로 제공하는 단계;를 포함하는, MRI 환경에서 실시간 시야 변화 추적 기반 360° 파노라마 비디오 제공 방법.
The method of claim 6, wherein the controlling of the viewpoint operation of the image comprises:
converting the cursor x, y coordinates received from the server script into coordinates centered on the center point of the screen;
dividing the x-axis component and the y-axis component in the transformed coordinates by (screen width/2) and (screen height/2), respectively, and normalizing them to values between -1 and 1; and
Providing a 360° panoramic video based on real-time field change tracking in an MRI environment, including; providing the normalized x-axis component and y-axis component as a magnification of the moving angle per step when manipulating the viewpoint in the image method.
화면 중심을 기준으로 정규화된 x축 성분과 y축 성분을 사용하여, 피험자가 중심에서 더 멀리 있는 지점으로 시선을 이동할수록 해당 방향으로 시점 이동이 빠르게 진행되어 피험자의 시점 이동을 유도하는, MRI 환경에서 실시간 시야 변화 추적 기반 360° 파노라마 비디오 제공 방법.
The method according to claim 7, wherein the controlling of the viewpoint operation of the image comprises:
An MRI environment that uses the x-axis and y-axis components normalized with respect to the center of the screen, and as the subject moves their gaze to a point farther from the center, the viewpoint moves faster in that direction to induce the subject's viewpoint. How to deliver 360° panoramic video based on real-time field of view change tracking in .
정규화된 x 축 성분과 y축 성분에 일정한 상수를 곱하여 최종적인 각도 업데이트 값을 생성하는 단계; 및
상기 각도 업데이트 값을 포함하는 시점 이동 명령을 웹소켓을 통해 영상 재생 페이지로 전달하는 단계;를 포함하는, MRI 환경에서 실시간 시야 변화 추적 기반 360° 파노라마 비디오 제공 방법.
The method according to claim 8, wherein the controlling of the viewpoint operation of the image comprises:
generating a final angle update value by multiplying the normalized x-axis component and the y-axis component by a constant constant; and
A method of providing 360° panoramic video based on real-time view change tracking in an MRI environment, including; transmitting a viewpoint movement command including the angle update value to an image reproduction page through a web socket.
상기 시점 이동 명령은 A-Frame과 연계하여 계산된 각도 업데이트 값만큼 시점을 변경하고, 일정 횟수 반복하는 명령이 포함되어 점진적으로 시점을 변경하는, MRI 환경에서 실시간 시야 변화 추적 기반 360° 파노라마 비디오 제공 방법.
10. The method of claim 9,
The viewpoint movement command changes the viewpoint by the angle update value calculated in connection with the A-Frame, and includes a command that repeats a certain number of times to gradually change the viewpoint, providing a 360° panoramic video based on real-time viewing change tracking in an MRI environment method.
A computer-readable storage medium in which a computer program is recorded for performing the 360° panoramic video providing method based on real-time field change tracking in the MRI environment according to any one of claims 1 to 10.
fMRI 촬영 중 피험자에게 360° 파노라마 비디오 클립을 제공하여 피험자의 눈동자 움직임을 시선 추적(eye-tracking)하는 아이트래킹부;
시선 추적 정보를 기록한 시야 데이터를 자바스크립트(JavaScript)로 TCP/IP 통신을 통해 서버로 전달하는 TCP/IP 통신부; 및
전달받은 시야 데이터를 360° 파노라마 비디오 클립에 적용하여 영상의 시점(viewpoint) 조작을 제어하는 시선 제어부;를 포함하는, MRI 환경에서 실시간 시야 변화 추적 기반 360° 파노라마 비디오 제공 장치.
a calibration unit that performs pupil calibration so that the subject can move according to the field of view he wants to see before taking functional magnetic resonance imaging (hereinafter, fMRI);
an eye-tracking unit that provides a 360° panoramic video clip to the subject during fMRI imaging to track eye movement of the subject;
a TCP/IP communication unit that transmits eye data recorded with eye tracking information to a server through TCP/IP communication in JavaScript; and
A 360° panoramic video providing device based on real-time view change tracking in an MRI environment, including; a gaze control unit that controls the manipulation of a viewpoint of an image by applying the received field of view data to a 360° panoramic video clip.
현재의 고도 방향인 위 조작 방향 및 아래 조작 방향의 수치를 추적하여, 현재의 고도가 최고 고도 높이 및 최저 고도 높이인 경우, 고도 방향으로의 시점 조작을 중지하는, MRI 환경에서 실시간 시야 변화 추적 기반 360° 파노라마 비디오 제공 장치.
The method of claim 12, wherein the gaze control unit,
Based on real-time visual field change tracking in the MRI environment, which tracks the numerical values of the current elevation direction, the upward and downward manipulations, and stops manipulating the viewpoint in the elevation direction when the current altitude is the highest and lowest elevations. 360° panoramic video delivery device.
피험자의 시선에 따라 움직이는 마우스 커서의 좌표를 x, y 좌표로 변환하여 정규화하고, 정규화된 x 축 성분과 y축 성분을 기초로 계산되는 각도 업데이트 값을 포함하여 점진적으로 시점을 변경하도록 하는 시점 이동 명령을 생성하는, MRI 환경에서 실시간 시야 변화 추적 기반 360° 파노라마 비디오 제공 장치.
The method of claim 12, wherein the gaze control unit,
Viewpoint movement that converts and normalizes the coordinates of the mouse cursor moving according to the subject's gaze into x and y coordinates, and gradually changes the viewpoint including the angle update value calculated based on the normalized x-axis and y-axis components Command-generating 360° panoramic video delivery device based on real-time visual field change tracking in an MRI environment.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020200103507A KR102396519B1 (en) | 2020-08-18 | 2020-08-18 | Method for providing 360° panoramic video based on real-time field-of-view changes with eye-gaze tracking in mri environment, recording medium and device for performing the method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020200103507A KR102396519B1 (en) | 2020-08-18 | 2020-08-18 | Method for providing 360° panoramic video based on real-time field-of-view changes with eye-gaze tracking in mri environment, recording medium and device for performing the method |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20220022390A true KR20220022390A (en) | 2022-02-25 |
| KR102396519B1 KR102396519B1 (en) | 2022-05-11 |
Family
ID=80490064
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020200103507A Active KR102396519B1 (en) | 2020-08-18 | 2020-08-18 | Method for providing 360° panoramic video based on real-time field-of-view changes with eye-gaze tracking in mri environment, recording medium and device for performing the method |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102396519B1 (en) |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101574537B1 (en) * | 2013-08-12 | 2015-12-04 | 삼성전자주식회사 | Method and device for controlling function of magnetic resonance imaging device |
| KR20160090065A (en) * | 2015-01-21 | 2016-07-29 | 동국대학교 산학협력단 | Rehabilitation system based on gaze tracking |
| KR20160135277A (en) | 2014-03-19 | 2016-11-25 | 인튜어티브 서지컬 오퍼레이션즈 인코포레이티드 | Medical devices, systems, and methods using eye gaze tracking |
| KR101950562B1 (en) | 2014-02-25 | 2019-02-20 | 아이베리파이 인크. | Eye gaze tracking |
| KR20190045041A (en) * | 2017-10-23 | 2019-05-02 | 고려대학교 산학협력단 | Method for recogniging user intention by estimating brain signals, and brain-computer interface apparatus based on head mounted display implementing the method |
| KR101984993B1 (en) * | 2018-08-24 | 2019-06-07 | 주식회사 아이피아 | Visual field examination device using personalized marker control |
| KR20190101323A (en) | 2019-08-12 | 2019-08-30 | 엘지전자 주식회사 | Xr device for providing ar mode and vr mode and method for controlling the same |
-
2020
- 2020-08-18 KR KR1020200103507A patent/KR102396519B1/en active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101574537B1 (en) * | 2013-08-12 | 2015-12-04 | 삼성전자주식회사 | Method and device for controlling function of magnetic resonance imaging device |
| KR101950562B1 (en) | 2014-02-25 | 2019-02-20 | 아이베리파이 인크. | Eye gaze tracking |
| KR20160135277A (en) | 2014-03-19 | 2016-11-25 | 인튜어티브 서지컬 오퍼레이션즈 인코포레이티드 | Medical devices, systems, and methods using eye gaze tracking |
| KR20160090065A (en) * | 2015-01-21 | 2016-07-29 | 동국대학교 산학협력단 | Rehabilitation system based on gaze tracking |
| KR20190045041A (en) * | 2017-10-23 | 2019-05-02 | 고려대학교 산학협력단 | Method for recogniging user intention by estimating brain signals, and brain-computer interface apparatus based on head mounted display implementing the method |
| KR101984993B1 (en) * | 2018-08-24 | 2019-06-07 | 주식회사 아이피아 | Visual field examination device using personalized marker control |
| KR20190101323A (en) | 2019-08-12 | 2019-08-30 | 엘지전자 주식회사 | Xr device for providing ar mode and vr mode and method for controlling the same |
Also Published As
| Publication number | Publication date |
|---|---|
| KR102396519B1 (en) | 2022-05-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11366517B2 (en) | Human-computer interface using high-speed and accurate tracking of user interactions | |
| US10488925B2 (en) | Display control device, control method thereof, and display control system | |
| Gibaldi et al. | Evaluation of the Tobii EyeX Eye tracking controller and Matlab toolkit for research | |
| US11656693B2 (en) | Multimodal kinematic template matching and regression modeling for ray pointing prediction in virtual reality | |
| JP2023022047A (en) | Blue light adjustment for biometric security | |
| US9264702B2 (en) | Automatic calibration of scene camera for optical see-through head mounted display | |
| Gawne et al. | Responses of primate visual cortical neurons to stimuli presented by flash, saccade, blink, and external darkening | |
| KR101638095B1 (en) | Method for providing user interface through head mount display by using gaze recognition and bio-signal, and device, and computer-readable recording media using the same | |
| Blignaut et al. | Improving the accuracy of video-based eye tracking in real time through post-calibration regression | |
| Yang et al. | Wearable eye-tracking system for synchronized multimodal data acquisition | |
| Essig et al. | A neural network for 3D gaze recording with binocular eye trackers | |
| US10983591B1 (en) | Eye rank | |
| Anderson et al. | Eye tracking in virtual reality | |
| US20250147584A1 (en) | Methods, systems, and related aspects for determining a cognitive load of a sensorized device user | |
| CN113495613A (en) | Eyeball tracking calibration method and device | |
| KR102396519B1 (en) | Method for providing 360° panoramic video based on real-time field-of-view changes with eye-gaze tracking in mri environment, recording medium and device for performing the method | |
| Nasrabadi et al. | Modular streaming pipeline of eye/head tracking data using Tobii Pro Glasses 3 | |
| Nakashima et al. | The whereabouts of visual attention: Involuntary attentional bias toward the default gaze direction | |
| Wu et al. | Parallel programming of saccades during natural scene viewing: Evidence from eye movement positions | |
| US20230418372A1 (en) | Gaze behavior detection | |
| Peters et al. | Modelling user attention for human-agent interaction | |
| KR102730600B1 (en) | Apparatus for display control for eye tracking and method thereof | |
| Stefanov | Webcam-based eye gaze tracking under natural head movement | |
| KR20210035421A (en) | Method for tracking eye of hmd user and hmd for tracking eye of user | |
| Rubow et al. | A dataset of paired head and eye movements during visual tasks in virtual environments |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PA0109 | Patent application |
Patent event code: PA01091R01D Comment text: Patent Application Patent event date: 20200818 |
|
| PA0201 | Request for examination | ||
| PE0902 | Notice of grounds for rejection |
Comment text: Notification of reason for refusal Patent event date: 20211115 Patent event code: PE09021S01D |
|
| PG1501 | Laying open of application | ||
| E701 | Decision to grant or registration of patent right | ||
| PE0701 | Decision of registration |
Patent event code: PE07011S01D Comment text: Decision to Grant Registration Patent event date: 20220426 |
|
| PR0701 | Registration of establishment |
Comment text: Registration of Establishment Patent event date: 20220506 Patent event code: PR07011E01D |
|
| PR1002 | Payment of registration fee |
Payment date: 20220509 End annual number: 3 Start annual number: 1 |
|
| PG1601 | Publication of registration |