KR102732306B1

KR102732306B1 - 자세 제어를 위한 감각계 기여도 추정 장치 및 그 방법

Info

Publication number: KR102732306B1
Application number: KR1020220098627A
Authority: KR
Inventors: 최안렬
Original assignee: 가톨릭관동대학교 산학협력단
Priority date: 2022-08-08
Filing date: 2022-08-08
Publication date: 2024-11-20
Anticipated expiration: 2042-08-08
Also published as: KR20240020502A

Abstract

본 발명의 자세 제어를 위한 감각계 기여도를 추정하는 방법에 있어서, 사용자의 동작에 따른 COP(Center of pressure) 데이터를 측정하는 COP 데이터 측정부;및 상기 COP 데이터를 수신하고, 수신한 COP 데이터를 인공 지능 모델의 입력으로 하여 감각계 기여도를 추정하는 감각계 기여도 추정부;를 포함하고, 상기 인공 지능 모델은 혼합 분류기와 결합되며, 상기 혼합 분류기는 kNN(k-nearest Neighbor), RF (Random forest) 및 SCM(Support Vector Machine)를 포함하고, 상기 혼합 분류기는 상기 인공 지능 모델의 classification layer를 대체하는 것인 감각계 기여도 추정 장치를 제공한다.

Description

자세 제어를 위한 감각계 기여도 추정 장치 및 그 방법{APPARATUS FOR ESTIMATE CONTRIBUTION OF SENSORY INPUTS FOR POSTURAL CONTROL AND METHOD OF THE SAME}

본 발명은 감각계 기여도 추정 장치에 관한 것으로, 더욱 상세하게는 서있기 자세의 압력 중심 정보를 이용하여 감각계 기여도를 추정할 수 있는 장치 및 그 방법에 관한 것이다.

자세 제어(Postural control)는 임의의 자세 또는 동작에 대해 지지면 내 인체 위치를 유지하거나 복원하는 행위를 의미한다. 올바른 자세 제어는 시각, 체성 및 전정계 입력 신호의 통합을 통하여 유지된다. 시각은 외부 환경과의 정보 피드백을 통하여 자세를 유지하며, 전정계는 머리의 위치와 움직임을 제어해서 자세를 유지한다. 또한, 체성은 신경계에 의한 근육 활성을 조절하여 관절의 안정성을 높이고, 그로 인한 안정된 자세를 유지하도록 도움을 준다. 각 감각계는 독립적으로 자세 변화를 감지하고, 중추 신경계는 시각, 체성 및 전정계의 통합된 입력 신호를 기반으로 적절한 근육을 활성화함으로써 올바른 자세 제어를 수행할 수 있다.

여기서, 중추 신경계는 통합된 시각, 체성 및 전정계 입력 신호를 기반으로 반응하지만, 추가적인 감각계 신호가 통합된다면 보다 정밀하고 적절하게 균형을 유지할 수 있다. 구체적으로, 중추 신경계는 외부 동요에 의한 인지 정확도가 줄어드는 경우, 부정확한 감각 이득은 감소시키고 정확한 감각 양상의 이득을 증가시키는 재보정 과정을 수행한다. 그러나, 실제로 인체는 재보정 과정에서 적절한 자세 제어를 통해 올바른 균형 유지하는 것에 어려움이 존재한다. 따라서, 올바른 자세 제어를 위해서는 각 감각계의 균형 능력치와 입력의 기여 정도를 평가할 수 있는 과정이 필요하다.

한편, 종래에는 자세 제어를 위한 감각계 입력의 기여 정도를 정량적으로 평가하기 위하여 동적 자세 검사 방법의 감각 구성 검사(Sensory organization test; SOT)가 일반적으로 활용됐다. 감각 구성 검사는 균형 능력 검사 방법으로, 각 감각계의 입력을 조작하여 인위적인 감각 재보정 과정을 유도함으로써 자세 제어를 위한 감각계 기여도를 추정하는 방법이다. 즉, 체성 감각계 또는 시각 감각계 중 적어도 하나를 조작하여 인체 전/후 방향의 동요량을 측정하고, 정량화된 자세 제어에 미치는 각 감각계의 기여도를 추정할 수 있다. 또한, 정규화 과정을 통하여 시각, 체성, 전정계 및 시각 의존도에 대한 관능 분석 점수를 산출하고, 자세 제어를 위한 감각계 입력의 기여도를 평가할 수 있다. 이로써, 감각 구성 검사는 고령자, 균형과 관련된 전정계 기능 이상 환자, 다발성경화증 환자 및 파킨슨 환자 등의 초기 자세 제어 평가에 활용될 수 있다.

그러나, 감각 구성 검사의 각 감각계를 개별로 조작하여 균형 능력을 평가하는 것은 자세 제어를 위한 통합된 감각계 기여도를 동시에 평가할 수 없다는 한계점이 존재한다. 또한, 배경벽 및 움직이는 발판을 포함하는 동적 자세 검사기는 큰 사이즈로 공간 활용이 어렵다는 문제가 있다.

또 다른 방법으로, 외부의 인위적인 동요 없이 가만히 서 있는 자세에서 압력 중심 궤적을 분석하여 감각계 기여도를 평가하는 방법이 있다. 압력 중심 궤적은 인체가 균형을 유지하기 위하여 몸체가 어떻게 움직이는 것인지를 반영하는 변수로써, 압력 중심 궤적의 이동 면적 및 속도 등과 같은 시계열 변수를 활용하여 균형 능력을 평가할 수 있다. 이 때, 압력 중심 주파수 대역은 말초 조직에서 획득된 신호를 뇌로 전달하는 각 감각계 서브 컴포넌트(Subcomponent)의 구심성 신경 기능과 관련성이 있다. 따라서, 주파수 변환을 통하여 압력 중심 신호의 각 주파수 밴드에 해당되는 신호의 세기를 추출하고, 이를 활용하여 자세 제어를 위한 감각계 기여도를 분석할 수 있다. 그러나, 각 감각계에 대응되는 주파수 대역이 선행연구마다 오버랩되거나 다르게 제시되어 있다. 즉, 평가자가 설정하는 주파수 대역에 따라서 다르게 표현되어 데이터의 변동성이 크게 발생한다는 문제점이 있다. 따라서, 균형 및 자세 제어를 위한 감각계 입력 기여를 정확히 분류하여 정량화 하는 것에 한계가 있다.

이로써, 다양하고 복잡한 압력 중심 주파수와 감각계의 기여도에 대한 관련성을 파악하여, 감각계의 기여도를 정확하게 추정할 수 있는 기술이 필요한 실정이다.

본 발명이 이루고자 하는 기술적 과제는 상세하게는 서있기 자세의 압력 중심 정보를 이용하여 감각계 기여도를 추정할 수 있는 장치 및 그 방법을 제공하는 것이다.

또한, 본 발명이 이루고자 하는 기술적 과제는 비교적 간단한 구성으로 감각계별 균형을 유지하는데 기여하는 정도를 정확하게 파악할 수 있는 감각계 기여도 추정 장치 및 그 방법을 제공하는 것이다.

또한, 본 발명이 이루고자 하는 기술적 과제는 하이퍼파라미터 및 엔코딩 최적화 과정을 통하여 최적화된 설계 변수를 산출함으로써 인공 지능 모델의 학습 능력을 효과적으로 향상시킬 수 있는 감각계 기여도 추정 장치 및 그 방법을 제공하는 것이다.

또한, 본 발명이 이루고자 하는 기술적 과제는 인공 지능 모델과 혼합 분류기를 결합함으로써 추정된 감각계 기여도의 오분류를 최소화할 수 있는 감각계 기여도 추정 장치 및 그 방법을 제공하는 것이다.

본 발명이 이루고자 하는 기술적 과제는 이상에서 언급한 기술적 과제로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.

상기 기술적 과제를 달성하기 위하여 본 발명의 실시예는, 자세 제어를 위한 감각계 기여도를 추정하는 방법에 있어서, 사용자의 동작에 따른 COP(Center of pressure) 데이터를 측정하는 COP 데이터 측정부;및 상기 COP 데이터를 수신하고, 수신한 COP 데이터를 인공 지능 모델의 입력으로 하여 감각계 기여도를 추정하는 감각계 기여도 추정부;를 포함하고, 상기 인공 지능 모델은 혼합 분류기와 결합되며, 상기 혼합 분류기는 kNN(k-nearest Neighbor), RF (Random forest) 및 SCM(Support Vector Machine)를 포함하고, 상기 혼합 분류기는 상기 인공 지능 모델의 classification layer를 대체하는 것인 감각계 기여도 추정 장치를 제공할 수 있다.

상기 인공 지능 모델은 베이지안 최적화 과정을 수행함으로써 최적화된 하이퍼파라미터와 엔코딩 설계 변수를 산출하고, 최적화된 상기 엔코딩 설계 변수를 기반으로 서브 클래스를 설정하며, 추정된 상기 감각계 기여도를 상기 서브 클래스를 기반으로 분류할 수 있다.

상기 인공 지능 모델은 상기 최적화 과정을 수행하기 위한 목적 함수를 산출하고, 상기 목적 함수는 가만히 서있기 자세에서 실측정된 상기 감각계 기여도와 상기 인공 지능 모델이 추정한 상기 감각계 기여도의 평균 차이이며, 상기 목적 함수가 최소화되는 상기 설계 변수를 획득할 수 있다.

또한, 상기 기술적 과제를 달성하기 위하여 본 발명의 실시예는, 자세 제어를 위한 감각계 기여도를 추정하는 방법에 있어서a) COP 데이터 측정부 회전 여부, 배경벽 회전 여부 및 사용자의 폐안 여부의 따라 설정되는 복수의 조건별로 COP 데이터를 수집하고, 수집된 상기 COP 데이터를 기초로 상기 감각계 기여도를 추출하여 인공 지능 모델을 구축하는 단계; b) 상기 COP 데이터 측정부로부터 COP 데이터를 수신하는 단계; c) 상기 수신한 COP 데이터를 상기 구축된 인공 지능 모델에 입력하는 단계; d) 입력된 상기COP 데이터를 기반으로 상기 복수의 조건별로 대응되는, 상기 감각계 기여도를 추정하고 평가하는 단계를 포함하는 것인 감각계 기여도 추정 방법을 제공할 수 있다.

본 발명의 실시예에 따르면, 사용자가 가만히 서있는 자세에서 획득한 압력 중심 데이터를 기반으로 다양한 설정 조건별 각 각감계의 기여도를 추정할 수 있기 때문에 복잡한 장비와 넓은 실험 공간을 필요로 하지 않는다.

또한, 본 발명의 실시예에 따르면, 균형 동요를 발생시키기 위한 인위적인 조작과 별도의 장비를 필요로 하지 않으므로 관리 인력 없이도 감각계 기여도를 추정할 수 있다.

또한, 본 발명의 실시예에 따르면, 인공 지능 모델의 최적화 과정을 통해 산출된 설계 변수를 기반으로 클래스를 설정함으로써 분류 정확도를 향상시키고 인공 지능 모델의 학습 성능을 극대화할 수 있다.

또한, 본 발명의 실시예에 따르면, 최적의 목적 함수를 추정함으로써 목적 함수의 값이 최소화되는 설계 변수를 획득할 수 있다. 이로써, 인공 지능 모델의 최적화 과정을 효율적으로 수행할 수 있다.

또한, 본 발명의 실시예에 따르면, 인공 지능 모델과 혼합 분류기를 결합시킴으로써 학습 과정에서 발생할 수 있는 오버 피팅의 문제를 해결하고 오분류를 최소화할 수 있다.

도1은 본 발명의 실시예에 따른 감각계 기여도 추정 장치를 도시하는 도면이다.
도2는 본 발명의 실시예에 따른 COP 데이터를 획득하는 것을 도시하는 도면이다.
도3은 본 발명의 실시예에 따른 인공 지능 모델을 구축하는 방법을 도시하는 도면이다.
도4는 본 발명의 실시예에 따른 수집된 COP 데이터를 전처리하는 과정을 도시하는 도면이다.
도5는 본 발명의 실시예에 따른 인공 지능 모델의 아키텍처를 도시하는 도면이다.
도6은 본 발명의 실시예에 따른 인공 지능 모델을 이용하여 감각계 기여도를 추정하는 방법을 도시하는 도면이다.
도7은 본 발명의 실시예에 따른 본 발명의 실시예에 따른 정상인의 감각계 검사에 대한 6가지 조건에서 전/후방 및 내/외측 COP 데이터를 도시하는 도면이다.
도8은 본 발명의 실시예에 따른 정상인의 감각계 검사에 대한 6가지 조건에서 전/후 및 내/외측 COP 데이터의 파워 스펙트럼을 도시하는 도면이다.
도9는 본 발명의 실시예에 따른 출력된 메니에르 환자 및 전정신경염 환자의 감각계 기여도를 도시하는 도면이다.
도10은 본 발명의 실시예에 따른 CNN 인공 지능 모델에서 epoch 단계에 따른 학습 및 검증의 정확도값 및 손실값의 추이를 도시하는 도면이다.
도11은 본 발명의 실시예에 따른 CNN 인공 지능 모델 및 CNN -분류기 혼합 인공 지능 모델의 성능을 혼돈 행렬로 도시한 도면이다.
도12는 본 발명의 실시예에 따른 CNN 인공 지능 모델 및 CNN-분류기 혼합 인공 지능 모델의 최적화 반복을 수행할 시 목적함수(MAE)값의 변화를 도시하는 도면이다.
도13은 본 발명의 실시예에 따른 최적 엔코딩 설계 변수를 적용한 CNN 인공 지능 모델 및 CNN-RF 혼합 인공 지능 모델의 성능을 혼동 행렬로 도시한 도면이다.
도14는 본 발명의 실시예에 따른 CNN 인공 지능 모델, CNN-kNN 혼합 인공 지능 모델, CNN-RF 혼합 인공 지능 모델 및 CNN-SVM혼합 인공 지능 모델에서 엔코딩 설계 변수 유무에 따른 감각계 기여도 차이를 도시하는 도면이다.
도15는 본 발명의 실시예에 따른 CNN-RF 혼합 인공 지능 모델을 이용하여 추정한 감각계 기여도와 실측정된 감각계 기여도를 구체적으로 비교한 것을 도시하는 도면이다.

이하에서는 첨부한 도면을 참조하여 본 발명을 설명하기로 한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며, 따라서 여기에서 설명하는 실시예로 한정되는 것은 아니다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.

명세서 전체에서, 어떤 부분이 다른 부분과 "연결(접속, 접촉, 결합)"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 부재를 사이에 두고 "간접적으로 연결"되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 구비할 수 있다는 것을 의미한다.

본 명세서에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

이하 첨부된 도면을 참고하여 본 발명의 실시예를 상세히 설명하기로 한다.

도1은 본 발명의 실시예에 따른 감각계 기여도 추정 장치를 도시하는 도면이다.

도1을 참조하면, 감각계 기여도 추정 장치(100)는 COP 데이터 측정부(110), 배터리(120), 통신 모듈(130), 마이크로 컨트롤러(MCU: Micro Controller Unit)(140) 및 감각계 기여도 추정부(150)를 포함할 수 있다.

먼저, COP 데이터 측정부(110)는 사용자의 족저면의 하부에 위치하여, 가만히 서있을 시, 좌우 발에 분산되는 COP(Center Of Pressure) 데이터를 검출할 수 있다. COP 데이터는 사용자의 발이 COP 데이터 측정부(110)에 닿는 접촉면 전체 중에 발을 통해 지면에 가해지는 힘의 합력이 작용되는 위치이다.

또한, COP 데이터 측정부(110)는 설정에 따라 고정되거나 회전할 수 있다. 이 때, 사용자는 가만히 서있는 자세를 COP 데이터 측정부(110) 위에서 수행할 수 있다.

배터리(120)는 감각계 기여도 추정 장치(100)에 구비된 구성요소에 전원을 공급할 수 있다.

통신 모듈(130)은 추정된 감각계 기여도를 노트북(T). 스마트폰(P) 등 기기로 송수신할 수 있다. 노트북(T), 스마트폰(P) 등 기기는 감각계 기여도 및 재활 경과 등을 표시할 수 있다.

마이크로 컨트롤러(MCU)(140)는 COP 데이터 측정부(110) 및 통신 모듈(130)을 제어할 수 있다. 일 예로, 마이크로 컨트롤러는 I2C(Inter-Integrated Circuit), SPI(Serial Peripheral Interface), SCI(Serial Communication Interface), ECAN(Enhanced Controller Area Network) 등의 통신 방식을 이용해 COP 데이터 측정부(110)를 제어할 수 있으며, 통신 모듈(130)과 노트북(T), 스마트폰(P) 등 기기 간의 송수신을 제어할 수 있다.

감각계 기여도 추정부(150)는 COP 데이터 측정부(110)로부터 COP 데이터를 수신할 수 있으며, 수신한 COP 데이터를 이용하여 감각계 기여도를 산출할 수 있다.

여기서, 감각계 기여도 추정부(150)는 인공 지능 모델을 저장할 수 있으며, 인공 지능 모델은 COP 데이터를 기반으로 감각계 기여도를 추정할 수 있다. 즉, 감각계 기여도 추정부(150)는 COP 데이터를 기반으로 체성, 시각, 전정계 및 시각 의존도에 대한 기여도를 추정할 수 있다. 체성은 시각이 제거되었을 때 자세 안정성을 의미하며, 시각은 체성의 변화에 따른 자세 안정성을 의미한다. 전정계는 체성과 시각의 변화에 따라 나타나는 자세 안정성을 의미하며, 시각 의존도는 시각에 대한 과도한 의존 정도를 수치화해서 나타낸 것을 의미한다.

인공 지능 모델은 다수의 합성곱 및 서브샘플링(Subsampling) 계층으로 구성되어 자동으로 특징점을 추출하는 인공 지능 모델 CNN(Convolutional Neural Network, 합성곱 신경망)로 구현될 수 있다. CNN은 3차원 데이터의 공간적 정보를 유지한 채 다음 레이어로 보낼 수 있기 때문에, 일반 단층 신경망에 비하여 우수한 성능을 나타낼 수 있다.

또한, 인공 지능 모델은 분류기와 결합됨으로써 성능을 극대화할 수 있다. 일 예로, 분류기는 kNN, SVM 및 RF를 포함할 수 있다. 여기서 kNN(k-nearest Neighbor)는 데이터를 분류하는 알고리즘으로, n차 특징 차원에서 특성이 유사한 데이터끼리 가깝게 분포되어 있다는 사실에 기반한 모델이다. kNN은 비슷한 특성을 가진 데이터는 비슷한 범주에 속하는 경향이 있다는 가정하에 활용될 수 있다. 즉, kNN은 새로운 데이터로부터 거리가 가장 가까운 k개의 기 학습 데이터 선정한 후, k개의 데이터 가운데 가장 빈도 수가 높게 나온 클래스로 분류되는 학습 방법이다. SVM(Support Vector Machine)은 학습 알고리즘으로 decision boundary또는 hyperplane를 정의하여 새로운 데이터가 나타나면 경계선의 어느 쪽에 속하는지를 판단할 수 있다. 또한, RF(랜덤 포레스트, Random forest)는 bootstrap aggregation sampling (배깅, bagging) 기법과 random feature choosing 기법이 합쳐진 대표적인 앙상블 분류기이다. RF는 배깅 기법과 random feature choosing 기법을 혼합하여 여러 개의 의사 결정 트리 (decision tree)로 이루어질 수 있다. 즉, 여러 개의 weak 분류기를 모아서 결합하여 하나의 strong 분류기를 만들어내는 방법이다. 구체적으로, 배깅은 여러 개의 데이터 세트를 중첩되도록 구분하여 복원 및 추출함으로써 동일한 알고리즘을 사용하는 분류기를 생성할 수 있다. 또한, 배깅은 각 분류기에서 도출된 결과를 투표하여, 가장 많은 득표를 획득한 결과를 최종 분류 결과로 선택할 수 있다. 이로써, 추정된 감각계 기여도를 미리 설정된 클래스로 분류할 수 있다.

한편, 노트북(T) 또는 스마트폰(P)과 같은 스마트 장치에 구현되거나, 원격 서버에 구현되어 데이터 통신을 통해 동일한 기능을 수행하는 것도 가능할 수 있다.

도2는 본 발명의 실시예에 따른 COP 데이터를 획득하는 것을 도시하는 도면이다.

도2를 참조하면, COP 데이터 측정부(110)와 배경벽(S)의 설정에 따른 사용자의 COP 데이터를 획득할 수 있다.

예를 들어, 사용자는 COP 데이터 측정부(110) 와 배경벽(S)의 설정에 따른 6가지 조건에서 가만히 서있는 자세를 수행할 수 있다. 이 때, COP 데이터 측정부(110)와 배경벽(S)은 6가지 조건에 따라서 1회에 20초씩, 각 3회 동작할 수 있다.

COP 데이터 측정부(110)는 COP 데이터 측정부(110)와 배경벽(S)은 고정되어 있고 사용자는 눈을 뜬 상태(조건1), COP 데이터 측정부(110)와 배경벽(S)은 고정되어 있고 사용자는 눈을 감은 상태(조건 2), COP 데이터 측정부(110)는 고정되어 있고 배경벽(S)은 상하 회전하고 있는 상황에서 사용자는 눈을 감은 상태(조건 3), 배경벽(S)은 고정되어 있지만 COP 데이터 측정부(110)는 상하 회전하는 상황에서 사용자는 눈을 뜬 상태(조건 4), 배경벽(S)은 고정되어 있고 COP 데이터 측정부(110)는 상하 회전하는 상황에서 사용자는 눈을 감은 상태(조건 5) 및 COP 데이터 측정부(110)와 배경벽(S)이 모두 상하 회전하는 상황에서 사용자는 눈을 뜬 상태(조건 6)에서 COP 데이터를 측정할 수 있다. 여기서, COP 데이터 측정부(110)와 배경벽(S)의 상하 회전량은 COP의 전후 방향 이동량을 기반으로 계산될 수 있다.

또한, 인공 지능 모델 구축부(200)는 COP 데이터 측정부(110)에서 측정된 6가지 조건의 COP 데이터를 수신할 수 있다. 인공 지능 모델 구축부(200)는 수신한 COP 데이터를 인공 지능 모델의 학습 데이터 및 검증 데이터로 사용할 수 있다.

따라서, 조건 2와 조건 5를 기반으로 폐안으로 인한 균형 유지의 체성이나 전정계의 역할을 확인할 수 있으며, 조건 4, 조건 5 및 조건 6으로 체성의 기능을 억제한 시각과 전정계의 역할을 확인할 수 있다. 또한, 조건 3과 조건 6으로 부적절한 각의 영향을 억제할 수 있는지에 대한 것을 확인할 수 있다.

도3은 본 발명의 실시예에 따른 인공 지능 모델을 구축하는 방법을 도시하는 도면이다.

단계(S110)에서, 감각계 기여도 추정 장치는 인공 지능 모델의 입력으로 사용될 COP 데이터를 수집할 수 있다. 도2에서 전술한바와 같이, COP 데이터 측정부와 배경벽의 설정에 따른 6가지 조건에서의 COP 데이터를 수집할 수 있다. 예컨대, COP 데이터 측정부 및 배경벽의 회전 유무와 사용자의 폐안 여부를 설정함으로써 측정된 COP 데이터를 수집할 수 있다.

단계(S120)에서, 감각계 기여도 추정 장치는 수집된 COP 데이터를 기반으로 COP 원시 신호를 도출할 수 있다. 또한, 감각계 기여도 추정 장치는 도출된 COP 신호의 추세선을 제거하고, 추세선이 제거된 COP 신호에 필터를 적용하여 노이즈를 제거할 수 있다. 필터는 4th order Butterworth(버터워스)를 활용하였으며, cut-off frequency(차단 주파수)는 5Hz로 설정하였다.

또한, 감각계 기여도 추정 장치는 랜덤 노이즈를 추가하는 지터링(Jittering)과 원신호의 해상도를 변환하는 풀링(Polling) 기법을 활용하여, COP 데이터를 증강시킬 수 있다. 그리고, 감각계 기여도 추정 장치는 증강된COP 데이터를 주파수 영역으로 변환할 수 있다. 감각계 기여도 추정 장치는 COP 데이터를 시간에 따른 주파수 영역으로 변환함으로써, 각 감각계별로 COP 주파수 대역이 다름으로써 발생하는 불명확성의 문제점을 해결할 수 있다.

단계(S130)에서, 감각계 기여도 추정 장치는 전처리된 데이터를 기초로하여 감각계 기여도를 산출할 수 있다. 즉, 감각계 기여도 추정 장치는 전처리된 COP 데이터를 기반으로 체성, 시각, 전정계 및 시각 의존도에 대한 기여도를 계산하는 것이 가능하다.

단계(S140)에서는, 감각계 기여도 추정 장치는 수집된 COP 데이터와 계산된 감각계 기여도를 이용하여 인공 지능 모델을 설정할 수 있다. 인공 지능 모델 설정의 상세 구성은 도 5를 참조하여 상술하기로 한다.

일 예로, 감각계 기여도 추정 장치는 가만히 서있기 자세에서 추출된 COP 전/후 및 내/외측 방향 신호를 필터링, 데이터 증강, 주파수 변환 및 영상 융합 기법 등을 통하여 인공 지능 모델의 입력값으로 변환할 수 있다. 또한, 감각계 기여도 추정 장치는 감각계 기여도를 인공 지능 모델의 출력값으로 설정할 수 있다. 여기서, 감각계 기여도 추정 장치는 하이퍼파라미터 및 엔코딩(encoding) 최적화 과정을 진행할 수 있다. 일 예로, 감각계 기여도 추정 장치는 최적화 과정을 통해서 최적화된 엔코딩 설계 변수가 적용되도록 서브 클래스를 설정할 수 있다. 즉, 감각계 기여도 추정 장치는 추정된 감각계 기여도를 설정된 서브 클래스에 따라 분류할 수 있다. 이로써, 감각계 기여도 추정 장치는 최적화된 엔코딩 설계 변수를 적용함으로써, 인공 지능 모델의 학습 능력을 효과적으로 향상시킬 수 있다.

단계(S150)에서, 감각계 기여도 추정 장치는 감각계 기여도 추정값을 출력할 수 있다. 여기서, 인공 지능 모델의 학습 결과인 감각계 기여도 추정값을 테스트하기 위하여 감각계 기여도 추정값을 디코딩(decoding)할 수 있다.

단계(S160)에서, 감각계 기여도 추정 장치는 출력된 감각계 기여도 추정값의 정확도를 평가할 수 있다. 일 예로, 인공 지능 모델의 추정된 각 감각계별 기여도와 실측정되어 도출된 감각계 기여도를 비교하여 정확도를 평가할 수 있다.

단계(S170)에서, 감각계 기여도 추정 장치는 인공 지능 모델 최적화 과정을 수행할 수 있다. 감각계 기여도 추정 장치는 최적화 과정을 통하여 목적 함수를 최소화할 수 있다. 여기서, 목적 함수는 인공 지능 모델이 추정한 감각계별 기여도와 실측정되어 도출된 감각계 기여도의 평균 차이다.

또한, 감각계 기여도 추정 장치는 목적 함수를 최소화하기 위한 설계 변수를 산출할 수 있다. 설계 변수는 하이퍼마라미터와 엔코딩 설계 변수를 포함할 수 있다. 일 예로, 감각계 기여도 추정 장치는 최적화된 엔코딩 설계 변수를 기반으로 감각계 기여도를 분류함으로써 인공 지능 모델의 분류 정확도와 인공 지능 모델의 학습 성능을 향상시킬 수 있다.

도4는 본 발명의 실시예에 따른 수집된 COP 데이터를 전처리하는 과정을 도시하는 도면이다.

단계(S121)에서, 감각계 기여도 추정 장치는 수집된 데이터들을 전처리 할 수 있다. 일 예로, 감각계 기여도 추정 장치는 수집된 COP 데이터를 기반으로 COP 원시 신호를 도출할 수 있다. 또한, 감각계 기여도 추정 장치는 도출된 COP 신호의 추세선을 제거하고, 추세선이 제거된 COP 신호에 적용 필터를 적용하여 노이즈를 제거할 수 있다. 필터는 4th order Butterworth(버터워스)를 활용하였으며, 필터에서 통과 대역과 차단 대역의 경계가 되는 주파수인 cut-off frequency(차단 주파수)는 5Hz로 설정하였다. Butterworth는 시간 도메인에서 측정한 결과에 적용되는 필터로, 통과 대역이 편평하고 천이 대역이 완만한 특징을 갖는다. 또한, Butterworth는 필터 차수가 높을수록 천이 대역이 좁아지며 천이가 급격하게 나타난다. 천이 대역은 신호가 통과하는 통과 대역과 신호를 차단하는 저지대역 사이에서 변하는 경계 대역을 의미한다. 즉, 천이 대역이 좁을수록 신호가 보다 차단되고 이상적인 필터에 가까워질 수 있다.

단계(S122)에서, 감각계 기여도 추정 장치는 인공 지능 모델의 학습 성능을 향상시키 위하여 충분한 학습 데이터를 확보하도록 증강 단계를 수행할 수 있다. 일 예로, 감각계 기여도 추정 장치는 랜덤 노이즈를 추가하는 지터링(Jittering)과 원신호의 해상도를 변환하는 풀링(Polling) 기법을 활용하여, COP 데이터를 증강시킬 수 있다.

여기서, 감각계 기여도 추정 장치는 가우시안 노이즈를 단계별로 추가할 수 있다. 일 예로, 감각계 기여도 추정 장치는 노이즈의 정도에 따라 4단계의 인공 신호를 만들어 첨가할 수 있다. 이 때, 감각계 기여도 추정 장치는 백색 가우시안 노이즈를 34db에서 40db까지 각 단계별로 2db씩 증가시킬 수 있다.

또한, 감각계 기여도 추정 장치는 2, 4, 8, 16 데이터를 윈도우(Window)로 설정하고, 각 윈도우 내 최대값을 대표값으로 설정할 수 있다. 일 예로, 1-fold는 COP 원시 데이터와 동일한 양의 지터링 및 풀링 데이터의 개수를 합한 수로 설정될 수 있다. 또한, 2-fold는 1-fold에서 증강한 데이터의 2배, 3-fold는 1-fold에서 증강한 데이터의 3배, 4-fold는 1-fold에서 증강한 데이터의 4배로 설정될 수 있다.

단계(S123)에서, 감각계 기여도 추정 장치는 COP 데이터를 주파수 영역으로 변환할 수 있다. 일 예로, 감각계 기여도 추정 장치는 Fast Fourier Transform (FFT)을 활용하여, 증강된 전/후 및 내/외측 COP 데이터를 주파수 영역으로 변환할 수 있다. FFT는 유한 구간의 정의된 함수를 삼각함수의 합으로 나타낼 수 있는 푸리에 급수를 무한 구간으로 확장하는 것이다. 또한, FFT는 이산 푸리에 변환을 고속 산출하기 위한 알고리즘으로, 푸리에 변환의 근사화를 통하여 연산 속도를 증가시킬 수 있다. 즉, 감각계 기여도 추정 장치는 이산 푸리에 변환에서 반복되는 계산을 제거함으로써 연산 속도를 증가시킬 수 있다.

또한, 시간에 따른 COP 주파수 대역으로 변환된 COP 데이터를 인공 지능 모델을 학습하기 위한 입력 데이터로 사용할 수 있기 때문에, 종래의 각 감각계를 평가하기 위해서 다양하고 복잡한 COP주파수 대역을 필요로 하고, 연구자마다 설정하는 COP 주파수 대역이 다름으로써 발생하는 불명확성의 문제점을 해결할 수 있다.

도5는 본 발명의 실시예에 따른 인공 지능 모델의 아키텍처를 도시하는 도면이다.

감각계 기여도 추정 장치는 전/후 및 내/외측 COP 신호를 2채널의 매트릭스 형태로 변환하는 작업을 수행할 수 있다. 변환된 COP 신호는 1024개로 32 by 32 사이즈의 정사각형 매트릭스에 순차적으로 맵핑될 수 있다. 일 예로, 감각계 기여도 추정 장치는 1부터 32까지의 COP 신호를 매트릭스의 1번째 열에 넣은 후, 33부터 64까지의 COP 신호를 2번째 열에 넣는 방식으로 32번째 열까지 넣을 수 있다. 또한, 감각계 기여도 추정 장치는 매트릭스에 맵핑된 COP 신호를 CNN 아키텍쳐의 입력 레이어 사이즈에 맞추기 위하여 224 by 224로 리사이징할 수 있다. 감각계 기여도 추정 장치는 각 매트릭스를 영상으로 변환하기 위하여 전체 요소의 최대값으로 정규화하는 과정을 수행하였으며, pseudo 코드 기반으로 3채널 영상으로 변환할 수 있다. 3개의 채널을 입력으로 사용하는 ResNet 아키텍쳐 특성을 고려하여, 전/후 및 내/외측 방향의 영상은 fusion을 통하여 통합될 수 있다. 일 예로, 감각계 기여도 추정 장치는 2개 이상의 영상으로부터 주요 특징을 보존하면서 통합할 수 있는 Wavelet decomposition을 활용할 수 있다. 이로써, 224 (height) by 224 (width) by 3 (channel)의 영상이 인공 지능 모델의 입력될 수 있다.

한편, ResNet은 CNN 인공 지능 모델의 하나로, 일반적으로 컨볼루션 레이어, 풀링 레이어, 완전 연결 레이어 (Fully connected layer) 로 구성된다. CNN은 특징을 추출하고 학습을 통해 데이터들을 특정 클래스로 분류할 수 있다. 또한, ResNet 아키텍처는 레이어간의 연결이 연속된 것뿐만 아니라 중간을 뛰어넘어 입력 데이터를 그대로 전달하는 Skip connnection을 할 수 있다. 즉, ResNet은 Skip connnection을 적용하여 서로 떨어져 있는 층과의 연결을 허용할 수 있다. 따라서, 이와 같은 방법은 입력과 출력이 같도록 학습함으로써, 잔차를 최소화할 수 있고, 연산이 비교적 간단하기 때문에 빠르게 학습할 수 있다는 효과가 존재한다.

일 예로, 도5에 도시된 바와 같이, 잔차 블록 함수 F에 대하여 1x1 컨볼루션 레이어, 3x1컨볼루션 레이어 및 1x1 컨볼루션 레이어로 구성된 3개의 레이어가 stack될 수 있다. 첫 번째 1x1 컨볼루션 레이어는 [1x1,64] 블록이며 일반적인 컨볼루션 레이어의 형태인 컨볼루션, 배치 정규화(batch normalization) 및 relu 함수를 포함할 수 있다. 컨볼루션 레이어는 다양한 필터 사이즈, 스트라이드(stride), 패딩(padding) 등을 활용하여 특징을 추출할 수 있으며, 이를 활성 지도(Activation Map)로 정의할 수 있다. 여기서, 스트라이드는 입력 데이터에 컨볼루션 필터를 적용할 때의 지정된 간격이다. 또한, 패딩은 컨볼루션 필터를 적용하여 컨볼루션 연상 수행 시 출력 데이터가 입력 데이터 대비 계속적으로 작아지는 것을 막기 위하여 사용될 수 있다. 활성 지도는 컨볼루션 레이어의 출력 데이터이며, 활성 지도의 폭(은 이며, 활성 지도의 높이()는 로 계산할 수 있다. 여기서, Pw와 PH는 입력 데이터의 폭과 높이, Qw와 QH는 필터 폭과 높이, Sw와 SH는 출력 데이터의 폭과 높이, μ는 stride 사이즈, 그리고 ß는 마진 값으로 정의될 수 있다. 여기서, 컨볼루션 레이어에서 다음 컨볼루션 레이어에 전달할 때 비선형 함수인 leaky ReLU를 적용할 수 있다. 이는, 기본 선형 특성을 나타내는 레이어에 비선형을 증가시켜 줄 수 있기 때문에, 입력 값이 음수인 경우에는 0으로, 양수인 경우에는 입력 값을 그대로 출력할 수 있다. 또한, leaky ReLU(x)는 로 산출할 수 있다.

한편, 두번째 컨볼루션 레이어는 [3x3, 64]로 구성되어 있으며 앞서 언급한 1x1 컨볼루션 레이어와 동일한 구조일 수 있다. 첫번째 컨볼루션 필터의 사이즈는 1이고, 두번째 컨볼루션 필터의 사이즈는 3로 설정될 수 있다.

세번째 컨볼루션 레이어는 첫번째 컨볼루션 레이어와 동일한 [1X1, 64] 블록으로 구성되어 있으며, 3개의 컨볼루션 레이어를 통과하는 값과 shortcut의 값을 합하여 다음 블록으로 전달할 수 있다.

또한, 인공 지능 모델은 총 50개의 레이어를 가지고 있으며, 5개의 컨볼루션 청크(Convolution chunk)로 구성될 수 있다. 첫번째 컨볼루션 청크(이하, 컨볼루션1)은 잔차 블록에 포함되지 않으며, 7X7 필터 사이즈의 컨볼루션 레이어가 포함될 수 있다. 두번째 컨볼루션 청크(이하, 컨볼루션 2)는 3개의 잔차 블록을 포함하며, 세번째 컨볼루션 청크(이하, 컨볼루션3)는 4개의 잔차 블록을 포함할 수 있다. 또한, 네번째 컨볼루션 청크(이하, 컨볼루션4)는 6개의 잔차 블록을 포함하고, 다섯번째 컨볼루션 청크(이하, 컨볼루션 5)는 3개의 잔차 블록을 포함할 수 있다.

풀링 레이어는 컨볼루션 5 다음에 위치할 수 있으며, 공간을 축소함으로써 오버피팅이 발생하는 것을 방지할 수 있다. 오버피팅은 인공 지능 모델이 학습 데이터만 최적화되어 학습 데이터 정확도가 높지만, 새로 입력 받는 검증 데이터의 정확도가 낮아지는 현상이다. 인공 지능 모델은 오버 피팅이 발생하는 것을 감소시키기 위하여 평균 풀링(Average pooling) 방식이 적용되며, 대상 영역의 평균값을 구함으로써 공간을 축소할 수 있다. 또한, 인공 지능 모델은 평균 풀링 방식을 적용함으로써, 입력 벡터의 값들 중 특정 값만 유지하고 나머지 값은 제거하여 특징을 강화할 수 있다.

또한, 완전 연결 레이어(Fully connected layer)는 1차원 배열의 형태로 평탄화된 행렬을 통해 분류를 결정하는 레이어로, 출력을 부호화하기 위한 클래스를 설정할 수 있다. 소프트 맥스(Soft Max)는 입력 데이터를 복수의 클래스로 분류하는데 쓰일 수 있으며, 분류하고 싶은 클래스의 수만큼 출력으로 구성하는 것이 가능하다. 또한, 소프트 맥스는 출력의 총합이 1이 되도록, 입력 데이터가 각 클래스에 대응되는 확률을 0과 1사이의 실수로 출력할 수 있다. 따라서, 소프트 맥스를 이용하여 클래스에 대응되는 확률을 출력할 수 있다. 소프트 맥스에 적용한 비용 함수는 다중 클래스(multi class) 분류 모델에 사용되는 다중 분류 손실(sparse categorical crossentropy) 함수이다. 또한, 모델의 학습 시간을 감소하기 위하여 전체 데이터를 n등분하여 각각의 학습 데이터를 배치(batch) 방식으로 훈련하는 방법인 미니 배치 확률적 경사 하강법 (mini-batch-stochastic gradient descent)을 적용하였다. 미니 배치 확률적 경사 하강법은 훈련세트에서 랜덤하게 여러 개의 샘플을 골라 훈련을 하고, 전체 샘플을 모두 사용할 때까지 계속해서 훈련을 하는 방법이다. 또한, 미니 배치 확률적 경사 하강법은 훈련 세트를 모두 사용했을 경우, 훈련 세트에 모든 샘플을 다시 채워 넣고 손실을 최소화하는 곳에 도달할 때까지 계속 내려가며 다시 훈련하는 것이다.

한편, 분류기(classifer)는 kNN, RF 및 SCM을 포함할 수 있으며, 일반적인 CNN 인공 지능 모델의 classification layer를 대체할 수 있다. 따라서, 완전 연결 레이어의 값은 활성화 함수에 의해 변환될 수 있다. 여기서, 완전 레이어의 값(act)는 로 계산될 수 있다. m은 해당 레이어의 output element 개수이며 n 은 시퀀스의 수이고, s는 시퀀스의 길이이다. 감각계 기여도 추정 장치는 분류기의 훈련 데이터뿐만 아니라 검증 데이터로 동일하게 완전 연결 레이어의 값을 활성 함수를 활용하여 1D로 변환할 수 있다.

먼저, kNN(k-nearest Neighbor)는 데이터를 분류하는 알고리즘으로, n차 특징 차원에서 특성이 유사한 데이터끼리 가깝게 분포되어 있다는 사실에 기반한 모델이다. 여기서, kNN은 비슷한 특성을 가진 데이터는 비슷한 범주에 속하는 경향이 있다는 가정하에 활용되는 머신러닝 모델이다. 즉, 새로운 데이터로부터 거리가 가장 가까운 k개의 기 학습 데이터 선정한 후, k개의 데이터 가운데 가장 빈도 수가 높게 나온 클래스로 분류되는 학습 방법을 의미한다. kNN알고리즘을 적용하기 위해서는 모든 특징을 정규화 해야 한다. 일반적으로 kNN 알고리즘을 적용하기 위하여 각 특징별 최대값을 기준으로 0과 1 사이로 스케일링하는 정규화 방식을 활용한다. kNN 모델의 가장 중요한 특징은 k 값에 따라 분류가 달라질 수 있는 점이기 때문에 k값이 너무 작은 경우 학습데이터에 너무 의존하는 오버 피팅(overfitting)g이 발생할 수 있으며, 너무 큰 경우 학습이 제대로 되지 않고 언더 피팅(underfitting)이 나타날 수 있다. 따라서, 분류기의 성능을 높이기 위해서는 적절한 k 값의 선택이 필요하다.

SVM(Support Vector Machine) 머신러닝 지도학습 알고리즘으로 decision boundary또는 초평면(hyperplane)을 정의하여 새로운 데이터가 나타나면 경계선의 어느 쪽에 속하는지를 판단한다. SVM은 분류 기준이 되는 최적의 초평면 (hyperplane)을 찾아 낼 수 있다. SVM은 마진이 클수록 분류 성능이 향상되기 때문에, 마진이 가장 큰 초평면을 기준으로 분류를 수행한다.

초평면은 데이터의 형태에 따라 linear, kernel 또는 polynomial 함수를 활용하여 차원을 높여 성능을 향상시킬 수 있다. Kernel 함수 중 하나인 radial bias function(RBF)의 경우 데이터의 클러스터를 무한한 차원으로 변환하는 방법으로 decision boundary를 얻어낼 수 있다. SVM의 성능을 향상시키기 위해서는 RBF함수의 매개변수인 감마 값 (가우시안 함수의 표준편차)의 최적 값을 선정하여야 한다.

또한, RF(랜덤 포레스트, Random forest)는 bootstrap aggregation sampling (배깅, bagging) 기법과 random feature choosing 기법이 합쳐진 대표적인 앙상블 분류기이다. RF는 2가지 기법을 혼합하여 여러 개의 의사 결정 트리 (decision tree)로 이루어진다. 즉, RF는 여러 개의 weak classifier를 모아서 결합하여 하나의 strong classifier를 만들어내는 방법이다. 배깅은 여러 개의 데이터 세트를 중첩되도록 구분하여 복원 및 추출함으로써 동일한 알고리즘을 사용하는 분류기를 생성한다. 또한, 배깅은 각 분류기에서 도출된 결과를 투표하여, 가장 많은 득표를 획득한 결과를 최종 분류 결과로 선택한다. 구체적으로, RF는 전체 데이터에서 배깅 방식으로 각 분류기를 위한 데이터를 샘플링한다. 배깅 모델(여러 개의 트리)의 분산은 각각의 트리들의 분산과 그들의 공분산으로 이루어져 있다. RF는 배깅의 분류기들의 공분산을 최소화하는 것이며 이를 위해 입력 변수에서 랜덤하게 새로운 변수를 뽑아서 다양한 모델을 만듦으로써 공분산을 감소시킬 수 있다. Voting 방법에는 Hard 그리고 soft로 분류되어 있으며 hard voting의 경우 예측된 값들 중 다수의 분류기에서 결정된 예측값을 최종 voting 값으로 선정하는 방법이며, soft voting의 경우 분류기들의 예측값 결정 확률을 평균내어 가장 높은 확률 값을 최종 voting 값으로 선정하는 방법이다. 따라서, RF는 single 의사 결정 분류기보다 오버 피팅 문제를 해결하는데 유용하다. RF는 비교적 빠른 수행 속도를 가지고 있으며, 다른 일반 인공 지능 모델 분류기보다 대체적으로 높은 성능을 나타낼 수 있다.

또한, 감각계 기여도 추정 장치는 인공 지능 모델의 성능을 향상시키기 위하여 최적화 과정을 수행할 수 있다. 여기서, 최적화를 위한 설계 변수는 각 인공 지능 모델의 하이퍼파라미터와 엔코딩을 위한 서브 클래스 내 요소의 개수로 설정될 수 있다. 일 예로, 서브 클래스(S)는 로 계산될 수 있다. 여기서 는 엔코딩 설계 변수이다. 엔코딩 설계 변수의 값이 100의 약수에 해당되지 않을 시, 서브 클래스는 정수로 계산되지 않는다. 서브 클래스가 정수로 계산되지 않을 시, 서브 클래스는 소수점 첫째 자리에서 반올림될 수 있다. 또한, 감각계 기여도 추정 장치는 엔코딩 설계 변수를 기반으로 내림 차순으로 서브 클래스를 묶을 수 있으며, 마지막 서브 클래스는 남거나 모자라는 수로 묶으며, 각 서브 클래스의 중앙값을 대표값으로 선정할 수 있다. 일 예로, 엔코딩 설계 변수 값이 10일 경우, 연속된 10개의 수가 하나의 서브 클래스로 간주되며, 서브 클래스는 10이 도출된다. 즉, 10개의 서브 클래스가 추출될 수 있다. 또한, 서브 클래스1은 91점 내지 100점이며 대표값은 95.5점이고, 서브 클래스2는 81점 내지 90점이며 대표값은 85.5점으로 설정될 수 있다. 그러나, 엔코딩 설계 변수값이 9인 경우, 서브 클래스는 11.11로 계산되므로 11개의 서브 클래스가 추출될 수 있다. 여기서, 클래스1은 92점 내지 100점이며 대표값은 96점이고, 클래스 2는 83점 내지 91점이며 대표값은 87점이고, 마지막 클래스 11은 1점 내지 10점이며 대표값은 5.5점으로 설정될 수 있다.

한편, 목적함수는 가만히 서있기 자세에서 실측정된 감각계 기여도와 인공 지능 모델이 추정한 감각계 기여도의 평균 차이로 나타나는 Mean absolute error (MAE)로 선정할 수 있다. 또한, 하이퍼파라미터는 Integral, Continuous 및 Categorical의 3가지 타입을 포함할 수 있다. 그리고, 엔코딩 설계변수는 일정 범위 내 자연수로 한정될 수 있다.

일 예로, 감각계 기여도 추정 장치는 베이지안 최적화 기법을 적용하여 하이퍼파라미터와 엔코딩 설계 변수를 추출할 수 있다. 베이지안 최적화 기법은 측정된 정보를 기반으로 미지의 목적함수를 확률적으로 추정하는 Surrogate 모델(대체 모델)을 활용하는 것이며, 그로 인하여 최소한의 탐색으로 최적값을 추출할 수 있다. 즉, 베이지안 최적화 기법은 반복 탐색 과정에서 사전 지식을 반영한 확률 모델을 기반으로 목적함수 추정치를 획득할 수 있다. 또한, 베이지안 최적화 기법은 획득한 목적함수 추정치를 이용하여 순차적으로 다음 탐색 지점을 선정하기 때문에 효율적으로 해를 찾는 것이 가능하다.

또한, 감각계 기여도 추정 장치는 학습 데이터 셋과 초기 엔코딩 설계 변수를 이용하여 출력값을 엔코딩한 후 인공 지능 모델의 학습 및 출력을 디코딩하는 과정을 수행할 수 있다.

일 예로, 감각계 기여도 추정 장치는 베이지안 최적화를 위하여 Surrogate 모델과 Acquisition 함수 수행 과정을 진행할 수 있다. Surrogate 모델은 복잡한 인공 지능 모델의 수많은 입출력 특성을 실제 모형과 유사하게 만드는 것이며, 현재까지 조사된 입력값과 함수값을 기초로하여 목적 함수의 형태에 대한 확률적 추정을 수행할 수 있다. Surrogate 모델은 현재 iteration까지의 결과 값을 통하여 예상되는 목적함수의 추정 값을 도출하며, Gaussian process를 활용하여 구성될 수 있다. 또한, 감각계 기여도 추정 장치는 Surrogate 모델의 추정치를 활용하여 next iteration에 적용될 후보 값을 탐색하는 Acquisition 함수를 정의할 수 있다. Acquisition 함수는 최적의 값을 찾기 위해 알아봐야 할 후보를 제안해 주는 함수이다. 일 예로, Acquisition 함수로 가장 많이 활용되는 Expected improvement (EI) 함수가 적용될 수 있다. EI 함수는 추정된 목적 함수를 기반으로, 현재까지 탐색된 점들의 최대 함수치보다 더 큰 함수치를 도출할 확률 및 현재까지 탐색된 점들의 최대 함수치와 더 큰 함수치 간의 차이를 고려하여 결과를 도출할 수 있다. 여기서, 감각계 기여도 추정 장치는 EI 값을 최대화하는 곳을 다음 설계 변수로 갱신할 수 있다. 또한, 감각계 기여도 추정 장치는 갱신된 설계 변수를 이용하여 엔코딩, 인공 지능 모델 학습 및 디코딩 과정을 수행할 수 있다. 이러한 과정을 반복함으로써, 감각계 기여도 추정 장치는 목적 함수의 값이 최소화되는 설계 변수를 획득할 수 있다.

도6은 본 발명의 실시예에 따른 인공 지능 모델을 이용하여 감각계 기여도를 추정하는 방법을 도시하는 도면이다.

단계(S210)에서, 감각계 기여도 추정 장치는 COP 데이터를 인공 지능 모델에 입력할 수 있다. 일 예로, 인공 지능 모델은 COP 데이터 측정부와 배경벽이 고정되어 있고 사용자가 눈을 뜬 상태로 가만히 서있는 상태에서 획득된 COP 데이터를 인공 지능 모델의 입력으로 사용할 수 있다.

단계(S220)에서, 감각계 기여도 추정 장치는 입력된 데이터를 이용하여 균형 유지를 위한 체성, 시각, 전정계 및 시각 의존도에 대한 기여도를 추정할 수 있다.

단계(S230)에서, 감각계 기여도 추정 장치는 추정된 감각계 기여도를 출력할 수 있다. 일 예로, 감각계 기여도는 미리 설정된 클래스를 기반으로 분류될 수 있다. 클래스는 인공 지능 모델 최적화 과정에서 설정될 수 있다. 감각계 기여도 추정 장치는 최적화된 엔코딩 설계 변수를 산출하고, 산출된 엔코딩 설계 변수를 기반으로 클래스값을 설정하여 감각계 기여도를 분류할 수 있다. 여기서, 감각계 기여도 추정 장치는 엔코딩 설계 변수를 설정함으로써, 기존의 클래스를 서브 클래스로 압축할 수 있다. 즉, 감각계 기여도 추정 장치는 엔코딩 설계 변수를 최적화하여 오분류를 최소화시킴으로써 정확도를 향상시킬 수 있다.

또한, 감각계 기여도 추정 장치는 엔코딩된 감각계 기여도를 디코딩함으로써 출력할 수 있다. 디코딩된 감각계 기여도를 출력함으로써, 체성, 시각 및 전정계가 균형을 유지하는데 기여하는 정도를 분석하고, 시각이 균형을 유지하는 것에 의존하는 정도를 평가할 수 있다.

도7은 본 발명의 실시예에 따른 본 발명의 실시예에 따른 정상인의 감각계 검사에 대한 6가지 조건에서 전/후방 및 내/외측 COP 데이터를 도시하는 도면이다.

도7을 참조하면, 정상인의 COP 데이터는 각 조건별로 다르게 나타나는 것을 확인할 수 있다. 또한, 내/외측 COP 데이터에 비하여 전/후 COP 데이터의 변동이 더 큰 것으로 나타났다. 그리고, 정상인의 전/후 및 내/외측COP 데이터의 변동은 조건 1 내지 조건 3에 비하여 조건 4 내지 조건 6에서 더 증가하는 것을 확인할 수 있다. 이로써, 정상인의 COP데이터 변위는 조건이 어려워질수록 시각이나 체성 등을 없애거나 교란시켰을 때 남은 감각계만으로 자세 제어를 해야 되기 때문에 모든 감각계가 동원된 조건 1에 비하여 더 많은 흔들림이 발생한 것으로 판단할 수 있다.

도8은 본 발명의 실시예에 따른 정상인의 감각계 검사에 대한 6가지 조건에서 전/후 및 내/외측 COP 데이터의 파워 스펙트럼을 도시하는 도면이다.

일 예로, 정상인은 말초성 현훈 질환 메니에르 및 전정신경염 환자에 해당하지 않는 사용자를 포함할 수 있다. 이 때, 말초성 현훈 질환 메니에르는 내림프수종(endolymphatic hydrops)에 의해 발생하는 막미로(membranous labyrinth) 질환으로, 회전감 있는 어지럼증 증상과 청력 저하 증상이 나타나는 증상이다. 메니에르는 청력검사, 전정기능 검사 등을 통하여 진단될 수 있다. 또한, 전정신경염은 말초 전정기관이나 전정신경에 염증이 일어난 것으로 전정신경에 발생하는 염증으로 인해 심한 어지럼증이 나타난다. 이로써, 전정신경염 환자는 몸의 평형을 감지하는 전정기관에 발생한 염증으로 인해 수집된 평형 감각의 정보를 뇌로 전달하지 못할 수 있다.

또한, 감각계 검사에 대한 6가지 조건은 도2에 도시된 체성, 시각 및 전정계가 균형을 유지하기 것에 기여하는 정도를 확인하기 위해 설정된 조건이다.

도8을 참조하면, 정상인의 COP 데이터 변위 패턴은 각 조건별로 다르게 나타나는 것을 확인할 수 있다. 정상인의 COP 신호 파워 스펙트럼에서 모든 방향의 대다수 전력은 2Hz 이내에서 발생하는 것을 확인할 수 있다. 또한, 정상인의 COP데이터 변위는 조건 1내지 조건 3에 비하여 조건 4 내지 조건 6에서 전/후방 및 내/외측의 저주파 전력 스펙트럼 크기가 크게 나타나는 것을 확인할 수 있다. 즉, 정상인의 파워 스펙트럼 밀도는 조건이 어려워질수록 저주파 대역에서 더 크게 나타날 수 있다.

도9는 본 발명의 실시예에 따른 출력된 메니에르 환자 및 전정신경염 환자의 감각계 기여도를 도시하는 도면이다.

도9에 도시된 바와 같이, 정상인, 메니에르 환자 및 전정신경염 환자의 체성 기여도와 시각 의존도 기여도가 95점 전후로 가장 높게 나타났으며, 전정계 기여도가 57점에서 67점 사이로 가장 낮게 나타난 것을 확인할 수 있다.

또한, 정상인, 메니에르 환자 및 전정신경염 환자별 체성 기여도가 약 1점, 시각 기여도가 약 4점, 시각 의존도 기여도가 약 3점 차이가 나타났다. 전정계 기여도는 정상 그룹에서 약 67점으로, 메니에르 환자 및 전정 신경염 환자에 비해 각 12% 및 15% 수준으로 높게 나타나는 것으로 확인된다. 그러나, 메니에르 환자 및 전정신경염 환자의 전정계 기여도 점수 차이는 약 2점으로 나타났다. 이러한, 정상인, 메니에르 환자 및 전정신경염 환자의 감각계 기여도 차이는 데이터셋의 다양성으로 연결되며, 강건한 학습 모델을 구성할 수 있다.

도10은 본 발명의 실시예에 따른 CNN 인공 지능 모델에서 epoch 단계에 따른 학습 및 검증의 정확도값 및 손실값의 추이를 도시하는 도면이다.

도10을 참조하면, CNN 인공 지능 모델은 엔코딩 설계 변수를 고려한 최적화 유무와 관계없이 epoch 단계가 증가할수록 학습 정확도값 및 검증 정확도값 이 높아지고, 학습 손실값 및 검증 손실값은 줄어드는 경향이 나타났다.

특히, 엔코딩 설계 변수를 고려한 최적화 CNN 인공 지능 모델은 epoch 20 단계에서부터 거의 100% 수준의 학습 정확도값을 보였으며, 검증 정확도값도 학습 정확도값 근처로 포화되어 정상 상태에 이르는 것으로 확인됐다. 그러나, 엔코딩 설계 변수 없이 최적화한 CNN 인공 지능 모델에서는 epoch 40단계 까지도 학습 정확도값과 검증 정확도값의 변동이 계속 발생한 것으로 나타났다. 즉, 엔코딩 설계 변수를 고러하여 인공 지능 모델을 최적화함으로써, 인공 지능 모델의 정확도를 높이고 성능을 극대화하는 것이 가능하다.

도11은 본 발명의 실시예에 따른 CNN 인공 지능 모델 및 CNN -분류기 혼합 인공 지능 모델의 성능을 혼돈 행렬로 도시한 도면이다.

혼동 행렬(Confusion Matrix)은 분류 모델의 학습 성능을 평가하는 지표로 실제값과 인공 지능 모델이 예측한 값을 한눈에 알아볼 수 있게 행렬로 배열한 것이다. 구체적으로, CNN 인공 지능 모델(a), CNN-kNN 혼합 인공 지능 모델(b), CNN-RF 혼합 인공 지능 모델(c) 및 CNN-SVM혼합 인공 지능 모델(d)의 전정계 기여도가 %로 정규화되여 표시될 수 있다. 도9를 참조하면, CNN 인공 지능 모델(a)에 비하여 CNN-분류기 혼합 인공 지능 모델(b, c, d)의 강도(intensity)가 대각선에서 두드러지게 나타나는 것을 확인할 수 있다. 또한, CNN 인공 지능 모델(a)에 비하여 CNN-분류기 혼합 인공 지능 모델(b, c, d)의 강도(intensity)가 대각선에서 벗어나는 오분류도 적게 분포되는 것을 확인할 수 있다. 이는, 인공 지능 모델에 혼합 분류기가 적용됨으로써, 감각 기여도의 분류 정확도가 높아졌기 때문이다.

도12는 본 발명의 실시예에 따른 CNN 인공 지능 모델 및 CNN-분류기 혼합 인공 지능 모델의 최적화 반복을 수행할 시 목적함수(MAE)값의 변화를 도시하는 도면이다.

도12에 도시된 바와 같이, CNN 인공 지능 모델(a), CNN-kNN 혼합 인공 지능 모델(b), CNN-RF 혼합 인공 지능 모델(c) 및 CNN-SVM혼합 인공 지능 모델(d)에서 최적화 반복이 진행됨에 따라 목적 함수 (MAE, Mean absolute error)가 줄어드는 경향이 나타났다. 목적 함수는 최적화(최대화 또는 최소화)하고자 하는 대상을 함수로 표현한 것이다. 일 예로, 목적 함수는 추출된 감각계 기여도 실측정값과 인공 지능 모델의 감각계 기여도 추정값간 평균 차이를 포함할 수 있다.

여기서, CNN 인공 지능 모델(a), CNN-kNN 혼합 인공 지능 모델(b), CNN-RF 혼합 인공 지능 모델(c) 및 CNN-SVM혼합 인공 지능 모델(d)에서 최적화 반복을 약 40회 진행한 이후에 최소 목적함수가 나타난 것을 확인할 수 있다. 여기서, 최소 목적 함수는CNN-RF 혼합 인공 지능 모델(c)의 최적화 반복을 40회 진행했을 때 약 1.14의 값으로 확인됐다. 즉, CNN-RF 혼합 인공 지능 모델(c)의 최적화 반복을 40회 이상 수행할 시, 감각계 기여도 실측정값과 인공 지능 모델의 감각계 기여도 추정값간 평균 차이가 최소화된 것으로 판단할 수 있다.

도13은 본 발명의 실시예에 따른 최적 엔코딩 설계 변수를 적용한 CNN 인공 지능 모델 및 CNN-RF 혼합 인공 지능 모델의 성능을 혼동 행렬로 도시한 도면이다. 여기서, 혼돈 행렬은 전체 셀의 가장 높은 값을 기준으로 정규화될 수 있다.

일 예로, CNN 인공 지능 모델(a)의 체성 최적 엔코딩 설계 변수값은 4점, 시각 최적 엔코딩 설계 변수값은 5점, 전정계 최적 엔코딩 설계 변수값은 4점 및 시각 의존도의 최적 엔코딩 설계 변수값은 5점으로 추출될 수 있다. 마찬가지로, CNN-RF 혼합 인공 지능 모델(b)의 체성 최적 엔코딩 설계 변수값은 4점, 시각 최적 엔코딩 설계 변수값은 5점, 전정계 최적 엔코딩 설계 변수값은 4점 및 시각 의존도의 최적 엔코딩 설계 변수값은 5점으로 추출될 수 있다.

또한, CNN 인공 지능 모델(a)의 체성 서브 클래스 개수는 25개, 시각 서브 클래스 개수는 20개, 전정계 서브 클래스 개수는 25개 및 시각 의존도의 서브 클래스 개수는 20개로 설정될 수 있다. 마찬가지로, CNN-RF 혼합 인공 지능 모델(b)의 체성 서브 클래스 개수는 25개, 시각 서브 클래스 개수는 20개, 전정계 서브 클래스 개수는 25개 및 시각 의존도의 서브 클래스 개수는 20개로 설정될 수 있다.

도13을 참조하면, CNN 인공 지능 모델(a)의 모든 감각계에서 대각 성분을 벗어나는 오분류가 분포되어 있는 것을 확인할 수 있다. 또한, CNN 인공 지능 모델(a)의 모든 시각 의존도 기여도 추정값이 20 서브 클래스로 출력된 것으로 보아 학습이 제대로 진행되지 않은 것으로 판단할 수 있다.

그러나, CNN-RF 혼합 인공 지능 모델(b)은 모든 감각계에서 대각 성분을 벗어나는 오분류가 현저히 적게 나타나는 것을 확인할 수 있다. 특히, CNN-RF 혼합 인공 지능 모델(b)의 체성과 시각 의존도는 오분류가 전혀 나타나지 않았다. 따라서, 최적 엔코딩 설계 변수를 적용하고 분류기와 혼합된 인공 지능 모델은 오분류를 최소함으로써 성능을 극대화할 수 있다.

도14는 본 발명의 실시예에 따른 CNN 인공 지능 모델, CNN-kNN 혼합 인공 지능 모델, CNN-RF 혼합 인공 지능 모델 및 CNN-SVM혼합 인공 지능 모델에서 엔코딩 설계 변수 유무에 따른 감각계 기여도 차이를 도시하는 도면이다.

먼저, CNN 인공 지능 모델에서 엔코딩 설계 변수를 고려한 경우의 오차는 7.0이였으며, 엔코딩 설계 변수를 고려하지 않는 경우의 오차는 7.6수준으로 나타난 것을 확인할 수 있다. 즉, CNN 인공 지능 모델은 엔코딩 설계 변수에의한 효과가 없는 것으로 판단할 수 있다.

한편, CNN-kNN 혼합 인공 지능 모델에서 엔코딩 설계 변수를 고려한 경우의 오차는 1.0이였으며, 엔코딩 설계 변수를 고려하지 않는 경우의 오차는 1.7수준으로 나타난 것을 확인할 수 있다. 또한, CNN-RF 혼합 인공 지능 모델에서 엔코딩 설계 변수를 고려한 경우의 오차는 0.5이였으며, 엔코딩 설계 변수를 고려하지 않는 경우의 오차는 1.6수준으로 나타났다. CNN-SVM혼합 인공 지능 모델에서 엔코딩 설계 변수를 고려한 경우의 오차는 0.8이였으며, 엔코딩 설계 변수를 고려하지 않는 경우의 오차는 1.7수준으로 나타났다.

따라서, CNN-kNN 혼합 인공 지능 모델, CNN-RF 혼합 인공 지능 모델 및 CNN-SVM혼합 인공 지능 모델은 엔코딩 설계 변수를 고려하여 최적화를 수행한 경우의 오차가 엔코딩 설계 변수를 고려하지 않는 경우의 오차에 비하여 현저하게 줄어드는 것을 확인할 수 있다. 즉, 최적화 과정을 통하여 평균 오차를 최소화할 수 있는 엔코딩 설계 변수를 추출함으로써, 인공 지능 모델의 성능을 극대화하는 것이 가능하다.

도15는 본 발명의 실시예에 따른 CNN-RF 혼합 인공 지능 모델을 이용하여 추정한 감각계 기여도와 실측정된 감각계 기여도를 구체적으로 비교한 것을 도시하는 도면이다.

도15를 참조하면, 정상인, 메니에르 환자 및 전정신경염 환자의 추정값과 측정값간 체성, 시각, 전정계 및 시각 의존도에 대한 상관 계수가 0.97이상으로 나타났다. 또한, 정상인, 메니에르 환자 및 전정신경염 환자의 추정값과 측정값간 오차가 약 2.2 이내로 우수한 성능을 보이는 것을 확인할 수 있다. 즉, 각 그룹간 추정성능차이가 발생하지 않았다.

따라서, 가장 성능이 우수한 CNN-RF 혼합 인공 지능 모델을 이용할 시 추정값과 실측정값간 높은 상관 관계를 가지며, 각 감각계의 기여도를 효율적으로 추정할 수 있다.

전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.

본 발명의 범위는 후술하는 청구범위에 의하여 나타내어지며, 청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다

100 : 감각계 기여도 추정 장치
110 : COP 데이터 측정부
120 : 배터리
130 : 통신 모듈
140 : MCU
150 : 감각계 기여도 추정부

Claims

압력 중심 정보를 활용하여 감각계 기여도를 추정하는 장치에 있어서,
사용자의 동작에 따른 COP(Center of pressure) 데이터를 측정하는 COP 데이터 측정부; 및
상기 COP 데이터를 수신하고, 수신한 COP 데이터를 인공 지능 모델의 입력으로 하여 감각계 기여도를 추정하는 감각계 기여도 추정부;를 포함하고,
상기 COP 데이터는 상기 COP 데이터 측정부와 배경벽의 회전 유무 및 사용자의 폐안 여부를 설정하여 획득되는 사용자의 COP 데이터이고,
상기 감각계 기여도는 자세 제어를 위한 체성, 시각, 전정계 및 시각 의존도에 대한 기여도이며,
상기 인공 지능 모델은 혼합 분류기와 결합되며,
상기 혼합 분류기는 kNN(k-nearest Neighbor), RF (Random forest) 및 SVM(Support Vector Machine)를 포함하고,
상기 혼합 분류기는 상기 인공 지능 모델의 classification layer를 대체하는 것인 감각계 기여도 추정 장치.
제1항에 있어서,
상기 인공 지능 모델은 베이지안 최적화 과정을 수행함으로써 최적화된 하이퍼파라미터와 엔코딩 설계 변수를 산출하고,
최적화된 상기 엔코딩 설계 변수를 기반으로 서브 클래스를 설정하며,
추정된 상기 감각계 기여도를 상기 서브 클래스를 기반으로 분류하는 것인 감각계 기여도 추정 장치.
제2항에 있어서,
상기 인공 지능 모델은 상기 최적화 과정을 수행하기 위한 목적 함수를 산출하고,
상기 목적 함수는 가만히 서있기 자세에서 실측정된 상기 감각계 기여도와 상기 인공 지능 모델이 추정한 상기 감각계 기여도의 평균 차이이며,
상기 목적 함수가 최소화되는 상기 설계 변수를 획득하는 것인 감각계 기여도 추정 장치.
감각계 기여도 추정 장치를 이용한 자세 제어를 위한 감각계 기여도를 추정하는 방법에 있어서,
a) 상기 감각계 기여도 추정 장치가 COP 데이터 측정부의 회전 여부, 배경벽의 회전 여부 및 사용자의 폐안 여부의 따라 설정되는 복수의 조건별로 COP 데이터를 수집하고, 상기 수집된 COP 데이터를 기초로 상기 감각계 기여도를 추출하여 인공 지능 모델을 구축하는 단계;
b) 상기 감각계 기여도 추정 장치가 상기 COP 데이터 측정부로부터 상기 COP 데이터를 수신하는 단계;
c) 상기 감각계 기여도 추정 장치가 상기 수신한 COP 데이터를 상기 구축된 인공 지능 모델에 입력하는 단계; 및
d) 상기 감각계 기여도 추정 장치가 상기 입력된COP 데이터를 기반으로 상기 복수의 조건별로 대응되는, 상기 감각계 기여도를 추정하고 평가하는 단계를 포함하고,
상기 COP 데이터는 상기 COP 데이터 측정부와 배경벽의 회전 유무 및 사용자의 폐안 여부를 설정하여 획득되는 사용자의 COP 데이터이고,
상기 감각계 기여도는 상기 자세 제어를 위한 체성, 시각, 전정계 및 시각 의존도에 대한 기여도이며,
상기 인공 지능 모델은 혼합 분류기와 결합되며,
상기 혼합 분류기는 kNN(k-nearest Neighbor), RF(Random forest) 및 SVM(Support Vector Machine)를 포함하고,
상기 혼합 분류기는 상기 인공 지능 모델의 classification layer를 대체하는 것인 감각계 기여도 추정 방법.
제4항에 있어서,
상기 인공 지능 모델이 베이지안 최적화 과정을 수행함으로써 최적화된 하이퍼파라미터와 엔코딩 설계 변수를 산출하고, 최적화된 상기 엔코딩 설계 변수를 기반으로 서브 클래스를 설정하며, 추정된 상기 감각계 기여도를 상기 서브 클래스를 기반으로 분류하는 단계를 더 포함하는 것인 감각계 기여도 추정 방법.
제5항에 있어서,
상기 인공 지능 모델은 상기 최적화 과정을 수행하기 위한 목적 함수를 산출하고,
상기 목적 함수는 가만히 서있기 자세에서 실측정된 상기 감각계 기여도와 상기 인공 지능 모델이 추정한 상기 감각계 기여도의 평균 차이이며, 상기 목적 함수가 최소화되는 상기 설계 변수를 획득하는 것인 감각계 기여도 추정 방법.
삭제