[go: up one dir, main page]

KR20240127177A - Nlos 효과가 완화된 딥러닝 기반 uwb 측위 방법 및 장치 - Google Patents

Nlos 효과가 완화된 딥러닝 기반 uwb 측위 방법 및 장치 Download PDF

Info

Publication number
KR20240127177A
KR20240127177A KR1020230020266A KR20230020266A KR20240127177A KR 20240127177 A KR20240127177 A KR 20240127177A KR 1020230020266 A KR1020230020266 A KR 1020230020266A KR 20230020266 A KR20230020266 A KR 20230020266A KR 20240127177 A KR20240127177 A KR 20240127177A
Authority
KR
South Korea
Prior art keywords
tag
nlos
distance
cir
deep learning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
KR1020230020266A
Other languages
English (en)
Inventor
변재영
김대호
Original Assignee
조선대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 조선대학교산학협력단 filed Critical 조선대학교산학협력단
Priority to KR1020230020266A priority Critical patent/KR20240127177A/ko
Publication of KR20240127177A publication Critical patent/KR20240127177A/ko
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S5/00—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations
    • G01S5/02—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations using radio waves
    • G01S5/06—Position of source determined by co-ordinating a plurality of position lines defined by path-difference measurements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K19/00—Record carriers for use with machines and with at least a part designed to carry digital markings
    • G06K19/06—Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code
    • G06K19/067—Record carriers with conductive marks, printed circuits or semiconductor circuit elements, e.g. credit or identity cards also with resonating or responding marks without active components
    • G06K19/07—Record carriers with conductive marks, printed circuits or semiconductor circuit elements, e.g. credit or identity cards also with resonating or responding marks without active components with integrated circuit chips
    • G06K19/077—Constructional details, e.g. mounting of circuits in the carrier
    • G06K19/07701—Constructional details, e.g. mounting of circuits in the carrier the record carrier comprising an interface suitable for human interaction
    • G06K19/07713—Constructional details, e.g. mounting of circuits in the carrier the record carrier comprising an interface suitable for human interaction the interface, upon reception of an interrogation signal, being capable of signaling to indicate its position to a user or a detection device
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S2205/00—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations
    • G01S2205/01—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations specially adapted for specific applications
    • G01S2205/02—Indoor

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Theoretical Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Position Fixing By Use Of Radio Waves (AREA)

Abstract

본 발명은 NLOS 효과가 완화된 딥러닝 기반 UWB 측위 방법 및 장치에 관한 것이다. 본 발명의 일 실시예에 따른 NLOS 효과가 완화된 딥러닝 기반 UWB 측위 방법은, (a) 앵커와 태그 간 거리 및 상기 앵커와 태그 간 통신 메시지에 대한 CIR을 포함하는 신호를 수신하는 단계; (b) 상기 CIR에 기반하여 채널 조건을 분류하는 단계; 및 (c) 상기 채널 조건 및 상기 앵커와 태그 간 거리에 기반하여 상기 태그의 위치를 결정하는 단계;를 포함할 수 있다.

Description

NLOS 효과가 완화된 딥러닝 기반 UWB 측위 방법 및 장치{A method and apparatus for deep learning-based UWB positioning with NLOS effect mitigated}
본 발명은 UWB 측위 방법 및 장치에 관한 것으로, 더욱 상세하게는 NLOS 효과가 완화된 딥러닝 기반 UWB 측위 방법 및 장치에 관한 것이다.
UWB(Ultra-Wideband) 기반의 실내 측위 시스템(indoor positioning system, IPS)은 측위 성능이 우수하고 사물인터넷(Internet of Things, IoT) 응용으로서 위치 기반 서비스(location-based service, LBS)의 요구 사항을 충족할 수 있는 것으로 알려져 있다.
그러나 UWB 측위는 NLOS(Non-Line-of-Sight) 채널에서 수행할 경우 실내 환경에서 UWB 레인징 정확도를 저하시키는 한계가 있다.
사물인터넷(IoT) 기술은 적용 가능성에 따라 다양한 방식으로 위치 기반 서비스(LBS)에 통합될 수 있다.
특히 UWB(Ultra-Wideband) 기반 측위 시스템은 정확하고 안정적인 측위가 필요한 증강현실(augmented reality, AR), 무인운반차량(unmanned aerial vehicle, AGV), 산업용 추적, 스포츠, 무인항공기(automated guided vehicle, UAV) 등 다양한 실내 위치 기반 애플리케이션을 제공할 수 있다.
UWB 측위 시스템은 임펄스 라디오(impulse radio, IR) 기술의 나노스케일 시간 분해능을 기반으로 하는 고유한 타임스탬프를 통해 이러한 요구 사항을 충족할 수 있다.
[특허문헌 1] 한국등록특허 제10-2002803호
본 발명은 전술한 문제점을 해결하기 위하여 창출된 것으로, NLOS 효과가 완화된 딥러닝 기반 UWB 측위 방법 및 장치를 제공하는 것을 그 목적으로 한다.
또한, 본 발명은 수신된 UWB 신호의 CIR(Channel Impulse Response)로 채널 상태를 구분하여 측위 성능을 향상시킬 수 있는 인공지능(artificial intelligence, AI)을 적용한 UWB 측위 시스템을 제공하는 것을 그 목적으로 한다.
본 발명의 목적들은 이상에서 언급한 목적들로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 명확하게 이해될 수 있을 것이다.
상기한 목적들을 달성하기 위하여, 본 발명의 일 실시예에 따른 NLOS 효과가 완화된 딥러닝 기반 UWB 측위 방법은, (a) 앵커와 태그 간 거리 및 상기 앵커와 태그 간 통신 메시지에 대한 CIR을 포함하는 신호를 수신하는 단계; (b) 상기 CIR에 기반하여 채널 조건을 분류하는 단계; 및 (c) 상기 채널 조건 및 상기 앵커와 태그 간 거리에 기반하여 상기 태그의 위치를 결정하는 단계;를 포함할 수 있다.
실시예에서, 상기 (b) 단계는, 상기 CIR을 분류 AI 모델에 입력하여, 상기 CIR에 대한 상기 거리의 오차(error)에 대하여 다수의 레이블(label)로 구성된 채널 조건을 출력하는 단계;를 포함할 수 있다.
실시예에서, 상기 채널 조건은, 상기 거리의 오차를 십분위수(deciles)를 기준으로 분류하여 결정될 수 있다.
실시예에서, 상기 (c) 단계는, 상기 다수의 레이블 각각에 대하여 상기 거리의 오차에 대한 표본 평균 및 표본 분산을 산출하는 단계; 및 상기 표본 평균 및 표본 분산에 기반하여 상기 태그의 위치를 결정하는 단계;를 포함할 수 있다.
실시예에서, 상기 (c) 단계는, 상기 표본 평균 및 상기 거리에 기반하여 NLOS(Non-Line-of-Sight) 완화 측정 벡터를 산출하고, 상기 표본 분산에 기반하여 잡음 공분산 행렬을 산출하는 단계; 및 상기 NLOS 완화 측정 벡터 및 잡음 공분산 행렬에 기반하여 상기 태그의 위치를 결정하는 단계;를 포함할 수 있다.
실시예에서, NLOS 효과가 완화된 딥러닝 기반 UWB 측위 장치는, 앵커와 태그 간 거리 및 상기 앵커와 태그 간 통신 메시지에 대한 CIR을 포함하는 신호를 수신하는 통신부; 및 상기 CIR에 기반하여 채널 조건을 분류하고, 상기 채널 조건 및 상기 앵커와 태그 간 거리에 기반하여 상기 태그의 위치를 결정하는 제어부;를 포함할 수 있다.
실시예에서, 상기 제어부는, 상기 CIR을 분류 AI 모델에 입력하여, 상기 CIR에 대한 상기 거리의 오차(error)에 대하여 다수의 레이블(label)로 구성된 채널 조건을 출력할 수 있다.
실시예에서, 상기 채널 조건은, 상기 거리의 오차를 십분위수(deciles)를 기준으로 분류하여 결정될 수 있다.
실시예에서, 상기 제어부는, 상기 다수의 레이블 각각에 대하여 상기 거리의 오차에 대한 표본 평균 및 표본 분산을 산출하고, 상기 표본 평균 및 표본 분산에 기반하여 상기 태그의 위치를 결정할 수 있다.
실시예에서, 상기 제어부는, 상기 표본 평균 및 상기 거리에 기반하여 NLOS(Non-Line-of-Sight) 완화 측정 벡터를 산출하고, 상기 표본 분산에 기반하여 잡음 공분산 행렬을 산출하고, 상기 NLOS 완화 측정 벡터 및 잡음 공분산 행렬에 기반하여 상기 태그의 위치를 결정할 수 있다.
상기한 목적들을 달성하기 위한 구체적인 사항들은 첨부된 도면과 함께 상세하게 후술될 실시예들을 참조하면 명확해질 것이다.
그러나, 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라, 서로 다른 다양한 형태로 구성될 수 있으며, 본 발명의 개시가 완전하도록 하고 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자(이하, "통상의 기술자")에게 발명의 범주를 완전하게 알려주기 위해서 제공되는 것이다.
본 발명의 일 실시예에 의하면, 관찰된 채널 상태에 대해 EKF(extended Kalman filter) 지역화(localization) 및 LSTM(long short-term memory) 훈련을 수행하여 NLOS 상황으로 인한 측위 저하를 완화할 수 있다.
또한, 본 발명의 일 실시예에 의하면, UWB 측위 방법의 주요 특징은 채널 상태를 학습하는 LSTM 모델로 학습하지 않은 미지의 위치에서도 사용할 수 있다.
또한, 본 발명의 일 실시예에 의하면, AI를 적용한 UWB 측위 방식을 통해 기존 측위 방식에 비해 정확도 성능이 크게 향상된 것으로 나타났다.
본 발명의 효과들은 상술된 효과들로 제한되지 않으며, 본 발명의 기술적 특징들에 의하여 기대되는 잠정적인 효과들은 아래의 기재로부터 명확하게 이해될 수 있을 것이다.
도 1a는 본 발명의 일 실시예에 따른 LOS 채널에서의 CIR을 도시한 도면이다.
도 1b는 본 발명의 일 실시예에 따른 NLOS 채널에서의 CIR을 도시한 도면이다.
도 2는 본 발명의 일 실시예에 따른 LSTM 셀의 구성요소를 도시한 도면이다.
도 3은 본 발명의 일 실시예에 따른 DS-TWR+를 도시한 도면이다.
도 4는 본 발명의 일 실시예에 따른 TWR 기반 UWB 측위를 도시한 도면이다.
도 5a는 본 발명의 일 실시예에 따른 ELF 지역화 알고리즘을 도시한 도면이다.
도 5b는 본 발명의 일 실시예에 따른 NLOS 효과가 완화된 EKF 지역화를 도시한 도면이다.
도 6은 본 발명의 일 실시예에 따른 NLOS 효과가 완화된 딥러닝 기반 UWB 측위 시스템을 도시한 도면이다.
도 7은 본 발명의 일 실시예에 따른 AI-EKF 지역화를 도시한 도면이다.
도 8은 본 발명의 일 실시예에 따른 NLOS 채널 조건의 분류를 위한 라벨링 방식을 도시한 도면이다.
도 9는 본 발명의 일 실시예에 따른 라벨링된 데이터 세트를 도시한 도면이다.
도 10은 본 발명의 일 실시예에 따른 각 DL 모델에 대한 검증 정확도를 도시한 도면이다.
도 11은 본 발명의 일 실시예에 따른 UWB 데이터 수집을 위한 실험 공간을 도시한 도면이다.
도 12a는 본 발명의 일 실시예에 따른 KNOWN 시나리오에 대한 실험 공간을 도시한 도면이다.
도 12b는 본 발명의 일 실시예에 따른 UNKNOWN 시나리오에 대한 실험 공간을 도시한 도면이다.
도 13a 및 13b는 본 발명의 일 실시예에 따른 실험 공간에 대한 실내 지도를 도시한 도면이다.
도 14는 본 발명의 일 실시예에 따른 각 위치별 좌표를 도시한 도면이다.
도 15는 본 발명의 일 실시예에 따른 각 위치별 웨이 포인트를 도시한 도면이다.
도 16은 본 발명의 일 실시예에 따른 LSTM 네트워크의 분류 성능을 도시한 도면이다.
도 17a 내지 17c는 본 발명의 일 실시예에 따른 KNOWN 시나리오의 장소별 궤적을 도시한 도면이다.
도 18a 내지 18c는 본 발명의 일 실시예에 따른 KNOWN 시나리오의 장소별 위치 오차의 CDF를 도시한 도면이다.
도 19는 본 발명의 일 실시예에 따른 KNOWN 시나리오에 대한 위치 오차의 RMSE를 도시한 도면이다.
도 20은 본 발명의 일 실시예에 따른 KNOWN 시나리오에 대한 위치 오차의 STD를 도시한 도면이다.
도 21a 내지 21c는 본 발명의 일 실시예에 따른 UNKNOWN 시나리오의 장소별 궤적을 도시한 도면이다.
도 22a 내지 22c는 본 발명의 일 실시예에 따른 UNKNOWN 시나리오의 장소별 위치 오차의 CDF를 도시한 도면이다.
도 23은 본 발명의 일 실시예에 따른 UNKNOWN 시나리오에 대한 위치 오차의 RMSE를 도시한 도면이다.
도 24는 본 발명의 일 실시예에 따른 UNKNOWN 시나리오에 대한 위치 오차의 STD를 도시한 도면이다.
도 25는 본 발명의 일 실시예에 따른 NLOS 효과가 완화된 딥러닝 기반 UWB 측위 방법을 도시한 도면이다.
도 26은 본 발명의 일 실시예에 따른 NLOS 효과가 완화된 딥러닝 기반 UWB 측위 장치의 기능적 구성을 도시한 도면이다.
본 발명은 다양한 변경을 가할 수 있고, 여러 가지 실시예들을 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 이를 상세히 설명하고자 한다.
청구범위에 개시된 발명의 다양한 특징들은 도면 및 상세한 설명을 고려하여 더 잘 이해될 수 있을 것이다. 명세서에 개시된 장치, 방법, 제법 및 다양한 실시예들은 예시를 위해서 제공되는 것이다. 개시된 구조 및 기능상의 특징들은 통상의 기술자로 하여금 다양한 실시예들을 구체적으로 실시할 수 있도록 하기 위한 것이고, 발명의 범위를 제한하기 위한 것이 아니다. 개시된 용어 및 문장들은 개시된 발명의 다양한 특징들을 이해하기 쉽게 설명하기 위한 것이고, 발명의 범위를 제한하기 위한 것이 아니다.
본 발명을 설명함에 있어서, 관련된 공지기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우, 그 상세한 설명을 생략한다.
이하, 본 발명의 일 실시예에 따른 NLOS 효과가 완화된 딥러닝 기반 UWB 측위 방법 및 장치를 설명한다.
일 실시예에서, 타겟 태그 위치(target tag position)는 TOA(time of arrival)와 장치 간 TDOA(time difference of arrival)로 알려진 시간 기반 측위를 사용하여 추정할 수 있다.
일 실시예에서, 패킷 전송 및 수신 중에 UWB 트랜시버에서 캡처한 정확한 타임스탬프에서 얻을 수 있다.
일 실시예에서, TOA 기반 측위 시스템은 TDOA보다 훨씬 간단하고 일반적이므로 인프라 구축에 유연성을 제공할 수 있다.
또한, 이 측위 시스템은 UWB 장치 간의 시간 동기화 없이 왕복 시간을 이용하여 거리를 계산할 수 있는 TWR(Two-Way Ranging) 메시지 교환 프로토콜을 주로 채택할 수 있다.
또한, DS-TWR(double-sided TWR)과 같은 방법은 클럭 스큐 문제(clock skew problem)를 개선하여 cm 수준의 거리 측정 성능을 달성할 수 있다.
일 실시예에서, 측위 시스템에서 TWR로 측정된 거리는 삼변 측량(trilateration)에 사용될 수 있다.
삼각 측량에서 태그 위치는 태그와 앵커 사이의 거리로 생성된 원의 교차점을 사용하여 추정될 수 있다.
일 실시예에서, 최소 제곱(least-squares, LS) 근사는 이 교차점에서 태그 위치를 도출하는데 사용되는 널리 사용되는 지역화(localization) 방법일 수 있다.
또한, 일 실시예에서, WLS(Weighted LS)는 가중치 요소에 거리, 잔차 분산 및 추정 오차를 적용하여 측위 성능을 향상시킬 수 있다.
또한, 일 실시예에서, 범위 지정 및 위치 지정을 위해 칼만 필터(Kalman Filter, KF)를 사용하는 것일 수 있다.
특히, 일 실시예에서, EKF(extended KF)는 비선형 설계를 선형화하고 최적화하기 위한 방식일 수 있다.
EKF 기반 지역화는 일반적으로 추적 및 내비게이션과 같은 측위 시스템이 비선형 모델로 식별되기 때문에 KF보다 더 견고할 수 있다.
실제로 EKF는 다양한 실내 측위 시스템에 사용될 수 있다.
그러나 EKF 측위법을 이용하여 측위 시스템이 고도화되었으나 복잡한 실내 환경에서 전파되는 UWB 신호는 여전히 다중 경로로 인해 거리 측정 성능이 저하되는 문제가 있다.
즉, 이러한 불안정한 거리 측정은 EKF 위치 파악의 측위 성능 향상을 제한할 수 있다.
따라서 태그와 앵커 사이의 채널 상태는 그들 사이의 거리 측정에 의존하는 UWB 측위에서 가장 중요한 요소로 간주될 수 있다.
LOS(Line-of-Sight)와 NLOS(Non-LOS) 채널을 식별하여 향상된 성능을 보이는 다른 UWB 측위 시스템이 사용될 수 있다.
이러한 방법은 채널 임펄스 응답(channel impulse response, CIR)에서 관찰된 무선 매개변수(radio parameter)를 사용하여 채널 상태를 추정할 수 있다.
NLOS 식별 및 완화를 위해 이러한 무선 매개변수는 SVM(Support Vector Machine), 의사 결정 트리(decision tree), 랜덤 포레스트(random forest) 및 GAN(Generative Adversarial Network)과 같은 기계 학습(machine learning, ML)과 결합될 수 있다.
최근 병렬 컴퓨팅을 위한 하드웨어의 발전으로 학습 과정에서 스스로 특징을 추출할 수 있는 딥러닝(deep learning , DL) 접근이 고려되고 있다.
CNN(Convolutional Neural Network) 및 LSTM(Long Short-Term Memory)과 같은 DL 기반 방법은 UWB 장치에서 무선 매개변수를 측정하는 대신 원시 CIR 시퀀스를 직접 사용하여 채널 분류의 정확도를 향상시킬 수 있다.
ML 및 DL을 활용하는 이러한 인공 지능(AI) 접근 방식은 80% 이상의 LOS/NLOS 분류 정확도를 달성할 수 있다.
그러나 일반적인 실내환경은 인체, 가구, 전자제품, 건축 등에서 발생하는 다양한 NLOS 조건을 포함하고 있다.
이 환경은 불규칙한 UWB 범위 오차를 생성할 수 있다.
즉, LOS와 NLOS의 단순한 이진 분류로는 UWB 레인징 기반으로 동작하는 실내 측위 시스템의 성능 한계를 극복할 수 없다.
한편, DL 기반 회귀 접근법이 제시될 수 있다.
이러한 방법은 테스트베드 환경에서 위치의 목표 좌표를 직접 예측하여 위치 지정 성능을 향상시킬 수 있다.
그러나 채널 트레이닝 데이터를 기반으로 한 태그 위치 추정은 바닥 지도, 앵커 배치, 장애물 배치 등으로 인해 미지의 실내 환경에 적용할 수 없기 때문에 태그의 위치 지정은 트레이닝된 서비스 영역으로 제한될 수 있다.
미지의 서비스 영역에 측위를 적용하기 위해서는 미지의 영역에서도 채널 상태를 재훈련해야 하는 추가적인 작업량이 필요하다.
본 발명에서는 다양한 채널 조건에서 훈련된 AI-UWB로 명명된 본 발명에 따른 AI 적용 UWB 측위 시스템이 미지의 NLOS 환경에서도 기존의 위치 파악 방법보다 더 나은 성능을 낼 수 있음을 보여주고, 미지의 측위 영역을 각각 재훈련하지 않는 UWB 측위에서 가치있는 접근법이 될 수 있다.
일 실시예에서, UWB 레인징(ranging)의 NLOS 효과의 경우, 일반적으로 TOA 기반 UWB 측위 시스템은 태그 위치를 결정하기 위해 태그와 각 앵커 사이의 거리를 추정해야 할 수 있다.
UWB 레인징은 메시지 교환의 타임스탬프를 사용하여 UWB 신호의 전파 시간을 얻는 프로세스일 수 있다.
나노 스케일의 시간 분해능으로 인해 UWB 장치는 레인징 메시지를 교환할 때 UWB 장치 간의 최단 경로를 모니터링하여 올바른 전파 시간을 관찰할 수 있다.
실제로 첫 번째 신호가 UWB 장치에 도착하면 수신기는 채널에서 전파된 심볼을 복조하고 TOA 측정을 위해 타임스탬프를 캡처할 수 있다.
클린 LOS 채널에서 처음 도착한 신호는 최단 경로로 통과한 신호로 가정할 수 있다. 즉, TWR에서 얻은 TOA는 장치 간의 실측값에 가까울 수 있다.
반면, NLOS 채널에서는 다중 경로 간섭과 장애물 침투 파(obstacle penetration wave)에 의해 처음 도착한 신호가 형성될 수 있다.
이 상황에서 UWB 타임스탬프는 다양하며 다중 경로 전파 환경에서 양의 편향로 나타날 수 있다.
따라서 타임스탬프 기반의 UWB 레인징 성능은 채널 상태에 영향을 받을 수 있다.
일 실시예에서, 레인징 결과인 UWB 장치간 거리 d를 <수학식 1>과 같이 나타낼 수 있다.
여기서, dact는 태그와 앵커 사이의 실제 거리이고, 은 분산 이고 평균이 0인 AWGN(Additive White Gaussian Noise)으로 간주되는 측정 오차(measurement error)를 나타내며, eB는 지수 랜덤 변수(exponential random variable)로 정의된 양의 NLOS 편향 오차(positive NLOS-biased error)를 나타낼 수 있다.
이제, eM, eB와 같이 d에 오차가 발생하는 이유를 관찰된 CIR로 설명할 수 있다.
수신된 UWB 신호는 전송된 IR-UWB 펄스의 여러 감쇠 및 지연 복제본의 합계로 모델링할 수 있으며, 이는 <수학식 2>와 같이 나타낼 수 있다.
여기서 는 j번째 경로의 시간 지연이고, s(t-)는 지연(delay) 를 갖는 수신된 IR-UWB 펄스를 나타내고, 는 평균이 0인 AWGN이며, 는 페이딩 계수일 수 있다.
도 1a는 본 발명의 일 실시예에 따른 LOS 채널에서의 CIR을 도시한 도면이다. 도 1b는 본 발명의 일 실시예에 따른 NLOS 채널에서의 CIR을 도시한 도면이다.
도 1a 및 1b를 참고하면, CIR로 표시된 수신된 UWB 신호의 실수 및 허수 구성 요소를 확인할 수 있다.
도 1a 및 1b에 제시된 CIR 관측치는 LOS 및 NLOS 채널에서 테스트베드를 사용하여 캡처될 수 있다.
LOS 및 NLOS 채널 모두에서 측정된 첫 번째 경로 신호(First path signal)는 도 1a 및 1b에 표시되어 있다.
LOS 채널에서 CIR은 750ns의 샘플링 시간에서 관찰된 첫 번째 경로 신호의 도착 시간에 강하게 집중된 에너지 분포를 나타낼 수 있다.
반면, NLOS 채널에서는 장애물 침투와 다중경로 간섭에 의해 수신 신호의 전체적인 세기가 약해졌으며 샘플링 시간 747ns에서 첫 번째 경로 신호가 관찰될 수 있다.
이 NLOS 예에서 763ns에서 측정된 신호는 첫 번째 경로 신호보다 강할 수 있다. 즉, NLOS 채널의 UWB 신호는 어수선한 환경에서 파괴적 간섭을 받을 수 있다.
더 나은 TWR 측정을 위해 이 UWB 채널을 분류해야 함은 분명할 수 있다.
본 발명의 경우, 시계열 CIR 데이터를 기반으로 UWB 채널 조건을 분류하는데 적합하기 때문에 LSTM 기반 AI 모델이 사용될 수 있다.
LSTM 네트워크는 일반적인 순환 신경망(recurrent neural network, RNN)의 장기 의존성 문제를 피하기 위해 사용될 수 있다.
과거 상태를 불러와 복잡한 시퀀스의 훈련 및 추론 성능을 향상시킬 수 있다.
도 2는 본 발명의 일 실시예에 따른 LSTM 셀의 구성요소를 도시한 도면이다.
도 2를 참고하면, LSTM 셀과 그 구성 요소를 확인할 수 있다. 여기서 f, i, o 및 g는 각각 망각 게이트(forget gate), 입력 게이트, 출력 게이트 및 셀 후보일 수 있다.
타임 스텝 t의 구성 요소에 대한 공식은 <수학식 3>과 같이 나타낼 수 있다.
여기서 ct 및 ht는 각각 셀 및 숨겨진 상태일 수 있다. 또한 WI , WR , b는 각각 입력 가중치, 순환(recurrent) 가중치, 편향(bias)을 나타낼 수 있다. Xt는 CIR로 표시되는 입력 시퀀스일 수 있다.
도 3은 본 발명의 일 실시예에 따른 DS-TWR+를 도시한 도면이다.
도 3을 참고하면, 레인징 절차(Ranging procedure)를 확인할 수 있다.
일 실시예에서, 도 3의 UWB 측위 시스템은 레인징 메시지를 교환하여 태그와 앵커 사이의 거리를 추정할 수 있다.
메시지 교환 방법 중 DS-TWR은 UWB 장치 간의 클럭 왜곡으로 인한 시간 드리프트를 완화하여 거리를 계산하는 방법일 수 있다.
본 발명에서는 추가 보고 메시지(additional report message)와 함께 거리 추정을 위해 DS-TWR을 사용할 수 있다.
추가 보고 메시지는 태그에 대해 레인지 결과를 보고했으며, CIR을 캡처하는데 사용될 수 있다.
도 3을 참고하면, 본 발명에서 DS-TWR+로 명명된 레인징 보고 메시지(ranging report message)를 포함하는 DS-TWR 방법을 확인할 수 있다.
도 3과 같이, DS-TWR의 메시지 교환은 TS1에서 TS6까지의 타임스탬프가 생성될 수 있다.
모든 타임스탬프는 거리 계산에 필요하기 때문에 태그(310)는 두 번째 메시지에서 캡처된 타임스탬프 TS1 , TS4 및 TS5를 앵커(320)로 보낼 수 있다.
앵커(320)는 이 메시지를 수신한 후 저장된 타임스탬프 TS2, TS3 및 TS6을 사용하여 다음과 같이 태그(310) 및 앵커(320) 측의 왕복 시간 및 응답 시간을 <수학식 4>(태그 측) 및 <수학식 5>(앵커 측)과 같이 나타낼 수 있다.
여기서, TroundT는 태그(310)의 왕복 시간, TreplyT는 태그(310)의 응답 시간을 나타낼 수 있다.
여기서, TroundA는 앵커(320)의 왕복 시간, TreplyA는 앵커(320)의 응답 시간을 나타낼 수 있다.
따라서 UWB 메시지의 전파 시간(Tp), 즉, TOA는 <수학식 6>과 같이 나타낼 수 있다.
마지막으로, 태그(310)와 앵커(320) 사이의 거리는 d=Tp c로 결정되며, c는 빛의 속도일 수 있다. 이 DS-TWR+ 절차에서 앵커(320)는 최종적으로 위치 파악을 위해 계산된 거리 d를 제공하기 위해 레인징 보고 메시지를 태그(310)로 전송할 수 있다.
또한 이 보고 메시지의 CIR은 채널 상태를 식별하는데 사용될 수 있다.
거리 계산 및 CIR 관찰은 TWR 메시지 교환 후에 수행될 수 있다. 이러한 프로세스는 레인징 메시지의 전송 일정을 방해할 수 있기 때문일 수 있다.
도 4는 본 발명의 일 실시예에 따른 TWR 기반 UWB 측위를 도시한 도면이다. 도 5a는 본 발명의 일 실시예에 따른 ELF 지역화 알고리즘을 도시한 도면이다. 도 5b는 본 발명의 일 실시예에 따른 NLOS 효과가 완화된 EKF 지역화를 도시한 도면이다.
도 4를 참고하면, 지역화(Localization) 방법을 확인할 수 있다.
TWR 기반 UWB 측위 시스템은 일반적으로 알려지지 않은 태그 위치를 찾기 위해 앵커 위치와 예상 거리를 모두 필요로 할 수 있다.
도 4를 참고하면, 2차원(2D) 공간에서 사용되는 삼변 측량의 태그 위치 지정을 확인할 수 있다.
태그 위치는 생성된 원의 교차점에 해당하며 <수학식 7>과 같이 나타낼 수 있다.
여기서 dn은 (x, y) 좌표에 위치한 태그와 (xn, yn) 좌표에 위치한 사전 배치된 n 번째 앵커 사이의 거리일 수 있다.
실제 응용 프로그램에서는 레인징 오차가 단일 교차점만 생성하지 않기 때문에 LS 방법을 태그 위치 근사에 사용할 수 있다.
태그 위치(x, y)에 대한 LS 솔루션은 <수학식 7>을 확장하여 <수학식 8>을 획득할 수 있다.
그런 다음 형식에 적용하여 <수학식 9>와 같이 나타낼 수 있다.
이제 태그 위치에 대한 벡터 는 다음과 같이 근사화하여 <수학식 10>과 같이 나타낼 수 있다.
TWR은 장치 간 거리가 멀어지면 클록 스큐 및 다중 경로로 인해 오차가 증가하는 경향이 있다.
이러한 다중 경로 실내 환경에서 LS 방식은 거리 측정을 위해 각 앵커에 동일한 가중치를 할당하기 때문에 한계가 있다.
반면, WLS는 각 앵커에 가중치를 부여하여 측위 성능을 향상시킬 수 있다.
거리 가중 WLS 솔루션 및 가중치 행렬 는 <수학식 11> 및 <수학식 12>와 같이 나타낼 수 있다.
WLS는 태그 위치의 추정 성능을 향상시킬 수 있지만 불안정한 측정 잡음에 적응하지 못할 수 있다.
본 발명에 따른 UWB 시스템은 EKF 지역화를 포함할 수 있다.
타겟 보행자가 2차원 평면에서 등속, 가속도로 직선 경로로 태그를 이동한다고 가정할 수 있다.
따라서 k 시점(즉, 타임 스텝)에서의 상태 벡터 Xk는 <수학식 13>과 같이 나타낼 수 있다.
여기서 xk와 yk는 태그의 좌표, vx k와 vy k는 태그의 속도, ax k와 ay k는 태그의 가속도일 수 있다.
따라서 UWB 측위의 상태방정식은 <수학식 14>와 같이 나타낼 수 있다.
여기서 는 공분산 행렬 및 제로 평균으로 표현되는 프로세스 잡음 벡터 k-1일 수 있다.
<수학식 15>에 표현된 A와 G는 각각 상태 전이 행렬(state transition matrix)과 잡음 유도 행렬(noise driving matrix)을 나타내며, 여기서 Ts는 샘플 시간일 수 있다.
Zk가 태그와 앵커 n 사이의 각 TWR에 대한 측정 벡터를 나타내도록 하고, 시간 단계 k에서 측정 잡음 vn k와 실제 거리 dn k를 포함할 수 있다.
따라서 UWB 레인징의 측정식은 <수학식 16> 및 <수학식 17>과 같이 나타낼 수 있다.
여기서, vk는 공분산 행렬 및 제로 평균으로 표시되는 측정 잡음 벡터를 나타낼 수 있다.
EKF 알고리즘에서 <수학식 17>의 비선형 방정식은 1차 Taylor 확장을 기반으로 선형화되고, 이는 <수학식 18>과 같이 Jacobian 행렬 Hk에 의해 제공될 수 있다.
2D 평면에서 EKF 지역화 절차는 도 5a 및 5b에 나와 있다.
이 작업에서 예측 및 수정 단계는 샘플 시간 Ts를 사용하여 시간 단계 k에서 수행될 수 있다.
또한 Ts는 <수학식 16>에 표시된 모든 배치된 앵커에 대한 TWR 기간을 포함하는 위치 업데이트 간격을 나타낼 수 있다.
도 6은 본 발명의 일 실시예에 따른 NLOS 효과가 완화된 딥러닝 기반 UWB 측위 시스템(600)을 도시한 도면이다.
도 6을 참고하면, AI를 적용한 UWB 측위 시스템(100)는 앵커(610), 태그(620) 및 단말(630)을 포함할 수 있다. 단말(630)은 사용자에 의해 사용되는 호스트 컴퓨터를 포함할 수 있다.
WLS 및 EKF는 LOS 환경에서 UWB 태그 위치를 추정하는데 사용할 수 있다.
그러나 실내 조건이 다양한 NLOS 환경에서 WLS는 불확실한 측정으로 인해 정밀도가 낮은 변동 궤적을 생성할 수 있다.
반면, EKF는 최적의 상태 추정 프로세스를 통해 이러한 불확실성을 줄일 수 있다.
그럼에도 불구하고 EKF의 위치 추정 성능은 NLOS 채널 조건과 편향된 오차의 영향을 받는 측정 모델 변동으로 인해 저하될 수 있다.
따라서 NLOS 채널 상태를 파악하고 측정 모델을 업데이트하기 위해서는 향상된 측위 방법이 필요할 수 있다.
본 발명에서는 실내 환경에서 측정 모델 변화에 적응하는 AI-EKF라는 향상된 EKF 측위를 포함하는 AI 기반 UWB 측위 시스템(100)이 사용될 수 있다.
본 발명에 따른 AI-EKF는 심층 신경망 기반 AI를 채택했는데, 이는 다양한 채널 조건을 정확하게 식별할 수 있고 LOS와 NLOS로 단순 이진 분류를 수행하는 다른 것보다 더 나은 분류 성능을 보일 수 있기 때문이다.
도 6을 참고하면, 첫째, 태그(620)는 앵커(610)와 DS-TWR+를 수행하여 거리와 CIR을 캡처할 수 있다. 일 실시예에서, 태그(620)는 UWB 태그(620) 또는 이와 동등한 기술적 의미를 갖는 용어로 지칭될 수 있다.
그런 다음, 태그(620)는 식별을 위한 앵커 번호, 거리, CIR 스트림, 추가 링크 진단 데이터 및 순환 중복 검사(CRC)를 단말(630)로 전송할 수 있다.
단말(630)은 AI-EKF 지역화(localization)로 태그(620)의 위치를 추정할 수 있다.
일 실시예에서, 어플리케이션에 따라 태그(620)와 단말(630)은 통합되거나 분리될 수 있다.
본 발명에 따른 UWB 측위 방법의 주요 특징은 채널 상태를 학습하는 LSTM 모델로 학습하지 않은 미지의 위치에서도 사용할 수 있다는 점이다. 위치 좌표가 아닌 수신된 UWB 신호의 CIR에 대응하는 UWB 장치 간의 UWB 레인징 오차를 학습 전략으로 삼기 때문이다.
도 7은 본 발명의 일 실시예에 따른 AI-EKF 지역화를 도시한 도면이다. 도 7의 각 단계는 단말(630)에 의해 수행될 수 있다.
도 7을 참고하면, S701 단계(DS-TWR+ 단계)에서, 태그(620)와 각 앵커(610) 사이의 거리와 CIR을 얻을 수 있다.
S703 단계(AI 추론 단계)에서, CIR을 사전 훈련된 LSTM 분류 네트워크에 입력으로 적용하여, 수행된 DS-TWR+의 채널 조건을 산출할 수 있다.
S705 단계(NLOS 완화 단계)에서, 이전 단계에서 분류한 채널 조건을 해석하여 획득한 거리의 NLOS로 인한 오차를 줄일 수 있다.
즉, NLOS 완화 측정 벡터 와 EKF 보정 단계에 필요한 잡음 공분산 행렬 를 생성할 수 있다.
S705 단계(EKF 예측)와 S707 단계(EKF 수정)에서, 이러한 및 를 사용하여 EKF 위치 파악을 수행하고, S711 단계(NLOS 완화된 측위)에서, AI-EKF를 통해 NLOS 효과가 완화된 추정 위치 를 제공할 수 있다.
즉, 본 발명에 따르면, LSTM 신경망과 확장칼만필터 측위알고리즘에 적용한 것으로, CIR에서 10단계로 분류된 채널 조건 추론하여 해당 단계의 평균 오류를 활용하여, 측정 거리에서 빼 오차를 제거하고, 오류 분산을 확장칼만필터의 측정잡음공분산 행렬에 적용한 가중치를 부여할 수 있다.
도 8은 본 발명의 일 실시예에 따른 NLOS 채널 조건의 분류를 위한 라벨링 방식을 도시한 도면이다.
도 8을 참고하면, AI 훈련 및 추론을 확인할 수 있다.
AI 추론 단계는 도 7과 같이 사전 훈련된 LSTM 네트워크를 사용하여 채널 조건에 대한 분류를 수행할 수 있다.
본 발명에서 NLOS 채널 조건은 TWR의 광범위한 데이터 세트를 사용하여 분류될 수 있다.
이 데이터 세트는 다양한 LOS 및 NLOS 채널 조건을 가진 실내 환경에서 수집된 CIR 데이터 및 해당 TWR 오차로 구성될 수 있다.
데이터 세트 레이블 지정을 위해 UWB 채널은 클러터(clutter), 반사 및 벽 통과와 같은 전파 조건에 대한 정보와 관계없이 TWR 오차의 십분위수를 기준으로 10단계로 나누어질 수 있다.
본 발명에 따른 라벨링 방법은 AI 모델이 TWR 오차의 통계를 학습하고 NLOS 완화 측정을 EKF에 제공하는데 도움이 되기 때문에 EKF 지역화와 쉽게 통합될 수 있다.
또한, 본 발명에 따른 인공지능 훈련에서는 실내 환경 특성에 대한 정보를 제외하고 있기 때문에 추가적인 인공지능 훈련 및 데이터 수집 없이도 새로운 환경에 효과적으로 적용할 수 있다.
도 8을 참고하면, 전체 데이터 세트를 그러한 데이터 세트와 같은 10개의 동일한 세그먼트으로 분할하는 TWR 오차의 십분위수로 표시되는 NLOS 채널 조건의 분류를 위한 라벨링 방법을 확인할 수 있다.
오름차순으로 정렬된 데이터셋의 십분위수 (Dl)는 로 인덱싱된 값으로 나타낼 수 있으며, 여기서 Nds는 전체 데이터셋의 총 데이터 샘플 수를 나타내고, l은 십분위수 순위이며 레이블 D1~D10에 대한 분포 정보는 도 9과 같다.
레이블이 지정된 각 샘플의 데이터 크기는 모집단 집합의 10%에 해당할 수 있다.
또한, TWR 오차는 지수 랜덤 변수(exponential random variable)로 모델링하기 때문에 각 레이블의 범위는 기하급수적으로 증가할 수 있다.
예를 들어, 레이블 1의 채널 조건(상위 10% TWR 정확도)은 좁은 오차 범위에서 높은 정밀도를 갖습니다.
따라서, 해당 조건은 가장 짧은 직접 경로를 가진 클린 LOS 환경에 속할 수 있다.
그러나 라벨 10(하위 10% TWR 정확도)은 넓은 오차 범위에서 정밀도가 낮고 편향 오차가 심한 극단적인 NLOS 환경에 가까울 수 있다.
도 8과 같이 각각 80%, 10% 및 10% 비율로 훈련 세트, 검증 세트 및 테스트 세트로 변환할 수 있다.
각 훈련 에포크(epoch)에서 훈련 세트는 정규 분포된 난수로 섞일 수 있다. 각 분류 네트워크는 훈련 데이터 세트에 적합하고 검증 세트에 의해 평가될 수 있다.
그런 다음 검증 세트로 얻은 편향되지 않은 평가 결과를 사용하여 가장 적합한 AI 모델과 해당 하이퍼파라미터를 선택할 수 있다.
도 9는 본 발명의 일 실시예에 따른 라벨링된 데이터 세트를 도시한 도면이다.
도 9를 참고하면, NLOS 완화를 확인할 수 있다. TWR 오차의 통계는 일반적으로 NLOS 오차를 추정하는데 사용될 수 있다.
도 9의 TWR 오차 분류는 각 레이블이 지정된 데이터 세트가 우리 작업에서 평균 TWR 오차 로 표시되는 양의 NLOS 편향 오차 eB를 가지고 있음을 확인할 수 있다.
NLOS 완화를 위해 EKF 지역화에서 양으로 편향된 NLOS 오차 없이 UWB 범위 Zk의 측정 값과 레이블이 지정된 데이터 세트의 분산을 사용하는 잡음 공분산 행렬 Rk를 사용할 수 있다.
따라서 시간 단계 k에서 NLOS 완화 측정 및 는 <수학식 19> 및 <수학식 20>과 같이 나타낼 수 있다.
여기서 bk는 AI 모델로 예측된 NLOS 편향된 오차 벡터를 나타내고, 앵커 n과 분류된 레이블 l의 조건에서 및 은 각각 레이블이 지정된 데이터세트의 평균 오차 및 오차 분산일 수 있다.
마지막으로 결정된 및 는 도 5a의 보정 단계에서 사용될 수 있다.
수정 단계 후 제안된 AI-EKF 지역화는 NLOS 완화된 위치를 사용자에게 제공할 수 있다.
즉, 도 9를 참고하면, 전체 데이터를 모집단으로, 각 레이블은 표본 평균 과 표본 분산 의 오차 분포를 가질 수 있다.
또한, 각 레이블 안에 NLOS 편향 오차를 포함하므로, 대표 값인 표본 평균을 편향 오차로, 표본 분산을 측정 오차 모델로 사용할 수 있다.
도 10은 본 발명의 일 실시예에 따른 각 DL 모델에 대한 검증 정확도를 도시한 도면이다.
도 10을 참고하면, 각 설계된 모델과 검증 정확도의 나열을 확인할 수 있다.
모델 선택을 위해 LSTM, 양방향 LSTM(Bi-LSTM), 1차원 컨볼루션 레이어를 사용하는 CNN(Conv1D), GRU(Gated Recurrent Unit) 등 다양한 DL 모델을 평가할 수 있다.
구체적으로, 유사한 UWB 측위 작업에서 채택된 CNN 모델을 선택하고 제안된 LSTM 기반 네트워크와의 비교를 위해 조정할 수 있다.
여기에서 모델 9에 대해 전역 평균 풀링 레이어(global average pooling layer)(gAvg 풀)를 사용하여 Conv1D 출력을 평탄화할 수 있다.
모든 테스트 AI 모델의 입력 레이어는 효율적인 AI 훈련을 위해 샘플 시간 497~992ns 동안 관찰된 절반 크기의 CIR 스트림을 사용할 수 있다.
샘플 시간 1~496ns의 CIR에 유효한 UWB 신호 없이 잡음이 있기 때문에 추론할 수 있다.
따라서 입력 시퀀스 길이는 CIR의 절대값(CIRabs)과 원시 CIR(CIRraw)의 형태로 496일 수 있다.
Softmax의 출력 레이어에는 도 7과 같이 채널 분류를 위한 10개의 히든 유닛으로 구성된 Dense 레이어가 포함되어 있다.
모델 1~8의 각 히든 레이어는 20%의 드롭아웃 레이어에 연결될 수 있다.
마지막으로 Adam 옵티마이저, 러닝 레이트(learning rate) 0.001(constant), 그레디언트 임계값(gradient threshold) 1, 크로스 엔트로피(cross-entropy)의 손실 함수(loss function) 조건으로 AI 모델 학습을 진행할 수 있다.
CIR 크기로 표현된 CIRabs는 모델 훈련 시 CIR 신호에서 위상 정보를 제외했기 때문에 동일한 LSTM 모델로 CIRraw를 사용하는 모델 3 및 4보다 검증 정확도가 낮았습니다.
모델 4보다 더 깊은 LSTM 모델을 사용하는 모델 5와 6은 유사한 검증 정확도를 달성할 수 있다.
유사하게 bi-LSTM 모델을 사용하는 모델 8은 모델 4보다 약간 낮은 81.05%의 validation 정확도를 보였다.
즉, 모델 5, 6, 8은 훈련 시간과 자원을 낭비하는 모델 복잡성 때문에 제안 시스템에서 제외될 수 있다.
모델 9와 10은 일반적으로 LSTM 기반 모델보다 가벼운 것으로 알려져 있지만 80% 이상의 검증 정확도를 달성하지 못할 수 있다.
따라서 모델 4는 우수한 분류 성능과 학습 효율성 때문에 본 발명에 따른 시스템으로 선택될 수 있다.
도 11은 본 발명의 일 실시예에 따른 UWB 데이터 수집을 위한 실험 공간을 도시한 도면이다.
도 11을 참고하면, 데이터셋 설정을 확인할 수 있다. 자료수집을 위한 실험공간은 도 9와 같이 특정 건물의 8층의 전형적인 실내환경이었다.
데이터 수집은 (a)에서 (d)까지 4개의 하위 영역에서 수행될 수 있다.
하위 영역 (a)은 테이블과 멀티미터, 오실로스코프, 전원 공급 장치 및 함수 발생기와 같은 실험 장치가 있는 실험실일 수 있다.
하위 영역 (b)은 장애물이 없는 복도일 수 있다.
도 11의 사진은 이 하위 영역의 데이터 수집을 나타낼 수 있다. 하위 영역 (c)은 코너가 있는 홀일 수 있다.
이더넷 케이블을 교차 연결하는데 사용되는 IDF(Intermediate Distribution Frame) 공간은 이 모서리에 위치하여 극단적인 NLOS 경로를 생성할 수 있다.
마지막으로, 하위 영역 (d)은 칸막이, PC, 모니터, 사무용 가구 등이 배치된 공용 사무 영역이다. 측정 포인트는 사람의 간섭 없이 측정된 500개의 DS-TWR+ 결과를 저장했고 또 다른 500개의 결과를 저장할 수 있다.
또한 하위 영역 (a)의 태그는 하위 영역 (b)에서 전달되는 UWB 신호의 투과 전파 효과를 측정할 수 있다.
마지막으로 표준 편차 3을 기준으로 수집된 TWR 오차에서 이상값 신호를 제거할 수 있다.
도 9는 UWB 채널 분류를 위해 실험 영역에서 측정된 레이블이 지정된 데이터 세트를 확인할 수 있다.
도 12a는 본 발명의 일 실시예에 따른 KNOWN 시나리오에 대한 실험 공간을 도시한 도면이다. 도 12b는 본 발명의 일 실시예에 따른 UNKNOWN 시나리오에 대한 실험 공간을 도시한 도면이다.
도 12a 및 12b를 참고하면, 시나리오 설정을 확인할 수 있다.
도 12a 및 12b와 같은 장소에서 본 발명에 따른 UWB 측위 시스템의 성능을 평가하기 위해 두 가지 유형의 실험 시나리오를 설정할 수 있다.
첫 번째 시나리오는 훈련 세트가 수집된 동일한 장소에서 실험을 수행하는 것으로 KNOWN 일 수 있다.
즉, 데이터 수집 공간인 8층의 벽으로 분리된 실험실과 복도에서 실험을 진행할 수 있다.
다른 시나리오는 훈련 세트가 수집된 위치, 즉, 같은 건물 2층에 있는 강화 유리로 구분된 사무실과 복도가 아닌 다른 장소에서 실험을 수행하는 UNKNOWN일 수 있다.
이 위치에서 복도는 2층으로 열린 공간을 확장했다.
도 13a 및 13b는 본 발명의 일 실시예에 따른 실험 공간에 대한 실내 지도를 도시한 도면이다. 도 14는 본 발명의 일 실시예에 따른 각 위치별 좌표를 도시한 도면이다. 도 15는 본 발명의 일 실시예에 따른 각 위치별 웨이 포인트를 도시한 도면이다.
도 13a 및 13b를 참고하면, 실험 시나리오의 실내 지도를 보여주며, 그 기준점과 앵커를 묘사할 수 있다.
도 14에는 기준점과 앵커의 좌표가 나열되어 있다. 도 15에 나열된 대로 각 시나리오에 대해 세 가지 다른 경로를 생성하는데 사용될 수 있다.
각 경로에서 1.5m 높이의 모바일 태그가 보행자의 손에 쥐어져 일정한 속도로 경유지를 하나씩 통과할 수 있다.
이 상황에서 단말은(630)은 타임스탬프를 기록하여 모바일 태그 궤적의 실측 정보를 생성할 수 있다.
이러한 타임스탬프는 웨이포인트를 통과할 때 저장되었으며 대상 태그의 평균 속도를 계산하는데 사용될 수 있다.
A0에서 A4까지의 기준점에 배치된 앵커는 1.5m 높이의 삼각대에 배치될 수 있다. 성능 평가를 위해 본 발명에 따른 AI-EKF 방법을 AI 접근이 없는 기존의 LS, WLS, EKF 측위 방법과 비교할 수 있다.
본 비교에서는 EKF와 AI-EKF의 Q 값을 diag(0.01, 0.01)로 설정하였고, EKF의 R은 5개의 앵커에 대해 diag(0.01, 0.01, 0.01, 0.01, 0.01)로 구성할 수 있다.
도 16은 본 발명의 일 실시예에 따른 LSTM 네트워크의 분류 성능을 도시한 도면이다.
도 16을 참고하면, NLOS 분류 성능을 확인할 수 있다.
도 16은 도 7의 제안된 LSTM 모델의 분류 성능을 제공하기 위해 테스트 세트로 얻은 혼동 행렬을 확인할 수 있다.
도 16에서 대상 클래스는 테스트 데이터 세트의 실제 레이블이고 출력 레이블은 제안된 모델의 예측된 레이블일 수 있다.
각 레이블에 대해 맨 오른쪽 열은 정밀도와 FDR(False Discovery Rate)을 나타내고 맨 아래 행은 재현율과 FNR(False Negative Rate)을 나타낼 수 있다.
이 평가에서 81.7%의 전체 정확도를 달성했으며 각 레이블에 대한 FDR 및 FNR은 주로 인접한 레이블에서 발견될 수 있다.
선택된 모델이 본 발명에 따른 AI-UWB 측위 시스템의 채널 분류에 유용할 수 있음은 분명하다.
도 17a 내지 17c는 본 발명의 일 실시예에 따른 KNOWN 시나리오의 장소별 궤적을 도시한 도면이다. 도 18a 내지 18c는 본 발명의 일 실시예에 따른 KNOWN 시나리오의 장소별 위치 오차의 CDF를 도시한 도면이다. 도 19는 본 발명의 일 실시예에 따른 KNOWN 시나리오에 대한 위치 오차의 RMSE를 도시한 도면이다. 도 20은 본 발명의 일 실시예에 따른 KNOWN 시나리오에 대한 위치 오차의 STD를 도시한 도면이다.
도 17a 내지 17c를 참고하면, 측위 성능을 확인할 수 있다. 측위 오차의 CDF(cumulative distribution function), RMSE(Root Mean Square Error), STD(Standard Deviation) 측면에서 각 시나리오별 본 발명에 따른 시스템의 측위 성능 결과를 미터 단위로 제공할 수 있다.
일 실시예에서, KNOWN 시나리오의 경우, 도 17a 내지 17c와 도 18a 내지 18c는 KNOWN 시나리오에서 각 방법에 대한 측위 오차의 궤적과 CDF를 확인할 수 있다.
또한, 도 19와 도 20을 참고하면, 같은 조건에서 각 방법별로 측정한 위치 오차의 RMSE와 STD를 확인할 수 있다.
이 시나리오에서는 실험실에 3개의 앵커(A1, A2 및 A3)가 설치되었고 복도에 2개의 앵커(A0 및 A4)가 설치될 수 있다.
도 15의 태그 경로는 태그와 앵커 사이의 LOS 상태가 다르기 때문에 채널 조건이 서로 다를 수 있다.
실험 환경 조건에서 WLS를 제공하면 앵커에 대한 거리 근접성을 기반으로 하는 적응 가중치 할당 정책으로 인해 LS에 비해 각 궤적에서 평균 14.4% RMSE 향상을 달성할 수 있다.
또한 WLS는 LS에 비해 평균 35.6%의 STD 개선을 달성했지만 여전히 일부 영역에서 튀는 궤적을 생성할 수 있다. 반면에 EKF는 LS 및 WLS 방법보다 안정적인 측위 결과를 생성할 수 있다.
또한 EKF는 재귀적 상태 추정 능력으로 인해 LS에 비해 평균 62.5%의 STD 향상을 달성할 수 있다.
그러나 NLOS 편향 오차가 측정 단계에 영향을 미치기 때문에 WLS보다 6.2% 더 낮은 성능을 보임을 확인할 수 있다.
실제로 각 앵커의 거리 측정값에 유사한 NLOS 편향 오차가 있는 경우 LS 솔루션은 정확한 위치에 가까운 교차점을 추정할 수 있다.
따라서 EKF 지역화를 NLOS 환경에 적용할 경우 RMSE 관점에서의 성능 향상은 제한적일 수 있다.
예를 들어, 제안된 AI-EKF는 P2 및 P16 주변의 궤적 변동을 수정할 수 있다.
이 위치에는 보행자의 손에 들고 있는 태그 뒤에 여러 개의 앵커가 있다.
게다가 태그 주변에는 철제 문, 벽, 가구 등이 있어 위치 추정에 악영향을 미쳤다.
그러나 AI-EKF는 EKF에 비해 평균적으로 RMSE 48.3%, STD 43%의 측위 결과를 향상시켰다.
도 21a 내지 21c는 본 발명의 일 실시예에 따른 UNKNOWN 시나리오의 장소별 궤적을 도시한 도면이다. 도 22a 내지 22c는 본 발명의 일 실시예에 따른 UNKNOWN 시나리오의 장소별 위치 오차의 CDF를 도시한 도면이다. 도 23은 본 발명의 일 실시예에 따른 UNKNOWN 시나리오에 대한 위치 오차의 RMSE를 도시한 도면이다. 도 24는 본 발명의 일 실시예에 따른 UNKNOWN 시나리오에 대한 위치 오차의 STD를 도시한 도면이다.
도 21a 내지 21c를 참고하면, 시나리오 UNKNOWN의 경우를 확인할 수 있다.
도 21a 내지 21c와 도 22a 내지 22c를 참고하면, UNKNOWN 시나리오에서 각 방법에 대한 측위 오차의 궤적과 CDF를 확인할 수 있다.
도 23과 도 24는 각각의 방법에 대한 위치 오차의 RMSE와 STD도 표현하고 있다.
이 UNKNOWN 시나리오에서 앵커 배치는 사무실 그룹(A1, A2 및 A3)과 회랑 그룹(A0 및 A4)으로 나누어 KNOWN 시나리오와 유사할 수 있다.
이 시나리오는 AI 접근법의 효과를 평가하는데 유용한 KNOWN 시나리오와 다른 UWB 채널 환경을 제공할 수 있다.
UNKNOWN 조건에서는 더 나은 측위 커버리지를 위해 앵커 사이의 거리가 더 줄어들었고 스테인리스강 프레임 유리벽, 강철 가드레일 및 콘크리트 기둥에 의해 유도된 UWB 신호 감쇠를 포함하여 더 나쁜 채널 기능이 있을 수 있다.
따라서 도 11b에서 이러한 장애물로 인해 P6, P9 부근에서 Worst zone이 발생할 수 있다.
그러나 WLS와 EKF는 KNOWN 사례와 유사한 성능 결과를 보였다.
WLS는 LS 대비 RMSE 15%, STD 40.7%, EKF는 LS 대비 RMSE 6.9%, STD 50%를 달성했다. AI-EKF의 학습된 모델은 이 환경에서 CIR을 학습하지 않을 수 있다.
그럼에도 불구하고 앵커 배치, 장애물 배치, 건물 구조 등과 같은 환경 조건에 관계없이 LSTM 네트워크가 TWR 오차 범주를 잘 분류했기 때문에 NLOS 효과를 성공적으로 완화할 수 있다.
즉, 본 발명에 따른 분류 모델은 데이터 수집을 단순화하고 서비스 영역을 변경하여 재훈련할 필요가 없기 때문에 유지보수 측면에서 측위 서비스 설계에 유연성을 제공할 수 있다. 본 발명에 따른 AI-EKF는 기존의 다른 방법들보다 더 좋은 측위 성능을 보일 수 있다.
따라서, 본 발명에 따른 시스템이 UWB 시스템의 NLOS 효과를 완화시킬 수 있다.
도 25는 본 발명의 일 실시예에 따른 NLOS 효과가 완화된 딥러닝 기반 UWB 측위 방법을 도시한 도면이다. 일 실시예에서, 도 25의 각 단계는 도 26의 UWB 측위 장치(2600)에 의해 수행될 수 있다.
도 25를 참고하면, S2501 단계는, 앵커(610)와 태그(630) 간 거리 및 앵커(610)와 태그(630) 간 통신 메시지에 대한 CIR을 포함하는 신호를 수신하는 단계이다.
S2503 단계는, CIR에 기반하여 채널 조건을 분류하는 단계이다.
일 실시예에서, CIR을 분류 AI 모델에 입력하여, CIR에 대한 거리의 오차(error)에 대하여 다수의 레이블(label)로 구성된 채널 조건을 출력할 수 있다.
일 실시예에서, 채널 조건은, 상기 거리의 오차를 십분위수(deciles)를 기준으로 분류하여 결정될 수 있다.
S2505 단계는, 채널 조건 및 앵커(610)와 태그(630) 간 거리에 기반하여 상기 태그의 위치를 결정하는 단계이다.
일 실시예에서, 다수의 레이블 각각에 대하여 거리의 오차에 대한 표본 평균 및 표본 분산을 산출하고, 표본 평균 및 표본 분산에 기반하여 태그(620)의 위치를 결정할 수 있다.
일 실시예에서, 표본 평균 및 거리에 기반하여 NLOS(Non-Line-of-Sight) 완화 측정 벡터를 산출하고, 표본 분산에 기반하여 잡음 공분산 행렬을 산출하고, NLOS 완화 측정 벡터 및 잡음 공분산 행렬에 기반하여 태그(620)의 위치를 결정할 수 있다.
도 26은 본 발명의 일 실시예에 따른 NLOS 효과가 완화된 딥러닝 기반 UWB 측위 장치(2600)의 기능적 구성을 도시한 도면이다. 일 실시예에서, 도 26의 UWB 측위 장치(2600)는 도 6의 단말(630)을 포함할 수 있다.
도 26을 참고하면, UWB 측위 장치(2600)는 통신부(2610), 제어부(2620) 및 저장부(2630)를 포함할 수 있다.
통신부(2610)는 앵커(610)와 태그(630) 간 거리 및 앵커(610)와 태그(630) 간 통신 메시지에 대한 CIR을 포함하는 신호를 수신할 수 있다.
일 실시예에서, 통신부(2610)는 유선 통신 모듈 및 무선 통신 모듈 중 적어도 하나를 포함할 수 있다. 통신부(2610)의 전부 또는 일부는 '송신부', '수신부' 또는 '송수신부(transceiver)'로 지칭될 수 있다.
제어부(2620)는 CIR에 기반하여 채널 조건을 분류하고, 채널 조건 및 앵커(610)와 태그(630) 간 거리에 기반하여 상기 태그의 위치를 결정할 수 있다.
일 실시예에서, 제어부(2620)는 적어도 하나의 프로세서 또는 마이크로(micro) 프로세서를 포함하거나, 또는, 프로세서의 일부일 수 있다. 또한, 제어부(2620)는 CP(communication processor)라 지칭될 수 있다. 제어부(2620)는 본 발명의 다양한 실시예에 따른 UWB 측위 장치(2600)의 동작을 제어할 수 있다.
저장부(2630)는 분류 AI 모델을 저장할 수 있다.
일 실시예에서, 저장부(2630)는 휘발성 메모리, 비휘발성 메모리 또는 휘발성 메모리와 비휘발성 메모리의 조합으로 구성될 수 있다. 그리고, 저장부(2630)는 제어부(2620)의 요청에 따라 저장된 데이터를 제공할 수 있다.
도 26을 참고하면, UWB 측위 장치(2600)는 통신부(2610), 제어부(2620) 및 저장부(2630)를 포함할 수 있다. 본 발명의 다양한 실시 예들에서 UWB 측위 장치(2600)는 도 26에 설명된 구성들이 필수적인 것은 아니어서, 도 26에 설명된 구성들보다 많은 구성들을 가지거나, 또는 그보다 적은 구성들을 가지는 것으로 구현될 수 있다.
이상의 설명은 본 발명의 기술적 사상을 예시적으로 설명한 것에 불과한 것으로, 통상의 기술자라면 본 발명의 본질적인 특성이 벗어나지 않는 범위에서 다양한 변경 및 수정이 가능할 것이다.
본 명세서에 개시된 다양한 실시예들은 순서에 관계없이 수행될 수 있으며, 동시에 또는 별도로 수행될 수 있다.
일 실시예에서, 본 명세서에서 설명되는 각 도면에서 적어도 하나의 단계가 생략되거나 추가될 수 있고, 역순으로 수행될 수도 있으며, 동시에 수행될 수도 있다.
본 명세서에 개시된 실시예들은 본 발명의 기술적 사상을 한정하기 위한 것이 아니라, 설명하기 위한 것이고, 이러한 실시예들에 의하여 본 발명의 범위가 한정되는 것은 아니다.
본 발명의 보호범위는 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 이해되어야 한다.
310: 태그
320: 앵커
600: UWB 측위 시스템
610: 앵커
620: 태그
630: 단말
2600: UWB 측위 장치
2610: 통신부
2620: 제어부
2630: 저장부

Claims (10)

  1. (a) 앵커와 태그 간 거리 및 상기 앵커와 태그 간 통신 메시지에 대한 CIR을 포함하는 신호를 수신하는 단계;
    (b) 상기 CIR에 기반하여 채널 조건을 분류하는 단계; 및
    (c) 상기 채널 조건 및 상기 앵커와 태그 간 거리에 기반하여 상기 태그의 위치를 결정하는 단계;
    를 포함하는,
    NLOS 효과가 완화된 딥러닝 기반 UWB 측위 방법.
  2. 제1항에 있어서,
    상기 (b) 단계는,
    상기 CIR을 분류 AI 모델에 입력하여, 상기 CIR에 대한 상기 거리의 오차(error)에 대하여 다수의 레이블(label)로 구성된 채널 조건을 출력하는 단계;
    를 포함하는,
    NLOS 효과가 완화된 딥러닝 기반 UWB 측위 방법.
  3. 제2항에 있어서,
    상기 채널 조건은, 상기 거리의 오차를 십분위수(deciles)를 기준으로 분류하여 결정되는,
    NLOS 효과가 완화된 딥러닝 기반 UWB 측위 방법.
  4. 제2항에 있어서,
    상기 (c) 단계는,
    상기 다수의 레이블 각각에 대하여 상기 거리의 오차에 대한 표본 평균 및 표본 분산을 산출하는 단계; 및
    상기 표본 평균 및 표본 분산에 기반하여 상기 태그의 위치를 결정하는 단계;
    를 포함하는,
    NLOS 효과가 완화된 딥러닝 기반 UWB 측위 방법.
  5. 제4항에 있어서,
    상기 (c) 단계는,
    상기 표본 평균 및 상기 거리에 기반하여 NLOS(Non-Line-of-Sight) 완화 측정 벡터를 산출하고, 상기 표본 분산에 기반하여 잡음 공분산 행렬을 산출하는 단계; 및
    상기 NLOS 완화 측정 벡터 및 잡음 공분산 행렬에 기반하여 상기 태그의 위치를 결정하는 단계;
    를 포함하는,
    NLOS 효과가 완화된 딥러닝 기반 UWB 측위 방법.
  6. 앵커와 태그 간 거리 및 상기 앵커와 태그 간 통신 메시지에 대한 CIR을 포함하는 신호를 수신하는 통신부; 및
    상기 CIR에 기반하여 채널 조건을 분류하고,
    상기 채널 조건 및 상기 앵커와 태그 간 거리에 기반하여 상기 태그의 위치를 결정하는 제어부;
    를 포함하는,
    NLOS 효과가 완화된 딥러닝 기반 UWB 측위 장치.
  7. 제6항에 있어서,
    상기 제어부는,
    상기 CIR을 분류 AI 모델에 입력하여, 상기 CIR에 대한 상기 거리의 오차(error)에 대하여 다수의 레이블(label)로 구성된 채널 조건을 출력하는,
    NLOS 효과가 완화된 딥러닝 기반 UWB 측위 장치.
  8. 제7항에 있어서,
    상기 채널 조건은, 상기 거리의 오차를 십분위수(deciles)를 기준으로 분류하여 결정되는,
    NLOS 효과가 완화된 딥러닝 기반 UWB 측위 장치.
  9. 제7항에 있어서,
    상기 제어부는,
    상기 다수의 레이블 각각에 대하여 상기 거리의 오차에 대한 표본 평균 및 표본 분산을 산출하고,
    상기 표본 평균 및 표본 분산에 기반하여 상기 태그의 위치를 결정하는,
    NLOS 효과가 완화된 딥러닝 기반 UWB 측위 장치.
  10. 제9항에 있어서,
    상기 제어부는,
    상기 표본 평균 및 상기 거리에 기반하여 NLOS(Non-Line-of-Sight) 완화 측정 벡터를 산출하고, 상기 표본 분산에 기반하여 잡음 공분산 행렬을 산출하고,
    상기 NLOS 완화 측정 벡터 및 잡음 공분산 행렬에 기반하여 상기 태그의 위치를 결정하는,
    NLOS 효과가 완화된 딥러닝 기반 UWB 측위 장치.
KR1020230020266A 2023-02-15 2023-02-15 Nlos 효과가 완화된 딥러닝 기반 uwb 측위 방법 및 장치 Pending KR20240127177A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020230020266A KR20240127177A (ko) 2023-02-15 2023-02-15 Nlos 효과가 완화된 딥러닝 기반 uwb 측위 방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020230020266A KR20240127177A (ko) 2023-02-15 2023-02-15 Nlos 효과가 완화된 딥러닝 기반 uwb 측위 방법 및 장치

Publications (1)

Publication Number Publication Date
KR20240127177A true KR20240127177A (ko) 2024-08-22

Family

ID=92546440

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020230020266A Pending KR20240127177A (ko) 2023-02-15 2023-02-15 Nlos 효과가 완화된 딥러닝 기반 uwb 측위 방법 및 장치

Country Status (1)

Country Link
KR (1) KR20240127177A (ko)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102002803B1 (ko) 2018-12-27 2019-07-23 주식회사 썬에이치에스티 Uwb 기반 실시간 측위를 이용한 안전 사고 관제 시스템

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102002803B1 (ko) 2018-12-27 2019-07-23 주식회사 썬에이치에스티 Uwb 기반 실시간 측위를 이용한 안전 사고 관제 시스템

Similar Documents

Publication Publication Date Title
Kim et al. UWB positioning system based on LSTM classification with mitigated NLOS effects
Musa et al. A decision tree‐based NLOS detection method for the UWB indoor location tracking accuracy improvement
Khodjaev et al. Survey of NLOS identification and error mitigation problems in UWB-based positioning algorithms for dense environments
Sung et al. Accurate indoor positioning for UWB-based personal devices using deep learning
Yang et al. Machine-learning-based scenario identification using channel characteristics in intelligent vehicular communications
Yadav et al. A systematic review of localization in WSN: Machine learning and optimization‐based approaches
CN109073389A (zh) 用于物体跟踪的方法、装置、服务器和系统
Jondhale et al. Modified Kalman Filtering Framework Based Real Time Target Tracking Against Environmental Dynamicity inWireless Sensor Networks.
EP2952925A1 (en) Method, device and system for indoor localization and tracking using ultra-wideband radio signals
CN103152826A (zh) 一种基于nlos状态检测补偿的移动目标追踪方法
Monica et al. Accurate indoor localization with UWB wireless sensor networks
Gentner et al. Positioning using terrestrial multipath signals and inertial sensors
Xue et al. DeepTAL: Deep learning for TDOA-based asynchronous localization security with measurement error and missing data
Gholami et al. Evaluating alternative approaches to mobile object localization in wireless sensor networks with passive architecture
Jadidi et al. Gaussian processes online observation classification for RSSI-based low-cost indoor positioning systems
KR101333111B1 (ko) 위치 추정 시스템 및 방법
An et al. Doppler effect on target tracking in wireless sensor networks
Masek et al. Improving the precision of wireless localization algorithms: ML techniques for indoor positioning
Liao et al. Reinforcement learning based mobile underwater localization for silent UUV in underwater acoustic sensor networks
Silva et al. Towards non-line-of-sight ranging error mitigation in industrial wireless sensor networks
Tan et al. UAV localization with multipath fingerprints and machine learning in urban NLOS scenario
Paulino et al. Evaluating a novel bluetooth 5.1 aoa approach for low-cost indoor vehicle tracking via simulation
KR20240127177A (ko) Nlos 효과가 완화된 딥러닝 기반 uwb 측위 방법 및 장치
Tu et al. UWB indoor localization method based on neural network multi-classification for NLOS distance correction
Laoudias et al. Indoor quality-of-position visual assessment using crowdsourced fingerprint maps

Legal Events

Date Code Title Description
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20230215

PA0201 Request for examination

Patent event code: PA02011R01I

Patent event date: 20230215

Comment text: Patent Application

PG1501 Laying open of application