KR20210067764A - 무선 통신 시스템에서 부하 분산을 위한 장치 및 방법 - Google Patents

Abstract

본 개시는 무선 통신 시스템에서 부하 분산을 위한 장치 및 방법에 관한 것으로, 송수신부, 하나 이상의 인스트럭션들을 저장하는 메모리, 및 상기 메모리에 저장된 상기 하나 이상의 인스트럭션들을 실행하는 적어도 하나의 프로세서를 포함하며, 상기 적어도 하나의 프로세서는, 복수의 기지국 각각으로부터 기지국과 단말 간 관계에 대한 제1 정보를 수신하고, 상기 제1 정보에 기초하여, 상기 복수의 기지국 각각이 서빙하는 단말들 중 핸드오버를 수행해야 할 단말의 수를 결정하고, 상기 단말의 수에 기초하여 결정된 우선순위 정보를 상기 복수의 기지국 각각에게 전송할 수 있다.

Description

무선 통신 시스템에서 부하 분산을 위한 장치 및 방법 {APPARATUS AND METHOD FOR LOAD BALANCING IN A WIRELESS COMMUNICATION SYSTEM}

본 개시의 실시예들은 무선 통신 시스템에서 부하 분산을 위한 장치 및 방법에 관한 것이다.

4G 통신 시스템 상용화 이후 증가 추세에 있는 무선 데이터 트래픽 수요를 충족시키기 위해, 개선된 5G 통신 시스템 또는 pre-5G 통신 시스템을 개발하기 위한 노력이 이루어지고 있다. 이러한 이유로, 5G 통신 시스템 또는 pre-5G 통신 시스템은 4G 네트워크 이후 (Beyond 4G Network) 통신 시스템 또는 LTE 시스템 이후 (Post LTE) 이후의 시스템이라 불리어지고 있다. 3GPP에서 정한 5G 통신 시스템은 New Radio (NR) 시스템이라고 불리고 있다. 높은 데이터 전송률을 달성하기 위해, 5G 통신 시스템은 초고주파(mmWave) 대역 (예를 들어, 60기가(60GHz) 대역과 같은)에서의 구현이 고려되고 있다. 초고주파 대역에서의 전파의 경로손실 완화 및 전파의 전달 거리를 증가시키기 위해, 5G 통신 시스템에서는 빔포밍(beamforming), 거대 배열 다중 입출력(massive MIMO), 전차원 다중입출력(Full Dimensional MIMO: FD-MIMO), 어레이 안테나(array antenna), 아날로그 빔형성(analog beam-forming), 및 대규모 안테나(large scale antenna) 기술들이 논의되었고, NR 시스템에 적용되었다. 또한 시스템의 네트워크 개선을 위해, 5G 통신 시스템에서는 진화된 소형 셀, 개선된 소형 셀(advanced small cell), 클라우드 무선 액세스 네트워크(cloud radio access network: cloud RAN), 초고밀도 네트워크(ultra-dense network), 기기 간 통신(Device to Device communication: D2D), 무선 백홀(wireless backhaul), 이동 네트워크(moving network), 협력 통신(cooperative communication), CoMP(Coordinated Multi-Points), 및 수신 간섭제거(interference cancellation) 등의 기술 개발이 이루어지고 있다. 이 밖에도, 5G 시스템에서는 진보된 코딩 변조(Advanced Coding Modulation: ACM) 방식인 FQAM(Hybrid FSK and QAM Modulation) 및 SWSC(Sliding Window Superposition Coding)과, 진보된 접속 기술인 FBMC(Filter Bank Multi Carrier), NOMA(non-orthogonal multiple access), 및 SCMA(sparse code multiple access) 등이 개발되고 있다.

한편, 인터넷은 인간이 정보를 생성하고 소비하는 인간 중심의 연결 망에서, 사물 등 분산된 구성 요소들 간에 정보를 주고 받아 처리하는 IoT(Internet of Things, 사물인터넷) 망으로 진화하고 있다. 클라우드 서버 등과의 연결을 통한 빅데이터(Big data) 처리 기술 등이 IoT 기술에 결합된 IoE(Internet of Everything) 기술도 대두되고 있다. IoT를 구현하기 위해서, 센싱 기술, 유무선 통신 및 네트워크 인프라, 서비스 인터페이스 기술, 및 보안 기술과 같은 기술 요소 들이 요구되어, 최근에는 사물간의 연결을 위한 센서 네트워크(sensor network), 사물 통신(Machine to Machine, M2M), MTC(Machine Type Communication)등의 기술이 연구되고 있다. IoT 환경에서는 연결된 사물들에서 생성된 데이터를 수집, 분석하여 인간의 삶에 새로운 가치를 창출하는 지능형 IT(Internet Technology) 서비스가 제공될 수 있다. IoT는 기존의 IT(Information Technology)기술과 다양한 산업 간의 융합 및 복합을 통하여 스마트홈, 스마트 빌딩, 스마트 시티, 스마트 카 혹은 커넥티드 카, 스마트 그리드, 헬스 케어, 스마트 가전, 첨단의료서비스 등의 분야에 응용될 수 있다.

이에, 5G 통신 시스템을 IoT 망에 적용하기 위한 다양한 시도들이 이루어지고 있다. 예를 들어, 센서 네트워크(sensor network), 사물 통신(Machine to Machine, M2M), MTC(Machine Type Communication)등의 5G 통신이 빔 포밍, MIMO, 및 어레이 안테나 등의 기법에 의해 구현되고 있는 것이다. 앞서 설명한 빅데이터 처리 기술로써 클라우드 무선 액세스 네트워크(cloud RAN)가 적용되는 것도 5G 기술과 IoT 기술 융합의 일 예라고 할 수 있을 것이다.

한편, 기지국과 단말 간의 신호 세기가 일정 세기 이하로 떨어지면 단말은 기지국으로 측정 보고를 전송하고, 기지국이 단말에게 핸드오버 명령을 전송하여 핸드오버 절차를 진행할 수 있다. 단말은 핸드오버 명령을 수신한 경우 멀티 주파수 대역의 부하 정도를 고려하여 타겟 기지국을 결정하고, 타겟 기지국과 핸드오버 절차를 진행할 수 있다. 다만, 무선 통신 시스템에서 효율적인 부하 분산을 위해, 멀티 주파수 대역의 부하 차이 뿐만 아니라 기지국 사이의 부하 차이도 고려한 핸드오버 절차가 필요한 실정이다.

본 개시의 일 실시예는, 무선 통신 시스템에서 부하 분산을 위한 장치 및 방법을 제공하여 효과적으로 단말이 핸드오버를 수행할 수 있도록 한다.

본 개시의 일 실시예는, 송수신부, 하나 이상의 인스트럭션들을 저장하는 메모리, 및 상기 메모리에 저장된 상기 하나 이상의 인스트럭션들을 실행하는 적어도 하나의 프로세서를 포함하며, 상기 적어도 하나의 프로세서는, 복수의 기지국 각각으로부터 기지국과 단말 간 관계에 대한 제1 정보를 수신하고, 상기 제1 정보에 기초하여, 상기 복수의 기지국 각각이 서빙하는 단말들 중 핸드오버를 수행해야 할 단말의 수를 결정하고, 상기 단말의 수에 기초하여 결정된 우선순위 정보를 상기 복수의 기지국 각각에게 전송하는, 강화 학습 장치를 제공할 수 있다.

일 실시예에 따른 무선 통신 시스템에서 강화 학습 장치에 있어서 상기 적어도 하나의 프로세서는, 상기 복수의 기지국 각각으로부터 상기 복수의 기지국 각각에게 전송한 우선순위 정보에 기초하여 상기 복수의 기지국이 서빙하는 단말들의 핸드오버에 관한 단말 핸드오버 정보를 수신하고, 상기 복수의 기지국에 대한 기지국 별 데이터 처리량을 획득하고, 상기 단말 핸드오버 정보 및 상기 기지국 별 데이터 처리량에 기초하여, 상기 복수의 기지국 각각이 서빙하는 단말들 중 핸드오버를 수행해야 할 갱신된 단말의 수를 결정하고, 상기 갱신된 단말의 수에 기초하여 결정된 우선순위 정보를 상기 복수의 기지국 각각에게 전송할 수 있다.

일 실시예에서, 상기 제1 정보는, 상기 복수의 기지국 각각에 연결된 단말의 수에 관한 정보, 상기 복수의 기지국 각각에 연결된 idle 상태의 단말의 수에 관한 정보, 상기 복수의 기지국 각각에 연결된 active 상태의 단말의 수에 관한 정보 및 상기 복수의 기지국 각각에 연결된 단말들에 의해 사용된 데이터의 총 사용량에 관한 정보 중 적어도 하나를 포함할 수 있다.

본 개시의 일 실시예는, 송수신부, 하나 이상의 인스트럭션들을 저장하는 메모리, 및 상기 메모리에 저장된 상기 하나 이상의 인스트럭션들을 실행하는 적어도 하나의 프로세서를 포함하며, 상기 적어도 하나의 프로세서는, 적어도 하나의 단말로부터 수신한 측정 보고(measurement report)에 기초하여, 상기 적어도 하나의 단말에게 일정 세기 이상의 신호를 전송하는 복수의 기지국에 대한 정보를 획득하고, 상기 획득한 복수의 기지국에 대한 정보에 기초하여, 강화 학습 장치에게 상기 기지국과 상기 적어도 하나의 단말 간의 관계에 대한 제1 정보를 전송하고, 상기 강화 학습 장치로부터 상기 기지국이 서빙하는 단말들 중 핸드오버를 수행해야 할 단말의 수에 기초하여 결정된 우선순위 정보를 수신하고, 상기 우선순위 정보를 상기 적어도 하나의 단말에게 전송함으로써, 상기 적어도 하나의 단말과 핸드오버 과정을 수행하는, 기지국을 제공할 수 있다.

일 실시예에서, 상기 제1 정보는, 상기 복수의 기지국 각각에 연결된 단말의 수에 관한 정보, 상기 복수의 기지국 각각에 연결된 idle 상태의 단말의 수에 관한 정보, 상기 복수의 기지국 각각에 연결된 active 상태의 단말의 수에 관한 정보 및 상기 복수의 기지국 각각에 연결된 단말들에 의해 사용된 데이터의 총 사용량에 관한 정보 중 적어도 하나를 포함할 수 있다.

일 실시예에서, 무선 통신 시스템에서 기지국에 있어서 상기 적어도 하나의 프로세서는, 상기 적어도 하나의 단말에게 측정 설정(measurement configuration)을 전송하고, 상기 전송한 측정 설정에 대응하여, 상기 적어도 하나의 단말로부터 제1 측정 보고를 수신하며, 상기 제1 측정 보고에 기초하여, 상기 적어도 하나의 단말에게 일정 세기 이상의 신호를 전송하는 적어도 하나의 기지국에 대한 정보를 요청하고, 상기 정보 요청에 대응하여 상기 적어도 하나의 단말로부터 상기 일정 세기 이상의 신호를 전송하는 적어도 하나 이상의 기지국에 대한 정보를 포함하는 제2 측정 보고를 수신하고, 상기 제2 측정 보고에 기초하여, 상기 적어도 하나의 단말에게 일정 세기 이상의 신호를 전송하는 상기 적어도 하나 이상의 기지국에 대한 정보를 획득할 수 있다.

일 실시예에서, 무선 통신 시스템에서 기지국에 있어서 상기 적어도 하나의 프로세서는, 상기 적어도 하나의 단말로부터 수신한 측정 보고에 기초하여, 상기 적어도 하나의 단말에게 일정 세기 이상의 신호를 전송하는 인접 기지국을 식별하고, 상기 식별된 인접 기지국에게 인접 기지국 정보를 요청하고, 상기 인접 기지국으로부터 상기 인접 기지국 정보를 수신하여 상기 복수의 기지국에 대한 정보를 획득할 수 있다.

일 실시예에서, 상기 인접 기지국 정보는, 상기 인접 기지국에 연결된 단말의 수에 관한 정보, 상기 인접 기지국에 연결된 idle 상태의 단말의 수에 관한 정보, 상기 인접 기지국에 연결된 active 상태의 단말의 수에 관한 정보, 상기 인접 기지국에 연결된 단말들에 의해 사용된 데이터의 총 사용량 및 상기 인접 기지국에 연결된 단말이 사용하는 무선 자원 비율에 관한 정보 중 적어도 하나를 포함할 수 있다.

일 실시예에서, 무선 통신 시스템에서 기지국에 있어서 상기 적어도 하나의 프로세서는, 상기 우선순위 정보에 기초하여 핸드오버를 수행한 단말의 수를 식별하고, 상기 식별한 핸드오버를 수행한 단말의 수를 상기 강화 학습 장치에게 전송할 수 있다.

일 실시예에서, 무선 통신 시스템에서 기지국에 있어서 상기 적어도 하나의 프로세서는, 상기 우선순위 정보에 기초하여 핸드오버 과정을 수행한 후, 상기 기지국의 데이터 사용량을 결정하고, 상기 결정된 데이터 사용량을 상기 강화 학습 장치에게 전송할 수 있다.

본 개시의 일 실시예는, 송수신부, 하나 이상의 인스트럭션들을 저장하는 메모리, 및 상기 메모리에 저장된 상기 하나 이상의 인스트럭션들을 실행하는 적어도 하나의 프로세서를 포함하며, 상기 적어도 하나의 프로세서는, 기지국으로부터 수신한 측정 설정에 기초하여, 상기 기지국에게 측정 보고(measurement report)를 전송하고, 상기 기지국으로부터 상기 단말에게 일정 세기 이상의 신호를 전송하는 적어도 하나의 인접 기지국의 정보 요청을 수신하고, 상기 수신한 정보 요청에 기초하여, 상기 기지국에게 상기 적어도 하나의 인접 기지국의 정보를 포함하는 제2 측정 보고를 전송하고, 상기 기지국으로부터 우선순위 정보를 수신하고, 상기 우선순위 정보에 기초하여, 새로운 기지국과 핸드오버 과정을 수행하는, 단말을 제공할 수 있다.

일 실시예에서, 상기 적어도 하나의 인접 기지국의 정보는, 상기 적어도 하나의 인접 기지국 각각에 연결된 단말의 수에 관한 정보, 상기 적어도 하나의 인접 기지국 각각에 연결된 idle 상태의 단말의 수에 관한 정보, 상기 적어도 하나의 인접 기지국 각각에 연결된 active 상태의 단말의 수에 관한 정보, 상기 적어도 하나의 인접 기지국 각각에 연결된 단말들에 의해 사용된 데이터의 총 사용량 및 상기 적어도 하나의 인접 기지국 각각에 연결된 단말이 사용하는 무선 자원 비율에 관한 정보 중 적어도 하나를 포함할 수 있다.

일 실시예에서, 상기 적어도 하나의 인접 기지국의 정보는, 상기 단말에게 일정 세기 이상의 신호를 전송하는 상기 적어도 하나의 인접 기지국에 대한 식별자를 포함할 수 있다.

본 개시의 일 실시예는, 무선 통신 시스템에서 강화 학습 장치의 동작 방법에 있어서, 복수의 기지국 각각으로부터 기지국과 단말 간 관계에 대한 제1 정보를 수신하는 동작, 상기 제1 정보에 기초하여, 상기 복수의 기지국 각각이 서빙하는 단말들 중 핸드오버를 수행해야 할 단말의 수를 결정하는 동작, 및 상기 결정된 단말의 수에 기초하여 결정된 우선순위 정보를 상기 복수의 기지국 각각에게 전송하는 동작을 포함하는, 방법을 제공할 수 있다.

본 개시의 일 실시예는, 무선 통신 시스템에서 기지국의 동작 방법에 있어서, 적어도 하나의 단말로부터 수신한 측정 보고(measurement report)에 기초하여, 상기 적어도 하나의 단말에게 일정 세기 이상의 신호를 전송하는 복수의 기지국에 대한 정보를 획득하는 동작, 상기 획득한 복수의 기지국에 대한 정보에 기초하여, 강화 학습 장치에게 상기 기지국과 상기 적어도 하나의 단말 간의 관계에 대한 제1 정보를 전송하는 동작, 상기 강화 학습 장치로부터 상기 기지국이 서빙하는 단말들 중 핸드오버를 수행해야 할 단말의 수에 기초하여 결정된 우선순위 정보를 수신하는 동작, 및 상기 우선순위 정보를 상기 적어도 하나의 단말에게 전송함으로써, 상기 적어도 하나의 단말과 핸드오버 과정을 수행하는 동작을 포함하는, 방법을 제공할 수 있다.

본 개시의 일 실시예는, 선 통신 시스템에서 단말의 동작 방법에 있어서, 기지국으로부터 수신한 측정 설정에 기초하여, 상기 기지국에게 측정 보고(measurement report)를 전송하는 동작, 상기 기지국으로부터 상기 단말에게 일정 세기 이상의 신호를 전송하는 적어도 하나의 인접 기지국의 정보 요청을 수신하는 동작, 상기 수신한 정보 요청에 기초하여, 상기 기지국에게 상기 적어도 하나의 인접 기지국의 정보를 포함하는 제2 측정 보고를 전송하는 동작, 상기 기지국으로부터 우선순위 정보를 수신하는 동작, 및 상기 우선순위 정보에 기초하여, 새로운 기지국과 핸드오버 과정을 수행하는 동작을 포함하는, 방법을 제공할 수 있다.

본 개시의 일 실시예는, 하나 이상의 프로그램들을 저장하는 컴퓨터로 읽을 수 있는 기록매체로서, 상기 하나 이상의 프로그램들은, 강화 학습 장치의 하나 이상의 프로세서에 의해 실행될 때, 상기 강화 학습 장치로 하여금: 복수의 기지국 각각으로부터 기지국과 단말 간 관계에 대한 제1 정보를 수신하고, 상기 제1 정보에 기초하여, 상기 복수의 기지국 각각이 서빙하는 단말들 중 핸드오버를 수행해야 할 단말의 수를 결정하고, 상기 결정된 단말의 수에 기초하여 결정된 우선순위 정보를 상기 복수의 기지국 각각에게 전송하는 명령어들을 포함하는, 컴퓨터로 읽을 수 있는 기록매체를 제공할 수 있다.

본 개시의 일 실시예는, 하나 이상의 프로그램들을 저장하는 컴퓨터로 읽을 수 있는 기록매체로서, 상기 하나 이상의 프로그램들은, 기지국의 하나 이상의 프로세서에 의해 실행될 때, 상기 기지국으로 하여금: 적어도 하나의 단말로부터 수신한 측정 보고(measurement report)에 기초하여, 상기 적어도 하나의 단말에게 일정 세기 이상의 신호를 전송하는 복수의 기지국에 대한 정보를 획득하고, 상기 획득한 복수의 기지국에 대한 정보에 기초하여, 강화 학습 장치에게 상기 기지국과 상기 적어도 하나의 단말 간의 관계에 대한 제1 정보를 전송하고, 상기 강화 학습 장치로부터 상기 기지국이 서빙하는 단말들 중 핸드오버를 수행해야 할 단말의 수에 기초하여 결정된 우선순위 정보를 수신하고, 상기 우선순위 정보를 상기 적어도 하나의 단말에게 전송함으로써, 상기 적어도 하나의 단말과 핸드오버 과정을 수행하는 명령어들을 포함하는, 컴퓨터로 읽을 수 있는 기록매체를 제공할 수 있다.

본 개시의 일 실시예는, 하나 이상의 프로그램들을 저장하는 컴퓨터로 읽을 수 있는 기록매체로서, 상기 하나 이상의 프로그램들은, 단말의 하나 이상의 프로세서에 의해 실행될 때, 상기 단말로 하여금: 기지국으로부터 수신한 측정 설정에 기초하여, 상기 기지국에게 측정 보고(measurement report)를 전송하고, 상기 기지국으로부터 상기 단말에게 일정 세기 이상의 신호를 전송하는 적어도 하나의 인접 기지국의 정보 요청을 수신하고, 상기 수신한 정보 요청에 기초하여, 상기 기지국에게 상기 적어도 하나의 인접 기지국의 정보를 포함하는 제2 측정 보고를 전송하고, 상기 기지국으로부터 우선순위 정보를 수신하고, 상기 우선순위 정보에 기초하여, 새로운 기지국과 핸드오버 과정을 수행하는 명령어들을 포함하는, 컴퓨터로 읽을 수 있는 기록매체를 제공할 수 있다.

본 개시의 일 실시예는 본 개시의 일 실시예에 의한 방법을 컴퓨터에서 실행시키도록 기록매체에 저장된 프로그램을 포함한다.

도 1은 일 실시예에 의한 부하 분산이 이루어지는 네트워크의 구성을 개략적으로 도시한 도면이다.
도 2는 일 실시예에 의한 강화 학습 장치가 무선 통신 시스템에서 부하를 분산시키는 방법을 나타낸 흐름도이다.
도 3은 일 실시예에 의한 기지국이 무선 통신 시스템에서 부하를 분산시키는 방법을 나타낸 흐름도이다.
도 4는 일 실시예에 의한 단말이 무선 통신 시스템에서 부하를 분산시키는 방법을 나타낸 흐름도이다.
도 5는 일 실시예에 의한 기지국과 기지국이 서빙하는 단말 간에 핸드오버를 수행하는 방법의 개요를 도시한 도면이다.
도 6은 일 실시예에 의한 강화 학습 장치의 구성을 개략적으로 도시한 블록도이다.
도 7은 일 실시예에 의한 기지국이 단말로부터 인접 기지국 정보를 수신하여 부하를 분산시키는 방법을 나타낸 흐름도이다.
도 8은 일 실시예에 의한 기지국이 인접 기지국으로부터 인접 기지국 정보를 수신하여 부하를 분산시키는 방법을 나타낸 흐름도이다.
도 9는 일 실시예에 의한 무선 통신 시스템에서 부하를 분산시키는 방법을 나타낸 흐름도이다.
도 10은 일 실시예에 의한 강화 학습 장치가 네트워크의 부하를 분산시키기 위해 학습하는 방법의 개요를 도시한 도면이다.
도 11은 일 실시예에 의한 강화 학습 장치의 구성을 개략적으로 도시한 블록도이다.
도 12는 일 실시예에 의한 기지국의 구성을 개략적으로 도시한 블록도이다.
도 13은 일 실시예에 의한 단말의 구성을 개략적으로 도시한 블록도이다.

이하에서는 첨부한 도면을 참조하여 본 개시가 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 개시의 실시예를 상세히 설명한다. 그러나 본 개시는 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 본 개시에서 설명되는 특정 실행들은 일 실시예일 뿐이며, 어떠한 방법으로도 본 개시의 범위를 한정하는 것은 아니다. 명세서의 간결함을 위하여, 종래 전자적인 구성들, 제어 시스템들, 소프트웨어, 및 상기 시스템들의 다른 기능적인 측면들의 기재는 생략될 수 있다.

그리고 도면에서 본 개시를 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다. 도면에 도시된 구성 요소들 간의 연결 선 또는 연결 부재들은 기능적인 연결 및/또는 물리적 또는 회로적 연결들을 예시적으로 나타낸 것일 뿐이다. 실제 장치에서는 대체 가능하거나 추가된 다양한 기능적인 연결, 물리적인 연결, 또는 회로 연결들에 의해 구성 요소들 간의 연결이 구현될 수 있다.

본 개시에서 사용되는 용어는 본 개시에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 개시의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 개시에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 개시의 전반에 걸친 내용을 토대로 정의되어야 한다.

단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수개의 표현을 포함한다. "포함하다" 또는 "가지다" 등의 용어는 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다. 특히, 숫자들은 이해를 돕기 위한 예로서, 기재된 숫자들에 의해 실시예들이 한정되는 것으로 이해되지 말아야 한다.

또한, 제1, 제2 등의 용어는 다양한 구성요소들을 설명하는 데 사용될 수 있지만, 구성요소들은 이 용어들에 의해 한정되어서는 안 된다. 이 용어들은 하나의 구성요소를 다른 구성 요소로부터 구별하는 목적으로 사용된다. 본 개시에서 다양한 곳에 등장하는 "일 실시예에서" 등의 어구는 반드시 모두 동일한 실시예를 가리키는 것은 아니다. 또한, 본 개시에서, "a, b 또는 c 중 적어도 하나를 포함한다"는 "a만 포함하거나, b만 포함하거나, c만 포함하거나, a 및 b를 포함하거나, b 및 c를 포함하거나, a 및 c를 포함하거나, a, b 및 c를 모두 포함하는 것을 의미할 수 있다.

본 개시의 일 실시예는 기능적인 블록 구성들 및 다양한 처리 단계들로 나타내어질 수 있다. 이러한 기능 블록들의 일부 또는 전부는, 특정 기능들을 실행하는 다양한 개수의 하드웨어 및/또는 소프트웨어 구성들로 구현될 수 있다. 예를 들어, 본 개시의 기능 블록들은 하나 이상의 마이크로프로세서들에 의해 구현되거나, 소정의 기능을 위한 회로 구성들에 의해 구현될 수 있다. 또한, 예를 들어, 본 개시의 기능 블록들은 다양한 프로그래밍 또는 스크립팅 언어로 구현될 수 있다. 기능 블록들은 하나 이상의 프로세서들에서 실행되는 알고리즘으로 구현될 수 있다. 또한, 본 개시는 전자적인 환경 설정, 신호 처리, 및/또는 데이터 처리 등을 위하여 종래 기술을 채용할 수 있다.

본 개시를 설명함에 있어서, 관련된 공지 기능 또는 구성요소에 대한 구체적인 설명이 본 개시의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략할 것이다. 설명의 편의를 위하여 필요한 경우에는 장치와 방법을 함께 서술하도록 한다.

이하 설명에서 사용되는 접속 노드(node)를 식별하기 위한 용어, 망 객체(network entity)들을 지칭하는 용어, NF(network function)들을 지칭하는 용어, 메시지들을 지칭하는 용어, 망 객체들 간 인터페이스를 지칭하는 용어, 다양한 식별 정보들을 지칭하는 용어 등은 설명의 편의를 위해 예시된 것이다. 따라서, 본 개시의 일 실시 예가 후술되는 용어들에 한정되는 것은 아니며, 동등한 기술적 의미를 가지는 대상을 지칭하는 다른 용어가 사용될 수 있다.

이하 설명의 편의를 위하여, 본 개시에서는 5G 또는 NR, LTE 시스템에 대한 규격에서 정의하는 용어와 명칭들을 사용한다. 하지만, 본 개시가 이러한 용어 및 명칭들에 의해 한정되는 것은 아니며, 다른 규격에 따르는 시스템에도 동일하게 적용될 수 있다.

즉, 본 개시의 실시예들을 구체적으로 설명함에 있어서, 3GPP가 규격을 정한 통신 규격을 주된 대상으로 할 것이지만, 본 개시의 주요한 요지는 유사한 기술적 배경을 가지는 여타의 통신 시스템에도 본 발명의 범위를 크게 벗어나지 아니하는 범위에서 약간의 변형으로 적용 가능하며, 이는 본 개시의 기술 분야에서 숙련된 기술적 지식을 가진 자의 판단으로 가능할 것이다.

명세서 전체에서 단말 또는 사용자 단말이라 함은 사용자에 의해 사용되는 장치를 의미하며 송신 기능이 없는 무선 신호 수신기만을 가지는 무선 신호 수신기 장치, 및 양방향 통신 링크를 통해 양방향 통신을 하기 위한 수신 및 송신 하드웨어 기능을 가지는 송수신 하드웨어 둘 모두를 포함할 수 있다. 예를 들어, 단말은 사용자 단말(UE, user equipment), 원격 단말(remote terminal), 무선 단말(wireless terminal), MS (Mobile Station) 또는 사용자 장치(user device) 등을 의미할 수 있다. 단말은 모든 타입의 디바이스를 포함할 수 있다. 예를 들어, 단말은 퍼스널 컴퓨터(Personal Computer), 휴대폰(Cellular Phone), 스마트 폰, NB-IoT 기기들, 센서들, TV, 타블렛, 노트북, PDA(Personal Digital Assistants), PMP(Portable Multimedia Player), 네비게이션, MP3 플레이어, 디지털 카메라, 블랙박스, 자동차에 탑재된 디바이스, 자동차에 탑재된 디바이스 내의 모듈, 자동차 그 자체 등을 포함할 수 있다. 물론 상기 예시에 제한되지 않으며, 다양한 디바이스들을 포함할 수 있다.

본 개시에 따른 5G 시스템은 5G 핵심망(이하 5GC 내지 5G Core Network와 혼용), 기지국으로 구성될 수 있다.

5G 핵심망는 AMF(Access and Mobility management Function), SMF(Session Management Function), ProSe(Proximity-based Services) Function, NWDAF(Network Data Analytics Function), PCF(Policy and Charging Function), NEF(Network Exposure Function), UDM(Unified Data Management), UPF(User Plane Function), UDR(Unified Data Repository) 등의 네트워크 기능(NF, Network Function)으로 구성될 수 있다. 본 개시의 일 실시예에 따르면 네트워크 기능이란 네트워크 엔티티(Network Entity, 이하 NE와 혼용), 네트워크 자원을 의미할 수 있다. 5G 핵심망을 구성하는 네트워크 엔티티는 인공지능 기능 구현에 따라 상술한 네트워크 엔티티 보다 더 많은 엔티티를 포함하거나, 더 적은 엔티티를 포함할 수도 있다.

기지국은, 단말의 자원할당을 수행하는 주체로서, gNode B (gNB), eNode B (eNB), Node B, BS (Base Station), 무선 접속 유닛, 기지국 제어기, 네트워크 상의 노드, Access Point 등을 포함할 수 있으나, 이에 제한되는 것은 아니다.

이하 첨부된 도면을 참고하여 본 개시를 상세히 설명하기로 한다.

도 1은 일 실시예에 의한 부하 분산이 이루어지는 네트워크의 구성을 개략적으로 도시한 도면이다.

도 1을 참조하면, 일 실시예에서, 제1 단말(101), 제2 단말(103), 제3 단말(105), 제4 단말(107), 제9 단말(151), 제10 단말(153), 제11 단말(155) 및 제12 단말(157)은 기지국 A(110)의 커버리지(coverage)에 포함될 수 있다. 일 실시예에서, 기지국 A(110)에 연결된 단말 중 제1 단말(101), 제2 단말(103), 제3 단말(105), 제11 단말(155) 및 제12 단말(157)은 기지국 A(110)의 커버리지에 포함된 동시에, 기지국 A(110)로부터 서빙받는 active 상태의 단말일 수 있다. 또한, 제4 단말(107)은 기지국 B(120)로부터 서빙받는 단말이나, 기지국 A(110), 기지국 B(120) 및 기지국 C(130)의 커버리지 내에 있어서 기지국 A(110) 또는 기지국 C(130)로 핸드오버 가능한 상태의 단말로서, active 상태의 단말일 수 있다. 또한, 제9 단말(151) 및 제10 단말(153)은 기지국 A(110)의 커버리지에 포함되어 있으나, 소정의 이유로 또는 일정 시간 동안 데이터의 송수신이 없어 유휴모드로 전환한 idle 상태의 단말일 수 있다. 일 실시예에서, active 상태는 망에 접속하여 서비스를 제공받고 있는 상태로서, 예를 들어, RRC 연결 모드(RRC connected mode)를 나타낼 수 있다. 또한, idle 상태는 RRC inactive connected mode 또는 RRC 유휴 모드(RRC idle mode)를 나타낼 수 있다. RRC inactive connected mode는 Core 측면에서 보면 연결된 상태이지만 Radio 측면에서 보면 idle 상태를 의미할 수 있다. 기지국은 RRC 연결 모드에서 데이터를 송수신하는 단말이 소정의 이유로 또는 일정 시간 동안 데이터의 송수신이 없으면 RRCConnectionRelease 메시지를 단말에게 보내어 단말을 RRC 유휴모드로 전환하도록 할 수 있다. 추후에 현재 연결이 설정되어 있지 않은 단말은 전송할 데이터가 발생하면 기지국과 RRC connection establishment 과정을 수행할 수 있다. 단말은 랜덤 액세스 과정을 통해서 기지국과 역방향 전송 동기를 수립하고 RRCConnectionRequest 메시지를 기지국으로 전송할 수 있다.

일 실시예에서, 기지국 A(110)에 의해 서빙받는 제3 단말(105)은 서빙 기지국인 기지국 A(110)에게 주기적으로 혹은 특정 이벤트가 발생할 때, 셀 측정 정보(measurement report)를 전송할 수 있다. 기지국 A(110)는 셀 측정 정보에 기초하여, 제3 단말(105)이 인접 기지국으로 핸드오버(handover) 과정을 수행할지 여부를 결정할 수 있다. 핸드오버는 연결 모드 상태인 단말에게 서비스를 제공하는 서빙 기지국(소스 기지국)을 다른 새로운 기지국(타겟 기지국)으로 변경하는 기술이다. 기지국 A(110)가 핸드오버를 결정하였다면 기지국 A(110)는 제3 단말(105)에게 서비스를 제공할 새로운 기지국인 기지국 B(120), 즉 타겟 기지국에게 HO(Handover) request 메시지(예를 들면 Handover Preparation Information 메시지)를 보내어 핸드오버를 수행할 것을 요청할 수 있다. 기지국 B(120)가 핸드오버에 대한 요청을 수락한다면 기지국 A(110)에게 HO Request Ack 메시지(예를 들면 Handover Command 메시지)를 전송할 수 있다. HO Request Ack 메시지를 수신한 기지국 A(110)는 제3 단말(105)에게 핸드오버 명령 메시지를 전송할 수 있다. 핸드오버 명령 메시지는 기지국 A(110)가 기지국 B(120)로부터 수신한 메시지에서 추출한 RRC Connection Reconfiguration 메시지를 포함할 수 있다.

일 실시예에서, 제4 단말(107)은 기지국 A(110), 기지국 B(120) 및 기지국 C(130)의 커버리지에 포함되며, active 상태의 단말일 수 있다. 제4 단말(107)은 기지국 B(120)를 이용하여 망에 접속하여 서비스를 제공받을 수 있다. 즉, 제4 단말(107)의 서빙 기지국은 기지국 B(120)일 수 있다. 또한, 제5 단말(109)은 기지국 B(120), 기지국 C(130) 및 기지국 D(140)의 커버리지에 포함되며, active 상태의 단말이고 기지국 B(120)를 이용하여 망에 접속하여 서비스를 제공받을 수 있다. 제4 단말(107) 또는 제5 단말(109)은 기지국 B(120)로부터 수신한 측정 설정(measurement configuration)에 기초하여, 기지국 B(120)로부터 수신하는 신호가 일정 세기 이하인 경우, 기지국 B(120)에게 측정 보고(measurement report)를 전송할 수 있다. 기지국 B(120)는 제4 단말(107)로부터 측정 보고를 수신한 경우, 제4 단말(107)에게 일정 세기 이상의 신호를 전송하는 복수의 기지국에 대한 정보를 요청할 수 있다. 일 실시예에서, 일정 세기 이상의 신호를 전송하는 복수의 기지국에 대한 정보를 요청하는 조건에 해당하는 세기(power)는 일정 세기 이하인 경우 측정 보고를 전송하는 조건에 해당하는 세기(power)와 같거나 다른 값을 가질 수 있다. 기지국 B(120)는 제5 단말(109)로부터 측정 보고를 수신한 경우, 제5 단말(109)에게 일정 세기 이상의 신호를 전송하는 복수의 기지국에 대한 정보를 요청할 수 있다. 즉, 기지국 B(120)는 적어도 하나의 단말로부터 수신한 측정 보고에 기초하여, 적어도 하나의 단말에게 일정 세기 이상의 신호를 전송하는 복수의 기지국에 대한 정보를 요청할 수 있다. 복수의 기지국에 대한 정보를 요청 받은 적어도 하나의 단말은 적어도 하나의 단말에게 일정 세기 이상의 신호를 전송하는 적어도 하나의 인접 기지국의 정보를 포함하는 측정 보고를 서빙 기지국에게 전송할 수 있다. 일 실시예에서, 적어도 하나의 인접 기지국의 정보는 단말에게 일정 세기 이상의 신호를 전송하는 적어도 하나의 인접 기지국에 대한 식별자를 포함할 수 있다. 다른 일 실시예에서, 적어도 하나의 인접 기지국의 정보는 일정 세기 이상의 신호를 전송하는 적어도 하나의 인접 기지국에 대한 식별자, 적어도 하나의 인접 기지국 각각에 연결된 단말의 수에 관한 정보, 적어도 하나의 인접 기지국 각각에 연결된 idle 상태의 단말의 수에 관한 정보, 적어도 하나의 인접 기지국 각각에 연결된 active 상태의 단말의 수에 관한 정보, 적어도 하나의 인접 기지국 각각에 연결된 단말들에 의해 사용된 데이터의 총 사용량, 적어도 하나의 인접 기지국 각각에 연결된 단말이 사용하는 무선 자원 비율에 관한 정보, 적어도 하나의 인접 기지국 각각의 데이터 전송 속도 등을 포함할 수 있으나, 이에 한정되는 것은 아니다.

예를 들어, 제4 단말(107)은 서빙 기지국인 기지국 B(120) 뿐만 아니라, 기지국 A(110) 및 기지국 C(130)의 커버리지 안에 있으므로, 기지국 A(110)와 기지국 C(130)로부터 브로드캐스팅되는 신호의 세기를 측정하여 일정 세기 이상이면, 기지국 A(110)와 기지국 C(130)의 식별자를 서빙 기지국인 기지국 B(120)에게 전송할 수 있다. 기지국 B(120)는 단말로부터 수신한 기지국 A(110)와 기지국 C(130)의 식별자에 기초하여, 기지국 B(120)와 기지국 C(130)에게 기지국 각각에 연결된 단말의 수에 관한 정보, 기지국 각각에 연결된 idle 상태의 단말의 수에 관한 정보, 기지국 각각에 연결된 active 상태의 단말의 수에 관한 정보, 기지국 각각에 연결된 단말들에 의해 사용된 데이터의 총 사용량, 기지국 각각에 연결된 단말이 사용하는 무선 자원 비율에 관한 정보, 기지국 각각의 데이터 전송 속도 등을 요청하고 수신할 수 있다. 즉, 서빙 기지국은 인접 기지국으로부터 직접 인접 기지국의 정보를 요청하여 수신함으로써 인접 기지국 정보를 획득할 수 있다.

다른 예를 들어, 제5 단말(109)은 서빙 기지국인 기지국 B(120) 뿐만 아니라, 기지국 C(130) 및 기지국 D(140)의 커버리지 안에 있으므로, 기지국 C(130)와 기지국 D(140)에 의해 브로드캐스팅되는 신호의 세기를 측정하여 일정 세기 이상이면, 기지국 C(130)와 기지국 D(140)에 대한 인접 기지국 정보를 서빙 기지국인 기지국 B(120)에게 전송할 수 있다. 인접 기지국 정보는 인접 기지국 각각에 연결된 단말의 수에 관한 정보, 인접 기지국 각각에 연결된 idle 상태의 단말의 수에 관한 정보, 인접 기지국 각각에 연결된 active 상태의 단말의 수에 관한 정보, 인접 기지국 각각에 연결된 단말들에 의해 사용된 데이터의 총 사용량, 인접 기지국 각각에 연결된 단말이 사용하는 무선 자원 비율에 관한 정보, 인접 기지국 각각의 데이터 전송 속도 등을 포함할 수 있으나, 이에 한정되는 것은 아니다. 즉, 서빙 기지국은 단말에게 인접 기지국 정보를 요청하고, 단말이 적어도 하나의 인접 기지국으로부터 인접 기지국 정보를 수신 받고 인접 기지국 정보를 단말이 서빙 기지국에게 전송함으로써, 서빙 기지국은 인접 기지국 정보를 획득할 수 있다.

일 실시예에서, 서빙 기지국은 인접 기지국 정보에 기초하여, 기지국과 적어도 하나의 단말 간의 관계에 대한 정보를 강화 학습 장치에게 전송할 수 있다. 강화 학습 장치는 복수의 기지국으로부터 수신한 기지국과 적어도 하나의 단말 간의 관계에 대한 정보에 기초하여, 복수의 기지국 각각에 연결된 단말의 수, 복수의 기지국 각각에 연결된 단말 중 active 상태, 예를 들어, RRC 연결 상태의 단말의 수, 복수의 기지국 각각에 연결된 단말들에 의해 사용된 데이터의 총 사용량, 복수의 기지국 각각의 데이터 전송 속도 등을 알 수 있으나, 강화 학습 장치가 알 수 있는 정보가 이에 한정되는 것은 아니다. 예를 들어, 강화 학습 장치는 기지국 A(110)에 연결된 단말의 수는 80개, 기지국 A(110)에 연결된 단말 중 active 상태의 단말의 수는 50개, 기지국 A(110)의 데이터 전송 속도는 40Mbps임을 알 수 있다. 강화 학습 장치는 기지국 B(120)에 연결된 단말의 수는 90개, 기지국 B(120)에 연결된 단말 중 active 상태의 단말의 수는 50개, 기지국 B(120)의 데이터 전송 속도는 30Mbps임을 알 수 있다. 또한, 강화 학습 장치는 기지국 C(130)에 연결된 단말의 수는 70개, 기지국 C(130)에 연결된 단말 중 active 상태의 단말의 수는 20개, 기지국 C(130)의 데이터 전송 속도는60Mbps임을 알 수 있다. 강화 학습 장치는 기지국 D(140)에 연결된 단말의 수는 80개, 기지국 D(140)에 연결된 단말 중 active 상태의 단말의 수는 10개, 기지국 D(140)의 데이터 전송 속도는 70Mbps임을 알 수 있다. 강화 학습 장치는 기지국 E(150)에 대한 정보도 알 수 있으나, 제4 단말(107) 또는 제5 단말(109)이 기지국 E(150)의 커버리지 외부에 존재하는 바, 여기서는 기지국 E(150)에 관한 정보에 대한 설명은 생략하도록 한다.

일 실시예에서, 강화 학습 장치는 복수의 기지국 각각으로부터 수신한 기지국과 단말 간의 관계에 대한 정보에 기초하여, 복수의 기지국 각각이 서빙하는 단말들 중 핸드오버를 수행해야 할 단말의 수를 결정할 수 있다. 또한, 강화 학습 장치는 핸드오버를 수행해야 할 단말의 수에 기초하여, 우선순위 정보를 결정할 수 있다. 예를 들어, 기지국 A(110) 및 기지국 B(120) 각각에 연결된 RRC 연결 상태의 단말의 수가 상대적으로 많고 데이터 전송 속도가 다른 기지국에 비해 느리다고 식별함으로써 강화 학습 장치는 기지국 C(130) 및 기지국 D(140)보다 기지국 A(110) 및 기지국 B(120)에게 낮은 우선순위를 부여할 수 있다. 예를 들어, 강화 학습 장치는 단말이 핸드오버 시에 참고할 수 있는 복수의 기지국에 대한 가중치를 포함하는 우선순위 정보를 생성할 수 있다. 이 경우, 기지국 C(130) 및 기지국 D(140)보다 기지국 A(110) 및 기지국 B(120)에게 낮은 가중치를 부여할 수 있다. 일 실시예에 따르면, 우선순위 정보에 복수의 기지국에 대한 가중치가 포함됨으로써, 단말은 복수의 기지국의 핸드오버에 따른 부하 분산 성능에 대한 수치를 비교할 수 있다. 일 실시예에서, 강화 학습 장치는 기지국 B(120)에게 기지국 A(110), 기지국 B(120), 기지국 C(130), 기지국 D(140) 등의 복수의 기지국에 대한 우선순위 정보를 전송할 수 있다. 기지국 B(120)는 수신한 우선순위 정보를 단말에게 전송하고, 단말은 우선순위 정보에 기초하여 핸드오버 과정을 수행할 수 있다. 다른 일 실시예에서, 기지국 B(120)에게는 기지국 B(120)에 대한 우선순위 정보만 전송하고, 기지국 A(110)에게는 기지국 A(110)에 대한 우선순위 정보만을 전송하고, 기지국 C(130)에게는 기지국 C(130)에 대한 우선순위 정보만을 전송하는 등의 방식으로 복수의 기지국 각각에게 복수의 기지국 각각에 대한 우선순위 정보만을 전송하고, 복수의 기지국 각각은 자신의 우선순위 정보를 브로드캐스팅할 수 있다. 단말은 복수의 기지국 각각에 의해 브로드캐스팅된 우선순위 정보들에 기초하여 새로운 기지국과 핸드오버 과정을 수행할 수 있다.

일 실시예에서, 우선순위 정보는 단말이 핸드오버 시에 참고할 수 있는 특정 영역 내의 값을 가지는 가중치를 포함할 수 있다. 예를 들어, 복수의 기지국 각각이 0 이상 100 이하의 가중치 값을 가질 수 있는 경우, 기지국 D가 90의 가중치 값, 기지국 C가 60의 가중치 값, 기지국 A가 30의 가중치 값 및 기지국 B가 10의 가중치 값을 가질 수 있다. 이 경우, 제4 단말(107)은 인접 기지국 중 우선순위 정보에 포함된 가중치 값이 높은 기지국 C(130)을 타겟 기지국으로 하여 핸드오버 과정을 수행하고, 제5 단말(109)는 인접 기지국 중 우선순위 정보에 포함된 가중치 값이 높은 기지국 D(140)를 타겟 기지국으로 하여 핸드오버 과정을 수행할 수 있다. 다만, 0 이상 100 이하의 가중치 값은 일 예시일 뿐, 특정 영역 내의 값은 0보다 작거나 큰 값을 포함할 수 있고, 100보다 작거나 큰 값을 포함할 수도 있다. 또한, 우선순위 정보는 특정 영역 내의 값을 가지는 가중치 값 뿐만 아니라 우선순위 식별자 등을 포함할 수 있으며, 이에 한정되는 것은 아니다.

다른 일 실시예에서, 우선순위 정보는 복수의 기지국에 대한 우선순위를 포함할 수 있다. 예를 들어, 기지국 D가 제1 우선순위, 기지국 C가 제2 우선순위, 기지국 A가 제3 우선순위 및 기지국 B가 제4 우선순위를 가질 수 있다. 이 경우, 제4 단말(107)은 인접 기지국 중 우선순위가 높은 기지국 C(130)을 타겟 기지국으로 하여 핸드오버 과정을 수행하고, 제5 단말(109)는 인접 기지국 중 우선순위가 높은 기지국 D(140)를 타겟 기지국으로 하여 핸드오버 과정을 수행할 수 있다.

일 실시예에서, 제7 단말(113) 및 제8 단말(115)은 기지국 B(120)의 커버리지, 기지국 D(140)의 커버리지 및 기지국 E(150)의 커버리지 영역 내에 있을 수 있다. 기지국 E(150)는 RRC 연결 모드 상태인 제7 단말(113) 및 제8 단말(115)에게 서비스를 제공하는 서빙 기지국일 수 있다. 일 실시예에서, 셀 커버리지 반경이 작은 스몰 셀(small cell)이 기존 셀의 커버리지 내에 추가될 수 있다. 이 때, 기존 셀은 스몰 셀에 비해 커버리지가 크므로 매크로 셀(macro cell)이라 칭할 수 있다. 무선 데이터 서비스의 수요가 증가함에 따라, 이동통신 사업자들은 공유기나 AP(Access Point)처럼 트래픽 양을 분산시키기 위한 데이터 오프로딩(offloading)의 수단 또는 음영지역 해소 수단으로 스몰 셀을 이용할 수 있다. 스몰 셀은 건물 내 또는 실외에 설치되어 무선 통신 범위를 확장시키거나 네트워크 수용 용량을 증대시킬 수 있다. 예를 들어, 기지국 E(150)는 매크로 셀(macro cell)인 기지국 B(120) 내 배치된 스몰 셀(small cell)일 수 있다. 기지국 E(150)의 커버리지 안에 제7 단말(113) 및 제8 단말(115)을 포함하는 복수의 단말이 있을 수 있다. 기지국 E(150)의 커버리지 안에 있는 RRC 연결 상태인 단말의 수가 다른 기지국의 커버리지 안에 있는 RRC 연결 상태인 단말의 수보다 적으나, 기지국 E(150)의 커버리지 내의 제7 단말(113) 및 제8 단말(115)을 포함하는 복수의 단말이 사용하는 데이터 양이 많아 다른 기지국에 비해 기지국 E(150)의 데이터 전송 속도가 느려질 수 있다. 이에 따라, 강화 학습 장치는 기지국 D(140) 및 기지국 B(120)보다 기지국 E(150)의 우선순위에 관한 가중치 값을 낮게 결정할 수 있다.

예를 들어, 제7 단말(113), 제8 단말(115) 등 기지국 E(150)에 의해 서비스를 제공받는 적어도 하나의 단말은 기지국 E(150)로부터 수신한 신호가 일정 세기 이하일 때, 기지국 E(150)에게 기지국 E(150)으로부터 수신한 측정 설정에 기초하여, 측정 보고(measurement report)를 전송할 수 있다. 기지국 E(150)는 적어도 하나의 단말로부터 수신한 측정 보고에 기초하여, 적어도 하나의 단말에게 일정 세기 이상의 신호를 전송하는 복수의 기지국에 대한 정보를 요청할 수 있다. 복수의 기지국에 대한 정보를 요청 받은 적어도 하나의 단말은 기지국 E(150)에게 일정 세기 이상의 신호를 전송하는 기지국 B(120) 및 기지국 D(140)에 대한 정보를 포함하는 측정 보고를 전송할 수 있다. 기지국은 수신한 측정 보고에 기초하여, 기지국 B(120) 및 기지국 D(140)에 대한 정보를 강화 학습 장치에게 전송할 수 있다. 강화 학습 장치는 복수의 기지국 각각으로부터 수신한 기지국과 단말 간 관계에 대한 정보에 기초하여, 복수의 기지국 각각이 서빙하는 단말들 중 핸드오버를 수행해야 할 단말의 수를 결정할 수 있다. 또한, 강화 학습 장치는 단말의 수에 기초하여 우선순위 정보를 결정하고, 우선순위 정보를 복수의 기지국 각각 또는 기지국 B(120)에게 전송할 수 있다. 일 실시예에서, 기지국 B(120)는 우선순위 정보를 측정 보고를 전송한 적어도 하나의 단말에게 전송할 수 있다. 또한, 적어도 하나의 단말은 우선순위 정보에 기초하여 새로운 기지국과 핸드오버 과정을 수행할 수 있다. 예를 들어, 강화 학습 장치는 기지국 E(150)의 데이터 전송 속도가 낮은 것을 고려하여 기지국 B(120), 기지국 D(140), 및 기지국 E(150)의 우선순위에 관한 가중치를 각각 60, 70, 및 10으로 결정할 수 있다. 이에 따라, 제7 단말(113) 또는 제8 단말(115)은 우선순위에 관한 가중치가 높은 기지국 D(140)를 타겟 기지국으로 결정하여 핸드오버 과정을 수행할 수 있다. 또는, 제7 단말(113)은 기지국 D(140)를 타겟 기지국으로 결정하여 핸드오버 과정을 수행하고 제8 단말(115)은 기지국 B(120)를 타겟 기지국으로 하여 핸드오버 과정을 수행할 수 있다. 다만, 이는 일 예일뿐, 타겟 기지국으로 결정되는 기지국이 이에 한정되는 것은 아니다.

일 실시예에 따르면, 핸드오버 과정을 수행하고자 하는 단말은 복수의 기지국에 대한 우선순위 및 복수의 기지국 간의 가중치의 차이를 고려하여 타겟 기지국을 결정할 수 있다.

또한, 일 실시예에 따르면, 멀티 주파수 대역의 부하 정도를 고려하여 트래픽을 분산하는 것에서 나아가, 기지국 사이의 부하 차이를 고려하여 단말이 핸드오버를 수행함으로써, 무선 통신 시스템에서의 데이터 송수신 효율이 향상될 수 있다.

도 2는 일 실시예에 의한 강화 학습 장치가 무선 통신 시스템에서 부하를 분산시키는 방법을 나타낸 흐름도이다.

도 2를 참조하면, 동작 210에서, 강화 학습 장치는 복수의 기지국과 단말 간의 관계에 대한 제1 정보를 수신할 수 있다. 일 실시예에서, 제1 정보는 복수의 기지국 각각에 연결된 단말의 수에 관한 정보, 복수의 기지국 각각에 연결된 idle 상태의 단말의 수에 관한 정보, 복수의 기지국 각각에 연결된 active 상태의 단말의 수에 관한 정보, 복수의 기지국 각각에 연결된 단말들에 의해 사용된 데이터의 총 사용량에 관한 정보 등을 포함할 수 있으나, 이에 제한되는 것은 아니다.

일 실시예에서, 강화 학습 장치는 코어 네트워크의 엔티티, LTE 시스템의 MME(Mobility Management Entity) 또는 S-GW(Serving-Gateway), NR 시스템의 NWDAF(Network Data Analytics Function), AMF(Access and Mobility Management Function) 또는 UPF(User Plane Function), 복수의 기지국 일부 또는 전부에 포함될 수 있으며, 또는 코어 네트워크의 엔티티 및 복수의 기지국 일부 또는 전부와 유선 또는 무선으로 연결된 서버, 모듈 등일 수 있으나, 이에 한정되는 것은 아니다.

강화 학습 장치는 복수의 기지국 각각으로부터 기지국과 단말 간 관계에 대한 정보를 수신할 수 있다. 일 실시예에서, 복수의 기지국 일부 또는 전부와 유선 또는 무선으로 연결된 서버는 복수의 기지국 일부 또는 전부로부터 기지국과 단말 간 관계에 대한 정보를 수신할 수 있다. 다른 일 실시예에서, 기지국 내부의 모듈인 서버는 기지국 내부의 다른 모듈, 단말, 다른 기지국, 코어 네트워크 등으로부터 기지국과 단말 간 관계에 대한 정보를 수신할 수 있다.

다른 예를 들어, 제어 평면(control plane) 상의 MME, NWDAF, 또는 AMF는 코어 네트워크 단위로 데이터를 수집하여 부하를 분산시킬 수 있다. MME, NWDAF, 또는 AMF는 복수의 기지국 각각으로부터 기지국과 단말 간 관계에 대한 정보를 수신할 수 있다. 일 실시예에서, MME, NWDAF, 또는 AMF는 복수의 기지국 각각으로부터 복수의 기지국 각각의 데이터 사용량을 수신할 수도 있고, 수신한 기지국과 단말 간 관계에 대한 정보에 기초하여 S-GW 또는 UPF로부터 기지국의 데이터 처리량을 수신할 수도 있다.

또 다른 예를 들어, 사용자 평면(user plane) 상의 S-GW 또는 UPF는 코어 네트워크 단위로 데이터를 수집하여 부하를 분산시킬 수 있다. S-GW 또는 UPF는 복수의 기지국 각각으로부터 기지국과 단말 간 관계에 대한 정보를 수신할 수 있다. 일 실시예에서, S-GW 또는 UPF는 복수의 기지국 각각으로부터 복수의 기지국 각각의 데이터 사용량을 수신할 수도 있고, 복수의 기지국 각각의 데이터 사용량을 계산할 수도 있다.

일 실시예에서, 강화 학습 장치는 코어 네트워크 단위로 데이터를 수집하고 DQN, SAN 등의 Replay Buffer를 이용하여 학습할 수 있다. 다른 일 실시예에서, 강화 학습 장치는 A3C 등의 심층 강화 학습을 위한 비동기화 방법에 기초하여 코어 네트워크 단위로 멀티 에이전트(multi-agent)를 사용하여 학습할 수 있다. 일 실시예에 따르면, 코어 네트워크 단위로 학습함으로써, 상태(state), 액션(action) 등의 변수가 많은 복잡한 네트워크에서 부하 분산의 효율을 증가시킬 수 있다.

동작 230에서, 강화 학습 장치는 제1 정보에 기초하여 복수의 기지국 각각이 서빙하는 단말들 중 핸드오버를 수행해야 할 단말의 수를 결정할 수 있다. 일 실시예에서, 강화 학습 장치는 복수의 기지국 각각에 연결된 단말의 수, 망에 접속하여 서비스를 이용하고 있는 단말의 수, 망에 접속하였지만 서비스를 이용하고 있지 않은 단말의 수, 기지국의 데이터 처리량, 기지국의 데이터 송수신 속도 등에 기초하여 복수의 기지국 각각이 서빙하는 단말들 중 핸드오버를 수행해야 할 단말의 수를 결정할 수 있다.

동작 250에서, 강화 학습 장치는 단말의 수에 기초하여 결정된 우선순위 정보를 복수의 기지국 각각에게 전송할 수 있다. 일 실시예에서, 우선순위 정보는 우선순위에 관한 가중치, 우선순위에 관한 지시자, 복수의 기지국 각각이 핸드오버를 수행해야 할 단말의 수, 복수의 기지국 각각이 핸드오버를 수행해야 할 단말의 수에 대한 지시자 등을 포함할 수 있으나, 이에 한정되는 것은 아니다. 복수의 기지국 각각은 강화 학습 장치로부터 우선순위 정보를 수신하여 단말에게 전송할 수 있다. 단말은 우선순위 정보에 기초하여, 핸드오버 과정을 수행할 수 있다.

일 실시예에서, 강화 학습 장치는 복수의 기지국 각각으로부터 복수의 기지국 각각에게 전송한 우선순위 정보에 기초하여 복수의 기지국이 서빙하는 단말들의 핸드오버에 관한 단말 핸드오버 정보를 수신할 수 있다. 또한, 강화 학습 장치는 복수의 기지국에 대한 기지국 별 데이터 처리량을 획득할 수 있다. 강화 학습 장치는 단말 핸드오버 정보 및 기지국 별 데이터 처리량에 기초하여, 복수의 기지국 각각이 서빙하는 단말들 중 핸드오버를 수행해야 할 갱신된 단말의 수를 결정하고, 갱신된 단말의 수에 기초하여 결정된 우선순위 정보를 복수의 기지국 각각에게 전송할 수 있다.

도 3은 일 실시예에 의한 기지국이 무선 통신 시스템에서 부하를 분산시키는 방법을 나타낸 흐름도이다.

도 3을 참조하면, 동작 310에서, 기지국은 적어도 하나의 단말로부터 수신한 측정 보고에 기초하여, 적어도 하나의 단말에게 일정 세기 이상의 신호를 전송하는 복수의 기지국에 대한 정보를 획득할 수 있다. 일 실시예에서, 기지국은 적어도 하나의 단말에게 측정할 대상 및 측정 결과가 설정된 기준을 충족할 때 측정 결과를 만들어서 기지국으로 전송할지 여부에 대한 정보를 포함하는 측정 설정 정보(measurement configuration)를 전송할 수 있다. 예를 들어, 단말과 연결되는 경우, 기지국은 측정 설정 정보를 적절한 시점에 RRC 메시지에 수납하여 해당 단말에게 전송할 수 있다. 단말은 수신한 측정 설정 정보에 기초하여, 기지국으로부터 수신한 세기가 일정 세기 이하일 때, 기지국에게 측정 보고(measurement report)를 전송할 수 있다. 기지국은 신호가 일정 세기 이하로 떨어졌다는 정보를 포함하는 측정 보고에 기초하여, 단말에게 인접 기지국 중 일정 세기 이상의 신호를 전송하는 적어도 하나의 기지국에 대한 정보를 요청할 수 있다.

일 실시예에서, 단말은 일정 세기 이상의 신호를 전송하는 기지국에 대한 정보 요청에 대응하여, 단말에게 일정 세기 이상의 신호를 전송하는 적어도 하나의 인접 기지국을 식별할 수 있다. 단말은 식별된 인접 기지국에게 인접 기지국 정보를 요청하고, 인접 기지국으로부터 인접 기지국 정보를 수신 받아 기지국에게 전달할 수 있다.

다른 일 실시예에서, 단말은 서빙 기지국으로부터 수신한 일정 세기 이상의 신호를 전송하는 기지국에 대한 정보 요청에 대응하여, 단말에게 일정 세기 이상의 신호를 전송하는 적어도 하나의 인접 기지국을 식별할 수 있다. 또한, 단말은 식별된 인접 기지국의 식별자를 서빙 기지국에 전송할 수 있다. 서빙 기지국은 인접 기지국의 식별자에 기초하여, 인접 기지국에게 인접 기지국 정보를 요청할 수 있다. 적어도 하나의 인접 기지국은 정보 요청에 대응하여, 인접 기지국 정보를 서빙 기지국에게 전송할 수 있다.

동작 330에서, 기지국은 복수의 기지국에 대한 정보에 기초하여, 강화 학습 장치에게 기지국과 적어도 하나의 단말 간의 관계에 대한 제1 정보를 전송할 수 있다. 일 실시예에서, 제1 정보는 복수의 기지국 각각에 연결된 단말의 수에 관한 정보, 복수의 기지국 각각에 연결된 idle 상태의 단말의 수에 관한 정보, 복수의 기지국 각각에 연결된 active 상태의 단말의 수에 관한 정보, 복수의 기지국 각각에 연결된 단말들에 의해 사용된 데이터의 총 사용량에 관한 정보, 복수의 기지국 각각의 데이터 전송 속도 등을 포함할 수 있으나, 이에 한정되는 것은 아니다.

동작 350에서, 기지국은 강화 학습 장치로부터 해당 기지국이 서빙하는 단말들 중 핸드오버를 수행해야 할 단말의 수에 기초하여 결정된 우선순위 정보를 수신할 수 있다. 일 실시예에서, 우선순위 정보는 강화 학습 장치에 의해 결정된 정보로서, 네트워크의 부하 분산을 위한 최적의 학습 결과일 수 있다. 우선순위 정보는 우선순위에 관한 가중치, 우선순위에 관한 지시자, 복수의 기지국 각각이 핸드오버를 수행해야 할 단말의 수, 복수의 기지국 각각이 핸드오버를 수행해야 할 단말의 수에 대한 지시자 등을 포함할 수 있으나, 이에 한정되는 것은 아니다.

동작 370에서, 기지국은 우선순위 정보를 단말에게 전송함으로써, 적어도 하나의 단말과 핸드오버 과정을 수행할 수 있다. 일 실시예에서, 단말은 우선순위 정보에 기초하여 핸드오버 과정을 수행하고자 하는 기지국을 선택하고, 선택된 기지국과 핸드오버 과정을 수행할 수 있다. 예를 들어, 단말은 우선순위에 관한 가중치가 높은 기지국을 타겟 기지국으로 선택하고, 선택한 기지국과 핸드오버 과정을 수행할 수 있다. 핸드오버 과정은 연결 모드 상태인 단말에게 서비스를 제공하는 서빙 기지국(소스 기지국)을 다른 기지국(타겟 기지국)으로 변경하는 기술이다.

일 실시예에서, 기지국은 적어도 하나의 단말에게 측정 설정(measurement configuration)을 전송할 수 있다. 또한, 기지국은 전송한 측정 설정에 대응하여, 상기 적어도 하나의 단말로부터 제1 측정 보고를 수신하고, 제1 측정 보고에 기초하여, 적어도 하나의 단말에게 일정 세기 이상의 신호를 전송하는 적어도 하나의 기지국에 대한 정보를 요청할 수 있다. 기지국은 정보 요청에 대응하여 적어도 하나의 단말로부터 일정 세기 이상의 신호를 전송하는 적어도 하나 이상의 기지국에 대한 정보를 포함하는 제2 측정 보고를 수신할 수 있다. 또한, 기지국은 제2 측정 보고에 기초하여, 적어도 하나의 단말에게 일정 세기 이상의 신호를 전송하는 적어도 하나 이상의 기지국에 대한 정보를 획득할 수 있다.

일 실시예에서, 기지국은 적어도 하나의 단말로부터 수신한 측정 보고에 기초하여, 적어도 하나의 단말에게 일정 세기 이상의 신호를 전송하는 인접 기지국을 식별하고, 식별된 인접 기지국에게 인접 기지국 정보를 요청하고, 인접 기지국으로부터 인접 기지국 정보를 수신하여 복수의 기지국에 대한 정보를 획득할 수 있다.

일 실시예에서, 인접 기지국 정보는 인접 기지국에 연결된 단말의 수에 관한 정보, 인접 기지국에 연결된 idle 상태의 단말의 수에 관한 정보, 인접 기지국에 연결된 active 상태의 단말의 수에 관한 정보, 인접 기지국에 연결된 단말들에 의해 사용된 데이터의 총 사용량, 인접 기지국에 연결된 단말이 사용하는 무선 자원 비율에 관한 정보, 인접 기지국의 데이터 전송 속도 등을 포함할 수 있으나, 이에 한정되는 것은 아니다.

일 실시예에서, 기지국은 우선순위 정보에 기초하여 핸드오버를 수행한 단말의 수를 식별하고, 식별한 핸드오버를 수행한 단말의 수를 강화 학습 장치에게 전송할 수 있다.

일 실시예에서, 기지국은 우선순위 정보에 기초하여 핸드오버 과정을 수행한 후, 기지국의 데이터 사용량을 결정하고, 결정된 데이터 사용량을 강화 학습 장치에게 전송할 수 있다.

도 4는 일 실시예에 의한 단말이 무선 통신 시스템에서 부하를 분산시키는 방법을 나타낸 흐름도이다.

도 4를 참조하면, 동작 410에서, 단말은 기지국으로부터 수신한 측정 설정에 기초하여 기지국에게 측정 보고를 전송할 수 있다. 일 실시예에서, 단말은 기지국으로부터 측정 설정(measurement configuration)을 수신할 수 있다. 측정 설정은 기지국이 단말에게 주는 정보로, 단말이 어떤 측정 정보를 보고해야 하는지에 대한 정보를 포함할 수 있다. 예를 들어, 측정 설정은 단말이 측정해야 할 E-UTRA 셀들에 대한 정보, 측정 할 주파수 채널 번호, 측정할 셀들의 PCI(physical Cell ID), black list cell ID, 셀 별 offset 값 등을 포함하는 측정 대상 정보, 단말이 측정 보고를 전송해야 하는 조건에 대한 보고 설정 정보(reporting configuration), 측정 대상을 식별하기 위한 ID, 단말이 측정할 값들, 단말이 이웃 셀을 측정하는 주기 등을 포함할 수 있으나, 이에 제한되는 것은 아니다. 단말은 측정 설정 중 측정 보고를 전송해야 하는 조건에 대한 보고 설정 정보에 기초하여, 측정 설정에 의해 주어진 조건을 만족하게 되면 측정 이벤트가 발생하여 기지국에게 측정 보고를 전송할 수 있다.

동작 430에서, 단말은 기지국으로부터 단말에게 일정 세기 이상의 신호를 전송하는 적어도 하나의 인접 기지국의 정보 요청을 수신할 수 있다. 일 실시예에서, 기지국은 단말로부터 신호가 일정 세기 이하로 떨어졌다는 측정 보고를 수신한 후 단말에게 일정 세기 이상의 신호를 전송하는 적어도 하나의 인접 기지국의 정보를 요청할 수 있다. 이에 따라, 단말은 기지국으로부터 단말에게 일정 세기 이상의 신호를 전송하는 적어도 하나의 인접 기지국의 정보 요청을 수신할 수 있다.

동작 450에서, 단말은 정보 요청에 기초하여, 기지국에게 적어도 하나의 인접 기지국의 정보를 포함하는 제2 측정 보고를 전송할 수 있다. 일 실시예에서, 단말은 단말에게 일정 세기 이상의 신호를 전송하는 적어도 하나의 인접 기지국에 대한 식별자를 전송할 수 있다. 다른 일 실시예에서, 단말은 정보 요청에 기초하여, 일정 세기 이상의 신호를 전송하는 적어도 하나의 인접 기지국에게 인접 기지국 정보를 요청하고, 적어도 하나의 인접 기지국으로부터 인접 기지국 정보를 수신할 수 있다. 또한, 단말은 수신한 인접 기지국 정보를 기지국에게 전달할 수 있다. 일 실시예에서, 인접 기지국 정보는 단말에게 일정 세기 이상의 신호를 전송하는 적어도 하나의 인접 기지국에 대한 식별자, 적어도 하나의 인접 기지국 각각에 연결된 단말의 수에 관한 정보, 적어도 하나의 인접 기지국 각각에 연결된 idle 상태의 단말의 수에 관한 정보, 적어도 하나의 인접 기지국 각각에 연결된 active 상태의 단말의 수에 관한 정보, 적어도 하나의 인접 기지국 각각에 연결된 단말들에 의해 사용된 데이터의 총 사용량, 적어도 하나의 인접 기지국 각각에 연결된 단말이 사용하는 무선 자원 비율에 관한 정보 등을 포함할 수 있으나, 이에 한정되는 것은 아니다.

동작 470에서, 단말은 기지국으로부터 우선순위 정보를 수신할 수 있다. 일 실시예에서, 강화 학습 장치는 기지국으로부터 인접 기지국 정보, 기지국과 단말 간 관계에 대한 정보 등을 수신할 수 있다. 기지국과 단말 간 관계에 대한 정보에 인접 기지국 정보가 포함될 수도 있다. 또한, 강화 학습 장치는 뉴럴 네트워크를 이용하여 복수의 기지국 각각이 서빙하는 단말들 중 핸드오버를 수행해야 할 단말의 수를 결정할 수 있다. 기지국은 강화 학습 장치가 결정한 핸드오버를 수행해야 할 단말 수에 기초하여 결정된 우선순위 정보를 수신할 수 있다. 단말은 기지국으로부터 강화 학습 장치로부터 전달받은 우선순위 정보를 수신할 수 있다.

동작 490에서, 단말은 우선순위 정보에 기초하여, 새로운 기지국과 핸드오버 과정을 수행할 수 있다. 일 실시예에서, 단말은 우선순위 정보에 기초하여, 가 낮은 기지국보다 우선순위가 높은 기지국과 핸드오버 과정을 수행할 수 있다. 예를 들어, 단말은 최우선 우선순위를 가지는 기지국과 핸드오버 과정을 수행하거나, 그 다음의 우선순위를 가지는 기지국과 핸드오버 과정을 수행할 수 있다. 다만, 단말이 핸드오버 시 고려하는 우선순위 정보 및 단말이 핸드오버 과정을 수행하는 기지국이 이에 한정되는 것은 아니다.

도 5는 일 실시예에 의한 기지국과 기지국이 서빙하는 단말 간에 핸드오버를 수행하는 방법의 개요를 도시한 도면이다.

도 5를 참조하면, 단말이 핸드오버를 수행하는 과정에서 단말은 서빙 기지국에게 일정 세기 이상의 신호를 전송하는 인접 기지국의 식별자를 전송할 수 있다. 또한, 서빙 기지국은 식별자에 기초하여 인접 기지국에게 인접 기지국 정보를 요청하고, 인접 기지국으로부터 인접 기지국 정보를 수신할 수 있다. 서빙 기지국은 인접 기지국 정보를 강화 학습 장치가 저장된 코어 네트워크에게 전송할 수 있다. 또한, 기지국은 강화 학습 장치로부터 우선순위 정보를 수신하여 단말에게 전송함으로써 단말은 부하 분산을 위한 최적의 기지국을 타겟 기지국으로 결정하고, 타겟 기지국과 핸드오버 과정을 수행할 수 있다.

일 실시예에서, 단말은 위치 501에서 소정의 이유로 또는 일정 시간 동안 데이터의 송수신이 없어 유휴모드로 전환한 idle 상태의 단말일 수 있다.

일 실시예에서, 단말은 위치 503에서 망에 접속하여 서비스를 이용하는 연결 상태의 단말로 전환할 수 있다. 일 실시예에서, 서빙 기지국은 적어도 하나의 단말에게 측정할 대상 및 측정 결과가 어떤 기준을 충족할 때 측정 결과를 만들어서 서빙 기지국으로 전송할지 여부에 대한 정보를 포함하는 측정 설정(measurement configuration) 메시지를 전송할 수 있다. 예를 들어, 단말과 연결되는 경우 서빙 기지국은 측정 설정 정보를 적절한 시점에 RRC 메시지에 수납하여 해당 단말에게 전송할 수 있다. 측정 설정 메시지는 단말에게 서빙 기지국의 신호가 일정 세기 이하로 떨어지면 보고하라는 정보를 포함할 수 있다.

일 실시예에서, 단말은 위치 505에서 서빙 기지국으로부터 수신한 신호가 일정 세기 이하라고 결정한 후 서빙 기지국에게 측정 보고(measurement report)를 전송할 수 있다. 일 실시예에서, 서빙 기지국은 측정 보고에 대응하여, 단말에게 일정 세기 이상의 신호를 전송하는 적어도 하나의 기지국에 대한 정보를 요청할 수 있다. 단말은 서빙 기지국에게 일정 세기 이상의 신호를 전송하는 적어도 하나의 기지국에 대한 식별자를 전송할 수 있다.

일 실시예에서, 서빙 기지국은 식별자에 기초하여 일정 세기 이상의 신호를 전송하는 적어도 하나의 기지국에게 인터페이스(예. Xn 인터페이스, X2 인터페이스, X2-U 인터페이스 등)를 통해 인접 기지국 정보를 요청할 수 있다. 인접 기지국 정보 요청을 수신한 적어도 하나의 기지국은 서빙 기지국에게 인접 기지국 정보를 전송할 수 있다.

일 실시예에서, 서빙 기지국은 코어 네트워크의 NWDAF에게 인접 기지국 정보를 전송할 수 있다. 예를 들어, 서빙 기지국은 NWDAF에게 직접 인접 기지국 정보를 전송할 수 있다. 다른 예를 들어, 서빙 기지국은 AMF에게 인접 기지국 정보를 전송하고, 인접 기지국 정보를 수신한 AMF가 NWDAF에게 인접 기지국 정보를 전송할 수도 있다. 예를 들어, 코어 네트워크의 NWDAF는 강화 학습 장치이거나, 강화 학습 장치를 포함하는 모듈을 탑재하거나, 강화 학습 장치와 유선 또는 무선으로 통신할 수 있다. 강화 학습 장치는 인접 기지국 정보에 기초하여, 적어도 하나의 인접 기지국 각각이 서빙하는 단말들 중 핸드오버를 수행해야 할 단말의 수를 결정할 수 있다. 또한, 강화 학습 장치는 단말의 수에 기초하여 결정된 우선순위 정보를 서빙 기지국 또는 서빙 기지국을 포함하는 복수의 기지국 각각에게 전송할 수 있다. 서빙 기지국은 수신한 우선순위 정보를 단말에게 전송하고, 단말은 우선순위 정보에 기초하여 타겟 기지국을 결정할 수 있다. 이에 따라, 단말은 타겟 기지국과 핸드오버 과정을 수행할 수 있다.

도 6은 일 실시예에 의한 강화 학습 장치의 구성을 개략적으로 도시한 블록도이다.

도 6을 참조하면, 강화 학습 장치(600)는 송수신부(610), 메모리(620) 및 프로세서(630)을 포함할 수 있다. 또한, 프로세서(630)는 단말 정보 수집기(631), 기지국 정보 수집기(633), 기지국 별 데이터 사용량 계산기(635), 학습을 위한 데이터 수집기(637), 보상 생성기(639) 및 우선순위 정보 생성기(641)를 포함할 수 있다. 그런, 도 6에 도시된 구성 요소 모두가 강화 학습 장치(600)의 필수 구성 요소인 것은 아니다. 도 6에 도시된 구성 요소보다 많은 구성 요소에 의해 강화 학습 장치(600)가 구현될 수도 있고, 도 6에 도시된 구성 요소보다 적은 구성 요소에 의해 강화 학습 장치(600)가 구현될 수도 있다. 뿐만 아니라 송수신부(610), 메모리(620), 프로세서(630)가 하나의 칩(chip) 형태로 구현될 수도 있다.

프로세서(630)는 하나 또는 복수의 프로세서로 구성될 수 있다. 이때, 하나 또는 복수의 프로세서는 CPU, AP, DSP(Digital Signal Processor) 등과 같은 범용 프로세서, GPU, VPU(Vision Processing Unit)와 같은 그래픽 전용 프로세서 또는 NPU와 같은 인공지능 전용 프로세서일 수 있다. 또는, 하나 또는 복수의 프로세서가 인공지능 전용 프로세서인 경우, 인공지능 전용 프로세서는, 특정 인공지능 모델의 처리에 특화된 하드웨어 구조로 설계될 수 있다.

또한, 프로세서(630)는 상술한 본 개시의 실시예에 따라 강화 학습 장치(600)가 동작할 수 있도록 일련의 과정을 제어할 수 있다. 예를 들어, 프로세서(630)는 송수신부(610)를 통해 제어 신호와 데이터 신호를 수신하고, 수신한 제어 신호와 데이터 신호를 처리할 수 있다. 또한, 프로세서는 처리한 제어 신호와 데이터 신호를 송수신부를 통해 송신할 수 있다. 또한, 프로세서(630)는 메모리(620)에 저장된 기 정의된 동작 규칙 또는 인공지능 모델에 따라, 수신한 제어 신호와 데이터 신호에서 도출된 입력 데이터를 처리하도록 제어할 수 있다.

기 정의된 동작 규칙 또는 인공지능 모델은 학습을 통해 만들어질 수 있다. 여기서, 학습을 통해 만들어진다는 것은, 기본 인공지능 모델이 학습 알고리즘에 의하여 다수의 학습 데이터들을 이용하여 학습됨으로써, 원하는 특성(또는, 목적)을 수행하도록 설정된 기 정의된 동작 규칙 또는 인공지능 모델이 만들어짐을 의미한다. 이러한 학습은 본 개시에 따른 인공지능이 수행되는 기지국 또는 네트워크 엔티티 자체에서 이루어질 수도 있고, 별도의 서버 및/또는 시스템을 통해 이루어 질 수도 있다. 학습 알고리즘의 예로는, 지도형 학습(supervised learning), 비지도형 학습(unsupervised learning), 준지도형 학습(semi-supervised learning) 또는 강화 학습(reinforcement learning)이 있으나, 전술한 예에 한정되지 않는다.

인공지능 모델은, 복수의 신경망 레이어들로 구성될 수 있다. 복수의 신경망 레이어들 각각은 복수의 가중치들(weight values)을 갖고 있으며, 이전(previous) 레이어의 연산 결과와 복수의 가중치들 간의 연산을 통해 신경망 연산을 수행한다. 복수의 신경망 레이어들이 갖고 있는 복수의 가중치들은 인공지능 모델의 학습 결과에 의해 최적화될 수 있다. 예를 들어, 학습 과정 동안 인공지능 모델에서 획득한 로스(loss) 값 또는 코스트(cost) 값이 감소 또는 최소화되도록 복수의 가중치들이 갱신될 수 있다. 인공 신경망은 심층 신경망(DNN:Deep Neural Network)를 포함할 수 있으며, 예를 들어, CNN (Convolutional Neural Network), DNN (Deep Neural Network), RNN (Recurrent Neural Network), RBM (Restricted Boltzmann Machine), DBN (Deep Belief Network), BRDNN(Bidirectional Recurrent Deep Neural Network) 또는 심층 Q-네트워크 (Deep Q-Networks) 등이 있으나, 전술한 예에 한정되지 않는다.

일 실시예에서, 단말 정보 수집기(631)는 적어도 하나의 단말로부터 단말에게 일정 세기 이상의 신호를 전송하는 적어도 하나의 기지국에 대한 식별자, 수신하는 신호의 신호 세기에 대한 정보 등을 수신할 수 있다. 단말 정보 수집기(631)는 단말에 의해 측정된 신호세기 등을 이용하여 복수의 기지국 각각이 서빙하는 단말들 중 핸드오버를 수행해야 할 단말의 수 및 우선순위 정보를 결정할 수 있다.

일 실시예에서, 기지국 정보 수집기(633)는 복수의 기지국 각각에 연결된 단말의 수에 관한 정보, 복수의 기지국 각각의 커버리지 내에 있는 idle 상태의 단말의 수에 관한 정보, 복수의 기지국 각각에 연결된 active 상태의 단말의 수에 관한 정보, 복수의 기지국 각각에 연결된 단말들에 의해 사용된 데이터의 총 사용량에 관한 정보, 복수의 기지국 각각에 연결된 단말들이 사용하는 무선 자원 비율에 관한 정보 등을 획득할 수 있으나, 기지국 정보 수집기(633)가 수집하는 정보가 이에 한정되는 것은 아니다.

일 실시예에서, 기지국 별 데이터 사용량 계산기(635)는 복수의 기지국 각각이 사용한 데이터 사용량에 기초하여, 데이터 사용량 또는 데이터 처리량을 결정할 수 있다. 또한, 학습을 위한 데이터 수집기(637)는 복수의 기지국의 우선순위 또는 우선순위에 관한 가중치를 변경하면서, 단말 정보 수집기(631), 기지국 정보 수집기(633), 기지국 별 데이터 사용량 계산기(635) 등으로부터 수집된 정보 등이 어떻게 변화하는지에 대한 정보, 우선순위 또는 우선순위에 관한 가중치의 변화에 따라 각 기지국의 데이터 처리량은 어떻게 변화하는지에 대한 정보 등을 수집할 수 있다.

일 실시예에서, 보상 생성기(639)는 기지국 별 데이터 사용량 계산기(635)로부터 기지국 별 데이터 사용량을 수신 받아 보상(reward)를 계산할 수 있다. 강화 학습 장치(600)는 행동에 따른 보상에 기초하여 더 좋은 보상을 받는 행동을 하도록 학습할 수 있다.

일 실시예에서, 우선순위 정보 생성기(641)는 복수의 기지국 각각에 연결된 단말의 수에 관한 정보, 복수의 기지국 각각에 연결된 idle 상태의 단말의 수에 대한 정보, 복수의 기지국 각각에 연결된 active 상태의 단말의 수에 관한 정보, 복수의 기지국 각각에 연결된 단말들에 의해 사용된 데이터의 총 사용량에 관한 정보 등에 기초하여, 핸드오버를 수행해야 할 단말의 수를 결정할 수 있다. 또한, 우선순위 정보 생성기(641)는 핸드오버를 수행해야 할 단말의 수에 기초하여 우선순위 정보를 결정할 수 있다. 또는, 우선순위 정보 생성기(641)는 학습을 위한 데이터 수집기(637), 보상 생성기(639) 등으로부터 우선순위 결정에 필요한 정보들을 수신 받아 우선순위 정보를 결정할 수 있다.

일 실시예에서, 송수신부(610)는 송신부와 수신부를 통칭한 것으로서, 단말, 기지국, 네트워크 엔티티(Network Entity)와 신호를 송수신할 수 있다. 송수신하는 신호는 제어 정보 및 데이터를 포함할 수 있다. 이를 위해, 송수신부는 전송되는 신호의 주파수를 상승 변환 및 증폭하는 RF 송신기와, 수신되는 신호를 저 잡음 증폭하고 주파수를 하강 변환하는 RF 수신기 등으로 구성될 수 있다. 다만, 이는 송수신부의 일 실시예일뿐이며, 송수신부의 구성 요소가 RF 송신기 및 RF 수신기에 한정되는 것은 아니다. 또한, 송수신부는 유무선 채널을 통해 신호를 수신하여 프로세서로 출력하고, 프로세서로부터 출력된 신호를 무선 채널을 통해 전송할 수 있다. 강화 학습 장치(600)는 네트워크 내 다른 장치들과 통신을 수행하기 위한 인터페이스를 제공할 수 있다. 즉, 송수신부(610)는 다른 장치로 송신되는 비트열을 물리적 신호로 변환하고, 다른 장치로부터 수신되는 물리적 신호를 비트열로 변환할 수 있다다. 즉, 송수신부(610)는 신호를 송신 및 수신할 수 있다. 이에 따라, 송수신부(610)는 모뎀(modem), 송신부(transmitter), 수신부(receiver), 통신부(communication unit) 또는 통신 모듈(communication module)로 지칭될 수 있다. 이때, 송수신부(610)는 강화 학습 장치(600)가 백홀 연결(예: 유선 백홀 또는 무선 백홀) 또는 다른 연결 방법을 거쳐 또는 네트워크를 거쳐 다른 장치들 또는 시스템과 통신할 수 있도록 한다.

메모리(620)는 강화 학습 장치(600)의 동작에 필요한 및 데이터를 저장할 수 있다. 또한, 메모리(620)는 강화 학습 장치(600)에서 획득되는 신호에 포함된 제어 정보 또는 데이터를 저장할 수 있다. 또한, 메모리는 기지국 및 네트워크 엔티티에서 사용되는 기 정의된 동작 규칙 또는 인공지능 모델을 저장할 수 있다. 메모리는 롬(ROM), 램(RAM), 하드디스크, CD-ROM 및 DVD 등과 같은 저장 매체 또는 저장 매체들의 조합으로 구성될 수 있다. 또한, 메모리는 별도로 존재하지 않고 프로세서에 포함되어 구성될 수도 있다.

도 7은 일 실시예에 의한 기지국이 단말로부터 인접 기지국 정보를 수신하여 부하를 분산시키는 방법을 나타낸 흐름도이다.

도 7을 참조하면, 동작 710에서, 기지국(705)은 단말(703)에게 측정 설정(measurement configuration) 메시지를 전송할 수 있다. 일 실시예에서, 기지국(705)은 단말(703)에게 신호가 일정 세기 이상으로 떨어지면 보고하라는 정보를 포함하는 측정 설정 메시지를 전송할 수 있다.

동작 720에서, 단말(703)은 기지국(705)에게 측정 보고(measurement report) 메시지를 전송할 수 있다. 일 실시예에서, 단말(703)은 기지국(705)으로부터 수신하는 신호 세기가 측정 설정 메시지에 포함된 신호의 일정 세기보다 떨어진 경우, 기지국(705)에게 측정 보고 메시지를 전송할 수 있다.

동작 730에서, 기지국(705)는 단말(703)에게 일정 세기 이상의 신호를 전송하는 적어도 하나의 인접 기지국의 정보를 요청할 수 있다. 일 실시예에서, 인접 기지국의 정보를 요청하는 조건인 일정 세기는 동작 710에서의 측정 보고의 조건인 일정 세기와 같거나 다른 값을 가질 수 있다.

동작 740에서, 단말(703)은 일정 세기 이상의 신호를 전송하는 적어도 하나의 인접 기지국(701)에게 인접 기지국 정보를 요청할 수 있다. 일 실시예에서, 단말(703)은 기지국(705)로부터 수신한 요청에 기초하여, 단말(703)에게 일정 세기 이상의 신호를 보내는 적어도 하나의 인접 기지국에게 인접 기지국의 정보를 요청할 수 있다.

동작 750에서, 인접 기지국(701)은 단말(703)에게 인접 기지국 정보를 전송하고, 단말(703)은 기지국(705)에게 인접 기지국 정보를 전송하고, 기지국(706)는 강화 학습 장치(707)에게 인접 기지국 정보를 전송할 수 있다. 일 실시예에서, 인접 기지국 정보는 인접 기지국에 연결된 단말의 수에 관한 정보, 인접 기지국에 연결된 idle 상태의 단말의 수에 관한 정보, 인접 기지국에 연결된 active 상태의 단말의 수에 관한 정보, 인접 기지국에 연결된 단말들에 의해 사용된 데이터의 총 사용량, 인접 기지국에 연결된 단말이 사용하는 무선 자원 비율에 관한 정보, 인접 기지국의 데이터 전송 속도 등을 포함할 수 있으나, 이에 한정되는 것은 아니다.

동작 760에서, 강화 학습 장치(707)는 기지국(705)에게 우선순위 정보를 전송하고, 기지국(705)은 단말(703)에게 우선순위 정보를 전송할 수 있다. 이에 따라, 단말(703)은 새로운 기지국과 핸드오버 과정을 수행할 수 있다.

동작 770에서, 기지국(705)은 강화 학습 장치(707)에게 단말의 핸드오버에 따른 단말 이동 정보(770)를 전송할 수 있다. 강화 학습 장치(707)는 일정 시간 후 기지국과 단말 간의 정보를 파악하고, 기지국(705)의 데이터 처리량을 획득할 수 있다.

동작 780에서, 강화 학습 장치(707)는 강화 학습(reinforcement learning, RL)을 이용하여 갱신된 우선순위 정보를 결정할 수 있다. 일 실시예에서, 데이터 처리량이 증가된 경우, 강화 학습 장치(707)는 더 나은 보상을 획득한 것으로 인식하고, 데이터 처리량이 감소된 경우, 강화 학습 장치(707)는 좋지 않은 보상을 획득한 것을 인식할 수 있다. 이에 따라, 강화 학습 장치(707)는 새롭게 갱신된 우선순위 정보를 결정할 수 있다.

동작 790에서, 강화 학습 장치(707)는 기지국(705)에게 갱신된 우선순위 정보를 전송하고, 기지국(705)는 단말(703)에게 갱신된 우선순위 정보를 전달할 수 있다. 일 실시예에서, 단말(703)은 갱신된 우선순위 정보에 기초하여 새로운 타겟 기지국과 핸드오버 과정을 수행할 수 있다.

도 8은 일 실시예에 의한 기지국이 인접 기지국으로부터 인접 기지국 정보를 수신하여 부하를 분산시키는 방법을 나타낸 흐름도이다.

도 8을 참조하면, 동작 810에서, 기지국(805)은 단말(803)에게 측정 설정(measurement configuration) 메시지를 전송할 수 있다. 일 실시예에서, 기지국(805)은 단말(803)에게 신호가 일정 세기 이상으로 떨어지면 보고하라는 정보를 포함하는 측정 설정 메시지를 전송할 수 있다.

동작 820에서, 단말(803)은 기지국(805)에게 측정 보고(measurement report) 메시지를 전송할 수 있다. 일 실시예에서, 단말(803)은 기지국(805)으로부터 수신하는 신호 세기가 측정 설정 메시지에 포함된 신호의 일정 세기보다 떨어진 경우, 기지국(805)에게 측정 보고 메시지를 전송할 수 있다.

동작 830에서, 기지국(805)는 단말(803)에게 일정 세기 이상의 신호를 전송하는 적어도 하나의 인접 기지국의 리스트를 요청할 수 있다. 일 실시예에 따르면, 단말(803)이 인접 기지국(801)에 연결된 단말의 수 등과 같은 인접 기지국 정보를 획득하기 어려운 경우, 단말(803)에게 일정 세기 이상의 신호를 전송하는 인접 기지국의 리스트만을 요청하고, 기지국(805)이 인접 기지국(801)에게 인접 기지국 정보를 직접 요청함으로써, 단말의 복잡도를 감소시킬 수 있다. 일 실시예에서, 인접 기지국의 리스트를 요청하는 조건인 일정 세기는 동작 810에서의 측정 보고의 조건인 일정 세기와 같거나 다른 값을 가질 수 있다.

동작 840에서, 단말(803)은 기지국(805)에게 일정 세기 이상의 신호를 전송하는 인접 기지국의 리스트를 전송할 수 있다.

동작 850에서, 기지국(805)는 인접 기지국(801)에게 인접 기지국 정보를 요청할 수 있다. 일 실시예에서, 기지국(805)은 단말(803)로부터 수신한 인접 기지국의 리스트에 기초하여, 단말(803)에게 일정 세기 이상의 신호를 전송하는 적어도 하나의 인접 기지국에게 인접 기지국 정보를 요청할 수 있다.

동작 860에서, 단말(803)에게 일정 세기 이상의 신호를 전송하는 적어도 하나의 인접 기지국은 기지국(805)에게 인접 기지국 정보를 전송할 수 있다. 또한, 기지국(805)은 인접 기지국 정보를 강화 학습 장치(807)에게 전송할 수 있다. 일 실시예에서, 인접 기지국 정보는 인접 기지국에 연결된 단말의 수에 관한 정보, 인접 기지국에 연결된 idle 상태의 단말의 수에 관한 정보, 인접 기지국에 연결된 active 상태의 단말의 수에 관한 정보, 인접 기지국에 연결된 단말들에 의해 사용된 데이터의 총 사용량, 인접 기지국에 연결된 단말이 사용하는 무선 자원 비율에 관한 정보 등을 포함할 수 있으나, 이에 한정되는 것은 아니다.

동작 870에서, 강화 학습 장치(807)는 인접 기지국 정보에 기초하여 적어도 하나의 인접 기지국 각각이 서빙하는 단말들 중 핸드오버를 수행해야 할 단말의 수를 결정할 수 있다. 또한, 강화 학습 장치(807)는 결정된 단말의 수에 기초하여 결정된 우선순위 정보를 복수의 기지국 각각에게 전송할 수 있다. 기지국(805)은 강화 학습 장치(807)로부터 수신한 우선순위 정보를 단말(803)에게 전송할 수 있다.

동작 880에서, 단말(803)이 우선순위 정보에 기초하여 새로운 기지국과 핸드오버 과정을 수행한 결과, 기지국(805)은 단말의 이동 정보를 강화 학습 장치(807)에게 전송할 수 있다.

도 9는 일 실시예에 의한 무선 통신 시스템에서 부하를 분산시키는 방법을 나타낸 흐름도이다.

도 9를 참조하면, 동작 910에서, 단말은 기지국으로부터 수신한 신호의 세기가 일정 세기 이하이면 기지국에게 측정 보고(measurement report) 메시지를 전송할 수 있다. 즉, 단말은 기지국으로부터 수신한 신호의 세기가 일정 세기 이하로 감소하였다는 보고 메시지를 기지국에게 전송하여 핸드오버의 필요성을 알릴 수 있다.

동작 920에서, 기지국은 단말로부터 수신한 측정 보고 메시지에 기초하여, 단말에게 일정 세기 이상의 신호를 전송하는 복수의 기지국에 대한 정보를 획득할 수 있다. 기지국은 단말에게 일정 세기 이상의 신호를 전송하는 복수의 기지국에 대한 정보를 요청할 수 있다. 일 실시예에서, 단말은 일정 세기 이상의 신호를 전송하는 복수의 기지국에게 복수의 기지국에 대한 정보를 요청하고 수신한 정보를 기지국에게 전송할 수 있다. 다른 일 실시예에서, 단말은 일정 세기 이상의 신호를 전송하는 복수의 기지국의 리스트를 기지국에게 전송하고, 기지국은 수신한 리스트에 기초하여, 복수의 기지국에게 복수의 기지국 각각에 대한 정보를 요청하고 수신할 수 있다.

동작 930에서, 기지국은 복수의 기지국에 대한 정보에 기초하여, 강화 학습 장치에게 기지국과 단말 간의 관계에 대한 제1 정보를 전송할 수 있다. 일 실시예에서, 제1 정보는 복수의 기지국 각각에 연결된 단말의 수에 관한 정보, 복수의 기지국 각각에 연결된 idle 상태의 단말의 수에 관한 정보, 복수의 기지국 각각에 연결된 active 상태의 단말의 수에 관한 정보, 상기 복수의 기지국 각각에 연결된 단말들에 의해 사용된 데이터의 총 사용량에 관한 정보 등을 포함할 수 있으나, 이에 한정되는 것은 아니다.

동작 940에서, 강화 학습 장치는 제1 정보에 기초하여, 복수의 기지국 각각이 핸드오버 해야 할 단말의 수를 결정할 수 있다. 일 실시예에서, 강화 학습 장치는 복수의 기지국 각각에 연결된 단말의 수, 복수의 기지국 각각의 연결된 단말 중 실제로 데이터를 주고받고 있는 단말의 수, 복수의 기지국 각각의 데이터 처리량, 복수의 기지국 각각의 데이터 송수신 속도 등을 고려하여, 복수의 기지국 각각이 핸드오버 해야 할 단말의 수를 결정할 수 있다.

동작 950에서, 강화 학습 장치는 핸드오버 해야 할 단말의 수에 기초하여 결정된 우선순위 정보를 복수의 기지국 각각에게 전송할 수 있다. 예를 들어, 강화 학습 장치는 데이터의 송수신 속도가 빠른 기지국을 높은 우선순위로 결정하고, 데이터의 송수신 속도가 느린 기지국을 낮은 우선순위로 결정할 수 있다. 다만, 우선순위를 결정하는 방식이 이에 제한되는 것은 아니다. 강화 학습 장치는 결정된 우선순위 정보를 복수의 기지국 각각에게 전송할 수 있다.

동작 960에서, 기지국은 우선순위 정보를 강화 학습 장치로부터 수신 받아 단말에게 전송할 수 있다.

동작 970에서, 단말은 기지국으로부터 수신한 우선순위 정보에 기초하여, 새로운 기지국과 핸드오버 과정을 수행할 수 있다. 일 실시예에서, 단말은 일정 세기 이상의 신호를 전송하는 복수의 기지국 중 우선순위가 높은 기지국과 핸드오버 과정을 수행할 수 있다. 다른 일 실시예에서, 단말은 일정 세기 이상의 신호를 전송하는 복수의 기지국 중 우선순위에 관한 가중치가 높은 기지국과 핸드오버 과정을 수행할 수 있다.

도 10은 일 실시예에 의한 강화 학습 장치가 네트워크의 부하를 분산시키기 위해 학습하는 방법의 개요를 도시한 도면이다.

도 10을 참조하면, 강화 학습 장치(1050)는 환경(1000)에게 액션(action)으로서 우선순위 정보(1010)를 전송하고, 그에 따라, 환경(1000)에서 기지국과 단말 간의 핸드오버 과정이 수행될 수 있다. 환경(1000)은 강화 학습 장치(1050)에게 일정 시간이 지난 후 기지국과 단말 간의 관계에 관한 상태(1030) 및 각 기지국의 데이터 처리량(1020)에 관한 보상(reward)을 전송할 수 있다.

일 실시예에서, 강화 학습 장치(1050)는 정의된 동작 규칙 또는 인공지능 모델에 따라, 수신한 제어 신호와 데이터 신호에서 도출된 입력 데이터를 처리하도록 제어할 수 있다.

기 정의된 동작 규칙 또는 인공지능 모델은 학습을 통해 만들어질 수 있다. 여기서, 학습을 통해 만들어진다는 것은, 기본 인공지능 모델이 학습 알고리즘에 의하여 다수의 학습 데이터들을 이용하여 학습됨으로써, 원하는 특성(또는, 목적)을 수행하도록 설정된 기 정의된 동작 규칙 또는 인공지능 모델이 만들어짐을 의미한다. 이러한 학습은 본 개시에 따른 인공지능이 수행되는 기지국 또는 네트워크 엔티티 자체에서 이루어질 수도 있고, 별도의 서버 및/또는 시스템을 통해 이루어 질 수도 있다. 학습 알고리즘의 예로는, 지도형 학습(supervised learning), 비지도형 학습(unsupervised learning), 준지도형 학습(semi-supervised learning) 또는 강화 학습(reinforcement learning)이 있으나, 전술한 예에 한정되지 않는다.

인공지능 모델은, 복수의 신경망 레이어들로 구성될 수 있다. 복수의 신경망 레이어들 각각은 복수의 가중치들(weight values)을 갖고 있으며, 이전(previous) 레이어의 연산 결과와 복수의 가중치들 간의 연산을 통해 신경망 연산을 수행한다. 복수의 신경망 레이어들이 갖고 있는 복수의 가중치들은 인공지능 모델의 학습 결과에 의해 최적화될 수 있다. 예를 들어, 학습 과정 동안 인공지능 모델에서 획득한 로스(loss) 값 또는 코스트(cost) 값이 감소 또는 최소화되도록 복수의 가중치들이 갱신될 수 있다. 인공 신경망은 심층 신경망(DNN:Deep Neural Network)를 포함할 수 있으며, 예를 들어, CNN (Convolutional Neural Network), DNN (Deep Neural Network), RNN (Recurrent Neural Network), RBM (Restricted Boltzmann Machine), DBN (Deep Belief Network), BRDNN(Bidirectional Recurrent Deep Neural Network) 또는 심층 Q-네트워크 (Deep Q-Networks) 등이 있으나, 전술한 예에 한정되지 않는다.

일 실시예에서, 제1 단말(1001)은 서빙 기지국인 제1 기지국(1021)을 통해 망에 접속하여 서비스를 제공받고 있던 중, 제1 기지국(1021)에게 측정 보고(measurement report) 메시지를 전송할 수 있다. 측정 보고 메시지에는 단말이 핸드오버 과정을 수행하기 위한 정보가 포함될 수 있다. 예를 들어, 측정 보고 메시지에는 기지국으로부터 수신한 신호가 일정 세기 이하라는 정보를 포함할 수 있다. 제1 기지국(1021)은 강화 학습 장치(1050)에게 현재의 데이터 처리량(1020)과 제1 상태를 전송할 수 있다. 예를 들어, 제1 상태는 아래 표와 같을 수 있다.

	rr UE의 수	act UE의 수	데이터 전송 속도
제1 기지국(1021)	70	60	30Mbps
제2 기지국(1023)	80	50	60Mbps
제3 기지국(1025)	80	60	40Mbps
제4 기지국(1027)	60	30	60Mbps
제5 기지국(1029)	40	20	70Mbps
제6 기지국(1031)	30	10	40Mbps

rr UE는 기지국에 연결되어 있는 단말로서, 기지국을 통해 망에 접속하여 서비스를 제공받고 있는 단말(active 상태의 단말) 및 기지국을 통해 망에 접속하되 서비스를 제공받고 있지 않은 단말(idle 상태의 단말)을 포함할 수 있다. 또한, act UE는 기지국에 연결되어 있는 단말 중 실제로 서비스를 제공받고 있는 단말(active 상태의 단말)을 포함할 수 있다. 데이터 전송 속도는 기지국이 단말에게 데이터를 전송하는 속도일 수 있다.

강화 학습 장치(1050)는 제1 상태 및 제1 데이터 처리량을 입력으로 하여 우선순위 정보를 획득할 수 있다. 예를 들어, 강화 학습 장치(1050)는 제1 상태 및 제1 데이터 처리량을 입력으로 하여 심층 신경망(DNN:Deep Neural Network)을 이용하여 제1 우선순위 정보를 생성할 수 있다. 제1 우선순위 정보는 다음과 같을 수 있다.

	핸드오버 수행해야 할 단말의 수	우선순위에 관한 가중치
제1 기지국(1021)	40	10
제2 기지국(1023)	10	80
제3 기지국(1025)	30	40
제4 기지국(1027)	20	60
제5 기지국(1029)	3	90
제6 기지국(1031)	35	20

복수의 기지국 각각은 우선순위 정보를 수신하여 단말에게 전송할 수 있다. 강화 학습 장치(1050)는 제1 우선순위 정보 중 우선순위에 관한 가중치만을 전송할 수도 있고, 제1 우선순위 정보, 핸드오버를 수행해야 할 단말의 수에 대한 정보를 포함하는 정보를 전송할 수도 있다. 제1 단말(1001)은 제1 우선순위 정보에 기초하여, 인접 기지국인 제2 기지국(1023)과 제3 기지국(1025) 중 우선순위에 관한 가중치가 높은 제2 기지국(1023)과 핸드오버 과정을 수행할 수 있다.

일정 시간이 지난 후, 환경(1000)은 강화 학습 장치(1050)에게 적어도 하나의 단말의 핸드오버에 따른 제2 상태와 제2 데이터 처리량을 전송할 수 있다. 강화 학습 장치(1050)는 제1 데이터 처리량보다 제2 데이터 처리량이 전체적으로 증가한 경우 보상을 (+)로 식별하고, 전체적으로 감소한 경우 보상을 (-)로 식별할 수 있다. 일 실시예에서, 제2 상태는 다음과 같을 수 있다.

	rr UE의 수	act UE의 수	데이터 전송 속도
제1 기지국(1021)	50	40	60Mbps
제2 기지국(1023)	110	80	30Mbps
제3 기지국(1025)	70	50	60Mbps
제4 기지국(1027)	70	40	50Mbps
제5 기지국(1029)	40	20	70Mbps
제6 기지국(1031)	30	10	40Mbps

일 실시예에서, 강화 학습 장치(1050)는 제2 상태 및 제2 데이터 처리량에 기초하여, 제2 우선순위 정보를 획득할 수 있다. 예를 들어, 강화 학습 장치(1050)는 제2 상태 및 제2 데이터 처리량을 입력으로 하고, 심층 Q 네트워크(DQN:Deep Q-Networks)를 이용하여 제2 우선순위 정보를 생성할 수 있다. 제2 우선순위 정보는 다음과 같을 수 있다.

	핸드오버 수행해야 할 단말의 수	우선순위에 관한 가중치
제1 기지국(1021)	20	60
제2 기지국(1023)	40	10
제3 기지국(1025)	20	50
제4 기지국(1027)	30	20
제5 기지국(1029)	3	90
제6 기지국(1031)	10	80

강화 학습 장치(1050)는 복수의 기지국 각각에게 제2 우선순위 정보를 전송할 수 있다. 예를 들어, 강화 학습 장치(1050)는 복수의 기지국 각각에게 제2 우선순위 정보 중 우선순위에 관한 가중치만을 전송할 수 있다. 또는, 강화 학습 장치(1050)는 복수의 기지국 각각에게 우선순위에 관한 가중치, 핸드오버를 수행해야 할 단말의 수에 관한 정보를 포함하는 제2 우선순위 정보 전체를 전송할 수도 있다. 일 실시예에서, 제2 단말(1003)은 서빙 기지국인 제2 기지국(1023)을 통해 망에 접속하여 서비스를 제공받고 있던 중 제2 기지국(1023)에게 측정 보고(measurement report) 메시지를 전송할 수 있다. 측정 보고 메시지에는 단말이 핸드오버 과정을 수행하기 위한 정보가 포함될 수 있다. 예를 들어, 측정 보고 메시지에는 기지국으로부터 수신한 신호가 일정 세기 이하라는 정보를 포함할 수 있다. 제2 기지국(1023)은 제2 우선순위 정보를 제2 단말(1003)에게 전송할 수 있다.

일 실시예에서, 제2 단말(1003)은 제2 우선순위 정보에 기초하여, 인접 기지국 중 우선순위에 관한 가중치가 높은 기지국인 제1 기지국(1021)을 타겟 기지국으로 하여 핸드오버 과정을 수행할 수 있다.

다른 일 실시예에서, 제2 단말(1003)이 제1 기지국(1021)과 핸드오버 과정을 수행할 수 없는 경우, 제2 단말(1003)은 다음으로 높은 가중치를 가지는 제3 기지국(1025)와 핸드오버 과정을 수행할 수 있다. 즉, 제2 단말(1003)은 제3 기지국(1025)의 가중치와 제1 기지국(1021)의 가중치가 큰 차이가 나지 않는 점을 고려하여, 제1 기지국(1021)이 아닌 제3 기지국(1025)와 핸드오버 과정을 수행할 수도 있다.

일정 시간이 지난 후, 환경(1000)은 강화 학습 장치(1050)에게 적어도 하나의 단말의 핸드오버에 따른 제3 상태와 제3 데이터 처리량을 전송할 수 있다. 강화 학습 장치(1050)는 제2 데이터 처리량보다 제3 데이터 처리량이 전체적으로 증가한 경우 보상을 (+)로 식별하고, 전체적으로 감소한 경우 보상을 (-)로 식별할 수 있다. 일 실시예에서, 제3 상태는 다음과 같을 수 있다.

	rr UE의 수	act UE의 수	데이터 전송 속도
제1 기지국(1021)	80	60	40Mbps
제2 기지국(1023)	100	70	30Mbps
제3 기지국(1025)	80	60	50Mbps
제4 기지국(1027)	80	30	70Mbps
제5 기지국(1029)	50	40	40Mbps
제6 기지국(1031)	30	20	80Mbps

일 실시예에서, 강화 학습 장치(1050)는 제3 상태 및 제3 데이터 처리량에 기초하여, 제3 우선순위 정보를 획득할 수 있다. 예를 들어, 강화 학습 장치(1050)는 제3 상태 및 제3 데이터 처리량을 입력으로 하고, 뉴럴 네트워크를 이용하여 제3 우선순위 정보를 생성할 수 있다. 제3 우선순위 정보는 다음과 같을 수 있다.

	핸드오버 수행해야 할 단말의 수	우선순위에 관한 가중치
제1 기지국(1021)	40	30
제2 기지국(1023)	60	10
제3 기지국(1025)	30	70
제4 기지국(1027)	20	80
제5 기지국(1029)	30	50
제6 기지국(1031)	10	95

강화 학습 장치(1050)는 복수의 기지국 각각에게 제3 우선순위 정보를 전송할 수 있다. 예를 들어, 강화 학습 장치(1050)는 복수의 기지국 각각에게 제3 우선순위 정보 중 우선순위에 관한 가중치만을 전송할 수 있다. 또는, 강화 학습 장치(1050)는 복수의 기지국 각각에게 우선순위에 관한 가중치, 핸드오버를 수행해야 할 단말의 수에 관한 정보를 포함하는 우선순위 정보 전체를 전송할 수도 있다. 일 실시예에서, 제4 단말(1007)은 서빙 기지국인 제2 기지국(1023)을 통해 망에 접속하여 서비스를 제공받고 있던 중 제2 기지국(1023)에게 측정 보고(measurement report) 메시지를 전송할 수 있다. 또한, 제4 단말(1007)은 서빙 기지국인 제3 기지국(1025)를 통해 망에 접속하여 서비스를 제공받고 있던 중 제3 기지국(1025)에게 측정보고 메시지를 전송할 수 있다. 제2 기지국(1023)은 제3 우선순위 정보를 제3 단말(1005)에게 전송하고, 제3 기지국(1025)은 제3 우선순위 정보를 제4 단말(1007)에게 전송할 수 있다. 제3 단말(1005) 및 제4 단말(1007)은 제3 우선순위 정보에 기초하여, 인접 기지국 중 우선순위에 관한 가중치가 높은 기지국을 타겟 기지국으로 하여 핸드오버 과정을 수행할 수 있다. 예를 들어, 제3 단말(1005)은 제3 기지국(1025)을 타겟 기지국으로 결정하고, 제4 단말(1007)은 제5 기지국(1029)을 타겟 기지국으로 결정하여 각 단말은 각 타겟 기지국과 핸드오버 과정을 수행할 수 있다.

일정 시간이 지난 후, 환경(1000)은 강화 학습 장치(1050)에게 적어도 하나의 단말의 핸드오버에 따른 제4 상태와 제4 데이터 처리량을 전송할 수 있다. 강화 학습 장치(1050)는 제3 데이터 처리량보다 제4 데이터 처리량이 전체적으로 증가한 경우 보상을 (+)로 식별하고, 전체적으로 감소한 경우 보상을 (-)로 식별할 수 있다. 일 실시예에서, 제4 상태는 다음과 같을 수 있다.

	rr UE의 수	act UE의 수	데이터 전송 속도
제1 기지국(1021)	80	50	50Mbps
제2 기지국(1023)	90	50	50Mbps
제3 기지국(1025)	80	60	40Mbps
제4 기지국(1027)	80	50	50Mbps
제5 기지국(1029)	80	60	40Mbps
제6 기지국(1031)	30	20	80Mbps

일 실시예에서, 강화 학습 장치(1050)는 제4 상태 및 제4 데이터 처리량에 기초하여, 제4 우선순위 정보를 획득할 수 있다. 예를 들어, 강화 학습 장치(1050)는 제4 상태 및 제4 데이터 처리량을 입력으로 하고, 학습 네트워크를 이용하여 제4 우선순위 정보를 생성할 수 있다. 제4 우선순위 정보는 다음과 같을 수 있다.

	핸드오버 수행해야 할 단말의 수	우선순위에 관한 가중치
제1 기지국(1021)	40	40
제2 기지국(1023)	30	60
제3 기지국(1025)	30	70
제4 기지국(1027)	40	20
제5 기지국(1029)	50	10
제6 기지국(1031)	10	85

강화 학습 장치(1050)는 복수의 기지국 각각에게 제4 우선순위 정보를 전송할 수 있다. 예를 들어, 강화 학습 장치(1050)는 복수의 기지국 각각에게 제4 우선순위 정보 중 우선순위에 관한 가중치만을 전송할 수 있다. 또는, 강화 학습 장치(1050)는 복수의 기지국 각각에게 우선순위에 관한 가중치 및 핸드오버를 수행해야 할 단말의 수에 관한 정보를 포함하는 우선순위 정보 전체를 전송할 수도 있다. 일 실시예에서, 제5 단말(1009)은 서빙 기지국인 제2 기지국(1023)을 통해 망에 접속하여 서비스를 제공받고 있던 중 제2 기지국(1023)에게 측정 보고 메시지를 전송할 수 있다. 또한, 제6 단말(1011)은 서빙 기지국인 제6 기지국(1031)에게 측정 보고 메시지를 전송할 수 있다. 이에 따라, 제2 기지국(1023)은 제4 우선순위 정보를 제5 단말(1009)에게 전송하고, 제6 기지국(1031)은 제4 우선순위 정보를 제6 단말(1011)에게 전송할 수 있다. 제5 단말(1009) 및 제6 단말(1011)은 제4 우선순위 정보에 기초하여, 인접 기지국 중 우선순위에 관한 가중치가 높은 기지국을 타겟 기지국으로 하여 핸드오버 과정을 수행할 수 있다. 예를 들어, 제5 단말(1009)은 제4 기지국(1027)을 타겟 기지국으로 결정하고, 제6 단말(1011)은 제6 기지국(1031)을 타겟 기지국으로 결정하여 각 단말은 각 타겟 기지국과 핸드오버 과정을 수행할 수 있다.

일정 시간이 지난 후, 복수의 기지국은 새로운 상태와 새로운 데이터 처리량을 강화 학습 장치에게 전송할 수 있다. 이에 따라, 강화 학습 장치는 강화 학습을 통해 최적의 부하 분산을 위한 우선순위 정보를 결정할 수 있다.

다만, 우선순위 정보는 핸드오버 수행해야 할 단말의 수, 우선순위에 관한 가중치, 우선순위 그 자체를 알려주는 우선순위 지시자 등을 포함할 수 있으며, 이에 한정되는 것은 아니다.

도 11은 일 실시예에 의한 강화 학습 장치의 구성을 개략적으로 도시한 블록도이다.

도 11을 참조하면, 강화 학습 장치(1100)는 송수신부(1110), 메모리(1120) 및 프로세서(1130)를 포함할 수 있다. 그러나, 도 11에 도시된 구성 요소 모두가 강화 학습 장치(1100)의 필수 구성 요소인 것은 아니다. 도 11에 도시된 구성 요소보다 많은 구성 요소에 의해 강화 학습 장치(1100)가 구현될 수도 있고, 도 11에 도시된 구성 요소보다 적은 구성 요소에 의해 강화 학습 장치(1100)가 구현될 수도 있다. 뿐만 아니라 송수신부(1110), 메모리(1120), 프로세서(1130)가 하나의 칩(chip) 형태로 구현될 수도 있다. 일 실시예에서, 강화 학습 장치(1100)는 도 6을 참조하여 전술한 강화 학습 장치(600)에 대응될 수 있다. 예를 들어, 송수신부(1110)는 도 6을 참조하여 전술한 송수신부(610)와 대응되고, 메모리(1120)는 도 6을 참조하여 전술한 메모리(620)와 대응되고, 프로세서(1130)는 도 6을 참조하여 전술한 프로세서(630)와 대응될 수 있다.

일 실시예에서, 송수신부(1610)는 강화 학습 장치(1100)와 유선 또는 무선으로 연결된 기지국, 단말, 또는 다른 전자 장치와 통신할 수 있다. 예를 들면, 송수신부(1610)는 복수의 기지국 각각으로부터 기지국과 단말 간의 관계에 대한 정보를 수신할 수 있다. 또한, 송수신부(1610)는 우선순위 정보를 복수의 기지국 각각에게 전송할 수 있다.

일 실시예에서, 메모리(1120)는 애플리케이션과 같은 프로그램 및 파일 등과 같은 다양한 종류의 데이터가 설치 및 저장할 수 있다. 프로세서(1130)는 메모리(1120)에 저장된 데이터에 접근하여 이를 이용하거나, 또는 새로운 데이터를 메모리(1120)에 저장할 수도 있다. 일 실시예에서, 메모리(1120)는 데이터 베이스를 포함할 수 있다. 일 실시예에서, 메모리(1120)는 상태에 따른 복수의 기지국의 데이터 사용량 정보 및 우선순위 정보를 저장할 수 있다.

일 실시예에서, 프로세서(1130)는 강화 학습 장치(1100)의 전체적인 동작을 제어하며, CPU, GPU 등과 같은 프로세서를 적어도 하나 이상 포함할 수 있다. 프로세서(1130)는 강화 학습 장치(1100)를 작동하기 위한 동작을 수행하도록 강화 학습 장치(1100)에 포함된 다른 구성들을 제어할 수 있다. 예를 들어, 프로세서(1130)는 메모리(1120)에 저장된 프로그램을 실행시키거나, 저장된 파일을 읽어오거나, 새로운 파일을 저장할 수도 있다. 일 실시예에서, 프로세서(1130)는 메모리(1120)에 저장된 프로그램을 실행함으로써, 강화 학습 장치(1100)를 작동하기 위한 동작을 수행할 수 있다. 예를 들면, 프로세서는 복수의 기지국 각각으로부터 기지국과 단말 간 관계에 대한 제1 정보를 수신하고, 제1 정보에 기초하여, 복수의 기지국 각각이 서빙하는 단말들 중 핸드오버를 수행해야 할 단말의 수를 결정하고, 단말의 수에 기초하여 결정된 우선순위 정보를 복수의 기지국 각각에게 전송할 수 있다.

도 12는 일 실시예에 의한 기지국의 구성을 개략적으로 도시한 블록도이다.

도 12를 참조하면, 기지국(1200)은 프로세서(1230)와 메모리(1220) 및 송수신부(1210)로 구성될 수 있다. 전술한 기지국의 통신 방법에 따라, 기지국(1200)의 프로세서(1230), 메모리(1220) 및 송수신부(1210)가 동작할 수 있다. 다만, 기지국(1200)의 구성 요소가 전술한 예에 한정되는 것은 아니다. 예를 들어, 기지국(1200)은 전술한 구성 요소들 보다 더 많은 구성 요소를 포함하거나 더 적은 구성 요소를 포함할 수도 있다. 뿐만 아니라 프로세서(1230), 메모리(1220) 및 송수신부(1210)가 하나의 칩(chip) 형태로 구현될 수도 있다. 또한, 프로세서(1230)는 하나 이상의 프로세서를 포함할 수 있다.

송수신부(1210)는 기지국(1200)의 수신부와 기지국의 송신부를 통칭한 것으로서, 단말 또는 네트워크 엔티티(Network Entity)와 신호를 송수신할 수 있다. 단말 또는 네트워크 엔티티와 송수신하는 신호는 제어 정보 및 데이터를 포함할 수 있다. 이를 위해, 송수신부(1210)는 전송되는 신호의 주파수를 상승 변환 및 증폭하는 RF 송신기와, 수신되는 신호를 저 잡음 증폭하고 주파수를 하강 변환하는 RF 수신기 등으로 구성될 수 있다. 다만, 이는 송수신부(1210)의 일 실시예일뿐이며, 송수신부(1210)의 구성 요소가 RF 송신기 및 RF 수신기에 한정되는 것은 아니다.

또한, 송수신부(1210)는 무선 채널을 통해 신호를 수신하여 프로세서(1230)로 출력하고, 프로세서(1230)로부터 출력된 신호를 무선 채널을 통해 전송할 수 있다.

메모리(1220)는 기지국(1200)의 동작에 필요한 프로그램 및 데이터를 저장할 수 있다. 또한, 메모리(1220)는 기지국(1200)에서 획득되는 신호에 포함된 제어 정보 또는 데이터를 저장할 수 있다. 메모리(1220)는 롬(ROM), 램(RAM), 하드디스크, CD-ROM 및 DVD 등과 같은 저장 매체 또는 저장 매체들의 조합으로 구성될 수 있다. 또한, 메모리(1220)는 별도로 존재하지 않고 프로세서(1230)에 포함되어 구성될 수도 있다.

프로세서(1230)는 상술한 본 개시의 실시예에 따라 기지국이 동작할 수 있도록 일련의 과정을 제어할 수 있다. 예를 들면, 프로세서(1230)는 송수신부(1210)를 통해 제어 신호와 데이터 신호를 수신하고, 수신한 제어 신호와 데이터 신호를 처리할 수 있다 또한, 프로세서(1230)는 처리한 제어 신호와 데이터 신호를 송수신부(1210)를 통해 송신할 수 있다. 또한, 프로세서(1230)는 PDSCH에 대한 할당 정보를 포함하는 DCI를 구성하고 이를 전송하기 위해 기지국의 각 구성 요소를 제어할 수 있다.

일 실시예에서, 프로세서(1230)는 적어도 하나의 단말로부터 수신한 측정 보고(measurement report)에 기초하여, 적어도 하나의 단말에게 일정 세기 이상의 신호를 전송하는 복수의 기지국에 대한 정보를 획득하고, 획득한 복수의 기지국에 대한 정보에 기초하여, 강화 학습 장치에게 기지국과 적어도 하나의 단말 간의 관계에 대한 제1 정보를 전송하고, 강화 학습 장치로부터 기지국이 서빙하는 단말들 중 핸드오버를 수행해야 할 단말의 수에 기초하여 결정된 우선순위 정보를 수신하고, 우선순위 정보를 적어도 하나의 단말에게 전송함으로써, 적어도 하나의 단말과 핸드오버 과정을 수행할 수 있다.

도 13은 일 실시예에 의한 단말의 구성을 개략적으로 도시한 블록도이다.

도 13을 참조하면, 단말(1300)은 프로세서(1330), 메모리(1320) 및 송수신부(1310)로 구성될 수 있다. 전술한 단말(1300)의 통신 방법에 따라, 단말(1300)의 프로세서(1330), 메모리(1320) 및 송수신부(1310)가 동작할 수 있다. 다만, 단말(1300)의 구성 요소가 전술한 예에 한정되는 것은 아니다. 예를 들어, 단말(1300)은 전술한 구성 요소들 보다 더 많은 구성 요소를 포함하거나 더 적은 구성 요소를 포함할 수도 있다. 뿐만 아니라 프로세서(1330), 메모리(1320) 및 송수신부(1310)가 하나의 칩(chip) 형태로 구현될 수도 있다. 또한, 프로세서(1330)는 하나 이상의 프로세서를 포함할 수 있다.

송수신부(1310)는 단말(1300)의 수신부와 단말의 송신부를 통칭한 것으로서, 네트워크 엔티티(Network Entity), 기지국 또는 다른 단말과 신호를 송수신할 수 있다. 네트워크 엔티티, 기지국 또는 다른 단말과 송수신하는 신호는 제어 정보 및 데이터를 포함할 수 있다. 이를 위해, 송수신부(1310)는 전송되는 신호의 주파수를 상승 변환 및 증폭하는 RF 송신기와, 수신되는 신호를 저 잡음 증폭하고 주파수를 하강 변환하는 RF 수신기 등으로 구성될 수 있다. 다만, 이는 송수신부(1310)의 일 실시예일뿐이며, 송수신부(1310)의 구성 요소가 RF 송신기 및 RF 수신기에 한정되는 것은 아니다.

또한, 송수신부(1310)는 무선 채널을 통해 신호를 수신하여 프로세서(1330)로 출력하고, 프로세서(1330)로부터 출력되는 신호를 무선 채널을 통해 전송할 수 있다.

메모리(1320)는 단말(1300)의 동작에 필요한 프로그램 및 데이터를 저장할 수 있다. 또한, 메모리(1320)는 단말(1300)에서 획득되는 신호에 포함된 제어 정보 또는 데이터를 저장할 수 있다. 메모리(1320)는 롬(ROM), 램(RAM), 하드디스크, CD-ROM 및 DVD 등과 같은 저장 매체 또는 저장 매체들의 조합으로 구성될 수 있다. 또한, 메모리(1320)는 별도로 존재하지 않고 프로세서(1330)에 포함되어 구성될 수도 있다.

프로세서(1330)는 상술한 본 개시의 실시예에 따라 단말(1300)이 동작할 수 있도록 일련의 과정을 제어할 수 있다. 예를 들면, 프로세서(1330)는 송수신부(1310)를 통해 제어 신호와 데이터 신호를 수신하고, 수신한 제어 신호와 데이터 신호를 처리할 수 있다 또한, 프로세서(1330)는 처리한 제어 신호와 데이터 신호를 송수신부(1310)를 통해 송신할 수 있다. 또한, 프로세서(1330)는 두 가지 계층으로 구성되는 DCI를 수신하여 동시에 다수의 PDSCH를 수신하도록 단말의 구성 요소를 제어할 수 있다.

일 실시예에서, 프로세서(1330)는 기지국으로부터 수신한 측정 설정에 기초하여, 기지국에게 측정 보고(measurement report)를 전송하고, 기지국으로부터 단말에게 일정 세기 이상의 신호를 전송하는 적어도 하나의 인접 기지국의 정보 요청을 수신하고, 수신한 정보 요청에 기초하여, 기지국에게 적어도 하나의 인접 기지국의 정보를 포함하는 제2 측정 보고를 전송하고, 기지국으로부터 우선순위 정보를 수신하고, 우선순위 정보에 기초하여, 새로운 기지국과 핸드오버 과정을 수행할 수 있다.

일부 실시예는 컴퓨터에 의해 실행되는 프로그램 모듈과 같은 컴퓨터에 의해 실행가능한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다. 컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체를 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함한다.

개시된 실시예들은 컴퓨터로 읽을 수 있는 저장 매체(computer-readable storage media)에 저장된 명령어를 포함하는 S/W 프로그램으로 구현될 수 있다.

컴퓨터는, 저장 매체로부터 저장된 명령어를 호출하고, 호출된 명령어에 따라 개시된 실시예에 따른 동작이 가능한 장치로서, 개시된 실시예들에 따른 전자 장치를 포함할 수 있다.

컴퓨터로 읽을 수 있는 저장매체는, 비일시적(non-transitory) 저장매체의 형태로 제공될 수 있다. 여기서,‘비일시적’은 저장매체가 신호(signal)를 포함하지 않으며 실재(tangible)한다는 것을 의미할 뿐 데이터가 저장매체에 반영구적 또는 임시적으로 저장됨을 구분하지 않는다.

또한, 개시된 실시예들에 따른 제어 방법은 컴퓨터 프로그램 제품(computer program product)에 포함되어 제공될 수 있다. 컴퓨터 프로그램 제품은 상품으로서 판매자 및 구매자 간에 거래될 수 있다.

컴퓨터 프로그램 제품은 S/W 프로그램, S/W 프로그램이 저장된 컴퓨터로 읽을 수 있는 저장 매체를 포함할 수 있다. 예를 들어, 컴퓨터 프로그램 제품은 디바이스의 제조사 또는 전자 마켓(예, 구글 플레이 스토어, 앱 스토어)을 통해 전자적으로 배포되는 S/W 프로그램 형태의 상품(예, 다운로더블 앱)을 포함할 수 있다. 전자적 배포를 위하여, S/W 프로그램의 적어도 일부는 저장 매체에 저장되거나, 임시적으로 생성될 수 있다. 이 경우, 저장 매체는 제조사의 서버, 전자 마켓의 서버, 또는 SW 프로그램을 임시적으로 저장하는 중계 서버의 저장매체가 될 수 있다.

컴퓨터 프로그램 제품은, 서버 및 디바이스로 구성되는 시스템에서, 서버의 저장매체 또는 디바이스의 저장매체를 포함할 수 있다. 또는, 서버 또는 디바이스와 통신 연결되는 제 3 장치(예, 스마트폰)가 존재하는 경우, 컴퓨터 프로그램 제품은 제 3 장치의 저장매체를 포함할 수 있다. 또는, 컴퓨터 프로그램 제품은 서버로부터 디바이스 또는 제 3 장치로 전송되거나, 제 3 장치로부터 디바이스로 전송되는 S/W 프로그램 자체를 포함할 수 있다.

이 경우, 서버, 디바이스 및 제 3 장치 중 하나가 컴퓨터 프로그램 제품을 실행하여 개시된 실시예들에 따른 방법을 수행할 수 있다. 또는, 서버, 디바이스 및 제 3 장치 중 둘 이상이 컴퓨터 프로그램 제품을 실행하여 개시된 실시예들에 따른 방법을 분산하여 실시할 수 있다.

예를 들면, 서버(예로, 클라우드 서버 또는 인공 지능 서버 등)가 서버에 저장된 컴퓨터 프로그램 제품을 실행하여, 서버와 통신 연결된 디바이스가 개시된 실시예들에 따른 방법을 수행하도록 제어할 수 있다.

또 다른 예로, 제 3 장치가 컴퓨터 프로그램 제품을 실행하여, 제 3 장치와 통신 연결된 디바이스가 개시된 실시예에 따른 방법을 수행하도록 제어할 수 있다. 제 3 장치가 컴퓨터 프로그램 제품을 실행하는 경우, 제 3 장치는 서버로부터 컴퓨터 프로그램 제품을 다운로드하고, 다운로드 된 컴퓨터 프로그램 제품을 실행할 수 있다. 또는, 제 3 장치는 프리로드 된 상태로 제공된 컴퓨터 프로그램 제품을 실행하여 개시된 실시예들에 따른 방법을 수행할 수도 있다.

또한, 본 명세서에서, "부"는 프로세서 또는 회로와 같은 하드웨어 구성(hardware component), 및/또는 프로세서와 같은 하드웨어 구성에 의해 실행되는 소프트웨어 구성(software component)일 수 있다.

전술한 본 개시의 설명은 예시를 위한 것이며, 본 개시가 속하는 기술분야의 통상의 지식을 가진 자는 본 개시의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.

본 개시의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 개시의 범위에 포함되는 것으로 해석되어야 한다.

Claims (20)

1. 무선 통신 시스템에서 강화 학습 장치에 있어서,
   송수신부;
   하나 이상의 인스트럭션들을 저장하는 메모리; 및
   상기 메모리에 저장된 상기 하나 이상의 인스트럭션들을 실행하는 적어도 하나의 프로세서를 포함하며,
   상기 적어도 하나의 프로세서는,
   복수의 기지국 각각으로부터 기지국과 단말 간 관계에 대한 제1 정보를 수신하고,
   상기 제1 정보에 기초하여, 상기 복수의 기지국 각각이 서빙하는 단말들 중 핸드오버를 수행해야 할 단말의 수를 결정하고,
   상기 단말의 수에 기초하여 결정된 우선순위 정보를 상기 복수의 기지국 각각에게 전송하는, 강화 학습 장치.
2. 제1항에 있어서, 상기 적어도 하나의 프로세서는,
   상기 복수의 기지국 각각으로부터 상기 복수의 기지국 각각에게 전송한 우선순위 정보에 기초하여 상기 복수의 기지국이 서빙하는 단말들의 핸드오버에 관한 단말 핸드오버 정보를 수신하고,
   상기 복수의 기지국에 대한 기지국 별 데이터 처리량을 획득하고,
   상기 단말 핸드오버 정보 및 상기 기지국 별 데이터 처리량에 기초하여, 상기 복수의 기지국 각각이 서빙하는 단말들 중 핸드오버를 수행해야 할 갱신된 단말의 수를 결정하고,
   상기 갱신된 단말의 수에 기초하여 결정된 우선순위 정보를 상기 복수의 기지국 각각에게 전송하는, 강화 학습 장치.
3. 제1항에 있어서, 상기 제1 정보는,
   상기 복수의 기지국 각각에 연결된 단말의 수에 관한 정보, 상기 복수의 기지국 각각에 연결된 idle 상태의 단말의 수에 관한 정보, 상기 복수의 기지국 각각에 연결된 active 상태의 단말의 수에 관한 정보 및 상기 복수의 기지국 각각에 연결된 단말들에 의해 사용된 데이터의 총 사용량에 관한 정보 중 적어도 하나를 포함하는, 강화 학습 장치.
4. 무선 통신 시스템에서 기지국에 있어서,
   송수신부;
   하나 이상의 인스트럭션들을 저장하는 메모리; 및
   상기 메모리에 저장된 상기 하나 이상의 인스트럭션들을 실행하는 적어도 하나의 프로세서를 포함하며,
   상기 적어도 하나의 프로세서는,
   적어도 하나의 단말로부터 수신한 측정 보고(measurement report)에 기초하여, 상기 적어도 하나의 단말에게 일정 세기 이상의 신호를 전송하는 복수의 기지국에 대한 정보를 획득하고,
   상기 획득한 복수의 기지국에 대한 정보에 기초하여, 강화 학습 장치에게 상기 기지국과 상기 적어도 하나의 단말 간의 관계에 대한 제1 정보를 전송하고,
   상기 강화 학습 장치로부터 상기 기지국이 서빙하는 단말들 중 핸드오버를 수행해야 할 단말의 수에 기초하여 결정된 우선순위 정보를 수신하고,
   상기 우선순위 정보를 상기 적어도 하나의 단말에게 전송함으로써, 상기 적어도 하나의 단말과 핸드오버 과정을 수행하는, 기지국.
5. 제4항에 있어서, 상기 제1 정보는,
   상기 복수의 기지국 각각에 연결된 단말의 수에 관한 정보, 상기 복수의 기지국 각각에 연결된 idle 상태의 단말의 수에 관한 정보, 상기 복수의 기지국 각각에 연결된 active 상태의 단말의 수에 관한 정보 및 상기 복수의 기지국 각각에 연결된 단말들에 의해 사용된 데이터의 총 사용량에 관한 정보 중 적어도 하나를 포함하는, 기지국.
6. 제4항에 있어서, 상기 적어도 하나의 프로세서는,
   상기 적어도 하나의 단말에게 측정 설정(measurement configuration)을 전송하고,
   상기 전송한 측정 설정에 대응하여, 상기 적어도 하나의 단말로부터 제1 측정 보고를 수신하며,
   상기 제1 측정 보고에 기초하여, 상기 적어도 하나의 단말에게 일정 세기 이상의 신호를 전송하는 적어도 하나의 기지국에 대한 정보를 요청하고,
   상기 정보 요청에 대응하여 상기 적어도 하나의 단말로부터 상기 일정 세기 이상의 신호를 전송하는 적어도 하나 이상의 기지국에 대한 정보를 포함하는 제2 측정 보고를 수신하고,
   상기 제2 측정 보고에 기초하여, 상기 적어도 하나의 단말에게 일정 세기 이상의 신호를 전송하는 상기 적어도 하나 이상의 기지국에 대한 정보를 획득하는, 기지국.
7. 제4항에 있어서, 상기 적어도 하나의 프로세서는,
   상기 적어도 하나의 단말로부터 수신한 측정 보고에 기초하여, 상기 적어도 하나의 단말에게 일정 세기 이상의 신호를 전송하는 인접 기지국을 식별하고,
   상기 식별된 인접 기지국에게 인접 기지국 정보를 요청하고,
   상기 인접 기지국으로부터 상기 인접 기지국 정보를 수신하여 상기 복수의 기지국에 대한 정보를 획득하는, 기지국.
8. 제7항에 있어서, 상기 인접 기지국 정보는,
   상기 인접 기지국에 연결된 단말의 수에 관한 정보, 상기 인접 기지국에 연결된 idle 상태의 단말의 수에 관한 정보, 상기 인접 기지국에 연결된 active 상태의 단말의 수에 관한 정보, 상기 인접 기지국에 연결된 단말들에 의해 사용된 데이터의 총 사용량 및 상기 인접 기지국에 연결된 단말이 사용하는 무선 자원 비율에 관한 정보 중 적어도 하나를 포함하는, 기지국.
9. 제4항에 있어서, 상기 적어도 하나의 프로세서는,
   상기 우선순위 정보에 기초하여 핸드오버를 수행한 단말의 수를 식별하고,
   상기 식별한 핸드오버를 수행한 단말의 수를 상기 강화 학습 장치에게 전송하는, 기지국.
10. 제4항에 있어서, 상기 적어도 하나의 프로세서는,
    상기 우선순위 정보에 기초하여 핸드오버 과정을 수행한 후, 상기 기지국의 데이터 사용량을 결정하고,
    상기 결정된 데이터 사용량을 상기 강화 학습 장치에게 전송하는, 기지국.
11. 무선 통신 시스템에서 강화 학습 장치의 동작 방법에 있어서,
    복수의 기지국 각각으로부터 기지국과 단말 간 관계에 대한 제1 정보를 수신하는 동작;
    상기 제1 정보에 기초하여, 상기 복수의 기지국 각각이 서빙하는 단말들 중 핸드오버를 수행해야 할 단말의 수를 결정하는 동작; 및
    상기 결정된 단말의 수에 기초하여 결정된 우선순위 정보를 상기 복수의 기지국 각각에게 전송하는 동작을 포함하는, 방법.
12. 제11항에 있어서,
    상기 복수의 기지국 각각으로부터 상기 복수의 기지국 각각에게 전송한 우선순위 정보에 기초하여 상기 복수의 기지국이 서빙하는 단말들의 핸드오버에 관한 단말 핸드오버 정보를 수신하는 동작;
    상기 복수의 기지국에 대한 기지국 별 데이터 처리량을 획득하는 동작;
    상기 단말 핸드오버 정보 및 상기 기지국 별 데이터 처리량에 기초하여, 상기 복수의 기지국 각각이 서빙하는 단말들 중 핸드오버를 수행해야 할 갱신된 단말의 수를 결정하는 동작; 및
    상기 갱신된 단말의 수에 기초하여 결정된 우선순위 정보를 상기 복수의 기지국 각각에게 전송하는 동작을 더 포함하는, 방법.
13. 제11항에 있어서, 상기 제1 정보는,
    상기 복수의 기지국 각각에 연결된 단말의 수에 관한 정보, 상기 복수의 기지국 각각에 연결된 idle 상태의 단말의 수에 관한 정보, 상기 복수의 기지국 각각에 연결된 active 상태의 단말의 수에 관한 정보 및 상기 복수의 기지국 각각에 연결된 단말들에 의해 사용된 데이터의 총 사용량에 관한 정보 중 적어도 하나를 포함하는, 방법.
14. 무선 통신 시스템에서 기지국의 동작 방법에 있어서,
    적어도 하나의 단말로부터 수신한 측정 보고(measurement report)에 기초하여, 상기 적어도 하나의 단말에게 일정 세기 이상의 신호를 전송하는 복수의 기지국에 대한 정보를 획득하는 동작;
    상기 획득한 복수의 기지국에 대한 정보에 기초하여, 강화 학습 장치에게 상기 기지국과 상기 적어도 하나의 단말 간의 관계에 대한 제1 정보를 전송하는 동작;
    상기 강화 학습 장치로부터 상기 기지국이 서빙하는 단말들 중 핸드오버를 수행해야 할 단말의 수에 기초하여 결정된 우선순위 정보를 수신하는 동작; 및
    상기 우선순위 정보를 상기 적어도 하나의 단말에게 전송함으로써, 상기 적어도 하나의 단말과 핸드오버 과정을 수행하는 동작을 포함하는, 방법.
15. 제14항에 있어서, 상기 제1 정보는,
    상기 복수의 기지국 각각에 연결된 단말의 수에 관한 정보, 상기 복수의 기지국 각각에 연결된 idle 상태의 단말의 수에 관한 정보, 상기 복수의 기지국 각각에 연결된 active 상태의 단말의 수에 관한 정보 및 상기 복수의 기지국 각각에 연결된 단말들에 의해 사용된 데이터의 총 사용량에 관한 정보 중 적어도 하나를 포함하는, 방법.
16. 제14항에 있어서, 상기 복수의 기지국에 대한 정보를 획득하는 동작은,
    상기 적어도 하나의 단말에게 측정 설정(measurement configuration)을 전송하는 동작;
    상기 전송한 측정 설정에 대응하여, 상기 적어도 하나의 단말로부터 제1 측정 보고를 수신하는 동작;
    상기 제1 측정 보고에 기초하여, 상기 적어도 하나의 단말에게 일정 세기 이상의 신호를 전송하는 적어도 하나의 기지국에 대한 정보를 요청하는 동작;
    상기 정보 요청에 대응하여 상기 적어도 하나의 단말로부터 상기 일정 세기 이상의 신호를 전송하는 적어도 하나 이상의 기지국에 대한 정보를 포함하는 제2 측정 보고를 수신하는 동작;
    상기 제2 측정 보고에 기초하여, 상기 적어도 하나의 단말에게 일정 세기 이상의 신호를 전송하는 상기 적어도 하나 이상의 기지국에 대한 정보를 획득하는 동작을 포함하는, 방법.
17. 제14항에 있어서, 상기 복수의 기지국에 대한 정보를 획득하는 동작은,
    상기 적어도 하나의 단말로부터 수신한 측정 보고에 기초하여, 상기 적어도 하나의 단말에게 일정 세기 이상의 신호를 전송하는 인접 기지국을 식별하는 동작;
    상기 식별된 인접 기지국에게 인접 기지국 정보를 요청하는 동작; 및
    상기 인접 기지국으로부터 상기 인접 기지국 정보를 수신하여 상기 복수의 기지국에 대한 정보를 획득하는 동작을 포함하는, 방법.
18. 제17항에 있어서, 상기 인접 기지국 정보는,
    상기 인접 기지국에 연결된 단말의 수에 관한 정보, 상기 인접 기지국에 연결된 idle 상태의 단말의 수에 관한 정보, 상기 인접 기지국에 연결된 active 상태의 단말의 수에 관한 정보, 상기 인접 기지국에 연결된 단말들에 의해 사용된 데이터의 총 사용량 및 상기 인접 기지국에 연결된 단말이 사용하는 무선 자원 비율에 관한 정보 중 적어도 하나를 포함하는, 방법.
19. 제14항에 있어서,
    상기 우선순위 정보에 기초하여 핸드오버를 수행한 단말의 수를 식별하는 동작; 및
    상기 식별한 핸드오버를 수행한 단말의 수를 상기 강화 학습 장치에게 전송하는 동작을 더 포함하는, 방법.
20. 제14항에 있어서,
    상기 우선순위 정보에 기초하여 핸드오버 과정을 수행한 후, 상기 기지국의 데이터 사용량을 결정하는 동작; 및
    상기 결정된 데이터 사용량을 상기 강화 학습 장치에게 전송하는 동작을 더 포함하는, 방법.

Images