KR101476632B1 - 실시간 데이터 분석 시스템의 데이터 처리 방법 및 분석 코디네이터 장치 - Google Patents
실시간 데이터 분석 시스템의 데이터 처리 방법 및 분석 코디네이터 장치 Download PDFInfo
- Publication number
- KR101476632B1 KR101476632B1 KR1020140025942A KR20140025942A KR101476632B1 KR 101476632 B1 KR101476632 B1 KR 101476632B1 KR 1020140025942 A KR1020140025942 A KR 1020140025942A KR 20140025942 A KR20140025942 A KR 20140025942A KR 101476632 B1 KR101476632 B1 KR 101476632B1
- Authority
- KR
- South Korea
- Prior art keywords
- data
- stream
- analysis
- units
- log data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000007405 data analysis Methods 0.000 title claims abstract description 120
- 238000004458 analytical method Methods 0.000 title claims abstract description 110
- 238000003672 processing method Methods 0.000 title claims abstract description 12
- 238000000034 method Methods 0.000 claims abstract description 35
- 230000003139 buffering effect Effects 0.000 claims abstract description 30
- 238000012545 processing Methods 0.000 claims description 39
- 238000013480 data collection Methods 0.000 claims description 29
- 238000004891 communication Methods 0.000 abstract description 22
- 230000008569 process Effects 0.000 abstract description 11
- 238000007726 management method Methods 0.000 description 18
- 238000010295 mobile communication Methods 0.000 description 12
- 238000004590 computer program Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 5
- 238000012544 monitoring process Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 238000004873 anchoring Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 238000003908 quality control method Methods 0.000 description 2
- 238000013515 script Methods 0.000 description 2
- 241000760358 Enodes Species 0.000 description 1
- 238000003326 Quality management system Methods 0.000 description 1
- 238000010923 batch production Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000010219 correlation analysis Methods 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 230000001934 delay Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000013468 resource allocation Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000007480 spreading Effects 0.000 description 1
- 239000000758 substrate Substances 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L43/00—Arrangements for monitoring or testing data switching networks
- H04L43/06—Generation of reports
- H04L43/067—Generation of reports using time frame reporting
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/14—Network analysis or design
- H04L41/142—Network analysis or design using statistical or mathematical methods
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/50—Network service management, e.g. ensuring proper service fulfilment according to agreements
- H04L41/5003—Managing SLA; Interaction between SLA and QoS
- H04L41/5009—Determining service level performance parameters or violations of service level contracts, e.g. violations of agreed response time or mean time between failures [MTBF]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L43/00—Arrangements for monitoring or testing data switching networks
- H04L43/12—Network monitoring probes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L43/00—Arrangements for monitoring or testing data switching networks
- H04L43/50—Testing arrangements
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- Algebra (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Analysis (AREA)
- Mathematical Optimization (AREA)
- Mathematical Physics (AREA)
- Probability & Statistics with Applications (AREA)
- Pure & Applied Mathematics (AREA)
- Debugging And Monitoring (AREA)
Abstract
본 발명은 통신망으로부터 연속적으로 생성되는 로그 데이터 스트림을 기준 시간 대별로 구분하여 통계 처리할 수 있도록 하는 실시간 데이터 분석 시스템의 데이터 처리 방법 및 분석 코디네이터 장치에 관한 것으로서, 하나 이상의 데이터 수집부, 하나 이상의 버퍼링부 및 하나 이상의 데이터 분석부를 통해서 실시간으로 생성되는 복수의 로그 데이터 스트림을 처리하는 실시간 데이터 분석 시스템에 있어서, 분산 코디네이터가 기준 시간대 별로 구분되는 스트림 ID를 포함하는 복수의 로그 데이터 스트림을 수집하여 하나 이상의 버퍼링부에 저장하는 상기 하나 이상의 데이터 수집부로부터 상기 스트림 ID의 수신 정보를 수집하고, 수집 결과, 하나 이상의 데이터 수집부 모두가 특정 스트림 ID를 수신한 경우, 상기 하나 이상의 데이터 분석부로 상기 특정 스트림 ID에 대응하는 로그 데이터 스트림에 대한 분석을 시작하도록 제어하여, 로그 데이터 스트림의 생성 시점을 기준으로 하는 기준 시간대별 통계 데이터를 실시간으로 산출할 수 있다.
Description
본 발명은 통신망을 통해 이루어지는 통화 및 데이터 서비스에 대한 실시간 품질 감시를 위한 실시간 데이터 분석 기술에 관한 것으로서, 더욱 상세하게는 통신망으로부터 연속적으로 생성되는 로그 데이터 스트림을 기준 시간 대별로 구분하여 통계 처리할 수 있도록 하는 실시간 데이터 분석 시스템의 데이터 처리 방법 및 분석 코디네이터 장치에 관한 것이다.
사용자가 단말기를 통해 통화 서비스 및 데이터 통신 서비스 등을 장소에 구애 받지 않고 이용할 수 있도록 하는 이동통신기술은, 1980년대 AMPS(Advanced Mobile Phone System)과 같은 아날로그 방식의 1세대 이동통신기술이 등장한 후, 2세대 이동통신기술인 CDMA, GSM, 3세대의 CDMA-2000, WCDMA을 거쳐, 3.9세대의 LTE(Long Term Evolution) 및 4세대의 LTE-A(LTE-Advanced)까지 개발되었다.
이중, 최근에 이용되고 있는 LTE 및 LTE-A는 3GPP(3rd Generation Partnership Project)에 의해 제안된 WCDMA 계열의 이동통신표준으로서, all-IP 기반의 솔루션으로서, 초광대역 인터넷 접속, IP 전화, 게임 서비스 및 스트리밍 멀티미디어 등을 지원할 수 있다.
아울러, 스마트폰과 같이 강력한 프로세서, 대용량 메모리, 및 큰 화면과 같은 고사양의 사용자 단말 장치가 보급됨에 따라서, 이동통신망에 있어서, VoD, 실시간 방송, 네트워크 기반 게임 등의 멀티미디어 서비스를 위한 데이터 트래픽 량이 급격히 증가하고 있다.
특히, 스마트폰이 응용프로그램 개발자를 위한 표준화된 인터페이스와 플랫폼을 지원함에 따라서, 이동통신 사업자가 아닌 제 삼의 응용 프로그램 개발자에 의해 개발된 다양한 응용프로그램의 이용도 급증하고 있으며, 그에 따라서 이러한 응용프로그램에 의해 발생되는 데이터 트래픽 양도 급증하고 있는 추세이다.
한편, 이동통신망을 기반으로 이루어지는 통화 서비스 및 데이터 통신 서비스를 제공하는데 있어서, 안정된 서비스 품질을 보장하기 위해 이동통신망의 각 장비 별 상태 및 트래픽에 대한 감시가 요구된다.
이를 위하여 기존에는, 네트워크 관리 시스템(NMS: Network Management System)을 통해서, eNB, MME, 서빙 게이트웨이, PDN 게이트웨이와 같은 이동통신망을 구성하는 각 장비로부터 로그 데이터를 주기적으로 수집하여 저장하고, 저장된 로그 데이터의 배치 분석을 통해서 서비스 품질 감시 지표(예를 들어, KPI: Key Performance Indicator)를 산출하여 RDB(Relational Database)에 저장한다. 관리자는 이렇게 산출된 지표들을 조회하거나 시각화된 지표들을 통해 서비스 품질을 감시하고 품질 저하 원인을 분석할 수 있다.
그런데 기존의 네트워크 관리 시스템은 eNB, MME, 서빙 게이트웨이, PDN 게이트웨이와 같은 네트워크 장비로부터 로그 데이터를 수집하기 때문에, 장비 벤더 별 로그 포맷의 변경에 따라서 데이터 수집부를 변경시켜야 한다는 문제점이 있다.
또한, 장비 별로 발생하는 로그 데이터의 생성 주기 차이로 인하여, 로그 데이터를 수집하여 저장하고, 저장된 로그 데이터를 분석하여 처리하는데 지연이 발생할 수 있으며, 중앙집중형 RDB(Relational Database)의 부하로 인해서도 지연이 발생할 수 있다.
상술한 바와 같이, 기존의 서비스 품질 관리 기술은, 로그 데이터의 수집, 저장 및 분석 처리 과정에서 필연적으로 지연이 발생하기 때문에, 서비스 품질 감시를 위한 지표의 실시간 산출이 불가능하고, 그 결과 서비스 품질 저하에 대한 실시간 원인 분석 및 대응이 불가능하다는 문제점이 있다.
특히, 기존의 서비스 품질 관리 시스템은, 수집된 로그 데이터를 파일 시스템에 저장하고, 일정 기간 동안 저장한 로그 데이터를 일괄 처리(Batch) 방식으로 처리하기 때문에, 수집된 로그 데이터의 실시간 처리가 불가능하다.
이에 본 발명은 본 발명은 통신망을 통해 이루어지는 통화 및 데이터 서비스에 대한 실시간 품질 감시를 위한 실시간 데이터 분석 기술에 관한 것으로서, 더욱 상세하게는 통신망으로부터 연속적으로 생성되는 로그 데이터 스트림을 기준 시간 대별로 구분하여 통계 처리할 수 있도록 하는 실시간 데이터 분석 시스템의 데이터 처리 방법 및 분석 코디네이터 장치를 제공하고자 한다.
특히, 본 발명은 파일 시스템에 저장된 로그 데이터를 파일 단위의 처리를 통해 통계 데이터를 산출하는 배치 방식의 데이터 분석과는 달리, 스트리밍 방식으로 실시간 생성되어 전송되는 로그 데이터 스트림을 저장 없이 연속적으로 분석하여 통계 데이터를 산출하는데 있어서, 로그 데이터 스트림이 생성된 시간대를 기준으로 지연 없이 통계 데이터를 산출할 수 있도록 하는 실시간 데이터 분석 시스템의 데이터 처리 방법 및 분석 코디네이터 장치를 제공하고자 한다.
상술한 과제의 해결 수단으로서, 본 발명은 하나 이상의 데이터 수집부, 하나 이상의 버퍼링부 및 하나 이상의 데이터 분석부를 통해서 실시간으로 생성되는 복수의 로그 데이터 스트림을 처리하는 실시간 데이터 분석 시스템에 있어서, 분산 코디네이터가 기준 시간대 별로 구분되는 스트림 ID를 포함하는 복수의 로그 데이터 스트림을 수집하여 하나 이상의 버퍼링부에 저장하는 상기 하나 이상의 데이터 수집부로부터 상기 스트림 ID의 수신 정보를 수집하는 제1 수집 단계; 및 수집 결과, 하나 이상의 데이터 수집부 모두가 특정 스트림 ID를 수신한 경우, 상기 분산 코디네이터가 상기 하나 이상의 데이터 분석부로 상기 특정 스트림 ID에 대응하는 기준 시간대의 로그 데이터 스트림에 대한 분석 시작을 지시하는 단계를 포함하는 것을 특징으로 하는 실시간 데이터 분석 시스템에서의 데이터 처리 방법을 제공한다.
본 발명의 일 실시 예에 따른 실시간 데이터 분석 시스템에서의 데이터 처리 방법은, 상기 분산 코디네이터가 상기 하나 이상의 버퍼링부로부터 로그 데이터 스트림을 읽어와 연속적으로 분석하는 상기 하나 이상의 데이터 분석부로부터 상기 특정 스트림 ID의 수신 정보를 수집하는 제2 수집 단계; 및 수집 결과, 상기 하나 이상의 데이터 분석부 모두가 특정 스트림 ID를 수신한 경우, 상기 특정 스트림 ID에 대응하는 특정 시간 대의 로그 데이터 스트림의 분석이 완료된 것으로 판단하는 단계를 더 포함할 수 있다.
여기서, 본 발명의 일 실시 예에 따른 실시간 데이터 분석 시스템에서의 데이터 처리 방법에 있어서, 상기 스트림 ID는 해당 기준 시간대에 생성된 로그 데이터 스트림의 마지막의 배치될 수 있다.
또한 본 발명의 일 실시 예에 따른 실시간 데이터 분석 시스템의 데이터 처리 방법에 있어서, 상기 제1 수집 단계 및 제2 수집 단계는, 상기 하나 이상의 데이터 수집부 및 하나 이상의 데이터 분석부 중 마스터 데이터 수집부 및 마스터 데이터 분석부를 설정하고, 설정된 마스터 데이터 수집부 또는 마스터 데이터 분석부를 통해서 스트림 ID의 수신 정보를 수집할 수 있다.
더하여, 상기 본 발명의 일 실시 예에 따른 실시간 데이터 분석 시스템의 데이터 처리 방법에 있어서, 상기 제2 수집 단계는, 상기 하나 이상의 데이터 분석부에 포함된 분석 토폴로지 중 상기 하나 이상이 버퍼링부로부터 로그 데이터 스트림을 읽어오는 실시간 입력 데몬으로부터 상기 스트림 ID의 수신 정보를 수집할 수 있다.
더하여, 본 발명은 상술한 과제의 다른 해결 수단으로서, 하나 이상의 데이터 수집부, 하나 이상의 버퍼링부 및 하나 이상의 데이터 분석부를 통해서 실시간으로 생성되는 복수의 로그 데이터 스트림을 처리하는 실시간 데이터 분석 시스템의 분석 코디네이터 장치에 있어서, 기준 시간대 별로 구분되는 스트림 ID를 포함하는 복수의 로그 데이터 스트림을 수집하는 상기 하나 이상의 데이터 수집부로부터 수집된 스트림 ID 별 수신 정보를 기록하는 저장 모듈; 및 상기 저장 모듈에 기록된 스트림 ID별 수신 정보를 기반으로, 하나 이상의 데이터 수집부 모두가 특정 스트림 ID를 수신한 경우, 상기 하나 이상의 데이터 분석부로 상기 특정 스트림 ID을 포함하는 로그 데이터 스트림에 대한 분석 시작을 지시하는 데이터 처리 제어 모듈을 포함하는 실시간 데이터 분석 시스템의 분석 코디네이터 장치를 제공한다.
본 발명의 일 실시 예에 따른 분석 코디네이터 장치에 있어서, 상기 저장 모듈은 상기 하나 이상의 버퍼링부로부터 로그 데이터 스트림을 읽어와 분석 처리하는 하나 이상의 데이터 분석부로부터 수집된 상기 특정 스트림 ID의 수신 정보를 더 기록할 수 있다.
이때, 상기 데이터 처리 제어 모듈은 상기 하나 이상의 데이터 분석부로부터 수집된 상기 특정 스트림 ID의 수신 정보를 기반으로 상기 특정 스트림 ID를 포함하는 로그 데이터 스트림에 대한 분석 완료를 판단할 수 있다.
또한, 본 발명의 일 실시 예에 따른 분석 코디네이터 장치는, 상기 하나 이상의 데이터 수집부 및 하나 이상의 데이터 분석부 중 마스터 데이터 수집부 및 마스터 데이터 분석부를 설정하는 마스터 관리 모듈을 더 포함하고, 상기 저장 모듈은 상기 마스터 관리 모듈에 의해 설정된 마스터 데이터 수집부 및 마스터 데이터 분석부로부터 수집된 스트림 ID의 수신 정보를 기록할 수 있다.
더하여, 본 발명의 일 실시 예에 따른 분석 코디네이터 장치는, 상기 저장 모듈에 기록된 정보를 클러스터로 연결된 하나 이상의 다른 분석 코디네이터 장치와 동기화시키는 동기화 모듈을 더 포함할 수 있다.
더하여, 본 발명은 상술한 과제의 또 다른 해결 수단으로서, 하나 이상의 데이터 수집부, 하나 이상의 버퍼링부 및 하나 이상의 데이터 분석부를 통해서 실시간으로 생성되는 복수의 로그 데이터 스트림을 처리하는 실시간 데이터 분석 시스템의 실시간 데이터 분석 방법에 있어서, 상기 하나 이상의 데이터 수집부가 기준 시간 대별로 구분되는 스트림 ID를 포함하는 복수의 로그 데이터 스트림을 순차적으로 수신하여 상기 하나 이상의 버퍼링부에 분산 저장하는 단계; 상기 하나 이상의 데이터 수집부가 상기 로그 데이터 스트림의 수신 중에 특정 스트림 ID를 수신하면, 상기 특정 스트림 ID의 수신 정보를 분석 코디네이터에 통지하는 단계; 상기 하나 이상의 데이터 분석부가, 하나 이상의 데이터 수집부 모두로부터 특정 스트림 ID의 수신 정보를 수신한 분석 코디네이터로부터 특정 스트림 ID에 대응하는 로그 데이터 스트림의 분석 시작을 지시 받는 단계; 상기 하나 이상의 데이터 분석부가, 상기 하나 이상의 버퍼링부에 분산 저장된 특정 스트림 ID을 포함하는 복수의 로그 데이터 스트림을 순차적으로 읽어와 분석 처리하여 통계 데이터가 산출하는 단계를 포함하는 것을 특징으로 하는 실시간 데이터 분석 시스템의 실시간 데이터 분석 방법을 제공할 수 있다.
본 발명이 다른 실시 예에 따른 실시간 데이터 분석 시스템의 실시간 데이터 분석 방법은, 상기 하나 이상의 데이터 수집부 중 설정된 마스터 데이터 수집부가 상기 하나 이상의 데이터 수집부들의 특정 스트림 ID 수신 여부를 확인하여, 모두 특정 스트림 ID를 수신한 경우, 상기 분석 코디네이터에 상기 특정 스트림 ID에 대응하는 로그 데이터의 분석 시작을 의미하는 제1 플래그를 기록하는 단계를 더 포함할 수 있으며, 또한, 상기 하나 이상의 데이터 분석부 중 설정된 마스터 데이터 분석부가 상기 하나 이상의 데이터 분석부들의 특정 스트림 ID 수신 여부를 확인하여, 모두 특정 스트림 ID를 수신한 경우, 상기 분석 코디네이터에 상기 특정 스트림 ID에 대응하는 로그 데이터의 분석 완료를 의미하는 제2 플래그를 기록하는 단계를 더 포함할 수 있다.
본 발명에 따른 실시간 데이터 분석 시스템의 데이터 처리 방법 및 분석 코디네이터 장치는, 연속적으로 생성되어 전송되는 로그 데이터 스트림은, 각 로그 데이터 스트림이 생성된 기준 시간대별로 구분되는 스트림 ID를 포함시켜 전송하고, 하나 이상의 데이터 수집부를 통해 실시간 로그 데이터 스트림을 수신하여 저장하는데 있어서, 상기 스트림 ID를 기준으로 특정 기준 시간대의 로그 데이터 스트림의 수신 여부를 판단하여 통계 데이터 산출을 위한 분석 시점을 제어함으로써, 연속적으로 생성된 로그 데이터 스트림을 지연 없이 실시간으로 분석하여 생성시점에 근거한 기준시간대별 통계 데이터를 생성할 수 있다.
도 1은 본 발명에 따른 실시간 데이터 분석 시스템이 적용되는 네트워크 구조를 예시한 도면이다.
도 2는 본 발명에 따른 실시간 데이터 분석 시스템의 전체 구성을 개략적으로 나타낸 블럭도이다.
도 3은 본 발명에 따른 실시간 데이터 분석 시스템에 있어서, 데이터 처리 제어를 위한 분석 코디네이터 장치의 상세 구성을 나타낸 블럭도이다.
도 4는 본 발명에 따른 실시간 데이터 분석 시스템에 있어서, 분석 코디네이터 장치의 데이터 처리 제어 과정을 나타낸 순서도이다.
도 5는 본 발명에 따른 실시간 데이터 분석 시스템의 데이터 처리 과정을 나타낸 순서도이다.
도 6은 본 발명에 따른 실시간 데이터 분석 시스템에서 전송되는 로그 데이터 스트림의 데이터 구조 및 통계 데이터와의 관계를 설명하는 모식도이다.
도 2는 본 발명에 따른 실시간 데이터 분석 시스템의 전체 구성을 개략적으로 나타낸 블럭도이다.
도 3은 본 발명에 따른 실시간 데이터 분석 시스템에 있어서, 데이터 처리 제어를 위한 분석 코디네이터 장치의 상세 구성을 나타낸 블럭도이다.
도 4는 본 발명에 따른 실시간 데이터 분석 시스템에 있어서, 분석 코디네이터 장치의 데이터 처리 제어 과정을 나타낸 순서도이다.
도 5는 본 발명에 따른 실시간 데이터 분석 시스템의 데이터 처리 과정을 나타낸 순서도이다.
도 6은 본 발명에 따른 실시간 데이터 분석 시스템에서 전송되는 로그 데이터 스트림의 데이터 구조 및 통계 데이터와의 관계를 설명하는 모식도이다.
이하 본 발명의 바람직한 실시 예를 첨부한 도면을 참조하여 상세히 설명한다. 다만, 하기의 설명 및 첨부된 도면에서 본 발명의 요지를 흐릴 수 있는 공지 기능 또는 구성에 대한 상세한 설명은 생략한다. 또한, 도면 전체에 걸쳐 동일한 구성 요소들은 가능한 한 동일한 도면 부호로 나타내고 있음에 유의하여야 한다.
이하에서 설명되는 본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정해서 해석되어서는 아니 되며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위한 용어의 개념으로 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다. 따라서 본 명세서에 기재된 실시 예와 도면에 도시된 구성은 본 발명의 가장 바람직한 일 실시 예에 불과할 뿐이고, 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형 예들이 있을 수 있음을 이해하여야 한다.
또한, 제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하기 위해 사용하는 것으로, 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용될 뿐, 상기 구성요소들을 한정하기 위해 사용되지 않는다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제2 구성요소는 제1 구성요소로 명명될 수 있고, 유사하게 제1 구성요소도 제2 구성요소로 명명될 수 있다.
더하여, 어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급할 경우, 이는 논리적 또는 물리적으로 연결되거나, 접속될 수 있음을 의미한다. 다시 말해, 구성요소가 다른 구성요소에 직접적으로 연결되거나 접속되어 있을 수 있지만, 중간에 다른 구성요소가 존재할 수도 있으며, 간접적으로 연결되거나 접속될 수도 있다고 이해되어야 할 것이다.
또한, 본 명세서에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 또한, 본 명세서에서 기술되는 "포함 한다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
본 발명에 따른 실시간 데이터 분석 시스템은, 둘 이상의 통화자 간에 통화 채널을 연결하여 음성 및 영상 중 하나 이상을 포함하는 통화 데이터를 통화자 간에 실시간으로 전송하는 통화 서비스 및 통신망을 통해서 원격지와 데이터를 송수신할 수 있도록 하는 데이터 서비스 중 하나 이상을 제공하는 통신망에 적용될 수 있다.
이렇게 본 발명에 따른 실시간 데이터 분석 시스템이 적용될 수 있는 통신망은, 패킷(Packet) 방식으로 통화 데이터를 포함하는 다양한 데이터를 전송하는 통신망으로서, IP 기반의 패킷 망이라면 어떠한 것이라도 가능하다. 예를 들면, LTE 혹은 LTE-A와 같은 이동통신망이 될 수 있다.
이에 이하에서는 설명의 편의를 위하여 이동통신망을 예로 들어, 본 발명에 따른 실시간 데이터 분석 시스템의 구조 및 동작에 대해서 설명한다. 그러나 이는 단순히 이해를 돕기 위한 예시로서, 본 발명을 한정하기 위한 것은 아니다. 본 발명에 따른 실시간 데이터 분석 시스템은 이동통신망에 한정되지 않고, 패킷 기반으로 통화 서비스 및 데이터 서비스 중 하나를 제공하는 통신망이라면 어떠한 종류의 통신망이라도 적용 가능하다.
도 1은 본 발명에 따른 실시간 데이터 분석 시스템이 적용 예를 도시한 도면이다.
도 1에서 부호 10은 서비스 품질 관리 대상이 되는 통신망을 나타내며, 부호 100은 본 발명에 따라서 상기 통신망(10)을 기반으로 이루어지는 통화 서비스 및 데이터 서비스 중 하나 이상에 대한 서비스 품질 관리를 위해 로그 데이터의 수집 및 데이터 분석을 수행하는 실시간 데이터 분석 시스템을 나타낸다.
상기 실시간 데이터 분석 시스템(100)은 통신망(10)의 패킷 전송 경로 상에 위치한 하나 이상의 접점으로부터 해당 접점을 경유하여 전송되는 패킷과 관련된 로그 데이터를 수집한다. 상기 로그 데이터는, 통신망(10) 상에서의 발생된 패킷과 관련된 이벤트 및 그 상세 정보를 기록한 것으로서, 구체적으로, 통신망(10)을 구성하는 네트워크 장비 간에 전송되는 패킷을 기반으로 생성된 것이다.
예를 들어, 상기 통신망(10)이 이동통신망인 경우, 네트워크 장비로서, 기지국 장치(12)와, 이동성 관리 장치(13)와, 서빙 게이트웨이(14)와, PDN 게이트웨이(15)를 포함할 수 있다.
상기 기지국 장치(12)는 무선 자원을 통해 사용자 장치(11)와 직접적으로 접속하여, 사용자 장치(11)로부터 전송된 패킷을 수신하거나 사용자 장치(11)로 패킷을 송신하기 위한 구성이다. 구체적으로 상기 기지국 장치(12)는 통신 커버리지 내로 접근한 사용자 장치(11)의 검출, 접속을 요청한 사용자 장치(11)에 대한 접속 제어 및 무선 자원 할당, 할당된 무선 자원을 통한 사용자 장치(11)와의 패킷 송수신 중 하나 이상을 수행할 수 있다. 이러한 기지국 장치(12)는 예를 들어, Node B, eNB(e Node B) 등이 될 수 있다.
상기 이동성 관리 장치(13)는 사용자 장치(11)의 위치를 등록하고 사용자 장치(11)의 이동에 따른 위치를 수정 및 변경하여 관리하는 요소로서, 상기 기지국 장치(12)와 서빙 게이트웨이(14) 간의 신호제어를 담당하고 사용자 장치(11)로부터 인입되는 패킷을 어느 곳으로 라우팅할지를 결정한다. 이러한 이동성 관리 장치(13)는 3GPP에서 제안된 MME(Mobility Management Entity)를 포함하는 개념이다.
상기 서빙 게이트웨이(14)는, 사용자 장치(11)의 이동(핸드오버)에 대한 앵커링(anchoring) 기능을 담당하여 상기 기지국 장치(12)로 전송받은 패킷을 PDN 게이트웨이(15)로 전달하고, 역으로 PDN 게이트웨이(15)로부터 전달받은 패킷을 사용자 장치(11)가 연결된 기지국 장치(12)로 전달한다.
상기 PDN 게이트웨이(15)는 IMS(IP multimedia subsystem), 인터넷, 타 이동통신망과 같은 다른 PDN과의 접점으로서, 타 통신망 간의 사용자 장치(11)의 이동에 대한 앵커링을 담당한다.
이렇게 구성된 통신망(10)에 있어서, 본 발명에 따른 실시간 데이터 분석 시스템(100)은, 기지국 장치(12)와 이동성 관리 장치(13)를 연결하는 포인트 S1, 기지국 장치(12)와 서빙 게이트웨이(14)를 연결하는 포인트 S2, 서빙 게이트웨이(14)와 이동성 관리 장치(15)를 연결하는 포인트 S3, PDN 게이트웨이(15)와 타 통신망간의 연결 포인트 S4로부터 각각 네트워크 장비 간에 송수신되는 패킷을 기반으로 실시간으로 생성된 로그 데이터 스트림을 수집할 수 있다.
이 경우, 실시간 데이터 분석 시스템(100)에서 수집되는 로그 데이터 스트림은, 통화 서비스와 관련된 서비스 콜 로그 데이터와, 트래픽 로그 데이터 중 하나 이상을 포함할 수 있으며, 또한, 서비스 콜 로그 데이터와 트래픽 로그 데이터는, 각각 베어러 연결 및 운용과 관련된 베어러 로그 데이터, 연결된 베어러를 통해 이루어지는 어플리케이션 레벨의 로그 데이터인 HTTP 로그 데이터, 프랜스포트 로그 데이터, DNS 로그 데이터 중 하나 이상을 포함할 수 있다. 각각의 로그 데이터 스트림은 사용자 정보, 관련된 네트워크 장비 정보, HTTP 정보, SCTP 정보, DNS 정보, 베어러 정보, 트래픽 정보, 호 처리 정보, 호 정보 중에서 하나 이상을 포함할 수 있다. 아울러, 상기 로그 데이터 스트림은, 각각의 로그 정보가 생성된 기준 시간대별로 구분된 스트림 ID를 포함할 수 있다. 구체적으로 상기 스트림 ID는 소정 기준 시간대에 생성된 로그 데이터 스트림의 마지막에 배치되어 전송될 수 있다.
상기 실시간 데이터 분석 시스템(100)은 수집한 로그 데이터 스트림을 수신되는 순서대로 메모리에 분산 저장하고, 각각 하나의 실시간 입력 데몬(RID: Real-time Input Daemon)과 데이터 처리를 수행하는 하나 이상의 실시간 프로세싱 데몬(RPD: Real-time Processing Daemon)으로 이루어지는 복수의 실시간 데이터 워크플로우(RDW: Real-time Data workflow)를 이용하여 분산 저장된 로그 데이터를 저장된 순서대로 읽어와, 분산 및 병렬로 데이터 처리하여, 통화 서비스 및 데이터 서비스와 관련된 품질 관리를 위한 다양한 통계 데이터를 산출한다.
상기 하나 이상의 실시간 프로세싱 데몬은, 통계 및 분석을 위한 데이터 처리 기능 중 적어도 하나를 수행할 수 있다. 여기서, 통계 및 분석을 위한 데이터 처리 기능은, 예를 들어, 필드 그룹핑, 상관관계 분석, 통계 처리 중 하나 이상을 포함할 수 있다.
다음으로, 도 2를 참조하여 본 발명에 따른 실시간 데이터 분석 시스템(100)의 상세 구성 및 동작을 설명하기로 한다.
도 2를 참조하면, 본 발명에 따른 실시간 데이터 분석 시스템(100)은 하나 이상의 데이터 수집부(110)와, 하나 이상의 버퍼링부(120)와, 하나 이상의 데이터 분석부(130) 및 하나 이상의 분석 코디네이터 장치(140)를 포함하여 이루어질 수 있다.
상기 하나 이상의 데이터 수집부(110)는 통신망(10)을 구성하는 네트워크 장비 간에 전달되는 패킷을 기반으로 실시간으로 생성되는 복수의 로그 데이터 스트림을 수신하여 하나 이상의 버퍼링부(120)에 분산 저장한다. 이때, 상기 하나 이상의 데이터 수집부(110) 및 하나 이상의 버퍼링부(120)는 각각 일대일로 연결되어, 각 데이터 수집부(110)는 수집한 로그 데이터 스트림을 대응하여 설정된 버퍼링부(120)에 순차적으로 저장할 수 있다.
상기 하나 이상의 버퍼링부(120)는 상기 하나 이상의 데이터 수집부(110)에서 수집된 로그 데이터를 하나 이상의 데이터 분석부(130)로 전송하기 위한 버퍼 기능을 수행하는 구성으로서, 먼저 입력된 데이터가 먼저 출력되는 FIFO(First Input First Output) 방식의 메모리 구조로 구현될 수 있다.
즉, 상기 하나 이상의 버퍼링부(120)는 각각 하나 이상의 데이터 수집부(110)에서 수집한 로그 데이터 스트림을 순차적으로 저장하고, 하나 이상의 데이터 분석부(130)의 요청에 따라서 상기 저장된 로그 데이터 스트림을 저장된 순서대로 데이터 분석부(130)에 제공한다.
상기 하나 이상의 데이터 분석부(130)는 상기 하나 이상의 버퍼링부(120)에 분산 저장되는 복수의 로그 데이터 스트림을 순차적으로 읽어와, 필드 그룹핑, 상관 관계 분석 및 통계 처리 중 하나 이상을 포함하는 데이터 처리를 분산 및 병렬 방식으로 수행하여, 통화 서비스 및 데이터 서비스의 품질 관리를 위한 지표에 대한 통계 데이터를 산출한다.
구체적으로, 상기 하나 이상의 데이터 분석부(130)는 하나의 실시간 입력 데몬(RID: Real-time Input Daemon)과 데이터 처리를 수행하는 하나 이상의 실시간 프로세싱 데몬(RPD: Real-time Processing Daemon)의 결합으로 이루어진 실시간 데이터 워크플로우(RDW: Real-time Data workflow)가 설정되고, 설정된 실시간 데이터 워크플로우를 통해서 상기 하나 이상의 버퍼링부(120)에 저장된 대용량의 로그 데이터를 순차적으로 읽어와 필드 그룹핑, 상관 관계 분석 및 통계 처리를 수행하여 통계 데이터를 산출한다.
이때, 상기 하나 이상의 데이터 분석부(130)는 동일 기준 시간대에 생성된 복수의 로그 데이터 스트림을 한번에 읽어 들여 처리함으로써, 상기 기준 시간대별 통계 데이터를 산출하여야 한다.
하나 이상의 분석 코디네이터 장치(140)는, 상기 하나 이상의 데이터 분석부(130)가 기준 시간대별 통계 데이터를 지연 없이 거의 실시간으로 산출할 수 있도록 제어하기 위한 구성이다.
구체적으로, 상기 하나 이상의 분석 코디네이터 장치(140)는 상기 하나 이상의 데이터 수집부(110)로부터 로그 데이터 스트림에 포함되는 스트림 ID의 수신 정보를 수집하고, 수집 결과, 로그 데이터 스트림의 수집을 분산 처리하는 하나 이상의 데이터 수집부(110) 모두가 특정 스트림 ID를 수신한 경우, 특정 기준 시간대의 로그 데이터 스트림이 모두 수집된 것으로 판단하여, 상기 하나 이상의 데이터 분석부(130)로 상기 특정 스트림 ID에 대응하는 기준 시간대의 로그 데이터 스트림에 대한 분석 시작을 지시한다.
이에, 상기 하나 이상의 데이터 분석부(130)는 특정 기준 시간대에 생성된 복수의 로그 데이터 스트림을 동시에 읽어와 분석함으로써, 상기 특정 기준 시간대의 로그 정보를 기반으로 통계 데이터를 산출할 수 있다.
마찬가지로, 상기 하나 이상의 분석 코디네이터 장치(140)는, 상기 하나 이상의 데이터 분석부(130)로부터 상기 특정 스트림 ID의 수신 정보를 수집하고, 수집 결과, 상기 하나 이상의 데이터 분석부(130) 모두가 특정 스트림 ID를 수신한 경우, 상기 특정 스트림 ID에 대응하는 특정 기준 시간 대의 로그 데이터 스트림의 분석이 완료된 것으로 판단할 수 있으며, 이에 근거하여, 다음 기준 시간대에 대응하는 로그 데이터 스트림의 분석을 지시할 수 있다. 이때, 다음 기준 시간대에 대응하는 로그 데이터 스트림의 분석도, 상기 하나 이상의 데이터 수집부(110)로부터 다음 스트림 ID를 이용하여 다음 기준 시간대에 대응하는 로그 데이터 스트림이 모두 수집된 경우에 이루어진다.
상기에서, 분석 코디네이터 장치(140)는 상기 하나 이상의 데이터 분석부(130)로부터 특정 스트림 ID의 수신 정보를 수집할 때, 상기 하나 이상의 데이터 분석부(130)에 설정된 실시간 데이터 워크플로우(RDW) 중 버퍼링부(120)로부터 로그 데이터 스트림을 읽어오는 실시간 입력 데몬(RID)로부터 상기 스트림 ID의 수신 정보를 수집할 수 있다.
이러한 하나 이상의 분석 코디네이터 장치(140)는 클러스터로 연결되어, 상호 기록된 정보의 동기화가 이루어진다. 따라서, 하나 이상의 데이터 수집부(110) 및 하나 이상의 데이터 분석부(130)는 하나 이상의 분석 코디네이터 장치(140) 중 어느 곳에라도 접속할 수 있다. 이에 의하면, 임의 분석 코디네이터 장치(140)에 장애가 발생하더라도 항상 안정된 제어가 가능해진다. 다만, 상기 하나 이상의 분석 코디네이터 장치(140)는, 리더(Leader)와 팔로워(Follower)로 구분되어 동작할 수 있으며, 이때, 리더는 하나 이상의 데이터 수집부(110) 및 하나 이상의 데이터 분석부(130)에 대한 쓰기 권한을 관리할 수 있다.
도 3은 본 발명에 따른 실시간 데이터 분석 시스템(100)에 있어서, 분석 코디네이터 장치(140)의 상세 구성을 나타낸 블럭도이다.
도 3을 참조하면, 본 발명에 따른 분석 코디네이터 장치(140)는, 저장 모듈(141)과, 데이터 처리 제어 모듈(142)과, 마스터 관리 모듈(143)과, 동기화 모듈(144)을 포함할 수 있다.
상기 저장 모듈(141)은, 하나 이상의 데이터 수집부(110) 및 하나 이상의 데이터 분석부(130)로부터 수집한 스트림 ID별 수신 정보를 기록한다. 아울러, 상기 저장 모듈(141)은 스트림 ID별로 대응하는 기준 시간대의 로그 데이터 스트림에 대한 분석 시작 및 분석 완료를 나타내는 정보를 더 기록할 수 있다. 상기 분석 시작 및 분석 완료를 나타내는 정보는, 스트림 ID와 매칭되어 각각 분석 시작 및 분석 완료로 정의된 제1,2 플래그로 기록될 수 있다.
상기 데이터 처리 제어 모듈(142)는, 상기 저장 모듈(141)에 기록된 정보를 기반으로, 하나 이상의 데이터 수집부(110) 모두가 특정 스트림 ID를 수신한 경우, 특정 스트림 ID에 대응하는 기준 시간대의 로그 데이터 스트림이 모두 수집된 것으로 판단하여, 상기 하나 이상의 데이터 분석부(130)로 상기 특정 스트림 ID을 포함하는 로그 데이터 스트림에 대한 분석 시작을 지시한다.
또한, 상기 데이터 처리 제어 모듈(142)은, 상기 저장 모듈(141)에 기록된 정보를 기반으로, 상기 특정 스트림 ID를 포함하는 로그 데이터 스트림에 대한 분석 완료를 판단하고, 분석이 완료된 경우, 다음 기준 시간대에 대응하는 로그 데이터 스트림의 분석 시점을 체크한다. 즉, 상기 데이터 처리 제어 모듈(142)은 특정 스트림 ID에 대응하는 기준 시간대의 로그 데이터 스트림에 대한 분석이 진행되는 동안, 다음 기준 시간대에 대응하는 로그 데이터 스트림이 모두 수집되었는 지를 다음 기준 시간대에 대응하는 스트림 ID의 수신 정보를 기준으로 판단하여, 모두 수신된 경우, 다음 기준 시간대에 대한 로그 데이터 스트림의 분석을 상기 하나 이상의 데이터 분석부(130)에 지시한다. 이러한 과정은 로그 데이터 스트림이 생성되는 동안 연속적으로 이루어져, 실시간으로 생성되는 로그 데이터 스트림에 대한 데이터 처리의 지연을 최소화할 수 있다.
상기 마스터 관리 모듈(143)은, 상기 하나 이상의 데이터 수집부(110) 및 하나 이상의 데이터 분석부(130) 중 마스터 데이터 수집부 및 마스터 데이터 분석부를 설정한다. 이때, 마스터 데이터 수집부 및 마스터 데이터 분석부의 설정은 기 설정된 마스터 선출 알고리즘을 통해 이루어질 수 있다.
이렇게 상기 하나 이상의 데이터 수집부(110) 및 하나 이상의 데이터 분석부(130) 중 마스터 데이터 수집부 및 마스터 데이터 분석부가 설정된 경우, 상기 저장 모듈(141)은 마스터 데이터 수집부 및 마스터 데이터 분석부를 통해서 스트림 ID의 수신 정보를 기록할 수 있다.
더하여, 상기 하나 이상의 데이터 수집부(110) 중 설정된 마스터 데이터 수집부는 상기 하나 이상의 데이터 수집부(110)들의 특정 스트림 ID 수신 여부를 확인하여, 모두 특정 스트림 ID를 수신한 경우, 상기 저장 모듈(141)에 상기 특정 스트림 ID에 대응하는 로그 데이터의 분석 시작을 의미하는 제1 플래그를 기록할 수 있다.
또한, 상기 하나 이상의 데이터 분석부(130) 중 설정된 마스터 데이터 분석부는 상기 하나 이상의 데이터 분석부(130)들의 특정 스트림 ID 수신 여부를 확인하여, 모두 특정 스트림 ID를 수신한 경우, 상기 저장 모듈(141)에 상기 특정 스트림 ID에 대응하는 로그 데이터 스트림의 분석 완료를 의미하는 제2 플래그를 기록할 수 있다. 이에, 앞서 마스터 데이터 수집부에 의해 기록된 제1 플래그가 제2 플래그로 변경 기록되며, 데이터 처리 제어 모듈(142)은 이러한 정보를 기반으로 스트림 ID(기준 시간대)별로 데이터 처리의 시작 및 완료를 판단할 수 있다.
마지막으로, 상기 동기화 모듈(144)는 복수의 분석 코디네이터 장치(140)가 클러스터로 연결된 경우, 클러스터 연결된 다른 분석 코디네이터 장치와 상기 저장 모듈(141)에 기록된 정보를 동기화시키기 위한 구성이다.
상술한 바와 같이 구성된 분석 코디네이터 장치(140)에 의한 실시간 데이터 분석 시스템의 데이터 처리 제어 과정을 도 4를 참조하여 좀더 구체적으로 설명하기로 한다.
도 4를 참조하면, 분석 코디네이터 장치(140)는, 하나 이상의 데이터 수집부(110)가 복수의 로그 데이터 스트림을 수집하여 하나 이상의 버퍼링부(120)에 저장하는 중에, 상기 하나 이상의 데이터 수집부(110)로부터 기준 시간대별로 구분되어 로그 데이터에 포함된 스트림 ID의 수신 정보를 수집한다(S105). 상기 S105 단계는 하나 이상의 데이터 수집부(110)가 로그 데이터 스트림을 수신하는 중에 스트림 ID가 검출되면, 검출된 스트림 ID를 전송하는 방식으로 이루어질 수 있다. 이러한 스트림 ID의 수신 정보는 저장 모듈(141)에 기록될 수 있다.
그리고, 분석 코디네이터 장치(140)는, 하나 이상의 데이터 수집부(110)에서 특정 스트림 ID, 즉, 특정 기준 시간대의 로그 데이터 스트림이 모두 수신되었는 지를 판단하는데(S110), 이는 상기 하나 이상의 데이터 수집부(110)에서 전송하여 기록한 스트림 ID의 개수가 기 설정된 수, 즉, 데이터 수집부(110)의 수와 일치하는 지를 비교함에 의해 이루어질 수 있다.
상기 단계 S105 및 단계 S110는 하나 이상의 데이터 수집부(110)중 마스터 데이터 수집부가 설정된 경우, 마스터 데이터 수집부를 통해 수행할 수 있으며, 상기 마스터 데이터 수집부는 모든 데이터 수집부(110)에서 특정 스트림 ID가 수신된 경우, 상기 분석 코디네이터 장치(140)에 특정 스트림 ID에 대한 분석 시작을 나타내는 제1 플래그를 기록하고, 분석 코디네이터 장치(140)는 상기 제1 플래그의 기록 여부에 따라서 특정 스트림 ID에 대응하는 로그 데이터 스트림의 분석 시작 여부를 판단하도록 할 수 있다.
상기 S110 단계의 판단 결과, 특정 기준 시간대의 로그 데이터 스트림이 모두 수집된 것으로 판단되면, 분석 코디네이터 장치(140)는 상기 하나 이상의 데이터 분석부(130)로 특정 기준 시간대의 로그 데이터 스트림에 대한 분석 시작을 지시한다(S115). 이때 분석 코디네이터 장치(140)는 특정 기준 시간대의 로그 데이터 스트림에 대한 분석 시작을 지시하기에 앞서, 상기 하나 이상의 데이터 분석부(130)에서 이전 기준 시간대의 로그 데이터 스트림에 대한 분석이 완료되었는 지를 확인할 수 있으며, 이전 기준 시간대의 로그 데이터 스트림에 대한 분석이 완료된 경우에, 상기 특정 기준 시간대의 로그 데이터 스트림에 대한 분석 시작을 지시할 수 있다.
상기 지시에 의하여 하나 이상의 데이터 분석부(130)는, 하나 이상의 버퍼링부(120)로부터 특정 기준 시간대의 복수 로그 데이터 스트림을 동시에 읽어와 분석을 수행한다.
이때, 분석 코디네이터 장치(140)는, 상기 하나 이상의 버퍼링부(120)로부터 로그 데이터 스트림을 읽어와 연속적으로 분석하는 상기 하나 이상의 데이터 분석부(130)로부터 상기 특정 스트림 ID의 수신 정보를 수집한다(S120). 이는 하나 이상의 데이터 분석부(130)가 로그 데이터 스트림을 읽어오는 중에 특정 스트림 ID가 검출되면 검출된 스트림 ID를 분석 코디네이터 장치(140)에 기록하도록 하는 방식으로 이루어질 수 있다.
상기 분석 코디네이터 장치(140)는 수집된 정보를 기반으로, 상기 하나 이상의 데이터 분석부(130) 모두가 특정 스트림 ID의 로그 데이터 스트림을 수신하였는 지를 판단한다(S125). 이는 상기 하나 이상의 데이터 분석부(110)에서 기록한 스트림 ID의 개수가 기 설정된 수, 즉, 데이터 분석부(130)의 수와 일치하는 지를 비교함에 의해 이루어질 수 있다.
그리고, 분석 코디네이터 장치(140)는, 하나 이상의 데이터 분석부(130)가 상기 특정 스트림 ID에 대응하는 로그 데이터 스트림을 모두 읽어온 경우, 상기 특정 스트림 ID에 대응하는 특정 시간 대의 로그 데이터 스트림의 분석이 완료된 것으로 판단한다(S130).
상기 분석 코디네이터 장치(140)는 다음 기준 시간 대에 대응하는 스트림 ID를 이용하여 상기 단계 105 내지 S130을 반복적으로 수행함으로써, 실시간으로 생성되어 연속적으로 전송되는 로그 데이터 스트림을 지연 없이, 연속적으로 기준 시간대별로 구분하여 분석하여 각 기준 시간대별 통계 데이터를 거의 실시간으로 산출할 수 있게 된다.
도 5는 상기에서 설명한 분석 코디네이터 장치(140)를 통한 데이터 처리 제어를 통해서 이루어지는 실시간 데이터 분석 시스템(100)의 전체 동작 플로우를 보인 순서도이다. 참고로, 도 5에서는, 복수의 데이터 수집부(110-1~110-n) 및 복수의 데이터 분석부(130-1~130-n) 중에서, 제1 데이터 수집부(110-1)와 제1 데이터 분석부(130-1)를 마스터 설정한 것으로 가정하여, 상기 마스터로 설정된 제1 데이터 수집부(110-1)와 제1 데이터 분석부(130-1)를 통해서 스트림 ID의 수신 정보를 처리하는 과정을 나타낸다.
도 5를 참조하면, 하나 이상의 데이터 수집부(110-1~110-n)은 통신망(10) 상에서 각각 복수의 로그 데이터 스트림을 수집하여 하나 이상의 버퍼링부(120-1~120-n)에 분산 저장한다(S205, S210). 이때, 상기 로그 데이터 스트림은, 생성된 기준 시간대별로 구분되는 스트림 ID를 포함하게 된다. 특히, 상기 스트림 ID는 해당 기준 시간대에 수집된 로그 데이터 스트림의 마지막에 배치되어 전송된다.
따라서, 상기 하나 이상의 데이터 수집부(110-1~110-n)은 로그 데이터 스트림을 수집하는 중에, 특정 시간대에 수집된 로그 데이터 스트림이 모두 수집된 시점에 해당 기준 시간대에 대응하는 스트림 ID를 검출할 수 있다(S215, S220).
이때, 마스터로 설정된 제1 데이터 수집부(110-1)를 제외한 나머지 데이터 수집부(110-n)는 스트림 ID가 검출되면, 검출된 스트림 ID를 마스터로 설정된 제1 데이터 수집부(110-1)로 제공한다(S225).
그리고, 마스터로 설정된 제1 데이터 수집부(110-1)는 자신을 포함하는 전체 데이터 수집부(110-1~110-n)로부터 특정 스트림 ID가 모두 수신되었는 지를 확인하고, 모두 수신된 경우, 분석 코디네이터 장치(140)에 특정 스트림 ID에 대응하는 로그 데이터의 수신 완료를 통지한다(S230). 이에, 분석 코디네이터 장치(140)의 저장 모듈(141)에 특정 스트림 ID와 매칭하여 로그 데이터 스트림의 분석 시작을 나타내는 제1 플래그가 기록된다. 상기 제1 플래그는 상기 마스터로 설정된 제1 데이터 수집부(110-1)에 의해 기록될 수 있다.
이를 확인한 분석 코디네이터 장치(140)는, 하나 이상의 데이터 분석부(130-1~130-n)로 특정 기준 시간대의 로그 데이터 스트림에 대한 분석 시작을 지시한다(S235).
상기 지시에 의하여, 상기 하나 이상의 데이터 분석부(130-1~130-n)는 하나 이상의 버퍼링부(120-1~120-n)로부터 해당 기준 시간대의 로그 데이터 스트림을 각각 읽어와(S240, S250), 상기 복수 로그 데이터 스트림의 분석을 수행한다(S245, S255).
이때, 상기 하나 이상의 데이터 분석부(130-1~130-n)는 특정 기준 시간대의 로그 데이터 스트림을 모두 읽어온 경우, 해당 로그 데이터 스트림의 마지막에 배치된 스트림 ID를 검출하게 된다(S260, S265).
이때, 마스터로 설정된 제1 데이터 분석부(130-1)을 제외한 나머지 데이터 분석부(130-n)들은 검출된 스트림ID를 마스터로 설정된 제1 데이터 분석부(130-1)로 통지한다(S270).
그리고, 마스터로 설정된 제1 데이터 분석부(130-1)는 자신을 포함한 모든 데이터 분석부(130-1~130-n)에서 모두 특정 스트림 ID가 검출된 경우, 이를 분석 코디네이터 장치(140)에 상기 특정 스트림 ID에 대응하는 로그 데이터 스트림의 분석이 완료된 것으로 통지한다(S275). 이는 상기 마스터로 설정된 제1 데이터 분석부(130-1)가 분석 코디네이터 장치(140)의 특정 스트림에 대응하여 기록된 제1 플래그를 분석 완료를 의미하는 제2 플래그로 변경 기록하는 방식으로 이루어질 수 있다.
이상의 과정을 반복함으로써, 실시간으로 생성되는 로그 데이터 스트림을 지연 없이 기준 시간대별로 분석하여 통계 데이터를 산출할 수 있다.
도 6은 본 발명에 따른 실시간 데이터 분석 시스템에서 전송되는 로그 데이터 스트림의 데이터 구조 및 통계 데이터와의 관계를 설명하는 모식도이다.
도 6에 도시된 바와 같이, 로그 데이터 스트림이 생성된 기준 시간대별로 구분되는 스트림 ID는 뒤에 배치되어 전송될 수 있다.
즉, 도 6의 (a)에 도시된 바와 같이, 특정 기준 시간대에 수집된 로그 데이터 스트림 1의 마지막에 상기 특정 기준 시간대에 대응하는 스트림 ID 1을 이어서 전송하고, 상기 스트림 ID 1에 이어서 다음 기준 시간 대에 수집된 로그 데이터 스트림 2를 전송하고, 상기 로그 데이터 스트림 2에 이어서 해당 기준 시간대를 나타내는 스트림 ID 2가 전송된다.
이러한 로그 데이터 스트림들을 수신하여 실시간으로 처리하는 본 발명에 따른 실시간 데이터 분석 시스템(100)은, 스트림 ID 1이 수신되면, 스트림 ID 1에 대응하는 로그 데이터 스트림 1이 모두 수신된 것으로 판단할 수 있다. 따라서, 스트림 ID 1의 수신 여부에 따라서 기 수신한 로그 데이터 스트림 1의 분석을 수행하여, 특정 기준 시간대에 통신망(10)에서 발생하는 이벤트 들에 대한 통계 데이터 1을 큰 지연 없이 실시간으로 산출할 수 있다.
마찬가지로, 실시간 데이터 분석 시스템(100)은 스트림 ID 2가 수신되면, 다음 기준 시간대에 생성된 로그 데이터 스트림 2가 모두 수신된 것으로 판단할 수 있다. 따라서, 스트림 ID 2의 수신 여부에 따라서 기 수신한 로그 데이터 스트림 2가 모두 수신된 시점에 상기 로그 데이터 스트림 2의 분석이 지연 없이 수행되어, 다음 기준 시간대에 통신망(10)에서 발생하는 이벤트 들에 대한 통계 데이터 2가 실시간으로 산출될 수 있다.
이상과 같이, 본 명세서와 도면에는 본 발명의 바람직한 실시 예에 대하여 개시하였으나, 여기에 개시된 실시 예외에도 본 발명의 기술적 사상에 바탕을 둔 다른 변형 예들이 실시 가능하다는 것은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 자명한 것이다. 또한, 본 명세서와 도면에서 특정 용어들이 사용되었으나, 이는 단지 본 발명의 기술 내용을 쉽게 설명하고 발명의 이해를 돕기 위한 일반적인 의미에서 사용된 것이지, 본 발명의 범위를 한정하고자 하는 것은 아니다.
비록 본 명세서와 도면에서는 예시적인 장치 구성을 기술하고 있지만, 본 명세서에서 설명하는 기능적인 동작과 주제의 구현물들은 다른 유형의 디지털 전자 회로로 구현되거나, 본 명세서에서 개시하는 구조 및 그 구조적인 등가물들을 포함하는 컴퓨터 소프트웨어, 펌웨어 혹은 하드웨어로 구현되거나, 이들 중 하나 이상의 결합으로 구현 가능하다. 본 명세서에서 설명하는 주제의 구현물들은 하나 이상의 컴퓨터 프로그램 제품, 다시 말해 본 발명에 따른 장치의 동작을 제어하기 위하여 혹은 이것에 의한 실행을 위하여 유형의 프로그램 저장매체 상에 인코딩된 컴퓨터 프로그램 명령에 관한 하나 이상의 모듈로서 구현될 수 있다. 컴퓨터로 판독 가능한 매체는 기계로 판독 가능한 저장 장치, 기계로 판독 가능한 저장 기판, 메모리 장치, 기계로 판독 가능한 전파형 신호에 영향을 미치는 물질의 조성물 혹은 이들 중 하나 이상의 조합일 수 있다.
여기서 "시스템"이라는 용어는 예컨대 프로그래머블 프로세서, 컴퓨터 혹은 다중 프로세서나 컴퓨터를 포함하여 데이터를 처리하기 위한 모든 기구, 장치 및 기계를 포괄한다. 시스템은, 하드웨어에 부가하여, 예컨대 프로세서 펌웨어를 구성하는 코드, 프로토콜 스택, 데이터베이스 관리 시스템, 운영 체제 혹은 이들 중 하나 이상의 조합 등 요청 시 컴퓨터 프로그램에 대한 실행 환경을 형성하는 코드를 포함하여 이루어질 수 있다.
본 발명에 따른 장치에 탑재되고 본 발명에 따른 방법을 실행하는 컴퓨터 프로그램(프로그램, 소프트웨어, 소프트웨어 어플리케이션, 스크립트 혹은 코드로도 알려져 있음)은 컴파일 되거나 해석된 언어나 선험적 혹은 절차적 언어를 포함하는 프로그래밍 언어의 어떠한 형태로도 작성될 수 있으며, 독립형 프로그램이나 모듈, 컴포넌트, 서브루틴 혹은 컴퓨터 환경에서 사용하기에 적합한 다른 유닛을 포함하여 어떠한 형태로도 전개될 수 있다. 컴퓨터 프로그램은 파일 시스템의 파일에 반드시 대응하는 것은 아니다. 프로그램은 요청된 프로그램에 제공되는 단일 파일 내에, 혹은 다중의 상호 작용하는 파일(예컨대, 하나 이상의 모듈, 하위 프로그램 혹은 코드의 일부를 저장하는 파일) 내에, 혹은 다른 프로그램이나 데이터를 보유하는 파일의 일부(예컨대, 마크업 언어 문서 내에 저장되는 하나 이상의 스크립트) 내에 저장될 수 있다. 컴퓨터 프로그램은 하나의 사이트에 위치하거나 복수의 사이트에 걸쳐서 분산되어 통신 네트워크에 의해 상호 접속된 다중 컴퓨터나 하나의 컴퓨터 상에서 실행되도록 전개될 수 있다.
컴퓨터 프로그램 명령어와 데이터를 저장하기에 적합한 컴퓨터로 판독 가능한 매체는, 예컨대 EPROM, EEPROM 및 플래시메모리 장치와 같은 반도체 메모리 장치, 예컨대 내부 하드디스크나 외장형 디스크와 같은 자기 디스크, 자기광학 디스크 및 CD-ROM과 DVD-ROM 디스크를 포함하여 모든 형태의 비휘발성 메모리, 매체 및 메모리 장치를 포함한다. 프로세서와 메모리는 특수 목적의 논리 회로에 의해 보충되거나, 그것에 통합될 수 있다.
본 명세서에서 설명한 주제의 특정한 실시형태를 설명하였다. 기타의 실시형태들은 이하의 청구항의 범위 내에 속한다. 예컨대, 청구항에서 인용된 동작들은 상이한 순서로 수행되면서도 여전히 바람직한 결과를 성취할 수 있다. 일 예로서, 첨부도면에 도시한 프로세스는 바람직한 결과를 얻기 위하여 반드시 그 특정한 도시된 순서나 순차적인 순서를 요구하지 않는다. 특정한 구현예에서, 멀티태스킹과 병렬 프로세싱이 유리할 수 있다.
따라서 본 발명의 범위는 설명된 실시 예에 의하여 정할 것이 아니고 특허청구범위에 의해 정하여져야 한다.
본 발명에 따른 실시간 데이터 분석 시스템의 데이터 처리 방법 및 분석 코디네이터 장치는, 연속적으로 생성되어 전송되는 로그 데이터 스트림은, 각 로그 데이터 스트림이 생성된 기준 시간대별로 구분되는 스트림 ID를 포함시켜 전송하고, 하나 이상의 데이터 수집부를 통해 실시간 로그 데이터 스트림을 수신하여 저장하는데 있어서, 상기 스트림 ID를 기준으로 특정 기준 시간대의 로그 데이터 스트림의 수신 여부를 판단하여 통계 데이터 산출을 위한 분석 시점을 제어함으로써, 연속적으로 생성된 로그 데이터 스트림을 지연 없이 실시간으로 분석하여 기준시간대별 통계 데이터를 생성할 수 있다.
100: 실시간 데이터 분석 시스템
110: 데이터 수집부
120: 버퍼링부
130: 데이터 분석부
140: 분석 코디네이터 장치
110: 데이터 수집부
120: 버퍼링부
130: 데이터 분석부
140: 분석 코디네이터 장치
Claims (13)
- 하나 이상의 데이터 수집부, 하나 이상의 버퍼링부 및 하나 이상의 데이터 분석부를 통해서 실시간으로 생성되는 복수의 로그 데이터 스트림을 처리하는 실시간 데이터 분석 시스템에서의 데이터 처리 방법에 있어서,
분산 코디네이터가 기준 시간대 별로 구분되는 스트림 ID를 포함하는 복수의 로그 데이터 스트림을 수집하여 하나 이상의 버퍼링부에 저장하는 상기 하나 이상의 데이터 수집부로부터 상기 스트림 ID의 수신 정보를 수집하는 제1 수집 단계; 및
수집 결과, 하나 이상의 데이터 수집부 모두가 특정 스트림 ID를 수신한 경우, 상기 분산 코디네이터가 상기 하나 이상의 데이터 분석부로 상기 특정 스트림 ID에 대응하는 기준 시간대의 로그 데이터 스트림에 대한 분석 시작을 지시하는 단계를 포함하는 것을 특징으로 하는 실시간 데이터 분석 시스템의 데이터 처리 방법. - 제1항에 있어서,
상기 분산 코디네이터가 상기 하나 이상의 버퍼링부로부터 로그 데이터 스트림을 읽어와 연속적으로 분석하는 상기 하나 이상의 데이터 분석부로부터 상기 특정 스트림 ID의 수신 정보를 수집하는 제2 수집 단계; 및
수집 결과, 상기 하나 이상의 데이터 분석부 모두가 특정 스트림 ID를 수신한 경우, 상기 특정 스트림 ID에 대응하는 특정 시간 대의 로그 데이터 스트림의 분석이 완료된 것으로 판단하는 단계를 더 포함하는 것을 특징으로 하는 실시간 데이터 분석 시스템의 데이터 처리 방법. - 제1항에 있어서,
상기 스트림 ID는 해당 기준 시간대에 생성된 로그 데이터 스트림의 마지막에 배치되는 것을 특징으로 하는 실시간 데이터 분석 시스템의 데이터 처리 방법. - 제2항에 있어서, 상기 제1 수집 단계 및 제2 수집 단계는
상기 하나 이상의 데이터 수집부 및 하나 이상의 데이터 분석부 중 마스터 데이터 수집부 및 마스터 데이터 분석부를 설정하고,
설정된 마스터 데이터 수집부 또는 마스터 데이터 분석부를 통해서 스트림 ID의 수신 정보를 수집하는 것을 특징으로 하는 실시간 데이터 분석 시스템의 데이터 처리 방법. - 제2항에 있어서, 상기 제2 수집 단계는
상기 하나 이상의 데이터 분석부에 포함된 분석 토폴로지 중 상기 하나 이상의 버퍼링부로부터 로그 데이터 스트림을 읽어오는 실시간 입력 데몬으로부터 상기 스트림 ID의 수신 정보를 수집하는 것을 특징으로 하는 실시간 데이터 분석 시스템의 데이터 처리 방법. - 하나 이상의 데이터 수집부, 하나 이상의 버퍼링부 및 하나 이상의 데이터 분석부를 통해서 실시간으로 생성되는 복수의 로그 데이터 스트림을 분산 및 병렬 처리하는 실시간 데이터 분석 시스템의 분석 코디네이터 장치에 있어서,
기준 시간대 별로 구분되는 스트림 ID를 포함하는 복수의 로그 데이터 스트림을 수집하는 상기 하나 이상의 데이터 수집부로부터 수집된 스트림 ID 별 수신 정보를 기록하는 저장 모듈; 및
상기 저장 모듈에 기록된 스트림 ID별 수신 정보를 기반으로, 하나 이상의 데이터 수집부 모두가 특정 스트림 ID를 수신한 경우, 상기 하나 이상의 데이터 분석부로 상기 특정 스트림 ID을 포함하는 로그 데이터 스트림에 대한 분석 시작을 지시하는 데이터 처리 제어 모듈;
을 포함하는 실시간 데이터 분석 시스템의 분석 코디네이터 장치. - 제6항에 있어서,
상기 저장 모듈은 상기 하나 이상의 버퍼링부로부터 로그 데이터 스트림을 읽어와 분석 처리하는 하나 이상의 데이터 분석부로부터 수집된 상기 특정 스트림 ID의 수신 정보를 더 기록하는 것을 특징으로 하는 실시간 데이터 분석 시스템의 분석 코디네이터 장치. - 제7항에 있어서,
상기 데이터 처리 제어 모듈은 상기 하나 이상의 데이터 분석부로부터 수집된 상기 특정 스트림 ID의 수신 정보를 기반으로 상기 특정 스트림 ID를 포함하는 로그 데이터 스트림에 대한 분석 완료를 판단하는 것을 특징으로 하는 실시간 데이터 분석 시스템의 분석 코디네이터 장치. - 제6항에 있어서,
상기 하나 이상의 데이터 수집부 및 하나 이상의 데이터 분석부 중 마스터 데이터 수집부 및 마스터 데이터 분석부를 설정하는 마스터 관리 모듈을 더 포함하고,
상기 저장 모듈은 상기 마스터 관리 모듈에 의해 설정된 마스터 데이터 수집부 및 마스터 데이터 분석부를 통해서 스트림 ID의 수신 정보를 기록하는 것을 특징으로 하는 실시간 데이터 분석 시스템의 분석 코디네이터 장치. - 제6항에 있어서,
상기 저장 모듈에 기록된 정보를 클러스터로 연결된 하나 이상의 다른 분석 코디네이터 장치와 동기화시키는 동기화 모듈을 더 포함하는 것을 특징으로 하는 실시간 데이터 분석 시스템의 분석 코디네이터 장치. - 하나 이상의 데이터 수집부, 하나 이상의 버퍼링부 및 하나 이상의 데이터 분석부를 통해서 실시간으로 생성되는 복수의 로그 데이터 스트림을 처리하는 실시간 데이터 분석 시스템의 실시간 데이터 분석 방법에 있어서,
상기 하나 이상의 데이터 수집부가 기준 시간 대별로 구분되는 스트림 ID를 포함하는 복수의 로그 데이터 스트림을 순차적으로 수신하여 상기 하나 이상의 버퍼링부에 분산 저장하는 단계;
상기 하나 이상의 데이터 수집부가 상기 로그 데이터 스트림의 수신 중에 특정 스트림 ID를 수신하면, 상기 특정 스트림 ID의 수신 정보를 분석 코디네이터에 통지하는 단계;
상기 하나 이상의 데이터 분석부가, 하나 이상의 데이터 수집부 모두로부터 특정 스트림 ID의 수신 정보를 수신한 분석 코디네이터로부터 특정 스트림 ID에 대응하는 로그 데이터 스트림의 분석 시작을 지시 받는 단계;
상기 하나 이상의 데이터 분석부가, 상기 하나 이상의 버퍼링부에 분산 저장된 특정 스트림 ID을 포함하는 복수의 로그 데이터 스트림을 순차적으로 읽어와 분석 처리하여 통계 데이터를 산출하는 단계
를 포함하는 것을 특징으로 하는 실시간 데이터 분석 시스템의 실시간 데이터 분석 방법. - 제11항에 있어서,
상기 하나 이상의 데이터 수집부 중 설정된 마스터 데이터 수집부가 상기 하나 이상의 데이터 수집부들의 특정 스트림 ID 수신 여부를 확인하여, 모두 특정 스트림 ID를 수신한 경우, 상기 분석 코디네이터에 상기 특정 스트림 ID에 대응하는 로그 데이터의 분석 시작을 의미하는 제1 플래그를 기록하는 단계를 더 포함하는 것을 특징으로 하는 실시간 데이터 분석 시스템의 실시간 데이터 분석 방법. - 제12항에 있어서,
상기 하나 이상의 데이터 분석부 중 설정된 마스터 데이터 분석부가 상기 하나 이상의 데이터 분석부들의 특정 스트림 ID 수신 여부를 확인하여, 모두 특정 스트림 ID를 수신한 경우, 상기 분석 코디네이터에 상기 특정 스트림 ID에 대응하는 로그 데이터의 분석 완료를 의미하는 제2 플래그를 기록하는 단계를 더 포함하는 것을 특징으로 하는 실시간 데이터 분석 시스템의 실시간 데이터 분석 방법.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020140025942A KR101476632B1 (ko) | 2014-03-05 | 2014-03-05 | 실시간 데이터 분석 시스템의 데이터 처리 방법 및 분석 코디네이터 장치 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020140025942A KR101476632B1 (ko) | 2014-03-05 | 2014-03-05 | 실시간 데이터 분석 시스템의 데이터 처리 방법 및 분석 코디네이터 장치 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR101476632B1 true KR101476632B1 (ko) | 2014-12-30 |
Family
ID=52679969
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020140025942A Active KR101476632B1 (ko) | 2014-03-05 | 2014-03-05 | 실시간 데이터 분석 시스템의 데이터 처리 방법 및 분석 코디네이터 장치 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR101476632B1 (ko) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105049287A (zh) * | 2015-07-28 | 2015-11-11 | 小米科技有限责任公司 | 日志处理方法及装置 |
| CN105577431A (zh) * | 2015-12-11 | 2016-05-11 | 青岛云成互动网络有限公司 | 一种基于互联网应用的用户信息识别分类方法和系统 |
| KR20170115859A (ko) | 2016-04-08 | 2017-10-18 | 한국전자통신연구원 | 규칙 기반 실시간 데이터 스트림 처리 방법 및 장치 |
| KR101820521B1 (ko) * | 2016-02-16 | 2018-01-19 | 주식회사 이롬테크놀로지 | 실시간 읽기 방법 및 그 장치 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20070015808A (ko) * | 2005-08-01 | 2007-02-06 | 서울통신기술 주식회사 | 네트워크의 트래픽 제어방법 |
| KR20080099042A (ko) * | 2007-05-08 | 2008-11-12 | 에스케이 텔레콤주식회사 | 무선 인터넷 데이터 서비스의 데이터 트래픽 패턴을수집하는 방법 및 서버 |
-
2014
- 2014-03-05 KR KR1020140025942A patent/KR101476632B1/ko active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20070015808A (ko) * | 2005-08-01 | 2007-02-06 | 서울통신기술 주식회사 | 네트워크의 트래픽 제어방법 |
| KR20080099042A (ko) * | 2007-05-08 | 2008-11-12 | 에스케이 텔레콤주식회사 | 무선 인터넷 데이터 서비스의 데이터 트래픽 패턴을수집하는 방법 및 서버 |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105049287A (zh) * | 2015-07-28 | 2015-11-11 | 小米科技有限责任公司 | 日志处理方法及装置 |
| CN105577431A (zh) * | 2015-12-11 | 2016-05-11 | 青岛云成互动网络有限公司 | 一种基于互联网应用的用户信息识别分类方法和系统 |
| KR101820521B1 (ko) * | 2016-02-16 | 2018-01-19 | 주식회사 이롬테크놀로지 | 실시간 읽기 방법 및 그 장치 |
| KR20170115859A (ko) | 2016-04-08 | 2017-10-18 | 한국전자통신연구원 | 규칙 기반 실시간 데이터 스트림 처리 방법 및 장치 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11438781B2 (en) | Contextual quality of user experience analysis using equipment dynamics | |
| CN110312279B (zh) | 一种网络数据的监测方法及装置 | |
| US10237144B2 (en) | Quality of user experience analysis | |
| JP5430744B2 (ja) | 通信システムのリアルタイムの性能および負荷統計のためのシステムならびに方法 | |
| US10412550B2 (en) | Remote driving of mobile device diagnostic applications | |
| KR101503680B1 (ko) | 네트워크 분석을 위한 방법 및 장치 | |
| US11929938B2 (en) | Evaluating overall network resource congestion before scaling a network slice | |
| EP3304818B1 (en) | Quality of user experience analysis using echo locate | |
| CN113924800B (zh) | 提供信息 | |
| US20160381662A1 (en) | Mobility Network Function Consolidation | |
| CN113630794A (zh) | 多媒体广播多播服务中的测量 | |
| Raza et al. | Rethinking LTE network functions virtualization | |
| KR101533719B1 (ko) | 스트리밍 기반의 실시간 데이터 분석 장치 및 방법 | |
| KR101476632B1 (ko) | 실시간 데이터 분석 시스템의 데이터 처리 방법 및 분석 코디네이터 장치 | |
| US20150163104A1 (en) | Sketch Based Monitoring of a Communication Network | |
| EP3398368A1 (en) | Contextual quality of user experience analysis using equipment dynamics | |
| CN113596932B (zh) | 信息提供、生成、目标基站确定方法及设备、介质 | |
| EP3383086B1 (en) | Detecting and reporting the impact of handovers on subscriber quality of experience | |
| US10530823B2 (en) | Network stream processing to ensuring a guarantee that each record is accounted for exactly once | |
| KR20160068448A (ko) | 무선 통신 시스템에서 전송 계층의 속도를 제어하기 위한 장치 및 방법 | |
| EP3210340A1 (en) | Distributed trace of network procedures for network elements in cloud deployment | |
| US10798019B2 (en) | Context information processor, profile distribution unit and method for a communication network | |
| CN118828570A (zh) | 基于微服务的业务测试方法、装置、电子设备和存储介质 | |
| CN116846771A (zh) | 业务操作方法、装置、终端及可读存储介质 | |
| US10812601B2 (en) | Method and system for signaling and radio connection optimization over a cellular network |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PA0109 | Patent application |
Patent event code: PA01091R01D Comment text: Patent Application Patent event date: 20140305 |
|
| PA0201 | Request for examination | ||
| E701 | Decision to grant or registration of patent right | ||
| PE0701 | Decision of registration |
Patent event code: PE07011S01D Comment text: Decision to Grant Registration Patent event date: 20141213 |
|
| GRNT | Written decision to grant | ||
| PR0701 | Registration of establishment |
Comment text: Registration of Establishment Patent event date: 20141219 Patent event code: PR07011E01D |
|
| PR1002 | Payment of registration fee |
Payment date: 20141219 End annual number: 3 Start annual number: 1 |
|
| PG1601 | Publication of registration | ||
| PR1001 | Payment of annual fee |
Payment date: 20200928 Start annual number: 7 End annual number: 7 |
|
| PR1001 | Payment of annual fee |
Payment date: 20240919 Start annual number: 11 End annual number: 11 |