KR20150033453A - 빅데이터 처리 방법, 이를 수행하는 빅데이터 처리 장치 및 이를 저장하는 기록매체 - Google Patents
빅데이터 처리 방법, 이를 수행하는 빅데이터 처리 장치 및 이를 저장하는 기록매체 Download PDFInfo
- Publication number
- KR20150033453A KR20150033453A KR20130113502A KR20130113502A KR20150033453A KR 20150033453 A KR20150033453 A KR 20150033453A KR 20130113502 A KR20130113502 A KR 20130113502A KR 20130113502 A KR20130113502 A KR 20130113502A KR 20150033453 A KR20150033453 A KR 20150033453A
- Authority
- KR
- South Korea
- Prior art keywords
- icon
- workflow
- action
- syntax
- icons
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Ceased
Links
- 238000012545 processing Methods 0.000 title claims abstract description 75
- 238000000034 method Methods 0.000 title claims abstract description 45
- 230000001419 dependent effect Effects 0.000 claims abstract description 10
- 125000002015 acyclic group Chemical group 0.000 claims abstract description 9
- 241000208140 Acer Species 0.000 claims description 22
- 238000013507 mapping Methods 0.000 claims description 19
- 238000012546 transfer Methods 0.000 claims description 9
- 238000003672 processing method Methods 0.000 claims description 8
- 238000005111 flow chemistry technique Methods 0.000 claims description 7
- 230000033001 locomotion Effects 0.000 claims description 6
- 238000004458 analytical method Methods 0.000 claims description 5
- 238000012544 monitoring process Methods 0.000 claims description 4
- 238000004590 computer program Methods 0.000 claims description 3
- 230000005856 abnormality Effects 0.000 claims 1
- 238000010586 diagram Methods 0.000 description 6
- 230000002159 abnormal effect Effects 0.000 description 5
- 230000014509 gene expression Effects 0.000 description 5
- 238000012986 modification Methods 0.000 description 5
- 230000004048 modification Effects 0.000 description 5
- 238000013461 design Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F8/00—Arrangements for software engineering
- G06F8/30—Creation or generation of source code
- G06F8/34—Graphical or visual programming
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/18—File system types
- G06F16/182—Distributed file systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
- G06F3/04817—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
- G06Q10/063—Operations research, analysis or management
- G06Q10/0633—Workflow analysis
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Business, Economics & Management (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Human Resources & Organizations (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- Economics (AREA)
- Entrepreneurship & Innovation (AREA)
- Strategic Management (AREA)
- Marketing (AREA)
- Operations Research (AREA)
- Educational Administration (AREA)
- Development Economics (AREA)
- Game Theory and Decision Science (AREA)
- General Business, Economics & Management (AREA)
- Tourism & Hospitality (AREA)
- Quality & Reliability (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Human Computer Interaction (AREA)
- Mathematical Physics (AREA)
- User Interface Of Digital Computer (AREA)
- Stored Programmes (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
본 발명은 빅데이터 처리 방법에 관한 것으로, 팔레트에서 복수의 액션 아이콘들과 상기 복수의 액션 아이콘들에 대한 비순환적인 순서를 나타내는 복수의 플로우 아이콘들을 배치하여 워크플로우를 작성하는 단계, 상기 배치된 복수의 액션 아이콘들 및 해당 액션 아이콘에 종속적인 플로우 아이콘에 대한 구문을 체크하는 단계 및 특정 액션 아이콘에서 구문 이상이 발생하면 상기 특정 액션 아이콘에 대한 구문 오류를 표시하는 알림 배지를 그래픽적으로 생성하는 단계를 포함한다. 따라서 하둡을 사용하여 비정형적인 빅데이터 처리를 위한 워크플로우를 효율적으로 관리할 수 있다.
Description
본 발명은 빅데이터 처리 기술에 관한 것으로, 보다 상세하게는, 하둡을 사용하여 비정형적인 빅데이터 처리를 위한 워크플로우를 효율적으로 관리할 수 있는 빅데이터 처리 방법, 이를 수행하는 빅데이터 처리 장치 및 이를 저장하는 기록매체에 관한 것이다.
빅데이터는 디지털 환경에서 생성되는 데이터로 그 규모가 방대하고 수치 데이터뿐 아니라 문자와 영상 데이터를 포함하는 대규모 데이터를 말한다. 하둡은 이러한 빅데이터를 처리할 수 있도록 분산 프로그램을 지원하는 자바 기반의 플랫폼이다. 하둡은 처리된 빅데이터를 저장하기 위한 하둡 분산 파일 시스템(HDFS: Hadoop Distributed File System)을 포함하고, 분산 저장된 데이터들은 맵리듀스(MapReduce)를 통해 병렬 처리된다.
한국등록특허 제10-1218087호는 고정된 길이의 데이터 레코드 블록을 갖는 바이너리 데이터를 하둡 분산처리 시스템에서 효과적으로 처리할 수 있는 하둡 맵리듀스에서 바이너리 형태의 데이터 분석을 위한 입력포맷 추출 방법 및 이를 이용한 바이너리 데이터의 분석 방법을 개시한다. 입력포맷 추출 방법은 고정길이의 바이너리 데이터를 하둡 환경에서 다른 형태의 데이터에 비해 적은 저장 공간을 요하며 빠른 처리 속도를 가능하게 할 수 있다.
한국공개특허 제10-2012-0085400호는 하둡(Hadoop)이라는 오픈 소스 분산 시스템을 통해 네트워크 상에서 수집되는 대량의 패킷을 각 클러스터 노드에서 병렬로 처리할 수 있도록 구현한 하둡 기반 병렬 연산에 의한 패킷 분석 시스템 및 방법을 개시한다. 이러한 패킷 분석 방법은 다수의 서버에서 패킷 분석을 병렬연산에 의해 수행하기 때문에 성능이 우수한 고가의 서버를 요하지 않아 비용 절감효과를 가져올 수 있다.
본 발명의 일 실시예는 하둡을 사용하여 비정형적인 빅데이터 처리를 위한 워크플로우를 효율적으로 관리할 수 있는 빅데이터 처리 방법을 제공하고자 한다.
본 발명의 일 실시예는 워크플로우 작성을 위해 제공되는 메타데이터의 구문 이상에 따라 알림 배지를 제공할 수 있는 빅데이터 처리 방법을 제공하고자 한다.
본 발명의 일 실시예는 잡 트래커로부터 액션 아이콘 실행에 대한 폴링으로 맵리듀스 처리 완료 시점을 제공할 수 있는 빅데이터 처리 방법을 제공하고자 한다.
실시예들 중에서, 빅데이터 처리 방법은 팔레트에서 복수의 액션 아이콘들과 상기 복수의 액션 아이콘들에 대한 비순환적인 순서를 나타내는 복수의 플로우 아이콘들을 배치하여 워크플로우를 작성하는 단계, 상기 배치된 복수의 액션 아이콘들 및 해당 액션 아이콘에 종속적인 플로우 아이콘에 대한 구문을 체크하는 단계 및 특정 아이콘에서 구문 이상이 발생하면 상기 특정 아이콘에 대한 구문 오류를 표시하는 알림 배지를 그래픽적으로 생성하는 단계를 포함한다.
일 실시예에서, 상기 워크플로우를 작성하는 단계는 한 쌍의 액션 아이콘들 간에 특정 플로우 아이콘이 배치될 때 상기 한 쌍의 액션 아이콘들에 대한 순차 처리 유효성을 체크하는 단계를 더 포함할 수 있다.
상기 워크플로우를 작성하는 단계는 상기 워크플로우에 있는 특정 액션 아이콘이 선택되면 아이콘 윈도우에서 상기 특정 액션 아이콘에 대한 메타데이터를 제공하는 단계 및 상기 메타데이터에 대한 순차적 실행 프로시저를 저장하는 단계를 더 포함할 수 있다. 상기 워크플로우를 작성하는 단계는 상기 특정 액션 아이콘에 대한 맵리듀스 작업과 연관된 하둡 설정 파라미터를 입력받는 단계를 더 포함할 수 있다.
상기 워크플로우를 작성하는 단계는 상기 특정 액션 아이콘에 대한 맵리듀스 작업과 연관된 입출력 하둡 분산 스토리지 위치를 설정하는 단계를 더 포함할 수 있다.
일 실시예에서, 상기 복수의 액션 아이콘들 중 일부는 빅데이터 처리 작업을 각각 포함하고, 상기 복수의 액션 아이콘들 중 나머지는 플로우 처리 작업을 각각 포함할 수 있다.
일 실시예에서, 상기 플로우 아이콘에 대한 구문을 체크하는 단계는 상기 배치된 복수의 액션 아이콘들 및 상기 종속적인 플로우 아이콘에서 사용될 실행 프로시저가 정의되었는지 또는 유효한지 여부를 체크하는 단계를 더 포함할 수 있다.
일 실시예에서, 상기 알림 배지를 그래픽적으로 생성하는 단계는 상기 특정 아이콘에 대한 구문 이상 유형을 결정하여 상기 구문 이상 유형에 해당하는 알림 배지를 결정하는 단계를 더 포함할 수 있다.
일 실시예에서, 상기 특정 아이콘에 대하여 팝업된 아이콘 윈도우의 움직임 속도에 따라 상기 아이콘 윈도우에 대한 투명도를 조절하는 단계를 더 포함할 수 있다.
일 실시예에서, 워크플로우 작업 환경에 포함된 작업 모니터링 메뉴를 통해 상기 작성된 워크플로우에 대한 처리 작업 정보를 제공하는 단계를 더 포함할 수 있다.
상기 워크플로우 작업 환경에 포함된 파일 메타데이터 메뉴를 통해 상기 복수의 액션 아이콘에 대한 워크플로우의 작성을 위한 메타데이터를 정의하는 단계를 더 포함할 수 있다.
상기 파일 메타데이터 메뉴에서 정의된 메타데이터의 변경 여부를 체크하는 단계 및 상기 메타데이터의 변경이 체크되면 상기 워크플로우 작업 환경에 포함된 메타데이터 영향도 분석 화면을 통해 상기 변경된 메타데이터와 관련된 워크플로우 목록을 제공하는 단계를 더 포함할 수 있다.
일 실시예에서, 상기 작성된 워크플로우에 대한 구문 체크가 완료되면 상기 워크플로우를 워크플로우 정의 문서로 변환하고 워크플로우 데이터베이스에 저장하는 단계를 더 포함할 수 있다.
상기 워크플로우 정의 문서를 실행코드로 변환하고, 상기 실행코드를 해석하여 액션 아이콘을 결정하는 단계 및 상기 결정된 액션 아이콘에 대한 실행코드를 잡 트래커에 전달하고 상기 결정된 액션 아이콘에 대한 실행 완료 여부를 전달받는 단계를 더 포함할 수 있다.
일 실시예에서, 상기 액션 아이콘에 대한 맵리듀스 처리가 완료되면 해당 맵리듀스 처리 결과를 맵리듀스 데이터베이스에 저장하는 단계를 더 포함할 수 있다.
실시예들 중에서, 빅데이터 처리 장치는 팔레트에서 복수의 액션 아이콘들과 상기 복수의 액션 아이콘들에 대한 비순환적인 순서를 나타내는 복수의 플로우 아이콘들을 배치하여 워크플로우를 작성하는 워크플로우 작성부, 상기 배치된 복수의 액션 아이콘들 및 해당 액션 아이콘에 종속적인 플로우 아이콘에 대한 구문을 체크하는 아이콘 구문 체크부 및 특정 아이콘에서 구문 이상이 발생하면 상기 특정 아이콘에 대한 구문 오류를 표시하는 알림 배지를 그래픽적으로 생성하는 알림 배지 생성부를 포함한다.
상기 복수의 액션 아이콘들 중 일부는 빅데이터 처리 작업을 각각 포함하고, 상기 복수의 액션 아이콘들 중 나머지는 플로우 처리 작업을 각각 포함할 수 있다.
일 실시예에서, 상기 특정 아이콘에 대하여 팝업된 아이콘 윈도우의 움직임 속도에 따라 상기 아이콘 윈도우에 대한 투명도를 조절하는 윈도우 투명도 조절부를 더 포함할 수 있다.
일 실시예에서, 상기 작성된 워크플로우에 대한 구문 체크가 완료되면 상기 워크플로우를 워크플로우 정의 문서로 변환하고 워크플로우 데이터베이스에 저장하는 워크플로우 데이터베이스 저장부를 더 포함할 수 있다.
상기 워크플로우 정의 문서를 실행코드로 변환하고, 상기 실행코드를 해석하여 액션 아이콘을 결정하고 상기 결정된 액션 아이콘에 대한 실행코드를 잡 트래커에 전달하고 상기 결정된 액션 아이콘에 대한 실행 완료 여부를 전달받는 실행 완료 전달부를 더 포함할 수 있다.
상기 액션 아이콘에 대한 맵리듀스 처리가 완료되면 해당 맵리듀스 처리 결과를 상기 워크플로우 데이터베이스에 저장하는 맵리듀스 데이터베이스 저장부를 더 포함할 수 있다.
실시예들 중에서, 빅데이터 처리 방법에 관한 컴퓨터 프로그램을 저장하는 기록매체는 빅데이터 처리 장치에서 수행되는 빅데이터 처리 방법에 관한 컴퓨터 프로그램을 저장하는 기록매체에 있어서, 팔레트에서 복수의 액션 아이콘들과 상기 복수의 액션 아이콘들에 대한 비순환적인 순서를 나타내는 복수의 플로우 아이콘들을 배치하여 워크플로우를 작성하는 기능, 상기 배치된 복수의 액션 아이콘들 및 해당 액션 아이콘에 종속적인 플로우 아이콘에 대한 구문을 체크하는 기능 및 특정 아이콘에서 구문 이상이 발생하면 상기 특정 아이콘에 대한 구문 오류를 표시하는 알림 배지를 그래픽적으로 생성하는 기능을 포함한다.
본 발명의 일 실시예에 따른 빅데이터 처리 방법은 하둡을 사용하여 비정형적인 빅데이터 처리를 위한 워크플로우를 효율적으로 관리할 수 있다.
본 발명의 일 실시예에 따른 빅데이터 처리 방법은 워크플로우 작성을 위해 제공되는 메타데이터의 구문 이상에 따라 알림 배지를 제공할 수 있다.
본 발명의 일 실시예에 따른 빅데이터 처리 방법은 잡 트래커로부터 액션 아이콘 실행에 대한 폴링으로 맵리듀스 처리 완료 시점을 제공할 수 있다.
도 1은 본 발명의 일 실시예에 따른 빅데이터 처리 시스템을 설명하는 블록도이다.
도 2는 도 1에 있는 빅데이터 처리 장치의 맵리듀스 인터페이스를 설명하는 블록도이다.
도 3은 도 1에 있는 빅데이터 처리 장치의 워크플로우 엔진을 설명하는 블록도이다.
도 4는 도 1에 있는 빅데이터 처리 장치에서 수행되는 빅데이터 처리 과정을 설명하는 순서도이다.
도 5는 도 1에 있는 빅데이터 처리 장치의 워크플로우 디자인 화면을 설명하는 도면이다.
도 6은 도 1에 있는 빅데이터 처리 장치의 워크플로우 디자인 화면에서 수행되는 아이콘 윈도우를 설명하는 도면이다.
도 7은 도 1에 있는 빅데이터 처리 장치의 작업 모니터링 메뉴를 설명하는 도면이다.
도 8은 도 1에 있는 빅데이터 처리 장치의 파일 메타데이터 메뉴를 설명하는 도면이다.
도 9는 도 1에 있는 빅데이터 처리 장치의 메타데이터 영향도 분석 화면을 설명하는 도면이다.
도 2는 도 1에 있는 빅데이터 처리 장치의 맵리듀스 인터페이스를 설명하는 블록도이다.
도 3은 도 1에 있는 빅데이터 처리 장치의 워크플로우 엔진을 설명하는 블록도이다.
도 4는 도 1에 있는 빅데이터 처리 장치에서 수행되는 빅데이터 처리 과정을 설명하는 순서도이다.
도 5는 도 1에 있는 빅데이터 처리 장치의 워크플로우 디자인 화면을 설명하는 도면이다.
도 6은 도 1에 있는 빅데이터 처리 장치의 워크플로우 디자인 화면에서 수행되는 아이콘 윈도우를 설명하는 도면이다.
도 7은 도 1에 있는 빅데이터 처리 장치의 작업 모니터링 메뉴를 설명하는 도면이다.
도 8은 도 1에 있는 빅데이터 처리 장치의 파일 메타데이터 메뉴를 설명하는 도면이다.
도 9는 도 1에 있는 빅데이터 처리 장치의 메타데이터 영향도 분석 화면을 설명하는 도면이다.
본 발명에 관한 설명은 구조적 내지 기능적 설명을 위한 실시예에 불과하므로, 본 발명의 권리범위는 본문에 설명된 실시예에 의하여 제한되는 것으로 해석되어서는 아니 된다. 즉, 실시예는 다양한 변경이 가능하고 여러 가지 형태를 가질 수 있으므로 본 발명의 권리범위는 기술적 사상을 실현할 수 있는 균등물들을 포함하는 것으로 이해되어야 한다. 또한, 본 발명에서 제시된 목적 또는 효과는 특정 실시예가 이를 전부 포함하여야 한다거나 그러한 효과만을 포함하여야 한다는 의미는 아니므로, 본 발명의 권리범위는 이에 의하여 제한되는 것으로 이해되어서는 아니 될 것이다.
한편, 본 출원에서 서술되는 용어의 의미는 다음과 같이 이해되어야 할 것이다.
"제1", "제2" 등의 용어는 하나의 구성요소를 다른 구성요소로부터 구별하기 위한 것으로, 이들 용어들에 의해 권리범위가 한정되어서는 아니 된다. 예를 들어, 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다.
“및/또는”의 용어는 하나 이상의 관련 항목으로부터 제시 가능한 모든 조합을 포함하는 것으로 이해되어야 한다. 예를 들어, “제1 항목, 제2 항목 및/또는 제3 항목”의 의미는 제1, 제2 또는 제3 항목뿐만 아니라 제1, 제2 또는 제3 항목들 중 2개 이상으로부터 제시될 수 있는 모든 항목의 조합을 의미한다.
어떤 구성요소가 다른 구성요소에 "연결되어"있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결될 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어"있다고 언급된 때에는 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다. 한편, 구성요소들 간의 관계를 설명하는 다른 표현들, 즉 "~사이에"와 "바로 ~사이에" 또는 "~에 이웃하는"과 "~에 직접 이웃하는" 등도 마찬가지로 해석되어야 한다.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한 복수의 표현을 포함하는 것으로 이해되어야 하고, "포함하다"또는 "가지다" 등의 용어는 실시된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이며, 하나 또는 그 이상의 다른 특징이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
각 단계들에 있어 식별부호(예를 들어, a, b, c 등)는 설명의 편의를 위하여 사용되는 것으로 식별부호는 각 단계들의 순서를 설명하는 것이 아니며, 각 단계들은 문맥상 명백하게 특정 순서를 기재하지 않는 이상 명기된 순서와 다르게 일어날 수 있다. 즉, 각 단계들은 명기된 순서와 동일하게 일어날 수도 있고 실질적으로 동시에 수행될 수도 있으며 반대의 순서대로 수행될 수도 있다.
본 발명은 컴퓨터가 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현될 수 있고, 컴퓨터가 읽을 수 있는 기록 매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다. 컴퓨터가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장 장치 등이 있으며, 또한, 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한, 컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산 방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.
여기서 사용되는 모든 용어들은 다르게 정의되지 않는 한, 본 발명이 속하는 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한 이상적이거나 과도하게 형식적인 의미를 지니는 것으로 해석될 수 없다.
도 1은 본 발명의 일 실시예에 따른 빅데이터 처리 시스템을 설명하는 블록도이다.
도 1을 참조하면, 빅데이터 처리 시스템은 빅데이터 처리 장치(100), 잡 트래커(200), 태스크 트래커(300) 및 하둡 분산 파일 시스템(400)을 포함한다.
빅데이터 처리 장치(100)는 빅데이터를 처리하기 위해 맵리듀스 인터페이스(110)에서 액션 아이콘과 플로우 아이콘을 캔버스(Canvas)에 배치하여 워크플로우를 작성하고, 작성된 워크플로우를 하둡 분산 파일 시스템(400)에 저장할 수 있다.
일 실시예에서, 빅데이터 처리 장치(100)는 워크플로우에 대한 맵리듀스 코드가 들어간 JAR(Java Archiver)파일과 입력 데이터 위치 또는 출력 데이터 위치 중 적어도 하나를 잡 트래커(200)에 입력하여 워크플로우의 실행을 요청할 수 있다.
빅데이터 처리 장치(100)는 잡 트래커(200)로부터 워크플로우에 대한 데이터 처리 진행 상태를 자동으로 전달받을 수 있다. 여기에서, 빅데이터 처리 장치(100)는 잡 트래커(200)에서 실행 완료된 워크플로우에 대한 맵리듀스 처리 결과를 하둡 분산 파일 시스템(400)에 저장할 수 있다.
잡 트래커(200)는 빅데이터 처리 장치(100)에서 워크플로우에 대한 맵리듀스 코드가 들어간 JAR(Java Archiver)파일과 입력 데이터 위치 또는 출력 데이터 위치 중 적어도 하나를 입력받아 작은 단위로 분할하여 적어도 하나의 태스크 트래커(300)에 할당할 수 있다.
태스크 트래커(300)는 잡 트래커(200)에서 입력받은 워크플로우에 대한 정보를 기초로 맵리듀스를 병렬로 처리할 수 있다. 여기에서, 태스크 트래커(300)는 일정 시간마다 잡 트래커(200)의 데이터 처리에 대한 진행 상태를 보고할 수 있다.
하둡 분산 파일 시스템(400)은 잡 트래커(200)에서 실행 완료된 맵리듀스 처리 결과를 저장할 수 있다.
도 2는 도 1에 있는 빅데이터 처리 장치의 맵리듀스 인터페이스를 설명하는 블록도이다.
도 2를 참조하면, 맵리듀스 인터페이스(110)는 워크플로우 작성부(111), 아이콘 구문 체크부(112), 알림 배지 생성부(113), 윈도우 투명도 조절부(114) 및 맵리듀스 제어부(115)를 포함한다.
워크플로우 작성부(111)는 팔레트에서 복수의 액션 아이콘들과 복수의 액션 아이콘들에 대한 비순환적인 순서를 나타내는 복수의 플로우 아이콘들을 배치하여 워크플로우를 작성한다.
일 실시예에서, 도 5에서, 워크플로우 작성부(111)는 워크플로우 화면(510)을 통해 팔레트(520)에서 복수의 액션 아이콘들 중 플로우 처리 작업(여기에서, 플로우 처리 작업은 하둡과 무관하게 빅데이터 처리 장치(100)에서 제공되는 연산에 해당할 수 있다.)을 각각 포함하는 제1 액션 아이콘들(521) 및 복수의 액션 아이콘들 중 빅데이터 처리 작업(여기에서, 빅데이터 처리 작업은 하둡 기반의 연산에 해당할 수 있다.)을 각각 포함하는 제2 액션 아이콘들(522)을 캔버스(550)에 배치할 수 있다.
일 실시예에서, 워크플로우 작성부(111)는 한 쌍의 액션 아이콘들 간에 특정 플로우 아이콘이 배치될 때 한 쌍의 액션 아이콘들에 대한 순차 처리 유효성을 체크할 수 있다. 예를 들어, 도 5에서, 워크플로우 작성부(111)는 Start 액션 아이콘(521-1)과 HDFSOutput 액션 아이콘(522-5)간에 플로우 아이콘(530)이 배치되면 Start 액션 아이콘(521-1)과 HDFSOutput 액션 아이콘(522-5) 간의 순차 처리 유효성을 부인할 수 있다. 여기에서, 워크플로우 작성부(111)는 HDFSOutput 액션 아이콘(522-5) 앞에 HDFSInput 액션 아이콘(522-1)이 존재해야 워크플로우의 순차 처리가 가능하기 때문에 HDFSInput 액션 아이콘(522-1)이 없는 Start 액션 아이콘(521-1)과 HDFSOutput 액션 아이콘(522-5) 간의 순차 처리 유효성을 부인할 수 있다.
다른 일 실시예에서, 워크플로우 작성부(111)는 특정 액션 아이콘에 대한 플로우 아이콘이 배치될 때 특정 액션 아이콘에 대한 플로우 아이콘의 개수를 체크할 수 있다. 예를 들어, 도 5에서, 워크플로우 작성부(111)는 제1 액션 아이콘(521)에 포함되는 Decision 액션 아이콘(521-3)에 대한 플로우 아이콘(530)의 개수를 체크하여 플로우 아이콘(530)의 개수가 2개이면 순차 처리가 가능하다고 판단할 수 있고 플로우 아이콘(530)의 개수가 2개가 아니면 순차 처리가 불가능하다고 판단할 수 있다.
워크플로우 작성부(111)는 워크플로우에 있는 특정 액션 아이콘이 선택되면 아이콘 윈도우에서 특정 액션 아이콘에 대한 메타데이터를 설정할 수 있다. 여기에서 설정된 메타데이터는 워크플로우 엔진(120)에서 빅데이터 처리시 참조될 수 있다.
일 실시예에서, 워크플로우 작성부(111)는 특정 액션 아이콘이 선택되면 아이콘 윈도우에서 제공되는 입력 메타데이터에 대한 출력 메타데이터의 정보를 입력받을 수 있다. 예를 들어, 도 6a에서, 워크플로우 작성부(111)는 Aggregate 액션 아이콘이 선택되면 아이콘 윈도우의 Aggregate 탭(610)에서 Aggregate 액션 아이콘에 대한 맵리듀스 입력 파라미터를 설정하기 위한 입력 메타데이터(611)를 제공하고 출력 메타데이터(612)에 대한 연산, 표현식 및 실행 순서를 입력받을 수 있다.
워크플로우 작성부(111)는 특정 액션 아이콘에 대한 맵리듀스 작업과 연관된 하둡 설정 파라미터를 입력받을 수 있다. 예를 들어, 도 6b에서, 워크플로우 작성부(111)는 Aggregate 액션 아이콘이 선택되면 아이콘 윈도우의 Hadoop Configuration 탭(620)에서 맵리듀스 작업의 작동 방식을 설정하기 위한 키(621)와 값을 입력받을 수 있다. 여기에서, 키(621)는 하둡에서 정의한 명칭을 사용할 수 있다.
워크플로우 작성부(111)는 특정 액션 아이콘에 대한 맵리듀스 작업과 연관된 입출력 하둡 분산 스토리지 위치를 설정할 수 있다. 예를 들어, 도 6c에서, 워크플로우 작성부(111)는 Aggregate 액션 아이콘이 선택되면 아이콘 윈도우의 In/Out 탭(630)에서 맵리듀스 작업의 입출력 디렉터리를 설정하기 위한 입력 정보(631)로 입력받을 특정 액션 아이콘(여기에서, Expression) 이름과 입력 하둡 분산 스토리지 위치를 입력받고 출력 정보(632)로 출력 하둡 분산 스토리지 위치를 입력받을 수 있다.
아이콘 구문 체크부(112)는 배치된 복수의 액션 아이콘들 및 해당 액션 아이콘에 종속적인 플로우 아이콘에 대한 구문을 체크한다.
일 실시예에서, 아이콘 구문 체크부(112)는 배치된 복수의 액션 아이콘들 및 종속적인 플로우 아이콘에서 사용될 실행 프로시저가 정의되었는지 또는 유효한지 여부를 체크할 수 있다. 예를 들어, 실행 프로시저는 도 6a에서 출력 메타데이터(612)에 해당할 수 있고 유효 여부는 도 6a에서 출력 메타데이터(612)에 대한 연산 및 표현식이 제대로 입력되었는지 체크하여 결정될 수 있다.
알림 배지 생성부(113)는 특정 아이콘에서 구문 이상이 발생하면 특정 아이콘에 대한 구문 오류를 표시하는 알림 배지를 그래픽적으로 생성한다.
일 실시예에서, 알림 배지 생성부(113)는 특정 아이콘에 대한 구문 이상 유형을 결정하여 구문 이상 유형에 해당하는 알림 배지를 결정할 수 있다. 예를 들어, 도 5에서, 알림 배지 생성부(113)는 Aggregate 액션 아이콘(522-3)에 입력된 구문에 오류(예를 들어, 구문 오류는 오타, 매뉴얼에 없는 값 중 적어도 하나에 해당할 수 있다.)가 있으면 ⓥ 알림 배지(540-1)를 Aggregate 액션 아이콘(522-3)의 우측 하단에 생성할 수 있고, Relocate 액션 아이콘(522-4)의 구문 입력 항목에 구문이 입력되지 않았으면 ⓧ 알림 배지(540-2)를 Relocate 액션 아이콘(522-4)의 우측 하단에 생성할 수 있다.
알림 배지 생성부(113)는 특정 아이콘에서 구문 이상이 발생하면 특정 아이콘에 대한 구문 오류를 표시하도록 특정 아이콘의 아이콘 기준 색상과 다른 색상을 그래픽적으로 생성할 수 있다. 예를 들어, 알림 배지 생성부(113)는 특정 아이콘에서 구문 이상(예를 들어, 구문 이상은 오타, 매뉴얼에 없는 값 중 적어도 하나에 해당할 수 있다.)이 발생하면 특정 아이콘의 아이콘 기준 색상(하얀색)과 다른 주황색 색상을 생성할 수 있고, 특정 아이콘에서 구문 미입력이 발생하면 특정 아이콘의 아이콘 기준 색상(하얀색)과 다른 빨간색 색상을 생성할 수 있다.
윈도우 투명도 조절부(114)는 특정 아이콘에 대하여 팝업된 아이콘 윈도우의 움직임 속도에 따라 아이콘 윈도우에 대한 투명도를 조절한다.
일 실시예에서, 윈도우 투명도 조절부(114)는 특정 아이콘에 대하여 팝업된 아이콘 윈도우의 움직임 속도가 느리면 아이콘 윈도우에 대한 투명도를 높일 수 있다. 여기에서, 윈도우 투명도 조절부(114)는 아이콘 윈도우에 대한 투명도를 높여 아이콘 윈도우의 뒤에 위치한 액션 아이콘 및 플로우 아이콘이 보이도록 할 수 있다.
다른 일 실시예에서, 윈도우 투명도 조절부(114)는 특정 아이콘에 대하여 팝업된 아이콘 윈도우의 움직임 속도가 빠르면 아이콘 윈도우에 대한 투명도를 낮출 수 있다.
맵리듀스 제어부(115)는 맵리듀스 인터페이스(110)의 전체적인 동작을 제어하고, 워크플로우 작성부(111), 아이콘 구문 체크부(112), 알림 배지 생성부(113) 및 윈도우 투명도 조절부(114) 간의 제어 흐름 또는 데이터 흐름을 제어할 수 있다.
도 3은 도 1에 있는 빅데이터 처리 장치의 워크플로우 엔진을 설명하는 블록도이다.
도 3을 참조하면, 워크플로우 엔진(120)은 워크플로우 데이터베이스 저장부(121), 실행 완료 전달부(122), 맵리듀스 데이터베이스 저장부(123) 및 엔진 제어부(124)를 포함한다.
워크플로우 데이터베이스 저장부(121)는 맵리듀스 인터페이스(110)에서 작성된 워크플로우에 대한 구문 체크가 완료되면 워크플로우를 저장한다.
일 실시예에서, 워크플로우 데이터베이스 저장부(121)는 맵리듀스 인터페이스(110)에서 워크플로우에 대한 구문 체크 및 구문 수정이 완료되면 워크플로우 정의 문서 및 워크플로우에 대한 명칭, 생성 일자, 경로 등을 테이블 형태로 저장할 수 있다.
실행 완료 전달부(122)는 작성된 워크플로우를 해석하여 액션 아이콘을 결정하고 결정된 액션 아이콘의 맵리듀스를 잡 트래커에 전달하여 결정된 액션 아이콘에 대한 실행 완료 여부를 전달받는다.
맵리듀스 데이터베이스 저장부(123)는 특정 액션 아이콘에 대한 맵리듀스 처리가 완료되면 해당 맵리듀스 처리 결과에 대한 메타데이터를 저장한다.
엔진 제어부(124)는 워크플로우 엔진(120)의 전체적인 동작을 제어하고, 워크플로우 데이터베이스 저장부(121), 실행 완료 전달부(122) 및 맵리듀스 데이터베이스 저장부(123) 간의 제어 흐름 또는 데이터 흐름을 제어할 수 있다.
도 4는 도 1에 있는 빅데이터 처리 장치에서 수행되는 빅데이터 처리 과정을 설명하는 순서도이다.
도 4를 참조하면, 워크플로우 작성부(111)는 팔레트에서 복수의 액션 아이콘들과 복수의 액션 아이콘들에 대한 비순환적인 순서를 나타내는 복수의 플로우 아이콘들을 배치하여 워크플로우를 작성한다(단계 S401).
일 실시예에서, 도 5에서, 워크플로우 작성부(111)는 팔레트(520)에서 복수의 액션 아이콘들 중 플로우 처리 작업을 각각 포함하는 제1 액션 아이콘들(521) 및 복수의 액션 아이콘들 중 빅데이터 처리 작업을 각각 포함하는 제2 액션 아이콘들(522)을 캔버스(550)에 배치할 수 있다. 예를 들어, 도 5에서, 워크플로우 작성부(111)는 제1 액션 아이콘(521)에 포함되는 Start 액션 아이콘(521-1) 및 End 액션 아이콘(521-2)을 캔버스(550)에 배치하여 워크플로우의 시작과 끝을 설정할 수 있다. 워크플로우 작성부(111)는 캔버스(550)에 배치된 Start 액션 아이콘(521-1) 및 End 액션 아이콘(521-2) 사이에 HDFSInput 액션 아이콘(522-1), Expression 액션 아이콘(522-2), Aggregate 액션 아이콘(522-3), Decision 액션 아이콘(521-3), Relocate 액션 아이콘(522-4) 및 HDFSOutput 액션 아이콘(522-5)을 캔버스(550)에 순차적으로 배치하여 비순환적인 플로우 아이콘(530)을 통해 제1 및 제2 액션 아이콘들(521-1, 522-1, 522-2, 522-3, 521-3, 522-4, 522-5 및 521-2)을 연결할 수 있다.
일 실시예에서, 워크플로우 작성부(111)는 워크플로우에 있는 특정 액션 아이콘이 선택되면 아이콘 윈도우에서 특정 액션 아이콘에 대한 메타데이터를 제공하여 메타데이터에 대한 순차적 실행 프로시저를 저장할 수 있다.
다른 일 실시예에서, 워크플로우 작성부(111)는 특정 액션 아이콘에 대한 맵리듀스 작업과 연관된 하둡 설정 파라미터를 입력받을 수 있다.
또 다른 실시예에서, 워크플로우 작성부(111)는 특정 액션 아이콘에 대한 맵리듀스 작업과 연관된 입출력 하둡 분산 스토리지 위치를 설정할 수 있다.
아이콘 구문 체크부(112)는 배치된 복수의 액션 아이콘들 및 해당 액션 아이콘에 종속적인 플로우 아이콘에 대한 구문을 체크한다(단계 S402).
알림 배지 생성부(113)는 특정 아이콘에서 구문 이상이 발생하면 특정 아이콘에 대한 구문 오류를 표시하는 알림 배지를 생성한다(단계 S403 및 단계 S404).
아이콘 구문 체크부(112)는 특정 아이콘에서 발생된 구문 이상에 대한 수정이 완료되었는지 확인하고 수정이 완료되었으면 워크플로우 데이터베이스 저장부(121)에 완료 메시지를 전달하고 하고 수정이 완료되지 않았으면 알림 배지 생성부(113)에서 계속적으로 알림 배지를 생성하도록 한다(단계 S404 및 단계 S405).
워크플로우 데이터베이스 저장부(121)는 맵리듀스 인터페이스(110)에서 작성된 워크플로우에 대한 구문 체크가 완료되면 해당 워크플로우를 워크플로우 정의 문서로 변환하고 데이터베이스에 저장한다(단계 S406 및 단계 S407).
엔진 제어부(124)는 워크플로우 데이터베이스 저장부(121)에서 가져온 워크플로우 정의 문서를 실행코드로 변환한다 (단계 S408).
실행 완료 전달부(122)는 실행코드를 해석하여 액션 아이콘을 결정하고 결정된 액션 아이콘을 잡 트래커에 전달하여 결정된 액션 아이콘에 대한 실행 완료 여부를 전달받는다(단계 S409 및 단계 S410).
맵리듀스 데이터베이스 저장부(123)는 특정 액션 아이콘에 대한 맵리듀스 처리가 완료되면 해당 맵리듀스 처리 결과에 대한 메타데이터를 저장한다(단계 S411 및 단계 S412).
한편, 빅데이터 처리 장치(100)는 워크플로우 작업 환경에 포함된 작업 모니터링 메뉴를 통해 작성된 워크플로우에 대한 처리 작업 정보를 제공할 수 있다. 예를 들어, 도 7에서, 빅데이터 처리 장치(100)는 작업 모니터링 메뉴(710)를 통해 작성된 워크플로우에 대한 아이디, 상태(SUCCEEDED/KILLED), 시작시간, 종료시간, 생성시간 또는 최근 변경시간 중 적어도 하나를 제공할 수 있다.
빅데이터 처리 장치(100)는 워크플로우 작업 환경에 포함된 파일 메타데이터 메뉴에서 복수의 액션 아이콘에 대한 워크플로우 작성을 위한 메타데이터를 정의할 수 있다. 예를 들어, 도 8에서, 빅데이터 처리 장치(100)는 파일 메타데이터 메뉴(810)를 통해 액션 아이콘이 처리할 빅데이터의 메타데이터에 대한 속성값(컬럼 영문명, 고유 유형, 기본키(Primary Key) 여부 등)을 정의할 수 있다.
빅데이터 처리 장치(100)는 파일 메타데이터 메뉴에서 정의된 메타데이터의 변경 여부를 체크하고 메타데이터가 변경되면 메타데이터 영향도 분석 화면을 통해 변경된 메타데이터와 관련된 워크플로우 목록을 제공할 수 있다. 예를 들어, 도 9에서, 빅데이터 처리 장치(100)는 메타데이터가 변경되면 영향도 분석 화면(910)을 통해 변경된 메타데이터를 포함하고 있는 워크플로우들에 대한 명칭, 경로, 입력 메타데이터(911) 또는 출력 메타데이터(912) 중 적어도 하나를 제공할 수 있다.
상기에서는 본 출원의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 출원을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.
100: 빅데이터 처리 장치
110: 맵리듀스 인터페이스
111: 워크플로우 작성부 112: 아이콘 구문 체크부
113: 알림 배지 생성부 114: 윈도우 투명도 조절부
115: 맵리듀스 제어부
120: 워크플로우 엔진
121: 워크플로우 데이터베이스 저장부
122: 실행 완료 전달부
123: 맵리듀스 데이터베이스 저장부
124: 엔진 제어부
200: 잡 트래커 300: 태스크 트래커
400: 하둡 분산 파일 시스템
110: 맵리듀스 인터페이스
111: 워크플로우 작성부 112: 아이콘 구문 체크부
113: 알림 배지 생성부 114: 윈도우 투명도 조절부
115: 맵리듀스 제어부
120: 워크플로우 엔진
121: 워크플로우 데이터베이스 저장부
122: 실행 완료 전달부
123: 맵리듀스 데이터베이스 저장부
124: 엔진 제어부
200: 잡 트래커 300: 태스크 트래커
400: 하둡 분산 파일 시스템
Claims (22)
- 팔레트에서 복수의 액션 아이콘들과 상기 복수의 액션 아이콘들에 대한 비순환적인 순서를 나타내는 복수의 플로우 아이콘들을 배치하여 워크플로우를 작성하는 단계;
상기 배치된 복수의 액션 아이콘들 및 해당 액션 아이콘에 종속적인 플로우 아이콘에 대한 구문을 체크하는 단계; 및
특정 아이콘에서 구문 이상이 발생하면 상기 특정 아이콘에 대한 구문 오류를 표시하는 알림 배지를 그래픽적으로 생성하는 단계를 포함하는 빅데이터 처리 방법.
- 제1항에 있어서, 상기 워크플로우를 작성하는 단계는
한 쌍의 액션 아이콘들 간에 특정 플로우 아이콘이 배치될 때 상기 한 쌍의 액션 아이콘들에 대한 순차 처리 유효성을 체크하는 단계를 더 포함하는 것을 특징으로 하는 빅데이터 처리 방법.
- 제1항에 있어서, 상기 워크플로우를 작성하는 단계는
상기 워크플로우에 있는 특정 액션 아이콘이 선택되면 아이콘 윈도우에서 상기 특정 액션 아이콘에 대한 메타데이터를 제공하는 단계; 및
상기 메타데이터에 대한 순차적 실행 프로시저를 저장하는 단계를 더 포함하는 것을 특징으로 하는 빅데이터 처리 방법.
- 제3항에 있어서, 상기 워크플로우를 작성하는 단계는
상기 특정 액션 아이콘에 대한 맵리듀스 작업과 연관된 하둡 설정 파라미터를 입력받는 단계를 더 포함하는 것을 특징으로 하는 빅데이터 처리 방법.
- 제4항에 있어서, 상기 워크플로우를 작성하는 단계는
상기 특정 액션 아이콘에 대한 맵리듀스 작업과 연관된 입출력 하둡 분산 스토리지 위치를 설정하는 단계를 더 포함하는 것을 특징으로 하는 빅데이터 처리 방법.
- 제1항에 있어서, 상기 복수의 액션 아이콘들 중 일부는 빅데이터 처리 작업을 각각 포함하고, 상기 복수의 액션 아이콘들 중 나머지는 플로우 처리 작업을 각각 포함하는 것을 특징으로 하는 빅데이터 처리 방법.
- 제1항에 있어서, 상기 플로우 아이콘에 대한 구문을 체크하는 단계는
상기 배치된 복수의 액션 아이콘들 및 상기 종속적인 플로우 아이콘에서 사용될 실행 프로시저가 정의되었는지 또는 유효한지 여부를 체크하는 단계를 더 포함하는 것을 특징으로 하는 빅데이터 처리 방법.
- 제1항에 있어서, 상기 알림 배지를 그래픽적으로 생성하는 단계는
상기 특정 아이콘에 대한 구문 이상 유형을 결정하여 상기 구문 이상 유형에 해당하는 알림 배지를 결정하는 단계를 더 포함하는 것을 특징으로 하는 빅데이터 처리 방법.
- 제1항에 있어서,
상기 특정 아이콘에 대하여 팝업된 아이콘 윈도우의 움직임 속도에 따라 상기 아이콘 윈도우에 대한 투명도를 조절하는 단계를 더 포함하는 것을 특징으로 하는 빅데이터 처리 방법.
- 제1항에 있어서,
워크플로우 작업 환경에 포함된 작업 모니터링 메뉴를 통해 상기 작성된 워크플로우에 대한 처리 작업 정보를 제공하는 단계를 더 포함하는 것을 특징으로 하는 빅데이터 처리 방법.
- 제1항에 있어서,
상기 워크플로우 작업 환경에 포함된 파일 메타데이터 메뉴를 통해 상기 복수의 액션 아이콘에 대한 워크플로우의 작성을 위한 메타데이터를 정의하는 단계를 더 포함하는 것을 특징으로 하는 빅데이터 처리 방법.
- 제11항에 있어서,
상기 파일 메타데이터 메뉴에서 정의된 메타데이터의 변경 여부를 체크하는 단계; 및
상기 메타데이터의 변경이 체크되면 상기 워크플로우 작업 환경에 포함된 메타데이터 영향도 분석 화면을 통해 상기 변경된 메타데이터와 관련된 워크플로우 목록을 제공하는 단계를 더 포함하는 것을 특징으로 하는 빅데이터 처리 방법.
- 제1항에 있어서,
상기 작성된 워크플로우에 대한 구문 체크가 완료되면 상기 워크플로우를 워크플로우 정의 문서로 변환하고 워크플로우 데이터베이스에 저장하는 단계를 더 포함하는 것을 특징으로 하는 빅데이터 처리 방법.
- 제13항에 있어서,
상기 워크플로우 정의 문서를 실행코드로 변환하고, 상기 실행코드를 해석하여 액션 아이콘을 결정하는 단계; 및
상기 결정된 액션 아이콘에 대한 실행코드를 잡 트래커에 전달하고 상기 결정된 액션 아이콘에 대한 실행 완료 여부를 전달받는 단계를 더 포함하는 것을 특징으로 하는 빅데이터 처리 방법.
- 제14항에 있어서,
상기 액션 아이콘에 대한 맵리듀스 처리가 완료되면 해당 맵리듀스 처리 결과를 맵리듀스 데이터베이스에 저장하는 단계를 더 포함하는 것을 특징으로 하는 빅데이터 처리 방법.
- 팔레트에서 복수의 액션 아이콘들과 상기 복수의 액션 아이콘들에 대한 비순환적인 순서를 나타내는 복수의 플로우 아이콘들을 배치하여 워크플로우를 작성하는 워크플로우 작성부;
상기 배치된 복수의 액션 아이콘들 및 해당 액션 아이콘에 종속적인 플로우 아이콘에 대한 구문을 체크하는 아이콘 구문 체크부; 및
특정 아이콘에서 구문 이상이 발생하면 상기 특정 아이콘에 대한 구문 오류를 표시하는 알림 배지를 그래픽적으로 생성하는 알림 배지 생성부를 포함하는 빅데이터 처리 장치.
- 제16항에 있어서, 상기 복수의 액션 아이콘들 중 일부는 빅데이터 처리 작업을 각각 포함하고, 상기 복수의 액션 아이콘들 중 나머지는 플로우 처리 작업을 각각 포함하는 것을 특징으로 하는 빅데이터 처리 장치.
- 제16항에 있어서,
상기 특정 아이콘에 대하여 팝업된 아이콘 윈도우의 움직임 속도에 따라 상기 아이콘 윈도우에 대한 투명도를 조절하는 윈도우 투명도 조절부를 더 포함하는 것을 특징으로 하는 빅데이터 처리 장치.
- 제16항에 있어서,
상기 작성된 워크플로우에 대한 구문 체크가 완료되면 상기 워크플로우를 워크플로우 정의 문서로 변환하고 워크플로우 데이터베이스에 저장하는 워크플로우 데이터베이스 저장부를 더 포함하는 것을 특징으로 하는 빅데이터 처리 장치.
- 제19항에 있어서,
상기 워크플로우 정의 문서를 실행코드로 변환하고, 상기 실행코드를 해석하여 액션 아이콘을 결정하고 상기 결정된 액션 아이콘에 대한 실행코드를 잡 트래커에 전달하고 상기 결정된 액션 아이콘에 대한 실행 완료 여부를 전달받는 실행 완료 전달부를 더 포함하는 것을 특징으로 하는 빅데이터 처리 장치.
- 제20항에 있어서,
상기 액션 아이콘에 대한 맵리듀스 처리가 완료되면 해당 맵리듀스 처리 결과를 상기 워크플로우 데이터베이스에 저장하는 맵리듀스 데이터베이스 저장부를 더 포함하는 것을 특징으로 하는 빅데이터 처리 장치.
- 빅데이터 처리 장치에서 수행되는 빅데이터 처리 방법에 관한 컴퓨터 프로그램을 저장하는 기록매체에 있어서,
팔레트에서 복수의 액션 아이콘들과 상기 복수의 액션 아이콘들에 대한 비순환적인 순서를 나타내는 복수의 플로우 아이콘들을 배치하여 워크플로우를 작성하는 기능;
상기 배치된 복수의 액션 아이콘들 및 해당 액션 아이콘에 종속적인 플로우 아이콘에 대한 구문을 체크하는 기능; 및
특정 아이콘에서 구문 이상이 발생하면 상기 특정 아이콘에 대한 구문 오류를 표시하는 알림 배지를 그래픽적으로 생성하는 기능을 포함하는 빅데이터 처리 방법에 관한 컴퓨터 프로그램을 저장하는 기록매체.
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR20130113502A KR20150033453A (ko) | 2013-09-24 | 2013-09-24 | 빅데이터 처리 방법, 이를 수행하는 빅데이터 처리 장치 및 이를 저장하는 기록매체 |
| US14/495,455 US10175954B2 (en) | 2013-09-24 | 2014-09-24 | Method of processing big data, including arranging icons in a workflow GUI by a user, checking process availability and syntax, converting the workflow into execution code, monitoring the workflow, and displaying associated information |
| CN201410496053.7A CN104462179B (zh) | 2013-09-24 | 2014-09-24 | 处理大数据的方法、执行其的装置以及储存其的存储媒介 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR20130113502A KR20150033453A (ko) | 2013-09-24 | 2013-09-24 | 빅데이터 처리 방법, 이를 수행하는 빅데이터 처리 장치 및 이를 저장하는 기록매체 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20150033453A true KR20150033453A (ko) | 2015-04-01 |
Family
ID=52692192
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR20130113502A Ceased KR20150033453A (ko) | 2013-09-24 | 2013-09-24 | 빅데이터 처리 방법, 이를 수행하는 빅데이터 처리 장치 및 이를 저장하는 기록매체 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US10175954B2 (ko) |
| KR (1) | KR20150033453A (ko) |
| CN (1) | CN104462179B (ko) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101678480B1 (ko) | 2015-07-08 | 2016-11-22 | 주식회사 유비콤테크놀로지 | Ｒ 언어 기반 빅데이터 처리용 ｆｐｇａ 시스템 및 방법 |
| KR20180080924A (ko) * | 2017-01-05 | 2018-07-13 | 주식회사 엑셈 | 빅 데이터 처리 서버의 데이터 처리 결과를 모니터링 하기 위한 장치 및 방법 |
Families Citing this family (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9961068B2 (en) | 2015-07-21 | 2018-05-01 | Bank Of America Corporation | Single sign-on for interconnected computer systems |
| CN108182062A (zh) * | 2017-12-12 | 2018-06-19 | 上海葡萄纬度科技有限公司 | 一种反向编程的方法及系统 |
| CN108134697B (zh) * | 2017-12-21 | 2021-01-19 | 四川管理职业学院 | 一种Hadoop架构云平台风险评估与预警方法 |
| US11275485B2 (en) * | 2018-06-15 | 2022-03-15 | Sap Se | Data processing pipeline engine |
| US11790224B2 (en) * | 2018-10-20 | 2023-10-17 | Oracle International Corporation | Machine learning from the integration flow metadata |
| WO2020209155A1 (ja) * | 2019-04-12 | 2020-10-15 | 住友電気工業株式会社 | データ可視化装置、データ処理方法およびデータ処理プログラム |
| CN113590106B (zh) * | 2021-06-25 | 2022-04-08 | 许继电气股份有限公司 | 工业控制图形化编程环境运行态数据监测系统及方法 |
| US20240020282A1 (en) * | 2022-07-15 | 2024-01-18 | Microsoft Technology Licensing, Llc | Systems and methods for large-scale data processing |
| CN116308141A (zh) * | 2023-02-28 | 2023-06-23 | 华能信息技术有限公司 | 一种动态流程模型列表生成方法及系统 |
Family Cites Families (33)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6243092B1 (en) * | 1997-12-02 | 2001-06-05 | Aspect Communications | Transaction flow editing tool |
| US20040088208A1 (en) * | 2002-10-30 | 2004-05-06 | H. Runge Bernhard M. | Creating and monitoring automated interaction sequences using a graphical user interface |
| JP2004303115A (ja) | 2003-04-01 | 2004-10-28 | Hitachi Ltd | ワークフローシステム構築方法 |
| US20060092467A1 (en) * | 2004-09-01 | 2006-05-04 | Dumitrescu Tiberiu A | Print job workflow system |
| US7464366B2 (en) * | 2004-10-01 | 2008-12-09 | Microsoft Corporation | Programming interface for a componentized and extensible workflow model |
| US7739311B2 (en) * | 2005-04-07 | 2010-06-15 | Tibco Software Inc. | Method and system for handling large data sets in a statistical language |
| US8429630B2 (en) * | 2005-09-15 | 2013-04-23 | Ca, Inc. | Globally distributed utility computing cloud |
| US20070101287A1 (en) * | 2005-11-03 | 2007-05-03 | International Business Machines Corporation | Pop-up windows in a computer system |
| US10997531B2 (en) * | 2007-09-11 | 2021-05-04 | Ciambella Ltd. | System, method and graphical user interface for workflow generation, deployment and/or execution |
| CN102193831B (zh) * | 2010-03-12 | 2014-05-21 | 复旦大学 | 一种建立层次化的映射/归约并行编程模型的方法 |
| US8555265B2 (en) * | 2010-05-04 | 2013-10-08 | Google Inc. | Parallel processing of data |
| US10176444B2 (en) * | 2010-05-28 | 2019-01-08 | International Business Machines Corporation | Computer-implemented method, computer program product and system for analyzing a control-flow in a business process model |
| US8621421B2 (en) * | 2010-06-10 | 2013-12-31 | Microsoft Corporation | Workflow visualization |
| KR101218087B1 (ko) | 2011-01-19 | 2013-01-09 | 충남대학교산학협력단 | 하둡 맵리듀스에서 바이너리 형태의 데이터 분석을 위한 입력포맷 추출방법 및 이를 이용한 바이너리 데이터의 분석방법 |
| KR20120085400A (ko) | 2011-01-24 | 2012-08-01 | 충남대학교산학협력단 | 하둡 기반 병렬 연산에 의한 패킷분석 시스템 및 방법 |
| US8612368B2 (en) | 2011-03-01 | 2013-12-17 | International Business Machines Corporation | Systems and methods for processing machine learning algorithms in a MapReduce environment |
| US9086923B2 (en) * | 2011-09-16 | 2015-07-21 | Rutgers, The State University Of New Jersey | Autonomic workflow management in dynamically federated, hybrid cloud infrastructures |
| US9361323B2 (en) * | 2011-10-04 | 2016-06-07 | International Business Machines Corporation | Declarative specification of data integration workflows for execution on parallel processing platforms |
| US9172608B2 (en) * | 2012-02-07 | 2015-10-27 | Cloudera, Inc. | Centralized configuration and monitoring of a distributed computing cluster |
| US8856291B2 (en) * | 2012-02-14 | 2014-10-07 | Amazon Technologies, Inc. | Providing configurable workflow capabilities |
| US9367601B2 (en) * | 2012-03-26 | 2016-06-14 | Duke University | Cost-based optimization of configuration parameters and cluster sizing for hadoop |
| US20130318280A1 (en) * | 2012-05-22 | 2013-11-28 | Xockets IP, LLC | Offloading of computation for rack level servers and corresponding methods and systems |
| US9053160B2 (en) * | 2012-06-26 | 2015-06-09 | Here Global B.V. | Distributed, real-time online analytical processing (OLAP) |
| US9201638B2 (en) * | 2012-08-07 | 2015-12-01 | Nec Laboratories America, Inc. | Compiler-guided software accelerator for iterative HADOOP® jobs |
| US20140047342A1 (en) * | 2012-08-07 | 2014-02-13 | Advanced Micro Devices, Inc. | System and method for allocating a cluster of nodes for a cloud computing system based on hardware characteristics |
| US9047181B2 (en) * | 2012-09-07 | 2015-06-02 | Splunk Inc. | Visualization of data from clusters |
| US9471651B2 (en) * | 2012-10-08 | 2016-10-18 | Hewlett Packard Enterprise Development Lp | Adjustment of map reduce execution |
| US20140173618A1 (en) * | 2012-10-14 | 2014-06-19 | Xplenty Ltd. | System and method for management of big data sets |
| US9607067B2 (en) * | 2013-01-25 | 2017-03-28 | International Business Machines Corporation | Synchronization of time between different simulation models |
| US9152469B2 (en) * | 2013-01-28 | 2015-10-06 | Hewlett-Packard Development Company, L.P. | Optimizing execution and resource usage in large scale computing |
| IN2013CH01044A (ko) * | 2013-03-12 | 2015-08-14 | Yahoo Inc | |
| US9256460B2 (en) * | 2013-03-15 | 2016-02-09 | International Business Machines Corporation | Selective checkpointing of links in a data flow based on a set of predefined criteria |
| US9336288B2 (en) * | 2013-06-03 | 2016-05-10 | Bank Of America Corporation | Workflow controller compatibility |
-
2013
- 2013-09-24 KR KR20130113502A patent/KR20150033453A/ko not_active Ceased
-
2014
- 2014-09-24 CN CN201410496053.7A patent/CN104462179B/zh active Active
- 2014-09-24 US US14/495,455 patent/US10175954B2/en active Active
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101678480B1 (ko) | 2015-07-08 | 2016-11-22 | 주식회사 유비콤테크놀로지 | Ｒ 언어 기반 빅데이터 처리용 ｆｐｇａ 시스템 및 방법 |
| KR20180080924A (ko) * | 2017-01-05 | 2018-07-13 | 주식회사 엑셈 | 빅 데이터 처리 서버의 데이터 처리 결과를 모니터링 하기 위한 장치 및 방법 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN104462179A (zh) | 2015-03-25 |
| US20150089415A1 (en) | 2015-03-26 |
| US10175954B2 (en) | 2019-01-08 |
| CN104462179B (zh) | 2020-08-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR20150033453A (ko) | 빅데이터 처리 방법, 이를 수행하는 빅데이터 처리 장치 및 이를 저장하는 기록매체 | |
| US11870558B1 (en) | Identification of related event groups for IT service monitoring system | |
| US12124441B1 (en) | Utilizing shared search queries for defining multiple key performance indicators | |
| US12120005B1 (en) | Managing event group definitions in service monitoring systems | |
| US12118497B2 (en) | Providing a user interface reflecting service monitoring adaptation for maintenance downtime | |
| US11755559B1 (en) | Automatic entity control in a machine data driven service monitoring system | |
| US10862905B2 (en) | Incident response techniques | |
| US10942960B2 (en) | Automatic triage model execution in machine data driven monitoring automation apparatus with visualization | |
| US11216453B2 (en) | Data visualization in a dashboard display using panel templates | |
| US11200130B2 (en) | Automatic entity control in a machine data driven service monitoring system | |
| US20250013992A1 (en) | Method and system for aggregating diagnostic analyzer related information | |
| US11671312B2 (en) | Service detail monitoring console | |
| US9245057B1 (en) | Presenting a graphical visualization along a time-based graph lane using key performance indicators derived from machine data | |
| KR101283019B1 (ko) | ＳａａＳ 어플리케이션 생성 방법 및 이를 실행하는 어플리케이션 생성 서버 | |
| US20210304142A1 (en) | End-user feedback reporting framework for collaborative software development environments | |
| US20130275085A1 (en) | Performance management and quantitative modeling of it service processes using mashup patterns | |
| US20150317572A1 (en) | On-Demand Enrichment of Business Data | |
| US10922207B2 (en) | Method, apparatus, and computer-readable medium for maintaining visual consistency | |
| CN112947919B (zh) | 构建业务模型和处理业务请求的方法和装置 | |
| US20240020741A1 (en) | Catalog service replication | |
| Srivastava | Kibana 7 quick start guide: visualize your elasticsearch data with ease | |
| US20120198373A1 (en) | Focus-Driven User Interface | |
| US10515330B2 (en) | Real time visibility of process lifecycle | |
| US20240394700A1 (en) | Modifying control scopes of controls across a plurality of data processes via data objects | |
| US10097622B1 (en) | Method and system for communication using published events |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| PA0109 | Patent application |
Patent event code: PA01091R01D Comment text: Patent Application Patent event date: 20130924 |
|
| PA0201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| PE0902 | Notice of grounds for rejection |
Comment text: Notification of reason for refusal Patent event date: 20150119 Patent event code: PE09021S01D |
|
| PG1501 | Laying open of application | ||
| E90F | Notification of reason for final refusal | ||
| PE0902 | Notice of grounds for rejection |
Comment text: Final Notice of Reason for Refusal Patent event date: 20150707 Patent event code: PE09021S02D |
|
| E601 | Decision to refuse application | ||
| PE0601 | Decision on rejection of patent |
Patent event date: 20151020 Comment text: Decision to Refuse Application Patent event code: PE06012S01D Patent event date: 20150707 Comment text: Final Notice of Reason for Refusal Patent event code: PE06011S02I Patent event date: 20150119 Comment text: Notification of reason for refusal Patent event code: PE06011S01I |