[go: up one dir, main page]

KR20230045083A - 대상자 점수화 시의 자격부여 테스트 - Google Patents

대상자 점수화 시의 자격부여 테스트 Download PDF

Info

Publication number
KR20230045083A
KR20230045083A KR1020237008088A KR20237008088A KR20230045083A KR 20230045083 A KR20230045083 A KR 20230045083A KR 1020237008088 A KR1020237008088 A KR 1020237008088A KR 20237008088 A KR20237008088 A KR 20237008088A KR 20230045083 A KR20230045083 A KR 20230045083A
Authority
KR
South Korea
Prior art keywords
self
rule
range
comparison
scores
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
KR1020237008088A
Other languages
English (en)
Other versions
KR102779764B1 (ko
Inventor
쥔 티엔
샤오종 수
샨 리우
Original Assignee
텐센트 아메리카 엘엘씨
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 텐센트 아메리카 엘엘씨 filed Critical 텐센트 아메리카 엘엘씨
Publication of KR20230045083A publication Critical patent/KR20230045083A/ko
Application granted granted Critical
Publication of KR102779764B1 publication Critical patent/KR102779764B1/ko
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/475—End-user interface for inputting end-user data, e.g. personal identification number [PIN], preference data
    • H04N21/4756—End-user interface for inputting end-user data, e.g. personal identification number [PIN], preference data for rating content, e.g. scoring a recommended movie
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G06F16/44—Browsing; Visualisation therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/475—End-user interface for inputting end-user data, e.g. personal identification number [PIN], preference data
    • H04N21/4758—End-user interface for inputting end-user data, e.g. personal identification number [PIN], preference data for providing answers, e.g. voting
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • User Interface Of Digital Computer (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

개시내용의 측면은 주관적 평가를 위한 방법 및 장치를 제공한다. 일부 예에서, 프로세싱 회로부는 미디어 프리젠테이션에 대해 대상자에 의해 등급화된 점수를 수신한다. 대상자에 의한 점수는 미디어 프리젠테이션 내의 자체 비교 테스트에 대해 등급화되는 복수의 자체 비교 점수를 포함한다. 프로세싱 회로부는 제1 규칙 및 제2 규칙을 복수의 자체 비교 점수에 적용한다. 제1 규칙은 제1 범위 내의 복수의 자체 비교 점수의 제1 서브세트를 요구한다. 제2 규칙은 제2 범위에 따라 적어도 이상치를 제1 규칙으로 제한하기 위하여, 제2 범위 내의 복수의 자체 비교 점수의 제2 서브세트를 요구한다. 프로세싱 회로부는 제1 규칙 및 제2 규칙이 충족되는 것에 응답하여, 대상자에 의한 점수가 주관적 평가를 위하여 자격부여되는 것으로 결정한다.

Description

대상자 점수화 시의 자격부여 테스트
참조에 의한 통합
이러한 본 출원은 2021년 7월 1일자로 출원된 "대상자 점수화 시의 자격부여 테스트(Qualification Test in Subject Scoring"라는 명칭의 미국 가출원 제63/217,439호에 대한 우선권의 이익을 주장하는, 2022년 5월 24일자로 출원된 "대상자 점수화 시의 자격부여 테스트(QUALIFICATION TEST IN SUBJECT SCORING"라는 명칭의 미국 특허 출원 제17/752,551호에 대한 우선권의 이익을 주장한다. 선행 출원의 개시내용은 이로써 전체적으로 참조로 통합된다.
본 개시내용은 주관적 평가(subjective evaluation)에 일반적으로 관련된 실시예를 설명한다.
본 명세서에서 제공된 배경 설명은 개시내용의 맥락을 일반적으로 제시하는 목적을 위한 것이다. 작업이 배경 섹션에서 설명되는 한도까지의, 현재 거명된 발명자의 작업 뿐만 아니라, 출원 시에 종래 기술로서 달리 자격부여하지 않을 수 있는 설명의 측면은 본 개시내용에 대하여 종래 기술로서 명시적으로도 또는 묵시적으로도 인정되지 않는다.
가상 현실(virtual reality) 또는 증강 현실(augmented reality)의 애플리케이션에서, 사용자가 애플리케이션의 가상적 세계에서 현존감을 가지게 하기 위하여, 애플리케이션의 가상적 장면에서의 오디오는 실세계에서와 같이 지각되고, 사운드(sound)는 가상적 장면의 연관된 가상적 인물로부터 나온다. 일부 예에서, 실세계에서의 사용자의 물리적 이동은 애플리케이션에서 가상적 장면에서의 정합하는 이동을 가지는 것으로서 지각된다. 추가로, 그리고 중요하게도, 사용자는 현실적인 것으로서 지각되고 실세계에서의 사용자의 경험과 정합하는 오디오를 이용하여, 가상적 장면과 상호작용할 수 있다.
개시내용의 측면은 주관적 평가를 위한 방법 및 장치를 제공한다. 일부 예에서, 주관적 평가를 위한 장치는 프로세싱 회로부를 포함한다. 프로세싱 회로부는 미디어 프리젠테이션(media presentation)(예컨대, 몰입형 오디오 또는 비디오 미디어 프리젠테이션)에 대해 대상자(subject)에 의해 등급화된 점수를 수신한다. 대상자에 의한 점수는 미디어 프리젠테이션 내의 자체 비교 테스트(self comparison test)에 대해 등급화되는 복수의 자체 비교 점수를 포함한다. 프로세싱 회로부는 제1 규칙 및 제2 규칙을 복수의 자체 비교 점수에 적용한다. 제1 규칙은 제1 범위 내의 복수의 자체 비교 점수의 제1 서브세트(subset)를 요구한다. 제2 규칙은 제2 범위에 따라 복수의 자체 비교 점수 중 적어도 이상치 점수(outlier score)를 제1 규칙으로 제한하기 위하여, 제2 범위 내의 복수의 자체 비교 점수의 제2 서브세트를 요구한다. 프로세싱 회로부는 제1 규칙 및 제2 규칙이 충족될 때, 대상자의 점수가 주관적 평가를 위하여 자격부여되는 것으로 결정한다.
일부 실시예에서, 제1 규칙은 적어도 N1 개의 자체 비교 점수가 [-M1, M1]의 제1 범위 내에 있는 요건을 포함하고, N1은 N-1 이하인 제1 양의 정수이고, N은 자체 비교 테스트의 총 수이다. 제2 규칙은 적어도 N2 개의 자체 비교 점수가 [-M2, M2]의 제2 범위 내에 있는 요건을 포함하고, N2는 N 이하인 제2 양의 정수이고, M1 및 M2 각각은 양수이다.
일부 실시예에서, 제1 규칙은 적어도 N-1 개의 자체 비교 점수가 [-M1, M1]의 제1 범위 내에 있는 요건을 포함하고; 제2 규칙은 모든 N 개의 자체 비교 점수가 [-M2, M2]의 제2 범위 내에 있는 요건을 포함한다.
일부 실시예에서, 프로세싱 회로부는 복수의 자체 비교 점수가 제1 규칙 및 제2 규칙 중의 적어도 하나에 불합격할 때, 주관적 평가를 위한 대상자의 점수를 제외한다.
일부 예에서, 점수는 4개의 자체 비교 점수를 포함하고, 제1 규칙은 제1 범위 내의 4개의 자체 비교 점수 중에서 3개를 요구하고, 제2 규칙은 제2 범위 내의 4개의 자체 비교 점수를 요구한다. 예에서, 제1 범위는 [-0.5, 0.5]이고, 제2 범위는 [-1.5, 1.5]이다.
일부 예에서, 제1 규칙은 제1 범위 내의 복수의 자체 비교 점수의 대부분(예컨대, >=50%)을 요구한다. 일부 예에서, 제2 규칙은 복수의 자체 비교 점수보다 더 많은 자체 비교 점수가 제2 범위 내에 있는 것을 요구한다. 예에서, 제2 규칙은 복수의 자체 비교 점수가 제2 범위 내에 있는 것을 요구한다.
일부 예에서, 제1 규칙은 제1 범위 내에 있지 않은 복수의 자체 비교 점수 중 최대한으로 하나의 이상치를 요구하고, 제2 규칙은 제2 범위 내의 복수의 자체 비교 점수를 요구한다.
일부 예에서, 제2 범위는 제1 범위를 포함하고, 제1 범위의 적어도 2배이다.
일부 예에서, 제1 규칙은 제1 범위 내의 복수의 자체 비교 점수의 제1 서브세트를 요구하고, 제2 규칙은 제2 범위의 외부의 자체 비교 점수를 요구하지 않는다.
개시내용의 측면은 또한, 컴퓨터에 의해 실행될 때, 컴퓨터로 하여금, 주관적 평가를 위한 방법을 수행하게 하는 명령을 저장하는 비-일시적 컴퓨터-판독가능 매체를 제공한다.
개시된 발명 요지의 추가의 특징, 본질, 및 다양한 장점은 다음의 상세한 설명 및 첨부 도면으로부터 더 분명할 것이다.
도 1은 일부 예에서 6 자유도(6 DoF : 6 degrees of freedom)를 이용하는 환경을 예시하는 도면을 도시한다.
도 2는 일부 예에서 비교 테스트를 위한 등급 스케일(grade scale)의 예를 도시한다.
도 3은 개시내용의 일부 실시예에 따른 또 다른 프로세스의 개요를 기술하는 흐름도를 도시한다.
도 4는 실시예에 따른 컴퓨터 시스템의 개략적인 예시도이다.
개시내용의 측면은 오디오 프로세싱 품질, 이미지 프로세싱 품질, 비디오 프로세싱 품질 등과 같은 미디어 품질에 대한 주관적 평가 시의 이용을 위한 기법을 제공한다.
개시내용의 일부 측면에 따르면, 일부 기술은 몰입형 미디어(immersive media)로서 지칭되는 디지털 시뮬레이션을 통해 물리적 세계를 생성하거나 모방하도록 시도한다. 몰입형 미디어 프로세싱은 "몰입형 오디오", "몰입형 비디오", 및" 시스템 지원"을 포함하는, 표준들의 동화상 전문가 그룹 몰입형(MPEG-I : Moving Picture Expert Group Immersive) 모음과 같은 몰입형 미디어 표준에 따라 구현될 수 있다. 몰입형 미디어 표준은 사용자가 공간적 내비게이션(x, y, z) 및 사용자 헤드 방위(요(yaw), 피치(pitch), 롤(roll))를 포함하는 6 자유도(6 DoF : 6 degrees of freedom)를 이용하여 환경을 탐색하고 환경과 상호작용할 수 있는 VR 또는 AR 프리젠테이션(presentation)을 지원할 수 있다.
도 1은 일부 예에서 6 자유도(6 DoF)를 이용하는 환경을 예시하는 도면을 도시한다. 6 자유도(6 DoF)는 공간적 내비게이션(x, y, z) 및 사용자 헤드 방위(요, 피치, 롤)에 의해 표현될 수 있다.
개시내용의 측면에 따르면, 몰입형 미디어는 사용자가 가상적 세계에서 실제적으로 존재한다는 느낌을 부여하기 위하여 이용될 수 있다. 일부 예에서, 장면의 오디오는 실세계에서와 같이 지각되고, 사운드는 연관된 시각적 인물로부터 나온다. 예를 들어, 사운드는 장면 내의 올바른 위치 및 거리로 지각된다. 실세계에서의 사용자의 물리적 이동은 가상적 세계의 장면에서의 정합하는 이동을 가지는 것으로서 지각된다. 추가로, 사용자는 장면과 상호작용할 수 있고, 현실적인 것으로서 지각되고 실세계에서의 사용자의 경험과 정합하는 사운드를 야기시킬 수 있다.
일반적으로, 주관적 평가는 미디어 품질을 인간에 의한 평가로서 평가하기 위하여 이용될 수 있다. 일부 예에서, 피크 신호-대-잡음 비율(PSNR : peak signal-to-noise ratio)과 같은 객관적 평가는 인간이 지각하는 것과 양호하게 상관되지 않을 수 있다. 주관적 평가는 미디어가 인간(또한, 대상자로서 지칭됨)에 의해 어떻게 지각되는지를 강조하고, 대상자의 의견에 기초하여 미디어 품질을 평가한다.
오디오 품질의 주관적 평가가 주관적 평가를 위한 기법의 다음의 설명에서 예로서 이용되는 동안에, 주관적 평가를 위한 기법은 이미지, 비디오 등과 가은 다른 미디어 유형의 미디어 품질의 주관적 평가에서 이용될 수 있다는 것이 주목된다.
개시내용의 일부 측면에 따르면, 주관적 평가를 수행하기 위하여, 대상자는 대상자 패널을 형성하기 위하여 선택된다. 그 다음으로, 미디어 프리젠테이션은 대상자에 대해 수행될 수 있고, 미디어 프리젠테이션은 테스트를 포함하고, 대상자는 점수에 의해 미디어 프리젠테이션에서의 테스트를 등급화할 수 있다. 점수는 수집되고, 데이터 프로세싱은 주관적 평가에 관련된 점수 및 다른 적당한 정보에 대해 수행된다. 통계적 방법은 점수를 분석하기 위하여 이용될 수 있고, 미디어 품질은 통계적 분석에 기초하여 해독될 수 있다.
데이터 프로세싱 동안에, 신뢰성 있고 일관성 있는 주관적 평가를 가지기 위하여, 포스트-스크리닝(post-screening)으로서 또한 지칭된 자격부여 테스트(qualification test)가 주관적 점수화에 대하여 행해진다. 신뢰성 있지 않거나 일관성 있지 않은 점수의 대상자에 대하여, 그 점수는 일부 예에서, 주관적 평가로부터 제외될 것이다.
포스트-스크리닝으로서 또한 지칭된 자격부여 테스트는 미디어 프리젠테이션에서의 자체-비교 테스트에 기초한다.
일반적으로, 비교 테스트는 제1 미디어를 제2 미디어와 비교하기 위하여 이용된다. 예에서, 제1 미디어는 평가 중인 기법에 의해 프로세싱될 수 있고, 예를 들어, 코딩되고, 렌더링(render)될 수 있고, 제2 미디어는 참조 미디어(reference media)일 수 있다. 비교 테스트 동안에, 제1 미디어 및 제2 미디어가 대상자에게 제시되고, 대상자는 품질 차이의 평가를 지시하기 위하여 점수를 부여할 수 있다.
도 2는 비교 테스트를 위한 등급 스케일도 2는 일부 예에서 비교 테스트를 위한 등급 스케일의 예를 도시한다. 도 2의 예에서, 점수는 -3으로부터 3까지의 범위이다. 점수 0은 제1 미디어 및 제2 미디어가 동일한 품질에 대한 것이라는 것을 지시하고; 점수 -1은 제1 미디어가 제2 미디어보다 약간 더 열악한 것을 지시하고; 점수 1은 제1 미디어가 제2 미디어보다 약간 더 양호한 것을 지시하고; 점수 -2는 제1 미디어가 제2 미디어보다 더 열악한 것을 지시하고; 점수 2는 제1 미디어가 제2 미디어보다 더 양호한 것을 지시하고; 점수 -3은 제1 미디어가 제2 미디어보다 훨씬 더 열악한 것을 지시하고; 점수 3은 제1 미디어가 제2 미디어보다 훨씬 더 양호한 것을 지시한다.
도 2의 예에서의 점수는 정수이지만, 정수가 아닌 숫자가 점수로서 이용될 수 있다는 것이 주목된다. 일부 예에서, 점수에 있어서의 최소 변경 단위는 0.5이다. 예를 들어, 다음의 점수는 비교 테스트를 등급화하기 위하여 이용될 수 있다: 3, 2.5, 2, 1.5, 1, 0.5, 0, -0.5, -1, -1.5, -2, -2.5, -3. 비교 테스트의 점수는 또한, 일부 예에서 점수 차이로서 지칭된다.
개시내용의 측면에 따르면, 대상자에 대한 비교 테스트의 제시 동안에, 대상자에게 통지하지 않으면서, 자체 비교 테스트(또한, 자체 비교 시도로서 지칭됨)는 보통의 비교 테스트와 혼합될 수 있고, 자체 비교 테스트로부터 수집된 점수는 포스트 스크리닝을 위하여 이용될 수 있다. 자체 비교 테스트를 제시할 때, 제1 미디어 및 제2 미디어는 동일한 코덱에 의해 프로세싱된 것과 같은 동일한 미디어, 동일한 렌더 등이다. 이에 따라, 자체 비교 테스트에 대해 대상자에 의해 등급화된 점수 중 큰 값(예컨대, 큰 절대 값)은 주관적 평가를 위하여 신뢰성 있지 않거나 일관성 있지 않다. 자체 비교 테스트에 대한 점수는 일부 예에서, 자체 비교 점수로서 지칭된다.
일부 예에서, 오디오 재생(오디오 프리젠테이션)을 위한 청취자(오디오 품질 평가를 위한 대상자)의 파일은 다른 테스트에 추가적으로, 4개의 자체 비교 테스트를 포함한다. 청취자의 파일에 따른 오디오 재생 동안에, 청취자는 모든 테스트를 점수에 의해 등급화한다. 오디오 재생 후에, 모든 테스트에 대한 대상자에 의한 점수가 수집되고, 4개의 자체 비교 테스트의 점수는 청취자에 의한 점수가 추가의 데이터 분석 및 미디어 평가를 위하여 이용될 수 있는지 여부를 결정하기 위하여 포스트 스크리닝에서 이용된다.
관련된 예에서, 규칙은 대상자의 자체 비교 테스트의 점수에 기초하여 포스트 스크리닝에서 적용된다. 규칙은 대상자의 점수가 추가의 데이터 분석 및 미디어 평가를 위하여 이용될 수 있는 대상자의 자격부여를 특정한다. 구체적으로, 4개의 자체 비교 점수 중에서 적어도 3개가 -0.5로부터 0.5까지([-0.5,0.5])의 점수 차이 범위 내에 있을 때, 대상자에 의한 점수는 유지되고, 추가의 미디어 평가에서 이용된다. 2개 이상의 점수가 -0.5로부터 0.5까지([-0.5,0.5])의 점수 차이 범위의 외부에 있을 경우에, 대상자에 의한 점수는 일부 예에서, 추가의 데이터 분석 및 미디어 평가로부터 제외된다.
관련된 예에서, 포스트-스크리닝은 -0.5로부터 0.5까지([-0.5,0.5])의 점수 차이 범위의 외부에 있는 (4개 중에서) 2개 이상의 자체-비교 점수를 가지는 대상자를 제외할 수 있다. 그러나, 일부 대상자는 -0.5로부터 0.5까지([-0.5,0.5])의 점수 차이 범위 내의 3개의 자체 비교 점수로 포스트-스크리닝을 통과할 것이지만, 하나의 자체 비교 점수는 3.0만큼 높거나 -3.0만큼 낮다. 높은 변동으로 인해, 이러한 대상자에 의한 점수는 일부 예에서. 신뢰성 있는 것으로서 간주될 수 없고, 주관적 평가로부터 제외될 필요가 있을 수 있다.
개시내용의 측면은 포스트-스크리닝을 위한 멀티-규칙 기법을 제공하고, 주관적 평가를 위한 점수 신뢰성을 개량한다.
개시내용의 일부 측면에 따르면, 2개의 규칙은 대상자에 의한 자체 비교 테스트의 점수에 기초하여 포스트 스크리닝에서 적용될 수 있다. 제1 규칙은 자체 비교 점수의 대부분(예컨대, 자체 비교 점수의 50 % 초과)에 기초하여 대상자의 자격부여를 특정하고, 제2 규칙은 자체 비교 점수 중 이상치(제1 범위의 외부의 자체 비교 점수)에 기초하여 대상자의 자격부여를 특정한다. 대상자의 자체 비교 점수가 둘 모두의 규칙을 만족시킬 때, 대상자에 의한 점수는 추가의 데이터 분석 및 미디어 평가에서 이용될 수 있다. 대상자에 의한 자체 비교 점수가 2개의 규칙 중의 적어도 하나에 불합격할 때, 대상자에 의한 점수는 추가의 데이터 분석 및 미디어 평가로부터 제외된다.
개시내용의 측면에 따르면, 제1 규칙은 자격부여된 대상자(포스트 스크리닝 후에, 점수가 추가의 데이터 분석 및 미디어 평가를 위하여 자격부여되는 대상자)의 자체 비교 점수의 대부분을 좁은 범위 내에 제한하고, 제2 규칙은 자격부여된 대상자의 자체 비교 점수의 이상치를 자체 비교 점수의 대부분으로부터 너무 많은 변동을 가지지 않도록 제한한다.
예에서, 제1 규칙은 (4개 중에서) 적어도 3개의 자체 비교 점수가 점수 차이 범위, 예컨대, -0.5로부터 0.5까지([-0.5,0.5]) 내에 있는 것으로서 표현될 수 있고; 제2 규칙은 모두 4개의 자체 비교 점수가 또 다른 점수 차이 범위, 예컨대, -1.5로부터 1.5까지([-1.5,1.5]) 내에 있는 것으로서 표현될 수 있다. 이 예에서, 자격부여된 대상자(포스트 스크리닝 후에, 점수가 추가의 데이터 분석 및 미디어 평가를 위하여 자격부여되는 대상자)의 자체 비교 점수의 대부분은 [-Vmajority, Vmajority](Vmajority는 0.5와 같은 양수임)에 의해 표기된 좁은 범위(예컨대, -0.5로부터 0.5까지) 내에 제한된다. 자격부여된 대상자의 자체 비교 점수의 이상치는 [-3×Vmajority, 3×Vmajority]의 범위 내에 제한되는 것과 같이, 자체 비교 점수의 대부분으로부터 너무 많은 변동을 가지지 않도록 제한된다.
위의 예에서, 대상자에 의한 자체 비교 점수가 제1 범위(예컨대, [-0.5,0.5])의 외부에 있을 때, 자체 비교 점수는 이상치 자체 비교 점수로서 지칭된다. 이상치 자체 비교 점수가 너무 많은 변동(예컨대, [-1.5, 1.5] 외부)을 가질 때, 대상자에 의한 점수는 추가의 데이터 분석 및 미디어 평가로부터 제외된다. 포스트-스크리닝에서의 위의 2개의 규칙으로, 모두 4개의 자체 비교가 주어진 점수 범위 내에 제약되어, 이로써 3.0과 같은 높은 자체 비교 차이 점수, 또는 -3.0과 같은 낮은 자체 비교 점수가 없을 것이다. 이에 따라, 높은 자체 비교 점수 또는 낮은 자체 비교 점수를 갖는 그러한 대상자는 (심지어 오직 하나의 높은 자체 비교 점수 또는 낮은 자체 비교 점수를 가질 수 있더라도) 주관적 평가로부터 제외될 것이다.
일부 예에서, 포스트 스크리닝은 N개의 자체 비교 점수에 기초하고, N은 양수이다. 포스트 스크리닝은 N개의 자체 비교 점수에 기초하여 2개의 규칙을 이용한다. 제1 규칙은 적어도 N-1개의 자체 비교 점수가 [-M1, M1]과 같은 점수 차이 범위 내에 있는 것으로서 표현될 수 있고; 제2 규칙은 모든 N개의 자체 비교 점수가 [-M2, M2]와 같은 또 다른 점수 차이 범위 내에 있는 것으로서 표현될 수 있고, 여기서, M1, M2는 양수이고, M2는 M1 이상일 수 있다.
위의 예에서, 자격부여된 대상자(포스트 스크리닝 후에, 점수가 추가의 데이터 분석 및 미디어 평가를 위하여 자격부여되는 대상자)의 자체 비교 점수의 대부분은 (예컨대, [-M1, M1]로부터) 좁은 범위 내에 제한되고, 자격부여된 대상자의 자체 비교 점수의 이상치(예컨대, [-M1, M1]의 외부의 자체 비교 점수)는 범위 [-M2, M2] 내에 제한되는 것과 같이, 자체 비교 점수의 대부분으로부터 너무 많은 변동을 가지지 않도록 제한된다.
일부 예에서, 포스트 스크리닝은 N개의 자체 비교 점수에 기초하고, N은 양수이다. 포스트 스크리닝은 N개의 자체 비교 점수에 기초하여 2개의 규칙을 이용한다. 제1 규칙은 적어도 N1 개의 자체-비교 점수가 [-M1, M1]과 같은 점수 차이 범위 내에 있는 것으로서 표현될 수 있고, 여기서, N1은 N-1 이하인 양의 정수이고, M1은 양수이다. 제2 규칙은 적어도 N2 개의 자체-비교 점수가 [-M2, M2]와 같은 또 다른 점수 차이 범위 내에 있는 것으로서 표현될 수 있고, 여기서, N2는 N 이하인 양의 정수이고, M2는 M1 이상일 수 있다. N2는 N1 이상일 수 있다는 것이 주목된다.
도 3은 개시내용의 실시예에 따른 프로세스(300)의 개요를 기술하는 흐름도를 도시한다. 프로세스(300)는 주관적 평가에서 이용될 수 있다. 일부 실시예에서, 프로세스(300)는 소프트웨어 명령으로 구현되고, 이에 따라, 프로세싱 회로부가 소프트웨어 명령을 실행할 때, 프로세싱 회로부는 프로세스(300)를 수행한다. 프로세스는 S301에서 시작되고, S310로 진행한다.
S310에서는, 미디어 프리젠테이션(예컨대, 몰입형 오디오 또는 비디오 미디어 프리젠테이션)에 응답하여 대상자에 의해 등급화된 점수가 수신된다. 대상자에 의한 점수는 미디어 프리젠테이션 내의 자체 비교 테스트에 대해 등급화되는 복수의 자체 비교 점수를 포함한다.
S320에서, 제1 규칙은 복수의 자체 비교 점수에 적용된다. 제1 규칙은 제1 범위 내의 복수의 자체 비교 점수의 제1 서브세트를 요구한다.
S330에서, 제2 규칙은 복수의 자체 비교 점수에 적용된다. 제2 규칙은 제2 범위에 따라 복수의 자체 비교 점수 중 적어도 이상치를 제1 규칙으로 제한하기 위하여, 제2 범위 내의 복수의 자체 비교 점수의 제2 서브세트를 요구한다.
일부 실시예에서, 제1 규칙은 적어도 N1 개의 자체 비교 점수가 [-M1, M1]의 제1 범위 내에 있는 요건을 포함하고, N1은 N-1 이하인 제1 양의 정수이고, N은 자체 비교 점수의 총 수이다. 제2 규칙은 적어도 N2 개의 자체 비교 점수가 [-M2, M2]의 제2 범위 내에 있는 요건을 포함하고, N2는 N 이하인 제2 양의 정수이고, M1 및 M2 각각은 양수이다.
일부 실시예에서, 제1 규칙은 적어도 N-1 개의 자체 비교 점수가 [-M1, M1]의 제1 범위 내에 있는 요건을 포함하고; 제2 규칙은 모든 N 개의 자체 비교 점수가 [-M2, M2]의 제2 범위 내에 있는 요건을 포함한다.
일부 예에서, 점수는 4개의 자체 비교 점수를 포함하고, 제1 규칙은 제1 범위 내의 4개의 자체 비교 점수 중에서 3개를 요구하고, 제2 규칙은 제2 범위 내의 4개의 자체 비교 점수를 요구한다. 예에서, 제1 범위는 [-0.5, 0.5]이고, 제2 범위는 [-1.5, 1.5]이다.
일부 예에서, 제1 규칙은 제1 범위 내의 복수의 자체 비교 점수의 대부분을 요구한다. 일부 예에서, 제2 규칙은 복수의 자체 비교 점수보다 더 많은 자체 비교 점수가 제2 범위 내에 있는 것을 요구한다. 예에서, 제2 규칙은 복수의 자체 비교 점수가 제2 범위 내에 있는 것을 요구한다.
일부 예에서, 제1 규칙은 제1 범위 내에 있지 않은 복수의 자체 비교 점수 중 최대한으로 하나의 이상치를 요구하고, 제2 규칙은 제2 범위 내의 복수의 자체 비교 점수를 요구한다.
일부 예에서, 제2 범위는 제1 범위를 포함하고, 제1 범위의 적어도 2배(예컨대, 2배, 3배 등)이다.
일부 예에서, 제1 규칙은 제1 범위 내의 복수의 자체 비교 점수의 제1 서브세트를 요구하고, 제2 규칙은 제2 범위의 외부의 자체 비교 점수를 요구하지 않는다.
S340에서, 복수의 자체 비교 점수가 제1 규칙 및 제2 규칙을 만족시킬 때, 대상자에 의한 점수는 주관적 평가를 위하여 자격부여하는 것으로 결정된다.
일부 예에서, 복수의 자체 비교 점수가 제1 규칙 및 제2 규칙 중의 적어도 하나에 불합격할 때, 대상자에 의한 점수는 주관적 평가로부터 제외된다.
그 다음으로, 프로세스는 S399로 진행하여 종결된다.
프로세스(300)는 적당하게 적응될 수 있다. 프로세스(300)에서의 단계(들)는 수정될 수 있고 및/또는 생략될 수 있다. 추가적인 단계(들)가 추가될 수 있다. 구현예의 임의의 적당한 순서가 이용될 수 있다.
위에서 설명된 기법은 컴퓨터-판독가능 명령을 이용하고 하나 이상의 컴퓨터-판독가능 매체 내에 물리적으로 저장된 컴퓨터 소프트웨어로서 구현될 수 있다. 예를 들어, 도 4는 개시된 발명 요지의 어떤 실시예를 구현하기 위하여 적당한 컴퓨터 시스템(400)을 도시한다.
컴퓨터 소프트웨어는, 하나 이상의 컴퓨터 중앙 프로세싱 유닛(CPU : central processing unit), 그래픽 프로세싱 유닛(GPU : Graphics Processing Unit) 등에 의해 직접적으로, 또는 해독, 마이크로-코드 실행 등을 통해 실행될 수 있는 명령을 포함하는 코드를 생성하기 위하여 어셈블리(assembly), 컴파일링(compilation), 링크(linking) 등의 대상이 될 수 있는 임의의 적당한 머신 코드 또는 컴퓨터 언어를 이용하여 코딩될 수 있다.
명령은 예를 들어, 개인용 컴퓨터, 태블릿 컴퓨터, 서버, 스마트폰, 게이밍 디바이스, 사물 인터넷 디바이스 등을 포함하는 다양한 유형의 컴퓨터 또는 그 컴포넌트 상에서 실행될 수 있다.
컴퓨터 시스템(400)을 위한 도 4에서 도시된 컴포넌트는 본질적으로 예시적이고, 본 개시내용의 실시예를 구현하는 컴퓨터 소프트웨어의 이용 또는 기능성의 범위에 대한 임의의 제한을 제안하도록 의도되지는 않는다. 컴포넌트의 구성은 컴퓨터 시스템(400)의 예시적인 실시예에서 예시된 컴포넌트의 임의의 하나 또는 그 조합에 관련되는 임의의 종속성 또는 요건을 가지는 것으로서 해독되지 않아야 한다.
컴퓨터 시스템(400)은 어떤 인간 인터페이스 입력 디바이스를 포함할 수 있다. 이러한 인간 인터페이스 입력 디바이스는 예를 들어, (키스트로크(keystroke), 스와이프(swipe), 데이터 글러브(data glove) 이동과 같은) 촉각적 입력, (보이스, 클랩핑(clapping)과 같은) 오디오 입력, (제스처(gesture)와 같은) 시각적 입력, 후각적 입력(도시되지 않음)을 통한 하나 이상의 인간 사용자에 의한 입력에 응답할 수 있다. 인간 인터페이스 디바이스는 또한, (음성, 음악, 주변 사운드와 같은) 오디오, (스캔된 이미지, 스틸 이미지 카메라로부터 획득된 사진 이미지와 같은) 이미지, (2 차원 비디오, 입체적 비디오를 포함하는 3 차원 비디오와 같은) 비디오와 같은, 인간에 의한 지각적 입력에 반드시 직접적으로 관련되지 않은 어떤 미디어를 캡처하기 위하여 이용될 수 있다.
입력 인간 인터페이스 디바이스는 키보드(401), 마우스(402), 트랙패드(403), 터치 스크린(410), 데이터-글러브(도시되지 않음), 조이스틱(405), 마이크로폰(406), 스캐너(407), 카메라(408) 중의 하나 이상(각각의 도시된 것의 오직 하나)을 포함할 수 있다.
컴퓨터 시스템(400)은 또한, 어떤 인간 인터페이스 출력 디바이스를 포함할 수 있다. 이러한 인간 인터페이스 출력 디바이스는 예를 들어, 촉각적 출력, 음, 광, 및 냄새/맛을 통해 하나 이상의 인간 사용자의 감각을 자극하는 것일 수 있다. 이러한 인간 인터페이스 출력 디바이스는 촉각적 출력 디바이스(예를 들어, 터치-스크린(410), 데이터-글로브(도시되지 않음), 또는 조이스틱(405)에 의한 촉각적 피드백이지만, 입력 디바이스로서 역할을 하지 않는 촉각적 피드백 디바이스가 또한 있을 수 있음), (스피커(409), 헤드폰(도시되지 않음)과 같은) 오디오 출력 디바이스, (각각이 터치-스크린 입력 능력을 갖거나 갖지 않고, 각각이 촉각적 피드백 능력을 갖거나 갖지 않고, 그 일부는 입체적 출력, 가상 현실 안경(도시되지 않음), 홀로그래픽 디스플레이, 및 연기 탱크(smoke tank)(도시되지 않음)와 같은 수단을 통해 2 차원 시각적 출력 또는 3 차원 초과 출력을 출력하는 것이 가능할 수 있는, CRT 스크린, LCD 스크린, 플라즈마 스크린, OLED 스크린을 포함하기 위한 스크린(410)과 같은) 시각적 출력 디바이스, 및 프린터(도시되지 않음)를 포함할 수 있다.
컴퓨터 시스템(400)은 또한, CD/DVD 또는 유사한 매체(421)를 갖는 CD/DVD ROM/RW(420)를 포함하는 광학 매체, 썸-드라이브(thumb-drive)(422), 분리가능 하드 드라이브 또는 솔리드 스테이트 드라이브(423), 테이프 및 플로피 디스크(도시되지 않음)와 같은 레거시 자기 매체, 보안 동글(security dongle)(도시되지 않음)과 같은 특화된 ROM/ASIC/PLD 기반 디바이스 등과 같은 인간 액세스가능한 저장 디바이스 및 그 연관된 매체를 포함할 수 있다.
본 기술분야에서의 통상의 기술자는 또한, 현재 개시된 발명 요지와 관련하여 이용된 바와 같은 용어 "컴퓨터 판독가능 매체"가 송신 매체, 반송파, 또는 다른 일시적 신호를 망라하지 않는다는 것을 이해해야 한다.
컴퓨터 시스템(400)은 또한, 하나 이상의 통신 네트워크(455)에 대한 인터페이스(454)를 포함할 수 있다. 네트워크는 예를 들어, 무선, 유선, 광학일 수 있다. 네트워크는 추가로, 로컬, 광역, 대도시, 차량 및 산업, 실시간, 내지연성(delay-tolerant) 등일 수 있다. 네트워크의 예는 이더넷(Ethernet), 무선 LAN, GSM, 3G, 4G, 5G, LTE 등을 포함하기 위한 셀룰러 네트워크, 케이블 TV, 위성 TV, 및 지상 방송 TV를 포함하기 위한 TV 유선 또는 무선 광역 디지털 네트워크, CANBus를 포함하기 위한 차량 및 산업 등과 같은 로컬 영역 네트워크를 포함한다. 어떤 네트워크는 (예를 들어, 컴퓨터 시스템(400)의 USB 포트와 같은) 어떤 범용 데이터 포트 또는 주변 버스(449)에 연결된 외부 네트워크 인터페이스 어댑터를 통상적으로 요구하고; 다른 것은 통상적으로, 이하에서 설명된 바와 같은 시스템 버스로의 연결(예를 들어, PC 컴퓨터 시스템으로의 이더넷 인터페이스, 또는 스마트폰 컴퓨터 시스템으로의 셀룰러 네트워크 인터페이스)에 의해 컴퓨터 시스템(400)의 코어로 통합된다. 이 네트워크 중의 임의의 것을 이용하여, 컴퓨터 시스템(400)은 다른 엔티티와 통신할 수 있다. 이러한 통신은 단방향성 수신 단독(예를 들어, 방송 TV), 단방향성 전송-단독(예를 들어, 어떤 CANbus 디바이스로의 CANbus), 또는 예를 들어, 로컬 또는 광역 디지털 네트워크를 이용하는 다른 컴퓨터 시스템으로의 양방향성일 수 있다. 어떤 프로토콜 및 프로토콜 스택(protocol stack)은 위에서 설명된 바와 같은 그 네트워크 및 네트워크 인터페이스의 각각 상에서 이용될 수 있다.
전술한 인간 인터페이스 디바이스, 인간-액세스가능한 저장 디바이스, 및 네트워크 인터페이스는 컴퓨터 시스템(400)의 코어(440)에 연결될 수 있다.
코어(440)는 하나 이상의 중앙 프로세싱 유닛(CPU)(441), 그래픽 프로세싱 유닛(GPU)(442), 필드 프로그래밍가능 게이트 어레이(FPGA)의 형태인 특화된 프로그래밍가능 프로세싱 유닛(443), 어떤 태스크를 위한 하드웨어 가속기(444), 그래픽 어댑터(450) 등을 포함할 수 있다. 이 디바이스는 판독-전용 메모리(ROM : Read-only memory)(445), 랜덤-액세스 메모리(446), 내부 비-사용자 액세스가능한 하드 드라이브와 같은 내부 대용량 스토리지, SSD(447) 등과 함께, 시스템 버스(448)를 통해 접속될 수 있다. 일부 컴퓨터 시스템에서, 시스템 버스(448)는 추가적인 CPU, GPU 등에 의한 확장을 가능하게 하기 위하여 하나 이상의 물리적 플러그의 형태로 액세스가능할 수 있다. 주변 디바이스는 직접적으로 코어의 시스템 버스(448)에, 또는 주변 버스(449)를 통해 연결될 수 있다. 예에서, 스크린(410)은 그래픽 어댑터(450)에 접속될 수 있다. 주변 버스를 위한 아키텍처는 PCI, USB 등을 포함한다.
CPU(441), GPU(442), FPGA(443), 및 가속기(444)는 전술한 컴퓨터 코드를 조합으로 구성할 수 있는 어떤 명령을 실행할 수 있다. 그 컴퓨터 코드는 ROM(445) 또는 RAM(446) 내에 저장될 수 있다. 과도적 데이터는 또한, RAM(446) 내에 저장될 수 있는 반면, 영구적 데이터는 예를 들어, 내부 대용량 스토리지(447) 내에 저장될 수 있다. 메모리 디바이스 중의 임의의 것에 대한 고속 저장 및 인출은 하나 이상의 CPU(441), GPU(442), 대용량 스토리지(447), ROM(445), RAM(446) 등과 밀접하게 연관될 수 있는 캐시 메모리의 이용을 통해 가능하게 될 수 있다.
컴퓨터 판독가능 매체는 다양한 컴퓨터-구현된 동작을 수행하기 위하여 그 상에서 컴퓨터 코드를 가질 수 있다. 매체 및 컴퓨터 코드는 본 개시내용의 목적을 위하여 특수하게 설계되고 구성된 것일 수 있거나, 이들은 컴퓨터 소프트웨어 기술분야에서 통상의 기술자에게 널리 공지되고 이용가능한 종류일 수 있다.
제한이 아닌 예로서, 아키텍처(400) 및 구체적으로 코어(440)를 가지는 컴퓨터 시스템은 하나 이상의 유형의 컴퓨터-판독가능 매체에서 구체화된 소프트웨어를 실행하는 (CPU, GPU, FPGA, 가속기 등을 포함하는) 프로세서(들)의 결과로서의 기능성을 제공할 수 있다. 이러한 컴퓨터-판독가능 매체는 위에서 도입된 바와 같은 사용자-액세스가능한 대용량 스토리지 뿐만 아니라, 코어-내부 대용량 스토리지(447) 또는 ROM(445)과 같은, 비-일시적 본질인 코어(440)의 어떤 스토리지와 연관된 매체일 수 있다. 본 개시내용의 다양한 실시예를 구현하는 소프트웨어는 이러한 디바이스 내에 저장될 수 있고 코어(440)에 의해 실행될 수 있다. 컴퓨터-판독가능 매체는 특정한 필요성에 따라, 하나 이상의 메모리 디바이스 또는 칩을 포함할 수 있다. 소프트웨어는 코어(440) 및 구체적으로, (CPU, GPU, FPGA 등을 포함하는) 그 안의 프로세서로 하여금, RAM(446) 내에 저장된 데이터 구조를 정의하는 것, 및 소프트웨어에 의해 정의된 프로세스에 따라 이러한 데이터 구조를 수정하는 것을 포함하는, 본 명세서에서 설명된 특정한 프로세스 또는 특정한 프로세스의 특정한 부분을 실행하게 할 수 있다. 추가적으로 또는 대안으로서, 컴퓨터 시스템은 본 명세서에서 설명된 특정한 프로세스 또는 특정한 프로세스의 특정한 부분을 실행하기 위하여 소프트웨어 대신에 또는 소프트웨어와 함께 동작할 수 있는, 회로(예를 들어, 가속기(444))에서 와이어링되거나 또는 구체화된 로직의 결과로서의 기능성을 제공할 수 있다. 소프트웨어에 대한 참조는 로직을 망라할 수 있고, 적절할 경우에 그 반대도 마찬가지이다. 컴퓨터-판독가능 매체에 대한 참조는 실행을 위한 소프트웨어를 저장하는 (집적 회로(IC : integrated circuit)와 같은) 회로, 실행을 위한 로직을 구체화하는 회로, 또는 적절할 경우에 둘 모두를 망라할 수 있다. 본 개시내용은 하드웨어 및 소프트웨어의 임의의 적당한 조합을 망라한다.
이 개시내용은 몇몇 예시적인 실시예를 설명하였지만, 개시내용의 범위 내에 속하는 개조, 치환, 다양한 적당한 등가물이 있다. 본 기술분야에서의 통상의 기술자는, 본 명세서에서 명시적으로 도시되거나 설명되지 않았지만, 개시내용의 원리를 구체화하고, 이에 따라, 그 사상 및 범위 내에 있는 수많은 시스템 및 방법을 고안할 수 있을 것이라는 것이 이에 따라 인식될 것이다.

Claims (20)

  1. 주관적 평가 방법으로서,
    몰입형 오디오 또는 비디오 미디어 프리젠테이션(media presentation)에 대해 대상자에 의해 등급화된 점수를 수신하는 단계 - 상기 대상자에 의한 점수는 상기 몰입형 오디오 또는 비디오 미디어 프리젠테이션 내의 자체 비교 테스트에 대해 등급화되는 복수의 자체 비교 점수를 포함함 -;
    제1 규칙을 상기 복수의 자체 비교 점수에 적용하는 단계 - 상기 제1 규칙은 제1 범위 내의 상기 복수의 자체 비교 점수의 제1 서브세트를 요구함 -;
    제2 규칙을 상기 복수의 자체 비교 점수에 적용하는 단계 - 상기 제2 규칙은 제2 범위에 따라 상기 복수의 자체 비교 점수 중 적어도 이상치 점수(outlier score)를 상기 제1 규칙으로 제한하기 위하여, 상기 제2 범위 내의 상기 복수의 자체 비교 점수의 제2 서브세트를 요구함 -; 및
    상기 제1 규칙 및 상기 제2 규칙이 충족되는 것에 응답하여, 상기 대상자에 의한 점수가 상기 주관적 평가를 위하여 자격부여되는 것으로 결정하는 단계
    를 포함하는 주관적 평가 방법.
  2. 제1항에 있어서,
    상기 제1 규칙은 적어도 N1 개의 자체 비교 점수가 [-M1, M1]의 상기 제1 범위 내에 있는 요건을 포함하고, N1은 N-1 이하인 제1 양의 정수이고, N은 상기 자체 비교 테스트의 총 수이고,
    상기 제2 규칙은 적어도 N2 개의 자체 비교 점수가 [-M2, M2]의 상기 제2 범위 내에 있는 요건을 포함하고, N2는 N 이하인 제2 양의 정수이고, M1 및 M2 각각은 양수인, 주관적 평가 방법.
  3. 제2항에 있어서,
    상기 제1 규칙은 적어도 N-1 개의 자체 비교 점수가 [-M1, M1]의 상기 제1 범위 내에 있는 요건을 포함하고,
    상기 제2 규칙은 N 개의 자체 비교 점수가 [-M2, M2]의 상기 제2 범위 내에 있는 요건을 포함하는, 주관적 평가 방법.
  4. 제1항에 있어서,
    상기 점수는 4개의 자체 비교 테스트에 대한 4개의 자체 비교 점수를 포함하고,
    상기 제1 규칙은 적어도 3개의 자체 비교 점수가 [-0.5, 0.5]의 상기 제1 범위 내에 있는 요건을 포함하고,
    상기 제2 규칙은 모든 4개의 자체 비교 점수가 [-1.5, 1.5]의 제2 범위 내에 있는 요건을 포함하는, 주관적 평가 방법.
  5. 제1항에 있어서,
    상기 복수의 자체 비교 점수가 상기 제1 규칙 및 상기 제2 규칙 중의 적어도 하나에 불합격하는 것에 응답하여, 상기 주관적 평가로부터 상기 대상자에 의한 점수를 제외하는 단계를 더 포함하는 주관적 평가 방법.
  6. 제1항에 있어서,
    상기 제1 규칙은 상기 제1 범위 내의 상기 복수의 자체 비교 점수의 대부분을 요구하고, 상기 복수의 자체 비교 점수는 상기 제2 범위 내에 있는, 주관적 평가 방법.
  7. 제1항에 있어서,
    상기 제1 규칙은 상기 제1 범위 내에 있지 않은 상기 복수의 자체 비교 점수 중 최대한으로 하나의 이상치를 요구하고, 상기 제2 규칙은 상기 제2 범위 내의 상기 복수의 자체 비교 점수를 요구하는, 주관적 평가 방법.
  8. 제1항에 있어서,
    상기 제2 범위는 상기 제1 범위를 포함하는, 주관적 평가 방법.
  9. 제8항에 있어서,
    상기 제2 범위는 상기 제1 범위의 적어도 2배인, 주관적 평가 방법.
  10. 제1항에 있어서,
    상기 제2 규칙은 상기 제2 범위의 외부의 자체 비교 점수를 요구하지 않는, 주관적 평가 방법.
  11. 주관적 평가를 위한 장치로서,
    프로세싱 회로부
    를 포함하고, 상기 프로세싱 회로부는,
    몰입형 오디오 또는 비디오 미디어 프리젠테이션에 대해 대상자에 의해 등급화된 점수를 수신하고 - 상기 대상자에 의한 점수는 상기 몰입형 오디오 또는 비디오 미디어 프리젠테이션 내의 자체 비교 테스트에 대해 등급화되는 복수의 자체 비교 점수를 포함함 -,
    제1 규칙을 상기 복수의 자체 비교 점수에 적용하고 - 상기 제1 규칙은 제1 범위 내의 상기 복수의 자체 비교 점수의 제1 서브세트를 요구함 -,
    제2 규칙을 상기 복수의 자체 비교 점수에 적용하고 - 상기 제2 규칙은 제2 범위에 따라 상기 복수의 자체 비교 점수 중 적어도 이상치 점수를 상기 제1 규칙으로 제한하기 위하여, 상기 제2 범위 내의 상기 복수의 자체 비교 점수의 제2 서브세트를 요구함 -,
    상기 제1 규칙 및 상기 제2 규칙이 충족되는 것에 응답하여, 상기 대상자에 의한 점수가 상기 주관적 평가를 위하여 자격부여되는 것으로 결정하도록
    구성되는, 장치.
  12. 제11항에 있어서,
    상기 제1 규칙은 적어도 N1 개의 자체 비교 점수가 [-M1, M1]의 상기 제1 범위 내에 있는 요건을 포함하고, N1은 N-1 이하인 제1 양의 정수이고, N은 상기 자체 비교 테스트의 총 수이고,
    상기 제2 규칙은 적어도 N2 개의 자체 비교 점수가 [-M2, M2]의 상기 제2 범위 내에 있는 요건을 포함하고, N2는 N 이하인 제2 양의 정수이고, M1 및 M2 각각은 양수인, 장치.
  13. 제12항에 있어서,
    상기 제1 규칙은 적어도 N-1 개의 자체 비교 점수가 [-M1, M1]의 상기 제1 범위 내에 있는 요건을 포함하고,
    상기 제2 규칙은 적어도 N 개의 자체 비교 점수가 [-M2, M2]의 상기 제2 범위 내에 있는 요건을 포함하는, 장치.
  14. 제11항에 있어서,
    상기 점수는 4개의 자체 비교 테스트에 대한 4개의 자체 비교 점수를 포함하고,
    상기 제1 규칙은 적어도 3개의 자체 비교 점수가 [-0.5, 0.5]의 상기 제1 범위 내에 있는 요건을 포함하고,
    상기 제2 규칙은 모든 4개의 자체 비교 점수가 [-1.5, 1.5]의 제2 범위 내에 있는 요건을 포함하는, 장치.
  15. 제11항에 있어서,
    상기 프로세싱 회로부는,
    상기 복수의 자체 비교 점수가 상기 제1 규칙 및 상기 제2 규칙 중의 적어도 하나에 불합격하는 것에 응답하여, 상기 주관적 평가로부터 상기 대상자의 점수를 제외하도록 구성되는, 장치.
  16. 제11항에 있어서,
    상기 제1 규칙은 상기 제1 범위 내의 상기 복수의 자체 비교 점수의 대부분을 요구하고, 상기 제2 규칙은 상기 복수의 자체 비교 점수가 상기 제2 범위 내에 있는 것을 요구하는, 장치.
  17. 제11항에 있어서,
    상기 제1 규칙은 상기 제1 범위 내에 있지 않은 상기 복수의 자체 비교 점수 중 최대한으로 하나의 이상치를 요구하고, 상기 제2 규칙은 상기 제2 범위 내의 상기 복수의 자체 비교 점수를 요구하는, 장치.
  18. 제11항에 있어서,
    상기 제2 범위는 상기 제1 범위를 포함하고, 상기 제1 범위의 적어도 2배인, 장치.
  19. 제11항에 있어서,
    상기 제2 규칙은 상기 제2 범위의 외부의 자체 비교 점수를 요구하지 않는, 장치.
  20. 명령을 저장하는 비-일시적 컴퓨터-판독가능 저장 매체로서,
    상기 명령은, 적어도 하나의 프로세서에 의해 실행될 때, 상기 적어도 하나의 프로세서로 하여금,
    몰입형 오디오 또는 비디오 미디어 프리젠테이션에 대해 대상자에 의해 등급화된 점수를 수신하는 것 - 상기 대상자에 의한 점수는 상기 몰입형 오디오 또는 비디오 미디어 프리젠테이션 내의 자체 비교 테스트에 대해 등급화되는 복수의 자체 비교 점수를 포함함 -;
    제1 규칙을 상기 복수의 자체 비교 점수에 적용하는 것 - 상기 제1 규칙은 제1 범위 내의 상기 복수의 자체 비교 점수의 제1 서브세트를 요구함 -;
    제2 규칙을 상기 복수의 자체 비교 점수에 적용하는 것 - 상기 제2 규칙은 제2 범위에 따라 상기 복수의 자체 비교 점수 중 적어도 이상치 점수를 상기 제1 규칙으로 제한하기 위하여, 상기 제2 범위 내의 상기 복수의 자체 비교 점수의 제2 서브세트를 요구함 -; 및
    상기 제1 규칙 및 상기 제2 규칙이 충족되는 것에 응답하여, 상기 대상자에 의한 점수가 주관적 평가를 위하여 자격부여되는 것으로 결정하는 것
    을 수행하게 하는, 컴퓨터-판독가능 저장 매체.
KR1020237008088A 2021-07-01 2022-06-02 대상자 점수화 시의 자격부여 테스트 Active KR102779764B1 (ko)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US202163217439P 2021-07-01 2021-07-01
US63/217,439 2021-07-01
US17/752,551 US11877033B2 (en) 2021-07-01 2022-05-24 Qualification test in subject scoring
US17/752,551 2022-05-24
PCT/US2022/072708 WO2023278926A1 (en) 2021-07-01 2022-06-02 Qualification test in subject scoring

Publications (2)

Publication Number Publication Date
KR20230045083A true KR20230045083A (ko) 2023-04-04
KR102779764B1 KR102779764B1 (ko) 2025-03-10

Family

ID=84690681

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020237008088A Active KR102779764B1 (ko) 2021-07-01 2022-06-02 대상자 점수화 시의 자격부여 테스트

Country Status (6)

Country Link
US (1) US11877033B2 (ko)
EP (1) EP4179434A4 (ko)
JP (1) JP7677666B2 (ko)
KR (1) KR102779764B1 (ko)
CN (1) CN116324905A (ko)
WO (1) WO2023278926A1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130046756A1 (en) * 2011-08-15 2013-02-21 Ming C. Hao Visualizing Sentiment Results with Visual Indicators Representing User Sentiment and Level of Uncertainty
WO2017011818A1 (en) * 2015-07-16 2017-01-19 Blast Motion Inc. Sensor and media event detection and tagging system
KR20200004388A (ko) * 2017-05-08 2020-01-13 후아웨이 테크놀러지 컴퍼니 리미티드 Vr 멀티미디어의 경험 품질을 결정하기 위한 방법 및 장치
US10733561B2 (en) * 2017-01-04 2020-08-04 Dion Sullivan System and method for analyzing media for talent discovery
KR102258636B1 (ko) * 2019-07-25 2021-05-31 주식회사 제네시스랩 면접영상 자동평가모델을 학습시키는 방법, 시스템 및 컴퓨터-판독가능 매체

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004013277A (ja) 2002-06-04 2004-01-15 Ntt Data Corp アンケート管理装置及びアンケート管理プログラム
US20080147742A1 (en) 2006-12-13 2008-06-19 Chris Allen Method and system for evaluating evaluators
JP2011174994A (ja) 2010-02-23 2011-09-08 Seiko Epson Corp 画像表示装置
JP5346876B2 (ja) 2010-05-24 2013-11-20 日本電信電話株式会社 アンケート集計方法、アンケートシステム、サーバ装置、クライアント装置
US20180130075A1 (en) * 2015-03-16 2018-05-10 Amazon Technologies, Inc. Analysis of media consumption for new media production
US9578379B1 (en) * 2015-09-29 2017-02-21 Rovi Guides, Inc. Scene-by-scene viewer ratings
CN110381811A (zh) * 2017-03-04 2019-10-25 迪内希·维斯瓦·古纳塞克朗 视觉表现评估
WO2018226452A1 (en) * 2017-06-08 2018-12-13 Honeywell International Inc. Apparatus and method for assessing and tracking user competency in augmented/virtual reality-based training in industrial automation systems and other systems
CN107948748B (zh) * 2017-11-30 2021-08-17 奇酷互联网络科技（深圳）有限公司 推荐视频的方法、设备、移动终端及计算机存储介质
US12282727B2 (en) * 2020-11-23 2025-04-22 Microsoft Technology Licensing, Llc Automatic document sketching

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130046756A1 (en) * 2011-08-15 2013-02-21 Ming C. Hao Visualizing Sentiment Results with Visual Indicators Representing User Sentiment and Level of Uncertainty
WO2017011818A1 (en) * 2015-07-16 2017-01-19 Blast Motion Inc. Sensor and media event detection and tagging system
US10733561B2 (en) * 2017-01-04 2020-08-04 Dion Sullivan System and method for analyzing media for talent discovery
KR20200004388A (ko) * 2017-05-08 2020-01-13 후아웨이 테크놀러지 컴퍼니 리미티드 Vr 멀티미디어의 경험 품질을 결정하기 위한 방법 및 장치
KR102258636B1 (ko) * 2019-07-25 2021-05-31 주식회사 제네시스랩 면접영상 자동평가모델을 학습시키는 방법, 시스템 및 컴퓨터-판독가능 매체

Also Published As

Publication number Publication date
EP4179434A1 (en) 2023-05-17
CN116324905A (zh) 2023-06-23
WO2023278926A1 (en) 2023-01-05
US20230007349A1 (en) 2023-01-05
JP7677666B2 (ja) 2025-05-15
US11877033B2 (en) 2024-01-16
KR102779764B1 (ko) 2025-03-10
JP2023544196A (ja) 2023-10-20
EP4179434A4 (en) 2023-11-22

Similar Documents

Publication Publication Date Title
JP7625693B2 (ja) デバイスにおけるメディア処理の方法、装置及びプログラム
KR20230045083A (ko) 대상자 점수화 시의 자격부여 테스트
US11595730B2 (en) Signaling loudness adjustment for an audio scene
JP7449405B2 (ja) オーディオ処理における方法及び装置
KR102756295B1 (ko) 음향 및 시각 장면들의 일치성
JP7628555B2 (ja) 複数の測定による推定のための方法、装置及びプログラム
JP7609506B2 (ja) オーディオシーンの関心スペースのための方法および装置
JP7619727B2 (ja) 没入型メディアの互換性
KR102705355B1 (ko) 몰입형 미디어 상호운용성
KR20230003091A (ko) 오디오 장면의 관심 공간을 표현하기 위한 방법 및 장치

Legal Events

Date Code Title Description
A201 Request for examination
PA0105 International application

Patent event date: 20230307

Patent event code: PA01051R01D

Comment text: International Patent Application

PA0201 Request for examination

Patent event code: PA02012R01D

Patent event date: 20230307

Comment text: Request for Examination of Application

PG1501 Laying open of application
E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20240721

Patent event code: PE09021S01D

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20250224

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20250306

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20250306

End annual number: 3

Start annual number: 1

PG1601 Publication of registration