[go: up one dir, main page]

KR101713041B1 - 일반화된 플레인 인코딩을 이용한 확률적 깊이 버퍼 압축 - Google Patents

일반화된 플레인 인코딩을 이용한 확률적 깊이 버퍼 압축 Download PDF

Info

Publication number
KR101713041B1
KR101713041B1 KR1020157005079A KR20157005079A KR101713041B1 KR 101713041 B1 KR101713041 B1 KR 101713041B1 KR 1020157005079 A KR1020157005079 A KR 1020157005079A KR 20157005079 A KR20157005079 A KR 20157005079A KR 101713041 B1 KR101713041 B1 KR 101713041B1
Authority
KR
South Korea
Prior art keywords
depth
graphics
video processing
tile
rasterizer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
KR1020157005079A
Other languages
English (en)
Other versions
KR20150038428A (ko
Inventor
매그너스 앤더슨
칼 제이 먼크버그
토마스 지 아케닌-뮬러
존 엔 하셀그렌
Original Assignee
인텔 코포레이션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 인텔 코포레이션 filed Critical 인텔 코포레이션
Publication of KR20150038428A publication Critical patent/KR20150038428A/ko
Application granted granted Critical
Publication of KR101713041B1 publication Critical patent/KR101713041B1/ko
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/40—Filling a planar surface by adding surface attributes, e.g. colour or texture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/40—Hidden part removal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Geometry (AREA)
  • Computer Graphics (AREA)
  • Multimedia (AREA)
  • Computing Systems (AREA)
  • Image Generation (AREA)
  • Processing Or Creating Images (AREA)

Abstract

깊이 함수가 평면인 정적 프리미티브와는 달리, 이동하는 디포커싱된 삼각형에 대한 깊이 함수는 시간 및 렌즈 파라미터들에서 래셔널 함수이다. 콤팩트 깊이 함수들은 전체 깊이 버퍼 대역폭 이용을 크게 낮추는 효율적인 깊이 버퍼 압축기/압축 해제기를 설계하는데 이용될 수 있다. 또한, 이러한 압축기/압축 해제기는 실행을 위해 필요한 동작들의 수에 있어서 실질적으로 더욱 간단하고, 그것은 이전의 방법들보다 하드웨어 구현을 위해 더욱 순응적이게 만든다.

Description

일반화된 플레인 인코딩을 이용한 확률적 깊이 버퍼 압축{STOCHASTIC DEPTH BUFFER COMPRESSION USING GENERALIZED PLANE ENCODING}
관련 출원에 대한 상호 참조
본 출원은 2012년 9월 27일에 출원된 가출원 제 61/706,177 호에 대한 우선권을 주장하며, 이는 본 명세서에서 명시적으로 참조로 인용된다.
배경기술
깊이 버퍼링(depth buffering)은 래스터화 파이프라인(rasterization pipeline)에서의 객체들 사이의 가시성을 해결하기 위한 표준 기술이다. 깊이 버퍼는 샘플을 중첩하는 모든 이전에 렌더링된 삼각형들의 현재의 가장 근접한 깊이를 나타내는, 각 샘플에 대한 깊이 값을 유지한다. 깊이 값 d는 다수의 방식으로 정의될 수 있다.
픽셀당 많은 샘플들을 갖는 확률적 래스터화기(stochastic rasterizer)에서, 깊이 버퍼 대역폭 요건들은 통상적인 것보다 상당히 높으며, 깊이 데이터는 가능하면 압축되어야 한다. 대부분의 깊이 버퍼 압축 방안들은, 삼각형으로부터의 깊이 값들이 플레인(plane)에 의해 표현될 수 있다는 사실을 이용한다. 불행히도, 이동하는 디포커싱된 삼각형들에 대해, 이것은 더 이상 적용되지 않는다.
정적(2D) 래스터화기에서, 깊이 함수는 플레인으로서 표현될 수 있다. 이것은 많은 깊이 압축 방안들에 의해 이용된다. 플레인 인코딩은, 래스터화기로부터 직접 인입되는 정보를 이용하기 때문에, 다른 알고리즘들과는 상이하며, 따라서, 압축기에서 래스터화기와 정확하게 동일한 플레인 수학식 표현을 이용한다. 깊이 정보는 플레인들의 세트 및 각 타일에 대한 샘플당 플레인 선택 마스크로서 저장된다. 타일을 중첩하는 삼각형들이 거의 없을 때, 플레인 수학식들 및 선택 마스크들을 저장하는 것은, 단순히 샘플당 깊이를 저장하는 것보다 더욱 콤팩트한 것이다. 그러나, 너무 많은 삼각형들이 타일을 중첩할 때, 다수의 깊이 플레인들의 저장 비용은 샘플당 깊이 값들을 직접 저장하는 것보다 높다. 각각의 타일에 대해, 깊이 압축은 디스에이블되거나, 또는 (통상적으로 플레인 인코딩 뿐만 아니라 압축할 수 없는) 다른 압축 알고리즘이 적용될 수 있다.
플레인 인코딩은 정적인 2차원 래스터화에 매우 유용하지만, 깊이 함수가 보다 복잡한 보다 높은 차수의 래스터화에 대해 정적 플레인들을 이용하는 것은 충분하지 않다.
일부 실시예들이 이하의 도면에 대하여 기술된다.
도 1은 일 실시예에 대한 개략도이다.
도 2는 일 실시예에 따른 시퀀스에 대한 흐름도이다.
도 3은 4개의 층에 의해 나타내진 픽셀당 4개의 샘플을 갖는 4 x 4 픽셀에 대한 모션 블러의 도면이다.
도 4는 디포커스 블러에 대한 도면이다.
도 5는 일 실시예의 시스템 도면이다.
도 6은 일 실시예의 정면도이다.
플레인 인코딩은 모션 블러(motion blur) 및 피사계 심도(depth of field)와 같은 확률적 효과들을 포함하도록 일반화될 수 있다. 깊이 함수 계수들은 래스터화기에서 계산되어, 압축기로 전달된다. 표준 플레인 인코딩은
Figure 112015019292485-pct00001
형태로 깊이 함수(즉, 플레인)당 3개의 계수를 이용하여, 삼각형의 깊이를 나타낸다. 삼각형이 모션 블러 및 피사계 심도와 같은 확률적 효과들을 겪을 때, 깊이 함수는 더 이상 플레인이 아니다. 그러나, 삼각형당 보다 많은 계수들을 저장함으로써 d=f(x,y,u,v,t) 형태로 깊이 함수를 여전히 도출할 수 있다.
이러한 방법의 이점들은, 일부 실시예들에서, 이전의 방법들보다 상당히 더 효율적인 암축 알고리즘을 포함한다. 이것은 가능하게는 래스터화 셋업으로부터 직접 깊이 함수의 분석적 표현을 제공하고, 이전의 방법들에서와 같은 압축기에서의 보다 낮은 차수의 표현을 찾는 비용을 회피함으로써 행해진다. 이전의 플레인 압축 방법들과는 달리, 이러한 방법은 모션 블러 및 피사계 심도 효과들에 대해 매우 적절한 것이며, 이러한 경우들에 대해 실패하지 않는다. 더욱이, 이러한 방법은 분석적 표현에 대해 동작하기 때문에, 일부 실시예들에서, 부동 소수점 정밀도 깊이 버퍼들에 대해 마찬가지로 잘 동작할 수 있다.
깊이 함수들에 대한 수학적 표현은 모션 블러 및 피사계 심도의 경우에 분석될 수 있다. 그러한 표현들이 다소 복잡한 것으로 나타날 수 있지만, 그것은 효율적으로 간략화될 수 있으며, 깊이 함수들에 대한 콤팩트한 형태들을 이용하여 확률적 래스터화에 대해 상당히 우수한 평균 압축 비율을 갖는 알고리즘들을 설계할 수 있다.
일반적으로, 압축기 및 압축 해제기가 깊이 시스템에 존재한다. 압축/압축 해제가, 전형적으로 직사각형 스크린-공간 영역 내부의 깊이 샘플들의 세트인 타일에 적용된다.
클립 공간 정점 위치들(clip space vertex positions)
Figure 112015019292485-pct00002
을 갖는 삼각형을 갖는 것으로 가정한다. 동질의 래스터화에서, 2차원 동질(2DH) 에지 수학식
Figure 112015019292485-pct00003
은 이미지 플레인 위치 x = (x,y,1)의 거리 계산, 및 예를 들면,
Figure 112015019292485-pct00004
을 갖는 원점을 통과하는 에지 플레인에 대응한다.
임의의 정점당 속성 Ak는 삼각형에 걸쳐 보간된다. 삼각형의 무게 중심 좌표들 B0, B1, B2는 대응하는 2DH 에지 수학식을 평가 및 정규화함으로써 발견될 수 있으며, 아래와 같이 된다.
Figure 112015019292485-pct00005
주어진 샘플 포인트 x에 대한 보간된 속성 A는 표준 무게 중심 보간에 의해 발견될 수 있다.
Figure 112015019292485-pct00006
깊이 값 d는 z 및 w를 개별적으로 보간한 후, 분할을 수행함으로써 형성된다.
Figure 112015019292485-pct00007
분모를 검토해 보면, 다음을 알게 되며,
Figure 112015019292485-pct00008
그것은 (x, y)와 독립적이다. 이것은 원점 및 삼각형에 의해 확장된 4면체의 사인된 볼륨의 6배이며, 삼각형이 배면인지 검출하는데 이용될 수 있다.
표준 보호 매트릭스를 이용한다면, (zcam, 1)의 클립 공간 (z, w)으로의 변환은 다음과 같이 표현될 수 있다(참고, 표준 Direct3D 보호 매트릭스).
Figure 112015019292485-pct00009
그 다음, 깊이 함수가 간략화될 수 있다. 계수들 a 및 b는 znear 및 zfar에만 의존한다. 수학식 2와 3을 결합하여, 간략화하면 다음과 같다.
Figure 112015019292485-pct00010
이제, 오늘날 렌더링 시스템에서 널리 이용되는 2D 깊이 함수를 도출한다. 그러나, 수학식 5는 그것이 보다 높은 차원들에서 샘플링된 깊이에 대해 유지되도록 확대될 수 있다. 예를 들어, 모션 블러 및 피사계 심도를 추가하는 것은, z, w 및 에지 수학식들이 서텨 시간 t 및 렌즈 위치 (u, v)의 함수들임을 의미한다. 따라서, 깊이 함수를 보다 일반적인 형태로 기재할 수 있다.
Figure 112015019292485-pct00011
여기서, ...은 새로운, 확대된 차원들로 대체되어야 한다.
모션 블러 및 디포커스 블러를 포함하는 보다 높은 차수의 래스터화의 경우, 정적 플레인 수학식들은 깊이 함수들을 나타내는데 적절하지 않으며, 그것은 깊이 함수들이 그러한 경우들에 있어서 훨씬 더 복잡하기 때문이다. 모션 블러에 대해, 깊이 함수는, 예를 들면, 3차 래셔널 다항식(cubic rational polynomial)이다. 따라서, 플레인 인코딩 방법은 모션 블러 및 디포커스 블러를 또한 처리하기 위해 일반화된다.
일반화된 플레인 인코딩(GPE) 알고리즘은, 모션 블러 및/또는 디포커스된 플레인 수학식들에 대한 플레인 수학식들이 보다 많은 저장장치(storage)를 이용하고, 깊이 함수들이 평가하기에 더 비싸다는 것을 제외하고는, 정적 플레인 인코딩과 거의 동일하다. 이것은 보다 복잡한 에지 수학식들 ek 및 wk 구성요소들에 기초하는 수학식 6에서 볼 수 있다. 그러나, 특정한 경우들에 대해 요구되는 계수들의 수는 상당히 감소될 수 있어, 압축된 표현에서의 보다 많은 플레인들에 대해 적합하게 할 수 있다. 이것은 보다 높은 압출 비율 및 보다 빠른 깊이 평가를 초래한다.
정적 플레인 인코딩과 유사하게, 일반화된 깊이(예를 들면, 모션 및 디포커스 블러)에 대한 압축 표현은 가변적인 수의 일반화된 플레인 수학식들 및 샘플당 플레인 선택기 비트마스크를 포함한다. 압축된 표현에 최대 n개의 플레인 수학식들이 존재한다면, 각각의 샘플은 플레인 선택기 비트마스크에 대해 [log n] 비트를 필요로 한다. 다음, 보다 높은 차수의 래스터화에 대해 깊이 함수들을 간략화한다.
매트릭스 형태 상에 시간 의존적 속성 보간을 설정함으로써 모션 블러에 대한 깊이 함수 도출을 시작한다. 그 다음, 삼각형의 보간된 깊이를 정확하게 나타내는데 필요한 계수들의 수를 감소시키는 것으로 이동한다.
모션 블러된 삼각형에 대한 깊이 함수들을 저장하는 한 가지 방안은, 총 4 x 4 x 2 = 24 좌표 값들(예를 들면, 부동 소수점)로 이루어지는, t=0 및 t=1에서의 모든 정점 위치들을 유지하는 것이다. 투영 매트릭스가 알려지고, 광역적으로 저장될 수 있다면, z는 예를 들면, 수학식 4를 이용하여 w로부터 도출될 수 있으므로, 단지 3 x 3 x 2 = 18 좌표 값들만이 필요하다. 이하의 설명에서, 보다 효율적인 저장을 가능하게 하는, 단지 13 값들만을 포함하도록, 깊이 함수가 재기록 및 간략화될 수 있는 방법을 보여준다.
이하의 도출에서, 정점들은 각각의 프레임 내의 클립 공간에서 선형적으로 이동한다. 따라서, 정점 위치 pk는 시간의 함수가 된다.
Figure 112015019292485-pct00012
여기서, dk는 정점 k에 대한 대응하는 모션 벡터이다. 정점들은 시간에 의존하기 때문에, 2HD 에지 수학식들은 t에서 2도 다항식(2nd degree polynomial)들을 형성한다.
Figure 112015019292485-pct00013
여기서, 다음과 같이 된다.
Figure 112015019292485-pct00014
편의성을 위해, 매트릭스 형태에 대해 에지 수학식을 재기록한다.
Figure 112015019292485-pct00015
그리고, t2 = (1,t,t2), x = (x,y,1) 및 Ck는 위에서 도시된 바와 같은 3 x 3 매트릭스이다.
매트릭스 표기 및 수학식 1을 결합함으로써, 모션 블러된 삼각형에 대해 정점 속성 Ak를 보간하는 방법의 일반적인 표현을 갖게 된다.
Figure 112015019292485-pct00016
그러나, 속성 자체가 t에 따라 변하여, 예를 들어,
Figure 112015019292485-pct00017
라면, 3도의 분자(an numerator of cubic degree)를 갖는, 삼각형에 대해 시간 의존적 속성을 보간하기 위한 일반적인 표현을 얻게 된다.
Figure 112015019292485-pct00018
여기서, t = (1,t,t2,t3)이고, 정점 속성들 Ak는 각각의 Ck로 승산되고 합산되어 4 x 3 계수 매트릭스 CA를 형성한다. 이러한 형태는 픽셀 중심에서 wclip 속성을 보간하는데 이용될 수 있다.
깊이 함수
Figure 112015019292485-pct00019
를 계산하기 위해, 이제 t의 선형 함수들, 예를 들면,
Figure 112015019292485-pct00020
및
Figure 112015019292485-pct00021
인 클립 공간 정점 위치들의 z 및 w 구성요소들의 무게 중심 보간을 수행한다.
깊이 함수 d(x,y,t)를 고려한다.
Figure 112015019292485-pct00022
여기서, 4 x 3 매트릭스:
Figure 112015019292485-pct00023
및 4 x 3 매트릭스 Cw는 대응적으로 정의된다. 이제, 깊이 함수를 편리한 형태로 갖지만, 요구되는 계수들의 수는 적어도 정점 위치들을 직접 저장하는 것만큼이다. 이제, 그 표현들을 간략화하기 위해, 계수 매트릭스들 Cz 및 Cw의 내용들을 검사할 것이다.
수학식 14 및 Ck의 정의를 이용하여, Cw의 첫 번째 및 마지막 행을 다음과 같이 표현할 수 있다.
Figure 112015019292485-pct00024
여기서, 마지막 단계에서, 항들은 x 및 y 구성요소들에 대해 0으로 소거된다. 2개의 남아 있는 행들은 비트가 보다 복잡한 것으로 보이지만, 유사한 도출 및 간략화를 가지며, 다음을 얻게 된다.
Figure 112015019292485-pct00025
이러한 표현들을 이용하여,
Figure 112015019292485-pct00026
을 (x, y)와는 독립적인 t에서의 이차 함수로서 공식화될 수 있다.
Figure 112015019292485-pct00027
여기서, 다음과 같이 된다.
Figure 112015019292485-pct00028
상이하게 표현된 분모
Figure 112015019292485-pct00029
는 (x, y)와는 독립적인 이동하는 삼각형, 예를 들면,
Figure 112015019292485-pct00030
에 대한 배면 상태(backface status)이다.
이러한 간력화들의 결과로서,
Figure 112015019292485-pct00031
는 x 및 y에 대한 의존성을 갖지 않으며, 단지 4개의 계수만을 요구하는, t에서의 3차 다항식으로 감소됨을 나타낸다. 따라서, 이러한 분석을 이용하여, 깊이 함수는 12 (for Cz) + 4 (for Cw) = 16 계수들에 의해 표현될 수 있으며, 그것은 모든 정점 위치들을 저장할 필요가 있는 24 계수들에 비교되어야 한다. 이러한 공식은 상당히 더 콤팩트하다.
수학식 4에 따라 표준 투영 매트릭스를 이용한다면, 깊이 함수를 더 간략화할 수 있다. 수학식 14로 되돌아가서, 투영 매트릭스로부터의 제약, 즉,
Figure 112015019292485-pct00032
및
Figure 112015019292485-pct00033
을 삽입한다면, 다음을 얻게 된다.
Figure 112015019292485-pct00034
이러한 결과를 수학식 13과 결합하여 최종적으로 아래의 수학식에 도달하게 된다.
Figure 112015019292485-pct00035
전술한 내용으로부터 볼 수 있듯이, 깊이 함수의 표현을 24 스칼라 값으로부터 13으로 감소시켰다(a 및 b가 그래픽 API(application program interface)에 의해 주어진다고 가정함).
다음, 공통 모션 벡터, 예를 들면, 순수 변환(pure translation)을 갖는 모두 3개의 삼각형 정점의 특별한 경우에 대한 추가적인 최적화를 고려한다. 이하의 예에서, 표준 투영 매트릭스가 이용되는 것으로 가정한다(즉, 수학식 4). 각각의 삼각형 정점의 변환된 클립 공간 위치
Figure 112015019292485-pct00036
는 p' = p + d이고, 여기서
Figure 112015019292485-pct00037
는 클립 공간 (xyw)에서의 벡터이다.
삼각형의 3개의 정점들에 대해 동일한 모든 모션 벡터들을 가지고, 간략화된 깊이 함수를 도출할 수 있다. 계수들 fk = 0, 및 이하의 내용을 주지한다.
Figure 112015019292485-pct00038
더욱이, 그것은 이하를 유지한다.
Figure 112015019292485-pct00039
그 다음, 깊이 함수는 다음과 같이 간력화될 수 있다.
Figure 112015019292485-pct00040
깊이 함수의 표현을 18 스칼라 값으로부터 5로 감소시켰다(다시, a 및 b는 그래픽 API에 의해 주어진다고 가정함).
모션 블러에 대한 것 만큼 디포커스 블러에 대한 깊이 함수를 간략화하기 위한 기회가 많지 않다. 모든 정점 위치들을 단순히 저장한다면, 4 x 3 = 12 좌표 값들이 필요하다. 그러나, 투영 매트릭스가 알려진다면, 그 수는 3 x 3 = 9로 감소된다. 카메라 초점 거리 및 렌즈 애스팩트(lens aspect)가 광역적으로 알려져 있다고 가정한다. 이하의 섹션에서, 깊이 함수의 저장 요건을 디포커싱된 삼각형에 대한 8 스칼라 계수로 감소시키는 방법을 보여줄 것이다.
시계가 인에이블링될 때, 클립 공간 정점 위치는 xy에서 렌즈 좌표들 (u, v)의 함수로서 절단된다. 정점 위치는 다음과 같이 표현된다.
Figure 112015019292485-pct00041
여기서, c는 혼동 반경(confusion radius) u' = (u,ξv,0)의 사인된 클립 공간 원이고, ξ는 렌즈 애스팩트 비율을 조절하는 스칼라 계수이다. 이러한 정점들을 이용하여 에지 수학식들을 설정한다.
Figure 112015019292485-pct00042
여기서, 표기를 간략하게 하도록
Figure 112015019292485-pct00043
및
Figure 112015019292485-pct00044
을 도입한다. u = (u,kv,1)인 경우, 다음과 같이 매트릭스 형태로 에지 수학식을 기록할 수 있다.
Figure 112015019292485-pct00045
여기서,
Figure 112015019292485-pct00046
모션 블러 케이스와 유사하게, 깊이 함수를 (x,y,u,v)에서의 래셔널 함수로서 다음과 같이 표현할 수 있다.
Figure 112015019292485-pct00047
여기서,
Figure 112015019292485-pct00048
및
Figure 112015019292485-pct00049
이다. 다음과 같은 관찰
Figure 112015019292485-pct00050
및 수학식 15에서의 최상부 행과 결합함으로써, Cw는 모션 블러 경우와 유사한 단일 열로 감소된다. 따라서, 분모는 다음과 같이 기록될 수 있다.
Figure 112015019292485-pct00051
다시, 이것은
Figure 112015019292485-pct00052
와 동일하며, 이것은 또한 디포커싱된 삼각형에 대한 배면 상태이다.
수학식 4에서와 같이 투영 매트릭스에 대해 제약을 도입한다면, Cz는 다음과 같은 방식으로 표현될 수 있다.
Figure 112015019292485-pct00053
혼동 반경의 클립 공간 원이 렌즈 모델을 따른다고 더 가정한다면, 그것은
Figure 112015019292485-pct00054
로서 기록될 수 있다. 이것을 가지고, 아래와 같이 됨을 볼 수 있으며,
Figure 112015019292485-pct00055
Figure 112015019292485-pct00056
는 다음과 같은 형태를 취한다.
Figure 112015019292485-pct00057
이것을 가지고, 다음과 같이 됨을 볼 수 있다.
Figure 112015019292485-pct00058
이것은 8 스칼라 계수들(a 및 b가 알려지는 경우)로 표현될 수 있다. 분모는 각 변수에서 선형적이다.
알고리즘들은 깊이 코덱들(압축기들 및 압축 해제기들), 깊이 캐시, 컬링 데이터(culling data) 및 타일 테이블을 포함하는 깊이 시스템으로 증강된 소프트웨어 또는 하드웨어 래스터화기로 구현될 수 있다. 설계 공간을 감소시키기 위해, 512 비트, 즉, 64 바이트의 캐시 라인 크기를 선택하며, 그것은 우리의 목적을 위해 합리적이고 현실적인 크기이다. 이러한 선택의 영향은, 512ㆍn 비트를 이용하여 저장되는 타일이 512ㆍm 비트로 작게 압축될 수 있다는 것이며, 여기서, 대역폭 이용을 얻기 위해 1 ≤ m < n 이다. 임의의 유용한 캐시 라인 크기가 이용될 수 있으며, 512 비트는 단지 예로서 이용된 것임을 주지해야 한다.
따라서, 일부 실시예들에서, 도 1에 도시된 그래픽 파이프라인(10)은 소프트웨어 또는 하드웨어 기반일 수 있는 적어도 래스터화기(12)를 포함할 수 있다. 그것은 깊이 함수 계수들을 압축기(14)에게 제공한다. 압축기(14)는 깊이 캐시(16)로부터 깊이 데이터, 그리고 타일 테이블(18)로부터 타일 정보를 얻는다. 일부 실시예들에서, 압축기(14) 및 래스터화기(12)는 제어부(control)(11)에 의해 제어될 수 있다. 제어부는, 예를 들면, 프로세서 또는 제어기일 수 있다.
모션 블러가 3차원이더라도, 디포커스 블러는 4차원을 이용하며, 설명을 간략하게 하도록 동일한 타일 표기가 이들 두 경우에 대해 이용될 수 있다. 그러한 표기에 대한 설명은 도 3 및 4에서 볼 수 있다. 도 3에서, 4 x 4 픽셀들에 대한 모션 블러가 도시되며, 여기서, 4개의 상이한 층들에 의해 나타내진 픽셀당 4개의 샘플이 존재한다. 전체적으로, 4 x 4 x 4 샘플이 존재한다. n개의 층들이 압축을 위한 타일 크기로서 이용된다면, 그러한 타일을 4 x 4 x n 으로서 표현한다. 예로서, 각각의 층이 분리된 타일로서 압축된다면, 이러한 타일들을 4 x 4 x 1에 의해 표현한다.
도 4에서, 디포커스 블러에 대해 동일한 표기가 이용되지만, 상이한 의미를 갖는다. 여기서, 렌즈는 2 x 2의 보다 작은 렌즈 영역들로 분할되며, 이전과 같이, 픽셀당 4개의 샘플이 존재한다. 다시, 4개의 층들에 의해 나타내진다. 그러나, 디포커스 블러에 대해, 4 x 4 x n은 n개 층의 영역들이 타일로서 함께 압축됨을 의미한다.
도 2를 참조하면, 시퀀스(20)는 소프트웨어, 펌웨어 및/또는 하드웨어로 구현될 수 있다. 소프트웨어 및 펌웨어 실시예들에서, 그것은 자기, 광학 또는 반도체 저장장치와 같은 하나 이상의 비일시적 컴퓨터 판독가능 매체에 저장된 컴퓨터 실행된 인스트럭션들에 의해 구현될 수 있다. 예를 들어, 일부 실시예들에서, 도 1에 도시된 제어부는 이러한 목적을 위해 이용될 수 있다.
시퀀스(20)는 블럭(22)에 나타낸 바와 같이 삼각형을 래스터화기에 제공함으로써 시작된다. 래스터화기 셋업은, 블록(24)에 나타낸 바와 같이, 타일 깊이 압축기에 직접 전달되는 깊이 함수 계수들을 계산한다. 확률적 래스터화기는, 블록(26)에 나타낸 바와 같이, 각각의 타일에 대해, 깊이에서의 샘플당 커버리지를 계산한다. 그 다음, 타일 깊이 압축기는, 입력들로서 커버리지 마스크, 샘플당 깊이 및 깊이 함수 계수들을 취한다. 샘플 깊이들이 깊이 함수에 의해 표현될 수 있다면, 블록(28)에 나타낸 바와 같이, 타일은 압축된 형태로 저장된다.
8 x 8 x 1 타일들마다의 컬링을 위해, 각각 Z-max 컬링 및 Z-min 컬링을 행하기 위해 30 비트를 이용하여 타일의 zmin 및 zmax를 저장한다. min 및 max 값들 이외에, 16 샘플의 그룹당 1 비트, 또는 비압축된 샘플들에 가치가 있는 1 캐시 라인을 할당하여, 그들 모두가 클리어되는지 여부를 나타낸다. 이것은 8 x 8 x 1 타일당 4 클리어 비트로 합산되어, 컬링 및 클리어 비트들을 위해 8 x 8 x 1 타일당 전체적으로 64 비트가 필요하게 된다.
작은 캐시를 통해 액세스되거나 또는 온칩 메모리에 저장되는 타일 테이블은 각각의 타일에 대해 타일 헤더를 저장한다. 일 실시예에서, 타일 헤더는 4 비트를 저장할 수 있으며, 여기서, 하나의 조합(0000b)은 타일이 비압축된 채로 저장됨을 나타내고, 나머지 15개의 조합들은 상이한 압축 모드들을 나타내는데 이용된다. 이들 4 비트들은 컬링 타일 크기와 비교하여 상이한 타일 크기를 이용할 수 있는데, 알고리즘들은 통상적으로 어떤 타일 크기가 이용되는지에 따라 상당히 다르게 수행하기 때문이다. 예를 들어, 깊이 오프셋 압축 알고리즘들의 경우, 보다 작은 타일 크기가 통상적으로 바람직한 반면, 본 특허 출원에서 제시된 방법인 GPE(generalized plane encoding)에 대해서는 보다 큰 타일 크기들이 더욱 바람직할 수 있다.
일반화된 플레인 인코더의 하나의 구현은 다음과 같다. 모션 블러 인코더의 경우, 래스터화기가 각각의 삼각형에 적용된 모션의 타입에 관한 정보를 전달한다. 지원하는 3개의 상이한 타입의 모션은 정적(모션 없음), 오직 변환(only translation), 및 임의의 선형적 정점당 모션(arbitrary linear per-vertex motion)이다. 또한, 래스터화기는 어느 샘플 위치들이 삼각형 안에 있는지를 나타내는 커버리지 마스크를 전달한다. 깊이는 이러한 샘플들에 대해 평가되고, 깊이 테스트가 수행된다. 임의의 이전에 도시된 삼각형들의 깊이 함수들은, 그들의 샘플 인덱스들이 입력되는 삼각형의 커버리지 마스크에 의해 커버되는 경우에 제거된다. 피사계 심도 인코더는, 전달되는 디포커스 블러에 대해 특별한 타입들이 없다는 것을 제외하고는, 정확하게 동일한 방식으로 작용한다. 본 방법은 또한 모션 블러 및 피사계 심도에 대해 동시에 작용함을 주지해야 한다. 그러나, 이러한 경우, 가장 콤팩트한 표현은 삼각형의 모든 3개의 정점들에 대해 시간 0 및 시간 1 둘다에 있어서 정점당 (x,y,w)를 단순히 저장하는 것이다. 그러한 표현은 최적화되지 않지만, 알고리즘들은 전술한 바와 같이 동일한 이점들을 갖도록 작용 및 동일한 이점들을 제공한다.
새로운 삼각형이 압축된 표현에 대해 다음과 같이 추가될 수 있다. 삼각형은 그것의 샘플당 커버리지 및 깊이 값들을 얻도록, 스크린 상의 각각의 커버된 타일에 대해 래스터화될 수 있다. 각각의 타일 내에서, (각각의 커버된 샘플에 대해 저장된 깊이 값들을 얻기 위해) 콤팩트한 표현을 압축 해제함으로써 깊이 테스트가 수행된다. 임의의 샘플이 깊이 테스트를 통과한다면, 압축된 표현은 현재의 삼각형에 대한 깊이 함수 계수를 추가함으로써 업데이트되고, 비트마스크를 업데이트한다. 어떠한 샘플도 깊이 테스트를 통과하지 못한다면, 현재의 압축된 표현 및 비트마스크는 업데이트되지 않는다.
이하에서, 동시적인 모션 블러 및 피사계 심도의 경우에 대해 깊이 함수들의 경우를 설명한다. 단지 모션 블러인 경우 또는 단지 피사계 심도인 경우와는 대조적으로, (x,y,u,v,t)의 함수로서 깊이 함수를 저장하기 위한 계수들의 수는, t=0 및 t=1로서 3개의 삼각형 정점들을 단순히 저장하는 것보다 크다. 따라서, 이러한 형태로 깊이 함수를 명시적으로 도출 및 간략화하지 않지만, 정점 데이터와 직접 작용한다.
동시적인 모션 블러 및 피사계 심도의 경우에 대한 깊이 함수를 표현하는 하나의 방법은, qi로 표현된 t=0 및 ri로 표현된 t=1에서 3개의 삼각형 정점들을 단순히 저장하는 것이다. 타일을 방문할 때, 주어진 샘플에 대한 깊이 값은 다음과 같이 이러한 데이터로부터 얻어질 수 있다.
1. 먼저, 샘플들의 (u,v,t) 위치에 대해 정점 위치들을 평가하며, 예를 들어,
Figure 112015019292485-pct00059
이다.
2. 이러한 정점 위치들을 이용하여 다음과 같은 형태의 정적 깊이 플레인 수학식을 도출한다.
Figure 112015019292485-pct00060
3. 샘플의 (x,y) 위치에 대해 깊이 플레인 수학식을 평가.
이러한 깊이 함수 표현에 대한 저장장치 비용은 2 x 3 x 4 = 24 스칼리 값이며, 이것은 투영 매트릭스의 z-맵핑이 알려지는 경우, 즉,
Figure 112015019292485-pct00061
인 경우, 2 x 3 x 3 = 18 스칼라 값으로 감소될 수 있다. 이전에 도시된 바와 같이, 동시적인 모션 블러 및 피사계 심도의 경우에 대한 깊이 함수를 도출 및 간략화한다면, 저장장치의 관점에서 보다 비용이 많이 드는 25 스칼라 값으로 표현될 수 있다.
도 5는 시스템(300)의 실시예를 도시한다. 실시예들에서, 시스템(300)은, 비록 이러한 문맥으로 제한되는 것은 아니지만, 매체 시스템일 수 있다. 예를 들어, 시스템(300)은 PC(personal computer), 랩탑 컴퓨터, 울트라-랩탑 컴퓨터, 태블릿, 터치 패드, 휴대용 컴퓨터, 핸드헬드 컴퓨터, 팜탑 컴퓨터, PDA(personal digital assistant), 셀룰러 전화, 결합 셀룰러 전화/PDA, 텔레비젼, 스마트 디바이스(예를 들면, 스마트폰, 스마트 태블릿 또는 스마트 텔레비젼), 모바일 인터넷 디바이스(MID), 메시징 디바이스, 데이터 통신 디바이스 등에 통합될 수 있다.
실시예들에서, 시스템(300)은 디스플레이(320)에 연결된 플랫폼(302)을 포함한다. 플랫폼(302)은 콘텐츠 서비스 디바이스(들)(330) 또는 콘텐츠 전달 디바이스(들)(340) 또는 다른 유사한 콘텐츠 소스들과 같은 콘텐츠 디바이스로부터 콘텐츠를 수신할 수 있다. 하나 이상의 네비게이션 특징부들을 포함하는 네비게이션 제어기(350)를 이용하여, 예를 들면, 플랫폼(302) 및/또는 디스플레이(320)와 상호작용할 수 있다. 이들 구성요소들 각각은 이하에 보다 상세히 기술된다.
실시예들에서, 플랫폼(302)은 칩셋(305), 프로세서(310), 메모리(312), 저장장치(314), 그래픽 서브시스템(315), 애플리케이션들(316) 및/또는 라디오(318)의 임의의 조합을 포함할 수 있다. 칩셋(305)은 프로세서(310), 메모리(312), 저장장치(314), 그래픽 서브시스템(315), 애플리케이션들(316) 및/또는 라디오(318) 사이의 상호 통신을 제공할 수 있다. 예를 들어, 칩셋(305)은 저장장치(314)와의 상호 통신을 제공할 수 있는 저장장치 어댑터(도시되지 않음)를 포함할 수 있다.
프로세서(310)는 CISC(Complex Instruction Set Computer) 또는 RISC(Reduced Instruction Set Computer) 프로세서들, x86 인스트럭션 세트 호환 프로세서들, 멀티 코어 또는 임의의 다른 마이크로프로세서 또는 중앙 처리 유닛(CPU)으로서 구현될 수 있다. 실시예들에서, 프로세서(310)는 듀얼 코어 프로세서(들), 듀얼 코어 모바일 프로세서(들) 등을 포함할 수 있다.
메모리(312)는, 제한적인 것은 아니지만, RAM(Random Access Memory), DRAM(Dynamic Random Access Memory), 또는 SRAM(Static RAM)과 같은 휘발성 메모리 디바이스로서 구현될 수 있다.
저장장치(314)는, 제한적인 것은 아니지만, 자기 디스크 드라이브, 광학 디스크 드라이브, 테이프 드라이브, 내부 저장 디바이스, 부착형 저장 디바이스, 플래시 메모리, 배터리 백업형 SDRAM(synchronous DRAM), 및/또는 네트워크 액세스가능 저장 디바이스와 같은 비휘발성 저장 디바이스로서 구현될 수 있다. 실시예들에서, 저장장치(314)는 예를 들면, 다수의 하드 드라이브들이 포함될 때, 가치있는 디지털 매체에 대한 저장 성능 강화 보호를 증가시키기 위한 기술을 포함할 수 있다.
그래픽 서브시스템(315)은 디스플레이를 위한 스틸 또는 비디오와 같은 이미지들의 처리를 수행할 수 있다. 그래픽 서브시스템(315)은 예를 들면, GPU(graphics processing unit) 또는 VPU(visual processing unit)일 수 있다. 아날로그 또는 디지털 인터페이스를 이용하여 그래픽 서브시스템(315) 및 디스플레이(320)에 통신가능하게 연결할 수 있다. 예를 들어, 인터페이스는 고선명 멀티미디어 인터페이스, 디스플레이포트(DisplayPort), 무선 HDMI, 및/또는 무선 HD 호환 기술들 중 임의의 것일 수 있다. 그래픽 서브시스템(315)은 프로세서(310) 또는 칩셋(305) 내로 통합될 수 있다. 그래픽 서브시스템(315)은 칩셋(305)에 통신가능하게 연결된 자립형 카드일 수 있다.
본 명세서에서 기술된 그래픽 및/또는 비디오 처리 기술들은 다양한 하드웨어 아키텍쳐들로 구현될 수 있다. 예를 들어, 그래픽 및/또는 비디오 기능이 칩셋 내에 통합될 수 있다. 대안적으로, 이산적인 그래픽 및/또는 비디오 프로세서가 이용될 수 있다. 다른 실시예로서, 그래픽 및/또는 비디오 기능들은 멀티 코어 프로세서를 포함하는 범용 프로세서에 의해 구현될 수 있다. 다른 실시예에서, 기능들은 소비자 전자 장치로 구현될 수 있다.
라디오(318)는 다양한 적절한 무선 통신 기술들을 이용하여 신호들을 송신 및 수신할 수 있는 하나 이상의 라디오를 포함할 수 있다. 그러한 기술들은 하나 이상의 무선 네트워크들을 통한 통신들을 포함할 수 있다. 예시적인 무선 네트워크들은 (제한적인 것은 아니지만) WLAN(wireless local area network), WPAN(wireless personal area network), WMAN(wireless metropolitan area network), 셀룰러 네트워크 및 위성 네트워크를 포함한다. 그러한 네트워크들을 통한 통신시에, 라디오(318)는 임의의 버젼의 하나 이상의 적용가능한 표준들에 따라 동작할 수 있다.
실시예들에서, 디스플레이(320)는 임의의 텔레비젼 타입 모니터 또는 디스플레이를 포함할 수 있다. 디스플레이(320)는, 예를 들면, 컴퓨터 디스플레이 스크린, 터치 스크린 디스플레이, 비디오 모니터, 텔레비젼형 디바이스, 및/또는 텔레비젼을 포함할 수 있다. 디스플레이(320)는 디지털 및/또는 아날로그일 수 있다. 실시예들에서, 디스플레이(320)는 홀로그래픽 디스플레이일 수 있다. 또한, 디스플레이(320)는 시각적 투영을 수신할 수 있는 투명 표면을 일 수 있다. 그러한 투영들은 다양한 형태의 정보, 이미지 및/또는 객체를 운반할 수 있다. 예를 들어, 그러한 투영들은 모바일 증강 현실(MAR) 애플리케이션을 위한 시각적 오버레이(visual overlay)일 수 있다. 하나 이상의 소프트웨어 애플리케이션(316)의 제어하에, 플랫폼(302)은 디스플레이(320) 상에 사용자 인터페이스(322)를 디스플레이할 수 있다.
실시예들에서, 콘텐츠 서비스 디바이스(들)(330)은 임의의 국가적, 국제적 및/또는 독립적 서비스에 의해 호스팅될 수 있으며, 따라서 예를 들면, 인터넷을 통해 플랫폼(302)에 액세스가능할 수 있다. 콘텐츠 서비스 디바이스(들)(330)은 플랫폼(302) 및/또는 디스플레이(320)에 연결될 수 있다. 플랫폼(302) 및/또는 콘텐츠 서비스 디바이스(들)(330)은 네트워크(360)에 연결되어, 매체 정보를 네트워크(360)로 및 네트워크(360)로부터 통신(예를 들면, 송신 및/또는 수신)할 수 있다. 콘텐츠 전달 디바이스(들)(340)은 또한 플랫폼(302) 및/또는 디스플레이(320)에 연결될 수 있다.
실시예들에서, 콘텐츠 서비스 디바이스(들)(330)은 케이블 텔레비젼 박스, 개인용 컴퓨터, 네트워크, 전화, 디지털 정보 및/또는 콘텐츠를 전달할 수 있는 인터넷 가능 디바이스들 또는 어플라이언스, 및 네트워크(360)를 통해서 또는 직접적으로, 콘텐츠 제공자들과 플랫폼(302) 및/디스플레이(320) 사이에 콘텐츠를 단방향으로 또는 양방향으로 통신할 수 있는 임의의 다른 유사한 디바이스를 포함할 수 있다. 콘텐츠는 네트워크(360)를 통해 콘텐츠 제공자 및 시스템(300)에서의 구성요소들 중 임의의 하나로 및 그것으로부터 단방향으로 및/또는 양방향으로 통신될 수 있음을 이해할 것이다. 콘텐의 예들은, 예를 들면, 비디오, 음악, 의료 및 게임 정보 등을 포함하는 임의의 매체 정보를 포함할 수 있다.
콘텐츠 서비스 디바이스(들)(330)은 매체 정보, 디지털 정보, 및/또는 다른 콘텐츠를 포함하는 케이블 텔레비젼 프로그래밍과 같은 콘텐츠를 수신한다. 콘텐츠 제공자들의 예들은 임의의 케이블 또는 위성 텔레비젼 또는 라디오 또는 인터넷 콘텐츠 제공자들을 포함할 수 있다. 제공된 예들은 본 발명의 실시예들을 제한함을 의미하지 않는다.
실시예들에서, 플랫폼(302)은 하나 이상의 네비게이션 특징부들을 갖는 네비게이션 제어기(350)로부터 제어 신호들을 수신할 수 있다. 제어기(350)의 네비게이션 특징부들은 예를 들면, 사용자 인터페이스(322)와 상호 작용하는데 이용될 수 있다. 실시예들에서, 네비게이션 제어기(350)는 사용자가 공간적 (예를 들면, 연속적 및 다차원의) 데이터를 컴퓨터에 입력할 수 있게 하는 컴퓨터 하드웨어 구성요소(특히 휴먼 인터페이스 디바이스)일 수 있는 포인팅 디바이스일 수 있다. GUI(graphical user interface), 텔레비젼 및 모니터와 같은 많은 시스템들은, 사용자가 물리적 제스쳐들을 이용하여 컴퓨터 또는 텔레비젼에 데이터를 제어 및 제공할 수 있게 한다.
제어기(350)의 네비게이션 특징부들의 이동들은 디스플레이 상에 디스플레이된 포인터, 커서, 포커스 링 또는 다른 시각적 지시자들의 이동에 의해 디스플레이(예를 들면, 디스플레이(320)) 상에 에코될 수 있다. 예를 들어, 소프트웨어 애플리케이션들(316)의 제어하에, 네비게이션 제어기(350) 상에 위치된 네비게이션 특징부들은, 예를 들면, 사용자 인터페이스(322) 상에 디스플레이된 가상 네비게이션 특징부들로 맵핑될 수 있다. 실시예들에서, 제어기(350)는 분리된 구성요소가 아니라, 플랫폼(302) 및/또는 디스플레이(320) 내에 통합될 수 있다. 그러나, 실시예들은 그러한 요소들 또는 본 명세서에서 도시되거나 기술된 문맥으로 제한되지 않는다.
실시예들에서, 드라이버들(도시되지 않음)은 사용자가 텔레비젼과 같이, 예를 들면, 인에이블링될 때, 초기 부팅 이후에 버튼의 터치에 의해 플랫폼(302)을 즉각적으로 턴 온 및 오프할 수 있게 하는 기술을 포함할 수 있다. 프로그램 로직은 플랫폼(302)이 턴 "오프"될 때, 매체 어댑터 또는 다른 콘텐츠 서비스 디바이스(들)(330) 또는 콘텐츠 전달 디바이스(들)(340)에 콘텐츠를 스트리밍하도록 할 수 있다. 또한, 칩셋(305)은 예를 들면, 5.1 서라운드 사운드 오디오 및/또는 고선명 7.1 서라운드 사운드 오디오를 위한 하드웨어 및/또는 소프트웨어 지원을 포함할 수 있다. 드라이버들은 통합된 그래픽 플랫폼을 위한 그래픽 드라이버를 포함할 수 있다. 실시예들에서, 그래픽 드라이버는 PCI(peripheral component interconnect) Express 그래픽 카드를 포함할 수 있다.
다양한 실시예들에서, 시스템(300)에 도시된 임의의 하나 이상의 구성요소들이 통합될 수 있다. 예를 들어, 플랫폼(302) 및 콘텐츠 서비스 디바이스(들)(330)이 통합되거나, 또는 플랫폼(302) 및 콘텐츠 전달 디바이스(들)(340)이 통합되거나, 또는 플랫폼(302), 콘텐츠 서비스 디바이스(들)(330) 및 콘텐츠 전달 디바이스(들)(340)이 통합될 수 있다. 다양한 실시예들에서, 플랫폼(302) 및 디스플레이(320)는 통합된 유닛일 수 있다. 예를 들어, 디스플레이(320) 및 콘텐츠 서비스 디바이스(들)(330)이 통합되거나, 또는 디스플레이(320) 및 콘텐츠 전달 디바이스(들)(340)이 통합될 수 있다. 이러한 예들은 본 발명을 제한함을 의미하지 않는다.
다양한 실시예들에서, 시스템(300)은 무선 시스템, 유선 시스템, 또는 그 둘의 조합으로서 구현될 수 있다. 무선 시스템으로서 구현될 때, 시스템(300)은 하나 이상의 안테나, 송신기, 수신기, 트랜시버, 증폭기, 필터, 제어 로직 등과 같은 무선 공유 매체를 통해 통신하기에 적합한 구성요소들 및 인터페이스들을 포함할 수 있다. 무선 공유 매체의 예는 RF 스펙트럼 등과 같은 무선 스텍트럼의 부분들을 포함할 수 있다. 유선 시스템으로서 구현될 때, 시스템(300)은 입/출력(I/O) 어댑터, I/O 어댑터와 대응하는 유선 통신 매체를 접속하기 위한 물리적 접속기, 네트워크 인터페이스 카드(NIC), 디스크 제어기, 비디오 제어기, 오디오 제어기 등과 같은 유선 통신 매체를 통해 통신하기에 적합한 구성요소들 및 인터페이스들을 포함할 수 있다. 유선 통신 매체의 예들은 와이어, 케이블, 금속 리드, PCB(printed circuit board), 백플레인, 스위치 패브릭, 반도체 재료, 트위스트 쌍 와이어, 동축 케이블, 광섬유 등을 포함할 수 있다.
플랫폼(302)은 정보를 통신하기 위한 하나 이상의 논리적 또는 물리적 채널을 형성할 수 있다. 정보는 매체 정보 및 제어 정보를 포함할 수 있다. 매체 정보는 사용자를 위한 콘텐츠를 나타내는 임의의 데이터를 지칭할 수 있다. 콘텐츠의 예들은, 예를 들면, 음성 대화, 화상 회의, 스트리밍 비디오, 전자 메일(email) 메시지, 음성 메일 메시지, 영숫자 심볼, 그래픽, 이미지, 비디오, 텍스트 등으로부터의 데이터를 포함할 수 있다. 음성 대화로부터의 데이터는, 예를 들면, 스피치 정보, 침묵 기간, 배경 잡음, 컴포트 잡음, 톤 등일 수 있다. 제어 정보는 자동화된 시스템을 위한 코맨드, 인스트럭션 또는 제어 단어를 지칭할 수 있다. 예를 들어, 제어 정보는 시스템을 통해 매체 정보를 라우팅하거나, 또는 노드에게 매체 정보를 미리결정된 방식으로 처리하도록 지시하는데 이용될 수 있다. 그러나, 실시예들은, 도 5에 도시되거나 기술된 요소들 또는 문맥으로 제한되지 않는다.
전술한 바와 같이, 시스템(300)은 가변적인 물리적 스타일 또는 폼 팩터(form factor)로 구현될 수 있다. 도 6은 시스템(300)이 구현될 수 있는 작은 폼 팩터 디바이스(400)의 실시예들을 도시한다. 실시예들에서, 예를 들어, 디바이스(400)는 무선 능력들을 갖는 모바일 컴퓨팅 디바이스로서 구현될 수 있다. 모바일 컴퓨팅 디바이스는 처리 시스템, 및 예를 들면, 하나 이상의 배터리와 같은 모바일 전력 소스 또는 공급기를 갖는 임의의 디바이스를 지칭할 수 있다.
전술한 바와 같이, 모바일 컴퓨팅 디바이스의 예들은, PC, 랩탑 컴퓨터, 울트라-랩탑 컴퓨터, 태블릿, 터치 패드, 휴대용 컴퓨터, 핸드헬드 컴퓨터, 팜탑 컴퓨터, PDA, 셀룰러 전화, 결합 셀룰러 전화/PDA, 텔레비젼, 스마트 디바이스(예를 들면, 스마트폰, 스마트 태블릿 또는 스마트 텔레비젼), 모바일 인터넷 디바이스(MID), 메시징 디바이스, 데이터 통신 디바이스 등을 포함할 수 있다.
또한, 모바일 컴퓨팅 디바이스의 예들은 손목 컴퓨터, 손가락 컴퓨터, 링 컴퓨터, 안경 컴퓨터, 벨트-클립 컴퓨터, 암-밴드 컴퓨터, 신발 컴퓨터, 의복 컴퓨터, 및 다른 착용가능 컴퓨터들과 같은, 사람이 착용하도록 구성되는 컴퓨터들을 포함할 수 있다. 실시예들에서, 예를 들어, 모바일 컴퓨팅 디바이스는 컴퓨터 애플리케이션들 뿐만 아니라, 음성 통신 및/또는 데이터 통신을 실행할 수 있는 스마트폰으로서 구현될 수 있다. 일부 실시예들이 예를 들어 스마트폰으로서 구현된 모바일 컴퓨팅 디바이스로 기술될 수 있지만, 다른 실시예들이 다른 무선 모바일 컴퓨팅 디바이스들을 마찬가지로 이용하여 구현될 수 있음을 이해할 것이다. 실시예들은 이러한 문맥으로 제한되지 않는다.
일부 실시예들에서, 프로세서(310)는 카메라(322) 및 글로벌 포지셔닝 시스템 센서(320)와 통신할 수 있다. 프로세서(310)에 연결된 메모리(312)는 도 1 및 2에 도시된 시퀀스들을 하드웨어 및/또는 펌웨어 실시예들로 구현하기 위한 컴퓨터 판독가능 인스트럭션들을 저장할 수 있다. 특히, 시퀀스들은 컴퓨터 구현된 인스트럭션들을 저장하는 하나 이상의 비일시적 저장 디바이스에 의해 구현될 수 있다.
도 6에 도시된 바와 같이, 디바이스(400)는 하우징(402), 디스플레이(404), 입/출력(I/O) 디바이스(406) 및 안테나(408)를 포함할 수 있다. 또한, 디바이스(400)는 네비게이션 특징부들(412)을 포함할 수 있다. 디스플레이(404)는 모바일 컴퓨팅 디바이스에 적합한 정보를 디스플레이하는 임의의 적절한 디스플레이 유닛을 포함할 수 있다. I/O 디바이스(406)는 모바일 컴퓨팅 디바이스에 정보를 입력하기 위한 임의의 적절한 I/O 디바이스를 포함할 수 있다. I/O 디바이스(406)에 대한 예들은 영숫자 키보드, 숫자 키패드, 터치 패드, 입력 키, 버튼, 스위치, 락커 스위치, 마이크로폰, 스피커, 음성 인식 디바이스 및 소프트웨어 등을 포함할 수 있다. 또한, 정보는 마이크로폰을 통해 디바이스(400)에 입력될 수 있다. 그러한 정보는 음성 인식 디바이스에 의해 디저털화될 수 있다. 실시예들은 이러한 문맥으로 제한되지 않는다.
다양한 실시예들이 하드웨어 요소들, 소프트웨어 요소들, 또는 이 둘의 조합을 이용하여 구현될 수 있다. 하드웨어 요소들의 예들은 프로세서, 마이크로프로세서, 회로, 회로 요소(예를 들면, 트랜지스터, 저항기, 캐패시터, 인덕터 등), 집적 회로, ASIC(application specific integrated circuit), PLD(programmable logic device), DSP(digital signal processor), FPGA(field programmable gate array), 로직 게이트, 레지스터, 반도체 디바이스, 칩, 마이크로칩, 칩셋 등을 포함할 수 있다. 소프트웨어의 예들은 소프트웨어 구성요소, 프로그램, 애플리케이션, 컴퓨터 프로그램, 애플리케이션 프로그램, 시스템 프로그램, 머신 프로그램, 운영 체제 소프트웨어, 미들웨어, 펌웨어, 소프트웨어 모듈, 루틴, 서브루틴, 함수, 방법, 절차, 소프트웨어 인터페이스, 애플리케이션 프로그램 인터페이스(API), 인스트럭션 세트, 컴퓨팅 코드, 컴퓨터 코드, 코드 세그먼트, 컴퓨터 코드 세그먼트, 워드, 값, 심볼, 또는 이들의 임의의 조합을 포함할 수 있다. 실시예가 하드웨어 요소들 및/또는 소프트웨어 요소들을 이용하여 구현되는지의 여부를 결정하는 것은, 원하는 연산 속도, 전력 레벨, 열 허용도, 처리 사이클 예산, 입력 데이터 레이트, 출력 데이터 레이트, 메모리 자원, 데이터 버스 속도 및 다른 설계 또는 성능 제약과 같은 임의의 요인들에 따라 변할 수 있다.
적어도 하나의 실시예의 하나 이상의 양상은, 머신에 의해 판독될 때, 머신으로 하여금 본 명세서에 설명된 기술들을 수행하기 위한 로직을 제조하도록 하는, 프로세서 내의 다양한 로직을 나타내는 머신 판독가능 매체 상에 저장된 대표적인 인스트럭션들에 의해 구현될 수 있다. "IP 코어들"로서 알려진 그러한 표현들은 유형의 머신 판독가능 매체 상에 저장될 수 있으며, 다양한 소비자 또는 제조 설비에 공급되어 로직 또는 프로세서를 실제로 제조하는 제조 머신 내로 로딩된다.
하나 이상의 구현들에 대한 전술한 설명은 예시 및 설명을 제공하지만, 독점적인 것이거나 또는 본 발명의 영역을 개시된 정확한 형태로 제한하는 것으로 의도되지 않는다. 수정들 및 변형들이 전술한 개시 내용의 관점에서 가능하며, 또는 본 발명의 다양한 구현들의 실시로부터 획득될 수 있다.
본 명세서에서 기술된 그래픽 처리 기술들은 다양한 하드웨어 아키텍쳐로 구현될 수 있다. 예를 들어, 그래픽 기능은 칩셋 내에 통합될 수 있다. 대안적으로, 이산적인 그래픽 프로세서가 이용될 수 있다. 다른 실시예로서, 그래픽 기능들은 멀티코어 프로세서를 포함하는 범용 프로세서에 의해 구현될 수 있다.
본 명세서 전체를 통해 "일 실시예" 또는 "실시예"에 대한 참조들은, 그러한 실시예와 함께 기술된 특정한 특징, 구조 또는 특성이 본 발명 내에 포함되는 적어도 하나의 구현에 포함됨을 의미한다. 따라서, "일 실시예" 또는 "실시예" 라는 문구의 출현은, 동일한 실시예를 지칭할 필요는 없다. 더욱이, 특정한 특징, 구조 또는 특성은 예시된 특정 실시예와는 다른 적절한 형태로 도입될 수 있으며, 그러한 모든 형태는 본 출원의 청구항들 내에 포함될 수 있다.
본 발명이 제한된 수의 실시예들에 대하여 기술되었지만, 본 기술 분야의 당업자라면 그것의 다양한 수정 및 변형을 이해할 것이다. 첨부된 청구항들은 본 발명의 진정한 사상 및 영역 내에 속하는 것으로서 그러한 모든 수정 및 변형을 커버하는 것으로 의도된다.

Claims (30)

  1. 컴퓨터에 의해 실행되는 그래픽 또는 비디오 처리 방법으로서,
    모션 블러(motion blur) 또는 피사계 심도(depth of field) 중 적어도 하나를 겪는 삼각형들에 대한 깊이 함수 계수들(depth function coefficients)을 하드웨어 프로세서를 사용하여 계산하는 단계와,
    복수의 타일들 각각에 대해 샘플당 커버리지를 하드웨어 프로세서를 사용하여 계산하는 단계와,
    하드웨어 타일 깊이 압축기에서 상기 샘플당 커버리지를 이용하여 타일의 샘플들에 대한 압축된 깊이들을 저장하는 단계를 포함하는
    그래픽 또는 비디오 처리 방법.
  2. 제1항에 있어서,
    상기 계산하는 단계들은 래스터화기(rasterizer)를 이용하여 수행되는
    그래픽 또는 비디오 처리 방법.
  3. 제2항에 있어서,
    상기 래스터화기는 소프트웨어 래스터화기인
    그래픽 또는 비디오 처리 방법.
  4. 제2항에 있어서,
    상기 깊이 함수 계수들을 계산하는 단계는 래스터화기 셋업으로부터 직접 깊이 함수의 표현을 준비하는 단계를 포함하는
    그래픽 또는 비디오 처리 방법.
  5. 제1항에 있어서,
    상기 깊이 함수 계수들을 계산하는 단계는 모션 블러에 대해 16 개의 계수들로만 깊이 함수를 나타내는 단계를 포함하는
    그래픽 또는 비디오 처리 방법.
  6. 제1항에 있어서,
    상기 깊이 함수 계수들을 계산하는 단계는 피사계 심도에 대해 13 개의 계수들로만 깊이 함수를 나타내는 단계를 포함하는
    그래픽 또는 비디오 처리 방법.
  7. 제1항에 있어서,
    상기 깊이 함수 계수들을 계산하는 단계는 투영 매트릭스(projection matrix)를 이용하여 깊이 함수 계수들의 수를 감소시키는 단계를 포함하는
    그래픽 또는 비디오 처리 방법.
  8. 제1항에 있어서,
    상기 샘플당 커버리지를 이용하여 타일의 샘플들에 대한 압축된 깊이들을 저장하는 단계 이전에, 압축 모드를 나타내는 타일 헤더를 타일 테이블에 저장하는 단계를 포함하는
    그래픽 또는 비디오 처리 방법.
  9. 제2항에 있어서,
    상기 래스터화기로부터 모션 타입에 관한 정보가 상기 압축기로 전달되는
    그래픽 또는 비디오 처리 방법.
  10. 제1항에 있어서,
    삼각형은,
    상기 삼각형을 각각의 커버된 타일로 래스터화하여 샘플당 커버리지 및 깊이 값들을 획득하고,
    각각의 타일 내에서 깊이 테스트를 수행하며,
    임의의 샘플이 상기 깊이 테스트를 통과하는 경우 압축된 표현을 업데이트함으로써,
    상기 압축된 표현에 추가되는
    그래픽 또는 비디오 처리 방법.
  11. 시퀀스를 수행하기 위한 인스트럭션들을 저장하는 하나 이상의 컴퓨터 판독가능 저장 매체로서,
    상기 시퀀스는,
    모션 블러 또는 피사계 심도 중 적어도 하나를 겪는 삼각형들에 대한 깊이 함수 계수들을 계산하는 단계와,
    복수의 타일들 각각에 대해 샘플당 커버리지를 계산하는 단계와,
    타일 깊이 압축기에서 상기 샘플당 커버리지를 이용하여 타일의 샘플들에 대한 압축된 깊이들을 저장하는 단계를 포함하는
    컴퓨터 판독가능 저장 매체.
  12. 제11항에 있어서,
    상기 계산하는 단계들은 래스터화기를 이용하여 수행되는
    컴퓨터 판독가능 저장 매체.
  13. 제12항에 있어서,
    상기 래스터화기는 소프트웨어 래스터화기인
    컴퓨터 판독가능 저장 매체.
  14. 제12항에 있어서,
    상기 깊이 함수 계수들을 계산하는 단계는 래스터화기 셋업으로부터 직접 깊이 함수의 표현을 준비하는 단계를 포함하는
    컴퓨터 판독가능 저장 매체.
  15. 제11항에 있어서,
    상기 깊이 함수 계수들을 계산하는 단계는 모션 블러에 대해 16 개의 계수들로만 깊이 함수를 나타내는 단계를 포함하는
    컴퓨터 판독가능 저장 매체.
  16. 제11항에 있어서,
    상기 깊이 함수 계수들을 계산하는 단계는 피사계 심도에 대해 13 개의 계수들로만 깊이 함수를 나타내는 단계를 포함하는
    컴퓨터 판독가능 저장 매체.
  17. 제11항에 있어서,
    상기 깊이 함수 계수들을 계산하는 단계는 투영 매트릭스를 이용하여 깊이 함수 계수들의 수를 감소시키는 단계를 포함하는
    컴퓨터 판독가능 저장 매체.
  18. 제11항에 있어서,
    상기 시퀀스는, 상기 샘플당 커버리지를 이용하여 타일의 샘플들에 대한 압축된 깊이들을 저장하는 단계 이전에, 압축 모드를 나타내는 타일 헤더를 타일 테이블에 저장하는 단계를 더 포함하는
    컴퓨터 판독가능 저장 매체.
  19. 제12항에 있어서,
    상기 래스터화기로부터 모션 타입에 관한 정보가 상기 압축기로 전달되는
    컴퓨터 판독가능 저장 매체.
  20. 모션 블러 또는 피사계 심도 중 적어도 하나를 겪는 삼각형들에 대한 깊이 함수 계수들을 계산하고, 복수의 타일들 각각에 대해 샘플당 커버리지를 계산하고, 타일 깊이 압축기에서 상기 샘플당 커버리지를 이용하여 타일의 샘플들에 대한 압축된 깊이들을 저장하는 제어부와,
    상기 제어부에 연결된 래스터화기와,
    상기 제어부에 연결된 압축기를 포함하는
    그래픽 또는 비디오 처리 장치.
  21. 제20항에 있어서,
    상기 래스터화기는 소프트웨어 래스터화기인
    그래픽 또는 비디오 처리 장치.
  22. 제20항에 있어서,
    상기 제어부는 래스터화기 셋업으로부터 직접 깊이 함수의 표현을 준비하는
    그래픽 또는 비디오 처리 장치.
  23. 제20항에 있어서,
    상기 래스터화기는 모션 블러에 대해 16 개의 계수들로만 깊이 함수를 나타내는
    그래픽 또는 비디오 처리 장치.
  24. 제20항에 있어서,
    상기 래스터화기는 피사계 심도에 대해 13 개의 계수들로만 깊이 함수를 나타내는
    그래픽 또는 비디오 처리 장치.
  25. 제20항에 있어서,
    상기 래스터화기는 투영 매트릭스를 이용하여 깊이 함수 계수들의 수를 감소시키는
    그래픽 또는 비디오 처리 장치.
  26. 제20항에 있어서,
    상기 제어부는 압축 모드를 나타내는 타일 헤더를 타일 테이블에 저장하는
    그래픽 또는 비디오 처리 장치.
  27. 제1항에 있어서,
    상기 깊이 함수 계수들을 계산하는 단계는 깊이 함수 계수들의 수를 감소시키는 단계를 포함하는
    그래픽 또는 비디오 처리 방법.
  28. 제11항에 있어서,
    상기 깊이 함수 계수들을 계산하는 단계는 깊이 함수 계수들의 수를 감소시키는 단계를 포함하는
    컴퓨터 판독가능 저장 매체.
  29. 제20항에 있어서,
    상기 래스터화기는 깊이 함수 계수들의 수를 감소시키도록 구성된
    그래픽 또는 비디오 처리 장치.
  30. 복수의 타일들 각각에 대해, 모션 블러 및 피사계 심도를 겪는 중첩하는 삼각형에 대해, 2개의 상이한 시간에서 상기 삼각형을 나타내는 삼각형 정점 위치들을 저장하는 단계와,
    상기 정점 위치들을 이용하여 타일 깊이 압축기에서 샘플당 커버리지를 계산하여, 타일의 샘플들에 대한 압축된 깊이들을 저장하는 단계를 포함하는
    그래픽 또는 비디오 처리 방법.
KR1020157005079A 2012-09-27 2013-06-27 일반화된 플레인 인코딩을 이용한 확률적 깊이 버퍼 압축 Expired - Fee Related KR101713041B1 (ko)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201261706177P 2012-09-27 2012-09-27
US61/706,177 2012-09-27
US13/721,163 US9111392B2 (en) 2012-09-27 2012-12-20 Stochastic depth buffer compression using generalized plane encoding
US13/721,163 2012-12-20
PCT/US2013/048034 WO2014051793A1 (en) 2012-09-27 2013-06-27 Stochastic depth buffer compression using generalized plane encoding

Publications (2)

Publication Number Publication Date
KR20150038428A KR20150038428A (ko) 2015-04-08
KR101713041B1 true KR101713041B1 (ko) 2017-03-07

Family

ID=50338396

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020157005079A Expired - Fee Related KR101713041B1 (ko) 2012-09-27 2013-06-27 일반화된 플레인 인코딩을 이용한 확률적 깊이 버퍼 압축

Country Status (5)

Country Link
US (1) US9111392B2 (ko)
KR (1) KR101713041B1 (ko)
CN (1) CN104584544B (ko)
DE (1) DE112013003714T5 (ko)
WO (1) WO2014051793A1 (ko)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9552620B2 (en) * 2014-06-30 2017-01-24 Intel Corporation Depth offset compression
US9799091B2 (en) * 2014-11-20 2017-10-24 Intel Corporation Apparatus and method for efficient frame-to-frame coherency exploitation for sort-last architectures
GB2539509B (en) * 2015-06-19 2017-06-14 Advanced Risc Mach Ltd Method of and apparatus for processing graphics
US10282889B2 (en) 2016-11-29 2019-05-07 Samsung Electronics Co., Ltd. Vertex attribute compression and decompression in hardware
WO2019094474A1 (en) * 2017-11-07 2019-05-16 Total E&P Research And Technology Usa Llc Measurement of flow properties in pipelines
GB2574361B (en) 2017-12-18 2021-03-24 Advanced Risc Mach Ltd Graphics Processing
US10726610B2 (en) 2018-08-29 2020-07-28 Arm Limited Efficient graphics processing using metadata

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060209078A1 (en) 2005-03-21 2006-09-21 Anderson Michael H Tiled prefetched and cached depth buffer
US20120177287A1 (en) * 2011-01-12 2012-07-12 Carl Johan Gribel Analytical Motion Blur Rasterization With Compression
US20120212489A1 (en) * 2011-01-21 2012-08-23 Donald Fisk Method and apparatus for tile based depth buffer compression

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6956576B1 (en) 2000-05-16 2005-10-18 Sun Microsystems, Inc. Graphics system using sample masks for motion blur, depth of field, and transparency

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060209078A1 (en) 2005-03-21 2006-09-21 Anderson Michael H Tiled prefetched and cached depth buffer
US20120177287A1 (en) * 2011-01-12 2012-07-12 Carl Johan Gribel Analytical Motion Blur Rasterization With Compression
US20120212489A1 (en) * 2011-01-21 2012-08-23 Donald Fisk Method and apparatus for tile based depth buffer compression

Also Published As

Publication number Publication date
KR20150038428A (ko) 2015-04-08
CN104584544B (zh) 2016-12-07
CN104584544A (zh) 2015-04-29
DE112013003714T5 (de) 2015-04-16
WO2014051793A1 (en) 2014-04-03
US20140085300A1 (en) 2014-03-27
US9111392B2 (en) 2015-08-18

Similar Documents

Publication Publication Date Title
KR101713041B1 (ko) 일반화된 플레인 인코딩을 이용한 확률적 깊이 버퍼 압축
KR102154456B1 (ko) 중간-분류 아키텍처에서 프레임 대 프레임 일관성의 활용
KR101717915B1 (ko) 동적 생성 그래픽 자원들에 대한 압축 기술들
TWI517086B (zh) 用於去耦取樣為主描繪管線之低功率質心決定及紋理覆蓋區最佳化
CN104933750B (zh) 一种紧凑深度平面表示的方法、装置及介质
TW201535316A (zh) 藉由合倂自相鄰圖元之片段以減少著色之技術
US9153201B2 (en) Real-time order-independent transparent rendering
CN104737198B (zh) 在输入几何对象粒度上记录可见度测试的结果
US9959643B2 (en) Variable rasterization order for motion blur and depth of field
US9569882B2 (en) Four corner high performance depth test
JP6745020B2 (ja) 方法、コンピュータプログラム、コンピュータ可読記録媒体および装置
US9183652B2 (en) Variable rasterization order for motion blur and depth of field
KR101652885B1 (ko) 적응적 깊이 오프셋 압축
US9465212B2 (en) Flexible defocus blur for stochastic rasterization
US9569879B2 (en) Culling using linear bounds for stochastic rasterization

Legal Events

Date Code Title Description
A201 Request for examination
PA0105 International application

Patent event date: 20150226

Patent event code: PA01051R01D

Comment text: International Patent Application

PA0201 Request for examination
PG1501 Laying open of application
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20160229

Patent event code: PE09021S01D

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20160830

Patent event code: PE09021S01D

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20161130

PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20170228

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20170302

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
FPAY Annual fee payment

Payment date: 20200129

Year of fee payment: 4

PR1001 Payment of annual fee

Payment date: 20200129

Start annual number: 4

End annual number: 4

PR1001 Payment of annual fee

Payment date: 20210127

Start annual number: 5

End annual number: 5

PR1001 Payment of annual fee

Payment date: 20220127

Start annual number: 6

End annual number: 6

PR1001 Payment of annual fee

Payment date: 20230130

Start annual number: 7

End annual number: 7

PC1903 Unpaid annual fee

Termination category: Default of registration fee

Termination date: 20241211