[go: up one dir, main page]

KR20220155254A - 데이터 압축 api - Google Patents

데이터 압축 api Download PDF

Info

Publication number
KR20220155254A
KR20220155254A KR1020227019710A KR20227019710A KR20220155254A KR 20220155254 A KR20220155254 A KR 20220155254A KR 1020227019710 A KR1020227019710 A KR 1020227019710A KR 20227019710 A KR20227019710 A KR 20227019710A KR 20220155254 A KR20220155254 A KR 20220155254A
Authority
KR
South Korea
Prior art keywords
memory
cuda
processor
cache
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
KR1020227019710A
Other languages
English (en)
Inventor
코리 페리
프누 비쉬누스와룹 라메쉬
Original Assignee
엔비디아 코포레이션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엔비디아 코포레이션 filed Critical 엔비디아 코포레이션
Publication of KR20220155254A publication Critical patent/KR20220155254A/ko
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F12/00—Accessing, addressing or allocating within memory systems or architectures
    • G06F12/02—Addressing or allocation; Relocation
    • G06F12/08—Addressing or allocation; Relocation in hierarchically structured memory systems, e.g. virtual memory systems
    • G06F12/0802—Addressing of a memory level in which the access to the desired data or data block requires associative addressing means, e.g. caches
    • G06F12/0893—Caches characterised by their organisation or structure
    • G06F12/0897—Caches characterised by their organisation or structure with two or more cache hierarchy levels
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/54—Interprogram communication
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F12/00—Accessing, addressing or allocating within memory systems or architectures
    • G06F12/02—Addressing or allocation; Relocation
    • G06F12/0223—User address space allocation, e.g. contiguous or non contiguous base addressing
    • G06F12/023—Free address space management
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F12/00—Accessing, addressing or allocating within memory systems or architectures
    • G06F12/02—Addressing or allocation; Relocation
    • G06F12/0223—User address space allocation, e.g. contiguous or non contiguous base addressing
    • G06F12/0292—User address space allocation, e.g. contiguous or non contiguous base addressing using tables or multilevel address translation means
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F12/00—Accessing, addressing or allocating within memory systems or architectures
    • G06F12/02—Addressing or allocation; Relocation
    • G06F12/08—Addressing or allocation; Relocation in hierarchically structured memory systems, e.g. virtual memory systems
    • G06F12/0802—Addressing of a memory level in which the access to the desired data or data block requires associative addressing means, e.g. caches
    • G06F12/0804—Addressing of a memory level in which the access to the desired data or data block requires associative addressing means, e.g. caches with main memory updating
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F12/00—Accessing, addressing or allocating within memory systems or architectures
    • G06F12/02—Addressing or allocation; Relocation
    • G06F12/08—Addressing or allocation; Relocation in hierarchically structured memory systems, e.g. virtual memory systems
    • G06F12/0802—Addressing of a memory level in which the access to the desired data or data block requires associative addressing means, e.g. caches
    • G06F12/0877—Cache access modes
    • G06F12/0886—Variable-length word access
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/17—Details of further file system functions
    • G06F16/1737—Details of further file system functions for reducing power consumption or coping with limited storage space, e.g. in mobile devices
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/17—Details of further file system functions
    • G06F16/174—Redundancy elimination performed by the file system
    • G06F16/1744—Redundancy elimination performed by the file system using compression, e.g. sparse files
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0655—Vertical data movement, i.e. input-output transfer; data movement between one or more hosts and one or more storage devices
    • G06F3/0658—Controller construction arrangements
    • H—ELECTRICITY
    • H03—ELECTRONIC CIRCUITRY
    • H03M—CODING; DECODING; CODE CONVERSION IN GENERAL
    • H03M7/00—Conversion of a code where information is represented by a given sequence or number of digits to a code where the same, similar or subset of information is represented by a different sequence or number of digits
    • H03M7/30—Compression; Expansion; Suppression of unnecessary data, e.g. redundancy reduction
    • H03M7/60—General implementation details not specific to a particular type of compression
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2212/00—Indexing scheme relating to accessing, addressing or allocation within memory systems or architectures
    • G06F2212/40—Specific encoding of data in memory or cache
    • G06F2212/401—Compressed data

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • Human Computer Interaction (AREA)
  • Memory System Of A Hierarchy Structure (AREA)
  • Image Processing (AREA)

Abstract

압축될 스토리지를 표시하는 장치들, 시스템들, 및 기술들. 적어도 하나의 실시예에서, 압축될 정보를 저장한 스토리지를 표시하는 애플리케이션 프로그래밍 인터페이스가 수행된다.

Description

데이터 압축 API
<우선권의 주장>
본 출원은 2021년 5월 13일자로 출원된, 발명의 명칭이 "BANDWIDTH COMPRESSION"인 미국 임시 출원 제63/188,282호(대리인 문서 번호 0112912-289PR0)의 혜택을 주장하며, 그 전체 내용은 본 명세서에 의해 참조로 원용된다.
<분야>
적어도 하나의 실시예는 컴퓨팅 태스크를 수행하는 애플리케이션 프로그래밍 인터페이스에 관한 것이다. 예를 들어, 적어도 하나의 실시예는 메모리를 압축가능한 것으로서 지정하는 애플리케이션 프로그래밍 인터페이스에 관한 것이다.
병렬 컴퓨팅 디바이스들은 대역폭에 대한 제한들로 인해 성능 감소를 경험할 수 있다. 이러한 디바이스들의 성능이 개선될 수 있다.
도 1은, 적어도 하나의 실시예에 따른, 메모리 대 캐시 송신을 위해 압축을 사용하는 디바이스의 예를 예시한다.
도 2는, 적어도 하나의 실시예에 따른, 병렬 컴퓨팅을 위한 아키텍처의 예를 예시한다.
도 3은, 적어도 하나의 실시예에 따른, 메모리 대 캐시 송신을 위한 압축을 가능하게 하기 위한 API의 예를 예시한다.
도 4는, 적어도 하나의 실시예에 따른, GPU 상에서 데이터 압축을 가능하게 하고 이용하는 프로세스의 예를 예시한다.
도 5는, 적어도 하나의 실시예에 따른, GPU 상에서 데이터 압축을 가능하게 하기 위한 프로세스의 예를 예시한다.
도 6은, 적어도 하나의 실시예에 따른, 예시적인 데이터 센터를 예시한다.
도 7은, 적어도 하나의 실시예에 따른, 처리 시스템을 예시한다.
도 8은, 적어도 하나의 실시예에 따른, 컴퓨터 시스템을 예시한다.
도 9는, 적어도 하나의 실시예에 따른, 시스템을 예시한다.
도 10은, 적어도 하나의 실시예에 따른, 예시적인 집적 회로를 예시한다.
도 11은, 적어도 하나의 실시예에 따른, 컴퓨팅 시스템을 예시한다.
도 12는, 적어도 하나의 실시예에 따른, APU를 예시한다.
도 13은, 적어도 하나의 실시예에 따른, CPU를 예시한다.
도 14는, 적어도 하나의 실시예에 따른, 예시적인 가속기 통합 슬라이스를 예시한다.
도 15a 및 도 15b는, 적어도 하나의 실시예에 따른, 예시적인 그래픽 프로세서들을 예시한다.
도 16a는, 적어도 하나의 실시예에 따른, 그래픽 코어를 예시한다.
도 16b는, 적어도 하나의 실시예에 따른, GPGPU를 예시한다.
도 17a는, 적어도 하나의 실시예에 따른, 병렬 프로세서를 예시한다.
도 17b는, 적어도 하나의 실시예에 따른, 처리 클러스터를 예시한다.
도 17c는, 적어도 하나의 실시예에 따른, 그래픽 멀티프로세서를 예시한다.
도 18은, 적어도 하나의 실시예에 따른, 그래픽 프로세서를 예시한다.
도 19는, 적어도 하나의 실시예에 따른, 프로세서를 예시한다.
도 20은, 적어도 하나의 실시예에 따른, 프로세서를 예시한다.
도 21은, 적어도 하나의 실시예에 따른, 그래픽 프로세서 코어를 예시한다.
도 22는, 적어도 하나의 실시예에 따른, PPU를 예시한다.
도 23은, 적어도 하나의 실시예에 따른, GPC를 예시한다.
도 24는, 적어도 하나의 실시예에 따른, 스트리밍 멀티프로세서를 예시한다.
도 25는, 적어도 하나의 실시예에 따른, 프로그래밍 플랫폼의 소프트웨어 스택을 예시한다.
도 26은, 적어도 하나의 실시예에 따른, 도 25의 소프트웨어 스택의 CUDA 구현을 예시한다.
도 27은, 적어도 하나의 실시예에 따른, 도 25의 소프트웨어 스택의 ROCm 구현을 예시한다.
도 28은, 적어도 하나의 실시예에 따른, 도 25의 소프트웨어 스택의 OpenCL 구현을 예시한다.
도 29는, 적어도 하나의 실시예에 따른, 프로그래밍 플랫폼에 의해 지원되는 소프트웨어를 예시한다.
도 30은, 적어도 하나의 실시예에 따른, 도 25 내지 도 28의 프로그래밍 플랫폼들 상에서 실행할 컴파일 코드를 예시한다.
도 31은, 적어도 하나의 실시예에 따른, 도 25 내지 도 28의 프로그래밍 플랫폼들 상에서 실행할 컴파일 코드를 보다 상세히 예시한다.
도 32는, 적어도 하나의 실시예에 따른, 소스 코드를 컴파일하기 이전에 소스 코드를 변환하는 것을 예시한다.
도 33a는, 적어도 하나의 실시예에 따른, 상이한 타입들의 처리 유닛들을 사용하여 CUDA 소스 코드를 컴파일 및 실행하도록 구성되는 시스템을 예시한다.
도 33b는, 적어도 하나의 실시예에 따른, CPU 및 CUDA-인에이블 GPU를 사용하여 도 33a의 CUDA 소스 코드를 컴파일 및 실행하도록 구성되는 시스템을 예시한다.
도 33c는, 적어도 하나의 실시예에 따른, CPU 및 비-CUDA-인에이블 GPU를 사용하여 도 33a의 CUDA 소스 코드를 컴파일 및 실행하도록 구성되는 시스템을 예시한다.
도 34는, 적어도 하나의 실시예에 따른, 도 33c의 CUDA-HIP 변환 툴에 의해 변환되는 예시적인 커널을 예시한다.
도 35는, 적어도 하나의 실시예에 따른, 도 33c의 비-CUDA-인에이블 GPU를 보다 상세히 예시한다.
도 36은, 적어도 하나의 실시예에 따른, 예시적인 CUDA 그리드의 스레드들이 어떻게 도 35의 상이한 컴퓨팅 유닛들에 매핑되는지를 예시한다.
도 37은, 적어도 하나의 실시예에 따른, 기존 CUDA 코드를 Data Parallel C++ 코드로 어떻게 마이그레이션하는지를 예시한다.
다음의 설명에서, 적어도 하나의 실시예의 보다 철저한 이해를 제공하기 위해 다수의 구체적인 상세사항들이 제시된다. 그러나, 본 발명의 개념들이 이러한 구체적인 상세사항들 중 하나 이상 없이도 실시될 수 있다는 점이 해당 분야에서의 기술자에게 명백할 것이다.
도 1은, 적어도 하나의 실시예에 따른, 메모리 대 캐시 송신을 위해 압축을 사용하는 처리 디바이스의 예를 예시한다. 적어도 하나의 실시예에서, 처리 유닛은 "API"(application programming interface)를 수행하는 하나 이상의 회로를 포함하는 디바이스이다. 적어도 하나의 실시예에서, 상기 API는 압축될 정보를 포함할 스토리지를 표시하도록 수행될 수 있다. 적어도 하나의 실시예에서, 상기 스토리지는, 이러한 표시를 반영하기 위해, 압축가능한 것으로서 참조된다.
적어도 하나의 실시예에서, 스토리지는, 이에 제한되는 것은 아니지만 "DRAM"(dynamic random access memory), "SRAM"(static random access memory), L2 캐시와 같은 캐시 메모리, 레지스터들, 플래시 메모리, HBM, HBM2 또는 HBM2e와 같은 고-대역폭 메모리 등을 잠재적으로 포함하는, 다양한 비-일시적 매체들 및 디바이스들 중 임의의 것을 포함한다.
적어도 하나의 실시예에서, 상기 스토리지의 영역은 상기 API에 의해 압축가능한 것으로 표시되어, 처리 디바이스(100)와 같은, 상기 스토리지를 호스팅하는 처리 디바이스가 디바이스 성능을 개선하기 위해 해당 메모리에 저장되는 정보를 압축할 수 있다는 점을 표시한다. 예를 들어, 적어도 하나의 실시예에서, 압축가능 메모리에 저장되는 정보는 상기 스토리지에 유지되는 페이지 버퍼로부터 L2 캐시(104)로의 송신을 위해 압축된다. 적어도 하나의 실시예에서, 상기 캐시에 저장되는 압축된 정보는 압축 회로(110)에 의해 압축되지 않고, 스트리밍 멀티프로세서(102)와 같은, 상기 디바이스 상의 클라이언트 회로에 전달된다. 적어도 하나의 실시예에서, 클라이언트 컴포넌트라고 또한 지칭될 수 있는, 클라이언트 회로는, 스트리밍 멀티프로세서(102), 복사 엔진, BAR1 매핑들을 수행하는 컴포넌트 등과 같은, 상기 처리 디바이스(100)와 연관된 기능을 수행하는 회로를 포함한다. 이러한 예들은, 제한적인 것이 아니라 오히려, 예시적인 것으로 의도된다는 점이 이해될 것이다. 적어도 하나의 실시예에서, 컴포넌트들 사이의 송신들은, 통신 버스에 의해 제공되는 대역폭과 같은, 대역폭을 이용한다.
적어도 하나의 실시예에서, 압축 회로(110)는 정보를 압축 및/또는 압축해제하는 회로를 포함한다. 적어도 하나의 실시예에서, 압축 회로(110)는 L2-캐시에 저장되는 압축된 정보를 압축해제하기 위해 처리 디바이스(100)에 의해 사용되는 포스트-L2 압축 회로를 포함한다.
적어도 하나의 실시예에서, 처리 디바이스(100)는 그래픽 처리 유닛, 병렬 처리 유닛, 또는 다른 처리 유닛이다. 적어도 하나의 실시예에서, 상기 처리 디바이스(100)는 하나 이상의 스트리밍 멀티프로세서(102), 메모리(106), L2 캐시(104), 및 메모리 제어기(108)를 포함한다. 적어도 하나의 실시예에서, 처리 디바이스(100)는 L2 캐시(104)에 기입될 데이터를 압축하는 그리고 L2 캐시(104)로부터 판독될 데이터를 압축해제하는 압축 회로를 포함한다.
적어도 하나의 실시예에서, 하나 이상의 스트리밍 멀티프로세서(102)는 스토리지(106)에 저장되는 데이터에 액세스한다. 적어도 하나의 실시예에서, 스토리지(106)는 하나 이상의 "DRAM"(dynamic random access memories)를 포함한다. 적어도 하나의 실시예에서, 스토리지(106)는, HBM, HBM2, 또는 HBM2e와 같은, 고-대역폭 메모리를 포함한다. 적어도 하나의 실시예에서, 스토리지(106)는, DDR5와 같은, "DDR"(double data rate) 메모리를 포함한다. 적어도 하나의 실시예에서, 스토리지(106)는 "SRAM"(static random access memory), 캐시 메모리, 레지스터들, 또는 플래시 메모리 중 하나 이상을 포함한다. 이러한 스토리지의 예들은, 제한적인 것이 아니라 오히려 예시적인 것으로 의도된다는 점이 이해될 것이다.
적어도 하나의 실시예에서, L2 캐시(104)는 대칭 멀티프로세서들(102)과 연관된 메모리를 포함한다. 적어도 하나의 실시예에서, L2 캐시(104)는 스토리지(106)에 저장되는 데이터에 액세스하기 위해 소비되는 시간 또는 에너지를 감소시키기 위해 사용된다. 적어도 하나의 실시예에서, L2 캐시(104)는 대칭 멀티프로세서들(102)을 또한 포함하는 프로세서 칩 또는 모듈에 포함된다.
적어도 하나의 실시예에서, 스토리지(106)의 성능은 L2 캐시(104)의 이용에 의해 강화된다. 적어도 하나의 실시예에서, 성능을 추가로 개선하기 위해, L2 캐시(104)에 저장되는 데이터는 투명하게 압축된다. 적어도 하나의 실시예에서, 이러한 것은 L2 캐시(104)와 스토리지(106) 사이의 및/또는 L2 캐시(104)와 스트리밍 멀티프로세서들(102) 사이의 대역폭 소비를 감소시킨다. 적어도 하나의 실시예에서, 압축은 L2 캐시(104)의 겉보기 용량을 증가시킨다.
적어도 하나의 실시예에서, 메모리 및 캐시 제어기들(108)은 대칭 멀티프로세서들(102)과 스토리지(106) 사이의 데이터 흐름을 용이하게 한다. 적어도 하나의 실시예에서, 메모리 및 캐시 제어기들(108)은, 스토리지(106)로부터 L2 캐시(104)로 데이터를 전송하는 양태들을 포함하는, L2 캐시(104)의 동작을 관리한다. 적어도 하나의 실시예에서, 메모리 및 캐시 제어기들(108)은 L2 캐시(104) 및/또는 스토리지(106)에 저장되는 데이터에 대한 액세스를 대칭 멀티프로세서들(102)에 제공하는 것을 용이하게 한다. 적어도 하나의 실시예에서, 메모리 및 캐시 제어기들(108)은, 스토리지(106)로부터의 데이터가 L2 캐시(104)에 언제 저장될지, 및 상기 데이터가 L2 캐시(104)로부터 언제 축출될지를 제어하기 위해, 캐시 상주 및 축출 정책들을 구현한다.
적어도 하나의 실시예에서, 메모리 및 캐시 제어기들(108)은 압축을 사용하여 L2 캐시(104)에 로딩될 스토리지(106)의 영역들을 식별한다. 적어도 하나의 실시예에서, 메모리 및 캐시 제어기들(108)은 압축을 사용하여 다른 메모리 또는 클라이언트 컴포넌트에 송신될 스토리지(106)의 영역들을 식별하는 스토리지(106)의 영역들을 식별한다.
적어도 하나의 실시예에서, GPU 또는 PPU, 또는 다른 프로세서와 같은, 처리 유닛은 대역폭 이용을 개선하고 메모리와 캐시 사이의 병목현상들을 제거하기 위해 데이터 압축을 사용한다. 적어도 하나의 실시예에서, 이러한 것은 커널 모델 드라이버에 액세스가능한 압축 및 압축해제를 수행하는 회로에 의해 가능하게 된다.
적어도 하나의 실시예에서, API는 처리 유닛과의 상호작용을 용이하게 한다. 적어도 하나의 실시예에서, 이러한 API는 메모리의 블록을 할당하는 또는 메모리의 블록과 연관된 속성들을 변경하는 기능을 포함한다. 적어도 하나의 실시예에서, 이러한 기능은 create_memory, allocate_memory, memcreate, memalloc 등과 같은 명명법을 사용하여 설명된다. 이러한 예들은 제한적인 것이 아니라 오히려 예시적인 것으로 의도된다는 점이 이해될 것이다.
적어도 하나의 실시예에서, 메모리를 할당하는 기능은 할당된 메모리의 속성들이 명시되는 것을 허용하는 파라미터들을 포함한다. 적어도 하나의 실시예에서, 이러한 속성들은 이러한 메모리가 압축과 연관될 것인지를 표시하는 정보를 포함한다. 예를 들어, 적어도 하나의 실시예에서, 상기 파라미터들은 데이터가 압축되어야 하는지 또는 어떻게 압축되어야 하는지를 제어하기 위한 플래그를 포함할 수 있다. 적어도 하나의 실시예에서, 처리 유닛은 이러한 파라미터들을 반영하기 위해 저장되는 메타데이터에 액세스한다.
적어도 하나의 실시예에서, 압축과 연관된 메모리 영역은 압축가능 메모리라고 지칭된다. 적어도 하나의 실시예에서, 압축가능한 메모리는 캐시로의 또는 캐시로부터의 송신을 위해 투명하게 압축되고 압축해제된다. 적어도 하나의 실시예에서, 압축가능 메모리로 지향되는 기입 동작들은 투명하게 압축되고 L2 캐시 메모리에 기입된다. 적어도 하나의 실시예에서, 데이터가 다시 판독될 때, L2에서의 메모리는 압축해제된다. 적어도 하나의 실시예에서, 이러한 프로세스는 압축된 메모리에 기입하거나 또는 이로부터 판독하는 프로세스들에 투명하다. 예를 들어, 적어도 하나의 실시예에서, 클라이언트 프로세스는 압축가능 메모리 영역에 기입하고 이로부터 판독하고, 상기 기입들과 연관된 데이터는 상기 클라이언트 프로세스에 의한 직접적인 관여 없이 투명하게 압축되고, 캐시에 저장되고, 압축해제된다. 적어도 하나의 실시예에서, 압축가능 메모리를 인에이블하는 것은 L2와 DRAM 사이의 대역폭 요건들을 감소시킨다. 적어도 하나의 실시예에서, 압축가능한 메모리를 인에이블하는 것은 L2 용량이 L2를 이용하는 스트리밍 멀티프로세서들에 대해 더 큰 것으로 보이게 하고, 그렇게 함으로써 프로세서 효율을 개선한다.
적어도 하나의 실시예에서, 압축은, 프로세서 이용 또는 전력 이용가능성과 같은, 하드웨어 용량의 이용을 요구한다. 적어도 하나의 실시예에서, 압축이 반드시 모든 타입들의 데이터에 대해 유익할 수는 없기 때문에, 압축이 메모리의 특정 영역에 대해 사용될 것이라는 점을 클라이언트가 표시하는 것을 허용하기 위해 압축 플래그가 API에 의해 제공된다. 적어도 하나의 실시예에서, 이러한 것은, 반복적인 콘텐츠가 있는 그래픽 또는 머신 학습 데이터와 같은, 특정 타입들의 데이터가 압축가능 메모리에 저장되는 것, 및 다른 타입들의 데이터가 비-압축가능 메모리에 저장되는 것을 허용한다.
적어도 하나의 실시예에서, 포스트-L2 압축기는 L2 캐시의 클라이언트들이 투명한 압축으로 가상적으로 어드레싱된 메모리 요청들을 행하는 것을 가능하게 한다. 예를 들어, 적어도 하나의 실시예에서, GPU 상의 스트리밍 멀티프로세서와 같은, L2 캐시 클라이언트는 데이터의 투명 압축 및 압축해제를 활용한다. 적어도 하나의 실시예에서, 이러한 것은 스트리밍 멀티프로세서 명령어들, 복사 엔진 복사들 및 "BAR1" 리매핑들이 압축가능 메모리 상에서 동작하는 것을 가능하게 한다. 적어도 하나의 실시예에서, 포스트-L2 압축기가 L2가 압축된 데이터를 저장하고 압축해제된 데이터를 XBAR을 통해, 스트리밍 멀티프로세서들에와 같이, 캐시 클라이언트에 리턴하는 것을 가능하게 하는 것과 같이, CUDA 애플리케이션들과 같은, 병렬 컴퓨팅 아키텍처들을 활용하는 애플리케이션들이 압축가능한 메모리로부터 혜택을 얻는다.
적어도 하나의 실시예에서, 포스트-L2 압축기 유닛은 가상적으로 어드레싱된 요청을 행하는 L2 캐시 클라이언트들이 데이터를 투명하게 압축 및 압축해제할 수 있는 것을 허용한다. 적어도 하나의 실시예에서, 상기 데이터는, 머신 학습 데이터와 같이, 높은 비율의 제로들을 포함한다. 예를 들어, 머신 학습에서, 활성화들에 대한 데이터는 높은 비율의 제로들을 포함할 수 있는 반면, 활성화들과 연관된 비-제로 기입들은 상이한 스트리밍 멀티프로세서들로부터 유래한다. 적어도 하나의 실시예에서, 심층 학습 추론에 대해, L2와 DRAM 사이의 대역폭 요건들을 감소시키고, 겉보기 L2 용량을 증가시키기 위해, 프루닝된 네트워크에 대한 가중치 데이터를 판독할 때 이러한 압축가능 메모리가 사용될 수 있다. 적어도 하나의 실시예에서, 포스트-L2 압축기는 가변-폭 차동 압축기 및 희소 데이터 압축기를 포함한다.
적어도 하나의 실시예에서, 훈련 및 추론 양자 모두를 포함하는, 심층 학습 애플리케이션들에 대해 압축가능 메모리가 사용된다. 적어도 하나의 실시예에서, 훈련에 대해, 콘볼루션 네트워크들의 활성화들은 ReLU 활성화 레이어들로 인해 종종 희소하며, 이는 압축을 사용할 때 DRAM 대역폭 절약을 초래할 수 있다. 적어도 하나의 실시예에서, 추론에 대해, 판독들에 대한 압축해제는 활성화들 및 프루닝 가중치들 양자 모두에 대해 유사한 절약을 제공한다.
적어도 하나의 실시예에서, 게임 애플리케이션들에서 압축가능 메모리가 사용된다. 적어도 하나의 실시예에서, 압축가능 메모리에서 데이터를 압축하기 위해 가변-폭 차동 압축이 사용된다. 적어도 하나의 실시예에서, 광선-추적, 샘플링 및 필터링, 슈퍼-해상도, 프레임 보간, 프레임 외삽(extrapolation), 비폐색, 인필(infill) 등에 대해 이러한 접근법이 사용된다. 이러한 예들은 제한적인 것이 아니라 오히려 예시적인 것으로 의도된다는 점이 이해될 것이다.
적어도 하나의 실시예에서, GPU 고정 메모리는 압축가능한 것으로 지정될 수 있고, 다음으로 본 명세서에 설명되는 바와 같이 투명하게 압축될 수 있다. 적어도 하나의 실시예에서, 고정 메모리는 스와핑 아웃되는 것을 방지하도록 마킹되는 가상 메모리 페이지들을 포함한다.
적어도 하나의 실시예에서, 페이징가능한 메모리는 압축가능한 것으로 지정될 수 있고, 본 명세서에 설명되는 바와 같이 투명하게 압축될 수 있다. 적어도 하나의 실시예에서, 페이징가능 메모리는 다른 페이지들을 위한 공간을 만들기 위해 임시 스토리지로 스와핑될 수 있는 가상 메모리 페이지들을 포함한다.
적어도 하나의 실시예에서, 커널 모드 드라이버는 메모리를 압축가능한 것으로서 할당한다. 적어도 하나의 실시예에서, 이러한 것은 특정 필드들을 페이지 테이블로 설정하는 것에 의해 행해진다. 적어도 하나의 실시예에서, 페이지들은 페이지 테이블 엔트리와 연관된 메모리가 압축가능하다는 점을 표시하도록 페이지 테이블 엔트리의 필드를 설정하는 것에 의해 압축가능한 것으로 마킹된다.
적어도 하나의 실시예에서, 처리 유닛에 의한 압축은 사용자에게 직접 노출되지 않고, 따라서 상기 사용자에게 투명하다. 적어도 하나의 실시예에서, 메모리의 일관된 뷰와 같은, 병렬 컴퓨팅 아키텍처에 대한 메모리 할당의 의미는, 압축 설정에 관계없이, 사용자 기대들에 따라 작동한다. 적어도 하나의 실시예에서, 라이브러리들은 다른 라이브러리들 또는 다른 사용자 코드에 또는 이로부터 압축된 그리고 압축되지 않은 할당들을 투명하게 전달할 수 있다. 적어도 하나의 실시예에서, 압축 지원에 대해 쿼리하는 메커니즘을 제공하는 API들이 포함된다. 적어도 하나의 실시예에서, 인터-프로세스 통신이 압축가능 메모리와 함께 작동한다.
적어도 하나의 실시예에서, 캐시 미스들은 L2 캐시 슬라이스 또는 캐시 뱅크에 대한 관련되지 않은, 압축되지 않은 액세스들의 수행을 손상시킬 수 있다. 예를 들어, 적어도 하나의 실시예에서, 압축 비트 캐시 미스들은 바로 해결되는 반면, 정상 L2 미스들은 다른 계류중인 요청들과 함께 서비스될 수 있다. 적어도 하나의 실시예에서, 이러한 미스들은 컴퓨팅 선점 복원 시간들에 영향을 미칠 수 있지만, 이러한 것은 완화될 수 있다.
적어도 하나의 실시예에서, 압축 능력들을 노출시키는 API는 할당될 스토리지의 특성들을 그 속성들이 설명하는 데이터 구조를 포함한다. 적어도 하나의 실시예에서, API 기능에 대한 파라미터는 압축 타입 플래그를 포함하도록 설정될 수 있는 할당 플래그들을 포함한다. 적어도 하나의 실시예에서, 압축가능 메모리에 대한 요청은 힌트로서 취급된다. 적어도 하나의 실시예에서, 커널 모드 드라이버는 모든 사례들에서 압축가능 메모리를 할당할 수 있거나 또는 그렇게 할 수 없을 수 있고, 따라서 때때로 비-압축가능 메모리를 할당하는 것으로 폴 백(fall back)하기로 결정할 수 있다.
적어도 하나의 실시예에서, 압축가능 메모리가 할당될 것을 요청하기 전에, 최소 또는 추천된 할당 입도를 획득하는 API가 제공된다. 적어도 하나의 실시예에서, 압축가능 및 비-압축가능 할당들에 대한 할당 입도들이 상이할 수 있기 때문에 이러한 것이 행해진다. 적어도 하나의 실시예에서, 다수의 할당 입도들이 지원되고, 드라이버가 압축가능한 메모리를 할당할 수 없으면, 다음으로 드라이버는 압축된 메모리에 적합한 페이지 크기에 대한 정착 대신에 최적의 페이지 크기에 의해 할당이 지원되는 것을 보장할 수 있다.
적어도 하나의 실시예에서, 압축 속도를 개선하고 쓰래싱(thrashing)을 최소화하기 위해, 불연속적이고 압축가능한 할당들이 L2 캐시 슬라이스들 또는 뱅크들에 걸쳐 균등하게 확산되는 물리적 페이지들을 가질 수 있다. 적어도 하나의 실시예에서 이용을 개선하고 쓰래싱을 최소화하기 위해 L2 캐시 슬라이스들에 걸쳐 균등하게 확산하는 할당을 위한 물리적 페이지들이 선택된다.
도 2는, 적어도 하나의 실시예에 따른, 병렬 컴퓨팅을 위한 아키텍처(200)의 예를 예시한다. 적어도 하나의 실시예에서, 애플리케이션(202)은, 처리 디바이스(210) 상에서 계산들을 수행하기 위해, "CUDA"(compute unified device architecture)와 같은, 병렬 컴퓨팅 아키텍처를 이용한다. 적어도 하나의 실시예에서, 처리 유닛(210)은 도 1에 도시되는 바와 같은 처리 디바이스(100)의 실시예에 대응한다.
적어도 하나의 실시예에서, 애플리케이션(202)은 다양한 컴퓨터 프로그램들, 코드, 또는 다른 소프트웨어 중 임의의 것이다. 적어도 하나의 실시예에서, 애플리케이션(202)은, 심층 학습 훈련 또는 추론과 같이, 인공 지능을 수행하기 위해 처리 디바이스(210)를 이용한다. 적어도 하나의 실시예에서, 애플리케이션(202)은 그래픽 출력을 생성하기 위해 처리 디바이스(210)를 이용한다. 이러한 예들은 제한적인 것이 아니라 오히려 예시적인 것으로 의도된다는 점이 이해될 것이다.
적어도 하나의 실시예에서, 예시적인 아키텍처(200)는 라이브러리들(204), 런타임(206), 드라이버(208), 및 처리 디바이스(210)를 포함한다. 적어도 하나의 실시예에서, 라이브러리는, 처리 디바이스(100)와 같은, 디바이스가 컴퓨팅 기능을 수행하는 것을 가능하게 하는 코드 또는 다른 실행가능 또는 해석가능 프로그래밍을 포함한다. 적어도 하나의 실시예에서, 런타임(206) 및 드라이버(208)는, 처리 디바이스(100)와 같은, 디바이스가 컴퓨팅 기능을 수행하는 것을 가능하게 하는 코드 또는 다른 실행가능 또는 해석가능 프로그래밍을 또한 포함한다. 적어도 하나의 실시예에서, 드라이버(208)는 호스트 디바이스와 처리 디바이스(210) 사이에서 인터페이스하는 코드 또는 다른 명령어들을 포함한다. 적어도 하나의 실시예에서, 라이브러리들(204), 런타임(206), 및/또는 드라이버(208)는 하나 이상의 다른 조합으로 조합 또는 세분된다. 예를 들어, 적어도 하나의 실시예에서, 처리 디바이스(210)와 인터페이스하기 위해, 조합된 드라이버(208)가 사용된다.
적어도 하나의 실시예에서, 라이브러리들(204), 런타임(206), 또는 드라이버(208) 중 하나 이상은 처리 디바이스(210) 메모리의 압축을 제어하는 "API"(application programming interface) 방법을 포함한다. 적어도 하나의 실시예에서, 처리 디바이스(210)는 처리 디바이스(210)에 의해 사용될 데이터를 저장한 메모리를 포함한다. 적어도 하나의 실시예에서, 상기 메모리는 상기 처리 디바이스(210)에 의해 생성되는 그래픽 데이터를 저장하기 위해 사용되는 페이지 버퍼를 포함한다. 적어도 하나의 실시예에서, 상기 메모리의 부분들은 상기 부분의 내용들이, 도 1에 도시되는 L2 캐시(104)와 같은, 캐시에서의 송신 및 스토리지를 위해 압축되는지 여부를 제어하는 압축 속성과 연관된다. 적어도 하나의 실시예에서, 상기 API는 상기 속성을 제어하기 위해 사용된다. 적어도 하나의 실시예에서, 애플리케이션(202)은, 상기 메모리의 특정 부분들로 하여금, 상기 속성과 이러한 부분들을 연관시키는 것에 의해, 압축되게 하기 위해 상기 API를 사용한다.
도 3은, 적어도 하나의 실시예에 따른, 메모리 대 캐시 송신을 위한 압축을 가능하게 하기 위한 API의 예를 예시한다. 예(300)에서, 상기 API는, 호출될 때, 도 1에 도시되는 바와 같은 처리 디바이스(100)와 같은, 컴퓨팅 디바이스 상에서 메모리가 예약되게 하는 메모리 할당 기능(310)을 포함한다. 적어도 하나의 실시예에서, 상기 컴퓨팅 디바이스는 도 2에 예시되는 바와 같은 처리 디바이스(210)에 대응한다.
적어도 하나의 실시예에서, 메모리를 할당하는 것은, 컴퓨팅 태스크를 수행하기 위해 상기 처리 디바이스에 의해 사용될, 가상의 또는 물리적 메모리를 예약하는 처리 디바이스를 포함한다. 적어도 하나의 실시예에서, 상기 메모리는 상기 메모리의 예약을 표시하는 정보를 데이터 구조에 저장하는 것에 의해 예약된다. 적어도 하나의 실시예에서, 상기 정보는 크기 및 어드레스 정보, 및 상기 메모리가 압축되어야 하는지 여부를 표시하는 정보를 포함한다. 적어도 하나의 실시예에서, 이러한 정보는 메모리 할당 기능(310)의 파라미터들을 통해 운반된다. 적어도 하나의 실시예에서, 이러한 파라미터들은 크기(306) 및 속성들(308)을 포함한다. 적어도 하나의 실시예에서, 상기 기능(310)의 출력은 상기 예약된 메모리를 지칭하는 핸들링(304)이다. 적어도 하나의 실시예에서, 이러한 속성들(308)은, 이러한 메모리가 압축된 데이터로서 캐시에 송신될 것이라는 점, 및/또는 상기 캐시 내에 압축된 것으로서 저장될 것이라는 점을 표시하는, 압축 플래그(302)를 추가로 포함한다.
도 4는, 적어도 하나의 실시예에 따른, GPU 상에서 데이터 압축을 가능하게 하고 이용하는 프로세스의 예를 예시한다. 도 4가 엘리먼트들의 시퀀스로서 도시되어 있지만, 이러한 도시되는 시퀀스는 제한적인 것이 아니라 오히려 예시적인 것으로 의도된다는 점, 및 실시예들이, 명시적으로 표시되거나 또는 논리적으로 요구되는 경우를 제외하고는, 연산들의 변경된 순서를 포함하거나, 또는 도시되는 연산들을 병렬로 수행할 수 있다는 점이 이해될 것이다.
402에서, 적어도 하나의 실시예에서, 라이브러리, 런타임, 또는 드라이버는 메모리를 할당하라는 요청을 수신한다. 적어도 하나의 실시예에서, 상기 라이브러리, 런타임, 또는 드라이버는, CUDA와 같은, 병렬 컴퓨팅 아키텍처를 위한 드라이버이다. 적어도 하나의 실시예에서, 상기 라이브러리, 런타임 또는 드라이버는 사용자-모드 또는 커널-모드 드라이버이다. 적어도 하나의 실시예에서, 상기 라이브러리, 런타임, 또는 드라이버는 도 2에 도시되는 것들 중 하나 이상에 대응한다.
적어도 하나의 실시예에서, 메모리를 할당하라는 상기 요청은 API 기능의 호출에 응답하여 수신된다. 적어도 하나의 실시예에서, 상기 API 기능은 도 3에 도시되는 바와 같은 메모리 할당 기능(310)에 대응하거나 또는 이와 유사하다. 적어도 하나의 실시예에서, 상기 API 기능의 호출은, 드라이버 내에서, 요청된 속성들을 갖는 요청된 양의 메모리를 할당하기 위한 코드를 호출한다.
404에서, 적어도 하나의 실시예에서, 상기 드라이버는 상기 API 기능을 통해 제공되는 압축 플래그의 값을 식별한다. 적어도 하나의 실시예에서, 이러한 플래그는 상기 API 기능에 응답하여 할당되는 메모리와 관련하여 압축이 사용될 것이라는 점을 표시한다.
406에서, 적어도 하나의 실시예에서, 상기 드라이버는 상기 API 기능 호출에 응답하여 할당되는 메모리가 압축된 것으로서 취급될 것이라는 점을 표시하는 메타데이터를 저장한다. 적어도 하나의 실시예에서, 상기 드라이버는 상기 처리 디바이스와 인터페이스하여 이로 하여금 상기 메타데이터를 저장하게 한다. 적어도 하나의 실시예에서, 상기 메타데이터는 페이지 테이블 엔트리에 저장된다. 적어도 하나의 실시예에서, 상기 메타데이터는 상기 처리 디바이스에서의 압축 회로에 액세스가능하도록 저장된다. 예를 들어, 적어도 하나의 실시예에서, 상기 메타데이터는 포스트-L2 압축 회로에 액세스가능하도록 저장된다.
408에서, 적어도 하나의 실시예에서, 데이터가 압축되어 캐시에 기입된다. 적어도 하나의 실시예에서, 압축 플래그와 연관된 메모리 영역에 데이터가 기입될 것이라고 상기 처리 디바이스가 결정하는 것에 응답하여 상기 데이터는 이러한 방식으로 압축된다. 예를 들어, 적어도 하나의 실시예에서, 상기 처리 디바이스는 압축 플래그와 연관되는 메모리 영역에 데이터가 기입될 것이라고 결정하고, 다음으로 캐시로의 송신을 위해 해당 데이터를 압축한다. 적어도 하나의 실시예에서, 이러한 것은, 도 1과 관련하여 설명되는 바와 같이, 해당 데이터가 스트리밍 멀티프로세서에 의해 액세스될 때 행해진다. 적어도 하나의 실시예에서, 상기 데이터는, 캐시로의 송신 이전에, 압축된 형태로 메모리에 저장되고, 여전히 압축되어 있는 동안 상기 캐시에 전송된다.
410에서, 적어도 하나의 실시예에서, 상기 캐시로부터 판독되는 데이터가 압축해제된다. 적어도 하나의 실시예에서, 처리 디바이스는 상기 캐시로부터 압축된 데이터를 판독하고, 이를 압축해제하고, 압축해제된 데이터를 스트리밍 멀티프로세서에 제공한다. 적어도 하나의 실시예에서, 처리 디바이스는 상기 캐시로부터 압축된 데이터를 판독하고, 이를 압축해제하고, 압축해제된 데이터를 메모리에 다시 기입한다. 적어도 하나의 실시예에서, 압축 회로는 메모리와 캐시 사이의 데이터 압축 및 압축해제를 가능하게 하는 액세스가능한 프리-캐시이다. 적어도 하나의 실시예에서, 압축 회로는 캐시와 프로세서 사이의 압축해제 및 압축해제를 가능하게 하는 액세스가능한 포스트-캐시다. 적어도 하나의 실시예에서, 이러한 것은 메모리와 캐시 사이의 대역폭이 효율적으로 이용되는 것을 가능하게 한다.
도 5는, 적어도 하나의 실시예에 따른, GPU 상에서 데이터 압축을 가능하게 하기 위한 프로세스의 예를 예시한다. 도 4가 엘리먼트들의 시퀀스로서 도시되어 있지만, 이러한 도시되는 시퀀스는 제한적인 것이 아니라 오히려 예시적인 것으로 의도된다는 점, 및 실시예들이, 명시적으로 표시되거나 또는 논리적으로 요구되는 경우를 제외하고는, 연산들의 변경된 순서를 포함하거나, 또는 도시되는 연산들을 병렬로 수행할 수 있다는 점이 이해될 것이다.
502에서, 적어도 하나의 실시예에서, API가 API 기능의 호출을 수신한다. 적어도 하나의 실시예에서, 상기 API 기능은, 도 2에 도시되는 것들과 같은, 라이브러리, 런타임 또는 드라이버에서와 같이, 소프트웨어 스택의 레이어에 의해 구현된다. 적어도 하나의 실시예에서, 도 2에 도시되는 드라이버와 같은, GPU 드라이버 소프트웨어는 이러한 기능이 호출되었다는 표시를 수신하고, 상기 호출에 응답한다.
504에서, 적어도 하나의 실시예에서, 상기 API 기능에 대한 하나 이상의 압축-관련 파라미터가 식별된다. 적어도 하나의 실시예에서, 상기 파라미터들은 메모리 영역의 압축가능성을 표시하는 플래그를 포함한다. 적어도 하나의 실시예에서, 라이브러리, 런타임, 또는 드라이버는 상기 파라미터를 식별하고, 엘리먼트들(506-510)과 관련하여 설명되는 동작들을 수행하는 것 또는 이들로 하여금 수행되게 하는 것에 의해 응답한다.
506에서, 적어도 하나의 실시예에서, 연관된 메모리 영역의 압축가능성을 표시하는 데이터를 포함하는 페이지 테이블 엔트리가 저장된다. 적어도 하나의 실시예에서, 압축가능성은 이러한 연관된 메모리 영역이 압축에 순응하는 데이터를 저장하도록 의도된다는 점을 표시한다.
508에서, 적어도 하나의 실시예에서, 상기 메모리 영역에서의 데이터가 상기 페이지 테이블 엔트리에 기초하여 캐시로의 송신을 위해 압축된다. 적어도 하나의 실시예에서, 상기 드라이버, 또는 상기 GPU 상의 회로는, 상기 메모리가 압축가능한 것으로 표시되었다고 결정하고, 상기 데이터로 하여금 압축되게 한다. 적어도 하나의 실시예에서, 상기 GPU 상의 압축 회로에 의해 압축이 수행된다. 적어도 하나의 실시예에서, 상기 드라이버에 의해 압축이 수행된다.
510에서, 적어도 하나의 실시예에서, 상기 GPU는, 프로세서로의 송신 이전에, 상기 캐시에 저장되는 데이터를 압축해제한다. 적어도 하나의 실시예에서, 상기 드라이버 또는 회로는 포스트-L2 압축 회로를 포함한다. 적어도 하나의 실시예에서, 상기 캐시에서의 데이터는 일부 다른 온보드 클라이언트 회로로의 송신 이전에 압축해제된다.
적어도 하나의 실시예에서, 시스템은 압축될 정보를 저장한 스토리지를 표시하는 API를 수행하는 하나 이상의 프로세서를 포함한다. 적어도 하나의 실시예에서, 상기 API는 상기 스토리지에 저장될 정보가 압축가능하다는 점을 표시하는 파라미터를 포함한다. 적어도 하나의 실시예에서, 압축가능한 스토리지는, 상기 스토리지를 사용하는 애플리케이션에 의해, 압축에 적합한 데이터를 포함할 가능성이 있는 것으로서 지정되는 스토리지이다. 적어도 하나의 실시예에서, 압축가능 스토리지가 표시될 때, 처리 디바이스는, 메모리로부터 L2 캐시로와 같이, 처리 디바이스의 컴포넌트들 사이의 송신을 위해 상기 스토리지에 저장되는 정보를 압축하기로 결정한다. 적어도 하나의 실시예에서, 상기 처리 디바이스 상의 압축 회로에 의해 상기 압축이 수행된다.
적어도 하나의 실시예에서, 상기 API 파라미터는 메모리의 할당된 블록이 처리 디바이스의 컴포넌트들 사이의 송신을 위해 압축될 데이터를 포함할 것이라는 점을 표시하는 데이터를 포함한다.
적어도 하나의 실시예에서, 상기 API는 처리 디바이스로 하여금 상기 정보의 압축된 버전을 저장하게 한다. 적어도 하나의 실시예에서, 이러한 정보는 L2 캐시에 저장된다. 적어도 하나의 실시예에서, 상기 API는 처리 디바이스로 하여금, 상기 정보를 상기 처리 디바이스 상의 클라이언트 회로에 송신하기 이전에, 이러한 정보의 압축된 버전을 압축해제하게 한다. 예를 들어, 적어도 하나의 실시예에서, 압축된 데이터는 L2 캐시로부터 판독되고, 포스트-L2 압축 회로에 의해 압축해제되고, 스트리밍 멀티프로세서에 송신된다.
데이터 센터
도 6은, 적어도 하나의 실시예에 따른, 예시적인 데이터 센터(600)를 예시한다. 적어도 하나의 실시예에서, 데이터 센터(600)는, 데이터 센터 인프라스트럭처 레이어(610), 프레임워크 레이어(620), 소프트웨어 레이어(630) 및 애플리케이션 레이어(640)를, 제한 없이, 포함한다.
적어도 하나의 실시예에서, 도 6에 도시되는 바와 같이, 데이터 센터 인프라스트럭처 레이어(610)는 리소스 오케스트레이터(612), 그룹화된 컴퓨팅 리소스들(614), 및 노드 컴퓨팅 리소스들("노드 C.R.들")(616(1)-616(N))을 포함할 수 있고, 여기서 "N"은 임의의 전체, 양의 정수를 나타낸다. 적어도 하나의 실시예에서, 노드 C.R.들(616(1)-616(N))는, 이에 제한되는 것은 아니지만, 임의의 수의 "CPU들"(central processing units) 또는 다른 프로세서들(가속기들, FPGA들(field programmable gate arrays), 네트워크 디바이스들에서의 "DPU들"(data processing units), 그래픽 프로세서들 등을 포함함), 메모리 디바이스들(예를 들어, 동적 판독-전용 메모리), 스토리지 디바이스들(예를 들어, 솔리드 스테이트 또는 디스크 드라이브들), "NW I/O"(network input/output) 디바이스들, 네트워크 스위치들, "VM들"(virtual machines), 전력 모듈들, 및 냉각 모듈들 등을 포함할 수 있다. 적어도 하나의 실시예에서, 노드 C.R.들(616(1)-616(N)) 중으로부터의 하나 이상의 노드 C.R.는 위에서 언급된 컴퓨팅 리소스들 중 하나 이상을 갖는 서버일 수 있다.
적어도 하나의 실시예에서, 그룹화된 컴퓨팅 리소스들(614)은 하나 이상의 랙(도시되지 않음) 내에 하우징되는 노드 C.R.들, 또는 다양한 지리적 위치들에서 데이터 센터들에 하우징되는 많은 랙들(또한 도시되지 않음)의 개별 그룹화들을 포함할 수 있다. 그룹화된 컴퓨팅 리소스들(614) 내의 노드 C.R.들의 개별 그룹화들은 하나 이상의 작업부하를 지원하도록 구성되거나 또는 할당될 수 있는 그룹화된 컴퓨팅, 네트워크, 메모리 또는 스토리지 리소스들을 포함할 수 있다. 적어도 하나의 실시예에서, CPU들 또는 프로세서들을 포함하는 몇몇 노드 C.R.들은, 하나 이상의 작업부하를 지원하는 컴퓨팅 리소스들을 제공하기 위해 하나 이상의 랙 내에 그룹화될 수 있다. 적어도 하나의 실시예에서, 하나 이상의 랙은 임의의 수의 전력 모듈, 냉각 모듈, 및 네트워크 스위치를, 임의의 조합으로, 또한 포함할 수 있다.
적어도 하나의 실시예에서, 리소스 오케스트레이터(612)는 하나 이상의 노드 C.R.(616(1)-616(N)) 및/또는 그룹화된 컴퓨팅 리소스들(614)을 구성하거나 또는 다른 방식으로 제어할 수 있다. 적어도 하나의 실시예에서, 리소스 오케스트레이터(612)는 데이터 센터(600)에 대한 "SDI"(software design infrastructure) 관리 엔티티를 포함할 수 있다. 적어도 하나의 실시예에서, 리소스 오케스트레이터(612)는 하드웨어, 소프트웨어 또는 이들의 일부 조합을 포함할 수 있다.
적어도 하나의 실시예에서, 도 6에 도시되는 바와 같이, 프레임워크 레이어(620)는 작업 스케줄러(632), 구성 관리기(634), 리소스 관리기(636) 및 분산 파일 시스템(638)을, 제한 없이, 포함한다. 적어도 하나의 실시예에서, 프레임워크 레이어(620)는 소프트웨어 레이어(630)의 소프트웨어(652) 및/또는 애플리케이션 레이어(640)의 하나 이상의 애플리케이션(들)(642)을 지원하는 프레임워크를 포함할 수 있다. 적어도 하나의 실시예에서, 소프트웨어(652) 또는 애플리케이션(들)(642)은 Amazon Web Services, Google Cloud 및 Microsoft Azure에 의해 제공되는 것들과 같은 웹 기반 서비스 소프트웨어 또는 애플리케이션들을 각각 포함할 수 있다. 적어도 하나의 실시예에서, 프레임워크 레이어(620)는, 이에 제한되는 것은 아니지만, 대규모 데이터 처리(예를 들어, "빅 데이터(big data)")를 위해 분산 파일 시스템(638)을 이용할 수 있는 Apache SparkTM(이하, "Spark")과 같은 자유 및 오픈-소스 소프트웨어 웹 애플리케이션 프레임워크의 타입일 수 있다. 적어도 하나의 실시예에서, 작업 스케줄러(632)는 데이터 센터(600)의 다양한 레이어들에 의해 지원되는 작업부하들의 스케줄링을 용이하게 하는 Spark 드라이버를 포함할 수 있다. 적어도 하나의 실시예에서, 구성 관리기(634)는, 대규모 데이터 처리를 지원하기 위한 Spark 및 분산 파일 시스템(638)을 포함하는, 프레임워크 레이어(620) 및 소프트웨어 레이어(630)와 같은 상이한 레이어들을 구성할 수 있다. 적어도 하나의 실시예에서, 리소스 관리기(636)는 분산형 파일 시스템(638) 및 작업 스케줄러(632)의 지원을 위해 할당되는 또는 이에 매핑되는 클러스터링된 또는 그룹화된 컴퓨팅 리소스를 관리할 수 있다. 적어도 하나의 실시예에서, 클러스터링된 또는 그룹화된 컴퓨팅 리소스들은 데이터 센터 인프라스트럭처 레이어(610)에 그룹화된 컴퓨팅 리소스(614)를 포함할 수 있다. 적어도 하나의 실시예에서, 리소스 관리기(636)는 이러한 매핑된 또는 할당된 컴퓨팅 리소스들을 관리하기 위해 리소스 오케스트레이터(612)와 조율할 수 있다.
적어도 하나의 실시예에서, 소프트웨어 레이어(630)에 포함되는 소프트웨어(652)는 노드 C.R.s(616(1)-616(N))의 적어도 일부들, 그룹화된 컴퓨팅 리소스들(614), 및/또는 프레임워크 레이어(620)의 분산 파일 시스템(638)에 의해 사용되는 소프트웨어를 포함할 수 있다. 소프트웨어의 하나 이상의 타입은, 이에 제한되는 것은 아니지만, Internet 웹 페이지 검색 소프트웨어, 이-메일 바이러스 스캔 소프트웨어, 데이터베이스 소프트웨어, 및 스트리밍 비디오 콘텐츠 소프트웨어를 포함할 수 있다.
적어도 하나의 실시예에서, 애플리케이션 레이어(640)에 포함되는 애플리케이션(들)(642)은 노드 C.R.s(616(1)-616(N))의 적어도 일부들, 그룹화된 컴퓨팅 리소스들(614), 및/또는 프레임워크 레이어(620)의 분산 파일 시스템(638)에 의해 사용되는 하나 이상의 타입의 애플리케이션을 포함할 수 있다. 적어도 하나 이상의 타입의 애플리케이션은 CUDA 애플리케이션들을, 제한 없이, 포함할 수 있다.
적어도 하나의 실시예에서, 구성 관리기(634), 리소스 관리기(636), 및 리소스 오케스트레이터(612) 중 임의의 것은 임의의 기술적으로 실현가능한 방식으로 취득되는 임의의 양 및 타입의 데이터에 기초하여 임의의 수 및 타입의 자체-수정 액션들을 구현할 수 있다. 적어도 하나의 실시예에서, 자체-수정 액션들은 데이터 센터(600)의 데이터 센터 운영자가 혹시라도 열악한 구성 결정들을 행하는 것 및 혹시라도 데이터 센터의 충분히 이용되지 않은 및/또는 불량한 수행 부분들을 회피하는 것을 완화시킬 수 있다.
컴퓨터-기반 시스템들
다음의 도면들은 적어도 하나의 실시예를 구현하기 위해 사용될 수 있는 예시적인 컴퓨터-기반 시스템들을, 제한 없이, 제시한다.
도 7은, 적어도 하나의 실시예에 따른, 처리 시스템(700)을 예시한다. 적어도 하나의 실시예에서, 처리 시스템(700)은, 하나 이상의 프로세서(702) 및 하나 이상의 그래픽 프로세서(708)를 포함하고, 단일의 프로세서 데스크톱 시스템, 멀티프로세서 워크스테이션 시스템, 또는 많은 수의 프로세서(702) 또는 프로세서 코어들(707)을 갖는 서버 시스템일 수 있다. 적어도 하나의 실시예에서, 처리 시스템(700)은, 모바일, 핸드헬드, 또는 내장 디바이스들에서 사용하기 위해 SoC(system-on-a-chip) 집적 회로 내에 통합되는 처리 플랫폼이다.
적어도 하나의 실시예에서, 처리 시스템(700)은, 서버-기반 게임 플랫폼, 게임 콘솔, 미디어 콘솔, 모바일 게임 콘솔, 핸드헬드 게임 콘솔, 또는 온라인 게임 콘솔을 포함하거나, 또는 그 내에 통합될 수 있다. 적어도 하나의 실시예에서, 처리 시스템(700)은 모바일 폰, 스마트 폰, 태블릿 컴퓨팅 디바이스 또는 모바일 Internet 디바이스이다. 적어도 하나의 실시예에서, 처리 시스템(700)은, 스마트 시계 웨어러블 디바이스, 스마트 안경 디바이스, 증강 현실 디바이스, 또는 가상 현실 디바이스와 같은, 웨어러블 디바이스를 또한 포함하거나, 그와 연결되거나, 또는 그 내에 통합될 수 있다. 적어도 하나의 실시예에서, 처리 시스템(700)은, 하나 이상의 프로세서(702) 및 하나 이상의 그래픽 프로세서(708)에 의해 생성되는 그래픽 인터페이스를 갖는 텔레비전 또는 셋 톱 박스 디바이스이다.
적어도 하나의 실시예에서, 하나 이상의 프로세서(702)는, 실행될 때, 시스템 및 사용자 소프트웨어에 대한 연산들을 수행하는 명령어들을 처리하는 하나 이상의 프로세서 코어(707)를 각각 포함한다. 적어도 하나의 실시예에서, 하나 이상의 프로세서 코어(707) 각각은 구체적인 명령어 세트(709)를 처리하도록 구성된다. 적어도 하나의 실시예에서, 명령어 세트(709)는 "CISC"(Complex Instruction Set Computing), "RISC"(Reduced Instruction Set Computing), 또는 "VLIW"(Very Long Instruction Word)를 통한 컴퓨팅을 용이하게 할 수 있다. 적어도 하나의 실시예에서, 프로세서 코어들(707)은, 다른 명령어 세트들의 에뮬레이션을 용이하게 하는 명령어들을 포함할 수 있는, 상이한 명령어 세트(709)를 각각 처리할 수 있다. 적어도 하나의 실시예에서, 프로세서 코어(707)는, DSP(digital signal processor)와 같은, 다른 처리 디바이스들을 또한 포함할 수 있다.
적어도 하나의 실시예에서, 프로세서(702)는 캐시 메모리('캐시")(704)를 포함한다. 적어도 하나의 실시예에서, 프로세서(702)는 단일의 내부 캐시 또는 다수의 레벨들의 내부 캐시를 가질 수 있다. 적어도 하나의 실시예에서, 캐시 메모리는 프로세서(702)의 다양한 컴포넌트들 사이에서 공유된다. 적어도 하나의 실시예에서, 프로세서(702)는, 알려진 캐시 코히어런스 기술들을 사용하여 프로세서 코어들(707) 사이에 공유될 수 있는, 외부 캐시(예를 들어, "L3"(Level 3) 캐시 또는 "LLC"(Last Level Cache))(도시되지 않음)를 또한 사용한다. 적어도 하나의 실시예에서, 레지스터 파일(706)은, 상이한 타입들의 데이터를 저장하기 위한 상이한 타입들의 레지스터들(예를 들어, 정수 레지스터들, 부동 소수점 레지스터들, 상태 레지스터들, 및 명령어 포인터 레지스터)을 포함할 수 있는, 프로세서(702)에 추가적으로 포함된다. 적어도 하나의 실시예에서, 레지스터 파일(706)은 범용 레지스터들 또는 다른 레지스터들을 포함할 수 있다.
적어도 하나의 실시예에서, 하나 이상의 프로세서(들)(702)는 프로세서(702)와 처리 시스템(700)에서의 다른 컴포넌트들 사이에 어드레스, 데이터, 또는 제어 신호들과 같은 통신 신호들을 송신하기 위해 하나 이상의 인터페이스 버스(들)(710)와 연결된다. 적어도 하나의 실시예에서, 인터페이스 버스(710)는, 하나의 실시예에서, "DMI"(Direct Media Interface) 버스의 버전과 같은, 프로세서 버스일 수 있다. 적어도 하나의 실시예에서, 인터페이스 버스(710)는 DMI 버스에 제한되지 않고, 하나 이상의 Peripheral Component Interconnect 버스(예를 들어, "PCI", "PCIe"(PCI Express)), 메모리 버스, 또는 다른 타입의 인터페이스 버스를 포함할 수 있다. 적어도 하나의 실시예에서 프로세서(들)(702)는 통합 메모리 제어기(716) 및 플랫폼 제어기 허브(730)를 포함한다. 적어도 하나의 실시예에서, 메모리 제어기(716)는 메모리 디바이스와 처리 시스템(700)의 다른 컴포넌트들 사이의 통신을 용이하게 하는 반면, "PCH"(platform controller hub)(730)는 로컬 I/O 버스를 통해 "I/O"(Input/Output) 디바이스로의 접속들을 제공한다.
적어도 하나의 실시예에서, 메모리 디바이스(720)는 "DRAM"(dynamic random access memory) 디바이스, "SRAM"(static random access memory) 디바이스, 플래시 메모리 디바이스, 상-변화 메모리 디바이스, 또는 프로세서 메모리로서 역할하기에 적합한 성능을 갖는 일부 다른 메모리 디바이스일 수 있다. 적어도 하나의 실시예에서, 메모리 디바이스(720)는, 하나 이상의 프로세서(702)가 애플리케이션 또는 프로세스를 실행할 때 사용하기 위한 데이터(722) 및 명령어들(721)을 저장하기 위해, 처리 시스템(700)에 대한 시스템 메모리로서 동작할 수 있다. 적어도 하나의 실시예에서, 메모리 제어기(716)는, 그래픽 및 미디어 연산들을 수행하기 위해 프로세서들(702)에서의 하나 이상의 그래픽 프로세서(708)와 통신할 수 있는, 선택적인 외부 그래픽 프로세서(712)와 또한 연결된다. 적어도 하나의 실시예에서, 디스플레이 디바이스(711)는 프로세서(들)(702)에 접속할 수 있다. 적어도 하나의 실시예에서, 디스플레이 디바이스(711)는, 모바일 전자 디바이스 또는 랩톱 디바이스에서와 같은, 내부 디스플레이 디바이스, 또는 디스플레이 인터페이스(예를 들어, DisplayPort 등)를 통해 첨부되는 외부 디스플레이 디바이스 중 하나 이상을 포함할 수 있다. 적어도 하나의 실시예에서, 디스플레이 디바이스(711)는 "VR"(virtual reality) 애플리케이션들 또는 "AR"(augmented reality) 애플리케이션들에서 사용하기 위한 입체 디스플레이 디바이스와 같은 "HMD"(head mounted display)를 포함할 수 있다.
적어도 하나의 실시예에서, 플랫폼 제어기 허브(730)는 주변기기들이 고속 I/O 버스를 통해 메모리 디바이스(720) 및 프로세서(702)에 접속하는 것을 가능하게 한다. 적어도 하나의 실시예에서, I/O 주변기기들은, 이에 제한되는 것은 아니지만, 오디오 제어기(746), 네트워크 제어기(734), 펌웨어 인터페이스(728), 무선 송수신기(726), 터치 센서들(725), 데이터 스토리지 디바이스(724)(예를 들어, 하드 디스크 드라이브, 플래시 메모리 등)를 포함한다. 적어도 하나의 실시예에서, 데이터 스토리지 디바이스(724)는 스토리지 인터페이스(예를 들어, SATA)를 통해 또는, PCI, 또는 PCIe와 같은, 주변기기 버스를 통해 접속할 수 있다. 적어도 하나의 실시예에서, 터치 센서들(725)은 터치 스크린 센서들, 압력 센서들, 또는 지문 센서들을 포함할 수 있다. 적어도 하나의 실시예에서, 무선 송수신기(726)는 Wi-Fi 송수신기, Bluetooth 송수신기, 또는 3G, 4G, 또는 "LTE"(Long Term Evolution) 송수신기와 같은 모바일 네트워크 송수신기일 수 있다. 적어도 하나의 실시예에서, 펌웨어 인터페이스(728)는 시스템 펌웨어와의 통신을 가능하게 하고, 예를 들어, "UEFI"(unified extensible firmware interface)일 수 있다. 적어도 하나의 실시예에서, 네트워크 제어기(734)는 유선 네트워크로의 네트워크 접속을 가능하게 할 수 있다. 적어도 하나의 실시예에서, 고-성능 네트워크 제어기(도시되지 않음)는 인터페이스 버스(710)와 연결된다. 적어도 하나의 실시예에서, 오디오 제어기(746)는 멀티-채널 고음질 오디오 제어기이다. 적어도 하나의 실시예에서, 처리 시스템(700)은 레거시(예를 들어, "PS/2"(Personal System 2)) 디바이스들을 처리 시스템(700)에 연결하기 위한 선택적인 레거시 I/O 제어기(740)를 포함한다. 적어도 하나의 실시예에서, 플랫폼 제어기 허브(730)는, 키보드 및 마우스(743) 조합들, 카메라(744), 또는 다른 USB 입력 디바이스들과 같은, 입력 디바이스들을 접속하는 하나 이상의 "USB"(Universal Serial Bus) 제어기(742)에 또한 접속할 수 있다.
적어도 하나의 실시예에서, 메모리 제어기(716) 및 플랫폼 제어기 허브(730)의 인스턴스는, 외부 그래픽 프로세서(712)와 같은, 별개 외부 그래픽 프로세서에 통합될 수 있다. 적어도 하나의 실시예에서, 플랫폼 제어기 허브(730) 및/또는 메모리 제어기(716)는 하나 이상의 프로세서(들)(702)의 외부에 있을 수 있다. 예를 들어, 적어도 하나의 실시예에서, 처리 시스템(700)은 외부 메모리 제어기(716) 및, 프로세서(들)(702)와 통신하는 시스템 칩셋에서의 메모리 제어기 허브 및 주변기기 제어기 허브로서 구성될 수 있는, 플랫폼 제어기 허브(730)를 포함할 수 있다.
도 8은, 적어도 하나의 실시예에 따른, 컴퓨터 시스템(800)을 예시한다. 적어도 하나의 실시예에서, 컴퓨터 시스템(800)은 인터커넥트된 디바이스들 및 컴포넌트들, SOC, 또는 일부 조합이 있는 시스템일 수 있다. 적어도 하나의 실시예에서, 컴퓨터 시스템(800)은 명령어를 실행하는 실행 유닛들을 포함할 수 있는 프로세서(802)로 형성된다. 적어도 하나의 실시예에서, 컴퓨터 시스템(800)은, 데이터를 처리하기 위한 알고리즘들을 수행하는 로직을 포함하는 실행 유닛들을 이용하는 프로세서(802)와 같은, 컴포넌트를, 제한 없이, 포함할 수 있다. 적어도 하나의 실시예에서, 컴퓨터 시스템(800)은, 캘리포니아주 산타 클라라의 Intel Corporation으로부터 이용가능한 PENTIUM® 프로세서 계열, XeonTM, Itanium®, XScaleTM 및/또는 StrongARMTM, Intel® CoreTM, 또는 Intel® NervanaTM 마이크로프로세서들과 같은, 프로세서들을 포함할 수 있지만, 다른 시스템들(다른 마이크로프로세서들을 갖는 PC들, 엔지니어링 워크스테이션들, 셋-톱 박스들 등을 포함함)이 또한 사용될 수 있다. 적어도 하나의 실시예에서, 컴퓨터 시스템(800)은 Redmond, Wash.의 Microsoft Corporation으로부터 이용가능한 WINDOWS 운영 체제의 버전을 실행할 수 있지만, 다른 운영 체제들(예를 들어, UNIX 및 Linux), 내장 소프트웨어, 및/또는 그래픽 사용자 인터페이스들이 또한 사용될 수 있다.
적어도 하나의 실시예에서, 컴퓨터 시스템(800)은 핸드헬드 디바이스들 및 내장 애플리케이션들과 같은 다른 디바이스들에서 사용될 수 있다. 핸드헬드 디바이스들의 일부 예들은 셀룰러 전화들, Internet Protocol 디바이스들, 디지털 카메라들, "PDA들"(personal digital assistant), 및 핸드헬드 PC들을 포함한다. 적어도 하나의 실시예에서, 내장 애플리케이션들은 마이크로제어기, DSP(digital signal processor), SoC, 네트워크 컴퓨터들("NetPC들"), 셋-톱 박스들, 네트워크 허브들, "WAN"(wide area network) 스위치들, 또는 하나 이상의 명령어를 수행할 수 있는 임의의 다른 시스템을 포함할 수 있다.
적어도 하나의 실시예에서, 컴퓨터 시스템(800)은, CUDA(Compute Unified Device Architecture)(CUDA®는 캘리포니아주 산타 클라라의 NVIDIA Corporation에 의해 개발됨) 프로그램을 실행하도록 구성될 수 있는 하나 이상의 실행 유닛(808)을, 제한 없이, 포함할 수 있는 프로세서(802)를, 제한 없이, 포함할 수 있다. 적어도 하나의 실시예에서, CUDA 프로그램은 CUDA 프로그래밍 언어로 작성되는 소프트웨어 애플리케이션의 적어도 일부이다. 적어도 하나의 실시예에서, 컴퓨터 시스템(800)은 단일의 프로세서 데스크톱 또는 서버 시스템이다. 적어도 하나의 실시예에서, 컴퓨터 시스템(800)은 멀티프로세서 시스템일 수 있다. 적어도 하나의 실시예에서, 프로세서(802)는, 예를 들어, CISC 마이크로프로세서, RISC 마이크로프로세서, VLIW 마이크로프로세서, 명령어 세트들의 조합을 구현하는 프로세서, 또는, 디지털 신호 프로세서와 같은, 임의의 다른 프로세서 디바이스를, 제한 없이, 포함할 수 있다. 적어도 하나의 실시예에서, 프로세서(802)는, 프로세서(802)와 컴퓨터 시스템(800)에서의 다른 컴포넌트들 사이에 데이터 신호들을 송신할 수 있는 프로세서 버스(810)에 연결될 수 있다.
적어도 하나의 실시예에서, 프로세서(802)는 "L1"(Level 1) 내부 캐시 메모리("캐시")(804)를, 제한 없이, 포함할 수 있다. 적어도 하나의 실시예에서, 프로세서(802)는 단일의 내부 캐시 또는 다수의 레벨들의 내부 캐시를 가질 수 있다. 적어도 하나의 실시예에서, 캐시 메모리는 프로세서(802) 외부에 상주할 수 있다. 적어도 하나의 실시예에서, 프로세서(802)는 내부 및 외부 캐시들 양자 모두의 조합을 또한 포함할 수 있다. 적어도 하나의 실시예에서, 레지스터 파일(806)은 정수 레지스터들, 부동 소수점 레지스터들, 상태 레지스터들, 및 명령어 포인터 레지스터들을, 제한 없이, 포함하는 다양한 레지스터들에 상이한 타입들의 데이터를 저장할 수 있다.
적어도 하나의 실시예에서, 정수 및 부동 소수점 연산들을 수행하는 로직을, 제한 없이, 포함하는 실행 유닛(808) 또한 프로세서(802)에 상주한다. 프로세서(802)는 또한 특정 매크로 명령어들에 대한 마이크로코드를 저장한 "ucode"(microcode) "ROM"(read only memory)을 포함할 수 있다. 적어도 하나의 실시예에서, 실행 유닛(808)은 패킹된 명령어 세트(809)를 핸들링하는 로직을 포함할 수 있다. 적어도 하나의 실시예에서, 명령어들을 실행하는 연관된 회로와 함께, 범용 프로세서(802)의 명령어 세트에 패킹된 명령어 세트(809)를 포함시키는 것에 의해, 많은 멀티미디어 애플리케이션들에 의해 사용되는 연산들은 범용 프로세서(802)에서 패킹된 데이터를 사용하여 수행될 수 있다. 적어도 하나의 실시예에서, 많은 멀티미디어 애플리케이션들은 패킹된 데이터에 대한 연산들을 수행하기 위해 프로세서의 데이터 버스의 전체 폭을 사용하는 것에 의해 가속되고 더 효율적으로 실행될 수 있으며, 이는 한 번에 하나의 데이터 엘리먼트로 하나 이상의 연산을 수행하기 위해 프로세서의 데이터 버스에 걸쳐 더 작은 단위들의 데이터를 전송할 필요성을 제거할 수 있다.
적어도 하나의 실시예에서, 실행 유닛(808)은 마이크로제어기들, 내장 프로세서들, 그래픽 디바이스들, DSP들, 및 다른 타입들의 로직 회로들에서 또한 사용될 수 있다. 적어도 하나의 실시예에서, 컴퓨터 시스템(800)은 메모리(820)를, 제한 없이, 포함할 수 있다. 적어도 하나의 실시예에서, 메모리(820)는 DRAM 디바이스, SRAM 디바이스, 플래시 메모리 디바이스, 또는 다른 메모리 디바이스로서 구현될 수 있다. 메모리(820)는, 프로세서(802)에 의해 실행될 수 있는 데이터 신호들에 의해 표현되는 명령어(들)(819) 및/또는 데이터(821)를 저장할 수 있다.
적어도 하나의 실시예에서, 시스템 로직 칩은 프로세서 버스(810) 및 메모리(820)에 연결될 수 있다. 적어도 하나의 실시예에서, 시스템 로직 칩은 "MCH"(memory controller hub)(816)를, 제한 없이, 포함할 수 있고, 프로세서(802)는 프로세서 버스(810)를 통해 MCH(816)와 통신할 수 있다. 적어도 하나의 실시예에서, MCH(816)는, 명령어 및 데이터 스토리지를 위해 그리고 그래픽 커맨드들, 데이터 및 텍스처들의 스토리지를 위해, 메모리(820)에 고 대역폭 메모리 경로(818)를 제공할 수 있다. 적어도 하나의 실시예에서, MCH(816)는 프로세서(802), 메모리(820), 및 컴퓨터 시스템(800)에서의 다른 컴포넌트들 사이에 데이터 신호들을 지향시키고, 프로세서 버스(810), 메모리(820), 및 시스템 I/O(822) 사이에 데이터 신호들을 브릿지할 수 있다. 적어도 하나의 실시예에서, 시스템 로직 칩은 그래픽 제어기에 연결하기 위한 그래픽 포트를 제공할 수 있다. 적어도 하나의 실시예에서, MCH(816)는 고 대역폭 메모리 경로(818)를 통해 메모리(820)에 연결될 수 있고, 그래픽/비디오 카드(812)는 "AGP"(Accelerated Graphics Port) 인터커넥트(814)를 통해 MCH(816)에 연결될 수 있다.
적어도 하나의 실시예에서, 컴퓨터 시스템(800)은 MCH(816)를 I/O 제어기 허브("ICH")(830)에 연결하기 위해 독점적 허브 인터페이스 버스로서 시스템 I/O 인터페이스(822)를 사용할 수 있다. 적어도 하나의 실시예에서, ICH(830)는 로컬 I/O 버스를 통해 일부 I/O 디바이스들로의 직접 접속들을 제공할 수 있다. 적어도 하나의 실시예에서, 로컬 I/O 버스는 주변기기들을 메모리(820), 칩셋, 및 프로세서(802)에 접속하기 위한 고속 I/O 버스를, 제한 없이, 포함할 수 있다. 예들은 오디오 제어기(829), 펌웨어 허브("플래시 BIOS")(828), 무선 송수신기(826), 데이터 스토리지(824), 사용자 입력 인터페이스(825) 및 키보드 인터페이스를 포함하는 레거시 I/O 제어기(823), USB와 같은, 직렬 확장 포트(827), 및 네트워크 제어기(834)를, 제한 없이, 포함할 수 있다. 데이터 스토리지(824)는 하드 디스크 드라이브, 플로피 디스크 드라이브, CD-ROM 디바이스, 플래시 메모리 디바이스, 또는 다른 대용량 스토리지 디바이스를 포함할 수 있다.
적어도 하나의 실시예에서, 도 8은 인터커넥트된 하드웨어 디바이스들 또는 "칩들(chips)"을 포함하는 시스템을 예시한다. 적어도 하나의 실시예에서, 도 8은 예시적인 SoC를 예시할 수 있다. 적어도 하나의 실시예에서, 도 8에 예시되는 디바이스들은 독점적 인터커넥트들, 표준화된 인터커넥트들(예를 들어, PCIe) 또는 이들의 일부 조합과 인터커넥트될 수 있다. 적어도 하나의 실시예에서, 시스템(800)의 하나 이상의 컴포넌트는 "CXL"(compute express link) 인터커넥트들을 사용하여 인터커넥트된다.
도 9는, 적어도 하나의 실시예에 따른, 시스템(900)을 예시한다. 적어도 하나의 실시예에서, 시스템(900)은 프로세서(910)를 이용하는 전자 디바이스이다. 적어도 하나의 실시예에서, 시스템(900)은, 예를 들어, 그리고 제한 없이, 노트북, 타워 서버, 랙 서버, 블레이드 서버, 하나 이상의 구내 또는 클라우드 서비스 제공자에 통신가능하게 연결되는 엣지 디바이스, 랩톱, 데스크톱, 태블릿, 모바일 디바이스, 전화, 내장 컴퓨터, 또는 임의의 다른 적합한 전자 디바이스일 수 있다.
적어도 하나의 실시예에서, 시스템(900)은 임의의 적합한 수 또는 종류의 컴포넌트들, 주변기기들, 모듈들, 또는 디바이스들에 통신가능하게 연결되는 프로세서(910)를, 제한 없이, 포함할 수 있다. 적어도 하나의 실시예에서, 프로세서(910)는, I2C 버스, "SMBus"(System Management Bus), LPC(Low Pin Count) 버스, "SPI"(Serial Peripheral Interface), "HDA"(High Definition Audio) 버스, "SATA"(Serial Advance Technology Attachment) 버스, USB(버전들 1, 2, 3), 또는 "UART"(Universal Asynchronous Receiver/Transmitter) 버스와 같은, 버스 또는 인터페이스를 사용하여 연결된다. 적어도 하나의 실시예에서, 도 9는 인터커넥트된 하드웨어 디바이스들 또는 "칩들(chips)"을 포함하는 시스템을 예시한다. 적어도 하나의 실시예에서, 도 9는 예시적인 SoC를 예시할 수 있다. 적어도 하나의 실시예에서, 도 9에 예시되는 디바이스들은 독점적 인터커넥트들, 표준화된 인터커넥트들(예를 들어, PCIe) 또는 이들의 일부 조합과 인터커넥트될 수 있다. 적어도 하나의 실시예에서, 도 9의 하나 이상의 컴포넌트는 CXL 인터커넥트들을 사용하여 인터커넥트된다.
적어도 하나의 실시예에서, 도 9는 디스플레이(924), 터치 스크린(925), 터치 패드(930), "NFC"(Near Field Communications) 유닛(945), 센서 허브(940), 열 센서(946), "EC"(Express Chipset)(935), "TPM"(Trusted Platform Module)(938), "BIOS, FW Flash"(BIOS/firmware/flash) 메모리(922), DSP(960), "SSD"(Solid State Disk) 또는 "HDD"(Hard Disk Drive)(920), "WLAN"(wireless local area network) 유닛(950), Bluetooth 유닛(952), "WWAN"(Wireless Wide Area Network) 유닛(956), "GPS"(Global Positioning System)(955), USB 3.0 카메라와 같은 카메라("USB 3.0 카메라")(954), 또는, 예를 들어, LPDDR3 표준으로 구현되는 "LPDDR3"(LPDDR(Low Power Double Data Rate)) 메모리 유닛(915)을 포함할 수 있다. 이러한 컴포넌트들 각각은, 임의의 적합한 방식으로 구현될 수 있다.
적어도 하나의 실시예에서, 다른 컴포넌트들은 위에 논의된 컴포넌트들을 통해 프로세서(910)에 통신가능하게 연결될 수 있다. 적어도 하나의 실시예에서, 가속도계(941), "ALS"(Ambient Light Sensor)(942), 나침반(943), 및 자이로스코프(944)는 센서 허브(940)에 통신가능하게 연결될 수 있다. 적어도 하나의 실시예에서, 열 센서(939), 팬(937), 키보드(936), 및 터치 패드(930)는 EC(935)에 통신가능하게 연결될 수 있다. 적어도 하나의 실시예에서, 스피커(963), 헤드폰들(964), 및 "mic"(microphone)(965)은 오디오 유닛("오디오 코덱 및 클래스 d 앰프")(962)에 통신가능하게 연결될 수 있고, 이는 결국 DSP(960)에 통신가능하게 연결될 수 있다. 적어도 하나의 실시예에서, 오디오 유닛(962)은 오디오 코더/디코더("코덱") 및 클래스 D 증폭기를, 예를 들어, 그리고 제한 없이, 포함할 수 있다. 적어도 하나의 실시예에서, SIM 카드("SIM")(957)는 WWAN 유닛(956)에 통신가능하게 연결될 수 있다. 적어도 하나의 실시예에서, WWAN 유닛(956) 뿐만 아니라 WLAN 유닛(950) 및 Bluetooth 유닛(952)과 같은 컴포넌트들은 "NGFF"(Next Generation Form Factor)로 구현될 수 있다.
도 10은, 적어도 하나의 실시예에 따른, 예시적인 집적 회로(1000)를 예시한다. 적어도 하나의 실시예에서, 예시적인 집적 회로(1000)는 하나 이상의 IP 코어를 사용하여 제조될 수 있는 SoC이다. 적어도 하나의 실시예에서, 집적 회로(1000)는, 하나 이상의 애플리케이션 프로세서(들)(1005)(예를 들어, CPU들, DPU들), 적어도 하나의 그래픽 프로세서(1010)를 포함하고, 이미지 프로세서(1015) 및/또는 비디오 프로세서(1020)를 추가적으로 포함할 수 있으며, 이러한 중 임의의 것은 모듈식 IP 코어일 수 있다. 적어도 하나의 실시예에서, 집적 회로(1000)는 USB 제어기(1025), UART 제어기(1030), SPI/SDIO 제어기(1035), 및 I2S/I2C 제어기(1040)를 포함하는 주변기기 또는 버스 로직을 포함한다. 적어도 하나의 실시예에서, 집적 회로(1000)는, "HDMI"(high-definition multimedia interface) 제어기(1050) 및 "MIPI"(mobile industry processor interface ) 디스플레이 인터페이스(1055) 중 하나 이상에 연결되는 디스플레이 디바이스(1045)를 포함할 수 있다. 적어도 하나의 실시예에서, 스토리지는, 플래시 메모리 및 플래시 메모리 제어기를 포함하는 플래시 메모리 서브시스템(1060)에 의해 제공될 수 있다. 적어도 하나의 실시예에서, 메모리 인터페이스는 SDRAM 또는 SRAM 메모리 디바이스들에 대한 액세스를 위해 메모리 제어기(1065)를 통해 제공될 수 있다. 적어도 하나의 실시예에서, 일부 집적 회로는 내장 보안 엔진(1070)을 추가적으로 포함한다.
도 11은, 적어도 하나의 실시예에 따른, 컴퓨팅 시스템(1100)을 예시한다. 적어도 하나의 실시예에서, 컴퓨팅 시스템(1100)은, 하나 이상의 프로세서(들)(1102), 및 메모리 허브(1105)를 포함할 수 있는 인터커넥트 경로를 통해 통신하는 시스템 메모리(1104)를 갖는 처리 서브시스템(1101)을 포함한다. 적어도 하나의 실시예에서, 메모리 허브(1105)는 칩셋 컴포넌트 내의 별개의 컴포넌트일 수 있거나 또는 하나 이상의 프로세서(들)(1102) 내에 통합될 수 있다. 적어도 하나의 실시예에서, 메모리 허브(1105)는 통신 링크(1106)를 통해 I/O 서브시스템(1111)과 연결된다. 적어도 하나의 실시예에서, I/O 서브시스템(1111)은 컴퓨팅 시스템(1100)이 하나 이상의 입력 디바이스(들)(1108)로부터 입력을 수신하는 것을 가능하게 할 수 있는 I/O 허브(1107)를 포함한다. 적어도 하나의 실시예에서, I/O 허브(1107)는 하나 이상의 프로세서(들)(1102)에 포함될 수 있는 디스플레이 제어기가 하나 이상의 디스플레이 디바이스(들)(1110A)에 출력들을 제공하는 것을 가능하게 할 수 있다. 적어도 하나의 실시예에서, I/O 허브(1107)와 연결되는 하나 이상의 디스플레이 디바이스(들)(1110A)는, 로컬, 내부, 또는 내장 디스플레이 디바이스를 포함할 수 있다.
적어도 하나의 실시예에서, 처리 서브시스템(1101)은 버스 또는 다른 통신 링크(1113)를 통해 메모리 허브(1105)에 연결되는 하나 이상의 병렬 프로세서(들)(1112)를 포함한다. 적어도 하나의 실시예에서, 통신 링크(1113)는, 이에 제한되는 것은 아니지만 PCIe와 같은, 임의의 수의 표준 기반 통신 링크 기술들 또는 프로토콜들 중 하나일 수 있거나, 또는 벤더 특정의 통신 인터페이스 또는 통신 패브릭일 수 있다. 적어도 하나의 실시예에서, 하나 이상의 병렬 프로세서(들)(1112)는, 많은 집적 코어 프로세서와 같은, 많은 수의 처리 코어들 및/또는 처리 클러스터들을 포함할 수 있는 계산적으로 집중된 병렬 또는 벡터 처리 시스템을 형성한다. 적어도 하나의 실시예에서, 하나 이상의 병렬 프로세서(들)(1112)는 전부는 픽셀들을 I/O 허브(1107)를 통해 연결되는 하나 이상의 디스플레이 디바이스(들)(1110A) 중 하나에 출력할 수 있는 그래픽 처리 서브시스템을 형성한다. 적어도 하나의 실시예에서, 하나 이상의 병렬 프로세서(들)(1112)는 하나 이상의 디스플레이 디바이스(들)(1110B)로의 직접 접속을 가능하게 하는 디스플레이 제어기 및 디스플레이 인터페이스(도시되지 않음)를 또한 포함할 수 있다.
적어도 하나의 실시예에서, 시스템 스토리지 유닛(1114)은 컴퓨팅 시스템(1100)에 대한 스토리지 메커니즘을 제공하기 위해 I/O 허브(1107)에 접속할 수 있다. 적어도 하나의 실시예에서, I/O 스위치(1116)는, 플랫폼에 통합될 수 있는 네트워크 어댑터(1118) 및/또는 무선 네트워크 어댑터(1119), 및 하나 이상의 애드-인 디바이스(들)(1120)를 통해 추가될 수 있는 다양한 다른 디바이스들과 같은, 다른 컴포넌트들과 I/O 허브(1107) 사이의 접속들을 가능하게 하는 인터페이스 메커니즘을 제공하기 위해 사용될 수 있다. 적어도 하나의 실시예에서, 네트워크 어댑터(1118)는 Ethernet 어댑터 또는 다른 유선 네트워크 어댑터일 수 있다. 적어도 하나의 실시예에서, 무선 네트워크 어댑터(1119)는, Wi-Fi, Bluetooth, NFC, 또는 하나 이상의 무선 라디오를 포함하는 다른 네트워크 디바이스 중 하나 이상을 포함할 수 있다.
적어도 하나의 실시예에서, 컴퓨팅 시스템(1100)은, USB 또는 다른 포트 접속들, 광학 스토리지 드라이브들, 비디오 캡처 디바이스들 등을 포함하는, 그리고 I/O 허브(1107)에 또한 접속될 수 있는, 명시적으로 도시되지 않은 다른 컴포넌트들을 포함할 수 있다. 적어도 하나의 실시예에서, 도 11에서의 다양한 컴포넌트들을 인터커넥트하는 통신 경로들은, PCI 기반 프로토콜들(예를 들어, PCIe)과 같은, 임의의 적합한 프로토콜들, 또는, NVLink 고속 인터커넥트 또는 인터커넥트 프로토콜들과 같은, 다른 버스 또는 포인트-투-포인트 통신 인터페이스들 및/또는 프로토콜(들)을 사용하여 구현될 수 있다.
적어도 하나의 실시예에서, 하나 이상의 병렬 프로세서(들)(1112)는, 예를 들어, 비디오 출력 회로를 포함하는, 그래픽 및 비디오 처리에 최적화된 회로를 포함하고, "GPU"(graphics processing unit)를 구성한다. 적어도 하나의 실시예에서, 하나 이상의 병렬 프로세서(들)(1112)는 범용 처리를 위해 최적화되는 회로를 포함한다. 적어도 실시예에서, 컴퓨팅 시스템(1100)의 컴포넌트들은 단일의 집적 회로 상의 하나 이상의 다른 시스템 엘리먼트와 통합될 수 있다. 예를 들어, 적어도 하나의 실시예에서, 하나 이상의 병렬 프로세서(들)(1112), 메모리 허브(1105), 프로세서(들)(1102), 및 I/O 허브(1107)는 SoC 집적 회로에 통합될 수 있다. 적어도 하나의 실시예에서, 컴퓨팅 시스템(1100)의 컴포넌트들은 SIP(system in package) 구성을 형성하기 위해 단일의 패키지 내에 통합될 수 있다. 적어도 하나의 실시예에서, 컴퓨팅 시스템(1100)의 컴포넌트의 적어도 일부는 "MCM"(multi-chip module)에 통합될 수 있고, 이는 다른 멀티-칩 모듈들과 인터커넥트되어 모듈식 컴퓨팅 시스템이 될 수 있다. 적어도 하나의 실시예에서, I/O 서브시스템(1111) 및 디스플레이 디바이스들(1110B)은 컴퓨팅 시스템(1100)으로부터 생략된다.
처리 시스템들
다음의 도면들은 적어도 하나의 실시예를 구현하기 위해 사용될 수 있는 예시적인 처리 시스템들을, 제한 없이, 제시한다.
도 12는, 적어도 하나의 실시예에 따른, "APU"(accelerated processing unit)(1200)을 예시한다. 적어도 하나의 실시예에서, APU(1200)는 캘리포니아주 산타 클라라의 AMD Corporation에 의해 개발된다. 적어도 하나의 실시예에서, APU(1200)는, CUDA 프로그램과 같은, 애플리케이션 프로그램을 실행하도록 구성될 수 있다. 적어도 하나의 실시예에서, APU(1200)는 코어 콤플렉스(1210), 그래픽 콤플렉스(1240), 패브릭(1260), I/O 인터페이스들(1270), 메모리 제어기들(1280), 디스플레이 제어기(1292), 및 멀티미디어 엔진(1294)을, 제한 없이, 포함한다. 적어도 하나의 실시예에서, APU(1200)는 임의의 수의 코어 콤플렉스(1210), 임의의 수의 그래픽 콤플렉스(1250), 임의의 수의 디스플레이 제어기(1292), 및 임의의 수의 멀티미디어 엔진(1294)을 임의의 조합으로, 제한 없이, 포함할 수 있다. 설명 목적들로, 비슷한 객체들의 다수의 인스턴스들이 객체를 식별하는 참조 번호들 및 필요한 경우 해당 인스턴스를 식별하는 괄호 번호들로 본 명세서에 표시된다.
적어도 하나의 실시예에서, 코어 콤플렉스(1210)는 CPU이고, 그래픽 콤플렉스(1240)는 GPU이고, APU(1200)는 1210 및 1240을 단일의 칩 상에, 제한 없이, 통합하는 처리 유닛이다. 적어도 하나의 실시예에서, 일부 태스크들은 코어 콤플렉스(1210)에 배정될 수 있고, 다른 태스크들은 그래픽 콤플렉스(1240)에 배정될 수 있다. 적어도 하나의 실시예에서, 코어 콤플렉스(1210)는, 운영 체제와 같은, APU(1200)와 연관된 메인 제어 소프트웨어를 실행하도록 구성된다. 적어도 하나의 실시예에서, 코어 콤플렉스(1210)는, 다른 프로세서들의 동작들을 제어하고 조율하는, APU(1200)의 마스터 프로세서이다. 적어도 하나의 실시예에서, 코어 콤플렉스(1210)는 그래픽 콤플렉스(1240)의 동작을 제어하는 커맨드들을 발행한다. 적어도 하나의 실시예에서, 코어 콤플렉스(1210)는 CUDA 소스 코드로부터 도출되는 호스트 실행가능 코드를 실행하도록 구성될 수 있고, 그래픽 콤플렉스(1240)는 CUDA 소스 코드로부터 도출되는 디바이스 실행가능 코드를 실행하도록 구성될 수 있다.
적어도 하나의 실시예에서, 코어 콤플렉스(1210)는 코어들(1220(1)-1220(4)) 및 L3 캐시(1230)를, 제한 없이, 포함한다. 적어도 하나의 실시예에서, 코어 콤플렉스(1210)는 임의의 수의 코어들(1220) 및 임의의 수 및 타입의 캐시들을 임의의 조합으로, 제한 없이, 포함할 수 있다. 적어도 하나의 실시예에서, 코어들(1220)은 특정 "ISA"(instruction set architecture)의 명령어들을 실행하도록 구성된다. 적어도 하나의 실시예에서, 각각의 코어(1220)는 CPU 코어이다.
적어도 하나의 실시예에서, 각각의 코어(1220)는 인출/디코딩 유닛(1222), 정수 실행 엔진(1224), 부동 소수점 실행 엔진(1226), 및 L2 캐시(1228)를, 제한 없이, 포함한다. 적어도 하나의 실시예에서, 인출/디코딩 유닛(1222)은 명령어들을 인출하고, 이러한 명령어들을 디코딩하고, 마이크로-연산들을 생성하고, 별개의 마이크로-명령어들을 정수 실행 엔진(1224) 및 부동 소수점 실행 엔진(1226)에 디스패치한다. 적어도 하나의 실시예에서, 인출/디코딩 유닛(1222)은 하나의 마이크로-명령어를 정수 실행 엔진(1224)에 그리고 다른 마이크로-명령어를 부동 소수점 실행 엔진(1226)에 동시에 디스패치할 수 있다. 적어도 하나의 실시예에서, 정수 실행 엔진(1224)은 정수 및 메모리 연산들을, 제한 없이, 실행한다. 적어도 하나의 실시예에서, 부동 소수점 엔진(1226)은 부동 소수점 및 벡터 연산들을, 제한 없이, 실행한다. 적어도 하나의 실시예에서, 인출-디코딩 유닛(1222)은 정수 실행 엔진(1224) 및 부동 소수점 실행 엔진(1226) 양자 모두를 치환하는 단일의 실행 엔진에 마이크로-명령어들을 디스패치한다.
적어도 하나의 실시예에서, 각각의 코어(1220(i))(i는 코어(1220)의 특정 인스턴스를 표현하는 정수임)는 코어(1220(i))에 포함되는 L2 캐시(1228(i))에 액세스할 수 있다. 적어도 하나의 실시예에서, 코어 콤플렉스(1210(j))에 포함되는 각각의 코어(1220)는 코어 콤플렉스(1210(j))에 포함되는 L3 캐시(1230(j))를 통해 코어 콤플렉스(1210(j))에 포함되는 다른 코어들(1220)에 접속되고, 여기서 j는 코어 콤플렉스(1210)의 특정 인스턴스를 표현하는 정수이다. 적어도 하나의 실시예에서, 코어 콤플렉스(1210(j))에 포함되는 코어들(1220)- j는 코어 콤플렉스(1210)의 특정 인스턴스를 표현하는 정수임 -은 코어 콤플렉스(1210(j))에 포함되는 L3 캐시(1230(j)) 전부에 액세스할 수 있다. 적어도 하나의 실시예에서, L3 캐시(1230)는 임의의 수의 슬라이스를, 제한 없이, 포함할 수 있다.
적어도 하나의 실시예에서, 그래픽 콤플렉스(1240)는 고도-병렬 방식으로 컴퓨팅 연산들을 수행하도록 구성될 수 있다. 적어도 하나의 실시예에서, 그래픽 콤플렉스(1240)는 드로잉 커맨드들, 픽셀 연산들, 지오메트리 계산들, 및 이미지를 디스플레이에 렌더링하는 것과 연관된 다른 연산들과 같은 그래픽 파이프라인 연산들을 실행하도록 구성된다. 적어도 하나의 실시예에서, 그래픽 콤플렉스(1240)는 그래픽에 관련되지 않은 연산들을 실행하도록 구성된다. 적어도 하나의 실시예에서, 그래픽 콤플렉스(1240)는 그래픽에 관련된 연산들 및 그래픽에 관련되지 않은 연산들 양자 모두를 실행하도록 구성된다.
적어도 하나의 실시예에서, 그래픽 콤플렉스(1240)는 임의의 수의 컴퓨팅 유닛들(1250) 및 L2 캐시(1242)를, 제한 없이, 포함한다. 적어도 하나의 실시예에서, 컴퓨팅 유닛들(1250)은 L2 캐시(1242)를 공유한다. 적어도 하나의 실시예에서, L2 캐시(1242)는 파티셔닝된다. 적어도 하나의 실시예에서, 그래픽 콤플렉스(1240)는 임의의 수의 컴퓨팅 유닛들(1250) 및 임의의 수(0을 포함함) 및 타입의 캐시들을, 제한 없이, 포함한다. 적어도 하나의 실시예에서, 그래픽 콤플렉스(1240)는 임의의 양의 전용 그래픽 하드웨어를, 제한 없이, 포함한다.
적어도 하나의 실시예에서, 각각의 컴퓨팅 유닛(1250)은 임의의 수의 SIMD 유닛들(1252) 및 공유 메모리(1254)를, 제한 없이, 포함한다. 적어도 하나의 실시예에서, 각각의 SIMD 유닛(1252)은 SIMD 아키텍처를 구현하고, 연산들을 병렬로 수행하도록 구성된다. 적어도 하나의 실시예에서, 각각의 컴퓨팅 유닛(1250)은 임의의 수의 스레드 블록들을 실행할 수 있지만, 각각의 스레드 블록은 단일의 컴퓨팅 유닛(1250) 상에서 실행된다. 적어도 하나의 실시예에서, 스레드 블록은 임의의 수의 실행 스레드들을, 제한 없이, 포함한다. 적어도 하나의 실시예에서, 작업그룹이 스레드 블록이다. 적어도 하나의 실시예에서, 각각의 SIMD 유닛(1252)은 상이한 워프를 실행한다. 적어도 하나의 실시예에서, 워프는 스레드들(예를 들어, 16개의 스레드들)의 그룹이고, 여기서 워프에서의 각각의 스레드는 단일의 스레드 블록에 속하고 명령어들의 단일의 세트에 기초하여 데이터의 상이한 세트를 처리하도록 구성된다. 적어도 하나의 실시예에서, 워프에서의 하나 이상의 스레드를 디스에이블하기 위해 예측이 사용될 수 있다. 적어도 하나의 실시예에서, 레인이 스레드이다. 적어도 하나의 실시예에서, 작업 항목이 스레드이다. 적어도 하나의 실시예에서, 파면이 워프이다. 적어도 하나의 실시예에서, 스레드 블록에서의 상이한 파면들은 함께 동기화되고 공유 메모리(1254)를 통해 통신할 수 있다.
적어도 하나의 실시예에서, 패브릭(1260)은 코어 콤플렉스(1210), 그래픽 콤플렉스(1240), I/O 인터페이스들(1270), 메모리 제어기들(1280), 디스플레이 제어기들(1292), 및 멀티미디어 엔진(1294)에 걸쳐 데이터 및 제어 송신들을 용이하게 하는 시스템 인터커넥트이다. 적어도 하나의 실시예에서, APU(1200)는 APU(1200)의 내부 또는 외부에 있을 수 있는 임의의 수 및 타입의 직접적 또는 간접적 링크된 컴포넌트들에 걸쳐 데이터 및 제어 송신들을 용이하게 하는 패브릭(1260) 외에도 또는 그 대신에 임의의 양 및 타입의 시스템 인터커넥트를, 제한 없이, 포함할 수 있다. 적어도 하나의 실시예에서, I/O 인터페이스들(1270)은 임의의 수 및 타입의 I/O 인터페이스들(예를 들어, PCI, "PCI-X"(PCI-Extended), PCIe, "GBE"(gigabit Ethernet), USB 등)을 나타낸다. 적어도 하나의 실시예에서, 다양한 타입들의 주변 디바이스들이 I/O 인터페이스들(1270)에 연결된다. 적어도 하나의 실시예에서, I/O 인터페이스들(1270)에 연결되는 주변 디바이스들은 키보드들, 마우스들, 프린터들, 스캐너들, 조이스틱들 또는 다른 타입들의 게임 제어기들, 미디어 기록 디바이스들, 외부 스토리지 디바이스들, 네트워크 인터페이스 카드들 등을, 제한 없이, 포함할 수 있다.
적어도 하나의 실시예에서, 디스플레이 제어기 AMD92는, "LCD"(liquid crystal display) 디바이스와 같은, 하나 이상의 디스플레이 디바이스(들) 상에 이미지들을 디스플레이한다. 적어도 하나의 실시예에서, 멀티미디어 엔진(1294)은, 비디오 디코더, 비디오 인코더, 이미지 신호 프로세서 등과 같은, 멀티미디어와 관련되는 임의의 양 및 타입의 회로를, 제한 없이, 포함한다. 적어도 하나의 실시예에서, 메모리 제어기들(1280)은 APU(1200)와 통합 시스템 메모리(1290) 사이의 데이터 전송들을 용이하게 한다. 적어도 하나의 실시예에서, 코어 콤플렉스(1210) 및 그래픽 콤플렉스(1240)는 통합 시스템 메모리(1290)를 공유한다.
적어도 하나의 실시예에서, APU(1200)는 하나의 컴포넌트에 전용될 수 있는 또는 다수의 컴포넌트들 사이에 공유될 수 있는 임의의 양 및 타입의 메모리 제어기들(1280) 및 메모리 디바이스들(예를 들어, 공유 메모리(1254))을, 제한 없이, 포함하는 메모리 서브시스템을 구현한다. 적어도 하나의 실시예에서, 각각이 임의의 수의 컴포넌트들(예를 들어, 코어들(1220), 코어 콤플렉스(1210), SIMD 유닛들(1252), 컴퓨팅 유닛들(1250), 및 그래픽 콤플렉스(1240))에 사적이거나 또는 이들 사이에 공유될 수 있는 하나 이상의 캐시 메모리(예를 들어, L2 캐시들(1328), L3 캐시(1230), 및 L2 캐시(1242))를, 제한 없이, 포함하는 캐시 서브시스템을 APU(1200)가 구현한다.
도 13은, 적어도 하나의 실시예에 따른, CPU(1300)를 예시한다. 적어도 하나의 실시예에서, CPU(1300)는 캘리포니아주 산타 클라라의 AMD Corporation에 의해 개발된다. 적어도 하나의 실시예에서, CPU(1300)는 애플리케이션 프로그램을 실행하도록 구성될 수 있다. 적어도 하나의 실시예에서, CPU(1300)는, 운영 체제와 같은, 메인 제어 소프트웨어를 실행하도록 구성된다. 적어도 하나의 실시예에서, CPU(1300)는 외부 GPU(도시되지 않음)의 동작을 제어하는 커맨드들을 발행한다. 적어도 하나의 실시예에서, CPU(1300)는 CUDA 소스 코드로부터 도출되는 호스트 실행가능 코드를 실행하도록 구성될 수 있고, 외부 GPU는 이러한 CUDA 소스 코드로부터 도출되는 디바이스 실행가능 코드를 실행하도록 구성될 수 있다. 적어도 하나의 실시예에서, CPU(1300)는 임의의 수의 코어 콤플렉스들(1310), 패브릭(1360), I/O 인터페이스들(1370), 및 메모리 제어기들(1380)을, 제한 없이, 포함한다.
적어도 하나의 실시예에서, 코어 콤플렉스(1310)는 코어들(1320(1)-1320(4)) 및 L3 캐시(1330)를, 제한 없이, 포함한다. 적어도 하나의 실시예에서, 코어 콤플렉스(1310)는 임의의 수의 코어들(1320) 및 임의의 수 및 타입의 캐시들을 임의의 조합으로, 제한 없이, 포함할 수 있다. 적어도 하나의 실시예에서, 코어들(1320)은 특정 ISA의 명령어들을 실행하도록 구성된다. 적어도 하나의 실시예에서, 각각의 코어(1320)는 CPU 코어이다.
적어도 하나의 실시예에서, 각각의 코어(1320)는 인출/디코딩 유닛(1322), 정수 실행 엔진(1324), 부동 소수점 실행 엔진(1326), 및 L2 캐시(1328)를, 제한 없이, 포함한다. 적어도 하나의 실시예에서, 인출/디코딩 유닛(1322)은 명령어들을 인출하고, 이러한 명령어들을 디코딩하고, 마이크로-연산들을 생성하고, 별개의 마이크로-명령어들을 정수 실행 엔진(1324) 및 부동 소수점 실행 엔진(1326)에 디스패치한다. 적어도 하나의 실시예에서, 인출/디코딩 유닛(1322)은 하나의 마이크로-명령어를 정수 실행 엔진(1324)에 그리고 다른 마이크로-명령어를 부동 소수점 실행 엔진(1326)에 동시에 디스패치할 수 있다. 적어도 하나의 실시예에서, 정수 실행 엔진(1324)은 정수 및 메모리 연산들을, 제한 없이, 실행한다. 적어도 하나의 실시예에서, 부동 소수점 엔진(1326)은 부동 소수점 및 벡터 연산들을, 제한 없이, 실행한다. 적어도 하나의 실시예에서, 인출-디코딩 유닛(1322)은 정수 실행 엔진(1324) 및 부동 소수점 실행 엔진(1326) 양자 모두를 치환하는 단일의 실행 엔진에 마이크로-명령어들을 디스패치한다.
적어도 하나의 실시예에서, 각각의 코어(1320(i))(i는 코어(1320)의 특정 인스턴스를 표현하는 정수임)는 코어(1320(i))에 포함되는 L2 캐시(1328(i))에 액세스할 수 있다. 적어도 하나의 실시예에서, 코어 콤플렉스(1310(j))에 포함되는 각각의 코어(1320)는 코어 콤플렉스(1310(j))에 포함되는 L3 캐시(1330(j))를 통해 코어 콤플렉스(1310(j))에 포함되는 다른 코어들(1320)에 접속되고, 여기서 j는 코어 콤플렉스(1310)의 특정 인스턴스를 표현하는 정수이다. 적어도 하나의 실시예에서, 코어 콤플렉스(1310(j))에 포함되는 코어들(1320)- j는 코어 콤플렉스(1310)의 특정 인스턴스를 표현하는 정수임 -은 코어 콤플렉스(1310(j))에 포함되는 L3 캐시(1330(j)) 전부에 액세스할 수 있다. 적어도 하나의 실시예에서, L3 캐시(1330)는 임의의 수의 슬라이스를, 제한 없이, 포함할 수 있다.
적어도 하나의 실시예에서, 패브릭(1360)은 코어 콤플렉스들(1310(1)-1310(N))(여기서 N은 0보다 큰 정수임), I/O 인터페이스들(1370), 및 메모리 제어기들(1380)에 걸쳐 데이터 및 제어 송신들을 용이하게 하는 시스템 인터커넥트이다. 적어도 하나의 실시예에서, CPU(1300)는 CPU(1300)의 내부 또는 외부에 있을 수 있는 임의의 수 및 타입의 직접적 또는 간접적 링크된 컴포넌트들에 걸쳐 데이터 및 제어 송신들을 용이하게 하는 패브릭(1360) 외에도 또는 그 대신에 임의의 양 및 타입의 시스템 인터커넥트를, 제한 없이, 포함할 수 있다. 적어도 하나의 실시예에서, I/O 인터페이스들(1370)은 임의의 수 및 타입의 I/O 인터페이스들(예를 들어, PCI, PCI-X, PCIe, GBE, USB 등)을 나타낸다. 적어도 하나의 실시예에서, 다양한 타입들의 주변 디바이스들이 I/O 인터페이스들(1370)에 연결된다. 적어도 하나의 실시예에서, I/O 인터페이스들(1370)에 연결되는 주변 디바이스들은 디스플레이들, 키보드들, 마우스들, 프린터들, 스캐너들, 조이스틱들 또는 다른 타입들의 게임 제어기들, 미디어 기록 디바이스들, 외부 스토리지 디바이스들, 네트워크 인터페이스 카드들 등을, 제한 없이, 포함할 수 있다.
적어도 하나의 실시예에서, 메모리 제어기들(1380)은 CPU(1300)와 시스템 메모리(1390) 사이의 데이터 전송들을 용이하게 한다. 적어도 하나의 실시예에서, 코어 콤플렉스(1310) 및 그래픽 콤플렉스(1340)는 시스템 메모리(1390)를 공유한다. 적어도 하나의 실시예에서, CPU(1300)는 하나의 컴포넌트에 전용될 수 있는 또는 다수의 컴포넌트들 사이에 공유될 수 있는 임의의 양 및 타입의 메모리 제어기들(1380) 및 메모리 디바이스들을, 제한 없이, 포함하는 메모리 서브시스템을 구현한다. 적어도 하나의 실시예에서, 각각이 임의의 수의 컴포넌트들(예를 들어, 코어들(1320) 및 코어 콤플렉스들(1310))에 사적이거나 또는 이들 사이에 공유될 수 있는 하나 이상의 캐시 메모리(예를 들어, L2 캐시들(1328) 및 L3 캐시들(1330))를, 제한 없이, 포함하는 캐시 서브시스템을 CPU(1300)가 구현한다.
도 14는, 적어도 하나의 실시예에 따른, 예시적인 가속기 통합 슬라이스(1490)를 예시한다. 본 명세서에 사용되는 바와 같이, "슬라이스(slice)"는 가속기 통합 회로의 처리 리소스들의 명시된 부분을 포함한다. 적어도 하나의 실시예에서, 가속기 통합 회로는 그래픽 가속 모듈에 포함되는 다수의 그래픽 처리 엔진들을 대신하여 캐시 관리, 메모리 액세스, 컨텍스트 관리 및 인터럽트 관리 서비스들을 제공한다. 그래픽 처리 엔진들은 별개의 GPU를 각각 포함할 수 있다. 대안적으로, 그래픽 처리 엔진들은, 그래픽 실행 유닛들, 미디어 처리 엔진들(예를 들어, 비디오 인코더들/디코더들), 샘플러들, 및 블릿 엔진들과 같은, GPU 내의 상이한 타입들의 그래픽 처리 엔진들을 대안적으로 포함할 수 있다. 적어도 하나의 실시예에서, 그래픽 가속 모듈은 다수의 그래픽 처리 엔진들이 있는 GPU일 수 있다. 적어도 하나의 실시예에서, 그래픽 처리 엔진들은 공통 패키지, 라인 카드, 또는 칩 상에 집적되는 개별 GPU들일 수 있다.
시스템 메모리(1414) 내의 애플리케이션 유효 어드레스 공간(1482)이 프로세스 엘리먼트들(1483)을 저장한다. 하나의 실시예에서, 프로세스 엘리먼트들(1483)은 프로세서(1407) 상에서 실행되는 애플리케이션들(1480)로부터의 GPU 호출들(1481)에 응답하여 저장된다. 프로세스 엘리먼트(1483)는 대응하는 애플리케이션(1480)에 대한 프로세스 상태를 포함한다. 프로세스 엘리먼트(1483)에 포함되는 "WD"(work descriptor)(1484)는 애플리케이션에 의해 요청되는 단일의 작업일 수 있거나 또는 작업들의 큐에 대한 포인터를 포함할 수 있다. 적어도 하나의 실시예에서, WD(1484)는 애플리케이션 유효 어드레스 공간(1482)에서의 작업 요청 큐에 대한 포인터이다.
그래픽 가속 모듈(1446) 및/또는 개별 그래픽 처리 엔진들은 시스템에서의 모든 프로세스들 또는 이들의 서브세트에 의해 공유될 수 있다. 적어도 하나의 실시예에서, 가상화된 환경에서 작업을 시작하기 위해 프로세스 상태를 셋업하고 WD(1484)를 그래픽 가속 모듈(1446)에 전송하기 위한 인프라스트럭처가 포함될 수 있다.
적어도 하나의 실시예에서, 전용-프로세스 프로그래밍 모델은 구현-특정적이다. 이러한 모델에서, 단일의 프로세스는 그래픽 가속 모듈(1446) 또는 개별 그래픽 처리 엔진을 소유한다. 그래픽 가속 모듈(1446)이 단일의 프로세스에 의해 소유되기 때문에, 하이퍼바이저는 소유 파티션에 대해 가속기 통합 회로를 초기화하고, 운영 체제는 그래픽 가속 모듈(1446)이 배정될 때 소유 프로세스에 대해 가속기 통합 회로를 초기화한다.
연산 시에, 가속기 통합 슬라이스(1490)에서 WD 인출 유닛(1491)은 다음 WD(1484)를 인출하고, 이는 그래픽 가속 모듈(1446)의 하나 이상의 그래픽 처리 엔진에 의해 행해질 작업의 표시를 포함한다. WD(1484)로부터의 데이터는 레지스터들(1445)에 저장될 수 있고, 예시되는 바와 같이 "MMU"(memory management unit)(1439), 인터럽트 관리 회로(1447) 및/또는 컨텍스트 관리 회로(1448)에 의해 사용될 수 있다. 예를 들어, MMU(1439)의 하나의 실시예는 OS 가상 어드레스 공간(1485) 내의 세그먼트/페이지 테이블들(1486)에 액세스하기 위한 세그먼트/페이지 워크 회로를 포함한다. 인터럽트 관리 회로(1447)는 그래픽 가속 모듈(1446)로부터 수신되는 "INT"(interrupt events)(1492)를 처리할 수 있다. 그래픽 연산들을 수행할 때, 그래픽 처리 엔진에 의해 생성되는 유효 어드레스(1493)는 MMU(1439)에 의해 실제 어드레스로 변환된다.
하나의 실시예에서, 레지스터들(1445)의 동일한 세트가 각각의 그래픽 처리 엔진 및/또는 그래픽 가속 모듈(1446)에 대해 복제되고, 하이퍼바이저 또는 운영 체제에 의해 초기화될 수 있다. 이러한 복제된 레지스터들 각각은 가속기 통합 슬라이스(1490)에 포함될 수 있다. 하이퍼바이저에 의해 초기화될 수 있는 예시적인 레지스터들이 테이블 1에서 보여진다.
테이블 1 - 하이퍼바이저 초기화된 레지스터들
1 슬라이스 제어 레지스터
2 RA(Real Address) 스케줄링된 프로세스 영역 포인터
3 권한 마스크 오버라이드 레지스터
4 인터럽트 벡터 테이블 엔트리 오프셋
5 인터럽트 벡터 테이블 엔트리 제한
6 상태 레지스터
7 논리 파티션 ID
8 RA(Real address) 하이퍼바이저 가속기 이용 레코드 포인터
9 스토리지 설명 레지스터
운영 체제에 의해 초기화될 수 있는 예시적인 레지스터들이 테이블 2에 보여진다.
테이블 2 - 운영 체제 초기화된 레지스터들
1 프로세스 및 스레드 식별
2 EA(Effective Address) 컨텍스트 저장/복원 포인터
3 VA(Virtual Address)가속기 이용 레코드 포인터
4 VA(Virtual Address) 스토리지 세그먼트 테이블 포인터
5 권한 마스크
6 작업 설명자
하나의 실시예에서, 각각의 WD(1484)는 특정 그래픽 가속 모듈(1446) 및/또는 특정 그래픽 처리 엔진에 구체적이다. 이것은 작업을 행하기 위해 그래픽 처리 엔진에 의해 요구되는 모든 정보를 포함하거나, 또는 이것은 애플리케이션이 완료될 작업의 커맨드 큐를 셋업한 메모리 위치에 대한 포인터일 수 있다.
도 15a 및 도 15b는, 적어도 하나의 실시예에 따른, 예시적인 그래픽 프로세서를 예시한다. 적어도 하나의 실시예에서, 예시적인 그래픽 프로세서들 중 임의의 것은 하나 이상의 IP 코어를 사용하여 제조될 수 있다. 예시되는 것에 외에도, 추가적인 그래픽 프로세서들/코어들, 주변기기 인터페이스 제어기들, 또는 범용 프로세서 코어들을 포함하는, 다른 로직 및 회로들이 적어도 하나의 실시예에 포함될 수 있다. 적어도 하나의 실시예에서, 예시적인 그래픽 프로세서는 SoC 내에서 사용하기 위한 것이다.
도 15a는, 적어도 하나의 실시예에 따른, 하나 이상의 IP 코어를 사용하여 제조될 수 있는 SoC 집적 회로의 한 예시적인 그래픽 프로세서(1510)를 예시한다. 도 15b는, 적어도 하나의 실시예에 따른, 하나 이상의 IP 코어를 사용하여 제조될 수 있는 SoC 집적 회로의 추가적인 예시적인 그래픽 프로세서(1540)를 예시한다. 적어도 하나의 실시예에서, 도 15a의 그래픽 프로세서(1510)는 저 전력 그래픽 프로세서 코어이다. 적어도 하나의 실시예에서, 도 15b의 그래픽 프로세서(1540)는 더 높은 성능의 그래픽 프로세서 코어이다. 적어도 하나의 실시예에서, 그래픽 프로세서(1510, 1540) 각각은 도 10의 그래픽 프로세서(1010)의 변형일 수 있다.
적어도 하나의 실시예에서, 그래픽 프로세서(1510)는, 버텍스 프로세서(1505) 및 하나 이상의 프래그먼트 프로세서(들)(1515A-1515N)(예를 들어, 1515A, 1515B, 1515C, 1515D, 내지 1515N-1, 및 1515N)를 포함한다. 적어도 하나의 실시예에서, 그래픽 프로세서(1510)는, 버텍스 프로세서(1505)가 버텍스 셰이더 프로그램들에 대한 연산들을 실행하도록 최적화되는 반면, 하나 이상의 프래그먼트 프로세서(들)(1515A-1515N)이 프래그먼트 또는 픽셀 셰이더 프로그램들에 대한 프래그먼트(예를 들어, 픽셀) 셰이딩 연산들을 실행하도록, 별개의 로직을 통해 상이한 셰이더 프로그램들을 실행할 수 있다. 적어도 하나의 실시예에서, 버텍스 프로세서(1505)는 3D 그래픽 파이프라인의 버텍스 처리 스테이지를 수행하고 프리미티브들 및 버텍스 데이터를 생성한다. 적어도 하나의 실시예에서, 프래그먼트 프로세서(들)(1515A-1515N)는 버텍스 프로세서(1505)에 의해 생성되는 프리미티브 및 버텍스 데이터를 사용하여 디스플레이 디바이스 상에 디스플레이되는 프레임버퍼를 생산한다. 적어도 하나의 실시예에서, 프래그먼트 프로세서(들)(1515A-1515N)는, Direct 3D API에서 제공되는 픽셀 셰이더 프로그램과 유사한 연산들을 수행하기 위해 사용될 수 있는, OpenGL API에서 제공되는 프래그먼트 셰이더 프로그램을 실행하도록 최적화된다.
적어도 하나의 실시예에서, 그래픽 프로세서(1510)는, 하나 이상의 MMU(들)(1520A-1520B), 캐시(들)(1525A-1525B), 및 회로 인터커넥트(들)(1530A-1530B)를 추가적으로 포함한다. 적어도 하나의 실시예에서, 하나 이상의 MMU(들)(1520A-1520B)는, 하나 이상의 캐시(들)(1525A-1525B)에 저장되는 버텍스 또는 이미지/텍스처 데이터 외에도, 메모리에 저장되는 버텍스 또는 이미지/텍스처 데이터를 참조할 수 있는, 버텍스 프로세서(1505) 및/또는 프래그먼트 프로세서(들)(1515A-1515N)를 포함하는 그래픽 프로세서(1510)에 대한 가상 대 물리 어드레스 매핑을 제공한다. 적어도 하나의 실시예에서, 하나 이상의 MMU(들)(1520A-1520B)는, 도 10의 하나 이상의 애플리케이션 프로세서(들)(1005), 이미지 프로세서(1015), 및/또는 비디오 프로세서(1020)와 연관된 하나 이상의 MMU를 포함하는, 시스템 내의 다른 MMU들과 동기화되어, 각각의 프로세서(1005-1020)가 공유 또는 통합 가상 메모리 시스템에 참여할 수 있다. 적어도 하나의 실시예에서, 하나 이상의 회로 인터커넥트(들)(1530A-1530B)는 그래픽 프로세서(1510)가 SoC의 내부 버스를 통해 또는 직접 접속을 통해 SoC 내의 다른 IP 코어들과 인터페이스하는 것을 가능하게 한다.
적어도 하나의 실시예에서, 그래픽 프로세서(1540)는, 도 15a의 그래픽 프로세서(1510)의 하나 이상의 MMU(들)(1520A-1520B), 캐시(1525A-1525B), 및 회로 인터커넥트(1530A-1530B)를 포함한다. 적어도 하나의 실시예에서, 그래픽 프로세서(1540)는 하나 이상의 셰이더 코어(들)(1555A-1555N)(예를 들어, 1555A, 1555B, 1555C, 1555D, 1555E, 1555F, 내지 1555N-1, 및 1555N)를 포함하며, 이는 버텍스 셰이더들, 프래그먼트 셰이더들 및/또는 계산 셰이더들을 구현하기 위한 셰이더 프로그램 코드를 포함하는 모든 타입의 프로그램가능 셰이더 코드를 단일의 코어 또는 타입 또는 코어가 실행할 수 있는 통합 셰이더 코어 아키텍처를 제공한다. 적어도 하나의 실시예에서, 셰이더 코어의 수는 변할 수 있다. 적어도 하나의 실시예에서, 그래픽 프로세서(1540)는, 하나 이상의 셰이더 코어(1555A-1555N)에 실행 스레드를 디스패치하는 스레드 디스패처로서 작용하는 인터-코어 태스크 관리기(1545), 및 예를 들어, 장면 내의 로컬 공간적 코히어런스를 이용하거나 또는 내부 캐시들의 사용을 최적화하기 위해 장면에 대한 렌더링 연산들이 이미지 공간에서 세분되는, 타일-기반 렌더링에 대한 타일링 연산들을 가속하는 타일링 유닛(1558)을 포함한다.
도 16a는, 적어도 하나의 실시예에 따른, 그래픽 코어(1600)를 예시한다. 적어도 하나의 실시예에서, 그래픽 코어(1600)는 도 10의 그래픽 프로세서(1010) 내에 포함될 수 있다. 적어도 하나의 실시예에서, 그래픽 코어(1600)는 도 15b에서와 같이 통합된 셰이더 코어(1555A-1555N)일 수 있다. 적어도 하나의 실시예에서, 그래픽 코어(1600)는 그래픽 코어(1600) 내의 실행 리소스들에 공통인 공유 명령어 캐시(1602), 텍스처 유닛(1618), 및 캐시/공유 메모리(1620)를 포함한다. 적어도 하나의 실시예에서, 그래픽 코어(1600)는 다수의 슬라이스들(1601A-1601N) 또는 각각의 코어에 대한 파티션을 포함할 수 있고, 그래픽 프로세서는 그래픽 코어(1600)의 다수의 인스턴스들을 포함할 수 있다. 슬라이스들(1601A-1601N)은 로컬 명령어 캐시(1604A-1604N), 스레드 스케줄러(1606A-1606N), 스레드 디스패처(1608A-1608N), 및 레지스터들(1610A-1610N)의 세트를 포함하는 지원 로직을 포함할 수 있다. 적어도 하나의 실시예에서, 슬라이스들(1601A-1601N)은, "AFU들"(additional function units)(1612A-1612N)), "FPU들"(floating-point units)(1614A-1614N)), 정수 "ALU들"(arithmetic logic units)(1616-1616N)), "ACU들"(address computational units)(1613A-1613N)), "DPFPU들"(double-precision floating-point units)(1615A-1615N)), 및 "MPU들"(matrix processing units)(1617A-1617N))의 세트를 포함할 수 있다.
적어도 하나의 실시예에서, FPU들(1614A-1614N)은, 단일-정밀도(single-precision)(32-비트) 및 반-정밀도(half-precision)(16-비트) 부동 소수점 연산들을 수행할 수 있는 반면, DPFPU들(1615A-1615N)은 더블 정밀도 double precision(64-비트) 부동 소수점 연산들을 수행할 수 있다. 적어도 하나의 실시예에서, ALU들(1616A-1616N)은, 8-비트, 16-비트 및 32-비트 정밀도로 가변 정밀도 정수 연산들을 수행할 수 있고 혼합된 정밀도 연산들을 위해 구성될 수 있다. 적어도 하나의 실시예에서, MPU들(1617A-1617N)은, 반-정밀도 부동 소수점 및 8-비트 정수 연산들을 포함하는, 혼합 정밀도 행렬 연산들을 위해 또한 구성될 수 있다. 적어도 하나의 실시예에서, MPU들(1617-1617N)은, 가속된 "GEMM"(general matrix to matrix multiplication)에 대한 지원을 가능하게 하는 것을 포함하는, CUDA 프로그램들을 가속하기 위해 다양한 행렬 연산들을 수행할 수 있다. 적어도 하나의 실시예에서, AFU들(1612A-1612N)은, 삼각 연산들(예를 들어, 사인, 코사인 등)을 포함하는, 부동-소수점 또는 정수 유닛들에 의해 지원되지 않는 추가적인 로직 연산들을 수행할 수 있다.
도 16b는, 적어도 하나의 실시예에 따른, "GPGPU"(general-purpose graphics processing unit)(1630)를 예시한다. 적어도 하나의 실시예에서, GPGPU(1630)는 고도-병렬이고 멀티-칩 모듈 상의 배치에 적합하다. 적어도 하나의 실시예에서, GPGPU(1630)는 고도-병렬 컴퓨팅 연산들이 GPU들의 어레이에 의해 수행은 것을 가능하게 하도록 구성될 수 있다. 적어도 하나의 실시예에서, GPGPU(1630)는 CUDA 프로그램들에 대한 실행 시간을 개선하기 위해 멀티-GPU 클러스터를 생성하도록 GPGPU(1630)의 다른 인스턴스들에 직접 링크될 수 있다. 적어도 하나의 실시예에서, GPGPU(1630)는 호스트 프로세서와의 접속을 가능하게 하는 호스트 인터페이스(1632)를 포함한다. 적어도 하나의 실시예에서, 호스트 인터페이스(1632)는 PCIe 인터페이스이다. 적어도 하나의 실시예에서, 호스트 인터페이스(1632)는 벤더 특정의 통신 인터페이스 또는 통신 패브릭일 수 있다. 적어도 하나의 실시예에서, GPGPU(1630)는 호스트 프로세서로부터 커맨드들을 수신하고, 이러한 커맨드들과 연관된 실행 스레드들을 컴퓨팅 클러스터들(1636A-1636H)의 세트에 분배하기 위해 글로벌 스케줄러(1634)를 사용한다. 적어도 하나의 실시예에서, 컴퓨팅 클러스터들(1636A-1636H)은 캐시 메모리(1638)를 공유한다. 적어도 하나의 실시예에서, 캐시 메모리(1638)는 컴퓨팅 클러스터들(1636A-1636H) 내의 캐시 메모리들에 대한 상위-레벨 캐시로서 역할을 할 수 있다.
적어도 하나의 실시예에서, GPGPU(1630)는 메모리 제어기들(1642A-1642B)의 세트를 통해 컴퓨팅 클러스터들(1636A-1636H)과 연결되는 메모리(1644A-1644B)를 포함한다. 적어도 하나의 실시예에서, 메모리(1644A-1644B)는, "GDDR"(graphics double data rate) 메모리를 포함하는, "SGRAM"(synchronous graphics random access memory)과 같은, DRAM 또는 그래픽 랜덤 액세스 메모리를 포함하는 다양한 타입들의 메모리 디바이스들을 포함할 수 있다.
적어도 하나의 실시예에서, 컴퓨팅 클러스터들(1636A-1636H)은, CUDA 프로그램들과 연관된 계산들에 적합한 것을 포함하는 정밀도들의 범위에서 계산 연산들을 수행할 수 있는 다수의 타입의 정수 및 부동 소수점 로직 유닛들을 포함할 수 있는, 도 16a의 그래픽 코어(1600)와 같은, 그래픽 코어들의 세트를 각각 포함한다. 예를 들어, 적어도 하나의 실시예에서, 컴퓨팅 클러스터들(1636A-1636H) 각각에서의 부동 소수점 유닛들의 적어도 서브세트는 16-비트 또는 32-비트 부동 소수점 연산들을 수행하도록 구성될 수 있는 반면, 부동 소수점 유닛들의 상이한 서브세트는 64-비트 부동 소수점 연산들을 수행하도록 구성될 수 있다.
적어도 하나의 실시예에서, GPGPU(1630)의 다수의 인스턴스들은 컴퓨팅 클러스터로서 동작하도록 구성될 수 있다. 컴퓨팅 클러스터들(1636A-1636H)은 동기화 및 데이터 교환을 위한 임의의 기술적으로 실현가능한 통신 기술들을 구현할 수 있다. 적어도 하나의 실시예에서, GPGPU(1630)의 다수의 인스턴스들은 호스트 인터페이스(1632)를 통해 통신한다. 적어도 하나의 실시예에서, GPGPU(1630)는, GPGPU(1630)의 다른 인스턴스들에 대한 직접 접속을 가능하게 하는 GPU 링크(1640)와 GPGPU(1630)를 연결하는 I/O 허브(1639)를 포함한다. 적어도 하나의 실시예에서, GPU 링크(1640)는 GPGPU(1630)의 다수의 인스턴스들 사이의 통신 및 동기화를 가능하게 하는 전용 GPU-대-GPU 브릿지에 연결된다. 적어도 하나의 실시예에서, GPU 링크(1640)는 다른 GPGPU들(1630) 또는 병렬 프로세서들에 데이터를 송신 및 수신하기 위해 고속 인터커넥트와 연결된다. 적어도 하나의 실시예에서, GPGPU(1630)의 다수의 인스턴스들이 별개의 데이터 처리 시스템에 위치되고 호스트 인터페이스(1632)를 통해 액세스가능한 네트워크 디바이스를 통해 통신한다. 적어도 하나의 실시예에서, GPU 링크(1640)는 호스트 인터페이스(1632) 외에도 또는 이에 대한 대안으로서 호스트 프로세서로의 접속을 가능하게 하도록 구성될 수 있다. 적어도 하나의 실시예에서, GPGPU(1630)는 CUDA 프로그램을 실행하도록 구성될 수 있다.
도 17a는, 적어도 하나의 실시예에 따른, 병렬 프로세서(1700)를 예시한다. 적어도 하나의 실시예에서, 병렬 프로세서(1700)의 다양한 컴포넌트들은, 프로그램가능 프로세서들, "ASIC들"(application specific integrated circuits), 또는 FPGA들과 같은, 하나 이상의 집적 회로 디바이스를 사용하여 구현될 수 있다.
적어도 하나의 실시예에서, 병렬 프로세서(1700)는 병렬 처리 유닛(1702)을 포함한다. 적어도 하나의 실시예에서, 병렬 처리 유닛(1702)은, 병렬 처리 유닛(1702)의 다른 인스턴스들을 포함하는 다른 디바이스들과의 통신을 가능하게 하는 I/O 유닛(1704)을 포함한다. 적어도 하나의 실시예에서, I/O 유닛(1704)은 다른 디바이스들에 직접 접속될 수 있다. 적어도 하나의 실시예에서, I/O 유닛(1704)은 메모리 허브(1705)와 같은 허브 또는 스위치 인터페이스의 사용을 통해 다른 디바이스들과 접속한다. 적어도 하나의 실시예에서, 메모리 허브(1705)와 I/O 유닛(1704) 사이의 접속들은 통신 링크를 형성한다. 적어도 하나의 실시예에서, I/O 유닛(1704)은 호스트 인터페이스(1706) 및 메모리 크로스바(1716)와 접속되고, 여기서 호스트 인터페이스(1706)는 처리 연산들을 수행하도록 지향되는 커맨드들을 수신하고 메모리 크로스바(1716)는 메모리 연산들을 수행하도록 지향되는 커맨드들을 수신한다.
적어도 하나의 실시예에서, 호스트 인터페이스(1706)가 I/O 유닛(1704)을 통해 커맨드 버퍼를 수신할 때, 호스트 인터페이스(1706)는 이들 커맨드들을 수행하기 위한 작업 연산들을 프론트 엔드(1708)에 지향시킬 수 있다. 적어도 하나의 실시예에서, 프론트 엔드(1708)는 커맨드들 또는 다른 작업 항목들을 처리 어레이(1712)에 분배하도록 구성되는 스케줄러(1710)와 연결된다. 적어도 하나의 실시예에서, 스케줄러(1710)는 태스크들이 처리 어레이(1712)에 분배되기 전에 처리 어레이(1712)가 적절하게 구성되고 유효 상태에 있는 것을 보장한다. 적어도 하나의 실시예에서, 스케줄러(1710)는 마이크로제어기 상에서 실행되는 펌웨어 로직을 통해 구현된다. 적어도 하나의 실시예에서, 마이크로제어기 구현된 스케줄러(1710)는, 복잡한 스케줄링 및 작업 분배 연산들을 대략적 및 미세한 입도로 수행하도록 구성가능하여, 처리 어레이(1712)에서 실행되는 스레드들의 신속한 선점 및 컨텍스트 스위칭을 가능하게 한다. 적어도 하나의 실시예에서, 호스트 소프트웨어는 다수의 그래픽 처리 도어벨들 중 하나를 통해 처리 어레이(1712) 상에서 스케줄링하기 위한 작업부하들을 증명할 수 있다. 적어도 하나의 실시예에서, 작업부하들은 다음으로 스케줄러(1710)를 포함하는 마이크로제어기 내의 스케줄러(1710) 로직에 의해 처리 어레이(1712)에 걸쳐 자동으로 분배될 수 있다.
적어도 하나의 실시예에서, 처리 어레이(1712)는 최대 "N"개의 클러스터들(예를 들어, 클러스터(1714A), 클러스터(1714B), 내지 클러스터(1714N))을 포함할 수 있다. 적어도 하나의 실시예에서, 처리 어레이(1712)의 각각의 클러스터(1714A-1714N)는 많은 수의 동시 스레드들을 실행할 수 있다. 적어도 하나의 실시예에서, 스케줄러(1710)는, 각각의 타입의 프로그램 또는 계산에 대해 발생하는 작업부하에 의존하여 변할 수 있는, 다양한 스케줄링 및/또는 작업 분배 알고리즘을 사용하여 처리 어레이(1712)의 클러스터들(1714A-1714N)에 작업을 할당할 수 있다. 적어도 하나의 실시예에서, 스케줄링은 스케줄러(1710)에 의해 동적으로 핸들링될 수 있거나, 또는 처리 어레이(1712)에 의한 실행을 위해 구성되는 프로그램 로직의 컴파일 동안 컴파일러 로직에 의해 부분적으로 보조를 받을 수 있다. 적어도 하나의 실시예에서, 처리 어레이(1712)의 상이한 클러스터들(1714A-1714N)은, 상이한 타입들의 프로그램들의 처리 또는 상이한 타입들의 계산들의 수행을 위해 할당될 수 있다.
적어도 하나의 실시예에서, 처리 어레이(1712)는 다양한 타입들의 병렬 처리 연산들을 수행하도록 구성될 수 있다. 적어도 하나의 실시예에서, 처리 어레이(1712)는 범용 병렬 컴퓨팅 연산을 수행하도록 구성된다. 예를 들어, 적어도 하나의 실시예에서, 처리 어레이(1712)는, 비디오 및/또는 오디오 데이터의 필터링, 물리 연산들을 포함하는, 모델링 연산들의 수행, 및 데이터 변환들의 수행을 포함하는 처리 태스크들을 실행하는 로직을 포함할 수 있다.
적어도 하나의 실시예에서, 처리 어레이(1712)는 병렬 그래픽 처리 연산들을 수행하도록 구성된다. 적어도 하나의 실시예에서, 처리 어레이(1712)는, 이에 제한되는 것은 아니지만, 텍스처 연산들을 수행하는 텍스처 샘플링 로직 뿐만 아니라, 테셀레이션 로직 및 다른 버텍스 처리 로직을 포함하는, 이러한 그래픽 처리 연산들의 실행을 지원하는 추가적인 로직을 포함할 수 있다. 적어도 하나의 실시예에서, 처리 어레이(1712)는, 이에 제한되는 것은 아니지만, 버텍스 셰이더들, 테셀레이션 셰이더들, 지오메트리 셰이더들, 및 픽셀 셰이더들과 같은, 그래픽 처리 관련 셰이더 프로그램들을 실행하도록 구성될 수 있다. 적어도 하나의 실시예에서, 병렬 처리 유닛(1702)은 처리를 위해 I/O 유닛(1704)을 통해 시스템 메모리로부터 데이터를 전송할 수 있다. 적어도 하나의 실시예에서, 처리 동안, 전송된 데이터는 처리 동안 온-칩 메모리(예를 들어, 병렬 프로세서 메모리(1722))에 저장될 수 있고, 다음으로 시스템 메모리에 다시 기입될 수 있다.
적어도 하나의 실시예에서, 병렬 처리 유닛(1702)이 그래픽 처리를 수행하기 위해 사용될 때, 스케줄러(1710)는 처리 어레이(1712)의 다수의 클러스터들(1714A-1714N)에 대한 그래픽 처리 연산들의 분배를 더 양호하게 가능하게 하기 위해, 처리 작업부하를 대략 동일한 크기의 태스크들로 분할하도록 구성될 수 있다. 적어도 하나의 실시예에서, 처리 어레이(1712)의 부분들은 상이한 타입들의 처리를 수행하도록 구성될 수 있다. 예를 들어, 적어도 하나의 실시예에서, 제1 부분은 버텍스 셰이딩 및 토폴로지 생성을 수행하도록 구성될 수 있고, 제2 부분은 테셀레이션 및 지오메트리 셰이딩을 수행하도록 구성될 수 있고, 제3 부분은, 디스플레이를 위한 렌더링된 이미지를 생산하기 위해 픽셀 셰이딩 또는 다른 스크린 공간 연산들을 수행하도록 구성될 수 있다. 적어도 하나의 실시예에서, 클러스터(1714A-1714N) 중 하나 이상에 의해 생산되는 중간 데이터는 중간 데이터가 추가 처리를 위해 클러스터들(1714A-1714N) 사이에 송신되는 것을 허용하기 위해 버퍼들에 저장될 수 있다.
적어도 하나의 실시예에서, 처리 어레이(1712)는, 프론트 엔드(1708)로부터 처리 태스크들을 정의하는 커맨드들을 수신하는 스케줄러(1710)를 통해 실행될 처리 태스크들을 수신할 수 있다. 적어도 하나의 실시예에서, 처리 태스크들은 처리될 데이터의 인덱스들, 예를 들어, 표면 (패치) 데이터, 프리미티브 데이터, 버텍스 데이터, 및/또는 픽셀 데이터 뿐만 아니라, 데이터가 어떻게 처리될지(예를 들어, 어떤 프로그램이 실행될지)를 정의하는 상태 파라미터들 및 커맨드들을 포함할 수 있다. 적어도 하나의 실시예에서, 스케줄러(1710)는 태스크들에 대응하는 인덱스들을 인출하도록 구성될 수 있거나 또는 프론트 엔드(1708)로부터 인덱스들을 수신할 수 있다. 적어도 하나의 실시예에서, 프론트 엔드(1708)는, 인입 커맨드 버퍼들(예를 들어, 일괄-버퍼들, 푸시 버퍼들 등)에 의해 명시되는 작업부하가 착수되기 전에 처리 어레이(1712)가 유효한 상태로 구성되는 것을 보장하도록 구성될 수 있다.
적어도 하나의 실시예에서, 병렬 처리 유닛(1702)의 하나 이상의 인스턴스 각각은 병렬 프로세서 메모리(1722)와 연결될 수 있다. 적어도 하나의 실시예에서, 병렬 프로세서 메모리(1722)는, 처리 어레이(1712) 뿐만 아니라 I/O 유닛(1704)으로부터 메모리 요청을 수신할 수 있는 메모리 크로스바(1716)를 통해 액세스될 수 있다. 적어도 하나의 실시예에서, 메모리 크로스바(1716)는 메모리 인터페이스(1718)를 통해 병렬 프로세서 메모리(1722)에 액세스할 수 있다. 적어도 하나의 실시예에서, 메모리 인터페이스(1718)는, 병렬 프로세서 메모리(1722)의 일부(예를 들어, 메모리 유닛)에 각각 연결될 수 있는 다수의 파티션 유닛들(예를 들어, 파티션 유닛(1720A), 파티션 유닛(1720B), 내지 파티션 유닛(1720N))을 포함할 수 있다. 적어도 하나의 실시예에서, 파티션 유닛(1720A-1720N)의 수는 메모리 유닛의 수와 동일하도록 구성되어, 제1 파티션 유닛(1720A)이 대응하는 제1 메모리 유닛(1724A)을 갖고, 제2 파티션 유닛(1720B)이 대응하는 메모리 유닛(1724B)을 갖고, 제N 파티션 유닛(1720N)이 대응하는 제N 메모리 유닛(1724N)을 갖는다. 적어도 하나의 실시예에서, 파티션 유닛들(1720A-1720N)의 수는 메모리 디바이스들의 수와 동일하지 않을 수 있다.
적어도 하나의 실시예에서, 메모리 유닛들(1724A-1724N)은, GDDR 메모리를 포함하는, SGRAM과 같은, DRAM 또는 그래픽 랜덤 액세스 메모리를 포함하는 다양한 타입들의 메모리 디바이스들을 포함할 수 있다. 적어도 하나의 실시예에서, 메모리 유닛(1724A-1724N)은, 이에 제한되는 것은 아니지만 "HBM"(high bandwidth memory)을 포함하는, 3D 스택형 메모리를 또한 포함할 수 있다. 적어도 하나의 실시예에서, 프레임 버퍼들 또는 텍스처 맵들과 같은 렌더 타겟들은 메모리 유닛들(1724A-1724N)에 걸쳐 저장될 수 있어서, 파티션 유닛들(1720A-1720N)이 병렬 프로세서 메모리(1722)의 이용가능한 대역폭을 효율적으로 사용하기 위해 각각의 렌더 타겟의 부분들에 병렬로 기입하는 것을 허용한다. 적어도 하나의 실시예에서, 병렬 프로세서 메모리(1722)의 로컬 인스턴스는, 로컬 캐시 메모리와 함께 시스템 메모리를 이용하는 통합 메모리 설계를 위해 제외될 수 있다.
적어도 하나의 실시예에서, 처리 어레이(1712)의 클러스터들(1714A-1714N) 중 임의의 하나는 병렬 프로세서 메모리(1722) 내의 메모리 유닛들(1724A-1724N) 중 임의의 것에 기입될 데이터를 처리할 수 있다. 적어도 하나의 실시예에서, 메모리 크로스바(1716)는, 각각의 클러스터(1714A-1714N)의 출력을, 임의의 파티션 유닛(1720A-1720N)에 또는 출력에 관한 추가적인 처리 연산들을 수행할 수 있는 다른 클러스터(1714A-1714N)에 전송하도록 구성될 수 있다. 적어도 하나의 실시예에서, 각각의 클러스터(1714A-1714N)는 다양한 외부 메모리 디바이스로부터 판독하거나 또는 이에 기입하기 위해 메모리 크로스바(1716)를 통해 메모리 인터페이스(1718)와 통신할 수 있다. 적어도 하나의 실시예에서, 메모리 크로스바(1716)는, I/O 유닛(1704)과 통신하기 위한 메모리 인터페이스(1718)에 대한 접속 뿐만 아니라, 병렬 프로세서 메모리(1722)의 로컬 인스턴스에 대한 접속을 갖고 있어서, 상이한 클러스터들(1714A-1714N) 내의 처리 유닛들이 병렬 처리 유닛(1702)에 대해 로컬이 아닌 시스템 메모리 또는 다른 메모리와 통신하는 것을 가능하게 한다. 적어도 하나의 실시예에서, 메모리 크로스바(1716)는 클러스터들(1714A-1714N)과 파티션 유닛들(1720A-1720N) 사이의 트래픽 스트림들을 분리하기 위해 가상 채널들을 사용할 수 있다.
적어도 하나의 실시예에서, 병렬 처리 유닛(1702)의 다수의 인스턴스들이 단일의 애드-인 카드 상에 제공될 수 있거나, 또는 다수의 애드-인 카드들이 인터커넥트될 수 있다. 적어도 하나의 실시예에서, 병렬 처리 유닛(1702)의 상이한 인스턴스들은 심지어 상이한 인스턴스들이 상이한 수의 처리 코어들, 상이한 양의 로컬 병렬 프로세서 메모리, 및/또는 다른 구성 차이들을 갖더라도 상호-동작하도록 구성될 수 있다. 예를 들어, 적어도 하나의 실시예에서, 병렬 처리 유닛(1702)의 일부 인스턴스들은 다른 인스턴스들에 비해 더 높은 정밀도 부동 소수점 유닛을 포함할 수 있다. 적어도 하나의 실시예에서, 병렬 처리 유닛(1702) 또는 병렬 프로세서(1700)의 하나 이상의 인스턴스를 통합하는 시스템들은, 이에 제한되는 것은 아니지만 데스크톱, 랩톱 또는 핸드헬드 개인용 컴퓨터들, 서버들, 워크스테이션들, 게임 콘솔들, 및/또는 내장 시스템들을 포함하는 다양한 구성 및 폼 팩터로 구현될 수 있다.
도 17b는, 적어도 하나의 실시예에 따른, 처리 클러스터(1794)를 예시한다. 적어도 하나의 실시예에서, 처리 클러스터(1794)는 병렬 처리 유닛 내에 포함된다. 적어도 하나의 실시예에서, 처리 클러스터(1794)는 도 17의 처리 클러스터들(1714A-1714N) 중 하나이다. 적어도 하나의 실시예에서, 처리 클러스터(들)(1794) 중 하나 이상은 많은 스레드들을 병렬로 실행하도록 구성될 수 있으며, 여기서 "스레드(thread)"이라는 용어는 입력 데이터의 특정 세트 상에서 실행되는 특정 프로그램의 인스턴스를 지칭한다. 적어도 하나의 실시예에서, 다수의 독립 명령어 유닛들을 제공하지 않고 많은 수의 스레드들의 병렬 실행을 지원하기 위해 "SIMD"(single instruction, multiple data) 명령어 발행 기술들이 사용된다. 적어도 하나의 실시예에서, 각각의 처리 클러스터(1794) 내의 처리 엔진들의 세트에 명령어들을 발행하도록 구성되는 공통 명령어 유닛을 사용하여, 많은 수의 일반적으로 동기화된 스레드들의 병렬 실행을 지원하기 위해 "SIMT"(single-instruction, multiple-thread) 기술들이 사용된다.
적어도 하나의 실시예에서, 처리 클러스터(1794)의 연산은, 처리 태스크들을 SIMT 병렬 프로세서들에 분배하는 파이프라인 관리기(1732)를 통해 제어될 수 있다. 적어도 하나의 실시예에서, 파이프라인 관리기(1732)는 도 17의 스케줄러(1710)로부터 명령어를 수신하고 그래픽 멀티프로세서(1734) 및/또는 텍스처 유닛(1736)을 통해 이러한 명령어들의 실행을 관리한다. 적어도 하나의 실시예에서, 그래픽 멀티프로세서(1734)는 SIMT 병렬 프로세서의 예시적인 인스턴스이다. 그러나, 적어도 하나의 실시예에서, 상이한 아키텍처들의 다양한 타입들의 SIMT 병렬 프로세서들이 처리 클러스터(1794) 내에 포함될 수 있다. 적어도 하나의 실시예에서, 그래픽 멀티프로세서(1734)의 하나 이상의 인스턴스가 처리 클러스터(1794) 내에 포함될 수 있다. 적어도 하나의 실시예에서, 그래픽 멀티프로세서(1734)는 데이터를 처리할 수 있고 데이터 크로스바(1740)는 처리된 데이터를 다른 셰이더 유닛들을 포함하는 다수의 가능한 목적지들 중 하나에 분배하기 위해 사용될 수 있다. 적어도 하나의 실시예에서, 파이프라인 관리기(1732)는 데이터 크로스바(1740)를 통해 분배될 처리된 데이터에 대한 목적지를 명시하는 것에 의해 처리되는 데이터의 분배를 용이하게 할 수 있다.
적어도 하나의 실시예에서, 처리 클러스터(1794) 내의 각각의 그래픽 멀티프로세서(1734)는 기능 실행 로직의 동일한 세트(예를 들어, 산술 로직 유닛들, "LSU들"(load/store units) 등)를 포함할 수 있다. 적어도 하나의 실시예에서, 기능 실행 로직은 이전 명령어들이 완료되기 전에 새로운 명령어들이 발행될 수 있는 파이프라인 방식으로 구성될 수 있다. 적어도 하나의 실시예에서, 기능 실행 로직은, 정수 및 부동 소수점 산술, 비교 연산들, 부울 연산들, 비트 시프팅, 및 다양한 대수 함수들의 계산을 포함하는 다양한 연산을 지원한다. 적어도 하나의 실시예에서, 상이한 연산들을 수행하기 위해 동일한 기능-유닛 하드웨어가 활용 수 있고 기능 유닛들의 임의의 조합이 존재할 수 있다.
적어도 하나의 실시예에서, 처리 클러스터(1794)에 송신되는 명령어들이 스레드를 구성한다. 적어도 하나의 실시예에서, 병렬 처리 엔진들의 세트에 걸쳐 실행되는 스레드들의 세트가 스레드 그룹이다. 적어도 하나의 실시예에서, 스레드 그룹은 상이한 입력 데이터에 대해 프로그램을 실행한다. 적어도 하나의 실시예에서, 스레드 그룹 내의 각각의 스레드는 그래픽 멀티프로세서(1734) 내의 상이한 처리 엔진에 배정될 수 있다. 적어도 하나의 실시예에서, 스레드 그룹은 그래픽 멀티프로세서(1734) 내의 처리 엔진의 수 미만인 스레드들을 포함할 수 있다. 적어도 하나의 실시예에서, 스레드 그룹이 처리 엔진들의 수 미만인 수의 스레드들을 포함할 때, 처리 엔진들 중 하나 이상은 해당 스레드 그룹이 처리되고 있는 사이클들 동안 유휴 상태일 수 있다. 적어도 하나의 실시예에서, 스레드 그룹은 그래픽 멀티프로세서(1734) 내의 처리 엔진의 수보다 많은 스레드들을 또한 포함할 수 있다. 적어도 하나의 실시예에서, 스레드 그룹이 그래픽 멀티프로세서(1734) 내의 처리 엔진들의 수보다 많은 스레드들을 포함할 때, 처리는 연속적인 클록 사이클들에 걸쳐 수행될 수 있다. 적어도 하나의 실시예에서, 다수의 스레드 그룹들이 그래픽 멀티프로세서(1734) 상에서 동시에 실행될 수 있다.
적어도 하나의 실시예에서, 그래픽 멀티프로세서(1734)는 로딩 및 저장 연산들을 수행하는 내부 캐시 메모리를 포함한다. 적어도 하나의 실시예에서, 그래픽 멀티프로세서(1734)는 내부 캐시를 사용하지 않고 처리 클러스터(1794) 내의 캐시 메모리(예를 들어, L1 캐시(1748))를 사용할 수 있다. 적어도 하나의 실시예에서, 각각의 그래픽 멀티프로세서(1734)는 모든 처리 클러스터들(1794) 사이에서 공유되고 스레드들 사이에서 데이터를 전송하기 위해 사용될 수 있는 파티션 유닛들(예를 들어, 도 17a의 파티션 유닛들(1720A-1720N)) 내의 "L2"(Level 2) 캐시들에 대한 액세스를 또한 갖는다. 적어도 하나의 실시예에서, 그래픽 멀티프로세서(1734)는 로컬 병렬 프로세서 메모리 및/또는 시스템 메모리 중 하나 이상을 포함할 수 있는 오프-칩 글로벌 메모리에 또한 액세스할 수 있다. 적어도 하나의 실시예에서, 병렬 처리 유닛(1702) 외부의 임의의 메모리가 글로벌 메모리로서 사용될 수 있다. 적어도 하나의 실시예에서, 처리 클러스터(1794)는, L1 캐시(1748)에 저장될 수 있는, 공통 명령어들 및 데이터를 공유할 수 있는 그래픽 멀티프로세서(1734)의 다수의 인스턴스들을 포함한다.
적어도 하나의 실시예에서, 각각의 처리 클러스터(1794)는 가상 어드레스들을 물리 어드레스들로 매핑하도록 구성되는 MMU(1745)를 포함할 수 있다. 적어도 하나의 실시예에서, MMU(1745)의 하나 이상의 인스턴스는 도 17의 메모리 인터페이스(1718) 내에 상주할 수 있다. 적어도 하나의 실시예에서, MMU(1745)는 가상 어드레스를 타일의 물리 어드레스 및 선택적으로 캐시 라인 인덱스에 매핑하기 위해 사용되는 "PTE들"(page table entries)의 세트를 포함한다. 적어도 하나의 실시예에서, MMU(1745)는 그래픽 멀티프로세서(1734) 또는 L1 캐시(1748) 또는 처리 클러스터(1794) 내에 상주할 수 있는 어드레스 "TLB들"(translation lookaside buffers) 또는 캐시들을 포함할 수 있다. 적어도 하나의 실시예에서, 물리 어드레스는 파티션 유닛들 사이의 효율적인 요청 인터리빙을 허용하기 위해 표면 데이터 액세스 로컬성을 분배하도록 처리된다. 적어도 하나의 실시예에서, 캐시 라인에 대한 요청이 히트인지 또는 미스인지를 결정하기 위해 캐시 라인 인덱스가 사용될 수 있다.
적어도 하나의 실시예에서, 각각의 그래픽 멀티프로세서(1734)가 텍스처 매핑 연산들, 예를 들어, 텍스처 샘플 위치들을 결정하고, 텍스처 데이터를 판독하고, 텍스처 데이터를 필터링하는 것을 수행하기 위해 텍스처 유닛(1736)에 연결되도록 처리 클러스터(1794)가 구성될 수 있다. 적어도 하나의 실시예에서, 텍스처 데이터는, 내부 텍스처 L1 캐시(도시되지 않음) 또는 그래픽 멀티프로세서(1734) 내의 L1 캐시로부터 판독되고, 필요에 따라, L2 캐시, 로컬 병렬 프로세서 메모리, 또는 시스템 메모리로부터 인출된다. 적어도 하나의 실시예에서, 각각의 그래픽 멀티프로세서(1734)는 처리된 태스크를 데이터 크로스바(1740)에 출력하여, 처리된 태스크를 추가 처리를 위해 다른 처리 클러스터(1794)에 제공하거나 또는 처리된 태스크를 메모리 크로스바(1716)를 통해 L2 캐시, 로컬 병렬 프로세서 메모리 또는 시스템 메모리에 저장한다. 적어도 하나의 실시예에서, "preROP"(pre-raster operations unit)(1742)는 그래픽 멀티프로세서(1734)로부터 데이터를 수신하도록, 그리고, 본 명세서에 설명되는 바와 같은 파티션 유닛들(예를 들어, 도 17의 파티션 유닛들(1720A-1720N))과 함께 위치될 수 있는, ROP 유닛들에 데이터를 지향하도록 구성될 수 있다. 적어도 하나의 실시예에서, PreROP(1742)는 컬러 블렌딩을 위한 최적화들을 수행하고, 픽셀 컬러 데이터를 조직화하고, 어드레스 변환들을 수행할 수 있다.
도 17c는, 적어도 하나의 실시예에 따른, 그래픽 멀티프로세서(1796)를 예시한다. 적어도 하나의 실시예에서, 그래픽 멀티프로세서(1796)는 도 17b의 그래픽 멀티프로세서(1734)이다. 적어도 하나의 실시예에서, 그래픽 멀티프로세서(1796)는 처리 클러스터(1794)의 파이프라인 관리기(1732)와 연결된다. 적어도 하나의 실시예에서, 그래픽 멀티프로세서(1796)는, 이에 제한되는 것은 아니지만 명령어 캐시(1752), 명령어 유닛(1754), 어드레스 매핑 유닛(1756), 레지스터 파일(1758), 하나 이상의 GPGPU 코어(1762), 및 하나 이상의 LSU(1766)를 포함하는, 실행 파이프라인을 갖는다. GPGPU 코어들(1762) 및 LSU들(1766)은 메모리 및 캐시 인터커넥트(1768)를 통해 캐시 메모리(1772) 및 공유 메모리(1770)와 연결된다.
적어도 하나의 실시예에서, 명령어 캐시(1752)는 파이프라인 관리기(1732)로부터 실행할 명령어들의 스트림을 수신한다. 적어도 하나의 실시예에서, 명령어들은 명령어 캐시(1752)에서 캐싱되고 명령어 유닛(1754)에 의한 실행을 위해 디스패치된다. 적어도 하나의 실시예에서, 명령어 유닛(1754)은 명령어들을 스레드 그룹들(예를 들어, 워프들)로서 디스패치할 수 있고, 스레드 그룹의 각각의 스레드는 GPGPU 코어(1762) 내의 상이한 실행 유닛에 배정된다. 적어도 하나의 실시예에서, 명령어는, 통합 어드레스 공간 내의 어드레스를 명시하는 것에 의해 로컬, 공유, 또는 글로벌 어드레스 공간 중 임의의 것에 액세스할 수 있다. 적어도 하나의 실시예에서, 어드레스 매핑 유닛(1756)은 통합 어드레스 공간에서의 어드레스들을 LSU들(1766)에 의해 액세스될 수 있는 별개의 메모리 어드레스로 변환하기 위해 사용될 수 있다.
적어도 하나의 실시예에서, 레지스터 파일(1758)은 그래픽 멀티프로세서(1796)의 기능 유닛들에 대한 레지스터들의 세트를 제공한다. 적어도 하나의 실시예에서, 레지스터 파일(1758)은 그래픽 멀티프로세서(1796)의 기능 유닛들(예를 들어, GPGPU 코어들(1762), LSU들(1766))의 데이터 경로들에 접속되는 피연산자들에 대한 임시 스토리지를 제공한다. 적어도 하나의 실시예에서, 레지스터 파일(1758)은 기능 유닛들 각각 사이에서 분할되어, 각각의 기능 유닛이 레지스터 파일(1758)의 전용 부분에 할당된다. 적어도 하나의 실시예에서, 레지스터 파일(1758)은 그래픽 멀티프로세서(1796)에 의해 실행되는 상이한 스레드 그룹들 사이에서 분할된다.
적어도 하나의 실시예에서, GPGPU 코어들(1762)은 그래픽 멀티프로세서(1796)의 명령어들을 실행하기 위해 사용되는 FPU들 및/또는 정수 ALU들을 각각 포함할 수 있다. GPGPU 코어들(1762)은 아키텍처가 유사할 수 있거나 또는 아키텍처가 상이할 수 있다. 적어도 하나의 실시예에서, GPGPU 코어들(1762)의 제1 부분은 단일의 정밀도 FPU 및 정수 ALU를 포함하는 반면, GPGPU 코어들(1762)의 제2 부분은 더블 정밀도 FPU를 포함한다. 적어도 하나의 실시예에서, FPU는 부동 소수점 산술을 위한 IEEE 754-2008 표준을 구현하거나 또는 가변 정밀도 부동 소수점 산술을 가능하게 할 수 있다. 적어도 하나의 실시예에서, 그래픽 멀티프로세서(1796)는, 직사각형 복사 또는 픽셀 블렌딩 연산들과 같은 구체적인 기능들을 수행하는 하나 이상의 고정 기능 또는 특수 기능 유닛들을 추가적으로 포함할 수 있다. 적어도 하나의 실시예에서, GPGPU 코어들(1762) 중 하나 이상은 고정 또는 특수 기능 로직을 또한 포함할 수 있다.
적어도 하나의 실시예에서, GPGPU 코어들(1762)은 데이터의 다수의 세트들에 대해 단일의 명령어를 수행할 수 있는 SIMD 로직을 포함한다. 적어도 하나의 실시예에서, GPGPU 코어들(1762)은 SIMD4, SIMD8, 및 SIMD16 명령어들을 물리적으로 실행하고 SIMD1, SIMD2, 및 SIMD32 명령어들을 논리적으로 실행할 수 있다. 적어도 하나의 실시예에서, GPGPU 코어들(1762)에 대한 SIMD 명령어들은 셰이더 컴파일러에 의한 컴파일 시간에 생성되거나 또는 "SPMD"(single program multiple data) 또는 SIMT 아키텍처들에 대해 작성되고 컴파일되는 프로그램들을 실행할 때 자동으로 생성될 수 있다. 적어도 하나의 실시예에서, SIMT 실행 모델에 대해 구성되는 프로그램의 다수의 스레드들은 단일의 SIMD 명령어를 통해 실행될 수 있다. 예를 들어, 적어도 하나의 실시예에서, 동일한 또는 유사한 연산들을 수행하는 8개의 SIMT 스레드들은 단일의 SIMD8 로직 유닛을 통해 병렬로 실행될 수 있다.
적어도 하나의 실시예에서, 메모리 및 캐시 인터커넥트(1768)는, 그래픽 멀티프로세서(1796)의 각각의 기능 유닛을 레지스터 파일(1758)에 그리고 공유 메모리(1770)에 접속하는 인터커넥트 네트워크이다. 적어도 하나의 실시예에서, 메모리 및 캐시 인터커넥트(1768)는 LSU(1766)가 공유 메모리(1770)와 레지스터 파일(1758) 사이의 로딩 및 저장 연산들을 구현하는 것을 허용하는 크로스바 인터커넥트이다. 적어도 하나의 실시예에서, 레지스터 파일(1758)은 GPGPU 코어들(1762)과 동일한 주파수에서 동작할 수 있고, 따라서 GPGPU 코어들(1762)과 레지스터 파일(1758) 사이의 데이터 전송은 매우 낮은 레이턴시이다. 적어도 하나의 실시예에서, 공유 메모리(1770)는 그래픽 멀티프로세서(1796) 내의 기능 유닛들 상에서 실행되는 스레드들 사이의 통신을 가능하게 하기 위해 사용될 수 있다. 적어도 하나의 실시예에서, 캐시 메모리(1772)는, 예를 들어, 기능 유닛들과 텍스처 유닛(1736) 사이에 통신되는 텍스처 데이터를 캐싱하는 데이터 캐시로서 사용될 수 있다. 적어도 하나의 실시예에서, 공유 메모리(1770)는 프로그램 관리된 캐시로서 또한 사용될 수 있다. 적어도 하나의 실시예에서, GPGPU 코어(1762) 상에서 실행되는 스레드들은, 캐시 메모리(1772) 내에 저장되는 자동으로 캐싱된 데이터 외에도 공유 메모리 내에 데이터를 프로그램적으로 저장할 수 있다.
적어도 하나의 실시예에서, 본 명세서에 설명되는 병렬 프로세서 또는 GPGPU는, 그래픽 연산들, 머신-학습 연산들, 패턴 분석 연산들, 및 다양한 GPGPU(general purpose GPU) 기능들을 가속하기 위해 호스트/프로세서 코어들에 통신가능하게 연결된다. 적어도 하나의 실시예에서, GPU는 버스 또는 다른 인터커넥트(예를 들어, PCIe 또는 NVLink와 같은 고속 인터커넥트)를 통해 호스트 프로세서/코어들에 통신가능하게 연결될 수 있다. 적어도 하나의 실시예에서, GPU는 코어들로서 동일한 패키지 또는 칩 상에 집적될 수 있고, 내부(즉, 패키지 또는 칩 내부) 프로세서 버스/인터커넥트를 통해 코어들에 통신가능하게 연결될 수 있다. 적어도 하나의 실시예에서, GPU가 접속되는 방식에 관계없이, 프로세서 코어들은 WD에 포함되는 커맨드들/명령어들의 시퀀스들의 형태로 GPU에 작업을 할당할 수 있다. 적어도 하나의 실시예에서, 다음으로 해당 GPU는 이러한 커맨드들/명령어들을 효율적으로 처리하기 위해 전용 회로/로직을 사용한다.
도 18은, 적어도 하나의 실시예에 따른, 그래픽 프로세서(1800)를 예시한다. 적어도 하나의 실시예에서, 그래픽 프로세서(1800)는, 링 인터커넥트(1802), 파이프라인 프론트-엔드(1804), 미디어 엔진(1837), 및 그래픽 코어들(1880A-1880N)을 포함한다. 적어도 하나의 실시예에서, 링 인터커넥트(1802)는, 그래픽 프로세서(1800)를, 다른 그래픽 프로세서들 또는 하나 이상의 범용 프로세서 코어들을 포함하는 다른 처리 유닛들에 연결한다. 적어도 하나의 실시예에서, 그래픽 프로세서(1800)는 멀티-코어 처리 시스템 내에 통합되는 많은 프로세서들 중 하나이다.
적어도 하나의 실시예에서, 그래픽 프로세서(1800)는 링 인터커넥트(1802)를 통해 커맨드들의 일괄 묶음들을 수신한다. 적어도 하나의 실시예에서, 인입 커맨드들은 파이프라인 프론트-엔드(1804)의 커맨드 스트리머(1803)에 의해 해석된다. 적어도 하나의 실시예에서, 그래픽 프로세서(1800)는 그래픽 코어(들)(1880A-1880N)를 통해 3D 지오메트리 처리 및 미디어 처리를 수행하는 스케일가능한 실행 로직을 포함한다. 적어도 하나의 실시예에서, 3D 지오메트리 처리 커맨드들에 대해, 커맨드 스트리머(1803)는 커맨드들을 지오메트리 파이프라인(1836)에 공급한다. 적어도 하나의 실시예에서, 적어도 일부 미디어 처리 커맨드들에 대해, 커맨드 스트리머(1803)는, 미디어 엔진(1837)과 연결되는, 비디오 프론트 엔드(1834)에 커맨드들을 공급한다. 적어도 하나의 실시예에서, 미디어 엔진(1837)은 비디오 및 이미지 후처리를 위한 "VQE"(Video Quality Engine)(1830) 및 하드웨어-가속 미디어 데이터 인코딩 및 디코딩을 제공하는 "MFX"(multi-format encode/decode)(1833) 엔진을 포함한다. 적어도 하나의 실시예에서, 지오메트리 파이프라인(1836) 및 미디어 엔진(1837)은 적어도 하나의 그래픽 코어(1880A)에 의해 제공되는 스레드 실행 리소스에 대한 실행 스레드를 각각 생성한다.
적어도 하나의 실시예에서, 그래픽 프로세서(1800)는, 다수의 서브-코어들(1850A-550N, 1860A-1860N)(때때로 코어 서브-슬라이스들로 지칭됨)을 각각 갖는, 모듈식 그래픽 코어들(1880A-1880N)(때때로 코어 슬라이스들이라고 지칭됨)을 특징으로 하는 스케일가능 스레드 실행 리소스들을 포함한다. 적어도 하나의 실시예에서, 그래픽 프로세서(1800)는 임의의 수의 그래픽 코어들(1880A 내지 1880N)을 가질 수 있다. 적어도 하나의 실시예에서, 그래픽 프로세서(1800)는, 적어도 제1 서브-코어(1850A) 및 제2 서브-코어(1860A)를 갖는 그래픽 코어(1880A)를 포함한다. 적어도 하나의 실시예에서, 그래픽 프로세서(1800)는 단일의 서브-코어(예를 들어, 서브-코어(1850A))를 갖는 저 전력 프로세서이다. 적어도 하나의 실시예에서, 그래픽 프로세서(1800)는, 제1 서브-코어들의 세트(1850A-1850N) 및 제2 서브-코어들의 세트(1860A-1860N)를 각각 포함하는, 다수의 그래픽 코어들(1880A-1880N)을 포함한다. 적어도 하나의 실시예에서, 제1 서브-코어들(1850A-1850N)에서의 각각의 서브-코어는 적어도 제1 세트의 "EU들"(execution units)(1852A-1852N) 및 미디어/텍스처 샘플러들(1854A-1854N)을 포함한다. 적어도 하나의 실시예에서, 제2 서브-코어들(1860A-1860N)에서의 각각의 서브-코어는 적어도 제2 세트의 실행 유닛들(1862A-1862N) 및 샘플러들(1864A-1864N)을 포함한다. 적어도 하나의 실시예에서, 각각의 서브-코어(1850A-1850N, 1860A-1860N)는 공유 리소스들의 세트(1870A-1870N)를 공유한다. 적어도 하나의 실시예에서, 공유 리소스들(1870)은 공유 캐시 메모리 및 픽셀 연산 로직을 포함한다.
도 19는, 적어도 하나의 실시예에 따른, 프로세서(1900)를 예시한다. 적어도 하나의 실시예에서, 프로세서(1900)는 명령어들을 수행하는 로직 회로들을, 제한 없이, 포함할 수 있다. 적어도 하나의 실시예에서, 프로세서(1900)는, x86 명령어들, ARM 명령어들, ASIC들에 대한 특수화된 명령어들 등을 포함하는, 명령어들을 수행할 수 있다. 적어도 하나의 실시예에서, 프로세서(1910)는, 캘리포니아주 산타 클라라의 Intel Corporation으로부터의 MMX 기술로 가능하게 되는 마이크로프로세서들에서의 64-비트 폭 MMXTM 레지스터들과 같은, 패킹된 데이터를 저장한 레지스터들을 포함할 수 있다. 적어도 하나의 실시예에서, 정수 및 부동 소수점 형태들 양자 모두로 이용가능한, MMX 레지스터들은, SIMD 및 "SSE"(streaming SIMD extensions) 명령어들을 동반하는 패킹된 데이터 엘리먼트들과 함께 동작할 수 있다. 적어도 하나의 실시예에서, SSE2, SSE3, SSE4, AVX, 또는 그 이상(일반적으로 "SSEx"이라고 지칭됨)의 기술에 관한 128-비트 폭 XMM 레지스터들은 이러한 패킹된 데이터 피연산자들을 보유할 수 있다. 적어도 하나의 실시예에서, 프로세서들(1910)은 CUDA 프로그램들을 가속하는 명령어들을 수행할 수 있다.
적어도 하나의 실시예에서, 프로세서(1900)는 실행될 명령어들을 인출하고 프로세서 파이프라인에서 나중에 사용될 명령어들을 준비하는 순차적 프론트 엔드("프론트 엔드(front end)")(1901)를 포함한다. 적어도 하나의 실시예에서, 프론트 엔드(1901)는 몇몇 유닛들을 포함할 수 있다. 적어도 하나의 실시예에서, 명령어 사전인출기(1926)는 메모리로부터 명령어들을 인출하고, 결국 명령어들을 디코딩하거나 또는 해석하는 명령어 디코더(1928)에 명령어들을 공급한다. 예를 들어, 적어도 하나의 실시예에서, 명령어 디코더(1928)는 수신된 명령어를 실행을 위한 "마이크로-명령어들(micro-instructions)" 또는 "마이크로-연산들(micro-operations)"("마이크로 op들(micro ops)" 또는 "uop들(uops)"이라고 또한 불림)이라고 불리는 하나 이상의 연산으로 디코딩한다. 적어도 하나의 실시예에서, 명령어 디코더(1928)는 연산들을 수행하기 위해 마이크로-아키텍처에 의해 사용될 수 있는 오피코드 및 대응하는 데이터 및 제어 필드들로 명령어를 파싱한다. 적어도 하나의 실시예에서, 트레이스 캐시(1930)는 실행을 위해 uop 큐(1934)에서의 프로그램 순서화된 시퀀스들 또는 트레이스들로 디코딩된 uop들을 어셈블링할 수 있다. 적어도 하나의 실시예에서, 트레이스 캐시(1930)가 복합 명령어를 만날 때, 마이크로코드 ROM(1932)은 연산을 완료하는데 필요한 uop들을 제공한다.
적어도 하나의 실시예에서, 일부 명령어들은 단일의 마이크로-op로 변환될 수 있는 반면, 다른 것들은 전체 연산을 완료하기 위해 몇몇 마이크로-op들을 필요로 한다. 적어도 하나의 실시예에서, 명령어를 완료하기 위해 4개보다 많은 마이크로-op들이 필요하면, 명령어 디코더(1928)는 명령어를 수행하기 위해 마이크로코드 ROM(1932)에 액세스할 수 있다. 적어도 하나의 실시예에서, 명령어는 명령어 디코더(1928)에서 처리하기 위해 소수의 마이크로-op들로 디코딩될 수 있다. 적어도 하나의 실시예에서, 연산을 달성하기 위해 다수의 마이크로-op들이 필요한 경우, 명령어가 마이크로코드 ROM(1932) 내에 저장될 수 있다. 적어도 하나의 실시예에서, 트레이스 캐시(1930)는 마이크로코드 ROM(1932)으로부터 하나 이상의 명령어를 완료하기 위해 마이크로코드 시퀀스들을 판독하기 위한 정확한 마이크로-명령어 포인터를 결정하는 엔트리 포인트 "PLA"(programmable logic array)를 지칭한다. 적어도 하나의 실시예에서, 마이크로코드 ROM(1932)이 명령어에 대한 마이크로-op들의 시퀀싱을 마무리한 후에, 머신의 프론트 엔드(1901)는 트레이스 캐시(1930)로부터 마이크로-op들을 인출하는 것을 재개할 수 있다.
적어도 하나의 실시예에서, 비순차적 실행 엔진("비순차적 엔진(out of order engine)")(1903)은 실행을 위한 명령어들을 준비할 수 있다. 적어도 하나의 실시예에서, 비순차적 실행 로직은 명령어들이 파이프라인을 따라 내려가고 실행을 위해 스케줄링될 때 성능을 최적화하기 위해 명령어들의 흐름을 평활화하고 재-순서화하기 위해 다수의 버퍼들을 갖는다. 비순차적 실행 엔진(1903)은 할당기/레지스터 개명기(1940), 메모리 uop 큐(1942), 정수/부동 소수점 uop 큐(1944), 메모리 스케줄러(1946), 고속 스케줄러(1902), 저속/일반 부동 소수점 스케줄러("저속/일반 FP 스케줄러(slow/general FP scheduler)")(1904), 및 단순 부동 소수점 스케줄러("단순 FP 스케줄러(simple FP scheduler)")(1906)를, 제한 없이, 포함한다. 적어도 하나의 실시예에서, 고속 스케줄(1902), 저속/일반 부동 소수점 스케줄러(1904), 및 단순 부동 소수점 스케줄러(1906)는 또한 본 명세서에서 집합적으로 "uop 스케줄러들(1902, 1904, 1906)"이라고 지칭된다. 할당기/레지스터 개명기(1940)는 각각의 uop가 실행하기 위해 필요로 하는 머신 버퍼들 및 리소스들을 할당한다. 적어도 하나의 실시예에서, 할당기/레지스터 개명기(1940)는 로직 레지스터들을 레지스터 파일에서의 엔트리들로 개명한다. 적어도 하나의 실시예에서, 할당기/레지스터 개명기(1940)는 메모리 스케줄러(1946) 및 uop 스케줄러들(1902, 1904, 1906) 전방에서, 2개의 uop 큐들, 메모리 연산들을 위한 메모리 uop 큐(1942) 및 비-메모리 연산들을 위한 정수/부동 소수점 uop 큐(1944) 중 하나에서의 각각의 uop에 대한 엔트리를 또한 할당한다. 적어도 하나의 실시예에서, uop 스케줄러들(1902, 1904, 1906)은 그들의 의존 입력 레지스터 피연산자 소스들의 준비성 및 실행 리소스들 uop들의 이용가능성이 그들의 연산을 완료할 필요가 있다는 것에 기초하여 uop가 실행될 준비가 된 때를 결정한다. 적어도 하나의 실시예에서, 적어도 하나의 실시예의 고속 스케줄러(1902)는 메인 클록 사이클의 각각의 절반마다 스케줄링할 수 있는 반면, 저속/일반 부동 소수점 스케줄러(1904) 및 단순 부동 소수점 스케줄러(1906)는 메인 프로세서 클록 사이클 당 1회 스케줄링할 수 있다. 적어도 하나의 실시예에서, uop 스케줄러들(1902, 1904, 1906)은 실행을 위해 uop들을 스케줄링하기 위해 디스패치 포트들에 대해 중재한다.
적어도 하나의 실시예에서, 실행 블록(1911)은 정수 레지스터 파일/바이패스 네트워크(1908), 부동 소수점 레지스터 파일/바이패스 네트워크("FP 레지스터 파일/바이패스 네트워크(FP register file/bypass network)")(1910), "AGU들"(address generation units)(1912 및 1914), 고속 ALU들(1916 및 1918), 저속 ALU(1920), 부동 소수점 ALU("FP")(1922), 및 부동 소수점 이동 유닛("FP 이동(FP move)")(1924)을, 제한 없이, 포함한다. 적어도 하나의 실시예에서, 정수 레지스터 파일/바이패스 네트워크(1908) 및 부동 소수점 레지스터 파일/바이패스 네트워크(1910)는 본 명세서에서 "레지스터 파일들(register files)(1908, 1910)"이라고 또한 지칭된다. 적어도 하나의 실시예에서, AGU들(1912 및 1914), 고속 ALU들(1916 및 1918), 저속 ALU(1920), 부동 소수점 ALU(1922), 및 부동 소수점 이동 유닛(1924)은 본 명세서에서 "실행 유닛들(execution units)(1912, 1914, 1916, 1918, 1920, 1922, 및 1924)"이라고 또한 지칭된다. 적어도 하나의 실시예에서, 실행 블록은 임의의 수(0을 포함함) 및 타입의 레지스터 파일들, 바이패스 네트워크들, 어드레스 생성 유닛들, 및 실행 유닛들을, 임의의 조합으로, 제한 없이, 포함할 수 있다.
적어도 하나의 실시예에서, 레지스터 파일들(1908, 1910)은 uop 스케줄러들(1902, 1904, 1906)과 실행 유닛들(1912, 1914, 1916, 1918, 1920, 1922, 및 1924) 사이에 배열될 수 있다. 적어도 하나의 실시예에서, 정수 레지스터 파일/바이패스 네트워크(1908)는 정수 연산들을 수행한다. 적어도 하나의 실시예에서, 부동 소수점 레지스터 파일/바이패스 네트워크(1910)는 부동 소수점 연산들을 수행한다. 적어도 하나의 실시예에서, 레지스터 파일들(1908, 1910) 각각은 레지스터 파일에 아직 기입되지 않은 방금 완료된 결과들을 새로운 의존 uop들에 바이패스하거나 또는 전달할 수 있는 바이패스 네트워크를, 제한 없이, 포함할 수 있다. 적어도 하나의 실시예에서, 레지스터 파일들(1908, 1910)은 서로 데이터를 통신할 수 있다. 적어도 하나의 실시예에서, 정수 레지스터 파일/바이패스 네트워크(1908)는 2개의 별개의 레지스터 파일들, 데이터의 하위 32 비트에 대한 하나의 레지스터 파일 및 데이터의 상위 32 비트에 대한 제2 레지스터 파일을, 제한 없이, 포함할 수 있다. 적어도 하나의 실시예에서, 부동 소수점 명령어들은 폭이 64 내지 128 비트인 피연산자들을 통상적으로 갖기 때문에, 부동 소수점 레지스터 파일/바이패스 네트워크(1910)는 128-비트 폭 엔트리들을, 제한 없이, 포함할 수 있다.
적어도 하나의 실시예에서, 실행 유닛들(1912, 1914, 1916, 1918, 1920, 1922, 1924)은 명령어들을 실행할 수 있다. 적어도 하나의 실시예에서, 레지스터 파일들(1908, 1910)은 마이크로-명령어들이 실행할 필요가 있는 정수 및 부동 소수점 데이터 피연산자 값들을 저장한다. 적어도 하나의 실시예에서, 프로세서(1900)는 임의의 수 및 조합의 실행 유닛들(1912, 1914, 1916, 1918, 1920, 1922, 1924)을, 제한 없이, 포함할 수 있다. 적어도 하나의 실시예에서, 부동 소수점 ALU(1922) 및 부동 소수점 이동 유닛(1924)은, 부동 소수점, MMX, SIMD, AVX 및 SSE, 또는 다른 연산들을 실행할 수 있다. 적어도 하나의 실시예에서, 부동 소수점 ALU(1922)는 나눗셈, 제곱근, 및 나머지 마이크로 op들을 실행하기 위한 64-비트 x 64-비트 부동 소수점 제산기를, 제한 없이, 포함할 수 있다. 적어도 하나의 실시예에서, 부동 소수점 값을 포함하는 명령어들은 부동 소수점 하드웨어로 핸들링될 수 있다. 적어도 하나의 실시예에서, ALU 연산들은 고속 ALU들(1916, 1918)에 전달될 수 있다. 적어도 하나의 실시예에서, 고속 ALU들(1916, 1918)은 절반 클록 사이클의 유효 레이턴시로 고속 연산들을 실행할 수 있다. 적어도 하나의 실시예에서, 저속 ALU(1920)는, 곱셈기, 시프트들, 플래그 로직, 및 분기 처리와 같은, 긴-레이턴시 타입들의 연산들을 위한 정수 실행 하드웨어를, 제한 없이, 포함할 수 있기 때문에, 가장 복잡한 정수 연산들은 저속 ALU(1920)로 간다. 적어도 하나의 실시예에서, 메모리 로딩/저장 연산들은 AGU들(1912, 1914)에 의해 실행될 수 있다. 적어도 하나의 실시예에서, 고속 ALU(1916), 고속 ALU(1918), 및 저속 ALU(1920)는 64-비트 데이터 피연산자들에 대해 정수 연산들을 수행할 수 있다. 적어도 하나의 실시예에서, 고속 ALU(1916), 고속 ALU(1918) 및 저속 ALU(1920)는 16, 32, 128, 256 등을 포함하는 다양한 데이터 비트 크기들을 지원하도록 구현될 수 있다. 적어도 하나의 실시예에서, 부동 소수점 ALU(1922) 및 부동 소수점 이동 유닛(1924)은 다양한 폭들의 비트들을 갖는 피연산자들의 범위를 지원하도록 구현될 수 있다. 적어도 하나의 실시예에서, 부동 소수점 ALU(1922) 및 부동 소수점 이동 유닛(1924)은 SIMD 및 멀티미디어 명령어들과 함께 128-비트 폭 패킹된 데이터 피연산자들에 대해 동작하도록 구현될 수 있다.
적어도 하나의 실시예에서, uop 스케줄러들(1902, 1904, 1906)은 부모 로드가 실행을 마무리하기 전에 의존 연산들을 디스패치한다. 적어도 하나의 실시예에서, uop들은 프로세서(1900)에서 추론적으로 스케줄링되고 실행될 수 있기 때문에, 프로세서(1900)는 메모리 미스들을 핸들링하는 로직을 또한 포함할 수 있다. 적어도 하나의 실시예에서, 데이터 로드가 데이터 캐시에서 미스되면, 일시적으로 부정확한 데이터가 있는 스케줄러를 남겨둔 파이프라인에서 진행 중인 의존 연산들이 존재할 수 있다. 적어도 하나의 실시예에서, 리플레이 메커니즘은 부정확한 데이터를 사용하는 명령어들을 추적하고 재-실행한다. 적어도 하나의 실시예에서, 의존 연산들이 리플레이될 필요가 있을 수 있고 독립 연산들은 완료되도록 허용될 수 있다. 적어도 하나의 실시예에서, 프로세서의 적어도 하나의 실시예의 스케줄러 및 리플레이 메커니즘들은 텍스트 스트링 비교 연산들을 위한 명령어 시퀀스들을 캐치하도록 또한 설계될 수 있다.
적어도 하나의 실시예에서, "레지스터들(registers)"이라는 용어는 피연산자들을 식별하기 위한 명령어들의 일부로서 사용될 수 있는 온-보드 프로세서 스토리지 위치들을 지칭할 수 있다. 적어도 하나의 실시예에서, 레지스터들은 (프로그래머의 관점에서) 프로세서의 외부로부터 사용가능할 수 있는 것들일 수 있다. 적어도 하나의 실시예에서, 레지스터들은 특정 타입의 회로에 제한되지 않을 수 있다. 오히려, 적어도 하나의 실시예에서, 레지스터는 데이터를 저장하고, 데이터를 제공하고, 본 명세서에 설명되는 기능들을 수행할 수 있다. 적어도 하나의 실시예에서, 본 명세서에 설명되는 레지스터들은, 전용 물리 레지스터들, 레지스터 리네이밍을 사용하여 동적으로 할당된 물리 레지스터들, 전용 및 동적으로 할당된 물리 레지스터들의 조합들 등과 같은, 임의의 수의 상이한 기술들을 사용하여 프로세서 내의 회로에 의해 구현될 수 있다. 적어도 하나의 실시예에서, 정수 레지스터들은 32-비트 정수 데이터를 저장한다. 적어도 하나의 실시예의 레지스터 파일은 패킹된 데이터를 위한 8개의 멀티미디어 SIMD 레지스터들을 또한 포함한다.
도 20은, 적어도 하나의 실시예에 따른, 프로세서(2000)를 예시한다. 적어도 하나의 실시예에서, 프로세서(2000)는 하나 이상의 프로세서 코어("코어(cores)")(2002A-2002N), 통합 메모리 제어기(2014), 및 통합 그래픽 프로세서(2008)를, 제한 없이, 포함한다. 적어도 하나의 실시예에서, 프로세서(2000)는 파선 박스들에 의해 표현되는 추가적인 프로세서 코어(2002N)까지의 및 이를 포함하는 추가적 코어들을 포함할 수 있다. 적어도 하나의 실시예에서, 프로세서 코어들(2002A-2002N) 각각은 하나 이상의 내부 캐시 유닛(2004A-2004N)을 포함한다. 적어도 하나의 실시예에서, 각각의 프로세서 코어는 하나 이상의 공유 캐싱된 유닛(2006)에 대한 액세스를 또한 갖는다.
적어도 하나의 실시예에서, 내부 캐시 유닛들(2004A-2004N) 및 공유 캐시 유닛들(2006)은 프로세서(2000) 내의 캐시 메모리 계층을 나타낸다. 적어도 하나의 실시예에서, 캐시 메모리 유닛들(2004A-2004N)은 각각의 프로세서 코어 내의 적어도 하나의 레벨의 명령어 및, L2, L3, "L4"(Level 4) 또는 다른 캐시 레벨과 같은, 데이터 캐시 및 하나 이상의 레벨의 공유 중간-레벨 캐시를 포함할 수 있고, 여기서, 외부 메모리 이전의 가장 높은 레벨의 캐시는 LLC로서 분류된다. 적어도 하나의 실시예에서, 캐시 코히어런스 로직은 다양한 캐시 유닛들(2006, 2004A-2004N) 사이의 코히어런스를 유지한다.
적어도 하나의 실시예에서, 프로세서(2000)는 하나 이상의 버스 제어기 유닛의 세트(2016) 및 시스템 에이전트 코어(2010)를 또한 포함할 수 있다. 적어도 하나의 실시예에서, 하나 이상의 버스 제어기 유닛(2016)은, 하나 이상의 PCI 또는 PCI 익스프레스 버스들과 같은, 주변기기 버스들의 세트를 관리한다. 적어도 하나의 실시예에서, 시스템 에이전트 코어(2010)는 다양한 프로세서 컴포넌트들에 대한 관리 기능성을 제공한다. 적어도 하나의 실시예에서, 시스템 에이전트 코어(2010)는 다양한 외부 메모리 디바이스들(도시되지 않음)에 대한 액세스를 관리하는 하나 이상의 통합 메모리 제어기(2014)를 포함한다.
적어도 하나의 실시예에서, 프로세서 코어들(2002A-2002N) 중 하나 이상은 동시 멀티-스레딩에 대한 지원을 포함한다. 적어도 하나의 실시예에서, 시스템 에이전트 코어(2010)는 멀티-스레드형 처리 동안 프로세서 코어들(2002A-2002N)을 조율하고 동작시키기 위한 컴포넌트들을 포함한다. 적어도 하나의 실시예에서, 시스템 에이전트 코어(2010)는, 프로세서 코어들(2002A-2002N) 및 그래픽 프로세서(2008)의 하나 이상의 전력 상태를 조절하기 위한 로직 및 컴포넌트들을 포함하는, "PCU"(power control unit)를 추가적으로 포함할 수 있다.
적어도 하나의 실시예에서, 프로세서(2000)는 그래픽 처리 연산들을 실행하기 위한 그래픽 프로세서(2008)를 추가적으로 포함한다. 적어도 하나의 실시예에서, 그래픽 프로세서(2008)는 공유 캐시 유닛들(2006) 및, 하나 이상의 통합 메모리 제어기(2014)를 포함하는, 시스템 에이전트 코어(2010)와 연결된다. 적어도 하나의 실시예에서, 시스템 에이전트 코어(2010)는 그래픽 프로세서 출력을 하나 이상의 연결된 디스플레이에 구동하는 디스플레이 제어기(2011)를 또한 포함한다. 적어도 하나의 실시예에서, 디스플레이 제어기(2011)는 또한 적어도 하나의 인터커넥트를 통해 그래픽 프로세서(2008)와 연결되는 별개의 모듈이거나, 또는 그래픽 프로세서(2008) 내에 통합될 수 있다.
적어도 하나의 실시예에서, 프로세서(2000)의 내부 컴포넌트들을 연결하기 위해 링 기반 인터커넥트 유닛(2012)이 사용된다. 적어도 하나의 실시예에서, 포인트-투-포인트 인터커넥트, 스위칭형 인터커넥트, 또는 다른 기술들과 같은, 대안적인 인터커넥트 유닛이 사용될 수 있다. 적어도 하나의 실시예에서, 그래픽 프로세서(2008)는 I/O 링크(2013)를 통해 링 인터커넥트(2012)와 연결된다.
적어도 하나의 실시예에서, I/O 링크(2013)는 다양한 프로세서 컴포넌트들과, eDRAM 모듈과 같은, 고-성능 내장 메모리 모듈(2018) 사이의 통신을 용이하게 하는 온 패키지 I/O 인터커넥트를 포함하는, 다수의 다양한 I/O 인터커넥트들 중 적어도 하나를 나타낸다. 적어도 하나의 실시예에서, 프로세서 코어들(2002A-2002N) 및 그래픽 프로세서(2008) 각각은 내장 메모리 모듈들(2018)을 공유 LLC로서 사용한다.
적어도 하나의 실시예에서, 프로세서 코어들(2002A-2002N)은 공통 명령어 세트 아키텍처를 실행하는 동종 코어들이다. 적어도 하나의 실시예에서, 프로세서 코어들(2002A-2002N)은 ISA의 관점에서 이종이며, 여기서 프로세서 코어들(2002A-2002N) 중 하나 이상은 공통 명령어 세트를 실행하는 반면, 프로세서 코어들(2002A-2002N)의 하나 이상의 다른 코어는 공통 명령어 세트의 서브세트 또는 상이한 명령어 세트를 실행한다. 적어도 하나의 실시예에서, 프로세서 코어들(2002A-2002N)은 마이크로아키텍처의 관점에서 이종이며, 여기서 비교적 더 높은 전력 소비를 갖는 하나 이상의 코어는 더 낮은 전력 소비를 갖는 하나 이상의 코어와 연결된다. 적어도 하나의 실시예에서, 프로세서(2000)는 하나 이상의 칩 상에서 또는 SoC 집적 회로로서 구현될 수 있다.
도 21은, 설명되는 적어도 하나의 실시예에 따른, 그래픽 프로세서 코어(2100)를 예시한다. 적어도 하나의 실시예에서, 그래픽 프로세서 코어(2100)는 그래픽 코어 어레이 내에 포함된다. 적어도 하나의 실시예에서, 때때로 코어 슬라이스라고 지칭되는, 그래픽 프로세서 코어(2100)는 모듈식 그래픽 프로세서 내의 하나의 또는 다수의 그래픽 코어일 수 있다. 적어도 하나의 실시예에서, 그래픽 프로세서 코어(2100)는 하나의 그래픽 코어 슬라이스의 예시적인 것이고, 본 명세서에 설명되는 바와 같은 그래픽 프로세서는 타겟 전력 및 성능 포락선들에 기초하는 다수의 그래픽 코어 슬라이스들을 포함할 수 있다. 적어도 하나의 실시예에서, 각각의 그래픽 코어(2100)는, 범용 및 고정 기능 로직의 모듈식 블록들을 포함하는, 서브-슬라이스들이라고 또한 지칭되는, 다수의 서브-코어들(2101A-2101F)과 연결되는 고정 기능 블록(2130)을 포함할 수 있다.
적어도 하나의 실시예에서, 고정 기능 블록(2130)은, 예를 들어, 더 낮은 성능 및/또는 더 낮은 전력 그래픽 프로세서 구현들에서, 그래픽 프로세서(2100)에서의 모든 서브-코어들에 의해 공유될 수 있는 지오메트리 및 고정 기능 파이프라인(2136)을 포함한다. 적어도 하나의 실시예에서, 지오메트리/고정 기능 파이프라인(2136)은 3D 고정 기능 파이프라인, 비디오 프론트-엔드 유닛, 스레드 산출기 및 스레드 디스패처, 및, 통합 리턴 버퍼들을 관리하는, 통합 리턴 버퍼 관리기를 포함한다.
적어도 하나의 실시예에서, 고정 기능 블록(2130)은 그래픽 SoC 인터페이스(2137), 그래픽 마이크로제어기(2138), 및 미디어 파이프라인(2139)을 또한 포함한다. 그래픽 SoC 인터페이스(2137)는 SoC 집적 회로 내의 다른 프로세서 코어들과 그래픽 코어(2100) 사이에 인터페이스를 제공한다. 적어도 하나의 실시예에서, 그래픽 마이크로제어기(2138)는, 스레드 디스패치, 스케줄링, 및 선점(pre-emption)을 포함하는, 그래픽 프로세서(2100)의 다양한 기능들을 관리하도록 구성가능한 프로그램가능 서브-프로세서이다. 적어도 하나의 실시예에서, 미디어 파이프라인(2139)은, 이미지 및 비디오 데이터를 포함하는, 멀티미디어 데이터의 디코딩, 인코딩, 전처리 및/또는 후처리를 용이하게 하는 로직을 포함한다. 적어도 하나의 실시예에서, 미디어 파이프라인(2139)은 서브-코어들(2101-2101F) 내의 컴퓨팅 또는 샘플링 로직에 대한 요청들을 통해 미디어 연산들을 구현한다.
적어도 하나의 실시예에서, SoC 인터페이스(2137)는 그래픽 코어(2100)가 공유 LLC 메모리, 시스템 RAM, 및/또는 내장 온-칩 또는 온-패키지 DRAM과 같은 메모리 계층 엘리먼트들을 포함하는, SoC 내의 다른 컴포넌트들 및/또는 범용 애플리케이션 프로세서 코어들(예를 들어, CPU들)과 통신하는 것을 가능하게 한다. 적어도 하나의 실시예에서, SoC 인터페이스(2137)는, 카메라 촬영 파이프라인들과 같은, SoC 내의 고정 기능 디바이스들과의 통신을 또한 가능하게 할 수 있고, 그래픽 코어(2100)와 SoC 내의 CPU들 사이에 공유될 수 있는 글로벌 메모리 원자들의 사용을 가능하게 하고 및/또는 이들을 구현한다. 적어도 하나의 실시예에서, SoC 인터페이스(2137)는 그래픽 코어(2100)에 대한 전력 관리 제어들을 또한 구현하고 그래픽 코어(2100)의 클록 도메인과 SoC 내의 다른 클록 도메인들 사이의 인터페이스를 가능하게 할 수 있다. 적어도 하나의 실시예에서, SoC 인터페이스(2137)는 그래픽 프로세서 내의 하나 이상의 그래픽 코어 각각에 커맨드들 및 명령어들을 제공하도록 구성되는 커맨드 스트리머 및 글로벌 스레드 디스패처로부터의 커맨드 버퍼들의 수신을 가능하게 한다. 적어도 하나의 실시예에서, 커맨드들 및 명령어들은, 미디어 연산들이 수행될 때, 미디어 파이프라인(2139)에, 또는 그래픽 처리 연산들이 수행될 때 지오메트리 및 고정 기능 파이프라인(예를 들어, 지오메트리 및 고정 기능 파이프라인(2136), 지오메트리 및 고정 기능 파이프라인(2114))에 디스패치될 수 있다.
적어도 하나의 실시예에서, 그래픽 마이크로제어기(2138)는 그래픽 코어(2100)에 대한 다양한 스케줄링 및 관리 태스크들을 수행하도록 구성될 수 있다. 적어도 하나의 실시예에서, 그래픽 마이크로제어기(2138)는 서브-코어들(2101A-2101F) 내의 EU(execution unit) 어레이들(2102A-2102F, 2104A-2104F) 내의 다양한 그래픽 병렬 엔진들에 대해 그래픽 및/또는 컴퓨팅 작업부하 스케줄링을 수행할 수 있다. 적어도 하나의 실시예에서, 그래픽 코어(2100)를 포함하는 SoC의 CPU 코어 상에서 실행되는 호스트 소프트웨어는, 적절한 그래픽 엔진 상에서 스케줄링 연산을 호출하는, 다수의 그래픽 프로세서 도어벨들 중 하나에 작업부하들을 제출할 수 있다. 적어도 하나의 실시예에서, 스케줄링 연산들은 다음으로 실행할 작업부하를 결정하는 것, 작업부하를 커맨드 스트리머에 제출하는 것, 엔진 상에서 실행 중인 기존 작업부하들을 선점하는 것, 작업부하의 진행을 모니터링하는 것, 작업부하가 완료될 때 호스트 소프트웨어에 통지하는 것을 포함한다. 적어도 하나의 실시예에서, 그래픽 마이크로제어기(2138)는 그래픽 코어(2100)에 대한 저-전력 또는 유휴 상태들을 또한 용이하게 하여, 운영 체제 및/또는 시스템 상의 그래픽 드라이버 소프트웨어와 독립적으로 저-전력 상태 전이들에 걸쳐 그래픽 코어(2100) 내의 레지스터들을 저장 및 복원하는 능력을 그래픽 코어(2100)에 제공할 수 있다.
적어도 하나의 실시예에서, 그래픽 코어(2100)는 예시된 서브-코어들(2101A-2101F)보다 많은 또는 적은, 최대 N개의 모듈식 서브-코어들을 가질 수 있다. N개의 서브-코어들의 각각의 세트에 대해, 적어도 하나의 실시예에서, 그래픽 코어(2100)는 공유 기능 로직(2110), 공유 및/또는 캐시 메모리(2112), 지오메트리/고정 기능 파이프라인(2114) 뿐만 아니라, 다양한 그래픽들을 가속하고 처리 연산들을 컴퓨팅하는 추가적인 고정 기능 로직(2116)을 또한 포함할 수 있다. 적어도 하나의 실시예에서, 공유 기능 로직(2110)은 그래픽 코어(2100) 내의 각각의 N개의 서브-코어들에 의해 공유될 수 있는 로직 유닛들(예를 들어, 샘플러, 수학 및/또는 인터-스레드 통신 로직)을 포함할 수 있다. 공유 및/또는 캐시 메모리(2112)는 그래픽 코어(2100) 내의 N개의 서브-코어들(2101A-2101F)에 대한 LLC일 수 있고, 다수의 서브-코어들에 의해 액세스가능한 공유 메모리로서 또한 역할을 할 수 있다. 적어도 하나의 실시예에서, 지오메트리/고정 기능 파이프라인(2114)은 고정 기능 블록(2130) 내의 지오메트리/고정 기능 파이프라인(2136) 대신에 포함될 수 있고, 동일한 또는 유사한 로직 유닛들을 포함할 수 있다.
적어도 하나의 실시예에서, 그래픽 코어(2100)는 그래픽 코어(2100)에 의한 사용을 위한 다양한 고정 기능 가속 로직을 포함할 수 있는 추가적인 고정 기능 로직(2116)을 포함한다. 적어도 하나의 실시예에서, 추가적인 고정 기능 로직(2116)은 위치 전용 셰이딩에서 사용하기 위한 추가적인 지오메트리 파이프라인을 포함한다. 위치-전용 셰이딩에서는, 적어도 2개의 지오메트리 파이프라인들이 존재하는 반면, 완전한 지오메트리 파이프라인에서는 지오메트리/고정 기능 파이프라인(2116, 2136) 내에, 그리고 추가적인 고정 기능 로직(2116) 내에 포함될 수 있는 추가적인 지오메트리 파이프라인인, 컬 파이프라인(cull pipeline)이 존재한다. 적어도 하나의 실시예에서, 컬 파이프라인은 전체 지오메트리 파이프라인의 트리밍 다운된 버전이다. 적어도 하나의 실시예에서, 전체 파이프라인 및 컬 파이프라인은 애플리케이션의 상이한 인스턴스들을 실행할 수 있고, 각각의 인스턴스는 별개의 컨텍스트를 갖는다. 적어도 하나의 실시예에서, 위치 전용 셰이딩은 폐기된 삼각형들의 긴 컬 런들(long cull runs)을 은닉할 수 있어서, 일부 인스턴스들에서 셰이딩이 더 일찍 완료되는 것을 가능하게 한다. 예를 들어, 적어도 하나의 실시예에서, 추가적인 고정 기능 로직(2116) 내의 컬 파이프라인 로직은 메인 애플리케이션과 병렬로 위치 셰이더들을 실행할 수 있고, 프레임 버퍼에 대한 픽셀들의 래스터화 및 렌더링을 수행하지 않고, 컬 파이프라인이 버텍스들의 위치 속성을 인출하고 셰이딩함에 따라, 전체 파이프라인보다 더 빠르게 중요한 결과들을 일반적으로 생성한다. 적어도 하나의 실시예에서, 컬 파이프라인은, 삼각형들이 컬링되는지에 상관없이 모든 삼각형들에 대한 가시성 정보를 컴퓨팅하기 위해, 생성된 중요한 결과들을 사용할 수 있다. 적어도 하나의 실시예에서, 전체 파이프라인(이러한 경우에는 리플레이 파이프라인이라고 지칭될 수 있음)은 최종적으로 래스터화 단계로 전달되는 단지 가시적 삼각형들만을 셰이딩하기 위해 컬링된 삼각형들을 스킵하도록 가시성 정보를 소비할 수 있다.
적어도 하나의 실시예에서, 추가적인 고정 기능 로직(2116)은, CUDA 프로그램들을 가속화하기 위한, 고정 기능 행렬 곱셈 로직과 같은, 범용 처리 가속 로직을 또한 포함할 수 있다.
적어도 하나의 실시예에서, 각각의 그래픽 서브-코어(2101A-2101F) 내에는 그래픽 파이프라인, 미디어 파이프라인, 또는 셰이더 프로그램들에 의한 요청들에 응답하여 그래픽, 미디어, 및 컴퓨팅 연산들을 수행하기 위해 사용될 수 있는 실행 리소스들의 세트를 포함한다. 적어도 하나의 실시예에서, 그래픽 서브-코어들(2101A-2101F)은 다수의 EU 어레이들(2102A-2102F, 2104A-2104F), "TD/IC"(thread dispatch and inter-thread communication) 로직(2103A-2103F), 3D(예를 들어, 텍스처) 샘플러(2105A-2105F), 미디어 샘플러(2106A-2106F), 셰이더 프로세서(2107A-2107F), 및 "SLM"(shared local memory)(2108A-2108F)를 포함한다. EU 어레이들(2102A-2102F, 2104A-2104F)은, 그래픽, 미디어, 또는 컴퓨팅 셰이더 프로그램을 포함하는, 그래픽, 미디어, 또는 컴퓨팅 연산의 서비스에서 부동-소수점 및 정수/고정-소수점 로직 연산들을 수행할 수 있는 GPGPU들인, 다수의 실행 유닛들을 각각 포함한다. 적어도 하나의 실시예에서, TD/IC 로직(2103A-2103F)은 서브-코어 내의 실행 유닛들에 대한 로컬 스레드 디스패치 및 스레드 제어 연산들을 수행하고, 서브-코어의 실행 유닛들 상에서 실행되는 스레드들 사이의 통신을 용이하게 한다. 적어도 하나의 실시예에서, 3D 샘플러(2105A-2105F)는 텍스처 또는 다른 3D 그래픽 관련 데이터를 메모리에 판독할 수 있다. 적어도 하나의 실시예에서, 3D 샘플러는 주어진 텍스처와 연관된 구성된 샘플 상태 및 텍스처 포맷에 기초하여 텍스처 데이터를 상이하게 판독할 수 있다. 적어도 하나의 실시예에서, 미디어 샘플러(2106A-2106F)는 미디어 데이터와 연관된 타입 및 포맷에 기초하여 유사한 판독 연산들을 수행할 수 있다. 적어도 하나의 실시예에서, 각각의 그래픽 서브-코어(2101A-2101F)는 통합 3D 및 미디어 샘플러를 대안적으로 포함할 수 있다. 적어도 하나의 실시예에서, 서브-코어들(2101A-2101F) 각각 내의 실행 유닛들 상에서 실행되는 스레드들은, 스레드 그룹 내에서 실행되는 스레드들이 온-칩 메모리의 공통 풀을 사용하여 실행되는 것을 가능하게 하기 위해, 각각의 서브-코어 내의 공유 로컬 메모리(2108A-2108F)를 사용할 수 있다.
도 22는, 적어도 하나의 실시예에 따른, "PPU"(parallel processing unit)(2200)를 예시한다. 적어도 하나의 실시예에서, PPU(2200)는, PPU(2200)에 의해 실행되면, PPU(2200)로 하여금 본 명세서에 설명되는 프로세스들 및 기술들의 일부 또는 전부를 수행하게 하는 머신-판독가능 코드로 구성된다. 적어도 하나의 실시예에서, PPU(2200)는, 하나 이상의 집적 회로 디바이스 상에 구현되는 그리고 다수의 스레드들 상의 컴퓨터-판독가능 명령어들(머신-판독가능 명령어들 또는 단순히 명령어들이라고 또한 지칭됨)을 병렬로 처리하도록 설계되는 레이턴시-은닉 기술로서 멀티스레딩을 이용하는 멀티-스레드형 프로세서이다. 적어도 하나의 실시예에서, 스레드는 실행의 스레드를 지칭하고, PPU(2200)에 의해 실행되도록 구성되는 명령어들의 세트의 인스턴스화이다. 적어도 하나의 실시예에서, PPU(2200)는 LCD 디바이스와 같은 디스플레이 디바이스 상에 디스플레이하기 위한 "2D"(two-dimensional) 이미지 데이터를 생성하기 위해 "3D"(three-dimensional) 그래픽 데이터를 처리하기 위한 그래픽 렌더링 파이프라인을 구현하도록 구성되는 GPU이다. 적어도 하나의 실시예에서, PPU(2200)는 선형 대수 연산들 및 머신-학습 연산들과 같은 계산들을 수행하기 위해 이용된다. 도 22는 단지 예시적인 목적들을 위한 예시적인 병렬 프로세서를 예시하고, 적어도 하나의 실시예에서 구현될 수 있는 프로세서 아키텍처의 비-제한적인 예로서 해석되어야 한다.
적어도 하나의 실시예에서, 하나 이상의 PPU(2200)는 "HPC"(High Performance Computing), 데이터 센터, 및 머신 학습 애플리케이션들을 가속하도록 구성된다. 적어도 하나의 실시예에서, 하나 이상의 PPU(2200)는 CUDA 프로그램들을 가속하도록 구성된다. 적어도 하나의 실시예에서, PPU(2200)는 I/O 유닛(2206), 프론트-엔드 유닛(2210), 스케줄러 유닛(2212), 작업 분배 유닛(2214), 허브(2216), "XBar"(crossbar)(2220), 하나 이상의 "GPC"(general processing clusters)(2218), 및 하나 이상의 파티션 유닛("메모리 파티션 유닛")(2222)을, 제한 없이, 포함한다. 적어도 하나의 실시예에서, PPU(2200)는 하나 이상의 고속 GPU 인터커넥트("GPU interconnects")(2208)를 통해 호스트 프로세서 또는 다른 PPU(2200)에 접속된다. 적어도 하나의 실시예에서, PPU(2200)는 시스템 버스 또는 인터커넥트(2202)를 통해 호스트 프로세서 또는 다른 주변 디바이스들에 접속된다. 적어도 하나의 실시예에서, PPU(2200)는 하나 이상의 메모리 디바이스를 포함하는 로컬 메모리("메모리")(2204)에 접속된다. 적어도 하나의 실시예에서, 메모리 디바이스들(2204)은 하나 이상의 DRAM(dynamic random access memory) 디바이스를, 제한 없이, 포함한다. 적어도 하나의 실시예에서, 하나 이상의 DRAM 디바이스는 "HBM"(high-bandwidth memory) 서브시스템들로서 구성되고 및/또는 구성가능하고, 다수의 DRAM 다이들이 각각의 디바이스 내에 적층된다.
적어도 하나의 실시예에서, 고속 GPU 인터커넥트(2208)는, 하나 이상의 CPU와 조합되는 하나 이상의 PPU(2200)를 포함하고 스케일하기 위해 시스템에 의해 사용되는, 그리고 PPU들(2200)과 CPU들 사이의 캐시 코히어런스, 및 CPU 마스터링을 지원하는 와이어-기반 멀티-레인 통신 링크를 지칭할 수 있다. 적어도 하나의 실시예에서, 데이터 및/또는 커맨드들은 고속 GPU 인터커넥트(2208)에 의해 허브(2216)를 통해 하나 이상의 복사 엔진, 비디오 인코더, 비디오 디코더, 전력 관리 유닛, 및 도 22에 명시적으로 예시되지 않을 수 있는 다른 컴포넌트와 같은 PPU(2200)의 다른 유닛들로/로부터 송신된다.
적어도 하나의 실시예에서, I/O 유닛(2206)은 시스템 버스(2202)를 통해 호스트 프로세서(도 22에 예시되지 않음)로부터 통신들(예를 들어, 커맨드들, 데이터)을 송신 및 수신하도록 구성된다. 적어도 하나의 실시예에서, I/O 유닛(2206)은 시스템 버스(2202)를 통해 직접 또는 메모리 브릿지와 같은 하나 이상의 중간 디바이스를 통해 호스트 프로세서와 통신한다. 적어도 하나의 실시예에서, I/O 유닛(2206)은 시스템 버스(2202)를 통해 하나 이상의 PPU(2200)와 같은 하나 이상의 다른 프로세서와 통신할 수 있다. 적어도 하나의 실시예에서, I/O 유닛(2206)은 PCIe 버스를 통한 통신을 위한 PCIe 인터페이스를 구현한다. 적어도 하나의 실시예에서, I/O 유닛(2206)은 외부 디바이스들과 통신하기 위한 인터페이스들을 구현한다.
적어도 하나의 실시예에서, I/O 유닛(2206)은 시스템 버스(2202)를 통해 수신되는 패킷들을 디코딩한다. 적어도 하나의 실시예에서, 적어도 일부 패킷들은 PPU(2200)로 하여금 다양한 연산들을 수행하게 하도록 구성되는 커맨드들을 나타낸다. 적어도 하나의 실시예에서, I/O 유닛(2206)은 디코딩된 커맨드들을 커맨드들에 의해 명시되는 바와 같이 PPU(2200)의 다양한 다른 유닛들에 송신한다. 적어도 하나의 실시예에서, 커맨드들은 프론트-엔드 유닛(2210)에 송신되고 및/또는 허브(2216) 또는 하나 이상의 복사 엔진, 비디오 인코더, 비디오 디코더, 전력 관리 유닛 등과 같은 PPU(2200)의 다른 유닛들(도 22에 명시적으로 예시되지 않음)에 송신된다. 적어도 하나의 실시예에서, I/O 유닛(2206)은 PPU(2200)의 다양한 논리 유닛들 사이에서 및 중에서 통신을 라우팅하도록 구성된다.
적어도 하나의 실시예에서, 호스트 프로세서에 의해 실행되는 프로그램은 처리를 위해 PPU(2200)에 작업부하들을 제공하는 버퍼에서 커맨드 스트림을 인코딩한다. 적어도 하나의 실시예에서, 작업부하는 명령어들 및 이러한 명령어들에 의해 처리될 데이터를 포함한다. 적어도 하나의 실시예에서, 버퍼는 호스트 프로세서 및 PPU(2200) 양자 모두에 의해 액세스가능한(예를 들어, 판독/기입) 메모리에서의 영역이다 - 호스트 인터페이스 유닛은 I/O 유닛(2206)에 의해 시스템 버스(2202)를 통해 송신되는 메모리 요청들을 통해 시스템 버스(2202)에 접속되는 시스템 메모리에서의 해당 버퍼에 액세스하도록 구성될 수 있다. 적어도 하나의 실시예에서, 호스트 프로세서는 커맨드 스트림을 버퍼에 기입하고, 다음으로 커맨드 스트림의 시작에 대한 포인터를 PPU(2200)에 송신하여, 프론트-엔드 유닛(2210)이 하나 이상의 커맨드 스트림에 대한 포인터를 수신하고, 하나 이상의 커맨드 스트림을 관리하고, 커맨드 스트림으로부터 커맨드를 판독하여, 커맨드들을 PPU(2200)의 다양한 유닛에 전달한다.
적어도 하나의 실시예에서, 프론트-엔드 유닛(2210)은 하나 이상의 커맨드 스트림에 의해 정의되는 태스크들을 처리하도록 다양한 GPC들(2218)을 구성하는 스케줄러 유닛(2212)에 연결된다. 적어도 하나의 실시예에서, 스케줄러 유닛(2212)은 스케줄러 유닛(2212)에 의해 관리되는 다양한 태스크들에 관련된 상태 정보를 추적하도록 구성되며, 여기서 상태 정보는 태스크가 GPC들(2218) 중 어느 것에 배정되는지, 태스크가 활성인지 또는 비활성인지, 태스크와 연관된 우선순위 레벨 등을 표시할 수 있다. 적어도 하나의 실시예에서, 스케줄러 유닛(2212)은 GPC들(2218) 중 하나 이상에서 복수의 태스크들의 실행을 관리한다.
적어도 하나의 실시예에서, 스케줄러 유닛(2212)은 GPC들(2218) 상에서의 실행을 위해 태스크들을 디스패치하도록 구성되는 작업 분배 유닛(2214)에 연결된다. 적어도 하나의 실시예에서, 작업 분배 유닛(2214)은 스케줄러 유닛(2212)으로부터 수신되는 다수의 스케줄링된 태스크들을 추적하고, 작업 분배 유닛(2214)은 GPC들(2218) 각각에 대한 계류중인 태스크 풀 및 활성 태스크 풀을 관리한다. 적어도 하나의 실시예에서, 계류중인 태스크 풀은 특정 GPC(2218)에 의해 처리되도록 배정되는 태스크들을 포함하는 다수의 슬롯들(예를 들어, 32개의 슬롯들)을 포함하고; 활성 태스크 풀은 GPC들(2218)에 의해 능동적으로 처리되고 있는 태스크들에 대한 다수의 슬롯들(예를 들어, 4개의 슬롯들)을 포함할 수 있어, GPC들(2218) 중 하나가 태스크의 실행을 완료함에 따라, 해당 태스크가 GPC(2218)에 대한 해당 활성 태스크 풀로부터 축출되고 GPC(2218) 상에서의 실행을 위해 계류중인 태스크 풀로부터의 다른 태스크들 중 하나가 선택되고 스케줄링된다. 적어도 하나의 실시예에서, 데이터 의존성이 해결되기를 대기하는 동안과 같이, 활성 태스크가 GPC(2218) 상에서 유휴 상태이면, 다음으로 해당 활성 태스크는 GPC(2218)로부터 축출되어 해당 계류중인 태스크 풀에 리턴되는 반면, 계류중인 태스크 풀에서의 다른 태스크는 GPC(2218) 상에서의 실행을 위해 선택되고 스케줄링된다.
적어도 하나의 실시예에서, 작업 분배 유닛(2214)은 XBar(2220)을 통해 하나 이상의 GPC(2218)와 통신한다. 적어도 하나의 실시예에서, XBar(2220)은 PPU(2200)의 유닛들 중 많은 것을 PPU(2200)의 다른 유닛들에 연결하는 인터커넥트 네트워크이고, 작업 분배 유닛(2214)을 특정 GPC(2218)에 연결하도록 구성될 수 있다. 적어도 하나의 실시예에서, PPU(2200)의 하나 이상의 다른 유닛이 또한 허브(2216)를 통해 XBar(2220)에 접속될 수 있다.
적어도 하나의 실시예에서, 태스크들은 스케줄러 유닛(2212)에 의해 관리되고 작업 분배 유닛(2214)에 의해 GPC들(2218) 중 하나에 디스패치된다. GPC(2218)는 태스크를 처리하도록 그리고 결과를 생성하도록 구성된다. 적어도 하나의 실시예에서, 결과들은 GPC(2218) 내의 다른 태스크에 의해 소비되거나, XBar(2220)을 통해 상이한 GPC(2218)에 라우팅되거나, 또는 메모리(2204)에 저장될 수 있다. 적어도 하나의 실시예에서, 결과들은, 메모리(2204)로/로부터 데이터를 판독 및 기입하기 위한 메모리 인터페이스를 구현하는, 파티션 유닛(2222)을 통해 메모리(2204)에 기입될 수 있다. 적어도 하나의 실시예에서, 결과들은 고속 GPU 인터커넥트(2208)를 통해 다른 PPU(2204) 또는 CPU에 송신될 수 있다. 적어도 하나의 실시예에서, PPU(2200)는 PPU(2200)에 연결되는 개별 및 별개의 메모리 디바이스들(2204)의 수와 동일한 수 U의 파티션 유닛들(2222)을, 제한 없이, 포함한다.
적어도 하나의 실시예에서, 호스트 프로세서는 호스트 프로세서 상에서 실행되는 하나 이상의 애플리케이션이 PPU(2200) 상에서 실행하기 위한 연산들을 스케줄링하는 것을 가능하게 하는 "API"(application programming interface)를 구현하는 드라이버 커널을 실행한다. 적어도 하나의 실시예에서, 다수의 컴퓨팅 애플리케이션들이 PPU(2200)에 의해 동시에 실행되고, PPU(2200)는 격리, "QoS"(quality of service), 및 다수의 컴퓨팅 애플리케이션들에 대한 독립적인 어드레스 공간들을 제공한다. 적어도 하나의 실시예에서, 애플리케이션은 드라이버 커널로 하여금 PPU(2200)에 의한 실행을 위한 하나 이상의 태스크를 생성하게 하는 그리고 드라이버 커널이 PPU(2200)에 의해 처리되는 하나 이상의 스트림에 태스크를 출력하는 (예를 들어, API 호출들의 형태의) 명령어들을 생성한다. 적어도 하나의 실시예에서, 각각의 태스크는, 워프(warp)라고 지칭될 수 있는, 관련 스레드들의 하나 이상의 그룹을 포함한다. 적어도 하나의 실시예에서, 워프는 병렬로 실행될 수 있는 복수의 관련된 스레드들(예를 들어, 32개의 스레드들)을 포함한다. 적어도 하나의 실시예에서, 협력 스레드들은 태스크를 수행하는 그리고 공유 메모리를 통해 데이터를 교환하는 명령어들을 포함하는 복수의 스레드들을 지칭할 수 있다.
도 23은, 적어도 하나의 실시예에 따른, GPC(2300)를 예시한다. 적어도 하나의 실시예에서, GPC(2300)는 도 22의 GPC(2218)이다. 적어도 하나의 실시예에서, 각각의 GPC(2300)는 태스크들을 처리하기 위한 다수의 하드웨어 유닛을, 제한 없이, 포함하고, 각각의 GPC(2300)는 파이프라인 관리기(2302), "PROP"(pre-raster operations unit)(2304), 래스터 엔진(2308), "WDX"(work distribution crossbar)(2316), MMU(2318), 하나 이상의 "DPC"(Data Processing Clusters)(2306), 및 부품들의 임의의 적합한 조합을, 제한 없이, 포함한다.
적어도 하나의 실시예에서, GPC(2300)의 연산은 파이프라인 관리기(2302)에 의해 제어된다. 적어도 하나의 실시예에서, 파이프라인 관리기(2302)는 GPC(2300)에 할당되는 태스크들을 처리하기 위한 하나 이상의 DPC(2306)의 구성을 관리한다. 적어도 하나의 실시예에서, 파이프라인 관리기(2302)는 그래픽 렌더링 파이프라인의 적어도 일부를 구현하도록 하나 이상의 DPC(2306) 중 적어도 하나를 구성한다. 적어도 하나의 실시예에서, DPC(2306)는 프로그램가능 "SM"(streaming multiprocessor)(2314) 상에서 버텍스 셰이더 프로그램을 실행하도록 구성된다. 적어도 하나의 실시예에서, 파이프라인 관리기(2302)는, 적어도 하나의 실시예에서, 작업 분배 유닛으로부터 수신되는 패킷들을 GPC(2300) 내의 적절한 논리 유닛들로 라우팅하도록 구성되고, 일부 패킷들은 PROP(2304) 및/또는 래스터 엔진(2308)에서의 고정 기능 하드웨어 유닛들에 라우팅될 수 있는 반면, 다른 패킷들은 프리미티브 엔진(2312) 또는 SM(2314)에 의한 처리를 위해 DPC들(2306)에 라우팅될 수 있다. 적어도 하나의 실시예에서, 파이프라인 관리기(2302)는 컴퓨팅 파이프라인을 구현하도록 DPC들(2306) 중 적어도 하나를 구성한다. 적어도 하나의 실시예에서, 파이프라인 관리기(2302)는 CUDA 프로그램의 적어도 일부를 실행하도록 DPC들(2306) 중 적어도 하나를 구성한다.
적어도 하나의 실시예에서, PROP 유닛(2304)은, 래스터 엔진(2308) 및 DPC들(2306)에 의해 생성되는 데이터를, 도 22와 함께 위에 더 상세히 설명되는 메모리 파티션 유닛(2222)과 같은, 파티션 유닛에서의 "ROP"(Raster Operations) 유닛에 라우팅하도록 구성된다. 적어도 하나의 실시예에서, PROP 유닛(2304)은 컬러 블렌딩에 대한 최적화를 수행하고, 픽셀 데이터를 조직화하고, 어드레스 변환들을 수행하고, 그 이상을 행하도록 구성된다. 적어도 하나의 실시예에서, 래스터 엔진(2308)은 다양한 래스터 연산들을 수행하도록 구성되는 다수의 고정 기능 하드웨어 유닛들을, 제한 없이 포함하고, 적어도 하나의 실시예에서, 래스터 엔진(2308)은 셋업 엔진, 대략적 래스터 엔진, 컬링 엔진, 클리핑 엔진, 미세한 래스터 엔진, 타일 합체 엔진, 및 이들의 임의의 적합한 조합을, 제한 없이, 포함한다. 적어도 하나의 실시예에서, 셋업 엔진은 변환된 버텍스들을 수신하고 버텍스들에 의해 정의되는 지오메트리 프리미티브와 연관된 평면 방정식들을 생성하고; 평면 방정식들은 프리미티브에 대한 커버리지 정보(예를 들어, 타일에 대한 x, y 커버리지 마스크)를 생성하기 위해 대략적 래스터 엔진에 송신되고; 대략적 래스터 엔진의 출력은 z-테스트에 실패한 프리미티브와 연관된 프래그먼트들이 컬링되는 컬링 엔진에 송신되고, 뷰잉 절두체 외부에 놓인 프래그먼트들이 클리핑되는 클리핑 엔진에 송신된다. 적어도 하나의 실시예에서, 클리핑 및 컬링을 견디는 프래그먼트들은 셋업 엔진에 의해 생성되는 평면 방정식들에 기초하여 픽셀 프래그먼트들에 대한 속성들을 생성하기 위해 미세한 래스터 엔진에 전달된다. 적어도 하나의 실시예에서, 래스터 엔진(2308)의 출력은, DPC(2306) 내에 구현되는 프래그먼트 셰이더와 같은, 임의의 적합한 엔티티에 의해 처리될 프래그먼트들을 포함한다.
적어도 하나의 실시예에서, GPC(2300)에 포함되는 각각의 DPC(2306)는, 제한 없이, "MPC"(M-Pipe Controller)(2310); 프리미티브 엔진(2312); 하나 이상의 SM(2314); 및 이들의 임의의 적합한 조합을 포함한다. 적어도 하나의 실시예에서, MPC(2310)는, 파이프라인 관리기(2302)로부터 수신되는 패킷들을 DPC(2306)에서의 적절한 유닛들로 라우팅하는, DPC(2306)의 연산을 제어한다. 적어도 하나의 실시예에서, 버텍스와 연관된 패킷들은, 메모리로부터 버텍스와 연관된 버텍스 속성들을 인출하도록 구성되는, 프리미티브 엔진(2312)에 라우팅되고; 대조적으로, 셰이더 프로그램과 연관된 패킷들이 SM(2314)에 송신될 수 있다.
적어도 하나의 실시예에서, SM(2314)은 다수의 스레드들에 의해 표현되는 태스크들을 처리하도록 구성되는 프로그램가능 스트리밍 프로세서를, 제한 없이, 포함한다. 적어도 하나의 실시예에서, SM(2314)은 멀티-스레딩되고, 스레드들의 특정 그룹으로부터의 복수의 스레드들(예를 들어, 32개의 스레드들)을 동시에 실행하도록 구성되며, 스레드들의 그룹(예를 들어, 워프)에서의 각각의 스레드가 동일한 세트의 명령어들에 기초하여 상이한 세트의 데이터를 처리하도록 구성되는 SIMD 아키텍처를 구현한다. 적어도 하나의 실시예에서, 스레드들의 그룹에서의 모든 스레드들은 동일한 명령어들을 실행한다. 적어도 하나의 실시예에서, SM(2314)은 SIMT 아키텍처를 구현하며, 여기서 스레드들의 그룹에서의 각각의 스레드는 동일한 세트의 명령어들에 기초하여 상이한 세트의 데이터를 처리하도록 구성되지만, 스레드들의 그룹에서의 개별 스레드들은 실행 동안 발산하는 것이 허용된다. 적어도 하나의 실시예에서, 프로그램 카운터, 호출 스택, 및 실행 상태가 각각의 워프에 대해 유지되어, 워프 내의 스레드들이 발산할 때 워프들 사이의 동시성 및 워프들 내의 직렬 실행을 가능하게 한다. 다른 실시예에서, 프로그램 카운터, 호출 스택, 및 실행 상태가 각각의 개별 스레드에 대해 유지되어, 워프들 내에서 그리고 워프들 사이에서, 모든 스레드들 사이에 동일한 동시성을 가능하게 한다. 적어도 하나의 실시예에서, 실행 상태가 각각의 개별 스레드에 대해 유지되고, 동일한 명령어들을 실행하는 스레드들은 더 나은 효율을 위해 병렬로 수렴되고 실행될 수 있다. SM(2314)의 적어도 하나의 실시예가 도 24와 함께 더 상세히 설명된다.
적어도 하나의 실시예에서, MMU(2318)는 GPC(2300)와 메모리 파티션 유닛(예를 들어, 도 22의 파티션 유닛(2222)) 사이의 인터페이스를 제공하고, MMU(2318)는 가상 어드레스의 물리 어드레스로의 변환, 메모리 보호, 및 메모리 요청들의 중재를 제공한다. 적어도 하나의 실시예에서, MMU(2318)는 가상 어드레스의 메모리에서의 물리 어드레스로의 변환을 수행하기 위한 하나 이상의 TLB(translation lookaside buffers)를 제공한다.
도 24는, 적어도 하나의 실시예에 따른, "SM"(streaming multiprocessor)(2400)를 예시한다. 적어도 하나의 실시예에서, SM(2400)은 도 23의 SM(2314)이다. 적어도 하나의 실시예에서, SM(2400)은, 제한 없이, 명령어 캐시(2402); 하나 이상의 스케줄러 유닛(2404); 레지스터 파일(2408); 하나 이상의 처리 코어("코어(cores)")(2410); 하나 이상의 "SFU"(special function units)(2412); 하나 이상의 LSU(2414); 인터커넥트 네트워크(2416); 공유 메모리/L1 캐시(2418); 및 이들의 임의의 적합한 조합을 포함한다. 적어도 하나의 실시예에서, 작업 분배 유닛은 PPU들(parallel processing units)의 GPC들 상에서의 실행을 위해 태스크들을 디스패치하고, 각각의 태스크는 GPC 내의 특정 DPC(Data Processing Cluster)에 할당되고, 다음으로 태스크가 셰이더 프로그램과 연관되면, 태스크는 SM들(2400) 중 하나에 할당된다. 적어도 하나의 실시예에서, 스케줄러 유닛(2404)은 작업 분배 유닛으로부터 태스크들을 수신하고 SM(2400)에 배정되는 하나 이상의 스레드 블록에 대한 명령어 스케줄링을 관리한다. 적어도 하나의 실시예에서, 스케줄러 유닛(2404)은 병렬 스레드들의 워프들로서 실행하기 위한 스레드 블록들을 스케줄링하고, 여기서 각각의 스레드 블록에는 적어도 하나의 워프가 할당된다. 적어도 하나의 실시예에서, 각각의 워프는 스레드들을 실행한다. 적어도 하나의 실시예에서, 스케줄러 유닛(2404)은 복수의 상이한 스레드 블록들을 관리하고, 상이한 스레드 블록들에 워프들을 할당하며 다음으로 각각의 클록 사이클 동안 복수의 상이한 협력 그룹들로부터의 명령어들을 다양한 기능 유닛들(예를 들어, 처리 코어들(2410), SFU들(2412) 및 LSU들(2414))에 디스패치한다.
적어도 하나의 실시예에서, "협력 그룹들(cooperative groups)"은, 개발자들이 스레드들이 통신하고 있는 입도를 표현하는 것을 허용하여, 더 풍부하고, 더 효율적인 병렬 분해들의 표현을 가능하게 하는 통신 스레드 그룹들을 조직화하기 위한 프로그래밍 모델을 지칭할 수 있다. 적어도 하나의 실시예에서, 협력 론칭 API들은 병렬 알고리즘들의 실행을 위한 스레드 블록들 사이의 동기화를 지원한다. 적어도 하나의 실시예에서, 종래의 프로그래밍 모델들의 API들은 협력하는 스레드들을 동기화하기 위한 단일의, 단순한 구성: 스레드 블록의 모든 스레드들에 걸친 장벽(예를 들어, syncthreads( ) 함수)을 제공한다. 그러나, 적어도 하나의 실시예에서, 프로그래머들은 집합적 그룹-와이드 기능 인터페이스들의 형태로 더 큰 성능, 설계 유연성, 및 소프트웨어 재사용을 가능하게 하기 위해 스레드 블록보다 더 작은 입도들로 스레드들의 그룹들을 정의하고 정의된 그룹들 내에서 동기화할 수 있다. 적어도 하나의 실시예에서, 협력 그룹들은 프로그래머들이 서브블록 및 멀티-블록 입도들로 명시적으로 스레드들의 그룹들을 정의하는 것 및 협력 그룹에서의 스레드들에 대한 동기화와 같은 집합적 연산들을 수행하는 것을 가능하게 한다. 적어도 하나의 실시예에서, 서브블록 입도는 단일의 스레드만큼 작다. 적어도 하나의 실시예에서, 프로그래밍 모델은 소프트웨어 경계들에 걸쳐 깨끗한 합성을 지원하여, 라이브러리들 및 유틸리티 함수들이 수렴에 관한 가정들을 할 필요 없이 그들의 로컬 컨텍스트 내에서 안전하게 동기화할 수 있다. 적어도 하나의 실시예에서, 협력 그룹 프리미티브들은, 생산자-소비자 병렬화, 기회주의적 병렬화, 및 스레드 블록들의 전체 그리드에 걸친 글로벌 동기화를, 제한 없이, 포함하는, 협력적 병렬화의 새로운 패턴들을 가능하게 한다.
적어도 하나의 실시예에서, 디스패치 유닛(2406)은 하나 이상의 기능 유닛 및 스케줄러 유닛(2404)에 명령어들을 송신하도록 구성되고, 각각의 클록 사이클 동안 동일한 워프로부터의 2개의 상이한 명령어들이 디스패치되는 것을 가능하게 하는 2개의 디스패치 유닛들(2406)을, 제한 없이, 포함한다. 적어도 하나의 실시예에서, 각각의 스케줄러 유닛(2404)은 단일의 디스패치 유닛(2406) 또는 추가적인 디스패치 유닛들(2406)을 포함한다.
적어도 하나의 실시예에서, 각각의 SM(2400)은, 적어도 하나의 실시예에서, SM(2400)의 기능 유닛들에 대한 레지스터들의 세트를 제공하는 레지스터 파일(2408)을, 제한 없이, 포함한다. 적어도 하나의 실시예에서, 레지스터 파일(2408)은 기능 유닛들 각각 사이에서 분할되어, 각각의 기능 유닛이 레지스터 파일(2408)의 전용 부분에 할당된다. 적어도 하나의 실시예에서, 레지스터 파일(2408)은 SM(2400)에 의해 실행되는 상이한 워프들 사이에서 분할되고, 레지스터 파일(2408)은 기능 유닛들의 데이터 경로들에 접속되는 피연산자들에 대한 임시 스토리지를 제공한다. 적어도 하나의 실시예에서, 각각의 SM(2400)은 복수의 L개의 처리 코어들(2410)을, 제한 없이, 포함한다. 적어도 하나의 실시예에서, SM(2400)은 많은 수(예를 들어, 128개 이상)의 별개의 처리 코어들(2410)을, 제한 없이, 포함한다. 적어도 하나의 실시예에서, 각각의 처리 코어(2410)는, 부동 소수점 산술 로직 유닛 및 정수 산술 로직 유닛을, 제한 없이, 포함하는 완전-파이프라이닝된, 단일-정밀도, 더블-정밀도, 및/또는 혼합 정밀도 처리 유닛을, 제한 없이, 포함한다. 적어도 하나의 실시예에서, 부동 소수점 산술 로직 유닛은 부동 소수점 산술을 위한 IEEE 754-2008 표준을 구현한다. 적어도 하나의 실시예에서, 처리 코어들(2410)은 64개의 단일-정밀도(32-비트) 부동 소수점 코어들, 64개의 정수 코어들, 32개의 더블-정밀도(64-비트) 부동 소수점 코어들, 및 8개의 텐서 코어들을, 제한 없이, 포함한다.
적어도 하나의 실시예에서, 텐서 코어들은 행렬 연산들을 수행하도록 구성된다. 적어도 하나의 실시예에서, 하나 이상의 텐서 코어가 처리 코어들(2410)에 포함된다. 적어도 하나의 실시예에서, 텐서 코어들은, 신경망 훈련 및 추론을 위한 콘볼루션 연산들과 같은, 심층 학습 행렬 산술을 수행하도록 구성된다. 적어도 하나의 실시예에서, 각각의 텐서 코어는 4x4 행렬에 대해 동작하고 행렬 곱셈 및 누적 연산 D = A X B + C를 수행하며, 여기서 A, B, C, 및 D는 4x4 행렬들이다.
적어도 하나의 실시예에서, 행렬 곱셈 입력들 A 및 B는 16-비트 부동 소수점 행렬이고 누적 행렬들 C 및 D는 16-비트 부동 소수점 또는 32-비트 부동 소수점 행렬들이다. 적어도 하나의 실시예에서, 텐서 코어들은, 32-비트 부동 소수점 누적과 함께 16-비트 부동 소수점 입력 데이터에 관해 동작한다. 적어도 하나의 실시예에서, 16-비트 부동 소수점 곱셈은 64개의 연산들을 사용하고, 4x4x4 행렬 곱셈을 위한 다른 중간 곱들과 함께 32-비트 부동 소수점 덧셈을 사용하여 다음으로 누적되는 완전한 정밀도 곱을 초래한다. 텐서 코어들은, 적어도 하나의 실시예에서, 이러한 더 작은 엘리먼트들로부터 구축되는, 훨씬 더 큰 2-차원 또는 더 높은 차원의 행렬 연산들을 수행하기 위해 사용된다. 적어도 하나의 실시예에서, CUDA-C++ API와 같은, API는 CUDA-C++ 프로그램으로부터의 텐서 코어들을 효율적으로 사용하기 위해 특수화된 행렬 로드, 행렬 곱셈 및 누적, 및 행렬 저장 연산들을 노출시킨다. 적어도 하나의 실시예에서, CUDA 레벨로, 워프-레벨 인터페이스는 워프의 모든 32개의 스레드들에 걸쳐 있는 16x16 크기 행렬들을 가정한다.
적어도 하나의 실시예에서, 각각의 SM(2400)은 특수 함수들(예를 들어, 속성 평가, 역 제곱근 등)을 수행하는 M개의 SFU들(2412)을, 제한 없이, 포함한다. 적어도 하나의 실시예에서, SFU들(2412)은 계층적 트리 데이터 구조를 트래버스하도록 구성되는 트리 트래버스 유닛을, 제한 없이, 포함한다. 적어도 하나의 실시예에서, SFU들(2412)은 텍스처 맵 필터링 연산들을 수행하도록 구성되는 텍스처 유닛을, 제한 없이, 포함한다. 적어도 하나의 실시예에서, 텍스처 유닛들은 SM(2400)에 의해 실행되는 셰이더 프로그램들에서 사용하기 위한 샘플링된 텍스처 값들을 생산하기 위해 텍스처 맵들(예를 들어, 텍셀들의 2D 어레이)을 메모리 및 샘플 텍스처 맵들로부터 로딩하도록 구성된다. 적어도 하나의 실시예에서, 텍스처 맵들은 공유 메모리/L1 캐시(2418)에 저장된다. 적어도 하나의 실시예에서, 텍스처 유닛들은 밉-맵들(예를 들어, 다양한 레벨들의 상세사항의 텍스처 맵들)을 사용하는 필터링 연산들과 같은 텍스처 연산들을 구현한다. 적어도 하나의 실시예에서, 각각의 SM(2400)은 2개의 텍스처 유닛들을, 제한 없이, 포함한다.
적어도 하나의 실시예에서, 각각의 SM(2400)은 공유 메모리/L1 캐시(2418)와 레지스터 파일(2408) 사이의 로드 및 저장 연산들을 구현하는 N개의 LSU(2414)를, 제한 없이, 포함한다. 적어도 하나의 실시예에서, 각각의 SM(2400)은 기능 유닛들 각각을 레지스터 파일(2408)에 그리고 LSU(2414)를 레지스터 파일(2408) 및 공유 메모리/L1 캐시(2418)에 접속하는 인터커넥트 네트워크(2416)를, 제한 없이, 포함한다. 적어도 하나의 실시예에서, 인터커넥트 네트워크(2416)는, 기능 유닛들 중 임의의 것을 레지스터 파일(2408)에서의 레지스터들 중 임의의 것에 접속하고 LSU(2414)를 레지스터 파일(2408) 및 공유 메모리/L1 캐시(2418)에서의 메모리 위치들에 접속하도록 구성될 수 있는 크로스바이다.
적어도 하나의 실시예에서, 공유 메모리/L1 캐시(2418)는 SM(2400)과 프리미티브 엔진 사이 및 SM(2400)에서의 스레드들 사이의 데이터 스토리지 및 통신을 허용하는 온-칩 메모리의 어레이이다. 적어도 하나의 실시예에서, 공유 메모리/L1 캐시(2418)는 128KB의 스토리지 용량을, 제한 없이, 포함하고, SM(2400)으로부터 파티션 유닛으로의 경로에 있다. 적어도 하나의 실시예에서, 공유 메모리/L1 캐시(2418)는 판독 및 기입을 캐싱하기 위해 사용된다. 적어도 하나의 실시예에서, 공유 메모리/L1 캐시(2418), L2 캐시, 및 메모리 중 하나 이상은 보조 저장소들이다.
적어도 하나의 실시예에서, 데이터 캐시와 공유 메모리 기능을 단일의 메모리 블록으로 조합하는 것은 양쪽 타입들의 메모리 액세스들에 대해 개선된 성능을 제공한다. 적어도 하나의 실시예에서, 공유 메모리가 용량의 절반을 사용하도록 구성되고, 텍스처 및 로딩/저장 연산들이 나머지 용량을 사용할 수 있는 경우와 같이, 용량은 공유 메모리를 사용하지 않는 프로그램들에 의해 캐시로서 사용되거나 또는 사용가능하다. 적어도 하나의 실시예에서, 공유 메모리/L1 캐시(2418) 내의 통합은 공유 메모리/L1 캐시(2418)가 데이터를 스트리밍하는 동시에 빈번하게 재사용되는 데이터에 대한 고-대역폭 및 저-레이턴시 액세스를 제공하기 위한 고-처리량 도관으로서 기능하는 것을 가능하게 한다. 적어도 하나의 실시예에서, 범용 병렬 계산을 위해 구성될 때, 그래픽 처리와 비교하여 더 단순한 구성이 사용될 수 있다. 적어도 하나의 실시예에서, 고정 기능 GPU들은 바이패스되어, 훨씬 더 단순한 프로그래밍 모델을 생성한다. 적어도 하나의 실시예에서 그리고 범용 병렬 계산 구성에서, 작업 분배 유닛은 스레드들의 블록들을 DPC들에 직접 배정하고 분배한다. 적어도 하나의 실시예에서, 블록 내의 스레드들은 동일한 프로그램을 실행하고, 각각의 스레드가 고유 결과들을 생성하는 것을 보장하기 위해 계산에서 고유 스레드 ID를 사용하고, SM(2400)을 사용하여 프로그램을 실행하고 계산들을 수행하고, 공유 메모리/L1 캐시(2418)를 사용하여 스레드들 사이에서 통신하고, LSU(2414)를 사용하여 공유 메모리/L1 캐시(2418) 및 메모리 파티션 유닛을 통해 글로벌 메모리를 판독 및 기입한다. 적어도 하나의 실시예에서, 범용 병렬 계산을 위해 구성될 때, SM(2400)은 스케줄러 유닛(2404)이 DPC들 상에서 새로운 작업을 론칭하기 위해 사용할 수 있는 커맨드들을 기입한다.
적어도 하나의 실시예에서, PPU는 데스크톱 컴퓨터, 랩톱 컴퓨터, 태블릿 컴퓨터, 서버들, 슈퍼컴퓨터들, 스마트폰 (예를 들어, 무선, 핸드헬드 디바이스), PDA, 디지털 카메라, 차량, 헤드 마운티드 디스플레이, 핸드헬드 전자 디바이스 등에 포함되거나 또는 그에 연결된다. 적어도 하나의 실시예에서, PPU는 단일의 반도체 기판 상에 구현된다. 적어도 하나의 실시예에서, PPU는 추가적인 PPU들, 메모리, RISC CPU, MMU, "DAC"(digital-to-analog converter) 등과 같은 하나 이상의 다른 디바이스와 함께 SoC에 포함된다.
적어도 하나의 실시예에서, PPU는 하나 이상의 메모리 디바이스를 포함하는 그래픽 카드 상에 포함될 수 있다. 적어도 하나의 실시예에서, 그래픽 카드는 데스크톱 컴퓨터의 마더보드 상의 PCIe 슬롯과 인터페이스하도록 구성될 수 있다. 적어도 하나의 실시예에서, PPU는 마더보드의 칩셋에 포함되는 "iGPU"(integrated GPU)일 수 있다.
범용 컴퓨팅을 위한 소프트웨어 구성들
다음의 도면들은 적어도 하나의 실시예를 구현하기 위한 예시적인 소프트웨어 구성들을, 제한 없이, 제시한다.
도 25는, 적어도 하나의 실시예에 따른, 프로그래밍 플랫폼의 소프트웨어 스택을 예시한다. 적어도 하나의 실시예에서, 프로그래밍 플랫폼은 계산 태스크들을 가속화하기 위해 컴퓨팅 시스템 상의 하드웨어를 활용하기 위한 플랫폼이다. 적어도 하나의 실시예에서, 프로그래밍 플랫폼은 라이브러리들, 컴파일러 지시들, 및/또는 프로그래밍 언어들에 대한 확장들을 통해 소프트웨어 개발자들에게 액세스가능할 수 있다. 적어도 하나의 실시예에서, 프로그래밍 플랫폼은, 이에 제한되는 것은 아니지만, CUDA, "ROCm"(Radeon Open Compute Platform), OpenCL(OpenCLTM은 Khronos 그룹에 의해 개발됨), SYCL, 또는 Intel One API일 수 있다.
적어도 하나의 실시예에서, 프로그래밍 플랫폼의 소프트웨어 스택(2500)은 애플리케이션(2501)에 대한 실행 환경을 제공한다. 적어도 하나의 실시예에서, 애플리케이션(2501)은 소프트웨어 스택(2500) 상에서 론칭될 수 있는 임의의 컴퓨터 소프트웨어를 포함할 수 있다. 적어도 하나의 실시예에서, 애플리케이션(2501)은, 이에 제한되는 것은 아니지만, "AI"(artificial intelligence)/"ML"(machine learning) 애플리케이션, "HPC"(high performance computing) 애플리케이션, "VDI"(virtual desktop infrastructure), 또는 데이터 센터 작업부하를 포함할 수 있다.
적어도 하나의 실시예에서, 애플리케이션(2501) 및 소프트웨어 스택(2500)이 하드웨어(2507) 상에서 실행된다. 하드웨어(2507)는, 적어도 하나의 실시예에서, 하나 이상의 GPU, CPU, FPGA, AI 엔진, 및/또는 프로그래밍 플랫폼을 지원하는 다른 타입들의 컴퓨팅 디바이스를 포함할 수 있다. CUDA와 같은, 적어도 하나의 실시예에서, 소프트웨어 스택(2500)은 벤더 특정적일 수 있고 특정 벤더(들)로부터의 디바이스들과만 단지 호환가능할 수 있다. OpenCL과 같은, 적어도 하나의 실시예에서, 소프트웨어 스택(2500)은 상이한 벤더들로부터의 디바이스들과 함께 사용될 수 있다. 적어도 하나의 실시예에서, 하드웨어(2507)는 "API"(application programming interface) 호출들을 통해 계산 태스크들을 수행하기 위해 액세스될 수 있는 하나 이상의 디바이스에 접속되는 호스트를 포함한다. 하드웨어(2507) 내의 디바이스는, 이에 제한되는 것은 아니지만, 적어도 하나의 실시예에서, CPU(그러나 컴퓨팅 디바이스를 또한 포함할 수 있음) 및 그 메모리를 포함할 수 있는 하드웨어(2507) 내의 호스트와는 대조적으로, 이에 제한되는 것은 아니지만, GPU, FPGA, AI 엔진, 또는 다른 컴퓨팅 디바이스(그러나 CPU를 또한 포함할 수 있음) 및 그 메모리를 포함할 수 있다.
적어도 하나의 실시예에서, 프로그래밍 플랫폼의 소프트웨어 스택(2500)은 다수의 라이브러리들(2503), 런타임(2505), 및 디바이스 커널 드라이버(2506)를, 제한 없이, 포함한다. 적어도 하나의 실시예에서, 라이브러리들(2503) 각각은 컴퓨터 프로그램들에 의해 사용될 수 있고 소프트웨어 개발 동안 활용될 수 있는 데이터 및 프로그래밍 코드를 포함할 수 있다. 적어도 하나의 실시예에서, 라이브러리들(2503)은, 이에 제한되는 것은 아니지만, 미리 기입된 코드 및 서브루틴들, 클래스들, 값들, 타입 사양들, 구성 데이터, 문서화, 도움말 데이터, 및/또는 메시지 템플릿들을 포함할 수 있다. 적어도 하나의 실시예에서, 라이브러리들(2503)은 하나 이상의 타입의 디바이스 상에서의 실행을 위해 최적화되는 기능들을 포함한다. 적어도 하나의 실시예에서, 라이브러리들(2503)은, 이에 제한되는 것은 아니지만, 디바이스들 상에서 수학적, 심층 학습, 및/또는 다른 타입들의 연산들을 수행하기 위한 함수들을 포함할 수 있다. 적어도 하나의 실시예에서, 라이브러리들(2503)은, 라이브러리들(2503)에서 구현되는 함수들을 노출시키는, 하나 이상의 API를 포함할 수 있는, 대응하는 API들(2502)과 연관된다.
적어도 하나의 실시예에서, 도 30 내지 도 32와 함께 아래에 보다 상세히 논의되는 바와 같이, 애플리케이션(2501)은 실행가능 코드로 컴파일되는 소스 코드로서 작성된다. 애플리케이션(2501)의 실행가능 코드는, 적어도 하나의 실시예에서, 소프트웨어 스택(2500)에 의해 제공되는 실행 환경 상에서, 적어도 부분적으로, 실행될 수 있다. 적어도 하나의 실시예에서, 애플리케이션(2501)의 실행 동안, 호스트와는 대조적으로, 디바이스 상에서 실행될 필요가 있는 코드가 도달될 수 있다. 이러한 사례에서, 런타임(2505)은, 적어도 하나의 실시예에서, 디바이스 상에 필수 코드를 로딩하고 론칭하기 위해 호출될 수 있다. 적어도 하나의 실시예에서, 런타임(2505)은 애플리케이션 (S01)의 실행을 지원할 수 있는 임의의 기술적으로 실현가능한 런타임 시스템을 포함할 수 있다.
적어도 하나의 실시예에서, 런타임(2505)은, API(들)(2504)로서 도시되는, 대응하는 API들과 연관된 하나 이상의 런타임 라이브러리로서 구현된다. 이러한 런타임 라이브러리들 중 하나 이상은, 적어도 하나의 실시예에서, 다른 것들 중에서, 메모리 관리, 실행 제어, 디바이스 관리, 에러 핸들링, 및/또는 동기화를 위한 기능들을, 제한 없이, 포함할 수 있다. 적어도 하나의 실시예에서, 메모리 관리 기능들은, 이에 제한되는 것은 아니지만, 호스트 메모리와 디바이스 메모리 사이의 데이터 전송 뿐만 아니라, 디바이스 메모리를 할당, 할당해제, 및 복사하는 기능들을 포함할 수 있다. 적어도 하나의 실시예에서, 실행 제어 기능들은, 이에 제한되는 것은 아니지만, 디바이스 상에서 함수(함수가 호스트로부터 호출가능한 글로벌 함수일 때 때때로 "커널(kernel)"이라고 지칭됨)를 론칭하는 그리고 디바이스 상에서 실행될 주어진 함수에 대해 런타임 라이브러리에 의해 유지되는 버퍼에 속성 값들을 설정하는 기능들을 포함할 수 있다.
런타임 라이브러리들 및 대응하는 API(들)(2504)는, 적어도 하나의 실시예에서, 임의의 기술적으로 실현가능한 방식으로 구현될 수 있다. 적어도 하나의 실시예에서, 하나의(또는 임의의 수의) API는 디바이스의 미세 제어를 위해 로우-레벨 세트의 기능을 노출시킬 수 있는 반면, 다른(또는 임의의 수의) API는 상위-레벨 세트의 이러한 기능을 노출시킬 수 있다. 적어도 하나의 실시예에서, 하이-레벨 런타임 API는 로우-레벨 API의 위에 구축될 수 있다. 적어도 하나의 실시예에서, 런타임 API들 중 하나 이상은 언어-독립적 런타임 API의 위에 레이어화되는 언어-특정 API들일 수 있다.
적어도 하나의 실시예에서, 디바이스 커널 드라이버(2506)는 기저 디바이스와의 통신을 용이하게 하도록 구성된다. 적어도 하나의 실시예에서, 디바이스 커널 드라이버(2506)는, API(들)(2504)와 같은, API들 및/또는 다른 소프트웨어가 의존하는 로우-레벨 기능성들을 제공할 수 있다. 적어도 하나의 실시예에서, 디바이스 커널 드라이버(2506)는 런타임 시에 "IR"(intermediate representation) 코드를 2진 코드로 컴파일하도록 구성될 수 있다. CUDA에 대해, 디바이스 커널 드라이버(2506)는, 적어도 하나의 실시예에서, 때때로 "최종화(finalizing)" 코드라고 또한 지칭되는, (컴파일된 2진 코드의 캐싱과 함께) 런타임 시에 특정 타겟 디바이스에 대한 2진 코드로 하드웨어 특정적이지 않은 "PTX"(Parallel Thread Execution) IR 코드를 컴파일할 수 있다. 그렇게 하는 것은, 적어도 하나의 실시예에서, 소스 코드가 원래 PTX 코드로 컴파일되었을 때 존재하지 않을 수 있는, 최종화된 코드가 타겟 디바이스 상에서 실행되는 것을 허용할 수 있다. 대안적으로, 적어도 하나의 실시예에서, 디바이스 커널 드라이버(2506)가 런타임 시에 IR 코드를 컴파일하는 것을 요구하지 않고, 디바이스 소스 코드가 오프라인으로 2진 코드로 컴파일될 수 있다.
도 26은, 적어도 하나의 실시예에 따른, 도 25의 소프트웨어 스택(2500)의 CUDA 구현을 예시한다. 적어도 하나의 실시예에서, 애플리케이션(2601)이 론칭될 수 있는, CUDA 소프트웨어 스택(2600)은, CUDA 라이브러리들(2603), CUDA 런타임(2605), CUDA 드라이버(2607), 및 디바이스 커널 드라이버(2608)를 포함한다. 적어도 하나의 실시예에서, CUDA 소프트웨어 스택(2600)은, CUDA를 지원하는 그리고 캘리포니아주 산타 클라라의 NVIDIA Corporation에 의해 개발되는 GPU를 포함할 수 있는, 하드웨어(2609) 상에서 실행된다.
적어도 하나의 실시예에서, 애플리케이션(2601), CUDA 런타임(2605), 및 디바이스 커널 드라이버(2608)는, 각각, 도 25와 함께 위에 설명된, 애플리케이션(2501), 런타임(2505), 및 디바이스 커널 드라이버(2506)와 유사한 기능성들을 수행할 수 있다. 적어도 하나의 실시예에서, CUDA 드라이버(2607)는 CUDA 드라이버 API(2606)를 구현하는 라이브러리(libcuda.so)를 포함한다. CUDA 런타임 라이브러리(cudart)에 의해 구현되는 CUDA 런타임 API(2604)와 유사하게, CUDA 드라이버 API(2606)는 적어도 하나의 실시예에서, 다른 것들 중에서, 메모리 관리, 실행 제어, 디바이스 관리, 에러 핸들링, 동기화, 및/또는 그래픽 상호운용성을 위한 기능들을, 제한 없이, 노출시킬 수 있다. 적어도 하나의 실시예에서, CUDA 드라이버 API(2606)는, CUDA 런타임 API(2604)가 암시적 초기화, (프로세스와 유사한) 컨텍스트 관리, 및 (동적으로 로딩된 라이브러리들과 유사한) 모듈 관리를 제공하는 것에 의해 디바이스 코드 관리를 단순화한다는 점에서, CUDA 런타임 API(2604)와 상이하다. 하이-레벨 CUDA 런타임 API(2604)와는 대조적으로, CUDA 드라이버 API(2606)는, 적어도 하나의 실시예에서, 특히 컨텍스트들 및 모듈 로딩에 관하여, 디바이스의 더 미세한 제어를 제공하는 로우-레벨 API이다. 적어도 하나의 실시예에서, CUDA 드라이버 API(2606)는 CUDA 런타임 API(2604)에 의해 노출되지 않은 컨텍스트 관리를 위한 기능들을 노출시킬 수 있다. 적어도 하나의 실시예에서, CUDA 드라이버 API(2606)는 또한 언어-독립적이고, 예를 들어, CUDA 런타임 API(2604) 외에도 OpenCL을 지원한다. 추가로, 적어도 하나의 실시예에서, CUDA 런타임(2605)을 포함하는, 개발 라이브러리들은, 사용자-모드 CUDA 드라이버(2607) 및 커널-모드 디바이스 드라이버(2608)(때때로 "디스플레이(display)" 드라이버라고 또한 지칭됨)를 포함하는, 드라이버 컴포넌트들과는 별개인 것으로 고려될 수 있다.
적어도 하나의 실시예에서, CUDA 라이브러리들(2603)은, 이에 제한되는 것은 아니지만, 애플리케이션(2601)과 같은 병렬 컴퓨팅 애플리케이션들이 이용할 수 있는, 수학적 라이브러리들, 심층 학습 라이브러리들, 병렬 알고리즘 라이브러리들, 및/또는 신호/이미지/비디오 처리 라이브러리들을 포함할 수 있다. 적어도 하나의 실시예에서, CUDA 라이브러리들(2603)은, 다른 것들 중에서, 선형 대수 연산들을 수행하기 위한 "BLAS"(Basic Linear Algebra Subprograms)의 구현인 cuBLAS 라이브러리, "FFT"(fast Fourier transforms)를 컴퓨팅하기 위한 cuFFT 라이브러리, 및 난수를 생성하기 위한 cuRAND 라이브러리와 같은 수학적 라이브러리들을 포함할 수 있다. 적어도 하나의 실시예에서, CUDA 라이브러리들(2603)은, 다른 것들 중에서, 심층 신경망들을 위한 프리미티브들의 cuDNN 라이브러리 및 고-성능 심층 학습 추론을 위한 TensorRT 플랫폼과 같은 심층 학습 라이브러리들을 포함할 수 있다.
도 27은, 적어도 하나의 실시예에 따른, 도 25의 소프트웨어 스택(2500)의 ROCm 구현을 예시한다. 적어도 하나의 실시예에서, 애플리케이션(2701)이 론칭될 수 있는, ROCm 소프트웨어 스택(2700)은, 언어 런타임(2703), 시스템 런타임(2705), 썽크(2707), 및 ROCm 커널 드라이버(2708)를 포함한다. 적어도 하나의 실시예에서, ROCm 소프트웨어 스택(2700)은, ROCm을 지원하는 그리고 캘리포니아주 산타 클라라의 AMD Corporation에 의해 개발되는 GPU를 포함할 수 있는, 하드웨어(2709) 상에서 실행된다.
적어도 하나의 실시예에서, 애플리케이션(2701)은 도 25와 함께 위에 논의된 애플리케이션(2501)과 유사한 기능성들을 수행할 수 있다. 또한, 적어도 하나의 실시예에서, 언어 런타임(2703) 및 시스템 런타임(2705)은 도 25와 함께 위에 논의된 런타임(2505)과 유사한 기능성들을 수행할 수 있다. 적어도 하나의 실시예에서, 언어 런타임(2703) 및 시스템 런타임(2705)은 시스템 런타임(2705)이 ROCr 시스템 런타임 API(2704)를 구현하는 그리고 "HSA"(Heterogeneous System Architecture) Runtime API를 사용하는 언어-독립적 런타임이라는 점에서 상이하다. HSA 런타임 API는, 적어도 하나의 실시예에서, 다른 것들 중에서, 메모리 관리, 커널들의 아키텍처화된 디스패치를 통한 실행 제어, 에러 핸들링, 시스템 및 에이전트 정보, 및 런타임 초기화 및 셧다운을 위한 기능들을 포함하는, AMD GPU에 액세스하고 이와 상호작용하기 위한 인터페이스들을 노출시키는 얇은, 사용자-모드 API이다. 시스템 런타임(2705)과 대조적으로, 적어도 하나의 실시예에서, 언어 런타임(2703)은 ROCr 시스템 런타임 API(2704)의 위에 레이어화되는 언어-특정 런타임 API(2702)의 구현이다. 적어도 하나의 실시예에서, 언어 런타임 API는, 이에 제한되는 것은 아니지만, 다른 것들 중에서, "HIP"(Heterogeneous compute Interface for Portability) 언어 런타임 API, "HCC"(Heterogeneous Compute Compiler) 언어 런타임 API, 또는 OpenCL API를 포함할 수 있다. HIP 언어는 특히 CUDA 메커니즘들의 기능적으로 유사한 버전들이 있는 C++ 프로그래밍 언어의 확장이고, 적어도 하나의 실시예에서, HIP 언어 런타임 API는, 다른 것들 중에서, 메모리 관리, 실행 제어, 디바이스 관리, 에러 핸들링, 및 동기화를 위한 기능들과 같은, 도 26과 함께 위에 논의된 CUDA 런타임 API(2604)의 것들과 유사한 기능들을 포함한다.
적어도 하나의 실시예에서, 썽크(ROCt)(2707)는 기저 ROCm 드라이버(2708)와 상호작용하기 위해 사용될 수 있는 인터페이스(2706)이다. 적어도 하나의 실시예에서, ROCm 드라이버(2708)는, AMDGPU 드라이버와 HSA 커널 드라이버(amdkfd)의 조합인, ROCk 드라이버이다. 적어도 하나의 실시예에서, AMDGPU 드라이버는 도 25와 함께 위에 논의된 디바이스 커널 드라이버(2506)와 유사한 기능성들을 수행하는 AMD에 의해 개발된 GPU들에 대한 디바이스 커널 드라이버이다. 적어도 하나의 실시예에서, HSA 커널 드라이버는 상이한 타입들의 프로세서들이 하드웨어 특징들을 통해 시스템 리소스들을 더 효과적으로 공유하는 것을 허용하는 드라이버이다.
적어도 하나의 실시예에서, 다양한 라이브러리들(도시되지 않음)이 언어 런타임(2703) 위의 ROCm 소프트웨어 스택(2700)에 포함될 수 있고, 도 26과 함께 위에 논의된, CUDA 라이브러리들(2603)에 유사한 기능성을 제공할 수 있다. 적어도 하나의 실시예에서, 다양한 라이브러리들은, 이에 제한되는 것은 아니지만, 다른 것들 중에서, 수학적, 심층 학습, 및/또는 CUDA cuBLAS의 것들과 유사한 기능들을 구현하는 hipBLAS 라이브러리, CUDA cuFFT와 유사한 FFT들을 컴퓨팅하기 위한 rocFFT 라이브러리와 같은 다른 라이브러리들을 포함할 수 있다.
도 28은, 적어도 하나의 실시예에 따른, 도 25의 소프트웨어 스택(2500)의 OpenCL 구현을 예시한다. 적어도 하나의 실시예에서, 애플리케이션(2801)이 론칭될 수 있는, OpenCL 소프트웨어 스택(2800)은, OpenCL 프레임워크(2810), OpenCL 런타임(2806), 및 드라이버(2807)를 포함한다. 적어도 하나의 실시예에서, OpenCL 소프트웨어 스택(2800)은 벤더-특정적이지 않은 하드웨어(2609) 상에서 실행된다. OpenCL이 상이한 벤더들에 의해 개발되는 디바이스들에 의해 지원되기 때문에, 적어도 하나의 실시예에서, 구체적인 OpenCL 드라이버들이 이러한 벤더들로부터의 하드웨어와 연동하는 것이 요구될 수 있다.
적어도 하나의 실시예에서, 애플리케이션(2801), OpenCL 런타임(2806), 디바이스 커널 드라이버(2807), 및 하드웨어(2808)는, 각각, 도 25와 함께 위에 논의된 애플리케이션(2501), 런타임(2505), 디바이스 커널 드라이버(2506), 및 하드웨어(2507)와 유사한 기능성들을 수행할 수 있다. 적어도 하나의 실시예에서, 애플리케이션(2801)은 디바이스 상에서 실행될 코드가 있는 OpenCL 커널(2802)을 추가로 포함한다.
적어도 하나의 실시예에서, OpenCL은 호스트가 호스트에 접속되는 디바이스들을 제어하는 것을 허용하는 "플랫폼(platform)"을 정의한다. 적어도 하나의 실시예에서, OpenCL 프레임워크는, 플랫폼 API(2803) 및 런타임 API(2805)로서 도시되는, 플랫폼 레이어 API 및 런타임 API를 제공한다. 적어도 하나의 실시예에서, 런타임 API(2805)는 디바이스들 상에서 커널들의 실행을 관리하기 위해 컨텍스트들을 사용한다. 적어도 하나의 실시예에서, 각각의 식별된 디바이스는 각각의 컨텍스트와 연관될 수 있고, 런타임 API(2805)는, 해당 디바이스에 대해, 커맨드 큐들, 프로그램 객체들, 및 커널 객체들을 관리하고, 다른 것들 중에서, 메모리 객체들을 공유하기 위해 사용할 수 있다. 적어도 하나의 실시예에서, 플랫폼 API(2803)는, 다른 것들 중에서, 디바이스들을 선택 및 초기화하고, 커맨드 큐들을 통해 디바이스들에 작업을 제출하며, 디바이스들로의 그리고 이들로부터의 데이터 전송을 가능하게 하기 위해 디바이스 컨텍스트들이 사용되는 것을 허용하는 기능들을 노출시킨다. 또한, OpenCL 프레임워크는, 적어도 하나의 실시예에서, 다른 것들 중에서, 수학 함수들, 관계 함수들, 및 이미지 처리 함수들을 포함하는, 다양한 내장 함수들(도시되지 않음)을 제공한다.
적어도 하나의 실시예에서, OpenCL 프레임-워크(2810)에 컴파일러(2804)가 또한 포함된다. 소스 코드는, 적어도 하나의 실시예에서, 애플리케이션을 실행하기 이전에 오프라인으로 또는 애플리케이션의 실행 동안 온라인으로 컴파일될 수 있다. CUDA 및 ROCm과 대조적으로, 적어도 하나의 실시예에서의 OpenCL 애플리케이션들은 컴파일러(2804)에 의해 온라인으로 컴파일될 수 있으며, 이는, "SPIR-V"(Standard Portable Intermediate Representation) 코드와 같은, 소스 코드 및/또는 IR 코드를 2진 코드로 컴파일하기 위해 사용될 수 있는 임의의 수의 컴파일러들을 나타내도록 포함된다. 대안적으로, 적어도 하나의 실시예에서, OpenCL 애플리케이션들이, 이러한 애플리케이션들의 실행 이전에, 오프라인으로 컴파일될 수 있다.
도 29는, 적어도 하나의 실시예에 따른, 프로그래밍 플랫폼에 의해 지원되는 소프트웨어를 예시한다. 적어도 하나의 실시예에서, 프로그래밍 플랫폼(2904)은 애플리케이션(2900)이 의존할 수 있는 다양한 프로그래밍 모델들(2903), 미들웨어들 및/또는 라이브러리들(2902), 및 프레임워크들(2901)을 지원하도록 구성된다. 적어도 하나의 실시예에서, 애플리케이션(2900)은, 예를 들어, 기저 하드웨어에 대한 가속된 컴퓨팅을 제공하기 위해 cuDNN, "NCCL"(NVIDIA Collective Communications Library), 및/또는 NVIDA "DALI"(Developer Data Loading Library) CUDA 라이브러리들과 같은 라이브러리들에 의존할 수 있는, MXNet, PyTorch, 또는 TensorFlow와 같은 심층 학습 프레임워크를 사용하여 구현되는 AI/ML 애플리케이션일 수 있다.
적어도 하나의 실시예에서, 프로그래밍 플랫폼(2904)은, 각각, 도 26, 도 27, 및 도 28과 함께 위에 설명된 CUDA, ROCm, 또는 OpenCL 플랫폼 중 하나일 수 있다. 적어도 하나의 실시예에서, 프로그래밍 플랫폼(2904)은, 알고리즘들 및 데이터 구조들의 표현들을 허용하는 기저 컴퓨팅 시스템의 추상화들인, 다수의 프로그래밍 모델들(2903)을 지원한다. 적어도 하나의 실시예에서, 프로그래밍 모델들(2903)은 성능을 개선하기 위해 기저 하드웨어의 특징들을 노출시킬 수 있다. 적어도 하나의 실시예에서, 프로그래밍 모델들(2903)은, 이에 제한되는 것은 아니지만, CUDA, HIP, OpenCL, "C++AMP"(C++ Accelerated Massive Parallelism), "OpenMP"(Open Multi-Processing), "OpenACC"(Open Accelerators), 및/또는 Vulcan Compute를 포함할 수 있다.
적어도 하나의 실시예에서, 라이브러리들 및/또는 미들웨어들(2902)은 프로그래밍 모델들(2904)의 추상화들의 구현들을 제공한다. 적어도 하나의 실시예에서, 이러한 라이브러리들은 컴퓨터 프로그램들에 의해 사용될 수 있고 소프트웨어 개발 동안 활용될 수 있는 데이터 및 프로그래밍 코드를 포함한다. 적어도 하나의 실시예에서, 이러한 미들웨어들은 프로그래밍 플랫폼(2904)으로부터 이용가능한 것들을 넘어서 애플리케이션들에 서비스들을 제공하는 소프트웨어를 포함한다. 적어도 하나의 실시예에서, 라이브러리들 및/또는 미들웨어들(2902)은, 이에 제한되는 것은 아니지만, cuBLAS, cuFFT, cuRAND, 및 다른 CUDA 라이브러리들, 또는 rocBLAS, rocFFT, rocRAND, 및 다른 ROCm 라이브러리들을 포함할 수 있다. 또한, 적어도 하나의 실시예에서, 라이브러리들 및/또는 미들웨어들(2902)은 GPU들에 대한 통신 루틴들을 제공하는 NCCL 및 "RCCL"(ROCm Communication Collectives Library) 라이브러리들, 심층 학습 가속을 위한 MIOpen 라이브러리, 및/또는 선형 대수, 행렬 및 벡터 연산들, 지오메트리 변환들, 수치 솔버들, 및 관련 알고리즘들을 위한 Eigen 라이브러리를 포함할 수 있다.
적어도 하나의 실시예에서, 애플리케이션 프레임워크들(2901)은 라이브러리들 및/또는 미들웨어들(2902)에 의존한다. 적어도 하나의 실시예에서, 애플리케이션 프레임워크들(2901) 각각은 애플리케이션 소프트웨어의 표준 구조를 구현하기 위해 사용되는 소프트웨어 프레임워크이다. 위에 논의된 AI/ML 예로 복귀하여, AI/ML 애플리케이션은, 적어도 하나의 실시예에서, Caffe, Caffe2, TensorFlow, Keras, PyTorch, 또는 MxNet 심층 학습 프레임워크들과 같은 프레임워크를 사용하여 구현될 수 있다.
도 30은, 적어도 하나의 실시예에 따른, 도 25 내지 도 28의 프로그래밍 플랫폼들 중 하나에서 실행할 컴파일 코드를 예시한다. 적어도 하나의 실시예에서, 컴파일러(3001)는 호스트 코드 뿐만 아니라 디바이스 코드 양자 모두를 포함하는 소스 코드(3000)를 수신한다. 적어도 하나의 실시예에서, 컴파일러(3001)는 소스 코드(3000)를 호스트 상에서의 실행을 위한 호스트 실행가능 코드(3002) 및 디바이스 상에서의 실행을 위한 디바이스 실행가능 코드(3003)로 변환하도록 구성된다. 적어도 하나의 실시예에서, 소스 코드(3000)는 애플리케이션의 실행 이전에 오프라인으로, 또는 애플리케이션의 실행 동안 온라인으로 컴파일될 수 있다.
적어도 하나의 실시예에서, 소스 코드(3000)는, C++, C, Fortran 등과 같은, 컴파일러(3001)에 의해 지원되는 임의의 프로그래밍 언어의 코드를 포함할 수 있다. 적어도 하나의 실시예에서, 소스 코드(3000)는 호스트 코드와 디바이스 코드의 혼합을 갖는 단일-소스 파일에 포함될 수 있고, 디바이스 코드의 위치들이 그 안에 표시된다. 적어도 하나의 실시예에서, 단일-소스 파일은 CUDA 코드를 포함하는 .cu 파일 또는 HIP 코드를 포함하는 .hip.cpp 파일일 수 있다. 대안적으로, 적어도 하나의 실시예에서, 소스 코드(3000)는, 호스트 코드와 디바이스 코드가 분리되는, 단일-소스 파일보다는 오히려, 다수의 소스 코드 파일들을 포함할 수 있다.
적어도 하나의 실시예에서, 컴파일러(3001)는 소스 코드(3000)를 호스트 상에서의 실행을 위한 호스트 실행가능 코드(3002) 및 디바이스 상에서의 실행을 위한 디바이스 실행가능 코드(3003)로 컴파일하도록 구성된다. 적어도 하나의 실시예에서, 컴파일러(3001)는 소스 코드(3000)를 AST(abstract system tree)로 파싱하는 것, 최적화들을 수행하는 것, 및 실행가능 코드를 생성하는 것을 포함하는 동작들을 수행한다. 소스 코드(3000)가 단일-소스 파일을 포함하는 적어도 하나의 실시예에서, 컴파일러(3001)는, 도 31과 관련하여 아래에 보다 상세히 논의되는 바와 같이, 디바이스 코드를 이러한 단일-소스 파일에서의 호스트 코드로부터 분리하고, 디바이스 코드 및 호스트 코드를, 각각, 디바이스 실행가능 코드(3003) 및 호스트 실행가능 코드(3002)로 컴파일하며, 디바이스 실행가능 코드(3003) 및 호스트 실행가능 코드(3002)를 단일의 파일로 함께 링크할 수 있다.
적어도 하나의 실시예에서, 호스트 실행가능 코드(3002) 및 디바이스 실행가능 코드(3003)는, 2진 코드 및/또는 IR 코드와 같은, 임의의 적합한 포맷으로 되어 있을 수 있다. 적어도 하나의 실시예에서, CUDA의 사례에서, 호스트 실행가능 코드(3002)는 네이티브 오브젝트 코드를 포함할 수 있고, 디바이스 실행가능 코드(3003)는 PTX 중간 표현의 코드를 포함할 수 있다. 적어도 하나의 실시예에서, ROCm의 사례에서, 호스트 실행가능 코드(3002) 및 디바이스 실행가능 코드(3003) 양자 모두는 타겟 2진 코드를 포함할 수 있다.
도 31은, 적어도 하나의 실시예에 따른, 도 25 내지 도 28의 프로그래밍 플랫폼들 중 하나 상에서 실행할 컴파일 코드의 보다 상세한 예시이다. 적어도 하나의 실시예에서, 컴파일러(3101)는 소스 코드(3100)를 수신하고, 소스 코드(3100)를 컴파일하고, 실행가능 파일(3110)을 출력하도록 구성된다. 적어도 하나의 실시예에서, 소스 코드(3100)는, .cu 파일, .hip.cpp 파일, 또는 호스트 및 디바이스 코드 양자 모두를 포함하는 다른 포맷의 파일과 같은, 단일-소스 파일이다. 적어도 하나의 실시예에서, 컴파일러(3101)는, 이에 제한되는 것은 아니지만, .cu 파일들에서 CUDA 코드를 컴파일하기 위한 "NVCC"(NVIDIA CUDA compiler), 또는 .hip.cpp 파일들에서 HIP 코드를 컴파일하기 위한 HCC 컴파일러일 수 있다.
적어도 하나의 실시예에서, 컴파일러(3101)는 컴파일러 프론트 엔드(3102), 호스트 컴파일러(3105), 디바이스 컴파일러(3106), 및 링커(3109)를 포함한다. 적어도 하나의 실시예에서, 컴파일러 프론트 엔드(3102)는 소스 코드(3100)에서 호스트 코드(3103)로부터 디바이스 코드(3104)를 분리하도록 구성된다. 디바이스 코드(3104)는, 적어도 하나의 실시예에서, 디바이스 컴파일러(3106)에 의해 디바이스 실행가능 코드(3108)로 컴파일되고, 이는 설명되는 바와 같이, 2진 코드 또는 IR 코드를 포함할 수 있다. 별개로, 적어도 하나의 실시예에서, 호스트 코드(3103)는 호스트 컴파일러(3105)에 의해 호스트 실행가능 코드(3107)로 컴파일된다. 적어도 하나의 실시예에서, NVCC에 대해, 호스트 컴파일러(3105)는, 이에 제한되는 것은 아니지만, 네이티브 오브젝트 코드를 출력하는 범용 C/C++ 컴파일러일 수 있는 반면, 디바이스 컴파일러(3106)는, 이에 제한되는 것은 아니지만, LLVM 컴파일러 인프라스트럭처를 포크하고(forks) PTX 코드 또는 2진 코드를 출력하는 "LLVM"(Low Level Virtual Machine)-기반 컴파일러일 수 있다. HCC에 대해, 호스트 컴파일러(3105) 및 디바이스 컴파일러(3106) 양자 모두는, 이에 제한되는 것은 아니지만, 적어도 하나의 실시예에서, 타겟 2진 코드를 출력하는 LLVM-기반 컴파일러들일 수 있다.
적어도 하나의 실시예에서, 소스 코드(3100)를 호스트 실행가능 코드(3107) 및 디바이스 실행가능 코드(3108)로 컴파일하는 것에 후속하여, 링커(3109)는 호스트 및 디바이스 실행가능 코드(3107 및 3108)를 실행가능 파일(3110)에서 함께 링크한다. 적어도 하나의 실시예에서, 호스트에 대한 네이티브 오브젝트 코드 및 디바이스에 대한 PTX 또는 2진 코드는, 오브젝트 코드를 저장하기 위해 사용되는 컨테이너 포맷인, "ELF"(Executable and Linkable Format) 파일에서 함께 링크될 수 있다.
도 32는, 적어도 하나의 실시예에 따른, 소스 코드를 컴파일하기 이전에 소스 코드를 변환하는 것을 예시한다. 적어도 하나의 실시예에서, 소스 코드(3200)는, 소스 코드(3200)를 변환된 소스 코드(3202)로 변환하는, 변환 툴(3201)을 통과한다. 적어도 하나의 실시예에서, 도 30과 함께 위에 논의된 바와 같이, 컴파일러(3001)에 의한 소스 코드(3000)의 호스트 실행가능 코드(3002) 및 디바이스 실행가능 코드(3003)로의 컴파일과 유사한 프로세스에서, 변환된 소스 코드(3202)를 호스트 실행가능 코드(3204) 및 디바이스 실행가능 코드(3205)로 컴파일하기 위해 컴파일러(3203)가 사용된다.
적어도 하나의 실시예에서, 원래 실행되도록 의도된 것과는 상이한 환경에서의 실행을 위해 소스(3200)를 포트하기 위해, 변환 툴(3201)에 의해 수행되는 변환이 사용된다. 적어도 하나의 실시예에서, 변환 툴(3201)은, 이에 제한되는 것은 아니지만, CUDA 플랫폼에 대해 의도되는 CUDA 코드를, ROCm 플랫폼 상에서 컴파일되고 실행될 수 있는 HIP 코드로 "히피화하기(hipify)" 위해 사용되는 HIP 변환기를 포함할 수 있다. 적어도 하나의 실시예에서, 소스 코드(3200)의 변환은, 도 33a 내지 도 34와 함께 아래에 보다 상세히 논의되는 바와 같이, 소스 코드(3200)를 파싱하는 것 및 하나의 프로그래밍 모델(예를 들어, CUDA)에 의해 제공되는 API(들)에 대한 호출들을 다른 프로그래밍 모델(예를 들어, HIP)에 의해 제공되는 API(들)에 대한 대응하는 호출들로 변환하는 것을 포함할 수 있다. CUDA 코드를 히피화하는 예로 복귀하면, 적어도 하나의 실시예에서, CUDA 런타임 API, CUDA 드라이버 API, 및/또는 CUDA 라이브러리들에 대한 호출들은 대응하는 HIP API 호출들로 변환될 수 있다. 적어도 하나의 실시예에서, 변환 툴(3201)에 의해 수행되는 자동화된 변환들은 때때로 불완전할 수 있고, 소스 코드(3200)를 완전히 포트하기 위해 추가적인, 수동 노력을 요구한다.
범용 컴퓨팅을 위한 GPU 구성
다음의 도면들은, 적어도 하나의 실시예에 따른, 컴퓨팅 소스 코드를 컴파일하고 실행하기 위한 예시적인 아키텍처들을, 제한 없이, 제시한다.
도 33a는, 적어도 하나의 실시예에 따른, 상이한 타입들의 처리 유닛들을 사용하여 CUDA 소스 코드(3310)를 컴파일 및 실행하도록 구성되는 시스템(33A00)을 예시한다. 적어도 하나의 실시예에서, 시스템(33A00)은, CUDA 소스 코드(3310), CUDA 컴파일러(3350), 호스트 실행가능 코드(3370(1)), 호스트 실행가능 코드(3370(2)), CUDA 디바이스 실행가능 코드(3384), CPU(3390), CUDA-인에이블 GPU(3394), GPU(3392), CUDA 대 HIP 변환 툴(3320), HIP 소스 코드(3330), HIP 컴파일러 드라이버(3340), HCC(3360), 및 HCC 디바이스 실행가능 코드(3382)를, 제한 없이, 포함한다.
적어도 하나의 실시예에서, CUDA 소스 코드(3310)는 CUDA 프로그래밍 언어의 인간-판독가능 코드의 집합이다. 적어도 하나의 실시예에서, CUDA 코드는 CUDA 프로그래밍 언어의 인간-판독가능 코드이다. 적어도 하나의 실시예에서, CUDA 프로그래밍 언어는, 디바이스 코드를 정의하고 디바이스 코드와 호스트 코드 사이를 구별하는 메커니즘들을, 제한 없이, 포함하는 C++ 프로그래밍 언어의 확장이다. 적어도 하나의 실시예에서, 디바이스 코드는, 컴파일 후에, 디바이스 상에서 병렬로 실행가능한 소스 코드이다. 적어도 하나의 실시예에서, 디바이스는, CUDA-인에이블 GPU(3390), GPU(33192), 또는 다른 GPGPU 등과 같은, 병렬 명령어 처리에 최적화되는 프로세서일 수 있다. 적어도 하나의 실시예에서, 호스트 코드는, 컴파일 후에, 호스트 상에서 실행가능한 소스 코드이다. 적어도 하나의 실시예에서, 호스트는, CPU(3390)와 같은, 순차적 명령어 처리를 위해 최적화되는 프로세서이다.
적어도 하나의 실시예에서, CUDA 소스 코드(3310)는 임의의 수(0을 포함함)의 글로벌 함수들(3312), 임의의 수(0을 포함함)의 디바이스 함수들(3314), 임의의 수(0을 포함함)의 호스트 함수들(3316), 및 임의의 수(0을 포함함)의 호스트/디바이스 함수들(3318)을, 제한 없이, 포함한다. 적어도 하나의 실시예에서, 글로벌 함수들(3312), 디바이스 함수들(3314), 호스트 함수들(3316), 및 호스트/디바이스 함수들(3318)은 CUDA 소스 코드(3310)에서 혼합될 수 있다. 적어도 하나의 실시예에서, 글로벌 함수들(3312) 각각은 디바이스 상에서 실행가능하고 호스트로부터 호출가능하다. 적어도 하나의 실시예에서, 글로벌 함수들(3312) 중 하나 이상은 따라서 디바이스에 대한 엔트리 포인트들로서 작용할 수 있다. 적어도 하나의 실시예에서, 글로벌 함수들(3312) 각각은 커널이다. 적어도 하나의 실시예에서 그리고 동적 병렬화(dynamic parallelism)로서 알려진 기술에서, 글로벌 함수들(3312) 중 하나 이상은 디바이스 상에서 실행가능하고 이러한 디바이스로부터 호출가능한 커널을 정의한다. 적어도 하나의 실시예에서, 커널은 실행 동안 디바이스 상의 N개의 상이한 스레드들에 의해 병렬로 N(N은 임의의 양의 정수)회 실행된다.
적어도 하나의 실시예에서, 디바이스 함수들(3314) 각각은 디바이스 상에서 실행되고 단지 이러한 디바이스로부터만 호출가능하다. 적어도 하나의 실시예에서, 호스트 함수들(3316) 각각은 호스트 상에서 실행되고 단지 이러한 호스트로부터만 호출가능하다. 적어도 하나의 실시예에서, 호스트/디바이스 함수들(3316) 각각은 호스트 상에서 실행가능하고 단지 이러한 호스트로부터만 호출가능한 함수의 호스트 버전 및 디바이스 상에서 실행가능하고 단지 이러한 디바이스로부터만 호출가능한 기능의 디바이스 버전 양자 모두를 정의한다.
적어도 하나의 실시예에서, CUDA 소스 코드(3310)는 CUDA 런타임 API(3302)를 통해 정의되는 임의의 수의 함수들에 대한 임의의 수의 호출들을, 제한 없이, 또한 포함할 수 있다. 적어도 하나의 실시예에서, CUDA 런타임 API(3302)는 디바이스 메모리를 할당 및 할당해제하고, 호스트 메모리와 디바이스 메모리 사이에서 데이터를 전송하고, 다수의 디바이스들이 있는 시스템들을 관리하는 등을 위해 호스트 상에서 실행되는 임의의 수의 함수들을, 제한 없이, 포함할 수 있다. 적어도 하나의 실시예에서, CUDA 소스 코드(3310)는 임의의 수의 다른 CUDA API들에 명시되는 임의의 수의 함수들에 대한 임의의 수의 호출들을 또한 포함할 수 있다. 적어도 하나의 실시예에서, CUDA API는 CUDA 코드에 의한 사용을 위해 설계되는 임의의 API일 수 있다. 적어도 하나의 실시예에서, CUDA API는 CUDA 런타임 API(3302), CUDA 드라이버 API, 임의의 수의 CUDA 라이브러리들에 대한 API들 등을, 제한 없이, 포함한다. 적어도 하나의 실시예에서 그리고 CUDA 런타임 API(3302)와 관하여, CUDA 드라이버 API는 하위-레벨 API이지만, 디바이스의 더-미세한 제어를 제공한다. 적어도 하나의 실시예에서, CUDA 라이브러리들의 예들은 cuBLAS, cuFFT, cuRAND, cuDNN 등을, 제한 없이, 포함한다.
적어도 하나의 실시예에서, CUDA 컴파일러(3350)는 호스트 실행가능 코드(3370(1)) 및 CUDA 디바이스 실행가능 코드(3384)를 생성하기 위해 입력 CUDA 코드(예를 들어, CUDA 소스 코드(3310))를 컴파일한다. 적어도 하나의 실시예에서, CUDA 컴파일러(3350)는 NVCC이다. 적어도 하나의 실시예에서, 호스트 실행가능 코드(3370(1))는 CPU(3390) 상에서 실행가능한 입력 소스 코드에 포함되는 호스트 코드의 컴파일된 버전이다. 적어도 하나의 실시예에서, CPU(3390)는 순차적 명령어 처리를 위해 최적화되는 임의의 프로세서일 수 있다.
적어도 하나의 실시예에서, CUDA 디바이스 실행가능 코드(3384)는 CUDA-인에이블 GPU(3394) 상에서 실행가능한 입력 소스 코드에 포함되는 디바이스 코드의 컴파일된 버전이다. 적어도 하나의 실시예에서, CUDA 디바이스 실행가능 코드(3384)는 2진 코드를, 제한 없이, 포함한다. 적어도 하나의 실시예에서, CUDA 디바이스 실행가능 코드(3384)는 디바이스 드라이버에 의해 구체적인 타겟 디바이스(예를 들어, CUDA-인에이블 GPU(3394))에 대한 2진 코드로 런타임 시에 추가로 컴파일되는, PTX 코드와 같은, IR 코드를, 제한 없이, 포함한다. 적어도 하나의 실시예에서, CUDA-인에이블 GPU(3394)는, 병렬 명령어 처리를 위해 최적화되는 그리고 CUDA를 지원하는 임의의 프로세서일 수 있다. 적어도 하나의 실시예에서, CUDA-인에이블 GPU(3394)는 캘리포니아주 산타 클라라의 NVIDIA Corporation에 의해 개발된다.
적어도 하나의 실시예에서, CUDA 대 HIP 변환 툴(3320)은 CUDA 소스 코드(3310)를 기능적으로 유사한 HIP 소스 코드(3330)로 변환하도록 구성된다. 적어도 하나의 실시예에서, HIP 소스 코드(3330)는 HIP 프로그래밍 언어의 인간-판독가능 코드의 집합이다. 적어도 하나의 실시예에서, HIP 코드는 HIP 프로그래밍 언어의 인간-판독가능 코드이다. 적어도 하나의 실시예에서, HIP 프로그래밍 언어는, 디바이스 코드를 정의하고 디바이스 코드와 호스트 코드 사이를 구별하는 기능적으로 유사한 버전들의 CUDA 메커니즘들을, 제한 없이, 포함하는 C++ 프로그래밍 언어의 확장이다. 적어도 하나의 실시예에서, HIP 프로그래밍 언어는 CUDA 프로그래밍 언어의 기능성의 서브세트를 포함할 수 있다. 적어도 하나의 실시예에서, 예를 들어, HIP 프로그래밍 언어는, 글로벌 함수들(3312)을 정의하는 메커니즘(들)을, 제한 없이, 포함하지만, 이러한 HIP 프로그래밍 언어는 동적 병렬화에 대한 지원이 결여될 수 있고, 따라서 HIP 코드에서 정의되는 글로벌 함수들(3312)은 단지 호스트로부터만 호출가능할 수 있다.
적어도 하나의 실시예에서, HIP 소스 코드(3330)는 임의의 수(0을 포함함)의 글로벌 함수들(3312), 임의의 수(0을 포함함)의 디바이스 함수들(3314), 임의의 수(0을 포함함)의 호스트 함수들(3316), 및 임의의 수(0을 포함함)의 호스트/디바이스 함수들(3318)을, 제한 없이, 포함한다. 적어도 하나의 실시예에서, HIP 소스 코드(3330)는 HIP 런타임 API(3332)에서 명시되는 임의의 수의 함수들에 대한 임의의 수의 호출들을 또한 포함할 수 있다. 적어도 하나의 실시예에서, HIP 런타임 API(3332)는 CUDA 런타임 API(3302)에 포함되는 기능적으로 유사한 버전들의 함수들의 서브세트를, 제한 없이, 포함한다. 적어도 하나의 실시예에서, HIP 소스 코드(3330)는 임의의 수의 다른 HIP API들에 명시되는 임의의 수의 함수들에 대한 임의의 수의 호출들을 또한 포함할 수 있다. 적어도 하나의 실시예에서, HIP API는 HIP 코드 및/또는 ROCm에 의한 사용을 위해 설계되는 임의의 API일 수 있다. 적어도 하나의 실시예에서, HIP API는 HIP 런타임 API(3332), HIP 드라이버 API, 임의의 수의 HIP 라이브러리들에 대한 API들, 임의의 수의 ROCm 라이브러리들에 대한 API들 등을, 제한 없이, 포함한다.
적어도 하나의 실시예에서, CUDA 대 HIP 변환 툴(3320)은 CUDA 코드에서의 각각의 커널 호출을 CUDA 신택스로부터 HIP 신택스로 변환하고, CUDA 코드에서의 임의의 수의 다른 CUDA 호출들을 임의의 수의 다른 기능적으로 유사한 HIP 호출들로 변환한다. 적어도 하나의 실시예에서, CUDA 호출은 CUDA API에서 명시되는 함수에 대한 호출이고, HIP 호출은 HIP API에서 명시되는 함수에 대한 호출이다. 적어도 하나의 실시예에서, CUDA 대 HIP 변환 툴(3320)은 CUDA 런타임 API(3302)에서 명시되는 함수들에 대한 임의의 수의 호출들을 HIP 런타임 API(3332)에서 명시되는 함수들에 대한 임의의 수의 호출들로 변환한다.
적어도 하나의 실시예에서, CUDA 대 HIP 변환 툴(3320)은 텍스트-기반 변환 프로세스를 실행하는 히피화-펄(hipify-perl)로서 알려진 툴이다. 적어도 하나의 실시예에서, CUDA 대 HIP 변환 툴(3320)은, 히피화-펄에 비해, 클랭(clang)(컴파일러 프론트-엔드)을 사용하여 CUDA 코드를 파싱하는 것 및 다음으로 결과 심볼들을 변환하는 것을 수반하는 더 복잡하고 더 강건한 변환 프로세스를 실행하는 히피화-클랭(hipify-clang)이라고 알려진 툴이다. 적어도 하나의 실시예에서, CUDA 코드를 HIP 코드로 적절하게 변환하는 것은 CUDA 대 HIP 변환 툴(3320)에 의해 수행되는 것들 외에도 수정들(예를 들어, 수동 편집들)을 요구할 수 있다.
적어도 하나의 실시예에서, HIP 컴파일러 드라이버(3340)는 타겟 디바이스(3346)를 결정하고 다음으로 HIP 소스 코드(3330)를 컴파일하도록 타겟 디바이스(3346)와 호환가능한 컴파일러를 구성하는 프론트 엔드이다. 적어도 하나의 실시예에서, 타겟 디바이스(3346)는 병렬 명령어 처리를 위해 최적화되는 프로세서이다. 적어도 하나의 실시예에서, HIP 컴파일러 드라이버(3340)는 임의의 기술적으로 실현가능한 방식으로 타겟 디바이스(3346)를 결정할 수 있다.
적어도 하나의 실시예에서, 타겟 디바이스(3346)가 CUDA(예를 들어, CUDA-인에이블 GPU(3394))와 호환가능하면, 다음으로 HIP 컴파일러 드라이버(3340)는 HIP/NVCC 컴파일 커맨드(3342)를 생성한다. 적어도 하나의 실시예에서 그리고 도 33b와 함께 보다 상세히 설명되는 바와 같이, HIP/NVCC 컴파일 커맨드(3342)는 HIP 대 CUDA 변환 헤더 및 CUDA 런타임 라이브러리를, 제한 없이, 사용하여 HIP 소스 코드(3330)를 컴파일하도록 CUDA 컴파일러(3350)를 구성한다. 적어도 하나의 실시예에서 그리고 HIP/NVCC 컴파일 커맨드(3342)에 응답하여, CUDA 컴파일러(3350)는 호스트 실행가능 코드(3370(1)) 및 CUDA 디바이스 실행가능 코드(3384)를 생성한다.
적어도 하나의 실시예에서, 타겟 디바이스(3346)가 CUDA와 호환가능하지 않으면, 다음으로 HIP 컴파일러 드라이버(3340)는 HIP/HCC 컴파일 커맨드(3344)를 생성한다. 적어도 하나의 실시예에서 그리고 도 33c와 함께 보다 상세히 설명되는 바와 같이, HIP/HCC 컴파일 커맨드(3344)는 HCC 헤더 및 HIP/HCC 런타임 라이브러리를, 제한 없이, 사용하여 HIP 소스 코드(3330)를 컴파일하도록 HCC(3360)를 구성한다. 적어도 하나의 실시예에서 그리고 HIP/HCC 컴파일 커맨드(3344)에 응답하여, HCC(3360)는 호스트 실행가능 코드(3370(2)) 및 HCC 디바이스 실행가능 코드(3382)를 생성한다. 적어도 하나의 실시예에서, HCC 디바이스 실행가능 코드(3382)는 GPU(3392) 상에서 실행가능한 HIP 소스 코드(3330)에 포함되는 디바이스 코드의 컴파일된 버전이다. 적어도 하나의 실시예에서, GPU(3392)는 병렬 명령어 처리를 위해 최적화되고, CUDA와 호환가능하지 않으며, HCC와 호환가능한 임의의 프로세서일 수 있다. 적어도 하나의 실시예에서, GPU(3392)는 캘리포니아주 산타 클라라의 AMD Corporation에 의해 개발된다. 적어도 하나의 실시예에서, GPU(3392)는 비-CUDA-인에이블 GPU(3392)이다.
단지 설명 목적들을 위해, CPU(3390) 및 상이한 디바이스들 상에서의 실행을 위해 CUDA 소스 코드(3310)를 컴파일하도록 적어도 하나의 실시예에서 구현될 수 있는 3개의 상이한 흐름들이 도 33a에 도시된다. 적어도 하나의 실시예에서, 직접 CUDA 흐름은, CUDA 소스 코드(3310)를 HIP 소스 코드(3330)로 변환하지 않고, CPU(3390) 및 CUDA-인에이블 GPU(3394) 상에서의 실행을 위해 CUDA 소스 코드(3310)를 컴파일한다. 적어도 하나의 실시예에서, 간접 CUDA 흐름은 CUDA 소스 코드(3310)를 HIP 소스 코드(3330)로 변환하고 다음으로 CPU(3390) 및 CUDA-인에이블 GPU(3394) 상에서의 실행을 위해 HIP 소스 코드(3330)를 컴파일한다. 적어도 하나의 실시예에서, CUDA/HCC 흐름은 CUDA 소스 코드(3310)를 HIP 소스 코드(3330)로 변환하고 다음으로 CPU(3390) 및 GPU(3392) 상에서의 실행을 위해 HIP 소스 코드(3330)를 컴파일한다.
적어도 하나의 실시예에서 구현될 수 있는 직접 CUDA 흐름은 파선 라인들 및 A1-A3으로 주석이 달리는 일련의 버블들을 통해 도시된다. 적어도 하나의 실시예에서 그리고 A1로 주석이 달리는 버블로 도시되는 바와 같이, CUDA 컴파일러(3350)는 CUDA 소스 코드(3310) 및 CUDA 소스 코드(3310)를 컴파일하도록 CUDA 컴파일러(3350)를 구성하는 CUDA 컴파일 커맨드(3348)를 수신한다. 적어도 하나의 실시예에서, 직접 CUDA 흐름에서 사용되는 CUDA 소스 코드(3310)는 C++ 이외의 프로그래밍 언어(예를 들어, C, Fortran, Python, Java 등)에 기초하는 CUDA 프로그래밍 언어로 작성된다. 적어도 하나의 실시예에서 그리고 CUDA 컴파일 커맨드(3348)에 응답하여, CUDA 컴파일러(3350)는 호스트 실행가능 코드(3370(1)) 및 CUDA 디바이스 실행가능 코드(3384)(A2로 주석이 달리는 버블로 도시됨)를 생성한다. 적어도 하나의 실시예에서 그리고 A3으로 주석이 달리는 버블로 도시되는 바와 같이, 호스트 실행가능 코드(3370(1)) 및 CUDA 디바이스 실행가능 코드(3384)는, 각각, CPU(3390) 및 CUDA-인에이블 GPU(3394) 상에서 실행될 수 있다. 적어도 하나의 실시예에서, CUDA 디바이스 실행가능 코드(3384)는 2진 코드를, 제한 없이, 포함한다. 적어도 하나의 실시예에서, CUDA 디바이스 실행가능 코드(3384)는 PTX 코드를, 제한 없이, 포함하고, 런타임 시에 구체적인 타겟 디바이스에 대한 2진 코드로 추가로 컴파일된다.
적어도 하나의 실시예에서 구현될 수 있는 간접 CUDA 흐름은 파선 라인들 및 B1-B6으로 주석이 달리는 일련의 버블들을 통해 도시된다. 적어도 하나의 실시예에서 그리고 B1로 주석이 달리는 버블로 도시되는 바와 같이, CUDA 대 HIP 변환 툴(3320)은 CUDA 소스 코드(3310)를 수신한다. 적어도 하나의 실시예에서 그리고 B2로 주석이 달리는 버블로 도시되는 바와 같이, CUDA 대 HIP 변환 툴(3320)은 CUDA 소스 코드(3310)를 HIP 소스 코드(3330)로 변환한다. 적어도 하나의 실시예에서, B3으로 주석이 달리는 버블로 도시되는 바와 같이, HIP 컴파일러 드라이버(3340)는 HIP 소스 코드(3330)를 수신하고, 타겟 디바이스(3346)가 CUDA-인에이블인 것으로 결정한다.
적어도 하나의 실시예에서 그리고 B4로 주석이 달리는 버블로 도시되는 바와 같이, HIP 컴파일러 드라이버(3340)는 HIP/NVCC 컴파일 커맨드(3342)를 생성하고, HIP/NVCC 컴파일 커맨드(3342) 및 HIP 소스 코드(3330) 양자 모두를 CUDA 컴파일러(3350)에 송신한다. 적어도 하나의 실시예에서 그리고 도 33b와 함께 보다 상세히 설명되는 바와 같이, HIP/NVCC 컴파일 커맨드(3342)는 HIP 대 CUDA 변환 헤더 및 CUDA 런타임 라이브러리를, 제한 없이, 사용하여 HIP 소스 코드(3330)를 컴파일하도록 CUDA 컴파일러(3350)를 구성한다. 적어도 하나의 실시예에서 그리고 HIP/NVCC 컴파일 커맨드(3342)에 응답하여, CUDA 컴파일러(3350)는 호스트 실행가능 코드(3370(1)) 및 CUDA 디바이스 실행가능 코드(3384)(B5로 주석이 달리는 버블로 도시됨)를 생성한다. 적어도 하나의 실시예에서 그리고 B6으로 주석이 달리는 버블로 도시되는 바와 같이, 호스트 실행가능 코드(3370(1)) 및 CUDA 디바이스 실행가능 코드(3384)는, 각각, CPU(3390) 및 CUDA-인에이블 GPU(3394) 상에서 실행될 수 있다. 적어도 하나의 실시예에서, CUDA 디바이스 실행가능 코드(3384)는 2진 코드를, 제한 없이, 포함한다. 적어도 하나의 실시예에서, CUDA 디바이스 실행가능 코드(3384)는 PTX 코드를, 제한 없이, 포함하고, 런타임 시에 구체적인 타겟 디바이스에 대한 2진 코드로 추가로 컴파일된다.
적어도 하나의 실시예에서 구현될 수 있는 CUDA/HCC 흐름은 실선 라인들 및 C1-C6으로 주석이 달리는 일련의 버블들을 통해 도시된다. 적어도 하나의 실시예에서 그리고 C1로 주석이 달리는 버블로 도시되는 바와 같이, CUDA 대 HIP 변환 툴(3320)은 CUDA 소스 코드(3310)를 수신한다. 적어도 하나의 실시예에서 그리고 C2로 주석이 달리는 버블로 도시되는 바와 같이, CUDA 대 HIP 변환 툴(3320)은 CUDA 소스 코드(3310)를 HIP 소스 코드(3330)로 변환한다. 적어도 하나의 실시예에서, C3으로 주석이 달리는 버블로 도시되는 바와 같이, HIP 컴파일러 드라이버(3340)는 HIP 소스 코드(3330)를 수신하고, 타겟 디바이스(3346)가 CUDA-인에이블이 아닌 것으로 결정한다.
적어도 하나의 실시예에서, HIP 컴파일러 드라이버(3340)는 HIP/HCC 컴파일 커맨드(3344)를 생성하고, HIP/HCC 컴파일 커맨드(3344) 및 HIP 소스 코드(3330) 양자 모두를 HCC(3360)에 송신한다(C4로 주석이 달리는 버블로 도시됨). 적어도 하나의 실시예에서 그리고 도 33c와 함께 보다 상세히 설명되는 바와 같이, HIP/HCC 컴파일 커맨드(3344)는 HCC 헤더 및 HIP/HCC 런타임 라이브러리를, 제한 없이, 사용하여 HIP 소스 코드(3330)를 컴파일하도록 HCC(3360)를 구성한다. 적어도 하나의 실시예에서 그리고 HIP/HCC 컴파일 커맨드(3344)에 응답하여, HCC(3360)는 호스트 실행가능 코드(3370(2)) 및 HCC 디바이스 실행가능 코드(3382)를 생성한다(C5로 주석이 달리는 버블로 도시됨). 적어도 하나의 실시예에서 그리고 C6으로 주석이 달리는 버블로 도시되는 바와 같이, 호스트 실행가능 코드(3370(2)) 및 HCC 디바이스 실행가능 코드(3382)는, 각각, CPU(3390) 및 GPU(3392) 상에서 실행될 수 있다.
적어도 하나의 실시예에서, CUDA 소스 코드(3310)가 HIP 소스 코드(3330)로 변환된 후에, CUDA 대 HIP 변환 툴(3320)을 재-실행하지 않고 CUDA-인에이블 GPU(3394) 또는 GPU(3392)에 대한 실행가능한 코드를 생성하기 위해 HIP 컴파일러 드라이버(3340)가 후속하여 사용될 수 있다. 적어도 하나의 실시예에서, CUDA 대 HIP 변환 툴(3320)은 CUDA 소스 코드(3310)를 다음으로 메모리에 저장되는 HIP 소스 코드(3330)로 변환한다. 적어도 하나의 실시예에서, HIP 컴파일러 드라이버(3340)는 다음으로 HIP 소스 코드(3330)에 기초하여 호스트 실행가능 코드(3370(2)) 및 HCC 디바이스 실행가능 코드(3382)를 생성하도록 HCC(3360)를 구성한다. 적어도 하나의 실시예에서, HIP 컴파일러 드라이버(3340)는 후속하여, 저장된 HIP 소스 코드(3330)에 기초하여 호스트 실행가능 코드(3370(1)) 및 CUDA 디바이스 실행가능 코드(3384)를 생성하도록 CUDA 컴파일러(3350)를 구성한다.
도 33b는, 적어도 하나의 실시예에 따른, CPU(3390) 및 CUDA-인에이블 GPU(3394)를 사용하여 도 33a의 CUDA 소스 코드(3310)를 컴파일 및 실행하도록 구성되는 시스템(3304)을 예시한다. 적어도 하나의 실시예에서, 시스템(3304)은 CUDA 소스 코드(3310), CUDA 대 HIP 변환 툴(3320), HIP 소스 코드(3330), HIP 컴파일러 드라이버(3340), CUDA 컴파일러(3350), 호스트 실행가능 코드(3370(1), CUDA 디바이스 실행가능 코드(3384), CPU(3390) 및 CUDA-인에이블 GPU(3394)를, 제한 없이, 포함한다.
적어도 하나의 실시예에서 그리고 도 33a와 함께 본 명세서에 이전에 설명된 바와 같이, CUDA 소스 코드(3310)는 임의의 수(0을 포함함)의 글로벌 함수들(3312), 임의의 수(0을 포함함)의 디바이스 함수들(3314), 임의의 수(0을 포함함)의 호스트 함수들(3316), 및 임의의 수(0을 포함함)의 호스트/디바이스 함수들(3318)을, 제한 없이, 포함한다. 적어도 하나의 실시예에서, CUDA 소스 코드(3310)는 임의의 수의 다른 CUDA API들에 명시되는 임의의 수의 함수들에 대한 임의의 수의 호출들을, 제한 없이, 또한 포함한다.
적어도 하나의 실시예에서, CUDA 대 HIP 변환 툴(3320)은 CUDA 소스 코드(3310)를 HIP 소스 코드(3330)로 변환한다. 적어도 하나의 실시예에서, CUDA 대 HIP 변환 툴(3320)은 CUDA 소스 코드(3310)에서의 각각의 커널 호출을 CUDA 신택스로부터 HIP 신택스로 변환하고, CUDA 소스 코드(3310)에서의 임의의 수의 다른 CUDA 호출들을 임의의 수의 다른 기능적으로 유사한 HIP 호출들로 변환한다.
적어도 하나의 실시예에서, HIP 컴파일러 드라이버(3340)는 타겟 디바이스(3346)가 CUDA-인에이블된 것으로 결정하고, HIP/NVCC 컴파일 커맨드(3342)를 생성한다. 적어도 하나의 실시예에서, HIP 컴파일러 드라이버(3340)는 다음으로 HIP 소스 코드(3330)를 컴파일하도록 HIP/NVCC 컴파일 커맨드(3342)를 통해 CUDA 컴파일러(3350)를 구성한다. 적어도 하나의 실시예에서, HIP 컴파일러 드라이버(3340)는 CUDA 컴파일러(3350)를 구성하는 것의 일부로서 HIP 대 CUDA 변환 헤더(3352)에 대한 액세스를 제공한다. 적어도 하나의 실시예에서, HIP 대 CUDA 변환 헤더(3352)는 임의의 수의 HIP API들에서 명시되는 임의의 수의 메커니즘들(예를 들어, 함수들)을 임의의 수의 CUDA API들에서 명시되는 임의의 수의 메커니즘들로 변환한다. 적어도 하나의 실시예에서, CUDA 컴파일러(3350)는 호스트 실행가능 코드(3370(1)) 및 CUDA 디바이스 실행가능 코드(3384)를 생성하기 위해 CUDA 런타임 API(3302)에 대응하는 CUDA 런타임 라이브러리(3354)와 함께 HIP 대 CUDA 변환 헤더(3352)를 사용한다. 적어도 하나의 실시예에서, 호스트 실행가능 코드(3370(1)) 및 CUDA 디바이스 실행가능 코드(3384)는 다음으로, 각각, CPU(3390) 및 CUDA-인에이블 GPU(3394) 상에서 실행될 수 있다. 적어도 하나의 실시예에서, CUDA 디바이스 실행가능 코드(3384)는 2진 코드를, 제한 없이, 포함한다. 적어도 하나의 실시예에서, CUDA 디바이스 실행가능 코드(3384)는 PTX 코드를, 제한 없이, 포함하고, 런타임 시에 구체적인 타겟 디바이스에 대한 2진 코드로 추가로 컴파일된다.
도 33c는, 적어도 하나의 실시예에 따른, CPU(3390) 및 비-CUDA-인에이블 GPU(3392)를 사용하여 도 33a의 CUDA 소스 코드(3310)를 컴파일 및 실행하도록 구성되는 시스템(3306)을 예시한다. 적어도 하나의 실시예에서, 시스템(3306)은 CUDA 소스 코드(3310), CUDA 대 HIP 변환 툴(3320), HIP 소스 코드(3330), HIP 컴파일러 드라이버(3340), HCC(3360), 호스트 실행가능 코드(3370(2), HCC 디바이스 실행가능 코드(3382), CPU(3390), 및 GPU(3392)를, 제한 없이, 포함한다.
적어도 하나의 실시예에서 그리고 도 33a와 함께 본 명세서에 이전에 설명된 바와 같이, CUDA 소스 코드(3310)는 임의의 수(0을 포함함)의 글로벌 함수들(3312), 임의의 수(0을 포함함)의 디바이스 함수들(3314), 임의의 수(0을 포함함)의 호스트 함수들(3316), 및 임의의 수(0을 포함함)의 호스트/디바이스 함수들(3318)을, 제한 없이, 포함한다. 적어도 하나의 실시예에서, CUDA 소스 코드(3310)는 임의의 수의 다른 CUDA API들에 명시되는 임의의 수의 함수들에 대한 임의의 수의 호출들을, 제한 없이, 또한 포함한다.
적어도 하나의 실시예에서, CUDA 대 HIP 변환 툴(3320)은 CUDA 소스 코드(3310)를 HIP 소스 코드(3330)로 변환한다. 적어도 하나의 실시예에서, CUDA 대 HIP 변환 툴(3320)은 CUDA 소스 코드(3310)에서의 각각의 커널 호출을 CUDA 신택스로부터 HIP 신택스로 변환하고, 소스 코드(3310)에서의 임의의 수의 다른 CUDA 호출들을 임의의 수의 다른 기능적으로 유사한 HIP 호출들로 변환한다.
적어도 하나의 실시예에서, HIP 컴파일러 드라이버(3340)는 후속하여 타겟 디바이스(3346)가 CUDA-인에이블되지 않은 것으로 결정하고, HIP/HCC 컴파일 커맨드(3344)를 생성한다. 적어도 하나의 실시예에서, HIP 컴파일러 드라이버(3340)는 다음으로 HIP/HCC 컴파일 커맨드(3344)를 실행하여 HIP 소스 코드(3330)를 컴파일하도록 HCC(3360)를 구성한다. 적어도 하나의 실시예에서, HIP/HCC 컴파일 커맨드(3344)는 호스트 실행가능 코드(3370(2)) 및 HCC 디바이스 실행가능 코드(3382)를 생성하기 위해 HIP/HCC 런타임 라이브러리(3358) 및 HCC 헤더(3356)를, 제한 없이, 사용하도록 HCC(3360)를 구성한다. 적어도 하나의 실시예에서, HIP/HCC 런타임 라이브러리(3358)는 HIP 런타임 API(3332)에 대응한다. 적어도 하나의 실시예에서, HCC 헤더(3356)는 HIP 및 HCC에 대한 임의의 수 및 타입의 상호운용성 메커니즘들을, 제한 없이, 포함한다. 적어도 하나의 실시예에서, 호스트 실행가능 코드(3370(2)) 및 HCC 디바이스 실행가능 코드(3382)는, 각각, CPU(3390) 및 GPU(3392) 상에서 실행될 수 있다.
도 34는, 적어도 하나의 실시예에 따른, 도 33c의 CUDA-HIP 변환 툴(3320)에 의해 변환되는 예시적인 커널을 예시한다. 적어도 하나의 실시예에서, CUDA 소스 코드(3310)는 주어진 커널이 해결하도록 설계되는 전체 문제를 스레드 블록들을 사용하여 독립적으로 해결될 수 있는 비교적 대략적인 서브-문제들로 파티셔닝한다. 적어도 하나의 실시예에서, 각각의 스레드 블록은 임의의 수의 스레드들을, 제한 없이, 포함한다. 적어도 하나의 실시예에서, 각각의 서브-문제는 스레드 블록 내의 스레드들에 의해 병렬로 협력하여 해결될 수 있는 비교적 미세한 피스들로 파티셔닝된다. 적어도 하나의 실시예에서, 스레드 블록 내의 스레드들은 공유 메모리를 통해 데이터를 공유하는 것에 의해 그리고 메모리 액세스들을 조율하기 위해 실행을 동기화하는 것에 의해 협력할 수 있다.
적어도 하나의 실시예에서, CUDA 소스 코드(3310)는 주어진 커널과 연관된 스레드 블록들을 스레드 블록들의 1-차원, 2-차원, 또는 3-차원 그리드로 조직화한다. 적어도 하나의 실시예에서, 각각의 스레드 블록은 임의의 수의 스레드들을, 제한 없이, 포함하고, 그리드는 임의의 수의 스레드 블록들을, 제한 없이, 포함한다.
적어도 하나의 실시예에서, 커널은 "__global__" 선언 명시자를 사용하여 정의되는 디바이스 코드에서의 함수이다. 적어도 하나의 실시예에서, 주어진 커널 호출 및 연관된 스트림들에 대한 커널을 실행하는 그리드의 차원은 CUDA 커널 론칭 신택스(3410)를 사용하여 명시된다. 적어도 하나의 실시예에서, CUDA 커널 론칭 신택스(3410)는 "KernelName<<<GridSize, BlockSize, SharedMemorySize, Stream>>>(KernelArguments);"로서 명시된다. 적어도 하나의 실시예에서, 실행 구성 신택스는 커널 이름("KernelName")과 커널 인수들("KernelArguments")의 괄호화된 리스트 사이에 삽입되는 "<<<...>>>" 구성이다. 적어도 하나의 실시예에서, CUDA 커널 론칭 신택스(3410)는 실행 구성 신택스 대신에 CUDA 론칭 기능 신택스를, 제한 없이, 포함한다.
적어도 하나의 실시예에서, "GridSize"는 타입 dim3의 것이고 그리드의 차원 및 크기를 명시한다. 적어도 하나의 실시예에서, 타입 dim3은 무부호 정수들 x, y 및 z를, 제한 없이, 포함하는 CUDA-정의 구조이다. 적어도 하나의 실시예에서, z가 명시되지 않으면, 다음으로 z는 1로 디폴트된다. 적어도 하나의 실시예에서, y가 명시되지 않으면, 다음으로 y는 1로 디폴트된다. 적어도 하나의 실시예에서, 그리드에서의 스레드 블록들의 수는 GridSize.x, GridSize.y, 및 GridSize.z의 곱과 동일하다. 적어도 하나의 실시예에서, "BlockSize"는 타입 dim3의 것이고, 각각의 스레드 블록의 차원 및 크기를 명시한다. 적어도 하나의 실시예에서, 스레드 블록 당 스레드들의 수는 BlockSize.x, BlockSize.y, 및 BlockSize.z의 곱과 동일하다. 적어도 하나의 실시예에서, 커널을 실행하는 각각의 스레드에는 내장된 변수(예를 들어, "threadIdx")를 통해 커널 내에서 액세스가능한 고유 스레드 ID가 주어진다.
적어도 하나의 실시예에서 그리고 CUDA 커널 론칭 신택스(3410)와 관련하여, "SharedMemorySize"는 정적으로 할당된 메모리 외에도 주어진 커널 호출에 대해 스레드 블록 당 동적으로 할당되는 공유 메모리에서의 바이트들의 수를 명시하는 선택적인 인수이다. 적어도 하나의 실시예에서 그리고 CUDA 커널 론칭 신택스(3410)와 관련하여, SharedMemorySize는 0으로 디폴트된다. 적어도 하나의 실시예에서 그리고 CUDA 커널 론칭 신택스(3410)와 관련하여, "스트림(Stream)"은 연관된 스트림을 명시하는 그리 디폴트 스트림을 명시하기 위해 0으로 디폴트되는 선택적인 인수이다. 적어도 하나의 실시예에서, 스트림은 순차적으로 실행되는 (가능하게는 상이한 호스트 스레드들에 의해 발행되는) 커맨드들의 시퀀스이다. 적어도 하나의 실시예에서, 상이한 스트림들은 서로에 대해 비순차적으로 또는 동시에 커맨드들을 실행할 수 있다.
적어도 하나의 실시예에서, CUDA 소스 코드(3310)는 예시적인 커널 "MatAdd"에 대한 커널 정의 및 메인 함수를, 제한 없이, 포함한다. 적어도 하나의 실시예에서, 메인 함수는 호스트 상에서 실행되는 호스트 코드이고, 커널 MatAdd로 하여금 디바이스 상에서 실행되게 하는 커널 호출을, 제한 없이, 포함한다. 적어도 하나의 실시예에서 그리고 도시되는 바와 같이, 커널 MatAdd는 크기 NxN의 2개의 행렬들 A 및 B를 추가하고- 여기서 N은 양의 정수임 -, 결과를 행렬 C에 저장한다. 적어도 하나의 실시예에서, 메인 함수는 threadsPerBlock 변수를 16 x 16으로서 그리고 numBlocks 변수를 N/16 x N/16으로서 정의한다. 적어도 하나의 실시예에서, 메인 함수는 다음으로 "MatAdd<<<numBlocks, threadsPerBlock>>>(A, B, C); "이라는 커널 호출을 명시한다. 적어도 하나의 실시예에서 그리고 CUDA 커널 론칭 신택스(3410) 당, 커널 MatAdd는 차원 N/16 x N/16을 갖는 스레드 블록들의 그리드를 사용하여 실행되며, 각각의 스레드 블록은 16 x 16의 차원을 갖는다. 적어도 하나의 실시예에서, 각각의 스레드 블록은 256개의 스레드들을 포함하고, 행렬 엘리먼트 당 하나의 스레드를 갖기에 충분한 블록들로 그리드가 생성되고, 이러한 그리드에서의 각각의 스레드는 하나의 쌍-별 덧셈을 수행하기 위해 커널 MatAdd를 실행한다.
적어도 하나의 실시예에서, CUDA 소스 코드(3310)를 HIP 소스 코드(3330)로 변환하는 동안, CUDA 대 HIP 변환 툴(3320)은 CUDA 소스 코드(3310)에서의 각각의 커널 호출을 CUDA 커널 론칭 신택스(3410)로부터 HIP 커널 론칭 신택스(3420)로 변환하고, 소스 코드(3310)에서의 임의의 수의 다른 CUDA 호출들을 임의의 수의 다른 기능적으로 유사한 HIP 호출들로 변환한다. 적어도 하나의 실시예에서, HIP 커널 론칭 신택스(3420)는 "hipLaunchKernelGGL(KernelName,GridSize, BlockSize, SharedMemorySize, Stream, KernelArguments);"로서 명시된다. 적어도 하나의 실시예에서, KernelName, GridSize, BlockSize, ShareMemorySize, Stream, 및 KernelArguments 각각은 HIP 커널 론칭 신택스(3420)에서 CUDA 커널 론칭 신택스(3410)(본 명세서에서 이전에 설명됨)에서와 동일한 의미를 갖는다. 적어도 하나의 실시예에서, 인수들 SharedMemorySize 및 Stream은 HIP 커널 론칭 신택스(3420)에서 요구되고, CUDA 커널 론칭 신택스(3410)에서 선택적이다.
적어도 하나의 실시예에서, 도 34에 도시되는 HIP 소스 코드(3330)의 일부는 커널 MatAdd로 하여금 디바이스 상에서 실행되게 하는 커널 호출을 제외하고는 도 34에 도시되는 CUDA 소스 코드(3310)의 일부와 동일하다. 적어도 하나의 실시예에서, 커널 MatAdd는, 커널 MatAdd가 CUDA 소스 코드(3310)에서 정의되는 동일한 "__global__" 선언 명시자가 있는 HIP 소스 코드(3330)에서 정의된다. 적어도 하나의 실시예에서, HIP 소스 코드(3330)에서의 커널 호출은 "hipLaunchKernelGGL(MatAdd, numBlocks, threadsPerBlock, 0, 0, A, B, C); "인 반면, CUDA 소스 코드(3310)에서의 대응하는 커널 호출은 "MatAdd<<<numBlocks, threadsPerBlock>>>(A, B, C); "이다.
도 35는, 적어도 하나의 실시예에 따른, 도 33c의 비-CUDA-인에이블 GPU(3392)를 보다 상세히 예시한다. 적어도 하나의 실시예에서, GPU(3392)는 산타 클라라의 AMD corporation에 의해 개발된다. 적어도 하나의 실시예에서, GPU(3392)는 고도-병렬 방식으로 컴퓨팅 연산들을 수행하도록 구성될 수 있다. 적어도 하나의 실시예에서, GPU(3392)는 드로잉 커맨드들, 픽셀 연산들, 지오메트리 계산들, 및 이미지를 디스플레이에 렌더링하는 것과 연관된 다른 연산들과 같은 그래픽 파이프라인 연산들을 실행하도록 구성된다. 적어도 하나의 실시예에서, GPU(3392)는 그래픽에 관련되지 않은 연산들을 실행하도록 구성된다. 적어도 하나의 실시예에서, GPU(3392)는 그래픽에 관련된 연산들 및 그래픽에 관련되지 않은 연산들 양자 모두를 실행하도록 구성된다. 적어도 하나의 실시예에서, GPU(3392)는 HIP 소스 코드(3330)에 포함되는 디바이스 코드를 실행하도록 구성될 수 있다.
적어도 하나의 실시예에서, GPU(3392)는 임의의 수의 프로그램가능 처리 유닛(3520), 커맨드 프로세서(3510), L2 캐시(3522), 메모리 제어기(3570), DMA 엔진(3580(1), 시스템 메모리 제어기(3582), DMA 엔진(3580(2)), 및 GPU 제어기(3584)를, 제한 없이, 포함한다. 적어도 하나의 실시예에서, 각각의 프로그램가능 처리 유닛(3520)은 작업부하 관리기(3530) 및 임의의 수의 컴퓨팅 유닛들(3540)을, 제한 없이, 포함한다. 적어도 하나의 실시예에서, 커맨드 프로세서(3510)는 하나 이상의 커맨드 큐(도시되지 않음)로부터 커맨드들을 판독하고 커맨드들을 작업부하 관리기들(3530)에 분배한다. 적어도 하나의 실시예에서, 각각의 프로그램가능 처리 유닛(3520)에 대해, 연관된 작업부하 관리기(3530)는 프로그램가능 처리 유닛(3520)에 포함되는 컴퓨팅 유닛들(3540)에 작업을 분배한다. 적어도 하나의 실시예에서, 각각의 컴퓨팅 유닛(3540)은 임의의 수의 스레드 블록들을 실행할 수 있지만, 각각의 스레드 블록은 단일의 컴퓨팅 유닛(3540) 상에서 실행된다. 적어도 하나의 실시예에서, 작업그룹이 스레드 블록이다.
적어도 하나의 실시예에서, 각각의 컴퓨팅 유닛(3540)은 임의의 수의 SIMD 유닛들(3550) 및 공유 메모리(3560)를, 제한 없이, 포함한다. 적어도 하나의 실시예에서, 각각의 SIMD 유닛(3550)은 SIMD 아키텍처를 구현하고, 연산들을 병렬로 수행하도록 구성된다. 적어도 하나의 실시예에서, 각각의 SIMD 유닛(3550)은 벡터 ALU(3552) 및 벡터 레지스터 파일(3554)을, 제한 없이, 포함한다. 적어도 하나의 실시예에서, 각각의 SIMD 유닛(3550)은 상이한 워프를 실행한다. 적어도 하나의 실시예에서, 워프는 스레드들(예를 들어, 16개의 스레드들)의 그룹이고, 여기서 워프에서의 각각의 스레드는 단일의 스레드 블록에 속하고 명령어들의 단일의 세트에 기초하여 데이터의 상이한 세트를 처리하도록 구성된다. 적어도 하나의 실시예에서, 워프에서의 하나 이상의 스레드를 디스에이블하기 위해 예측이 사용될 수 있다. 적어도 하나의 실시예에서, 레인이 스레드이다. 적어도 하나의 실시예에서, 작업 항목이 스레드이다. 적어도 하나의 실시예에서, 파면이 워프이다. 적어도 하나의 실시예에서, 스레드 블록에서의 상이한 파면들은 함께 동기화되고 공유 메모리(3560)를 통해 통신할 수 있다.
적어도 하나의 실시예에서, 프로그램가능 처리 유닛들(3520)은 "셰이더 엔진들(shader engines)"이라고 지칭된다. 적어도 하나의 실시예에서, 각각의 프로그램가능 처리 유닛(3520)은 컴퓨팅 유닛들(3540) 외에도 임의의 양의 전용 그래픽 하드웨어를, 제한 없이, 포함한다. 적어도 하나의 실시예에서, 각각의 프로그램가능 처리 유닛(3520)은 임의의 수(0을 포함함)의 지오메트리 프로세서들, 임의의 수(0을 포함함)의 래스터화기들, 임의의 수(0을 포함함)의 렌더링 백 엔드들, 작업부하 관리기(3530), 및 임의의 수의 컴퓨팅 유닛들(3540)을, 제한 없이, 포함한다.
적어도 하나의 실시예에서, 컴퓨팅 유닛들(3540)은 L2 캐시(3522)를 공유한다. 적어도 하나의 실시예에서, L2 캐시(3522)는 파티셔닝된다. 적어도 하나의 실시예에서, GPU 메모리(3590)는 GPU(3392)에서의 모든 컴퓨팅 유닛들(3540)에 의해 액세스가능하다. 적어도 하나의 실시예에서, 메모리 제어기들(3570) 및 시스템 메모리 제어기들(3582)은 GPU(3392)와 호스트 사이의 데이터 전송들을 용이하게 하고, DMA 엔진들(3580(1))은 GPU(3392)와 이러한 호스트 사이의 비동기식 메모리 전송들을 가능하게 한다. 적어도 하나의 실시예에서, 메모리 제어기들(3570) 및 GPU 제어기들(3584)은 GPU(3392)와 다른 GPU들(3392) 사이의 데이터 전송들을 용이하게 하고, DMA 엔진들(3580(2))은 GPU(3392)와 다른 GPU들(3392) 사이의 비동기식 메모리 전송들을 가능하게 한다.
적어도 하나의 실시예에서, GPU(3392)는 GPU(3392)의 내부 또는 외부에 있을 수 있는 임의의 수 및 타입의 직접적 또는 간접적 링크된 컴포넌트들에 걸쳐 데이터 및 제어 송신들을 용이하게 하는 임의의 양 및 타입의 시스템 인터커넥트를, 제한 없이, 포함한다. 적어도 하나의 실시예에서, GPU(3392)는 임의의 수 및 타입의 주변 디바이스들에 연결되는 임의의 수 및 타입의 I/O 인터페이스들(예를 들어, PCIe)을, 제한 없이, 포함한다. 적어도 하나의 실시예에서, GPU(3392)는 임의의 수(0을 포함함)의 디스플레이 엔진들 및 임의의 수(0을 포함함)의 멀티미디어 엔진들을, 제한 없이, 포함할 수 있다. 적어도 하나의 실시예에서, GPU(3392)는 하나의 컴포넌트에 전용되거나 또는 다수의 컴포넌트들 사이에 공유될 수 있는 임의의 양 및 타입의 메모리 제어기들(예를 들어, 메모리 제어기들(3570) 및 시스템 메모리 제어기들(3582)) 및 메모리 디바이스들(예를 들어, 공유 메모리들(3560))을, 제한 없이, 포함하는 메모리 서브시스템을 구현한다. 적어도 하나의 실시예에서, 각각이 임의의 수의 컴포넌트들(예를 들어, SIMD 유닛들(3550), 컴퓨팅 유닛들(3540), 및 프로그램가능 처리 유닛(3520))에 사적이거나 또는 이들 사이에 공유될 수 있는 하나 이상의 캐시 메모리(예를 들어, L2 캐시(3522))를, 제한 없이, 포함하는 캐시 서브시스템을 GPU(3392)가 구현한다.
도 36은, 적어도 하나의 실시예에 따른, 예시적인 CUDA 그리드(3620)의 스레드들이 어떻게 도 35의 상이한 컴퓨팅 유닛들(3540)에 매핑되는지를 예시한다. 적어도 하나의 실시예에서 그리고 단지 설명의 목적들을 위해, 그리드(3620)는 BX x BY x 1의 GridSize 및 TX x TY x 1의 BlockSize를 갖는다. 적어도 하나의 실시예에서, 그리드(3620)는 따라서 (BX * BY) 스레드 블록들(3630)을, 제한 없이, 포함하고, 각각의 스레드 블록(3630)은 (TX * TY) 스레드들(3640)을, 제한 없이, 포함한다. 스레드들(3640)은 도 36에서 구불구불한 화살표들로서 도시된다.
적어도 하나의 실시예에서, 그리드(3620)는 컴퓨팅 유닛(3540(1) 내지 3540(C))을, 제한 없이, 포함하는 프로그램가능 처리 유닛(3520(1))에 매핑된다. 적어도 하나의 실시예에서 그리고 도시되는 바와 같이, (BJ * BY) 스레드 블록들(3630)은 컴퓨팅 유닛(3540(1))에 매핑되고, 나머지 스레드 블록들(3630)은 컴퓨팅 유닛(3540(2))에 매핑된다. 적어도 하나의 실시예에서, 각각의 스레드 블록(3630)은 임의의 수의 워프들을, 제한 없이, 포함할 수 있고, 각각의 워프는 도 35의 상이한 SIMD 유닛(3550)에 매핑된다.
적어도 하나의 실시예에서, 주어진 스레드 블록(3630)에서의 워프들은 함께 동기화되고 연관된 컴퓨팅 유닛(3540)에 포함되는 공유 메모리(3560)를 통해 통신할 수 있다. 예를 들어, 그리고 적어도 하나의 실시예에서, 스레드 블록(3630(BJ,1))에서의 워프들은 함께 동기화되고 공유 메모리(3560(1))를 통해 통신할 수 있다. 예를 들어, 그리고 적어도 하나의 실시예에서, 스레드 블록(3630(BJ+1,1))에서의 워프들은 함께 동기화되고 공유 메모리(3560(2))를 통해 통신할 수 있다.
도 37은, 적어도 하나의 실시예에 따른, 기존 CUDA 코드를 Data Parallel C++ 코드로 어떻게 마이그레이션하는지를 예시한다. DPC++(Data Parallel C++)는 개발자들이 하드웨어 타겟들(CPU들, 및 GPU들 및 FPGA들과 같은 가속기들)에 걸쳐 코드를 재사용하는 것 그리고 또한 구체적인 가속기에 대한 맞춤 튜닝을 수행하는 것을 허용하는 단일-아키텍처 독점적 언어들에 대한 개방형, 표준-기반 대안을 지칭할 수 있다. DPC++는 개발자들이 익숙할 수 있는 ISO C++에 따라 유사한 및/또는 동일한 C 및 C++ 구성들을 사용한다. DPC++는 데이터 병렬화 및 이종 프로그래밍을 지원하기 위해 The Khronos Group으로부터의 표준 SYCL을 포함한다. SYCL은 이종 프로세서들에 대한 코드가 표준 C++를 사용하여 "단일-소스(single-source)" 스타일로 작성되는 것을 가능하게 하는 OpenCL의 기저 개념들, 이식성 및 효율을 구축하는 크로스-플랫폼 추상화 레이어를 지칭한다. SYCL은 단일의 소스 개발을 가능하게 할 수 있으며, 여기서 C++ 템플릿 함수들은 OpenCL 가속을 사용하는 복잡한 알고리즘들을 구성하기 위해 호스트 및 디바이스 코드 양자 모두를 포함할 수 있고, 다음으로 상이한 타입들의 데이터에 대해 그들의 소스 코드 전반적으로 이들을 재-사용할 수 있다.
적어도 하나의 실시예에서, 다양한 하드웨어 타겟들에 걸쳐 배치될 수 있는 DPC++ 소스 코드를 컴파일하기 위해 DPC++ 컴파일러가 사용된다. 적어도 하나의 실시예에서, 다양한 하드웨어 타겟들에 걸쳐 배치될 수 있는 DPC++ 애플리케이션들을 생성하기 위해 DPC++ 컴파일러가 사용되고, DPC++에서 멀티플랫폼 프로그램으로 CUDA 애플리케이션들을 마이그레이션하기 위해 DPC++ 호환성 툴이 사용될 수 있다. 적어도 하나의 실시예에서, DPC++ 베이스 툴 키트는 다양한 하드웨어 타겟들에 걸쳐 애플리케이션들을 배치하기 위한 DPC++ 컴파일러; CPU들, GPU들, 및 FPGA들에 걸쳐 생산성 및 성능을 증가시키기 위한 DPC++ 라이브러리; CUDA 애플리케이션들을 멀티-플랫폼 애플리케이션들로 마이그레이션하기 위한 DPC++ 호환성 툴; 및 이들의 임의의 적합한 조합을 포함한다.
적어도 하나의 실시예에서, Data Parallel C++로 불리는 프로그래밍 언어로 병렬화를 표현하기 위해 현대의 C++ 특징들을 사용하는 것에 의해 CPU들 및 가속기들을 프로그래밍하는 것에 관련된 하나 이상의 양태를 단순화 하기 위해 DPC++ 프로그래밍 모델이 이용된다. 실행 및 메모리 의존성들이 명백하게 통신되는, 단일의 소스 언어를 사용하여 호스트들(예를 들어, CPU) 및 가속기들(예를 들어, GPU 또는 FPGA)에 대한 재사용을 코딩하기 위해 DPC++ 프로그래밍 언어가 이용될 수 있다. 작업부하를 가장 잘 가속하는 하드웨어 또는 하드웨어 디바이스들의 세트 상에서 실행되도록 애플리케이션을 전이하기 위해 DPC++ 코드 내의 매핑들이 사용될 수 있다. 심지어 이용가능한 가속기를 갖지 않는 플랫폼들에서도, 디바이스 코드의 개발 및 디버깅을 단순화하기 위해 호스트가 이용가능할 수 있다.
적어도 하나의 실시예에서, 인간 판독가능 DPC++(3704)를 생성하기 위해 DPC++ 호환성 툴(3702)에 입력으로서 CUDA 소스 코드(3700)가 제공된다. 적어도 하나의 실시예에서, 인간 판독가능 DPC++(3704)는 DPC++ 코드를 수정하여 원하는 성능(3706)으로의 코딩 및 튜닝을 완료하는 방법 및/또는 위치에 대해 개발자를 안내하는 DPC++ 호환성 툴(3702)에 의해 생성되는 인라인 코멘트들을 포함하고, 그렇게 함으로써 DPC++ 소스 코드(3708)를 생성한다.
적어도 하나의 실시예에서, CUDA 소스 코드(3700)는 CUDA 프로그래밍 언어의 인간-판독가능 소스 코드의 집합이거나 또는 이를 포함한다. 적어도 하나의 실시예에서, CUDA 소스 코드(3700)는 CUDA 프로그래밍 언어의 인간-판독가능 소스 코드이다. 적어도 하나의 실시예에서, CUDA 프로그래밍 언어는, 디바이스 코드를 정의하고 디바이스 코드와 호스트 코드 사이를 구별하는 메커니즘들을, 제한 없이, 포함하는 C++ 프로그래밍 언어의 확장이다. 적어도 하나의 실시예에서, 디바이스 코드는, 컴파일 후에, 디바이스(예를 들어, GPU 또는 FPGA) 상에서 실행가능하고 디바이스의 하나 이상의 프로세서 코어 상에서 실행될 수 있는 하나 이상의 병렬화가능 워크플로우를 포함할 수 있는 소스 코드이다. 적어도 하나의 실시예에서, 디바이스는, CUDA-인에이블 GPU, GPU, 또는 다른 GPGPU 등과 같은, 병렬 명령어 처리에 최적화되는 프로세서일 수 있다. 적어도 하나의 실시예에서, 호스트 코드는, 컴파일 후에, 호스트 상에서 실행가능한 소스 코드이다. 적어도 하나의 실시예에서, 호스트 코드 및 디바이스 코드의 일부 또는 전부는 CPU 및 GPU/FPGA에 걸쳐 병렬로 실행될 수 있다. 적어도 하나의 실시예에서, 호스트는, CPU와 같은, 순차적 명령어 처리를 위해 최적화되는 프로세서이다. 도 37과 관련하여 설명되는 CUDA 소스 코드(3700)는 본 문서의 다른 곳에서 논의된 것들에 따를 수 있다.
적어도 하나의 실시예에서, DPC++ 호환성 툴(3702)은, CUDA 소스 코드(3700)의 DPC++ 소스 코드(3708)로의 마이그레이션을 용이하게 하기 위해 사용되는 실행가능한 툴, 프로그램, 애플리케이션, 또는 임의의 다른 적합한 타입의 툴을 지칭한다. 적어도 하나의 실시예에서, DPC++ 호환성 툴(3702)은 기존의 CUDA 소스들을 DPC++로 포트하기 위해 사용되는 DPC++ 툴 키트의 일부로서 이용가능한 커맨드-라인-기반 코드 마이그레이션 툴이다. 적어도 하나의 실시예에서, DPC++ 호환성 툴(3702)은 CUDA로부터의 CUDA 애플리케이션의 일부 또는 모든 소스 코드를 DPC++로 변환하고, 인간 판독가능 DPC++(3704)라고 지칭되는, DPC++에 적어도 부분적으로 기입되는 결과 파일을 생성한다. 적어도 하나의 실시예에서, 인간 판독가능 DPC++(3704)는 사용자 개입이 필요할 수 있는 곳을 표시하기 위해 DPC++ 호환성 툴(3702)에 의해 생성되는 코멘트들을 포함한다. 적어도 하나의 실시예에서, CUDA 소스 코드(3700)가 유사한 DPC++ API를 갖지 않는 CUDA API를 호출할 때 사용자 개입이 필요하고; 사용자 개입이 요구되는 다른 예들은 나중에 보다 상세히 논의된다.
적어도 하나의 실시예에서, CUDA 소스 코드(3700)(예를 들어, 애플리케이션 또는 그 일부)를 마이그레이션하기 위한 워크플로우는 하나 이상의 컴파일 데이터베이스 파일을 생성하는 것; DPC++ 호환성 툴(3702)을 사용하여 CUDA를 DPC++로 마이그레이션하는 것; 마이그레이션을 완료하고 정확성을 검증하는 것, 그렇게 함으로써 DPC++ 소스 코드(3708)를 생성하는 것; 및 DPC++ 애플리케이션을 생성하기 위해 DPC++ 소스 코드(3708)를 DPC++ 컴파일러로 컴파일하는 것을 포함한다. 적어도 하나의 실시예에서, 호환성 툴은 Makefile가 실행될 때 사용되는 커맨드들을 인터셉트하고 이들을 컴파일 데이터베이스 파일에 저장하는 유틸리티를 제공한다. 적어도 하나의 실시예에서, 파일은 JSON 포맷으로 저장된다. 적어도 하나의 실시예에서, 인터셉트-구축 커맨드는 Makefile 커맨드를 DPC 호환성 커맨드로 변환한다.
적어도 하나의 실시예에서, 인터셉트-구축은 컴파일 옵션들, 매크로 디프들을 캡처하기 위해 구축 프로세스를 인터셉트하고 경로들을 포함하는 유틸리티 스크립트이고, 이러한 데이터를 컴파일 데이터베이스 파일에 기입한다. 적어도 하나의 실시예에서, 컴파일 데이터베이스 파일은 JSON 파일이다. 적어도 하나의 실시예에서, DPC++ 호환성 툴(3702)은 컴파일 데이터베이스를 파싱하고 입력 소스들을 마이그레이션할 때 옵션들을 적용한다. 적어도 하나의 실시예에서, 인터셉트-구축의 사용은 선택적이지만, Make 또는 CMake 기반 환경들에 대해 매우 추천된다. 적어도 하나의 실시예에서, 마이그레이션 데이터베이스는 커맨드들, 디렉토리들, 및 파일들을 포함하고: 커맨드는 필요한 컴파일 플래그들을 포함할 수 있고; 디렉토리는 헤더 파일들로의 경로들을 포함할 수 있고; 파일은 CUDA 파일들로의 경로들을 포함할 수 있다.
적어도 하나의 실시예에서, DPC++ 호환성 툴(3702)은 가능한 어디에서든 DPC++를 생성하는 것에 의해 CUDA에 기입된 CUDA 코드(예를 들어, 애플리케이션들)를 DPC++로 마이그레이션한다. 적어도 하나의 실시예에서, DPC++ 호환성 툴(3702)은 툴 키트의 일부로서 이용가능하다. 적어도 하나의 실시예에서, DPC++ 툴 키트는 인터셉트-구축 툴을 포함한다. 적어도 하나의 실시예에서, 인터셉트-구축 툴은 CUDA 파일들을 마이그레이션하기 위해 컴파일 커맨드들을 캡처하는 컴파일 데이터베이스를 생성한다. 적어도 하나의 실시예에서, 인터셉트-구축 툴에 의해 생성되는 컴파일 데이터베이스는 CUDA 코드를 DPC++로 마이그레이션하기 위해 DPC++ 호환성 툴(3702)에 의해 사용된다. 적어도 하나의 실시예에서, 비-CUDA C++ 코드 및 파일들은 그대로 마이그레이션된다. 적어도 하나의 실시예에서, DPC++ 호환성 툴(3702)은, DPC++ 호환성 툴(3702)에 의해 생성되는 바와 같이, DPC++ 컴파일러에 의해 컴파일될 수 없고, 올바르게 마이그레이션되지 않은 코드의 부분들을 검증하기 위한 추가적인 플럼빙(plumbing)을 요구하는 DPC++ 코드일 수 있는 인간 판독가능 DPC++(3704)를 생성하고, 개발자에 의한 것과 같은, 수동 개입을 수반할 수 있다. 적어도 하나의 실시예에서, DPC++ 호환성 툴(3702)은 개발자들이 자동으로 마이그레이션될 수 없는 추가적 코드를 수동으로 마이그레이션하는 것을 돕기 위해 코드에 내장되는 힌트들 또는 툴들을 제공한다. 적어도 하나의 실시예에서, 마이그레이션은 소스 파일, 프로젝트, 또는 애플리케이션에 대한 1회 활동이다.
적어도 하나의 실시예에서, DPC++ 호환성 툴(37002)은 CUDA 코드의 모든 부분들을 DPC++로 성공적으로 마이그레이션할 수 있고, 생성된 DPC++ 소스 코드의 성능을 수동으로 검증하고 튜닝하기 위한 선택적 단계가 단순히 존재할 수 있다. 적어도 하나의 실시예에서, DPC++ 호환성 툴(3702)은 DPC++ 호환성 툴(3702)에 의해 생성되는 DPC++ 코드를 수정하기 위해 인간 개입을 요구하거나 또는 이용하지 않고 DPC++ 컴파일러에 의해 컴파일되는 DPC++ 소스 코드(3708)를 직접 생성한다. 적어도 하나의 실시예에서, DPC++ 호환성 툴은 성능, 판독가능성, 유지보수성, 다른 다양한 고려사항들, 또는 이들의 임의의 조합을 위해 개발자에 의해 선택적으로 튜닝될 수 있는 컴파일-가능 DPC++ 코드를 생성한다.
적어도 하나의 실시예에서, 하나 이상의 CUDA 소스 파일은 적어도 부분적으로 DPC++ 호환성 툴(3702)을 사용하여 DPC++ 소스 파일들로 마이그레이션된다. 적어도 하나의 실시예에서, CUDA 소스 코드는 CUDA 헤더 파일들을 포함할 수 있는 하나 이상의 헤더 파일을 포함한다. 적어도 하나의 실시예에서, CUDA 소스 파일은 텍스트를 인쇄하기 위해 사용될 수 있는 <cuda.h> 헤더 파일 및 <stdio.h> 헤더 파일을 포함한다. 적어도 하나의 실시예에서, 벡터 덧셈 커널 CUDA 소스 파일의 일부는 다음과 같이 작성되거나 또는 이에 관련될 수 있다:
#include <cuda.h>
#include <stdio.h>
#define VECTOR_SIZE 256
[] global__ void VectorAddKernel(float* A, float* B, float* C)
{
A[threadIdx.x] = threadIdx.x + 1.0f;
B[threadIdx.x] = threadIdx.x + 1.0f;
C[threadIdx.x] = A[threadIdx.x] + B[threadIdx.x];
}
int main()
{
float *d_A, *d_B, *d_C;
cudaMalloc(&d_A, VECTOR_SIZE*sizeof(float));
cudaMalloc(&d_B, VECTOR_SIZE*sizeof(float));
cudaMalloc(&d_C, VECTOR_SIZE*sizeof(float));
VectorAddKernel<<<1, VECTOR_SIZE>>>(d_A, d_B, d_C);
float Result[VECTOR_SIZE] = { };
cudaMemcpy(Result, d_C, VECTOR_SIZE*sizeof(float), cudaMemcpyDeviceToHost);
cudaFree(d_A);
cudaFree(d_B);
cudaFree(d_C);
for (int i=0; i<VECTOR_SIZE; i++ {
if (i % 16 == 0) {
printf("\n");
}
printf("%f ", Result[i]);
}
return 0;
}
적어도 하나의 실시예에서 그리고 위에 제시된 CUDA 소스 파일과 관련하여, DPC++ 호환성 툴(3702)은 CUDA 소스 코드를 파싱하고 헤더 파일들을 적절한 DPC++ 및 SYCL 헤더 파일들로 치환한다. 적어도 하나의 실시예에서, DPC++ 헤더 파일들은 헬퍼 선언들을 포함한다. CUDA에는, 스레드 ID의 개념이 존재하고, 대응하여, DPC++ 또는 SYCL에는, 각각의 엘리먼트에 대해, 로컬 식별자가 존재다.
적어도 하나의 실시예에서 그리고 위에 제시된 CUDA 소스 파일과 관련하여, 초기화되는 2개의 벡터들 A 및 B가 존재하고 벡터 덧셈 결과는 VectorAddKernel()의 일부로서 벡터 C에 넣어진다. 적어도 하나의 실시예에서, DPC++ 호환성 툴(3702)은, 작업 엘리먼트들을 인덱싱하기 위해 사용되는 CUDA 스레드 ID들을 CUDA 코드를 DPC++ 코드로 마이그레이션하는 것의 일부로서 로컬 ID를 통해 작업 엘리먼트들에 대한 SYCL 표준 어드레싱으로 변환한다. 적어도 하나의 실시예에서, DPC++ 호환성 툴(3702)에 의해 생성되는 DPC++ 코드는 - 예를 들어, nd_item의 차원수를 감소시키는 것에 의해 최적화될 수 있고, 그렇게 함으로써 메모리 및/또는 프로세서 이용을 증가시킨다.
적어도 하나의 실시예에서 그리고 위에 제시된 CUDA 소스 파일과 관련하여, 메모리 할당이 마이그레이션된다. 적어도 하나의 실시예에서, cudaMalloc()는 플랫폼, 디바이스, 컨텍스트, 및 큐와 같은 SYCL 개념들에 의존하여, 디바이스 및 컨텍스트가 전달되는 통합 공유 메모리 SYCL 호출 malloc_device()로 마이그레이션된다. 적어도 하나의 실시예에서, SYCL 플랫폼은 다수의 디바이스(예를 들어, 호스트 및 GPU 디바이스들)를 가질 수 있고; 디바이스는 작업들이 제출될 수 있는 다수의 큐들을 가질 수 있고; 각각의 디바이스는 컨텍스트를 가질 수 있고; 컨텍스트는 다수의 디바이스들을 가질 수 있고 공유 메모리 객체들을 관리할 수 있다.
적어도 하나의 실시예에서 그리고 위에 제시된 CUDA 소스 파일과 관련하여, main() 함수는 2개의 벡터들 A 및 B를 함께 덧셈하고 결과를 벡터 C에 저장하기 위해 VectorAddKernel()을 호출하거나 또는 호출한다. 적어도 하나의 실시예에서, VectorAddKernel()을 호출하기 위한 CUDA 코드는 실행을 위해 커널을 커맨드 큐에 제출하기 위해 DPC++ 코드로 치환된다. 적어도 하나의 실시예에서, 커맨드 그룹 핸들러 cgh는 큐에 제출되는 데이터, 동기화, 및 계산을 전달하고, parallel_for은 다수의 글로벌 엘리먼트들 및 해당 작업 그룹에서의 다수의 작업 항목들에 대해 호출되며, 여기서 VectorAddKernel()이 호출된다.
적어도 하나의 실시예에서 그리고 위에 제시된 CUDA 소스 파일과 관련하여, 디바이스 메모리를 복사하고 다음으로 벡터들 A, B, 및 C에 대해 메모리를 자유롭게 하기 위한 CUDA 호출들이 대응하는 DPC++ 호출들로 마이그레이션된다. 적어도 하나의 실시예에서, C++ 코드(예를 들어, 부동 소수점 변수들의 벡터를 인쇄하기 위한 표준 ISO C++ 코드)는, DPC++ 호환성 툴(3702)에 의해 수정되지 않고, 그대로 마이그레이션된다. 적어도 하나의 실시예에서, DPC++ 호환성 툴(3702)은 가속 디바이스 상에서 커널을 실행하기 위해 메모리 셋업 및/또는 호스트 호출들에 대해 CUDA API들을 수정한다. 적어도 하나의 실시예에서, 그리고 위에서 제시된 CUDA 소스 파일과 관련하여, 대응하는 인간 판독가능 DPC++(3704)(예를 들어, 컴파일될 수 있음)는 다음과 같이 작성되거나 또는 이에 관련된다:
#include <CL/sycl.hpp>
#include <dpct/dpct.hpp>
#define VECTOR_SIZE 256
void VectorAddKernel(float* A, float* B, float* C,
sycl::nd_item<3> item_ct1)
{
A[item_ct1.get_local_id(2)] = item_ct1.get_local_id(2) + 1.0f;
B[item_ct1.get_local_id(2)] = item_ct1.get_local_id(2) + 1.0f;
C[item_ct1.get_local_id(2)] =
A[item_ct1.get_local_id(2)] + B[item_ct1.get_local_id(2)];
}
int main()
{
float *d_A, *d_B, *d_C;
d_A = (float *)sycl::malloc_device(VECTOR_SIZE * sizeof(float),
dpct::get_current_device(),
dpct::get_default_context());
d_B = (float *)sycl::malloc_device(VECTOR_SIZE * sizeof(float),
dpct::get_current_device(),
dpct::get_default_context());
d_C = (float *)sycl::malloc_device(VECTOR_SIZE * sizeof(float),
dpct::get_current_device(),
dpct::get_default_context());
dpct::get_default_queue_wait().submit([&](sycl::handler &cgh) {
cgh.parallel_for(
sycl::nd_range<3>(sycl::range<3>(1, 1, 1) *
sycl::range<3>(1, 1, VECTOR_SIZE) *
sycl::range<3>(1, 1, VECTOR_SIZE)),
[=](sycl::nd_items<3> item_ct1) {
VectorAddKernel(d_A, d_B, d_C, item_ct1);
};
};
float Result[VECTOR_SIZE] = { };
dpct::get_default_queue_wait()
.memcpy(Result, d_C, VECTOR_SIZE * sizeof(float))
.wait();
sycl::free(d_A, dpct::get_default_context());
sycl::free(d_B, dpct::get_default_context());
sycl::free(d_C, dpct::get_default_context());
for (int i=0; i<VECTOR_SIZE; i++ {
if (i % 16 == 0) {
printf("\n");
}
printf("%f ", Result[i]);
}
return 0;
}
적어도 하나의 실시예에서, 인간 판독가능 DPC++(3704)는 DPC++ 호환성 툴(3702)에 의해 생성되는 출력을 지칭하며, 하나의 방식 또는 다른 방식으로 최적화될 수 있다. 적어도 하나의 실시예에서, DPC++ 호환성 툴(3702)에 의해 생성되는 인간 판독가능 DPC++(3704)는 이를 보다 유지보수가능한, 성능, 또는 다른 고려사항들을 행하기 위한 마이그레이션 후에 개발자에 의해 수동으로 편집될 수 있다. 적어도 하나의 실시예에서, 개시된 DPC++와 같은 DPC++ 호환성 툴(37002)에 의해 생성되는 DPC++ 코드는 각각의 malloc_device() 호출에 대해 get_current_device() 및/또는 get_default_context()에 대한 반복 호출들을 제거하는 것에 의해 최적화될 수 있다. 적어도 하나의 실시예에서, 위에 생성된 DPC++ 코드는 단지 단일의 차원만을 사용하도록 리팩터링될 수 있는 3 차원 nd_range를 사용하고, 그렇게 함으로써 메모리 사용을 감소시킨다. 적어도 하나의 실시예에서, 개발자는 DPC++ 호환성 툴(3702)에 의해 생성되는 DPC++ 코드를 수동으로 편집하여, 통합된 공유 메모리의 사용들을 액세서리들로 치환할 수 있다. 적어도 하나의 실시예에서, DPC++ 호환성 툴(3702)은 CUDA 코드를 DPC++ 코드로 마이그레이션하는 방법을 변경하는 옵션을 갖는다. 적어도 하나의 실시예에서, DPC++ 호환성 툴(3702)은, CUDA 코드를 많은 수의 사례들에 대해 작동하는 DPC++ 코드로 마이그레이션하기 위해 일반적인 템플릿을 사용하고 있기 때문에, 장황하다.
적어도 하나의 실시예에서, CUDA 대 DPC++ 마이그레이션 워크플로우는 다음의 단계들: 인터셉트-구축 스크립트를 사용하여 마이그레이션을 준비함; DPC++ 호환성 툴(3702)을 사용하여 DPC++로의 CUDA 프로젝트들의 마이그레이션을 수행함; 완료 및 정확성을 위해 마이그레이션된 소스 파일들을 수동으로 검토 및 편집함; 및 DPC++ 애플리케이션을 생성하기 위해 최종 DPC++ 코드를 컴파일함을 포함한다. 적어도 하나의 실시예에서, DPC++ 소스 코드의 수동 검토는 이에 제한되는 것은 아니지만 다음을 포함하는 하나 이상의 시나리오에서 요구될 수 있다: 마이그레이션된 API가 에러 코드를 리턴하지 않음(CUDA 코드는 에러 코드를 리턴할 수 있고 이는 다음으로 애플리케이션에 의해 소비될 수 있지만, SYCL은 에러들을 보고하기 위해 예외들을 사용하고, 따라서 에러 코드들을 표면 에러들에 사용하지 않는 것); CUDA 컴퓨팅 능력 의존 로직이 DPC++에 의해 지원되지 않음; 문장이 제거될 수 없음. 적어도 하나의 실시예에서, DPC++ 코드가 수동 개입을 요구하는 시나리오들은 다음을, 제한 없이, 포함할 수 있다: (*,0) 코드로 치환되는 또는 코멘트 아웃되는 에러 코드 로직; 이용가능하지 않은 등가의 DPC++ API; CUDA 컴퓨팅 능력-의존 로직; 하드웨어-의존 API (clock()); 누락 특징들 지원되지 않는 API; 실행 시간 측정 로직; 내장 벡터 타입 충돌을 핸들링함; cuBLAS API의 마이그레이션; 등.
적어도 하나의 실시예에서, 본 명세서에 설명되는 하나 이상의 기술은 oneAPI 프로그래밍 모델을 이용한다. 적어도 하나의 실시예에서, oneAPI 프로그래밍 모델은 다양한 컴퓨팅 가속기 아키텍처들과 상호작용하기 위한 프로그래밍 모델을 지칭한다. 적어도 하나의 실시예에서, oneAPI는 다양한 컴퓨팅 가속기 아키텍처들과 상호작용하도록 설계되는 API(application programming interface)를 지칭한다. 적어도 하나의 실시예에서, oneAPI 프로그래밍 모델은 DPC++ 프로그래밍 언어를 이용한다. 적어도 하나의 실시예에서, DPC++ 프로그래밍 언어는 데이터 병렬 프로그래밍 생산성을 위한 하이-레벨 언어를 지칭한다. 적어도 하나의 실시예에서, DPC++ 프로그래밍 언어는 C 및/또는 C++ 프로그래밍 언어들에 적어도 부분적으로 기초한다. 적어도 하나의 실시예에서, oneAPI 프로그래밍 모델은 캘리포니아주 산타 클라라의 Intel Corporation에 의해 개발된 것들과 같은 프로그래밍 모델이다.
적어도 하나의 실시예에서, 다양한 가속기, GPU, 프로세서, 및/또는 이들의 변형들, 아키텍처들과 상호작용하기 위해 oneAPI 및/또는 oneAPI 프로그래밍 모델이 이용된다. 적어도 하나의 실시예에서, oneAPI는 다양한 기능성들을 구현하는 라이브러리들의 세트를 포함한다. 적어도 하나의 실시예에서, oneAPI는 적어도 oneAPI DPC++ 라이브러리, oneAPI 수학 커널 라이브러리, oneAPI 데이터 분석 라이브러리, oneAPI 심층 신경망 라이브러리, oneAPI 집합적 통신 라이브러리, oneAPI 스레딩 빌딩 블록 라이브러리, oneAPI 비디오 처리 라이브러리, 및/또는 이들의 변형들을 포함한다.
적어도 하나의 실시예에서, oneDPL이라고 또한 지칭되는, oneAPI DPC++ 라이브러리는 DPC++ 커널 프로그래밍을 가속하기 위한 알고리즘들 및 기능들을 구현하는 라이브러리이다. 적어도 하나의 실시예에서, oneDPL은 하나 이상의 STL(standard template library) 기능을 구현한다. 적어도 하나의 실시예에서, oneDPL은 하나 이상의 병렬 STL 기능을 구현한다. 적어도 하나의 실시예에서, oneDPL은 병렬 알고리즘들, 반복자들, 함수 객체 클래스들, 범위-기반 API, 및/또는 이들의 변형들과 같은 라이브러리 클래스들 및 함수들의 세트를 제공한다. 적어도 하나의 실시예에서, oneDPL은 C++ 표준 라이브러리의 하나 이상의 클래스 및/또는 기능을 구현한다. 적어도 하나의 실시예에서, oneDPL은 하나 이상의 난수 생성기 기능을 구현한다.
적어도 하나의 실시예에서, oneMKL이라고 또한 지칭되는, oneAPI 수학 커널 라이브러리는 다양한 수학 함수들 및/또는 연산들에 대한 다양한 최적화되고 병렬화된 루틴들을 구현하는 라이브러리이다. 적어도 하나의 실시예에서, oneMKL은 하나 이상의 BLAS(basic linear algebra subprograms) 및/또는 LAPACK(linear algebra package) 조밀 선형 대수 루틴을 구현한다. 적어도 하나의 실시예에서, oneMKL은 하나 이상의 희소 BLAS 선형 대수 루틴을 구현한다. 적어도 하나의 실시예에서, oneMKL은 하나 이상의 RNG(random number generators)를 구현한다. 적어도 하나의 실시예에서, oneMKL은 벡터들에 대한 수학적 연산들을 위한 하나 이상의 VM(vector mathematics) 루틴을 구현한다. 적어도 하나의 실시예에서, oneMKL은 하나 이상의 FFT(Fast Fourier Transform) 기능을 구현한다.
적어도 하나의 실시예에서, oneDAL이라고 또한 지칭되는, oneAPI 데이터 분석 라이브러리는 다양한 데이터 분석 애플리케이션들 및 분산 계산들을 구현하는 라이브러리이다. 적어도 하나의 실시예에서, oneDAL은 데이터 분석을 위한 전처리, 변환, 분석, 모델링, 검증, 및 의사 결정을 위한 다양한 알고리즘들을, 계산의 일괄, 온라인, 및 분산 처리 모드들로 구현한다. 적어도 하나의 실시예에서, oneDAL은 하나 이상의 데이터 소스에 대한 다양한 커넥터 및 다양한 C++ 및/또는 Java API를 구현한다. 적어도 하나의 실시예에서, oneDAL은 전통적인 C++ 인터페이스에 대한 DPC++ API 확장들을 구현하고 다양한 알고리즘에 대한 GPU 사용을 가능하게 한다.
적어도 하나의 실시예에서, oneDNN이라고 또한 지칭되는, oneAPI 심층 신경망 라이브러리는 다양한 심층 학습 기능들을 구현하는 라이브러리이다. 적어도 하나의 실시예에서, oneDNN은 다양한 신경망, 머신 학습, 및 심층 학습 기능들, 알고리즘들, 및/또는 이들의 변형들을 구현한다.
적어도 하나의 실시예에서, oneCCL이라고 또한 지칭되는, oneAPI 집합적 통신 라이브러리는 심층 학습 및 머신 학습 작업부하들을 위한 다양한 애플리케이션들을 구현하는 라이브러리이다. 적어도 하나의 실시예에서, oneCCL은, MPI(message passing interface) 및 리브패브릭(libfabrics)과 같은, 하위-레벨 통신 미들웨어 상에 구축된다. 적어도 하나의 실시예에서, oneCCL은, 우선순위화, 영구 연산들, 비순차적 실행들, 및/또는 이들의 변형들과 같은, 심층 학습 특정 최적화들의 세트를 가능하게 한다. 적어도 하나의 실시예에서, oneCCL은 다양한 CPU 및 GPU 기능들을 구현한다.
적어도 하나의 실시예에서, oneTBB라고 또한 지칭되는, oneAPI 스레딩 빌딩 블록 라이브러리는 다양한 애플리케이션들에 대한 다양한 병렬화된 프로세스들을 구현하는 라이브러리이다. 적어도 하나의 실시예에서, oneTBB는 호스트 상의 태스크-기반, 공유 병렬 프로그래밍을 위해 이용된다. 적어도 하나의 실시예에서, oneTBB는 일반 병렬 알고리즘들을 구현한다. 적어도 하나의 실시예에서, oneTBB는 동시 컨테이너들을 구현한다. 적어도 하나의 실시예에서, oneTBB는 스케일가능 메모리 할당기를 구현한다. 적어도 하나의 실시예에서, oneTBB는 작업-가로채기(work-stealing) 태스크 스케줄러를 구현한다. 적어도 하나의 실시예에서, oneTBB는 로우-레벨 동기화 프리미티브들을 구현한다. 적어도 하나의 실시예에서, oneTBB는 컴파일러-독립적이고, GPU들, PPU들, CPU들, 및/또는 이들의 변형들과 같은, 다양한 프로세서들 상에서 사용가능하다.
적어도 하나의 실시예에서, oneVPL이라고 또한 지칭되는, oneAPI 비디오 처리 라이브러리는, 하나 이상의 애플리케이션에서 비디오 처리를 가속하기 위해 이용되는 라이브러리이다. 적어도 하나의 실시예에서, oneVPL은 다양한 비디오 디코딩, 인코딩, 및 처리 기능들을 구현한다. 적어도 하나의 실시예에서, oneVPL은 CPU들, GPU들, 및 다른 가속기들 상에서 미디어 파이프라인들에 대한 다양한 기능들을 구현한다. 적어도 하나의 실시예에서, oneVPL은 미디어 중심 및 비디오 분석 작업부하들에서 디바이스 발견 및 선택을 구현한다. 적어도 하나의 실시예에서, oneVPL은 제로-카피(zero-copy) 버퍼 공유를 위한 API 프리미티브를 구현한다.
적어도 하나의 실시예에서, oneAPI 프로그래밍 모델은 DPC++ 프로그래밍 언어를 이용한다. 적어도 하나의 실시예에서, DPC++ 프로그래밍 언어는, 디바이스 코드를 정의하고 디바이스 코드와 호스트 코드 사이를 구별하는 기능적으로 유사한 버전들의 CUDA 메커니즘들을, 제한 없이, 포함하는 프로그래밍 언어이다. 적어도 하나의 실시예에서, DPC++ 프로그래밍 언어는 CUDA 프로그래밍 언어의 기능성의 서브세트를 포함할 수 있다. 적어도 하나의 실시예에서, DPC++ 프로그래밍 언어를 사용하는 oneAPI 프로그래밍 모델을 사용하여 하나 이상의 CUDA 프로그래밍 모델 연산들이 수행된다.
본 명세서에 설명되는 예시적인 실시예들이 CUDA 프로그래밍 모델에 관련될 수 있지만, 본 명세서에 설명되는 기술들은, HIP, oneAPI(예를 들어, 본 명세서에 개시되는 방법을 수행하거나 또는 구현하기 위해 oneAPI 기반 프로그래밍을 사용함), 및/또는 이들의 변형들과 같은, 임의의 적합한 프로그래밍 모델과 함께 이용될 수 있다는 점이 주목되어야 한다.
적어도 하나의 실시예에서, 위에 개시된 시스템들 및/또는 프로세서들의 하나 이상의 컴포넌트는, 예를 들어, 이미지를 업스케일링하기 위한 업스케일러 또는 업샘플러, 이미지들을 함께 블렌딩, 혼합, 또는 추가하기 위한 이미지 블렌더 또는 이미지 블렌더 컴포넌트, (예를 들어, DSP의 일부로서) 이미지를 샘플링하기 위한 샘플러, (예를 들어, 저 해상도 이미지로부터 고 해상도 이미지로) 이미지를 업스케일링하기 위해 업스케일러를 수행하도록 구성되는 신경망 회로, 또는 이미지, 프레임, 또는 비디오를 수정 또는 생성하여 그 해상도, 크기, 또는 픽셀들을 조정하기 위한 다른 하드웨어를 포함하는 하나 이상의 CPU, ASIC, GPU, FPGA, 또는 다른 하드웨어, 회로, 또는 집적 회로 컴포넌트들과 통신할 수 있고; 위에 개시된 시스템들 및/또는 프로세서들의 하나 이상의 컴포넌트는 이미지를 생성하거나 또는 수정하는 방법들, 동작들, 또는 명령어들을 수행하기 위해 본 개시내용에서 설명되는 컴포넌트들을 사용할 수 있다.
본 개시내용의 적어도 하나의 실시예는 다음의 조항들의 관점에서 설명될 수 있다:
1. 프로세서로서, 압축될 정보를 저장한 스토리지를 표시하는 "API"(application programming interface)를 수행하는 하나 이상의 회로를 포함하는 프로세서.
2. 조항 1의 프로세서로서, API는 스토리지가 처리 디바이스에서의 회로로의 송신을 위해 압축가능한 정보를 포함하도록 의도된다는 점을 표시하는 프로세서.
3. 조항들 1 또는 2의 프로세서로서, 애플리케이션 프로그래밍 인터페이스의 수행은 할당될 스토리지의 영역을 지정하는 프로세서.
4. 조항들 1 내지 3 중 임의의 것의 프로세서로서, 정보는 L2 캐시로의 송신을 위해, 표시에 적어도 부분적으로 기초하여, 처리 디바이스에 의해 압축되는 프로세서.
5. 조항들 1 내지 4 중 임의의 것의 프로세서로서, 하나 이상의 회로는 페이지 테이블에 저장될 데이터로 하여금 스토리지가 압축가능한 데이터를 포함한다는 점을 표시하게 하는 프로세서.
6. 조항들 1 내지 5 중 임의의 것의 프로세서로서, 압축된 정보는 포스트-캐시 압축 회로에 의해 압축되지 않는 프로세서.
7. 조항들 1 내지 6 중 임의의 것의 프로세서로서, API의 기능은 정보를 압축하기 위해 사용될 데이터 압축의 타입을 표시하는 파라미터를 포함하는 프로세서.
8. 조항들 1 내지 7 중 임의의 것의 프로세서로서, 애플리케이션 프로그래밍 인터페이스는 처리 유닛으로 하여금 압축된 정보를 캐시에 저장하게 그리고 정보를 압축해제하여 정보를 캐시의 클라이언트 회로에 송신하게 하는 프로세서.
9. 시스템으로서,
압축될 정보를 저장한 스토리지를 표시하는 API를 수행하는 하나 이상의 프로세서를 포함하는 시스템.
10. 조항 9의 시스템으로서, API는 정보가 처리 디바이스의 컴포넌트들 사이의 송신을 위해 압축가능하다는 점을 표시하기 위해 사용가능한 시스템.
11. 조항들 9 또는 10의 시스템으로서, 정보는 프로세서 캐시로의 송신을 위해, 표시에 적어도 부분적으로 기초하여, 처리 디바이스에 의해 압축되는 시스템.
12. 조항들 9 내지 11 중 임의의 것의 시스템으로서, 표시는 메모리의 할당된 블록이 컴포넌트들 사이의 송신을 위해 압축될 데이터를 포함한다는 점을 표시하는 시스템.
13. 조항들 9 내지 12 중 임의의 것의 시스템으로서, 압축된 정보는 처리 디바이스의 회로에 의해 압축해제되는 시스템.
14. 조항들 9 내지 13 중 임의의 것의 시스템으로서, API는 스토리지에 저장되는 정보를 송신하기 위해 사용할 압축의 타입을 표시하는 함수 또는 파라미터 중 적어도 하나를 포함하는 시스템.
15. 명령어들이 저장된 머신-판독가능 매체로서, 명령어들의 세트는, 하나 이상의 프로세서에 의해 수행되면, 하나 이상의 프로세서로 하여금 적어도:
압축될 정보를 저장한 스토리지를 표시하는 API를 수행하게 하는 머신-판독가능 매체.
16. 조항 15의 머신-판독가능 매체로서, API는 정보가 처리 디바이스의 컴포넌트들 사이의 송신을 위해 압축가능하다는 점을 표시하기 위해 사용가능한 머신-판독가능 매체.
17. 조항들 15 또는 16의 머신-판독가능 매체로서, 처리 디바이스가 스토리지에 저장되는 정보를 압축하고 압축된 정보를 L2 캐시에 송신하는 머신-판독가능 매체.
18. 조항들 15 내지 17 중 임의의 것의 머신-판독가능 매체로서, API는 압축가능한 정보를 저장할 스토리지의 블록을 할당하는 기능을 포함하는 머신-판독가능 매체.
19. 조항들 15 내지 18 중 임의의 것의 머신-판독가능 매체로서, API의 기능은 스토리지에 저장되는 데이터가 처리 디바이스의 컴포넌트들 사이의 송신을 위해 압축될 수 있다는 점을 표시하는 파라미터를 포함하는 머신-판독가능 매체.
20. 조항들 15 내지 19 중 임의의 것의 머신-판독가능 매체로서, 추가의 명령어들을 저장하고, 명령어들은, 하나 이상의 프로세서에 의해 수행되면, 하나 이상의 프로세서로 하여금 적어도:
처리 디바이스로 하여금 정보를 압축하게 하고- 압축된 정보는 캐시에 송신됨 -;
처리 디바이스로 하여금 클라이언트로의 송신을 위해 정보를 압축해제하게 하는 머신-판독가능 매체.
21. 조항들 15 내지 20 중 임의의 것의 머신-판독가능 매체로서, 함수 또는 파라미터 중 적어도 하나가, 스토리지에 저장되는 정보를 송신하기 위해 사용할 압축의 타입을 표시하는 머신-판독가능 매체.
22. 방법으로서,
처리 디바이스에 의해 압축될 정보를 저장한 스토리지를 표시하는 API를 제공하는 단계를 포함하는 방법.
23. 조항 22의 방법으로서, 추가로,
처리 디바이스의 컴포넌트들 사이의 송신 이전에 정보가 압축될 수 있다는 점을 표시하는 API에서의 기능을 제공하는 단계를 포함하는 방법.
24. 조항들 22 또는 23의 방법으로서, 추가로,
표시에 응답하여 정보를 압축하는 단계; 및
압축된 정보를 L2 캐시에 송신하는 단계를 포함하는 방법.
25. 조항들 22 내지 24 중 임의의 것의 방법으로서, 표시는 메모리의 할당된 블록이 처리 디바이스의 컴포넌트들 사이의 송신을 위해 압축될 데이터를 포함할 것이라는 점을 표시하는 데이터를 포함하는 방법.
26. 조항들 22 내지 25 중 임의의 것의 방법으로서, API의 기능은 압축의 타입을 표시하는 파라미터를 포함하는 방법.
27. 조항들 22 내지 26 중 임의의 것의 방법으로서, 추가로,
압축된 정보를 캐시에 저장한 단계; 및
압축해제된 정보를 처리 디바이스의 컴포넌트에 송신하기 이전에 압축된 정보를 압축해제하는 단계를 포함하는 방법.
28. 조항들 22 내지 27 중 임의의 것의 방법으로서, 추가로,
API에 의해, 처리 디바이스의 컴포넌트들 사이의 송신의 착수에 응답하여 콘텐츠가 압축될 메모리를 할당하는 메모리 할당 기능을 제공하는 단계를 포함하는 방법.
다른 변형들은 본 개시내용의 사상 내에 있다. 따라서, 개시된 기술들은 다양한 수정 및 대안적인 구성이 가능하지만, 이들의 특정 예시된 실시예들은 도면들에 도시되고 상세히 위에 설명되었다. 그러나, 개시된 구체적인 형태 또는 형태들로 본 개시내용을 제한하려는 의도는 없지만, 대조적으로, 첨부된 청구항들에 정의되는 바와 같이 본 개시내용의 사상 및 범위 내에 속하는 모든 수정, 대안적 구성 및 균등물을 커버하고자 하는 의도임이 이해되어야 한다.
개시된 실시예를 설명하는 맥락에서(특히 다음의 청구항들의 맥락에서) 단수("a" 및 "an" 및 "the" ) 용어 및 유사한 지시대상의 사용은, 본 명세서에 달리 표시되거나 또는 맥락에 의해 명백하게 모순되지 않는 한, 단수 및 복수 양자 모두를 커버하는 것으로 해석되어야 하며, 용어의 정의로서 해석되지 않는다. "포함하는(comprising)", "갖는(having)", "포함하는(including)" 및 "포함하는(containing)"이라는 용어들은, 달리 언급되지 않는 한, 제약을 두지 않는 용어들(즉, "이에 제한되는 것은 아니지만, 포함하는(including, but not limited to)"을 의미함)로 해석되어야 한다. "접속되는(connected)"이라는 용어는, 수정되지 않고 물리 접속들을 참조할 때, 심지어 개재하는 것이 있더라도, 부분적으로 또는 전체적으로 내부에 포함되거나, 부착되거나, 또는 함께 결합되는 것으로 해석되어야 한다. 본 명세서에서 값들의 범위들의 나열은, 본 명세서에서 달리 표시되지 않는 한, 그 범위 내에 속하는 각각의 별개의 값을 개별적으로 언급하는 약식 방법으로서 역할하는 것으로 단지 의도되며, 각각의 별개의 값은 본 명세서에서 개별적으로 나열된 것처럼 본 명세서에 통합된다. "세트(set)"(예를 들어, "항목들의 세트(a set of items)") 또는 "서브세트(subset)"라는 용어의 사용은, 맥락에 의해 달리 언급되거나 또는 모순되지 않는 한, 하나 이상의 멤버를 포함하는 비어 있지 않은 집합으로서 해석되어야 한다. 추가로, 맥락에 의해 달리 언급되거나 또는 모순되지 않는 한, 대응하는 세트의 "서브세트(subset)"이라는 용어는 반드시 대응하는 세트의 적절한 서브세트를 나타내는 것은 아니며, 서브세트 및 대응하는 세트는 동일할 수 있다.
"A, B, 및 C 중 적어도 하나(at least one of A, B, and C)", 또는 "A, B 및 C 중 적어도 하나(at least one of A, B and C)"이라는 형태의 문구들과 같은, 연결 언어는, 달리 구체적으로 언급되지 않는 한 또는 그렇지 않으면 맥락에 의해 명백히 모순되지 않는 한, 항목, 용어 등이 A 또는 B 또는 C 중 어느 하나, 또는 A와 B와 C의 세트의 임의의 비어 있지 않은 서브세트일 수도 있다는 것을 제시하기 위해 일반적으로 사용되는 맥락으로 달리 이해된다. 예를 들어, 3개의 멤버들을 갖는 세트의 예시적인 예에서, "A, B, 및 C 중 적어도 하나(at least one of A, B, and C)" 및 "A, B 및 C 중 적어도 하나(at least one of A, B and C)"이라는 연결 문구들은 다음의 세트들: {A}, {B}, {C}, {A, B}, {A, C}, {B, C}, {A, B, C} 중 임의의 것을 지칭한다. 따라서, 이러한 연결 언어는 특정 실시예들이 각각 제시될 적어도 하나의 A, 적어도 하나의 B 및 적어도 하나의 C를 요구함을 암시하도록 일반적으로 의도되지 않는다. 또한, 맥락상 달리 언급되거나 또는 모순되지 않는 한, 용어 "복수(plurality)"는 복수인 상태를 표시한다(예를 들어, "복수의 항목들(a plurality of items)"은 다수의 항목들을 표시한다). 복수에서 항목들의 수는 적어도 2개의 항목들이지만, 명시적으로 또는 맥락에 의해 그렇게 표시될 때 더 많을 수 있다. 추가로, 달리 언급되거나 또는 맥락으로부터 달리 명백하지 않는 한, "~에 기초하여(based on)"이라는 문구는 "~에 단독으로 기초하여(based solely on)"가 아니라 "~에 적어도 부분적으로 기초하여(based at least in part on)"를 의미한다.
본 명세서에 설명되는 프로세스들의 연산들은, 본 명세서에 달리 표시되지 않거나 또는 맥락상 달리 명백히 모순되지 않는 한 임의의 적합한 순서로 수행될 수 있다. 적어도 하나의 실시예에서, 본 명세서에 설명되는 프로세스들(또는 이들의 변형들 및/또는 조합들)과 같은 프로세스는, 실행가능한 명령어들로 구성된 하나 이상의 컴퓨터 시스템의 제어하에 수행되고, 하나 이상의 프로세서 상에서 집합적으로 실행되는 코드(예를 들어, 실행가능한 명령어들, 하나 이상의 컴퓨터 프로그램 또는 하나 이상의 애플리케이션)로서, 하드웨어에 의해 또는 이들의 조합으로 구현된다. 적어도 하나의 실시예에서, 코드는, 예를 들어, 하나 이상의 프로세서에 의해 실행가능한 복수의 명령어를 포함하는 컴퓨터 프로그램의 형태로, 컴퓨터-판독가능 스토리지 매체 상에 저장된다. 적어도 하나의 실시예에서, 컴퓨터-판독가능 스토리지 매체는, 일시적인 신호들(예를 들어, 전파하는 과도적인 전기 또는 전자기 전송)을 배제하지만 일시적인 신호들의 송수신기들 내의 비-일시적 데이터 스토리지 회로(예를 들어, 버퍼, 캐시 및 큐)를 포함하는 비-일시적 컴퓨터-판독가능 스토리지 매체이다. 적어도 하나의 실시예에서, 코드(예를 들어, 실행가능한 코드 또는 소스 코드)는, 컴퓨터 시스템의 하나 이상의 프로세서에 의해 실행될 때 (예를 들어, 실행의 결과로서), 컴퓨터 시스템으로 하여금 본 명세서에 설명되는 연산들을 수행하게 하는 실행가능한 명령어들이 저장된 하나 이상의 비-일시적 컴퓨터-판독가능 스토리지 매체(또는 실행가능한 명령어들을 저장한 다른 메모리)의 세트 상에 저장된다. 비-일시적 컴퓨터-판독가능 스토리지 매체들의 세트는, 적어도 하나의 실시예에서, 다수의 비-일시적 컴퓨터-판독가능 스토리지 매체들을 포함하고, 다수의 비-일시적 컴퓨터-판독가능 스토리지 매체들의 개별 비-일시적 스토리지 매체들 중 하나 이상은 코드의 전부가 결여된 반면, 다수의 비-일시적 컴퓨터-판독가능 스토리지 매체들은 모든 코드를 집합적으로 저장한다. 적어도 하나의 실시예에서, 실행가능한 명령어들은 상이한 명령어들이 상이한 프로세서들에 의해 실행되도록 실행된다- 예를 들어, 비-일시적 컴퓨터-판독가능 스토리지 매체 저장소 명령어들 및 메인 "CPU"(central processing unit)는 명령어들의 일부를 실행하는 반면 "GPU"(graphics processing unit)은 다른 명령어들을 실행한다. 적어도 하나의 실시예에서, 컴퓨터 시스템의 상이한 컴포넌트들은 별개의 프로세서들을 갖고 상이한 프로세서들은 명령어들의 상이한 서브세트들을 실행한다.
따라서, 적어도 하나의 실시예에서, 컴퓨터 시스템들은 본 명세서에 설명되는 프로세스들의 연산들을 단독으로 또는 집합적으로 수행하는 하나 이상의 서비스를 구현하도록 구성되고 이러한 컴퓨터 시스템들은 연산들의 수행을 가능하게 하는 적용가능한 하드웨어 및/또는 소프트웨어로 구성된다. 추가로, 본 개시내용의 적어도 하나의 실시예를 구현하는 컴퓨터 시스템은 단일의 디바이스이고, 다른 실시예에서는, 상이하게 동작하는 다수의 디바이스들을 포함하는 분산형 컴퓨터 시스템으로서, 분산형 컴퓨터 시스템이 본 명세서에 설명되는 연산들을 수행하지만 단일의 디바이스가 연산들 모두를 수행하지는 않는다.
본 명세서에 제공되는 임의의 그리고 모든 예들, 또는 예시적인 언어(예를 들어, "~와 같은(such as)")의 사용은 단지 본 개시내용의 실시예들을 더 잘 예시하도록 의도되고, 달리 청구되지 않는 한 본 개시내용의 범위에 제한을 두지 않는다. 명세서에서의 어떠한 언어도 본 개시내용의 실시에 필수적인 임의의 청구되지 않은 엘리먼트를 표시하는 것으로 해석되어서는 안 된다.
본 명세서에서 인용되는 간행물들, 특허 출원들, 및 특허들을 포함하는 모든 참조 문헌들은, 마치 각각의 참조 문헌이 개별적으로 그리고 구체적으로 참조에 의해 원용되는 것으로 표시되고 그 전체내용이 본 명세서에 제시되는 것과 동일한 정도로 참조에 의해 본 명세서에 원용된다.
상세한 설명 및 청구항들에서, 그들의 파생어들과 함께, "연결된(coupled)" 및 "접속된(connected)"이라는 용어들이 사용될 수 있다. 이러한 용어들은 서로 동의어로서 의도될 수 있는 것은 아니라는 점이 이해되어야 한다. 오히려, 특정 예들에서, "접속된(connected)" 또는 "연결된(coupled)"은 2개 이상의 엘리먼트들이 서로 직접 또는 간접 물리 또는 전기적으로 접촉하는 점을 표시하기 위해 사용될 수 있다. "연결된(coupled)"은, 2개 이상의 엘리먼트들이 서로 직접 접촉하지는 않지만 여전히 서로 상호작용하거나 또는 협력하는 것을 또한 의미할 수 있다.
구체적으로 달리 언급되지 않는 한, 명세서 전반적으로, "처리(processing)", "컴퓨팅(computing)", "계산(calculating)", "결정(determining)" 등과 같은 용어들은, 컴퓨팅 시스템의 레지스터들 및/또는 메모리들 내의 전자적 양들과 같은 물리 양들로서 표현되는 데이터를, 컴퓨팅 시스템의 메모리들, 레지스터들 또는 다른 이러한 정보 저장, 송신 또는 디스플레이 디바이스들 내의 물리 양들로서 유사하게 표현되는 다른 데이터로 조작 및/또는 변환하는 컴퓨터 또는 컴퓨팅 시스템, 또는 유사한 전자 컴퓨팅 디바이스의 액션 및/또는 프로세스들을 지칭한다는 점이 이해될 수 있다.
유사한 방식으로, "프로세서(processor)"라는 용어는 전자 데이터를 레지스터들 및/또는 메모리에 저장될 수도 있는 다른 전자 데이터로 변환하기 위해 레지스터들 및/또는 메모리로부터의 전자 데이터를 처리하는 임의의 디바이스 또는 디바이스의 일부를 지칭할 수도 있다. 비-제한적인 예로서, "프로세서(processor)"는 CPU 또는 GPU일 수 있다. "컴퓨팅 플랫폼(computing platform)"은 하나 이상의 프로세서를 포함할 수 있다. 본 명세서에서 사용되는 바와 같이, "소프트웨어(software)" 프로세스들은, 예를 들어, 태스크들, 스레드들, 및 지능형 에이전트들과 같은, 시간이 지남에 따라 작업을 수행하는 소프트웨어 및/또는 하드웨어 엔티티들을 포함할 수 있다. 또한, 각각의 프로세스는, 명령어들을 시퀀스로 또는 병렬로, 연속적으로 또는 간헐적으로 실행하기 위해 다수의 프로세스들을 참조할 수 있다. "시스템(system)" 및 "방법(method)"이라는 용어들은, 시스템이 하나 이상의 방법을 구현할 수 있고 방법이 시스템으로 고려될 수 있는 한, 본 명세서에서 상호교환가능하게 사용된다.
적어도 하나의 실시예에서, 산술 로직 유닛은 하나 이상의 입력을 취하여 결과를 생산하는 조합 로직 회로의 세트이다. 적어도 하나의 실시예에서, 덧셈, 뺄셈, 또는 곱셈과 같은 수학적 연산을 구현하기 위해 프로세서에 의해 산술 로직 유닛이 사용된다. 적어도 하나의 실시예에서, 산술 로직 유닛은 논리 AND/OR 또는 XOR과 같은 논리 연산들을 구현하기 위해 사용된다. 적어도 하나의 실시예에서, 산술 로직 유닛은 무상태이고, 논리 게이트들을 형성하도록 배열된 반도체 트랜지스터들과 같은 물리 스위칭 컴포넌트들로 이루어진다. 적어도 하나의 실시예에서, 산술 로직 유닛은 연관된 클록을 갖는 상태 유지 로직 회로로서 내부적으로 동작할 수 있다. 적어도 하나의 실시예에서, 산술 로직 유닛은 연관된 레지스터 세트에 내부 상태가 유지되지 않는 비동기식 로직 회로로서 구성될 수 있다. 적어도 하나의 실시예에서, 산술 로직 유닛은 프로세서의 하나 이상의 레지스터에 저장되는 피연산자들을 조합하고 프로세서에 의해 다른 레지스터 또는 메모리 위치에 저장될 수 있는 출력을 생산하기 위해 프로세서에 의해 사용된다.
적어도 하나의 실시예에서, 프로세서에 의해 검색된 명령어를 처리한 결과로서, 프로세서는 하나 이상의 입력 또는 피연산자를 산술 로직 유닛에 제시하여, 산술 로직 유닛으로 하여금 산술 로직 유닛의 입력들에 제공된 명령어 코드에 적어도 부분적으로 기초하여 결과를 생산하게 한다. 적어도 하나의 실시예에서, 프로세서에 의해 ALU에 제공되는 명령어 코드들은 프로세서에 의해 실행되는 명령어에 적어도 부분적으로 기초한다. 적어도 하나의 실시예에서, ALU 내의 조합 로직은 입력들을 처리하고 프로세서 내의 버스 상에 배치되는 출력을 생산한다. 적어도 하나의 실시예에서, 프로세서는, 프로세서의 클록킹이 ALU에 의해 생산되는 결과들로 하여금 원하는 위치로 전송되게 하도록, 출력 버스 상에서 목적지 레지스터, 메모리 위치, 출력 디바이스, 또는 출력 스토리지 위치를 선택한다.
본 문서에서, 아날로그 또는 디지털 데이터를 획득하거나, 취득하거나, 수신하거나, 또는 서브시스템, 컴퓨터 시스템 또는 컴퓨터-구현된 머신에 입력하는 것에 대한 참조가 이루어질 수 있다. 아날로그 및 디지털 데이터를 획득, 취득, 수신 또는 입력하는 프로세스는 함수 호출 또는 애플리케이션 프로그래밍 인터페이스에 대한 호출의 파라미터로서 데이터를 수신하는 것과 같은 다양한 방식으로 달성될 수 있다. 일부 구현들에서, 아날로그 또는 디지털 데이터를 획득, 취득, 수신 또는 입력하는 프로세스는 직렬 또는 병렬 인터페이스를 통해 데이터를 전송하는 것에 의해 달성될 수 있다. 다른 구현에서, 아날로그 또는 디지털 데이터를 획득, 취득, 수신, 또는 입력하는 프로세스는 제공 엔티티로부터 취득 엔티티로 컴퓨터 네트워크를 통해 데이터를 전송하는 것에 의해 달성될 수 있다. 아날로그 또는 디지털 데이터를 제공, 출력, 전송, 송신, 또는 제시하는 것이 또한 참조될 수 있다. 다양한 예들에서, 아날로그 또는 디지털 데이터를 제공, 출력, 송신, 전송 또는 제시하는 프로세스는 함수 호출의 입력 또는 출력 파라미터, 애플리케이션 프로그래밍 인터페이스 또는 프로세스간 통신 메커니즘의 파라미터로서 데이터를 전송하는 것에 의해 달성될 수 있다.
위 논의가 설명된 기술들의 예시적인 구현들을 제시하지만, 다른 아키텍처들이 설명된 기능성을 구현하기 위해 사용될 수 있고, 본 개시내용의 범위 내에 있는 것으로 의도된다. 또한, 논의의 목적들을 위해 책임들의 구체적인 분배들이 위에서 정의되지만, 다양한 기능들 및 책임들은 상황들에 의존하여 상이한 방식들로 분산되고 분할될 수 있다.
또한, 구조적 특징들 및/또는 방법론적 작용들에 구체적인 언어로 주제가 설명되었지만, 첨부된 청구항들에서 청구되는 주제는 반드시 설명된 구체적 특징들 또는 작용들로 제한되는 것은 아니라는 점이 이해되어야 한다. 오히려, 개시된 구체적인 특징들 및 작용들은 청구항들을 구현하는 예시적인 형태들로서 개시된 것이다.

Claims (28)

  1. 프로세서로서, 압축될 정보를 저장한 스토리지를 표시하는 애플리케이션 프로그래밍 인터페이스(API)를 수행하는 하나 이상의 회로를 포함하는 프로세서.
  2. 제1항에 있어서, 상기 API는 상기 스토리지가 처리 디바이스에서의 회로로의 송신을 위해 압축가능한 정보를 포함하도록 의도된다는 점을 표시하는 프로세서.
  3. 제1항에 있어서, 상기 애플리케이션 프로그래밍 인터페이스의 수행은 할당될 스토리지의 영역을 지정하는 프로세서.
  4. 제1항에 있어서, 상기 정보는 L2 캐시로의 송신을 위해, 상기 표시에 적어도 부분적으로 기초하여, 처리 디바이스에 의해 압축되는 프로세서.
  5. 제1항에 있어서, 상기 하나 이상의 회로는 페이지 테이블에 저장될 데이터로 하여금 상기 스토리지가 압축가능한 데이터를 포함한다는 점을 표시하게 하는 프로세서.
  6. 제1항에 있어서, 상기 압축된 정보는 포스트-캐시 압축 회로에 의해 압축되지 않는 프로세서.
  7. 제1항에 있어서, 상기 API의 기능은 상기 정보를 압축하기 위해 사용될 데이터 압축의 타입을 표시하는 파라미터를 포함하는 프로세서.
  8. 제1항에 있어서, 상기 애플리케이션 프로그래밍 인터페이스는 처리 유닛으로 하여금 상기 압축된 정보를 캐시에 저장하게 그리고 상기 정보를 압축해제하여 상기 정보를 상기 캐시의 클라이언트 회로에 송신하게 하는 프로세서.
  9. 시스템으로서,
    압축될 정보를 저장한 스토리지를 표시하는 API를 수행하는 하나 이상의 프로세서를 포함하는 시스템.
  10. 제9항에 있어서, 상기 API는 상기 정보가 처리 디바이스의 컴포넌트들 사이의 송신을 위해 압축가능하다는 점을 표시하기 위해 사용가능한 시스템.
  11. 제9항에 있어서, 상기 정보는 프로세서 캐시로의 송신을 위해, 상기 표시에 적어도 부분적으로 기초하여, 처리 디바이스에 의해 압축되는 시스템.
  12. 제9항에 있어서, 상기 표시는 메모리의 할당된 블록이 컴포넌트들 사이의 송신을 위해 압축될 데이터를 포함한다는 점을 표시하는 시스템.
  13. 제9항에 있어서, 상기 압축된 정보는 처리 디바이스의 회로에 의해 압축해제되는 시스템.
  14. 제9항에 있어서, 상기 API는 상기 스토리지에 저장되는 정보를 송신하기 위해 사용할 압축의 타입을 표시하는 함수 또는 파라미터 중 적어도 하나를 포함하는 시스템.
  15. 명령어들이 저장된 머신-판독가능 매체로서, 상기 명령어들의 세트는, 하나 이상의 프로세서에 의해 수행되면, 상기 하나 이상의 프로세서로 하여금 적어도:
    압축될 정보를 저장한 스토리지를 표시하는 API를 수행하게 하는 머신-판독가능 매체.
  16. 제15항에 있어서, 상기 API는 상기 정보가 처리 디바이스의 컴포넌트들 사이의 송신을 위해 압축가능하다는 점을 표시하기 위해 사용가능한 머신-판독가능 매체.
  17. 제15항에 있어서, 처리 디바이스가 상기 스토리지에 저장되는 정보를 압축하고 상기 압축된 정보를 L2 캐시에 송신하는 머신-판독가능 매체.
  18. 제15항에 있어서, 상기 API는 압축가능한 정보를 저장할 스토리지의 블록을 할당하는 기능을 포함하는 머신-판독가능 매체.
  19. 제15항에 있어서, 상기 API의 기능은 상기 스토리지에 저장되는 데이터가 처리 디바이스의 컴포넌트들 사이의 송신을 위해 압축될 수 있다는 점을 표시하는 파라미터를 포함하는 머신-판독가능 매체.
  20. 제15항에 있어서, 추가의 명령어들을 저장하고, 상기 명령어들은, 하나 이상의 프로세서에 의해 수행되면, 상기 하나 이상의 프로세서로 하여금 적어도:
    처리 디바이스로 하여금 상기 정보를 압축하게 하고- 상기 압축된 정보는 캐시에 송신됨 -;
    상기 처리 디바이스로 하여금 클라이언트로의 송신을 위해 상기 정보를 압축해제하게 하는 머신-판독가능 매체.
  21. 제15항에 있어서, 함수 또는 파라미터 중 적어도 하나가, 상기 스토리지에 저장되는 정보를 송신하기 위해 사용할 압축의 타입을 표시하는 머신-판독가능 매체.
  22. 방법으로서,
    처리 디바이스에 의해 압축될 정보를 저장한 스토리지를 표시하는 API를 제공하는 단계를 포함하는 방법.
  23. 제22항에 있어서, 추가로,
    상기 처리 디바이스의 컴포넌트들 사이의 송신 이전에 상기 정보가 압축될 수 있다는 점을 표시하는 상기 API에서의 기능을 제공하는 단계를 포함하는 방법.
  24. 제22항에 있어서, 추가로,
    상기 표시에 응답하여 상기 정보를 압축하는 단계; 및
    상기 압축된 정보를 L2 캐시에 송신하는 단계를 포함하는 방법.
  25. 제22항에 있어서, 상기 표시는 메모리의 할당된 블록이 상기 처리 디바이스의 컴포넌트들 사이의 송신을 위해 압축될 데이터를 포함할 것이라는 점을 표시하는 데이터를 포함하는 방법.
  26. 제22항에 있어서, 상기 API의 기능은 압축의 타입을 표시하는 파라미터를 포함하는 방법.
  27. 제22항에 있어서, 추가로,
    압축된 정보를 캐시에 저장한 단계; 및
    압축해제된 정보를 상기 처리 디바이스의 컴포넌트에 송신하기 이전에 상기 압축된 정보를 압축해제하는 단계를 포함하는 방법.
  28. 제22항에 있어서, 추가로,
    상기 API에 의해, 상기 처리 디바이스의 컴포넌트들 사이의 송신의 착수에 응답하여 콘텐츠가 압축될 메모리를 할당하는 메모리 할당 기능을 제공하는 단계를 포함하는 방법.
KR1020227019710A 2021-05-13 2022-05-09 데이터 압축 api Pending KR20220155254A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US202163188282P 2021-05-13 2021-05-13
US63/188,282 2021-05-13
PCT/US2022/028375 WO2022240767A1 (en) 2021-05-13 2022-05-09 Data compression api

Publications (1)

Publication Number Publication Date
KR20220155254A true KR20220155254A (ko) 2022-11-22

Family

ID=81927372

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020227019710A Pending KR20220155254A (ko) 2021-05-13 2022-05-09 데이터 압축 api

Country Status (6)

Country Link
US (1) US20220365829A1 (ko)
JP (1) JP2024518202A (ko)
KR (1) KR20220155254A (ko)
CN (1) CN115803720A (ko)
DE (1) DE112022001139T5 (ko)
WO (1) WO2022240767A1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20240095097A1 (en) * 2022-09-20 2024-03-21 Nvidia Corporation Application programming interface to cause performance of frame interpolation

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1013659A (ja) * 1996-06-25 1998-01-16 Minolta Co Ltd 画像形成装置
US6879266B1 (en) * 1997-08-08 2005-04-12 Quickshift, Inc. Memory module including scalable embedded parallel data compression and decompression engines
US6691305B1 (en) * 1999-11-10 2004-02-10 Nec Corporation Object code compression using different schemes for different instruction types
JP2004062220A (ja) * 2002-07-24 2004-02-26 Matsushita Electric Ind Co Ltd 情報処理装置、情報処理方法、およびプログラム変換装置
US7007049B2 (en) * 2002-11-18 2006-02-28 Innopath Software, Inc. Device memory management during electronic file updating
US7219219B1 (en) * 2004-01-13 2007-05-15 Advanced Micro Devices, Inc. Hardware initialization method that is independent of boot code architecture
US20060230014A1 (en) * 2004-04-26 2006-10-12 Storewiz Inc. Method and system for compression of files for storage and operation on compressed files
JP5194703B2 (ja) * 2007-10-16 2013-05-08 ソニー株式会社 データ処理装置及び共有メモリのアクセス方法
WO2013149045A1 (en) * 2012-03-30 2013-10-03 Samplify Systems, Inc. Processing system and method including data compression api
US9118345B2 (en) * 2012-10-04 2015-08-25 Altera Corporation Data compression profiler for configuration of compression
US10699361B2 (en) * 2012-11-21 2020-06-30 Ati Technologies Ulc Method and apparatus for enhanced processing of three dimensional (3D) graphics data
JP6252489B2 (ja) * 2012-12-19 2017-12-27 富士通株式会社 圧縮装置、圧縮方法、圧縮プログラム、伸張装置、伸張方法、伸張プログラム、および圧縮伸張システム
US9384204B2 (en) * 2013-05-22 2016-07-05 Amazon Technologies, Inc. Efficient data compression and analysis as a service
US9940733B2 (en) * 2014-06-26 2018-04-10 Intel Corporation Virtual memory supported compression control surfaces
DE112016000726B4 (de) * 2015-02-13 2024-08-01 Google LLC (n.d.Ges.d. Staates Delaware) Transparente hardwareunterstützte speicherdekompression
US10102215B2 (en) * 2015-03-27 2018-10-16 Intel Corporation Apparatus for hardware implementation of lossless data compression
WO2016189639A1 (ja) * 2015-05-26 2016-12-01 株式会社日立製作所 計算機システム及び記憶制御方法
US10983957B2 (en) * 2015-07-27 2021-04-20 Sas Institute Inc. Distributed columnar data set storage
KR102496347B1 (ko) * 2016-04-20 2023-02-06 삼성전자주식회사 디스플레이 구동 회로 및 이를 포함하는 전자 장치
US10963377B2 (en) * 2016-04-29 2021-03-30 Hewlett Packard Enterprise Development Lp Compressed pages having data and compression metadata
JP6553566B2 (ja) * 2016-09-23 2019-07-31 東芝メモリ株式会社 メモリシステムおよび制御方法
US9912957B1 (en) * 2017-04-01 2018-03-06 Intel Corporation Lossless compression for multisample render targets alongside fragment compression
US10460476B2 (en) * 2017-04-21 2019-10-29 Intel Corporation Fabric-based compression/decompression for internal data transfer
US10503551B2 (en) * 2017-06-07 2019-12-10 Dell Products L.P. Coordinating FPGA services using cascaded FPGA service managers
US10866888B2 (en) * 2018-01-11 2020-12-15 Intel Corporation Reservation architecture for overcommitted memory
US12182035B2 (en) * 2019-03-15 2024-12-31 Intel Corporation Systems and methods for cache optimization

Also Published As

Publication number Publication date
JP2024518202A (ja) 2024-05-01
WO2022240767A1 (en) 2022-11-17
CN115803720A (zh) 2023-03-14
US20220365829A1 (en) 2022-11-17
DE112022001139T5 (de) 2024-01-11

Similar Documents

Publication Publication Date Title
US12536058B2 (en) Application programming interface to locate incomplete graph code
WO2023141937A1 (en) Tensor modification based on processing resources
JP7727626B2 (ja) 機能バージョンを識別するためのアプリケーション・プログラミング・インターフェース
US20230084951A1 (en) Synchronizing graph execution
US20250181393A1 (en) Application programming interface to indicate memory information
US20230185641A1 (en) Application programming interface to store portions of an image
US20230176933A1 (en) Techniques for modifying graph code
US20230185706A1 (en) Asynchronous memory deallocation
US12474981B2 (en) Application programming interface to identify memory
US20230305853A1 (en) Application programming interface to perform operation with reusable thread
EP4650961A1 (en) Identifying thread errors
US20230185611A1 (en) Application programming interface to limit memory
US20230102843A1 (en) User-configurable memory allocation
US20250244808A1 (en) Priority based power allocation
US20220365829A1 (en) Data compression api
JP7722924B2 (ja) レイ・トレーシング・アプリケーションのためのグリッド・ベースの光サンプリング
US20230185642A1 (en) Application programming interface to retrieve portions of an image
US20230093254A1 (en) Application programming interface to set up graph resources
KR20220143635A (ko) 리소스 사용을 모니터링하기 위한 애플리케이션 프로그래밍 인터페이스
US12204897B2 (en) Application programming interface to wait on matrix multiply-accumulate
US12524284B1 (en) Application programming interface to indicate kernel attributes
US12468537B2 (en) Location agnostic data access
US20250284410A1 (en) Application programming interface to indicate memory access
US20250291650A1 (en) Application programming interface to indicate device attribute
EP4645155A1 (en) Techniques for selecting processor frequency

Legal Events

Date Code Title Description
PA0105 International application

St.27 status event code: A-0-1-A10-A15-nap-PA0105

PA0201 Request for examination

St.27 status event code: A-1-2-D10-D11-exm-PA0201

PG1501 Laying open of application

St.27 status event code: A-1-1-Q10-Q12-nap-PG1501

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

St.27 status event code: A-1-2-D10-D21-exm-PE0902

T11-X000 Administrative time limit extension requested

St.27 status event code: U-3-3-T10-T11-oth-X000

T11-X000 Administrative time limit extension requested

St.27 status event code: U-3-3-T10-T11-oth-X000

E13 Pre-grant limitation requested

Free format text: ST27 STATUS EVENT CODE: A-2-3-E10-E13-LIM-X000 (AS PROVIDED BY THE NATIONAL OFFICE)

E13-X000 Pre-grant limitation requested

St.27 status event code: A-2-3-E10-E13-lim-X000

P11 Amendment of application requested

Free format text: ST27 STATUS EVENT CODE: A-2-2-P10-P11-NAP-X000 (AS PROVIDED BY THE NATIONAL OFFICE)

P11-X000 Amendment of application requested

St.27 status event code: A-2-2-P10-P11-nap-X000

D21 Rejection of application intended

Free format text: ST27 STATUS EVENT CODE: A-1-2-D10-D21-EXM-PE0902 (AS PROVIDED BY THE NATIONAL OFFICE)

PE0902 Notice of grounds for rejection

St.27 status event code: A-1-2-D10-D21-exm-PE0902

P11 Amendment of application requested

Free format text: ST27 STATUS EVENT CODE: A-2-2-P10-P11-NAP-X000 (AS PROVIDED BY THE NATIONAL OFFICE)

P11-X000 Amendment of application requested

St.27 status event code: A-2-2-P10-P11-nap-X000

D21 Rejection of application intended

Free format text: ST27 STATUS EVENT CODE: A-1-2-D10-D21-EXM-PE0902 (AS PROVIDED BY THE NATIONAL OFFICE)

PE0902 Notice of grounds for rejection

St.27 status event code: A-1-2-D10-D21-exm-PE0902