[go: up one dir, main page]

KR102395463B1 - 적층형 메모리 장치, 이를 포함하는 시스템 및 그 동작 방법 - Google Patents

적층형 메모리 장치, 이를 포함하는 시스템 및 그 동작 방법 Download PDF

Info

Publication number
KR102395463B1
KR102395463B1 KR1020170125481A KR20170125481A KR102395463B1 KR 102395463 B1 KR102395463 B1 KR 102395463B1 KR 1020170125481 A KR1020170125481 A KR 1020170125481A KR 20170125481 A KR20170125481 A KR 20170125481A KR 102395463 B1 KR102395463 B1 KR 102395463B1
Authority
KR
South Korea
Prior art keywords
data
semiconductor dies
semiconductor die
memory
input
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
KR1020170125481A
Other languages
English (en)
Other versions
KR20190036358A (ko
Inventor
신현승
최익준
김소영
변태규
윤재윤
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020170125481A priority Critical patent/KR102395463B1/ko
Priority to DE102018108702.0A priority patent/DE102018108702A1/de
Priority to TW107113905A priority patent/TWI750365B/zh
Priority to US16/038,269 priority patent/US10553260B2/en
Priority to CN201810826611.XA priority patent/CN109560078B/zh
Priority to SG10201808209UA priority patent/SG10201808209UA/en
Priority to JP2018180170A priority patent/JP7317478B2/ja
Publication of KR20190036358A publication Critical patent/KR20190036358A/ko
Priority to US16/743,051 priority patent/US10923165B2/en
Priority to US17/172,328 priority patent/US11114139B2/en
Application granted granted Critical
Publication of KR102395463B1 publication Critical patent/KR102395463B1/ko
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11C—STATIC STORES
    • G11C7/00—Arrangements for writing information into, or reading information out from, a digital store
    • G11C7/10—Input/output [I/O] data interface arrangements, e.g. I/O data control circuits, I/O data buffers
    • G11C7/1078—Data input circuits, e.g. write amplifiers, data input buffers, data input registers, data input level conversion circuits
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11C—STATIC STORES
    • G11C5/00—Details of stores covered by group G11C11/00
    • G11C5/06—Arrangements for interconnecting storage elements electrically, e.g. by wiring
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L25/00—Assemblies consisting of a plurality of semiconductor or other solid state devices
    • H01L25/18—Assemblies consisting of a plurality of semiconductor or other solid state devices the devices being of the types provided for in two or more different main groups of the same subclass of H10B, H10D, H10F, H10H, H10K or H10N
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11C—STATIC STORES
    • G11C5/00—Details of stores covered by group G11C11/00
    • G11C5/02—Disposition of storage elements, e.g. in the form of a matrix array
    • G11C5/04—Supports for storage elements, e.g. memory modules; Mounting or fixing of storage elements on such supports
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F12/00—Accessing, addressing or allocating within memory systems or architectures
    • G06F12/02—Addressing or allocation; Relocation
    • G06F12/06—Addressing a physical block of locations, e.g. base addressing, module addressing, memory dedication
    • G06F12/0646—Configuration or reconfiguration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/061—Improving I/O performance
    • G06F3/0611—Improving I/O performance in relation to response time
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0625—Power saving in storage systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0655—Vertical data movement, i.e. input-output transfer; data movement between one or more hosts and one or more storage devices
    • G06F3/0659—Command handling arrangements, e.g. command buffers, queues, command scheduling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F7/00—Methods or arrangements for processing data by operating upon the order or content of the data handled
    • G06F7/38—Methods or arrangements for performing computations using exclusively denominational number representation, e.g. using binary, ternary, decimal representation
    • G06F7/48—Methods or arrangements for performing computations using exclusively denominational number representation, e.g. using binary, ternary, decimal representation using non-contact-making devices, e.g. tube, solid state device; using unspecified devices
    • G06F7/52—Multiplying; Dividing
    • G06F7/523—Multiplying only
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11C—STATIC STORES
    • G11C5/00—Details of stores covered by group G11C11/00
    • G11C5/06—Arrangements for interconnecting storage elements electrically, e.g. by wiring
    • G11C5/063—Voltage and signal distribution in integrated semi-conductor memory access lines, e.g. word-line, bit-line, cross-over resistance, propagation delay
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11C—STATIC STORES
    • G11C5/00—Details of stores covered by group G11C11/00
    • G11C5/06—Arrangements for interconnecting storage elements electrically, e.g. by wiring
    • G11C5/066—Means for reducing external access-lines for a semiconductor memory clip, e.g. by multiplexing at least address and data signals
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11C—STATIC STORES
    • G11C7/00—Arrangements for writing information into, or reading information out from, a digital store
    • G11C7/06—Sense amplifiers; Associated circuits, e.g. timing or triggering circuits
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11C—STATIC STORES
    • G11C7/00—Arrangements for writing information into, or reading information out from, a digital store
    • G11C7/10—Input/output [I/O] data interface arrangements, e.g. I/O data control circuits, I/O data buffers
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11C—STATIC STORES
    • G11C7/00—Arrangements for writing information into, or reading information out from, a digital store
    • G11C7/10—Input/output [I/O] data interface arrangements, e.g. I/O data control circuits, I/O data buffers
    • G11C7/1006—Data managing, e.g. manipulating data before writing or reading out, data bus switches or control circuits therefor
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11C—STATIC STORES
    • G11C7/00—Arrangements for writing information into, or reading information out from, a digital store
    • G11C7/10—Input/output [I/O] data interface arrangements, e.g. I/O data control circuits, I/O data buffers
    • G11C7/1048—Data bus control circuits, e.g. precharging, presetting, equalising
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11C—STATIC STORES
    • G11C7/00—Arrangements for writing information into, or reading information out from, a digital store
    • G11C7/10—Input/output [I/O] data interface arrangements, e.g. I/O data control circuits, I/O data buffers
    • G11C7/1051—Data output circuits, e.g. read-out amplifiers, data output buffers, data output registers, data output level conversion circuits
    • G11C7/1069—I/O lines read out arrangements
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11C—STATIC STORES
    • G11C7/00—Arrangements for writing information into, or reading information out from, a digital store
    • G11C7/10—Input/output [I/O] data interface arrangements, e.g. I/O data control circuits, I/O data buffers
    • G11C7/1078—Data input circuits, e.g. write amplifiers, data input buffers, data input registers, data input level conversion circuits
    • G11C7/1096—Write circuits, e.g. I/O line write drivers
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11C—STATIC STORES
    • G11C7/00—Arrangements for writing information into, or reading information out from, a digital store
    • G11C7/22—Read-write [R-W] timing or clocking circuits; Read-write [R-W] control signal generators or management 
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11C—STATIC STORES
    • G11C8/00—Arrangements for selecting an address in a digital store
    • G11C8/12—Group selection circuits, e.g. for memory block selection, chip selection, array selection
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L23/00—Details of semiconductor or other solid state devices
    • H01L23/48—Arrangements for conducting electric current to or from the solid state body in operation, e.g. leads, terminal arrangements ; Selection of materials therefor
    • H01L23/481—Internal lead connections, e.g. via connections, feedthrough structures
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L24/00—Arrangements for connecting or disconnecting semiconductor or solid-state bodies; Methods or apparatus related thereto
    • H01L24/01—Means for bonding being attached to, or being formed on, the surface to be connected, e.g. chip-to-package, die-attach, "first-level" interconnects; Manufacturing methods related thereto
    • H01L24/18—High density interconnect [HDI] connectors; Manufacturing methods related thereto
    • H01L24/23—Structure, shape, material or disposition of the high density interconnect connectors after the connecting process
    • H01L24/24—Structure, shape, material or disposition of the high density interconnect connectors after the connecting process of an individual high density interconnect connector
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11C—STATIC STORES
    • G11C2207/00—Indexing scheme relating to arrangements for writing information into, or reading information out from, a digital store
    • G11C2207/22—Control and timing of internal memory operations
    • G11C2207/2272—Latency related aspects
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L2224/00—Indexing scheme for arrangements for connecting or disconnecting semiconductor or solid-state bodies and methods related thereto as covered by H01L24/00
    • H01L2224/01—Means for bonding being attached to, or being formed on, the surface to be connected, e.g. chip-to-package, die-attach, "first-level" interconnects; Manufacturing methods related thereto
    • H01L2224/10—Bump connectors; Manufacturing methods related thereto
    • H01L2224/15—Structure, shape, material or disposition of the bump connectors after the connecting process
    • H01L2224/16—Structure, shape, material or disposition of the bump connectors after the connecting process of an individual bump connector
    • H01L2224/161—Disposition
    • H01L2224/16151—Disposition the bump connector connecting between a semiconductor or solid-state body and an item not being a semiconductor or solid-state body, e.g. chip-to-substrate, chip-to-passive
    • H01L2224/16221—Disposition the bump connector connecting between a semiconductor or solid-state body and an item not being a semiconductor or solid-state body, e.g. chip-to-substrate, chip-to-passive the body and the item being stacked
    • H01L2224/16225—Disposition the bump connector connecting between a semiconductor or solid-state body and an item not being a semiconductor or solid-state body, e.g. chip-to-substrate, chip-to-passive the body and the item being stacked the item being non-metallic, e.g. insulating substrate with or without metallisation
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L2224/00—Indexing scheme for arrangements for connecting or disconnecting semiconductor or solid-state bodies and methods related thereto as covered by H01L24/00
    • H01L2224/01—Means for bonding being attached to, or being formed on, the surface to be connected, e.g. chip-to-package, die-attach, "first-level" interconnects; Manufacturing methods related thereto
    • H01L2224/18—High density interconnect [HDI] connectors; Manufacturing methods related thereto
    • H01L2224/23—Structure, shape, material or disposition of the high density interconnect connectors after the connecting process
    • H01L2224/24—Structure, shape, material or disposition of the high density interconnect connectors after the connecting process of an individual high density interconnect connector
    • H01L2224/241—Disposition
    • H01L2224/24135—Connecting between different semiconductor or solid-state bodies, i.e. chip-to-chip
    • H01L2224/24145—Connecting between different semiconductor or solid-state bodies, i.e. chip-to-chip the bodies being stacked
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L2924/00—Indexing scheme for arrangements or methods for connecting or disconnecting semiconductor or solid-state bodies as covered by H01L24/00
    • H01L2924/15—Details of package parts other than the semiconductor or other solid state devices to be connected
    • H01L2924/151—Die mounting substrate
    • H01L2924/153—Connection portion
    • H01L2924/1531—Connection portion the connection portion being formed only on the surface of the substrate opposite to the die mounting surface
    • H01L2924/15311—Connection portion the connection portion being formed only on the surface of the substrate opposite to the die mounting surface being a ball array, e.g. BGA
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L2924/00—Indexing scheme for arrangements or methods for connecting or disconnecting semiconductor or solid-state bodies as covered by H01L24/00
    • H01L2924/15—Details of package parts other than the semiconductor or other solid state devices to be connected
    • H01L2924/181—Encapsulation
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Human Computer Interaction (AREA)
  • Power Engineering (AREA)
  • Computer Hardware Design (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • Computing Systems (AREA)
  • Dram (AREA)
  • Semiconductor Memories (AREA)
  • Memory System (AREA)

Abstract

적층형 메모리 장치는 적어도 하나의 로직 반도체 다이(semiconductor die), 상기 로직 반도체 다이 위에 적층되는 복수의 메모리 반도체 다이들, 상기 로직 반도체 다이 및 상기 메모리 반도체 다이들을 전기적으로 연결하는 실리콘 관통 전극들, 상기 메모리 반도체 다이들에 각각 형성되고 데이터를 저장하는 복수의 메모리 집적 회로들 및 복수의 연산 유닛들을 포함한다. 상기 연산 유닛들은 상기 메모리 반도체 다이들 중 하나 이상의 연산 반도체 다이들에 각각 형성되고 상기 실리콘 관통 전극들을 통하여 상기 연산 반도체 다이들에 공통으로 제공되는 브로드캐스트 데이터 및 상기 연산 반도체 다이들의 상기 메모리 집적 회로들로부터 각각 독출되는 내부 데이터에 기초한 연산을 수행하여 각각의 연산 결과 데이터를 제공한다.

Description

적층형 메모리 장치, 이를 포함하는 시스템 및 그 동작 방법{Stacked memory device, system including the same and associated method}
본 발명은 반도체 집적 회로에 관한 것으로서, 더욱 상세하게는 적층형 메모리 장치, 상기 적층형 메모리 장치를 포함하는 시스템 및 상기 적층형 메모리 장치의 동작 방법에 관한 것이다.
메모리 대역폭과 지연시간(latency or delay time)은 많은 프로세스 시스템들에서 중요한 성능 병목(performance bottleneck)의 원인이 된다. 메모리 용량을 늘리기 위해 메모리 칩의 패키지 내부에 적층된 반도체 다이들(semiconductor dies)은 실리콘 관통 전극 또는 기판 관통 전극(TSV, through-silicon via 또는 through-substrate via)을 통해 전기적으로 연결된다. 이러한 적층 기술을 통해 메모리 장치의 용량을 증가하면서도 대역폭과 지연시간의 패널티를 억제할 수 있다. 외부 장치의 적층형 메모리 장치에 대한 각각의 액세스(access)는 적층된 반도체 다이들 사이에서의 데이터 교신을 요구하며, 외부 장치와 적층형 메모리 장치 사이의 디바이스간(inter-device) 대역폭과 지연시간의 페널티가 각 액세스 당 두 번 발생한다. 따라서 외부 장치가 수행하는 데이터 프로세스가 적층형 메모리 장치로의 다중 액세스를 요구할 때 이러한 대역폭과 지연시간은 시스템의 프로세스 효율과 전력 소모량에 현저한 영향을 미친다.
상기와 같은 문제점을 해결하기 위한 본 발명의 일 목적은, 동일한 데이터를 입력의 일부로 하는 복수의 연산들을 포함하는 데이터 프로세스를 효율적으로 수행할 수 있는 적층형 메모리 장치 및 이를 포함하는 메모리 시스템을 제공하는 것이다.
또한 본 발명의 일 목적은, 동일한 데이터를 입력의 일부로 하는 복수의 연산들을 포함하는 데이터 프로세스를 효율적으로 수행할 수 있는 적층형 메모리 장치의 동작 방법을 제공하는 것이다.
상기 일 목적을 달성하기 위해, 본 발명의 실시예들에 따른 적층형 메모리 장치는 적어도 하나의 로직 반도체 다이(semiconductor die), 상기 로직 반도체 다이 위에 적층되는 복수의 메모리 반도체 다이들, 상기 로직 반도체 다이 및 상기 메모리 반도체 다이들을 전기적으로 연결하는 실리콘 관통 전극들, 상기 메모리 반도체 다이들에 각각 형성되고 데이터를 저장하는 복수의 메모리 집적 회로들 및 복수의 연산 유닛들을 포함한다. 상기 연산 유닛들은 상기 메모리 반도체 다이들 중 하나 이상의 연산 반도체 다이들에 각각 형성되고 상기 실리콘 관통 전극들을 통하여 상기 연산 반도체 다이들에 공통으로 제공되는 브로드캐스트 데이터 및 상기 연산 반도체 다이들의 상기 메모리 집적 회로들로부터 각각 독출되는 내부 데이터에 기초한 연산을 수행하여 각각의 연산 결과 데이터를 제공한다.
상기 일 목적을 달성하기 위해, 본 발명의 실시예들에 따른 메모리 시스템은, 베이스 기판, 상기 베이스 기판 위에 적층되는 적어도 하나의 로직 반도체 다이(semiconductor die), 상기 베이스 기판 또는 상기 로직 반도체 다이 위에 적층되는 복수의 메모리 반도체 다이들 및 상기 메모리 반도체 다이들 중 하나 이상의 연산 반도체 다이들에 각각 형성되고 상기 연산 반도체 다이들에 공통으로 제공되는 브로드캐스트 데이터 및 상기 연산 반도체 다이들에 포함되는 메모리 집적 회로들로부터 각각 독출되는 내부 데이터에 기초한 연산을 수행하여 각각의 연산 결과 데이터를 제공하는 복수의 연산 유닛들을 포함한다.
상기 일 목적을 달성하기 위해, 본 발명의 실시예들에 따른 적층형 메모리 장치의 동작 방법은, 적층된 복수의 메모리 반도체 다이들 중 하나 이상의 연산 반도체 다이들에 복수의 연산 유닛들을 형성하는 단계, 상기 메모리 반도체 다이들을 전기적으로 연결하는 실리콘 관통 전극들을 통하여 브로드캐스트 데이터를 상기 연산 유닛들에 공통으로 제공하는 단계, 상기 연산 반도체 다이들의 메모리 집적 회로들로부터 각각 독출되는 내부 데이터를 상기 연산 유닛들에 각각 제공하는 단계 및 상기 연산 유닛들을 이용하여 상기 공통의 브로드캐스트 데이터 및 상기 각각의 내부 데이터에 대한 복수의 연산들을 동시에 수행하는 단계를 포함한다.
본 발명의 실시예들에 따른 적층형 메모리 장치, 이를 포함하는 시스템 및 그 동작 방법은, 메모리 집약적(memory-intensive) 또는 데이터 집약적(data-intensive)인 데이터 프로세스를 메모리 반도체 다이에 포함된 복수의 연산 유닛들에 의해 병렬적으로 수행함으로써 상기 적층형 메모리 장치, 로직 반도체 다이 및 외부 장치 사이에 교신되는 데이터의 양을 감소하여 데이터 프로세싱 시간 및 전력소모를 감소할 수 있다.
상기 복수의 연산 유닛들을 메모리 뱅크 내에 배치하여 매트릭스-벡터 곱셈(MV, matrix-vector multiplication)을 위한 커널 웨이트(kernel weights)의 메모리 대역폭(memory bandwidth)을 증가시키고 브로드캐스팅을 통하여 상기 매트릭스-벡터 곱셈을 위한 액티베이션(activations)의 메모리 대역폭을 증가시킴으로써 MLP(multilayer perceptron), RNN(recurrent neural network), CNN(convolutional neural network) 등의 데이터 프로세싱 시간 및 전력소모를 감소할 수 있다.
도 1은 본 발명의 실시예들에 따른 적층형 메모리 장치의 동작 방법을 나타내는 순서도이다.
도 2는 본 발명의 실시예들에 따른 적층형 메모리 장치를 포함하는 시스템을 나타내는 분리 사시도이다.
도 3은 본 발명의 실시예들에 따른 고 대역폭 메모리의 구조의 일 예를 나타내는 도면이다.
도 4는 도 2의 적층형 메모리 장치에 포함되는 하나의 메모리 뱅크의 구조의 일 예를 나타내는 도면이다.
도 5는 도 2의 적층형 메모리 장치의 메모리 반도체 다이에 포함되는 메모리 집적 회로의 일 실시예를 나타내는 도면이다.
도 6은 본 발명의 실시예들에 따른 연산 유닛의 배치를 나타내는 도면이다.
도 7은 본 발명의 실시예들에 따른 적층형 메모리 장치에서 통상의 액세스 동작시 데이터 전송 경로를 나타내는 도면이고, 도 8a 및 8b는 도 7의 데이터 전송 경로를 구현하는 일 실시예를 나타내는 도면들이다.
도 9 내지 14c는 본 발명의 실시예들에 따른 적층형 메모리 장치에서 브로드캐스트 데이터의 전송 경로의 실시예들을 나타내는 도면들이다.
도 15 내지 22는 본 발명의 실시예들에 따른 적층형 메모리 장치에서 연산 회로의 출력 데이터의 전송 경로의 실시예들을 나타내는 도면들이다.
도 23 및 24는 본 발명의 실시예들에 따른 적층형 메모리 장치에서 브로드캐스트 데이터의 전송 경로 일 실시예를 나타내는 도면들이다.
도 25는 본 발명의 실시예들에 따른 적층형 메모리 장치에 포함되는 연산 유닛의 일 실시예를 나타내는 도면이다.
도 26은 연산 결과 데이터의 출력 방법의 일 실시예를 나타내는 도면이다.
도 27은 본 발명의 실시예들에 따른 연산 회로를 이용한 매트릭스 연산을 나타내는 도면이다.
도 28은 본 발명의 실시예들에 따른 적층형 메모리 장치의 동작의 일 실시예를 나타내는 타이밍도이다.
도 29 및 도 30은 본 발명의 실시예들에 따른 적층형 메모리 장치의 패키징 구조를 나타내는 도면들이다.
도 31은 본 발명의 실시예들에 따른 적층형 메모리 장치를 모바일 시스템에 응용한 예를 나타내는 블록도이다.
이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예를 보다 상세하게 설명하고자 한다. 도면상의 동일한 구성요소에 대해서는 동일한 참조부호를 사용하고 동일한 구성요소에 대해서 중복된 설명은 생략한다.
도 1은 본 발명의 실시예들에 따른 적층형 메모리 장치의 동작 방법을 나타내는 순서도이다.
도 1을 참조하면, 적층된 복수의 메모리 반도체 다이들 중 하나 이상의 연산 반도체 다이들에 복수의 연산 유닛들을 형성한다(S100). 상기 메모리 반도체 다이들을 전기적으로 연결하는 실리콘 관통 전극들 또는 기판 관통 전극들(TSV, through-silicon via 또는 through-substrate via)을 통하여 브로드캐스트 데이터를 상기 연산 유닛들에 공통으로 제공한다(S200). 한편, 상기 연산 반도체 다이들의 메모리 집적 회로들로부터 각각 독출되는 내부 데이터를 상기 연산 유닛들에 각각 제공한다(S300). 상기 연산 유닛들을 이용하여 상기 공통의 브로드캐스트 데이터 및 상기 각각의 내부 데이터에 대한 복수의 연산들을 동시에 수행한다(S400).
이와 같이, 본 발명의 실시예들에 따른 적층형 메모리 장치의 동작 방법은, 메모리 집약적(memory-intensive) 또는 데이터 집약적(data-intensive)인 데이터 프로세스를 메모리 반도체 다이에 포함된 복수의 연산 유닛들에 의해 병렬적으로 수행함으로써 상기 적층형 메모리 장치, 로직 반도체 다이 및 외부 장치 사이에 교신되는 데이터의 양을 감소하여 데이터 프로세싱 시간 및 전력소모를 감소할 수 있다.
도 2는 본 발명의 실시예들에 따른 적층형 메모리 장치를 포함하는 시스템을 나타내는 분리 사시도이다.
도 2를 참조하면, 시스템(10)은 적층형 메모리 장치(1000) 및 호스트 장치(2000)를 포함할 수 있다.
적층형 메모리 장치(1000)는 수직으로 적층된 적어도 하나의 베이스 반도체 다이(base semiconductor die) 또는 로직 반도체 다이(logic semiconductor die)(1010) 및 복수의 메모리 반도체 다이(memory semiconductor die)들(1070, 1080)을 포함할 수 있다. 도 2에는 하나의 로직 반도체 다이 및 두 개의 메모리 반도체 다이들을 도시하였으나, 두 개 이상의 로직 반도체 다이들 및 한 개 또는 세 개 이상의 메모리 반도체 다이들이 적층 구조에 포함될 수 있다. 또한 도 2에는 로직 반도체 다이(1010)가 메모리 반도체 다이들(1070, 1080)과 함께 수직으로 적층되는 실시예를 도시하였으나, 도 29를 참조하여 후술하는 바와 같이, 로직 반도체 다이(1010)를 제외한 메모리 반도체 다이들(1070, 1080)만이 함께 수직으로 적층되고, 로직 반도체 다이(1010)는 인터포저 또는 베이스 기판을 통하여 적층된 메모리 반도체 다이들(1070, 1080)과 전기적으로 연결될 수도 있다.
로직 반도체 다이(1010)는 메모리 인터페이스(MIF)(1020) 및 메모리 반도체 다이들(1070, 1080)에 형성된 메모리 집적 회로들(1071, 1081)의 접근을 가능하게 하기 위한 로직을 포함한다. 이러한 로직은 메모리 제어부(CTRL)(1030), 글로벌 버퍼(GBF)(1040) 및 데이터 트랜스폼 로직(DTL)(1050)을 포함할 수 있다.
메모리 인터페이스(1020)는 인터커넥트 장치(12)를 통하여 호스트 장치(2000)와 같은 외부 장치와의 교신을 수행한다. 메모리 제어부(1030)는 적층형 메모리 장치(1000)의 전반적인 동작을 제어한다. 데이터 트랜스폼 로직(1050)은 메모리 반도체 다이들(1070, 1080)과 교신되는 데이터 또는 메모리 인터페이스(1020)를 통해 교신되는 데이터에 대한 연산을 수행할 수 있다. 예를 들어, 데이터 트랜스폼 로직(1050)은 맥스 풀링(max pooling), ReLU (rectified linear unit), 채널 단위 덧셈(channel-wise addition) 등의 연산을 수행할 수 있다.
메모리 반도체 다이들(1070, 1080)은 메모리 집적 회로들(MEM)(1071, 1081)을 각각 포함할 수 있다. 메모리 반도체 다이들(1070, 1080) 중 적어도 하나의 메모리 반도체 다이(1080)는 연산 회로(100)를 포함하는 연산 반도체 다이에 해당할 수 있다. 후술하는 바와 같이, 연산 회로(100)는 하나 이상의 연산 블록들을 포함할 수 있고, 상기 연산 블록들의 각각은 하나 이상의 연산 유닛들을 포함할 수 있다. 상기 연산 유닛들에는 실리콘 관통 전극들(TSV)을 통하여 브로드캐스트 데이터가 공통으로 제공되고 연산 반도체 다이(1080)의 메모리 집적 회로들(1081)로부터 각각 독출되는 내부 데이터가 제공된다. 상기 연산 유닛들은 상기 공통의 브로드캐스트 데이터 및 상기 각각의 내부 데이터에 기초한 연산을 수행하여 각각의 연산 결과 데이터를 제공할 수 있다.
호스트 장치(2000)는 호스트 인터페이스(HIF)(2110) 및 프로세서 코어(processor core)들(CR1, CR2)(2120, 2130)을 포함할 수 있다. 호스트 인터페이스(2110)는 인터커넥트 장치(12)를 통하여 적층형 메모리 장치(1000)와 같은 외부 장치와의 교신을 수행한다.
도 3은 본 발명의 실시예들에 따른 고 대역폭 메모리의 구조의 일 예를 나타내는 도면이다.
도 3을 참조하면, 고 대역폭 메모리(HBM, high bandwidth memory)(1001)는 복수의 DRAM 반도체 다이들, 예를 들어, 제1 내지 제4 메모리 반도체 다이들(1100, 1200, 1300, 1400)이 적층된 구조를 포함할 수 있다. 고 대역폭 메모리는 채널이라 칭하는 복수의 독립된 인터페이스들을 통하여 상기 적층된 구조의 고 대역폭 동작에 최적화될 수 있다. HBM 표준에 따라서 각각의 DRAM 스택은 최대 8개의 채널까지 지원할 수 있다. 도 3에는 4개의 DRAM 반도체 다이들이 적층되고 각각의 DRAM 반도체 다이가 2개의 채널들(CHANNEL0, CHANNEL1)을 지원하는 예가 도시되어 있다. 예를 들어, 도 3에 도시된 바와 같이, 제4 메모리 반도체 다이(1400)는 2개의 채널들(CHANNEL0, CHANNEL1)에 상응하는 2개의 메모리 집적 회로들(1401, 1402)을 포함할 수 있다. 각각의 메모리 반도체 다이는 상기 적층 구조에 추가적인 커패시티(capacity) 및 추가적인 채널을 제공할 수 있다.
예를 들어, 도 3의 제4 메모리 반도체 다이(1400)는 전술한 연산 유닛들을 포함하는 연산 반도체 다이에 해당할 수 있다. 각 채널에 상응하는 메모리 집적 회로들(1401, 1402)의 각각은 복수의 메모리 뱅크들(MB)을 포함하고, 각 메모리 뱅크(MB)는 연산 블록(CB)을 포함할 수 있다. 도 4를 참조하여 후술하는 바와 같이 각 연산 블록(CB)은 복수의 연산 유닛들(CU)을 포함할 수 있다. 이와 같이, 상기 연산 유닛들은 연산 반도체 다이(1400)에 포함되는 메모리 뱅크들(MB)의 내부에 분산하여 배치될 수 있다.
고 대역폭 메모리(1001)의 각각의 채널은 메모리 뱅크들의 독립된 세트에 대한 액세스를 제공한다. 일반적으로, 고 대역폭 메모리는 하나의 채널로부터의 리퀘스트는 다른 채널에 부착된 데이터를 액세스하지 못한다. 채널들은 독립적으로 클록킹되고 서로 동기화될 필요가 없다. 그러나, 본 발명의 실시예들에 따른 고 대역폭 메모리(1001)는 전술한 브로드캐스트 데이터의 전송 및/또는 연산 결과 데이터의 전송을 위하여 서로 다른 메모리 반도체 다이들의 데이터에 액세스할 수 있다.
고 대역폭 메모리(1001)는 스택 구조의 하부에 위치하고 신호의 재분배 및 다른 기능들을 제공하는 인터페이스 다이(1010)를 선택적으로 포함할 수 있다. 메모리 반도체 다이들(1100, 1200, 1300, 1400)에 통상적으로 구현되는 기능들이 이러한 인터페이스 다이(1010) 또는 로직 다이에 구현될 수 있다.
도 4는 도 2의 적층형 메모리 장치에 포함되는 하나의 메모리 뱅크의 구조의 일 예를 나타내는 도면이다.
도 4를 참조하면, 메모리 뱅크(200)는 복수의 데이터 블록들(DBK1~DBKn) 및 연산 블록(300)을 포함할 수 있다. 데이터 블록들(DBK1~DBKn)은 동일한 구조를 가질 수 있으며 도 4에는 예시적으로 제1 데이터 블록(DBK1)의 구조가 도시되어 있다. 각 데이터 블록은 복수의 서브 메모리 셀 어레이들(SARR)을 포함하고 서브 메모리 셀 어레이들(SARR)의 각각은 복수의 메모리 셀들을 포함한다. 독출 동작시 비트 라인 센스 앰프들(BLSA)은 메모리 셀들에 저장된 데이터를 센싱 및 증폭하여 로컬 입출력 라인들(LIO)과 글로벌 입출력 라인들(GIO)을 순차적으로 거쳐 외부로 전송할 수 있다. 또한 기입 동작시 외부에서 제공되는 데이터는 글로벌 입출력 라인들(GIO) 및 로컬 입출력 라인들(LIO)을 순차적으로 거쳐 메모리 셀들에 저장될 수 있다. 이러한 데이터 블록의 계층적 구조는 다양하게 변경될 수 있을 것이다.
연산 블록(300)은 복수의 연산 유닛들(CU1~CUn)을 포함할 수 있다. 도 4에는 데이터 블록 1개마다 연산 유닛이 1개씩 배치되는 예를 도시하였으나 복수의 데이터 블록마다 1개의 연산 유닛이 배치될 수도 있다. 전술한 바와 같이, 연산 유닛들(CU1~CUn)의 각각은 실리콘 관통 전극들을 통하여 연산 반도체 다이들에 공통으로 제공되는 브로드캐스트 데이터(DA) 및 내부 데이터(DW1~DWn)의 각각을 수신하고 이들에 기초한 연산을 수행하여 연산 결과 데이터들(DR1~DRn)의 각각을 제공한다.
도 4를 참조하여 하나의 메모리 뱅크(200)에 대하여 연산 유닛들의 배치를 설명하였으나, 적층형 메모리 장치는 복수의 연산 반도체 다이들을 포함하고 각 연산 반도체 다이는 복수의 메모리 뱅크들을 포함하고, 이러한 모든 연산 반도체 다이들에 포함된 모든 메모리 뱅크들에 대하여 도 4에 도시된 바와 같은 연산 유닛들이 배치될 수 있다. 모든 연산 유닛들은 동일한 브로드캐스트 데이터를 수신하고 상응하는 데이터 블록으로부터 각각의 내부 데이터를 수신할 수 있다. 이와 같이 적층형 메모리 장치에 분산하여 형성되는 복수의 연산 유닛들을 이용하여 연산을 병렬적으로 수행함으로써 적층형 메모리 장치, 로직 반도체 다이 및 외부 장치 사이에 교신되는 데이터의 양을 감소하여 데이터 프로세싱 시간 및 전력소모를 감소할 수 있다.
도 5는 도 2의 적층형 메모리 장치의 메모리 반도체 다이에 포함되는 메모리 집적 회로의 일 실시예를 나타내는 도면이다.
도 5를 참조하여, 메모리 집적 회로의 일 예로서 디램(DRAM)에 대해 설명하지만, 본 발명의 실시예들에 따른 적층형 메모리 장치는, 디램(DRAM), 티램(TRAM) 및 에스램(SRAM)과 같은 휘발성 메모리 아키텍쳐들, 또는 롬(ROM), 플래시 메모리, 에프램(FRAM), 엠램(MRAM), 피램(PRAM) 등과 같은 비-휘발성 메모리 아키텍쳐들을 포함하는 다양한 메모리 아키텍쳐로 구현될 수 있다. 도 5를 참조하면, 메모리 영역(400) 또는 메모리 장치의 내부 회로는 제어 로직(410), 어드레스 레지스터(420), 뱅크 제어 로직(430), 로우 어드레스 멀티플렉서(440), 컬럼 어드레스 래치(450), 로우 디코더(460), 컬럼 디코더(470), 메모리 셀 어레이(480), 연산 회로(100), 입출력 게이팅 회로(490), 데이터 입출력 버퍼(495) 및 리프레쉬 카운터(445)를 포함할 수 있다.
메모리 셀 어레이(480)는 복수의 뱅크 어레이들(480a~480h)을 포함할 수 있다. 로우 디코더(460)는 복수의 뱅크 어레이들(480a~480h)에 각각 연결된 복수의 뱅크 로우 디코더들(460a~460h)을 포함하고, 컬럼 디코더(470)는 복수의 뱅크 어레이들(480a~480h)에 각각 연결된 복수의 컬럼 디코더들(470a~470h)을 포함할 수 있다. 연산 회로(100)는 복수의 뱅크 어레이들(480a~480h)에 각각 연결된 복수의 연산 블록들(CB)(100a~100h)을 포함할 수 있다.
전술한 바와 같이, 연산 블록들(100a~100h)의 각각은 브로드캐스트 데이터를 공통으로 수신하고 뱅크 어레이들(480a~480h)로부터 각 내부 데이터를 수신하는 복수의 연산 유닛들(미도시)을 포함할 수 있다.
어드레스 레지스터(420)는 메모리 컨트롤러로부터 뱅크 어드레스(BANK_ADDR), 로우 어드레스(ROW_ADDR) 및 컬럼 어드레스(COL_ADDR)를 포함하는 어드레스 신호(ADD)를 수신할 수 있다. 어드레스 레지스터(420)는 수신된 뱅크 어드레스(BANK_ADDR)를 뱅크 제어 로직(430)에 제공하고, 수신된 로우 어드레스(ROW_ADDR)를 로우 어드레스 멀티플렉서(440)에 제공하며, 수신된 컬럼 어드레스(COL_ADDR)를 컬럼 어드레스 래치(450)에 제공할 수 있다.
뱅크 제어 로직(430)은 뱅크 어드레스(BANK_ADDR)에 응답하여 뱅크 제어 신호들을 생성할 수 있다. 상기 뱅크 제어 신호들에 응답하여, 복수의 뱅크 로우 디코더들(460a~460h) 중 뱅크 어드레스(BANK_ADDR)에 상응하는 뱅크 로우 디코더가 활성화되고, 복수의 뱅크 컬럼 디코더들(470a~470h) 중 뱅크 어드레스(BANK_ADDR)에 상응하는 뱅크 컬럼 디코더가 활성화될 수 있다.
로우 어드레스 멀티플렉서(440)는 어드레스 레지스터(220)로부터 로우 어드레스(ROW_ADDR)를 수신하고, 리프레쉬 카운터(445)로부터 리프레쉬 로우 어드레스(REF_ADDR)를 수신할 수 있다. 로우 어드레스 멀티플렉서(440)는 로우 어드레스(ROW_ADDR) 또는 리프레쉬 로우 어드레스(REF_ADDR)를 로우 어드레스(RA)로서 선택적으로 출력할 수 있다. 로우 어드레스 멀티플렉서(440)로부터 출력된 로우 어드레스(RA)는 뱅크 로우 디코더들(460a~460h)에 각각 인가될 수 있다.
뱅크 로우 디코더들(460a~460h) 중 뱅크 제어 로직(430)에 의해 활성화된 뱅크 로우 디코더는 로우 어드레스 멀티플렉서(440)로부터 출력된 로우 어드레스(RA)를 디코딩하여 상기 로우 어드레스에 상응하는 워드 라인을 활성화할 수 있다.
컬럼 어드레스 래치(450)는 어드레스 레지스터(420)로부터 컬럼 어드레스(COL_ADDR)를 수신하고, 수신된 컬럼 어드레스(COL_ADDR)를 일시적으로 저장할 수 있다. 또한, 컬럼 어드레스 래치(450)는, 버스트 모드(burst mode)에서, 수신된 컬럼 어드레스(COL_ADDR)를 점진적으로 증가시킬 수 있다. 컬럼 어드레스 래치(450)는 일시적으로 저장된 또는 점진적으로 증가된 컬럼 어드레스(COL_ADDR)를 뱅크 컬럼 디코더들(470a~470h)에 각각 인가할 수 있다.
뱅크 컬럼 디코더들(470a~470h) 중 뱅크 제어 로직(430)에 의해 활성화된 뱅크 컬럼 디코더는 입출력 게이팅 회로(490)를 통하여 뱅크 어드레스(BANK_ADDR) 및 컬럼 어드레스(COL_ADDR)에 상응하는 센스 앰프를 활성화시킬 수 있다. 입출력 게이팅 회로(490)는 입출력 데이터를 게이팅하는 회로들과 함께, 입력 데이터 마스크 로직, 뱅크 어레이들(480a~480h)로부터 출력된 데이터를 저장하기 위한 독출 데이터 래치들, 및 뱅크 어레이들(480a~480h)에 데이터를 기입하기 위한 기입 드라이버들을 포함할 수 있다.
뱅크 어레이들(480a~480h) 중 하나의 뱅크 어레이에서 독출될 데이터(DQ)는 상기 하나의 뱅크 어레이에 상응하는 센스 앰프에 의해 감지되고, 상기 독출 데이터 래치들에 저장될 수 있다. 상기 독출 데이터 래치들에 저장된 데이터(DQ)는 데이터 입출력 버퍼(495)를 통하여 메모리 컨트롤러에 제공될 수 있다. 뱅크 어레이들(480a~480h) 중 하나의 뱅크 어레이에 기입될 데이터(DQ)는 상기 메모리 컨트롤러로부터 데이터 입출력 버퍼(495)에 제공될 수 있다. 데이터 입출력 버퍼(495)에 제공된 데이터(DQ)는 상기 기입 드라이버들을 통하여 상기 하나의 뱅크 어레이에 기입될 수 있다.
제어 로직(410)은 반도체 메모리 영역(400)의 동작을 제어할 수 있다. 제어 로직(410)은 반도체 메모리 영역(400)에 기입 동작 또는 독출 동작이 수행되도록 제어 신호들을 생성할 수 있다. 제어 로직(410)은 메모리 컨트롤러로부터 수신되는 커맨드(CMD)를 디코딩하는 커맨드 디코더(411) 및 반도체 메모리 영역(400)의 동작 모드를 설정하기 위한 모드 레지스터 세트(MRS: mode register set)(412)를 포함할 수 있다.
도 6은 본 발명의 실시예들에 따른 연산 유닛의 배치를 나타내는 도면이다.
도 6을 참조하면, 연산 유닛(CU)의 내부 데이터(DW[N-1:0])를 수신하는 제1 입력 단자들은 제1 노드들(N1)에 연결되고 연산 유닛(CU)의 브로드캐스트 데이터(DA[N-1:0])를 수신하는 제2 입력 단자들은 제2 노드들(N2)에 연결될 수 있다. 제1 노드들(N1)은 글로벌 입출력 라인들(GIO, GIOB)의 신호들을 증폭하여 출력하는 입출력 센스 앰프(IOSA)의 출력 단자들에 해당한다. 제2 노드들(N2)은 글로벌 입출력 라인들(GIO, GIOB)을 구동하는 입출력 드라이버(IODRV)의 입력 단자들에 해당한다.
통상의 독출 동작시에는 연산 유닛(CU)은 디스에이블되고 입출력 센스 앰프(IOSA)는 글로벌 입출력 라인들(GIO, GIOB)을 통해 전달되는 독출 데이터를 증폭하여 외부로 제공하며, 통상의 기입 동작시에는 연산 유닛(CU)은 디스에이블되고 입출력 드라이버(IODRV)는 외부로부터 제공된 기입 데이터에 기초하여 글로벌 입출력 라인들(GIO, GIOB)을 구동한다. 한편, 연산 동작시에는 연산 유닛(CU)이 인에이블되어 브로드캐스트 데이터(DA[N-1:0]) 및 내부 데이터(DW[N-1:0])를 수신한다. 이 때, 입출력 센스 앰프(IOSA)는 인에이블되어 내부 데이터(DW[N-1:0])를 출력하고 입출력 드라이버(IODRV)는 디스에이블되어 브로드캐스트 데이터(DA[N-1:0])가 내부의 메모리 셀들로 제공되는 것을 차단한다.
일 실시예에서, 도 6에 도시된 바와 같이, 연산 유닛(CU)의 상기 연산 결과 데이터를 제공하는 출력 단자들은 입출력 센스 앰프의 출력 단자들, 즉 제1 노드들(N1)에 연결될 수 있고, 따라서 통상의 독출 경로를 이용하여 연산 결과 데이터(DR)가 제공될 수 있다. 연산 유닛(CU)이 연산 결과 데이터(DR)를 제공하는 동안 입출력 센스 앰프(IOSA)는 디스에이블될 수 있다. 다른 실시예에서, 연산 유닛(CU)의 출력 단자들은 제1 노드들(N1)에 연결되지 않고 통상의 독출 경로와 구별되는 별개의 경로를 통해 제공될 수도 있다. 또 다른 실시예에서, 연산 유닛(CU)의 출력 단자들은 제2 노드들(N2)에 연결되고 통상의 기입 경로를 통하여 내부의 메모리 셀들에 저장될 수도 있다.
도 6에는 도시의 편의상 1비트에 해당하는 1개의 차동 글로벌 라인 쌍(GIO, GIOB)을 도시하였으나, 하나의 저장 유닛(CU)은 N개의 글로벌 라인 쌍들에 연결되어 N 비트의 브로드캐스트 데이터(DA[N-1:0]) 및 N 비트의 내부 데이터(DW[N-1:0])를 수신할 수 있다. 예를 들어, 적층형 메모리 장치의 동작 모드에 따라서, N은 8, 16 또는 32일 수 있다.
이하, 도 7 내지 24를 참조하여 본 발명의 실시예들에 따른 적층형 메모리 장치의 데이터 전송 경로의 실시예들을 설명한다. 도 7 내지 24에는 설명 및 도시의 편의를 위하여 하나의 로직 반도체 다이(1010)와 제1 내지 제4 메모리 반도체 다이들(1100, 1200, 1300, 1400)을 도시하였으나, 로직 반도체 다이의 개수 및 메모리 반도체 다이의 개수는 다양하게 결정될 수 있다.
도 7은 본 발명의 실시예들에 따른 적층형 메모리 장치에서 통상의 액세스 동작시 데이터 전송 경로를 나타내는 도면이고, 도 8a 및 8b는 도 7의 데이터 전송 경로를 구현하는 일 실시예를 나타내는 도면들이다.
도 7의 적층 메모리 장치를 참조하면, 제1 내지 제4 메모리 반도체 다이들(1100, 1200, 1300, 1400)에 각각 상응하는 제1 내지 제4 데이터 버스들(DBUS1~DBUS4)를 통하여 로직 반도체 다이(1010)와 제1 내지 제4 메모리 반도체 다이들(1100, 1200, 1300, 1400) 사이에 데이터 교신이 수행될 수 있다. 즉, 통상의 독출 및 기입 동작시에는, 제1 데이터 버스(DBUS1)를 통하여 로직 반도체 다이(1010)와 제1 메모리 반도체 다이(1100) 사이에 데이터가 전송되고, 제2 데이터 버스(DBUS2)를 통하여 로직 반도체 다이(1010)와 제2 메모리 반도체 다이(1200) 사이에 데이터가 전송되고, 제3 데이터 버스(DBUS3)를 통하여 로직 반도체 다이(1010)와 제3 메모리 반도체 다이(1300) 사이에 데이터가 전송되고, 제4 데이터 버스(DBUS4)를 통하여 로직 반도체 다이(1010)와 제4 메모리 반도체 다이(1400) 사이에 데이터가 전송될 수 있다. 통상의 독출 및 기입 동작시에는 메모리 반도체 다이들(1100, 1200, 1300, 1400) 사이의 데이터 전송은 수행되지 않는다.
데이터 버스들(DBUS1~DBUS4)의 각각은 복수의 데이터 경로들을 포함하며, 각 데이터 경로는 적층된 반도체 다이들에 형성된 실리콘 관통 전극들을 연결하여 수직으로 길게 연장될 수 있다.
도 8a 및 8b를 참조하면, 로직 반도체 다이(1010)와 메모리 반도체 다이들(1100, 1200, 1300, 1400)에는 상응하는 데이터 버스들(DBUS1~DBUS4)을 통하여 양방향 통신을 수행하는 송신회로들(TX) 및 수신 회로들(RX)을 포함할 수 있다. 제조 공정의 통일을 위해 제1 내지 제4 메모리 반도체 다이들(1100, 1200, 1300, 1400)의 각각에 제1 내지 제4 데이터 버스들(DBUS1~DBUS4)의 상응하는 송신회로들(TX) 및 수신 회로들(RX)을 모두 구비하고 이들을 선택적으로 인에이블 할 수 있다.
도 8a는 통상의 기입 동작에 상응하는 데이터 전송 경로를 나타내고 도 8b는 통상의 독출 동작에 상응하는 데이터 전송 경로를 나타낸다.
도 8a를 참조하면, 통상의 기입 동작시에는 로직 반도체 다이(1010)의 송신 회로(TX)와 메모리 반도체 다이들(1100, 1200, 1300, 1400)의 각 수신 회로(RX)가 인에이블되어 데이터 버스들(DBUS1~DBUS4)의 각각을 통하여 로직 반도체 다이(1010)로부터 메모리 반도체 다이들(1100, 1200, 1300, 1400)로 기입 데이터가 전송될 수 있다.
로직 반도체 다이(1010)의 제1 송신 회로(TX1)와 제1 메모리 반도체 다이(1100)의 제1 수신 회로(RX11)가 인에이블되어 상응하는 제1 데이터 버스(DBUS1)를 통하여 기입 데이터(WR1)가 전송된다. 로직 반도체 다이(1010)의 제2 송신 회로(TX2)와 제2 메모리 반도체 다이(1200)의 제2 수신 회로(RX22)가 인에이블되어 상응하는 제2 데이터 버스(DBUS2)를 통하여 기입 데이터(WR2)가 전송된다. 로직 반도체 다이(1010)의 제3 송신 회로(TX3)와 제3 메모리 반도체 다이(1300)의 제3 수신 회로(RX33)가 인에이블되어 상응하는 제3 데이터 버스(DBUS3)를 통하여 기입 데이터(WR3)가 전송된다. 로직 반도체 다이(1010)의 제4 송신 회로(TX4)와 제4 메모리 반도체 다이(1400)의 제4 수신 회로(RX44)가 인에이블되어 상응하는 제4 데이터 버스(DBUS4)를 통하여 기입 데이터(WR4)가 전송된다.
도 8b를 참조하면, 통상의 독출 동작시에는 메모리 반도체 다이들(1100, 1200, 1300, 1400)의 각 송신 회로(TX)와 로직 반도체 다이(1010)의 수신 회로(RX)가 인에이블되어 데이터 버스들(DBUS1~DBUS4)의 각각을 통하여 메모리 반도체 다이들(1100, 1200, 1300, 1400)로부터 로직 반도체 다이(1010)로 독출 데이터가 전송될 수 있다.
제1 메모리 반도체 다이(1100)의 제1 송신 회로(TX11)와 로직 반도체 다이(1010)의 제1 수신 회로(RX1)가 인에이블되어 상응하는 제1 데이터 버스(DBUS1)를 통하여 독출 데이터(RD1)가 전송된다. 제2 메모리 반도체 다이(1200)의 제2 송신 회로(TX22)와 로직 반도체 다이(1010)의 제2 수신 회로(RX2)가 인에이블되어 상응하는 제2 데이터 버스(DBUS2)를 통하여 독출 데이터(RD2)가 전송된다. 제3 메모리 반도체 다이(1300)의 제3 송신 회로(TX33)와 로직 반도체 다이(1010)의 제3 수신 회로(RX3)가 인에이블되어 상응하는 제3 데이터 버스(DBUS3)를 통하여 독출 데이터(RD3)가 전송된다. 제4 메모리 반도체 다이(1400)의 제4 송신 회로(TX44)와 로직 반도체 다이(1010)의 제4 수신 회로(RX4)가 인에이블되어 상응하는 제4 데이터 버스(DBUS4)를 통하여 독출 데이터(RD4)가 전송된다.
이와 같은 방식으로, 통상의 기입 동작 및 독출 동작은 메모리 반도체 다이들(1100, 1200, 1300, 1400)에 각각 상응하는 데이터 버스들(DBUS1~DBUS4)을 통하여 데이터가 전송될 수 있다. 도 9 내지 도 24는 본 발명의 실시예들에 따른 연산 동작을 위한 데이터 전송 경로의 실시예들을 나타내는 도면들이다. 기본적인 구성 및 동작은 도 7, 8a 및 8b와 동일하므로 중복되는 설명은 생략한다.
도 9는 본 발명의 실시예들에 따른 적층형 메모리 장치에서 브로드캐스트 데이터의 전송 경로의 일 실시예를 나타내는 도면이고, 도 10은 도 9의 브로드캐스트 데이터의 전송 경로를 구현하는 일 실시예를 나타내는 도면이다.
적층된 메모리 반도체 다이들(1100, 1200, 1300, 1400)의 일부는 연산 회로(CAL)가 형성되는 연산 반도체 다이들에 해당하고, 나머지 일부는 연산 회로(CAL)가 형성되지 않는 입출력 반도체 다이들에 해당할 수 있다. 도 9에는 제1, 제2 및 제3 메모리 반도체 다이들(1100, 1200, 1300)이 연산 반도체 다이들에 해당하고 제4 메모리 반도체 다이(1400)가 입출력 반도체 다이들에 해당하는 예가 도시되어 있다.
도 9를 참조하면, 브로드캐스트 데이터(DA)는 로직 반도체 다이(1010)를 경유하지 않고 입출력 반도체 다이(1400)로부터 연산 반도체 다이들(1100, 1200, 1300)로 직접 전달될 수 있다. 입출력 반도체 다이(1400)는 연산 반도체 다이들(1100, 1200, 1300)에 각각 상응하는 데이터 버스들(DBUS1, DBUS2, DBUS3)을 브로드캐스트 데이터(DA)로 동시에 구동할 수 있다. 연산 반도체 다이들(1100, 1200, 1300)의 각각은 연산 반도체 다이들(1100, 1200, 1300)에 각각 상응하는 데이터 버스들(DBUS1, DBUS2, DBUS3)을 통하여 브로드캐스트 데이터(DA)를 수신할 수 있다.
도 10을 참조하면, 입출력 반도체 다이(1400)의 제1 송신 회로(TX41)와 제1 연산 반도체 다이(1100)의 제1 수신 회로(RX11)가 인에이블되어 상응하는 제1 데이터 버스(DBUS1)를 통하여 브로드캐스트 데이터(DA)가 전송된다. 입출력 반도체 다이(1400)의 제2 송신 회로(TX42)와 제2 연산 반도체 다이(1200)의 제2 수신 회로(RX22)가 인에이블되어 상응하는 제2 데이터 버스(DBUS2)를 통하여 브로드캐스트 데이터(DA)가 전송된다. 입출력 반도체 다이(1400)의 제3 송신 회로(TX43)와 제3 연산 반도체 다이(1300)의 제3 수신 회로(RX33)가 인에이블되어 상응하는 제3 데이터 버스(DBUS3)를 통하여 브로드캐스트 데이터(DA)가 전송된다. 이러한 브로드캐스트 데이터(DA)의 전송은 모든 연산 반도체 다이들(1100, 1200, 1300)에 대하여 동시에 수행될 수 있다.
도 10를 참조하여 송신 회로와 수신 회로의 선택적인 인에이블에 의해 브로드캐스트 데이터(DA)의 전송을 수행하는 실시예를 설명하였으나, 브로드캐스트 데이터(DA)의 전송은 도 11a 및 11b를 참조하여 후술하는 바와 같이 데이터 버스의 선택적인 연결을 통해서도 수행될 수 있다.
도 11a 및 11b는 도 9의 브로드캐스트 데이터의 전송 경로를 구현하는 다른 실시예들을 나타내는 도면들이다.
도 11a를 참조하면, 인접하는 데이터 버스들(DBUS1~DBUS4) 사이에는 스위치 제어 신호들(SCON1, SCON2, SCON3)에 응답하여 턴온되는 스위치 회로들(SW1, SW2, SW3)이 각각 연결될 수 있다. 스위치 회로들(SW1, SW2, SW3)이 모두 턴온되면, 데이터 버스들(DBUS1~DBUS4)이 모두 전기적으로 연결된다. 이 경우, 입출력 반도체 다이(1400)는 상응하는 제4 데이터 버스(DBUS4)만을 브로드캐스트 데이터(DA)로 구동하여도 제1, 제2 및 제3 데이터 버스들(DBUS1, DBUS2, DBUS3)을 통하여 연산 반도체 다이들(1100, 1200, 1300)로 각각 브로드캐스트 데이터(DA)가 전송될 수 있다.
도 11b를 참조하면, 입출력 반도체 다이(1400)에 상응하는 제4 데이터 버스(DBUS4)와 연산 반도체 다이들(1100, 1200, 1300)에 상응하는 데이터 버스들(DBUS1, DBUS2, DBUS3) 사이에는 스위치 제어 신호들(SCON1, SCON2, SCON3)에 응답하여 턴온되는 스위치 회로들(SW1, SW2, SW3)이 각각 연결될 수 있다. 스위치 회로들(SW1, SW2, SW3)이 모두 턴온되면, 데이터 버스들(DBUS1~DBUS4)이 모두 전기적으로 연결된다. 이 경우, 입출력 반도체 다이(1400)는 상응하는 제4 데이터 버스(DBUS4)를 브로드캐스트 데이터(DA)로 구동하여도 제1, 제2 및 제3 데이터 버스들(DBUS1, DBUS2, DBUS3)을 통하여 연산 반도체 다이들(1100, 1200, 1300)로 각각 브로드캐스트 데이터(DA)가 전송될 수 있다.
도 12는 본 발명의 실시예들에 따른 적층형 메모리 장치에서 브로드캐스트 데이터의 전송 경로의 일 실시예를 나타내는 도면이고, 도 13은 도 12의 브로드캐스트 데이터의 전송 경로를 구현하는 일 실시예를 나타내는 도면이다.
도 12를 참조하면, 브로드캐스트 데이터(DA)는 로직 반도체 다이(1010)를 경유하지 않고 입출력 반도체 다이(1400)로부터 연산 반도체 다이들(1100, 1200, 1300)로 직접 전달될 수 있다. 입출력 반도체 다이(1400)는 입출력 반도체 다이(1400)에 상응하는 제4 데이터 버스(DBUS4)를 브로드캐스트 데이터(DA)로 구동할 수 있다. 연산 반도체 다이들(1100, 1200, 1300)의 각각은 입출력 반도체 다이(1400)에 상응하는 제4 데이터 버스(DBUS4)를 통하여 브로드캐스트 데이터(DA)를 수신할 수 있다.
도 13을 참조하면, 입출력 반도체 다이(1400)의 제4 송신 회로(TX44)가 인에이블됨과 동시에, 제1 연산 반도체 다이(1100)의 제4 수신 회로(RX14), 제2 연산 반도체 다이(1200)의 제4 수신 회로(RX24) 및 제3 연산 반도체 다이(1300)의 제4 수신 회로(RX34)가 인에이블되어 제4 데이터 버스(DBUS4)를 통하여 브로드캐스트 데이터(DA)가 동시에 전송될 수 있다.
도 13을 참조하여 송신 회로와 수신 회로의 선택적인 인에이블에 의해 브로드캐스트 데이터(DA)의 전송을 수행하는 실시예를 설명하였으나, 브로드캐스트 데이터(DA)의 전송은 도 14a, 14b 및 14c를 참조하여 후술하는 바와 같이 데이터 버스의 선택적인 연결을 통해서도 수행될 수 있다.
도 14a, 14b 및 14c는 도 12의 브로드캐스트 데이터의 전송 경로를 구현하는 다른 실시예를 나타내는 도면들이다.
도 14a, 14b 및 14c를 참조하면, 입출력 반도체 다이(1400)에 상응하는 제4 데이터 버스(DBUS4)와 연산 반도체 다이들(1100, 1200, 1300)에 상응하는 데이터 버스들(DBUS1, DBUS2, DBUS3) 사이에는 스위치 제어 신호들(SCON1, SCON2, SCON3)에 응답하여 턴온되는 스위치 회로들(SW1, SW2, SW3)이 각각 연결될 수 있다. 스위치 회로들(SW1, SW2, SW3)이 모두 턴온되면, 데이터 버스들(DBUS1~DBUS4)이 모두 전기적으로 연결된다. 이 경우, 입출력 반도체 다이(1400)는 상응하는 제4 데이터 버스(DBUS4)만을 브로드캐스트 데이터(DA)로 구동하여도 연산 반도체 다이들(1100, 1200, 1300)에서는 제1, 제2 및 제3 데이터 버스들(DBUS1, DBUS2, DBUS3)에 상응하는 수신 회로들(RX11, RX22, RX33)을 각각 인에이블함으로써 브로드캐스트 데이터(DA)를 수신할 수 있다.
일 실시예에서, 도 15 내지 18을 참조하여 후술하는 바와 같이, 연산 반도체 다이들(1100, 1200, 1300)에 포함된 연산 회로들(CAL)로부터 출력되는 연산 결과 데이터(DR1, DR2, DR3)는 연산 반도체 다이들(1100, 1200, 1300)로부터 로직 반도체 다이(1010)로 전달된 후 로직 반도체 다이(1010)로부터 입출력 반도체 다이(1400)로 전달될 수 있다. 다른 실시예에서, 도 19 내지 22를 참조하여 후술하는 바와 같이, 연산 결과 데이터(DR1, DR2, DR3)는 로직 반도체 다이(1010)를 경유하지 않고 연산 반도체 다이들(1100, 1200, 1300)로부터 입출력 반도체 다이(1400)로 직접 전달될 수 있다.
도 15는 본 발명의 실시예들에 따른 적층형 메모리 장치에서 연산 회로의 출력 데이터의 제1 전송 경로의 일 실시예를 나타내는 도면이고, 도 16은 도 15의 출력 데이터의 제1 전송 경로를 구현하는 일 실시예를 나타내는 도면이다.
도 15를 참조하면, 연산 결과 데이터(DR1, DR2, DR3)는 연산 반도체 다이들(1100, 1200, 1300)에 각각 상응하는 데이터 버스들(DBUS1, DBUS2, DBUS3)을 통하여 연산 반도체 다이들(1100, 1200, 1300)로부터 로직 반도체 다이(1010)로 동시에 전달될 수 있다. 도 2를 참조하여 전술한 바와 같이, 로직 반도체 다이(1010)는 글로벌 버퍼(1040)를 포함할 수 있고, 연산 반도체 다이들(1100, 1200, 1300)로부터 전달되는 연산 결과 데이터(DR1, DR2, DR3)는 글로벌 버퍼(1040)에 저장될 수 있다.
도 16을 참조하면, 제1 연산 반도체 다이(1100)의 제1 송신 회로(TX11)와 로직 반도체 다이(1010)의 제1 수신 회로(RX1)가 인에이블되어 상응하는 제1 데이터 버스(DBUS1)를 통하여 연산 결과 데이터(DR1)가 전송된다. 제2 연산 반도체 다이(1200)의 제2 송신 회로(TX22)와 로직 반도체 다이(1010)의 제2 수신 회로(RX2)가 인에이블되어 상응하는 제2 데이터 버스(DBUS2)를 통하여 연산 결과 데이터(DR2)가 전송된다. 제3 연산 반도체 다이(1300)의 제3 송신 회로(TX33)와 로직 반도체 다이(1010)의 제3 수신 회로(RX3)가 인에이블되어 상응하는 제3 데이터 버스(DBUS3)를 통하여 연산 결과 데이터(DR3)가 전송된다. 이러한 연산 결과 데이터(DR1, DR2, DR3)의 전송은 모든 연산 반도체 다이들(1100, 1200, 1300)에 대하여 동시에 수행될 수 있다.
도 17은 본 발명의 실시예들에 따른 적층형 메모리 장치에서 연산 회로의 출력 데이터의 제2 전송 경로의 일 실시예를 나타내는 도면이고, 도 18은 도 17의 출력 데이터의 제2 전송 경로를 구현하는 일 실시예를 나타내는 도면이다.
도 17을 참조하면, 연산 결과 데이터(DR)는 입출력 반도체 다이(1400)에 상응하는 제4 데이터 버스(DBUS4)를 통하여 로직 반도체 다이(1010)로부터 입출력 반도체 다이(1400)로 시분할 방식으로 순차적으로 전달될 수 있다. 로직 반도체 다이(1010)로부터 입출력 반도체 다이(1400)로 전달되는 연산 결과 데이터(DR)는 연산 반도체 다이들(1100, 1200, 1300)로부터 로직 반도체 다이(1010)로 전달되는 연산 결과 데이터(DR1, DR2, DR3)와 동일할 수도 있고, 도 2의 데이터 트랜스폼 로직(1050)에 의해 처리된 데이터일 수도 있다.
도 18을 참조하면, 로직 반도체 다이(1010)의 제4 송신 회로(TX4)와 입출력 반도체 다이(1400)의 제4 수신 회로(RX44)가 인에이블되어 상응하는 제4 데이터 버스(DBUS4)를 통하여 연산 결과 데이터(DR)가 전송된다. 이 경우, 연산 결과 데이터(DR)는 통상의 기입 동작을 통해 입출력 반도체 다이(1400)의 메모리 집적 회로에 저장될 수 있다. 연산 결과 데이터(DR)의 양이 많은 경우에는 시분할 방식으로 순차적으로 전달될 수 있다.
도 19는 본 발명의 실시예들에 따른 적층형 메모리 장치에서 연산 회로의 출력 데이터의 전송 경로의 일 실시예를 나타내는 도면이고, 도 20은 도 19의 출력 데이터의 전송 경로를 구현하는 일 실시예를 나타내는 도면이다.
도 19를 참조하면, 연산 결과 데이터(DR1, DR2, DR3)는 로직 반도체 다이(1010)를 경유하지 않고 연산 반도체 다이들(1100, 1200, 1300)로부터 입출력 반도체 다이(1400)로 직접 전달될 수 있다. 연산 반도체 다이들(1100, 1200, 1300)은 연산 반도체 다이들(1100, 1200, 1300)에 각각 상응하는 데이터 버스들(DBUS1, DBUS2, DBUS3)을 각각의 연산 결과 데이터(DR1, DR2, DR3)로 순차적으로 구동할 수 있다. 입출력 반도체 다이(1400)는 연산 반도체 다이들(1100, 1200, 1300)에 상응하는 데이터 버스들(DBUS1, DBUS2, DBUS3)을 통하여 상기 연산 결과 데이터(DR1, DR2, DR3)를 순차적으로 수신할 수 있다.
도 20을 참조하면, 제1 연산 반도체 다이(1100)의 제1 송신 회로(TX11)와 입출력 반도체 다이(1400)의 제1 수신 회로(RX41)가 인에이블되어 상응하는 제1 데이터 버스(DBUS1)를 통하여 연산 결과 데이터(DR1)가 전송된다. 제2 연산 반도체 다이(1200)의 제2 송신 회로(TX22)와 입출력 반도체 다이(1400)의 제2 수신 회로(RX42)가 인에이블되어 상응하는 제2 데이터 버스(DBUS2)를 통하여 연산 결과 데이터(DR2)가 전송된다. 제3 연산 반도체 다이(1300)의 제3 송신 회로(TX33)와 입출력 반도체 다이(1400)의 제3 수신 회로(RX43)가 인에이블되어 상응하는 제3 데이터 버스(DBUS3)를 통하여 연산 결과 데이터(DR3)가 전송된다. 이러한 연산 결과 데이터(DR1, DR2, DR3)의 전송은 연산 반도체 다이들(1100, 1200, 1300)에 대하여 하나씩 순차적으로 수행될 수 있다.
도 21은 본 발명의 실시예들에 따른 적층형 메모리 장치에서 연산 회로의 출력 데이터의 전송 경로의 일 실시예를 나타내는 도면이고, 도 22는 도 21의 출력 데이터의 전송 경로를 구현하는 일 실시예를 나타내는 도면이다.
도 21을 참조하면, 연산 결과 데이터(DR1, DR2, DR3)는 로직 반도체 다이(1010)를 경유하지 않고 연산 반도체 다이들(1100, 1200, 1300)로부터 입출력 반도체 다이(1400)로 직접 전달될 수 있다. 연산 반도체 다이들(1100, 1200, 1300)은 입출력 반도체 다이(1400)에 상응하는 제4 데이터 버스(DBUS4)를 각각의 연산 결과 데이터(DR1, DR2, DR3)로 순차적으로 구동할 수 있다. 입출력 반도체 다이(1400)는 입출력 반도체 다이(1400)에 상응하는 제4 데이터 버스(DBUS4)를 통하여 각각의 연산 결과 데이터(DR1, DR2, DR3)를 순차적으로 수신할 수 있다.
도 22를 참조하면, 제1 연산 반도체 다이(1100)의 제4 송신 회로(TX14), 제2 연산 반도체 다이(1200)의 제4 송신 회로(TX24) 및 제3 연산 반도체 다이(1300)의 제4 송신 회로(TX34)가 순차적으로 인에이블되어 제4 데이터 버스(DBUS4)를 통하여 연산 결과 데이터(DR1, DR2, DR3)를 순차적으로 출력한다. 입출력 반도체 다이(1400)의 제4 수신 회로(RX44)는 계속 인에이블된 상태를 유지하여 연산 결과 데이터(DR1, DR2, DR3)를 순차적으로 수신한다.
도 23은 본 발명의 실시예들에 따른 적층형 메모리 장치에서 브로드캐스트 데이터의 전송 경로의 일 실시예를 나타내는 도면이고, 도 24는 도 23의 브로드캐스트 데이터의 전송 경로를 구현하는 일 실시예를 나타내는 도면이다.
도 23에 도시된 바와 같이 적층된 메모리 반도체 다이들(1100, 1200, 1300, 1400)의 전부는 연산 회로(CAL)가 형성되는 연산 반도체 다이들에 해당할 수 있다. 이 경우, 제1 내지 제4 연산 반도체 다이들(1100, 1200, 1300, 1400) 중 하나로부터 나머지 연산 반도체 다이들로 브로드캐스트 데이터(DA)를 전달될 수 있다. 브로드캐스트 데이터(DA)를 제공할 연산 반도체 다이는 로직 반도체 다이(1010)로부터 제공되는 코맨드에 기초하여 결정될 수 있다. 도 23에는 제3 연산 반도체 다이(1300)가 브로드캐스트 데이터(DA)를 제공하는 예가 도시되어 있다.
도 23을 참조하면, 브로드캐스트 데이터(DA)는 로직 반도체 다이(1010)를 경유하지 않고 하나의 연산 반도체 다이, 즉 제3 연산 반도체 다이(1300)로부터 다른 연산 반도체 다이들, 즉 제1, 제2 및 제4 연산 반도체 다이들(1100, 1200, 1400)로 직접 전달될 수 있다. 제3 연산 반도체 다이(1300)는 제1, 제2 및 제4 연산 반도체 다이들(1100, 1200, 1400)에 각각 상응하는 데이터 버스들(DBUS1, DBUS2, DBUS4)을 브로드캐스트 데이터(DA)로 동시에 구동할 수 있다. 제1, 제2 및 제4 연산 반도체 다이들(1100, 1200, 1400)의 각각은 상응하는 데이터 버스들(DBUS1, DBUS2, DBUS4)을 통하여 브로드캐스트 데이터(DA)를 수신할 수 있다.
도 24를 참조하면, 제3 연산 반도체 다이(1300)의 제1 송신 회로(TX31)와 제1 연산 반도체 다이(1100)의 제1 수신 회로(RX11)가 인에이블되어 상응하는 제1 데이터 버스(DBUS1)를 통하여 브로드캐스트 데이터(DA)가 전송된다. 제3 연산 반도체 다이(1300)의 제2 송신 회로(TX32)와 제2 연산 반도체 다이(1200)의 제2 수신 회로(RX22)가 인에이블되어 상응하는 제2 데이터 버스(DBUS2)를 통하여 브로드캐스트 데이터(DA)가 전송된다. 제3 연산 반도체 다이(1300)의 제4 송신 회로(TX34)와 제4 연산 반도체 다이(1400)의 제4 수신 회로(RX44)가 인에이블되어 상응하는 제4 데이터 버스(DBUS4)를 통하여 브로드캐스트 데이터(DA)가 전송된다. 이러한 브로드캐스트 데이터(DA)의 전송은 모든 연산 반도체 다이들(1100, 1200, 1400)에 대하여 동시에 수행될 수 있다. 한편, 도 24에는 표시하지 않았으나, 제3 연산 반도체 다이(1300)의 제3 송신 회로(TX33)와 제3 수신 회로(RX33)가 인에이블되어 브로드캐스트 데이터(DA)가 제3 연산 반도체 다이(1300)의 연산 유닛들의 상응하는 입력 단자로 제공될 수 있다. 이 경우, 제3 연산 반도체 다이(1300)는 브로드캐스트 데이터(DA)를 제공하는 역할뿐만 아니라 다른 연산 반도체 다이들과 마찬가지로 연산 동작을 수행할 수 있다.
도 25는 본 발명의 실시예들에 따른 적층형 메모리 장치에 포함되는 연산 유닛의 일 실시예를 나타내는 도면이다.
도 25를 참조하면, 각 연산 유닛(500)은 곱셈부(520) 및 누적부(540)를 포함할 수 있다. 곱셈부(523)는 버퍼들(521, 522)과 곱셈기(523)을 포함하고 브로드캐스트 데이터(DA[N-1:0]) 및 내부 데이터(DW[N-1:0])를 곱하여 출력한다. 누적부(540)는 덧셈기(541)와 버퍼(542)를 포함하고, 곱셈부(520)의 출력을 누적하여 연산 결과 데이터(DR)를 제공한다. 누적부(540)는 리셋 신호(RST)에 응답하여 초기화될 수 있고, 출력 제어 신호(OUTEN)에 응답하여 연산 결과 데이터(DR)를 출력할 수 있다. 이러한 연산 유닛들(500)을 이용하여 도 27을 참조하여 후술하는 매트릭스 연산을 효율적으로 수행할 수 있다.
도 26은 연산 결과 데이터의 출력 방법의 일 실시예를 나타내는 도면이다.
도 26에는 하나의 채널(CHANNEL-0)에 상응하는 연산 결과 데이터의 출력 방법의 일 실시예가 도시되어 있다. 하나의 채널(CHANNEL-0)은 복수의 메모리 뱅크들(BANK0~BANK15)을 포함하고, 메모리 뱅크들(BANK0~BANK15)의 각각은 복수의 연산 유닛들(CU0~CU15)을 포함할 수 있다. 메모리 뱅크들(BANK0~BANK15)은 HBM 표준에 규정된 바와 같이 두 개의 슈도 채널들(PSE-0, PSE-1)로 구분될 수 있다.
연산 유닛들이 형성되는 연산 반도체 다이들의 각각은 도 26에 도시된 바와 같은 뱅크 합산기들(610a~610p)들을 더 포함할 수 있다. 뱅크 합산기들(610a~610p)은 메모리 뱅크들(BANK0~BANK15)의 각각에 해당하는 연산 유닛들의 출력들을 합산하여 각각의 뱅크 결과 신호들(BR0~BR15)을 발생한다. 각각의 연산 반도체 다이에서 발생되는 뱅크 결과 신호들(BR0~BR15)은 각각의 연산 반도체 다이에 상응하는 데이터 버스(DBUS)를 통하여 동시에 출력될 수 있다. 예를 들어, 하나의 채널(CHANNEL-0)에 상응하는 데이터 버스(DBUS)가 128 비트에 상응하고 하나의 채널(CHANNEL-0)이 16개의 메모리 뱅크들(BANK0~BANK15)을 포함하는 경우, 하나의 뱅크 합산기의 출력은 하나의 바이트, 즉 8 비트에 상응하는 데이터 버스(DBUS)의 데이터 경로들을 통해 출력될 수 있다. 즉 제1 뱅크 합산기(610a)의 뱅크 결과 신호(BR0)는 데이터 버스(DBUS)의 제1 바이트(BY0)에 상응하는 데이터 경로들을 통해 출력되고, 제2 뱅크 합산기(610b)의 뱅크 결과 신호(BR1)는 데이터 버스(DBUS)의 제2 바이트(BY1)에 상응하는 데이터 경로들을 통해 출력되고, 이와 같은 방식으로, 제16 뱅크 합산기(610p)의 뱅크 결과 신호(BR15)는 데이터 버스(DBUS)의 제16 바이트(BY15)에 상응하는 데이터 경로들을 통해 출력될 수 있다.
도 27은 본 발명의 실시예들에 따른 연산 회로를 이용한 매트릭스 연산을 나타내는 도면이다.
도 27은 본 발명의 실시예들에 따른 적층형 메모리 장치가 복수의 연산 유닛들(CU0-0 ~ CU95-15)을 이용하여 매트릭스-벡터(MV, matrix-vector) 곱셈(multiplication)을 수행하는 방법을 보여준다. 도 27에서 i번째 행의 연산 유닛들(CUi-0 ~ CUi-15)은 i번째 메모리 뱅크(BANKi)에 상응한다. 예를 들어, MV 곱셈은 32비트 모드이고 각 메모리 뱅크는 16개의 연산 유닛들(CU)을 포함할 수 있다. 예를 들어, 네 개의 메모리 반도체 다이들의 각각이 2개의 채널들을 포함하고 각 채널이 16개의 메모리 뱅크들을 포함할 수 있다. 이 경우, 하나의 반도체 다이는 전술한 입출력 반도체 다이로 이용되고 세 개의 메모리 반도체 다이들이 연산 반도체 다이들로 이용되는 경우 연산 반도체 다이들에 포함되는 메모리 뱅크들의 개수는 96개(6채널*16메모리 뱅크)일 수 있다.
제1 동작 주기(T1)에서 제1 세트의 브로드캐스트 데이터(DA0~DA15)가 제2 동작 주기(T2)에서 제2 세트의 브로드캐스트 데이터(DA16~DA31)가 순차적으로 액티베이션(activations)으로서 모든 메모리 뱅크들의 모든 연산 유닛들에 공통으로 제공된다. 이와 같은 방식으로 액티베이션이 순차적으로 브로드캐스트될 수 있다. 한편, 제1 동작 주기(T1)에서 제1 세트의 내부 데이터(DW0~DW95)가 제2 동작 주기(T2)에서 제2 세트의 내부 데이터(DW96~DW191)가 웨이트(weights)로서 순차적으로 연산 유닛들에 각각 제공된다. 내부 데이터는 각각의 메모리 뱅크로부터 독출된 데이터에 해당한다. 이와 같이, 순차적으로 제공되는 액티베이션 및 웨이트에 기초하여 연산 유닛들은 내적 연산들(dot product operations)을 수행한다. 동일한 메모리 뱅크의 연산 유닛들은 같은 출력 액티베이션의 부분 합들을 제공한다. 따라서, 내적 연산이 완료된 후에 상기 부분 합들은 도 26의 뱅크 합산기들에 의해 합산되어 최종 결과, 즉 뱅크 결과 신호들(BR0~BR95)이 제공된다.
본 발명의 실시예들에 따른 적층형 메모리 장치에서 도 27에 도시된 바와 같은 MV 곱셈은 1*1 컨벌류션(convolution) 또는 완전 연결된 레이어(fully-connected layer)에 해당한다. MLP 및 RNN의 경우에 브로드캐스트 데이터, 즉 브로드캐스팅된 액티베이션은 1차원 입력 액티베이션의 서브-어레이에 해당한다. CNN의 경우에 입력 액티베이션은 입력 액티베이션 텐서에서 1*1 서브-컬럼에 해당한다.
도 28은 본 발명의 실시예들에 따른 적층형 메모리 장치의 동작의 일 실시예를 나타내는 타이밍도이다.
도 9를 참조하여 전술한 바와 같이, 본 발명의 실시예들에 따른 적층형 메모리 장치에서, 제1, 제2 및 제3 메모리 반도체 다이들(1100, 1200, 1300)은 연산 회로(CAL), 즉 연산 유닛들(CU)이 형성되는 제1, 제2 및 제3 연산 반도체 다이들에 해당하고, 제4 메모리 반도체 다이(1400)는 연산 회로(CAL)가 형성되지 않은 입출력 반도체 다이일 수 있다. 이 경우 전술한 브로드캐스트 데이터는 입출력 반도체 다이(1400)로부터 제공될 수 있다. HBM 표준에 규정된 바와 같이, 제1 연산 반도체 다이(1100)는 제1 채널(CH0) 및 제2 채널(CH1)을 포함하고, 제2 연산 반도체 다이(1200)는 제3 채널(CH2) 및 제4 채널(CH3)을 포함하고, 제3 연산 반도체 다이(1300)는 제5 채널(CH4) 및 제6 채널(CH5)을 포함하고, 입출력 반도체 다이(1400)는 제7 채널(CH6) 및 제8 채널(CH7)을 포함할 수 있다. 각 채널은 슈도 채널(PSE) 0 및 1로 동작할 수 있다.
본 발명의 실시예들에 따른 적층형 메모리 장치는 연산 유닛들을 이용한 복수의 연산들을 병렬적으로 수행하기 위해 도 28에 도시된 MRST, ABRO, MAC, SUM, MWRT와 같은 새로운 코맨들들을 규정할 수 있다. 도 28에서 시점들(T0~TN+1)은 코맨드의 상대적인 타이밍을 나타낸다.
MRST는 연산 유닛의 버퍼를 리셋하기 위한 코맨드이다. 예를 들어, MRST에 기초하여 도 25의 리셋 신호(RST)가 활성화되고 버퍼(542)가 초기화될 수 있다. 또한 MRST는 브로드캐스트 데이터의 전송을 위해 로직 반도체 다이(1010)의 메모리 제어부(1030)의 채널 선택기를 세팅할 수 있다.
ABRO는 브로드캐스트 데이터의 전송을 개시한다(initiate). ABRO는 독출 코맨드와 유사하지만 독출 데이터가 외부로 전송되지는 않고 연산 반도체 다이들의 연산 유닛들에 전달되도록 한다. ABRO는 슈도 채널 단위로 발행된다(issued).
MAC은 연산 반도체 다이들에서 연산 동작을 개시한다. MAC은 독출 코맨드와 유사하지만 독출된 내부 데이터는 연산 유닛들까지만 전달되고 TSV를 통한 외부 또는 다른 반도체 다이들로의 전송은 방지된다. MAC은 모든 연산 반도체 다이들에 브로드캐스팅되고 슈도 채널 단위로 발행된다.
SUM은 연산 결과 데이터를 연산 유닛들로부터 로직 반도체 다이로 전송한다. 예를 들어, SUM에 기초하여 도 25의 출력 제어 신호(OUTEN)가 활성화되고, 연산 결과 데이터(DR)들은 도 26의 뱅크 합산기들(610a~610p)에 의해 합산되어 뱅크 결과 신호들(BR)로서 로직 반도체 다이(1010)에 제공될 수 있다.
MWRT는 연산 결과 데이터를 로직 반도체 다이(1010)로부터 입출력 반도체 다이로 전송하도록 로직 반도체 다이(1010)의 메모리 제어부(1030)의 채널 선택기를 세팅할 수 있다.
도 28에서, 제7 채널(CH6)과 제8 채널(CH7)은 입출력 반도체 다이(1400)에 해당하고 브로드캐스트 데이터 및 연산 결과 데이터를 저장하고, 제1 내지 제6 채널(CH0~CH5)는 연산 반도체 다이들(1100, 1200, 1300)에 해당하고 내부 데이터를 저장하고 연산 동작을 수행한다. 도 28에 도시된 바와 같이, ABRO, MAC, MWRT는 슈도 채널 단위로, 즉 제1 슈도 채널(PSE-0) 과 제2 슈도 채널(PSE-1)에 대해서 교호적으로(alternatively) 발행될 수 있고, 이를 통하여 연산 유닛들의 동작이 효율적으로 수행될 수 있다. 예를 들어, T2 시점에서는 제2 슈도 채널(PSE-1)에 대한 브로드캐스트 데이터의 전송과 제1 슈도 채널(PSE-0)에 대한 내부 데이터의 전송 및 연산이 동시에 수행될 수 있다.
도 29 및 도 30은 본 발명의 실시예들에 따른 적층형 메모리 장치의 패키징 구조를 나타내는 도면들이다.
도 29를 참조하면, 메모리 칩(801)은 인터포저(interposer)(ITP) 및 인터포저(ITP) 위에 실장되는 적층형 메모리 장치를 포함한다. 적층형 메모리 장치는 로직 반도체 다이(LSD) 및 복수의 메모리 반도체 다이들(MSD1~MSD4)을 포함한다.
도 30을 참조하면, 메모리 칩(802)은 베이스 기판(base substrate)(BSUB) 및 베이스 기판(BSUB) 위에 실장되는 적층형 메모리 장치를 포함한다. 적층형 메모리 장치는 로직 반도체 다이(LSD) 및 복수의 메모리 반도체 다이들(MSD1~MSD4)을 포함한다.
도 29에는 로직 반도체 다이(LSD)를 제외한 메모리 반도체 다이들(MSD1~MSD4)만이 함께 수직으로 적층되고, 로직 반도체 다이(LSD)는 인터포저(ITP) 또는 베이스 기판(BSUB)을 통하여 적층된 메모리 반도체 다이들(MSD1~MSD4)과 전기적으로 연결되는 구조가 도시되어 있다. 반면에 도 30에는 로직 반도체 다이(LSD)는 메모리 반도체 다이들(MSD1~MSD4)과 함께 수직으로 적층되는 구조가 도시되어 있다.
메모리 반도체 다이들(MSD1~MSD4)의 하나 이상은 전술한 연산 회로들(CAL)을 포함할 수 있다. 연산 회로들(CAL)은 공통의 브로드캐스트 데이터와 각 내부 데이터에 기초한 연산을 수행하는 복수의 연산 유닛들을 포함할 수 있다.
베이스 기판(BSUB)은 인터포저(ITP)를 포함하는 것으로 간주한다. 베이스 기판(BSUB)은 인쇄 회로 기판(PCB: printed circuit board)일 수 있다. 베이스 기판(BSUB)의 하면에는 외부 연결 부재, 예컨대 도전성 범프(BMP)가 형성될 수 있고, 베이스 기판(BSUB)의 상면에도 내부 연결 부재, 예컨대 도전성 범프(BMP)가 형성될 수 있다. 도 29의 실시예에서는 로직 반도체 다이(LSD)와 메모리 반도체 다이들(MSD1~MSD4)은 인터포저(ITP)에 형성된 도전 라인 패턴을 통하여 서로 전기적으로 연결될 수도 있다. 이와 같이 적층된 반도체 다이들(LSD, MSD1~MSD4)은 밀봉 부재(RSN)를 이용하여 패키징될 수 있다.
도 31은 본 발명의 실시예들에 따른 적층형 메모리 장치를 모바일 시스템에 응용한 예를 나타내는 블록도이다.
도 31을 참조하면, 모바일 시스템(3000)은 어플리케이션 프로세서(3100), 통신(Connectivity)부(3200), 메모리 장치(3300), 비휘발성 메모리 장치(3400), 사용자 인터페이스(3500) 및 파워 서플라이(3600)를 포함한다.
어플리케이션 프로세서(3100)는 인터넷 브라우저, 게임, 동영상 등을 제공하는 어플리케이션들을 실행할 수 있다. 통신부(3200)는 외부 장치와 무선 통신 또는 유선 통신을 수행할 수 있다. 메모리 장치(3300)는 어플리케이션 프로세서(3100)에 의해 처리되는 데이터를 저장하거나, 동작 메모리(Working Memory)로서 작동할 수 있다. 예를 들어, 메모리 장치(3300)는 DDR SDRAM, LPDDR SDRAM, GDDR SDRAM, RDRAM 등과 같은 동적 랜덤 액세스 메모리일 수 있다. 비휘발성 메모리 장치(3400)는 모바일 시스템(3000)을 부팅하기 위한 부트 이미지를 저장할 수 있다. 사용자 인터페이스(3500)는 키패드, 터치 스크린과 같은 하나 이상의 입력 장치, 및/또는 스피커, 디스플레이 장치와 같은 하나 이상의 출력 장치를 포함할 수 있다. 파워 서플라이(3600)는 모바일 시스템(3000)의 동작 전압을 공급할 수 있다. 또한, 실시예에 따라, 모바일 시스템(3000)은 카메라 이미지 프로세서(Camera Image Processor; CIS)를 더 포함할 수 있고, 메모리 카드(Memory Card), 솔리드 스테이트 드라이브(Solid State Drive; SSD), 하드 디스크 드라이브(Hard Disk Drive; HDD), 씨디롬(CD-ROM) 등과 같은 저장 장치를 더 포함할 수 있다.
메모리 장치(3300) 및/또는 비휘발성 메모리 장치(3400)는 도 1 내지 도 30을 참조하여 전술한 바와 같은 적층형 구조로서 구현될 수 있다. 적층형 구조는 TSV들을 통하여 연결되는 적층된 복수의 메모리 반도체 다이들을 포함하고 상기 메모리 반도체 다이들의 하나 이상에는 전술한 바와 같은 연산 유닛들이 형성된다.
이상 설명한 바와 같이, 본 발명의 실시예들에 따른 적층형 메모리 장치, 이를 포함하는 시스템 및 그 동작 방법은, 메모리 집약적(memory-intensive) 또는 데이터 집약적(data-intensive)인 데이터 프로세스를 메모리 반도체 다이에 포함된 복수의 연산 유닛들에 의해 병렬적으로 수행함으로써 상기 적층형 메모리 장치, 로직 반도체 다이 및 외부 장치 사이에 교신되는 데이터의 양을 감소하여 데이터 프로세싱 시간 및 전력소모를 감소할 수 있다.
본 발명의 실시예들은 메모리 장치 및 이를 포함하는 시스템에 유용하게 이용될 수 있다. 특히 본 발명의 실시예들은 메모리 카드, 솔리드 스테이트 드라이브(Solid State Drive; SSD), 컴퓨터(computer), 노트북(laptop), 핸드폰(cellular), 스마트폰(smart phone), MP3 플레이어, 피디에이(Personal Digital Assistants; PDA), 피엠피(Portable Multimedia Player; PMP), 디지털 TV, 디지털 카메라, 포터블 게임 콘솔(portable game console) 등과 같은 전자 기기에 더욱 유용하게 적용될 수 있다.
상기에서는 본 발명이 바람직한 실시예를 참조하여 설명하였지만, 해당 기술분야의 숙련된 당업자는 하기의 특허청구범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 것이다.

Claims (20)

  1. 적어도 하나의 로직 반도체 다이(semiconductor die);
    상기 로직 반도체 다이 위에 적층되는 복수의 메모리 반도체 다이들;
    상기 로직 반도체 다이 및 상기 메모리 반도체 다이들을 전기적으로 연결하는 실리콘 관통 전극들;
    상기 메모리 반도체 다이들에 각각 형성되고 데이터를 저장하는 복수의 메모리 집적 회로들; 및
    상기 메모리 반도체 다이들 중 하나 이상의 연산 반도체 다이들에 각각 형성되는 복수의 연산 유닛들을 포함하고,
    상기 복수의 연산 유닛들은 브로드캐스트 데이터 및 내부 데이터에 기초한 연산을 수행하여 각각의 연산 결과 데이터를 생성하고,
    상기 브로드캐스트 데이터는 상기 실리콘 관통 전극들을 통하여 상기 연산 반도체 다이들에 공통으로 제공되고,
    상기 내부 데이터는 상기 연산 반도체 다이들의 상기 메모리 집적 회로들로부터 각각 독출되는 적층형 메모리 장치.
  2. 제1 항에 있어서,
    상기 메모리 반도체 다이들의 각각은 복수의 메모리 뱅크들을 포함하고, 상기 연산 유닛들은 상기 연산 반도체 다이들에 포함되는 상기 메모리 뱅크들의 내부에 분산하여 배치되는 것을 특징으로 하는 적층형 메모리 장치.
  3. 제2 항에 있어서,
    상기 연산 반도체 다이들의 상기 메모리 뱅크들에 포함되는 상기 연산 유닛들은 상기 브로드캐스트 데이터를 공통으로 수신하여 상기 연산을 병렬적으로 수행하는 것을 특징으로 하는 적층형 메모리 장치.
  4. 제2 항에 있어서,
    상기 메모리 뱅크들의 각각은 복수의 데이터 블록들을 포함하고, 상기 연산 반도체 다이들에 포함되는 상기 데이터 블록들의 일정한 개수마다 연산 유닛들이 하나씩 배치되는 것을 특징으로 하는 적층형 메모리 장치.
  5. 제 1항에 있어서,
    상기 연산 유닛의 상기 내부 데이터를 수신하는 제1 입력 단자들은 글로벌 입출력 라인들의 신호들을 증폭하여 출력하는 입출력 센스 앰프의 출력 단자들에 연결되고, 상기 연산 유닛의 상기 브로드캐스트 데이터를 수신하는 제2 입력 단자들은 상기 글로벌 입출력 라인들을 구동하는 입출력 드라이버의 입력 단자들에 연결되는 것을 특징으로 하는 적층형 메모리 장치.
  6. 제1 항에 있어서,
    상기 메모리 반도체 다이들 중 적어도 하나는 상기 연산 유닛을 포함하지 않는 입출력 반도체 다이에 해당하는 것을 특징으로 하는 적층형 메모리 장치.
  7. 제6 항에 있어서,
    상기 브로드캐스트 데이터는 상기 로직 반도체 다이를 경유하지 않고 상기 입출력 반도체 다이로부터 상기 연산 반도체 다이들로 직접 전달되는 것을 특징으로 하는 적층형 메모리 장치.
  8. 제6 항에 있어서,
    상기 입출력 반도체 다이는 상기 연산 반도체 다이들에 각각 상응하는 데이터 버스들을 상기 브로드캐스트 데이터로 동시에 구동하고,
    상기 연산 반도체 다이들의 각각은 상기 연산 반도체 다이들에 각각 상응하는 데이터 버스들을 통하여 상기 브로드캐스트 데이터를 수신하는 것을 특징으로 하는 적층형 메모리 장치.
  9. 제6 항에 있어서,
    상기 입출력 반도체 다이는 상기 입출력 반도체 다이에 상응하는 데이터 버스를 상기 브로드캐스트 데이터로 구동하고,
    상기 연산 반도체 다이들의 각각은 상기 입출력 반도체 다이에 상응하는 데이터 버스를 통하여 상기 브로드캐스트 데이터를 수신하는 것을 특징으로 하는 적층형 메모리 장치.
  10. 제6 항에 있어서,
    상기 연산 결과 데이터는 상기 연산 반도체 다이들로부터 상기 로직 반도체 다이로 전달된 후 상기 로직 반도체 다이로부터 상기 입출력 반도체 다이로 전달되는 것을 특징으로 하는 적층형 메모리 장치.
  11. 제10 항에 있어서,
    상기 연산 결과 데이터는 상기 연산 반도체 다이들에 각각 상응하는 데이터 버스들을 통하여 상기 연산 반도체 다이들로부터 상기 로직 반도체 다이로 동시에 전달되고,
    상기 연산 결과 데이터는 상기 입출력 반도체 다이에 상응하는 데이터 버스를 통하여 상기 로직 반도체 다이로부터 상기 입출력 반도체 다이로 시분할 방식으로 순차적으로 전달되는 것을 특징으로 하는 적층형 메모리 장치.
  12. 제6 항에 있어서,
    상기 연산 결과 데이터는 상기 로직 반도체 다이를 경유하지 않고 상기 연산 반도체 다이들로부터 상기 입출력 반도체 다이로 직접 전달되는 것을 특징으로 하는 적층형 메모리 장치.
  13. 제12 항에 있어서,
    상기 연산 반도체 다이들은 상기 연산 반도체 다이들에 각각 상응하는 데이터 버스들을 각각의 상기 연산 결과 데이터로 순차적으로 구동하고,
    상기 입출력 반도체 다이는 상기 연산 반도체 다이들에 상응하는 데이터 버스들을 통하여 상기 연산 결과 데이터를 순차적으로 수신하는 것을 특징으로 하는 적층형 메모리 장치.
  14. 제12 항에 있어서,
    상기 연산 반도체 다이들은 상기 입출력 반도체 다이에 상응하는 데이터 버스를 각각의 상기 연산 결과 데이터로 순차적으로 구동하고,
    상기 입출력 반도체 다이는 상기 입출력 반도체 다이에 상응하는 데이터 버스를 통하여 각각의 상기 연산 결과 데이터를 순차적으로 수신하는 것을 특징으로 하는 적층형 메모리 장치.
  15. 제1 항에 있어서,
    상기 메모리 반도체 다이들의 전부는 상기 연산 유닛을 포함하는 상기 연산 반도체 다이들인 것을 특징으로 하는 적층형 메모리 장치.
  16. 제2 항에 있어서,
    상기 연산 반도체 다이들의 각각은,
    상기 메모리 뱅크들의 각각에 해당하는 상기 연산 유닛들의 출력들을 합산하여 각각의 뱅크 결과 신호들을 발생하는 복수의 뱅크 합산기들을 더 포함하는 것을 특징으로 하는 적층형 메모리 장치.
  17. 제1 항에 있어서,
    상기 연산 유닛들의 각각은,
    상기 브로드캐스트 데이터 및 상기 내부 데이터를 곱하여 출력하는 곱셈부; 및
    상기 곱셈부의 출력을 누적하여 상기 연산 결과 데이터를 제공하는 누적부를 포함하는 것을 특징으로 하는 적층형 메모리 장치.
  18. 제1 항에 있어서,
    상기 로직 반도체 다이는 상기 메모리 반도체 다이들로부터 제공된 데이터 또는 외부 장치로부터 제공된 데이터를 처리하는 데이터 트랜스폼 로직을 더 포함하는 것을 특징으로 하는 적층형 메모리 장치.
  19. 베이스 기판;
    상기 베이스 기판 위에 적층되는 적어도 하나의 로직 반도체 다이(semiconductor die);
    상기 베이스 기판 또는 상기 로직 반도체 다이 위에 적층되는 복수의 메모리 반도체 다이들; 및
    상기 메모리 반도체 다이들 중 하나 이상의 연산 반도체 다이들에 각각 형성되는 복수의 연산 유닛들을 포함하고,
    상기 복수의 연산 유닛들은 브로드캐스트 데이터 및 내부 데이터에 기초한 연산을 수행하여 각각의 연산 결과 데이터를 생성하고,
    상기 브로드캐스트 데이터는 상기 연산 반도체 다이들에 공통으로 제공되고,
    상기 내부 데이터는 상기 연산 반도체 다이들에 포함되는 메모리 집적 회로들로부터 각각 독출되는 메모리 시스템.
  20. 적층된 복수의 메모리 반도체 다이들 중 하나 이상의 연산 반도체 다이들에 복수의 연산 유닛들을 형성하는 단계;
    상기 메모리 반도체 다이들을 전기적으로 연결하는 실리콘 관통 전극들을 통하여 브로드캐스트 데이터를 상기 연산 유닛들에 공통으로 제공하는 단계;
    상기 연산 반도체 다이들의 메모리 집적 회로들로부터 각각 독출되는 내부 데이터를 상기 연산 유닛들에 각각 제공하는 단계; 및
    상기 연산 유닛들을 이용하여 상기 공통의 브로드캐스트 데이터 및 상기 각각의 내부 데이터에 대한 복수의 연산들을 동시에 수행하는 단계를 포함하는 적층형 메모리 장치의 동작 방법.
KR1020170125481A 2017-09-27 2017-09-27 적층형 메모리 장치, 이를 포함하는 시스템 및 그 동작 방법 Active KR102395463B1 (ko)

Priority Applications (9)

Application Number Priority Date Filing Date Title
KR1020170125481A KR102395463B1 (ko) 2017-09-27 2017-09-27 적층형 메모리 장치, 이를 포함하는 시스템 및 그 동작 방법
DE102018108702.0A DE102018108702A1 (de) 2017-09-27 2018-04-12 Gestapelte Speichervorrichtung, System mit derselben und verbundenes Verfahren
TW107113905A TWI750365B (zh) 2017-09-27 2018-04-24 堆疊記憶體裝置、包含該裝置的記憶體系統以及操作方法
US16/038,269 US10553260B2 (en) 2017-09-27 2018-07-18 Stacked memory device, a system including the same and an associated method
CN201810826611.XA CN109560078B (zh) 2017-09-27 2018-07-25 堆叠式存储器装置、包括其的存储器系统及操作方法
SG10201808209UA SG10201808209UA (en) 2017-09-27 2018-09-20 Stacked memory device, a system including the same and an associated method
JP2018180170A JP7317478B2 (ja) 2017-09-27 2018-09-26 積層型メモリ装置及びメモリシステム
US16/743,051 US10923165B2 (en) 2017-09-27 2020-01-15 Stacked memory device, a system including the same and an associated method
US17/172,328 US11114139B2 (en) 2017-09-27 2021-02-10 Stacked memory device, a system including the same and an associated method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170125481A KR102395463B1 (ko) 2017-09-27 2017-09-27 적층형 메모리 장치, 이를 포함하는 시스템 및 그 동작 방법

Publications (2)

Publication Number Publication Date
KR20190036358A KR20190036358A (ko) 2019-04-04
KR102395463B1 true KR102395463B1 (ko) 2022-05-09

Family

ID=65638267

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170125481A Active KR102395463B1 (ko) 2017-09-27 2017-09-27 적층형 메모리 장치, 이를 포함하는 시스템 및 그 동작 방법

Country Status (7)

Country Link
US (3) US10553260B2 (ko)
JP (1) JP7317478B2 (ko)
KR (1) KR102395463B1 (ko)
CN (1) CN109560078B (ko)
DE (1) DE102018108702A1 (ko)
SG (1) SG10201808209UA (ko)
TW (1) TWI750365B (ko)

Families Citing this family (47)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102395463B1 (ko) 2017-09-27 2022-05-09 삼성전자주식회사 적층형 메모리 장치, 이를 포함하는 시스템 및 그 동작 방법
US11625245B2 (en) * 2018-09-28 2023-04-11 Intel Corporation Compute-in-memory systems and methods
KR102778192B1 (ko) 2018-12-03 2025-03-10 삼성전자주식회사 Pim을 채용하는 반도체 메모리 장치 및 그 동작 방법
US11094371B2 (en) 2019-03-11 2021-08-17 Samsung Electronics Co., Ltd. Memory device for processing operation and method of operating the same
US11139270B2 (en) * 2019-03-18 2021-10-05 Kepler Computing Inc. Artificial intelligence processor with three-dimensional stacked memory
US11836102B1 (en) 2019-03-20 2023-12-05 Kepler Computing Inc. Low latency and high bandwidth artificial intelligence processor
US11024385B2 (en) * 2019-05-17 2021-06-01 Sandisk Technologies Llc Parallel memory operations in multi-bonded memory device
CN111952298B (zh) * 2019-05-17 2023-12-29 芯盟科技有限公司 神经网络智能芯片及其形成方法
US11844223B1 (en) 2019-05-31 2023-12-12 Kepler Computing Inc. Ferroelectric memory chiplet as unified memory in a multi-dimensional packaging
US12086410B1 (en) 2019-05-31 2024-09-10 Kepler Computing Inc. Ferroelectric memory chiplet in a multi-dimensional packaging with I/O switch embedded in a substrate or interposer
US11043472B1 (en) 2019-05-31 2021-06-22 Kepler Compute Inc. 3D integrated ultra high-bandwidth memory
US12079475B1 (en) 2019-05-31 2024-09-03 Kepler Computing Inc. Ferroelectric memory chiplet in a multi-dimensional packaging
CN113906505B (zh) * 2019-05-31 2023-04-18 美光科技公司 用于片上系统装置的存储器组件
KR20210012335A (ko) * 2019-07-24 2021-02-03 에스케이하이닉스 주식회사 반도체장치
TWI809298B (zh) 2019-08-14 2023-07-21 美商若響半導體股份有限公司 啟動記憶體之方法，記憶體和記憶體控制器及其操作方法，以及計算記憶體系統
CN110942793B (zh) * 2019-10-23 2021-11-23 北京新忆科技有限公司 存储器
US11531871B2 (en) * 2019-10-29 2022-12-20 Samsung Electronics Co., Ltd. Stacked neuromorphic devices and neuromorphic computing systems
US11599299B2 (en) * 2019-11-19 2023-03-07 Invensas Llc 3D memory circuit
KR102793524B1 (ko) 2019-12-24 2025-04-09 삼성전자주식회사 인터커넥트 장치, 인터커넥트 장치의 동작 방법 및 인터커넥트 장치를 포함하는 AI(Artificial Intelligence) 가속기 시스템
US11561731B2 (en) * 2019-12-26 2023-01-24 Micron Technology, Inc. Truth table extension for stacked memory systems
US12248762B2 (en) 2020-01-07 2025-03-11 SK Hynix Inc. Processing-in-memory (PIM) devices
US12106819B2 (en) * 2020-01-07 2024-10-01 SK Hynix Inc. Processing-in-memory (PIM) device
US11842266B2 (en) * 2020-01-07 2023-12-12 SK Hynix Inc. Processing-in-memory (PIM) device, controller for controlling the PIM device, and PIM system including the PIM device and the controller
US11537323B2 (en) * 2020-01-07 2022-12-27 SK Hynix Inc. Processing-in-memory (PIM) device
US12254285B2 (en) * 2020-01-07 2025-03-18 SK Hynix Inc. Processing-in-memory (PIM) devices
US11069400B1 (en) 2020-01-20 2021-07-20 Samsung Electronics Co., Ltd. High bandwidth memory and system having the same
KR102791111B1 (ko) * 2020-02-03 2025-04-07 삼성전자주식회사 적층형 메모리 장치 및 상기 적층형 메모리 장치의 동작 방법
KR102785591B1 (ko) * 2020-02-20 2025-03-26 삼성전자주식회사 펑션-인-메모리 동작을 수행하는 적층형 메모리 장치 및 그 동작 방법
US11189347B2 (en) * 2020-03-13 2021-11-30 Micron Technology, Inc. Resource management for memory die-specific operations
WO2021202160A1 (en) * 2020-03-30 2021-10-07 Rambus Inc. Stacked-die neural network with integrated high-bandwidth memory
US20230109354A1 (en) * 2020-04-03 2023-04-06 Semiconductor Energy Laboratory Co., Ltd. Semiconductor device
WO2021241048A1 (ja) * 2020-05-28 2021-12-02 パナソニックＩｐマネジメント株式会社 Ａｉチップ
US11216373B2 (en) * 2020-05-29 2022-01-04 Advanced Micro Devices, Inc. Memory access commands with near-memory address generation
CN113704137A (zh) * 2020-07-30 2021-11-26 西安紫光国芯半导体有限公司 存内计算模块和方法、存内计算网络及构建方法
KR20220030106A (ko) 2020-09-02 2022-03-10 삼성전자주식회사 저장 장치, 저장 장치의 동작 방법 및 이를 포함한 전자 장치
KR102786984B1 (ko) 2020-09-03 2025-03-27 삼성전자주식회사 메모리 장치, 그것을 포함하는 메모리 시스템, 그것을 제어하는 제어기 및 그것의 동작 방법
KR20220032366A (ko) 2020-09-07 2022-03-15 삼성전자주식회사 가변적인 모드 설정을 수행하는 메모리 장치 및 그 동작방법
TWI840715B (zh) * 2021-01-21 2024-05-01 創惟科技股份有限公司 基於卷積神經網路的運算電路、資料處理方法及電腦可讀取儲存媒體
WO2022238798A1 (ja) * 2021-05-10 2022-11-17 株式会社半導体エネルギー研究所 半導体装置
US12032829B2 (en) * 2021-07-21 2024-07-09 Samsung Electronics Co., Ltd. Memory device performing in-memory operation and method thereof
US11791233B1 (en) 2021-08-06 2023-10-17 Kepler Computing Inc. Ferroelectric or paraelectric memory and logic chiplet with thermal management in a multi-dimensional packaging
US12112792B2 (en) * 2021-08-10 2024-10-08 Micron Technology, Inc. Memory device for wafer-on-wafer formed memory and logic
US11893240B2 (en) 2021-10-28 2024-02-06 Qualcomm Incorporated Reducing latency in pseudo channel based memory systems
US12079482B2 (en) 2022-01-06 2024-09-03 Samsung Electronics Co., Ltd. Memory device
US12014798B2 (en) * 2022-03-31 2024-06-18 Macronix International Co., Ltd. In memory data computation and analysis
US20250218503A1 (en) * 2022-08-02 2025-07-03 Semiconductor Energy Laboratory Co., Ltd. Semiconductor device
CN117708040A (zh) * 2023-12-13 2024-03-15 北京知存科技有限公司 存算一体芯片架构、封装方法以及装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140181483A1 (en) 2012-12-21 2014-06-26 Advanced Micro Devices, Inc. Computation Memory Operations in a Logic Layer of a Stacked Memory
US20150161005A1 (en) 2009-12-31 2015-06-11 Intel Corporation Systems, methods, and apparatuses for stacked memory
WO2015171914A1 (en) 2014-05-08 2015-11-12 Micron Technology, Inc. Hybrid memory cube system interconnect directory-based cache coherence methodology
US20160092396A1 (en) 2014-09-26 2016-03-31 Intel Corporation Method and apparatus for stacking a plurality of cores
US20170255390A1 (en) 2016-03-01 2017-09-07 Samsung Electronics Co., Ltd. 3-d stacked memory with reconfigurable compute logic

Family Cites Families (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5159572A (ja) 1974-11-20 1976-05-24 Matsushita Electric Ind Co Ltd Kutsukinguteeburunadono choriki
JPS60262253A (ja) * 1984-06-07 1985-12-25 Agency Of Ind Science & Technol メモリデ−タ処理回路
DE69132495T2 (de) 1990-03-16 2001-06-13 Texas Instruments Inc., Dallas Verteilter Verarbeitungsspeicher
US5528549A (en) * 1993-05-28 1996-06-18 Texas Instruments Incorporated Apparatus, systems and methods for distributed signal processing
JP3189727B2 (ja) * 1997-04-15 2001-07-16 日本電気株式会社 コプロセッサ内蔵パケット型メモリｌｓｉ、それを用いたメモリシステム及びそれらの制御方法
WO2003088033A1 (en) 2002-04-09 2003-10-23 University Of Rochester Multiplier-based processor-in-memory architectures for image and graphics processing
JP4309368B2 (ja) * 2005-03-30 2009-08-05 エルピーダメモリ株式会社 半導体記憶装置
JP4423453B2 (ja) 2005-05-25 2010-03-03 エルピーダメモリ株式会社 半導体記憶装置
JP4799157B2 (ja) 2005-12-06 2011-10-26 エルピーダメモリ株式会社 積層型半導体装置
JP2008140220A (ja) 2006-12-04 2008-06-19 Nec Corp 半導体装置
JP5331427B2 (ja) 2008-09-29 2013-10-30 株式会社日立製作所 半導体装置
US8127185B2 (en) * 2009-01-23 2012-02-28 Micron Technology, Inc. Memory devices and methods for managing error regions
US8234460B2 (en) 2009-06-04 2012-07-31 Micron Technology, Inc. Communication between internal and external processors
US9477636B2 (en) 2009-10-21 2016-10-25 Micron Technology, Inc. Memory having internal processors and data communication methods in memory
US8719516B2 (en) 2009-10-21 2014-05-06 Micron Technology, Inc. Memory having internal processors and methods of controlling memory access
US8437163B2 (en) * 2010-02-11 2013-05-07 Micron Technology, Inc. Memory dies, stacked memories, memory devices and methods
KR101667656B1 (ko) 2010-03-24 2016-10-20 삼성전자주식회사 패키지-온-패키지 형성방법
US9820074B2 (en) 2013-03-15 2017-11-14 Apple Inc. Memory management techniques and related systems for block-based convolution
US8971124B1 (en) 2013-08-08 2015-03-03 Micron Technology, Inc. Apparatuses and methods for performing logical operations using sensing circuitry
US9019785B2 (en) 2013-09-19 2015-04-28 Micron Technology, Inc. Data shifting via a number of isolation devices
JP6680454B2 (ja) * 2014-03-17 2020-04-15 国立研究開発法人産業技術総合研究所 Ｌｓｉチップ積層システム
KR102246878B1 (ko) * 2014-05-29 2021-04-30 삼성전자 주식회사 반도체 메모리 장치, 이를 포함하는 메모리 모듈, 및 이를 포함하는 메모리 시스템
US9411726B2 (en) 2014-09-30 2016-08-09 Samsung Electronics Co., Ltd. Low power computation architecture
US9836277B2 (en) * 2014-10-01 2017-12-05 Samsung Electronics Co., Ltd. In-memory popcount support for real time analytics
US9880752B2 (en) * 2015-09-28 2018-01-30 Western Digital Technologies, Inc. Memory die temperature adjustment based on a power condition
CN106782666B (zh) * 2015-11-25 2020-05-05 北京大学深圳研究生院 一种三维堆叠存储器
JP2017123208A (ja) 2016-01-06 2017-07-13 ルネサスエレクトロニクス株式会社 半導体記憶装置
US9997232B2 (en) * 2016-03-10 2018-06-12 Micron Technology, Inc. Processing in memory (PIM) capable memory device having sensing circuitry performing logic operations
KR101838379B1 (ko) 2016-05-04 2018-03-13 연세대학교 산학협력단 자바강황 추출물 또는 잔소리졸을 유효성분으로 함유하는 타액 분비 증강용, 또는 구강건조증 예방, 개선 또는 치료용 조성물
KR102395463B1 (ko) 2017-09-27 2022-05-09 삼성전자주식회사 적층형 메모리 장치, 이를 포함하는 시스템 및 그 동작 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150161005A1 (en) 2009-12-31 2015-06-11 Intel Corporation Systems, methods, and apparatuses for stacked memory
US20140181483A1 (en) 2012-12-21 2014-06-26 Advanced Micro Devices, Inc. Computation Memory Operations in a Logic Layer of a Stacked Memory
WO2015171914A1 (en) 2014-05-08 2015-11-12 Micron Technology, Inc. Hybrid memory cube system interconnect directory-based cache coherence methodology
US20160092396A1 (en) 2014-09-26 2016-03-31 Intel Corporation Method and apparatus for stacking a plurality of cores
US20170255390A1 (en) 2016-03-01 2017-09-07 Samsung Electronics Co., Ltd. 3-d stacked memory with reconfigurable compute logic

Also Published As

Publication number Publication date
US10553260B2 (en) 2020-02-04
CN109560078A (zh) 2019-04-02
TW201915730A (zh) 2019-04-16
KR20190036358A (ko) 2019-04-04
US11114139B2 (en) 2021-09-07
US10923165B2 (en) 2021-02-16
US20210166740A1 (en) 2021-06-03
US20200152244A1 (en) 2020-05-14
DE102018108702A1 (de) 2019-03-28
SG10201808209UA (en) 2019-04-29
CN109560078B (zh) 2023-10-03
JP2019061677A (ja) 2019-04-18
US20190096453A1 (en) 2019-03-28
TWI750365B (zh) 2021-12-21
JP7317478B2 (ja) 2023-07-31

Similar Documents

Publication Publication Date Title
KR102395463B1 (ko) 적층형 메모리 장치, 이를 포함하는 시스템 및 그 동작 방법
KR102453542B1 (ko) 스킵 연산 모드를 지원하는 메모리 장치 및 그 동작 방법
US10474593B2 (en) Memory device communicating with system on chip through at least two channels, electronic device including the same, and operating method of electronic device
US12087388B2 (en) Method of performing internal processing operations with pre-defined protocol interface of memory device
US10083722B2 (en) Memory device for performing internal process and operating method thereof
KR102467698B1 (ko) 적층형 메모리 장치, 이를 포함하는 시스템 및 그 동작 방법
US9818707B2 (en) Stacked memory chip having reduced input-output load, memory module and memory system including the same
US20190146788A1 (en) Memory device performing parallel arithmetic processing and memory module including the same
CN113126898A (zh) 存储器设备及其操作方法和存储器控制器的操作方法
US11474950B2 (en) Memory controller including plurality of address mapping tables, system on chip, and electronic device
US11276459B2 (en) Memory die including local processor and global processor, memory device, and electronic device
US20140241024A1 (en) Multi channel semiconductor memory device and semiconductor device including the same
KR102785591B1 (ko) 펑션-인-메모리 동작을 수행하는 적층형 메모리 장치 및 그 동작 방법
KR102345539B1 (ko) 내부 프로세스를 수행하는 메모리 장치 및 그 동작방법
KR20230043619A (ko) 내부 프로세싱 동작에 대한 타이밍 파라미터들 및 전력 소모를 줄이는 메모리 장치 및 이를 구현하는 방법

Legal Events

Date Code Title Description
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20170927

PG1501 Laying open of application
PA0201 Request for examination

Patent event code: PA02012R01D

Patent event date: 20200820

Comment text: Request for Examination of Application

Patent event code: PA02011R01I

Patent event date: 20170927

Comment text: Patent Application

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20210928

Patent event code: PE09021S01D

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20220218

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20220503

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20220504

End annual number: 3

Start annual number: 1

PG1601 Publication of registration