[go: up one dir, main page]

KR20200128109A - 전하 도메인 수학적 엔진 및 방법 - Google Patents

전하 도메인 수학적 엔진 및 방법 Download PDF

Info

Publication number
KR20200128109A
KR20200128109A KR1020207028076A KR20207028076A KR20200128109A KR 20200128109 A KR20200128109 A KR 20200128109A KR 1020207028076 A KR1020207028076 A KR 1020207028076A KR 20207028076 A KR20207028076 A KR 20207028076A KR 20200128109 A KR20200128109 A KR 20200128109A
Authority
KR
South Korea
Prior art keywords
charge
pair
charge transfer
transfer device
stores
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
KR1020207028076A
Other languages
English (en)
Inventor
데이비드 스키에
세르게이 가이투케비치
피터 드라보스
안드레아스 시브라이
에릭 시브라이
Original Assignee
에이아이스톰, 아이엔씨.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 에이아이스톰, 아이엔씨. filed Critical 에이아이스톰, 아이엔씨.
Priority to KR1020247017622A priority Critical patent/KR20240095298A/ko
Priority to KR1020247017621A priority patent/KR20240099356A/ko
Publication of KR20200128109A publication Critical patent/KR20200128109A/ko
Pending legal-status Critical Current

Links

Images

Classifications

    • G06N3/0635—
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11C—STATIC STORES
    • G11C19/00—Digital stores in which the information is moved stepwise, e.g. shift registers
    • G11C19/18—Digital stores in which the information is moved stepwise, e.g. shift registers using capacitors as main elements of the stages
    • G11C19/182—Digital stores in which the information is moved stepwise, e.g. shift registers using capacitors as main elements of the stages in combination with semiconductor elements, e.g. bipolar transistors, diodes
    • G11C19/184—Digital stores in which the information is moved stepwise, e.g. shift registers using capacitors as main elements of the stages in combination with semiconductor elements, e.g. bipolar transistors, diodes with field-effect transistors, e.g. MOS-FET
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06G—ANALOGUE COMPUTERS
    • G06G7/00—Devices in which the computing operation is performed by varying electric or magnetic quantities
    • G06G7/12—Arrangements for performing computing operations, e.g. operational amplifiers
    • G06G7/14—Arrangements for performing computing operations, e.g. operational amplifiers for addition or subtraction 
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06G—ANALOGUE COMPUTERS
    • G06G7/00—Devices in which the computing operation is performed by varying electric or magnetic quantities
    • G06G7/12—Arrangements for performing computing operations, e.g. operational amplifiers
    • G06G7/16—Arrangements for performing computing operations, e.g. operational amplifiers for multiplication or division
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06G—ANALOGUE COMPUTERS
    • G06G7/00—Devices in which the computing operation is performed by varying electric or magnetic quantities
    • G06G7/12—Arrangements for performing computing operations, e.g. operational amplifiers
    • G06G7/16—Arrangements for performing computing operations, e.g. operational amplifiers for multiplication or division
    • G06G7/163—Arrangements for performing computing operations, e.g. operational amplifiers for multiplication or division using a variable impedance controlled by one of the input signals, variable amplification or transfer function
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11C—STATIC STORES
    • G11C11/00—Digital stores characterised by the use of particular electric or magnetic storage elements; Storage elements therefor
    • G11C11/54—Digital stores characterised by the use of particular electric or magnetic storage elements; Storage elements therefor using elements simulating biological cells, e.g. neuron
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11C—STATIC STORES
    • G11C19/00—Digital stores in which the information is moved stepwise, e.g. shift registers
    • G11C19/02—Digital stores in which the information is moved stepwise, e.g. shift registers using magnetic elements
    • G11C19/08—Digital stores in which the information is moved stepwise, e.g. shift registers using magnetic elements using thin films in plane structure
    • G11C19/0875—Organisation of a plurality of magnetic shift registers
    • G11C19/0883—Means for switching magnetic domains from one path into another path, i.e. transfer switches, swap gates or decoders
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11C—STATIC STORES
    • G11C19/00—Digital stores in which the information is moved stepwise, e.g. shift registers
    • G11C19/18—Digital stores in which the information is moved stepwise, e.g. shift registers using capacitors as main elements of the stages
    • G11C19/182—Digital stores in which the information is moved stepwise, e.g. shift registers using capacitors as main elements of the stages in combination with semiconductor elements, e.g. bipolar transistors, diodes
    • G11C19/188—Organisation of a multiplicity of shift registers, e.g. regeneration, timing or input-output circuits
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11C—STATIC STORES
    • G11C27/00—Electric analogue stores, e.g. for storing instantaneous values
    • G11C27/04—Shift registers
    • H01L27/1461—
    • H01L27/14806—
    • H01L29/42328—
    • H01L29/792—
    • H—ELECTRICITY
    • H03—ELECTRONIC CIRCUITRY
    • H03K—PULSE TECHNIQUE
    • H03K23/00—Pulse counters comprising counting chains; Frequency dividers comprising counting chains
    • H—ELECTRICITY
    • H03—ELECTRONIC CIRCUITRY
    • H03K—PULSE TECHNIQUE
    • H03K3/00—Circuits for generating electric pulses; Monostable, bistable or multistable circuits
    • H03K3/02—Generators characterised by the type of circuit or by the means used for producing pulses
    • H—ELECTRICITY
    • H10—SEMICONDUCTOR DEVICES; ELECTRIC SOLID-STATE DEVICES NOT OTHERWISE PROVIDED FOR
    • H10D—INORGANIC ELECTRIC SEMICONDUCTOR DEVICES
    • H10D30/00—Field-effect transistors [FET]
    • H10D30/60—Insulated-gate field-effect transistors [IGFET]
    • H10D30/68—Floating-gate IGFETs
    • H10D30/6891—Floating-gate IGFETs characterised by the shapes, relative sizes or dispositions of the floating gate electrode
    • H10D30/6892—Floating-gate IGFETs characterised by the shapes, relative sizes or dispositions of the floating gate electrode having at least one additional gate other than the floating gate and the control gate, e.g. program gate, erase gate or select gate
    • H—ELECTRICITY
    • H10—SEMICONDUCTOR DEVICES; ELECTRIC SOLID-STATE DEVICES NOT OTHERWISE PROVIDED FOR
    • H10D—INORGANIC ELECTRIC SEMICONDUCTOR DEVICES
    • H10D30/00—Field-effect transistors [FET]
    • H10D30/60—Insulated-gate field-effect transistors [IGFET]
    • H10D30/69—IGFETs having charge trapping gate insulators, e.g. MNOS transistors
    • H—ELECTRICITY
    • H10—SEMICONDUCTOR DEVICES; ELECTRIC SOLID-STATE DEVICES NOT OTHERWISE PROVIDED FOR
    • H10F—INORGANIC SEMICONDUCTOR DEVICES SENSITIVE TO INFRARED RADIATION, LIGHT, ELECTROMAGNETIC RADIATION OF SHORTER WAVELENGTH OR CORPUSCULAR RADIATION
    • H10F39/00—Integrated devices, or assemblies of multiple devices, comprising at least one element covered by group H10F30/00, e.g. radiation detectors comprising photodiode arrays
    • H10F39/80—Constructional details of image sensors
    • H—ELECTRICITY
    • H10—SEMICONDUCTOR DEVICES; ELECTRIC SOLID-STATE DEVICES NOT OTHERWISE PROVIDED FOR
    • H10F—INORGANIC SEMICONDUCTOR DEVICES SENSITIVE TO INFRARED RADIATION, LIGHT, ELECTROMAGNETIC RADIATION OF SHORTER WAVELENGTH OR CORPUSCULAR RADIATION
    • H10F39/00—Integrated devices, or assemblies of multiple devices, comprising at least one element covered by group H10F30/00, e.g. radiation detectors comprising photodiode arrays
    • H10F39/80—Constructional details of image sensors
    • H10F39/803—Pixels having integrated switching, control, storage or amplification elements
    • H10F39/8033—Photosensitive area
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06G—ANALOGUE COMPUTERS
    • G06G7/00—Devices in which the computing operation is performed by varying electric or magnetic quantities
    • G06G7/12—Arrangements for performing computing operations, e.g. operational amplifiers
    • G06G7/19—Arrangements for performing computing operations, e.g. operational amplifiers for forming integrals of products, e.g. Fourier integrals, Laplace integrals, correlation integrals; for analysis or synthesis of functions using orthogonal functions
    • G06G7/1907—Arrangements for performing computing operations, e.g. operational amplifiers for forming integrals of products, e.g. Fourier integrals, Laplace integrals, correlation integrals; for analysis or synthesis of functions using orthogonal functions using charge transfer devices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
    • G06N3/065—Analogue means

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computer Hardware Design (AREA)
  • Neurology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Biophysics (AREA)
  • Power Engineering (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Solid State Image Pick-Up Elements (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

멀티플라이어는 한 쌍의 전하 저장소를 가진다. 한 쌍의 전하 저장소는 직렬로 연결된다. 제1 전하 이동 장치는 한 쌍의 전하 저장소로 또는 그로부터 동일한 속도로 전하 이동을 유도한다. 제2 전하 이동 장치는 한 쌍의 저장소의 하나로 또는 그로부터 전하 이동을 유도하고, 전하 이동 속도는 제1 전하 이동 장치에 비례하는 속도로 전하를 추가하거나 제거하도록 프로그래밍된다. 제1 전하 이동 장치는 제1 사이클 동안 제1 전하를 한 쌍의 전하 저장소의 제1 전하 저장소로 로딩한다. 제1 전하 이동 장치 및 제2 전하 이동 장치는 한 쌍의 전하 저장소의 제1 전하 저장소의 제1 전하가 고갈될 때까지 제2 사이클 동안 한 쌍의 전하 저장소로부터 비례하는 속도로 전하를 제거한다. 그 후 제2 전하 저장소는 곱셈된 결과를 보유한다.

Description

전하 도메인 수학적 엔진 및 방법
본 발명은 전체적으로 이미지 센싱 장치에 관한 것으로, 보다 구체적으로는, 저장소의 전하 저장고가 머신 러닝 입력 레이어의 멀티플라이어에 직접 연결될 수 있는 전하 도메인 수학적 엔진에 관한 것이다.
실리콘 이미징에서는 스필 및 필 회로(spill and fill circuits), CCD 시프트 레지스터, 포토 디텍터, 상관 이중 샘플링 회로 및 유사한 장치들과 같은 전하 도메인 구조를 사용하여 전하의 통합 또는 이동에 의존하는 것이 일반적이다. 스필 및 필 회로는 매립형 핀 포토 다이오드(buried pinned photodiode)의 개념을 필요로 할 수 있다. 도 1은 능동 도핑 프로파일을 보여주는 매립형 핀 다이오드 구조(10)의 단면도를 나타낸다. 매립형 핀 포토 다이오드(10)는 매립형 핀 포토 다이오드(10)에 의해 빛이 수집될 때 생성된 전자를 저장 웰(storage well) SW 영역에 집적시킬 수 있다. 두 번째 전하 저장소인, 플로팅 확산(floating diffusion) FD는 TG라고 표시된 전송 게이트의 먼 쪽에 생성된다.
도 2a를 참조하면, 스필 및 필 회로(20)가 보여질 수 있다. 스필 및 필 회로(20)는 전송 게이트 TG 앞에 전자를 보유하는 PPD(pinned photodiode) 전하 리셉터클의 개념을 사용한다. 전송 게이트 TG는 요구되는 전자 흐름에 따라 낮아지고 높아진다. 어떤 지점에서 전송 게이트 TG는 전위 장벽을 낮추고 전자는 저장 웰 SW 전하 저장소에서 플로팅 확산 FD 전하 저장소로 유출된다. 모든 전자가 저장 웰 SW 전하 저장소에서 플로팅 확산 FD 전하 저장소로 이동하도록 장치가 생성된다. 도 2b는 저장 웰 SW 전하 저장소로부터 플로팅 확산 FD 전하 저장소로의 에너지 다이어그램을 보여준다.
도 3을 참조하면, 스필 및 필 회로(30)가 보여질 수 있다. 필 앤 스필 회로(30)는 도 2a의 스필 앤 필 회로(20)를 사용하지만 전송 게이트 TG 및 플로팅 확산 FD 전하 저장소의 전하를 다른 회로에 의해 판독될 수 있는 전압으로 변환하는 소스 팔로워 SF에 연결된 리셋 장치(32)의 개념을 포함한다. 일반적으로 상관 이중 샘플링(CDS)은 리셋 후 플로팅 확산 FD 전하 저장소의 출력에서 노이즈와 오프셋을 샘플링 한 후, 저장 웰 SW에 저장된 최신 통합 전하에 따른 차이만 남도록 스필(전하 전송) 후에 다시 판독하도록 사용될 수 있다. 이에 의해 오프셋 전하와 특정 소음이 제거된다.
2개의 전하 저장소 대신에 단일 전하 저장소가 사용되어 가중 입력 및 합계 결과 또는 가중 합산기를 생성할 수 있다. 초기에는 상기 저장소가 알려진 전하 수준으로 재설정된다. 그 후, 제1 사이클 동안 복수의 입력 전류 이동 수단은 제2 사이클에서 사용되는 출력 전류 이동 수단에 개별적으로 비례하는 속도로 충전을 제거하는 각각의 상기 전류 이동 수단과 전하 저장소로부터의 전하를 결합할 것이다. 추가적으로, 상기 복수의 입력 전류 이동 수단 각각은 시간 내에 더 게이트되거나, 개별 입력 크기에 따라, 시간 동안만 전하를 이동하도록 허용될 것이다. 게이트 된 기간 동안의 결과적인 입력 전하 이동 크기는 상기 전하 저장소로부터 가중 입력 크기에 따르는 전하를 제거할 것이다. 제1 사이클이 끝날 때, 모든 입력 이동 수단이 전하를 제거하면, 제2 사이클은 출력 전하 이동 수단이 전하 저장소의 전하를 원래 수준으로 되돌리게 한다. 그렇게 하는 데 걸리는 시간은 입력의 가중 합계에 비례한다. 결과 가중 합산기는 입력을 시간으로 받아들이고, 가중치는 전하 이동 속도 크기이며, 출력을 시간으로 생성한다.
전하가 플로팅 확산 FD 전하 저장소로 전송되면 소스 팔로워 SF를 대신해서 전하를 전압 또는 전류로 변환한 후 디지털 값으로 변환하는 데 사용될 수 있는 여러 다른 회로가 있다. 예를 들어, 이미저의 열은 각 픽셀 팔로워 값과 기록된 각 특정 픽셀과 연관된 디지털 단어와 비교되는 카운터에 의존할 수 있다. 전하 도메인에서 디지털 워드로의 변환 속도와 전력 효율성을 최적화하려는 많은 회로가 있다.
머신 비전은 인공 지능(AI) 또는 머신 러닝의 일반적인 애플리케이션이다. 자율 또는 머신 비전 증강 차량, 지문 또는 안면 인식과 같은 핸드셋 보안, 스마트 시티 센서, 보안 카메라, X-레이, 초음파 및 의료 진단, 로봇 공학, 드론, 웨어러블 심박수 모니터, 행동 분석 및 모니터링 그리고 여러 다른 애플리케이션이 다양한 작업을 위한 이미지 분석에 의존하고 있고, 그 중 대부분은 시간과 전력이 중요하다.
현재 머신 러닝 시스템은 입력이 디지털 워드 또는 최소 전압에서, 전류 또는 스파이킹 파형(전압 또는 전류 파형이기도 함)인 입력을 요구한다. 전하의 변환은 도 3에 도시된 소스 팔로워 SF와 같은 커플링 회로에 의존하며 이들 모두는 3 가지 바람직하지 않은 부작용과 연관되는 것으로 알려져 있다. 첫 번째는 커플링 회로에 의한 노이즈 유입에 기인하는 이미지 품질 손실이다. 도 1 내지 3에 묘사된 저장 웰 SW 또는 플로팅 확산 FD 영역과 같은 저장소에서 유지되는 전하를 전압 또는 전류로 변환하는 임의의 회로는 반드시 잡음을 유발한다는 것은 당업자에게 잘 알려져 있다. 예를 들어 이 노이즈는 14 비트 픽셀 정확도의 이미지를 12 비트에 해당하는 정확도로 저하시킬 수 있다. 의료 또는 시간이 중요한 생명 안전 애플리케이션에서 이는 중요한 정보를 모호하게 할 수 있다. 전류 또는 전압 도메인으로의 변환의 두 번째 부작용은 변환과 관련된 시간이다. 커플링 회로의 출력에서 전압 또는 전류의 디지털화는 시간이 걸린다. 증강 차량, 생명 안전 애플리케이션 또는 고속 이미징 애플리케이션에서 이 지연 시간은 말 그대로 바람직한 결과 또는 사망 또는 사고와 같은 매우 바람직하지 않은 결과 사이의 차이를 의미할 수 있다. 마지막으로, 전하 도메인에서 전압 또는 전류 도메인으로 그리고 결국 디지털 영역으로 정보를 변환하는 것은 추가 에너지를 필요로 한다. 이 에너지는 커플링 회로 자체뿐만 아니라 디지털화 또는 신경형 스파이킹 파형과 같은 원하는 파형 생성과 관련된 회로와 관련이 있다.
따라서, 상기 문제점을 극복한 시스템 및 방법을 제공하는 것이 바람직하다. 시스템 및 방법은 저장소에 저장된 전하를 머신 러닝 입력 레이어의 멀티플라이어 또는 가중 합산기에 직접 연결한다.
본 발명은 이미지 품질 손실을 줄이고, 처리 속도를 향상시키며, 추가적인 에너지 소모를 방지할 수 있는 전하 도메인 수학적 엔진 및 방법을 제공함에 목적이 있다.
본 발명에 따른 멀티플라이어는, 직렬로 연결되는 한 쌍의 전하 저장소; 동일한 속도로 한 쌍의 상기 전하 저장소로 또는 그로부터 전하 이동을 유도하는 제1 전하 이동 장치; 한 쌍의 상기 저장소의 하나로 또는 그로부터 전하 이동을 유도하되, 상기 전하 이동 속도는 상기 제1 전하 이동 장치에 비례하는 속도로 전하를 추가하거나 제거하도록 프로그래밍 되는 제2 전하 이동 장치를 포함하고, 제1 전하가 제1 사이클 동안 한 쌍의 전하 저장소 중 첫 번째에 로딩되며, 상기 제1 전하 이동 장치 및 상기 제2 전하 이동 장치는 한 쌍의 상기 전하 저장소의 제1 전하가 고갈될 때까지 제2 사이클 동안 한 쌍의 전하 저장소로부터 비례하는 속도로 전하를 제거하고, 제2 전하 저장소의 전하 이동 속도를 곱한 제1 전하인 전하를 남길 수 있다.
본 발명의 전하 도메인 수학적 엔진 및 방법은, 이미지 품질 손실을 줄이고, 처리 속도를 향상시키며, 추가적인 에너지 소모를 방지할 수 있는 효과가 있다.
본 출원은 다음 도면과 관련하여 더욱 상세하게 설명된다. 이들 도면은 본 출원의 범위를 제한하려는 것이 아니라 그 특정 속성을 예시하는 것이다. 동일하거나 유사한 부품을 지칭하기 위하여 도면 전체에 걸쳐 동일한 참조 번호가 사용된다.
도 1은 능동 도핑 프로파일을 나타내는 매립형 핀 다이오드 구조의 단면도를 나타낸다.
도 2a는 스필 및 필 회로를 나타낸다;
도 2b는 도 2a의 스필 및 필 회로를 위한 저장 웰 SW 전하 저장소로부터 플로팅 확산 FD 전하 저장소로의 에너지 다이어그램을 나타낸다;
도 3은 선택 라인(SEL)을 통해 버스(COL BUS)로의 플로팅 확산(FD) 전압을 판독하기 위해 리셋 메커니즘(RST) 및 소스 팔로워(SF)에 추가로 연결된 도 2a의 스필 및 필 회로를 나타낸다;
도 4는 본 발명의 일 실시예에 따른 전하 도메인 수학적 엔진의 기초를 형성하는 신경망 아키텍처의 예시적인 실시예를 나타내는 블록도이다;
도 5는 본 발명의 일 실시예에 따른 2 차원 시프트 레지스터를 가지는 PPD (pinned photodiode) 의 예시적인 실시예를 나타내는 블록도이다;
도 6a는 본 발명의 일 실시예에 따른 CCD 시프트 레지스터의 상위 레벨 뷰를 나타낸다;
도 6b는 본 발명의 일 실시예에 따른 폴리 핑거를 따르는 상기 CCD 시프트 레지스터의 단면도를 나타낸다;
도 6c는 본 발명의 일 실시예에 따른 폴리 핑거를 가로 질러 절단된 상기 CCD 시프트 레지스터의 단면도를 나타낸다;
도 6d는 서로 다른 방향으로 정보의 흐름을 변경하기 위해 데이터가 수직 및 수평으로 이동할 수 있는 CCD 시프트 레지스터의 서로 다른 구성을 나타낸다;
도 7은 본 발명의 일 실시예에 따른 최적화된 방식으로(가중 합산기에 대한 계수의 제공을 재정렬함) 신경망의 가중 합산기에 가중치 및 입력 값을 제공하기 위해 CCD 시프트 레지스터 또는 기타 수단을 사용하여 얻을 수 있는 효율성을 설명하기 위해 곱셈 및 합산 계수의 수축기 재배열 개념을 나타낸다;
도 8a-8b는 제1 전하 이동 수단 및 전하 이동 수단 중 하나에만 연결된 제1 전하 이동 수단에 비례하는 비례 전하 이동 수단에 의해 함께 연결된 연결 전하 저장소의 개념을 예시하고, 도 8a는 전하 이동 장치 같은 전하 저장소 및 전류 소스로서 커패시터를 사용하는 구성을 나타내며, 도 8b는 고정된 포토 다이오드 저장 웰, 플로팅 확산 및 전송 게이트를 사용하는 유사한 구성을 나타낸다;
도 9는 스위치 패브릭을 통해 펄스 또는 전류 소스 가중치를 결합하기 위해 사용될 수 있는 크로스바를 나타낸다;
도 10은 가중 전하를 출력 노드에 합산할 수 있고 또한 그러한 전하의 합을 제 시간에 여러 프레임에 걸쳐 시프트 할 수 있는 시간 가중 크로스바를 나타낸다;
도 11은 스위칭 장치에 대한 전하 주입을 감소시키거나 전류 소스의 링잉을 감소시키는데 사용될 수 있는 공핍 접속 전송 게이트를 나타낸다;
도 12는 본 발명의 일 실시예에 따른 펄스 출력을 가지는 가중 합산기의 예시적인 실시예를 나타내는 블록도이다.
첨부된 도면과 관련하여 아래에 개진된 설명은 본 개시 내용의 현재 바람직한 실시예의 설명으로 의도되고 본 개시 내용이 구성 및 / 또는 이용될 수 있는 유일한 형태를 나타내는 것으로 의도되지 않는다. 설명은 예시된 실시예와 관련하여 개시 내용을 구성하고 운영하기 위한 기능 및 단계의 순서를 설명한다. 그러나, 동일하거나 동등한 기능 및 순서가 또한 본 개시 내용의 사상 및 범위 내에 포함되도록 역시 의도된 상이한 실시예에 의해 달성될 수 있다는 것이 이해되어야한다.
본 특허 출원은 David Schie의 이름으로 "CHARGE DOMAIN MATHEMATICAL ENGINE"이라는 제목으로, 2018 년 3 월 2 일에 출원된 미국 가출원 번호 62/637,496과 관련이 있으며, 그 전체가 여기에 참조로 포함된다. 본 특허 출원은 35 U.S.C §119 (e)에 따라 이점을 주장한다.
저장소에 저장된 전하를 기계 학습 입력 레이어의 멀티플라이어(multipliers)에 직접 연결하는 것이 바람직하다. 도 4를 참조하면, 본 출원의 기초를 형성하는 신경망 아키텍처(40)를 나타내는 블록 다이어그램이 보여질 수 있다. 신경망 아키텍처(40)에서, 원(42)은 뉴런이거나, 입력 층의 경우에 입력 전압, 전하, 전류, 파형 또는 디지털 워드이다. 라인(44)은 입력 정보에 가중치(w)를 곱하는 멀티플라이어다. 결과는 결정 회로에 공급되고 그 출력은 차례로 다음 레이어로 공급된다. 잠재적으로 바이어스와 잠재적으로 결정 회로가 있는 가중 입력의 합산기(summer)를 포함하는 각 뉴런은, 다음 레이어의 많은 뉴런에 연결될 수 있으므로, 가중치의 수가 매우 클 수 있다.
위의 내용을 기반으로, 입력 레이어를 SW 또는 FD와 같은 전하 저장소로 대체하고, 이 입력 레이어를 제1 내부 레이어에 직접 연결하는 멀티플라이어 내에서 이 전하를 활용할 수 있다면, 대기 시간, 전력 및 커플링 및 디지털화 회로와 관련된 노이즈로 인한 정보 손실을 없앨 수 있다.
도 5를 참조하면, 일단 전하가 SW 또는 FD와 같은 저장소에 저장되면, 그 전하를 도 5에 도시된 바와 같이 전하 결합 시프트 레지스터(50)에 저장할 수 있다. 시프트 레지스터(shift register)(50)는 복수로 구성될 수 있다. 시프트 레지스터(50)는 전하 정보의 충실도(fidelity)의 손실없이 전하를 이동시킬 수 있다. 또한 여러 축을 따라 전하를 이동시키고 특정 저장소 내에 보유 된 전하를 결합시킬 수도 있다. 다중 시프트 레지스터(50)는 또한 상이한 방향 및 상이한 속도로 피승수 정보를 이동시키는 데 사용될 수 있다.
도 5에서 PPD(pinned photodiode)는 왼쪽 상단에 대형 직사각형으로 표시될 수 있다. 그것은 TG를 통해 전하 저장소로 전하를 전달한다. 시프트 레지스터(50)의 구성에 따라 전하를 수직으로 계속 로딩한 다음 수평으로 이동시킬 수 있다. 이와 같이 작은 영역에, 고 충실도로 전하 정보를 일시적으로 저장할 수 있다. 하나의 저장소에 있는 전하를 기존 전하와 함께 저장소로 흐르게 하여 합산을 수행할 수도 있다.
도 6a-6d는 전하 결합 장치(CCD) 시프트 레지스터(60)의 다중 단면도를 나타낸다. CCD 시프트 레지스터(60)는 저장된 콘텐츠의 X 및 Y 이동을 허용한다.
머신 러닝 시스템에서 곱셈의 효율성을 개선하기 위해 수학적 구성을 활용하는 것이 일반적이다. 예를 들어, 행렬 곱셈에서는 정보를 다시 로딩하지 않고도 효율적으로 재사용할 수 있도록 서로 다른 배열을 통해 피승수를 이동하는 것이 일반적이다. 수축기 구조(Systolic structures)는 피승수가 로딩되어야 하는 횟수를 줄이고 이전 계산을 사용하는 데 사용될 수 있는 일례이다. 이러한 유형의 수학적 효율 개선에 따라 전하 피승수를 구성하기 위해 전하 결합 시프트 레지스터를 이용하는 것이 바람직할 것이며, 일부의 경우에는 합산을 위해 전하를 결합하기 위해 전하 결합 시프트 레지스터를 더 활용하는 것이 바람직할 것이다.
도 7a-7b를 참조하면, 수축기 어레이의 개념이 개시될 수 있다. 수축기 배열은 메모리 로딩을 줄이고 데이터를 순환적이거나 효율적인 구조로 구성하여 행렬 곱셈의 효율성을 높인다. 피연산자(operands)가 다른 수축기 임플리멘테이션(systolic implementations)에 의해 요구되는 대로 다른 속도와 다른 방향으로 쉬프트 레지스터를 통해 쉽게 이동할 수 있으므로 CCD 시프트 레지스터를 사용하여 수축기 기술을 구현하기에 유용하다.
도 8a-8b는 다중 임플리멘테이션에서 전하 기반 아날로그 멀티플라이어를 나타낸다. 도 8a에서, 전하 저장을 위해 커패시터가 사용되는 임플리멘테이션(implementations)(80)이 도시되어 있으며, 여기서 제1 사이클 동안 스위치 S1 및 S2가 입력 전하 저장소 C1을 로딩하기 위하여 사용된다(S1 오프, I1 오프, I2 오프, S2는 켜짐, 전류 소스(82)는 잠시 켜짐, 스위치 S2는 사이클이 끝날 때 꺼져 있음). 도 8b에서, PPD(pinned photodiode)는 전류 소스(82)와 동일한 방식으로 저장소 SW를 충전하고 스위치 S2가 C1을 잠시 빛에 노출시킴으로써 충전하는 것으로 도시되어 있다. 두 경우 모두 입력 전하 저장소(한 경우에는 C1, 다른 경우에는 SW)는 제1 사이클 동안 전하로 채워진다.
제2 사이클에서 도 8a의 S1은 폐쇄된다(S2가 개방됨). 크기에 비례하는 전류 소스 I1 및 I2가 켜진다. C1은 I1+I2의 전류 크기로 충전되고 C2는 I2의 전류 크기로 충전된다. 노드는 C1의 전하가 완전히 소멸될 때까지 모니터링된다(전압이 0에 도달). 이것은 Qc1/(I1+I2) 시간이 걸리며, Qc1은 제1 사이클 동안 C1에 도입된 전하이다. C2는 이 Qc1/(I1+I2) 시간 동안 만 I2에 의해 충전되는데, I2*Qc1/(I1+I2)의 충전이 표시됩니다. 이것은 I2/(I1+I2)의 비율로 곱해진 전하 C1을 받을 것임을 의미한다. I2/(I1+I2)를 제어함에 의해 멀티플라이어 이득을 설정했다.
유사한 방식으로, 도 8b에서, PPD 상의 전하는 TG 경로에 의해 제어되는 속도로 필드에 의해 플로팅 확산 FD로 이동될 수 있다. TG1을 통과하는 제2 충전 경로는 또한 SW로부터 충전 이동 속도에 비례하는 속도로 FD를 채운다. SW를 고갈시키는 데 걸리는 시간은 Qc1/i1=t이다. 전류 i1+i2는 시간 t 동안 FD로 흐르므로, Qc1*(i1+i2)/i1은 FD의 전하이다. 따라서 전하에 (i1+i2)/i1을 효과적으로 곱했다. 고정된 PPD 대신 CCD 어레이 또는 기타 플로팅 확산이 i1의 소스가 될 수 있다. FD는 커플링 회로에 의해 전압 또는 전류로 읽혀 지거나 추가 계산에 사용될 수 있다.
PPD 멀티플라이어의 출력을 CCD 시프트 레지스터에 연결함으로써, 2차원 CCD 시프트 레지스터 또는 제2 CCD 시프트 레지스터를 사용하여 마치 뉴런에 들어가는 것처럼 전하를 합산 할 수 있다. 수축기 아키텍처가 사용되는 경우 전하 저장소는 CCD 어레이를 통해 이동할 때 적절한 피연산자에 연결될 수 있으며 결과는 멀티플라이어의 입력 저장소로 합산되거나 결과는 재사용을 위하여 다른 시프트 레지스터 셀에 다시 주입될 수 있다. 브로드캐스트 토폴로지(broadcast topologies)의 경우 CCD 시프트 레지스터를 사용하여 xi 피연산자를 여러 멀티플라이어로 로딩하기 위해 입력의 여러 복사본을 만들 수 있다.
따라서 하나 이상의 CCD 배열에 피승수를 저장한 다음 메모리 로딩 및 멀티플라이어 효율성을 최소화하기 위해 수축기 어레인지먼트(systolic arrangements)에 따라 배열을 통해 정보를 이동하는 것이 유용하다.
동시에 상기 제1 저장소에 다수의 입력을 로딩하는 것이 유용할 것이다. 이것은 이전 레이어로부터 다중 뉴런의 출력과 같은, 다중 가중 입력으로부터 알려진 전하를, 상기 제1 멀티플라이어 저장소로 합산함으로써 달성될 수 있다. 도 9는 크로스바(90)의 개념을 나타낸다. 크로스바(90)는 입력 세트와 출력 세트 사이의 개별 스위치의 어셈블리이다. 스위치는 매트릭스로 배열될 수 있다. 시간 가중 크로스바(90)는 M개의 입력과 N개의 출력을 가지는 경우, 크로스바는 M × N 교차점 또는 연결이 교차하는 위치가 있는 매트릭스를 가진다. 각 교차점에는 스위치가 있는데, 닫힐 때, 입력 중 하나를 출력 중 하나에 연결한다. 주어진 크로스바는 단일 레이어, 비-차단 스위치(non-blocking switch)이다. 비-차단 스위치는 다른 동시 연결이 다른 입력을 다른 출력에 연결하는 것을 방지하지 않음을 의미한다. 도 9에 나타난 바와 같이, 금속 라인(92)이 함께 모이고 그들 사이의 스위치가 켜져서 상이한 레이어 또는 금속 또는 다른 전도체의 동일한 레이어에 라인을 함께 연결할 수 있다. 여러 크로스바가 상당한 팬 아웃(fanout)을 생성할 수 있다. 게이트 된 전류 소스(94)는 그러한 어레인지먼트를 통해 결합될 수 있다.
동시에 다수의 입력을 상기 제1 저장소로 로딩하는 것이 유용할 것이다. 이것은 이전 레이어로부터 다중 뉴런의 가중 출력과 같은, 다중 가중 입력으로부터 알려진 전하를 상기 제1 멀티플라이어 저장소로 합산함으로써 달성될 수 있다. 도 10은 시간 가중 크로스바(100)의 하나의 가능한 구성을 나타내지만, 지금은 스위치의 제2 열이 닫힌다고 가정한다. 이 경우 연결된 경로는 동일한 크기의 전류 소스(102)에 추가로 연결된다. 경로는 NVM 전압과 같은, 저장된 전압이 비교기(104)에 의해 결정된 램프 전압과 일치할 때까지 충전을 시작하지 않는다. 이것은 전류가 비례하고 램프가 동일한 소스로부터 생성되기 때문에 저장된 전압에 비례하는 전하를 생성한다. 이러한 전류는 플로팅 확산에 주입되거나 확산에 광학적으로 연결되거나 커패시터 또는 다른 저장 요소가 멀티플라이어에 사용되는 경우 직접 사용될 수 있다. 이 시간 지연 크로스바(100)는 상대 또는 직접 주소 지정을 사용하여 주소 지정될 수 있으며 뉴런(neurons)이 특정 물리적 위치를 가지고 있더라도 유연한 신경망 구성을 허용한다. 그 결과 가중치는 현재 크기로 설정되고 입력 값은 시간으로 설정됩니다. 후속 레이어 또는 PPD 입력과 같은 전하 입력이 있는 레이어의 경우, 각 가중 합산기의 출력은 시간이 될 수 있으므로 비교기(104)는 필요하지 않다. 이전 뉴런의 출력은 스위치 게이트에 직접 적용될 수 있다.
현재 크기는 동적 또는 NVM 메모리로부터 올 수 있다. 이것은 강유전성 멤리스터(ferroelectric memristor)와 같은 아날로그 메모리일 수 있다. 그것은 아날로그 플로팅 게이트 또는 플래시 메모리일 수 있습니다. 또는 DNA 메모리일 수도 있다. DNA 메모리는 최근 3nm와 같은 매우 작은 영역에서 매우 긴 수명으로 아날로그 또는 디지털 메모리를 생산할 수 있는 큰 가능성을 보여주었다. Panasonic에서 개발한 것과 같은 강유전성 멤리스터는 정확한 아날로그 값을 생성할 수 있는 것으로 나타났다.
뉴로모픽 스파이킹 네트워크(Neuromorphic spiking networks)는 제어 뉴런 가중 입력 합산기(controlling neuron weighted input summer)가 한계점(threshold)에 도달할 때만 신경 경로를 켜고, 충분한 입력 전하를 축적하지 않는 뉴런을 사용하지 않게 하기 때문에 에너지 효율적이다. 상기 가중 합산기가 뉴런을 생성하기 위해 사용될 때 그러한 임플리멘테이션을 허용하도록 이 애플리케이션에 설명 된 가중 합산기를 수정하는 것이 유용할 것이다. 이것은 비교기를 제1 입력 전하 저장소에 연결하여 수행될 수 있으며 이 저장소의 전하가 레벨에 도달하면 컨트롤러가 원하는 신경망 내에서 적절한 연결에 뉴런의 출력을 연결하도록 강제하도록 인터럽트가 생성된다. 일부 뉴로모픽 스파이킹 네트워크는 크기 및/또는 시간 지연 정보에 대한 요구 사항도 가진다. 시간 지연은 시간 지연 크로스바에서 램프를 여러 번 반복하고도 도 10의 제2 스위치(106) 세트를 사용하여 도입될 수 있다. 예를 들어 램프가 5번 반복되고 컨트롤러가 온(on)을 나타내는 5비트 워드를 제공한 경우 전류를 어느 램프에 적용해야 하는지 간단한 카운터를 사용하여 적절한 5 비트 지연 단어와 일치하는 경우에만 전류가 흐르도록 허용함으로써 상기 시간 지연을 구현하기 위해 상기 제2 스위치를 켤 때를 결정할 수 있다.
어떤 경우에는 전하 저장소를 직렬로 연결하는 것보다 완전히 분리하는 것이 더 효율적일 수 있다. 이 경우 제1 전하 저장소는 제1 사이클 동안 및 제2 사이클 동안 전하가 고갈될 때까지 제어된 속도로 전하 이동 수단에 의해 방전된다. 동일한 제2 사이클 동안 제1 전하 저장소의 전하가 고갈될 때까지, 제1 전하 저장소를 충전하는 양에 비례하도록 제2 전하 저장소를 충전한다. 이제 제2 전하 저장소의 전하는 제1 전하 저장소에 전하 이동 속도 비율을 곱한 것이다. 예를 들어 전하 이동 수단이 전류 소스이고, I1이 제1 전하 저장소를 고갈시키고 I2가 제2 전하 저장소를 충전한다면, 제2 사이클이 끝날 때 상기 제2 전하 저장소의 전하는 I2/I1*Q1이 될 것이며 여기서 Q1은 제1 전하 저장소의 초기 전하이다. 전하 이동 수단은 MOSFET, 전송 게이트, 등급화된 접속 또는 시작 또는 중지되는 동안 전하를 제어할 수 있는 다른 장치일 수 있다.
전하 주입을 줄이고 극히 작은 등가 커패시턴스(capacitance)를 사용할 수 있도록, 전송 게이트는 중복 커패시턴스를 최소화하도록 설계된 공핍 접속 MOSFET으로 생성된다. 예시가 도 11에 나타나 있다.
도 12를 참조하면, 가중 합산기(120)를 보여주는 실시예가 고려될 수 있다. 여기에서 C1(커패시터 또는 플로팅 확산일 수 있음)에도 연결된 MN1의 게이트, 게이팅 MOSFET(122)의 드레인 및 Iout으로도 알려진 전류 소스(126)로 구성된 단일 전하 저장소가 나타내진다. w1 및 wn 그리고 바이어스 b1로 표시된 전하 이동 장치(124)는 요구되는 가중치 입력에 따라 전류 소스 Iout(126)에 비례하도록 프로그래밍된다. 이러한 가중치 입력은 MOSFET(122)의 게이트를 구동하는 버퍼에 연결된 것으로 표시된 시간 입력 a1, an 및 b에 의해 게이트된다. 리셋하는 동안 MN1의 게이트는 Vt 비교기 한계점 아래로 당겨지고, MOSFET M1의 드레인이 반전되며 MN1 게이트가 스위칭 한계점에 도달한 후 스위치 오프 때까지 인버터(128)가 전류 소스(126)를 켤 수 있다. 제1 사이클에서, 시간 복수의 펄스 입력 a1… an 및 b는 주어진 시간 동안 가중치가 효과적으로 흐르도록 하여 MN1의 게이트에 있는 전하 저장소로부터 가중 전하를 제거하도록 한다. 이 전류가 제거되면 MN1의 드레인은 다시 플립되고(flip), 인버터(128)가 전류 소스 Iout을 켜도록 하여 가중 입력에 의해 제거된 전하를 대체한다. 그렇게 하기 위해 걸리는 시간은 aout에서 가중 합계 출력 펄스를 나타낸다.
일 실시예에 따르면, 멀티플라이어가 개시된다. 멀티플라이어는 한 쌍의 전하 저장소를 가진다. 한 쌍의 전하 저장소는 직렬로 연결된다. 제1 전하 이동 장치는 한 쌍의 전하 저장소로 또는 그로부터 동일한 속도로 전하 이동을 유도한다. 제2 전하 이동 장치는 한 쌍의 저장소의 하나로 또는 그로부터 전하 이동을 유도하고, 전하 이동 속도는 제1 전하 이동 장치에 비례하는 속도로 전하를 추가하거나 제거하도록 프로그래밍된다. 제1 전하 이동 장치, 또는 다른 메커니즘은, 제1 사이클 동안 제1 전하를 한 쌍의 전하 저장소의 제1 전하 저장소로 로딩한다. 제1 전하 이동 장치 및 제2 전하 이동 장치는 한 쌍의 전하 저장소의 제1 전하 저장소의 제1 전하가 고갈될 때까지 제2 사이클 동안 한 쌍의 전하 저장소로부터 비례하는 속도로 전하를 제거한다.
일 실시예에 따르면, 신경망을 형성하는 방법이 개시된다. 신경망은 아날로그 멀티플라이어를 가진다. 아날로그 멀티플라이어는 한 쌍의 전하 저장소를 가지고, 한 쌍의 전하 저장소는 직렬로 연결된다. 제1 전하 이동 장치는 한 쌍의 전하 저장소로 또는 그로부터 동일한 속도로 전하 이동을 유도한다. 제2 전하 이동 장치는 한 쌍의 저장소로 또는 그로부터 전하 이동을 유도하고, 전하 이동 속도는 제1 전하 이동 장치에 비례하는 속도로 전하를 추가하거나 제거하도록 프로그래밍된다. 제1 전하 이동 장치, 또는 다른 메커니즘은, 제1 사이클 동안 입력 전하를 한 쌍의 전하 저장소의 제1 전하 저장소로 로딩한다. 제1 전하 이동 장치 및 제2 전하 이동 장치는 한 쌍의 전하 저장소의 제1 전하 저장소의 입력 전하가 고갈될 때까지 제2 사이클 동안 한 쌍의 전하 저장소로부터 비례하는 속도로 전하를 제거한다. 입력 수집 장치는 입력 정보에 따라 한 쌍의 저장소의 첫 번째 저장소에 전하를 저장하기 위한 메커니즘으로 사용된다.
일 실시예에 따르면, 아날로그 멀티플라이어가 개시된다. 아날로그 멀티플라이어는 고정된 포토 다이오드와 포토 디텍터를 포함하는 능동 픽셀(active pixel)을 가지며, 능동 픽셀에 대한 입력 정보는 제1 입력 전하 저장소에 저장된다. 제2 전하 저장소는 제1 전하 저장소와 제2 전하 저장소 사이에 위치하는 전송 게이트에 의해 제1 저장소에 연결되는데, 여기서 제1 전하 이동 속도는 전송 게이트에 의해 제어될 수 있다. 제2 전하 이동 장치는 제2 전하 저장소에 결합되고, 제2 전하 이동 속도는 제1 전하 이동 속도에 비례하여 프로그래밍될 수 있다. 입력 전하가 제1 사이클 동안에만 제1 전하 저장소에 로딩되고 전송 게이트와 제2 전하 이동 장치는 제1 전하 저장소가 고갈될 때까지 제2 사이클 동안 비례적으로 충전하여 제2 사이클의 끝에서 제2 전하 저장소에서의 전하 증가를 생성한다.
일 실시예에 따르면, 멀티플라이어가 개시된다. 멀티플라이어는 한 쌍의 전하 저장소를 가지며, 한 쌍의 전하 저장소 각각은 게이트식 전하 이동 장치에 연결된다. 게이트식 전하 이동 장치는 전하 이동 속도가 비례하도록 프로그래밍되며, 게이트식 전하 이동 장치는 한 쌍의 전하 저장소 중 하나가 고갈되면 전하 이동을 중지한다.
일 실시예에 따르면, 가중 합산기가 개시된다. 가중 합산기는 단일 전하 저장소로 구성된다. 복수의 입력 전류 이동 장치는 단일 전하 저장소에 연결되며, 여기서 각각의 입력 전류 이동 장치에 대해 전류 이동 속도는 가중치 피승수를 따르고 출력 전하 이동 장치의 충전 이동 속도에 비례한다. 제1 사이클 동안 각 출력 전하 피승수 이동 장치의 전도 시간은 입력 값을 따른다. 제1 사이클 동안 단일 전하 저장소로 추가되거나 제거된 전하는 입력 값의 가중 합계를 나타낸다. 제2 주기 동안 출력 전하 이동 장치는 전하를 추가하거나 제거하여 단일 전하 저장소를 원래 레벨로 되돌리는데, 이 시간은 비례 입력 전하 이동 장치의 이동 속도에 의해 가중된 입력 값의 합계를 나타내는 원래 값으로 돌아가는 데 걸리는 시간이다.
일 실시예에 따르면, 가중 합산기가 개시된다. 가중 합산기는 제1 사이클 동안 입력 값에 따르는 시간 동안, 출력 전하 이동 장치 속도에 비례하는 속도로 복수의 가중치 전하 이동 장치로부터 전하를 추가하거나 제거한다. 출력 전하 이동 장치 중 하나는 전하를 추가하거나 제거하여 제2 사이클 동안 전하 레벨을 원래 전하 레벨로 변경한다. 입력 시간의 가중 합산 표시인 출력 시간은 가중치 전하 이동 장치의 출력 전하 이동 장치 속도에 비례하여 가중된다.
본 개시의 실시예가 다양한 특정 실시예의 관점에서 설명되었지만, 당업자는 본 개시의 실시예가 청구 범위의 사상 및 범위 내에서 수정으로 실시될 수 있음을 알 것이다.
40: 신경망 아키텍처 50: 시프트 레지스터

Claims (28)

  1. 직렬로 연결되는 한 쌍의 전하 저장소;
    동일한 속도로 한 쌍의 상기 전하 저장소로 또는 그로부터 전하 이동을 유도하는 제1 전하 이동 장치;
    한 쌍의 상기 저장소의 하나로 또는 그로부터 전하 이동을 유도하되, 상기 전하 이동 속도는 상기 제1 전하 이동 장치에 비례하는 속도로 전하를 추가하거나 제거하도록 프로그래밍 되는 제2 전하 이동 장치
    를 포함하고,
    제1 전하가 제1 사이클 동안 한 쌍의 전하 저장소 중 첫 번째에 로딩되며, 상기 제1 전하 이동 장치 및 상기 제2 전하 이동 장치는 한 쌍의 상기 전하 저장소의 제1 전하가 고갈될 때까지 제2 사이클 동안 한 쌍의 전하 저장소로부터 비례하는 속도로 전하를 제거하고, 제2 전하 저장소의 전하 이동 속도를 곱한 제1 전하인 전하를 남기는 것을 특징으로 하는 멀티플라이어.
  2. 제1 항에 있어서,
    전하 이동을 멈추게 하기 위한 장치
    를 더 포함하는 멀티플라이어.
  3. 제1항에 있어서,
    상기 제1 전하 이동 장치 및 상기 제2 전하 이동 장치가 전기장의 제어에 기초하는 것을 특징으로 하는 멀티플라이어.
  4. 제1항에 있어서,
    상기 제1 전하 이동 장치는 한 쌍의 상기 전하 저장소와 직렬로 연결되는 제1 전류 소스이고 상기 제2 전하 이동 장치는 한 쌍의 상기 전하 저장소가 만나는 노드에서 연결되는 제2 전류 소스인 것을 특징으로 하는 멀티플라이어.
  5. 제2항에 있어서,
    전하 이동을 정지시키기 위한 장치는 전송 게이트이고, 상기 전송 게이트는 다른 시간에 전하 이동을 제어하기 위해 필드를 유지하면서 이벤트에 따라 배리어를 낮춘 후 배리어를 상승시키는 것을 특징으로 하는 멀티플라이어.
  6. 제1항에 있어서,
    한 쌍의 상기 전하 저장소는 커패시터인 것을 특징으로 하는 멀티플라이어.
  7. 제1항에 있어서,
    한 쌍의 상기 전하 저장소는 플로팅 확산(floating diffusions)인 것을 특징으로 하는 멀티플라이어.
  8. 제1항에 있어서,
    상기 제1 전하는 스위치 커패시터 회로, 능동 픽셀 회로; 또는 V/I 회로의 하나에 의해 한 쌍의 상기 전하 저장소의 첫 번째에 도입되는 것을 특징으로 하는 멀티플라이어.
  9. 직렬로 연결되는 한 쌍의 전하 저장소;
    동일한 속도로 한 쌍의 상기 전하 저장소로 또는 그로부터 전하 이동을 유도하는 제1 전하 이동 장치;
    한 쌍의 상기 저장소의 하나로 또는 그로부터 전하 이동을 유도하되, 상기 전하 이동 속도는 상기 제1 전하 이동 장치에 비례하는 속도로 전하를 추가하거나 제거하도록 프로그래밍 되는 제2 전하 이동 장치를 포함하는 아날로그 멀티플라이어
    를 포함하고,
    상기 제1 전하는 제1 사이클 동안 한 쌍의 상기 전하 저장소 중 첫 번째로이고, 상기 제1 전하 이동 장치 및 제2 전하 이동 장치는 한 쌍의 상기 전하 저장소의 제1 전하가 고갈될 때까지 제2 사이클 동안 한 쌍의 상기 전하 저장소로부터 비례 속도로 전하를 제거하며; 그리고
    입력 정보에 따라 한 쌍의 상기 저장소 중 첫 번째에 전하를 저장하기 위한 입력 수집 장치를 포함하는 신경망.
  10. 제9항에 있어서,
    상기 아날로그 멀티플라이어는 전하 이동을 정지시키기 위한 장치를 포함하는 신경망.
  11. 제9항에 있어서,
    상기 신경망과 동일한 집적 회로 상에 형성된 입력 포토 다이오드
    를 더 포함하는 신경망.
  12. 제9항에 있어서,
    상기 입력 수집 장치는 전하 도메인 회로이고 상기 입력 정보는 광학 정보인 것을 특징으로 하는 신경망.
  13. 제9항에 있어서,
    상기 입력 수집 장치와 한 쌍의 상기 전하 저장소 사이에 연결된 적어도 하나의 CCD(Charge Coupled Device) 시프트 레지스터
    를 더 포함하는 신경망.
  14. 제9항에 있어서,
    상기 입력 수집 장치에 연결된 적어도 하나의 CCD (Charge Coupled Device) 시프트 레지스터를 더 포함하고,
    상기 CCD 시프트 레지스터는 한 쌍의 상기 전하 저장소 중 첫 번째로 사용되는 것을 특징으로 하는 신경망.
  15. 제13항에 있어서,
    상기 CCD 시프트 레지스터는 2 차원 시프트 레지스터인 것을 특징으로 하는 신경망.
  16. 제13항에 있어서,
    상기 CCD 시프트 레지스터는 주변의 셀에서 정보를 수용할 수 있는 2차원 연결 어레이인 것을 특징으로 하는 신경망.
  17. 제13항에 있어서,
    입력 피연산자를 한 쌍의 상기 전하 저장소 중 첫 번째로 브로드캐스트하기 위해 사용되는 시간 가중 크로스바
    를 더 포함하고,
    적어도 하나의 상기 CCD 시프트 레지스터는 수축기 응답에 따라 전하를 연결하기 위해 사용되는 것을 특징으로 하는 신경망.
  18. 제17항에 있어서,
    제2 CCD 시프트 레지스터에 제2 피연산자가 전하로서 저장되고, 복수의 CCD 시프트 레지스터는 수축기 알고리즘 당 각각의 피연산자를 통과하는 것을 특징으로 하는 신경망.
  19. PPD(pinned photodiode) 또는 포토 디텍터(photodetector)의 적어도 하나를 포함하고, 상기 능동 픽셀에 대한 입력 정보는 제1 입력 전하 저장소에 저장되는 능동 픽셀;
    상기 제1 전하 저장소에 연결되는 제2 전하 저장소;
    상기 제1 전하 저장소와 상기 제2 전하 저장소 사이에 위치하는 전송 게이트-제1 전하 이동 속도는 상기 전송 게이트에 연결되는 필드에 의해 제어됨;
    상기 제2 전하 저장소에 연결되는 제2 전하 이동 장치-제2 전하 이동 속도는 상기 제1 전하 이동 속도에 비례하여 프로그래밍될 수 있음
    를 포함하고,
    전하는 제1 사이클 동안에만 제1 전하 저장소에 로딩되고 전송 게이트와 제2 전하 이동 장치는 제1 전하 저장소가 고갈될 때까지 제2 사이클 동안 비례적으로 충전하여 제2 사이클의 끝에서 제2 전하 저장소에서의 전하 증가를 생성하는 것을 특징으로 하는 아날로그 멀티플라이어.
  20. 제19항에 있어서,
    중첩 커패시턴스를 최소화하기 위한 접속 공핍 전송 게이트(junction depleted transfer gates)를 더 포함하는 아날로그 멀티플라이어.
  21. 각각 게이트식 전하 이동 장치에 연결되는 한 쌍의 전하 저장소
    를 포함하고,
    상기 게이트식 전하 이동 장치는 전하 이동 속도가 비례하도록 프로그래밍되며, 상기 게이트식 전하 이동 장치는 한 쌍의 상기 전하 저장소 중 하나가 고갈되면 전하 이동을 중지하는 것을 특징으로 하는 멀티플라이어.
  22. 제21항에 있어서,
    상기 한 쌍의 전하 저장소의 첫 번째에 다중 가중 입력을 로딩하는 장치
    를 더 포함하는 멀티플라이어
  23. 제21항에 있어서,
    프로그래밍 장치에 의해 시간적으로 각각 개별적으로 게이트된 한 쌍의 상기 전하 저장소의 첫 번째에 연결되는 다중 전하 이동 속도 제어 입력
    을 더 포함하는 멀티플라이어.
  24. 제22항에 있어서,
    상기 장치는 시간 가중 크로스바로서,
    복수의 크로스바 컨덕터 라인;
    복수의 컨덕터 라인에 연결되는 복수의 게이트 전류 소스-입력 전압, 전류 및 시간 프레임 중 하나 또는 단지 시간에 따라 복수의 게이트 전류 소스가 게이트 됨; 및
    복수의 상기 게이트 전류 소스 각각에 연결되고 복수의 가중 입력을 합산하는 요구 신경망 구성에 따라 복수의 상기 게이트 전류 소스 각각을 가능하게 하는 컨트롤러 회로를 포함하는 멀티플라이어.
  25. 제24항에 있어서,
    상기 시간 가중 크로스바는 게이팅 시간을 설정하기 위해 아날로그 메모리, 멤리스터 메모리(memristor memory), 플로팅 게이트 메모리, 플래시 메모리 또는 DNA 메모리 중 하나를 포함하는 것을 특징으로 하는 멀티플라이어.
  26. 단일 전하 저장소;
    제1 사이클에서 상기 단일 전하 저장소로 전하를 연결하거나 그로부터 전하를 제거하는 복수의 입력 전하 이동 장치;
    전하 이동이 종료된 후 제2 사이클 동안 상기 단일 전하 저장소를 시작 전하 레벨로 복귀시키기 위해 상기 단일 전하 저장소로 전하를 연결하거나 또는 그로부터 전하를 제거하는 출력 전하 이동 장치
    를 포함하는 가중 합산기.
  27. 제26항에 있어서,
    제2 사이클 동안 출력 전하 이동 장치가 전하를 연결하거나 제거하는 속도에 비례하는 속도로 전하를 연결하거나 제거하지만, 복수의 상기 입력 전하 이동 장치는 입력 정보에 따른 시간에 따라 각각 게이트되고;
    제2 사이클 동안 상기 출력 전하 이동 장치가 상기 단일 전하 저장소를 시작 전하 레벨로 복귀시키기 위해 전하를 연결 또는 제거하는 시간은 가중 합산기의 출력에 해당하는 것을 특징으로 하는 가중 합산기.
  28. 제26항에 있어서,
    비교기를 가지는 스파이킹 회로
    를 더 포함하고,
    상기 비교기는 간일 전하 저장소가 기설정된 레벨에 도달할 때 컨트롤러 회로에 대한 차단을 개시하는 것을 특징으로 하는 가중 합산기.
KR1020207028076A 2018-03-02 2019-03-04 전하 도메인 수학적 엔진 및 방법 Pending KR20200128109A (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020247017622A KR20240095298A (ko) 2018-03-02 2019-03-04 전하 도메인 수학적 엔진 및 방법
KR1020247017621A KR20240099356A (ko) 2018-03-02 2019-03-04 전하 도메인 수학적 엔진 및 방법

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201862637496P 2018-03-02 2018-03-02
US62/637,496 2018-03-02
PCT/US2019/020577 WO2019169396A1 (en) 2018-03-02 2019-03-04 Charge domain mathematical engine and method
US16/291,864 US11494628B2 (en) 2018-03-02 2019-03-04 Charge domain mathematical engine and method
US16/291,864 2019-03-04

Related Child Applications (2)

Application Number Title Priority Date Filing Date
KR1020247017621A Division KR20240099356A (ko) 2018-03-02 2019-03-04 전하 도메인 수학적 엔진 및 방법
KR1020247017622A Division KR20240095298A (ko) 2018-03-02 2019-03-04 전하 도메인 수학적 엔진 및 방법

Publications (1)

Publication Number Publication Date
KR20200128109A true KR20200128109A (ko) 2020-11-11

Family

ID=73336280

Family Applications (3)

Application Number Title Priority Date Filing Date
KR1020207028076A Pending KR20200128109A (ko) 2018-03-02 2019-03-04 전하 도메인 수학적 엔진 및 방법
KR1020247017622A Pending KR20240095298A (ko) 2018-03-02 2019-03-04 전하 도메인 수학적 엔진 및 방법
KR1020247017621A Pending KR20240099356A (ko) 2018-03-02 2019-03-04 전하 도메인 수학적 엔진 및 방법

Family Applications After (2)

Application Number Title Priority Date Filing Date
KR1020247017622A Pending KR20240095298A (ko) 2018-03-02 2019-03-04 전하 도메인 수학적 엔진 및 방법
KR1020247017621A Pending KR20240099356A (ko) 2018-03-02 2019-03-04 전하 도메인 수학적 엔진 및 방법

Country Status (6)

Country Link
US (3) US11494628B2 (ko)
EP (1) EP3759653A4 (ko)
JP (1) JP7364244B2 (ko)
KR (3) KR20200128109A (ko)
CN (1) CN111954888B (ko)
WO (1) WO2019169396A1 (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021093563A (ja) * 2019-12-06 2021-06-17 ソニーセミコンダクタソリューションズ株式会社 固体撮像素子、制御方法
US11689848B2 (en) 2020-05-14 2023-06-27 Knowles Electronics, Llc Capacitive sensor assembly and electrical circuit therefor

Family Cites Families (45)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4723114A (en) * 1986-07-07 1988-02-02 Texas Instruments Incorporated Method and circuit for trimming the frequency of an oscillator
US5034746A (en) * 1988-09-21 1991-07-23 International Business Machines Corporation Analog-to-digital converter for computer disk file servo position error signal
JPH02287860A (ja) * 1989-04-28 1990-11-27 Omron Corp 情報処理装置
US5015876A (en) * 1989-06-30 1991-05-14 Hewlett-Packard Company High speed charge-coupled sampler and rate reduction circuit
FR2649505B1 (fr) * 1989-07-07 1991-10-25 Sgs Thomson Microelectronics Circuit integre avec oscillateur reglable a frequence independante de la tension d'alimentation
JPH06131481A (ja) * 1992-10-20 1994-05-13 Takayama:Kk 重み付き加算回路
JPH06150033A (ja) * 1992-11-06 1994-05-31 Takayama:Kk 重み付き加算回路
JP2985999B2 (ja) * 1993-02-04 1999-12-06 株式会社高取育英会 重み付き加算回路
JPH0823874B2 (ja) * 1993-11-18 1996-03-06 株式会社ジーデイーエス シストリックアレイプロセサー
JPH08512421A (ja) * 1994-05-06 1996-12-24 フィリップス エレクトロニクス ネムローゼ フェンノートシャップ 半導体装置
US5444411A (en) * 1994-05-24 1995-08-22 United Microelectronics Corporation Functional MOS transistor with gate-level weighted sum and threshold operations
US5708385A (en) * 1995-06-02 1998-01-13 Yozan, Inc. Weighted addition circuit
JPH0944582A (ja) * 1995-07-28 1997-02-14 Sharp Corp 重み付き加算回路
US6804697B2 (en) * 2000-07-24 2004-10-12 Texas Instruments Incorporated Circuit for precise measurement of the average value of the outputs of multiple circuit unit elements
JP3479506B2 (ja) * 2000-10-18 2003-12-15 有限会社リニアセル・デザイン 加重平均値演算回路
US7352454B2 (en) * 2000-11-09 2008-04-01 Canesta, Inc. Methods and devices for improved charge management for three-dimensional and color sensing
US7068603B2 (en) * 2001-07-06 2006-06-27 Juniper Networks, Inc. Cross-bar switch
US7319423B2 (en) * 2002-07-31 2008-01-15 Quantum Semiconductor Llc Multi-mode ADC and its application to CMOS image sensors
US6906500B2 (en) * 2002-11-14 2005-06-14 Fyre Storm, Inc. Method of operating a switching power converter
US7596589B2 (en) * 2004-04-12 2009-09-29 University Of Florida Research Foundation, Inc. Time-mode analog computation circuits and methods
GB0506253D0 (en) 2005-03-29 2005-05-04 Univ Ulster Electronic synapse device
CN101176151A (zh) * 2005-05-18 2008-05-07 罗姆股份有限公司 运算处理电路单元及盘装置
US7994465B1 (en) * 2006-02-06 2011-08-09 Microsoft Corporation Methods and devices for improved charge management for three-dimensional and color sensing
KR20090101739A (ko) * 2008-03-24 2009-09-29 삼성전자주식회사 전류원을 이용하는 전압 가산기
US8134630B2 (en) * 2008-05-09 2012-03-13 Truesense Imaging, Inc. System and method for draining residual charge from charge-coupled device (CCD) shift registers in image sensors having reset drains
US8299472B2 (en) * 2009-12-08 2012-10-30 Young-June Yu Active pixel sensor with nanowire structured photodetectors
US7965151B2 (en) * 2009-06-02 2011-06-21 Power Integrations, Inc. Pulse width modulator with two-way integrator
US9136364B2 (en) * 2009-09-16 2015-09-15 Power Integrations, Inc. Field effect transistor with access region recharge
US8269570B2 (en) * 2010-08-03 2012-09-18 Texas Instruments Incorporated Systems and methods of ripple reduction in a DC/DC converter
JP5951351B2 (ja) * 2011-05-20 2016-07-13 株式会社半導体エネルギー研究所 加算器及び全加算器
US9338036B2 (en) * 2012-01-30 2016-05-10 Nvidia Corporation Data-driven charge-pump transmitter for differential signaling
WO2014151443A1 (en) 2013-03-15 2014-09-25 Adc Telecommunications, Inc. Ferrules for fiber optic connectors
US8963589B1 (en) * 2014-01-10 2015-02-24 Stmicroelectronics S,R.L. Ramp generator circuit
FR3022397B1 (fr) * 2014-06-13 2018-03-23 New Imaging Technologies Cellule photoelectrique de type c-mos a transfert de charge, et capteur matriciel comprenant un ensemble de telles cellules
KR102263042B1 (ko) * 2014-10-16 2021-06-09 삼성전자주식회사 픽셀, 상기 픽셀을 포함하는 이미지 센서, 및 상기 픽셀을 포함하는 이미지 처리 시스템
US9641189B2 (en) 2014-12-17 2017-05-02 Analog Devices, Inc. Calibration techniques for SAR ADCs with on-chip reservoir capacitors
US9749565B2 (en) * 2015-05-18 2017-08-29 Analog Devices, Inc. Interline charge-coupled devices
US9748935B2 (en) * 2015-05-29 2017-08-29 Fairchild Korea Semiconductor Ltd. Signal calculator
US9917120B2 (en) * 2015-11-09 2018-03-13 Semiconductor Components Industries, Llc Pixels with high dynamic range and a global shutter scanning mode
US9934826B2 (en) 2016-04-14 2018-04-03 Semiconductor Energy Laboratory Co., Ltd. Semiconductor device
FR3056857B1 (fr) * 2016-09-26 2018-11-16 Commissariat A L'energie Atomique Et Aux Energies Alternatives Circuit sommateur
WO2019169388A1 (en) * 2018-03-02 2019-09-06 David Schie Single transistor multiplier and method therefor
WO2019210276A1 (en) * 2018-04-26 2019-10-31 David Schie Analog learning engine and method
WO2019210275A2 (en) * 2018-04-26 2019-10-31 David Schie Event driven mathematical engine and method
WO2020076966A1 (en) * 2018-10-09 2020-04-16 Aistorm Inc. Charge based switched matrix and method therefor

Also Published As

Publication number Publication date
KR20240099356A (ko) 2024-06-28
EP3759653A1 (en) 2021-01-06
US20230018395A1 (en) 2023-01-19
CN111954888B (zh) 2024-08-27
US20190286977A1 (en) 2019-09-19
US20230046100A1 (en) 2023-02-16
KR20240095298A (ko) 2024-06-25
EP3759653A4 (en) 2022-04-20
JP7364244B2 (ja) 2023-10-18
WO2019169396A1 (en) 2019-09-06
US11494628B2 (en) 2022-11-08
CN111954888A (zh) 2020-11-17
JP2021515955A (ja) 2021-06-24

Similar Documents

Publication Publication Date Title
US7088860B2 (en) Dynamically reconfigurable signal processing circuit, pattern recognition apparatus, and image processing apparatus
US20230046100A1 (en) Charge domain mathematical engine and method
EP1040648B1 (en) Device for imaging radiation
US5262871A (en) Multiple resolution image sensor
JP2809954B2 (ja) 画像感知および処理のための装置および方法
GB2332586A (en) Imager with pre-charge circuit for reducing current spikes
WO1999033259A1 (en) Device for imaging radiation
US4426629A (en) Two-dimensional kernel generator for transversal filters
US3873836A (en) Charge coupled radiation detector imaging system
CN117157990B (zh) 基于忆阻器的人工智能像素传感器
Morsali et al. Deep mapper: A multi-channel single-cycle near-sensor dnn accelerator
CN114638349A (zh) 光敏神经元、感存算一体化智能感知装置、方法及介质
US4709381A (en) CCD focal plane array convolver
Zheng et al. A Novel In-Sensor Computing Architecture Based on Single Photon Avalanche Diode and Dynamic Memristor
Nakamura et al. Image sensor with image smoothing capability using a Neuron MOSFET
JP2003085560A (ja) 信号処理回路及びパターン認識装置
Hoekstra (Junction) Charge-Coupled Device Technology for Artificial Neural Networks
RU2017347C1 (ru) Фотоэлектрический формирователь сигналов, кодированных функциями уолша
WO2024078721A1 (en) Imaging sensor device using an array of single-photon avalanche diode photodetectors
Tower et al. The transversal imager: A photonic neurochip with programmable synaptic weights
Mercier et al. Looking for histograms on the power supply of an artificial retina
Syamsuddin An Integrated Frame-Differencing Image Sensor for Motion Detection Applications

Legal Events

Date Code Title Description
PA0105 International application

Patent event date: 20200928

Patent event code: PA01051R01D

Comment text: International Patent Application

PG1501 Laying open of application
PA0201 Request for examination

Patent event code: PA02012R01D

Patent event date: 20220209

Comment text: Request for Examination of Application

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20240226

Patent event code: PE09021S01D

E90F Notification of reason for final refusal
PE0902 Notice of grounds for rejection

Comment text: Final Notice of Reason for Refusal

Patent event date: 20250226

Patent event code: PE09021S02D