[go: up one dir, main page]

JP2020025264A - 積層型受光センサ及び車載撮像装置 - Google Patents

積層型受光センサ及び車載撮像装置 Download PDF

Info

Publication number
JP2020025264A
JP2020025264A JP2019139481A JP2019139481A JP2020025264A JP 2020025264 A JP2020025264 A JP 2020025264A JP 2019139481 A JP2019139481 A JP 2019139481A JP 2019139481 A JP2019139481 A JP 2019139481A JP 2020025264 A JP2020025264 A JP 2020025264A
Authority
JP
Japan
Prior art keywords
substrate
vehicle
imaging device
unit
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019139481A
Other languages
English (en)
Other versions
JP6705044B2 (ja
Inventor
良仁 浴
Ryoji Eki
良仁 浴
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Semiconductor Solutions Corp
Original Assignee
Sony Semiconductor Solutions Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Semiconductor Solutions Corp filed Critical Sony Semiconductor Solutions Corp
Priority to PCT/JP2019/030093 priority Critical patent/WO2020027230A1/ja
Priority to EP19844089.3A priority patent/EP3833006B1/en
Priority to CN201980049008.8A priority patent/CN112470461B/zh
Priority to KR1020217001352A priority patent/KR102797317B1/ko
Priority to US17/262,691 priority patent/US20210168318A1/en
Publication of JP2020025264A publication Critical patent/JP2020025264A/ja
Application granted granted Critical
Publication of JP6705044B2 publication Critical patent/JP6705044B2/ja
Priority to US18/363,332 priority patent/US12446350B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/147—Details of sensors, e.g. sensor lenses
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/617—Upgrading or updating of programs or applications for camera control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/44—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/709—Circuitry for control of the power supply
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/75—Circuitry for providing, modifying or processing image signals from the pixel array
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
    • H04N25/771—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components comprising storage means other than floating diffusion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/78—Readout circuits for addressed sensors, e.g. output amplifiers or A/D converters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/79—Arrangements of circuitry being divided between different or multiple substrates, chips or circuit boards, e.g. stacked image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H—ELECTRICITY
    • H10—SEMICONDUCTOR DEVICES; ELECTRIC SOLID-STATE DEVICES NOT OTHERWISE PROVIDED FOR
    • H10F—INORGANIC SEMICONDUCTOR DEVICES SENSITIVE TO INFRARED RADIATION, LIGHT, ELECTROMAGNETIC RADIATION OF SHORTER WAVELENGTH OR CORPUSCULAR RADIATION
    • H10F39/00—Integrated devices, or assemblies of multiple devices, comprising at least one element covered by group H10F30/00, e.g. radiation detectors comprising photodiode arrays
    • H10F39/80—Constructional details of image sensors
    • H10F39/809—Constructional details of image sensors of hybrid image sensors
    • H—ELECTRICITY
    • H10—SEMICONDUCTOR DEVICES; ELECTRIC SOLID-STATE DEVICES NOT OTHERWISE PROVIDED FOR
    • H10F—INORGANIC SEMICONDUCTOR DEVICES SENSITIVE TO INFRARED RADIATION, LIGHT, ELECTROMAGNETIC RADIATION OF SHORTER WAVELENGTH OR CORPUSCULAR RADIATION
    • H10F39/00—Integrated devices, or assemblies of multiple devices, comprising at least one element covered by group H10F30/00, e.g. radiation detectors comprising photodiode arrays
    • H10F39/80—Constructional details of image sensors
    • H10F39/811—Interconnections
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Vascular Medicine (AREA)
  • Solid State Image Pick-Up Elements (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Studio Devices (AREA)

Abstract

【課題】チップ内でより高度な処理を実行する。【解決手段】実施形態に係る積層型受光センサは、第１基板と、前記第１基板に貼り合わされた第２基板と、前記第２基板に取り付けられた接続配線とを備え、前記第１基板は、複数の単位画素が２次元マトリクス状に配列された画素アレイ部を備え、前記第２基板は、前記画素アレイ部から出力されるアナログの画素信号をデジタルの画像データへ変換する変換器と、前記画像データに基づくデータに対して処理を実行する処理部とを備え、前記変換器の少なくとも一部は、前記第２基板における第１辺側に配置され、前記処理部は、前記第２基板における前記第１辺とは反対の第２辺側に配置され、前記接続配線は、前記第２基板における前記第２辺以外の辺に取り付けられる。【選択図】図１８

Description

本開示は、積層型受光センサ及び車載撮像装置に関する。
従来、静止画や動画を取得する撮像装置として、センサチップや、メモリチップや、ＤＳＰ（Digital Signal Processor）チップなどのチップ同士を複数のバンプで並列に接続した平置き型のイメージセンサが存在する。
また、近年では、撮像装置の小型化を目的として、複数のダイが積層された積層構造を有する１チップのイメージセンサが提案されている。
国際公開第２０１８／０５１８０９号
ところで、近年では、画像処理の多様化・高速化や個人情報の保護等の観点から、イメージセンサチップ内でより高度な処理を実行することが望まれている。
そこで本開示では、チップ内でより高度な処理を実行することが可能な積層型受光センサ及び車載撮像装置を提案する。
上記の課題を解決するために、本開示に係る一形態の積層型受光センサは、第１基板と、前記第１基板に貼り合わされた第２基板と、前記第２基板に取り付けられた接続配線とを備え、前記第１基板は、複数の単位画素が２次元マトリクス状に配列された画素アレイ部を備え、前記第２基板は、前記画素アレイ部から出力されるアナログの画素信号をデジタルの画像データへ変換する変換器と、前記画像データに基づくデータに対して処理を実行する処理部とを備え、前記変換器の少なくとも一部は、前記第２基板における第１辺側に配置され、前記処理部は、前記第２基板における前記第１辺とは反対の第２辺側に配置され、前記接続配線は、前記第２基板における前記第２辺以外の辺に取り付けられる。
第１の実施形態に係る電子機器としての撮像装置の概略構成例を示すブロック図である。 第１の実施形態に係るイメージセンサのチップ構成例を示す模式図である。 第１の実施形態に係る第１のレイアウト例における第１基板のレイアウト例を示す図である。 第１の実施形態に係る第１のレイアウト例における第２基板のレイアウト例を示す図である。 第１の実施形態に係る第２のレイアウト例における第２基板のレイアウト例を示す図である。 第１の実施形態に係る第３のレイアウト例における第２基板のレイアウト例を示す図である。 第１の実施形態に係る第４のレイアウト例における第２基板のレイアウト例を示す図である。 第１の実施形態に係る第５のレイアウト例における第２基板のレイアウト例を示す図である。 第１の実施形態に係る第６のレイアウト例における第２基板のレイアウト例を示す図である。 第１の実施形態に係る第７のレイアウト例における第２基板のレイアウト例を示す図である。 第１の実施形態に係る第８のレイアウト例における第２基板のレイアウト例を示す図である。 第１の実施形態に係る第９のレイアウト例における第２基板のレイアウト例を示す図である。 第２の実施形態に係るイメージセンサにおける第１基板の概略構成例を示すレイアウト図である。 第２の実施形態に係るイメージセンサのチップ構成例を示す模式図である。 第３の実施形態に係るイメージセンサにおける第１基板の概略構成例を示すレイアウト図である。 第３の実施形態に係るイメージセンサにおける第２基板の概略構成例を示すレイアウト図である。 第３の実施形態に係るイメージセンサのチップ構成例を示す模式図である。 第４の実施形態に係る実施形態に係る撮像装置の概略構成例を示す図である。 第４の実施形態の第１例に係る撮像装置の取り付け例を示す模式図である。 第４の実施形態の第２例に係る撮像装置の取り付け例を示す模式図である。 車両制御システムの概略的な構成の一例を示すブロック図である。 車外情報検出部及び撮像部の設置位置の一例を示す説明図である。 内視鏡手術システムの概略的な構成の一例を示す図である。 カメラヘッド及びＣＣＵの機能構成の一例を示すブロック図である。 診断支援システムの概略的な構成の一例を示すブロック図である。
以下に、本開示の一実施形態について図面に基づいて詳細に説明する。なお、以下の実施形態において、同一の部位には同一の符号を付することにより重複する説明を省略する。
また、以下に示す項目順序に従って本開示を説明する。
１．第１の実施形態
１．１ 撮像装置の概略構成例
１．２ イメージセンサチップのチップ構成例
１．３ 学習済みモデルに基づく演算を実行する処理部を搭載したイメージセンサチップの課題
１．４ ノイズ低減手法
１．４．１ 第１のレイアウト例
１．４．１．１ 第１基板のレイアウト例
１．４．１．２ 第２基板のレイアウト例
１．４．２ 第２のレイアウト例
１．４．３ 第３のレイアウト例
１．４．４ 第４のレイアウト例
１．４．５ 第５のレイアウト例
１．４．６ 第６のレイアウト例
１．４．７ 第７のレイアウト例
１．４．８ 第８のレイアウト例
１．４．９ 第９のレイアウト例
１．５ 作用・効果
２．第２の実施形態
２．１ イメージセンサチップのチップ構成例
２．２ 作用・効果
３．第３の実施形態
３．１ イメージセンサチップのチップ構成例
３．２ 作用・効果
４．第４の実施形態
４．１ 構成例
４．２ 取り付け例
４．２．１ 第１例
４．２．２ 第２例
４．３ 作用・効果
５．他のセンサへの適用
６．移動体への応用例
７．内視鏡手術システムへの応用例
８．ＷＳＩ（Whole Slide Imaging）システムへの応用例
１．第１の実施形態
まず、第１の実施形態について、図面を参照して詳細に説明する。
１．１ 撮像装置の概略構成例
図１は、第１の実施形態に係る電子機器としての撮像装置の概略構成例を示すブロック図である。図１に示すように、撮像装置１は、固体撮像装置であるイメージセンサ１０と、アプリケーションプロセッサ２０とを備える。イメージセンサ１０は、撮像部１１と、コントロール部１２と、変換器（Analog to Digital Converter：以下、ＡＤＣという）１７と、信号処理部１３と、ＤＳＰ（Digital Signal Processor）１４と、メモリ１５と、セレクタ（出力部ともいう）１６とを備えている。
コントロール部１２は、例えば、ユーザの操作や設定された動作モードに従い、イメージセンサ１０内の各部を制御する。
撮像部１１は、例えば、ズームレンズ、フォーカスレンズ、絞り等を備える光学系１０４と、フォトダイオードなどの受光素子を含む単位画素（図２の単位画素１０１ａ）が２次元マトリクス状に配列した構成を備える画素アレイ部１０１とを備える。外部から入射した光は、光学系１０４を介することで、画素アレイ部１０１における受光素子が配列した受光面に結像される。画素アレイ部１０１の各単位画素１０１ａは、その受光素子に入射した光を光電変換することで、入射光の光量に応じた電荷を読出可能に蓄積する。
ＡＤＣ１７は、撮像部１１から読み出された単位画素１０１ａ毎のアナログの画素信号をデジタル値に変換することで、デジタルの画像データを生成し、生成した画像データを信号処理部１３及び／又はメモリ１５へ出力する。なお、ＡＤＣ１７には、電源電圧等から撮像部１１を駆動するための駆動電圧を生成する電圧生成回路等が含まれてもよい。
信号処理部１３は、ＡＤＣ１７から入力されたデジタルの画像データ又はメモリ１５から読み出されたデジタルの画像データ（以下、処理対象の画像データという）に対して種々の信号処理を実行する。例えば、処理対象の画像データがカラー画像である場合、信号処理部１３は、この画像データをＹＵＶの画像データやＲＧＢの画像データなどにフォーマット変換する。また、信号処理部１３は、例えば、処理対象の画像データに対し、ノイズ除去やホワイトバランス調整等の処理を必要に応じて実行する。その他、信号処理部１３は、処理対象の画像データに対し、ＤＳＰ１４がその画像データを処理するのに必要となる種々の信号処理（前処理ともいう）を実行する。
ＤＳＰ１４は、例えば、メモリ１５に格納されているプログラムを実行することで、ディープニューラルネットワーク（ＤＮＮ）を利用した機械学習によって作成された学習済みモデル（ニューラルネットワーク計算モデルともいう）を用いて各種処理を実行する処理部として機能する。この学習済みモデル（ニューラルネットワーク計算モデル）は、画素アレイ部１０１の出力に相当する入力信号と、当該入力信号に対するラベルとが紐付いている学習データとを所定の機械学習モデルに入力して生成されたパラメータに基づいて設計されていてもよい。また、所定の機械学習モデルは、多層のニューラルネットワークを利用した学習モデル（多層ニューラルネットワークモデルともいう）であってもよい。
例えば、ＤＳＰ１４は、メモリ１５に記憶されている学習済みモデルに基づいた演算処理を実行することで、メモリ１５に記憶されている辞書係数と画像データと掛け合わせる処理を実行する。このような演算処理により得られた結果（演算結果）は、メモリ１５及び／又はセレクタ１６へ出力される。なお、演算結果には、学習済みモデルを用いた演算処理を実行することで得られた画像データや、その画像データから得られる各種情報（メタデータ）が含まれ得る。また、ＤＳＰ１４には、メモリ１５へのアクセスを制御するメモリコントローラが組み込まれていてもよい。
なお、ＤＳＰ１４が処理対象とする画像データは、画素アレイ部１０１から通常に読み出された画像データであってもよいし、この通常に読み出された画像データの画素を間引くことでデータサイズが縮小された画像データであってもよい。若しくは、画素アレイ部１０１に対して画素を間引いた読み出しを実行することで通常よりも小さいデータサイズで読み出された画像データであってもよい。なお、ここでの通常の読み出しとは、画素を間引かずに読み出すことであってよい。
メモリ１５は、ＡＤＣ１７から出力された画像データ、信号処理部１３で信号処理された画像データ、ＤＳＰ１４で得られた演算結果等を必要に応じて記憶する。また、メモリ１５は、ＤＳＰ１４が実行する学習済みモデルのアルゴリズムをプログラム及び辞書係数として記憶する。
なお、ＤＳＰ１４は、学習データを用いて学習モデル内の各種パラメータの重み付けを変更することで学習モデルを学習したり、複数の学習モデルを用意しておき演算処理の内容に応じて使用する学習モデルを変更したり、外部の装置から学習済みの学習モデルを取得したりして、上記演算処理を実行することができる。
セレクタ１６は、例えばコントロール部１２からの選択制御信号に従うことで、ＤＳＰ１４から出力された画像データやメモリ１５に記憶されている画像データや演算結果を選択的に出力する。なお、ＤＳＰ１４が信号処理部１３から出力された画像データに対して処理を実行しない場合であって、セレクタ１６がＤＳＰ１４から出力された画像データを出力する場合には、セレクタ１６は、信号処理部１３から出力された画像データをそのまま出力する。
以上のようにしてセレクタ１６から出力された画像データや演算結果は、表示やユーザインタフェースなどを処理するアプリケーションプロセッサ２０に入力される。アプリケーションプロセッサ２０は、例えば、ＣＰＵ（Central Processing Unit）等を用いて構成され、オペレーティングシステムや各種アプリケーションソフトウエア等を実行する。このアプリケーションプロセッサ２０には、ＧＰＵ（Graphics Processing Unit）やベースバンドプロセッサなどの機能が搭載されていてもよい。アプリケーションプロセッサ２０は、入力された画像データや演算結果に対し、必要に応じた種々処理を実行したり、ユーザへの表示を実行したり、所定のネットワーク４０を介して外部のクラウドサーバ３０へ送信したりする。
なお、所定のネットワーク４０には、例えば、インターネットや、有線ＬＡＮ（Local Area Network）又は無線ＬＡＮや、移動体通信網や、Ｂｌｕｅｔｏｏｔｈ（登録商標）など、種々のネットワークを適用することができる。また、画像データや演算結果の送信先は、クラウドサーバ３０に限定されず、単一で動作するサーバや、各種データを保管するファイルサーバや、携帯電話機等の通信端末など、通信機能を有する種々の情報処理装置（システム）であってよい。
１．２ イメージセンサチップのチップ構成例
次に、図１に示すイメージセンサ１０のチップ構成の例について、以下に図面を参照して詳細に説明する。
図２は、本実施形態に係るイメージセンサのチップ構成例を示す模式図である。図２に示すように、イメージセンサ１０は、四角形の平板状の第１基板（ダイ）１００と、同じく四角形の平板状の第２基板（ダイ）１２０とが貼り合わされた積層構造を有している。
第１基板１００と第２基板とのサイズは、例えば、同じであってよい。また、第１基板１００と第２基板１２０とは、それぞれシリコン基板などの半導体基板であってよい。
第１基板１００には、図１に示すイメージセンサ１０の構成において、撮像部１１の画素アレイ部１０１が配置される。また、第１基板１００には、光学系１０４の一部又は全部がオンチップで設けられていてもよい。
第２基板１２０には、図１に示すイメージセンサ１０の構成において、ＡＤＣ１７と、コントロール部１２と、信号処理部１３と、ＤＳＰ１４と、メモリ１５と、セレクタ１６とが配置されている。なお、第２基板１２０には、不図示のインタフェース回路やドライバ回路などが配置されていてもよい。
第１基板１００と第２基板１２０との貼り合わせは、第１基板１００及び第２基板１２０をそれぞれチップに個片化した後、これら個片化された第１基板１００及び第２基板１２０を貼り合わせる、いわゆるＣｏＣ（Chip on Chip）方式であってもよいし、第１基板１００と第２基板１２０とのうち一方（例えば、第１基板１００）をチップに個片化した後、この個片化された第１基板１００を個片化前（すなわち、ウエハ状態）の第２基板１２０に貼り合わせる、いわゆるＣｏＷ（Chip on Wafer）方式であってもよいし、第１基板１００と第２基板１２０とを共にウエハの状態で貼り合わせる、いわゆるＷｏＷ（Wafer on Wafer）方式であってもよい。
第１基板１００と第２基板１２０との接合方法には、例えば、プラズマ接合等を使用することができる。ただし、これに限定されず、種々の接合方法が用いられてよい。
１．３ 学習済みモデルに基づく演算を実行する処理部を搭載したイメージセンサチップの課題
以上のように、ＤＳＰ１４を学習済みモデルに基づいた演算処理を実行する処理部として動作させる場合、その動作アルゴリズムの実装が、プログラムの実行による、いわゆるソフトウエア実装となる。また、学習済みモデルの動作アルゴリズムは、日々更新されている。そのため、学習済みモデルに基づいた演算処理を実行するＤＳＰ１４がどのタイミングで処理を実行するかや、ＤＳＰ１４の処理のピークがどのタイミングになるかなどを事前に把握することは困難である。
そして、図２に例示するように、第１基板１００に画素アレイ部１０１を搭載し、第２基板１２０にＤＳＰ１４を搭載したチップ構成において、ＤＳＰ１４を学習済みモデルに基づいた演算を実行する処理部として動作させる場合、画素アレイ部１０１のリセット中や画素アレイ部１０１の露光中や画素アレイ部１０１の各単位画素１０１ａからの画素信号を読出中にＤＳＰ１４が演算処理を開始したりＤＳＰ１４の処理がピークを迎えたりすると、画素アレイ部１０１から読み出される画素信号にノイズ（電流や電界の揺らぎ等）が重畳され、結果的に、イメージセンサ１０で取得する画像の品質が低下してしまう。
そこで本実施形態では、画素アレイ部１０１とＤＳＰ１４との位置関係を調整することで、画素アレイ部１０１へのＤＳＰ１４の信号処理に起因したノイズの入り込みを低減する。これにより、ＤＳＰ１４を学習済みモデルに基づいた演算を実行する処理部として動作させた場合でも、品質の劣化が低減された画像を取得することが可能となる。
１．４ ノイズ低減手法
次に、本実施形態に係る画素アレイ部１０１とＤＳＰ１４との位置関係について、以下に図面を参照して詳細に説明する。なお、以下では、各層（第１基板１００及び第２基板１２０）のレイアウト（フロアマップともいう）について幾つか例を挙げることで、画素アレイ部１０１とＤＳＰ１４との位置関係を説明する。
１．４．１ 第１のレイアウト例
図３及び図４は、本実施形態に係る第１のレイアウト例を説明するための図である。なお、図３は、第１基板１００のレイアウト例を示し、図４は、第２基板１２０のレイアウト例を示す。
１．４．１．１ 第１基板のレイアウト例
図３に示すように、第１基板１００には、図１に示すイメージセンサ１０の構成において、撮像部１１の画素アレイ部１０１が配置されている。なお、第１基板１００に光学系１０４の一部又は全部を搭載する場合には、画素アレイ部１０１と対応する位置に設けられる。
画素アレイ部１０１は、第１基板１００の４つの辺Ｌ１０１〜Ｌ１０４のうち、１つの辺Ｌ１０１側に片寄って配置される。言い換えれば、画素アレイ部１０１は、その中心部Ｏ１０１が第１基板１００の中心部Ｏ１００よりも辺Ｌ１０１に近接するように、配置されている。なお、第１基板１００における画素アレイ部１０１が設けられた面が長方形である場合、辺Ｌ１０１は、例えば、短い方の辺であってもよい。ただし、これに限定されず、長い方の辺に、画素アレイ部１０１が片寄って配置されてもよい。
画素アレイ部１０１の４つの辺のうちの辺Ｌ１０１に近接する領域、言い換えれば、辺Ｌ１０１と画素アレイ部１０１との間の領域には、画素アレイ部１０１中の各単位画素１０１ａを第２基板１２０に配置されたＡＤＣ１７に電気的に接続させるための配線として、第１基板１００を貫通する複数の貫通配線（Through Silicon Via：以下、ＴＳＶという）が配列するＴＳＶアレイ１０２が設けられている。このように、ＴＳＶアレイ１０２を画素アレイ部１０１が近接する辺Ｌ１０１に近接させることで、第２基板１２０において、ＡＤＣ１７等の各部を配置スペースを確保し易くすることができる。
なお、ＴＳＶアレイ１０２は、辺Ｌ１０１と交わる２つの辺Ｌ１０３及びＬ１０４のうち一方の辺Ｌ１０４（ただし、辺Ｌ１０３であってもよい）に近接する領域、言い換えれば、辺Ｌ１０４（又は、辺Ｌ１０３）と画素アレイ部１０１との間の領域にも設けられていてよい。
第１基板１００の４つの辺Ｌ１０１〜Ｌ１０４のうち、画素アレイ部１０１が片寄って配置されていない辺Ｌ１０２〜Ｌ１０３それぞれには、直線状に配列された複数のパッドよりなるパッドアレイ１０３が設けられている。パッドアレイ１０３に含まれるパッドには、例えば、画素アレイ部１０１やＡＤＣ１７などのアナログ回路用の電源電圧が印加されるパッド（電源ピンともいう）や、信号処理部１３やＤＳＰ１４やメモリ１５やセレクタ１６やコントロール部１２等のデジタル回路用の電源電圧が印加されるパッド（電源ピンともいう）や、ＭＩＰＩ（Mobile Industry Processor Interface）やＳＰＩ（Serial Peripheral Interface）などのインタフェース用のパッド（信号ピンともいう）や、クロックやデータの入出力のためのパッド（信号ピンともいう）などが含まれている。各パッドは、例えば、外部の電源回路やインタフェース回路とワイヤを介して電気的に接続される。各パッドアレイ１０３とＴＳＶアレイ１０２とは、パッドアレイ１０３中の各パッドに接続されたワイヤからの信号の反射の影響を無視できる程度に十分に離れていることが好ましい。
１．４．１．２ 第２基板のレイアウト例
一方、図４に示すように、第２基板１２０には、図１に示すイメージセンサ１０の構成において、ＡＤＣ１７と、コントロール部１２と、信号処理部１３と、ＤＳＰ１４と、メモリ１５とが配置されている。なお、第１のレイアウト例では、メモリ１５がメモリ１５Ａとメモリ１５Ｂとの２つの領域に分かれている。同様に、ＡＤＣ１７がＡＤＣ１７ＡとＤＡＣ（Digital to Analog Converter）１７Ｂとの２つの領域に分かれている。ＤＡＣ１７Ｂは、ＡＤＣ１７ＡへＡＤ変換用の参照電圧を供給する構成であり、広い意味でＡＤＣ１７の一部に含まれる構成である。また、図４には図示されていないが、セレクタ１６も第２基板１２０に配置されている。
さらに、第２基板１２０には、第１基板１００を貫通するＴＳＶアレイ１０２中の各ＴＳＶ（以下、単にＴＳＶアレイ１０２とする）と接触することで電気的に接続された配線１２２と、第１基板１００のパッドアレイ１０３における各パッドと電気的に接続される複数のパッドが直線状に配列されてなるパッドアレイ１２３とが設けられている。
ＴＳＶアレイ１０２と配線１２２との接続には、例えば、第１基板１００に設けられたＴＳＶと第１基板１００から第２基板１２０にかけて設けられたＴＳＶとの２つのＴＳＶをチップ外表で接続する、いわゆるツインＴＳＶ方式や、第１基板１００から第２基板１２０にかけて設けられた共通のＴＳＶで接続する、いわゆるシェアードＴＳＶ方式などを採用することができる。ただし、これらに限定されず、例えば、第１基板１００の接合面と第２基板１２０の接合面とにそれぞれ露出させた銅（Ｃｕ）同士を接合する、いわゆるＣｕ−Ｃｕボンディング方式など、種々の接続形態を採用することが可能である。
第１基板１００のパッドアレイ１０３における各パッドと、第２基板１２０のパッドアレイ１２３における各パッドとの接続形態は、例えば、ワイヤボンディングである。ただし、これに限定されず、スルーホールやキャスタレーション等の接続形態であってもよい。
第２基板１２０のレイアウト例では、例えば、ＴＳＶアレイ１０２と接続される配線１２２の近傍を上流側とし、画素アレイ部１０１から読み出された信号の流れに沿って、上流から順に、ＡＤＣ１７Ａと、信号処理部１３と、ＤＳＰ１４とが配置されている。すなわち、画素アレイ部１０１から読み出された画素信号が最初に入力されるＡＤＣ１７Ａが最も上流側である配線１２２の近傍に配置され、次いで、信号処理部１３が配置され、配線１２２から最も遠い領域にＤＳＰ１４が配置されている。このように、ＡＤＣ１７からＤＳＰ１４までを信号の流れに沿って上流側から配置したレイアウトとすることで、各部を接続する配線を短縮することが可能となる。それにより、信号遅延の低減や信号の伝搬損失の低減やＳ／Ｎ比の向上や消費電力の低減が可能となる。
また、コントロール部１２は、例えば、上流側である配線１２２の近傍に配置される。図４では、ＡＤＣ１７Ａと信号処理部１３との間にコントロール部１２が配置されている。このようなレイアウトとすることで、コントロール部１２が画素アレイ部１０１を制御する際の信号遅延の低減や信号の伝搬損失の低減やＳ／Ｎ比の向上や消費電力の低減が可能となる。また、アナログ回路用の信号ピンや電源ピンをアナログ回路の近傍（例えば、図４中の下側）にまとめて配置し、残りのデジタル回路用の信号ピンや電源ピンをデジタル回路の近傍（例えば、図４中の上側）にまとめて配置したり、アナログ回路用の電源ピンとデジタル回路用の電源ピンとを十分に離して配置したりなどが可能となるというメリットも存在する。
また、図４に示すレイアウトでは、ＤＳＰ１４が最も下流側であるＡＤＣ１７Ａとは反対側に配置されている。このようなレイアウトとすることで、言い換えれば、第１基板１００と第２基板１２０との積層方向（以下、単に上下方向という）において、画素アレイ部１０１と重畳しない領域に、ＤＳＰ１４を配置することが可能となる。
このように、上下方向において画素アレイ部１０１とＤＳＰ１４とが重畳しない構成とすることで、ＤＳＰ１４が信号処理を実行することで発生したノイズが画素アレイ部１０１に入り込むことを低減することが可能となる。その結果、ＤＳＰ１４を学習済みモデルに基づいた演算を実行する処理部として動作させた場合でも、画素アレイ部１０１へのＤＳＰ１４の信号処理に起因したノイズの入り込みを低減することが可能となるため、品質の劣化が低減された画像を取得することが可能となる。
なお、ＤＳＰ１４と信号処理部１３とは、ＤＳＰ１４の一部又は信号線で構成された接続部１４ａによって接続される。また、セレクタ１６は、例えば、ＤＳＰ１４の近傍に配置される。接続部１４ａをＤＳＰ１４の一部とした場合、上下方向において一部のＤＳＰ１４が画素アレイ部１０１と重なることとなるが、このような場合でも、全てのＤＳＰ１４が上下方向において画素アレイ部１０１と重畳する場合と比較して、画素アレイ部１０１へのノイズの入り込みを低減することが可能である。
メモリ１５Ａ及び１５Ｂは、例えば、ＤＳＰ１４を３方向から囲むように配置される。このように、ＤＳＰ１４を囲むようにメモリ１５Ａ及び１５Ｂを配置することで、メモリ１５における各メモリ素子とＤＳＰ１４との配線上の距離を平均化しつつ全体的に短くすることが可能となる。それにより、ＤＳＰ１４がメモリ１５へアクセスする際の信号遅延や信号の伝搬損失や消費電力を低減することが可能となる。
パッドアレイ１２３は、例えば、第１基板１００のパッドアレイ１０３と上下方向において対応する第２基板１２０上の位置に配置される。ここで、パッドアレイ１２３に含まれるパッドのうち、ＡＤＣ１７Ａの近傍に位置するパッドは、アナログ回路（主にＡＤＣ１７Ａ）用の電源電圧やアナログ信号の伝搬に使用される。一方、コントロール部１２や信号処理部１３やＤＳＰ１４やメモリ１５Ａ及び１５Ｂの近傍に位置するパッドは、デジタル回路（主に、コントロール部１２、信号処理部１３、ＤＳＰ１４、メモリ１５Ａ及び１５Ｂ）用の電源電圧やデジタル信号の伝搬に使用される。このようなパッドレイアウトとすることで、各パッドと各部とを接続する配線上の距離を短くすることが可能となる。それにより、信号遅延の低減や信号や電源電圧の伝搬損失の低減やＳ／Ｎ比の向上や消費電力の低減が可能となる。
１．４．２ 第２のレイアウト例
次に、第２のレイアウト例について説明する。なお、第２のレイアウト例において、第１基板１００のレイアウト例は、第１のレイアウト例において図３を用いて説明したレイアウト例と同様であってよい。
図５は、第２のレイアウト例に係る第２基板のレイアウト例を示す図である。図５に示すように、第２のレイアウト例では、第１のレイアウト例と同様のレイアウトにおいて、ＤＳＰ１４が、ＤＳＰ１４とメモリ１５とを配置する領域の中央に配置されている。言い換えれば、第２のレイアウト例では、メモリ１５がＤＳＰ１４を４方向から囲むように配置されている。
このように、ＤＳＰ１４を４方向から囲むようにメモリ１５Ａ及び１５Ｂを配置することで、メモリ１５における各メモリ素子とＤＳＰ１４との配線上の距離をより平均化しつつ全体的にさらに短くすることが可能となる。それにより、ＤＳＰ１４がメモリ１５へアクセスする際の信号遅延や信号の伝搬損失や消費電力をより低減することが可能となる。
なお、図５では、ＤＳＰ１４と画素アレイ部１０１とが上下方向において重畳しないように配置されているが、これに限られず、ＤＳＰ１４の一部が画素アレイ部１０１と上下方向において重畳してもよい。そのような場合でも、全てのＤＳＰ１４が上下方向において画素アレイ部１０１と重畳する場合と比較して、画素アレイ部１０１へのノイズの入り込みを低減することが可能である。
その他のレイアウトについては、第１のレイアウト例と同様であってよいため、ここでは詳細な説明を省略する。
１．４．３ 第３のレイアウト例
次に、第３のレイアウト例について説明する。なお、第３のレイアウト例において、第１基板１００のレイアウト例は、第１のレイアウト例において図３を用いて説明したレイアウト例と同様であってよい。
図６は、第３のレイアウト例に係る第２基板のレイアウト例を示す図である。図６に示すように、第３のレイアウト例では、第１のレイアウト例と同様のレイアウトにおいて、ＤＳＰ１４が信号処理部１３に隣接して配置されている。このような構成によれば、信号処理部１３からＤＳＰ１４までの信号線を短くすることが可能となる。それにより、信号遅延の低減や信号や電源電圧の伝搬損失の低減やＳ／Ｎ比の向上や消費電力の低減が可能となる。
また、第３のレイアウト例においても、メモリ１５は、ＤＳＰ１４を３方向から囲むように配置される。それにより、ＤＳＰ１４がメモリ１５へアクセスする際の信号遅延や信号の伝搬損失や消費電力を低減することが可能となる。
なお、第３のレイアウト例では、ＤＳＰ１４の一部が画素アレイ部１０１と上下方向において重畳しているが、そのような場合でも、全てのＤＳＰ１４が上下方向において画素アレイ部１０１と重畳する場合と比較して、画素アレイ部１０１へのノイズの入り込みを低減することが可能である。
その他のレイアウトについては、他のレイアウト例と同様であってよいため、ここでは詳細な説明を省略する。
１．４．４ 第４のレイアウト例
次に、第４のレイアウト例について説明する。なお、第４のレイアウト例において、第１基板１００のレイアウト例は、第１のレイアウト例において図３を用いて説明したレイアウト例と同様であってよい。
図７は、第４のレイアウト例に係る第２基板のレイアウト例を示す図である。図７に示すように、第４のレイアウト例では、第３のレイアウト例と同様のレイアウト、すなわちＤＳＰ１４が信号処理部１３に隣接して配置されたレイアウトにおいて、ＤＳＰ１４が２つのＴＳＶアレイ１０２の両方から遠い位置に配置されている。
このように、ＤＳＰ１４を２つのＴＳＶアレイ１０２の両方から遠い位置に配置することで、ＡＤＣ１７ＡからＤＳＰ１４までを信号の流れにより忠実に配置することが可能となるため、信号処理部１３からＤＳＰ１４までの信号線をさらに短くすることが可能となる。その結果、信号遅延や信号の伝搬損失や消費電力をより低減することが可能となる。
また、第４のレイアウト例においては、メモリ１５は、ＤＳＰ１４を２方向から囲むように配置される。それにより、ＤＳＰ１４がメモリ１５へアクセスする際の信号遅延や信号の伝搬損失や消費電力を低減することが可能となる。
なお、第４のレイアウト例でも、ＤＳＰ１４の一部が画素アレイ部１０１と上下方向において重畳しているが、そのような場合でも、全てのＤＳＰ１４が上下方向において画素アレイ部１０１と重畳する場合と比較して、画素アレイ部１０１へのノイズの入り込みを低減することが可能である。
その他のレイアウトについては、他のレイアウト例と同様であってよいため、ここでは詳細な説明を省略する。
１．４．５ 第５のレイアウト例
次に、第５のレイアウト例について説明する。なお、第５のレイアウト例において、第１基板１００のレイアウト例は、第１のレイアウト例において図３を用いて説明したレイアウト例と同様であってよい。
図８は、第５のレイアウト例に係る第２基板のレイアウト例を示す図である。図８に示すように、第５のレイアウト例では、第１のレイアウト例と同様のレイアウト、すなわちＤＳＰ１４が最も下流側に配置されたレイアウトにおいて、ＤＳＰ１４が２つのＴＳＶアレイ１０２の両方から遠い位置に配置されている。
このようなレイアウトによっても、ＡＤＣ１７ＡからＤＳＰ１４までを信号の流れにより忠実に配置することが可能となるため、信号処理部１３からＤＳＰ１４までの信号線をさらに短くすることが可能となる。その結果、信号遅延や信号の伝搬損失や消費電力をより低減することが可能となる。
その他のレイアウトについては、他のレイアウト例と同様であってよいため、ここでは詳細な説明を省略する。
１．４．６ 第６のレイアウト例
次に、第６のレイアウト例について説明する。なお、第６のレイアウト例において、第１基板１００のレイアウト例は、第１のレイアウト例において図３を用いて説明したレイアウト例と同様であってよい。
図９は、第６のレイアウト例に係る第２基板のレイアウト例を示す図である。図９に示すように、第６のレイアウト例では、ＤＳＰ１４が２つの領域に分割されたメモリ１５Ｃ及び１５Ｄにより、図面中上下方向から挟まれた構成を有する。
このように、ＤＳＰ１４を挟むようにメモリ１５Ｃ及び１５Ｄを配置することで、メモリ１５における各メモリ素子とＤＳＰ１４との配線上の距離を平均化しつつ全体的に短くすることが可能となる。それにより、ＤＳＰ１４がメモリ１５へアクセスする際の信号遅延や信号の伝搬損失や消費電力をより低減することが可能となる。
その他のレイアウトについては、第１のレイアウト例と同様であってよいため、ここでは詳細な説明を省略する。
１．４．７ 第７のレイアウト例
次に、第７のレイアウト例について説明する。なお、第７のレイアウト例において、第１基板１００のレイアウト例は、第１のレイアウト例において図３を用いて説明したレイアウト例と同様であってよい。
図１０は、第７のレイアウト例に係る第２基板のレイアウト例を示す図である。図１０に示すように、第７のレイアウト例では、メモリ１５が２つの領域に分割されたＤＳＰ１４Ａ及び１４Ｂにより、図面中上下方向から挟まれた構成を有する。
このように、メモリ１５を挟むようにＤＳＰ１４Ａ及び１４Ｂを配置することで、メモリ１５における各メモリ素子とＤＳＰ１４との配線上の距離を平均化しつつ全体的に短くすることが可能となる。それにより、ＤＳＰ１４がメモリ１５へアクセスする際の信号遅延や信号の伝搬損失や消費電力をより低減することが可能となる。
その他のレイアウトについては、第１のレイアウト例と同様であってよいため、ここでは詳細な説明を省略する。
１．４．８ 第８のレイアウト例
次に、第８のレイアウト例について説明する。なお、第８のレイアウト例において、第１基板１００のレイアウト例は、第１のレイアウト例において図３を用いて説明したレイアウト例と同様であってよい。
図１１は、第８のレイアウト例に係る第２基板のレイアウト例を示す図である。図１１に示すように、第８のレイアウト例では、ＤＳＰ１４が２つの領域に分割されたメモリ１５Ｅ及び１５Ｆにより、図面中左右方向から挟まれた構成を有する。
このように、ＤＳＰ１４を挟むようにメモリ１５Ｃ及び１５Ｄを配置することで、メモリ１５における各メモリ素子とＤＳＰ１４との配線上の距離を平均化しつつ全体的に短くすることが可能となる。それにより、ＤＳＰ１４がメモリ１５へアクセスする際の信号遅延や信号の伝搬損失や消費電力をより低減することが可能となる。
その他のレイアウトについては、第１のレイアウト例と同様であってよいため、ここでは詳細な説明を省略する。
１．４．９ 第９のレイアウト例
次に、第９のレイアウト例について説明する。なお、第９のレイアウト例において、第１基板１００のレイアウト例は、第１のレイアウト例において図３を用いて説明したレイアウト例と同様であってよい。
図１２は、第９のレイアウト例に係る第２基板のレイアウト例を示す図である。図１２に示すように、第９のレイアウト例では、メモリ１５が２つの領域に分割されたＤＳＰ１４Ｃ及び１４Ｄにより、図面中左右方向から挟まれた構成を有する。
このように、メモリ１５を挟むようにＤＳＰ１４Ｃ及び１４Ｄを配置することで、メモリ１５における各メモリ素子とＤＳＰ１４との配線上の距離を平均化しつつ全体的に短くすることが可能となる。それにより、ＤＳＰ１４がメモリ１５へアクセスする際の信号遅延や信号の伝搬損失や消費電力をより低減することが可能となる。
その他のレイアウトについては、第１のレイアウト例と同様であってよいため、ここでは詳細な説明を省略する。
１．５ 作用・効果
以上のように、本実施形態によれば、第２基板１２０のＤＳＰ１４の少なくとも一部が第１基板１００と第２基板１２０との積層方向（上下方向）において画素アレイ部１０１と重畳しないように、画素アレイ部１０１とＤＳＰ１４との位置関係が調整されている。それにより、画素アレイ部１０１へのＤＳＰ１４の信号処理に起因したノイズの入り込みを低減することが可能となるため、ＤＳＰ１４を学習済みモデルに基づいた演算を実行する処理部として動作させた場合でも、品質の劣化が低減された画像を取得することが可能となる。
２．第２の実施形態
次に、第２の実施形態について、図面を参照して詳細に説明する。なお、以下の説明において、第１の実施形態と同様の構成については、同一の符号を付し、その重複する説明を省略する。
第２の実施形態に係る電子機器としての撮像装置は、例えば、第１の実施形態において図１を用いて説明した撮像装置１と同様であってよいため、ここではそれを引用して詳細な説明を省略する。
２．１ イメージセンサチップのチップ構成例
つづいて、本実施形態に係るイメージセンサのチップ構成の例について、以下に図面を参照して詳細に説明する。図１３は、本実施形態に係るイメージセンサにおける第１基板の概略構成例を示すレイアウト図である。図１４は、本実施形態に係るイメージセンサのチップ構成例を示す模式図である。
図１３及び図１４に示すように、本実施形態では、第１基板２００のサイズが第２基板１２０のサイズよりも小さい。例えば、第１基板２００のサイズは、画素アレイ部１０１のサイズに合せて縮小されている。このように、第１基板２００のサイズを縮小することで、１つの半導体ウエハからより大量の第１基板２００を作製することが可能になる。また、イメージセンサ１０のチップサイズをより小型化することも可能となる。
なお、第１基板２００と第２基板１２０との貼り合わせには、第１基板２００及び第２基板１２０をそれぞれチップに個片化した後に貼り合わせるＣｏＣ（Chip on Chip）方式や、個片化された第１基板２００をウエハ状態の第２基板１２０に貼り合わせるＣｏＷ（Chip on Wafer）方式を採用することができる。
なお、第１基板２００のレイアウトは、例えば、第１の実施形態において例示した第１基板１００における上側の部分を除いたレイアウトと同様であってよい。また、第２基板１２０のレイアウトは、例えば、第１の実施形態において例示した第２基板１２０と同様であってよい。さらに、第２基板１２０に対する第１基板２００の貼合せ場所は、第１の実施形態と同様に、画素アレイ部１０１の少なくとも一部が第２基板１２０のＤＳＰ１４と上下方向において重畳しない位置であってよい。
２．２ 作用・効果
以上のように、第１基板２００を画素アレイ部１０１のサイズに合せて縮小した場合でも、第１の実施形態と同様に、画素アレイ部１０１へのＤＳＰ１４の信号処理に起因したノイズの入り込みを低減することが可能となる。それにより、ＤＳＰ１４を学習済みモデルに基づいた演算を実行する処理部として動作させた場合でも、品質の劣化が低減された画像を取得することが可能となる。なお、他の構成（第２基板１２０のレイアウト例を含む）及び効果については、第１の実施形態と同様であってよいため、ここでは詳細な説明を省略する。
３．第３の実施形態
次に、第３の実施形態について、図面を参照して詳細に説明する。なお、以下の説明において、第１又は第２の実施形態と同様の構成については、同一の符号を付し、その重複する説明を省略する。
第３の実施形態に係る電子機器としての撮像装置は、例えば、第１の実施形態において図１を用いて説明した撮像装置１と同様であってよいため、ここではそれを引用して詳細な説明を省略する。
３．１ イメージセンサチップのチップ構成例
つづいて、本実施形態に係るイメージセンサのチップ構成の例について、以下に図面を参照して詳細に説明する。図１５は、本実施形態に係るイメージセンサにおける第１基板の概略構成例を示すレイアウト図である。図１６は、本実施形態に係るイメージセンサにおける第２基板の概略構成例を示すレイアウト図である。図１７は、本実施形態に係るイメージセンサのチップ構成例を示す模式図である。
図１５〜図１７に示すように、本実施形態では、第１基板３００のサイズが、画素アレイ部１０１のサイズに合せて縮小されている。また、本実施形態では、第２基板３２０のサイズが、第１基板３００のサイズと同程度に縮小されている。このような構成により、本実施形態では、第１基板３００の余剰領域を削減することが可能となるため、イメージセンサ１０のチップサイズがより小型化されている。
ただし、本実施形態では、第１基板３００と第２基板３２０との積層方向（以下、単に上下方向という）において、画素アレイ部１０１とＤＳＰ１４とが重畳している。そのため、場合によっては画素アレイ部１０１から読み出される画素信号にＤＳＰ１４起因のノイズが重畳されて、イメージセンサ１０で取得する画像の品質を低下させる可能性がある。
そこで本実施形態では、ＡＤＣ１７ＡとＤＳＰ１４とを離した構成とする。具体的には、例えば、ＡＤＣ１７Ａを第２基板３２０の１つの端Ｌ３２１に寄せて配置し、ＤＳＰ１４を、ＡＤＣ１７Ａが配された端Ｌ３２１とは反対側の端Ｌ３２２に寄せて配置する。
このような配置により、ＤＳＰ１４からＡＤＣ１７Ａに伝搬するノイズを低減することが可能となるため、イメージセンサ１０で取得する画像の品質の低下を抑制することが可能となる。なお、ＡＤＣ１７Ａが近接される端Ｌ３２１は、ＴＳＶアレイ１０２と接続される配線１２２が設けられた端であってよい。
また、このような配置によれば、上述した実施形態と同様に、例えば、ＴＳＶアレイ１０２と接続される配線１２２の近傍を上流側とし、画素アレイ部１０１から読み出された信号の流れに沿って、上流から順に、ＡＤＣ１７Ａと、信号処理部１３と、ＤＳＰ１４とが配置されるため、各部を接続する配線を短縮することが可能となる。それにより、伝送負荷が低減され、信号遅延の低減や消費電力の低減が可能となる。
３．２ 作用・効果
以上のように、第１基板３００と第２基板３２０と画素アレイ部１０１のサイズに合せて縮小した場合には、ＡＤＣ１７ＡとＤＳＰ１４とを離して配置することで、ＤＳＰ１４からＡＤＣ１７Ａに伝搬するノイズを低減することが可能となる。それにより、イメージセンサ１０で取得する画像の品質の低下を抑制することが可能となる。
その他の構成及び効果については、上述した実施形態と同様であってよいため、ここでは詳細な説明を省略する。
４．第４の実施形態
第４の実施形態では、上述した実施形態に係るイメージセンサ１０及び撮像装置１の具体的な構成例及びその取り付け例について説明する。なお、以下の説明では、第１の実施形態をベースとした場合を例示するが、ベースとする実施形態は第１の実施形態に限られず、他の実施形態であってもよい。また、本実施形態では、撮像装置１を車両に搭載した場合、すなわち、撮像装置１が車載カメラである場合を例示するが、撮像装置１の取り付け例は、車載に限定されず、種々の機器、装置、場所等に取り付けることが可能である。
４．１ 構成例
図１８は、本実施形態に係る撮像装置の概略構成例を示す図である。なお、図１８では、説明の簡略化のため、イメージセンサ１０における第１基板１００が省略されている。
図１８に示すように、上述した実施形態に係るイメージセンサ１０のチップは、例えば、フレキシブルケーブル４０１などの柔軟性があり変形可能な接続配線を介して、アプリケーションプロセッサ２０等が搭載された回路基板４００に接続されてよい。
その際、フレキシブルケーブル４０２の一端は、第２基板１２０におけるＡＤＣ１７Ａが近接配置された辺以外の辺、例えば、ＤＳＰ１４が近接配置された辺側に接続されてよい。これにより、ＤＳＰ１４やその近傍に配置されたメモリ１５におけるデータの出力端からフレキシブルケーブル４０２までの配線長を短くすることが可能となるため、イメージセンサ１０のチップの大型化を抑制することが可能になるとともに、この配線レイアウトの設計が容易になる。また、この配線長を短くすることで、信号遅延の抑制や信号の伝搬損失の低減や消費電力の低減等を図ることが可能となる。
４．２ 取り付け例
次に、本実施形態に係る撮像装置１の取り付け例について、幾つか例を挙げて説明する。
４．２．１ 第１例
まず、撮像装置１を車両の前方を撮像するフロントカメラとして搭載する場合の取り付け例を、第１例として説明する。図１９は、本実施形態の第１例に係る撮像装置の取り付け例を示す模式図である。
図１９に示すように、撮像装置１をフロントカメラとして車両４１０に搭載する場合、撮像装置１は、例えば、車両４１０内部のフロントガラス４１１近傍であって、ドライバＤの視界の邪魔とならない位置に配置される。
撮像装置１を車両４１０内部に取り付けた状態では、イメージセンサ１０は、例えば、第１基板１００の画素アレイ部１０１の受光面が車両４１０の略前方を向くように、車両４１０の前方方向へ略９０°傾いている。一方、イメージセンサ１０とフレキシブルケーブル４０２を介して接続された回路基板４００は、例えば、その主平面が略水平となるように設置されている。なお、回路基板４００の主平面とは、例えば、アプリケーションプロセッサ２０等の電子回路が搭載される面と平行な面であってよい。また、ここでの水平方向は、車両４１０の内部空間における水平方向であってよい。
また、イメージセンサ１０と回路基板４００とは、例えば、回路基板４００がイメージセンサ１０よりも下側に位置し、且つ、少なくとも回路基板４００の前方側の端がイメージセンサ１０の前方側の端よりも車両の前方方向へ突出するように配置されてよい。それにより、車両４１０の前方方向へ向かって傾斜しているフロントガラス４１１に対して撮像装置１をより近接して配置することが可能となるため、撮像装置１の占有スペースを低減することが可能となる。
その際、イメージセンサ１０と回路基板４００とがＬ字を形成するように、それぞれの端部を近接配置し、この近接配置された端部をフレキシブルケーブル４０２で接続することで、フレキシブルケーブル４０２の長さを短くすることが可能となる。
このような取り付け例において、例えば、フレキシブルケーブル４０２が第２基板１２０におけるＤＳＰ１４が近接配置された端に接続されている場合、イメージセンサ１０は、第２基板１２０におけるＡＤＣ１７Ａが鉛直方向上側に位置し、ＤＳＰ１４が鉛直方向下側に位置するように、設置される。また、フレキシブルケーブル４０２は、イメージセンサ１０の下方側の端と、回路基板４００の後方側の端とを接続するように取り付けられる。さらに、回路基板４００におけるアプリケーションプロセッサ２０は、例えば、イメージセンサ１０よりも車両４１０前方側に配置される。
４．２．２ 第２例
次に、撮像装置１を車両の後方を撮像するリアカメラとして搭載する場合の取り付け例を、第２例として説明する。図２０は、本実施形態の第２例に係る撮像装置の取り付け例を示す模式図である。
図２０に示すように、撮像装置１をリアカメラとして車両４１０に搭載する場合、撮像装置１は、例えば、車両４１０内部のリアガラス４１２近傍であって、ドライバＤのルームミラーを介した視界の邪魔とならない位置に配置される。
撮像装置１を車両４１０内部に取り付けた状態では、イメージセンサ１０は、例えば、第１基板１００の画素アレイ部１０１の受光面が車両４１０の略後方を向くように、車両４１０の後方方向へ略９０°傾いている。一方、イメージセンサ１０とフレキシブルケーブル４０２を介して接続された回路基板４００は、例えば、その主平面がイメージセンサ１０の受光面と略平行となるように設置されている。なお、フレキシブルケーブル４０２は、設置された状態のイメージセンサ１０及び回路基板４００の上端同士を接続してもよいし、下端同士を接続してもよいし、側端同士を接続してもよい。
ただし、このような取り付け例に限定されず、撮像装置１をリアカメラとして設置した場合でも、第１例においてフロントカメラとして設置した場合と同様に、イメージセンサ１０と回路基板４００とは、例えば、回路基板４００がイメージセンサ１０よりも下側に位置し、且つ、少なくとも回路基板４００の後方側の端がイメージセンサ１０の後方側の端よりも車両の後方方向へ突出するように配置されてもよい。それにより、車両４１０の後方方向へ向かって傾斜しているリアガラス４１２に対して撮像装置１をより近接して配置することが可能となるため、撮像装置１の占有スペースを低減することが可能となる。
４．３ 作用・効果
以上のように、本実施形態では、フレキシブルケーブル４０２の一端が、第２基板１２０におけるＡＤＣ１７Ａが近接配置された辺以外の辺、例えば、ＤＳＰ１４が近接配置された辺側に接続される。それにより、ＤＳＰ１４やその近傍に配置されたメモリ１５におけるデータの出力端からフレキシブルケーブル４０２までの配線長を短くすることが可能となるため、イメージセンサ１０のチップの大型化を抑制することが可能になるとともに、この配線レイアウトの設計が容易になる。また、この配線長を短くすることで、信号遅延の抑制や信号の伝搬損失の低減や消費電力の低減等を図ることが可能となる。
なお、イメージセンサ１０と回路基板４００とは、上述したような、フレキシブルケーブル４０２のような柔軟性があり変形可能な接続ケーブルに限られず、はんだボールやボンディングパッドや接続ピンなどの柔軟性を有しない接続用部品を用いて接続されてもよい。
その他の構成及び効果については、上述した実施形態と同様であってよいため、ここでは詳細な説明を省略する。
５．他のセンサへの適用
なお、上述した実施形態では、２次元画像を取得する固体撮像装置（イメージセンサ１０）に対して本開示に係る技術を適用した場合を例示したが、本開示に係る技術の適用先は固体撮像装置に限定されるものではない。例えば、ＴｏＦ（Time of Flight）センサや赤外線（ＩＲ）センサやＤＶＳ（Dynamic Vision Sensor）等、種々の受光センサに対して本開示に係る技術を適用することが可能である。すなわち、受光センサのチップ構造を積層型とすることで、センサ結果に含まれるノイズの低減やセンサチップの小型化等を達成することが可能である。
６．移動体への応用例
本開示に係る技術（本技術）は、様々な製品へ応用することができる。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット等のいずれかの種類の移動体に搭載される装置として実現されてもよい。
図２１は、本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システムの概略的な構成例を示すブロック図である。
車両制御システム１２０００は、通信ネットワーク１２００１を介して接続された複数の電子制御ユニットを備える。図２１に示した例では、車両制御システム１２０００は、駆動系制御ユニット１２０１０、ボディ系制御ユニット１２０２０、車外情報検出ユニット１２０３０、車内情報検出ユニット１２０４０、及び統合制御ユニット１２０５０を備える。また、統合制御ユニット１２０５０の機能構成として、マイクロコンピュータ１２０５１、音声画像出力部１２０５２、及び車載ネットワークＩ／Ｆ（Interface）１２０５３が図示されている。
駆動系制御ユニット１２０１０は、各種プログラムにしたがって車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御ユニット１２０１０は、内燃機関又は駆動用モータ等の車両の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両の舵角を調節するステアリング機構、及び、車両の制動力を発生させる制動装置等の制御装置として機能する。
ボディ系制御ユニット１２０２０は、各種プログラムにしたがって車体に装備された各種装置の動作を制御する。例えば、ボディ系制御ユニット１２０２０は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、あるいは、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー又はフォグランプ等の各種ランプの制御装置として機能する。この場合、ボディ系制御ユニット１２０２０には、鍵を代替する携帯機から発信される電波又は各種スイッチの信号が入力され得る。ボディ系制御ユニット１２０２０は、これらの電波又は信号の入力を受け付け、車両のドアロック装置、パワーウィンドウ装置、ランプ等を制御する。
車外情報検出ユニット１２０３０は、車両制御システム１２０００を搭載した車両の外部の情報を検出する。例えば、車外情報検出ユニット１２０３０には、撮像部１２０３１が接続される。車外情報検出ユニット１２０３０は、撮像部１２０３１に車外の画像を撮像させるとともに、撮像された画像を受信する。車外情報検出ユニット１２０３０は、受信した画像に基づいて、人、車、障害物、標識又は路面上の文字等の物体検出処理又は距離検出処理を行ってもよい。
撮像部１２０３１は、光を受光し、その光の受光量に応じた電気信号を出力する光センサである。撮像部１２０３１は、電気信号を画像として出力することもできるし、測距の情報として出力することもできる。また、撮像部１２０３１が受光する光は、可視光であっても良いし、赤外線等の非可視光であっても良い。
車内情報検出ユニット１２０４０は、車内の情報を検出する。車内情報検出ユニット１２０４０には、例えば、運転者の状態を検出する運転者状態検出部１２０４１が接続される。運転者状態検出部１２０４１は、例えば運転者を撮像するカメラを含み、車内情報検出ユニット１２０４０は、運転者状態検出部１２０４１から入力される検出情報に基づいて、運転者の疲労度合い又は集中度合いを算出してもよいし、運転者が居眠りをしていないかを判別してもよい。
マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０又は車内情報検出ユニット１２０４０で取得される車内外の情報に基づいて、駆動力発生装置、ステアリング機構又は制動装置の制御目標値を演算し、駆動系制御ユニット１２０１０に対して制御指令を出力することができる。例えば、マイクロコンピュータ１２０５１は、車両の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、車両の衝突警告、又は車両のレーン逸脱警告等を含むＡＤＡＳ（Advanced Driver Assistance System）の機能実現を目的とした協調制御を行うことができる。
また、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０又は車内情報検出ユニット１２０４０で取得される車両の周囲の情報に基づいて駆動力発生装置、ステアリング機構又は制動装置等を制御することにより、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。
また、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０で取得される車外の情報に基づいて、ボディ系制御ユニット１２０２０に対して制御指令を出力することができる。例えば、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０で検知した先行車又は対向車の位置に応じてヘッドランプを制御し、ハイビームをロービームに切り替える等の防眩を図ることを目的とした協調制御を行うことができる。
音声画像出力部１２０５２は、車両の搭乗者又は車外に対して、視覚的又は聴覚的に情報を通知することが可能な出力装置へ音声及び画像のうちの少なくとも一方の出力信号を送信する。図２１の例では、出力装置として、オーディオスピーカ１２０６１、表示部１２０６２及びインストルメントパネル１２０６３が例示されている。表示部１２０６２は、例えば、オンボードディスプレイ及びヘッドアップディスプレイの少なくとも一つを含んでいてもよい。
図２２は、撮像部１２０３１の設置位置の例を示す図である。
図２２では、撮像部１２０３１として、撮像部１２１０１、１２１０２、１２１０３、１２１０４、１２１０５を有する。
撮像部１２１０１、１２１０２、１２１０３、１２１０４、１２１０５は、例えば、車両１２１００のフロントノーズ、サイドミラー、リアバンパ、バックドア及び車室内のフロントガラスの上部等の位置に設けられる。フロントノーズに備えられる撮像部１２１０１及び車室内のフロントガラスの上部に備えられる撮像部１２１０５は、主として車両１２１００の前方の画像を取得する。サイドミラーに備えられる撮像部１２１０２、１２１０３は、主として車両１２１００の側方の画像を取得する。リアバンパ又はバックドアに備えられる撮像部１２１０４は、主として車両１２１００の後方の画像を取得する。車室内のフロントガラスの上部に備えられる撮像部１２１０５は、主として先行車両又は、歩行者、障害物、信号機、交通標識又は車線等の検出に用いられる。
なお、図２２には、撮像部１２１０１ないし１２１０４の撮影範囲の一例が示されている。撮像範囲１２１１１は、フロントノーズに設けられた撮像部１２１０１の撮像範囲を示し、撮像範囲１２１１２，１２１１３は、それぞれサイドミラーに設けられた撮像部１２１０２，１２１０３の撮像範囲を示し、撮像範囲１２１１４は、リアバンパ又はバックドアに設けられた撮像部１２１０４の撮像範囲を示す。例えば、撮像部１２１０１ないし１２１０４で撮像された画像データが重ね合わせられることにより、車両１２１００を上方から見た俯瞰画像が得られる。
撮像部１２１０１ないし１２１０４の少なくとも１つは、距離情報を取得する機能を有していてもよい。例えば、撮像部１２１０１ないし１２１０４の少なくとも１つは、複数の撮像素子からなるステレオカメラであってもよいし、位相差検出用の画素を有する撮像素子であってもよい。
例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４から得られた距離情報を基に、撮像範囲１２１１１ないし１２１１４内における各立体物までの距離と、この距離の時間的変化（車両１２１００に対する相対速度）を求めることにより、特に車両１２１００の進行路上にある最も近い立体物で、車両１２１００と略同じ方向に所定の速度（例えば、０km/h以上）で走行する立体物を先行車として抽出することができる。さらに、マイクロコンピュータ１２０５１は、先行車の手前に予め確保すべき車間距離を設定し、自動ブレーキ制御（追従停止制御も含む）や自動加速制御（追従発進制御も含む）等を行うことができる。このように運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。
例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４から得られた距離情報を元に、立体物に関する立体物データを、２輪車、普通車両、大型車両、歩行者、電柱等その他の立体物に分類して抽出し、障害物の自動回避に用いることができる。例えば、マイクロコンピュータ１２０５１は、車両１２１００の周辺の障害物を、車両１２１００のドライバが視認可能な障害物と視認困難な障害物とに識別する。そして、マイクロコンピュータ１２０５１は、各障害物との衝突の危険度を示す衝突リスクを判断し、衝突リスクが設定値以上で衝突可能性がある状況であるときには、オーディオスピーカ１２０６１や表示部１２０６２を介してドライバに警報を出力することや、駆動系制御ユニット１２０１０を介して強制減速や回避操舵を行うことで、衝突回避のための運転支援を行うことができる。
撮像部１２１０１ないし１２１０４の少なくとも１つは、赤外線を検出する赤外線カメラであってもよい。例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４の撮像画像中に歩行者が存在するか否かを判定することで歩行者を認識することができる。かかる歩行者の認識は、例えば赤外線カメラとしての撮像部１２１０１ないし１２１０４の撮像画像における特徴点を抽出する手順と、物体の輪郭を示す一連の特徴点にパターンマッチング処理を行って歩行者か否かを判別する手順によって行われる。マイクロコンピュータ１２０５１が、撮像部１２１０１ないし１２１０４の撮像画像中に歩行者が存在すると判定し、歩行者を認識すると、音声画像出力部１２０５２は、当該認識された歩行者に強調のための方形輪郭線を重畳表示するように、表示部１２０６２を制御する。また、音声画像出力部１２０５２は、歩行者を示すアイコン等を所望の位置に表示するように表示部１２０６２を制御してもよい。
以上、本開示に係る技術が適用され得る車両制御システムの一例について説明した。本開示に係る技術は、以上説明した構成のうち、撮像部１２０３１等に適用され得る。撮像部１２０３１等に本開示に係る技術を適用することにより、撮像部１２０３１等を小型化することが可能となるため、車両１２１００のインテリアやエクステリアの設計が容易となる。また、撮像部１２０３１等に本開示に係る技術を適用することにより、ノイズの低減されたクリアな画像を取得することが可能となるため、より見やすい撮影画像をドライバに提供することができる。それにより、ドライバの疲労を軽減することが可能になる。
７．内視鏡手術システムへの応用例
本開示に係る技術（本技術）は、様々な製品へ応用することができる。例えば、本開示に係る技術は、内視鏡手術システムに適用されてもよい。
図２３は、本開示に係る技術（本技術）が適用され得る内視鏡手術システムの概略的な構成の一例を示す図である。
図２３では、術者（医師）１１１３１が、内視鏡手術システム１１０００を用いて、患者ベッド１１１３３上の患者１１１３２に手術を行っている様子が図示されている。図示するように、内視鏡手術システム１１０００は、内視鏡１１１００と、気腹チューブ１１１１１やエネルギー処置具１１１１２等の、その他の術具１１１１０と、内視鏡１１１００を支持する支持アーム装置１１１２０と、内視鏡下手術のための各種の装置が搭載されたカート１１２００と、から構成される。
内視鏡１１１００は、先端から所定の長さの領域が患者１１１３２の体腔内に挿入される鏡筒１１１０１と、鏡筒１１１０１の基端に接続されるカメラヘッド１１１０２と、から構成される。図示する例では、硬性の鏡筒１１１０１を有するいわゆる硬性鏡として構成される内視鏡１１１００を図示しているが、内視鏡１１１００は、軟性の鏡筒を有するいわゆる軟性鏡として構成されてもよい。
鏡筒１１１０１の先端には、対物レンズが嵌め込まれた開口部が設けられている。内視鏡１１１００には光源装置１１２０３が接続されており、当該光源装置１１２０３によって生成された光が、鏡筒１１１０１の内部に延設されるライトガイドによって当該鏡筒の先端まで導光され、対物レンズを介して患者１１１３２の体腔内の観察対象に向かって照射される。なお、内視鏡１１１００は、直視鏡であってもよいし、斜視鏡又は側視鏡であってもよい。
カメラヘッド１１１０２の内部には光学系及び撮像素子が設けられており、観察対象からの反射光（観察光）は当該光学系によって当該撮像素子に集光される。当該撮像素子によって観察光が光電変換され、観察光に対応する電気信号、すなわち観察像に対応する画像信号が生成される。当該画像信号は、ＲＡＷデータとしてカメラコントロールユニット（ＣＣＵ: Camera Control Unit）１１２０１に送信される。
ＣＣＵ１１２０１は、ＣＰＵ（Central Processing Unit）やＧＰＵ（Graphics Processing Unit）等によって構成され、内視鏡１１１００及び表示装置１１２０２の動作を統括的に制御する。さらに、ＣＣＵ１１２０１は、カメラヘッド１１１０２から画像信号を受け取り、その画像信号に対して、例えば現像処理（デモザイク処理）等の、当該画像信号に基づく画像を表示するための各種の画像処理を施す。
表示装置１１２０２は、ＣＣＵ１１２０１からの制御により、当該ＣＣＵ１１２０１によって画像処理が施された画像信号に基づく画像を表示する。
光源装置１１２０３は、例えばＬＥＤ（Light Emitting Diode）等の光源から構成され、術部等を撮影する際の照射光を内視鏡１１１００に供給する。
入力装置１１２０４は、内視鏡手術システム１１０００に対する入力インタフェースである。ユーザは、入力装置１１２０４を介して、内視鏡手術システム１１０００に対して各種の情報の入力や指示入力を行うことができる。例えば、ユーザは、内視鏡１１１００による撮像条件（照射光の種類、倍率及び焦点距離等）を変更する旨の指示等を入力する。
処置具制御装置１１２０５は、組織の焼灼、切開又は血管の封止等のためのエネルギー処置具１１１１２の駆動を制御する。気腹装置１１２０６は、内視鏡１１１００による視野の確保及び術者の作業空間の確保の目的で、患者１１１３２の体腔を膨らめるために、気腹チューブ１１１１１を介して当該体腔内にガスを送り込む。レコーダ１１２０７は、手術に関する各種の情報を記録可能な装置である。プリンタ１１２０８は、手術に関する各種の情報を、テキスト、画像又はグラフ等各種の形式で印刷可能な装置である。
なお、内視鏡１１１００に術部を撮影する際の照射光を供給する光源装置１１２０３は、例えばＬＥＤ、レーザ光源又はこれらの組み合わせによって構成される白色光源から構成することができる。ＲＧＢレーザ光源の組み合わせにより白色光源が構成される場合には、各色（各波長）の出力強度及び出力タイミングを高精度に制御することができるため、光源装置１１２０３において撮像画像のホワイトバランスの調整を行うことができる。また、この場合には、ＲＧＢレーザ光源それぞれからのレーザ光を時分割で観察対象に照射し、その照射タイミングに同期してカメラヘッド１１１０２の撮像素子の駆動を制御することにより、ＲＧＢそれぞれに対応した画像を時分割で撮像することも可能である。当該方法によれば、当該撮像素子にカラーフィルタを設けなくても、カラー画像を得ることができる。
また、光源装置１１２０３は、出力する光の強度を所定の時間ごとに変更するようにその駆動が制御されてもよい。その光の強度の変更のタイミングに同期してカメラヘッド１１１０２の撮像素子の駆動を制御して時分割で画像を取得し、その画像を合成することにより、いわゆる黒つぶれ及び白とびのない高ダイナミックレンジの画像を生成することができる。
また、光源装置１１２０３は、特殊光観察に対応した所定の波長帯域の光を供給可能に構成されてもよい。特殊光観察では、例えば、体組織における光の吸収の波長依存性を利用して、通常の観察時における照射光（すなわち、白色光）に比べて狭帯域の光を照射することにより、粘膜表層の血管等の所定の組織を高コントラストで撮影する、いわゆる狭帯域光観察（Narrow Band Imaging）が行われる。あるいは、特殊光観察では、励起光を照射することにより発生する蛍光により画像を得る蛍光観察が行われてもよい。蛍光観察では、体組織に励起光を照射し当該体組織からの蛍光を観察すること（自家蛍光観察）、又はインドシアニングリーン（ＩＣＧ）等の試薬を体組織に局注するとともに当該体組織にその試薬の蛍光波長に対応した励起光を照射し蛍光像を得ること等を行うことができる。光源装置１１２０３は、このような特殊光観察に対応した狭帯域光及び／又は励起光を供給可能に構成され得る。
図２４は、図２３に示すカメラヘッド１１１０２及びＣＣＵ１１２０１の機能構成の一例を示すブロック図である。
カメラヘッド１１１０２は、レンズユニット１１４０１と、撮像部１１４０２と、駆動部１１４０３と、通信部１１４０４と、カメラヘッド制御部１１４０５と、を有する。ＣＣＵ１１２０１は、通信部１１４１１と、画像処理部１１４１２と、制御部１１４１３と、を有する。カメラヘッド１１１０２とＣＣＵ１１２０１とは、伝送ケーブル１１４００によって互いに通信可能に接続されている。
レンズユニット１１４０１は、鏡筒１１１０１との接続部に設けられる光学系である。鏡筒１１１０１の先端から取り込まれた観察光は、カメラヘッド１１１０２まで導光され、当該レンズユニット１１４０１に入射する。レンズユニット１１４０１は、ズームレンズ及びフォーカスレンズを含む複数のレンズが組み合わされて構成される。
撮像部１１４０２を構成する撮像素子は、１つ（いわゆる単板式）であってもよいし、複数（いわゆる多板式）であってもよい。撮像部１１４０２が多板式で構成される場合には、例えば各撮像素子によってＲＧＢそれぞれに対応する画像信号が生成され、それらが合成されることによりカラー画像が得られてもよい。あるいは、撮像部１１４０２は、３Ｄ（dimensional）表示に対応する右目用及び左目用の画像信号をそれぞれ取得するための１対の撮像素子を有するように構成されてもよい。３Ｄ表示が行われることにより、術者１１１３１は術部における生体組織の奥行きをより正確に把握することが可能になる。なお、撮像部１１４０２が多板式で構成される場合には、各撮像素子に対応して、レンズユニット１１４０１も複数系統設けられ得る。
また、撮像部１１４０２は、必ずしもカメラヘッド１１１０２に設けられなくてもよい。例えば、撮像部１１４０２は、鏡筒１１１０１の内部に、対物レンズの直後に設けられてもよい。
駆動部１１４０３は、アクチュエータによって構成され、カメラヘッド制御部１１４０５からの制御により、レンズユニット１１４０１のズームレンズ及びフォーカスレンズを光軸に沿って所定の距離だけ移動させる。これにより、撮像部１１４０２による撮像画像の倍率及び焦点が適宜調整され得る。
通信部１１４０４は、ＣＣＵ１１２０１との間で各種の情報を送受信するための通信装置によって構成される。通信部１１４０４は、撮像部１１４０２から得た画像信号をＲＡＷデータとして伝送ケーブル１１４００を介してＣＣＵ１１２０１に送信する。
また、通信部１１４０４は、ＣＣＵ１１２０１から、カメラヘッド１１１０２の駆動を制御するための制御信号を受信し、カメラヘッド制御部１１４０５に供給する。当該制御信号には、例えば、撮像画像のフレームレートを指定する旨の情報、撮像時の露出値を指定する旨の情報、並びに／又は撮像画像の倍率及び焦点を指定する旨の情報等、撮像条件に関する情報が含まれる。
なお、上記のフレームレートや露出値、倍率、焦点等の撮像条件は、ユーザによって適宜指定されてもよいし、取得された画像信号に基づいてＣＣＵ１１２０１の制御部１１４１３によって自動的に設定されてもよい。後者の場合には、いわゆるＡＥ（Auto Exposure）機能、ＡＦ（Auto Focus）機能及びＡＷＢ（Auto White Balance）機能が内視鏡１１１００に搭載されていることになる。
カメラヘッド制御部１１４０５は、通信部１１４０４を介して受信したＣＣＵ１１２０１からの制御信号に基づいて、カメラヘッド１１１０２の駆動を制御する。
通信部１１４１１は、カメラヘッド１１１０２との間で各種の情報を送受信するための通信装置によって構成される。通信部１１４１１は、カメラヘッド１１１０２から、伝送ケーブル１１４００を介して送信される画像信号を受信する。
また、通信部１１４１１は、カメラヘッド１１１０２に対して、カメラヘッド１１１０２の駆動を制御するための制御信号を送信する。画像信号や制御信号は、電気通信や光通信等によって送信することができる。
画像処理部１１４１２は、カメラヘッド１１１０２から送信されたＲＡＷデータである画像信号に対して各種の画像処理を施す。
制御部１１４１３は、内視鏡１１１００による術部等の撮像、及び、術部等の撮像により得られる撮像画像の表示に関する各種の制御を行う。例えば、制御部１１４１３は、カメラヘッド１１１０２の駆動を制御するための制御信号を生成する。
また、制御部１１４１３は、画像処理部１１４１２によって画像処理が施された画像信号に基づいて、術部等が映った撮像画像を表示装置１１２０２に表示させる。この際、制御部１１４１３は、各種の画像認識技術を用いて撮像画像内における各種の物体を認識してもよい。例えば、制御部１１４１３は、撮像画像に含まれる物体のエッジの形状や色等を検出することにより、鉗子等の術具、特定の生体部位、出血、エネルギー処置具１１１１２の使用時のミスト等を認識することができる。制御部１１４１３は、表示装置１１２０２に撮像画像を表示させる際に、その認識結果を用いて、各種の手術支援情報を当該術部の画像に重畳表示させてもよい。手術支援情報が重畳表示され、術者１１１３１に提示されることにより、術者１１１３１の負担を軽減することや、術者１１１３１が確実に手術を進めることが可能になる。
カメラヘッド１１１０２及びＣＣＵ１１２０１を接続する伝送ケーブル１１４００は、電気信号の通信に対応した電気信号ケーブル、光通信に対応した光ファイバ、又はこれらの複合ケーブルである。
ここで、図示する例では、伝送ケーブル１１４００を用いて有線で通信が行われていたが、カメラヘッド１１１０２とＣＣＵ１１２０１との間の通信は無線で行われてもよい。
以上、本開示に係る技術が適用され得る内視鏡手術システムの一例について説明した。本開示に係る技術は、以上説明した構成のうち、例えば、カメラヘッド１１１０２の撮像部１１４０２等に適用され得る。カメラヘッド１１１０２に本開示に係る技術を適用することにより、カメラヘッド１１１０２等を小型化することが可能となるため、内視鏡手術システム１１０００をコンパクト化が可能となる。また、カメラヘッド１１１０２等に本開示に係る技術を適用することにより、ノイズの低減されたクリアな画像を取得することが可能となるため、より見やすい撮影画像を術者に提供することができる。それにより、術者の疲労を軽減することが可能になる。
なお、ここでは、一例として内視鏡手術システムについて説明したが、本開示に係る技術は、その他、例えば、顕微鏡手術システム等に適用されてもよい。
８．ＷＳＩ（Whole Slide Imaging）システムへの応用例
本開示に係る技術は、様々な製品へ応用することができる。例えば、本開示に係る技術は、医師等が患者から採取された細胞や組織を観察して病変を診断する病理診断システムやその支援システム等（以下、診断支援システムと称する）に適用されてもよい。この診断支援システムは、デジタルパソロジー技術を利用して取得された画像に基づいて病変を診断又はその支援をするＷＳＩ（Whole Slide Imaging）システムであってもよい。
図２５は、本開示に係る技術が適用される診断支援システム５５００の概略的な構成の一例を示す図である。図２５に示すように、診断支援システム５５００は、１以上の病理システム５５１０を含む。さらに医療情報システム５５３０と、導出装置５５４０とを含んでもよい。
１以上の病理システム５５１０それぞれは、主に病理医が使用するシステムであり、例えば研究所や病院に導入される。各病理システム５５１０は、互いに異なる病院に導入されてもよく、それぞれＷＡＮ（Wide Area Network）（インターネットを含む）やＬＡＮ（Local Area Network）や公衆回線網や移動体通信網などの種々のネットワークを介して医療情報システム５５３０及び導出装置５５４０に接続される。
各病理システム５５１０は、顕微鏡５５１１と、サーバ５５１２と、表示制御装置５５１３と、表示装置５５１４とを含む。
顕微鏡５５１１は、光学顕微鏡の機能を有し、ガラススライドに収められた観察対象物を撮像し、デジタル画像である病理画像を取得する。観察対象物とは、例えば、患者から採取された組織や細胞であり、臓器の肉片、唾液、血液等であってよい。
サーバ５５１２は、顕微鏡５５１１によって取得された病理画像を図示しない記憶部に記憶、保存する。また、サーバ５５１２は、表示制御装置５５１３から閲覧要求を受け付けた場合に、図示しない記憶部から病理画像を検索し、検索された病理画像を表示制御装置５５１３に送る。
表示制御装置５５１３は、ユーザから受け付けた病理画像の閲覧要求をサーバ５５１２に送る。そして、表示制御装置５５１３は、サーバ５５１２から受け付けた病理画像を、液晶、ＥＬ（Electro-Luminescence）、ＣＲＴ（Cathode Ray Tube）などを用いた表示装置５５１４に表示させる。なお、表示装置５５１４は、４Ｋや８Ｋに対応していてもよく、また、１台に限られず、複数台であってもよい。
ここで、観察対象物が臓器の肉片等の固形物である場合、この観察対象物は、例えば、染色された薄切片であってよい。薄切片は、例えば、臓器等の検体から切出されたブロック片を薄切りすることで作製されてもよい。また、薄切りの際には、ブロック片がパラフィン等で固定されてもよい。
薄切片の染色には、ＨＥ（Hematoxylin-Eosin）染色などの組織の形態を示す一般染色や、ＩＨＣ（Immunohistochemistry）染色などの組織の免疫状態を示す免疫染色など、種々の染色が適用されてよい。その際、１つの薄切片が複数の異なる試薬を用いて染色されてもよいし、同じブロック片から連続して切り出された２以上の薄切片（隣接する薄切片ともいう）が互いに異なる試薬を用いて染色されてもよい。
顕微鏡５５１１は、低解像度で撮像するための低解像度撮像部と、高解像度で撮像するための高解像度撮像部とを含み得る。低解像度撮像部と高解像度撮像部とは、異なる光学系であってもよいし、同一の光学系であってもよい。同一の光学系である場合には、顕微鏡５５１１は、撮像対象に応じて解像度が変更されてもよい。
観察対象物が収容されたガラススライドは、顕微鏡５５１１の画角内に位置するステージ上に載置される。顕微鏡５５１１は、まず、低解像度撮像部を用いて画角内の全体画像を取得し、取得した全体画像から観察対象物の領域を特定する。続いて、顕微鏡５５１１は、観察対象物が存在する領域を所定サイズの複数の分割領域に分割し、各分割領域を高解像度撮像部により順次撮像することで、各分割領域の高解像度画像を取得する。対象とする分割領域の切替えでは、ステージを移動させてもよいし、撮像光学系を移動させてもよいし、それら両方を移動させてもよい。また、各分割領域は、ガラススライドの意図しない滑りによる撮像漏れ領域の発生等を防止するために、隣接する分割領域との間で重複していてもよい。さらに、全体画像には、全体画像と患者とを対応付けておくための識別情報が含まれていてもよい。この識別情報は、例えば、文字列やＱＲコード（登録商標）等であってよい。
顕微鏡５５１１で取得された高解像度画像は、サーバ５５１２に入力される。サーバ５５１２は、各高解像度画像をより小さいサイズの部分画像（以下、タイル画像と称する）に分割する。例えば、サーバ５５１２は、１つの高解像度画像を縦横１０×１０個の計１００個のタイル画像に分割する。その際、隣接する分割領域が重複していれば、サーバ５５１２は、テンプレートマッチング等の技法を用いて互いに隣り合う高解像度画像にスティッチング処理を施してもよい。その場合、サーバ５５１２は、スティッチング処理により貼り合わされた高解像度画像全体を分割してタイル画像を生成してもよい。ただし、高解像度画像からのタイル画像の生成は、上記スティッチング処理の前であってもよい。
また、サーバ５５１２は、タイル画像をさらに分割することで、より小さいサイズのタイル画像を生成し得る。このようなタイル画像の生成は、最小単位として設定されたサイズのタイル画像が生成されるまで繰り返されてよい。
このように最小単位のタイル画像を生成すると、サーバ５５１２は、隣り合う所定数のタイル画像を合成することで１つのタイル画像を生成するタイル合成処理を、全てのタイル画像に対して実行する。このタイル合成処理は、最終的に１つのタイル画像が生成されるまで繰り返され得る。このような処理により、各階層が１つ以上のタイル画像で構成されたピラミッド構造のタイル画像群が生成される。このピラミッド構造では、ある層のタイル画像とこの層とは異なる層のタイル画像との画素数は同じであるが、その解像度が異なっている。例えば、２×２個の計４つのタイル画像を合成して上層の１つのタイル画像を生成する場合、上層のタイル画像の解像度は、合成に用いた下層のタイル画像の解像度の１／２倍となっている。
このようなピラミッド構造のタイル画像群を構築することによって、表示対象のタイル画像が属する階層次第で、表示装置に表示される観察対象物の詳細度を切り替えることが可能となる。例えば、最下層のタイル画像が用いられる場合には、観察対象物の狭い領域を詳細に表示し、上層のタイル画像が用いられるほど観察対象物の広い領域が粗く表示されるようにすることができる。
生成されたピラミッド構造のタイル画像群は、例えば、各タイル画像を一意に識別可能な識別情報（タイル識別情報と称する）とともに、不図示の記憶部に記憶される。サーバ５５１２は、他の装置（例えば、表示制御装置５５１３や導出装置５５４０）からタイル識別情報を含むタイル画像の取得要求を受け付けた場合に、タイル識別情報に対応するタイル画像を他の装置へ送信する。
なお、病理画像であるタイル画像は、焦点距離や染色条件等の撮像条件毎に生成されてもよい。撮像条件毎にタイル画像が生成される場合、特定の病理画像とともに、特定の撮像条件と異なる撮像条件に対応する他の病理画像であって、特定の病理画像と同一領域の他の病理画像を並べて表示してもよい。特定の撮像条件は、閲覧者によって指定されてもよい。また、閲覧者に複数の撮像条件が指定された場合には、各撮像条件に対応する同一領域の病理画像が並べて表示されてもよい。
また、サーバ５５１２は、ピラミッド構造のタイル画像群をサーバ５５１２以外の他の記憶装置、例えば、クラウドサーバ等に記憶してもよい。さらに、以上のようなタイル画像の生成処理の一部又は全部は、クラウドサーバ等で実行されてもよい。
表示制御装置５５１３は、ユーザからの入力操作に応じて、ピラミッド構造のタイル画像群から所望のタイル画像を抽出し、これを表示装置５５１４に出力する。このような処理により、ユーザは、観察倍率を変えながら観察対象物を観察しているような感覚を得ることができる。すなわち、表示制御装置５５１３は仮想顕微鏡として機能する。ここでの仮想的な観察倍率は、実際には解像度に相当する。
なお、高解像度画像の撮像方法は、どの様な方法を用いてもよい。ステージの停止、移動を繰り返しながら分割領域を撮像して高解像度画像を取得してもよいし、所定の速度でステージを移動しながら分割領域を撮像してストリップ上の高解像度画像を取得してもよい。また、高解像度画像からタイル画像を生成する処理は必須の構成ではなく、スティッチング処理により貼り合わされた高解像度画像全体の解像度を段階的に変化させることで、解像度が段階的に変化する画像を生成してもよい。この場合でも、広いエリア域の低解像度画像から狭いエリアの高解像度画像までを段階的にユーザに提示することが可能である。
医療情報システム５５３０は、いわゆる電子カルテシステムであり、患者を識別する情報、患者の疾患情報、診断に用いた検査情報や画像情報、診断結果、処方薬などの診断に関する情報を記憶する。例えば、ある患者の観察対象物を撮像することで得られる病理画像は、一旦、サーバ５５１２を介して保存された後、表示制御装置５５１３によって表示装置５５１４に表示され得る。病理システム５５１０を利用する病理医は、表示装置５５１４に表示された病理画像に基づいて病理診断を行う。病理医によって行われた病理診断結果は、医療情報システム５５３０に記憶される。
導出装置５５４０は、病理画像に対する解析を実行し得る。この解析には、機械学習によって作成された学習モデルを用いることができる。導出装置５５４０は、当該解析結果として、特定領域の分類結果や組織の識別結果等を導出してもよい。さらに、導出装置５５４０は、細胞情報、数、位置、輝度情報等の識別結果やそれらに対するスコアリング情報等を導出してもよい。導出装置５５４０によって導出されたこれらの情報は、診断支援情報として、病理システム５５１０の表示装置５５１４に表示されてもよい。
なお、導出装置５５４０は、１台以上のサーバ（クラウドサーバを含む）等で構成されたサーバシステムであってもよい。また、導出装置５５４０は、病理システム５５１０内の例えば表示制御装置５５１３又はサーバ５５１２に組み込まれた構成であってもよい。すなわち、病理画像に対する各種解析は、病理システム５５１０内で実行されてもよい。
本開示に係る技術は、以上説明した構成のうち、例えば、顕微鏡５５１１に好適に適用され得る。具体的には、顕微鏡５５１１における低解像度撮像部及び／又は高解像度撮像部に本開示に係る技術を適用することができる。本開示に係る技術を低解像度撮像部及び／又は高解像度撮像部に適用することで、低解像度撮像部及び／又は高解像度撮像部の小型化、強いては、顕微鏡５５１１の小型化が可能となる。それにより、顕微鏡５５１１の運搬が容易となるため、システム導入やシステム組換え等を容易化することが可能となる。さらに、本開示に係る技術を低解像度撮像部及び／又は高解像度撮像部に適用することで、病理画像の取得から病理画像の解析までの処理の一部又は全部を顕微鏡５５１１内においてオンザフライで実行可能となるため、より迅速且つ的確な診断支援情報の出力も可能となる。
なお、上記で説明した構成は、診断支援システムに限らず、共焦点顕微鏡や蛍光顕微鏡、ビデオ顕微鏡等の生物顕微鏡全般にも適用され得る。ここで、観察対象物は、培養細胞や受精卵、精子等の生体試料、細胞シート、三次元細胞組織等の生体材料、ゼブラフィッシュやマウス等の生体であってもよい。また、観察対象物は、ガラススライドに限らず、ウェルプレートやシャーレ等に格納された状態で観察されることもできる。
さらに、顕微鏡を利用して取得した観察対象物の静止画像から動画像が生成されてもよい。例えば、所定期間連続的に撮像した静止画像から動画像を生成してもよいし、所定の間隔を空けて撮像した静止画像から画像シーケンスを生成してもよい。このように、静止画像から動画像を生成することで、がん細胞や神経細胞、心筋組織、精子等の拍動や伸長、遊走等の動きや培養細胞や受精卵の分裂過程など、観察対象物の動的な特徴を機械学習を用いて解析することが可能となる。
以上、本開示の実施形態について説明したが、本開示の技術的範囲は、上述の各実施形態そのままに限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。また、異なる実施形態及び変形例にわたる構成要素を適宜組み合わせてもよい。
また、本明細書に記載された各実施形態における効果はあくまで例示であって限定されるものでは無く、他の効果があってもよい。
さらに、上述した各実施形態は、それぞれ単独で使用されてもよいし、他の実施形態と組み合わせて使用されてもよい。
なお、本技術は以下のような構成も取ることができる。
（１）
第１基板と、
前記第１基板に貼り合わされた第２基板と、
前記第２基板に取り付けられた接続配線と、
を備え、
前記第１基板は、複数の単位画素が２次元マトリクス状に配列された画素アレイ部を備え、
前記第２基板は、
前記画素アレイ部から出力されるアナログの画素信号をデジタルの画像データへ変換する変換器と、
前記画像データに基づくデータに対して処理を実行する処理部と、
を備え、
前記変換器の少なくとも一部は、前記第２基板における第１辺側に配置され、
前記処理部は、前記第２基板における前記第１辺とは反対の第２辺側に配置され、
前記接続配線は、前記第２基板における前記第２辺以外の辺に取り付けられる
積層型受光センサ。
（２）
前記接続配線は、フレキシブルケーブルである前記（１）に記載の積層型受光センサ。
（３）
前記処理部は、前記画像データにもと付くデータに対してニューラルネットワーク計算モデルに基づく前記処理を実行する前記（１）又は（２）に記載の積層型受光センサ。
（４）
固体撮像装置と、情報処理装置が搭載された回路基板と、前記固体撮像装置と前記回路基板とを接続する接続配線とを備える車載撮像装置であって、
前記固体撮像装置は、
第１基板と、
前記第１基板に貼り合わされた第２基板と、
を備え、
前記第１基板は、複数の単位画素が２次元マトリクス状に配列された画素アレイ部を備え、
前記第２基板は、
前記画素アレイ部から出力されるアナログの画素信号をデジタルの画像データへ変換する変換器と、
前記画像データに基づくデータに対して処理を実行する処理部と、
を備え、
前記変換器の少なくとも一部は、前記第２基板における第１辺側に配置され、
前記処理部は、前記第２基板における前記第１辺とは反対の第２辺側に配置され、
前記接続配線は、前記第２基板における前記第２辺以外の辺に取り付けられるとともに、前記回路基板の第３辺に取り付けられ、
前記固体撮像装置は、前記画素アレイ部の受光面が車両の前方方向を向き且つ前記第１辺が鉛直方向下側に位置するように、前記車両内に設置され、
前記回路基板は、少なくとも前記回路基板における前記車両の前方側の端が前記固体撮像装置の前記車両の前方側の端よりも前記車両の前記前方方向へ突出し且つ主平面が水平面と平行又は略平行となるように設置される
車載撮像装置。
（５）
前記接続配線の一方の端は、前記固体撮像装置の前記第２基板における前記鉛直方向下側の前記辺に取り付けられ、
前記接続配線の他方の端は、前記回路基板における前記車両の後方側の端に取り付けられる
前記（４）に記載の車載撮像装置。
（６）
前記情報処理装置は、前記固体撮像装置よりも前記車両の前方側に位置する前記（４）又は（５）に記載の車載撮像装置。
（７）
固体撮像装置と、情報処理装置が搭載された回路基板と、前記固体撮像装置と前記回路基板とを接続する接続配線とを備える車載撮像装置であって、
前記固体撮像装置は、
第１基板と、
前記第１基板に貼り合わされた第２基板と、
を備え、
前記第１基板は、複数の単位画素が２次元マトリクス状に配列された画素アレイ部を備え、
前記第２基板は、
前記画素アレイ部から出力されるアナログの画素信号をデジタルの画像データへ変換する変換器と、
前記画像データに基づくデータに対して処理を実行する処理部と、
を備え、
前記変換器の少なくとも一部は、前記第２基板における第１辺側に配置され、
前記処理部は、前記第２基板における前記第１辺とは反対の第２辺側に配置され、
前記接続配線は、前記第２基板における前記第２辺以外の辺に取り付けられるとともに、前記回路基板の第３辺に取り付けられ、
前記固体撮像装置は、前記画素アレイ部の受光面が車両の後方方向を向くように、前記車両内に設置される
車載撮像装置。
（８）
前記回路基板は、前記固体撮像装置における前記受光面と反対側の面側に位置するように、前記車両内に設置される、前記（７）に記載の車載撮像装置。
１ 撮像装置
１０ イメージセンサ
１１ 撮像部
１２ コントロール部
１３ 信号処理部
１４、１４Ａ、１４Ｂ、１４Ｃ、１４Ｄ ＤＳＰ（機械学習部）
１４ａ 接続部
１５、１５Ａ、１５Ｂ、１５Ｃ、１５Ｄ、１５Ｅ、１５Ｆ メモリ
１６ セレクタ
１７、１７Ａ ＡＤＣ
１７Ｂ ＤＡＣ
２０ アプリケーションプロセッサ
３０ クラウドサーバ
４０ ネットワーク
１００、２００、３００ 第１基板
１０１ 画素アレイ部
１０１ａ 単位画素
１０２ ＴＳＶアレイ
１０３ パッドアレイ
１０４ 光学系
１２０、３２０ 第２基板
４００ 回路基板
４０２ フレキシブルケーブル
４１０ 車両
４１１ フロントガラス
４１２ リアガラス
Ｌ１０１〜Ｌ１０４ 辺
Ｏ１００ 第１基板の中心
Ｏ１０１ 画素アレイ部の中心

Claims (8)

  1. 第１基板と、
    前記第１基板に貼り合わされた第２基板と、
    前記第２基板に取り付けられた接続配線と、
    を備え、
    前記第１基板は、複数の単位画素が２次元マトリクス状に配列された画素アレイ部を備え、
    前記第２基板は、
    前記画素アレイ部から出力されるアナログの画素信号をデジタルの画像データへ変換する変換器と、
    前記画像データに基づくデータに対して処理を実行する処理部と、
    を備え、
    前記変換器の少なくとも一部は、前記第２基板における第１辺側に配置され、
    前記処理部は、前記第２基板における前記第１辺とは反対の第２辺側に配置され、
    前記接続配線は、前記第２基板における前記第２辺以外の辺に取り付けられる
    積層型受光センサ。
  2. 前記接続配線は、フレキシブルケーブルである請求項１に記載の積層型受光センサ。
  3. 前記処理部は、前記画像データにもと付くデータに対してニューラルネットワーク計算モデルに基づく前記処理を実行する請求項１に記載の積層型受光センサ。
  4. 固体撮像装置と、情報処理装置が搭載された回路基板と、前記固体撮像装置と前記回路基板とを接続する接続配線とを備える車載撮像装置であって、
    前記固体撮像装置は、
    第１基板と、
    前記第１基板に貼り合わされた第２基板と、
    を備え、
    前記第１基板は、複数の単位画素が２次元マトリクス状に配列された画素アレイ部を備え、
    前記第２基板は、
    前記画素アレイ部から出力されるアナログの画素信号をデジタルの画像データへ変換する変換器と、
    前記画像データに基づくデータに対して処理を実行する処理部と、
    を備え、
    前記変換器の少なくとも一部は、前記第２基板における第１辺側に配置され、
    前記処理部は、前記第２基板における前記第１辺とは反対の第２辺側に配置され、
    前記接続配線は、前記第２基板における前記第２辺以外の辺に取り付けられるとともに、前記回路基板の第３辺に取り付けられ、
    前記固体撮像装置は、前記画素アレイ部の受光面が車両の前方方向を向き且つ前記第１辺が鉛直方向下側に位置するように、前記車両内に設置され、
    前記回路基板は、少なくとも前記回路基板における前記車両の前方側の端が前記固体撮像装置の前記車両の前方側の端よりも前記車両の前記前方方向へ突出し且つ主平面が水平面と平行又は略平行となるように設置される
    車載撮像装置。
  5. 前記接続配線の一方の端は、前記固体撮像装置の前記第２基板における前記鉛直方向下側の前記辺に取り付けられ、
    前記接続配線の他方の端は、前記回路基板における前記車両の後方側の端に取り付けられる
    請求項４に記載の車載撮像装置。
  6. 前記情報処理装置は、前記固体撮像装置よりも前記車両の前方側に位置する請求項４に記載の車載撮像装置。
  7. 固体撮像装置と、情報処理装置が搭載された回路基板と、前記固体撮像装置と前記回路基板とを接続する接続配線とを備える車載撮像装置であって、
    前記固体撮像装置は、
    第１基板と、
    前記第１基板に貼り合わされた第２基板と、
    を備え、
    前記第１基板は、複数の単位画素が２次元マトリクス状に配列された画素アレイ部を備え、
    前記第２基板は、
    前記画素アレイ部から出力されるアナログの画素信号をデジタルの画像データへ変換する変換器と、
    前記画像データに基づくデータに対して処理を実行する処理部と、
    を備え、
    前記変換器の少なくとも一部は、前記第２基板における第１辺側に配置され、
    前記処理部は、前記第２基板における前記第１辺とは反対の第２辺側に配置され、
    前記接続配線は、前記第２基板における前記第２辺以外の辺に取り付けられるとともに、前記回路基板の第３辺に取り付けられ、
    前記固体撮像装置は、前記画素アレイ部の受光面が車両の後方方向を向くように、前記車両内に設置される
    車載撮像装置。
  8. 前記回路基板は、前記固体撮像装置における前記受光面と反対側の面側に位置するように、前記車両内に設置される、請求項７に記載の車載撮像装置。
JP2019139481A 2018-07-31 2019-07-30 積層型受光センサ及び車載撮像装置 Active JP6705044B2 (ja)

Priority Applications (6)

Application Number Priority Date Filing Date Title
PCT/JP2019/030093 WO2020027230A1 (ja) 2018-07-31 2019-07-31 積層型受光センサ及び車載撮像装置
EP19844089.3A EP3833006B1 (en) 2018-07-31 2019-07-31 Layered type light-receiving sensor, and on-vehicle imaging device
CN201980049008.8A CN112470461B (zh) 2018-07-31 2019-07-31 层叠型受光传感器以及车载摄像装置
KR1020217001352A KR102797317B1 (ko) 2018-07-31 2019-07-31 적층형 수광 센서 및 차량 탑재 촬상 장치
US17/262,691 US20210168318A1 (en) 2018-07-31 2019-07-31 Stacked light-receiving sensor and electronic device
US18/363,332 US12446350B2 (en) 2018-07-31 2023-08-01 Stacked light-receiving sensor and in-vehicle imaging device

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018143973 2018-07-31
JP2018143973 2018-07-31

Publications (2)

Publication Number Publication Date
JP2020025264A true JP2020025264A (ja) 2020-02-13
JP6705044B2 JP6705044B2 (ja) 2020-06-03

Family

ID=69619053

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2019139439A Active JP6689437B2 (ja) 2018-07-31 2019-07-30 積層型受光センサ及び電子機器
JP2019139481A Active JP6705044B2 (ja) 2018-07-31 2019-07-30 積層型受光センサ及び車載撮像装置

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2019139439A Active JP6689437B2 (ja) 2018-07-31 2019-07-30 積層型受光センサ及び電子機器

Country Status (6)

Country Link
US (2) US11735614B2 (ja)
EP (2) EP3833007B1 (ja)
JP (2) JP6689437B2 (ja)
KR (2) KR102899656B1 (ja)
CN (2) CN112470462B (ja)
TW (1) TWI846718B (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2021166584A1 (ja) * 2020-02-18 2021-08-26
WO2022050134A1 (ja) * 2020-09-07 2022-03-10 ソニーセミコンダクタソリューションズ株式会社 固体撮像装置及び電子機器
JP2022119379A (ja) * 2021-02-04 2022-08-17 キヤノン株式会社 光電変換装置
JP2022119376A (ja) * 2021-02-04 2022-08-17 キヤノン株式会社 光電変換装置、光電変換システム、移動体、半導体基板
JP2022119382A (ja) * 2021-02-04 2022-08-17 キヤノン株式会社 光電変換装置、光電変換システム、移動体
US11849238B2 (en) 2021-02-04 2023-12-19 Canon Kabushiki Kaisha Photoelectric conversion apparatus, photoelectric conversion system, moving body

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020027230A1 (ja) 2018-07-31 2020-02-06 ソニーセミコンダクタソリューションズ株式会社 積層型受光センサ及び車載撮像装置
JP7402606B2 (ja) * 2018-10-31 2023-12-21 ソニーセミコンダクタソリューションズ株式会社 固体撮像装置及び電子機器
JP2022119375A (ja) * 2021-02-04 2022-08-17 キヤノン株式会社 光電変換装置
JP2022119383A (ja) * 2021-02-04 2022-08-17 キヤノン株式会社 光電変換装置、光電変換システム、半導体基板
JP2022119377A (ja) * 2021-02-04 2022-08-17 キヤノン株式会社 光電変換装置、光電変換システム、移動体、半導体基板
JP7654415B2 (ja) 2021-02-04 2025-04-01 キヤノン株式会社 光電変換装置、機器
JP7676158B2 (ja) * 2021-02-04 2025-05-14 キヤノン株式会社 光電変換装置、光電変換システム
WO2022172733A1 (ja) * 2021-02-12 2022-08-18 ソニーグループ株式会社 医療用観察装置、観察装置、観察方法及びアダプタ
CN115241215B (zh) * 2021-04-22 2025-10-31 联合微电子中心有限责任公司 图像传感器和半导体封装
WO2022239495A1 (ja) * 2021-05-14 2022-11-17 ソニーグループ株式会社 生体組織観察システム、生体組織観察装置及び生体組織観察方法
US11706546B2 (en) * 2021-06-01 2023-07-18 Sony Semiconductor Solutions Corporation Image sensor with integrated single object class detection deep neural network (DNN)
US20240246241A1 (en) * 2021-06-03 2024-07-25 Sony Group Corporation Information processing apparatus, information processing system, and information processing method
US20240285157A1 (en) * 2021-06-30 2024-08-29 Sony Group Corporation Medical observation system, information processing apparatus, and information processing method
US20230061830A1 (en) * 2021-09-02 2023-03-02 Canoo Technologies Inc. Metamorphic labeling using aligned sensor data
KR102756864B1 (ko) * 2021-11-09 2025-01-21 삼성전자주식회사 이미지 센서 및 이미지 센싱 방법
WO2023132002A1 (ja) * 2022-01-05 2023-07-13 キヤノン株式会社 光電変換装置、光電変換システム、移動体
CN118891886A (zh) 2022-03-24 2024-11-01 索尼集团公司 传感器装置、传感器控制系统及控制方法
JPWO2023218936A1 (ja) * 2022-05-10 2023-11-16
US11960985B2 (en) * 2022-09-08 2024-04-16 Micron Technology, Inc. Artificial neural network computation using integrated circuit devices having analog inference capability
WO2025117643A1 (en) * 2023-11-27 2025-06-05 General Electric Company Acoustic wave sensor system for a propulsion system
DE102024205905A1 (de) * 2024-06-25 2026-01-08 Aumovio Autonomous Mobility Germany Gmbh Verfahren zum Betrieb wenigstens einer Kamera eines Fahrzeugs, Kamerasystem und Fahrzeug

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016218900A (ja) * 2015-05-25 2016-12-22 株式会社オプトエレクトロニクス 撮像装置及び光学的情報読取装置
JP2017118445A (ja) * 2015-12-25 2017-06-29 日本電産エレシス株式会社 車載カメラ
JP2018074445A (ja) * 2016-10-31 2018-05-10 ソニーセミコンダクタソリューションズ株式会社 固体撮像装置およびその信号処理方法、並びに電子機器
JP2018107759A (ja) * 2016-12-28 2018-07-05 ソニーセミコンダクタソリューションズ株式会社 画像処理装置、画像処理方法、及び画像処理システム

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1234234C (zh) * 2002-09-30 2005-12-28 松下电器产业株式会社 固体摄像器件及使用该固体摄像器件的设备
JP5272773B2 (ja) * 2009-02-12 2013-08-28 ソニー株式会社 画像処理装置、画像処理方法およびプログラム
US9142262B2 (en) * 2009-10-23 2015-09-22 Rambus Inc. Stacked semiconductor device
JP5685898B2 (ja) 2010-01-08 2015-03-18 ソニー株式会社 半導体装置、固体撮像装置、およびカメラシステム
JP5954336B2 (ja) * 2011-12-13 2016-07-20 ソニー株式会社 画像処理装置、画像処理方法、及び記録媒体
US9343497B2 (en) * 2012-09-20 2016-05-17 Semiconductor Components Industries, Llc Imagers with stacked integrated circuit dies
DE102013102819A1 (de) 2013-03-19 2014-09-25 Conti Temic Microelectronic Gmbh Kameramodul sowie Verfahren zur Herstellung
US20150296158A1 (en) 2014-04-10 2015-10-15 Forza Silicon Corporation Reconfigurable CMOS Image Sensor
TWI648986B (zh) * 2014-04-15 2019-01-21 Sony Corporation 攝像元件、電子機器
JP2015227115A (ja) * 2014-05-30 2015-12-17 日本電産コパル株式会社 車載カメラ制御装置
US9621769B2 (en) 2014-06-11 2017-04-11 Magna Electronics Inc. Camera module for vehicle vision system
KR101663508B1 (ko) * 2014-11-10 2016-10-07 엘지전자 주식회사 차량의 집약형 오버헤드 콘솔 조립체
US9508681B2 (en) * 2014-12-22 2016-11-29 Google Inc. Stacked semiconductor chip RGBZ sensor
JP6295983B2 (ja) 2015-03-05 2018-03-20 ソニー株式会社 半導体装置およびその製造方法、並びに電子機器
JP2016195301A (ja) * 2015-03-31 2016-11-17 パナソニックＩｐマネジメント株式会社 画像処理装置、および、電子ミラーシステム
JP2018007035A (ja) * 2016-07-01 2018-01-11 ソニーセミコンダクタソリューションズ株式会社 固体撮像素子、撮像装置、および、固体撮像素子の制御方法
US10795024B2 (en) * 2016-09-16 2020-10-06 Sony Semiconductor Solutions Corporation Imaging device and electronic device
JP2018051809A (ja) 2016-09-26 2018-04-05 セイコーエプソン株式会社 液体吐出装置、駆動回路および駆動方法
KR102707595B1 (ko) * 2016-12-01 2024-09-19 삼성전자주식회사 눈 검출 방법 및 장치
US10522061B2 (en) * 2017-03-22 2019-12-31 Solera Holdings, Inc. Vehicle smart mirror system with heads-up display
KR101916347B1 (ko) * 2017-10-13 2018-11-08 주식회사 수아랩 딥러닝 기반 이미지 비교 장치, 방법 및 컴퓨터 판독가능매체에 저장된 컴퓨터 프로그램
TWI666941B (zh) * 2018-03-27 2019-07-21 緯創資通股份有限公司 多層次狀態偵測系統與方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016218900A (ja) * 2015-05-25 2016-12-22 株式会社オプトエレクトロニクス 撮像装置及び光学的情報読取装置
JP2017118445A (ja) * 2015-12-25 2017-06-29 日本電産エレシス株式会社 車載カメラ
JP2018074445A (ja) * 2016-10-31 2018-05-10 ソニーセミコンダクタソリューションズ株式会社 固体撮像装置およびその信号処理方法、並びに電子機器
JP2018107759A (ja) * 2016-12-28 2018-07-05 ソニーセミコンダクタソリューションズ株式会社 画像処理装置、画像処理方法、及び画像処理システム

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2021166584A1 (ja) * 2020-02-18 2021-08-26
US12243900B2 (en) 2020-02-18 2025-03-04 Nuvoton Technology Corporation Japan Solid-state imaging apparatus and imaging apparatus including the same
JP7660551B2 (ja) 2020-02-18 2025-04-11 ヌヴォトンテクノロジージャパン株式会社 固体撮像装置、及びそれを用いる撮像装置
WO2022050134A1 (ja) * 2020-09-07 2022-03-10 ソニーセミコンダクタソリューションズ株式会社 固体撮像装置及び電子機器
JP2022119379A (ja) * 2021-02-04 2022-08-17 キヤノン株式会社 光電変換装置
JP2022119376A (ja) * 2021-02-04 2022-08-17 キヤノン株式会社 光電変換装置、光電変換システム、移動体、半導体基板
JP2022119382A (ja) * 2021-02-04 2022-08-17 キヤノン株式会社 光電変換装置、光電変換システム、移動体
US11849238B2 (en) 2021-02-04 2023-12-19 Canon Kabushiki Kaisha Photoelectric conversion apparatus, photoelectric conversion system, moving body
US12183759B2 (en) 2021-02-04 2024-12-31 Canon Kabushiki Kaisha Photoelectric conversion apparatus, photoelectric conversion system, mobile body, and semiconductor substrate
US12501179B2 (en) 2021-02-04 2025-12-16 Canon Kabushiki Kaisha Photoelectric conversion apparatus

Also Published As

Publication number Publication date
TWI846718B (zh) 2024-07-01
CN112470462B (zh) 2024-06-07
TW202021105A (zh) 2020-06-01
JP6689437B2 (ja) 2020-04-28
JP6705044B2 (ja) 2020-06-03
JP2020025263A (ja) 2020-02-13
EP3833007A4 (en) 2021-08-25
EP3833007B1 (en) 2024-03-13
US20210168318A1 (en) 2021-06-03
EP3833006A4 (en) 2021-09-01
US11735614B2 (en) 2023-08-22
KR20210029205A (ko) 2021-03-15
US20210266488A1 (en) 2021-08-26
CN112470461B (zh) 2024-09-06
CN112470462A (zh) 2021-03-09
KR102899656B1 (ko) 2025-12-11
EP3833007A1 (en) 2021-06-09
KR102797317B1 (ko) 2025-04-21
CN112470461A (zh) 2021-03-09
KR20210029202A (ko) 2021-03-15
EP3833006B1 (en) 2025-04-02
EP3833006A1 (en) 2021-06-09

Similar Documents

Publication Publication Date Title
JP6705044B2 (ja) 積層型受光センサ及び車載撮像装置
JP7414869B2 (ja) 固体撮像装置、電子機器及び固体撮像装置の制御方法
TWI840429B (zh) 積層型受光感測器及電子機器
US11962916B2 (en) Imaging device with two signal processing circuitry partly having a same type of signal processing, electronic apparatus including imaging device, and imaging method
WO2020027233A1 (ja) 撮像装置及び車両制御システム
WO2021075321A1 (ja) 撮像装置、電子機器及び撮像方法
US12446350B2 (en) Stacked light-receiving sensor and in-vehicle imaging device
WO2020027161A1 (ja) 積層型受光センサ及び電子機器
US12167127B2 (en) Imaging apparatus and electronic equipment
US12149855B2 (en) Light receiving device, electronic apparatus, and light receiving method to reduce a load current in a processing circuit
WO2020027074A1 (ja) 固体撮像装置および電子機器

Legal Events

Date Code Title Description
A764 Written withdrawal of priority claim

Free format text: JAPANESE INTERMEDIATE CODE: A764

Effective date: 20190827

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20191011

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20191119

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20200116

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200316

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200421

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200513

R150 Certificate of patent or registration of utility model

Ref document number: 6705044

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150