[go: up one dir, main page]

JP2006026234A - 生体内撮像装置および生体内撮像システム - Google Patents

生体内撮像装置および生体内撮像システム Download PDF

Info

Publication number
JP2006026234A
JP2006026234A JP2004212091A JP2004212091A JP2006026234A JP 2006026234 A JP2006026234 A JP 2006026234A JP 2004212091 A JP2004212091 A JP 2004212091A JP 2004212091 A JP2004212091 A JP 2004212091A JP 2006026234 A JP2006026234 A JP 2006026234A
Authority
JP
Japan
Prior art keywords
pixel
image signal
vivo imaging
circuit
imaging device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2004212091A
Other languages
English (en)
Inventor
Tomomi Sekimoto
智美 関本
Motoo Azuma
基雄 東
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Priority to JP2004212091A priority Critical patent/JP2006026234A/ja
Priority to US11/181,992 priority patent/US20060017826A1/en
Priority to EP05015464A priority patent/EP1618833A1/en
Publication of JP2006026234A publication Critical patent/JP2006026234A/ja
Priority to US12/003,289 priority patent/US20080122925A1/en
Pending legal-status Critical Current

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/041Capsule endoscopes for imaging
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/68Noise processing, e.g. detecting, correcting, reducing or removing noise applied to defects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2209/00Details of colour television systems
    • H04N2209/04Picture signal generators
    • H04N2209/041Picture signal generators using solid-state devices
    • H04N2209/042Picture signal generators using solid-state devices having a single pick-up sensor
    • H04N2209/045Picture signal generators using solid-state devices having a single pick-up sensor using mosaic colour filter
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50Constructional details
    • H04N23/555Constructional details for picking-up images in sites, inaccessible due to their dimensions or hazardous conditions, e.g. endoscopes or borescopes

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Surgery (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Biophysics (AREA)
  • Endoscopes (AREA)
  • Color Television Image Signal Generators (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

【課題】生体内撮像装置内で画像信号を圧縮処理する前に欠陥画素を補正する機能を有することで、良好な画像信号を得ることができる生体内撮像装置および生体内撮像システムを提供すること。
【解決手段】体腔内に挿入され、被写体に係る画像信号を生成して送信する生体内撮像装置1であって、撮像ユニット11は、複数の画素が、その受光面に配列され、その受光面に形成された被写体像を画像信号に変換し、欠陥補正回路12は前記撮像素子の欠陥画素に係る前記画像信号を補正し、圧縮回路13は前記欠陥補正回路からの画像信号を圧縮し、送信回路14は前記圧縮された画像信号を体腔外に送信する。圧縮回路で画像信号が圧縮される前に、欠陥画素補正を行うことができる。
【選択図】 図1

Description

本発明は、生体内撮像装置および生体内撮像システムに係り、特に欠陥画素の検出および補正を簡単な方法で行うことが可能な生体内撮像装置および生体内撮像システムに関する。
図19は、PCTのWO03/010967に記載された、生体内撮像装置の概略構成と、生体内撮像装置が撮像した画像信号を表示する表示システムの概略構成を示すブロック図である。
図19において、生体内撮像装置901は、撮像手段903、圧縮手段904、送信手段905で構成されている。撮像手段903は被写体からの光を受光し、受光量に応じたカラー撮像信号を出力する固体撮像素子を備えており、固体撮像素子から出力されるカラー撮像信号を画像信号として圧縮手段904に入力する。圧縮手段904は、画像信号の効率的な転送を図るために、画像信号に対して圧縮処理を行い符号データを生成する。そして、送信手段905は、圧縮手段904より出力された符号データをアンテナを用いて体外の表示システム902へ送信する。
表示システム902は、受信手段906、伸長手段907、表示手段908で構成されている。受信手段906は、受信する為のアンテナを備えており、生体内から送信された符号データを受信する。伸長手段907は、受信手段906が受信した符号データを伸長して画像信号を生成する。表示手段908は、伸長手段907より生成した画像信号を表示するものであり、表示された画像信号は診断等に使用される。
WO03/010967
しかしながら、WO03/010967の前記生体内撮像装置には欠陥画素を補正する手段に関する記載は無い。このため、生体内撮像装置の撮像素子に欠陥画素があった場合で、特に、周辺画素との相関性を利用して圧縮処理をするような場合、圧縮によって、欠陥画素が正常な画素に悪影響を及ぼしてしまうことがある。そのようなケースでは、表示システムで伸長後に欠陥画素を補正しようとしても、欠陥部分が他の画素に拡散しており、充分に補正効果が得られないという惧れがある。
本発明は上記の問題点を解消する為になされたものであり、生体内撮像装置内で画像信号を圧縮処理する前に欠陥画素を補正する機能を有することで、良好な画像信号を得ることができる生体内撮像装置および生体内撮像システムを提供することを目的とする。
以下に、(請求項1〜22)の発明による生体内撮像装置または生体内撮像システムについて、その構成、対応する実施例、作用及び効果を述べる。
(請求項1)
(構成)
請求項1の発明による生体内撮像装置は、体腔内に挿入され、被写体に係る画像信号を生成して送信する生体内撮像装置であって、複数の画素が、その受光面に配列され、その受光面に形成された被写体像を画像信号に変換する撮像ユニットと、前記撮像ユニットの欠陥画素に係る前記画像信号を補正する欠陥補正回路と、前記欠陥補正回路からの画像信号を圧縮する圧縮回路と、前記圧縮された画像信号を送信する送信回路と、を備える。
(対応する発明の実施例)
この発明の実施例は、第1、2、3、4、5の実施例が対応する。
(作用)
撮像ユニットから出力された画像信号は、欠陥補正回路により、撮像ユニットの欠陥画素に係る画像信号が補正された後、圧縮回路により圧縮される。そして、圧縮された画像信号は、送信回路により、送信される。
(効果)
圧縮回路で画像信号が圧縮される前に、欠陥画素補正を行うことができ、またその画像信号は送信回路によって体腔外に送信することができる。
(請求項2)
(構成)
請求項1における前記欠陥補正回路は、前記欠陥画素を検出する検出回路と、検出された前記欠陥画素に係る画像信号を補正する補正回路とを有する。
(対応する発明の実施例)
この発明の実施例は、第1、2、3、4、5の実施例が対応する。
(作用)
撮像ユニットから出力された画像信号は、欠陥補正回路に備えられている検出回路により欠陥画素が検出された後、更に補正回路により、検出された欠陥画素に係る画像信号が補正される。
(効果)
欠陥補正回路は、欠陥画素の検出および検出された欠陥画素の補正を行うことができる。
(請求項3)
(構成)
請求項2における前記欠陥補正回路は、前記欠陥画素の位置を格納する格納回路をさらに有する。
(対応する発明の実施例)
この発明の実施例は、第1、2、3、5の実施例が対応する。
(作用)
欠陥補正回路が有する格納回路に欠陥画素の位置が格納される。
(効果)
欠陥画素の位置を格納回路に記憶しておくことで、補正時に利用することができる。
(請求項4)
(構成)
請求項1における前記撮像ユニットは、前記受光面にカラーフィルターが貼付されたCCD、CMOS型またはNMOS型の撮像素子を有する。
(対応する発明の実施例)
この発明の実施例は、第1、2、3、4、5の実施例が対応する。
(作用)
カラーフィルタにより、体腔内からの被写体光に含まれる色成分に応じた光が撮像素子の受光面に入射され、撮像素子から、その光量に応じた信号が出力される。
(効果)
体腔内のカラー画像信号を得ることができる。
(請求項5)
(構成)
請求項1における前記撮像ユニットは、特定の波長または、白色で発光する、1つ以上の発光素子からなる光源を有する。
(対応する発明の実施例)
この発明の実施例は、第1、2、3、4、5の実施例が対応する。
(作用)
撮像ユニットが有する光源より、体腔内に、特定の波長、又は白色光が照射される。
(効果)
カラー画像信号を得たり、特定の波長に応じた画像信号を得ることが可能となる。特定の波長に応じた画像信号を得る場合、例えば、検査前に、がん細胞に集まる特徴を持ち、特定波長の光に反応して光る薬剤を服むことで、効果的にがんを発見することが可能となる。
(請求項6)
(構成)
請求項5における前記光源は、赤色、緑色、及び青色を発光する前記発光素子を備え、1フレーム毎に1色ずつ順次発光するように制御される。
(対応する発明の実施例)
この発明の実施例は、第3、4の実施例が対応する。
(作用)
1フレーム毎に、光源に備えられた発光素子により、赤色、緑色、及び青色が1色ずづ順次発光される。
(効果)
連続する3フレームから、体腔内のカラー画像信号を撮像することができる。
(請求項7)
(構成)
請求項3における前記欠陥補正回路は、予め前記格納回路に記憶されていた欠陥画素の位置情報に基づき、前記欠陥画素を補正する。
(対応する発明の実施例)
この発明の実施例は、第3、5の実施例が対応する。
(作用)
予め記憶されていた欠陥画素の位置に基づき、欠陥補正回路により、欠陥画素の補正が行われる。
(効果)
予め記憶されている欠陥画素に関しては、確実に欠陥画素の補正が行われる。
(請求項8)
(構成)
請求項3における前記欠陥補正回路は、装置起動時毎に、前記欠陥画素の位置を検出する。
(対応する発明の実施例)
この発明の実施例は、実施例1が対応する。
(作用)
装置起動時毎に、欠陥補正回路により、欠陥画素の位置の検出が行われる。
(効果)
製造前のCCD材料及び製造工程に起因して発生する初期的欠陥だけでなく、放射線、静電破壊等の外部環境や経時変化に起因して発生する後発性の欠陥画素も検出することができる。
(請求項9)
(構成)
請求項2における前記欠陥補正回路は、前記被写体を撮像する毎に、前記欠陥画素の位置を検出する。
(対応する発明の実施例)
この発明の実施例は、実施例4が対応する。
(作用)
被写体を撮像する毎に、欠陥補正回路により、欠陥画素の位置検出が行われる。
(効果)
撮像画像信号に応じた適切な欠陥補正を行うことができる。また、製造前のCCD材料及び製造工程に起因して発生する初期的欠陥だけでなく、放射線、静電破壊等の外部環境や経時変化に起因して発生する後発性の欠陥画素も検出することができる。
(請求項10)
(構成)
請求項3における前記欠陥補正回路は、一定周期毎に、前記欠陥画素の位置を検出する。
(対応する発明の実施例)
この発明の実施例は、実施例2が対応する。
(作用)
一定周期毎に、欠陥補正回路により、欠陥画素の位置検出が行われる。
(効果)
製造前のCCD材料及び製造工程に起因して発生する初期的欠陥だけでなく、放射線、静電破壊等の外部環境や経時変化に起因して発生する後発性の欠陥画素も検出することができる。
(請求項11)
(構成)
請求項8〜10までの何れか1項における前記検出回路は、被検出画素と同ライン上の画素からの画像信号を用いて検出を行う。
(対応する発明の実施例)
この発明の実施例は、実施例4が対応する。
(作用)
被検出画素と同ライン上の画素からの画像信号を用い、検出回路により、欠陥画素の検出が行われる。
(効果)
大きなラインメモリを持つことなく、欠陥画素の検出を行うことができる。
(請求項12)
(構成)
請求項8〜10までの何れか1項における前記検出回路は、被検出画素に係る画像信号が、この被検出画素と同色の、複数の近傍画素に係る画像信号の内の、最大値から第1の閾値以上大きいかまたは、最小値から第2の閾値以上小さい場合に、前記被検出画素を欠陥画素とする。
(対応する発明の実施例)
この発明の実施例は、実施例1が対応する。
(作用)
被検出画素に係る画像信号が、この被検出画素と同色の、複数の近傍画素に係る画像信号の内の、最大値から第1の閾値以上大きいかまたは、最小値から第2の閾値以上小さい場合に、検出回路により、被検出画素が欠陥画素とされる。
(効果)
近傍の同色画素の値から大きく異なる値であるときに欠陥とする為、比較的小規模な回路で欠陥画素を効率的に検出することができる。
(請求項13)
(構成)
請求項8〜10までの何れか1項における前記検出回路は、被検出画素に係る画像信号が、この被検出画素と同色の複数の近傍画素に係る画像信号の平均値から第3の閥値以上大きいかまたは、第4の閥値以上小さい場合に、前記被検出画素を欠陥画素とする。
(対応する発明の実施例)
この発明の実施例は、実施例2が対応する。
(作用)
被検出画素に係る画像信号が、この被検出画素と同色の複数の近傍画素に係る画像信号の平均値から第3の閾値以上大きいかまたは、第4の閾値以上小さい場合に、検出回路により、被検出画素が欠陥画素とされる。
(効果)
近傍の同色画素の平均値から大きく異なる値であるときに欠陥とする為、比較的小規模な回路で欠陥画素を効率的に検出することができる。
(請求項14)
(構成)
請求項12又は13における前記検出回路は、前記複数の近傍画素に係る画像信号の値に応じて、前記第1又は第3の閾値、第2又は第4の閾値の値を変更する。
(対応する発明の実施例)
この発明の実施例は、実施例2が対応する。
(作用)
複数の近傍画素に係る画像信号の値に応じて、第1又は第3の閾値、第2又は第4の閾値の値が、検出回路により、変更される。
(効果)
複数の近傍画素に係る画像信号の値に応じて閾値を変更することで、欠陥検出の精度を向上させることができる。
(請求項15)
(構成)
請求項8〜10までの何れか1項における前記検出回路は、被検出画素に係る画像信号と同色の、複数の近傍画素に係る画像信号の内、最大値、及び、最小値を除いた画像信号を用いて欠陥画素を検出する。
(対応する発明の実施例)
この発明の実施例は、実施例2が対応する。
(作用)
被検出画素に係る画像信号と同色の、複数の近傍画素に係る画像信号の内、最大値、及び、最小値を除いた画像信号が、検出回路により、欠陥画素の検出に用いられる。
(効果)
欠陥検出に用いる周辺画素に欠陥画素が含まれていた場合でも、確実に欠陥画素を検出することができる。
(請求項16)
(構成)
請求項11、12、13又は15までの何れか1項における前記検出回路は、前記被検出画素とは異なる色の画素に係る画素信号を用いて、前記被検出画素に対する欠陥検出を更に行う。
(対応する発明の実施例)
この発明の実施例は、実施例2が対応する。
(作用)
被検出画素とは異なる色の画素に係る画素信号を用いて、検出回路により、被検出画素に対する欠陥画素の検出が行われる。
(効果)
他色の画素信号も欠陥検出の判定条件に加えることでより精度の高い欠陥画素の検出ができる。
(請求項17)
(構成)
請求項2における前記補正回路は、前記欠陥画素と同一ライン上の画素に係る画素を用いて、前記欠陥画素に係る画像信号の補正を行う。
(対応する発明の実施例)
この発明の実施例は、実施例4が対応する。
(作用)
欠陥画素と同一ライン上の画素に係る画素信号を用いて、補正回路により、欠陥画素に係る画像信号の補正が行われる。
(効果)
大きなラインメモリを持つことなく欠陥画素を補正することができる。
(請求項18)
(構成)
請求項2における前記補正回路は、前記欠陥画素に係る画像信号を、前記欠陥画素と同色の最近傍画素に係る画像信号で置き換える。
(対応する発明の実施例)
この発明の実施例は、実施例1が対応する。
(作用)
欠陥画素に係る画像信号が、補正回路により、欠陥画素と同色の最近傍画素に係る画像信号に置き換えられる。
(効果)
欠陥画素を近傍の同色画素に置き換えるので、複雑な演算回路が不要であり、小型・省電力に欠陥画素の補正を行うことができる。
(請求項19)
(構成)
請求項2における前記補正回路は、前記欠陥画素に係る画像信号を、前記欠陥画素と同色の近傍画素に係る画像信号から線形補間により求める。
(対応する発明の実施例)
この発明の実施例は、第2、3、5の実施例が対応する。
(作用)
欠陥画素に係る画像信号が、補正回路により、欠陥画素と同色の近傍画素に係る画像信号から線形補間により求められる。
(効果)
比較的小規模な回路で欠陥画素の補正を行うことができる。
(請求項20)
(構成)
請求項6において、前記光源を赤、緑、青で順次発光させて得られる3フレームの画像信号を1枚のカラー画像信号に合成する合成手段を更に有し、前記圧縮回路は、この合成手段からの画像信号出力に対して圧縮を行う。
(対応する発明の実施例)
この発明の実施例は、実施例3が対応する。
(作用)
光源を赤、緑、青で順次発光させて得られる3フレームの画像信号から、合成手段により1枚のカラー画像信号が合成され、この合成により得られたカラー画像信号に対して、圧縮回路により圧縮が行われる。
(効果)
圧縮されたカラー画像信号を得ることができる。
(請求項21)
(構成)
請求項6における前記圧縮回路は、前記光源を赤、緑、青で順次発光させて得られる3フレームの画像信号に対して、それぞれ別個に圧縮を行う。
(対応する発明の実施例)
この発明の実施例は、実施例4が対応する。
(作用)
光源を赤、緑、青で順次発光させて得られる3フレームの画像信号に対して、圧縮回路により、それぞれ別個に圧縮が行われる。
(効果)
同時化(カラー化)のための回路を必要としないので、より小型、省電力とすることができる。
(請求項22)
(構成)
請求項22の発明による生体内撮像システムは、請求項1〜21までの何れか1項に記載の生体内撮像装置と、前記生体内撮像装置とは離隔して設けられ、前記生体内撮像装置から送信された前記画像信号を受信して処理する受信処理装置とを有する生体内撮像システムであって、前記受信処理装置は、前記生体内撮像装置から送信される画像信号を受信する受信回路と、前記受信回路で受信した画像信号に対して所定の信号処理を行う信号処理回路とを備える。
(対応する発明の実施例)
この発明の実施例は、第1、2、3、4、5の実施例が対応する。
(作用)
離隔して設けられた生体内撮像装置からの画像信号は、受信処理装置内の受信回路により受信された後、信号処理回路により所定の信号処理が行われる。
(効果)
生体内撮像装置により撮像された画像信号に対して所定の信号処理を施した画像信号を、生体内撮像装置とは離隔して設けられた受信処理装置にて得ることができる。
本発明によれば、検出回路で欠陥画素を検出し、補正回路にて欠陥画素を補正するので、良好な画像信号を得ることができる。欠陥画素の検出を被検出画素の複数の近傍画素を用いて行い、しかも欠陥画素の補正値を前記検出に用いた複数の近傍画素を用いて求めることができるので、欠陥画素の検出及び補正を行う回路を簡単化することができる。また、圧縮前に欠陥画素を補正するので、従来の生体内撮像装置の問題点(欠陥画素が正常な画素に悪影響を与える欠点)を解決することができる。
発明の実施例について図面を参照して説明する。
図1は、本発明の実施例1〜5に係る生体内撮像システムの構成を示す図である。
図1において、生体内撮像システムは、体腔内に挿入され、被写体に係る画像信号を生成して送信する生体内撮像装置1と、体腔内に挿入される前記生体内撮像装置1とは離隔して設けられ、前記生体内撮像装置1から送信された前記画像信号を受信して処理する受信処理装置2とから構成されている。
前記生体内撮像装置1は、複数の画素が、その受光面に配列され、その受光面に形成された被写体像を画像信号に変換する撮像ユニット11と、前記撮像ユニット11の欠陥画素に係る前記画像信号を補正する欠陥補正回路12と、前記欠陥補正回路12からの画像信号を圧縮する圧縮回路13と、前記圧縮された画像信号を送信する送信回路14とを備えて構成されている。なお、生体内撮像装置1は体腔内に挿入されるため、生体内撮像装置1の電源としては電池を使用したり、或いは体外から電波によって電力供給する方式を使用してもよい。
前記受信処理装置2は、前記送信回路14から送信された画像信号を受信する受信回路21と、前記受信回路21で受信した画像信号に対して所定の信号処理を行う信号処理回路22とを備えて構成されている。
図1に基づいて、本発明の実施例1〜5に共通するシステム全体の動作について説明する。
生体内撮像装置1では、まず、撮像ユニット11で撮像された画像信号を、欠陥補正回路12に入力する。欠陥補正回路12では、撮像された画像信号に所定の欠陥補正方法に基づいて処理を施した後に、圧縮回路13に出力する。圧縮回路13では、例えば輝度信号Y及び色差信号Cb、Crを生成し、JPEGやMPEG等の所定の圧縮方法を用いて画像信号を圧縮する。圧縮回路13で圧縮された画像信号は、送信回路14によって、無線にて体腔外の受信処理装置2に送信される。
また、受信処理装置2では、生体内撮像装置1から送信された画像信号を受信回路21で受信し、信号処理回路22では、受信回路21で受信した画像信号に対して所定の信号処理を行う。
次に、本発明の実施例1について説明する。図2〜図5が実施例1に係るものである。
図2は、本発明の実施例1に係る生体内撮像装置の構成を示す図である。
図2において、符号1aは、体腔内に挿入され、被写体に係る画像信号を生成して送信する生体内撮像装置である。生体内撮像装置1aは、撮像ユニット11aと、欠陥補正回路12aと、圧縮回路13aと、送信回路14とを備えて構成されている。
撮像ユニット11aは、RGBベイヤー配列のカラーフィルタ110が貼り付けられたCMOSなどの撮像素子111と、生体内を照明する為のLEDなどの白色光源112を備えている。
欠陥補正回路12aは、撮像素子111の欠陥画素に係る前記画像信号を補正する欠陥補正回路であり、撮像素子111の画素欠陥を電源投入時に最近傍の同色4画素の最大値及び最小値との比較から検出する為の検出回路121と、欠陥画素の座標位置を記憶する格納回路122と、欠陥画素を例えば直前の同色画素値で置換することにより補正する補正回路123とを備えている。
圧縮回路13aは、欠陥補正回路12aからの画像信号を圧縮する圧縮回路であり、欠陥補正回路12aからの画像信号を入力し、輝度信号Y及び色差信号Cb、Crを生成する前処理回路131と、JPEGやMPEG等の所定の圧縮方法を用いて画像信号を圧縮するエンコ−ト゛回路132とを備えている。
次に、図2に基づいて本発明の実施例1に係る生体内撮像装置1aの動作について説明する。
本実施例に係わる生体内撮像装置1aは、電源投入時などの装置起動時に撮像素子111の欠陥画素の検出を行う。例えば、生体内撮像装置1aを梱包した状態で、電源起動させると、LEDが発光し内壁が白色である梱包内の前壁を撮影し、全面白画像信号を取り込む。そしてその後、LEDを消灯させた状態で画像信号を取り込む。梱包内は遮光されているためにこの画像は全面黒の画像信号となる。
以下に各画素の入力を8 b i tのデジタルデータとした時を例にして、全面白と全面黒の2枚の画像信号から画素欠陥位置を検出する、欠陥補正回路12a中の検出回路121の動作を説明する。
本実施例における撮像素子111にはRGBベイヤー配列のカラーフィルタ110が貼り付けられており、全面白画像信号において、注目画素の画素値が180であり、最近傍にある同色の4画素の画素値が230、235、232、240であった時、最小値は230であり、注目画素はその値よりも50小さい。ここで、最小値から小さい方向の許容される値、即ち小さい方向の閾値を考える。
この場合、注目画素の欠陥判定を行う為の閾値を60に設定していれば、前記50は閾値60の範囲内であるので、注目画素は正常画素と判定され、閾値を40に設定していれば前記50は閾値40を越えるので欠陥画素と判定する。そして、欠陥と判定されればこの注目画素の座標位置を、欠陥補正回路12a中の格納回路122に記憶する。これにより黒欠陥画素を検出することができる。
次に、黒画像信号も同様に、例えば注目画素近傍の同色4画素の最大値が20であり、注目画素値が70であり、閾値を40に設定していれば、閾値よりも50大きい値の注目画素は欠陥補正回路12a中の検出回路121で欠陥と判断され、欠陥補正回路12a中の格納回路122に注目画素の座標位置を追加記憶する。
これにより白欠陥画素を検出することができる。以上の検出を行った後に、生体内撮像装置1aを梱包から取り出し、これを飲み込むなどして体内に取り込む。撮像ユニット11aは、その中の白色光源112で生体内を照らし、撮像素子111で生体内のカラー画像信号を撮像する。
撮像されたカラー画像信号は、格納回路122に記憶されている欠陥画素の座標位置情報に応じて欠陥画素に対しては、後述する欠陥補正回路12aで補正を行い、圧縮回路13aに入力し、前処理回路131で輝度信号Y及び色差信号Cb、Crを生成した後、エンコード回路132でJPEGやMPEG等に画像信号をエンコードして、送信回路14で生体外に無線にて送信する。
図3は欠陥判定を行う画素の位置関係を示す図である。
なお、図3において、撮像素子には、R,G,Bベイヤー配列のカラーフィルタが貼り付けられており、図に示される例えば第1,第3,…の各列のR,Gの並びと、第2,第4,…各列のG,Bの並びとで、Gは共に同じ緑色(G)のフィルタであるが、第1,第3,…の各列のGと第2,第4,…各列のGとを区別するために、第1,第3,…の各列のGはGbとし、第2,第4,…各列のGはGrとしてある。
図3(A)に示すように、例えば、Rの注目画素1001の欠陥判定には、その上下左右の画素1002〜1005を用いて注目画素1001の欠陥判定を行う。Bの画素においても同様に行えばよい。
また、図3(B)に示すように、Grの注目画素1101の欠陥判定には、Gbと記されている斜め方向の画素1102〜1105を用いて注目画素1101の欠陥判定を行う。Gbの画素の欠陥判定においてもGrと記されている斜め方向の画素を用いて同様に行えばよい。
自然画においては斜め方向よりも上下左右との相関が強く、上下左右の画素から補間する方が有利であるが、生体内画像においては方向性が無いため、より近傍の画素との相関が強い。従って、生体内撮像装置においてはより精度の高い欠陥画素検出・補正を行うことができる。
尚、本実施例においては、生体内撮像装置1aの起動時に画素欠陥判定を行う場合を例に説明したが、この欠陥画素判定は生体内撮像装置1aの動作中に実施してもかまわない。この場合の欠陥の判定方法について以下に説明する。
例えば、図3(A)の注目画素1001を同色の上下左右の画素1002〜1005を用いて欠陥判定を行う。
本実施例では、撮像素子111からの各画素毎の出力は、デジタルデータとして、8 b i tで表されており、255〜0の間の値を取っている。
図3(A)において、上下左右の画素の最大値は画素(1003)の160、最小値は画素(1002)の140であり、第1の閾値Aは80、第2の閾値Bは50であるとする。ここで、注目画素(1001)の値が245であるとき、最大値max、最小値mix、第1及び第2の閾値A,B、注目画素(1001)の値Cとの関係は、図4に示したようになる。
ここで、以下の条件式を満足する場合、注目画像は欠陥画素であると判定される。
(数1−1)
注目画素値>最大値+第1の閥値「A」、または、
最小値−第2の閾値「B」>注目画素値
(数1−1)式より、注目画素(1001)は、245>(160+80)となる為、欠陥画素として検出される。
このように生体内撮像装置1aの動作中に欠陥画素の判定(検出)を実施する場合には、近傍の同色画素の最大値、最小値と2つの閾値を用いて行う。
次に、欠陥画素の補正方法について説明する。
本実施例では、図5に示すように、注目画素1001は、同色の直前の画素1003の値を置き換えることにより欠陥を補正する。この方法を用いると、簡単な方法で高速な修正が可能であり、画像信号のコントラストが失われない利点がある。
以上説明した本実施例によると、検出回路121によって欠陥画素を検出(判定)し、補正回路123にて欠陥画素を補正するので、良好な画像信号を得ることができる。
また、圧縮前に欠陥画素を補正するので従来の生体内撮像装置の問題点を解決することができる。さらに、製造前のCCD材料及び製造工程に起因して発生する初期的欠陥画素だけでなく、放射線、静電破壊等の外部環境や経時変化に起因して発生する後発性欠陥画素も検出することができる。
しかも、簡単な方法で精度良く欠陥画素を補正することができるので、回路規模を小さくし、限られた電力容量の電池で長時間駆動することが可能となり、低消費電力化できる。
本発明の実施例2について説明する。図6〜図9が実施例2に係るものである。
本実施例は、実施例1と、欠陥の検出方法及び欠陥の補正方法が異なっている。
図6は、本発明の実施例2に係る生体内撮像装置における、欠陥補正回路12bの構成を示す図である。撮像ユニット及び圧縮回路のそれぞれの構成は、図2と同様である。
欠陥補正回路12bは、CCDなどの撮像素子111の欠陥画素に係る前記画像信号を補正する欠陥補正回路であり、撮像素子111の画素欠陥を一定周期毎に最近傍の同色2画素又は4画素の平均値との比較によって検出する為の検出回路221と、欠陥画素の座標位置を記憶する格納回路222と、前記欠陥画素を近傍の2画素又は4画素から線形補間(平均値)により補正する補正回路223とを有している。
次に、図6に基づいて本発明の実施例2に係る欠陥補正回路12bの動作について説明する。
検出回路221は、一定の周期(時間又は撮影枚数)毎に後述する欠陥画素の検出方法により、欠陥を検出する。例えば、一定周期毎にLEDなどの光源を消灯させて画像を取り込み欠陥を検出する事により白欠陥画素を効率的に検出する。
欠陥と検出された注目画素の座標位置情報は、格納回路222に記憶され、補正回路223により、後述する欠陥画素の補正方法で欠陥を補正する。
これにより、欠陥検出及び補正に係る電力が削減でき、また後発性の欠陥も検出及び補正することができる。
図7は欠陥判定を行う画素の位置関係を示す図である。
例えば、図7(A)は注目画素2001のR画素の欠陥を同一ライン上の同色2画素2002、2003を用いて欠陥判定を行うものである。B、Gr、Gbの画素においても同様に行う。また、この画素欠陥判定においては、図7(B)に示すように、上下左右の同色4画素2102〜2105を用いて注目画素2101の欠陥判定を行ってもよい。これはBの画素においても同様である。
また、GrやGbの画素の欠陥判定に関しては、図7(C)に示すように、上下左右の同色4画素2202〜2205を用いて注目画素2201の欠陥判定を行ってもよい。上下左右の同色画素を用いることで、GrはGr同士で、GbはGb同士で欠陥検出・補間が可能であり、特にGrとGbの撮像電荷の転送路が異なるCCDなどの場合には精度の高い欠陥判定及び補間を行うことができる。なお、GrとGbの撮像電荷の転送路が同じCCDなどの場合には、実施例1の図3(B)で述べたのと同様にGrの画素の欠陥判定をGbと記されている斜め方向の画素を用いて行い、Gbの画素の欠陥判定をGrと記されている斜め方向の画素を用いて行えばよい。
次に、図7(C)を例にとって欠陥の判定方法について説明する。
この例の場合、注目画素2201を上下左右の最近傍同色画素2202〜2205を用いて欠陥判定を行う。
本実施例では、撮像素子111からの各画素毎の出力は、デジタルデータとして、8 b i tで表されており、255〜0の間の値を取っている。
図7(C)において、上下左右の画素値は、画素(2202)〜(2205)の平均画素値aveが180であり、第3の閥値Dを30、第4の閥値Eを60とする。ここで、注目画素(2201)の値が100であるとき、図8に示したような関係になる。図中の符号2401は上下左右の4画素の平均値である。
ここで、以下の条件式を満足する場合、注目画像は欠陥画素であると判定される。
(数1−2)
注目画素値>複数の画素の平均値+第3の同値「D」、または、
複数の画素の平均値−第4の閾値「E」>注目画素値
(数1−2)より、注目画素(2201)は、100<(180−60)となり、欠陥画素として検出される。
このように、近傍の同色画素の平均値と2つの閾値を用いて欠陥画素を判定する。
ここで、複数の画素の平均信号レベルに応じて、第3の閾値「D」および第4の閾値「E」の値は変更しても良い。例えば同色近傍画素の平均信号レベルが低い時には、第3の閾値Dの値は大きく、第4の閾値Eの値は小さくする。逆に同色近傍画素の平均信号レベルが高い時には第3の閾値Dの値は小さく、第4の閾値Eの値は大きくするような制御を行うものである。
また、図7(C)の上下左右の同色近傍4画素{2202、2203、2204、2205}の値が{230、160、200、30}の時、信号レベルが最大となる画素および信号レベルが最小となる画素を除いた画素から欠陥判定をしても良い。この場合、画素(2202)と画素(2205)を取り除く。
これにより、上下左右の画素の中に未検出の欠陥画素が存在してもその影響を除外することができ、信号レベルのばらつきを減少させる効果があり、精度の高い欠陥判定を行うことができる。
また、図7(C)の上下左右の同色近傍4画素に既検出の欠陥画素が含まれる場合は、その画素を除いた画素から欠陥判定をしても良い。これらの方法を用いることにより、欠陥画素が連続する場合にも対応することが可能になる。
また、欠陥画素の判定には、同色の上下左右の画素のみでなく、近傍の他色画素を用いても良い。例えば、同色の上下左右の画素を用いて欠陥と判定された場合、近傍の他色の画素の絶対値やばらつき度合い、値の傾きなどの情報から再度欠陥か否かの判定を行う事で、より精度良く誤検出を防止することができる。
次に、図9で検出された欠陥画素の補正方法について説明する。
例えば、複数の上下左右の画素の画素値に対して線形補間を用いて、補正画素値を生成し、注目画素の画素値と置き換えて欠陥補正を行う。
図9に2点間で線形補間を行う場合の例を示す。図9において、正常な画素2202および2203の、それぞれの画素値をA,B、注目画素の補正画素値をCとして、(数1−3)式の線形補間式から、画素値Cを求める。
(数1−3)
A*(1−k)+B*k=C
ここで、kは注目画素に対する画素値A,Bに対応する画素(図9では、2202,2203)の距離に対応した係数で、0≦k≦1の実数である。図9の例ではk=0.5である。
正常な画素の画素値AおよびBの線形補間から求めた画素値Cを注目画素2201の補正画素値として置き換える。この方法を用いると、比較的滑らかな画像信号が得られ、比較的高速に処理することができる利点がある。通常撮像素子の画素は等間隔で配置されているので、線形補間のために特別な回路は必要なく、前記画素欠陥の判定に用いた同色近傍画素の平均値ave(図8参照)に置換すれば良いことになる。
以上説明した方法によると、実施例1と同様の効果が得られる。すなわち、検出回路221によって欠陥画素を検出(判定)し、補正回路223にて欠陥画素を補正するので、良好な画像信号を得ることができ、また圧縮前に欠陥画素を補正するので従来の生体内撮像装置の問題点を解決することができる。さらに、本実施例では、実施例1に比べてより精度の高い欠陥画素検出及び補正を行うことができる。さらに、製造前のCCD材料及び製造工程に起因して発生する初期的欠陥画素だけでなく、放射線、静電破壊等の外部環境や経時変化に起因して発生する後発性欠陥画素も検出することができる。
しかも、簡単な方法で精度良く欠陥画素を補正することができるので、回路規模を小さくし、限られた電力容量の電池で長時間駆動することが可能となり、低消費電力化できる。
次に、本発明の実施例3について説明する。図10〜図13が実施例3に係るものである。
図10は、本発明の実施例3に係る生体内撮像装置の構成を示す図である。
図10において、符号1cは、体腔内に挿入され、被写体に係る画像信号を生成して送信する生体内撮像装置である。生体内撮像装置1cは、撮像ユニット11cと、欠陥補正回路12cと、圧縮回路13cと、送信回路14とを備えて構成されている。
撮像ユニット11cは、カラーフィルタが貼り付けられていないNMOSなどの撮像素子311と、赤色(R)、緑色(G)、及び青色(B)を発光する発光素子である光源312を備え、1フレーム毎に1色ずつ順次発光するように制御されている。
欠陥補正回路12cは、撮像素子311の欠陥画素に係る画像信号を補正する欠陥補正回路であり、撮像素子311の画素欠陥座標位置が出荷時から記録されている格納回路322と、欠陥画素を同色の近傍画素から線形補間により補正する補正回路323とを備えている。この欠陥補正回路12cでは、出荷時に予め画素欠陥の座標位置が格納回路322に記録されているため、実施例1の図2における画素欠陥の検出回路は削除された構成となっている。
圧縮回路13cは、欠陥補正回路12cからの画像信号を圧縮する圧縮回路であり、連続するR、G、B3枚の画像データから輝度信号Yと色差信号Cb、Crを生成する前処理回路331と、前処理回路331からの画像信号をJPEGやMPEG等にエンコードするエンコード回路132とを有している。
本実施例3では、前処理回路331は、連続するR、G、B3フレームの画像データから1枚のカラー画像信号を合成する合成手段として機能し、エンコード回路132はその合成手段からの画像信号出力に対して圧縮を行う圧縮手段として機能する。
そして、圧縮された画像信号は送信回路14により無線で外部に送信される。
なお、圧縮回路をエンコード回路のみで構成し、前処理回路については圧縮回路とは別体に設けた構成としても良い。
次に、図10に基づいて本発明の実施例3に係る生体内撮像装置1cの動作について説明する。
生体内撮像装置1cを飲み込むなどして体内に取り込み、撮像個所に到連した時、撮像を行う。撮像ユニット11cは、1フレーム毎に光源312を1色ずつ赤色、緑色、及び青色発光素子を順次発光させて、撮像素子311により3フレームの画像信号を撮像する。
出荷時には予め撮像素子311の欠陥位置情報が格納回路322に記憶されており、その欠陥位置情報に基づき補正回路323において、撮像素子311によって撮像された3フレームの画像信号は、後述する補正方法で個々に欠陥画素が補正される。
この画像信号は次に圧縮回路13cに入力される。圧縮回路13cにおける前処理回路331では、図13に示すように連続するR、G、Bのフレームから各フレーム毎に輝度信号Yと色差信号Cb、Crを生成し、エンコード回路132でJPEGやMPEG等に画像信号をエンコードして、送信回路14で生体外に送信する。
図11は欠陥補正を行う画素の位置関係を示す図である。
赤(R)、青(B)、緑(G)の発光素子である光源312が1フレーム毎に1色ずつ順次発光するように制御されているので、単色の画像信号に対して画素の欠陥を補正することになる。図11では、赤色画像信号を例として挙げるが、緑色画像信号、青色画像信号も同様の画素位置関係である。
例えば、図11の(A)は、同一ライン上の画素3002、3003を用いて欠陥画素3001の欠陥補正を行う例であり、(B)は、上下左右の画素3102〜3105を用いて欠陥画素3101の欠陥補正を行う例、(C)は、上下左右のほかに斜め方向の画素も加えた画素3202〜3209を用いて欠陥画素3201の欠陥補正を行う例である。
次に、欠陥補正方法について説明する。
例えば、図11の(C)の正常画素である上下左右斜めの画素の線形補間(加重平均値)を用いて、欠陥画素と置き換えて欠陥補正を行う。図12に近傍8画素で線形補間を行う場合の例を示す。
図12において、縦横の4画素3202〜3205の平均値をA、斜め方向の4画素3206〜3209の平均値をBとする。そして平均値Aと平均値Bから距離に反比例する加重平均として(数1−3)式の線形補間式に適応して、補正値Cを求める。
(数1−3)
A*(1−k)+B*k=C
ここで、kは欠陥画素に対する平均値A,Bを求める際に用いた画素群との距離に対応した係数で、0≦k≦1の実数である。図12の例では、例えばk=0.4である。
この実施例3の方法を用いると、比較的滑らかな画像信号が得られ、比較的高速に処理することができる利点がある。また、近傍に欠陥画素があるときには、その画素を除いた画素の平均値を適用することで、さらに精度の良い補正ができる。
次に、本発明の実施例4について説明する。図14〜図17が実施例4に係るものである。
本実施例は、実施例3とは、欠陥検出方法、欠陥補正方法及び圧縮の前処理の方法が異なっている。
図14は、本発明の実施例4に係る生体内撮像装置における、欠陥補正回路及び圧縮回路の構成を示す図である。図14では、実施例3の図10とは異なる構成の、欠陥補正回路12dと圧縮回路13dの構成のみを示し、撮像ユニット及び送信回路は図10と同様であるため省略してある。
図14において、符号12dは、前記撮像素子311の欠陥画素に係る前記画像信号を補正する欠陥補正回路であり、前記撮像素子311の画素欠陥を同一ライン上の隣接画素値から検出する為の検出回路421と、前記欠陥画素を同一ライン上の隣接画素値から補正する補正回路423とを備えて構成されている。この欠陥補正回路12dでは、例えば撮像毎に、欠陥画素の検出・補正を行うので、図10に示したような予め画素欠陥位置座標を記憶する格納回路は削除された構成となっている。
符号13dは、前記欠陥補正回路12dからの画像信号を圧縮する圧縮回路であり、画像信号をJPEGやMPEG等にエンコードするエンコード回路432のみから構成されている。
次に、図14に基づいて、本発明の実施例4に係る欠陥検出回路12dと圧縮回路13dの動作について説明する。
実施例3と同様の撮像ユニット11cによって撮像されたR、G、B3フレームの画像信号は、欠陥補正回路12dに入力される。検出回路421において、後述する欠陥検出方法によって欠陥が検出される。次に、補正回路423において後述する補正方法において欠陥補正を行う。実施例4では、撮像毎に、欠陥画素の検出、補正を行うので、撮像画像信号に応じた適切な欠陥補正ができる。また、初期的な欠陥のみならず、後発性の欠陥も検出することができる。
圧縮回路13dに画像信号を入力し、図17のようにR、G、Bそれぞれの色情報を別個にエンコード回路432で、JPEGやMPEG等にエンコードして、送信回路14で生体外に送信する。
本実施例では、図15に示すように、同一ライン上の近傍画素4004、4005を用いて注目画素4001の欠陥判定をする。欠陥判定は、例えば図8で説明したのと同様に、近傍画素4004、4005の平均値を取り、その平均値から第3の閥値D以上大きいかまたは、第4の閥値E以上小さい場合に、前記注目画素4001を欠陥画素と判定する。なお、4002〜4006のように前後数画素を用いて注目画素4001の欠陥検出を行っても良い。このように前後数画素を用いて欠陥検出を行う場合は、図8の平均値を用いた判定のほかに、図4で説明した近傍数画素の最大値、最小値を用いた判定を行ってもよい。なお、図15は、赤色に関してのものであるが、緑色,青色でも同様である。
次に、欠陥補正の方法を説明する。
注目画素4001が欠陥と判断された場合は、同一ライン上の画素で置き換えることにより、欠陥を補正する。図16に示すように、近傍画素4004、4005の平均値で補正しても良いし、4002〜4006の画素値に対して多次方程式や加重平均を適用して、注目画素4001の画素値を決定しても良い。本実施例を取ると、欠陥検出と同時に補正を実施できるため、欠陥画素の検出位置を記憶する格納回路としてのメモリが不要となる。また、欠陥の検出や補正に同一ライン上の画素のみを用いており前後のラインの画素情報を用いないため、ラインメモリを持つ必要がない。従って小規模な回路で、高速な修正が可能である。同色画素が連続して存在するため、単純に隣接画素の平均値で置き換えることができるので、補間される画素の連続性が得られ、高い補正効果が得られる。
以上説明した方法によると、実施例3と同様の効果が得られる。すなわち、比較的滑らかな画像信号が得られ、高速に処理することができる利点がある。また、本実施例ではR、G、B各フレーム毎に画像信号をJPEGやMPEG等にエンコードして出力し送信するので、前処理回路が必要ない。
次に、本発明の実施例5について説明する。図18は実施例5に係るものである。
本実施例は、実施例3とは、欠陥補正回路が同様であり、実施例4とは、圧縮回路と送信回路が同様である。従って、出荷時には予め撮像素子311の欠陥位置情報が格納回路322に記憶されており、その欠陥位置情報に基づき補正回路323において、撮像素子311によって撮像された画像信号は欠陥画素が補正される。
図18は、本実施例に係る撮像ユニット11eの構成を示す図である。
符号11eは、撮像ユニットであり、特定の波長に感度を有しているCCD、CMOS、NMOSなどの撮像素子311と、特定の波長で発光する光源511とを有する。光源511は、例えば短波長光源である。
次に、図18に基づいて本発明の実施例5に係る撮像ユニット11eの動作について説明する。
検査前に、被検者は予め、特定波長の光に反応してがん細胞が光る薬剤を飲んでから、生体内撮像装置を飲み込む。撮像したい個所に到達したら、光源511を発光させて、生体内を撮像素子311で撮像する。あらかじめ、特定の波長の光に反応する薬を飲んでいるので、光源511を発光することによって、がん細胞を効率的に発見することができる。
以上説明した方法によると、実施例3、および実施例4と同様の効果が得られる。また、本実施例ではがん細胞を効果的に検出することができる。
上記のように本発明を、実施例1〜5として説明したが、本発明における撮像ユニット内の撮像素子や光源、欠陥補正回路内の検出回路や補正回路の構成、圧縮回路の前処理回路の構成はそれぞれ種々の方法を組み合わせて実施することが可能である。
本発明は、生体内撮像装置および生体内撮像システムに限らず、デジタルカメラのような撮像装置における欠陥画素の検出及び補正に広く利用することが可能である。
本発明の実施例1〜5に係る生体内撮像システムの構成を示す図。 本発明の実施例1に係る生体内撮像装置の構成を示す図。 本発明の実施例1に係る、欠陥判定を行う画素の位置関係を示す図。 本発明の実施例1に係る、欠陥画素の判定方法を説明する図。 本発明の実施例1に係る、欠陥画素の補正方法を説明する図。 本発明の実施例2に係る生体内撮像装置における、欠陥補正回路の構成を示す図。 本発明の実施例2に係る、欠陥判定を行う画素の位置関係を示す図。 本発明の実施例2に係る、欠陥画素の判定方法を説明する図。 本発明の実施例2に係る、2点間で線形補間を行う場合の例を示す図。 本発明の実施例3に係る生体内撮像装置の構成を示す図。 本発明の実施例3に係る、欠陥補正を行う画素の位置関係を示す図。 本発明の実施例3に係る、近傍8画素で線形補間を行う場合の例を示す図。 本発明の実施例3に係る、前処理回路においてR、G、Bの各フレーム毎に輝度信号Yと色差信号Cb、Crを生成する動作を説明する図。 本発明の実施例4に係る生体内撮像装置における、欠陥補正回路及び圧縮回路の構成を示す図。 本発明の実施例4に係る、欠陥画素の判定方法を説明する図。 本発明の実施例4に係る、欠陥画素の補正方法を説明する図。 本発明の実施例4に係る、R、G、Bそれぞれのフレームを示す図。 本発明の実施例5に係る生体内撮像装置における、撮像ユニットの構成を示す図。 従来例の、生体内撮像装置の概略構成と、生体内撮像装置が撮像した画像信号を表示する表示システムの概略構成を示すブロック図。
符号の説明
1a…生体内撮像装置
11a…撮像ユニット
12a…欠陥補正回路
13a…圧縮回路
14…送信回路
代理人 弁理士 伊 藤 進

Claims (22)

  1. 体腔内に挿入され、被写体に係る画像信号を生成して送信する生体内撮像装置であって、
    複数の画素が、その受光面に配列され、その受光面に形成された被写体像を画像信号に変換する撮像ユニットと、
    前記撮像ユニットの欠陥画素に係る前記画像信号を補正する欠陥補正回路と、
    前記欠陥補正回路からの画像信号を圧縮する圧縮回路と、
    前記圧縮された画像信号を送信する送信回路と、
    を備えることを特徴とする生体内撮像装置。
  2. 前記欠陥補正回路は、前記欠陥画素を検出する検出回路と、検出された前記欠陥画素に係る画像信号を補正する補正回路とを有することを特徴とする請求項1記載の生体内撮像装置。
  3. 前記欠陥補正回路は、前記欠陥画素の位置を格納する格納回路をさらに有することを特徴とする請求項2記載の生体内撮像装置。
  4. 前記撮像ユニットは、前記受光面にカラーフィルターが貼付されたCCD、CMOS型またはNMOS型の撮像素子を有することを特徴とする請求項1記載の生体内撮像装置。
  5. 前記撮像ユニットは、特定の波長または、白色で発光する、1つ以上の発光素子からなる光源を有することを特徴とする請求項1記載の生体内撮像装置。
  6. 前記光源は、赤色、緑色、及び青色を発光する前記発光素子を備え、1フレーム毎に1色ずつ順次発光するように制御されることを特徴とする請求項5記載の生体内撮像装置。
  7. 前記欠陥補正回路は、予め前記格納回路に記憶されていた欠陥画素の位置情報に基づき、前記欠陥画素を補正することを特徴とする請求項3記載の生体内撮像装置。
  8. 前記欠陥補正回路は、装置起動時毎に、前記欠陥画素の位置を検出する請求項3記載の生体内撮像装置。
  9. 前記欠陥補正回路は、前記被写体を撮像する毎に、前記欠陥画素の位置を検出することを特徴とする請求項2記載の生体内撮像装置。
  10. 前記欠陥補正回路は、一定周期毎に、前記欠陥画素の位置を検出することを特徴とする請求項3の生体内撮像装置。
  11. 前記検出回路は、被検出画素と同ライン上の画素からの画像信号を用いて検出を行うことを特徴とする請求項8〜10までの何れか1項に記載の生体内撮像装置。
  12. 前記検出回路は、被検出画素に係る画像信号が、この被検出画素と同色の、複数の近傍画素に係る画像信号の内の、最大値から第1の閾値以上大きいかまたは、最小値から第2の閾値以上小さい場合に、前記被検出画素を欠陥画素とすることを特徴とする請求項8〜10までの何れか1項に記載の生体内撮像装置。
  13. 前記検出回路は、被検出画素に係る画像信号が、この被検出画素と同色の複数の近傍画素に係る画像信号の平均値から第3の閥値以上大きいかまたは、第4の閥値以上小さい場合に、前記被検出画素を欠陥画素とすることを特徴とする請求項8〜10までの何れか1項に記載の生体内撮像装置。
  14. 前記検出回路は、前記複数の近傍画素に係る画像信号の値に応じて、前記第1又は第3の閾値、第2又は第4の閾値の値を変更することを特徴とする請求項12又は13記載の生体内撮像装置。
  15. 前記検出回路は、被検出画素に係る画像信号と同色の、複数の近傍画素に係る画像信号の内、最大値、及び、最小値を除いた画像信号を用いて欠陥画素を検出することを特徴とする請求項8〜10までの何れか1項に記載の生体内撮像装置。
  16. 前記検出回路は、前記被検出画素とは異なる色の画素に係る画素信号を用いて、前記被検出画素に対する欠陥検出を更に行うことを特徴とする請求項11、12、13又は15までの何れか1項に記載の生体内撮像装置。
  17. 前記補正回路は、前記欠陥画素と同一ライン上の画素に係る画素を用いて、前記欠陥画素に係る画像信号の補正を行うことを特徴とする請求項2記載の生体内撮像装置。
  18. 前記補正回路は、前記欠陥画素に係る画像信号を、前記欠陥画素と同色の最近傍画素に係る画像信号で置き換えることを特徴とする請求項2記載の生体内撮像装置。
  19. 前記補正回路は、前記欠陥画素に係る画像信号を、前記欠陥画素と同色の近傍画素に係る画像信号から線形補間により求めることを特徴とする請求項2記載の生体内撮像装置。
  20. 前記光源を赤、緑、青で順次発光させて得られる3フレームの画像信号を1枚のカラー画像信号に合成する合成手段を更に有し、前記圧縮回路は、この合成手段からの画像信号出力に対して圧縮を行うことを特徴とする請求項6記載の生体内撮像装置。
  21. 前記圧縮回路は、前記光源を赤、緑、青で順次発光させて得られる3フレームの画像信号に対して、それぞれ別個に圧縮を行うことを特徴とする請求項6記載の生体内撮像装置。
  22. 請求項1〜21までの何れか1項に記載の生体内撮像装置と、前記生体内撮像装置とは離隔して設けられ、前記生体内撮像装置から送信された前記画像信号を受信して処理する受信処理装置とを有する生体内撮像システムであって、
    前記受信処理装置は、前記生体内撮像装置から送信される画像信号を受信する受信回路と、前記受信回路で受信した画像信号に対して所定の信号処理を行う信号処理回路とを備えることを特徴とする生体内撮像システム。
JP2004212091A 2004-07-20 2004-07-20 生体内撮像装置および生体内撮像システム Pending JP2006026234A (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2004212091A JP2006026234A (ja) 2004-07-20 2004-07-20 生体内撮像装置および生体内撮像システム
US11/181,992 US20060017826A1 (en) 2004-07-20 2005-07-15 In vivo image pickup device and in vivo image pickup system
EP05015464A EP1618833A1 (en) 2004-07-20 2005-07-15 In vivo image pickup device and in vivo image pickup system
US12/003,289 US20080122925A1 (en) 2004-07-20 2007-12-21 In vivo image pickup device and in vivo image pickup system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2004212091A JP2006026234A (ja) 2004-07-20 2004-07-20 生体内撮像装置および生体内撮像システム

Publications (1)

Publication Number Publication Date
JP2006026234A true JP2006026234A (ja) 2006-02-02

Family

ID=35033716

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004212091A Pending JP2006026234A (ja) 2004-07-20 2004-07-20 生体内撮像装置および生体内撮像システム

Country Status (3)

Country Link
US (2) US20060017826A1 (ja)
EP (1) EP1618833A1 (ja)
JP (1) JP2006026234A (ja)

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008113163A (ja) * 2006-10-30 2008-05-15 Fujitsu Ltd 欠陥画素補正回路、それを用いた画像処理システムおよび欠陥画素補正方法
JP2009088659A (ja) * 2007-09-27 2009-04-23 Fujifilm Corp 放射線画像撮影装置
JP2009302722A (ja) * 2008-06-11 2009-12-24 Nec Electronics Corp 欠陥画素処理装置および欠陥画素処理方法
JP2010227200A (ja) * 2009-03-26 2010-10-14 Rohm Co Ltd 内視鏡
JP2010233857A (ja) * 2009-03-31 2010-10-21 Rohm Co Ltd 内視鏡
JP2011071616A (ja) * 2009-09-24 2011-04-07 Toshiba Corp 画像処理装置
JP2012134783A (ja) * 2010-12-22 2012-07-12 Canon Inc 画像処理装置及び画像処理方法
WO2012128391A1 (en) * 2011-03-24 2012-09-27 Canon Kabushiki Kaisha Image capturing apparatus and defective pixel detection method
JP2013070117A (ja) * 2011-09-20 2013-04-18 Casio Comput Co Ltd 画像処理装置、画像処理方法及びプログラム
EP2670131A2 (en) 2012-05-28 2013-12-04 Fujifilm Corporation Videoscope and image correcting method thereof
US8629916B2 (en) 2008-08-19 2014-01-14 Rohm Co., Ltd. Camera with imaging unit and imaging unit for camera
WO2015098235A1 (ja) * 2013-12-25 2015-07-02 オリンパス株式会社 内視鏡システムおよび画素補正方法
JP2016167886A (ja) * 2011-03-24 2016-09-15 キヤノン株式会社 画像処理装置及び画像処理方法
JPWO2015029856A1 (ja) * 2013-08-27 2017-03-02 オリンパス株式会社 処理装置および内視鏡システム
WO2017183392A1 (ja) * 2016-04-22 2017-10-26 オリンパス株式会社 検査システムおよび内視鏡システム
US10271058B2 (en) 2016-06-16 2019-04-23 Panasonic Intellectual Property Management Co., Ltd. Imaging apparatus and imaging system
WO2020070832A1 (ja) * 2018-10-03 2020-04-09 オリンパス株式会社 内視鏡及び内視鏡システム
WO2021192644A1 (ja) * 2020-03-27 2021-09-30 Hoya株式会社 内視鏡及び内視鏡システム
US11451699B2 (en) 2017-07-20 2022-09-20 Samsung Electronics Co., Ltd. Device for correcting and compressing image error data, and method related thereto

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007023817A1 (ja) * 2005-08-23 2007-03-01 Nikon Corporation 画像処理システムおよび画像処理プログラム
US8043209B2 (en) * 2006-06-13 2011-10-25 Given Imaging Ltd. System and method for transmitting the content of memory storage in an in-vivo sensing device
US7889242B2 (en) * 2006-10-26 2011-02-15 Hewlett-Packard Development Company, L.P. Blemish repair tool for digital photographs in a camera
US8035704B2 (en) * 2008-01-03 2011-10-11 Aptina Imaging Corporation Method and apparatus for processing a digital image having defective pixels
CN103648378B (zh) 2011-05-12 2016-10-12 橄榄医疗公司 用于使用竖直互连的混合堆叠图像传感器的子列并行数字转换器的系统和方法
US9743057B2 (en) * 2012-05-31 2017-08-22 Apple Inc. Systems and methods for lens shading correction
JP6461790B2 (ja) 2012-07-26 2019-01-30 デピュー シンセス プロダクツ, インコーポレーテッドDePuy Synthes Products, Inc. 最小面積モノリシックcmosイメージセンサを用いたカメラシステム
US8885077B2 (en) * 2013-01-07 2014-11-11 Altasens, Inc. Dynamic, local edge preserving defect pixel correction for image sensors
WO2014145248A1 (en) 2013-03-15 2014-09-18 Olive Medical Corporation Minimize image sensor i/o and conductor counts in endoscope applications
WO2014145246A1 (en) 2013-03-15 2014-09-18 Olive Medical Corporation Image sensor synchronization without input clock and data transmission clock
KR102346961B1 (ko) * 2015-03-18 2022-01-04 삼성전자주식회사 이미지 처리 장치 및 이를 포함하는 노이즈 제거 시스템
JP6337228B2 (ja) * 2016-06-29 2018-06-06 オリンパス株式会社 内視鏡
JP6815818B2 (ja) * 2016-10-17 2021-01-20 キヤノン株式会社 放射線撮影システム及び放射線撮影方法
US11823417B2 (en) 2020-07-16 2023-11-21 Samsung Electronics Co., Ltd. Camera module, image processing system and image compression method

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0568209A (ja) * 1991-09-06 1993-03-19 Toshiba Corp Ccdデイジタルカメラ
JP2003275171A (ja) * 2002-01-18 2003-09-30 Olympus Optical Co Ltd カプセル内視鏡
JP2004023683A (ja) * 2002-06-20 2004-01-22 Fuji Photo Film Co Ltd 固体撮像素子の欠陥補正装置及び方法

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6509927B1 (en) * 1994-12-16 2003-01-21 Hyundai Electronics America Inc. Programmably addressable image sensor
JP3785520B2 (ja) * 1997-03-19 2006-06-14 コニカミノルタホールディングス株式会社 電子カメラ
US6618084B1 (en) * 1997-11-05 2003-09-09 Stmicroelectronics, Inc. Pixel correction system and method for CMOS imagers
GB9825086D0 (en) * 1998-11-17 1999-01-13 Vision Group Plc Defect correction in electronic imaging systems
US7116352B2 (en) * 1999-02-25 2006-10-03 Visionsense Ltd. Capsule
US7209168B2 (en) * 2001-04-11 2007-04-24 Micron Technology, Inc. Defective pixel correction method and system
US20030043263A1 (en) * 2001-07-26 2003-03-06 Arkady Glukhovsky Diagnostic device using data compression
US20030158503A1 (en) * 2002-01-18 2003-08-21 Shinya Matsumoto Capsule endoscope and observation system that uses it
US7283164B2 (en) * 2002-09-18 2007-10-16 Micron Technology, Inc. Method for detecting and correcting defective pixels in a digital image sensor
US7034874B1 (en) * 2003-03-17 2006-04-25 Biomorphic Vlsi, Inc Automatic bad pixel correction in image sensors
JPWO2004112593A1 (ja) * 2003-06-24 2006-07-27 オリンパス株式会社 カプセル型内視鏡及びカプセル型内視鏡システム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0568209A (ja) * 1991-09-06 1993-03-19 Toshiba Corp Ccdデイジタルカメラ
JP2003275171A (ja) * 2002-01-18 2003-09-30 Olympus Optical Co Ltd カプセル内視鏡
JP2004023683A (ja) * 2002-06-20 2004-01-22 Fuji Photo Film Co Ltd 固体撮像素子の欠陥補正装置及び方法

Cited By (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8085322B2 (en) 2006-10-30 2011-12-27 Fujitsu Semiconductor Limited Defect pixel correction circuit, image processing system using the same, and defect pixel correcting method
JP2008113163A (ja) * 2006-10-30 2008-05-15 Fujitsu Ltd 欠陥画素補正回路、それを用いた画像処理システムおよび欠陥画素補正方法
JP2009088659A (ja) * 2007-09-27 2009-04-23 Fujifilm Corp 放射線画像撮影装置
US8184162B2 (en) 2007-09-27 2012-05-22 Fujifilm Corporation Radiation image capturing apparatus
JP2009302722A (ja) * 2008-06-11 2009-12-24 Nec Electronics Corp 欠陥画素処理装置および欠陥画素処理方法
US8629916B2 (en) 2008-08-19 2014-01-14 Rohm Co., Ltd. Camera with imaging unit and imaging unit for camera
JP2010227200A (ja) * 2009-03-26 2010-10-14 Rohm Co Ltd 内視鏡
JP2010233857A (ja) * 2009-03-31 2010-10-21 Rohm Co Ltd 内視鏡
JP2011071616A (ja) * 2009-09-24 2011-04-07 Toshiba Corp 画像処理装置
US8964069B2 (en) 2009-09-24 2015-02-24 Kabushiki Kaisha Toshiba Image processing device and solid-state imaging device including a defect correcting function
JP2012134783A (ja) * 2010-12-22 2012-07-12 Canon Inc 画像処理装置及び画像処理方法
JP2016167886A (ja) * 2011-03-24 2016-09-15 キヤノン株式会社 画像処理装置及び画像処理方法
WO2012128391A1 (en) * 2011-03-24 2012-09-27 Canon Kabushiki Kaisha Image capturing apparatus and defective pixel detection method
JP2012213137A (ja) * 2011-03-24 2012-11-01 Canon Inc 撮像装置及び欠陥画素の検出方法
US9071781B2 (en) 2011-03-24 2015-06-30 Canon Kabushiki Kaisha Image capturing apparatus and defective pixel detection method
US8922681B2 (en) 2011-09-20 2014-12-30 Casio Computer Co., Ltd. Image processing device that performs image processing to correct target pixels in a region surrounding a defective pixel
JP2013070117A (ja) * 2011-09-20 2013-04-18 Casio Comput Co Ltd 画像処理装置、画像処理方法及びプログラム
JP2013244250A (ja) * 2012-05-28 2013-12-09 Fujifilm Corp 電子内視鏡装置及びその撮像画像補正方法
EP2670131A2 (en) 2012-05-28 2013-12-04 Fujifilm Corporation Videoscope and image correcting method thereof
JPWO2015029856A1 (ja) * 2013-08-27 2017-03-02 オリンパス株式会社 処理装置および内視鏡システム
WO2015098235A1 (ja) * 2013-12-25 2015-07-02 オリンパス株式会社 内視鏡システムおよび画素補正方法
CN105682534A (zh) * 2013-12-25 2016-06-15 奥林巴斯株式会社 内窥镜系统以及像素校正方法
US9538108B2 (en) 2013-12-25 2017-01-03 Olympus Corporation Endoscope system and pixel correction method
JP5873223B2 (ja) * 2013-12-25 2016-03-01 オリンパス株式会社 内視鏡システムおよび画素補正方法
WO2017183392A1 (ja) * 2016-04-22 2017-10-26 オリンパス株式会社 検査システムおよび内視鏡システム
JPWO2017183392A1 (ja) * 2016-04-22 2018-12-13 オリンパス株式会社 検査システムおよび内視鏡システム
US10271058B2 (en) 2016-06-16 2019-04-23 Panasonic Intellectual Property Management Co., Ltd. Imaging apparatus and imaging system
US10531104B2 (en) 2016-06-16 2020-01-07 Panasonic Intellectual Property Management Co., Ltd. Imaging apparatus and imaging system
US11451699B2 (en) 2017-07-20 2022-09-20 Samsung Electronics Co., Ltd. Device for correcting and compressing image error data, and method related thereto
WO2020070832A1 (ja) * 2018-10-03 2020-04-09 オリンパス株式会社 内視鏡及び内視鏡システム
WO2021192644A1 (ja) * 2020-03-27 2021-09-30 Hoya株式会社 内視鏡及び内視鏡システム

Also Published As

Publication number Publication date
EP1618833A1 (en) 2006-01-25
US20060017826A1 (en) 2006-01-26
US20080122925A1 (en) 2008-05-29

Similar Documents

Publication Publication Date Title
JP2006026234A (ja) 生体内撮像装置および生体内撮像システム
US11539880B2 (en) Super resolution and color motion artifact correction in a pulsed color imaging system
EP4113977A1 (en) Image acquisition method, imaging apparatus, electronic device, and readable storage medium
JP3984936B2 (ja) 撮像装置および撮像方法
US9117711B2 (en) Solid-state image sensor employing color filters and electronic apparatus
CN107534761B (zh) 成像装置、成像方法、图像处理装置
US20030028078A1 (en) In vivo imaging device, system and method
CN110709669B (zh) 信息处理装置和方法
JP2010093472A (ja) 撮像装置および撮像装置用信号処理回路
US11146760B2 (en) Imaging apparatus, imaging method, and computer readable recording medium
US20130050456A1 (en) Imaging device, endoscope device
JP4985124B2 (ja) 画像処理装置、画像処理方法、及び画像処理プログラム
US8419632B2 (en) Body-insertable apparatus having light adjustment control unit and in-vivo information acquisition system
US20230362307A1 (en) Transmitting apparatus, receiving apparatus, and transmission system
CN117135419A (zh) 影像感测电路和影像感测装置
JP2006081719A (ja) カプセル型内視鏡システム
JP2000224487A (ja) 撮像装置および撮像方法
JPWO2016174778A1 (ja) 撮像装置、画像処理装置および画像処理方法
US9729794B2 (en) Display device, display control method, and non-transitory recording medium
JP2010109863A (ja) 撮像装置及び携帯機器
JP2011041835A (ja) カプセル型内視鏡システム
JP3035855B2 (ja) 電子内視鏡装置
US8648901B2 (en) Imaging apparatus, imaging method and endoscope apparatus
JP2011211497A (ja) 画像入力装置
US20230222765A1 (en) Image processing device, image processing method, and storage medium

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20070424

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20100128

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100202

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20100601