JP6325755B2 - イメージセンサ、結像装置、モバイル端末及び結像方法 - Google Patents

Description

本出願は、２０１５年１２月１８日に中国国家知識産権局に提出された特許出願番号が２０１５１０９６３４６５．１である特許出願の優先権及び権益を主張するものであり、当該中国特許出願の全内容は参照により本明細書に組み入れられる。

本発明は、結像技術に関し、特にイメージセンサ、結像装置、モバイル端末及びイメージセンサの結像方法に関する。

関連結像装置のイメージセンサが低輝度の環境で生成した画像には、ノイズが大きく、解像度が悪いという問題が存在しかねない。

本発明の目的は、関連技術における少なくとも１つの技術的課題をある程度解決することである。

上記目的を達成するために、本発明の一態様の実施形態において、感光画素アレイと、該感光画素アレイに設けられたフィルタとを備え、該フィルタは、複数のフィルタユニットを有するフィルタユニットアレイを有し、各前記フィルタユニットがＮ個の感光画素をカバーし、一部の前記フィルタユニットが少なくとも白色のフィルタ領域を有し、該白色のフィルタ領域がＮ個の前記感光画素のうち少なくとも１つの前記感光画素をカバーし、同一の前記フィルタユニットによりカバーされたＮ個の前記感光画素が１つの合併画素を構成し、Ｎが正の整数であるイメージセンサが提供される。

本態様の実施形態において提供されたイメージセンサにより、一部のフィルタユニットに白色のフィルタ領域を嵌め込むことを通じて、入射光量を増大し、低輝度において比較的高い信号騒音比、輝度及び解像度を得るとともに、ノイズの比較的少ない画像を生成することができる。

本態様の一部の実施形態においては、前記フィルタユニットアレイがＲフィルタユニットと、Ｇフィルタユニットと、Ｂフィルタユニットとを備え、前記Ｇフィルタユニットが、少なくとも前記白色のフィルタ領域を有し、該白色のフィルタ領域が、前記ＧフィルタユニットによりカバーされたＮ個の前記感光画素のうち少なくとも１つの前記感光画素をカバーしてもよい。

本態様の一部の実施形態においては、各前記フィルタユニットが２＊２個の前記感光画素を有し、前記白色のフィルタ領域が、前記Ｇフィルタユニットによりカバーされた１つの前記感光画素をカバーし、前記Ｇフィルタユニットが緑色のフィルタ領域をさらに有し、該緑色のフィルタ領域が他の３つの前記感光画素をカバーしてもよい。又は、前記白色のフィルタ領域が、前記Ｇフィルタユニットによりカバーされた２つの前記感光画素をカバーし、前記Ｇフィルタユニットが前記緑色のフィルタ領域をさらに有し、該緑色のフィルタ領域が他の２つの前記感光画素をカバーしてもよい。又は、前記白色のフィルタ領域が、前記Ｇフィルタユニットによりカバーされた３つの前記感光画素をカバーし、前記Ｇフィルタユニットが前記緑色のフィルタ領域をさらに有し、該緑色のフィルタ領域が他の１つの前記感光画素をカバーしてもよい。又は、前記白色のフィルタ領域が、前記Ｇフィルタユニットによりカバーされた４つの感光画素をカバーしてもよい。

本態様の一部の実施形態においては、前記イメージセンサは、前記感光画素アレイを行ごとに順次露光するように制御する制御モジュールをさらに備えていてもよい。

本態様の一部の実施形態においては、前記イメージセンサは、レジスタをさらに備え、前記制御モジュールが、現在に露出されたｋ行目及びｋ＋１行目の前記感光画素の出力を順次に採取して前記レジスタに記憶し、そのうち、ｋ＝２ｎ−１であり、ｎが自然数であり、ｋ＋１が前記感光画素アレイの総行数以下であってもよい。

本態様の一部の実施形態においては、前記イメージセンサは、複数のＡＤ変換器を有するＡＤ変換器アレイをさらに備え、各前記ＡＤ変換器が１つの前記感光画素に接続されてもよい。

本態様の一部の実施形態においては、前記イメージセンサは、マイクロレンズアレイをさらに備え、各前記マイクロレンズが１つの前記感光画素に対応してもよい。

上記目的を達成するために、本発明の他の態様の実施形態において、前記イメージセンサと、該イメージセンサに接続される画像処理モジュールとを備え、該画像処理モジュールが前記イメージセンサにおける前記感光画素アレイの出力を読み出し処理して前記合併画素の画素値を取得して合併画像を形成する結像装置が提供される。

本態様の実施形態において提供された結像装置により、上記イメージセンサを通じて、入射光量を増大し、低輝度において比較的高い信号騒音比、輝度及び解像度を得るとともに、ノイズの比較的少ない画像を生成することができる。

本態様の一部の実施形態においては、前記フィルタユニットが前記白色のフィルタ領域のみ又は非白色のフィルタ領域のみを有する場合、前記画像処理モジュールが、同一の前記合併画素に対応するＮ個の前記感光画素の出力を加算して前記合併画素の画素値としてもよい。

本態様の一部の実施形態においては、前記フィルタユニットが前記白色のフィルタ領域と非白色のフィルタ領域とを有する場合、前記画像処理モジュールが、前記合併画素における前記白色のフィルタ領域に対応する前記感光画素の出力を加算して前記合併画素の第１画素値とし、また、前記合併画素における前記非白色のフィルタ領域に対応する前記感光画素の出力を加算して前記合併画素の第２画素値としてもよい。

合併画素の雑音が、合併前の各画素の雑音の和より小さいため、合併画素を通じて、低輝度においての信号騒音比、輝度及び解像度をさらに高め、画像のノイズをさらに減らすことができる。

上記目的を達成するために、本発明の他の態様の実施形態において、上記結像装置を備えるモバイル端末がさらに提供される。

本態様の実施形態において提供されたモバイル端末により、上記結像装置を通じて、入射光量を増大し、低輝度において比較的高い信号騒音比、輝度及び解像度を得るとともに、ノイズの比較的少ない画像を生成することができる。また、合併画素の雑音が、合併前の各画素の雑音の和より小さいため、合併画素を通じて、低輝度においての信号騒音比、輝度及び解像度をさらに高め、画像のノイズをさらに減らすことができる。

本態様の一部の実施形態においては、前記モバイル端末が携帯電話であってもよい。

本態様の一部の実施形態においては、前記結像装置が前記携帯電話のフロントカメラであってもよい。

本態様の一部の実施形態においては、前記モバイル端末が、前記結像装置に接続される中央処理装置と外部メモリとをさらに備え、前記中央処理装置が、前記外部メモリが前記合併画像を記憶するように制御してもよい。

本態様の一部の実施形態においては、前記モバイル端末が、前記結像装置に接続される中央処理装置と表示装置とをさらに備え、前記中央処理装置が、前記表示装置が前記合併画像を表示するように制御してもよい。

上記目的を達成するために、本発明の他の態様の実施形態において、上記イメージセンサの結像方法が提供され、該結像方法は、前記イメージセンサにおける前記感光画素アレイの出力を読み出すステップと、同一の前記合併画素の前記感光画素の出力に基づいて、前記合併画素の画素値を計算して合併画像を生成するステップとを含む。

本態様の実施形態において提供された結像方法により、上記イメージセンサを通じて、入射光量を増大し、低輝度において比較的高い信号騒音比、輝度及び解像度を得るとともに、ノイズの比較的少ない画像を生成することができる。

本態様の一部の実施形態においては、各前記フィルタユニットが２＊２個の前記感光画素を有し、同一の前記合併画素の前記感光画素の出力に基づいて、前記合併画素の画素値を計算する前記ステップは、具体的には、ｋ行目及びｋ＋１行目の前記感光画素の出力を採取してレジスタに記憶し、そのうち、ｋ＝２ｎ−１であり、ｎが自然数であり、ｋ＋１が前記感光画素アレイの総行数以下であるステップと、前記レジスタからｋ行目及びｋ＋１行目の前記感光画素の出力を抽出し、前記合併画素の画素値を得るステップとを含んでいてもよい。

本態様の一部の実施形態においては、前記フィルタユニットが前記白色のフィルタ領域のみ又は非白色のフィルタ領域のみを有する場合、同一の前記合併画素の前記感光画素の出力に基づいて、前記合併画素の画素値を計算して合併画像を生成するステップは、同一の前記合併画素に対応するＮ個の前記感光画素の出力を加算して前記合併画素の画素値とするステップをさらに含んでいてもよい。

本態様の一部の実施形態においては、前記フィルタユニットが前記白色のフィルタ領域と非白色のフィルタ領域とを有する場合、前記合併画素の画素値は、前記白色のフィルタ領域に対応する前記第１画素値と、前記非白色のフィルタ領域に対応する第２画素値とを有し、同一の前記合併画素の前記感光画素の出力に基づいて、前記合併画素の画素値を計算して合併画像を生成するステップは、前記合併画素における前記白色のフィルタ領域に対応する前記感光画素の出力を加算して前記合併画素の前記第１画素値とするステップと、前記合併画素における前記非白色のフィルタ領域に対応する前記感光画素の出力を加算して前記合併画素の前記第２画素値とするステップとをさらに含んでいてもよい。

合併画素の雑音が、合併前の各画素の雑音の和より小さいため、合併画素を通じて、低輝度においての信号騒音比、輝度及び解像度をさらに高め、画像のノイズをさらに減らすことができる。

本態様の一部の実施形態においては、各前記感光画素がそれぞれ１つのＡＤ変換器に接続され、前記結像方法は、前記感光画素によるアナログ信号の出力をデジタル信号の出力に変換するステップと、同一の前記合併画素の前記感光画素の前記デジタル信号の出力に基づいて前記合併画素の画素値を計算するステップとをさらに含んでいてもよい。

本発明の一実施形態に係るイメージセンサの側面概略図である。 本発明の一実施形態に係るイメージセンサにおける一部フィルタユニットの概略図である。 本発明の一実施形態に係るイメージセンサにおける一部フィルタユニットの概略図である。 本発明の一実施形態に係るイメージセンサにおける一部フィルタユニットの概略図である。 本発明の一実施形態に係るイメージセンサにおける一部フィルタユニットの概略図である。 べイヤー構造のフィルタユニットアレイの概略図である。 本発明の一実施形態に係るイメージセンサにおけるフィルタユニットアレイの概略図である。 本発明の一実施形態に係るイメージセンサにおけるフィルタユニットアレイの概略図である。 本発明の一実施形態に係るイメージセンサにおけるフィルタユニットアレイの概略図である。 本発明の一実施形態に係るイメージセンサにおけるフィルタユニットアレイの概略図である。 本発明の一実施形態に係るイメージセンサの構造の斜視概略図である。 本発明の一実施形態に係るイメージセンサの構造の斜視概略図である。 本発明の一実施形態に係るイメージセンサの構造の斜視概略図である。 本発明の一実施形態に係るイメージセンサの構造の斜視概略図である。 本発明の一実施形態に係るイメージセンサのブロック線図である。 本発明の一実施形態に係るイメージセンサにおける感光画素の回路構成概略図である。 本発明の一実施形態に係るイメージセンサのブロック線図であり、イメージセンサはＡＤ変換器を備えている。 本発明の一実施形態に係るイメージセンサの構造の斜視概略図であり、イメージセンサはマイクロレンズアレイを備えている。 本発明の一実施形態に係る結像装置のブロック線図である。 本発明の一実施形態に係るモバイル端末のブロック線図である。 本発明の他の実施形態に係るモバイル端末のブロック線図である。 本発明の一実施形態に係る結像方法のフロートチャートである。 本発明の一実施形態に係る結像方法における感光画素の出力を読み出すとともに画像を生成するフロートチャートである。 本発明の一実施形態に係る結像方法における感光画素出力を処理するとともに画像を生成するフロートチャートである。

以下に、本発明の実施形態を詳しく説明する。上記実施形態の一例が図面に示されるが、そのうち、同一または類似する符号は、常に相同又は類似の部品、又は相同又は類似の機能を有する部品を表す。以下に、図面を参照しながら説明される実施形態は例示的なものであり、本発明を解釈するために用いられ、本発明を限定するものと理解されてはいけない。

以下に、図面を参照して本発明の一実施形態において提供されたイメージセンサ、結像装置、モバイル端末及び結像方法を説明する。

図１及び図２ａ〜２ｄの一実施形態に示されるように、本発明の一実施形態に係るイメージセンサ１０は、感光画素アレイ１１と、感光画素アレイ１１に設けられたフィルタ１３とを備える。

フィルタ１３は、フィルタユニットアレイ１３１を有する。フィルタユニットアレイ１３１は複数のフィルタユニット１３１１を有し、各フィルタユニット１３１１がＮ個の感光画素１１１をカバーし、一部のフィルタユニット１３１１が少なくとも白色のフィルタ領域１３１３を有し、白色のフィルタ領域１３１３がＮ個の感光画素のうち少なくとも１つの感光画素をカバーし、同一のフィルタユニットによりカバーされたＮ個の感光画素が１つの合併画素を構成し、Ｎが正の整数である。外部光線はフィルタ１３を通過して感光画素１１１の感光部分１１１１に照射して電気信号、即ち感光画素１１１の出力を生成する。

説明する必要があるのは、白色のフィルタ領域１３１３は主に自然光を透過させることで、光を濾過することではない。従って、白色のフィルタ領域１３１３は、透明なフィルタが設けられた領域を指してもよいし、フィルタなしの領域を指してもよい。即ち、フィルタ１３の中の「透かし彫り」領域である。

また、説明する必要があるのは、一部のフィルタユニット１３１１以外の他のフィルタユニット１３１１は、非白色のフィルタ領域、例えば緑色のフィルタ領域、赤色のフィルタ領域又は青色のフィルタ領域だけを有し、白色のフィルタ領域を有していない。また、白色のフィルタ領域１３１３がカバーする感光画素の数がＮより小さい場合、一部のフィルタユニット１３１１は非白色のフィルタ領域を有していてもいい。言い換えると、一部のフィルタユニット１３１１は白色のフィルタ領域１３１３と非白色のフィルタ領域との２つの部分からなり、この２つの部分は共に、対応するＮ個の感光画素をカバーする。そのうち、非白色のフィルタ領域が合併画素の色彩情報を取得することに用いられ、白色のフィルタ領域が「白光」の全体の情報を取得することに用いられ、即ち白色のフィルタ領域は自然光を透過させることができるため、白色のフィルタ領域に更なる良い透光効果があり、感光画素の出力の輝度値をさらに高くする。白色のフィルタ領域が低輝度の状況において合併画素の輝度情報を取得することができ、当該輝度情報のノイズが比較的少ない。

本発明の一実施形態に係るイメージセンサは、一部のフィルタユニットに白色のフィルタ領域を嵌め込み、低輝度において合併画素の輝度情報を取得し、しかもこの輝度情報の雑音が比較的少なく、これによって生成された合成画像の画素値が色彩情報を含むだけではなく、雑音度の低い輝度情報も含み、合成された画像の輝度及び解像度がいずれも比較的良好で、ノイズが少ない。

本発明の一部の一実施形態においては、本発明の一実施形態におけるフィルタユニットアレイは、基本的に、図３に示されるようにべイヤーパターン（Ｂａｙｅｒ ｐａｔｔｅｒｎ）に従って配列され、べイヤーパターンの中はフィルタ構造１３１７を有し、各フィルタ構造１３１７が２＊２個のフィルタユニット１３１１を有し、それぞれが緑色、赤色、青色、緑色のフィルタユニット１３１１である。

べイヤー構造を用いる場合、べイヤー構造に対する伝統的なアルゴリズムで画像信号を処理することができ、ハードウェアの構成において大きく調整する必要はない。

図４ａ〜４ｄに示されるように、フィルタユニットアレイ１３１は、Ｒ（赤色）フィルタユニット１３１１と、Ｇ（緑色）フィルタユニット１３１１と、Ｂ（青色）フィルタユニット１３１１とを有し、Ｇフィルタユニット１３１１が少なくとも白色フィルタ領域１３１３を有し、白色フィルタ領域がＧフィルタユニットによりカバーされたＮ個の感光画素のうち少なくとも１つの感光画素１１１をカバーする。

具体的には、伝統的なフィルタユニットアレイの構造において、各フィルタユニットが１つの感光画素に対応する。本発明の一部の実施形態において、フィルタユニットアレイ１３１はバイヤー構造を用いることができ、フィルタ構造１３１７を有し、各フィルタ構造１３１７がＧ、Ｒ、Ｂ、Ｇフィルタユニット１３１１を有し、伝統的な構造と異なるのは、本発明の実施形態における各フィルタユニット１３１１がＮ個の感光画素１１１に対応する。

そのうち、各Ｇフィルタユニット１３１１は、白色のフィルタ領域１３１５を有し、当該白色のフィルタ領域１３１５がＮ個の感光画素の中の少なくとも１つの感光画素１１１に対応する。また、白色のフィルタ領域１３１５がカバーした感光画素１１１の数がＮより小さい場合、Ｇフィルタユニット１３１１は、Ｎ個の感光画素の中の他の感光画素に対応する緑色のフィルタ領域１３１５をさらに有する。なお、各Ｒフィルタユニット１３１１は、赤色のフィルタ領域だけを有し、白色のフィルタ領域を有しておらず、即ち、赤色のフィルタ領域は、Ｒフィルタユニット１３１１に対応する４つの感光画素をカバーする。同じく、各Ｂフィルタユニット１３１１は、青色のフィルタ領域だけを有し、白色のフィルタ領域を有しておらず、即ち、青色のフィルタ領域は、Ｂフィルタユニット１３１１に対応する４つの感光画素をカバーする。

図４ａ〜４ｄ及び図５ａ〜５ｄに示されるように、各フィルタユニット１３１１は２＊２個の感光画素を有し、即ち、各フィルタユニット１３１１が２＊２個の感光画素１１１をカバーして合併画素を生成する。

２＊２の構造以外に、３＊３、４＊４、ひいては任意のｎ＊ｍなどの構造（ｎ、ｍが自然数である）もある。理解できるのは、感光画素アレイ１１に配列できる感光画素１１１の数が限られており、各合併画素に含まれる感光画素１１１が過多であれば、画像の解像度の大きさが制約される。例えば、感光画素アレイ１１の画素値が１６Ｍであれば、２＊２の合併画素構造を用いて解像度が４Ｍである合併画像を得るが、４＊４の構造を用いて解像度が１Ｍである合併画像しか得られない。従って、２＊２の合併画素構造が１つの比較的好適な配列方式であり、解像度をできるだけ少なく犠牲する前提で画像の輝度及びシャープネスを高める。同時に、２＊２の構造でハードウェアにおいて感光画素の出力の読み取り及び合併処理が実現されることにより便利になる。

図４ａ及び図５ａに示されるように、白色のフィルタ領域１３１３は、Ｇフィルタユニット１３１１によりカバーされた１つの感光画素をカバーし、Ｇフィルタユニット１３１１が緑色のフィルタ領域１３１５をさらに有し、緑色のフィルタ領域１３１５が他の３つの感光画素をカバーしてもよい。又は、図４ｂ及び図５ｂに示されように、白色のフィルタ領域１３１３は、Ｇフィルタユニット１３１１によりカバーされた２つの感光画素をカバーし、Ｇフィルタユニット１３１１が緑色のフィルタ領域１３１５をさらに有し、緑色のフィルタ領域１３１５が他の２つの感光画素をカバーしてもよい。又は、図４ｃ及び図５ｃに示されるように、白色のフィルタ領域１３１３は、Ｇフィルタユニット１３１１によりカバーされた３つの感光画素をカバーし、Ｇフィルタユニット１３１３が緑色のフィルタ領域１３１５をさらに有し、緑色のフィルタ領域１３１５が他の１つの感光画素をカバーしてもよい。又は、図４ｄ及び図５ｄに示されるように、白色のフィルタ領域１３１３は、Ｇフィルタユニット１３１１によりカバーされた４つの感光画素をカバーしてもよい。

このように、Ｇフィルタユニット１３１３において、非白色のフィルタ領域１３１５である緑色のフィルタ領域と白色のフィルタ領域１３１３とは、合併画素のＮ個の感光画素１１１を十分にカバーすることができる。又は、白色のフィルタ領域１３１３は単独に合併画素のＮ個の感光画素１１１を十分にカバーすることができるが、Ｒフィルタユニット１３１１において、非白色のフィルタ領域１３１５である赤色のフィルタ領域は、単独で合併画素のＮ個の感光画素１１１を十分にカバーする。また、Ｂフィルタユニット１３１１において、非白色のフィルタ領域１３１５である青色のフィルタ領域は、単独で合併画素のＮ個の感光画素１１１を十分にカバーする。

本発明の一実施形態においては、図６に示されるように、イメージセンサは、感光画素アレイ１１を行ごとに順次露光するように制御する制御モジュール１７をさらに有していてもよい。具体的には、制御モジュール１７が行選択論理ユニット１７１と列選択論理ユニット１７３とに接続され、感光画素１１１の出力を行ごとに順次処理することを制御する。

行ごとに順次露光するとともに出力する方式は、ハードウェアでより実現されやすい。

さらに、図６に示されるように、イメージセンサ１０は、レジスタ１９をさらに備え、制御モジュール１７は、現在に露出されたｋ行目及びｋ＋１行目の感光画素１１１の出力を順次に採取するとともにレジスタ１９に記憶し、そのうち、ｋ＝２ｎ−１であり、ｎが自然数であり、ｋ＋１が感光画素アレイ１１の総行数以下である。

このようにすると、レジスタを十分に利用することにより、感光ユニットの出力の読み出し、バファー及び合併を行う過程を実現することができ、ハードウェアなら実現しやすい上に、処理スピードが比較的早い。

具体的には、図６及び図７に示されるように、イメージセンサ１０は、行選択論理ユニット１７１と、列選択論理ユニット１７３とを備えている。そのうち、行選択論理ユニット１７１及び列選択論理ユニット１７３は、制御モジュール１７にそれぞれ接続され、行選択論理ユニット１７１及び列選択論理ユニット１７３は、各感光画素１１１に対応するスイッチ管１１１５に接続される。制御モジュール１７は、行選択論理ユニット１７１及び列選択論理ユニット１７３を制御して特定位置にある感光画素１１１のスイッチ１１１５と選択的に連通させる。

制御モジュール１７は、まず第１行及び第２行の感光画素の出力を採取するとともにレジスタ１９に記憶する。フォローアップ回路は、位置座標が１−１、１−２、２−１、２−２である４つの感光画素１１１の出力を処理して合併画素の画素値を得る。そのうち、位置座標の左数字が行を表し、右数字が列を表す。

それから、位置座標が１−３、１−４、２−３、２−４である４つの感光画素の出力を処理して相応する合併画素の画素値を得る。

このように、第１行及び第２行の最後の１組の４つの感光画素の処理が完成されるまで類推する。

以上の処理方式に従って、全部の感光画素の出力の処理がすべて完成されるまで第３行及び第４行、第５行及び第６行などの感光画素の出力を処理する。

本発明の一実施形態においては、図７及び８に示されるように、イメージセンサ１０は、ＡＤ変換器２１アレイをさらに備え、各ＡＤ変換器２１が１つの感光画素１１１に接続され、ＡＤ変換器２１が感光画素１１１のアナログ信号の出力をデジタル信号の出力に変換してもよい。

図７の一例に示されるように、感光画素１１１はフォトダイオード１１１３を有する。フォトダイオード１１１３が光を電荷に転化させ、また生成された電荷と光強度とが比例関係となる。スイッチ管１１１５は行選択論理ユニット１７１及び列選択論理ユニット１７３の制御信号に基づいて回路の導通及び遮断を制御する。回路が導通される場合、ソースフォロアー１１１７（ｓｏｕｒｃｅ ｆｏｌｌｏｗｅｒ）は、フォトダイオード１１１３の、光による電荷信号を電圧信号に転化させる。ＡＤ変換器２１１（Ａｎａｌｏｇ−ｔｏ−ｄｉｇｉｔａｌ ｃｏｎｖｅｒｔｅｒ）は電圧信号をデジタル信号に転換し、フォローアップ回路に転送し、処理してもらう。

この出力処理方式で感光画素の出力がデジタル信号に転化され、フォローアップデジタル回路又はチップにおいて、ソフトウェアで処理される。従って、各感光画素の出力情報が保留されることができる。例えば、１６Ｍ画素のイメージセンサにとって、本発明の一実施形態に係る結像方法は、１６Ｍ画素（即ち合併前の画像）の情報を保留することができ、この上で、処理を経て、４Ｍ画素の合併画像又は他の解像度の画像を得る。最終的に生成された画像に悪点が現れる確率が比較的低い。なお、この出力処理方式の雑音が比較的小さく、信号雑音比が比較的高い。

本発明の一実施形態においては、図９に示されるように、イメージセンサ１０は、フィルタ１３に設けられたマイクロレンズアレイ２３を備え、各マイクロレンズ２３１が１つの感光画素１１１に対応してもよい。

具体的には、各マイクロレンズ２３１が１つの感光画素１１１に対応し、大きさ、位置の対応を含む。一部の実施形態においては、各フィルタユニット１３１１が２＊２個の感光画素１１１及び２＊２個のマイクロレンズ１９１に対応する。技術の発達に伴い、解像度のさらに高い画像を得るために、フィルタ上の感光画素１１１がますます多くなってきて、配列がますます密集になってき、単一の感光画素１１１もますます小さくなってきているため、その受光が影響され、また感光画素１１１の感光部分１１１１の面積が限られており、マイクロレンズ１９１は光を感光部分１１１１に集め、感光画素１１１の受光強度を高めて画像の画質を改善することができる。

以上、本発明の一実施形態に係るイメージセンサにより、一部のフィルタユニットに白色のフィルタ領域を嵌め込み、低輝度において合併画素の輝度情報を取得し、しかもこの輝度情報の雑音が比較的少なく、これによって生成された合成画像の画素値が色彩情報を含むだけではなく、低雑音度の輝度情報も含み、合成画像の輝度及び解像度がいずれも比較的良好で、ノイズが少ない。

本発明の一実施形態に係る結像装置１００をさらに提供する。

図１０に示されるように、本発明の一実施形態に係る結像装置１００は、本発明の一実施形態に係るイメージセンサ１０と、イメージセンサ１０に接続される画像処理モジュール５０とを備え、画像処理モジュール５０は感光画素アレイ１１の出力を読み出し処理して合併画素の画素値を取得して合併画像を形成する。

具体的には、イメージセンサ１０は、制御モジュール１７と、行選択論理ユニット１７１と、列選択論理ユニット１７３と、ＡＤ変換器アレイ２１と、レジスタ１９とを備えている。すべての感光画素の出力が処理されて合併画像が生成されるまで、感光画素アレイ１１の出力が、ＡＤ変換器アレイ２１によりデジタル信号に変換され、レジスタ１９に行ごとに逐次記憶し、画像処理モジュール５０に転送して処理してもらう。

このようにすることで、画像処理モジュール５０は、同一の合併画素の感光画素の出力に基づいて合併画素の画素値を計算して合併画像を生成する。

具体的には、本発明の一実施形態において、フィルタユニットが白色のフィルタ領域のみ又は非白色のフィルタ領域のみを有する場合、画像処理モジュール５０は、さらに、同一の合併画素のＮ個の感光画素の出力を加算して合併画素の画素値とする。

また、フィルタユニットが白色のフィルタ領域と非白色のフィルタ領域とを有する場合、画像処理モジュール５０は、さらに、合併画素における白色のフィルタ領域に対応する感光画素の出力を加算して合併画素の第１画素値とし、また、合併画素における非白色のフィルタ領域に対応する感光画素の出力を加算して合併画素の第２画素値とする。

即ち、各フィルタユニットにおいて、同じ色のフィルタがカバーした感光画素の出力を加算して画素値を取得する。図４ｂを一例とし、各フィルタ構造において、左上隅及び右下隅に位置するＧフィルタユニットにおいて、白色のフィルタ領域がカバーした２つの感光画素を足すだけで合併画素の第１画素値とすることができ、緑色のフィルタ領域がカバーした２つの感光画素を足すだけで合併画素の第２画素値とすることができる。左上隅に位置するＢフィルタユニットにおいて、青色のフィルタ領域がカバーした４つの感光画素を足すだけで合併画素の画素値とすることができる。右下隅に位置するＲフィルタユニットにおいて、赤色のフィルタ領域がカバーした４つの感光画素を足すだけで合併画素の画素値とすることができる。

画像処理モジュール５０は、Ｇフィルタユニットの合併画素の第１画素値と、Ｇフィルタユニットの合併画素の第２画素値と、Ｂフィルタユニットの合併画素の画素値と、Ｒフィルタユニットの合併画素の画素値とに基づいて合併画素を生成することができる。このようにすることで、複数の感光画素の出力を足すことで形成された合併画素の信号雑音比がさらに高い。例えば、元の各感光画素の出力をＳ、雑音をＮｓとし、合併画素がＮ個の感光画素を含むとしたら、合併画素の画素値がＮ＊Ｓとなり、合併画素の雑音が

となり、Ｎが１以上の正の整数である。理解できるのは、Ｎ＞１の場合、合併画素の雑音が合併前の各感光画素の出力の雑音の和より小さい。例えば、Ｎ＝４の場合、合併画素の雑音がＮｓ/２であり、Ｎｓ/２が合併前の各感光画素出の出力の雑音の和４＊Ｎｓより小さい。合併画素の出力が合併前の各感光画素の出力の和であるため、合併後の画像の全体は雑音が下がり、信号雑音比が向上され、解像度が高めされる。以上、本発明の一実施形態に係る結像装置において、イメージセンサは、一部のフィルタユニットに白色のフィルタ領域を嵌め込み、低輝度において合併画素の輝度情報を取得し、しかもこの輝度情報の雑音が比較的少なく、これによって生成された合成画像の画素値が色彩情報を含むだけではなく、低雑音度の輝度情報も含み、合瀬画像の輝度及び解像度がいずれも比較的良好で、ノイズが少ない。また、合併画素の雑音が合併前の各感光画素の出力の雑音の和より小さいため、画像プロセッサを介して画素を合併することは、低輝度においての信号雑音比、輝度及び解像度をさらに高め、画像のノイズをさらに減らすことができる。

本発明において結像装置を応用するモバイル端末がさらに提供される。

本発明の一実施形態において、モバイル端末は、上記実施形態に係る結像装置を備える。従って、モバイル端末は、撮影機能を有するとともに、低輝度において色彩が完全的で、信号雑音比が高く、解像度が高い合併画像を生成することができる。

モバイル端末は携帯電話であってもよい。

本発明の一実施形態において、結像装置は、携帯電話のフロントカメラであってもよい。フロントカメラがユニットフ撮影に使用されることは多いが、ユニットフ撮影について、一般的に画像の解像度に対する要求があり、画像の解像度に対する要求が高くないため、本発明の一実施形態に係るモバイル端末を用いることでこの要求を満たすことができる。

さらに、図１１に示されるように、モバイル端末２００は、結像装置１００に接続される中央処理装置８１と外部メモリ８３とをさらに備え、中央処理装置８１は、外部メモリ８３が合併画像を記憶・合併することを制御するようにしてもよい。

これにより、生成された合併画像が記憶されることができ、以後の調査、使用又は移動が便利になる。外部メモリ８３は、ＳＭ（Ｓｍａｒｔ Ｍｅｄｉａ：登録商標）カード及びＣＦ（Ｃｏｍｐａｃｔ Ｆｌａｓｈ）カードなどを含む。

さらに、図１２に示されるように、モバイル端末２００は、結像装置１００に接続される中央処理装置８１と表示装置８５とをさらに備え、中央処理装置８１は、表示装置８５が合併画像を表示することを制御するようにしてもよい。これにより、モバイル端末２００が撮影した画像は、ユーザの調査のために表示装置に表示される。表示装置はＬＥＤディスプレイなどを含む。

以上、本発明の一実施形態に係るモバイル端末を用いることは、撮影機能を有するとともに、低輝度において、色彩が完全的で、信号雑音比が高く、解像度が高い合併画像を生成することができる。特に、このモバイル端末が携帯電話のフロントカメラである場合、低輝度においてユニットフ撮影された画像の輝度及び解像度を高め、ノイズを減らすことができる。

本発明の一実施形態に係るイメージセンサの結像方法がさらに提供される。

図１３に示されるように、本発明の一実施形態に係るイメージセンサの結像方法はＳ１ステップとＳ２ステップとを含む。

Ｓ１ステップにおいて、イメージセンサにおける感光画素アレイの出力を読み出す。

そのうち、イメージセンサは、感光画素アレイと、感光画素アレイに設けられたフィルタとを備え、フィルタは、フィルタユニットアレイを有する。フィルタユニットアレイは、複数のフィルタユニットを有し、各フィルタユニットがＮ個の感光画素をカバーし、一部のフィルタユニットが少なくとも白色のフィルタ領域を有し、白色のフィルタ領域がＮ個の感光画素のうち少なくとも１つの感光画素をカバーし、同一のフィルタユニットがカバーするＮ個の感光画素が一つの合併画素を構成し、Ｎが正の整数である。外部光線がフィルタを通過して感光画素の感光部分に照射して電気信号、即ち感光画素の出力を生成する。

これにより、一部のフィルタユニットに白色のフィルタ領域を嵌め込み、低輝度において合併画素の輝度情報を取得し、しかもこの輝度情報の雑音が比較的少なく、これによって生成された合成画像の画素値が色彩情報を含むだけではなく、低雑音度の輝度情報も含み、合成画像の輝度及び解像度がいずれも比較的良好で、ノイズが少ない。

Ｓ２ステップにおいて、同一の合併画素の感光画素の出力に基づいて、合併画素の画素値を計算して合併画像を生成する。

具体的には、フィルタユニットが白色のフィルタ領域のみ又は非白色のフィルタ領域のみを有する場合、同一の合併画素の感光画素の出力に基づいて、合併画素の画素値を計算して合併画像を生成するステップ、即ち、ステップＳ２は、同一の合併画素に対応するＮ個の感光画素の出力を加算して合併画素の画素値とするステップをさらに含む。

また、フィルタユニットが白色のフィルタ領域と非白色のフィルタ領域とを有する場合、合併画素の画素値は、白色のフィルタ領域に対応する第１画素値と、非白色のフィルタ領域に対応する第２画素値とを含み、同一の合併画素の感光画素の出力に基づいて、合併画素の画素値を計算して合併画像を生成するステップ、即ちステップＳ２は、合併画素における白色のフィルタ領域に対応する感光画素の出力を加算して合併画素の第１画素値とするステップと、合併画素における非白色のフィルタ領域に対応する感光画素の出力を加算して合併画素の第２画素値とするステップとをさらに含む。

このようにすることで、画素合併の方法で、合併画素の出力が合併前の各画素出力の和であり、合併画素の雑音が合併前の各画素雑音の和より小さいため、合併後に生成された画像のノイズが比較的少なく、信号雑音比が比較的高い。さらに、本発明の一実施形態においては、図１４に示されるように、同一の合併画素の感光画素の出力に基づいて合併画素の画素値を計算するステップ、即ちステップＳ２は、具体的には、Ｓ２１ステップとＳ２２ステップとを含んでいてもよい。

Ｓ２１ステップにおいて、ｋ行目及びｋ＋１行目の感光画素の出力を採取してレジスタに記憶し、そのうち、ｋ＝２ｎ−１であり、ｎが自然数であり、ｋ＋１が前記感光画素アレイの総行数以下である。

Ｓ２２ステップにおいて、レジスタからｋ行目及びｋ＋１行目の感光画素の出力を抽出し、合併画素の画素値を得る。

このようにすると、レジスタを十分に利用することにより、感光ユニットの出力の読み出し、バファー及び合併を行う過程を実現することができ、ハードウェアなら実現しやすい上に、処理スピードが比較的早い。

なお、図１５に示されるように、各感光画素のそれぞれが１つのＡＤ変換器に接続される。本発明の一実施形態に係る結像方法は、感光画素によるアナログ信号の出力をデジタル信号の出力に変換するＳ３１ステップと、同一の合併画素の感光画素のデジタル信号の出力に基づいて合併画素の画素値を計算するＳ３２ステップとをさらに含んでいてもよい。

このようにすると、１つ目は、一般的にデジダル信号処理チップ（ＤＳＰ，ｄｉｇｉｔａｌ ｓｉｇｎａｌ ｐｒｏｃｅｓｓｏｒ）である画像処理モジュールは、イメージセンサの出力を直接に処理することができる。２つ目は、ある一部の、回路を介してイメージセンサのアナログ信号フォーマットの出力を直接に処理する案と比べて、画像の情報が比較的良好に保留されている。例えば、１６Ｍ画素のイメージセンサにとって、本発明の実施形態における結像方法は１６Ｍ画素（即ち合併前の画像）の情報を保留することができ、この上で、処理を経て４Ｍ画素の合併画像又はその他の解像度の画像を得る。

以上、本発明の実施形態において提供された結像方法により、一部のフィルタユニットに白色のフィルタ領域を嵌め込み、低輝度において合併画素の輝度情報を取得し、しかもこの輝度情報の雑音が比較的少なく、これによって生成された合成画像の画素値が色彩情報を含むだけではなく、低雑音度の輝度情報も含み、合成画像の輝度及び解像度がいずれも比較的良好で、ノイズが少ない。また、合併画素の雑音が合併前の各感光画素の出力の雑音の和より小さいため、画像プロセッサを介して画素を合併することは、低輝度においての信号雑音比、輝度及び解像度をさらに高め、画像のノイズをさらに減らすことができる。

本発明の実施形態に係る結像方法及びモバイル端末において説明されてない部分は、以上の実施形態に係イメージセンサ又は結像装置に対応する部分を参考にすることができるが、ここでは詳しく説明しない。

本発明の説明において、「中心」、「縦方向」、「横方向」、「長さ」、「幅」、「厚み」、「上」、「下」、「前」、「後」、「左」、「右」、「鉛直」、「水平」、「頂」、「底」、「内」、「外」、「時計回り」、「反時計回り」、「軸方向」、「径方向」、「周方向」などの用語が示す方位又は位置関係は、図面に示す方位又は位置関係に基づき、本発明を便利にまたは簡単に説明するために使用されるものであり、指定された装置又は部品が必ず特定の方位にあり、特定の方位において構造され操作されると指示又は示唆するものではないので、本発明に対する限定と理解してはいけない。

なお、「第１」、「第２」の用語は目的を説明するためだけに用いられるものであり、相対的な重要性を指示又は示唆するか、或いは示された技術的特徴の数を黙示的に指示すると理解してはいけない。そこで、「第１」、「第２」が限定されている特徴は少なくとも１つの特徴を含むことを明示又は暗示するものである。本発明の説明において、明確且つ具体的な限定がない限り、「複数」とは少なくとも２つ、例えば２つ、３つなどを意味する。

本発明の説明において、明確な規定と限定がない限り、「取り付け」、「互いに接続」、「接続」、「固定」などの用語の意味は広く理解されるべきである。例えば、固定接続や、着脱可能な接続や、又は一体的な接続でも可能である。机械的な接続や、電気的な接続や、又は互いに通信することも可能である。直接的に接続することや、中間媒体を介して間接的に接続することや、２つの部品の内部が連通することや、又は２つの部品の間に相互の作用関係があることも可能である。当業者にとって、具体的な場合によって上記用語の本発明においての具体的な意味を理解することができる。

本発明において、明確な規定と限定がない限り、第１特徴が第２特徴の「上」又は「下」にあることは、第１特徴と第２特徴とが直接的に接触することであっても良いし、第１特徴と第２特徴とが中間媒体を介して接触することであっても良い。また、第１特徴が第２特徴の「上」、「上方」又は「上面」にあることは、第１特徴が第２特徴の真上及び斜め上にあることであっても良いし、又は単に第１特徴の水平の高さが第２特徴より高いことだけを表す。第１特徴が第２特徴の「下」、「下方」又は「下面」にあることは、第１特徴が第２特徴の真下及び斜め下にあることであっても良いし、又は単に第１特徴の水平の高さが第２特徴より低いことだけを表す。

本発明の説明において、「一実施形態」、「一部の実施形態」、「一例」、「具体例」、又は「変形例」などの用語を参考した説明とは、当該実施形態或いは一例に合わせて説明された具体的な特徴、構成、材料又は特徴が、本発明の少なくとも１つの実施形態又は一例に含まれることである。本明細書において、上記用語に対する例示的な説明は、必ずしも同じ実施形態或いは一例を示すことではない。また、説明された具体的な特徴、構成、材料又は特徴は、いずれか１つ又は複数の実施形態又は一例において適切に結合することができる。なお、お互いに矛盾しない場合、当業者は本明細書で説明された異なる実施形態又は一例、及び異なる実施形態又は一例の特徴を合わせる、及び組み合わせることができる。

以上、本発明の実施形態を示して説明したが、理解できるのは、上記実施形態は例示的なものであり、本発明を限定するものと理解してはいけなく、普通の当業者は、本発明の範囲内で、上記実施形態に対して変化、修正、置き換え及び変形を行うことができる。

Claims (18)

1. 感光画素アレイと、
   該感光画素アレイに設けられ、複数のフィルタユニットを有するフィルタユニットアレイを有するフィルタとを備え、
   各前記フィルタユニットがＮ個の感光画素をカバーし、一部の前記フィルタユニットが少なくとも白色のフィルタ領域を有し、該白色のフィルタ領域がＮ個の前記感光画素のうち少なくとも１つの前記感光画素をカバーし、同一の前記フィルタユニットによりカバーされたＮ個の前記感光画素が１つの合併画素を構成し、Ｎが正の整数であり、
   前記フィルタユニットアレイが、Ｒフィルタユニットと、Ｇフィルタユニットと、Ｂフィルタユニットとを備え、
   前記Ｇフィルタユニットが、少なくとも前記白色のフィルタ領域を有し、
   該白色のフィルタ領域が、前記ＧフィルタユニットによりカバーされたＮ個の前記感光画素のうち少なくとも１つの前記感光画素をカバーし、
   各前記フィルタユニットが２＊２個の前記感光画素を有し、
   前記白色のフィルタ領域が、前記Ｇフィルタユニットによりカバーされた１つの前記感光画素をカバーし、前記Ｇフィルタユニットが緑色のフィルタ領域をさらに有し、該緑色のフィルタ領域が他の３つの前記感光画素をカバーし、又は、
   前記白色のフィルタ領域が、前記Ｇフィルタユニットによりカバーされた２つの前記感光画素をカバーし、前記Ｇフィルタユニットが前記緑色のフィルタ領域をさらに有し、該緑色のフィルタ領域が他の２つの前記感光画素をカバーし、又は、
   前記白色のフィルタ領域が、前記Ｇフィルタユニットによりカバーされた３つの前記感光画素をカバーし、前記Ｇフィルタユニットが前記緑色のフィルタ領域をさらに有し、該緑色のフィルタ領域が他の１つの前記感光画素をカバーし、又は、
   前記白色のフィルタ領域が、前記Ｇフィルタユニットによりカバーされた４つの前記感光画素をカバーするイメージセンサ。
2. 前記感光画素アレイを行ごとに順次露光するように制御する制御モジュールをさらに備える請求項１に記載のイメージセンサ。
3. レジスタをさらに備え、
   前記制御モジュールが、現在に露出されたｋ行目及びｋ＋１行目の前記感光画素の出力を順次に採取して前記レジスタに記憶し、
   そのうち、ｋ＝２ｎ−１であり、ｎが自然数であり、ｋ＋１が前記感光画素アレイの総行数以下である請求項２に記載のイメージセンサ。
4. 複数のＡＤ変換器を有するＡＤ変換器アレイをさらに備え、
   各前記ＡＤ変換器が１つの前記感光画素に接続される請求項１〜請求項３のいずれかに記載のイメージセンサ。
5. 複数のマイクロレンズを有するマイクロレンズアレイをさらに備え、
   各前記マイクロレンズが１つの前記感光画素に対応する請求項１〜請求項４のいずれかに記載のイメージセンサ。
6. 請求項１〜請求項５のいずれかに記載のイメージセンサと、
   該イメージセンサに接続され、該イメージセンサにおける前記感光画素アレイの出力を読み出し処理して前記合併画素の画素値を取得して合併画像を形成する画像処理モジュールとを備える結像装置。
7. 前記フィルタユニットが前記白色のフィルタ領域のみ又は非白色のフィルタ領域のみを有する場合、前記画像処理モジュールが、さらに、同一の前記合併画素に対応するＮ個の前記感光画素の出力を加算して前記合併画素の画素値とする請求項６に記載の結像装置。
8. 前記フィルタユニットが前記白色のフィルタ領域と非白色のフィルタ領域とを有する場合、前記画像処理モジュールが、前記合併画素における前記白色のフィルタ領域に対応する前記感光画素の出力を加算して前記合併画素の第１画素値とし、また、前記合併画素における前記非白色のフィルタ領域に対応する前記感光画素の出力を加算して前記合併画素の第２画素値とする請求項６又は請求項７に記載の結像装置。
9. 請求項６〜請求項８のいずれかに記載の結像装置を備えるモバイル端末。
10. 前記モバイル端末が携帯電話である請求項９に記載のモバイル端末。
11. 前記結像装置が前記携帯電話のフロントカメラである請求項１０に記載のモバイル端末。
12. 前記結像装置に接続される中央処理装置と外部メモリとをさらに備え、
    前記中央処理装置が、前記外部メモリが前記合併画像を記憶するように制御する請求項９〜請求項１１のいずれかに記載のモバイル端末。
13. 前記結像装置に接続される中央処理装置と表示装置とをさらに備え、
    前記中央処理装置が、前記表示装置が前記合併画像を表示するように制御する請求項９〜請求項１２のいずれかに記載のモバイル端末。
14. 請求項１〜請求項５のいずれかに記載のイメージセンサの結像方法であって、
    前記イメージセンサにおける前記感光画素アレイの出力を読み出すステップと、
    同一の前記合併画素の前記感光画素の出力に基づいて、前記合併画素の画素値を計算して合併画像を生成するステップとを含むイメージセンサの結像方法。
15. 各前記フィルタユニットが２＊２個の前記感光画素を有し、
    同一の前記合併画素の前記感光画素の出力に基づいて、前記合併画素の画素値を計算するステップは、具体的には、
    ｋ行目及びｋ＋１行目の前記感光画素の出力を採取してレジスタに記憶し、そのうち、ｋ＝２ｎ−１であり、ｎが自然数であり、ｋ＋１が前記感光画素アレイの総行数以下であるステップと、
    前記レジスタからｋ行目及びｋ＋１行目の前記感光画素の出力を抽出し、前記合併画素の画素値を取得するステップとを含む請求項１４に記載のイメージセンサの結像方法。
16. 前記フィルタユニットが前記白色のフィルタ領域のみ又は非白色のフィルタ領域のみを有する場合、同一の前記合併画素の前記感光画素の出力に基づいて、前記合併画素の画素値を計算して合併画像を生成するステップは、
    同一の前記合併画素に対応するＮ個の前記感光画素の出力を加算して前記合併画素の画素値とするステップをさらに含む請求項１４又は請求項１５に記載のイメージセンサの結像方法。
17. 前記フィルタユニットが前記白色のフィルタ領域と非白色のフィルタ領域とを有する場合、前記合併画素の画素値は、前記白色のフィルタ領域に対応する第１画素値と、前記非白色のフィルタ領域に対応する第２画素値とを有し、
    同一の前記合併画素の前記感光画素の出力に基づいて、前記合併画素の画素値を計算して合併画像を生成するステップは、
    前記合併画素における前記白色のフィルタ領域に対応する前記感光画素の出力を加算して前記合併画素の前記第１画素値とするステップと、
    前記合併画素における前記非白色のフィルタ領域に対応する前記感光画素の出力を加算して前記合併画素の前記第２画素値とするステップとをさらに含む請求項１４〜請求項１６のいずれかに記載のイメージセンサの結像方法。
18. 各前記感光画素がそれぞれ１つのＡＤ変換器に接続され、
    前記結像方法は、
    前記感光画素により発生されたアナログ信号の出力をデジタル信号の出力に変換するステップと、
    同一の前記合併画素の前記感光画素の前記デジタル信号の出力に基づいて前記合併画素の画素値を計算するステップとをさらに含む請求項１４〜請求項１７のいずれかに記載のイメージセンサの結像方法。
    

Images