特許第6553318号(P6553318)IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ ビーエイイー・システムズ・イメージング・ソリューションズ・インコーポレイテッドの特許一覧

特許6553318高いダイナミックレンジの撮像センサアレイ
<>
  • 特許6553318-高いダイナミックレンジの撮像センサアレイ 図000002
  • 特許6553318-高いダイナミックレンジの撮像センサアレイ 図000003
  • 特許6553318-高いダイナミックレンジの撮像センサアレイ 図000004
  • 特許6553318-高いダイナミックレンジの撮像センサアレイ 図000005
  • 特許6553318-高いダイナミックレンジの撮像センサアレイ 図000006
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】6553318
(24)【登録日】2019年7月12日
(45)【発行日】2019年7月31日
(54)【発明の名称】高いダイナミックレンジの撮像センサアレイ
(51)【国際特許分類】
   H04N 5/378 20110101AFI20190722BHJP
   H04N 5/355 20110101ALI20190722BHJP
【FI】
   H04N5/378
   H04N5/355 630
【請求項の数】15
【全頁数】17
(21)【出願番号】特願2019-500211(P2019-500211)
(86)(22)【出願日】2016年8月18日
(65)【公表番号】特表2019-509704(P2019-509704A)
(43)【公表日】2019年4月4日
(86)【国際出願番号】US2016047602
(87)【国際公開番号】WO2017160336
(87)【国際公開日】20170921
【審査請求日】2018年11月19日
(31)【優先権主張番号】62/309,377
(32)【優先日】2016年3月16日
(33)【優先権主張国】US
【早期審査対象出願】
(73)【特許権者】
【識別番号】518332608
【氏名又は名称】ビーエイイー・システムズ・イメージング・ソリューションズ・インコーポレイテッド
(74)【代理人】
【識別番号】100108855
【弁理士】
【氏名又は名称】蔵田 昌俊
(74)【代理人】
【識別番号】100103034
【弁理士】
【氏名又は名称】野河 信久
(74)【代理人】
【識別番号】100153051
【弁理士】
【氏名又は名称】河野 直樹
(74)【代理人】
【識別番号】100179062
【弁理士】
【氏名又は名称】井上 正
(74)【代理人】
【識別番号】100189913
【弁理士】
【氏名又は名称】鵜飼 健
(74)【代理人】
【識別番号】100199565
【弁理士】
【氏名又は名称】飯野 茂
(72)【発明者】
【氏名】ム、ボ
(72)【発明者】
【氏名】マニャーニ、アルバート・エム.
(72)【発明者】
【氏名】ミムズ、スティーブン・ダブリュ.
【審査官】 鈴木 明
(56)【参考文献】
【文献】 特開2010−187317(JP,A)
【文献】 特開2007−028521(JP,A)
【文献】 米国特許出願公開第2015/0122974(US,A1)
【文献】 米国特許出願公開第2015/0008307(US,A1)
【文献】 特表2011−526088(JP,A)
【文献】 特開2009−177797(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
H04N 5/30−5/378
(57)【特許請求の範囲】
【請求項1】
複数の画素センサと複数の読み出し線によって特徴付けられる矩形の撮像アレイと、 複数の列処理回路であって、各列処理回路は、前記複数の読み出し線の対応する1つに接続される、複数の列処理回路と、
複数の信号注入器であって、1つの信号注入器は、前記読み出し線の各々に接続され、各信号注入器は、所定数の電圧の1つを当該読み出し線に結合されるようにする、複数の信号注入器と、
複数の撮像記録期間の各々の間に、前記複数の画素センサの各々についての露光を決定し、前記信号注入器に、複数の正期間の各々の間に、前記読み出し線に複数の較正電圧を注入するようにさせ、前記複数の較正期間の間に、増幅器の出力を測定することによって、前記複数の列処理回路の1つにおける増幅器のゲイン関数を決定するコントローラとを備え、
前記複数の較正期間は、前記撮像記録期間の間にある、
装置。
【請求項2】
前記コントローラは、前記信号注入器に、画素センサが光に晒されなかったとしたら出力したであろう値を有する信号を注入させ、
前記コントローラは、前記複数の列処理回路の各々のための列オフセット値を決定する、
請求項1に記載の装置。
【請求項3】
さらに、信号注入器の複数の列を備え、
各列処理回路は、複数の前記信号注入器に接続され、
前記コントローラは、前記列オフセット値を決定することにおいて、前記信号注入器によって生成される前記列オフセット値を平均する、
請求項2に記載の装置。
【請求項4】
前記列オフセット値は、複数の前記較正期間間に決定される、請求項2に記載の装置。
【請求項5】
前記複数の画素センサの各々は、第1のフォトダイオードと第2のフォトダイオードを備え、
前記第1のフォトダイオードは、第2のフォトダイオードとは異なる光変換効率によって特徴付けられる、
請求項1に記載の装置。
【請求項6】
前記第2のフォトダイオードは、前記第1のフォトダイオードの30分の1(1/30)より少ない光変換効率を有する、請求項5に記載の装置。
【請求項7】
前記第2のフォトダイオードは、第1のフォトダイオードによって生成される電荷を電圧に変換するためにも使用されるフローティング拡散ノードを含む寄生フォトダイオードを備える、請求項6に記載の装置。
【請求項8】
前記コントローラは、前記複数の撮像記録期間の間に、前記第1のフォトダイオードの光変換効率の前記第2のフォトダイオードの光変換効率に対する比率を決定する、請求項5に記載の装置。
【請求項9】
前記コントローラは、前記第2のフォトダイオードが較正範囲で信号を生成する複数の画素センサからの信号を平均することによって前記比率を決定する、請求項8に記載の装置。
【請求項10】
前記較正範囲は、前記第2のフォトダイオードが暗電流閾値よりも大きい暗電流を有する画素センサを除く、請求項9に記載の装置。
【請求項11】
前記複数の画素センサは、カラーチャネルに分割され、
各カラーチャネルは、当該カラーチャネルにおける画素センサ上に、対応するカラーフィルタを有し、
前記コントローラは、前記カラーチャネルの各々について個別に前記比率を決定する、請求項8に記載の装置。
【請求項12】
前記第1のフォトダイオードは、第1の露光と第2の露光との間の露光を測定し、
前記第2のフォトダイオードは、第3の露光と第4の露光との間の露光を測定し、
前記第3の露光は、前記第2の露光より小さく、
前記第4の露光は、前記第2の露光より大きい、
請求項5に記載の装置。
【請求項13】
前記コントローラは、第1の露光と第4の露光との間の露光を測定し得る単一のフォトダイオードをシミュレートするために、第2の露光より小さい露光を測定するために前記第1のフォトダイオードを使用し、前記第2の露光より大きい露光を測定するために前記第2のフォトダイオードを使用する、請求項5に記載の装置。
【請求項14】
シミュレートされた前記単一のフォトダイオードは、前記露光の線形関数であり、前記第1のフォトダイオードと前記第2のフォトダイオードの前記光変換効率と、前記複数の列処理回路における変化とは独立である第1の露光値を生成する、請求項13に記載の装置。
【請求項15】
前記第1の露光値は、ショットノイズ値によって特徴づけられ、
前記コントローラは、前記複数の画素センサの各々のために第2の露光値を出力し、 前記第2の露光は、より少ないビットが出力することを必要とし、前記ショットノイズ値よりも小さい量だけ前記第1の露光とは異なる、
請求項14に記載の装置。
【発明の詳細な説明】
【背景技術】
【0001】
[0001] CMOSカメラは、典型的には、画素センサのアレイ上にシーンからの光を撮像することにより、シーンの画像を形成する。典型的に、各画素センサは、一つ以上の光検出器を有する。各光検出器は、露光期間の間に受けた光を電気信号に変換する。電気信号は、その後、露光時間期間の間に受けた光の量を表すデジタル値を生成するために、アナログ−デジタル変換器(ADC)によってデジタル化される。アレイは、典型的に、画素の数千の列と行を有する2次元アレイである。アレイは、各行に個別の列増幅器とADCを使用して、一度に1行読み出される。
【0002】
[0002] 一般に、フォトダイオードは、フォトダイオードからの信号が露光期間の間に受けた光の単調増加関数である、ある領域を有する。この領域の下部では、生成された信号からの光強度の決定の精度は、様々なノイズ源によって制限される。この領域を超えると、フォトダイオードの出力は飽和し、従って、この領域を超える強度は、正確に測定されることができない。現在のフォトダイオードでは、使用可能な信号の領域は、多くの画像内の強度の全てを測定するために必要とされるよりも小さい。露光が低レベルの光信号を検出するように設定される場合、画像の明るい領域は領域外となり、従って、飽和される。
【0003】
[0003] 画素センサの高領域を拡張するための先行技術の解決策は、典型的に、第2の露光または第2のフォトダイオードを利用する。このような方式では、第1の露光またはフォトダイオードは、低い光のピクセルを検出するように設定される。高い光の強度にさらされる画素センサは飽和し、従って、画像のそれら高い光の強度の領域における光の強度に関する有用な情報を提供することができない。第2の測定は、低い光の強度の領域を犠牲にして、高い光の強度の領域を捉えるように構成される。第2の測定は、同一のフォトダイオードを使用して、かなり低い光感度、または、第2の、より短い露光を有する画素センサにおける第2のフォトダイオードとすることができる。後者の解決策は、2回の露光の時間差が動きのアーチファクトをもたらし得るので、動画システムに好ましくない。2つのフォトダイオードによる解決策は、より大きな画素センサを必要とするという不利益を有する。しかし、フォトダイオードにおける最近の発展は、画素センサの大きさを甚だしく増大させることなく、従来のフォトダイオードの中に第2の低感度のフォトダイオードを与えている。
【0004】
[0004] 各画素のセンサに第2のフォトダイオードを与えることは、画素センサの高い強度への応答を拡張するが、低い光の領域が合理的な露出時間で撮像され得る程度を、様々なノイズ源が制限する。ショットノイズが、得られることができる最小のノイズフロアを表すが、ノイズの他の発生源は、依然として重要であり、従って、画像センサのダイナミックレンジをさらに増大させるために小さくされる必要がある。
【発明の概要】
【0005】
[0005] 本発明は、複数の画素センサと複数の読み出し線によって特徴付けられる矩形の撮像アレイを有する装置を含む。装置は、複数の列処理回路を有し、各列処理回路は、読み出し線の対応する1つと複数の信号注入器に接続され、1つの信号注入器は、読み出し線の各々に接続される。各信号注入器は、所定の数の電圧の1つが当該読み出し線に結合されるようにさせる。コントローラは、複数の画像記録期間の各々の間に画素センサの各々に対する露出を決定する。コントローラは、また、信号注入器が、複数の較正期間の各々の間に、複数の較正電圧を読み出し線に注入するようにさせ、複数の較正電圧に対する増幅器の出力を測定することにより、列処理回路の1つにおける増幅器のゲイン関数を決定し、較正期間は、撮像記録期間の間にある。
【0006】
[0006] 本発明の一態様では、コントローラは、信号注入器が、気画素センサが光にさらされなかったとしたら画素センサが生成したであろう値を有する信号を注入するようにさせ、コントローラは、列処理回路の各々についての列オフセット値を決定する。他の態様では、信号注入器の複数の行が存在し、各列処理回路は、信号注入器の複数に接続される。コントローラは、列オフセット値を決定することにおいて、信号注入器によって生成された増幅オフセット値を平均する。本発明のさらなる態様では、列オフセット値は、較正期間の間に決定される。
【0007】
[0007] 本発明のさらなる態様では、画素センサの各々は、第1及び第2のフォトダイオードを含み、第1のフォトダイオードは、第2のフォトダイオードとは異なる光変換効率によって特徴付けられる。1つの例示的な形態では、第2のフォトダイオードは、第1のフォトダイオードの1/30より小さい光変換効率を有する。他の態様では、第2のフォトダイオードは、第1のフォトダイオードにより生成された電荷を電圧に変換するためにも使用されるフローティング拡散ノードを含む寄生フォトダイオードを含む。
【0008】
[0008] 他の態様では、コントローラは、画像記録期間の間に、第1のフォトダイオードの光変換効率の第2のフォトダイオードの光変換効率に対する比を決定する。本発明の一態様では、コントローラは、第2のフォトダイオードが較正範囲における信号を生成する複数の画素センサからの信号を平均することにより比を決定する。本発明の他の態様では、較正範囲は、第2のフォトダイオードが暗電流閾値よりも大きい暗電流を有する画素センサを除く。
【0009】
[0009] 本発明の他の態様では、画素センサは、カラーチャネルに分割され、各カラーチャネルは、当該カラーチャネルにおける画素センサ上に対応するカラーフィルタを有し、コントローラは、各カラーチャネルに対して別々に比を決定する。
【0010】
[0010] 本発明のさらなる態様では、第1のフォトダイオードは、第1の露光と第2の露光との間で露光を測定し、ここにおいて、第2のフォトダイオード、第3の露光と第4の露光との間で光の露光を測定し得、第3の露光は第2の露光より小さく、第4の露光は第2の露光より大きい。
【0011】
[0011] 本発明の他の態様では、コントローラは、第2の露光より小さい露光を測定するために第1のフォトダイオードを使用し、第1と第4の露光の間で露光を測定し得る単一のフォトダイオードをシミュレートするために第2の露光よりも大きい露光を測定するため、第2のフォトダイオードを使用する。本発明の他の態様では、シミュレートされた単一のフォトダイオードは、露光の線形関数であり、第1と第2のフォトダイオードの光変換効率と、画素センサの各々についての列処理回路における変動とから独立である第1の露光値を生成する。本発明のさらなる態様において、第1の露光値はショットノイズ値により特徴付けられ、コントローラは、画素センサの各々について第2の露光値を出力し、第2の露光値は、第1の露光値によって決定され、第2の露光値は出力するために少ないビットを必要とし、ショットノイズ値より小さい量だけ第1の露光値と異なる。
【図面の簡単な説明】
【0012】
図1】[0012] 図1は、本発明の一実施形態に係る2次元撮像アレイを示す。
図2】[0013] 図2は、先行技術の画素センサを示す。
図3】[0014] 図3は、寄生フォトダイオードが画像測定に利用される画素センサを示す。
図4】[0015] 図4は、本発明の一実施形態に係る列アンプ及びADCを示す。
図5】[0016] 図5は、線197上の行選択信号に応答して、読み出し線83に読み出される信号注入器を示す。
【詳細な説明】
【0013】
[0017] 以下の説明を簡単にするため、画素センサは、それに入射した光を、露光と呼ばれる、時間期間に回路に入射した光の量によって決定される大きさを有する電気信号に変換する回路であると定義される。画素センサは、行選択線上の信号に応答して、当該電気信号を読み出し線に結合するゲートを有する。
【0014】
[0018] 矩形の撮像アレイは、複数の行と列の画素センサとして編成された複数の画素センサであると定義される。矩形のアレイは、複数の読み出し線と複数の行選択線とを含み、各画素センサは、1本の行選択線と1本の読み出し線に接続され、当該画素によって生成された電気信号は、当該画素センサに関連付けられた行選択線上の信号に応答して、当該画素に関連付けられた読み出し線に接続される。
【0015】
[0019] 本発明がその利点を提供する方法は、本発明の一実施形態に係る2次元撮像アレイを示す図1を参照してより容易に理解され得る。矩形の撮像アレイ80は、各画素センサ81を含む。各画素センサは、主のフォトダイオード86と寄生フォトダイオード91を有する。画素センサが動作する方法は、以下でより詳細に検討される。各画素におけるリセット回路と増幅回路が、87において示される。画素センサは、複数の行と列として配置される。例示的な行は、94と95において示される。列における各画素センサは、当該列における画素センサの全てによって共有される読み出し線83に接続される。行における各画素センサは、当該行における画素センサが対応する読み出し線に接続されるかどうかを決定する行選択線82に接続される。
【0016】
[0020] 矩形の撮像アレイ80の動作は、読み出しされる画素アドレスを受け取るコントローラ92によって制御される。コントローラ92は、矩形の撮像アレイ80における対応する行上の画素センサの読み出しを可能にするために、行デコーダ85によって使用される行選択アドレスを生成する。列増幅器は、以下でより詳細に説明される、読み出しアルゴリズムを実行する列増幅器84のアレイに含まれる。所与の行における画素センサの全てが、並列に読み出され、従って、読み出し線83毎に1つの列増幅及びADC回路がある。列処理回路は、以下でより詳細に説明される。
【0017】
[0021] 矩形の撮像アレイ80がリセットされ、撮像露光の期間に光にさらされた場合、各フォトダイオードは、光暴露と、当該フォトダイオードの光変換効率に応じた電荷を蓄積する。画素センサが当該フォトダイオードに関連付けられる行が読み出される場合、当該電荷は、当該画素センサにおけるリセット及び増幅回路87によって電圧に変換される。当該電圧は、対応する読み出し線83に結合され、撮像露光期間に画素センサに入射した光の量を表すデジタル値を生成するために、対象の読み出し線に関連付けられた増幅及びADC回路によって処理される。
【0018】
[0022] 理想的には、各画素センサは、全ての他の画素センサと同一であり、読み出し期間に同じ電圧にリセットされ、光が矩形の撮像アレイに入射しない場合にゼロの信号値を生成する。加えて、理想的な状態では、列に適用される回路の各々は、全ての他の列増幅回路と同じである。フォトダイオードの露光から最終のデジタル値に処理をすることのチェーンに4つのアナログ変換ファクターが存在する。これらは、フォトダイオードの光−電荷変換効率である。電荷−電圧変換は、画素リセット及び増幅回路87においてであり、列処理回路には、電圧増幅回路がある。これらのアナログ変換ファクターの差は、固定パターンノイズ(fixed pattern noise: FPN)を生じさせる。FPNは、時間とともに変化するファクターに依存し、また露光が行われたときの撮像アレイの温度に依存し得る。
【0019】
[0023] FPNに加えて、ショットノイズと比較して小さいノイズファクターを得るために低減されなければならない他のノイズファクターがある。リセットノイズは、この種のノイズの一例である。リセットノイズが生成される方法は、先行技術の画素センサを図示する図2を参照して、より簡単に理解され得る。図2は、撮像アレイにおける1列の画素センサの中の典型的な先行技術の画素センサの概略図である。画素センサ21は、画像における対応する画素での光強度を測定するフォトダイオード22を含む。最初に、フォトダイオード22が、ゲート25を導通状態に置き、フローティング拡散ノード23をリセット電圧 Vrに接続することによってリセットされる。ゲート25は、その後閉じられ、フォトダイオード22は、光電子を蓄積することを可能にされる。ゲート27の電位は、フォトダイオード22上に蓄積され得る電荷の最大量を設定する。ゲート27上の電位によって許容されるよりも多くの電荷が蓄積される場合、過剰電荷は、ゲート27を介してグランドに分路される。
【0020】
[0024] フォトダイオード22が露光された後、フォトダイオード22に蓄積された電荷は、典型的には、フォトダイオード22からの蓄積された電荷がフローティング拡散ノード23に転送されるときのフローティング拡散ノード23の電圧の変化に注目することによって測定される。フローティング拡散ノード23は、キャパシタ23′によって表される静電容量によって特徴づけられる。実際には、キャパシタ23′は、電圧Vrにチャージされ、フローティング拡散ノード23がフォトダイオード22に接続されるより前にゲート24のリセット線にパルスを与えることによって分離される。フォトダイオード22に蓄積された電荷は、ゲート25が開通されたとき、フローティング拡散ノード23に転送される。フローティング拡散ノード23上の電圧は、フローティング拡散ノード23上の電圧を、転送される電荷の量とキャパシタ23′の静電容量とに応じた量だけ減らされた状態にしておきながら、この電荷の全てを取り除くのに十分である。従って、ゲート25が開通された後、フローティング拡散ノード23上の電圧の変化を測定することによって、蓄積された電荷が決定され得る。
【0021】
[0025] フローティング拡散ノード23上のリセット電圧が十分に再現性のある場合、リセット後のフローティング拡散ノードの電圧の単一の測定で十分である。しかしら、ノイズは、リセット電圧の小さな変動をもたらす。このノイズが相当である場合、相関二重サンプリングアルゴリズムが利用される。このアルゴリズムでは、フローティング拡散ノード23は、まず、リセットゲート24を用いて、Vrにリセットされる。そして、線28への選択信号を読み出しゲートに与えることによってソースフォロワ26を読み出し線31に接続することにより、フローティング拡散ノード23上の電位が測定される。このリセット電位は、列増幅器32に保持される。次に、ゲート25が導通状態に置かれ、フォトダイオード22に蓄積された電荷が、フローティング拡散ノード23に転送される。フローティング拡散ノード23は、事実上、Vrにチャージされているキャパシタである。従って、電荷が残るフォトダイオード22は、フローティング拡散ノード23上の電圧と転送される電荷の量とに応じた量だけ、フローティング拡散ノード23上の電圧を下げる。フローティング拡散ノード23上の電圧が、転送の後に再び測定される。そして、電圧差が、露光の間に蓄積された電荷の量を計算するために使用される。
【0022】
[0026] 本発明は、上述のタイプの画素が、フローティング拡散ノードの一部であり、相当なフォトダイオード検出効率を有する第2の寄生フォトダイオードを含むように変更され得るという観測に基づく。この第2の光検出器は、画素のサイズを甚だしくは増加させず、従って、本発明は、画素サイズを大きく増大させることなく、2つのフォトダイオードの画素の利点を提供する。
【0023】
[0027] フォトダイオード22と寄生ダイオードを区別するために、類似の機能を提供するフォトダイオード22とフォトダイオードは、「従来のフォトダイオード」と呼ばれる。ここで、寄生フォトダイオードが画像測定に利用される画素センサを図示する図3を参照する。以下の説明を簡単にするために、図1に関して上述されたものと類似の機能を提供する画素センサ41の要素は、同じ数字の符号を与えられており、当該要素が利用される新たな方法を示すために説明が必要とされない限り、さらには説明されない。概略、寄生ダイオード42は、フォトダイオード22の検出効率より相当に少ない検出効率を有する。2つのフォトダイオードのフォトダイオード検出効率の比率が調整される方法は、2015年1月7日に出願された、併存する米国特許出願第14/591,873に、より詳細に説明される。例示的な一実施形態では、主のフォトダイオードの寄生フォトダイオードに対する変換効率の比は、30:1である。この比が20:1または15:1である他の実施形態が、有用である。
【0024】
[0028] 本発明の一実施形態において画素の強度を測定するために画素センサ41が利用される方法が、ここでより詳細に説明される。処理は、最後の画像の読み出し動作が完了した後の画素のリセットから始まると、より容易に理解し得る。最初に、主のフォトダイオード22がVrにリセットされ、ゲート25が切られる。これは、また、フローティング拡散ノード43を、Vrにリセットされた状態に残す。相関二重サンプリング測定が行われる場合、この電圧は、フローティング拡散ノード43を列増幅器170に接続することにより、露光の開始時に測定される。そうでなければ、リセット電圧のための以前の電圧測定値が使用される。画像露光の間に、寄生フォトダイオード42は、フローティング拡散ノード43上に格納される光電子を生成する。これらの光電子は、フローティング拡散ノード43上の電位を下げる。露光の終わりで、フローティング拡散ノード43上の電圧が、ソースフォロワ26の出力を列増幅器170に接続することによって測定され、寄生フォトダイオード42により出力される電荷の量が、最初の画素強度値を提供するために決定される。次に、フローティング拡散ノード43が再びVrにリセットされ、フローティング拡散ノード43の電位が、ソースフォロワ26を列増幅器170に接続することによって測定される。そして、ゲート25が導通状態に置かれ、主のフォトダイオード22によって蓄積された光電子がフローティング拡散ノード43に転送される。そして、フローティング拡散ノードの電圧が再び測定され、第2の画素強度値を計算するために、列増幅器170によって使用される。
【0025】
[0029] 対応する画素上の光強度が高かったとしたら、主のフォトダイオード22はオーバーフローしたであろうが、しかし、非常に低い変換効率を有する寄生フォトダイオード42は、所望の範囲内にある値を有することになる。他方、光強度が低かったとしたら、信頼できる推定値を提供するのに不十分な光電子が寄生フォトダイオード42に蓄積され、主のフォトダイオード22からの測定値が利用される。
【0026】
[0030] 二重相関サンプリングは、リセットノイズを補正する。リセットノイズに加え、ノイズは、読み出しライン83に関連付けられたADCによって、当該読み出しライン83上のアナログ電圧のデジタル値への変換から生じる。最も単純なケースでは、ADCは、それへの電圧入力を、Nがデジタル値であり、SがADCのステップサイズであるとした場合の V=NS による電圧Vに関係するデジタル値に変換する。N値とSの既知の値を与えられ、再構成された電圧値は、ステップサイズの半分である誤差だけ、元の値から異なる。この誤差は、以下の議論でデジタル化ノイズと呼ばれるノイズを生じさせる。このデジタル化ノイズは、各画素の露光の最終的なデジタル表現においてショットノイズに加えられる。ショットノイズは、フォトダイオードで光電子に変換された光子の数の平方根にほぼ等しい。従って、ショットノイズは、露光の増加と共に増加する。低い光の状態において、ショットノイズは、絶対的には小さく、従って、Sが小さい場合、デジタル化ノイズが顕著になり得る。しかし、Sが小さい場合、入力電圧の全範囲を表すためにADCにおいて使用されなければならないビット数が大きくなる。撮像アレイにおいて多くの数のADCが与えられると、コストの増加が顕著になる。
【0027】
[0031] 原則、可変のステップサイズを有するADCが、列電圧をデジタル化するために利用され得る。しかし、入力電圧の関数としてステップサイズを変更するための追加の回路は、ADCのコストを増大させる。このような構成において、ADCの出力は、入力電圧の非線形関数であり、小さな入力電圧は、より小さいステップサイズでデジタル化される。この構成は、システムが、ショットノイズと比較して小さいレベルにデジタル化ノイズを維持することを可能にするが、ADCは、任意の画像で生成され得る電圧値の全範囲にわたって機能することができる必要がある。
【0028】
[0032] 本発明は、対応する読み出し線83上の信号を増幅するためにデュアルゲイン増幅器を使用することによって、これらの問題を回避する。そして、単一のADCが、増幅器の出力をデジタル化する。増幅率を変更することは、ADCのステップサイズを変更することと等価である。加えて、それに亘ってADCが動作しなければならない電圧の範囲が小さくされる。ここで、本発明の一実施形態に係る列増幅器とADCを図示する図4を参照する。この列処理回路は、2013年12月4日に出願された、併存する米国特許出願第14/097,162に詳細に記載され、それは参照により本明細書に組み込まれる。ここでの説明の目的のために、列処理回路70は、ビット線37上の信号を増幅し、処理する。容量性トランスインピーダンス増幅器50は、演算増幅器51と、それぞれ静電容量C52とC53を有する、52と53で示された2つのフィードバックキャパシタから構成される。スイッチ54が開いているとき、容量性トランスインピーダンス増幅器50のゲインは、C56/C52に比例し、ここでC56はキャパシタ56の静電容量である。スイッチ54が閉じられているとき、キャパシタ52及び53は並列に接続され、容量性トランスインピーダンス増幅器50のゲインは、C56/(C52+C53)に比例する。スイッチ54の状態は、容量性トランスインピーダンス増幅器50の出力を基準電圧Vと比較する比較器68をラッチすることにより設定される。一実施形態では、C56/(C52+C53)は約1であり、C56/C52は、20と30の間である。
【0029】
[0033] 動作において、スイッチ54は、68で示されたラッチ比較器コンパレータの出力により、及び、図1に示されたコントローラ92により制御される。ビット線37上の各電圧測定の前に、ラッチ比較器68がリセットされ、演算増幅器51の入力と出力を短絡するために、スイッチ55が閉じられる。最初に、スイッチ54は開いており、演算増幅器51は、それの最大ゲインを有する。測定のために、信号がキャパシタ56に転送されると、演算増幅器51の出力が上昇する。演算増幅器51の出力がVを超える場合、ラッチ比較器68がセットされ、それによって、スイッチ54を閉じるために用いられる信号を線67上に生成する。従って、容量性トランスインピーダンス増幅器50のゲインは、低い値に低減される。容量性トランスインピーダンス増幅器50が安定した後、出力電圧が、スイッチ61と62のそれぞれの状態に応じて、二重サンプリング回路60におけるキャパシタ63またはキャパシタ64のいずれかに保持される。リセット値と、ビット線37に現在接続される画素におけるフォトダイオード上の保持された電荷を表す値との両方がキャパシタ64と63にそれぞれ保持されると、電位の差がADC65によりデジタル化され、線67上の容量性トランスインピーダンス増幅器50のゲイン値を示す値とともに、その値が線66に出力される。
【0030】
[0034] ビット線37に接続された画素に保持された光レベルが低い場合、容量性トランスインピーダンス増幅器50と、関連付けられた二重サンプリング回路は、容量性トランスインピーダンス増幅器50のゲインが、相関二重サンプリングのリセットと測定の両方のフェーズについて高位にある従来の列処理回路として振舞う。しかし、光のレベルが高い場合、リセット電位を測定するために使用されるゲインは、フォトダイオードから転送された電荷を測定するために使用されるゲインとは異なる。従って、差分計算はエラーになる。多くの場合、相関二重サンプリング計算が、フォトダイオードの電荷が小さい場合にフォトダイオードに蓄積された電荷を測定することによって得られたであろう値からの有意な差を与えるだけであるから、これは重大な問題を引き起こさない。しかし、このエラーの補正が必要とされる場合は、観察されたリセット値が2つのフェーズのゲインの差に応じた適切な因子により割られる、改変された二重サンプリング回路が利用され得る。
【0031】
[0035] 容量性トランスインピーダンス増幅器50は、フィードバックループとして可変容量フィードバック回路をもった容量性トランスインピーダンス増幅器と見なすことができる。図4に示された実施形態は2つのゲインレベルを有しているが、それぞれが個別に起動されるスイッチをもったより多くのフィードバックキャパシタを与えることによって設定され得る。以下により詳細に説明されるように、本発明の一実施形態において、容量性トランスインピーダンス増幅器50は、4つのゲインレベルを有する。2つのゲインは、寄生フォトダイオードからの信号を処理するために使用され、2つのゲインは、主のフォトダイオードからの信号を処理するために使用される。
【0032】
[0036] 上述したように、理想的な画素センサは、光が何も撮像アレイ上に導かれていない場合、ゼロの信号を生成する。しかし、実際には、暗画素信号でさえ、幾分かの小さな信号を有する。この暗信号は、温度変化や他の要因に応じて、露光から露光へと変わり得る。加えて、各行に増幅器、相関二重サンプリング、及び、ADCを備える読み出し回路は、非ゼロのオフセットを有し得る。原理的には、このノイズ源は、1つまたは複数の光学的に黒の行を撮像アレイ内に含めることにより、それら行の画素センサをマスキングすることにより、低減され得る。例示的な光学的に黒の行が図1において94で示される。この種の補正方式では、この行からの信号、または、複数のそのような行からの信号の平均が、行における各画素センサを処理する場合に、他の黒でない画素センサにより生成される信号から減算される。
【0033】
[0037] 残念ながら、光が、撮像アレイの他の部分から光学的に黒の行における画素センサに反射され得るので、光学的に黒の行を提供するために画素センサを適切にマスクすることはかなりの挑戦となる。このノイズ源は従来の撮像アレイにおいて許容され得るが、それは、本発明に係る撮像アレイのダイナミックレンジを有する撮像アレイにおいては重大な問題を提起する。
【0034】
[0038] 本発明は、列処理回路においてオフセットを補正するために使用することができる第2の「黒」信号を提供する。この信号は、図1に示された列較正回路96によって生成される。本発明の一態様において、校正回路は、信号注入器のいくつかの行を含む。線197上の行選択信号に応答して読み出し線83上に読み出される信号注入器を図示する図5を参照する。信号注入器196は、画素センサにおける対応する要素と同じであるソースフォロア191と選択ゲート192を含む。信号注入器196は、ソースフォロワ191のゲートに結合されるバス193上のテスト信号を受け取る。従って、信号注入器196の出力は、そのゲートに電圧Vtestを有した画素センサによって生成されたであろう電圧を反映する電圧である。
【0035】
[0039] 読み出し線83上の結果として得られる信号は、画素センサからの信号と同じ方法で、対応する列処理回路によって処理される。特に、相関された二重サンプリングは、信号の処理中に適用されます。即ち、Vtestは、まず、リセット電圧Vrと処理された信号に設定される。次に、Vtestは、以前の信号を減算した後に処理されるテスト信号を与えるために他の電圧に設定される。信号が両方のステップの間にVrに設定されている場合、列処理回路におけるADCに結果として得られる信号は、画素が何も光を受けなかったとしたら結果となっていたゼロであるべきである。従って、この値は、電気的な黒(electrical black: EB)と呼ばれる。
【0036】
[0040] 本発明の一態様では、各読み出し線に接続された、いくつかのそのような信号注入器がある。各画素センサによって受けられた実際の露光を反映する最終的な画素センサ値を生成するために、結果として得られたEB信号が平均化される。平均EB値は低減されたノイズをもつ。EB値は、温度などの環境可変要素と共にゆっくり変化し得る。従って、EB値の移動平均が、画素センサの各列のために維持される。所定の間隔で、追加のEB値が測定され、この移動平均に追加され、古いEB値は破棄される。
【0037】
[0041] また、信号注入器は、撮像センサの動作の間に列処理回路を較正するために使用される。上述したように、列をわたった、読み出し処理回路における増幅器、ADC、及び、その他のコンポーネントの変異は、CMOSセンサにおけるカラム固定パターンノイズ(Column Fixed Pattern Noise: CFPN)の原因となる。CFPNは、低い光、及び/または、低コントラスト(例えば、証明された白い紙)のシーンにおける画像品質の劣化の主な寄与者である。CFPNは、2つの成分、オフセットCFPNとゲインCFPN、を有すると見ることができる。列増幅器は、入力信号を増幅し、当該増幅された信号にあるオフセットを加える。本発明は、オフセットCFPNが列増幅器への入力信号とは独立であるという観察に基づくが、ゲインが対応する読み出し線上に提示される電圧の範囲にわたって完全には一定ではないので、ゲインCFPNは、入力信号の大きさ、並びに、個々の増幅器に依存する。増幅器のゲイン関数は、当該増幅器への入力電圧の関数とした増幅器のゲインであるように定義される。加えて、ゲイン及びオフセットのCFPNは、時間と、撮像アレイの温度などの環境可変要素とともに変化する。
【0038】
[0042] 列についての平均EB信号の減算は、当該列のオフセットCFPNを補正する。これは、各フレームの処理の一部であり、従って、固定されたオフセットCFPNと、時間及び他のゆっくりと変化する環境因子にわたる固定されたオフセットCFPNの変化との両方を考慮する。
【0039】
[0043] 先行技術の撮像アレイでは、ゲインCFPNは、オフセットCFPNの補正がなされた後に、各列について予め較正された係数(複数可)を使用して補正される。較正ステップは、通常、工場において実施され、カメラの寿命の間は変わらないままである。従って、このアプローチは、時間的なゲイン変化を補正しない。結果として、有意なゲインCFPNは依然として存在する。
【0040】
[0044] 本発明は、オフセットCFPN補正に加えて、動的なゲインCFPN補償スキームを含む。列処理回路内の増幅器は、4つの公称ゲイン設定を有する。これらのゲイン設定の2つは、高い及び低い主のフォトダイオードのゲイン設定と呼ばれ、主のフォトダイオードからの信号を処理するために使用される。同様に、これらのゲイン設定の2つは、高い及び低い寄生フォトダイオードのゲイン設定と呼ばれ、寄生フォトダイオードからの信号を処理するために使用される。従って、校正され、各増幅器ゲインのために記憶された電圧の関数としてのゲインでなければならない4つの増幅器ゲインがある。
【0041】
[0045] 再び図1を参照すると、矩形の撮像アレイ80は、増幅器がゲイン設定の各々に設定される場合に列増幅器と下流の回路に供給される校正信号を生成する列較正回路96を含む。本発明の一態様では、上述された注入器は、校正信号を提供するために読み出し線上の既知の電圧を生成するのに使用される。また、校正信号は二重相関サンプリングを使用して処理されるが、シーケンスにおける第2の電圧は、列処理回路を介した信号の処理された値が決定され得るように、既知の大きさの信号を提供するためにVrより下の電圧に設定される。結果として得られたオフセットとゲインのプロファイルは、システムコントローラの一部であるメモリに記憶される。センサが動作している場合、異なる較正信号レベルがバックグラウンドで生成される。そして、補正アルゴリズムは、CFPNを補正するためにこれらの記憶されたプロファイルを使用することによって適用される。これらのプロファイルは動的に生成され、センサが動作しながら、補正アルゴリズムはバックグラウンドで動作され続けるので、システムコントローラは、列変動を追跡し、センサの動作状態が変化する(例えば、温度、電源電圧、等)と対応する補償を適用することが可能である。
【0042】
[0046] 上述したように、本発明は、画素センサ、主のフォトダイオード、及び、寄生ダイオード毎に2つのフォトダイオードを有する画素センサを利用する。主のフォトダイオードは、低い光の検出のために適合され、従って、高い光変換ゲインを有し、ノイズを低減するピンドフォトダイオード(pinned photodiode)である。寄生フォトダイオードは、高い光の検出のために適合し、低い光変換ゲインを有する。加えて、フォトダイオードの各々からの信号は、2つの異なる列ゲインレベルを用いて得られた結果であり得る。主のフォトダイオードが拡張された範囲を有し、当該フォトダイオードからの信号が単一の増幅ゲインを用いて処理されているとした場合に得られたであろうデジタルの光測定値を生成するために、これらの結果が組み合わされる。
【0043】
[0047] 低感度の寄生フォトダイオードからの信号は、画素センサの有効範囲を拡張する。寄生フォトダイオードが光強度値を供給しているときに、寄生フォトダイオードの測定は、主のフォトダイオードが飽和しなかったとしたら主のフォトダイオードから得られたであろう値に変換される必要がある。この拡張を提供するために、2つのフォトダイオードの相対ゲインが知られる必要がある。2つのゲインの比は、フォトダイオードにより受光された光の平均波長に依存し、従って、撮像アレイにおける異なるカラーチャネルのために較正されなければならない。しかし、所与のカラーチャンネル内でさえ、入射光の色温度に依存した変異がある。従って、本発明では、比は、各画像について較正される。
【0044】
[0048] 主と寄生のフォトダイオードの相対感度は、同じ画素センサの両方のフォトダイオードのために有用な信号を提供する入射光強度の範囲が存在するように設定される。較正に適するように、光強度は、主のフォトダイオードが飽和する強度より小さい第1の強度値と、寄生フォトダイオードが意味のある信号を提供する最小の強度よりも大きい第2の強度値との間でなければならない。撮像アレイの読み出しの間に、EBオフセットが列信号から除かれ、校正範囲内にあるそれらの信号が特定される。これらの画素のための2つのフォトダイオードの信号の比が計算され、寄生フォトダイオード信号が光測定値を与える当該カラーチャンネルにおける画素センサの全てのための光強度を計算するために使用される移動平均較正比に追加される。
【0045】
[0049] 本発明の一態様では、最終的な画像の各画素は、互いに隣接する4つの画素センサの出力から計算される。画素センサの2つ、G1とG2、は、緑のフィルタによって覆われ、残りの2つの画素センサ、RとB、は、赤と青のフィルタによって覆われる。撮像アレイ内の同じ色の画素によって覆われている画素センサは、「カラーチャネル」と呼ばれる。画素センサは幾分かのクロストークを有する。即ち、赤のスペクトル領域の光入力は、4つの画素グループにおける他の色の画素センサにおいて非ゼロ応答を生成する。クロストークは、G1とG2について異なることが観察されている。従って、較正比は、緑のセンサの各々について個別に計算され、即ち、2つの緑のセンサは、本発明のこの態様において個別のカラーチャネルとして扱われる。
【0046】
[0050] 主のフォトダイオードの寄生フォトダイオードに対する較正比は、両方のフォトダイオードにおける暗電流が無視され得ることに依存する。この仮定は主のフォトダイオードについては真であるが、寄生フォトダイオードにおける暗電流は許容限界を超えて変化し得る。寄生フォトダイオードが大きい暗電流を有する画素センサは、「ホットピクセル」と呼ばれる。これらの画素は、各カラーチャンネルにおける較正比についての移動平均から除かれなければならない。本発明の一態様では、較正比の値の統計的分布において異常値である較正比の値は、移動平均を計算するために使用されない。
【0047】
[0051] 本発明に係る撮像アレイの特定の実施形態が十分なメモリを有する場合、コントローラは、工場で行われる校正手続きにより決定されるような「ホットピクセル」のリストを記憶することができる。この場合、これらの画素の較正比は、移動平均を提供するために使用されることはない。
【0048】
[0052] 各画素センサについて、寄生と主のフォトダイオード信号がデジタル化される。デジタル値は、デジタル化の前に列増幅器により使用される増幅ゲインを含む。増幅器ゲインが、対応する入力電圧範囲にわたって一定であったと仮定する。そして、光強度は、ゲインに関連する「ステップサイズ」とADCからのデジタル値との積である。上述のように、ゲインは、所与の増幅器ゲインのために一定である必要はないが、ある程度入力電圧に依存し、従って、デジタル値である。コントローラ92は、各列増幅器のゲインのテーブルを記憶する。
【0049】
[0053] 上述したように、主のフォトダイオードと寄生フォトダイオードからの出力をブレンドすることの目的は、対応する画素センサにおける露光の線形関数である信号値を提供することである。本発明に係る画像センサのダイナミックレンジは10程度に高くすることができる。露光の全体のレンジにわたってこの線形の値を適切に表すために、24ビット整数が必要とされる。従って、コントローラ92から出力バスは、24ビットバスである必要がある。監視または他の動画カメラに必要とされる速度でこのような大規模なバスを駆動するために必要とされる電力は相当である。従って、本発明の一態様では、最終的な露光値は、ずっと小さい数のビットに圧縮される。
【0050】
[0054] 低露光において、デジタル値の最上位ビッはゼロである。高露光では、上位のビットにおけるデジタル値が重要であるが、最下位ビットの値は、ショットノイズによって支配され、従って、ほとんど有用な情報を提供しない。従って、それらの値は、露光値を大きく変更することなく、ゼロまたは任意の他の値に置き換えることができる。本発明の一態様では、線形露光値は、最も高く圧縮されたデジタル値が、非圧縮のデジタル値よりも相当に少ないビットを必要とするように選択された非線形変換を用いて、圧縮された露光値に変換される。
【0051】
[0055] 閾値Vのテーブルを検討する。露光デジタル値、V、がVより大きく、Vi+1より小さい場合、Vはiで置き換えられる。ここで、i=1 to Ntである。伸長では、VはVに置き換えられる。VとVi+1の間の差が、値Vを有する信号におけるショットノイズより小さいように、テーブル値Viが選ばれる。加えて、テーブルにおけるエントリの数が、 Nt<<Vmax のように選ばれ、ここで、Vmaxは最も大きな画素信号である。例示的な実施形態では、線形露光値は24ビットを必要とするが、iの最大値は14ビットだけを必要とする。従って、出力値の数における相当な節約が達成される。
【0052】
[0056] 上述した実施形態は、主のフォトダイオードと寄生ダイオードを有する画素センサを利用する。しかし、本発明の教示は、画素センサが2つの従来のフォトダイオードを有する撮像アレイにおけるCFPNを低減するために適用され得る。一般に、第1のフォトダイオードは、第1と第2の露光限界によって特徴付けられる露光の第1の帯域における露光を測定することができる。第2のフォトダイオードは、第3と第4の露光限界によって特徴付けられる露光の第2の帯域における露光を測定する。第1と第2の帯域は重なり、即ち、第3の露光限界は、第1の露光限界よりも大きく、第2の露光限界より小さく、第4露光限界は、第2の露光限界よりも大きい。結果として得られた撮像素子は、どのフォトダイオードがフローティング拡散ノードに現在接続されているかを決定するために2つの従来のフォトダイオードと追加の内部ゲートとを利用する撮像センサよりも、相当に小さく、従って、安価であるので、本発明は、好ましくは、第2のフォトダイオードとしての寄生フォトダイオードを使用する。
【0053】
[0057] 本発明の上述の実施形態は、本発明の様々な態様を例示するために提供される。しかし、異なる特定の実施形態において示される本発明の異なる態様が、本発明の他の実施形態を提供するために組み合わされ得ることが理解されるべきである。加えて、本発明への様々な変更が、以上の説明及び添付図面から明らかになるであろう。従って、本発明は、請求項の範囲によってのみ限定されるべきである。
以下に、本願出願当初の特許請求の範囲に記載された発明を付記する。
[C1]
複数の画素センサと複数の読み出し線によって特徴付けられる矩形の撮像アレイと、
複数の列処理回路であって、各列処理回路は、前記複数の読み出し線の対応する1つに接続される、複数の列処理回路と、
複数の信号注入器であって、1つの信号注入器は、前記読み出し線の各々に接続され、各信号注入器は、所定数の電圧の1つを当該読み出し線に結合されるようにする、複数の信号注入器と、
複数の撮像記録期間の各々の間に、前記複数の画素センサの各々についての露光を決定し、前記信号注入器に、複数の校正期間の各々の間に、前記読み出し線に複数の較正電圧を注入するようにさせ、前記複数の較正期間の間に、増幅器の出力を測定することによって、前記複数の列処理回路の1つにおける増幅器のゲイン関数を決定するコントローラと
を備え、
前記複数の較正期間は、前記撮像記録期間の間にある、
装置。
[C2]
前記コントローラは、前記信号注入器に、画素センサが光に晒されなかったとしたら出力したであろう値を有する信号を注入させ、
前記コントローラは、前記複数の列処理回路の各々のための列オフセット値を決定する、
[C1]に記載の装置。
[C3]
さらに、信号注入器の複数の列を備え、
各列処理回路は、複数の前記信号注入器に接続され、
前記コントローラは、前記列オフセット値を決定することにおいて、前記信号注入器によって生成される前記列オフセット値を平均する、
[C2]に記載の装置。
[C4]
前記列オフセット値は、複数の前記較正期間に間に決定される、[C2]に記載の装置。
[C5]
前記複数の画素センサの各々は、第1のフォトダイオードと第2のフォトダイオードを備え、
前記第1のフォトダイオードは、第2のフォトダイオードとは異なる光変換効率によって特徴付けられる、
[C1]に記載の装置。
[C6]
前記第2のフォトダイオードは、前記第1のフォトダイオードの30分の1(1/30)より少ない光変換効率を有する、[C5]に記載の装置。
[C7]
前記第2のフォトダイオードは、第1のフォトダイオードによって生成される電荷を電圧に変換するためにも使用されるフローティング拡散ノードを含む寄生フォトダイオードを備える、[C6]に記載の装置。
[C8]
前記コントローラは、前記複数の撮像記録期間の間に、前記第1のフォトダイオードの光変換効率の前記第2のフォトダイオードの光変換効率に対する比率を決定する、[C5]に記載の装置。
[C9]
前記コントローラは、前記第2のフォトダイオードが較正範囲で信号を生成する複数の画素センサからの信号を平均することによって前記比率を決定する、[C8]に記載の装置。
[C10]
前記較正範囲は、前記第2のフォトダイオードが暗電流閾値よりも大きい暗電流を有する画素センサを除く、[C9]に記載の装置。
[C11]
前記複数の画素センサは、カラーチャネルに分割され、
各カラーチャネルは、当該カラーチャネルにおける画素センサ上に、対応するカラーフィルタを有し、
前記コントローラは、前記カラーチャネルの各々について個別に前記比率を決定する、
[C8]に記載の装置。
[C12]
前記第1のフォトダイオードは、第1の露光と第2の露光との間の露光を測定し、
前記第2のフォトダイオードは、第3の露光と第4の露光との間の露光を測定し、
前記第3の露光は、前記第2の露光より小さく、
前記第4の露光は、前記第2の露光より大きい、
[C5]に記載の装置。
[C13]
前記コントローラは、前記第1の露光と前記第4の露光との間の露光を測定し得る単一のフォトダイオードをシミュレートするために、前記第2の露光より小さい露光を測定するために前記第1のフォトダイオードを使用し、前記第2の露光より大きい露光を測定するために前記第2のフォトダイオードを使用する、[C5]に記載の装置。
[C14]
シミュレートされた前記単一のフォトダイオードは、前記露光の線形関数であり、前記第1のフォトダイオードと前記第2のフォトダイオードの前記光変換効率と、前記複数の列処理回路における変化とは独立である第1の露光値を生成する、[C13]に記載の装置。
[C15]
前記第1の露光値は、ショットノイズ値によって特徴づけられ、
前記コントローラは、前記複数の画素センサの各々のために第2の露光値を出力し、
前記第2の露光は、より少ないビットが出力することを必要とし、前記ショットノイズ値よりも小さい量だけ前記第1の露光とは異なる、
[C14]に記載の装置。
図1
図2
図3
図4
図5