知財求人 - 知財ポータルサイト「IP Force」
▶ ジーブイビービー ホールディングス エス．エイ．アール．エル．の特許一覧
特許7055792ハイダイナミックレンジ・デジタル二重サンプリング用のシステムおよび方法
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-04-08
(45)【発行日】2022-04-18
(54)【発明の名称】ハイダイナミックレンジ・デジタル二重サンプリング用のシステムおよび方法
(51)【国際特許分類】
H04N 5/359 20110101AFI20220411BHJP
H04N 5/378 20110101ALI20220411BHJP
H04N 5/374 20110101ALI20220411BHJP
【ＦＩ】
H04N5/359 800
H04N5/378
H04N5/374
【請求項の数】
24
(21)【出願番号】P 2019513009
(86)(22)【出願日】2017-09-05
(65)【公表番号】
(43)【公表日】2019-09-19
(86)【国際出願番号】 EP2017072196
(87)【国際公開番号】W WO2018046478
(87)【国際公開日】2018-03-15
【審査請求日】2020-09-03
(31)【優先権主張番号】62/384,970
(32)【優先日】2016-09-08
(33)【優先権主張国・地域又は機関】US
(31)【優先権主張番号】15/693,034
(32)【優先日】2017-08-31
(33)【優先権主張国・地域又は機関】US
(73)【特許権者】
【識別番号】511006720
【氏名又は名称】ジーブイビービー ホールディングス エス．エイ．アール．エル．
(74)【代理人】
【識別番号】100106002
【弁理士】
【氏名又は名称】正林 真之
(74)【代理人】
【識別番号】100120891
【弁理士】
【氏名又は名称】林 一好
(72)【発明者】
【氏名】ロッテ イェルン
(72)【発明者】
【氏名】フィッセル リック
(72)【発明者】
【氏名】ファン デン ヘイカント ユール ヨセフス ヨハネス
【審査官】鈴木 明
(56)【参考文献】
【文献】特開２０１０－２４５８９１（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｈ０４Ｎ ５／３０－５／３７８
(57)【特許請求の範囲】
【請求項1】
ＣＭＯＳイメージ・センサの過飽和状態のピクセルに起因する、キャプチャ済みのイメージ中でのブラック・サンのアーティファクトを除去するためのイメージ処理システムであって、イメージ・キャプチャ中にＣＭＯＳイメージ・センサのピクセル配列内の少なくとも１つのピクセルのデジタル暗値、デジタル明値、および２倍のデジタル明値をサンプリングするように構成されたピクセル・サンプリング装置であって、前記デジタル明値が、前記少なくとも１つのピクセルの第１のサブピクセルのサンプリング済みの出力に対応し、前記２倍のデジタル明値が、前記少なくとも１つのピクセルの前記第１のサブピクセルと第２のサブピクセルとのサンプリング済みの合成出力に対応するピクセル・サンプリング装置と、
前記サンプリング済みの２倍のデジタル明値から前記サンプリング済みのデジタル明値を減算することによって、前記第２のサブピクセルのデジタル化された値を計算するように構成されたデジタル化出力値計算装置と、
サンプリング済みのデジタル暗値から前記少なくとも１つのピクセルの平均暗値を減算して、調整済みの暗値を生成するように構成されたデジタル暗値調整装置と、
前記調整済みの暗値を受け取り、前記デジタル暗値についての対応する照度出力値を決定するように構成されたルックアップ・テーブルであって、前記決定済みの照度出力値が、表示装置に表示されると、前記キャプチャ済みのイメージでのブラック・サンのアーティファクトを除去するように構成されるルックアップ・テーブルと、
前記サンプリング済みのデジタル明値から、前記平均暗値および前記決定済みの照度出力値を減算することによって、デジタル二重サンプリング（ＤＤＳ）出力値を生成するように構成されたイメージ補正信号発生器と、
前記第２のサブピクセルが飽和していないと関係演算子が判定すると、イメージを生成するための補正済みのイメージ信号用の前記第２のサブピクセルの前記計算済みのデジタル化された値を決定するように構成され、前記第２のサブピクセルが飽和していると前記関係演算子が判定すると、前記イメージを生成するための前記補正済みのイメージ信号として、前記生成されるＤＤＳ出力値を決定するように構成された明値選択装置と、
前記決定された補正済みのイメージ信号に基づいて、前記表示装置に前記キャプチャ済みのイメージを表示し、その結果、前記キャプチャ済みのイメージがブラック・サンのアーティファクトなしに表示されるように構成されたイメージ発生器と
を備える、イメージ処理システム。
【請求項2】
前記デジタル暗値調整装置が、前記デジタル暗値に基づいて前記平均暗値を調整するようにさらに構成された、請求項１に記載のイメージ処理システム。
【請求項3】
前記少なくとも１つのピクセルが露出過度の照度状態にある場合、前記ルックアップ・テーブルが、前記サンプリング済みのデジタル暗値についての負の照度出力値を識別する、請求項１に記載のイメージ処理システム。
【請求項4】
前記関係演算子が、前記第２のサブピクセルの飽和状態に基づいて前記明値選択装置を駆動して第１の状態にして、前記補正済みのイメージ信号のために前記第２のサブピクセルの前記計算済みのデジタル化された値を選択し、または第２の状態にして、前記補正済みのイメージ信号のために前記生成済みのＤＤＳ出力値を選択する、請求項３に記載のイメージ処理システム。
【請求項5】
前記ピクセル・サンプリング装置が、前記ピクセル配列内の前記少なくとも１つのピクセルのサンプリング済みの暗値、明値、および２倍の明値を、それぞれ前記デジタル暗値、前記デジタル明値、および前記２倍のデジタル明値に変換するように構成された少なくとも１つのデータ変換回路を備える、請求項１に記載のイメージ処理システム。
【請求項6】
過飽和状態のピクセルに起因するキャプチャ済みのイメージからアーティファクトを除去するためのイメージ処理システムであって、イメージ・キャプチャ中にイメージ・センサのピクセル配列内の少なくとも１つの飽和ピクセルのデジタル暗値およびデジタル明値をサンプリングするように構成されたピクセル・サンプリング装置と、
前記サンプリング済みのデジタル暗値から、前記少なくとも１つの飽和ピクセルの平均暗値を減算して、調整済みの暗値を生成するように構成されたデジタル暗値調整装置と、
表示装置に表示されると、前記キャプチャ済みのイメージから少なくとも１つのアーティファクトを除去するように構成された、最適なアーティファクト補正値を出力するルックアップ・テーブルに、前記調整済みの暗値を入力することによって、アーティファクト補正値を決定するように構成されたアーティファクト補正装置と、
前記サンプリング済みのデジタル明値から前記平均暗値と前記最適なアーティファクト補正値とを減算することによって、前記少なくとも１つの飽和ピクセルについての補正済みのデジタル明値を生成するように構成されたイメージ補正信号発生器と、
前記補正済みのデジタル明値に基づいて、補正されたキャプチャ済みのイメージを表示するように構成され、少なくとも１つの飽和ピクセルに基づく少なくとも１つのアーティファクトを表示しないイメージ発生器と
を備える、イメージ処理システム。
【請求項7】
前記ピクセル・サンプリング装置が、前記ピクセル配列内の少なくとも１つの飽和ピクセルの２倍のデジタル明値をサンプリングするように構成され、前記デジタル明値が、前記少なくとも１つの飽和ピクセルの第１のサブピクセルのサンプリング済みの出力に対応し、前記２倍のデジタル明値が、前記少なくとも１つの飽和ピクセルの前記第１のサブピクセルと第２のサブピクセルとのサンプリング済みの合成出力に対応する、請求項６に記載のイメージ処理システム。
【請求項8】
前記サンプリング済みの２倍のデジタル明値から前記サンプリング済みのデジタル明値を減算することによって、前記第２のサブピクセルのデジタル化された値を計算するように構成されたデジタル化出力値計算装置をさらに備える、請求項７に記載のイメージ処理システム。
【請求項9】
前記第２のサブピクセルが飽和していないと関係演算子が判定すると、イメージを生成するための補正済みのイメージ信号用の前記第２のサブピクセルの前記計算済みのデジタル化された値を決定するように構成され、前記第２のサブピクセルが飽和していると前記関係演算子が判定すると、前記イメージを生成するための前記補正済みのイメージ信号として、前記最適なアーティファクト補正値を決定するように構成された明値選択装置をさらに備える、請求項８に記載のイメージ処理システム。
【請求項10】
前記イメージ発生器が、前記決定された補正済みのイメージ信号に基づいて、前記補正されたキャプチャ済みのイメージを表示し、その結果、前記キャプチャ済みのイメージがブラック・サンのアーティファクトなしに表示されるようにさらに構成される、請求項９に記載のイメージ処理システム。
【請求項11】
前記デジタル暗値調整装置が、前記サンプリング済みのデジタル暗値に基づいて前記平均暗値を調整するようにさらに構成された、請求項６に記載のイメージ処理システム。
【請求項12】
前記少なくとも１つの飽和ピクセルが露出過度の照度状態にある場合、前記ルックアップ・テーブルが、前記サンプリング済みのデジタル暗値についての負の照度出力値を識別する、請求項９に記載のイメージ処理システム。
【請求項13】
前記関係演算子が、前記第２のサブピクセルの飽和状態に基づいて前記明値選択装置を駆動して第１の状態にして、前記補正済みのイメージ信号のために前記第２のサブピクセルの前記計算済みのデジタル化された値を選択し、または第２の状態にして、前記補正済みのイメージ信号のために前記最適なアーティファクト補正値を選択する、請求項１２に記載のイメージ処理システム。
【請求項14】
前記ピクセル・サンプリング装置が、前記ピクセル配列内の前記少なくとも１つの飽和ピクセルのサンプリング済みの暗値、およびサンプリング済みの明値を、それぞれ前記デジタル暗値、および前記デジタル明値に変換するように構成された少なくとも１つのデータ変換回路を備える、請求項６に記載のイメージ処理システム。
【請求項15】
過飽和状態のピクセルによって生じるアーティファクトなしに、改善されたイメージを生成するためのイメージ処理システムであって、イメージ・センサの少なくとも１つのピクセルの取得済みの暗値に少なくとも基づいて、少なくとも１つのアーティファクト補正値を識別するように構成されたアーティファクト補正決定装置と、
前記識別された少なくとも１つのアーティファクト補正値を、前記少なくとも１つのピクセルの取得済みの明値に加えて、前記少なくとも１つのピクセルの飽和によって生じる少なくとも１つのアーティファクトなしに表示されるように構成された改善済みのイメージを生成するように構成されたピクセル出力補正装置と、
イメージ・キャプチャ中に、前記取得済みの暗値をデジタル暗値に変換するように構成され、前記取得済みの明値を、前記少なくとも１つのピクセルのデジタル明値に変換するように構成された、ピクセル・サンプリング装置
を備え、
前記ピクセル・サンプリング装置が、イメージ・キャプチャ中にサンプリングされる前記少なくとも１つのピクセルの第１のサブピクセルと、前記少なくとも１つのピクセルの第２のサブピクセルとの合成出力に対応する、前記少なくとも１つのピクセルの２倍のデジタル明値を取得するようにさらに構成される、イメージ処理システム。
【請求項16】
前記変換済みのデジタル暗値から前記少なくとも１つのピクセルの平均暗値を減算して、調整済みの暗値を生成するように構成されたデジタル暗値調整装置をさらに備える、請求項１５に記載のイメージ処理システム。
【請求項17】
表示装置に表示されると、前記アーティファクト補正決定装置が、前記調整済みの暗値をルックアップ・テーブルに入力して、前記キャプチャ済みのイメージから前記少なくとも１つのアーティファクトを除去するように構成された最適なアーティファクト補正値を決定するようにさらに構成される、請求項１６に記載のイメージ処理システム。
【請求項18】
前記少なくとも１つのアーティファクト補正値に基づいて前記改善済みのイメージを表示するように構成されたイメージ発生器をさらに備える、請求項１５に記載のイメージ処理システム。
【請求項19】
前記第２のサブピクセルが飽和していないと関係演算子が判定すると、イメージを生成するための補正済みのイメージ信号用の前記第２のサブピクセルの前記デジタル明値を決定するように構成され、前記第２のサブピクセルが飽和していると前記関係演算子が判定すると、前記イメージを生成するための前記補正済みのイメージ信号として、前記識別済みの少なくとも１つのアーティファクト補正値を決定するように構成された明値選択装置をさらに備える、請求項１５に記載のイメージ処理システム。
【請求項20】
前記決定された補正済みのイメージ信号に基づいて前記生成された改善済みのイメージを表示し、その結果、前記生成された改善済みのイメージが、ブラック・サンのアーティファクトなしで表示されるように構成されたイメージ発生器をさらに備える、請求項１９に記載のイメージ処理システム。
【請求項21】
前記デジタル暗値調整装置が、前記デジタル暗値に基づいて前記平均暗値を調整するようにさらに構成された、請求項１６に記載のイメージ処理システム。
【請求項22】
前記少なくとも１つの飽和ピクセルが露出過度の照度状態にあると、前記ルックアップ・テーブルが、前記最適なアーティファクト補正値として負の照度出力値を識別する、請求項１７に記載のイメージ処理システム。
【請求項23】
前記取得済みの２倍のデジタル明値から前記取得済みのデジタル明値を減算することによって、前記第２のサブピクセルのデジタル化された値を計算するように構成されたデジタル化出力値計算装置をさらに備える、請求項１９に記載のイメージ処理システム。
【請求項24】
前記関係演算子が、前記第２のサブピクセルの飽和状態に基づいて前記明値選択装置を駆動して第１の状態にして、前記補正済みのイメージ信号のために前記第２のサブピクセルの前記計算済みのデジタル化された値を選択し、または第２の状態にして、前記補正済みのイメージ信号のために前記少なくとも１つのアーティファクト補正値を選択する、請求項２３に記載のイメージ処理システム。
【発明の詳細な説明】
【技術分野】
【0001】
関連出願の相互参照
本出願は、２０１６年９月８日出願の米国特許仮出願第６２／３８４，９７０号の優先権を主張する、２０１７年８月３１日出願の米国特許出願第１５／６９３，０３４号の優先権を主張し、これらそれぞれの内容全体を参考として本明細書に援用する。
本出願は、２０１６年９月８日出願の米国特許仮出願第６２／３８４，９７０号の優先権を主張する、２０１７年８月３１日出願の米国特許出願第１５／６９３，０３４号の優先権を主張し、これらそれぞれの内容全体を参考として本明細書に援用する。
【0002】
本明細書での開示は一般に、ＣＭＯＳイメージ・センサに関し、より詳細には、ハイダイナミックレンジ・デジタル二重サンプリングを実行する方法、およびその方法を実行するためのＣＭＯＳイメージ・センサに関する。
【背景技術】
【0003】
光信号を電気信号に変換することによってデジタル・イメージを生成するために、相補型金属酸化膜半導体（「ＣＭＯＳ」）イメージ・センサがデジタル・カメラで広く使用されている。動作時には、ＣＭＯＳイメージ・センサは、フォトダイオードおよび読出し回路をそれぞれが備える多数のピクセルを使用して、光信号を電気信号に変換する。フォトダイオードは、吸収した光を使用して電荷を生成し、生成したこの電荷をアナログ電流に変換し、このアナログ電流を読出し回路に供給する。読出し回路は、アナログ信号をデジタル信号に変換し、このデジタル信号を出力する。
【0004】
図１には、４つのトランジスタを含み（すなわち「４Ｔ型ピクセル」）、ビット線に接続された、ＣＭＯＳイメージ・センサ用のピクセルの、１つの例示的な設計図が示してある。図に示すように、ＣＭＯＳイメージ・センサ・ピクセル１０は、光子から電子に変換するフォトダイオード（「ＰＤ」）を備え、フローティング・ディフュージョン（「ＦＤ」）ポイントが、電子から電圧に変換する。ＦＤでの電子変換ごとの電圧は変換利得（「ＣＧ」）として知られており、ＣＭＯＳイメージ・センサにとって重要なパラメータである。変換利得は、アナログ・ノイズに対してピクセル信号を増大させ、これによってノイズ・フロアを低下させ、それによって比較的低い光レベルでの性能を可能にする。
【0005】
図１に示す４Ｔ型ピクセル設計物を含むＣＭＯＳイメージ・センサでは、デジタル二重サンプリング（「ＤＤＳ」）を使用して、測定されたピクセル電圧出力の不要なオフセットを除去する。ＤＤＳは、初期化されたピクセルが出力する第１のアナログ信号をデジタル・データに変換することによって得られるデジタル・データＤｒｓｔと、外部のイメージ信号を受け取ったピクセルから受け取る第２のアナログ信号を、デジタル・データに変換することによって得られるデジタル・データＤｓｉｇとの差分（Ｄｓｉｇ－Ｄｒｓｔ）を得ることを意味し、ここで、第２のアナログ信号は、外部のイメージ信号に対応する。例として図１のピクセル設計物を使用すると、リセット・トランジスタ（「ＲＳＴ」）およびトランスファ・ゲート（「ＴＧ」）が同時にオンになるとピクセルがリセットされ、フローティング・ディフュージョンＦＤとフォトダイオードＰＤの両方がＶＤＤの電圧レベルに設定される。次に、トランスファ・ゲートＴＧがオフになり（フォトダイオードＰＤとフローティング・ディフュージョンＦＤを切り離し）、このフォトダイオードＰＤを残して光をまとめる。
【0006】
まとめた後、信号測定がおこなわれる。まず、リセット・トランジスタＲＳＴをオン／オフして、フローティング・ディフュージョンＦＤをリセットする。この直後に、リセット・レベルがフローティング・ディフュージョンＦＤからサンプリングされ、列回路、すなわちビット線２０に蓄積される。次に、トランスファ・ゲートＴＧをオン／オフし、これによって、フォトダイオードＰＤ上の電荷がフローティング・ディフュージョン（ＦＤ）に移動できるようになる。電荷移動が完了すると、この電荷（フォトダイオード信号レベルに加えてフローティング・ディフュージョン・リセット・レベル）が測定され、同様にビット線２０に蓄積される。
【0007】
これら２つの蓄積された電圧は、次いでその差をとって（「Ｄｓｉｇ－Ｄｒｓｔ」）、フォトダイオードの信号レベルを決定する。次に、絶対ピクセル・レベルを決定するのに使用されるリセット・レベルが測定された後に、測定全体を通して信号レベルおよびそのリセット・レベルが参照されるので、この設計により、相関二重サンプリング（「ＣＤＳ」）動作を実行することができる。ＤＤＳの使用により、４Ｔ型ピクセルの設計１０を使用するピクセル配列は、例えば、そのＣＭＯＳイメージ・センサの性能が著しく改善され、読取りノイズと読取り残像の両方が低減する。さらに、この設計によって、ピクセル・ソースの追従オフセットなどが減少する。
【0008】
既存のＣＭＯＳイメージ・センサに関する１つの技術的な問題は、こうしたセンサが、結果として得られるイメージ内にアーティファクトを生成する傾向をもつ場合があることである。アーティファクトとは、極めて高い光レベルに曝されてきたセンサ領域に対応するイメージ内の領域であり、実際にはその領域がイメージ内で最も明るい対象物でなければならないときに、そのイメージ内で黒く見えることがある（たとえば「ブラック・サン」）。
【0009】
アーティファクトは、ピクセル配列内の非常に過飽和状態のピクセルによって生成される。過飽和状態のピクセルとは、露出時間中にピクセルのフォトダイオードが吸収できる光エネルギーよりも多くの光エネルギーに曝されるピクセルである。たとえば、ＣＭＯＳイメージ・センサがＤＤＳで動作していて、リミッタが利用されていない場合、リセット後に電荷が急速に蓄積して、その結果、サンプリング済みの暗値が一杯になることがある。前述の通り、リセット電圧（すなわち、暗サンプル）と信号電圧（すなわち、明サンプル）との間の差が、結果として得られるピクセルの輝度値を決定する（すなわち、ＤＤＳ出力）。ピクセルの飽和によって暗サンプルが著しく増加すると、ＤＤＳ出力が著しく低下し、その結果、ブラック・サンのアーティファクトが生じることになる。
【0010】
図２Ａには、サンプリング済みの暗ピクセルおよび明ピクセルの電圧出力の関数としての、ＤＤＳ出力を示すグラフが示してある。図に示すように、最初にピクセルが完全に機能して（すなわち、飽和なし）で動作している間、ＤＤＳ出力は、サンプリング済みのデジタル化された明値に一致するようになる。しかし、ピクセルが飽和し始めるときにサンプリング済みの暗値が臨界値に達すると、明値が一定（たとえば、４０００ＤＮを超えた状態）のままであるにもかかわらず、ＤＤＳ出力は減少し始める。この暗値が増加すると、測定された照度が非常に明るくても、結果として得られる出力が黒になる点までＤＤＳ出力は低下する。図２Ｂには、この場合でのブラック・サンのアーティファクトを示すコンピュータ画像が示してある。
【0011】
既存のいくつかの設計では、サンプルの黒の値にリミッタを加えることによって、この問題を解決しようとしてきた。たとえば、ピクセル配列の読出し回路は、たとえば、サンプリング済みの黒の値が特定のある限界値よりも大きい場合に２＾１４－１のＤＤＳ出力をもたらす論理回路を含んでもよい。しかし、未処理の暗値によってハイライト部分が白く色褪せてランダム化されるので、その結果得られるイメージは、依然としてきれいではない。図２Ｃには、ブラック・サンのアーティファクトを除去するためのリミッタ回路を使用するＣＭＯＳイメージ・センサがもたらすイメージを示す、コンピュータ画像が示してある。
【0012】
さらに別の既存の設計では、ブラック・サンのアーティファクトを除去するために、暗い信号に対してルックアップ・テーブル・フェーダを使用しようと試みてきた。測定された暗値出力に基づいて、ルックアップ・テーブルがＤＤＳ出力を規定し、この暗値が増加するにつれて、ＤＤＳ出力も規定されたようにして増加することになる。図２Ｄには、ルックアップ・テーブル・フェーダの一例が示してある。しかし、図に示す通り、ハイライト部分は、図２Ｅに示すように依然として白く色褪せて見えた（すなわち、飽和ピクセルの部分についてはハッチング・パターンを見ることができない）。したがって、アーティファクトを低減するためのこうしたイメージング技術の改良が、依然として必要とされる。
【発明の概要】
【課題を解決するための手段】
【0013】
本明細書に開示するように、例示的な実施形態によるハイダイナミックレンジのデジタル二重サンプリングを実行するためのシステムおよび方法が提供される。以下で詳細に説明するように、このシステムは、規定され／プログラムされた閾値に飽和ピクセルのサンプリング済みの暗レベルが達すると、その出力を反転するプログラム可能なルックアップ・テーブルを有する論理回路を含む。この技法により、ｋＴＣノイズを抑制し、デジタル変換までの読出しチェーンにおけるオフセットを含む、他のすべての外乱およびアーティファクトを除去する、イメージング装置のデジタル二重サンプリングが容易になる。同時に、この開示されたシステムおよび方法は、前述の従来設計を使用すると普通なら失われるハイライト部分での細部を保存することでもたらされるイメージを生成する。
【0014】
したがって、例示的な実施形態によれば、ＣＭＯＳイメージ・センサの過飽和状態のピクセルに起因する、キャプチャ済みのイメージ中でのブラック・サンのアーティファクトを除去するためのイメージ処理システムが提供される。この態様では、このイメージ処理システムは、イメージ・キャプチャ中にＣＭＯＳイメージ・センサのピクセル配列内の少なくとも１つのピクセルのデジタル暗値、デジタル明値、および２倍のデジタル明値をサンプリングするように構成されたピクセル・サンプリング装置であって、このデジタル明値が、少なくとも１つのピクセルの第１のサブピクセルのサンプリング済みの出力に対応し、２倍のデジタル明値が、少なくとも１つのピクセルの第１のサブピクセルと第２のサブピクセルとのサンプリング済みの合成出力に対応するピクセル・サンプリング装置と、サンプリング済みの２倍のデジタル明値からサンプル済みのデジタル明値を減算することによって、第２のサブピクセルのデジタル化された値を計算するように構成されたデジタル化出力値計算装置と、サンプリング済みのデジタル暗値から少なくとも１つのピクセルの平均暗値を減算して、調整済みの暗値を生成するように構成されたデジタル暗値調整装置とを備える。さらに、調整済みの暗値を受け取り、デジタル暗値についての対応する照度出力値を決定するように構成されたルックアップ・テーブルが提供され、この決定済みの照度出力値は、表示装置に表示されると、キャプチャ済みのイメージでのブラック・サンのアーティファクトを除去するように構成される。さらに、このシステムは、サンプリング済みのデジタル明値から、平均暗値および決定済みの照度出力値を減算することによって、デジタル二重サンプリング（ＤＤＳ）出力値を生成するように構成されたイメージ補正信号発生器と、第２のサブピクセルが飽和していないと関係演算子が判定すると、イメージを生成するための補正済みのイメージ信号用の第２のサブピクセルの計算済みのデジタル化された値を決定するように構成され、第２のサブピクセルが飽和していると関係演算子が判定すると、イメージを生成するための補正済みのイメージ信号として、生成されるＤＤＳ出力値を決定するように構成された明値選択装置と、決定された補正済みのイメージ信号に基づいて、表示装置上にキャプチャ済みのイメージを表示し、その結果、このキャプチャ済みのイメージがブラック・サンのアーティファクトなしに表示されるように構成されたイメージ発生器とを備える。
【0015】
別の例示的な実施形態では、過飽和状態のピクセルに起因するキャプチャ済みのイメージからアーティファクトを除去するためのイメージ処理システムが提供される。この態様では、このイメージ処理システムは、イメージ・キャプチャ中にイメージ・センサのピクセル配列内の少なくとも１つの飽和ピクセルのデジタル暗値およびデジタル明値をサンプリングするように構成されたピクセル・サンプリング装置と、サンプリング済みのデジタル暗値から、少なくとも１つの飽和ピクセルの平均暗値を減算して、調整済みの暗値を生成するように構成されたデジタル暗値調整装置と、表示装置に表示されると、キャプチャ済みのイメージから少なくとも１つのアーティファクトを除去するように構成された、最適なアーティファクト補正値を出力するルックアップ・テーブルに、調整済みの暗値を入力することによって、アーティファクト補正値を決定するように構成されたアーティファクト補正装置と、サンプリング済みのデジタル明値から平均暗値と識別された最適なアーティファクト補正値とを減算することによって、少なくとも１つの飽和ピクセルについての補正済みのデジタル明値を生成するように構成されたイメージ補正信号発生器と、補正済みのデジタル明値に基づいて、補正されたキャプチャ済みのイメージを表示するように構成され、少なくとも１つの飽和ピクセルに基づく少なくとも１つのアーティファクトを表示しないイメージ発生器とを備える。
【0016】
別の例示的な態様では、過飽和状態のピクセルによって生じるアーティファクトなしに、改善済みのイメージを生成するためのイメージ処理システムが提供される。この態様では、このイメージ処理システムは、イメージ・センサの少なくとも１つのピクセルの取得済みの暗値に少なくとも基づいて、少なくとも１つのアーティファクト補正値を識別するように構成されたアーティファクト補正決定装置と、この識別された少なくとも１つのアーティファクト補正値を、少なくとも１つのピクセルの取得済みの出力値に加えて、少なくとも１つのピクセルの飽和によって生じる少なくとも１つのアーティファクトなしに表示されるように構成された改善済みのイメージを生成するように構成されたピクセル出力補正装置とを備える。
【0017】
例示的な態様の上記簡略化された概要は、本開示を基本的に理解するのに役立つ。この概要は、企図されたすべての態様を広範囲にわたって概説するものではなく、すべての態様の鍵となる要素または重要な要素を識別するものでもなく、本開示のいずれかまたはすべての態様の範囲を述べるものでもない。その唯一の目的は、以下の本開示のさらに詳細な説明の前置きとして、１つまたは複数の態様を簡略化した形で提示することである。前述の目的を達成するために、本開示の１つまたは複数の態様は、特許請求の範囲において説明され、例示的に指摘される特徴を含む。
【0018】
添付図面は、本明細書に組み込まれ、その一部分を構成し、本開示の１つまたは複数の例示的な態様を示し、詳細な説明とともに、それらの原理および実装形態を説明するのに役立つ。
【図面の簡単な説明】
【0019】
【図1】４つのトランジスタを含み、ビット線に接続された、ＣＭＯＳイメージ・センサ用のピクセルの、典型的な設計図を示す。
【図2A】サンプリング済みの暗ピクセルおよび明ピクセルの電圧出力の関数としての、ＤＤＳ出力を示すグラフを示す。
【図2B】従来のＣＭＯＳイメージ・センサによって生成されるブラック・サンのアーティファクトを示すコンピュータ画像を示す。
【図2C】ブラック・サンのアーティファクトを除去するためのリミッタ回路を使用する、従来のＣＭＯＳイメージ・センサがもたらすイメージを示すコンピュータ画像を示す。
【図2D】従来のＣＭＯＳイメージ・センサによって実装されるルックアップ・テーブル・フェーダの一例を示す。
【図3A】例示的な実施形態によるハイダイナミックレンジのデジタル二重サンプリングを実行するための回路の論理図を示す。
【図3B】例示的な実施形態によるハイダイナミックレンジのデジタル二重サンプリングを実行するための回路の出力段の論理図を示す。
【図4】例示的な実施形態によるハイダイナミックレンジのデジタル二重サンプリングを実行するための回路の論理図に提示される例示的なルックアップ・テーブルを示す。
【図5】例示的な実施形態によるハイダイナミックレンジのデジタル二重サンプリングを実行する方法の流れ図を示す。
【図7A】例示的な別の実施形態によるハイダイナミックレンジのデジタル二重サンプリングを実行するためのシステムのハイレベル・ブロック図を示す。
【図8】例示的な別の実施形態によるハイダイナミックレンジのデジタル二重サンプリングを実行するためのＣＭＯＳイメージング装置のブロック図を示す。
【発明を実施するための形態】
【0020】
開示されたシステムおよび方法の様々な態様は、ここで各図面を参照して説明され、全体を通して同じ参照番号は同様の要素を指すのに使用される。以下の記述では、説明するために、本開示の１つまたは複数の態様を十分に理解できるようにするため、数多くの具体的な詳細を説明する。しかし、一部またはすべての場合において、以下に述べる具体的な設計詳細を採用することなく、以下に述べる任意の態様を実施できることが明らかになり得る。他の例では、１つまたは複数の態様の説明を容易にするために、よく知られた構造および装置がブロック図の形式で示してある。以下では、本発明の１つまたは複数の態様の簡略化された概要を提示して、その基本的な理解を得る。
【0021】
図３Ａには、例示的な実施形態によるハイダイナミックレンジのデジタル二重サンプリングを実行するための回路の論理図が示してある。この論理図には、アナログ・ピクセル・データが、ピクセル配列からサンプリングされ、比較器アレイから読み出され、複数のアナログ／デジタル変換器によってデジタル信号に変換（すなわち、デジタル化）された後の、イメージング装置のデジタル処理段が示してあることを理解されたい。例示的なピクセル構成は、先に図１で示してあるが、ピクセル設計の任意の変形形態に利用可能なＤＤＳ技法について、例示的な設計を実施することができる。
【0022】
図に示すように、図３Ａには、サンプリング済みのデジタル化された明値１１０、およびサンプリング済みのデジタル化された暗値１２０の受取りが示してある。前述の通り、暗値１２０は、デジタル二重サンプリング・プロセス中に、初期化されたピクセルによって出力される第１のアナログ信号をデジタル変換したものである。さらに、明値１１０は、外部のイメージ信号を受け取ったピクセルから受け取る第２のアナログ信号をデジタル変換したものである。
【0023】
例示的な実施形態では、各信号（すなわち、明値１１０および暗値１２０）は、１６ビットの符号なしコンテナで受け取られ、実際のデジタル化された値は、符号付きの１４ビット値である。したがって、明値１１０および暗値１２０のそれぞれのコンテナは、データ変換回路１１１および１２１、減算器１１２および１２２、ならびに増幅器１１４および１２４によってそれぞれ処理される。より具体的には、明値１１０が変換され、変換されたこの値から論理回路１１２によって一定値が減算された後、この場合は増幅器１１４によって０．５の利得で増幅される。同様に、暗値１２０が変換され、変換されたこの値から論理回路１１２によって一定値が減算された後、この場合も増幅器１１４によって０．５の利得で増幅される。これらの変換ステップは、単に、１６ビット符号なしコンテナから符号付き１４ビット値にアクセスすることであり、開示された本発明の態様を説明するのに重要ではない。したがって、当業者には理解されるように、これらの処理構成要素向けの代替回路を実装できることを理解されたい。
【0024】
いずれにしても、処理済みの明値１１０の出力は、デジタル論理回路１３０、すなわちデジタル論理装置によって実装される加算器すなわちアナログ加算器に供給される。デジタル論理回路１３０が設けられて、暗値平均値計算ユニット１２５とルックアップ・テーブル１２７の両方から受け取ったデジタル出力値を使用して、デジタル二重サンプリングを実行することによって、イメージ補正信号を生成する。図に示すように、デジタル論理回路１３０は、それぞれこの信号を受け取るための、１つの非反転入力および２つの反転入力を有する。デジタル論理回路１３０を実装するのに、どんな従来の加算器論理をも使用することができ、本明細書では詳細に説明しないことにする。
【0025】
図に示すように、処理される初期のサンプリング済みの暗値１２０は、暗値を記憶するための電子メモリ、およびサンプリング済みのピクセルについて平均初期暗値を計算するための処理論理回路を備えてもよい、暗値平均値計算ユニット１２５に供給される。あるいは、暗値平均値計算ユニット１２５の機能をソフトウェアに実装することもできる。さらに、一態様では、この値（たとえば「２１６３」であり、これはサンプリング済みの照度レベルを表すデジタル数値「ＤＮ」である）を表示装置１２８に表示することができる。さらに図に示すように、平均暗値が、デジタル論理回路１３０の負入力すなわち反転入力に供給される。すなわち、この値は、暗値平均値計算ユニット１２５によって推定され、ループを介してデジタル論理回路１３０に伝送される、暗信号ＤＣオフセットである。デジタル論理回路１３０は、明値１１０からこの値を線形的に減算してｋＴＣノイズを抑制し、デジタル変換までの読出しチェーンでのオフセットを含む他のすべての外乱を除去して、サンプリング済みのピクセルのデジタル二重サンプリングを実現するように構成される。
【0026】
例示的な実施形態によれば、相対的に高レベルの暗値は正のビデオ・データとして処理しなければならないが、それというのも、各ピクセルが前述の高レベルの照度条件によって飽和してしまった可能性が高いからである。これに関しては、相対的に高レベルの暗値が、まずデジタル暗値調整装置１２６に加えられることになり、この装置は、暗値平均値計算ユニット１２５から出力される暗信号の平均ＤＣ値を減算するように構成されたデジタル論理減算器とすることができ、したがって符号変換を実行することができる。計算済みの値、すなわち調整済みの暗値は、次いでルックアップ・テーブル１２７に供給される。例示的な実施形態によるプログラム可能なルックアップ・テーブル１２７の一例を、図４Ａおよび４Ｂに示す。しかし、一般に、ルックアップ・テーブル１２７は、（ルックアップ・テーブルのｘ軸での）照度入力を受け取り、デジタル論理回路１３０の別の負入力に供給できる（ルックアップ・テーブルのｙ軸での）対応する照度出力値を識別する。照度出力値は、イメージ・キャプチャ中に、飽和ピクセルのサンプリング済みの明値からアーティファクトを除去することのできる最適なアーティファクト補正信号とすることができると理解されたい。
【0027】
図４Ａおよび図４Ｂを参照すると、ルックアップ・テーブル１２７の出力がまず、たとえば２０００くらいの暗値の測定済みのおおよそのＤＮ値まで、照度入力とともに直線的に増加するように示してある。すなわち、ルックアップ・テーブルのこの部分は、対応するピクセルの完全機能（すなわち、非露出過度すなわち非飽和の照度状態）を想定する。次いで、出力値は、ほぼ４０００ＤＮの照度までは２０００で一定である。この段階では、測定済みの照度入力が増加し続けるにつれて、ルックアップ・テーブルの出力は直線的に減少する。したがって、キャプチャ済みのイメージの照度条件によってピクセルが飽和したと考えられる。さらに、出力値は、ほぼ８０００ＤＮで負の値に達する。この理由は、デジタル論理回路１３０によって、受け取り済みの明値１１０にこの負の値を加える必要があることである。さらに、ルックアップ・テーブル１２７は、共通のＩＦ－ＴＨＥＮ論理を使用して構成されたデジタル論理回路を使用して実装できることを理解されたい。たとえば、ルックアップ・テーブルは、以下の論理を使用して実装することができる。
ＤａｒｋＸ＝［０ ２０４８ ４０９６ ８１９２ １０２４０ １２２８８ １４３３６ １６３８３］
ＤａｒｋＬＵＴ＿ｌｏｇ＝［０ ２０４８ ２０４８ ０ －１０２４ －２０４８ －３０７２ －４０９６］
ルックアップ・テーブル１２７は、設計者の好み、デバイス・ビューア装置の仕様などに従ってプログラム可能とすることができると理解されたい。したがって、「ＤａｒｋＸ」および「ＤａｒｋＬＵＴ＿ｌｏｇ」でのこれら例示的な数は、たとえば適宜プログラムすることができる。
ＤａｒｋＸ＝［０ ２０４８ ４０９６ ８１９２ １０２４０ １２２８８ １４３３６ １６３８３］
ＤａｒｋＬＵＴ＿ｌｏｇ＝［０ ２０４８ ２０４８ ０ －１０２４ －２０４８ －３０７２ －４０９６］
ルックアップ・テーブル１２７は、設計者の好み、デバイス・ビューア装置の仕様などに従ってプログラム可能とすることができると理解されたい。したがって、「ＤａｒｋＸ」および「ＤａｒｋＬＵＴ＿ｌｏｇ」でのこれら例示的な数は、たとえば適宜プログラムすることができる。
【0028】
図３Ａに戻って参照すると、デジタル論理回路１３０は、明値１１０を受け取り、暗値平均値計算ユニット１２５から出力される平均暗値を減算して、暗い画像全体のＤＣオフセットを除去し、ＤＤＳ出力値を生成する。図に示すように、ユニット１２５は、受け取ったサンプリング済みのデジタル化された値に基づいた移動平均を用いて、「暗い」ピクセル配列内のすべてのピクセルの平均値によって、このＤＣオフセットを計算することができ、または、ピクセル配列におけるＤＣオフセットが知られている場合には、設定として単に事前定義することができる。
【0029】
いずれにしても、この信号は、次いでルックアップ・テーブル１２７によって決定された出力値を減算することによって、さらに処理される。ピクセルが飽和してしまった場合、この出力値は、高レベルの負の出力値（たとえば、－４０００ＤＮ）となり、次いでこの出力値は、デジタル論理回路１３０の反転入力に供給されるので、実際には明値１１０に加算されることになる。その結果、例示的な回路は、ピクセル配列内のピクセルでの飽和問題に対処することによって、ハイダイナミックレンジのデジタル二重サンプリングを実行するように構成される。
【0030】
ピクセルが、完全機能（飽和すなわち露出過度なし）で動作している場合、減算器１２６に加えて暗値平均値計算ユニット１２５から出力されるデジタル化された暗値１２０が、増幅器１２４から出力される値と同じ値になることを理解されたい。したがって、平均値は、常に論理回路１３０から抽出される。減算器１２６において、残りの値は、ｋＴＣとピクセルについてのオフセット情報とを加えて、０または０近くになる。次いで、ルックアップ・テーブル１２７は、相対的に低い値を渡して、画像の非露出過度の部分について、完全なＤＤＳ動作を実行する。ルックアップ・テーブルに入力される相対的に高レベルの「暗」値が図に示すように反転され、これは、これらの値が論理回路１３０によって明値に加えられることを意味する。前述の通り、これら相対的に高レベルの暗値は、高照度の画像領域にある。したがって、この発明性のある回路は、ハイダイナミックレンジのデジタル二重サンプリングを実現する。
【0031】
さらに、暗値平均値計算ユニット１２５が移動平均値を計算している実施形態では、高レベルの暗値（すなわち、ピクセル飽和中）が暗値平均値計算ユニット１２５に供給されることになる場合でも、これらの値は、このユニット１２５による、ある一定期間にわたる計算済みの平均値にほぼ影響を及ぼさないことになるが、それというのも、ピクセル飽和中にサンプリングされた高レベルの暗値と比較して、かなり高い比率の完全機能の暗値が存在することになるからである。すなわち、飽和中にピクセルがサンプリングされる時間は、完全機能中のサンプルと比較して非常に短い。
【0032】
ピクセル値の信号処理は、ハードウェア論理回路によって実行されるものと図３Ａに示してあるが、一代替実施形態によれば、ソフトウェアおよび／またはハードウェアとソフトウェアの組合せを実行するプロセッサによって、この処理を実行できることを理解されたい。
【0033】
図３Ｂには、例示的な実施形態によるハイダイナミックレンジのデジタル二重サンプリングを実行するための回路の出力段の論理図が示してある。図に示すように、デジタル論理回路１３０によって出力される計算済みのピクセル値が、増幅器１３５に供給され、この増幅器１３５が、例示的な実施形態に従って２．０の大きさで信号を増幅する。さらに、別の信号変換回路１４０が設けられて、この増幅された信号を、ビデオ・ビューア１４５に表示するために供給すべき正しいフォーマットに変換する。
【0034】
図５には、例示的な実施形態によるハイダイナミックレンジのデジタル二重サンプリングを実行する方法の流れ図が示してある。図に示すように、まずステップ２０５において、たとえばＣＭＯＳイメージ・センサのピクセル配列内のピクセルによって、暗値がサンプリングされ、読み出される。サンプリング済みの信号の読出しおよびアナログ・デジタル変換の後、暗値は、この暗値の更新された平均値を計算するための計算ユニット（たとえば、暗値平均値計算ユニット１２５）に供給される。例示的な態様によれば、このプロセスは、ピクセルのサンプリング済みの数多くの値について継続する。
【0035】
デジタル二重サンプリング技術に従って、ステップ２１５において、次いで、ピクセル配列内のピクセルごとに明値がサンプリングされ、読み出される。次に、ステップ２２０において、デジタル論理が実行されて、デジタル暗値から平均暗値を減算する。次いで、この計算済みの値が、前述の通り、ルックアップ・テーブル（たとえば、ルックアップ・テーブル１２７）に供給される。
【0036】
ステップ２３０において、ルックアップ・テーブル出力は、次いで、デジタル論理回路１３０などのデジタル論理回路に供給される。同様に、ステップ２３５において、平均暗値が論理回路に供給され、ステップ２４０において、サンプリング済みのデジタル化された明値が論理回路に供給される。ステップ２３０～２４０は、たとえば、同時にまたは特定の順序ではなく実行できることを理解されたい。最後に、ステップ２４５において、論理回路は、デジタル化された明値から、平均暗値およびルックアップ・テーブル出力を減算することによって、デジタル二重サンプリング計算を実行する。図示してはいないが、この値は、次いでビデオ・ビューアに供給されて、表示される。本発明の目的を必要以上に曖昧にしないように、先に述べた追加の処理ステップおよびフィルタリング・ステップは、図３の流れ図に示していないことに留意されたい。
【0037】
例示的な一実施形態によれば、図６には、図３Ａに示すようなハイダイナミックレンジのデジタル二重サンプリングを実行するための回路を実装するＣＭＯＳイメージ・センサによってもたらされるイメージを示すコンピュータ画像が示してある。図に示すように、前述の従来技法とは異なり、この例示的な設計は、ハイライト部分での細部を保存するイメージを生成することができる。
【0038】
図７Ａには、例示的な別の実施形態によるハイダイナミックレンジのデジタル二重サンプリングを実行するためのシステム３００Ａのハイレベル・ブロック図を示す。図に示すように、このシステム３００Ａは、「ブラック・サン」効果を防止し、「暗値」を使用することによってイメージング装置のダイナミック・レンジを広げるように構成される。有利には、暗値が生成されるフォトダイオードの共有フローティング・ディフュージョンは、露出時間が非常に短い追加のフォトダイオードとして見ることができる。
【0039】
例示的な一態様によれば、まずオフセット暗値（すなわち、一定値）をサンプリング済みの暗値から減算することができ、この暗値は、イメージがキャプチャされている間に電子を蓄積する前に各ピクセルについてサンプリングされる暗基準である。次に、その結果得られる暗信号（オフセット暗信号）は、前述の通りルックアップ・テーブルに変換される。上でさらに説明したように、小さい信号値では、この信号は変化しないが、高い値は反転する。ルックアップ・テーブルを適用した後、再度オフセット暗値がルックアップ・テーブルの出力に追加され、その結果、ＨＤＲ＿Ｄａｒｋ信号が生じる。これらの信号を使用して、サンプリング済みのフォトダイオードの明値および２倍の明値に、ｄＤＤＳ処理が加えられる。その結果、イメージの低照度部分は、ｋＴ／Ｃであり、完全なＤＤＳ性能でオフセット補正される。高照度の場合、ｋＴ／Ｃを上回ってフォト・ショット雑音が支配的である。反転したビデオの平均の黒が減算され、その結果、このビデオに関連する暗信号が追加される。有利には、ブラック・サンの影響を防止して、ハイライト部分での細部を保存しながら、ハイダイナミックレンジの画像を生成することができる。
【0040】
図７Ｂには、図７Ａに示すようなハイダイナミックレンジのデジタル二重サンプリングを実行するためのシステム３００Ｂ用の回路の例示的な論理図が示してある。この実施形態の表現を明確にするために、図３Ａに示して先に述べたデータ変換およびデータ処理の構成要素は、この図には示していないことにも留意されたい。
【0041】
この実施形態に示されるように、サンプリング済みのデジタル化された第２の明値（すなわち、２倍の明値）１５０を、ＣＭＯＳ回路のピクセル配列およびアナログ回路から受け取ってもよい。より具体的には、ピクセル配列は、２つのサブピクセル（すなわち、２つのフォトダイオードの電圧）を同時にサンプリングし、単一値を出力できることが企図される。たとえば、２倍の明値１５０は、デジタル化された明値１１０に、アレイ内の別のサブピクセルのデジタル化された値を加えたものとすることができる。まず、この２倍の明値１５０を減算器１５１に加えて、明値１１０を抽出する。減算器１５１は、デジタル化出力値計算装置であり、その出力は、次いでスイッチ１６０に供給される第２のサブピクセルのデジタル化された値を表す。スイッチ１６０は、ピクセル配列の１つまたは複数のピクセルの飽和レベルに基づいて正しい明値を選択するための、明値選択装置として提供されるデジタル論理回路である。さらに、関係演算子１６５は、明値１１０と、ピクセルが飽和したかどうかを示す定数１７０との比較に基づいてスイッチ１６０を駆動する。関係演算子１６５が、真の信号（たとえば、デジタルの「１」）を出力する場合、スイッチ１６０は、第１の状態に駆動されて、減算器１５１から出力される値を受け取る。この値が、次いでビデオ・ビューア１５５に出力される。あるいは、関係演算子１６５が、擬似信号（たとえば、デジタルの「０」）を出力する場合、このスイッチは、第２の状態に駆動されて、論理回路１３０からの出力を受け取る。この場合、ビデオ・ビューア１５５は、図３Ａについて先に述べたのと同様にして、結果として得られる信号を表示する。
【0042】
例示的な実施形態の改良点によれば、ビデオ・ビューア１４５および１５５は同じ表示装置の一部であり、これらを単に別々に示して、補正済みの明値１１０をビューア１４５に表示でき、補正済みの２倍の明値１５０をビデオ・ビューア１５５に表示できることを示すことが分かっている。ビデオ・ビューア１４５および／または１４５は、スイッチ１６０によって選択される補正信号に基づいて、キャプチャ済みのイメージを表示するように構成されたイメージ発生器であり、したがって、このキャプチャ済みのイメージは、飽和した１つまたは複数のピクセルに起因するイメージに普通なら現れるはずのブラック・サンのアーティファクトがない状態で表示される。
【0043】
最後に、図８には、例示的な別の実施形態によるハイダイナミックレンジのデジタル二重サンプリングを実行するためのＣＭＯＳイメージング装置のブロック図が示してある。図に示すように、ＣＭＯＳイメージ・センサ８００は、複数のピクセルを含むピクセル配列８１０を備え、これは、アナログ読出し経路およびＡ／Ｄ変換器８２０に供給される出力を有し、この変換器は、ピクセル出力値（すなわち、暗値、明値、および２倍の明値）をサンプリングし、ピクセル配列８１０からのアナログ出力電圧を処理して、サンプリング済みのアナログ・ピクセル出力信号をデジタル信号に変換するために設けられる。次いで、デジタル信号は、ラッチ配列ユニット（または、ライン・バッファ）８３０に供給されて、デジタル信号を記憶する。ライン・バッファ８３０は、ピクセル配列８１０の各ピクセルの読出し順序に応じて、複数のラインを含むことができると理解されたい。
【0044】
さらに、前述のユニットを制御し、インターフェースを介して外側（たとえば、表示装置）にデータを出力する際に使用される制御信号を供給するために、制御ユニット８５０が設けられる。制御ユニット８５０は、本明細書に記載の制御アルゴリズムを実行するための、１つまたは複数のプロセッサ、および１つまたは複数のモジュールを含むことができる。各モジュールは、プロセッサ内で実行されるか、もしくはメモリに常駐／記憶されるソフトウェア・モジュール、プロセッサに結合された１つもしくは複数のハードウェア・モジュール、またはこれら何らかの組合せでもよい。プロセッサの例には、マイクロプロセッサ、マイクロコントローラ、デジタル信号プロセッサ（ＤＳＰ）、フィールド・プログラマブル・ゲート・アレイ（ＦＰＧＡ）、プログラマブル論理デバイス（ＰＬＤ）、状態機械、ゲート・ロジック、ディスクリート・ハードウェア回路、および本開示全体を通して説明される様々な機能を実行するように構成された他の適切なハードウェアが含まれる。処理システム内の１つまたは複数のプロセッサが、ソフトウェアを実行してもよい。ソフトウェアは、これをソフトウェア、ファームウェア、ミドルウェア、マイクロコード、ハードウェア記述言語または他の方法などと呼ぶかどうかはともかく、命令、命令セット、コード、コード・セグメント、プログラム・コード、プログラム、サブプログラム、ソフトウェア・モジュール、アプリケーション、ソフトウェア・アプリケーション、ソフトウェア・パッケージ、ルーチン、サブルーチン、オブジェクト、実行可能ファイル、実行のスレッド、手順、機能などを意味するように広く解釈される。
【0045】
受け取ったデジタル信号を処理し、これら（すなわち、データ出力）をビデオ・ビューアに出力するために、この制御ユニット８５０は、前述の通り、図３Ａまたは図７のいずれかに示す発明性のある論理回路を備えてもよいことを理解されたい。さらに、この制御ユニット８５０は、行デコーダ８４０に結合されており、この行デコーダは、制御ユニット８５０から送出された制御信号に基づいて、ピクセル配列８１０での各行を選択するための制御信号を出力するように構成されている。
【0046】
アナログ読出し経路、およびＡ／Ｄ変換器８２０は、前述の通りピクセル配列８１０の列の数と同数の比較器を備えることが好ましい。比較器はそれぞれ、配置されている列のアナログ・ピクセル値を、デジタル信号に変換する役割を果たす。デジタル信号は、ピクセル配列８１０の列の数と同数のラッチを含む、ラッチ配列ユニット８３０に記憶される。ラッチ配列ユニット８３０に記憶されたデジタル信号は、制御ユニット８５０によって画像処理を受け、次いで、画像処理順にイメージ・センサの出力ピンを介して順次出力される。
【0047】
上記の例では、すべてのスイッチング信号が正論理信号であり、すなわち、ハイレベルすなわち「１」の場合にはスイッチを閉じると考えられることを理解されたい。しかし、逆の論理を使用することも可能であり、または正と負の両方の論理を混在するように使用することも可能である。
【0048】
先に述べた例示的な実装形態とともに各態様を説明してきたが、様々な代替形態、修正形態、変形形態、改良形態、および／または実質的な均等物は、それが知られているかどうか、または今は予想できないもしくは予想できない場合もあるかどうかにかかわらず、少なくとも当業者には明らかになろう。したがって、本発明の例示的な実装形態は、先に述べたように、例示的なものであり、限定するものではない。各態様の精神および範囲から逸脱することなく、様々な変更を加えてもよい。したがって、各態様は、既知のまたは今後開発されるあらゆる代替形態、修正形態、変形形態、改良形態、および／または実質的な均等物を包含するものである。
【0049】
したがって、特許請求の範囲は、本明細書に示す各態様に限定されるものではなく、特許請求の範囲の文言と一致するすべての範囲が調和すべきであり、単数形のある要素への言及は、特段の言及がない限り、「ただ１つ」を意味するものではなく、むしろ「１つまたは複数」を意味するものである。他に特段の言及がない限り、「いくつか」という用語は、１つまたは複数を指す。当業者に知られているか、または後に知られることになる、本開示全体を通して説明した様々な態様の各要素に対するすべての構造的かつ機能的な均等物は、明示的に参考として本明細書に援用され、特許請求の範囲によって包含されるものである。さらに、本明細書に開示されたものは、このような開示が特許請求の範囲に明示的に記載されているかどうかにかかわらず、公にゆだねるものではない。要素が「ミーンズ・フォー」という語句を使用して明示的に記載されていない限り、いかなるクレーム構成要素もミーンズ・プラス・ファンクションと解釈すべきではない。
【図1】
【図2A】
【図2B】
【図2C】
【図2D】
【図2E】
【図3A】
【図3B】
【図4A】
【図4B】
【図5】
【図6】
【図7A】
【図7B】
【図8】