特許 7134167 イメージセンサのピクセルアレイの明度補正

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-09-01

(45)【発行日】2022-09-09

(54)【発明の名称】イメージセンサのピクセルアレイの明度補正

(51)【国際特許分類】

   H04N 5/243 20060101AFI20220902BHJP

   H04N 5/369 20110101ALI20220902BHJP

   H04N 5/225 20060101ALI20220902BHJP

【ＦＩ】

H04N5/243

H04N5/369

H04N5/225 450

【請求項の数】 21

(21)【出願番号】P 2019513080

(86)(22)【出願日】2017-09-07

(65)【公表番号】

(43)【公表日】2019-10-17

(86)【国際出願番号】 EP2017072447

(87)【国際公開番号】W WO2018046589

(87)【国際公開日】2018-03-15

【審査請求日】2020-09-03

(31)【優先権主張番号】62/385,153

(32)【優先日】2016-09-08

(33)【優先権主張国・地域又は機関】US

(31)【優先権主張番号】15/693,295

(32)【優先日】2017-08-31

(33)【優先権主張国・地域又は機関】US

(73)【特許権者】

【識別番号】511006720

【氏名又は名称】ジーブイビービー ホールディングス エス．エイ．アール．エル．

(74)【代理人】

【識別番号】100106002

【弁理士】

【氏名又は名称】正林 真之

(74)【代理人】

【識別番号】100120891

【弁理士】

【氏名又は名称】林 一好

(72)【発明者】

【氏名】ロッテ イェルン

(72)【発明者】

【氏名】フィッセル リック

【審査官】鈴木 明

(56)【参考文献】

【文献】特開２０１２－２５３７２５（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ５／２２２－５／２５７

Ｈ０４Ｎ ５／３０－５／３７８

(57)【特許請求の範囲】

【請求項1】

イメージセンサ内の飽和した画素の明度を補正するために画像処理システムであって、
各々が画像データを捕捉するように構成された複数の画素を含む画素アレイと、
前記捕捉された画像データのための前記複数の画素のうちの少なくとも１つの画素の画素明度を測定するように構成された画素明度測定エンジンと、
前記測定された画素明度が所定の画素飽和閾値より高いときに、前記少なくとも１つ画素が飽和していると特定するように構成された画素飽和特定器と、
前記飽和した少なくとも１つの画素を補正するために補間された明度値を、前記飽和した少なくとも１つの画素の前記測定された明度値と、前記複数の画素の、前記飽和した少なくとも１つの画素に隣接する少なくとも１つの隣の画素の明度値とに基づいて計算するように構成された画素明度補間器と、
前記飽和した少なくとも１つの画素の前記画素明度を前記計算された補間された明度値に基づいて補正するように構成された画素明度補正器と、
表示装置上に、前記飽和した少なくとも１つの画素の前記補正された画素明度を有する前記捕捉された画像データを表示するように構成された画像生成器と、
を含む画像処理システム。

【請求項2】

前記画素飽和特定器はさらに、前記測定された画素明度が所定の画素不飽和閾値より低い場合に、前記少なくとも１つの画素は飽和していないと特定するように構成される、請求項１に記載の画像処理システム。

【請求項3】

前記画素明度補正器はさらに、前記画素飽和特定器が前記少なくとも１つの画素は飽和していないと特定したときに、前記画素明度を補正することなく、前記少なくとも１つの画素の前記測定された画素明度を使用するように構成される、請求項２に記載の画像処理システム。

【請求項4】

前記画素明度補間器はさらに、それぞれ前記飽和した少なくとも１つの画素と、前記少なくとも１つの隣の画素の測定されたゲインとを平均することにより、前記補間された明度値を計算するように構成される、請求項１に記載の画像処理システム。

【請求項5】

前記画素明度補正器はさらに、前記測定された画素明度が、前記所定の画素飽和閾値より高い所定の高い画素飽和閾値より高いとき、前記飽和した少なくとも１つの画素の前記測定された画素明度値を、前記少なくとも１つの隣の画素の前記明度値に置き換えることによって、前記飽和した少なくとも１つの画素の前記画素明度を補正するように構成された、請求項１に記載の画像処理システム。

【請求項6】

前記画素明度補正器はさらに、前記飽和した少なくとも１つの画素の前記測定された画素明度値を複数の隣の画素の平均明度値に置き換えるように構成される、請求項５に記載の画像処理システム。

【請求項7】

前記画素明度補間器はさらに、前記飽和した少なくとも１つの画素の前記測定された明度値と、少なくとも１つの隣の画素の前記明度値との加重平均を行うことによって、前記補間された明度値を計算するように構成される、請求項１に記載の画像処理システム。

【請求項8】

イメージセンサ内の飽和した画素の明度を補正するための画像処理システムであって、
カメラにより捕捉された画像データのための複数の画素の画素明度を測定するように構成された画素明度測定エンジンと、
前記複数の画素のうちの少なくとも１つの測定された画素明度を第一及び第二の飽和閾値と比較するように構成された画素飽和比較器と、
前記少なくとも１つの画素の前記測定された画素明度が前記第一の飽和閾値より低いときに、出力画素明度として前記少なくとも１つの画素の前記測定された画素明度を選択し、前記少なくとも１つの画素の前記測定された画素明度が前記第二の飽和閾値より高いときに、前記出力画素明度として少なくとも１つの隣の画素の測定された画素明度を選択するように構成された画素明度選択器と、
表示装置上に、前記複数の画素のうちの少なくとも１つの前記少なくとも１つの画素の前記選択された出力画素明度を有する前記画像データを表示するように構成された画像生成器と、
を含む画像処理システム。

【請求項9】

各々が前記画像データを捕捉するように構成された前記複数の画素を含む画素アレイをさらに含む、請求項８に記載の画像処理システム。

【請求項10】

少なくとも１つの画素の前記測定された画素明度が前記第一及び第二の飽和閾値間にあるとき、補間された明度値を計算するように構成された画素明度補間器をさらに含む、請求項８に記載の画像処理システム。

【請求項11】

前記画素明度補間器はさらに、前記少なくとも１つの画素の測定された明度値と、前記複数の画素のうち、前記飽和した少なくとも１つの画素に隣接する少なくとも１つの隣の画素の明度値とに基づいて、前記補間された明度値を計算するように構成される、請求項１０に記載の画像処理システム。

【請求項12】

前記画素明度補間器はさらに、それぞれ前記飽和した少なくとも１つの画素と、前記少なくとも１つの隣の画素の測定されたゲインとを平均することにより、前記補間された明度値を計算するように構成される、請求項１１に記載の画像処理システム。

【請求項13】

前記画素明度補間器はさらに、前記飽和した少なくとも１つの画素の測定された明度値と、少なくとも１つの隣の画素の前記明度値との加重平均を行うことにより、前記補間された明度値を計算するように構成される、請求項１０に記載の画像処理システム。

【請求項14】

捕捉された画像の飽和した画素の明度を補正するための画像プロセッサであって、
イメージセンサ内の少なくとも１つの画素が、前記少なとも１つの画素の画素明度が少なくとも１つの飽和閾値より高いときに飽和しているか否かを特定するように構成された画素飽和特定器と、
前記飽和した少なくとも１つの画素の前記画素明度を、前記イメージセンサ内の少なくとも１つの飽和していない画素の画素明度に基づく画素補正値に置き換えることによって、前記飽和した少なくとも１つの画素による１つ又は複数の画像アーチファクトのない補正された画像を生成するように構成された画像エンハンサと、
を含み、
前記飽和した少なくとも１つの画素の測定された明度値及び前記複数の画素のうち、前記飽和した少なくとも１つの画素に隣接する少なくとも１つの隣の飽和していない画素の明度値に基づいて、前記飽和した少なくとも１つの画素を補正するための前記画素補正値を計算するように構成された画素明度補間器をさらに含み、
前記画素明度補間器はさらに、それぞれ前記飽和した少なくとも１つの画素と、前記少なくとも１つの隣の飽和していない画素の測定されたゲインとを平均することにより、前記画素補正値を計算するように構成される、画像プロセッサ。

【請求項15】

表示装置上に、前記少なくとも１つのアーチファクトのない前記補正された画像を表示するように構成された画像生成器をさらに含む、請求項１４に記載の画像プロセッサ。

【請求項16】

前記イメージセンサ内の少なくとも１つの画素の前記画素明度を測定するように構成された画素明度測定エンジンをさらに含む、請求項１４に記載の画像プロセッサ。

【請求項17】

前記少なくとも１つの画素の前記測定された画素明度が前記少なくとも１つの飽和閾値より低いときに、前記画素補正値として前記少なくとも１つの画素の前記測定された画素明度を選択するように構成された画素明度選択器をさらに含む、請求項１６に記載の画像プロセッサ。

【請求項18】

前記画素明度選択器はさらに、前記少なくとも１つの画素の前記測定された画素明度が前記少なくとも１つの飽和閾値より高いときに、前記画素補正値として少なくとも１つの隣の画素の測定された画素明度を選択するように構成される、請求項１７に記載の画像プロセッサ。

【請求項19】

前記画像エンハンサはさらに、前記飽和した少なくとも１つの画素の測定された画素明度が前記少なくとも１つの飽和閾値より高い所定の高い画素飽和閾値より高いときに、前記飽和した少なくとも１つの画素の測定された画素明度値を前記少なくとも１つの隣の隣接する画素の前記明度値に置き換えることにより、前記飽和した少なくとも１つの画素の前記画素明度を補正するように構成される、請求項１４に記載の画像プロセッサ。

【請求項20】

前記画素明度補間器はさらに、隣の飽和していない画素の複数の明度値を平均することにより、前記画素補正値を計算するように構成される、請求項１４に記載の画像プロセッサ。

【請求項21】

前記画素明度補間器はさらに、前記飽和した少なくとも１つの画素の前記測定された明度値と、少なくとも１つの隣の飽和していない画素の前記明度値との加重平均を行うことにより、前記画素補正値を計算するように構成される、請求項１４に記載の画像プロセッサ。

【発明の詳細な説明】

【技術分野】

【0001】

関連出願の相互参照
本願は、２０１７年８月３１日に出願された米国特許出願第１５／６９３，２９５号の優先権を主張するものであり、同出願は２０１６年９月８日に出願された米国仮特許出願第６２／３８５，１５３号の優先権を主張しており、これらの各々の内容全体を参照により本願に援用する。

【0002】

本開示は一般に、画像データに関し、より詳しくは画像データの明補正に関する。

【背景技術】

【0003】

例えばカメラを使って写真を撮る場合、風景の明るい領域によって写真の明るい領域におけるセンサの１つ又は複数の画素が飽和し得る。画素は、すべてが同じ明度レベルで飽和するとはかぎらない可能性がある。明るい領域では、１つの画素が、飽和するその画素の周囲の他の画素より早く飽和し得る。１つの画素が飽和するその画素の周囲の他の画素より早く飽和することは、共有画素で発生し得る。共有画素は、画素トランジスタの集合の一部が複数の画素により共有される構造である。共有画素構造では、例えば選択トランジスタ、リセットトランジスタ、及び増幅トランジスタが共有され得る。選択トランジスタ、リセットトランジスタ、及び増幅トランジスタは、複数の画素において共有され得る。

【0004】

共有画素構造を使用することにより、画素トランジスタ、例えば選択トランジスタ、リセットトランジスタ、及び増幅トランジスタの領域は、各画素の領域が縮小され得るように配置され得る。共有画素の場合、共有画素構造の画素間の飽和レベルに差があり得る。異なる飽和レベルを有する画素を含み得る共有画素構造の一例は、クインカンクス画素構造である。異なる飽和レベルを有する画素を含み得る他の例示的な共有画素構造は、クオドラプレット画素構造である。

【0005】

他の構造も、異なる飽和レベルを有する画素を含んでいてよい。さらに、他の非共有画素構造もまた、異なる飽和レベルを有する画素を含み得る。例えば、同じく共有画素構造でないクオドラプレット画素構造は、異なる飽和レベルを有する画素を含み得る。

【発明の概要】

【課題を解決するための手段】

【0006】

以下は、１つ又は複数の態様の簡略化した概要を、このような態様の基本的な理解を提供するために提示している。この概要は、想定されるすべての態様の網羅的な概観ではなく、すべての態様の主要又は重要要素を特定しようとするものでも、何れか又はすべての態様の範囲を画定しようとするものでもない。その唯一の目的は、後述の、より詳細な説明の前置きとして、１つ又は複数の態様の幾つかの概念を簡略化した形態で提示することである。

【0007】

ある態様は、カメラセンサシステムを含んでいてもよい。カメラセンサシステムは、イメージセンサを含んでいてもよい。追加的に、カメラセンサシステムは、カメラセンサに連結されたプロセッサを含んでいてもよい。プロセッサは、イメージセンサからの画像を、その画像の画素の明度を第一の閾値及び第二の閾値と比較することによって処理するように構成されていてもよい。プロセッサはまた、その画素の明度が第一の閾値より低いとき、その画素の明度を選択するように構成されてもよい。追加的に、プロセッサは、その画素が第二の閾値を超えるとき、隣の画素の明度を選択するように構成されてもよい。プロセッサはまた、その画素の明度が第一及び第二の閾値間にあるとき、画素の明度を平均するように構成されていてもよい。

【0008】

別の例示的な態様によれば、イメージセンサ内の飽和した画素の明度を補正するために画像処理システムが提供される。この態様において、画像処理システムは、各々が画像データを捕捉するように構成された複数の画素を含む画素アレイと、捕捉された画像データのための複数の画素のうちの少なくとも１つの画素の画素明度を測定するように構成された画素明度測定エンジンと、測定された画素明度が所定の画素飽和閾値より高いときに、その少なくとも１つの画素が飽和していることを特定するように構成された画素飽和特定器と、その飽和した少なくとも１つの画素を補正するために補間された明度値を、その飽和した少なくとも１つの画素の明度測定値と、複数の画素のうち、その飽和した少なくとも１つの画素に隣接する少なくとも１つの隣の画素の明度値に基づいて計算するように構成された画素明度補間器と、その飽和した少なくとも１つの画素の画素明度を計算された補間された明度値に基づいて補正するように構成された画素明度補正器と、表示装置上に、その飽和した少なくとも１つの画素の補正された画素明度を有する捕捉画像データを表示するように構成された画像生成器と、を含む。

【0009】

別の態様において、画像処理システムはイメージセンサの飽和した画素の明度を補正するための画像処理システムが提供される。この態様において、画像処理システムは、カメラにより捕捉された画像データのための複数の画素の画素明度を測定するように構成された画素明度測定エンジンと、複数の画素のうちの少なくとも１つの測定画素明度を第一及び第二の飽和閾値と比較するように構成された画素飽和比較器と、その少なくとも１つの画素の測定された画素明度が第一の飽和閾値より低いときに、出力画素明度としてその少なくとも１つの画素の測定された画素明度を選択し、その少なくとも１つの画素の測定された画素明度が第二の飽和閾値より高いときに、出力画素明度として少なくとも１つの隣の画素の測定された画素明度を選択する画素明度選択器と、表示装置上に、複数の画素のうちの少なくとも１つのその少なくとも１つの画素の選択された出力画素明度を有する画像データを表示するように構成された画像生成器と、を含む。

【0010】

また別の態様において、撮影された画像の飽和した画素の明度を補正するための画像プロセッサ。この態様において、画像プロセッサは、イメージセンサ内の少なくとも１つの画素が、その少なくとも１つの画素の画素明度が少なくとも１つの飽和閾値より高いときに飽和しているか否かを特定するように構成された画素飽和特定器と、飽和した少なくとも１つの画素の画素明度を、イメージセンサ内の少なくとも１つの飽和していない画素の画素明度に基づく画素補正値に置き換えることによって、飽和した少なくとも１つの画素による１つ又は複数の画像アーチファクトのない補正された画像を生成するように構成された画像エンハンサと、を含む。

【0011】

上述の、及び関係する結果を達成するために、これらの１つ又は複数の態様は、以下に十分に説明し、特に特許請求の範囲の中で明示する特徴を含む。以下の説明と添付の図面は、１つ又は複数の態様の特定の例示的な特徴を詳しく示している。しかしながら、これらの特徴は、各種の態様の原理を利用してもよい様々な方法のほんの幾つかを示しており、この説明はこれらすべての態様とそれらの均等物を含むものとされる。

【図面の簡単な説明】

【0012】

【図1】ある例示的な実施形態による、ビューファインダディスプレイを有するある例示的なカメラシステム１００のブロック図である。

【図2】図２Ａは、ある例示的な実施形態による、ディテール補正信号のための中間露光を使用することにより改善された、画素プロセッサの例示的なディテール補正回路のブロック図である。図２Ｂは、ある例示的な実施形態による、複数の中間露光を特定するためのある例示的な減算回路のブロック図である。

【図3】露出シーケンス中の動きの存在を示すものとしてのある例示的な画素帯電率のグラフである。

【図4】クオドラプレット画素構造を示す図である。

【図5】図４のクオドラプレット構造の４つのある例示的な画素の例示的なゲインを示す図である。

【図6】イメージセンサの中の各種の画素に関するゲインの差により形成し得るパターンの一例を示す図である。

【図7】ｙ軸に沿ったグレー値とｘ軸に沿った距離を示すガンマチャートである。

【図8】ある例示的な実施形態による、ある例示的な画素群を示す図と、アーチファクトを回避するために明るい領域についてクインカンクス補間へとフェードするために使用されてもよいゲインを示すグラフである。

【図9】ある例示的な実施形態による、各々隣の２つの画素の集合に基づいて補間される２つの画素の図である。

【図10】ある例示的な実施形態による、ｙ軸に沿ったゲインとｘ軸に沿った輝度を示すある例示的なグラフである。

【図11】ある例示的な実施形態による、ｙ軸に沿ったグレー値とｘ軸に沿った距離を示すガンマチャートである。

【図12】ある例示的な写真上の未補正のパターンを示す。

【図13】ある例示的な実施形態による、ある例示的な写真上の補正後のパターンに関する結果を示す。

【図14】ある例示的な実施形態による、未補正の、及び補正後の最下位ビットのある例示的なグラフを示す。

【図15】ある例示的な実施形態による、画素明度補正のためのシステムを示すある例示的なブロック図である。

【図16】ある例示的な実施形態による、画素明度補正のためのある例示的な方法を示すフローチャートである。

【発明を実施するための形態】

【0013】

添付の図面に関して以下に示す詳細な説明は、様々な構成の説明として意図されており、本明細書に記載の概念が実施されてよい唯一の構成を表そうとしているものではない。詳細な説明には、様々な概念を十分に理解できるようにすることを目的とした詳細事項が含まれている。しかしながら、当業者にとっては、これらの概念はこれらの具体的な詳細事項がなくても実施されてよいことが明らかであろう。幾つかの例では、よく知られた構造や構成要素は、そのような概念を不明瞭にしないようにするために、ブロック図の形態で示されている。

【0014】

ここで、ビデオ生成システムの特定の態様を、様々な装置と方法に関して提示する。これらの装置と方法は、各種のブロック、モジュール、構成要素、回路、ステップ、プロセス、アルゴリズム等（まとめて「要素」という）により以下の詳細な説明の中に記載され、添付の図面の中に図示されている。これらの要素は、電子ハードウェア、コンピュータソフトウェア、又はそれらの組合せを用いて実装されてよい。このような要素がハードウェアで実装されるか、ソフトウェアで実装されるかは、特定の用途や全体的なシステムに対する設計上の制約によって異なる。

【0015】

例えば、要素、もしくはある要素の何れかの部分、又は要素の組合せは１つ又は複数のプロセッサを含む「画素プロセッサ」で実装されてよい。プロセッサの例には、マイクロプロセッサ、マイクロコントローラ、画像プロセッサ、デジタル信号プロセッサ（ＤＳＰ）、フィールドプログラム可能ゲートアレイ（ＦＰＧＡ）、特定用途集積回路（ＡＳＩＣ）、プログラマブルロジックデバイス（ＰＬＤ）、ステートマシン、ゲートロジック、ディスクリートハードウェア回路、及び本開示全体に記載されている各種の機能を実行するように構成されたその他の適当なハードウェアが含まれる。処理システムの中の１つ又は複数のプロセッサは、ソフトウェアを実行してもよい。ソフトウェアとは、ソフトウェア、ファームウェア、ミドルウェア、マイクロコード、ハードウェア記述言語、又はその他何れの呼び方かを問わず、命令、命令セット、コード、コードセグメント、プログラムコード、プログラム、サブプログラム、ソフトウェアモジュール、アプリケーション、ソフトウェアアプリケーション、ソフトウェアパッケージ、ルーチン、サブルーチン、オブジェクト、実行ファイル、実行スレッド、手順、機能等を意味すると幅広く解釈されるものとする。ソフトウェアは、非一時的コンピュータ可読媒体上にあってよい。コンピュータ可読媒体には例えば、磁気記憶装置（例えば、ハードディスク、フロッピディスク、磁気ストリップ）、光ディスク（例えば、コンパクトディスク（ＣＤ）、デジタル多用途ディスク（ＤＶＤ））、スマートカード、フラッシュメモリデバイス（例えば、カード、スティック、キードライブ）、ランダムアクセスメモリ（ＲＡＭ）、読み取り専用メモリ（ＲＯＭ）、プログラム可能なＲＯＭ（ＰＲＯＭ）、消去可能なＰＲＯＭ（ＥＰＲＯＭ）、電気的に消去可能なＰＲＯＭ（ＥＥＰＲＯＭ）、レジスタ、リムーバブルディスク等の非一時的記憶装置、及び搬送波、伝送線及び、ソフトウェアを記憶又は送信するのに適した他のあらゆる媒体が含まれていてよい。コンピュータ可読媒体は、処理システムの中、もしくは処理システムの外にあっても、又は処理システムを含む複数のエンティティ全体に分散されていてもよい。当業者であれば、特定の用途及びシステム全体に対する全体的な設計上の制約に応じて、本開示全体に提示されている説明された機能を実装する最善の方法がわかるであろう。

【0016】

図１は、画素プロセッサ１２２を実装するある例示的なカメラシステム１００を示す簡略化したブロック図である。カメラシステム１００は、カメラ１０２と、ビューファインダ１０４と、レンズシステム１０６と、を含んでいてもよい。カメラ１０２はイメージセンサ１２０を含んでいてもよく、これは光子を電荷に変換する画素のアレイを含んでいてもよい。とりわけ、イメージセンサは電荷結合素子（ＣＣＤ）又は相補型金属酸化膜半導体（ＣＭＯＳ）を含んでいてもよい。それゆえ、画素のアレイはＣＣＤ又はＣＭＯＳ画素のアレイを含んでいてもよい。画像はレンズシステム１０６によってイメージセンサ１２０上に投射される。イメージセンサ１２０の出力は、画素のアレイからの出力信号を含む。イメージセンサ１２０は、アレイ内の各画素のための光子入力レベルを各画素のための、それに応じた電圧信号に変換することによって電圧信号を生成する。イメージセンサ１２０の画素は、例えばレンズシステム１０６によって投射されて、イメージセンサの画素によりフレーム露光の時間単位で読み取られる光子に露光される。露光フレームの過程中に、各画素が画像を表す電荷を蓄積する。イメージセンサ１２０は、電荷をアナログ出力電圧信号に変換してもよい。代替的に、イメージセンサ１２０は、電荷をアナログ電圧に変換し、アナログ電圧を、例えばアナログ－デジタル変換器を使ってデジタル信号に変換して、デジタル出力電圧信号を生成する。イメージセンサ１２０は、出力電圧信号をフレームレートで周期的に送信してもよい。画素は、蓄積した電荷を放電することによってリセットされてよく、それによって次のフレームの次の画素電荷蓄積を開始できる。光の光子の量は電圧信号へと飽和閾値まで変換されてよく、その時点でその画素の出力のためにそれ以上の電荷を蓄積できなくなる。一例において、複数のイメージセンサ１２０が同期して動作してもよい。複数のイメージセンサ１２０はまた、相互に関して異なる位相で動作してもよい。

【0017】

画素プロセッサ１２１は、画像センサ画素出力信号をモーションブラーについて補正するように構成されていてもよい。画素プロセッサ１２１の出力は、ビデオシーケンスの各フレーム露光に対する画像を形成するための一連の画素信号であってよい。カメラ１０２はビデオプロセッサ１２２を含み、これは画像シーケンスを受け取り、所望のフレームレート、アスペクト比等を有するデジタルビデオ出力を生成する。ビデオプロセッサ１２２はまた、ビデオ画像に対するホワイトバランス、色補正、及びガンマ補正を行ってもよい。ビデオプロセッサ１２２は、各々が上記の機能の１つ又は複数を実行するように構成された複数の別々のプロセッサとして実装されてもよい。代替的に、画素プロセッサ１２１とビデオプロセッサ１２２は逆に配置されてもよく、その場合、画素プロセッサ１２１はすでにビデオプロセッサ１２２により補正された画像をピクセルごとに処理する。

【0018】

エンコーダ１２４は、ビデオプロセッサ１２２からの生のビデオ出力を受け取り、特定の仕様（例えば、ＳＤＩ（Ｓｅｒｉａｌ Ｄｉｇｉｔａｌ Ｉｎｔｅｒｆａｃｅ）、Ｈ．２６４／ＭＰＥＧ－４ Ａｄｖａｎｃｅｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇ、又はＨＤＭＩ（登録商標）（Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅ））に従って符号化されたフォーマット済みのデジタルビデオ信号を生成してよい。エンコーダ１２４からの信号は、ビデオ生成システムに、及び／又はネットワーク上でトランシーバ１２６を使って送信されるように出力されてよい。エンコーダ１２４はまた、符号化された、又は生のビデオフィードをビューファインダ１０４に提供してもよい。

【0019】

ビューファインダ１０４はデコーダ１４１を含んでいてもよく、これは符号化されたビデオ又は生のビデオをエンコーダ１２４から受け取り、画像データをディスプレイ１４２のために提供するように構成される。一例において、ディスプレイ１４２は各ピクセルに有機発光ダイオード（ＯＬＥＤ）を含んでいてもよく、この場合、発光ダイオード（ＬＥＤ）が電流に応答して発光する有機組成物から形成された発光型のエレクトロルミネッセンス層でコーティングされる。これら及びその他の装置を使ってディスプレイ１４２上に画像を生成してもよい。

【0020】

レンズシステム１０６は１つ又は複数のレンズを含んでいてもよく、所望のレンズの光学構成を提供するように制御されてよく、この構成は例えば、被写界深度設定、開口数、及び焦点距離を明示してもよい。

【0021】

図２Ａは、フレームの中間部分中にイメージセンサ１２０をサンプリングして、画像を表す信号を生成するための画素プロセッサ１２１のある例示的なディテール補正回路２００のブロック図である。イメージセンサ１２０の各画素について、サンプラ２０２は入力２０１を受け取り、これはイメージセンサ１２０から受け取った画素出力である。サンプラ２０２は、個別の時間サンプルＳ１～Ｓｎで蓄積された画素出力値（例えば、電荷又は出力電圧信号値）を読み取ってよい。サンプルＳ１及びＳｎは、それぞれ露光フレームの最初と最後に発生してもよく、１つ又は複数のサンプルがサンプルＳ１とＳｎとの間で発生する。例えば、ｎ＝４の場合、サンプルＳｎ＝Ｓ４がフレーム露光の最後に発生し、サンプルＳ２は全フレーム露光間隔の約２５％で発生してもよく、サンプルＳ３は全フレーム露光間隔の約７５％で発生してもよい。代替的に、サンプルＳ２は全フレーム露光間隔の約３３％で発生してもよく、サンプルＳ３は全フレーム露光間隔の約６６％で発生してもよい。代替的な例として、ｎ＝３の場合、サンプルＳ３は露光フレームの最後に発生し、サンプルＳ２はフレーム露光の約２５～７５％の間のどこかで発生してもよい。ｎ＞４のその他の考えられる代替的な変形型も実装されてよく、この場合、サンプラ２０２は全フレーム露光の中で追加の画素出力値サンプルを提供する。イメージセンサ１２０がＣＭＯＳで実装された場合、サンプラ２０２は前述のように動作して露光フレームごとに複数のサンプルを読み取ってよい。イメージセンサ１２０がＣＣＤで実装された場合、中間サンプルの読取りは、単独のフレーム内では不可能であることがある。その結果、ＣＣＤイメージセンサ１２０では、名目上のフレーム内で複数のサンプルをシミュレートするために、カメラ１００の名目上のレートより速いフレームレートで動作する必要があり得る。例えば、カメラ１００のためのビデオ信号が５０ＦＰＳ（２０ｍｓフレーム）のレートで処理され、サンプラ２０２に１フレーム当たり４つのサンプルが必要である場合（ｎ＝４）、ＣＣＤイメージセンサ１２０はより速い２００ＦＰＳ（５ｍｓフレーム）のレートで動作してもよく、その結果、２０ｍｓフレームあたり４つのＣＣＤ画像が得られる。すると、同等の２０ｍｓフレームで４つのＣＣＤ画像のブロックからＳ１～Ｓ４の各サンプル群が導き出される。

【0022】

減算器２０３は、全フレーム露光の累積画素出力（例えば、電荷又は出力電圧信号値）を、サンプルＳ１での画素出力値をサンプルＳｎでの累積画素出力値から引くことによって特定する。減算器２０４は、中間フレーム露光の累積画素出力を、サンプルＳ２での累積画素出力値をサンプルＳ３での累積画素出力値から引くことによって特定する。ｎ＝４で、サンプルＳ２が露光フレームの２５％、サンプルＳ３が全フレーム露光間隔の７５％の例では、中間露光はフレーム露光の中央５０％の画素出力値を提供する。ｎ＝４で、サンプルＳ２がフレーム露光の約３３％で発生し、サンプルＳ３が全フレーム露光の約６６％で発生する例では、中間露光は全フレーム露光の中央３分の１の画素出力を提供する。代替的に、ｎ＝３で、サンプルＳ３が全フレーム露光の最後に発生し、サンプルＳ２が全フレーム露光全体の５０％で発生する例では、減算器２０４はサンプルＳ２での画素出力値をサンプルＳ３での画素出力値から引いて、全フレーム露光の後半に関する中間露光値を提供してもよい。代替的に、減算器２０４は、サンプルＳ１での画素出力値をサンプルＳ２での画素出力値から引いて、全フレーム露光の前半に関する中間露光値を提供してもよい。

【0023】

図２Ｂは、複数の中間露光が特定されてよいある例示的な減算器２０４のブロック図を示す。サンプラ２０２がｎ＞４のサンプルＳｎを読み取るある実施形態において、複数の中間露光は減算器２０４により、各々がそれぞれの中間露光を別々に特定する複数の減算器２１４を使って得られてよい。例えば、ｎ＝６の場合、中間露光Ｓ６－Ｓ５、Ｓ５－Ｓ４、Ｓ４－Ｓ３、Ｓ３－Ｓ２、及びＳ２－Ｓ１が１つ又は複数の減算器２１４により特定されてよい。選択器２２４は、ディテール補正回路２００によりどの中間露光を処理すべきかを適応的に選択するマルチプレクサとして実装されてもよい。

【0024】

増幅器２０５は、中間フレーム露光の画素出力を受け取り、それを全フレーム露光の正規化として増幅する。例えば、増幅器２０５は、累積画素出力値に６ｄＢブーストを適用してよい。ディテールプロセッサ２０６は増幅された画素出力値を受け取り、ディテール補正アルゴリズムを実行してモーションブラーを補正する。ディテールプロセッサ２０６は、何れかの信号遷移で補正信号を発生することにより、認識される画像の鮮鋭さを改善する。輝度及び／又は色度の変化は、風景の中の物体を増強するために、ディテールプロセッサ２０６により強調される。計算されたディテール補正は元の画像に画素ごとに加えられる。このディテール補正信号は、画像の鮮鋭さに依存する。この例では、中間露光はピクセルのモーションブラーの５０％を含む。全フレーム露光の代わりに、より短い中間フレーム露光に対してディテール補正を実行することにより、そのピクセル内のモーションブラーの影響が軽減され、これはディテール補正の有効性を増進させる。加算器２０７は、全露光画素出力にディテール補正信号を加え、増強された画素出力２０８を提供する。

【0025】

図３は、単独のフレーム露光３０１、３０２、３０３の連続の中の複数のサンプルＳ１～Ｓｎに関するイメージセンサ１２０の画素出力のある例示的なサンプリングのグラフである。この例では、ｎ＝４であり、累積画素出力値はサンプルＳ１、Ｓ２、Ｓ３、及びＳ４において逐次的に読み取られ、サンプルＳ１及びＳ４は、サンプルＳ１がフレームの最初に発生し、サンプルＳ４がフレームの最後に発生するため、全フレーム露光の累積画素出力を提供する。中間フレーム露光に関するイメージセンサ１２０の画素出力は、サンプルＳ２及びＳ３間で得ることができる。露光３０１について、Ｓ１及びＳ４間の間隔中の累積画素出力の一定の勾配は、この画素への一定の光子入力を示しており、これはカメラの視野において物体から一定の光レべルが反射されていることを意味する。光レベルは一定であるため、その物体は固定されていて、フレーム露光３０１の中でこの画素ユニットを横切って移動していない可能性が高い。これに対して、フレーム露光３０２及び３０３は、各サンプルペア間隔（例えば、ＳｉとＳｉ＋１）間の画素帯電率の変化を示している。例えば、露光３０２で、画素電荷累積率はサンプルＳ１及びＳ２、Ｓ２及びＳ３間で一定であるが、サンプルＳ３及びＳｎ間で低下し、より明るい物体からより暗い物体へと画素出力に動きがあること、したがって、モーションブラーの可能性があることを示している。露光３０３は、画素の帯電率がサンプルＳ３及びＳｎ間で、Ｓ１及びＳ３間の画素帯電率と比較して増大するため、より暗い物体からより明るい物体への変化がイメージセンサ１２０により検知された（すなわち、より多く光の光子が画素により検知された）ときの動きの存在を示している。このように、各フレーム内の中間露光を追跡するように（例えばサンプルＳ２及びＳ３間）構成されたサンプラ２０２により、動きは検出可能である。これに対して、画素の出力をフレームの最初とフレームの最後（すなわちサンプルＳ１及びＳｎ）でしか測定しない従来の方式では、誤った結論を導くような画素帯電率３１２及び３１３が得られ、動きを示すものが見落とされるであろう。

【0026】

図４は、クオドラプレット画素構造４００を示す図である。クオドラプレット画素構造は、４つの副画素、例えば１、２、３、４を有していてもよい。クオドラプレット画素構造は、４つの個別の副画素で構成されてよい。別の例では、４つの副画素１、２、３、４は共有画素構造の４つの副画素であってもよい。

【0027】

図４の例の各副画素は、異なるゲインを有していてもよい。したがって、副画素の各々は異なるレベルで飽和し得る。例えば、ある明るさ、例えば飽和に近いとき、４つの副画素の幾つかは飽和し得、その一方で、４つの副画素の幾つかは飽和しない可能性がある。例えば、より高いゲインの画素は飽和の傾向が強い可能性があり、それは、より高いゲインによって同じ明るさでもより高い画素値となり得るからである。

【0028】

図５は、図４のクオドラプレット画素構造４００の４つの例示的な画素の例示的なゲインを示す図である。一般に、画素のゲインは、その画素により与えられる信号の量が入力光量（又はそれと同等のもの）、すなわちその画素アレイを有するイメージセンサによる画像撮影中の累積電荷に応じてどのように変化するかである。副画素１、２、３、４のゲインは、図５に示されるゲインＱ１、Ｑ２、Ｑ３、Ｑ４に対応していてもよい。図５に示されるように、例えばＱ１及びＱ４のゲインは、Ｑ２及びＱ３のゲインより高くてもよい。したがって、副画素１及び４は、副画素２及び３より容易に飽和し得る。

【0029】

一例において、Ｑ１、Ｑ２、Ｑ３、Ｑ４の別々のゲインは、平均を使って補正されてもよい。例えば、画素１、ゲインＱ１は、Ｑ１／（（Ｑ１＋Ｑ２＋Ｑ３＋Ｑ４）／４）として補正されてもよい。他の例では、高いゲインは無視されてもよい。例えば、画素１のゲインＱ１が他の画素のゲインより大きい場合、それは無視されてよく、画素１は他の画素の平均、例えばＱ２＋Ｑ３＋Ｑ４／３として補正されてよい。幾つかの例において、画素の集合の各４分の１は大きい領域にわたって平均化されてもよく、例えば画像領域の５０％を超える部分が平均化されてもよい。

【0030】

ある例において、ゲインはデジタル二重サンプル（ＤＤＳ）値を使って計算されてもよく、これは望まれないオフセットを除去した電気的な測定値である。黒は０の最下位ビット（ＬＳＢ）にあるため、ゲインだけが必要であり、オフセット値は不要である。ある例において、補正すべき範囲は約２～５％である。広範囲の感度不均一性（ＰＲＮＵ）仕様は０．０６％である。ある例において、２０００^＊ＬＳＢ１４^＊０．０６％＝１，２ＬＳＢ１４である。したがって、ゲイン制御範囲はｕｆｉｘ（０，１６，１５）であるべきである。

【0031】

幾つかの例において、カメラは白色校正を含んでいてもよく、これはサービスメニューで利用できるべきである。白色校正は製造中に所定の白い風景について実行されるべきである。白色校正の結果は、センサボード上のメモリに記憶されるべきである。記憶された白色校正の結果は、カメラの起動中に、例えば幾つかの例では１０ｍｓ未満でロードされてもよい。追加的に、カメラは、白色校正の結果のデータローディングエラーといったデータローディングエラー等の緊急時には、白色校正データの使用をオフに切り替えることができるべきである。図５において、ゲインはｙ軸に沿っている。輝度値はｘ軸に沿っている。図５に示されるように、ゲインは輝度値の全範囲において平坦でない可能性がある。

【0032】

図６は、イメージセンサの中の様々な画素のゲインの差により形成し得るパターンのある例を示す図である。前述のように、ゲインは全範囲について平坦でない。１００％レベル（緑）は１５００ ＬＳＢ１４（Ｆ４感度）である。０～３０００の範囲には、比較的平坦なＬＳＢ１４が含まれていてもよい。高い輝度（例えば、＞３００％になると、パターンは見えなくなる。

【0033】

図７は、ｙ軸に沿ったグレー値とｘ軸に沿った距離を示すガンマチャートである。画素で表される距離の値が約２５００未満では、グレー値はほとんど線形である。しかしながら、高い距離値においては、ばらつきが大きくなる。パターンは、高いレベルで存在する。図７に示されるように、補正前にはクオドラプレットごとに異なる飽和レベルがある。図７に示されるように、パターンが形成されることに留意されたい。

【0034】

図８は、ある例示的な画素群を示す図と、アーチファクトを回避するために明るい領域についてクインカンクス補間へとフェードするために使用されてもよいゲインを示すグラフである。グラフは、ｙ軸上の正規化ゲインとｘ軸上の輝度値を含む。ある例において、飽和に近い画素の明度値は、飽和した画素の値を補間するために使用されてよい。一例は、アーチファクトを回避するために、明るい領域についてクインカンクス補間にフェードしてもよい。

【0035】

例えば、画素の明度値がある閾値（ｔｈｌｏｗ）未満であるとき、その画素の明度値が使用されてよい。ある画素の明度値がある閾値（ｔｈｈｉｇｈ）より高いとき、隣の画素又は隣の画素の集合の明度値が使用されてよい。閾値（ｔｈｌｏｗ）及び（ｔｈｈｉｇｈ）間では、図８に示されるように、画素間のフェードが使用されてよい。ある例示的な態様によれば、画素飽和閾値（例えば、飽和閾値（ｔｈｌｏｗ）及び（ｔｈｈｉｇｈ））は予め決定し、カメラ１０２のメモリに記憶し、画像処理中に画素プロセッサ１２１によりアクセスできる。

【0036】

したがって、図８のグラフに示されているように、閾値（ｔｈｌｏｗ）未満では、使用されるゲイン８０２は「１」であってよい。それゆえ、画素の明度値が閾値（ｔｈｌｏｗ）より低いとき、その画素の明度値が使用されてよく、これはその画素のゲインが「１」であるからである。画素の明度値が閾値（ｔｈｈｉｇｈ）より高いとき、隣の画素又は隣の画素群の明度値８０４が使用されてよく、これは隣の画素又は画素群のゲインが「１」であり、その画素のゲインが「０」であるからである。閾値（ｔｈｌｏｗ）及び（ｔｈｈｉｇｈ）間では、図８に示されているように、画素間のフェードが使用されてよく、それはその画素のゲインが「１」から「０」へと移行し、隣の画素又は画素群のゲインが「０」から「１」に移行するからである。

【0037】

画素が飽和すると、その画素の明度値は隣の画素に基づいて特定されてよい。したがって、図８に示されるように、一連の飽和画素の値は、隣の明度値へと補間又は平均化されてよい。図の中の色は、実際の色ではなく、関心対象の異なる画素を示している。左の画像の、より明るい画素は、その明度値が本明細書に記載のシステム及び方法に基づいて特定される画素であってよい。左の画像の、より暗い画素は、より明るい画素そのものの開始時の明度値に関連して、より明るい画素の明度値を特定するために使用される画素であってよい。前述のように、閾値（ｔｈｌｏｗ）より低いと、より明るい画素の値が使用されてよく、それはその画素が飽和していないからである。閾値（ｔｈｈｉｇｈ）を超えると、より明るい画素は飽和していると特定されるため、飽和していない、より暗い画素の、それに対応する明度値が使用されてよい。本明細書で詳しく説明するように、閾値間ではフェードが使用されてよい。

【0038】

より明るい画素のすべてが閾値（ｔｈｈｉｇｈ）より高い例の場合、幾つかのケースで、より明るい色は飽和した明度を有する画素を示す。図中、より暗い画素は、処理後、「補正済み画素」により示されるように、より暗い画素の明度値に向かって補間されてよい。再び、色はこれらの画素の色ではなく、特定の画素集合を示している。

【0039】

図９は、各々が隣の２つの画素群に基づいて補間される２つの画素の図である。図９において、補間される各画素は、隣の２つの画素の明度値に向かって補間される。換言すれば、２つの外側の画素は隣の飽和していない画素であって、中央の画素は飽和しており、すなわち補間される画素は飽和していてもよい。したがって、隣の画素の値が使用されてよい。図９に示されているように、中央の画素が補間される。閾値Ｔｈｌｏｗは元の画素が使用される開始地点である。閾値Ｔｈｈｉｇｈは、それを超えると画素が完全に補間される最小値である。本明細書に記載のシステム及び方法は、以下に示されるような閾値及び勾配設定で実装されてよい：
％Ｑｕａｄｒｕｐｌｅｔ ｆａｄｅｒ
ｔｈｒｅｓｈｏｌｄ＝４０００；％ＬＳＢ１４
ｓｌｏｐｅ＝１０；％Ｇａｉｎ ｏｎ ｆａｄｅｒ
ｆｏｒ ｉ＝１：２^∧１４
Ｖｉｎ（ｉ）＝ｉ；
ｑｕｉｎｃｕｎｘｆａｄｅｒｇａｉｎ（ｉ）＝ｍａｘ（ｍｉｎ（（（ｉ－ｔｈｒｅｓｈｏｌｄ）^＊ｓｌｏｐｅ）＋２^∧１３，２^∧１４），０）；
ｅｎｄ
ｐｌｏｔ（Ｖｉｎ，ｑｕｉｎｃｕｎｘｆａｄｅｒｇａｉｎ）；ｈｏｌｄ ｏｎ；
ｐｌｏｔ（Ｖｉｎ，２^∧１４－ｑｕｉｎｃｕｎｘｆａｄｅｒｇａｉｎ）；ｈｏｌｄ ｏｆｆ；
ｇｒｉｄ ｏｎ；

【0040】

図１０は、ｙ軸に沿ったゲインとｘ軸に沿った輝度を示すある例示的なグラフである。図８に示されるグラフと異なり、図１０に示されるグラフは正規化されていない。したがって、図１０に示されるグラフはある例示的なシステムにおいて考えられるゲイン及び輝度の値を含む。図８に関する説明と同様に、図１０に示されるように、画素が閾値より高いと、これらは補間された値に置き換えられる。閾値より低い画素は使用されず、閾値間の画素は相互に合成され、又はフェードされる。このパターンははるかにより一貫している点に留意されたい。

【0041】

図１１は、ｙ軸に沿ったグレー値とｘ軸に沿った距離を示すガンマチャートである。画素で表される距離の値が約２５００未満であると、グレー値はほとんど線形である。本明細書に記載されている明補正を用いると、２５００を超えてもグレー値はほとんど線形のままである。パターンは、高いレベルで存在する。図７に示されるように、補正前にはクオドラプレットごとに異なる飽和レベルがある。

【0042】

幾つかの例において、カメラの要求事項には、デフォルト設定の制御マップに値を入れることが含まれていてもよい。Ｄｅｌｐｈｉツールにより、値は必要に応じて変更されてもよいが、幾つかの例において、ある例示的なシステムが使用された場合に値は調整不可能である。

【0043】

図１２は、ある例示的な写真上の未補正のパターンを示す。モジュロ４ｋ補正はＬＤＫ８６高速モードの場合と同様であってもよく、モジュロパターンが見える。Ｕ２３Ａでは、これはモジュロ１２８として示される。ある例は２１１２コラムと共有画素を有するため、補正はモジュロ２ｋとするように提案される。これは、各ゲイン／オフセット値が連続する２つの画素に使用できることを意味する。

【0044】

一例において、フル４ｋ解像度補正が使用されてもよい。別の例は、約２ｋコラムのためのセンサを使用してもよく、この場合、各コラムは１１２５の４共有画素のローに接続される。約２ｋコラムを使用することにより、センサの解像度は４ｋ×２２５０となる。２ｋコラムを用いる別の例では、２ｋ補正を使用してもよく、それゆえ、このような例は水平方向に各補正値２ｘを使用してもよい。これは、２ｘのハードウェアリソースを削減しながら、本発明者らの補正機能を保持できることを意味する。異なる画素構造の場合、この４ｋ／２ｋの選択は変わってもよい。

【0045】

ある例において、補正はＤＤＳ－ｅｄによる画像（ｍｏｄＤＤＳ）からのすべてのローを加算し、この結果を少なくとも１２８のサンプルでフィルタ処理し（２ｋの場合、これによって６４まで減少する）（ＡＶＧ＿ＤＤＳ）、Ｒａｗ＿Ｄａｒｋ画像（ｍｏｄＤａｒｋ）からのすべてのローを加算し、この結果をＤＤＳ－ａｖｅｒａｇｅラインとしてフィルタ処理する（ＡＶＧ＿Ｄａｒｋ）ことによって実行されてよい。
ａｌｐｈａ＝（ｍｏｄＤＤＳ－ＡＶＧ＿ＤＤＳ）．／ＡＶＧ＿ＤＤＳ；％ＵｓｅＤＤＳ ａｓ ｓｏｕｒｃｅ
ｏｆｆｓｅｔ＝ＡＶＧ＿Ｄａｒｋ－（ｍｏｄＤａｒｋ－（ａｌｐｈａ．^＊ｍｏｄＤａｒｋ））；
精度はａｌｐｈａ＝ｕｆｉｘ（０，１６，１５），ｏｆｆｓｅｔ＝ｓｆｉｘ（１，１６，４）であり得る。結果として得られたゲインのアルファとオフセットを適用。
ＩＭ＿ＢｒｉｇｈｔＣｏｒｒ＝ＩＭ＿ｂｒｉｇｈｔ－（ＩＭ＿ｂｒｉｇｈｔ．^＊ＩＭ＿ｇａｉｎ＋ＩＭ＿ｏｆｆｓｅｔ）；
ＩＭ＿Ｂｒｉｇｈｔ２Ｃｏｒｒ＝ＩＭ＿ｂｒｉｇｈｔ２－（ＩＭ＿ｂｒｉｇｈｔ２．^＊ＩＭ＿ｇａｉｎ＋ＩＭ＿ｏｆｆｓｅｔ）；
ＩＭ＿ＤａｒｋＣｏｒｒ＝ＩＭ＿ｄａｒｋ－（ＩＭ＿ｄａｒｋ．^＊ＩＭ＿ｇａｉｎ＋ＩＭ＿ｏｆｆｓｅｔ）；
ＩＭ＿ＤＤＳ１＿Ｃｏｒｒ＝ｄｏｕｂｌｅ（ＩＭ＿ＢｒｉｇｈｔＣｏｒｒ－ＩＭ＿ＤａｒｋＣｏｒｒ）／２；
ＩＭ＿ＤＤＳ２＿Ｃｏｒｒ＝ｄｏｕｂｌｅ（ＩＭ＿Ｂｒｉｇｈｔ２Ｃｏｒｒ－ＩＭ＿ＢｒｉｇｈｔＣｏｒｒ）／２；
ＩＭ＿ＤＤＳＣｏｒｒ＝ｍａｓｋ＿ｏｄｄ．^＊ＩＭ＿ＤＤＳ１＿Ｃｏｒｒ＋（ｍａｓｋ＿ｅｖｅｎ．^＊ＩＭ＿ＤＤＳ２＿Ｃｏｒｒ）^＊ＯｄｄＥｖｅｎＧａｉｎ；

【0046】

図１３は、ある例示的な写真上の補正後のパターンに関する結果を示す。

【0047】

図１４は、未補正の、及び補正後の最下位ビットのある例示的なグラフを示す。ある例において、クオドラプレット補正の場合と同じカメラシステム要求事項群が使用されてよい。

【0048】

図１５は、ある例示的な実施形態による画素明度補正のためのシステムを示すある例示的なブロック図である。例えば、明補正はクオドラプレット補正ブロック内で実装されてもよい。クオドラプレット補正ブロックは、プロセッサにより制御されてもよい。

【0049】

本明細書で説明されているように、非常に明るい領域では画素が飽和する。共有画素内では、飽和レベルに関して共有画素間に差があり得る。ある例は、クインカンクス構造の画素であるが、その他の構造も同じ効果を有し得る。

【0050】

非常に明るい領域では、画素が飽和し始めると、アーチファクトに有利となるように解像度が犠牲にされ得る。最良の性能を有する副画素は保持されてよい。追加的に、最良の性能を有する副画素は、補間されて、より低い照明レベルで飽和している副画素と置き換えられてもよい。ある例において、１つのレベルから別のレベルへのミキシング方法は、フェーダを使って高速切換えを排除するために行われてもよい。ある例は、風景のより低照明の部分をそのままにしてもよく、風景の高明度部分については、より高い部分をクリップして、逸れ始めたより高い値を無視することと対照的に、クインカンクス補間を通じて最も明るいものから補間されてもよい。幾つかの例において、イメージャの利用可能なダイナミックレンジが拡張される。

【0051】

図のように、イメージセンサの中の飽和画素の明るさを補正するために、画像処理システム１５００（又は画像プロセッサ）が提供される。例えば、イメージセンサは、各々が画像データを捕捉するように構成された複数の画素を有する画素アレイ１５０２を含むことができる。さらに、画素明度測定エンジン１５０４が提供され、上述の方法により、捕捉された画像データの画素アレイの画素の画素明度を測定するように構成される。さらに詳しく示すように、画素飽和特定ユニット１５０６は、ＤＤＳを実行して画素ゲインを計算し、したがって、先により詳しく説明したように、測定された画素明度が所定の画素飽和閾値より高い場合に、１つ又は複数の画素が飽和しているか否かをさらに特定するように構成できる。

【0052】

さらに、画素明度補間器１５０８は、例えば１つ又は複数のマイクロプロセッサとすることができ、飽和画素の測定された明度値と画素アレイの中の隣の画素の明度値に基づいて、飽和画素を補正するための補間明度値を計算する。この例示的な態様の改良型では、マイクロプロセッサ１５０８は画素補正値を特定でき、これは、先により詳しく説明したように、測定された画素明度値が閾値より高いか、低いか、又は中間であるかに依存できる。計算された補間明度値（例えば、画素補正値）に基づき、先により詳しく説明したように、計算された補間明度値に基づいて飽和画素の画素明度を補正するために画素明度補正器１５１０が提供される。最後に、具体的には示されていないが、表示装置上に、飽和した少なくとも１つの画素の補正された画素明度を有する捕捉画像データを表示するために、画像生成器が提供される。ある例示的な実施形態によれば、画像生成器はデコーダ１４１とすることができ、表示装置は前述のディスプレイ１４２とすることができる。

【0053】

図１６は、ある例示的な実施形態による、画素明度補正のためのある例示的な方法６００を示すフローチャートである。図のように、まずステップ１６０２で、画像の画素明度を第一の閾値及び第二の閾値と比較することによって、イメージセンサからの画像を処理する。例えば、画素明度測定エンジンはまず、カメラにより捕捉された画像データのための複数の画素の画素明度を測定してもよく、その後、画素飽和比較器が複数の画素のうちの１つ又は複数の測定された画素明度を第一及び第二の飽和閾値と比較することができる。

【0054】

ステップ１６０４で、画素明度が第一の閾値より低いときに、画素明度を選択する。例えば、画素明度選択器は、少なくとも１つの画素の測定された画素明度が第一の飽和閾値より低いとき、１つの画素の測定された画素明度を出力画素明度として選択できる。

【0055】

ステップ１６０６で、画素が第二の閾値より高いときに、隣の画素の明度を選択する。例えば、画素明度選択器は、少なくとも１つの画素の測定された画素明度が第二の飽和閾値より大きいとき、少なくとも１つの隣の画素の測定された画素明度を出力画素明度として選択できる。

【0056】

ステップ１６０８で、画素明度が第一及び第二の閾値間にあるとき、画素明度の平均化を実行する。例えば、一態様において、画素明度補間器は、明度が第一及び第二の閾値間にあるときに、飽和画素を補正するために補間明度値を計算することができる。この補間明度値は、前述のように、飽和した画素の測定された明度値と複数の画素の１つ又は複数の隣の画素の明度値に基づくものとすることができる。

【0057】

最後に、画素明度が補正された後、画像生成器は表示装置上で、複数の画素の少なくとも１つの少なくとも１つの画素の選択された出力画素明度を有する画像データを表示する。その結果、生成された補正後の画像は、飽和画素によるアーチファクトがない状態で表示でき、飽和画素は画像センサ内の１つ又は複数の飽和していない（例えば隣の）画素の画素明度に基づく画素補正値と置き換えられている。

【0058】

例えば、限定的ではないが、本開示の態様は、テレビ番組の制作のため、又はスポーツイベントにおいて使用されてもよいビデオ生成システムの各種の構成要素を構成するために使用されるシステムと方法に関して提示されている。本開示全体を通じて提示される各種の概念は、ビデオ及び／又は静止画を撮影し、処理するシステム、ビデオ会議システム等を含む、様々なイメージング用途にわたって実装されてよい。

【0059】

上記の説明は、当業者が本明細書に記載の様々な態様を実施できるようにするために提供される。当業者にとってはこれらの態様への様々な変更を容易に明らかとなり、本明細書で定義される全体的な原理は他の態様にも適用されてよい。それゆえ、特許請求の範囲は本明細書において示される態様に限定されるものではなく、そこには特許請求の範囲の文言と矛盾しない最大限の範囲が付与されるものとし、ある要素が単数形で記されている場合、特にそのように明記されていないかぎり、「唯一」ではなく、「１つ又は複数」を意味するものとする。特に別段の明記がないかぎり、「幾つかの」という用語は１つ又は複数を指す。本開示の全体を通じて記載されている各種の態様の、当業者にとって知られている、又は今後知られることになる要素と構造的及び機能的に同等のものはすべて、その言及により本願に明確に組み込まれ、特許請求の範囲に包含されるものとする。さらに、本明細書中のいかなる開示も、このような開示が特許請求の範囲の中で明示的に引用されているか否かを問わず、公衆に提供されるものではない。特許請求の範囲の中の何れの要素も、その要素が「～のための手段」という語句を使って明示的に記載されていないかぎり、又は、方法請求項の場合は、「～のためのステップ」という語句を使って記載されていないかぎり、米国特許法第１１２条第６節の規定に基づいて解釈されない。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】