特許 7130777 シングルショットＨＤＲカラーイメージセンサからのＨＤＲ画像生成

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-08-26

(45)【発行日】2022-09-05

(54)【発明の名称】シングルショットＨＤＲカラーイメージセンサからのＨＤＲ画像生成

(51)【国際特許分類】

   G06T 3/40 20060101AFI20220829BHJP

   G06T 5/50 20060101ALI20220829BHJP

   G06T 7/254 20170101ALI20220829BHJP

   G06T 7/215 20170101ALI20220829BHJP

   H04N 5/355 20110101ALI20220829BHJP

   H04N 9/07 20060101ALI20220829BHJP

【ＦＩ】

G06T3/40 740

G06T5/50

G06T7/254 A

G06T7/215

H04N5/355 540

H04N9/07 C

【請求項の数】 54

(21)【出願番号】P 2020562115

(86)(22)【出願日】2019-06-04

(65)【公表番号】

(43)【公表日】2021-09-30

(86)【国際出願番号】 US2019035454

(87)【国際公開番号】W WO2019236626

(87)【国際公開日】2019-12-12

【審査請求日】2021-01-05

(31)【優先権主張番号】18176403.6

(32)【優先日】2018-06-07

(33)【優先権主張国・地域又は機関】EP

(31)【優先権主張番号】62/681,789

(32)【優先日】2018-06-07

(33)【優先権主張国・地域又は機関】US

(31)【優先権主張番号】62/837,361

(32)【優先日】2019-04-23

(33)【優先権主張国・地域又は機関】US

(73)【特許権者】

【識別番号】507236292

【氏名又は名称】ドルビー ラボラトリーズ ライセンシング コーポレイション

(74)【代理人】

【識別番号】100101683

【弁理士】

【氏名又は名称】奥田 誠司

(74)【代理人】

【識別番号】100155000

【弁理士】

【氏名又は名称】喜多 修市

(74)【代理人】

【識別番号】100188813

【弁理士】

【氏名又は名称】川喜田 徹

(74)【代理人】

【識別番号】100202197

【弁理士】

【氏名又は名称】村瀬 成康

(72)【発明者】

【氏名】リー， ユエロン

(72)【発明者】

【氏名】マケルエイン， ジョン， エス．

(72)【発明者】

【氏名】トゥフィギ， モハマド

【審査官】鈴木 明

(56)【参考文献】

【文献】特開２０１５－０８２６７５（ＪＰ，Ａ）

【文献】特開２００４－０５６５７３（ＪＰ，Ａ）

【文献】特開２０１４－２２０７６０（ＪＰ，Ａ）

【文献】特開２０１４－２２０７５９（ＪＰ，Ａ）

【文献】特開２０１７－０９８７８４（ＪＰ，Ａ）

【文献】特開２０１５－０４１９８４（ＪＰ，Ａ）

【文献】特表２０１５－５０８５８９（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ３／４０

Ｇ０６Ｔ ５／５０

Ｇ０６Ｔ ７／２５４

Ｇ０６Ｔ ７／２１５

Ｈ０４Ｎ ５／３０－５／３７８

Ｈ０４Ｎ ９／０４－９／１１

(57)【特許請求の範囲】

【請求項1】

二重露光時間シングルショットＨＤＲカラーイメージセンサから、動き補償されたハイダイナミックレンジ（ＨＤＲ）カラー画像を生成するための方法であって、
前記二重露光時間シングルショットＨＤＲカラーイメージセンサの、一ローカル領域のそれぞれのセンサ画素群によって生成された画素値を取得するステップであって、前記ローカル領域は、前記動き補償されたＨＤＲカラー画像のある画像画素の位置に対応しており、前記ローカル領域の前記センサ画素群は、３つの異なる色の各々について、それぞれの色に感度を有する複数の短露光時間画素と複数の長露光時間画素とを含む、ステップと、
第１の色に対応付けられた、前記短露光時間画素および前記長露光時間画素の画素値から、前記ローカル領域の動きパラメータを決定するステップと、
前記ローカル領域の画素値をデモザイキングすることにより、各色について、前記短露光時間画素と前記長露光時間画素とから、前記画像画素の出力値を決定するステップであって、前記出力値に対する前記短露光時間画素と前記長露光時間画素との相対寄与率は、前記動きパラメータに従って重み付けされる、ステップと、
を含む方法。

【請求項2】

生成される前記動き補償されたＨＤＲカラー画像の各画像画素に対し、前記二重露光時間シングルショットＨＤＲカラーイメージセンサの一ローカル領域のそれぞれのセンサ画素によって生成された画素値を取得するステップの後、各色について、
動き補償が可能かつ／または必要であるか否かを評価するステップと、
前記色に対応付けられた、前記画像画素の出力値を生成するステップと、
をさらに含み、前記生成するステップは、
（ｉ）動き補償が可能かつ／または必要である場合に、前記動きパラメータを決定するステップとデモザイキングのステップとを行うことにより、動き補償を用いて前記色について、前記画像画素の前記出力値を決定するステップと、
（ｉｉ）動き補償が不可能かつ／または不要であるでない場合に、非動き補償デモザイキングを行うことにより、前記色について、前記画像画素の前記出力値を決定するステップと、
を含む、請求項１に記載の方法。

【請求項3】

動き補償が可能かつ／または必要であるか否かを評価する前記ステップは、
（ａ）前記ローカル領域の、前記色に対応付けられた前記長露光時間画素の前記画素値が不飽和基準を満たしているとき、
（ｂ）前記色が前記第１の色とは異なる場合に、前記ローカル領域の、前記第１の色に対応付けられた前記長露光時間画素の前記画素値が、前記不飽和基準を満たしているとき、または、
（ｃ）前記ローカル領域の、前記第１の色に対応付けられた前記長露光時間画素の前記画素値が前記不飽和基準を満たしている場合に、前記ローカル領域の、前記第１の色に対応付けられた前記短露光時間画素と前記長露光時間画素との差異が、センサノイズに関連する画素値変動に対応付けられた差異閾値を超えるとき
に限り、動き補償が可能かつ／または必要であるものと判定することを含む、請求項２に記載の方法。

【請求項4】

動き補償が可能かつ／または必要であるか否かを評価する前記ステップは、さらに、
前記第１の色に対応付けられた前記短露光時間画素の前記画素値に、第１のモデルによるそれぞれの第１の適合重みを乗じることにより、前記画像画素の短露光時間第１色値を決定するステップと、
前記第１の色に対応付けられた前記長露光時間画素のうち不飽和なものについての前記画素値に、第２のモデルによるそれぞれの第２の適合重みを乗じることにより、前記画像画素の長露光時間第１色値を決定するステップと、
共通のスケールにスケーリングされた前記短露光時間第１色値と前記長露光時間第１色値との差の絶対値として、前記差異を算出するステップと、
を含む、請求項３に記載の方法。

【請求項5】

動き補償が可能かつ／または必要であるか否かを評価する前記ステップはさらに、
前記二重露光時間シングルショットＨＤＲカラーイメージセンサのノイズモデルに基づき、前記画像画素と前記第１の色とに対応付けられた画素値変動の期待値を推定するステップと、
前記期待値から前記差異閾値を算出するステップと、
を含む、請求項３に記載の方法。

【請求項6】

前記画素値を取得するステップは、前記動き補償されたＨＤＲカラー画像が前記二重露光時間シングルショットＨＤＲカラーイメージセンサに比べてダウンサンプリングされた解像度で生成されるように、前記ローカル領域を選択することを含む、請求項２に記載の方法。

【請求項7】

前記画素値を取得するステップは、前記動き補償されたＨＤＲカラー画像が前記二重露光時間シングルショットＨＤＲカラーイメージセンサと同一の解像度で生成されるように、前記ローカル領域を選択することを含む、請求項２に記載の方法。

【請求項8】

前記動きパラメータは、前記ローカル領域における動き度を表す、請求項１に記載の方法。

【請求項9】

前記動きパラメータを決定するステップは、
前記第１の色に対応付けられた前記短露光時間画素の前記画素値に、第１のモデルによるそれぞれの第１の適合重みを乗じることにより、前記画像画素の短露光時間第１色値を決定するステップと、
前記第１の色に対応付けられた前記長露光時間画素のうち不飽和なものについての前記画素値に、第２のモデルによるそれぞれの第２の適合重みを乗じることにより、前記画像画素の長露光時間第１色値を決定するステップと、
前記短露光時間第１色値と前記長露光時間第１色値との差異を算出することにより、前記動きパラメータを決定するステップと、
を含み、
前記第１および第２のモデルは、前記二重露光時間シングルショットＨＤＲカラーイメージセンサのノイズ特性および／または飽和挙動のモデルである、、請求項１に記載の方法。

【請求項10】

前記適合重みは画素値の予期される信号品質の増加関数である、請求項９に記載の方法。

【請求項11】

前記動きパラメータを決定するステップは、
前記第１の色に対応付けられた前記短露光時間画素の前記画素値に、第１のモデルによるそれぞれの第１の適合重みを乗じることにより、前記画像画素の短露光時間第１色値を決定するステップと、
前記第１の色に対応付けられた前記長露光時間画素のうち飽和していない画素の前記画素値に、第２のモデルによるそれぞれの第２の適合重みを乗じることにより、前記画像画素の長露光時間第１色値を決定するステップと、
前記短露光時間第１色値と前記長露光時間第１色値との差異を算出することにより、前記動きパラメータを決定するステップと、
を含み、
前記第１のモデルおよび前記第２のモデルの各々は、センサ画素位置の二次元多項式関数であり、前記二次元多項式関数の出力値は、それぞれ前記第１の適合重みまたは前記第２の適合重みである、請求項１に記載の方法。

【請求項12】

前記二次元多項式関数は、１次多項式、２次多項式、または３次多項式である、請求項１１に記載の方法。

【請求項13】

前記デモザイキングのステップは、
前記色に対応付けられた前記短露光時間画素に基づき、前記画像画素の短露光値を決定するステップと、
前記色に対応付けられた前記長露光時間画素のうち不飽和なものに基づき、前記画像画素の長露光値を決定するステップと、
前記動きパラメータを重みとして用いて、前記短露光値と前記長露光値との加重平均として、前記出力値を算出するステップと、
を含む、請求項１に記載の方法。

【請求項14】

前記動きパラメータを決定するステップにおける、
（ａ）前記第１の色の前記短露光時間画素に基づき、前記画像画素の短露光時間第１色値を決定するステップ、
（ｂ）前記長露光時間画素に基づき、前記画像画素の長露光時間第１色値を決定するステップ、および、
（ｃ）前記短露光時間第１色値と前記長露光時間第１色値との差異を算出することにより、前記動きパラメータを決定するステップ、ならびに、
前記デモザイキングのステップにおける、前記第１の色について、前記第１の色の前記短露光値を前記短露光時間第１色値に設定するステップ、および、前記第１の色の前記長露光値を前記長露光時間第１色値に設定するステップ、
を含む、請求項１３に記載の方法。

【請求項15】

前記短露光値を決定するステップにおける、前記色に対応付けられた前記短露光時間画素の前記画素値に、第１のモデルによるそれぞれの第１の適合重みを乗じることにより、前記短露光値を決定するステップと、
前記長露光値を決定するステップにおける、前記色に対応付けられた前記長露光時間画素のうち不飽和なものについての前記画素値に、第２のモデルによるそれぞれの第２の適合重みを乗じることにより、前記長露光値を決定するステップと、
を含み、
前記第１および第２のモデルは、前記二重露光時間シングルショットＨＤＲカラーイメージセンサのノイズ特性および／または飽和挙動のモデルである、
む、請求項１３に記載の方法。

【請求項16】

前記短露光値を決定するステップにおける、前記色に対応付けられた前記短露光時間画素の前記画素値に、第１のモデルによるそれぞれの第１の適合重みを乗じることにより、前記短露光値を決定するステップと、
前記長露光値を決定するステップにおける、前記色に対応付けられた前記長露光時間画素のうち不飽和なものについての前記画素値に、第２のモデルによるそれぞれの第２の適合重みを乗じることにより、前記長露光値を決定するステップと、
を含み、
前記第１のモデルおよび前記第２のモデルの各々は、センサ画素位置の二次元多項式関数である、請求項１３に記載の方法。

【請求項17】

前記第１の色に対し、前記二次元多項式関数は、１次多項式、２次多項式、または３次多項式であり、
前記第１の色と異なる各色に対し、前記二次元多項式関数は、前記第１の色に用いられる前記二次元多項式よりも低次数である、
請求項１６に記載の方法。

【請求項18】

前記動きパラメータを決定するステップは、前記第１の色として、前記二重露光時間シングルショットＨＤＲカラーイメージセンサの最大個数のセンサ画素に対応付けられた色を用いることを含む、請求項１に記載の方法。

【請求項19】

前記３つの異なる色は赤、緑、および青であり、前記第１の色は緑である、請求項１８に記載の方法。

【請求項20】

前記第１の色は緑であり、前記３つの異なる色の残りの２つは、それぞれ異なる赤、緑、および青の線形結合である、請求項１８に記載の方法。

【請求項21】

前記二重露光時間シングルショットＨＤＲカラーイメージセンサは、ジグザグＨＤＲイメージセンサである、請求項１８に記載の方法。

【請求項22】

さらに、前記動きパラメータを決定するステップの前に、前記ローカル領域における前記色の各々の輝度の評価に基づき、前記第１の色を選択するステップを含む、請求項１に記載の方法。

【請求項23】

前記ローカル領域として、少なくとも５×５の隣接センサ画素で規定された、前記二重露光時間シングルショットＨＤＲカラーイメージセンサの正方形区画を用いることをさらに含む、請求項１に記載の方法。

【請求項24】

前記二重露光時間シングルショットＨＤＲカラーイメージセンサとして、ジグザグＨＤＲイメージセンサを用いることをさらに含む、請求項２３に記載の方法。

【請求項25】

さらに、前記動き補償されたＨＤＲカラー画像の各画像画素に対し、
前記画素値の取得を行うステップと、
前記３つの異なる色の各々について、出力値を生成するステップと、
を含む、請求項１に記載の方法であって、前記生成するステップは、
（ｉ）第１の色について、
（ａ）前記第１の色に対応付けられた前記長露光時間画素が不飽和基準を満たす場合に、
（１）前記ローカル領域の、前記第１の色に対応付けられた短露光時間画素と長露光時間画素との差異を算出するステップと、
（２）前記画像画素と前記第１の色とに対応付けられた画素値変動の期待値から、差異閾値を算出するステップと、
（３）前記差異が前記差異閾値を超える場合に、前記動きパラメータを決定するステップと、前記第１の色に対するデモザイキングのステップとを行うことにより、動き補償を用いて、前記第１の色に対応付けられた前記画像画素の前記出力値を決定するステップと、
（４）前記差異が前記差異閾値を超えない場合に、前記第１の色について非動き補償ＨＤＲデモザイキングを行うことにより、前記第１の色に対応付けられた前記短露光時間画素と前記長露光時間画素との合成から、前記色に対応付けられた前記画像画素の前記出力値を決定するステップと、
（ｂ）前記第１の色に対応付けられた前記長露光時間画素が前記不飽和基準を満たさない場合に、前記第１の色について非動き補償デモザイキングを行うことにより、前記第１の色に対応付けられた前記短露光時間画素のみから、前記第１の色に対応付けられた前記画像画素の前記出力値を決定するステップと、
（ｉｉ）前記第１の色と異なる各色について、
（ａ）前記色および前記第１の色に対応付けられた前記長露光時間画素が前記不飽和基準を満たし、かつ、前記差異が前記差異閾値を超える場合に、前記色に対するデモザイキングのステップを行うことにより、動き補償を用いて、前記色に対応付けられた前記画像画素の前記出力値を決定するステップと、
（ｂ）前記色および前記第１の色に対応付けられた前記長露光時間画素が前記不飽和基準を満たし、かつ、前記差異が前記差異閾値を超えない場合に、前記色について非動き補償デモザイキングを行うことにより、前記色に対応付けられた前記短露光時間画素と前記長露光時間画素との合成から、前記色に対応付けられた前記画像画素の前記出力値を決定するステップと、
（ｃ）前記色に対応付けられた前記長露光時間画素が前記不飽和基準を満たさないか、または、前記第１の色に対応付けられた前記長露光時間画素が前記不飽和基準を満たさない場合に、前記色について非動き補償デモザイキングを行うことにより、前記色に対応付けられた前記短露光時間画素のみから、前記色に対応付けられた前記画像画素の前記出力値を決定するステップと、
を含む、請求項１に記載の方法。

【請求項26】

非一時的メモリ中に符号化される機械可読命令を含む、二重露光時間シングルショットＨＤＲカラーイメージセンサから動き補償されたハイダイナミックレンジ（ＨＤＲ）カラー画像を生成するためのコンピュータプログラムであって、前記命令は、
プロセッサによって実行されるとき、前記二重露光時間シングルショットＨＤＲカラーイメージセンサの一ローカル領域のそれぞれのセンサ画素によって生成された画素値を取り出す、データ選択命令であって、前記ローカル領域は、前記動き補償されたＨＤＲカラー画像のある画像画素の位置に対応しており、前記ローカル領域の前記センサ画素は、３つの異なる色の各々について、前記それぞれの色に感度を有する複数の短露光時間画素と複数の長露光時間画素とを含む、データ選択命令と、
前記プロセッサによって実行されるとき、第１の色に対応付けられた前記短露光時間画素と前記長露光時間画素との前記画素値から前記ローカル領域の動きパラメータを決定する、動き命令と、
プロセッサによって実行されるとき、前記ローカル領域の前記画素値をデモザイキングすることにより、各色について、前記短露光時間画素と前記長露光時間画素とから前記画像画素の出力値を決定する、デモザイキング命令であって、前記出力値に対する前記短露光時間画素と前記長露光時間画素との相対寄与率は、前記動きパラメータに従い重み付けされる、デモザイキング命令と、
を含む、コンピュータプログラム。

【請求項27】

前記ローカル領域内におけるセンサノイズから生じる画素値変動のモデルと、
前記画素値の信号品質とともに増加する、適合重み関数と、
前記動き命令において、
前記プロセッサが前記動き命令を実行する際に呼び出され、前記画素値変動のモデルから導出された、前記適合重み関数の適合重みを、前記第１の色に対応付けられた前記ローカル領域の画素値に適用することにより、前記画像画素について短露光時間第１色値および長露光時間第１色値を決定する、適合化命令と、
前記プロセッサが前記動き命令を実行する際に呼び出され、前記第１の色に対応付けられた前記ローカル領域の画素値に画素値変動の前記モデルから導出された前記適合重み関数からの適合重みを適用する前記短露光時間第１色値と前記長露光時間第１色値との差異を算出することにより、前記動きパラメータを決定する、差異命令と、
をさらに含む、請求項２６に記載のコンピュータプログラム。

【請求項28】

前記デモザイキング命令は、前記プロセッサによって実行されるときに、
前記第１の色と異なる各色に対し、前記色に対応付けられた前記短露光時間画素に基づいて前記画像画素の短露光値を決定し、かつ、前記色に対応付けられた前記長露光時間画素のうち不飽和なものに基づいて前記画像画素の長露光値を決定することと、
前記第１の色に対し、前記第１の色の短露光値を前記短露光時間第１色値に設定し、かつ、前記第１の色の長露光値を前記長露光時間第１色値に設定することと、
各色について、前記動きパラメータを重みとして用いて、前記短露光値と前記長露光値との加重平均として前記出力値を算出することと、
を行うように構成される、請求項２７に記載のコンピュータプログラム。

【請求項29】

非一時的メモリ中に、
領域サイズと、
ステップサイズと、
を含むパラメータ記憶域が符号化され、
前記コンピュータプログラムは、前記命令において、
前記プロセッサによって実行されるときに、前記動き補償されたＨＤＲカラー画像の各画像画素について、（ｉ）前記領域サイズに従ってサイズ決めされた前記ローカル領域と、（ｉｉ）前記ステップサイズに従って設定された、隣接し合う画像画素に対応するローカル領域の中心間の距離と、を用いた、プロセッサによるデータ選択命令の実行を命じる、サンプリング命令と、
前記プロセッサによって実行されるときに、前記サンプリング命令に従って処理された各画像画素に対し、前記色の各々につき出力値を生成するマスター命令であって、前記マスター命令は、前記動き命令およびデモザイキング命令を、動きに対応付けられた画像画素と、不飽和基準を満たす長露光時間画素とに対して適用するように構成される、マスター命令と、
を含む、請求項２６に記載のコンピュータプログラム。

【請求項30】

前記命令はさらに、
前記プロセッサによって実行されるときに、非動き補償デモザイキングを行うことにより、前記動き補償されたＨＤＲカラー画像の、対応付けられた色における画像画素の出力値を決定する、非動き補償デモザイキング命令と、
前記プロセッサによって実行されるときに、前記動き補償されたＨＤＲカラー画像の各画像画素について、
前記プロセッサによる前記データ選択命令の実行を命令し、
前記画像画素に対応付けられた各色について、動き補償が可能かつ／または必要であるか否かを評価し、
動き補償が可能かつ／または必要である場合には、前記プロセッサによる前記動き命令および前記デモザイキング命令の実行を命じることにより、動き補償を用いて前記色について、前記画像画素の前記出力値を決定し、
動き補償が不可能かつ／または不要である場合には、前記プロセッサによる前記非動き補償デモザイキング命令の実行を命じることにより、前記色について前記画像画素の前記出力値を決定する、マスター命令と、
を含む、請求項２６に記載のコンピュータプログラム。

【請求項31】

非一時的メモリ中に、
長露光時間画素の画素値について許容上限（ｕｐｐｅｒ ａｃｃｅｐｔａｎｃｅ ｌｉｍｉｔ）を規定する、不飽和基準と、
センサノイズに関連する画素値変動に対応付けられた、動きの最小閾値を規定する、差異閾値と、
を含むパラメータ記憶域が符号化され、
前記コンピュータプログラムは、前記マスター命令において、前記プロセッサによって実行されるときに、各画像画素および色について、前記ローカル領域の画素値を前記不飽和基準および前記差異閾値に照らして評価することにより、動き補償が可能かつ／または必要であるか否かを決定する、評価命令を含む、
請求項３０に記載のコンピュータプログラム。

【請求項32】

プロセッサに接続された非一時的メモリに格納された請求項２６に記載のコンピュータプログラムと、前記コンピュータプログラムにより処理される画素値を生成するための二重露光時間シングルショットＨＤＲカラーイメージセンサとを備える、動き補償ハイダイナミックレンジ（ＨＤＲ）カメラ。

【請求項33】

前記二重露光時間シングルショットＨＤＲカラーイメージセンサは、ジグザグＨＤＲイメージセンサである、請求項３２に記載の動き補償ＨＤＲカメラ。

【請求項34】

請求項３２に記載の動き補償ＨＤＲカメラを備える、セルラーフォン。

【請求項35】

複数の短露光時間画素と、複数の中露光時間画素と、複数の長露光時間画素と、を有する三重露光時間シングルショットＨＤＲカラーイメージセンサから、ハイダイナミックレンジ（ＨＤＲ）カラー画像を生成するための方法であって、
（ａ）前記短露光時間画素からの短露光時間画素値と（ｂ）前記中露光時間画素からの中露光時間画素値との第１の合成より、第１の二重露光時間ＨＤＲ画像を生成するステップと、
（ａ）前記中露光時間画素からの中露光時間画素値と（ｂ）前記長露光時間画素からの長露光時間画素値との第２の合成より、第２の二重露光時間ＨＤＲ画像を生成するステップと、
前記第１の二重露光時間ＨＤＲ画像と、前記第２の二重露光時間ＨＤＲ画像とから、三重露光時間ＨＤＲカラー画像を生成するステップと、
を含む方法。

【請求項36】

前記第１の二重露光時間ＨＤＲ画像を生成するステップは、前記第１の合成に対する前記短露光時間画素値と前記中露光時間画素値との相対寄与率を、これらの間の差異と前記中露光時間画素値の飽和度とに少なくとも部分に基づいてローカルに重み付けするステップを含み、
前記第２の二重露光時間ＨＤＲ画像を生成するステップは、前記第２の合成に対する前記中露光時間画素値と前記長露光時間画素値との相対寄与率を、これらの間の差異と前記長露光時間画素値の飽和度とに少なくとも部分的に基づいてローカルに重み付けするステップを含む、
請求項３５に記載の方法。

【請求項37】

前記三重露光時間ＨＤＲカラー画像を生成するステップは、前記三重露光時間ＨＤＲカラー画像に対する前記第１の二重露光時間ＨＤＲ画像と前記第２の二重露光時間ＨＤＲ画像との相対寄与率を、（ｉ）前記短露光時間画素値と前記中露光時間画素値との差異と、（ｉｉ）前記中露光時間画素値と前記長露光時間画素値との差異と、のうち少なくとも１つに少なくとも部分的に基づいてローカルに重み付けするステップを含む、請求項３６に記載の方法。

【請求項38】

前記三重露光時間ＨＤＲカラー画像を生成するステップは、前記第１の二重露光時間ＨＤＲ画像と前記第２の二重露光時間ＨＤＲ画像とを、前記三重露光時間ＨＤＲカラー画像の１つ以上の品質尺度のローカルな最適化に則って融合するステップを含む、請求項３６に記載の方法。

【請求項39】

前記ローカルに融合するステップは、前記三重露光時間ＨＤＲカラー画像に対する前記第１の二重露光時間ＨＤＲ画像と前記第２の二重露光時間ＨＤＲ画像との相対寄与率を、（ｉ）前記短露光時間画素値と前記中露光時間画素値との差異、および、（ｉｉ）前記中露光時間画素値と前記長露光時間画素値との差異、のいずれも考慮せずに、前記ローカルな最適化のみに則って設定するステップを含む、請求項３８に記載の方法。

【請求項40】

前記ローカルに融合するステップは、
前記第１の二重露光時間ＨＤＲ画像および前記第２の二重露光時間ＨＤＲ画像のうち少なくとも１つをスケーリングすることにより、前記第１の二重露光時間ＨＤＲ画像および前記第２の二重露光時間ＨＤＲ画像を共通スケールに置くステップと、
前記三重露光時間ＨＤＲカラー画像を、前記第１の二重露光時間ＨＤＲ画像および前記第２の二重露光時間ＨＤＲ画像の各々のダイナミックレンジをカバーするダイナミックレンジで生成するステップと、
を含む、請求項３８に記載の方法。

【請求項41】

前記１つ以上の品質尺度は、コントラスト、飽和度、および露光十分性のうち少なくとも１つを含む、請求項３８に記載の方法。

【請求項42】

前記第１の二重露光時間ＨＤＲ画像を生成するステップにおいて、かつ、その中に含まれる、相対寄与率をローカルに重み付けするステップの前に、前記短露光時間画素値および前記中露光時間画素値をノイズ除去するステップと、
前記第２の二重露光時間ＨＤＲ画像を生成するステップにおいて、かつ、その中に含まれる、相対寄与率をローカルに重み付けするステップの前に、前記中露光時間画素値および前記長露光時間画素値をノイズ除去するステップと、
をさらに含む、請求項３６に記載の方法。

【請求項43】

さらに、前記中露光時間画素値および前記長露光時間画素値を不飽和基準と比較するステップを含む、請求項３５に記載の方法であって、
もしもローカル領域が、１つ以上の中露光時間画素値が前記不飽和基準を満たさないことを特徴とするならば、
（ｉ）前記第１の二重露光時間ＨＤＲ画像を生成するステップにおいて、前記ローカル領域の前記第１の二重露光時間ＨＤＲ画像は、前記短露光時間画素値のみから生成され、
（ｉｉ）前記三重露光時間ＨＤＲカラー画像を生成するステップにおいて、前記ローカル領域の前記三重露光時間ＨＤＲカラー画像は、前記第１の二重露光時間ＨＤＲ画像のみから生成され、
もしもローカル領域が、１つ以上の長露光時間画素値が前記不飽和基準を満たしておらず、かつ、前記ローカル領域の各中露光時間画素値が前記不飽和基準を満たしていることを、特徴とするならば、
（ｉ）前記第２の二重露光時間ＨＤＲ画像を生成するステップにおいて、前記ローカル領域の前記第２の二重露光時間ＨＤＲ画像は、前記中露光時間画素値のみから生成される、請求項３５に記載の方法。

【請求項44】

前記第１の二重露光時間ＨＤＲ画像および前記第２の二重露光時間ＨＤＲ画像の各々は、少なくとも３つの異なる色に対応付けられた二重ＨＤＲ画素値のモザイクで構成され、前記三重露光時間ＨＤＲカラー画像を生成するステップは、
前記第１の二重露光時間ＨＤＲ画像および前記第２の二重露光時間ＨＤＲ画像から、前記少なくとも３つの異なる色に対応付けられた三重ＨＤＲ画素値のモザイクで構成される、中間三重露光時間ＨＤＲ画像を生成するステップと、
前記中間三重露光時間ＨＤＲ画像をデモザイキングすることにより、前記三重露光時間ＨＤＲカラー画像を生成するステップと、
を含む、請求項３５に記載の方法。

【請求項45】

前記三重露光時間シングルショットＨＤＲカラーイメージセンサは、同一の４×４画素ブロックによるアレイを有し、各４×４画素ブロックは、第１の色の光に感度を有する１つの第１の色２×２画素グループと、第２の色の光に感度を有する２つの第２の色緑２×２画素グループと、第３の色の光に感度を有する１つの第３の色２×２画素グループとで構成され、前記２×２画素グループの各々は、前記短露光時間画素のうちの１つと、前記中露光時間画素のうち２つと、前記長露光時間画素のうちの１つとを含む、
請求項３５に記載の方法であって、
（ｉ）前記２×２画素グループの各々が、前記第１の二重露光時間ＨＤＲ画像のちょうど１つの画素値で表現され、かつ（ｉｉ）前記第１の二重露光時間ＨＤＲ画像が、前記第１の色に対応付けられた１つの画素値と、前記第２の色に対応付けられた２つの画素値と、前記第３の色に対応付けられた１つの画素値と、を有する２×２画素ブロックで構成されるようなものとして、前記第１の二重露光時間ＨＤＲ画像を生成するステップを行うことと、
少なくとも、前記中露光時間画素が不飽和基準を満たす箇所において、（ｉ）前記２×２画素グループの各々が、前記第２の二重露光時間ＨＤＲ画像のちょうど１つの画素値で表現され、かつ（ｉｉ）前記第２の二重露光時間ＨＤＲ画像が、前記第１の色に対応付けられた１つの画素値と、前記第２の色に対応付けられた２つの画素値と、前記第３の色に対応付けられた１つの画素値と、を有する２×２画素ブロックで構成されるようなものとして、前記第２の二重露光時間ＨＤＲ画像を生成するステップを行うことと、
を含む、請求項３５に記載の方法。

【請求項46】

前記三重露光時間ＨＤＲカラー画像を生成するステップは、
前記第１の二重露光時間ＨＤＲ画像および前記第２の二重露光時間ＨＤＲ画像のうち少なくとも１つをスケーリングすることにより、前記第１の二重露光時間ＨＤＲ画像および前記第２の二重露光時間ＨＤＲ画像を共通スケールに置くステップと、
前記第１の二重露光時間ＨＤＲ画像および前記第２の二重露光時間ＨＤＲ画像を処理することにより、前記三重露光時間シングルショットＨＤＲカラーイメージセンサの前記４×４画素ブロックの各々につき２×２画素ブロックを有する、三重露光時間ＨＤＲ画像を生成するステップであって、前記三重露光時間ＨＤＲ画像の各２×２画素ブロックは、前記第１の色に対応付けられた１つの画素値と、前記第２の色に対応付けられた２つの画素値と、前記第３の色に対応付けられた１つの画素値とで構成される、ステップと、
前記三重露光時間ＨＤＲ画像をデモザイキングすることにより、前記三重露光時間ＨＤＲカラー画像を生成するステップであって、前記三重露光時間シングルショットＨＤＲカラーイメージセンサの前記４×４画素ブロックの各々は、前記三重露光時間ＨＤＲカラー画像の単一のフルカラーＨＤＲ画素値で表現される、ステップと、
を含む、請求項４５に記載の方法。

【請求項47】

前記第１の二重露光時間ＨＤＲ画像を生成するステップは、少なくとも、前記中露光時間画素が不飽和基準を満たす箇所において、前記第１の二重露光時間ＨＤＲ画像の各出力画素値Ｖ_ｏｕｔについて、前記出力画素値Ｖ_ｏｕｔを、等式Ｖ_ｏｕｔ＝（１－ｆ）Ｖ_Ｍ＋ｆＶ_Ｓに従って、短露光時間画素値Ｖ_Ｓと中露光時間画素値Ｖ_Ｍとの線形結合として算出するステップを含み、ここでｆは、前記短露光時間画素値Ｖ_Ｓと中露光時間画素値Ｖ_Ｍとのノイズ超の差異に少なくとも部分的に依存するブレンディング関数であり、前記ノイズ超の差異は、前記短露光時間画素値Ｖ_Ｓと、前記中露光時間画素値Ｖ_Ｍと、前記出力画素値Ｖ_ｏｕｔのノイズレベルとの関数であり、前記ノイズレベルは、前記ブレンディング関数ｆの関数である、
請求項３５に記載の方法。

【請求項48】

前記ブレンディング関数ｆは、前記短露光時間画素値Ｖ_Ｓがゼロに近づくときに前記ブレンディング関数ｆをゼロのほうへ追いやる項を含む、請求項４７に記載の方法。

【請求項49】

前記出力画素値Ｖ_ｏｕｔを算出するステップは、前記ブレンディング関数ｆを第１のパラメータの関数として第２のパラメータの単一値のみについて列挙する一次元ルックアップテーブルをもとに、前記ブレンディング関数ｆの値を演繹するステップを含む、請求項４７に記載の方法であって、前記第１のパラメータは、前記短露光時間画素値Ｖ_Ｓおよび中露光時間画素値Ｖ_Ｍのうち一方を表し、前記第２のパラメータは、前記短露光時間画素値Ｖ_Ｓおよび中露光時間画素値Ｖ_Ｍのうち他方を表す、請求項４７に記載の方法。

【請求項50】

前記ブレンディング関数ｆは、前記第１のパラメータと前記第２のパラメータとが等しい箇所においてディップを呈する、請求項４９に記載の方法であって、前記演繹するステップは、
前記第２のパラメータの前記単一値と実際値との差分だけ、前記第１のパラメータを移動させるステップであって、前記差分は前記第１のパラメータに対応付けられた露光時間に合わせてスケーリングされる、ステップと、
前記移動させるステップの後で、前記第２のパラメータの前記単一値と前記実際値との比率により、移動された前記第１のパラメータをさらにスケーリングするステップと、
前記スケーリングするステップの後で、移動されスケーリングされた前記第１のパラメータに対応する前記ルックアップテーブルのインデックスにおいて、前記ブレンディング関数ｆの値を読み出すステップと、
を含む、請求項４９に記載の方法。

【請求項51】

複数の短露光時間画素と、複数の中露光時間画素と、複数の長露光時間画素と、を有する三重露光時間シングルショットＨＤＲカラーイメージセンサから、ハイダイナミックレンジ（ＨＤＲ）カラー画像を生成するためのコンピュータプログラムであって、前記コンピュータプログラムは、非一時的メモリ中に符号化された機械可読命令を含み、前記命令は、
プロセッサによって実行されるときに、（ａ）前記短露光時間画素からの短露光時間画素値と、前記中露光時間画素からの中露光時間画素値との、第１の合成か、または（ｂ）前記中露光時間画素からの中露光時間画素値と、前記長露光時間画素からの長露光時間画素値との、第２の合成か、のいずれか一方より二重露光時間ＨＤＲ画像を生成する、二重露光時間命令と、
前記プロセッサによって実行されるときに、（ａ）前記第１の合成に基づく前記二重露光時間ＨＤＲ画像の第１のインスタンスと、（ｂ）前記第２の合成に基づく前記二重露光時間ＨＤＲ画像の第２のインスタンスとの合成から、三重露光時間ＨＤＲカラー画像を生成する、二重から三重へのＨＤＲ命令と、
を含む、コンピュータプログラム。

【請求項52】

請求項５１に記載のコンピュータプログラムを格納した記録媒体と、前記三重露光時間シングルショットＨＤＲカラーイメージセンサとを備える、ハイダイナミックレンジ（ＨＤＲ）カメラ。

【請求項53】

前記三重露光時間シングルショットＨＤＲカラーイメージセンサは、同一の４×４画素ブロックによるアレイを有し、各４×４画素ブロックは、第１の色の光に感度を有する１つの第１の色２×２画素グループと、第２の色の光に感度を有する２つの第２の色緑２×２画素グループと、第３の色の光に感度を有する１つの第３の色２×２画素グループとで構成され、前記２×２画素グループの各々は、前記短露光時間画素のうちの１つと、前記中露光時間画素のうち２つと、前記長露光時間画素のうちの１つとを含む、請求項５２に記載のＨＤＲカメラ。

【請求項54】

請求項５２に記載のＨＤＲカメラを備える、セルラーフォン。

【発明の詳細な説明】

【技術分野】

【0001】

＜関連出願への相互参照＞
本願は、２０１８年６月７日に出願された米国仮特許出願第６２／６８１，７８９号、２０１８年６月７日に出願された欧州特許出願第１８１７６４０３．６号、および２０１９年４月２３日に出願された米国仮特許出願第６２／８３７，３６１号に基づく優先権を主張するものであり、これらの出願の開示内容の全てを本願に援用する。

【0002】

本願は、ハイダイナミックレンジイメージング（ｈｉｇｈ－ｄｙｎａｍｉｃ－ｒａｎｇｅ ｉｍａｇｉｎｇ）に関する。

【背景技術】

【0003】

スマートフォンなどの殆どのハンドヘルドカメラデバイスは、８ビットまたは場合によっては１０ビットのビット深度を有するイメージセンサを利用する。多くのシーンにとって、このビット深度は、当該シーンにおける最も明るい領域と最も暗い領域の両方をキャプチャするためには、不十分である。例えば、背後から照明された人物の写真を撮影する場合、その人物の顔は露光が不足しているように見えるかも知れない。あるいは、より明るい背景のほうが露光されすぎているように見えるかも知れない。

【0004】

ハイダイナミックレンジ（ＨＤＲ）イメージング機能は、この問題の克服を追及する。典型的なアプローチにおいて、ＨＤＲデジタルカメラは、同一シーンの２つの画像をキャプチャする。シーンの明るい部分について良好な画像データを得るための短い露光時間の画像と、シーンのより暗い部分について良好な画像データを得るためのより長い露光時間の画像である。これらの２つの画像を、共通のスケールにスケーリングし、合成することにより、より明るいシーンの部分とより暗いシーンの部分の両方を適切に描写する、当該シーンの単一のＨＤＲ画像が生成される。このようなＨＤＲイメージングは、多くの状況において良好に機能し、ＨＤＲイメージング機能は、スマートフォンなどの多くのデバイスにおける標準的要素となっている。しかし、これらの長短の露光は異なる時刻に記録され、その間に少なくとも１フレーム全体の読み出し処理が伴う。したがって、その画像の組み合わせは、当該シーンが静的ではない場合、望ましくないアーティファクトをしばしば生じさせる。短い露光と長い露光との間に被写体が動くと、そのＨＤＲ画像は、酷い場合には動く被写体についてずれのある二重の画像を示すことがあり、あるいは、より程度が軽い場合、動く被写体のところでエッジアーティファクトを示すことがある。

【0005】

ＨＤＲ画像におけるモーションアーティファクトを解消しようとする努力の中で、業界は、単一の撮影で、より明るい露光とより薄暗い露光とを達成する、いわゆる「シングルショット」のＨＤＲイメージセンサを開発してきた。ある種のシングルショットイメージセンサにおいては、同一の画素アレイの中に、大小の画素が集積される。小さい画素は、大きい方の画素よりも少ない光を集める。したがって、大小の画素間のサイズの差は、長短の露光時間を用いることと同様のダイナミックレンジの利点を与える。残念ながら、このようなデュアルサイズのイメージセンサの画素レイアウトは、相当な製造上の複雑さをもたらす。別のタイプのシングルショットＨＤＲイメージセンサは、全て同一のサイズの画素群を有するが、いくつかの画素には短い露光時間が適用され、他の画素には長い露光時間が適用される。これらの２つの異なるタイプの画素における露光は、完全に別々ではなく、時間的にオーバーラップしているため、この設計により、モーションアーティファクトが大きく低減される。

【発明の概要】

【0006】

しかし、たとえ２つの異なるタイプの画素の露光時間がオーバーラップしていたとしても、動きの存在は、記録された画像の品質になお悪影響を及ぼし得る。ここで、動きは、例えば、イメージセンサの助けを借りて記録される任意の移動可能な被写体の運動によって引き起こされることもあれば、イメージセンサ自体の運動によって引き起こされることもある。長い露光時間の画素センサおよび短い露光時間の画素センサが、オーバーラップする期間にわたって記録しているかオーバーラップしない期間にわたって記録しているかにかかわらず、結果物である画像は、これらの画素センサの異なる露光時間に起因して異なるものになり得る。したがって、短露光の画素値と長露光の画素値とに基づいて画像を生成するための改良された画像生成方法を提供することが本明細書の１つの目的であるといえる。より具体的には、二重露光時間（ｄｕａｌ－ｅｘｐｏｓｕｒｅ－ｔｉｍｅ）シングルショットイメージセンサのための改良された画像生成方法を提供することが本明細書の１つの目的であり、当該方法は動きに関してロバストである。

【0007】

ＵＳ２０１５０６２３６８（Ａ１）は、交互に配置された短露光画素値の行と長露光画素値の行とを有するインターリーブ画像（ｉｎｔｅｒｌｅａｖｅｄ ｉｍａｇｅｓ）をキャプチャするイメージセンサ群を備えた電子機器を記載している。この電子機器における処理回路は、インターリーブ画像を複数のビンに（空間的に）分割することができる。処理回路は、各ビンについて重み付けされた長露光画素値と、各ビンについて重み付けされた短露光画素値とを生成できる。各ビンにおける重み付けされた長露光の値および短露光の値は、当該ビンについてのビニングされた（ｂｉｎｎｅｄ）ハイダイナミックレンジ（ＨＤＲ）画素値を生成するために合成され得る。処理回路は、ビニングされたＨＤＲ画素値から形成されたビニングされたＨＤＲ画像を、さらなる画像処理演算を行う映像処理回路などの別の回路に出力することができる。望まれる場合、イメージセンサと処理回路とを統合して、単一のビニングされたＨＤＲ画素値を生成する１つの集積構造を構成することができ、複数の集積構造を用いてもよい。ＵＳ２０１４１５２６９４（Ａ１）は、ハイダイナミックレンジ（ＨＤＲ）画像を生成する方法を記載している。この方法は、シーンの長露光画像と短露光画像とをキャプチャするステップと、長露光画像の各画素位置についての統合重み（ｍｅｒｇｉｎｇ ｗｅｉｇｈｔ）を、当該画素位置の画素値と、飽和閾値（ｓａｔｕｒａｔｉｏｎ ｔｈｒｅｓｈｏｌｄ）とに基づいて算出するステップと、ＨＤＲ画像の各画素位置についての画素値を、長露光画像および短露光画像における対応する画素値の重み付けされた和として算出するステップとを含む。短露光画像の当該画素位置の画素値に適用される重みと、長露光画像の当該画素位置の画素値に適用される重みは、当該画素位置について算出された統合重みに基づき、長露光画像および短露光画像のシーンにおける動きに応答して決定される。

【0008】

ある実施形態において、二重露光時間シングルショットＨＤＲカラーイメージセンサから動き補償されたハイダイナミックレンジ（ＨＤＲ）カラー画像を生成するための方法は、二重露光時間シングルショットＨＤＲカラーイメージセンサの、一ローカル領域のそれぞれのセンサ画素群によって生成された画素値を取得するステップを含む。このローカル領域は、動き補償されたＨＤＲカラー画像の、ある画像画素の位置に対応している。当該ローカル領域のセンサ画素群は、３つの異なる色の各々について、それぞれの色に感度を有する、複数の短露光画素と複数の長露光時間画素とを含む。本方法はさらに、（ａ）第１の色に対応付けられた短露光画素および長露光時間画素の画素値から、当該ローカル領域の動きパラメータを決定するステップと、（ｂ）当該ローカル領域の画素値をデモザイキングすることにより、各色について、短露光画素と長露光時間画素とから、当該画像画素の出力値を決定するステップとを含む。当該出力値に対する短露光画素と長露光時間画素との相対寄与率は、動きパラメータに従って重み付けされる。

【0009】

ある実施形態において、二重露光時間シングルショットＨＤＲカラーイメージセンサから動き補償されたハイダイナミックレンジ（ＨＤＲ）カラー画像を生成するための製品は、非一時的メモリ中に符号化された機械可読命令を含む。これらの命令は、プロセッサによって実行されるとき、二重露光時間シングルショットＨＤＲカラーイメージセンサの一ローカル領域のそれぞれのセンサ画素によって生成された画素値を取り出すデータ選択命令を含む。このローカル領域は、動き補償されたＨＤＲカラー画像の、ある画像画素の位置に対応する。当該ローカル領域のセンサ画素は、３つの異なる色の各々について、それぞれの色に感度を有する、複数の短露光時間画素と複数の長露光時間画素とを含む。これらの命令はさらに、（ａ）プロセッサによって実行されるとき、第１の色に対応付けられた短露光時間画素および長露光時間画素の画素値から、当該ローカル領域の動きパラメータを決定する動き命令と、（ｂ）プロセッサによって実行されるとき、当該ローカル領域の画素値をデモザイキングすることにより、各色について、短露光時間画素と長露光時間画素とから当該画像画素の出力値を決定するデモザイキング命令とを含む。当該出力値に対する短露光時間画素と長露光時間画素との相対寄与率は、動きパラメータに従って重み付けされる。

【0010】

ある実施形態において、方法は、複数の短露光時間画素と、複数の中露光時間画素と、複数の長露光時間画素と、を有する三重露光時間シングルショットＨＤＲカラーイメージセンサから、ハイダイナミックレンジ（ＨＤＲ）カラー画像を生成するように構成される。本方法は、（Ｉ）（ａ）短露光時間画素からの短露光時間画素値と（ｂ）中露光時間画素からの中露光時間画素値との第１の合成から、第１の二重露光時間ＨＤＲ画像を生成するステップと、（ＩＩ）（ａ）中露光時間画素からの中露光時間画素値と（ｂ）長露光時間画素からの長露光時間画素値との第２の合成から、第２の二重露光時間ＨＤＲ画像を生成するステップと、（ＩＩＩ）第１の二重露光時間ＨＤＲ画像と、第２の二重露光時間ＨＤＲ画像とから、三重露光時間ＨＤＲカラー画像を生成するステップと、を含む。

【0011】

ある実施形態において、製品は、複数の短露光時間画素と、複数の中露光時間画素と、複数の長露光時間画素とを有する三重露光時間シングルショットＨＤＲカラーイメージセンサから、ハイダイナミックレンジ（ＨＤＲ）カラー画像を生成するように構成される。本製品は、非一時的メモリ中に符号化された機械可読命令を含む。これらの命令は、（Ｉ）プロセッサによって実行されるときに、（ａ）短露光時間画素からの短露光時間画素値と、中露光時間画素からの中露光時間画素値との第１の合成、または（ｂ）中露光時間画素からの中露光時間画素値と、長露光時間画素からの長露光時間画素値との第２の合成のいずれかから二重露光時間ＨＤＲ画像を生成する二重露光時間命令と、（ＩＩ）プロセッサによって実行されるときに、（ａ）第１の合成に基づく二重露光時間ＨＤＲ画像の第１のインスタンスと、（ｂ）第２の合成に基づく二重露光時間ＨＤＲ画像の第２のインスタンスとの合成から、三重露光時間ＨＤＲカラー画像を生成する、二重から三重へのＨＤＲ命令とを含む。

【図面の簡単な説明】

【0012】

【図1】図１は、ある実施形態による、動き補償されたＨＤＲ画像を生成するための、動き補償ハイダイナミックレンジ（ＨＤＲ）カメラを例示している。

【図2】図２は、ある実施形態による、図１のカメラの二重露光時間シングルショット・カラーＨＤＲイメージセンサを、さらに詳細に示している。

【図3】図３は、ある実施形態による、ジグザグＨＤＲカラーイメージセンサを例示している。

【図4】図４は、ある実施形態による、拡張ベイヤーＨＤＲカラーイメージセンサを例示している。

【図5】図５は、ある実施形態による、二重露光時間シングルショットＨＤＲカラーイメージセンサによってキャプチャされた単一の画像フレームに基づき、動き補償されたＨＤＲカラー画像の画像画素に対する出力値を生成する方法を例示している。

【図6】図６は、ジグザグＨＤＲカラーイメージセンサに基づく図５の方法の一部についての例を示している。

【図7】図７は、拡張ベイヤーＨＤＲカラーイメージセンサに基づく図５の方法の一部についての例を示している。

【図8】図８は、ある実施形態による、動き補償されたＨＤＲカラー画像の１つ以上の画像画素について動き補償されたＨＤＲ出力値を生成する動き補償ＨＤＲ画像生成器を例示している。

【図9】図９は、ある実施形態による、単一の撮影で二重露光時間シングルショット・カラーＨＤＲイメージセンサによって生成された画素値から、動き補償されたＨＤＲカラー画像を生成する動き補償ＨＤＲ画像生成器を例示している。

【図10】図１０は、ローカル領域定義の一例を示している。

【図11A】図１１Ａは、ある実施形態による、二重露光時間シングルショットＨＤＲカラーイメージセンサによりキャプチャされた単一の画像フレームから取得される画素値に基づき、条件付きデモザイキングを用いて動き補償されたＨＤＲカラー画像を生成する方法を例示している。

【図11B】図１１Ｂは、ある実施形態による、二重露光時間シングルショットＨＤＲカラーイメージセンサによりキャプチャされた単一の画像フレームから取得される画素値に基づき、条件付きデモザイキングを用いて動き補償されたＨＤＲカラー画像を生成する方法を例示している。

【図12】図１２は、ある実施形態による、短露光時間画素と長露光時間画素との動き差異を評価する方法を例示している。

【図13A】図１３Ａは、適合重み関数の例を示している。

【図13B】図１３Ｂは、適合重み関数の例を示している。

【図14】図１４は、ある実施形態による、ＨＤＲカラー画像の一画像画素に対応付けられたローカル領域の画素値に動き補償デモザイキングを行う方法を例示している。

【図15】図１５は、ある実施形態による、単一の撮影で二重露光時間シングルショット・カラーＨＤＲイメージセンサによって生成された画素値から、動き補償されたＨＤＲカラー画像を生成する別の動き補償ＨＤＲ画像生成器を例示している。

【図16】図１６は、ある実施形態による、二重露光時間シングルショットＨＤＲカラーイメージセンサから、動き補償されたＨＤＲカラー画像を生成するためのシステムを例示している。

【図17】図１７は、ある実施形態による、二重露光時間シングルショットＨＤＲカラーイメージセンサから動き補償されたＨＤＲカラー画像を生成する別のシステムを例示している。

【図18】図１８は、ある実施形態による、ＨＤＲ画像を生成するための短露光カラー画像と長露光カラー画像との相対的な合成重みを規定する、ブレンディング関数のマップである。

【図19】図１９は、長露光時間画素に対する図１８のブレンディング関数のプロットである。

【図20】図２０は、ある実施形態による、一次元ルックアップテーブルを用いて超越ブレンディング関数の値を決定する方法を例示している。

【図21】図２１は、図２０の方法のあるステップにおける、画素値移動の一例を示すプロットである。

【図22】図２２は、ある実施形態による、三重露光時間ＨＤＲカラー画像を生成するためのＨＤＲカメラを例示している。

【図23】図２３は、図２２のシステムの三重露光時間シングルショットＨＤＲカラーイメージセンサを、さらに詳細に示している。

【図24】図２４は、ある実施形態による、三重露光時間シングルショットＨＤＲカラーイメージセンサから、ＨＤＲカラー画像を生成する方法を例示している。

【図25】図２５は、ある実施形態による、三重露光時間ＨＤＲカラーイメージセンサから、二重露光時間ＨＤＲ画像を生成する方法を例示している。

【図26】図２６は、ある実施形態による、２つの二重露光時間ＨＤＲ画像から三重露光時間ＨＤＲカラー画像を生成するための、差異ベースの方法を例示している。

【図27】図２７は、ある実施形態による、２つの二重露光時間ＨＤＲ画像から三重露光時間ＨＤＲカラー画像を生成するための、融合ベースの方法を例示している。

【図28】図２８は、ある実施形態による、その所属する画素が、３つの異なる露光時間において感度を有する画素を各々が含む色別の四つ組において配列されている、三重露光時間ＨＤＲカラーイメージセンサを例示している。

【図29】図２９は、ある実施形態による、図２８の三重露光時間ＨＤＲカラーイメージセンサから三重露光時間ＨＤＲカラー画像を生成する方法を例示している。

【図30】図３０は、ある実施形態による、三重露光時間シングルショットＨＤＲカラーイメージセンサから三重露光時間ＨＤＲカラー画像を生成するシステムを例示している。

【発明を実施するための形態】

【0013】

図１は、動き補償されたＨＤＲカラー画像（ｍｏｔｉｏｎ－ｃｏｍｐｅｎｓａｔｅｄ ＨＤＲ ｃｏｌｏｒ ｉｍａｇｅｓ）１８０を生成する動き補償ハイダイナミックレンジ（ＨＤＲ）カメラ１１０を例示している。ＨＤＲカメラ１１０は、二重露光時間シングルショットＨＤＲカラーイメージセンサ１２０と、動き補償ＨＤＲ画像生成器（ｍｏｔｉｏｎ－ｃｏｍｐｅｎｓａｔｉｎｇ ＨＤＲ ｉｍａｇｅ ｇｅｎｅｒａｔｏｒ）１００とを備える。イメージセンサ１２０は、その感光性画素（ｐｈｏｔｏｓｅｎｓｉｔｉｖｅ ｐｉｘｅｌｓ）のいくつかを短露光時間で露出し、その感光性画素の他のいくつかを、より長い露光時間で露出するように構成される。したがって、イメージセンサ１２０によってキャプチャされる各画像フレームは、短露光時間画像データと長露光時間画像データの両方を有する。しかし、より短い露光時間とより長い露光時間との異なる持続時間に起因して、短露光時間画像データと長露光時間画像データとは、当該シーンが動きに晒されている場合には、異なるシーン構成（ｓｃｅｎｅ ｃｏｍｐｏｓｉｔｉｏｎｓ）を表すことがある。動き補償ＨＤＲ画像生成器１００は、シーン中の動きを補償することによってモーションアーティファクトを解消または少なくとも低減しながら、イメージセンサ１２０による単一フレーム（すなわちシングルショット）の記録ステップによって生成された短露光時間画像データと長露光時間画像データとを合成し、単一のＨＤＲ画像にする。

【0014】

ＨＤＲカメラ１１０は、画像キャプチャデバイス１４０において実現され得る。画像キャプチャデバイス１４０は、例えば、スマートフォン、デジタル一眼レフ（ＤＳＬＲ）カメラ、またはその他のハンドヘルドデバイスである。

【0015】

図１に示すユースシナリオにおいて、イメージセンサ１２０は、シーン１６０からの光１６８を受ける。ＨＤＲカメラ１１０または画像キャプチャデバイス１４０は、イメージセンサ１２０にシーン１６０の画像を形成するためのレンズまたは対物レンズ（ｌｅｎｓ ｏｒ ｉｍａｇｉｎｇ ｏｂｊｅｃｔｉｖｅ）を有し得るものと理解される（図を明確にするために図１には示されていない）。シーン１６０は、明るい領域（例えばスタジアム照明１６６）と暗い領域（例えばスタジアム照明１６６によって照光されない観客エリア１６５および観客１６４）の両方を有する。シーン１６０は、動く被写体、すなわちサッカー選手１６２およびボール１６３も含む。動き補償ＨＤＲ画像生成器１００は、イメージセンサ１２０の短露光時間画素および長露光時間画素の両方によって生成された画素値１７０を処理することにより、動き補償されたＨＤＲカラー画像１８０を生成する。動き補償ＨＤＲ画像生成器１００は、イメージセンサ１２０のＨＤＲ機能を利用して、明るいスタジアム照明１６６、および照光されていない観客エリア１６５における観客１６４の両方を正確に描写する、シーン１６０の動き補償されたＨＤＲカラー画像１８０を生成する。イメージセンサ１２０の短露光時間画素および長露光時間画素からの画素値１７０を合成するとき、ＨＤＲ画像生成器１００は動きを補償する。したがって、結果物である動き補償されたＨＤＲカラー画像１８０は、モーションアーティファクトを伴うことなく、サッカー選手１６２およびボール１６３を示す。

【0016】

これに対し、仮に、動き補償ＨＤＲ画像生成器１００を、動きを補償しない従来の画像合成アルゴリズムで置き換えた場合、結果物であるシステムは、サッカー選手１６２およびボール１６３の輪郭においてモーションアーティファクト１９５を被った（文献において一般に「ゴースト発生」（ｇｈｏｓｔｉｎｇ）として知られる）ＨＤＲ画像１９０を代わりに生成することになる。

【0017】

図２は、二重露光時間シングルショットＨＤＲカラーイメージセンサ１２０をさらに詳細に示している。イメージセンサ１２０は、複数の同一の画素グループ２２０を有する画素アレイ２１０を備える。各画素グループ２２０は、短露光時間画素２２２と長露光時間画素２２４とを含む。イメージセンサ１２０は、長露光時間画素２２４を、短露光時間画素２２２よりも長く露出するように構成される。短露光時間画素２２２は、第１の色、第２の色、および第３の色の光１６８にそれぞれ感度を有する画素２３２Ｓ、２３４Ｓ、および２３６Ｓを含む。同様に、長露光時間画素２２４は、第１の色、第２の色、および第３の色の光１６８にそれぞれ感度を有する画素２３２Ｌ、２３４Ｌ、および２３６Ｌを含む。第１の色、第２の色、および第３の色は、例えば、緑、赤、および青である。

【0018】

各画素グループ２２０は、本開示の範囲から逸脱しない範囲で、センサ画素２３２Ｓ、２３４Ｓ、２３６Ｓ、２３２Ｌ、２３４Ｌ、および２３６Ｌのうちの１つ以上についての、１つよりも多いインスタンス（ｉｎｓｔａｎｃｅ）を含み得る。例えば、各画素グループ２２０は、第１の色に感度を有する、複数の画素２３２Ｓと複数の画素２３２Ｌとを含んでもよい。一態様において、第１の色は緑である。

【0019】

図１を再び参照する。動き補償ＨＤＲ画像生成器１００は、各画素グループ２２０のセンサ画素２３２Ｓ、２３４Ｓ、２３６Ｓ、２３２Ｌ、２３４Ｌ、および２３６Ｌによって生成された、画素値１７０を処理することにより、動き補償されたＨＤＲカラー画像１８０を生成する。

【0020】

動き補償ＨＤＲ画像生成器１００は、プロセッサ、および当該プロセッサによって実行された場合にイメージセンサ１２０からの画素値１７０を処理することにより、動き補償されたＨＤＲカラー画像１８０またはその一部を生成する、非一時的メモリ中に符号化された機械可読命令の形態で実現されてもよい。動き補償ＨＤＲ画像生成器１００のいくつかの特定の実施形態は、非一時的メモリ中に符号化された機械可読命令として提供される。これらの機械可読命令は、サードパーティーによって提供されるプロセッサと協働してイメージセンサ１２０からの画素値１７０を処理することにより、動き補償されたＨＤＲカラー画像１８０またはその一部を生成するように構成される。

【0021】

本開示の範囲から逸脱しない範囲で、ＨＤＲ画像生成器１００は、サードパーティーによって提供される二重露光時間シングルショットＨＤＲカラーイメージセンサ１２０から受け取った画素値１７０をもとに、動き補償されたＨＤＲカラー画像１８０を生成するように構成されたスタンドアローンの製品として提供されてもよい。

【0022】

図３は、ジグザグＨＤＲカラーイメージセンサ３００を例示している。イメージセンサ３００は、二重露光時間シングルショットＨＤＲカラーイメージセンサ１２０の一実施形態である。イメージセンサ３００の画素は、正方形の画素グループ３１０において配列されている。イメージセンサ３００は、図３に示されているものよりも多数の画素グループ３１０（例えば数百または数千の画素グループ３１０）を有し得るものと理解される。各画素グループ３１０は、短露光時間画素３２２（図３において白の背景で図示）と、長露光時間画素３２４（図３において網掛けの背景で図示）とを含む。各画素グループ３１０において、短露光時間画素３２２は、緑色光に感度を有する４つの画素「ＧＳ」と、赤色光に感度を有する２つの画素「ＲＳ」と、青色光に感度を有する２つの画素「ＢＳ」とを含み、長露光時間画素３２４は、緑色光に感度を有する４つの画素「ＧＬ」と、赤色光に感度を有する２つの画素「ＲＬ」と、青色光に感度を有する２つの画素「ＢＬ」とを含む。画素グループ３１０において、短露光時間画素３２２と長露光時間画素３２４とは、交互に入れ替わるジグザグの経路（図３における白および網掛けのジグザグの経路を参照）に沿って配列される。あるいは、イメージセンサ３００は、複数の錯列画素グループ（ｓｔａｇｇｅｒｅｄ ｐｉｘｅｌ ｇｒｏｕｐｓ）３１２を有するものと考えることもできる。各画素グループ３１２は、２つのＧＳ画素、２つのＧＬ画素、１つのＲＳ画素、１つのＲＬ画素、１つのＢＳ画素、および１つのＢＬ画素から構成される。画素グループ３１０および画素グループ３１２の各々は、画素グループ２２０の一実施形態である。

【0023】

図４は、拡張ベイヤー（ｅｘｔｅｎｄｅｄ－Ｂａｙｅｒ）ＨＤＲカラーイメージセンサ４００を例示している。イメージセンサ４００は、二重露光時間シングルショットＨＤＲカラーイメージセンサ１２０の一実施形態である。イメージセンサ４００の画素は、正方形の画素グループ４１０において配列されている。イメージセンサ４００は、図４に示されているものよりも多数の画素グループ４１０（例えば、数百または数千の画素グループ４１０によるアレイ）を有し得るものと理解される。各画素グループ４１０は、短露光時間画素３２２と、長露光時間画素３２４とを含む。各画素グループ４１０において、短露光時間画素３２２は、緑色光に感度を有する４つの画素「ＧＳ」と、赤色光に感度を有する２つの画素「ＲＳ」と、青色光に感度を有する２つの画素「ＢＳ」とを含み、長露光時間画素３２４は、緑色光に感度を有する４つの画素「ＧＬ」と、赤色光に感度を有する２つの画素「ＲＬ」と、青色光に感度を有する２つの画素「ＢＬ」とを含む。各画素グループ４１０において、これらの画素は、４つのベイヤー型ブロック内で配列される。すなわち、各々が２つのＧＳ画素と１つのＲＳ画素と１つのＢＳ画素とを有する２つのベイヤー型ブロック４１４と、各々が２つのＧＬ画素と１つのＲＬ画素と１つのＢＬ画素とを有する２つのベイヤー型ブロック４１６内で配列される。イメージセンサ４００は、１つのベイヤー型ブロック４１４および１つのベイヤー型ブロック４１６から構成された、複数の錯列画素グループ４１２を有するものと考えてもよい。

【0024】

図５は、二重露光時間シングルショットＨＤＲカラーイメージセンサ１２０によってキャプチャされた単一の画像フレームに基づき、動き補償されたＨＤＲカラー画像１８０の画像画素についての出力値を生成するための方法５００を例示している。方法５００は、動き補償ＨＤＲ画像生成器１００によって行われ得る。方法５００を、ＨＤＲカラー画像１８０の各画像画素について繰り返すことにより、ＨＤＲカラー画像１８０の全体を形成（ｐｏｐｕｌａｔｅ）することが可能である。

【0025】

ステップ５１０において、方法５００は、イメージセンサ１２０の一ローカル領域のそれぞれのセンサ画素によって生成された画素値１７０を取得する。このローカル領域は、動き補償されたＨＤＲカラー画像１８０の考慮されている画像画素の位置に対応する画素アレイ２１０中の位置にある。ローカル領域のこれらのセンサ画素は、（図２を参照して前述した）第１の色、第２の色、および第３の色の各々について、それぞれの色に感度を有する複数の短露光時間画素２２２および複数の長露光時間画素２２４を含む。したがって、当該ローカル領域は、センサ画素２３２Ｓ、２３４Ｓ、２３６Ｓ、２３２Ｌ、２３４Ｌ、および２３６Ｌの各々を、複数個ずつ有する。

【0026】

図６は、ジグザグＨＤＲカラーイメージセンサ３００に基づく方法５００におけるステップ５１０の一例を示している。本例において、ステップ５１０は、イメージセンサ３００のローカル領域６２０から画素値１７０を取得する。これらの画素値に基づき、方法５００の後続のステップにおいて、対応する位置にある動き補償されたＨＤＲカラー画像１８０の画素６１０についての出力値が生成される。ローカル領域６２０は、センサ画素の５×５アレイであって、ローカル領域６２０の中央および各隅に同一タイプのセンサ画素が見受けられるようなものとなっている。図６に示すローカル領域６２０は、その中央および各隅に画素ＧＬを有する。あるいは、ローカル領域６２０は、画素ＧＳ、ＲＳ、ＲＬ、ＢＳ、またはＢＬを中央としてもよい。ローカル領域６２０はまた、５×５よりも大きいセンサ画素群（例えば７×７のセンサ画素群）であってもよい。

【0027】

本開示の範囲から逸脱しない範囲で、ローカル領域６２０の位置と画像画素６１０の位置との対応は、ＨＤＲカラー画像１８０がイメージセンサ３００の画素アレイ全体を表すように構成されてもよいし、その一部分のみを表すように構成されてもよい。

【0028】

図７は、拡張ベイヤーＨＤＲカラーイメージセンサ４００に基づく方法５００におけるステップ５１０の別の一例を示している。図７の例は、図６の例と同様であるが、イメージセンサ４００に基づいており、したがって画素ＧＳ、ＧＬ、ＲＳ、ＲＬ、ＢＳ、およびＢＬの異なるレイアウトに基づいている点で異なる。図７の例においては、ステップ５１０は、画素値１７０をローカル領域７２０から取得する。本ローカル領域は、センサ画素の５×５アレイであって、ローカル領域６２０の中央および各隅に同一タイプのセンサ画素が見受けられるようなものとなっている。図７に示されるローカル領域７２０は、その中央および各隅に画素ＧＳを有する。あるいは、ローカル領域７２０は、画素ＧＬ、ＲＳ、ＲＬ、ＢＳ、またはＢＬを中央としてもよい。ローカル領域７２０はまた、５×５よりも大きいセンサ画素群（例えば７×７のセンサ画素群）であってもよい。

【0029】

図５を再び参照する。ステップ５１０のローカル領域は、方法５００の複数回の反復によって形成されるＨＤＲカラー画像１８０が画素アレイ２１０の一部のみ（例えば中央領域または関心領域）を表現し得るようなものとして構成されてもよい。ＨＤＲカラー画像１８０は、画素アレイ２１０のセンサ画素解像度と同一の解像度か、より低い解像度を有し得る。

【0030】

ステップ５３０において、方法５００は、第１の色（例えば緑）に対応付けられた短露光時間画素２３２Ｓおよび長露光時間画素２３２Ｌの画素値から、当該ローカル領域の動きパラメータｍを決定する。動きパラメータは、ステップ５１０において画素値１７０の取得元であるローカル領域における動き度（ｄｅｇｒｅｅ ｏｆ ｍｏｔｉｏｎ）を表す。小さい動きパラメータは、少ない動きを表し、大きい動きパラメータはより多くの動きを表す。一例において、ステップ５３０は、露光時間の差を補償するために共通のスケールにスケーリングされた短露光時間画素２３２Ｓと長露光時間画素２３２Ｌとの差異（ｄｉｓｐａｒｉｔｙ）Δから、動きパラメータを決定する。

【0031】

一実施形態において、差異Δは、画像画素の第１の色についての（露光時間の差を補償するために共通のスケールにスケーリングされた）短露光値β_１，Ｓと長露光値β_１，Ｌとの差の絶対値
Δ_ａ＝｜ｒβ_１，Ｓ－β_１，Ｌ｜ （式１）
である。ここでｒは長露光時間の短露光時間に対する比である。ステップ５３０は、（ａ）ステップ５１０において取得された短露光時間画素２３２Ｓの画素値１７０からβ_１，Ｓを導出し、（ｂ）ステップ５１０において取得された長露光時間画素２３２Ｌの画素値１７０からβ_１，Ｌを導出する。一般に、短露光値β_１，Ｓおよび長露光値β_１，Ｌは、複数の異なる方法で共通のスケールにスケーリングされ得る。第１の方法によれば、比率ｒは、前述の例で述べたように、長露光時間の短露光時間に対する比として決定され得る。そして、比率ｒを用いて、短露光値β_１，Ｓに比率ｒを乗じることにより、短露光値β_１，Ｓを共通のスケールにスケーリングすることができる。あるいは、第２の方法によれば、第２の比率ｒ_２が、短露光時間の長露光時間に対する比として決定され得る。そして、第２の比率ｒ_２を用いて、長露光値β_１，Ｌに第２の比率ｒ_２を乗じることにより、長露光値β_１，Ｌを共通のスケールにスケーリングすることができる。さらに別の方法によれば、スケーリングは、（ａ）長露光値β_１，Ｌに短露光時間を乗じ、（ｂ）短露光値β_１，Ｓに長露光時間を乗じることとによって達成されてもよい。したがって、短露光値β_１，Ｓおよび長露光値β_１，Ｌを共通のスケールにスケーリングするためのさらなる代替法を当業者が容易に思い付くであろうことは、もはや明らかである。

【0032】

別の実施形態において、差異Δは、センサノイズから生じる予期される画素値変動を超えて統計的に有意な隔たりのみが反映されるように、センサノイズについて補正される。本実施形態において、差異Δは、ノイズ超の差異（ａｂｏｖｅ－ｎｏｉｓｅ－ｄｉｓｐａｒｉｔｙ）

【数1】

として表され得る。ここで、ｋは定数であり、Ｖａｒ（β_１，Ｓ，β_１，Ｌ）は、短露光時間画素２３２Ｓの画素値１７０と、長露光時間画素２３２Ｌの画素値１７０との、合成ノイズ分散（ｃｏｍｂｉｎｅｄ ｎｏｉｓｅ ｖａｒｉａｎｃｅ）である。

【0033】

一態様において、Ｖａｒ（β_１，Ｓ，β_１，Ｌ）＝ｒ^２Ｖａｒ_Ｓ＋Ｖａｒ_Ｌであり、Ｖａｒ_Ｓは短露光時間画素２３２Ｓの画素値１７０のノイズ分散であり、Ｖａｒ_Ｌは長露光時間画素２３２Ｌの画素値１７０のノイズ分散である。Ｖａｒ_ＳおよびＶａｒ_Ｌの各々は、イメージセンサ１２０の既知のまたは想定されるノイズ特性に基づき、予め決定されてもよい。センサノイズは画素値に依存し得るため、Ｖａｒ_ＳおよびＶａｒ_Ｌは、それぞれβ_１，Ｓおよび長露光値β_１，Ｌの関数であり得る。

【0034】

さらに他の実施形態において、ステップ５３０で、センサノイズから生じる予期される画素値変動に対しての、ノイズ超の差異Δ_ｎが考慮される。本実施形態において、差異Δは、相対的なノイズ超の差異

【数2】

として表され得る。

【0035】

ステップ５３０において、動きパラメータは、ｍ＝ｓｉｎｈ（Δ／α_１）、ｍ＝ｔａｎｈ（Δ／α_１）、またはｍ＝Δ／α_１として算出され得る。ここでα_１は正規化パラメータであり、差異Δは、Δ_ａ、Δ_ｎ、およびΔ_ｒのうちの任意の１つであり得る。この、動きパラメータｍの関数的マッピングは、ｍを０から１までの範囲内の値に制限するように構成される。１０ビットのビット深度を有するイメージセンサ１２０の一例において、α_１は、５と５０の間の範囲に納まり得る。

【0036】

長露光時間画素２３２Ｌの１つ以上が飽和しているならば、ステップ５３０において、そのような飽和長露光時間画素２３２Ｌを考慮から除き、短露光時間画素２３２Ｓと、不飽和長露光時間画素２３２Ｌとから、動きパラメータが決定されるようにしてもよい。

【0037】

ステップ５４０において、方法５００は、ステップ５１０において取得された画素値１７０をデモザイク（ｄｅｍｏｓａｉｃ）することにより、第１の色、第２の色、および第３の色の各々について、当該画像画素の出力値を決定する。ステップ５４０のデモザイキング処理は、ＨＤＲ合成（ＨＤＲ ｃｏｍｂｉｎａｔｉｏｎ）と統合されている。より具体的には、各色について、ステップ５４０は、当該色に対応付けられた短露光時間画素２２２と、当該色に対応付けられた長露光時間画素２２４とから、当該画像画素の出力値を決定する。ステップ５４０は、ステップ５３０において決定された動きパラメータｍに従い、出力値に対する短露光時間画素２２２と長露光時間画素２２４との相対寄与率（ｒｅｌａｔｉｖｅ ｃｏｎｔｒｉｂｕｔｉｏｎｓ）を重み付けする。各色について、当該画像画素に対する出力値Ｖ_{ｏｕｔ，Ｃ}は、
Ｖ_{ｏｕｔ，Ｃ}＝（１－ｍ）β_Ｃ，Ｌ＋ｍｒβ_Ｃ，Ｓ （式４）
と表され得る。ここで、インデックスＣは、第１の色、第２の色、または第３の色をそれぞれ指す値である１、２、および３のうちの１つをとり、β_Ｃ，Ｓおよびβ_Ｃ，Ｌは、それぞれ、考慮中の画像画素と色に対する、短露光値および長露光値である。ステップ５４０は、ステップ５１０で取得された画素値１７０から、β_Ｃ，Ｓおよびβ_Ｃ，Ｌを導出する。ステップ５４０において、飽和長露光時間画素２２４を考慮から除き、各出力値の決定を、短露光時間画素２２２と不飽和長露光時間画素２２４とに基づいて行ってもよい。式４において、動きパラメータｍは、０から１までの範囲内にあることができ、より小さい動きパラメータｍは、ローカル領域における、より低い動き度を表し、より大きい動きパラメータｍは、ローカル領域における、より高い動き度を表し得る。もしも一方で、ローカル領域に動きが無ければ、動きパラメータｍは０であってもよく、当該画像画素に対する出力値Ｖ_{ｏｕｔ，Ｃ}は、長露光値β_Ｃ，Ｌのみに基づき決定され得る。他方で、もしもローカル領域における動きの量が既定の動き最大量を超えるならば、動きパラメータｍは１であってもよく、当該画像画素に対する出力値Ｖ_{ｏｕｔ，Ｃ}は、短露光値β_Ｃ，Ｓのみに基づき決定され得る。すなわち一般に、ローカル領域における、より高い動き度は、画像画素の出力値Ｖ_{ｏｕｔ，Ｃ}が短露光値β_Ｃ，Ｓに支配されるような、短露光値β_Ｃ，Ｓのより高い重み付けおよび長露光値β_Ｃ，Ｌのより低い重み付けに帰結することになる。逆に、ローカル領域における、より低い動き度は、画像画素の出力値Ｖ_{ｏｕｔ，Ｃ}が長露光値β_Ｃ，Ｌに支配されるような、長露光値β_Ｃ，Ｌのより高い重み付けおよび短露光値β_Ｃ，Ｓのより低い重み付けに帰結することになる。

【0038】

ある実施形態において、ステップ５４０は、各色につき式１を、ステップ５３０において予め決定された動きパラメータｍを用いて、当該色に対応付けられた短露光時間画素２２２と、長露光時間画素２２４との、画素値１７０に適合させる。

【0039】

ステップ５３０を再び参照する。合成ノイズ分散Ｖａｒ（β_１，Ｓ，β_１，Ｌ）の、別の（かつ潜在的により正確な）決定法は、式３において用いられる相対的な合成重み１－ｍおよびｍを考慮し、合成ノイズ分散は動きパラメータｍに依存し得るものと考える。この別の態様においては、ステップ５３０で、より一般的な形式の合成ノイズ分散Ｖａｒ（β_１，Ｓ，β_１，Ｌ，ｍ）が考慮される。ノイズ超の差異Δ_ｎは、このとき、代わりに

【数3】

と表され、かつ、相対的なノイズ超の差異Δ_ｒは、代わりに

【数4】

と表され得る。ノイズ超の差異Δ_ｎ´に基づく態様においては、ステップ５３０で、以下の超越方程式（ｔｒａｎｓｃｅｎｄｅｎｔａｌ ｅｑｕａｔｉｏｎｓ）のうちの１つを解くことにより、動きパラメータｍを決定し得る。すなわち、

【数5】

である。ノイズ超の差異Δ_ｒ´に基づく態様においては、ステップ５３０で、以下の超越方程式のうちの１つを解くことにより、動きパラメータｍを決定し得る。すなわち、

【数6】

である。合成ノイズ分散は、Ｖａｒ（β_１，Ｓ，β_１，Ｌ，ｍ）＝（１－ｍ）Ｖａｒ_Ｌ＋ｍｒ^２Ｖａｒ_Ｓとして表され得る。以上に列挙された超越方程式（式７～１２）は、短露光時間画素２３２Ｓの画素値１７０がゼロに近づくときに動きパラメータｍをゼロに近づけるさらなる項を含むように改変されてもよい。本改変は、式１１に対し、以下のように明示的に記述される。すなわち、

【数7】

であり、ここでα_２はスケーリングパラメータである。超越方程式の式７～１０および１２の各々が、同様に改変され得る。超越方程式の式７～１３のうちの１つを実装するステップ５３０の実施形態は、ニュートン法（ｉｔｅｒａｔｉｖｅ Ｎｅｗｔｏｎ’ｓ ｍｅｔｈｏｄ）などの数値的方法（ｎｕｍｅｒｉｃａｌ ｍｅｔｈｏｄｓ）を用いるか、またはルックアップテーブル（図１８～２１に関連してさらに詳細に説明する）を用いることにより、動きパラメータｍについて超越方程式を解くことが可能である。

【0040】

差異Δは、短露光値β_１，Ｓと長露光値β_１，Ｌとの差（露光時間の差を補償するために共通のスケールにスケーリングされた）に依存するゆえに、動き以外の作用（ｅｆｆｅｃｔｓ）が、動きパラメータｍへ入り込むことがある。例えば、短露光値β_１，Ｓおよび長露光値β_１，Ｌのうちの１つまたは両方におけるノイズが差異Δに寄与する可能性があり、それゆえに、動きパラメータｍに影響を及ぼし得る。従って、動きパラメータｍをより一般的に、動きとノイズのうちの１つまたは両方などの、１つ以上の異なる作用を考慮に入れる、「ブレンディング関数」（ｂｌｅｎｄｉｎｇ ｆｕｎｃｔｉｏｎ）と呼ぶこともできる。

【0041】

動き補償が適切ではない状況が起こることがある。例えば、当該ローカル領域において、第１の色に対応付けられた全ての長露光時間画素２３２Ｌが飽和しているならば、動きが存在するかどうかを決定することは不可能である。同様に、例えば、第１の色に対応付けられた長露光時間画素２３２Ｌの大半が飽和しているならば、動き補償を担保するにあたって十分な正確度で動き度を評価することは、不可能かも知れない。このような状況において、ＨＤＲカラー画像１８０におけるモーションアーティファクトを回避するために、長露光時間画素２２２の画素値１７０の使用をあきらめることのほうが望ましいことがある。他の状況において、画素値１７０は正確な動き評価を可能にするかも知れないが、そのような動き評価により、当該ローカル領域は動きによって有意に影響されていないことが判明するならば、動き補償をあきらめて、代わりに、動きを考慮せずに短露光時間画素２３２Ｓと長露光時間画素２３２Ｌとを合成することが、演算上効率的であることもある。さらに、一様なシーン部分、すなわち、明度や色における変動を全く有しないか、または些細な変動しか有しないシーン部分は、動きのもとでも不変であり、したがって動き補償を必要としない。

【0042】

方法５００のある実施形態は、適切な場合にのみ動き補正を行うことにより、このような状況に対処する。本実施形態において、方法５００はさらに、ステップ５２０および５５０を含む。ステップ５２０は、ステップ５１０の後で、かつ、潜在的にステップ５３０へ進む前に行われる。ステップ５２０において、第１の色、第２の色、および第３の色の各々について、動き補償が適切であるか否かが評価される。ステップ５２０において動き補償が適切であると判定される各色に対し、方法５００は、続いて、当該色をステップ５３０および５４０によって処理する。ステップ５２０において動き補償が適切ではないと判定される各色に対し、方法５００は代わりに、続いて、当該色をステップ５５０によって処理する。

【0043】

ステップ５５０へ送られた各色について、方法５００は、ステップ５１０において取得された画素値１７０の非動き補償デモザイキング（ｎｏｎ－ｍｏｔｉｏｎ－ｃｏｍｐｅｎｓａｔｅｄ ｄｅｍｏｓａｉｃｉｎｇ）を行うことにより、当該画像画素の出力値を決定する。より具体的には、そのような各色に対し、ステップ５５０にて当該画像画素の出力値は、（ａ）当該色に対応付けられた短露光時間画素２２２か、または、（ｂ）当該色に対応付けられた短露光時間画素２２２と長露光時間画素２２４との、動きの補償を伴わない合成か、のいずれか一方から決定される。

【0044】

ステップ５２０は、ステップ５２２、５２４、および５２６のうちの１つ以上を含み得る。ステップ５２２において、方法５００は、ステップ５１０にて取得された長露光時間画素２２４の飽和度（ｓａｔｕｒａｔｉｏｎ）を評価する。一例において、ステップ５２２で、第１の色（ステップ５３０における処理はこれに基づく）に対応付けられた、閾値を上回る個数の長露光時間画素２２４が飽和していると判定される。すると、ステップ５２０で、動き補償は適切でないと結論される。別の例において、ステップ５２２で、第１の色とは別の色に対応付けられた、閾値を上回る個数の長露光時間画素２２４が飽和していると判定される。すると、ステップ５２２で、当該色に対応付けられた長露光時間画素２２４から入手可能なデータはステップ５４０のデモザイキングにおける使用のためには不十分であるがゆえに、当該色に対する動き補償は適切ではないと結論される。

【0045】

ステップ５２４において、ステップ５１０にて取得された短露光時間画素２３２Ｓと長露光時間画素２３２Ｌとの、画素値１７０（露光時間の差を補償するために共通のスケールにスケーリングされた）の差異を評価することにより、動きが有意であるか否かが判定される。ステップ５２４において、動きが全く存在しないか、または些細な動きしか存在しないと判定されるならば、ステップ５２４で、動き補償は不適切であると結論される。一態様において、ステップ５２４は、ステップ５３０に関して前述したものと同様な手法を用いて、例えば式１～３、５、および６のうちの１つに従い、差異を算出する。このような態様において、ステップ５２４は、代わりにステップ５３０の一部として行われてもよく、ステップ５３０において決定された動きパラメータが所定の閾値未満の場合にはステップ５５０へ進路を変更し、動きパラメータが閾値を超える場合に限り、ステップ５４０により処理を行うことができる。

【0046】

各色について、ステップ５２６において、ステップ５１０にて取得された画素値１７０の分散が評価される。もしも、当該色に対応付けられた短露光時間画素２２２の分散と、当該色に対応付けられた長露光時間画素２２４の分散との両方が、センサノイズから予期されるものなどの、ある閾分散（ｔｈｒｅｓｈｏｌｄ ｖａｒｉａｎｃｅ）未満であるならば、動き補償は不要であるものとステップ５２６において判定され、その後、方法５００はステップ５５０へ進む。

【0047】

ステップ５２２、５２４、および５２６のうち２つ以上を含む実施形態において、もしもステップ５２２、５２４、および５２６のうちの１つにより、動き補償は不適切または不要であると判定されるならば、方法５００は、ステップ５２２、５２４、および５２６の残りのステップを実行せずに、ステップ５５０へ進み得るものと理解される。

【0048】

ステップ５５０において、ステップ５２２にて取得された情報を利用することにより、長露光時間画素２２２をデモザイキング処理に含めることが適切か否かを決定し得る。

【0049】

本開示の範囲から逸脱しない範囲で、それぞれ第１の色、第２の色、および第３の色に対応付けられた３種類の画素値を処理する代わりに、方法５００は、これらの色の線形結合を処理してもよい。例えば、（それぞれ赤、緑、および青色光に感度を有するセンサ画素から取得された）画素値Ｒ、Ｇ、およびＢを処理する代わりに、方法５００は、Ｇ、（Ｒ－Ｇ）／２、および（Ｂ－Ｇ）／２を処理することができる。

【0050】

ある実施形態において、方法５００はさらに、第１の色を選択するステップ５０２を含む。ステップ５０２において、ステップ５１０で受け取った画素値１７０を評価することにより、いずれの色が動き評価に最も相応しいのかを決定することができる。典型的には、イメージセンサ１２０の殆どの実施形態、および殆どのシナリオにおいて、殆どのイメージセンサ１２０は青画素や赤画素の２倍の数の緑画素を有するため、緑が、第１の色のための好適な選択である。しかし、あるシーン部分が緑チャネルの信号を殆ど有しないならば、ステップ５０２において、異なる色を第１の色として選択することがある。一態様において、ステップ５０２は、最大輝度を有する色を選択する。

【0051】

図８は、動き補償されたＨＤＲカラー画像１８０の１つ以上の画像画素について動き補償されたＨＤＲ出力値８７４を生成するための、ある動き補償ＨＤＲ画像生成器８００を例示している。ＨＤＲ画像生成器８００は、動き補償ＨＤＲ画像生成器１００の一実施形態であり、方法５００を行うことができる。ＨＤＲ画像生成器８００は、イメージセンサ１２０と結合されて、動き補償ＨＤＲカメラ８０２を形成し得る。ＨＤＲカメラ８０２は、ＨＤＲカメラ１１０の一実施形態である。

【0052】

ＨＤＲ画像生成器８００は、データ選択器（ｄａｔａ ｓｅｌｅｃｔｏｒ）８１０と、動き解析器（ｍｏｔｉｏｎ ａｎａｌｙｚｅｒ）８２０と、動き補償ＨＤＲデモザイキングモジュール（ｍｏｔｉｏｎ－ｃｏｍｐｅｎｓａｔｉｎｇ ＨＤＲ ｄｅｍｏｓａｉｃｉｎｇ ｍｏｄｕｌｅ）８３０とを備える。ＨＤＲ画像生成器８００は、イメージセンサ１２０によってキャプチャされた単一の画像フレームから画素値１７０を取得し、これらの画素値１７０を処理することにより、動き補償されたＨＤＲカラー画像１８０の、動き補償されたＨＤＲ出力値８７４を生成する。ＨＤＲ画像生成器８００は、画素値１７０のうちの異なるものを処理することにより、ＨＤＲカラー画像１８０の全体をポピュレートし得る。

【0053】

各動き補償されたＨＤＲ出力値８７４を生成するために、ＨＤＲ画像生成器８００は、以下に記載のように動作する。ステップ５１０の一例において、データ選択器８１０により、画素値１７０の中から、考慮中の画像画素に対応付けられたローカル領域に位置する、ローカル領域画素値（ｌｏｃａｌ ｒｅｇｉｏｎ ｐｉｘｅｌ ｖａｌｕｅｓ）８７０が選択される。ステップ５３０の一例において、動き解析器８２０によって、第１の色に対応付けられた、ローカル領域画素値８７０の部分集合を処理することにより、動きパラメータ８７２が決定される。ステップ５４０の一例において、動き補償ＨＤＲデモザイキングモジュール８３０により、第１の色、第２の色、および第３の色の各々について、（ａ）当該色に対応付けられた、ローカル領域画素値８７０の部分集合と、（ｂ）動きパラメータ８７２とから、動き補償されたＨＤＲ出力値８７４が決定される。

【0054】

ある実施形態において、ＨＤＲ画像生成器８００は、動き補償が適切か否かを判定し、それに応じて動き補償デモザイキングまたは非動き補償デモザイキングを行うように、構成される。本実施形態において、ＨＤＲ画像生成器８００はさらに、評価器（ｅｖａｌｕａｔｏｒ）８１２と、非動き補償デモザイキングモジュール（ｎｏｎ－ｍｏｔｉｏｎ－ｃｏｍｐｅｎｓａｔｉｎｇ ｄｅｍｏｓａｉｃｉｎｇ ｍｏｄｕｌｅ）８３２とを備える。ステップ５２０の一例において、データ選択器８１０により出力されたローカル領域画素値８７０の各組について、評価器８１２によって、第１の色、第２の色、および第３の色の各々に対し、動き補償が適切か否かが判定される。もしも評価器８１２において、動き補償が適切であると判定されるならば、ＨＤＲ画像生成器８００は、動き解析器８２０および動き補償ＨＤＲデモザイキングモジュール８３０を適用することにより、動き補償されたＨＤＲ出力値８７４を前述のように決定する。評価器８１２において動き補償が不適切であると判定される各画像画素および対応付けられた色については、（ａ）ＨＤＲ画像生成器８００は代わりに、非動き補償デモザイキングモジュール８３２を適用し、すると、（ｂ）ステップ５５０の一例において、非動き補償デモザイキングモジュール８３２が、対応付けられたローカル領域画素値８７０の部分集合を処理することにより、画像画素の当該色についての動き補償されていないＨＤＲ出力値８７６を決定する。

【0055】

ＨＤＲ画像生成器８００は、プロセッサ、およびこのプロセッサにより実行されるとき、イメージセンサ１２０からの画素値１７０を処理することにより、動き補償されたＨＤＲ出力値８７４および／または動き補償されていない出力値８７６を生成する、非一時的メモリ中に符号化された機械可読命令、という形態で実現されてもよい。データ選択器８１０、動き解析器８２０、および動き補償ＨＤＲデモザイキングモジュール８３０は、同一のプロセッサを共有してもよい。さらに、データ選択器８１０と、動き解析器８２０と、動き補償ＨＤＲデモザイキングモジュール８３０とに関連付けられたそのような機械可読命令を含む非一時的メモリが、サードパーティーのプロセッサと協働してイメージセンサ１２０からの画素値１７０を処理することにより、動き補償されたＨＤＲ出力値８７４および／または動き補償されていない出力値８７６を生成するように構成された、スタンドアローンの製品として提供されてもよい。

【0056】

本開示の範囲から逸脱しない範囲で、それぞれ第１の色、第２の色、および第３の色に対応付けられた３種類の画素値を処理する代わりに、ＨＤＲ画像生成器８００は、これらの色の線形結合を処理してもよい。例えば、画素値Ｒ、Ｇ、およびＢ（それぞれ赤、緑、および青色光に感度を有するセンサ画素から取得された）を処理する代わりに、ＨＤＲ画像生成器８００は、Ｇ、（Ｒ－Ｇ）／２、および（Ｂ－Ｇ）／２を処理することができる。

【0057】

図９は、単一の撮影で二重露光時間シングルショットＨＤＲカラーイメージセンサ１２０によって生成された画素値１７０から、動き補償されたＨＤＲカラー画像１８０を生成するための、ある動き補償ＨＤＲ画像生成器９００を例示している。ＨＤＲ画像生成器９００は、非動き補償デモザイキングモジュール８３２を備え、かつ、サンプリング器（ｓａｍｐｌｅｒ）９４２とマスター９４０とをさらに備えた、動き補償ＨＤＲ画像生成器８００の一実施形態である。マスター９４０は、評価器８１２の一態様である。ＨＤＲ画像生成器９００は、方法５００を行うことができる。

【0058】

ＨＤＲカラー画像１８０の各画像画素について、サンプリング器９４２は、データ選択器８１０による、画素値１７０からの、対応するローカル領域画素値８７０の選択を制御する。サンプリング器９４２およびデータ選択器８１０は、協調してステップ５１０の一例を行う。サンプリング器９４２は、データ選択器８１０による画素値選択を、ＨＤＲカラー画像１８０の所望の画素解像度と、当該ローカル領域の所望のサイズとに応じて、制御するように構成される。

【0059】

図１０は、サンプリング器９４２によるローカル領域定義の一例を示している。図１０において、イメージセンサ１２０の画素アレイ２１０が表されている。画素アレイ２１０は、複数のセンサ画素１０１０を有する。センサ画素１０１０とは、画素２３２Ｓ、２３２Ｌ、２３４Ｓ、２３４Ｌ、２３６Ｓ、および２３６Ｌのいずれかのことを、総称的に指す。図を明確にするために、図１０の中では、１つのセンサ画素１０１０のみに符号を付している。図１０において、ＨＤＲカラー画像１８０の２つの隣接する画像画素について、データ選択器８１０によるローカル領域選択に対応する、２つのローカル領域１０２０（１）および１０２０（２）が示されている。各ローカル領域１０２０は、高さ１０３０および幅１０３２を有する。図１０の例において、高さ１０３０および幅１０３２は、５×５画素のローカル領域１０２０を規定する。しかし、サンプリング器９４２は、データ選択器８１０に対し、高さ１０３０および幅１０３２を相応に規定することにより、画素アレイ２１０の、より小さいまたはより大きい領域をサンプリングするように、命じることもできる。図１０において、ローカル領域１０２０は、正方形であるものとして表されている。しかし、本開示の範囲から逸脱しない範囲で、ローカル領域１０２０は、細長い長方形などの異なる形状を有してもよい。

【0060】

ローカル領域１０２０（１）および１０２０（２）は、それぞれ中心画素１０２２（１）および１０２２（２）を有する。中心画素１０２２（１）および１０２２（２）は、センサ画素１０１０の例である。ローカル領域１０２０（１）とローカル領域１０２０（２）とは、中心間の間隔（ｃｅｎｔｅｒ－ｔｏ－ｃｅｎｔｅｒ ｓｐａｃｉｎｇ）１０４０を有する。図１０の例において、中心間の間隔１０４０は２画素１０１０であり、このため、少なくとも水平寸法において、ＨＤＲカラー画像１８０の解像度が１／２倍にダウンサンプリングされる。サンプリング器９４２は、所望の解像度が達成されるように、中心間の間隔１０４０を設定することができる。例えば、サンプリング器９４２は、中心間の間隔１０４０を１画素に設定することにより、画素アレイ２１０のフル画素解像度をＨＤＲカラー画像１８０の中に維持し得る。あるいは、サンプリング器９４２は、水平および垂直寸法の各々において、ＨＤＲカラー画像１８０の画素解像度が例えば１／２、１／４、もしくは１／８倍、または１／１０倍にまでダウンサンプリングされるように、中心間の間隔１０４０を設定してもよい。

【0061】

図９を再び参照する。マスター９４０は、ローカル領域画素値８７０を処理することにより、対応付けられた画像画素の各色について、いずれのタイプの動き補償が適切であるかを決定する。マスター９４０は、ステップ５２０の一例を行う。結果物であるＨＤＲカラー画像１８０は、動き補償されたＨＤＲ出力値８７４と動き補償されていない出力値８７６との組み合わせから構成され得る。ある画像画素の、ある色に対する出力値は動き補償されたＨＤＲ出力値８７４でありながら、その一方で、同じ画像画素の、別の色に対する出力値は動き補償されていない出力値８７６であることさえも、可能である。マスター９４０は、飽和度評価器（ｓａｔｕｒａｔｉｏｎ ｅｖａｌｕａｔｏｒ）９５０と、差異評価器（ｄｉｓｐａｒｉｔｙ ｅｖａｌｕａｔｏｒ）９６０とを含む。

【0062】

飽和度評価器９５０は、ステップ５２２に関して前述したように、ローカル領域画素値８７０の、各インスタンスの飽和度レベルを評価する。ある実施形態において、飽和度評価器９５０は、不飽和基準（ｂｅｌｏｗ－ｓａｔｕｒａｔｉｏｎ ｃｒｉｔｅｒｉｏｎ）９５２を含む。各色について、不飽和基準９５２は例えば、（当該色に対応付けられた）ある一定数のローカル領域画素値８７０が不飽和でなければならないという要件である。

【0063】

差異評価器９６０は、ステップ５２４に関して前述したように、ローカル領域画素値８７０について、第１の色に対応付けられた長露光時間画素と短露光時間画素との差異（露光時間の差を補償するために共通のスケールにスケーリングされている）を評価する。ある実施形態において、差異評価器９６０は、差異閾値（ｄｉｓｐａｒｉｔｙ ｔｈｒｅｓｈｏｌｄ）９６６を含む。式２に従って差異を算出する場合、差異閾値９６６は、ゼロであるか、またはゼロに近くてよい。式１に従って差異を算出する場合、差異閾値９６６は、

【数8】

であり得る。あるいは、差異閾値９６６は、動き補償と処理時間との所望の妥協点（動き補償デモザイキングは一般に非動き補償デモザイキングよりも演算的に高くつくゆえに）を達成するように、定義される。

【0064】

特定の実施形態において、マスター９４０はさらに、ステップ５２６に関して前述したようにローカル領域画素値８７０の分散を評価する、分散評価器（ｖａｒｉａｎｃｅ ｅｖａｌｕａｔｏｒ）９６８を含む。マスター９４０はさらに、ステップ５０２を行うように構成されてもよい。

【0065】

ＨＤＲ画像生成器９００は、プロセッサ、およびこのプロセッサにより実行されるとき、イメージセンサ１２０からの画素値１７０を処理することにより、動き補償されたＨＤＲ出力値８７４および／または動き補償されていない出力値８７６を生成する、非一時的メモリ中に符号化された機械可読命令、という形態で実現されてもよい。マスター９４０、サンプリング器９４２、データ選択器８１０、動き解析器８２０、動き補償ＨＤＲデモザイキングモジュール８３０、および非動き補償デモザイキングモジュール８３２は、同一のプロセッサを共有してもよい。さらに、マスター９４０と、サンプリング器９４２と、データ選択器８１０と、動き解析器８２０と、動き補償ＨＤＲデモザイキングモジュール８３０と、非動き補償デモザイキングモジュール８３２と、に関連付けられたそのような機械可読命令を含む非一時的メモリが、サードパーティーのプロセッサと協働してイメージセンサ１２０からの画素値１７０を処理することにより、動き補償されたＨＤＲ出力値８７４および／または動き補償されていない出力値８７６を生成するように構成された、スタンドアローンの製品として提供されてもよい。

【0066】

図１１Ａおよび図１１Ｂは、二重露光時間シングルショットＨＤＲカラーイメージセンサ１２０によりキャプチャされた単一の画像フレームから取得される画素値に基づき、条件付きデモザイキングを用いて動き補償されたＨＤＲカラー画像１８０を生成するための、ある方法１１００を例示している。方法１１００において、少なくとも飽和度レベルと動き差異とを評価することにより、ＨＤＲカラー画像１８０の各画像画素および対応付けられた各色について、相応に適切なタイプのデモザイキングが適用される。方法１１００の各繰り返し（ｉｔｅｒａｔｉｏｎ）において、ＨＤＲカラー画像１８０の、ある画像画素の第１の色、第２の色、および第３の色の各々に対し、出力値が生成される。方法１１００をＨＤＲカラー画像１８０の各画像画素に対して繰り返すことにより、ＨＤＲカラー画像１８０の全体をポピュレートすることが可能である。方法１１００は、方法５００の一実施形態である。方法１１００は、例えば、ＨＤＲ画像生成器９００により行われる。図１１Ａは、方法１１００の第１の部分を示しており、図１１Ｂは、方法１１００の第２の部分を示している。図１１Ａと図１１Ｂとは、以下の説明の中で一緒に見ることが最良である。

【0067】

方法１１００は、ステップ１１１０、１１２０、および１１３０を含む。ステップ１１１０において、画素値１７０が取得される。ステップ１１２０において、選択パラメータ群が取得される。ステップ１１１０および１１２０の一例において、データ選択器８１０は、（ａ）イメージセンサ１２０からの画素値１７０と、（ｂ）サンプリング器９４２からのデータ選択パラメータ群（高さ１０３０、幅１０３２、および中心間の間隔１０４０など）とを受け取る。ステップ１１３０において、ステップ１１１０にて取得された画素値１７０の中から、ステップ１１２０にて取得されたデータ選択パラメータに従い、二重露光時間シングルショットＨＤＲカラーイメージセンサの、一ローカル領域のそれぞれのセンサ画素によって生成された画素値８７０が選択される。ステップ１１３０の一例において、データ選択器８１０は、ステップ１１２０において取得されたローカル領域１０２０の定義に従い、イメージセンサ１２０によって生成された画素値８７０を選択する。ある実施形態において、方法１１００はさらに、第１の色を選択するステップ５０２を含む。

【0068】

ステップ１１１０、１１２０、および１１３０、ならびにオプションとしてステップ５０２を完了した後に、方法１１００は続けて、第１の色に対するステップ群のブロック１１０２と、第２の色および第３の色の各々に対するステップ群のブロック１１０４と、を行う。ブロック１１０２は、判定１１４０で始まる。判定１１４０において、第１の色に対応付けられた長露光時間画素の飽和度が評価される。もしも、第１の色に対応付けられた長露光時間画素の画素値８７０が不飽和基準を満たしているならば、方法１１００は、もう一つの判定１１４４へ進む。さもなくば、方法１１００は続けて、（ａ）ステップ１１４２で、第１の色の画素値８７０を処理し、（ｂ）ステップ１１５２により、第２の色および第３の色の各々についての画素値８７０を処理する。判定１１４０の一例において、飽和度評価器９５０は、長露光時間画素２３２Ｌの画素値８７０の飽和度レベルを、不飽和基準９５２と比較する。次に、本例において、もしも長露光時間画素２３２Ｌが不飽和基準９５２を満たしていなければ、マスター９４０は、非動き補償デモザイキングモジュール８３２に対し、以下にさらに詳細に説明するように、ステップ１１４２および１１５２により、第１の色、第２の色、および第３の色の各々についての画素値８７０を処理するように命じる。他方で、もしも長露光時間画素２３２Ｌが不飽和基準９５２を満たしているならば、マスター９４０は続けて、第１の色に対応付けられた画素値８７０に対し、差異評価器９６０を適用する。

【0069】

第１の色に対応付けられた長露光時間画素の画素値８７０が判定１１４０における飽和度基準を満たさない場合、長露光時間画素のデータ品質は、動き解析のためには不十分であるものと見做される。この場合、方法１１００は、動きの情報（ｋｎｏｗｌｅｄｇｅ）を取得しない。したがって、方法１１００において、画素値８７０の非動き補償デモザイキングが用いられる。さらに、たとえ第２の色または第３の色に対応付けられた長露光時間画素が飽和度基準を満たしているとしても、方法１１００は、短露光時間画素と長露光時間画素との間のいかなる潜在的な動き差異の情報も有しない。この場合、方法１１００はゆえに、第１の色、第２の色、および第３の色の各々について、短露光時間画素のみに基づいて非動き補償デモザイキングを行う。従って、ステップ１１４２において、短露光時間画素のみを用いて非動き補償デモザイキングを行うことにより、第１の色について、当該画像画素の出力値が決定される。同様に、ステップ１１５２において、短露光時間画素のみを用いて非動き補償デモザイキングを行うことにより、第２の色および第３の色の各々について、当該画像画素の出力値が決定される。ステップ１１４２および１１５２の一例において、マスター９４０は、非動き補償デモザイキングモジュール８３２に対し、第１の色、第２の色、および第３の色の各々に対応付けられた短露光時間画素の画素値８７０を処理することにより、各色に対する動き補償されていない出力値８７６を決定するように命じる。本例において、非動き補償デモザイキングモジュール８３２は、（ａ）第１の色についての短露光時間画素２３２Ｓの画素値８７０をデモザイクし、（ｂ）第２の色についての短露光時間画素２３４Ｓの画素値８７０をデモザイクし、かつ、（ｃ）第３の色についての短露光時間画素２３６Ｓの画素値８７０をデモザイクする。

【0070】

判定１１４４は、第１の色に対応付けられた短露光時間画素と長露光時間画素との差異（露光時間の差を補償するために共通のスケールにスケーリングされた）を算出し、この差異を、差異閾値と比較する。もしも差異が差異閾値を超えるならば、方法１１００は続けて、（ａ）ステップ１１４８において、第１の色に対応付けられた画素値８７０をステップ５３０および５４０によって処理することにより、当該画像画素の第１の色に対する動き補償された出力値を決定し、かつ、（ｂ）判定１１５０において、第２の色および第３の色の各々の長露光時間画素の飽和度レベルを評価する。他方で、もしも差異が差異閾値を超えなければ、方法１１００は続けて、（ａ）ステップ１１４６により、第１の色に対応付けられた画素値８７０を処理し、かつ、（ｂ）判定１１５０のもう一つのインスタンス１１５０’において、第２の色および第３の色の各々の長露光時間画素の飽和度レベルを評価する。判定１１４４の一例において、差異評価器９６０は、図９に関して前述したように、短露光時間画素２３２Ｓと長露光時間画素２３２Ｌとの、画素値８７０（露光時間の差を補償するために共通のスケールにスケーリングされた）の差異を算出し、この差異を、差異閾値９６６と比較する。本例において、差異が差異閾値を超える場合、マスター９４０は、非動き補償デモザイキングモジュール８３２に対し、ステップ１１４６において、第１の色に対応付けられた画素値８７０を処理することにより、当該画像画素の第１の色に対する動き補償されていない出力値８７６を決定するように命じる。もしも代わりに、差異が差異閾値を下回るならば、マスター９４０は続けて、判定１１５０において、第２の色および第３の色に対応付けられた長露光時間画素の画素値８７０に、飽和度評価器９５０を適用する。差異が差異閾値を下回り、かつ、第１の色に対応付けられた長露光時間画素の画素値８７０が飽和度基準を満たしている場合（判定１１４４における結果「いいえ」に対応）、方法１１００は、短露光時間画素と長露光時間画素との両方を利用して、当該画像画素の第１の色に対する出力値を決定することが可能である。但し、動き補償は不要であると見做される。したがってステップ１１４６において、第１の色に対応付けられた短露光時間画素と長露光時間画素とを用いて非動き補償デモザイキングを行うことにより、当該画像画素の第１の色に対する出力値が決定される。差異が差異閾値を超えており、かつ、第１の色に対応付けられた長露光時間画素の画素値８７０が飽和度基準を満たしている場合（判定１１４４における結果「はい」に対応）、第１の色に動き補償デモザイキングを行うことが適切であるものと見做される。したがってステップ１１４８において、第１の色についてステップ５３０およびステップ５４０を行うことにより、第１の色に対する当該画像画素の動き補償された出力値が決定される。ステップ１１４６は、飽和長露光時間画素を考慮から除き、各出力値の決定を、短露光時間画素と、不飽和長露光時間画素とに基づいて行ってもよい。ステップ１１４６の一例において、非動き補償デモザイキングモジュール８３２は、短露光時間画素２３２Ｓおよび不飽和長露光時間画素２３２Ｌの画素値８７０の合成に基づき、第１の色に対する動き補償されていない出力値８７６を決定する。ステップ１１４８の一例において、動き解析器８２０および動き補償ＨＤＲデモザイキングモジュール８３０は、第１の色に対応付けられた短露光時間画素２３２Ｓおよび長露光時間画素２３２Ｌの画素値８７０を処理することにより、当該画像画素の第１の色に対する動き補償されたＨＤＲ出力値８７４を決定する。

【0071】

判定１１５０は、第１の色ではなく、第２の色および第３の色の各々に適用されることを除いては、判定１１４０と同様である。もしも判定１１５０において、長露光時間画素が飽和度基準を満たしているものと判定されるならば、方法１１００は続けて、ステップ１１５８において、ステップ５３０と、考慮中の色に対応付けられたステップ５４０の一部とを行うことにより、考慮中の色に対する画像画素の動き補償された出力値を決定する。さもなくば、方法１１００は、ステップ１１５２へ進む。ステップ１１５８は、第２の色および／または第３の色に適用されることを除いては、ステップ１１４８と同様である。判定１１５０’は、判定１１５０と全く同じであるが、方法１１００の判定プロセス中の異なる地点に位置する。判定１１５０’に対する応答が「いいえ」ならば、方法１１００は、ステップ１１５２へ進む。判定１１５０’に対する応答が「はい」ならば、方法１１００は、ステップ１１５６へ進む。ステップ１１５６は、第２の色および／または第３の色に適用されることを除いては、ステップ１１４６と同様である。

【0072】

一実施形態において、方法１１００はさらに、画素値８７０の分散を考慮することにより、最適なタイプのデモザイキングを決定する。方法１１００の本実施形態はさらに、判定１１４９および１１４９’を含む。判定１１４９は、判定１１４４からステップ１１４８への経路を遮る。判定１１４９はステップ５２６の一実施形態であり、第１の色に対応付けられた画素値８７０の分散が閾分散を超えるか否かを評価する。もしも超えるならば、方法１１００は、ステップ１１４８へ進む。もしも超えなければ、方法１１００は代わりに、ステップ１１４６へ進路を変更する。判定１１４９’は、判定１１５０からステップ１１５８への経路を遮る。判定１１４９’はステップ５２６の一実施形態であり、第２の色および第３の色の各々について、考慮中の色に対応付けられた画素値８７０の分散が閾分散を超えるか否かを評価する。もしも超えるならば、方法１１００は、当該色について、ステップ１１５８へ進む。もしも超えなければ、方法１１００は、当該色について、ステップ１１５６へ進路を変更する。

【0073】

図１２は、第１の色に対応付けられた短露光時間画素と長露光時間画素との動き差異（ｍｏｔｉｏｎ ｄｉｓｃｒｅｐａｎｃｙ）を評価するための、ある方法１２００を例示している。方法１２００は、ステップ５３０の一実施形態であり、動きパラメータｍを決定する。方法１２００は、動き解析器８２０により行われて、画素値８７０に基づき、動きパラメータ８７２を決定し得る。方法１２００は、ステップ１２１０、１２２０、および１２３０を含む。

【0074】

ステップ１２１０において、第１のモデルを、短露光時間画素２３２Ｓ（第１の色に対応付けられた）の画素値８７０に適合させることにより、当該画像画素に対する短露光時間第１色値（ｓｈｏｒｔ－ｅｘｐｏｓｕｒｅ－ｔｉｍｅ ｆｉｒｓｔ－ｃｏｌｏｒ ｖａｌｕｅ）（例えば式１のβ_１，Ｓ）が決定される。この短露光時間第１色値は、当該画像画素に対応付けられた実際の第１の色輝度の、最良の推定値を表している。ステップ５１０に関して前述したように、画素値８７０を取得する元となるローカル領域は、第１の色に感度を有する複数の短露光時間画素２３２Ｓを含むゆえ、当該画像画素に対する短露光時間第１色値を決定するにあたり、複数の画素値が利用可能である。当該ローカル領域の中心は、短露光時間画素２３２Ｓに一致してもよいし、一致しなくてもよい。ステップ１２１０は、当該ローカル領域内の全ての短露光時間画素２３２Ｓを考慮することにより、当該画像画素に対する短露光時間第１色値を補間する。ローカル領域の中心が短露光時間画素２３２Ｓに一致している場合でさえも、ステップ１２１０において用いられる適合化処理は、ノイズを平均化するうえで役立つと言え、ゆえに、短露光時間第１色値の決定のロバスト性を増すことができる。

【0075】

ステップ１２２０は、長露光に関するものであることを除いては、ステップ１２１０と同様である。ステップ１２２０において、第２のモデルを、長露光時間画素２３２Ｌ（第１の色に対応付けられた）の画素値８７０に適合させることにより、当該画像画素に対する長露光時間第１色値（ｌｏｎｇ－ｅｘｐｏｓｕｒｅ－ｔｉｍｅ ｆｉｒｓｔ－ｃｏｌｏｒ）（例えば式１のβ_１，Ｌ）が決定される。

【0076】

ステップ１２１０および１２２０は、β_１，Ｓおよびβ_１，Ｌを共通のスケールにスケーリングすることにより、露光時間の差を補償することを含み得る。あるいはステップ１２３０において、このスケーリングを行う。

【0077】

ステップ１２３０において、ステップ１２１０にて決定された短露光時間第１色値と、ステップ１２２０にて決定された長露光時間第１色値との、差異を算出することにより、動きパラメータが決定される。ここで、短露光時間第１色値および長露光時間第１色値は、共通のスケールにスケーリングされる。ステップ１２３０は、式１～３、５または６を利用できる。ある実施形態において、ステップ１２３０で、動きパラメータは、ステップ５３０に関して前述したように、ｍ＝ｓｉｎｈ（Δ／α_１）、ｍ＝ｔａｎｈ（Δ／α_１）、もしくはｍ＝Δ／α_１として算出されるか、または、式７～１３のうちの１つに従い算出される。

【0078】

ある実施形態において、ステップ１２１０はステップ１２１２を含み、ステップ１２２０はステップ１２２２を含む。一方では、ステップ１２１２において、ステップ１２１０による適合化の中で使用される各画素値８７０に対し、適合重みが適用される。例えば、ステップ１２１２は、短露光時間画素の画素値に適合重みを乗じることにより、短露光時間画素に前記適合重みを適用できる。ステップ１２１２の適合重みは、画素値８７０の信号品質、または画素値８７０の予期される信号品質の増加関数であり、適合化において、より優れたデータ品質の画素値８７０に対し、相対的により多量の重みが割り当てられるようなものとなっている。ステップ１２１２の適合重みは、イメージセンサ１２０のセンサノイズのモデルから導出され得る。他方では、ステップ１２２２において、ステップ１２２０による適合化の中で使用される各画素値８７０に対し、適合重みが適用される。例えば、ステップ１２２２は、長露光時間画素の画素値に適合重みを乗じることにより、長露光時間画素に前記適合重みを適用できる。ステップ１２２２の適合重みもまた、画素値８７０の信号品質、または画素値８７０の予期される信号品質の増加関数である。ステップ１２１２および１２２２の適合重みは、イメージセンサ１２０の、ノイズ特性および／または飽和挙動（ｓａｔｕｒａｔｉｏｎ ｂｅｈａｖｉｏｒ）のモデルに基づき得る。

【0079】

図１３Ａおよび図１３Ｂは、ステップ１２１２および１２２２において使用され得る、適合重み関数の例を表している。図１３Ａは、短露光時間画素２３２Ｓなどの短露光時間画素に適用可能な、適合重み関数１３１０を表している。図１３Ｂは、長露光時間画素２３２Ｌなどの長露光時間画素に適用可能な、適合重み関数１３５０を表している。図１３Ａおよび図１３Ｂは、以下の説明の中で一緒に見ることが最良である。図１３Ａおよび図１３Ｂの各々は、それぞれの適合重み関数を、画素値１３０２に対する適合重み１３０４としてプロットしている。

【0080】

適合重み関数１３１０は、下方閾値１３１２と最大画素値１３１４との間においては１であり、画素値が下方閾値１３１２からゼロまで減少するとき、適合重み関数１３１０はゼロまで漸減する。この減少は、センサノイズが画素値に増々有意な寄与を及ぼすようになるにつれて、劣化してゆくデータ品質を反映している。一実施形態において、適合重み関数１３１０はまた、破線１３２０に示されるように、漸減して最高画素値において消失する。この減少は、飽和が画素値を制限し始めるにつれて、劣化してゆくデータ品質を反映している。

【0081】

適合重み関数１３５０は、ゼロと上方閾値１３５２との間においては１であり、画素値が上方閾値１３５２から最大画素値１３５４まで増加するとき、適合重み関数１３５０はゼロまで漸減する。この減少は、飽和が画素値を制限し始めるにつれて、劣化してゆくデータ品質を反映している。一態様において、最大画素値１３５４は、イメージセンサが出力し得る最高画素値である。別の態様において、最大画素値１３５４は、イメージセンサが出力し得る最高画素値未満であり、代わりに、そのレベルを上回る飽和度は容認し得ないあるレベルを規定する。本態様により、著しく飽和した画素値は考慮から除かれる。

【0082】

一実施形態において、適合重み関数１３５０はまた、破線１３６０に示されるように、漸減して最低画素値において消失する。この減少は、センサノイズが画素値に増々有意な寄与を及ぼすようになるにつれて、劣化してゆくデータ品質を反映している。

【0083】

図１２を再び参照する。ステップ１２１２は、適合重み関数１３１０（漸減部１３２０有りまたは無しの）を利用し得る。ステップ１２２２は、適合重み関数１３５０（漸減部１３６０有りまたは無しの）を利用し得る。

【0084】

ある実施形態において、ステップ１２１０は、ある二次元（２Ｄ）多項式モデルを用いるステップ１２１４を含み、ステップ１２２０は、別の２Ｄ多項式モデルを用いるステップ１２２４を含む。ステップ１２１４および１２２４の２Ｄ多項式モデルは、同一でもよいし、相異なってもよい。各２Ｄ多項式モデルは、水平および垂直画素座標の両方を入力パラメータとして有し、それぞれの適合重みを出力パラメータとして有する、多項式関数である。図１３Ａおよび図１３Ｂに例示される適合重み関数１３１０および１３５０と同様に、多項式関数は、正規化（例えば最大値１に正規化）されてもよい。

【0085】

ステップ１２１４において適用される２Ｄ多項式の次数は、ローカル領域のサイズに依存し得る。例えば、図６および図７に表したような５×５領域により、短露光時間画素２３２Ｓの画素値８７０に対し、１次２Ｄ多項式のロバストな適合が可能にされ得る。ところが、７×７領域においては、短露光時間画素２３２Ｓの画素値８７０に対し、２次または３次２Ｄ多項式のロバストな適合が可能にされ得る。一般に、より大きい領域において、より高次の多項式の適合が可能にされる。一方において、より高次の多項式は、ローカル領域内の画素変動に対するより正確な適合を可能にする。他方において、より大きいローカル領域は、所望以上のボケ（ｂｌｕｒｒｉｎｇ）を誘発するかも知れない。さらに、より高次の多項式を大きいローカル領域に適合させることは、より低次の多項式を小さいローカル領域に適合させることよりも、演算的に高くつく。一実施形態において、ステップ１２１０で、１次多項式（平面）またはゼロ次多項式（定数）を利用することにより、例えば処理時間が最小化される。

【0086】

ステップ１２２０は、より飽和を被り易い、長露光時間画素２３２Ｌを処理するがゆえに、ステップ１２２０において、飽和画素から取得された画素値８７０を省き、不飽和画素値８７０のみを考慮することができる。従って、ステップ１２２０の適合化処理のために利用可能な画素値８７０の個数は、当該ローカル領域における長露光時間画素２３２Ｌの個数よりも少ないことがある。よって、ステップ１２２４において適用される２Ｄ多項式の次数はさらに、不飽和長露光時間画素２３２Ｌの実際の個数にも依存し得る。

【0087】

一実施形態において、ステップ１２１２の２Ｄ多項式モデルは、１次、２次または３次の２Ｄ多項式であり、ステップ１２２４の２Ｄ多項式モデルは、ステップ１２１２の２Ｄ多項式モデルよりも、次数が１または２だけ少ない。例えば、ステップ１２１２の２Ｄ多項式モデルは、２次または３次の２Ｄ多項式であり、ステップ１２１２の２Ｄ多項式モデルは、ゼロ次または１次の２Ｄ多項式である。別の実施形態において、第１および第２のモデルは、同一次数の２Ｄ多項式である。

【0088】

図１４は、ＨＤＲカラー画像１８０の一画像画素に対応付けられたローカル領域の画素値に動き補償デモザイキングを行うための、ある方法１４００を例示している。方法１４００は、当該画像画素の一色についての出力値を決定するものである。ステップ５４０において、各色について、方法１４００を行うことができる。動き補償ＨＤＲデモザイキングモジュール８３０は、方法１４００を行うことにより、画素値８７０と、動きパラメータ８７２とに基づき、動き補償されたＨＤＲ出力値８７４を生成し得る。方法１４００は、ステップ１４１０、１４２０、および１４３０を含む。

【0089】

ステップ１４１０において、第１のモデルを、考慮中の色に対応付けられた短露光時間画素２２２の画素値８７０に適合させることにより、当該画像画素の当該色についての短露光値（例えば式４のβ_Ｃ，Ｓ）が決定される。この短露光値は、当該画像画素の当該色に対応付けられた実際の輝度の、最良の推定値を表している。モデルを画素値８７０に適合させることの利点は、ステップ１２１０に関して前述したものと同様である。

【0090】

ステップ１４２０は、長露光に関するものであることを除いては、ステップ１４１０と同様である。ステップ１４２０において、第２のモデルを、考慮中の色に対応付けられた長露光時間画素２２４の画素値８７０に適合させることにより、当該画像画素の当該色についての長露光値（例えば式４のβ_Ｃ，Ｌ）が決定される。

【0091】

ステップ１４１０および１４２０は、β_Ｃ，Ｓおよびβ_Ｃ，Ｌを共通のスケールにスケーリングすることにより、露光時間の差を補償することを含み得る。あるいはステップ１４３０において、このスケーリングを行う。

【0092】

ステップ１４３０において、考慮中の色に対し、当該画像画素の出力値は、（ａ）ステップ１４１０において決定された短露光値と、（ｂ）長露光値との、加重平均（ｗｅｉｇｈｔｅｄ ａｖｅｒａｇｅ）として算出される。加重平均は、式４に関して前述したように、動きパラメータｍを重みとして用いる。

【0093】

ある実施形態において、ステップ１４１０はステップ１４１２を含み、ステップ１４２０はステップ１４２２を含む。ステップ１４１２および１４２２の各々は、それぞれ対応付けられた画素値にモデルを適合させる。ステップ１４１２は、第１の色、第２の色、および第３の色のいずれか１つに適用可能であることを除いては、ステップ１２１０と同様である。同じく、ステップ１４２２は、第１の色、第２の色、および第３の色のいずれか１つに適用可能であることを除いては、ステップ１２２０と同様である。ステップ１４１２は、ステップ１４１４および１４１６のうちの１つまたは両方を含み得る。ステップ１４２２は、ステップ１４２４および１４２６のうちの１つまたは両方を含み得る。ステップ１４１４および１４２４は、それぞれ、ステップ１２１２および１２２２と同様である。ステップ１４１６は、ステップ１４１６の２Ｄ多項式の次数が考慮中の色に依存し得ることを除いては、ステップ１２１４と同様である。例えば、ステップ１４１６は、第２の色および第３の色に対し、ステップ１２１４にて第１の色に適用されるものよりも低次数の２Ｄ多項式を適用することにより、第２の色および第３の色の各々に属する、第１の色よりも少数の画素値８７０に対処し得る。同じく、ステップ１４２６は、ステップ１４２６の２Ｄ多項式の次数が考慮中の色に依存し得ることを除いては、ステップ１２２４と同様である。例えば、ステップ１４２６は、第２の色および第３の色に対し、ステップ１２２４にて第１の色に適用されたものよりも低次数の２Ｄ多項式を適用することができる。

【0094】

さて、図５、図１２、および図１４を併せて参照する。方法５００は、方法１２００を用いてステップ５３０を行い、方法１４００を用いてステップ５４０を行うことができる。このような実施形態において、方法１４００は、第１の色に対してステップ１４１０および１４２０における演算を繰り返す必要はない。というのも、ステップ５３０が方法１２００を用いて、これらの演算を既に行っているからである。本実施形態において、考慮中の色が第１の色である場合、ステップ１４１０および１４２０は、それぞれステップ１４１８および１４２８を実施し得る。ステップ１４１８において、第１の色に対する短露光値は、ステップ１２１０にて決定された短露光時間第１色値に設定される。同様に、ステップ１４２８において、第１の色に対する長露光値は、ステップ１２２０にて決定された長露光時間第１色値に設定される。

【0095】

さて、図１１、図１２、図１４を併せて参照する。ステップ１１４８および１１５８の各々は、方法１２００および１４００に則って行われ得る。ステップ１１４６および１１５６の各々は、方法１４００に則って行われ得るが、ステップ１４３０における加重平均を、単純な非加重平均（ｕｎｗｅｉｇｈｔｅｄ ａｖｅｒａｇｅ）か、または、動きパラメータを重みとして用いない加重平均かのいずれかで置き換えるという、１つの改変が加えられる。後者の場合、重みは、図１３Ａおよび図１３Ｂに示される適合重みについての集合的考慮から導出することができる。ステップ１１４２および１１５２の各々は、ステップ１４１０に則って行われ得る。さらに、判定１１４４は、方法１２００の少なくとも一部を利用することにより、判定１１４４の差異を決定できる。

【0096】

図１５は、単一の撮影で二重露光時間シングルショットＨＤＲカラーイメージセンサ１２０によって生成された画素値１７０から、動き補償されたＨＤＲカラー画像１８０を生成するための、別の動き補償ＨＤＲ画像生成器１５００を例示している。ＨＤＲ画像生成器１５００は、動き補償ＨＤＲ画像生成器９００の一実施形態であって、方法１２００と、ステップ１４１２および１４２２を含む１４００の一実施形態と、を実施する方法１１００を行うように適応されたものである。

【0097】

ＨＤＲ画像生成器１５００において、マスター９４０は、それぞれ飽和度評価器９５０および差異評価器９６０の実施形態としての、飽和度評価器１５５０および差異評価器１５６０を実施する。飽和度評価器１５５０は、不飽和基準９５２を含んでおり、かつ、判定１１４０、１１５０、および１１５０’を行うように構成されている。差異評価器１５６０は、１つ以上のモデル１５６２と、判定１１４４において使用されて方法１２００の少なくとも一部に従い差異を決定するように構成された、適合重み１５６４群とを含む。適合重み１５６４は、例えば、図１３Ａおよび図１３Ｂの適合重みである。各モデル１５６２は、例えば、２Ｄ多項式である。差異評価器１５６０はまた、差異閾値９６６をも含む。ＨＤＲ画像生成器１５００において実施されるときのマスター９４０は、さらに、判定１１４９および１１４９’を行うための分散評価器９６８を含んでもよい。

【0098】

ＨＤＲ画像生成器１５００は、それぞれ動き解析器８２０および動き補償ＨＤＲデモザイキングモジュール８３０の実施形態としての、動き解析器１５２０および動き補償ＨＤＲデモザイキングモジュール１５３０を含む。動き解析器１５２０は、１つ以上のモデル１５２２と、適合重み１５２４群とを含む。動き解析器１５２０は、モデル１５２２（群）と適合重み１５２４群とを利用することにより、ステップ１２１２、１２１４、１２２２、および１２２４を含む方法１２００の一実施形態を行う。動き補償ＨＤＲデモザイキングモジュール１５３０は、１つ以上のモデル１５３２と、適合重み１５３４群とを含む。動き補償ＨＤＲデモザイキングモジュール１５３０は、モデル１５３２（群）と適合重み１５３４群とを利用することにより、ステップ１４１４、１４１６、１４２４、および１４２６を含む方法１４００の一実施形態を行う。各モデル１５２２および１５３２は、例えば、２Ｄ多項式である。適合重み１５２４および１５３４は、例えば、図１３Ａおよび図１３Ｂの適合重みである。動き解析器１５２０および動き補償ＨＤＲデモザイキングモジュール１５３０は、ステップ１１４８および１１５８を行うように構成される。

【0099】

ＨＤＲ画像生成器１５００は、非動き補償デモザイキングモジュール８３２の一実施形態である、非動き補償デモザイキングモジュール１５４０を含む。非動き補償デモザイキングモジュール１５４０は、１つ以上のモデル１５４２と、適合重み１５４４群とを含む。非動き補償デモザイキングモジュール１５４０は、モデル１５２２（群）と適合重み１５２４群とを利用することにより、ステップ１１４２、１１４６、１１５２、および１１５６を行うように構成される。

【0100】

ある実施形態において、適合重み１５２４、１５３４、１５４４、および１５６４のうち、少なくともいくつかは、全く同じである。本実施形態において、ＨＤＲ画像生成器１５００は、同じ適合重みの複製（ｄｕｐｌｉｃａｔｅ ｃｏｐｉｅｓ）を含む必要はなく、代わりに、そのような適合重みの唯１つのインスタンスを有してもよいものと理解される。同様に、モデル１５２２、１５３２、１５４２、および１５６２のうち、少なくともいくつかは全く同じであり得る。この場合、ＨＤＲ画像生成器１５００は、同じモデルの複製を含む必要はなく、代わりに、そのようなモデルの唯１つのインスタンスを有してもよい。

【0101】

ＨＤＲ画像生成器１５００は、プロセッサ、およびこのプロセッサにより実行されるとき、イメージセンサ１２０からの画素値１７０を処理することにより、動き補償されたＨＤＲ出力値８７４および／または動き補償されていない出力値８７６を生成する、非一時的メモリ中に符号化された機械可読命令、という形態で実現されてもよい。マスター９４０、サンプリング器９４２、データ選択器８１０、動き解析器１５２０、動き補償ＨＤＲデモザイキングモジュール１５３０、および非動き補償デモザイキングモジュール１５４０は、同一のプロセッサを共有してもよい。さらに、マスター９４０と、サンプリング器９４２と、データ選択器８１０と、動き解析器１５２０と、動き補償ＨＤＲデモザイキングモジュール１５３０と、非動き補償デモザイキングモジュール１５４０と、に関連付けられたそのような機械可読命令を含む非一時的メモリが、サードパーティーのプロセッサと協働してイメージセンサ１２０からの画素値１７０を処理することにより、動き補償されたＨＤＲ出力値８７４および／または動き補償されていない出力値８７６を生成するように構成された、スタンドアローンの製品として提供されてもよい。

【0102】

図１６は、二重露光時間シングルショットＨＤＲカラーイメージセンサ１２０から、動き補償されたＨＤＲカラー画像１８０を生成するための、あるシステム１６００を例示している。システム１６００は、コンピュータにより実現されてもよく、方法５００を行うように構成される。システム１６００は、プロセッサ１６１０と、非一時的メモリ１６２０と、インターフェース１６９０とを備える。プロセッサ１６１０およびメモリ１６２０（ならびに、特定の実施形態において、インターフェース１６９０）は協働して、ＨＤＲ画像生成器８００の一実施形態を形成する。システム１６００はさらに、二重露光時間シングルショットＨＤＲカラーイメージセンサ１２０をも備えてもよく、この場合、システム１６００はＨＤＲカメラ８０２の一実施形態である。

【0103】

メモリ１６２０は、機械可読命令１６３０を含む。命令１６３０は、メモリ１６２０の不揮発性部分の中に符号化され得る。命令１６３０は、データ選択命令１６３２と、動き命令（ｍｏｔｉｏｎ ｉｎｓｔｒｕｃｔｉｏｎ）１６３４と、動き補償ＨＤＲデモザイキング命令１６３６とを含む。一実施形態において、メモリ１６２０はさらに、インターフェース１６９０を介して受信されるデータおよび／またはプロセッサ１６１０で実行されるときに命令１６３０によって生成されるデータを格納するように構成された、動的データ記憶域１６８０をも含むことができる。別の実施形態において、システム１６００はメモリ１６２０を備えておらず、代わりに、例えばサードパーティーにより提供された、外部メモリと協働するように構成される。

【0104】

プロセッサ１６１０によって実行されるとき、データ選択命令１６３２は、ローカル領域画素値８７０を取得する。データ選択命令１６３２は、ローカル領域画素値８７０を、インターフェース１６９０を介して、または動的データ記憶域１６８０から取得するように、構成され得る。動的データ記憶域１６８０は、画素値１７０からローカル領域画素値８７０を選択するようにデータ選択命令１６３２を構成し得るようなものとして、イメージセンサ１２０により記録された一フレームの全ての画素値１７０を含むことができる。データ選択命令１６３２とプロセッサ１６１０は協働して、データ選択器８１０の一実施形態を形成する。

【0105】

プロセッサ１６１０によって実行されるとき、動き命令１６３４は、第１の色に対応付けられた、ローカル領域画素値８７０の部分集合を処理することにより、動きパラメータ８７２を決定する。動き命令１６３４は、動きパラメータ８７２を動的データ記憶域１６８０に格納するように、構成され得る。動き命令１６３４とプロセッサ１６１０は協働して、動き解析器８２０の一実施形態を形成する。

【0106】

プロセッサ１６１０によって実行されるとき、動き補償ＨＤＲデモザイキング命令１６３６は、第１の色、第２の色、および第３の色の各々について、（ａ）当該色に対応付けられた、ローカル領域画素値８７０の部分集合と、（ｂ）動きパラメータ８７２とから、動き補償されたＨＤＲ出力値８７４を決定する。動き補償ＨＤＲデモザイキング命令１６３６は、（ａ）動きパラメータ８７２と、ローカル領域画素値８７０の部分集合とを、動的データ記憶域１６８０から取り出し、（ｂ）動き補償されたＨＤＲ出力値８７４を動的データ記憶域１６８０に格納するか、または、動き補償されたＨＤＲ出力値８７４をインターフェース１６９０を介して出力するように、構成され得る。動き補償ＨＤＲデモザイキング命令１６３６とプロセッサ１６１０は協働して、動き補償ＨＤＲデモザイキングモジュール８３０の一実施形態を形成する。

【0107】

ある実施形態において、命令１６３０はさらに、評価命令（ｅｖａｌｕａｔｉｏｎ ｉｎｓｔｒｕｃｔｉｏｎｓ）１６４０と、非動き補償デモザイキング命令１６４２とを含む。プロセッサ１６１０によって実行されるとき、評価命令１６４０は、第１の色、第２の色、および第３の色の各々について、動き補償が適切か否かを判定する。評価命令１６４０とプロセッサ１６１０は協働して、評価器８１２の一実施形態を形成する。もしも、プロセッサ１６１０における評価命令１６４０の実行によって動き補償が適切であると判定されるならば、プロセッサ１６１０は、前述の、動き補償ＨＤＲデモザイキング命令１６３６を実行する。他方で、プロセッサ１６１０における評価命令１６４０の実行によって動き補償は適切でないと判定されるならば、プロセッサ１６１０は代わりに、非動き補償デモザイキング命令１６４２を実行する。プロセッサ１６１０によって実行されるとき、非動き補償デモザイキング命令１６４２は、考慮中の色に対応付けられた、ローカル領域画素値８７０の部分集合を処理することにより、当該画像画素の当該色に対する動き補償されていない出力値８７６を決定する。非動き補償デモザイキング命令１６４２は、（ａ）ローカル領域画素値８７０の部分集合を、動的データ記憶域１６８０から取り出し、（ｂ）動き補償されていない出力値８７６を動的データ記憶域１６８０に格納するか、または、動き補償されていない出力値８７６をインターフェース１６９０を介して出力するように、構成され得る。非動き補償デモザイキング命令１６４２とプロセッサ１６１０は協働して、非動き補償デモザイキングモジュール８３２の一実施形態を形成する。

【0108】

本開示の範囲から逸脱しない範囲で、機械可読命令１６３０は、（ａ）機械可読命令１６３０の格納のための非一時的メモリと（ｂ）機械可読命令１６３０の実行のためのプロセッサと、を有するサードパーティーのコンピュータでの実施のために構成された、スタンドアローンのソフトウェア製品として提供されてもよい。

【0109】

図１７は、二重露光時間シングルショットＨＤＲカラーイメージセンサ１２０から、動き補償されたＨＤＲカラー画像１８０を生成するための、別のシステム１７００を例示している。システム１７００は、コンピュータにより実現されてもよく、方法１２００と、ステップ１４１２および１４２２を含む１４００の一実施形態と、を実施する方法１１００を行うように構成される。システム１７００は、プロセッサ１６１０と、非一時的メモリ１７２０と、インターフェース１６９０とを備える。プロセッサ１６１０およびメモリ１７２０（ならびに、特定の実施形態において、インターフェース１６９０）は協働して、ＨＤＲ画像生成器１５００の一実施形態を形成する。システム１７００はさらに、二重露光時間シングルショットＨＤＲカラーイメージセンサ１２０をも備えてもよく、この場合、システム１７００は、方法１２００と、ステップ１４１２および１４２２を含む１４００の一実施形態と、を実施する方法１１００を行うように構成された、ＨＤＲカメラ８０２の一実施形態である。さらに、システム１７００は、システム１６００の一実施形態である。

【0110】

メモリ１７２０は、機械可読命令１７３０と、パラメータ記憶域（ｐａｒａｍｅｔｅｒ ｓｔｏｒａｇｅ）１７７０とを含む。命令１７３０は、メモリ１７２０の不揮発性部分の中に符号化され得る。メモリ１７２０は、メモリ１６２０の一実施形態である。命令１７３０は、サンプリング命令１７３２、適合化命令（ｆｉｔｔｉｎｇ ｉｎｓｔｒｕｃｔｉｏｎｓ）１７５０、およびマスター命令（ｍａｓｔｅｒ ｉｎｓｔｒｕｃｔｉｏｎｓ）１７４０をさらに含む命令１６３０の一実施形態である。マスター命令１７４０は、評価命令１７４２を含む。評価命令１７４２は、飽和度評価命令１７４４と差異評価命令１７４６とを含む、評価命令１６４０の一実施形態である。評価命令１７４２はさらに、分散評価命令（ｖａｒｉａｎｃｅ ｅｖａｌｕａｔｉｏｎ ｉｎｓｔｒｕｃｔｉｏｎｓ）１７４８をも含んでもよい。パラメータ記憶域１７７０は、１つ以上のモデル１７６２、適合重み９６４群、不飽和基準９５２、および差異閾値９６６を含む。パラメータ記憶域１７７０はさらに、領域サイズ１７７２およびステップサイズ（ｓｔｅｐ ｓｉｚｅ）１７７４をも含んでもよい。

【0111】

プロセッサ１６１０によって実行されるとき、サンプリング命令１７３２は、プロセッサ１６１０がデータ選択命令１６３２を実行するときに使用されるローカル領域画素値８７０の選択を指定する。サンプリング命令１７３２は、領域サイズ１７７２（例えば高さ１０３０と幅１０３２）およびステップサイズ１７７４（例えば中心間の間隔１０４０）を、パラメータ記憶域１７７０から取り出すか、あるいは、領域サイズ１７７２およびステップサイズ１７７４をインターフェース１６９０を介して受信し、その後、領域サイズ１７７２およびステップサイズ１７７４をパラメータ記憶域１７７０または動的データ記憶域１７８０に格納するように、構成され得る。サンプリング命令１７３２とプロセッサ１６１０は協働して、サンプリング器９４２の一実施形態を形成する。

【0112】

プロセッサ１６１０によって実行されるとき、適合化命令１７５０は、（ａ）モデル１７６２および適合重み９６４群をパラメータ記憶域１７７０から取り出し、（ｂ）このモデル１７６２を、適合重み９６４群を用いて特定のローカル領域画素値８７０に適合させることにより、短露光時間画素値１７８２または長露光時間画素値１７８４のいずれか一方を決定する。適合化命令１７５０は、短露光時間画素値１７８２および長露光時間画素値１７８４を動的データ記憶域１７８０に格納するように、構成され得る。

【0113】

システム１７００において、動き補償ＨＤＲデモザイキング命令１６３６および非動き補償デモザイキング命令１６４２は、適合化命令１７５０の実行を命令するように構成される。したがって、システム１７００において実施されるときの動き補償ＨＤＲデモザイキング命令１６３６および非動き補償デモザイキング命令１６４２は、それぞれ、動き補償ＨＤＲデモザイキングモジュール１５３０および非動き補償デモザイキングモジュール１５４０の実施形態を形成する。同様に、システム１７００において、動き命令１６３４は、適合化命令１７５０の実行を命令するように構成される。したがって、システム１７００において実施されるときの動き命令１６３４は、動き解析器１５２０の一実施形態を形成する。

【0114】

プロセッサ１６１０によって実行されるとき、飽和度評価命令１７４４は、パラメータ記憶域１７７０から取り出された不飽和基準９５２をローカル領域画素値８７０が満たしているか否かを、評価する。飽和度評価命令１７４４は、適合化命令１７５０を利用する。飽和度評価命令１７４４は、ローカル領域画素値８７０を動的データ記憶域１７８０から取り出すように、構成され得る。飽和度評価命令１７４４とプロセッサ１６１０は協働して、飽和度評価器１５５０の一実施形態を形成する。

【0115】

プロセッサ１６１０によって実行されるとき、差異評価命令１７４６は、第１の色に対応付けられた長露光時間画素値８７０と短露光時間画素値８７０との差異を、パラメータ記憶域１７７０から取り出された差異閾値９６６と比較する。差異評価命令１７４６は、適合化命令１７５０を利用する。差異評価命令１７４６は、ローカル領域画素値８７０を動的データ記憶域１７８０から取り出すように、構成され得る。差異評価命令１７４６とプロセッサ１６１０は協働して、差異評価器１５６０の一実施形態を形成する。

【0116】

プロセッサ１６１０によって実行されるとき、分散評価命令１７４８は、画素値８７０の分散を評価する。分散評価命令１７４８は、ローカル領域画素値８７０を動的データ記憶域１７８０から取り出すように、構成され得る。分散評価命令１７４８とプロセッサ１６１０は協働して、分散評価器９６８の一実施形態を形成する。

【0117】

プロセッサ１６１０によって実行されるとき、マスター命令１７４０は、プロセッサ１６１０による（ａ）評価命令１７４２の実行と、（ｂ）評価命令１７４２の実行結果に応じて、動き補償ＨＤＲデモザイキング命令１６３６または非動き補償デモザイキング命令１６４２の実行と、を命令する。マスター命令１７４０とプロセッサ１６１０は協働して、ＨＤＲ画像生成器１５００において実施されるマスター９４０の一実施形態を形成する。

【0118】

本開示の範囲から逸脱しない範囲で、機械可読命令１７３０は、例えばパラメータ記憶域１７７０のパラメータとともに、（ａ）機械可読命令１７３０およびオプションとしてパラメータ記憶域１７７０のパラメータを格納するための、非一時的メモリと、（ｂ）機械可読命令１７３０を実行するためのプロセッサと、を有するサードパーティーのコンピュータで実施されるように構成された、スタンドアローンのソフトウェア製品として提供されてもよい。

【0119】

図１８は、ＨＤＲ画像を生成するための短露光カラー画像と長露光カラー画像との相対的な合成重みを規定する、ブレンディング関数の一例ｆにおけるマップ１８００である。ＨＤＲ画像の各画素の画素値Ｖ_{ｏｕｔ，Ｃ}は、
Ｖ_{ｏｕｔ，Ｃ}＝（１－ｆ）Ｖ_Ｃ，Ｌ＋ｆｒＶ_Ｃ，Ｓ （式１４）
として表され得る。ここで、インデックスＣは、第１の色、第２の色、または第３の色をそれぞれ指す値である１、２、および３のうちの１つを取り、Ｖ_Ｃ，ＳおよびＶ_Ｃ，Ｌはそれぞれ、考慮中の画像画素および色に対する、短露光値および長露光値である。ｒは、長露光時間の短露光時間に対する比である。式１４は各色を別々に取り扱っており、結果物であるＨＤＲ画像はゆえに、カラーモザイク（ｃｏｌｏｒ ｍｏｓａｉｃ）の形態を取る。このカラーモザイクをデモザイクすることにより、各画素がフルカラー情報を有する、ＨＤＲカラー画像を生成することが可能である。式１４のブレンディング関数ｆは、少なくとも１色についてのＶ_Ｃ，ＳおよびＶ_Ｃ，Ｌの関数である。例えばブレンディング関数ｆは、Ｖ_１，ＳおよびＶ_１，Ｌに基づき決定されて、その後、空間的に同位置の（ｃｏ－ｌｏｃａｔｅｄ）画素についてのＶ_２，Ｓ、Ｖ_２，Ｌ、Ｖ_３，Ｓ、およびＶ_３，Ｌに適用され得る。あるいは、ブレンディング関数ｆは、各色につき別個に決定される。ブレンディング関数ｆは、図５および式７～１３に関して前述した、動きパラメータｍと同一または同様であり得る。Ｖ_Ｃ，ＳおよびＶ_Ｃ，Ｌは、それぞれβ_Ｃ，Ｓおよびβ_Ｃ，Ｌでもよい。

【0120】

マップ１８００において、ブレンディング関数ｆの値は、スケール１８０２に従い、Ｖ_Ｃ，Ｓ（縦軸）およびＶ_Ｃ，Ｌ（横軸）の関数としてプロットされている。Ｖ_Ｃ，ＬがｒＶ_Ｃ，Ｓに略等しい領域１８１０から離れた箇所では、ブレンディング関数ｆの値は１に近い。ブレンディング関数ｆは、Ｖ_Ｃ，ＬがｒＶ_Ｃ，Ｓに略等しい領域１８１０（マップ１８００の中で暗い帯として見える）においては、ゼロまで沈下（ｄｉｐ）する。

【0121】

図１８にプロットされたブレンディング関数の例ｆは、式１３による動きパラメータｍと同一形態のものである。ブレンディング関数の本例ｆは、したがって超越方程式

【数9】

で定義される。しかし、本開示の範囲から逸脱しない範囲で、ブレンディング関数ｆは、全般に１に近いがＶ_Ｃ，ＬがｒＶ_Ｃ，Ｓに略等しいときにはゼロまで沈下する別の超越関数であってもよい。図１８にプロットされた例において、露光時間比ｒは８に等しく、Ｖ_Ｃ，Ｌ＝８Ｖ_Ｃ，Ｓの周辺領域においてブレンディング関数ｆがゼロまで沈下するようなものとなっている。本開示の範囲から逸脱しない範囲で、露光時間比ｒは、８とは異なってもよい。

【0122】

図１９は、短露光値Ｖ_Ｃ，Ｓの単一値、すなわちＶ_Ｃ，Ｓ＝６０について、長露光時間画素値Ｖ_Ｃ，Ｌに対する曲線１９１０としてプロットされた、図１８のブレンディング関数ｆのプロット１９００である。曲線１９１０は、破線１８９０（Ｖ_Ｃ，Ｓ＝６０によって規定される）に沿って取られた、マップ１８００のラインプロファイル（ｌｉｎｅ ｐｒｏｆｉｌｅ）に相当する。曲線１９１０は、Ｖ_Ｃ，Ｌ＝８Ｖ_Ｃ，Ｓ＝４８０においてピークに達するディップ１９１２を除いては、全般に１に近い。Ｖ_Ｃ，Ｌ＝８Ｖ_Ｃ，Ｓの周辺領域において、ディップ１９１２は、式１５のｍａｘ関数により、ゼロにクランプ（ｃｌａｍｐｅｄ）される。

【0123】

ＨＤＲ画像の各出力画素値にそれぞれ対応付けられた、画素値Ｖ_Ｃ，ＳとＶ_Ｃ，Ｌとの各組に対し、例えばニュートン法を用いて、式１４を数値的に解くことにより、ブレンディング関数ｆを決定することが可能である。しかし、必要とされる時間および／または演算能力に起因して、そのようなアプローチの魅力は低減される。特にこれらの演算が、携帯型デバイス（例えばセルラーフォン）において映像ストリームの各フレームにつき行われるならば、そうである。リアルタイムで式１４を解く代わりに、マップ１８００は、予め算出されて、二次元ルックアップテーブルとして符号化されてもよい。

【0124】

図２０は、一次元（１Ｄ）ルックアップテーブルを用いて超越ブレンディング関数（ｔｒａｎｓｃｅｎｄｅｎｔａｌ ｂｌｅｎｄｉｎｇ ｆｕｎｃｔｉｏｎ）の値を決定する、ある方法２０００を例示している。方法２０００を用いることにより、短露光値Ｖ_Ｃ，Ｓと長露光時間画素値Ｖ_Ｃ，Ｌとの任意の値のペアに対し、図１８および図１９に関して前述したブレンディング関数ｆの値を決定できる。方法２０００は、方法５００のステップ５３０において実施されてもよい。方法２０００は、Ｖ_Ｃ，Ｓの単一値Ｖ^０ _Ｃ，Ｓについてのｆ（Ｖ_Ｃ，Ｌ）を符号化する一次元ルックアップテーブルを利用する。

【0125】

図１９の曲線１９１０は、方法２０００により用いられる１Ｄルックアップテーブル中に符号化された値の、一例である。より一般には、１Ｄルックアップテーブルは、ピークを有する関数を符号化する。以下の記載において、ピークは負のピーク（すなわちディップ）であるものと考えられるが、ピークは代わりに正のピークであってもよい。

【0126】

１Ｄルックアップテーブルにおける検索の前に、Ｖ_Ｃ，Ｓの実際の値がどのようにＶ^０ _Ｃ，Ｓと異なるかに応じてＶ_Ｃ，Ｌの値を操作することにより、方法２０００によって、Ｖ^０ _Ｃ，Ｓについて妥当な１Ｄルックアップテーブルを用いて、Ｖ^０ _Ｃ，Ｓとは異なるＶ_Ｃ，Ｓの値についてのブレンディング関数の値を読み出すことが可能である。方法２０００は、検索ステップ（ｌｏｏｋｕｐ ｓｔｅｐ）２０３０を行う前にＶ_Ｃ，Ｌの値を操作するための、移動ステップ（ｓｈｉｆｔｉｎｇ ｓｔｅｐ）２０１０と、スケーリングステップ（ｓｃａｌｉｎｇ ｓｔｅｐ）２０２０とを含む。ステップ２０１０で、Ｖ_Ｃ，Ｌの値を移動させることにより、移動値Ｖ´_Ｃ，Ｌ＝Ｖ_Ｃ，Ｌ－ｒ（Ｖ_Ｃ，Ｓ－Ｖ^０ _Ｃ，Ｓ）が決定される。

【0127】

特定の実施シナリオにおいて、方法２０００は、ブレンディング関数ｆの値を決定するうえで、２Ｄルックアップテーブルを用いる方法よりも著しく高速であり得る。カメラ付きスマートフォンなどの、制限されたメモリリソースを有する携帯型デバイスにおいて、方法２０００により使用される１Ｄルックアップテーブルは、高速ローカルメモリキャッシュに格納されることにより、１Ｄルックアップテーブルからの読み出しが高速であるようなものにされ得る。方法２０００の先行操作であるステップ２０１０および２０２０は、乗法および加法／減法演算を用いて行われることが可能であって、これらは演算的に安くつき、ゆえに比較的高速である。ちなみに、２Ｄルックアップテーブルならば、数メガバイトの格納スペースを必要とするであろう。これは、典型的な携帯型カメラデバイスの高速ローカルメモリキャッシュの容量を超えるものである。このようなデバイスにおいて、２Ｄルックアップテーブルはゆえに、より低速なメモリに格納される必要があり、読み出しプロセスは、高速ローカルメモリキャッシュに格納された１Ｄルックアップテーブルよりも著しく低速なものになるだろう。

【0128】

図２１は、方法２０００のステップ２０１０における画素値移動の一例を示す、プロット２１００である。図２１において、図１９の曲線１９１０が、曲線２１２０および２１３０とともにプロットされている。曲線１９１０は、Ｖ^０ _Ｃ，Ｓ＝６０におけるｆ（Ｖ_Ｃ，Ｌ）を規定している。曲線２１２０は、Ｖ_Ｃ，Ｓ＝２０におけるｆ（Ｖ_Ｃ，Ｌ）を規定している。曲線２１２０は、破線１８９２に沿って取られた、マップ１８００のラインプロファイルに相当する。曲線２１２０は、Ｖ_Ｃ，Ｌ≒８×２０＝１６０の箇所にディップ２１２２を有する。曲線２１３０は、Ｖ_Ｃ，Ｓ＝１００におけるｆ（Ｖ_Ｃ，Ｌ）を規定している。曲線２１３０は、破線１８９４に沿って取られた、マップ１８００のラインプロファイルに相当する。曲線２１３０は、

【数10】

の箇所に、ディップ２１３２を有する。

【0129】

さて、一例として、図２０および図２１を組み合わせて参照する。実際値Ｖ_Ｃ，Ｓ＝２０である場合、ステップ２０１０で、移動値Ｖ´_Ｃ，Ｌ＝Ｖ_Ｃ，Ｌ－ｒ（Ｖ_Ｃ，Ｓ－Ｖ^０ _Ｃ，Ｓ）＝Ｖ_Ｃ，Ｌ－８（２０－６０）＝Ｖ_Ｃ，Ｌ＋３２０が算出される。例えば、Ｖ_Ｃ，Ｌの実際値が１６０ならば、曲線２１２０により、ブレンディング関数ｆの値はゼロであるべきことが示される。しかし、１Ｄルックアップテーブルは、曲線２１２０ではなく、曲線１９１０のデータを含んでいる。ステップ２０１０は、Ｖ_Ｃ，Ｌの実際値（すなわち１６０）をＶ´_Ｃ，Ｌ＝１６０＋３２０＝４８０（ブレンディング関数ｆが実際にゼロとなる、曲線１９１０のディップ１９１２に一致）へ移動することにより、本問題を部分的に補正する。矢印２１２４により表されるこの移動において、ディップ２１２２とディップ１９１２とのずれ（ｏｆｆｓｅｔ）が補償される。ある問題が残っている。すなわち、ディップ２１２２がディップ１９１２よりも狭いということである。（ディップ２１２２、１９１２、および２１３２の幅に示されるように、ディップの幅は、Ｖ_Ｃ，Ｓの値とともに増加する。）ゆえに、ディップ２１２２の勾配上におけるＶ_Ｃ，Ｌの実際値について、さらなる補正によってブレンディング関数ｆの値を正確に決定することが、必要とされる。

【0130】

ステップ２０２０はさらに、Ｖ^０ _Ｃ，Ｓと、Ｖ_Ｃ，Ｓの実際値との比により、Ｖ´_Ｃ，Ｌをスケーリングする。これにより、ステップ２０２０で、少なくとも近似的に、Ｖ_Ｃ，Ｓの値とともに増加するディップ幅の問題が補正される。ステップ２０２０において、スケーリング値

【数11】

が算出される。ここでＶ^０ _Ｃ，Ｌは、ｆ（Ｖ_Ｃ，Ｌ，Ｖ^０ _Ｃ，Ｓ）のディップの中心位置である。Ｖ^０ _Ｃ，Ｓ＝６０の例（曲線１９１０）において、中心位置Ｖ^０ _Ｃ，Ｌ＝４８０である。Ｖ^０ _Ｃ，Ｓ＝６０かつＶ_Ｃ，Ｓ＝２０の例において、ステップ２０２０にて行われるスケーリングは、係数

【数12】

によるディップ幅のスケーリングに相当する。ステップ２０２０において行われるスケーリングは優れた近似であり、ディップ幅のＶ_Ｃ，Ｓに対する依存性を少なくとも殆ど完璧に補正することが、シミュレーションによって示されている。

【0131】

特定の実施形態において、ステップ２０２０は、１Ｄスケーリング係数ルックアップテーブルから、スケーリング係数√（Ｖ^０ _Ｃ，Ｓ／Ｖ_Ｃ，Ｓ）を読み出すステップ２０２２を含む。ここで、１Ｄスケーリング係数ルックアップテーブルの各エントリは、Ｖ_Ｃ，Ｓのそれぞれの値に対するスケーリング係数√（Ｖ^０ _Ｃ，Ｓ／Ｖ_Ｃ，Ｓ）を列挙している。スケーリング係数√（Ｖ^０ _Ｃ，Ｓ／Ｖ_Ｃ，Ｓ）を１Ｄスケーリング係数ルックアップテーブルから読み出すことは、スケーリング係数を算出することよりも高速であり得る。カメラ付きスマートフォンなどの、制限されたメモリリソースを有する携帯型デバイスにおいて、ステップ２０２２にて使用される１Ｄルックアップテーブルは、高速ローカルメモリキャッシュに格納されることができ、ステップ２０２２はゆえに、ステップ２０３０の１Ｄルックアップテーブルを高速ローカルメモリキャッシュに符号化する方法２０００の態様に関して前述したものと同一の、高速読み出しの恩恵を享受し得る。本開示の範囲から逸脱しない範囲で、スケーリング係数は√（Ｖ^０ _Ｃ，Ｓ／Ｖ_Ｃ，Ｓ）よりも複雑なＶ_Ｃ，Ｓの関数であってもよく、この場合、１Ｄルックアップテーブルにおけるスケーリング関数の符号化は、演算効率の観点から、さらにいっそう有利であると言える。

【0132】

ステップ２０１０および２０２０におけるＶ_Ｃ，Ｌの移動およびスケーリングの後で、ステップ２０３０で、１ＤルックアップテーブルのインデックスＶ"_Ｃ，Ｌにおけるブレンディング関数ｆの値が読み出される。例えば、Ｖ_Ｃ，Ｓ＝２０かつＶ_Ｃ，Ｌ＝１８０（図２１における曲線２１２０の右枝勾配上の位置２１２６に対応）かつＶ^０ _Ｃ，Ｓ＝６０である場合、ステップ２０３０は、インデックス

【数13】

における１Ｄルックアップテーブルのエントリを読み出す。本インデックス位置において、ステップ２０３０は、図２１中の位置２１２８で表される曲線１９１０の値を読み出すが、これは、曲線２１２０上の位置２１２６によって正しい値であると示されている値にマッチする。

【0133】

本開示の範囲から逸脱しない範囲で、方法２０００は、Ｖ_Ｃ，ＬとＶ_Ｃ，Ｓの役割を入れ替えて行われてもよく、代わりに、Ｖ_Ｃ，Ｌの単一値についてのｆ（Ｖ_Ｃ，Ｓ）を列挙する１Ｄルックアップテーブルを利用し得る。

【0134】

方法２０００は、方法５００のステップ５３０において実施されて、動きパラメータｍ（例えば動きパラメータ８７２）を決定することができる。方法２００は、システム１６００の動き命令１６３４の中に符号化され得る（例えば、動き命令１６３４の一部として符号化または動的データ記憶域１６８０に格納された、１Ｄルックアップテーブルとともに）。

【0135】

図２２は、三重露光時間（ｔｒｉｐｌｅ－ｅｘｐｏｓｕｒｅ－ｔｉｍｅ）ＨＤＲカラー画像２２９０を生成するための、あるＨＤＲカメラ２２０２を例示している。ＨＤＲカメラ２２０２は、画像キャプチャデバイス１４０において実現されてもよい。ＨＤＲカメラ２２０２は、三重露光時間シングルショットＨＤＲカラーイメージセンサ２２３０と、三重露光時間ＨＤＲ画像生成器２２００とを備える。イメージセンサ２２３０は、その感光性画素のいくつかを短露光時間Ｔ_Ｓで、その感光性画素の別のいくつかを中露光時間Ｔ_Ｍで、かつ、その感光性画素のさらにまた別のいくつかを長露光時間Ｔ_Ｌで、露出するように構成される。ここで、Ｔ_Ｓ＜Ｔ_Ｍ＜Ｔ_Ｌである。ゆえに、イメージセンサ２２３０によりキャプチャされた各画像フレームは、短露光時間画像データと、中露光時間画像データと、長露光時間画像データとを含む。三重露光時間ＨＤＲ画像生成器２２００において、短露光時間画像データと、中露光時間画像データと、長露光時間画像データとを合成することにより、三重露光時間ＨＤＲカラー画像２２９０が形成される。三重露光時間ＨＤＲ画像生成器２２００は、この画像データ合成を２段階の処理において行う。まず、二重露光時間ＨＤＲ画像生成器２２１０によって、（ａ）短露光時間画素からの短露光時間画素値と中露光時間画素からの中露光時間画素値との合成より、二重露光時間ＨＤＲ画像２２８０ＳＭが生成され、かつ、（ｂ）中露光時間画素からの中露光時間画素値と長露光時間画素からの長露光時間画素値との合成より、二重露光時間ＨＤＲ画像２２８０ＭＬが生成される。次に、二重から三重へのＨＤＲ画像生成器２２２０（ｄｕａｌ－ｔｏ－ｔｒｉｐｌｅ ＨＤＲ ｉｍａｇｅ ｇｅｎｅｒａｔｏｒ）によって、二重露光時間ＨＤＲ画像２２８０ＳＭおよび２２８０ＭＬから、三重露光時間ＨＤＲカラー画像２２９０が生成される。

【0136】

ＨＤＲカメラ１１０と比較すると、ＨＤＲカメラ２２０２において、２つのみの異なる露光時間ではなくて、３つの異なる露光時間を用いることにより、ダイナミックレンジのさらなる拡張が可能にされる。あるいは、ＨＤＲカメラ２２０２は、イメージセンサ１２０よりも小さいビット深度を特徴とするイメージセンサ２２３０の一実施形態を用いつつ、ＨＤＲカメラ１１０と同様のダイナミックレンジを達成するように構成されてもよい。

【0137】

短、中、および長露光時間の異なる持続時間に起因して、短露光時間画像データ、中露光時間画像データ、および長露光時間画像データは、当該シーンが動きに晒されている場合には、異なるシーン構成を表すことがある。三重露光時間ＨＤＲ画像生成器２２００は、シーン中の動きを補償することにより、モーションアーティファクトを解消または少なくとも低減するように構成され得る。イメージセンサ２２３０のビット深度は、イメージセンサ１２０のビット深度と同じでもよいし、より小さくてもよいし、より大きくてもよい。

【0138】

図２３は、三重露光時間シングルショットＨＤＲカラーイメージセンサ２２３０を、さらに詳細に示している。イメージセンサ２２３０は、画素アレイ２３１０を備える。画素アレイ２３１０は、同一の画素グループ２３２０によるアレイを含む。各画素グループ２３２０は、短露光時間画素２３２２Ｓと、中露光時間画素２３２２Ｍと、長露光時間画素２３２２Ｌとを含む。短露光時間画素２３２２Ｓは、第１の色、第２の色、および第３の色の光に対して感度をそれぞれ有する、画素２３３２Ｓ、２３３４Ｓ、および２３３６Ｓを含む。第１の色、第２の色、および第３の色は、それぞれ緑、赤、および青であってもよい。中露光時間画素２３２２Ｍは、第１の色、第２の色、および第３の色の光に対して感度をそれぞれ有する、画素２３３２Ｍ、２３３４Ｍ、および２３３６Ｍを含む。長露光時間画素２３２２Ｌは、第１の色、第２の色、および第３の色の光に対して感度をそれぞれ有する、画素２３３２Ｌ、２３３４Ｌ、および２３３６Ｌを含む。

【0139】

各画素グループ２３２０は、本開示の範囲から逸脱しない範囲で、センサ画素２３３２Ｓ、２３３４Ｓ、２３３６Ｓ、２３３２Ｍ、２３３４Ｍ、２３３６Ｍ、２３３２Ｌ、２３３４Ｌ、および２３３６Ｌのうちの１つ以上についての、１つより多いインスタンスを含み得る。例えば、各画素グループ２３２０は、第１の色に感度を有する、複数の画素２３３２Ｓと複数の画素２３３２Ｍと複数の画素２３２Ｌとを含んでもよい。一態様において、第１の色は緑である。

【0140】

図２２を再び参照する。三重露光時間ＨＤＲ画像生成器２２００は、各画素グループ２３２０のセンサ画素２３３２Ｓ、２３３４Ｓ、２３３６Ｓ、２３３２Ｍ、２３３４Ｍ、２３３６Ｍ、２３３２Ｌ、２３３４Ｌ、および２３３６Ｌによって生成された、画素値２２７０を処理することにより、三重露光時間ＨＤＲカラー画像２２９０を生成する。

【0141】

三重露光時間ＨＤＲ画像生成器２２００は、プロセッサ、およびこのプロセッサにより実行されるとき、イメージセンサ２２３０からの画素値２２７０を処理することにより、三重露光時間ＨＤＲカラー画像２２００またはその一部を生成する、非一時的メモリ中に符号化された機械可読命令、という形態で実現されてもよい。三重露光時間ＨＤＲ画像生成器２２００のいくつかの特定の実施形態は、非一時的メモリ中に符号化された機械可読命令として提供される。これらの機械可読命令は、サードパーティーによって提供されるプロセッサと協働してイメージセンサ２２３０からの画素値２２７０を処理することにより、三重露光時間ＨＤＲカラー画像２２９０またはその一部を生成するように、構成される。

【0142】

本開示の範囲から逸脱しない範囲で、三重露光時間ＨＤＲ画像生成器２２００は、サードパーティーにより提供される三重露光時間シングルショットＨＤＲカラーイメージセンサ２２３０から受け取った画素値２２７０をもとに、三重露光時間ＨＤＲカラー画像２２９０を生成するように構成された、スタンドアローンの製品として提供されてもよい。

【0143】

図２４は、複数の短露光時間画素と、複数の中露光時間画素と、複数の長露光時間画素と、を有する三重露光時間シングルショットＨＤＲカラーイメージセンサから、ＨＤＲカラー画像を生成するための、ある方法２４００を例示している。方法２４００は、例えば、三重露光時間ＨＤＲ画像生成器２２００により行われる。方法２４００は、ステップ２４１０、２４２０、および２４３０を含む。

【0144】

ステップ２４１０で、（ａ）短露光時間画素からの短露光時間画素値と（ｂ）中露光時間画素からの中露光時間画素値との合成より、第１の二重露光時間ＨＤＲ画像が生成される。ステップ２４１０の一例において、二重露光時間画像ＨＤＲ生成器２２１０は、（ａ）短露光時間画素２３２２Ｓからの画素値２２７０と、（ｂ）中露光時間画素２３２２Ｍからの画素値２２７０との合成より、二重露光時間ＨＤＲ画像２２８０ＳＭを生成する。

【0145】

ステップ２４２０で、（ａ）中露光時間画素からの中露光時間画素値と、（ｂ）長露光時間画素からの長露光時間画素値との合成より、第２の二重露光時間ＨＤＲ画像が生成される。ステップ２４２０の一例において、二重露光時間ＨＤＲ画像生成器２２１０は、（ａ）中露光時間画素２３２２Ｍからの画素値２２７０と、（ｂ）長露光時間画素２３２２Ｌからの画素値２２７０との合成より、二重露光時間ＨＤＲ画像２２８０ＭＬを生成する。

【0146】

ステップ２４３０は、ステップ２４１０および２４２０にてそれぞれ生成された、第１の二重露光時間ＨＤＲ画像および第２の二重露光時間ＨＤＲ画像から、三重露光時間ＨＤＲカラー画像を生成する。ステップ２４３０の一例において、二重から三重へのＨＤＲ画像生成器２２２０は、二重露光時間ＨＤＲ画像生成器２２１０から受け取った二重露光時間ＨＤＲ画像２２８０ＳＭおよび２２８０ＭＬから、三重露光時間ＨＤＲカラー画像２２９０を生成する。

【0147】

一実施形態において、ステップ２４１０および２４２０にて形成された二重露光時間画像は、フルカラー画像である。別の実施形態において、ステップ２４１０および２４２０にて形成された二重露光時間画像は、カラーモザイク画像である。ここで、「フルカラー画像」とは、各画素がフルカラー情報を有する画像を指し、「カラーモザイク画像」とは、異なるタイプの色別画素（ｃｏｌｏｒ－ｓｐｅｃｉｆｉｃ ｐｉｘｅｌｓ）（例えば、赤、緑、および青）によるモザイクで形成された画像を指す。

【0148】

フルカラー実施形態において、ステップ２４１０および２４２０は、それぞれステップ２４１２および２４２２を実施し、ステップ２４３０はステップ２４３２を実施する。ステップ２４１２および２４２２で、第１および第２の二重露光時間ＨＤＲ画像は、それぞれ第１および第２のフルカラー画像として生成される。ステップ２４１２および２４２２の各々は、デモザイキングのステップを含む。ステップ２４１２および２４２２の一例において、二重露光時間ＨＤＲ画像生成器２２１０は、二重露光時間ＨＤＲ画像２２８０ＳＭおよび２２８０ＭＬを、フルカラー画像として生成する。本例において、二重露光時間ＨＤＲ画像生成器２２１０は、二重露光時間ＨＤＲ画像２２８０ＳＭおよび２２８０ＭＬの各々を、方法５００と同様の（すなわち、デモザイキングがＨＤＲ合成に統合されている）方法によって生成してもよい。あるいは、二重露光時間ＨＤＲ画像生成器２２１０は、まず、二重露光時間ＨＤＲ画像２２８０ＳＭおよび２２８０ＭＬの各々をカラーモザイクＨＤＲ画像として生成し、その後に、引き続きカラーモザイクＨＤＲ画像をデモザイクすることにより、ＨＤＲフルカラー画像を生成してもよい。ステップ２４３２で、三重露光時間ＨＤＲカラー画像は、第１および第２のカラー画像から生成される。ステップ２４３２の一例において、二重から三重へのＨＤＲ画像生成器２２２０は、二重露光時間ＨＤＲ画像生成器２２１０から受け取った二重露光時間ＨＤＲ画像２２８０ＳＭおよび２２８０ＭＬのフルカラー実施形態から、三重露光時間ＨＤＲカラー画像２２９０を生成する。

【0149】

カラーモザイク実施形態において、ステップ２４１０および２４２０は、それぞれステップ２４１４および２４２４を実施し、ステップ２４３０は、逐次的なステップ２４３４および２４３６を実施する。ステップ２４１４および２４２４で、第１および第２の二重露光時間ＨＤＲ画像は、それぞれ第１および第２のカラーモザイク画像として生成される。ステップ２４１４および２４２４の一例において、二重露光時間ＨＤＲ画像生成器２２１０は、二重露光時間ＨＤＲ画像２２８０ＳＭおよび２２８０ＭＬを、カラーモザイク画像として生成する。例えば、二重露光時間ＨＤＲ画像生成器２２１０は、（ａ）画素２３３２Ｓおよび２３３２Ｍからの画素値２２７０を合成することにより、１組の、二重露光時間ＨＤＲ画像２２８０ＳＭの第１の色画素を生成し、（ｂ）画素２３３２Ｍおよび２３３２Ｌからの画素値２２７０を合成することにより、１組の、二重露光時間ＨＤＲ画像２２８０ＭＬの第１の色画素を生成する。ステップ２４３４で、ステップ２４１４および２４２４で生成された第１および第２のカラーモザイク画像から、カラーモザイク画像である、中間三重露光時間ＨＤＲ画像（ｉｎｔｅｒｍｅｄｉａｔｅ ｔｒｉｐｌｅ－ｅｘｐｏｓｕｒｅ－ｔｉｍｅ ＨＤＲ ｉｍａｇｅ）が生成される。次に、ステップ２４３６で、この中間三重露光時間ＨＤＲ画像をデモザイクすることにより、ＨＤＲフルカラー画像が生成される。ステップ２４３４および２４３６の一例において、二重から三重へのＨＤＲ画像生成器２２２０は、二重露光時間ＨＤＲ画像２２８０ＳＭおよび２２８０ＭＬのカラーモザイク実施形態を合成（ステップ２４３４にて）することにより、カラーモザイク三重露光時間ＨＤＲ画像を形成し、その後、このカラーモザイク三重露光時間ＨＤＲ画像をデモザイク（ステップ２４３６にて）することにより、三重露光時間ＨＤＲカラー画像２２９０を生成する。

【0150】

図２５は、第１の二重露光時間ＨＤＲ画像を三重露光時間ＨＤＲカラーイメージセンサから生成するための、ある方法２５００を例示している。方法２５００は、方法２４００のステップ２４１０の一実施形態であり、二重露光時間ＨＤＲ画像生成器２２１０によって行われ得る。方法２５００は、方法２４００のフルカラー実施形態および方法２４００のカラーモザイク実施形態のうち、いずれか一方により実施されることができる。

【0151】

方法２５００は、第１の合成に対する短露光時間画素値と中露光時間画素値との相対寄与率を、ローカルに重み付けするステップ２５２０を含む。ステップ２５２０で、相対寄与率は、（ａ）短露光時間画素値と中露光時間画素値との差異（例えば、図５に関して前述したΔ_ａ、Δ_ｎ、およびΔ_ｒのいずれか）と、（ｂ）中露光時間画素値の飽和度とに、少なくとも部分的に基づいて重み付けされる。ステップ２５２０の一例において、二重露光時間ＨＤＲ画像生成器２２１０は、二重露光時間ＨＤＲ画像２２８０ＳＭに対する短露光時間画素２３２２Ｓの画素値２２７０の寄与と中露光時間画素２３２２Ｍの画素値２２７０の寄与とを、（ａ）短露光時間画素２３２２Ｓと中露光時間画素２３２２Ｍとの差異と、（ｂ）中露光時間画素２３２２Ｍの飽和度と、に少なくとも部分に基づき、ローカルに重み付けする。

【0152】

ステップ２５２０は、各色について、第１の二重露光時間ＨＤＲ画像における各画素の画素値を、対応する短露光時間画素値および対応する中露光時間画素値の線形結合として算出する、ステップ２５２２を含み得る。ステップ２５２２において、相対的な合成重みは、短露光時間画素値と中露光時間画素値とに依存するブレンディング関数によって規定される。方法２４００のカラーモザイク実施形態に属するステップ２５２２の一例において、二重露光時間ＨＤＲ画像生成器２２１０は、二重露光時間ＨＤＲ画像２２８０ＳＭの各画素の画素値を、式１４によって算出する。方法２４００のフルカラー実施形態に属する、ステップ２５２２の別の例において、二重露光時間ＨＤＲ画像生成器２２１０は、二重露光時間ＨＤＲ画像２２８０ＳＭの各画素の画素値を、方法５００によって算出する。

【0153】

ステップ２５２０は、ステップ２５２４および２５２６を含み得る。ステップ２５２４で、中露光時間画素値は、ある不飽和基準と比較される。ステップ２５２４の一例において、二重露光時間ＨＤＲ画像生成器２２１０は、中露光時間画素２３２２Ｍを不飽和基準９５２と比較する。ステップ２５２６は、ステップ２５２４にて行われた比較を用いることにより、中露光時間画素値の１つ以上が不飽和基準を満たしていないことを特徴とするローカル領域において、ステップ２５２０が短露光時間画素値のみから第１の二重露光時間ＨＤＲ画像を生成することを、確実にする。ステップ２５２６の一例において、二重露光時間ＨＤＲ画像生成器２２１０は、いずれのローカル領域において中露光時間画素２３２２Ｍが不飽和基準９５２を満たしており、かつ、いずれのローカル領域において中露光時間画素２３２２Ｍが不飽和基準９５２を満たしていないのか、についての情報を使用する。ステップ２５２６において、第１の二重露光時間ＨＤＲ画像の画素値の演算に対し、この情報が課せられる。すなわち、中露光時間画素２３２２Ｍが不飽和基準９５２を満たしていない領域に対し、ステップ２５２６は、二重露光時間ＨＤＲ画像生成器２２１０が短露光時間画素２３２２Ｓの画素値２２７０のみから二重露光時間ＨＤＲ画像２２８０ＳＭを生成することを、確実にする。

【0154】

方法２５００は、ステップ２５２０に先行するステップ２５１０を含んでいてもよい。ステップ２５１０で、ステップ２５２０におけるＨＤＲ合成の前に、短露光時間画素値と中露光時間画素値は、ノイズ除去（ｄｅｎｏｉｓｅｓ）される。ステップ２５１０は、短露光時間画素値に対し、中露光時間画素値に対するよりも積極的にノイズ除去を適用し得る。なぜならば、ステップ２５２０においてこれらの画素値を合成する際に、短露光時間画素値は、中露光時間画素値に比べ、スケールアップされるからである。それゆえに、短露光時間画素値における任意の残留ノイズは、中露光時間画素値における任意の残留ノイズよりも、ステップ２５２０の正確度に大きな影響を及ぼすものと見込まれる。ステップ２５２０の一例において、二重露光時間ＨＤＲ画像生成器２２１０は、短露光時間画素２３２２Ｓおよび中露光時間画素２３２２Ｍの画素値２２７０をノイズ除去する。ステップ２５２０において、当該技術分野で知られる１つ以上のノイズ除去方法を使用できる。

【0155】

方法２５００には、ステップ２４１０ではなく、方法２４００のステップ２４２０の一実施形態を形成するカウンターパート（ｃｏｕｎｔｅｒｐａｒｔ）が存在する。このカウンターパートの方法は、短露光時間画素値と中露光時間画素値との代わりに、それぞれ中露光時間画素値と長露光時間画素値とを処理することにより、第１の二重露光時間ＨＤＲ画像の代わりに第２の二重露光時間ＨＤＲ画像を生成することを除いては、方法２５００と同様である。特定の実施形態において、さらにもう１つの差が該当する。すなわち、カウンターパートの方法は、中露光時間画素値が不飽和基準を満たしていないことを特徴とするローカル領域において、第２の二重露光時間ＨＤＲ画像の画素値の演算をスキップしてもよい。

【0156】

図２６は、２つの二重露光時間ＨＤＲ画像から三重露光時間ＨＤＲカラー画像を生成するための、ある差異ベースの方法２６００を例示している。方法２６００は、方法２４００のステップ２４３０の一実施形態であり、方法２４００のフルカラー実施形態およびカラーモザイク実施形態のうち、いずれか一方において実施されることが可能である。方法２６００は、二重から三重へのＨＤＲ画像生成器２２２０によって行われ得る。

【0157】

方法２６００は、三重露光時間ＨＤＲカラー画像に対する第１および第２の二重露光時間ＨＤＲ画像の相対寄与率を、ローカルに重み付けするステップ２６１０を含む。ステップ２６１０で、これらの相対寄与率は、少なくとも（ａ）短露光時間画素値と中露光時間画素値との差異（以後「短中差異」と呼ぶ）および／または（ｂ）中露光時間画素値と長露光時間画素値との差異（以後「中長差異」と呼ぶ）に、少なくとも部分的に基づいて重み付けされる。例えば、もしも短中差異および中長差異が両方ともに、あるローカル領域において有意ならば、これは、当該ローカル領域が動きに影響されていることを示していると言え、ステップ２６１０で、第１の二重露光時間ＨＤＲ画像に対し、より大きな重みが割り当てられてよい。もしも、あるローカル領域において、中長差異が有意であって、短中差異を超えるならば、これもまた動きを示していると言え、ステップ２６１０で、第１の二重露光時間ＨＤＲ画像に対し、より大きな重みが割り当てられてよい。逆に、短中差異が中長差異を著しく超えるならば、これは、第１の二重露光時間ＨＤＲ画像における過剰なノイズの結果であると言え、ステップ２６１０で、第２の二重露光時間ＨＤＲ画像に対し、より大きな重みが割り当てられてよい。ステップ２６１０の一例において、二重から三重へのＨＤＲ画像生成器２２２０は、三重露光時間ＨＤＲカラー画像２２９０に対する二重露光時間ＨＤＲ画像２２８０ＳＭおよび２２８０ＭＬの相対寄与率を、（ａ）方法２５００のステップ２５２０にて決定された短露光時間画素２３２２Ｓと中露光時間画素２３２２Ｍとの差異、および／または（ｂ）第２の二重露光時間ＨＤＲ画像の生成に関するステップ２５２０のカウンターパートにおいて決定された中露光時間画素２３２２Ｍと長露光時間画素２３２２Ｌとの差異に、少なくとも部分的に基づいて、ローカルに重み付けする。

【0158】

ステップ２６１０は、ステップ２６１２を含み得る。ステップ２６１２で、ステップ２６１０に対し、１つ以上の長露光時間画素値が不飽和基準を満たしていないことを特徴とするローカル領域において、三重露光時間ＨＤＲ画像を第１の二重露光時間ＨＤＲ画像のみから生成することが課される。ステップ２６１２の一例において、二重から三重へのＨＤＲ画像生成器２２２０は、長露光時間画素２３２２Ｌが不飽和基準（例えば不飽和基準９５２）を満たしていないことを特徴とするローカル領域において、対応する画素値が二重露光時間ＨＤＲ画像２２８０ＳＭのみに基づいているような、三重露光時間ＨＤＲカラー画像を生成する。

【0159】

図２７は、２つの二重露光時間ＨＤＲ画像から三重露光時間ＨＤＲカラー画像を生成するための、ある融合ベースの（ｆｕｓｉｏｎ－ｂａｓｅｄ）方法２７００を例示している。方法２７００は、方法２４００のステップ２４３０の一実施形態である。方法２７００は、方法２６００の代替法であり、二重から三重へのＨＤＲ画像生成器２２２０によって行われ得る。方法２６００は、後方に目を向け、第１および第２の二重露光時間画像（方法２４００のステップ２４１０および２４２０において生成された）を、方法２６００に対するこれらの入力画像が生成される元となったデータについての情報（ｋｎｏｗｌｅｄｇｅ）に少なくとも部分的に基づき、合成する。これに対し、方法２７００は、前方に目を向け、方法２７００によって生成される出力画像の所望の品質の最適化に従い、第１および第２の二重露光時間画像をを合成する。

【0160】

方法２７００は、三重露光時間ＨＤＲカラー画像の１つ以上の品質尺度（ｑｕａｌｉｔｙ ｍｅａｓｕｒｅｓ）のローカルな最適化に従い２つの二重露光時間ＨＤＲ画像を融合する、ステップ２７１０を含む。ゆえにステップ２７１０において、第１および第２の二重露光時間画像に対し、位置感度の（ｐｏｓｉｔｉｏｎ－ｓｅｎｓｉｔｉｖｅ）合成重みを適用することにより、位置感度を有するやり方で、三重露光時間ＨＤＲカラー画像の１つ以上の品質尺度が最適化される。ステップ２７１０の一例において、二重から三重へのＨＤＲ画像生成器２２２０は、三重露光時間ＨＤＲカラー画像２２９０の１つ以上の品質尺度のローカルな最適化に則って、二重露光時間ＨＤＲ画像２２８０ＳＭおよび２２８０ＭＬを融合することにより、三重露光時間ＨＤＲカラー画像２２９０を生成する。

【0161】

ある実施形態において、ステップ２７１０で、三重露光時間ＨＤＲカラー画像に対する第１および第２の二重露光時間ＨＤＲ画像の相対寄与率を、ローカルな最適化のみに従い設定するステップ２７１２が、実施される。方法２６００のアプローチとは対照的に、ステップ２７１２において、これらの相対寄与率は、（ａ）短露光時間画素値と中露光時間画素値との差異、および、ｂ）中露光時間画素値と長露光時間画素値との差異の、いずれも考慮されずに設定される。本実施形態の一例において、二重露光時間ＨＤＲ画像２２８０ＳＭおよび２２８０ＭＬは、二重から三重へのＨＤＲ画像生成器２２２０に与えられる、画素値２２７０から生じる唯一のデータである。

【0162】

ステップ２７１０は、三重露光時間ＨＤＲカラー画像のコントラスト、飽和度、および露光十分性（ｗｅｌｌ－ｅｘｐｏｓｅｄｎｅｓｓ）のうち少なくとも１つを最適化するステップ２７１４を実施し得る。ステップ２７１４で、これらのパラメータは、Ｍｅｒｔｅｎｓ， Ｔ．， Ｋａｕｔｚ， Ｊ． ａｎｄ Ｖａｎ Ｒｅｅｔｈ， Ｆ．， ２００７， Ｏｃｔｏｂｅｒ， “Ｅｘｐｏｓｕｒｅ ｆｕｓｉｏｎ”， ｉｎ Ｃｏｍｐｕｔｅｒ Ｇｒａｐｈｉｃｓ ａｎｄ Ａｐｐｌｉｃａｔｉｏｎｓ， ２００７， ＰＧ’０７， １５ｔｈ Ｐａｃｉｆｉｃ Ｃｏｎｆｅｒｅｎｃｅ， ｐｐ． ３８２－３９０， ＩＥＥＥに記載のものと同様な手法で最適化され得る（本願において、最適化は、入力画像群よりも高いダイナミックレンジの出力画像に対し、トーンマッピングを伴わずに適用されるが、このＭｅｒｔｅｎｓらによる論文は、入力画像群と同一のダイナミックレンジを有するトーンマッピング化出力画像を形成するための、入力画像群の合成に関するものである）。

【0163】

特定の実施形態において、ステップ２７１０は、ステップ２７１６および２７１８を含む。ステップ２７１６で、第１および第２の二重露光時間ＨＤＲ画像のうち少なくとも１つをスケーリングすることにより、第１および第２の二重露光時間ＨＤＲ画像が共通スケールに置かれる。ステップ２７１６の一例において、二重から三重へのＨＤＲ画像生成器２２２０は、二重露光時間ＨＤＲ画像２２８０ＳＭおよび２２８０ＭＬのうち少なくとも１つをスケーリングすることにより、二重露光時間ＨＤＲ画像２２８０ＳＭおよび２２８０ＭＬを共通スケールに置く。例えば、二重露光時間ＨＤＲ画像２２８０ＳＭは当初、中露光時間を反映するスケールにあると言え、二重露光時間ＨＤＲ画像２２８０ＭＬは当初、長露光時間を反映するスケールにあると言える。ステップ２７１８で、三重露光時間ＨＤＲカラー画像は、第１および第２の二重露光時間ＨＤＲ画像の各々のダイナミックレンジをカバーする（ｅｎｃｏｍｐａｓｓｅｓ）ダイナミックレンジで生成される。ステップ２７１８の一例において、二重から三重へのＨＤＲ画像生成器２２２０は、三重露光時間ＨＤＲカラー画像２２９０を、二重露光時間ＨＤＲ画像２２８０ＳＭおよび２２８０ＭＬの、各々のダイナミックレンジをカバーするダイナミックレンジで生成する。例えば、三重露光時間ＨＤＲカラーイメージセンサ２２３０のビット深度は１０ビットであり、かつ、露光時間は数式Ｔ_Ｌ＝８＊Ｔ_ＭおよびＴ_Ｍ＝８＊Ｔ_Ｓに従って関係付けられるシナリオについて考える。本シナリオにおいて、二重露光時間ＨＤＲ画像２２８０ＳＭおよび２２８０ＭＬの各々のビット深度は、１３ビットであって、（ａ）二重露光時間ＨＤＲ画像２２８０ＳＭによって短露光時間画素２３２２Ｓと中露光時間画素２３２２Ｍとの合成ダイナミックレンジ（ｃｏｍｂｉｎｅｄ ｄｙｎａｍｉｃ ｒａｎｇｅ）がカバーされ、かつ、（ｂ）二重露光時間ＨＤＲ画像２２８０ＭＬによって中露光時間画素２３２２Ｍと長露光時間画素２３２２Ｌとの合成ダイナミックレンジがカバーされるようなものとなってい得る。さらに、本シナリオにおいて、三重露光時間ＨＤＲカラー画像２２９０のビット深度は、二重露光時間ＨＤＲ画像２２８０ＳＭおよび２２８０ＭＬの合成ダイナミックレンジをカバーし、かつ、それゆえにまた、短露光時間画素２３２２Ｓと中露光時間画素２３２２Ｍと長露光時間画素２３２２Ｌとの合成ダイナミックレンジをもカバーするように、１６ビットであり得る。

【0164】

ある改変された実施形態において、ステップ２７１０はステップ２７１８を含むが、ステップ２７１６は省かれる。方法２７００の本実施形態は、方法２７００により受け取られたときに第１および第２の二重露光時間画像が既に同一スケールにある場合、有用と言える。

【0165】

方法２７００において、第１および第２の二重露光時間画像を融合する際、各色を別々に最適化できる。あるいは、方法２７００は、異なる色（例えば赤、緑、および青）を、互いに依存し合うようなやり方で最適化してもよいし、これらの色のうちの１つのみ（例えば緑）を最適化してもよい。

【0166】

図２８は、色別の四つ組（ｃｏｌｏｒ－ｓｐｅｃｉｆｉｃ ｑｕａｄｒｕｐｌｅｔｓ）においてその画素が配列されている、ある三重露光時間ＨＤＲカラーイメージセンサ２８００を例示しており、これらの四つ組の各々は、３つの異なる露光時間に感度を有する画素を含んでいる。イメージセンサ２８００は、イメージセンサ２２３０の一実施形態である。イメージセンサ２８００は、同一の４×４画素ブロック２８１０によるアレイを有する。図を明確にするために、図２８の中では、４つの４×４画素ブロック２８１０のみが表されている。イメージセンサ２８００は、数百、数千、または数百万の４×４画素ブロック２８１０を有し得るものと理解される。各４×４画素ブロック２８１０は、４つの色別四つ組、すなわち、第１の色（例えば緑）に対して感度を有する２つの２×２画素グループ２８１２と、第２の色（例えば赤）に対して感度を有する１つの２×２画素グループ２８１４と、第３の色（例えば青）に対して感度を有する１つの２×２画素グループ２８１６と、を含む。２×２画素グループ２８１２、２８１４、および１８１６の各々は、１つの短露光時間画素２８２２Ｓと、２つの中露光時間画素２８２２Ｍと、１つの長露光時間画素２８２２Ｌとを含む。

【0167】

図２８に表す特定の例において、イメージセンサ２８００は、色赤、緑、青に特異的に感応する。本例において、各２×２画素グループ２８１２は、緑色光に感度を有しており、「ＧＳ」として標示された１つの短露光時間画素２８２２Ｓと、「ＧＭ」として標示された２つの中露光時間画素２８２２Ｍと、「ＧＬ」として標示された１つの長露光時間画素２８２２Ｌとを含む。同様に、各２×２画素グループ２８１４は、赤色光に感度を有しており、「ＲＳ」として標示された１つの短露光時間画素２８２２Ｓと、「ＲＭ」として標示された２つの中露光時間画素２８２２Ｍと、「ＲＬ」として標示された１つの長露光時間画素２８２２Ｌとを含む。また、各２×２画素グループ２８１６は、青色光に感度を有しており、「ＢＳ」として標示された１つの短露光時間画素２８２２Ｓと、「ＢＭ」として標示された２つの中露光時間画素２８２２Ｍと、「ＢＬ」として標示された１つの長露光時間画素２８２２Ｌとを含む。

【0168】

図２９は、三重露光時間ＨＤＲカラーイメージセンサ２８００から三重露光時間ＨＤＲカラー画像を生成するための、ある方法２９００を例示している。方法２９００は、方法２４００のカラーモザイク実施形態の一例である。方法２９００は、三重露光時間ＨＤＲ画像生成器２２００によって行われ得る。

【0169】

方法２９００に対する入力は、複数の４×４画素値ブロック２９１０である。図を明確にするために、図２９の中では、単一のブロック２９１０のみが表されている。各４×４画素値ブロック２９１０は、イメージセンサ２８００の、対応する４×４画素ブロック２８１０の画素値を含む。各４×４画素値ブロック２９１０は、イメージセンサ２８００の、２つの対応する２×２画素グループ２８１２の画素値を含んだ、２つの２×２画素値グループ２９１２を含む。各２×２画素値グループ２９１２はゆえに、イメージセンサ２８００の対応する画素ＧＳ、ＧＭ、およびＧＬから取得された、１つの画素値ＧＳ、２つの画素値ＧＭ、および１つの画素値ＧＬを含む。各２×２画素値グループ２９１４は、イメージセンサ２８００の対応する画素ＲＳ、ＲＭ、およびＲＬから取得された、１つの画素値ＲＳ、２つの画素値ＲＭ、および１つの画素値ＲＬを含む。各２×２画素値グループ２９１６は、イメージセンサ２８００の対応する画素ＢＳ、ＢＭ、およびＢＬから取得された、１つの画素値ＢＳ、２つの画素値ＢＭ、および１つの画素値ＢＬを含む。

【0170】

方法２９００は、ステップ２９０１、２９０２、２９０３、２９０４、２９０６、および２９０８を含む。ステップ２９０１および２９０３は、方法２４００のステップ２４１０の一実施形態を形成する。ステップ２９０２および２９０４は、方法２４００のステップ２４２０の一実施形態を形成する。ステップ２９０６および２９０８は、方法２４００の、それぞれステップ２４３４および２４３６の実施形態である。ステップ２９０１、２９０２、２９０３、および２９０４は、二重露光時間ＨＤＲ画像生成器２２１０によって行われ得る。ステップ２９０６および２９０８は、二重から三重へのＨＤＲ画像生成器２２２０によって行われ得る。

【0171】

ステップ２９０１で、各４×４画素値ブロック２９１０から、短露光時間画素値と中露光時間画素とが抽出される。各画素値ブロック２９１０について、ステップ２９０１はゆえに、（ａ）２つの２×２画素グループ２９１２ＳＭの各々における１つの画素値ＧＳおよび２つの画素値ＧＭと、（ｂ）２×２画素グループ２９１４ＳＭにおける１つの画素値ＲＳおよび２つの画素値ＲＭと、（ｃ）２×２画素グループ２９１６ＳＭにおける１つの画素値ＢＳおよび２つの画素値ＢＭとを含んだ、画素ブロック２９１０ＳＭを取得する。

【0172】

ステップ２９０３で、その後、２×２画素グループ２９１２ＳＭ、２９１４ＳＭ、および２９１６ＳＭの各々の中で、ＨＤＲ合成が行われる。ステップ２９０３は、方法２５００に従って短露光時間画素値と中露光時間画素とを合成し得る。ステップ２９０３の出力は、緑色チャネル（Ｇ）に属する２つの二重露光時間ＨＤＲ画素値２９２２ＳＭと、赤色チャネル（Ｒ）に属する１つの二重露光時間ＨＤＲ画素値２９２４ＳＭと、青色チャネル（Ｂ）に属する１つの二重露光時間ＨＤＲ画素値２９２６ＳＭとを含んだ、２×２ＨＤＲ画素ブロック２９２０ＳＭである。ステップ２９０３において形成される複数の２×２画素ブロック２９２０ＳＭは、協調して、二重露光時間ＨＤＲ画像２２８０ＳＭのカラーモザイク実施形態の一例を形成する。二重露光時間画像２２８０ＳＭの本例は、イメージセンサ２８００の解像度に比較して、垂直および水平寸法の各々において半分の解像度を有する。例えば、もしもイメージセンサ２８００が４０００×３０００画素を有するならば、ステップ２９０３にて形成された二重露光時間ＨＤＲ画像は、本シナリオにおいて、２０００×１５００画素を有する。

【0173】

一態様において、ステップ２９０３で、方法２５００のカラーモザイク実施形態は、ステップ２５２２と、またオプションとして、ステップ２５２４と２５２６をも含めて、行われる。本態様において、ステップ２５２２は、式１４のブレンディング関数ｆを利用することにより、各４×４画素ブロック２９１０ＳＭの各２×２画素グループ２９１２ＳＭ、２９１４ＳＭ、および２９１６ＳＭの中で、短露光時間画素と中露光時間画素との相対的な合成重みを設定することができる。ステップ２９１３において、ブレンディング関数ｆは、各２×２画素グループ２９１２ＳＭ、２９１４ＳＭ、および２９１６ＳＭにつきブレンディング関数ｆが別個に決定されるようなものとして、各色につき別々に決定され得る。あるいは、ステップ２９１３は、各４×４画素ブロック２９１０ＳＭについて、所定の色（例えば、２つの２×２画素グループ２９１２ＳＭにおける画素値に基づく緑）に対するブレンディング関数ｆを一回決定し、その後、このブレンディング関数ｆの値を、当該４×４画素ブロック２９１０ＳＭの中の全ての２×２画素グループ２９１２ＳＭ、２９１４ＳＭ、および２９１６ＳＭに対して適用してもよい。ステップ２９０３は、方法２０００を利用することにより、ブレンディング関数ｆの値を決定できる。

【0174】

ステップ２９０２および２９０４は、中露光時間画素値と長露光時間画素値との合成に関するものであることを除いては、それぞれステップ２９０１および２９０３と同様である。ステップ２９０２で、各４×４画素値ブロック２９１０から、中露光時間画素値と長露光時間画素とが抽出される。各画素値ブロック２９１０について、ステップ２９０２はゆえに、（ａ）２つの２×２画素グループ２９１２ＭＬの各々における１つの画素値ＧＬおよび２つの画素値ＧＭと、（ｂ）２×２画素グループ２９１４ＭＬにおける１つの画素値ＲＬおよび２つの画素値ＲＭと、（ｃ）２×２画素グループ２９１６ＭＬにおける１つの画素値ＢＬおよび２つの画素値ＢＭとを含んだ、画素値ブロック２９１０ＭＬを取得する。

【0175】

ステップ２９０４で、その後、２９０３に関して前述したものと同様な手法で、２×２画素グループ２９１２ＭＬ、２９１４ＭＬ、および２９１６ＭＬの各々の中で、ＨＤＲ合成が行われる。ステップ２９０４の出力は、緑色チャネル（Ｇ）に属する２つの二重露光時間ＨＤＲ画素値２９２２ＭＬと、赤色チャネル（Ｒ）に属する１つの二重露光時間ＨＤＲ画素値２９２４ＭＬと、青色チャネル（Ｂ）に属する１つの二重露光時間ＨＤＲ画素値２９２６ＭＬとを含んだ、２×２ＨＤＲ画素ブロック２９２０ＭＬである。ステップ２９０４において形成される複数の２×２画素ブロック２９２０ＭＬは、協調して、二重露光時間画像ＨＤＲ２２８０ＭＬのカラーモザイク実施形態の一例を形成する。

【0176】

特定の実施形態において、ステップ２９０３および２９０４の各々で、ノイズ除去が適用される。あるそのような実施形態において、ステップ２９０３は、ステップ２９０４よりも積極的にノイズ除去を適用する。なぜならば、後続のステップ２９０６において、２×２画素ブロック２９２０ＳＭにおける残留ノイズは、２×２画素ブロック２９２０ＭＬにおける残留ノイズに比べ、スケールアップされることになるからである。ステップ２９０３はまた、短露光時間画素値に対し、中露光時間画素値に対するよりも積極的にノイズ除去を適用し得る。なぜならば、ステップ２９０３において、短露光時間画素値における残留ノイズは、中露光時間画素値における残留ノイズに比べ、スケールアップされるからである。同様な理由により、ステップ２９０４は、中露光時間画素値に対し、長露光時間画素値に対するよりも積極的にノイズ除去を適用し得る。

【0177】

ステップ２９０６で、２×２画素ブロック２９２０ＳＭおよび２９２０ＭＬの対応するペアを合成することにより、各色につき別々に、三重露光時間ＨＤＲ画素値が達成される。より具体的には、ステップ２９０６において、各２×２画素ブロック２９２０ＳＭのカラーモザイクを、対応する２×２画素ブロック２９２０ＭＬのカラーモザイクと合成することにより、中間２×２画素ブロック（ｉｎｔｅｒｍｅｄｉａｔｅ ２ｘ２ ｐｉｘｅｌ ｂｌｏｃｋ）２９３０が生成される。各２×２画素ブロック２９３０は、緑チャネル（Ｇ）に属する２つの三重露光時間ＨＤＲ画素値２９３２ＳＭＬと、赤チャネル（Ｒ）に属する１つの三重露光時間ＨＤＲ画素値２９３４ＳＭＬと、青チャネル（Ｂ）に属する１つの三重露光時間ＨＤＲ画素値２９３６ＳＭＬとを含む。ステップ２９０６は、例えば方法２６００または２７００に従い、各三重露光時間ＨＤＲ画素値２９３２ＳＭＬを、対応する、同位置の二重露光時間ＨＤＲ画素値２９２２ＳＭおよび２９２２ＭＬのペアから形成する。ステップ２９０６は、例えば方法２６００または２７００に従い、各三重露光時間ＨＤＲ画素値２９３４ＳＭＬを、対応する、同位置の二重露光時間ＨＤＲ画素値２９２４ＳＭおよび２９２４ＭＬのペアから形成する。ステップ２９０６は、例えば方法２６００または２７００に従い、各三重露光時間ＨＤＲ画素値２９３６ＳＭＬを、対応する、同位置の二重露光時間ＨＤＲ画素値２９２６ＳＭおよび２９２６ＭＬのペアから形成する。ステップ２９０６にて形成される複数の中間２×２画素ブロック２９３０は協働して、各画素が色別の情報を有する、カラーモザイク三重露光時間ＨＤＲ画像を形成する。

【0178】

ステップ２９０８で、各中間２×２画素ブロック２９３０をデモザイクすることにより、それぞれのフルカラー三重露光時間ＨＤＲ２９４０が形成される。ステップ２９０８は、当該技術分野で知られるデモザイキング方法を用いることができる。複数の三重露光時間ＨＤＲ２９４０は協働して、三重露光時間ＨＤＲカラー画像２２９０の一実施形態を形成する。

【0179】

図３０は、三重露光時間シングルショットＨＤＲカラーイメージセンサ２２３０から、三重露光時間ＨＤＲカラー画像２２９０を生成するための、あるシステム３０００を例示している。システム３０００は、コンピュータにより実現されてもよく、方法２４００を行うように構成される。システム３０００は、プロセッサ３０１０と、非一時的メモリ３０２０と、インターフェース３０９０とを備える。プロセッサ３０１０およびメモリ３０２０（ならびに、特定の実施形態において、インターフェース３０９０）は協働して、三重露光時間ＨＤＲ画像生成器２２００の一実施形態を形成する。システム３０００はさらに、三重露光時間シングルショットＨＤＲカラーイメージセンサ２２３０を含んでもよく、この場合、システム３０００はＨＤＲカメラ２２０２の一実施形態である。

【0180】

メモリ３０２０は、機械可読命令３０３０を含む。命令３０３０は、メモリ３０２０の不揮発性部分の中に符号化され得る。命令３０３０は、二重露光時間命令（ｄｕａｌ－ｅｘｐｏｓｕｒｅ－ｔｉｍｅ ｉｎｓｔｒｕｃｔｉｏｎｓ）３０３２と、二重から三重へのＨＤＲ命令（ｄｕａｌ－ｔｏ－ｔｒｉｐｌｅ ＨＤＲ ｉｎｓｔｒｕｃｔｉｏｎｓ）３０４０とを含む。一実施形態において、メモリ３０２０はさらに、インターフェース３０９０を介して受信されるデータおよび／またはプロセッサ３０１０で実行されるときに命令３０３０によって生成されるデータを格納するように構成された、動的データ記憶域３０８０をも含む。別の実施形態において、システム３０００はメモリ３０２０を備えておらず、代わりに、例えばサードパーティーにより提供された、外部メモリと協働するように構成される。メモリ３０２０はまた、パラメータ記憶域３０７０をも含んでもよい。

【0181】

プロセッサ３０１０によって実行されるとき、二重露光時間命令３０３２は、イメージセンサ２２３０または動的データ記憶域３０８０から、画素値２２７０を取得し、（ａ）方法２４００のステップ２４１０を行うことにより、二重露光時間ＨＤＲ画像２２８０ＳＭを生成し、かつ／または（ｂ）方法２４００のステップ２４２０を行うことにより、二重露光時間ＨＤＲ画像２２８０ＭＬを生成する。二重露光時間命令３０３２は、プロセッサ３０１０に対し、二重露光時間ＨＤＲ画像２２８０ＳＭおよび／または２２８０ＭＬを動的データ記憶域３０８０に格納するように、命じることができる。

【0182】

ある実施形態において、二重露光時間命令３０３２は、方法２５００に従ってステップ２４１０を行い、かつ、また、方法２５００の対応するカウンターパート（図２５に関して前述した）に従ってステップ２４２０を行うように、構成される。本実施形態において、二重露光時間命令３０３２は、差異評価命令３０３４、飽和度評価命令３０３６、およびブレンディング関数評価命令３０３８のうち、１つ以上を含み得る。プロセッサ３０１０によって実行されるとき、差異評価命令３０３４は、方法２５００のステップ２５２０を行う。差異評価命令３０３４は、飽和度評価命令３０３６を呼び出すことにより、方法２５００のステップ２５２４および２５２６を行うように構成されてもよい。飽和度評価命令３０３６は、パラメータ記憶域３０７０から不飽和基準３０５２を取り出すことをプロセッサ３０１０に命じるように、構成され得る。不飽和基準３０５２は、不飽和基準９５２の一例である。差異評価命令３０３４はまた、ブレンディング関数評価命令３０３８を呼び出すことにより、方法２５００のステップ２５２４を行うように構成されてもよい。一態様において、ブレンディング関数評価命令３０３８は、方法２０００を行うように構成される。本態様において、ブレンディング関数評価命令３０３８は、プロセッサ３０１０に対し、パラメータ記憶域３０７０からブレンディング関数ルックアップテーブル３０５４にアクセスするように、命じ得る。ブレンディング関数評価命令３０３８は、プロセッサ３０１０に対し、ブレンディング関数値３０８２を動的データ記憶域３０８０に格納し、必要な折にブレンディング関数値３０８２を動的データ記憶域３０８０から取り出すように、命令することができる。

【0183】

プロセッサ３０１０によって実行されるとき、二重から三重へのＨＤＲ命令３０４０は、動的データ記憶域３０８０から二重露光時間ＨＤＲ画像２２８０ＳＭおよび２２８０ＭＬを取得し、方法２４００のステップ２４３０を行うことにより、三重露光時間ＨＤＲカラー画像２２９０を生成する。二重から三重へのＨＤＲ命令３０４０は、プロセッサ３０１０に対し、三重露光時間ＨＤＲカラー画像２２９０を動的データ記憶域３０８０に格納するか、または、三重露光時間ＨＤＲカラー画像２２９０をインターフェース３０９０を介して出力するように、命じ得る。一実施形態において、二重から三重へのＨＤＲ命令３０４０は、プロセッサ３０１０によって実行されるときに方法２６００を行う、差異ベースの二重から三重への命令３０４２を含む。別の実施形態において、二重から三重へのＨＤＲ命令３０４０は、プロセッサ３０１０によって実行されるときに方法２７００を行う、融合ベースの二重から三重への命令３０４４を含む。

【0184】

本開示の範囲から逸脱しない範囲で、機械可読命令３０３０は、（ａ）機械可読命令３０３０の格納のための非一時的メモリと（ｂ）機械可読命令３０３０の実行のためのプロセッサと、を有するサードパーティーのコンピュータでの実施のために構成された、スタンドアローンのソフトウェア製品として提供されてもよい。

【0185】

本明細書の範囲から逸脱しない範囲で、上記のデバイス、システム、および方法に変更を加え得る。従って、以上の明細書に含まれる内容および添付の図面に示される内容は、例示的であって限定的な意味ではないものと解釈されるべきであることに留意されたい。以下に続く請求項は、本明細書に記載の一般的および具体的な特徴、そして本デバイス、システム、および方法の範囲に関して表現的にその中間にあると見なし得るすべての記述をも、網羅するように意図されている。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11A】

【図11B】

【図12】

【図13A】

【図13B】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】

【図22】

【図23】

【図24】

【図25】

【図26】

【図27】

【図28】

【図29】

【図30】