特許 7150147 空間的多重化露光ハイダイナミックレンジイメージセンサの自動露出

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-09-29

(45)【発行日】2022-10-07

(54)【発明の名称】空間的多重化露光ハイダイナミックレンジイメージセンサの自動露出

(51)【国際特許分類】

   H04N 5/235 20060101AFI20220930BHJP

   H04N 5/232 20060101ALI20220930BHJP

   H04N 5/243 20060101ALI20220930BHJP

【ＦＩ】

H04N5/235 500

H04N5/235 300

H04N5/232 290

H04N5/243

【請求項の数】 28

(21)【出願番号】P 2021512776

(86)(22)【出願日】2019-09-05

(65)【公表番号】

(43)【公表日】2022-01-06

(86)【国際出願番号】 US2019049706

(87)【国際公開番号】W WO2020051305

(87)【国際公開日】2020-03-12

【審査請求日】2021-04-30

(31)【優先権主張番号】18193264.1

(32)【優先日】2018-09-07

(33)【優先権主張国・地域又は機関】EP

(31)【優先権主張番号】62/728,660

(32)【優先日】2018-09-07

(33)【優先権主張国・地域又は機関】US

(73)【特許権者】

【識別番号】507236292

【氏名又は名称】ドルビー ラボラトリーズ ライセンシング コーポレイション

(74)【代理人】

【識別番号】100101683

【弁理士】

【氏名又は名称】奥田 誠司

(74)【代理人】

【識別番号】100155000

【弁理士】

【氏名又は名称】喜多 修市

(74)【代理人】

【識別番号】100188813

【弁理士】

【氏名又は名称】川喜田 徹

(74)【代理人】

【識別番号】100202197

【弁理士】

【氏名又は名称】村瀬 成康

(72)【発明者】

【氏名】マケルヴァイン，ジョン エス．

(72)【発明者】

【氏名】ギッシュ，ウォルター シー．

(72)【発明者】

【氏名】ミラー，ジョナサン ロバート

(72)【発明者】

【氏名】ワード，グレゴリー ジョン

(72)【発明者】

【氏名】アトキンス，ロビン

【審査官】吉田 千裕

(56)【参考文献】

【文献】米国特許出願公開第２０１７／００６４１７９（ＵＳ，Ａ１）

【文献】特表２０１１－５０３９１５（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１５／００９２０６６（ＵＳ，Ａ１）

【文献】特開２０１０－２７３００１（ＪＰ，Ａ）

【文献】特開２００６－１８００１５（ＪＰ，Ａ）

【文献】特表２０１８－５０９０２７（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ５／２２２－５／２５７

(57)【特許請求の範囲】

【請求項1】

空間的多重化露光（ＳＭＥ）ハイダイナミックレンジ（ＨＤＲ）イメージセンサの自動露出方法であって、
前記空間的多重化露光ハイダイナミックレンジイメージセンサの露光からＲＡＷ画像データを取得するステップであって、前記ＲＡＷ画像データは、前記空間的多重化露光ハイダイナミックレンジイメージセンサの、長露光時間によって特徴付けられる画素からの長露光画素値と、前記空間的多重化露光ハイダイナミックレンジイメージセンサの、短露光時間によって特徴付けられる画素からの短露光画素値とを含むステップと、
前記長露光画素値および短露光画素値を前処理して、１つ以上の画像品質要件を満たさない長露光画素値および短露光画素値を除外するステップと、
前記前処理するステップの後に残った前記長露光画素値および前記前処理するステップの後に残った前記短露光画素値を、ハイダイナミックレンジヒストグラムとして合成するステップと、
前記ハイダイナミックレンジヒストグラムから良好性メトリックを導出するステップと、
前記良好性メトリックに少なくとも部分的に基づいて前記長露光時間および前記短露光時間の少なくとも一方を調整するステップと、
調整された前記長露光時間および前記短露光時間の少なくとも一方を、前記空間的多重化露光ハイダイナミックレンジイメージセンサに出力するステップと、
を含み、
前記良好性メトリックは、前記ハイダイナミックレンジヒストグラムの総エントロピーに対する前記ハイダイナミックレンジヒストグラムの個々のビンの寄与の前記ハイダイナミックレンジヒストグラム全体にわたっての分散を含む、
自動露出方法。

【請求項2】

前記導出するステップは、前記ハイダイナミックレンジヒストグラムの個々のビン_ｉからの前記寄与S_iをS_i = -p_ilog₂(p_i)として算出することを含み、p_iは前記個々のビン_ｉにおけるカウントである、
請求項１に記載の自動露出方法。

【請求項3】

前記合成するステップよりも前に、前記長露光画素値および短露光画素値からノイズの影響を除去するステップをさらに含む、
請求項１または２に記載の自動露出方法。

【請求項4】

前記ノイズの影響を除去するステップは、（ａ）前記長露光画素値の第１のヒストグラムおよび（ｂ）前記短露光画素値の第２のヒストグラムのそれぞれを、ノイズモデルに従って逆畳み込みするステップを含む、
請求項３に記載の自動露出方法。

【請求項5】

ノイズ分散の期待値は、画素値の線形関数でモデリングされる、
請求項４に記載の自動露出方法。

【請求項6】

前記取得するステップ、前処理するステップ、合成するステップ、導出するステップ、調整するステップ、および出力するステップの複数回の反復を行うことにより、前記分散を最小化するような前記長露光時間および前記短露光時間の最適なセットを決定するステップをさらに含む、
請求項１から５のいずれかに記載の自動露出方法。

【請求項7】

前記複数回の反復を行うステップよりも前に、最適な長露光時間を決定するステップをさらに含み、
前記複数回の反復を行うステップは、前記長露光時間を前記最適な長露光時間に維持しながら最適な短露光時間を決定するステップを含む、
請求項６に記載の自動露出方法。

【請求項8】

前記最適な長露光時間を決定するステップは、前記空間的多重化露光ハイダイナミックレンジイメージセンサによって撮影された画像のデモザイキングにおける前記長露光画素値の使用と前記短露光画素値の使用との遷移を定義する遷移点における、前記長露光画素値と前記短露光画素値とのノイズ差異を最小化するように、前記長露光時間を変更するステップを含む、
請求項７に記載の自動露出方法。

【請求項9】

前記長露光時間を変更するステップは、
前記長露光時間を初期値に設定しかつ前記短露光時間を最小値に設定するステップと、
以下の少なくとも１つの反復を行うステップと：
（ａ）前記取得するステップ、前処理するステップ、および合成するステップを行うことにより、仮のハイダイナミックレンジヒストグラムを生成するステップ、
（ｂ）前記仮のハイダイナミックレンジヒストグラムから、前記長露光時間の目標値を推定するステップ、
（ｃ）前記目標値を中心とする範囲における前記長露光時間の複数の値について、前記長露光時間から得られるであろう前記ノイズ差異を示す複数のパラメータのそれぞれを算出するステップ、
（ｄ）前記パラメータの前記値から、前記ノイズ差異の前記値のうち最小のものに対応付けられた前記ビンと一致する前記遷移点に対応するに対応する前記長露光時間の修正値を推定するステップ、
（ｅ）前記長露光時間の前記修正値が前記長露光時間の前記初期値以上でないとき、前記長露光時間の前記初期値を前記長露光時間の前記修正値に更新して後続の反復へと続けるステップ、および
（ｆ）前記長露光時間の前記修正値が前記長露光時間の前記初期値以上のとき、前記長露光時間の前記修正値を前記最適な長露光時間として出力するステップ、
を含む、
請求項８に記載の自動露出方法。

【請求項10】

前記ＲＡＷ画像データ中における顔を検出するステップをさらに含み、
前記調整するステップは、前記良好性メトリックに部分的に基づいて、かつ部分的に前記顔の露光を改善するように、前記長露光時間および前記短露光時間のセットを調整するステップを含む、
請求項１から９のいずれかに記載の自動露出方法。

【請求項11】

前記取得するステップにおいて、前記ＲＡＷ画像データの一部として、前記空間的多重化露光ハイダイナミックレンジイメージセンサの、前記長露光時間より短くかつ前記短露光時間よりも長い中露光時間によって特徴付けられる画素からの中露光画素値をさらに取得するステップと、
前記前処理するステップにおいて、前記中露光画素値をさらに前処理して、１つ以上の第２の品質要件を満たさないような中露光画素値を除外するステップと、
前記合成するステップにおいて、前記前処理するステップの後に残った前記中露光画素値を前記ハイダイナミックレンジヒストグラムにさらに合成するステップと、
前記調整するステップにおいて、前記中露光時間をさらに調整するステップと、
前記出力するステップにおいて、前記調整された中露光時間をさらに出力するステップと、
を含む、請求項１から１０のいずれかに記載の自動露出方法。

【請求項12】

前記空間的多重化露光ハイダイナミックレンジイメージセンサは複数の色別の画素セットを有するカラーイメージセンサであり、前記色別の画素セットのうちそれぞれは、複数の色のうちのそれぞれの１つに対し固有に感度を有しており、前記色別の画素セットのうちそれぞれは、前記長露光時間により特徴付けられる画素のサブセットおよび前記短露光時間により特徴付けられる画素のサブセットを有しており、
前記自動露出方法は、
前記色別の画素セットのうちそれぞれに対し別々に、前記取得するステップ、前処理するステップ、合成するステップ、および導出するステップを行うステップと、
前記色別の画素セットに対し決定された各良好性メトリックをまとめて評価することにより、全色に適用可能な前記長露光時間および前記短露光時間の調整済みの１セットを生成するステップと、をさらに含む、
請求項１から１１のいずれかに記載の自動露出方法。

【請求項13】

前記空間的多重化露光ハイダイナミックレンジイメージセンサは複数の色別の画素セットを有するカラーイメージセンサであり、前記色別の画素セットのうちそれぞれは、複数の色のうちのそれぞれの１つに対し固有に感度を有しており、前記色別の画素セットのうちそれぞれは、前記長露光時間により特徴付けられる画素のサブセットおよび前記短露光時間により特徴付けられる画素のサブセットを有しており、
前記自動露出方法は、
前記取得するステップにおいて、前記色別の画素セットのうちそれぞれについて、それぞれの色別の長露光画素値およびそれぞれの色別の短露光画素値を取得するステップと、
前記前処理するステップよりも前に、異なる色に対応付けられた前記色別の長露光画素値のうち空間的に隣接するものを結合することにより、前記長露光画素値を生成し、異なる色に対応付けられた前記色別の短露光画素値のうち空間的に隣接するものを結合することにより、前記短露光画素値を生成するステップであって、前記長露光画素値および短露光画素値は輝度を表している、ステップと、
をさらに含む、
請求項１から１１のいずれかに記載の自動露出方法。

【請求項14】

前記前処理するステップは、前記長露光画素値および前記短露光画素値を互いに別々にフィルタリングするステップを含む、請求項１から１３のいずれかに記載の自動露出方法。

【請求項15】

前記前処理するステップは、（１）前記フィルタリングするステップにおいて、（ａ）前記長露光画素値から飽和に関する閾値を超える長露光画素値を除外し、（ｂ）前記短露光画素値からノイズに関する閾値未満の短露光画素値を除外するステップを含む、
請求項１４に記載の自動露出方法。

【請求項16】

前記前処理するステップは、前記フィルタリングするステップの後に残った前記長露光画素値と前記短露光画素値とを比較することにより、動き差異を評価し、閾値動き差異レベルを超える動き差異の影響を受ける短露光画素値および長露光画素値を前記空間的多重化露光ハイダイナミックレンジイメージセンサの空間領域から除外するステップをさらに含む、
請求項１４または１５に記載の自動露出方法。

【請求項17】

前記ノイズの影響を除去するステップは、閾値動き差異レベルを超える動き差異の影響を受ける前記短露光画素値および前記長露光画素値を前記空間的多重化露光ハイダイナミックレンジイメージセンサの前記空間領域から除外するステップの後に残っている、前記長露光画素値および前記短露光画素値に、別々に適用される、請求項１６および請求項４に記載の自動露出方法。

【請求項18】

前記合成するステップは、
（ａ）前記前処理するステップの後に残った前記長露光画素値の第１のヒストグラムと、（ｂ）前記前処理するステップの後に残った前記短露光画素値の第２のヒストグラムとを、共通のスケールにスケーリングするステップと、
前記第２のヒストグラムから、前記共通のスケールにおいて、前記第１のヒストグラムの最上位ビンの中心値以下の中心値を有するような短露光画素値のビンを除外するステップと、
前記除外するステップの後、前記第１のヒストグラムと前記第２のヒストグラムとをマージすることにより、前記ハイダイナミックレンジヒストグラムを作成するステップと、を含む。
請求項１から１７のいずれかに記載の自動露出方法。

【請求項19】

前記前処理するステップは、前記空間的多重化露光ハイダイナミックレンジイメージセンサと前記ＲＡＷ画像データによって表されるシーンとの間にある光学的勾配フィルタの影響を補償するように、前記長露光画素値および前記短露光画素値をスケーリングするステップを含む、
請求項１から１８のいずれかに記載の自動露出方法。

【請求項20】

前記取得するステップ、前処理するステップ、合成するステップ、導出するステップ、調整するステップ、および出力するステップの複数回の反復を行うことにより、前記良好性メトリックを最適化する前記長露光時間および前記短露光時間の最適なセットを決定するステップを含む、
請求項１から１９のいずれかに記載の自動露出方法。

【請求項21】

後続の各反復は、最も直近の先行する反復において前記空間的多重化露光ハイダイナミックレンジイメージセンサに出力された前記長露光時間および前記短露光時間の調整済みのセットを用いて、前記空間的多重化露光ハイダイナミックレンジイメージセンサにより取得されたＲＡＷ画像データに基づいている、
請求項２０に記載の自動露出方法。

【請求項22】

前記複数回の反復を行うステップを前記空間的多重化露光ハイダイナミックレンジイメージセンサの複数の局所領域に対して別々に実行することにより、前記長露光時間および前記短露光時間の空間的に変化するセットを局所的に最適化するステップをさらに含む、
請求項２０または２１に記載の自動露出方法。

【請求項23】

（１）前記取得するステップにおいて、前記空間的多重化露光ハイダイナミックレンジイメージセンサによって記録されたＲＡＷ映像ストリームの１フレームから、前記ＲＡＷ画像データを取得するステップ、（２）前記取得するステップ、前処理するステップ、合成するステップ、導出するステップ、調整するステップ、および出力するステップを前記ＲＡＷ映像ストリームの複数のフレームの前記ＲＡＷ画像データに対して実行することにより、前記空間的多重化露光ハイダイナミックレンジイメージセンサによる前記ＲＡＷ映像ストリームのキャプチャ中において、長露光時間および短露光時間の最適なセットを調整するステップ、（３）前記ＲＡＷ映像ストリームの各フレームについて、前記長露光画素値および前記短露光画素値から空間的多重化露光ハイダイナミックレンジ画像を生成することにより、前記ＲＡＷ映像ストリームから空間的多重化露光ハイダイナミックレンジ映像ストリームを生成するステップ、および（４）前記空間的多重化露光ハイダイナミックレンジ映像ストリームを後処理することにより、映像シリーズ（ｖｉｄｅｏ ｓｅｒｉｅｓ）のキャプチャ中における前記長露光時間および前記短露光時間の前記最適なセットの調整により引き起こされた前記空間的多重化露光ハイダイナミックレンジ映像ストリームの時間的明度不安定性を低減するステップをさらに含む、
請求項２０から２２のいずれかに記載の自動露出方法。

【請求項24】

前記後処理するステップは、各ハイダイナミックレンジ画像を、（ａ）固定の基準感度の、（ｂ）前記ハイダイナミックレンジ画像に対応付けられた前記フレームのキャプチャ中において用いられた前記長露光時間および前記短露光時間における、前記空間的多重化露光ハイダイナミックレンジイメージセンサの感度に対する比、で乗算するステップを含む、
請求項２３に記載の自動露出方法。

【請求項25】

（１）前記空間的多重化露光ハイダイナミックレンジイメージセンサによって記録されたフレームのＲＡＷ映像ストリームを得るステップと、（２）前記ＲＡＷ映像ストリームの時間的明度変化を解析することにより、前記空間的多重化露光ハイダイナミックレンジイメージセンサによってキャプチャされる後のフレームの明度を予測するステップと、（３）前記ＲＡＷ映像ストリームの前記フレームのうち少なくともいくつかに対して前記反復を行うステップであって、前記反復のそれぞれはさらに、前記解析するステップにおいて予測された明度に基づいて、前記後のフレームにおいて最適になるように前記長露光時間および前記短露光時間の最適なセットを操作するステップと、をさらに含む、
請求項２０から２２のいずれかに記載の自動露出方法。

【請求項26】

非一時的メモリ中にエンコードされる機械可読命令を含む、空間的多重化露光ハイダイナミックレンジイメージセンサの自動露出のためのプログラムであって、前記機械可読命令は、プロセッサによって実行されたとき、前記プロセッサに請求項１から２５に記載の方法のうちいずれかを実行させる、データ入力命令を含む、
プログラム。

【請求項27】

空間的多重化露光ハイダイナミックレンジイメージセンサと、プロセッサと、請求項２６に記載のプログラムを格納したメモリとを備え、前記プログラムの前記機械可読命令は、前記プロセッサによって実行されたとき、データ入力命令、前処理命令、合成命令、メトリック導出命令、調整命令、およびデータ出力命令の複数回の反復を行うことにより、前記良好性メトリックを最適化する前記長露光時間および前記短露光時間の最適なセットを決定し前記空間的多重化露光ハイダイナミックレンジイメージセンサに出力する反復命令をさらに含む、自動露出機能を備えた空間的多重化露光ハイダイナミックレンジ撮像システム。

【請求項28】

（Ｉ）複数の空間領域のそれぞれに対し別々に少なくとも１つの露光時間を調整するように構成された回路を備えた空間的多重化露光ハイダイナミックレンジイメージセンサと、（ＩＩ）プロセッサと、（ＩＩＩ）非一時的メモリ中にエンコードされた機械可読命令とを備える、自動露出機能を備えたハイダイナミックレンジ撮像システムであって、前記機械可読命令は、（ａ）前記プロセッサによって実行されたとき、前記プロセッサに請求項１から２５に記載の方法のうちいずれかを実行させるデータ入力命令を含む、システム。

【発明の詳細な説明】

【技術分野】

【0001】

関連出願への相互参照
本願は、２０１８年９月７日に出願された米国仮特許出願第６２／７２８，６６０号および２０１８年９月７日に出願された欧州特許出願第１８１９３２６４．１号に対する優先権を主張するものであり、これらの各出願の全体を本明細書に援用する。

【0002】

本願は、デジタルカメラの自動露出に関する。

【背景技術】

【0003】

従来のデジタルカメラでは、カメラの画像処理パイプラインを通じて高品質な画像を得るために、画像の露出を適正に調整することが重要である。露出オーバーになると画像に白飛び領域が生まれたり、逆に露出アンダーになるとノイズレベルが過多になったり、可能性としてカラーアーティファクトが発生したりする。デジタル一眼レフ（ＤＳＬＲ）カメラなどの業務用カメラやハイエンドのコンシューマー用カメラでは、自動露出の際に調整するパラメータは、一般的に「露光時間」、「アナログおよび／またはデジタルゲイン（ＩＳＯ感度）」、「絞りサイズ・（Ｆ値）」の３つである。スマートフォンカメラをはじめとするモバイル機器搭載カメラは、一般的に固定レンズを有している。これらのプラットフォームでは、自動露出アルゴリズムは、露光時間とゲインの２つのパラメータを最適化する。一般的に、自動露出アルゴリズムは、撮像システムで撮影された１つ以上の画像を解析して、露光時間およびゲイン（そして可変絞りカメラの場合はＦ値）を最適化する。

【発明の概要】

【発明が解決しようとする課題】

【0004】

スマートフォンカメラなどのほとんどのモバイル機器搭載カメラのイメージセンサは、画素のフルウェル容量が減らされていることに加えて、出力のビット深度が低い（通常１０ビット）ため、ダイナミックレンジが限られている。多くのシーンにおいて、このダイナミックレンジでは、シーンの最も明るい部分と最も暗い部分との両方をキャプチャするには不十分である。例えば、逆光で人物の写真を撮影した場合、人物の顔が露出アンダーになったり、逆に明るい背景が露出オーバーになったりすることがある。ハイダイナミックレンジ（ＨＤＲ）撮像機能にはいくつかの例があり、そのうちのいくつかは、カメラのダイナミックレンジをイメージセンサのダイナミックレンジよりも広げることができる。典型的なアプローチにおいて、ＨＤＲデジタルカメラは、同じシーンの画像を２つ撮影する。１つは、シーンの明るい部分の良好な画像データを得るために露光時間を短くした画像、もう１つは、シーンの暗い部分の画像データを得るために露光時間を長くした画像である。次に内蔵の画像処理回路が、この２つの画像を共通のスケールにスケーリングし、スケーリングされた画像を結合することで、シーンの明るい部分と暗い部分の両方をよりよく表現した１枚のＨＤＲ画像を生成する。このようなＨＤＲ撮像は多くの状況で有効であり、この種のＨＤＲ撮像機能は多くの静止画撮影用デバイスの標準特徴となっている。しかし、短露光と長露光は、少なくとも１つのフルフレーム読み出しプロセスを挟んで異なるタイミングで記録されるため、シーンが静的でない場合には、画像結合によって望ましくないアーティファクトが発生することがしばしばある。短露光と長露光との間に被写体が移動すると、ＨＤＲ画像には、ひどい場合には移動する被写体の画像がずれた二重の画像として表示されたり、それほどひどくない場合でも移動する被写体において輪郭アーティファクトが発生したりする。

【0005】

ＨＤＲ画像における動きアーティファクトをなくすために、単一のショットで明るい部分と暗い部分の露光を行うＳＭＥ（空間的多重化露光（ｓｐａｔｉａｌｌｙ－ｍｕｌｔｉｐｌｅｘｅｄ－ｅｘｐｏｓｕｒｅ））ＨＤＲイメージセンサが業界で開発されている。ＳＭＥ ＨＤＲイメージセンサは、イメージセンサの画素アレイに露光時間パターンを適用し、すべての画素が同じ露光時間では動作しないようにする。ジグザグＨＤＲイメージセンサとして一般に知られるタイプのＳＭＥ ＨＤＲイメージセンサでは、画素アレイがジグザグの画素ラインに分割されており、これらのジグザグラインは長露光時間と短露光時間とを交互に繰り返している。別のＳＭＥ ＨＤＲイメージセンサタイプであるクアッド（Ｑｕａｄ）ＨＤＲイメージセンサでは、通常のベイヤーカラーフィルタパターンが拡張されて、各カラーフィルタが２×２ブロックの画素をカバーするようになっている。２×２ブロック内では、１つの画素が長い露光時間で露光され、もう１つの画素が短い露光時間で露光され、残りの２つの画素が中間の露光時間で露光される。

【課題を解決するための手段】

【0006】

一実施形態において、空間的多重化露光（ＳＭＥ）ハイダイナミックレンジ（ＨＤＲ）イメージセンサの自動露出方法は、以下を含む：（ａ）前記ＳＭＥ ＨＤＲイメージセンサの露光からＲＡＷ画像データを取得するステップであって、前記ＲＡＷ画像データは、前記ＳＭＥ ＨＤＲイメージセンサの、長露光時間によって特徴付けられる画素からの長露光画素値と、前記ＳＭＥ ＨＤＲイメージセンサの、短露光時間によって特徴付けられる画素からの短露光画素値とを含むステップ、（ｂ）前記長露光画素値および短露光画素値を前処理して、１つ以上の品質要件を満たさない長露光画素値および短露光画素値を除外するステップ、（ｃ）前記前処理するステップの後に残った前記長露光画素値および前記前処理するステップの後に残った前記短露光画素値を、ＨＤＲヒストグラムとして合成するステップ、（ｄ）前記ＨＤＲヒストグラムから良好性メトリックを導出するステップ、（ｅ）前記良好性メトリックに少なくとも部分的に基づいて前記長露光時間および前記短露光時間の少なくとも一方を調整するステップ、（ｆ）調整された前記長露光時間および前記短露光時間の少なくとも一方を、前記ＳＭＥ ＨＤＲイメージセンサに出力するステップ。

【0007】

一実施形態において、ＳＭＥ ＨＤＲイメージセンサの自動露出のための製品は、非一時的メモリ中にエンコードされた機械可読命令を備え得る。前記機械可読命令は、（ａ）プロセッサによって実行されたとき、前記ＳＭＥ ＨＤＲイメージセンサの露光からＲＡＷ画像データを取得するデータ入力命令であって、前記ＲＡＷ画像データは、前記ＳＭＥ ＨＤＲイメージセンサの、長露光時間によって特徴付けられる画素からの長露光画素値と、前記ＳＭＥ ＨＤＲイメージセンサの、短露光時間によって特徴付けられる画素からの短露光画素値とを含む、データ入力命令と、（ｂ）前記プロセッサによって実行されたとき、長露光画素値および短露光画素値を前処理して、１つ以上の品質要件を満たさない長露光画素値および短露光画素値を除外する、前処理命令と、（ｃ）前記プロセッサによって実行されたとき、（ｉ）前記前処理命令の実行後に残った前記長露光画素値および（ｉｉ）前記前処理命令の実行後に残った前記短露光画素値を、ＨＤＲヒストグラムとして合成する、合成命令と、（ｄ）前記プロセッサによって実行されたとき、前記ＨＤＲヒストグラムから良好性メトリックを導出するメトリック命令と、（ｅ）前記プロセッサによって実行されたとき、前記良好性メトリックに少なくとも部分的に基づいて前記長露光時間および前記短露光時間の少なくとも一方を調整する、調整命令と、（ｆ）前記プロセッサによって実行されたとき、前記長露光時間および前記短露光時間の少なくとも一方を出力する、データ出力命令と、を含む。

【0008】

一実施形態において、イメージセンサの自動露出方法は、以下を含む：（ａ）前記イメージセンサの、各露光時間設定における複数の個々の露光のそれぞれからの画素値の複数のヒストグラムのそれぞれについて、前記ヒストグラムの個々のビンから前記ヒストグラムの総エントロピーへの寄与の分散を評価することにより、前記分散の最小値に対応する、前記イメージセンサに対する最適な露光時間を決定するステップ、および（ｂ）前記最適な露光時間を前記イメージセンサに出力するステップ。

【0009】

一実施形態において、イメージセンサの自動露出のための製品は、非一時的メモリ中にエンコードされた機械可読命令を備える。前記機械可読命令は、（ａ）プロセッサによって実行されたとき、前記イメージセンサから画素値を取得する、データ入力命令と、（ｂ）プロセッサによって実行されたとき、前記イメージセンサの、各露光時間設定における複数の個々の露光のそれぞれからの画素値の複数のヒストグラムのそれぞれにわたって、前記ヒストグラムの個々のビンから前記ヒストグラムの総エントロピーへの寄与の分散を評価することにより、前記分散の最小値に対応する、前記イメージセンサに対する最適な露光時間を決定する、エントロピー分散最適化命令と、（ｃ）前記プロセッサによって実行されたとき、前記最適な露光時間を前記イメージセンサに出力する、データ出力命令と、を含む。

【0010】

一実施形態において、空間的多重化露光（ＳＭＥ）ハイダイナミックレンジ（ＨＤＲ）イメージセンサの自動露出方法は、以下を含む：（ａ）前記ＳＭＥ ＨＤＲイメージセンサの露光からＲＡＷ画像データを取得するステップであって、前記ＲＡＷ画像データは、前記ＳＭＥ ＨＤＲイメージセンサの、長露光時間によって特徴付けられる長露光画素からの長露光画素値と、前記ＳＭＥ ＨＤＲイメージセンサの、短露光時間によって特徴付けられる短露光画素からの短露光画素値とを含むステップ、（ｂ）前記ＳＭＥ－ＨＤＲイメージセンサの複数の空間領域のそれぞれについて、前記空間領域における選択された長露光画素の飽和度（ｓａｔｕｒａｔｉｏｎ）レベルを評価するステップ、（ｃ）前記選択された長露光画素の前記長露光画素値が飽和閾値を超えることによって特徴付けられる前記空間領域のそれぞれについて、（ｉ）前記空間領域中の前記短露光画素のための減少した短露光時間および（ｉｉ）前記減少した短露光時間を補償する増加したデジタルゲイン値を決定するステップ、（ｄ）前記選択された長露光画素の前記長露光画素値が前記飽和閾値を超えることによって特徴付けられる前記空間領域のそれぞれについて、前記減少した短露光時間および前記増加したデジタルゲイン値を、前記空間領域中の各短露光画素に出力するステップ。

【0011】

一実施形態において、自動露出機能を備えたハイダイナミックレンジ（ＨＤＲ）撮像システムは、複数の空間領域のそれぞれに対し別々に少なくとも１つの露光時間を調整するように構成された回路を備えたＳＭＥ ＨＤＲイメージセンサを有する。前記ＨＤＲ撮像システムは、プロセッサと、非一時的メモリ中にエンコードされた機械可読命令とをさらに備える。前記機械可読命令は、（ａ）前記プロセッサによって実行されたとき、前記ＳＭＥ ＨＤＲイメージセンサの露光からＲＡＷ画像データを取得するデータ入力命令であって、前記ＲＡＷ画像データは、前記ＳＭＥ ＨＤＲイメージセンサの、長露光時間によって特徴付けられる長露光画素からの長露光画素値と、前記ＳＭＥ ＨＤＲイメージセンサの、短露光時間によって特徴付けられる短露光画素からの短露光画素値とを含む、データ入力命令と、（ｂ）前記プロセッサによって実行されたとき前記空間領域のそれぞれについて、前記空間領域における少なくとも１つの選択された長露光画素の飽和度レベルを評価する飽和度評価命令と、（ｃ）前記プロセッサによって実行されたとき、前記少なくとも１つの選択された長露光画素の前記長露光画素値が飽和閾値を超えることによって特徴付けられる前記空間領域のそれぞれについて、（ｉ）前記空間領域中の各短露光画素のための減少した短露光時間および（ｉｉ）前記減少した短露光時間を補償する増加したデジタルゲイン値を決定する、調整命令と、（ｄ）前記プロセッサによって実行されたとき、前記少なくとも１つの選択された長露光画素の前記長露光画素値が飽和閾値を超えることによって特徴付けられる各空間領域について、前記減少した短露光時間および前記増加したデジタルゲイン値を前記空間領域中の各短露光画素に出力する、データ出力命令と、を含む。

【図面の簡単な説明】

【0012】

【図1】図１は、一実施形態による、ＨＤＲカメラにおける空間的多重化露光（ＳＭＥ）ハイダイナミックレンジ（ＨＤＲ）イメージセンサの自動露出のための、露光時間コントローラを示す。

【図2】図２は、一実施形態による、ＨＤＲカメラにおける空間的多重化露光（ＳＭＥ）ハイダイナミックレンジ（ＨＤＲ）イメージセンサの自動露出のための、露光時間コントローラを示す。

【0013】

【図3】図３は、あるシーンについての輝度ヒストグラムの例を示す。

【0014】

【図4】図４は、一実施形態による、ＳＭＥ ＨＤＲイメージセンサからの長露光画素値および短露光画素値から合成されたＨＤＲヒストグラムから導出される良好性メトリックの評価に少なくとも部分的に基づいて、ＳＭＥ ＨＤＲイメージセンサを自動露出するための露光時間コントローラを示す。

【0015】

【図5】図５は、一実施形態による、ＳＭＥ ＨＤＲイメージセンサの自動露出方法を示す。

【0016】

【図6】図６は、エントロピー分散例のプロットである。

【0017】

【図7】図７は、一実施形態による、ＳＭＥ ＨＤＲイメージセンサからの長露光画素値および短露光画素値から合成されたＨＤＲヒストグラムから導出される良好性メトリックの評価に少なくとも部分的に基づいて、ＳＭＥ ＨＤＲイメージセンサを自動露出するためのコンピュータを示す。

【0018】

【図8】図８は、一実施形態による、複数の多色画素グループを含む画素アレイを有するカラーＳＭＥ ＨＤＲイメージセンサを示す。

【0019】

【図9】図９は、一実施形態による、図８のカラーＳＭＥ ＨＤＲイメージセンサに実装され得る１つの多色三重露光時間画素グループを示す。

【0020】

【図10】図１０は、一実施形態による、カラーＳＭＥ ＨＤＲイメージセンサに対し、カラーＳＭＥ ＨＤＲイメージセンサの各色のＨＤＲヒストグラムを生成し考慮する、自動露出方法を示す。

【0021】

【図11】図１１は、一実施形態による、カラーＳＭＥ ＨＤＲイメージセンサについて、輝度値のＨＤＲヒストグラムを生成し考慮する、自動露出方法を示す。

【0022】

【図12】図１２は、一実施形態による、ジグザグＨＤＲイメージセンサを示す。

【0023】

【図13】図１３は、一実施形態による、クアッドＳＭＥ ＨＤＲカラーイメージセンサを示す。

【0024】

【図14】図１４は、一実施形態による、前処理方法を示す。

【0025】

【図15】図１５は、長露光画素値のヒストグラムの例を示す。

【0026】

【図16】図１６は、短露光画素値のヒストグラムの例を示す。

【0027】

【図17】図１７は、画素値のヒストグラムに対するノイズの影響の例を説明するプロットの例である。

【0028】

【図18】図１８は、一実施形態による、ＨＤＲヒストグラムを合成するための方法を示す。

【0029】

【図19】図１９は、図１８の方法を用いて合成されたＨＤＲヒストグラムの一例を示す。

【0030】

【図20】図２０は、一実施形態による、二重露光時間ＳＭＥ ＨＤＲイメージセンサに対し、まず長露光時間を最適化し次にエントロピー分散に基づいて短露光時間を最適化する、自動露出方法を示す。

【0031】

【図21】図２１は、図２０の方法で算出されたエントロピー分散例のプロットである。

【0032】

【図22】図２２は、一実施形態による、ＳＭＥ ＨＤＲイメージセンサの長露光時間を最適化するための方法を示す。

【0033】

【図23】図２３は、図２２の方法におけるＨＤＲヒストグラム生成と、目標長露光時間の推定の一例を示す。

【図23】図２４は、図２２の方法におけるＨＤＲヒストグラム生成と、目標長露光時間の推定の一例を示す。

【図24】図２４は、図２２の方法におけるＨＤＲヒストグラム生成と、目標長露光時間の推定の一例を示す。

【0034】

【図26】図２６は、図２２の方法で生成された仮のＨＤＲヒストグラムの例である。

【0035】

【図27】図２７は、図２２の方法において出力された最適な長露光時間に従ってシフトされたＨＤＲヒストグラムの例である。

【0036】

【図28】図２８は、図２２の方法において考慮されるＨＤＲヒストグラムの例である。

【図29】図２９は、図２２の方法において考慮されるＨＤＲヒストグラムの例である。

【図30】図３０は、図２２の方法において考慮されるＨＤＲヒストグラムの例である。

【図31】図３２は、図２２の方法において考慮されるＨＤＲヒストグラムの例である。

【0037】

【図32】図３２は、一実施形態による、シーンのダイナミックレンジを縮小するための勾配フィルタを含む１つのＨＤＲカメラを示す図である。

【図33】図３３は、一実施形態による、シーンのダイナミックレンジを縮小するための勾配フィルタを含む１つのＨＤＲカメラを示す図である。

【0038】

【図34】図３４は、一実施形態による、勾配フィルタを使用してＨＤＲカメラによって撮影されたときのシーンの元のダイナミックレンジの少なくとも一部を再構成するための方法を示す。

【0039】

【図35】図３５は、一実施形態による、映像ストリームの時間的明度不安定性をキャプチャ後に減少させる場合の、ＳＭＥ ＨＤＲイメージセンサによる映像ストリームキャプチャの自動露出のための方法を示している。

【0040】

【図36】図３６は、一実施形態による、将来のシーンの予測される明度に応じて自動露出を最適化する、ＳＭＥ ＨＤＲイメージセンサによる映像ストリームキャプチャの自動露出のための方法を示す。

【0041】

【図37】図３７は、一実施形態による、局所露光時間制御を有するＳＭＥ ＨＤＲイメージセンサを示す。

【0042】

【図38】図３８は、一実施形態による、ＳＭＥ ＨＤＲイメージセンサの局所的自動露出のための方法を示す。

【0043】

【図39】図３９は、一実施形態による、エントロピー分散の最小化に少なくとも部分的に基づいて、ＳＭＥ ＨＤＲイメージセンサを自動露出するための露光時間コントローラを示す。

【0044】

【図40】図４０は、一実施形態による、エントロピー分散の最小化に少なくとも部分的に基づいて、ＳＭＥ ＨＤＲイメージセンサを自動露出するための方法を示す。

【0045】

【図41】図４１は、一実施形態による、エントロピー分散の最小化に少なくとも部分的に基づいて、ＳＭＥ ＨＤＲイメージセンサを自動露出するためのコンピュータを示す。

【0046】

【図42】図４２は、一実施形態による、エントロピー分散の最小化に少なくとも部分的に基づいて、単一露光時間イメージセンサを自動露出するための露光時間コントローラを示す。

【0047】

【図43】図４３は、一実施形態による、エントロピー分散の最小化に少なくとも部分的に基づいて、単一露光時間イメージセンサを自動露出するための方法を示す。

【0048】

【図44】図４４は、一実施形態による、エントロピー分散の最小化に少なくとも部分的に基づいて、単一露光時間イメージセンサを自動露出するためのコンピュータを示す。

【0049】

【図45】図４５は、一実施形態による、ＳＭＥ ＨＤＲイメージセンサの長露光画素の飽和度レベルに基づいて、ＳＭＥ ＨＤＲイメージセンサを自動露出するための露光時間コントローラを示す。

【0050】

【図46】図４６は、一実施形態による、その画素アレイの複数の局所的空間領域に対して別々の短露光時間制御を有する１つのＳＭＥ ＨＤＲイメージセンサを示す。

【0051】

【図47】図４７は、一実施形態による、ＳＭＥ ＨＤＲイメージセンサの各分光感度クラスおよび露光時間を代表する画素の各局所グループに対して別々の短露光時間制御を有するような、１つのＳＭＥ ＨＤＲイメージセンサを示す。

【0052】

【図48】図４８は、一実施形態による、ＳＭＥ ＨＤＲイメージセンサの長露光画素の飽和度レベルに基づいてＳＭＥ ＨＤＲイメージセンサを自動露出するための方法を示す。

【0053】

【図49】図４９は、一実施形態による、長露光画素の飽和度レベルに基づいてＳＭＥ ＨＤＲイメージセンサを自動露出するための１つのコンピュータを示す。

【発明を実施するための形態】

【0054】

実施形態例の説明
本明細書において、空間的多重化露光（ＳＭＥ）ハイダイナミックレンジ（ＨＤＲ）イメージセンサの自動露出のためのシステムおよび方法、ならびにＳＭＥ ＨＤＲイメージセンサを用い、自動露出機能を備えたカメラシステムを開示する。本開示のシステムおよび方法の特定の実施形態は、ＳＭＥ ＨＤＲイメージセンサの自動露出以外にも適用可能である。

【0055】

図１および図２は、ＨＤＲカメラ１０２におけるＳＭＥ ＨＤＲイメージセンサ１１０の自動露出のための１つの露光時間コントローラ１００を示す。図１は、一使用例におけるＨＤＲカメラ１０２に実装された露光時間コントローラ１００を示す図である。図２は、ＨＤＲカメラ１０２における露光時間コントローラ１００の機能を示す機能ブロック図である。図１と図２は共に参照するのが最適である。

【0056】

図１の使用シナリオでは、ＨＤＲカメラ１０２は、少なくとも人物ら１９２が太陽１９６によって逆光になっているため、太陽１９６によって直接照らされたシーン１９０の部分よりも人物ら１９２の顔１９４が大幅に暗くなっているような、ハイダイナミックレンジを有するシーン１９０のＨＤＲ画像を生成する。ＨＤＲ撮像を可能にする目的で、ＳＭＥ ＨＤＲイメージセンサ１１０の感光性の画素アレイ２２０は、複数の長露光画素２２２と、複数の短露光画素２２４とを含む。長露光画素２２２は長露光時間２９２で動作するように構成され、短露光画素２２４は短露光時間２９４で動作するように構成されている。例えばシーン１９０のダイナミックレンジをキャプチャするために必要なようなＨＤＲ画像を生成する場合、長露光時間２９２は、短露光時間２９４よりも長い。しかし、いくつかの実施形態において、ＳＭＥ ＨＤＲイメージセンサ１１０は、シーンのダイナミックレンジがＨＤＲ画像を必要としない場合、またはＨＤＲカメラ１０２のユーザーがＨＤＲ機能を無効にした場合には、等しい長露光時間２９２と短露光時間２９４で動作するように構成されてもよい。

【0057】

図２に示した画素アレイ２２０における長露光画素２２２および短露光画素２２４のレイアウトは、画素アレイ２２０の可能な構成の一例に過ぎないことを理解されたい。本開示の範囲から逸脱することなく、画素アレイ２２０は、長露光画素２２２および短露光画素２２４を、図２に示すレイアウトとは異なるように配置してもよい。しかしながら、ＨＤＲ画像を実現するために、画素アレイ２２０は、例えば、図２の画素グループ２２６によって示されるように、各長露光画素２２２が少なくとも１つの短露光画素２２４に隣接または近接し、その逆もまた同様であるように、モザイク状に長露光画素２２２および短露光画素２２４を配置する。

【0058】

ＳＭＥ ＨＤＲイメージセンサ１１０は、画素アレイ２２０によって撮影された各フレームが、長露光画素２２２および短露光画素２２４の両方の画素値を含むように、画素アレイ２２０のすべての画素を１回の「ショット」で露光する。比較して、時間的多重露光ＨＤＲカメラは、同じ画素アレイの異なる画素に異なる露光時間を適用することができない。代わりに、時間的多重露光ＨＤＲカメラは、標準的な単一露光時間画素アレイを備え、２つ（またはそれ以上）の異なるそれぞれの露光時間で２つ（またはそれ以上）のフルフレームを順次撮影する。

【0059】

露光時間コントローラ１００は、シーン１９０に最適な拡張化ダイナミックレンジを実現するために、長露光時間２９２および短露光時間２９４の少なくとも一方を調整するように構成されている。

【0060】

図３は、シーン１９０などのシーンの輝度ヒストグラム３００の一例を示している。典型的な単一露光時間イメージセンサは、ダイナミックレンジ３１０を有する。このような単一露光時間イメージセンサの自動露出は、ダイナミックレンジ３１０を輝度ヒストグラム３００の最も重要な部分に移動させることができる。しかし、その位置にかかわらず、ダイナミックレンジ３１０は、輝度ヒストグラム３００の信号のかなりの部分を逃してしまう。これに対して、長露光画素２２２と短露光画素２２４とが共存することで、ＳＭＥ ＨＤＲイメージセンサ１１０は、ダイナミックレンジ３１０よりも大きい（ハイダイナミックレンジ３２０などの）ハイダイナミックレンジを実現することができる。長露光画素２２２および短露光画素２２４のそれぞれは、ダイナミックレンジ３１０と同様のダイナミックレンジを有していてもよいが、長露光画素２２２および短露光画素２２４のダイナミックレンジが協働することで、より高いダイナミックレンジを撮像することができる。

【0061】

再び図１および図２を参照して、露光時間コントローラ１００は、輝度ヒストグラム３００中の信号を最もよくキャプチャする長露光時間２９２および短露光時間２９４の値を決定するように構成されている。したがって、露光時間コントローラ１００は、ハイダイナミックレンジ３２０の位置と範囲の両方を調整して、シーン１９０のダイナミックレンジを最もよくキャプチャするようにし得る。

【0062】

露光時間コントローラ１００は、画素アレイ２２０の露光からＲＡＷ画像データ２８０を取得する。画素アレイ２２０によってキャプチャされた各フレームにつき、ＲＡＷ画像データ２８０は、（ａ）それぞれの長露光画素２２２からの長露光画素値２８２と、（ｂ）それぞれの短露光画素２２４からの短露光画素値２８４の両方を含む。露光時間コントローラ１００は、ＲＡＷ画像データ２８０の１つ以上のフレームを処理し、シーン１９０のダイナミックレンジ特性について長露光時間２９２および短露光時間２９４を調整する。露光時間コントローラ１００は、長露光時間２９２および短露光時間２９４の値を含んだ調整済み露光時間セット２９０を、ＳＭＥ ＨＤＲイメージセンサ１１０に伝達する。露光時間コントローラ１００は、長露光時間２９２および短露光時間２９４の一方または両方を調整してよい。

【0063】

一態様において、露光時間コントローラ１００は、反復的プロセスによって露光時間セット２９０を最適化する。この反復的プロセスにおいて、露光時間コントローラは、（ａ）ＳＭＥ ＨＤＲイメージセンサ１１０からＲＡＷ画像データ２８０のフレームを取得し、（ｂ）長露光画素値２８２および短露光画素値２８４に基づいて長露光時間２９２および短露光時間２９４の一方または両方を調整し、（ｃ）調整済み露光時間ステップ２９０をＳＭＥ ＨＤＲイメージセンサ１１０に伝達する、という複数回の反復を行う。後続の各反復は、先行する反復で受けとった調整済み露光時間セット２９０に従ってキャプチャされたＲＡＷ画像データ２８０に基づいている。別の態様において、露光時間コントローラ１００は、それぞれが異なる露光時間セット２９０を使用してキャプチャされたいくつかの異なるフレームからのＲＡＷ画像データ２８０の分析に基づいて、非反復的な方法で露光時間セット２９０を最適化する。

【0064】

ＨＤＲカメラ１０２は、例えば露光時間コントローラ１００によるＳＭＥ ＨＤＲイメージセンサ１１０の自動露出後に撮影されたようなＲＡＷ画像データ２８０から、ＨＤＲ画像２７０を生成する、ＨＤＲ画像生成器２５０をさらに含んでもよい。

【0065】

図４は、ＳＭＥ ＨＤＲイメージセンサからの長露光画素値および短露光画素値から合成されたＨＤＲヒストグラムから得られる良好性メトリックの評価に少なくとも部分的に基づいて、ＳＭＥ ＨＤＲイメージセンサを自動露出するための１つの露光時間コントローラ４００を示す。露光時間コントローラ４００は、露光時間コントローラ１００の一実施形態であり、ＨＤＲカメラ４０２（ＨＤＲカメラ１０２の一実施形態）内において、ＳＭＥ ＨＤＲイメージセンサ１１０とともに実装されてもよい。あるいは、露光時間コントローラ４００は、サードパーティのＳＭＥ ＨＤＲイメージセンサとともに実装されるスタンドアローン製品として提供されてもよい。

【0066】

露光時間コントローラ４００は、プリプロセッサ４２０と、合成器４３０と、調整器４４０とを含む。調整器４４０は、メトリック評価器４４２を含む。露光時間コントローラ４００は、データ入力ハンドラ４１０およびデータ出力ハンドラ４５０の一方または両方をさらに含んでもよい。

【0067】

動作時において、プリプロセッサ４２０は、ＳＭＥ ＨＤＲイメージセンサ１１０の露光からの（すなわち、ＳＭＥ ＨＤＲイメージセンサ１１０によってキャプチャされた１つのフレームからの）ＲＡＷ画像データ２８０の、長露光画素値２８２および短露光画素値２８４を処理する。データ入力ハンドラ４１０が、ＲＡＷ画像データ２８０をＳＭＥ ＨＤＲイメージセンサ１１０から取得してもよい。プリプロセッサ４２０による前処理の後、合成器４３０は、長露光画素値２８２および短露光画素値２８４を画素値のＨＤＲヒストグラムとして合成する。調整器４４０は、メトリック評価器４４２を利用して、ＨＤＲヒストグラムの良好性メトリックを評価する。この良好性メトリックに少なくとも部分的に基づいて、調整器４４０は、調整済み露光時間セット２９０を生成する。データ出力ハンドラ４５０は、調整済み露光時間セット２９０をＳＭＥ ＨＤＲイメージセンサ１１０に伝達してもよい。

【0068】

一実施形態において、露光時間コントローラ４００は、顔検出器４６０をさらに含む。顔検出器４６０は、ＳＭＥ ＨＤＲイメージセンサ１１０から受けとった画像データ、例えばデータ入力ハンドラ４１０によって取得されたＲＡＷ画像データ２８０を処理して、顔１９４など、ＳＭＥ ＨＤＲイメージセンサ１１０によってキャプチャされた画像内の１つ以上の顔を検出する。この実施形態において、調整器４４０は、露光時間セット２９０を調整するために、顔検出器４６０によって検出された１つ以上の顔の露光をさらに考慮してもよい。この実施形態の一例では、調整器４４０は、顔検出器４６０によって検出された１つ以上の顔の良好性メトリックおよび露光をまとめて考慮することにより、顔（複数可）の適切な露光およびＨＤＲヒストグラムの全般的なダイナミックレンジの理想的なキャプチャの両方のために、露光時間セット２９０を最適化する。調整器４４０は、事前に構成された設定またはユーザー定義可能な設定に従って、これらの２つのメトリックをトレードオフするように構成されてもよい。

【0069】

露光時間コントローラ４００は、結合器４１６をさらに含んでもよい。結合器４１６の機能については、主に図１１を参照して後述する。

【0070】

ＨＤＲカメラ４０２は、例えば露光時間コントローラ４００によるＳＭＥ ＨＤＲイメージセンサ１１０の自動露出後にキャプチャされたようなＲＡＷ画像データ２８０から、ＨＤＲ画像２７０を生成する、ＨＤＲ画像生成器２５０をさらに含んでもよい。

【0071】

図５は、ＳＭＥ ＨＤＲイメージセンサの１つの自動露出方法５００を示す。方法５００は、例えば、ＨＤＲカメラ１０２内のＳＭＥ ＨＤＲイメージセンサ１１０を自動露出するために、露光時間コントローラ４００によって実行され得る。

【0072】

ステップ５１０において、方法５００は、ＳＭＥ ＨＤＲイメージセンサの露光から、ＳＭＥ ＨＤＲイメージセンサの、長露光時間によって特徴付けられる画素からの長露光画素値と、ＳＭＥ ＨＤＲイメージセンサの、短露光時間によって特徴付けられる画素からの短露光画素値とを含む、ＲＡＷ画像データを取得する。各長露光画素値には、少なくとも１つの対応する短露光画素値があり、その逆もまた同様である。対応する長露光および短露光画素値の各そのようなグループは、隣接するまたは近接する長露光および短露光画素に由来する。例えば、画素グループ２２６は、長露光画素値２８２および短露光画素値２８４の空間的に関連するグループを生成する。ステップ５１０の一例において、データ入力ハンドラ４１０が、ＳＭＥ ＨＤＲイメージセンサ１１０の露光からＲＡＷ画像データ２８０の１フレームを取得する。

【0073】

ステップ５２０において、方法５００は、ステップ５１０で取得された長露光画素値および短露光画素値を前処理して、１つ以上の品質要件を満たさない長露光画素値および短露光画素値を除外する。ステップ５２０は、長露光画素値および短露光画素値を別々にフィルタリングするステップ５２２を含んでもよい。ステップ５２２は、飽和している長露光画素値と、ノイズの影響を大きく受けている短露光画素値を除いてもよい。また、ステップ５２０は、動きアーティファクトの影響を受けている長露光画素値および短露光画素値を除去してもよい。長露光画素値および短露光画素値がＳＭＥ ＨＤＲイメージセンサの同じ露光に由来するものであっても、長露光時間と短露光時間との違いにより、シーンの非静的領域において長露光画素値と短露光画素値との間に不整合が生じることがある。これらの動きアーティファクトは、長露光と短露光とが少なくとも完全な１読み出しサイクルで分離されている、時間的多重化露光（ｔｅｍｐｏｒａｌｌｙ－ｍｕｌｔｉｐｌｅｘｅｄ－ｅｘｐｏｓｕｒｅ）ＨＤＲカメラで発生するものほどひどくはない。一実施形態において、ステップ５２０は、長露光画素値および短露光画素値からノイズの影響を除去するステップ５２４を含む。プリプロセッサ４２０は、長露光画素値２８２および短露光画素値２８４に対してステップ５２０を実行し得る。

【0074】

ステップ５２０の前処理の後、残りの長露光画素値のいくつかは、空間的に関連する残りの短露光画素値をもはや有しておらず、残りの短露光画素値のいくつかは、空間的に関連する残りの長露光画素値をもはや有していないかもしれない。しかし、いくつかの空間的に関連する長露光および短露光画素値のグループは、依然としてそのままであるか、または少なくとも１つの長露光画素値および１つの短露光画素値を依然として含んでい得る。

【0075】

ステップ５３０において、方法５００は、ステップ５２０の後に残った長露光画素値および短露光画素値を、ＨＤＲヒストグラムとして合成する。ステップ５３０の一例において、合成器４３０は、ステップ５２０による前処理の後にプリプロセッサ４２０から受け取った長露光画素値２８２および短露光画素値２８４を合成する。

【0076】

ステップ５４０において、方法５００は、ステップ５３０で合成されたＨＤＲヒストグラムから良好性メトリックを導出する。良好性メトリックは、以下などのような１つ以上のパラメータに基づいてもよい。すなわち、（ａ）ＨＤＲヒストグラムにおける露光過多または露光不足の画素の数、（ｂ）ＨＤＲヒストグラムの下端および／または上端でクリップされた画素の数、（ｃ）ＨＤＲヒストグラムの統計的パラメータ（例えば、平均、加重平均、または中央値）、（ｄ）ヒストグラムから算出された総エントロピー（例えばS_total = -Σp_ilog₂(p_i)）（ここでp_iは、ＨＤＲヒストグラムのｉ番目のビンにおける相対的なカウントであり、合計はＨＤＲヒストグラムのすべてのビン_ｉにわたる）、（ｅ）重み付けされた総エントロピーS_total、（ｆ）ノイズによるエントロピーS_noise、（ｇ）F = S_total- S_noiseとして求められる有用エントロピー、（ｈ）総エントロピーに対する個々のビンの寄与のＨＤＲヒストグラム全体にわたっての分散（例えばVar(S_i)、ここで、S_i = -p_ilog₂(p_i)）、および（ｉ）遷移点ノイズ差異（本明細書において、ＳＭＥ ＨＤＲイメージセンサによってキャプチャされた画像データからのＨＤＲ画像の生成において、長露光画素値と短露光画素値との使用の遷移点における長露光画素値と短露光画素値との間のノイズ差異として定義される）である。良好性メトリックが複数のパラメータを含む態様では、良好性メトリックは、このようなパラメータの加重和であってもよい。重みの大きさは、パラメータの値が低い方が有利と判断されるか、高い方が有利と判断されるかに応じて設定されてもよい。ステップ５４０の一例では、メトリック評価器４４２は、合成器４３０によって合成されたＨＤＲヒストグラムから良好性メトリックを導出する。

【0077】

ステップ５５０において、方法５００は、ＳＭＥ ＨＤＲイメージセンサの長露光時間および短露光時間の少なくとも一方を調整する。ステップ５５０は、この調整を良好性メトリックに少なくとも部分的に基づいて行い、ステップ５５０によって行われた調整は、この良好性メトリックを改善しようとするものである。例えば、ステップ５５０は、長露光時間および／または短露光時間を調整することにより、有用エントロピーを最大化するか、Var(S_i)および遷移点ノイズ差異をまとめて最小化するか、ＨＤＲヒストグラムの上端および／または下端でのクリッピングを低減するか、あるいは、ステップ５４０を参照して上述したうち別の良好性メトリックを最適化してもよい。ステップ５５０は、複合的な良好性メトリックのいくつかの側面を考慮し、異なる側面に基づいて異なる調整を行ってもよい。ステップ５５０の一例では、調整器４４０は、ステップ５４０で決定された良好性メトリックに少なくとも部分的に基づいて、長露光時間２９２および短露光時間２９４の一方または両方を調整し、得られた調整済み露光時間セット２９０を出力する。

【0078】

図６は、方法５００のステップ５４０の複数回の繰り返しで算出され得るエントロピー分散のプロット６００の例である。プロット６００では、Var(S_i)を、長露光時間と短露光時間との固定比が１６である、長露光時間の関数として示している。プロット６００は、約５ミリ秒の長露光時間においてエントロピー分散Var(S_i)の最小値を示している。したがって、プロット６００のデータに基づくステップ５５０の一例では、ステップ５５０は、最適な長露光時間が約５ミリ秒であると判断してもよい。

【0079】

方法５００のステップ５５０は、プロット６００に示されているようなデータを利用して、そして任意に他のファクターも考慮しながら、最適な露光時間を決定してもよい。ステップ５５０は、エントロピー分散Var(S_i)を、長露光時間の関数として（例えば、図６に示すように）、短露光時間の関数として、または、短露光時間および長露光時間の両方の関数として考慮してもよい。

【0080】

一実施形態において、方法５００は、ＳＭＥ ＨＤＲイメージセンサによって生成された画像内の１つ以上の顔を検出するステップ５６０をさらに含む。方法５００のこの実施形態では、ステップ５５０は、検出された顔（複数可）の露光を改善するステップ５５２を含む。顔検出器４６０は、ステップ５６０を実行し得る。ステップ５５２は、検出された顔（複数可）の明度を目標明度と比較し、それに応じて長露光時間を、（任意に、良好性メトリックに応じた露光時間の最適化とのトレードオフで）スケーリングしてもよい。例えば、ステップ５５０は、ステップ５５２において、顔の露光を改善するために長露光時間を調整し、次に、ステップ５４０の良好性メトリックを改善するために短露光時間を調整してもよい。

【0081】

ステップ５７０において、方法５００は、ステップ５５０で調整された露光時間セットを、ＳＭＥ ＨＤＲイメージセンサに出力する。ステップ５７０の一例において、データ出力ハンドラ４５０は、調整済み露光時間セット２９０をＳＭＥ ＨＤＲイメージセンサ１１０に出力する。

【0082】

方法５００は、ステップ５１０で取得されるＲＡＷ画像データをキャプチャするステップ５０２をさらに含んでもよい。ステップ５０２の一例において、ＳＭＥ ＨＤＲイメージセンサ１１０は、ＲＡＷ画像データ２８０をキャプチャする。

【0083】

一態様において、方法５００は、ステップ５１０、５２０、５３０、５４０、５５０（任意にステップ５６０が先行し、ステップ５５２を含む）、および５７０、ならびに任意にステップ５０２の数回の反復を実行して、ＳＭＥ ＨＤＲイメージセンサの露光時間を反復的に最適化する。この態様において、各反復（初回を除く）は、先行する反復で調整された通りの露光時間で生成されたＲＡＷ画像データに基づいている。１つの反復的最適化プロセスの異なる反復は、異なる良好性メトリックおよび／または顔の露光を強調してもよい。例えば、初期の反復においては、長露光時間を調整することにより、ＨＤＲヒストグラムの下端でのクリッピングを低減および／または顔の露光を改善し、一方、後の反復においては、短露光時間を調整し、かつ長露光時間をより小さく調整することにより、エントロピー系のメトリックなどのＨＤＲヒストグラムから導出される良好性メトリックを最適化してもよい。

【0084】

本開示の範囲から逸脱することなく、方法５００は、反復的最適化を行う代わりに、ステップ５１０、５２０、５３０、および５４０（および任意にステップ５６０および５０２の一方または両方）の何回かの繰り返しを実行して、長露光時間および／または短露光時間の関数として、良好性メトリック（および任意に顔の露光）をマッピングしてもよい。この代替的な態様において、ステップ５５０は、良好性メトリックを最適化する、または良好性メトリックおよび顔の露光をまとめて最適化するような露光時間セットを選択し、ステップ５７０は、選択された露光時間セットをＳＭＥ ＨＤＲイメージセンサに出力する。

【0085】

図５には示していないが、方法５００は、ステップ５１０、５２０、５３０、５４０、５５０、および５７０（および任意に５６０）の反復または繰り返しによってＳＭＥ ＨＤＲイメージセンサ１１０の自動露出後にキャプチャされたＲＡＷ画像データから、ＨＤＲ画像（例えば、ＨＤＲ画像２７０）を生成するステップをさらに含んでもよい。ＨＤＲ画像生成装置２５０が、ＨＤＲ画像を生成するこのステップを実行し得る。

【0086】

図７は、ＳＭＥ ＨＤＲイメージセンサからの長露光画素値および短露光画素値から合成されたＨＤＲヒストグラムから導出される良好性メトリックの評価に少なくとも部分的に基づいて、ＳＭＥ ＨＤＲイメージセンサを自動露出するための１つのコンピュータ７００を示す。コンピュータ７００は、露光時間コントローラ４００の一実施形態であり、ＨＤＲカメラ４０２内において、ＳＭＥ ＨＤＲイメージセンサ１１０とともに実装され得る。あるいは、コンピュータ７００は、サードパーティのＳＭＥ ＨＤＲイメージセンサとともに実装されるスタンドアローン製品として提供されてもよい。コンピュータ７００は、プロセッサ７１０、非一時的メモリ７２０、およびインターフェース７９０を含む。メモリ７２０は、機械可読命令７３０を含み、動的データ記憶域７６０をさらに含んでもよい。

【0087】

機械可読命令７３０は、データ入力命令７３２、前処理命令７４０、合成命令７４２、調整命令７４６、メトリック命令７４８、およびデータ出力命令７３４を含み、プロセッサ７１０による実行時に、方法５００のステップ５１０、５２０、５３０、５５０、５４０、および５７０をそれぞれ実行する。データ入力命令７３２は、インターフェース７９０を介してＲＡＷ画像データ２８０を取得するように構成されており、データ出力命令７３４は、インターフェース７９０を介して露光時間セット２９０を出力するように構成されている。機械可読命令７３０は、プロセッサ７１０による実行時に、方法５００のステップ５６０および５２４をそれぞれ実行する顔検出命令７５０およびノイズ除去命令７５２の一方または両方をさらに含んでもよい。

【0088】

特定の実施形態において、機械可読命令７３０は、プロセッサ７１０による実行時に、データ入力命令７３２、前処理命令７４０、合成命令７４２、調整命令７４６、メトリック命令７４８、およびデータ出力命令７３４に従って、方法５００の数回の反復の実行を行う反復命令７５４を含み、任意に、顔検出命令７５０およびノイズ除去命令７５２の一方または両方を含む。

【0089】

動的データ記憶域７６０は、以下のうち１つ以上を記憶してもよい。すなわち、（ａ）プロセッサ７１０によるデータ入力命令７３２の実行時にインターフェース７９０を介して受けとられ、プロセッサ７１０による前処理命令７４０の実行時に前処理された長露光画素値２８２および短露光画素値２８４、（ｂ）プロセッサ７１０による合成命令７４２の実行時に生成されたＨＤＲヒストグラム７７０、（ｃ）プロセッサ７１０によるメトリック命令７４８の実行時に生成された良好性メトリック値７７２、およびプロセッサ７１０による調整命令７４６の実行時に調整された長露光時間２９２および短露光時間２９４である。

【0090】

機械可読命令７３０は、プロセッサ７１０と協働して結合器４１６の実施形態を形成する、結合命令７３６をさらに含んでもよい。

【0091】

プロセッサ７１０と協働して、データ入力命令７３２、前処理命令７４０、合成命令７４２、調整命令７４６、メトリック命令７４８、データ出力命令７３４、顔検出命令７５０、および結合命令７３６は、データ入力ハンドラ４１０、プリプロセッサ４２０、合成器４３０、調整器４４０、メトリック評価器４４２、データ出力ハンドラ４５０、顔検出器４６０、および結合器４１６のそれぞれの実施形態を形成する。ノイズ除去命令７５２は、プリプロセッサ４２０に実装されてもよい。反復命令７５４は、露光時間コントローラ４００に実装されてもよい。

【0092】

機械可読命令７３０は、サードパーティのプロセッサ７１０およびインターフェース７９０とともに実装されるために、非一時的メモリにエンコードされたスタンドアローンのソフトウェア製品として提供されてもよいことが理解される。

【0093】

ＳＭＥ ＨＤＲイメージセンサは、各露光において２つより多くの異なる露光時間、例えば、長露光時間、中露光時間、および短露光時間を利用するように構成されていてもよい。図１～７を参照して上述したシステムおよび方法は、そのようなＳＭＥ ＨＤＲイメージセンサと連携するように容易に拡張される。したがって、本開示の範囲から逸脱することなく、ＳＭＥ ＨＤＲイメージセンサ１１０は、長露光画素２２２および短露光画素２２４に加えて、中露光画素の１つ以上のセットを含んでもよく、ここで中露光画素の各セットは、長露光時間２９２よりも短く、短露光時間２９４よりも長いそれぞれの中露光時間で露光される。ＳＭＥ ＨＤＲイメージセンサ１１０のそのような実施形態は、ＲＡＷ画像データ２８０の各フレームにおいて、長露光画素値２８２、短露光画素値２８４、さらに、中露光画素の１つ以上のセットのそれぞれによって生成された中露光画素値の１つ以上のセットを出力する。例えば、各画素グループ２２６は、同じ空間領域に位置する１つ以上の中露光画素によって拡張されてもよい。

【0094】

これに対応して、露光時間コントローラ１００は、そのような中露光画素値をさらに含むＲＡＷ画像データ２８０を処理してもよい。３つ以上の異なる露光時間に基づく実施形態は、２つの異なる露光時間に限定された実施形態と比較して、ハイダイナミックレンジ３２０をさらに拡張し得る。代替的に、またはこれとの組み合わせとして、追加的な露光時間（複数可）が、ＳＭＥ ＨＤＲイメージセンサに対するビット深度またはノイズ要件を低減する役割を果たすか、または自動露出プロセスにおいて少なくとも１つの追加的な自由度を提供し得る。

【0095】

ここで露光時間コントローラ４００を参照して、データ入力ハンドラ４１０、プリプロセッサ４２０、および合成器４３０のそれぞれは、中露光画素値の１つ以上のセットをＲＡＷ画像データ２８０の一部としてさらに処理するように構成されてもよい。具体的には、プリプロセッサ４２０は、中露光画素値の各セットから、飽和した中露光画素値およびノイズの影響を大きく受けている中露光画素値の両方を除いてもよい。調整器４４０およびデータ出力ハンドラ４５０のそれぞれは、１つ以上の中露光時間を露光時間セット２９０の一部として処理するように構成されてもよい。同様に、方法５００について、ステップ５０２、５１０、５２０、および５３０（および特定の実施形態においてはステップ５６０も）のそれぞれは、長露光画素値および短露光画素値に加えて、中露光画素値の１つ以上のセットを処理するように適応されてもよく、ステップ５５０および５７０のそれぞれは、長露光時間および短露光時間に加えて、１つ以上の中露光時間を処理するように適応されてもよい。つまり、コンピュータ７００は、中露光画素値の１つ以上のセットおよび１つ以上の中露光時間をさらに処理するように同様に構成されてもよい。

【0096】

１つ以上の中露光時間を含む実施形態では、遷移点ノイズ差異は、持続時間の面で互いに隣接する２つの露光時間の間の遷移点ノイズ差異を参照してもよい。例えば、長露光時間、単一の中露光時間、および短露光時間を有する実施形態では、遷移点ノイズ差異は、長露光画素値と中露光画素値との間、および／または中露光画素値と短露光画素値との間で評価されてもよい。

【0097】

図１～７を参照して上述した実施形態は、モノクロＳＭＥ ＨＤＲイメージセンサおよびカラーＳＭＥ ＨＤＲイメージセンサの両方に適用可能である。カラーＳＭＥ ＨＤＲイメージセンサの場合、長露光画素値および短露光画素値（そして該当する場合には、中露光画素値の各セット）はそれぞれ、３色などの複数の異なる色の画素値を含む。例えば、各画素グループ２２６は、（ａ）３つの異なる色にそれぞれ感度を有する３つの長露光画素２２２と、（ｂ）３つの異なる色にそれぞれ感度を有する３つの短露光画素２２４（そして該当する場合には、３つの異なる色にそれぞれ感度を有する３つの中露光画素の１つ以上のグループ）とを含むように拡張されてもよい。露光時間コントローラ１００、露光時間コントローラ４００、方法５００、およびコンピュータ７００は、まず、異なる色を結合して、輝度を表す長露光画素値および短露光画素値（そして該当する場合には、中露光画素値の１つ以上のセット）を生成し、その後、上述のように進み、これらの露光時間別輝度値に基づいて露光時間（複数可）を決定するように構成されてもよい。露光時間コントローラ４００は、異なる色を結合するための結合器４１６を採用してもよい。あるいは、露光時間コントローラ１００、露光時間コントローラ４００、方法５００、およびコンピュータ７００は、少なくとも露光時間セットを調整する時点まで、異なる色を別々に処理するように構成されてもよく、そしてこの時点において、各露光時間はすべての色に対して一様に定義されてもよい。

【0098】

図８は、複数の多色画素グループ８３０を含む画素アレイ８２０を有する１つのカラーＳＭＥ ＨＤＲイメージセンサ８１０を示す。カラーＳＭＥ ＨＤＲイメージセンサ８１０はＳＭＥ ＨＤＲイメージセンサ１１０の一実施形態であり、画素アレイ８２０は画素アレイ２２０の一実施形態であり、画素グループ８３０は画素グループ２２６の一実施形態である。各画素グループ８３０は、長露光画素８３２および短露光画素８３４を含む。長露光画素８３２および短露光画素８３４は、長露光画素２２２および短露光画素２２４の一実施形態である。各画素グループ８３０内において、長露光画素８３２は色別画素８４２Ｌ、８４４Ｌ、８４６Ｌを含み、短露光画素８３４は色別画素８４２Ｓ、８４４Ｓ、８４６Ｓを含む。画素８４２Ｌおよび８４２Ｓは第１の色に対し感度を有し、画素８４４Ｌおよび８４４Ｓは第２の色に対し感度を有し、画素８４６Ｌおよび８４６Ｓは第３の色に対し感度を有する。第１、第２、および第３の色は、それぞれ、赤、緑、および青であってもよい。各画素グループ８３０は、色別画素８４２Ｌ、８４４Ｌ、８４６Ｌ、８４２Ｓ、８４４Ｓ、および８４６Ｓのいずれか１つの、２つ以上のインスタンスを含んでもよい。例えば、図８に示すように、各画素グループ８３０は、画素８４４Ｌの２つのインスタンスと、画素８４４Ｓの２つのインスタンスとを含んでいてもよい。

【0099】

図９は、カラーＳＭＥ ＨＤＲイメージセンサ８１０に実装され得る１つの多色三重露光時間画素グループ９３０を示す。画素グループ９３０は、少なくとも１セットの中露光画素９３６をさらに含む画素グループ８３０の一実施形態である。中露光画素９３６の各セットは、長露光時間よりも短く、短露光時間よりも長い中露光時間で露光される。中露光画素９３６の各セットは、第１、第２、および第３の色にそれぞれ感度を有する色別画素９４２Ｍ、９４４Ｍ、および９４６Ｍを含む。各画素グループ９３０は、色固有の画素８４２Ｌ、８４４Ｌ、８４６Ｌ、８４２Ｓ、８４４Ｓ、８４６Ｓ、９４２Ｍ、９４４Ｍ、および９４６Ｍのいずれか１つの、２つ以上のインスタンスを含んでもよい。例えば、図９に破線の箱型領域で示されるように、各画素グループ９３０は、画素８４４Ｌの２つのインスタンスと、画素８４４Ｓの２つのインスタンスと、画素９４４Ｍの２つのインスタンスとを含んでもよい。複数セットの中露光画素９３６を含む画素グループ９３０の実施形態では、中露光画素９３６の各セットは、異なるそれぞれの露光時間で露光される。

【0100】

図１０は、カラーＳＭＥ ＨＤＲイメージセンサに対し、カラーＳＭＥ ＨＤＲイメージセンサの各色のＨＤＲヒストグラムを生成し考慮する、１つの自動露出方法１０００を示す。方法１０００は、方法５００の一実施形態である。方法１０００は、例えば、ＨＤＲカメラ１０２におけるカラーＳＭＥ ＨＤＲイメージセンサ８１０を自動露出するために、露光時間コントローラ４００またはコンピュータ７００によって実行されてもよい。

【0101】

方法１０００は、各色についてステップ５１０、５２０、５３０、および５４０を別々に実行する。方法１０００は、それによって、色のそれぞれについて良好性メトリックを決定する。良好性メトリックは、異なる色に対して同じまたは類似していても、そうでなくてもよい。一例において、データ入力ハンドラ４１０、プリプロセッサ４２０、合成器４３０、およびメトリック評価器４４２は、長露光画素８３２からの長露光画素値２８２と、短露光画素８３４からの短露光画素値２８４と、任意に中露光画素９３６からの中露光画素値も含むＲＡＷ画像データ２８０に基づいて、カラーＳＭＥ ＨＤＲイメージセンサ８１０の第１、第２、および第３の色のそれぞれについて、ステップ５１０、５２０、５３０、および５４０をそれぞれ実行する。

【0102】

次に、方法１０００は、ステップ５４０で決定された色別良好性メトリックのまとめての評価に少なくとも部分的に基づいて、長露光時間および短露光時間の少なくとも一方を調整するステップ１０５０を実行する。ステップ１０５０で決定された各露光時間は、すべての色に適用される。ステップ１０５０は、色別の露光時間を生成しない。ステップ１０５０は、ステップ５５０の一実施形態である。色別良好性メトリックのまとめての評価において、ステップ１０５０は、各色に同じ重みを適用してもよいし、色別の重みを適用してもよい。色別の重みは、支配的な色がより大きな重みを割り当てられるように、シーン内容に適応していてもよい。ステップ１０５０の一例において、調整器４４０は、ステップ５４０で決定された色別良好性メトリックのまとめての評価に少なくとも部分的に基づいて、長露光時間２９２および短露光時間２９４の少なくとも一方（および任意に１つ以上の中露光時間）を調整し、調整器４４０は、得られた調整済み露光時間セット２９０を出力する。

【0103】

方法１０００は、図５を参照して上述したように、ステップ５６０および５５２を含むことができる。一態様において、方法１０００は、異なる色のうち１つ以上をベースにしてステップ５６０を行い、色別画像データ（例えば、緑色の画像データ）において顔を探索する。別の態様において、方法１０００は、異なる色を結合して、ステップ５６０における顔検出の基礎となる輝度画像を生成する。

【0104】

ステップ１０５０の完了後、方法１０００はステップ５７０を実行して、ステップ５５０で調整された露光時間セットをカラーＳＭＥ ＨＤＲイメージセンサに出力する。ステップ５７０の一例において、データ出力ハンドラ４５０は、調整済み露光時間セット２９０をカラーＳＭＥ ＨＤＲイメージセンサ８１０に出力する。

【0105】

方法１０００は、ステップ５１０で取得されるＲＡＷ画像データをキャプチャするステップ５０２をさらに含んでもよい。方法１０００において実施されるステップ５０２の一例において、カラーＳＭＥ ＨＤＲイメージセンサ８１０は、長露光画素８３２からの長露光画素値２８２と、短露光画素８３４からの短露光画素値２８４と、任意に中露光画素９３６からの中露光画素値とを含むＲＡＷ画像データ２８０をキャプチャする。

【0106】

方法１０００は、ＳＭＥ ＨＤＲイメージセンサの露光時間を反復的に最適化するために、ステップ５１０、５２０、５３０、５４０、５５０（任意にステップ５６０が先行し、ステップ５５２を含む）、および５７０、ならびに任意にステップ５０２の数回の反復を実行してもよく、ここで、ステップ５１０、５２０、５３０、および５４０は、各反復において各色について実行される。図５を参照して上述したように、各反復（初回を除く）は先行する反復で調整された通りの露光時間で生成されたＲＡＷ画像データに基づいており、１つの反復的最適化プロセスの異なる反復は、異なる良好性メトリックおよび／または顔の露光を強調してもよい。本開示の範囲から逸脱することなく、方法１０００は、反復的最適化を行う代わりに、ステップ５１０、５２０、５３０、および５４０（および任意にステップ５６０および５０２の一方または両方）の何回かの繰り返しを実行して、長露光時間および／または短露光時間の関数として、良好性メトリック（および任意に顔の露光）をマッピングしてもよく、ここでステップ５１０、５２０、５３０、および５４０は、各繰り返しにおいて各色について実行される。この代替的な態様において、ステップ５５０は良好性メトリックを最適化する、または良好性メトリックおよび顔の露光をまとめて最適化するような露光時間セットを選択し、ステップ５７０は選択された露光時間セットをＳＭＥ ＨＤＲイメージセンサに出力する。

【0107】

図１１は、カラーＳＭＥ ＨＤＲイメージセンサについて、輝度値のＨＤＲヒストグラムを生成し考慮する、１つの自動露出方法１１００を示す。方法１１００は、方法５００の一実施形態である。方法１１００は、例えば、ＨＤＲカメラ１０２におけるカラーＳＭＥ ＨＤＲイメージセンサ８１０を自動露出するために、露光時間コントローラ４００またはコンピュータ７００によって実行され得る。

【0108】

ステップ１１１０において、方法１１００は、各色について、ＳＭＥ ＨＤＲイメージセンサの露光からＲＡＷ画像データを取得する。ＲＡＷ画像データは、ＳＭＥ ＨＤＲイメージセンサの、長露光時間によって特徴付けられる画素からの色別の長露光画素値と、ＳＭＥ ＨＤＲイメージセンサの、短露光時間によって特徴付けられる画素からの色別の短露光画素値とを含む。また、ＲＡＷ画像データは、色別の中露光画素値の１つ以上のセットを含んでもよく、ここで色別の中露光画素値の各セットは、ＳＭＥ ＨＤＲイメージセンサの、それぞれの中露光時間によって特徴付けられる画素に由来する。ステップ１１１０の一例において、データ入力ハンドラ４１０が、ＳＭＥ ＨＤＲイメージセンサ１１０の露光からＲＡＷ画像データ２８０の１フレームを取得する。ここでＲＡＷ画像データ２８０のフレームは、各画素グループ８３０の長露光画素８３２からの長露光画素値２８２と、各画素グループ８３０の短露光画素８３４からの短露光画素値２８３とを含む。また、ＲＡＷ画像データ２８０のフレームは、中露光画素値の１つ以上のセットを含んでもよく、この各セットは、各画素グループ９３０のそれぞれの中露光時間で露光された中露光画素９３６に由来する。

【0109】

後続のステップ１１２０は、各露光時間について、異なる色に対応付けられた空間的に隣接する画素からの画素値を結合して、それぞれの露光時間別輝度値を生成する。ステップ１１２０は、異なる色に対応付けられた空間的に隣接する色別の長露光画素値を結合して、輝度を表す長露光画素値を生成し、異なる色に対応付けられた空間的に隣接する色別の短露光画素値を結合して、輝度を表す短露光画素値を生成する。また、ステップ１１２０は、異なる色に対応付けられた空間的に隣接する色別の中露光画素値を結合して、輝度を表す中露光画素値を生成してもよい。ステップ１１２０の一例において、結合器４１６は、各画素グループ８３０から受け取った画素値を処理する。各画素グループ８３０について、結合器４１６は、（ａ）画素８４２Ｌ、８４４Ｌ、および８４６Ｌからの長露光画素値２８２を結合して、考慮中の画素グループ８３０についての長露光輝度値を作成し、（ｂ）画素８４２Ｓ、８４４Ｓ、および８４６Ｓからの短露光画素値２８３を結合して、考慮中の画素グループ８３０についての短露光輝度値を作成する。結合器４１６はまた、各画素グループ８３０（９３０）および各中露光時間について、画素９４２Ｍ、９４４Ｍ、および９４６Ｍからの中露光画素値を結合して、考慮中の画素グループ８３０（９３０）および中露光時間についての中露光輝度値を作成してもよい。

【0110】

ステップ１１３０において、方法１１００は、ステップ５２０および５３０を実行して、ステップ１１２０のステップで得られた露光時間別輝度値に基づいて、輝度値のＨＤＲヒストグラムを生成する。次に、方法１１００は、ステップ５４０を実行して、ヒストグラムから良好性メトリックを導出する。この良好性メトリックは、輝度に関するものであり、色別のものではない。方法１１００は、図５を参照して上述したように、ステップ５５０および５７０の実行に進む。

【0111】

方法１１００は、ステップ５１０で取得されるＲＡＷ画像データをキャプチャするステップ５０２をさらに含んでもよい。方法１０００において実施されるステップ５０２の一例において、カラーＳＭＥ ＨＤＲイメージセンサ８１０は、長露光画素８３２からの長露光画素値２８２と、短露光画素８３４からの短露光画素値２８４と、任意に中露光画素９３６からの中露光画素値も含む、ＲＡＷ画像データ２８０をキャプチャする。

【0112】

一実施形態において、方法１１００はステップ５６０を含み、ステップ５５０は５５２を含む。この実施形態の一態様において、ステップ５６０は、ステップ１１１０で取得されたＲＡＷ画像データに基づいている。例えば、顔検出器４６０は、データ入力ハンドラ４１０から受け取ったＲＡＷ画像データ２８０を処理して、１つ以上の顔を検出してもよい。この実施形態の別の態様においては、ステップ５６０は、ステップ１１２０で生成された輝度データに基づく。例えば、顔検出器４６０は、データ結合器４１６によって生成された輝度データを処理して、１つ以上の顔を検出してもよい。

【0113】

方法１１００は、ステップ５６０、１１２０、１１３０、５４０、５５０（任意にステップ５６０が先行し、ステップ５５２を含む）、および５７０、ならびに任意にステップ５０２の数回の反復を実行して、カラーＳＭＥ ＨＤＲイメージセンサの露光時間を反復的に最適化してもよい。図５を参照して上述したように、各反復（初回を除く）は先行する反復で調整された通りの露光時間で生成されたＲＡＷ画像データに基づいており、１つの反復的最適化プロセスの異なる反復は、異なる良好性メトリックおよび／または顔の露光を強調してもよい。本開示の範囲から逸脱することなく、方法１１００は、反復的最適化を行う代わりに、ステップ１１１０、１１２０、１１３０、および５４０および任意にステップ５６０および５０２の一方または両方）の何回かの繰り返しを実行して、長露光時間および／または短露光時間の関数として、良好性メトリック（および任意に顔の露光）をマッピングしてもよく、ここでステップ１１１０、１１２０、１１３０、および５４０は、各繰り返しにおいて各色について実行される。この代替的な態様において、ステップ５５０は良好性メトリックを最適化する、または良好性メトリックおよび顔の露光をまとめて最適化するような露光時間セットを選択し、ステップ５７０は、選択された露光時間セットをカラーＳＭＥ ＨＤＲイメージセンサに出力する。

【0114】

図１２は、１つのジグザグＨＤＲイメージセンサ１２００を示す図である。イメージセンサ１２００は、カラーＳＭＥ ＨＤＲイメージセンサ８１０の一実施形態である。イメージセンサ１２００の画素は、正方形の画素グループ１２１０に配置されている。イメージセンサ１２００は、図１２に描かれているよりも多くの画素グループ１２１０、例えば数百または数千の画素グループ１２１０を含んでもよいことが理解される。各画素グループ１２１０は、長露光時間画素１２２２（図１２に白の背景で示す）と、短露光時間画素１２２４（図１２に網掛けの背景で示す）とを含む。各画素グループ１２１０において、長露光時間画素１２２２は、緑色光に感度を有する４つの画素「ＧＬ」、赤色光に感度を有する２つの画素「ＲＬ」、および青色光に感度を有する２つの画素「ＢＬ」を含み、短露光時間画素１２２４は、緑色光に感度を有する４つの画素「ＧＳ」、赤色光に感度を有する２つの画素「ＲＳ」、および青色光に感度を有する２つの画素「ＢＳ」を含む。画素グループ１２１０は、長露光時間画素１２２２と短露光時間画素１２２４とを交互に入れ替わるジグザグの経路に沿って配置する（図１２の白いジグザグの経路および網掛けのジグザグの経路を参照）。画素グループ１２１０の各々は、画素グループ８３０の一実施形態である。

【0115】

露光時間コントローラ４００およびコンピュータ７００は、方法１０００または１１００を使用して、ジグザグＨＤＲイメージセンサ１２００を自動露出し得る。

【0116】

図１３は、クアッドＳＭＥ ＨＤＲカラーイメージセンサ１３００を示す図である。イメージセンサ１３００は、画素グループ９３０を実装するカラーＳＭＥ ＨＤＲイメージセンサ８１０の一実施形態である。イメージセンサ１３００の画素は、正方形の画素グループ１３１０に配置されている。イメージセンサ１３００は、図１３に描かれているよりも多くの画素グループ１３１０、例えば、数百または数千の画素グループ１３１０のアレイを含んでもよいことが理解される。各画素グループ１３１０は、赤色光に感度を有する赤色画素の１つの２×２画素クラスタ１３３２と、緑色光に感度を有する緑色画素の２つの２×２画素クラスタ１３３４と、青色光に感度を有する青色画素の１つの２×２画素クラスタ１３３６とを含む。画素クラスタ１３３２、１３３４、１３３６のそれぞれは、１つの長露光時間画素１３２２、２つの中露光時間画素１３２６、および１つの短露光時間画素１３２４を含む。したがって、図１３に示すように、各画素クラスタ１３３２は、１つの長露光時間画素「ＲＬ」、２つの中露光時間画素「ＲＭ」、および１つの短露光時間画素「ＲＳ」を含み、各画素クラスタ１３３４は、１つの長露光時間画素「ＧＬ」、２つの中露光時間画素「ＧＭ」、および１つの短露光時間画素「ＧＳ」を含み、各画素クラスタ１３３６は、１つの長露光時間画素「ＢＬ」、２つの中露光時間画素「ＢＭ」、および１つの短露光時間画素「ＢＳ」を含む。

【0117】

露光時間コントローラ４００およびコンピュータ７００は、方法１０００または１１００を使用して、クアッドＳＭＥ ＨＤＲカラーイメージセンサ１３００を自動露出し得る。

【0118】

図１４は、１つの前処理方法１４００を示す。方法１４００は、方法５００のステップ５２０の一実施形態である。方法１４００は、方法１０００のステップ５２０および方法１１００のステップ１１３０で実施されてもよい。方法１４００は、プリプロセッサ４２０によって実行されてもよい。方法１４００は、フィルタリングステップ１４１０および１４２０を含む。ステップ１４１０は、長露光画素値から、飽和に関する閾値を超える長露光画素値を除外する。ステップ１４２０は、短露光画素値から、ノイズに関する閾値未満である短露出画素値を除外する。ステップ１４１０は、長露光画素値のヒストグラムを構築し、このヒストグラムに、飽和に関する閾値を超える長露光画素値を除外するためのマスクを適用してもよい。同様に、ステップ１４２０は、短露光画素値のヒストグラムを構築し、このヒストグラムに、ノイズに関する閾値未満である短露光画素値を除外するためのマスクを適用してもよい。

【0119】

図１５は、ビン群１５１０にビニングされた（ｂｉｎｎｅｄ）長露光画素値２８２のヒストグラム１５００の例を示す。各ビン１５１０は、中心値１５１２によって特徴付けられる。ステップ１４１０は、長露光画素値２８２からヒストグラム１５００を構築してもよい。ステップ１４１０は、飽和閾値１５２０を超える長露光画素値２８２をフィルタリングして除去してもよい。この目的のために、ステップ１４１０は、ヒストグラム１５００にマスク１５４０を適用してもよい。

【0120】

図１６は、ビン群１６１０にビニングされた短露光画素値２８４のヒストグラム１６００の例を示す。各ビン１６１０は、中心値１６１２によって特徴付けられる。ステップ１４２０は、短露光画素値２８４からヒストグラム１６００を構築してもよい。ステップ１４２０は、ノイズ閾値１６３０未満である短露光画素値２８４をフィルタリングして除去してもよい。この目的のために、ステップ１４２０は、ヒストグラム１６００にマスク１６４０を適用してもよい。

【0121】

再び図１４を参照して、方法１４００は、中露光画素値の１つ以上のセットのそれぞれから、飽和に関する閾値を超える中露光画素値と、ノイズに関する閾値未満の中露光画素値とを除去するステップをさらに含んでもよいことが理解される。

【0122】

特定の実施形態において、方法１４００は、動き差異によって影響を受けたＳＭＥ ＨＤＲイメージセンサの空間領域からの画素値を考慮から除外する追加的なフィルタリングステップ１４３０をさらに含む。これらの動き差異は、撮像されたシーンが非常に急速に変化して、長露光時間と短露光時間との間の差が、長露光画素によって提供される情報と隣接するまたは近接する短露光画素によって提供される情報との間に過剰差異を引き起こす場合に生じる。ステップ１４３０は、ステップ１４１０および１４２０におけるフィルタリングの後に残った、長露光画素値と短露光画素値とを比較して、長露光画素値と短露光画素値との間の動き差異を評価する。そして、ステップ１４３０は、閾値動き差異レベルを超える動き差異によって影響を受けたＳＭＥ ＨＤＲイメージセンサの空間領域から、短露光画素値および長露光値を除外する。

【0123】

一例において、ステップ１４３０は、長露光時間および短露光時間に応じて共通のスケールにスケーリングされた後に、対応する長露光画素値２８２と短露光画素値２８４とが互いに大きく乖離している画素グループ２２６から、すべての画素値をフィルタリングして除去する。この比較において、ステップ１４３０は、画素アレイ２２０における長露光画素２２２と短露光画素２２４との間の位置差を考慮してもよい。別の例において、ステップ１４３０は、長露光時間および短露光時間に応じて共通のスケールにスケーリングされた後に、同色の長露光画素値８３２および短露光画素値８３４の１つ以上のペアが互いに大きく乖離している画素グループ８３０から、すべての画素値をフィルタリングして除去する。この例において、ステップ１４３０は、いくつかの色を考慮してもよいし、１つの色のみを考慮してもよい。例えば、緑の長露光画素８４４Ｌおよび緑の短露光画素８４４Ｓに由来する画素値を考慮してもよい。

【0124】

ステップ１４３０は、比較において中露光画素値の１つ以上のセットをさらに含むように容易に拡張可能である。例えば、ステップ１４３０は、画素グループ９３０からの画素値を考慮してもよい。ステップ１４３０は、共通の露光時間スケールにスケーリングされた長露光画素値と対応する短露光画素値との少なくとも１つのペアが、閾値を超えて互いに乖離しているような空間領域の画素値を破棄してもよい。「対応する短露光画素値」とは、長露光画素値が由来する長露光画素に最も近い、または所定の距離内にある短露光画素の画素値であり、カラーＳＭＥ ＨＤＲイメージセンサの場合は、対応する短露光画素が長露光画素と同色であることが追加要件となる。モノクロＳＭＥ ＨＤＲイメージセンサの場合、対応する長露光画素と短露光画素とは、典型的には互いに隣り合って配置される。カラーＳＭＥ ＨＤＲイメージセンサの場合、対応する長露光画素と短露光画素とは、典型的には、互いに間隔を空けて配置され、その間に１つ以上の異なる色の画素が配置される。

【0125】

一例において、ステップ１４３０は、対応する長露光と短露光画素との１つ以上のペアが要件

【数1】

を満たさないような空間領域からの画素値を破棄する。ここで、d_longは長露光画素値、d_shortは短露光画素値、ｒは長露光時間の短露光時間に対する比、εは閾値である。別の例において、ステップ１４３０は、長露光および短露光画素が同位置（ｃｏ－ｌｏｃａｔｅｄ）にないことをさらに考慮した、洗練された関係を利用する。この洗練された例において、ステップ１４３０は、対応する長露光と短露光画素との１つ以上のペアが要件

【数2】

を満たさないような空間領域からの画素値を破棄してもよい。ここで、x_longおよびx_shortは長露光画素および短露光画素の位置をそれぞれ指し、∇d_longは長露光画素値の勾配である。∇d_longは、補間によって決定されてもよい。

【0126】

中露光画素の１つ以上のセットをさらに考慮する方法１４００の実施形態において、ステップ１４３０は、中露光画素値を対応する長露光画素値および／または対応する短露光画素値とさらに比較して、それらの間の動き差異を評価してもよい。あるいは、ステップ１４３０は、長露光画素値と短露光画素値との間の関係が動きに対して最も敏感な関係であるため、中露光画素を考慮する方法１４００の実施形態であっても、長露光画素値と短露光画素値との比較のみに基づいて、そのフィルタリングを行ってもよい。

【0127】

方法１４００は、ノイズ除去ステップ１４４０および１４５０をさらに含んでもよい。ステップ１４４０は、長露光画素値からノイズの影響を除去し、ステップ１４５０は、短露光画素値からノイズの影響を除去する。図１４には示していないが、方法１４００は、中露光画素値の１つ以上のセットのそれぞれからノイズの影響を除去するステップをさらに含んでもよい。コンピュータ７００において、プロセッサ７１０は、ノイズ除去命令７５２を実行して、短露光画素値および長露光画素値（および、任意で、中露光画素値）からノイズの影響を除去してもよい。

【0128】

図１７は、画素値のヒストグラム１７１０に対するノイズの影響を説明するプロット１７００である。ヒストグラム１７１０の画素値は、長露光時間、短露光時間、または中露光時間に対応付けられてい得る。また、本開示の範囲から逸脱することなく、ヒストグラム１７１０の画素値は、色別の画素値を結合して作成された輝度値であってもよい。以下の説明では、図１７は、図１４とともに参照するのが最適である。

【0129】

ヒストグラム１７１０は、２つの明度しかない仮想的なシーンに対応しており、ノイズが無く、２つの鋭いピークを有している。実際にはノイズが存在し、このノイズが２つの鋭いピークの幅を広げる原因となる。ヒストグラム１７２０は、ヒストグラム１７１０の画素値分布がノイズの存在によって影響を受ける例である。ガウスノイズの場合、ヒストグラム１７１０は、ヒストグラム１７２０の、標準偏差σで特徴付けられるガウス分布との畳み込みである。標準偏差σは、画素値の関数であってもよい。

【0130】

ガウス分布の標準偏差σが（所与の露光時間についての）画素値に対し独立であると仮定すると、ヒストグラム１７１０はヒストグラム１７２０から式

【数3】

に従って再構成され得る。ここで、νはビン位置、p_sはヒストグラム１７１０、G_σはガウスノイズ分布、Ｃはセンサ依存であり得るチューニングパラメータ、p_s+nはヒストグラム１７２０、G_σ*p_s+nはp_s+nのガウス畳み込みである。

【0131】

別の例において、ガウス分布の標準偏差σは画素値に依存し、ガウシアンの分散は、線形ノイズモデルσ^２＝ｍｖ＋ｂで示されるように、（所定の露光時間についての）画素値の線形関数となる。ここでｍ≠０である。係数ｍおよびｂは、ＳＭＥ ＨＤＲイメージセンサのモデルごとに既知であるか計測され得る。この例において、ガウシアンフィルタG_σはビン位置νに応じて調整されてもよいし、等角写像を用いてヒストグラム１７２０をマッピングすることにより一定のノイズレベルをシミュレートしてもよい。例えば、ヒストグラム１７２０は、等角写像関数

【数4】

に基づいて再ビニングされ得る。ここで、ｙは、ガウスノイズがσ＝１によって特徴づけられる一定モデルに従うスケール上のビンの位置である。ｙスケール上の一定ガウスノイズモデルに基づいて、再ビニングと逆畳み込みを行った後、逆等角写像関数

【数5】

を適用することにより、等角写像を元のνスケールに戻してもよい。

【0132】

ステップ１４４０およびステップ１４５０のそれぞれは、図１７およびヒストグラム１７２０について上述したように、ノイズ効果を除去し得る。本開示の範囲から逸脱することなく、方法１４００は、該当する場合には、中露光画素値の各セットに対して同様のステップを含んでもよい。

【0133】

方法１４００は、機械可読命令７３０中において、前処理命令７４０としてエンコードされてもよく、任意に、ステップ１４４０および１４５０（および同様の中露出ノイズ除去ステップ）がノイズ除去命令７５２としてエンコードされてもよい。

【0134】

図１８は、ＨＤＲヒストグラムを合成するための１つの方法１８００を示す。方法１８００は、方法５００のステップ５３０の一実施形態であり、合成器４３０によって実行され得る。方法１８００は、機械可読命令７３０中において合成命令７４２としてエンコードされてもよい。方法１８００は、方法１０００のステップ５２０および方法１１００のステップ１１３０で実施されてもよい。方法１８００は、ステップ１８１０、１８２０、および１８３０を含む。

【0135】

ステップ１８１０は、（ａ）方法５００のステップ５２０での前処理の後に残った長露光画素値の第１のヒストグラムと、（ｂ）方法５００のステップ５２０での前処理の後に残った短露光画素値の第２のヒストグラムとを、共通のスケールにスケーリングする。ステップ１８１０は、長露光時間と短露光時間との間の比に応じて、このスケーリングを行う。例えば、ステップ１８１０は、短露光値を長露光値と同じスケールに置くように、短露光値に長露光時間の短露光時間に対する比を乗算してもよい。ステップ１８１０の一例において、合成器４３０は、ヒストグラム１５００および１６００を共通のスケールにスケーリングする。

【0136】

ステップ１８２０は、共通のスケールにおいて、第１のヒストグラムの最上位ビンの中心値以下の中心値を有する短露光画素値のビンを、第２のヒストグラムから除外する。ステップ１８２０は、同色の空間的に関連する画素のいかなるグループ（例えば、１つの画素グループ２２６、８３０、または９３０からの同色の画素値）も、第１のヒストグラムおよび第２のヒストグラムの両方においては表されないようにする役割を果たす。例えば、ステップ１８２０は、ヒストグラム１６００（ステップ１８１０でスケーリングされた場合、スケーリングされたまま）から、画素値１６５０未満のすべてのビンを除外してもよい。

【0137】

ステップ１８３０は、第１のヒストグラムと第２のヒストグラムをマージして、ＨＤＲヒストグラムを作成する。

【0138】

図１９は、ステップ１８１０および１８２０でヒストグラム１５００および１６００を処理した後、ステップ１８３０でヒストグラム１５００および１６００から合成されたＨＤＲヒストグラム１９００の一例を示す。ヒストグラム１９００は、ビン１９１０にビニングされる。ビン１９１０の下側範囲１９２０は、ヒストグラム１５００の長露光画素値に由来し、一方、ビン１９１０の上側範囲１９３０は、ヒストグラム１６００の短露光画素値に由来する。

【0139】

再び図１８を参照して、第１および第２のヒストグラム、例えばヒストグラム１５００および１６００を合成するために、方法１８００は、第１および第２のヒストグラムの一方または両方の画素値を再ビニングすることにより、これらの２つのヒストグラムの間で相互に一貫したビニングを達成してもよい。方法１８００は、ステップ１８２０と１８３０の間でこの再ビニングを実行してもよい。

【0140】

本開示の範囲から逸脱することなく、方法１８００は、例えば、画素グループ９３０からの画素値を処理する際に、１つ以上の中露光時間に対応付けられた中露光画素値を処理してもよい。そのような実施形態において、方法１８００は、少なくとも３つのそれぞれの露光時間に対応付けられた少なくとも３つのヒストグラムを処理し、ステップ１８２０は、共通のスケールにおいて、最も近い、より長い露光時間に対応付けられたヒストグラムの最上位ビンの中心値以下の中心値を有するビンを、各ヒストグラムから除外する。

【0141】

図２０は、二重露光時間ＳＭＥ ＨＤＲイメージセンサに対し、まず長露光時間を最適化し次にエントロピー分散に基づいて短露光時間を最適化する、１つの自動露出方法２０００を示す。方法２０００は、例えば、ＨＤＲカメラ１０２内のＳＭＥ ＨＤＲイメージセンサ１１０を自動露出するために、露光時間コントローラ４００によって実行され得る。方法２０００は、方法５００の一態様である。方法２０００は、カラーＳＭＥ ＨＤＲイメージセンサ８１０を自動露出するために適用され得る。

【0142】

方法２０００は、ステップ２０１０および２０２０を含む。ステップ２０１０は、長露光時間を決定する。ステップ２０２０は、方法５００のステップ５１０、５２０、５３０、５４０、および５５０の複数回の繰り返しを実行して、最適な短露光時間を決定する。ここで、ステップ５４０で使用される良好性メトリックは、ＨＤＲヒストグラム全体にわたってのエントロピー分散（例えば、図５を参照して上述したVar(S_i)）であるか、またはそれを含む。ステップ２０２０は、繰り返しのうち１回以上において、ステップ５６０をさらに含んでいてもよい。

【0143】

一実施形態において、方法２０００は方法１０００を実施する。この実施形態において、ステップ２０２０は、図１０を参照して上述したように、ステップ５１０、５２０、５３０、５４０、および５５０（および、任意に、ステップ５６０）を実行する。別の実施形態において、方法２０００は方法１１００を実施する。この実施形態において、ステップ２０２０は、図１１を参照して上述したように、ステップ１１１０、１１２０、１１３０、５４０、および５５０（および、任意で、ステップ５６０）を実行する。方法２０００がカラーＳＭＥ ＨＤＲイメージセンサに適用される場合、ステップ２０１０は、輝度値の考慮に基づいて、１つの特定の色に対応付けられた画素値の考慮に基づいて、または２つ以上の異なる色に対応付けられた画素値をまとめて考慮することに基づいて、最適な長露光時間を決定してもよい。

【0144】

方法２０００は、ステップ２０１０において、短露光時間を最適化するために使用されたパラメータとは別のパラメータ（単数または複数）に基づいて、長露光時間を最適化することが可能である。ステップ２０１０は、最適な長露光時間を、露光不足の画素の数を最小化し、顔の露光を最適化し、かつ／または、ＨＤＲ画像を生成するためにＳＭＥ ＨＤＲイメージセンサによってキャプチャされた画像データのデモザイキングにおいて生じる長露光画素値と短露光画素との間の遷移点ノイズ差異を最小化するような長露光時間として決定してもよい。このようなデモザイキングは、例えばＨＤＲ画像生成器２５０によってＨＤＲ画像２７０を生成するために実行される。

【0145】

ＳＭＥ ＨＤＲイメージセンサから生成されたＨＤＲ画像の各画像画素について、デモザイキングは、どの露光時間を利用するかを選択することを含む。例えば、図２の画素グループ２２６からのＲＡＷ画像データ２８０のデモザイキングは、長露光画素２２２からの長露光画素値２８２または短露光画素２２４からの短露光画素値２８４のいずれかを選択することを含んでもよい。あるいは、図２の画素グループ２２６からのＲＡＷ画像データ２８０のデモザイキングは、長露光画素２２２からの長露光画素値２８２および短露光画素２２４からの短露光画素値２８４の寄与を重み付けすることを含んでもよい。いずれの場合も、シーンが暗から明へと遷移するところで、デモザイキング処理は、長露光画素値の排他的または優勢的な使用から、短露光画素値の排他的または優勢的な使用へと切り替わってもよい。長露光画素値から短露光画素値への切り替えを補償するように画素値がスケーリングされていても、読み出しノイズなどの特定のノイズの寄与は、露光時間に対してスケーリングされない。このように、ＨＤＲ画像では、長露光画素値に基づく画像領域と短露光画素値に基づく画像領域との間に、目立つ境界としての画像アーティファクトが現れることがある。このようなアーティファクトは、大きな領域が暗から明へとスムーズに遷移する場合に特に目立ちやすくなり得る。同様の画像アーティファクトは、カラーＳＭＥ ＨＤＲイメージセンサ８１０から生成されたＨＤＲ画像において生じる可能性がある。

【0146】

一実施形態において、ステップ２０１０は、ＳＭＥ ＨＤＲイメージセンサによってキャプチャされた画像データのデモザイキングにおいて、長露光画素値の使用と短露光画素値の使用との間の遷移点における長露光画素値と短露光画素値との間の遷移点ノイズ差異を最小化するように、長露光時間を変更するステップ２０１２を含む。ステップ２０１２は、遷移点に画素値を有する画素の数を最小化または低減するように、長露光時間を設定してもよい。方法２０００がカラーＳＭＥ ＨＤＲイメージセンサに適用される場合、ステップ２０１２は、選択された１つの色についてか、いくつかの色のそれぞれについてか、または輝度値について、遷移点ノイズ差異を最小化してもよい。

【0147】

図２１は、方法２０００のステップ２０２０で算出されたエントロピー分散例のプロット２１００である。プロット２１００はVar(S_i)を、２ミリ秒の長露光時間について、露光時間比（すなわち、長露光時間の短露光時間に対する比）の関数として示す。プロット２１００は、露光比が８のときに最小値を示している。したがって、プロット２１００に基づいた場合、方法２０００のステップ２０２０は、短露光時間を０．２５ミリ秒に設定することになる。

【0148】

方法２０００は、例えば画素グループ９３０を実装するカラーＳＭＥ ＨＤＲイメージセンサ８１０のように、２つより多くの異なる露光時間で動作するＳＭＲ ＨＤＲイメージセンサの自動露出に拡張してもよい。そのような一態様において、方法２０００は、ステップ２０１０で長露光時間を最適化し、その後、ステップ２０２０で残りの露光時間を最適化する。２つより多くの異なる露光時間で動作する自動露出ＳＭＲ ＨＤＲイメージセンサに含まれる場合、ステップ２０１２は、２つの最も近い露光時間の間、例えば、長露光時間と最も近い中露光時間との間の遷移点ノイズ差異を最小化する。

【0149】

図２２は、ＳＭＥ ＨＤＲイメージセンサの長露光時間を最適化するための１つの方法２２００を示す。二重露光時間ＳＭＥ ＨＤＲイメージセンサに適用される場合、方法２２００は、長露光画素値と短露光画素値との間の遷移点ノイズ差異を最小化する長露光時間を決定する。以下において方法２２００は、二重露光時間ＳＭＥ ＨＤＲイメージセンサに関連するものとして説明するが、方法２２００は、方法２０００のステップ２０１０について上述したように、本開示の範囲から逸脱することなく、２つより多くの異なる露光時間を有するＳＭＥ ＨＤＲイメージセンサに適用されてもよい。方法２２００は、方法２０００のステップ２０１２の一実施形態である。方法２０００のステップ２０１０は、長露光時間を最適化するために方法２２００を適用してもよく、かつ任意で顔の露光および露光不足の画素の数などの他のメトリックもともに考慮してもよい。

【0150】

ステップ２２１０で、方法２２００は、ＳＭＥ ＨＤＲイメージセンサの長露光時間を初期値に設定し、ＳＭＥ ＨＤＲイメージセンサの短露光時間を最小値に設定する。次に方法２２００は、短露光時間をステップ２２１０で定義された最小値に維持しながら、長露光時間を最適化する一連のステップの１回以上の反復を実行することに進む。各反復は、ステップ２２２０、２２３０、２２４０、２２５０、判定２２６０、および、判定２２６０の結果に応じて、ステップ２２７０または２２８０を含む。

【0151】

ステップ２２２０は、方法５００のステップ５１０、５２０、５３０の複数回の繰り返しを実行して、仮のＨＤＲヒストグラムを生成する。カラーＳＭＥ ＨＤＲイメージセンサの場合、ステップ２２２０は、代わりにステップ１１１０、１１２０、１１３０を実行して、輝度値の仮のＨＤＲヒストグラムを生成してもよいし、ステップ２２２０は、選択された１つの色について、またはいくつかの異なる色について、ステップ５１０、５２０、５３０を実行してもよい。

【0152】

ステップ２２３０は、ステップ２２２０で生成された仮のＨＤＲヒストグラムから、長露光時間の目標値を推定する。例えば、ＨＤＲヒストグラム１９００については、谷部１９５０が下側範囲１９２０と上側範囲１９３０との間の遷移点まで上方シフトするように、または谷部１９５２が下側範囲１９２０と上側範囲１９３０との間の遷移点まで下方シフトするように、長露光時間を調整することが有利であり得る。このように、この例において、２２３０は、谷部１９５０または谷部１９５２のいずれかを下側範囲１９２０と上側範囲１９３０との間の遷移点にシフトさせるように、目標長露光時間を設定してもよい。あるいは、ステップ２２３０は、仮のＨＤＲヒストグラムの平均、中央値、または最頻値を遷移点から遠ざけるような目標長露光時間を設定してもよい。

【0153】

カラーＳＭＥ ＨＤＲイメージセンサの場合、ステップ２２３０は、輝度値の仮のＨＤＲヒストグラムに基づいて目標値を推定してもよいし、ステップ２２３０は、選択された１つの色についての画素値の仮のＨＤＲヒストグラムに基づいて目標値を推定してもよいし、ステップ２２３０は、それぞれいくつかの異なる色に対応付けられたいくつかの仮のＨＤＲヒストグラムをまとめて考慮することに基づいて目標値を推定してもよい。

【0154】

図２３、図２４、図２５は、ステップ２２２０におけるＨＤＲヒストグラム生成と、ステップ２２３０における目標長露光時間の推定との一例を示す。以下の説明において、図２３、図２４、および図２５は、図２２とともに参照するのが最適である。図２３は、シーン１９０などのシーンの輝度ヒストグラム２３００の例である。図２４は、輝度ヒストグラム２３００によって特徴付けられるシーンからのＲＡＷ画像データ２８０に基づいて、ステップ２２３０で生成されたＨＤＲヒストグラム２４００の例であり、ここでＲＡＷ画像データ２８０は、ステップ２２１０で定義された初期の長露光時間および最小の短露光時間でキャプチャされる。この例では、長露光画素値と短露光画素値との間の遷移点２４１０は、約２^１０にある。ヒストグラムの大部分を遷移点２４１０から遠ざけるために、ステップ２３３０は、減少した長露光時間を目標にしてもよい。図２５は、減少した長露光時間がＨＤＲヒストグラム２４００のデータに対して持つ効果をシミュレートすることによって作成される、シミュレーションＨＤＲヒストグラム２５００を示す。この例において、目標長露光時間は、シミュレーションＨＤＲヒストグラム２５００の平均画素値<ｖ>を遷移点２４１０の１８％の位置に配置する露光時間である。したがって、この例では、目標長露光時間は、

【数6】

である。図２５において明らかなように、シミュレーションＨＤＲヒストグラム２５００の大部分は、遷移点２４１０からシフトして離れている。同様の、より一般的な例では、目標長露光時間は、

【数7】

に設定され得る。ここで、Aは１未満、例えば０．１から０．５の間である。別の例においては、目標長露光時間は、

【数8】

に設定される。ここで、P(v)は、中央値、相乗平均、または最頻値などの、ＨＤＲヒストグラム２４００の別の統計的パラメータである。

【0155】

ステップ２２３０で推定された目標長露光時間に近い長露光時間の範囲について、ステップ２２４０は、長露光時間から生じるであろう遷移点ノイズ差異を示すパラメータを算出する。パラメータは、遷移点ノイズ差異の期待値であってもよいし、長露光時間の関数として遷移点ノイズ差異に比例するパラメータの期待値であってもよい。カラーＳＭＥ ＨＤＲイメージセンサの場合、ステップ２２４０で算出されるパラメータは、輝度値間の遷移点ノイズ差異に係るものであってもよいし、あるいはステップ２２４０は、１つ以上の色についてのパラメータを別々に算出してもよい。ステップ２２４０の以下の説明は、輝度値、モノクロＳＭＥ ＨＤＲイメージセンサの画素値、またはカラーＳＭＥ ＨＤＲイメージセンサの１つの色に対応付けられた画素値に関連する、パラメータの算出に適用される。しかし、この説明は、各セットが異なる色に対応付けられているような、パラメータのいくつかのセットの算出に容易に拡張できる。ステップ２２４０で考慮される長露光時間の範囲は、最小の長露光時間t_{long_min}から最大の長露光時間t_{long_max}にわたる。一例において、t_{long_min =} t_{long_target -} Δtかつt_{long_max =} t_{long_target +}Δtであり、ここでΔｔは、目標長露光時間t_{long_target}のあるパーセンテージである。一例において、Δｔは目標長露光時間t_{long_target}の５％から５０％の間である。別の例において、Δｔは目標長露光時間t_{long_target}の１５％から２５％の間である。ステップ２２４０における、初期の長露光時間t_{long_initial}の修正長露光時間t_{long_mod}へのスケーリングは、ＨＤＲヒストグラムのビン値ｖ（ステップ２２２０において生成された）を修正ビン値v' = v*t_{long_mod}/t_{long_initial}にスケーリングすることに相当する。ステップ２２４０は次に、最小の修正ビン値v'_min = v*t_{long_min}/t_{long_initial}から最大の修正ビン値v'_max = v*t_{long_max}/t_{long_initial}の範囲で、複数の修正ビン値のそれぞれにおける遷移点ノイズ差異を評価する。

【0156】

一実施形態において、ステップ２２４０は、遷移点ノイズ差異を算出する。この実施形態において、ステップ２２４０は、ノイズモデルを適用してもよい。一態様において、ステップ２２４０は、図１４および図１７を参照して上述した線形ノイズモデルσ^２＝ｍｖ＋ｂを適用する。この態様において、遷移点における短露光画素値と長露光画素値とのノイズレベル差は、

【数9】

と記述し得る。ここで、ｒは長露光時間の短露光時間に対する比、v_tは短露光画素値を長露光画素値のスケールにスケールを上げることにより作成されたＨＤＲヒストグラムにおける遷移点の画素値である。v_tは、例えば、長露光画素値の飽和閾値（例えば飽和閾値１５２０）である。ＨＤＲ画像に影響を及ぼす遷移点ノイズ差異ε_noiseは、ノイズレベル差Δ(σ²)を遷移点における画素カウントp(v_t)で重み付けしたもの

【数10】

として算出され得る。しかし、Δ(σ²)は長露光時間に対して独立であり、p(v_t)のみが長露光時間に依存するため、どの長露光時間が遷移点ノイズ差異ε_noiseを最小化するかを決定するに際して、p(v_t)はそれ自体，遷移点ノイズ差異について十分な情報を持っている。したがって別の実施形態において、ステップ２２４０は、Δ(σ²)およびε_noiseを算出することなく、単にt_{long_min}からt_{long_max}の範囲において複数の長露光時間のそれぞれについてp(v_t)を算出する。

【0157】

ステップ２２５０は、ステップ２２４０で算出されたパラメータから、ステップ２２５０で算出された最小の遷移点ノイズ差異値に対応付けられたビンと一致する遷移点に対応する長露光時間の修正値を推定する。このようにしてステップ２２５０で処理されたパラメータは、p(v_t)、ε_noiseまたは遷移点ノイズ差異を示す別のパラメータであってもよい。ステップ２２５０は、ヒストグラム内の比較的カウント数の少ない場所に遷移点を配置するように、長露光時間を修正してもよい。一実施形態において、ステップ２２５０は、ステップ２２４０で評価された範囲内でp(v_t)を最小化する長露光時間を選択する。ステップ２２４０がいくつかの異なる色を別々に処理する実施形態においては、ステップ２２５０は、これらの異なる色に対応付けられたパラメータをまとめて考慮して、長露光時間の値を修正する。

【0158】

ステップ２２６０は、方法２２００がステップ２２７０に進むか、ステップ２２８０に進むかを決定する判定ステップである。ステップ２２５０で推定された、修正後の長露光時間が、ステップ２２１０で設定された初期の長露光時間よりも小さい場合、方法２２００はステップ２２７０に進む。そうでなければ、方法２２００はステップ２２８０に進む。ステップ２２７０は、ステップ２２１０の初期の長露光時間を、ステップ２２５０で推定された修正後の長露光時間に更新し、方法２２００は、ステップ２２２０、２２３０、２２４０、２２５０、２２６０、および２２７０または２２８０の後続の反復を実行する。ステップ２２８０は、ステップ２２５０で推定された修正後の長露光時間を最適な長露光時間として出力し、方法２２００を終了する。

【0159】

本開示の範囲から逸脱することなく、方法２２００は、ステップ２２４０および２２５０を省略し、代わりに、ステップ２２３０で推定された目標長露光時間で判定ステップ２２６０に進んでもよい。

【0160】

ここで、ステップ２０１２で方法２２００を実施する方法２０００の実施形態に言及する。ステップ２０２０は、遷移点ノイズ差異を良好性メトリックの一部として考慮することもできる。そのような一実施形態において、ステップ２０２０は、複合的なエラーメトリックε_total =var(S_i)+a*ε_noiseを最小化する。ここでaは、エントロピー分散Var(S_i)および遷移点ノイズ差異ε_noiseの相対的な重要性を定義する、所定のパラメータである。

【0161】

図２６～３１は、ステップ２０１２で方法２２００を実施する方法２０００の実施形態において生成および処理されるデータの例であって、ステップ２０２０で良好性メトリックとして、またはステップ２０２０で良好性メトリックの一部として、遷移点ノイズ差異を考慮するデータの例である。図２６～３１は、以下の説明において、図２０および図２２とともに参照するのが最適である。

【0162】

図２６は、方法２２００のステップ２２２０において、方法２０００のステップ２０１０の一部として生成された仮のＨＤＲヒストグラム２６００の例である。ヒストグラム２６００は、１ミリ秒である長露光時間と、１６である長対短露光時間比ｒに基づいている。図２７は、方法２０００のステップ２０１０の一部として、方法２２００のステップ２２８０で出力された最適な長露光時間に従ってシフトされたＨＤＲヒストグラム２７００の例である。長対短露光時間比ｒは、ＨＤＲヒストグラム２７００では１６である。図２８～３１は、方法２０００のステップ２０２０で考慮されるＨＤＲヒストグラム２８００、２９００、３０００、３１００の例である。ＨＤＲヒストグラム２８００、２９００、３０００、３１００のそれぞれは、方法２２００を用いてステップ２０１０で決定された最適な長露光時間に基づいているが、長対短露光時間比ｒは、ＨＤＲヒストグラム２８００、２９００、３０００、３１００の各々につき異なっており、それぞれ２、４、８、および１６である。ステップ２０２０は、例えば複合的なエラーメトリックε_totalの一部として、および任意に図５を参照して上述したような他のパラメータとともに、ε_noiseをその良好性メトリックに含んでもよい。

【0163】

図３２および図３３は、シーン３２９０のダイナミックレンジを縮小するための勾配フィルタを含む１つのＨＤＲカメラ３２００を示す図である。図３２は、ＨＤＲカメラ３２００の断面図であり、図３３は、ＨＤＲカメラ３２００のイメージセンサの平面図である。図３２と図３３は、以下の説明において共に参照するのが最適である。

【0164】

ＨＤＲカメラ３２００は、ＨＤＲカメラ１０２の一実施形態であり、方法５００、１０００、または１１００に従って、露光時間コントローラ１００によって自動露出され得る。ＨＤＲカメラ３２００は、ＳＭＥ ＨＤＲイメージセンサ１１０と、勾配フィルタ３２４０と、イメージセンサ１１０と勾配フィルタ３２４０との間に配置された対物レンズ３２３０と、コントローラ３２５０とを含む。勾配フィルタ３２４０は、少なくとも１つの次元で勾配を示す透過係数を有する中性濃度フィルタ（ｎｅｕｔｒａｌ ｄｅｎｓｉｔｙ ｆｉｌｔｅｒ）である。図３２および図３３に示した実施形態では、勾配フィルタ３２４０の透過係数は、１つの次元における線形勾配（ｌｉｎｅａｒ ｇｒａｄｉｅｎｔ）によって特徴付けられる。勾配フィルタ３２４０のこの実施形態は、地平線の写真などの、上半分が明るく、下半分が暗いシーン３２９０の画像撮影に適してい得る。しかしながら、本開示の範囲から逸脱することなく、勾配フィルタ３２４０は、より複雑な透過係数の変化を示してもよい。

【0165】

画素アレイ２２０に向かう途中で勾配フィルタ３２４０の透過性の低い部分を通過する光線３２９２は、画素アレイ２２０に向かう途中で勾配フィルタ３２４０の透過性の高い部分を通過する光線３２９４よりも減衰される。撮影者は、勾配フィルタ３２４０を選択し、そしてシーン３２９０の明るい部分を暗くするように、選択した勾配フィルタ３２４０を方向付けし得る。図３２および図３３に描かれたシナリオでは、勾配フィルタ３２４０は、シーン３２９０の下部よりもシーン３２９０の上部を暗くする。勾配フィルタ３２４０の機能は、画素アレイ２２０に仮想マスク３３１０を適用することに似ており、仮想マスク３３１０の透過係数は勾配フィルタ３２４０の透過係数と同様に変化する。

【0166】

勾配フィルタ３２４０によるシーン３２９０のダイナミックレンジの縮小は、ＳＭＥ ＨＤＲイメージセンサ１１０に対するダイナミックレンジ要求を軽減する。例えば、勾配フィルタ３２４０は、ＳＭＥ ＨＤＲイメージセンサ１１０によって生成されたＨＤＲ画像において露光不足または露光過多である画素の数を減らし、代わりに、そのような画素をＳＭＥ ＨＤＲイメージセンサ１１０のダイナミックレンジ内に入れることにより、対応するシーン部分の完全な情報をキャプチャすることができる。

【0167】

コントローラ３２５０は、ＳＭＥ ＨＤＲイメージセンサ１１０による画像撮影の少なくともいくつかの側面を制御する。コントローラ３２５０は、ＨＤＲカメラ３２００のＳＭＥ ＨＤＲイメージセンサ１１０によって生成された画像データを処理して、勾配フィルタ３２４０の影響を補償してもよい。したがって、勾配フィルタ３２４０およびコントローラ３２５０は協働し、勾配フィルタ３２４０およびコントローラ３２５０を含まないＨＤＲカメラ１０２の実施形態と比較して、ＨＤＲカメラ３２００のダイナミックレンジをさらに拡張する。コントローラ３２５０はまた、ＳＭＥ ＨＤＲイメージセンサ１１０を自動露出してもよい。一実施形態において、コントローラ３２５０は、露光時間コントローラ１００を含む。

【0168】

図３４は、勾配フィルタ３２４０を使用してＨＤＲカメラ３２００によって撮影されたときのシーン３２９０の元のダイナミックレンジの少なくとも一部を再構成するための１つの方法３４００を示す。方法３４００は、コントローラ３２５０によって実行され得る。方法３４００は、勾配フィルタ３２４０の影響を補償するために、ＳＭＥ ＨＤＲイメージセンサ１１０の出力画像をスケーリングするステップ３４２０を含む。ステップ３４２０で適用されるスケーリングは、勾配フィルタ３２４０によって非一様に減衰される前のシーン３２９０の元のダイナミックレンジを少なくとも部分的に再構成する。ステップ３４２０は、勾配フィルタ３２４０によって与えられた減衰を戻す（ｒｅｖｅｒｓｅ）ために、ＳＭＥ ＨＤＲイメージセンサ１１０の出力画像を仮想マスク３３１０の逆関数によってスケーリングしてもよい。あるシナリオにおいては、ステップ３４２０は、シーン３２９０のダイナミックレンジ全体を再構成する。別のシナリオにおいては、シーン３２９０のダイナミックレンジは、勾配フィルタ３２４０によって低減されたとしても、ＳＭＥ ＨＤＲイメージセンサ１１０のダイナミックレンジを超える。このシナリオにおいて、ステップ３２４０は、シーン３２９０の元のダイナミックレンジを部分的にしか再構成しない。ステップ３２４０は、コントローラ３２５０にエンコードされた、またはユーザーによって提供された、勾配フィルタ３２４０の仕様に基づいてもよい。

【0169】

一実施形態において、方法３４００は、勾配フィルタ３２４０の影響下でＳＭＥ ＨＤＲイメージセンサ１１０を自動露出するために、方法５００（または方法１０００または１１００）を実行するステップ３４１０をさらに含む。

【0170】

図３５は、映像ストリームの時間的明度不安定性をキャプチャ後に減少させる場合の、ＳＭＥ ＨＤＲイメージセンサによってキャプチャされた映像ストリームの自動露出のための１つの方法３５００を示している。方法３５００は、ＨＤＲカメラ４０２によって実行されてもよいし、ＨＤＲ画像生成器２５０とともに露光時間コントローラ４００によって実行されてもよい。

【0171】

映像ストリームのキャプチャ中において、方法３５００は、ステップ３５１０および３５２０の反復を実行して、ＳＭＥ ＨＤＲイメージセンサを自動露出する。方法３５００は、ステップ３５１０および３５２０を連続的または定期的に実行して、シーンが変化するにつれＳＭＥ ＨＤＲイメージセンサを自動露出させてもよい。方法３５００は、協働してＨＤＲ映像ストリームを生成するステップ３５３０および３５４０をさらに含む。一実施形態において、方法３５００は、映像ストリームをキャプチャするステップ３５０２も含む。ステップ３５０２は、ＳＭＥ ＨＤＲイメージセンサ１１０によって実行され得る。

【0172】

ステップ３５１０は、映像ストリームのフレームから、ＳＭＥ ＨＤＲイメージセンサの、長露光時間によって特徴付けられる画素からの長露光画素値と、ＳＭＥ ＨＤＲイメージセンサの、短露光時間によって特徴付けられる画素からの短露光画素値とを含む、ＲＡＷ画像データを取得する。ステップ３５１０の一例において、露光時間コントローラ４００は、ＳＭＥ ＨＤＲイメージセンサ１１０からＲＡＷ画像データ２８０の１フレームを取得する。本開示の範囲から逸脱することなく、ステップ３５１０で取得される画像データは、それぞれＳＭＥ ＨＤＲイメージセンサの、１つ以上の中露光時間によって特徴付けられる画素からの、中露光画素値の１つ以上のセットをさらに含んでもよい。ステップ３５２０は、方法５００のステップ５２０、５３０、５４０、５５０（および任意に５６０）、および５７０を実行して、良好性メトリック（および任意に顔の露光）に少なくとも部分的に基づいて、長露光時間および短露光時間の少なくとも一方を調整してＳＭＥ ＨＤＲイメージセンサに出力する。ステップ３５２０は、方法１０００または１１００に従って、ステップ５２０、５３０、５４０、５５０（および任意に５６０）、および５７０を実施してもよいことが理解される。ステップ３５２０の一例において、露光時間コントローラ４００は、長露光時間２９２および短露光時間２９４の少なくとも一方を調整し、露光時間セット２９０をＳＭＥ ＨＤＲイメージセンサ１１０に出力する。

【0173】

ステップ３５３０は、ＨＤＲ映像ストリームを生成するように、映像ストリームの各フレームのＨＤＲ画像を生成する。ステップ３５３０の一例において、ＨＤＲ画像生成器２５０は、ＳＭＥ ＨＤＲイメージセンサ１１０から受けとった映像ストリームの各フレームからＨＤＲ画像２７０を生成する。ＨＤＲ画像を生成するためにステップ３５３０によって処理されるフレームのフレームレートは、ＳＭＥ ＨＤＲイメージセンサを自動露出するためにステップ３５１０によって処理されるフレームのフレームレートと同じでもよいし、または異なっていてもよい。一態様において、ステップ３５１０および３５２０による自動露出は、ステップ３５３０で処理される映像ストリームのフレームレートよりも遅い。別の態様において、ステップ３５１０および３５２０による自動露出は、ステップ３５３０で処理される映像ストリームのフレームレートよりも速い。例えば、方法３５００は、ＨＤＲ画像のためにステップ３５３０で処理される各フレームのキャプチャに先立って、ステップ３５１０および３５２０の数回の反復を実行して、ＳＭＥ ＨＤＲイメージセンサを自動露出してもよい。

【0174】

いくつかのシナリオにおいて、映像ストリームキャプチャの自動露出（ステップ３５１０および３５２０による）が、ステップ３５３０で生成された映像ストリームにおける明度ジャンプにつながる可能性がある。この問題を改善するために、ステップ３５４０は、ＨＤＲ映像ストリームを後処理することにより、ＨＤＲ映像ストリームの時間的明度不安定性を低減する。ＨＤＲ画像生成器２５０は、ステップ３５４０を実行し得る。一実施形態において、ステップ３５４０は、各ＨＤＲ画像に、（ａ）固定の基準感度の、（ｂ）ＨＤＲ画像が生成されたフレームのキャプチャ時に使用された露光時間におけるＳＭＥ ＨＤＲイメージセンサの感度に対する比、を乗算するステップ３５４２を含む。

【0175】

本開示の範囲から逸脱することなく、方法３５００は、時間的多重化露光ＨＤＲイメージセンサまたは単一露光時間イメージセンサなど、ＳＭＥ ＨＤＲイメージセンサ以外の他のタイプのイメージセンサを自動露出するように適応されてもよい。方法３５００が、単一露光時間イメージセンサによる映像キャプチャを自動露出するように適応される場合、ステップ３５３０で生成される画像は、ＨＤＲ画像でない場合もある。

【0176】

図３６は、将来のシーンの予測される明度に応じて自動露出を最適化する、ＳＭＥ ＨＤＲイメージセンサによる映像ストリームキャプチャの自動露出のための１つの方法３６００を示す。方法３６００は、ＨＤＲカメラ４０２によって実行されてもよいし、ＨＤＲ画像生成器２５０とともに露光時間コントローラ４００によって実行されてもよい。

【0177】

映像ストリームのキャプチャ中において、方法３６００は、ステップ３５１０、３６２０、３６３０、および３６４０の反復を実行して、映像ストリームのキャプチャ中にＳＭＥ ＨＤＲイメージセンサを自動露出する。ここで自動露出は、キャプチャされるであろうシーンの予想される明度を考慮する。方法３６００は、ステップ３５１０、３６２０、３６３０、および３６４０を連続的または定期的に実行して、シーンが変化するにつれＳＭＥ ＨＤＲイメージセンサを自動露出してもよい。方法３６００は、図３５を参照して上述したように、協働してＨＤＲ映像ストリームを生成するステップ３５３０および３５４０をさらに含んでもよい。

【0178】

ステップ３５１０は、図３５を参照して上述したように、映像ストリームのフレームからＲＡＷ画像データを取得する。ステップ３６２０は、ステップ３６２０が調整された露光時間（複数可）をＳＭＥ ＨＤＲイメージセンサに出力しないことを除いて、ステップ３５２０と同様である。ステップ３６３０は、ＲＡＷ映像ストリームの時間的明度変化を分析して、ＳＭＥ ＨＤＲイメージセンサによってキャプチャされるであろう後のフレームの明度を予測する。ステップ３６３０の一例において、露光時間コントローラ４００は、ＳＭＥ ＨＤＲイメージセンサ１１０によってキャプチャされるＲＡＷ映像ストリームの時間的明度変化を分析して、ＳＭＥ ＨＤＲイメージセンサ１１０によってキャプチャされるであろう次のフレームまたは後のフレームの明度を予測する。ステップ３６４０は、ステップ３６３０で予測された明度に基づいて、ステップ３６２０によって調整された露光時間（複数可）を操作して、ＳＭＥ ＨＤＲイメージセンサによってキャプチャされるであろう後のフレームに最適となるように露光時間（複数可）をさらに調整する。ステップ３６３０は露光時間コントローラ４００によって実行され、露光時間コントローラ４００が、ステップ３６２０および３６４０で調整されさらに操作された露光時間セット２９０を、後のフレームをキャプチャするときにＳＭＥ ＨＤＲイメージセンサ１１０によって適用されるように、ＳＭＥ ＨＤＲイメージセンサ１１０に出力してもよい。

【0179】

方法３６００は、図３５を参照して上述したように、ＨＤＲ映像ストリームを生成するためのステップ３５３０をさらに含んでもよい。任意で、方法３６００は、図３５を参照して上述したように、ＨＤＲ映像ストリームの時間的明度不安定性を低減するためのステップ３５４０も含む。

【0180】

本開示の範囲から逸脱することなく、方法３６００は、時間的多重化露光ＨＤＲイメージセンサまたは単一露光時間イメージセンサなど、ＳＭＥ ＨＤＲイメージセンサ以外の他のタイプのイメージセンサを自動露出するように適応されてもよい。方法３６００が、単一露光時間イメージセンサによる映像キャプチャを自動露出するように適応される場合、ステップ３５３０で生成される画像は、ＨＤＲ画像でない場合もある。

【0181】

図３７は、局所露光時間制御を有する１つのＳＭＥ ＨＤＲイメージセンサ３７１０を示す。ＳＭＥ ＨＤＲイメージセンサ３７１０は、ＳＭＥ ＨＤＲイメージセンサ１１０の一実施形態であり、ＨＤＲカメラ１０２に実装されてもよい。ＳＭＥ ＨＤＲイメージセンサ３７１０は、画素アレイ３７２０および局所露光時間制御回路３７５０を含む。画素アレイ３７２０は、局所領域３７３０に分割されており、局所露光時間制御回路３７５０は、各局所領域３７３０の露光時間を独立して設定するように構成されている。例えば、局所露光時間制御回路３７５０は、ある局所領域３７３０の画素群３７４０に１セットの露光時間を割り当て、別の局所領域３７３０の画素群３７４０に別のセットの露光時間を割り当ててもよい。

【0182】

本開示の範囲から逸脱することなく、画素アレイ３７２０は、図３７に示すよりも多いまたは少ない局所領域３７３０に分割されてもよく、局所領域３７３０は、図３７に描かれているものとは異なるサイズおよび形状を有してもよく、局所領域３７３０のサイズおよび／または形状は、異なる局所領域３７３０の間で異なってもよい。

【0183】

一実施形態において、画素アレイ３７２０は、画素グループ２２６で構成され、各局所領域３７４０は、少なくとも１つの画素グループ２２６を含む。別の実施形態において、画素アレイ３７２０は、画素グループ８３０を備えるように構成され、各局所領域３７４０は、少なくとも１つの画素グループ８３０を含む。さらに別の実施形態において、画素アレイ３７２０は、画素グループ９３０を備えるように構成され、各局所領域３７４０は、少なくとも１つの画素グループ９３０を含む。

【0184】

図３８は、ＳＭＥ ＨＤＲイメージセンサの局所的自動露出のための１つの方法３８００を示す。方法３８００は、ＳＭＥ ＨＤＲイメージセンサ３７１０の局所的自動露出に使用され、画素アレイ３７２０の異なるそれぞれの局所領域３７３０に異なる露光時間を設定してもよい。

【0185】

方法３８００は、図５を参照して上述したように、ＳＭＥ ＨＤＲイメージセンサの露光からＲＡＷ画像データを取得するためにステップ５１０を実行する。方法３８００のステップ５１０の一例において、露光時間コントローラ４００は、ＳＭＥ ＨＤＲイメージセンサ３７１０からＲＡＷ画像データ２８０の１フレームを取得する。

【0186】

次に、ステップ３８２０において、ＳＭＥ ＨＤＲイメージセンサの画素アレイの複数の局所領域のそれぞれについて、方法３８００は、ステップ５２０、５３０、５４０、および５５０（および任意にステップ５６０）を実行して、局所領域の長露光時間および短露光時間の少なくとも一方を調整する。ステップ３８２０は、このように、各局所領域に対して独立した露光時間調整を可能にする。ステップ３８２０は、残りのいずれの局所領域についても露光時間を変更しないままで、局所領域のうち１つ以上について露光時間（複数可）を調整してもよいことが理解される。ステップ３８２０は、方法１０００または１１００に従って、ステップ５２０、５３０、５４０、および５５０（および、任意に、ステップ５６０）を実施してもよい。ステップ３８２０の一例において、露光時間コントローラ４００は、ＳＭＥ ＨＤＲイメージセンサ３７１０の１つ以上の局所領域３７３０のそれぞれについて、長露光時間２９２および／または短露光時間２９４を調整する。

【0187】

本開示の範囲から逸脱することなく、方法３８００は、２つより多くの異なる露光時間で動作するＳＭＥ ＨＤＲイメージセンサの自動露出に適用されてもよく、その場合、ステップ５１０および３８２０は、中露光画素値の１つ以上のセットをさらに処理し、ステップ３８２０は、局所領域のうち１つ以上のそれぞれについて１つ以上の中露光時間を調整してもよい。

【0188】

ステップ３８４０において、方法３８００は、調整された露光時間を、ＳＭＥ ＨＤＲイメージセンサに出力する。ステップ３８４０の一例において、露光時間コントローラ４００は、複数の露光時間セット２９０を、ＳＭＥ ＨＤＲイメージセンサ３７１０のそれぞれの複数の局所領域３７３０に出力する。

【0189】

特定の実施形態において、方法３８００は、ステップ３８２０と３８４０の間に実行されるステップ３８３０をさらに含む。ステップ３８３０は、ステップ３８２０で調整された局所的な露光時間を修正して、異なる局所領域間の露光時間の遷移を平滑化する。そのような一実施形態において、ステップ３８３０は、隣接する領域間の露光時間の差に上限を課す。別のそのような実施形態において、ステップ３８３０は、ステップ３８２０で調整された露光時間に、空間的平滑化フィルタを適用する。さらに別のそのような実施形態では、ステップ３８２０は、ＳＭＥ ＨＤＲイメージセンサの局所領域の空間解像度よりも小さい局所領域の空間解像度で実行され、ステップ３８３０は、ＳＭＥ ＨＤＲイメージセンサの局所領域のフル空間解像度を利用して、露光時間の遷移を平滑化する。露光時間コントローラ４００は、ステップ３８３０を実行し得る。

【0190】

方法３８００は、図５を参照して上述したように、ステップ５０２をさらに含んでもよい。方法３８００において実施されるステップ５０２の一例において、ＳＭＥ ＨＤＲイメージセンサ３７１０は、ＲＡＷ画像データ２８０をキャプチャする。

【0191】

方法３８００は、方法５００について上述したのと同様の方法で、ＳＭＥ ＨＤＲイメージセンサの各局所領域の露光時間を最適化するために、ステップ５１０、３８２０、および３８４０（および、任意に、ステップ５０２および３８３０の一方または両方も）の数回の反復または繰り返しを実行してもよい。

【0192】

図３９は、エントロピー分散Var(S_i)の最小化に少なくとも部分的に基づいて、ＳＭＥ ＨＤＲイメージセンサを自動露出するための１つの露光時間コントローラ３９００を示す。露光時間コントローラ３９００は、露光時間コントローラ１００の一実施形態であり、ＨＤＲカメラ３９０２のＳＭＥ ＨＤＲイメージセンサ１１０と組み合わせられてもよい。ＨＤＲカメラ３９０２は、ＨＤＲカメラ１０２の一実施形態である。

【0193】

露光時間コントローラ３９００は、ＳＭＥ ＨＤＲイメージセンサ１１０から受けとったＲＡＷ画像データ２８０を処理することにより、エントロピー分散Var(S_i)の最小化に基づいて露光時間セット２９０を最適化する、エントロピー分散最適化器３９５０を含む。露光時間コントローラ３９００は、遷移点ノイズ差異、顔の露光、および／または方法５００のステップ５４０および５５０を参照して上述したものを含む他のメトリックなどの、他のメトリックを考慮することもできる。

【0194】

一実施形態において、エントロピー分散最適化器３９５０は、ＨＤＲヒストグラムを合成するための合成器４３０を含む。この実施形態において、合成器４３０は、複数の露光時間別のヒストグラムからＨＤＲヒストグラムを合成してもよく、かつエントロピー分散最適化器３９５０は、露光時間固有のヒストグラムのそれぞれからノイズの影響を除去するノイズ除去器３９６０をさらに含んでもよい。

【0195】

露光時間コントローラ３９００は、２つの露光時間、すなわち、長露光時間２９２および短露光時間２９４で動作するＳＭＥ ＨＤＲイメージセンサ１１０の実施形態を自動露出してもよい。あるいは、露光時間コントローラ３９００は、２つより多くの露光時間、すなわち、長露光時間２９２、短露光時間２９４、および１つ以上の中露光時間で動作するＳＭＥ ＨＤＲイメージセンサ１１０の実施形態を自動露出してもよい。露光時間コントローラ３９００は、カラーＳＭＥ ＨＤＲイメージセンサ１１０ならびにモノクロＳＭＥ ＨＤＲイメージセンサ１１０を自動露出することができる。

【0196】

図４０は、エントロピー分散Var(S_i)の最小化に少なくとも部分的に基づいて、ＳＭＥ ＨＤＲイメージセンサを自動露出するための１つの方法４０００を示す。方法４０００は、方法５００の一実施形態であり、露光時間コントローラ３９００によってＳＭＥ ＨＤＲイメージセンサ１１０を自動露出するために実行され得る。方法４０００は、ステップ４０１０および４０２０を含む。ステップ４０１０は、エントロピー分散Var(S_i)の最小化に少なくとも部分的に基づいて、最適な露光時間設定を決定し、ステップ４０２０は、最適な露光時間設定をＳＭＥ ＨＤＲイメージセンサに出力する。例えば、露光時間コントローラ３９００は、（ａ）ステップ４０１０において、ＳＭＥ ＨＤＲイメージセンサ１１０からのＲＡＷ画像データ２８０を処理し、エントロピー分散最適化器３９５０を用いて最適な露光時間セット２９０を決定し、（ｂ）ステップ４０２０において、最適な露光時間セット２９０をＳＭＥ ＨＤＲイメージセンサ１１０に出力してもよい。

【0197】

ステップ４０１０は、異なるそれぞれの露光時間設定でのＳＭＥ-ＨＤＲイメージセンサの、複数の個々の露光のそれぞれからの画素値の、複数のＨＤＲヒストグラムを処理する。複数のＨＤＲヒストグラムのそれぞれについて、ステップ４０１０は、ＨＤＲヒストグラムの個々のビンからＨＤＲヒストグラムの総エントロピーへの寄与の分散Var(S_i)を評価することにより、エントロピー分散Var(S_i)の最小値に対応するイメージセンサの最適な露光時間設定を決定する。

【0198】

一実施形態において、ステップ４０１０は、異なる露光時間設定のそれぞれについて、ステップ４０１４および４０１８を実行する。ステップ４０１４は、露光時間設定のそれぞれの１つにおける露光からの画素値に対するＨＤＲヒストグラムのインスタンスを生成する。ステップ４０１４の一例において、合成器４３０は、ＳＭＥ ＨＤＲイメージセンサ１１０から取得したＲＡＷ画像データ２８０の１フレームから、ＨＤＲヒストグラムを生成する。ステップ４０１４は、それぞれの複数の異なる露光時間で動作するＳＭＥ ＨＤＲイメージセンサのそれぞれの複数の画素サブセットに対応付けられた複数の露光時間別のヒストグラムからＨＤＲヒストグラムを合成するステップ４０１６を含んでもよい。ステップ４０１６の一例において、合成器４３０は、長露光画素値２８２のヒストグラムと、短露光画素値２８４のヒストグラムとから、ＨＤＲヒストグラムを合成する。ステップ４０１８は、エントロピー分散Var(S_i)をＨＤＲヒストグラムのそれぞれについて計算する。

【0199】

ステップ４０１４がステップ４０１６を含んでいる方法４０００の実施形態において、ステップ４０１０は、ステップ４０１４の前に、ステップ４０１２を実行してもよい。ステップ４０１２は、ステップ４０１６でＨＤＲヒストグラムを合成するために使用される露光時間別のヒストグラムのそれぞれからノイズの影響を除去する。ステップ４０１４は、図１４および図１７を参照して上述したステップ１４４０および１４５０と同様である。ステップ４０１２の一例において、ノイズ除去器３９６０は、（ａ）長露光画素値２８２のヒストグラムおよび（ｂ）短露光時間画素値２８４のヒストグラムのそれぞれからノイズの影響を除去する。

【0200】

ステップ４０１０は、ステップ４０１４および４０１８（および任意に４０１２）の繰り返しを反復的に実行してもよく、ここで最初の反復を除く各反復は、先行する反復で決定された露光時間設定でキャプチャされたＲＡＷ画像データに基づいている。ステップ４０１０はまた、方法５００のステップ５４０および５５０を参照して上述した遷移点ノイズ差異、顔の露光、および／またはその他のメトリックなど、エントロピー分散以外の他のメトリックを考慮してもよい。

【0201】

方法４０００は、モノクロＳＭＥ ＨＤＲイメージセンサおよびカラーＳＭＥ ＨＤＲイメージセンサを自動露出し得る。カラーＳＭＥ ＨＤＲイメージセンサ８１０などのカラーＳＭＥ ＨＤＲイメージセンサの自動露出に適用される場合、方法４０００は、ステップ４０１４および４０１８で処理された輝度値のＨＤＲヒストグラムのエントロピー分散Var(S_i)を最小化してもよい。または方法４０００は、ステップ４０１４および４０１８で処理された色別の画素値の１つ以上のＨＤＲヒストグラムのエントロピー分散Var(S_i)を最小化してもよい。

【0202】

本開示の範囲から逸脱することなく、方法４０００は、２つより多くの異なる露光時間で動作するように構成されたＳＭＥ ＨＤＲイメージセンサに適用されてもよい。そのようなシナリオにおいて、方法４０００は、中露光値の１つ以上のセットをさらに処理して、１つ以上の最適な中露光時間をそれぞれ決定してもよい。また、本開示の範囲から逸脱することなく、方法４０００は、時間的多重化露光ＨＤＲイメージセンサの自動露出に適用されてもよい。

【0203】

図４１は、エントロピー分散Var(S_i)の最小化に少なくとも部分的に基づいて、ＳＭＥ ＨＤＲイメージセンサを自動露出するための１つのコンピュータ４１００を示す。コンピュータ４１００は、露光時間コントローラ３９００の一実施形態であり、ＨＤＲカメラ３９０２内において、ＳＭＥ ＨＤＲイメージセンサ１１０とともに実装され得る。あるいは、コンピュータ４１００は、サードパーティのＳＭＥ ＨＤＲイメージセンサとともに実装されるスタンドアローンの製品として提供されてもよい。コンピュータ４１００は、プロセッサ４１１０、非一時的メモリ４１２０、およびインターフェース４１９０を含む。メモリ４１２０は、機械可読命令４１３０を含み、動的データ記憶域４１６０をさらに含んでもよい。

【0204】

機械可読命令４１３０は、データ入力命令４１３２、エントロピー分散命令４１４０、およびデータ出力命令４１３４を含む。プロセッサ４１１０による実行時に、データ入力命令４１３２は、インターフェース４１９０を介して、ＳＭＥ ＨＤＲイメージセンサからＲＡＷ画像データ（例えば、ＲＡＷ画像データ２８０）を取得する。ＲＡＷ画像データは、方法４０００のステップ４０１０で使用されるものである。プロセッサ４１１０による実行時に、エントロピー分散命令４１４０およびデータ出力命令４１３４は、方法４０００のステップ４０１０および４０２０をそれぞれ実行する。エントロピー分散４１３２は、プロセッサ４１１０による実行時に、方法４０００のステップ４０１６および４０１２をそれぞれ実行する合成命令４１４２およびノイズ除去命令４１５０の一方または両方を含むことができる。データ出力命令４１３４は、インターフェース４１９０を介して露光時間セット２９０を出力するように構成される。

【0205】

動的データ記憶域４１６０は、以下のうち１つ以上を記憶してもよい。すなわち、（ａ）プロセッサ４１１０によるデータ入力命令４１３２の実行時にインターフェース４１９０を介して受けとった長露光画素値２８２および短露光画素値２８４、（ｂ）プロセッサ４１１０による合成命令４１４２の実行時に生成された１つ以上のＨＤＲヒストグラム７７０、（ｃ）プロセッサ４１１０によるエントロピー分散命令４１４０の実行時に生成された１つ以上のエントロピー分散値４１７２、および（ｄ）プロセッサ４１１０によるエントロピー分散命令４１４０の実行時に生成された長露光時間２９２および短露光時間２９４である。

【0206】

機械可読命令４１３０は、サードパーティのプロセッサ４１１０およびインターフェース４１９０とともに実装されるために、非一時的メモリにエンコードされたスタンドアローンのソフトウェア製品として提供されてもよいことが理解される。本開示の範囲から逸脱することなく、スタンドアローンのソフトウェア製品として提供されるコンピュータ４１００および機械可読命令４１３０のいずれか一方を、時間的多重化露光ＨＤＲイメージセンサの自動露出に適用してもよい。

【0207】

図４２は、エントロピー分散Var(S_i)の最小化に少なくとも部分的に基づいて、単一露光時間イメージセンサを自動露出するための１つの露光時間コントローラ４２００を示す。露光時間コントローラ４２００は、２つ以上の露光時間の代わりに１つの露光時間を最適化するように適応されていることを除いて、露光時間コントローラ３９００と同様である。露光時間コントローラ４２００は、カメラ４２０２内の単一露光時間イメージセンサ４２１０と組み合わせられてもよい。単一露光時間イメージセンサ４２１０は、すべて同じ露光時間で露光される画素４２３０の画素アレイ４２２０を含む。

【0208】

露光時間コントローラ４２００は、単一露光時間イメージセンサ４２１０から受けとった、画素値４２８２を含むＲＡＷ画像データ４２８０を処理することにより、画素値４２８２のヒストグラムのエントロピー分散Var(S_i)の最小化に基づいて単一露光時間イメージセンサ４２１０の露光時間４２９０を最適化する、エントロピー分散最適化器４２５０を含む。露光時間コントローラ４２００は、他のエントロピー系のメトリック、顔の露光、露光過多の画素４２３０の数、および／または露光不足の画素４２３０の数などの他のメトリックをさらに考慮してもよい。エントロピー分散最適化器４２５０は、画素値４２８２のヒストグラムからノイズの影響を除去するノイズ除去器４２６０を含んでもよい。

【0209】

露光時間コントローラ４２００は、カラーイメージセンサならびにモノクロイメージセンサの自動露出が可能である。

【0210】

図４３は、エントロピー分散Var(S_i)の最小化に少なくとも部分的に基づいて単一露光時間イメージセンサの自動露出を行う１つの方法４３００を示している。方法４３００は、単一露光時間イメージセンサのすべての画素に適用される単一の露光時間のみを最適化することを除いて、方法４０００と同様である。方法４３００は、単一露光時間イメージセンサ４２１０を自動露出するために、露光時間コントローラ４２００によって実行されてもよい。方法４３００は、ステップ４３１０および４３２０を含む。ステップ４３１０は、エントロピー分散Var(S_i)の最小化に少なくとも部分的に基づいて、最適な露光時間を決定する。ステップ４３２０は、最適な露光時間を単一露光時間イメージセンサに出力する。例えば、露光時間コントローラ４２００は、（ａ）ステップ４３１０において、単一露光時間イメージセンサ４２１０からのＲＡＷ画像データ４２８０を処理し、エントロピー分散最適化器４２５０を用いて最適な露光時間４２９０を決定し、（ｂ）ステップ４３２０において、最適な露光時間４２９０を単一露光時間イメージセンサ４２１０に出力してもよい。

【0211】

ステップ４３１０は、異なるそれぞれの露光時間における単一露光時間イメージセンサの複数の個々の露光のそれぞれからの画素値の複数のヒストグラムを処理する。複数のヒストグラムのそれぞれについて、ステップ４３１０は、ヒストグラムの個々のビンからのヒストグラムの総エントロピーへの寄与の分散Var(S_i)を評価することにより、エントロピー分散Var(S_i)の最小値に対応するイメージセンサの最適な露光時間を決定する。

【0212】

一実施形態において、ステップ４３１０は、異なる露光時間のそれぞれについて、ステップ４３１２および４３１６を実行する。各露光時間について、ステップ４３１２は、その露光時間における露光からの画素値のＨＤＲヒストグラムのインスタンスを生成する。ステップ４３１２の一例において、エントロピー分散最適化器４２５０は、単一露光時間イメージセンサ４２１０から取得した画素値４２８２のヒストグラムを生成する。ステップ４３１６は、ステップ４３１２で生成されたヒストグラムについてエントロピー分散Var(S_i)を計算する。

【0213】

一実施形態において、ステップ４３１０は、ステップ４３１２と４３１６の間にステップ４３１４を実行する。ステップ４３１４は、ステップ４３１６におけるエントロピー分散計算の前に、ステップ４３１２で生成されたヒストグラムからノイズの影響を除去する。ステップ４３１４は、図１４および図１７を参照して上述したステップ１４４０および１４５０と同様である。ステップ４３１４の一例において、ノイズ除去器４２６０は、画素値４２８２のヒストグラムからノイズの影響を除去する。

【0214】

ステップ４３１０は、ステップ４３１２および４３１６（および任意に４３１４）の繰り返しを反復的に実行してもよく、最初の反復を除く各反復は、先行する反復で決定された露光時間設定で撮影されたＲＡＷ画像データに基づいている。ステップ４３１０はまた、エントロピー分散以外の他のメトリック、例えば、他のエントロピー系のメトリック、顔の露光、露光過多の画素４２３０の数、および／または露光不足の画素４２３０の数を考慮してもよい。

【0215】

方法４３００は、モノクロ単一露光時間イメージセンサおよびカラー単一露光時間イメージセンサを自動露出し得る。ベイヤーカラーフィルタアレイを有する単一露光時間イメージセンサなどのカラー単一露光時間イメージセンサの自動露出に適用される場合、方法４３００は、異なる色の画素値４２８２を結合することによって生成される輝度値のヒストグラムのエントロピー分散Var(S_i)を最小化してもよいし、方法４３００は、色別の画素値４２８２の１つ以上のヒストグラムのエントロピー分散Var(S_i)を最小化してもよい。

【0216】

図４４は、エントロピー分散Var(S_i)の最小化に少なくとも部分的に基づいて、単一露光時間イメージセンサを自動露出するための１つのコンピュータ４４００を示す。コンピュータ４４００は、露光時間コントローラ４２００の一実施形態であり、カメラ４２０２内において、単一露光時間イメージセンサ４２１０とともに実装されてもよい。あるいは、コンピュータ４４００は、サードパーティの単一露光時間イメージセンサとともに実装されるスタンドアローン製品として提供されてもよい。コンピュータ４４００は、プロセッサ４４１０、非一時的メモリ４４２０、およびインターフェース４４９０を含む。メモリ４４２０は、機械可読命令４４３０を含み、動的データ記憶域４４６０をさらに含んでもよい。

【0217】

機械可読命令４４３０は、データ入力命令４４３２、エントロピー分散命令４４４０、およびデータ出力命令４４３４を含む。プロセッサ４４１０による実行時に、データ入力命令４４３２は、インターフェース４４９０を介して単一露光時間イメージセンサからＲＡＷ画像データ（例えば、ＲＡＷ画像データ４２８０）を取得する。ＲＡＷ画像データは、方法４３００のステップ４３１０で使用される。プロセッサ４４１０による実行時に、エントロピー分散命令４４４０およびデータ出力命令４４３４は、方法４３００のステップ４３１０および４３２０をそれぞれ実行する。エントロピー分散命令４４４０は、プロセッサ４４１０による実行時に、方法４３００のステップ４３１４を実行するノイズ除去命令４４５０を含んでもよい。データ出力命令４４３４は、インターフェース４４９０を介して露光時間４２９０を出力するように構成されている。

【0218】

動的データ記憶域４４６０は、以下のうち１つ以上を記憶してもよい。すなわち、（ａ）プロセッサ４４１０によるデータ入力命令４４３２の実行時にインターフェース４４９０を介して受けとった画素値４２８２、（ｂ）プロセッサ４４１０によるエントロピー分散命令４４４０の実行時に生成された１つ以上のヒストグラム４４７０、（ｃ）プロセッサ４４１０によるエントロピー分散命令４４４０の実行時に生成された１つ以上のエントロピー分散値４４７２、および（ｄ）プロセッサ４４１０によるエントロピー分散命令４４４０の実行時に生成された露光時間４２９０である。

【0219】

機械可読命令４４３０は、サードパーティのプロセッサ４４１０およびインターフェース４４９０とともに実装されるために、非一時的メモリにエンコードされたスタンドアローンのソフトウェア製品として提供されてもよいことが理解される。

【0220】

図４５は、ＳＭＥ ＨＤＲイメージセンサの長露光画素の飽和度レベルに基づいてＳＭＥ ＨＤＲイメージセンサを自動露出するための１つの露光時間コントローラ４５００を示す。露光時間コントローラ４５００は、基本的に、ＳＭＥ ＨＤＲイメージセンサの長露光画素を照度計として使用する。露光時間コントローラ４５００は、ＨＤＲカメラ４５０２内のＳＭＥ ＨＤＲイメージセンサ１１０と組み合わせられてもよい。露光時間コントローラ４５００は、飽和度評価器４５１０を含む。

【0221】

動作時において、露光時間コントローラ４５００は、ＳＭＥ ＨＤＲイメージセンサ１１０から受けとったＲＡＷ画像データ２８０の１つ以上のフレームを処理する。飽和度評価器４５１０は、ＲＡＷ画像データ２８０の長露光画素値２８２の飽和閾値に対するレベルを評価する。長露光画素２２２からの長露光画素値２８２が所定の飽和閾値を超える場合、露光時間コントローラ４５００は、ＳＭＥ ＨＤＲイメージセンサ１１０の短露光画素２２４のうち少なくともいくつかに対して、減少した短露光時間４５９２を設定する。露光時間の減少を補償するために、露光時間コントローラ４５００は、短露光時間と対応するデジタルゲインとの積が変化しないように、これらの短露光画素２２４に対して増加したデジタルゲイン４５９４を設定する。

【0222】

一実施形態において、露光時間コントローラ４５００は、同じ短露光時間４５９２および対応するデジタルゲイン４５９４を、ＳＭＥ ＨＤＲイメージセンサ１１０のすべての短露光画素２２４に適用する。別の実施形態において、露光時間コントローラ４５００は、位置に依存する短露光時間４５９２および対応するデジタルゲイン４５９４を定義するように構成される。この実施形態において、露光時間コントローラ４５００は、画素アレイ２２０の異なる局所的空間領域に対して、これらの局所的空間領域のそれぞれにおいて飽和度評価器４５１０によって決定された飽和度レベルに応じて、短露光時間４５９２（および対応するデジタルゲイン４５９４）を別々に設定してもよい。

【0223】

一態様において、露光時間コントローラ４５００は、すべての長露光画素２２２および短露光画素２２４が同じ分光感度を有するモノクロＳＭＥ ＨＤＲイメージセンサ１１０を自動露出する。別の態様において、露光時間コントローラ４５００は、いくつかの異なる分光感度クラス、例えば、赤、緑、および青を含むカラーＳＭＥ ＨＤＲイメージセンサ８１０などのカラーＳＭＥ ＨＤＲイメージセンサ１１０を自動露出する。この態様において、露光時間コントローラ４５００は、（ａ）画素アレイ２２０のすべての短露光時間画素２２４に対してグローバルに、または（ｂ）画素アレイ２２０の複数の別々に構成可能な局所的空間領域のそれぞれ内のすべての短露光時間画素２２４について、すべての分光感度クラスに対して同じ短露光時間４５９２および対応するデジタルゲイン４５９４を定義してもよい。

【0224】

図４６は、その画素アレイ２２０の複数の局所領域４６２２に対して別々の短露光時間制御を有する１つのＳＭＥ ＨＤＲイメージセンサ４６１０を示す。ＳＭＥ ＨＤＲイメージセンサ４６１０は、ＳＭＥ ＨＤＲイメージセンサ１１０の一実施形態である。ＳＭＥ ＨＤＲイメージセンサ４６１０は、露光時間コントローラ４５００が、図４５を参照して上述したように、各局所領域４６２２を別々に自動露出するように、ＨＤＲカメラ４５０２に実装されてもよい。図示を明確にするために、図４６は、２つの別々に制御可能な局所領域４６２２のみを描いているが、ＳＭＥ ＨＤＲイメージセンサ４６１０の画素アレイ２２０は、２つより多くの別々に制御可能な局所領域４６２２に構成されてもよい。ＳＭＥ ＨＤＲイメージセンサ４６１０は、モノクロイメージセンサであってもよいし、カラーＳＭＥ ＨＤＲイメージセンサ８１０などのカラーイメージセンサであってもよい。

【0225】

図４７は、ＳＭＥ ＨＤＲイメージセンサ４７１０の各分光感度クラスおよび露光時間を代表する画素の各局所グループに対して別々の短露光時間制御を有するような、１つのＳＭＥ ＨＤＲイメージセンサ４７１０を示す。各画素グループ２２６が１つの長露光画素２２２と１つの短露光画素２２４で構成されるような、ＳＭＥ ＨＤＲイメージセンサ４７１０のモノクロ実施形態においては、短露光時間４５９２および対応するデジタルゲイン４５９４は、各短露光画素２２４に対して他の短露光画素２２４とは別々に構成可能である。画素グループ８３０で構成されるＳＭＥ ＨＤＲイメージセンサ４７１０のカラー実施形態では、短露光時間４５９２および対応するデジタルゲイン４５９４は、各画素グループ８３０に対して他の画素グループ８３０とは別々に構成可能である。

【0226】

図４８は、ＳＭＥ ＨＤＲイメージセンサの長露光画素の飽和度レベルに基づいてＳＭＥ ＨＤＲイメージセンサを自動露出するための１つの方法４８００を示す。方法４８００は、ＨＤＲカメラ４５０２内のＳＭＥ ＨＤＲイメージセンサ１１０を自動露出するために、露光時間コントローラ４５００によって実行され得る。

【0227】

ステップ４８１０において、方法４８００は、ＳＭＥ ＨＤＲイメージセンサの露光からＲＡＷ画像データを取得する。ＲＡＷ画像データは、ＳＭＥ ＨＤＲイメージセンサの、長露光時間によって特徴付けられる長露光画素からの長露光画素値と、ＳＭＥ ＨＤＲイメージセンサの、短露光時間によって特徴付けられる短露光画素からの短露光画素値とを含む。ステップ４８１０の一例において、露光時間コントローラ４５００は、ＳＭＥ ＨＤＲイメージセンサ１１０から、長露光画素値２８２および短露光画素値２８４を含むＲＡＷ画像データ２８０を取得する。

【0228】

次に、方法４８００は、ＳＭＥ ＨＤＲイメージセンサの各別々に構成可能な局所的空間領域に対して、ステップ４８２０および４８３０、ならびに必要に応じてステップ４８４０も実行する。あるシナリオにおいては、ＳＭＥ ＨＤＲイメージセンサは、画素アレイ全体を通じて同じ短露光時間および対応するデジタルゲインでの動作に限定される。このシナリオにおいて、方法４８００は、ステップ４８２０および４８３０を実行し、必要に応じてステップ４８４０も実行して、短露光時間および対応するデジタルゲインをグローバルに設定することを１回行う。別のシナリオにおいては、ＳＭＥ ＨＤＲイメージセンサは、例えば図４６および図４７に示すように、２つ以上の別々に構成可能な局所的空間領域を有するように構成される。このシナリオにおいて、方法４８００は、これらの局所的空間領域のそれぞれについて、ステップ４８２０および４８３０、および必要に応じてステップ４８４０も実行する。

【0229】

ステップ４８２０は、考慮中の局所的空間領域における少なくとも１つの選択された長露光画素の飽和度レベルを評価する。一例において、飽和度評価器４５１０は、局所的空間領域における少なくとも１つの長露光画素２２２の飽和度を評価する。局所的空間領域が複数の長露光画素２２２を含む場合、ステップ４８２０は、（ａ）これらの長露光画素２２２のうちの選択された１つ、（ｂ）これらの長露光画素２２２のすべて、または（ｃ）これらの長露光画素２２２の適切なサブセットを評価してもよい。

【0230】

ステップ４８３０は、判定ステップである。ステップ４８２０で評価された、選択された長露光画素（複数可）の長露光画素値が飽和閾値を超えた場合、方法４８００はステップ４８４０に進む。ステップ４８４０は、（ｉ）局所的空間領域における短露光画素の減少した短露光時間と、（ｉｉ）減少した短露光時間を補償する、増加したデジタルゲイン値とを決定する。ステップ４８３０および４８４０の一例において、露光時間コントローラ４５００は、飽和度評価器４５１０による評価に基づいて、局所的空間領域における１つ以上の選択された長露光画素の長露光画素値が飽和閾値を超えることを決定し、露光時間コントローラ４５００は次に、短縮された短露光時間４５９２と、短露光時間の短縮を補償する対応するデジタルゲイン４５９４とを定義する。

【0231】

ステップ４８４０の後、方法４８００は、ステップ４８６０を実行する。ステップ４８６０は、選択された長露光画素（複数可）の長露光画素値が飽和閾値を超えることを特徴とする各局所的空間領域に対して、減少した短露光時間および対応して増加したデジタルゲイン値を、局所的空間領域の各短露光画素に出力する。ステップ４８６０の一例において、露光時間コントローラ４５００は、飽和閾値を超える長露光画素の飽和度の影響を受けた各局所的空間領域に、短露光時間４５９２および対応するデジタルゲイン４５９４を出力する。

【0232】

２つ以上の別々に構成可能な局所的空間領域を有するＳＭＥ ＨＤＲイメージセンサを自動露出するように構成された方法４８００の実施形態において、方法４８００は、ステップ４８４０と４８６０の間にステップ４８５０をさらに含んでもよい。ステップ４８５０は、ステップ４８４０で行われた調整の後、短露光時間およびデジタルゲイン値に空間的平滑化を適用する。この実施形態の一態様において、ステップ４８５０は、隣接する局所的空間領域間の短露光時間の差に上限を課す。この実施形態の別の態様において、ステップ４８５０は、ステップ４８４０で調整された短露光時間に空間的平滑化フィルタを適用する。この実施形態のさらに別の態様において、ステップ４８４０は、ＳＭＥ ＨＤＲイメージセンサの局所的空間領域の空間解像度よりも小さい空間解像度で実行され、ステップ４８５０は、ＳＭＥ ＨＤＲイメージセンサの局所的空間領域のフル空間解像度を利用して、露光時間の遷移を平滑化する。露光時間コントローラ４５００は、ステップ４８５０を実行してもよい。

【0233】

方法４８００は、露光時間コントローラ４５００について上述したように、カラーＳＭＥ ＨＤＲイメージセンサだけでなく、モノクロＳＭＥ ＨＤＲイメージセンサの自動露出に適用することができる。

【0234】

図４９は、長露光画素の飽和度レベルに基づいてＳＭＥ ＨＤＲイメージセンサを自動露出するための１つのコンピュータ４９００を示す。コンピュータ４９００は、露光時間コントローラ４５００の一実施形態であり、ＨＤＲカメラ４５０２内において、ＳＭＥ ＨＤＲイメージセンサ１１０とともに実装され得る。あるいは、コンピュータ４９００は、サードパーティのＳＭＥ ＨＤＲイメージセンサとともに実装されるスタンドアローンの製品として提供されてもよい。コンピュータ４９００は、プロセッサ４９１０、非一時的メモリ４９２０、およびインターフェース４９９０を含む。メモリ４９２０は、機械可読命令４９３０を含み、動的データ記憶域４９６０をさらに含んでもよい。

【0235】

機械可読命令４９３０は、データ入力命令４９３２、飽和度評価命令４９４０、調整命令４９４２、およびデータ出力命令４９３４を含む。プロセッサ４９１０による実行時に、データ入力命令４４３２は、方法４８００のステップ４８１０を実行して、インターフェース４９９０を介してＳＭＥ ＨＤＲイメージセンサからＲＡＷ画像データ（例えば、ＲＡＷ画像データ２８０）を取得する。プロセッサ４９１０による実行時に、飽和度評価命令４９４０は、方法４８００のステップ４８２０を実行する。プロセッサ４９１０による実行時に、調整命令４９４２は、方法４８００のステップ４８３０、および必要に応じてステップ４８４０も実行する。一実施形態において、機械可読命令４９３０は、プロセッサ４９１０による実行時に、方法４８００のステップ４８５０を実行する平滑化命令４９３６をさらに含む。データ出力命令４４３４は、インターフェース４９９０を介して短露光時間４５９２および対応するデジタルゲイン４５９４を出力するように構成される。

【0236】

動的データ記憶域４９６０は、以下のうち１つ以上を記憶してもよい。すなわち、（ａ）プロセッサ４９１０によるデータ入力命令４９３２の実行時にインターフェース４９９０を介して受けとった長露光画素値２８２および短露光画素値２８４、（ｂ）プロセッサ４９１０による飽和度評価命令４９４０の実行時に決定された１つ以上の飽和度条件４９７０、（ｃ）プロセッサ４９１０による調整命令４９４２の実行時に生成された短露光時間４５９２および対応するデジタルゲイン４５９４の１つ以上のセットである。

【0237】

機械可読命令４９３０は、サードパーティのプロセッサ４９１０およびインターフェース４９９０とともに実装されるために、非一時的メモリにエンコードされたスタンドアローンのソフトウェア製品として提供されてもよいことが理解される。

【0238】

特徴の組み合わせ
上述の特徴および以下の請求項に記載の特徴は、本開示の範囲から逸脱することなく、様々な方法で組み合わせることができる。例えば、本明細書に記載されたイメージセンサの自動露出のための１つの方法または製品という側面は、本明細書に記載されたイメージセンサの自動露出のための別の１つの方法または製品の特徴を組み込んだり、入れ替えたりすることができることが理解されるであろう。以下の例は、上述の実施形態のいくつかの可能な、非限定的な組み合わせを示している。本発明の趣旨および範囲から逸脱することなく、本明細書の方法、製品、およびシステムに他の多くの変更および修正を加えることができることは明らかであろう。

【0239】

（Ａ１）ＳＭＥ ＨＤＲイメージセンサの自動露出方法は、以下を含み得る：（Ｉ）前記ＳＭＥ ＨＤＲイメージセンサの露光からＲＡＷ画像データを取得するステップであって、前記ＲＡＷ画像データは、前記ＳＭＥ ＨＤＲイメージセンサの、長露光時間によって特徴付けられる画素からの長露光画素値と、前記ＳＭＥ ＨＤＲイメージセンサの、短露光時間によって特徴付けられる画素からの短露光画素値とを含むステップ、（ＩＩ）前記長露光画素値および短露光画素値を前処理して、１つ以上の品質要件を満たさない長露光画素値および短露光画素値を除外するステップ、（ＩＩＩ）前記前処理するステップの後に残った前記長露光画素値および前記前処理するステップの後に残った前記短露光画素値を、ＨＤＲヒストグラムとして合成するステップ、（ＩＶ）前記ＨＤＲヒストグラムから良好性メトリックを導出するステップ、（Ｖ）前記良好性メトリックに少なくとも部分的に基づいて前記長露光時間および前記短露光時間の少なくとも一方を調整するステップ、（ＶＩ）調整された前記長露光時間および前記短露光時間の少なくとも一方を、前記ＳＭＥ ＨＤＲイメージセンサに出力するステップ。

【0240】

（Ａ２）（Ａ１）に記載の前記自動露出方法において、前記良好性メトリックは、エントロピーメトリックを含み得る。

【0241】

（Ａ３）（Ａ２）に記載の前記自動露出方法において、前記良好性メトリックは、前記ＨＤＲヒストグラムの総エントロピーに対する前記ＨＤＲヒストグラムの個々のビンの寄与の前記ＨＤＲヒストグラム全体にわたっての分散を含み得る。

【0242】

（Ａ４）（Ａ３）に記載の前記自動露出方法において、前記導出するステップは、前記ＨＤＲヒストグラムの個々のビン_ｉからの前記寄与S_iをS_i = -p_ilog₂(p_i)として算出することを含んでいてもよく、p_iは前記個々のビン_ｉにおけるカウントである。

【0243】

（Ａ５）（Ａ３）および（Ａ４）に記載の前記自動露出方法のいずれかは、前記合成するステップよりも前に、前記長露光画素値および短露光画素値からノイズの影響を除去するステップをさらに含み得る。

【0244】

（Ａ６）（Ａ５）に記載の前記自動露出方法において、前記ノイズの影響を除去するステップは、（ａ）前記長露光画素値の第１のヒストグラムおよび（ｂ）前記短露光画素値の第２のヒストグラムのそれぞれを、ノイズモデルに従って逆畳み込みするステップを含み得る。

【0245】

（Ａ７）（Ａ６）に記載の前記自動露出方法の前記ノイズモデルにおいて、ノイズ分散の期待値は、画素値の線形関数でモデリングされ得る。

【0246】

（Ａ８）（Ａ３）から（Ａ７）に記載の自動露出方法のうちいずれかは、前記取得するステップ、前処理するステップ、合成するステップ、導出するステップ、調整するステップ、および出力するステップの複数回の反復を行うことにより、前記分散を最小化するような前記長露光時間および前記短露光時間の最適なセットを決定するステップをさらに含み得る。

【0247】

（Ａ９）（Ａ８）に記載の前記自動露出方法は、前記複数回の反復を行うステップよりも前に、最適な長露光時間を決定するステップをさらに含んでいてもよく、かつ、前記複数回の反復を行うステップは、前記長露光時間を前記最適な長露光時間に維持しながら最適な短露光時間を決定するステップを含み得る。

【0248】

（Ａ１０）（Ａ９）に記載の前記自動露出方法において、前記最適な長露光時間を決定するステップは、前記ＳＭＥ ＨＤＲイメージセンサによって撮影された画像のデモザイキングにおける前記長露光画素値の使用と前記短露光画素値の使用との遷移を定義する遷移点における、前記長露光画素値と前記短露光画素値とのノイズ差異を最小化するように、前記長露光時間を変更するステップを含み得る。

【0249】

（Ａ１１）（Ａ１０）に記載の前記自動露出方法において、前記長露光時間を変更するステップは、（１）前記長露光時間を初期値に設定しかつ前記短露光時間を最小値に設定するステップと、（２）以下の少なくとも１つの反復を行うステップとを含み得る：（ａ）前記取得するステップ、前処理するステップ、および合成するステップを行うことにより、仮のＨＤＲヒストグラムを生成するステップ、（ｂ）前記仮のＨＤＲヒストグラムから、前記長露光時間の目標値を推定するステップ、（ｃ）前記目標値を中心とする範囲における前記長露光時間の複数の値について、前記長露光時間から得られるであろう前記ノイズ差異を示す複数のパラメータのそれぞれを算出するステップ、（ｄ）前記パラメータの前記値から、前記ノイズ差異の前記値のうち最小のものに対応付けられた前記ビンと一致する前記遷移点に対応するに対応する前記長露光時間の修正値を推定するステップ、（ｅ）前記長露光時間の前記修正値が前記長露光時間の前記初期値以上でないとき、前記長露光時間の前記初期値を前記長露光時間の前記修正値に更新して後続の反復へと続けるステップ、（ｆ）前記長露光時間の前記修正値が前記長露光時間の前記初期値以上のとき、前記長露光時間の前記修正値を前記最適な長露光時間として出力するステップ。

【0250】

（Ａ１２）（Ａ２）から（Ａ１１）に記載の自動露出方法のうちいずれかは、前記ＲＡＷ画像データ中における顔を検出するステップをさらに含んでいてもよく、かつ、前記調整するステップは、前記良好性メトリックに部分的に基づいて、かつ部分的に前記顔の露光を改善するように、前記長露光時間および前記短露光時間のセットを調整するステップを含み得る。

【0251】

（Ａ１３）（Ａ２）から（Ａ１２）に記載の前記自動露出方法のいずれかにおいて、前記良好性メトリックは、前記ＨＤＲヒストグラムの上端および下端の一方または両方におけるクリッピングを表すメトリックをさらに含み得る。

【0252】

（Ａ１４）（Ａ１）から（Ａ１３）に記載の自動露出方法のうちいずれかは、（ｉ）前記取得するステップにおいて、前記ＲＡＷ画像データの一部として、前記ＳＭＥ ＨＤＲイメージセンサの、前記長露光時間より短くかつ前記短露光時間よりも長い中露光時間によって特徴付けられる画素からの中露光画素値をさらに取得するステップと、（ｉｉ）前記前処理するステップにおいて、前記中露光画素値をさらに前処理して、１つ以上の第２の品質要件を満たさないような中露光画素値を除外するステップと、（ｉｉｉ）前記合成するステップにおいて、前記前処理するステップの後に残った前記中露光画素値を前記ＨＤＲヒストグラムにさらに合成するステップと、（ｉｖ）前記調整するステップにおいて、前記中露光時間をさらに調整するステップと、（ｖ）前記出力するステップにおいて、前記調整された中露光時間をさらに出力するステップと、を含み得る。

【0253】

（Ａ１５）（Ａ１）から（Ａ１４）に記載の前記自動露出方法のいずれかにおいて、前記ＳＭＥ ＨＤＲイメージセンサは複数の色別の画素セットを有するカラーイメージセンサであり得、前記色別の画素セットのうちそれぞれは、複数の色のうちのそれぞれの１つに対し固有に感度を有しており、前記色別の画素セットのうちそれぞれは、前記長露光時間により特徴付けられる画素のサブセットおよび前記短露光時間により特徴付けられる画素のサブセットを有しており、かつ前記自動露出方法は、（Ａ）前記色別の画素セットのうちそれぞれに対し別々に、前記取得するステップ、前処理するステップ、合成するステップ、および導出するステップを行うステップと、（Ｂ）前記色別の画素セットに対し決定された各良好性メトリックをまとめて評価することにより、全色に適用可能な前記長露光時間および前記短露光時間の調整済みの１セットを生成するステップと、をさらに含み得る。

【0254】

（Ａ１６）（Ａ１）から（Ａ１４）に記載の前記自動露出方法のいずれかにおいて、前記ＳＭＥ ＨＤＲイメージセンサは複数の色別の画素セットを有するカラーイメージセンサであり得、前記色別の画素セットのうちそれぞれは、複数の色のうちのそれぞれの１つに対し固有に感度を有しており、前記色別の画素セットのうちそれぞれは、前記長露光時間により特徴付けられる画素のサブセットおよび前記短露光時間により特徴付けられる画素のサブセットを有しており、かつ前記自動露出方法は、（１）前記取得するステップにおいて、前記色別の画素セットのうちそれぞれについて、それぞれの色別の長露光画素値およびそれぞれの色別の短露光画素値を取得するステップと、（２）前記前処理するステップよりも前に、異なる色に対応付けられた前記色別の長露光画素値のうち空間的に隣接するものを結合することにより、前記長露光画素値を生成し、異なる色に対応付けられた前記色別の短露光画素値のうち空間的に隣接するものを結合することにより、前記短露光画素値を生成するステップであって、前記長露光画素値および短露光画素値は輝度を表している、ステップと、をさらに含み得る。

【0255】

（Ａ１７）（Ａ１）から（Ａ１６）に記載の前記自動露出方法のいずれかにおいて、前記前処理するステップは、前記長露光画素値および前記短露光画素値を互いに別々にフィルタリングするステップを含み得る。

【0256】

（Ａ１８）（Ａ１７）に記載の前記自動露出方法において、前記前処理するステップは、（１）前記フィルタリングするステップにおいて、（ａ）前記長露光画素値から飽和に関する閾値を超える長露光画素値を除外し、（ｂ）前記短露光画素値からノイズに関する閾値未満の短露光画素値を除外するステップを含み得る。

【0257】

（Ａ１９）（Ａ１７）および（Ａ１８）に記載の前記自動露出方法において、前記前処理するステップは、前記フィルタリングするステップの後に残った前記長露光画素値と前記短露光画素値とを比較することにより、動き差異を評価し、閾値動き差異レベルを超える動き差異の影響を受ける短露光画素値および長露光値を前記ＳＭＥ ＨＤＲイメージセンサの空間領域から除外するステップをさらに含み得る。

【0258】

（Ａ２０）（Ａ１９）および（Ａ５）に記載の前記自動露出方法において、前記ノイズの影響を除去するステップは、閾値動き差異レベルを超える動き差異の影響を受ける前記短露光画素値および前記長露光値を前記空間的多重化露光ハイダイナミックレンジイメージセンサの前記空間領域から除外するステップの後に残っている、前記長露光画素値および前記短露光画素値に、別々に適用される。

【0259】

（Ａ２１）（Ａ１）から（Ａ２０）に記載の前記自動露出方法のいずれかにおいて、前記合成するステップは、（１）（ａ）前記前処理するステップの後に残った前記長露光画素値の第１のヒストグラムと、（ｂ）前記前処理するステップの後に残った前記短露光画素値の第２のヒストグラムとを、共通のスケールにスケーリングするステップと、（２）前記第２のヒストグラムから、前記共通のスケールにおいて、前記第１のヒストグラムの最上位ビンの中心値以下の中心値を有するような短露光画素値のビンを除外するステップと、（３）前記除外するステップの後、前記第１のヒストグラムと前記第２のヒストグラムとをマージすることにより、前記ＨＤＲヒストグラムを作成するステップと、を含み得る。

【0260】

（Ａ２２）（Ａ１）から（Ａ２１）に記載の前記自動露出方法のいずれかにおいて、前記前処理するステップは、前記ＳＭＥ ＨＤＲイメージセンサと前記ＲＡＷ画像データによって表されるシーンとの間にある光学的勾配フィルタの影響を補償するように、前記長露光画素値および前記短露光画素値をスケーリングするステップを含み得る。

【0261】

（Ａ２３）（Ａ１）から（Ａ２２）に記載の自動露出方法のうちいずれかは、前記取得するステップ、前処理するステップ、合成するステップ、導出するステップ、調整するステップ、および出力するステップの複数回の反復を行うことにより、前記良好性メトリックを最適化する前記長露光時間および前記短露光時間の最適なセットを決定するステップを含み得る。

【0262】

（Ａ２４）（Ａ２３）に記載の前記自動露出方法において、後続の各反復は、最も直近の先行する反復において前記ＳＭＥ ＨＤＲイメージセンサに出力された前記長露光時間および前記短露光時間の調整済みのセットを用いて、前記ＳＭＥ ＨＤＲイメージセンサにより取得されたＲＡＷ画像データに基づいていてもよい。

【0263】

（Ａ２５）（Ａ２３）および（Ａ２４）に記載の前記自動露出方法のいずれかは、前記行うステップを前記ＳＭＥ ＨＤＲイメージセンサの複数の局所領域に対して別々に実行することにより、前記長露光時間および前記短露光時間の空間的に変化するセットを局所的に最適化するステップをさらに含み得る。

【0264】

（Ａ２６）（Ａ２３）から（Ａ２５）に記載の自動露出方法のうちいずれかは、以下をさらに含み得る：（１）前記取得するステップにおいて、前記ＳＭＥ ＨＤＲイメージセンサによって記録されたＲＡＷ映像ストリームの１フレームから、前記ＲＡＷ画像データを取得するステップ、（２）前記取得するステップ、前処理するステップ、合成するステップ、導出するステップ、調整するステップ、および出力するステップを前記ＲＡＷ映像ストリームの複数のフレームの前記ＲＡＷ画像データに対して実行することにより、前記ＳＭＥ ＨＤＲイメージセンサによる前記ＲＡＷ映像ストリームのキャプチャ中において、長露光時間および短露光時間の最適なセットを調整するステップ、（３）前記ＲＡＷ映像ストリームの各フレームについて、前記長露光画素値および前記短露光画素値からＨＤＲ画像を生成することにより、前記ＲＡＷ映像ストリームからＨＤＲ映像ストリームを生成するステップ、（４）前記ＨＤＲ映像ストリームを後処理することにより、映像シリーズ（ｖｉｄｅｏ ｓｅｒｉｅｓ）のキャプチャ中における前記長露光時間および前記短露光時間の前記最適なセットの調整により引き起こされた前記ＨＤＲ映像ストリームの時間的明度不安定性を低減するステップ。

【0265】

（Ａ２７）（Ａ２６）に記載の前記自動露出方法において、前記後処理するステップは、各ＨＤＲ画像を、（ａ）固定の基準感度の、（ｂ）前記ＨＤＲ画像に対応付けられた前記フレームのキャプチャ中において用いられた前記長露光時間および前記短露光時間における、前記ＳＭＥ ＨＤＲイメージセンサの感度に対する比、で乗算するステップを含み得る。

【0266】

（Ａ２８）（Ａ２３）から（Ａ２５）に記載の自動露出方法のうちいずれかは、（１）前記ＳＭＥ ＨＤＲイメージセンサによって記録されたフレームのＲＡＷ映像ストリームを得るステップと、（２）前記ＲＡＷ映像ストリームの時間的明度変化を解析することにより、前記ＳＭＥ ＨＤＲイメージセンサによってキャプチャされるであろう後のフレームの明度を予測するステップと、（３）前記ＲＡＷ映像ストリームの前記フレームのうち少なくともいくつかに対して前記反復を行うステップであって、前記反復のそれぞれはさらに、前記解析するステップにおいて予測された明度に基づいて、前記後のフレームについて最適なの前記長露光時間および前記短露光時間を最適なセットを操作するステップと、をさらに含み得る。

【0267】

（Ｂ１）ＳＭＥ ＨＤＲイメージセンサの自動露出のための製品は、非一時的メモリ中にエンコードされた機械可読命令を備え得る。前記機械可読命令は、（Ｉ）プロセッサによって実行されたとき、前記ＳＭＥ ＨＤＲイメージセンサの露光からＲＡＷ画像データを取得するデータ入力命令であって、前記ＲＡＷ画像データは、前記ＳＭＥ ＨＤＲイメージセンサの、長露光時間によって特徴付けられる画素からの長露光画素値と、前記ＳＭＥ ＨＤＲイメージセンサの、短露光時間によって特徴付けられる画素からの短露光画素値とを含む、データ入力命令と、（ＩＩ）前記プロセッサによって実行されたとき、長露光画素値および短露光画素値を前処理して、１つ以上の品質要件を満たさない長露光画素値および短露光画素値を除外する、前処理命令と、（ＩＩＩ）前記プロセッサによって実行されたとき、（ａ）前記前処理命令の実行後に残った前記長露光画素値および（ｂ）前記前処理命令の実行後に残った前記短露光画素値を、ＨＤＲヒストグラムとして合成する、合成命令と、（ＩＶ）前記プロセッサによって実行されたとき、前記ＨＤＲヒストグラムから良好性メトリックを導出するメトリック命令と、（Ｖ）前記プロセッサによって実行されたとき、前記良好性メトリックに少なくとも部分的に基づいて前記長露光時間および前記短露光時間の少なくとも一方を調整する、調整命令と、（ＶＩ）前記プロセッサによって実行されたとき、前記長露光時間および前記短露光時間の少なくとも一方を出力する、データ出力命令と、を含む。

【0268】

（Ｂ２）（Ｂ１）に記載の前記製品において、前記良好性メトリックは、前記ＨＤＲヒストグラムの総エントロピーに対する前記ＨＤＲヒストグラムの個々のビンの寄与の前記ＨＤＲヒストグラム全体にわたっての分散であってもよい。

【0269】

（Ｂ３）（Ｂ２）に記載の前記製品において、前記メトリック命令は、前記プロセッサによって実行されたとき、前記ＨＤＲヒストグラムの個々のビン_ｉからの前記寄与S_iをS_i = -p_ilog₂(p_i)として算出し、p_iは前記個々のビン_ｉにおけるカウントであるように構成されていてもよい。

【0270】

（Ｂ４）（Ｂ３）に記載の前記製品において、前記機械可読命令は、前記プロセッサによって実行されたとき、前記ＨＤＲヒストグラムからノイズの影響を除去するノイズ除去命令をさらに含んでいてもよく、前記機械可読命令は、前記プロセッサによって実行されたとき、前記メトリック命令よりも前に前記ノイズ除去命令を実行するように前記プロセッサに命令するように構成されていてもよい。

【0271】

（Ｂ５）（Ｂ４）に記載の前記製品において、前記ノイズ除去命令は、前記プロセッサによって実行されたとき、前記ＨＤＲヒストグラムをノイズモデルに従って逆畳み込みするように構成されていてもよい。

【0272】

（Ｂ６）（Ｂ５）に記載の前記製品の前記ノイズモデルにおいて、ノイズ分散の期待値は、画素値の線形関数でモデリングされ得る。

【0273】

（Ｂ７）（Ｂ２）から（Ｂ６）に記載の前記製品のいずれかにおいて、前記機械可読命令は、前記プロセッサによって実行されたとき、前記データ入力命令、前記前処理命令、前記合成命令、前記メトリック命令、前記調整命令、および前記データ出力命令の複数回の反復を行うことにより、前記分散を最小化するような前記長露光時間および前記短露光時間の最適なセットを決定し前記ＳＭＥ ＨＤＲイメージセンサに出力する反復命令をさらに含み得る。

【0274】

（Ｂ８）自動露出機能を備えたＳＭＥ ＨＤＲ撮像システムは、ＳＭＥ ＨＤＲイメージセンサと、プロセッサと、前記プロセッサが前記製品の前記機械可読命令を実行したとき、前記ＳＭＥ ＨＤＲイメージセンサの前記長露光時間および前記短露光時間を調整するための（Ｂ２）から（Ｂ７）に記載の前記製品のいずれかとを備え得、前記製品の前記機械可読命令は、前記プロセッサによって実行されたとき、データ入力命令、前記前処理命令、前記合成命令、前記メトリック命令、前記調整命令、および前記データ出力命令の複数回の反復を行うことにより、前記良好性メトリックを最適化する前記長露光時間および前記短露光時間の最適なセットを決定し前記ＳＭＥ ＨＤＲイメージセンサに出力する反復命令をさらに含む。

【0275】

（Ｂ９）（Ｂ８）に記載の前記ＳＭＥ ＨＤＲ撮像システムにおいて、前記ＳＭＥ ＨＤＲイメージセンサは複数の色別の画素セットを有するカラーイメージセンサであり得、前記色別の画素セットのうちそれぞれは複数の色のうちのそれぞれの１つに対し固有に感度を有しており、かつ前記色別の画素セットのうちそれぞれは、前記長露光時間により特徴付けられる画素のサブセットおよび前記短露光時間により特徴付けられる画素のサブセットを有する。前記機械可読命令は、前記プロセッサによって実行されたとき、前記プロセッサに、前記色別の画素セットのうちそれぞれに対し別々に、前記データ入力命令、前記前処理命令、前記合成命令、および前記メトリック命令を実行するように命令するように構成されていてもよく、かつ前記調整命令は、前記プロセッサによって実行されたとき、前記色別の画素セットのうちそれぞれに対し決定された前記前記良好性メトリックをまとめて評価することにより、前記長露光時間および前記短露光時間の少なくとも一方を調整し、前記長露光時間および前記短露光時間の少なくとも一方は全色に適用可能なように構成されていてもよい。

【0276】

（Ｂ１０）（Ｂ９）に記載の前記ＳＭＥ ＨＤＲ撮像システムにおいて、前記ＳＭＥ ＨＤＲイメージセンサは、ジグザグＨＤＲイメージセンサであってもよい。

【0277】

（Ｂ１１）（Ｂ９）または（Ｂ１０）に記載の前記ＳＭＥ ＨＤＲ撮像システムにおいて、前記ＳＭＥ ＨＤＲイメージセンサはクアッドＨＤＲイメージセンサであってもよく、かつ前記機械可読命令は、以下のように構成されていてもよい：（１）前記プロセッサによって実行されたとき、前記データ入力命令は、前記ＲＡＷ画像データの一部として、前記ＳＭＥ ＨＤＲイメージセンサの、前記長露光時間より短くかつ前記短露光時間よりも長い中露光時間によって特徴付けられる画素からの中露光画素値をさらに取得し、（２）前記プロセッサによって実行されたとき、前記前処理命令は、前記中露光画素値をさらに前処理して、１つ以上の第２の品質要件を満たさないような中露光画素値を除外し、（３）前記プロセッサによって実行されたとき、前記合成命令は、前記前処理命令の実行後に残った前記中露光画素値を前記ＨＤＲヒストグラムにさらに合成し、（４）前記プロセッサによって実行されたとき、前記調整命令は、前記中露光時間をさらに調整し、（５）前記プロセッサによって実行されたとき、前記データ出力命令ステップは、調整された前記中露光をさらに出力する。

【0278】

（Ｂ１２）（Ｂ８）に記載の前記ＳＭＥ ＨＤＲ撮像システムにおいて、前記ＳＭＥ ＨＤＲイメージセンサは複数の色別の画素セットを有するカラーイメージセンサであり得、前記色別の画素セットのうちそれぞれは複数の色のうちのそれぞれの１つに対し固有に感度を有しており、かつ前記色別の画素セットのうちそれぞれは、前記長露光時間により特徴付けられる画素のサブセットおよび前記短露光時間により特徴付けられる画素のサブセットを有する。前記データ入力命令は、前記プロセッサによって実行されたとき、前記色別の画素セットのうちそれぞれについて、それぞれの色別の長露光画素値およびそれぞれの色別の短露光画素値を取得するように構成されていてもよく、かつ前記機械可読命令は、前記プロセッサによって実行されたとき、前記前処理命令の実行よりも前に、（ａ）異なる色に対応付けられた前記色別の長露光画素値のうち空間的に隣接するものを結合することにより、前記長露光画素値を生成し、（ｂ）異なる色に対応付けられた前記色別の短露光画素値のうち空間的に隣接するものを結合することにより、前記短露光画素値を生成する結合命令であって、前記長露光画素値および短露光画素値は輝度を表している結合命令をさらに含み得る。

【0279】

（Ｂ１３）（Ｂ１２）に記載の前記ＳＭＥ ＨＤＲ撮像システムにおいて、前記ＳＭＥ ＨＤＲイメージセンサはジグザグＨＤＲイメージセンサであってもよい。

【0280】

（Ｂ１４）（Ｂ１２）に記載の前記ＳＭＥ ＨＤＲ撮像システムにおいて、前記ＳＭＥ ＨＤＲイメージセンサはクアッドＨＤＲイメージセンサであってもよく、かつ前記機械可読命令は、以下のように構成されていてもよい：（１）前記プロセッサによって実行されたとき、前記データ入力命令は、前記ＲＡＷ画像データの一部として、前記ＳＭＥ ＨＤＲイメージセンサの、前記長露光時間より短くかつ前記短露光時間よりも長い中露光時間によって特徴付けられる画素からの色別の中露光画素値をさらに取得し、（２）前記プロセッサによって実行されたとき、前記結合命令は、前記異なる色に対応付けられた前記色別の中露光画素値のうち空間的に隣接するものをさらに結合することによって、中露光画素値を生成し、前記中露光画素値は輝度を表し、（３）前記プロセッサによって実行されたとき、前記前処理命令は、前記中露光画素値をさらに前処理することにより、１つ以上の第２の品質要件を満たさないような中露光画素値を除外し、（４）前記プロセッサによって実行されたとき、前記合成命令は、前記前処理命令にしたがった前処理の後に残った前記中露光画素値を前記ＨＤＲヒストグラムにさらに合成し、（５）前記プロセッサによって実行されたとき、前記調整命令は、前記中露光時間をさらに調整し、（６）前記プロセッサによって実行されたとき、前記データ出力命令は、前記調整された中露光時間をさらに出力する。

【0281】

（Ｂ１５）（Ｂ８）から（Ｂ１４）に記載の前記ＳＭＥ ＨＤＲ撮像システムのいずれかにおいて、前記反復命令は、前記プロセッサによって実行されたとき、前記ＳＭＥ ＨＤＲイメージセンサの複数の局所領域に対して別々に前記反復を行うことにより、前記長露光時間および前記短露光時間の空間的に変化するセットを局所的に最適化するように構成されていてもよく、かつ前記ＳＭＥ ＨＤＲイメージセンサは、前記局所領域のそれぞれについて前記長露光時間および前記短露光時間を局所的に定義するための回路を備えていてもよい。

【0282】

（Ｃ１）イメージセンサの自動露出方法は、以下を含み得る：（Ｉ）前記イメージセンサの、各露光時間設定における複数の個々の露光のそれぞれからの画素値の複数のヒストグラムのそれぞれについて、前記ヒストグラムの個々のビンから前記ヒストグラムの総エントロピーへの寄与の分散を評価することにより、前記分散の最小値に対応する、前記イメージセンサに対する最適な露光時間を決定するステップ、（ＩＩ）前記最適な露光時間を前記イメージセンサに出力するステップ。

【0283】

（Ｃ２）（Ｃ１）に記載の前記自動露出方法において、前記評価するステップは、複数の異なる露光時間設定について、（ａ）前記露光時間設定のそれぞれの１つにおける前記イメージセンサの露光からの画素値のヒストグラムの１つのインスタンスを生成するステップおよび（ｂ）前記ヒストグラムの前記インスタンスからの分散を計算するステップ、のそれぞれの複数回の反復を行うことを含み得る。

【0284】

（Ｃ３）（Ｃ２）に記載の前記自動露出方法において、前記計算するステップは、個々のビン_ｉについて、前記寄与をS_i = -p_ilog₂(p_i)として算出するステップを含んでいてもよく、p_iは前記個々のビン_ｉにおけるカウントであってもよい。

【0285】

（Ｃ４）（Ｃ２）および（Ｃ３）に記載の前記自動露出方法のいずれかにおいて、前記反復のそれぞれは、前記計算するステップよりも前に、前記ヒストグラムの前記インスタンスからノイズの影響を除去するステップをさらに含み得る。

【0286】

（Ｃ５）（Ｃ４）に記載の前記自動露出方法において、前記ノイズの影響を除去するステップは、前記ヒストグラムの前記インスタンスをノイズモデルに従って逆畳み込みするステップを含み得る。

【0287】

（Ｃ６）（Ｃ１）から（Ｃ５）に記載の前記自動露出方法のいずれかにおいて、前記イメージセンサは、前記イメージセンサの全画素を同じ露光時間で露光するように構成されていてもよい。

【0288】

（Ｃ７）（Ｃ１）から（Ｃ６）に記載の前記自動露出方法のいずれかにおいて、前記イメージセンサは空間的多重化露光ハイダイナミックレンジイメージセンサであってもよく、かつ前記自動露出方法は、前記空間的多重化露光ハイダイナミックレンジイメージセンサの、それぞれの複数の異なる露光時間で動作するそれぞれの複数の画素サブセットと対応付けられた複数の露光時間別のヒストグラムから、前記ヒストグラムを合成するステップを含み得る。

【0289】

（Ｃ８）（Ｃ７）に記載の前記自動露出方法は、前記合成するステップよりも前に、前記露光時間別のヒストグラムのそれぞれからノイズの影響を除去するステップをさらに含み得る。

【0290】

（Ｃ９）（Ｃ８）に記載の前記自動露出方法において、前記ノイズの影響を除去するステップは、前記露光時間別のヒストグラムのそれぞれをノイズモデルに従って逆畳み込みするステップを含み得る。

【0291】

（Ｄ１）イメージセンサの自動露出のための製品は、非一時的メモリ中にエンコードされた機械可読命令を備え得る。前記機械可読命令は、（Ｉ）プロセッサによって実行されたとき、前記イメージセンサから画素値を取得する、データ入力命令と、（ＩＩ）プロセッサによって実行されたとき、前記イメージセンサの、各露光時間設定における複数の個々の露光のそれぞれからの画素値の複数のヒストグラムのそれぞれにわたって、前記ヒストグラムの個々のビンから前記ヒストグラムの総エントロピーへの寄与の分散を評価することにより、前記分散の最小値に対応する、前記イメージセンサに対する最適な露光時間を決定する、エントロピー分散最適化命令と、（ＩＩＩ）前記プロセッサによって実行されたとき、前記最適な露光時間を前記イメージセンサに出力する、データ出力命令と、を含む。

【0292】

（Ｄ２）（Ｄ１）に記載の前記製品において、前記エントロピー分散最適化命令は、前記プロセッサによって実行されたとき、複数の異なる露光時間設定について、（ａ）前記露光時間設定のそれぞれの１つにおける前記イメージセンサの露光からの画素値のヒストグラムの１つのインスタンスを生成するステップおよび（ｂ）前記ヒストグラムの前記インスタンスからの分散を計算するステップ、のそれぞれの複数回の反復を行うように構成され得る。

【0293】

（Ｄ３）（Ｄ２）に記載の前記製品において、前記エントロピー分散最適化命令は、前記プロセッサによって実行されたとき、個々のビン_ｉについて、前記ビンの前記寄与をS_i = -p_ilog₂(p_i)として算出するステップをさらに含んでいてもよく、p_iは前記個々のビン_ｉにおけるカウントであってもよい。

【0294】

（Ｄ４）（Ｄ２）および（Ｄ３）に記載の前記製品のいずれかにおいて、前記エントロピー分散最適化命令は、前記プロセッサによって実行されたとき前記反復のそれぞれにおいて、前記分散を計算するステップよりも前に、前記ヒストグラムの前記インスタンスからノイズの影響を除去する、ノイズ除去命令をさらに含み得る。

【0295】

（Ｄ５）（Ｄ４）に記載の前記製品において、前記ノイズ除去命令は、前記プロセッサによって実行されたとき、前記ヒストグラムの前記インスタンスをノイズモデルに従って逆畳み込みするように構成され得る。

【0296】

（Ｄ６）（Ｄ５）に記載の前記製品の前記ノイズモデルにおいて、ノイズ分散の期待値は、画素値の線形関数でモデリングされ得る。

【0297】

（Ｄ７）自動露出機能を備えた撮像システムは、イメージセンサと、プロセッサと、前記プロセッサが前記機械可読命令を実行したとき、前記イメージセンサに対する前記最適な露光時間を決定するための、（Ｄ１）から（Ｄ６）に記載の製品のいずれかと、を備え得る。

【0298】

（Ｄ８）（Ｄ７）に記載の前記撮像システムにおいて、前記イメージセンサは、前記イメージセンサの全画素を同じ露光時間で露光するように構成されていてもよい。

【0299】

（Ｄ９）（Ｄ７）および（Ｄ８）に記載の前記撮像システムのいずれかにおいて、前記イメージセンサは空間的多重化露光ハイダイナミックレンジイメージセンサであってもよく、かつ前記機械可読命令は、前記プロセッサによって実行されたとき、前記空間的多重化露光ハイダイナミックレンジイメージセンサの、それぞれの複数の異なる露光時間で動作するそれぞれの複数の画素サブセットと対応付けられた複数の露光時間別のヒストグラムから、前記ヒストグラムを合成する、合成命令をさらに含み得る。

【0300】

（Ｄ１０）（Ｄ９）に記載の前記撮像システムにおいて、前記エントロピー分散最適化命令は、前記プロセッサによって実行されたとき前記反復のそれぞれにおいて、前記合成命令の実行よりも前に、前記露光時間別のヒストグラムのそれぞれからノイズの影響を除去する、ノイズ除去命令を含み得る。

【0301】

（Ｄ１１）（Ｄ１０）に記載の前記撮像システムにおいて、前記ノイズ除去命令は、前記プロセッサによって実行されたとき、前記露光時間別のヒストグラムのそれぞれをノイズモデルに従って逆畳み込みするように構成されていてもよい。

【0302】

（Ｅ１）ＳＭＥ ＨＤＲイメージセンサの自動露出方法は、以下を含み得る：（Ｉ）前記ＳＭＥ ＨＤＲイメージセンサの露光からＲＡＷ画像データを取得するステップであって、前記ＲＡＷ画像データは、前記ＳＭＥ ＨＤＲイメージセンサの、長露光時間によって特徴付けられる長露光画素からの長露光画素値と、前記ＳＭＥ ＨＤＲイメージセンサの、短露光時間によって特徴付けられる短露光画素からの短露光画素値とを含むステップ、（ＩＩ）前記ＳＭＥ－ＨＤＲイメージセンサの複数の空間領域のそれぞれについて、前記空間領域における選択された長露光画素の飽和度レベルを評価するステップ、（ＩＩＩ）前記選択された長露光画素の前記長露光画素値が飽和閾値を超えることによって特徴付けられる前記空間領域のそれぞれについて、（ｉ）前記空間領域中の前記短露光画素のための減少した短露光時間および（ｉｉ）前記減少した短露光時間を補償する増加したデジタルゲイン値を決定するステップ、（ＩＶ）前記選択された長露光画素の前記長露光画素値が前記飽和閾値を超えることによって特徴付けられる前記空間領域のそれぞれについて、前記減少した短露光時間および前記増加したデジタルゲイン値を、前記空間領域中の各短露光画素に出力するステップ。

【0303】

（Ｅ２）（Ｅ１）に記載の前記自動露出方法において、前記空間領域のそれぞれは、前記ＳＭＥ－ＨＤＲイメージセンサの画素の各分光感度クラスにつき１つの長露光画素および１つの対応付けられた短露光画素からなっていてもよい。

【0304】

（Ｅ３）（Ｅ１）に記載の前記自動露出方法において、前記空間領域のそれぞれは、前記ＳＭＥ－ＨＤＲイメージセンサの画素の各分光感度クラスにつき複数の前記長露光画素および複数の前記短露光画素を含んでいてもよい。

【0305】

（Ｅ４）（Ｅ１）から（Ｅ３）に記載の前記自動露出方法のいずれかにおいて、前記空間領域は、前記ＳＭＥ－ＨＤＲイメージセンサのすべての長露光画素およびすべての短露光画素をまとめて含んでもよい。

【0306】

（Ｆ１）自動露出機能を備えたＨＤＲ撮像システムは、（Ｉ）複数の空間領域のそれぞれに対し別々に少なくとも１つの露光時間を調整するように構成された回路を備えた空間的多重化露光（ＳＭＥ）ＨＤＲイメージセンサと、（ＩＩ）プロセッサと、（ＩＩＩ）非一時的メモリ中にエンコードされた機械可読命令とを備え得る。前記機械可読命令は、（ａ）前記プロセッサによって実行されたとき、前記ＳＭＥ ＨＤＲイメージセンサの露光からＲＡＷ画像データを取得するデータ入力命令であって、前記ＲＡＷ画像データは、前記ＳＭＥ ＨＤＲイメージセンサの、長露光時間によって特徴付けられる長露光画素からの長露光画素値と、前記ＳＭＥ ＨＤＲイメージセンサの、短露光時間によって特徴付けられる短露光画素からの短露光画素値とを含む、データ入力命令と、（ｂ）前記プロセッサによって実行されたとき前記空間領域のそれぞれについて、前記空間領域における少なくとも１つの選択された長露光画素の飽和度レベルを評価する飽和度評価命令と、（ｃ）前記プロセッサによって実行されたとき、前記少なくとも１つの選択された長露光画素の前記長露光画素値が飽和閾値を超えることによって特徴付けられる前記空間領域のそれぞれについて、（ｉ）前記空間領域中の各短露光画素のための減少した短露光時間および（ｉｉ）前記減少した短露光時間を補償する増加したデジタルゲイン値を決定する、調整命令と、（ｄ）前記プロセッサによって実行されたとき、前記少なくとも１つの選択された長露光画素の前記長露光画素値が飽和閾値を超えることによって特徴付けられる各空間領域について、前記減少した短露光時間および前記増加したデジタルゲイン値を前記空間領域中の各短露光画素に出力する、データ出力命令と、を含む。

【0307】

（Ｆ２）（Ｆ１）に記載の前記製品において、前記空間領域のそれぞれは、前記ＳＭＥ－ＨＤＲイメージセンサの画素の各分光感度クラスにつき１つの長露光画素および１つの対応付けられた短露光画素からなっていてもよい。

【0308】

（Ｆ３）（Ｆ１）に記載の前記製品において、前記空間領域のそれぞれは、前記ＳＭＥ－ＨＤＲイメージセンサの画素の各分光感度クラスにつき複数の前記長露光画素および複数の前記短露光画素を含んでいてもよい。

【0309】

（Ｆ４）（Ｆ１）から（Ｆ３）に記載の前記製品のいずれかにおいて、前記空間領域は、前記ＳＭＥ－ＨＤＲイメージセンサのすべての長露光画素およびすべての短露光画素をまとめて含んでもよい。

【0310】

本明細書の範囲から逸脱しない範囲で、上記のシステムおよび方法に変更を加え得る。従って、以上の明細書に含まれる内容および添付の図面に示される内容は、例示的であって限定的な意味ではないものと解釈されるべきであることに留意されたい。以下に続く請求項は、本明細書に記載の一般的および具体的な特徴、そして本システムおよび方法の範囲に関して表現的にその中間にあると見なし得るすべての記述をも、網羅するように意図されている。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】

【図22】

【図23】

【図24】

【図25】

【図26】

【図27】

【図28】

【図29】

【図30】

【図31】

【図32】

【図33】

【図34】

【図35】

【図36】

【図37】

【図38】

【図39】

【図40】

【図41】

【図42】

【図43】

【図44】

【図45】

【図46】

【図47】

【図48】

【図49】