知財求人 - 知財ポータルサイト「IP Force」
▶ ドルビー ラボラトリーズ ライセンシング コーポレイションの特許一覧
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-05-20
(45)【発行日】2024-05-28
(54)【発明の名称】ＨＤＲ画像センサ用の適応的画像データ線形化
(51)【国際特許分類】
H04N 23/60 20230101AFI20240521BHJP
H04N 23/54 20230101ALI20240521BHJP
G06T 5/92 20240101ALI20240521BHJP
H04N 5/20 20060101ALI20240521BHJP
【ＦＩ】
H04N23/60 500
H04N23/54
G06T5/92
H04N5/20
【請求項の数】
19
(21)【出願番号】P 2022508749
(86)(22)【出願日】2020-08-11
(65)【公表番号】
(43)【公表日】2022-10-19
(86)【国際出願番号】 US2020045821
(87)【国際公開番号】W WO2021030375
(87)【国際公開日】2021-02-18
【審査請求日】2023-08-14
(31)【優先権主張番号】19191257.5
(32)【優先日】2019-08-12
(33)【優先権主張国・地域又は機関】EP
(31)【優先権主張番号】62/885,458
(32)【優先日】2019-08-12
(33)【優先権主張国・地域又は機関】US
【早期審査対象出願】
(73)【特許権者】
【識別番号】507236292
【氏名又は名称】ドルビー ラボラトリーズ ライセンシング コーポレイション
(74)【代理人】
【識別番号】100101683
【弁理士】
【氏名又は名称】奥田 誠司
(74)【代理人】
【識別番号】100155000
【弁理士】
【氏名又は名称】喜多 修市
(74)【代理人】
【識別番号】100188813
【弁理士】
【氏名又は名称】川喜田 徹
(74)【代理人】
【識別番号】100202197
【弁理士】
【氏名又は名称】村瀬 成康
(72)【発明者】
【氏名】マケルエイン，ジョン スコット
【審査官】高野 美帆子
(56)【参考文献】
【文献】米国特許出願公開第２０１８／０００７３５６（ＵＳ，Ａ１）
【文献】米国特許出願公開第２０１７／０２５７５５１（ＵＳ，Ａ１）
【文献】特開２００３－０４６８５９（ＪＰ，Ａ）
【文献】米国特許出願公開第２０１０／０２２６５４７（ＵＳ，Ａ１）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｈ０４Ｎ ２３／６０
Ｈ０４Ｎ ２３／５４
Ｇ０６Ｔ ５／９２
Ｈ０４Ｎ ５／２０
(57)【特許請求の範囲】
【請求項1】
適応的画像データ線形化を含む高ダイナミックレンジ（ＨＤＲ）カメラモジュールであって、シーンの階調圧縮後ＨＤＲ画像を生成し、アクティブ画素データおよびメタデータを含むそれぞれのフレームとして前記階調圧縮後ＨＤＲ画像を出力するように構成されたＨＤＲ画像センサと、
前記ＨＤＲ画像センサの外部のプロセッサと、
前記ＨＤＲ画像センサの外部であり、前記プロセッサによって実行されると、
（ａ）前記ＨＤＲ画像センサによって生成された第１の階調圧縮後ＨＤＲ画像のフレームから、（ｉ）前記フレームのアクティブ画素データからの階調圧縮後画素強度と、（ｉｉ）前記フレームのメタデータからの階調圧縮前画素強度のヒストグラムとを抽出するステップと、
（ｂ）前記階調圧縮後画素強度および前記ヒストグラムから、階調圧縮後画素強度と階調圧縮前画素強度との対応関係を導出するステップと、
（ｃ）前記対応関係に従って、第２の階調圧縮後ＨＤＲ画像の前記アクティブ画素データの少なくとも一部を線形化して、線形化ＨＤＲ画像を生成するステップであって、前記第２の階調圧縮後ＨＤＲ画像は、前記第１の階調圧縮後ＨＤＲ画像および後続する階調圧縮後ＨＤＲ画像からなる群から選択される、ステップと、
を実施するように前記プロセッサを制御する機械可読命令を記憶するメモリと、
を備え、
前記機械可読命令は、前記導出するステップが、
前記階調圧縮後画素強度の第１の累積分布関数を生成することと、
前記ヒストグラムの第２の累積分布関数を生成することと、
階調圧縮後画素強度および階調圧縮前画素強度の複数の対応する対のそれぞれに対して、前記階調圧縮後画素強度で評価された前記第１の累積分布関数が、前記階調圧縮前画素強度で評価された前記第２の累積分布関数に等しいように前記対応関係を決定することと、
を含むように構成され、
さらに、前記機械可読命令は、前記決定するステップが、
前記階調圧縮後画素強度の関数として前記階調圧縮前画素強度を指定する多項式関数として前記対応関係を決定することと、
前記多項式関数のパラメータを前記メモリに記憶することと、
を含むように構成されている、ＨＤＲカメラモジュール。
【請求項2】
適応的画像データ線形化を含む高ダイナミックレンジ（ＨＤＲ）カメラモジュールであって、シーンの階調圧縮後ＨＤＲ画像を生成し、アクティブ画素データおよびメタデータを含むそれぞれのフレームとして前記階調圧縮後ＨＤＲ画像を出力するように構成されたＨＤＲ画像センサと、
前記ＨＤＲ画像センサの外部のプロセッサと、
前記ＨＤＲ画像センサの外部であり、前記プロセッサによって実行されると、
（ａ）前記ＨＤＲ画像センサによって生成された第１の階調圧縮後ＨＤＲ画像のフレームから、（ｉ）前記フレームのアクティブ画素データからの階調圧縮後画素強度と、（ｉｉ）前記フレームのメタデータからの階調圧縮前画素強度のヒストグラムとを抽出するステップと、
（ｂ）前記階調圧縮後画素強度および前記ヒストグラムから、階調圧縮後画素強度と階調圧縮前画素強度との対応関係を導出するステップと、
（ｃ）前記対応関係に従って、第２の階調圧縮後ＨＤＲ画像の前記アクティブ画素データの少なくとも一部を線形化して、線形化ＨＤＲ画像を生成するステップであって、前記第２の階調圧縮後ＨＤＲ画像は、前記第１の階調圧縮後ＨＤＲ画像および後続する階調圧縮後ＨＤＲ画像からなる群から選択される、ステップと、
を実施するように前記プロセッサを制御する機械可読命令を記憶するメモリと、
を備え、
前記機械可読命令は、前記導出するステップが、
前記階調圧縮後画素強度の第１の累積分布関数を生成することと、
前記ヒストグラムの第２の累積分布関数を生成することと、
階調圧縮後画素強度および階調圧縮前画素強度の複数の対応する対のそれぞれに対して、前記階調圧縮後画素強度で評価された前記第１の累積分布関数が、前記階調圧縮前画素強度で評価された前記第２の累積分布関数に等しいように前記対応関係を決定することと、
を含むように構成され、
さらに、前記機械可読命令は、前記決定するステップが、
前記階調圧縮後画素強度の関数として前記階調圧縮前画素強度を指定するスプライン表現として前記対応関係を決定することと、
前記スプライン表現のパラメータを前記メモリに記憶することと、
を含むように構成されている、ＨＤＲカメラモジュール。
【請求項3】
前記プロセッサおよび前記メモリは、デジタル信号プロセッサに実装され、前記ＨＤＲカメラモジュールは、前記デジタル信号プロセッサによって前記線形化ＨＤＲ画像を更に処理するために前記デジタル信号プロセッサに通信可能に接続された画像信号プロセッサを更に備える、請求項１または２に記載のＨＤＲカメラモジュール。
【請求項4】
前記画像信号プロセッサは、前記線形化ＨＤＲ画像に、ホワイトバランス処理、色補正、ガンマ補正、デモザイク処理、ノイズ除去および画像鮮明化からなる群から選択された１つ以上の手順を適用するように構成されている、請求項３に記載のＨＤＲカメラモジュール。
【請求項5】
前記第１の階調圧縮後ＨＤＲ画像および前記第２の階調圧縮後ＨＤＲ画像は、前記ＨＤＲ画像センサによって出力されるＨＤＲビデオストリームの２つの連続的な画像である、請求項１または２に記載のＨＤＲカメラモジュール。
【請求項6】
前記プロセッサおよび前記メモリは、デジタル信号プロセッサに実装され、前記デジタル信号プロセッサはバッファを含み、前記機械可読命令は、前記バッファに連続的に記憶された前記第２の階調圧縮後ＨＤＲ画像の前記アクティブ画素データのサブセットに対して前記線形化するステップを実施するように前記プロセッサを制御するように更に構成されている、請求項５に記載のＨＤＲカメラモジュール。
【請求項7】
前記第１の階調圧縮後ＨＤＲ画像および前記第２の階調圧縮後ＨＤＲ画像は、同じ静止画像であり、前記機械可読命令は、少なくとも前記線形化するステップの完了まで、前記静止画像の前記アクティブ画素データを画像記憶装置に記憶するように前記プロセッサを制御するように更に構成されている、請求項１から６のいずれか一項に記載のＨＤＲカメラモジュール。
【請求項8】
前記ＨＤＲ画像センサは、出力ビット深度に制限される出力インターフェースを含み、前記ＨＤＲ画像センサは、（ｉ）前記出力ビット深度を超える第１のビット深度で線形ＨＤＲ画像を生成し、（ｉｉ）前記線形ＨＤＲ画像を階調圧縮して、前記出力ビット深度で前記階調圧縮後ＨＤＲ画像を生成するように構成され、前記機械可読命令は、前記線形化するステップにおいて、前記アクティブ画素データを前記出力ビット深度から前記第１のビット深度にマッピングするように前記プロセッサを制御するように構成されている、請求項１から７のいずれか一項に記載のＨＤＲカメラモジュール。
【請求項9】
前記機械可読命令は、前記決定するステップが、前記対応する対を列挙するルックアップテーブルを前記メモリに記憶することを含み、
前記線形化するステップが、前記第２の階調圧縮後ＨＤＲ画像の前記アクティブ画素データの階調圧縮後画素強度が、前記ルックアップテーブルに列挙された階調圧縮後画素強度に等しくないとき、前記ルックアップテーブルにおけるエントリー間を補間することを含むように構成されている、請求項１に記載のＨＤＲカメラモジュール。
【請求項10】
前記ＨＤＲ画像センサはカラー画像センサであり、前記ヒストグラムは輝度ヒストグラムであり、前記機械可読命令は、前記階調圧縮後画素強度を抽出するステップが、
（ａ）階調圧縮後色固有画素強度の複数のセットを抽出することであって、前記セットのそれぞれがそれぞれの色に固有であることと、
（ｂ）前記セットを結合して、前記階調圧縮後画素強度のそれぞれがそれぞれの画素輝度を表すように前記階調圧縮後画素強度を形成することと、
を含み、
前記線形化するステップが、前記対応関係に従って前記第２の階調圧縮後ＨＤＲ画像の前記アクティブ画素データの各色を別個に線形化することを含むように構成されている、請求項１から９のいずれか一項に記載のＨＤＲカメラモジュール。
【請求項11】
適応的画像データ線形化を含む高ダイナミックレンジ（ＨＤＲ）カメラモジュールであって、シーンの階調圧縮後ＨＤＲ画像を生成し、アクティブ画素データおよびメタデータを含むそれぞれのフレームとして前記階調圧縮後ＨＤＲ画像を出力するように構成されたＨＤＲ画像センサと、
前記ＨＤＲ画像センサの外部のプロセッサと、
前記ＨＤＲ画像センサの外部であり、前記プロセッサによって実行されると、
（ａ）前記ＨＤＲ画像センサによって生成された第１の階調圧縮後ＨＤＲ画像のフレ
ームから、（ｉ）前記フレームのアクティブ画素データからの階調圧縮後画素強度と、（ｉｉ）前記フレームのメタデータからの階調圧縮前画素強度のヒストグラムとを抽出するステップと、
（ｂ）前記階調圧縮後画素強度および前記ヒストグラムから、階調圧縮後画素強度と階調圧縮前画素強度との対応関係を導出するステップと、
（ｃ）前記対応関係に従って、第２の階調圧縮後ＨＤＲ画像の前記アクティブ画素データの少なくとも一部を線形化して、線形化ＨＤＲ画像を生成するステップであって、前記第２の階調圧縮後ＨＤＲ画像は、前記第１の階調圧縮後ＨＤＲ画像および後続する階調圧縮後ＨＤＲ画像からなる群から選択される、ステップと、
を実施するように前記プロセッサを制御する機械可読命令を記憶するメモリと、
を備え、
前記機械可読命令は、前記導出するステップが、
前記階調圧縮後画素強度の第１の累積分布関数を生成することと、
前記ヒストグラムの第２の累積分布関数を生成することと、
階調圧縮後画素強度および階調圧縮前画素強度の複数の対応する対のそれぞれに対して、前記階調圧縮後画素強度で評価された前記第１の累積分布関数が、前記階調圧縮前画素強度で評価された前記第２の累積分布関数に等しいように前記対応関係を決定することと、
を含むように構成され、
さらに、前記機械可読命令は、前記対応関係を決定するステップが、
前記階調圧縮後画素強度の最上位範囲を除外する階調圧縮後画素強度の部分範囲に対して、前記部分範囲に関連する前記階調圧縮後画素強度および前記階調圧縮前画素強度の前記対応する対に対して、前記階調圧縮後画素強度で評価された前記第１の累積分布関数が前記階調圧縮前画素強度で評価された前記第２の累積分布関数と等しいように、前記階調圧縮後画素強度と前記階調圧縮前画素強度との直接マッチングされた対応関係を決定することと、
前記最上位範囲を通して、前記直接マッチングされた対応関係を補外して、前記対応関係を生成することと、
を含むように構成されている、ＨＤＲカメラモジュール。
【請求項12】
前記機械可読命令は、前記対応関係を決定する前記ステップが、前記第１の階調圧縮後ＨＤＲ画像および前記第１の累積分布関数のうちの少なくとも一方を評価して、飽和した階調圧縮後画素強度を除外するカットオフ階調圧縮後画素強度を決定することと、
前記カットオフ階調圧縮後画素強度以下の階調圧縮後画素強度の範囲として前記部分範囲を定義することと、
を更に含むように構成されている、請求項１１に記載のＨＤＲカメラモジュール。
【請求項13】
前記ヒストグラムは、階調圧縮の前に前記第１の階調圧縮後ＨＤＲ画像のフルダイナミックレンジの下位サブセットを形成する部分ダイナミックレンジのみを表す部分ヒストグラムであり、前記機械可読命令は、前記対応関係を決定するステップが、前記ヒストグラムを評価して、カットオフ階調圧縮前画素強度を決定することと、
前記カットオフ階調圧縮前画素強度以下の階調圧縮前画素強度の数に等しい数の最低階調圧縮後画素強度として前記部分範囲を定義することと、
を更に含むように構成されている、請求項１１に記載のＨＤＲカメラモジュール。
【請求項14】
前記機械可読命令は、前記プロセッサによって実行されると、前記第１の階調圧縮後ＨＤＲ画像および前記第２の階調圧縮後ＨＤＲ画像のそれぞれを複数の非オーバーラップ空間画像ゾーンに分離し、
前記複数の非オーバーラップ空間画像ゾーンのそれぞれに対して、前記階調圧縮後画素強度を抽出するステップと、前記第１の累積分布関数を生成するステップと、前記ヒストグラムを抽出するステップと、前記第２の累積分布関数を生成するステップと、前記対応関係を決定するステップと、線形化するステップとを実施することを繰り返すように前記プロセッサを制御するように構成されている、請求項９または１０に記載のＨＤＲカメラモジュール。
【請求項15】
適応的画像データ線形化を含む高ダイナミックレンジ（ＨＤＲ）カメラモジュールであって、シーンの階調圧縮後ＨＤＲ画像を生成し、アクティブ画素データおよびメタデータを含むそれぞれのフレームとして前記階調圧縮後ＨＤＲ画像を出力するように構成されたＨＤＲ画像センサと、
前記ＨＤＲ画像センサの外部のプロセッサと、
前記ＨＤＲ画像センサの外部であり、前記プロセッサによって実行されると、
（ａ）前記ＨＤＲ画像センサによって生成された第１の階調圧縮後ＨＤＲ画像のフレームから、（ｉ）前記フレームのアクティブ画素データからの階調圧縮後画素強度と、（ｉｉ）前記フレームのメタデータからの階調圧縮前画素強度のヒストグラムとを抽出するステップと、
（ｂ）前記階調圧縮後画素強度および前記ヒストグラムから、階調圧縮後画素強度と階調圧縮前画素強度との対応関係を導出するステップと、
（ｃ）前記対応関係に従って、第２の階調圧縮後ＨＤＲ画像の前記アクティブ画素データの少なくとも一部を線形化して、線形化ＨＤＲ画像を生成するステップであって、前記第２の階調圧縮後ＨＤＲ画像は、前記第１の階調圧縮後ＨＤＲ画像および後続する階調圧縮後ＨＤＲ画像からなる群から選択される、ステップと、
を実施するように前記プロセッサを制御する機械可読命令を記憶するメモリと、
を備え、
前記機械可読命令は、前記導出するステップが、
前記階調圧縮後画素強度の第１の累積分布関数を生成することと、
前記ヒストグラムの第２の累積分布関数を生成することと、
階調圧縮後画素強度および階調圧縮前画素強度の複数の対応する対のそれぞれに対して、前記階調圧縮後画素強度で評価された前記第１の累積分布関数が、前記階調圧縮前画素強度で評価された前記第２の累積分布関数に等しいように前記対応関係を決定することと、
を含むように構成され、
さらに、前記機械可読命令は、前記プロセッサによって実行されると、
前記第１の階調圧縮後ＨＤＲ画像および前記第２の階調圧縮後ＨＤＲ画像のそれぞれを複数の非オーバーラップ空間画像ゾーンに分離し、
前記複数の非オーバーラップ空間画像ゾーンのそれぞれに対して、前記階調圧縮後画素強度を抽出するステップと、前記第１の累積分布関数を生成するステップと、前記ヒストグラムを抽出するステップと、前記第２の累積分布関数を生成するステップと、前記対応関係を決定するステップと、線形化するステップとを実施することを繰り返すように前記プロセッサを制御するように構成され、
さらに、前記機械可読命令は、前記線形化するステップが、少なくとも、前記複数の非オーバーラップ空間画像ゾーンの異なるものの間の境界の閾値距離内の各画素に対して、前記画素の位置に基づき前記複数の非オーバーラップ空間画像ゾーンの前記異なるものに対して決定された前記対応関係を空間的に補間することを含むように構成されている、ＨＤＲカメラモジュール。
【請求項16】
適応的画像データ線形化を含む高ダイナミックレンジ（ＨＤＲ）カメラモジュールであって、シーンの階調圧縮後ＨＤＲ画像を生成し、アクティブ画素データおよびメタデータを含むそれぞれのフレームとして前記階調圧縮後ＨＤＲ画像を出力するように構成されたＨＤ
Ｒ画像センサと、
前記ＨＤＲ画像センサの外部のプロセッサと、
前記ＨＤＲ画像センサの外部であり、前記プロセッサによって実行されると、
（ａ）前記ＨＤＲ画像センサによって生成された第１の階調圧縮後ＨＤＲ画像のフレームから、（ｉ）前記フレームのアクティブ画素データからの階調圧縮後画素強度と、（ｉｉ）前記フレームのメタデータからの階調圧縮前画素強度のヒストグラムとを抽出するステップと、
（ｂ）前記階調圧縮後画素強度および前記ヒストグラムから、階調圧縮後画素強度と階調圧縮前画素強度との対応関係を導出するステップと、
（ｃ）前記対応関係に従って、第２の階調圧縮後ＨＤＲ画像の前記アクティブ画素データの少なくとも一部を線形化して、線形化ＨＤＲ画像を生成するステップであって、前記第２の階調圧縮後ＨＤＲ画像は、前記第１の階調圧縮後ＨＤＲ画像および後続する階調圧縮後ＨＤＲ画像からなる群から選択される、ステップと、
を実施するように前記プロセッサを制御する機械可読命令を記憶するメモリと、
を備え、
前記機械可読命令は、前記導出するステップが、
前記階調圧縮後画素強度の第１の累積分布関数を生成することと、
前記ヒストグラムの第２の累積分布関数を生成することと、
階調圧縮後画素強度および階調圧縮前画素強度の複数の対応する対のそれぞれに対して、前記階調圧縮後画素強度で評価された前記第１の累積分布関数が、前記階調圧縮前画素強度で評価された前記第２の累積分布関数に等しいように前記対応関係を決定することと、
を含むように構成され、
さらに、前記機械可読命令は、前記プロセッサによって実行されると、
前記第１の階調圧縮後ＨＤＲ画像および前記第２の階調圧縮後ＨＤＲ画像のそれぞれを複数の非オーバーラップ空間画像ゾーンに分離し、
前記複数の非オーバーラップ空間画像ゾーンのそれぞれに対して、前記階調圧縮後画素強度を抽出するステップと、前記第１の累積分布関数を生成するステップと、前記ヒストグラムを抽出するステップと、前記第２の累積分布関数を生成するステップと、前記対応関係を決定するステップと、線形化するステップとを実施することを繰り返すように前記プロセッサを制御するように構成され、
前記複数の非オーバーラップ空間画像ゾーンのそれぞれはそれぞれの中心位置を有し、前記機械可読命令は、前記線形化するステップが、各画素に対しかつ前記画素の位置に基づき、前記画素に最も近いそれぞれの中心位置を有する４つの空間画像ゾーンに対して決定された前記対応関係を空間的に補間することを含むように構成されている、ＨＤＲカメラモジュール。
【請求項17】
前記ＨＤＲ画像センサは、階調圧縮前画素強度のヒストグラムを含むアクティブ画素データおよびメタデータを含むそれぞれのフレームとして前記階調圧縮後ＨＤＲ画像を出力するように構成されている、請求項１から１６のいずれか一項に記載のＨＤＲカメラモジュール。
【請求項18】
前記ＨＤＲ画像センサによって生成される前記第１の階調圧縮後ＨＤＲ画像から抽出された階調圧縮前画素強度の前記ヒストグラムは、前記第１の階調圧縮後ＨＤＲ画像の前記フレームの前記メタデータに提供される、請求項１から１７のいずれか一項に記載のＨＤＲカメラモジュール。
【請求項19】
請求項１から１８のいずれか一項に記載のＨＤＲカメラモジュールを備える電子デバイス。
【発明の詳細な説明】
【技術分野】
【0001】
［関連出願の相互参照］
本出願は、２０１９年８月１２日に出願された米国仮特許出願第６２／８８５，４５８号および２０１９年８月１２日に出願された欧州特許出願第１９１９１２５７．５号の優先権を主張し、これら両方を参考のため本願において援用する。
本出願は、２０１９年８月１２日に出願された米国仮特許出願第６２／８８５，４５８号および２０１９年８月１２日に出願された欧州特許出願第１９１９１２５７．５号の優先権を主張し、これら両方を参考のため本願において援用する。
【0002】
本出願は、高ダイナミックレンジ（ＨＤＲ：high dynamic range）画像センサ、ＨＤＲ画像センサによって生成された画像データの処理、並びにモバイルデバイスにおけるＨＤＲ画像センサおよび関連処理の実装に関する。
【背景技術】
【0003】
過去数十年にわたり、高ダイナミックレンジ（ＨＤＲ）画像取込みのための多くの方法が開発されてきた。主に専門分野および科学分野で見られるハイエンドカメラシステムは、通常、高ビット深度のアナログデジタル変換回路とともに大きいセンサ画素を採用する。各センサ画素が大きいことにより、各センサ画素は、本質的に高いダイナミックレンジを有する。したがって、こうしたハイエンドＨＤＲカメラシステムによって取り込まれたロー（raw）画像は、センサの単一露光でＨＤＲイメージを提供し得る。ＣＣＤ設計およびＣＭＯＳ設計の両方において、こうしたシステムの性能の向上を更に促進することで、読出しノイズレベルが劇的に低減し、それにより、ハイエンドＨＤＲカメラシステムにおいて１４Ｆストップを超える単一露光取込みダイナミックレンジが可能になる。
【0004】
しかしながら、最も広く使用されているＨＤＲカメラは、コストおよびスペース両方の制約を受け、それにより、大きいセンサ画素および高ビット深度のアナログデジタル変換回路を備えた画像センサを搭載することができない。代わりに、モバイルデバイスに搭載されたもの等の大部分のＨＤＲカメラは、時間多重化または空間多重化を利用して、同じシーンの２つ以上の画像をそれぞれ２つ以上の異なる露光設定で取り込む。２つの異なる露光設定の場合、低露光画像は、シーンの明るい部分に対して最適な画像データを提供し、一方で、高露光画像は、シーンの暗い部分に対して最適な画像データを提供する。低露光画像および高露光画像は、取込み後、合成されて、低露光画像および高露光画像のいずれよりも高いダイナミックレンジにわたるＨＤＲ画像が生成される。
【0005】
時間多重化ＨＤＲ撮像では、画素アレイ全体は２回露光される（１回は長い露光時間および／または高いゲインで、１回は短い露光時間および／または低いゲインで）。時間多重化ＨＤＲ撮像は、３つ以上の異なる露光設定を利用して、ダイナミックレンジを更に拡大してもよい。時間多重化ＨＤＲ撮像は、従来の非ＨＤＲ画像センサを用いて実施することができる。
【0006】
一方、空間多重化ＨＤＲ撮像は、ＨＤＲ固有の画素アレイを利用する。画素アレイの異なるサブセットは、画素アレイによって取り込まれた各フレームが異なる露光設定で取り込まれた画像を含むように、異なるそれぞれの露光設定で動作するように構成されている。例えば、「ジグザグ（zig-zag）ＨＤＲ」構成では、画素アレイレイアウトは、ジグザグ線状の画素からなり、レイアウトは低露光ジグザグ線と高露光ジグザグ線とが交互になっている。このレイアウトは、従来のベイヤーカラーフィルタ配列の上に重ね合わされる。「クアッド（quad）ＨＤＲ」構成では、従来のベイヤーカラーフィルタ配列が拡張され、各カラーフィルタが（単一画素の上ではなく）２×２画素群の上に位置し、各２×２画素群が１つの低露光画素、２つの中間露光画素および１つの高露光画素からなるようになっている。
【発明の概要】
【0007】
一実施の形態において、適応的画像データ線形化を含む高ダイナミックレンジ（ＨＤＲ）カメラモジュールが、シーンの階調圧縮後ＨＤＲ画像を生成し、アクティブ画素データおよびメタデータを含むそれぞれのフレームとして前記階調圧縮後ＨＤＲ画像を出力するように構成されたＨＤＲ画像センサを備える。該ＨＤＲカメラモジュールは、前記ＨＤＲ画像センサの外部のプロセッサと、前記ＨＤＲ画像センサの外部のメモリとを更に備える。前記メモリは、前記プロセッサによって実行されると、（ａ）前記ＨＤＲ画像センサによって生成された第１の階調圧縮後ＨＤＲ画像のフレームから、（ｉ）前記フレームのアクティブ画素データからの階調圧縮後画素強度と、（ｉｉ）前記フレームのメタデータからの階調圧縮前画素強度のヒストグラムとを抽出するステップと、（ｂ）前記階調圧縮後画素強度および前記ヒストグラムから、階調圧縮後画素強度と階調圧縮前画素強度との対応関係を導出するステップと、（ｃ）前記対応関係に従って、第２の階調圧縮後ＨＤＲ画像の前記アクティブ画素データの少なくとも一部を線形化して、線形化ＨＤＲ画像を生成するステップであって、前記第２の階調圧縮後ＨＤＲ画像は、前記第１の階調圧縮後ＨＤＲ画像および後続する階調圧縮後ＨＤＲ画像からなる群から選択される、ステップとを実施するように前記プロセッサを制御する機械可読命令を記憶する。
【0008】
一実施の形態において、階調圧縮後高ダイナミックレンジ（ＨＤＲ）画像を線形化する適応的方法が、（ｉ）ＨＤＲ画像センサから、第１の階調圧縮後ＨＤＲ画像のフレームを受信することと、（ｉｉ）前記フレームから、（ａ）該フレームのアクティブ画素データからの階調圧縮後画素強度と、（ｂ）前記フレームのメタデータからの階調圧縮前画素強度のヒストグラムとを抽出することと、（ｉｉｉ）前記階調圧縮後画素強度および前記ヒストグラムから、階調圧縮後画素強度と階調圧縮前画素強度との対応関係を導出することと、（ｉｖ）前記ＨＤＲ画像センサから、第２の階調圧縮後ＨＤＲ画像のフレームを受信することと、（ｖ）前記対応関係に従って、前記第２の階調圧縮後ＨＤＲ画像の前記フレームのアクティブ画素データの少なくとも一部を線形化して、線形化ＨＤＲ画像を生成することとを含む。前記第２の階調圧縮後ＨＤＲ画像は、前記第１の階調圧縮後ＨＤＲ画像と後続する階調圧縮後ＨＤＲ画像とからなる群から選択される。
【図面の簡単な説明】
【0009】
【図1】一実施形態による、適応的画像データ線形化を含む高ダイナミックレンジ（ＨＤＲ）カメラモジュールを例示的な使用シナリオで示す図である。
【図3】一実施形態による、階調圧縮後ＨＤＲ画像のフレームを示す図である。
【図4】一実施形態による、階調圧縮後ＨＤＲ画像を線形化する適応的方法を示す図である。
【図5】一実施形態による、階調圧縮後ＨＤＲビデオストリームの適応的に線形化する線形化器を示す図である。
【図6】一実施形態による、階調圧縮後ＨＤＲ画像を線形化する別の適応的方法を示す図である。
【図7】一実施形態による、階調圧縮後ＨＤＲ画像自体に基づいて、図７のＨＤＲカメラモジュールの画像センサによって生成された各階調圧縮後ＨＤＲ画像を線形化するように構成されたＨＤＲカメラモジュールを示す図である。
【図8】一実施形態による、適応的画像データ線形化の機械可読命令を含むＨＤＲカメラモジュールを示す図である。
【図9】一実施形態による、階調圧縮後ＨＤＲ画像を線形化する更に別の適応的方法を示す図である。
【図10】一実施形態による、階調圧縮後ＨＤＲ画像を累積分布関数に基づいて線形化する適応的方法のフローチャートである。
【図16】一実施形態による、輝度に基づいて階調圧縮後ＨＤＲカラー画像を線形化する適応的方法を示す図である。
【図17】一実施形態による、階調圧縮前輝度と階調圧縮後ＨＤＲカラー画像の単一色成分とに基づいて、階調圧縮後ＨＤＲカラー画像を線形化する適応的方法を示す図である。
【図18】一実施形態による、各色成分を別個に考慮することに基づいて階調圧縮後ＨＤＲカラー画像を線形化する適応的方法を示す図である。
【図19】一実施形態による、単一色成分の階調圧縮前画素強度に一部基づいて階調圧縮後ＨＤＲカラー画像を線形化する適応的方法を示す図である。
【図20】一実施形態による、階調圧縮後画素強度と階調圧縮前画素強度との直接マッチングされた部分対応関係を導出し、次いで、直接マッチングされた対応関係を補外することにより、階調圧縮後画素強度と階調圧縮前画素強度との対応関係を決定する適応的方法のフローチャートである。
【図22】一実施形態による、階調圧縮後画素強度と階調圧縮前画素強度との直接マッチングされた部分対応関係の導出の範囲を決定する方法を示す図である。
【図23】一実施形態による、階調圧縮後画素強度と階調圧縮前画素強度との空間的に変化する対応関係に従って階調圧縮後ＨＤＲ画像を線形化する適応的方法を示す図である。
【発明を実施するための形態】
【0010】
図１は、適応的画像データ線形化を含む１つの高ダイナミックレンジ（ＨＤＲ）カメラモジュール１００を、一例示的なシナリオで示す。ＨＤＲカメラモジュール１００は、携帯電話またはタブレット等のモバイルデバイス１０２に実装され得る。より一般的には、カメラモジュール１００は、電子デバイスに実装され得る。ＨＤＲカメラモジュール１００を実装することができる例示的な電子デバイスとしては、（携帯電話およびタブレット等のモバイルデバイスに加えて）カメラデバイス、ディスプレイデバイス、メディアプレイヤ、ゲーミングデバイス、ラップトップおよびデスクトップコンピュータが挙げられる。電子デバイスは、ハウジングを備えることができ、そのハウジング内にＨＤＲカメラモジュール１００が配置される。ＨＤＲカメラモジュール１００は、ＨＤＲ画像センサ１１０および線形化器１２０を含む。ＨＤＲカメラモジュール１００は、シーンのＨＤＲイメージを生成するように構成されている。ＨＤＲイメージは、ＨＤＲビデオストリームまたは１つ以上のＨＤＲ静止画像であり得る。ＨＤＲ画像センサ１１０は、モノクロ画像センサまたはカラー画像センサであり得る。ＨＤＲ画像センサ１１０がカラー画像センサであるとき、ＨＤＲ画像センサ１１０によって取り込まれた各ＨＤＲ画像は、複数の色成分、例えば赤色、緑色および青色を含む。
【0011】
図１に示す例示的なシナリオでは、ＨＤＲカメラモジュール１００は、明るい領域（例えば、太陽１９６によって照らされる風景）と暗い領域（例えば、太陽１９６によって背面から照らされた人々１９２の顔１９４、および同様に太陽１９６によって背面から照らされた看板１９８に書かれた文字）との両方を含むシーン１９０のＨＤＲイメージを生成する。例えば、８ビットまたは１０ビットのビット深度を有する、従来の非ＨＤＲカメラのダイナミックレンジは、シーン１９０の明るい領域および暗い領域の両方を取り込むには不十分である可能性が高い。したがって、シーン１９０の非ＨＤＲ画像は、顔１９４および看板１９８に書かれたものが露光不足となり、かつ／またはシーン１９０の風景が露光過多となる可能性が高い。ＨＤＲカメラモジュール１００は、シーン１９０等のＨＤＲシーンをより適切に取り込むために拡大されたダイナミックレンジでＨＤＲ画像を取り込むように構成されている。
【0012】
図２は、ＨＤＲカメラモジュール１００を更に詳細に示す。ＨＤＲ画像センサ１１０は、初期ＨＤＲビット深度でＨＤＲ画像２８２を生成するように構成されている。しかしながら、ＨＤＲ画像センサ１１０の出力は、例えば、デバイス通信プロトコルとの互換性のために、初期ＨＤＲビット深度よりも低い出力ビット深度に制限される。したがって、ＨＤＲ画像センサ１１０は、階調圧縮後ＨＤＲ画像２８４を出力する。各階調圧縮後ＨＤＲ画像２８４の画素強度は、出力ビット深度にマッピングされたＨＤＲ画像２８２の画素強度である。概して、階調圧縮後ＨＤＲ画像２８４の画素強度は、階調圧縮プロセスを通して画像情報を最適に保持するように、実際のシーン強度に非線形的に関連する。線形化器１２０が、各階調圧縮後ＨＤＲ画像２８４を再線形化して、少なくともおよそ線形的に実際のシーン強度に関連する画素強度を有する線形化ＨＤＲ画像２８６を生成するように構成されている。線形化器１２０は、線形化ＨＤＲ画像２８６のビット深度が階調圧縮後ＨＤＲ画像２８４のビット深度を超えるように、階調圧縮後ＨＤＲ画像２８４の画素強度をより高いビット深度、例えば第１のビット深度にマッピングすることもできる。線形化ＨＤＲ画像２８６のビット深度は、階調圧縮前ＨＤＲ画像２８２のビット深度に等しい場合がある。
【0013】
線形化器１２０は、階調圧縮前ＨＤＲ画像２８２から階調圧縮後ＨＤＲ画像２８４を生成するために、ＨＤＲ画像センサ１１０によって使用される階調圧縮関数の先験的知識を必要としない。こうした先験的知識は、入手可能でないことが多い。代わりに、線形化器１２０は、階調圧縮後ＨＤＲ画像２８４のフレームから、階調圧縮後画素強度と階調圧縮前画素強度との対応関係を導出する。したがって、線形化器１２０は、ＨＤＲ画像センサ１１０によって使用される階調圧縮関数の変化に適応し得る。１つのシナリオでは、ＨＤＲ画像センサ１１０は、シーンの特性および／または取込み設定に従って階調圧縮関数を動的に調整する。線形化器１２０は、プロセッサと、プロセッサによって実行されると、本明細書で考察するように階調圧縮後ＨＤＲ画像２８４を線形化するようにプロセッサを制御する機械可読命令を符号化した非一時的メモリとを含むことができる。線形化器１２０は、デジタル信号プロセッサ（ＤＳＰ）に実装され得る。
【0014】
図３は、１つの階調圧縮後ＨＤＲ画像２８４のフレーム３００を示す。フレーム３００は、アクティブ画素データ３１０およびメタデータ３２０を含む。アクティブ画素データ３１０は、画素強度の行３１２を含むことができ、各行３１２は、階調圧縮後ＨＤＲ画像２８４の画素行に対応する。メタデータ３２０は、階調圧縮前情報３２２、すなわち、階調圧縮前画像２８２の画素強度に関係する情報を含む。階調圧縮前情報３２２は、階調圧縮前ＨＤＲ画像２８２の画素強度の１つ以上の完全なヒストグラムまたは部分的なヒストグラム等、統計的情報であり得る。メタデータ３２０に含まれる情報のタイプは、ＨＤＲ画像センサ１１０への関数呼出しを介して構成可能であり得る。
【0015】
本明細書で用いる場合の画像の「ヒストグラム」という用語は、複数の「ビン」にわたる画像内の１つ以上の色成分の画素値の分布を示す。例えば、ビンの数Ｎｂは、画素の全てのあり得る値に等しい可能性があり（例えば、Ｎｂ＝２ｂｉｔｄｅｐｔｈ)、ここで、bitdepthは、画素精度（例えば、８ビット、１０ビット等）を示す。いくつかの実施形態において、ビンの数は、Ｎｂ未満であり得る。例えば、限定なしに、Ｎｂ個のビンとＰｓ（ｉ）個の画素値を有する画像とを考慮すると、画像のヒストグラムｈｉｓｔ［］は、以下のように計算することができ、
ｆｏｒ（ｂ＝０；ｂ＜Ｎｂ；ｂ＋＋）
ｈｉｓｔ［ｂ］＝０；
ｆｏｒ（ｉ＝０；ｉ＜Ｐ；ｉ＋＋）
｛
ｔｅｍｐ＝ｆＮｂ（ｓ［ｉ］）；
ｈｉｓｔ［ｔｅｍｐ］＝ｈｉｓｔ［ｔｅｍｐ］＋１；
｝
ここで、ｆＮｂ（ｘ）は、ｘの値をＮｂ個のビンのうちの１つにマッピングする関数を示す。例えば、Ｎｂ＝２ｂｉｔｄｅｐｔｈ、ｆＮｂ（ｘ）＝ｘであるとき、または任意のＮｂに対して、
である。
ｆｏｒ（ｂ＝０；ｂ＜Ｎｂ；ｂ＋＋）
ｈｉｓｔ［ｂ］＝０；
ｆｏｒ（ｉ＝０；ｉ＜Ｐ；ｉ＋＋）
｛
ｔｅｍｐ＝ｆＮｂ（ｓ［ｉ］）；
ｈｉｓｔ［ｔｅｍｐ］＝ｈｉｓｔ［ｔｅｍｐ］＋１；
｝
ここで、ｆＮｂ（ｘ）は、ｘの値をＮｂ個のビンのうちの１つにマッピングする関数を示す。例えば、Ｎｂ＝２ｂｉｔｄｅｐｔｈ、ｆＮｂ（ｘ）＝ｘであるとき、または任意のＮｂに対して、
【数1】
【0016】
一実施形態において、或る画像に対するヒストグラムｈｉｓｔ［］を考慮すると、その画像の累積分布関数（ＣＤＦ）は、以下のように計算することができる。
ＣＤＦ［０］＝ｈｉｓｔ［０］；
ｆｏｒ（ｂ＝１；ｂ＜Ｎｂ；ｂ＋＋）
ＣＤＦ［ｂ］＝ＣＤＦ［ｂ－１］＋ｈｉｓｔ［ｂ］；
ＣＤＦ［０］＝ｈｉｓｔ［０］；
ｆｏｒ（ｂ＝１；ｂ＜Ｎｂ；ｂ＋＋）
ＣＤＦ［ｂ］＝ＣＤＦ［ｂ－１］＋ｈｉｓｔ［ｂ］；
【0017】
再び図２を参照して、線形化器１２０は、１つの階調圧縮後ＨＤＲ画像２８４のフレーム３００を処理し、階調圧縮前情報３２２をアクティブ画素データ３１０の画素強度と比較して、階調圧縮後画素強度と階調圧縮前画素強度との対応関係を決定する。そして、線形化器１２０は、この対応関係を、同じフレーム３００、または後続する階調圧縮後ＨＤＲ画像２８４に関連する別のフレーム３００のいずれかのアクティブ画素データ３１０の階調圧縮後画素強度に適用して、アクティブ画素データ３１０の階調圧縮後画素強度を線形化する。結果としての線形化画素強度は、線形化ＨＤＲ画像２８６において出力される。
【0018】
ＨＤＲカメラモジュール１００は、メタデータ３２０が階調圧縮前情報３２２を含むように、メタデータ３２０に含まれる情報のタイプを定義するマスターコントローラ２４０を含むことができる。マスターコントローラ２４０は、ＨＤＲ画像センサ１１０による画像取込みを更に制御してもよい。
【0019】
図２は、ＨＤＲ画像センサ１１０の１つの例示的な実施態様を示す。この実施態様では、ＨＤＲ画像センサ１１０は、画素アレイ２１０、アナログデジタル変換器（ＡＤＣ）２１２、ＨＤＲ合成器２１４、階調圧縮器２１６およびインターフェース２１８を含む。画素アレイ２１０の各露光に対して、ＡＤＣ２１２は、画素アレイ２１０からのアナログ信号をデジタル画像データ２８１に変換する。１つの例では、画素アレイ２１０は空間多重化され、画素アレイ２１０の各露光により、２つ以上の異なる露光設定でそれぞれ取り込まれるシーンの２つ以上の画像が生成される。本明細書において、「露光設定」は、露光時間、利得、またはそれらの組合せを指す。この例では、画素アレイ２１０は、ジグザグＨＤＲ画素アレイまたはクアッドＨＤＲ画素アレイであり得る。別の例では、ＨＤＲ画像センサ１１０は、時間多重化され、画素アレイ２１０を２つ以上の異なる露光設定でそれぞれ２回以上露光するように構成されている。ＨＤＲ画像センサ１１０が空間多重化を利用するか時間多重化を利用するかに関わらず、ＨＤＲ合成器２１４は、２つ以上の異なる露光設定でそれぞれ取り込まれたシーンの２つ以上の画像を合成することにより、デジタル画像データ２８１から各階調圧縮前ＨＤＲ画像２８２を生成する。階調圧縮器２１６は、各ＨＤＲ画像２８２を階調圧縮して、階調圧縮後ＨＤＲ画像２８４を生成する。インターフェース２１８は、階調圧縮後ＨＤＲ画像２８４を出力する。
【0020】
１つの実施態様では、デジタル画像データ２８１のビット深度は、８ビットまたは１０ビットであり、各ＨＤＲ画像２８２のビット深度は１４ビットまたは１６ビットであり、一方で、インターフェース２１８は、出力ビット深度が１０ビットに制限されるモバイルインダストリーパラレルインターフェース（ＭＩＰＩ：Mobile Industry Parallel Interface）標準規格に準拠する。この実施態様では、階調圧縮器２１６は、ビット深度を１４ビットまたは１６ビットから１０ビットに圧縮する。
【0021】
ＨＤＲカメラモジュール１００は、画像信号プロセッサ（ＩＳＰ）２３０を更に含んでもよい。ＩＳＰ２３０は、線形化ＨＤＲ画像２８６を処理して、処理済みＨＤＲ画像２８８を生成する。ＩＳＰ２３０は、線形化ＨＤＲ画像２８６に対して、ホワイトバランス処理、色補正、ガンマ補正、デモザイク処理、ノイズ除去および画像鮮明化からなる群から選択された１つ以上の手順を適用し得る。
【0022】
階調圧縮後ＨＤＲ画像２８４は、階調圧縮後画素強度とシーン強度との概して非線形の関係により、特に階調圧縮がシーンに依存する場合、表示には適していない。線形化器１２０によって生成された線形化ＨＤＲ画像２８６は、すぐ表示できるか、または少なくともＩＳＰ２３０によって処理される用意ができている。多くのカメラモジュールは、画像センサによって出力される画像を処理するＩＳＰを含むが、これらのＩＳＰは、（ａ）シーン線形画素強度（すなわち、少なくともおよそ線形的にシーン強度に関連する画素強度）を処理するように構成され、（ｂ）階調圧縮がシーン依存である階調圧縮後画素強度を線形化するように構成されていない。ＩＳＰ２３０を含むＨＤＲカメラモジュール１００の実施形態において、線形化器１２０は、ＩＳＰ２３０による処理の前に画素強度を線形化する必要なプリプロセッサとして機能する。
【0023】
あり得る代替的な解決法では、ＨＤＲ画像センサ１１０は、ＨＤＲ合成器２１４によるＨＤＲ合成の前に、デジタル画像データ２８１を出力して、ＨＤＲ画像センサ１１０の外部でＨＤＲ合成を実施するように構成される。しかしながら、非常にハイエンドなシステムを除き、典型的なモバイルデバイスには、こうしたオフセンサＨＤＲ合成機能がなく、したがって、そうしたモバイルデバイスは、ＨＤＲ画像センサに搭載された階調圧縮に頼らなければならない。したがって、このあり得る代替解決法は、通常、少なくともモバイルデバイスの場合、実現可能な解決法ではない。
【0024】
或る特定の利点を要約すると、線形化器１２０は、以下のようなカメラモジュールにおいて、階調圧縮後画素強度を線形化することができる。すなわち、（ａ）オフセンサＨＤＲ合成機能がなく、したがって、ＨＤＲ画像センサに搭載されたＨＤＲ合成に頼らなければならず、かつ（ｂ）階調圧縮が必要であるように、ＨＤＲビット深度よりも低いＨＤＲ画像センサの出力のビット深度に制限を課す、カメラモジュールである。線形化器１２０によって実施される線形化は、ＨＤＲ画像センサに搭載された適用される階調圧縮機能の先験的知識を必要としない。代わりに、線形化器１２０は、ＨＤＲ画像センサによって出力される階調圧縮後ＨＤＲ画像フレームから必要な情報を導出する。線形化器１２０のこの特徴により、線形化器１２０は、ＨＤＲ画像センサに搭載された適用される階調圧縮機能の動的変化に適応することができる。
【0025】
本明細書の範囲から逸脱することなく、線形化器１２０は、サードパーティによって提供されるＨＤＲ画像センサ１１０とともに、任意選択的に、サードパーティによって提供されるＩＳＰ２３０および／またはマスターコントローラ２４０とともに、カメラモジュールに実装されるように構成された独立型製品として提供され得る。
【0026】
図４は、階調圧縮後ＨＤＲ画像を線形化する１つの適応的方法４００を示す。方法４００は、線形化器１２０によって実施され得る。方法４００は、ステップ４１０、４２０、４３０および４４０を含む。
【0027】
ステップ４１０は、ＨＤＲ画像センサから第１の階調圧縮後ＨＤＲ画像のフレームを受信する。ステップ４１０の１つの例では、線形化器１２０は、ＨＤＲ画像センサ１１０から第１の階調圧縮後画像２８４のフレーム３００を受信する。
【0028】
ステップ４２０は、フレームのアクティブ画素データとフレームのメタデータにおける階調圧縮前画素強度情報との比較から、階調圧縮後画素強度と階調圧縮前画素強度との対応関係を導出する。ステップ４２０の１つの例では、線形化器１２０は、第１の階調圧縮後画像２８４のフレーム３００のアクティブ画素データ３１０と階調圧縮前情報３２２とを比較する。この比較から、線形化器１２０は、第１の階調圧縮後画像２８４の階調圧縮後画素強度と階調圧縮前ＨＤＲ画像２８２の階調圧縮前画素強度との対応関係を導出する。ステップ４２０で実施される比較は、第１の階調圧縮後画像の全ての階調圧縮後画素強度を考慮してもよい。
【0029】
ステップ４３０は、ＨＤＲ画像センサから後続する階調圧縮後ＨＤＲ画像のフレームを受信する。この後続する階調圧縮後ＨＤＲ画像は、ステップ４１０において受信された第１の階調圧縮後ＨＤＲ画像の後に取り込まれる。ステップ４３０の１つの例では、線形化器１２０は、ステップ４１０において受信された階調圧縮後画像２８４に関連する階調圧縮前ＨＤＲ画像２８２に続いてＨＤＲ画像センサ１１０によって取り込まれた階調圧縮前ＨＤＲ画像２８２に基づく、別の階調圧縮後画像２８４のフレーム３００を受信する。
【0030】
ステップ４４０は、ステップ４２０において導出された対応関係に従って、ステップ４３０において受信された、後続する階調圧縮後ＨＤＲ画像を線形化する。ステップ４４０の１つの例では、線形化器１２０は、ステップ４２０において導出された対応関係に従って、ステップ４３０において受信された、後続する階調圧縮後ＨＤＲ画像２８４の階調圧縮後画素強度を線形化して、線形化ＨＤＲ画像２８６を生成する。ステップ４４０は、第２の階調圧縮後ＨＤＲ画像を、階調圧縮前ビット深度に（または、第１の階調圧縮後ＨＤＲ画像のビット深度を超える別のビット深度に）マッピングするステップ４４２を含むことができる。
【0031】
方法４００は、各フレームの処理に対して利用可能な時間および／またはメモリが限られている階調圧縮後ＨＤＲビデオストリームの線形化に、特によく適している。階調圧縮後ＨＤＲビデオストリームを線形化するために使用される場合、方法４００は、ビデオストリームの各階調圧縮後ＨＤＲ画像に適用され、ビデオストリームの先行する階調圧縮後ＨＤＲ画像に対して決定された対応関係に従って、ビデオストリームの各階調圧縮後ＨＤＲ画像を線形化し得る。ビデオ処理は、全ての処理を取込みフレームレートに一致するフレームレートで行わなければならないという時間制約を受けることが多い。
【0032】
１つの例示的なシナリオでは、線形化器１２０は、階調圧縮後ＨＤＲビデオストリームの各階調圧縮後画像２８４のフレーム３００を「オンザフライ」で線形化する。このシナリオにおける各フレーム３００に対して、線形化器１２０は、（ａ）階調圧縮後ＨＤＲビデオストリームの直前のフレーム３００から導出された対応関係に従ってフレーム３００の異なるサブセットを逐次的に受信するとともに線形化し、それと同時に、（ｂ）異なるサブセットのそれぞれから、アクティブ画素データ３１０の階調圧縮後画素強度を逐次的に抽出する。この逐次処理が完了したとき、線形化器は、ステップ４２０を実施するためのデータを収集しており、続けて、階調圧縮後ＨＤＲビデオストリームの次のフレーム３００に適用される対応関係を決定する。ステップ４２０を実施するために収集される階調圧縮後画素強度は、より低い解像度で収集され得ることが理解される。１つの例では、階調圧縮後画素強度は、事前規定されたヒストグラムビンにビニングされて、線形化器１２０が、各画素に対して正確な階調圧縮後画素強度を記憶するのではなく、各ビンにおける画素の数をカウントするだけでよいようにする。
【0033】
図５は、階調圧縮後ＨＤＲビデオストリームを適応的に線形化する１つの線形化器５２０を示す。線形化器５２０は、方法４００の一実施形態を実施するように構成されている。線形化器５２０は、階調圧縮後ＨＤＲ画像２８４のフレーム３００の階調圧縮後画素強度の行３１２を記憶することができるバッファ５２４を含む。各階調圧縮後ＨＤＲ画像２８４に対して、線形化器５２０は、Ｎ個の行３１２の全てをバッファ５２４に次々に逐次的に記憶する。各行３１２は、先行する階調圧縮後ＨＤＲ画像２８４から導出された対応関係５２２に基づいてステップ４４０に従って、かつ後続する階調圧縮後ＨＤＲ画像２８４を線形化するのに役立つ方法４００の反復においてステップ４２０に対してデータを収集するように、処理される。全ての行３１２を処理した後、線形化器５２０は、メタデータ３２０から階調圧縮前情報３２２を抽出し、ステップ４２０を完了して対応関係５２２を更新する。
【0034】
本明細書の範囲から逸脱することなく、バッファ５２４は、いくつかの行３１２のブロックを記憶して、線形化器５２０が個々の行３１２を逐次的に処理する代わりに行３１２のブロックを逐次的に処理するようにすることができてもよい。
【0035】
図６は、階調圧縮後ＨＤＲ画像を線形化する別の適応的方法６００を示す。方法６００は、線形化器１２０によって実施され得る。方法６００は、最初に、図４に関連して上述したように、ステップ４１０および４２０を実施する。ステップ４２０において第１の階調圧縮後画像に基づいて対応関係を決定した後、ステップ６４０は、対応関係に従って第１の階調圧縮後画像を線形化する。ステップ６４０は、ステップ６４０が、対応関係が導出されたものと同じ階調圧縮後ＨＤＲ画像の線形化に対して対応関係を適用することを除き、ステップ４４０と同様である。ステップ６４０は、第１の階調圧縮後ＨＤＲ画像を階調圧縮前ビット深度に（または、第１の階調圧縮後ＨＤＲ画像のビット深度を超える別のビット深度に）マッピングするステップ６４２を含むことができる。方法６００は、階調圧縮後ＨＤＲ静止画像の処理に特に適している。静止画像処理は、通常、ビデオストリーム処理よりも時間制約が少なく、したがって、各フレームのサブセット（例えば、行）のオンザフライ逐次処理ではなくフルフレームの処理が可能である。
【0036】
図７は、階調圧縮後ＨＤＲ画像自体に基づき、ＨＤＲカメラモジュール７００の画像センサによって生成された、各階調圧縮後ＨＤＲ画像を線形化するように構成された、１つのＨＤＲカメラモジュール７００を示す。ＨＤＲカメラモジュール７００は、ＨＤＲ画像センサ１１０および線形化器７２０を含む。ＨＤＲカメラモジュール７００は、ＩＳＰ２３０およびマスターコントローラ２４０のうちの一方または両方を更に含んでもよい。ＨＤＲカメラモジュール７００は、ＨＤＲカメラモジュール１００の一実施形態であり、線形化器７２０は、線形化器１２０の一実施形態である。
【0037】
線形化器７２０は、方法６００の一実施形態を実施するように構成されている。線形化器７２０は、階調圧縮後ＨＤＲ画像２８４のフレーム３００のアクティブ画素データ３１０のフルフレーム７２４を記憶することができる画像記憶装置７７０と、通信可能に接続されている。動作時、線形化器７２０は、方法６００のステップ４１０においてフレーム３００を受信し、画像記憶装置７７０にフレーム３００の全てのアクティブ画素データ３１０をフルフレーム７２４として記憶する。方法６００のステップ４２０において、線形化器７２０は、フレーム３００から対応関係５２２を導出する。次に、方法６００のステップ６４０において、線形化器７２０は、画像記憶装置７７０からフルフレーム７２４を取り出し、対応関係５２２に従ってその階調圧縮後画素データを線形化する。線形化器７２０は、線形化ＨＤＲ画像２８６を出力する前に、線形化ＨＤＲ画像２８６の全ての一部を記憶するために画像記憶装置７７０を利用してもよい。
【0038】
ＨＤＲカメラモジュール７００は、画像記憶装置７７０とともにモバイルデバイス７０２に実装され得る。１つの例では、モバイルデバイス７０２は、ＨＤＲカメラモジュール７００の外部にメモリを有し、このメモリが画像記憶装置７７０としての役割を果たすことを含むいくつかの機能を有する、携帯電話またはタブレットである。このメモリは、ランダムアクセスメモリ（ＲＡＭ）またはソリッドステートドライブ（ＳＳＤ）であり得る。本明細書の範囲から逸脱することなく、画像記憶装置７７０は、代わりに、ＨＤＲカメラモジュール７００上に搭載されて実装され得る。ＨＤＲカメラモジュール７００は、より一般的には、画像記憶装置７７０とともに（例えば、図１に関連して考察したタイプのうちの任意のものの）電子デバイスに実装され得る。
【0039】
図８は、適応的画像データ線形化の機械可読命令を含む１つのＨＤＲカメラモジュール８００を示す。ＨＤＲカメラモジュール８００は、プロセッサ８１０、非一時的メモリ８２０、インターフェース８９０およびＨＤＲ画像センサ１１０を含む。ＨＤＲカメラモジュール８００は、ＨＤＲカメラモジュール１００の一実施形態であり、ＩＳＰ２３０およびマスターコントローラ２４０のうちの一方または両方を含み得る。プロセッサ８１０およびメモリ８２０は、協働して線形化器１２０の一実施形態を形成する。メモリ８２０は、機械可読命令８３０を含む。プロセッサ８１０およびメモリ８２０は、デジタル信号プロセッサに実装され得る。機械可読命令８３０は、データ抽出命令８３２、対応関係導出命令８３４および線形化命令８３６を含む。
【0040】
プロセッサ８１０によって実行されると、データ抽出命令８３２は、インターフェース８９０を介してＨＤＲ画像センサ１１０から受信された階調圧縮後ＨＤＲ画像２８４のフレーム３００からデータを抽出するように、プロセッサ８１０を制御する。具体的には、プロセッサ８１０は、（ａ）アクティブ画素データ３１０から階調圧縮後画素強度を抽出し、メタデータ３２０から階調圧縮前画素情報３２２を抽出する。１つの実施形態において、例えば図５に関して上述したように、メモリ８２０はバッファ５２４を含み、プロセッサ８１０は、アクティブ画素データ３１０の行３１２を記憶するためにバッファ５２４を利用する。図８には示さない別の実施形態において、例えば図７に関して上述したように、ＨＤＲカメラモジュール８００は、インターフェース８９０を介して画像記憶装置７７０と通信可能に接続され、プロセッサ８１０は、アクティブ画素データ３１０を記憶するために画像記憶装置７７０を利用する。更に別の実施形態において、メモリ８２０は動的データ記憶装置８６０を含み、プロセッサ８１０は、アクティブ画素データ３１０および／または階調圧縮前情報３２２を記憶するために動的データ記憶装置８６０を利用する。
【0041】
プロセッサ８１０によって実行されると、対応関係導出命令８３４は、アクティブ画素データ３１０と階調圧縮前情報３２２との比較から対応関係５２２を導出するように、プロセッサ８１０を制御する。プロセッサ８１０は、対応関係５２２を動的データ記憶装置８６０に記憶し得る。
【0042】
プロセッサ８１０によって実行されると、線形化命令８３６は、階調圧縮後ＨＤＲ画像２８４を線形化して線形化ＨＤＲ画像２８６を生成するように、プロセッサ８１０を制御する。線形化命令８３６は、インターフェース８９０を介して線形化ＨＤＲ画像２８６を出力するように、プロセッサ８１０を制御し得る。プロセッサ８１０は、線形化命令８６３の実行中、階調圧縮後および／または線形化画素強度を記憶するために、バッファ５２４、動的データ記憶装置８６０および／または画像記憶装置７７０（図８には図示せず）を利用し得る。
【0043】
図９は、階調圧縮後ＨＤＲ画像を線形化する更に別の適応的方法９００を示す。方法９００は、ステップ９１０、９２０、９３０および９５０を含む。方法９００は、ＨＤＲカメラモジュール８００によって実施され得る。
【0044】
ステップ９１０は、ＨＤＲ画像センサから、第１の階調圧縮後ＨＤＲ画像のフレームを受信する。ステップ９１０の１つの例では、プロセッサ８１０は、ＨＤＲ画像センサ１１０からインターフェース８９０を介して階調圧縮後ＨＤＲ画像２８４のフレーム３００を受信する。
【0045】
ステップ９２０は、ステップ４１０において受信されたフレームから、（ａ）フレームのアクティブ画素データから階調圧縮後画素強度を抽出し、（ｂ）フレームのメタデータに提供された階調圧縮前画素強度のヒストグラムを抽出する。ステップ９２０の１つの例では、プロセッサ８１０は、データ抽出命令８３２を実行して、（ａ）アクティブ画素データ３１０から階調圧縮後画素を抽出し、（ｂ）メタデータ３２０から階調圧縮前ヒストグラム８６４（図８を参照）を抽出する。階調圧縮前ヒストグラム８６４は、階調圧縮前情報３２２の一例であり、または階調圧縮前情報３２２に含まれる。階調圧縮前ヒストグラム８６４は、階調圧縮前ＨＤＲ画像２８２の画素強度のヒストグラムである。階調圧縮前ヒストグラム８６４は、階調圧縮前ＨＤＲ画像２８２の全ての画素、または階調圧縮前ＨＤＲ画像２８２の画素のサブセットを表し得る。ＨＤＲカラー画像の場合、階調圧縮前ヒストグラム８６４は輝度ヒストグラムであり得る。
【0046】
ステップ９３０は、階調圧縮後画素強度および階調圧縮前ヒストグラムから、階調圧縮後画素強度と階調圧縮前画素強度との対応関係を導出する。ステップ９３０の１つの例では、プロセッサ８１０は、対応関係導出命令８３４を実行して対応関係５２２を決定する。
【0047】
ステップ９５０は、ステップ９３０において導出された対応関係に従って第２の階調圧縮後ＨＤＲ画像のフレームのアクティブ画素データの少なくとも一部を線形化し、それにより、線形化ＨＤＲ画像を生成する。ステップ９４０の１つの例では、プロセッサ８１０は、線形化命令８３６を実行して、対応関係５２２に従って階調圧縮後ＨＤＲ画像２８４を線形化し、それにより、線形化ＨＤＲ画像２８６を生成する。第２の階調圧縮後ＨＤＲ画像は、（ａ）第１の階調圧縮後ＨＤＲ画像、または（ｂ）ステップ９１０において受信された第１の階調圧縮後ＨＤＲ画像の取込みの後にＨＤＲ画像センサによって取り込まれた後続する階調圧縮後ＨＤＲ画像のいずれかである。第１の階調圧縮後ＨＤＲ画像および後続する階調圧縮後ＨＤＲ画像は、階調圧縮後ＨＤＲビデオストリームの連続的な画像であり得る。
【0048】
階調圧縮後ＨＤＲビデオストリームを線形化するために使用される場合、方法９００は、ステップ９３０において決定された対応関係において、ビデオストリームを通して、時間的変動を制限するステップ（図９には図示せず）を更に含むことができる。こうしたステップは、線形化ビデオストリームにおいてフレーム間の視覚的に明らかな離散的変化を防止する役割を果たし得る。ビデオストリームの各階調圧縮後ＨＤＲ画像に対してステップ９３０とステップ９５０との間で実施される１つの実施態様では、方法９００は、（ａ）現在処理されている第１の階調圧縮後ＨＤＲ画像に対してステップ９３０において決定された対応関係と、（ｂ）直前の第１の階調圧縮後ＨＤＲ画像に対してステップ９３０において決定された対応関係との偏差を評価する。偏差が閾値を超える場合、現在処理されている第１の階調圧縮後ＨＤＲ画像に対する対応関係は、偏差が閾値を超えないように、直前の第１の階調圧縮後ＨＤＲ画像に対する対応関係により近くなるように修正される。閾値は、階調圧縮後画素強度の各値に対する、（ａ）現在処理されている第１の階調圧縮後ＨＤＲ画像に対する対応関係による階調圧縮前画像強度と、（ｂ）直前の第１の階調圧縮後ＨＤＲ画像に対する対応関係による階調圧縮前画素強度との間の最大許容相対差として定義され得る。この最大許容相対差は、例えば、１％～１０％の範囲である。
【0049】
１つの実施形態では、ステップ９５０は、ステップ９３０において第１の階調圧縮後ＨＤＲ画像の全ての階調圧縮後画素強度を考慮することから導出される対応関係に従って、第２の階調圧縮後ＨＤＲ画像の全ての階調圧縮後画素強度を線形化する。別の実施形態において、ステップ９５０は、第２の階調圧縮後ＨＤＲ画像の空間的部分領域における画素強度を、ステップ９３０において第１の階調圧縮後ＨＤＲ画像のその同じ空間的部分領域の階調圧縮後画素強度を考慮することから導出された対応関係に従って線形化する。
【0050】
ステップ９５０が第１の階調圧縮後ＨＤＲ画像を線形化する実施形態において、ステップ９１０、９２０、９３０および９５０は、協働して方法６００の一実施形態を形成する。ステップ９５０が後続する階調圧縮後ＨＤＲ画像を線形化する実施形態において、方法９００はステップ９４０を更に含み、ステップ９１０、９２０、９３０、９４０および９５０は、協働して方法４００の一実施形態を形成する。ステップ９４０は、ＨＤＲ画像センサから、後続する階調圧縮後ＨＤＲ画像のフレームを受信する。ステップ９４０の１つの例では、プロセッサ８１０は、ＨＤＲ画像センサ１１０からインターフェース８９０を介して後続する階調圧縮後ＨＤＲ画像２８４のフレーム３００を受信し、後続する階調圧縮後ＨＤＲ画像２８４は、第１の階調圧縮後ＨＤＲ画像２８４の後に取り込まれている。
【0051】
或る特定の実施形態において、方法９００は、ステップ９０２、９０４および９０６を更に含み、それらのそれぞれは、ＨＤＲ画像センサ１１０等のＨＤＲ画像センサによって実施され得る。ステップ９０２は、取込みビット深度でロー画像データを取り込む。ステップ９０２の１つの例では、画素アレイ２１０は（ＡＤＣ２１２と協働して）デジタル画像データ２８１を取り込む。ステップ９０４は、ロー画像データを合成して、階調圧縮前ビット深度でＨＤＲ画像を形成する。ステップ９０４の１つの例では、ＨＤＲ合成器２１４は、２つ以上の異なる露光設定で得られたデジタル画像データ２８１を合成して、階調圧縮前ＨＤＲ画像２８２を形成する。ステップ９０６は、ステップ９０４において形成されたＨＤＲ画像を、階調圧縮前ビット深度よりも低い圧縮後ビット深度に階調圧縮する。ステップ９０６の１つの例では、階調圧縮器２１６が、階調圧縮前ＨＤＲ画像２８２を階調圧縮して、階調圧縮後ＨＤＲ画像２８４を生成する。
【0052】
方法９００は、ステップ９５０において生成された線形化ＨＤＲ画像を後処理するステップ９６０を更に含み得る。ステップ９６０は、線形化ＨＤＲ画像に対して１つ以上のプロセス、例えば、ホワイトバランス処理、色補正、ガンマ補正、デモザイク処理、ノイズ除去および画像鮮明化のうちの１つ以上を適用し得る。ステップ９６０の１つの例では、ＩＳＰ２３０は、線形化ＨＤＲ画像２８６を処理する。
【0053】
ステップ９０２、９０４、９０６および９６０のいずれも含まない方法９００の実施形態は、例えばプロセッサ８１０およびメモリ８２０として実装される線形化器１２０により実施され得る。
【0054】
図１０～図１３は、累積分布関数（ＣＤＦ）に基づいて階調圧縮後ＨＤＲ画像を線形化する１つの適応的方法１０００を示す。図１０は、方法１０００のフローチャートであり、図１１～図１３は、方法１０００の或る特定の要素の例示的な図である。図１０～図１３は、以下の説明において合わせて見るのが最適である。
【0055】
方法１０００は、方法９００（図９を参照）の部分９０１の一実施形態である。方法１０００は、例えばプロセッサ８１０およびメモリ８２０として実装される線形化器１２０によって実施され得る。方法１０００は、ステップ１０１０、１０２０、１０３０および１０５０を含む。ステップ１０１０、１０２０および１０３０は、協働して方法９００のステップ９３０の一実施形態を形成し、これは、対応関係導出命令８３４に符号化され得る。ステップ１０５０は、方法９００のステップ９５０の一実施形態であり、線形化命令８３６に符号化されてもよい。
【0056】
ステップ１０１０は、ステップ９２０において得られた階調圧縮後画素強度の第１のＣＤＦを生成する。ステップ１０１０の１つの例では、ステップ１０１０は、アクティブ画素データ３１０の階調圧縮後画素強度のＣＤＦ１２１０（図１２を参照）を生成する。ＣＤＦ１２１０は、アクティブ画素データ３１０の全ての階調圧縮後画素強度、またはアクティブ画素データ３１０の階調圧縮後画素強度のサブセットに基づき得る。第１のＣＤＦは、（ａ）階調圧縮後画素強度をＮＣ個のビンＢＣ，ｉにビニングし（ｉ＝０，１，…，ＮＣ－１であり、各ビンＢＣ，ｉは、階調圧縮後画素強度ＶＣ，ｉに対応し、カウントｆ（ＶＣ，ｉ）を有する）、（ｂ）第１のＣＤＦを以下のように計算する。
（式中、ｊ＝０，１，…，Ｎ'Ｃ－１であり、Ｎ'Ｃは、ＮＣと同じであるか、またはＮ'Ｃは非ゼロカウントを有する最高ビンＢＣ，ｉに対応する）ことによって生成されてもよい。ＶＣ，ｉは、ビンＢＣ，ｉに割り当てられた階調圧縮後画素の範囲の中心値、またはビンＢＣ，ｉに割り当てられた階調圧縮後画素に対する上限値を示し得る。１つの実施態様では、ＣＤＦＣ（ＶＣ，ｊ）の第１の値は、式ＣＤＦＣ（ＶＣ，０）＝ｆ（ＶＣ，０）に従って第１のビンＢＣ，０に対して最初に計算され、その後、ＣＤＦＣ（ＶＣ，ｊ）の各後続する値は、以下のように計算される。
【数2】
【数3】
【0057】
ステップ１０２０は、ステップ９２０において得られた階調圧縮前画素強度のヒストグラムの第２のＣＤＦを生成する。図１１は、ＨＤＲ画像センサ１１０が、階調圧縮前ＨＤＲ画像２８２の階調圧縮前画素強度をビン１１１０にビニングした、１つのヒストグラム例１１００を示す。図１２は、ヒストグラム１１００のＣＤＦ１２２０を（概略的に）示す。ステップ１０２０は、ステップ１０１０に関して上述したように、階調圧縮後画素強度のヒストグラムからの第１のＣＤＦの計算と同様の様式で、階調圧縮前画素強度のヒストグラムから第２のＣＤＦであるＣＤＦＰを計算し得る。
【0058】
ステップ１０３０は、階調圧縮後画素強度および階調圧縮前画素強度の複数の対応する対のそれぞれに対して、階調圧縮後画素強度で評価された第１のＣＤＦが階調圧縮前画素強度で評価された第２のＣＤＦに等しいような、階調圧縮後画素強度と階調圧縮前画素強度との対応関係を決定する。言い換えれば、階調圧縮後画素強度の任意のインスタンスｕＣ（ｉ）に対して、対応する階調圧縮前画素強度ｖＰは、以下の式を満たす階調圧縮前画素強度として決定される。
ステップ１０３０によって決定された対応関係は、対応関係５２２の一例である。
【数4】
【0059】
図１２は、ＣＤＦ１２１０および１２２０から決定された、この対応関係の視覚的ダイアグラム例１２００を提供する。複数の階調圧縮後画素強度のそれぞれに対して、ステップ１０３０は、同じＣＤＦ値に関連する階調圧縮前画素強度を決定しようとする。ダイアグラム１２００は、階調圧縮後ＨＤＲ画像２８４の階調圧縮後画素強度１２１２を考慮する。階調圧縮後画素強度１２１２でのＣＤＦ１２１０の値は、ＣＤＦ値１２２４である。ＣＤＦ値１２２４を知ることにより、ダイアグラム１２００から破線矢印を辿ることによって、ＣＤＦ１２２０がＣＤＦ値１２２４に達することに対応する階調圧縮前ＨＤＲ画像２８２の階調圧縮前画素強度１２２２を、読み取ることができる。一例として、階調圧縮後画素強度１２１２が、５７４番目に明るい階調圧縮後画素強度である場合、階調圧縮前画素強度１２２２は、少なくともおよそ５７４番目に明るい階調圧縮前画素強度である。ヒストグラム１１００における有限ビニング分解能により、階調圧縮後画素強度１２１２と階調圧縮前画素強度１２２２との正確な一致から逸脱がもたらされる可能性がある。ダイアグラム１２００は説明を目的とするように意図されていることと、ステップ１０３０は図を視覚的に読み取ることなく数値的に実施することができることとが理解される。ＣＤＦ１２１０および／またはＣＤＦ１２２０が、平滑な方式とは対照的に段階的な方式で増加する可能性があることが更に理解される。例えば、ＣＤＦ１２２０は、各ビン１１１０に対して１つのステップを有し得る。こうした場合、例えば図１５に関して後述するように、ＣＤＦ１２２０の隣接するステップ間の補間を使用して、階調圧縮前画素強度１２２２を決定してもよい。引き続き視覚的例としてダイアグラム１２００を用い、ステップ１０３０は、いくつかの異なる階調圧縮後画素強度１２１２を考慮し、対応する階調圧縮前画素強度１２２２を見つける。
【0060】
方法１０００がモノクロ画像処理に使用される場合、方法１０００を通して画素強度はグレースケール強度である。方法１０００がカラー画像処理に使用される場合、方法１０００で処理される画素強度は、（ａ）色固有の画素強度（例えば、赤色、緑色および青色の画素強度）、（ｂ）異なるタイプの色固有の画素強度を結合することによって形成される輝度、または（ｃ）色固有の画素強度および輝度の組合せであり得る。１つの例では、ＣＤＦ１２１０および１２２０はともに、輝度を表す。別の例では、ＣＤＦ１２１０および１２２０は、同じ単一の色成分（例えば、緑色）に対して色固有の画素強度を表す。更に別の例では、ＣＤＦ１２１０は、単一の色成分に対する色固有の画素強度を表し、一方で、ＣＤＦ１２２０は輝度を表す。特にカラー画像処理に特化された方法１０００の或る特定の実施形態について、図１６～図１９に関して後述する。
【0061】
図１３は、階調圧縮後画素強度の関数として階調圧縮前画素強度を示す、ステップ１０３０において決定された例示的な対応関係１３１０の図１３００である。この例では、階調圧縮前画素強度は、階調圧縮後画素強度よりも概して大きく、対応関係１３１０は、破線１３３０によって示す約１：１の対応関係を超える。
【0062】
ステップ１０３０は、ステップ１０３２、１０３４および１０３６のうちの１つを含むことができる。ステップ１０３２は、対応関係をルックアップテーブルとして生成する。ルックアップテーブルは、対応する階調圧縮後画素強度および階調圧縮前画素強度の複数の対、例えば、同じＣＤＦ値に対応する階調圧縮後画素強度１２１２および階調圧縮前画素強度１２２２の対を列挙する。ステップ１０３４は、対応関係を多項式関数として生成する。ステップ１０３４は、対応する階調圧縮後画素強度および階調圧縮前画素強度の複数の対にフィッティングすることにより、この多項式関数を決定してもよい。ステップ１０３６は、対応関係を複数の多項式セグメントを有するスプライン表現として生成する。多項式セグメントは、２次関数または３次関数であり得る。ステップ１０３６は、対応する階調圧縮後画素強度および階調圧縮前画素強度の複数の対の間のスプライン補間により、このスプライン表現を決定してもよい。
【0063】
ステップ１０５０は、ステップ１０３０において決定された対応関係に従って、第１の階調圧縮後ＨＤＲ画像または後続する階調圧縮後ＨＤＲ画像のフレームのアクティブ画素データの少なくとも一部を線形化する。ステップ１０５０は、第１の階調圧縮後ＨＤＲ画像または後続する階調圧縮後ＨＤＲ画像を、階調圧縮前ビット深度に（または、階調圧縮前ビット深度を超える別のビット深度に）マッピングするステップ１０５２を含むことができる。
【0064】
ステップ１０３２を含む方法１０００の実施形態において、ステップ１０５０はステップ１０５４を含む。ステップ１０５４は、第１の階調圧縮後ＨＤＲ画像または後続する階調圧縮後ＨＤＲ画像の各階調圧縮後画素強度についてルックアップテーブルを検索し、対応する階調圧縮前画素強度を読み出し、それにより、画素強度を少なくともほぼ再線形化する。ステップ１０５４は、第１の後続する階調圧縮後ＨＤＲ画像のアクティブ画素データの階調圧縮後画素強度が、ルックアップテーブルに列挙された階調圧縮後画素強度に等しくないとき、ルックアップテーブルにおけるエントリー間を補間するステップ１０５６を含むことができる。
【0065】
ステップ１０３４を含む方法１０００の実施形態において、ステップ１０５０は、階調圧縮後画素強度に多項式関数を適用するステップ１０５８を含む。ステップ１０５０は、それにより、対応する階調圧縮前画素強度を決定し、したがって、画素強度を少なくともほぼ再線形化する。ステップ１０３６を含む方法１０００の実施形態において、ステップ１０５０は、階調圧縮後画素強度にスプライン表現を適用するステップ１０５９を含む。ステップ１０５０は、それにより、対応する階調圧縮前画素強度を決定し、したがって、画素強度を少なくともほぼ再線形化する。
【0066】
図１４および図１５は、方法１０００のステップ１０３０の別の例の視覚的図である。図１４および図１５は、以下の説明において合わせて見るのが最適である。この例では、ステップ９２０において得られた階調圧縮前画素強度のヒストグラムは、各ビンがｌｏｇ２（ｖ）に対応する（ｖは階調圧縮前画素強度である）ように、対数的にビニングされる。図１４は、対数ビン１４１０を用いた例示的なヒストグラム１４００を示す。ヒストグラム１４００は、１４ビットのビット深度を有するＨＤＲ画像２８２に対応する１４個のビンを有する。図１５は、対数的にビニングされたヒストグラム１４００に部分的に基づくことを除き、ダイアグラム１２００に概念的に類似しているダイアグラム１５００である。ダイアグラム１５００は、（ａ）階調圧縮後ＨＤＲ画像２８４のアクティブ画素データ３１０の階調圧縮後画素強度のＣＤＦ１５１０と、（ｂ）ヒストグラム１４００のＣＤＦ１５２０とをプロットしている。ＣＤＦ１５２０は、ヒストグラム１４００の対数ビニングに起因する明白なステップ状の挙動を有する。階調圧縮後画素強度および階調圧縮前画素強度の対応する対は、図１２に関して上述したものと同様の様式で決定し得る。所与の階調圧縮後画素強度１５１２は、ＣＤＦ１５１０のＣＤＦ値１５２４に対応する。
【0067】
対応する階調圧縮前画素強度１５２２は、ＣＤＦ値１５２４を横切るＣＤＦ１５２０の１つのステップの範囲１５２６内の階調圧縮前画素強度として決定され得る。対応する階調圧縮前画素強度１５２２は、例えば、範囲１５２６の中心値に設定される。代替例では、範囲１５２６内の階調圧縮前画素強度の分布は、線１５２８によって示すように線形であると想定され、対応する階調圧縮前画素強度１５２２は、線１５２８がＣＤＦ値１５２４に一致する階調圧縮前画素強度として決定される。１つの実施態様では、こうした線形補間を使用して、ＣＤＦ値１５２４を括るＣＤＦ１５２０の最も近いノード１５３０および１５３２が見つけられる。下側のノード１５３０は、座標（ｖＰ，０，ＣＤＦ（Ｐ，０）を有し、上側のノード１５３２は座標（ｖＰ，１，ＣＤＦ（Ｐ，１）を有する。そして、階調圧縮後画素強度１５１２ｕＣ（ｉ）に対応する階調圧縮前画素強度ｖＰは、以下の式に従って補間され得る。
【数5】
【0068】
図１６は、輝度に基づいて階調圧縮後ＨＤＲカラー画像を線形化する１つの適応的方法１６００を示す。方法１６００は、方法１０００の一実施形態である。方法１６００は、ステップ１６１０、１６１２、１６２０、１６３０および１６５０を含む。ステップ１６１０、１６１２、１６２０および１６３０は、協働して方法９００のステップ９３０の一実施形態を形成し、これは、対応関係導出命令８３４に符号化され得る。ステップ１６５０は、方法９００のステップ９５０の一実施形態であり、線形化命令８３６に符号化されてもよい。
【0069】
ステップ１６１０は、階調圧縮後ＨＤＲカラー画像の階調圧縮後色固有画素強度を結合して、輝度を表す階調圧縮後画素強度を形成する。ステップ１６１０の１つの例では、階調圧縮後ＨＤＲ画像２８４の赤色、緑色および青色の画素強度が結合されて、階調圧縮後ＨＤＲ輝度画像に対応する輝度値が形成される。
【0070】
ステップ１６１２は、ステップ１６１０において生成された輝度値を入力とし、輝度を表す階調圧縮後画素強度を用いて方法１０００のステップ１０１０を実施して、第１のＣＤＦを形成する。ステップ１６１２の１つの例では、ステップ１６１０において生成された輝度画素値は、ＣＤＦ１２１０の輝度に基づくバージョンを生成するように処理される。
【0071】
ステップ１６２０は、輝度ヒストグラムの第２のＣＤＦを生成する。ステップ１６２０の１つの例では、ＨＤＲ画像センサ１１０は、階調圧縮前ヒストグラム８６４を輝度ヒストグラムとして出力するように構成され、ステップ１６２０は、この輝度ヒストグラムのＣＤＦ１２２０を形成する。ステップ１６２０の別の例では、ＨＤＲ画像センサ１１０は、ＨＤＲ画像センサ１１０のいくつかの色成分のそれぞれに対して階調圧縮前ヒストグラム８６４を出力するように構成され、ステップ１６２０は、これらの色固有のヒストグラムを結合して、輝度ヒストグラムのＣＤＦ１２２０を形成する前に輝度ヒストグラムを形成する。
【0072】
ステップ１６３０は、ステップ１６１２および１６２０において生成されたＣＤＦを入力とし、輝度を表す画素強度を用いて方法１０００のステップ１０３０を実施する。ステップ１６３０は、それにより、階調圧縮後輝度と階調圧縮前輝度との対応関係（例えば、対応関係５２２）を生成する。ステップ１６５０は、各色に対して同じ対応関係を用いて、各色に対して別個に方法１０００のステップ１０５０を実施する。言い換えれば、階調圧縮後輝度と階調圧縮前輝度との対応関係は、階調圧縮後ＨＤＲカラー画像の各色固有の画素強度に適用される。ステップ１６５０の１つの例では、（ａ）階調圧縮後ＨＤＲ画像２８４の階調圧縮後赤色画素強度ｕＲは、以下の式に従って線形化赤色画素強度ｖＲを生成するようにスケーリングされ、
式中、ＬＣは、階調圧縮後輝度であり、ＬＰは、ステップ１６３０において決定された対応関係による対応する階調圧縮前輝度であり、（ｂ）階調圧縮後ＨＤＲ画像２８４の階調圧縮後緑色画素強度ｕＧは、以下の式に従って線形化緑色画素強度ｖＧを生成するようにスケーリングされ、
（ｃ）階調圧縮後ＨＤＲ画像２８４の階調圧縮後青色画素強度ｕＢは、以下の式に従って線形化青色画素強度ｖＢを生成するようにスケーリングされる。
図１０を参照して、ステップ１０３２において生成されたルックアップテーブル（例えば、対応関係５２２）は、ＬＣの関数として比ＬＰ／ＬＣをテーブル化する。
【数6】
【数7】
【数8】
【0073】
図１７は、階調圧縮前輝度と階調圧縮後ＨＤＲカラー画像の単一色成分とに基づいて階調圧縮後ＨＤＲカラー画像を線形化する１つの適応的方法１７００を示す。方法１７００は、方法１０００の一実施形態である。方法１７００は、ステップ１７１０、１６２０、１７３０および１６５０を含む。方法１７００は、ステップ１６１０および１６１２並びに１６５０を含む。方法１７００は、ステップ１６１０および１６１２がステップ１７１０に差し替えられ、ステップ１６３０がステップ１７３０に差し替えられることを除き、方法１６００と同様である。
【0074】
ステップ１７１０は、階調圧縮後ＨＤＲカラー画像の単一色成分を表す色固有の画素強度である階調圧縮後画素強度を用いて、方法１０００のステップ１０１０を実施して、第１のＣＤＦを形成する。ステップ１７１０の１つの例では、階調圧縮後ＨＤＲ画像２８４のアクティブ画素データ３１０の緑色画素強度が、ＣＤＦ１２１０の単一色バージョンを生成するように処理される。
【0075】
ステップ１７３０は、ステップ１７１０および１６２０において生成されたＣＤＦを入力とし、単一色を表す階調圧縮後画素強度と輝度を表す階調圧縮前画素強度とを用いて、方法１０００のステップ１０３０を実施する。ステップ１７３０は、それにより、（ａ）単一色成分に対する色固有の階調圧縮後画素強度と（ｂ）階調圧縮前輝度との対応関係（例えば、対応関係５２２）を生成する。方法１７００において、ステップ１６５０は、対応関係が、階調圧縮後ＨＤＲカラー画像の単一色成分に基づいて決定されていても、階調圧縮後ＨＤＲカラー画像の全ての色成分に対して同じ対応関係を適用する。
【0076】
図１８は、各色成分を別個に考慮することに基づいて、階調圧縮後ＨＤＲカラー画像を線形化する１つの適応的方法１８００を示す。方法１８００は、方法１０００の一実施形態である。方法１８００は、機械可読命令８３０に符号化され得る。方法１８００は、ステップ１８１０の３つのインスタンスを含む。ステップ１８１０の各インスタンスは、階調圧縮後ＨＤＲカラー画像のそれぞれの色成分を、その色成分に関連する画像データから排他的に導出された対応関係に従って線形化する。
【0077】
ステップ１８１０（１）は、第１の色、例えば赤色に対して、第１の色の階調圧縮後画素強度と、階調圧縮前画素強度の第１の色のヒストグラムとに基づいて方法１０００を実施する。ステップ１８１０（２）は、第２の色、例えば緑色に対して、第２の色の階調圧縮後画素強度と、階調圧縮前画素強度の第２の色のヒストグラムとに基づいて方法１０００を実施する。ステップ１８１０（３）は、第３の色、例えば青色に対して、第３の色の階調圧縮後画素強度と、階調圧縮前画素強度の第３の色のヒストグラムとに基づいて方法１０００を実施する。方法１８００は、ＨＤＲ画像センサが各色成分に対して階調圧縮前ヒストグラム８６４を提供することに依拠する。
【0078】
図１９は、単一色成分の階調圧縮前画素強度に一部基づいて階調圧縮後ＨＤＲカラー画像を線形化する１つの適応的方法１９００を示す。方法１９００は、方法１０００の一実施形態である。方法１９００は、ステップ１７１０、１９２０、１９３０および１６５０を含む。方法１９００は、ステップ１６２０がステップ１９２０に差し替えられ、ステップ１７３０がステップ１９３０に差し替えられることを除き、方法１７００と同様である。ステップ１９２０は、単一色成分、例えば緑色に固有である階調圧縮前ヒストグラムに基づくことを除き、ステップ１６２０と同様である。ステップ１９３０は、ステップ１７１０および１９２０において生成されたＣＤＦを入力とし、単一色を表す階調圧縮後画素強度および階調圧縮前画素強度を用いて方法１０００のステップ１０３０を実施する。
【0079】
図２０および図２１は、階調圧縮後画素強度と階調圧縮前画素強度との直接マッチングされた部分的対応関係を導出し、次いで、直接マッチングされた対応関係を補外することにより、階調圧縮後画素強度と階調圧縮前画素強度との対応関係を決定する１つの適応的方法２０００を示す。方法２０００は、方法１０００のステップ１０３０の一実施形態であり、線形化命令８３６に符号化され得る。図２０は、方法２０００のフローチャートであり、図２１は、方法２０００の或る特定の要素を示す例示的な図である。図２０および図２１は、以下の説明において合わせて見るのが最適である。
【0080】
方法２０００は、例えば、ＨＤＲ画像センサが階調圧縮前画素強度の部分ヒストグラムのみを提供する状況において、および／または相対的に高い画素強度が飽和により影響を受け、したがって対応関係導出に適していない状況において、有利に採用し得る。方法２０００は、ステップ２０１０および２０２０を含む。ステップ２０１０は、階調圧縮後画素強度と階調圧縮前画素強度との直接マッチングされた部分対応関係を決定し、ステップ２０２０は、その直接マッチングされた部分対応関係を補外する。
【0081】
階調圧縮後画素強度の最上位範囲を除外する、階調圧縮後ＨＤＲ画像の階調圧縮後画素強度の部分範囲に対して、ステップ２０１０は、階調圧縮後画素強度と階調圧縮前画素強度との直接マッチングされた対応関係を決定する。図２１に示す１つの例では、ステップ２０１０は、階調圧縮後ＨＤＲ画像２８４のアクティブ画素データ３１０の階調圧縮後画素強度のＣＤＦ（例えば、ＣＤＦ１２１０）と、階調圧縮前ヒストグラム８６４のＣＤＦ（例えば、ＣＤＦ１２２０）との直接マッチングされた対応関係２１１２を決定する。直接マッチングされた対応関係２１１２は、カットオフ画素強度２１２０未満の階調圧縮後画素強度に対してのみ決定される。
【0082】
ステップ２０２０は、最上位範囲を通してステップ２０１０において決定された直接マッチングされた対応関係を補外して、階調圧縮後画素強度と階調圧縮前画素強度との完全対応関係を生成する。図２１に示すステップ２０２０の１つの例では、ステップ２０２０は、カットオフ画素強度２１２０を越えて直接マッチングされた対応関係２１１２を補外して、補外された対応関係２１１４を決定する。直接マッチングされた対応関係２１１２と補外された対応関係２１１４とは、合わせて対応関係２１１０を形成する。対応関係２１１０は、階調圧縮後画素強度の全範囲を包含する。ステップ２０２０は、方法１０００のステップ１０３２および１０３４のうちのいずれか一方を含むことができる。ステップ２０２０は、直接マッチングされた対応関係２１１２、またはカットオフ画素強度２１２０の近くの直接マッチングされた対応関係２１１２の一部に対する多項式フィット、またはそうしたもののスプライン表現を使用して、補外された対応関係２１１４を決定してもよい。
【0083】
１つの実施形態において、ステップ２０１０は、ステップ２０１２および２０１３を含む。ステップ２０１２は、第１の階調圧縮後画像（例えば、階調圧縮後ＨＤＲ画像２８４）および第１の累積分布関数（例えば、ＣＤＦ１２１０）のうちの少なくとも一方を評価して、飽和した階調圧縮後画素強度を除外するカットオフ階調圧縮後画素強度（例えば、カットオフ画素強度２１２０）を決定する。ステップ２０１３は、カットオフ階調圧縮後画素強度（例えば、カットオフ画素強度２１２０）以下の階調圧縮後画素強度の範囲として部分範囲を定義する。
【0084】
別の実施形態において、ステップ２０１０は、ステップ２０１４および２０１８を含む。ステップ２０１４は、フルダイナミックレンジの下位サブセットのみを表す、階調圧縮前画素強度のヒストグラム（例えば、階調圧縮前ヒストグラム８６４）を評価して、カットオフ階調圧縮前画素強度を決定する。ステップ２０１８は、ステップ２０１４において決定されたカットオフ階調圧縮前画素強度以下の階調圧縮前画素強度の数に等しい数の最低階調圧縮後画素強度として、階調圧縮後画素強度の部分範囲を定義する。
【0085】
ステップ２０１４は、ステップ２０１５を含むことができる。ステップ２０１５は、カットオフ階調圧縮前画素強度を、ヒストグラムの最大画素強度（例えば、非ゼロカウントを有する階調圧縮前ヒストグラム８６４の最上位ビン、または、非ゼロカウントを有するヒストグラム１１００または対数ヒストグラム１４００の最上位ビン）に設定する。１つの例では、ヒストグラムは、対数であり、Ｎ個のビンＢｉ、ｉ＝０，１，…，Ｎ－１を有する。各ビンＢｉは、階調圧縮前画素強度２ｉに対応し、非ゼロカウントを有する最高ビンは、
であり、ここで、Ｎｍａｘは、Ｎ－１以下の正の整数である。この例では、カットオフ階調圧縮前画素強度は、
に設定される。
【0086】
図２２は、階調圧縮後画素強度と階調圧縮前画素強度との直接マッチングされた部分対応関係の導出の範囲を決定する１つの方法２２００を示す。方法２２００は、方法２０００のステップ２０１０において実施され得る。方法２２００は、ヒストグラム１４００等の階調圧縮前画素強度の対数ヒストグラムを利用する。方法２２００は、ステップ２２１０、２２２０、２２３０および２２４０を含む。
【0087】
ステップ２２１０は、階調圧縮後ＨＤＲ画像（例えば、階調圧縮後ＨＤＲ画像２８４）において飽和画素の数ＮＳＡＴをカウントする。ステップ２２２０は、ＮＳＡＴ個の最上位の階調圧縮前画素強度を含む対数階調圧縮前ヒストグラム（例えば、ヒストグラム１４００）のビンを特定する。例えば、対数階調圧縮前ヒストグラムの最高ビンから開始して、ステップ２２２０は、以下のようにビンを通して下降してもよい。対数階調圧縮前ヒストグラムの各ビンに対して、カウント変数が、ＮＳＡＴ，ｉ＝ｍｉｎ（ＮＳＡＴ，Ｎｉ）に設定され、ここで、Ｎｉはｉ番目のビンのカウントであり、ＮＳＡＴは、ＮＳＡＴ＝ＮＳＡＴ－Ｎｉにリセットされる。このプロセスは、ＮＳＡＴがゼロ以下になるまで続く。
【0088】
ステップ２２３０は、対数階調圧縮前ヒストグラムのビンを入力とし、その平均ビンを計算する。ステップ２２３０は、ステップ２２２０において特定されたビンの幾何平均を計算し得る。１つの例では、平均ビンは以下のように計算され、
式中、Ｂｉｎｉは、ｉ番目のビンに対するビン番号である。次いで、ステップ２２４０は、階調圧縮後画素強度と階調圧縮前画素強度との直接マッチングされた部分対応関係の導出の範囲を、平均ビン以下の対数階調圧縮前ヒストグラムのビンに制限する。
【数9】
【0089】
図２３は、階調圧縮後画素強度と階調圧縮前画素強度との空間的に変化する対応関係に従って階調圧縮後ＨＤＲ画像を線形化する１つの適応的方法２３００を示す。方法２３００は、方法９００のステップ９２０、９３０および９５０の一実施形態であり、ＨＤＲ画像センサが、階調圧縮前ＨＤＲ画像２８２の複数の非オーバーラップ空間画像ゾーンのそれぞれに対して、別個の階調圧縮前ヒストグラムを出力するように構成されている場合に、採用され得る。方法２３００は、機械可読命令８３０に符号化され得る。
【0090】
方法２３００は、図９に関して上述した第１の階調圧縮画像および第２の階調圧縮画像のそれぞれを、複数の非オーバーラップ空間画像ゾーン２３１０に分離する。図２３は、空間画像ゾーン２３１０の６×６グリッドを示す。空間画像ゾーン２３１０の形状および／または数は、図２３に示すものと異なる場合があることが理解される。次いで、方法２３００は、各空間画像ゾーン２３１０に対して方法９００のステップ９２０、９３０および９５０を繰り返して、各空間画像ゾーン２３１０に対して階調圧縮後画素強度と階調圧縮前画素強度との別個の対応関係を決定する。方法２３００は、ステップ９３０および９５０を実施しているとき方法１０００を実施し得る。
【0091】
或る特定の実施形態において、方法２３００は、隣接する空間画像ゾーン２３１０に対して決定された対応関係の間の移行を平滑化するように構成されている。１つのこうした実施形態において、方法２３００は、ステップ９５０を実施しているとき、少なくとも、隣接する空間画像ゾーン２３１０の間の境界の閾値距離内の各画素に対して、画素の位置に基づいて隣接する空間画像ゾーンに対して決定された対応関係を空間的に補間することを含む。例えば、空間画像ゾーン２３１０（１，４）からの距離２３３０未満である空間画像ゾーン２３１０（１，３）の領域内の画素に対して、その画素に適用可能な対応関係は、その画素の正確な位置に従って空間画像ゾーン２３１０（１，３）および２３１０（１，４）に対して決定された２つの対応関係の間の空間補間によって見つけられ得る。
【0092】
隣接する空間画像ゾーン２３１０に対して決定された対応関係の間の移行を平滑化するように構成された別の実施形態において、全ての画素に対して空間補間が適用される。この実施形態において、各空間画像ゾーン２３１０に対して決定された対応関係は、その中心位置２３１６に割り当てられる。階調圧縮後ＨＤＲ画像の各画素に対して、方法２３００がステップ９５０を実施するとき、方法２３００は、その画素に最も近いそれぞれの中心位置を有する４つの空間画像ゾーンに対して決定された対応関係を空間的に補間する。例えば、画素２３２０の場合、方法２３００は、空間画像ゾーン２３１０（５，５）、２３１０（５，６）、２３１０（６，５）および２３１０（６，６）に対して決定された４つの対応関係を、中心位置２３１６から、画素２３２０の位置に空間的に補間する。
【0093】
特徴の組合せ
上述した特徴とともに後に請求する特徴は、本明細書の範囲から逸脱することなく様々な方法で組み合わせることができる。例えば、本明細書に記載した適応的画像データ線形化を含む１つのシステムまたはその方法の態様は、本明細書に記載した適応的画像データ線形化を含む別のシステムまたは別の方法の特徴を組み込むかまたは入れ替えることができることが理解されよう。以下の例は、上述した実施形態のいくつかのあり得る非限定的な組合せを示す。本発明の趣旨および範囲から逸脱することなく、本明細書における方法、製品およびシステムに対して多くの他の変形および変更を行うことができることは、明らかなはずである。
上述した特徴とともに後に請求する特徴は、本明細書の範囲から逸脱することなく様々な方法で組み合わせることができる。例えば、本明細書に記載した適応的画像データ線形化を含む１つのシステムまたはその方法の態様は、本明細書に記載した適応的画像データ線形化を含む別のシステムまたは別の方法の特徴を組み込むかまたは入れ替えることができることが理解されよう。以下の例は、上述した実施形態のいくつかのあり得る非限定的な組合せを示す。本発明の趣旨および範囲から逸脱することなく、本明細書における方法、製品およびシステムに対して多くの他の変形および変更を行うことができることは、明らかなはずである。
【0094】
（Ａ１）１つの適応的画像データ線形化を含む高ダイナミックレンジ（ＨＤＲ）カメラモジュールは、シーンの階調圧縮後ＨＤＲ画像を生成し、アクティブ画素データおよびメタデータを含むそれぞれのフレームとして階調圧縮後ＨＤＲ画像を出力するように構成されたＨＤＲ画像センサを備える。ＨＤＲカメラモジュールはまた、ＨＤＲ画像センサの外部のプロセッサと、ＨＤＲ画像センサの外部のメモリとを備える。メモリは、プロセッサによって実行されると、（ａ）ＨＤＲ画像センサによって生成された第１の階調圧縮後ＨＤＲ画像のフレームから、（ｉ）フレームのアクティブ画素データからの階調圧縮後画素強度と、（ｉｉ）フレームのメタデータからの階調圧縮前画素強度のヒストグラムとを抽出するステップと、（ｂ）階調圧縮後画素強度およびヒストグラムから、階調圧縮後画素強度と階調圧縮前画素強度との対応関係を導出するステップと、（ｃ）対応関係に従って、第２の階調圧縮後ＨＤＲ画像のアクティブ画素データの少なくとも一部を線形化して、線形化ＨＤＲ画像を生成するステップであって、第２の階調圧縮後ＨＤＲ画像は、第１の階調圧縮後ＨＤＲ画像および後続する階調圧縮後ＨＤＲ画像からなる群から選択される、ステップとを実施するようにプロセッサを制御する機械可読命令を記憶する。
【0095】
（Ａ２）（Ａ１）として示すＨＤＲカメラモジュールにおいて、プロセッサおよびメモリは、デジタル信号プロセッサに実装され得、ＨＤＲカメラモジュールは、デジタル信号プロセッサによって線形化ＨＤＲ画像を更に処理するためにデジタル信号プロセッサに通信可能に接続された画像信号プロセッサを更に備えることができる。
【0096】
（Ａ３）（Ａ２）として示すＨＤＲカメラモジュールにおいて、画像信号プロセッサは、線形化ＨＤＲ画像に、ホワイトバランス処理、色補正、ガンマ補正、デモザイク処理、ノイズ除去および画像鮮明化からなる群から選択された１つ以上の手順を適用するように構成され得る。
【0097】
（Ａ４）（Ａ１）から（Ａ３）として示すＨＤＲカメラモジュールのうちのいずれかにおいて、第１の階調圧縮後ＨＤＲ画像および第２の階調圧縮後ＨＤＲ画像は、ＨＤＲ画像センサによって出力されるＨＤＲビデオストリームの２つの連続的な画像であり得る。
【0098】
（Ａ５）（Ａ４）として示すＨＤＲカメラモジュールにおいて、プロセッサおよびメモリは、バッファを含むデジタル信号プロセッサに実装され得、機械可読命令は、バッファに連続的に記憶された第２の階調圧縮後画像のアクティブ画素データのサブセットに対して線形化するステップを実施するようにプロセッサを制御するように更に構成され得る。
【0099】
（Ａ６）（Ａ１）から（Ａ３）として示すＨＤＲカメラモジュールのうちのいずれかにおいて、第１の階調圧縮後ＨＤＲ画像および第２の階調圧縮後ＨＤＲ画像は、同じ静止画像であり得、機械可読命令は、少なくとも線形化するステップの完了まで、静止画像のアクティブ画素データを画像記憶装置に記憶するようにプロセッサを制御するように更に構成され得る。
【0100】
（Ａ７）（Ａ１）から（Ａ６）として示すＨＤＲカメラモジュールのうちのいずれかにおいて、ＨＤＲ画像センサは、出力ビット深度に制限される出力インターフェースを含むことができ、ＨＤＲ画像センサは、（ｉ）出力ビット深度を超える第１のビット深度で線形ＨＤＲ画像を生成し、（ｉｉ）線形ＨＤＲ画像を階調圧縮して、出力ビット深度で階調圧縮後ＨＤＲ画像を生成するように構成され得、機械可読命令は、線形化するステップにおいて、アクティブ画素データを出力ビット深度から第１のビット深度にマッピングするようにプロセッサを制御するように構成され得る。
【0101】
（Ａ８）（Ａ１）から（Ａ７）として示すＨＤＲカメラモジュールのうちのいずれかにおいて、機械可読命令は、導出するステップが、階調圧縮後画素強度の第１の累積分布関数を生成することと、ヒストグラムの第２の累積分布関数を生成することと、階調圧縮後画素強度および階調圧縮前画素強度の複数の対応する対のそれぞれに対して、階調圧縮後画素強度で評価された第１の累積分布関数が、階調圧縮前画素強度で評価された第２の累積分布関数に等しいような、対応関係を決定することとを含むように構成され得る。
【0102】
（Ａ９）（Ａ８）として示すＨＤＲカメラモジュールにおいて、機械可読命令は、決定するステップが、対応する対を列挙するルックアップテーブルをメモリに記憶することを含み、線形化するステップが、第２の階調圧縮後ＨＤＲ画像のアクティブ画素データの階調圧縮後画素強度が、ルックアップテーブルに列挙された階調圧縮後画素強度に等しくないとき、ルックアップテーブルにおけるエントリー間を補間することを含むように構成され得る。
【0103】
（Ａ１０）（Ａ８）として示すＨＤＲカメラモジュールにおいて、機械可読命令は、決定するステップが、階調圧縮後画素強度の関数として階調圧縮前画素強度を指定する多項式関数として対応関係を決定することと、多項式関数のパラメータをメモリに記憶することとを含むように構成され得る。
【0104】
（Ａ１１）（Ａ８）として示すＨＤＲカメラモジュールにおいて、機械可読命令は、決定するステップが、階調圧縮後画素強度の関数として階調圧縮前画素強度を指定するスプライン表現として対応関係を決定することと、スプライン表現のパラメータをメモリに記憶することとを含むように構成され得る。
【0105】
（Ａ１２）（Ａ８）から（Ａ１１）として示すＨＤＲカメラモジュールのうちのいずれかにおいて、ＨＤＲ画像センサはカラー画像センサであり得、ヒストグラムは輝度ヒストグラムであり得、機械可読命令は、（Ｉ）階調圧縮後画素強度を抽出するステップが、（ａ）階調圧縮後色固有画素強度の複数のセットを抽出することであって、セットのそれぞれがそれぞれの色に固有であることと、（ｂ）セットを結合して、階調圧縮後画素強度のそれぞれがそれぞれの画素輝度を表すように階調圧縮後画素強度を形成することとを含み、（ＩＩ）線形化するステップが、対応関係に従って第２の階調圧縮後ＨＤＲ画像のアクティブ画素データの各色を別個に線形化することを含むように構成されてもよい。
【0106】
（Ａ１３）（Ａ８）から（Ａ１２）として示すＨＤＲカメラモジュールのうちのいずれかにおいて、機械可読命令は、対応関係を決定するステップが、（ａ）階調圧縮後画素強度の最上位範囲を除外する階調圧縮後画素強度の部分範囲に対して、部分範囲に関連する階調圧縮後画素強度および階調圧縮前画素強度の対応する対に対して、階調圧縮後画素強度で評価された第１の累積分布関数が階調圧縮前画素強度で評価された第２の累積分布関数と等しいような、階調圧縮後画素強度と階調圧縮前画素強度との直接マッチングされた対応関係を決定することと、（ｂ）最上位範囲を通して、直接マッピングされた対応関係を補外して、対応関係を生成することとを含むように構成され得る。
【0107】
（Ａ１４）（Ａ１３）として示すＨＤＲカメラモジュールにおいて、機械可読命令は、対応関係を決定するステップが、（ａ）第１の階調圧縮後画像および第１の累積分布関数のうちの少なくとも一方を評価して、飽和した階調圧縮後画素強度を除外するカットオフ階調圧縮後画素強度を決定することと、（ｂ）カットオフ階調圧縮後画素強度以下の階調圧縮後画素強度の範囲として部分範囲を定義することとを更に含むように構成され得る。
【0108】
（Ａ１５）（Ａ１３）として示すＨＤＲカメラモジュールにおいて、ヒストグラムは、階調圧縮の前に第１の階調圧縮後ＨＤＲ画像のフルダイナミックレンジの下位サブセットを形成する部分ダイナミックレンジのみを表す部分ヒストグラムであり得、機械可読命令は、対応関係を決定するステップが、ヒストグラムを評価して、カットオフ階調圧縮前画素強度を決定することと、カットオフ階調圧縮前画素強度以下の階調圧縮前画素強度の数に等しい数の最低階調圧縮後画素強度として部分範囲を定義することとを更に含むように構成され得る。
【0109】
（Ａ１６）（Ａ１）から（Ａ１５）として示すＨＤＲカメラモジュールのうちのいずれかにおいて、機械可読命令は、プロセッサによって実行されると、（ａ）第１の階調圧縮後ＨＤＲ画像および第２の階調圧縮後ＨＤＲ画像のそれぞれを複数の非オーバーラップ空間画像ゾーンに分離し、（ｂ）複数の空間画像ゾーンのそれぞれに対して、階調圧縮後画素強度を抽出するステップと、第１の累積分布関数を生成するステップと、ヒストグラムを抽出するステップと、第２の累積分布関数を生成するステップと、対応関係を決定するステップと、線形化するステップとを実施することを繰り返すようにプロセッサを制御するように構成され得る。
【0110】
（Ａ１７）（Ａ１６）として示すＨＤＲカメラモジュールにおいて、機械可読命令は、線形化するステップが、少なくとも、空間画像ゾーンの異なるものの間の境界の閾値距離内の各画素に対して、画素の位置に基づき空間画像ゾーンの異なるものに対して決定された対応関係を空間的に補間することを含むように構成され得る。
【0111】
（Ａ１８）（Ａ１６）として示すＨＤＲカメラモジュールにおいて、空間画像ゾーンはそれぞれの中心位置を有することができ、機械可読命令は、線形化するステップが、各画素に対しかつ画素の位置に基づき、画素に最も近いそれぞれの中心位置を有する４つの空間画像ゾーンに対して決定された対応関係を空間的に補間することを含むように構成され得る。
【0112】
（Ｂ１）階調圧縮後ＨＤＲ画像を線形化する１つの適応的方法は、（ｉ）ＨＤＲ画像センサから、第１の階調圧縮後ＨＤＲ画像のフレームを受信することと、（ｉｉ）フレームから、（ａ）フレームのアクティブ画素データからの階調圧縮後画素強度と、（ｂ）フレームのメタデータからの階調圧縮前画素強度のヒストグラムとを抽出することと、（ｉｉｉ）階調圧縮後画素強度およびヒストグラムから、階調圧縮後画素強度と階調圧縮前画素強度との対応関係を導出することと、（ｉｖ）ＨＤＲ画像センサから、第２の階調圧縮後ＨＤＲ画像のフレームを受信することであって、第２の階調圧縮後ＨＤＲ画像は、第１の階調圧縮後ＨＤＲ画像と後続する階調圧縮後ＨＤＲ画像とからなる群から選択されることと、（ｖ）対応関係に従って、第２の階調圧縮後ＨＤＲ画像のフレームのアクティブ画素データの少なくとも一部を線形化して、線形化ＨＤＲ画像を生成することとを含む。
【0113】
（Ｂ２）（Ｂ１）として示す方法において、第１の階調圧縮後ＨＤＲ画像および第２の階調圧縮後ＨＤＲ画像は、ＨＤＲビデオストリームの連続的な画像であり得る。
【0114】
（Ｂ３）（Ｂ２）として示す方法は、線形化するステップの前に、上記対応関係と、ＨＤＲビデオストリームの先行して取り込まれた画像の対に対して導出された先行する対応関係との偏差を制限することを更に含むことができる。
【0115】
（Ｂ３）（Ｂ１）として示す方法において、第１の階調圧縮後ＨＤＲ画像および第２の階調圧縮後ＨＤＲ画像は、同じ静止画像であり得る。
【0116】
（Ｂ４）（Ｂ１）から（Ｂ３）として示す方法のうちのいずれかにおいて、階調圧縮後画素強度は、階調圧縮前ビット深度未満である圧縮後ビット深度に制限され得、線形化するステップは、アクティブ画素データを階調圧縮前ビット深度にマッピングすることを含む。
【0117】
（Ｂ５）（Ｂ１）から（Ｂ４）として示す方法のうちのいずれかにおいて、導出するステップは、階調圧縮後画素強度の第１の累積分布関数を生成することと、ヒストグラムの第２の累積分布関数を生成することと、階調圧縮後画素強度および階調圧縮前画素強度の複数の対応する対のそれぞれに対して、階調圧縮後画素強度で評価された第１の累積分布関数が、階調圧縮前画素強度で評価された第２の累積分布関数に等しいような、対応関係を決定することとを含むことができる。
【0118】
（Ｂ６）（Ｂ５）として示す方法は、（ａ）決定するステップにおいて、対応する対を列挙するルックアップテーブルとして対応関係を生成することと、（ｂ）線形化するステップにおいて、第２の階調圧縮後ＨＤＲ画像のアクティブ画素データの階調圧縮後画素強度がルックアップテーブルに列挙された階調圧縮後画素強度に等しくないとき、ルックアップテーブルにおけるエントリー間を補間することとを含むことができる。
【0119】
（Ｂ７）（Ｂ５）として示す方法は、決定するステップにおいて、階調圧縮後画素強度の関数として階調圧縮前画素強度を指定する多項式関数として、対応関係を生成することを含むことができる。
【0120】
（Ｂ８）（Ｂ５）として示す方法は、決定するステップにおいて、階調圧縮後画素強度の関数として階調圧縮前画素強度を指定するスプライン表現として、対応関係を生成することを含むことができる。
【0121】
（Ｂ９）（Ｂ５）から（Ｂ８）として示す方法のうちのいずれかにおいて、第１の階調圧縮後ＨＤＲ画像および第２の階調圧縮後ＨＤＲ画像は、カラー画像であり得、ヒストグラムは、輝度ヒストグラムであり得る。
【0122】
（Ｂ１０）（Ｂ９）として示す方法は、（ａ）階調圧縮後画素強度を抽出するステップにおいて、階調圧縮後色固有画素輝度の複数のセットを抽出することであって、セットのそれぞれはそれぞれの色に固有であることと、（ｂ）上記セットを結合して、階調圧縮後画素強度のそれぞれがそれぞれの画素輝度を表すように階調圧縮後画素強度を形成することと、（ｃ）線形化するステップにおいて、上記対応関係に従って第２の階調圧縮後ＨＤＲ画像のアクティブ画素データの各色を別個に線形化することとを更に含むことができる。
【0123】
（Ｂ１１）（Ｂ９）として示す方法は、（ａ）階調圧縮後画素強度を抽出するステップにおいて、第１の階調圧縮後ＨＤＲ画像を構成する複数の色のうちの１つの色である単一色に固有である、階調圧縮後色固有画素強度を抽出することと、（ｂ）生成するステップにおいて、単一色に関するものとして第１の累積分布関数を生成することと、（ｃ）線形化するステップにおいて、上記対応関係に従って第２の階調圧縮後ＨＤＲ画像のアクティブ画素データの各色を別個に線形化することとを更に含むことができる。
【0124】
（Ｂ１２）（Ｂ５）から（Ｂ８）として示す方法のうちのいずれかにおいて、第１の階調圧縮後ＨＤＲ画像および第２の階調圧縮後ＨＤＲ画像は、カラー画像であり得、本方法は、第１の階調圧縮後ＨＤＲ画像および第２の階調圧縮後ＨＤＲ画像の各色に対して別個に、階調圧縮後画素強度を抽出するステップと、第１の累積分布関数を生成するステップと、ヒストグラムを抽出するステップと、第２の累積分布関数を生成するステップと、対応関係を決定するステップと、第２の階調圧縮後ＨＤＲ画像のアクティブ画素データの少なくとも一部を線形化するステップとを実施することを含むことができる。
【0125】
（Ｂ１３）（Ｂ５）から（Ｂ８）として示す方法のうちのいずれかにおいて、第１の階調圧縮後ＨＤＲ画像および第２の階調圧縮後ＨＤＲ画像は、カラー画像であり得、本方法は、（ａ）階調圧縮後画素強度を抽出するステップにおいて、第１の階調圧縮後ＨＤＲ画像を構成する複数の色のうちの１つの色である単一色に固有の階調圧縮後色固有画素強度を抽出することと、（ｂ）生成するステップにおいて、単一色に関するものとして第１の累積分布関数を生成することと、（ｃ）ヒストグラムを抽出するステップにおいて、単一色に固有の色固有ヒストグラムを抽出することと、（ｄ）生成するステップにおいて、色固有ヒストグラムに関するものとして第２の累積分布関数を生成することと、（ｅ）線形化するステップにおいて、上記対応関係に従って第２の階調圧縮後ＨＤＲ画像のアクティブ画素データの各色を別個に線形化することとを更に含むことができる。
【0126】
（Ｂ１４）（Ｂ５）から（Ｂ１３）として示す方法のうちのいずれかにおいて、決定するステップは、（ａ）階調圧縮後画素強度の最上位範囲を除外する、階調圧縮後画素強度の部分範囲に対して、部分範囲に関連する階調圧縮後画素強度および階調圧縮前画素強度の対応する対に対して、階調圧縮後画素強度で評価された第１の累積分布関数が、階調圧縮前画素強度で評価された第２の累積分布関数に等しいような、階調圧縮後画素強度と階調圧縮前画素強度との直接マッチングされた対応関係を決定することと、（ｂ）最上位範囲を通して、直接マッチングされた対応関係を補外して、対応関係を生成することとを含むことができる。
【0127】
（Ｂ１５）（Ｂ１４）として示す方法において、対応関係を決定するステップは、第１の階調圧縮後画像および第１の累積分布関数のうちの少なくとも一方を評価して、飽和した階調圧縮後画素強度を除外するカットオフ階調圧縮後画素強度を決定することと、カットオフ階調圧縮後画素強度以下の階調圧縮後画素強度の範囲として部分範囲を定義することとを更に含むことができる。
【0128】
（Ｂ１６）（Ｂ１４）として示す方法において、ヒストグラムは、階調圧縮の前に第１の階調圧縮後ＨＤＲ画像のフルダイナミックレンジの下位サブセットを形成する部分ダイナミックレンジのみを表す部分ヒストグラムであり得、対応関係を決定するステップは、ヒストグラムを評価してカットオフ階調圧縮前画素強度を決定することと、カットオフ階調圧縮前画素強度以下の階調圧縮前画素強度の数に等しい数の最低階調圧縮後画素強度として部分範囲を定義することとを更に含むことができる。
【0129】
（Ｂ１７）（Ｂ１６）として示す方法において、カットオフ階調圧縮前画素強度は、ヒストグラムの最大画素強度であり得る。
【0130】
（Ｂ１８）（Ｂ１）から（Ｂ１７）として示す方法のうちのいずれかにおいて、ヒストグラムのビンは、対数スケールであり得る。
【0131】
（Ｂ１９）（Ｂ１）から（Ｂ１８）として示す方法のうちのいずれかは、（ａ）第１の階調圧縮後ＨＤＲ画像および第２の階調圧縮後ＨＤＲ画像のそれぞれを複数の非オーバーラップ空間画像ゾーンに分離することと、（ｂ）複数の空間画像ゾーンのそれぞれに対して、階調圧縮後画素強度を抽出するステップと、第１の累積分布関数を生成するステップと、ヒストグラムを抽出するステップと、第２の累積分布関数を生成するステップと、対応関係を決定するステップと、線形化するステップとを実施することを繰り返すこととを更に含むことができる。
【0132】
（Ｂ２０）（Ｂ１９）として示す方法において、線形化するステップは、少なくとも、空間画像ゾーンの異なるものの間の境界の閾値距離内の各画素に対して、画素の位置に基づき空間画像ゾーンの異なるものに対して決定された対応関係を空間的に補間することを含むことができる。
【0133】
（Ｂ２１）（Ｂ１９）として示す方法において、空間画像ゾーンのそれぞれは、それぞれの中心位置を有し得、線形化するステップは、各画素に対しかつその画素の位置に基づき、その画素に最も近いそれぞれの中心位置を有する４つの空間画像ゾーンに対して決定された対応関係を空間的に補間することを含むことができる。
【0134】
本明細書の範囲から逸脱することなく、上記システムおよび方法において変更を行うことができる。したがって、上記説明に含まれるとともに添付図面に示される事項は、限定する意味ではなく例示的であるものとして解釈されるべきであることが留意されるべきである。以下の特許請求の範囲は、本明細書に記載した全体的な特徴および具体的な特徴とともに、言い回しの問題としてそれらの間にあると言える、本システムおよび方法の範囲の全ての記述を包含するように意図されている。
【0135】
本発明の様々な態様は、以下の列挙する例示的な実施形態（ＥＥＥ）から理解することができる。
【0136】
ＥＥＥ１．適応的画像データ線形化を含む高ダイナミックレンジ（ＨＤＲ）カメラモジュールであって、
シーンの階調圧縮後ＨＤＲ画像を生成し、アクティブ画素データおよびメタデータを含むそれぞれのフレームとして階調圧縮後ＨＤＲ画像を出力するように構成されたＨＤＲ画像センサと、
ＨＤＲ画像センサの外部のプロセッサと、
ＨＤＲ画像センサの外部であり、プロセッサによって実行されると、
（ａ）ＨＤＲ画像センサによって生成された第１の階調圧縮後ＨＤＲ画像のフレームから、（ｉ）フレームのアクティブ画素データからの階調圧縮後画素強度と、（ｉｉ）フレームのメタデータからの階調圧縮前画素強度のヒストグラムとを抽出するステップと、
（ｂ）階調圧縮後画素強度およびヒストグラムから、階調圧縮後画素強度と階調圧縮前画素強度との対応関係を導出するステップと、
（ｃ）対応関係に従って、第２の階調圧縮後ＨＤＲ画像のアクティブ画素データの少なくとも一部を線形化して、線形化ＨＤＲ画像を生成するステップであって、第２の階調圧縮後ＨＤＲ画像は、第１の階調圧縮後ＨＤＲ画像および後続する階調圧縮後ＨＤＲ画像からなる群から選択される、ステップと、
を実施するようにプロセッサを制御する機械可読命令を記憶するメモリと、
を備える、ＨＤＲカメラモジュール。
シーンの階調圧縮後ＨＤＲ画像を生成し、アクティブ画素データおよびメタデータを含むそれぞれのフレームとして階調圧縮後ＨＤＲ画像を出力するように構成されたＨＤＲ画像センサと、
ＨＤＲ画像センサの外部のプロセッサと、
ＨＤＲ画像センサの外部であり、プロセッサによって実行されると、
（ａ）ＨＤＲ画像センサによって生成された第１の階調圧縮後ＨＤＲ画像のフレームから、（ｉ）フレームのアクティブ画素データからの階調圧縮後画素強度と、（ｉｉ）フレームのメタデータからの階調圧縮前画素強度のヒストグラムとを抽出するステップと、
（ｂ）階調圧縮後画素強度およびヒストグラムから、階調圧縮後画素強度と階調圧縮前画素強度との対応関係を導出するステップと、
（ｃ）対応関係に従って、第２の階調圧縮後ＨＤＲ画像のアクティブ画素データの少なくとも一部を線形化して、線形化ＨＤＲ画像を生成するステップであって、第２の階調圧縮後ＨＤＲ画像は、第１の階調圧縮後ＨＤＲ画像および後続する階調圧縮後ＨＤＲ画像からなる群から選択される、ステップと、
を実施するようにプロセッサを制御する機械可読命令を記憶するメモリと、
を備える、ＨＤＲカメラモジュール。
【0137】
ＥＥＥ２．プロセッサおよびメモリは、デジタル信号プロセッサに実装され、ＨＤＲカメラモジュールは、デジタル信号プロセッサによって線形化ＨＤＲ画像を更に処理するためにデジタル信号プロセッサに通信可能に接続された画像信号プロセッサを更に備える、ＥＥＥ１のＨＤＲカメラモジュール。
【0138】
ＥＥＥ３．画像信号プロセッサは、線形化ＨＤＲ画像に、ホワイトバランス処理、色補正、ガンマ補正、デモザイク処理、ノイズ除去および画像鮮明化からなる群から選択された１つ以上の手順を適用するように構成されている、ＥＥＥ２のＨＤＲカメラモジュール。
【0139】
ＥＥＥ４．第１の階調圧縮後ＨＤＲ画像および第２の階調圧縮後ＨＤＲ画像は、ＨＤＲ画像センサによって出力されるＨＤＲビデオストリームの２つの連続的な画像である、ＥＥＥ１のＨＤＲカメラモジュール。
【0140】
ＥＥＥ５．プロセッサおよびメモリは、デジタル信号プロセッサに実装され、デジタル信号プロセッサはバッファを含み、機械可読命令は、バッファに連続的に記憶された第２の階調圧縮後画像のアクティブ画素データのサブセットに対して線形化するステップを実施するようにプロセッサを制御するように更に構成されている、ＥＥＥ４のＨＤＲカメラモジュール。
【0141】
ＥＥＥ６．第１の階調圧縮後ＨＤＲ画像および第２の階調圧縮後ＨＤＲ画像は、同じ静止画像であり、機械可読命令は、少なくとも線形化するステップの完了まで、静止画像のアクティブ画素データを画像記憶装置に記憶するようにプロセッサを制御するように更に構成されている、ＥＥＥ１からＥＥＥ５のいずれかのＨＤＲカメラモジュール。
【0142】
ＥＥＥ７．ＨＤＲ画像センサは、出力ビット深度に制限される出力インターフェースを含み、ＨＤＲ画像センサは、（ｉ）出力ビット深度を超える第１のビット深度で線形ＨＤＲ画像を生成し、（ｉｉ）線形ＨＤＲ画像を階調圧縮して、出力ビット深度で階調圧縮後ＨＤＲ画像を生成するように構成され、機械可読命令は、線形化するステップにおいて、アクティブ画素データを出力ビット深度から第１のビット深度にマッピングするようにプロセッサを制御するように構成されている、ＥＥＥ１からＥＥＥ６のいずれかのＨＤＲカメラモジュール。
【0143】
ＥＥＥ８．機械可読命令は、導出するステップが、
階調圧縮後画素強度の第１の累積分布関数を生成することと、
ヒストグラムの第２の累積分布関数を生成することと、
階調圧縮後画素強度および階調圧縮前画素強度の複数の対応する対のそれぞれに対して、階調圧縮後画素強度で評価された第１の累積分布関数が、階調圧縮前画素強度で評価された第２の累積分布関数に等しいような、対応関係を決定することと、
を含むように構成されている、ＥＥＥ１からＥＥＥ７のいずれかのＨＤＲカメラモジュール。
階調圧縮後画素強度の第１の累積分布関数を生成することと、
ヒストグラムの第２の累積分布関数を生成することと、
階調圧縮後画素強度および階調圧縮前画素強度の複数の対応する対のそれぞれに対して、階調圧縮後画素強度で評価された第１の累積分布関数が、階調圧縮前画素強度で評価された第２の累積分布関数に等しいような、対応関係を決定することと、
を含むように構成されている、ＥＥＥ１からＥＥＥ７のいずれかのＨＤＲカメラモジュール。
【0144】
ＥＥＥ９．機械可読命令は、
決定するステップが、対応する対を列挙するルックアップテーブルをメモリに記憶することを含み、
線形化するステップが、第２の階調圧縮後ＨＤＲ画像のアクティブ画素データの階調圧縮後画素強度が、ルックアップテーブルに列挙された階調圧縮後画素強度に等しくないとき、ルックアップテーブルにおけるエントリー間を補間することを含む
ように構成されている、ＥＥＥ８のＨＤＲカメラモジュール。
決定するステップが、対応する対を列挙するルックアップテーブルをメモリに記憶することを含み、
線形化するステップが、第２の階調圧縮後ＨＤＲ画像のアクティブ画素データの階調圧縮後画素強度が、ルックアップテーブルに列挙された階調圧縮後画素強度に等しくないとき、ルックアップテーブルにおけるエントリー間を補間することを含む
ように構成されている、ＥＥＥ８のＨＤＲカメラモジュール。
【0145】
ＥＥＥ１０．機械可読命令は、決定するステップが、
階調圧縮後画素強度の関数として階調圧縮前画素強度を指定する多項式関数として対応関係を決定することと、
多項式関数のパラメータをメモリに記憶することと、
を含むように構成されている、ＥＥＥ８またはＥＥＥ９のＨＤＲカメラモジュール。
階調圧縮後画素強度の関数として階調圧縮前画素強度を指定する多項式関数として対応関係を決定することと、
多項式関数のパラメータをメモリに記憶することと、
を含むように構成されている、ＥＥＥ８またはＥＥＥ９のＨＤＲカメラモジュール。
【0146】
ＥＥＥ１１．機械可読命令は、決定するステップが、
階調圧縮後画素強度の関数として階調圧縮前画素強度を指定するスプライン表現として対応関係を決定することと、
スプライン表現のパラメータをメモリに記憶することと、
を含むように構成されている、ＥＥＥ８またはＥＥＥ９のＨＤＲカメラモジュール。
階調圧縮後画素強度の関数として階調圧縮前画素強度を指定するスプライン表現として対応関係を決定することと、
スプライン表現のパラメータをメモリに記憶することと、
を含むように構成されている、ＥＥＥ８またはＥＥＥ９のＨＤＲカメラモジュール。
【0147】
ＥＥＥ１２．ＨＤＲ画像センサはカラー画像センサであり、ヒストグラムは輝度ヒストグラムであり、機械可読命令は、
階調圧縮後画素強度を抽出するステップが、
（ａ）階調圧縮後色固有画素強度の複数のセットを抽出することであって、セットのそれぞれがそれぞれの色に固有であることと、
（ｂ）セットを結合して、階調圧縮後画素強度のそれぞれがそれぞれの画素輝度を表すように階調圧縮後画素強度を形成することと、
を含み、
線形化するステップが、対応関係に従って第２の階調圧縮後ＨＤＲ画像のアクティブ画素データの各色を別個に線形化することを含む
ように構成されている、ＥＥＥ１からＥＥＥ１１のいずれかのＨＤＲカメラモジュール。
階調圧縮後画素強度を抽出するステップが、
（ａ）階調圧縮後色固有画素強度の複数のセットを抽出することであって、セットのそれぞれがそれぞれの色に固有であることと、
（ｂ）セットを結合して、階調圧縮後画素強度のそれぞれがそれぞれの画素輝度を表すように階調圧縮後画素強度を形成することと、
を含み、
線形化するステップが、対応関係に従って第２の階調圧縮後ＨＤＲ画像のアクティブ画素データの各色を別個に線形化することを含む
ように構成されている、ＥＥＥ１からＥＥＥ１１のいずれかのＨＤＲカメラモジュール。
【0148】
ＥＥＥ１３．機械可読命令は、対応関係を決定するステップが、
階調圧縮後画素強度の最上位範囲を除外する階調圧縮後画素強度の部分範囲に対して、部分範囲に関連する階調圧縮後画素強度および階調圧縮前画素強度の対応する対に対して、階調圧縮後画素強度で評価された第１の累積分布関数が階調圧縮前画素強度で評価された第２の累積分布関数と等しいような、階調圧縮後画素強度と階調圧縮前画素強度との直接マッチングされた対応関係を決定することと、
最上位範囲を通して、直接マッチングされた対応関係を補外して、対応関係を生成することと、
を含むように構成されている、ＥＥＥ８からＥＥＥ１２のいずれかのＨＤＲカメラモジュール。
階調圧縮後画素強度の最上位範囲を除外する階調圧縮後画素強度の部分範囲に対して、部分範囲に関連する階調圧縮後画素強度および階調圧縮前画素強度の対応する対に対して、階調圧縮後画素強度で評価された第１の累積分布関数が階調圧縮前画素強度で評価された第２の累積分布関数と等しいような、階調圧縮後画素強度と階調圧縮前画素強度との直接マッチングされた対応関係を決定することと、
最上位範囲を通して、直接マッチングされた対応関係を補外して、対応関係を生成することと、
を含むように構成されている、ＥＥＥ８からＥＥＥ１２のいずれかのＨＤＲカメラモジュール。
【0149】
ＥＥＥ１４．機械可読命令は、対応関係を決定するステップが、
第１の階調圧縮後画像および第１の累積分布関数のうちの少なくとも一方を評価して、飽和した階調圧縮後画素強度を除外するカットオフ階調圧縮後画素強度を決定することと、
カットオフ階調圧縮後画素強度以下の階調圧縮後画素強度の範囲として部分範囲を決定することと、
を更に含むように構成されている、ＥＥＥ１３のＨＤＲカメラモジュール。
第１の階調圧縮後画像および第１の累積分布関数のうちの少なくとも一方を評価して、飽和した階調圧縮後画素強度を除外するカットオフ階調圧縮後画素強度を決定することと、
カットオフ階調圧縮後画素強度以下の階調圧縮後画素強度の範囲として部分範囲を決定することと、
を更に含むように構成されている、ＥＥＥ１３のＨＤＲカメラモジュール。
【0150】
ＥＥＥ１５．ヒストグラムは、階調圧縮の前に第１の階調圧縮後ＨＤＲ画像のフルダイナミックレンジの下位サブセットを形成する部分ダイナミックレンジのみを表す部分ヒストグラムであり、機械可読命令が、対応関係を決定するステップが、
ヒストグラムを評価して、カットオフ階調圧縮前画素強度を決定することと、
カットオフ階調圧縮前画素強度以下の階調圧縮前画素強度の数に等しい数の最低階調圧縮後画素強度として部分範囲を定義することと、
を更に含むように構成されている、ＥＥＥ１３のＨＤＲカメラモジュール。
ヒストグラムを評価して、カットオフ階調圧縮前画素強度を決定することと、
カットオフ階調圧縮前画素強度以下の階調圧縮前画素強度の数に等しい数の最低階調圧縮後画素強度として部分範囲を定義することと、
を更に含むように構成されている、ＥＥＥ１３のＨＤＲカメラモジュール。
【0151】
ＥＥＥ１６．機械可読命令は、プロセッサによって実行されると、
第１の階調圧縮後ＨＤＲ画像および第２の階調圧縮後ＨＤＲ画像のそれぞれを複数の非オーバーラップ空間画像ゾーンに分離し、
複数の空間画像ゾーンのそれぞれに対して、階調圧縮後画素強度を抽出するステップと、第１の累積分布関数を生成するステップと、ヒストグラムを抽出するステップと、第２の累積分布関数を生成するステップと、対応関係を決定するステップと、線形化するステップとを実施することを繰り返す
ようにプロセッサを制御するように構成されている、ＥＥＥ１からＥＥＥ１５のいずれかのＨＤＲカメラモジュール。
第１の階調圧縮後ＨＤＲ画像および第２の階調圧縮後ＨＤＲ画像のそれぞれを複数の非オーバーラップ空間画像ゾーンに分離し、
複数の空間画像ゾーンのそれぞれに対して、階調圧縮後画素強度を抽出するステップと、第１の累積分布関数を生成するステップと、ヒストグラムを抽出するステップと、第２の累積分布関数を生成するステップと、対応関係を決定するステップと、線形化するステップとを実施することを繰り返す
ようにプロセッサを制御するように構成されている、ＥＥＥ１からＥＥＥ１５のいずれかのＨＤＲカメラモジュール。
【0152】
ＥＥＥ１７．機械可読命令は、線形化するステップが、少なくとも、空間画像ゾーンの異なるものの間の境界の閾値距離内の各画素に対して、画素の位置に基づき空間画像ゾーンの異なるものに対して決定された対応関係を空間的に補間することを含むように構成されている、ＥＥＥ１６のＨＤＲカメラモジュール。
【0153】
ＥＥＥ１８．空間画像ゾーンはそれぞれの中心位置を有し、機械可読命令は、線形化するステップが、各画素に対しかつ画素の位置に基づき、画素に最も近いそれぞれの中心位置を有する４つの空間画像ゾーンに対して決定された対応関係を空間的に補間することを含むように構成されている、ＥＥＥ１６またはＥＥＥ１７のＨＤＲカメラモジュール。
【0154】
ＥＥＥ１９．階調圧縮後高ダイナミックレンジ（ＨＤＲ）画像を線形化する１つの適応的方法であって、
ＨＤＲ画像センサから、第１の階調圧縮後ＨＤＲ画像のフレームを受信することと、
フレームから、（ａ）フレームのアクティブ画素データからの階調圧縮後画素強度と、（ｂ）フレームのメタデータからの階調圧縮前画素強度のヒストグラムとを抽出することと、
階調圧縮後画素強度およびヒストグラムから、階調圧縮後画素強度と階調圧縮前画素強度との対応関係を導出することと、
ＨＤＲ画像センサから、第２の階調圧縮後ＨＤＲ画像のフレームを受信することであって、第２の階調圧縮後ＨＤＲ画像は、第１の階調圧縮後ＨＤＲ画像と後続する階調圧縮後ＨＤＲ画像とからなる群から選択されることと、
対応関係に従って、第２の階調圧縮後ＨＤＲ画像のフレームのアクティブ画素データの少なくとも一部を線形化して、線形化ＨＤＲ画像を生成することと、
を含む、方法。
ＨＤＲ画像センサから、第１の階調圧縮後ＨＤＲ画像のフレームを受信することと、
フレームから、（ａ）フレームのアクティブ画素データからの階調圧縮後画素強度と、（ｂ）フレームのメタデータからの階調圧縮前画素強度のヒストグラムとを抽出することと、
階調圧縮後画素強度およびヒストグラムから、階調圧縮後画素強度と階調圧縮前画素強度との対応関係を導出することと、
ＨＤＲ画像センサから、第２の階調圧縮後ＨＤＲ画像のフレームを受信することであって、第２の階調圧縮後ＨＤＲ画像は、第１の階調圧縮後ＨＤＲ画像と後続する階調圧縮後ＨＤＲ画像とからなる群から選択されることと、
対応関係に従って、第２の階調圧縮後ＨＤＲ画像のフレームのアクティブ画素データの少なくとも一部を線形化して、線形化ＨＤＲ画像を生成することと、
を含む、方法。
【0155】
ＥＥＥ２０．第１の階調圧縮後ＨＤＲ画像および第２の階調圧縮後ＨＤＲ画像は、ＨＤＲビデオストリームの連続的な画像である、ＥＥＥ１９の方法。
【0156】
ＥＥＥ２１．線形化するステップの前に、上記対応関係と、ＨＤＲビデオストリームの先行して取り込まれた画像の対に対して導出された先行する対応関係との偏差を制限することを更に含む、ＥＥＥ２０の方法。
【0157】
ＥＥＥ２２．第１の階調圧縮後ＨＤＲ画像および第２の階調圧縮後ＨＤＲ画像は、同じ静止画像である、ＥＥＥ１９から２１のいずれかの方法。
【0158】
ＥＥＥ２３．階調圧縮後画素強度は、階調圧縮前ビット深度未満である圧縮後ビット深度に制限され、線形化するステップは、アクティブ画素データを階調圧縮前ビット深度にマッピングすることを含む、ＥＥＥ１９からＥＥＥ２２のいずれかの方法。
【0159】
ＥＥＥ２４．導出するステップが、
階調圧縮後画素強度の第１の累積分布関数を生成することと、
ヒストグラムの第２の累積分布関数を生成することと、
階調圧縮後画素強度および階調圧縮前画素強度の複数の対応する対のそれぞれに対して、階調圧縮後画素強度で評価された第１の累積分布関数が、階調圧縮前画素強度で評価された第２の累積分布関数に等しいような、対応関係を決定することと、
を含む、ＥＥＥ１９からＥＥＥ２３のいずれかの方法。
階調圧縮後画素強度の第１の累積分布関数を生成することと、
ヒストグラムの第２の累積分布関数を生成することと、
階調圧縮後画素強度および階調圧縮前画素強度の複数の対応する対のそれぞれに対して、階調圧縮後画素強度で評価された第１の累積分布関数が、階調圧縮前画素強度で評価された第２の累積分布関数に等しいような、対応関係を決定することと、
を含む、ＥＥＥ１９からＥＥＥ２３のいずれかの方法。
【0160】
ＥＥＥ２５．決定するステップにおいて、対応する対を列挙するルックアップテーブルとして対応関係を生成することと、
線形化するステップにおいて、第２の階調圧縮後ＨＤＲ画像のアクティブ画素データの階調圧縮後画素強度がルックアップテーブルに列挙された階調圧縮後画素強度に等しくないとき、ルックアップテーブルにおけるエントリー間を補間することと、
を含む、ＥＥＥ２４の方法。
線形化するステップにおいて、第２の階調圧縮後ＨＤＲ画像のアクティブ画素データの階調圧縮後画素強度がルックアップテーブルに列挙された階調圧縮後画素強度に等しくないとき、ルックアップテーブルにおけるエントリー間を補間することと、
を含む、ＥＥＥ２４の方法。
【0161】
ＥＥＥ２６．決定するステップにおいて、階調圧縮後画素強度の関数として階調圧縮前画素強度を指定する多項式関数として、対応関係を生成することを含む、ＥＥＥ２４またはＥＥＥ２５の方法。
【0162】
ＥＥＥ２７．決定するステップにおいて、階調圧縮後画素強度の関数として階調圧縮前画素強度を指定するスプライン表現として、対応関係を生成することを含む、ＥＥＥ２４またはＥＥＥ２５の方法。
【0163】
ＥＥＥ２８．第１の階調圧縮後ＨＤＲ画像および第２の階調圧縮後ＨＤＲ画像は、カラー画像であり、ヒストグラムは、輝度ヒストグラムである、ＥＥＥ２４からＥＥＥ２７のいずれかの方法。
【0164】
ＥＥＥ２９．階調圧縮後画素強度を抽出するステップにおいて、階調圧縮後色固有画素輝度の複数のセットを抽出することであって、セットのそれぞれはそれぞれの色に固有であることと、
上記セットを結合して、階調圧縮後画素強度のそれぞれがそれぞれの画素輝度を表すように階調圧縮後画素強度を形成することと、
線形化するステップにおいて、上記対応関係に従って第２の階調圧縮後ＨＤＲ画像のアクティブ画素データの各色を別個に線形化することと、
を更に含む、ＥＥＥ１９からＥＥＥ２８のいずれかの方法。
上記セットを結合して、階調圧縮後画素強度のそれぞれがそれぞれの画素輝度を表すように階調圧縮後画素強度を形成することと、
線形化するステップにおいて、上記対応関係に従って第２の階調圧縮後ＨＤＲ画像のアクティブ画素データの各色を別個に線形化することと、
を更に含む、ＥＥＥ１９からＥＥＥ２８のいずれかの方法。
【0165】
ＥＥＥ３０．階調圧縮後画素強度を抽出するステップにおいて、第１の階調圧縮後ＨＤＲ画像を構成する複数の色のうちの１つの色である単一色に固有である、階調圧縮後色固有画素強度を抽出することと、
生成するステップにおいて、単一色に関するものとして第１の累積分布関数を生成することと、
線形化するステップにおいて、上記対応関係に従って第２の階調圧縮後ＨＤＲ画像のアクティブ画素データの各色を別個に線形化することと、
を更に含む、ＥＥＥ１９からＥＥＥ２８のいずれかの方法。
生成するステップにおいて、単一色に関するものとして第１の累積分布関数を生成することと、
線形化するステップにおいて、上記対応関係に従って第２の階調圧縮後ＨＤＲ画像のアクティブ画素データの各色を別個に線形化することと、
を更に含む、ＥＥＥ１９からＥＥＥ２８のいずれかの方法。
【0166】
ＥＥＥ３１．第１の階調圧縮後ＨＤＲ画像および第２の階調圧縮後ＨＤＲ画像は、カラー画像であり、本方法は、第１の階調圧縮後ＨＤＲ画像および第２の階調圧縮後ＨＤＲ画像の各色に対して別個に、階調圧縮後画素強度を抽出するステップと、第１の累積分布関数を生成するステップと、ヒストグラムを抽出するステップと、第２の累積分布関数を生成するステップと、対応関係を決定するステップと、第２の階調圧縮後ＨＤＲ画像のアクティブ画素データの少なくとも一部を線形化するステップとを実施することを含む、ＥＥＥ２４からＥＥＥ３０のいずれかの方法。
【0167】
ＥＥＥ３２．第１の階調圧縮後ＨＤＲ画像および第２の階調圧縮後ＨＤＲ画像は、カラー画像であり、本方法は、
階調圧縮後画素強度を抽出するステップにおいて、第１の階調圧縮後ＨＤＲ画像を構成する複数の色のうちの１つの色である単一色に固有の階調圧縮後色固有画素強度を抽出することと、
生成するステップにおいて、単一色に関するものとして第１の累積分布関数を生成することと、
ヒストグラムを抽出するステップにおいて、単一色に固有の色固有ヒストグラムを抽出することと、
生成するステップにおいて、色固有ヒストグラムに関するものとして第２の累積分布関数を生成することと、
線形化するステップにおいて、上記対応関係に従って第２の階調圧縮後ＨＤＲ画像のアクティブ画素データの各色を別個に線形化することと、
を更に含む、ＥＥＥ２４からＥＥＥ３１のいずれかの方法。
階調圧縮後画素強度を抽出するステップにおいて、第１の階調圧縮後ＨＤＲ画像を構成する複数の色のうちの１つの色である単一色に固有の階調圧縮後色固有画素強度を抽出することと、
生成するステップにおいて、単一色に関するものとして第１の累積分布関数を生成することと、
ヒストグラムを抽出するステップにおいて、単一色に固有の色固有ヒストグラムを抽出することと、
生成するステップにおいて、色固有ヒストグラムに関するものとして第２の累積分布関数を生成することと、
線形化するステップにおいて、上記対応関係に従って第２の階調圧縮後ＨＤＲ画像のアクティブ画素データの各色を別個に線形化することと、
を更に含む、ＥＥＥ２４からＥＥＥ３１のいずれかの方法。
【0168】
ＥＥＥ３３．決定するステップは、
階調圧縮後画素強度の最上位範囲を除外する、階調圧縮後画素強度の部分範囲に対して、部分範囲に関連する階調圧縮後画素強度および階調圧縮前画素強度の対応する対に対して、階調圧縮後画素強度で評価された第１の累積分布関数が、階調圧縮前画素強度で評価された第２の累積分布関数に等しいような、階調圧縮後画素強度と階調圧縮前画素強度との直接マッチングされた対応関係を決定することと、
最上位範囲を通して、直接マッチングされた対応関係を補外して、対応関係を生成することと、
を含む、ＥＥＥ２４からＥＥＥ３２のいずれかの方法。
階調圧縮後画素強度の最上位範囲を除外する、階調圧縮後画素強度の部分範囲に対して、部分範囲に関連する階調圧縮後画素強度および階調圧縮前画素強度の対応する対に対して、階調圧縮後画素強度で評価された第１の累積分布関数が、階調圧縮前画素強度で評価された第２の累積分布関数に等しいような、階調圧縮後画素強度と階調圧縮前画素強度との直接マッチングされた対応関係を決定することと、
最上位範囲を通して、直接マッチングされた対応関係を補外して、対応関係を生成することと、
を含む、ＥＥＥ２４からＥＥＥ３２のいずれかの方法。
【0169】
ＥＥＥ３４．対応関係を決定するステップは、
第１の階調圧縮後画像および第１の累積分布巻数のうちの少なくとも一方を評価して、飽和した階調圧縮後画素強度を除外するカットオフ階調圧縮後画素強度を決定することと、
カットオフ階調圧縮後画素強度以下の階調圧縮後画素強度の範囲として部分範囲を定義することと、
を更に含む、ＥＥＥ３３の方法。
第１の階調圧縮後画像および第１の累積分布巻数のうちの少なくとも一方を評価して、飽和した階調圧縮後画素強度を除外するカットオフ階調圧縮後画素強度を決定することと、
カットオフ階調圧縮後画素強度以下の階調圧縮後画素強度の範囲として部分範囲を定義することと、
を更に含む、ＥＥＥ３３の方法。
【0170】
ＥＥＥ３５．ヒストグラムは、階調圧縮の前に第１の階調圧縮後ＨＤＲ画像のフルダイナミックレンジの下位サブセットを形成する部分ダイナミックレンジのみを表す部分ヒストグラムであり、対応関係を決定するステップは、
ヒストグラムを評価してカットオフ階調圧縮前画素強度を決定することと、
カットオフ階調圧縮前画素強度以下の階調圧縮前画素強度の数に等しい数の最低階調圧縮後画素強度として部分範囲を定義することと、
を更に含む、ＥＥＥ３３またはＥＥＥ３４の方法。
ヒストグラムを評価してカットオフ階調圧縮前画素強度を決定することと、
カットオフ階調圧縮前画素強度以下の階調圧縮前画素強度の数に等しい数の最低階調圧縮後画素強度として部分範囲を定義することと、
を更に含む、ＥＥＥ３３またはＥＥＥ３４の方法。
【0171】
ＥＥＥ３６．カットオフ階調圧縮前画素強度は、ヒストグラムの最大画素強度である、ＥＥＥ３５の方法。
【0172】
ＥＥＥ３７．ヒストグラムのビンは、対数スケールである、ＥＥＥ３３からＥＥＥ３６のいずれかの方法。
【0173】
ＥＥＥ３８．第１の階調圧縮後ＨＤＲ画像および第２の階調圧縮後ＨＤＲ画像のそれぞれを複数の非オーバーラップ空間画像ゾーンに分離することと、
複数の空間画像ゾーンのそれぞれに対して、階調圧縮後画素強度を抽出するステップと、第１の累積分布関数を生成するステップと、ヒストグラムを抽出するステップと、第２の累積分布関数を生成するステップと、対応関係を決定するステップと、線形化するステップとを実施することを繰り返すことと、
を更に含む、ＥＥＥ１９からＥＥＥ３７のいずれかの方法。
複数の空間画像ゾーンのそれぞれに対して、階調圧縮後画素強度を抽出するステップと、第１の累積分布関数を生成するステップと、ヒストグラムを抽出するステップと、第２の累積分布関数を生成するステップと、対応関係を決定するステップと、線形化するステップとを実施することを繰り返すことと、
を更に含む、ＥＥＥ１９からＥＥＥ３７のいずれかの方法。
【0174】
ＥＥＥ３９．線形化するステップが、少なくとも、空間画像ゾーンの異なるものの間の境界の閾値距離内の各画素に対して、画素の位置に基づき空間画像ゾーンの異なるものに対して決定された対応関係を空間的に補間することを含む、ＥＥＥ３８の方法。
【0175】
ＥＥＥ４０．空間画像ゾーンのそれぞれは、それぞれの中心位置を有し、線形化するステップは、各画素に対しかつその画素の位置に基づき、その画素に最も近いそれぞれの中心位置を有する４つの空間画像ゾーンに対して決定された対応関係を空間的に補間することを含む、ＥＥＥ３８またはＥＥＥ３９の方法。
【0176】
ＥＥＥ４１．ＨＤＲ画像センサは、階調圧縮前画素強度のヒストグラムを含むアクティブ画素データおよびメタデータを含むそれぞれのフレームとして階調圧縮後ＨＤＲ画像を出力するように構成されている、ＥＥＥ１からＥＥＥ１８のいずれかのＨＤＲカメラモジュール。
【0177】
ＥＥＥ４２．ＨＤＲ画像センサによって生成される第１の階調圧縮後ＨＤＲ画像から抽出された階調圧縮前画素強度のヒストグラムは、第１の階調圧縮後ＨＤＲ画像のフレームのメタデータに提供される、ＥＥＥ１からＥＥＥ１８またはＥＥＥ４１のいずれかのＨＤＲカメラモジュール。
【0178】
ＥＥＥ４３．ＥＥＥ１からＥＥＥ１８またはＥＥＥ４１もしくはＥＥＥ４２のいずれかのＨＤＲカメラモジュールを備える電子デバイス。
【0179】
ＥＥＥ４４．ＥＥＥ１からＥＥＥ１８またはＥＥＥ４１もしくはＥＥＥ４２のいずれかのＨＤＲカメラモジュールを備えるモバイルデバイス。
【0180】
ＥＥＥ４５．ハウジングを更に備え、ＨＤＲカメラモジュールがハウジング内に配置されている、ＥＥＥ４３の電子デバイスまたはＥＥＥ４４のモバイルデバイス。
【0181】
ＥＥＥ４６．第１の階調圧縮後ＨＤＲ画像のフレームから抽出された階調圧縮前画素強度のヒストグラムは、第１の階調圧縮後ＨＤＲ画像のフレームのメタデータに提供される、ＥＥＥ１９からＥＥＥ４０のいずれかの方法。
【0182】
ＥＥＥ４７．プロセッサによって実行されると、ＥＥＥ１９からＥＥＥ４０またはＥＥＥ４６のいずれかの方法を実施するようにプロセッサを制御する命令が格納される非一時的コンピュータ可読記憶媒体。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】