知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】6443857
(24)【登録日】2018年12月7日
(45)【発行日】2018年12月26日
(54)【発明の名称】画像処理装置、画像処理方法、及び、プログラム
(51)【国際特許分類】
G06T 5/00 20060101AFI20181217BHJP
H04N 1/407 20060101ALI20181217BHJP
G09G 5/36 20060101ALI20181217BHJP
G09G 5/00 20060101ALI20181217BHJP
H04N 5/20 20060101ALI20181217BHJP
【ＦＩ】
G06T5/00 740
H04N1/407
G09G5/36 520A
G09G5/00 550H
H04N5/20
G09G5/00 520A
【請求項の数】21
【全頁数】44
(21)【出願番号】特願2014-231639(P2014-231639)
(22)【出願日】2014年11月14日
(65)【公開番号】特開2016-12336(P2016-12336A)
(43)【公開日】2016年1月21日
【審査請求日】2017年10月19日
(31)【優先権主張番号】特願2014-116603(P2014-116603)
(32)【優先日】2014年6月5日
(33)【優先権主張国】JP
(73)【特許権者】
【識別番号】000001007
【氏名又は名称】キヤノン株式会社
(74)【代理人】
【識別番号】110002860
【氏名又は名称】特許業務法人秀和特許事務所
(74)【代理人】
【識別番号】100085006
【弁理士】
【氏名又は名称】世良 和信
(74)【代理人】
【識別番号】100100549
【弁理士】
【氏名又は名称】川口 嘉之
(74)【代理人】
【識別番号】100106622
【弁理士】
【氏名又は名称】和久田 純一
(74)【代理人】
【識別番号】100131532
【弁理士】
【氏名又は名称】坂井 浩一郎
(74)【代理人】
【識別番号】100125357
【弁理士】
【氏名又は名称】中村 剛
(74)【代理人】
【識別番号】100131392
【弁理士】
【氏名又は名称】丹羽 武司
(72)【発明者】
【氏名】山岸 正治
(72)【発明者】
【氏名】中谷 敏樹
【審査官】
千葉 久博
(56)【参考文献】
【文献】
特開２０１１−１９３５１１（ＪＰ，Ａ）
【文献】
特開２００４−２２１９２８（ＪＰ，Ａ）
【文献】
特開２００３−３０９７６３（ＪＰ，Ａ）
【文献】
特開２００３−２９５８３７（ＪＰ，Ａ）
【文献】
特開平８−３４０５２３（ＪＰ，Ａ）
【文献】
米国特許出願公開第２０１４／０３３３６７３（ＵＳ，Ａ１）
【文献】
米国特許出願公開第２０１２／０２３６０２０（ＵＳ，Ａ１）
【文献】
米国特許出願公開第２０１２／０１８３２１０（ＵＳ，Ａ１）
【文献】
葉山書緯, 外２名，“ノンローカルミーンフィルタのためのＨＤＲ画像とＬＤＲ画像の協調法”，映像情報メディア学会技術報告，日本，（一社）映像情報メディア学会，２０１４年 １月１４日，第３７巻, 第５６号，p.45-48
【文献】
Di Xu, 外２名，“Correction of Clipped Pixels in Color Images”，IEEE Transactions on Visualization and Computer Graphics，２０１１年，第１７巻, 第３号，p.333-344
(58)【調査した分野】（Int.Cl.，ＤＢ名）
Ｇ０６Ｔ ５／００
Ｇ０９Ｇ ５／００
Ｇ０９Ｇ ５／３６
Ｈ０４Ｎ １／４０７
Ｈ０４Ｎ ５／２０
(57)【特許請求の範囲】
【請求項1】
表示用画像データのダイナミックレンジを調整する処理で使用される輝度レンジ値を取得する取得手段と、
第１画像データ、前記第１画像データよりもダイナミックレンジが広い第２画像データ、及び、前記第１画像データの階調値と前記第２画像データの階調値との対応関係を表す輝度差分データのうちの２つ以上のデータと、前記取得手段で取得された輝度レンジ値とを用いて、表示用画像データを生成する生成手段と、
を有し、
前記生成手段は、前記取得手段で取得された輝度レンジ値が所定範囲内の値である場合に、前記取得手段で取得された輝度レンジ値が小さいほどダイナミックレンジの最大階調値が前記第１画像データのダイナミックレンジの最大階調値に近い表示用画像データを生成する
ことを特徴とする画像処理装置。
第１画像データ、前記第１画像データよりもダイナミックレンジが広い第２画像データ、及び、前記第１画像データの階調値と前記第２画像データの階調値との対応関係を表す輝度差分データのうちの２つ以上のデータと、前記取得手段で取得された輝度レンジ値とを用いて、表示用画像データを生成する生成手段と、
を有し、
前記生成手段は、前記取得手段で取得された輝度レンジ値が所定範囲内の値である場合に、前記取得手段で取得された輝度レンジ値が小さいほどダイナミックレンジの最大階調値が前記第１画像データのダイナミックレンジの最大階調値に近い表示用画像データを生成する
ことを特徴とする画像処理装置。
【請求項2】
前記生成手段は、
前記取得手段で取得された輝度レンジ値が第１の値である場合に、前記第２画像データと同じ表示用画像データを生成し、
前記取得手段で取得された輝度レンジ値が前記第１の値よりも小さく且つ第２の値以上である場合に、前記取得手段で取得された輝度レンジ値が小さいほどダイナミックレンジが狭く、且つ、前記取得手段で取得された輝度レンジ値が小さいほどダイナミックレンジの最大階調値が前記第１画像データのダイナミックレンジの最大階調値に近い表示用画像データを生成する
ことを特徴とする請求項１に記載の画像処理装置。
前記取得手段で取得された輝度レンジ値が第１の値である場合に、前記第２画像データと同じ表示用画像データを生成し、
前記取得手段で取得された輝度レンジ値が前記第１の値よりも小さく且つ第２の値以上である場合に、前記取得手段で取得された輝度レンジ値が小さいほどダイナミックレンジが狭く、且つ、前記取得手段で取得された輝度レンジ値が小さいほどダイナミックレンジの最大階調値が前記第１画像データのダイナミックレンジの最大階調値に近い表示用画像データを生成する
ことを特徴とする請求項１に記載の画像処理装置。
【請求項3】
前記生成手段は、前記取得手段で取得された輝度レンジ値が前記第２の値である場合に、前記第１画像データと同じ表示用画像データを生成する
ことを特徴とする請求項２に記載の画像処理装置。
ことを特徴とする請求項２に記載の画像処理装置。
【請求項4】
前記生成手段は、前記取得手段で取得された輝度レンジ値が前記第１の値よりも大きい場合に、前記取得手段で取得された輝度レンジ値が大きいほどダイナミックレンジの最大階調値が大きい表示用画像データを生成する
ことを特徴とする請求項２または３に記載の画像処理装置。
ことを特徴とする請求項２または３に記載の画像処理装置。
【請求項5】
前記生成手段は、前記取得手段で取得された輝度レンジ値が前記第２の値よりも小さい場合に、前記取得手段で取得された輝度レンジ値が小さいほどダイナミックレンジの最大階調値が小さい表示用画像データを生成する
ことを特徴とする請求項２〜４のいずれか１項に記載の画像処理装置。
ことを特徴とする請求項２〜４のいずれか１項に記載の画像処理装置。
【請求項6】
前記生成手段は、前記取得手段で取得された輝度レンジ値が前記第１の値以下且つ前記第２の値以上である場合に、前記取得手段で取得された輝度レンジ値に応じた重みで前記第１画像データの階調値と前記第２画像データの階調値を合成することにより、前記表示用画像データを生成する
ことを特徴とする請求項２〜５のいずれか１項に記載の画像処理装置。
ことを特徴とする請求項２〜５のいずれか１項に記載の画像処理装置。
【請求項7】
前記生成手段は、前記取得手段で取得された輝度レンジ値が前記第１の値以下且つ前記第２の値以上である場合に、前記取得手段で取得された輝度レンジ値が大きいほど前記第２画像データに近い表示用画像データが生成され、且つ、前記取得手段で取得された輝度レンジ値が小さいほど前記第１画像データに近い表示用画像データが生成される重みを使用する
ことを特徴とする請求項６に記載の画像処理装置。
ことを特徴とする請求項６に記載の画像処理装置。
【請求項8】
前記生成手段は、
前記取得手段で取得された輝度レンジ値に応じた重みで前記第１画像データの階調値と前記第２画像データの階調値を合成することにより、合成画像データを生成し、
前記取得手段で取得された輝度レンジ値に応じた補正値を用いて前記合成画像データの階調値を補正することにより、前記表示用画像データを生成する
ことを特徴とする請求項１〜５のいずれか１項に記載の画像処理装置。
前記取得手段で取得された輝度レンジ値に応じた重みで前記第１画像データの階調値と前記第２画像データの階調値を合成することにより、合成画像データを生成し、
前記取得手段で取得された輝度レンジ値に応じた補正値を用いて前記合成画像データの階調値を補正することにより、前記表示用画像データを生成する
ことを特徴とする請求項１〜５のいずれか１項に記載の画像処理装置。
【請求項9】
前記生成手段は、前記取得手段で取得された輝度レンジ値が前記第１の値以下且つ前記第２の値以上である場合に、前記取得手段で取得された輝度レンジ値と前記第２画像データの階調値との組み合わせに応じた重みで前記第１画像データの階調値と前記第２画像データの階調値とを合成する処理を画素毎に行うことにより、前記表示用画像データを生成する
ことを特徴とする請求項２〜５のいずれか１項に記載の画像処理装置。
ことを特徴とする請求項２〜５のいずれか１項に記載の画像処理装置。
【請求項10】
前記生成手段は、
前記取得手段で取得された輝度レンジ値が前記第１の値である場合に、前記第２画像データと同じ表示用画像データが生成される重みを使用し、
前記取得手段で取得された輝度レンジ値が前記第１の値よりも小さく且つ前記第２の値以上である場合に、前記第２画像データの画素の階調値が小さいほど当該画素の階調値が前記第２画像データの当該画素の階調値に近い表示用画像データが生成され、前記取得手段で取得された輝度レンジ値が大きいほど前記第２画像データに近い表示用画像データが生成され、且つ、前記取得手段で取得された輝度レンジ値が小さいほどダイナミックレンジの最大階調値が前記第１画像データのダイナミックレンジの最大階調値に近い表示用画像データが生成される重みを使用する
ことを特徴とする請求項９に記載の画像処理装置。
前記取得手段で取得された輝度レンジ値が前記第１の値である場合に、前記第２画像データと同じ表示用画像データが生成される重みを使用し、
前記取得手段で取得された輝度レンジ値が前記第１の値よりも小さく且つ前記第２の値以上である場合に、前記第２画像データの画素の階調値が小さいほど当該画素の階調値が前記第２画像データの当該画素の階調値に近い表示用画像データが生成され、前記取得手段で取得された輝度レンジ値が大きいほど前記第２画像データに近い表示用画像データが生成され、且つ、前記取得手段で取得された輝度レンジ値が小さいほどダイナミックレンジの最大階調値が前記第１画像データのダイナミックレンジの最大階調値に近い表示用画像データが生成される重みを使用する
ことを特徴とする請求項９に記載の画像処理装置。
【請求項11】
前記生成手段は、
前記取得手段で取得された輝度レンジ値と前記第２画像データの階調値との組み合わせに応じた重みで前記第１画像データの階調値と前記第２画像データの階調値とを合成する処理を画素毎に行うことにより、合成画像データを生成し、
前記取得手段で取得された輝度レンジ値に応じた補正値を用いて前記合成画像データの階調値を補正することにより、前記表示用画像データを生成する
ことを特徴とする請求項１〜５のいずれか１項に記載の画像処理装置。
前記取得手段で取得された輝度レンジ値と前記第２画像データの階調値との組み合わせに応じた重みで前記第１画像データの階調値と前記第２画像データの階調値とを合成する処理を画素毎に行うことにより、合成画像データを生成し、
前記取得手段で取得された輝度レンジ値に応じた補正値を用いて前記合成画像データの階調値を補正することにより、前記表示用画像データを生成する
ことを特徴とする請求項１〜５のいずれか１項に記載の画像処理装置。
【請求項12】
前記生成手段は、前記取得手段で取得された輝度レンジ値が大きいときに前記取得手段で取得された輝度レンジ値が小さいときに比べて大きく、且つ、前記第２画像データの階調値が小さいときに前記第２画像データの階調値が大きいときに比べて大きい重みを、前記第２画像データの階調値の重みとして使用して、前記合成画像データを生成する
ことを特徴とする請求項１１に記載の画像処理装置。
ことを特徴とする請求項１１に記載の画像処理装置。
【請求項13】
前記生成手段は、
前記取得手段で取得された輝度レンジ値に基づいて前記輝度差分データが表す前記第２画像データの階調値を補正することにより、前記第１画像データの階調値と前記表示用画像データの階調値との対応関係を表す補正輝度差分データを生成し、
前記補正輝度差分データを用いて前記第１画像データの階調値を前記表示用画像データの階調値に変換することにより、前記表示用画像データを生成する
ことを特徴とする請求項２〜５のいずれか１項に記載の画像処理装置。
前記取得手段で取得された輝度レンジ値に基づいて前記輝度差分データが表す前記第２画像データの階調値を補正することにより、前記第１画像データの階調値と前記表示用画像データの階調値との対応関係を表す補正輝度差分データを生成し、
前記補正輝度差分データを用いて前記第１画像データの階調値を前記表示用画像データの階調値に変換することにより、前記表示用画像データを生成する
ことを特徴とする請求項２〜５のいずれか１項に記載の画像処理装置。
【請求項14】
前記生成手段は、
前記取得手段で取得された輝度レンジ値が前記第１の値である場合に、前記輝度差分データと同じ補正輝度差分データを生成し、
前記取得手段で取得された輝度レンジ値が前記第１の値よりも小さく且つ前記第２の値以上である場合に、前記取得手段で取得された輝度レンジ値が小さいほど前記第１画像データの取り得る階調値の最大値に対応する前記表示用画像データの階調値が前記最大値に近い補正輝度差分データを生成する
ことを特徴とする請求項１３に記載の画像処理装置。
前記取得手段で取得された輝度レンジ値が前記第１の値である場合に、前記輝度差分データと同じ補正輝度差分データを生成し、
前記取得手段で取得された輝度レンジ値が前記第１の値よりも小さく且つ前記第２の値以上である場合に、前記取得手段で取得された輝度レンジ値が小さいほど前記第１画像データの取り得る階調値の最大値に対応する前記表示用画像データの階調値が前記最大値に近い補正輝度差分データを生成する
ことを特徴とする請求項１３に記載の画像処理装置。
【請求項15】
前記生成手段は、
前記取得手段で取得された輝度レンジ値に基づいて前記輝度差分データが表す前記第１画像データの階調値を補正することにより、前記第２画像データの階調値と前記表示用画像データの階調値との対応関係を表す補正輝度差分データを生成し、
前記補正輝度差分データを用いて前記第２画像データの階調値を前記表示用画像データの階調値に変換することにより、前記表示用画像データを生成する
ことを特徴とする請求項２〜５のいずれか１項に記載の画像処理装置。
前記取得手段で取得された輝度レンジ値に基づいて前記輝度差分データが表す前記第１画像データの階調値を補正することにより、前記第２画像データの階調値と前記表示用画像データの階調値との対応関係を表す補正輝度差分データを生成し、
前記補正輝度差分データを用いて前記第２画像データの階調値を前記表示用画像データの階調値に変換することにより、前記表示用画像データを生成する
ことを特徴とする請求項２〜５のいずれか１項に記載の画像処理装置。
【請求項16】
前記生成手段は、
前記取得手段で取得された輝度レンジ値が前記第２の値である場合に、前記輝度差分データと同じ補正輝度差分データを生成し、
前記取得手段で取得された輝度レンジ値が前記第２の値よりも大きく且つ前記第１の値以下である場合に、前記取得手段で取得された輝度レンジ値が大きいほど前記第２画像データの取り得る階調値の最大値に対応する前記表示用画像データの階調値が前記最大値に近く、且つ、前記取得手段で取得された輝度レンジ値が大きいほど前記第２画像データの取り得る階調値の最小値に対応する前記表示用画像データの階調値が前記最小値に近い補正輝度差分データを生成する
ことを特徴とする請求項１５に記載の画像処理装置。
前記取得手段で取得された輝度レンジ値が前記第２の値である場合に、前記輝度差分データと同じ補正輝度差分データを生成し、
前記取得手段で取得された輝度レンジ値が前記第２の値よりも大きく且つ前記第１の値以下である場合に、前記取得手段で取得された輝度レンジ値が大きいほど前記第２画像データの取り得る階調値の最大値に対応する前記表示用画像データの階調値が前記最大値に近く、且つ、前記取得手段で取得された輝度レンジ値が大きいほど前記第２画像データの取り得る階調値の最小値に対応する前記表示用画像データの階調値が前記最小値に近い補正輝度差分データを生成する
ことを特徴とする請求項１５に記載の画像処理装置。
【請求項17】
前記取得手段は、前記第２画像データが明るいほど小さい輝度レンジ値を取得する
ことを特徴とする請求項１〜１６のいずれか１項に記載の画像処理装置。
ことを特徴とする請求項１〜１６のいずれか１項に記載の画像処理装置。
【請求項18】
前記第１画像データまたは前記第２画像データのシーンの切り替わりを検出する検出手
段をさらに有し、
前記生成手段は、前記取得手段で取得された輝度レンジ値に基づく表示用画像データから前記第２画像データと同じ表示用画像データへ表示用画像データが徐々に変化するように、シーンの切り替わり後の各フレームの表示用画像データを生成する
ことを特徴とする請求項１７に記載の画像処理装置。
段をさらに有し、
前記生成手段は、前記取得手段で取得された輝度レンジ値に基づく表示用画像データから前記第２画像データと同じ表示用画像データへ表示用画像データが徐々に変化するように、シーンの切り替わり後の各フレームの表示用画像データを生成する
ことを特徴とする請求項１７に記載の画像処理装置。
【請求項19】
前記取得手段は、ユーザ操作に応じた輝度レンジ値を取得する
ことを特徴とする請求項１〜１６のいずれか１項に記載の画像処理装置。
ことを特徴とする請求項１〜１６のいずれか１項に記載の画像処理装置。
【請求項20】
表示用画像データのダイナミックレンジを調整する処理で使用される輝度レンジ値を取得する取得ステップと、
第１画像データ、前記第１画像データよりもダイナミックレンジが広い第２画像データ、及び、前記第１画像データの階調値と前記第２画像データの階調値との対応関係を表す輝度差分データのうちの２つ以上のデータと、前記取得ステップで取得された輝度レンジ値とを用いて、表示用画像データを生成する生成ステップと、
を有し、
前記生成ステップでは、前記取得ステップで取得された輝度レンジ値が所定範囲内の値である場合に、前記取得ステップで取得された輝度レンジ値が小さいほどダイナミックレンジの最大階調値が前記第１画像データのダイナミックレンジの最大階調値に近い表示用画像データを生成する
ことを特徴とする画像処理方法。
第１画像データ、前記第１画像データよりもダイナミックレンジが広い第２画像データ、及び、前記第１画像データの階調値と前記第２画像データの階調値との対応関係を表す輝度差分データのうちの２つ以上のデータと、前記取得ステップで取得された輝度レンジ値とを用いて、表示用画像データを生成する生成ステップと、
を有し、
前記生成ステップでは、前記取得ステップで取得された輝度レンジ値が所定範囲内の値である場合に、前記取得ステップで取得された輝度レンジ値が小さいほどダイナミックレンジの最大階調値が前記第１画像データのダイナミックレンジの最大階調値に近い表示用画像データを生成する
ことを特徴とする画像処理方法。
【請求項21】
請求項２０に記載の画像処理方法の各ステップをコンピュータに実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像処理装置、画像処理方法、及び、プログラムに関する。
【背景技術】
【0002】
近年、多ビットの画像データを用いて、従来の表示画像（画面に表示された画像）よりもダイナミックレンジが広い表示画像を得るＨＤＲ（ハイダイナミックレンジ）表示が行われるようになってきている。
【0003】
ダイナミックレンジが広いＨＤＲ画像データ（多ビットの画像データ）の記録方法の１つとして、ＨＤＲ画像データをベース画像データと輝度差分データに分割し、ベース画像データと輝度差分データを記録する方法が提案されている（特許文献１）。即ち、ＨＤＲ画像データのデータフォーマットの１つとして、ベース画像データと輝度差分データを用いたフォーマットが提案されている。
【0004】
ベース画像データは、ＨＤＲ画像データを階調圧縮（ダウンサンプリング）した少ビットの画像データである。ベース画像データは、例えば、８ｂｉｔ階調程度の画像データである。画像データの製作者は、ＨＤＲ画像データの広いダイナミックレンジ（輝度レンジ）のうち、画像データにおいて重要な階調範囲がベース画像データのダイナミックレンジに含まれるように、ベース画像データのダイナミックレンジを決定する。輝度差分データは、ベース画像データの階調値（輝度値）とＨＤＲ画像データの階調値との対応関係を表すデータである。
輝度差分データを用いてベース画像データの階調値をＨＤＲ画像データの階調値に変換することにより、ＨＤＲ画像データを得ることができる。
【0005】
また、画像データの内容、ユーザの好み、等に応じて、画像データのダイナミックレンジを調整する種々の技術が提案されている。例えば、入力画像データの平均輝度レベルに基づいて、平均輝度レベルが大きいときに入力画像データの輝度レベルを下げ、平均輝度レベルが小さいときに入力画像データの輝度レベルを上げる画像表示装置が提案されている（特許文献２）。
【0006】
しかしながら、特許文献２に記載の技術を用いてＨＤＲ画像データの輝度レベルを変更すると、ＨＤＲ画像データの高階調値が上限値に制限されることによって、表示画像に白とびが生じてしまうことがある。また、ＨＤＲ画像データの低階調値が下限値に制限されることによって、表示画像に黒つぶれが生じてしまうことがある。そして、低コントラストの表示画像が得られてしまうことがある。このように、特許文献２に記載の技術を用いた場合には、ユーザにとって好ましい表示画像が得られないことがある。
ユーザ操作に応じた任意の調整値（輝度レンジ値）を用いて入力画像データのダイナミックレンジを調整する場合にも、上記課題は生じる。
【0007】
また、ダイナミックレンジがベース画像データのダイナミックレンジに近い画像データをユーザが得たい場合がある。しかしながら、従来技術（特許文献２に開示の技術を含む）では、ＨＤＲ画像データのダイナミックレンジを調整する際に、画像データとして、ＨＤＲ画像データしか使用されない。そのため、従来技術では、ＨＤＲ画像データのダイナミックレンジを調整することにより、ダイナミックレンジがベース画像データのダイナミックレンジから大きくかけ離れた画像データが得られてしまう。例えば、ＨＤＲ画像データにおいて重要な階調範囲が高階調側の階調範囲（高階調範囲）であり、且つ、ベース画像データのダイナミックレンジが高階調範囲を含む階調範囲であったとする。この場合、従来技術では、高階調範囲を把握することができず、高階調範囲を含まない階調範囲にＨＤＲ画像データのダイナミックレンジが調整されてしまう。
このよう、従来技術では、ダイナミックレンジがベース画像データのダイナミックレンジに近い画像データをユーザが得たくても、ダイナミックレンジがベース画像データのダイナミックレンジから大きくかけ離れた画像データが得られてしまう。
【0008】
以上述べたように、従来技術では、入力画像データのダイナミックレンジを好適に調整することができない。
【先行技術文献】
【特許文献】
【0009】
【特許文献1】特開２０１１−１９３５１１号公報
【特許文献2】特開２００３−２９５８３７号公報
【発明の概要】
【発明が解決しようとする課題】
【0010】
本発明は、画像データのダイナミックレンジを好適に調整することができる技術を提供することを目的とする。
【課題を解決するための手段】
【0011】
本発明の第１の態様は、表示用画像データのダイナミックレンジを調整する処理で使用される輝度レンジ値を取得する取得手段と、
第１画像データ、前記第１画像データよりもダイナミックレンジが広い第２画像データ、及び、前記第１画像データの階調値と前記第２画像データの階調値との対応関係を表す輝度差分データのうちの２つ以上のデータと、前記取得手段で取得された輝度レンジ値とを用いて、表示用画像データを生成する生成手段と、
を有し、
前記生成手段は、前記取得手段で取得された輝度レンジ値が所定範囲内の値である場合に、前記取得手段で取得された輝度レンジ値が小さいほどダイナミックレンジの最大階調値が前記第１画像データのダイナミックレンジの最大階調値に近い表示用画像データを生成する
ことを特徴とする画像処理装置である。
【0012】
本発明の第２の態様は、表示用画像データのダイナミックレンジを調整する処理で使用される輝度レンジ値を取得する取得ステップと、
第１画像データ、前記第１画像データよりもダイナミックレンジが広い第２画像データ、及び、前記第１画像データの階調値と前記第２画像データの階調値との対応関係を表す輝度差分データのうちの２つ以上のデータと、前記取得ステップで取得された輝度レンジ値とを用いて、表示用画像データを生成する生成ステップと、
を有し、
前記生成ステップでは、前記取得ステップで取得された輝度レンジ値が所定範囲内の値である場合に、前記取得ステップで取得された輝度レンジ値が小さいほどダイナミックレンジの最大階調値が前記第１画像データのダイナミックレンジの最大階調値に近い表示用画像データを生成する
ことを特徴とする画像処理方法である。
【0013】
本発明の第３の態様は、上述した画像処理方法の各ステップをコンピュータに実行させるためのプログラムである。
【発明の効果】
【0014】
本発明によれば、画像データのダイナミックレンジを好適に調整することができる。
【図面の簡単な説明】
【0015】
【図1】実施例１に係る画像処理装置の機能構成の一例を示す図
【図2】実施例１に係る調整値処理部の機能構成の一例を示す図
【図3】実施例１に係るブレンド特性情報の一例を示す図
【図4】実施例１に係るゲイン特性情報の一例を示す図
【図5】実施例１に係る画像データとダイナミックレンジの一例を示す図
【図6】実施例２に係る調整値処理部の機能構成の一例を示す図
【図7】実施例２に係る第２ブレンド特性情報の一例を示す図
【図8】実施例２に係る輝度レンジ値とブレンド率との対応関係の一例を示す図
【図9】実施例２に係る画像データとダイナミックレンジの一例を示す図
【図10】実施例３に係る画像処理装置の機能構成の一例を示す図
【図11】実施例３に係るルックアップテーブルの一例を示す図
【図12】実施例３に係る輝度差分データ変換部の処理の流れの一例を示す図
【図13】実施例３に係る画像データとダイナミックレンジの一例を示す図
【図14】実施例４に係る画像処理装置の機能構成の一例を示す図
【図15】実施例４に係るルックアップテーブルの一例を示す図
【図16】実施例４に係る第２輝度差分データ変換部の処理の流れの一例を示す図
【図17】実施例５に係る画像処理装置の機能構成の一例を示す図
【図18】実施例５に係るオーバーホワイト検出部の処理の流れの一例を示す図
【図19】実施例５に係るブレンド率決定部の処理の流れの一例を示す図
【図20】実施例５に係る画像データとダイナミックレンジの一例を示す図
【図21】実施例６に係る画像処理装置の機能構成の一例を示す図
【図22】実施例６に係るベース画像生成部の機能構成の一例を示す図
【図23】実施例１の効果を説明するための図
【発明を実施するための形態】
【0016】
＜実施例１＞以下、本発明の実施例１に係る画像処理装置及び画像処理方法について説明する。
なお、以下では、画像処理装置が画像表示装置である場合の例を説明するが、これに限らない。画像処理装置は、画像表示装置と別体の装置であってもよい。
なお、以下では、画像データの画素値がＹＣｂＣｒ値（Ｙ値、Ｃｂ値、及び、Ｃｒ値の組み合わせ）であり、Ｙ値（輝度値）を調整する例を説明するが、これに限らない。例えば、画像データの画素値は、ＲＧＢ値（Ｒ値、Ｇ値、及び、Ｂ値の組み合わせ）であってもよい。そして、Ｒ値、Ｇ値、及び、Ｂ値のそれぞれが調整されてもよい。
【0017】
図１は、本実施例に係る画像処理装置（画像表示装置）１００の機能構成の一例を示すブロック図である。図１に示すように、画像処理装置１００は、デコード処理部１０２、調整値処理部１０３、ブレンド部１０４、ゲイン調整部１０５、表示部１０６、等を有する。
なお、画像処理装置１００が画像表示装置と別体の装置である場合には、表示部１０６は画像表示装置に設けられる。
【0018】
画像処理装置１００には、ＨＤＲファイル１０１と輝度レンジ値ＹＲが入力される。ＨＤＲファイル１０１は、第１画像データと輝度差分データを含むデータファイルである。
【0019】
第１画像データは、第２画像データの階調圧縮（ダウンサンプリング）した画像データである。第１画像データは、例えば、８ｂｉｔ階調の画像データである。本実施例では、第１画像データを“ベース画像データ”と記載し、第２画像データを“ＨＤＲ画像データ”と記載する。
【0020】
輝度差分データは、ベース画像データの階調値とＨＤＲ画像データの階調値との対応関係を表す輝度差分データである。輝度差分データは、例えば、輝度比率データ、輝度変換テーブルデータ、等である。輝度比率データは、画素単位（又は所定数の画素からなる領域単位）で、ベース画像データの階調値とＨＤＲ画像データの階調値との比率である輝度比率を表すデータである。具体的には、輝度比率データは、画素単位（又は所定数の画素からなる領域単位）で、ベース画像データの階調値に対するＨＤＲ画像データの階調値の比率またはその逆数を表すデータである。輝度変換テーブルデータは、ベース画像データのダイナミックレンジを拡大するレンジ拡大処理における入力階調値と出力階調値との対応関係を表すルックアップテーブルデータである。レンジ拡大処理は、ベース画像データで表現しきれていない輝度を再現する処理と言うこともできる。本実施例では、輝度差分データとして輝度変換テーブルデータが使用される。
【0021】
ベース画像データは、例えば、トーンマップを用いてレンジ縮小処理（ＨＤＲ画像データのダイナミックレンジを縮小する画像処理）を行うことによって生成された画像データである。トーンマップは、レンジ縮小処理における入力階調値と出力階調値との対応関係を表すルックアップテーブルデータである。そして、上述した輝度変換テーブルデータは、トーンマップの入力階調値と出力階調値を入れ替えたルックアップテーブルデータである。そのため、輝度変換テーブルデータは“逆トーンマップ”と呼ぶことができる。
【0022】
輝度レンジ値ＹＲは、表示用画像データのダイナミックレンジを調整する処理で使用される調整値である。本実施例では、ユーザ操作に応じた輝度レンジ値ＹＲが取得される。表示用画像データは、表示部１０６（画像表示装置）に入力される画像データである。
【0023】
なお、輝度差分データは、画素単位（又は所定数の画素からなる領域単位）で、ベース画像データの階調値とＨＤＲ画像データの階調値の一方から他方を減算した差分値である輝度差分値を表すデータであってもよい。なお、本実施例では、画像処理装置１００の外部からＨＤＲファイル１０１が取得される例を説明するが、これに限らない。例えば、画像処理装置１００は、ＨＤＲファイル１０１を含む複数のデータを記憶する記憶部を有していてもよい。そして、記憶部からＨＤＲファイル１０１が取得されてもよい。例えば、ユーザ操作に応じて、記憶部が記憶している複数のデータの中からＨＤＲファイル１０１が選択され、選択されたＨＤＲファイル１０１が記憶部から取得されてもよい。
【0024】
デコード処理部１０２は、ＨＤＲファイル１０１に含まれるベース画像データに、ＨＤＲファイル１０１に含まれる逆トーンマップを用いたレンジ拡大処理を施す。それにより、ＨＤＲ画像データ（ベース画像データの元画像データ）が生成される。そして、デコード処理部１０２は、生成したＨＤＲ画像データを出力する。
レンジ拡大処理後の画像データの階調値が表示部１０６で表示可能な階調値の上限値よりも大きい場合には、デコード処理部１０２は、上限値よりも大きい階調値を上限値に制限するリミット処理を行う。表示部１０６で表示可能な階調値は、表示部１０６に入力可能な階調値と言うこともできる。そして、レンジ拡大処理後の画像データの階調値が表示部１０６で表示可能な階調値の下限値よりも小さい場合には、デコード処理部１０２は、下限値よりも小さい階調値を下限値に制限するリミット処理を行う。レンジ拡大処理後の画像データの階調値が上限値よりも大きい場合、及び、レンジ拡大処理後の画像データの階調値が下限値よりも小さい場合には、ベース画像データにレンジ拡大処理とリミット処理を施すことにより、ＨＤＲ画像データが生成される。
【0025】
調整値処理部１０３、ブレンド部１０４、及び、ゲイン調整部１０５により、表示用画像データが生成される。本実施例では、取得（入力）された輝度レンジ値ＹＲに基づいて、輝度レンジ値ＹＲが連続的に変化した際に表示用画像データのダイナミックレンジが連続的に変化するように、表示用画像データが生成される。
【0026】
調整値処理部１０３は、輝度レンジ値ＹＲを取得し、取得した輝度レンジ値ＹＲに応じてブレンド率Ｂｌｅｎｄとゲイン値Ｇａｉｎを決定する。そして、調整値処理部１０３は、決定したブレンド率Ｂｌｅｎｄとゲイン値Ｇａｉｎを出力する。ブレンド率Ｂｌｅｎｄは、ベース画像データの階調値とＨＤＲ画像データの階調値を合成する際のＨＤＲ画像データの階調値の重みを表す。ベース画像データの階調値の重みは、ブレンド率Ｂｌｅｎｄから算出することができる。
ゲイン値Ｇａｉｎは、画像データの階調値に乗算する補正値（係数）である。
【0027】
なお、調整値処理部１０３では、ＨＤＲ画像データの階調値の重みではなく、ベース画像データの階調値の重みが決定されてもよい。ＨＤＲ画像データの階調値の重みと、ベース画像データの階調値の重みと、の両方が決定されてもよい。また、補正値として、画像データの階調値に乗算する係数ではなく、画像データの階調値に加算する加算値が決定されてもよい。
【0028】
ブレンド部１０４は、調整値処理部１０３から出力したブレンド率Ｂｌｅｎｄに応じて、ＨＤＲ画像データの階調値と、ベース画像データの階調値と、を合成することにより、合成画像データを生成する（ブレンド処理）。そして、ブレンド部１０４は、合成画像データを出力する。
【0029】
ゲイン調整部１０５は、ブレンド部１０４から出力された合成画像データの階調値を、調整値処理部１０３から出力された補正値（ゲイン値Ｇａｉｎ）を用いて補正することにより、表示用画像データを生成する（ゲイン調整処理）。具体的には、ゲイン調整部１０５は、合成画像データの各階調値にゲイン値Ｇａｉｎを乗算することにより、表示用画像データを生成する。そして、ゲイン調整部１０５は、表示用画像データを出力する。
【0030】
なお、表示用画像データを生成する際に行われる画像処理は、ブレンド処理とゲイン調整処理に限らない。例えば、表示用画像データを生成する際に、エッジ強調処理、ぼかし処理、補間画素生成処理、ＩＰ（インタレース−プログレッシブ）変換処理、フレームレート変換処理、等の他の画像処理がさらに実行されてもよい。
【0031】
表示部１０６は、ゲイン調整部１０５から出力された表示用画像データに基づく画像を画面に表示する。表示部１０６としては、液晶表示パネル、有機ＥＬ表示パネル、プラズマ表示パネル、等を使用することができる。
【0032】
本実施例では、ベース画像データの階調値を“ＢＩ”、ＨＤＲ画像データの階調値を“ＨＩ”、表示用画像データの階調値を“ＰＩ”と記載する。本実施例では、表示部１０６が以下の表示能力を有する場合の例を説明する。
・表示画像（画面に表示された画像）の輝度の下限値が０．０１（ｃｄ／ｍ２）である。
・表示画像の輝度の上限値が１０００（ｃｄ／ｍ２）である。
・表示画像のコントラスト比の最大値が１０００００：１である。
なお、表示部１０６の表示能力は、上述した表示能力より高くても低くてもよい。
【0033】
本実施例では、ベース画像データの取り得る階調値の最大画を“ＢＩ＿Ｈ”または“１００％白”と記載する。以下では、階調値ＢＩ＿Ｈが１．０であり、１００％白の表示輝度（画面上の輝度）が１００（ｃｄ／ｍ２）である場合の例を説明する。本実施例では、１００％白の表示輝度を“標準輝度”と記載する。また、本実施例では、ベース画像データの取り得る階調値の最小値を“ＢＩ＿Ｌ”または“０．１％黒”と記載する。以下では、階調値ＢＩ＿Ｌが０．００１であり、０．１％黒の表示輝度が０．１（ｃｄ／ｍ２）である場合の例を説明する。
【0034】
なお、階調値ＢＩ＿Ｈは１．０より大きくても小さくてもよいし、１００％白の表示輝度は１００（ｃｄ／ｍ２）より高くても低くてもよい。また、階調値ＢＩ＿Ｌは０．００１より大きくても小さくてもよいし、０．１％黒の表示輝度は０．１（ｃｄ／ｍ２）より高くても低くてもよい。
【0035】
表示輝度の上限値に対応する表示用画像データの階調値ＰＩ＿Ｈは、以下の式１−１を用いて算出することができる。表示輝度の下限値に対応する表示用画像データの階調値ＰＩ＿Ｌは、以下の式１−２を用いて算出することができる。上述したように、本実施例では、階調値ＢＩ＿Ｈが１．０、標準輝度が１００、表示輝度の上限値が１０００、表示輝度の下限値が０．０１である。そのため、本実施例では、階調値ＰＩ＿Ｈは１０であり、階調値ＰＩ＿Ｌは０．０００１である。ＰＩ＿Ｈ＝ＢＩ＿Ｈ×表示輝度の上限値／標準輝度 ・・・（式１−１）
ＰＩ＿Ｌ＝ＢＩ＿Ｈ×表示輝度の下限値／標準輝度 ・・・（式１−２）
デコード処理部１０２では、各階調値が０．０００１≦ＨＩ≦１０の値であるＨＤＲ画像データが生成される。
【0036】
本実施例では、階調値ＰＩ＝１．０よりも大きい階調値を有する画素は、１００％白の画素の表示輝度（標準輝度）よりも高い表示輝度で表示される。本実施例では、表示画像の領域のうち、階調値ＰＩが１．０よりも大きい領域を“オーバーホワイト領域”と記載する。また、本実施例では、階調値ＰＩ＝０．００１よりも小さい階調値を有する画素は、０．１％黒の画素の表示輝度よりも低い表示輝度で表示される。本実施例では、表示画像の領域のうち、階調値ＰＩが０．００１よりも小さい領域を“アンダーブラック領域”と記載する。
【0037】
本実施例では、表示画像（表示用画像データ）のダイナミックレンジを調整する処理を“輝度レンジ調整”と呼ぶ。本実施例では、ユーザ操作に応じて表示画像のダイナミックレンジが調整される。また、上述したように、輝度レンジ調整では、輝度レンジ値ＹＲが使用される。本実施例では、輝度レンジ値として０以上且つ１００以下の値が使用される。また、本実施例では、輝度レンジ値の初期値として、７５が使用される。なお、輝度レンジ値の上限値、下限値、及び、初期値は上述した値（０、１００、及び
、７５）より小さくても大きくてもよい。
【0038】
調整値処理部１０３は、少なくとも以下の条件１，２が満たされるように、ブレンド率Ｂｌｅｎｄとゲイン値Ｇａｉｎを決定する。条件１：輝度レンジ値ＹＲが第１の値である場合に、ＨＤＲ画像データと同じ表示用画像データが生成される。
条件２：輝度レンジ値ＹＲが第１の値よりも小さく且つ第２の値以上である場合に、輝度レンジ値ＹＲが小さいほどダイナミックレンジが狭く、且つ、輝度レンジ値ＹＲが小さいほどダイナミックレンジの最大階調値がベース画像データのダイナミックレンジの最大階調値に近い表示用画像データが生成される。
本実施例では、第１の値が７５（初期値）であり、第２の値が２５である場合の例を説明する。
本実施例では、０≦ＹＲ＜２５を“区間１”、２５≦ＹＲ≦７５を“区間２”、７５＜ＹＲ≦１００を“区間３”と記載する。
【0039】
なお、第１の値は７５より大きくても小さくてもよい。また、第２の値は２５より大きくても小さくてもよい。初期値は、第１の値より大きくても小さくてもよい。第１の値は輝度レンジ値ＹＲの上限値であってもよいし、第２の値は輝度レンジ値ＹＲの下限値であってもよい。
【0040】
調整値処理部１０３、ブレンド部１０４、及び、ゲイン調整部１０５の処理について、より詳細に説明する。図２は、調整値処理部１０３の機能構成の一例を示すブロック図である。
図２に示すように、調整値処理部１０３は、ブレンド率決定部１０３１、ゲイン値決定部１０３２、等を有する。
【0041】
本実施例では、不図示の記憶部に、輝度レンジ値とブレンド率との対応関係を表すルックアップテーブルであるブレント特性情報が予め記録されている。ブレンド率決定部１０３１は、ブレンド率特性情報から、輝度レンジ値ＹＲに対応するブレンド率Ｂｌｅｎｄを読み出し、読み出したブレンド率Ｂｌｅｎｄを出力する。
なお、ブレンド特性情報は、ルックアップテーブルに限らない。例えば、ブレンド特性情報は、輝度レンジ値とブレンド率との対応関係を表す関数であってもよい。そして、ブレンド特性情報を用いて、輝度レンジ値ＹＲからブレンド率Ｂｌｅｎｄが算出されてもよい。
【0042】
また、本実施例では、不図示の記憶部に、輝度レンジ値とゲイン値との対応関係を表すルックアップテーブルであるゲイン特性情報が予め記録されている。ゲイン値決定部１０３２は、ゲイン特性情報から、輝度レンジ値ＹＲに対応するゲイン値Ｇａｉｎを読み出し、読み出したゲイン値Ｇａｉｎを出力する。
なお、ゲイン特性情報は、ルックアップテーブルに限らない。例えば、ゲイン特性情報は、輝度レンジ値とゲイン値との対応関係を表す関数であってもよい。そして、ゲイン特性情報を用いて、輝度レンジ値ＹＲからゲイン値Ｇａｉｎが算出されてもよい。
【0043】
ブレンド部１０４は、ブレンド率決定部１０３１から出力されたブレンド率Ｂｌｅｎｄに応じて、ＨＤＲ画像データの階調値と、ベース画像データの階調値と、を合成することにより、合成画像データを生成する。具体的には、以下の式２を用いて合成画像データの階調値ＭＩを算出する処理を画素毎に行うことにより、合成画像データが生成される。ＭＩ＝（Ｂｌｅｎｄ／１００）×ＨＩ＋（１−Ｂｌｅｎｄ／１００）×ＢＩ
・・・（式２）
【0044】
ゲイン調整部１０５は、ブレンド部１０４から出力された合成画像データの階調値を、ゲイン値決定部１０３２から出力されたゲイン値Ｇａｉｎを用いて補正することにより、表示用画像データを生成する。具体的には、以下の式３を用いて表示用画像データの階調値ＰＩを算出する処理を画素毎に行うことにより、表示用画像データが生成される。なお、上述したように、式３から得られた階調値ＰＩが表示部１０６で表示可能な階調値の範囲外の値である場合には、リミット処理が行われる。ＰＩ＝Ｇａｉｎ×ＭＩ ・・・（式３）
【0045】
図３は、ブレンド特性情報（輝度レンジ値とブレンド率との対応関係）の一例を示す図である。図４は、ゲイン特性情報（輝度レンジ値とゲイン値との対応関係）の一例を示す図である。
本実施例では、図３，４に示すブレンド特性情報とゲイン特性情報が使用される場合の例を説明する。
【0046】
図３のブレンド特性情報では、区間１のブレンド率として０（一定値）が設定されている。そして、図４のゲイン特性情報では、区間１のゲイン値として、輝度レンジ値の増加に伴って０．１から１．０に線形に増加するゲイン値が設定されている。
【0047】
そのため、輝度レンジ値ＹＲが区間１の値（第２の値（２５）よりも小さい値）である場合には、輝度レンジ値ＹＲが小さいほどダイナミックレンジの最大階調値が小さい表示用画像データが生成される。具体的には、輝度レンジ値ＹＲが区間１の値である場合には、ブレンド率Ｂｌｅｎｄ＝０が使用される。それにより、ベース画像データと同じ合成画像データが生成される。そして、輝度レンジ値ＹＲが区間１の値である場合には、輝度レンジ値ＹＲの増加に伴って増加し、且つ、１．０よりも小さいゲイン値Ｇａｉｎが使用される。それにより、輝度レンジ値ＹＲが小さいほど小さい階調値を有する表示用画像データが生成される。換言すれば、輝度レンジ値ＹＲが小さいほど暗い表示用画像データが生成される。また、本実施例では、輝度レンジ値ＹＲが下限値である場合に、ゲイン値Ｇａｉｎ＝０．１が使用される。それにより、ベース画像データの階調値の０．１倍の階調値を有する表示用画像データが生成される。なお、ゲイン値の下限値は、０．１より大きくても小さくてもよい。
【0048】
また、図３のブレンド特性情報では、区間２のブレンド率として、輝度レンジ値の増加に伴って０から１００に線形に増加するブレンド率が設定されている。そして、図４のゲイン特性情報では、区間２のゲイン値として１．０（一定値）が設定されている。
【0049】
そのため、輝度レンジ値ＹＲが区間２の値（第２の値以上且つ第１の値以下の値）である場合には、ゲイン値Ｇａｉｎ＝１．０が使用される。ゲイン値Ｇａｉｎ＝１．０を使用した場合、合成画像データと同じ表示用画像データが生成される。そのため、輝度レンジ値ＹＲが区間２の値である場合には、輝度レンジ値ＹＲに応じた重みでベース画像データの階調値とＨＤＲ画像データの階調値を合成することにより、表示用画像データが生成される。
【0050】
そして、輝度レンジ値ＹＲが区間２の値である場合には、輝度レンジ値ＹＲの増加に伴って０から１００に増加するブレンド率Ｂｌｅｎｄが使用される。それにより、輝度レンジ値ＹＲが大きいほどＨＤＲ画像データに近い表示用画像データ（＝合成画像データ）が生成される。また、輝度レンジ値ＹＲが小さいほどベース画像データに近い表示用画像データが生成される。具体的には、輝度レンジ値ＹＲが第１の値（７５）である場合には、ブレンド率Ｂｌｅｎｄ＝１００が使用される。それにより、ＨＤＲ画像データと同じ表示用画像データが生成され、条件１が満たされる。輝度レンジ値ＹＲが第２の値（２５）である場合には、ブレンド率Ｂｌｅｎｄ＝０が使用される。それにより、ベース画像データと同じ表示用画像データが生成される。そして、輝度レンジ値ＹＲが第２の値より大きく且つ第１の値よりも小さい場合には、輝度レンジ値ＹＲの増加に伴って連続的に増加するブレンド率Ｂｌｅｎｄが使用される。そのため、表示用画像データの階調値は、輝度レンジ値ＹＲの増加に伴ってベース画像データの階調値からＨＤＲ画像データの階調値に連続的に変化する。換言すれば、表示用画像データのダイナミックレンジは、輝度レンジ値ＹＲの増加に伴ってベース画像データのダイナミックレンジからＨＤＲ画像データのダイナミックレンジに連続的に変化する。その結果、条件２が満たされる。
【0051】
また、図３のブレンド特性情報では、区間３のブレンド率として１００（一定値）が設定されている。そして、図４のゲイン特性情報では、区間３のゲイン値として、輝度レンジ値の増加に伴って１．０から１０に線形に増加するゲイン値が設定されている。
【0052】
そのため、輝度レンジ値ＹＲが区間３の値（第１の値（７５）よりも大きい値）である場合には、輝度レンジ値ＹＲが大きいほどダイナミックレンジの最大階調値が大きい表示用画像データが生成される。具体的には、輝度レンジ値ＹＲが区間３の値である場合には、ブレンド率Ｂｌｅｎｄ＝１００が使用される。それにより、ＨＤＲ画像データと同じ合成画像データが生成される。そして、輝度レンジ値ＹＲが区間３の値である場合には、輝度レンジ値ＹＲの増加に伴って増加し、且つ、１．０よりも大きいゲイン値Ｇａｉｎが使用される。それにより、輝度レンジ値ＹＲが大きいほど大きい階調値を有する表示用画像データが生成される。換言すれば、輝度レンジ値ＹＲが大きいほど明るい表示用画像データが生成される。また、本実施例では、輝度レンジ値ＹＲが上限値である場合に、ゲイン値Ｇａｉｎ＝１０が使用される。それにより、ＨＤＲ画像データの階調値の１０倍の階調値を有する表示用画像データが生成される。なお、ゲイン値の上限値は、１０より大きくても小さくてもよい。
【0053】
図３のブレンド特性情報では、輝度レンジ値の連続的な変化に伴って連続的に変化するブレンド率が設定されている。そして、図４のゲイン特性情報では、輝度レンジ値の連続的な変化に伴って連続的に変化するゲイン値が設定されている。そのため、輝度レンジ値ＹＲが連続的に変化した場合に、表示用画像データの明るさ、階調値、及び、ダイナミックレンジは連続的に変化する。
【0054】
図５（ａ）〜５（ｇ）を用いて、本実施例に係る表示用画像データとそのダイナミックレンジについてより詳細に説明する。図５（ａ）〜５（ｇ）は、本実施例に係る画像データとそのダイナミックレンジ（輝度レンジ）の一例を示す図である。図５（ａ）〜５（ｇ）において、画像データ（画像データが表す画像）に記載されている数字は、その数字が記載されている領域の階調値である。
図５（ａ）〜５（ｇ）は、図３，４に示す情報を使用した場合の例を示す。
【0055】
図５（ａ）は、ＨＤＲ画像データとそのダイナミックレンジを示す。図５（ｂ）は、ベース画像データとそのダイナミックレンジを示す。
図５（ｃ）は、輝度レンジ値ＹＲ＝１００のときの表示用画像データとそのダイナミックレンジを示す。
図５（ｄ）は、輝度レンジ値ＹＲ＝７５のときの表示用画像データとそのダイナミックレンジを示す。
図５（ｅ）は、輝度レンジ値ＹＲ＝５０のときの表示用画像データとそのダイナミックレンジを示す。
図５（ｆ）は、輝度レンジ値ＹＲ＝２５のときの表示用画像データとそのダイナミックレンジを示す。
図５（ｇ）は、輝度レンジ値ＹＲ＝０のときの表示用画像データとそのダイナミックレンジを示す。
【0056】
図５（ａ）〜５（ｇ）から、表示用画像データの階調値の上限値が１０であり、表示用画像データの階調値の下限値が０．０００１であることがわかる。即ち、表示用画像データの最大ダイナミックレンジ（最大輝度レンジ）が階調値＝０．０００１〜１０のダイナミックレンジであることがわかる。最大ダイナミックレンジは、取り得るダイナミックレンジの最大レンジである。図５（ａ）から、ＨＤＲ画像データが、最小階調値＝０．０００５且つ最大階調値＝５．０のダイナミックレンジを有していることがわかる。換言すれば、ＨＤＲ画像データの階調値が、０．０００５以上且つ５．０以下の値であることがわかる。
図５（ｂ）から、ベース画像データが、最小階調値＝０．００１且つ最大階調値＝１．０のダイナミックレンジを有していることがわかる。
【0057】
輝度レンジ値ＹＲが区間１の値である場合には、輝度レンジ値ＹＲの低下に伴い、表示用画像データのダイナミックレンジが、図５（ｆ）に示すダイナミックレンジから図５（ｇ）に示すダイナミックレンジへ連続的に変化する。具体的には、輝度レンジ値ＹＲが小さいほど大きいシフト量でベース画像データのダイナミックレンジを低階調側にシフトしたダイナミックレンジを有する表示用画像データが生成される。その結果、輝度レンジ値ＹＲの低下に伴い表示用画像データの輝度が連続的に低下する。
【0058】
輝度レンジ値ＹＲが区間２の値である場合には、輝度レンジ値ＹＲの低下に伴い、表示用画像データのダイナミックレンジが、図５（ｄ）に示すダイナミックレンジから図５（ｆ）に示すダイナミックレンジへ連続的に変化する。図５（ｄ）に示すダイナミックレンジはＨＤＲ画像データのダイナミックレンジと等しく、図５（ｆ）に示すダイナミックレンジはベース画像データのダイナミックレンジと等しい。図５（ｅ）に示すように、輝度レンジ値ＹＲが２５よりも大きく７５よりも小さい場合には、ＨＤＲ画像データのダイナミックレンジよりも狭く且つベース画像データのダイナミックレンジよりも広いダイナミックレンジを有する表示用画像データが生成される。具体的には、輝度レンジ値ＹＲが２５よりも大きく７５よりも小さい場合には、以下の条件３，４を満たすダイナミックレンジを有する表示用画像データが生成される。条件３：最大階調値が、ＨＤＲ画像データのダイナミックレンジの最大階調値よりも小さく、且つ、ベース画像データのダイナミックレンジの最大階調値よりも大きい。
条件４：最小階調値が、ＨＤＲ画像データのダイナミックレンジの最小階調値よりも大きく、且つ、ベース画像データのダイナミックレンジの最小階調値よりも小さい。
【0059】
換言すれば、輝度レンジ値ＹＲが区間２の値である場合には、輝度レンジ値ＹＲの低下に伴い、表示用画像データのダイナミックレンジの最大階調値が、オーバーホワイト領域の階調値から１００％白の階調値に連続的に低下する。そして、輝度レンジ値ＹＲの低下に伴い、表示用画像データのダイナミックレンジの最小階調値が、アンダーブラック領域の階調値から０．１％黒の階調値に連続的に増加する。
【0060】
輝度レンジ値ＹＲが区間３の値である場合には、輝度レンジ値ＹＲの増加に伴い、表示用画像データのダイナミックレンジが、図５（ｄ）に示すダイナミックレンジから図５（ｃ）に示すダイナミックレンジへ連続的に変化する。具体的には、輝度レンジ値ＹＲが大きいほど大きいシフト量でＨＤＲ画像データのダイナミックレンジを高階調側にシフトしたダイナミックレンジを有する表示用画像データが生成される。その結果、輝度レンジ値ＹＲの増加に伴い表示用画像データの輝度が連続的に増加する。図５（ｃ）では、ダイナミックレンジの最大階調値が上限値に制限されている。
【0061】
以上述べたように、本実施例によれば、輝度レンジ値に応じたブレンド率とゲイン値を用いて、ベース画像データとＨＤＲ画像データとから表示用画像データ生成される。具体的には、上述した条件１，２を満たすように、表示用画像データが生成される。それにより、表示用画像データのダイナミックレンジを好適に調整することができる。具体的には、ＨＤＲ画像データと同じ表示用画像データだけでなく、ベース画像データと同じ表示用画像データを得ることができる。さらに、輝度レンジ値が連続的に変化した場合に、表示用画像データのダイナミックレンジを連続的に変更することができる。
【0062】
以下、図２３（ａ）〜２３（ｅ）を用いて、本実施例の効果についてより詳細に説明する。図２３（ａ）は、ＨＤＲ画像データとそのダイナミックレンジを示す。図２３（ｂ）は、ベース画像データとそのダイナミックレンジを示す。図２３（ｃ）は、図２３（ａ）のＨＤＲ画像データの各階調値にゲイン値＝０．５を乗算することにより生成された画像データとそのダイナミックレンジを示す。図２３（ｄ）は、図２３（ａ）のＨＤＲ画像データの階調値のうち２．５よりも大きい階調値を２．５にクリップ（制限）した画像データとそのダイナミックレンジを示す。図２３（ｅ）は、本実施例で述べた方法で生成された画像データとそのダイナミックレンジを示す。具体的には、図２３（ｅ）は、ブレンド率Ｂｌｅｎｄ＝５０とゲイン値Ｇａｉｎ＝１を用いて図２３（ａ）のＨＤＲ画像データと図２３（ｂ）のベース画像データから生成された画像データとそのダイナミックレンジを示す。つまり、図２３（ｃ），２３（ｄ），２３（ｅ）に示されている画像データは、図２３（ａ）のＨＤＲ画像データの高輝度部の輝度を互いに異なる手法でおおよそ半減した画像データである。
【0063】
ＨＤＲ画像データの各階調値に０．５を乗算するという単純な手法では、高輝度領域（ＨＤＲ画像データの階調値が５や２．５である領域）以外の領域の輝度がベース画像データに比べ非常に低い値に変換されてしまう。例えば、図２３（ｃ）に示すように、ＨＤＲ画像データの階調値０．５が、ベース画像データの階調値０．５よりも小さい階調値０．２５に変換されてしまう。その結果、画像全体の印象がベース画像データと大きく異なる画像データが得られてしまう。
【0064】
ＨＤＲ画像データの階調値のうち２．５よりも大きい階調値を２．５にクリップするという単純な手法では、高輝度領域のコントラストが大幅に低減してしまう。例えば、図２３（ｄ）に示すように、ＨＤＲ画像データの階調値５．０と、ＨＤＲ画像データの階調値２．５と、の両方が階調値２．５に変換されてしまい、高輝度領域のコントラストが大幅に低減してしまう。その結果、画像全体の印象がベース画像データと大きく異なる画像データが得られてしまう。
【0065】
これに対して、本実施例の手法では、ベース画像データの特徴を考慮して画像データが生成される。具体的には、本実施例の手法では、ＨＤＲ画像データの階調値とベース画像データの階調値がブレンド率Ｂｌｅｎｄを用いて合成され、合成後の階調値にゲイン値Ｇａｉｎが乗算される。それにより、図２３（ｅ）に示すように、高輝度領域のコントラストの低下を抑制することができると共に、画像全体の印象がベース画像データに近い画像データを得ることができる。
【0066】
以上述べたように、本実施例によれば、ゲイン調整処理のみを行う手法、リミット処理のみを行う手法、といった単純な手法と比較して、高輝度領域のコントラストが高く且つ画像全体の印象がベース画像データに近い画像データを得ることができる。
【0067】
なお、本実施例に係る画像データは、静止画像データであってもよいし、動画像データであってもよい。動画像データを処理する場合には、動画像データのフレーム毎にベース画像データと輝度差分データを取得すればよい。輝度差分データは、動画像データのシーン毎に取得されてもよい。そして、デコード処理部１０２では、フレーム毎に、ベース画像データと輝度差分データとからＨＤＲ画像データが生成されればよい。フレーム毎に輝度差分データが取得される場合には、ＨＤＲ画像データを生成するために使用する輝度差分データが、フレーム毎に切り替えられればよい。シーン毎に輝度差分データが取得される場合には、ＨＤＲ画像データを生成するために使用する輝度差分データが、シーン毎に切り替えられればよい。
【0068】
なお、上述したように、表示部１０６の表示能力は特に限定されない。例えば、表示部１０６は以下の表示能力を有していてもよい。・表示画像の輝度の下限値が０．０１（ｃｄ／ｍ２）である。
・表示画像の輝度の上限値が５００（ｃｄ／ｍ２）である。
・表示画像のコントラスト比の最大値が５００００：１である。
この場合、階調値ＰＩ＿Ｈは１０となり、階調値ＰＩ＿Ｌは０．０００１となる。
【0069】
なお、輝度レンジ値とブレンド率の対応関係、及び、輝度レンジ値とゲイン値の対応関係は、図３，４に示す対応関係に限らない。上述した条件１，２が満たされれば、どのような対応関係が使用されてもよい。例えば、区間１，３において、輝度レンジ値の変化に伴ってゲイン値が指数関数的に変化してもよい。区間２において、輝度レンジ値の変化に伴ってブレンド率が指数関数的に変化してもよい。また、図３，４の例では、ブレンド率とゲイン値の一方が輝度レンジ値の変化に伴って変化する場合に、ブレンド率とゲイン値の他方が一定に保たれる。即ち、輝度レンジ値の変化に伴って、ブレンド率とゲイン値が排他的に変化する。しかしながら、条件１，２を満たせば、輝度レンジ値の変化に伴ってブレンド率とゲイン値の両方が変化する区間が存在していてもよい。例えば、区間１、区間２、及び、区間３のうちの少なくともいずれかの区間において、輝度レンジ値の変化に伴ってブレンド率とゲイン値の両方が変化してもよい。
【0070】
なお、上述したように、輝度差分データは、逆トーンマップに限らない。例えば、輝度差分データとして輝度比率データが取得され、輝度比率データを用いてＨＤＲ画像データが生成されてもよい。輝度比率データから逆トーンマップが生成され、生成された逆トーンマップを用いてＨＤＲ画像データが生成されてもよい。逆トーンマップは生成されずに、輝度比率データからＨＤＲ画像データが生成されてもよい。
【0071】
なお、本実施例では、ユーザ操作に応じた輝度レンジ値を取得する例を説明したが、これに限らない。例えば、画像処理装置や画像表示装置の動作モードに応じて輝度レンジ値が決定されてもよい。具体的には、大電力モード、中電力モード、及び、小電力モードを含む複数の動作モードのいずれかが設定されてもよい。大電力モードは、画像表示装置の消費電力が大きい動作モードであり、中電力モードは、大電力モードよりも消費電力が小さい動作モードであり、小電力モードは、中電力モードよりも消費電力が小さい動作モードである。そして、大電力モードが設定されている場合に輝度レンジ値ＹＲ＝７５が設定され、中電力モードが設定されている場合に輝度レンジ値ＹＲ＝５０が設定され、小電力モードが設定されている場合に輝度レンジ値ＹＲ＝２５が設定されてもよい。
【0072】
＜実施例２＞以下、本発明の実施例２に係る画像処理装置及び画像処理方法について説明する。
実施例１では、区間２において、ベース画像データの階調値とＨＤＲ画像データの階調値を合成することにより、表示用画像データが生成される。そのため、実施例１では、ベース画像データの重みの増加（輝度レンジ値ＹＲの低下）に伴って、低階調側の階調値が増加してしまう。換言すれば、輝度レンジ値ＹＲの低下に伴って、低階調側の階調値を有する画像領域（低階調領域）の表示輝度が増加してしまう。
そこで、本実施例では、区間２において、輝度レンジ値ＹＲに依らず、ダイナミックレンジの最小階調値がＨＤＲ画像データのダイナミックレンジの最小階調値と同じ表示用画像データを生成することができる構成について説明する。具体的には、区間２において、輝度レンジ値ＹＲの低下に伴って表示用画像データの最小階調値が増加せず、輝度レンジ値ＹＲの低下に伴って表示用画像データの最大階調値が低下するように、表示用画像データを生成することができる構成について説明する。このような構成によれば、輝度レンジ値ＹＲの低下に伴う低階調領域の表示輝度の増加を抑制することができる。
以下では、実施例１と異なる構成や処理について詳しく説明し、実施例１と同様の構成や処理については説明を省略する。
本実施例に係る画像処理装置は、実施例１（図１）と同様の構成を有する。但し、本実施例では、調整値処理部１０３の処理が実施例１と異なる。
【0073】
図６は、本実施例に係る調整値処理部１０３の機能構成の一例を示すブロック図である。図６に示すように、本実施例に係る調整値処理部１０３は、第１ブレンド率決定部２０１１、第２ブレンド率決定部２０１２、ブレンド率合成部２０１３、ゲイン値決定部２０１４を備える。
【0074】
第１ブレンド率決定部２０１１、第２ブレンド率決定部２０１２、及び、ブレンド率合成部２０１３により、ブレンド率Ｂｌｅｎｄが決定される。本実施例では、画素毎に、輝度レンジ値ＹＲとＨＤＲ画像データの階調値との組み合わせに応じて、ブレンド率Ｂｌｅｎｄが決定される。そして、ブレンド部１０４では、ブレンド率Ｂｌｅｎｄを用いてベース画像データの階調値とＨＤＲ画像データの階調値とを合成する処理を画素毎に行うことにより、合成画像データが生成される。
【0075】
本実施例では、不図示の記憶部に、輝度レンジ値と第１ブレンド率との対応関係を表すルックアップテーブルである第１ブレンド特性情報が予め記録されている。第１ブレンド率決定部２０１１は、第１ブレンド特性情報から、輝度レンジ値ＹＲに対応する第１ブレンド率Ｂｌｅｎｄ＿１を読み出し、読み出した第１ブレンド率Ｂｌｅｎｄ＿１を出力する。
なお、第１ブレンド特性情報は、ルックアップテーブルに限らない。例えば、第１ブレンド特性情報は、輝度レンジ値と第１ブレンド率との対応関係を表す関数であってもよい。そして、第１ブレンド特性情報を用いて、輝度レンジ値ＹＲから第１ブレンド率Ｂｌｅｎｄ＿１が算出されてもよい。
【0076】
本実施例では、不図示の記憶部に、ＨＤＲ画像データの取り得る階調値と第２ブレンド率との対応関係を表すルックアップテーブルである第２ブレンド特性情報が予め記録されている。第２ブレンド率決定部２０１２は、第２ブレンド特性情報から、ＨＤＲ画像データの階調値ＨＩに対応する第２ブレンド率Ｂｌｅｎｄ＿２を読み出し、読み出した第２ブレンド率Ｂｌｅｎｄ＿２を出力する処理を、画素毎に行う。
なお、第２ブレンド特性情報は、ルックアップテーブルに限らない。例えば、第２ブレンド特性情報は、階調値と第２ブレンド率との対応関係を表す関数であってもよい。そして、第２ブレンド特性情報を用いて、階調値ＨＩから第２ブレンド率Ｂｌｅｎｄ＿２が算出されてもよい。
【0077】
ブレンド率合成部２０１３は、第１ブレンド率決定部２０１１から出力された第１ブレンド率Ｂｌｅｎｄ＿１と、第２ブレンド率決定部２０１２から出力された第２ブレンド率Ｂｌｅｎｄ＿２と、を合成することにより、ブレンド率Ｂｌｅｎｄを決定する。本実施例では、第１ブレンド率Ｂｌｅｎｄ＿１に第２ブレンド率Ｂｌｅｎｄ＿２を加算することにより、ブレンド率Ｂｌｅｎｄが算出される。第１ブレンド率Ｂｌｅｎｄ＿１に第２ブレンド率Ｂｌｅｎｄ＿２を加算した合成ブレンド率が１００よりも大きい場合には、１００よりも大きい合成ブレンド率を１００に制限することにより、ブレンド率Ｂｌｅｎｄが決定される。そのため、ブレンド率Ｂｌｅｎｄとして、０以上且つ１００以下の値が得られる。そして、ブレンド率合成部２０１３は、決定したブレンド率Ｂｌｅｎｄを出力する。
ブレンド率合成部２０１３は、ブレンド率Ｂｌｅｎｄを決定して出力する処理を画素毎に行う。
【0078】
なお、ブレンド率の合成方法は上記方法に限らない。例えば、第２ブレンド率Ｂｌｅｎｄ＿２として、第１ブレンド率Ｂｌｅｎｄ＿１に乗算する値が取得されてもよい。そして、第１ブレンド率Ｂｌｅｎｄ＿１に第２ブレンド率Ｂｌｅｎｄ＿２を乗算することによりブレンド率Ｂｌｅｎｄが算出されてもよい。
【0079】
ゲイン値決定部２０１４は、実施例１のゲイン値決定部１０３２と同じ処理を行う。
【0080】
図７は、第２ブレンド特性情報（階調値と第２ブレンド率との対応関係）の一例を示す図である。本実施例では、第１ブレンド特性情報として実施例１（図３）のブレンド特性情報が使用され、ゲイン特性情報として実施例１（図４）のゲイン特性情報が使用される場合の例を説明する。そして、本実施例では、図７に示す第２ブレンド特性情報が使用される場合の例を説明する。
【0081】
第２ブレンド特性情報では、ベース画像データのダイナミックレンジの最小階調値０．００１以下の合成画像データの階調値としてＨＤＲ画像データの階調値と同じ階調値が得られるように、第２ブレンド率が設定されている。図７の例では、ＨＤＲ画像データの階調値ＨＩ＝０．００１以下の階調範囲の第２ブレンド率として１００％（一定値）が設定されている。階調値ＨＩ＝０．００１以上且つ階調値ＨＩ＝０．１以下の階調範囲に対して、階調値の増加に伴って１００％から０％に線形に減少する第２ブレンド率が設定されている。そして、階調値ＨＩ＝０．００１以上の階調範囲の第２ブレンド率として０％（一定値）が設定されている。
【0082】
図３に示す第１ブレンド特性情報と、図７に示す第２ブレンド特性情報と、を用いた場合の、輝度レンジ値ＹＲとブレンド率Ｂｌｅｎｄとの対応関係の一例を、図８に示す。図８には、３つの階調値ＨＩ＝０．００１，０．０１，０．１について対応関係が示されている。
【0083】
ＨＤＲ画像データの階調値ＨＩ＝０．００１の画素に対しては第２ブレンド率として１００％が得られる。そのため、図８の一点鎖線で示すように、階調値ＨＩ＝０．００１の画素に対しては、輝度レンジ値ＹＲに拘らず、ブレンド率Ｂｌｅｎｄとして常に１００％が得られる。階調値ＨＩ＝０．０１の画素に対しては第２ブレンド率として５０％が得られる。そのため、図８の破線で示すように、階調値ＨＩ＝０．０１の画素に対しては、輝度レンジ値ＹＲが区間１の値であるときのブレンド率Ｂｌｅｎｄとして５０％が得られる。
そして、階調値ＨＩ＝０．１の画素に対しては第２ブレンド率として０％が得られる。そのため、図８の実線で示すように、階調値ＨＩ＝０．１の画素に対しては、実施例１と同じブレンド率Ｂｌｅｎｄが得られる。
【0084】
したがって、ＨＤＲ画像データの階調値ＨＩ＝０．００１以下の画素については、合成画像データの階調値として、輝度レンジ値に拘らず、階調値ＨＩと同じ値が設定される。そして、０．００１＜階調値ＨＩ＜０．１の画素については、輝度レンジ値ＹＲが小さい場合に、合成画像データの階調値として、実施例１よりも小さい（暗い）階調値が設定される。そして、階調値ＨＩ＝０．１以上の画素については、合成画像データの階調値として、実施例１と同じ階調値が設定される。
【0085】
輝度レンジ値の区間１〜３のそれぞれにおける処理について説明する。
【0086】
輝度レンジ値ＹＲが区間１の値（第２の値（２５）よりも小さい値）である場合には、輝度レンジ値ＹＲが小さいほどダイナミックレンジの最大階調値が小さい表示用画像データが生成される。具体的には、輝度レンジ値ＹＲが区間１の値である場合には、図８に示すように、ＨＤＲ画像データの画素の階調値が小さいほど大きいブレンド率Ｂｌｅｎｄが使用される。それにより、以下の条件５，６を満たすように、合成画像データが生成される。
条件５：ＨＤＲ画像データの画素の階調値が小さいほど当該画素の階調値がＨＤＲ画像データの当該画素の階調値に近い合成画像データが生成される。
条件６：ＨＤＲ画像データの画素の階調値が大きいほど当該画素の階調値がベース画像データの当該画素の階調値に近い合成画像データが生成される。
そして、輝度レンジ値ＹＲが区間１の値である場合には、実施例１と同様に、輝度レンジ値ＹＲの増加に伴って増加し、且つ、１．０よりも小さいゲイン値Ｇａｉｎが使用される。それにより、輝度レンジ値ＹＲが小さいほど小さい階調値を有する表示用画像データが生成される。
【0087】
輝度レンジ値ＹＲが区間２の値（第２の値以上且つ第１の値以下の値）である場合には、実施例１と同様に、ゲイン値Ｇａｉｎ＝１．０が使用される。そのため、輝度レンジ値ＹＲが区間２の値である場合には、合成画像データと同じ表示用画像データが生成される。即ち、輝度レンジ値ＹＲとＨＤＲ画像データの階調値との組み合わせに応じた重みでベース画像データの階調値とＨＤＲ画像データの階調値とを合成する処理を画素毎に行うことにより、表示用画像データが生成される。
【0088】
輝度レンジ値ＹＲが第１の値（７５）である場合には、ＨＤＲ画像データの階調値ＨＩに拘らず、ブレンド率Ｂｌｅｎｄ＝１００が使用される。それにより、ＨＤＲ画像データと同じ表示用画像データ（＝合成画像データ）が生成され、条件１が満たされる。そして、輝度レンジ値ＹＲが第１の値よりも小さく且つ第２の値以上である場合には、輝度レンジ値ＹＲの増加に伴って１００％まで連続的に増加し、且つ、階調値ＨＩの低下に伴って１００％まで連続的に増加するブレンド率Ｂｌｅｎｄが使用される。また、ＨＤＲ画像データの取り得る階調値の最小値と、輝度レンジ値ＹＲの下限値と、の組み合わせに対応するブレンド率Ｂｌｅｎｄとして、０％が使用される。それにより、実施例１で述べた上限２と、以下の条件７，８と、を満たすように、表示用画像データ（＝合成画像データ）が生成される。条件２，７，８が満たされることにより、実施例１で述べた条件１も満たされる。
条件７：ＨＤＲ画像データの画素の階調値が小さいほど当該画素の階調値がＨＤＲ画像データの当該画素の階調値に近い表示用画像データが生成される。
条件８：輝度レンジ値ＹＲが大きいほどＨＤＲ画像データに近い表示用画像データが生成される。
【0089】
輝度レンジ値ＹＲが区間３の値（第１の値（７５）よりも大きい値）である場合には、輝度レンジ値ＹＲが大きいほどダイナミックレンジの最大階調値が大きい表示用画像データが生成される。具体的には、輝度レンジ値ＹＲが区間３の値である場合には、実施例１と同様に、ＨＤＲ画像データの階調値ＨＩに拘らず、ブレンド率Ｂｌｅｎｄ＝１００が使用される。それにより、ＨＤＲ画像データと同じ合成画像データが生成される。
そして、輝度レンジ値ＹＲが区間３の値である場合には、輝度レンジ値ＹＲの増加に伴って増加し、且つ、１．０よりも大きいゲイン値Ｇａｉｎが使用される。それにより、輝度レンジ値ＹＲが大きいほど大きい階調値を有する表示用画像データが生成される。
【0090】
図９（ａ）〜９（ｇ）を用いて、本実施例に係る表示用画像データとそのダイナミックレンジについてより詳細に説明する。図９（ａ）〜９（ｇ）は、本実施例に係る画像データとそのダイナミックレンジ（輝度レンジ）の一例を示す図である。図９（ａ）〜９（ｇ）において、画像データ（画像データが表す画像）に記載されている数字は、その数字が記載されている領域の階調値である。
図９（ａ）〜９（ｇ）は、図３，４，７に示す情報を使用した場合の例を示す。
【0091】
図９（ａ）は、ＨＤＲ画像データとそのダイナミックレンジを示す。図９（ｂ）は、ベース画像データとそのダイナミックレンジを示す。
図９（ｃ）は、輝度レンジ値ＹＲ＝１００のときの表示用画像データとそのダイナミックレンジを示す。
図９（ｄ）は、輝度レンジ値ＹＲ＝７５のときの表示用画像データとそのダイナミックレンジを示す。
図９（ｅ）は、輝度レンジ値ＹＲ＝５０のときの表示用画像データとそのダイナミックレンジを示す。
図９（ｆ）は、輝度レンジ値ＹＲ＝２５のときの表示用画像データとそのダイナミックレンジを示す。
図９（ｇ）は、輝度レンジ値ＹＲ＝０のときの表示用画像データとそのダイナミックレンジを示す。
【0092】
図９（ａ）〜９（ｇ）から、表示用画像データの階調値の上限値が１０であり、表示用画像データの階調値の下限値が０．０００１であることがわかる。図９（ａ）から、ＨＤＲ画像データが、最小階調値＝０．０００５且つ最大階調値＝５．０のダイナミックレンジを有していることがわかる。
図９（ｂ）から、ベース画像データが、最小階調値＝０．００１且つ最大階調値＝１．０のダイナミックレンジを有していることがわかる。
【0093】
輝度レンジ値ＹＲが区間１の値である場合には、輝度レンジ値ＹＲの低下に伴い、表示用画像データのダイナミックレンジが、図９（ｆ）に示すダイナミックレンジから図９（ｇ）に示すダイナミックレンジへ連続的に変化する。具体的には、輝度レンジ値ＹＲが小さいほど大きいシフト量で図９（ｆ）に示すダイナミックレンジを低階調側にシフトしたダイナミックレンジを有する表示用画像データが生成される。その結果、輝度レンジ値ＹＲの低下に伴い表示用画像データの輝度が連続的に低下する。図９（ｇ）では、ダイナミックレンジの最小階調値が下限値に制限されている。
【0094】
輝度レンジ値ＹＲが区間２の値である場合には、輝度レンジ値ＹＲの低下に伴い、表示用画像データのダイナミックレンジが、図９（ｄ）に示すダイナミックレンジから図９（ｆ）に示すダイナミックレンジへ連続的に変化する。図９（ｄ）に示すダイナミックレンジはＨＤＲ画像データのダイナミックレンジと等しい。そして、図９（ｆ）に示すダイナミックレンジの最大階調値はベース画像データのダイナミックレンジの最大階調値と等しく、図９（ｆ）に示すダイナミックレンジの最小階調値はＨＤＲ画像データのダイナミックレンジの最小階調値と等しい。図９（ｅ）に示すように、輝度レンジ値ＹＲが２５よりも大きく７５よりも小さい場合には、ＨＤＲ画像データのダイナミックレンジよりも狭く且つベース画像データのダイナミックレンジよりも広いダイナミックレンジを有する表示用画像データが生成される。具体的には、輝度レンジ値ＹＲが２５よりも大きく７５よりも小さい場合には、以下の条件９，１０を満たすダイナミックレンジを有する表示用画像データが生成される。
条件９：最大階調値が、ＨＤＲ画像データのダイナミックレンジの最大階調値よりも小さく、且つ、ベース画像データのダイナミックレンジの最大階調値よりも大きい。
条件１０：最小階調値が、ＨＤＲ画像データのダイナミックレンジの最小階調値と等しい。
【0095】
換言すれば、輝度レンジ値ＹＲが区間２の値である場合には、輝度レンジ値ＹＲの低下に伴い、表示用画像データのダイナミックレンジの最大階調値が、ＨＤＲ画像データのダイナミックレンジの最大階調値から１００％白の階調値に連続的に低下する。そして、そして、輝度レンジ値ＹＲに拘らず、表示用画像データのダイナミックレンジの最小階調値として、ＨＤＲ画像データのダイナミックレンジの最小階調値と同じ値が設定される。これは、ＨＤＲ画像データの階調値が小さいほど大きい第２ブレンド率Ｂｌｅｎｄ＿２が取得されることに起因する。それにより、輝度レンジ値ＹＲが連続的に変化した場合に、ＨＤＲ画像データと同じ階調値から、ベース画像データに非常に近い階調値まで、表示用画像データの高階調領域の階調値を連続的に変更することができる。高階調領域は、高階調側の階調値を有する画像領域である。表示用画像データのダイナミックレンジの最大階調値と同じ階調値を有する画素については、ＨＤＲ画像データと同じ階調値から、ベース画像データと同じ階調値まで、表示用画像データの階調値を連続的に変更することができる。
さらに、輝度レンジ値ＹＲの低下に伴う低階調領域の階調値の増加を抑制することができる。
【0096】
輝度レンジ値ＹＲが区間３の値である場合には、輝度レンジ値ＹＲの増加に伴い、表示用画像データのダイナミックレンジが、図９（ｄ）に示すダイナミックレンジから図９（ｃ）に示すダイナミックレンジへ連続的に変化する。具体的には、輝度レンジ値ＹＲが大きいほど大きいシフト量でＨＤＲ画像データのダイナミックレンジを高階調側にシフトしたダイナミックレンジを有する表示用画像データが生成される。その結果、輝度レンジ値ＹＲの増加に伴い表示用画像データの輝度が連続的に増加する。図９（ｃ）では、ダイナミックレンジの最大階調値が上限値に制限されている。
【0097】
以上述べたように、本実施例によれば、実施例１で述べた条件１，２を満たすように、表示用画像データが生成される。さらに、本実施例によれば、表示用画像データを生成する際に、輝度レンジ値とＨＤＲ画像データの階調値との組み合わせに応じたブレンド率が使用される。それにより、表示用画像データのダイナミックレンジを好適に調整することができる。具体的には、ＨＤＲ画像データと同じ表示用画像データだけでなく、高階調領域の階調値がベース画像データの階調値に非常に近い表示用画像データを得ることができる。また、輝度レンジ値の低下に伴う低階調領域の階調値の増加を抑制することができる。さらに、輝度レンジ値が連続的に変化した場合に、表示用画像データのダイナミックレンジを連続的に変更することができる。
【0098】
なお、輝度レンジ値と第１ブレンド率の対応関係、階調値と第２ブレンド率の対応関係、及び、輝度レンジ値とゲイン値の対応関係は、図３，４，７に示す対応関係に限らない。上述した条件１，２が満たされれば、どのような対応関係が使用されてもよい。なお、輝度差分データは、逆トーンマップに限らない。例えば、輝度差分データは輝度比率データであってもよい。
【0099】
＜実施例３＞以下、本発明の実施例３に係る画像処理装置及び画像処理方法について説明する。
実施例１，２では、ベース画像データとＨＤＲ画像データを用いて表示用画像データを
生成する例を説明した。
本実施例では、ベース画像データと輝度差分データを用いて表示用画像データを生成する例を説明する。
【0100】
図１０は、本実施例に係る画像処理装置３００の機能構成の一例を示すブロック図である。図１０に示すように、画像処理装置３００は、表示部１０６、輝度差分データ変換部３０１、画像変換部３０２、等を有する。
なお、図１０において、実施例１（図１）と同じ機能部及びデータには実施例１と同じ符号を付し、その説明は省略する。
【0101】
画像処理装置３００には、実施例１と同様に、ＨＤＲファイル１０１と輝度レンジ値ＹＲが入力される。本実施例では、実施例１と同様に、ＨＤＲファイル１０１に含まれている輝度差分データが逆トーンマップである場合の例を説明する。
【0102】
輝度差分データ変換部３０１と画像変換部３０２により、ベース画像データ、輝度差分データ、及び、輝度レンジ値ＹＲに基づいて、表示用画像データが生成される。輝度差分データ変換部３０１は、輝度レンジ値ＹＲに基づいて輝度差分データが表すＨＤＲ画像データの階調値を補正することにより、ベース画像データの階調値と表示用画像データの階調値との対応関係を表す補正輝度差分データを生成する。換言すれば、輝度差分データ変換部３０１は、輝度レンジ値ＹＲに基づいて輝度差分データを補正輝度差分データ（変換輝度差分データ）に変換する。そして、輝度差分データ変換部３０１は、変換輝度差分データ（変換逆トーンマップ）を出力する。
画像変換部３０２は、輝度差分データ変換部３０１から出力された変換逆トーンマップを用いてベース画像データの階調値を表示用画像データの階調値に変換することにより、表示用画像データを生成する。換言すれば、画像変換部３０２は、変換逆トーンマップを用いてベース画像データを表示用画像データに変換する。そして、画像変換部３０２は、表示用画像データを出力する。
【0103】
輝度差分データ変換部３０１の処理についてより詳細に説明する。本実施例では、不図示の記憶部に、複数のルックアップテーブル（ベース画像データの階調値と表示用画像データの階調値との対応関係を表すルックアップテーブル）が予め記録されている。
そして、予め用意された複数のルックアップテーブルと、ＨＤＲファイル１０１に含まれている逆トーンマップと、を用いて、変換逆トーンマップが生成される。
【0104】
本実施例では、図１１に示す３つのルックアップテーブルＬＵＴ１〜ＬＵＴ３が予め用意されている場合の例を説明する。図１１には、ＨＤＲファイル１０１に含まれている逆トーンマップＬＵＴ０も図示されている。本実施例では、ＬＵＴ０〜３を用いて、変換逆トーンマップＬＵＴ４が生成される。
なお、予め用意されるルックアップテーブルの数は３つより多くてもよい。
【0105】
輝度レンジ値ＹＲが第１の値（７５）である場合には、ＬＵＴ０と同じＬＵＴ４が生成される。そのため、輝度レンジ値ＹＲが第１の値（７５）である場合には、ＨＤＲ画像データと同じ表示用画像データが生成される。ＬＵＴ０と同じＬＵＴ４を用いた場合には、ベース画像データの階調値ＢＩ＝０．００１は、表示用画像データの階調値ＰＩ＝０．０００１に変換される。階調値ＢＩ＝１．０は、階調値ＰＩ＝５．０に変換される。そして、階調値ＢＩの増加に伴って階調値ＰＩが線形に増加するように、階調値ＢＩが階調値ＰＩに変換される。階調値ＢＩ＝０．００１
は、ベース画像データの取り得る階調値の最小値であり、階調値ＢＩ＝１．０は、ベース画像データの取り得る階調値の最大値である。階調値ＰＩ＝０．０００１は、ＨＤＲ画像データの取り得る階調値の最小値であり、階調値ＰＩ＝５．０は、ＨＤＲ画像データの取り得る階調値の最大値である。
以後、ベース画像データの取り得る階調値の最小値を“ベース最小値”と記載し、ベース画像データの取り得る階調値の最大値を“ベース最大値”と記載する。また、ＨＤＲ画像データの取り得る階調値の最小値を“ＨＤＲ最小値”と記載し、ＨＤＲ画像データの取り得る階調値の最大値を“ＨＤＲ最大値”と記載する。
【0106】
輝度レンジ値ＹＲが１００である場合には、ＬＵＴ１と同じＬＵＴ４が生成される。ＬＵＴ１と同じＬＵＴ４を用いた場合には、階調値ＢＩ＝１．０に対応する階調値ＰＩとして、ＨＤＲ最大値（階調値ＨＩ＝５．０）よりも大きい階調値ＰＩが得られる。具体的には、ベース最大値よりも小さい所定の階調値まで階調値ＢＩが増加したときに階調値ＰＩが上限値に達するように、階調値ＢＩの増加に伴って階調値ＰＩが増加する。より具体的には、０．００１≦階調値ＢＩ≦０．５の階調範囲では、階調値ＢＩの増加に伴って階調値ＰＩが０．００１から１０（上限値）まで線形に増加するように、階調値ＢＩが階調値ＰＩに変換される。そして、０．５≦階調値ＢＩの階調範囲では、階調値ＢＩが階調値ＰＩ＝１０（上限値）に変換される。
【0107】
輝度レンジ値ＹＲが第２の値（２５）である場合には、ＬＵＴ２と同じＬＵＴ４が生成される。ＬＵＴ２と同じＬＵＴ４を用いた場合には、階調値ＢＩ＝０．００１は、階調値ＰＩ＝０．０００１に変換される。階調値ＢＩ＝１．０は、階調値ＰＩ＝１．０に変換される。即ち、階調値ＢＩ＝１．０に対応する階調値ＰＩとして、ベース最大値と等しい階調値ＰＩが得られる。そして、階調値ＢＩの増加に伴って階調値ＰＩが線形に増加するように、階調値ＢＩが階調値ＰＩに変換される。
【0108】
輝度レンジ値ＹＲが０である場合には、ＬＵＴ３と同じＬＵＴ４が生成される。ＬＵＴ３と同じＬＵＴ４を用いた場合には、階調値ＢＩ＝０．００１は、階調値ＰＩ＝０．０００１に変換される。階調値ＢＩ＝１．０は、階調値ＰＩ＝０．１に変換される。即ち、階調値ＢＩ＝１．０に対応する階調値ＰＩとして、ベース最大値よりも小さい階調値ＰＩが得られる。そして、階調値ＢＩの増加に伴って階調値ＰＩが線形に増加するように、階調値ＢＩが階調値ＰＩに変換される。
【0109】
ＨＤＲ最小値は、表示用画像データの階調値の下限値である可能性が高い。そして、表示用画像データの階調値の上限値と下限値、及び、画像処理装置に入力される画像データ（ベース画像データ）のダイナミックレンジは、予め把握することができる。そのため、それらの情報を用いることにより、ＬＵＴ１〜ＬＵＴ３を予め生成することができる。なお、複数のルックアップテーブル（ベース画像データの階調値と表示用画像データの階調値との対応関係を表すルックアップテーブル）は予め用意されていなくてもよい。例えば、逆トーンマップＬＵＴ０から、ベース画像データのダイナミックレンジと、ＨＤＲ画像データのダイナミックレンジと、が把握されてもよい。そして、ベース画像データのダイナミックレンジ、ＨＤＲ画像データのダイナミックレンジ、及び、表示用画像データの階調値の上限値と下限値、に基づいて、複数のルックアップテーブルが生成されてもよい。それにより、ＨＤＲ画像データのダイナミックレンジやベース画像データのダイナミックレンジが変化する場合において、より好ましい複数のルックアップテーブルを生成することが可能となる。
【0111】
まず、輝度差分データ変換部３０１が、第１の値（７５）＜輝度レンジ値ＹＲ≦１００であるか否かを判断する（Ｓ３０１１）。即ち、輝度レンジ値ＹＲが区間３の値であるか否かが判断される。輝度レンジ値ＹＲが区間３の値である場合には、Ｓ３０１２に処理が進められ、輝度レンジ値ＹＲが区間３の値でない場合には、Ｓ３０１４に処理が進められる。
【0112】
Ｓ３０１２では、輝度差分データ変換部３０１が、ＬＵＴ０とＬＵＴ１を選択する。そして、Ｓ３０１３に処理が進められる。Ｓ３０１３では、輝度差分データ変換部３０１が、輝度レンジ値ＹＲに応じた重みでＬＵＴ０とＬＵＴ１を合成することにより、ＬＵＴ４を生成する。具体的には、以下の式４を用いてＬＵＴ４が生成される。
ＬＵＴ４＝
（（ＹＲ−７５）／２５）×ＬＵＴ１＋（（１００−ＹＲ）／２５）×ＬＵＴ０
・・・（式４）
【0113】
Ｓ３０１４では、輝度差分データ変換部３０１が、第２の値（２５）≦輝度レンジ値ＹＲ≦第１の値（７５）であるか否かを判断する。即ち、輝度レンジ値ＹＲが区間２の値であるか否かが判断される。輝度レンジ値ＹＲが区間２の値である場合には、Ｓ３０１５に処理が進められ、輝度レンジ値ＹＲが区間２の値でない場合には、Ｓ３０１７に処理が進められる。
【0114】
Ｓ３０１５では、輝度差分データ変換部３０１が、ＬＵＴ０とＬＵＴ２を選択する。そして、Ｓ３０１６に処理が進められる。Ｓ３０１６では、輝度差分データ変換部３０１が、輝度レンジ値ＹＲに応じた重みでＬＵＴ０とＬＵＴ２を合成することにより、ＬＵＴ４を生成する。具体的には、以下の式５を用いてＬＵＴ４が生成される。
ＬＵＴ４＝
（（ＹＲ−２５）／５０）×ＬＵＴ０＋（（７５−ＹＲ）／５０）×ＬＵＴ２
・・・（式５）
【0115】
Ｓ３０１７では、輝度差分データ変換部３０１が、０≦輝度レンジ値ＹＲ＜第２の値（２５）であると判断し、ＬＵＴ２とＬＵＴ３を選択する。即ち、Ｓ３０１７では、輝度レンジ値ＹＲが区間１の値であると判断され、ＬＵＴ２とＬＵＴ３が選択される。そして、Ｓ３０１８に処理が進められる。Ｓ３０１８では、輝度差分データ変換部３０１が、輝度レンジ値ＹＲに応じた重みでＬＵＴ２とＬＵＴ３を合成することにより、ＬＵＴ４を生成する。具体的には、以下の式６を用いてＬＵＴ４が生成される。
ＬＵＴ４＝
（ＹＲ／２５）×ＬＵＴ２＋（（２５−ＹＲ）／２５）×ＬＵＴ３
・・・（式６）
【0116】
画像変換部３０２では、以下の式７を用いて、ベース画像データの階調値ＢＩが表示用画像データの階調値ＰＩに変換される。式７において、ＬＵＴ４（ｘ）のｘは、ＬＵＴ４の入力階調値である。ＰＩ＝ＬＵＴ４（ＢＩ） ・・・（式７）
【0117】
このように、本実施例では、予め用意された複数のＬＵＴと、ＨＤＲファイル１０１に含まれているＬＵＴ（逆トーンマップ）と、の中から２つのＬＵＴ（第１ＬＵＴと第２ＬＵＴ）が選択される。そして、輝度レンジ値ＹＲに応じた重みで第１ＬＵＴと第２ＬＵＴを合成することにより、ＬＵＴ４（変換逆トーンマップ）が生成される。
【0118】
それにより、ＬＵＴ４として、第１ＬＵＴ、第２ＬＵＴ、または、中間ＬＵＴを生成することができる。中間ＬＵＴは、第１ＬＵＴの変換特性（階調値ＢＩの変化に対する階調値ＰＩの変化を表す特性）と、第２ＬＵＴの変換特性と、の間の変換特性を有するＬＵＴである。
【0119】
輝度レンジ値ＹＲが区間１の値である場合には、以下の条件１１，１２を満たす変換逆トーンマップが生成される。条件１１：ベース最大値に対応する表示用画像データの階調値がＨＤＲ画像データの取り得る階調値の最大値よりも小さい。
条件１２：輝度レンジ値ＹＲが小さいほどベース最大値に対応する表示用画像データの階調値が小さい。
【0120】
輝度レンジ値ＹＲが区間２の値である場合には、輝度レンジ値ＹＲが小さいほどベース最大値に対応する表示用画像データの階調値がベース最大値に近い逆トーンマップが生成される。なお、輝度レンジ値ＹＲが第１の値（７５）である場合には、ＨＤＲファイル１０１に含まれている逆トーンマップと同じ変換逆トーンマップが生成される。
【0121】
輝度レンジ値ＹＲが区間３の値である場合には、以下の条件１３，１４を満たす変換逆トーンマップが生成される。条件１３：ベース最大値に対応する表示用画像データの階調値がＨＤＲ最大値以上である。
条件１４：輝度レンジ値ＹＲが大きいほどベース最大値に対応する表示用画像データの階調値が大きい。
【0122】
図１３（ａ）〜１３（ｇ）を用いて、本実施例に係る表示用画像データとそのダイナミックレンジについてより詳細に説明する。図１３（ａ）〜１３（ｇ）は、本実施例に係る画像データとそのダイナミックレンジ（輝度レンジ）の一例を示す図である。図１３（ａ）〜１３（ｇ）において、画像データ（画像データが表す画像）に記載されている数字は、その数字が記載されている領域の階調値である。
図１３（ａ）〜１３（ｇ）は、図１１に示すＬＵＴを使用した場合の例を示す。
【0123】
図１３（ａ）は、ＨＤＲ画像データとそのダイナミックレンジを示す。図１３（ｂ）は、ベース画像データとそのダイナミックレンジを示す。
図１３（ｃ）は、輝度レンジ値ＹＲ＝１００のときの表示用画像データとそのダイナミックレンジを示す。
図１３（ｄ）は、輝度レンジ値ＹＲ＝７５のときの表示用画像データとそのダイナミックレンジを示す。
図１３（ｅ）は、輝度レンジ値ＹＲ＝５０のときの表示用画像データとそのダイナミックレンジを示す。
図１３（ｆ）は、輝度レンジ値ＹＲ＝２５のときの表示用画像データとそのダイナミックレンジを示す。
図１３（ｇ）は、輝度レンジ値ＹＲ＝０のときの表示用画像データとそのダイナミックレンジを示す。
【0124】
図１３（ａ）〜１３（ｇ）から、表示用画像データの階調値の上限値が１０であり、表示用画像データの階調値の下限値が０．０００１であることがわかる。図１３（ａ）から、ＨＤＲ画像データが、最小階調値＝０．０００５且つ最大階調値＝５．０のダイナミックレンジを有していることがわかる。
図１３（ｂ）から、ベース画像データが、最小階調値＝０．００１且つ最大階調値＝１．０のダイナミックレンジを有していることがわかる。
【0125】
輝度レンジ値ＹＲが区間１の値である場合には、輝度レンジ値ＹＲの低下に伴い、表示用画像データのダイナミックレンジが、図１３（ｆ）に示すダイナミックレンジから図１３（ｇ）に示すダイナミックレンジへ連続的に変化する。具体的には、輝度レンジ値ＹＲの低下に伴い、表示用画像データのダイナミックレンジの最大階調値が、１００％白の階調値から連続的に低下する。そして、輝度レンジ値ＹＲに拘らず、表示用画像データのダイナミックレンジの最小階調値として、ＨＤＲ画像データのダイナミックレンジの最小階調値と同じ値が設定される。その結果、輝度レンジ値ＹＲの低下に伴い表示用画像データの輝度が連続的に低下する。
【0126】
輝度レンジ値ＹＲが区間２の値である場合には、輝度レンジ値ＹＲの低下に伴い、表示用画像データのダイナミックレンジが、図１３（ｄ）に示すダイナミックレンジから図１３（ｆ）に示すダイナミックレンジへ連続的に変化する。図１３（ｄ）に示すダイナミックレンジはＨＤＲ画像データのダイナミックレンジと等しい。そして、図１３（ｆ）に示すダイナミックレンジの最大階調値はベース画像データのダイナミックレンジの最大階調値と等しく、図１３（ｆ）に示すダイナミックレンジの最小階調値はＨＤＲ画像データのダイナミックレンジの最小階調値と等しい。図１３（ｅ）に示すように、輝度レンジ値ＹＲが２５よりも大きく７５よりも小さい場合には、ＨＤＲ画像データのダイナミックレンジよりも狭く且つベース画像データのダイナミックレンジよりも広いダイナミックレンジを有する表示用画像データが生成される。具体的には、輝度レンジ値ＹＲが２５よりも大きく７５よりも小さい場合には、以下の条件１５，１６を満たすダイナミックレンジを有する表示用画像データが生成される。条件１５：最大階調値が、ＨＤＲ画像データのダイナミックレンジの最大階調値よりも小さく、且つ、ベース画像データのダイナミックレンジの最大階調値よりも大きい。
条件１６：最小階調値が、ＨＤＲ画像データのダイナミックレンジの最小階調値と等しい。
【0127】
換言すれば、輝度レンジ値ＹＲが区間２の値である場合には、輝度レンジ値ＹＲの低下に伴い、表示用画像データのダイナミックレンジの最大階調値が、ＨＤＲ画像データのダイナミックレンジの最大階調値から１００％白の階調値に連続的に低下する。そして、そして、輝度レンジ値ＹＲに拘らず、表示用画像データのダイナミックレンジの最小階調値として、ＨＤＲ画像データのダイナミックレンジの最小階調値と同じ値が設定される。それにより、輝度レンジ値ＹＲが連続的に変化した場合に、ＨＤＲ画像データと同じ階調値から、ベース画像データに非常に近い階調値まで、表示用画像データの高階調領域の階調値を連続的に変更することができる。表示用画像データのダイナミックレンジの最大階調値と同じ階調値を有する画素については、ＨＤＲ画像データと同じ階調値から、ベース画像データと同じ階調値まで、表示用画像データの階調値を連続的に変更することができる。
さらに、輝度レンジ値ＹＲの低下に伴う低階調領域の階調値の増加を抑制することができる。
【0128】
輝度レンジ値ＹＲが区間３の値である場合には、輝度レンジ値ＹＲの増加に伴い、表示用画像データのダイナミックレンジが、図１３（ｄ）に示すダイナミックレンジから図１３（ｃ）に示すダイナミックレンジへ連続的に変化する。具体的には、輝度レンジ値ＹＲの増加に伴い、表示用画像データのダイナミックレンジの最大階調値が、ＨＤＲ画像データのダイナミックレンジの最大階調値から連続的に増加する。そして、輝度レンジ値ＹＲに拘らず、表示用画像データのダイナミックレンジの最小階調値として、ＨＤＲ画像データのダイナミックレンジの最小階調値と同じ値が設定される。その結果、輝度レンジ値ＹＲの増加に伴い表示用画像データの輝度が連続的に増加する。
【0129】
以上述べたように、本実施例によれば、輝度レンジ値ＹＲに応じて輝度差分データが補正輝度差分データに補正される。そして、補正輝度差分データを用いてベース画像データが表示用画像データに変換される。それにより、表示用画像データのダイナミックレンジを好適に調整することができる。
【0130】
なお、逆トーンマップと複数のルックアップテーブルは、図１１に示すＬＵＴ０〜４に限らない。実施例１で述べた条件１，２が満たされれば、どのような変換特性を有するルックアップテーブル（逆トーンマップを含む）が使用されてもよい。逆トーンマップと複数のルックアップテーブルが示す階調値ＢＩと階調値ＰＩの対応関係は、階調値ＢＩの増加に伴って階調値ＰＩが非線形に増加する対応関係であってもよい。なお、輝度差分データの補正方法は、上述した方法に限らない。例えば、複数のＬＵＴを用いずに、輝度差分データを輝度レンジ値ＹＲに応じた補正値で補正することにより、補正輝度差分データが生成されてもよい。
なお、輝度差分データは、逆トーンマップに限らない。例えば、輝度差分データは輝度比率データであってもよい。
【0131】
＜実施例４＞以下、本発明の実施例４に係る画像処理装置及び画像処理方法について説明する。
実施例３では、ベース画像データと輝度差分データを用いて表示用画像データを生成する例を説明した。
本実施例では、ＨＤＲ画像データと輝度差分データを用いて表示用画像データを生成する例を説明する。
【0132】
図１４は、本実施例に係る画像処理装置４００の機能構成の一例を示すブロック図である。図１４に示すように、画像処理装置４００は、デコード処理部１０２、表示部１０６、第１輝度差分データ変換部４０１、第２輝度差分データ変換部４０２、画像変換部４０３、等を有する。
なお、図１４において、実施例１（図１）と同じ機能部及びデータには実施例１と同じ符号を付し、その説明は省略する。
【0133】
画像処理装置４００には、実施例１と同様に、ＨＤＲファイル１０１と輝度レンジ値ＹＲが入力される。本実施例では、実施例１と同様に、ＨＤＲファイル１０１に含まれている輝度差分データ（第１輝度差分データ）が逆トーンマップである場合の例を説明する。
【0134】
第１輝度差分データ変換部４０１は、第１輝度差分データの入力階調値と出力階調値を入れ替えることにより、第２輝度差分データを生成する。そして、第１輝度差分データ変換部４０１は、第２輝度差分データを出力する。本実施例では、逆トーンマップがトーンマップに変換される。
なお、画像処理装置４００には、ＨＤＲファイル１０１ではなく、ＨＤＲ画像データと第２輝度差分データとを含むデータファイルが入力されてもよい。その場合には、デコード処理部１０２と第１輝度差分データ変換部４０１は不要となる。
【0135】
第２輝度差分データ変換部４０２と画像変換部４０３により、ＨＤＲ画像データ、第２輝度差分データ、及び、輝度レンジ値ＹＲに基づいて、表示用画像データが生成される。第２輝度差分データ変換部４０２は、輝度レンジ値ＹＲに基づいて第２輝度差分データが表すベース画像データの階調値を補正することにより、ＨＤＲ画像データの階調値と表示用画像データの階調値との対応関係を表す補正輝度差分データを生成する。換言すれば、第２輝度差分データ変換部４０２は、輝度レンジ値ＹＲに基づいて第２輝度差分データを補正輝度差分データ（変換輝度差分データ）に変換する。そして、第２輝度差分データ変換部４０２は、変換輝度差分データ（変換トーンマップ）を出力する。
画像変換部４０３は、第２輝度差分データ変換部４０２から出力された変換トーンマップを用いてＨＤＲ画像データの階調値を表示用画像データの階調値に変換することにより、表示用画像データを生成する。換言すれば、画像変換部４０３は、変換トーンマップを用いてＨＤＲ画像データを表示用画像データに変換する。そして、画像変換部４０３は、表示用画像データを出力する。
【0136】
第２輝度差分データ変換部４０２の処理についてより詳細に説明する。本実施例では、不図示の記憶部に、複数のルックアップテーブル（ＨＤＲ画像データの階調値と表示用画像データの階調値との対応関係を表すルックアップテーブル）が予め記録されている。
そして、予め用意された複数のルックアップテーブルと、第１輝度差分データ変換部４０２で生成されたトーンマップと、を用いて、変換トーンマップが生成される。
【0137】
本実施例では、図１５に示す３つのルックアップテーブルＬＵＴ６〜ＬＵＴ８が予め用意されている場合の例を説明する。図１５には、第１輝度差分データ変換部４０２で生成されたトーンマップＬＵＴ５も図示されている。本実施例では、ＬＵＴ５〜８を用いて、変換トーンマップＬＵＴ９が生成される。
なお、予め用意されるルックアップテーブルの数は３つより多くてもよい。
【0138】
輝度レンジ値ＹＲが第２の値（２５）である場合には、ＬＵＴ５と同じＬＵＴ９が生成される。そのため、輝度レンジ値ＹＲが第２の値（２５）である場合には、ベース画像データと同じ表示用画像データが生成される。ＬＵＴ５と同じＬＵＴ９を用いた場合には、ＨＤＲ画像データの階調値ＨＩ＝０．０００１は、表示用画像データの階調値ＰＩ＝０．００１に変換される。階調値ＨＩ＝１０は、階調値ＰＩ＝１．０に変換される。そして、階調値ＨＩの増加に伴って階調値ＰＩが線形に増加するように、階調値ＨＩが階調値ＰＩに変換される。階調値ＨＩ＝０．０００１は、ＨＤＲ最小値であり、階調値ＨＩ＝１０は、ＨＤＲ最大値であり、表示用画像データの階調値の上限値である。階調値ＰＩ＝０．００１は、ベース最小値であり、階調値ＰＩ＝１．０は、ベース最大値である。
【0139】
輝度レンジ値ＹＲが１００である場合には、ＬＵＴ６と同じＬＵＴ９が生成される。ＬＵＴ６と同じＬＵＴ９を用いた場合には、ＨＤＲ最大値よりも小さい所定の階調値まで階調値ＨＩが増加したときに階調値ＰＩが上限値に達するように、階調値ＨＩの増加に伴って階調値ＰＩが増加する。具体的には、０．０００１≦階調値ＨＩ≦１．０の階調範囲では、階調値ＨＩの増加に伴って階調値ＰＩが０．０００１から１０（上限値）まで線形に増加するように、階調値ＨＩが階調値ＰＩに変換される。そして、１．０≦階調値ＨＩの階調範囲では、階調値ＨＩが階調値ＰＩ＝１０（上限値）に変換される。
【0140】
輝度レンジ値ＹＲが第１の値（７５）である場合には、ＬＵＴ７と同じＬＵＴ９が生成される。ＬＵＴ７と同じＬＵＴ９を用いた場合には、階調値ＨＩ＝０．０００１は、階調値ＰＩ＝０．０００１に変換される。階調値ＨＩ＝１０は、階調値ＰＩ＝１０に変換される。そして、階調値ＨＩの増加に伴って階調値ＨＩが線形に増加するように、階調値ＨＩが階調値ＰＩに変換される。即ち、ＬＵＴ７と同じＬＵＴ９を用いた場合には、階調値ＨＩは変
換されず、階調値ＰＩとして階調値ＨＩと同じ値が得られる。そのため、ＬＵＴ７と同じＬＵＴ９を用いた場合には、ＨＤＲ画像データと同じ表示用画像データが生成される。
【0141】
輝度レンジ値ＹＲが０である場合には、ＬＵＴ８と同じＬＵＴ９が生成される。ＬＵＴ８と同じＬＵＴ９を用いた場合には、階調値ＨＩ＝０．０００１は、階調値ＰＩ＝０．０００１に変換される。階調値ＨＩ＝１０は、階調値ＰＩ＝０．１に変換される。即ち、階調値ＨＩ＝１０に対応する階調値ＰＩとして、ベース最大値よりも小さい階調値ＰＩが得られる。そして、階調値ＨＩの増加に伴って階調値ＰＩが線形に増加するように、階調値ＨＩが階調値ＰＩに変換される。
【0142】
ＨＤＲ最小値は、表示用画像データの階調値の下限値である可能性が高く、ＨＤＲ最大値は、表示用画像データの階調値の上限値である可能性が高い。ベース最大値は、所定値（１．０）である可能性が高い。そして、表示用画像データの階調値の上限値と下限値は、予め把握することができる。そのため、それらの情報を用いることにより、ＬＵＴ６〜ＬＵＴ８を予め生成することができる。なお、複数のルックアップテーブル（ＨＤＲ画像データの階調値と表示用画像データの階調値との対応関係を表すルックアップテーブル）は予め用意されていなくてもよい。例えば、トーンマップＬＵＴ５から、ベース画像データのダイナミックレンジと、ＨＤＲ画像データのダイナミックレンジと、が把握されてもよい。そして、ベース画像データのダイナミックレンジ、ＨＤＲ画像データのダイナミックレンジ、及び、表示用画像データの階調値の上限値と下限値、に基づいて、複数のルックアップテーブルが生成されてもよい。それにより、ＨＤＲ画像データのダイナミックレンジやベース画像データのダイナミックレンジが変化する場合において、より好ましい複数のルックアップテーブルを生成することが可能となる。
【0144】
まず、第２輝度差分データ変換部４０２が、第１の値（７５）＜輝度レンジ値ＹＲ≦１００であるか否かを判断する（Ｓ４０２１）。即ち、輝度レンジ値ＹＲが区間３の値であるか否かが判断される。輝度レンジ値ＹＲが区間３の値である場合には、Ｓ４０２２に処理が進められ、輝度レンジ値ＹＲが区間３の値でない場合には、Ｓ４０２４に処理が進められる。
【0145】
Ｓ４０２２では、第２輝度差分データ変換部４０２が、ＬＵＴ６とＬＵＴ７を選択する。そして、Ｓ４０２３に処理が進められる。Ｓ４０２３では、第２輝度差分データ変換部４０２が、輝度レンジ値ＹＲに応じた重みでＬＵＴ６とＬＵＴ７を合成することにより、ＬＵＴ９を生成する。具体的には、以下の式８を用いてＬＵＴ９が生成される。
ＬＵＴ９＝
（（ＹＲ−７５）／２５）×ＬＵＴ６＋（（１００−ＹＲ）／２５）×ＬＵＴ７
・・・（式８）
【0146】
Ｓ４０２４では、第２輝度差分データ変換部４０２が、第２の値（２５）≦輝度レンジ値ＹＲ≦第１の値（７５）であるか否かを判断する。即ち、輝度レンジ値ＹＲが区間２の値であるか否かが判断される。輝度レンジ値ＹＲが区間２の値である場合には、Ｓ４０２５に処理が進められ、輝度レンジ値ＹＲが区間２の値でない場合には、Ｓ４０２７に処理が進められる。
【0147】
Ｓ４０２５では、第２輝度差分データ変換部４０２が、ＬＵＴ５とＬＵＴ７を選択する。そして、Ｓ４０２６に処理が進められる。Ｓ４０２６では、第２輝度差分データ変換部４０２が、輝度レンジ値ＹＲに応じた重みでＬＵＴ５とＬＵＴ７を合成することにより、ＬＵＴ９を生成する。具体的には、以下の式９を用いてＬＵＴ９が生成される。
ＬＵＴ９＝
（（ＹＲ−２５）／５０）×ＬＵＴ７＋（（７５−ＹＲ）／５０）×ＬＵＴ５
・・・（式９）
【0148】
Ｓ４０２７では、第２輝度差分データ変換部４０２が、０≦輝度レンジ値ＹＲ＜第２の値（２５）であると判断し、ＬＵＴ５とＬＵＴ８を選択する。即ち、Ｓ４０２７では、輝度レンジ値ＹＲが区間１の値であると判断され、ＬＵＴ５とＬＵＴ８が選択される。そして、Ｓ４０２８に処理が進められる。Ｓ４０２８では、第２輝度差分データ変換部４０２が、輝度レンジ値ＹＲに応じた重みでＬＵＴ５とＬＵＴ８を合成することにより、ＬＵＴ９を生成する。具体的には、以下の式１０を用いてＬＵＴ９が生成される。
ＬＵＴ９＝
（ＹＲ／２５）×ＬＵＴ５＋（（２５−ＹＲ）／２５）×ＬＵＴ８
・・・（式１０）
【0149】
画像変換部３０２では、以下の式１１を用いて、ＨＤＲ画像データの階調値ＨＩが表示用画像データの階調値ＰＩに変換される。式１１において、ＬＵＴ９（ｘ）のｘは、ＬＵＴ９の入力階調値である。ＰＩ＝ＬＵＴ９（ＨＩ） ・・・（式１１）
【0150】
このように、本実施例では、予め用意された複数のＬＵＴと、第１輝度差分データ変換部４０２で生成されたＬＵＴ（トーンマップ）と、の中から２つのＬＵＴ（第１ＬＵＴと第２ＬＵＴ）が選択される。そして、輝度レンジ値ＹＲに応じた重みで第１ＬＵＴと第２ＬＵＴを合成することにより、ＬＵＴ９（変換トーンマップ）が生成される。それにより、ＬＵＴ９として、第１ＬＵＴ、第２ＬＵＴ、または、中間ＬＵＴを生成することができる。
【0151】
輝度レンジ値ＹＲが区間１の値である場合には、以下の条件１７，１８を満たす変換トーンマップが生成される。条件１７：ＨＤＲ最大値に対応する表示用画像データの階調値がベース最大値よりも小さい。
条件１８：輝度レンジ値ＹＲが小さいほどＨＤＲ最大値に対応する表示用画像データの階調値が小さい。
【0152】
輝度レンジ値ＹＲが区間２の値である場合には、以下の条件１９，２０を満たす変換トーンマップが生成される。なお、輝度レンジ値ＹＲが第２の値（２５）である場合には、第１輝度差分データ変換部４０２で生成されたトーンマップと同じ変換トーンマップが生成される。条件１９：輝度レンジ値ＹＲが大きいほどＨＤＲ最大値に対応する表示用画像データの階調値がＨＤＲ最大値に近い。
条件２０：輝度レンジ値ＹＲが大きいほどＨＤＲ最小値に対応する表示用画像データの階調値がＨＤＲ最小値に近い。
【0153】
輝度レンジ値ＹＲが区間３の値である場合には、以下の条件２１，２２を満たす変換逆トーンマップが生成される。条件２１：ＨＤＲ最大値に対応する表示用画像データの階調値がＨＤＲ最大値以上である。
条件２２：輝度レンジ値ＹＲが大きいほどＨＤＲ最大値に対応する表示用画像データの階調値が大きい。
【0154】
以上述べたように、本実施例によれば、輝度レンジ値ＹＲに応じて輝度差分データ（第２輝度差分データ）が補正輝度差分データに補正される。そして、補正輝度差分データを用いてＨＤＲ画像データが表示用画像データに変換される。それにより、表示用画像データのダイナミックレンジを好適に調整することができる。
【0155】
なお、トーンマップと複数のルックアップテーブルは、図１５に示すＬＵＴ５〜８に限らない。実施例１で述べた条件１，２が満たされれば、どのような変換特性を有するルックアップテーブル（トーンマップを含む）が使用されてもよい。トーンマップと複数のルックアップテーブルが示す階調値ＨＩと階調値ＰＩの対応関係は、階調値ＨＩの増加に伴って階調値ＰＩが非線形に増加する対応関係であってもよい。なお、第２輝度差分データの補正方法は、上述した方法に限らない。例えば、複数のＬＵＴを用いずに、第２輝度差分データを輝度レンジ値ＹＲに応じた補正値で補正することにより、補正輝度差分データが生成されてもよい。
なお、輝度差分データは、逆トーンマップやトーンマップに限らない。例えば、輝度差分データは輝度比率データであってもよい。
【0156】
＜実施例５＞以下、本発明の実施例５に係る画像処理装置及び画像処理方法について説明する。
実施例１〜４では、ユーザ操作に応じて輝度レンジ値ＹＲが決定される例を説明した。
本実施例では、ＨＤＲ画像データの明るさに応じて輝度レンジ値ＹＲを決定する例を説明する。
【0157】
図１７は、本実施例に係る画像処理装置５００の機能構成の一例を示すブロック図である。図１７に示すように、画像処理装置５００は、デコード処理部１０２、ブレンド部１０４、表示部１０６、オーバーホワイト検出部５０１、シーンチェンジ検出部５０２、ブレンド率決定部５０３、等を有する。
なお、図１７において、実施例１（図１）と同じ機能部及びデータには実施例１と同じ符号を付し、その説明は省略する。
【0158】
画像処理装置５００には、ＨＤＲファイル１０１が入力される。本実施例では、動画像データを処理する例を説明する。具体的には、動画像データのフレーム毎にベース画像データと輝度差分データが取得される例を説明する。また、本実施例では、実施例１と同様に、ＨＤＲファイル１０１に含まれている輝度差分データが逆トーンマップである場合の例を説明する。
なお、輝度差分データは、動画像データのシーン毎に取得されてもよい。
なお、画像処理装置５００には、ＨＤＲファイル１０１ではなく、ＨＤＲ画像データと輝度差分データとを含むデータファイルが入力されてもよい。その場合には、デコード処理部１０２は不要となる。
【0159】
オーバーホワイト検出部５０１は、フレーム毎に、デコード処理部１０２から出力されたＨＤＲ画像データの明るさに応じて、輝度レンジ値ＹＲを決定する。そして、オーバーホワイト検出部５０１は、輝度レンジ値ＹＲを出力する。
【0160】
非常に明るい表示画像の急な表示は、ユーザの目に大きく且つ急な刺激を与えるため、好ましくない。
そこで、本実施例では、オーバーホワイト検出部５０１は、ＨＤＲ画像データが明るいほど小さい輝度レンジ値を取得する。具体的には、オーバーホワイト検出部５０１は、ＨＤＲ画像データの明るさが“非常に眩しい”、“眩しい”、“明るい”、及び、“ベース画像データよりも明るい”のいずれであるかを判断する。そして、オーバーホワイト検出部５０１は、ＨＤＲ画像データの明るさの判断結果に応じて、輝度レンジ値ＹＲとして０、１、２、及び、３のいずれかを取得する。“非常に眩しい”は“眩しい”よりも明るいことを意味し、“眩しい”は“明るい”よりも明るいことを意味し、“明るい”は“ベース画像データよりも明るい”よりも明るいことを意味する。判断結果が“非常に眩しい”である場合にはＹＲ＝０が取得され、判断結果が“眩しい”である場合にはＹＲ＝１が取得される。そして、判断結果が“明るい”である場合にはＹＲ＝２が取得され、判断結果が“ベース画像データよりも明るい”である場合にはＹＲ＝３が取得される。
なお、明るさの指標の数及び輝度レンジ値ＹＲの取り得る値の数は、４つより多くても少なくてもよい。
【0161】
シーンチェンジ検出部５０２は、ベース画像データに基づいて、ベース画像データのシーンの切り替わりを検出する。具体的には、シーンチェンジ検出部５０２は、フレーム毎に、そのフレームのベース画像データを不図示の記憶部に記録する。そして、シーンチェンジ検出部５０２は、フレーム毎に、記憶部に記録されている前フレームのベース画像データと、現フレームのベース画像データと、の差分に基づいて、前フレームから現フレームにかけてシーンの切り替わりが生じたか否かを判断する。現フレームは、現在のフレームであり、前フレームは、現フレームの１つ前のフレームである。そして、シーンチェンジ検出部５０２は、シーンの切り替わりが検出された場合に、シーンチェンジ検出信号ＳＣ＝１を出力し、シーンの切り替わりが検出されなかった場合に、シーンチェンジ検出信号ＳＣ＝０を出力する。
【0162】
なお、シーンの切り替わりの検出方法は、上記方法に限らない。例えば、ベース画像データではなく、ＨＤＲ画像データに基づいて、ベース画像データのシーンの切り替わりが検出されてもよい。また、シーン毎に輝度差分データが取得される場合には、輝度差分データが取得されたタイミングで、シーンの切り替わりが生じたと判断されてもよい。ＨＤＲファイル１０１にシーンの切り替わりを示すメタデータが含まれている場合には、当該メタデータを用いてシーンの切り替わりが検出されてもよい。
【0163】
ブレンド率決定部５０３は、輝度レンジ値ＹＲとシーンチェンジ検出信号ＳＣに基づいて、ブレンド率Ｂｌｅｎｄを決定する。そして、ブレンド率決定部５０３は、ブレンド率Ｂｌｅｎｄを出力する。
【0164】
図１８を用いて、オーバーホワイト検出部５０１の処理の流れの一例について説明する。図１８は、オーバーホワイト検出部５０１の処理の流れの一例を示すフローチャートである。オーバーホワイト検出部５０１は、図１８のフローチャートをフレーム毎に繰り返し実行する。
【0165】
まず、オーバーホワイト検出部５０１が、ＨＤＲ画像データの画素のうち、オーバーホワイト領域の画素の平均階調値（階調値の平均値）ＯＷａｖｅを算出する（Ｓ５０１１）。オーバーホワイト領域の画素は、階調値ＨＩが１．０よりも大きい画素である。次に、オーバーホワイト検出部５０１が、ＨＤＲ画像データの画素のうち、オーバーホワイト領域の画素の最大階調値（階調値の最大値）ＯＷｍａｘを検出する（Ｓ５０１２）。
【0166】
そして、オーバーホワイト検出部５０１が、平均階調値ＯＷａｖｅが閾値Ａ以上か否かを判断する（Ｓ５０１３）。平均階調値ＯＷａｖｅが閾値Ａ以上である場合には、Ｓ５０１４に処理が進められ、平均階調値ＯＷａｖｅが閾値Ａ未満である場合には、Ｓ５０１９に処理が進められる。本実施例では、閾値Ａとして２が使用される。
なお、閾値Ａは、メーカー等によって予め定められた値であってもよいし、ユーザが変更可能な値であってもよい。
【0167】
Ｓ５０１４では、オーバーホワイト検出部５０１が、最大階調値ＯＷｍａｘが閾値Ｂ１以上であるか否かを判断する。最大階調値ＯＷｍａｘが閾値Ｂ１以上である場合には、Ｓ５０１５に処理が進められ、最大階調値ＯＷｍａｘが閾値Ｂ１未満である場合には、Ｓ５０１６に処理が進められる。本実施例では、閾値Ｂ１として５が使用される。なお、閾値Ｂ１は、メーカー等によって予め定められた値であってもよいし、ユーザが変更可能な値であってもよい。
【0168】
Ｓ５０１６では、オーバーホワイト検出部５０１が、最大階調値ＯＷｍａｘが閾値Ｂ２以上であるか否かを判断する。最大階調値ＯＷｍａｘが閾値Ｂ２以上である場合には、Ｓ５０１７に処理が進められ、最大階調値ＯＷｍａｘが閾値Ｂ２未満である場合には、Ｓ５０１８に処理が進められる。本実施例では、閾値Ｂ２として３が使用される。なお、閾値Ｂ２は、メーカー等によって予め定められた値であってもよいし、ユーザが変更可能な値であってもよい。
【0169】
Ｓ５０１５では、オーバーホワイト検出部５０１が、ＨＤＲ画像データの明るさが“非常に眩しい”であると判断し、輝度レンジ値ＹＲ＝０を出力する。Ｓ５０１７では、オーバーホワイト検出部５０１が、ＨＤＲ画像データの明るさが“眩しい”であると判断し、輝度レンジ値ＹＲ＝１を出力する。
Ｓ５０１８では、オーバーホワイト検出部５０１が、ＨＤＲ画像データの明るさが“明るい”であると判断し、輝度レンジ値ＹＲ＝２を出力する。
Ｓ５０１９では、オーバーホワイト検出部５０１が、ＨＤＲ画像データの明るさが“ベース画像データよりも明るい”であると判断し、輝度レンジ値ＹＲ＝３を出力する。
【0170】
なお、輝度レンジ値ＹＲの決定方法は、上記方法に限らない。例えば、平均階調値ＯＷａｖｅと最大階調値ＯＷｍａｘの一方のみを用いて輝度レンジ値ＹＲが決定されてもよい。平均階調値ＯＷａｖｅが閾値Ａ１以下の場合に輝度レンジ値ＹＲ＝３が取得され、平均階調値ＯＷａｖｅが閾値Ａ１よりも大きく且つ閾値Ａ２以下の場合に輝度レンジ値ＹＲ＝２が取得されてもよい。そして、平均階調値ＯＷａｖｅが閾値Ａ２よりも大きく且つ閾値Ａ３以下の場合に輝度レンジ値ＹＲ＝１が取得され、平均階調値ＯＷａｖｅが閾値Ａ３よりも大きい場合に輝度レンジ値ＹＲ＝０が取得されてもよい。
また、ＨＤＲ画像データが有するオーバーホワイト領域の画素の総数に基づいて輝度レンジ値ＹＲが決定されてもよい。具体的には、オーバーホワイト領域の画素の総数が多いほど小さい輝度レンジ値ＹＲが取得されてもよい。
【0172】
まず、ブレンド率決定部５０３が、シーンチェンジ検出部５０２から出力されたシーンチェンジ検出信号ＳＣが１であるか否かを判断する（Ｓ５０３１）。シーンチェンジ検出信号ＳＣ＝１である場合には、Ｓ５０３２に処理が進められ、シーンチェンジ検出信号ＳＣ＝０である場合には、Ｓ５０４０に処理が進められる。
【0173】
Ｓ５０３２では、ブレンド率決定部５０３が、オーバーホワイト検出部５０１から出力された輝度レンジ値ＹＲが０であるか否かを判断する。輝度レンジ値ＹＲ＝０である場合には、Ｓ５０３３に処理が進められ、輝度レンジ値ＹＲ＝０でない場合には、Ｓ５０３４に処理が進められる。
Ｓ５０３４では、ブレンド率決定部５０３が、輝度レンジ値ＹＲが１であるか否かを判断する。輝度レンジ値ＹＲ＝１である場合には、Ｓ５０３５に処理が進められ、輝度レンジ値ＹＲ＝１でない場合には、Ｓ５０３６に処理が進められる。
Ｓ５０３６では、ブレンド率決定部５０３が、輝度レンジ値ＹＲが２であるか否かを判断する。輝度レンジ値ＹＲ＝２である場合には、Ｓ５０３７に処理が進められ、輝度レンジ値ＹＲ＝３である場合には、Ｓ５０３８に処理が進められる。
【0174】
Ｓ５０３３では、ブレンド率決定部５０３が、ブレンド率Ｂｌｅｎｄ＝０％を出力する。それにより、シーンの切り替わり直後の表示用画像データ（＝合成画像データ）として、ベース画像データと同じ画像データが生成される。その後、Ｓ５０３９に処理が進められる。Ｓ５０３５では、ブレンド率決定部５０３が、ブレンド率Ｂｌｅｎｄ＝３０％を出力する。それにより、シーンの切り替わり直後の表示用画像データとして、ベース画像データ：ＨＤＲ画像データ＝３０％：７０％の重みでベース画像データとＨＤＲ画像データを重みづけ合成した画像データが生成される。その後、Ｓ５０３９に処理が進められる。
Ｓ５０３７では、ブレンド率決定部５０３が、ブレンド率Ｂｌｅｎｄ＝６０％を出力する。それにより、シーンの切り替わり直後の表示用画像データとして、ベース画像データ：ＨＤＲ画像データ＝６０％：４０％の重みでベース画像データとＨＤＲ画像データを重みづけ合成した画像データが生成される。その後、Ｓ５０３９に処理が進められる。
Ｓ５０３８では、ブレンド率決定部５０３が、ブレンド率Ｂｌｅｎｄ＝１００％を出力する。それにより、シーンの切り替わり直後の表示用画像データ（＝合成画像データ）として、ＨＤＲ画像データと同じ画像データが生成される。その後、Ｓ５０３９に処理が進められる。
【0175】
Ｓ５０３９では、ブレンド率決定部５０３が、切り替わり後のシーンのフレーム数のカウント値Ｃｎｔを０にリセットする。その後、処理対象のフレームが次のフレームに切り替えられ、Ｓ５０３１に処理が戻される。
【0176】
Ｓ５０４０では、ブレンド率決定部５０３が、カウント値Ｃｎｔが閾値Ｃ以下か否かを判断する。カウント値Ｃｎｔが閾値Ｃ以下である場合には、Ｓ５０４１に処理が進められ、カウント値Ｃｎｔが閾値Ｃよりも大きい場合には、処理対象のフレームが次のフレームに切り替えられ、Ｓ５０３１に処理が戻される。本実施例では、閾値Ｃとして５０が使用される。なお、閾値Ｃは、メーカー等によって予め定められた値であってもよいし、ユーザが変更可能な値であってもよい。
【0177】
Ｓ５０４１では、ブレンド率決定部５０３が、前フレームのブレンド率Ｂｌｅｎｄに加算値Ｄを加算することにより、現フレームのブレンド率Ｂｌｅｎｄを算出する。本実施例では、加算値Ｄとして２％が使用される。なお、加算値Ｄは、メーカー等によって予め定められた値であってもよいし、ユーザが変更可能な値であってもよい。
なお、現フレームのブレンド率Ｂｌｅｎｄの決定方法は上記方法に限らない。例えば、前フレームのブレンド率Ｂｌｅｎｄに係数（＞１）を乗算することにより、現フレームのブレンド率Ｂｌｅｎｄが算出されてもよい。
【0178】
次に、ブレンド率決定部５０３が、Ｓ５０４１で算出されたブレンド率Ｂｌｅｎｄが上限値（１００％）より大きい場合に、ブレンド率Ｂｌｅｎｄを１００％に制限するリミット処理を行う（Ｓ５０４２）。そして、ブレンド率決定部５０３が、ブレンド率Ｂｌｅｎｄを出力する。Ｓ５０４１で算出されたブレンド率Ｂｌｅｎｄが上限値（１００％）以下である場合には、Ｓ５０４１で算出されたブレンド率Ｂｌｅｎｄが出力される。Ｓ５０４１で算出されたブレンド率Ｂｌｅｎｄが上限値（１００％）より大きい場合には、ブレンド率Ｂｌｅｎｄ＝１００％が出力される。
【0179】
そして、ブレンド率決定部５０３が、カウント値Ｃｎｔを１だけインクリメントする（Ｓ５０４３）。その後、処理対象のフレームが次のフレームに切り替えられ、Ｓ５０３１に処理が戻される。
【0180】
本実施例では、シーンの切り替わり後にＳ５０４０〜Ｓ５０４３の処理が繰り返し行われる。それにより、輝度レンジ値ＹＲに基づく表示用画像データからＨＤＲ画像データと同じ表示用画像データへ表示用画像データが徐々に変化するように、シーンの切り替わり後の各フレームの表示用画像データが生成される。
【0181】
図２０（ａ）〜２０（ｅ）を用いて、本実施例に係る表示用画像データとそのダイナミックレンジについてより詳細に説明する。図２０（ａ）〜２０（ｅ）は、本実施例に係る画像データとそのダイナミックレンジ（輝度レンジ）の一例を示す図である。図２０（ａ）〜２０（ｅ）において、画像データ（画像データが表す画像）に記載されている数字は、その数字が記載されている領域の階調値である。
【0182】
図２０（ａ）は、ＨＤＲ画像データとそのダイナミックレンジを示す。図２０（ｂ）は、ベース画像データとそのダイナミックレンジを示す。
図２０（ｃ）は、シーンの切り替わり直後のフレーム（シーンチェンジフレーム）の表示用画像データとそのダイナミックレンジを示す。
図２０（ｄ）は、シーンチェンジフレームから２５フレーム後のフレームの表示用画像データとそのダイナミックレンジを示す。
図２０（ｅ）は、シーンチェンジフレームから５０フレーム後のフレームの表示用画像データとそのダイナミックレンジを示す。
【0183】
図２０（ａ）のＨＤＲ画像データを使用した場合、図１８のＳ５０１１において平均階調値ＯＷａｖｅ＝５が算出され、図１８のＳ５０１２において最大階調値ＯＷｍａｘ＝５が算出される。その結果、ＨＤＲ画像データの明るさが“非常に眩しい”であると判断され、輝度レンジ値ＹＲ＝０が設定される。シーンの切り替わり直後のＨＤＲ画像データとして図２０（ａ）のＨＤＲ画像データが取得された場合、図１９のＳ５０３３においてブレンド率Ｂｌｅｎｄ＝０％が設定される。その結果、図２０（ｃ）に示すように、シーンの切り替わり直後の表示用画像データとして、ベース画像データと同じ画像データが生成される。
【0184】
その後、Ｓ５０４０〜Ｓ５０４３の処理が繰り返し行われることにより、ブレンド率Ｂｌｅｎｄが徐々に増加する。その結果、図２０（ｃ）〜２０（ｅ）に示すように、表示用画像データのダイナミックレンジがＨＤＲ画像データのダイナミックレンジまで徐々に拡大される。例えば、シーンチェンジフレームから２５フレーム後のフレームでは、ブレンド率Ｂｌｅｎｄ＝５０％を使用して表示用画像データが生成される。それにより、ベース画像データ：ＨＤＲ画像データ＝５０％：５０％の重みでベース画像データとＨＤＲ画像データを重みづけ合成した表示用画像データが生成される。その結果、図２０（ｃ）に示すように、表示用画像データのダイナミックレンジの最小階調値として、ベース画像データのダイナミックレンジの最小階調値にＨＤＲ画像データのダイナミックレンジの最小階調値を加算した値の１／２の値が設定される。そして、図２０（ｃ）に示すように、表示用画像デ
ータのダイナミックレンジの最大階調値として、ベース画像データのダイナミックレンジの最大階調値にＨＤＲ画像データのダイナミックレンジの最大階調値を加算した値の１／２の値が設定される。
また、シーンチェンジフレームから５０フレーム後のフレームでは、ブレンド率Ｂｌｅｎｄ＝１００％を使用して表示用画像データが生成される。それにより、図２０（ｅ）に示すように、表示用画像データとして、ＨＤＲ画像データと同じ画像データが生成される。
【0185】
図２０（ｃ）〜２０（ｅ）の例では、輝度レンジ値ＹＲ＝０が設定されるため、５０フレームかけて表示用画像データのダイナミックレンジがＨＤＲ画像データのダイナミックレンジまで徐々に拡大される。輝度レンジ値ＹＲ＝１の場合には、３５フレームかけて表示用画像データのダイナミックレンジがＨＤＲ画像データのダイナミックレンジまで徐々に拡大される。
輝度レンジ値ＹＲ＝２の場合には、２０フレームかけて表示用画像データのダイナミックレンジがＨＤＲ画像データのダイナミックレンジまで徐々に拡大される。
輝度レンジ値ＹＲ＝３の場合には、シーンの切り替わり直後のフレームの表示用画像データとして、ＨＤＲ画像データと同じ画像データが生成される。
【0186】
以上述べたように、本実施例によれば、シーンの切り替わり直後に、ＨＤＲ画像データが明るいほど小さい輝度レンジ値ＹＲに基づいて表示用画像データが生成される。そして、輝度レンジ値ＹＲに基づく表示用画像データからＨＤＲ画像データと同じ表示用画像データへ表示用画像データが徐々に変化するように、シーンの切り替わり後の各フレームの表示用画像データが生成される。それにより、表示用画像データのダイナミックレンジを好適に調整することができる。具体的には、急激に変化しないようにダイナミックレンジを調整することができる。その結果、ユーザの目に大きく且つ急な刺激を与えることなく、ダイナミックレンジが広い表示画像をユーザに見せることができる。
【0187】
なお、本実施例では、フレーム毎に輝度レンジ値ＹＲを取得する例を説明したが、これに限らない。例えば、シーンの切り替わり直後のフレームに対してのみ、輝度レンジ値ＹＲが取得されてもよい。なお、シーンの切り替わりを検出し、輝度レンジ値ＹＲに基づく表示用画像データからＨＤＲ画像データと同じ表示用画像データへ表示用画像データを徐々に変更する処理は、行われなくてもよい。ＨＤＲ画像データが明るいほど小さい輝度レンジ値ＹＲに基づいて表示用画像データが生成されれば、急激に変化しないようにダイナミックレンジを調整することができる。その結果、ユーザの目に大きく且つ急な刺激が与えられることを抑制することができる。
なお、輝度差分データは、逆トーンマップに限らない。例えば、輝度差分データは輝度比率データであってもよい。
なお、輝度レンジ値ＹＲに基づく表示用画像データの生成方法は、上記方法に限らない。例えば、実施例１〜４で述べた方法で表示用画像データが生成されてもよい。
【0188】
＜実施例６＞以下、本発明の実施例６に係る画像処理装置及び画像処理方法について説明する。
実施例１〜５では、画像処理装置にＨＤＲファイルが入力される例を説明した。
本実施例では、画像処理装置にＨＤＲファイルが入力されず、画像処理装置にＨＤＲ画像データが入力される例を説明する。
【0189】
図２１は、本実施例に係る画像処理装置６００の機能構成の一例を示すブロック図である。図２１に示すように、実施例６における画像処理装置６００は、調整値処理部１０３、ブレンド部１０４、ゲイン調整部１０５、表示部１０６、ベース画像生成部６０２、等を有する。
なお、図２１において、実施例１（図１）と同じ機能部及びデータには実施例１と同じ符号を付し、その説明は省略する。
画像処理装置６００には、ＨＤＲ画像データ６０１と輝度レンジ値ＹＲが入力される。
【0190】
ベース画像生成部６０２は、ＨＤＲ画像データ６０１に基づいて、ベース画像データを生成する。換言すれば、ベース画像生成部６０２は、ＨＤＲ画像データ６０１をベース画像データに変換する。図２２は、ベース画像生成部６０２の機能構成の一例を示すブロック図である。図２２に示すように、ベース画像生成部６０２は、トーンマップ生成部６０２１、画像変換部６０２２、等を有する。
【0191】
トーンマップ生成部６０２１は、ＨＤＲ画像データ６０１に基づいて、ＨＤＲ画像データの階調値とベース画像データの階調値との対応関係を表す輝度差分データを生成する。本実施例では、ＨＤＲ画像データの階調値をベース画像データの階調値に変換するトーンマップが生成される。まず、トーンマップ生成部６０２１は、ＨＤＲ画像データ６０１から、各階調値の画素数を表す階調ヒストグラムを生成する。
次に、トーンマップ生成部６０２１は、階調ヒストグラムの度数を低階調側から累積加算することにより、累積ヒストグラムを生成する。
そして、トーンマップ生成部６０２１は、累積ヒストグラムの度数の最小値がベース最小値に一致し、且つ、累積ヒストグラムの度数の最大値がベース最大値に一致するように、累積ヒストグラムの度数を正規化する。この正規化により、累積ヒストグラムの度数がベース画像データの階調値に変換される。それにより、ＨＤＲ画像データをベース画像データに変換するトーンマップが生成される。
なお、ベース最小値とベース最大値は、不図示の制御部から取得される。
【0192】
画像変換部６０２２は、トーンマップ生成部６０２１で生成されたトーンマップを用いて、ＨＤＲ画像データ６０１をベース画像データに変換する。
【0193】
以上述べたように、本実施例によれば、ＨＤＲ画像データに基づいて、輝度差分データとベース画像データが生成される。それにより、画像処理装置にＨＤＲファイルが入力されず、画像処理装置にＨＤＲ画像データのみが入力された場合であっても、表示用画像データを生成する生成処理として、実施例１〜５で述べた処理と同じ処理が実行可能となる。即ち、ＨＤＲ画像データ、ベース画像データ、及び、輝度差分データのうちの少なくとも２つ以上のデータに基づいて表示用画像データを生成することが可能となる。
【0194】
なお、本実施例では、ＨＤＲ画像データに基づいて輝度差分データが生成される例を説明したが、これに限らない。例えば、輝度差分データが記憶部に予め記録されていてもよい。また、本実施例では、累積ヒストグラムの度数の最小値と最大値から、ＨＤＲ画像データをベース画像データに変換するトーンマップが生成される例を説明したが、これに限らない。例えば、ユーザが入力した任意の設定値に応じてトーンマップが生成されてもよい。具体的には、「コントラスト：高」という設定値が設定されている場合に、ベース画像データよりもコントラストが高い（明と暗の差が大きい）画像データにＨＤＲ画像データを変換するトーンマップが生成されてもよい。そして、「コントラスト：低」という設定値が設定されている場合に、ベース画像データよりもコントラストが低い（明と暗の差が小さい）画像データにＨＤＲ画像データを変換するトーンマップが生成されてもよい。
【0195】
＜その他の実施例＞記憶装置に記録されたプログラムを読み込み実行することで前述した実施例の機能を実現するシステムや装置のコンピュータ（又はＣＰＵ、ＭＰＵ等のデバイス）によっても、本発明を実施することができる。また、例えば、記憶装置に記録されたプログラムを読み込み実行することで前述した実施例の機能を実現するシステムや装置のコンピュータによって実行されるステップからなる方法によっても、本発明を実施することができる。この目的のために、上記プログラムは、例えば、ネットワークを通じて、又は、上記記憶装置となり得る様々なタイプの記録媒体（つまり、非一時的にデータを保持するコンピュータ読取可能な記録媒体）から、上記コンピュータに提供される。したがって、上記コンピュータ（ＣＰＵ、ＭＰＵ等のデバイスを含む）、上記方法、上記プログラム（プログラムコード、プログラムプロダクトを含む）、上記プログラムを非一時的に保持するコンピュータ読取可能な記録媒体は、いずれも本発明の範疇に含まれる。
【符号の説明】
【0196】
１００，３００，４００，５００，６００：画像処理装置１０３：調整値処理部 １０４：ブレンド部 １０５：ゲイン調整部
３０１：輝度差分データ変換部 ３０２：画像変換部
４０２：第２輝度差分データ変換部 ４０３：画像変換部
５０１：オーバーホワイト検出部 ５０３：ブレンド率決定部