特許 6185453 シーン分類に基づく高ダイナミックレンジ画像処理のための最適アルゴリズムの自動選択

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6185453

(24)【登録日】2017年8月4日

(45)【発行日】2017年8月23日

(54)【発明の名称】シーン分類に基づく高ダイナミックレンジ画像処理のための最適アルゴリズムの自動選択

(51)【国際特許分類】

   G06T 5/00 20060101AFI20170814BHJP

   H04N 1/407 20060101ALI20170814BHJP

   H04N 1/60 20060101ALI20170814BHJP

   H04N 1/46 20060101ALI20170814BHJP

   H04N 5/235 20060101ALI20170814BHJP

   H04N 5/232 20060101ALI20170814BHJP

   H04N 101/00 20060101ALN20170814BHJP

【ＦＩ】

   G06T5/00 740

   H04N1/40 101E

   H04N1/40 D

   H04N1/46 Z

   H04N5/235

   H04N5/232

   H04N101:00

【請求項の数】31

【外国語出願】

【全頁数】15

(21)【出願番号】特願2014-246465(P2014-246465)

(22)【出願日】2014年12月5日

(65)【公開番号】特開2015-130157(P2015-130157A)

(43)【公開日】2015年7月16日

【審査請求日】2016年1月28日

(31)【優先権主張番号】14/105,652

(32)【優先日】2013年12月13日

(33)【優先権主張国】US

(73)【特許権者】

【識別番号】507031918

【氏名又は名称】コニカ ミノルタ ラボラトリー ユー．エス．エー．，インコーポレイテッド

(74)【代理人】

【識別番号】110001254

【氏名又は名称】特許業務法人光陽国際特許事務所

(72)【発明者】

【氏名】メイ， イ

(72)【発明者】

【氏名】ツァン， シャオノン

【審査官】 佐藤 実

(56)【参考文献】

【文献】 特開２００８−２８９０９２（ＪＰ，Ａ）

【文献】 特表２００７−５１５７０３（ＪＰ，Ａ）

【文献】 Cadik et al.，Evaluation of HDR tone mapping methods using essential perceptual attributes，Computers & Graphics，Elsevier，２００８年 ６月，Volume 32, Issue 3，Pages 330-349

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｔ ５／００

Ｈ０４Ｎ １／４０ − １／４６

Ｈ０４Ｎ ５／２３２− ５／２３５

(57)【特許請求の範囲】

【請求項1】

様々な露出値で撮られたシーンの複数の入力画像の組を処理するデータ処理装置で実施される方法であって、
（ａ）前記複数の入力画像の一以上を用いて、前記シーンを複数のシーンクラスの一つに分類する工程と、
（ｂ）前記工程（ａ）で決定された前記シーンクラスに基づき、予め記憶された複数のトーンマッピング演算子の一つを選択する工程と、
（ｃ）前記複数の入力画像をマージして高ダイナミックレンジ（ＨＤＲ）画像を生成する工程と、
（ｄ）前記工程（ｂ）で選択された前記トーンマッピング演算子を用いて前記ＨＤＲ画像をトーンマップし、低ダイナミックレンジ（ＬＤＲ）画像を生成する工程と、
を含み、
前記工程（ａ）において、前記複数のシーンクラスは、人の有意的存在を含むシーンのクラス、屋外シーンのクラス、及び屋内シーンのクラスを含むことを特徴とする方法。

【請求項2】

前記工程（ａ）は、
（ａ１）前記複数の入力画像から二以上の画像のサブセットを選択する工程と、
（ａ２）選択画像の各々に対する重みマップを生成し、前記重みマップを用いて前記選択画像を結合することにより、前記選択された画像のサブセットを一つの合成画像に合成する工程であって、前記重みマップは、前記選択画像の各々の各画素の彩度、コントラスト、及び露出の適正度のうちの一以上から生成される工程と、
（ａ３）前記合成画像を前記複数のシーンクラスの一つに分類する工程と、
を含むことを特徴とする請求項１に記載の方法。

【請求項3】

前記工程（ａ３）は、
顔又は肌色を有する領域、及び、予め定義された形状を、前記合成画像において検出する工程と、
前記顔又は肌色を有する領域、及び、前記予め定義された形状が検出された場合は、前記シーンを、前記人の有意的存在があるシーンである第１クラスとして分類し、
その他の場合は、前記合成画像の相関色温度を用いることにより、前記シーンを、前記
屋外シーンである第２クラス又は前記屋内シーンである第３クラスのいずれかに分類する工程と、
を有することを特徴とする請求項２に記載の方法。

【請求項4】

様々な露出値で撮られたシーンの複数の入力画像の組を処理するデータ処理装置で実施される方法であって、
（ａ）前記複数の入力画像の一以上を用いて、前記シーンを複数のシーンクラスの一つに分類する工程と、
（ｂ）前記工程（ａ）で決定された前記シーンクラスに基づき、予め記憶された複数のトーンマッピング演算子の一つを選択する工程と、
（ｃ）前記複数の入力画像をマージして高ダイナミックレンジ（ＨＤＲ）画像を生成する工程と、
（ｄ）前記工程（ｂ）で選択された前記トーンマッピング演算子を用いて前記ＨＤＲ画像をトーンマップし、低ダイナミックレンジ（ＬＤＲ）画像を生成する工程と、
を含み、
前記工程（ａ）において、前記複数のシーンクラスは、人の有意的存在を含むシーンのクラス、日中のシーンのクラス、及び夜のシーンのクラスを含むことを特徴とする方法。

【請求項5】

前記工程（ａ）は、
（ａ１）前記複数の入力画像から二以上の画像のサブセットを選択する工程と、
（ａ２）選択画像の各々に対する重みマップを生成し、前記重みマップを用いて前記選択画像を結合することにより、前記選択された画像のサブセットを一つの合成画像に合成する工程であって、前記重みマップは、前記選択画像の各々の各画素の彩度、コントラスト、及び露出の適正度のうちの一以上から生成される工程と、
（ａ３）前記合成画像を前記複数のシーンクラスの一つに分類する工程と、
を含むことを特徴とする請求項４に記載の方法。

【請求項6】

前記工程（ａ３）は、
顔又は肌色を有する領域、及び、予め定義された形状を、前記合成画像において検出する工程と、
前記顔又は肌色を有する領域、及び、前記予め定義された形状が検出された場合は、前記シーンを、前記人の有意的存在があるシーンである第１クラスとして分類し、
その他の場合は、前記合成画像の画素強度のヒストグラムを用いることにより、前記シーンを、前記日中のシーンである第２クラス又は前記夜のシーンである第３クラスのいずれかに分類する工程と、
を有することを特徴とする請求項５に記載の方法。

【請求項7】

様々な露出値で撮られたシーンの複数の入力画像の組を処理するデータ処理装置で実施される方法であって、
（ａ）前記複数の入力画像の一以上を用いて、前記シーンを複数のシーンクラスの一つに分類する工程と、
（ｂ）前記工程（ａ）で決定された前記シーンクラスに基づき、予め記憶された複数のトーンマッピング演算子の一つを選択する工程と、
（ｃ）前記複数の入力画像をマージして高ダイナミックレンジ（ＨＤＲ）画像を生成する工程と、
（ｄ）前記工程（ｂ）で選択された前記トーンマッピング演算子を用いて前記ＨＤＲ画像をトーンマップし、低ダイナミックレンジ（ＬＤＲ）画像を生成する工程と、
を含み、
前記工程（ａ）は、
（ａ１）前記複数の入力画像から二以上の画像のサブセットを選択する工程と、
（ａ２）選択画像の各々に対する重みマップを生成し、前記重みマップを用いて前記選択画像を結合することにより、前記選択された画像のサブセットを一つの合成画像に合成する工程であって、前記重みマップは、前記選択画像の各々の各画素の彩度、コントラスト、及び露出の適正度のうちの一以上から生成される工程と、
（ａ３）前記合成画像を前記複数のシーンクラスの一つに分類する工程と、
を含むことを特徴とする方法。

【請求項8】

前記工程（ａ）において、前記複数のシーンクラスは、人の有意的存在を含むシーンのクラス、屋外シーンのクラス、及び屋内シーンのクラスを含むことを特徴とする請求項７に記載の方法。

【請求項9】

前記工程（ａ３）は、
顔又は肌色を有する領域、及び、予め定義された形状を、前記合成画像において検出する工程と、
前記顔又は肌色を有する領域、及び、前記予め定義された形状が検出された場合は、前記シーンを、前記人の有意的存在があるシーンである第１クラスとして分類し、
その他の場合は、前記合成画像の相関色温度を用いることにより、前記シーンを、前記屋外シーンである第２クラス又は前記屋内シーンである第３クラスのいずれかに分類する工程と、
を有することを特徴とする請求項８に記載の方法。

【請求項10】

前記工程（ａ）において、前記複数のシーンクラスは、人の有意的存在を含むシーンのクラス、日中のシーンのクラス、及び夜のシーンのクラスを含むことを特徴とする請求項７に記載の方法。

【請求項11】

前記工程（ａ３）は、
顔又は肌色を有する領域、及び、予め定義された形状を、前記合成画像において検出する工程と、
前記顔又は肌色を有する領域、及び、前記予め定義された形状が検出された場合は、前記シーンを、前記人の有意的存在があるシーンである第１クラスとして分類し、
その他の場合は、前記合成画像の画素強度のヒストグラムを用いることにより、前記シーンを、前記日中のシーンである第２クラス又は前記夜のシーンである第３クラスのいずれかに分類する工程と、
を有することを特徴とする請求項１０に記載の方法。

【請求項12】

前記工程（ａ）は、前記工程（ａ２）の前に、前記選択画像をダウンサンプリングする工程を更に有することを特徴とする請求項２，３，５〜１１のいずれか一項に記載の方法。

【請求項13】

前記サブセットは、前記複数の入力画像のすべてを含むことを特徴とする請求項２，３，５〜１２のいずれか一項に記載の方法。

【請求項14】

（ｅ）前記工程（ａ）で決定された前記シーンクラスに基づき、予め記憶された複数のガマットマッピングアルゴリズムの一つを選択する工程と、
（ｆ）前記工程（ｅ）で選択された前記ガマットマッピングアルゴリズムを用いて、前記工程（ｄ）で生成された前記ＬＤＲ画像を、前記画像の色空間から出力装置の色空間に変換する工程と、
を更に含むことを特徴とする請求項１〜１３のいずれか一項に記載の方法。

【請求項15】

前記画像の色空間はＲＧＢ色空間であり、前記出力装置の色空間はＣＭＹＫ色空間であ
ることを特徴とする請求項１４に記載の方法。

【請求項16】

データ処理装置を制御するためのコンピューター読取可能なプログラムコードが内蔵されたコンピューター使用可能な非一時的媒体であって、前記コンピューター読取可能なプログラムコードは、前記コンピューターに、様々な露出値で撮られたシーンの複数の入力画像の組を処理する処理を実行させるように構成されており、前記処理は、
（ａ）前記複数の入力画像の一以上を用いて、前記シーンを複数のシーンクラスの一つに分類する工程と、
（ｂ）前記工程（ａ）で決定された前記シーンクラスに基づき、予め記憶された複数のトーンマッピング演算子の一つを選択する工程と、
（ｃ）前記複数の入力画像をマージして高ダイナミックレンジ（ＨＤＲ）画像を生成する工程と、
（ｄ）前記工程（ｂ）で選択された前記トーンマッピング演算子を用いて前記ＨＤＲ画像をトーンマップし、低ダイナミックレンジ（ＬＤＲ）画像を生成する工程と、
を含み、
前記工程（ａ）において、前記複数のシーンクラスは、人の有意的存在を含むシーンのクラス、屋外シーンのクラス、及び屋内シーンのクラスを含むことを特徴とする非一時的媒体。

【請求項17】

前記工程（ａ）は、
（ａ１）前記複数の入力画像から二以上の画像のサブセットを選択する工程と、
（ａ２）選択画像の各々に対する重みマップを生成し、前記重みマップを用いて前記選択画像を結合することにより、前記選択された画像のサブセットを一つの合成画像に合成する工程であって、前記重みマップは、前記選択画像の各々の各画素の彩度、コントラスト、及び露出の適正度のうちの一以上から生成される工程と、
（ａ３）前記合成画像を前記複数のシーンクラスの一つに分類する工程と、
を含むことを特徴とする請求項１６に記載の非一時的媒体。

【請求項18】

前記工程（ａ３）は、
顔又は肌色を有する領域、及び、予め定義された形状を、前記合成画像において検出する工程と、
前記顔又は肌色を有する領域、及び、前記予め定義された形状が検出された場合は、前記シーンを、前記人の有意的存在があるシーンである第１クラスとして分類し、
その他の場合は、前記合成画像の相関色温度を用いることにより、前記シーンを、前記屋外シーンである第２クラス又は前記屋内シーンである第３クラスのいずれかに分類する工程と、
を有することを特徴とする請求項１７に記載の非一時的媒体。

【請求項19】

データ処理装置を制御するためのコンピューター読取可能なプログラムコードが内蔵されたコンピューター使用可能な非一時的媒体であって、前記コンピューター読取可能なプログラムコードは、前記コンピューターに、様々な露出値で撮られたシーンの複数の入力画像の組を処理する処理を実行させるように構成されており、前記処理は、
（ａ）前記複数の入力画像の一以上を用いて、前記シーンを複数のシーンクラスの一つに分類する工程と、
（ｂ）前記工程（ａ）で決定された前記シーンクラスに基づき、予め記憶された複数のトーンマッピング演算子の一つを選択する工程と、
（ｃ）前記複数の入力画像をマージして高ダイナミックレンジ（ＨＤＲ）画像を生成する工程と、
（ｄ）前記工程（ｂ）で選択された前記トーンマッピング演算子を用いて前記ＨＤＲ画像をトーンマップし、低ダイナミックレンジ（ＬＤＲ）画像を生成する工程と、
を含み、
前記工程（ａ）において、前記複数のシーンクラスは、人の有意的存在を含むシーンのクラス、日中のシーンのクラス、及び夜のシーンのクラスを含むことを特徴とする非一時的媒体。

【請求項20】

前記工程（ａ）は、
（ａ１）前記複数の入力画像から二以上の画像のサブセットを選択する工程と、
（ａ２）選択画像の各々に対する重みマップを生成し、前記重みマップを用いて前記選択画像を結合することにより、前記選択された画像のサブセットを一つの合成画像に合成する工程であって、前記重みマップは、前記選択画像の各々の各画素の彩度、コントラスト、及び露出の適正度のうちの一以上から生成される工程と、
（ａ３）前記合成画像を前記複数のシーンクラスの一つに分類する工程と、
を含むことを特徴とする請求項１９に記載の非一時的媒体。

【請求項21】

前記工程（ａ３）は、
顔又は肌色を有する領域、及び、予め定義された形状を、前記合成画像において検出する工程と、
前記顔又は肌色を有する領域、及び、前記予め定義された形状が検出された場合は、前記シーンを、前記人の有意的存在があるシーンである第１クラスとして分類し、
その他の場合は、前記合成画像の画素強度のヒストグラムを用いることにより、前記シーンを、前記日中のシーンである第２クラス又は前記夜のシーンである第３クラスのいずれかに分類する工程と、
を有することを特徴とする請求項２０に記載の非一時的媒体。

【請求項22】

データ処理装置を制御するためのコンピューター読取可能なプログラムコードが内蔵されたコンピューター使用可能な非一時的媒体であって、前記コンピューター読取可能なプログラムコードは、前記コンピューターに、様々な露出値で撮られたシーンの複数の入力画像の組を処理する処理を実行させるように構成されており、前記処理は、
（ａ）前記複数の入力画像の一以上を用いて、前記シーンを複数のシーンクラスの一つに分類する工程と、
（ｂ）前記工程（ａ）で決定された前記シーンクラスに基づき、予め記憶された複数のトーンマッピング演算子の一つを選択する工程と、
（ｃ）前記複数の入力画像をマージして高ダイナミックレンジ（ＨＤＲ）画像を生成する工程と、
（ｄ）前記工程（ｂ）で選択された前記トーンマッピング演算子を用いて前記ＨＤＲ画像をトーンマップし、低ダイナミックレンジ（ＬＤＲ）画像を生成する工程と、
を含み、
前記工程（ａ）は、
（ａ１）前記複数の入力画像から二以上の画像のサブセットを選択する工程と、
（ａ２）選択画像の各々に対する重みマップを生成し、前記重みマップを用いて前記選択画像を結合することにより、前記選択された画像のサブセットを一つの合成画像に合成する工程であって、前記重みマップは、前記選択画像の各々の各画素の彩度、コントラスト、及び露出の適正度のうちの一以上から生成される工程と、
（ａ３）前記合成画像を前記複数のシーンクラスの一つに分類する工程と、
を含むことを特徴とする非一時的媒体。

【請求項23】

前記工程（ａ）において、前記複数のシーンクラスは、人の有意的存在を含むシーンのクラス、屋外シーンのクラス、及び屋内シーンのクラスを含むことを特徴とする請求項２２に記載の非一時的媒体。

【請求項24】

前記工程（ａ３）は、
顔又は肌色を有する領域、及び、予め定義された形状を、前記合成画像において検出する工程と、
前記顔又は肌色を有する領域、及び、前記予め定義された形状が検出された場合は、前記シーンを、前記人の有意的存在があるシーンである第１クラスとして分類し、
その他の場合は、前記合成画像の相関色温度を用いることにより、前記シーンを、前記屋外シーンである第２クラス又は前記屋内シーンである第３クラスのいずれかに分類する工程と、
を有することを特徴とする請求項２３に記載の非一時的媒体。

【請求項25】

前記工程（ａ）において、前記複数のシーンクラスは、人の有意的存在を含むシーンのクラス、日中のシーンのクラス、及び夜のシーンのクラスを含むことを特徴とする請求項２２に記載の非一時的媒体。

【請求項26】

前記工程（ａ３）は、
顔又は肌色を有する領域、及び、予め定義された形状を、前記合成画像において検出する工程と、
前記顔又は肌色を有する領域、及び、前記予め定義された形状が検出された場合は、前記シーンを、前記人の有意的存在があるシーンである第１クラスとして分類し、
その他の場合は、前記合成画像の画素強度のヒストグラムを用いることにより、前記シーンを、前記日中のシーンである第２クラス又は前記夜のシーンである第３クラスのいずれかに分類する工程と、
を有することを特徴とする請求項２５に記載の非一時的媒体。

【請求項27】

前記工程（ａ）は、前記工程（ａ２）の前に、前記選択画像をダウンサンプリングする工程を更に有することを特徴とする請求項１７，１８，２０〜２６のいずれか一項に記載の非一時的媒体。

【請求項28】

前記サブセットは、前記複数の入力画像のすべてを含むことを特徴とする請求項１７，１８，２０〜２７のいずれか一項に記載の非一時的媒体。

【請求項29】

前記処理は、
（ｅ）前記工程（ａ）で決定された前記シーンクラスに基づき、予め記憶された複数のガマットマッピングアルゴリズムの一つを選択する工程と、
（ｆ）前記工程（ｅ）で選択された前記ガマットマッピングアルゴリズムを用いて、前記工程（ｄ）で生成された前記ＬＤＲ画像を、前記画像の色空間から出力装置の色空間に変換する工程と、
を更に含むことを特徴とする請求項１６〜２８のいずれか一項に記載の非一時的媒体。

【請求項30】

前記画像の色空間はＲＧＢ色空間であり、前記出力装置の色空間はＣＭＹＫ色空間であることを特徴とする請求項２９に記載の非一時的媒体。

【請求項31】

請求項１６〜３０のいずれか一項に記載のコンピューター使用可能な非一時的媒体を備え、
画像を取得する撮影部と、
前記撮影部を制御して、異なる露出レベルを有する複数画像の組を取得する制御部と、を更に備えることを特徴とするデジタルカメラ。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、高ダイナミックレンジ（ＨＤＲ）画像処理に関し、特に、シーン分類に基づいた最適なトーンマッピング演算子及びガマットマッピングアルゴリズムの自動選択に関する。

【背景技術】

【0002】

高ダイナミックレンジ（ＨＤＲ）イメージングは、明るさ（光強度）の範囲が非常に大きいソースを扱う画像処理及びデジタル写真術において用いられる技術である。例えば、日中の屋外シーンには、青い空及び日に照らされた被写体と共に、陰になった被写体が含まれうる。夜のシーンには、ネオンライト及び明るく照らされた被写体と共に、暗く照らされた被写体が含まれうる。また、屋内シーンには、明るい窓と共に、暗い領域等が含まれうる。これらのシーンは、デジタルカメラ等のイメージング装置にとっての課題である。つまり、現在利用可能なデジタルカメラのイメージセンサのダイナミックレンジでは、そのようなシーンを十分に画像化できない場合が多い。露出レベルがシーンの暗い領域の細部を撮影するのに適している場合、明るい領域は露出過度となって細部が損なわれることが多い。反対に、露出レベルがシーンの明るい領域の細部を撮影するのに適している場合、暗い領域は露出不足となって細部が損なわれることが多い。

【0003】

ＨＤＲイメージング技術は、様々な露出レベルで同じシーンの画像を複数枚撮影し（露出ブラケティングと呼ばれる）、複数画像をデジタル的にマージ又は結合して、明るい領域及び暗い領域の双方の細部が十分に表されるように、元の複数画像の情報を含むＨＤＲ画像を生成することによって、この問題に対処する。複数画像（ブラケットと呼ばれる）からＨＤＲ画像を生成する方法は、一般に知られている。通常、この処理は、複数画像の位置を合わせ、複数画像におけるゴーストを取り除いてから（複数画像の撮影の間にシーンの被写体が動くとゴーストが発生しうる）、複数画像をマージしてＨＤＲ画像を形成する工程を含む。

【0004】

ＨＤＲ画像をプリンターで印刷するには、まず、画像をプリンターがサポートしている色で表現しなければならない。一般に、インク又はトナーによりプリンター上で生成しうる色の範囲は、ＨＤＲ画像に含まれる範囲よりもずっと小さい。例えば、プリンターで印刷される画像が１〜２５５の範囲の階調値を有しうるのに対し、ＨＤＲ画像は１００，０００：１のタイナミックレンジを有しうる。印刷の間、ＨＤＲ画像の非常に広い色の範囲を、それより小さい印刷可能範囲に当てはめる必要がある。この変換には、画像の階調値を高タイナミックレンジ（ＨＤＲ）から低ダイナミックレンジ（ＬＤＲ）に変換するトーンマッピングと、印刷のためにＬＤＲ画像をＲＧＢ（レッド、グリーン、ブルー）色空間からＣＭＹＫ（シアン、マゼンタ、イエロー、ブラック）色空間に変換するガマットマッピングとが含まれる。様々なトーンマッピングアルゴリズムが知られている。

【0005】

画像処理では、シーン分類又は画像分類が用いられている。例えば、シーンを屋内及び屋外シーンに分類する方法が提案されている。

【発明の概要】

【発明が解決しようとする課題】

【0006】

一つのトーンマッピングアルゴリズムが、すべての種類の画像について最もよく機能するわけではないことが分かっている。例えば、ドラゴ（Ｄｒａｇｏ）トーンマッピング演算子（例えば、Ｆ．Ｄｒａｇｏ、Ｋ．Ｍｙｓｚｋｏｗｓｋｉ、Ｔ．Ａｎｎｅｎ及びＮ．Ｃｈｉｂａ著、「Ａｄａｐｔｉｖｅ Ｌｏｇａｒｉｔｈｍｉｃ Ｍａｐｐｉｎｇ Ｆｏｒ Ｄｉｓｐｌａｙｉｎｇ Ｈｉｇｈ Ｃｏｎｔｒａｓｔ Ｓｃｅｎｅｓ」（Ｃｏｍｐｕｔｅｒ Ｇｒａｐｈｉｃｓ Ｆｏｒｕｍ、２００３年、２２巻、４１９〜４２６頁）参照）は、景色がある屋外シーンの画像に対して最もよく機能する傾向がある。また、レインハード（Ｒｅｉｎｈａｒｄ）０２トーンマッピング演算子（例えば、「Ｐｈｏｔｏｇｒａｐｈｉｃ Ｔｏｎｅ Ｒｅｐｒｏｄｕｃｔｉｏｎ ｆｏｒ Ｄｉｇｉｔａｌ Ｉｍａｇｅｓ」（Ｅ．Ｒｅｉｎｈａｒｄ、Ｍ．Ｓｔａｒｋ、Ｐ．Ｓｈｉｒｌｅｙ及びＪ．Ｆｅｒｗｅｒｄａ著、ＡＣＭ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｇｒａｐｈｉｃｓ、２００２年）参照）は、人がいる屋外のシーンの画像に対して最もよく機能する傾向がある。また、ｉＣＡＭ０６トーンマッピング演算子（例えば、Ｋｕａｎｇ，Ｊ．及びＦａｉｒｃｈｉｌｄ，Ｍ．Ｄ．著、「ｉＣＡＭ０６、ＨＤＲ、ａｎｄ Ｉｍａｇｅ Ａｐｐｅａｒａｎｃｅ」（ＩＳ＆Ｔ／ＳＩＤ １５ｔｈ Ｃｏｌｏｒ Ｉｍａｇｉｎｇ Ｃｏｎｆｅｒｅｎｃｅ、２００７年）参照）は、屋内のシーンの画像に対して最もよく機能する傾向がある。本発明者らは、画像のシーンの種類の分類に基づいて最適なトーンマッピング演算子を自動選択する方法が、ＨＤＲ画像処理の質を高めることに気付いた。

【課題を解決するための手段】

【0007】

よって、本発明は、ＨＤＲ画像処理のためのトーンマッピング演算子及びガマットマッピングアルゴリズムを自動選択する方法を対象とする。

【0008】

本発明は、ＨＤＲ画像から印刷される画像の質を高めることを目的とする。

【0009】

本発明の追加的な特徴及び利点は以下の記載において述べられ、その一部は当該記載から明らかであるか、本発明の実施により知るところとなる。本発明の目的及び他の利点は、明細書の記載、特許請求の範囲、及び添付図面で詳しく示された構造により実現され、取得される。

【0010】

これらの及び／又は他の目的を達成するために、具現化され広く記載されているように、本発明は、様々な露出値で撮られたシーンの複数の入力画像の組を処理するデータ処理装置で実施される方法であって、（ａ）前記複数の入力画像の一以上を用いて、前記シーンを複数のシーンクラスの一つに分類する工程と、（ｂ）前記工程（ａ）で決定された前記シーンクラスに基づき、予め記憶された複数のトーンマッピング演算子の一つを選択する工程と、（ｃ）前記複数の入力画像をマージして高ダイナミックレンジ（ＨＤＲ）画像を生成する工程と、（ｄ）前記工程（ｂ）で選択された前記トーンマッピング演算子を用いて前記ＨＤＲ画像をトーンマップし、低ダイナミックレンジ（ＬＤＲ）画像を生成する工程と、を含み、前記工程（ａ）において、前記複数のシーンクラスは、人の有意的存在を含むシーンのクラス、屋外シーンのクラス、及び屋内シーンのクラスを含む方法を提供する。
また、本発明は、様々な露出値で撮られたシーンの複数の入力画像の組を処理するデータ処理装置で実施される方法であって、（ａ）前記複数の入力画像の一以上を用いて、前記シーンを複数のシーンクラスの一つに分類する工程と、（ｂ）前記工程（ａ）で決定された前記シーンクラスに基づき、予め記憶された複数のトーンマッピング演算子の一つを選択する工程と、（ｃ）前記複数の入力画像をマージして高ダイナミックレンジ（ＨＤＲ）画像を生成する工程と、（ｄ）前記工程（ｂ）で選択された前記トーンマッピング演算子を用いて前記ＨＤＲ画像をトーンマップし、低ダイナミックレンジ（ＬＤＲ）画像を生成する工程と、を含み、前記工程（ａ）において、前記複数のシーンクラスは、人の有意的存在を含むシーンのクラス、日中のシーンのクラス、及び夜のシーンのクラスを含む方法を提供する。
また、本発明は、様々な露出値で撮られたシーンの複数の入力画像の組を処理するデータ処理装置で実施される方法であって、（ａ）前記複数の入力画像の一以上を用いて、前記シーンを複数のシーンクラスの一つに分類する工程と、（ｂ）前記工程（ａ）で決定された前記シーンクラスに基づき、予め記憶された複数のトーンマッピング演算子の一つを選択する工程と、（ｃ）前記複数の入力画像をマージして高ダイナミックレンジ（ＨＤＲ）画像を生成する工程と、（ｄ）前記工程（ｂ）で選択された前記トーンマッピング演算子を用いて前記ＨＤＲ画像をトーンマップし、低ダイナミックレンジ（ＬＤＲ）画像を生成する工程と、を含み、前記工程（ａ）は、（ａ１）前記複数の入力画像から二以上の画像のサブセットを選択する工程と、（ａ２）選択画像の各々に対する重みマップを生成し、前記重みマップを用いて前記選択画像を結合することにより、前記選択された画像のサブセットを一つの合成画像に合成する工程であって、前記重みマップは、前記選択画像の各々の各画素の彩度、コントラスト、及び露出の適正度のうちの一以上から生成される工程と、（ａ３）前記合成画像を前記複数のシーンクラスの一つに分類する工程と、を含む方法を提供する。

【0011】

前記工程（ａ）は、（ａ１）前記複数の入力画像から二以上の画像のサブセットを選択する工程と、（ａ２）選択画像の各々に対する重みマップを生成し、前記重みマップを用いて前記選択画像を結合することにより、前記選択された画像のサブセットを一つの合成画像に合成する工程であって、前記重みマップは、前記選択画像の各々の各画素の彩度、コントラスト、及び露出の適正度のうちの一以上から生成される工程と、（ａ３）前記合成画像を前記複数のシーンクラスの一つに分類する工程と、を含んでもよい。

【0012】

前記方法は、（ｅ）前記工程（ａ）で決定された前記シーンクラスに基づき、予め記憶された複数のガマットマッピングアルゴリズムの一つを選択する工程と、（ｆ）前記工程（ｅ）で選択された前記ガマットマッピングアルゴリズムを用いて、前記工程（ｄ）で生成された前記ＬＤＲ画像を、前記画像の色空間から出力装置の色空間に変換する工程と、を更に含んでもよい。

【0013】

一の例では、前記複数のシーンクラスは、人の有意的存在を含むシーンのクラス、屋外シーンのクラス、及び屋内シーンのクラスを含む。人の存在は、顔認識技術により決定しうる。屋外シーンと屋内シーンとは、画像の相関色温度を用いて分類することができる。

【0014】

他の側面では、本発明は、データ処理装置を制御するためのコンピューター読取可能なプログラムコードが内蔵されたコンピューター使用可能な非一時的媒体（例えば、メモリ又は記憶装置）であって、前記コンピューター読取可能なプログラムコードは、前記コンピューターに、上記処理を実行させるように構成された非一時的媒体を提供する。

【0015】

また、他の側面では、上述のコンピューター使用可能な非一時的媒体を備え、更に、画像を取得する撮影部と、前記撮影部を制御して、異なる露出レベルを有する複数画像の組を取得する制御部と、を更に含むデジタルカメラを提供する。

【0016】

上述した概要及び以下の詳細な説明は共に、例示的かつ説明的なものであって、特許請求の範囲に記載された本発明について更なる説明を提供することを意図するものである。

【図面の簡単な説明】

【0017】

【図1】本発明の実施形態によるＨＤＲ画像処理方法を概略的に示す図である。

【図2A】本発明の実施形態を実現しうるデータ処理装置を概略的に示す図である。

【図2B】本発明の実施形態を実現しうるデジタルカメラを概略的に示す図である。

【発明を実施するための形態】

【0018】

本発明の実施形態は、ＨＤＲ画像処理のために最適なトーンマッピング演算子と、最適なガマットマッピングアルゴリズムとを自動選択するために、シーン分類を使用する。特定の一の実施形態では、シーンが３つのクラス、すなわち、人がいない屋外シーン、人がいない屋内シーン、並びに、人がいるシーン（屋外及び屋内）に分類される。３つのトーンマッピング演算子、すなわち、ドラゴ（Ｄｒａｇｏ）、ｉＣＡＭ０６及びレインハード（Ｒｅｉｎｈａｒｄ）０２が、これら３つのシーンクラスにそれぞれ用いられる。

【0019】

図１は、本発明の実施形態によるＨＤＲ画像処理方法を概略的に示す。この方法は、コンピューターやデジタルカメラ等のデータ処理装置において実施される。この方法は、入力として、様々な露出で同じシーンを撮影した複数画像（ブラケット）の組を受信する。画像の位置合わせ及びゴースト除去を含む前処理が既に実行されている（図示せず）。複数のブラケットはマージされ、ＨＤＲ画像生成アルゴリズムを用いたＨＤＲ画像が形成される（ステップＳ１６）。本実施形態には、いかなる適切なＨＤＲ画像生成アルゴリズムを適用することもできる。

【0020】

他方、シーン分類（ステップＳ１１〜Ｓ１３）の適用により、シーンが事前認識されているいくつかのシーンクラスの一つに分類される。初めに複数画像の各々がダウンサンプルされ、より小さい画像の組が生成される（ステップＳ１１）。最新のカメラによって得た画像は一般に高画素解像度を有するので、ダウンサンプリングは、シーン分類の精度をそれほど犠牲にすることなく性能を向上させる。このダウンサンプリング工程は任意である。

【0021】

その後、複数画像は、露出合成アルゴリズムを用いた合成ＬＤＲ画像に合成される（ステップＳ１２）。露出合成は、ＨＤＲ画像を生成してからトーンマッピングを適用するのではなく、複数の露出ブラケットを直接一つのＬＤＲ画像に合成又は融合する技術である。露出合成は、シーンの明るい領域及び暗い領域の双方において良好な露出レベルを示し、表示（又は印刷）目的に適したＬＤＲ画像を生成することができる。露出合成処理は速いものの、生成されるＬＤＲ画像の質は、ＨＤＲ画像のトーンマッピングにより得られる画像の質ほど高くはない。Ｔ．Ｍｅｒｔｅｎｓ、Ｊ．Ｋａｕｔｚ及びＦ．Ｖａｎ Ｒｅｅｔｈ著、「Ｅｘｐｏｓｕｒｅ Ｆｕｓｉｏｎ」（Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ Ｐａｃｉｆｉｃ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｇｒａｐｈｉｃｓ ａｎｄ Ａｐｐｌｉｃａｔｉｏｎｓ、Ｐａｃｉｆｉｃ Ｇｒａｐｈｉｃｓ ２００７、３８２〜３９０頁）（「Ｍｅｒｔｅｎｓ等」）に記載された一の露出合成方法は、各ブラケットの各画素について、彩度、コントラスト、及び露出の適正度といった望ましい品質を表す知覚品質測度を計算する。この品質測度は、各ブラケットの重みマップを構成するのに用いられ、これにより複数のブラケットが一つのＬＤＲ画像に結合される。Ｍｅｒｔｅｎｓ等の論文に記載された方法では、重みマップにおける急激な変化に起因する問題に対処するため、更なる技術が適用される。

【0022】

Ｍｅｒｔｅｎｓ等の論文に記載のように、コントラストのインジケーターは、ラプラシアンフィルターを各画像のグレースケール版に適用して、フィルター応答の絶対値を計算することにより計算することができる。このコントラストインジケーターは、エッジやテクスチャ等の重要な要素に高い重みを割り当てる傾向がある。彩度は、各画素におけるＲ、Ｇ及びＢチャンネル内の標準偏差として計算することができる。飽和色が望ましく、画像を鮮明にする。画素は、その強度が０（露出不足）又は１（露出過度）に近くないときに良好に露出される。露出の適正度は、ガウス曲線又は他の曲線を用いて、強度が０．５にどれくらい近いかによって計測することができる。

【0023】

本発明の好ましい実施では、彩度、コントラスト、又は露出の適正度等の品質パラメーターのうち一つだけを用いてＭｅｒｔｅｎｓ等の論文から作られた、簡易化露出合成アルゴリズムをステップＳ１２において使用し、重みマップを生成する。この簡易化は、シーン分類の精度に目に付くほどの影響を与えることなく、速度を向上させる。他の実施では、彩度、コントラスト、及び露出の適正度を含む、Ｍｅｒｔｅｎｓ等の論文に記載された複数の又はすべての品質パラメーターが組み合わせて用いられ、重みマップが生成される。

【0024】

一の実施形態では、ステップＳ１２において、複数画像の組のすべてのブラケットが合成され、合成ＬＤＲ画像が生成される。また、他の実施形態では、特に、画像の組のブラケット数が比較的大きい場合に、ブラケットのサブセットを用いて合成ＬＤＲ画像を生成してもよい。例えば、画像の組が７つの露出ブラケットを含む場合、３つのブラケット（例えば、２番目、４番目及び６番目）や、４つのブラケット（１番目、３番目、５番目及び７番目）等を用いてもよい。したがって、より広く言えば、ステップＳ１２は、複数の入力画像のサブセットを合成する工程を含む。サブセットは、複数の入力画像のすべてか、又はそれより少なくてもよい。

【0025】

シーン分類は、合成ＬＤＲ画像を用いて実行される（ステップＳ１３）。特定の一の実施形態において、シーンは３つのクラス、すなわち、人の有意的存在なしの屋外シーン（本明細書では、便宜上、屋外シーンと呼ぶ）、人の有意的存在なしの屋内シーン（屋内シーンと呼ぶ）、及び、人の有意的存在を含むシーン（人ありのシーンと呼ぶ）に分類される。本実施形態のシーン分類は、まず、画像において肌色を有する形状及び又は顔の存在を検出することによって実行される。肌色は、予め定義された色の組である。一の実施では、顔や手足のような形状の肌色領域が検出されると、画像は人ありのシーンとして分類される。他の実施では、有意な数の画像画素（例えば、画像のすべての画素の５％以上）が肌色を有するとき、画像は人ありのシーンとして分類される。他の実施では、顔検出又は顔認識技術を用いて画像中の顔を検出し、そのシーンが人ありのシーンか否か決定する。ここではいかなる適切な顔検出又は顔認識アルゴリズムを用いてもよい。

【0026】

その後、画像の相関色温度（ＣＣＴ）が計算され、シーンが屋内シーンであるか、或いは屋外シーンであるかが決定される。ＣＣＴは、光源のカラーアピアランスの測定単位である。ＣＣＴは、知覚色が、特定の観察条件で同じ明るさの所定刺激のそれに最も近い、黒体放射体の温度として定義される。ＣＣＴを用いた屋内／屋外シーンの分類方法の一つが、Ａ．Ｎａｄｉａｎ Ｇｈｏｍｓｈｅｈ及びＡ．Ｔａｌｅｂｐｏｕｒ著、「Ａ Ｎｅｗ Ｍｅｔｈｏｄ ｆｏｒ Ｉｎｄｏｏｒ−ｏｕｔｄｏｏｒ Ｉｍａｇｅ Ｃｌａｓｓｉｆｉｃａｔｉｏｎ Ｕｓｉｎｇ Ｃｏｌｏｒ Ｃｏｒｒｅｌａｔｅｄ Ｔｅｍｐｅｒａｔｕｒｅ」（Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｊｏｕｒｎａｌ ｏｆ Ｉｍａｇｅ Ｐｒｏｃｅｓｓｉｎｇ：ＩＪＩＰ、第６巻、３号、２０１２年、１６７〜１８１頁）に記載されている。この方法では、画像は異なるカラーセグメントに分割され、各セグメントについてＣＣＴが発見される。これらの値は、画像特徴ベクトルを形成する。訓練ベクトルは、シーン分類子を訓練し、シーンを屋内又は屋外シーンに分類するのに用いられる（上記論文の１７０〜１７１頁参照）。上記論文に記載の方法は、ステップＳ１３におけるシーン分類で用いることができる。

【0027】

上述した３つのシーンクラスは、単なる例にすぎない。他の実施形態では、シーンは他のクラスに分類されてもよい。例えば、夜のシーンと日中のシーン、全体的に暗いシーンと全体的に明るいシーン等である。夜／日中及び暗い／明るいシーンは、画素強度のヒストグラムを計算して、ヒストグラムの特徴的な形状を検出することにより分類することができる。例えば、夜のシーンのヒストグラムでは、低明度領域に分布する画素の大半が高いピークを形成し、高明度領域に分布する画素の一部がより小さいピークを形成して、２つの明確なピークを有することになると考えられる。暗い画像では、画素の大部分が、一つのピークを形成する明度のより低い領域に分布することになると考えられる。

【0028】

ステップＳ１３で決定されたシーン分類に基づき、トーンマッピング演算子が自動選択されて、ＨＤＲ画像の処理に用いられる（ステップＳ１４）。一の実施形態では、トーンマッピング演算子の選択は以下の通りである。屋外シーンに対してはドラゴトーンマッピング演算子が選択され、屋内シーンに対してはｉＣＡＭ０６トーンマッピング演算子が選択され、人ありのシーン（屋外及び屋内の双方）に対してはレインハード０２トーンマッピング演算子が選択される。シーンが日中／夜のシーン或いは明るい／暗いシーンに分類されると、レインハード０２トーンマッピング演算子を人ありのシーンに使用することができる一方で、ドラゴトーンマッピング演算子を日中又は明るいシーンに、ｉＣＡＭ０６トーンマッピング演算子を夜の又は暗いシーンに使用することができる。

【0029】

上述したシーンクラスとトーンマッピング演算子との対応関係は単なる例であり、他のトーンマッピング演算子が種々のシーンクラスに対して選択されうる。他の既知のトーンマッピング演算子としては、レインハード（Ｒｅｉｎｈａｒｄ）０５（例えば、Ｅ．Ｒｅｉｎｈａｒｄ及びＫ．Ｄｅｖｌｉｎ著、「Ｄｙｎａｍｉｃ Ｒａｎｇｅ Ｒｅｄｕｃｔｉｏｎ Ｉｎｓｐｉｒｅｄ ｂｙ Ｐｈｏｔｏｒｅｃｅｐｔｏｒ Ｐｈｙｓｉｏｌｏｇｙ」（ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｖｉｓｕａｌｉｚａｔｉｏｎ ａｎｄ Ｃｏｍｐｕｔｅｒ Ｇｒａｐｈｉｃｓ、２００５年、１１巻、１３〜１４頁）参照）、デュラン（Ｄｕｒａｎｄ）（例えば、Ｆ．Ｄｕｒａｎｄ及びＪｕｌｉｅ Ｄｏｒｓｅｙ著、「Ｆａｓｔ Ｂｉｌａｔｅｒａｌ Ｆｉｌｔｅｒｉｎｇ ｆｏｒ ｔｈｅ Ｄｉｓｐｌａｙ ｏｆ Ｈｉｇｈ−Ｄｙｎａｍｉｃ−Ｒａｎｇｅ Ｉｍａｇｅｓ」（ＡＣＭ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｇｒａｐｈｉｃｓ、２００２年、２１巻、Ｎｏ．３、２５７〜２６６頁）参照）、レティナ（Ｒｅｔｉｎｅ）（例えば、Ｂｅｎｏｉｔ Ａ．、Ｃａｐｌｉｅｒ Ａ．、Ｄｕｒｅｔｔｅ Ｂ．及びＨｅｒａｕｌｔ Ｊ．著、「Ｕｓｉｎｇ Ｈｕｍａｎ Ｖｉｓｕａｌ Ｓｙｓｔｅｍ Ｍｏｄｅｌｉｎｇ Ｆｏｒ Ｂｉｏ−Ｉｎｓｐｉｒｅｄ Ｌｏｗ Ｌｅｖｅｌ Ｉｍａｇｅ Ｐｒｏｃｅｓｓｉｎｇ」（Ｅｌｓｅｖｉｅｒ，Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｉｍａｇｅ Ｕｎｄｅｒｓｔａｎｄｉｎｇ １１４巻、２０１０年、７５８〜７７３頁）参照）等がある。他の実施形態では、シーン分類に基づき、これら他のトーンマッピング演算子の一つを選択することができる。概して、シーンクラスと好ましいトーンマッピング演算子との対応関係は経験的に決定することが可能であり、シーンクラスとトーンマッピング演算子との対応テーブルをデータ処理装置に予め記憶しておいてもよい。

【0030】

追加的に（任意に）、ステップＳ１３で決定したシーン分類に基づいて、ガマットマッピングアルゴリズムが自動選択され、トーンマッピング後の画像処理に用いられる（ステップＳ１５）。この目的のため、複数のガマットマッピングアルゴリズム、又は異なるガマットマッピングアルゴリズムにより予め計算された複数のルックアップテーブルを、データ処理装置に記憶すると共に、シーンクラスと好ましいガマットマッピングアルゴリズムとの対応関係を予め記憶しておく。ここで、ガマットマッピングアルゴリズムは、異なる式を用いる場合、又は式は同じだが異なるパラメーターを用いる場合に異なるものとみなされる。シーンクラスと好ましいガマットマッピングアルゴリズムとの対応関係は、実験に基づき、又は訓練データを用いた機械学習によって、手入力で決定することができる。

【0031】

その後、ステップＳ１６で生成されたＨＤＲ画像は、ステップＳ１４で選択されたトーンマッピング演算子を適用することにより、ＬＤＲ画像にトーンマップされる（ステップＳ１７）。また、ＬＤＲ画像は、ステップＳ１５で選択されたガマットマッピングアルゴリズムを用いてガマットマップされ、印刷用の画像が生成される（ステップＳ１８）。ガマットマッピングは、一の色空間、この場合はカメラ（入力装置）の色空間、例えばＲＧＢから、他の色空間、この場合はプリンター（出力装置）の色空間、例えばＣＭＹＫに画像を変換する。トーンマッピング演算子及びガマットマッピングアルゴリズムが選択されると、当業者は不要な実験なしでステップＳ１７及びＳ１８を実施することができる。

【0032】

上述の実施形態では、複数のブラケットから生成された合成ＬＤＲ画像がステップＳ１３のシーン分類に用いられる。他の実施形態では、シーン分類は単一のブラケットで行われる。例えば、組の中央のブラケット又は（露出値の観点で）最適な露出のブラケットを使用することができる。この他の実施形態では、ステップＳ１２が省略され、代わりに、中央のブラケットを選択する工程が実施される。局所的な露光過度及び／又は露出不足により、単一のブラケットがシーン内のすべての特徴の十分な詳細情報を提供しないことも多いため、この他の方法はあまり好ましくない。例えば、人の顔は、中央のブラケットでは露出不足になりうる。よって、シーン分類に単一のブラケットを用いると、誤ったシーン分類を引き起こす要因となりうる。

【0033】

上述のＨＤＲ画像処理方法は、図２Ａに示すようなコンピューター１２０等のデータ処理システムにおいて実施することができる。コンピューター１２０は、プロセッサー１２１、記憶装置（例えば、ハードディスクドライブ）１２２、及び内部メモリー（例えば、ＲＡＭ）１２３を備えている。記憶装置１２２は、上記方法を実行するためにＲＡＭ１２３に読み出され、プロセッサー１２１により実行されるソフトウェアプログラムを記憶する。

【0034】

上記方法は、デジタルカメラ内の一以上のチップ等のハードワイヤード回路において実施されることも可能である。図２Ｂは、プロセッサー１３１、記憶装置１３２及び内部メモリー１３３と、画像を取得する撮影部１３４及びカメラの様々な機能を制御する制御部１３５とを備えるデジタルカメラ１３０を概略的に示している。制御部１３５は、異なる露出レベルで一組の画像を自動的に撮るオートブラケティングを実行しうる。オートブラケティングは周知なのでここでは詳細を省略する。プロセッサー１３１は、上述したアルゴリズムを用いて一組の画像を処理し、ＨＤＲ画像を生成しうる。

【0035】

一の側面では、本発明は、データ処理装置において具現化される。データ処理装置は、デジタルカメラのデータ処理部であってもよい。他の側面では、本発明は、データ処理装置を制御するためのコンピューター読取可能なプログラムコードを内蔵したコンピューター使用可能な非一時的媒体に具現化されるコンピュータープログラム製品である。他の側面では、本発明は、データ処理装置により実行される方法である。

【0036】

本発明のＨＤＲ画像処理方法及び関連する装置に、本発明の趣旨又は範囲を逸脱することなく、種々の修正や変更を加えうることは、当業者において明らかである。このように、本発明は、添付の特許請求の範囲やその等価物の範囲内の変更点や修正点にまで及ぶことが意図されている。

【図1】

【図2A】

【図2B】