知財求人 - 知財ポータルサイト「IP Force」
▶ コニカ ミノルタ ラボラトリー ユー．エス．エー．，インコーポレイテッドの特許一覧
特開2015-165660局所基準のグラフ基準選択を用いたＨＤＲ画像生成におけるゴーストアーチファクトの検出及び除去
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】特開2015-165660(P2015-165660A)
(43)【公開日】2015年9月17日
(54)【発明の名称】局所基準のグラフ基準選択を用いたＨＤＲ画像生成におけるゴーストアーチファクトの検出及び除去
(51)【国際特許分類】
H04N 5/235 20060101AFI20150821BHJP
G06T 5/00 20060101ALI20150821BHJP
H04N 5/232 20060101ALI20150821BHJP
【ＦＩ】
H04N5/235
G06T5/00 735
H04N5/232 Z
【審査請求】未請求
【請求項の数】15
【出願形態】ＯＬ
【外国語出願】
【全頁数】25
(21)【出願番号】特願2015-40789(P2015-40789)
(22)【出願日】2015年3月2日
(31)【優先権主張番号】14/194,168
(32)【優先日】2014年2月28日
(33)【優先権主張国】US
(71)【出願人】
【識別番号】507031918
【氏名又は名称】コニカ ミノルタ ラボラトリー ユー．エス．エー．，インコーポレイテッド
(74)【代理人】
【識別番号】110001254
【氏名又は名称】特許業務法人光陽国際特許事務所
(72)【発明者】
【氏名】ビヤンヴニュ， アレクシス
(72)【発明者】
【氏名】ヴィダル−ナケ， ミシェル ジュリアン
【テーマコード（参考）】
5B057
5C122
【Ｆターム（参考）】
5B057CA08
5B057CA12
5B057CA16
5B057CB08
5B057CB12
5B057CB16
5B057CE08
5B057CE11
5B057DA08
5B057DC22
5C122DA04
5C122EA21
5C122EA61
5C122FH01
5C122FH09
5C122FH14
5C122FH18
5C122HA88
5C122HB01
5C122HB05
5C122HB06
5C122HB10
(57)【要約】 （修正有）
【課題】ＨＤＲ（高ダイナミックレンジ）画像生成においてゴーストアーチファクトを検出する改良された方法を提供する。【解決手段】ＨＤＲ画像の生成において、ゴーストアーチファクト検出方法はブラケットを複数のタイルに分割し、各タイルに対して一つのブラケットを局所基準ブラケットとして選択する。局所基準ブラケットは、個々のタイルの露出品質を測定する構成要素及び隣接タイルの間の相互関係を測定する構成要素の双方を含む目的関数の最適化を介して選択される。最適化は、目的関数のグラフを構築し、グラフカットアルゴリズムを用いてグラフの最適カットを計算することにより実現される。３つ及び４つの画像の組に対するグラフの例が与えられる。それから、各タイルの局所基準ブラケットを用いて、各タイル基準でゴーストアーチファクト検出が実行される。こうしてゴーストマップが作成され、ＨＤＲ画像生成に用いられる。
【選択図】なし
【特許請求の範囲】
【請求項1】
複数の入力画像の組から高ダイナミックレンジ（ＨＤＲ）画像を生成する方法であって、各入力画像にはブラケット指標が割り当てられており、
（ａ）前記各入力画像をタイルの組に分割する工程であって、すべての画像が同じタイルの組に分割される工程と、
（ｂ）前記タイルの組の各タイルに対する基準ブラケット指標を決定する工程であって、
（ｂ１）前記タイルの組に対する前記ブラケット指標の組の関数として目的関数を定義する工程であって、前記目的関数は、個々のタイルの露出品質を測定する構成要素と、隣接タイルの間の相互関係を測定する構成要素と、を含む工程と、
（ｂ２）前記目的関数を最適化する、前記タイルに対する前記基準ブラケット指標の組を計算する工程と、
を含む工程と、
（ｃ）前記タイルに対する前記基準ブラケット指標の組に基づき、前記各タイルについて、前記ブラケット指標が前記基準ブラケット指標でない前記各入力画像と、前記ブラケット指標が前記基準ブラケット指標である前記各入力画像とを比較することにより、各タイル基準で、前記入力画像の組におけるゴースト誘発画素を検出し、前記各入力画像について、該画像における前記ゴースト誘発画素を示すゴーストマップを生成する工程と、
（ｄ）前記入力画像の組と、対応する前記ゴーストマップとを用いて、ＨＤＲ画像を生成する工程と、
を有することを特徴とする方法。
（ａ）前記各入力画像をタイルの組に分割する工程であって、すべての画像が同じタイルの組に分割される工程と、
（ｂ）前記タイルの組の各タイルに対する基準ブラケット指標を決定する工程であって、
（ｂ１）前記タイルの組に対する前記ブラケット指標の組の関数として目的関数を定義する工程であって、前記目的関数は、個々のタイルの露出品質を測定する構成要素と、隣接タイルの間の相互関係を測定する構成要素と、を含む工程と、
（ｂ２）前記目的関数を最適化する、前記タイルに対する前記基準ブラケット指標の組を計算する工程と、
を含む工程と、
（ｃ）前記タイルに対する前記基準ブラケット指標の組に基づき、前記各タイルについて、前記ブラケット指標が前記基準ブラケット指標でない前記各入力画像と、前記ブラケット指標が前記基準ブラケット指標である前記各入力画像とを比較することにより、各タイル基準で、前記入力画像の組におけるゴースト誘発画素を検出し、前記各入力画像について、該画像における前記ゴースト誘発画素を示すゴーストマップを生成する工程と、
（ｄ）前記入力画像の組と、対応する前記ゴーストマップとを用いて、ＨＤＲ画像を生成する工程と、
を有することを特徴とする方法。
【請求項2】
前記工程（ｂ２）は、
グラフの最適カットが、前記目的関数を最適化する前記タイルに対する前記ブラケット指標の組を与えるように、前記目的関数に基づき前記グラフを構築する工程と、
グラフカットアルゴリズムを用いて前記グラフの前記最適カットを計算し、前記目的関数を最適化する前記タイルに対する前記基準ブラケット指標の組を取得する工程と、
を有することを特徴とする請求項１に記載の方法。
グラフの最適カットが、前記目的関数を最適化する前記タイルに対する前記ブラケット指標の組を与えるように、前記目的関数に基づき前記グラフを構築する工程と、
グラフカットアルゴリズムを用いて前記グラフの前記最適カットを計算し、前記目的関数を最適化する前記タイルに対する前記基準ブラケット指標の組を取得する工程と、
を有することを特徴とする請求項１に記載の方法。
【請求項3】
前記工程（ｂ１）の前記目的関数が下記のように定義されることを特徴とする請求項１に記載の方法。
（ただし、ｐ及びｑはタイル指標、Ｎ（ｐ）はタイルｐに隣接するタイル指標の組、ｆｐ及びｆｑはタイルｐ及びｑに対するブラケット指標、ｆはｆｐにより形成されるベクトル、Ｄｐ（ｆｐ）はブラケットｆｐのタイルｐの露出品質を測定する関数、Ｖｐ，ｑ（ｆｐ，ｆｑ）はブラケットｆｐ，ｆｑの隣接する２つのタイルｐ，ｑの連関を測定する関数である。）
【数11】
（ただし、ｐ及びｑはタイル指標、Ｎ（ｐ）はタイルｐに隣接するタイル指標の組、ｆｐ及びｆｑはタイルｐ及びｑに対するブラケット指標、ｆはｆｐにより形成されるベクトル、Ｄｐ（ｆｐ）はブラケットｆｐのタイルｐの露出品質を測定する関数、Ｖｐ，ｑ（ｆｐ，ｆｑ）はブラケットｆｐ，ｆｑの隣接する２つのタイルｐ，ｑの連関を測定する関数である。）
【請求項4】
前記Ｄｐ（ｆｐ）は、前記ブラケットｆｐの前記タイルｐのすべての画素の画素露出品質値の平均値であることを特徴とする請求項３に記載の方法。
【請求項5】
前記工程（ａ）の前記タイルの組は、同一のタイルサイズを有し、第１タイル格子を形成しており、
前記方法は、更に、前記第１タイル格子を前記タイルサイズの何分の１か移動させることにより、第２タイル格子を形成する工程を有しており、
前記工程（ｂ１）の前記目的関数において、前記タイル指標ｐ及びｑはそれぞれ前記第１タイル格子及び前記第２タイル格子の指標であり、前記タイルｐに隣接するタイルＮ（ｐ）の組は前記第１タイル格子の前記タイルｐと重なり合う前記第２タイル格子のタイルであり、
前記Ｖｐ，ｑ（ｆｐ，ｆｑ）は、前記タイルｐ及び前記タイルｑが互いに重なり合う範囲の前記ブラケットｆｐ及びｆｑの画像から計算される相互関係値であることを特徴とする請求項３に記載の方法。
前記方法は、更に、前記第１タイル格子を前記タイルサイズの何分の１か移動させることにより、第２タイル格子を形成する工程を有しており、
前記工程（ｂ１）の前記目的関数において、前記タイル指標ｐ及びｑはそれぞれ前記第１タイル格子及び前記第２タイル格子の指標であり、前記タイルｐに隣接するタイルＮ（ｐ）の組は前記第１タイル格子の前記タイルｐと重なり合う前記第２タイル格子のタイルであり、
前記Ｖｐ，ｑ（ｆｐ，ｆｑ）は、前記タイルｐ及び前記タイルｑが互いに重なり合う範囲の前記ブラケットｆｐ及びｆｑの画像から計算される相互関係値であることを特徴とする請求項３に記載の方法。
【請求項6】
前記工程（ｂ２）は、
前記目的関数に基づき、ソースノードと、シンクノードと、前記第１タイル格子の前記各タイルｐ及び前記第２タイル格子の前記各タイルｑに対応するＭ−１個の一連の中間ノードとを有するグラフを構築する工程であって、前記Ｍは前記入力画像の組における画像数であり、Ｍ個の縦方向エッジが、前記関数Ｄｐ（ｆｐ）に基づいて計算された各々のエッジ重みで、前記各タイルｐ及び前記各タイルｑに対する前記一連の中間ノードを介して、前記ソースノードを前記シンクノードに結合しており、複数の横方向エッジが、前記関数Ｖｐ，ｑ（ｆｐ，ｆｑ）から計算された各々のエッジ重みで、前記各タイルｐの前記中間ノードの各々を、前記各タイルｑの前記中間ノードの各々に、又は前記各タイルｑの前記中間ノードの各々から結合していると共に、前記各タイルｑの前記中間ノードの各々を、前記各タイルｐの前記中間ノードの各々に、又は前記各タイルｐの前記中間ノードの各々から結合している工程と、
グラフカットアルゴリズムを用いて前記グラフの最適カットを計算し、前記目的関数を最適化する前記タイルに対する前記基準ブラケット指標の組を取得する工程と、
を含むことを特徴とする請求項５に記載の方法。
前記目的関数に基づき、ソースノードと、シンクノードと、前記第１タイル格子の前記各タイルｐ及び前記第２タイル格子の前記各タイルｑに対応するＭ−１個の一連の中間ノードとを有するグラフを構築する工程であって、前記Ｍは前記入力画像の組における画像数であり、Ｍ個の縦方向エッジが、前記関数Ｄｐ（ｆｐ）に基づいて計算された各々のエッジ重みで、前記各タイルｐ及び前記各タイルｑに対する前記一連の中間ノードを介して、前記ソースノードを前記シンクノードに結合しており、複数の横方向エッジが、前記関数Ｖｐ，ｑ（ｆｐ，ｆｑ）から計算された各々のエッジ重みで、前記各タイルｐの前記中間ノードの各々を、前記各タイルｑの前記中間ノードの各々に、又は前記各タイルｑの前記中間ノードの各々から結合していると共に、前記各タイルｑの前記中間ノードの各々を、前記各タイルｐの前記中間ノードの各々に、又は前記各タイルｐの前記中間ノードの各々から結合している工程と、
グラフカットアルゴリズムを用いて前記グラフの最適カットを計算し、前記目的関数を最適化する前記タイルに対する前記基準ブラケット指標の組を取得する工程と、
を含むことを特徴とする請求項５に記載の方法。
【請求項7】
前記入力画像の組は、それぞれブラケット指標０、１及び２を有する３つの画像を有し、
前記工程（ｂ２）は、
前記目的関数に基づき、ソースノードと、シンクノードと、前記第１タイル格子の前記各タイルｐに対応する第１及び第２の中間ノードと、前記第２タイル格子の前記各タイルｑに対応する第１及び第２の中間ノードと、を有するグラフを構築する工程であって、
前記ソースノードは、エッジ重みＤｐ（０）及びＤｑ（０）を有する各エッジにより、前記各タイルｐ及び前記各タイルｑの前記第１中間ノードに結合されており、
前記各タイルｐ及び前記各タイルｑに対する前記第１中間ノードは、エッジ重みＤｐ（１）及びＤｑ（１）を有する各エッジにより、前記各タイルｐ及び前記各タイルｑの前記第２中間ノードに結合されており、
前記各タイルｐ及び前記各タイルｑの前記第２中間ノードは、エッジ重みＤｐ（１）及びＤｑ（１）を有する各エッジにより前記シンクノードに結合されており、
前記各タイルｐの前記第１中間ノードは、エッジ重みＶｐ，ｑ（１，０）及びＶｐ，ｑ（０，１）をそれぞれ有する２つのエッジにより、前記各タイルｐの隣接タイルｑの各々の前記第１中間ノードに、及び前記各タイルｐの隣接タイルｑの各々の前記第１中間ノードから結合され、前記各タイルｑの前記第１中間ノードは、エッジ重みＶｐ，ｑ（０，１）及びＶｐ，ｑ（１，０）をそれぞれ有する２つのエッジにより、前記各タイルｑの隣接タイルｐの各々の前記中間ノードに、及び前記各タイルｑの隣接タイルｐの各々の前記中間ノードから結合されており、
前記各タイルｐの前記第２中間ノードは、エッジ重みＶｐ，ｑ（２，１）及びＶｐ，ｑ（１，２）をそれぞれ有する２つのエッジにより、前記各タイルｐの隣接タイルｑの各々の前記第２中間ノードに、及び前記各タイルｐの隣接タイルｑの各々の前記第２中間ノードから結合され、前記各タイルｑの前記第２中間ノードは、エッジ重みＶｐ，ｑ（１，２）及びＶｐ，ｑ（２，１）をそれぞれ有する２つのエッジにより、前記各タイルｑの隣接タイルｐの各々の前記第２中間ノードに、及び前記各タイルｑの隣接タイルｐの各々の前記第２中間ノードから結合されており、
前記各タイルｐの前記第２中間ノードは、エッジ重みＶｂ＝Ｖｐ，ｑ（２，０）−Ｖｐ，ｑ（１，０）−Ｖｐ，ｑ（２，１）を有するエッジにより、前記各タイルｐの４つの隣接タイルｑの各々の前記第１中間ノードに結合され、前記各タイルｑの前記第２中間ノードは、エッジ重みＶａ＝Ｖｐ，ｑ（０，２）−Ｖｐ，ｑ（０，１）−Ｖｐ，ｑ（１，２）を有するエッジにより、前記各タイルｑの４つの隣接タイルｐの各々の前記第１中間ノードに接続されている工程と、
グラフカットアルゴリズムを用いて前記グラフの最適カットを計算し、前記目的関数を最適化する前記タイルに対する前記基準ブラケット指標の組を取得する工程と、
を含むことを特徴とする請求項５に記載の方法。
前記工程（ｂ２）は、
前記目的関数に基づき、ソースノードと、シンクノードと、前記第１タイル格子の前記各タイルｐに対応する第１及び第２の中間ノードと、前記第２タイル格子の前記各タイルｑに対応する第１及び第２の中間ノードと、を有するグラフを構築する工程であって、
前記ソースノードは、エッジ重みＤｐ（０）及びＤｑ（０）を有する各エッジにより、前記各タイルｐ及び前記各タイルｑの前記第１中間ノードに結合されており、
前記各タイルｐ及び前記各タイルｑに対する前記第１中間ノードは、エッジ重みＤｐ（１）及びＤｑ（１）を有する各エッジにより、前記各タイルｐ及び前記各タイルｑの前記第２中間ノードに結合されており、
前記各タイルｐ及び前記各タイルｑの前記第２中間ノードは、エッジ重みＤｐ（１）及びＤｑ（１）を有する各エッジにより前記シンクノードに結合されており、
前記各タイルｐの前記第１中間ノードは、エッジ重みＶｐ，ｑ（１，０）及びＶｐ，ｑ（０，１）をそれぞれ有する２つのエッジにより、前記各タイルｐの隣接タイルｑの各々の前記第１中間ノードに、及び前記各タイルｐの隣接タイルｑの各々の前記第１中間ノードから結合され、前記各タイルｑの前記第１中間ノードは、エッジ重みＶｐ，ｑ（０，１）及びＶｐ，ｑ（１，０）をそれぞれ有する２つのエッジにより、前記各タイルｑの隣接タイルｐの各々の前記中間ノードに、及び前記各タイルｑの隣接タイルｐの各々の前記中間ノードから結合されており、
前記各タイルｐの前記第２中間ノードは、エッジ重みＶｐ，ｑ（２，１）及びＶｐ，ｑ（１，２）をそれぞれ有する２つのエッジにより、前記各タイルｐの隣接タイルｑの各々の前記第２中間ノードに、及び前記各タイルｐの隣接タイルｑの各々の前記第２中間ノードから結合され、前記各タイルｑの前記第２中間ノードは、エッジ重みＶｐ，ｑ（１，２）及びＶｐ，ｑ（２，１）をそれぞれ有する２つのエッジにより、前記各タイルｑの隣接タイルｐの各々の前記第２中間ノードに、及び前記各タイルｑの隣接タイルｐの各々の前記第２中間ノードから結合されており、
前記各タイルｐの前記第２中間ノードは、エッジ重みＶｂ＝Ｖｐ，ｑ（２，０）−Ｖｐ，ｑ（１，０）−Ｖｐ，ｑ（２，１）を有するエッジにより、前記各タイルｐの４つの隣接タイルｑの各々の前記第１中間ノードに結合され、前記各タイルｑの前記第２中間ノードは、エッジ重みＶａ＝Ｖｐ，ｑ（０，２）−Ｖｐ，ｑ（０，１）−Ｖｐ，ｑ（１，２）を有するエッジにより、前記各タイルｑの４つの隣接タイルｐの各々の前記第１中間ノードに接続されている工程と、
グラフカットアルゴリズムを用いて前記グラフの最適カットを計算し、前記目的関数を最適化する前記タイルに対する前記基準ブラケット指標の組を取得する工程と、
を含むことを特徴とする請求項５に記載の方法。
【請求項8】
データ処理装置を制御するコンピューター読取可能なプログラムコードが内蔵されたコンピューター使用可能な非一時的媒体を有するコンピュータープログラム製品であって、前記コンピューター読取可能なプログラムコードは、前記データ処理装置に、複数の入力画像の組から高ダイナミックレンジ（ＨＤＲ）画像を生成する処理を実行させるように構成され、各入力画像にはブラケット指標が割り当てられており、前記処理は、
（ａ）前記各入力画像をタイルの組に分割する工程であって、すべての画像が同じタイルの組に分割される工程と、
（ｂ）前記タイルの組の各タイルに対する基準ブラケット指標を決定する工程であって、
（ｂ１）前記タイルの組に対する前記ブラケット指標の組の関数として目的関数を定義する工程であって、前記目的関数は、個々のタイルの露出品質を測定する構成要素と、隣接タイルの間の相互関係を測定する構成要素と、を含む工程と、
（ｂ２）前記目的関数を最適化する、前記タイルに対する前記基準ブラケット指標の組を計算する工程と、
を含む工程と、
（ｃ）前記タイルに対する前記基準ブラケット指標の組に基づき、前記各タイルについて、前記ブラケット指標が前記基準ブラケット指標でない前記各入力画像と、前記ブラケット指標が前記基準ブラケット指標である前記各入力画像とを比較することにより、各タイル基準で、前記入力画像の組におけるゴースト誘発画素を検出し、前記各入力画像について、該画像における前記ゴースト誘発画素を示すゴーストマップを生成する工程と、
（ｄ）前記入力画像の組と、対応する前記ゴーストマップとを用いて、ＨＤＲ画像を生成する工程と、
を有することを特徴とするコンピュータープログラム製品。
（ａ）前記各入力画像をタイルの組に分割する工程であって、すべての画像が同じタイルの組に分割される工程と、
（ｂ）前記タイルの組の各タイルに対する基準ブラケット指標を決定する工程であって、
（ｂ１）前記タイルの組に対する前記ブラケット指標の組の関数として目的関数を定義する工程であって、前記目的関数は、個々のタイルの露出品質を測定する構成要素と、隣接タイルの間の相互関係を測定する構成要素と、を含む工程と、
（ｂ２）前記目的関数を最適化する、前記タイルに対する前記基準ブラケット指標の組を計算する工程と、
を含む工程と、
（ｃ）前記タイルに対する前記基準ブラケット指標の組に基づき、前記各タイルについて、前記ブラケット指標が前記基準ブラケット指標でない前記各入力画像と、前記ブラケット指標が前記基準ブラケット指標である前記各入力画像とを比較することにより、各タイル基準で、前記入力画像の組におけるゴースト誘発画素を検出し、前記各入力画像について、該画像における前記ゴースト誘発画素を示すゴーストマップを生成する工程と、
（ｄ）前記入力画像の組と、対応する前記ゴーストマップとを用いて、ＨＤＲ画像を生成する工程と、
を有することを特徴とするコンピュータープログラム製品。
【請求項9】
前記工程（ｂ２）は、
グラフの最適カットが、前記目的関数を最適化する前記タイルに対する前記ブラケット指標の組を与えるように、前記目的関数に基づき前記グラフを構築する工程と、
グラフカットアルゴリズムを用いて前記グラフの前記最適カットを計算し、前記目的関数を最適化する前記タイルに対する前記基準ブラケット指標の組を取得する工程と、
を有することを特徴とする請求項８に記載のコンピュータープログラム製品。
グラフの最適カットが、前記目的関数を最適化する前記タイルに対する前記ブラケット指標の組を与えるように、前記目的関数に基づき前記グラフを構築する工程と、
グラフカットアルゴリズムを用いて前記グラフの前記最適カットを計算し、前記目的関数を最適化する前記タイルに対する前記基準ブラケット指標の組を取得する工程と、
を有することを特徴とする請求項８に記載のコンピュータープログラム製品。
【請求項10】
前記工程（ｂ１）の前記目的関数が下記のように定義されることを特徴とする請求項８に記載のコンピュータープログラム製品。
（ただし、ｐ及びｑはタイル指標、Ｎ（ｐ）はタイルｐに隣接するタイル指標の組、ｆｐ及びｆｑはタイルｐ及びｑに対するブラケット指標、ｆはｆｐにより形成されるベクトル、Ｄｐ（ｆｐ）はブラケットｆｐのタイルｐの露出品質を測定する関数、Ｖｐ，ｑ（ｆｐ，ｆｑ）はブラケットｆｐ，ｆｑの隣接する２つのタイルｐ，ｑの連関を測定する関数である。）
【数12】
（ただし、ｐ及びｑはタイル指標、Ｎ（ｐ）はタイルｐに隣接するタイル指標の組、ｆｐ及びｆｑはタイルｐ及びｑに対するブラケット指標、ｆはｆｐにより形成されるベクトル、Ｄｐ（ｆｐ）はブラケットｆｐのタイルｐの露出品質を測定する関数、Ｖｐ，ｑ（ｆｐ，ｆｑ）はブラケットｆｐ，ｆｑの隣接する２つのタイルｐ，ｑの連関を測定する関数である。）
【請求項11】
前記Ｄｐ（ｆｐ）は、前記ブラケットｆｐの前記タイルｐのすべての画素の画素露出品質値の平均値であることを特徴とする請求項１０に記載のコンピュータープログラム製品。
【請求項12】
前記工程（ａ）の前記タイルの組は、同一のタイルサイズを有し、第１タイル格子を形成しており、
前記処理は、更に、前記第１タイル格子を前記タイルサイズの何分の１か移動させることにより、第２タイル格子を形成する工程を有しており、
前記工程（ｂ１）の前記目的関数において、前記タイル指標ｐ及びｑはそれぞれ前記第１タイル格子及び前記第２タイル格子の指標であり、前記タイルｐに隣接するタイルＮ（ｐ）の組は前記第１タイル格子の前記タイルｐと重なり合う前記第２タイル格子のタイルであり、
前記Ｖｐ，ｑ（ｆｐ，ｆｑ）は、前記タイルｐ及び前記タイルｑが互いに重なり合う範囲の前記ブラケットｆｐ及びｆｑの画像から計算される相互関係値であることを特徴とする請求項１０に記載のコンピュータープログラム製品。
前記処理は、更に、前記第１タイル格子を前記タイルサイズの何分の１か移動させることにより、第２タイル格子を形成する工程を有しており、
前記工程（ｂ１）の前記目的関数において、前記タイル指標ｐ及びｑはそれぞれ前記第１タイル格子及び前記第２タイル格子の指標であり、前記タイルｐに隣接するタイルＮ（ｐ）の組は前記第１タイル格子の前記タイルｐと重なり合う前記第２タイル格子のタイルであり、
前記Ｖｐ，ｑ（ｆｐ，ｆｑ）は、前記タイルｐ及び前記タイルｑが互いに重なり合う範囲の前記ブラケットｆｐ及びｆｑの画像から計算される相互関係値であることを特徴とする請求項１０に記載のコンピュータープログラム製品。
【請求項13】
前記工程（ｂ２）は、
前記目的関数に基づき、ソースノードと、シンクノードと、前記第１タイル格子の前記各タイルｐ及び前記第２タイル格子の前記各タイルｑに対応するＭ−１個の一連の中間ノードとを有するグラフを構築する工程であって、前記Ｍは前記入力画像の組における画像数であり、Ｍ個の縦方向エッジが、前記関数Ｄｐ（ｆｐ）に基づいて計算された各々のエッジ重みで、前記各タイルｐ及び前記各タイルｑに対する前記一連の中間ノードを介して、前記ソースノードを前記シンクノードに結合しており、複数の横方向エッジが、前記関数Ｖｐ，ｑ（ｆｐ，ｆｑ）から計算された各々のエッジ重みで、前記各タイルｐの前記中間ノードの各々を、前記各タイルｑの前記中間ノードの各々に、又は前記各タイルｑの前記中間ノードの各々から結合していると共に、前記各タイルｑの前記中間ノードの各々を、前記各タイルｐの前記中間ノードの各々に、又は前記各タイルｐの前記中間ノードの各々から結合している工程と、
グラフカットアルゴリズムを用いて前記グラフの最適カットを計算し、前記目的関数を最適化する前記タイルに対する前記基準ブラケット指標の組を取得する工程と、
を含むことを特徴とする請求項１２に記載のコンピュータープログラム製品。
前記目的関数に基づき、ソースノードと、シンクノードと、前記第１タイル格子の前記各タイルｐ及び前記第２タイル格子の前記各タイルｑに対応するＭ−１個の一連の中間ノードとを有するグラフを構築する工程であって、前記Ｍは前記入力画像の組における画像数であり、Ｍ個の縦方向エッジが、前記関数Ｄｐ（ｆｐ）に基づいて計算された各々のエッジ重みで、前記各タイルｐ及び前記各タイルｑに対する前記一連の中間ノードを介して、前記ソースノードを前記シンクノードに結合しており、複数の横方向エッジが、前記関数Ｖｐ，ｑ（ｆｐ，ｆｑ）から計算された各々のエッジ重みで、前記各タイルｐの前記中間ノードの各々を、前記各タイルｑの前記中間ノードの各々に、又は前記各タイルｑの前記中間ノードの各々から結合していると共に、前記各タイルｑの前記中間ノードの各々を、前記各タイルｐの前記中間ノードの各々に、又は前記各タイルｐの前記中間ノードの各々から結合している工程と、
グラフカットアルゴリズムを用いて前記グラフの最適カットを計算し、前記目的関数を最適化する前記タイルに対する前記基準ブラケット指標の組を取得する工程と、
を含むことを特徴とする請求項１２に記載のコンピュータープログラム製品。
【請求項14】
前記入力画像の組は、それぞれブラケット指標０、１及び２を有する３つの画像を有し、
前記工程（ｂ２）は、
前記目的関数に基づき、ソースノードと、シンクノードと、前記第１タイル格子の前記各タイルｐに対応する第１及び第２の中間ノードと、前記第２タイル格子の前記各タイルｑに対応する第１及び第２の中間ノードと、を有するグラフを構築する工程であって、
前記ソースノードは、エッジ重みＤｐ（０）及びＤｑ（０）を有する各エッジにより、前記各タイルｐ及び前記各タイルｑの前記第１中間ノードに結合されており、
前記各タイルｐ及び前記各タイルｑに対する前記第１中間ノードは、エッジ重みＤｐ（１）及びＤｑ（１）を有する各エッジにより、前記各タイルｐ及び前記各タイルｑの前記第２中間ノードに結合されており、
前記各タイルｐ及び前記各タイルｑの前記第２中間ノードは、エッジ重みＤｐ（１）及びＤｑ（１）を有する各エッジにより前記シンクノードに結合されており、
前記各タイルｐの前記第１中間ノードは、エッジ重みＶｐ，ｑ（１，０）及びＶｐ，ｑ（０，１）をそれぞれ有する２つのエッジにより、前記各タイルｐの隣接タイルｑの各々の前記第１中間ノードに、及び前記各タイルｐの隣接タイルｑの各々の前記第１中間ノードから結合され、前記各タイルｑの前記第１中間ノードは、エッジ重みＶｐ，ｑ（０，１）及びＶｐ，ｑ（１，０）をそれぞれ有する２つのエッジにより、前記各タイルｑの隣接タイルｐの各々の前記中間ノードに、及び前記各タイルｑの隣接タイルｐの各々の前記中間ノードから結合されており、
前記各タイルｐの前記第２中間ノードは、エッジ重みＶｐ，ｑ（２，１）及びＶｐ，ｑ（１，２）をそれぞれ有する２つのエッジにより、前記各タイルｐの隣接タイルｑの各々の前記第２中間ノードに、及び前記各タイルｐの隣接タイルｑの各々の前記第２中間ノードから結合され、前記各タイルｑの前記第２中間ノードは、エッジ重みＶｐ，ｑ（１，２）及びＶｐ，ｑ（２，１）をそれぞれ有する２つのエッジにより、前記各タイルｑの隣接タイルｐの各々の前記第２中間ノードに、及び前記各タイルｑの隣接タイルｐの各々の前記第２中間ノードから結合されており、
前記各タイルｐの前記第２中間ノードは、エッジ重みＶｂ＝Ｖｐ，ｑ（２，０）−Ｖｐ，ｑ（１，０）−Ｖｐ，ｑ（２，１）を有するエッジにより、前記各タイルｐの４つの隣接タイルｑの各々の前記第１中間ノードに結合され、前記各タイルｑの前記第２中間ノードは、エッジ重みＶａ＝Ｖｐ，ｑ（０，２）−Ｖｐ，ｑ（０，１）−Ｖｐ，ｑ（１，２）を有するエッジにより、前記各タイルｑの４つの隣接タイルｐの各々の前記第１中間ノードに接続されている工程と、
グラフカットアルゴリズムを用いて前記グラフの最適カットを計算し、前記目的関数を最適化する前記タイルに対する前記基準ブラケット指標の組を取得する工程と、
を含むことを特徴とする請求項１２に記載のコンピュータープログラム製品。
前記工程（ｂ２）は、
前記目的関数に基づき、ソースノードと、シンクノードと、前記第１タイル格子の前記各タイルｐに対応する第１及び第２の中間ノードと、前記第２タイル格子の前記各タイルｑに対応する第１及び第２の中間ノードと、を有するグラフを構築する工程であって、
前記ソースノードは、エッジ重みＤｐ（０）及びＤｑ（０）を有する各エッジにより、前記各タイルｐ及び前記各タイルｑの前記第１中間ノードに結合されており、
前記各タイルｐ及び前記各タイルｑに対する前記第１中間ノードは、エッジ重みＤｐ（１）及びＤｑ（１）を有する各エッジにより、前記各タイルｐ及び前記各タイルｑの前記第２中間ノードに結合されており、
前記各タイルｐ及び前記各タイルｑの前記第２中間ノードは、エッジ重みＤｐ（１）及びＤｑ（１）を有する各エッジにより前記シンクノードに結合されており、
前記各タイルｐの前記第１中間ノードは、エッジ重みＶｐ，ｑ（１，０）及びＶｐ，ｑ（０，１）をそれぞれ有する２つのエッジにより、前記各タイルｐの隣接タイルｑの各々の前記第１中間ノードに、及び前記各タイルｐの隣接タイルｑの各々の前記第１中間ノードから結合され、前記各タイルｑの前記第１中間ノードは、エッジ重みＶｐ，ｑ（０，１）及びＶｐ，ｑ（１，０）をそれぞれ有する２つのエッジにより、前記各タイルｑの隣接タイルｐの各々の前記中間ノードに、及び前記各タイルｑの隣接タイルｐの各々の前記中間ノードから結合されており、
前記各タイルｐの前記第２中間ノードは、エッジ重みＶｐ，ｑ（２，１）及びＶｐ，ｑ（１，２）をそれぞれ有する２つのエッジにより、前記各タイルｐの隣接タイルｑの各々の前記第２中間ノードに、及び前記各タイルｐの隣接タイルｑの各々の前記第２中間ノードから結合され、前記各タイルｑの前記第２中間ノードは、エッジ重みＶｐ，ｑ（１，２）及びＶｐ，ｑ（２，１）をそれぞれ有する２つのエッジにより、前記各タイルｑの隣接タイルｐの各々の前記第２中間ノードに、及び前記各タイルｑの隣接タイルｐの各々の前記第２中間ノードから結合されており、
前記各タイルｐの前記第２中間ノードは、エッジ重みＶｂ＝Ｖｐ，ｑ（２，０）−Ｖｐ，ｑ（１，０）−Ｖｐ，ｑ（２，１）を有するエッジにより、前記各タイルｐの４つの隣接タイルｑの各々の前記第１中間ノードに結合され、前記各タイルｑの前記第２中間ノードは、エッジ重みＶａ＝Ｖｐ，ｑ（０，２）−Ｖｐ，ｑ（０，１）−Ｖｐ，ｑ（１，２）を有するエッジにより、前記各タイルｑの４つの隣接タイルｐの各々の前記第１中間ノードに接続されている工程と、
グラフカットアルゴリズムを用いて前記グラフの最適カットを計算し、前記目的関数を最適化する前記タイルに対する前記基準ブラケット指標の組を取得する工程と、
を含むことを特徴とする請求項１２に記載のコンピュータープログラム製品。
【請求項15】
請求項８に記載の前記コンピューター使用可能な非一時的媒体を有するデジタルカメラであって、
画像を取得する撮像部と、
前記撮像部を制御して、異なる露出レベルを有する前記画像の組を取得する制御部と、
を更に有することを特徴とするデジタルカメラ。
画像を取得する撮像部と、
前記撮像部を制御して、異なる露出レベルを有する前記画像の組を取得する制御部と、
を更に有することを特徴とするデジタルカメラ。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、高ダイナミックレンジ（ＨＤＲ）イメージングに関し、特に、ＨＤＲ画像生成におけるゴーストアーチファクトの除去に関する。
【背景技術】
【0002】
高ダイナミックレンジ（ＨＤＲ）イメージングは、明るさ（光強度）の範囲が非常に大きいソースを扱う画像処理及びデジタル写真術において用いられる技術である。例えば、日中の屋外シーンには、青い空及び日に照らされた被写体と共に、陰になった被写体が含まれうる。夜のシーンには、ネオンライト及び明るく照らされた被写体と共に、暗く照らされた被写体が含まれうる。また、屋内シーンには、明るい窓と共に、暗い領域等が含まれうる。これらのシーンは、デジタルカメラ等のイメージング装置にとっての課題である。つまり、現在利用可能なデジタルカメラのイメージセンサのダイナミックレンジでは、そのようなシーンを十分に画像化できない場合が多い。露出レベルがシーンの暗い領域の細部を撮影するのに適している場合、明るい領域は露出過度となって細部が損なわれることが多い。反対に、露出レベルがシーンの明るい領域の細部を撮影するのに適している場合、暗い領域は露出不足となって細部が損なわれることが多い。
【0003】
ＨＤＲイメージング技術は、様々な露出レベルで同じシーンにおける一組の複数画像を撮影し、複数画像をデジタル的にマージして、明るい領域及び暗い領域の双方の細部がＨＤＲ画像において十分に表されるように、元の複数画像の情報を含むＨＤＲ画像を生成することにより、この問題に対処する。一組の複数画像からＨＤＲ画像を生成する方法は、一般に知られている。
【0004】
ブラケティングは、異なる露出レベルや、フォーカスや被写界深度等の他の異なる設定値を用いて、同じシーンの複数画像を撮るための写真技術である。カメラには、オートブラケティングを実行できるもの、すなわち設定を複数回変えて複数画像を撮れるものがある。複数画像の各々は、ブラケットと呼ばれることがある。露出ブラケティングにより生成された複数画像は、ＨＤＲ画像を生成するのに用いられる。
【0005】
ＨＤＲ画像生成の間、異なる画像（ブラケット）を撮影する間に対象物が移動、出現又は消滅すると、ゴーストアーチファクトが現れることがある。例えば、３つのブラケットを撮影する間、３つ目のブラケットのシーンにだけ人が歩いて入った場合、３つのブラケットから生成されたＨＤＲ画像は、シーン上に半透明な人の姿（「ゴースト」）を有することになる。これらの対象物は、本明細書において移動対象物、或いはゴースト誘発対象物と呼ばれる。
【0006】
結果として得られるＨＤＲ画像においてゴースト効果を低減又は除去するように画像処理するために、複数画像の中でこのようなゴースト誘発対象物を識別する方法が提案されている。これらの技術のうちいくつかが、Ａ．Ｓｒｉｋａｎｔｈａ及びＤ．Ｓｉｄｉｂｅ著の調査論文「Ｇｈｏｓｔ Ｄｅｔｅｃｔｉｏｎ ａｎｄ Ｒｅｍｏｖａｌ ｆｏｒ Ｈｉｇｈ Ｄｙｎａｍｉｃ Ｒａｎｇｅ Ｉｍａｇｅｓ： Ｒｅｃｅｎｔ Ａｄｖａｎｃｅｓ，Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｉｎｇ： ｉｍａｇｅ Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ， ２７（６），６５０〜６６２頁，２０１２年」に記載されている。
【0007】
一部の公知のゴーストアーチファクト検出方法では、複数のブラケットの一つが、定義上いかなるゴースト誘発対象物も含まない画像である基準画像（バックグラウンド画像とも呼ばれる）として選択される。他のブラケットは基準画像と比較され、ゴースト誘発対象物が存在するか否か、また、どこに存在するかが決定される。このような１つの基準による方法の利点は、非基準ブラケットの各々を処理するときに２つの画像（基準ブラケット及び非基準ブラケット）だけを比較して一致しない画素を検出すればよいので、ゴーストの検出及び除去の問題が単純化される点である。しかしながら、不都合なのは、基準画像の広範囲のいくらかが露出不良（露出過度或いは露出不足）となることがあり、基準として用いた場合、不確実なゴースト検出や、結果として得られるＨＤＲ画像の関連範囲における情報喪失及び低品質をもたらす点である。
【0008】
そこで、各画像を複数のタイルに分割して（すべてのブラケットが同じタイルに分割される）、異なるブラケットが異なるタイルの基準ブラケットとして選択されうるように、各タイルに対し、一つのブラケットを基準画像として選択する。各タイルについて選択されたブラケットは、局所基準又は局所バックグラウンドと呼ばれる。そのような方法の一つが、Ｇｏｋｄｅｎｉｚ Ｋａｒａｄａｇ及びＡｈｍｅｔ Ｏｇｕｚ Ａｋｙｕｚ著の「Ｃｏｌｏｒ ｐｒｅｓｅｒｖｉｎｇ ＨＤＲ Ｆｕｓｉｏｎ ｆｏｒ Ｄｙｎａｍｉｃ Ｓｃｅｎｅｓ，Ｊｏｕｒｎａｌ ｏｆ ＷＳＣＧ ２０（２）：１５５〜１６０頁， ２０１２年（「Ｋａｒａｄａｇ ａｎｄ Ａｋｙｕｚ ２０１２」）」に記載されている。図２（「Ｋａｒａｄａｇ ａｎｄ Ａｋｙｕｚ ２０１２」論文の図１より）は、複数タイルに分割された画像を示している。「Ｓ」と付されたタイル（画像の右手上と右手下の角の近く）は、短時間露出ブラケットが基準画像として用いられるタイルを示しており、「Ｌ」と付されたタイル（画像の中心近く）は、長時間露出ブラケットが用いられるものを示している（この画像の組は合計３つのブラケットを有していた）。他のタイルについては、中間のブラケットが基準として用いられるが、簡略化のため、図２においてラベルは付されていない。各タイルに対して基準ブラケットが選択された後、非基準ブラケットにおいてゴースト画素が検出される。
【発明の概要】
【発明が解決しようとする課題】
【0009】
「Ｋａｒａｄａｇ ａｎｄ Ａｋｙｕｚ ２０１２」論文に記載された方法では、隣接するタイルが同じ移動対象物に関わる一方で、これらに対し異なるブラケットが基準画像として選択された場合に生じる問題がある。例えば、移動対象物Ｏがブラケット＃１において隣接するタイルＡ及びタイルＢに存在するが、ブラケット＃２及び＃３には存在しない場合、ブラケット＃１（対象物Ｏを有する）がタイルＡの基準ブラケットとして選択され、ブラケット＃２（対象物Ｏを有さず、対象物Ｏの後ろのシーンのみ）がタイルＢの基準ブラケットとして選択されると、結果として得られるＨＤＲ画像において、タイルＡ及びタイルＢは明らかに矛盾するように見える場合があり、或いは、タイルＡ又はタイルＢの移動対象物に関わる部分の情報が失われる場合がある。
【0010】
したがって、本発明は、関連技術における制約及び不都合による一以上の問題を実質的に予防する、ゴーストアーチファクト検出及び除去のための方法及び関連する装置を対象とする。
【0011】
本発明の目的は、ＨＤＲ画像生成においてゴーストアーチファクトを検出する改良された方法を提供することである。
【0012】
本発明の追加的な特徴及び利点は以下の記載において述べられ、その一部は当該記載から明らかであるか、本発明の実施により知るところとなる。本発明の目的及び他の利点は、明細書の記載、特許請求の範囲、及び添付図面で詳しく示された構造により実現され、取得される。
【課題を解決するための手段】
【0013】
これらの及び／又は他の目的を達成するために、具現化され広く記載されているように、本発明は、複数の入力画像の組から高ダイナミックレンジ（ＨＤＲ）画像を生成する方法であって、各入力画像にはブラケット指標が割り当てられており、（ａ）前記各入力画像をタイルの組に分割する工程であって、すべての画像が同じタイルの組に分割される工程と、（ｂ）前記タイルの組の各タイルに対する基準ブラケット指標を決定する工程であって、（ｂ１）前記タイルの組に対する前記ブラケット指標の組の関数として目的関数を定義する工程であって、前記目的関数は、個々のタイルの露出品質を測定する構成要素と、隣接タイルの間の相互関係を測定する構成要素と、を含む工程と、（ｂ２）前記目的関数を最適化する、前記タイルに対する前記基準ブラケット指標の組を計算する工程と、を含む工程と、（ｃ）前記タイルに対する前記基準ブラケット指標の組に基づき、前記各タイルについて、前記ブラケット指標が前記基準ブラケット指標でない前記各入力画像と、前記ブラケット指標が前記基準ブラケット指標である前記各入力画像とを比較することにより、各タイル基準で、前記入力画像の組におけるゴースト誘発画素を検出し、前記各入力画像について、該画像における前記ゴースト誘発画素を示すゴーストマップを生成する工程と、（ｄ）前記入力画像の組と、対応する前記ゴーストマップとを用いて、ＨＤＲ画像を生成する工程と、を有することを特徴とする方法である。
【0014】
前記工程（ｂ２）は、グラフの最適カットが、前記目的関数を最適化する前記タイルに対する前記ブラケット指標の組を与えるように、前記目的関数に基づき前記グラフを構築する工程と、グラフカットアルゴリズムを用いて前記グラフの前記最適カットを計算し、前記目的関数を最適化する前記タイルに対する前記基準ブラケット指標の組を取得する工程と、を有してもよい。
【0015】
他の側面では、本発明は、データ処理装置を制御するコンピューター読取可能なプログラムコードが内蔵されたコンピューター使用可能な非一時的媒体（例えば、メモリ又は記憶デバイス）を有するコンピュータープログラム製品であって、前記コンピューター読取可能なプログラムコードは、前記データ処理装置に上記方法を実行させるように構成されている、コンピュータープログラム製品を提供する。
【0016】
上述した概要及び以下の詳細な説明は共に、例示的かつ説明的なものであって、特許請求の範囲に記載された本発明について更なる説明を提供することを意図するものである。
【図面の簡単な説明】
【0017】
【図1】本発明の実施形態によるゴーストアーチファクト検出及びＨＤＲ画像生成の方法を概略的に示す図である。
【図2】複数タイルに分割された画像を示す図であって、公知の方法に従い、異なるブラケットが異なるタイルの基準ブラケットとして選択された図である。
【図3】本発明の実施形態において有用な、反転画素露出品質関数を概略的に示す図である。
【図4】本発明の実施形態によるタイル対タイルの相互関係の計算に使用する第１タイル格子及び第２タイル格子を概略的に示す図である。
【図5】本発明の実施形態による３つの入力画像の組に対するグラフ構造を概略的に示す図である。
【図6】本発明の実施形態による３つの入力画像の組に対するグラフ構造を概略的に示す図である。
【図13】本発明の実施形態による４つの入力画像の組に対するグラフ構造を概略的に示す図である。
【図14】本発明の実施形態によるゴーストアーチファクト検出及びＨＤＲ画像生成の方法を概略的に示す図である。
【図15】本発明の実施形態を実施しうるデータ処理装置を概略的に示す図である。
【図16】本発明の実施形態を実施しうるカメラを概略的に示す図である。
【発明を実施するための形態】
【0018】
本発明の実施形態は、ＨＤＲ画像作成のための複数画像におけるゴーストアーチファクトを検出する方法を提供する。複数画像（ブラケット）は、同じシーンを異なる露出レベルで撮影することによって得られる。撮影処理の間、カメラは実質的に動かないものと仮定されるが、処理の間、対象物はシーン内を動き、又はシーンに出現若しくはシーンから消滅しうる。本明細書では、かかる対象物をまとめて移動対象物又はゴースト誘発対象物と呼ぶ。未処理の場合、移動対象物は、結果として得られるＨＤＲ画像においてゴーストアーチファクトを引き起こす。ゴーストアーチファクト検出方法は、ゴーストアーチファクトを誘発しうる、かかる移動対象物を含む画像の範囲を識別する。この方法はゴーストアーチファクト検出方法と呼ばれるが、ＨＤＲ画像が生成された後にＨＤＲ画像のゴーストアーチファクトを検出するものではないことに注目されたい。むしろ、この方法は、複数のオリジナル画像において、未処理の場合にＨＤＲ画像でゴーストアーチファクトを誘発する領域を検出するものである。
【0019】
公知の方法の一部、例えば「Ｋａｒａｄａｇ ａｎｄ Ａｋｙｕｚ ２０１２」論文に記載された方法と同様に、本発明の実施形態による方法は、画像全体を複数タイルに分割し（すべてのブラケットが同じタイルに分割される）、各タイルに対して、一つのブラケットを基準ブラケット（局所ブラケット）として選択する。本発明の実施形態は、タイルに対してどのように基準ブラケットを選択するかという点で公知の方法と相違する。本発明の実施形態による方法は、隣接するタイル間の矛盾に起因するアーチファクトを最小限にしながら、局所基準、すなわち、いずれのブラケットが画像の各タイルの基準として用いられるかを決定する。したがって、この方法は、シーンの動的範囲（すなわち移動対象物を伴う範囲）において、隣接するタイルに対して同じ基準ブラケットが選択されるようにしようとする。本発明の実施形態によれば、各タイルに対する基準ブラケットは、タイルの露出品質と、隣接するタイルに矛盾がないこととの双方を考慮した目的関数の最適化を介して選択される。
【0020】
本発明の実施形態によれば、図１に概略するように、各タイルの基準ブラケットを決定する方法は以下の工程を含む。まず、目的関数（最適化される関数）が、一組のタイルに対する一組のブラケット指標の関数として定義される（ステップＳ１１）。目的関数は、個別のタイルの露出品質を測定する構成要素と、隣接するタイルの相互関係を測定する構成要素とを含む。その後、目的関数に基づき、グラフが構成される（ステップＳ１２）。そして、グラフカットアルゴリズムを使用してグラフの最適カットが計算される（ステップＳ１３）。ステップＳ１３で計算された最適カットが、目的関数を最適化する、タイルに対する一組のブラケット指標を与えるように、ステップＳ１２においてグラフが構成される。このブラケット指標は、ゴーストアーチファクト検出及び除去の目的のための基準ブラケットとして使用される。
【0021】
一つの実施形態では、目的関数は以下のように定義される（方程式１）。【数1】
ただし、ｐ及びｑはタイルの指標であり、Ｎ（ｐ）はタイルｐに隣接するタイル指標の組であり、ｆｐ及びｆｑはタイルｐ及びｑに対するブラケット指標であり（例えば、全部で３つのブラケットがある場合、各ブラケット指標は０，１又は２の値を取り得る）、ｆｐにより形成されるベクトルであるｆは最適化されるベクトルであり、Ｄｐ（ｆｐ）はブラケットｆｐのタイルｐの露出品質（ＨＤＲ文献において露出の適正度ともいう）を測定する関数であり、Ｖｐ，ｑ（ｆｐ，ｆｑ）はブラケットｆｐ，ｆｑの隣接する２つのタイルｐ，ｑの連関を測定する関数である。
【0022】
目的関数Ｆ（ｆ）はベクトルｆの関数であり、最適化問題は、関数Ｆ（ｆ）を最適化する最適ベクトルｆを見つけることである。この最適ベクトルｆは、各タイルｐに対して、ゴーストアーチファクト検出及び除去の目的のための該タイルに対する基準ブラケットとして選択されるべきブラケット指標を与える。
【0023】
Ｄｐ（ｆｐ）及びＶｐ，ｑ（ｆｐ，ｆｑ）の定義によって、Ｆ（ｆ）の最適化は、最小化又は最大化となりうる。下記の様々な実施形態では、目的関数Ｆ（ｆ）は最小化されるものとして定義される。
【0024】
目的関数Ｆは、個別のタイルのタイル露出品質を測定する構成要素（Ｄ）及び隣接するタイルのタイル対タイルの相互関係を測定する構成要素（Ｖ）の双方を含むことがわかる。２つ目の構成要素（Ｖ）は、隣接するタイルが同じ対象物を含むか否かの指標としての機能を果たしうる。２つ目の構成要素（Ｖ）を含むことは、ゴースト誘発対象物を切断又は分割する基準ブラケットの変化の発生を抑制する助けとなる。
【0025】
一の実施形態では、タイルｐ及びブラケットｆｐに対する露出品質値Ｄｐ（ｆｐ）は、このタイル及びブラケットのすべての画素に対する画素露出品質値の平均値である。各画素について、露出品質値は画素強度の関数である。一般に、画素強度が画素強度範囲の中間部分内にある場合は、露出品質値は露出良好を示す値となる。画素強度が中間部分より高いか低い場合は、露出品質値は露出不良を示す値となる。一の特定の例では、画素強度範囲（すなわち取り得る画素値）は０〜２５５であり、中間部分は１０〜２４５である。目的関数Ｆが最小化される場合、露出良好を示す露出品質値は、露出不良を示すものより低くなる。一の特定の例では、露出良好を示す値は０であり、露出不良を示す値は０と１の間である。図３に、画素強度の関数としての画素露出品質値の例を示す。露出品質値は中間部分において０であり、画素強度が強度範囲の両端に近づくにつれて０から１に向けて増加している。この例ではより低い露出品質値がより良い露出、すなわち露出過度又は露出不足でない露出に対応するが、慣習として「品質」についてはより高い値が「より良い」ことを連想させるため、このような関数は「逆」露出品質関数と呼ばれうることに注意されたい。目的関数Ｆが最大化される場合、画素露出品質関数は反転した形状を有しうる。いかなる適切な形状も画素露出品質関数のために用いうる。
【0026】
一の実施形態では、タイル対タイルの相互関係値Ｖは、図４に概略的に示すように、画像から２つのタイル格子（第１タイル格子及び第２タイル格子）を構成することにより計算される。各タイル格子は同じサイズ及び形の互いに当接するタイルにより形成される。２つのタイル格子は、同じタイルサイズ、形状及び配置を有する。図４に示す好ましい実施形態では、タイルは長方形又は正方形であり、水平及び垂直に整列して規則的な格子を形成する。他のタイルの形状及び配置も使用しうる。一の実施では、各タイルは２０×１８画素のサイズである。第１タイル格子（図４において太線で示す）は画像全体を分割するものであり、第２タイル格子（図４において細線で示す）は、第１タイル格子に対してタイル高さの半分及びタイル幅の半分だけ横に移動する。第２タイル格子は、（図４に概略するように）それぞれタイル高さ及び幅の半分だけ画像の境界を越えて延在してもよく、又はタイル高さ及び幅の半分だけ画像より小さくてもよい。
【0027】
方程式１において、タイル指標ｐ及びｑは、それぞれ第１及び第２タイル格子のタイルを示す。第１タイル格子の各タイルｐに対して、その隣接するタイルＮ（ｐ）の組は、タイルｐと一部が重なる第２タイル格子の４つのタイルから構成される。図４は、第１タイル格子のタイルｐ１（縦線で網かけ）と、第２タイル格子の隣接するタイルｑ１（横線で網かけ）の一つを示す。反対に、第２タイル格子の各タイルｑは、第１タイル格子において４つの隣接するタイルを有する。第２格子において定めたタイルが第１格子の４つの異なるタイルに結合することから、第１格子の隣接するタイルは重複するタイルを介して第２格子と直接結合している。
【0028】
方程式１において、タイルｐ及びその隣接するタイルｑの相互関係の尺度である関数Ｖｐ，ｑ（ｆｐ，ｆｑ）は、タイルｐ及びタイルｑの互いに重なり合う部分を使って定義される（例えば、図４において縦線及び横線で網かけされ、「ｐ１−ｑ１」と付された部分）。一の実施では、２つのタイルの重なり合う部分の正規化相互相関（ＮＣＣ）を用いて計算される。例えば、Ｖｐ，ｑ（ｆｐ，ｆｑ）は、ＮＣＣの単調関数として定義することができる。
【0029】
数学的に、同じサイズの２つの画像パッチＸ及びＹの間のＮＣＣは、下記の式によって与えられる。【数2】
ただし、以下が条件である。
【数3】
【0030】
Ｖｐ，ｑ（ｆｐ，ｆｑ）の定義の一の特定の例は、以下の通りである（方程式（２））。【数4】
ただし、ＮＣＣは、ブラケットｆｐ及びｆｑに対するタイルｐ及びタイルｑの重複部分の正規化相互相関ＮＣＣｐ，ｑ（ｆｐ，ｆｑ）の省略形である。この関数は、下記の考察を元に作成されている。すなわち、指数関数は、好ましくない低いＮＣＣに必要とされる非常に厳しいペナルティーを成す。平方は、ＮＣＣの高い値に対する許容範囲（例えば、０．８及び１の間）を表す。露出レベルが近い場合、定数項（例えば、０．３）は同じ基準ブラケットを維持する効果を有する。この定義により、Ｖｐ，ｑ（ｆｐ，ｆｑ）は、タイルｐ及びタイルｑに対して選択されたブラケットは同じ画像内容（すなわち、同じ対象物）を表すという確信を示す。ブラケットｆｐ及びｆｑが同じ対象物からの画像内容でないものを表す場合、両タイルの重なり合う角の間の画像内容の相関関係を測定したＮＣＣは低くなるため、Ｖｐ，ｑ（ｆｐ，ｆｑ）は低くなると見られる。ＮＣＣの他の適切な単調関数を用いても良い。別の実施では、ＮＣＣは、画像間の視覚的類似性を測定する他の適切な関数によって置き換えられても良い。そのような関数は、露出レベル及びコントラストに対して不変であるべきである。
【0031】
方程式１において、タイル露出品質値Ｄｐ（ｆｐ）は、第１タイル格子のすべてのタイルｐについて合計され、タイル対タイル相互関係関数Ｖｐ，ｑ（ｆｐ，ｆｑ）は、まず各タイルｐに隣接するすべてのタイルｑ∈Ｎ（ｐ）について合計され、その後、第１タイル格子のすべてのタイルｐについて合計される。
【0032】
上述のように、最適化の目的は、目的関数Ｆ（ｆ）（方程式（１））を最適化（最小化又は最大化）するベクトルｆ＝｛ｆｐ｝を見つけることである。この最適化ベクトルｆは、ゴーストアーチファクト検出及びＨＤＲ画像生成に使用される、各タイルｐに対する基準ブラケットを与える。最適化の問題は、関数Ｆを表すグラフを構成し、このグラフの最適カットを見つけることで解決する。グラフの構築（図１のステップＳ１２）は、以下に図５及び図６を参照して説明する。下記の記載では、３つのブラケットを有する画像の組が例として使用されるが、この方法は他の数のブラケットに拡大することができる。
【0033】
図５に示すように、グラフは、ソースノード、シンクノード及び複数の中間ノードを有する。第１タイル格子の各タイルｐに対応して、２つの中間ノードＮｐ（１）及びＮｐ（２）が提供される。各タイルに対応する中間ノードの数は、ブラケットの数マイナス１である。各タイルｐに対応して３つのエッジが提供され、それぞれソースノードを第１中間ノードに結合し、第１中間ノードを第２中間ノードに結合し、第２中間ノードをシンクノードに結合している。３つのエッジに割り当てられた重みは、それぞれＤｐ（０），Ｄｐ（１），Ｄｐ（２）であり、方程式（１）に関連して上述したように、Ｄｐ（ｆｐ）（ｆｐ＝０，１，２）は３つのブラケット０，１，２におけるタイルｐに対する露出品質値である。言い換えると、３つのエッジはタイルｐに対する３つのブラケット０，１，２を表しており、エッジの重みはそれぞれのタイル露出品質Ｄｐを表している。簡略化のため、図５は第１タイル格子の２つのタイルｐ１及びｐ２のみに対応する中間ノード、すなわちＮｐ１（１），Ｎｐ１（２），Ｎｐ２（１），Ｎｐ２（２）を含むグラフの一部（部分グラフ）を示している。
【0034】
同様に、図６に示すように、２つの中間ノードＮｑ（１）及びＮｑ（２）が第２タイル格子の各タイルｑに対応して設けられると共に、３つのエッジが設けられ、それぞれソースノードを第１中間ノードに結合し、第１中間ノードを第２中間ノードに結合し、第２中間ノードをシンクノードに結合している。３つのエッジに割り当てられた重みは、それぞれＤｑ（０），Ｄｑ（１），Ｄｑ（２）であり、Ｄｐ（ｆｐ）（ｆｐ＝０，１，２）は３つのブラケット０，１，２におけるタイルｑに対する露出品質値である。簡略化のため、図６は、第１タイル格子における一つのタイルｐのみ、及び第２タイル格子における隣接するタイルｑの一つ（タイルｐに対しては４つの隣接するタイルｑがあり、タイルｑに対しては４つの隣接するタイルｐがある）に対するノードを含む部分グラフを示している。
【0035】
グラフは、上述した同じタイルに対するノードを結合する縦方向のエッジに加えて、タイルｐに対する中間ノード及び隣接するタイルｑに対する中間ノードを結合する横方向のエッジを含む。横方向のエッジには２種類ある。横方向のエッジの第１の種類は、タイルｐ及びタイルｑに対する１対の対応する中間ノードを結合する。例えば、タイルｐ及びタイルｑに対する第１中間ノードＮｐ（１）及びＮｑ（１）を互いに結合し、タイルｐ及びタイルｑに対する第２中間ノードＮｐ（２）及びＮｑ（２）を互いに結合する。横方向のエッジの種々の第１の種類のエッジ重みは、Ｎｐ（１）をＮｑ（１）に結合するエッジについてはＶ１０、Ｎｑ（１）をＮｐ（１）に結合するエッジについてはＶ０１、Ｎｐ（２）をＮｑ（２）に結合するエッジについてはＶ２１、Ｎｑ（２）をＮｐ（２）に結合するエッジについてはＶ１２である（図６参照）。
【0036】
ここで、Ｖ０１，Ｖ１０といった標記は、方程式（１）に関連して上述したタイル対タイル相互関係値Ｖｐ，ｑ（ｆｐ，ｆｑ）の省略形である。例えば、Ｖ０１＝Ｖｐ，ｑ（ｆｐ＝０，ｆｑ＝１）、Ｖ１０＝Ｖｐ，ｑ（ｆｐ＝１，ｆｑ＝０）等である。このように、Ｖ０１はブラケット０のタイルｐとブラケット１のタイルｑとの相互関係であり、Ｖ１０はブラケット１のタイルｐとブラケット０のタイルｑとの相互関係等である。相互関係Ｖはタイルｐ及びタイルｑの重なり合う部分を用いて計算され（方程式（２）参照）、また、ＮＣＣ（Ｘ，Ｙ）＝ＮＣＣ（Ｙ，Ｘ）であることから、双方向における２つの対応する中間ノードを結合する一対のエッジの重み（例えばＶ０１及びＶ１０）は、常に等しい。
【0037】
横方向のエッジの第２の種類は、タイルｐ及びタイルｑについての１対の非対応中間ノードを結合する。具体的には、図６に示すように、重みＶａのエッジはタイルｑに対する第２中間ノードＮｑ（２）をタイルｐに対する第１中間ノードＮｐ（１）に結合し、重みＶｂのエッジはタイルｐに対する第２中間ノードＮｐ（２）をタイルｑに対する第１中間ノードＮｑ（１）に結合する。Ｖａ及びＶｂの値を方程式（３）に示す。【数5】
横方向のエッジの第２の種類（重みは上記で定義）は、グラフによりＦ関数（方程式（１））の固有表現を達成するように、グラフに加えられる。
【0038】
図５及び図６に示すように、グラフのエッジには方向性がある。本明細書では、エッジの方向がノード１からノード２に向かう場合は、ノード１はノード２「に結合される」と言い、「から結合される」と言う場合は逆方向である。このようなグラフは有向グラフと呼ばれる。より具体的には、グラフはフローネットワークである。フローネットワークとは、各エッジが容量（上述の重み）を有し、フローの入力を受ける有向グラフの一種である。
【0039】
概括すると、本発明の実施形態によれば、ステップＳ１２で構築されるグラフは、ソースノード、シンクノード、第１タイル格子の各タイルｐに対応する２つの（第１及び第２）中間ノード、第２タイル格子の各タイルｑに対応する２つの（第１及び第２）中間ノードを有する。ソースノードは、各タイルｐ及び各タイルｑの第１中間ノードに結合している。各タイルｐ及び各タイルｑの第１中間ノードは、同じタイルの第２中間ノードに結合している。各タイルｐ及び各タイルｑの第２中間ノードは、シンクノードに結合している。各タイルｐ（又はｑ）の第１中間ノードは、２つのエッジにより、４つの隣接するタイルｑ（又はｐ）の各々の第１中間ノードに、及びこの第１中間ノードから結合している。各タイルｐ（又はｑ）の第２中間ノードは、２つのエッジにより、４つの隣接するタイルｑ（又はｐ）の各々の第２中間ノードに、及びこの第２中間ノードから結合している。各タイルｐ（又はｑ）の第２中間ノードは、４つの隣接するタイルｑ（又はｐ）の各々の第１中間ノードに結合している。種々のエッジのエッジ重みは上述した通りである。便宜上、同じタイル（ｐ又はｑ）に対するノードを互いに接続し、或いはソース又はシンクに接続するエッジをタイル特有エッジと呼び、異なるタイルに対するノードを接続するエッジを連結エッジと呼ぶ（横方向エッジとも呼ばれる）。
【0040】
グラフの最適カット（本実施形態では最小カット）が最適化問題の解決策を表し、また、目的関数Ｆ（ｆ）を最適化（本実施形態では最小化）する最適ベクトルｆを与えるように、目的関数Ｆ（ｆ）（方程式１）を表すグラフが構築される。
【0041】
グラフカットは、グラフ理論の公知領域であり、エネルギー最小化原理の見地から公式化できる多種多様なローレベルコンピュータビジョン問題を効果的に解決すべく、コンピュータビジョンの分野に適用されている。グラフカットを行うとは、２つの組の間の接続エッジなしで、２つの互いに素な頂点（ノード）のサブセットが得られるように、グラフのエッジの組をカット（除去）することである。カットエッジの組は、カットセットと呼ばれる。本実施形態で構築したグラフのように、一つのソースノード及び一つのシンクノードがあるフローネットワークに対しては、ｓ‐ｔカットは、ソースとシンクとが異なるサブセットとなるように、すなわち、ソースからシンクへの有向路が存在しないように、一組のエッジ（ソース側からシンク側に向かうエッジのみ含む）をカットするものである。フローネットワークのカットは重みを有しており、この重みはカットセットにおけるすべてのエッジの重みの合計として定義される。
【0042】
例として図６に示すグラフを使用すると、全部で９つの異なるグラフのカット方法があり、そのいくつかが図７〜１２に示されている（他のものは、単純な左右対称によって推測することができる）。図７〜１２において、白丸はカットされたエッジ（すなわちカットセットのもの）を示しており、その重みはカットの重みに寄与する。エッジがソース側からシンク側にカットを横切る場合は、エッジはカットセットにあるが、逆向きにカットを横切る場合は、カットセットにはない。
【0043】
フローネットワークの最小カットは、最小重みのカットであり、カットの重みはカットセットにおけるすべてのエッジの重みの合計で定義される。フローネットワークに対する最小カットを見つけるための公知のアルゴリズムが存在する。例えば、Ｃ＋＋ ＢＯＯＳＴ ライブラリーは、最小カットアルゴリズムを含む数学的問題を解決するための、無料のオープンソースアルゴリズムを提供する。このように、ステップＳ１３は、最小カットアルゴリズムを用いて、ステップＳ１２で構築されたグラフの最小カットを見つける工程である。
【0044】
上述のように、ステップＳ１２で構築されたグラフにおいて、第１タイル格子のタイルｐに対する２つの中間ノードを介してソース及びシンクノードを結合する３つのエッジは、タイルｐに対する３つのブラケット０，１，２を表している。これら３つのエッジのうち、ただ１つのエッジが最小カットによりカットされる。このカットエッジは、基準ブラケットとなる、タイルｐに対するブラケットを示す。こうして、最小カットが見つけられると、第１格子（すなわち、ベクトルｆ＝｛ｆｐ｝）のすべてのタイルｐに対する基準ブラケットを識別することができる。これにより、目的関数Ｆ（ｆ）（方程式（１））を最適化（本実施形態では最小化）する最適ベクトルｆが与えられる。
【0045】
図１３を参照して、４つの入力画像の組の例について説明する。図１３のグラフは図６のものと同様であり、同じ／類似の標記が用いられている。例えば、Ｎｐ（３）は画素ｐに対する第３中間ノード、Ｄｐ（３）はブラケット３のタイルｐに対する露出品質値、Ｖ２３＝Ｖｐ，ｑ（ｆｐ＝２，ｆｑ＝３）等である。タイルｐの第３中間ノードは、重みＶｄ及びＶｆであるタイルｑの第２及び第１中間ノードに結合されており、タイルｑの第３中間ノードは、重みＶｃ及びＶｅであるタイルｐの第２及び第１中間ノードに結合されている。Ｖａ及びＶｂの値は、３つの画像の組の例（方程式３）のものと同じであり、ＶｃからＶｅの値は方程式（４）である。【数6】
【0046】
より一般的には、Ｍ個の入力画像の組に対するグラフは、各タイルｐ及びｑに対するＭ−１個の中間ノードと、方程式（１）の第１構成要素Ｄから計算される重みで、各タイルｐ（又はｑ）に対するひと続きの中間ノードを介してソースノードをシンクノードに結合するＭ個の縦方向エッジと、方程式（１）の第２構成要素Ｖから計算される重みで、各タイルｑ（又はｐ）の各中間ノードに、及び／又はこの各中間ノードから、タイルｐ（又はｑ）の各中間ノードを結合する横方向エッジと、を有する。
【0047】
５以上の画像による画像の組に対するグラフも同様に構築することが可能であり、本明細書に記載する原理に基づき、エッジの適切な重みを得ることができる。
【0048】
図１４を参照して、ゴーストアーチファクト検出及びＨＤＲ画像生成の全体処理を以下に記載する。
【0049】
まず、上述の方法で、各ブラケットに使用される第１タイル格子が構成される（ステップＳ８１）。各ブラケットに使用される第２タイル格子は、上述の方法で第１タイル格子を移動させることにより構成される（ステップＳ８２）。各ブラケットについて、第１格子の各タイル及び第２格子の各タイルに対するタイル露出品質値が計算される（ステップＳ８３）。本ステップにおけるタイル露出品質値は、方程式（１）の項Ｄｐ（ｆｐ）に対応し、本発明の種々の実施形態におけるこれらの定義及び計算は上述した通りである。また、２つのブラケットの組み合わせの各々について、第１格子の各タイルと、第２格子の各隣接タイルとのタイル対タイル相互関係値が計算される（ステップＳ８４）。本ステップの相互関係値は、方程式（１）の項Ｖｐ，ｑ（ｆｐ，ｆｑ）に対応し、本発明の種々の実施形態におけるこれらの定義及び計算は上述した通りである。ここで、「２つのブラケットの組み合わせ」とは、（ｆｐ＝０，ｆｑ＝１）等の２つのブラケット指標ｆｐ及びｆｑの組み合わせを言う。
【0050】
その後、ステップＳ８１及びＳ８２で構成された第１格子及び第２格子、及びステップＳ８３及びＳ８４で計算されたタイル露出品質値及びタイル対タイル相互関係値に基づき、グラフ（具体的にはフローネットワーク）が構築される（ステップＳ８５）。グラフは、ソースノード、シンクノード、第１格子の各タイル及び第２格子の各タイルに対応する一以上のノード、並びに、ノード間の種々のタイル特有エッジ及び横方向連結エッジを含む。各エッジは、該エッジに割り当てられた重みを有し、この重みは、タイル露出品質値及びタイル対タイル相互関係値に基づく。本発明の実施形態においてグラフを構築する具体的な方法は、上記に詳述している。その後、最小カットアルゴリズムを用いてグラフの最適カットが計算され、最適カットから第１格子のすべてのタイルに対する基準ブラケットが特定される（ステップＳ８６）。本発明の実施形態において最適カットから基準ブラケットを特定する方法は、上述している。
【0051】
各タイルに対する基準ブラケットが特定されると、各タイルについて非基準ブラケットを基準ブラケットと比較することにより、各タイル基準で、画像の組におけるゴースト誘発画素を検出することができる（ステップＳ８７）。例えば、基準ブラケット及び非基準ブラケット間のタイルの正規化相互相関（ＮＣＣ）を、そのタイルについての非基準ブラケットがゴースト誘発対象物を含むか否かの指標として計算することができる。「Ｋａｒａｄａｇ ａｎｄ Ａｋｙｕｚ ２０１２」論文に記載されているような他の方法を使って、タイルにおけるゴーストアーチファクトを検出することもできる。ステップＳ８７において、各ブラケットに対するゴーストマップが構築される。ゴーストマップは、オリジナル画像と同じサイズを有し、ブラケットの各画素がゴーストを誘発するか否か、ひいてはブラケットの画素がＨＤＲ画像の作成に用いられるべきか否かを示すマップである。その後、対応するゴーストマップと共に、複数のブラケットを用いて、ＨＤＲ画像が生成される（ステップＳ８８）。本工程において、対応するゴーストマップによりゴーストを誘発すると示されたブラケットの画素は、ＨＤＲ画像の生成に使用されない。その結果、ゴーストアーチファクトが回避される。
【0052】
図１４の処理において、ステップＳ８１〜Ｓ８６は各タイルに対する基準ブラケットの決定に関し、ステップＳ８７〜Ｓ８８はゴーストアーチファクトの検出及び除去と、ＨＤＲ画像の生成とに関する。後者のステップの組は、本分野で公知の方法を用いて実施することができる。
【0053】
上述の実施形態には種々の変更を加えうる。例えば、上記実施形態では第１格子及び第２格子で重複するタイルを用いてタイル対タイル相互関係Ｖｐ，ｑ（ｆｐ，ｆｑ）が定義されるが、第１格子のタイルのみを用いて、第１格子で互いに接する隣接タイルの視覚的類似性を測定する関数によって定義することも可能である。このような他の実施形態のうちの２つを以下に記載する。これらの記載において、タイルｑは同じ格子におけるタイルｐの隣接タイルである。隣接タイルの組は、タイルｐに４つの辺で当接する４つのタイルの組として、或いは、そのような組のサブセットとして定義することができる。
【0054】
タイル対タイル相互関係Ｖｐ，ｑ（ｆｐ，ｆｑ）を計算する第１の他の方法では、まず下記のＮＣＣ値が計算される。【数7】
ただし、Ｉｆｑ（Ｒｑ）はブラケットｆｐのタイルｐの画像等である。よって、値Ａはブラケットｆｐ及びｆｑのタイルｐ及びｑの間で計算された正規化相互相関関係である。
【0055】
ｆｐ1ｆｑについては、ｎを入力画像の組の他のブラケットの指標、すなわちｎ1ｆｐ及びｎ1ｆｑとすると、下記の値が計算される。【数8】
【0056】
その後、値Ｈが下記のように計算される。【数9】
【0057】
それから、タイル対タイル相互関係Ｖｐ，ｑ（ｆｐ，ｆｑ）がＨｐ，ｑ（ｆｐ，ｆｑ）の増加関数として計算される。
【0058】
タイル対タイル相互関係Ｖｐ，ｑ（ｆｐ，ｆｑ）を計算する第２の他の方法では、まず、ブラケットｆによって画素強度値を露出値にマッピングする関数Ｅｆにより、各タイルがマッピングされる。すなわち、Ｅｆは画素値に適用される逆カメラ応答関数（ＣＲＦ）である。
【0059】
その後、ＩｔｅｓｔをＥｆｐ（Ｉｆｐ（Ｒｐ））及びＥｆｑ（Ｉｆｑ（Ｒｑ））の並置（隣接タイル）の画像結果とする。また、ｄｉｓｔを比較関数（例えば、絶対値差分１−ＮＣＣ）とする。下記を計算する。【数10】
ただし、Ｒｐ＋ＲｑはタイルＲｐ及びＲｑを結合（並置）することによって得られた画像パッチを表す。例えば、Ｒｐ及びＲｑが正方形の場合、Ｒｐ＋ＲｑはＲｐ及びＲｑを結合した長方形のパッチとなる。
【0060】
その後、タイル対タイル相互関係Ｖｐ，ｑ（ｆｐ，ｆｑ）がＨｐ，ｑ（ｆｐ，ｆｑ）の増加関数として計算される。
【0061】
タイル対タイル相互関係Ｖｐ，ｑ（ｆｐ，ｆｑ）が第１格子のタイルのみを用いて計算される場合、グラフ構造は、タイルｑが（第２格子ではなく）同じ格子におけるタイルｐの隣接タイルであることを除いて、上記と同様となる。
【0062】
本明細書に記載するゴーストアーチファクト検出及びＨＤＲ画像生成方法は、図１５に示すようなコンピューター１２０等のデータ処理システムで実施することができる。コンピューター１２０は、プロセッサー１２１、記憶デバイス（例えばハードディスクドライブ）１２２及び内部メモリー（例えばＲＡＭ）１２３を備える。記憶デバイス１２２は、ＲＡＭ１２３に読み出され、プロセッサー１２１により実行されて上記方法を実施するソフトウェアプログラムを格納する。
【0063】
上記方法は、デジタルカメラ内の一以上のチップ等のハードウェア回路において実施してもよい。図１６は、デジタルカメラ１３０を概略的に示しており、デジタルカメラ１３０は、プロセッサー１３１、記憶デバイス１３２、内部メモリー１３３と共に、画像を取得する撮像部１３４及びカメラの種々の機能を制御する制御部１３５を備えている。制御部１３５は、オートブラケティングを実行して、異なる露光レベルでの画像の組を自動的に取得することができる。オートブラケティングは周知なので、詳細は省略する。プロセッサー１３１は、上述のアルゴリズムを用いて画像の組を処理し、ＨＤＲ画像を生成してもよい。
【0064】
一の側面では、本発明はデータ処理装置において具現化される。データ処理装置はデジタルカメラのデータ処理部であってもよい。他の側面では、本発明は、データ処理装置を制御するためのコンピューター読取可能なプログラムコードを内蔵したコンピューター使用可能な非一時的媒体に具現化されるコンピュータープログラム製品である。他の側面では、本発明は、データ処理装置により実行される方法である。
【0065】
本発明のゴーストアーチファクト検出、ＨＤＲ画像作成方法及び関連する装置に、本発明の趣旨又は範囲を逸脱することなく、種々の修正や変更を加えうることは、当業者において明らかである。このように、本発明は、添付の特許請求の範囲やその等価物の範囲内の変更点や修正点にまで及ぶことが意図されている。
【外国語明細書】