特許 6557848 画像処理システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6557848

(24)【登録日】2019年7月26日

(45)【発行日】2019年8月14日

(54)【発明の名称】画像処理システム

(51)【国際特許分類】

   G06T 5/50 20060101AFI20190805BHJP

   H04N 5/243 20060101ALI20190805BHJP

【ＦＩ】

   G06T5/50

   H04N5/243

【請求項の数】10

【全頁数】25

(21)【出願番号】特願2015-547715(P2015-547715)

(86)(22)【出願日】2014年10月17日

(86)【国際出願番号】JP2014078282

(87)【国際公開番号】WO2015072306

(87)【国際公開日】20150521

【審査請求日】2017年9月15日

(31)【優先権主張番号】特願2013-235787(P2013-235787)

(32)【優先日】2013年11月14日

(33)【優先権主張国】JP

(73)【特許権者】

【識別番号】000004237

【氏名又は名称】日本電気株式会社

(73)【特許権者】

【識別番号】304021417

【氏名又は名称】国立大学法人東京工業大学

(74)【代理人】

【識別番号】100077838

【弁理士】

【氏名又は名称】池田 憲保

(74)【代理人】

【識別番号】100129023

【弁理士】

【氏名又は名称】佐々木 敬

(74)【代理人】

【識別番号】100147809

【弁理士】

【氏名又は名称】松田 順一

(72)【発明者】

【氏名】柴田 剛志

(72)【発明者】

【氏名】仙田 修司

(72)【発明者】

【氏名】田中 正行

(72)【発明者】

【氏名】奥富 正敏

(72)【発明者】

【氏名】速水 健人

【審査官】 堀井 啓明

(56)【参考文献】

【文献】 特開２００９−０１０５６６（ＪＰ，Ａ）

【文献】 特開２０１０−２７２０９４（ＪＰ，Ａ）

【文献】 特開２０１３−１６２１９０（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｔ５／５０

Ｈ０４Ｎ５／２３２

Ｈ０４Ｎ５／２４３

(57)【特許請求の範囲】

【請求項1】

異なる輝度成分を有する複数の画像を入力画像として受け付ける画像受付手段と、
前記複数の画像内から基準画像を選定する基準画像選定手段と、
前記複数の画像内の他の画像を参照画像として用いて 前記基準画像内の明るすぎる領域及び／又は暗すぎる領域を補完する部分画像を前記参照画像から抽出する際に、前記入力画像各々を輝度成分の区分毎に多値化処理した補正画像を用いて、前記基準画像の補正画像に含まれていた区分可能な各領域の形と前記他の画像の補正画像に含まれていた区分可能な各領域の形とを用いて、形状がマッチングする領域を探索処理する補完領域探索手段と、
前記基準画像の補正画像内で明るすぎる領域及び／又は暗すぎる領域にあたる画像部分を、前記参照画像内でマッチングした領域で且つ各々の参照画像内で適度な明るさ領域にあたる画像部分を用いて補完処理することにより、合成画像を生成する補完処理手段と、
生成した前記合成画像を出力する出力手段を有し、
前記入力画像として、各々の画像は、明るい領域、適度な明るさ領域、暗い領域の少なくとも３値に区分可能であり、且つ、各々の画像内の輝度成分の明るい領域と適度な明るさ領域の境界輝度が 輝度的に隣接関係にある より暗い画像の適度な明るさ領域と暗い領域の境界輝度に揃う輝度成分関係を有した画像群を用いる
ことを特徴とする画像処理システム。

【請求項2】

前記基準画像選定手段は、基準画像を選定する際に、各々の画像が有する全面もしくは所定範囲の適度な明るさ領域の面積に基づいて、１ないし複数の面積が広い上位の画像を基準画像として選定処理することを特徴とする請求項１記載の画像処理システム。

【請求項3】

前記補完領域探索手段は、探索処理する際に、明るい領域、適度な明るさ領域、暗い領域を示す３区分に分類された前記補正画像を用いて、
前記基準画像の補正画像に含まれていた明るすぎる領域及び／又は暗すぎる領域の形を基準に、輝度的に隣接関係にある画像の補正画像に含まれていた適度な明るさ領域を含む区分可能な各領域の形をマッチング処理して、補完に使用する参照画像内の部分画像を前記参照画像から抽出する
ことを特徴とする請求項１又は２に記載の画像処理システム。

【請求項4】

複数の参照画像を用いて前記探索処理と前記補完処理を繰り返し実行する際に、基準画像に輝度的に隣接関係にある参照画像を用いて基準画像を補完した後に、次に輝度的に隣接関係にある参照画像を用いて 補完された基準画像を更に補完するように基準画像の明るすぎる領域及び／又は暗すぎる領域を埋めながら繰り返すことを特徴とする請求項１ないし３の何れか一項に記載の画像処理システム。

【請求項5】

参照画像内で基準画像にマッチングした領域で且つ各々の参照画像内で適切な明るさ領域にあたる画像部分の画像内容を参照して、残りの全て若しくは一部の参照画像とマッチングする領域を探索することを特徴とする請求項１ないし４の何れか一項に記載の画像処理システム。

【請求項6】

参照画像と基準画像とのマッチング領域を探索する際に、下記に示すコスト関数（１）を満たして、参照画像内のマッチングする領域を探索することを特徴とする請求項１ないし５の何れか一項に記載の画像処理システム。
Ε_Ω（ｐ）＝Ε_shape（ｐ）＋αΕ_texture（ｐ） ・・・（１）
ここで、
Ε_Ω（ｐ）は個々の輝度領域形状のマッチング総コスト、
Ε_shape（ｐ）は排他的論理和で探索するコスト関数部分、
Ε_texture（ｐ）は重み付きＳＳＤで探索するコスト関数部分、
αは重み変数である。

【請求項7】

前記探索処理では、輝度成分の区分が同一である所定近似関係にある複数の抽出領域を１ないし複数のグループとして扱うことを特徴とする請求項１ないし６の何れか一項に記載の画像処理システム。

【請求項8】

複数の画像を受け付けて、前記入力画像を受け付けて、前記入力画像が有する画像間の輝度成分関係を満たすように、輝度的順序に従った並び替えと、前記輝度成分関係が成立する各閾値を画像間で確定することを特徴とする請求項１ないし７の何れか一項に記載の画像処理システム。

【請求項9】

異なる輝度成分を有する複数の画像を入力画像として受け付けて、
前記複数の画像内から基準画像を選定すると共に、
前記複数の画像内の他の画像を参照画像として用いて 前記基準画像内の明るすぎる領域及び／又は暗すぎる領域を補完する部分画像を前記参照画像から抽出する際に、前記入力画像各々を輝度成分の区分毎に多値化処理した補正画像を用いて、前記基準画像の補正画像に含まれていた区分可能な各領域の形と前記他の画像の補正画像に含まれていた区分可能な各領域の形とを用いて、形状がマッチングする領域を探索処理し、
前記基準画像の補正画像内で明るすぎる領域及び／又は暗すぎる領域にあたる画像部分を、前記参照画像内でマッチングした領域で且つ各々の参照画像内で適切な明るさ領域にあたる画像部分を用いて補完処理して、合成画像を生成する、
ただし、前記入力画像として、各々の画像は、明るすぎる領域、適切な明るさ領域、暗すぎる領域の少なくとも３値に区分可能であり、且つ、各々の画像内の輝度成分の明るすぎる領域と適切な明るさ領域の境界輝度が 輝度的に隣接関係にあるより暗い画像の適切な明るさ領域と暗すぎる領域の境界輝度に揃う輝度成分関係を有した画像群を用いる
ことを特徴とする情報処理システムによる画像処理方法。

【請求項10】

情報処理システムを、
各々の画像が、明るい領域、適度な明るさ領域、暗い領域の少なくとも３値に区分可能であり、且つ、各々の画像内の輝度成分の明るい領域と適度な明るさ領域の境界輝度が 輝度的に隣接関係にあるより暗い画像の適度な明るさ領域と暗い領域の境界輝度に揃う輝度成分関係を有した画像群である、異なる輝度成分を有する複数の画像を入力画像として受け付ける画像受付手段と、
前記複数の画像内から基準画像を選定する基準画像選定手段と、
前記複数の画像内の他の画像を参照画像として用いて 前記基準画像内の明るすぎる領域及び／又は暗すぎる領域を補完する部分画像を前記参照画像から抽出する際に、前記入力画像各々を輝度成分の区分毎に多値化処理した補正画像を用いて、前記基準画像の補正画像に含まれていた区分可能な各領域の形と前記他の画像の補正画像に含まれていた区分可能な各領域の形とを用いて、形状がマッチングする領域を探索処理する補完領域探索手段と、
前記基準画像の補正画像内で明るすぎる領域及び／又は暗すぎる領域にあたる画像部分を、前記参照画像内でマッチングした領域で且つ各々の参照画像内で適度な明るさ領域にあたる画像部分を用いて補完処理することにより、合成画像を生成する補完処理手段と、
生成した前記合成画像を出力する出力手段、
として動作させることを特徴とするプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像処理技術に関し、詳しくは、複数の画像を用いて所望するハイダイナミックレンジ画像を得る画像処理システム、画像合成処理方法、プログラム、及び記録媒体に関する。

【背景技術】

【0002】

旧来、同一対象を撮影した複数枚の画像から様々な手法で、ハイダイナミックレンジ画像処理（ＨＤＲ：ｈｉｇｈ ｄｙｎａｍｉｃ ｒａｎｇｅ ｉｍａｇｉｎｇ）を実現している。
これらの技術は、例えば特許文献１ないし３に記載されている。
特許文献１に記載された手法では、露光量が異なる複数枚の入力画像を受け付けて、各々の画像の設定された輝度レンジの輝度値領域を抽出して、その領域を用いたＨＤＲ画像を生成している。また、当該文献に記載された手法では、複数の輝度レンジ設定値を用いて各々の画像からその設定値の輝度値領域を抽出して、多数のＨＤＲ画像を生成して、基準画像に組み合わせて最終的に出力するＨＤＲ画像を合成する。
特許文献２及び３に記載された手法でも、複数枚の入力画像を受け付けて、各々の入力画像から所望する領域を抽出して、基準画像の明る過ぎる領域と暗すぎる領域を埋めるように処理動作している。特許文献２の手法では、同一の撮像条件の複数枚の入力画像を取得して、同一画素部分の輝度を加算処理して重ね合わせることで、ＨＤＲ画像を得ている。また、特許文献３の手法では、特殊な構造を有する撮像部を用いて、異なる露光条件の複数枚の入力画像を取得して、各々の画像を正規化と信頼性評価を行い、信頼性に従って画像合成することで、ＨＤＲ画像を得ている。
非特許文献１は、後述する実施形態で採用可能なポアッソン合成手法を示している。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１０−２７８８９０号公報

【特許文献2】特開２０１０−０５６７９６号公報

【特許文献3】特開２０１３−０９３７８６号公報

【非特許文献】

【0004】

【非特許文献1】Ｍ．Ｔａｎａｋａ，Ｒ．Ｋａｍｉｏ，ａｎｄ Ｍ．Ｏｋｕｔｏｍｉ，“Ｓｅａｍｌｅｓｓ ｉｍａｇｅ ｃｌｏｎｉｎｇ ｂｙ ａ ｃｌｏｓｅｄ ｆｏｒｍ ｓｏｌｕｔｉｏｎ ｏｆ ａ ｍｏｄｉｆｉｅｄ Ｐｏｉｓｓｏｎ ｐｒｏｂｌｅｍ，”ｉｎ ＳＩＧＧＲＡＰＨ ＡＳＩＡ Ｐｏｓｔｅｒｓ’１２，２０１２，ｐｐ．１５―１５．

【発明の概要】

【発明が解決しようとする課題】

【0005】

上記したように、ハイダイナミックレンジ画像を生成する為に様々なアプローチが取られている。多くの手法では、ＨＤＲ画像を合成するにあたって同一撮像素子を用いて、同一画角、同一焦点距離の条件下で、異なる露光量で複数画像を取得し、その一組の画像をＨＤＲ画像に合成する。
また、ＨＤＲ画像を合成するにあたって異なる撮像素子を用いて、概ね同一画角、概ね同一焦点距離の条件下で、異なる露光量で複数画像を取得し、その一組の画像をＨＤＲ画像に合成する。
しかし、これらの手法には、幾つかの問題を見出せる。
その一つを例示すれば、合成する複数枚の画像を得る際に、上記条件を満たす必要がある。
より具体的に述べれば、１つの撮像素子を用いて複数画像を得るために異なる時間で撮影する必要が生じる。結果、移動する物体を被写体とした画像合成に良好な結果を得られない。また、合成に用いる露光量の異なる画像を増やせば増やすほど、時間間隔が開き、撮影条件を満たすことが困難と成りやすい。
他方、異なる撮像素子を用いれば、露出時間程度の差で粗同時的に複数枚の画像を得られるものの、同一画角、同一焦点距離等の撮影条件を厳しく管理して撮影する必要が生じる。結果、撮像素子や光学系を所要に連動させる機能が必要になる。
上記観点によって、特許文献１に記載された手法を検証すれば、同一撮像素子から露出量又は絞りを段階的に変化させながら入力画像群を得ている部分に弱点を見つける。このため、撮影では、異なる位置関係を含まないように撮像機器を固定するための脚立などの器具用いる必要性が生じている。
特許文献２に記載された手法も同様に、同一撮像素子から入力画像群を得ている部分に弱点がある。また、同一撮像条件で複数枚の入力画像を取得する為、撮像条件で黒つぶれと白とびが起きている部分について、当該文献の画像処理では補完されない。
特許文献３に記載された手法にも、撮像部から各入力画像を非破壊読み出しで同期させて次々得ている部分に弱点がある。換言すれば、撮像条件が多くの点で限定されている。
また、例示した撮像条件に関する制限事項の解消以外にも、より良好なＨＤＲ画像を作成する手法が望まれる。
そこで、本発明では、異なる撮像因子が含まれていても、異なる輝度成分を有する複数の画像から良好なハイダイナミックレンジ画像を得る画像処理システムを提供する。

【課題を解決するための手段】

【0006】

本発明に係る画像処理システムは、異なる輝度成分を有する複数の画像を入力画像として受け付ける画像受付手段と、前記複数の画像内から基準画像を選定する基準画像選定手段と、前記複数の画像内の他の画像を参照画像として用いて 前記基準画像内の明るすぎる領域及び／又は暗すぎる領域を補完する部分画像を前記参照画像から抽出する際に、前記入力画像各々を輝度成分の区分毎に多値化処理した補正画像を用いて、前記基準画像の補正画像に含まれていた区分可能な各領域の形と前記他の画像の補正画像に含まれていた区分可能な各領域の形とを用いて、形状がマッチングする領域を探索処理する補完領域探索手段と、前記基準画像の補正画像内で明るすぎる領域及び／又は暗すぎる領域にあたる画像部分を、前記参照画像内でマッチングした領域で且つ各々の参照画像内で適切な明るさ領域にあたる画像部分を用いて補完処理することにより、合成画像を生成する補完処理手段と、生成した前記合成画像を出力する出力手段を有し、前記入力画像として、各々の画像は、明るすぎる領域、適切な明るさ領域、暗すぎる領域の少なくとも３値に区分可能であり、且つ、各々の画像内の輝度成分の明るすぎる領域と適切な明るさ領域の境界輝度が 輝度的に隣接関係にあるより暗い画像の適切な明るさ領域と暗すぎる領域の境界輝度に揃う輝度成分関係を有した画像群を用いることを特徴とする。
本発明に係る画像処理方法は、異なる輝度成分を有する複数の画像を入力画像として受け付けて、前記複数の画像内から基準画像を選定すると共に、前記複数の画像内の他の画像を参照画像として用いて 前記基準画像内の明るすぎる領域及び／又は暗すぎる領域を補完する部分画像を前記参照画像から抽出する際に、前記入力画像各々を輝度成分の区分毎に多値化処理した補正画像を用いて、前記基準画像の補正画像に含まれていた区分可能な各領域の形と前記他の画像の補正画像に含まれていた区分可能な各領域の形とを用いて、形状がマッチングする領域を探索処理し、前記基準画像の補正画像内で明るすぎる領域及び／又は暗すぎる領域にあたる画像部分を、前記参照画像内でマッチングした領域で且つ各々の参照画像内で適切な明るさ領域にあたる画像部分を用いて補完処理して、合成画像を生成する、ただし、前記入力画像として、各々の画像は、明るすぎる領域、適切な明るさ領域、暗すぎる領域の少なくとも３値に区分可能であり、且つ、各々の画像内の輝度成分の明るすぎる領域と適切な明るさ領域の境界輝度が 輝度的に隣接関係にあるより暗い画像の適切な明るさ領域と暗すぎる領域の境界輝度に揃う輝度成分関係を有した画像群を用いることを特徴とする。
本発明に係るプログラムは、情報処理システムを、各々の画像が、明るい領域、適度な明るさ領域、暗い領域の少なくとも３値に区分可能であり、且つ、各々の画像内の輝度成分の明るい領域と適度な明るさ領域の境界輝度が 輝度的に隣接関係にあるより暗い画像の適度な明るさ領域と暗い領域の境界輝度に揃う輝度成分関係を有した画像群である、異なる輝度成分を有する複数の画像を入力画像として受け付ける画像受付手段と、前記複数の画像内から基準画像を選定する基準画像選定手段と、前記複数の画像内の他の画像を参照画像として用いて 前記基準画像内の明るすぎる領域及び／又は暗すぎる領域を補完する部分画像を前記参照画像から抽出する際に、前記入力画像各々を輝度成分の区分毎に多値化処理した補正画像を用いて、前記基準画像の補正画像に含まれていた区分可能な各領域の形と前記他の画像の補正画像に含まれていた区分可能な各領域の形とを用いて、形状がマッチングする領域を探索処理する補完領域探索手段と、前記基準画像の補正画像内で明るすぎる領域及び／又は暗すぎる領域にあたる画像部分を、前記参照画像内でマッチングした領域で且つ各々の参照画像内で適度な明るさ領域にあたる画像部分を用いて補完処理することにより、合成画像を生成する補完処理手段と、生成した前記合成画像を出力する出力手段として動作させることを特徴とする。

【発明の効果】

【0007】

本発明によれば、異なる撮像因子が含まれていても、異なる輝度成分を有する複数の画像から良好なハイダイナミックレンジ画像を得る画像処理システムを提供できる。

【図面の簡単な説明】

【0008】

図１は、第１の実施形態に係るＨＤＲ画像合成システムを示す構成図である。
図２は、第１の実施形態に係るＨＤＲ画像合成システムで行われる処理動作を示したフローチャートである。
図３は、入力画像に設定される輝度成分関係と閾値を表した説明図である。（ａ）は、３値化用閾値を例示する。（ｂ）は、５値化用閾値を例示する。
図４は、動作説明に用いる３枚の入力画像を示した図である。
図５は、図４に示した入力画像を３値化した画像を示した図である。
図６は、図４に示した参照画像内から抽出された基準画像の明るすぎる領域及び暗すぎる領域に当たる画像部分を示した図である。
図７は、図６で示した画像部分を基準画像に組み入れた画像を示した図である。
図８は、入力画像を５枚にしてＨＤＲ画像処理を説明する概念図である。
図９は、図８に示したＨＤＲ画像処理で得られる合成画像を示した図である。
図１０は、一実施例の全体の処理動作を示したフローチャートである。
図１１は、一実施例の暗部領域を補完する処理動作を示したフローチャートである。
図１２は、一実施例の明部領域を補完する処理動作を示したフローチャートである。
図１３は、図１０で示した全体の処理動作で生成される画像例を示した図である。
図１４は、一実施例に係るＨＤＲ画像合成システムを示す構成図である。

【発明を実施するための形態】

【0009】

以下、本発明の実施形態を図面を参照して説明する。
［第１の実施形態］
図１は、第１の実施形態に係るＨＤＲ画像合成システム１を示す構成図である。
第１の実施形態に係るＨＤＲ画像合成システム１は、画像受付部１０と、画像合成手段として動作させる基準画像選定部２０、補完領域探索部３０、補完処理部４０と、出力部５０を含み構成されている。
画像受付部１０は、異なる輝度成分を有する複数の画像を入力画像として受け付ける。入力画像は、例えば異なる露出条件を設定して複数の画像を取得することで準備してもよい。
なお、以下では輝度成分を用いて画像合成を行う処理動作について述べるが、本発明はこれに限定されない。例えば、ＹＵＶ色空間におけるＹ成分（輝度成分）を用いる代わりに、ＨＳＶ色空間におけるＶ成分（明度成分）を用いて同様の画像合成を行ってもよい。すなわちＲＧＢ色空間における明度の最大値を輝度成分の代わりに定義し、この値によって、以下の画像合成処理を行ってもよい。
入力画像として受け付ける各々の画像は、輝度的に撮像対象の特徴が表れる様に取得した画像群を用いる。各々の画像は、明るすぎる領域、適切な明るさ領域、暗すぎる領域の少なくとも３値に区分可能であり、且つ、各々の画像内の輝度成分の明るすぎる領域と適切な明るさ領域の境界輝度が輝度的に隣接関係にあるより暗い画像の適切な明るさ領域と暗すぎる領域の境界輝度に揃う輝度成分関係を有するように準備される。
各画像の輝度成分による区分範囲は、後述する補正画像に反映される。
基準画像選定部２０は、入力画像の中から基準画像を選定する。基準画像は、入力画像から任意の手法で１画像を選定すればよい。また、人間に寄る画像選定を受け付けることとしてもよい。また、各補正画像の各区分範囲の量を比較して、基準画像を定めてもよい。例えば、３値区分であれば適切な明るさ領域が最大面積を有している画像を基準画像に定めるように選定処理すればよい。また、明るすぎる領域／暗すぎる領域が所定量以上ある画像は基準画像に選定しないようにすることも可能である。また、画像内の任意範囲の指定を受け付けて、画像間の指定範囲内で適切な明るさ領域が最大面積を有している画像を基準画像に定めるようにしてもよい。
補完領域探索部３０は、各画像の輝度成分区分毎に多値化処理されている補正画像を参照して、基準画像に対して残りの各画像を参照画像として、各補正画像に含まれていた区分可能な各領域の形を対比することによって、区分できた領域の成した形状でマッチングする画像間の領域部分を導出する。
この処理で用いられる補正画像は、入力画像各々を輝度成分の区分毎に多値化処理して得た画像である。この補正画像は、入力画像の各画像と共に対応する補正画像として画像受付部１０から取り込んでも良いし、画像合成部内で生成してもよい。例えば、後述する処理例のように基準画像選定部２０が生成することとすればよい。
補正画像には、各画像の輝度成分による区分範囲が表れている。区分範囲を３値とした場合、各補正画像の内容には、明るすぎる領域、適切な明るさ領域、暗すぎる領域の３つの区分に分類される。
この明るすぎる領域は、慣用的表現で“白飛び”領域を含む所定基準値よりも輝度が高い領域に当たる。
また、暗すぎる領域は、慣用的表現では“黒つぶれ”領域を含む所定基準値よりも輝度が低い領域に当たる。
適切な明るさ領域は、明るすぎる領域と暗すぎる領域の間全てを指す。
各画像の両所定基準は、明るすぎる領域、適切な明るさ領域、暗すぎる領域の境界輝度にあたる。各閾値は、輝度的に隣接関係にある画像間で段階的に設定され、多くのシーンの所望輝度を網羅するように設定する。
３値化画像を補正画像として用いる場合は、各々の画像内の輝度成分の明るすぎる領域と適切な明るさ領域の境界輝度が輝度的に隣接関係にあるより暗い画像の適切な明るさ領域と暗すぎる領域の境界輝度に揃うように、各画像に対して設定する。
また、明るすぎる領域と適切な明るさ領域、適切な明るさ領域と暗すぎる領域の境界輝度領域についての上限と下限を閾値で定め、５値化した５値化画像を補正画像として用いてもよい。５値化画像を補正画像として用いる場合では、輝度的に隣接関係にあるより暗い画像の適切な明るさ領域と暗すぎる領域の境界輝度を揃え易く成る。換言すれば、入力画像として受け付ける画像群の取得が容易になる。例えば、複数台のカメラで撮像する際に、各々のカメラの設定に余裕が生まれる。また、各々の上限と下限の閾値内の輝度範囲について何れの明るさ領域にも含まれるように扱うことによって、補完領域探索部３０による領域形状のマッピング処理に曖昧性を付与できる。その結果、ＨＤＲ画像の見栄えが良くなる。
また、７値化画像などの多値化画像を用いて、領域形状のマッピング処理の位置調整精度をより高めたり、基準画像の補完領域を参照画像のより適切な明るさ領域で置換や合成することしてもよい。
補完処理部４０は、基準画像の補正画像内で明るすぎる領域及び／又は暗すぎる領域にあたる元画像の画像部分を、参照画像内でマッチングした領域で且つ各々の参照画像内で適切な明るさ領域にあたる画像部分を用いて補完処理する。
この補完処理では、例えば基準画像の暗すぎる領域／明るすぎる領域を参照画像内の該当部分画像（マッチングした領域画像）で置き換えたり、相互の領域内の画像で合成したりすれば、基準画像で暗すぎた／明るすぎた部分が輝度的に見やすく補完される。
この際、補完処理の一部として、参照画像内のマッチング画像部分を、該部分画像の抽出時／抽出後に、撮像位置の違いによる大きさや画素並びの角度を補整してもよい。この補整によって、例えば撮像素子間の撮像画素数の違いや、取得解像度の違い、撮像角度の違いなどを吸収することが可能になる。撮像位置や角度の違いは、内部に写り込んでいる対象の形状から調整してもよいし、撮像した際の撮像素子間の位置関係や画像間の撮像時間関係などを既知情報として取得して利用してもよい。この補整としてはどのような方式を用いてもよい。
基準画像の補完処理は、参照画像毎に繰り返し行なう。このことによってより見える範囲が増したＨＤＲ画像が形成される。
補完処理の繰り返しは、選定された基準画像内で補完を要する明るすぎる領域及び／又は暗すぎる領域にあたる画像部分を、基準画像に輝度的に近い参照画像からより遠い参照画像とする順に繰り返すことで効率的に行える。
また、補完すべき領域が無くなった際に、補完処理をその方向（明るすぎる領域方向又は暗すぎる領域方向）に対する繰り返しを停止する仕組みがあってもよい。
補完処理の繰り返しは、選定された基準画像内で補完を要する明るすぎる領域及び／又は暗すぎる領域にあたる画像部分を、基準画像から輝度的に最も遠い参照画像からより近い参照画像に寄ってくる順に繰り返すことを行っても良いＨＤＲ画像が得られる。
なお、補完処理を行う方法として、上述方法では、画像の輝度値の値そのものだけを用いて補完処理を行う方法について述べたが、本発明はこれに限定されない。例えば、補完処理を行う際に、画像の輝度値の値そのものだけでなく、画像の輝度勾配の値を用いて補完処理を行ってもよい。より具体的には、例えば、基準画像内で輝度値の値を補完した画像と、基準画像内での輝度勾配値を補完した画像の２種類を生成し、これらの画像を用いてポアッソン合成を用いて画像を合成してもよい。ポアッソン合成を用いる方法としては、例えば、非特許文献１に記載の方法を用いればよい。
また、各参照画像から取得した基準画像に反映させる各部分画像に、基準画像の輝度を踏まえた輝度調整処理を加える構成にしてもよい。
上記各処理は適切に組み合わせて用いることも可能である。例えば、輝度調整された各領域の各部分画像を基準画像の明るすぎる領域及び／又は暗すぎる領域にあたる画像部分に輝度的に近い参照画像から得た部分画像から順に適切な明るさ領域の部分を残して重ね合わせるように補完すればよい。出力部５０は、生成したＨＤＲ画像を所要な形態で記憶部や表示部に出力する。また、生成したＨＤＲ画像に併せて基準画像も出力することとしてもよい。
このような構成によって、異なる撮像因子（例えば撮像の位置関係や時間関係、同期関係が不定的な関係）が含まれていても、異なる輝度成分を有する複数の画像から良好なハイダイナミックレンジ画像を得ることができる。
［画像処理フロー］
次に、ＨＤＲ画像合成処理について説明する。
図２では、ＨＤＲ画像合成システム１で行われる画像処理フロー例を示している。なお、本処理フローや後述する処理フローは例示であり、処理の順序の入れ替えや、各処理の繰り返し方法、各処理に適用する方式、処理する画像枚数などは所要に適宜変更して読みかえればよい。
画像受付部１０は、後述する基準画像と参照画像になる複数の画像を入力画像として取得する（Ｓ１０１）。
本画像合成処理では、入力画像として５枚の画像を受け付ける。この５枚の画像は、各々の画像を輝度的に区分した際に、輝度成分関係について隣接関係が成立するように取得もしくは加工されている。この画像群の有する輝度成分関係については別途後述する。
次に、基準画像選定部２０は、各画像の描写を、明るすぎる領域、適切な明るさ領域、暗すぎる領域の少なくとも３つの領域に、輝度成分毎に区分して、各領域を示した画像を各画像の補正画像として生成する（Ｓ１０２−１）。
次に、基準画像選定部２０は、各画像の中から適切な明るさ領域が最大面積を有している画像を選定して、該画像を基準画像に定める（Ｓ１０２−２）。
次に、補完領域探索部３０は、補完対象領域として、基準画像内の明るすぎる領域と暗すぎる領域を、それぞれ識別する（Ｓ１０３−１）。この明るすぎる領域と暗すぎる領域は、多値化処理されている各画像の補正画像を参照すれば容易に取得できる。
次に、補完領域探索部３０は、基準画像内の補完対象領域に対応する参照画像内の該当領域を、各補正画像に含まれていた輝度区分的に連続している各範囲の形状（区分できた各領域の形状）をそれぞれ対比することによって、導出する（Ｓ１０３−２）。なお、５値化画像やより大きな多値化画像を用いて境界輝度範囲に曖昧性を付与することで、マッピングのロバスト性を向上させ得る。
次に、補完処理部４０は、基準画像の補完対象領域（明るすぎる領域と暗すぎる領域）を、各参照画像内でマッチングできた領域内にある適切な明るさ領域にあたる画像部分を利用して補完処理する（Ｓ１０４）。この際、基準画像の明るすぎる領域と暗すぎる領域のそれぞれに対して参照画像１枚毎に補完処理を繰り返すことを行えばよい。また、同一領域に対する異なる参照画像から取得した画像は画像解析によって何れを採用するか識別してもよい。この際、適切な明るさ領域が広い画像部分を優先したり、基準画像の該当領域端との輝度変化が大きい／少ない、大きすぎる／少なすぎるなどを考慮してもよい。
なお、補完処理の繰り返しは、選定された基準画像内で補完する領域にあたる個々の画像部分を、基準画像に輝度的に近い参照画像からより遠い参照画像として補完すべき領域が埋まり切るまで繰り返すことで効率的に行える。
また、補完処理の繰り返しは、選定された基準画像内で補完する領域にあたる個々の画像部分を、基準画像から輝度的に最も遠い参照画像からより近い参照画像として補完すべき領域が埋まり切るまで繰り返すことで効率的に行える。
上記両処理の何れの順を採用するかで、生成されるＨＤＲ画像の見え方に差が生じるため、ユーザに選択させる仕組みを設けてもよい。また、補完する明るすぎる領域と暗すぎる領域のそれぞれに異なるアルゴリズムを用いてもよい。例えば、明るすぎる領域はより近い参照画像から順に参照し、暗すぎる領域は最も遠い参照画像から順に参照することすればよい。
また、例えば、ユーザから被写体の選択を受けて、採用するアルゴリズムを変化させることを行ってもよい。
次に、出力部５０は、選定した基準画像と、生成したＨＤＲ画像を記憶部や表示部に出力する（Ｓ１０５）。ＨＤＲ画像を複数種類のアルゴリズムで生成して、同時に表示するようにしてもよい。
上記処理動作が行なわれることによって、複数の画像から、選定された基準画像の輝度的に見えにくい領域を補完して、良好なＨＤＲ画像が得られる。
ここで、入力画像（画像群）の有する輝度成分関係について説明する。
図３は、入力画像として用いる画像間に設定される輝度成分関係を表した説明図である。図３（ａ）は、入力画像数を『３』として、輝度的区分数も『３』を示している。換言すれば、３枚の３値化した補正画像が有する輝度成分関係を表している。
説明図中の“ｌｏｎｇ”、“ｍｉｄｄｌｅ”、“ｓｈｏｒｔ”は、露光時間の異なる画像を示しており“ｓｈｏｒｔ”が一番暗い画像になる。３枚の画像は、露光時間以外にも、例えば撮像素子のＩＳＯ感度の差や画像処理などを用いて輝度的違いを付けた画像でもよい。この組み合わせを露出条件の調整などを行って成立させることによって、各画像はそれぞれ異なる適度な輝度領域を描写してもよい。
各々の画像は、明るい領域、適度な明るさ領域、暗い領域の３領域に設定されている閾値毎に区分されている。
また、各閾値は、各々の画像内の明るい領域と適度な明るさ領域の境界輝度（閾値）が輝度的に隣接関係にあるより暗い画像の適度な明るさ領域と暗い領域の境界輝度（閾値）に揃うように設定される。
例えば、説明図中の図“ｌｏｎｇ”の明るい領域と適度な明るさ領域の境界輝度（閾値ｂ３）は、輝度的に隣接関係にある図“ｍｉｄｄｌｅ”の適度な明るさ領域と暗い領域の境界輝度（閾値ｂ３）に揃うように設定される。
図“ｍｉｄｄｌｅ”と図“ｓｈｏｒｔ”との関係も同様であり、閾値ｂ２で境界輝度が揃う設定である。仮に、更に暗い画像を取得する場合には、閾値ｂ１で図“ｓｈｏｒｔ”の境界輝度と揃う設定で取得する。
図３（ｂ）は、入力画像数を『３』として、輝度的区分数も『５』を示している。換言すれば、３枚の５値化した補正画像が有する輝度成分関係を表している。各々の画像の、明るい領域と適度な明るさ領域との間、適度な明るさ領域と暗い領域との間に、輝度的緩衝領域が閾値を用いて上限値と下限値で設定されている。
このように生成する補正画像に持たせる区分数を踏まえ、各々の入力画像を準備する。
このような入力画像を画像合成処理に用いることで、異なる輝度成分を有する複数の画像から良好なハイダイナミックレンジ画像を得ることができる。
［処理例］
次に、本発明の処理動作例を画像処理結果を用いて説明する。説明を簡単にするため、入力画像は３枚、補正画像は３値化処理によって得る。
図４は、３枚の入力画像である。この３枚の画像を合成する。
各画像は、明るい画像、暗い画像、中間の画像にあたる。各画像は、先に説明したように３値化した際の境界輝度が揃う輝度成分関係を有している。
ＨＤＲ画像合成システム１は、この３図を入力画像として受け付けて、基準画像を選定する。本例では中間画像を基準画像として選定し、残りの２画像を参照画像にする。
ＨＤＲ画像合成システム１は、各画像の３値化画像（補正画像）を準備する。図５は、図４に示した入力画像を３値化した画像である。なお、本説明では画角は同一の画像を用いているものの、例えば左右や上下に異なる画角で取得した画像であっても合成できる。なお、５値化画像の場合は、図５中に現れている境界が各々２つの閾値（上限と下限）で境界が構成される。
次に、ＨＤＲ画像合成システム１は、基準画像の補正画像を参照して、補完する領域（明るすぎる領域及び暗すぎる領域）を識別する。
なお、図５の例では、基準画像の補正画像では、明るすぎる領域として“時計台の一部の領域群”と、暗すぎる領域として“各構造物の影の領域”が識別できる。また、暗い参照画像では、明るすぎる領域は無く、結果的に２値画像になっている。また、明るい参照画像は、明るすぎる領域が無く、結果的に２値画像になっている。他方、明るい参照画像と暗い参照画像には、適度な輝度の領域が少ないことも分かる。
次に、ＨＤＲ画像合成システム１は、基準画像内の補完する領域の画像として参照画像内の部分画像を用いるために、各補正画像に含まれていた区分可能な各領域の形を抽出する。各補正画像から抽出した各領域は、その形状について平滑化処理を行ってもよい。
次に、抽出した基準画像の補正画像に含まれていた区分可能な各領域の形と参照画像の補正画像に含まれていた区分可能な各領域の形とを比較して、一致する領域を探索する。マッチング処理は、例えば、基準画像内の明るすぎる領域として３値画像によって識別した“時計台の一部の領域群”の各々の形状を暗い参照画像の補正画像内からそれぞれ探索する。同様に、基準画像内の暗すぎる領域として３値画像によって識別した“各構造物の影の領域”を明るい参照画像の補正画像内から探索する。
図６は、図４に示した参照画像内から、基準画像の明るすぎる領域及び暗すぎる領域に当たる領域としてそれぞれの参照画像から抽出された画像部分である。この画像には、先に説明した画像間の有する輝度的特徴が有る為、適度な明るさ領域にあたる部分が基準画像よりも含まれる。
上記探索処理によって、基準画像の補正画像内で明るすぎる領域及び／又は暗すぎる領域の画像部分を、参照画像内でマッチングした領域の部分画像を用いて補完処理する。
本処理例の説明では、３画像であるので、中間画像が基準画像として選択された場合には、明るすぎる領域と暗すぎる領域とが１度ずつ補完処理される。他方、図４に示した暗い参照画像を選択した場合には、その暗すぎる領域を、中間画像と明るい画像とをそれぞれ用いて２度補完処理すればよい。
補完処理を適宜繰り返すことによって、より良いハイダイナミックレンジ合成画像が生成される。
図７は、図６で示した補完領域に組み合わせる画像部分を基準画像に組み入れた画像である。
図８及び図９は、入力画像を５枚にしてＨＤＲ画像処理を説明した概念図とその合成画像である。
この画像合成処理では、基準画像の補正画像内で明るすぎる領域又は暗すぎる領域にあたる画像部分を、輝度的に隣接した画像でまず補完処理し、その補完結果画像に対して、更に残りの参照画像を１枚ずつ用いて補完処理した。
最終結果の合成画像には各参照画像内で適度な明るさ領域にあたる画像部分が蓄積的に残っている。
また、参照画像の一部分を合成画像の一部として組み込む際に、参照画像側を基準画像に合わせて輝度調整を行っている。
結果として、合成画像は、基準画像では時計塔の細部構造や、影に隠れていた建物の色や模様を人間が識別可能になっている。
次に、補完領域探索部３０で行う各領域のマッチング処理の最適化手法を説明する。上記説明では、マッチングを多値化画像の各輝度領域形状を比較することを説明した。この形状間のマッチング処理を以下のコスト関数（１）を用いて、各領域内の画像内容（画素内容）を反映させたマッチング処理に変更することも可能である。この方式によれば、よりロバスト性を有する探索精度を実現する。

Ｅ_Ω（ｐ）は、個々の輝度領域形状のマッチング総コストである。
Ｅ_{ｓｈａｐｅ}（ｐ）は排他的論理和で探索するコスト関数部分であり、例えば下記式（２）で表せる。
他方、Ｅ_{ｔｅｘｔｕｒｅ}（ｐ）は重み付きＳＳＤで探索するコスト関数部分であり、例えば下記式（３）で表せる。
αは、２つのコスト関数のバランスを操作するための重み変数である。

このコスト関数（１）を用いることで、形状差異を２値画像の排他的論理和で求め、模様差異を画素値のＳＳＤ（２乗距離和）で求め、適切な探索結果を求められる。
このコスト関数を用いたマッチング処理を採用することで、形状差異と模様差異の双方を考慮した処理を行うことができる。
また、重みαを調整することで、形状差異と模様差異の何れをより重要視するかを調整できる。α＝０とすれば形状差異のみを用いたマッチングとなり、α＝１とすれば形状差異と模様差異の重視度がバランスさせたマッチングとなり、αを大きくすることで模様差異をより重視する。
例えば、複数の入力画像間の明るさの差異が大きい場合、模様の一致が難しいので形状差異を重視したα（小さな値）を採用し、そうでない場合は模様差異も考慮したα（大きな値）を採用することが望ましい。
なお、コスト関数（１）の数式表記は一例である。また、数式上の各変数の位置（αの位置など）は、上記例に限定するものではない。
或いは、コスト関数（１）の変形例として、各輝度領域形状の変位ｐに関する滑らかさ項を導入してもよい。より具体的には、例えば、下記で示す式（４）のように、各輝度領域形状の変位が同等であればあるほど小さな値になるように滑らかさ項を設計すればよい。

ただし、ここで、コストの和は、各輝度領域形状のペアのすべてについて取ればよい。また、λは滑らかさ項の大きさを示すパラメタである。また、ω_ｄ（Ω_ｉ，Ω_ｊ）は、輝度領域形状ｉと輝度領域形状ｊの滑らかさ項の強さを調整する重みである。例えば、輝度領域形状ｉと輝度領域形状ｊの重心の距離が離れれば離れるほど、値が小さくなるように、この重み係数を設計すればよい。
なお、式（４）を最適化する方法としては、例えば、以下のような繰り返し処理をすればよい。まず、輝度領域形状毎に式（１）を用いて独立に変位ｐを算出する。次に、任意に選択したある輝度領域形状（例えばｊ）以外の変位については、その値を固定し、選択した輝度領域形状の変位のみを、式（４）を用いて決定するという処理を、複数回繰り返す。繰り返し処理によって、式（４）の値の変化が十分に小さくなった場合、繰り返し処理を終了し、得られた変位ｐを式（４）の近似最適解とする。
次に、入力画像の生成処理例と各領域の補完処理例を説明する。
図１０は、一実施例の全体の処理動作を示したフローチャートである。
図１１は、一実施例の暗部領域を補完する処理動作を示したフローチャートである。
図１２は、一実施例の明部領域を補完する処理動作を示したフローチャートである。
図１０に示すように、ＨＤＲ画像合成システム（情報処理装置）は、異なる輝度成分を有する複数の画像を受け付けて、入力画像として調整する（Ｓ１００１）。この際、画像群の輝度的順序に従った並び替えを行う。単純には、各画像の撮像時の露出時間順に並び替えて１からｎまでナンバリングすればよい。また、画像解析によって、平均明度などから順序付けてもよい。次に、先に説明した画像間の輝度成分関係が成立する各閾値をナンバリングした画像間で確定する。
（入力画像は、各々の画像内の輝度成分の明るすぎる領域と適切な明るさ領域の境界輝度が輝度的に隣接関係にあるより暗い画像の適切な明るさ領域と暗すぎる領域の境界輝度に揃う輝度成分関係を有する。）
図１０中に示した５つの画像は、露出が異なる画像を複数のカメラで撮像した入力画像である。この画像群を並び替えると、露出時間の長い順で、画像３→画像５→画像１→画像２→画像４の順序になる。なお、家の位置が画像毎に異なる位置に描写されている。
次に、ＨＤＲ画像合成システムは、入力画像の各画像の三値化画像をそれぞれ生成する（Ｓ１００２）。この三値画像化で各々の画像の“明るすぎる領域”、“適切な明るさ領域”、“暗すぎる領域”が定まる。各領域を“明るすぎる領域マスク”、“適切な明るさ領域マスク”、“暗すぎる領域マスク”として設定する。各マスクは、元画像に重ねて、変更しない領域を示す情報である。
次に、ＨＤＲ画像合成システムは、適度な輝度領域量を参照したり、家部分指定などを受け付けて、入力画像から基準画像を選出する（Ｓ１００３）。
この際、基準画像の“適切な明るさ領域マスク”でマスクされなかった領域（“明るすぎる領域マスク”と“暗すぎる領域マスク”の領域）がそれぞれ補完領域に選出される。
換言すれば、基準画像の“適切な明るさ領域”に該当しなかった領域（“明るすぎる領域”と“暗すぎる領域”）がそれぞれ補完領域として選出される。
本処理例では、画像１を基準画像として選択したことと想定する。
次に、ＨＤＲ画像合成システムは、基準画像の“明るすぎる領域マスク”と“暗すぎる領域マスク”の領域を各参照画像内でマッチングした各マスク領域の画像を用いて逐次的に補完する（Ｓ１００４）、（Ｓ１００５）。本処理は、図１１及び図１２を用いて詳説する。
この処理過程で実施される基準画像と参照画像群との間でマッチングする領域の探索処理によって、画像間に現れていた被写体の位置ずれ（本例の家の位置）や、カメラの違いなどの異なる撮像因子を吸収する。
最後に、ＨＤＲ画像合成システムは、領域毎に輝度調整した合成画像を生成してＨＤＲ画像として出力する（Ｓ１００６）。
次に、基準画像の暗部領域を補完する処理動作例を図１１を用いて説明する。本処理は、図１０のＳ１００４である。
まず、ＨＤＲ画像合成システム（画像合成部）は、基準画像を“ｎ”と置き、マッチングを図る参照画像を“ｍ＝１”と置き、基準画像と対比する参照画像を１画像選択する（Ｓ２００１）。ここで“ｎ”は、先にナンバリングした番号（本例では“Ｎｏ．３”）であり、選択される参照画像は“Ｎｏ．２”である。次のターンで参照画像は“Ｎｏ．１”が選択される。図１１中に基準画像Ｎｏ．３（ｉｍｇ１）と参照画像Ｎｏ．１（ｉｍｇ３）と参照画像Ｎｏ．２（ｉｍｇ５）を示す。
次に、ＨＤＲ画像合成システムは、選択した参照画像の各マスクを識別して“暗すぎる領域マスク”の領域と“適切な明るさ領域マスク”とを組み合わせた参照マスクを生成する（Ｓ２００２）。本処理によって、図中の家の屋根部分（適切な明るさ領域マスク）と家の壁面（暗すぎる領域マスク）が合わさった家の屋根と壁面（参照マスク）が多値画像の各領域形状を基準に識別される。なお、画像中に多数の領域があれば適宜組み合わせて用いる。また、離れた各領域は別々に扱い、近場の各領域は１グループの領域として扱うことが望ましい。
次に、ＨＤＲ画像合成システムは、基準画像の“暗すぎる領域マスク”と生成した“参照マスク”、必要に応じて参照画像の個々の“適切な明るさ領域マスク”を対比して、マッチングする領域を探索する（Ｓ２００３）。この際、模様を踏まえてマッチングするとロバスト性が向上する。
本処理によって、基準画像の家の屋根と壁面（暗すぎる領域マスク）と参照画像の家の屋根と壁面（参照マスク）がマッチングする。
なお、３値化以上の多値化画像を用いることで、輝度的境界部分に曖昧性を持たせることができ、マッチング精度が向上する。
次に、ＨＤＲ画像合成システムは、マッチングした基準画像の“暗すぎる領域”に、このターンの参照画像の“参照マスク”や、参照画像の個々の“適切な明るさ領域マスク”のテクスチャを用いて上書き若しくは合成して、基準画像を更新する（Ｓ２００４）。
本処理によって、基準画像の家の屋根と壁面（暗すぎる領域マスク）が参照画像の家の屋根と壁面（参照マスク）で上書き若しくは合成される。
次に、ＨＤＲ画像合成システムは、更新した基準画像に“暗すぎる領域”が無い若しくは“ｍ”が採り得る最大値であれば暗部領域を補完する処理を終了し、利用する参照画像が残っていれば、Ｓ２００１に戻り次の参照画像を選択する（Ｓ２００５）。
次のターンによって、Ｎｏ．１画像の壁面（参照マスク）が基準画像に取り込まれる。
結果、位置描写が異なる１ないし複数の画像（参照画像）を用いて、基準画像の補正画像内で“暗すぎる領域”にあたる元画像の画像部分を、参照画像内でマッチングした領域で且つ各々の参照画像内で“適度な明るさ領域”にあたる画像部分を用いて補完処理できる。
次に、基準画像の明部領域を補完する処理動作例を図１２を用いて説明する。本処理は、図１０のＳ１００５である。
まず、ＨＤＲ画像合成システム（画像合成部）は、基準画像を“ｎ”と置き、マッチングを図る参照画像を“ｍ＝１”と置き、基準画像と対比する参照画像を１画像選択する（Ｓ３００１）。ここで“ｎ”は、先にナンバリングした番号（本例では“Ｎｏ．３”）であり、選択される参照画像は“Ｎｏ．４”である。次のターンで参照画像は“Ｎｏ．５”が選択される。図１２中に基準画像Ｎｏ．３（ｉｍｇ１）と参照画像Ｎｏ．４（ｉｍｇ２）と参照画像Ｎｏ．５（ｉｍｇ４）を示す。
次に、ＨＤＲ画像合成システムは、選択した参照画像の各マスクを識別して“明るすぎる領域マスク”の領域と“適切な明るさ領域マスク”とを組み合わせた参照マスクを生成する（Ｓ３００２）。本処理によって、図中の太陽（明るすぎる領域マスク）と外延部分（適切な明るさ領域マスク）が合わさった太陽の周囲（参照マスク）が多値画像の各領域形状を基準に識別される。なお、画像中に多数の領域があれば適宜組み合わせて用いる。また、離れた各領域は別々に扱い、近場の各領域は１グループの領域として扱うことが望ましい。
次に、ＨＤＲ画像合成システムは、基準画像の“明るすぎる領域マスク”と生成した“参照マスク”、必要に応じて参照画像の個々の“適切な明るさ領域マスク”を対比して、マッチングする領域を探索する（Ｓ３００３）。この際、模様を踏まえてマッチングすると精度が向上する。
本処理によって、基準画像の太陽の周囲（明るすぎる領域マスク）と参照画像の太陽の周囲（参照マスク）がマッチングする。
なお、３値化以上の多値化画像を用いることで、輝度的境界部分に曖昧性を持たせることができ、マッチングのロバスト性が向上する。
次に、ＨＤＲ画像合成システムは、マッチングした基準画像の“明るすぎる領域”に、このターンの参照画像の“参照マスク”や、参照画像の個々の“適切な明るさ領域マスク”のテクスチャを用いて上書き若しくは合成して、基準画像を更新する（Ｓ３００４）。
本処理によって、基準画像の太陽の周囲（暗すぎる領域マスク）が参照画像の家の屋根と壁面（参照マスク）で上書き若しくは合成される。
次に、ＨＤＲ画像合成システムは、更新した基準画像に“明るすぎる領域”が無い若しくは“ｍ”が採り得る最大値であれば明部領域を補完する処理を終了し、利用する参照画像が残っていれば、Ｓ３００１に戻り次の参照画像を選択する（Ｓ３００５）。
次のターンによって、Ｎｏ．５画像の太陽内面（参照マスク）が基準画像に取り込まれる。
結果、位置描写が異なる１ないし複数の画像（参照画像）を用いて、基準画像の補正画像内で“明すぎる領域”にあたる元画像の画像部分を、参照画像内でマッチングした領域で且つ各々の参照画像内で“適度な明るさ領域”にあたる画像部分を用いて補完処理できる。
上記例示した基準画像の補正画像内で明るすぎる領域と暗すぎる領域にあたる画像部分を、参照画像内でマッチングした領域で且つ各々の参照画像内で適度な明るさ領域にあたる画像部分を用いて補完処理することで、ＨＤＲ画像合成システムは、図１３に示したようなＨＤＲ画像を生成できる。
以上説明したように、本画像処理システムによれば、輝度的関係に特徴を有する複数の画像を入力として、撮像位置や時間などの撮像因子が異なっていても、所望するようにハイダイナミックレンジ画像を得られうる。
これは、基準画像の要補完領域に合致する参照画像の一部を探索し、探索結果の部分画像を用いて基準画像の要補完領域を参照画像内の適切な明るさ領域の画像を用いて補完する処理行うためである。
なお、画像処理システムの各部は、ハードウェアとソフトウェアの組み合わせを用いて実現すればよい。ハードウェアとソフトウェアとを組み合わせた形態では、図１４に示すように、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）に画像処理プログラムが展開され、該プログラムに基づいて制御部（ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ））等のハードウェアを動作させることによって、画像受付部、基準画像選定部、補完領域探索部、補完処理部、出力部の全て又は一部の手段として機能させる。また、このプログラムは、記録媒体に固定的に記録されて頒布されても良い。当該記録媒体に記録されたプログラムは、有線、無線、又は記録媒体そのものを介して、メモリに読込まれ、制御部等を動作させる。尚、記録媒体を例示すれば、オプティカルディスクや磁気ディスク、半導体メモリ装置、ハードディスクなどが挙げられる。また、各部の全て又は一部をＬＳＩ上に回路構築して形成してもよい。
本発明の具体的な構成は前述の実施形態に限られるものではなく、ブロック構成の分離併合、手順の入れ替え、各実施形態の組み合わせなど、この発明の要旨を逸脱しない範囲の変更があってもこの発明に含まれる。
また、上記の実施形態の一部又は全部は、以下のようにも記載されうる。尚、以下の付記は本発明をなんら限定するものではない。
［付記１］
異なる輝度成分を有する複数の画像を入力画像として受け付ける画像受付部と、
前記複数の画像内から基準画像を選定する基準画像選定部と、
前記複数の画像内の他の画像を参照画像として用いて前記基準画像内の明るすぎる領域及び／又は暗すぎる領域を補完する部分画像を前記参照画像から抽出する際に、前記入力画像各々を輝度成分の区分毎に多値化処理した補正画像を用いて、前記基準画像の補正画像に含まれていた区分可能な各領域の形と前記他の画像の補正画像に含まれていた区分可能な各領域の形とを用いて、形状がマッチングする領域を探索処理する補完領域探索部と、
前記基準画像の補正画像内で明るすぎる領域及び／又は暗すぎる領域にあたる画像部分を、前記参照画像内でマッチングした領域で且つ各々の参照画像内で適度な明るさ領域にあたる画像部分を用いて補完処理することにより、合成画像を生成する補完処理部と、
生成した前記合成画像を出力する出力部を有し、
前記入力画像として、各々の画像は、明るい領域、適度な明るさ領域、暗い領域の少なくとも３値に区分可能であり、且つ、各々の画像内の輝度成分の明るい領域と適度な明るさ領域の境界輝度が輝度的に隣接関係にあるより暗い画像の適度な明るさ領域と暗い領域の境界輝度に揃う輝度成分関係を有した画像群を用いる
ことを特徴とする画像処理システム。
［付記２］
前記基準画像選定部は、基準画像を選定する際に、各々の画像が有する全面もしくは所定範囲の適度な明るさ領域の面積に基づいて、１ないし複数の面積が広い上位の画像を基準画像として選定処理することを特徴とする上記付記記載の画像処理システム。
［付記３］
前記補完領域探索部は、探索処理する際に、明るい領域、適度な明るさ領域、暗い領域を示す３区分に分類された前記補正画像を用いて、
前記基準画像の補正画像に含まれていた明るすぎる領域及び／又は暗すぎる領域の形を基準に、輝度的に隣接関係にある画像の補正画像に含まれていた適度な明るさ領域を含む区分可能な各領域の形をマッチング処理して、補完に使用する参照画像内の部分画像を前記参照画像から抽出する
ことを特徴とする上記付記記載の画像処理システム。
［付記４］
複数の参照画像を用いて前記探索処理と前記補完処理を繰り返し実行する際に、基準画像に輝度的に隣接関係にある参照画像を用いて基準画像を補完した後に、次に輝度的に隣接関係にある参照画像を用いて補完された基準画像を更に補完するように基準画像の明るすぎる領域及び／又は暗すぎる領域を埋めながら繰り返すことを特徴とする上記付記記載の画像処理システム。
［付記５］
複数の参照画像を用いて前記探索処理と前記補完処理を繰り返し実行する際に、基準画像に輝度的に最も遠い関係にある参照画像を用いて基準画像を補完した後に、次に輝度的に最も遠い関係にある参照画像を用いて補完された基準画像を更に補完するように基準画像の明るすぎる領域及び／又は暗すぎる領域を埋めながら繰り返すことを特徴とする上記付記記載の画像処理システム。
［付記６］
複数の参照画像を用いて前記探索処理と前記補完処理を繰り返し実行する際に、輝度的に隣接関係にある参照画像相互の探索処理によって、各参照画像内に有る明るすぎる領域及び／又は暗すぎる領域を他の参照画像を用いて補完した後に、基準画像に輝度的に隣接関係にある参照画像を用いて基準画像を補完することを特徴とする上記付記記載の画像処理システム。
［付記７］
前記補完処理では、基準画像を参照画像を用いて補完した領域内で、補完に用いた参照画像の補正画像内で明るすぎる領域及び／又は暗すぎる領域にあたる画像部分を、残りの参照画像を用いてマッチングできた領域を用いて補完することを特徴とする上記付記記載の画像処理システム。
［付記８］
複数の参照画像を用いて前記探索処理と前記補完処理を繰り返し実行する際に、選定された基準画像内で補完を要する明るすぎる領域及び／又は暗すぎる領域にあたる画像部分を、前記基準画像に輝度的に近い参照画像からより遠い参照画像を順番に用いる順に、明るすぎる領域及び／又は暗すぎる領域を埋める参照画像に分けて繰り返すことを特徴とする上記付記記載の画像処理システム。
［付記９］
各参照画像から取得した領域毎の各部分画像に輝度調整処理を加え、
輝度調整された各領域の各部分画像を前記基準画像の明るすぎる領域及び／又は暗すぎる領域にあたる画像部分に適切な明るさ領域部分の輝度調整をした後に補完する
ことを特徴とする上記付記記載の画像処理システム。
［付記１０］
参照画像内で基準画像にマッチングした領域で且つ各々の参照画像内で適切な明るさ領域にあたる画像部分の画像内容を参照して、残りの全て若しくは一部の参照画像とマッチングする領域を探索することを特徴とする上記付記記載の画像処理システム。
［付記１１］
参照画像と基準画像とのマッチング領域を探索する際に、下記に示すコスト関数（１）を満たして、参照画像内のマッチングする領域を探索することを特徴とする上記付記記載の画像処理システム。

ここで、
Ｅ_Ω（ｐ）は個々の輝度領域形状のマッチング総コスト、
Ｅ_{ｓｈａｐｅ}（ｐ）は排他的論理和で探索するコスト関数部分、
Ｅ_{ｔｅｘｔｕｒｅ}（ｐ）は重み付きＳＳＤで探索するコスト関数部分、
αは重み変数である。
［付記１２］
参照画像と基準画像とのマッチング領域を探索する際に、下記に示すコスト関数（４）を満たして、参照画像内のマッチングする領域を探索することを特徴とする上記付記記載の画像処理システム。

ここで、
Ｅ_Ω（ｐ_１，・・・，ｐ_Ｎ）は、各輝度領域形状のペアの全ての組み合わせの総コスト、
Ｅ_{ｓｈａｐｅ}（ｐ_ｋ）は排他的論理和で探索するコスト関数部分、
Ｅ_{ｔｅｘｔｕｒｅ}（ｐ_ｋ）は重み付きＳＳＤで探索するコスト関数部分、
αは重み変数、
λは各輝度領域形状の変位ｐに関する滑らかさ項の大きさ、
ω_ｄ（Ω_ｉ，Ω_ｊ）は輝度領域形状ｉと輝度領域形状ｊの滑らかさ項の強さを示す重みである。
［付記１３］
前記探索処理では、輝度成分の区分が同一である所定近似関係にある複数の抽出領域を１ないし複数のグループとして扱うことを特徴とする上記付記記載の画像処理システム。
［付記１４］
複数の画像を受け付けて、前記入力画像を受け付けて、前記入力画像が有する画像間の輝度成分関係を満たすように、輝度的順序に従った並び替えと、前記輝度成分関係が成立する各閾値を画像間で確定することを特徴とする上記付記記載の画像処理システム。
［付記１５］
異なる輝度成分を有する複数の画像を入力画像として受け付けて、
前記複数の画像内から基準画像を選定すると共に、
前記複数の画像内の他の画像を参照画像として用いて前記基準画像内の明るすぎる領域及び／又は暗すぎる領域を補完する部分画像を前記参照画像から抽出する際に、前記入力画像各々を輝度成分の区分毎に多値化処理した補正画像を用いて、前記基準画像の補正画像に含まれていた区分可能な各領域の形と前記他の画像の補正画像に含まれていた区分可能な各領域の形とを用いて、形状がマッチングする領域を探索処理し、
前記基準画像の補正画像内で明るすぎる領域及び／又は暗すぎる領域にあたる画像部分を、前記参照画像内でマッチングした領域で且つ各々の参照画像内で適切な明るさ領域にあたる画像部分を用いて補完処理して、合成画像を生成する、
ただし、前記入力画像として、各々の画像は、明るすぎる領域、適切な明るさ領域、暗すぎる領域の少なくとも３値に区分可能であり、且つ、各々の画像内の輝度成分の明るすぎる領域と適切な明るさ領域の境界輝度が輝度的に隣接関係にあるより暗い画像の適切な明るさ領域と暗すぎる領域の境界輝度に揃う輝度成分関係を有した画像群を用いる
ことを特徴とする情報処理システムによる画像処理方法。
［付記１６］
前記情報処理システムは、基準画像を選定する際に、各々の画像が有する全面もしくは所定範囲の適度な明るさ領域の面積に基づいて、１ないし複数の面積が広い上位の画像を基準画像として選定処理することを特徴とする上記付記記載の画像処理方法。
［付記１７］
前記情報処理システムは、探索処理する際に、明るい領域、適度な明るさ領域、暗い領域を示す３区分に分類された前記補正画像を用いて、
前記基準画像の補正画像に含まれていた明るすぎる領域及び／又は暗すぎる領域の形を基準に、輝度的に隣接関係にある画像の補正画像に含まれていた適度な明るさ領域を含む区分可能な各領域の形をマッチング処理して、補完に使用する参照画像内の部分画像を前記参照画像から抽出する
ことを特徴とする上記付記記載の画像処理方法。
［付記１８］
前記情報処理システムは、複数の参照画像を用いて前記探索処理と前記補完処理を繰り返し実行する際に、基準画像に輝度的に隣接関係にある参照画像を用いて基準画像を補完した後に、次に輝度的に隣接関係にある参照画像を用いて補完された基準画像を更に補完するように基準画像の明るすぎる領域及び／又は暗すぎる領域を埋めながら繰り返すことを特徴とする上記付記記載の画像処理方法。
［付記１９］
前記情報処理システムは、複数の参照画像を用いて前記探索処理と前記補完処理を繰り返し実行する際に、基準画像に輝度的に最も遠い関係にある参照画像を用いて基準画像を補完した後に、次に輝度的に最も遠い関係にある参照画像を用いて補完された基準画像を更に補完するように基準画像の明るすぎる領域及び／又は暗すぎる領域を埋めながら繰り返すことを特徴とする上記付記記載の画像処理方法。
［付記２０］
前記情報処理システムは、複数の参照画像を用いて前記探索処理と前記補完処理を繰り返し実行する際に、輝度的に隣接関係にある参照画像相互の探索処理によって、各参照画像内に有る明るすぎる領域及び／又は暗すぎる領域を他の参照画像を用いて補完した後に、基準画像に輝度的に隣接関係にある参照画像を用いて基準画像を補完することを特徴とする上記付記記載の画像処理方法。
［付記２１］
前記情報処理システムは、前記補完処理で、基準画像を参照画像を用いて補完した領域内で、補完に用いた参照画像の補正画像内で明るすぎる領域及び／又は暗すぎる領域にあたる画像部分を、残りの参照画像を用いてマッチングできた領域を用いて補完することを特徴とする上記付記記載の画像処理方法。
［付記２２］
前記情報処理システムは、複数の参照画像を用いて前記探索処理と前記補完処理を繰り返し実行する際に、選定された基準画像内で補完を要する明るすぎる領域及び／又は暗すぎる領域にあたる画像部分を、前記基準画像に輝度的に近い参照画像からより遠い参照画像を順番に用いる順に、明るすぎる領域及び／又は暗すぎる領域を埋める参照画像に分けて繰り返すことを特徴とする上記付記記載の画像処理方法。
［付記２３］
前記情報処理システムは、
各参照画像から取得した領域毎の各部分画像に輝度調整処理を加え、
輝度調整された各領域の各部分画像を前記基準画像の明るすぎる領域及び／又は暗すぎる領域にあたる画像部分に適切な明るさ領域部分の輝度調整をした後に補完することを特徴とする上記付記記載の画像処理方法。
［付記２４］
前記情報処理システムは、参照画像内で基準画像にマッチングした領域で且つ各々の参照画像内で適切な明るさ領域にあたる画像部分の画像内容を参照して、残りの全て若しくは一部の参照画像とマッチングする領域を探索することを特徴とする上記付記記載の画像処理方法。
［付記２５］
前記情報処理システムは、参照画像と基準画像とのマッチング領域を探索する際に、下記に示すコスト関数（１）を満たして、参照画像内のマッチングする領域を探索することを特徴とする上記付記記載の画像処理方法。

ここで、
Ｅ_Ω（ｐ）は個々の輝度領域形状のマッチング総コスト、
Ｅ_{ｓｈａｐｅ}（ｐ）は排他的論理和で探索するコスト関数部分、
Ｅ_{ｔｅｘｔｕｒｅ}（ｐ）は重み付きＳＳＤで探索するコスト関数部分、
αは重み変数である。
［付記２６］
前記情報処理システムは、参照画像と基準画像とのマッチング領域を探索する際に、下記に示すコスト関数（４）を満たして、参照画像内のマッチングする領域を探索することを特徴とする上記付記記載の画像処理方法。

ここで、
Ｅ_Ω（ｐ_１，・・・，ｐ_Ｎ）は、各輝度領域形状のペアの全ての組み合わせの総コスト、
Ｅ_{ｓｈａｐｅ}（ｐ_ｋ）は排他的論理和で探索するコスト関数部分、
Ｅ_{ｔｅｘｔｕｒｅ}（ｐ_ｋ）は重み付きＳＳＤで探索するコスト関数部分、
αは重み変数、
λは各輝度領域形状の変位ｐに関する滑らかさ項の大きさ、
ω_ｄ（Ω_ｉ，Ω_ｊ）は輝度領域形状ｉと輝度領域形状ｊの滑らかさ項の強さを示す重みである。
［付記２７］
前記情報処理システムは、前記探索処理では、輝度成分の区分が同一である所定近似関係にある複数の抽出領域を１ないし複数のグループとして扱うことを特徴とする上記付記記載の画像処理方法。
［付記２８］
前記情報処理システムは、複数の画像を受け付けて、前記入力画像を受け付けて、前記入力画像が有する画像間の輝度成分関係を満たすように、輝度的順序に従った並び替えと、前記輝度成分関係が成立する各閾値を画像間で確定することを特徴とする上記付記記載の画像処理方法。
［付記２９］
情報処理システムを、
異なる輝度成分を有する複数の画像を入力画像として受け付ける画像受付部と、
前記複数の画像内から基準画像を選定する基準画像選定部と、
前記複数の画像内の他の画像を参照画像として用いて前記基準画像内の明るすぎる領域及び／又は暗すぎる領域を補完する部分画像を前記参照画像から抽出する際に、前記入力画像各々を輝度成分の区分毎に多値化処理した補正画像を用いて、前記基準画像の補正画像に含まれていた区分可能な各領域の形と前記他の画像の補正画像に含まれていた区分可能な各領域の形とを用いて、形状がマッチングする領域を探索処理する補完領域探索部と、
前記基準画像の補正画像内で明るすぎる領域及び／又は暗すぎる領域にあたる画像部分を、前記参照画像内でマッチングした領域で且つ各々の参照画像内で適度な明るさ領域にあたる画像部分を用いて補完処理することにより、合成画像を生成する補完処理部と、
生成した前記合成画像を出力する出力部として動作させることを特徴とするプログラム。
前記入力画像の条件として、各々の画像は、明るい領域、適度な明るさ領域、暗い領域の少なくとも３値に区分可能であり、且つ、各々の画像内の輝度成分の明るい領域と適度な明るさ領域の境界輝度が輝度的に隣接関係にあるより暗い画像の適度な明るさ領域と暗い領域の境界輝度に揃う輝度成分関係を有した画像群を用いる。
［付記３０］
前記基準画像選定部を、基準画像を選定する際に、各々の画像が有する全面もしくは所定範囲の適度な明るさ領域の面積に基づいて、１ないし複数の面積が広い上位の画像を基準画像として選定処理するように動作させることを特徴とする上記付記記載のプログラム。
［付記３１］
前記補完領域探索部を、探索処理する際に、明るい領域、適度な明るさ領域、暗い領域を示す３区分に分類された前記補正画像を用いて、
前記基準画像の補正画像に含まれていた明るすぎる領域及び／又は暗すぎる領域の形を基準に、輝度的に隣接関係にある画像の補正画像に含まれていた適度な明るさ領域を含む区分可能な各領域の形をマッチング処理して、補完に使用する参照画像内の部分画像を前記参照画像から抽出するように動作させる
ことを特徴とする上記付記記載のプログラム。
［付記３２］
複数の参照画像を用いて前記探索処理と前記補完処理を繰り返し実行する際に、基準画像に輝度的に隣接関係にある参照画像を用いて基準画像を補完した後に、次に輝度的に隣接関係にある参照画像を用いて補完された基準画像を更に補完するように基準画像の明るすぎる領域及び／又は暗すぎる領域を埋めながら繰り返すように動作させることを特徴とする上記付記記載のプログラム。
［付記３３］
複数の参照画像を用いて前記探索処理と前記補完処理を繰り返し実行する際に、基準画像に輝度的に最も遠い関係にある参照画像を用いて基準画像を補完した後に、次に輝度的に最も遠い関係にある参照画像を用いて補完された基準画像を更に補完するように基準画像の明るすぎる領域及び／又は暗すぎる領域を埋めながら繰り返すように動作させることを特徴とする上記付記記載のプログラム。
［付記３４］
複数の参照画像を用いて前記探索処理と前記補完処理を繰り返し実行する際に、輝度的に隣接関係にある参照画像相互の探索処理によって、各参照画像内に有る明るすぎる領域及び／又は暗すぎる領域を他の参照画像を用いて補完した後に、基準画像に輝度的に隣接関係にある参照画像を用いて基準画像を補完するように動作させることを特徴とする上記付記記載のプログラム。
［付記３５］
前記補完処理では、基準画像を参照画像を用いて補完した領域内で、補完に用いた参照画像の補正画像内で明るすぎる領域及び／又は暗すぎる領域にあたる画像部分を、残りの参照画像を用いてマッチングできた領域を用いて補完するように動作させることを特徴とする上記付記記載のプログラム。
［付記３６］
複数の参照画像を用いて前記探索処理と前記補完処理を繰り返し実行する際に、選定された基準画像内で補完を要する明るすぎる領域及び／又は暗すぎる領域にあたる画像部分を、前記基準画像に輝度的に近い参照画像からより遠い参照画像を順番に用いる順に、明るすぎる領域及び／又は暗すぎる領域を埋める参照画像に分けて繰り返すように動作させることを特徴とする上記付記記載のプログラム。
［付記３７］
各参照画像から取得した領域毎の各部分画像に輝度調整処理を加え、
輝度調整された各領域の各部分画像を前記基準画像の明るすぎる領域及び／又は暗すぎる領域にあたる画像部分に適切な明るさ領域部分の輝度調整をした後に補完するように動作させることを特徴とする上記付記記載のプログラム。
［付記３８］
参照画像内で基準画像にマッチングした領域で且つ各々の参照画像内で適切な明るさ領域にあたる画像部分の画像内容を参照して、残りの全て若しくは一部の参照画像とマッチングする領域を探索するように動作させることを特徴とする上記付記記載のプログラム。
［付記３９］
参照画像と基準画像とのマッチング領域を探索する際に、下記に示すコスト関数（１）を満たして、参照画像内のマッチングする領域を探索するように動作させることを特徴とする上記付記記載のプログラム。

ここで、
Ｅ_Ω（ｐ）は個々の輝度領域形状のマッチング総コスト、
Ｅ_{ｓｈａｐｅ}（ｐ）は排他的論理和で探索するコスト関数部分、
Ｅ_{ｔｅｘｔｕｒｅ}（ｐ）は重み付きＳＳＤで探索するコスト関数部分、
αは重み変数である。
［付記４０］
参照画像と基準画像とのマッチング領域を探索する際に、下記に示すコスト関数（４）を満たして、参照画像内のマッチングする領域を探索するように動作させることを特徴とする上記付記記載の画像処理プログラム。

ここで、
Ｅ_Ω（ｐ_１，・・・，ｐ_Ｎ）は、各輝度領域形状のペアの全ての組み合わせの総コスト、
Ｅ_{ｓｈａｐｅ}（ｐ_ｋ）は排他的論理和で探索するコスト関数部分、
Ｅ_{ｔｅｘｔｕｒｅ}（ｐ_ｋ）は重み付きＳＳＤで探索するコスト関数部分、
αは重み変数、
λは各輝度領域形状の変位ｐに関する滑らかさ項の大きさ、
ω_ｄ（Ω_ｉ，Ω_ｊ）は輝度領域形状ｉと輝度領域形状ｊの滑らかさ項の強さを示す重みである。
［付記４１］
前記探索処理では、輝度成分の区分が同一である所定近似関係にある複数の抽出領域を１ないし複数のグループとして扱うことように動作させることを特徴とする上記付記記載のプログラム。
［付記４２］
複数の画像を受け付けて、前記入力画像を受け付けて、前記入力画像が有する画像間の輝度成分関係を満たすように、輝度的順序に従った並び替えと、前記輝度成分関係が成立する各閾値を画像間で確定するように動作させることを特徴とする上記付記記載のプログラム。
［付記４３］
上記付記に記載のプログラムを非一時的に記録したコンピュータ読み取り可能な記録媒体。
この出願は、２０１３年１１月１４日に出願された日本出願特願２０１３−２３５７８７号を基礎とする優先権を主張し、その開示の全てをここに取り込む。

【符号の説明】

【0010】

１ ＨＤＲ画像合成システム
１０ 画像受付部（画像受付手段）
２０ 基準画像選定部（基準画像選定手段）
３０ 補完領域探索部（補完領域探索手段）
４０ 補完処理部（補完処理手段）
５０ 出力部（出力手段）

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】