特許 6800090 画像処理装置、及び画像処理方法、並びにプログラム及び記録媒体

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6800090

(24)【登録日】2020年11月26日

(45)【発行日】2020年12月16日

(54)【発明の名称】画像処理装置、及び画像処理方法、並びにプログラム及び記録媒体

(51)【国際特許分類】

   H04N 5/235 20060101AFI20201207BHJP

   G06T 5/00 20060101ALI20201207BHJP

   G06T 5/50 20060101ALI20201207BHJP

【ＦＩ】

   H04N5/235 500

   G06T5/00 710

   G06T5/50

【請求項の数】9

【全頁数】22

(21)【出願番号】特願2017-105252(P2017-105252)

(22)【出願日】2017年5月29日

(65)【公開番号】特開2018-201137(P2018-201137A)

(43)【公開日】2018年12月20日

【審査請求日】2019年10月23日

(73)【特許権者】

【識別番号】000006013

【氏名又は名称】三菱電機株式会社

(74)【代理人】

【識別番号】100083840

【弁理士】

【氏名又は名称】前田 実

(74)【代理人】

【識別番号】100116964

【弁理士】

【氏名又は名称】山形 洋一

(74)【代理人】

【識別番号】100135921

【弁理士】

【氏名又は名称】篠原 昌彦

(72)【発明者】

【氏名】豊田 善隆

(72)【発明者】

【氏名】鈴木 大祐

【審査官】 高野 美帆子

(56)【参考文献】

【文献】 特開２０１２−１６５２１３（ＪＰ，Ａ）

【文献】 特開２００２−１９０９８３（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ ５／２２２−５／２５７

Ｇ０６Ｔ ５／００

Ｇ０６Ｔ ５／５０

(57)【特許請求の範囲】

【請求項1】

第１の画像のぼけ及びぶれを補正して第２の画像を生成するデコンボリューション処理部と、
前記第１の画像の画素値に応じて画素毎に合成比率を決定して出力する合成比率決定部と、
各画素について当該画素の近傍領域内の画素についての前記合成比率を重み付けした結果の中から一つの値を抽出することで前記各画素についての平滑化合成比率を生成する統計フィルタと、
前記平滑化合成比率に応じて前記第１の画像と前記第２の画像を画素毎に重み付けして加算する合成部と
を備え、
前記合成比率決定部は、
前記第１の画像の画素値に対する閾値処理により飽和している画素を検出する飽和画素検出部と、
前記飽和画素検出部の検出結果に応じて前記合成比率を決定する合成比率算出部と
を備えたことを特徴とする画像処理装置。

【請求項2】

前記合成比率算出部は、
前記第１の画像において飽和している画素については前記合成比率を１にし、
そうでない画素については前記合成比率を０にする
ことを特徴とする請求項１に記載の画像処理装置。

【請求項3】

前記合成部は、前記加算における重み付けにおいて、前記平滑化合成比率が大きいほど前記第１の画像に対する重み付けをより大きくし、前記第２の画像に対する重み付けをより小さくすることを特徴とする請求項２に記載の画像処理装置。

【請求項4】

前記統計フィルタは、各画素についての前記平滑化合成比率を生成する際の重み付けにおいて、当該画素により近い画素についての前記合成比率により大きい重みを付けることを特徴とする請求項１から３のいずれか１項に記載の画像処理装置。

【請求項5】

前記統計フィルタは、各画素について当該画素の近傍領域内の画素についての前記合成比率を重み付けした結果の最大値を抽出して前記平滑化合成比率として出力する最大値フィルタであることを特徴とする請求項１から４のいずれか１項に記載の画像処理装置。

【請求項6】

前記統計フィルタは、各画素について当該画素の近傍領域内の画素についての前記合成比率を重み付けした結果の最小値を抽出して前記平滑化合成比率として出力する最小値フィルタであることを特徴とする請求項１から４のいずれか１項に記載の画像処理装置。

【請求項7】

デコンボリューション処理により、第１の画像のぼけ及びぶれを補正して第２の画像を生成し、
前記第１の画像の画素値に対する閾値処理により飽和している画素を検出し、前記検出の結果に応じて画素毎に合成比率を決定し、
各画素について当該画素の近傍領域内の画素についての前記合成比率を重み付けした結果の中から一つの値を抽出することで前記各画素についての平滑化合成比率を生成し、
前記平滑化合成比率に応じて前記第１の画像と前記第２の画像を画素毎に重み付けして加算する
ことを特徴とする画像処理方法。

【請求項8】

請求項７に記載の画像処理方法における処理をコンピュータに実行させるためのプログラム。

【請求項9】

請求項８に記載のプログラムを記録したコンピュータ読み取り可能な記録媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像処理装置及び画像処理方法に関する。本発明は、とくに、同一の被写体を表す、性質の異なる複数の画像を合成して、各画像の利点をあわせもつ１枚の画像を生成する画像処理に関する。本発明はまた、上記の画像処理装置又は画像処理方法における処理をコンピュータに実行させるためのプログラム、及びそのようなプログラムを記録した記録媒体に関する。

【背景技術】

【0002】

一般的な撮像装置では、一回の撮像で取得することのできる明るさの範囲（ダイナミックレンジ）が限られている。そのため、暗部と明部が共に含まれるシーンにおいては、撮像画像に黒つぶれや白とびが発生する。露光時間を短くした場合には、明部では白とびを抑えられるが、暗部で黒つぶれして視認性が低下した画像となる。一方、露光時間を長くした場合には、暗部では視認性が向上するが、明部で白とびしてディテールが失われた画像となる。

【0003】

そこで、露光時間が異なる複数の画像を合成してダイナミックレンジの広い画像を生成するハイダイナミックレンジ（ＨＤＲ）合成技術がある。例えば、特許文献１では、同一シーンにおいて短露光時間画像と長露光時間画像を取得し、これら二つの画像の輝度値に応じて合成比率を画素毎に決定し、決定した合成比率に基づいて二つの画像を合成する。暗部では長露光時間画像の合成比率が大きくなるように、明部では短露光時間画像の合成比率が大きくなるようにする。

【0004】

このような画像合成処理では、二画像の切り替わり部分で合成画像が不自然とならないようにする工夫や、二画像間に位置ずれがある場合に二重像などの画質劣化を発生させないようにする工夫が必要である。

【0005】

特許文献２では、第１の画像信号と第２の画像信号から生成した輝度信号を平滑化することで得られる明るさ指標値から合成比率を算出することによって、合成比率の急激な変化を抑制し、エッジ部分の階調が不自然になることを抑制している。

【0006】

特許文献３では、明るい方の画像を基準画像とし、基準画像の階調から基準画像の画素値よりも小さい閾値を定め、合成画像の階調が閾値を下回る場合は合成画像の階調が基準画像の階調に近くなるように補正して合成することによって、位置ずれを補正することなく位置ずれに起因する画質の劣化を抑制している。

【先行技術文献】

【特許文献】

【0007】

【特許文献1】特開２００９−７１４０８号公報

【特許文献2】国際公開第２０１５／０７９４８１号（段落００１５、００２３、図２）

【特許文献3】特開２０１４−１３５７０２号公報（段落００５５〜００８８、図９）

【発明の概要】

【発明が解決しようとする課題】

【0008】

上記の従来の画像合成処理には以下の問題があった。即ち、合成対象画像間に視差がある場合、異なる奥行き距離にある被写体間の境界、すなわち、奥行きエッジで位置ずれが発生する。このような場合、特許文献２のように平滑化を行う方法では、エッジをまたいで二画像の切り替えが行われる（エッジの一方の側と他方の側とで異なる画像が採用されるように切り替えが行われる）ため、エッジ部分が二重像の影響を受けやすい。このような奥行きエッジは、明暗のコントラストが高い場合が多く、合成により二重像が発生すると、一層目立つ。
視差以外の要因で二画像間に位置ずれがある場合にも同様の問題がある。

【0009】

また、特許文献３のように閾値に基づき判定する方法では、位置ずれ以外の要因による階調差に反応しないようにするために閾値を十分に大きくする必要があり、そのため、位置ずれによる影響を抑制する効果が不十分になることがある。さらに、閾値に基づく判定及び補正をする処理を画素毎に行っているため、局所的に閾値以上となったり、閾値未満となったりする部分があると、補正を行う画素と行わない画素とが入り混じり画像が不自然になる場合がある。

【0010】

本発明は上記の課題を解決するためになされたものであり、合成対象画像間に位置ずれがある場合などに発生する画質劣化を抑制するとともに、自然な合成画像を生成することができる画像処理装置を提供することを目的とする。

【課題を解決するための手段】

【0011】

本発明に係る画像処理装置は、
第１の画像のぼけ及びぶれを補正して第２の画像を生成するデコンボリューション処理部と、
前記第１の画像の画素値に応じて画素毎に合成比率を決定して出力する合成比率決定部と、
各画素について当該画素の近傍領域内の画素についての前記合成比率を重み付けした結果の中から一つの値を抽出することで前記各画素についての平滑化合成比率を生成する統計フィルタと、
前記平滑化合成比率に応じて前記第１の画像と前記第２の画像を画素毎に重み付けして加算する合成部と
を備え、
前記合成比率決定部は、
前記第１の画像の画素値に対する閾値処理により飽和している画素を検出する飽和画素検出部と、
前記飽和画素検出部の検出結果に応じて前記合成比率を決定する合成比率算出部と
を備えたことを特徴とする。

【発明の効果】

【0012】

本発明によれば、二画像の切り替わり部分がエッジをまたがないため、合成対象画像間に位置ずれがあっても、二重像などの画質劣化を抑えることができる。また、二画像の合成比率を滑らかに変化させることができるので、二画像の切り替わり部分が自然な合成画像を生成することができる。

【図面の簡単な説明】

【0013】

【図1】本発明に係る画像合成装置の基本構成を示すブロック図である。

【図2】本発明の実施の形態１に係る画像処理装置を、撮像装置とともに示すブロック図である。

【図3】図２の第１及び第２のレベル正規化部の動作を示すグラフである。

【図4】図２の合成比率算出部で輝度参照値に応じて算出される合成比率を示すグラフである。

【図5】（ａ）〜（ｃ）は、線形フィルタの動作を示す図である。

【図6】（ａ）〜（ｃ）は、図２の最大値フィルタの動作を示す図である。

【図7】（ａ）〜（ｈ）は、実施の形態１に係る画像合成装置の効果を説明図である。

【図8】本発明の実施の形態２に係る画像処理装置を、撮像装置とともに示すブロック図である。

【図9】図２の画像処理装置における処理を実行するコンピュータシステムを示すブロック図である。

【図10】図８の画像処理装置における処理を実行するコンピュータシステムを示すブロック図である。

【発明を実施するための形態】

【0014】

図１は本発明に係る画像合成装置の基本構成を示すブロック図である。
図１に示される画像合成装置１０は、同一の被写体を表す、第１の画像Ｄ_１と第２の画像Ｄ_２を合成して合成画像Ｄ_３を出力するものであって、合成比率決定部１と、統計フィルタ２と、合成部３とを有する。

【0015】

合成比率決定部１は、第１の画像Ｄ_１及び第２の画像Ｄ_２の少なくとも一方の画素値に応じて画素毎に合成比率Ｍ_１を決定して出力する。

【0016】

統計フィルタ２は、各画素について当該画素の近傍領域内の画素についての合成比率Ｍ_１を重み付けした結果の中から一つの値を抽出することで平滑化合成比率Ｍ_２を生成する。
画像の個々の画素についての合成比率Ｍ_１を、それぞれ対応する画素の位置に配列することで得られる合成比率の集合を合成比率マップと言い、画像の個々の画素についての平滑化合成比率Ｍ_２を、それぞれ対応する画素の位置に配列することで得られる平滑化合成比率Ｍ_２の集合を平滑化合成比率マップと言う。

【0017】

合成部３は、平滑化合成比率Ｍ_２に応じて第１の画像Ｄ_１と第２の画像Ｄ_２を重み付けして加算する。重み付け加算で用いられる重み付け係数は、平滑化合成比率Ｍ_２によって定められる。例えば、第１の画像Ｄ_１の画素値に対する重み付け係数αが平滑化合成比率Ｍ_２に等しい値とされ、第２の画像Ｄ_２の画素値に対する重み付け係数βが１から平滑化合成比率Ｍ_２を引いた値（１−Ｍ_２）に等しい値とされる。

【0018】

統計フィルタ２は例えば最大値フィルタ又は最小値フィルタである。最大値フィルタは、各画素について当該画素の近傍領域内の画素についての合成比率Ｍ_１を重み付けした結果の最大値を抽出する。最小値フィルタは、各画素について当該画素の近傍領域内の画素についての合成比率Ｍ_１を重み付けした結果の最小値を抽出する。
各画素の近傍領域は、例えば当該画素を中心とする矩形の領域である。
各画素についての平滑化合成比率Ｍ_２を生成する際の重み付けにおいては、当該画素により近い画素についての合成比率Ｍ_１に、より大きい重みが付けられる。

【0019】

合成比率決定部１における合成比率Ｍ_１の決定及び統計フィルタ２における平滑化合成比率Ｍ_２の生成は画素毎の処理であり、合成比率Ｍ_１及び平滑化合成比率Ｍ_２は画素毎に生成される。各画素の位置（画像内に位置を表す座標）をｘで表し、各画素の合成比率Ｍ_１及び平滑化合成比率Ｍ_２を、それぞれＭ_１（ｘ）及びＭ_２（ｘ）で表す。同様に、合成部３における合成は、画素毎の処理であり、画像Ｄ_１及びＤ_２の各画素の画素値をＤ_１（ｘ）及びＤ_２（ｘ）で表し、合成画像Ｄ_３の各画素の画素値をＤ_３（ｘ）で表す。

【0020】

実施の形態１．
図２は本発明の実施の形態１に係る画像処理装置を撮像装置とともに示すブロック図である。図２に示される画像処理装置は、図１に示される画像合成装置をＨＤＲ合成処理に適用したものである。即ち、図２の画像処理装置は、図１の画像合成装置１０の具体的な形態である画像合成装置１０ａと、第１及び第２のレベル正規化部１１及び１２とを有し、撮像装置１４ａからの画像Ｄ_１１及びＤ_１２を受ける。

【0021】

図２に示される撮像装置１４ａは、同一の被写体を２つの互いに異なる露光条件、例えば、異なる露光時間で撮像し、短露光時間画像Ｄ_１１及び長露光時間画像Ｄ_１２を出力する。
例えば、短露光時間画像Ｄ_１１は、より短い露光時間での撮像で得られた画像であり、長露光時間画像Ｄ_１２は、より長い露光時間での撮像で得られた画像である。

【0022】

撮像装置１４ａは、例えば、露光時間を個別に設定可能な複数のセンサを搭載したものであり、複数のセンサの露光時間を異ならせ、略同じ時刻に同一の被写体を撮像することで短露光時間画像Ｄ_１１及び長露光時間画像Ｄ_１２を出力する。複数のセンサは、光学系を共有していてもよいし、センサ毎に別個の光学系を有してもよい。いずれの場合にも、複数のセンサ間で光軸が異なっており、その結果、短露光時間画像Ｄ_１１と長露光時間画像Ｄ_１２は視差による位置ずれを有する。視差による位置ずれはセンサ間の隔たりと、撮像装置１４ａから被写体までの奥行き距離とに依存する。

【0023】

短露光時間画像Ｄ_１１及び長露光時間画像Ｄ_１２を撮像する撮像装置１４ａは、上記の構成に限定されるものではない。例えば、同一の光学系を有する単一のセンサで、異なる露光時間の画像対を、相前後して即ち時分割で撮像する装置であってもよい。この場合にも、撮像装置１４ａが移動している場合には、異なる露光時間の画像を撮像する際の撮像装置１４ａの位置が異なることになるため、上記と同様の視差が発生し得る。以上のように、実施の形態１に係る画像処理装置は、同一の被写体を異なる露光時間で撮像した二枚の画像を入力とするものであって、この二枚の画像が視差による位置ずれを有する場合を想定する。
但し、本発明は、視差以外の要因によって画像間に位置ずれがある場合、例えば被写体の動きによって位置ずれがある場合にも有効に作用する。

【0024】

第１及び第２のレベル正規化部１１及び１２は、撮像装置１４ａから短露光時間画像Ｄ_１１及び長露光時間画像Ｄ_１２を受け、短露光時間画像Ｄ_１１及び長露光時間画像Ｄ_１２の画素値Ｄ_１１（ｘ）及びＤ_１２（ｘ）を正規化して、正規化後の画素値Ｄ_１（ｘ）及びＤ_２（ｘ）から成る画像をそれぞれ第１の画像Ｄ_１及び第２の画像Ｄ_２として出力する。レベル正規化部１１及び１２は、被写体の同一部分についての正規化後の画素値Ｄ_１（ｘ）及びＤ_２（ｘ）が互いに略同じになるように正規化を行う。正規化は、例えば、短露光時間画像Ｄ_１１及び長露光時間画像Ｄ_１２を撮像した撮像装置１４ａにおける受光素子の感度、アナログゲイン、露光時間等の情報を使って、各画像の画素値を被写体の対応する部分の放射輝度に相当する値に変換することによって行われる。

【0025】

このような正規化は例えば、受光素子の感度、アナログゲイン、露光時間等を考慮に入れた総合ゲイン（画像Ｄ_１１及びＤ_１２を生成するまでの総合ゲイン）に基づいて行うことができる。例えば、長露光時間画像Ｄ_１２の総合ゲインが短露光時間画像Ｄ_１１の総合ゲインのＦｃ倍であれば、短露光時間画像Ｄ_１１の画素値Ｄ_１１（ｘ）をＦｃ／Ｆｄ倍し、長露光時間画像Ｄ_１２の画素値Ｄ_１２（ｘ）を１／Ｆｄ倍することで正規化を行うことができる。ここで、Ｆｄは予め定められた調整値である。一例としてＦｃ＝４、Ｆｄ＝２の場合について正規化前の画素値Ｄ_１１（ｘ）及びＤ_１２（ｘ）と、正規化後の画素値Ｄ_１（ｘ）及びＤ_２（ｘ）を図３に示す。図３で横軸は、被写体の放射輝度である。

【0026】

長露光時間画像Ｄ_１２の総合ゲインは、短露光時間画像Ｄ_１１の総合ゲインのＦｃ倍であるので、短露光時間画像Ｄ_１１の画素値Ｄ_１１（ｘ）が飽和する放射輝度Ｙａの１／Ｆｃの放射輝度Ｙｂ（＝Ｙａ／Ｆｃ）で、長露光時間画像Ｄ_１２の画素値Ｄ_１２（ｘ）が飽和する。ここで飽和するとは、画素値が、取り得る値の範囲の上限値（８ビットであれば２５５）に達することをいう。正規化の結果得られる画像Ｄ_２においても、飽和の影響が残り、該放射輝度Ｙｂ以上の範囲では、正規化の結果得られる画像Ｄ_２の画素値Ｄ_２（ｘ）は一定の値となる。正規化前の画像の飽和により正規化後の画像が一定の値に制限されていることを、正規化後の画像についての飽和と言う。

【0027】

上記の正規化を行うため、レベル正規化部１１には、撮像装置１４ａから総合ゲインの比Ｆｃを示す情報が供給される。一方、調整値Ｆｄを示す情報は、レベル正規化部１１及び１２内に予め記憶されている。
なお、Ｆｄ＝１であるのが正規化の計算が容易であるので望ましいが、Ｆｄ＝１でなくても良い。
なおまた、正規化の結果得られる画像Ｄ_１及びＤ_２の画素値Ｄ_１（ｘ）及びＤ_２（ｘ）は、正規化によって階調が落ちないようにするため、ビット数を拡張したデータ、或いは実数型のデータで表されるのが望ましい。

【0028】

このように、正規化後のデータがビット数を拡張したデータである場合、合成部３でもそのようなデータを用いて合成を行い、合成部３から出力される合成画像も同様のデータで表される。その場合、合成部３の出力側に正規化解除部（図示しない）を設け、該正規化解除部で、データを元のビット数のデータ（レベル正規化部に入力されたデータと同じビット数のデータ）に戻す処理を行うこととしても良い。

【0029】

実施の形態１では、図１の合成比率決定部１の具体例として、合成比率決定部１ａが設けられ、図１の統計フィルタ２の具体例として、最大値フィルタ２ａが設けられている。

【0030】

合成比率決定部１ａは、第１の画像Ｄ_１の画素値と総合ゲインの比Ｆｃとに基づいて画素毎に合成比率Ｍ_１を決定して出力する。合成比率決定部１ａは、輝度算出部１０１と合成比率算出部１０２とを有する。

【0031】

輝度算出部１０１は、第１の画像Ｄ_１から被写体の輝度に相当する値である輝度参照値Ｄ_１０１を算出する。輝度算出部１０１は、第１の画像Ｄ_１がカラー画像である場合には、カラー画像の各成分（ＲＧＢ等）から輝度値に相当する成分を抽出し、輝度参照値として出力する。輝度参照値Ｄ_１０１は、例えば８ビットで表され、短露光時間画像Ｄ_１１の画素値Ｄ_１１（ｘ）が飽和するとき、輝度参照値Ｄ_１０１はその上限値である２５５となる。短露光時間画像Ｄ_１１がモノクロ画像であり、レベル正規化部１１による正規化が輝度参照値への変換を含む場合は、輝度算出部１０１を省略してもよい。

【0032】

合成比率算出部１０２は、輝度参照値Ｄ_１０１と総合ゲインの比Ｆｃとに応じて、合成比率Ｍ_１を算出する。合成比率算出部１０２は、輝度参照値Ｄ_１０１が小さい（被写体が暗い）ほどより小さくなり、輝度参照値Ｄ_１０１が大きい（被写体が明るい）ほどより大きくなるように合成比率Ｍ_１を算出する。

【0033】

次式（１）は、輝度参照値Ｄ_１０１に応じた合成比率Ｍ_１の算出例を示す。

【数1】

式（１）でＴＨ_{ｂｒｉｇｈｔ}及びＴＨ_ｄａｒｋは閾値である。
閾値ＴＨ_{ｂｒｉｇｈｔ}は、後述のように、総合ゲインの比Ｆｃに基づいて定められる。
閾値ＴＨ_ｄａｒｋは、後述のようにノイズのレベルに基づいて定められる。

【0034】

図４に、横軸に輝度参照値Ｄ_１０１、縦軸に合成比率Ｍ_１をとったグラフを示す。式（１）及び図４に示す例では、
輝度参照値Ｄ_１０１が閾値ＴＨ_{ｂｒｉｇｈｔ}以上では、合成比率Ｍ_１が１となり、
輝度参照値Ｄ_１０１が閾値ＴＨ_ｄａｒｋ以下では、合成比率Ｍ_１が０となり、
輝度参照値Ｄ_１０１が閾値ＴＨ_ｄａｒｋよりも大きく閾値ＴＨ_{ｂｒｉｇｈｔ}よりも小さい範囲では、合成比率Ｍ_１が輝度参照値Ｄ_１０１に応じて徐々に増加する。

【0035】

後述のように、合成比率Ｍ_１に対してフィルタリングを施すことで、平滑化合成比率Ｍ_２が得られ、平滑化合成比率Ｍ_２が大きいほど、第１の画像に対する重み付けがより大きくなり、第２の画像に対する重み付けがより小さくなる。従って、合成比率Ｍ_１は、画像の合成における重み付けを（間接的に）定めるものであると言える。

【0036】

すなわち、最大値フィルタ２ａによる平滑化を無視すれば、合成比率Ｍ_１が１となると、第１の画像Ｄ_１に対する重み付け係数αが１、第２の画像Ｄ_２に対する重み付け係数βが０となり、合成比率Ｍ_１が０となると、第１の画像Ｄ_１に対する重み付け係数αが０、第２の画像Ｄ_２に対する重み付け係数βが１となる。

【0037】

従って、輝度参照値Ｄ_１０１が閾値ＴＨ_{ｂｒｉｇｈｔ}以上の明るい被写体部分では、合成比率Ｍ_１が１となって、短露光時間画像Ｄ_１１に由来する第１の画像Ｄ_１が採用され、輝度参照値Ｄ_１０１が閾値ＴＨ_ｄａｒｋ以下の暗い被写体部分では、合成比率Ｍ_１が０となって、長露光時間画像Ｄ_１２に由来する第２の画像Ｄ_２が採用され、輝度参照値Ｄ_１０１が閾値ＴＨ_ｄａｒｋよりも大きく閾値ＴＨ_{ｂｒｉｇｈｔ}よりも小さい範囲である、中間の明るさの被写体部分では、合成比率Ｍ_１が０よりも大きく１よりも小さくなって、短露光時間画像Ｄ_１１に由来する第１の画像Ｄ_１と長露光時間画像Ｄ_１２に由来する第２の画像Ｄ_２とがブレンドされる。

【0038】

閾値ＴＨ_{ｂｒｉｇｈｔ}は、第２の画像Ｄ_２の画素値が飽和しているか否かの判断に用いられる閾値であり、当該輝度参照値Ｄ_１０１が当該閾値以上であれば、第２の画像Ｄ_２の画素値は飽和していると判断される。閾値ＴＨ_{ｂｒｉｇｈｔ}は、「飽和閾値」と呼ばれるものである。輝度参照値Ｄ_１０１が飽和閾値ＴＨ_{ｂｒｉｇｈｔ}以上となる場合には合成比率Ｍ_１が１とされる。

【0039】

例えば、長露光時間画像Ｄ_１２の総合ゲインが短露光時間画像Ｄ_１１の総合ゲインのＦｃ倍であれば、短露光時間画像Ｄ_１１の画素値Ｄ_１１（ｘ）が飽和する（上限値に達する）ときの輝度参照値Ｄ_１０１の１／Ｆｃ又はこれより若干小さい値を飽和閾値ＴＨ_{ｂｒｉｇｈｔ}とすることができる。例えば、短露光時間画像Ｄ_１１の画素値Ｄ_１１（ｘ）が飽和するときの輝度参照値Ｄ_１０１の１／Ｆｃの９５％以上１００％以下の値を、飽和閾値ＴＨ_{ｂｒｉｇｈｔ}として設定する。以下では、短露光時間画像Ｄ_１１の画素値Ｄ_１１（ｘ）が飽和するときの輝度参照値Ｄ_１０１の１／Ｆｃに等しい値が、飽和閾値ＴＨ_{ｂｒｉｇｈｔ}として設定されているものとする。

【0040】

閾値ＴＨ_ｄａｒｋは、閾値ＴＨ_{ｂｒｉｇｈｔ}よりも小さい値で、かつ、短露光時間画像Ｄ_１１において黒つぶれしている部分の画素値に対応する輝度参照値Ｄ_１０１よりも十分に大きな値となるように定められる。例えば、画像に含まれるノイズのレベルに等しい値を黒つぶれしている部分の画素値I_darkとして特定し、黒つぶれしている部分の画素値に対応する輝度参照値D₁₀₁（すなわち、Fc／Fd×I_dark）と閾値TH_brightの中間の値を閾値ＴＨ_ｄａｒｋとする。ノイズのレベルとしては、照明条件等の使用環境に応じて予め想定される値を用いても良い。また、撮像された画像から測定することで得られるノイズのレベルを表す値を用いても良い。

【0041】

閾値ＴＨ_ｄａｒｋを閾値ＴＨ_{ｂｒｉｇｈｔ}に近づけて大きい値にすると、短露光時間画像Ｄ_１１と長露光時間画像Ｄ_１２がブレンドされる領域が減少するので二重像が発生しにくくなる。一方、レベル正規化部による輝度合わせの精度が十分でない場合に、短露光時間画像Ｄ_１１と長露光時間画像Ｄ_１２が急に切り替わって階調が不連続となって切り替わり部分で合成画像が不自然となる場合がある。

【0042】

閾値ＴＨ_ｄａｒｋを閾値ＴＨ_{ｂｒｉｇｈｔ}から遠ざけて小さい値にすることで、短露光時間画像Ｄ_１１と長露光時間画像Ｄ_１２がブレンドされる領域が増加させることで階調が不連続になることを防止できる。本実施の形態においては、レベル正規化部による輝度合わせが十分な精度で行われるものとみなし、かつ、二重像への対策を最大値フィルタ２ａにおいて行っているので、閾値ＴＨ_ｄａｒｋを大きめの値に設定するのが望ましい。

【0043】

合成比率算出部１０２は、上記のように定められた閾値ＴＨ_{ｂｒｉｇｈｔ}及びＴＨ_ｄａｒｋを上記の式（１）の計算に用いる。
合成比率決定部１ａは、合成比率算出部１０２で算出された合成比率Ｍ_１を出力する。

【0044】

最大値フィルタ２ａは、各画素について当該画素の近傍領域内の画素についての合成比率を重み付けした結果の最大値を抽出することで平滑化合成比率Ｍ_２を生成する。平滑化合成比率Ｍ_２も画素毎に生成される。

【0045】

図５（ａ）〜（ｃ）及び図６（ａ）〜（ｃ）を用いて、図２の最大値フィルタ２ａの動作について説明する。図５（ａ）〜（ｃ）は、比較のため、従来の線形フィルタの動作を示し、図６（ａ）〜（ｃ）は最大値フィルタ２ａの動作を示す。図５（ａ）〜（ｃ）及び図６（ａ）〜（ｃ）では、簡単のために、入出力値及びフィルタ係数を一次元のデータ列として、即ち、一次元に配列された画素についての値であるものとしている。

【0046】

図５（ａ）及び図６（ａ）に示される入力値は、合成比率Ｍ_１を表し、図５（ｃ）及び図６（ｃ）に示される出力値は合成比率Ｍ_１を平滑化することで得られる平滑化合成比率Ｍ_２ｌｉｎ及びＭ_２を表す。合成比率Ｍ_１並びに平滑化合成比率Ｍ_２ｌｉｎ及びＭ_２は、０から１までの範囲内の値であるが、図５（ａ）及び（ｃ）並びに図６（ａ）及び（ｃ）には、合成比率Ｍ_１並びに平滑化合成比率Ｍ_２ｌｉｎ及びＭ_２に１より大きい値、例えば２５６を掛けた数値を示している。

【0047】

従来の線形フィルタでは、注目画素の近傍領域内の画素についての入力値（合成比率Ｍ_１：図５（ａ））をフィルタ係数（図５（ｂ））で乗算したのち、乗算結果の和をとることによって、当該注目画素についてのフィルタの出力値（平滑化合成比率Ｍ_２ｌｉｎ：図５（ｃ））を算出する。フィルタ係数（図５（ｂ））は、係数の和が１となるように正規化されている。すなわち、線形フィルタの入出力関係は次式（２）により表わされる。

【数2】

【0048】

式（２）で、ｘは注目画素の位置（座標）、ｋは注目画素の近傍領域内の画素の、注目画素に対する相対位置（注目画素の位置を基準とする局所座標）、Ｍ_１（ｋ）は相対位置ｋの画素についての入力値（合成比率）である。合成比率Ｍ_１（ｘ）のうち、注目画素近傍の領域内の画素についての合成比率Ｍ_１（ｘ）が合成比率Ｍ_１（ｋ）として用いられる。Ｍ_２ｌｉｎ（ｘ）は線形フィルタの出力値（注目画素についての平滑化合成比率）、ｗ（ｋ）は相対位置ｋの画素についての合成比率Ｍ_１（ｋ）に対する重み付けのためのフィルタ係数、Ｎ_ｘは注目画素の近傍領域内の画素の集合を表す。

【0049】

最大値フィルタ２ａは、注目画素の近傍領域内の画素についての入力値（合成比率Ｍ_１：図６（ａ））をフィルタ係数（図６（ｂ））で乗算する点では線形フィルタと同様であるが、乗算結果の最大値を当該注目画素についてのフィルタの出力値（平滑化合成比率Ｍ_２：図６（ｃ））として採用する点が線形フィルタと異なる。また、フィルタ係数（図６（ｂ））は、係数の最大値が１となるように正規化されている。すなわち、最大値フィルタ２ａの入出力関係は次式（３）により表わされる。

【数3】

【0050】

式（３）で、ｘは注目画素の位置（座標）、ｋは注目画素の近傍領域内の画素の、注目画素に対する相対位置（注目画素の位置を基準とする局所座標）、Ｍ_１（ｘ）は相対位置ｋの画素についての入力値（合成比率）である。合成比率Ｍ_１（ｘ）のうち、注目画素近傍の領域内の画素についての合成比率Ｍ_１（ｘ）が合成比率Ｍ_１（ｋ）として用いられる。Ｍ_２（ｘ）は最大値フィルタ２ａの出力値（注目画素についての平滑化合成比率）、ｗ（ｋ）は相対位置ｋの画素についての合成比率Ｍ_１（ｋ）に対する重み付けのためのフィルタ係数、Ｎ_ｘは注目画素の近傍領域内の画素の集合を表す。

【0051】

フィルタ係数ｗ（ｋ）は、例えば、注目画素により近い画素についての合成比率により大きい重みが付けられ、かつ、注目画素からの距離が大きくなるにつれて当該画素についての合成比率に対する重み付けが徐々に小さくなるように定められる。

【0052】

フィルタ係数ｗ（ｋ）としては、例えば、式（４）に示すようなガウス関数で定められるものを用いても良い。

【数4】

式（４）において、σはガウス関数の標準偏差を表す。σの値は、注目画素の近傍領域のサイズに応じて定められる値であり、例えば、近傍領域のサイズをｒとすると、３σ＝ｒとなるように定めることができる。ここで言う「サイズ」は、画素が一次元に配列されたものである場合には、その長さの１／２である。画素が二次元に配列されたものである場合には、その中心からその周縁部までの平均的な距離を、上記のサイズとして用いることができる。

【0053】

フィルタ係数として、式（４）で定められるものの代わりに式（５）で定められるものを用いても良い。

【数5】

式（５）において、ｒ_１、ｒ_２はフィルタ係数の重み係数の分布の広がりを制御する値である。式（５）によれば、注目画素からの距離がｒ_１より小さい画素については重み付けが１となり、注目画素からの距離がｒ_１よりも大きい画素については、該距離が大きくなるにつれ徐々に減少し、注目画素からの距離がｒ_２に達すると重み付けがゼロとなるような特性のフィルタ係数が得られる。

【0054】

近傍領域内の画素の集合Ｎ_ｘに含まれる画素の数（フィルタサイズ）は、合成対象画像間の位置ずれに対する許容量を決定する。例えば、合成処理を行う前に実施する位置合わせ処理の精度や、撮像装置１４ａを構成する複数のセンサ間の隔たりや時間差（時分割で撮像を行う場合）等の事前に得られる情報から位置ずれ量を予測し、予測される位置ずれが大きいほど、フィルタサイズをより大きく設定し、予測される位置ずれが小さいほど、フィルタサイズをより小さく設定する。位置ずれの要因が合成対象画像間の視差のみであり、かつ、撮像装置１４ａから被写体までの奥行き距離に関する情報が得られる場合には、該奥行距離に関する情報を使ってフィルタサイズを動的に、即ち撮像装置１４ａから出力される撮像画像毎に変更しても良い。

【0055】

上記のように、入力値に対してフィルタ係数で重み付けを行った結果の和を出力とする処理を「線形フィルタを適用する」と言い、入力値に対してフィルタ係数で重み付けを行った結果の最大値を出力とする処理を「最大値フィルタを適用する」と言う。

【0056】

なお、図５（ａ）〜（ｃ）及び図６（ａ）〜（ｃ）ではフィルタ係数を一次元として、一元に配列された画素を用いてフィルタを適用する処理を説明したが、二次元のフィルタ係数を用いる場合であっても上記と同様の効果が得られる。

【0057】

二次元のフィルタ係数が二組の一次元のフィルタ係数の積で表現できる（二次元のフィルタ係数が分離可能である）場合には、一次元のフィルタを二回適用する（水平方向について一次元のフィルタを適用してから、垂直方向について一次元のフィルタを適用する等）ことにより、二次元のフィルタ係数を適用した場合と等価な結果を得ることができる。この場合、最大値フィルタ２ａを、二つの一次元フィルタの組み合わせにより構成することができる。

【0058】

また、大きな位置ずれを許容するためにフィルタサイズを大きくする場合、処理時間の増加を抑えるために、合成比率マップを縮小し、縮小マップに対して最大値フィルタを適用した後、拡大して元のサイズに戻すようにしてもよい。

【0059】

以上の合成比率Ｍ_１及び平滑化合成比率Ｍ_２の算出は、上記のように、画素毎に行われ、その結果、各画素についての平滑化合成比率Ｍ_２が算出される。各画素についての平滑化合成比率をＭ_２（ｘ）で表す。

【0060】

合成部３は、平滑化合成比率Ｍ_２で定められる重み付け係数α、βを用いて第１の画像Ｄ_１と第２の画像Ｄ_２を重み付けして加算する。重み付け加算は、画素毎に行われるものであり、次式（６）により表わされる。

【数6】

【0061】

式（６）で、ｘは画素位置、Ｄ_１（ｘ）は第１の画像Ｄ_１の位置ｘの画素の画素値、Ｄ_２（ｘ）は第２の画像Ｄ_２の位置ｘの画素の画素値、α（ｘ）は第１の画像Ｄ_１の位置ｘの画素についての重み付け係数、β（ｘ）は第２の画像Ｄ_２の位置ｘの画素についての重み付け係数、Ｍ_２（ｘ）は位置ｘの画素についての平滑化合成比率を表す。

【0062】

実施の形態１による効果を説明する。実施の形態１に係る画像合成装置では、第１の画像Ｄ_１の各画素についての輝度参照値Ｄ_１０１と総合ゲインの比Ｆｃとから定められた合成比率Ｍ_１を、最大値フィルタ２ａで平滑化し、平滑化合成比率Ｍ_２を用いて二画像を合成するようにした。最大値フィルタ２ａを用いているので、第１の画像に対する重み付け係数αと第２の画像に対する重み付け係数βのうち、一方がより大きい状態から他方がより大きい状態に移行する部分、即ち、二画像が切り替わる部分が、第１及び第２の画像におけるエッジをまたがない。その結果、位置ずれがあっても二重像が目立たない。この効果について図７（ａ）〜（ｈ）を用いて説明する。

【0063】

図７（ａ）及び（ｂ）は、それぞれ、第１の画像Ｄ_１及び第２の画像Ｄ_２について、横軸に画素位置、縦軸に画素値をとったラインプロファイルを表しており、同一のステップエッジが画像間でわずかな位置ずれを有している場合を想定する。

【0064】

図７（ｃ）は、第１の画像Ｄ_１に基づいて合成比率決定部１ａで決定された合成比率Ｍ_１のラインプロファイルを表す。合成比率Ｍ_１は、第１の画像Ｄ_１が明るい箇所で大きくなり、第１の画像Ｄ_１が暗い箇所で小さくなる特性を有する。

【0065】

図７（ｄ）及び（ｅ）は、それぞれ、合成比率Ｍ_１を線形フィルタ及び最大値フィルタ２ａで平滑化した場合の平滑化合成比率のラインプロファイルを実線で表す。従来の線形フィルタによる平滑化合成比率をＭ_２ｌｉｎ、図２の最大値フィルタ２ａによる平滑化合成比率をＭ_２で示す。点線は、平滑化する前の合成比率Ｍ_１のプロファイルを示す。

【0066】

従来の線形フィルタでは、図７（ｄ）に示すように、平滑化合成比率Ｍ_２ｌｉｎが、合成比率Ｍ_１のステップエッジの中心の一方の側と他方の側とで、向きが逆である点を除き、同様に滑らかに変化し、平滑化合成比率Ｍ_２ｌｉｎを表す曲線が、合成比率Ｍ_１のステップエッジの中心を中心として点対称の滑らかな曲線となる。そして、平滑化合成比率Ｍ_２ｌｉｎが変化する部分（変化の開始から終了までの部分）、即ち、二画像の切り替わり部分（ブレンド領域）ＢＬ_ｌｉｎがエッジをまたぐことになる。

【0067】

これに対し、図２の最大値フィルタ２ａでは、合成比率Ｍ_１の大きい範囲が小さい側へ膨張するように平滑化が行われる。その結果、平滑化合成比率Ｍ_２は、図７（ｅ）に示すように、滑らかに変化するものとなるだけでなく、該変化する部分、即ち、二画像の切り替わり部分（ブレンド領域）ＢＬｍａｘがステップエッジの中心位置から合成比率Ｍ_１の小さい側に移動し、エッジをまたがないようにすることができる。

【0068】

図７（ｆ）、（ｇ）及び（ｈ）は、それぞれ、合成比率Ｍ_１、Ｍ_２ｌｉｎ及びＭ_２を用いて第１の画像Ｄ_１と第２の画像Ｄ_２を合成した合成画像Ｄ_３のラインプロファイルを表す。

【0069】

平滑化なしの合成比率Ｍ_１を用いて合成した場合には、第１の画像Ｄ_１と第２の画像Ｄ_２の間でステップエッジがわずかな位置ずれを有しているため、合成画像Ｄ_３においては、図７（ｆ）に示すように、両者の画像のステップエッジが二重に現れる二重像のアーティファクトを生じる。

【0070】

従来の線形フィルタで平滑化した合成比率Ｍ_２ｌｉｎを用いて合成した場合には、図７（ｇ）に示すように、平滑化なしの合成比率Ｍ_１を用いて合成した場合に比べると二重像のアーティファクトは緩和されているものの、エッジにおける画素値の遷移が滑らかではなく、合成画像の画質を損ねる原因となる。とくに、従来の線形フィルタでは、二画像の切り替わり部分（ブレンド領域）がエッジをまたいでいるため、エッジ部分が二重像の影響を受けやすい。

【0071】

図２の最大値フィルタ２ａで平滑化した合成比率Ｍ_２を用いて合成した場合には、図７（ｈ）に示すように、エッジ部分では第１の画像Ｄ_１のエッジが合成画像Ｄ_３にそのまま採用されるため、合成による二重像のアーティファクトを回避することができる。

【0072】

以上で説明した最大値フィルタを用いることによる効果は、合成対象画像間の視差が原因である二画像の位置ずれのように、位置ずれによる合成のアーティファクトがエッジの近傍で発生する状況においてとくに有効である。なぜなら、合成対象画像間に視差がある場合には、撮像装置１４ａから被写体までの奥行き距離に対応して位置ずれが発生するため、異なる奥行き距離にある被写体間の境界、すなわち、奥行きエッジで位置ずれが発生する。このような奥行きエッジは、明暗のコントラストが高い場合が多く、合成により二重像が発生すると目立つ。とくに、暗い背景に対して明るい被写体のエッジが手前にある場合、或いは明るい背景に対して暗い被写体のエッジが手前にある場合、エッジの位置ずれによる二重像の影響が合成画像の暗い側に現れると目障りなアーティファクトとなる。本実施の形態では、最大値フィルタを用いて合成比率を平滑化することにより、エッジの中心位置からフィルタサイズにより決定される位置ずれ許容量までの範囲では二画像の切り替えが起きないようにしたので、このような奥行きエッジも単一画像のエッジと同様に自然に（違和感なく）再現できる。また、二画像の切り替わり部分（ブレンド領域）ＢＬｍａｘは暗い側に移動しており、比較的コントラストの低い領域で滑らかに切り替えが行われるため目立ちにくい。

【0073】

以上のように、本実施の形態によれば、二画像の切り替わり部分がエッジをまたがないため、合成対象画像間に視差によるエッジの位置ずれがあっても、二重像などの画質劣化を抑えることができる。また、二画像の合成比率を滑らかに変化させることができるので、二画像の切り替わり部分が自然な（違和感のない）合成画像を生成することができる。

【0074】

次に、長露光時間画像Ｄ_１２乃至第２の画像Ｄ_２が飽和画素を含んでいる場合において最大値フィルタを用いることによる、更なる効果を説明する。実施の形態１に係る画像処理装置では、輝度参照値Ｄ_１０１が、飽和閾値ＴＨ_{ｂｒｉｇｈｔ}以上、即ち、第２の画像Ｄ_２で飽和している画素の輝度に対応する値以上となる場合には、合成比率Ｍ_１を１とし、第１の画像Ｄ_１に対する重み付け係数αが１、第２の画像Ｄ_２に対する重み付け係数βが０となるようにした。これにより、第２の画像Ｄ_２で飽和している画素及びその周辺の画素が混入することによる合成画像の画質劣化を防止することができる。

【0075】

明暗差が大きなシーンの場合には、暗部の視認性を十分に確保するため長露光時間画像Ｄ_１２の露光時間を長くして撮影することが考えられる。このような場合、長露光時間画像Ｄ_１２乃至第２の画像Ｄ_２は、明部において多くの飽和画素を含んだ画像になる。飽和している画素を含む画像領域は、明るいがディテールの失われた領域である。飽和している画素が合成画像に混入すると、不自然な合成画像になる。一方、合成比率決定部１ａで輝度参照値Ｄ_１０１に基づいて決定された合成比率Ｍ_１をそのまま用いて画像合成を行うとすれば、第２の画像Ｄ_２の位置がずれている場合、飽和している画素が合成画像に混入することがある。

【0076】

また、撮像素子がＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）である場合には、飽和画素の周辺の画素が、本来あるべき明るさよりも明るくなる現象が発生することがある（スミアやブルーミング等）。このような飽和画素の周辺の画素の影響も、合成によるアーティファクトの一因となる。

【0077】

図２の最大値フィルタ２ａによれば、第１の画像Ｄ_１をもとに生成された輝度参照値Ｄ_１０１が、第２の画像Ｄ_２において画素値が飽和している画素の輝度以上になったことを検出し、第２の画像Ｄ_２において、飽和している画素から、フィルタサイズにより決定される位置ずれ許容量までの範囲では平滑化合成比率Ｍ_２を１とし、これにより第２の画像Ｄ_２において、飽和している画素の近傍の領域では二画像の切り替えをせず、第１の画像Ｄ_１を用いるようにした。そのため、第２の画像Ｄ_２の位置ずれや飽和画素の周辺の画素の影響をなくすことができる。これにより、第２の画像Ｄ_２で飽和している画素及びその周辺の画素が混入することによる合成画像の画質劣化を防止することができる。

【0078】

なお、実施の形態１に係る画像合成装置においては、レベル正規化部１１及び１２の少なくとも一方において、係数の乗算により正規化を行なっているが、上記の正規化が、係数の乗算の代わりに、或いはそれに加えてオフセットの加減算及びガンマ補正などの非線形な変換の少なくとも一つを含んでもよい。
この場合には、それらによる影響を考慮に入れて、長露光時間画像Ｄ_１２が飽和するときの、輝度参照値Ｄ_１０１又はそれよりも若干小さい値を閾値ＴＨ_{ｂｒｉｇｈｔ}とする。

【0079】

また、実施の形態１に係る画像合成装置においては、レベル正規化部１１に総合ゲインの比Ｆｃを示す情報が供給されるが、上記の正規化が、係数の乗算の代わりに、或いはそれに加えてオフセットの加減算及びガンマ補正などの非線形な変換の少なくとも一つを含む場合、係数、オフセット、及びガンマ補正の変換特性のうちの上記の正規化に用いられるものを示す情報をレベル正規化部１１及び１２の少なくとも一方に供給するようにしても良い。

【0080】

また、実施の形態１に係る画像合成装置においては、第１の画像Ｄ_１を標準的な露光時間で撮影することで得られた画像Ｄ_１１に対応するものである場合を想定し、該第１の画像Ｄ_１を基準画像として、第１の画像Ｄ_１から輝度参照値Ｄ_１０１を求めることとしたが、本発明はこの構成に限るものではない。飽和している画素及びその周辺の画素の混入を回避する観点からは、例えば、輝度参照値Ｄ_１０１を第２の画像Ｄ_２から求めてもよいし、第１の画像Ｄ_１と第２の画像Ｄ_２の組み合わせから求めてもよい。これらの場合であっても、最大値フィルタを用いることによる効果を得ることができる。

【0081】

なおまた、実施の形態１に係る画像合成装置で用いられている最大値フィルタは、フィルタ係数を分離可能である場合に、一次元の最大値フィルタを二回適用する（水平方向について最大値フィルタを適用してから、垂直方向について最大値フィルタを適用する等）ことによって実現できるため、大きな位置ずれを想定してフィルタサイズを大きくする場合であっても、ソフトウェア等で実行する場合の処理時間の増加を抑えることができる。また、ＬＳＩ等のハードウェアで実行する場合には回路規模の増加を抑えることができる。

【0082】

さらにまた、合成比率マップを縮小し、縮小マップに対して最大値フィルタを適用した後、拡大して元のサイズに戻すようにすれば、大きな位置ずれを想定してフィルタサイズを大きくする場合であっても、ソフトウェア等で実行する場合の処理時間の増加を抑えることができる。しかしながら、合成比率マップの縮小を行う場合、合成比率Ｍ_１が大きい値である領域の面積が小さいと、縮小処理により当該領域が収縮し、その結果、合成比率Ｍ_１が所望の値より小さい値となり効果を得られなくなる可能性がある。すなわち、長露光時間画像Ｄ_１２の小さな飽和領域が合成画像Ｄ_３に用いられてディテールが失われてしまうことがある。この点を考慮した場合、本実施の形態１では、合成比率マップの縮小を行わずに最大値フィルタを適用することが望ましい。
本実施の形態１では、最大値フィルタにおいて、注目画素により近い画素についての合成比率Ｍ_１により大きい重みが付けられた結果の最大値を抽出するようにしている。そのため、合成比率マップの縮小を行わなくても、上記の境界で滑らかに変化する平滑化合成比率Ｍ_２を得ることができ、しかもエッジの位置ずれがあっても二重像などの画質劣化を抑えることができる。したがって、長露光時間画像に小さな飽和領域が存在しても合成画像で確実に短露光時間画像が用いられてディテールの喪失を抑制できるとともに、二画像の切り替わり部分が自然な合成画像を生成することができる。
また同時に、上述したように、二次元のフィルタを一次元のフィルタを二回適用することで実現することができ、合成比率マップの縮小を行わなくても、処理時間の増加を抑えることが可能である。

【0083】

以上で説明してきたように、実施の形態１によれば、露光条件、例えば露光時間が異なる複数の画像を合成して、白とびがなく暗部の視認性に優れた、ダイナミックレンジの広い画像を生成することができるとともに、二画像の切り替わり部分が不自然にならず、合成対象画像間に位置ずれがある場合に二重像などの画質劣化を抑えた合成画像を生成することができる。

【0084】

実施の形態２．
図８は本発明の実施の形態２に係る画像処理装置を撮像装置とともに示すブロック図である。図８に示される画像処理装置は、図１に示される画像合成装置を、デコンボリューション処理を施した画像を用いた画像の合成に適用したものである。

【0085】

図８に示される撮像装置１４ｂは、図２に示される撮像装置１４ａとは異なり、単一の露光条件での撮像で得られた画像を出力する。

【0086】

図８に示される画像処理装置は、図２の画像処理装置と概して同じであるが、図２の画像合成装置１０ａの代わりに画像合成装置１０ｂが設けられ、図２のレベル正規化部１１及び１２が設けられておらず、デコンボリューション処理部１３が設けられている。画像合成装置１０ｂは図２の画像合成装置１０ａと概して同じであるが、図２の合成比率決定部１ａの代わりに、合成比率決定部１ｂが設けられている。
別の見方をすれば、図８に示される画像処理装置は、図１に示す画像合成装置において、合成比率決定部１として、合成比率決定部１ｂを用い、統計フィルタ２として最大値フィルタ２ａを用い、そのような画像合成装置に、デコンボリューション処理部１３が追加されたものである。

【0087】

図８に示される画像処理装置は、撮像装置１４ｂから出力される撮像画像を、第１の画像Ｄ_１として受け取る。

【0088】

デコンボリューション処理部１３は、第１の画像Ｄ_１を入力画像とし、入力画像のぼけ及びぶれを補正し、鮮鋭さを向上させた補正画像を第２の画像Ｄ_２として出力する。
デコンボリューションとしては公知の種々のデコンボリューション手法のいずれかを適用することができる。ＰＳＦ（Ｐｏｉｎｔ Ｓｐｒｅａｄ Ｆｕｎｃｔｉｏｎ：点拡がり関数）が既知である場合に単純かつ高速なデコンボリューション手法は、周波数領域でのフィルタリング処理を用いる方法である。この方法では、第１の画像Ｄ_１をフーリエ変換し、フーリエ変換の結果に対し、ＰＳＦからウィーナーフィルタ等により求められる周波数領域のフィルタ係数を乗算し、乗算結果を逆フーリエ変換することによって第２の画像Ｄ_２を得る。

【0089】

合成比率決定部１ｂは、画素毎に合成比率を決定して出力する点で実施の形態１の合成比率決定部１ａと同じである。しかしながら以下の点で異なる。即ち、合成比率決定部１ｂは、合成比率Ｍ_１の決定に総合ゲインの比Ｆｃを用いず、第１の画像Ｄ_１の画素値に基づいて合成比率Ｍ_１を決定する。合成比率決定部１ｂは、飽和画素検出部１１１と合成比率算出部１１２とを有する。

【0090】

飽和画素検出部１１１は、第１の画像Ｄ_１の画素値に対する閾値処理により飽和している画素を検出し、飽和画素検出結果Ｄ_１１１として出力する。ここで言う閾値処理においては、第１の画像Ｄ_１の各画素の画素値が、取り得る値の上限値に近い閾値ＴＨ_ｓａｔ以上であれば、当該画素は飽和していると判断される。上限値に近い閾値ＴＨ_ｓａｔは、例えば、上限値の９５％以上１００％以下に設定される。

【0091】

合成比率算出部１１２は、飽和画素検出結果Ｄ_１１１から、合成比率Ｍ_１を算出して出力する。具体的には、第１の画像Ｄ_１において飽和している画素については合成比率Ｍ_１を１にし、そうでない画素については合成比率Ｍ_１を０にする。
合成比率決定部１ｂは、合成比率算出部１０２で算出された合成比率Ｍ_１を出力する。

【0092】

次式（７）は、合成比率決定部１ｂに入力される第１の画像Ｄ_１の画素値Ｄ_１（ｘ）と、合成比率決定部１ｂから出力される合成比率Ｍ_１との関係を示す。

【数7】

式（７）でＴＨ_ｓａｔは、飽和画素検出部１１１で用いられる閾値である。

【0093】

最大値フィルタ２ａ及び合成部３の構成及び動作は実施の形態１と同様である。

【0094】

実施の形態２による効果を説明する。
デコンボリューション処理部１３において公知のデコンボリューションを行うと、入力画像に飽和画素が含まれる場合に、補正画像においては入力画像における飽和画素に対応する位置の周囲にリンギングと呼ばれる縞状のアーティファクトを生じることがある。これは、飽和という現象が、所定の光量を超えた信号の画素値は上限値にクリップされるという非線形な過程である一方、公知のデコンボリューション手法の多くは、ＰＳＦによって画像がぼける線形なモデルに基づく補正をしており、ＰＳＦで用いるモデルのぼけ方と異なるぼけ方をしている飽和画素の周辺で補正誤差が現れるためである。リンギングは、飽和画素の近傍で振幅が大きく、飽和画素から離れていくにつれ振幅が減衰していく特性をもつ。

【0095】

実施の形態２に係る画像合成装置では、合成比率決定部１ｂにおいて、デコンボリューション処理を施す前の第１の画像Ｄ_１において飽和している画素を検出し、飽和している画素においては合成比率Ｍ_１を１とし、そうでない画素については合成比率Ｍ_１を０とし、これにより飽和している画素においては第１の画像（入力画像）Ｄ_１が採用され、そうでない画素については第２の画像（補正画像）Ｄ_２が採用されるようにした。さらに、合成比率Ｍ_１を最大値フィルタ２ａにより平滑化し、飽和している画素からフィルタサイズにより決定される位置ずれ許容量までの範囲では第１の画像Ｄ_１を採用するようにしつつ、第１の画像Ｄ_１と第２の画像Ｄ_２の切り替わり部分が滑らかになるようにした。これにより、第２の画像Ｄ_２において飽和画素の周囲に発生するリンギングを抑えることができるとともに、二画像の切り替わり部分が自然な（違和感のない）高品質な合成画像を得ることができる。

【0096】

実施の形態２に係る画像合成装置においては、基本構成は実施の形態１と同様であり、最大値フィルタ２ａを用いることによる効果は実施の形態１と同様である。

【0097】

また、デコンボリューション処理では、飽和画素が占める領域の面積が小さい（例えば、１画素）場合でもリンギングは発生するため、入力画像における飽和画素とその周辺の領域においては、確実に入力画像が用いられるように合成画像を生成することが望まれる。一方、処理時間の増加を抑えて飽和画素が占める領域とそれ以外の領域との境界で滑らかに変化する平滑化合成比率Ｍ_２を得るために、合成比率マップを縮小してから最大値フィルタを適用した後、拡大して元のサイズに戻す構成を採用することが考えられる。しかしながら、合成比率マップの縮小を行う場合、飽和画素の領域の面積が小さいと、縮小処理により当該領域が収縮し、その結果、合成比率Ｍ_１が所望の値より小さい値になり、リンギングの発生した補正画像が合成画像として用いられてリンギングの抑制効果が減退することがある。
実施の形態２では、最大値フィルタにおいて、注目画素により近い画素についての合成比率Ｍ_１により大きい重みが付けられた結果の最大値を抽出するようにしている。そのため、合成比率マップの縮小を行わなくても、上記の境界で滑らかに変化する平滑化合成比率Ｍ_２を得ることができ、しかもエッジの位置ずれがあっても二重像などの画質劣化を抑えることができる。したがって、入力画像に小さな飽和領域が存在しても合成画像で確実に入力画像が用いられてリンギングを抑制できるとともに、二画像の切り替わり部分が自然な（鮮鋭さの急激な変化を抑えた）合成画像を生成することができる。
また同時に、上述したように、二次元のフィルタを一次元のフィルタを二回適用することで実現することができ、合成比率マップの縮小を行わなくても、処理時間の増加を抑えることが可能である。

【0098】

以上のように本発明の画像合成装置は、エッジや飽和画素の周囲にまで影響が及ぶ合成画像のアーティファクトを抑えて、自然な（違和感のない）合成画像を生成することができる。

【0099】

なお、実施の形態１及び実施の形態２では、第１の画像Ｄ_１に基づいて合成比率Ｍ_１を決定し、合成比率Ｍ_１が大きくなるほど第１の画像Ｄ_１に対する重み付けがより大きくなるようにし、合成比率Ｍ_１を最大値フィルタにより平滑化することで、合成画像Ｄ_３において第１の画像Ｄ_１の寄与が大きくなる領域を膨張させることで、明暗のエッジや飽和画素の周囲で第２の画像Ｄ_２の寄与が大きくなることによる影響を抑圧する効果を得ることができる。しかしながら、本発明の画像合成装置は、必ずしも最大値フィルタを用いる構成だけに限定されない。例えば、合成比率Ｍ_１が大きくなるほど第２の画像Ｄ_２に対する重み付けが大きくなるようにする場合には、合成比率Ｍ_１の増減による作用が逆となるため、同様の効果を得るために、合成画像Ｄ_３において第２の画像Ｄ_２の寄与が大きい領域を収縮させるようなフィルタを適用してもよい。領域を収縮させるフィルタとは、例えば最小値フィルタである。最小値フィルタでは、各画素について当該画素の近傍領域内の画素についての合成比率Ｍ_１を重み付けした結果の最小値を抽出する。これにより、明暗のエッジや飽和画素の周囲で第２の画像Ｄ_２の寄与が大きくなることによる影響を抑圧する効果を得ることができる。なお、最大値フィルタ及び最小値フィルタは、統計フィルタの一種である。

【0100】

以上本発明を画像合成装置及び画像処理装置として説明したが、上記の画像合成装置及び画像処理装置で実施される画像合成方法及び画像処理方法も本発明の一部を成す。

【0101】

以上図１、図２、及び図８に示される画像合成装置又は画像処理装置の各部分（機能ブロックとして図示した部分）は、処理回路により実現される。処理回路は、専用のハードウェアであっても、プログラムを実行するＣＰＵであっても良い。
例えば、図１、図２又は図８の各部分の機能をそれぞれ処理回路で実現してもよいし、複数の部分の機能をまとめて処理回路で実現しても良い。

【0102】

処理回路がＣＰＵである場合、画像合成装置又は画像処理装置の各部分の機能は、ソフトウェア、ファームウェア、またはソフトウェアとファームウェアとの組み合わせにより実現される。ソフトウェア或いはファームウェアはプログラムとして記述され、記録媒体に格納される。処理回路は、記録媒体に格納されたプログラムをメモリに読み込んで実行することにより、各部の機能を実現する。このプログラムは、画像合成装置又は画像処理装置で実施される画像合成方法又は画像処理方法における処理をコンピュータに実行させるものであると言える。

【0103】

画像合成装置又は画像処理装置の各部分の機能のうち、一部を専用のハードウェアで実現し、一部をソフトウェアまたはファームウェアで実現するようにしても良い。
このように、処理回路は、ハードウェア、ソフトウェア、ファームウェア、またはこれらの組み合わせによって、上述の各機能を実現することができる。

【0104】

図９に上記の処理回路がＣＰＵであって、単一のＣＰＵを含むコンピュータ（符号５０ａで示す）で図２の画像処理装置のすべての機能を実現する場合の構成の一例を、撮像装置１４ａとともに示す。コンピュータ５０ａと撮像装置１４ａとで撮像システムが構成されている。
図９に示されるコンピュータ５０ａは、ＣＰＵ５１ａと、メモリ５２ａと、入力インターフェース５３ａと、出力インターフェース５４ａとを備え、これらはバス５５ａで接続されている。

【0105】

入力インターフェース５３ａには、撮像装置１４ａからの短露光時間画像Ｄ_１１及び長露光時間画像Ｄ_１２、並びに総合ゲインの比Ｆｃを示す情報が入力される。

【0106】

ＣＰＵ５１ａは、メモリ５２ａに記憶されたプログラムに従って動作し、入力インターフェース５３ａを介して入力された画像Ｄ_１１及びＤ_１２に対して、実施の形態１の画像処理装置の各部の処理を行って、処理の結果得られた出力信号を出力インターフェース５４ａから出力する。

【0107】

図１０に上記の処理回路がＣＰＵであって、単一のＣＰＵを含むコンピュータ（符号５０ｂで示す）で図８の画像処理装置のすべての機能を実現する場合の構成の一例を、撮像装置１４ｂとともに示す。コンピュータ５０ｂと撮像装置１４ｂとで撮像システムが構成されている。
図１０に示されるコンピュータ５０ｂは、ＣＰＵ５１ｂと、メモリ５２ｂと、入力インターフェース５３ｂと、出力インターフェース５４ｂとを備え、これらはバス５５ｂで接続されている。

【0108】

入力インターフェース５３ｂには、撮像装置１４ｂからの撮像画像を第１の画像Ｄ_１として入力される。

【0109】

ＣＰＵ５１ｂは、メモリ５２ｂに記憶されたプログラムに従って動作し、入力インターフェース５３ｂを介して入力された画像Ｄ_１に対して、実施の形態２の画像処理装置の各部の処理を行って、処理の結果得られた出力信号を出力インターフェース５４ｂから出力する。

【0110】

以上のように、本発明の画像合成装置及び方法、並びに画像処理装置及び方法のいずれかにおける処理の一部または全部をコンピュータに実行させるプログラム、及び該プログラムを記録した、コンピュータで読み取り可能な記録媒体もまた本発明の一部を成す。

【符号の説明】

【0111】

１，１ａ，１ｂ 合成比率決定部、 ２ 統計フィルタ、 ２ａ 最大値フィルタ、 ３ 合成部、 １０，１０ａ，１０ｂ 画像合成装置、 １１，１２ レベル正規化部、 １３ デコンボリューション処理部、 １４ａ，１４ｂ 撮像装置、 １０１ 輝度算出部、 １０２ 合成比率算出部、 １１１ 飽和画素検出部、 １１２ 合成比率算出部。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】