特許 6184290 画像処理装置および画像処理方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6184290

(24)【登録日】2017年8月4日

(45)【発行日】2017年8月23日

(54)【発明の名称】画像処理装置および画像処理方法

(51)【国際特許分類】

   H04N 5/235 20060101AFI20170814BHJP

   G03B 15/00 20060101ALI20170814BHJP

   G03B 17/00 20060101ALI20170814BHJP

   G03B 17/18 20060101ALI20170814BHJP

   G03B 7/091 20060101ALI20170814BHJP

   G06T 5/00 20060101ALI20170814BHJP

【ＦＩ】

   H04N5/235 500

   G03B15/00 H

   G03B17/00 X

   G03B17/18 Z

   G03B7/091

   G06T5/00 730

【請求項の数】7

【全頁数】17

(21)【出願番号】特願2013-218156(P2013-218156)

(22)【出願日】2013年10月21日

(65)【公開番号】特開2015-82675(P2015-82675A)

(43)【公開日】2015年4月27日

【審査請求日】2016年8月30日

(73)【特許権者】

【識別番号】500548884

【氏名又は名称】ハンファテクウィン株式会社

【氏名又は名称原語表記】ＨＡＮＷＨＡ ＴＥＣＨＷＩＮ ＣＯ．，ＬＴＤ．

(74)【代理人】

【識別番号】110000981

【氏名又は名称】アイ・ピー・ディー国際特許業務法人

(72)【発明者】

【氏名】都築 毅

【審査官】 藤原 敬利

(56)【参考文献】

【文献】 特開２０１１−１８８２７７（ＪＰ，Ａ）

【文献】 特開２０１３−１８７６８１（ＪＰ，Ａ）

【文献】 特開２００４−２５４１５１（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ ５／２２２− ５／２５７

Ｇ０３Ｂ ７／００ − ７／３０

Ｇ０３Ｂ １５／００ −１５／０３５

Ｇ０３Ｂ １５／０６ −１７／００

Ｇ０３Ｂ １７／１８ −１７／２０

Ｇ０３Ｂ １７／２６ −１７／４６

Ｇ０６Ｔ １／００ − １／４０

Ｇ０６Ｔ ３／００ − ５／５０

Ｇ０６Ｔ ９／００ − ９／４０

(57)【特許請求の範囲】

【請求項1】

動き検出結果と使用画像選択結果とに基づいて、動き領域と中露光画像以上を使用する領域とが重複しているか否かを判定する判定部と、
前記動き領域と前記中露光画像以上を使用する領域とが重複していると判定された場合、前記動き領域に対しては中露光画像を使用し、非動き領域に対しては中露光画像および長露光画像のうち少なくともいずれか一つを使用して第１の合成画像を生成する合成部と、
を備え、
前記合成部は、前記動き領域と前記中露光画像以上を使用する領域とが重複していないと判定された場合、前記使用画像選択結果に従って、短露光画像、中露光画像および長露光画像のうち少なくともいずれか一つを使用して第２の合成画像を生成する、
画像処理装置。

【請求項2】

前記判定部は、前記動き領域と前記中露光画像以上を使用する領域との重複画素数を計測し、前記重複画素数が閾値を超えているか否かを判定することにより前記動き領域と前記中露光画像以上を使用する領域とが重複しているか否かを判定する、
請求項１に記載の画像処理装置。

【請求項3】

前記合成部は、前記判定部による判定結果が変化した場合、前記第１の合成画像の生成と前記第２の合成画像の生成との間で合成画像の生成の手法を漸次的に切り換える、
請求項１に記載の画像処理装置。

【請求項4】

前記合成部は、少なくとも前記動き領域と前記中露光画像以上を使用する領域とが重複していない旨を示すように前記判定結果が変化した場合、前記第１の合成画像の生成から前記第２の合成画像の生成に合成画像の生成の手法を漸次的に切り換える、
請求項３に記載の画像処理装置。

【請求項5】

前記合成部は、前記判定部による判定結果が変化した場合、前記第１の合成画像の生成と前記第２の合成画像の生成との間で合成画像の生成の手法を切り換える前に所定の時間待機する、
請求項１に記載の画像処理装置。

【請求項6】

前記合成部は、少なくとも前記動き領域と前記中露光画像以上を使用する領域とが重複していない旨を示すように前記判定結果が変化した場合、前記第１の合成画像の生成から前記第２の合成画像の生成に合成画像の生成の手法を切り換える前に所定の時間待機する、
請求項５に記載の画像処理装置。

【請求項7】

動き検出結果と使用画像選択結果とに基づいて、動き領域と中露光画像以上を使用する領域とが重複しているか否かを判定するステップと、
前記動き領域と前記中露光画像以上を使用する領域とが重複していると判定された場合、前記動き領域に対しては中露光画像を使用し、非動き領域に対しては中露光画像および長露光画像のうち少なくともいずれか一つを使用して第１の合成画像を生成するステップと、
を含み、
前記動き領域と前記中露光画像以上を使用する領域とが重複していないと判定された場合、前記使用画像選択結果に従って、短露光画像、中露光画像および長露光画像のうち少なくともいずれか一つを使用して第２の合成画像を生成するステップを含む、
画像処理方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像処理装置および画像処理方法に関する。

【背景技術】

【0002】

近年、短時間露光の画像（以下、単に「短露光画像」とも言う。）と長時間露光の画像（以下、単に「長露光画像」とも言う。）を連続して撮影して合成することで、センサが撮影可能なダイナミックレンジを超えたダイナミックレンジを捉えた画像を得るＷＤＲ（ワイドダイナミックレンジ）もしくはＨＤＲ（ハイダイナミックレンジ）という撮影機能が増えてきている。かかる撮影機能は、逆光の構図など明暗比が非常に大きいシーンでは特に大きな効果がある。

【0003】

また、近年では、露光設定を３種類あるいはそれ以上に増やして撮影・合成することで広大なダイナミックレンジを捉える例もある。しかし、露光を変えて順次に撮影した画像を１枚に合成するという仕組みから、被写体に動きがあると合成時にずれが生じ、アーティファクトが発生するという問題がある。このアーティファクトを低減させることを目的としたＷＤＲ合成手法として、以下のような技術が開示されている。

【0004】

例えば、画素毎に動きの有無を検出して、動きがある画素については短露光画像を使用し、動きがない画素については短露光画像または長露光画像を使用してＷＤＲ合成を行う技術が開示されている（例えば、特許文献１参照）。かかる技術によれば、動きのある物体（以下、「動物体」とも言う。）が合成されることによって生じるぶれを低減した合成画像を生成することが可能となる。

【先行技術文献】

【特許文献】

【0005】

【特許文献1】特開２０１２−２３１２７３号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

しかしながら、特許文献１に記載された技術によれば、動き領域に対して短露光画像に大きなゲインをかけて明るくしてから合成画像に使用するため、動きオブジェクトがノイジーとなり得る。

【0007】

また、特許文献１においては、３枚以上を合成する場合についても言及されており、同様に動き領域で最短の露光画像のみを使用するとされている。かかる構成によれば、特許文献１における実施例のごとく、露光量の差が２倍から４倍程度と小さければ、最短露光画像のノイズも少し増える程度でさほど大きな問題は生じないが、合成可能なダイナミックレンジを拡大しようとして露光量の差を大きくしていくと、最短露光画像のノイズが大幅に増加して大きな問題を生じ得る。

【0008】

そこで、本発明は、３種類以上の露光で撮影および合成を行うＷＤＲにおいて、ノイズの発生が抑制され、かつ、ＷＤＲ合成時のアーティファクトが抑制されたＷＤＲ合成画像を得ることが可能な技術を提供する。

【課題を解決するための手段】

【0009】

本発明のある実施形態によれば、動き検出結果と使用画像選択結果とに基づいて、動き領域と中露光画像以上を使用する領域とが重複しているか否かを判定する判定部と、前記動き領域と前記中露光画像以上を使用する領域とが重複していると判定された場合、前記動き領域に対しては中露光画像を使用し、非動き領域に対しては中露光画像および長露光画像のうち少なくともいずれか一つを使用して第１の合成画像を生成する合成部と、を備える画像処理装置が提供される。

【0010】

かかる構成によれば、動き領域と中露光画像以上を使用する領域とが重複しているという条件を満たした場合に、動き領域については中露光画像を使用し、非動き領域については中露光画像と長露光画像を使用したＷＤＲ合成が行われる。したがって、かかる構成によれば、３種類以上の露光で撮影および合成を行うＷＤＲにおいて、ノイズの発生が抑制され、かつ、ＷＤＲ合成時のアーティファクトが抑制されたＷＤＲ合成画像を得ることが可能である。

【0011】

前記判定部は、前記動き領域と前記中露光画像以上を使用する領域との重複画素数を計測し、前記重複画素数が閾値を超えているか否かを判定することにより前記動き領域と前記中露光画像以上を使用する領域とが重複しているか否かを判定してもよい。例えば、閾値は、動き検出の精度に応じて設定されてよい。

【0012】

前記合成部は、前記動き領域と前記中露光画像以上を使用する領域とが重複していないと判定された場合、前記使用画像選択結果に従って、短露光画像、中露光画像および長露光画像のうち少なくともいずれか一つを使用して第２の合成画像を生成してもよい。

【0013】

前記合成部は、前記判定部による判定結果が変化した場合、前記第１の合成画像の生成と前記第２の合成画像の生成との間で合成画像の生成の手法を漸次的に切り換えてもよい。特に、前記合成部は、少なくとも前記動き領域と前記中露光画像以上を使用する領域とが重複していない旨を示すように前記判定結果が変化した場合、前記第１の合成画像の生成から前記第２の合成画像の生成に合成画像の生成の手法を漸次的に切り換えてもよい。

【0014】

また、前記合成部は、前記判定部による判定結果が変化した場合、前記第１の合成画像の生成と前記第２の合成画像の生成との間で合成画像の生成の手法を切り換える前に所定の時間待機してもよい。特に、前記合成部は、少なくとも前記動き領域と前記中露光画像以上を使用する領域とが重複していない旨を示すように前記判定結果が変化した場合、前記第１の合成画像の生成から前記第２の合成画像の生成に合成画像の生成の手法を切り換える前に所定の時間待機してもよい。

【0015】

かかる構成によれば、動きオブジェクトが中露光画像以上を使用する領域内で一旦止まって再び動いたり、該領域の境界で侵入・脱出を繰り返したりするような状況が発生しても、合成手法の急激な変化が起きず、見やすい動画像が得られる。

【0016】

また、本発明の別の実施形態によれば、動き検出結果と使用画像選択結果とに基づいて、動き領域と中露光画像以上を使用する領域とが重複しているか否かを判定するステップと、前記動き領域と前記中露光画像以上を使用する領域とが重複していると判定された場合、前記動き領域に対しては中露光画像を使用し、非動き領域に対しては中露光画像および長露光画像のうち少なくともいずれか一つを使用して第１の合成画像を生成するステップと、を含む、画像処理方法が提供される。

【0017】

かかる方法によれば、動き領域と中露光画像以上を使用する領域とが重複しているという条件を満たした場合に、動き領域については中露光画像を使用し、非動き領域については中露光画像と長露光画像を使用したＷＤＲ合成が行われる。したがって、かかる構成によれば、３種類以上の露光で撮影および合成を行うＷＤＲにおいて、ノイズの発生が抑制され、かつ、ＷＤＲ合成時のアーティファクトが抑制されたＷＤＲ合成画像を得ることが可能である。

【発明の効果】

【0018】

以上説明したように、本発明によれば、３種類以上の露光で撮影および合成を行うＷＤＲにおいて、ＷＤＲ合成時のアーティファクトが抑制され、かつ、動き領域に生じるアーティファクトが抑制したＷＤＲ合成画像を得ることが可能である。

【図面の簡単な説明】

【0019】

【図1】一般的なＷＤＲ合成技術を説明するための図である。

【図2】本発明の第１の実施形態に係る画像処理装置の機能構成を示す図である。

【図3】本発明の第１の実施形態に係る判定部の詳細構成例を示す図である。

【図4】本発明の第１の実施形態に係る判定部の動作の流れの例を示すフローチャートである。

【図5】本発明の第１の実施形態に係るＷＤＲ合成部の動作の流れの例を示すフローチャートである。

【図6】本発明の第１の実施形態に係る画像処理装置による処理結果の例を詳細に説明するための図である。

【図7】本発明の第２の実施形態に係る画像処理装置による使用画像の時間変化の例を示す図である。

【発明を実施するための形態】

【0020】

以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書および図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付すことにより重複説明を省略する。

【0021】

また、本明細書および図面において、実質的に同一の機能構成を有する複数の構成要素を、同一の符号の後に異なるアルファベットを付して区別する場合もある。ただし、実質的に同一の機能構成を有する複数の構成要素の各々を特に区別する必要がない場合、同一符号のみを付する。

【0022】

（一般的なＷＤＲ合成技術）
まず、一般的なＷＤＲ合成技術（例えば、上記の特許文献１に記載されたＷＤＲ合成技術）について説明する。図１は、一般的なＷＤＲ合成技術を説明するための図である。図１を参照すると、一般的なＷＤＲ合成技術における、短露光画像、長露光画像、動き検出結果、使用画像選択結果、合成画像（２枚）および合成画像（３枚）それぞれの例が示されている。図１に示した「短露光画像」および「長露光画像」それぞれは、日中の明るい屋外が見える窓を背景にして屋内を撮影して得られた画像である。

【0023】

「短露光画像」においては、窓の外の風景が適正露光で撮影されているが、室内および室内の動きオブジェクトは露光量が不足して暗く撮影されている。一方、「長露光画像」においては、室内および室内の動きオブジェクトが適正露光で撮影されているが、窓の外の風景は飽和してしまい見えなくなっている。手前に映っている人物は左に向かって移動している。

【0024】

また、図１に示したような「動き検出結果」が得られたとする。「動き検出結果」を参照すると、動きオブジェクトをカバーするように検出された動き領域が白い領域として表されており、非動き領域が黒い領域として表されている。ここで、動き領域に対して使用画像として短露光画像を選択するようにすれば、図１に示したような「使用画像選択結果」が得られる。図１に示した「使用画像選択結果」に基づいて「短露光画像」と「長露光画像」とを合成すると、図１に示した「合成画像（２枚）」のような二重像のない合成画像が得られる。

【0025】

しかし、「合成画像（２枚）」に示されるように、特許文献１に記載された技術によれば、動き領域に対して短露光画像に大きなゲインをかけて明るくしてから合成画像に使用するため、動きオブジェクトがノイジーとなり得る。

【0026】

また、特許文献１においては、３枚以上を合成する場合についても言及されており、同様に動き領域で最短の露光画像のみを使用するとされている。かかる構成によれば、特許文献１における実施例のごとく、露光量の差が２倍から４倍程度と小さければ、最短露光画像のノイズも少し増える程度でさほど大きな問題は生じないが、合成可能なダイナミックレンジを拡大しようとして露光量の差を大きくしていくと、最短露光画像のノイズが大幅に増加して大きな問題を生じ得る。

【0027】

例えば、露光時間１／６０秒で長露光画像、露光時間１／４８０秒で中露光画像、露光時間１／３８４０秒で短露光画像を撮像する場合のように、露光量を８倍ずつ変えて撮影・合成して広大なダイナミックレンジをカバーするＷＤＲを想定する。かかるＷＤＲにおいては、１／３８４０秒という非常に短いシャッタータイムの短露光画像が用いられるため、中露光画像でも飽和してしまうような超高輝度領域を撮影可能になる。

【0028】

しかし、かかるＷＤＲを特許文献１に記載された技術に適用した場合を想定すると、短露光画像における動き領域は、１／３８４０秒という非常に短いシャッタータイムによって非常に暗く撮影されている。そのため、この動き領域を非常に大きなゲインで増幅して合成画像に使用することになり、細部が認識不可能なほどノイズにまみれた合成画像が生成されてしまい、このようにして生成された合成画像は実用に向かない。図１に示した「合成画像（３枚）」は、窓の領域が１／３８４０秒の短露光でようやく撮影可能になるほどの非常に高い輝度を持っていると仮定した場合に、長露光画像、中露光画像および短露光画像を合成して得られた結果の例を示している。

【0029】

そこで、本明細書においては、３種類以上の露光で撮影および合成を行うＷＤＲにおいて、ノイズの発生が抑制され、かつ、ＷＤＲ合成時のアーティファクトが抑制されたＷＤＲ合成画像を得ることが可能な技術を提案する。なお、本明細書においては、異なる露光量で撮影されたＮ（Ｎは３以上の自然数）枚の画像の例として、露光量の少ない順に短露光画像、中露光画像および長露光画像の３つの画像を撮影する例を主に説明する。しかし、後に説明するように、４枚以上の画像を撮影する場合にも本発明の第１の実施形態に係る画像処理装置１は適用可能である。

【0030】

まず、本発明の第１の実施形態に係る画像処理装置１の機能構成について説明する。図２は、本発明の第１の実施形態に係る画像処理装置１の機能構成を示す図である。図２に示すように、画像処理装置１は、センサ１０、短露光画像メモリ２１、中露光画像メモリ２２、長露光画像メモリ２３、使用画像選択部３０、動き検出部４０、判定部５０、ＷＤＲ合成部６０および階調圧縮部８０を備える。以下、画像処理装置１が備える各機能ブロックの機能について順次詳細に説明する。

【0031】

画像処理装置１は、センサ１０の露光設定を変えて３枚の画像を連続撮影するが、ここでは短露光撮影を先に行い、その次に中露光撮影を行い、その次に長露光撮影を行うものとする。短露光撮影された短露光画像は短露光画像メモリ２１に書き込まれる。画像処理装置１は、短露光撮影が終了したら露光設定を変え、中露光撮影を行う。中露光撮影された中露光画像は中露光画像メモリ２２に書き込まれる。画像処理装置１は、中露光撮影が終了したら露光設定を変え、長露光撮影を行う。長露光撮影された長露光画像は長露光画像メモリ２３に書き込まれる。

【0032】

図２に示した例では、画像処理装置１は、長露光画像、中露光画像および短露光画像を出力するための共通の系統を１つ有し、センサ１０が長露光画像と中露光画像と短露光画像とを時分割で出力することとしたが、長露光画像と中露光画像と短露光画像とが同時に出力されてもよい。かかる場合、画像処理装置１は、センサ１０から長露光画像を出力するための系統と中露光画像を出力するための系統と短露光画像を出力するための系統との３つの系統を有すればよい。それぞれのシャッタータイムは、例えば、撮影対象のダイナミックレンジやセンサ仕様などによって決まる。

【0033】

なお、短露光画像、中露光画像および長露光画像それぞれの読み出し動作は、ハードウェア実装の場合にはシステムをどう組むかによって変わり得る。例えば、短露光画像、中露光画像および長露光画像それぞれは、一旦ＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）などのメモリに格納された後、合成時に再度読み出されるような構成でもよい。

【0034】

ここで、本発明の第１の実施形態においては、短露光画像、中露光画像および長露光画像という用語を使用するが、これらの用語は、撮影された３つの画像それぞれの絶対的な露光時間を限定するものではない。したがって、露光時間の異なる３つの画像が撮影された場合に、当該３つの画像のうち、露光時間が短い順に、短露光画像、中露光画像および長露光画像と名付けられる。

【0035】

センサ１０は、外部からの光を撮像素子の受光平面に結像させ、結像された光を電荷量に光電変換し、当該電荷量を電気信号に変換するイメージセンサにより構成される。イメージセンサの種類は特に限定されず、例えば、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）であってもよいし、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）であってもよい。

【0036】

使用画像選択部３０は、短露光画像メモリ２１から読み出した短露光画像と、中露光画像メモリ２２から読み出した中露光画像と、長露光画像メモリ２３から読み出した長露光画像とを参照する。そして、使用画像選択部３０は、短露光画像、中露光画像および長露光画像それぞれの飽和状態や動きなどを検出して、短露光画像と中露光画像と長露光画像とのいずれかを使用画像として選択するための使用画像選択結果を生成する。短露光画像と中露光画像と長露光画像とのいずれかを選択するアルゴリズムとしては様々なアルゴリズムが想定される。

【0037】

例えば、長露光画像において飽和してしまった領域は中露光画像においては飽和していない可能性が高いため、当該領域の使用画像としては中露光画像を選択すればよい。しかし、当該領域が中露光画像においても飽和している場合には当該領域の使用画像として短露光画像を選択してもよい。しかし、この処理だけでは、大きな動きがある領域では輪郭が二重になるなどといったアーティファクトが発生し得る。そのため、動きを検出して輪郭が二重になる現象を低減する処理を行ってもよい。

【0038】

なお、使用画像選択結果は、短露光画像、中露光画像および長露光画像のいずれか１つを画素毎に選択するためのデータの集合であってもよい。また、使用画像選択結果は、短露光画像、中露光画像および長露光画像それぞれをどの程度の比率で混合するかを画素毎に示す混合比率の集合であってもよい。例えば、使用画像選択結果は、短露光画像、中露光画像および長露光画像の隣り合う２枚を選択するためのデータとそれらをどの程度の比率で混合するかを示す混合比率との組み合わせの集合であってもよい。混合比率を算出するアルゴリズムも特に限定されない。

【0039】

動き検出部４０は、動きを検出する。動きの検出手法は特に限定されないが、複数枚の長露光画像の差分から動きを検出する手法であってもよいし、複数枚の中露光画像の差分から動きを検出する手法であってもよいし、複数枚の短露光画像の差分から動きを検出する手法であってもよい。あるいは、動きの検出手法は、長露光画像と中露光画像との差分から動きを検出する手法であってもよいし、中露光画像と短露光画像との差分から動きを検出する手法であってもよい。露光量の異なる複数の画像から動きを検出する場合には、いずれかの画像に対して露光比に応じたゲインを乗じて正規化した上で差分を算出するのがよい。

【0040】

あるいは、動きの検出手法は、長露光画像および中露光画像の差分から検出された第１の動きと中露光画像および短露光画像との差分から検出された第２の動きとを統合して動きを検出する手法であってもよい。第１の動きと第２の動きとの統合は、どのようになされてもよいが、例えば、第１の動きと第２の動きとのうちで、より大きい動きを採用することによって第１の動きと第２の動きとの統合がなされてもよい。

【0041】

さらに、動き検出部４０は、検出した動きに基づいて動き領域と非動き領域とを検出して動き検出情報を得る。例えば、動き領域は、動きが閾値よりも大きい領域であり、非動き領域は、動きが閾値よりも小さい領域である。動きが閾値と同一の領域はいずれの領域として検出されてもよい。

【0042】

判定部５０は、動き検出部４０からの動き検出結果と使用画像選択部３０からの使用画像選択結果とに基づいて、動き検出部４０によって検出された動き領域と使用画像選択結果における中露光画像以上を使用する領域とが重複しているか否かを判定する。中露光画像以上は、中露光画像以上に明るい領域を捉え得る画像（中露光以下の露光量によって撮像された画像）に相当し得る。例えば、判定部５０は、動き領域と中露光画像以上を使用する領域との重複画素数を計測し、重複画素数が閾値を超えているか否かを判定することにより動き領域と中露光画像以上を使用する領域とが重複しているか否かを判定すればよい。かかる場合、閾値は、動き検出の精度に応じて設定されてよい。

【0043】

ここで、判定部５０が有する機能について、図３および図４を参照しながらさらに詳細に説明する。図３は、本発明の第１の実施形態に係る判定部５０の詳細構成例を示す図である。図３に示すように、判定部５０は、比較判定部５１とカウンタ５２と重複判定部５３とを有している。また、図４は、本発明の第１の実施形態に係る判定部５０の動作の流れの例を示すフローチャートである。

【0044】

まず、図４に示すように、比較判定部５１は、対象の画素が、動き領域内の画素であり、かつ、中露光画像以上を使用する領域内の画素であるか否かを判定する（ステップＳ１１）。比較判定部５１は、対象の画素が、動き領域内の画素であり、かつ、中露光画像以上を使用する領域内の画素であると判定した場合には、カウンタ５２を加算する（ステップＳ１２）。一方、比較判定部５１は、対象の画素が、非動き領域内の画素であるか、または、中露光画像以上を使用する領域内ではない画素である場合には、カウンタ５２を加算しない。

【0045】

比較判定部５１は、全画素についての判定が終了していない場合には（ステップＳ１３で「Ｎｏ」）、ステップＳ１１に戻る。一方、全画素についての判定が終了した場合には（ステップＳ１３で「Ｙｅｓ」）、動き領域と短露光画像使用領域との重複画素数の計測が終了するため、重複判定部５３は、重複画素数が閾値を超えているか否かを判定する（ステップＳ１４）。

【0046】

重複判定部５３は、重複画素数が閾値を超えている場合には（ステップＳ１４で「Ｙｅｓ」）、動き領域と中露光画像以上を使用する領域とが重複していると判定する（ステップＳ１５）。一方、重複判定部５３は、重複画素数が閾値を超えていない場合には（ステップＳ１４で「Ｎｏ」）、動き領域と中露光画像以上を使用する領域とが重複していないと判定する（ステップＳ１６）。

【0047】

ＷＤＲ合成部６０は、動き検出部４０からの動き検出結果と使用画像選択部３０からの使用画像選択結果と判定部５０からの判定結果とを受け、当該動き検出結果と当該使用画像選択結果と当該判定結果とに基づいて短露光画像と中露光画像と長露光画像とを合成することによりＷＤＲ画像を生成する。具体的には、ＷＤＲ合成部６０は、判定部５０によって動き領域と中露光画像以上を使用する領域とが重複していると判定された場合、動き領域に対しては中露光画像を使用し、非動き領域に対しては使用画像選択結果に従って中露光画像と長露光画像を使用して第１の合成画像を生成する。

【0048】

かかる構成によれば、動き領域と中露光画像以上を使用する領域とが重複しているという条件を満たした場合に、動き領域については中露光画像を使用し、非動き領域については中露光画像と長露光画像を使用したＷＤＲ合成が行われる。したがって、かかる構成によれば、３種類以上の露光で撮影および合成を行うＷＤＲにおいて、ＷＤＲ合成時のアーティファクトが抑制され、かつ、動き領域に対して無条件に短露光画像が使用される場合と比較してノイズが抑制されたＷＤＲ合成画像を得ることが可能である。

【0049】

なお、ＷＤＲ合成部６０は、判定部５０によって動き領域と中露光画像以上を使用する領域とが重複していないと判定された場合には、どのようにして合成を行ってもよいが、例えば、使用画像選択結果に従って、短露光画像と中露光画像と長露光画像とを使用して第２の合成画像を生成すればよい。

【0050】

ＷＤＲ合成部６０による合成手法は特に限定されない。例えば、ＷＤＲ合成部６０は、使用画像選択結果が、短露光画像、中露光画像および長露光画像のいずれか１つを画素毎に選択するためのデータの集合である場合には、当該データに基づいて短露光画像、中露光画像および長露光画像のいずれか１つを使用して第２の合成画像を生成すればよい。

【0051】

あるいは、ＷＤＲ合成部６０は、使用画像選択結果は、短露光画像、中露光画像および長露光画像それぞれをどの程度の比率で混合するかを画素毎に示す混合比率の集合である場合には、それぞれの混合比率に基づいて、短露光画像、中露光画像および長露光画像を混合して第２の合成画像を生成すればよい。

【0052】

また、ＷＤＲ合成部６０は、使用画像選択結果が、短露光画像、中露光画像および長露光画像の隣り合う２枚を選択するためのデータとそれらをどの程度の比率で混合するかを示す混合比率との組み合わせの集合である場合には、当該データに従って選択される２枚の画像とそれぞれの混合比率に基づいて、２枚の画像を混合して第２の合成画像を生成すればよい。

【0053】

ＷＤＲ合成部６０が有する機能について、図５を参照しながらさらに詳細に説明する。図５は、本発明の第１の実施形態に係るＷＤＲ合成部６０の動作の流れの例を示すフローチャートである。まず、図５に示すように、ＷＤＲ合成部６０は、判定部５０によって動き領域と中露光画像を使用する領域とが重複していないと判定された場合（ステップＳ２１で「Ｎｏ」）、対象の画素について使用画像選択結果に従って、短露光画像、中露光画像および長露光画像のうち少なくともいずれか一つを使用して（ステップＳ２２）、ＷＤＲ合成を行う（ステップＳ２６）。

【0054】

一方、ＷＤＲ合成部６０は、判定部５０によって動き領域と中露光画像を使用する領域とが重複していると判定された場合（ステップＳ２１で「Ｙｅｓ」）、対象の画素が動き領域内の画素であるか否かを判定する。ＷＤＲ合成部６０は、対象の画素が動き領域内の画素ではないと判定した場合には（ステップＳ２３で「Ｎｏ」）、対象の画素について中露光画像および長露光画像のうち少なくともいずれか一つを使用して（ステップＳ２４）、ＷＤＲ合成を行う（ステップＳ２６）。

【0055】

より具体的には、ＷＤＲ合成部６０は、対象の画素が動き領域内の画素ではないと判定した場合には、対象の画素について使用画像の上限を中露光画像に制限すればよい。その結果、中露光画像以上を使用する領域については、中露光画像がＷＤＲ合成に使用され、中露光画像未満を使用する領域については、使用画像選択結果に従った使用画像がＷＤＲ合成に使用される。

【0056】

一方、ＷＤＲ合成部６０は、対象の画素が動き領域内の画素であると判定した場合には（ステップＳ２３で「Ｙｅｓ」）、中露光画像を使用して（ステップＳ２５）、ＷＤＲ合成を行う（ステップＳ２６）。ＷＤＲ合成部６０は、全画素についての合成が終了していない場合には（ステップＳ２７で「Ｎｏ」）、ステップＳ２１に戻る。一方、ＷＤＲ合成部６０は、全画素についての合成が終了した場合には（ステップＳ２７で「Ｙｅｓ」）、ＷＤＲ合成を終了する。

【0057】

階調圧縮部８０は、ダイナミックレンジの広い画像信号のビットレンジを所定のビットレンジに収めるための圧縮処理と人間の目で見た情景に近づけるような階調補正とを、ＷＤＲ合成部６０により生成されたＷＤＲ画像に対して行う。当該圧縮処理と当該階調補正とは、同時に行われてもよいし、異なるタイミングにおいて行われてもよい。

【0058】

階調圧縮部８０の後段は、例えば、ベイヤーデータからＲＧＢプレーンを生成するデモザイク部、輪郭強調部、カラーマネージメントなどを含む画像処理エンジンに接続される。そのため、階調圧縮部８０からの出力信号のデータ量は、例えば、画像処理エンジンへの入力データのサイズに適合するように（例えば、１２ｂｉｔ程度に）調整されるのが好ましい。単純にデータサイズを低下させるだけでは暗い画像に変換されてしまうため、人間の視覚特性に近づくように高輝度側が強く圧縮されるとよい。

【0059】

続いて、本発明の第１の実施形態に係る画像処理装置１による処理結果の例を詳細に説明する。図６は、本発明の第１の実施形態に係る画像処理装置１による処理結果の例を詳細に説明するための図であり、本発明の第１の実施形態における、使用画像選択結果（３枚）、合成画像（３枚）、使用画像選択結果（２枚・侵入時）、合成画像（２枚・侵入時）、使用画像選択結果（２枚・移動後）および合成画像（２枚・移動後）それぞれの例を示す図である。

【0060】

図６の「使用画像選択結果（３枚）」「使用画像選択結果（２枚・侵入時）」および「使用画像選択結果（２枚・移動後）」においては、白い領域が短露光画像を使用する領域として示され、灰色の領域が中露光画像を使用する領域として示され、黒い領域が長露光画像を使用する領域として示されている。まず、「使用画像選択結果（３枚）」を参照すると、窓が存在する領域の使用画像として短露光画像が選択されており、その周縁部の使用画像として中露光画像が選択されており、壁が存在する領域の使用画像として長露光画像が選択されている。

【0061】

動きオブジェクトが画面内に侵入する前の状態においては、「使用画像選択結果（３枚）」に従って、短露光画像と中露光画像と長露光画像とを使用した「合成画像（３枚）」が生成される。「合成画像（３枚）」を参照すると、動きオブジェクト（この例では、人物が存在する領域）が画面内に侵入する前の状態においては、窓が存在する領域も飽和せずに見えている。

【0062】

動きオブジェクトが画面内に侵入したときの使用画像選択結果の例を「使用画像選択結果（２枚・侵入時）」に示す。「使用画像選択結果（２枚・侵入時）」を参照すると、動きオブジェクトが中露光画像以上を使用する領域と重なっているため、動き領域に対して中露光画像が使用され、画面全体の使用画像も中露光画像以下（この例では、中露光画像および長露光画像）に制限されている。このようにして合成が行われると、「合成画像（２枚・侵入時）」が生成される。

【0063】

「合成画像（２枚・侵入時）」を参照すると、窓が存在する領域に対しては、使用画像選択結果においては短露光画像が使用されるべきであるが、実際には中露光画像が使用されるため、飽和が起きて背景が消えてしまう。その代わりに、動きオブジェクトは、少しノイズが増える程度で十分視認でき、動きアーティファクトも発生しないというメリットを得ることができる。この状況は、動きオブジェクトが中露光画像使用領域および短露光画像使用領域の少なくともいずれか一方と重なっている間は維持される。

【0064】

動きオブジェクトが画面内を移動したときの使用画像選択結果の例を「使用画像選択結果（２枚・移動後）」に示す。「使用画像選択結果（２枚・移動後）」を参照すると、動きオブジェクトが移動されているが、相変わらず中露光画像以上を使用する領域と重なっているため、動き領域に対して中露光画像が使用され、画面全体の使用画像も中露光画像以下（この例では、中露光画像および長露光画像）に制限される。このようにして合成が行われると、「合成画像（２枚・移動後）」が生成される。動きオブジェクトが中露光画像以上を使用する領域から脱出すると、動きオブジェクトが画面内に侵入する前の状態に戻る。

【0065】

本発明の実施形態によるＷＤＲ合成手法は、一般的なＷＤＲ合成手法と比較して、短露光画像使用領域における飽和を一時的に許容する代わりに、動きオブジェクトが存在する領域において発生するノイズを低減し、動きアーティファクトの発生も抑制することが可能である。まず、本発明の実施形態によるＷＤＲ合成手法によれば、短露光画像使用領域における飽和は動きオブジェクトが該領域を通過する時だけに限定され得ることがメリットとして挙げられる。また、一般的には動きのない短露光画像使用領域よりも動きオブジェクトの方が注目されやすいため、動きのない背景が一時的に飽和したとしても実際のデメリットは小さく、動きオブジェクが存在する領域において大きなノイズを発生させない方が合理的であると考えられる。これらの理由により、本発明の実施形態によるＷＤＲ合成手法は、３フレーム以上を合成するＷＤＲの制御方法として有効な手法であると言える。

【0066】

（第２の実施形態）
続いて、本発明の第２の実施形態について説明する。動きオブジェクトが中露光画像以上を使用する領域と重なっているか否かで合成手法を切り替える第１の実施形態に係るＷＤＲ合成技術を動画像に対して適用した場合、１つの問題が発生し得る。例えば、動きオブジェクトが中露光画像以上を使用する領域内で一旦止まって再び動く場合や、該領域の境界で侵入・脱出を繰り返すような場合において、背景が見えたり飽和したりを頻繁に繰り返して見にくい動画像となってしまう現象が生じ得る。

【0067】

そこで、本発明の第２の実施形態においては、時間方向に漸次的に変化するような仕組みを作ってこの現象を緩和する。図７は、本発明の第２の実施形態に係る画像処理装置１による使用画像の時間変化の例を示す図である。例えば、図７に示したように、ＷＤＲ合成部６０は、使用画像の上限と、動き領域に対して割り当てられる使用画像の下限とを時間方向で制御することで上記の現象を緩和することが可能である。

【0068】

まず、動きオブジェクトが画面内に侵入する前の状態においては（図６の「合成画像（３枚）」参照）、使用画像の上限と、動き領域に対して割り当てられる使用画像の下限とのいずれにも制限がかかっていない。動きオブジェクトが中露光画像以上を使用する領域に侵入すると、動き領域に対して割り当てられる使用画像の下限が中露光画像に設定される。これによって動き領域に対して中露光画像が割り当てられる。また、画面全体の使用画像の上限が中露光画像に設定される。図７に示すように、侵入が検出されたフレームにおける重複判定の結果を次のフレームでの合成時に用いることによって、このような設定がなされてもよい。

【0069】

ここで、ＷＤＲ合成部６０は、「重複」と「非重複」との間で判定結果が変化した場合、上記の第１の合成画像の生成と上記の第２の合成画像の生成との間で合成画像の生成の手法を切り換えるが、切り換えの前に所定の時間待機するとよい。特に、ＷＤＲ合成部６０は、少なくとも「重複」から「非重複」に判定結果が変化した場合、切り換えの前に所定の時間待機するとよい。

【0070】

具体的には、図７に示すように、動きオブジェクトが中露光画像以上を使用する領域から脱出しても、「ＷＡＩＴ」時間だけ制限状態を維持させるとよい。例えば、脱出時点からのフレーム数をカウントして、それが「ＷＡＩＴ」時間に相当するフレーム数に達するまで、制限状態を維持させればよい。

【0071】

また、ＷＤＲ合成部６０は、「重複」と「非重複」との間で判定結果が変化した場合、上記の第１の合成画像の生成と上記の第２の合成画像の生成との間で合成画像の生成の手法を漸次的に切り換えるとよい。特に、ＷＤＲ合成部６０は、少なくとも「重複」から「非重複」に判定結果が変化した場合、上記の第１の合成画像の生成から上記の第２の合成画像の生成に合成画像の生成の手法を漸次的に切り換えるとよい。

【0072】

具体的には、図７に示すように、使用画像の上限と動き領域に対して割り当てられる使用画像の下限とを漸次的に戻していくとよい。例えば、戻るスピードは、図７の「ＳＬＯＰＥ」に示すように、画像同士の混合に用いられるαブレンド比率の１フレーム当たりの増減量によって決定され得る。

【0073】

使用画像の上限が短露光画像以上になったら漸次的処理は終了されてよい。動き領域に割り当てられる使用画像の下限も使用画像の上限と同様に制御されてよい。なお、「ＷＡＩＴ」や「ＳＬＯＰＥ」の動作期間中に侵入が発生した場合は、状態をリセットして侵入直後の状態に戻してもよい。以上に示したような手法によって、動きオブジェクトが中露光画像以上を使用する領域内で一旦止まって再び動いたり、該領域の境界で侵入・脱出を繰り返したりするような状況が発生しても、合成手法の急激な変化が起きず、見やすい動画像が得られる。

【0074】

以上、本発明の第１の実施形態および第２の実施形態について説明した。本発明の第１実施形態によれば、動き検出結果と使用画像選択結果とに基づいて、動き領域と中露光画像以上を使用する領域とが重複しているか否かを判定する判定部５０と、動き領域と中露光画像以上を使用する領域とが重複していると判定された場合、動き領域に対しては中露光画像を使用し、非動き領域に対しては中露光画像および長露光画像のうち少なくともいずれか一つを使用して第１の合成画像を生成するＷＤＲ合成部６０と、を備える画像処理装置１が提供される。

【0075】

かかる構成によれば、動き領域と中露光画像以上を使用する領域とが重複しているという条件を満たした場合に、動き領域については中露光画像を使用し、非動き領域については中露光画像と長露光画像を使用したＷＤＲ合成が行われる。したがって、かかる構成によれば、３種類以上の露光で撮影および合成を行うＷＤＲにおいて、ノイズの発生が抑制され、かつ、ＷＤＲ合成時のアーティファクトが抑制されたＷＤＲ合成画像を得ることが可能である。

【0076】

一方、ＷＤＲ合成部６０は、動き領域と中露光画像以上を使用する領域とが重複していないと判定された場合、使用画像選択結果に従って、短露光画像、中露光画像および長露光画像のうち少なくともいずれか一つを使用して第２の合成画像を生成すればよい。

【0077】

また、本発明の第２実施形態において、ＷＤＲ合成部６０は、判定部５０による判定結果が変化した場合、第１の合成画像の生成と第２の合成画像の生成との間で合成画像の生成の手法を漸次的に切り換える。特に、前記合成部は、少なくとも前記動き領域と前記中露光画像以上を使用する領域とが重複していない旨を示すように前記判定結果が変化した場合、前記第１の合成画像の生成から前記第２の合成画像の生成に合成画像の生成の手法を漸次的に切り換えてもよい。

【0078】

かかる構成によれば、動きオブジェクトが中露光画像以上を使用する領域内で一旦止まって再び動いたり、該領域の境界で侵入・脱出を繰り返したりするような状況が発生しても、合成手法の急激な変化が起きず、見やすい動画像が得られる。

【0079】

また、ＷＤＲ合成部６０は、判定部５０による判定結果が変化した場合、第１の合成画像の生成と第２の合成画像の生成との間で合成画像の生成の手法を切り換える前に所定の時間待機してもよい。特に、ＷＤＲ合成部６０は、少なくとも前記動き領域と前記中露光画像以上を使用する領域とが重複していない旨を示すように前記判定結果が変化した場合、上記の第１の合成画像の生成から上記の第２の合成画像の生成に合成画像の生成の手法を切り換える前に所定の時間待機してもよい。

【0080】

かかる構成によれば、動きオブジェクトが中露光画像以上を使用する領域内で一旦止まって再び動いたり、該領域の境界で侵入・脱出を繰り返したりするような状況が発生しても、合成手法の急激な変化が起きず、見やすい動画像が得られる。

【0081】

以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。

【0082】

例えば、本明細書においては、異なる露光量で撮影されたＮ（Ｎは３以上の自然数）枚の画像の例として、露光量の少ない順に短露光画像、中露光画像および長露光画像の３つの画像を撮影する例を主に説明した。しかし、既に述べたように、４枚以上の画像を撮影する場合にも本発明の実施形態に係る画像処理装置１は適用可能である。例えば、４枚の画像を撮影する場合、中露光画像が２種類存在する。この２種類の中露光画像のうちどちらの画像を動き領域において使用して使用画像の上限とするかは、予め選択しておけばよい。例えば、動きオブジェクトに生じるノイズ量や、短露光画像が使用されないことによって発生する飽和の程度などに基づいて選択されればよい。

【0083】

続いて、以下の特許文献２ないし特許文献４に記載された手法に関する説明とその問題点について説明する。

【0084】

特許文献２（特開２０１１−２０５５４６号公報）には、露光アンダーと露光オーバーを繰り返しながら、露光比を複数種類の間で変更して撮影し、得られた複数枚の画像群から、被写体のダイナミックレンジに合う２枚の画像を選んで合成する技術が開示されている。特許文献２においては、露光比を６種類の間で変更している。かかる技術によれば、常に時間的に隣り合う２枚を合成に用いるので、合成時の動きぶれを抑えることができ、被写体が超高輝度の物体を含んでいても、適切な露光比設定と適切な２枚の画像選択をすれば、合成可能である。

【0085】

しかし、特許文献２に記載された技術においては、時間的に隣り合う２枚を合成に用いるので、合成時の動きぶれを抑えることができるが、合成に用いる画像が２枚であっても合成時の動きぶれは発生してしまう。また、特許文献２に記載された技術においては、露光比の異なる画像を多く用意しなければならないため、合成結果として動画を得ようとするとフレームレートが著しく低下してしまうという問題が生じ得る。

【0086】

特許文献３（特開２００８−１６０８８１号公報）には、短い単位露光時間で画像を連続撮影し、得られた単位画像を加算して長露光画像を生成する技術が開示されている。かかる技術によれば、短露光画像を長露光画像生成の中心の時刻に撮影された単位画像とすれば、位置ずれがほとんどない合成画像を生成可能である。

【0087】

しかし、特許文献３に記載された技術においては、単位露光時間をあまりにも短くすると、撮影データの転送スピードが間に合わなくなったり、転送時の消費電力・発熱が非常に大きくなったりすると考えられる。したがって、単位露光時間はあまり小さくできため、高輝度を撮影する性能があまり高められない。

【0088】

また、特許文献３に記載された技術においては、位置ずれがないことはメリットではあるが、背景と物体で輝度差が大きい状況でその動物体を撮影した場合、長露光画像には動きぼけが生じて物体が大きく撮影されるのに対して、短露光画像は動きぼけがないので物体は小さく撮影される。この状況で合成を行うと、物体の周囲に「もや」のような影が発生して、不自然な画像になると思われる。

【0089】

特許文献４（特願２０１３−１７３６９９）には、上記の特許文献１に記載された技術において動きオブジェクトがノイジーとなり得るという問題を解決するための手法として、動きオブジェクトのみに有効となるノイズリダクションを適用する手法が本願の発明者によって提案された。しかし、１／３８４０秒というような超短露光画像のノイズを十分に消すことはできないため、かかる手法を使っても問題は解決されない。

【符号の説明】

【0090】

１ 画像処理装置
１０ センサ
２１ 短露光画像メモリ
２２ 中露光画像メモリ
２３ 長露光画像メモリ
３０ 使用画像選択部
４０ 検出部
５０ 判定部
５１ 比較判定部
５２ カウンタ
５３ 重複判定部
６０ ＷＤＲ合成部（合成部）
８０ 階調圧縮部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】