特許 6227935 画像処理装置および画像処理方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6227935

(24)【登録日】2017年10月20日

(45)【発行日】2017年11月8日

(54)【発明の名称】画像処理装置および画像処理方法

(51)【国際特許分類】

   H04N 5/235 20060101AFI20171030BHJP

   H04N 5/243 20060101ALI20171030BHJP

   G06T 5/50 20060101ALI20171030BHJP

   G03B 7/091 20060101ALI20171030BHJP

   G03B 7/28 20060101ALI20171030BHJP

   G03B 15/00 20060101ALI20171030BHJP

【ＦＩ】

   H04N5/235 500

   H04N5/243

   G06T5/50

   G03B7/091

   G03B7/28

   G03B15/00 U

【請求項の数】5

【全頁数】14

(21)【出願番号】特願2013-173699(P2013-173699)

(22)【出願日】2013年8月23日

(65)【公開番号】特開2015-41984(P2015-41984A)

(43)【公開日】2015年3月2日

【審査請求日】2016年7月4日

(73)【特許権者】

【識別番号】500548884

【氏名又は名称】ハンファテクウィン株式会社

【氏名又は名称原語表記】ＨＡＮＷＨＡ ＴＥＣＨＷＩＮ ＣＯ．，ＬＴＤ．

(74)【代理人】

【識別番号】110000981

【氏名又は名称】アイ・ピー・ディー国際特許業務法人

(72)【発明者】

【氏名】都築 毅

【審査官】 ▲徳▼田 賢二

(56)【参考文献】

【文献】 特開２０１１−１８８２７７（ＪＰ，Ａ）

【文献】 米国特許出願公開第２０１１／０２２２７９３（ＵＳ，Ａ１）

【文献】 特開２０１３−０２１４９０（ＪＰ，Ａ）

【文献】 米国特許出願公開第２０１３／００１６２５３（ＵＳ，Ａ１）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ ５／２３５

Ｇ０３Ｂ ７／０９１

Ｇ０３Ｂ ７／２８

Ｇ０３Ｂ １５／００

Ｇ０６Ｔ ５／５０

Ｈ０４Ｎ ５／２４３

(57)【特許請求の範囲】

【請求項1】

動き検出結果と使用画像選択結果とに基づいて、動き領域と短露光画像使用領域とが重複しているか否かを判定する判定部と、
前記動き領域と前記短露光画像使用領域とが重複していると判定された場合、前記動き領域に対しては短露光画像を使用し、非動き領域に対しては前記使用画像選択結果に従って短露光画像及び／または長露光画像を使用して合成画像を生成する合成部と、
を備える、画像処理装置。

【請求項2】

前記判定部は、前記動き領域と前記短露光画像使用領域との重複画素数を計測し、前記重複画素数が閾値を超えているか否かを判定することにより前記動き領域と前記短露光画像使用領域とが重複しているか否かを判定する、
請求項１に記載の画像処理装置。

【請求項3】

前記合成部は、前記動き領域と前記短露光画像使用領域とが重複していないと判定された場合、前記使用画像選択結果に従って短露光画像及び／または長露光画像を使用する、
請求項１に記載の画像処理装置。

【請求項4】

前記画像処理装置は、
前記動き領域に対応する短露光画像領域のみに対してノイズ低減処理を行うノイズ低減処理部をさらに備える、
請求項１に記載の画像処理装置。

【請求項5】

動き検出結果と使用画像選択結果とに基づいて、動き領域と短露光画像使用領域とが重複しているか否かを判定するステップと、
前記動き領域と前記短露光画像使用領域とが重複していると判定された場合、前記動き領域に対しては短露光画像を使用し、非動き領域に対しては前記使用画像選択結果に従って短露光画像及び／または長露光画像を使用して合成画像を生成するステップと、
を含む、画像処理方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像処理装置および画像処理方法に関する。

【背景技術】

【0002】

近年、短時間露光の画像（以下、単に「短露光画像」とも言う。）と長時間露光の画像（以下、単に「長露光画像」とも言う。）を連続して撮影して合成することで、センサが撮影可能なダイナミックレンジを超えたダイナミックレンジを捉えた画像を得るＷＤＲ（ワイドダイナミックレンジ）もしくはＨＤＲ（ハイダイナミックレンジ）という撮影機能が増えてきている。かかる撮影機能は、逆光の構図など明暗比が非常に大きいシーンでは特に大きな効果がある。

【0003】

しかし、短露光画像と長露光画像とを合成するという仕組みから、被写体に動きがあると合成時にずれが生じ、輪郭が二重になるといったアーティファクトが発生するという問題がある。このようなアーティファクトを低減するための技術として様々な技術が開示されている。

【0004】

例えば、画素毎に動きの有無を検出して、動きがある画素については短露光画像を使用し、動きがない画素については短露光画像または長露光画像を使用してＷＤＲ合成を行う技術が開示されている（例えば、特許文献１参照）。かかる技術によれば、動きのある物体（以下、「動物体」ともいう。）が合成されることによって生じるぶれを低減した合成画像を生成することが可能となる。

【0005】

また、例えば、動きベクトルに基づいて時間的に隣接する２枚の長露光画像の中間に位置する補間フレームを生成し、この補間フレームと短露光画像とを使用してＷＤＲ合成を行う技術が開示されている（例えば、特許文献２参照）。かかる技術によれば、短露光画像と時間的に揃った補間フレームが合成されるため、動物体が合成されることによって生じるぶれを低減した合成画像を生成することが可能となる。

【先行技術文献】

【特許文献】

【0006】

【特許文献1】特開２０１２−２３１２７３号公報

【特許文献2】特開２０１２−２５３６７４号公報

【発明の概要】

【発明が解決しようとする課題】

【0007】

しかしながら、特許文献１に記載された技術によれば、動き領域に対して短露光画像に大きなゲインをかけて明るくしてから合成画像に使用するため、動きオブジェクトがノイジーとなり得る。さらに、特許文献１に記載された技術によれば、動き領域に対しては必ず短露光画像が使用されることから、動きオブジェクトが常にノイジーとなり得る。

【0008】

また、特許文献２に記載された技術によれば、ＷＤＲ合成時に生じるアーティファクトは低減され得るが、補間フレーム生成時の補間ミスによって新たなアーティファクトが生じてしまう可能性がある。さらに、正確な動きベクトルを検出するためには大きな回路規模が必要となってしまう。

【0009】

そこで、本発明は、ＷＤＲ合成時のアーティファクトが抑制され、かつ、ノイズも抑制されたＷＤＲ合成画像を得ることが可能な技術を提供する。

【課題を解決するための手段】

【0010】

本発明のある実施形態によれば、動き検出結果と使用画像選択結果とに基づいて、動き領域と短露光画像使用領域とが重複しているか否かを判定する判定部と、前記動き領域と前記短露光画像使用領域とが重複していると判定された場合、前記動き領域に対しては短露光画像を使用し、非動き領域に対しては前記使用画像選択結果に従って短露光画像及び／または長露光画像を使用して合成画像を生成する合成部と、を備える画像処理装置が提供される。

【0011】

かかる構成によれば、動き領域と短露光画像使用領域とが重複しているという条件を満たした場合に、動き領域については短露光画像を使用し、非動き領域については短露光画像及び／または長露光画像を使用したＷＤＲ合成が行われる。したがって、かかる構成によれば、ＷＤＲ合成時のアーティファクトが抑制され、かつ、動き領域に対して無条件に短露光画像が使用される場合と比較してノイズが抑制されたＷＤＲ合成画像を得ることが可能である。

【0012】

前記判定部は、前記動き領域と前記短露光画像使用領域との重複画素数を計測し、前記重複画素数が閾値を超えているか否かを判定することにより前記動き領域と前記短露光画像使用領域とが重複しているか否かを判定してもよい。例えば、閾値は、動き検出の精度に応じて設定されてよい。

【0013】

また、例えば、前記合成部は、前記動き領域と前記短露光画像使用領域とが重複していないと判定された場合、前記使用画像選択結果に従って短露光画像及び／または長露光画像を使用してもよい。

【0014】

また、前記画像処理装置は、前記動き領域に対応する短露光画像領域のみに対してノイズ低減処理を行うノイズ低減処理部をさらに備えてもよい。かかる構成によれば、動き領域に対応する短露光画像領域のノイズが抑制され、一層ノイズの少ないＷＤＲ合成画像を得ることが可能である。

【0015】

また、本発明の別の実施形態によれば、動き検出結果と使用画像選択結果とに基づいて、動き領域と短露光画像使用領域とが重複しているか否かを判定するステップと、前記動き領域と前記短露光画像使用領域とが重複していると判定された場合、前記動き領域に対しては短露光画像を使用し、非動き領域に対しては前記使用画像選択結果に従って短露光画像及び／または長露光画像を使用して合成画像を生成するステップと、を含む画像処理方法が提供される。

【0016】

かかる方法によれば、動き領域と短露光画像使用領域とが重複しているという条件を満たした場合に、動き領域については短露光画像を使用し、非動き領域については短露光画像及び／または長露光画像を使用したＷＤＲ合成が行われる。したがって、かかる方法によれば、ＷＤＲ合成時のアーティファクトが抑制され、かつ、動き領域に対して無条件に短露光画像が使用される場合と比較してノイズが抑制されたＷＤＲ合成画像を得ることが可能である。

【発明の効果】

【0017】

以上説明したように、本発明によれば、ＷＤＲ合成時のアーティファクトが抑制され、かつ、ノイズも抑制されたＷＤＲ合成画像を得ることが可能である。

【図面の簡単な説明】

【0018】

【図1】一般的な画像処理装置の機能構成例を示す図である。

【図2】一般的なＷＤＲ合成技術における各種情報の例を示す図である。

【図3】周知のＷＤＲ合成技術における各種情報の例を示す図である。

【図4】本発明の第１の実施形態に係る画像処理装置の機能構成例を示す図である。

【図5】本発明の第１の実施形態に係る判定部の詳細構成例を示す図である。

【図6】本発明の第１の実施形態に係る判定部の動作の流れの例を示すフローチャートである。

【図7】本発明の第１の実施形態に係るＷＤＲ合成部の動作の流れの例を示すフローチャートである。

【図8】本発明の第２の実施形態に係る画像処理装置の機能構成を示す図である。

【図9】本発明の第２の実施形態に係る画像処理装置によって生成される合成画像について説明するための図である。

【図10】本発明の実施形態に係る画像処理装置の効果を説明するための図である。

【発明を実施するための形態】

【0019】

以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書および図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付すことにより重複説明を省略する。

【0020】

また、本明細書および図面において、実質的に同一の機能構成を有する複数の構成要素を、同一の符号の後に異なるアルファベットを付して区別する場合もある。ただし、実質的に同一の機能構成を有する複数の構成要素の各々を特に区別する必要がない場合、同一符号のみを付する。

【0021】

（一般的なＷＤＲ合成技術）
まず、一般的なＷＤＲ合成技術を実現するための画像処理装置９の機能構成例を図１に示す。画像処理装置９は、センサ１０の露光設定を変えて２枚の画像を連続撮影するが、ここでは短露光撮影を先に行い、その次に長露光撮影を行うものとする。短露光撮影された短露光画像は短露光画像メモリ２１に書き込まれる。画像処理装置９は、短露光撮影が終了したら露光設定を変え、長露光撮影を行う。長露光撮影された長露光画像は長露光画像メモリ２２に書き込まれる。

【0022】

なお、図１に示した例では、画像処理装置９は、長露光画像および短露光画像を出力するための共通の系統を１つ有し、センサ１０が長露光画像と短露光画像とを時分割で出力することとしたが、長露光画像と短露光画像とが同時に出力されてもよい。かかる場合、画像処理装置９は、センサ１０から長露光画像を出力するための系統と短露光画像を出力するための系統との２つの系統を有すればよい。

【0023】

使用画像選択部３０は、短露光画像メモリ２１から読み出した短露光画像と長露光画像メモリ２２から読み出した長露光画像とを参照し、長露光画像および短露光画像それぞれの飽和状態や動きなどを検出して、短露光画像と長露光画像とのいずれかを使用画像として選択するための使用画像選択結果を生成する。ＷＤＲ合成部６０は、使用画像選択部３０からの使用画像選択結果を受け、当該使用画像選択結果に基づいて短露光画像と長露光画像とを合成することによりＷＤＲ画像を生成する。

【0024】

階調圧縮部８０は、ダイナミックレンジの広い画像信号のビットレンジを所定のビットレンジに収めるための圧縮処理と人間の目で見た情景に近づけるような階調補正とを、ＷＤＲ合成部６０により生成されたＷＤＲ画像に対して行う。当該圧縮処理と当該階調補正とは、同時に行われてもよいし、異なるタイミングにおいて行われてもよい。

【0025】

図２は、一般的なＷＤＲ合成技術における、短露光画像、長露光画像、使用画像選択結果および合成画像それぞれの例を示す図である。図２に示した短露光画像および長露光画像それぞれは、日中の明るい屋外が見える窓を背景にして屋内を撮影して得られた画像である。手前に映っている人物は左に向かって移動している。

【0026】

例えば、使用画像選択部３０によって生成される使用画像選択結果が長露光画像および短露光画像のいずれを使用するかを示す２値データの集合である場合、図２に示した使用画像選択結果のように、長露光画像を使用する領域を黒い領域、短露光画像を使用する領域を白い領域として表すことができる。

【0027】

続いて、ＷＤＲ合成部６０は、このようにして生成された使用画像選択結果に基づいて、短露光画像および長露光画像を合成する。このようにして合成を行った場合には、図２に示した合成画像のように、明るい窓と動いた人物との境界で合成時に位置ずれが起こり、輪郭が二重になる顕著なアーティファクトを生じるという問題が起こり得る。かかるアーティファクトを低減するための技術として様々な技術が開示されている。

【0028】

例えば、画素毎に動きの有無を検出して、動きがある画素については短露光画像を使用し、動きがない画素については短露光画像または長露光画像を使用してＷＤＲ合成を行う周知技術が開示されている（例えば、特許文献１参照）。図３は、周知のＷＤＲ合成技術における、動き検出結果、使用画像選択結果および合成画像Ａ１１、Ａ１２それぞれの例を示す図である。図３に示した「動き検出結果」を参照すると、動きオブジェクトをカバーするように動き領域が検出されている。

【0029】

また、図３に示した「動き検出結果」を参照して動き領域に対して使用画像として短露光画像を選択するようにすれば、図３に示した「使用画像選択結果」が得られる。図３に示した「使用画像選択結果」に基づいて短露光画像と長露光画像とを合成すると、図３に示した「合成画像Ａ１１」のような二重像のない合成画像が得られる。

【0030】

しかし、特許文献１に記載された技術によれば、動き領域に対して短露光画像に大きなゲインをかけて明るくしてから合成画像に使用するため、動きオブジェクトがノイジーとなり得る。さらに、特許文献１に記載された技術によれば、動き領域に対しては必ず短露光画像が使用されることから、動きオブジェクトが常にノイジーとなり得る。例えば、図３に示した「合成画像Ａ１２」にように、明るい窓から離れた場所に動きオブジェクトが存在する場合であっても、この動きオブジェクトに対して短露光画像が使用されてしまうため、ノイジーな領域がむやみに増加してしまう可能性がある。

【0031】

また、例えば、動きベクトルに基づいて時間的に隣接する２枚の長露光画像の中間に位置する補間フレームを生成し、この補間フレームと短露光画像とを使用してＷＤＲ合成を行う技術が開示されている（例えば、特許文献２参照）。かかる技術によれば、短露光画像と時間的に揃った補間フレームが合成されるため、動物体が合成されることによって生じるぶれを低減した合成画像を生成することが可能となる。

【0032】

しかし、特許文献２に記載された技術によれば、ＷＤＲ合成時に生じるアーティファクトは低減され得るが、補間フレーム生成時の補間ミスによって新たなアーティファクトが生じてしまう可能性がある。例えば、動きオブジェクトの境界領域や、テクスチャがない領域、市松模様などの規則的な図形が繰り返される領域などにおいては、動き検出や動き補正が正確に行われないために輪郭が破綻したり不自然なアーティファクトを発生させたりする。さらに、正確な動きベクトルを検出するためには大きな回路規模が必要となってしまう。

【0033】

そこで、本明細書においては、ＷＤＲ合成時のアーティファクトが抑制され、かつ、ノイズも抑制されたＷＤＲ合成画像を得ることが可能な技術を提案する。

【0034】

（第１の実施形態）
続いて、本発明の第１の実施形態について説明する。まず、本発明の第１の実施形態に係る画像処理装置１Ａの機能構成について説明する。図４は、本発明の第１の実施形態に係る画像処理装置１Ａの機能構成を示す図である。図４に示すように、画像処理装置１Ａは、センサ１０、短露光画像メモリ２１、長露光画像メモリ２２、使用画像選択部３０、動き検出部４０、判定部５０、ＷＤＲ合成部６０および階調圧縮部８０を備える。以下、画像処理装置１Ａが備える各機能ブロックの機能について順次詳細に説明する。

【0035】

画像処理装置１Ａは、センサ１０の露光設定を変えて２枚の画像を連続撮影するが、ここでは短露光撮影を先に行い、その次に長露光撮影を行うものとする。短露光撮影された短露光画像は短露光画像メモリ２１に書き込まれる。画像処理装置１Ａは、短露光撮影が終了したら露光設定を変え、長露光撮影を行う。長露光撮影された長露光画像は長露光画像メモリ２２に書き込まれる。

【0036】

なお、図４に示した例では、画像処理装置１Ａは、長露光画像および短露光画像を出力するための共通の系統を１つ有し、センサ１０が長露光画像と短露光画像とを時分割で出力することとしたが、長露光画像と短露光画像とが同時に出力されてもよい。かかる場合、画像処理装置１Ａは、センサ１０から長露光画像を出力するための系統と短露光画像を出力するための系統との２つの系統を有すればよい。それぞれのシャッタータイムは、例えば、撮影対象のダイナミックレンジやセンサ仕様などによって決まる。

【0037】

ここで、本発明の実施形態においては、短露光画像および長露光画像という用語を使用するが、これらの用語は、撮影された２つの画像それぞれの絶対的な露光時間を限定するものではない。したがって、露光時間の異なる２つの画像が撮影された場合に、当該２つの画像のうち、相対的に露光時間が短い画像が短露光画像に相当し、相対的に露光時間が長い画像が長露光画像に相当する。

【0038】

センサ１０は、外部からの光を撮像素子の受光平面に結像させ、結像された光を電荷量に光電変換し、当該電荷量を電気信号に変換するイメージセンサにより構成される。イメージセンサの種類は特に限定されず、例えば、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）であってもよいし、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）であってもよい。

【0039】

使用画像選択部３０は、短露光画像メモリ２１から読み出した短露光画像と長露光画像メモリ２２から読み出した長露光画像とを参照し、長露光画像および短露光画像それぞれの飽和状態や動きなどを検出して、短露光画像と長露光画像とのいずれかを使用画像として選択するための使用画像選択結果を生成する。短露光画像と長露光画像とのいずれかを選択するアルゴリズムとしては様々なアルゴリズムが想定される。

【0040】

例えば、長露光画像において飽和してしまった領域は短露光画像においては飽和していない可能性が高いため、当該領域の使用画像としては短露光画像を選択すればよい。しかし、この処理だけでは、大きな動きがある領域では輪郭が二重になるなどといったアーティファクトが発生し得る。そのため、動きを検出して輪郭が二重になる現象を低減する処理を行ってもよい。かかる処理を含む、短露光画像と長露光画像とのいずれかを選択するアルゴリズムは特に限定されない。

【0041】

なお、上記したように使用画像選択結果は短露光画像および長露光画像のいずれを選択するかを示す２値データの集合であってもよいが、長露光画像および短露光画像それぞれをどの程度の比率で混合するかを示す混合比率の集合であってもよい。例えば、使用画像選択部３０は、長露光画像の飽和度合いが強いほど、短露光画像の混合比率を大きくしてもよい。また、使用画像選択部３０は、短露光画像または長露光画像の動きが大きいほど、短露光画像の混合比率を大きくしてもよい。短露光画像と長露光画像との混合比率を算出するアルゴリズムも特に限定されない。

【0042】

以下では、使用画像選択部３０が長露光画像と短露光画像とにおいて対応する画素毎の混合比率を示す使用画像選択結果を生成し、当該使用画像選択結果を判定部５０およびＷＤＲ合成部６０に出力する場合を例として説明する。

【0043】

動き検出部４０は、動きを検出する。動きの検出手法は特に限定されないが、例えば、長露光画像と短露光画像との差分から動きを検出する手法であってもよいし、複数枚の長露光画像の差分から動きを検出する手法であってもよいし、複数枚の短露光画像の差分から動きを検出する手法であってもよいし、他の手法であってもよい。長露光画像と短露光画像との差分から動きを検出する手法を採用する場合には、そのままでは長露光画像と短露光画像との間で明るさが異なるため、動き検出部４０は、短露光画像に対して露光量に応じたゲインを乗じた上で差分を算出するのがよい。

【0044】

さらに、動き検出部４０は、検出した動きに基づいて動き領域と非動き領域とを検出して動き検出情報を得る。例えば、動き領域は、動きが閾値よりも大きい領域であり、非動き領域は、動きが閾値よりも小さい領域である。動きが閾値と同一の領域はいずれの領域として検出されてもよい。

【0045】

判定部５０は、動き検出部４０からの動き検出結果と使用画像選択部３０からの使用画像選択結果とに基づいて、動き検出部４０によって検出された動き領域と使用画像選択結果における短露光画像使用領域とが重複しているか否かを判定する。例えば、判定部５０は、動き領域と短露光画像使用領域との重複画素数を計測し、重複画素数が閾値を超えているか否かを判定することにより動き領域と短露光画像使用領域とが重複しているか否かを判定すればよい。かかる場合、閾値は、動き検出の精度に応じて設定されてよい。

【0046】

ここで、判定部５０が有する機能について、図５および図６を参照しながらさらに詳細に説明する。図５は、本発明の第１の実施形態に係る判定部５０の詳細構成例を示す図である。図５に示すように、判定部５０は、比較判定部５１とカウンタ５２と重複判定部５３とを有している。また、図６は、本発明の第１の実施形態に係る判定部５０の動作の流れの例を示すフローチャートである。

【0047】

まず、図６に示すように、比較判定部５１は、対象の画素が、動き領域内の画素であり、かつ、短露光使用領域内の画素であるか否かを判定する（ステップＳ１１）。比較判定部５１は、対象の画素が、動き領域内の画素であり、かつ、短露光使用領域内の画素であると判定した場合には、カウンタ５２を加算する（ステップＳ１２）。一方、比較判定部５１は、対象の画素が、非動き領域内の画素であるか、または、短露光使用領域内ではない画素である場合には、カウンタ５２を加算しない。

【0048】

比較判定部５１は、全画素についての判定が終了していない場合には（ステップＳ１３で「Ｎｏ」）、ステップＳ１１に戻る。一方、全画素についての判定が終了した場合には（ステップＳ１３で「Ｙｅｓ」）、動き領域と短露光画像使用領域との重複画素数の計測が終了するため、重複判定部５３は、重複画素数が閾値を超えているか否かを判定する（ステップＳ１４）。

【0049】

重複判定部５３は、重複画素数が閾値を超えている場合には（ステップＳ１４で「Ｙｅｓ」）、動き領域と短露光画像使用領域とが重複していると判定する（ステップＳ１５）。一方、重複判定部５３は、重複画素数が閾値を超えていない場合には（ステップＳ１４で「Ｎｏ」）、動き領域と短露光画像使用領域とが重複していないと判定する（ステップＳ１６）。

【0050】

ＷＤＲ合成部６０は、動き検出部４０からの動き検出結果と使用画像選択部３０からの使用画像選択結果と判定部５０からの判定結果とを受け、当該動き検出結果と当該使用画像選択結果と当該判定結果とに基づいて短露光画像と長露光画像とを合成することによりＷＤＲ画像を生成する。具体的には、ＷＤＲ合成部６０は、判定部５０によって動き領域と短露光画像使用領域とが重複していると判定された場合、動き領域に対しては短露光画像を使用し、非動き領域に対しては使用画像選択結果に従って短露光画像と長露光画像を使用して合成画像を生成する。

【0051】

かかる構成によれば、動き領域と短露光画像使用領域とが重複しているという条件を満たした場合に、動き領域については短露光画像を使用し、非動き領域については短露光画像と長露光画像を使用したＷＤＲ合成が行われる。したがって、かかる構成によれば、ＷＤＲ合成時のアーティファクトが抑制され、かつ、動き領域に対して無条件に短露光画像が使用される場合と比較してノイズが抑制されたＷＤＲ合成画像を得ることが可能である。

【0052】

なお、ＷＤＲ合成部６０は、判定部５０によって動き領域と短露光画像使用領域とが重複していないと判定された場合には、どのようにして合成を行ってもよいが、例えば、使用画像選択結果に従って短露光画像と長露光画像を使用すればよい。

【0053】

ＷＤＲ合成部６０による合成手法は特に限定されない。例えば、長露光画像を選択する旨を示す値が「０」であり、短露光画像を選択する旨を示す値が「１」である場合を想定する。かかる場合には、ＷＤＲ合成部６０は、使用画像選択結果を構成する混合比率をαとし、長露光画像と短露光画像とにおいて対応する画素について、α×（短露光画像の画素値）＋（１−α）×（長露光画像の画素値）を算出し、算出結果を合成後の画像（ＷＤＲ画像）とすることができる。

【0054】

ＷＤＲ合成部６０が有する機能について、図７を参照しながらさらに詳細に説明する。図７は、本発明の第１の実施形態に係るＷＤＲ合成部６０の動作の流れの例を示すフローチャートである。まず、図７に示すように、ＷＤＲ合成部６０は、判定部５０によって動き領域と短露光画像使用領域とが重複していないと判定された場合（ステップＳ２１で「Ｎｏ」）、対象の画素について使用画像選択結果に従って短露光画像と長露光画像を使用して（ステップＳ２２）、ＷＤＲ合成を行う（ステップＳ２５）。

【0055】

一方、ＷＤＲ合成部６０は、判定部５０によって動き領域と短露光画像使用領域とが重複していると判定された場合（ステップＳ２１で「Ｙｅｓ」）、対象の画素が動き領域内の画素であるか否かを判定する。ＷＤＲ合成部６０は、対象の画素が動き領域内の画素であると判定した場合には（ステップＳ２３で「Ｙｅｓ」）、対象の画素について短露光画像を使用して（ステップＳ２４）、ＷＤＲ合成を行う（ステップＳ２５）。一方、ＷＤＲ合成部６０は、対象の画素が動き領域内の画素ではないと判定した場合には（ステップＳ２３で「Ｎｏ」）、使用画像選択結果に従って短露光画像と長露光画像を使用して（ステップＳ２２）、ＷＤＲ合成を行う（ステップＳ２５）。

【0056】

ＷＤＲ合成部６０は、全画素についての合成が終了していない場合には（ステップＳ２６で「Ｎｏ」）、ステップＳ２１に戻る。一方、ＷＤＲ合成部６０は、全画素についての合成が終了した場合には（ステップＳ２６で「Ｙｅｓ」）、短露光画像と長露光画像とのＷＤＲ合成を終了する。

【0057】

階調圧縮部８０は、ダイナミックレンジの広い画像信号のビットレンジを所定のビットレンジに収めるための圧縮処理を、ＷＤＲ合成部６０により生成されたＷＤＲ画像に対して行う。階調圧縮部８０の後段は、例えば、ベイヤーデータからＲＧＢプレーンを生成するデモザイク部、輪郭強調部、カラーマネージメントなどを含む画像処理エンジンに接続される。そのため、階調圧縮部８０からの出力信号のデータ量は、例えば、画像処理エンジンへの入力データのサイズに適合するように（例えば、１２ｂｉｔ程度に）調整されるのが好ましい。単純にデータサイズを低下させるだけでは暗い画像に変換されてしまうため、人間の視覚特性に近づくように高輝度側が強く圧縮されるとよい。

【0058】

（第２の実施形態）
続いて、本発明の第２の実施形態について説明する。まず、本発明の第２の実施形態に係る画像処理装置１Ｂの機能構成について説明する。図８は、本発明の第２の実施形態に係る画像処理装置１Ｂの機能構成を示す図である。図８に示すように、本発明の第２の実施形態に係る画像処理装置１Ｂは、本発明の第１の実施形態に係る画像処理装置１Ａと比較して、ＮＲ（Ｎｏｉｓｅ Ｒｅｄｕｃｔｉｏｎ）処理部７０をさらに備える。以下、ＮＲ処理部７０について主に詳細に説明する。

【0059】

ＮＲ処理部７０は、動き領域に対応する短露光画像領域のみに対してノイズ低減処理を行う。ノイズ低減処理は特に限定されないが、エッジ情報を保存できる２次元の畳みこみ演算フィルタなどが好ましい。一方、ＮＲ処理部７０は、非動き領域に対応する短露光画像領域に対してはノイズ低減処理を行わない。このようなノイズ低減を行う目的について説明する。

【0060】

短露光画像の中で適正に露光されている明るい領域はノイズが目立たないため、この領域に対しては、ぼけが発生するおそれがあるノイズ低減処理を行わないのがよい。また、短露光画像の中で暗く撮影されている領域の使用画像としては、通常は長露光画像が選択されるため、ＷＤＲ合成には使われない可能性が高い。一方、短露光画像の中の動き領域は、大きなゲインをかけてＷＤＲ合成に使われ、ノイズが目立つ可能性があるため、この領域のみに対してノイズ低減処理を行うのがよい。

【0061】

図３の「動き検出結果」を参照して一例を説明すれば、動き領域に対してのみノイズ低減処理を行い、非動き領域である窓領域などに対してはノイズ低減処理を行わないのがよい。このようなノイズ低減を行なえば、動きと関係のない領域でノイズ低減処理の副作用であるぼけが目立つことはない。また、短露光画像中の動き領域に対してのみノイズ低減処理が行われることによって、不必要なぼけの発生を防いで、ノイズが目立つおそれがある領域に対してのみノイズ低減処理を行うことができる。

【0062】

図９は、本発明の第２の実施形態に係る画像処理装置１Ｂによって生成される合成画像について説明するための図である。合成画像Ａ２１は、短露光画像使用領域（この例では、窓が存在する領域）を動きオブジェクト（この例では、人物が存在する領域）が横切るシーンでの合成結果の例である。合成画像Ａ２１を参照すると、動きオブジェクトに対してノイズ低減処理が行われるため、ノイズが低減された動きオブジェクトが得られる。それでいて、動きオブジェクト以外の領域においてはノイズ低減処理の副作用であるぼけは発生していない。

【0063】

また、合成画像Ａ２２は、短露光画像使用領域（この例では、壁が存在する領域）の外部でオブジェクトが動いているシーンでの合成結果の例である。図３の合成画像Ａ１２を参照すると、周知技術においては動きオブジェクトの使用画像として短露光画像が選択されるために、動きオブジェクトに対応する領域の合成結果がノイジーになってしまう。一方、合成画像Ａ２２を参照すると、本発明の第２の実施形態によれば、動きオブジェクトに対応する領域では長露光画像が使用され、ノイズが目立たない高品質な合成画像が得られている。

【0064】

図１０は、本発明の実施形態に係る画像処理装置１の効果を説明するための図である。図１０の「ＮＲなしの合成画像」は、周知技術による合成結果を示している。すなわち、「ＮＲなしの合成画像」は、動きオブジェクト（この例では、人物の顔）に対応する領域の使用画像として短露光画像が選択された場合における合成結果を示している。「ＮＲなしの合成画像」を参照すると、露光不足の短露光画像使用領域を強く持ち上げる処理が施されているため、動きオブジェクトに対応する領域のノイズが目立ってしまっている。

【0065】

図１０の「ＮＲありの合成画像」は、本発明の第２の実施形態による合成結果を示している。すなわち、「ＮＲありの合成画像」は、動きオブジェクト（この例では、人物の顔）に対応する領域の使用画像として短露光画像が選択され、かつ、この領域に対してノイズ低減処理が施されている場合における合成結果を示している。「ＮＲありの合成画像」を参照すると、露光不足の短露光画像使用領域に対してノイズ低減処理が施されているため、動きオブジェクトに対応する領域のノイズが目立たなくなっている。

【0066】

以上、本発明の第１の実施形態および第２の実施形態について説明した。本発明の第１実施形態によれば、動き検出結果と使用画像選択結果とに基づいて、動き領域と短露光画像使用領域とが重複しているか否かを判定する判定部５０と、動き領域と短露光画像使用領域とが重複していると判定された場合、動き領域に対しては短露光画像を使用し、非動き領域に対しては使用画像選択結果に従って短露光画像と長露光画像を使用して合成画像を生成するＷＤＲ合成部６０と、を備える、画像処理装置１Ａが提供される。

【0067】

かかる構成によれば、動き領域と短露光画像使用領域とが重複しているという条件を満たした場合に、動き領域については短露光画像を使用し、非動き領域については短露光画像と長露光画像を使用したＷＤＲ合成が行われる。したがって、かかる構成によれば、ＷＤＲ合成時のアーティファクトが抑制され、かつ、動き領域に対して無条件に短露光画像が使用される場合と比較してノイズが抑制されたＷＤＲ合成画像を得ることが可能である。

【0068】

また、本発明の第２実施形態によれば、動き領域に対応する短露光画像領域のみに対してノイズ低減処理を行うＮＲ処理部７０をさらに備える、画像処理装置１Ｂが提供される。かかる構成によれば、動き領域に対応する短露光画像領域のノイズがさらに抑制されたＷＤＲ合成画像を得ることが可能である。

【0069】

以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。

【符号の説明】

【0070】

１（１Ａ、１Ｂ） 画像処理装置
１０ センサ
２１ 短露光画像メモリ
２２ 長露光画像メモリ
３０ 使用画像選択部
４０ 動き検出部
５０ 判定部
５１ 比較判定部
５２ カウンタ
５３ 重複判定部
６０ ＷＤＲ合成部（合成部）
８０ 階調圧縮部
７０ ＮＲ処理部（ノイズ低減処理部）

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】