7480787 画像処理装置、画像処理方法及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-04-30

(45)【発行日】2024-05-10

(54)【発明の名称】画像処理装置、画像処理方法及びプログラム

(51)【国際特許分類】

   H04N 5/21 20060101AFI20240501BHJP

【ＦＩ】

H04N5/21

【請求項の数】 12

(21)【出願番号】P 2021563501

(86)(22)【出願日】2019-12-10

(86)【国際出願番号】 JP2019048362

(87)【国際公開番号】W WO2021117148

(87)【国際公開日】2021-06-17

【審査請求日】2022-11-16

(73)【特許権者】

【識別番号】514315159

【氏名又は名称】株式会社ソシオネクスト

(74)【代理人】

【識別番号】110002147

【氏名又は名称】弁理士法人酒井国際特許事務所

(72)【発明者】

【氏名】佐藤 秀彦

【審査官】鈴木 圭一郎

(56)【参考文献】

【文献】特開２００６－２６００４９（ＪＰ，Ａ）

【文献】特開２０１３－２５８４４５（ＪＰ，Ａ）

【文献】特開２００７－０３６７４３（ＪＰ，Ａ）

【文献】特開２０１６－２１３６２８（ＪＰ，Ａ）

【文献】特開２０１６－０２４７３５（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ５／２１

(57)【特許請求の範囲】

【請求項1】

連続して入力される複数のフレーム画像のうち、第１のフレーム画像と、当該第１のフレーム画像と時系列的に連続する直近の過去のフレームの第２のフレーム画像とから、当該フレーム画像に含まれた動体物の存在領域を示す第１の動きマップを生成する第１の生成部と、
前記第１のフレーム画像より過去のフレーム画像に含まれた前記動体物の存在領域及び前記動体物の通過した動体通過領域を示す過去マップ画像から、前記第１の動きマップを減算することで、前記動体物が通過した動体通過領域を示す動体通過マップを生成する第２の生成部と、
前記第１の動きマップと、０．０よりも大きく１．０よりも小さい値として設定された残像抑制強度を乗算した前記動体通過マップとを統合して、第２の動きマップを生成する第３の生成部と、
前記第２の動きマップを構成する各画素の動き情報に基づいて、前記第１のフレーム画像と前記第２のフレーム画像との合成比率に係るパラメータを画素単位で調整する調整部と、
を備え、
前記第２の生成部は、過去の第１のフレーム画像である前記第２のフレーム画像に基づき生成された過去の前記第２の動きマップを前記過去マップ画像として用いる、画像処理装置。

【請求項2】

連続して入力される複数のフレーム画像のうち、第１のフレーム画像と、当該第１のフレーム画像と時系列的に連続する直近の過去のフレームの第２のフレーム画像とから、当該フレーム画像に含まれた動体物の存在領域を示す第１の動きマップを生成する第１の生成部と、
前記第１のフレーム画像より過去のフレーム画像に含まれた前記動体物の存在領域を示す過去マップ画像から、前記第１の動きマップを減算することで、前記動体物が通過した動体通過領域を示す動体通過マップを生成する第２の生成部と、
前記第１の動きマップと、０．０よりも大きく１．０よりも小さい値として設定された残像抑制強度を乗算した前記動体通過マップとを統合して、第２の動きマップを生成する第３の生成部と、
前記第２の動きマップを構成する各画素の動き情報に基づいて、前記第１のフレーム画像と前記第２のフレーム画像との合成比率に係るパラメータを画素単位で調整する調整部と、
を備え、
前記第２の生成部は、過去の第１のフレーム画像である前記第２のフレーム画像に基づき生成された過去の前記第１の動きマップを前記過去マップ画像として用いる、画像処理装置。

【請求項3】

前記第２の生成部は、前記過去マップ画像を構成する各画素の値から、当該画素と同じ画素位置にある前記第１の動きマップの画素の値を減算し、減算した値が正値となる各画素位置に減算結果に応じた値を対応付けた前記動体通過マップを生成する請求項１又は２に記載の画像処理装置。

【請求項4】

前記第３の生成部は、前記第１の動きマップを構成する各画素の値と、前記動体通過マップを構成する各画素の値に前記残像抑制強度を乗算した値とを画素位置毎に統合して、前記第２の動きマップを生成し、
前記調整部は、前記第２の動きマップを構成する各画素の値に基づいて、前記合成比率に係るパラメータを画素単位で調整する請求項３に記載の画像処理装置。

【請求項5】

前記調整部で調整されたパラメータに基づき、前記第１のフレーム画像と前記第２のフレーム画像とを合成するノイズリダクション処理を行うことで、前記第１のフレーム画像と前記第２のフレーム画像とから１フレーム分のフレーム画像を出力する３次元ノイズリダクション処理部を更に備え、
前記第１の生成部は、新たなフレーム画像が入力されると、先行する前記第１のフレーム画像と前記第２のフレーム画像とを基に前記３次元ノイズリダクション処理部で出力されたフレーム画像を、前記新たなフレーム画像より１フレーム分過去のフレーム画像として、前記第１の動きマップを生成する請求項１又は２に記載の画像処理装置。

【請求項6】

前記３次元ノイズリダクション処理部は、前記第１のフレーム画像と前記第２のフレーム画像との各々に２次元ノイズリダクション処理を施す２次元ノイズリダクション処理部と、前記２次元ノイズリダクション処理部で処理された前記第１のフレーム画像と前記第２のフレーム画像とを合成し、１フレーム分のフレーム画像を出力する合成処理部とを有し、
前記調整部は、前記２次元ノイズリダクション処理部又は前記合成処理部の動作に係るパラメータを調整する請求項５に記載の画像処理装置。

【請求項7】

前記第１のフレーム画像と前記第２のフレーム画像とに基づき、両フレーム画像に含まれた動体物の動き量を推定する動き量推定部と、
前記動き量推定部の推定結果を用いて、前記第２のフレーム画像に動き補償処理を実行する動き補償部と、
を更に備え、
前記第３の生成部は、前記動き補償部の処理結果が前記３次元ノイズリダクション処理部に入力されるか否かに応じて、前記動体通過マップに乗算する前記残像抑制強度を変更する請求項５又は６に記載の画像処理装置。

【請求項8】

前記第１の動きマップ及び前記第２の動きマップのビット深度は、前記フレーム画像のビット深度より低減化されている請求項１又は２に記載の画像処理装置。

【請求項9】

連続して入力される複数のフレーム画像のうち、第１のフレーム画像と、当該第１のフレーム画像と時系列的に連続する直近の過去のフレームの第２のフレーム画像とから、当該フレーム画像に含まれた動体物の存在領域を示す第１の動きマップを生成し、
前記第１のフレーム画像より過去のフレーム画像に含まれた前記動体物の存在領域及び前記動体物の通過した動体通過領域を示す過去マップ画像から、前記第１の動きマップを減算することで、前記動体物が通過した動体通過領域を示す動体通過マップを生成し、
前記第１の動きマップと、０．０よりも大きく１．０よりも小さい値として設定された残像抑制強度を乗算した前記動体通過マップとを統合して、第２の動きマップを生成し、
前記第２の動きマップを構成する各画素の動き情報に基づいて、前記第１のフレーム画像と前記第２のフレーム画像との合成比率に係るパラメータを画素単位で調整する、
処理をコンピュータが実行し、
前記動体通過マップを生成する処理では、過去の第１のフレーム画像である前記第２のフレーム画像に基づき生成された過去の前記第２の動きマップを前記過去マップ画像として用いる、画像処理方法。

【請求項10】

連続して入力される複数のフレーム画像のうち、第１のフレーム画像と、当該第１のフレーム画像と時系列的に連続する直近の過去のフレームの第２のフレーム画像とから、当該フレーム画像に含まれた動体物の存在領域を示す第１の動きマップを生成し、
前記第１のフレーム画像より過去のフレーム画像に含まれた前記動体物の存在領域を示す過去マップ画像から、前記第１の動きマップを減算することで、前記動体物が通過した動体通過領域を示す動体通過マップを生成し、
前記第１の動きマップと、０．０よりも大きく１．０よりも小さい値として設定された残像抑制強度を乗算した前記動体通過マップとを統合して、第２の動きマップを生成し、
前記第２の動きマップを構成する各画素の動き情報に基づいて、前記第１のフレーム画像と前記第２のフレーム画像との合成比率に係るパラメータを画素単位で調整する、
処理をコンピュータが実行し、
前記動体通過マップを生成する処理では、過去の第１のフレーム画像である前記第２のフレーム画像に基づき生成された過去の前記第１の動きマップを前記過去マップ画像として用いる、画像処理方法。

【請求項11】

連続して入力される複数のフレーム画像のうち、第１のフレーム画像と、当該第１のフレーム画像と時系列的に連続する直近の過去のフレームの第２のフレーム画像とから、当該フレーム画像に含まれた動体物の存在領域を示す第１の動きマップを生成し、
前記第１のフレーム画像より過去のフレーム画像に含まれた前記動体物の存在領域及び前記動体物の通過した動体通過領域を示す過去マップ画像から、前記第１の動きマップを減算することで、前記動体物が通過した動体通過領域を示す動体通過マップを生成し、
前記第１の動きマップと、０．０よりも大きく１．０よりも小さい値として設定された残像抑制強度を乗算した前記動体通過マップとを統合して、第２の動きマップを生成し、
前記第２の動きマップを構成する各画素の動き情報に基づいて、前記第１のフレーム画像と前記第２のフレーム画像との合成比率に係るパラメータを画素単位で調整する、
処理をコンピュータに実行させ、
前記動体通過マップを生成する処理では、過去の第１のフレーム画像である前記第２のフレーム画像に基づき生成された過去の前記第２の動きマップを前記過去マップ画像として用いる、プログラム。

【請求項12】

連続して入力される複数のフレーム画像のうち、第１のフレーム画像と、当該第１のフレーム画像と時系列的に連続する直近の過去のフレームの第２のフレーム画像とから、当該フレーム画像に含まれた動体物の存在領域を示す第１の動きマップを生成し、
前記第１のフレーム画像より過去のフレーム画像に含まれた前記動体物の存在領域を示す過去マップ画像から、前記第１の動きマップを減算することで、前記動体物が通過した動体通過領域を示す動体通過マップを生成し、
前記第１の動きマップと、０．０よりも大きく１．０よりも小さい値として設定された残像抑制強度を乗算した前記動体通過マップとを統合して、第２の動きマップを生成し、
前記第２の動きマップを構成する各画素の動き情報に基づいて、前記第１のフレーム画像と前記第２のフレーム画像との合成比率に係るパラメータを画素単位で調整する、
処理をコンピュータに実行させ、
前記動体通過マップを生成する処理では、過去の第１のフレーム画像である前記第２のフレーム画像に基づき生成された過去の前記第１の動きマップを前記過去マップ画像として用いる、プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像処理装置、画像処理方法及びプログラムに関する。

【背景技術】

【0002】

従来、動画像等の複数のフレーム画像に対するノイズリダクション技術に関し、時系列的に連続する３フレーム分のフレーム画像を用いて３次元ノイズリダクション（３ＤＮＲ）処理を行う装置が知られている（例えば、特許文献１参照）。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２００６－２３７７１６号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、従来では、フレーム画像中に動体物が存在するような場合に、当該動体物が通過した領域に尾を引くようなノイズ（残像ノイズ）が発生する可能性があった。このため、従来では、残像ノイズを低減したフレーム画像を提供することは困難であった。

【0005】

１つの側面では、本発明は、動体物が通過した領域に発生するノイズの低減化を図ることができる、画像処理装置、画像処理方法及びプログラムを提供することを目的とする。

【課題を解決するための手段】

【0006】

本願の開示する画像処理装置は、一つの態様において、連続して入力される複数のフレーム画像のうち、第１のフレーム画像と、当該第１のフレーム画像と時系列的に連続する直近の過去のフレームの第２のフレーム画像とから、当該フレーム画像に含まれた動体物の存在領域を示す第１の動きマップを生成する第１の生成部と、前記第１のフレーム画像より過去のフレーム画像に含まれた前記動体物の存在領域及び前記動体物の通過した動体通過領域を示す過去マップ画像から、前記第１の動きマップを減算することで、前記動体物が通過した動体通過領域を示す動体通過マップを生成する第２の生成部と、前記第１の動きマップと、０．０よりも大きく１．０よりも小さい値として設定された残像抑制強度を乗算した前記動体通過マップとを統合して、第２の動きマップを生成する第３の生成部と、前記第２の動きマップを構成する各画素の動き情報に基づいて、前記第１のフレーム画像と前記第２のフレーム画像との合成比率に係るパラメータを画素単位で調整する調整部と、を備える。また、第２の生成部は、過去の第１のフレーム画像である前記第２のフレーム画像に基づき生成された過去の前記第２の動きマップを前記過去マップ画像として用いる。

【発明の効果】

【0007】

本願の開示する画像処理装置の一つの態様によれば、動体物が通過した領域に発生するノイズの低減化を図ることができる。

【図面の簡単な説明】

【0008】

【図1】図１は、第１の実施形態に係る画像処理装置の構成の一例を示す図である。

【図2】図２は、第１の実施形態の残像処理部が有する機能の一例を示す図である。

【図3】図３は、第１の実施形態に係るパラメータの調整方法の一例を説明するための図である。

【図4】図４は、第１の実施形態に係る画像処理装置の全体動作を説明するための説明図である。

【図5】図５は、第１の実施形態に係る第１の生成部及び残像処理部の動作を説明するための説明図である。

【図6】図６は、第１の実施形態の第１の生成部、残像処理部及び合成処理部が行う処理の一例を示すフローチャートである。

【図7】図７は、第１の実施形態の変形例１に係る画像処理装置の全体動作を説明するための説明図である。

【図8】図８は、第１の実施形態の変形例２に係る画像処理装置の構成の一例を示す図である。

【図9】図９は、第１の実施形態の変形例２に係る画像処理装置の全体動作を説明するための説明図である。

【図10】図１０は、第２の実施形態に係る画像処理装置の構成の一例を示す図である。

【図11】図１１は、第２の実施形態の残像処理部が有する機能の一例を示す図である。

【図12】図１２は、第２の実施形態に係る画像処理装置の全体動作を説明するための説明図である。

【図13】図１３は、第２の実施形態に係る第１の生成部及び残像処理部の動作を説明するための説明図である。

【図14】図１４は、第２の実施形態の第１の生成部、残像処理部及び合成処理部が行う処理の一例を示すフローチャートである。

【発明を実施するための形態】

【0009】

以下、添付図面を参照しながら、本願の開示する画像処理装置、画像処理方法及びプログラムの実施形態を詳細に説明する。なお、以下の実施形態は開示の技術を限定するものではない。そして、各実施形態は、処理内容を矛盾させない範囲で適宜組み合わせることが可能である。

【0010】

［第１の実施形態］
図１は、本実施形態に係る画像処理装置１の構成の一例を示す図である。画像処理装置１は、連続して入力される複数のフレーム画像に対し、３次元ノイズリダクション（３ＤＮＲ）処理を順次行うことが可能な画像処理装置である。例えば、画像処理装置１は、複数のフレーム画像で構成された動画に対し３次元ノイズリダクション処理を行うことで、フレーム画像に含まれるノイズを低減化した動画を出力する。

【0011】

以下では、画像処理装置１に入力されるフレーム画像のうち、時系列的に最新のフレーム画像（現フレーム）をフレーム画像Ｉｍａｇｅ（ｎ）と表記する。また、現フレームよりも過去又は将来のフレーム画像を、現フレームのインデックス“ｎ”に基づいて表記する。例えば、現フレームから１フレーム分過去のフレーム画像をＩｍａｇｅ（ｎ－１）と表記する。例えば、現フレームから１フレーム分将来のフレーム画像をＩｍａｇｅ（ｎ＋１）と表記する。

【0012】

図１に示すように、画像処理装置１は、第１の２ＤＮＲ処理部１１と、第２の２ＤＮＲ処理部１２と、第１の生成部１３と、残像処理部１４と、合成処理部１５とを備える。

【0013】

ここで、第１の２ＤＮＲ処理部１１及び第２の２ＤＮＲ処理部１２は、２次元ノイズリダクション処理部の一例である。第１の生成部１３は、第１の生成部の一例である。合成処理部１５は、合成処理部の一例である。また、第１の２ＤＮＲ処理部１１、第２の２ＤＮＲ処理部１２及び合成処理部１５は、３次元ノイズリダクション処理部の一例である３ＤＮＲ処理部１６として機能する。

【0014】

なお、第１の２ＤＮＲ処理部１１、第２の２ＤＮＲ処理部１２、第１の生成部１３、残像処理部１４、及び合成処理部１５の一部又は全部は、例えば専用回路等のハードウェア構成によって実現されてもよい。また、第１の２ＤＮＲ処理部１１、第２の２ＤＮＲ処理部１２、第１の生成部１３、残像処理部１４、及び合成処理部１５の一部又は全部は、マイクロコンピュータ等のコンピュータが備えるプロセッサと、プログラムとの協働によるソフトウェア構成によって実現されてもよい。プロセッサの一例として、ＣＰＵ（Central Processing Unit）、ＤＳＰ（Digital Signal Processor）、ＦＰＧＡ（Field Programmable Gate Array）、ＧＰＵ（Graphics Processing Unit）等が挙げられる。

【0015】

また、画像処理装置１は、第１の記憶部２１と、第２の記憶部２２とを備える。第１の記憶部２１及び第２の記憶部２２は、例えばＳＤＲＡＭ（Synchronous Dynamic Random Access Memory）等の記憶装置である。なお、第１の記憶部２１及び第２の記憶部２２は、個別の記憶装置によって実現されてもよいし、同一の記憶装置内に設けられた二つの記憶エリアによって実現されてもよい。

【0016】

第１の２ＤＮＲ処理部１１は、現フレームのフレーム画像Ｉｍａｇｅ（ｎ）に対し２次元ノイズリダクション（２ＤＮＲ）処理を実行する。例えば、第１の２ＤＮＲ処理部１１は、Ｉｍａｇｅ（ｎ）を構成する画素に対し、「３×３」や「５×５」、「７×７」等の画素ブロックの単位で平滑化処理を実行する。ここで、フレーム画像Ｉｍａｇｅ（ｎ）は、例えばＲＧＢ又はＹＣｂＣｒ(輝度と彩度)の各色に画素の値を８ビット以上（１０ビット、１２ビット等）の多値で表した２４ビット以上のカラー画像である。

【0017】

第２の２ＤＮＲ処理部１２は、現フレームより１フレーム分過去のフレーム画像Ｉｍａｇｅ（ｎ－１）に対し、第１の２ＤＮＲ処理部１１と同様の２ＤＮＲ処理を実行する。ここで、フレーム画像Ｉｍａｇｅ（ｎ－１）は、先行するフレーム画像Ｉｍａｇｅ（ｎ－１）とフレーム画像Ｉｍａｇｅ（ｎ－２）とを基に生成された、後述する３次元ノイズリダクション（３ＤＮＲ）処理済のフレーム画像ＤＮＲ＿Ｉｍａｇｅ（ｎ－１）に対応する。フレーム画像ＤＮＲ＿Ｉｍａｇｅ（ｎ－１）は、例えば、ＲＧＢ又はＹＣｂＣｒ(輝度と彩度)の各色の画素の値を、８ビット以上（１０ビット、１２ビット等）の多値で表した２４ビット以上のカラー画像である。

【0018】

本実施形態では、第１の２ＤＮＲ処理部１１は、フレーム画像Ｉｍａｇｅ（ｎ）を検出した検出信号を、第２の２ＤＮＲ処理部１２に送る。第２の２ＤＮＲ処理部１２は、検出信号を受け、第２の記憶部２２からフレーム画像ＤＮＲ＿Ｉｍａｇｅ（ｎ－１）の読み出しを行う。なお、フレーム画像ＤＮＲ＿Ｉｍａｇｅ（ｎ－１）の読み出し方法はこれに限らないものとする。例えば、画像処理装置１の内部若しくは外部に、フレーム画像Ｉｍａｇｅ（ｎ）の入力タイミング及び第２の記憶部２２からのフレーム画像ＤＮＲ＿Ｉｍａｇｅ（ｎ－１）の読み出しタイミング等をまとめて制御する図示しない入出力制御部を設けてもよい。

【0019】

第１の生成部１３は、フレーム画像Ｉｍａｇｅ（ｎ）とフレーム画像Ｉｍａｇｅ（ｎ－１）とに基づき、両フレーム画像間に含まれた動体物の存在領域を示す第１の動きマップＭａｓｋ（ｎ）を生成する。ここで、フレーム画像Ｉｍａｇｅ（ｎ－１）は、先行するフレーム画像Ｉｍａｇｅ（ｎ－１）とフレーム画像Ｉｍａｇｅ（ｎ－２）とを基に生成された、後述する３次元ノイズリダクション（３ＤＮＲ）処理済のフレーム画像ＤＮＲ＿Ｉｍａｇｅ（ｎ－１）に対応する。

【0020】

本実施形態では、第１の生成部１３は、フレーム画像Ｉｍａｇｅ（ｎ）を検出すると、第２の記憶部２２からフレーム画像ＤＮＲ＿Ｉｍａｇｅ（ｎ－１）の読み出しを行う。なお、フレーム画像ＤＮＲ＿Ｉｍａｇｅ（ｎ－１）の読み出し方法はこれに限らないものとする。例えば、画像処理装置１の内部若しくは外部に、フレーム画像Ｉｍａｇｅ（ｎ）の入力タイミング及び第２の記憶部２２からのフレーム画像ＤＮＲ＿Ｉｍａｇｅ（ｎ－１）の読み出しタイミング等をまとめて制御する図示しない入出力制御部を設けてもよい。

【0021】

第１の生成部１３は、フレーム画像Ｉｍａｇｅ（ｎ）とフレーム画像Ｉｍａｇｅ（ｎ－１）とを比較し，同じ画素位置にある画素の値の差を二値や８ビット等の多値で表した画像を、第１の動きマップＭａｓｋ（ｎ）として生成する。

【0022】

例えば、第１の生成部１３は、画素の値の差が閾値よりも小さい画素位置を０、閾値以上の画素位置を１で表した白黒画像の第１の動きマップＭａｓｋ（ｎ）を生成する。また、例えば、第１の生成部１３は、画素の差分に応じて当該画素の画素位置を０～２５５等の多値で表したモノクロ画像の第１の動きマップＭａｓｋ（ｎ）を生成する。なお、第１の動きマップＭａｓｋ（ｎ）は、白黒画像やモノクロ画像に限定される訳ではなく、ＲＧＢ等の色成分をもつカラー画像であってもよい。

【0023】

このように生成される第１の動きマップＭａｓｋ（ｎ）は、フレーム画像Ｉｍａｇｅ（ｎ）とフレーム画像Ｉｍａｇｅ（ｎ-１）とにおいて、動体物が存在する領域の画素位置を示すものとなる。また、第１の動きマップＭａｓｋ（ｎ）は、白黒画像やモノクロ画像であるため、第１の動きマップＭａｓｋ（ｎ）のビット深度は、元のフレーム画像Ｉｍａｇｅ（ｎ）及びフレーム画像Ｉｍａｇｅ（ｎ－１）のビット深度よりも低くなる。つまり、第１の生成部１３より後段の残像処理部１４では、ビット深度が低減化された第１の動きマップＭａｓｋ（ｎ）を基に処理を進めることができるため、処理に係るメモリ容量や処理負荷を抑えることができる。

【0024】

残像処理部１４には、現フレームに係る第１の動きマップＭａｓｋ（ｎ）と、現フレームより１フレーム分過去の過去フレームに係る後述する第２の動きマップＭｅｒｇｅＭａｓｋ（ｎ－１）とが入力される。具体的には、残像処理部１４は、第１の生成部１３から第１の動きマップＭａｓｋ（ｎ）を検出すると、第１の記憶部２１から後述する第２の動きマップＭｅｒｇｅＭａｓｋ（ｎ－１）の読み出しを行う。なお、第２の動きマップＭｅｒｇｅＭａｓｋ（ｎ－１）の読み出し方法はこれに限らないものとする。例えば、画像処理装置１の内部若しくは外部に、第１の動きマップＭａｓｋ（ｎ）の入力タイミング及び第１の記憶部２１からの第２の動きマップＭｅｒｇｅＭａｓｋ（ｎ－１）の読み出しタイミング等をまとめて制御する図示しない入出力制御部を設けてもよい。

【0025】

残像処理部１４は、第１の動きマップＭａｓｋ（ｎ）と後述する第２の動きマップＭｅｒｇｅＭａｓｋ（ｎ－１）とに基づいて、動体物が通過した領域（動体通過領域）を抽出し、現フレームに係る第２の動きマップＭｅｒｇｅＭａｓｋ（ｎ）を生成する。そして、残像処理部１４は、第２の動きマップＭｅｒｇｅＭａｓｋ（ｎ）を基に、３ＤＮＲ処理部１６の３ＤＮＲ処理に係るパラメータを調整する。

【0026】

具体的には、残像処理部１４は、上述した機能を実現するため、図２に示す機能構成を有する。ここで、図２は、残像処理部１４が有する機能の一例を示す図である。

【0027】

図２に示すように、残像処理部１４は、第２の生成部１４１と、第３の生成部１４２と、調整部１４３とを有する。ここで、第２の生成部１４１は、第２の生成部の一例である。第３の生成部１４２は、第３の生成部の一例である。

【0028】

第２の生成部１４１は、第２の動きマップＭｅｒｇｅＭａｓｋ（ｎ－１）から第１の動きマップＭａｓｋ（ｎ）を減算することで、動体物が通過した動体通過領域を示す動体通過マップＰａｓｓＭａｓｋ（ｎ）を生成する。具体的には、第２の生成部１４１は、第２の動きマップＭｅｒｇｅＭａｓｋ（ｎ－１）を構成する各画素の値から、当該画素と同じ画素位置にある第１の動きマップＭａｓｋ（ｎ）の画素の値を減算する。そして、第２の生成部１４１は、減算した値が正値となる場合に動体通過領域と判断し、各画素位置に、その減算結果に応じた値を対応付けた動体通過マップＰａｓｓＭａｓｋ（ｎ）を生成する。ここで、動体通過マップＰａｓｓＭａｓｋ（ｎ）を構成する各画素には、減算結果に応じた値が二値や８ビット等の多値が対応付けられる。

【0029】

例えば、第２の生成部１４１は、画素の差が０以下の画素位置を０、画素の差が０より大きい画素位置を１で表した白黒画像の二値の動体通過マップＰａｓｓＭａｓｋ（ｎ）を生成する。また、例えば、第２の生成部１４１は、画素の差が０以下の画素位置を０で表し、画素の差が０より大きい画素の画素位置を差分に応じた０～２５５等の多値で表したモノクロ画像の動体通過マップＰａｓｓＭａｓｋ（ｎ）を生成する。

【0030】

このように生成される動体通過マップＰａｓｓＭａｓｋ（ｎ）は、第１の動きマップＭａｓｋ（ｎ）に表された動体物が、当該第１の動きマップＭａｓｋ（ｎ）の状態に至るまでに通過してきた領域（動体通過領域）の画素位置を示すものとなる。また、動体通過マップＰａｓｓＭａｓｋ（ｎ）は、白黒画像やモノクロ画像であるため、動体通過マップＰａｓｓＭａｓｋ（ｎ）のビット深度は、元のフレーム画像Ｉｍａｇｅ（ｎ）及びフレーム画像Ｉｍａｇｅ（ｎ－１）のビット深度よりも低くなる。つまり、第２の生成部１４１より後段の第３の生成部１４２では、ビット深度が低減化された動体通過マップＰａｓｓＭａｓｋ（ｎ）を基に処理を進めることができるため、処理に係るメモリ容量や処理負荷を抑えることができる。

【0031】

第３の生成部１４２は、第１の動きマップＭａｓｋ（ｎ）と、所定の強度を乗算した動体通過マップＰａｓｓＭａｓｋ（ｎ）とを統合（以下、マージともいう）することで、現フレームに係る第２の動きマップＭｅｒｇｅＭａｓｋ（ｎ）を生成する。具体的には、第３の生成部１４２は、下記式（１）に基づいて、第１の動きマップＭａｓｋ（ｎ）と動体通過マップＰａｓｓＭａｓｋ（ｎ）とを同じ画素位置の画素毎にマージする。

【0032】

ＭｅｒｇｅＭａｓｋ（ｎ）＝
Ｍａｓｋ（ｎ）＋｛ＰＭＲＡＴＩＯ×ＰａｓｓＭａｓｋ（ｎ）｝…（１）

【0033】

ここで、ＰＭＲＡＴＩＯは、残像抑制強度である。残像抑制強度は、第１の値に対応し、後述する調整部１４３でのパラメータ調整に寄与する要素である。残像抑制強度には、“０．０”より大きく“１．０”より小さい値が設定される。残像抑制強度により大きな値を設定することで、動体物の移動に伴い発生するノイズ（残像ノイズ）の低減化に係る強度（残像抑制強度）を大きくすることができる。

【0034】

なお、残像抑制強度の値は任意に設定することが可能であるが、自動で設定するよう構成してもよい。例えば、第３の生成部１４２は、動体通過マップＰａｓｓＭａｓｋ（ｎ）に表された動体通過領域の大きさに応じて、残像抑制強度を増減させる構成としてもよい。この場合、第３の生成部１４２は、動体通過領域が大きいほど、残像抑制強度を増加させることが好ましい。

【0035】

上記式（１）に基づき生成される第２の動きマップＭｅｒｇｅＭａｓｋ（ｎ）は、第１の動きマップＭａｓｋ（ｎ）に表された動体物の存在領域と、当該動体物が通過してきた動体通過領域の画素位置とを示すものとなる。また、動体通過領域を構成する各画素の値は、時系列的に近時の動体通過領域であるほど、より大きな値が付されることになる。以下では、第２の動きマップＭｅｒｇｅＭａｓｋ（ｎ）を構成する各画素の値を動き情報ともいう。

【0036】

第３の生成部１４２で生成された第２の動きマップＭｅｒｇｅＭａｓｋ（ｎ）は、調整部１４３に引き渡されるとともに、第１の記憶部２１（図１参照）に記憶される。第１の記憶部２１に記憶された第２の動きマップＭｅｒｇｅＭａｓｋ（ｎ）は、次のフレームのフレーム画像Ｉｍａｇｅ（ｎ＋１）に係る第１の動きマップＭａｓｋ（ｎ＋１）が残像処理部１４に入力される際に、残像処理部１４に入力される。つまり、第１の記憶部２１は、新たに入力される最新のフレーム画像Ｉｍａｇｅ（ｎ）から見て、１フレーム分過去の過去フレームについて生成された第２の動きマップＭｅｒｇｅＭａｓｋ（ｎ－１）を記憶し、保持している。そして、第１の記憶部２１に記憶された１フレーム分過去の過去フレームに係る第２の動きマップＭｅｒｇｅＭａｓｋ（ｎ－１）は、最新の第１の動きマップＭａｓｋ（ｎ）が残像処理部１４に入力される際に、残像処理部１４に入力される。

【0037】

このように、画像処理装置１では、新たなフレーム画像が入力される毎に、先行する２フレーム分のフレーム画像について生成された第２の動きマップＭｅｒｇｅＭａｓｋ（例えば、ｎ－１）が、過去フレームに係る過去マップ画像として再帰的に使用される。そして、第２の生成部１４１は、過去マップ画像から、新たに入力された現フレームに係る第１の動きマップＭａｓｋ（例えば、ｎ）を減算することで、動体通過マップＰａｓｓＭａｓｋ（ｎ）を生成する。

【0038】

調整部１４３は、現フレームに係る第２の動きマップＭｅｒｇｅＭａｓｋ（ｎ）に基づいて、３ＤＮＲ処理部１６の３ＤＮＲ処理に係るパラメータを調整する。本実施形態では、調整部１４３は、合成処理部１５の動作に係るパラメータＰＲ１を調整する。

【0039】

具体的には、調整部１４３は、第２の動きマップＭｅｒｇｅＭａｓｋ（ｎ）を構成する各画素の動き情報に基づいて、フレーム画像Ｉｍａｇｅ（ｎ）とフレーム画像Ｉｍａｇｅ（ｎ－１）との合成比率を画素単位で調整する。ここで、調整部１４３は、動き情報の値が大きい画素ほど、現フレームのフレーム画像Ｉｍａｇｅ（ｎ）の合成比率が大きくなるようにパラメータＰＲ１を調整する。

【0040】

図３は、パラメータＰＲ１の調整方法の一例を説明するための図である。図３において、縦軸は、現フレームのフレーム画像Ｉｍａｇｅ（ｎ）の合成比率（％）を意味する。横軸は、動き情報の値を意味する。なお、図３では、動き情報を０～２５５の値で表した例を示しているが、これに限らないものとする。

【0041】

図３の調整方法において、調整部１４３は、第２の動きマップＭｅｒｇｅＭａｓｋ（ｎ）を構成する各画素の動き情報の値に基づき、対応する画素位置でのフレーム画像Ｉｍａｇｅ（ｎ）の合成比率を決定する。

【0042】

例えば、調整部１４３は、動き情報の値が“０”の画素、つまり動体物の存在領域及び動体通過領域以外の静止領域の画素について、フレーム画像Ｉｍａｇｅ（ｎ）の合成比率が１０％となるようにパラメータＰＲ１を調整する。また、例えば、調整部１４３は、動き情報の値が“１００”の画素について、フレーム画像Ｉｍａｇｅ（ｎ）の合成比率が５５％となるようにパラメータＰＲ１を調整する。また、調整部１４３は、動き情報の値が“２００”以上の画素について、フレーム画像Ｉｍａｇｅ（ｎ）の比率が１００％となるようにパラメータＰＲ１を調整する。

【0043】

なお、図３では、動き情報の値に比例して、フレーム画像Ｉｍａｇｅ（ｎ）の合成比率を上昇させる例を示したが、合成パラメータの調整方法はこれに限定されるものではない。例えば、動き情報の値に応じて、フレーム画像Ｉｍａｇｅ（ｎ）の合成比率を段階的に上昇させてもよい。

【0044】

図１に戻り、合成処理部１５には、第１の２ＤＮＲ処理部１１及び第２の２ＤＮＲ処理部１２で処理された、２ＤＮＲ済みのフレーム画像Ｉｍａｇｅ（ｎ）及びフレーム画像Ｉｍａｇｅ（ｎ－１）が入力される。合成処理部１５は、残像処理部１４から指示されるパラメータＰＲ１に基づき、フレーム画像Ｉｍａｇｅ（ｎ）とフレーム画像Ｉｍａｇｅ（ｎ－１）とを合成する合成処理（アルファブレンドともいう）を実行する。

【0045】

具体的には、合成処理部１５は、残像処理部１４（調整部１４３）から指示されるパラメータＰＲ１に基づき、フレーム画像Ｉｍａｇｅ（ｎ）とフレーム画像Ｉｍａｇｅ（ｎ－１）との合成比率を画素単位で設定する。そして、合成処理部１５は、設定した合成比率でフレーム画像Ｉｍａｇｅ（ｎ）とフレーム画像Ｉｍａｇｅ（ｎ－１）とを合成し、３ＤＮＲ済みのフレーム画像ＤＮＲ＿Ｉｍａｇｅ（ｎ）を出力する。

【0046】

このように、第１の２ＤＮＲ処理部１１、第２の２ＤＮＲ処理部１２及び合成処理部１５で構成される３ＤＮＲ処理部１６は、現フレームと現フレームより過去の過去フレームとに基づいた３ＤＮＲ処理を実行する。

【0047】

ところで、従来の３ＤＮＲ処理の手法では、動体物が通過した後の静止領域、つまり動体通過領域にノイズが発生する可能性がある。具体的には、従来の手法では、過去フレームで動体が通過した動体通過領域は、現フレームでは単なる静止領域として処理される。また、静止領域における現フレームと過去フレームとの合成比率は過去フレームの方が大きくなるため、過去フレームの影響が支配的となる。

【0048】

そのため、従来の手法では、過去フレームに存在した動体物が合成後のフレーム画像に残存し、この残存部分は動体物の後ろに尾を引くようなノイズ（残像ノイズ）を発生させる可能性があった。また、現フレーム中の動体通過領域に、過去フレームで行われた２ＤＮＲ処理の処理結果が強く反映されるため、２ＤＮＲ処理に伴う解像劣化が合成後のフレーム画像に現れる可能性があった。

【0049】

一方、本実施形態の画像処理装置１は、少なくとも直近の３フレーム分のフレーム画像から、動体物の存在領域とその動体物の動体通過領域とを抽出する。そして、画像処理装置１は、動体物の存在領域と、残像抑制強度を乗算した動体通過領域とをマージした第２の動きマップＭｅｒｇｅＭａｓｋ（ｎ）に基づいて、フレーム画像Ｉｍａｇｅ（ｎ）とフレーム画像Ｉｍａｇｅ（ｎ－１）との合成比率を調整する。

【0050】

これにより、画像処理装置１では、動体通過領域でのフレーム画像Ｉｍａｇｅ（ｎ）の合成比率が、フレーム画像Ｉｍａｇｅ（ｎ－１）より大きくなるように調整することができる。上述したように、動体通過領域に発生する残像ノイズは、現フレームよりも過去フレームに由来するため、現フレームのフレーム画像Ｉｍａｇｅ（ｎ）の合成比率を大きくすることで、残像ノイズの低減化を図ることができる。また、動き情報の値が大きい画素、つまり合成後も残存する可能性の高い画素ほど、フレーム画像Ｉｍａｇｅ（ｎ）の合成比率を大きくすることができるため、過去フレームに由来する残像ノイズを効率的に低減することができる。

【0051】

なお、３ＤＮＲ後のフレーム画像ＤＮＲ＿Ｉｍａｇｅ（ｎ）は、画像処理装置１から表示装置等の外部装置に出力されるとともに、第２の記憶部２２に記憶される。第２の記憶部２２に記憶されたフレーム画像ＤＮＲ＿Ｉｍａｇｅ（ｎ）は、次のフレームのフレーム画像Ｉｍａｇｅ（ｎ＋１）が第１の２ＤＮＲ処理部１１及び第１の生成部１３に入力される際に、フレーム画像Ｉｍａｇｅ（ｎ）として、第２の２ＤＮＲ処理部１２及び第１の生成部１３に入力される。つまり、第２の記憶部２２は、新たに入力される最新のフレーム画像Ｉｍａｇｅ（ｎ）から見て、１フレーム分過去の過去フレームについて生成されたフレーム画像ＤＮＲ＿Ｉｍａｇｅ（ｎ－１）を記憶し、保持している。そして、第２の記憶部２２に記憶された１フレーム過去分の過去フレームに係るフレーム画像ＤＮＲ＿Ｉｍａｇｅ（ｎ－１）は、最新のフレーム画像Ｉｍａｇｅ（ｎ）が第１の２ＤＮＲ処理部１１及び第１の生成部１３に入力される際に、フレーム画像Ｉｍａｇｅ（ｎ－１）として、第２の２ＤＮＲ処理部１２及び第１の生成部１３に入力される。

【0052】

このように、画像処理装置１では、新たなフレーム画像が入力される毎に、先行する２フレーム分のフレーム画像について生成された３ＤＮＲ済みのフレーム画像ＤＮＲ＿Ｉｍａｇｅ（例えば、ｎ－１）が、過去フレームのフレーム画像Ｉｍａｇｅ（例えば、ｎ－１）として再帰的に使用される。

【0053】

次に、図４及び図５を参照して、本実施形態に係る画像処理装置１の動作について説明する。ここで、図４は、画像処理装置１の全体動作を説明するための説明図である。また、図５は、第１の生成部１３及び残像処理部１４の動作を説明するための説明図である。

【0054】

なお、図４では、破線で区分した左側の領域に、第１の２ＤＮＲ処理部１１、第２の２ＤＮＲ処理部１２、第１の生成部１３、残像処理部１４、及び合成処理部１５の動作を示している。また、破線で区分した右側の領域には、図１に示した第１の記憶部２１及び第２の記憶部２２を示している。

【0055】

また、図５において、フレーム画像Ｉｍａｇｅ（ｎ－２）～Ｉｍａｇｅ（ｎ）は、時系列的に連続する３つのフレーム画像を意味する。また、フレーム画像中のハッチング領域は、動体物が存在する位置を意味し、同一の動体物が図中左方から右方に移動する状態を表している。また、動体物の各々に付した符号Ａ～Ｄは、何れのフレーム画像に由来する動体物かを識別するための識別子である。具体的には、動体物Ｂは、フレーム画像Ｉｍａｇｅ（ｎ－２）に含まれた動体物を、動体物Ｃは、フレーム画像Ｉｍａｇｅ（ｎ－１）に含まれた動体物を、動体物Ｄは、フレーム画像Ｉｍａｇｅ（ｎ）に含まれた動体物を意味する。なお、動体物Ａは、図示しないフレーム画像Ｉｍａｇｅ（ｎ－３）に含まれた動体物を意味する。

【0056】

また、図４及び図５では、現フレームより１フレーム分過去のフレーム画像Ｉｍａｇｅ（ｎ－１）の段階まで、３ＤＮＲ処理が完了済み、つまり第１の動きマップＭａｓｋ（ｎ－１）、第２の動きマップＭｅｒｇｅＭａｓｋ（ｎ－１）及び３ＤＮＲ済みのフレーム画像ＤＮＲ＿Ｉｍａｇｅ（ｎ－１）が生成済みであるとする。

【0057】

まず、第１の生成部１３は、現フレームのフレーム画像Ｉｍａｇｅ（ｎ）と、現フレームより１フレーム分過去のフレーム画像Ｉｍａｇｅ（ｎ－１）とに基づいて、第１の動きマップＭａｓｋ（ｎ）を生成する（ステップＳ１１）。１フレーム分過去のフレーム画像Ｉｍａｇｅ（ｎ－１）は、第２の記憶部２２に記憶された、１フレーム分過去の過去フレームに係る３ＤＮＲ済みのフレーム画像ＤＮＲ＿Ｉｍａｇｅ（ｎ－１）に対応するものである。

【0058】

ここで、第１の動きマップＭａｓｋ（ｎ）は、図５に示すように、フレーム画像Ｉｍａｇｅ（ｎ）とフレーム画像Ｉｍａｇｅ（ｎ－１）との両フレーム画像において、動体物が存在する存在領域を表す画像となる。

【0059】

続いて、第２の生成部１４１は、第１の記憶部２１に記憶された１フレーム分過去の過去フレームに係る第２の動きマップＭｅｒｇｅＭａｓｋ（ｎ－１）から、現フレームに係る第１の動きマップＭａｓｋ（ｎ）を減算することで、動体通過マップＰａｓｓＭａｓｋ（ｎ）を生成する（ステップＳ１２）。

【0060】

ここで、動体通過マップＰａｓｓＭａｓｋ（ｎ）は、図５に示すように、第２の動きマップＭｅｒｇｅＭａｓｋ（ｎ－１）に表された動体物の存在領域及び動体通過領域から、第１の動きマップＭａｓｋ（ｎ）に表された動体物の存在領域を取り除いた画像となる。つまり、動体通過マップＰａｓｓＭａｓｋ（ｎ）には、少なくともフレーム画像Ｉｍａｇｅ（ｎ－１）より過去のフレーム画像Ｉｍａｇｅ（ｎ－２）に含まれた動体物の存在領域が動体通過領域として表されることになる。

【0061】

続いて、第３の生成部１４２は、上述した式（１）に基づき、残像抑制強度を乗算した動体通過マップＰａｓｓＭａｓｋ（ｎ）を、第１の動きマップＭａｓｋ（ｎ）にマージすることで、第２の動きマップＭｅｒｇｅＭａｓｋ（ｎ）を生成する（ステップＳ１３）。

【0062】

これにより、第２の動きマップＭｅｒｇｅＭａｓｋ（ｎ）は、図５に示すように、動体物の存在領域と、残像抑制強度が乗算された動体通過領域とをマージした画像となる。図５では、動き情報の大小関係をハッチングの濃淡で表している。ここで、動き情報の大小関係は、動体物Ａ＜動体物Ｂ＜動体物Ｃ＝動体物Ｄとなる。つまり、動き情報の値は、時系列的に新しいフレームに由来する動体通過領域ほど大きくなり、より過去のフレームに由来する動体通過領域であるほど残像抑制強度の乗算回数が増えるため小さくなる。

【0063】

また、第３の生成部１４２は、生成した第２の動きマップＭｅｒｇｅＭａｓｋ（ｎ）を、第１の記憶部２１に記憶する（ステップＳ１４）。

【0064】

上述したように、第１の記憶部２１に記憶された第２の動きマップＭｅｒｇｅＭａｓｋ（ｎ－1）は、フレーム画像Ｉｍａｇｅ（ｎ）が入力された場合に、１フレーム分過去の過去フレームに係る第２の動きマップＭｅｒｇｅＭａｓｋ（ｎ－1）として、動体通過マップＰａｓｓＭａｓｋ（ｎ）の生成に使用される。また、フレーム画像Ｉｍａｇｅ（ｎ）の処理に伴い第１の記憶部２１に記憶された第２の動きマップＭｅｒｇｅＭａｓｋ（ｎ）は、新たなフレームのフレーム画像Ｉｍａｇｅ（ｎ＋１）が入力された際に、１フレーム分過去の過去フレームに係る第２の動きマップＭｅｒｇｅＭａｓｋ（ｎ）として、動体通過マップＰａｓｓＭａｓｋ（ｎ＋１）の生成に使用される。

【0065】

このように、画像処理装置１では、新たなフレーム画像（例：ｎ）が入力される毎に、先行する２フレーム分のフレーム画像について生成された第２の動きマップＭｅｒｇｅＭａｓｋ（例：ｎ－１）が、過去フレームに係る過去マップ画像として再帰的に使用される。

【0066】

続いて、調整部１４３は、第２の動きマップＭｅｒｇｅＭａｓｋ（ｎ）を構成する各画素の動き情報の値に基づき、フレーム画像Ｉｍａｇｅ（ｎ）とフレーム画像Ｉｍａｇｅ（ｎ－１）との合成比率に係るパラメータＰＲ１を調整する（ステップＳ１５）。

【0067】

一方、第１の２ＤＮＲ処理部１１及び第２の２ＤＮＲ処理部１２は、入力されたフレーム画像Ｉｍａｇｅ（ｎ）及びフレーム画像Ｉｍａｇｅ（ｎ－１）の各々に対し、２ＤＮＲ処理を行う（ステップＳ１６、Ｓ１７）。

【0068】

続いて、合成処理部１５は、調整部１４３で調整されたパラメータＰＲ１に基づき、２ＤＮＲ処理後のフレーム画像Ｉｍａｇｅ（ｎ）とフレーム画像Ｉｍａｇｅ（ｎ－１）とを合成し、３ＤＮＲ後のフレーム画像ＤＮＲ＿Ｉｍａｇｅ（ｎ）を出力する（ステップＳ１８）。

【0069】

また、合成処理部１５は、フレーム画像ＤＮＲ＿Ｉｍａｇｅ（ｎ）を第２の記憶部２２に記憶する（ステップＳ１９）。

【0070】

上述したように、第２の記憶部２２に記憶されたフレーム画像ＤＮＲ＿Ｉｍａｇｅ（ｎ－１）は、フレーム画像Ｉｍａｇｅ（ｎ）が入力された際に、１フレーム分過去の過去フレームに係るフレーム画像Ｉｍａｇｅ（ｎ－１）として、フレーム画像ＤＮＲ＿Ｉｍａｇｅ（ｎ）の生成に使用される。また、フレーム画像Ｉｍａｇｅ（ｎ）の処理に伴い第２の記憶部２２に記憶されたフレーム画像ＤＮＲ＿Ｉｍａｇｅ（ｎ）は、新たなフレームのフレーム画像Ｉｍａｇｅ（ｎ＋１）が入力された際に、１フレーム分過去の過去フレームに係るフレーム画像Ｉｍａｇｅ（ｎ）として、フレーム画像ＤＮＲ＿Ｉｍａｇｅ（ｎ＋１）の生成に使用される。

【0071】

このように、新たなフレーム画像（例：ｎ）が入力される毎に、先行する２フレーム分のフレーム画像について生成された３ＤＮＲ処理済のフレーム画像ＤＮＲ＿Ｉｍａｇｅ（例：ｎ－１）が、過去フレームのフレーム画像Ｉｍａｇｅ（例：ｎ－１）として再帰的に使用される。

【0072】

次に、図６を参照して、上述した第１の生成部１３、残像処理部１４及び合成処理部１５が行う処理の流れについて説明する。図６は、第１の生成部１３、残像処理部１４及び合成処理部１５が行う処理の一例を示すフローチャートである。本処理では、最新のフレーム画像Ｉｍａｇｅ（ｎ＋Ｘ）を基点とし、このＩｍａｇｅ（ｎ＋Ｘ）以降に入力される将来のフレーム画像を処理する場合の動作について説明する。なお、「Ｘ」は整数である。

【0073】

まず、第１の生成部１３は、フレーム画像Ｉｍａｇｅ（ｎ＋Ｘ）の入力を検出すると（ステップＳ２１）、フレーム画像Ｉｍａｇｅ（ｎ＋Ｘ）と、フレーム画像Ｉｍａｇｅ（ｎ＋Ｘ－１）とに基づいて、第１の動きマップＭａｓｋ（ｎ＋Ｘ）を生成する（ステップＳ２２）。ここで、フレーム画像Ｉｍａｇｅ（ｎ＋Ｘ－１）は、第２の記憶部２２に保持されたフレーム画像ＤＮＲ＿Ｉｍａｇｅ（ｎ＋Ｘ－１）に対応するものである。

【0074】

続いて、第２の生成部１４１は、第２の動きマップＭｅｒｇｅＭａｓｋ（ｎ＋Ｘ－１）から第１の動きマップＭａｓｋ（ｎ＋Ｘ）を減算し、減算の結果が正値となる画素を表した動体通過マップＰａｓｓＭａｓｋ（ｎ＋Ｘ）を生成する（ステップＳ２３）。

【0075】

続いて、第３の生成部１４２は、動体通過マップＰａｓｓＭａｓｋ（ｎ＋Ｘ）と第１の動きマップＭａｓｋ（ｎ＋Ｘ）とをマージすることで、第２の動きマップＭｅｒｇｅＭａｓｋ（ｎ＋Ｘ）を生成する。具体的には、第３の生成部１４２は、第２の動きマップＭｅｒｇｅＭａｓｋ（ｎ＋Ｘ）を構成する各画素の画素位置毎に以下の処理を実行することで、各画素の動き情報を設定する。

【0076】

まず、第３の生成部１４２は、動体通過マップＰａｓｓＭａｓｋ（ｎ＋Ｘ）を構成する各画素の値を参照し、その値が正値か否かを判定する（ステップＳ２４）。ここで、第３の生成部１４２は、画素が正値の場合は動体通過領域と判断する（ステップＳ２４；Ｙｅｓ）。この場合、第３の生成部１４２は、動体通過領域と判断した画素の値に残像抑制強度を乗算した値を、第１の動きマップＭａｓｋ（ｎ＋Ｘ)が保持する値に加算し、第２の動きマップＭｅｒｇｅＭａｓｋ（ｎ＋Ｘ）の対応する画素の動き情報に設定する（ステップＳ２５）。また、第３の生成部１４２は、画素が正値ではない場合は動体領域、又は静止領域と判断する（ステップＳ２４；Ｎｏ）。この場合、第３の生成部１４２は、第１の動きマップＭａｓｋ（ｎ＋Ｘ）が保持する同じ画素位置の値を、第２の動きマップＭｅｒｇｅＭａｓｋ（ｎ＋Ｘ）の対応する画素の動き情報に設定する（ステップＳ２６）。

【0077】

続いて、調整部１４３は、第３の生成部１４２で生成された第２の動きマップＭｅｒｇｅＭａｓｋ（ｎ＋Ｘ）に基づいて、合成処理部１５の合成処理に係るパラメータＰＲ１を調整する（ステップＳ２７）。

【0078】

続いて、合成処理部１５は、調整部１４３で調整されたパラメータＰＲ１に基づいて、２ＤＮＲ後のフレーム画像Ｉｍａｇｅ（ｎ＋Ｘ）とフレーム画像Ｉｍａｇｅ（ｎ＋Ｘ－１）とを合成する（ステップＳ２８）。そして、合成処理部１５は、合成したフレーム画像を、３ＤＮＲ後のフレーム画像ＤＮＲ＿Ｉｍａｇｅ（ｎ＋Ｘ）として出力する（ステップＳ２９）。

【0079】

続いて、第１の生成部１３は、新たなフレーム画像Ｉｍａｇｅ（ｎ＋Ｘ＋１）が入力されたか否かを判定する（ステップＳ３０）。ここで、入力が検出された場合には（ステップＳ３０；Ｙｅｓ）、第１の生成部１３は、入力されたフレーム画像Ｉｍａｇｅ（ｎ＋Ｘ＋１）を現フレームとして処理するため、「Ｘ＋１」を「Ｘ」とし（ステップＳ３１）、ステップＳ２２に処理を戻す。これにより、フレーム画像Ｉｍａｇｅ（ｎ＋Ｘ）に対し、上述したステップＳ２２～Ｓ３１の処理が順次実行される。このように、本処理では、新たなフレーム画像が入力される毎に「Ｘ」の値が１インクリメントされ、そのＸの値に応じたフレーム画像Ｉｍａｇｅ（ｎ＋Ｘ－１）及び第２の動きマップＭｅｒｇｅＭａｓｋ（ｎ＋Ｘ－１）が、ステップＳ２２、Ｓ２３で使用される。

【0080】

なお、フレーム画像の入力が一時的に途絶えた場合等、ステップＳ３０でフレーム画像Ｉｍａｇｅ（ｎ＋Ｘ＋１）の入力が検出されない場合には（ステップＳ３０；Ｎｏ）、処理を終了する。そして、フレーム画像の入力が再び開始された場合には、ステップＳ２１から処理を開始する。

【0081】

以上説明したように、本実施形態に係る画像処理装置１は、連続して入力される複数のフレーム画像のうち、直近の２フレーム分のフレーム画像Ｉｍａｇｅ（ｎ）、フレーム画像Ｉｍａｇｅ（ｎ－１）から第１の動きマップＭａｓｋ（ｎ）を生成する。また、画像処理装置１は、フレーム画像Ｉｍａｇｅ（ｎ）より過去のフレーム画像に含まれた前記動体物の存在領域を示す第２の動きマップＭｅｒｇｅＭａｓｋ（ｎ－１）から、第１の動きマップＭａｓｋ（ｎ）を減算することで、動体通過マップＰａｓｓＭａｓｋ（ｎ）を生成する。また、画像処理装置１は、第１の動きマップＭａｓｋ（ｎ）と、残像抑制強度を乗算した動体通過マップＰａｓｓＭａｓｋ（ｎ）とをマージし、第２の動きマップＭｅｒｇｅＭａｓｋ（ｎ）を生成する。そして、画像処理装置１は、第２の動きマップＭｅｒｇｅＭａｓｋ（ｎ）に基づいて、フレーム画像Ｉｍａｇｅ（ｎ）とフレーム画像Ｉｍａｇｅ（ｎ－１）との合成処理に係るパラメータＰＲ１を調整する。

【0082】

これにより、画像処理装置１は、動体通過領域でのフレーム画像Ｉｍａｇｅ（ｎ）の合成比率をパラメータＰＲ１に応じて変化させることができるため、動体通過領域に発生する残像ノイズの低減化を図ることができる。したがって、画像処理装置１は、残像ノイズが抑制されたフレーム画像（ＤＮＲ＿Ｉｍａｇｅ（ｎ））を出力することができる。

【0083】

また、本実施形態に係る画像処理装置１では、フレーム画像と比較し、ビット深度が低減化された第１の動きマップ、動体通過マップ及び第２の動きマップを用いて、３ＤＮＲ処理に係るパラメータの調整を行う。これにより、画像処理装置１は、パラメータ調整に係る処理負荷やメモリの使用量を抑えることができるため、処理の効率化を図ることができる。

【0084】

また、本実施形態に係る画像処理装置１では、少なくとも３フレーム分のフレーム画像に含まれた動体物の存在位置及び動体通過領域を、第２の動きマップに集約して保持することができる。これにより、画像処理装置１は、例えば３フレーム分のフレーム画像を個別に保持する構成と比較し、使用するメモリ容量やメモリの個数を減らすことができるため、処理の効率化を図ることができる。

【0085】

なお、上述した実施形態は、画像処理装置１が有する構成又は機能の一部を変更することで、適宜に変形して実施することも可能である。そこで、以下では、上述した実施形態に係るいくつかの変形例を他の実施形態として説明する。なお、以下では、上述した実施形態と異なる点を主に説明することとし、既に説明した内容と共通する点については詳細な説明を省略する。また、以下で説明する変形例は、個別に実施されてもよいし、適宜組み合わせて実施されてもよい。

【0086】

（変形例１）
上述の実施形態では、調整部１４３は、３ＤＮＲ処理に係るパラメータとして、合成処理部１５の動作に係るパラメータＰＲ１を調整する形態を説明した。しかしながら、調整の対象となるパラメータは、合成処理部１５に関するものに限らない。

【0087】

そこで、本変形例では、調整部１４３が、第１の２ＤＮＲ処理部１１及び第２の２ＤＮＲ処理部１２の動作に係るパラメータＰＲ２、ＰＲ３を調整する形態について説明する。

【0088】

本変形例に係る画像処理装置１では、図１に示すように、第１の２ＤＮＲ処理部１１及び第２の２ＤＮＲ処理部１２が、残像処理部１４に接続される（図１の破線部参照）。

【0089】

第１の２ＤＮＲ処理部１１及び第２の２ＤＮＲ処理部１２の各々は、残像処理部１４（調整部１４３）で調整されたパラメータＰＲ２、ＰＲ３に基づいて２ＤＮＲ処理の強度等を決定する。なお、２ＤＮＲ処理の強度の変更方法は、例えばフィルタのサイズや係数を変更する等、特に限定されないものとする。

【0090】

また、本変形例に係る調整部１４３は、第３の生成部１４２で生成された第２の動きマップＭｅｒｇｅＭａｓｋ（ｎ）に基づいて、第１の２ＤＮＲ処理部１１及び第２の２ＤＮＲ処理部１２の動作に係るパラメータＰＲ２、ＰＲ３を調整する。具体的には、調整部１４３は、第２の動きマップＭｅｒｇｅＭａｓｋ（ｎ）を構成する各画素の動き情報に基づいて、第１の２ＤＮＲ処理部１１及び第２の２ＤＮＲ処理部１２が行う２ＤＮＲ処理の強度を画素単位で調整する。

【0091】

例えば、調整部１４３は、動き情報の値が大きい画素ほど、フレーム画像Ｉｍａｇｅ（ｎ）に対して実行される２ＤＮＲ処理の強度が大きくなるように、第１の２ＤＮＲ処理部１１のパラメータＰＲ２を調整する。また、調整部１４３は、動き情報の値が大きい画素ほど、フレーム画像Ｉｍａｇｅ（ｎ－１）に対して実行される２ＤＮＲ処理の強度が大きくなるように、第２の２ＤＮＲ処理部１２のパラメータＰＲ３を調整する。

【0092】

ここで、調整部１４３は、上述した合成処理部１５の合成比率と同様に、第１の２ＤＮＲ処理部１１及び第２の２ＤＮＲ処理部１２の２ＤＮＲの強度を比率で指定してもよいし、各々の強度を独立した基準で指定してもよい。

【0093】

上記の構成により、画像処理装置１は、第２の動きマップＭｅｒｇｅＭａｓｋ（ｎ）に表された動体通過領域の動き情報に応じて、当該動体通過領域に対して第１の２ＤＮＲ処理部１１及び第２の２ＤＮＲ処理部１２が行う２ＤＮＲ処理の強度を調整することができる。

【0094】

次に、図７を参照して、本変形例に係る画像処理装置１の動作について説明する。ここで、図７は、変形例１に係る画像処理装置１の全体動作を説明するための説明図である。

【0095】

図７では、上述した図４と同様に、第１の２ＤＮＲ処理部１１、第２の２ＤＮＲ処理部１２、第１の生成部１３、残像処理部１４、及び合成処理部１５の動作と、第１の記憶部２１及び第２の記憶部２２に対するデータの入出力の状態とを、破線により区分した左右の領域に示している。なお、ステップＳ４１～Ｓ４４は、図４で説明したステップＳ１１～Ｓ１４と同様であるため説明を省略する。

【0096】

ステップＳ４４の後、調整部１４３は、第２の動きマップＭｅｒｇｅＭａｓｋ（ｎ）に基づき、合成処理部１５のパラメータＰＲ１を調整するとともに、第１の２ＤＮＲ処理部１１及び第２の２ＤＮＲ処理部１２のパラメータＰＲ２、ＰＲ３を調整する（ステップＳ４５）。

【0097】

第１の２ＤＮＲ処理部１１は、調整後のパラメータＰＲ２に応じた強度で、フレーム画像Ｉｍａｇｅ（ｎ）に対し２ＤＮＲ処理を実行する（ステップＳ４６）。また、第２の２ＤＮＲ処理部１２は、調整後のパラメータＰＲ３に応じた強度で、フレーム画像Ｉｍａｇｅ（ｎ－１）に対し２ＤＮＲ処理を実行する（ステップＳ４７）。

【0098】

続いて、合成処理部１５は、調整部１４３から指示されたパラメータＰＲ１に基づき、２ＤＮＲ後のフレーム画像Ｉｍａｇｅ（ｎ）とフレーム画像Ｉｍａｇｅ（ｎ－１）とを合成することで、３ＤＮＲ後のフレーム画像ＤＮＲ＿Ｉｍａｇｅ（ｎ）を出力する（ステップＳ４８）。なお、ステップＳ４９は、図４で説明したステップＳ１９と同様である。

【0099】

以上のように、本変形例に係る画像処理装置１によれば、動体通過領域に対する２ＤＮＲ処理の強度をパラメータＰＲ２、ＰＲ３の調整により変化させることができるため、動体通過領域に発生する残像ノイズの低減化を図ることができる。したがって、画像処理装置１は、残像ノイズが抑制されたフレーム画像（ＤＮＲ＿Ｉｍａｇｅ（ｎ））を出力することができる。また、動体通過領域に対する２ＤＮＲ処理の強度とともに、フレーム画像Ｉｍａｇｅ（ｎ）の合成比率も調整することができるため、動体通過領域に発生する残像ノイズの更なる低減化を図ることができる。

【0100】

なお、本変形例では、パラメータＰＲ２及びパラメータＰＲ３の両方を調整する形態としたが、何れか一方のみ（例えばパラメータＰＲ３のみ）を調整する形態としてもよい。また、パラメータＰＲ１の調整を行わず、パラメータＰＲ２、ＰＲ３の調整のみ行う形態としてもよい。

【0101】

（変形例２）
上述の実施形態では、図１を用いて画像処理装置１の構成を説明したが、画像処理装置１の構成はこれに限定されるものではない。例えば、画像処理装置１は、３ＤＮＲ処理の効率化やフレーム画像の安定化等に係る機能を更に備えてもよい。本変形例では、画像処理装置１の他の構成例について説明する。

【0102】

図８は、本変形例に係る画像処理装置１の構成の一例を示す図である。本変形例に係る画像処理装置１は、図８に示すように、上述した図１の構成に加え、動き量推定部３１、動き補償部３２、動画ぶれ除去部３３、及び位置合わせ部３４を更に備える。ここで、動き量推定部３１は、動き量推定部の一例である。動き補償部３２は、動き補償部の一例である。

【0103】

なお、動き量推定部３１、動き補償部３２、動画ぶれ除去部３３、及び位置合わせ部３４の一部又は全部は、専用回路等のハードウェア構成によって実現されてもよい。また、動き量推定部３１、動き補償部３２、動画ぶれ除去部３３、及び位置合わせ部３４の一部又は全部は、マイクロコンピュータ等のコンピュータが備えるプロセッサと、プログラムとの協働によるソフトウェア構成によって実現されてもよい。プロセッサの一例として、ＣＰＵ、ＤＳＰ、ＦＰＧＡ、ＧＰＵ等が挙げられる。

【0104】

動き量推定部３１には、現フレームのフレーム画像Ｉｍａｇｅ（ｎ）と、現フレームより１フレーム分過去のフレーム画像Ｉｍａｇｅ（ｎ－１）、つまり先行するフレーム画像を基に生成された３ＤＮＲ後のフレーム画像ＤＮＲ＿Ｉｍａｇｅ（ｎ－１）とが入力される。動き量推定部３１は、フレーム画像Ｉｍａｇｅ（ｎ）とフレーム画像Ｉｍａｇｅ（ｎ－１）に基づき、両フレーム画像に含まれた動体物の移動量を推定する処理（ＭＥ：Motion Estimation）を実行する。そして、動き量推定部３１は、推定結果となる動体物の移動量を動き補償部３２に出力する。

【0105】

なお、図８では、合成処理部１５と動き量推定部３１とを直接接続した例を示しているが、合成処理部１５と第２の記憶部２２とを接続する構成としてもよい。例えば、動き量推定部３１は、フレーム画像Ｉｍａｇｅ（ｎ）を検出すると、第２の記憶部２２からフレーム画像ＤＮＲ＿Ｉｍａｇｅ（ｎ－１）の読み出しを行う構成としてもよい。なお、フレーム画像ＤＮＲ＿Ｉｍａｇｅ（ｎ－１）の読み出し方法はこれに限らないものとする。例えば、画像処理装置１の内部若しくは外部に、フレーム画像Ｉｍａｇｅ（ｎ）の入力タイミング及び第２の記憶部２２からのフレーム画像ＤＮＲ＿Ｉｍａｇｅ（ｎ－１）の読み出しタイミング等をまとめて制御する図示しない入出力制御部を設けてもよい。

【0106】

また、動き量推定部３１は、ビット深度又は画像サイズを低減したフレーム画像ＤＮＲ＿Ｉｍａｇｅ（ｎ）を用いて、ＭＥ処理を実行する形態としてもよい。例えば、動き量推定部３１は、処理負荷を抑えるため、フレーム画像ＤＮＲ＿Ｉｍａｇｅ（ｎ）のビット深度又は画像サイズを１／４等に縮小したフレーム画像を用いてＭＥ処理を実行してもよい。また、動き量推定部３１が実行するＭＥ処理は、公知の技術を用いることが可能である。

【0107】

動き補償部３２には、上述した動体物の移動量とともに、現フレームのフレーム画像Ｉｍａｇｅ（ｎ）と、後述する位置合わせ部３４で位置合わせ済のフレーム画像Ｉｍａｇｅ（ｎ－１）とが入力される。動き補償部３２は、これらの入力情報を基に、フレーム間予測等の動き補償（ＭＣ：Motion Compensation）処理を実行する。そして、動き補償部３２は、ＭＣ処理後のフレーム画像Ｉｍａｇｅ（ｎ－１）を第２の２ＤＮＲ処理部１２及び第１の生成部１３に出力する。なお、動き補償部３２が実行するＭＣ処理は、公知の技術を用いることが可能である。

【0108】

動画ぶれ除去部３３には、現フレームのフレーム画像Ｉｍａｇｅ（ｎ）が入力される。動画ぶれ除去部３３は、連続して入力されるフレーム画像Ｉｍａｇｅ（ｎ）から、当該フレーム画像Ｉｍａｇｅ（ｎ）の揺れ方向を推定し、揺れ方向と反対にシフトすることで撮像時に生じた手ぶれ等の動画ぶれを除去する。動画ぶれが除去されたフレーム画像Ｉｍａｇｅ（ｎ）は、位置合わせ部３４に出力される。なお、動画ぶれ除去部３３が実行する処理は、公知の技術を用いることが可能である。

【0109】

位置合わせ部３４には、動画ぶれ除去後のフレーム画像Ｉｍａｇｅ（ｎ）と、フレーム画像Ｉｍａｇｅ（ｎ－１）とが入力される。ここで、フレーム画像Ｉｍａｇｅ（ｎ－１）は、先行するフレーム画像を基に生成された３ＤＮＲ処理済のフレーム画像ＤＮＲ＿Ｉｍａｇｅ（ｎ－１）に対応する。

【0110】

本実施形態では、位置合わせ部３４は、動画ぶれ除去後のフレーム画像Ｉｍａｇｅ（ｎ）を検出すると、第２の記憶部２２からフレーム画像ＤＮＲ＿Ｉｍａｇｅ（ｎ－１）の読み出しを行う。なお、フレーム画像ＤＮＲ＿Ｉｍａｇｅ（ｎ－１）の読み出し方法はこれに限らないものとする。例えば、画像処理装置１の内部若しくは外部に、動画ぶれ除去後のフレーム画像Ｉｍａｇｅ（ｎ）の入力タイミング及び第２の記憶部２２からのフレーム画像ＤＮＲ＿Ｉｍａｇｅ（ｎ－１）の読み出しタイミング等をまとめて制御する図示しない入出力制御部を設けてもよい。

【0111】

位置合わせ部３４は、フレーム画像Ｉｍａｇｅ（ｎ）とフレーム画像Ｉｍａｇｅ（ｎ－１）との相関に基づき、フレーム画像Ｉｍａｇｅ（ｎ）に含まれた物体と位置が合うようフレーム画像Ｉｍａｇｅ（ｎ－１）の位置合わせを行う。位置合わせ後のフレーム画像Ｉｍａｇｅ（ｎ）は、動き補償部３２に出力される。なお、動画ぶれ除去部３３が実行する処理は、公知の技術を用いることが可能である。

【0112】

上記の構成において、第２の２ＤＮＲ処理部１２は、動き補償部３２から入力されるＭＣ処理後のフレーム画像Ｉｍａｇｅ（ｎ－１）に対し２ＤＮＲ処理を実行する。これにより、第２の２ＤＮＲ処理部１２は、ＭＣ処理の結果を活用して２ＤＮＲ処理を行うことができるため、フレーム画像Ｉｍａｇｅ（ｎ－１）に含まれたノイズをより効率的に除去することができる。

【0113】

また、第１の生成部１３は、フレーム画像Ｉｍａｇｅ（ｎ－１）と動画ぶれ除去後のフレーム画像Ｉｍａｇｅ（ｎ）との間で位置合わせが行われ、その後動き補償処理が行われたフレーム画像Ｉｍａｇｅ（ｎ－１）と、フレーム画像Ｉｍａｇｅ（ｎ）とに基づき、第１の動きマップＭａｓｋ（ｎ）を生成する。これにより、第１の生成部１３は、フレーム画像Ｉｍａｇｅ（ｎ）とフレーム画像Ｉｍａｇｅ（ｎ－１）とから、動体物が存在する存在領域の抽出を効率的に行うことができる。

【0114】

次に、図９を参照して、本変形例に係る画像処理装置１の動作について説明する。ここで、図９は、本変形例に係る画像処理装置１の全体動作を説明するための説明図である。なお、図９では、破線により区分した左側の領域に、第１の２ＤＮＲ処理部１１、第２の２ＤＮＲ処理部１２、第１の生成部１３、残像処理部１４、合成処理部１５、動き量推定部３１、動き補償部３２、動画ぶれ除去部３３、及び位置合わせ部３４の動作を示している。また、破線で区分した右側の領域には、図８に示した第１の記憶部２１及び第２の記憶部２２を示している。

【0115】

まず、動画ぶれ除去部３３は、現フレームのフレーム画像Ｉｍａｇｅ（ｎ）に対し動画ぶれを除去する処理を実行する（ステップＳ５１）。次いで、位置合わせ部３４は、動画ぶれが除去されたフレーム画像Ｉｍａｇｅ（ｎ）を基に、フレーム画像Ｉｍａｇｅ（ｎ－１）の位置合わせを行う（ステップＳ５２）。

【0116】

一方、動き量推定部３１は、フレーム画像Ｉｍａｇｅ（ｎ）とフレーム画像Ｉｍａｇｅ（ｎ－１）とに基づき、両フレーム画像に含まれた動体物の動き量を推定するＭＥ処理を実行する（ステップＳ５３）。次いで、動き補償部３２は、フレーム画像Ｉｍａｇｅ（ｎ）、位置合わせ後のフレーム画像Ｉｍａｇｅ（ｎ－１）及びＭＥ処理の処理結果に基づき、動き補償（ＭＣ）処理を実行する（ステップＳ５４）。

【0117】

続いて、第１の生成部１３は、フレーム画像Ｉｍａｇｅ（ｎ）と、位置合わせ及び動き補償処理後のフレーム画像Ｉｍａｇｅ（ｎ－１）とに基づき、第１の動きマップＭａｓｋ（ｎ）を生成する（ステップＳ５５）。続くステップＳ５６～Ｓ５９は、図４で説明したステップＳ１２～Ｓ１５と同様であるため説明を省略する。

【0118】

続いて、第１の２ＤＮＲ処理部１１は、フレーム画像Ｉｍａｇｅ（ｎ）に対し２ＤＮＲを実行する（ステップＳ６０）。また、第２の２ＤＮＲ処理部１２は、ＭＣ処理の結果を用いて、位置合わせ後のフレーム画像Ｉｍａｇｅ（ｎ－１）に対し２ＤＮＲを実行する（ステップＳ６１）。続くステップＳ６２、Ｓ６３は、図４で説明したステップＳ１８、Ｓ１９と同様であるため説明を省略する。

【0119】

以上のように、本変形例に係る画像処理装置１によれば、動き量推定部３１、動き補償部３２、動画ぶれ除去部３３、及び位置合わせ部３４を更に備える。これにより、３ＤＮＲ処理の効率化やフレーム画像の安定化を図ることができる。例えば、ＭＣ処理の処理結果を用いて２ＤＮＲ処理を行う場合、処理結果を用いない構成と比較し、残像ノイズの発生を抑えることができるため、残像ノイズの更なる低減化を図ることができる。

【0120】

なお、本変形例の構成において、パラメータＰＲ３を調整する場合には、残像抑制強度は、動き補償部３２（ＭＣ処理）によるノイズ抑制効果を加味した値とすることが好ましい。一例として、第３の生成部１４２は、ＭＣ処理の処理結果が第２の２ＤＮＲ処理部１２に入力されるか否かに応じて、残像抑制強度の値を変更してもよい。

【0121】

例えば、第３の生成部１４２は、ＭＣ処理の処理結果が第２の２ＤＮＲ処理部１２に入力される構成の場合には、当該処理結果が入力されない構成と比較し、残像抑制強度を所定量低下させる。これにより、ＭＣ処理の処理結果が第２の２ＤＮＲ処理部１２に入力されるか否かに応じて、動体通過領域に対して第２の２ＤＮＲ処理部１２が行う２ＤＮＲ処理の強度を可変とすることができる。したがって、第３の生成部１４２は、残像ノイズの低減化に適した２ＤＮＲ処理の強度を第２の２ＤＮＲ処理部１２に設定することができる。また、同様に、残像抑制強度の変更にともなって、第１の２ＤＮＲ処理部１１が実行する２ＤＮＲ処理も残像ノイズの低減化に適した強度となる。同様に、合成処理部１５におけるフレーム画像Ｉｍａｇｅ（ｎ）とフレーム画像Ｉｍａｇｅ（ｎ－１）との合成比率(ＰＲ１)も残像ノイズの低減化に適した合成比率を設定することで、３ＤＮＲの効果をより高めることができる。

【0122】

［第２の実施形態］
上述した第１の実施形態では、動体通過マップＰａｓｓＭａｓｋ（ｎ）の生成に、過去フレームに係る過去マップ画像として第２の動きマップＭｅｒｇｅＭａｓｋ（ｎ－１）を用いる形態を説明した。第２の実施形態では、第２の動きマップＭｅｒｇｅＭａｓｋ（ｎ－１）に代えて、過去フレームに係る過去マップ画像として第１の動きマップＭａｓｋ（ｎ－１）を用いる形態について説明する。なお、第１の実施形態と同じ機能及び構成の部分には、同一の符号を付与し説明を省略する。

【0123】

図１０は、本実施形態に係る画像処理装置１ａの構成の一例を示す図である。画像処理装置１ａは、第１の２ＤＮＲ処理部１１と、第２の２ＤＮＲ処理部１２と、第１の生成部１３ａと、残像処理部１４ａと、合成処理部１５とを備える。また、画像処理装置１ａは、第１の記憶部２１ａと、第２の記憶部２２とを備える。

【0124】

第１の生成部１３ａは、第１の生成部１３と同様に、フレーム画像Ｉｍａｇｅ（ｎ）とフレーム画像Ｉｍａｇｅ（ｎ－１）とに基づいて、第１の動きマップＭａｓｋ（ｎ）を生成する。生成された第１の動きマップＭａｓｋ（ｎ）は、残像処理部１４ａに出力される。ここで、フレーム画像Ｉｍａｇｅ（ｎ－１）は、第２の記憶部２２に記憶された、１フレーム分過去の過去フレームに係る３ＤＮＲ処理済のフレーム画像ＤＮＲ＿Ｉｍａｇｅ（ｎ－１）に対応する。

【0125】

本実施形態では、第１の生成部１３ａは、フレーム画像Ｉｍａｇｅ（ｎ）を検出すると、第２の記憶部２２からフレーム画像ＤＮＲ＿Ｉｍａｇｅ（ｎ－１）の読み出しを行う。なお、フレーム画像ＤＮＲ＿Ｉｍａｇｅ（ｎ－１）の読み出し方法はこれに限らないものとする。例えば、画像処理装置１の内部若しくは外部に、フレーム画像Ｉｍａｇｅ（ｎ）の入力タイミング及び第２の記憶部２２からのフレーム画像ＤＮＲ＿Ｉｍａｇｅ（ｎ－１）の読み出しタイミング等をまとめて制御する図示しない入出力制御部を設けてもよい。

【0126】

また、第１の生成部１３ａは、生成した第１の動きマップＭａｓｋ（ｎ）を第１の記憶部２１ａに記憶する。第１の記憶部２１ａは、例えば２フレーム分の第１の動きマップを記憶可能な用量を有し、記憶した第１の動きマップをＦＩＦＯ（First In First Out）形式で読み出すことが可能となっている。

【0127】

残像処理部１４ａには、現フレームに係る第１の動きマップＭａｓｋ（ｎ）と、現フレームより１フレーム分過去の過去フレームに係る第１の動きマップＭａｓｋ（ｎ－１）とが入力される。

【0128】

具体的には、残像処理部１４ａは、第１の生成部１３から第１の動きマップＭａｓｋ（ｎ）を検出すると、第１の記憶部２１ａから第１の動きマップＭａｓｋ（ｎ－１）の読み出しを行う。なお、第１の動きマップＭａｓｋ（ｎ－１）の読み出し方法はこれに限らないものとする。例えば、画像処理装置１の内部若しくは外部に、第１の動きマップＭａｓｋ（ｎ）の入力タイミング及び第１の記憶部２１からの第１の動きマップＭａｓｋ（ｎ－１）の読み出しタイミング等をまとめて制御する図示しない入出力制御部を設けてもよい。

【0129】

ここで、図１１は、残像処理部１４ａが有する機能の一例を示す図である。図１１に示すように、残像処理部１４ａは、第２の生成部１４１ａと、第３の生成部１４２と、調整部１４３とを有する。

【0130】

第２の生成部１４１ａは、第１の動きマップＭａｓｋ（ｎ－１）から第１の動きマップＭａｓｋ（ｎ）を減算することで、動体物が通過した動体通過領域を示す動体通過マップＰａｓｓＭａｓｋ（ｎ）を生成する。具体的には、第２の生成部１４１ａは、第１の動きマップＭａｓｋ（ｎ－１）を構成する各画素の値から、当該画素と同じ画素位置にある第１の動きマップＭａｓｋ（ｎ）の画素の値を減算する。そして、第２の生成部１４１ａは、減算した値が正値となる各画素位置に、その減算結果に応じた値を対応付けた動体通過マップＰａｓｓＭａｓｋ（ｎ）を生成する。ここで、動体通過マップＰａｓｓＭａｓｋ（ｎ）を構成する各画素には、減算結果に応じた値が二値や８ビット等の多値が対応付けられる。

【0131】

次に、図１２及び図１３を参照して、本実施形態に係る画像処理装置１の動作について説明する。ここで、図１２は、画像処理装置１の全体動作を説明するための説明図である。また、図１３は、第１の生成部１３及び残像処理部１４の動作を説明するための説明図である。

【0132】

なお、図１２では、破線により区分した左側の領域に、第１の２ＤＮＲ処理部１１、第２の２ＤＮＲ処理部１２、第１の生成部１３ａ、残像処理部１４ａ、及び合成処理部１５の動作を示している。また、破線で区分した右側の領域には、図１０に示した第１の記憶部２１ａ及び第２の記憶部２２を示している。

【0133】

また、図１３において、フレーム画像Ｉｍａｇｅ（ｎ－２）～Ｉｍａｇｅ（ｎ）は、時系列的に連続する３つのフレーム画像を意味する。また、フレーム画像中のハッチング領域は、動体物が存在する位置を意味する。また、図１２及び図１３では、説明の簡略化のため、現フレームより１フレーム分過去のフレーム画像Ｉｍａｇｅ（ｎ－１）の段階まで３ＤＮＲ処置が完了済み、つまり第１の動きマップＭａｓｋ（ｎ－１）及び３ＤＮＲ処理済のフレーム画像ＤＮＲ＿Ｉｍａｇｅ（ｎ－１）が生成済みであるとする。

【0134】

まず、第１の生成部１３ａでは、現フレームのフレーム画像Ｉｍａｇｅ（ｎ）と、現フレームより１フレーム分過去のフレーム画像Ｉｍａｇｅ（ｎ－１）とに基づき、第１の動きマップＭａｓｋ（ｎ）を生成する（ステップＳ７１）。１フレーム分過去のフレーム画像Ｉｍａｇｅ（ｎ－１）は、３ＤＮＲ処理済のフレーム画像ＤＮＲ＿Ｉｍａｇｅ（ｎ－１）に対応するものである。

【0135】

ここで、第１の動きマップＭａｓｋ（ｎ）は、図１３に示すように、フレーム画像Ｉｍａｇｅ（ｎ）とフレーム画像Ｉｍａｇｅ（ｎ－１）との両フレーム画像において、動体物が存在する動体存在領域を表す画像となる。

【0136】

また、第１の生成部１３ａは、生成した第１の動きマップＭａｓｋ（ｎ）を第１の記憶部２１ａに記憶する（ステップＳ７２）。これにより、第１の記憶部２１ａに先に記憶された第１の動きマップＭａｓｋ（ｎ－１）が残像処理部１４ａに入力される。

【0137】

続いて、第２の生成部１４１ａは、第１の記憶部２１に記憶された１フレーム分過去の過去フレームに係る第１の動きマップＭａｓｋ（ｎ－１）から、現フレームに係る第１の動きマップＭａｓｋ（ｎ）を減算することで、動体通過マップＰａｓｓＭａｓｋ（ｎ）を生成する（ステップＳ７３）。

【0138】

ここで、動体通過マップＰａｓｓＭａｓｋ（ｎ）は、図１３に示すように、第１の動きマップＭａｓｋ（ｎ－１）に表された動体物の存在領域から、第１の動きマップＭａｓｋ（ｎ）に表された動体物の存在領域を取り除いた画像となる。つまり、動体通過マップＰａｓｓＭａｓｋ（ｎ）には、少なくともフレーム画像Ｉｍａｇｅ（ｎ－１）より過去のフレーム画像Ｉｍａｇｅ（ｎ－２）に含まれた動体物の存在領域が動体通過領域として表されることになる。

【0139】

続いて、第３の生成部１４２は、上述した式（１）に基づき、残像抑制強度を乗算した動体通過マップＰａｓｓＭａｓｋ（ｎ）を、第１の動きマップＭａｓｋ（ｎ）にマージすることで、現フレームに係る第２の動きマップＭｅｒｇｅＭａｓｋ（ｎ）を生成する（ステップＳ７４）。

【0140】

これにより、第２の動きマップＭｅｒｇｅＭａｓｋ（ｎ）は、図１３に示すように、動体物の存在領域と、残像抑制強度が乗算された動体通過領域とをマージした画像となる。図１３では、図５と同様に、動き情報の大小関係をハッチングの濃淡で表している。ここで、動き情報の大小関係は、動体物Ｂ＜動体物Ｃ＝動体物Ｄとなる。なお、ステップＳ７５～Ｓ７９は、図４のステップＳ１５～Ｓ１９と同様であるため説明を省略する。

【0141】

次に、図１４を参照して、上述した第１の生成部１３ａ、残像処理部１４ａ及び合成処理部１５が行う処理の流れについて説明する。図１４は、第１の生成部１３ａ、残像処理部１４ａ及び合成処理部１５が行う処理の一例を示すフローチャートである。本処理では、図６と同様に、最新のフレーム画像Ｉｍａｇｅ（ｎ＋Ｘ）を基点とし、このＩｍａｇｅ（ｎ＋Ｘ）以降に入力される将来のフレーム画像を処理する場合の動作について説明する。なお、「Ｘ」は整数である。

【0142】

まず、第１の生成部１３ａは、フレーム画像Ｉｍａｇｅ（ｎ＋Ｘ）の入力を検出すると（ステップＳ８１）、フレーム画像Ｉｍａｇｅ（ｎ＋Ｘ）と、フレーム画像Ｉｍａｇｅ（ｎ＋Ｘ－１）とに基づいて、第１の動きマップＭａｓｋ（ｎ＋Ｘ）を生成する（ステップＳ８２）。ここで、フレーム画像Ｉｍａｇｅ（ｎ＋Ｘ－１）は、第２の記憶部２２に保持されたフレーム画像ＤＮＲ＿Ｉｍａｇｅ（ｎ＋Ｘ－１）に対応するものである。

【0143】

続いて、第２の生成部１４１ａは、第１の動きマップＭａｓｋ（ｎ＋Ｘ－１）から第１の動きマップＭａｓｋ（ｎ＋Ｘ）を減算し、減算の結果が正値となる画素を表した動体通過マップＰａｓｓＭａｓｋ（ｎ＋Ｘ）を生成する（ステップＳ８３）。以下、ステップＳ８４～Ｓ９１は、図６で説明したステップＳ２４～Ｓ３１と同様であるため説明を省略する。

【0144】

以上説明したように、本実施形態に係る画像処理装置１ａは、連続して入力される複数のフレーム画像のうち、直近の２フレーム分のフレーム画像Ｉｍａｇｅ（ｎ）、フレーム画像Ｉｍａｇｅ（ｎ－１）から第１の動きマップＭａｓｋ（ｎ）を生成する。また、画像処理装置１ａは、フレーム画像Ｉｍａｇｅ（ｎ）より過去のフレーム画像に含まれた前記動体物の存在領域を示す第１の動きマップＭａｓｋ（ｎ－１）から、第１の動きマップＭａｓｋ（ｎ）を減算することで、動体通過マップＰａｓｓＭａｓｋ（ｎ）を生成する。また、画像処理装置１ａは、第１の動きマップＭａｓｋ（ｎ）と、残像抑制強度を乗算した動体通過マップＰａｓｓＭａｓｋ（ｎ）とをマージし、第２の動きマップＭｅｒｇｅＭａｓｋ（ｎ）を生成する。そして、画像処理装置１ａは、第２の動きマップＭｅｒｇｅＭａｓｋ（ｎ）に基づいて、フレーム画像Ｉｍａｇｅ（ｎ）とフレーム画像Ｉｍａｇｅ（ｎ－１）との合成処理に係るパラメータＰＲ１を調整する。

【0145】

これにより、画像処理装置１ａは、動体通過領域でのフレーム画像Ｉｍａｇｅ（ｎ）の合成比率をパラメータＰＲ１に応じて変化させることができるため、動体通過領域に発生する残像ノイズの低減化を図ることができる。したがって、画像処理装置１ａは、残像ノイズが抑制されたフレーム画像（ＤＮＲ＿Ｉｍａｇｅ（ｎ））を出力することができる。

【0146】

また、本実施形態に係る画像処理装置１ａでは、フレーム画像と比較し、ビット深度が低減化された第１の動きマップ、動体通過マップ及び第２の動きマップを用いて、３ＤＮＲ処理に係るパラメータの調整を行う。これにより、画像処理装置１ａは、パラメータ調整に係る処理負荷やメモリの使用量を抑えることができるため、処理の効率化を図ることができる。

【0147】

また、本実施形態に係る画像処理装置１ａでは、３フレーム分のフレーム画像に含まれた動体物の存在位置及び動体通過領域を、第２の動きマップに集約して保持することができる。これにより、画像処理装置１は、例えば３フレーム分のフレーム画像を個別に保持する構成と比較し、使用するメモリ容量やメモリの個数を減らすことができるため、処理の効率化を図ることができる。

【0148】

以上、実施形態について説明したが、本願の開示する画像処理装置及び画像処理方法は、上述の実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上述の実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。

【符号の説明】

【0149】

１、１ａ 画像処理装置
１１ 第１の２ＤＮＲ処理部
１２ 第２の２ＤＮＲ処理部
１３、１３ａ 第１の生成部
１４、１４ａ 残像処理部
１４１、１４１ａ 第２の生成部
１４２ 第３の生成部
１４３ 調整部
１５ 合成処理部
１６ ３ＤＮＲ処理部
２１、２１ａ 第１の記憶部
２２ 第２の記憶部
３１ 動き量推定部
３２ 動き補償部
３３ 動画ぶれ除去部
３４ 位置合わせ部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】