特許 7439667 映像信号処理装置および映像信号処理方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-02-19

(45)【発行日】2024-02-28

(54)【発明の名称】映像信号処理装置および映像信号処理方法

(51)【国際特許分類】

   H04N 5/21 20060101AFI20240220BHJP

   G06T 5/70 20240101ALI20240220BHJP

   H04N 23/10 20230101ALI20240220BHJP

【ＦＩ】

H04N5/21

G06T5/70

H04N23/10

【請求項の数】 5

(21)【出願番号】P 2020119754

(22)【出願日】2020-07-13

(65)【公開番号】P2022016808

(43)【公開日】2022-01-25

【審査請求日】2023-03-31

(73)【特許権者】

【識別番号】308036402

【氏名又は名称】株式会社ＪＶＣケンウッド

(74)【代理人】

【識別番号】100105924

【弁理士】

【氏名又は名称】森下 賢樹

(72)【発明者】

【氏名】尾川 英明

【審査官】鈴木 肇

(56)【参考文献】

【文献】特開２０１７－１４７６５１（ＪＰ，Ａ）

【文献】特開２０１０－１４７８４０（ＪＰ，Ａ）

【文献】特開２００９－２７８６００（ＪＰ，Ａ）

【文献】特開２００９－１５３０１３（ＪＰ，Ａ）

【文献】特開２０２０－１３６８２３（ＪＰ，Ａ）

【文献】中国特許出願公開第１０１７７８１９２（ＣＮ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ １／００ － １／４０

Ｇ０６Ｔ ３／００ － ５／９４

Ｈ０４Ｎ ５／１４ － ５／２１３

Ｈ０４Ｎ ９／０１ － ９／１１

Ｈ０４Ｎ ２３／１０

Ｈ０４Ｎ ２３／１２ －２３／１７

Ｈ０４Ｎ ２３／８０ －２３／８２

Ｈ０４Ｎ ２５／１０ －２５／１７

Ｈ０４Ｎ ２５／６１１

(57)【特許請求の範囲】

【請求項1】

撮像素子から入力される三原色の映像信号を処理する映像信号処理装置であって、
現フレーム画像と前フレーム画像とのフレーム差分信号を生成するフレーム差分信号生成部と、
前記フレーム差分信号からノイズ成分を抽出するノイズ抽出部と、
前記ノイズ抽出部により抽出された、赤成分ノイズ抽出信号のレベルと青成分ノイズ抽出信号のレベルを補正するための補正部と、
前記ノイズ抽出部により抽出された緑成分ノイズ抽出信号、前記補正部から出力された赤成分ノイズ抽出信号、前記補正部から出力された青成分ノイズ抽出信号のそれぞれに巡回係数を乗算する係数乗算部と、
前記現フレーム画像の赤成分信号、緑成分信号、青成分信号から、前記巡回係数の乗算後の赤成分ノイズ抽出信号、緑成分ノイズ抽出信号、青成分ノイズ抽出信号をそれぞれ除去するノイズ除去部と、を備え、
前記補正部は、
赤成分ノイズ抽出信号のレベルと緑成分ノイズ抽出信号の差分の絶対値が第１閾値以上のとき、当該赤成分ノイズ抽出信号のレベルを当該緑成分ノイズ抽出信号のレベルに近づける補正を行い、
青成分ノイズ抽出信号のレベルと緑成分ノイズ抽出信号の差分の絶対値が第２閾値以上のとき、当該青成分ノイズ抽出信号のレベルを当該緑成分ノイズ抽出信号のレベルに近づける補正を行う、
映像信号処理装置。

【請求項2】

前記映像信号処理装置には、前記撮像素子からベイヤ配列の三原色の映像信号が入力され、
前記補正部は、
一つのベイヤ配列を構成する二つの緑成分ノイズ抽出信号を混合した参照用の緑成分ノイズ抽出信号を生成し、
前記ベイヤ配列を構成する赤成分ノイズ抽出信号のレベルと前記参照用の緑成分ノイズ抽出信号の差分の絶対値が前記第１閾値以上のとき、当該赤成分ノイズ抽出信号のレベルを前記参照用の緑成分ノイズ抽出信号のレベルに近づける補正を行い、補正後の赤成分ノイズ抽出信号を出力し、前記差分の絶対値が前記第１閾値未満のとき、当該赤成分ノイズ抽出信号のレベルを補正せずに出力し、
前記ベイヤ配列を構成する青成分ノイズ抽出信号のレベルと前記参照用の緑成分ノイズ抽出信号の差分の絶対値が前記第２閾値以上のとき、当該青成分ノイズ抽出信号のレベルを前記参照用の緑成分ノイズ抽出信号のレベルに近づける補正を行い、補正後の青成分ノイズ抽出信号を出力し、前記差分の絶対値が前記第２閾値未満のとき、当該青成分ノイズ抽出信号のレベルを補正せずに出力する、
請求項１に記載の映像信号処理装置。

【請求項3】

前記補正部は、
前記ベイヤ配列を構成する赤成分ノイズ抽出信号のレベルと前記参照用の緑成分ノイズ抽出信号の差分の絶対値が前記第１閾値以上のときであって、前記差分がゼロ以上のとき前記参照用の緑成分ノイズ抽出信号に前記第１閾値を加算した信号を、補正後の赤成分ノイズ抽出信号として出力し、前記差分がゼロ未満のとき前記参照用の緑成分ノイズ抽出信号から前記第１閾値を減算した信号を、補正後の赤成分ノイズ抽出信号として出力し、
前記ベイヤ配列を構成する青成分ノイズ抽出信号のレベルと前記参照用の緑成分ノイズ抽出信号の差分の絶対値が前記第２閾値以上のときであって、前記差分がゼロ以上のとき前記参照用の緑成分ノイズ抽出信号に前記第２閾値を加算した信号を、補正後の青成分ノイズ抽出信号として出力し、前記差分がゼロ未満のとき前記参照用の緑成分ノイズ抽出信号から前記第２閾値を減算した信号を、補正後の青成分ノイズ抽出信号として出力する、
請求項２に記載の映像信号処理装置。

【請求項4】

前記ノイズ除去部より後段に設置され、三原色の映像信号の階調を補正するガンマ補正部をさらに備える、
請求項１から３のいずれか１項に記載の映像信号処理装置。

【請求項5】

撮像素子から入力される三原色の映像信号を処理する映像信号処理方法であって、
現フレーム画像と前フレーム画像とのフレーム差分信号を生成し、
前記フレーム差分信号からノイズ成分を抽出し、
赤成分ノイズ抽出信号のレベルと緑成分ノイズ抽出信号の差分の絶対値が第１閾値以上のとき、当該赤成分ノイズ抽出信号のレベルを当該緑成分ノイズ抽出信号のレベルに近づける補正を行い、
青成分ノイズ抽出信号のレベルと緑成分ノイズ抽出信号の差分の絶対値が第２閾値以上のとき、当該青成分ノイズ抽出信号のレベルを当該緑成分ノイズ抽出信号のレベルに近づける補正を行い、
緑成分ノイズ抽出信号、赤成分ノイズ抽出信号、青成分ノイズ抽出信号のそれぞれに巡回係数を乗算し、
前記現フレーム画像の赤成分信号、緑成分信号、青成分信号から、前記巡回係数の乗算後の赤成分ノイズ抽出信号、緑成分ノイズ抽出信号、青成分ノイズ抽出信号をそれぞれ除去する、
映像信号処理方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、撮像素子から入力される三原色の映像信号を処理する映像信号処理装置および映像信号処理方法に関する。

【背景技術】

【0002】

撮像された映像を高画質化するための信号処理の一つに、３次元ノイズリダクション（３ＤＮＲ：3 Dimensional Noise Reduction）がある。３次元ノイズリダクションでは、連続するフレーム画像間のフレーム差分からノイズを検出し、検出したノイズを除去するものである。

【0003】

３次元ノイズリダクションにおいて、残像や色ずれを抑制するために、現フレーム画像と前フレーム画像の色別（ＲＧＢ別）の差分値を算出し、ある色の差分値に基づいて、当該色を備えない画素についても当該色の差分値を補間により求め、各色の差分値に基づき巡回係数を制御する方法が提案されている。具体的には、ある色の差分値が大きい場合、巡回係数を小さくしてノイズ除去値を減少させ、残像や色ずれを抑制する（例えば、特許文献１参照）。

【0004】

上記の方法では、ある色の差分値が大きくなると、補間により他の色の差分値も大きくなるため、どの色の巡回係数も小さくなり、どの色のノイズ除去効果も低減されてしまう。

【先行技術文献】

【特許文献】

【0005】

【文献】特開２０１０－１４７８４０号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

３次元ノイズリダクションにおいて、映像に動きがある場合、各色のノイズ除去量に大きな差が発生することがある。このノイズ除去量の差は、色相のずれや偽色を発生させる要因となる。

【0007】

本実施形態はこうした状況に鑑みてなされたものであり、その目的は、３次元ノイズリダクションの品質を向上させる技術を提供することにある。

【課題を解決するための手段】

【0008】

上記課題を解決するために、本実施形態のある態様の映像信号処理装置は、撮像素子から入力される三原色の映像信号を処理する映像信号処理装置であって、現フレーム画像と前フレーム画像とのフレーム差分信号を生成するフレーム差分信号生成部と、前記フレーム差分信号からノイズ成分を抽出するノイズ抽出部と、前記ノイズ抽出部により抽出された、赤成分ノイズ抽出信号のレベルと青成分ノイズ抽出信号のレベルを補正するための補正部と、前記ノイズ抽出部により抽出された緑成分ノイズ抽出信号、前記補正部から出力された赤成分ノイズ抽出信号、前記補正部から出力された青成分ノイズ抽出信号のそれぞれに巡回係数を乗算する係数乗算部と、前記現フレーム画像の赤成分信号、緑成分信号、青成分信号から、前記巡回係数の乗算後の赤成分ノイズ抽出信号、緑成分ノイズ抽出信号、青成分ノイズ抽出信号をそれぞれ除去するノイズ除去部と、を備える。前記補正部は、赤成分ノイズ抽出信号のレベルと緑成分ノイズ抽出信号の差分の絶対値が第１閾値以上のとき、当該赤成分ノイズ抽出信号のレベルを当該緑成分ノイズ抽出信号のレベルに近づける補正を行い、青成分ノイズ抽出信号のレベルと緑成分ノイズ抽出信号の差分の絶対値が第２閾値以上のとき、当該青成分ノイズ抽出信号のレベルを当該緑成分ノイズ抽出信号のレベルに近づける補正を行う。

【0009】

本実施形態の別の態様は、映像信号処理方法である。この方法は、撮像素子から入力される三原色の映像信号を処理する映像信号処理方法であって、現フレーム画像と前フレーム画像とのフレーム差分信号を生成し、前記フレーム差分信号からノイズ成分を抽出し、赤成分ノイズ抽出信号のレベルと緑成分ノイズ抽出信号の差分の絶対値が第１閾値以上のとき、当該赤成分ノイズ抽出信号のレベルを当該緑成分ノイズ抽出信号のレベルに近づける補正を行い、青成分ノイズ抽出信号のレベルと緑成分ノイズ抽出信号の差分の絶対値が第２閾値以上のとき、当該青成分ノイズ抽出信号のレベルを当該緑成分ノイズ抽出信号のレベルに近づける補正を行い、緑成分ノイズ抽出信号、赤成分ノイズ抽出信号、青成分ノイズ抽出信号のそれぞれに巡回係数を乗算し、前記現フレーム画像の赤成分信号、緑成分信号、青成分信号から、前記巡回係数の乗算後の赤成分ノイズ抽出信号、緑成分ノイズ抽出信号、青成分ノイズ抽出信号をそれぞれ除去する。

【0010】

なお、以上の構成要素の任意の組合せ、本実施形態の表現を方法、装置、システム、記録媒体、コンピュータプログラムなどの間で変換したものもまた、本実施形態の態様として有効である。

【発明の効果】

【0011】

本実施形態によれば、３次元ノイズリダクションの品質を向上させることができる。

【図面の簡単な説明】

【0012】

【図1】比較例に係る撮像システムの構成を示す図である。

【図2】実施例に係る撮像システムの構成を示す図である。

【図3】ベイヤ配列を示す図である。

【図4】実施例に係る３次元ノイズリダクション部の構成例を示す図である。

【図5】第１振幅変換部による振幅範囲の制限処理の具体的なイメージを示す図である。

【図6】ＲＧＢ－ＩＲ型のカラーフィルタＣｆを示す図である。

【発明を実施するための形態】

【0013】

図１は、比較例に係る撮像システム１の構成を示す図である。撮像システム１は例えば、ドライブレコーダ、ドライバモニタリングシステムなどに使用することができる。撮像システム１は、撮像素子２および映像信号処理装置３を備える。

【0014】

撮像素子２は、入射される光を電気信号に変換する。撮像素子２には、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサやＣＣＤ（Charge Coupled Devices）イメージセンサなどの固体撮像素子が使用される。撮像素子２は、三原色（ＲＧＢ）のＲＡＷデータで規定された映像信号を映像信号処理装置３に出力する。

【0015】

映像信号処理装置３は、ＨＤＲ（High Dynamic Range）合成部１０、ホワイトバランス調整部２０、ガンマ補正部３０、輝度・色差変換部４０、３次元ノイズリダクション部５０、映像出力部６０を含む。これらの構成要素は、ハードウェア資源とソフトウェア資源の協働、またはハードウェア資源のみにより実現できる。ハードウェア資源として、ＣＰＵ、ＲＯＭ、ＲＡＭ、ＧＰＵ（Graphics Processing Unit）、ＤＳＰ（Digital Signal Processor）、ＩＳＰ(Image Signal Processor)、ＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field-Programmable Gate Array）、その他のＬＳＩを利用できる。ソフトウェア資源としてファームウェアなどのプログラムを利用できる。

【0016】

ＨＤＲ合成部１０は、異なる露出で撮像された複数のフレーム画像を合成することにより、ダイナミックレンジが広いフレーム画像を生成する。例えばＨＤＲ合成部１０は、暗い領域は高露出で撮像されたフレーム画像を使用し、中程度の明るさの領域は標準露出で撮像されたフレーム画像を使用し、明るい領域は低露出で撮像されたフレーム画像を使用する。これにより、白飛びや黒潰れを抑制することができる。

【0017】

ホワイトバランス調整部２０は、光源の色温度に応じてホワイトバランスを調整する。例えば、寒色系の色温度が高い光源（例えば、曇り空の屋外）の場合、青成分の信号比率を増加させるようにホワイトバランスを調整する。反対に、暖色系の色温度が低い光源（例えば、白熱電球）の場合は赤成分の信号比率を増加させるようにホワイトバランスを調整する。オート設定の場合、ホワイトバランス調整部２０は、撮像された画像を解析して、最適なホワイトバランスに調整する。マニュアル設定の場合、ホワイトバランス調整部２０は、ユーザにより設定されたホワイトバランスに調整する。

【0018】

ガンマ補正部３０は、映像信号の階調を補正する。一般に、ＣＭＯＳイメージセンサの入出力特性は、Ｄ＝Ｅ^γ（Ｅは入射光量、Ｄは出力信号量）の関係になる。ガンマ補正部３０は、下記（式１）に示すように映像信号を補正する。
Ｄ’＝Ｄ^{（１／γ）}・・・（式１）

【0019】

例えば、γには２．２が使用される。これにより、信号レベルが低い（暗い）領域の信号が持ち上げられ、視認性が向上する。

【0020】

なお、ホワイトバランス調整部２０によるホワイトバランス調整と、ガンマ補正部３０によるガンマ補正は順番が逆でもよい。

【0021】

輝度・色差変換部４０は、三原色フォーマットの映像信号を、輝度・色差フォーマットの映像信号に変換する。例えば、ＲＧＢフォーマットの映像信号を、ＹＵＶ（ＹＣｂＣｒ）フォーマットの映像信号に変換する。

【0022】

３次元ノイズリダクション部５０は、輝度・色差フォーマットに変換された映像信号に対して、３次元ノイズリダクションを実施してノイズを除去する。

【0023】

映像出力部６０は、映像信号を出力フォーマットに準拠した信号に変換して出力する。例えば、ＨＤＭＩ（登録商標）で出力する場合、映像出力部６０は映像信号を、ＨＤＭＩ出力フォーマットの映像信号に変換する。

【0024】

このように比較例では、ＨＤＲ合成、ホワイトバランス調整、ガンマ補正、輝度・色差フォーマットへの変換を行った後に、３次元ノイズリダクションを実施している。上述したようにガンマ補正で、暗い領域の信号が増幅されると、同時に暗い領域のノイズも増幅される。このように、ガンマ補正により暗い領域のノイズが増幅された後に、３次元ノイズリダクションを実施しても、暗い領域のノイズの低減効果は限定的なものとなる。

【0025】

図２は、実施例に係る撮像システム１の構成を示す図である。実施例に係る撮像システム１では、３次元ノイズリダクション部５０がガンマ補正部３０より前段に配置される。また実施例では、３次元ノイズリダクション部５０は、輝度・色差フォーマットの映像信号ではなく、三原色フォーマットの映像信号に対して、３次元ノイズリダクションを実施する。以下、実施例に係る３次元ノイズリダクション部５０の構成を詳細に説明する。以下の説明では、撮像素子２からベイヤ配列の三原色の映像信号が入力されることを前提とする。

【0026】

図３は、ベイヤ配列を示す図である。ベイヤ配列では、一単位を構成する４（２×２）画素が、Ｒ：Ｇ：Ｂ＝１：２：１の比率で配列される。人間の網膜は、緑の波長域の感度が高いため、緑が赤および青より多く配置される。図３に示す例では、ベイヤ配列がカラーフィルタＣｆで実現されている。撮像素子２の撮像領域２ａに含まれる複数の画素上に、ベイヤ配列のカラーフィルタＣｆが設置される。

【0027】

赤色のフィルタは赤の波長域の光を透過し、他の波長域の光を遮断する。緑色のフィルタは緑の波長域の光を透過し、他の波長域の光を遮断する。青色のフィルタは青の波長域の光を透過し、他の波長域の光を遮断する。ベイヤ配列では、二つの緑色のフィルタが対角線上に配置され、赤色のフィルタと青色のフィルタが、もう一つの対角線上に配置される。

【0028】

各画素に配置された受光素子は、カラーフィルタＣｆを透過した光を電気信号に変換する。なお、カラーフィルタＣｆを設けずに、ＲＧＢ３種類の受光素子を撮像領域２ａ内にベイヤ配列で配置してもよい。撮像素子２は、一単位のベイヤ配列から、赤成分信号Ｒ０、緑成分信号Ｇ０、緑成分信号Ｇ１、青成分信号Ｂ１を出力する。

【0029】

各画素において、存在しない二つの色成分信号は、隣接する複数の画素を補間することにより生成される。例えば、緑色の画素の赤色成分信号は、隣接する複数の赤色の画素の赤色成分信号の補間により生成される。緑色の画素の青色成分信号は、隣接する複数の青色の画素の青色成分信号の補間により生成される。この補間処理は、輝度・色差変換部４０において実行される。

【0030】

図４は、実施例に係る３次元ノイズリダクション部５０の構成例を示す図である。３次元ノイズリダクション部５０には、ベイヤ配列を構成する四つの画素の赤成分信号Ｒ０、緑成分信号Ｇ０、緑成分信号Ｇ１、青成分信号Ｂ１が同時に入力される。

【0031】

３次元ノイズリダクション部５０は、第１フレーム差分信号生成部５１ａ、第２フレーム差分信号生成部５１ｂ、第３フレーム差分信号生成部５１ｃ、第４フレーム差分信号生成部５１ｄ、第１ノイズ抽出部５２ａ、第２ノイズ抽出部５２ｂ、第３ノイズ抽出部５２ｃ、第４ノイズ抽出部５２ｄ、混合部５３、第１比較部５４ａ、第４比較部５４ｄ、第１振幅変換部５５ａ、第４振幅変換部５５ｄ、第１係数乗算部５６ａ、第２係数乗算部５６ｂ、第３係数乗算部５６ｃ、第４係数乗算部５６ｄ、第１ノイズ除去部５７ａ、第２ノイズ除去部５７ｂ、第３ノイズ除去部５７ｃ、第４ノイズ除去部５７ｄ、フレームメモリ５８を含む。

【0032】

フレームメモリ５８には、３次元ノイズリダクション部５０による３次元ノイズリダクション後の赤成分信号Ｒ０、緑成分信号Ｇ０、緑成分信号Ｇ１、青成分信号Ｂ１が一時的に保持される。

【0033】

第１フレーム差分信号生成部５１ａ、第２フレーム差分信号生成部５１ｂ、第３フレーム差分信号生成部５１ｃ、第４フレーム差分信号生成部５１ｄは、現フレーム画像の赤成分信号Ｒ０、緑成分信号Ｇ０、緑成分信号Ｇ１、青成分信号Ｂ１と、フレームメモリ５８により１フレーム分遅延された前フレーム画像の赤成分信号Ｒ０、緑成分信号Ｇ０、緑成分信号Ｇ１、青成分信号Ｂ１との差分をそれぞれ生成する。

【0034】

図４に示す構成例では、第１フレーム差分信号生成部５１ａ、第２フレーム差分信号生成部５１ｂ、第３フレーム差分信号生成部５１ｃ、第４フレーム差分信号生成部５１ｄは、前フレーム画像の赤成分信号Ｒ０、緑成分信号Ｇ０、緑成分信号Ｇ１、青成分信号Ｂ１から現フレーム画像の赤成分信号Ｒ０、緑成分信号Ｇ０、緑成分信号Ｇ１、青成分信号Ｂ１をそれぞれ減算して、赤成分フレーム差分信号ｒ０ｄ、緑成分フレーム差分信号ｇ０ｄ、緑成分フレーム差分信号ｇ１ｄ、青成分フレーム差分信号ｂ１ｄを生成する。

【0035】

赤成分フレーム差分信号ｒ０ｄ、緑成分フレーム差分信号ｇ０ｄ、緑成分フレーム差分信号ｇ１ｄ、青成分フレーム差分信号ｂ１ｄにはそれぞれ、ノイズ成分と動き成分が含まれている。なお、被写体が静止している場合には動き成分は含まれない。

【0036】

第１ノイズ抽出部５２ａ、第２ノイズ抽出部５２ｂ、第３ノイズ抽出部５２ｃ、第４ノイズ抽出部５２ｄは、赤成分フレーム差分信号ｒ０ｄ、緑成分フレーム差分信号ｇ０ｄ、緑成分フレーム差分信号ｇ１ｄ、青成分フレーム差分信号ｂ１ｄからそれぞれ、動き成分を除去し、ノイズ成分を抽出した赤成分ノイズ抽出信号ｒ０ｎ、緑成分ノイズ抽出信号ｇ０ｎ、緑成分ノイズ抽出信号ｇ１ｎ、青成分ノイズ抽出信号ｂ１ｎを生成する。

【0037】

例えば、第１ノイズ抽出部５２ａ、第２ノイズ抽出部５２ｂ、第３ノイズ抽出部５２ｃ、第４ノイズ抽出部５２ｄはそれぞれリミッタにより、赤成分フレーム差分信号ｒ０ｄ、緑成分フレーム差分信号ｇ０ｄ、緑成分フレーム差分信号ｇ１ｄ、青成分フレーム差分信号ｂ１ｄの振幅レベルを所定の範囲に制限する。通常、ノイズ成分の振幅は小さく、動き成分の振幅は大きいため、振幅を制限することにより、ノイズ成分を効果的に抽出することができる。

【0038】

また、第１ノイズ抽出部５２ａ、第２ノイズ抽出部５２ｂ、第３ノイズ抽出部５２ｃ、第４ノイズ抽出部５２ｄはそれぞれ帯域制限により、赤成分フレーム差分信号ｒ０ｄ、緑成分フレーム差分信号ｇ０ｄ、緑成分フレーム差分信号ｇ１ｄ、青成分フレーム差分信号ｂ１ｄの周波数帯域を所定値以下に制限してもよい。通常、ノイズ成分の周波数は高く、動き成分の周波数は低いため、周波数帯域を制限することにより、ノイズ成分を効果的に抽出することができる。

【0039】

本明細書では、混合部５３、第１比較部５４ａ、第４比較部５４ｄ、第１振幅変換部５５ａ、第４振幅変換部５５ｄを総称して補正部という。補正部は、赤成分ノイズ抽出信号ｒ０ｎの振幅レベルと青成分ノイズ抽出信号ｂ１ｎの振幅レベルを補正することができる。

【0040】

混合部５３は、緑成分ノイズ抽出信号ｇ０ｎと緑成分ノイズ抽出信号ｇ１ｎを混合した参照用の緑成分ノイズ抽出信号を生成する。図４に示す構成例では、混合部５３は、緑成分ノイズ抽出信号ｇ０ｎと緑成分ノイズ抽出信号ｇ１ｎを単純平均して参照用の緑成分ノイズ抽出信号ａｖｅ（ｇ０ｎ，ｇ１ｎ）を生成している。なお、混合部５３は、緑成分ノイズ抽出信号ｇ０ｎと緑成分ノイズ抽出信号ｇ１ｎを重み付け加算して参照用の緑成分ノイズ抽出信号を生成してもよい。

【0041】

第１比較部５４ａは、赤成分ノイズ抽出信号ｒ０ｎと参照用の緑成分ノイズ抽出信号ａｖｅ（ｇ０ｎ，ｇ１ｎ）とを比較する。具体的には、第１比較部５４ａは、赤成分ノイズ抽出信号ｒ０ｎと参照用の緑成分ノイズ抽出信号ａｖｅ（ｇ０ｎ，ｇ１ｎ）との差分ｄｉｆ＿ｒｇの絶対値ａｂｓ（ｄｉｆ＿ｒｇ）を算出する。第１比較部５４ａは、差分ｄｉｆ＿ｒｇの絶対値ａｂｓ（ｄｉｆ＿ｒｇ）と、第１閾値ｒ０ｎ＿ｔｈとを比較し、比較結果を第１振幅変換部５５ａに供給する。

【0042】

差分ｄｉｆ＿ｒｇの絶対値ａｂｓ（ｄｉｆ＿ｒｇ）が第１閾値ｒ０ｎ＿ｔｈ未満の場合、第１振幅変換部５５ａは、赤成分ノイズ抽出信号ｒ０ｎを補正せずにそのまま、振幅範囲制限後の赤成分ノイズ抽出信号ｒ０ｎ＿ｌｉｍとして出力する。

【0043】

差分ｄｉｆ＿ｒｇの絶対値ａｂｓ（ｄｉｆ＿ｒｇ）が第１閾値ｒ０ｎ＿ｔｈ以上の場合、第１振幅変換部５５ａは、赤成分ノイズ抽出信号ｒ０ｎのレベルを、参照用の緑成分ノイズ抽出信号ａｖｅ（ｇ０ｎ，ｇ１ｎ）のレベルに近づける補正を行う。

【0044】

具体的には、差分ｄｉｆ＿ｒｇの絶対値ａｂｓ（ｄｉｆ＿ｒｇ）が第１閾値ｒ０ｎ＿ｔｈ以上であって差分ｄｉｆ＿ｒｇがゼロ以上の場合、第１振幅変換部５５ａは、参照用の緑成分ノイズ抽出信号ａｖｅ（ｇ０ｎ，ｇ１ｎ）に第１閾値ｒ０ｎ＿ｔｈを加算した信号を、振幅範囲制限後の赤成分ノイズ抽出信号ｒ０ｎ＿ｌｉｍとして出力する。

【0045】

差分ｄｉｆ＿ｒｇの絶対値ａｂｓ（ｄｉｆ＿ｒｇ）が第１閾値ｒ０ｎ＿ｔｈ以上であって差分ｄｉｆ＿ｒｇがゼロ未満の場合、第１振幅変換部５５ａは、参照用の緑成分ノイズ抽出信号ａｖｅ（ｇ０ｎ，ｇ１ｎ）から第１閾値ｒ０ｎ＿ｔｈを減算した信号を、振幅範囲制限後の赤成分ノイズ抽出信号ｒ０ｎ＿ｌｉｍとして出力する。

【0046】

図５は、第１振幅変換部５５ａによる振幅範囲の制限処理の具体的なイメージを示す図である。参照用の緑成分ノイズ抽出信号ａｖｅ（ｇ０ｎ，ｇ１ｎ）を中心に、参照用の緑成分ノイズ抽出信号ａｖｅ（ｇ０ｎ，ｇ１ｎ）に第１閾値ｒ０ｎ＿ｔｈを加算した値が振幅範囲の上限値ｒ０ｎ＿ｌｉｍ＿ｕｐｐｅｒに設定され、参照用の緑成分ノイズ抽出信号ａｖｅ（ｇ０ｎ，ｇ１ｎ）から第１閾値ｒ０ｎ＿ｔｈを減算した値が振幅範囲の下限値ｒ０ｎ＿ｌｉｍ＿ｕｎｄｅｒに設定される。

【0047】

第１振幅変換部５５ａは、当該振幅範囲から逸脱している赤成分ノイズ抽出信号ｒ０ｎを、当該振幅範囲の信号に制限する。第１振幅変換部５５ａは、振幅範囲の上限値ｒ０ｎ＿ｌｉｍ＿ｕｐｐｅｒを超えている赤成分ノイズ抽出信号ｒ０ｎを、上限値ｒ０ｎ＿ｌｉｍ＿ｕｐｐｅｒに補正する。なお、第１振幅変換部５５ａは、赤成分ノイズ抽出信号ｒ０ｎを、上限値ｒ０ｎ＿ｌｉｍ＿ｕｐｐｅｒより参照用の緑成分ノイズ抽出信号ａｖｅ（ｇ０ｎ，ｇ１ｎ）に近い値に補正してもよい。

【0048】

また、第１振幅変換部５５ａは、振幅範囲の下限値ｒ０ｎ＿ｌｉｍ＿ｕｎｄｅｒを下回る赤成分ノイズ抽出信号ｒ０ｎを、下限値ｒ０ｎ＿ｌｉｍ＿ｕｎｄｅｒに補正する。なお、第１振幅変換部５５ａは、赤成分ノイズ抽出信号ｒ０ｎを、下限値ｒ０ｎ＿ｌｉｍ＿ｕｎｄｅｒより参照用の緑成分ノイズ抽出信号ａｖｅ（ｇ０ｎ，ｇ１ｎ）に近い値に補正してもよい。

【0049】

図４に戻る。第４比較部５４ｄは、青成分ノイズ抽出信号ｂ１ｎと参照用の緑成分ノイズ抽出信号ａｖｅ（ｇ０ｎ，ｇ１ｎ）とを比較する。具体的には、第４比較部５４ｄは、青成分ノイズ抽出信号ｂ１ｎと参照用の緑成分ノイズ抽出信号ａｖｅ（ｇ０ｎ，ｇ１ｎ）との差分ｄｉｆ＿ｂｇの絶対値ａｂｓ（ｄｉｆ＿ｂｇ）を算出する。第４比較部５４ｄは、差分ｄｉｆ＿ｂｇの絶対値ａｂｓ（ｄｉｆ＿ｂｇ）と、第２閾値ｂ１ｎ＿ｔｈとを比較し、比較結果を第４振幅変換部５５ｄに供給する。

【0050】

差分ｄｉｆ＿ｂｇの絶対値ａｂｓ（ｄｉｆ＿ｂｇ）が第２閾値ｂ１ｎ＿ｔｈ未満の場合、第４振幅変換部５５ｄは、青成分ノイズ抽出信号ｂ１ｎを補正せずにそのまま、振幅範囲制限後の青成分ノイズ抽出信号ｂ１ｎ＿ｌｉｍとして出力する。

【0051】

差分ｄｉｆ＿ｂｇの絶対値ａｂｓ（ｄｉｆ＿ｂｇ）が第２閾値ｂ１ｎ＿ｔｈ以上の場合、第４振幅変換部５５ｄは、青成分ノイズ抽出信号ｂ１ｎのレベルを、参照用の緑成分ノイズ抽出信号ａｖｅ（ｇ０ｎ，ｇ１ｎ）のレベルに近づける補正を行う。

【0052】

具体的には、差分ｄｉｆ＿ｂｇの絶対値ａｂｓ（ｄｉｆ＿ｂｇ）が第２閾値ｂ１ｎ＿ｔｈ以上であって差分ｄｉｆ＿ｂｇがゼロ以上の場合、第４振幅変換部５５ｄは、参照用の緑成分ノイズ抽出信号ａｖｅ（ｇ０ｎ，ｇ１ｎ）に第２閾値ｂ１ｎ＿ｔｈを加算した信号を、振幅範囲制限後の青成分ノイズ抽出信号ｂ１ｎ＿ｌｉｍとして出力する。

【0053】

差分ｄｉｆ＿ｂｇの絶対値ａｂｓ（ｄｉｆ＿ｂｇ）が第２閾値ｂ１ｎ＿ｔｈ以上であって差分ｄｉｆ＿ｂｇがゼロ未満の場合、第４振幅変換部５５ｄは、参照用の緑成分ノイズ抽出信号ａｖｅ（ｇ０ｎ，ｇ１ｎ）から第２閾値ｂ１ｎ＿ｔｈを減算した信号を、振幅範囲制限後の青成分ノイズ抽出信号ｂ１ｎ＿ｌｉｍとして出力する。

【0054】

上記の第１閾値ｒ０ｎ＿ｔｈおよび第２閾値ｂ１ｎ＿ｔｈはそれぞれ、設計者の知見、実験結果、およびシミュレーション結果の少なくとも一つをもとに、設計者により設定される。第１閾値ｒ０ｎ＿ｔｈおよび第２閾値ｂ１ｎ＿ｔｈの値を小さく設定するほど、赤成分と緑成分と青成分のノイズ抽出信号のレベルを近づけることができる。

【0055】

第１係数乗算部５６ａは、第１振幅変換部５５ａから出力された振幅範囲制限後の赤成分ノイズ抽出信号ｒ０ｎ＿ｌｉｍに第１巡回係数ｋｒ０（０＜ｋｒ０＜１）を乗算する。第２係数乗算部５６ｂは、第２ノイズ抽出部５２ｂにより抽出された緑成分ノイズ抽出信号ｇ０ｎに第２巡回係数ｋｇ０（０＜ｋｇ０＜１）を乗算する。第３係数乗算部５６ｃは、第３ノイズ抽出部５２ｃにより抽出された緑成分ノイズ抽出信号ｇ１ｎに第３巡回係数ｋｇ１（０＜ｋｇ１＜１）を乗算する。第４係数乗算部５６ｄは、第４振幅変換部５５ｄから出力された振幅範囲制限後の青成分ノイズ抽出信号ｂ１ｎ＿ｌｉｍに第４巡回係数ｋｂ１（０＜ｋｂ１＜１）を乗算する。

【0056】

本実施例では、第１巡回係数ｋｒ０、第２巡回係数ｋｇ０、第３巡回係数ｋｇ１、第４巡回係数ｋｂ１にそれぞれ固定値が設定される。色ごとに異なる値を設定して、色ごとにノイズ除去の感度を調整することもできる。なお、第１巡回係数ｋｒ０、第２巡回係数ｋｇ０、第３巡回係数ｋｇ１、第４巡回係数ｋｂ１にそれぞれ、映像解析結果に応じて適応的に変化する変動値が設定されてもよい。

【0057】

第１ノイズ除去部５７ａ、第２ノイズ除去部５７ｂ、第３ノイズ除去部５７ｃ、第４ノイズ除去部５７ｄは、現フレーム画像の赤成分信号Ｒ０、緑成分信号Ｇ０、緑成分信号Ｇ１、青成分信号Ｂ１から、巡回係数の乗算後の赤成分ノイズ抽出信号ｒ０ｎ＿ｌｉｍ、緑成分ノイズ抽出信号ｇ０ｎ、緑成分ノイズ抽出信号ｇ１ｎ、青成分ノイズ抽出信号ｂ１ｎ＿ｌｉｍをそれぞれ除去する。

【0058】

図４に示す構成例では、第１フレーム差分信号生成部５１ａ、第２フレーム差分信号生成部５１ｂ、第３フレーム差分信号生成部５１ｃ、第４フレーム差分信号生成部５１ｄが、前フレーム画像の赤成分信号Ｒ０、緑成分信号Ｇ０、緑成分信号Ｇ１、青成分信号Ｂ１から現フレーム画像の赤成分信号Ｒ０、緑成分信号Ｇ０、緑成分信号Ｇ１、青成分信号Ｂ１をそれぞれ減算している。この場合、第１ノイズ除去部５７ａ、第２ノイズ除去部５７ｂ、第３ノイズ除去部５７ｃ、第４ノイズ除去部５７ｄは、現フレーム画像の赤成分信号Ｒ０、緑成分信号Ｇ０、緑成分信号Ｇ１、青成分信号Ｂ１に、巡回係数の乗算後の赤成分ノイズ抽出信号ｒ０ｎ＿ｌｉｍ、緑成分ノイズ抽出信号ｇ０ｎ、緑成分ノイズ抽出信号ｇ１ｎ、青成分ノイズ抽出信号ｂ１ｎ＿ｌｉｍをそれぞれ加算する。

【0059】

反対に、第１フレーム差分信号生成部５１ａ、第２フレーム差分信号生成部５１ｂ、第３フレーム差分信号生成部５１ｃ、第４フレーム差分信号生成部５１ｄが、現フレーム画像の赤成分信号Ｒ０、緑成分信号Ｇ０、緑成分信号Ｇ１、青成分信号Ｂ１から前フレーム画像の赤成分信号Ｒ０、緑成分信号Ｇ０、緑成分信号Ｇ１、青成分信号Ｂ１をそれぞれ減算した場合、第１ノイズ除去部５７ａ、第２ノイズ除去部５７ｂ、第３ノイズ除去部５７ｃ、第４ノイズ除去部５７ｄは、現フレーム画像の赤成分信号Ｒ０、緑成分信号Ｇ０、緑成分信号Ｇ１、青成分信号Ｂ１から、巡回係数の乗算後の赤成分ノイズ抽出信号ｒ０ｎ＿ｌｉｍ、緑成分ノイズ抽出信号ｇ０ｎ、緑成分ノイズ抽出信号ｇ１ｎ、青成分ノイズ抽出信号ｂ１ｎ＿ｌｉｍをそれぞれ減算する。

【0060】

以上説明したように本実施例によれば、緑成分ノイズ抽出信号と、赤成分ノイズ抽出信号または青成分ノイズ抽出信号との差分が大きい場合、赤成分ノイズ抽出信号または青成分ノイズ抽出信号を、緑成分ノイズ抽出信号に近づける補正を行う。これにより、映像に動きが発生している領域において、色相のずれや偽色の発生を抑制することができる。

【0061】

また本実施例では、緑成分ノイズ抽出信号は振幅変換の対象から除外している。これにより、輝度への寄与が大きい緑成分信号が必要以上に振幅変換することがなく、輝度信号に対するノイズ除去効果への影響を少なくすることができる。

【0062】

また本実施例では、ガンマ補正部３０より前段に３次元ノイズリダクション部５０を配置している。これにより、ガンマ補正により暗い領域のノイズが増幅される前に、３次元ノイズリダクションを実施することができる。ノイズ除去の後段でガンマ補正することにより、暗い領域のノイズも効果的に低減することができる。

【0063】

以上、本発明を実施例をもとに説明した。この実施例は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。また本発明の表現を方法、装置、システム、記録媒体、コンピュータプログラムなどの間で置き換えたものもまた本発明の態様として有効である。

【0064】

上述した実施例では、参照用の緑成分ノイズ抽出信号として、ベイヤ配列を構成する二つの画素の緑成分ノイズ抽出信号の平均値を使用する例を説明した。この点、参照用の緑成分ノイズ抽出信号は、一つの画素の緑成分ノイズ抽出信号から生成されてもよい。

【0065】

図６は、ＲＧＢ－ＩＲ型のカラーフィルタＣｆを示す図である。このカラーフィルタＣｆが使用される撮像素子２では、赤外線も受光することができる。この例では、参照用の緑成分ノイズ抽出信号として、緑成分ノイズ抽出信号ｇ０ｎがそのまま使用される。このように、赤色の画素の赤色ノイズ抽出信号または青色の画素の青色ノイズ抽出信号は、隣接する一つ以上の緑色の画素のノイズ抽出信号をもとに生成される参照用の緑成分ノイズ抽出信号と比較されればよい。

【符号の説明】

【0066】

１ 撮像システム、 ２ 撮像素子、 ３ 映像信号処理装置、 １０ ＨＤＲ合成部、 ２０ ホワイトバランス調整部、 ３０ ガンマ補正部、 ４０ 輝度・色差変換部、 ５０ ３次元ノイズリダクション部、 ５１ａ，５１ｂ，５１ｃ，５１ｄ フレーム差分信号生成部、 ５２ａ，５２ｂ，５２ｃ，５２ｄ ノイズ抽出部、 ５３ 混合部、 ５４ａ，５４ｄ 比較部、 ５５ａ，５５ｄ 振幅変換部、 ５６ａ，５６ｂ，５６ｃ，５６ｄ 係数乗算部、 ５７ａ，５７ｂ，５７ｃ，５７ｄ ノイズ除去部、 ５８ フレームメモリ、 ６０ 映像出力部。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】