特開 2015-136001 ノイズ判定装置およびノイズ判定方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】特開2015-136001(P2015-136001A)

(43)【公開日】2015年7月27日

(54)【発明の名称】ノイズ判定装置およびノイズ判定方法

(51)【国際特許分類】

   H04N 17/00 20060101AFI20150701BHJP

   G06T 5/00 20060101ALI20150701BHJP

【ＦＩ】

   H04N17/00 K

   G06T5/00 300

【審査請求】未請求

【請求項の数】12

【出願形態】ＯＬ

【全頁数】13

(21)【出願番号】特願2014-5804(P2014-5804)

(22)【出願日】2014年1月16日

(71)【出願人】

【識別番号】591128453

【氏名又は名称】株式会社メガチップス

(74)【代理人】

【識別番号】100088672

【弁理士】

【氏名又は名称】吉竹 英俊

(74)【代理人】

【識別番号】100088845

【弁理士】

【氏名又は名称】有田 貴弘

(72)【発明者】

【氏名】岡本 彰

【テーマコード（参考）】

5B057

5C061

【Ｆターム（参考）】

5B057AA20

5B057CA01

5B057CA08

5B057CA12

5B057CA16

5B057CB01

5B057CB08

5B057CB12

5B057CB16

5B057CC01

5B057CE02

5C061BB05

5C061BB06

5C061EE21

(57)【要約】

【課題】どのような状況下で撮像された画像であってもノイズ判定を行うことが可能なノイズ判定技術を提供する。
【解決手段】フレーム単位で与えられる画像データのノイズの有無を判定するノイズ判定装置であって、画像データを周波数分解し、得られた周波数成分について、周波数が比較的低い低周波成分および周波数が比較的高い高周波成分について、それぞれ所定数のデータをサンプリングし、低周波側データに対する高周波側データの比率に基づいて、ノイズの有無を判定する。
【選択図】図３

【特許請求の範囲】

【請求項1】

フレーム単位で与えられる画像データのノイズの有無を判定するノイズ判定装置であって、
前記画像データを周波数分解し、得られた周波数成分について、周波数が比較的低い低周波成分および周波数が比較的高い高周波成分について、それぞれ所定数のデータをサンプリングし、低周波側データに対する高周波側データの比率に基づいて、ノイズの有無を判定することを特徴とするノイズ判定装置。

【請求項2】

前記ノイズ判定装置は、
１つのフレームの前記画像データを所定の画素数のマトリクスに分割してデータブロックとして周波数分解を行う周波数分解部と、
前記周波数分解部で得られた周波数成分について、前記データブロックの低周波成分側および高周波成分側のそれぞれで、所定数ずつの周波数成分をサンプリングして、前記低周波側データおよび前記高周波側データとし、前記低周波側データに対する前記高周波側データの比率が、予め定めた第１の閾値よりも大きいか否かでノイズの有無を解析する周波数解析部と、を備える、請求項１記載のノイズ判定装置。

【請求項3】

前記ノイズ判定装置は、
前記周波数解析部においてノイズを有すると解析された前記データブロックの個数が、予め定めた閾値よりも多い場合は、前記１つのフレームにノイズを有するものと判定するフレーム単体ノイズ判定部を備える、請求項２記載のノイズ判定装置。

【請求項4】

前記ノイズ判定装置は、
前記フレーム単体ノイズ判定部においてノイズを有するものと判定された複数のフレームが、予め定めた判定条件を満たす場合は、動画像にノイズを有するものと判定する複数フレームノイズ判定部を備える、請求項３記載のノイズ判定装置。

【請求項5】

前記ノイズ判定装置は、
１つのフレームの前記画像データを所定の画素数のマトリクスに分割してデータブロックとして周波数分解を行う周波数分解部と、
前記周波数分解部で得られた周波数成分について、前記データブロックの低周波成分側および高周波成分側のそれぞれで、所定数ずつの周波数成分をサンプリングして、前記低周波側データおよび前記高周波側データとし、前記１つのフレームを構成する全ての前記データブロックについて対応する周波数成分ごとにデータの加算を行ったデータ集約マトリクスを作成し、前記データ集約マトリクスにおける、前記低周波側データに対する前記高周波側データの比率が、予め定めた第１の閾値よりも大きいか否かでノイズの有無を解析する周波数解析部と、を備える、請求項１記載のノイズ判定装置。

【請求項6】

前記ノイズ判定装置は、
前記周波数解析部においてノイズを有するものと判定された複数のフレームが、予め定めた判定条件を満たす場合は、動画像にノイズを有するものと判定する複数フレームノイズ判定部を備える、請求項５記載のノイズ判定装置。

【請求項7】

前記判定条件は、
動画像を構成する複数のフレームのうち、ノイズを有するフレームの比率で規定される、請求項４または請求項６記載のノイズ判定装置。

【請求項8】

前記判定条件は、
動画像を構成する複数のフレームのうち、ノイズを有するフレームの連続数で規定される、請求項４または請求項６記載のノイズ判定装置。

【請求項9】

前記周波数分解部は、
離散コサイン変換により周波数分解を行い、
前記周波数解析部は、
前記周波数分解部での離散コサイン変換により得られた変換係数の交流成分を直流成分で割ることで前記交流成分の正規化を行い、正規化後の交流成分を前記低周波側データおよび前記高周波側データとする、請求項２または請求項５記載のノイズ判定装置。

【請求項10】

前記周波数解析部は、
前記正規化後の前記高周波側データが、予め定めた第２の閾値よりも大きいか否かの判定をさらに行って、ノイズの有無を解析する、請求項９記載のノイズ判定装置。

【請求項11】

前記画像データとしてベイヤーデータを使用する、請求項１記載のノイズ判定装置。

【請求項12】

フレーム単位で与えられる画像データのノイズの有無を判定するノイズ判定方法であって、
（ａ）前記画像データを周波数分解するステップと、
（ｂ）前記ステップ（ａ）で得られた周波数成分について、周波数が比較的低い低周波成分および周波数が比較的高い高周波成分について、それぞれ所定数のデータをサンプリングし、低周波側データに対する高周波側データの比率に基づいて、ノイズの有無を判定するステップと、を備えることを特徴とするノイズ判定方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明はノイズ判定技術に関し、特に画像信号に含まれるノイズの判定技術に関する。

【背景技術】

【0002】

固体撮像素子などのイメージセンサを用いて撮像された画像信号に含まれるノイズを検出し除去する技術については、従来から種々の技術が提案されている。

【0003】

例えば、特許文献１には、クロマ成分に含まれるノイズを検出し、除去する技術が開示されている。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特許第５１０５２１５号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

固体撮像素子などのイメージセンサを用いた撮像装置は、監視カメラとして使用されることがあるが、監視カメラは、明るい場所での使用に限定されず、照度の低い場所でも使用されることがある。

【0006】

このような場合、ノイズの比率が高くなり、特許文献１をはじめとして、従来のノイズ検出技術では効果的なノイズ判定ができず、十分なノイズ除去ができないという問題があった。

【0007】

本発明は上記のような問題を解決するためになされたものであり、どのような状況下で撮像された画像であってもノイズ判定を行うことが可能なノイズ判定技術を提供することを目的とする。

【課題を解決するための手段】

【0008】

本発明に係るノイズ判定装置の第１の態様は、フレーム単位で与えられる画像データのノイズの有無を判定するノイズ判定装置であって、前記画像データを周波数分解し、得られた周波数成分について、周波数が比較的低い低周波成分および周波数が比較的高い高周波成分について、それぞれ所定数のデータをサンプリングし、低周波側データに対する高周波側データの比率に基づいて、ノイズの有無を判定する。

【0009】

本発明に係るノイズ判定装置の第２の態様は、前記ノイズ判定装置は、１つのフレームの前記画像データを所定の画素数のマトリクスに分割してデータブロックとして周波数分解を行う周波数分解部と、前記周波数分解部で得られた周波数成分について、前記データブロックの低周波成分側および高周波成分側のそれぞれで、所定数ずつの周波数成分をサンプリングして、前記低周波側データおよび前記高周波側データとし、前記低周波側データに対する前記高周波側データの比率が、予め定めた第１の閾値よりも大きいか否かでノイズの有無を解析する周波数解析部と、を備えている。

【0010】

本発明に係るノイズ判定装置の第３の態様は、前記ノイズ判定装置が、前記周波数解析部においてノイズを有すると解析された前記データブロックの個数が、予め定めた閾値よりも多い場合は、前記１つのフレームにノイズを有するものと判定するフレーム単体ノイズ判定部を備えている。

【0011】

本発明に係るノイズ判定装置の第４の態様は、前記ノイズ判定装置が、前記フレーム単体ノイズ判定部においてノイズを有するものと判定された複数のフレームが、予め定めた判定条件を満たす場合は、動画像にノイズを有するものと判定する複数フレームノイズ判定部を備えている。

【0012】

本発明に係るノイズ判定装置の第５の態様は、前記ノイズ判定装置が、１つのフレームの前記画像データを所定の画素数のマトリクスに分割してデータブロックとして周波数分解を行う周波数分解部と、前記周波数分解部で得られた周波数成分について、前記データブロックの低周波成分側および高周波成分側のそれぞれで、所定数ずつの周波数成分をサンプリングして、前記低周波側データおよび前記高周波側データとし、前記１つのフレームを構成する全ての前記データブロックについて対応する周波数成分ごとにデータの加算を行ったデータ集約マトリクスを作成し、前記データ集約マトリクスにおける、前記低周波側データに対する前記高周波側データの比率が、予め定めた第１の閾値よりも大きいか否かでノイズの有無を解析する周波数解析部と、を備えている。

【0013】

本発明に係るノイズ判定装置の第６の態様は、前記ノイズ判定装置が、前記周波数解析部においてノイズを有するものと判定された複数のフレームが、予め定めた判定条件を満たす場合は、動画像にノイズを有するものと判定する複数フレームノイズ判定部を備えている。

【0014】

本発明に係るノイズ判定装置の第７の態様は、前記判定条件が、動画像を構成する複数のフレームのうち、ノイズを有するフレームの比率で規定される。

【0015】

本発明に係るノイズ判定装置の第８の態様は、前記判定条件が、動画像を構成する複数のフレームのうち、ノイズを有するフレームの連続数で規定される。

【0016】

本発明に係るノイズ判定装置の第９の態様は、前記周波数分解部が、離散コサイン変換により周波数分解を行い、前記周波数解析部は、前記周波数分解部での離散コサイン変換により得られた変換係数の交流成分を直流成分で割ることで前記交流成分の正規化を行い、正規化後の交流成分を前記低周波側データおよび前記高周波側データとする。

【0017】

本発明に係るノイズ判定装置の第１０の態様は、前記周波数解析部は、前記正規化後の前記高周波側データが、予め定めた第２の閾値よりも大きいか否かの判定をさらに行って、ノイズの有無を解析する。

【0018】

本発明に係るノイズ判定装置の第１１の態様は、前記画像データとしてベイヤーデータを使用する。

【0019】

本発明に係るノイズ判定方法の態様は、フレーム単位で与えられる画像データのノイズの有無を判定するノイズ判定方法であって、前記画像データを周波数分解するステップ（ａ）と、前記ステップ（ａ）で得られた周波数成分について、周波数が比較的低い低周波成分および周波数が比較的高い高周波成分について、それぞれ所定数のデータをサンプリングし、低周波側データに対する高周波側データの比率に基づいて、ノイズの有無を判定するステップ（ｂ）と、を備えている。

【発明の効果】

【0020】

本発明に係るノイズ判定装置によれば、低周波側データに対する高周波側データの比率に基づいて、ノイズの有無を判定するので、どのような状況下で撮像された画像であっても、比較的簡便にノイズの有無を解析できる。

【図面の簡単な説明】

【0021】

【図1】本発明に係る実施の形態のノイズ判定装置を有した、ノイズ除去装置の構成を示すブロック図である。

【図2】本発明に係る実施の形態のノイズ判定装置の構成を示すブロック図である。

【図3】本発明に係る実施の形態のノイズ判定装置におけるノイズ判定処理を説明するフローチャートである。

【図4】８×８のベイヤーデータブロックに対応するＤＣＴ係数のマトリクスを示す図である。

【図5】本発明に係る実施の形態のノイズ判定装置の変形例を示すブロック図である。

【図6】本発明に係る実施の形態のノイズ判定装置の変形例におけるノイズ判定処理を説明するフローチャートである。

【図7】サンプリング領域の設定例を示す図である。

【図8】サンプリング領域の設定例を示す図である。

【発明を実施するための形態】

【0022】

＜実施の形態＞
図１は本発明に係る実施の形態のノイズ判定装置を有した、ノイズ除去装置１００の構成を示すブロック図である。

【0023】

図１に示すように、ノイズ除去装置１００は、画像データを受け、当該画像データにノイズが含まれるか否かを判定するノイズ判定装置１と、画像データに含まれるノイズを除去するフィルタ回路２と、ノイズ判定装置１でのノイズ判定結果に基づいて、フィルタ回路２から出力されるフィルタ処理済み画像データを選択するか、あるいはフィルタ処理されていない画像データを選択して出力する選択回路３とを有している。

【0024】

図２には、ノイズ判定装置１の構成をブロック図で示す。図２に示すように、ノイズ判定装置１には、画像データとしてベイヤーデータが入力されるが、当該ベイヤーデータは、ラインメモリ群１１に一時的に保存される。後に説明するが、ノイズ判定装置１は、１フレーム分の画像データを８×８画素単位、または４×４画素単位のマトリクスで処理するので、ラインメモリ群１１は、８×８画素単位の場合は７個のラインメモリを含み、３×３画素単位の場合は３個のラインメモリを含むこととなる。

【0025】

ラインメモリ群１１に保存されたベイヤーデータは、先入れ先出し（ＦＩＦＯ）処理で４×４画素単位または８×８画素単位でＤＣＴ（離散コサイン）変換部１２に与えられ、それは４ラインまたは８ラインのベイヤーデータが与えられるまで連続して行われる。

【0026】

ＤＣＴ変換部１２（周波数分解部）では、与えられたベイヤーデータ（以後、ベイヤーデータブロックと呼称）に対して離散コサイン変換を施して周波数分解し、得られた周波数成分についての変換係数を出力する。

【0027】

そして、ＤＣＴ変換部１２から出力される変換係数に対して、周波数解析部１３で解析を行うことで、４×４画素単位または８×８画素単位でノイズを有しているか否かの解析結果が得られ、当該解析結果をメモリ等で構成される解析結果格納部１４に格納する。

【0028】

解析結果格納部１４に１フレーム分の画像データに対する解析結果が格納されると、当該１フレーム分の画像データに対する解析結果は、フレーム単体ノイズ判定部１５に与えられる。

【0029】

フレーム単体ノイズ判定部１５では、１フレーム分の画像データに対する解析結果のうち、ノイズを有していると解析されたベイヤーデータブロックが幾つあるかに基づいて、当該１フレーム分の画像データがノイズを有した画像データであるか否か、すなわち、ノイズを有したフレームであるか否かの判定を行う。

【0030】

そして、フレーム単体ノイズ判定部１５での判定結果は複数フレームノイズ判定部１６に与えられ、所定数の複数フレームのうち、ノイズを有したフレームが幾つあるかに基づいて、最終的なノイズ判定を行い、判定結果に基づいた制御信号を選択回路３に与え、選択回路３での画像データの選択動作を制御する。

【0031】

なお、ノイズ判定装置１は、ＣＰＵ（Central Processing Unit）、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）およびワイヤードロジック等で構成され、ＲＯＭ内に格納されたプログラムを読み出し、当該プログラムをＣＰＵで実行することによって、ノイズ判定装置１を機能的に実現する。

【0032】

＜ノイズ判定処理＞
次に、図３に示すフローチャートを用いて、ノイズ判定装置１におけるノイズ判定処理について説明する。なお、以下の説明は、図２に示した周波数解析部１３以下での処理であり、ＤＣＴ処理は周知の技術であるので説明は省略する。

【0033】

まず、ステップＳ１において、周波数解析部１３では、ＤＣＴ変換部１２から出力される変換係数（ＤＣＴ係数）のマトリクス（８×８のベイヤーデータブロックに対応）において、ＡＣ（交流）成分をＤＣ（直流）成分で割ることでＡＣ成分の正規化を行う。

【0034】

ここで、８×８のベイヤーデータブロックに対応するＤＣＴ係数のマトリクスを図４に示す。図４において、マトリクスの先頭（左上角部）がＤＣ成分であり、マトリクスの水平方向が垂直周波数成分（Ｖ）を、マトリクスの垂直方向が水平周波数成分（Ｈ）を表している。そして、ＤＣ成分に近いＡＣ成分ほど低周波であり、マトリクスのＤＣ成分とは対角をなす角部に近いＡＣ成分ほど高周波となっている。

【0035】

なお、図４において、ＤＣ成分側寄りのＡＣ成分である低周波成分（低域成分）のサンプリング領域をサンプリング領域ＬＳＲ（低域サンプリング領域）とし、ＤＣ成分とは対角をなす側のＡＣ成分である高周波成分（高域成分）のサンプリング領域をサンプリング領域ＨＳＲ（高域サンプリング領域）として示している。

【0036】

次に、周波数解析部１３は、ステップＳ２において、図４に示すサンプリング領域ＬＳＲでの正規化されたＤＣＴ係数の総数（Σ低域）に対する、サンプリング領域ＨＳＲでの正規化されたＤＣＴ係数の総数（Σ高域）の比率（Σ高域／Σ低域）を算出し、予め定めた閾値Ａとの比較を行う。そして、当該比率が、閾値Ａを超える場合にはステップＳ３に進むが、閾値Ａ以下の場合は、処理対象となっているベイヤーデータブロックはノイズを有さないものと判断し、判断結果を解析結果格納部１４に格納する（ステップＳ１１）。その後は、ステップＳ５に進む。

【0037】

なお、図４では、サンプリング領域ＬＳＲの周波数成分の数も、サンプリング領域ＨＳＲの周波数成分の数も、全体の３割程度に設定されているが、これは、領域を広くし過ぎると有意な結果が得にくくなるためであるが、基本的には任意に設定可能である。

【0038】

ステップＳ３では、正規化されたＤＣＴ係数のサンプリング領域ＨＳＲでの総数（Σ高域）と、予め定めた閾値Ｂとの比較を行う。これは、例えば、ＤＣ成分が多く、ＡＣ成分が少ないような変化に乏しい画像において、高周波成分が少しだけあるような場合、ステップＳ２の判断ステップだけでは、ノイズありと誤判断されている可能性があるので、これを回避するための措置である。ステップＳ３での比較の結果、高周波成分が所定数を超えて存在すると判断される場合は、ステップＳ２の判断は正確であるものと判断する。

【0039】

従って、ステップＳ３において、正規化されたＤＣＴ係数のサンプリング領域ＨＳＲでの総数が閾値Ｂを超えると判断された場合は、処理対象となっているベイヤーデータブロックはノイズを有するものと判断して、判断結果を解析結果格納部１４に格納する（ステップＳ４）。

【0040】

次に、周波数解析部１３では、ステップＳ５において、１つのフレームを構成する全てのベイヤーデータブロックについてノイズ判定を終了したか否かを判断し、全てのベイヤーデータブロックについてノイズ判定を終了した場合には、ステップＳ６に進むが、未処理のベイヤーデータブロックがある場合は、ステップＳ１以下の処理を繰り返す。

【0041】

ステップＳ６では、フレーム単体ノイズ判定部１５において、解析結果格納部１４に格納された判断結果に基づいて、１フレーム中のベイヤーデータについて、ノイズを有すると判断されたベイヤーデータブロックの個数が、予め定めた閾値Ｃよりも多いか否かの判断を行う。そして、ノイズを有するベイヤーデータブロックの個数が、予め定めた閾値Ｃよりも多いと判定される場合は、当該フレームはフレーム単体でノイズを有するものと判断され、判断結果を解析結果格納部１４に格納する（ステップＳ７）。一方、ステップＳ６で、ノイズを有するベイヤーデータブロックの個数が、予め定めた閾値Ｃ以下と判定される場合は、当該フレームはフレーム単体ではノイズを有さないものと判断され、判断結果を解析結果格納部１４に格納する（ステップＳ１２）。

【0042】

この場合、例えば１フレーム中の全ベイヤーデータブロックのうち、３割にノイズがある場合は、ノイズを有するフレームであると判定させるなど、閾値Ｃは任意の個数に設定することができる。

【0043】

その後、複数フレームノイズ判定部１６において、ステップＳ７で、フレーム単体でノイズを有するものと判断されたフレームの数や、連続数などを確認し、複数フレームが予め定めた所定の判定条件を満たすか否かを判断する（ステップＳ８）。そして、当該判定条件を満たす場合には、動画像にノイズを有するものと判定し（ステップＳ９）、ノイズを除去されたデータが出力されるように、所定の制御信号を選択回路３に与える（ステップＳ１０）。その後は、ノイズ除去装置１００の電源がオフされるなどして、画像データの入力がなくなるまでステップＳ１以下の処理を繰り返す。

【0044】

一方、ステップＳ８で、所定の判定条件を満たさないと判断された場合には、動画像にノイズを有さないものと判定し（ステップＳ１３）、所定の制御信号を選択回路３に与える（ステップＳ１０）。なお、制御信号はノイズがあると判定された場合もノイズがないと判定された場合も制御信号が出力されるが、例えば、ノイズがある場合の制御信号は「０」、ノイズがない場合の制御信号は「１」とすることで、選択回路３はそれぞれに対応した選択動作を行う。

【0045】

ここで、ステップＳ８における判定動作について説明する。通常、動画像は１秒間６０フレームの画像で構成されている。従って、ステップＳ８では、６０フレームの画像データのそれぞれについてステップＳ１〜Ｓ７、Ｓ１２の処理が終了するのを待って判定を行う。この判定においては、判定条件として、例えば、６０フレームのうち、ノイズを有するフレームが半数を超える場合には、動画像にノイズが含まれているとして、６１フレーム目以降の画像データに対しては、フィルタ回路２を通してノイズを除去したフィルタ処理済み画像データが選択回路３を通って出力されるように、選択回路３の選択動作を制御する制御信号を出力する。

【0046】

なお、換言すれば、最終判定に必要な、６０フレームの画像データが集まるまでは、フィルタ処理されていない画像データが選択回路３を通って出力されていると言うことになる。

【0047】

以後、６１フレーム目以降の画像データはフィルタ処理済み画像データとなるが、ステップＳ１〜Ｓ１３の処理を繰り返し、ノイズが含まれないフレームが多くなって、上記判定条件を満たさない撮像状況になった場合は、フィルタ処理されていない画像データが選択回路３を通って出力されることになる。

【0048】

このような処理を行う理由は、フィルタ処理を行った場合と、フィルタ処理を行わない場合とでは撮像画像に大きな違いが出るが、フィルタ処理のオン、オフを頻繁に繰り返すと、撮像画像がちらつくなどの原因となるので、これを回避するためである。

【0049】

なお、上記判定条件は、上述したようなノイズを有すると判定されたフレームの数に限定されるものではなく、ノイズを有すると判定されたフレームが、所定数だけ連続するような場合、例えば、６０フレームのうち１０フレーム以上連続するのであれば、動画像にノイズが含まれているとして、６１フレーム目以降の画像データに対しては、フィルタ回路２を通してノイズを除去したフィルタ処理済み画像データが選択回路３を通って出力されるように、選択回路３の選択動作を制御する制御信号を出力するようにしても良い。

【0050】

ここで、上記ステップＳ１〜Ｓ３の処理は、入力されたベイヤーデータのＧｂ（青側の緑）、Ｇｒ（赤側の緑）、Ｒ（赤）、Ｂ（青）の４つの色のそれぞれについて実行することで、判定の精度を高めることができる。なお、緑成分は輝度情報を含んでいるので、Ｇｂのデータだけ、あるいはＧｒのデータだけについて上記ステップＳ１〜Ｓ３の処理を実行するようにしても良い。

【0051】

＜ノイズ判定処理装置の変形例＞
次に、ノイズ判定装置１の変形例について説明する。図５は、ノイズ判定装置１の変形例であるノイズ判定装置１Ａのブロック図である。

【0052】

図５に示すように、ノイズ判定装置１Ａには、画像データとしてベイヤーデータが入力されるが、当該ベイヤーデータは、ラインメモリ群１１に一時的に保存される。後に説明するが、ノイズ判定装置１は、１フレーム分の画像データを８×８画素単位、または４×４画素単位で処理するので、ラインメモリ群１１は、８×８画素単位の場合は７個のラインメモリを含み、３×３画素単位の場合は３個のラインメモリを含むこととなる。

【0053】

ラインメモリ群１１に保存されたベイヤーデータは、先入れ先出し（ＦＩＦＯ）処理で４×４画素単位または８×８画素単位でＤＣＴ（離散コサイン）変換部１２に与えられ、それは４ラインまたは８ラインのベイヤーデータが与えられるまで連続して行われる。

【0054】

ＤＣＴ変換部１２では、与えられた８×８画素のベイヤーデータブロックに対して離散コサイン変換を施し、変換係数を出力する。

【0055】

そして、ＤＣＴ変換部１２から出力される変換係数に対して、周波数解析部１３で周波数解析を行うことで、４×４画素単位または８×８画素単位でノイズを有しているか否かの解析結果が得られ、当該解析結果を解析結果格納部１４に格納する。

【0056】

解析結果格納部１４に１フレームの画像データに対する解析結果が格納されると、当該１フレームの画像データに対する解析結果は、複数フレームノイズ判定部１６に与えられ、所定数の複数フレームのうち、ノイズを有したフレームが幾つあるかに基づいて、最終的なノイズ判定を行い、判定結果に基づいた制御信号を選択回路３に与え、選択回路３での画像データの選択動作を制御する。

【0057】

次に、図６に示すフローチャートを用いて、ノイズ判定装置１Ａにおけるノイズ判定処理について説明する。

【0058】

まず、ステップＳ２１において、周波数解析部１３では、ＤＣＴ変換部１２から出力される変換係数（ＤＣＴ係数）のマトリクス（８×８のベイヤーデータブロックに対応）において、ＡＣ（交流）成分をＤＣ（直流）成分で割ることでＡＣ成分の正規化を行う。

【0059】

次に、周波数解析部１３は、ステップＳ２２において、１つのフレームを構成する全てのベイヤーデータブロックのそれぞれの正規化されたＤＣＴ係数のマトリクスについて、対応する周波数成分ごとにＤＣＴ係数の加算を行う。この結果、全てのマトリクスのＤＣＴ係数が集約された１つのマトリクス（データ集約マトリクス）が得られる。

【0060】

次に、周波数解析部１３は、データ集約マトリクスにおいて、低域サンプリング領域での正規化されたＤＣＴ係数の総数（Σ低域）に対する、高域サンプリング領域での正規化されたＤＣＴ係数の総数（Σ高域）の比率（Σ高域／Σ低域）を算出し、予め定めた閾値Ａとの比較を行う。そして、当該比率が、閾値Ａを超える場合にはステップＳ２４に進むが、閾値Ａ以下の場合は、処理対象となっているフレームはノイズを有さないものと判断し、判断結果を解析結果格納部１４に格納する（ステップＳ２９）。その後は、ステップＳ２６に進む。

【0061】

周波数解析部１３は、ステップＳ１４において、正規化されたＤＣＴ係数の高域サンプリング領域での総数（Σ高域）と、予め定めた閾値Ｂとの比較を行う。これは、例えば、ＤＣ成分が多く、ＡＣ成分が少ないような変化に乏しい画像において、高周波成分が少しだけあるような場合、ステップＳ２３の判断ステップだけでは、ノイズありと誤判断されている可能性があるので、これを回避するための措置である。ステップＳ２４での比較の結果、高周波成分が所定数を超えて存在すると判断される場合は、ステップＳ２３の判断は正確であるものと判断する。

【0062】

従って、ステップＳ２４において、正規化されたＤＣＴ係数の高域サンプリング領域での総数が閾値Ｂを超えると判断された場合は、処理対象となっているフレームはノイズを有するものと判断して、判断結果を解析結果格納部１４に格納する（ステップＳ２５）。

【0063】

そして、複数フレームノイズ判定部１６において、ステップＳ２５で、ノイズを有するとして格納されたフレームの数や、連続数などを確認し、複数フレームが、予め定めた所定の判定条件を満たすか否かを判断する（ステップＳ２６）。そして、当該判定条件を満たす場合には、動画像にノイズを有するものと判定し（ステップＳ２７）、ノイズを除去されたデータが出力されるように、所定の制御信号を選択回路３に与える（ステップＳ２８）。その後は、ノイズ除去装置１００の電源がオフされるなどして、画像データの入力がなくなるまでステップＳ２１以下の処理を繰り返す。

【0064】

一方、ステップＳ２６で、所定の判定条件を満たさないと判断された場合には、動画像にノイズを有さないものと判定し（ステップＳ３０）、所定の制御信号を選択回路３に与える（ステップＳ２８）。なお、制御信号はノイズがあると判定された場合もノイズがないと判定された場合も制御信号が出力されるが、例えば、ノイズがある場合の制御信号は「０」、ノイズがない場合の制御信号は「１」とすることで、選択回路３はそれぞれに対応した選択動作を行う。

【0065】

なお、ステップＳ２６における判定動作は、図３を用いて先に説明したステップＳ８での判定動作と同じである。

【0066】

ここで、上記ステップＳ２１〜Ｓ２４の処理は、入力されたベイヤーデータのＧｂ（青側の緑）、Ｇｒ（赤側の緑）、Ｒ（赤）、Ｂ（青）の４つの色のそれぞれについて実行することで、判定の精度を高めることができる。なお、緑成分は輝度情報を含んでいるので、Ｇｂのデータだけ、あるいはＧｒのデータだけについて上記ステップＳ２１〜Ｓ２４の処理を実行するようにしても良い。

【0067】

なお、上述したノイズ判定装置１および１Ａは、単独で用いても良いが、両者を並列的に用いて、それぞれ行ったノイズ判定処理結果に基づいて総合的なノイズ判定を行っても良い。

【0068】

すなわち、ノイズ判定装置１におけるノイズ判定処理は、ベイヤーデータブロック単位でノイズを判定するので、複雑な画像において、ノイズの判定が難しい領域が偏って存在するような場合でも正確なノイズ判定が可能であるという特徴がある。

【0069】

一方、ノイズ判定装置１Ａにおけるノイズ判定処理は、１つのフレームの全領域を集約して１つのベイヤーデータブロックでノイズを判定するので、処理ステップ数が少なくて済み、比較的簡単にノイズ判定ができるので、単純な画像において、ノイズが均一に存在するような場合に適しているという特徴がある。

【0070】

従って、ノイズ判定装置１および１Ａを用いることで、上記２つの特徴を併せ持つことができると共に、短所を互いに補完しあうことで、より正確なノイズ判定が可能となる。

【0071】

＜サンプリング領域の設定＞
先に説明したようにサンプリング領域の周波数成分の数は任意に設定することができるが、その設定に際してフレーム全体におけるＧｂおよびＧｒのデータの平均値に基づいて設定することができる。

【0072】

すなわち、緑成分は輝度情報を含んでいるので、画像の輝度（明るさ）に応じてサンプリング領域を設定することで、以下に説明するような効果が得られる。

【0073】

例えば、画像の輝度が高い場合には、Ｓ／Ｎ比が大きくなるので、サンプル数を減らすことができ、図７に示すようにサンプリング領域ＬＳＲおよびサンプリング領域ＨＳＲを共に小さくする。サンプリング領域が小さくなることで、処理するデータ量が減って、処理速度を高めることができる。

【0074】

一方、画像の輝度が低い場合には、Ｓ／Ｎ比が小さくなるので、図８に示すようにサンプリング領域ＬＳＲおよびサンプリング領域ＨＳＲを共に大きくすることで、サンプル数を増やして判定精度の低下を抑制することができる。

【0075】

なお、図４、図７および図８では、サンプリング領域ＬＳＲもサンプリング領域ＨＳＲも同じ周波数成分の数となるように設定された例を示したが、どちらか一方が大きく、他方が小さくなるように設定しても良い。

【0076】

＜効果＞
以上説明したように、本発明に係る実施の形態においては、周波数解析部１３において、Σ高域／Σ低域を算出してノイズの有無を解析するので、比較的簡便にノイズの有無を解析できる。また、画像データとしてベイヤーデータを用いてノイズ判定を行うので、ベイヤーデータを取り込み、補間処理を行って色変換した後のデータを用いる場合に比べてノイズ検出の精度を高めることができる。

【0077】

なお、以上説明したノイズ判定装置が、コーデックと共に画像処理装置等に実装されている場合には、コーデックのＤＣＴ部および量子化部が共有できるので、より簡便な回路構成でノイズの有無を判定できるという効果がある。

【0078】

＜他の適用例＞
以上説明した本発明に係る実施の形態においては、画像データとしてベイヤーデータを用いてノイズ判定を行う構成について説明したが、ＹＣｂＣｒデータやＹＵＶデータを用いてノイズ判定を行っても良い。

【0079】

また、以上の説明では、周波数分解のためにＤＣＴを使用した例について示したが、ＦＦＴ（高速フーリエ変換）やウエーブレット変換などを使用してノイズ判定を行っても良い。

【0080】

なお、本発明は、その発明の範囲内において、実施の形態を適宜、変形、省略することが可能である。

【符号の説明】

【0081】

１２ 周波数分解部
１３ 周波数解析部
１５ フレーム単体ノイズ判定部
１６ 複数フレームノイズ判定部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】