(58)【調査した分野】(Int.Cl.,DB名)
前記第1のマルチバンド信号生成部はXタップのFIRフィルタであり、前記第2のマルチバンド信号生成部はNタップのFIRフィルタであることを特徴とする請求項1記載の映像信号処理装置。
前記MラインバッファにおけるMを、前記第2のマルチバンド信号生成部及び前記振幅調整・合成部による処理と、前記第1のマルチバンド信号生成部と前記Mラインバッファと前記解析部とによる処理とのタイミングを合わせる数に設定していることを特徴とする請求項1または2に記載の映像信号処理装置。
前記第1のマルチバンド信号生成部に入力するデータのビット数を、前記第2のマルチバンド信号生成部に入力するデータのビット数よりも小さくしていることを特徴とする請求項1〜5のいずれか1項に記載の映像信号処理装置。
XタップのFIRフィルタを用いて前記第1のマルチバンド信号を生成し、NタップのFIRフィルタを用いて前記第2のマルチバンド信号を生成することを特徴とする請求項7記載の映像信号処理方法。
前記第1のマルチバンド信号それぞれのデータのビット数を、前記第2のマルチバンド信号それぞれのデータのビット数よりも小さくしていることを特徴とする請求項7〜9のいずれか1項に記載の映像信号処理方法。
【発明の概要】
【発明が解決しようとする課題】
【0004】
例えば、エンハンス回路の前段にノイズ低減回路がある場合、エンハンス回路で強調したい部分がノイズ低減回路で減衰されてしまい、エンハンス回路による所望の効果を得ることができないという場合もある。
【0005】
従来の映像信号処理装置においては、ノイズ低減回路,エンハンス回路,スムージング回路の各種信号処理回路が個別に存在しており、映像信号の特徴(画像の特徴)に応じて、ノイズ低減処理,エンハンス処理,スムージング処理のうちの1または複数の処理を映像信号に対して最適に施すことが困難であるという問題点があった。また、ノイズ低減回路,エンハンス回路,スムージング回路が個別に存在するので、回路規模が比較的大きくなりやすいという問題点があった。
【0006】
本発明はこのような問題点に鑑み、映像信号に対して、ノイズ低減処理,エンハンス処理,スムージング処理のうちの少なくとも1つの処理を映像信号の特徴に応じて最適に施すことができる映像信号処理装置及び方法を提供することを目的とする。また、回路規模を縮小しながら、映像信号に対して、ノイズ低減処理,エンハンス処理,スムージング処理を選択的に施すことができる映像信号処理装置及び方法を提供する。
【課題を解決するための手段】
【0007】
本発明は、上述した従来の技術の課題を解決するため、Nを2以上の整数とし、入力された映像データを1ラインからNラインまでそれぞれのライン数分遅延させるNラインバッフ
ァと、XをNより小さい2以上の整数とし、前記Nラインバッファより出力された1ラインからNラインまでそれぞれのライン数分遅延させたデータのうち、1ラインからXラインまでそれぞれのライン数分遅延させたデータを用いて、第1の複数の周波数帯域に分割した第1のマルチバンド信号を生成する第1のマルチバンド信号生成
部と、Mを整数とし、前記第1のマルチバンド信号生成部より出力された前記第1の複数の周波数帯域のデータそれぞれを、1ラインからMラインまでそれぞれのライン数分遅延させるMラインバッフ
ァと、前記Mラインバッファより出力された1ラインからMラインまでそれぞれのライン数分遅延させた前記第1の複数の周波数帯域のデータに基づいて、最大で水平方向にM画素、垂直方向にMラインの領域を設定し、前記入力された映像データ
から直流成分を除去して生成された原データと前記第1の複数の周波数帯域のデータそれぞれとの相関を前記領域
ごとに検出することによって、前記入力された映像データが有する特徴を解析する解析
部と、前記解析部による解析結果に基づいてカットオフ周波数を設定し、前記Nラインバッファより出力された1ラインからNラインまでそれぞれのライン数分遅延させたデータを用いて、第2の複数の周波数帯域に分割した第2のマルチバンド信号を生成する第2のマルチバンド信号生成
部と、前記解析部による解析結果に基づいて、前記第2のマルチバンド信号生成部より出力された前記第2の複数の周波数帯域のデータそれぞれの振幅を調整して、前記第2の複数の周波数帯域のデータを合成して出力する振幅調整・合成
部とを備えることを特徴とする映像信号処理装置を提供する。
【0008】
上記の映像信号処理装置において、前記第1のマルチバンド信号生成部はXタップのFIRフィルタであり、前記第2のマルチバンド信号生成部はNタップのFIRフィルタであることが好ましい。
【0009】
上記の映像信号処理装置において、前記MラインバッファにおけるMを、前記第2のマルチバンド信号生成部及び前記振幅調整・合成部による処理と、前記第1のマルチバンド信号生成部と前記Mラインバッファと前記解析部とによる処理とのタイミングを合わせる数に設定していることが好ましい。
【0010】
上記の映像信号処理装置において、MはN−X+1なる数であることが好ましい。
【0011】
上記の映像信号処理装置において、前記第2の複数の周波数帯域を、前記第1の複数の周波数帯域よりも少なくすることが好ましい。
【0012】
上記の映像信号処理装置において、前記第1のマルチバンド信号生成部に入力するデータのビット数を、前記第2のマルチバンド信号生成部に入力するデータのビット数よりも小さくすることが好ましい。
【0013】
また、本発明は、上述した従来の技術の課題を解決するため、Nを2以上の整数とし、入力された映像データを、Nラインバッフ
ァを用いて1ラインからNラインまでそれぞれのライン数分遅延させ、XをNより小さい2以上の整数とし、前記Nラインバッファによって1ラインからNラインまでそれぞれのライン数分遅延させたデータのうち、1ラインからXラインまでそれぞれのライン数分遅延させたデータを用いて、第1の複数の周波数帯域に分割した第1のマルチバンド信号を生成し、Mを整数とし、前記第1のマルチバンド信号における前記第1の複数の周波数帯域のデータそれぞれを、Mラインバッフ
ァを用いて1ラインからMラインまでそれぞれのライン数分遅延させ、前記Mラインバッファによって1ラインからMラインまでそれぞれのライン数分遅延させた前記第1の複数の周波数帯域のデータに基づいて、最大で水平方向にM画素、垂直方向にMラインの領域を設定し、前記入力された映像データ
から直流成分を除去して生成された原データと前記第1の複数の周波数帯域のデータそれぞれとの相関を前記領域
ごとに検出することによって、前記入力された映像データが有する特徴を解析し、前記入力された映像データが有する特徴の解析結果に基づいてカットオフ周波数を設定し、前記Nラインバッファによって1ラインからNラインまでそれぞれのライン数分遅延させたデータを用いて、第2の複数の周波数帯域に分割した第2のマルチバンド信号を生成し、前記入力された映像データが有する特徴の解析結果に基づいて、前記第2のマルチバンド信号における前記第2の複数の周波数帯域のデータそれぞれの振幅を調整して、前記第2の複数の周波数帯域のデータを合成して出力することを特徴とする映像信号処理方法を提供する。
【0014】
上記の映像信号処理方法において、XタップのFIRフィルタを用いて前記第1のマルチバンド信号を生成し、NタップのFIRフィルタを用いて前記第2のマルチバンド信号を生成することが好ましい。
【0015】
上記の映像信号処理方法において、前記第2の複数の周波数帯域を、前記第1の複数の周波数帯域よりも少なくすることが好ましい。
【0016】
上記の映像信号処理方法において、前記第1のマルチバンド信号それぞれのデータのビット数を、前記第2のマルチバンド信号それぞれのデータのビット数よりも小さくすることが好ましい。
【発明の効果】
【0017】
本発明の映像信号処理装置及び方法によれば、映像信号に対して、ノイズ低減処理,エンハンス処理,スムージング処理のうちの少なくとも1つの処理を映像信号の特徴に応じて最適に施すことができる。また、本発明の映像信号処理装置及び方法によれば、回路規模を縮小しながら、映像信号に対して、ノイズ低減処理,エンハンス処理,スムージング処理を選択的に施すことができる。
【発明を実施するための形態】
【0019】
以下、本発明の映像信号処理装置及び方法の一実施形態について、添付図面を参照して説明する。
図1において、デジタル映像データは、Nラインバッファ1に入力される。Nラインバッファ1は、Nを整数として、Nライン分のラインバッファ(ラインメモリ)を有する。本実施形態では、一例としてNを21とする。Nラインバッファ1は、入力されたデジタル映像データを1ラインから21ラインまでそれぞれのライン数分遅延させる。デジタル映像データを例えば12ビットとする。
【0020】
Nラインバッファ1の後段には、信号解析ブロック10と、信号処理ブロック20とが設けられている。信号解析ブロック10は、マルチバンド信号生成部2と、複数のMラインバッファと、解析部4とを備える。信号処理ブロック20は、マルチバンド信号生成部5と振幅調整・合成部6とを備える。
【0021】
マルチバンド信号生成部2には、1ライン遅延から17ライン遅延までの17ライン分のデータが入力される。信号解析ブロック10には12ビットのデータを入力する必要はなく、マルチバンド信号生成部2に入力される17ライン分のデータを例えば9ビットとする。
【0022】
信号解析ブロック10は、デジタル映像データがどのような特徴を有するデータであるのかを解析するものであるので、9ビットで十分である。信号解析ブロック10に入力するデータのビット数をデジタル映像データが有するビット数よりも少なくすることにより、回路規模を削減することができる。
【0023】
マルチバンド信号生成部2は、入力された17ライン分のデータを、
図2に示すように、例えばB1〜B8の8バンドの周波数帯域に分けて、マルチバンド信号として出力する。マルチバンド信号生成部2は、2次元FIRフィルタで構成することができる。マルチバンド信号生成部2は、17タップの2次元FIRフィルタでよい。
【0024】
マルチバンド信号生成部2の後段には、8バンドのマルチバンド信号に対応して8つのMライン
バッファ3a〜3hが設けられている。信号処理ブロック20には、Nラインバッファ1より出力された21ライン分(21タップ)のデータが入力される。Mライン
バッファ3a〜3hにおけるMは、信号処理ブロック20に入力されるデータのタップ数Yから信号解析ブロック10に入力されるデータのタップ数Xを引いて1加えた数とする。本実施形態では、Mは、21−17+1より5である。
【0025】
Mライン
バッファ3a〜3hにおけるMをY−X+1とすることにより、信号処理ブロック20における信号処理と、信号解析ブロック10における信号解析とのタイミングを合わせることができる。
【0026】
マルチバンド信号生成部2より出力された周波数帯域B1〜B8のマルチバンド信号はそれぞれ対応するMライン
バッファ3a〜3hに入力されて、1ラインから5ラインまでそれぞれのライン数分遅延される。Mライン
バッファ3a〜3hより出力された5ライン分のデータは、解析部4に入力される。解析部4は後述するようにして周波数帯域B1〜B8のマルチバンド信号を解析することによって、Nラインバッファ1に入力されたデジタル映像データが有する特徴を解析する。
【0027】
信号処理ブロック20におけるマルチバンド信号生成部5は、入力された21ライン分のデータを例えば4バンドの周波数帯域に分けて、マルチバンド信号として出力する。マルチバンド信号生成部5は、2次元FIRフィルタで構成することができる。マルチバンド信号生成部5は、21タップの2次元FIRフィルタでよい。
【0028】
マルチバンド信号生成部5を構成する2次元FIRフィルタのカットオフ周波数は、解析部4より出力されたフィルタ制御信号Sc5によって制御される。
【0029】
マルチバンド信号生成部5より出力された4バンドのマルチバンド信号は、振幅調整・合成部6に入力される。振幅調整・合成部6は、4バンドのマルチバンド信号の振幅を、解析部4より出力された振幅制御信号Sc6に基づいて調整し、振幅を調整した4バンドのマルチバンド信号を合成して出力する。
【0030】
図3を用いて、解析部4の具体的構成及び動作について説明する。
図3に示すように、解析部4は、相関検出部41,最大値検出部42,フィルタ係数算出部43,ゲイン設定部44を備える。図示を省略しているが、解析部4は、Mライン
バッファ3a〜3hから出力されたそれぞれ5ライン分のデータを、1画素から5画素までそれぞれの画素数分遅延させる画素遅延器を有する。
【0031】
相関検出部41は、デジタル映像データの原データと周波数帯域B1〜B8それぞれのデータとの相関値を検出する。相関検出部41は、デジタル映像データのAPL(Average Picture Level)に応じて正規化した上で相関を取ることが好ましい。相関検出部41は、周波数帯域B1〜B8それぞれで、相関を検出するのに最適な領域を設定する。相関検出部41は、周波数帯域B1〜B8それぞれに対して、
図4に示すように、ハッチングを付している注目画素を中心として、水平方向5画素、垂直方向5画素(5ライン)の5×5の領域、または、水平方向3画素、垂直方向3画素(3ライン)の3×3の領域を設定する。
【0032】
即ち、相関検出部41がデジタル映像データの原データと周波数帯域B1〜B8それぞれのデータとの相関値を検出する際の領域は、最大で水平方向M画素、垂直方向M画素(Mライン)のM×Mの領域となる。
【0033】
本実施形態では、相関検出部41は、周波数帯域B1〜B8のマルチバンド信号のうちの最も周波数が低い周波数帯域B1を除く周波数帯域B2〜B8の信号を合成することによってデジタル映像データの原データを生成することとする。デジタル映像データの全帯域のデータから周波数帯域B1を除いたデータを原データとすることもできる。
【0034】
周波数帯域B1〜B8それぞれのデータと比較する原データは、デジタル映像データに相当するデータであればよい。
【0035】
相関検出部41は、周波数帯域B1を除くデータを原データとすることによって直流成分を除去する。相関検出部41は、直流成分を除去することによって、デジタル映像データの原データと周波数帯域B2〜B8それぞれのデータとの相関を検出することが可能となる。
【0036】
最大値検出部42は、周波数帯域B2〜B8のマルチバンド信号のうちの最大値を検出する。
【0037】
フィルタ係数算出部43は、相関検出部41で検出した周波数帯域B2〜B8それぞれにおける相関値と、最大値検出部42で検出した周波数帯域B2〜B8のマルチバンド信号のうちの最大値とに基づいて、マルチバンド信号生成部5を構成する2次元FIRフィルタのカットオフ周波数を制御するフィルタ制御信号Sc5を生成して出力する。
【0038】
ゲイン設定部44は、相関検出部41で検出した周波数帯域B2〜B8それぞれにおける相関値と、最大値検出部42で検出した周波数帯域B2〜B8のマルチバンド信号のうちの最大値とに基づいて、振幅調整・合成部6が4バンドのマルチバンド信号を合成する際のマルチバンド信号の振幅を制御する振幅制御信号Sc6を生成して出力する。
【0039】
ゲイン設定部44によってマルチバンド信号の振幅を制御するためにゲインを増大させると、マルチバンド信号がとり得る最大の振幅の閾値を越える可能性がある。そこで、ゲイン設定部44は、最大値検出部42で検出した最大値に基づいて最大の振幅の閾値を越えないようにゲインを設定する。
【0040】
図5は、相関検出部41が検出した周波数帯域B2〜B8それぞれにおける相関値のヒストグラムの例を示している。
図5に示す例では、周波数帯域B5から周波数帯域B7まで相関値が順に高くなっているものの、周波数帯域B8の相関値が小さくなっている。本来であれば、周波数帯域B8の相関値はより高くなるべきである。
【0041】
この
図5に示す例は、高域部分が減衰した特性である。そこで、相関値のヒストグラムが
図5のような場合には、信号処理ブロック20をエンハンス回路として動作させる。
【0042】
この場合、マルチバンド信号生成部5を構成する2次元FIRフィルタの特性と、振幅調整・合成部6における振幅を
図6のように設定する。マルチバンド信号生成部5より出力された4バンドのマルチバンド信号のうち、最も周波数が低いバンドの信号はカットオフ周波数が固定のローパスフィルタを通過する信号である。よって、
図6では、最も周波数が低いバンドを除く中低域の周波数帯域BLMと中高域の周波数帯域BHMと高域の周波数帯域BHの3つのみを示している。
【0043】
フィルタ係数算出部43は、周波数帯域BLM,BHM,BHのカットオフ周波数を
図6のような位置に設定する。ゲイン設定部44は、周波数帯域BHMの振幅をやや増大させ、高域のエンハンス処理のため周波数帯域BHの振幅を大幅に増大させるようゲインを設定する。
【0044】
図7は、相関検出部41が検出した周波数帯域B2〜B8それぞれにおける相関値のヒストグラムの他の例を示している。
図7に示す例では、周波数帯域B2の相関値が高く、周波数帯域B3以上で相関値が急激に小さくなっている。周波数帯域B7は周波数帯域B6,B8と比較して相関値が高くなっている。
【0045】
この
図7に示す例は、高域成分が少なくて画像がぼけている特性である。また、周波数帯域B7はノイズが発生している特性である。そこで、相関値のヒストグラムが
図7のような場合には、信号処理ブロック20をスムージング回路及びノイズ低減回路として動作させる。
【0046】
この場合、マルチバンド信号生成部5を構成する2次元FIRフィルタの特性と、振幅調整・合成部6における振幅を
図8のように設定する。フィルタ係数算出部43は、周波数帯域BLM,BHM,BHのカットオフ周波数を
図8のような位置に設定する。ゲイン設定部44は、画像のぼけを強調させるために、周波数帯域BLMの振幅を増大させるようゲインを設定する。ゲイン設定部44は、ノイズを低減させるために、周波数帯域BHの振幅を低減させるようゲインを設定する。
【0047】
さらに、
図9及び
図10を用いて、信号処理ブロック20をエンハンス回路として動作させる場合の、相関検出部41によって相関を検出する動作の具体的な例を説明する。前述のように、相関検出部41は、原データと周波数帯域B2〜B8の7バンドのデータとの相関を検出するが、ここでは簡略化のため、原データと
図9に示す3バンドのデータとの相関を検出する場合について説明する。
【0048】
マルチバンド信号生成部2に入力される原データが
図10の(a)に示すような太い実線で示す波形であるとする。
図10の(a),(b)における横軸は水平方向の画素位置、縦軸は振幅である。マルチバンド信号生成部2が、
図9に示すように、原データを周波数帯域Ba,Bb,Bcの3バンドに分割するとそれぞれの帯域の波形は
図10の(a)に示すような波形となる。破線で示す波形が周波数帯域Baの波形、太い一点鎖線で示す波形が周波数帯域Bbの波形、細い実線で示す波形が周波数帯域Bcの波形である。
【0049】
相関検出部41が、原データと周波数帯域Ba,Bb,Bcの3バンドのデータとの相関をとり、最も相関値が高いデータを選択すると、
図10の(a)に示す太い破線で示す波形のデータとなる。
【0050】
図10の(b)は、比較のため、原データと周波数帯域Ba,Bb,Bcの3バンドのデータとの相関をとるのではなく、周波数帯域Ba,Bb,Bcの3バンドのデータの最大値をとるようにした場合の波形を示している。
【0051】
図10の(a)と(b)とで、一点鎖線の楕円で囲んだ部分を比較すれば分かるように、
図10の(a)では、原データと近似した波形となるため、本実施形態では、ノイズ低減処理,エンハンス処理,スムージング処理を自然に施すことが可能となる。
【0052】
以上説明したように、
図1に示す一実施形態においては、映像信号に対して、ノイズ低減処理,エンハンス処理,スムージング処理のうちの少なくとも1つの処理を映像信号の特徴に応じて最適に施すことができる。また、一実施形態においては、ノイズ低減処理,エンハンス処理,スムージング処理を選択的に施すことができる。
【0053】
一実施形態では、
図1に示すように、信号解析ブロック10と信号処理ブロック20とでNラインバッファ1を共通で用いているので、回路規模を削減することができる。また、信号解析ブロック10に入力するデータのビット数を信号処理ブロック20に入力するデータのビット数よりも少なくしているので、回路規模を削減することができる。
【0054】
本発明は以上説明した一実施形態に限定されることはなく、本発明の要旨を逸脱しない範囲において種々変更可能である。Nラインバッファ1のN(マルチバンド信号生成部5のタップ数N)、マルチバンド信号生成部2のタップ数X、Mラインバッファ3a〜3hのMは、適宜設定すればよい。