(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-06-21
(45)【発行日】2023-06-29
(54)【発明の名称】ノイズリダクション方法
(51)【国際特許分類】
H04N 5/21 20060101AFI20230622BHJP
G06T 5/00 20060101ALI20230622BHJP
【FI】
H04N5/21
G06T5/00 705
(21)【出願番号】P 2019145854
(22)【出願日】2019-08-08
【審査請求日】2022-04-07
(73)【特許権者】
【識別番号】000101330
【氏名又は名称】アストロデザイン株式会社
(74)【代理人】
【識別番号】100101269
【氏名又は名称】飯塚 道夫
(72)【発明者】
【氏名】塚本 拓
(72)【発明者】
【氏名】尾崎 隆一
【審査官】松永 隆志
(56)【参考文献】
【文献】特開平06-113175(JP,A)
【文献】特開2014-002635(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
H04N 5/21
G06T 5/00
(57)【特許請求の範囲】
【請求項1】
当初の映像信号から、水平方向における
近傍画素間で相関の無い広帯域雑音を予め低減したものから、
近傍画素間で相関の強い時間軸雑音のみを除去し、当初の映像信号からこの
時間軸雑音を差し引くノイズリダクション方法であって、
空間フィルタにより広帯域雑音を低減することで、
時間軸雑音をそのまま保存しつつ映像信号の水平方向の帯域を制限した信号を出力し、
空間フィルタから出力された信号をサブサンプリング回路にてサブサンプリングを行い、
サブサンプリング回路から出力された
時間軸雑音を含む映像信号がフレーム巡回時間軸フィルタに入力されて
時間軸雑音を除去
する際に、サブサンプリング回路から入力された映像信号の内の輝度信号と先のフレームの輝度信号との差に基づき荷重係数kを決定し、
先のフレームの輝度信号に係数(1-k)が乗算されると共に、サブサンプリング回路から入力された輝度信号に荷重係数kが乗算され、これらを演算した結果を出力することで、時間軸雑音を除去し、
この後、
時間軸雑音が除去された映像信号を
アップサンプリングすると共に、空間フィルタからの
出力信号とこのアップサンプリングされた信号との間で
第1加算器により演算して
時間軸雑音のみとし、
さらに、
第2加算器により当初の映像信号からこの
時間軸雑音を差し引き、広帯域雑音を含む映像信号を得る、ノイズリダクション方法。
【請求項2】
フレーム巡回時間軸フィルタで
時間軸雑音を除去された映像信号を
アップサンプリングし、
サブサンプリングされた映像信号を元の水平画素数に補間し、
空間フィルタからの
時間軸雑音を含む出力信号と
アップサンプリングされた信号との間で第
1加算器により演算することで、
時間軸雑音を含む映像信号から
時間軸雑音を含まない映像信号を減算し、
時間軸雑音のみを得て、
当初の映像信号からこの
時間軸雑音を差し引くことで、最終的に
時間軸雑音のみを除去して、広帯域雑音を含む映像信号とする請求項1に記載のノイズリダクション方法。
【請求項3】
空間フィルタからの出力信号
とアップサンプリングされた信号の演算結果がクリップ回路に入力され、
時間軸雑音の算出に誤りがあった場合にクリップ回路が元の映像信号を乱さないようにする請求項1または請求項2に記載のノイズリダクション方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、フレームメモリの容量を大きく削減しつつ、画像劣化が大きく知覚される横引きノイズである低周波雑音のみを除去することで、画質改善効果と回路規模とのバランスを図ったノイズリダクション方法に関し、可搬型機器の高画質テレビジョンシステムに好適なものである。
【背景技術】
【0002】
従来のテレビジョンシステムにおいては、例えばビデオカメラで撮影された画像を含むビデオ信号が種々の回路を経由して視聴者が有しているテレビジョンに送られるようになっている。これに伴い、画質向上等を目的とし、ビデオ信号に含まれる雑音をビデオ信号の統計的性質を利用して軽減する手法が検討されてきた。その中でも、時空間相関を利用したフレーム巡回時空間フィルタは、画像部分と雑音部分の分離が容易であって解像感を低下させることが少ないため、広く用いられている。
【0003】
この一方、いつどこでもビデオ撮影やビデオ編集等を可能とするために、可搬性を有したビデオ関係機材である可搬型機器に対する要望も近年高まっているが、このような可搬型機器に関しても、ビデオ信号に含まれる雑音をビデオ信号の統計的性質を利用して軽減する手法を用いることが考えられる。
【0004】
ここで、画像品質向上の為の雑音低減手法に関する従来技術の例を以下に説明する。
テレビジョン信号の雑音低減装置とされる下記特許文献1では、低周波雑音と共に広帯域雑音まで除去されてしまう結果として、映像自体が平坦なものとなる欠点を有していた。また、映像信号の輝度変化が大きい箇所は、ノイズ低減効果が薄れるのでイメージセンサの撮像状態によってノイズ低減効果のバラツキが生じる。
【0005】
横引きノイズである低周波雑音の補正方法とされる下記特許文献2、3では、入力された映像データの1ラインの所定の期間の信号レベルの画素毎の平均値データを算出し、この平均値データから前記横引ノイズ成分を除去したデータを減算し、算出された減算データを前記入力された映像データの1ライン分について平均値データを画素毎に減算することによって、横引きノイズ成分を除去していた。より好ましくは所定の期間を、1ラインの特定の水平ライン期間がHブランキング期間の少なくとも無信号期間またはオプティカルブラック期間のいずれかとしていた。
【0006】
他方、人間の目は筋等の直線上のノイズの検出能力が高く、画素毎に独立して存在するノイズの1/10でも筋等は目視でき有害であることから、ノイズ削減フィルタによりできる限り小さくしていた。しかし、従来用いられていたノイズ削減フィルタでは筋等を十分に削減することができなかった。
【先行技術文献】
【特許文献】
【0007】
【文献】特開昭59-210774号公報
【文献】特開2010-220024号公報
【文献】特開2010-200236号公報
【発明の概要】
【発明が解決しようとする課題】
【0008】
しかし、特許文献1に開示の技術では、映像信号の輝度変化が大きい箇所においてノイズ低減効果が薄れるので、前述ようにイメージセンサの撮像状態によってノイズ低減効果のバラツキが生じる他、フルフレームのフレームメモリを必要とするので、回路規模やプログラムの実行時間が膨大となる欠点を有していた。
【0009】
特許文献2、3に開示の技術では、低周波ノイズが1ライン期間内で同じ映像レベルでないと除去できないことから、補正ゲイン調整回路の働きにより映像信号レベルが小さい場合にしかノイズ補正が効かない。
また、フレーム間で輝度変化が生じるとフレーム巡回時空間フィルタが出力する映像レベルが現映像レベルと大きく異なってしまうと、逆に大きなクランプエラーを生じさせてしまうものの、クランプエラーを防ぐ仕組みが無かった。そして、特許文献2、3においても、フルフレームのフレームメモリを必要とするので、回路規模やプログラムの実行時間が膨大となる欠点を有していた。
【0010】
以上より、これら特許文献1~3に開示の技術は、筋等の横引きノイズのノイズ削減効果が不十分とされるだけでなく、ノイズ削減のために大きなフレームメモリを必要とする。したがって、可搬型機器などの回路規模に制約のある装置において、採用が難しいという問題を有していた。
【0011】
本発明は上記背景に鑑みてなされたもので、フレームメモリの容量を大きく削減しつつ、画像劣化が大きく知覚される横引きノイズである低周波雑音のみを除去することで、画質改善効果と回路規模とのバランスを図ったノイズリダクション方法を提供することを目的とする。
【課題を解決するための手段】
【0012】
請求項1に係るノイズリダクション方法の作用を以下に説明する。
本請求項のノイズリダクション方法は、当初の映像信号から広帯域雑音を予め低減してから低周波雑音のみを除去することで、当初の映像信号からこの低周波雑音を差し引くノイズリダクション方法とされる。
【0013】
まず、空間フィルタにより、映像信号の水平方向における画素間で相関の無い広帯域雑音を低減することで、帯域制限した信号を出力し、空間フィルタから出力された信号に対してサブサンプリングを行う。
次に、サブサンプリングを行った低周波雑音を含む映像信号がフレーム巡回時間軸フィルタに入力されて低周波雑音を除去する。この後、低周波雑音が除去された映像信号に関しアップサンプリングを行うと共に、空間フィルタから出力された信号とこの補間された信号との間で演算して低周波雑音のみとし、さらに当初の映像信号からこの低周波雑音を差し引き、広帯域雑音を含む映像信号とする。
【0014】
従って、本実施形態では、映像信号の水平方向の帯域を空間フィルタによって予め帯域幅を制限し、広帯域雑音の電圧を予め一旦軽減する。さらに、サブサンプリングを行うことで、フレーム巡回時間軸フィルタ内のフレームメモリの容量を削減し、フレーム巡回時間軸フィルタによる処理を容易にしている。
【0015】
以上より、本実施形態に係るノイズリダクション方法によれば、フレームメモリの容量を帯域制限の比率に応じて削減できるので、ハードウエア資源やプログラムの実行時間の削減が可能となる。さらに、画像劣化が視覚的に大きく知覚される横引きノイズである低周波雑音のみを軽減し、必ずしも有害とは限らない広帯域雑音を最終的に残す事で、元の映像信号を不自然に変化させる事無くプロ用映像機器として好ましい映像品質の確保が可能となる。つまり、本実施形態によれば、画質改善効果と回路規模とのバランスが図られることになる。
【0016】
請求項2のように、フレーム巡回時間軸フィルタで低周波雑音を除去された映像信号に対してアップサンプリングを行い、帯域制限された映像信号を元の水平画素数に補間し、
空間フィルタからの低周波雑音を含む出力信号とアップサンプリングを行った低周波雑音を含まない信号との間で減算することで、低周波雑音のみを得て、
当初の映像信号からこの低周波雑音を差し引くことで、最終的に低周波雑音のみを除去して、広帯域雑音を含む映像信号とする。
【0017】
請求項3のように、空間フィルタからの出力信号及び補間フィルタからの出力信号の演算結果がクリップ回路に入力され、低周波雑音の算出に誤りがあった場合にクリップ回路が元の映像信号を乱さないようにする。
つまり、クリップ回路を介在させたことで、ノイズリダクション処理の安定性がました。
【発明の効果】
【0018】
上記に示したように、本発明のノイズリダクション方法は、フレームメモリの容量を大きく削減しつつ、画像劣化が大きく知覚される横引きノイズである低周波雑音のみを除去することで、画質改善効果と回路規模とのバランスが図られるという優れた効果を奏する。
【図面の簡単な説明】
【0019】
【
図1】本発明の一実施形態に係るノイズリダクション方法が適用されるブロック図である。
【
図2】
図1のブロック図におけるフレーム巡回時間軸フィルタ内の構造を表すブロック図である。
【
図3】本発明の一実施形態に係るノイズリダクション方法による各箇所における画像イメージを表す図である。
【発明を実施するための形態】
【0020】
以下に、本発明に係るノイズリダクション方法の一実施形態を各図面に基づき、詳細に説明する。
ここで、
図1は、本実施形態に係る装置の構成を示すブロック図であり、
図3(A)~(G)は、映像信号波形を表す図である。なお、
図3(A)~(G)において、横軸は映像の水平1ライン分を表し、縦軸は映像の明るさを表す。各図において横軸方向中程が明るくなっている映像とされ、映像の内のノイズを含まない映像信号をPとして具体的に表している。また、各図において広帯域雑音をWで表し、低周波雑音をLで表し、低周波雑音が除去された状態をNで表す。
【0021】
図3(A)に示す波形を有した映像信号Pが、
図1に示すような回路内に入力されるのに伴い、分配器12にて分岐され、一方の映像信号Pが、映像信号Pの水平方向の帯域を制限するローパスフィルタとされる空間フィルタ14に入力される。この水平方向に作用させる空間フィルタ14では、近傍画素間で相関の強い
時間軸雑音である低周波雑音Lはそのまま保存されるものの、近傍画素間で相関の無い広帯域雑音Wが帯域幅を制限して軽減する。例えば帯域幅を1/64に設定した場合、雑音電圧は1/8となるが、この場合、画像自体は全体にぼけたものとなる。
【0022】
この空間フィルタ14から出力された映像信号Pは
図3(B)に示す広帯域雑音Wが軽減されたものとなり、この映像信号Pが分配器18において二つに分岐され、第1加算器26及びサブサンプリング回路であるサブサンプリング16にそれぞれ入力される。この際、前段の空間フィルタ14において帯域幅を制限したので、間引き処理であるサブサンプリングをこのサブサンプリング16において行っても情報の欠落は生じない。
【0023】
他方、サブサンプリング16から出力された
図3(C)に示す映像信号Pは、フレーム巡回時間軸フィルタ20に入力されるが、映像信号の内でも動画信号は、フレーム間において強い相関性を持つ一方、その中に混入する時間軸方向にランダムである低周波雑音成分は、一般的にフレーム間の相関を持たないという性質があり、この性質をフレーム巡回時間軸フィルタ20は利用している。
【0024】
具体的には、
図2に示すフレーム巡回時間軸フィルタ20内にサブサンプリング16から入力された映像信号Pの内の輝度信号Yは分岐して、一方が減算器42を経由して演算ブロック44に入力される。これと共に先のフレームの輝度信号Y’が予め保存されているフレームメモリ46からこの輝度信号Y’が出力され、輝度信号Y’と輝度信号Yとの差を取り、その大きさに応じてこれらフレーム間における荷重係数k (0≦k≦1)を演算ブロック44において決定する。
【0025】
この際、荷重係数kの値を小さく設定するとノイズリダクション効果は大きくなるものの、小さくすることにより強く残像が発生する。したがって、S/Nの改善度を高くしようとすると、強く残像が発生してしまうことから、動きの激しい部分ほど荷重係数kの値を大きく設定せざるを得なくなる。そして、乗算器48にて前フレームの輝度信号Y’に係数(1-k)が乗算され、新たに入力された輝度信号Yには乗算器50にて荷重係数kが乗算され、それら新旧二つのフレームに基づく値を加算器52にて演算した結果として、輝度信号Yoをフレーム巡回時間軸フィルタ20外に出力すると共に、新たな輝度信号としてフレームメモリ46に保存する。
【0026】
この処理を繰り返して介することにより、映像信号Pをほぼ残しながら時間軸方向にランダムである低周波雑音成分を減衰させて除去することができる。このとき、前述のようにサブサンプリング16にて予めサブサンプリングを行っているので、フレーム巡回時間軸フィルタ20内のフレームメモリ46の容量を削減できる。例えば帯域幅を1/64に設定した場合、64:1の比率のサブサンプリングを行うことができ、フレームメモリ46の容量を1/64に削減できる。
【0027】
このようにしてフレーム巡回時間軸フィルタ20で、画像フレーム間で相関性の無い低周波雑音Lを除去してから、
図3(D)に示す映像信号Pを補間フィルタであるアップサンプリング24に出力する。このアップサンプリング24では、サブサンプリングされて帯域制限された映像信号Pに更にフレーム巡回時間軸フィルタ20で処理された信号が、元の水平画素数に補間され、
図3(E)に示す広帯域雑音W及び低周波雑音Lの無い映像信号Pを出力する。
【0028】
この後、空間フィルタ14からの出力信号及びアップサンプリング24からの出力信号は共に第1加算器26に入力され、この第1加算器26内でこれらの信号が演算され、
図3(F)に示すような低周波雑音Lのみの波形になる。つまり、低周波雑音Lを含む帯域制限された
図3(B)の映像信号Pから、低周波雑音Lを含まない帯域制限された
図3(E)の映像信号Pを減算することで、イメージセンサの撮像状態によらない低周波雑音Lのみを算出することができる。
【0029】
第1加算器26から出力された
図3(F)に示す低周波雑音Lのみの波形は、クリップ回路であるクリップ28に入力される。このクリップ28では、各種の要因により低周波雑音Lの算出に誤りがあった場合にも、元の映像信号を大きく乱さないようにするためのものであり、クリップ28のクリップレベルを低周波雑音Lと同等のレベルに設定する。
【0030】
クリップ28から出力された信号および、分配器12にて分岐した当初の映像信号Pは、第2加算器30に入力される。この第2加算器30では、分配器12からの元の映像信号Pからクリップ28で出力された低周波雑音Lを減算する。このことで
図3(G)に示す広帯域雑音Wのみを含んだ映像信号Pを算出できる。
【0031】
次に、本実施形態に係るノイズリダクション方法の作用を説明する。
低周波雑音Lを除去するのに画素毎のフレーム巡回時間軸フィルタ20による処理が有効であるが、この際、広帯域雑音Wの振幅が低周波雑音Lの振幅よりも大きいと広帯域雑音Wも影響を受けることが考えられるので、本実施形態では広帯域雑音Wに影響が生じない手法とした。
【0032】
つまり、本実施形態のノイズリダクション方法では、
図1に示す空間フィルタ14により、映像信号Pの水平方向における近傍画素間で相関の無い広帯域雑音Wを軽減することで、帯域制限した信号を出力する。そして、空間フィルタ14から出力された信号をサブサンプリング16にてサブサンプリングを行う。さらに、サブサンプリング16から出力された低周波雑音Lを含む映像信号Pがフレーム巡回時間軸フィルタ20に入力され、フレームメモリ46を用いて
図3(D)のように低周波雑音Lを除去する。
【0033】
このため、本実施形態では、映像信号Pの水平方向の帯域を空間フィルタ14によって予め帯域幅を制限し、広帯域雑音Wの振幅を予め一旦軽減するのに伴って、フレーム巡回時間軸フィルタ20内の荷重係数kを最適に決定することができる。さらに、帯域幅を制限することにより、フレーム巡回時間軸フィルタ20内のフレームメモリ46の容量を数十分の一程度に削減でき、フレーム巡回時間軸フィルタ20による処理を容易にしている。
【0034】
この後、低周波雑音Lが除去された映像信号Pをアップサンプリング24に出力し、アップサンプリング24において帯域制限された映像信号Pを元の水平画素数に補間する。そして、空間フィルタ14からの出力信号及びアップサンプリング24からの出力信号を第1加算器26にて演算するのに伴い、低周波雑音Lを含む映像信号Pから低周波雑音Lを含まない映像信号Pを減算し、
図3(F)に示す低周波雑音Lのみを得る。さらに、最終的にこの低周波雑音Lのみを第2加算器30にて除去して
図3(G)に示す広帯域雑音Wを含む映像信号Pとする。
【0035】
他方、空間フィルタ14からの出力信号及びアップサンプリング24からの出力信号の演算結果がクリップ28に入力され、低周波雑音Lの算出に誤りがあった場合にクリップ28が元の映像信号Pを乱さないようにしている。つまり、クリップ28を介在させたことで、本実施形態におけるノイズリダクション処理の安定性が増した。
【0036】
以上より、本実施形態に係るノイズリダクション方法によれば、フレームメモリ46の容量を帯域制限の比率に応じて削減できるので、ハードウエア資源やプログラムの実行時間の削減が可能となる。さらに、画像劣化が視覚的に大きく知覚される横引きノイズである低周波雑音Lのみを軽減し、必ずしも有害とは限らない広帯域雑音Wを最終的に残す事で、元の映像信号を不自然に変化させる事無くプロ用映像機器として好ましい映像品質の確保が可能となる。つまり、本実施形態によれば、画質改善効果と回路規模とのバランスが図られ、可搬型機器用として好適な技術となる。さらに、本実施形態によれば、時空間相関が小さい場合との画質の差が目立ちにくく、過剰な雑音低減によるポスト処理への影響を最小限にできる副次的効果も有している。
【0037】
なお、本実施形態においては、空間フィルタ14で帯域幅を1/64に設定したが他の1/32等の帯域幅に設定しても良く、この帯域幅はノイズ低減と画質との関係から適宜選択することができる。また、低周波雑音や広帯域雑音等の文言を用いているが、当然に映像や画像に関するノイズを意味している。さらに、本実施形態のフレーム巡回時間軸フィルタは
図2示す構成だけでなく、他の公に知られた構成のフィルタを用いても良い。
【0038】
以上、本発明に係る各実施例を説明したが、本発明は前述の各実施例に限定されるものではなく、本発明の趣旨を逸脱しない範囲で種々変形して実施することができる。
【産業上の利用可能性】
【0039】
本発明のノイズリダクション方法は、通常のテレビジョンシステムだけでなく、4K、8Kのテレビジョンシステム適用可能となる。また、本発明のノイズリダクション方法は可搬型機器だけでなく、一般的な機器やシステムにも適用可能なものである。
【符号の説明】
【0040】
14 空間フィルタ
16 サブサンプリング
20 フレーム巡回時間軸フィルタ
24 アップサンプリング
26 第1加算器
28 クリップ
30 第2加算器
46 フレームメモリ
P 映像信号
L 低周波雑音
W 広帯域雑音