7300164 ノイズリダクション方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-06-21

(45)【発行日】2023-06-29

(54)【発明の名称】ノイズリダクション方法

(51)【国際特許分類】

   H04N 5/21 20060101AFI20230622BHJP

   G06T 5/00 20060101ALI20230622BHJP

【ＦＩ】

H04N5/21

G06T5/00 705

【請求項の数】 3

(21)【出願番号】P 2019145854

(22)【出願日】2019-08-08

(65)【公開番号】P2021027531

(43)【公開日】2021-02-22

【審査請求日】2022-04-07

(73)【特許権者】

【識別番号】000101330

【氏名又は名称】アストロデザイン株式会社

(74)【代理人】

【識別番号】100101269

【弁理士】

【氏名又は名称】飯塚 道夫

(72)【発明者】

【氏名】塚本 拓

(72)【発明者】

【氏名】尾崎 隆一

【審査官】松永 隆志

(56)【参考文献】

【文献】特開平０６－１１３１７５（ＪＰ，Ａ）

【文献】特開２０１４－００２６３５（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ５／２１

Ｇ０６Ｔ ５／００

(57)【特許請求の範囲】

【請求項1】

当初の映像信号から、水平方向における近傍画素間で相関の無い広帯域雑音を予め低減したものから、近傍画素間で相関の強い時間軸雑音のみを除去し、当初の映像信号からこの時間軸雑音を差し引くノイズリダクション方法であって、
空間フィルタにより広帯域雑音を低減することで、時間軸雑音をそのまま保存しつつ映像信号の水平方向の帯域を制限した信号を出力し、
空間フィルタから出力された信号をサブサンプリング回路にてサブサンプリングを行い、
サブサンプリング回路から出力された時間軸雑音を含む映像信号がフレーム巡回時間軸フィルタに入力されて時間軸雑音を除去する際に、サブサンプリング回路から入力された映像信号の内の輝度信号と先のフレームの輝度信号との差に基づき荷重係数kを決定し、
先のフレームの輝度信号に係数（1－k)が乗算されると共に、サブサンプリング回路から入力された輝度信号に荷重係数kが乗算され、これらを演算した結果を出力することで、時間軸雑音を除去し、
この後、時間軸雑音が除去された映像信号をアップサンプリングすると共に、空間フィルタからの出力信号とこのアップサンプリングされた信号との間で第１加算器により演算して時間軸雑音のみとし、
さらに、第２加算器により当初の映像信号からこの時間軸雑音を差し引き、広帯域雑音を含む映像信号を得る、ノイズリダクション方法。

【請求項2】

フレーム巡回時間軸フィルタで時間軸雑音を除去された映像信号をアップサンプリングし、サブサンプリングされた映像信号を元の水平画素数に補間し、
空間フィルタからの時間軸雑音を含む出力信号とアップサンプリングされた信号との間で第１加算器により演算することで、時間軸雑音を含む映像信号から時間軸雑音を含まない映像信号を減算し、時間軸雑音のみを得て、
当初の映像信号からこの時間軸雑音を差し引くことで、最終的に時間軸雑音のみを除去して、広帯域雑音を含む映像信号とする請求項１に記載のノイズリダクション方法。

【請求項3】

空間フィルタからの出力信号とアップサンプリングされた信号の演算結果がクリップ回路に入力され、時間軸雑音の算出に誤りがあった場合にクリップ回路が元の映像信号を乱さないようにする請求項１または請求項２に記載のノイズリダクション方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、フレームメモリの容量を大きく削減しつつ、画像劣化が大きく知覚される横引きノイズである低周波雑音のみを除去することで、画質改善効果と回路規模とのバランスを図ったノイズリダクション方法に関し、可搬型機器の高画質テレビジョンシステムに好適なものである。

【背景技術】

【0002】

従来のテレビジョンシステムにおいては、例えばビデオカメラで撮影された画像を含むビデオ信号が種々の回路を経由して視聴者が有しているテレビジョンに送られるようになっている。これに伴い、画質向上等を目的とし、ビデオ信号に含まれる雑音をビデオ信号の統計的性質を利用して軽減する手法が検討されてきた。その中でも、時空間相関を利用したフレーム巡回時空間フィルタは、画像部分と雑音部分の分離が容易であって解像感を低下させることが少ないため、広く用いられている。

【0003】

この一方、いつどこでもビデオ撮影やビデオ編集等を可能とするために、可搬性を有したビデオ関係機材である可搬型機器に対する要望も近年高まっているが、このような可搬型機器に関しても、ビデオ信号に含まれる雑音をビデオ信号の統計的性質を利用して軽減する手法を用いることが考えられる。

【0004】

ここで、画像品質向上の為の雑音低減手法に関する従来技術の例を以下に説明する。
テレビジョン信号の雑音低減装置とされる下記特許文献１では、低周波雑音と共に広帯域雑音まで除去されてしまう結果として、映像自体が平坦なものとなる欠点を有していた。また、映像信号の輝度変化が大きい箇所は、ノイズ低減効果が薄れるのでイメージセンサの撮像状態によってノイズ低減効果のバラツキが生じる。

【0005】

横引きノイズである低周波雑音の補正方法とされる下記特許文献２、３では、入力された映像データの１ラインの所定の期間の信号レベルの画素毎の平均値データを算出し、この平均値データから前記横引ノイズ成分を除去したデータを減算し、算出された減算データを前記入力された映像データの１ライン分について平均値データを画素毎に減算することによって、横引きノイズ成分を除去していた。より好ましくは所定の期間を、１ラインの特定の水平ライン期間がＨブランキング期間の少なくとも無信号期間またはオプティカルブラック期間のいずれかとしていた。

【0006】

他方、人間の目は筋等の直線上のノイズの検出能力が高く、画素毎に独立して存在するノイズの１／１０でも筋等は目視でき有害であることから、ノイズ削減フィルタによりできる限り小さくしていた。しかし、従来用いられていたノイズ削減フィルタでは筋等を十分に削減することができなかった。

【先行技術文献】

【特許文献】

【0007】

【文献】特開昭59-210774号公報

【文献】特開2010-220024号公報

【文献】特開2010-200236号公報

【発明の概要】

【発明が解決しようとする課題】

【0008】

しかし、特許文献１に開示の技術では、映像信号の輝度変化が大きい箇所においてノイズ低減効果が薄れるので、前述ようにイメージセンサの撮像状態によってノイズ低減効果のバラツキが生じる他、フルフレームのフレームメモリを必要とするので、回路規模やプログラムの実行時間が膨大となる欠点を有していた。

【0009】

特許文献２、３に開示の技術では、低周波ノイズが１ライン期間内で同じ映像レベルでないと除去できないことから、補正ゲイン調整回路の働きにより映像信号レベルが小さい場合にしかノイズ補正が効かない。
また、フレーム間で輝度変化が生じるとフレーム巡回時空間フィルタが出力する映像レベルが現映像レベルと大きく異なってしまうと、逆に大きなクランプエラーを生じさせてしまうものの、クランプエラーを防ぐ仕組みが無かった。そして、特許文献２、３においても、フルフレームのフレームメモリを必要とするので、回路規模やプログラムの実行時間が膨大となる欠点を有していた。

【0010】

以上より、これら特許文献１～３に開示の技術は、筋等の横引きノイズのノイズ削減効果が不十分とされるだけでなく、ノイズ削減のために大きなフレームメモリを必要とする。したがって、可搬型機器などの回路規模に制約のある装置において、採用が難しいという問題を有していた。

【0011】

本発明は上記背景に鑑みてなされたもので、フレームメモリの容量を大きく削減しつつ、画像劣化が大きく知覚される横引きノイズである低周波雑音のみを除去することで、画質改善効果と回路規模とのバランスを図ったノイズリダクション方法を提供することを目的とする。

【課題を解決するための手段】

【0012】

請求項１に係るノイズリダクション方法の作用を以下に説明する。
本請求項のノイズリダクション方法は、当初の映像信号から広帯域雑音を予め低減してから低周波雑音のみを除去することで、当初の映像信号からこの低周波雑音を差し引くノイズリダクション方法とされる。

【0013】

まず、空間フィルタにより、映像信号の水平方向における画素間で相関の無い広帯域雑音を低減することで、帯域制限した信号を出力し、空間フィルタから出力された信号に対してサブサンプリングを行う。
次に、サブサンプリングを行った低周波雑音を含む映像信号がフレーム巡回時間軸フィルタに入力されて低周波雑音を除去する。この後、低周波雑音が除去された映像信号に関しアップサンプリングを行うと共に、空間フィルタから出力された信号とこの補間された信号との間で演算して低周波雑音のみとし、さらに当初の映像信号からこの低周波雑音を差し引き、広帯域雑音を含む映像信号とする。

【0014】

従って、本実施形態では、映像信号の水平方向の帯域を空間フィルタによって予め帯域幅を制限し、広帯域雑音の電圧を予め一旦軽減する。さらに、サブサンプリングを行うことで、フレーム巡回時間軸フィルタ内のフレームメモリの容量を削減し、フレーム巡回時間軸フィルタによる処理を容易にしている。

【0015】

以上より、本実施形態に係るノイズリダクション方法によれば、フレームメモリの容量を帯域制限の比率に応じて削減できるので、ハードウエア資源やプログラムの実行時間の削減が可能となる。さらに、画像劣化が視覚的に大きく知覚される横引きノイズである低周波雑音のみを軽減し、必ずしも有害とは限らない広帯域雑音を最終的に残す事で、元の映像信号を不自然に変化させる事無くプロ用映像機器として好ましい映像品質の確保が可能となる。つまり、本実施形態によれば、画質改善効果と回路規模とのバランスが図られることになる。

【0016】

請求項２のように、フレーム巡回時間軸フィルタで低周波雑音を除去された映像信号に対してアップサンプリングを行い、帯域制限された映像信号を元の水平画素数に補間し、
空間フィルタからの低周波雑音を含む出力信号とアップサンプリングを行った低周波雑音を含まない信号との間で減算することで、低周波雑音のみを得て、
当初の映像信号からこの低周波雑音を差し引くことで、最終的に低周波雑音のみを除去して、広帯域雑音を含む映像信号とする。

【0017】

請求項３のように、空間フィルタからの出力信号及び補間フィルタからの出力信号の演算結果がクリップ回路に入力され、低周波雑音の算出に誤りがあった場合にクリップ回路が元の映像信号を乱さないようにする。
つまり、クリップ回路を介在させたことで、ノイズリダクション処理の安定性がました。

【発明の効果】

【0018】

上記に示したように、本発明のノイズリダクション方法は、フレームメモリの容量を大きく削減しつつ、画像劣化が大きく知覚される横引きノイズである低周波雑音のみを除去することで、画質改善効果と回路規模とのバランスが図られるという優れた効果を奏する。

【図面の簡単な説明】

【0019】

【図1】本発明の一実施形態に係るノイズリダクション方法が適用されるブロック図である。

【図2】図１のブロック図におけるフレーム巡回時間軸フィルタ内の構造を表すブロック図である。

【図3】本発明の一実施形態に係るノイズリダクション方法による各箇所における画像イメージを表す図である。

【発明を実施するための形態】

【0020】

以下に、本発明に係るノイズリダクション方法の一実施形態を各図面に基づき、詳細に説明する。
ここで、図１は、本実施形態に係る装置の構成を示すブロック図であり、図３（Ａ）～（Ｇ）は、映像信号波形を表す図である。なお、図３（Ａ）～（Ｇ）において、横軸は映像の水平１ライン分を表し、縦軸は映像の明るさを表す。各図において横軸方向中程が明るくなっている映像とされ、映像の内のノイズを含まない映像信号をＰとして具体的に表している。また、各図において広帯域雑音をＷで表し、低周波雑音をＬで表し、低周波雑音が除去された状態をＮで表す。

【0021】

図３（Ａ）に示す波形を有した映像信号Ｐが、図１に示すような回路内に入力されるのに伴い、分配器１２にて分岐され、一方の映像信号Ｐが、映像信号Ｐの水平方向の帯域を制限するローパスフィルタとされる空間フィルタ１４に入力される。この水平方向に作用させる空間フィルタ１４では、近傍画素間で相関の強い時間軸雑音である低周波雑音Ｌはそのまま保存されるものの、近傍画素間で相関の無い広帯域雑音Ｗが帯域幅を制限して軽減する。例えば帯域幅を１／６４に設定した場合、雑音電圧は１／８となるが、この場合、画像自体は全体にぼけたものとなる。

【0022】

この空間フィルタ１４から出力された映像信号Ｐは図３（Ｂ）に示す広帯域雑音Ｗが軽減されたものとなり、この映像信号Ｐが分配器１８において二つに分岐され、第１加算器２６及びサブサンプリング回路であるサブサンプリング１６にそれぞれ入力される。この際、前段の空間フィルタ１４において帯域幅を制限したので、間引き処理であるサブサンプリングをこのサブサンプリング１６において行っても情報の欠落は生じない。

【0023】

他方、サブサンプリング１６から出力された図３（Ｃ）に示す映像信号Ｐは、フレーム巡回時間軸フィルタ２０に入力されるが、映像信号の内でも動画信号は、フレーム間において強い相関性を持つ一方、その中に混入する時間軸方向にランダムである低周波雑音成分は、一般的にフレーム間の相関を持たないという性質があり、この性質をフレーム巡回時間軸フィルタ２０は利用している。

【0024】

具体的には、図２に示すフレーム巡回時間軸フィルタ２０内にサブサンプリング１６から入力された映像信号Ｐの内の輝度信号Ｙは分岐して、一方が減算器４２を経由して演算ブロック４４に入力される。これと共に先のフレームの輝度信号Ｙ’が予め保存されているフレームメモリ４６からこの輝度信号Ｙ’が出力され、輝度信号Ｙ’と輝度信号Ｙとの差を取り、その大きさに応じてこれらフレーム間における荷重係数k (０≦k≦１）を演算ブロック４４において決定する。

【0025】

この際、荷重係数kの値を小さく設定するとノイズリダクション効果は大きくなるものの、小さくすることにより強く残像が発生する。したがって、Ｓ／Ｎの改善度を高くしようとすると、強く残像が発生してしまうことから、動きの激しい部分ほど荷重係数kの値を大きく設定せざるを得なくなる。そして、乗算器４８にて前フレームの輝度信号Ｙ’に係数（1－k)が乗算され、新たに入力された輝度信号Ｙには乗算器５０にて荷重係数kが乗算され、それら新旧二つのフレームに基づく値を加算器５２にて演算した結果として、輝度信号Ｙoをフレーム巡回時間軸フィルタ２０外に出力すると共に、新たな輝度信号としてフレームメモリ４６に保存する。

【0026】

この処理を繰り返して介することにより、映像信号Ｐをほぼ残しながら時間軸方向にランダムである低周波雑音成分を減衰させて除去することができる。このとき、前述のようにサブサンプリング１６にて予めサブサンプリングを行っているので、フレーム巡回時間軸フィルタ２０内のフレームメモリ４６の容量を削減できる。例えば帯域幅を１/６４に設定した場合、６４：１の比率のサブサンプリングを行うことができ、フレームメモリ４６の容量を１/６４に削減できる。

【0027】

このようにしてフレーム巡回時間軸フィルタ２０で、画像フレーム間で相関性の無い低周波雑音Ｌを除去してから、図３（Ｄ）に示す映像信号Ｐを補間フィルタであるアップサンプリング２４に出力する。このアップサンプリング２４では、サブサンプリングされて帯域制限された映像信号Ｐに更にフレーム巡回時間軸フィルタ２０で処理された信号が、元の水平画素数に補間され、図３（Ｅ）に示す広帯域雑音Ｗ及び低周波雑音Ｌの無い映像信号Ｐを出力する。

【0028】

この後、空間フィルタ１４からの出力信号及びアップサンプリング２４からの出力信号は共に第１加算器２６に入力され、この第１加算器２６内でこれらの信号が演算され、図３（Ｆ）に示すような低周波雑音Ｌのみの波形になる。つまり、低周波雑音Ｌを含む帯域制限された図３（Ｂ）の映像信号Ｐから、低周波雑音Ｌを含まない帯域制限された図３（Ｅ）の映像信号Ｐを減算することで、イメージセンサの撮像状態によらない低周波雑音Ｌのみを算出することができる。

【0029】

第１加算器２６から出力された図３（Ｆ）に示す低周波雑音Ｌのみの波形は、クリップ回路であるクリップ２８に入力される。このクリップ２８では、各種の要因により低周波雑音Ｌの算出に誤りがあった場合にも、元の映像信号を大きく乱さないようにするためのものであり、クリップ２８のクリップレベルを低周波雑音Ｌと同等のレベルに設定する。

【0030】

クリップ２８から出力された信号および、分配器１２にて分岐した当初の映像信号Ｐは、第２加算器３０に入力される。この第２加算器３０では、分配器１２からの元の映像信号Ｐからクリップ２８で出力された低周波雑音Ｌを減算する。このことで図３（Ｇ）に示す広帯域雑音Ｗのみを含んだ映像信号Ｐを算出できる。

【0031】

次に、本実施形態に係るノイズリダクション方法の作用を説明する。
低周波雑音Ｌを除去するのに画素毎のフレーム巡回時間軸フィルタ２０による処理が有効であるが、この際、広帯域雑音Ｗの振幅が低周波雑音Ｌの振幅よりも大きいと広帯域雑音Ｗも影響を受けることが考えられるので、本実施形態では広帯域雑音Ｗに影響が生じない手法とした。

【0032】

つまり、本実施形態のノイズリダクション方法では、図１に示す空間フィルタ１４により、映像信号Ｐの水平方向における近傍画素間で相関の無い広帯域雑音Ｗを軽減することで、帯域制限した信号を出力する。そして、空間フィルタ１４から出力された信号をサブサンプリング１６にてサブサンプリングを行う。さらに、サブサンプリング１６から出力された低周波雑音Ｌを含む映像信号Ｐがフレーム巡回時間軸フィルタ２０に入力され、フレームメモリ４６を用いて図３（Ｄ）のように低周波雑音Ｌを除去する。

【0033】

このため、本実施形態では、映像信号Ｐの水平方向の帯域を空間フィルタ１４によって予め帯域幅を制限し、広帯域雑音Ｗの振幅を予め一旦軽減するのに伴って、フレーム巡回時間軸フィルタ２０内の荷重係数kを最適に決定することができる。さらに、帯域幅を制限することにより、フレーム巡回時間軸フィルタ２０内のフレームメモリ４６の容量を数十分の一程度に削減でき、フレーム巡回時間軸フィルタ２０による処理を容易にしている。

【0034】

この後、低周波雑音Ｌが除去された映像信号Ｐをアップサンプリング２４に出力し、アップサンプリング２４において帯域制限された映像信号Ｐを元の水平画素数に補間する。そして、空間フィルタ１４からの出力信号及びアップサンプリング２４からの出力信号を第１加算器２６にて演算するのに伴い、低周波雑音Ｌを含む映像信号Ｐから低周波雑音Ｌを含まない映像信号Ｐを減算し、図３（Ｆ）に示す低周波雑音Ｌのみを得る。さらに、最終的にこの低周波雑音Ｌのみを第２加算器３０にて除去して図３（Ｇ）に示す広帯域雑音Ｗを含む映像信号Ｐとする。

【0035】

他方、空間フィルタ１４からの出力信号及びアップサンプリング２４からの出力信号の演算結果がクリップ２８に入力され、低周波雑音Ｌの算出に誤りがあった場合にクリップ２８が元の映像信号Ｐを乱さないようにしている。つまり、クリップ２８を介在させたことで、本実施形態におけるノイズリダクション処理の安定性が増した。

【0036】

以上より、本実施形態に係るノイズリダクション方法によれば、フレームメモリ４６の容量を帯域制限の比率に応じて削減できるので、ハードウエア資源やプログラムの実行時間の削減が可能となる。さらに、画像劣化が視覚的に大きく知覚される横引きノイズである低周波雑音Ｌのみを軽減し、必ずしも有害とは限らない広帯域雑音Ｗを最終的に残す事で、元の映像信号を不自然に変化させる事無くプロ用映像機器として好ましい映像品質の確保が可能となる。つまり、本実施形態によれば、画質改善効果と回路規模とのバランスが図られ、可搬型機器用として好適な技術となる。さらに、本実施形態によれば、時空間相関が小さい場合との画質の差が目立ちにくく、過剰な雑音低減によるポスト処理への影響を最小限にできる副次的効果も有している。

【0037】

なお、本実施形態においては、空間フィルタ１４で帯域幅を１／６４に設定したが他の１／３２等の帯域幅に設定しても良く、この帯域幅はノイズ低減と画質との関係から適宜選択することができる。また、低周波雑音や広帯域雑音等の文言を用いているが、当然に映像や画像に関するノイズを意味している。さらに、本実施形態のフレーム巡回時間軸フィルタは図２示す構成だけでなく、他の公に知られた構成のフィルタを用いても良い。

【0038】

以上、本発明に係る各実施例を説明したが、本発明は前述の各実施例に限定されるものではなく、本発明の趣旨を逸脱しない範囲で種々変形して実施することができる。

【産業上の利用可能性】

【0039】

本発明のノイズリダクション方法は、通常のテレビジョンシステムだけでなく、４Ｋ、８Ｋのテレビジョンシステム適用可能となる。また、本発明のノイズリダクション方法は可搬型機器だけでなく、一般的な機器やシステムにも適用可能なものである。

【符号の説明】

【0040】

１４ 空間フィルタ
１６ サブサンプリング
２０ フレーム巡回時間軸フィルタ
２４ アップサンプリング
２６ 第１加算器
２８ クリップ
３０ 第２加算器
４６ フレームメモリ
Ｐ 映像信号
Ｌ 低周波雑音
Ｗ 広帯域雑音

【図1】

【図2】

【図3】