IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 日本放送協会の特許一覧

<>
  • 特許-雑音除去装置及びそのプログラム 図1
  • 特許-雑音除去装置及びそのプログラム 図2
  • 特許-雑音除去装置及びそのプログラム 図3
  • 特許-雑音除去装置及びそのプログラム 図4
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-02-14
(45)【発行日】2024-02-22
(54)【発明の名称】雑音除去装置及びそのプログラム
(51)【国際特許分類】
   G06T 5/70 20240101AFI20240215BHJP
   H04N 5/21 20060101ALI20240215BHJP
【FI】
G06T5/70
H04N5/21
【請求項の数】 5
(21)【出願番号】P 2020110700
(22)【出願日】2020-06-26
(65)【公開番号】P2022007623
(43)【公開日】2022-01-13
【審査請求日】2023-05-25
(73)【特許権者】
【識別番号】000004352
【氏名又は名称】日本放送協会
(74)【代理人】
【識別番号】100143568
【弁理士】
【氏名又は名称】英 貢
(72)【発明者】
【氏名】松尾 康孝
【審査官】村松 貴士
(56)【参考文献】
【文献】特開2008-219654(JP,A)
【文献】特開2013-201724(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
G06T 5/70
H04N 1/58
H04N 5/21
H04N 13/144
H04N 23/81
(57)【特許請求の範囲】
【請求項1】
動画像の雑音を除去する雑音除去装置であって、
動画像におけるフレーム画像の所定分解階数の空間周波数帯域分解し、帯域分解要素からなる各帯域の分解要素画像を生成する空間周波数帯域分解部と、
動画像の雑音除去対象のフレーム画像を対象フレーム、類似要素の探索のために参照するフレーム画像を参照フレームとして、前記対象フレームの各分解要素画像の分解要素画像をブロック分割し、前記対象フレームの帯域分解要素の各ブロック領域について、予め定められた雑音除去モードにより指定され類似度制御量で制御される類似度を基に、同一帯域における当該参照フレームの帯域分解要素内から類似する画素値を有するブロック領域を探索する類似要素探索部と、
前記対象フレーム内の各帯域の全てのブロック領域についての類似ブロック領域の探索結果を基に、前記類似度が所定の閾値を超える前記参照フレームの帯域分解要素内のブロック領域を、前記対象フレームの帯域分解要素のブロック領域に足し合わせるように処理する足し合わせ処理部と、
前記対象フレーム内の各帯域の全てのブロック領域に対する類似ブロック領域に関する足し合わせ処理後の対象フレームについて前記所定分解階数の離散ウェーブレット再構成を施すことにより、雑音除去したフレーム画像を生成し、雑音除去後の動画像を外部出力する再構成部と、
を備えることを特徴とする雑音除去装置。
【請求項2】
前記類似要素探索部は、前記雑音除去モードとして、信号対雑音比が異なる帯域毎に、異なる類似度制御量を設定することを特徴とする、請求項1に記載の雑音除去装置。
【請求項3】
前記類似要素探索部は、前記雑音除去モードとして、前記所定分解階数の空間周波数帯域毎に、異なる類似度制御量を設定することを特徴とする、請求項1又は2に記載の雑音除去装置。
【請求項4】
前記雑音除去モードは、
空間周波数が高いほど前記所定の閾値に対する類似度を相対的に高くし、且つ空間周波数が高いか否かに関わらずブロック領域のサイズを一定とする第1のモードと、
空間周波数が高いほど前記所定の閾値に対する類似度を相対的に高くし、且つ空間周波数が高いほどブロック領域のサイズを大きくする第2のモードと、
を含むことを特徴とする、請求項1から3のいずれか一項に記載の雑音除去装置。
【請求項5】
コンピューターを、請求項1から4のいずれか一項に記載の雑音除去装置として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、動画像の雑音を除去する雑音除去装置及びそのプログラムに関する。
【背景技術】
【0002】
従来、動画像の雑音を除去する雑音除去方法として、動画像の連続したフレーム画像間における類似画像信号を3次元(3D)形状のブロックマッチングで足し合わせることで雑音除去を行うBM3D(Block Matching and 3D Collaborative Filtering)と称される方法が知られている(例えば、非特許文献1参照)。
【0003】
BM3Dでは、ノイズ除去空間として、ブロックを重ねた3次元配列に対する離散コサイン変換基底や離散ウェーブレッド変換基底により張られる空間を用い、固定の閾値により雑音の縮退処理を行う。
【先行技術文献】
【非特許文献】
【0004】
【文献】K. Dabov, A, Foi, and V. Katkovnik,“Image denoising by sparse 3-D transform-domain collaborative filtering,” IEEE Transactions on Image processing, vol.16, no.8, pp.2080-2095, 2007
【発明の概要】
【発明が解決しようとする課題】
【0005】
一般に、動画像(特に、自然画像)の信号成分が持つパワーは、空間低周波数帯域側に偏っている。一方で、熱雑音や十分に画素数が多い画像におけるショット雑音は白色性を持つため、雑音成分が持つパワーは全ての空間周波数帯域でほぼ一定である。
【0006】
このため、動画像の空間低周波数帯域では信号対雑音比が高く、空間高周波数帯域では信号対雑音比が低い。空間周波数帯域毎の信号対雑音比を考慮しないBM3Dなどの従来法では、信号対雑音比が低い空間高周波数帯域内の要素において、十分な雑音除去性能が得られないことがある。
【0007】
このため、動画像における空間周波数帯域毎の信号対雑音比の違いを考慮した雑音除去処理の実現が望まれる。
【0008】
そこで、本発明の目的は、動画像における空間周波数帯域毎の信号対雑音比の違いを考慮して、動画像の雑音を除去する雑音除去装置及びそのプログラムを提供することにある。
【課題を解決するための手段】
【0009】
本発明の雑音除去装置は、動画像の雑音を除去する雑音除去装置であって、動画像におけるフレーム画像の所定分解階数の空間周波数帯域分解し、帯域分解要素からなる各帯域の分解要素画像を生成する空間周波数帯域分解部と、動画像の雑音除去対象のフレーム画像を対象フレーム、類似要素の探索のために参照するフレーム画像を参照フレームとして、前記対象フレームの各分解要素画像の分解要素画像をブロック分割し、前記対象フレームの帯域分解要素の各ブロック領域について、予め定められた雑音除去モードにより指定され類似度制御量で制御される類似度を基に、同一帯域における当該参照フレームの帯域分解要素内から類似する画素値を有するブロック領域を探索する類似要素探索部と、前記対象フレーム内の各帯域の全てのブロック領域についての類似ブロック領域の探索結果を基に、前記類似度が所定の閾値を超える前記参照フレームの帯域分解要素内のブロック領域を、前記対象フレームの帯域分解要素のブロック領域に足し合わせるように処理する足し合わせ処理部と、前記対象フレーム内の各帯域の全てのブロック領域に対する類似ブロック領域に関する足し合わせ処理後の対象フレームについて前記所定分解階数の離散ウェーブレット再構成を施すことにより、雑音除去したフレーム画像を生成し、雑音除去後の動画像を外部出力する再構成部と、を備えることを特徴とする。
【0010】
また、本発明の雑音除去装置において、前記類似要素探索部は、前記雑音除去モードとして、信号対雑音比が異なる帯域毎に、異なる類似度制御量を設定することを特徴とする。
【0011】
また、本発明の雑音除去装置において、前記類似要素探索部は、前記雑音除去モードとして、前記所定分解階数の空間周波数帯域毎に、異なる類似度制御量を設定することを特徴とする。
【0012】
また、本発明の雑音除去装置において、前記雑音除去モードは、空間周波数が高いほど前記所定の閾値に対する類似度を相対的に高くし、且つ空間周波数が高いか否かに関わらずブロック領域のサイズを一定とする第1のモードと、空間周波数が高いほど前記所定の閾値に対する類似度を相対的に高くし、且つ空間周波数が高いほどブロック領域のサイズを大きくする第2のモードと、を含むことを特徴とする。
【0013】
更に、本発明によるプログラムは、コンピューターを、本発明の雑音除去装置として機能させるためのプログラムとして構成される。
【発明の効果】
【0014】
本発明によれば、動画像における空間周波数帯域毎の信号対雑音比の違いを考慮してn階空間周波数帯域分解要素における類似要素を同一帯域内で探索し、その探索した要素を足し合わせてn階離散ウェーブレット再構成を行うので、従来のBM3Dよりも動画像の雑音除去性能を高めることができる。
【図面の簡単な説明】
【0015】
図1】本発明による一実施形態の雑音除去装置の概略構成を示すブロック図である。
図2】本発明による一実施形態の雑音除去装置における雑音除去処理を示すフローチャートである。
図3】本発明による一実施形態の雑音除去装置における空間周波数帯域分解処理の説明図である。
図4】本発明による一実施形態の雑音除去装置における類似要素の探索例を示す図である。
【発明を実施するための形態】
【0016】
以下、本発明による一実施形態の雑音除去装置1について詳細に説明する。
【0017】
(装置構成)
図1は本発明による一実施形態の雑音除去装置1の概略構成を示すブロック図である。本実施形態の雑音除去装置1は、動画像における空間周波数帯域毎の信号対雑音比の違いを考慮して雑音除去を行う装置であり、空間周波数帯域分解部11、類似要素探索部12、足し合わせ処理部13、及び再構成部14を備える。
【0018】
空間周波数帯域分解部11は、時間位置tの動画像のフレーム画像I(t)と空間周波数帯域分解階数nを入力し、入力したフレーム画像I(t)のn階空間周波数帯域分解し、空間低周波帯域L、水平高周波領域H、垂直高周波領域V、及び対角高周波領域Dの各帯域に分解し、それぞれ空間低周波I (t),水平高周波I (t),垂直高周波I (t),対角高周波I (t)の帯域分解要素からなる各帯域の分解要素画像を生成し、類似要素探索部12に出力する。尚、空間周波数帯域分解階数nは、外部から随意指定できる。
【0019】
まず、類似要素探索部12は、雑音除去対象のフレーム画像を対象フレームとして、対象フレームと同一又は予め定めた異なるフレーム画像(好適には隣接フレーム画像)であって類似要素の探索のために参照するフレーム画像を参照フレームとして予め定める。そして、類似要素探索部12は、空間低周波I (t),水平高周波I (t),垂直高周波I (t),対角高周波I (t)の帯域分解要素からなる各帯域の分解要素画像を入力し、類似要素の探索(より正確には、類似ブロック領域の探索)を行う。
【0020】
より具体的には、類似要素探索部12は、帯域分解されたいずれかの帯域分解要素からなる当該対象フレームの各分解要素画像の帯域分解要素C をブロック分割する。そして、類似要素探索部12は、当該対象フレームの帯域分解要素C の各ブロック領域について、予め定められた雑音除去モードdにより指定され類似度制御量で制御される類似度s(i,j,t)を基に、同一帯域における当該参照フレームの帯域分解要素R 内から類似する画素値を有するブロック領域を探索する。
【0021】
そして、類似要素探索部12は、各帯域の全てのブロック領域について類似ブロック領域の探索し、その探索結果を足し合わせ処理部13に出力する。ここで、詳細は後述するが、類似要素探索部12には、雑音除去モードdによって空間周波数帯域分解階数nの空間周波数帯域毎に、異なる類似度制御量α,b,bが設定され、更に、少なくとも2種類の雑音除去モードd=1,2を選択可能とするのが好適である。
【0022】
足し合わせ処理部13は、対象フレーム内の各帯域の全てのブロック領域についての類似ブロック領域の探索結果を基に、類似度s(i,j,t)が所定の閾値tを超える当該参照フレームの帯域分解要素R 内のブロック領域を、当該対象フレームの帯域分解要素C のブロック領域に足し合わせる処理(足し合わせ処理)を行い、再構成部14に出力する。
【0023】
再構成部14は、対象フレーム内の各帯域の全てのブロック領域に対する類似ブロック領域に関する足し合わせ処理後の対象フレームについてn階離散ウェーブレット再構成を施すことにより、雑音除去したフレーム画像RI(t)を生成し、雑音除去後の動画像を外部出力する。尚、再構成部14に対して外部指定する空間周波数帯域分解階数nは、空間周波数帯域分解部11に対するものと同じ値とする。
【0024】
(雑音除去処理)
図2を参照して、より具体的に、本発明による一実施形態の雑音除去装置1における雑音除去処理を説明する。図2は、本実施形態の雑音除去装置1における雑音除去処理を示すフローチャートである。
【0025】
まず、雑音除去装置1は、空間周波数帯域分解部11により、時間位置tの動画像のフレーム画像I(t)と空間周波数帯域分解階数nを入力し、入力したフレーム画像I(t)のn階空間周波数帯域分解し、空間低周波帯域L、水平高周波領域H、垂直高周波領域V、及び対角高周波領域Dの各帯域に分解し、それぞれ空間低周波I (t),水平高周波I (t),垂直高周波I (t),対角高周波I (t)の帯域分解要素からなる各帯域の分解要素画像を生成する(ステップS1)。
【0026】
図3は、本実施形態の雑音除去装置1における空間周波数帯域分解処理の説明図である。フレーム画像I(t)のn階空間周波数帯域分解を行うことで、空間低周波帯域L、水平高周波領域H、垂直高周波領域V、及び対角高周波領域Dの各帯域の分解要素画像が得られ、それぞれ空間低周波I (t),水平高周波I (t),垂直高周波I (t),対角高周波I (t)の帯域分解要素が各帯域の画素値として表される。
【0027】
続いて、雑音除去装置1は、雑音除去対象のフレーム画像を対象フレームとし、類似要素探索部12により対象フレームと同一又は予め定めた異なるフレーム画像(好適には隣接フレーム画像)であって類似要素の探索のために参照するフレーム画像を参照フレームとして予め定める。そして、空間低周波I (t),水平高周波I (t),垂直高周波I (t),対角高周波I (t)の帯域分解要素からなる各帯域の分解要素画像を入力し、類似ブロック領域の探索を行う。
【0028】
より具体的には、類似要素探索部12は、帯域分解されたいずれかの帯域分解要素からなる当該対象フレームの帯域分解要素C の分解要素画像をブロック分割し、当該対象フレームの帯域分解要素C の各ブロック領域について、予め定められた雑音除去モードdにより指定され類似度制御量で制御される類似度s(i,j,t)を基に、同一帯域における当該参照フレームの帯域分解要素R 内から類似する画素値を有するブロック領域を探索する。そして、類似要素探索部12は、各帯域の全てのブロック領域について類似ブロック領域の探索し、その探索結果を足し合わせ処理部13に出力する(ステップS2)。
【0029】
類似要素探索部12における類似ブロック領域の探索で用いる類似度s(i,j,t)は、式(1)のように定義される。
【0030】
【数1】
【0031】
式(1)において、対象フレーム内の帯域分解要素C と参照フレーム内の帯域分解要素R は、それぞれ対象フレーム内及び参照フレーム内の空間低周波I (t),水平高周波I (t),垂直高周波I (t),対角高周波I (t)の帯域分解要素のいずれかであり、tは同一フレーム画像の時間位置でもよいし、予め定めた異なるフレーム画像(好適には隣接フレーム画像)の時間位置でもよい。mは、空間低周波帯域L、水平高周波領域H、垂直高周波領域V、及び対角高周波領域Dのいずれかの帯域を表すものであり、C が示すm及びnと、R が示すm及びnとは、同じ値である。即ち、類似ブロック領域の探索は同一フレーム画像内でも異なるフレーム画像間でもよいが、同一の空間周波数帯域分解階数、且つ同一の空間周波数帯域方向で行う。
【0032】
iはC 内の画素位置、jはR 内の画素位置であり、設定する類似度制御量は、式(1)における類似度の重みを制御する正の係数αと、「iとjの画素位置から水平±b、垂直±b画素のブロック領域内の全画素値の二乗誤差和の算出項」における「b,b」である。尚、係数αの値が小さいほど所定の閾値tに対し類似度が相対的に高くなる。
【0033】
図4は、本実施形態の雑音除去装置1における類似ブロック領域の探索例を示す図である。図4は、2階空間周波数帯域分解時の対象フレームの水平高周波帯域と、参照フレームの水平高周波帯域とを示す。対象フレームのブロック領域、及び参照フレームのブロック領域は、iとjの画素位置から±bと±b画素の領域として表す。そして、類似要素探索部12は、jを中心とした参照フレームの水平高周波帯域R (t)のブロック領域を、そのR (t)内でずらして、対象フレームの或るブロック領域に最も類似するものを探索して選出する。
【0034】
また、以下に説明するように、類似要素探索部12には、雑音除去モードdによって空間周波数帯域分解階数nの空間周波数帯域毎に、異なる類似度制御量α,b,bが設定される。尚、類似要素探索部12は、少なくとも2種類の雑音除去モードd=1,2を選択可能とするのが好適である。
【0035】
〔雑音除去モードd=1(第1のモード)〕
雑音除去モードd=1(第1のモード)は、信号成分をなるべく保持しながら雑音成分を減衰させるモードである。空間周波数が高いほど信号対雑音比が低くなるため、空間周波数が高いほどαを小さくすることで信号対雑音比が低く類似ブロック領域の探索時の誤差量が大きくなっても類似度を高く保つようにする。ただし、空間周波数が高い信号成分を保持するため、空間周波数が高くともブロック領域のサイズb,bを一定とする。表1に(第1のモード)におけるα,b,bの一例を示す。
【0036】
【表1】
【0037】
〔雑音除去モードd=2(第2のモード)〕
雑音除去モードd=2(第2のモード)は、信号成分が劣化するが雑音成分を大きく減衰させるモードである。空間周波数が高いほど信号対雑音比が低くなるため、空間周波数が高いほどαを小さくすることで信号対雑音比が低く類似ブロック領域の探索時の誤差量が大きくなっても類似度を高く保つようにする点で(第1のモード)と同様であるが、信号対雑音比が低くても雑音除去性能を高くするために、空間周波数が高いほどブロック領域のサイズb,bを大きくする。表2に(第2のモード)におけるα,b,bの一例を示す。
【0038】
【表2】
【0039】
このように、雑音除去装置1は、動画像における空間周波数帯域毎の信号対雑音比の違いを考慮して、類似要素探索部12に対して、空間周波数帯域分解階数nの空間周波数帯域毎に、異なる類似度制御量α,b,bを外部から指定できるものとし、少なくとも2種類の雑音除去モードd=1,2として選択可能とするのが好適である。
【0040】
続いて、雑音除去装置1は、足し合わせ処理部13により、対象フレーム内の各帯域の全てのブロック領域についての類似ブロック領域の探索結果を基に、類似度s(i,j,t)が所定の閾値tを超える当該参照フレームの帯域分解要素R 内のブロック領域を、当該対象フレームの帯域分解要素C のブロック領域に足し合わせる処理(足し合わせ処理)を行う(ステップS3)。尚、この足し合わせ処理は、類似度s(i,j,t)が当該所定の閾値tを超えないときは、最も類似するとして探索した当該参照フレームの帯域分解要素R 内のブロック領域であっても、対象フレーム内のブロック領域に足し合わせないように処理する。
【0041】
最終的に、雑音除去装置1は、再構成部14により、対象フレーム内の各帯域の全てのブロック領域に対する類似ブロック領域に関する足し合わせ処理後の対象フレームについてn階離散ウェーブレット再構成を施すことにより、雑音除去したフレーム画像RI(t)を生成し、雑音除去後の動画像を外部出力する(ステップS4)。
【0042】
以上のように、本発明に係る雑音除去装置1は、動画像のフレーム画像において空間周波数帯域分解を行い、空間周波数帯域分解階数nの空間周波数帯域毎に、異なる類似度制御量を設定して類似要素を探索し、探索した要素を足し合わせた後に再構成を行うことで雑音除去を行う。そして、類似度の制御量は、空間周波数帯域毎の信号対雑音比を考慮して設定する。これにより、従来のBM3Dよりも動画像の雑音除去性能を高めることができる。
【0043】
上記の一実施形態における雑音除去装置1は、コンピューターにより構成することができ、雑音除去装置1の各処理部を機能させるためのプログラムを好適に用いることができる。具体的には、雑音除去装置1の各処理部を制御するための制御部をコンピューター内の中央演算処理装置(CPU)で構成でき、且つ、各処理部を動作させるのに必要となるプログラムを適宜記憶する記憶部を少なくとも1つのメモリで構成させることができる。即ち、そのようなコンピューターに、CPUによって該プログラムを実行させることにより、雑音除去装置1の各処理部の有する機能を実現させることができる。更に、雑音除去装置1の各処理部の有する機能を実現させるためのプログラムを、前述の記憶部(メモリ)の所定の領域に格納させることができる。そのような記憶部は、装置内部のRAM又はROMなどで構成させることができ、或いは又、外部記憶装置(例えば、ハードディスク)で構成させることもできる。また、そのようなプログラムは、コンピューターで利用されるOS上のソフトウェア(ROM又は外部記憶装置に格納される)の一部で構成させることができる。更に、そのようなコンピューターに、雑音除去装置1の各処理部として機能させるためのプログラムは、コンピューター読取り可能な記録媒体に記録することができる。また、雑音除去装置1の各処理部をハードウェア又はソフトウェアの一部として構成させ、各々を組み合わせて実現させることもできる。
【0044】
以上、特定の実施形態の例を挙げて本発明を説明したが、本発明は上述の実施形態の例に限定されるものではなく、その技術思想を逸脱しない範囲で種々変形可能である。例えば、上述した実施形態の例では、主として、表1及び表2において空間周波数帯域分解階数nの空間周波数帯域毎に、異なる類似度制御量を設定する例を説明したが、或るn階の空間低周波I (t),水平高周波I (t),垂直高周波I (t),対角高周波I (t)の各帯域間でも異なる類似度制御量を設定することも有効であり、即ち、信号対雑音比が異なる帯域毎に、異なる類似度制御量とするものであれば有効である。従って、本発明に係る雑音除去装置1は、上述した実施形態の例に限定されるものではなく、特許請求の範囲の記載によってのみ制限される。
【産業上の利用可能性】
【0045】
本発明によれば、従来のBM3Dよりも動画像の雑音除去性能を高めることができるので、動画像を伝送する用途に有用である。
【符号の説明】
【0046】
1 雑音除去装置
11 空間周波数帯域分解部
12 類似要素探索部
13 足し合わせ処理部
14 再構成部
図1
図2
図3
図4