特許 7427239 信号処理装置、信号処理方法およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-01-26

(45)【発行日】2024-02-05

(54)【発明の名称】信号処理装置、信号処理方法およびプログラム

(51)【国際特許分類】

   G06T 5/70 20240101AFI20240129BHJP

   G10L 21/0208 20130101ALI20240129BHJP

   H04N 5/21 20060101ALI20240129BHJP

【ＦＩ】

G06T5/00 705

G10L21/0208 100Z

H04N5/21

【請求項の数】 7

(21)【出願番号】P 2020052998

(22)【出願日】2020-03-24

(65)【公開番号】P2021152763

(43)【公開日】2021-09-30

【審査請求日】2022-12-27

(73)【特許権者】

【識別番号】305060567

【氏名又は名称】国立大学法人富山大学

(74)【代理人】

【識別番号】100106909

【弁理士】

【氏名又は名称】棚井 澄雄

(74)【代理人】

【識別番号】100161207

【弁理士】

【氏名又は名称】西澤 和純

(74)【代理人】

【識別番号】100188558

【弁理士】

【氏名又は名称】飯田 雅人

(74)【代理人】

【識別番号】100192773

【弁理士】

【氏名又は名称】土屋 亮

(72)【発明者】

【氏名】広林 茂樹

(72)【発明者】

【氏名】長谷川 昌也

(72)【発明者】

【氏名】牧 秀亮

【審査官】渡部 幸和

(56)【参考文献】

【文献】国際公開第２０１８／１５４７３３（ＷＯ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ５／００

Ｇ１０Ｌ ２１／００

Ｈ０４Ｎ ５／２１

(57)【特許請求の範囲】

【請求項1】

複数個の第１区間のそれぞれにおける解析対象信号から当該解析対象信号の特性を示す特性パラメータを算出する解析部と、
前記第１区間のそれぞれについて前記特性パラメータに基づいて第２区間における解析対象信号の推定値を含む区間別推定信号を生成する推定部と、
前記第１区間のそれぞれの区間別推定信号を平均化して推定信号を生成する処理部と、 を備え、
前記解析部は、周波数成分ごとの振幅と位相を前記特性パラメータとして算出し、
前記推定部は、前記周波数成分ごとに前記第１区間のそれぞれから前記第２区間への変位に基づいて前記位相の補正値を算出し、前記振幅と前記位相の補正値に基づいて前記第２区間における再構成値を算出し、
前記再構成値を含む周波数別推定信号を合成して前記区間別推定信号を生成する
信号処理装置。

【請求項2】

前記解析部は、前記周波数成分ごとの周波数、振幅および位相に基づいて前記第１区間のそれぞれにおける再構成値を算出し、
前記再構成値を含む周波数別推定信号と当該第１区間のそれぞれにおける解析対象信号との差分が最小化されるように、前記周波数成分ごとの周波数、振幅および位相を算出する
請求項１に記載の信号処理装置。

【請求項3】

前記処理部は、前記区間別推定信号のうち、前記第２区間における前記解析対象信号との差分が小さいほど優先して、前記平均化の対象とする区間別推定信号を少なくとも２個選択する
請求項１または請求項２に記載の信号処理装置。

【請求項4】

前記処理部は、前記第１区間のそれぞれの区間別推定信号を加重平均して前記推定信号を算出し、
前記第２区間における前記解析対象信号との差分が大きいほど、前記第１区間のそれぞれの区間別推定信号の前記推定信号に対する寄与が小さくなるように、前記加重平均における前記第１区間のそれぞれの区間別推定信号に対する係数を定める
請求項１から請求項３のいずれか一項に記載の信号処理装置。

【請求項5】

前記解析対象信号は、二次元画像における画素ごとの信号値を示す画像信号であり、 複数個の前記第１区間と前記第２区間は、それぞれ異なる前記二次元画像の一部の領域である
請求項１から請求項４のいずれか一項に記載の信号処理装置。

【請求項6】

信号処理装置における信号処理方法であって、
複数個の第１区間のそれぞれにおける解析対象信号から当該解析対象信号の特性を示す特性パラメータを算出する第１ステップと、
前記第１区間のそれぞれについて前記特性パラメータに基づいて第２区間における解析対象信号の推定値を含む区間別推定信号を生成する第２ステップと、
前記第１区間のそれぞれの区間別推定信号を平均化して推定信号を生成する第３ステップと、を有し、
前記第１ステップは、周波数成分ごとの振幅と位相を前記特性パラメータとして算出し、
前記第２ステップは、前記周波数成分ごとに前記第１区間のそれぞれから前記第２区間への変位に基づいて前記位相の補正値を算出し、前記振幅と前記位相の補正値に基づいて前記第２区間における再構成値を算出し、
前記再構成値を含む周波数別推定信号を合成して前記区間別推定信号を生成する
信号処理方法。

【請求項7】

信号処理装置のコンピュータに、
複数個の第１区間のそれぞれにおける解析対象信号から当該解析対象信号の特性を示す特性パラメータを算出する第１手順と、
前記第１区間のそれぞれについて前記特性パラメータに基づいて第２区間における解析対象信号の推定値を含む区間別推定信号を生成する第２手順と、
前記第１区間のそれぞれの区間別推定信号を平均化して推定信号を生成する第３手順と、
を実行させるためのプログラムであって、
前記第１手順は、周波数成分ごとの振幅と位相を前記特性パラメータとして算出し、
前記第２手順は、前記周波数成分ごとに前記第１区間のそれぞれから前記第２区間への変位に基づいて前記位相の補正値を算出し、前記振幅と前記位相の補正値に基づいて前記第２区間における再構成値を算出し、
前記再構成値を含む周波数別推定信号を合成して前記区間別推定信号を生成する
プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、信号処理装置、信号処理方法およびプログラムに関する。本発明は、例えば、参照区間の周辺に設定された周辺区間における解析対象信号に対して周波数解析を行って得られた特性パラメータを用いて、参照区間における解析対象信号の推定値を推定し、解析対象信号に付加されたノイズを低減する技術に関する。

【背景技術】

【0002】

従来から画像をはじめとする解析対象信号に付加されたノイズを低減するための種々の手法が提案されてきた。例えば、特許文献１に記載の画像処理方法は、理想画像をＰＳＦによって畳み込み演算して予測画像を生成するステップと、予測画像からオリジナル画像を差分処理してエラー画像を生成するステップと、エラー画像を係数で乗算したＰＳＦによって逆畳み込み演算し、理想画像から畳み込み演算後の画像を差分処理して差分画像を生成するステップと、差分画像を新たな理想画像として前記ステップを複数回繰り返してノイズ画像を得た後、オリジナル画像からノイズ画像を差分処理して修正オリジナル画像を得るステップを備える。

【0003】

また、非特許文献１には、解析対象とする画像の一部である参照ブロック内の部分画像に類似する類似ブロックをブロックマッチング（Block Matching）により複数個探索し、複数の類似ブロックそれぞれの部分画像を積層して三次元のグループを形成し、三次元の周波数領域においてウィーナフィルタリングを行って空間領域に逆変換されたフィルタリング後の類似ブロックを平均して参照ブロックの推定値を定める手法について記載されている。

【先行技術文献】

【特許文献】

【0004】

【文献】特開２０１９－１４４８０８号公報

【文献】特許第５５９０５４７号公報

【非特許文献】

【0005】

【文献】Ｋｏｓｔａｄｉｎ Ｄａｂｏｖ，Ａｌｅｓｓａｎｄｒｏ Ｆｏｉ，Ｖｌａｄｉｍｉｒ Ｋａｔｋｏｖｎｉｋ，ａｎｄ Ｋａｒｅｎ Ｅｇｉａｚａｒｉａｎ，“Ｉｍａｇｅ ｄｅｎｏｉｓｉｎｇ ｂｙ ｓｐａｒｓｅ ３Ｄ ｔｒａｎｓｆｏｒｍ－ｄｏｍａｉｎ ｃｏｌｌａｂｏｒａｔｉｖｅ ｆｉｌｔｅｒｉｎｇ”，ＩＥＥＥ ＴＲＡＮＳＡＣＴＩＯＮＳ ＯＮ ＩＭＡＧＥ ＰＲＯＣＥＳＳＩＮＧ，ＶＯＬ．１６，ＮＯ．８，ｐｐ．１－１６，ＡＵＧＵＳＴ ２００７

【発明の概要】

【発明が解決しようとする課題】

【0006】

上記の手法をはじめとする従来の手法では、参照ブロックとは別個の部位に存在するブロックのうち、参照ブロックに類似する類似ブロックを用いている。類似ブロックの探索においては、参照ブロックにおける信号値全体と候補となるブロックにおける信号値全体としての類似度を示す指標値が用いられることが通例である。かかる指標値として、例えば、画素ごとの輝度値に基づくＬ２ノルムが用いられることがある。しかしながら、解析対象の画像において、輝度が位置により顕著に変化するエッジ部などの細部まで参照ブロック一致する類似ブロックが含まれるとは限らない。他方、ノイズの抑圧において、エッジ部の分布が異なる類似ブロックを用いると、それらの輝度の空間変化が参照ブロック間で平均化されるので、細部の情報が失われるために、画質の低下を招くことがあった。

【0007】

本発明は上記の点に鑑みてなされたものであり、解析対象信号の品質低下を抑制しながらノイズを抑圧することを一つの課題とする。

【課題を解決するための手段】

【0008】

本発明は上記の課題を解決するためになされたものであり、本発明の一態様は、複数個の第１区間のそれぞれにおける解析対象信号から当該解析対象信号の特性を示す特性パラメータを算出する解析部と、前記第１区間のそれぞれについて前記特性パラメータに基づいて第２区間における解析対象信号の推定値を含む区間別推定信号を生成する推定部と、第１区間のそれぞれの区間別推定信号を平均化して推定信号を生成する処理部と、を備え、前記解析部は、周波数成分ごとの振幅と位相を前記特性パラメータとして算出し、前記推定部は、前記周波数成分ごとに前記第１区間のそれぞれから前記第２区間への変位に基づいて前記位相の補正値を算出し、前記振幅と前記位相の補正値に基づいて前記第２区間における再構成値を算出し、前記再構成値を含む周波数別推定信号を合成して前記区間別推定信号を生成する信号処理装置である。

【発明の効果】

【0009】

本実施形態によれば、解析対象信号の品質低下を抑制しながらノイズを抑圧することができる。

【図面の簡単な説明】

【0010】

【図1】本実施形態に係る信号処理装置の機能構成例を示す概略ブロック図である。

【図2】本実施形態に係る信号処理装置のハードウェア構成例を示す概略ブロック図である。

【図3】本実施形態に係る区間別推定信号の生成方法の例を説明するための説明図である。

【図4】推定信号の再構成例を示す図である。

【図5】本実施形態に係る区間別推定信号の生成方法の他の例を説明するための説明図である。

【図6】推定信号の他の再構成例を示す図である。

【図7】解析対象の画像の一例を示す図である。

【図8】解析対象の画像の他の例を示す図である。

【図9】本実施形態に係るノイズ抑圧処理の例を示すフローチャートである。

【図10】原画像と再構成画像の例を示す図である。

【図11】解析対象の標準画像の例を示す図である。

【図12】標準画像に基づく原画像、ノイズ付加画像および再構成画像の例を示す。

【図13】再構成画像の推定精度の第１例を示す表である。

【図14】再構成画像の推定精度の第２例を示す表である。

【図15】高解像度画像に基づく原画像、ノイズ付加画像および再構成画像の第１例を示す。

【図16】高解像度画像に基づく原画像、ノイズ付加画像および再構成画像の第２例を示す。

【図17】高解像度画像の推定精度の例を示す表である。

【発明を実施するための形態】

【0011】

（信号処理装置の構成）
以下、図面を参照しながら本発明の実施形態について説明する。図１は、本実施形態に係る信号処理装置１０の機能構成例を示す概略ブロック図である。
信号処理装置１０は、解析対象とする解析対象信号を取得し、複数個の第１区間のそれぞれについて、その区間内の解析対象信号をなす信号値の系列の特性を示す特性パラメータを算出する。信号処理装置１０は、複数個の第１区間のそれぞれについて算出した特性パラメータに基づいて、その複数個の第１区間とは別個の第２区間内の解析対象信号の推定値を算出し、算出した推定値を含む系列を区間別推定信号として生成する。そして、信号処理装置１０は、複数個の第１区間のそれぞれについて生成した区間別推定信号に含まれる推定値を平均化し、平均化した推定値を信号値とする系列を推定信号として生成する。

【0012】

解析対象信号は、１フレームの平面画像を示す画像信号のように複数の信号値が二次元空間上に配列される二次元信号に限られず、一次元信号、または三次元以上の高次元信号であってもよい。また、解析対象信号の種別は、画像を示す画像データに限られず、音声を示す音声データ、加速度の時間変化を示す加速度信号、心臓やその他の生体器官の活動状態を示す生体信号、など、種々の物理量の空間的または時間的変化を示す系列であれば、いずれであってもよい。但し、以下の説明では、主に解析対象信号が１フレームの平面画像を示す画像信号である場合を例にする。

【0013】

信号処理装置１０は、制御部１２０と、記憶部１４０と、を含んで構成される。制御部１２０は、信号処理装置１０が有する各種の機能を制御する。制御部１２０は、専用の部材であってもよいが、ＣＰＵ（Central Processing Unit）などの１以上のプロセッサ１０２（後述）を含んで構成されてもよい。プロセッサ１０２は、記憶部１４０に予め記憶された所定のプログラムに記述された各種の命令で指示された処理を実行して制御部１２０としての機能を提供する。以下の説明では、各種のプログラムに記述された命令で指示された処理を実行することを、プログラムを実行する、プログラムの実行、などと呼ぶことがある。なお、制御部１２０は、データバスを経由して相互に各種のデータを入出力可能に記憶部１４０に接続されている。

【0014】

記憶部１４０は、ＨＤＤ（Hard Disk Drive）、フラッシュメモリ、ＥＥＰＲＯＭ（Electrically Erasable Programmable Read Only Memory）、ＲＯＭ（Read Only Memory）１０４（後述）、ＲＡＭ（Random Access Memory）１０６（後述）などの記憶媒体の一部の組み合わせ、または全部を含んで構成される。記憶部１４０は、プログラムの他、各種のデータを記憶する。

【0015】

次に、制御部１２０の機能構成例について説明する。制御部１２０は、信号取得部１２２と、特性解析部１２４と、信号推定部１２６と、強調処理部１２８と、を含んで構成される。その他、制御部１２０は、信号処理装置１０としての機能を発揮させるための処理を行う。

【0016】

信号取得部１２２は、本実施形態に係る信号処理の対象とする解析対象信号を取得する信号取得部１２２は、例えば、予め記憶部１４０に記憶されている複数の画像データのうち、操作入力部１０８（後述）から入力される操作信号で指示される画像データを特定し、特定した画像データを解析対象信号として読み出す。信号取得部１２２は、入出力部１１２を経由して入力される画像データを解析対象信号として受け付けてもよい。信号取得部１２２は、取得した解析対象信号を特性解析部１２４に出力する。

【0017】

特性解析部１２４は、信号取得部１２２から入力された解析対象信号をなす区間のうち、処理の目標として参照する参照区間と、参照区間とはそれぞれ別個の区間である複数の周囲区間を特定する。本願では、区間とは、解析対象信号の一部をなす系列であって、複数の信号値を含んで構成される系列を意味し、時刻の順で信号列が配列された時系列と位置の順で信号値が配列された空間系列のいずれも含みうる。解析対象信号が平面画像を示す画像データである場合には、個々の区間は、その平面画像の全領域の一部の領域であり、それぞれ位置が異なる領域である。即ち、個々の区間は、複数の画素が二次元平面内に配列される画像ブロック（パッチ、処理単位、などとも呼ばれる）に相当する。以下の説明では、画像ブロックを単にブロックと呼び、平面画像の一部に相当するブロック内の部分画像または部分画像を示す信号をパッチと呼ぶことがある。また、平面画像内の参照区間、周囲区間を、それぞれ参照ブロック、周囲ブロックと呼び、参照ブロック内の部分画像、周囲ブロック内の部分画像を、それぞれ参照パッチ、周囲パッチと呼ぶことがある。

【0018】

参照区間は、特性解析部１２４に予め設定されていてもよいし、特性解析部１２４は、操作入力部１０８（後述）または入出力部１１２（後述）から入力される操作信号で指示される区間を参照区間として特定してもよい。また、特性解析部１２４は、参照区間とは異なる区間であって参照区間と大きさが等しい区間を周囲区間として特定する。複数の周囲区間は、参照区間を除く解析対象信号の全区間にわたり設定されてもよいし、参照区間以外の一部の区間のみに設定されてもよい。例えば、特性解析部１２４は、参照区間から所定の範囲の時間または空間内に存在する区間（例えば、隣接する区間）を周囲区間として設定してもよい。解析対象信号が平面画像である場合には、参照ブロックは位置と大きさで指定され、個々の周囲ブロックは、それぞれ異なる位置で指定される。

【0019】

特性解析部１２４は、複数個の周囲区間のそれぞれにおける解析対象信号からその解析対象信号の特性を示す特性パラメータを算出する。特性解析部１２４は、例えば、周囲ブロックのそれぞれの部分画像を示す周囲パッチに対して、非調和解析（ＮＨＡ: Non-Harmonic Analysis）を用いて、その周囲パッチをなす画素ごとの信号値からなる系列の振幅、位相、および周波数のセットを周波数成分ごとに定める。個々の周波数成分は、１セットの二次元の空間周波数に対応する。特性解析部１２４は、周囲区間ごとに算出した特性パラメータを信号推定部１２６に出力する。特性パラメータの算出方法の例については、後述する。

【0020】

信号推定部１２６は、特性解析部１２４から入力された周囲区間ごとの特性パラメータに基づいて、周囲区間ごとの特性パラメータと、その周囲区間と参照区間との位置関係に基づいて参照区間における解析対象信号の推定値を算出する。算出した推定値を含んで個性される信号の系列は、区間別推定信号に相当する。よって、複数の周囲区間のそれぞれについて区間別推定信号が生成される。信号推定部１２６は、例えば、周波数成分ごとに算出された位相を周囲ブロックから参照ブロックまでの変位に基づいて位相の補正値を算出する。信号推定部１２６は、周波数成分ごとに、振幅、周波数、および算出された位相の補正値に基づいて画素ごとの信号値として周波数別信号値を算出する。そして、信号推定部１２６は、周囲ブロックのそれぞれについて、算出した周波数別信号値を周波数成分間で加算（統合）して区間別推定信号をなす区間別推定信号値を算出する。これにより、区間別推定信号値からなる区間別推定信号の例としてブロック別推定パッチが生成される。信号推定部１２６は、周囲区間のそれぞれについて生成した区間別推定信号を強調処理部１２８に出力する。区間別推定信号の生成方法の例については、後述する。

【0021】

強調処理部１２８は、信号推定部１２６から入力された複数の周囲区間のそれぞれの区間別推定信号に対して平均化処理を行って、参照区間における平均化された信号値を含む系列である推定信号を生成する。推定信号に含まれる信号値は、参照区間内の解析対象信号の推定値に相当する。そのため、区間別推定信号に含まれるノイズ成分は平均化処理により相対的に低減し、信号成分が相対的に強調される。また、参照区間ごとに異なる区間別推定信号に含まれる成分が相補われるため、特定の成分の欠落による品質の低下が防止される。強調処理部１２８は、例えば、周囲ブロックのそれぞれのブロック別推定パッチに対して平均化処理の一例である強調フィルタリングを行って参照ブロックの推定パッチを推定信号として生成することができる。強調処理部１２８は、生成した推定信号を記憶部１４０に記憶してもよいし、入出力部１１２を用いて信号処理装置１０とは別個の機器に出力してもよい。推定信号が画像データである場合には、強調処理部１２８は、その画像データを表示部１１０（後述）に出力してもよい。

【0022】

また、制御部１２０は、推定区間を未処理の区間に変更し、変更後の推定区間について上記の推定信号を生成するまでの一連の処理を順次繰り返してもよい。制御部１２０は、繰り返しにより生成された複数の推定信号を一括して出力してもよい。強調フィルタリングの例について、後述する。

【0023】

次に、本実施形態に係る信号処理装置１０のハードウェア構成例について説明する。図２は、本実施形態に係る信号処理装置１０のハードウェア構成例を示す概略ブロック図である。図２に例示される信号処理装置１０は、コンピュータとして構成される。信号処理装置１０は、プロセッサ１０２と、ＲＯＭ１０４と、ＲＡＭ１０６と、操作入力部１０８と、表示部１１０と、入出力部１１２と、を含んで構成される。

【0024】

プロセッサ１０２は、アプリケーションプログラム、ユーティリティ、ドライバ、オペレーティングシステムなどの各種のプログラムを実行可能とし、信号処理装置１０を構成する各部の動作を制御する。
ＲＯＭ１０４は、各種のプログラムや各種のデータを格納可能とする。ＲＯＭ１０４に格納されるプログラムやデータは、プロセッサ１０２の制御のもとで読み出されうる。
ＲＡＭ１０６は、プロセッサ１０２の制御のもとに、各種のプログラムやデータを一時的に記憶し、記憶されるプログラムやデータを読み出す。ＲＡＭ１０６の記憶領域は、プロセッサ１０２がプログラムを実行する際に作業領域として用いられる。

【0025】

操作入力部１０８は、ユーザの操作を受け付け、受け付けた操作に応じた操作信号を生成し、生成した操作信号をプロセッサ１０２に出力する。操作信号は、信号処理装置１０に対するユーザの指示、命令などの各種の情報を示す。操作入力部１０８は、例えば、キーボード、マウス、キーパッド、プッシュボタン、スティックキーなどのいずれの形態の操作デバイスを含んで構成される。操作入力部１０８は、物理的に分離されている操作デバイス（例えば、リモートコントローラ）から無線（赤外線を含む）で受信する受信器を含んで構成されてもよい。

【0026】

表示部１１０は、プロセッサ１０２の制御のもとで、プロセッサ１０２から入力される各種の表示データで指示される情報を視覚により認識可能に表示する。かかる表示データには、画像データ、テキストデータなどが含まれる。表示部１１０は、例えば、液晶ディスプレイ（ＬＣＤ: Liquid Crystal Display）、プラズマディスプレイパネル（ＰＤＰ: Plasma Display Panel）、有機エレクトロルミネッセンスディスプレイ（ＯＬＥＤ: Organic Electro-luminescence Display）、などのいずれの形態の表示デバイスを含んで構成される。

【0027】

入出力部１１２は、信号処理装置１０とは別個の機器と有線または無線で接続し、各種のデータを入出力する。入出力部１１２は、通信ネットワークと有線または無線で接続し、通信ネットワークに接続された別個の機器と各種のデータを送受信してもよい。入出力部１１２は、例えば、入出力インタフェース、通信インタフェースなどの入出力デバイスを含んで構成される。

【0028】

（区間別推定信号の生成方法）
次に、区間別推定信号の生成方法の例について説明する。図３は、本実施形態に係る区間別推定信号の生成方法の例を説明するための説明図である。図３に示す例では、解析対象信号は時間の経過に応じて変化する信号値を有する一次元信号である。図３において、縦軸、横軸は、それぞれ振幅Ａ、時刻ｔを示す。周囲区間ｗ３２、参照区間ｗ３４は、それぞれ期間Ｔの時間窓である。変位ｄは、周囲区間ｗ３２から参照区間ｗ３４までの時間を示す。

【0029】

周囲区間内の解析対象信号から参照区間内の区間別推定信号を生成するまでの処理は、次のステップを含む。
（ステップＳ１２）特性解析部１２４は、解析対象信号のうち周囲区間ｗ３２を分析窓とし、その分析窓で画定される部分を抽出する（抽出）。図３に示す例では、周囲区間ｗ３２における解析対象信号の各時刻ｔにおける信号値は、Ａｃｏｓ（２πｆｔ＋φ）と表されると仮定する。ｆ、φは、それぞれ周波数、位相を示す。
（ステップＳ１４）特性解析部１２４は、抽出した信号に対して周波数成分ごとの特性パラメータを算出する（解析）。算出される特性パラメータは、位相φ、周波数ｆおよび振幅Ａとなる。

【0030】

（ステップＳ１６）特性解析部１２４は、算出した特性パラメータのうち位相φを調整し、調整後の位相φ’、周波数ｆおよび振幅Ａで周波数成分の特性が表される周波数別信号を周波数成分間で合成して参照区間ｗ３４の区間別推定信号を生成する（再構成）。
ステップＳ１６において、特性解析部１２４は、周囲区間ｗ３２について定めた位相φに対して、変位ｄに周波数ｆに対応する波数ｆ／Ｔを乗じて得られる調整値ｆｄ／Ｔを加算して調整後の位相φ’を算出する。図３に示す例では、再構成される区間別推定信号の信号値は、Ａｃｏｓ（２πｆｔ＋φ＋ｆｄ／Ｔ）と表される。

【0031】

（特性パラメータの算出方法）
次に、本実施形態に係る特性パラメータの算出方法の例について説明する。周囲区間内の解析対象信号をなす信号値の系列の特性を示す特性パラメータを算出する手法として、特性解析部１２４は、例えば、ＮＨＡを用いることができる。ＮＨＡは、解析対象信号を構成する信号値ｓ（ｘ）から周波数成分Ａ’ｃｏｓ（２πｆ’ｘ＋φ’）との差分である周波数成分残差の大きさが分析窓内のサンプルｎ全体として最小化されるように、その周波数成分の特性パラメータとして周波数ｆ’、振幅Ａ’および位相φ’の組を算出する手法である。また、特性解析部１２４は、周波数成分残差の大きさが最小化した残差周波数成分を新たな信号値とし、新たな別個の周波数成分について特性パラメータを算出する処理を順次繰り返す。これにより、周波数成分ごとに特性パラメータの組が算出される。周波数成分ごとに特性パラメータを算出する処理の繰り返し回数は、予め設定された１以上の整数（通例、２以上）であってもよい。この繰り返し回数が特性パラメータを算出する周波数成分の数に相当する。また、繰り返し回数を特に定めず、周波数成分の残差の大きさ、または、その大きさに対する解析対象信号の大きさとの比が予め設定された下限以下となるまで特性パラメータを算出する処理を繰り返してもよい。ＮＨＡによれば、複数の周波数成分のそれぞれの周波数は等間隔に分布するとは限られないため、離散フーリエ変換などの既存の手法よりも解析対象信号の特性を示す特性パラメータの数を減少することができる。また、分析窓による分析精度に対する影響が小さく、分析精度の周波数依存性が抑えられる。

【0032】

図４は、推定信号の再構成例を示す図である。図４は、特性パラメータの解析手法として、高速フーリエ変換（ＦＦＴ：Fast Fourier Transform）とＮＨＡのそれぞれについて、解析区間における原信号を解析対象信号として用いて解析区間において算出した特性パラメータを用いて、解析区間に隣接した２つの隣接区間のそれぞれにおいて再構成された推定信号を例示する。図４の第１段、第２段、第３段は、それぞれ原信号、ＦＦＴに基づく推定信号、ＮＨＡに基づく推定信号を示す。但し、第２段、第３段における解析区間内の信号として、原信号が示されている。

【0033】

ＦＦＴは、離散フーリエ変換の一形態であり、特性パラメータとして周波数成分ごとに所定の振幅と位相を算出する手法である。特性解析部１２４は、得られた振幅と位相を用いて隣接区間における推定信号を再構成することができる。図４の第２段に示すように解析区間の両端の時刻における原信号の信号値と、隣接する時刻の推定信号の信号値との間で、有意な不連続性が生じる。

【0034】

これに対し、ＮＨＡを用いて得られた特性パラメータに基づいて再構成された推定信号については、解析区間の両端における原信号の信号値と、隣接する時刻の推定信号の信号値との間で不連続性が生じない（第３段参照）。このことは、ＮＨＡを用いて算出された特性パラメータによれば解析窓の影響を低減し、解析対象信号の推定精度を向上できることを示す。言い換えれば、ＮＨＡによれば高精度かつ少数の特性パラメータにより解析区間における解析対象信号の特性を表現できる他、解析区間とは別個の区間における解析対象信号を高精度で推定できることを裏付ける。

【0035】

ＮＨＡでは、解析対象信号として一次元信号を用いる場合、特性解析部１２４は、式（１）の左辺に示すコスト関数Ｆ（Ａ’，ｆ_ｘ’，φ’）を最小化する振幅Ａ’、周波数ｆ_ｘ’，位相φ’を探索する。コスト関数Ｆ（Ａ’，ｆ_ｘ’，φ’）は、周波数成分残差ｓ（ｘ_ｎ）－Ａ’ｃｏｓ（２πｆ’ｘ_ｎ＋φ’）の大きさの指標値の一例である。

【0036】

【数1】

【0037】

但し、式（１）において、Ｎは、解析窓内の信号値ｓ（ｘ_ｎ）のサンプル数を示す２以上の整数である。ｘ_ｎは、解析窓をなす一次元の区間における第ｎサンプルの座標を示す。区間が空間を意味する場合には、座標は、空間内の位置を意味する。区間が時間を意味する場合には、座標は、時間内の時刻を意味する。個々のサンプルの座標は、解析窓において必ずしも等間隔に分布していなくてもよく、間隔は一定値ではなくランダムに設定されていてもよい。
解析対象信号として二次元信号を用いる場合には、特性解析部１２４は、式（２）に示すコスト関数Ｆ（Ａ’，ｆ_ｘ’，ｆ_ｙ’，φ’）が最小化される振幅Ａ’、二次元の周波数ｆ_ｘ’，ｆ_ｙ’、位相φ’を探索する。

【0038】

【数2】

【0039】

但し、式（２）において、Ｎ_ｘ，Ｎ_ｙは、それぞれ解析窓内の信号値ｓ（ｎ_ｘ，ｎ_ｙ）の次元ｘ、ｙそれぞれのサンプル数を示す２以上の整数である。ｘ_ｎｘ，ｙ_ｎｙは、それぞれ解析窓をなす二次元の区間における次元ｘ、ｙそれぞれの第ｎ_ｘ、ｎ_ｙサンプルの座標を示す。
本願では最小化とは、絶対的に最小となる最小値を算出または発見することに限られず、最小値を与える値（例えば、特性パラメータ）を極力探索するという意味を含み、その処理により指標値が一時的に増加することもある。最小化の手法として、例えば、最急降下法（Steepest Descent Method）が利用可能である。最急降下法は、その時点（現時点）の特性パラメータの各要素値（本実施形態では、各次元の周波数ｆ、振幅Ａ、位相φのそれぞれが該当）について、コスト関数のその要素値による偏微分値に所定の係数を乗じて得られる更新値を差し引いて次時点の要素値を算出する処理を再帰的に繰り返す手法である。処理の繰り返しは、例えば、現時点における特性パラメータに基づくコスト関数と次時点における特性パラメータに基づくコスト関数との差分の絶対値、つまりコスト関数の変化量が所定の変化量の閾値以下となるまで実行すればよい。
特に、二次元の解析対象信号が１フレームの平面画像を示す画像データである場合には、特性解析部１２４は、式（２）に代え、式（３）の右辺に示すコスト関数Ｆ（Ａ’，ｆ_ｘ’，ｆ_ｙ’，φ’）が最小化される振幅Ａ’、二次元の周波数ｆ_ｘ’，ｆ_ｙ’，位相φ’を探索すればよい。

【0040】

【数3】

【0041】

但し、式（３）の例では、解析対象領域のｘ方向（水平方向）、ｙ方向（垂直方向）のそれぞれにおいて一定の間隔（画素ピッチ）１／ｆ_ｓｘ，１／ｆ_ｓｙで配列されていると仮定されている。そのため、ｘ、ｙ方向の周波数ｆ_ｘ’，ｆ_ｙ’は、それぞれ間隔に対応するサンプリング周波数ｆ_ｓｘ，ｆ_ｓｙで正規化されている。ここで、ｎ_ｘ、ｎ_ｙをいずれも０とする画素は、解析対象領域の原点に配置された画素を示す。よって、解析対象領域を１フレームの画像の一部である周囲ブロックとすることで、特性解析部１２４は、周囲ブロック内の部分画像の振幅Ａ’、周波数ｆ_ｘ’，ｆ_ｙ’，位相φ’を算出することができる。

【0042】

なお、ＮＨＡについては、特許文献２において、詳しく記載されている。解析対象信号は一次元信号または二次元信号に限られず、三次元以上の高次元信号に対してもＮＨＡは適用可能である。その場合も、各周波数成分の特性パラメータとして、振幅、周波数、および位相が算出される。算出される周波数の次元数は、解析対象信号の次元数に相当する。

【0043】

次に、区間別推定信号の生成方法の他の例について説明する。図５は、本実施形態に係る区間別推定信号の生成方法の例を説明するための説明図である。図５は、１フレームの平面画像を示す画像データの周囲ブロックを解析区間として参照ブロックの部分画像であるブロック別推定パッチを区間別推定信号として生成する過程を例示する。図５に例示される参照ブロック、周囲ブロックは、ともに水平方向の幅がＸであり垂直方向の幅がＹである長方形の領域である。周囲ブロックが特性パラメータを算出するための分析窓に相当する。周囲ブロックから参照ブロックへの変位は、ｄ_ｘ，ｄ_ｙである。図５の右上には、参照ブロックにおける参照パッチｏｉ５２における信号値の分布を示す。特性解析部１２４は、ブロック別参照パッチを生成するために上記のステップＳ１２－Ｓ１６に準じた処理を実行する。

【0044】

但し、ステップＳ１２において、特性解析部１２４は、画像データから周囲ブロックを分析窓として画定される部分を周囲パッチｒｉ５４として抽出する（抽出）。
ステップＳ１４において、特性解析部１２４は、ステップＳ１２で抽出した周囲パッチｏｉ５４に対して、例えば、式（３）を用いて特性パラメータとして周波数成分ｋごとに周波数ｆ_ｘｋ’，ｆ_ｙｋ’、振幅Ａ_ｋ’、および位相φ_ｋ’を算出する（解析）。図５の左下には、算出された特性パラメータで表される位相補正前の周囲パッチｒｉ５４における信号値の分布を示す。

【0045】

ステップＳ１６において、特性解析部１２４は、周波数成分ｋごとに算出した特性パラメータのうち位相φ_ｋ’を調整し（位相補正）、調整後の位相、周波数ｆ_ｘｋ’，ｆ_ｙｋ’および振幅Ａ’を有する周波数成分ｋを含む参照ブロックのブロック別推定パッチを生成する。特性解析部１２４は、周波数成分ｋに係る位相φ_ｋ’を調整する際、その周波数成分ｋの波数ｆ_ｘｋ’／ｆ_ｓｘ，ｆ_ｙｋ’／ｆ_ｓｙと、周囲ブロックから参照ブロックまでの二次元平面上の変位ｄ_ｘ，ｄ_ｙとの内積を調整値として補正前の位相φ_ｋ’に加算する。そして、特性解析部１２４は、式（４）に示すように調整後の位相、周波数ｆ_ｘｋ’，ｆ_ｙｋ’および振幅Ａ_ｋ’を有する周波数成分ｋ間の総和を参照ブロックにおける参照パッチの推定値、つまりブロック別推定パッチとして生成することができる。

【0046】

【数4】

【0047】

式（４）において、Ｒ（ｎ_ｘ，ｎ_ｙ）は、ブロック別推定パッチの座標ｎ_ｘ，ｎ_ｙに配置された画素の信号値を示す。Ｋは、周波数成分の数を示す２以上の整数である。ｆ_ｘｉ’／ｆ_ｓｘ，ｆ_ｙｉ’／ｆ_ｓｙは、それぞれ周波数成分ｋの波数ｋ_ｘｉ，ｋ_ｙｉに相当する。φ’＋ｆ_ｘｋ’ ｄ_ｘ／ｆ_ｓｘ＋ｆ_ｙｋ’ ｄ_ｙ／ｆ_ｓｙが周波数成分ｋの調整後の位相に相当する。算出された画素ごとの信号値Ｒ（ｎ_ｘ，ｎ_ｙ）を含んで構成される信号が推定パッチｒｉ５６として再構成される。

【0048】

図６は、推定信号の他の再構成例を示す図である。図６に示す例では、原画像ｏｉ６２の中央に設定された解析ブロックにおいて特性パラメータを算出し、算出された特性パラメータから、解析ブロックに隣接する８つの隣接ブロックのそれぞれについて再構成された推定信号の例を示す。図６において、信号値の分布が濃淡で示されている。明るい部分ほど信号値が大きく、暗い部分ほど信号値が小さいことを示す。図６右上の拡張画像ｅｉ６４、図６右下の拡張画像ｅｉ６６は、それぞれＦＦＴ、ＮＨＡを用いて解析ブロックにおける特性パラメータを算出した場合を例にする。拡張画像ｅｉ６４、拡張画像ｅｉ６６のそれぞれの隣接ブロックにおける再構成画像は、上記のように位相を解析ブロックから隣接ブロックへの変位に基づいて調整した位相を用いて再構成される。但し、拡張画像ｅｉ６４、拡張画像ｅｉ６６の解析ブロックに相当する部位には、原画像ｏｉ６２の解析ブロックにおける信号値の分布が示されている。

【0049】

ＦＦＴに基づく拡張画像ｅｉ６４では、ブロック間で模様が顕著に不連続となる。この現象は、ブロックの境界をまたぐ信号値の有意な不連続性を示す。これに対し、ＮＨＡに基づく拡張画像ｅｉ６６では、ブロック間において模様が不連続になる現象は生じず、連続性が保たれる。このことは、ブロックの境界をまたいでも、信号値に有意な不連続性が生じず空間的に連続な信号値を推定できることを示す。言い換えれば、ＮＨＡによれば、部位が異なる他のブロック内の信号値から注目するブロック内の信号値をＦＦＴよりも高精度に推定できることを示す。よって、ＮＨＡを用いて算出された特性パラメータによれば解析窓としての周囲ブロックの影響を低減し、参照ブロックにおける解析対象信号の推定精度を向上できることが期待される。これは、ＮＨＡが高い周波数分解能を有し、より少ないパラメータにより解析対象信号の特徴を表現できることに基づく。

【0050】

このように、本実施形態に係る信号処理装置１０は、参照区間とは異なる区間である周囲区間の特性パラメータを用いて参照区間における区間別推定信号を生成する。そのため、解析対象信号をなす信号値の周期性が高い場合には、ＮＨＡによれば極めて高い精度で区間別推定信号を生成することができる。そのような場合には、図７に例示されるように、二次元平面において参照ブロック７２とその周囲の周囲ブロックを跨いで周期的な模様を示す画像データを解析対象信号として用いる場合が該当する。

【0051】

しかしながら、信号値の周期性がより低い場合であっても、参照区間内の解析対象信号に周囲区間内とは周波数が共通する周波数成分が含まれる場合には、少なくともその周波数成分については、ＮＨＡを用いることで高い精度で推定することができる。例えば、図８に例示される皮膚表面の状態を表す画像は、空間的に不規則な模様を表すが、参照ブロック８２における解析対象信号となる参照パッチは、その周囲の周囲ブロックに係る周囲パッチとの間で共通の周波数成分を含む。その共通の周波数成分は、周波数の高低に関わらず再現されるため、皮膚組織の微細構造のように周波数が比較的高い高域成分に対しても離散フーリエ変換を用いる場合ほど失われずに済む。そのため、従来の方式よりも再現性が向上する。また、強調処理部１２８によれば、複数の異なる周囲ブロックのそれぞれについて生成されたブロック別推定パッチに対する平均化処理により、信号成分に対して相対的にノイズ成分を低減するとともに、個々のブロック別推定パッチに欠落した周波数成分を相補うことができる。よって、本実施形態によれば、解析対象信号の信号値が区間内で不規則に変動する場合であっても解析対象信号の推定精度を向上することができる。

【0052】

（強調フィルタリング）
次に、本実施形態に係る強調フィルタリング処理の例について説明する。強調処理部１２８は、複数の周囲区間に相当する周囲ブロックのそれぞれについて生成されたブロック別推定パッチをなす画素ごとの信号値を、複数の周囲ブロック間で平均化して得られる平均値を信号値として有する推定パッチを推定信号として生成する。平均化処理は、強調フィルタフィルタリングの一態様とみることができる。これは、平均化処理により、信号値に含まれる信号成分を相対的に強調し、ランダムなノイズ成分を低減することができるためである。

【0053】

強調処理部１２８は、平均化処理として、例えば、単純平均、相乗平均、加重平均のいずれの手法を採用してもよい。強調処理部１２８は、平均化処理において、参照パッチとの類似性が高いブロック別推定パッチほど優先してもよい。強調処理部１２８は、例えば、参照パッチとの類似性が所定の類似性以上となる高いブロック別推定パッチを平均化対象として採用し、その他のブロック別推定パッチを棄却することで平均化対象とするブロック別推定パッチを制限する。複数のブロック別推定パッチに対する加重平均において、強調処理部１２８は、ブロック別推定パッチの制限に代えて、またはブロック別推定パッチの制限とともに、参照パッチとの類似性が高いブロック別推定パッチほど加重平均の際に演算（乗算）に用いる重み係数を大きくしてもよい。

【0054】

上記のように画像データを解析対象信号とする場合には、強調処理部１２８は、例えば、平均化処理において非特許文献１に記載の手法（以下、ＢＭ３Ｄと呼ぶ）を応用することができる。ＢＭ３Ｄは、以下のステップＳ２２－Ｓ３０を有する。
（ステップＳ２２）グルーピング（Grouping）、（ステップＳ２４）三次元変換（3D transform）、（ステップＳ２６）強制閾値処理（Hard-thresholding）、（ステップＳ２８）逆三次元変換（Inverse 3D transform）、（ステップＳ３０）集約（Aggregation）

【0055】

但し、本実施形態に係る強調処理部１２８は、ステップＳ２２を省略し、信号推定部１２６が生成した複数のブロック別推定パッチを採用すればよい。ステップＳ２２は、１フレームの画像内で参照パッチに類似する類似パッチを探索するステップであるためである。強調処理部１２８は、採用したブロック別推定パッチと参照パッチとの類似性を判定し、ステップＳ２４以降の処理対象として採用するブロック別推定パッチを選択してもよい。強調処理部１２８は、類似性、つまり、ブロック別推定パッチと参照パッチとの差分の大きさの指標値であるコスト関数として、例えば、最小二乗誤差（ＭＳＥ：Mean Squared Error）を用いることができる。強調処理部１２８は、個々のブロック別推定パッチについてＭＳＥを算出し、ＭＳＥの昇順に順位を定める。そして、強調処理部１２８は、ＭＳＥが所定のＭＳＥの上限値以下となるブロック別推定パッチを選択してもよいし、ＭＳＥが最小となるブロック別推定パッチから昇順に所定の個数のブロック別推定パッチを選択してもよい。二次元のブロック別推定パッチと参照パッチとのＭＳＥは、例えば、式（５）を用いて計算することができる。式（５）に示す例では、画素ｎ_ｘ，ｎ_ｙごとの参照パッチの信号値ｓ（ｎ_ｘ，ｎ_ｙ）からブロック別推定パッチの信号値ｓ’（ｎ_ｘ，ｎ_ｙ）の差分の二乗値のブロック内の画素間の総和を、画素数Ｎ_ｘＮ_ｙで除算して得られる。ＭＳＥは、ベクトルまたは行列の大きさの指標値であるＬ２ノルムに相当するコスト関数である。なお、ステップＳ３０は、上記の加重平均に相当する処理である。

【0056】

【数5】

【0057】

以下、各ステップの処理について説明する。
（ステップＳ２４）強調処理部１２８は、取得した複数のブロック別推定パッチを、例えば、定めた順位に従って積層して１個の三次元画像データを生成する。強調処理部１２８は、生成した三次元画像データに対して離散フーリエ変換を行い、三次元の周波数領域における周波数領域係数を算出する。

【0058】

（ステップＳ２６）強調処理部１２８は、個々の周波数領域係数に対して強制閾値処理を実行する。強制閾値処理とは、処理対象の値の絶対値が所定の絶対値の上限値以下である場合には、そのまま、処理対象の値を採用し、処理対象の値の絶対値がその上限値を超える場合には、その絶対値が上限値となるように処理対象の値（複素数）を減衰させる処理である。強制閾値処理は、クリッピング（Clipping）とも呼ばれる。これは、処理対象信号に混入されるノイズ成分のレベルが顕著になる場合には、一部の周波数領域係数の絶対値が異常に増加するため、以降のステップにおいて却って信号成分よりも強調されてしまうリスクを低減するためである。絶対値の上限値は、既知のノイズレベルよりも十分に大きい値を予め設定しておけばよい。

【0059】

（ステップＳ２８）強調処理部１２８は、強制閾値処理後の周波数領域係数に対して逆フーリエ変換を行って、強制閾値処理後の三次元周波数領域データを生成する。強制閾値処理後の三次元画像データの各層には処理済みのブロック別推定パッチが含まれる。
（ステップＳ３０）強調処理部１２８は、処理済みのブロック別推定パッチの画素ごとに、ある層の信号値とその層の重み係数を乗じて得られる乗算値の層間の総和を新たな信号値として算出し、算出された信号値を含む推定パッチを生成する。各層のブロック別推定パッチに係る重み係数として、例えば、強調処理部１２８は、ノイズのパワーとの積に反比例する値とする。但し、処理対象信号に含まれるノイズ成分は、一般に未知でありうる。そこで、強調処理部１２８は、ノイズ成分のパワーに代えて、その層のブロック別推定パッチと参照パッチとのＭＳＥを用いてもよい。推定パッチの生成の信号成分とノイズ成分が無相関であることを仮定すれば、ノイズ成分が多いほどＭＳＥに対するノイズ成分の割合が多くなり、推定精度が十分に高い場合、即ち、ブロック別推定パッチが十分に参照パッチに近似する場合には、ＭＳＥがほぼノイズ成分のパワーに比例するためである。

【0060】

なお、強調処理部１２８は、強調フィルタリング処理の一例であるウィーナフィルタリングをブロック別推定パッチに適用してもよい。ウィーナフィルタリングは、信号成分とノイズ成分が無相関と仮定し、周波数領域において元の解析対象信号とフィルタ係数を乗じて得られるフィルタ済区間別推定信号との差分のパワーが最小化するようにフィルタ係数を定める手法である。例えば、ウィーナフィルタリングにおいて、強調処理部１２８は、周波数領域の変換係数にフィルタ係数を乗じる。強調処理部１２８は、フィルタ係数を乗じて得られる乗算値をフィルタ化変換係数として有するフィルタ化三次元周波数領域データに対して逆離散フーリエ変換を行ってフィルタ化三次元画像データを生成する。強調処理部１２８は、フィルタ化三次元画像データから抽出された再構成パッチと参照パッチとの差分のパワーが最小化するようにフィルタ係数を定める。ウィーナフィルタリングによれば、参照ブロックにおける解析対象信号との差分が大きい周囲ブロックに基づく周囲パッチほど寄与が小さくなるようにフィルタ係数が定まるためノイズ成分が低減する。また、個々のブロック別推定パッチにおいて参照パッチから欠落または抑圧された周波数成分が補われるため、さらに参照パッチの推定精度を向上することができる。

【0061】

（ノイズ抑圧処理）
以下、本実施形態に係るノイズ抑圧処理の例について説明する。図９は、本実施形態に係るノイズ抑圧処理の例を示すフローチャートである。図９に示す例では、１フレームの平面画像を示す画像データを解析対象信号として用い、特性パラメータの算出にＮＨＡを用いる場合を例にする。

【0062】

（ステップＳ１０２）特性解析部１２４は、１フレームのうち処理対象として注目する領域である参照ブロックを設定する。また、特性解析部１２４は、参照ブロックと同じ大きさの領域であって、その参照ブロックとは異なる領域を周囲ブロックとして複数個設定する。周囲ブロックは、参照ブロックと重なり合わない領域であってもよいし、その一部が参照ブロックと重なり合う領域であってもよい。

【0063】

（ステップＳ１０４）特性解析部１２４は、解析対象とする画像データのうち未処理の周囲ブロックの有無を判定し、未処理の周囲ブロックがあると判定するとき（ステップＳ１０４ ＹＥＳ）、ステップＳ１０６の処理に進む。未処理の周囲ブロックがないと判定するとき（ステップＳ１０４ ＮＯ）、ステップＳ１１８の処理に進む。

【0064】

（ステップＳ１０６）特性解析部１２４は、未処理の周囲ブロックのいずれか１つを処理対象の周囲ブロックとして特定し、画像データのうち特定した周囲ブロック内の部分画像を示す周囲パッチを抽出する。その後、特性解析部１２４は、解析済の周波数成分の個数の初期値を０個と設定し、ステップＳ１０８の処理に進む。

【0065】

（ステップＳ１０８）特性解析部１２４は、解析済の周波数成分の個数がＫ個未満か否かを判定する。Ｋ個未満と判定するとき（ステップＳ１０８ ＹＥＳ）、ステップＳ１１０の処理に進む。Ｋ個以上と判定するとき（ステップＳ１０８ ＮＯ）、ステップＳ１１４の処理に進む。

【0066】

（ステップＳ１１０）特性解析部１２４は、周囲ブロック内の信号値を含む周囲パッチに対してＮＨＡを行い、特性パラメータとして処理対象信号との残差の大きさが最小化される周波数成分の特性パラメータとして、二次元の周波数、振幅および位相のセットを定める。但し、処理対象信号の初期値として、周囲パッチが用いられる。その後、ステップＳ１１２の処理に進む。

【0067】

（ステップＳ１１２）特性解析部１２４は、解析対象信号の信号値からステップＳ１１０で定めた特性パラメータに基づいて構成される周波数成分の周波数別推定信号値を画素ごとに差し引いて得られた画素ごとの周波数成分残差を信号値として有する新たな解析対象信号を生成する。そして、特性解析部１２４は、解析済の周波数成分の個数を１加算する。その後、ステップＳ１０８の処理に進む。

【0068】

（ステップＳ１１４）信号推定部１２６は、周波数成分ｋごとに算出された周波数と周囲ブロックから参照ブロックまでの変位に基づいて、算出された位相を補正する（位相補正）。信号推定部１２６は、周波数、振幅、および補正後の位相のセットを用いて得られる周囲ブロックにおける周波数成分ｋごとの周波数別推定信号を合成（加算）して得られるブロック別推定パッチを生成（推定）する。その後、ステップＳ１１６の処理に進む。

【0069】

（ステップＳ１１６）特性解析部１２４は、解析対象とする周囲ブロックを未処理の周囲ブロックから除外する。その後、ステップＳ１０４の処理に進む。
（ステップＳ１１８）強調処理部１２８は、信号推定部１２６が生成した周囲ブロックごとのブロック別推定パッチと参照パッチとの差分の大きさに基づいて、個々の推定パッチの順序をソートする。強調処理部１２８は、例えば、大きさの指標値としてＭＳＥを算出し、ブロック別推定パッチの順序をＭＳＥの昇順に定める。
（ステップＳ１２０）強調処理部１２８は、個々のブロック別推定パッチに対して強調フィルタリングを行って推定パッチを生成する。強調処理部１２８は、強調フィルタリングにおいて、上記のステップＳ２４－Ｓ３０の処理を行う。その後、図９に示す処理を終了する。

【0070】

なお、特性解析部１２４は、ステップＳ１０２において１フレームの画像のうち、参照ブロック以外の領域の全体にわたり互いに重なり合わずに配列されるように個々の周囲ブロックの位置を設定してもよいが、これには限られない。特性解析部１２４は、１フレームの画像の一部の領域であって参照ブロックから所定の範囲内において、互いに重なり合わずに配列されるように個々の周囲ブロックの位置を設定してもよい。特性解析部１２４は、例えば、参照ブロック、周囲ブロックの大きさがそれぞれ水平方向８画素、垂直方向８画素（以下、８×８と呼ぶ）である場合には、参照ブロックと重心が共通な４０×４０の範囲内の領域に設定してもよい。

【0071】

（再構成画像の例）
次に、図９に例示される処理により１フレームの平面画像内の複数の参照ブロックのそれぞれについて生成された推定された推定パッチを二次元平面内に配置して構成される再構成画像の例について説明する。但し、参照ブロック、周囲ブロックの大きさを、それぞれ８×８とした。参照ブロック、周囲ブロックの大きさは任意に設定可能であるが、小さくすることで各ブロックの信号成分が比較的周波数の低い低周波成分が主となる。そのため、不規則な模様による推定精度の低下を抑制することができる。また、周波数成分の数Ｋを３０個とした。周波数成分の数Ｋも任意に設定可能であるが、周波数成分の数Ｋを多くするほど推定精度が高くなる傾向がある。例えば、参照ブロックの大きさが８×８である場合には、周波数成分Ｋが５－２０個であれば周囲パッチについてＮＨＡを実行して得られた特性パラメータから推定パッチのＰＳＮＲ（後述）は４０ｄＢ以上となる。この推定精度は、人間の視覚により参照パッチと識別できない程度に十分に良好な品質に相当する。

【0072】

図１０は、人間の皮膚表面の状態を示す１フレームの平面画像の一部である参照画像を原画像ｏ１００２として、従来法としてＢＭ３Ｄを用いて生成された再構成画像ｐ１００４と、本実施形態の図９に示す処理により生成された推定信号が示す再構成画像ｐ１００６とを示す。再構成画像ｐ１００４には、原画像ｏ１００２と同様な全体的な輝度の変化が表れているが、輝度が平滑化され微細な輝度の変化が不鮮明になっている。これは、処理の過程で周波数が比較的高い高域成分が失われるためである。これに対し、再構成画像ｐ１００６では、輝度の平滑化がほとんど生じず原画像ｏ１００２で表れている微細な輝度の変化が維持されている。このことは、本実施形態によれば高域成分が失われず、従来法よりも高精度で原画像を再構成できることを示す。

【0073】

次に、標準画像に対してノイズが付加されたノイズ付加画像を解析対象信号として用いて生成された再構成画像の例について説明する。ここで、標準画像とは、標準的な解像度を有する画像を意味する。再構成画像の大きさを、５１２×５１２とした。但し、図１１、図１２に示す例では、全体的に滑らかな模様を表すピーマンを被写体として用いた。その他、微細な濃淡の変化が規則的に表れるボートの表面を被写体として用いた。

【0074】

図１２に示す原画像ｏ１２０２は、図１１のほぼ中央右寄りに設定された注目領域ｏ１１０２内の画像に相当する。図１２において、再構成画像ｐ１２０６、ｐ１２０８は、それぞれノイズ付加画像ｎ１２０４に対して、それぞれＢＭ３Ｄ、本実施形態の手法を用いて生成された推定パッチを集積して得られた画像である。図１２に示す例でも、再構成画像ｐ１２０６よりも再構成画像ｐ１２０８の方が原画像ｏ１２０２の模様が鮮明に再現される。特に再構成画像ｐ１２０８では、茎の凹凸や照射された光の反射にぼけを生じずに原画像ｏ１２０２と同様の模様が再現される。そこで、原画像に付加したノイズのレベルとしてσ５、σ１０の２通り、手法としてＢＭ３Ｄと本実施形態の２通り（計４通り）について再構成画像の推定精度を定量的に評価した。ここで、σ５とは、標準偏差が５となるランダムな信号値を有する系列をなすガウシアンノイズを意味する。５、１０などの値は、信号値の振幅の目安となる無次元の値であって、絶対的な値ではない。

【0075】

図１３、図１４は、それぞれピーマン、ボートの再構成画像の推定精度の例を示す表である。推定精度として、ＰＳＮＲ（ピーク信号対雑音比：Peak Signal-to-Noise Ratio）とＳＳＩＭ（構造的類似性：Structural Similarity）を求めた。ＰＳＮＲ、ＳＳＩＭは、それぞれ大きいほど再構成画像の再現性、視覚的類似性が高いことを示す指標値である。図１３、図１４に示す例によれば、ノイズのレベルとしてσ５、σ１０のいずれについても、ＢＭ３Ｄよりも本実施形態を用いて生成された再構成画像の方がＰＳＮＲ、ＳＳＩＭが大きくなる。このことは、本実施形態によれば再構成画像の推定精度を定量的に向上できることを示す。また、ノイズレベルが低いほど、本実施形態によるＰＳＮＲ、ＳＳＩＭの増加傾向が著しくなる。

【0076】

次に、高解像度画像に対してノイズが付加されたノイズ付加画像を解析対象信号として用いて生成された再構成画像の例について説明する。ここで、高解像度画像とは、標準的な解像度よりも有意に高い解像度を有する画像を意味する。図１５、図１６は、画像全体の水平方向の画素数が２０４８個である２Ｋ画像の例である。但し、再構成画像の大きさを、５１２×５１２とした。図１５に示す例では、ボートの表面を被写体として用いた。図１５に示す例では、文字が付され直線や円弧の輪郭（エッジ）が顕著なクラシックカーの前面を被写体として用いた。

【0077】

図１５において、再構成画像ｐ１５０６、ｐ１５０８は、それぞれ原画像ｏ１５０２に対してノイズが付加されたノイズ付加画像ｎ１５０４に対して、それぞれＢＭ３Ｄ、本実施形態の手法を用いて再構成された再構成画像である。図１６において、再構成画像ｐ１６０６、ｐ１６０８は、それぞれ原画像ｏ１６０２に対してノイズが付加されたノイズ付加画像ｎ１６０４に対して、それぞれＢＭ３Ｄ、本実施形態の手法を用いて再構成された再構成画像である。

【0078】

図１５に示す例では、再構成画像ｐ１５０６よりも再構成画像ｐ１５０８の方が、図１６に示す例では、再構成画像ｐ１６０６よりも再構成画像ｐ１６０８の方が、原画像に表れている模様が鮮明に再現される。再構成画像ｐ１５０８では、ボート表面の凹凸にぼけを生じずに微細な模様が再現される。再構成画像ｐ１６０８では、文字やエッジ周辺にボケが生じずに原画像と同様の鮮明な模様が再現される。高解像度画像についても、再構成画像の推定精度を定量的に評価した。そこで、図１５、図１６に示す原画像ｏ１５０２、ｏ１６０２のそれぞれに付加したノイズのレベルとしてσ５について、手法としてＢＭ３Ｄと本実施形態の２通り（計４通り）について再構成画像の推定精度を定量的に評価した。

【0079】

図１７は、再構成画像の推定精度の例を示す表である。図１７に示す例によれば、原画像ｏ１５０２、ｏ１６０２のいずれについても、ＢＭ３Ｄよりも本実施形態を用いて生成された再構成画像の方がＰＳＮＲ、ＳＳＩＭが大きくなる。また、原画像ｏ１５０２よりも原画像ｏ１６０２の方が、本実施形態による再構成画像の推定精度の向上の度合いが著しい。これは、空間周波数が高い高域成分を有するエッジを多く含む原画像ｏ１６０２における画質の向上による寄与が大きいことを裏付ける。

【0080】

以上に説明したように、本実施形態に係る信号処理装置１０は、複数個の第１区間（例えば、参照区間）のそれぞれにおける解析対象信号から当該解析対象信号の特性を示す特性パラメータを算出する解析部（例えば、特性解析部１２４）を備える。信号処理装置１０は、第１区間のそれぞれについて特性パラメータに基づいて第２区間（例えば、参照区間）における解析対象信号の推定値を含む区間別推定信号を生成する推定部（例えば、信号推定部１２６）と、第１区間のそれぞれの区間別推定信号を平均化して推定信号を生成する処理部（例えば、強調処理部１２８）と、を備える。この構成によれば、第１区間のそれぞれについて推定された区間別推定信号を平均化して第２区間の解析対象信号の推定値を含む推定信号を生成することができる。個々の第１区間の区間別推定信号に含まれるノイズ成分が平均化により相対的に低減する。また、個々の第１区間の区間別推定信号について抑圧または欠落した成分が相補われた推定信号が生成される。そのため、解析対象信号を構成する各成分を維持しながらノイズを抑圧することができる。

【0081】

また、解析部は周波数成分ごとの振幅と位相を特性パラメータとして算出し、推定部は周波数成分ごとに第１区間のそれぞれから第２区間への変位に基づいて位相の補正値（即ち、補正後の位相）を算出し、振幅と位相の補正値に基づいて第２区間における再構成値を算出し、算出した再構成値を含む周波数別推定信号を合成して区間別推定信号を生成してもよい。この構成によれば、周波数成分ごとに第１区間から第２区間までの変位に基づいて補正した位相を用いて、第１区間とは異なる第２区間における解析対象信号の周波数成分を再構成することができる。

【0082】

また、解析部は、周波数成分ごと周波数、振幅および位相に基づいて第１区間のそれぞれにおける再構成値を算出し、再構成値を含む周波数別推定信号と第１区間のそれぞれにおける解析対象信号との差分が最小化されるように、周波数成分ごとの周波数、振幅および位相を算出してもよい。この構成によれば、少数の特性パラメータにより高い精度で第２区間の周波数別推定信号を合成して得られる区間別推定信号を生成することができる。そのため、第２区間における解析対象信号を高い精度で推定することができる。

【0083】

また、処理部は、区間別推定信号のうち、第２区間における解析対象信号との差分が小さいほど優先して、平均化の対象とする区間別推定信号を少なくとも２個選択してもよい。この構成によれば、解析対象信号の再現性が高い区間別推定信号を優先して平均化に用いることができるため、解析対象信号の推定精度を向上させることができる。

【0084】

また、処理部は、第１区間のそれぞれの区間別推定信号を加重平均して推定信号を算出し、第２区間における解析対象信号との差分が大きいほど、第１区間のそれぞれの区間別推定信号の推定信号に対する寄与が小さくなるように、加重平均における第１区間のそれぞれの区間別推定信号に対する係数を定めてもよい。この構成によれば、加重平均において解析対象信号の再現性が高い区間別推定信号ほど重視されるため、解析対象信号の推定精度を向上させることができる。

【0085】

また、解析対象信号は、二次元画像における画素ごとの信号値を示す画像信号であり、複数個の第１区間と第２区間は、それぞれ異なる二次元画像の一部の領域（例えば、ブロック）であってもよい。この構成によれば、本実施形態に係る信号処理装置、信号処理方法を二次元画像の一部の領域である第２区間の推定精度を向上させながらノイズを抑圧することができる。

【0086】

以上、図面を参照してこの発明の一実施形態について詳しく説明してきたが、具体的な構成は上述のものに限られることはなく、この発明の要旨を逸脱しない範囲内において様々な設計変更等をすることが可能である。

【0087】

例えば、上記の実施形態は解析対象信号として二次元信号の一種である平面画像を示す画像データを用いる場合を例にしたが、これには限られない。解析対象信号は、一次元信号または三次元以上の次元数のデータであってもよい。また、解析対象信号は、音声信号、加速度信号、生体信号、気温、気圧、などの物理量を信号値として有する系列に限られず、株式をはじめとする有価証券や種々の物品の価格、為替交換率、ある地域の人口などの社会現象を示す指標値を信号値として有する系列であってもよい。また、特性パラメータは、ＮＨＡに限られず、解析対象信号の特性を表現できるとともに、算出した特性パラメータに基づいて参照区間とは別個の周囲区間における解析対象信号を高い精度で推定できる数理モデルに係るパラメータであってもよい。例えば、数理モデルとして一次関数で信号値の特性を高い精度で回帰できる解析対象信号については、切片と傾きが特性パラメータに相当する。

【0088】

解析対象信号は、時間または空間的に等間隔でサンプルされた信号値の系列に限られず、不等間隔でサンプルされた信号値の系列であってもよい。
平均化処理の手法は、信号成分をノイズ成分よりも相対的に強調できる手法であれば、ＢＭ３Ｄを応用した手法に限られず、他の手法、例えば、非局所平均化フィルタリング法（ＮＬＭ: Non-local Means Filtering）を応用した手法であってもよい。ＮＬＭにおいても、画像の一部の周囲パッチに代え、上記のブロック別推定パッチを適用すればよい。また、平均化処理の対象は、個々の周囲区間の区間別推定信号に限られず、参照区間の解析対象信号も含まれてもよい。その場合においても、参照区間の解析対象信号に含まれるノイズ成分と、区間別推定信号に含まれるノイズ成分とを平均化して合成されるノイズ成分を、合成される信号成分よりも相対的に低減することができる。

【0089】

解析対象信号として、平面画像または立体画像を示す画像データが用いられる場合には、本実施形態は、コンピュータグラフィクスにおける要素技術として応用されてもよい。例えば、映画、ゲームコンテンツ、放送番組映像などの映像の編集におけるノイズ成分の除去の他、欠落部分の補間、拡張（外挿処理）などに利用されてもよい。その場合、制御部１２０は、補間もしくは拡張される領域を、参照ブロックとして特定すればよい。

【符号の説明】

【0090】

１０…信号処理装置、１０２…プロセッサ、１０４…ＲＯＭ、１０６…ＲＡＭ、１０８…操作入力部、１１０…表示部、１１２…入出力部、１２０…制御部、１２２…信号取得部、１２４…特性解析部、１２６…信号推定部、１２８…強調処理部、１４０…記憶部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】