特許 6172641 画像フィルタリング装置、画像フィルタリング方法及び画像フィルタリングプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6172641

(24)【登録日】2017年7月14日

(45)【発行日】2017年8月2日

(54)【発明の名称】画像フィルタリング装置、画像フィルタリング方法及び画像フィルタリングプログラム

(51)【国際特許分類】

   G06T 5/00 20060101AFI20170724BHJP

   H04N 1/409 20060101ALI20170724BHJP

【ＦＩ】

   G06T5/00 705

   H04N1/40 101C

【請求項の数】11

【全頁数】37

(21)【出願番号】特願2014-519887(P2014-519887)

(86)(22)【出願日】2013年5月2日

(86)【国際出願番号】JP2013062769

(87)【国際公開番号】WO2013183391

(87)【国際公開日】20131212

【審査請求日】2016年4月15日

(31)【優先権主張番号】特願2012-128012(P2012-128012)

(32)【優先日】2012年6月5日

(33)【優先権主張国】JP

(73)【特許権者】

【識別番号】304023318

【氏名又は名称】国立大学法人静岡大学

(74)【代理人】

【識別番号】100088155

【弁理士】

【氏名又は名称】長谷川 芳樹

(74)【代理人】

【識別番号】100108257

【弁理士】

【氏名又は名称】近藤 伊知良

(74)【代理人】

【識別番号】100124800

【弁理士】

【氏名又は名称】諏澤 勇司

(74)【代理人】

【識別番号】100128107

【弁理士】

【氏名又は名称】深石 賢治

(72)【発明者】

【氏名】下平 美文

(72)【発明者】

【氏名】天野 雄介

【審査官】 ▲広▼島 明芳

(56)【参考文献】

【文献】 特開２００６−０３３４７３（ＪＰ，Ａ）

【文献】 特開２０１０−１７８３０２（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｔ ５／００ − ５／５０

Ｈ０４Ｎ １／４０９

(57)【特許請求の範囲】

【請求項1】

画像信号に対してフィルタリングを行う画像フィルタリング装置であって、
画像信号を入力する入力手段と、
前記入力手段により入力された前記画像信号を構成する画素のうち着目画素の信号強度と該着目画素の周囲の画素の信号強度との差に重みづけを行い、重みづけを行った着目画素の信号強度と該着目画素の周囲の画素の信号強度との差を足しあわせた値に設定された係数γを掛け合わせた値と該着目画素の信号強度とを足し合わすことで、該着目画素のフィルタリング後の信号強度を算出するフィルタリング手段と、
前記フィルタリング手段によって算出された前記フィルタリング後の信号強度の画素で構成される画像信号を出力する出力手段と、
同一の対象を撮像した複数の参照用画像信号を入力して、該参照用画像信号を構成する画素に含まれるノイズの、該画素の信号強度に応じた分散値を複数算出し、該ノイズの分散値から、画像信号の画素に含まれる信号強度に応じたノイズの上限値であるノイズ分散上限値を算出するノイズ分散上限値算出手段と、
前記ノイズ分散上限値算出手段が算出した前記ノイズ分散上限値を用いて、前記周囲の画素が、前記着目画素のノイズの分散値を算出するために用いることができる画素か否かを判定する算出画素決定手段と、
前記算出画素決定手段により、前記着目画素のノイズの分散値を算出するために用いることができる画素であると判定された前記周囲の画素を用いて、前記着目画素のノイズ分散値σ^２_{ｔｏｔａｌ}（ｃ）を推定するノイズ分散推定手段と、
を備え、
前記フィルタリング手段は、前記重みづけを行う際は、前記周囲の画素の画素位置と前記着目画素の画素位置との距離が近いほど重みづけを重くし、前記周囲の画素の信号強度と前記着目画素の信号強度との差が小さいほど重みづけを重くし、
前記フィルタリング手段は、

【数1】

と定義される式によりフィルタリング後の信号強度を算出し、
Ｓ_ｏ´（）はフィルタリング後の信号強度、
Ｓ_ｉ´（）はフィルタリング前の信号強度、
ｃは着目画素の画素位置、
ｐは着目画素の前記周囲の画素の画素位置、
Ωは前記周囲の画素が位置する領域、
γは前記係数、
σ_ｄ^２は着目画素からの距離に応じた重みづけを行う際のパラメータ、
σ_ｒ^２は着目画素の信号強度との差に応じた重みづけを行う際のパラメータ、
であり、
前記フィルタリング手段は、前記σ_ｒ^２として前記ノイズ分散値σ^２_{ｔｏｔａｌ}（ｃ）を用いてフィルタリング後の信号強度を算出する、画像フィルタリング装置。

【請求項2】

画像信号に対してフィルタリングを行う画像フィルタリング装置であって、
画像信号を入力する入力手段と、
前記入力手段により入力された前記画像信号を構成する画素のうち着目画素の信号強度と該着目画素の周囲の画素の信号強度との差に重みづけを行い、重みづけを行った着目画素の信号強度と該着目画素の周囲の画素の信号強度との差を足しあわせた値に設定された係数γを掛け合わせた値と該着目画素の信号強度とを足し合わすことで、該着目画素のフィルタリング後の信号強度を算出するフィルタリング手段と、
前記フィルタリング手段によって算出された前記フィルタリング後の信号強度の画素で構成される画像信号を出力する出力手段と、
同一の対象を撮像した複数の参照用画像信号を入力して、該参照用画像信号を構成する画素に含まれるノイズの、該画素の信号強度に応じた分散値を複数算出し、該ノイズの分散値から、画像信号の画素に含まれる信号強度に応じたノイズの上限値であるノイズ分散上限値を算出するノイズ分散上限値算出手段と、
前記ノイズ分散上限値算出手段が算出した前記ノイズ分散上限値を用いて、前記周囲の画素が、前記着目画素のノイズの分散値を算出するために用いることができる画素か否かを判定する算出画素決定手段と、
前記算出画素決定手段により、前記着目画素のノイズの分散値を算出するために用いることができる画素であると判定された前記周囲の画素を用いて、前記着目画素のノイズ分散値σ^２_{ｔｏｔａｌ}（ｃ）を推定するノイズ分散推定手段と、
を備え、
前記フィルタリング手段は、前記重みづけを行う際は、前記周囲の画素の画素位置と前記着目画素の画素位置との距離が近いほど重みづけを重くし、前記周囲の画素の信号強度と前記着目画素の信号強度との差が小さいほど重みづけを重くし、
前記フィルタリング手段は、

【数2】

と定義される式によりフィルタリング後の信号強度を算出し、
Ｓ_ｏ´（）はフィルタリング後の信号強度、
Ｓ_ｉ´（）はフィルタリング前の信号強度、
ｃは着目画素の画素位置、
ｐは着目画素の前記周囲の画素の画素位置、
Ωは前記周囲の画素が位置する領域、
γは前記係数、
σ_ｄ^２は着目画素からの距離に応じた重みづけを行う際のパラメータ、
σ_ｒ^２は着目画素の信号強度との差に応じた重みづけを行う際のパラメータ、
δＶ（Ｓ_ｉ´（ｐ））は画像信号の領域を分割した複数領域のうちｐを含む領域の信号強度と着目画素の信号強度との差、
であり、
前記フィルタリング手段は、前記σ_ｒ^２として前記ノイズ分散値σ^２_{ｔｏｔａｌ}（ｃ）を用いてフィルタリング後の信号強度を算出する、画像フィルタリング装置。

【請求項3】

前記算出画素決定手段は、

【数3】

と定義される式を満たす場合に、前記周囲の画素が、前記着目画素のノイズの分散値を算出するために用いることができる画素であると判定し、
σ^２_ｍａｘ（Ｓ_ｉ´（ｃ））は前記着目画素のノイズ分散上限値、
Ｋは予め設定された判定係数、
である、請求項１又は２に記載の画像フィルタリング装置。

【請求項4】

画像信号に対してフィルタリングを行う画像フィルタリング装置であって、
画像信号を入力する入力手段と、
前記入力手段により入力された前記画像信号を構成する画素のうち着目画素の信号強度と該着目画素の周囲の画素の信号強度との差に重みづけを行い、重みづけを行った着目画素の信号強度と該着目画素の周囲の画素の信号強度との差を足しあわせた値に設定された係数γを掛け合わせた値と該着目画素の信号強度とを足し合わすことで、該着目画素のフィルタリング後の信号強度を算出するフィルタリング手段と、
前記フィルタリング手段によって算出された前記フィルタリング後の信号強度の画素で構成される画像信号を出力する出力手段と、
前記係数γを算出する係数算出手段と、
を備え、
前記係数算出手段は、フィルタリング前後の画像信号のノイズの分散値に基づく値を入力して入力した値から、前記係数γを算出する画像フィルタリング装置。

【請求項5】

前記係数算出手段は、

【数4】

と定義される式により前記係数γを算出し、
σ_ｉはフィルタリング前の画像信号のノイズの分散値に基づくノイズ標準偏差、
σ_ｔはフィルタリング後の画像信号のノイズの分散値に基づく残留ノイズ標準偏差、
である、請求項４に記載の画像フィルタリング装置。

【請求項6】

画像信号に対してフィルタリングを行う画像フィルタリング方法であって、
画像信号を入力する入力ステップと、
前記入力ステップにおいて入力された前記画像信号を構成する画素のうち着目画素の信号強度と該着目画素の周囲の画素の信号強度との差に重みづけを行い、重みづけを行った着目画素の信号強度と該着目画素の周囲の画素の信号強度との差を足しあわせた値に設定された係数γを掛け合わせた値と該着目画素の信号強度とを足し合わすことで、該着目画素のフィルタリング後の信号強度を算出するフィルタリングステップと、
前記フィルタリングステップにおいて算出された前記フィルタリング後の信号強度の画素で構成される画像信号を出力する出力ステップと、
同一の対象を撮像した複数の参照用画像信号を入力して、該参照用画像信号を構成する画素に含まれるノイズの、該画素の信号強度に応じた分散値を複数算出し、該ノイズの分散値から、画像信号の画素に含まれる信号強度に応じたノイズの上限値であるノイズ分散上限値を算出するノイズ分散上限値算出ステップと、
前記ノイズ分散上限値算出ステップにおいて算出した前記ノイズ分散上限値を用いて、前記周囲の画素が、前記着目画素のノイズの分散値を算出するために用いることができる画素か否かを判定する算出画素決定ステップと、
前記算出画素決定ステップにおいて、前記着目画素のノイズの分散値を算出するために用いることができる画素であると判定された前記周囲の画素を用いて、前記着目画素のノイズ分散値σ^２_{ｔｏｔａｌ}（ｃ）を推定するノイズ分散推定ステップと、
を含み、
前記フィルタリングステップにおいて、前記重みづけを行う際は、前記周囲の画素の画素位置と前記着目画素の画素位置との距離が近いほど重みづけを重くし、前記周囲の画素の信号強度と前記着目画素の信号強度との差が小さいほど重みづけを重くし、
前記フィルタリングステップにおいて、

【数5】

と定義される式によりフィルタリング後の信号強度を算出し、
Ｓ_ｏ´（）はフィルタリング後の信号強度、
Ｓ_ｉ´（）はフィルタリング前の信号強度、
ｃは着目画素の画素位置、
ｐは着目画素の前記周囲の画素の画素位置、
Ωは前記周囲の画素が位置する領域、
γは前記係数、
σ_ｄ^２は着目画素からの距離に応じた重みづけを行う際のパラメータ、
σ_ｒ^２は着目画素の信号強度との差に応じた重みづけを行う際のパラメータ、
であり、
前記フィルタリングステップにおいて、前記σ_ｒ^２として前記ノイズ分散値σ^２_{ｔｏｔａｌ}（ｃ）を用いてフィルタリング後の信号強度を算出する、画像フィルタリング方法。

【請求項7】

画像信号に対してフィルタリングを行う画像フィルタリング方法であって、
画像信号を入力する入力ステップと、
前記入力ステップにおいて入力された前記画像信号を構成する画素のうち着目画素の信号強度と該着目画素の周囲の画素の信号強度との差に重みづけを行い、重みづけを行った着目画素の信号強度と該着目画素の周囲の画素の信号強度との差を足しあわせた値に設定された係数γを掛け合わせた値と該着目画素の信号強度とを足し合わすことで、該着目画素のフィルタリング後の信号強度を算出するフィルタリングステップと、
前記フィルタリングステップにおいて算出された前記フィルタリング後の信号強度の画素で構成される画像信号を出力する出力ステップと、
同一の対象を撮像した複数の参照用画像信号を入力して、該参照用画像信号を構成する画素に含まれるノイズの、該画素の信号強度に応じた分散値を複数算出し、該ノイズの分散値から、画像信号の画素に含まれる信号強度に応じたノイズの上限値であるノイズ分散上限値を算出するノイズ分散上限値算出ステップと、
前記ノイズ分散上限値算出ステップにおいて算出した前記ノイズ分散上限値を用いて、前記周囲の画素が、前記着目画素のノイズの分散値を算出するために用いることができる画素か否かを判定する算出画素決定ステップと、
前記算出画素決定ステップにおいて、前記着目画素のノイズの分散値を算出するために用いることができる画素であると判定された前記周囲の画素を用いて、前記着目画素のノイズ分散値σ^２_{ｔｏｔａｌ}（ｃ）を推定するノイズ分散推定ステップと、
を含み、
前記フィルタリングステップにおいて、前記重みづけを行う際は、前記周囲の画素の画素位置と前記着目画素の画素位置との距離が近いほど重みづけを重くし、前記周囲の画素の信号強度と前記着目画素の信号強度との差が小さいほど重みづけを重くし、
前記フィルタリングステップにおいて、

【数6】

と定義される式によりフィルタリング後の信号強度を算出し、
Ｓ_ｏ´（）はフィルタリング後の信号強度、
Ｓ_ｉ´（）はフィルタリング前の信号強度、
ｃは着目画素の画素位置、
ｐは着目画素の前記周囲の画素の画素位置、
Ωは前記周囲の画素が位置する領域、
γは前記係数、
σ_ｄ^２は着目画素からの距離に応じた重みづけを行う際のパラメータ、
σ_ｒ^２は着目画素の信号強度との差に応じた重みづけを行う際のパラメータ、
δＶ（Ｓ_ｉ´（ｐ））は画像信号の領域を分割した複数領域のうちｐを含む領域の信号強度と着目画素の信号強度との差、
であり、
前記フィルタリングステップにおいて、前記σ_ｒ^２として前記ノイズ分散値σ^２_{ｔｏｔａｌ}（ｃ）を用いてフィルタリング後の信号強度を算出する、画像フィルタリング方法。

【請求項8】

画像信号に対してフィルタリングを行う画像フィルタリング方法であって、
画像信号を入力する入力ステップと、
前記入力ステップにおいて入力された前記画像信号を構成する画素のうち着目画素の信号強度と該着目画素の周囲の画素の信号強度との差に重みづけを行い、重みづけを行った着目画素の信号強度と該着目画素の周囲の画素の信号強度との差を足しあわせた値に設定された係数γを掛け合わせた値と該着目画素の信号強度とを足し合わすことで、該着目画素のフィルタリング後の信号強度を算出するフィルタリングステップと、
前記フィルタリングステップにおいて算出された前記フィルタリング後の信号強度の画素で構成される画像信号を出力する出力ステップと、
前記係数γを算出する係数算出ステップと、
を含み、
前記係数算出ステップにおいて、フィルタリング前後の画像信号のノイズの分散値に基づく値を入力して入力した値から、前記係数γを算出する画像フィルタリング方法。

【請求項9】

画像信号に対してフィルタリングを行う画像フィルタリングプログラムであって、
コンピュータを、
画像信号を入力する入力手段と、
前記入力手段により入力された前記画像信号を構成する画素のうち着目画素の信号強度と該着目画素の周囲の画素の信号強度との差に重みづけを行い、重みづけを行った着目画素の信号強度と該着目画素の周囲の画素の信号強度との差を足しあわせた値に設定された係数γを掛け合わせた値と該着目画素の信号強度とを足し合わすことで、該着目画素のフィルタリング後の信号強度を算出するフィルタリング手段と、
前記フィルタリング手段によって算出された前記フィルタリング後の信号強度の画素で構成される画像信号を出力する出力手段と、
同一の対象を撮像した複数の参照用画像信号を入力して、該参照用画像信号を構成する画素に含まれるノイズの、該画素の信号強度に応じた分散値を複数算出し、該ノイズの分散値から、画像信号の画素に含まれる信号強度に応じたノイズの上限値であるノイズ分散上限値を算出するノイズ分散上限値算出手段と、
前記ノイズ分散上限値算出手段が算出した前記ノイズ分散上限値を用いて、前記周囲の画素が、前記着目画素のノイズの分散値を算出するために用いることができる画素か否かを判定する算出画素決定手段と、
前記算出画素決定手段により、前記着目画素のノイズの分散値を算出するために用いることができる画素であると判定された前記周囲の画素を用いて、前記着目画素のノイズ分散値σ^２_{ｔｏｔａｌ}（ｃ）を推定するノイズ分散推定手段、
として動作させ、
前記フィルタリング手段は、前記重みづけを行う際は、前記周囲の画素の画素位置と前記着目画素の画素位置との距離が近いほど重みづけを重くし、前記周囲の画素の信号強度と前記着目画素の信号強度との差が小さいほど重みづけを重くし、
前記フィルタリング手段は、

【数7】

と定義される式によりフィルタリング後の信号強度を算出し、
Ｓ_ｏ´（）はフィルタリング後の信号強度、
Ｓ_ｉ´（）はフィルタリング前の信号強度、
ｃは着目画素の画素位置、
ｐは着目画素の前記周囲の画素の画素位置、
Ωは前記周囲の画素が位置する領域、
γは前記係数、
σ_ｄ^２は着目画素からの距離に応じた重みづけを行う際のパラメータ、
σ_ｒ^２は着目画素の信号強度との差に応じた重みづけを行う際のパラメータ、
であり、
前記フィルタリング手段は、前記σ_ｒ^２として前記ノイズ分散値σ^２_{ｔｏｔａｌ}（ｃ）を用いてフィルタリング後の信号強度を算出する、画像フィルタリングプログラム。

【請求項10】

画像信号に対してフィルタリングを行う画像フィルタリングプログラムであって、
コンピュータを、
画像信号を入力する入力手段と、
前記入力手段により入力された前記画像信号を構成する画素のうち着目画素の信号強度と該着目画素の周囲の画素の信号強度との差に重みづけを行い、重みづけを行った着目画素の信号強度と該着目画素の周囲の画素の信号強度との差を足しあわせた値に設定された係数γを掛け合わせた値と該着目画素の信号強度とを足し合わすことで、該着目画素のフィルタリング後の信号強度を算出するフィルタリング手段と、
前記フィルタリング手段によって算出された前記フィルタリング後の信号強度の画素で構成される画像信号を出力する出力手段と、
同一の対象を撮像した複数の参照用画像信号を入力して、該参照用画像信号を構成する画素に含まれるノイズの、該画素の信号強度に応じた分散値を複数算出し、該ノイズの分散値から、画像信号の画素に含まれる信号強度に応じたノイズの上限値であるノイズ分散上限値を算出するノイズ分散上限値算出手段と、
前記ノイズ分散上限値算出手段が算出した前記ノイズ分散上限値を用いて、前記周囲の画素が、前記着目画素のノイズの分散値を算出するために用いることができる画素か否かを判定する算出画素決定手段と、
前記算出画素決定手段により、前記着目画素のノイズの分散値を算出するために用いることができる画素であると判定された前記周囲の画素を用いて、前記着目画素のノイズ分散値σ^２_{ｔｏｔａｌ}（ｃ）を推定するノイズ分散推定手段、
として動作させ、
前記フィルタリング手段は、前記重みづけを行う際は、前記周囲の画素の画素位置と前記着目画素の画素位置との距離が近いほど重みづけを重くし、前記周囲の画素の信号強度と前記着目画素の信号強度との差が小さいほど重みづけを重くし、
前記フィルタリング手段は、

【数8】

と定義される式によりフィルタリング後の信号強度を算出し、
Ｓ_ｏ´（）はフィルタリング後の信号強度、
Ｓ_ｉ´（）はフィルタリング前の信号強度、
ｃは着目画素の画素位置、
ｐは着目画素の前記周囲の画素の画素位置、
Ωは前記周囲の画素が位置する領域、
γは前記係数、
σ_ｄ^２は着目画素からの距離に応じた重みづけを行う際のパラメータ、
σ_ｒ^２は着目画素の信号強度との差に応じた重みづけを行う際のパラメータ、
δＶ（Ｓ_ｉ´（ｐ））は画像信号の領域を分割した複数領域のうちｐを含む領域の信号強度と着目画素の信号強度との差、
であり、
前記フィルタリング手段は、前記σ_ｒ^２として前記ノイズ分散値σ^２_{ｔｏｔａｌ}（ｃ）を用いてフィルタリング後の信号強度を算出する、画像フィルタリングプログラム。

【請求項11】

画像信号に対してフィルタリングを行う画像フィルタリングプログラムであって、
コンピュータを、
画像信号を入力する入力手段と、
前記入力手段により入力された前記画像信号を構成する画素のうち着目画素の信号強度と該着目画素の周囲の画素の信号強度との差に重みづけを行い、重みづけを行った着目画素の信号強度と該着目画素の周囲の画素の信号強度との差を足しあわせた値に設定された係数γを掛け合わせた値と該着目画素の信号強度とを足し合わすことで、該着目画素のフィルタリング後の信号強度を算出するフィルタリング手段と、
前記フィルタリング手段によって算出された前記フィルタリング後の信号強度の画素で構成される画像信号を出力する出力手段と、
前記係数γを算出する係数算出手段、
として動作させ、
前記係数算出手段は、フィルタリング前後の画像信号のノイズの分散値に基づく値を入力して入力した値から、前記係数γを算出する画像フィルタリングプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像フィルタリング装置、画像フィルタリング方法及び画像フィルタリングプログラムに関する。

【背景技術】

【0002】

高画質な画像の撮像（撮影）を実現する上で、エッジやテクスチャ等の本来の信号情報の保存性に優れたノイズ低減手法の重要性が高まっている。このような本来の信号情報の保存性に優れたノイズ低減手法として、バイラテラルフィルタ（Ｂｉｌａｔｅｒａｌ ｆｉｌｔｅｒ）を用いたノイズ低減手法が知られている。（例えば非特許文献１参照）。

【先行技術文献】

【非特許文献】

【0003】

【非特許文献1】Ｃ.Ｔｏｍａｓｉ ａｎｄ Ｒ.Ｍａｎｄｕｃｈｉ, “Ｂｉｌａｔｅｒａｌ ｆｉｌｔｅｒｉｎｇ ｆｏr ｇｒａｙ ａｎｄ ｃｏｌｏｒ ｉｍａｇｅｓ,”ｉｎ Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ＩＥＥＥ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ ＣｏｍｐｕｔｅｒＶｉｓｉｏｎ,Ｂｏｍｂａｙ,Ｉｎｄｉａ, ｐｐ.８３９―８４６，１９９８．

【発明の概要】

【発明が解決しようとする課題】

【0004】

バイラテラルフィルタは、平滑化を行う際に、フィルタリングを行う画素と座標位置が近く信号強度差が少ない画素ほど、フィルタリングにおける重みづけを重くし、フィルタリングの効果を大きくするものである。信号強度差が大きい画素についてはフィルタリングの効果を小さくするため、画像のエッジを保持することができる。

【0005】

しかしながら、従来のバイラテラルフィルタにおいては、入力する画像信号によっては十分にフィルタリングが行えず、ノイズ成分が残留してしまうという問題があった。信号に対するノイズの量を対数で表したものにＳＮＲ（ＳＮ比。数値が大きいほどノイズが少なく高品質の信号であることを示す）があるが、入力する画像信号によっては、出力のＳＮＲが小さくなり、ノイズの除去が十分に行えていなかった。また、十分にフィルタリングが行えないことを懸念して過剰にノイズ低減を行った場合には、元の画像信号情報が消失するという問題があった。すなわち、入力する画像信号に依存しない安定的なフィルタリングを行うことができていなかった。

【0006】

本発明は上記実情に鑑みてなされたものであり、入力する画像信号に依存しない安定的なフィルタリングを行うことができる画像フィルタリング装置、画像フィルタリング方法及び画像フィルタリングプログラムを提供することを目的とする。

【課題を解決するための手段】

【0007】

本発明の一実施形態に係る画像フィルタリング装置は、画像信号に対してフィルタリングを行う画像フィルタリング装置であって、画像信号を入力する入力手段と、入力手段により入力された画像信号を構成する画素のうち着目画素の信号強度と該着目画素の周囲の画素の信号強度との差に重みづけを行い、重みづけを行った着目画素の信号強度と該着目画素の周囲の画素の信号強度との差を足しあわせた値に設定された係数γを掛け合わせた値と該着目画素の信号強度とを足し合わすことで、該着目画素のフィルタリング後の信号強度を算出するフィルタリング手段と、フィルタリング手段によって算出されたフィルタリング後の信号強度の画素で構成される画像信号を出力する出力手段と、を備える。

【0008】

この画像フィルタリング装置では、着目画素のフィルタリング後の信号強度として、着目画素と該着目画素の周囲の画素との信号強度の差に重みづけを行ったものを足し合わせた値に係数γを掛け合わせた値に、着目画素のフィルタリング前の信号強度を足し合わせた値を算出している。係数γを掛け合わせることにより、画像信号にかかわらず、出力のＳＮＲを安定した値とすることができることは、本発明者が鋭意研究を重ねる中で見出した知見である。以上より、本発明の一実施形態によれば、入力する画像信号に依存しない安定的なフィルタリングを行うことができる画像フィルタリング装置を提供することができる。

【0009】

また、本発明の一実施形態に係る画像フィルタリング装置において、フィルタリング手段は、重みづけを行う際は、周囲の画素の画素位置と着目画素の画素位置との距離が近いほど重みづけを重くし、周囲の画素の信号強度と着目画素の信号強度との差が小さい程重みづけを重くしてもよい。周囲の画素について、着目画素からの距離の差及び着目画素の信号強度の差に基づいた重みづけを行うことで、ノイズを除去しながら、エッジやテクスチャ等の本来の信号情報を保持することができる。

【0010】

また、本発明の一実施形態に係る画像フィルタリング装置において、フィルタリング手段は、

【数1】

と定義される式によりフィルタリング後の信号強度を算出し、
Ｓ_ｏ´（）はフィルタリング後の信号強度、
Ｓ_ｉ´（）はフィルタリング前の信号強度、
ｃは着目画素の画素位置、
ｐは着目画素の前記周囲の画素の画素位置、
Ωは前記周囲の画素が位置する領域（着目画素を中心としたＨ×Ｗ画素の局所領域）、
γは前記係数、
σ_ｄ^２は着目画素からの距離に応じた重みづけを行う際のパラメータ、
σ_ｒ^２は着目画素の信号強度との差に応じた重みづけを行う際のパラメータ、
であってもよい。当該定義式を用いることによって、バイラテラルフィルタをもとにして確実に本発明の一実施形態を実施することができる。

【0011】

また、本発明の一実施形態に係る画像フィルタリング装置において、フィルタリング手段は、

【数2】

と定義される式によりフィルタリング後の信号強度を算出し、
Ｓ_ｏ´（）はフィルタリング後の信号強度、
Ｓ_ｉ´（）はフィルタリング前の信号強度、
ｃは着目画素の画素位置、
ｐは着目画素の前記周囲の画素の画素位置、
Ωは前記周囲の画素が位置する領域（着目画素を中心としたＨ×Ｗ画素の局所領域）、
γは前記係数、
σ_ｄ^２は着目画素からの距離に応じた重みづけを行う際のパラメータ（ドメインフィルタ分散値）、
σ_ｒ^２は着目画素の信号強度との差に応じた重みづけを行う際のパラメータ（レンジフィルタ分散値）、
δＶ（Ｓ_ｉ´（ｐ））は画像信号の領域を分割した複数領域のうちｐを含む領域の信号強度と着目画素の信号強度との差、
であってもよい。当該定義式を用いることによって、ノンローカルミーンフィルタをもとにして確実に本発明の一実施形態を実施することができる。

【0012】

また、本発明の一実施形態に係る画像フィルタリング装置において、同一の対象を撮像した複数の参照用画像信号を入力して、該参照用画像信号を構成する画素に含まれるノイズの、該画素の信号強度に応じた分散値を複数算出し、該ノイズの分散値から、画像信号の画素に含まれる信号強度に応じたノイズの上限値であるノイズ分散上限値を算出するノイズ分散上限値算出手段と、ノイズ分散上限値算出手段が算出したノイズ分散上限値を用いて、周囲の画素が着目画素のノイズの分散値を算出するために用いることができる画素か否かを判定する算出画素決定手段と、算出画素決定手段により着目画素のノイズの分散値を算出するために用いることができる画素であると判定された周囲の画素を用いて着目画素のノイズ分散値σ^２_{ｔｏｔａｌ}（ｃ）を推定するノイズ分散推定手段と、をさらに備え、フィルタリング手段は、σ_ｒ^２としてノイズ分散値σ^２_{ｔｏｔａｌ}（ｃ）を用いてフィルタリング後の信号強度を算出してもよい。フィルタリング後の信号強度の算出において、画素毎のノイズ分散値σ^２_{ｔｏｔａｌ}（ｃ）を用いることで、より出力のＳＮＲの値が小さくなることを防止できる。また、一枚の画像から、着目画素のノイズの分散値を算出することができる。

【0013】

また、本発明の一実施形態に係る画像フィルタリング装置において、算出画素決定手段は、

【数3】

と定義される式を満たす場合に、周囲の画素が着目画素のノイズの分散値を算出するために用いることができる画素であると判定し、
σ^２_ｍａｘ（Ｓ_ｉ´（ｃ））は着目画素のノイズ分散上限値、
Ｋは予め設定された判定係数、
であってもよい。条件式を満たす画素で構成される信号集合の分散値を着目画素のノイズの分散値と見なすことで、より確実にノイズの分散値を算出することができる。

【0014】

また、本発明の一実施形態に係る画像フィルタリング装置において、係数γを算出する係数算出手段をさらに備え、係数算出手段は、フィルタリング前後の画像信号のノイズの分散値に基づく値を入力して、入力した値から係数γを算出してもよい。フィルタリング前後の画像信号のノイズの分散値を用いることによって、簡易に係数γの適切な値を求めることができる。

【0015】

また、本発明の一実施形態に係る画像フィルタリング装置において、係数算出手段は、

【数4】

と定義される式により係数γを算出し、
σ_ｉはフィルタリング前の画像信号のノイズの分散値に基づくノイズ標準偏差、
σ_ｔはフィルタリング後の画像信号のノイズの分散値に基づく残留ノイズ標準偏差、
であってもよい。当該定義式を用いることで、より確実に係数γを算出することができる。

【0016】

また、本発明の一実施形態に係る画像フィルタリング方法は、画像信号に対してフィルタリングを行う画像フィルタリング方法であって、画像信号を入力する入力ステップと、入力ステップにおいて入力された画像信号を構成する画素のうち着目画素の信号強度と該着目画素の周囲の画素の信号強度との差に重みづけを行い、重みづけを行った着目画素の信号強度と該着目画素の周囲の画素の信号強度との差を足しあわせた値に設定された係数γを掛け合わせた値と該着目画素の信号強度とを足し合わすことで、該着目画素のフィルタリング後の信号強度を算出するフィルタリングステップと、フィルタリングステップにおいて算出されたフィルタリング後の信号強度の画素で構成される画像信号を出力する出力ステップと、を含む。

【0017】

また、本発明の一実施形態に係る画像フィルタリングプログラムは、画像信号に対してフィルタリングを行う画像フィルタリングプログラムであって、コンピュータを、画像信号を入力する入力手段と、入力手段により入力された画像信号を構成する画素のうち着目画素の信号強度と該着目画素の周囲の画素の信号強度との差に重みづけを行い、重みづけを行った着目画素の信号強度と該着目画素の周囲の画素の信号強度との差を足しあわせた値に設定された係数γを掛け合わせた値と該着目画素の信号強度とを足し合わすことで、該着目画素のフィルタリング後の信号強度を算出するフィルタリング手段と、フィルタリング手段によって算出されたフィルタリング後の信号強度の画素で構成される画像信号を出力する出力手段、として動作させる。

【0018】

当該画像フィルタリング方法及び画像フィルタリングプログラムは、上述の画像フィルタリング装置と同様な効果を奏することができる。

【発明の効果】

【0019】

本発明の一実施形態によれば、画像信号の信号強度の変化に対応した適切なフィルタリングを行うことができる画像フィルタリング装置、画像フィルタリング方法及び画像フィルタリングプログラムを提供することができる。

【図面の簡単な説明】

【0020】

【図1】撮像装置におけるノイズ重畳過程を示す図である。

【図2】固定パターンノイズ及び経時ノイズの重畳イメージを示す図である。

【図3】バイラテラルフィルタの特性を示す図である。

【図4】本発明の実施形態に係る画像フィルタリング装置の機能ブロックを示す図である。

【図5】本発明の実施形態に係る画像信号のノイズ測定方法を示す図である。

【図6】ノイズの分散値の測定結果イメージを示す図である。

【図7】本発明の実施形態に係るノイズ特性の上限近似関数σ^２_ｍａｘ（Ｓ）及び下限近似関数σ^２_ｍｉｎ（Ｓ）を示す図である。

【図8】本発明の実施形態に係るノイズの分散値を算出するために用いる画素の決定イメージを示す図である。

【図9】本発明の実施形態に係る係数γの導出に関する図である。

【図10】本発明の実施形態に係るノイズの分散上限値算出処理を示す図である。

【図11】本発明の実施形態に係るフィルタリング処理を示す図である。

【図12】σ_ｒ毎の入力ＳＮＲに対するノイズ低減特性を示す図である。

【図13】各ノイズ分散値推定方法を比較した図である。

【図14】実施例１の実験条件を示す図である。

【図15】実施例１のうち、カラーチャートを用いた場合の実験結果を示すグラフである。

【図16】実施例１のうち、カラーチャートを用いた場合の実験結果を示す図である。

【図17】実施例２における各フィルタリング装置のノイズ低減特性を示す図である。

【図18】実施例２における各フィルタリング装置のノイズ対信号比を示す図である。

【図19】本発明の実施形態に係る画像フィルタリングプログラムの構成を、記録媒体と共に示す図である。

【図20】σ_ｒ毎の入力ＳＮＲに対するノイズ低減特性の測定方法を示す図である。

【発明を実施するための形態】

【0021】

以下、図面と共に本発明の一実施形態に係る画像フィルタリング装置、画像フィルタリング方法及び画像フィルタリングプログラムについて詳細に説明する。なお、図面の説明においては同一要素には同一符号を付し、重複する説明を省略する。

【0022】

まず、図１を参照して、撮像装置におけるノイズ重畳過程について説明する。撮像装置１で被写体を撮像すると、入射光がレンズ２、カラーフィルタ３を通過し、イメージセンサーによって光電変換され、アナログ信号となり、Ａ／Ｄ変換部４によって画像信号がデジタル化される。該デジタル化される画像信号は、デバイス非依存の色を表す色変換ＸＹＺ表色系の信号値としてもよい。ＸＹＺ表色系の信号値は、ＲＧＢ表色系の階調値（Ｒ，Ｇ，Ｂ）に変換行列Ｍを掛け合わせることにより算出できる。被写体の撮像から画像信号をデジタル化する過程においては、図１に示したように、画像信号に固定パターンノイズ（Ｆｉｘｅｄ Ｐａｔｔｅｒｎ Ｎｏｉｓｅ）と経時ノイズ（Ｔｅｍｐｏｒａｌ Ｎｏｉｓｅ）が重畳する。固定パターンノイズは光学系やセンサーを含めた、撮像装置１の分光感度のむらを原因とするノイズである。経時ノイズには暗電流ノイズ、ショットノイズ、量子化ノイズ等がある。暗電流ノイズは抵抗体内の電子の不規則な熱振動によって生じる熱雑音を原因とするノイズである。また、ショットノイズは、フォントや電子の量子的な揺らぎを原因とするノイズである。また、量子化ノイズは、Ａ／Ｄ変換部４による画像信号のデジタル化の際に発生するノイズである。固定パターンノイズと経時ノイズを足し合わせたノイズを総合ノイズ（Ｔｏｔａｌ Ｎｏｉｓｅ）とする。画像信号に対する総合ノイズの重畳は不可避であるため、これらのノイズを低減する手法が求められている。

【0023】

図２は、固定パターンノイズ及び経時ノイズの重畳イメージである。固定パターンノイズに関わる軸は、下軸（Ｘ軸）及び左軸（Ｙ軸）である。下軸は画像信号の信号強度Ｓ_１´（画素値、輝度値）を、左軸は画像信号の頻度を総画素数で割った値（ＰＤＦ（Ｓ_１´）を、それぞれ示している。経時ノイズに関わる軸は、上軸（Ｕ軸）及び右軸（Ｒ軸）である。上軸は、本来の画像信号強度からの差ΔＳ_ｉ´（後述する平均値画像を用いた測定においては、平均値画像と平均値画像作成に使用したそれぞれの画像の信号強度の差分）を、右軸は画像信号の頻度を総画素数で割った値（ＰＤＦ（ΔＳ_１´）を、それぞれ示している。図面中に表したように、点線は固定パターンノイズの影響を受けた信号強度の実測値を、実線は経時パターンノイズの影響を受けた信号強度の実測値を表している。

【0024】

図２に示すように、固定パターンノイズの影響を受けた信号強度の実測値及び経時パターンノイズの影響を受けた信号強度の実測値の双方とも、本来の信号情報を境として、前後同じ程度にばらついた値が画像信号の信号強度として観測されている。これは、固定パターンノイズ及び、経時ノイズである暗電流ノイズ、ショットノイズ、量子化ノイズのいずれも、確率密度関数は正規分布又は正規分布に近似可能な関数で表され、その分散値が信号強度に依存するためである。このことから、画像信号に対する固定パターンノイズ及び経時ノイズの統計的性質はガウス分布（Ｇａｕｓｓｉａｎ）に従う（ガウス分布に近似可能である）。すなわち、重畳する各ノイズはガウス分布に従っていることが分かる。

【0025】

次に、本実施形態に係る画像フィルタリング装置に用いるバイラテラルフィルタについて説明する。図３はバイラテラルフィルタの特性を示す図である。

【0026】

バイラテラルフィルタは、フィルタリング前の画像信号のエッジを保ちながら、平滑化処理を行うものであり、ドメインフィルタとレンジフィルタの２種類の加重平均フィルタで構成されている。バイラテラルフィルタは２種類の加重平均フィルタの加重関数ｗ_ｄ（ドメインフィルタの加重関数）、ｗ_ｒ（レンジフィルタの加重関数）で重みを設定する。ドメインフィルタの加重関数ｗ_ｄは、着目画素と周囲の画素との距離（座標軸上の類似度）に関する重みであり、距離が近いほど重みを大きく設定する。これは、近距離の画素は相関が高いとの仮定に基づくものである。すなわち、例え信号強度が類似している周囲の画素であっても、画素間の距離が離れている場合には異なる信号源から得られた信号と仮定する。また、レンジフィルタの加重関数ｗ_ｒは、着目画素と周囲の画素との信号強度の差（信号強度軸上の類似度）に関する重みであり、信号強度の差が小さいほど重みを大きく設定する。このことにより、エッジ境界部分の画素のように、周囲の画素との間で信号強度の差の絶対値が大きい画素は、平滑化処理にほとんど利用されず、画像のエッジを鈍らせないという効果が得られる。

【0027】

上述したバイラテラルフィルタの特性は図３（ａ）に示される。グラフの横軸は着目画素の周囲の画素の画素位置ｐを、グラフの縦軸は信号強度Ｓ_ｉ´を示している。また、図３（ａ）中では、ドメインフィルタの加重関数ｗ_ｄのグラフは画素位置ｐが「８」である場合に重みを最も重くしており、レンジフィルタの加重関数ｗ_ｒのグラフは信号強度が「１５０」である場合に重みを最も重くしている。これは、着目画素の画素位置が「８」であり、信号強度が「１５０」であることによるものである。

【0028】

図３（ａ）に示したバイラテラルフィルタは、下記式に示される。

【数5】

Ｓ_ｏ´（）はフィルタリング後の信号強度、Ｓ_ｉ´（）はフィルタリング前の信号強度、ｃは着目画素の画素位置、ｐは着目画素の前記周囲の画素の画素位置、Ωは前記周囲の画素が位置する領域（着目画素を中心としたＨ×Ｗ画素の局所領域（Ｈ、Ｗは予め設定された自然数））、σ_ｄ^２は着目画素からの距離に応じた重みづけを行う際のパラメータ（ドメインフィルタ分散値）、σ_ｒ^２は着目画素の信号強度との差に応じた重みづけを行う際のパラメータ（レンジフィルタ分散値）をそれぞれ表している。

【0029】

バイラテラルフィルタは、周囲の画素が位置する領域（着目画素を中心としたＨ×Ｗ画素の局所領域）Ω、着目画素からの距離に応じた重みづけを行う際のパラメータ（ドメインフィルタ分散値）σ_ｄ^２、着目画素の信号強度の差に応じた重みづけを行う際のパラメータσ_ｒ^２がノイズ低減を左右するパラメータである。過剰なノイズ低減や不十分なノイズ低減によるノイズ成分の残留は、画像信号へのノイズ重畳量に対してパラメータ設定が不適切な場合に起こる。

【0030】

図３（ａ）では、横軸として周囲の画素の画素位置ｐを、縦軸として信号強度Ｓ_ｉ´を用いたが、横軸に着目画素と周囲の画素の画素位置の差ｐ−ｃを、縦軸として着目画素と周囲の画素の信号強度の差δＳ_ｉ´を用いた場合には、バイラテラルフィルタの特性は図３（ｂ）に示されるようになる。着目画素と同一の画素位置（ｐ−ｃ＝０）であり、着目画素と同一の信号強度（δＳ_ｉ´＝０）である場合に、ドメインフィルタの加重関数ｗ_ｄ及びレンジフィルタの加重関数ｗ_ｒの重みが最も重くなっている。

【0031】

図３（ｂ）に示したバイラテラルフィルタは下記式に示される。

【数6】

なお、バイラテラルフィルタの特性については、非特許文献１に記載がある。

【0032】

次に、本発明の実施形態に係る画像フィルタリング装置１０の機能について説明する。図４は、本発明の実施形態に係る画像フィルタリング装置１０の機能ブロックを示す図である。例えば、画像フィルタリング装置１０は、図１に示したＡ／Ｄ変換部４によりデジタル化された画像信号に対して、フィルタリングを行うものである。図４に示すように、本実施形態に係る画像フィルタリング装置１０は、入力部１１と、出力部１２と、フィルタリング部１３と、ノイズ分散上限値算出部１４と、算出画素決定部１５と、ノイズ分散推定部１６と、係数算出部１７とを備えて構成される。画像フィルタリング装置１０のフィルタとしては、例えばバイラテラルフィルタやノンローカルミーンフィルタ（Ｎｏｎ−ｌｏｃａｌ Ｍｅａｎｓ Ｆｉｌｔｅｒ）をベースとしたフィルタを用いることができる。画像フィルタリング装置１０は、例えばＣＰＵ、メモリ等のハードウェアを備えるコンピュータにより実現される。画像フィルタリング装置１０は、撮像装置１に搭載されている。

【0033】

また、入力画像信号のＳＮＲは、２０ｌｏｇ_１０（Ｓ_{ｉ・ｂａｒ}´／σ_ｉ）で、出力画像信号のＳＮＲは、２０ｌｏｇ_１０（Ｓ_{ｏ・ｂａｒ}´／σ_ｔ）で、それぞれ表すことができる。ここで、Ｓ_{ｉ・ｂａｒ}´はフィルタリング前の信号強度の平均値、Ｓ_{ｏ・ｂａｒ}´はフィルタリング後の信号強度の平均値、σ_ｉはフィルタリング前の（入力信号の）画像信号のノイズの分散値に基づくノイズ標準偏差、σ_ｔはフィルタリング後の画像信号のノイズの分散値に基づく残留ノイズ標準偏差、をそれぞれ表している。入力画像信号のＳＮＲ及び出力画像信号のＳＮＲは、画像信号毎や画素毎等で求めることができる。Ｓ_{ｉ・ｂａｒ}´及びＳ_{ｏ・ｂａｒ}´は、画像信号毎に算出する場合には画像信号全体の画素の信号強度を平均したものとなり、画素毎に算出する場合には画素毎の信号強度となり、カラーチャートの各カラーカードナンバー（画像中の同一の色の範囲）毎に算出する場合には各カラーカードナンバー毎の信号強度を平均したものとなる。σ_ｉ及びσ_ｔは、画像信号毎や画素毎等で求めることができる。σ_ｉ及びσ_ｔを画像信号毎で算出する場合には、例えば、後述する、フィルタリング前後における画像信号に含まれる各着目画素毎のノイズの分散値であるノイズ分散値σ^２_{ｔｏｔａｌ}の平方根であるノイズ標準偏差σ_{ｔｏｔａｌ}を平均したものがσ_ｉ及びσ_ｔとなる。σ_ｉ及びσ_ｔを画素毎で算出する場合には、例えば、後述する、フィルタリング前後における画像信号に含まれる各着目画素毎のノイズ標準偏差σ_{ｔｏｔａｌ}が、各画素のσ_ｉ及びσ_ｔとなる。σ_ｉ及びσ_ｔをカラーチャートの各カラーカードナンバー毎で算出する場合には、例えば、後述する、フィルタリング前後における各カラーカードナンバー毎で画像信号に含まれる各着目画素毎のノイズ標準偏差σ_{ｔｏｔａｌ}を平均したものがσ_ｉ及びσ_ｔとなる。なお、ノイズ分散値σ^２_{ｔｏｔａｌ}及びノイズ標準偏差σ_{ｔｏｔａｌ}は、後述するノイズ分散上限値算出部１４によって複数毎の画像から算出でき、また、後述するノイズ分散推定部１６によって一枚の画像から算出することができる。

【0034】

入力部１１は、Ａ／Ｄ変換部４によりデジタル化された画像信号を入力する入力手段である。入力部１１が入力する画像信号は、フィルタリング前の信号強度の画素で構成されている。入力部１１が入力した画像信号は、フィルタリング部１３に入力される。

【0035】

出力部１２は、フィルタリング部１３によって算出されたフィルタリング後の信号強度の画素で構成される画像信号を出力する出力手段である。

【0036】

フィルタリング部１３は、入力部１１により入力された画像信号に対して、画像信号中のノイズ除去及びエッジの強調などを行うための演算を施し（フィルタリングを行い）、フィルタリング後の信号強度を算出するフィルタリング手段である。フィルタリング部１３によりフィルタリングが行われた画像信号は出力部１２に入力される。

【0037】

フィルタリング部１３は、入力部１１により入力された画像信号を構成する画素のうち着目画素の信号強度と該着目画素の周囲の画素の信号強度との差に重みづけを行い、重みづけを行った着目画素の信号強度と該着目画素の周囲の画素の信号強度との差を足しあわせた値に設定された係数γを掛け合わせた値と該着目画素の信号強度とを足し合わすことで、該着目画素のフィルタリング後の信号強度を算出するフィルタリング手段である。着目画素とは入力された画像信号に含まれる画素であり、フィルタリング後の信号強度を算出する画素である。周囲の画素とは、着目画素の周囲に位置する画素であり、着目画素の信号強度を算出するために用いる画素である。フィルタリング部１３は、入力された画像信号に含まれる全画素を順次着目画素とし、フィルタリング後の信号強度を算出することで、入力された画像信号のフィルタリング後の信号強度を算出する。

【0038】

係数γは重みづけを行った周囲の画素を足し合わせた値に掛け合わせる値であり、予め所定の値を設定してもよいし、後述する係数算出部１７により算出してもよい。係数γを掛け合わせることによりフィルタリング後の画像信号のＳＮ比を安定した値とすることができることは、本発明者が鋭意研究を重ねる中で見出した知見である。

【0039】

フィルタリング部１３は、上述した重みづけを行う際は、周囲の画素の画素位置と着目画素の画素位置との距離が近いほど重みづけを重くする。また、フィルタリング部１３は、上述した重みづけを行う際は、周囲の画素の信号強度と着目画素の信号強度との差が小さい程重みづけを重くする。

【0040】

フィルタリング部１３は、バイラテラルフィルタを用いて上述したフィルタリングを行う場合には、下記で定義される式によりフィルタリング後の信号強度を算出することができる。

【数7】

上記式（６）で示した一般的なバイラテラルフィルタの式との相違点は、右辺のフィルタリング前の信号強度Ｓ_ｉ´（）を除く部分に係数γを掛け合わせている点である。

【0041】

フィルタリング部１３は、ノンローカルミーンフィルタを用いて上述したフィルタリングを行う場合には、下記で定義される式によりフィルタリング後の信号強度を算出することができる。

【数8】

上記式（７）と同様に右辺のフィルタリング前の信号強度Ｓ_ｉ´（）を除く部分に係数γを掛け合わせている。上記式（７）と異なる点は、δＶ（Ｓ_ｉ´（ｐ））を用いている点である。δＶ（Ｓ_ｉ´（ｐ））は、例えば画像信号の領域を同一の大きさで格子状に分割した複数領域のうちｐを含む領域の信号強度と着目画素の信号強度との差である。すなわち、バイラテラルフィルタの定義式である上記式（７）においては、レンジフィルタの加重関数ｗ_ｒは、着目画素と周囲の画素との信号強度の差を各周囲の画素毎に算出して求めていたが、ノンローカルミーンフィルタの定義式である上記式（８）においては、レンジフィルタの加重関数ｗ_ｒは、着目画素と周囲の画素との信号強度の差を、周囲の画素が位置する一定領域（画像信号の領域を分割した複数領域のうちｐを含む領域）毎に算出して求めている。この場合に、一定領域の信号強度としては、例えば、一定領域に含まれる各画素の信号強度の平均を用いることができる。

【0042】

また、発明者は鋭意研究を重ねる中で、上記式（７）及び上記式（８）において、着目画素の信号強度との差に応じた重みづけを行う際のパラメータ（レンジフィルタ分散値）σ_ｒ^２として、各着目画素毎のノイズの分散値であるノイズ分散値σ^２_{ｔｏｔａｌ}を用いてフィルタリング後の信号強度を算出すると、より安定したフィルタリングを行うことができることを見出した。後述するノイズ分散上限値算出部１４、算出画素決定部１５、ノイズ分散推定部１６によって、各着目画素毎のノイズの分散値であるノイズ分散値σ^２_{ｔｏｔａｌ}が算出された場合には、フィルタリング部１３は、上記式（７）及び上記式（８）において、着目画素の信号強度との差に応じた重みづけを行う際のパラメータ（レンジフィルタ分散値）σ_ｒ^２としてノイズ分散値σ^２_{ｔｏｔａｌ}を用いてフィルタリング後の信号強度を算出する。

【0043】

ノイズ分散上限値算出部１４は、同一の対象を撮像した複数の参照用画像信号を入力して、該参照用画像信号を構成する画素に含まれるノイズの、該画素の信号強度に応じた分散値を複数算出し、該ノイズの分散値から、画像信号の画素に含まれる信号強度に応じたノイズの上限値であるノイズ分散上限値を算出するノイズ分散上限値算出手段である。

【0044】

ノイズ分散上限値算出部１４によって算出される、複数のノイズの分散値の算出方法の例について、図５により説明する。なお、ノイズの分散値の算出方法については、「“ＩＳＯ１５７３９ Ｆｉｒｓｔ ｅｄｉｔｉｏｎ ： Ｐｈｏｔｏｇｒａｐｈｙ−Ｅｌｅｃｔｒｏｎｉｃ ｓｔｉｌｌ−ｐｉｃｔｕｒｅ ｉｍａｇｉｎｇ−Ｎｏｉｓｅ ｍｅａｓｕｒｅｍｅｎｔｓ”,２００３．」（以下、非特許文献２という）に記載がある。図５（ａ）に示すように、最初に、撮像装置１で同一の対象であるカラーチャートをｎ枚撮像し、参照用画像とする。カラーチャートとは、色の表、すなわち、色見本を配列した板状の物体であり、色彩再現性をチェックするなど色の比較・測定に用いるものである。また、ｎ枚とは８枚以上であればよく、本実施形態では１０枚とする。撮像装置１とカラーチャートの位置関係は固定とする。

【0045】

次に、撮像装置１とカラーチャートの位置関係は同一位置に固定、露光時間も同一として、遮光空間で暗電流画像を１０枚撮像し、それぞれの暗電流画像を構成する画素の信号強度の分散値を算出し、それらの平均値σ^２_ｄｃを求める。そして、暗電流画像から、暗電流ノイズの平均値を取得し、最初に取得した１０枚の参照用画像から暗電流ノイズによって加算されるバイアスを減算し、暗電流補正後の画像を作成する。

【0046】

次に、図５（ｂ）に示すように、暗電流補正後の１０枚の画像から、平均値画像を１枚作成する。平均値画像とは、各画素毎の平均信号強度を取得した画像である。次に、図５（ｃ）に示すように、平均値画像と暗電流補正後の１０枚の画像とから、それらの差分である、差分画像を１０枚作成する。

【0047】

次に、図５（ｄ）に示すように、平均値画像について、Ｍ×Ｎ画素（Ｍ、Ｎは予め設定された自然数）のエッジを含まない平坦な領域を持つ局所領域を選択し、該局所領域における平均値画像を構成する画素の信号強度の分散値σ^２_ａｖｅを算出する。Ｍ×Ｎ画素としては、例えばＭ＝Ｎ＝２１とすることが考えられる。

【0048】

次に、図５（ｅ）に示すように、全ての差分画像について、Ｍ×Ｎ画素のエッジを含まない平坦な領域を持つ局所領域を選択し、該局所領域における差分画像の信号強度及び分散値を算出する。その後、各差分画像を構成する画素の信号強度の分散値の平均値σ^２_ｄｉｆｆを算出する。

【0049】

そして、σ^２_ａｖｅ及びσ^２_ｄｉｆｆの算出後、下記で定義される式により、図５（ｆ）に示すように、経時ノイズの分散値σ^２_ｔｅｍｐ、固定パターンノイズの分散値σ^２_ｆｐ、総合ノイズの分散値σ^２_{ｔｏｔａｌ}をそれぞれ算出する。

【数9】

【0050】

図６は、ノイズの分散値の測定結果イメージを示している。図６のグラフの横軸は信号強度Ｓ_ｉ´を、縦軸は各ノイズの分散値を表している。上記式により算出した経時ノイズの分散値σ^２_ｔｅｍｐ、固定パターンノイズの分散値σ^２_ｆｐ、総合ノイズの分散値σ^２_{ｔｏｔａｌ}は、画素位置を特定位置に固定した場合には、図６（ａ）に示したように、信号強度を変数とした近似式で推定することができる。

【0051】

当該近似式で推定した経時ノイズの分散値σ^２_ｔｅｍｐ、固定パターンノイズの分散値σ^２_ｆｐ、総合ノイズの分散値σ^２_{ｔｏｔａｌ}と、各ノイズの分散値の測定値との一致度合を示す係数として重相関係数Ｒを用いると、重相関係数Ｒの決定係数Ｒ^２（決定係数Ｒ^２は０以上かつ１以下であって、１に近い値であるほど比較対象の一致度が高いことを示す）の値は、図６（ａ）に示した表のようになる。画像信号を、無彩色であって学習内（近似式を算出するのに用いた画素）のものにした場合及び有彩色で学習外（近似式を算出するのに用いていない画素）のものにした場合のいずれの場合においても、経時ノイズの分散値σ^２_ｔｅｍｐ、固定パターンノイズの分散値σ^２_ｆｐ、総合ノイズの分散値σ^２_{ｔｏｔａｌ}の決定係数Ｒ^２は１に極めて近い値となる。すなわち、各ノイズの分散値は、近似式による値と実測値とで、高い一致度となる。

【0052】

一方で、画素位置を不特定位置とした場合には、重相関係数Ｒの決定係数Ｒ^２の値は、図６（ｂ）に示した表のようになる。画像信号を、カラーチャート２４色の不特定位置であって学習外のものにした場合には、画素位置の依存性がない経時ノイズの分散値σ^２_ｔｅｍｐについての決定係数Ｒ^２は１に極めて近い値となるものの、画素位置の依存性がある固定パターンノイズの分散値σ^２_ｆｐについての決定係数Ｒ^２は０．７７６８となり、近似式による値と実測値とで一致度は低いものとなる。総合ノイズの分散値σ^２_{ｔｏｔａｌ}についても決定係数Ｒ^２は０．８７８２となり、近似式による値と実測値とで一致度は低いものとなる。固定パターンノイズの分散値σ^２_ｆｐ及び総合ノイズの分散値σ^２_{ｔｏｔａｌ}についての、近似式による値と実測値との乖離が大きいことから、画素位置を不特定位置とした場合には、１つの近似式で経時ノイズの分散値σ^２_ｔｅｍｐ、固定パターンノイズの分散値σ^２_ｆｐ、総合ノイズの分散値σ^２_{ｔｏｔａｌ}を推定することはできないことがわかる。そこで、ノイズの分散値の上下限値を特定（ノイズ特性の上下限近似関数を特定）することで、ノイズの分散値を算出する方法を採用する。

【0053】

上記式（９）にて算出された、経時ノイズの分散値σ^２_ｔｅｍｐ、固定パターンノイズの分散値σ^２_ｆｐはそれぞれパラメータα及びβを用いて下記で定義する式に表すことができる。Ｓ_{ｉ・ａｖｅ}´は平均値画像の信号強度である。

【数10】

【0054】

そして、ノイズ分散上限値算出部１４は、算出したＳ_{ｉ・ａｖｅ}´、σ^２_ｄｃ、及び上記式（９）から算出したσ^２_ｆｐ、σ^２_ｔｅｍｐと、上記式（１０）より、パラメータα及びパラメータβを得る。パラメータα及びパラメータβは、画素毎やカラーチャートの同一色毎に得ることができる。ノイズ分散上限値算出部１４は得られた複数のパラメータα及び複数のパラメータβから、複数のαのうち最大値であるα_ｍａｘ、複数のβのうち最大値であるβ_ｍａｘ、複数のβのうち最小値であるβ_ｍｉｎを選定する。具体的には、ランダムサンプリングした画素に対して、α_ｍａｘはｍａｘ｛α（Ｓ_ｉ´（ｐ））｝、β_ｍａｘはｍａｘ｛β（Ｓ_ｉ´（ｐ））｝、β_ｍｉｎはｍｉｎ｛β（Ｓ_ｉ´（ｐ））｝でそれぞれ求められる。α_ｍａｘ及びβ_ｍａｘからはノイズ特性の上限近似関数σ^２_ｍａｘ（Ｓ_ｉ´）が、β_ｍｉｎからはノイズ特性の下限近似関数σ^２_ｍｉｎ（Ｓ_ｉ´）が、それぞれ下記で定義する式により算出される。なお、ノイズ特性の下限近似関数σ^２_ｍｉｎ（Ｓ_ｉ´）については、後述する算出画素決定部１５による着目画素のノイズの分散値を算出するための画素の決定においては、必ずしも必要ではない。

【数11】

【0055】

図７は、ノイズ特性の上限近似関数σ^２_ｍａｘ（Ｓ_ｉ´）及び下限近似関数σ^２_ｍｉｎ（Ｓ_ｉ´）を示している。図７のグラフの横軸は信号強度Ｓ_ｉ´を、縦軸は各ノイズの分散値を表している。ノイズの分散値の上下限が決定するため、各信号強度におけるノイズの分散値σ^２_{ｔｏｔａｌ}は、当該上下限値の間の値であると推定できる。なお、ノイズ特性の上下限近似関数に関しては、「Ｙ．Ｍ．Ｂａｅｋ，Ｊ．Ｃ．Ｋｉｍ，Ｄ．Ｃ．Ｃｈｏ，Ｊ．Ａ．Ｌｅｅ，ａｎｄＷ．Ｙ.Ｋｉｎ,“Ｉｎｔｅｇｒａｔｅｄ Ｎｏｉｓｅ Ｍｏｄｅｌｉｎｇ Ｆｏｒ Ｉｍａｇｅ Ｓｅｎｓｏｒ Ｕｓｉｎｇ Ｂａｙｅｒ Ｄｏｍａｉｎ Ｉｍａｇｅｓ”,Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ／Ｃｏｍｐｕｔｅｒ Ｇｒａｐｈｉｃｓ ＣｏｌｌａｂｏｒａｔｉｏｎＴｅｃｈｎｉｑｕｅｓ,ｐｐ.４１３−４２４,２００９．」（以下、非特許文献３という）に記載がある。ただし、当該文献には、ノイズ分散の上下限を定義するモデル化の提案はされているものの、各パラメータ（α_ｍａｘ、β_ｍａｘ、β_ｍｉｎ）の決定方法は明確に示されていない。また、モデル作成に使用するチャートは、マクベスカラーチャートとすることで、グレイスケールチャートや均一光源面等を用いた場合と比較して、撮影回数の低減を実現した。

【0056】

ここで、当該ノイズの分散値推定方法は、一枚の画像のみを使用して着目画素のノイズ分散値を推定するものである。そのために、局所領域内画素の信号は同一の信号強度（極めて近似する信号強度を含む）である同一信号源を撮像し、事前に取得したノイズ特性の上限内に収まる特性のノイズが重畳していると仮定する。すなわち、ノイズ特性の上限値を用いて同一の信号強度の画素を推定し、ノイズの分散値を推定するものである。

【0057】

算出画素決定部１５は、ノイズ分散上限値算出部１４が算出したノイズ分散上限値を用いて、入力部１１によって入力されたフィルタリング対象の画像信号における周囲の画素が、着目画素のノイズの分散値を算出するために用いることができる画素か否かを判定する算出画素決定手段である。

【0058】

算出画素決定部１５は、着目画素のノイズ分散上限値を示す上限近似関数σ^２_ｍａｘ（Ｓ_ｉ´）を用いて、周囲の画素の信号強度が、下記で定義される式を満たすか判定し、該周囲の画素が、着目画素のノイズの分散値を算出するために用いることができる画素か否かを判定する。

【数12】

【0059】

上記式（１２）において、Ｋは予め設定された判定係数（０．５ｋｓｉｇｍａｐｏｉｎｔ）であり、判定係数Ｋとしては、例えば、５を用いる。上記式（１２）を満たす周囲の画素は、着目画素と同一の信号強度（極めて近似する信号強度を含む）である同一信号源であると判断され、後述する着目画素のノイズの分散値の算出に用いられる。

【0060】

算出画素決定部１５による、ノイズの分散値を算出するために用いる画素の決定イメージを図８に示す。ノイズの分散値を算出するために用いる画素の決定はフィルタリング対象の一枚の画像のみを使用して行われる。図中のｃは着目画素を、ｐは周囲の画素を示す。図８（ａ）に示すように、中央のマスを着目画素とし、その他のマスを周囲の画素としている。いま、各マスのうち、斜線が描かれているマスは上記式（１２）を満たす周囲の画素の位置、白抜きのマスは上記式（１２）を満たさない周囲の画素の位置とする。例えば、図８（ｂ）のように、上記式１２を満たさない周囲の画素については、着目画素のノイズの分散値を算出するために用いない画素であると判定される。一方で、図８（ｃ）のように、上記式１２を満たす周囲の画素については、着目画素のノイズの分散値を算出するために用いることができる画素であると判定される。このように、周囲の画素について、それぞれ判定していき、図８（ｄ）のように、上記式１２を満たす周囲の画素で構成された信号集合Ｓ_Ψを導出する。

【0061】

ノイズ分散推定部１６は、算出画素決定部１５により着目画素のノイズの分散値を算出するために用いることができる画素であると判定された周囲の画素から、着目画素のノイズの分散値σ^２_{ｔｏｔａｌ}（ｃ）を推定するノイズ分散推定手段である。ノイズ分散推定部１６は、図８（ｄ）に示した信号集合Ｓ_Ψに含まれる画素の信号強度の分散値を、着目画素の総合ノイズ分散値σ^２_{ｔｏｔａｌ}（ｃ）であるとみなす（ＶＡＲ（Ｓ_Ψ）＝σ^２_{ｔｏｔａｌ}（ｃ））。ノイズ分散推定部１６によって算出された着目画素毎のノイズの分散値σ^２_{ｔｏｔａｌ}（ｃ）は、フィルタリング部１３によって、フィルタリング後の信号強度を算出するためのパラメータとして用いられる。具体的には、フィルタリング部１３は、上記式（１）又は（２）におけるσ_ｒ^２として、ノイズの分散値σ^２_{ｔｏｔａｌ}（ｃ）を用いてフィルタリング後の信号強度を算出する。なお、画素毎におけるノイズ分散値σ^２_{ｔｏｔａｌ}（ｃ）を求める方法は、上記方法に限定されず、その他の方法により求めてもよい。

【0062】

係数算出部１７は、係数γを算出する係数算出手段である。係数算出部１７は、フィルタリング前後の画像信号のノイズの分散値に基づく値を入力して入力した値から、係数γを算出する。係数γは、フィルタリング前後の画像信号のノイズの分散値に基づく値である、フィルタリング前後のノイズの標準偏差から求めることができる。ここで、フィルタリングは、例えばフィルタリング装置１０によって実施され、上記式（１）又は（２）で定義される式によりフィルタリング後の信号強度が算出される。この場合には、例えば、上記式（１）又は（２）のγ＝１として、フィルタリング部１３によるフィルタリングが行われる。また、フィルタリング前後のノイズの標準偏差σ_ｉ及びσ_ｔとしては、例えば、総合ノイズ標準偏差σ_{ｔｏｔａｌ}を用いることができ、係数γを画像信号毎に算出する場合には、画像信号に含まれる各着目画素のノイズ標準偏差σ_{ｔｏｔａｌ}を平均したものが、σ_ｉ及びσ_ｔとなり画像信号毎の係数γが算出される。また、係数γを画素毎に算出する場合には、画像信号に含まれる各着目画素毎のノイズ標準偏差σ_ｉ及びσ_ｔが各画素のσ_ｉ及びσ_ｔとなり各着目画素毎の係数γが算出される。なお、ノイズ分散値σ^２_{ｔｏｔａｌ}及びノイズ標準偏差σ_{ｔｏｔａｌ}は、後述するノイズ分散上限値算出部１４によって複数毎の画像から算出でき、また、後述するノイズ分散推定部１６によって一枚の画像から算出することができる。また、フィルタリング装置１０以外のフィルタリング装置でフィルタリングを行い、フィルタリング前後のノイズの標準偏差を求めるものであってもよい。フィルタリング前後のノイズの標準偏差からの係数γの算出は、具体的には、下記で定義する式によって行われる。

【数13】

【0063】

上記式（１３）において、σ_ｉはフィルタリング前の（入力信号の）画像信号のノイズの分散値に基づくノイズ標準偏差、（フィルタリング前の画像信号の総合ノイズ標準偏差σ_{ｔｏｔａｌ}）を、σ_ｔはフィルタリング後の画像信号のノイズの分散値に基づく残留ノイズ標準偏差（フィルタリング後の画像信号の総合ノイズ標準偏差σ_{ｔｏｔａｌ}）をそれぞれ表している。

【0064】

上記式（１３）は以下のように導かれる。分散値の算出式より、以下の式が成り立つ。

【数14】

Ｓ_ｔｒｕｅは信号強度の真値、Ｓ_ｉｎはフィルタリング前の着目画素の信号強度、Ｓ_ｏｕｔはフィルタリング後の着目画素の信号強度である。

【0065】

上記式（１４）に誤差係数（ｅｒｒｏｒ ｆａｃｔｏｒ）εを導入すると、以下の式が成り立つ。

【数15】

【0066】

さらに、上記式（１５）より、以下の式が成り立つ。

【数16】

【0067】

さらに上記式（１６）及び上記式（６）と、

【数17】

の関係をもとに、以下の式が成り立つ。

【数18】

【0068】

また、グラフの横軸にσ_ｒ／σ_ｉ、縦軸にσ_ｔ／σ_ｉをとった場合の係数γは図９に示すようになる。ノイズ分散推定部１６により推定されたノイズの分散値は、実際に測定される値σ_ｉを精度よく推定することができるため、σ_ｒの値をノイズ分散推定部１６により推定されたノイズの分散値とすることで、σ_ｒ≒σ_iとなり、係数γの値を固定値とすることができる。なお、すべての画素について動的に係数γを求め使用することも可能である。

【0069】

引き続いて、図１０及び図１１のフローチャートを用いて、本発明の実施形態に係る画像フィルタリング装置１０の、ノイズの分散上限値算出処理及びフィルタリング処理を説明する。図１０は、本発明の実施形態に係る画像フィルタリング装置１０によるノイズの分散上限値算出処理を示すフローチャートである。本処理のＳ１０１〜Ｓ１０３は、撮像素子温度やシャッタースピード等の撮影条件が同じ場合であれば、一度行われればよく、一度行った後に撮像装置１で被写体を撮像する際には行われない処理である。撮像装置素子温度やシャッタースピード等の撮影条件が変わった場合には、再度、Ｓ１０１〜Ｓ１０３の処理が行われる。

【0070】

まず、同一の対象を撮像した複数の参照用画像が、入力部１１より入力される（Ｓ１０１）。当該参照用画像から、平均値画像及び差分画像を作成し、それぞれの信号強度及び分散値を算出することで、ノイズ分散上限値算出部１４によって、信号強度に応じたノイズの分散値が複数算出される（Ｓ１０２）。

【0071】

そして、算出された信号強度に応じたノイズの分散値から、ノイズ分散上限値算出部１４によって、ノイズ特性の上限近似関数σ^２_ｍａｘ（Ｓ_ｉ´）、及び下限近似関数σ^２_ｍｉｎ（Ｓ_ｉ´）が算出され、信号強度に応じたノイズ分散上限値（及び下限値）が算出される（Ｓ１０３）。

【0072】

図１１は、本発明の実施形態に係るフィルタリング処理を示すフローチャートである。撮像装置１によって被写体が撮像されると、入力部１１により画像信号が入力される（Ｓ１０４、入力ステップ）。そして、着目画素のノイズ分散上限値を示す上限近似関数σ^２_ｍａｘに基づき、算出画素決定部１５によって各着目画素のノイズの分散値を算出するための周囲の画素が決定される（Ｓ１０５）。

【0073】

次に、算出画素決定部１５が決定したノイズの分散値を算出するための周囲の画素を用いて、ノイズ分散推定部１６によって、各着目画素のノイズの分散値σ^２_{ｔｏｔａｌ}（ｃ）が算出される（Ｓ１０６）。

【0074】

次に、算出された各着目画素のノイズの分散値σ^２_{ｔｏｔａｌ}（ｃ）を用いて、フィルタリングが実施される（Ｓ１０７）。この場合には、暫定的に、上記式（１）又は（２）のγ＝１としてフィルタリングが実施される。正係数算出部１７によってフィルタリング前後のノイズの分散値が算出され、上記式（１３）より、係数γが算出される（Ｓ１０８）。

【0075】

そして、Ｓ１０６においてノイズ分散推定部１６に算出された各着目画素のノイズの分散値σ^２_{ｔｏｔａｌ}（ｃ）及び、Ｓ１０８において係数算出部１７に算出された係数γを用いて、フィルタリング部１３によって、再度画像信号のフィルタリングが実施される（Ｓ１０９、フィルタリングステップ）。

【0076】

Ｓ１０９における画像信号のフィルタリング処理が完了すると、出力部１２により、フィルタリング部１３によって算出されたフィルタリング後の信号強度の画素で構成される画像信号が出力される（Ｓ１１０、出力ステップ）。

【0077】

次に、本実施形態に係る画像フィルタリング装置１０の作用・効果について説明する。

【0078】

この画像フィルタリング装置１０では、着目画素のフィルタリング後の信号強度として、着目画素と該着目画素の周囲の画素との信号強度の差に重みづけを行ったものを足し合わせた値に係数γを掛け合わせた値に、着目画素のフィルタリング前の信号強度を足し合わせた値を算出している。係数γを掛け合わせることにより、画像信号にかかわらず、出力のＳＮＲを安定した値とすることができることは、本発明者が鋭意研究を重ねる中で見出した知見である。

【0079】

以上より、本発明の一実施形態によれば、入力する画像信号に依存しない安定的なフィルタリングを行うことができる画像フィルタリング装置１０を提供することができる。また、本画像フィルタリング装置１０によれば、デバイスの種類に関係なく、ノイズ低減に優れた平滑化手法を提供することができる。

【0080】

また、本実施形態に係る画像フィルタリング装置１０において、フィルタリング部１３は、重みづけを行う際は、周囲の画素の画素位置と着目画素の画素位置との距離が近いほど重みづけを重くし、周囲の画素の信号強度と着目画素の信号強度との差が小さい程重みづけを重くすることで、ノイズを除去しながら、エッジやテクスチャ等の本来の信号情報を保持することができる。

【0081】

また、本実施形態に係る画像フィルタリング装置１０において、フィルタリング部１３は、上記式（１）で定義される式によりフィルタリング後の信号強度を算出することで、バイラテラルフィルタをもとにして確実に本発明の一実施形態を実施することができる。

【0082】

また、本実施形態に係る画像フィルタリング装置１０において、フィルタリング部１３は、上記式（２）で定義される式によりフィルタリング後の信号強度を算出することで、ノンローカルミーンフィルタをもとにして確実に本発明の一実施形態を実施することができる。

【0083】

また、本実施形態に係る画像フィルタリング装置１０において、ノイズ分散上限値算出部１４と、算出画素決定部１５と、ノイズ分散推定部１６と、をさらに備え、フィルタリング部１３は、σ_ｒ^２としてノイズ分散値σ^２_{ｔｏｔａｌ}（ｃ）を用いてフィルタリング後の信号強度を算出することで、フィルタリングによる信号強度の算出において、画素毎のノイズ分散値σ^２_{ｔｏｔａｌ}（ｃ）をレンジフィルタの加重関数に反映させることができ、より出力のＳＮＲの値が小さくなることを防止できる。

【0084】

σ_ｒ毎の入力ＳＮＲに対するノイズ低減特性を調べるために、図２０（ａ）に示すように、入力画像であるＣＧチャートにノイズ発生器により、任意のノイズ特性（ノイズ標準偏差がσ_ｉ。ノイズのパラメータは標準偏差σ_ｉを変えて重畳可能）のノイズを重畳したものを、ｎ枚評価画像として作成した。そして、図２０（ｂ）に示すように、ドメインフィルタ分散値σ_ｄ及び局所領域Ωは固定値とし、レンジフィルタ分散値σ_ｒは可変（任意値）とし、フィルタリングを行い、図２０（ｃ）に示すように、それぞれの画素について、ノイズ低減特性を算出する。図２０（ａ）〜図２０（ｃ）に示す処理は、ノイズ低減特性の解析が十分に行われるまで繰り返され、σ_ｉの値を変更して処理を行う場合には図２０（ａ）〜図２０（ｃ）の処理が繰り返され、σ_ｒの値を変更して処理を行う場合には図２０（ｂ）〜図２０（ｃ）の処理が繰り返される。また、ドメインフィルタ分散値σ_ｄ及び局所領域Ωを変えて同様の処理を行えば、σ_ｔ／σ_ｉ、σ_ｒ／σ_ｉ、σ_ｄ、Ωの４パラメータで構成される４次元空間上でノイズ低減特性が表される。なお、σ_ｉ及びσ_ｔの測定方法は、非特許文献２に記載がある。

【0085】

画素毎のノイズ分散値σ^２_{ｔｏｔａｌ}（ｃ）を用いてフィルタリングを行った場合の効果については、図１２（σ_ｒ毎の入力ＳＮＲに対するノイズ低減特性を示す図）により確認することができる。なお、この際の当該フィルタリング処理は、画像フィルタリング装置１０に用いるフィルタのパラメータとして、着目画素を中心とした局所領域Ωは２１×２１画素のサイズに固定し、ドメインフィルタ分散値σ_ｄ^２は固定値９とし、レンジフィルタ分散値σ_ｒ^２は可変とした。また、使用するフィルタはバイラテラルフィルタ等をベースとするものである。また、対象ノイズ（フィルタリング装置１０によるフィルタリング対象となる画像信号に含まれるノイズであって、測定又は算出するもの）はガウス分布に従うノイズとした。また、ＣＧチャートを入力画像信号とした。なお、フィルタのパラメータは上述したものに限定されるものではなく、必要に応じて変更することが可能である。

【0086】

図１２はσ_ｒ毎の入力ＳＮＲに対するノイズ低減特性を示す図である。グラフの横軸が入力画像信号のＳＮＲであり、縦軸が出力画像信号のＳＮＲである。グラフ中で実線で示された線は、フィルタリング処理を行わなかった場合の出力のＳＮＲを表している。着目画素の信号強度との差に応じた重みづけを行う際のパラメータ（レンジフィルタ分散値）としてσ_ｒ^２を用いた場合には、σ_ｒの値を比較的小さく（１３．４）した場合には、入力のＳＮＲを大きくした場合に、出力のＳＮＲが未処理の場合と同等となっており、適切にフィルタリングが行えていないことがわかる。また、σ_ｒの値を比較的大きく（１５８．７）した場合にも、入力のＳＮＲを大きくした場合に出力のＳＮＲが低減（ノイズ低減量が減衰）しており、適切なフィルタリングが行えていないことがわかる。一方で、σ_ｒ^２としてノイズ分散値σ^２_{ｔｏｔａｌ}を用いた場合には、入力のＳＮＲに対してＳＮＲ利得が一定であり、安定的に出力のＳＮＲを得ることができていることがわかる。すなわち、レンジフィルタ分散値σ_ｒ^２に入力画像信号のノイズ分散値σ^２_{ｔｏｔａｌ}を用いることで、入力画像信号のＳＮＲ（信号強度やノイズ特性）に依存しないロバストなノイズ低減が可能となる。

【0087】

また、本実施形態に係る画像フィルタリング装置１０において、算出画素決定部は、上記式（３）で定義される式を満たす場合に、周囲の画素が着目画素のノイズの分散値を算出するために用いることができる画素であると判定することで、一枚の画像から着目画素のノイズの分散値を算出することを可能とする。

【0088】

なお、本実施形態に係る方法以外の方法でノイズの分散値を算出することもでき、他の方法としてはＳＮＥ（ショットノイズ分散値推定）やＡＦＥ（関数近似）などがあるが、図１３に示すように、本実施形態に係る方法を採用することによって、総合ノイズの分散値を高い精度で推定することができる。図１３のグラフにおいて、横軸はノイズの分散値σ^２_{ｔｏｔａｌ}の測定値、縦軸はノイズの分散値σ^２_{ｔｏｔａｌ}の推定値である。なお、ノイズの分散値推定手法については、「Ｈ． Ｔａｌｂｏｔ， Ｈ． Ｐｈｅｌｉｐｐｅａｕ， Ｍ． Ａｋｉｌ， ａｎｄ Ｓ． Ｂａｒａ， “Ｅｆｆｉｃｉｅｎｔ Ｐｏｉｓｓｏｎ ｄｅｎｏｉｓｉｎｇ ｆｏｒ ｐｈｏｔｏｇｒａｐｈｙ,”Ｉｍａｇｅ Ｐｒｏｃｅｓｓｉｎｇ （ＩＣＩＰ）,２００９ １６ｔｈ ＩＥＥＥ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ, ｐｐ.３８８１−３８８４, ２００９.」（以下、非特許文献４という）に記載がある。

【0089】

また、本実施形態に係る画像フィルタリング装置１０において、係数γを算出する係数算出部１７をさらに備え、係数算出部１７は、フィルタリング前後の画像信号のノイズの分散値に基づく値を入力して入力した値から係数γを算出することで、簡易に係数γの適切な値を求めることができる。

【0090】

また、本実施形態に係る画像フィルタリング装置１０において、係数算出部１７は、上記式（４）で定義される式により係数γを算出することで、より確実に係数γを算出することができる。あるいは係数γは、画像フィルタリング装置１０のユーザにより予め設定された値でもよい。この場合、係数γは、例えば、経験的に得られた望ましい値とすることができる。

【0091】

以上、本発明の実施形態について説明したが、本発明は上記実施形態に限られるものではなく、各請求項に記載した要旨を変更しない範囲で変形し、又は他のものに適用したものであってもよい。

【0092】

例えば、画像フィルタリング装置１０は撮像装置１に搭載されているものとしたが、必ずしもこれに限定されるものではなく、画像フィルタリング装置１０は撮像装置１に搭載されているものでなくてもよい。例えば、画像フィルタリング装置１０が別体として構成され、撮像装置１と接続されるように構成されていてもよい。

【0093】

また、画像フィルタリング装置１０のレンジフィルタ分散値σ_ｒ^２は可変としたが、これに限定さえず、予め設定された固定値としてもよい。

【0094】

また、係数γは、レンジフィルタ分散値σ_ｒ^２としてノイズの分散値σ^２_{ｔｏｔａｌ}を用いたフィルタリング前後のノイズの分散値を測定して算出することとしたが、これに限定されるものではなく、例えば、ノイズの分散値σ^２_{ｔｏｔａｌ}を用いないフィルタでフィルタリングを行ってもよい。また、カラーチャートに基づく評価画像にノイズを重畳させた画像を複数毎作成し、フィルタリング前後の画素ノイズ分散値を測定した上で係数γを求めてもよい。

【0095】

また、画像フィルタリング装置１０は、ガウス分布以外のノイズ特性に従うノイズにもｗ_ｒの重み付け関数を対象となるノイズ特性の確率密度関数に変更することで応用でき、例えば医療画像（磁気共鳴画像、超音波画像）やＴＯＦ画像等のノイズ低減にも応用可能である。

【0096】

また、画像フィルタリング装置１０は、カメラ、ディスプレイ、ＣＰＵ等を備えるタブレットＰＣ等の表示画像のノイズ低減に用いることもでき、画像の質感を向上させることができる。

【0097】

また、画像フィルタリング装置１０における信号強度に対する重みづけの考え方を、他のフィルタに展開することが可能である。

【0098】

また、画像フィルタリング装置１０を備えたＸＹＺカメラでは、色変換に由来するランダムノイズの顕著化にも対応することができる。

【0099】

また、画像信号以外の信号処理に対しても、画像フィルタリング装置１０で用いたフィルタを適用することが可能である。

【0100】

以下、本発明の実施例について説明する。なお、本発明はこれらの実施例に限定されるものではない。

【0101】

[実施例１]
実施例１は、種々のフィルタリング装置毎のフィルタリング効果を比較するものである。比較対象となるフィルタリング装置は、上記式（１）によりフィルタリングを行うフィルタリング装置であって係数γ＝１．０とするＮＡＢＦ、上記式（１）によりフィルタリングを行うフィルタリング装置であって係数γ＝２．２とするＣＮＡＢＦ、非特許文献１に記載されたフィルタリング装置であるＤＢＦ、非特許文献４に記載されたフィルタリング装置であるＳＮＡＢＦ、の四種類である。ＮＡＢＦ及びＣＮＡＢＦは、σ_ｒ^２としてノイズ分散値σ^２_{ｔｏｔａｌ}（ｃ）を用いてフィルタリングを行っているが、ＤＢＦ及びＳＮＡＢＦではノイズ分散値σ^２_{ｔｏｔａｌ}（ｃ）を用いていない。また、画像信号をフィルタリングする範囲は２１×２１画素の範囲であり、着目画素からの距離に応じた重みづけを行う際のパラメータ（ドメインフィルタ分散値）σ_ｄ^２＝９とする。

【0102】

図１４に示すように、カラーチャート、花の写真、ピーマンの写真の画像信号について、各フィルタリング装置でフィルタリング処理を行う。なお、このようなフィルタリング処理に関しての実験については、非特許文献１及び非特許文献４に記載がある。なお、撮像装置１として、ＸＹＺ表色系で画像信号の取出しが可能な、ＸＹＺ静止画カメラ（「Ｙ．Ｓｈｉｍｏｄａｉｒａ， Ｈ．Ｓｕｚｕｋｉ， Ｍ．Ｋｒｅｔｋｏｗｓｋｉ， “Ｎｅｗ Ｉｍａｇｉｎｇ ａｎｄ Ｄｉｓｐｌａｙ Ｓｙｓｔｅｍ ｆｏｒ Ｗｉｄｅ Ｇａｍｕｔ Ｃｏｌｏｒ Ｒｅｐｒｏｄｕｃｔｉｏｎ,” ＩＥＥＥ−ＩＡＳ ２００７ Ａｎｎｕａｌ Ｍｅｅｔｉｎｇ, ３３Ｐ５, Ｎｅｗ Ｏｒｌｅａｎｓ, Ｌｏｕｉｓｉａｎａ, ＵＳＡ（２００７．９.２３−２７）」（以下、非特許文献５という）に記載あり）を用いる。

【0103】

図１５に、カラーチャートの各カラーカードナンバー（１〜２３）の画像信号についてフィルタリング処理を行った結果を示している。なお、カラーカードナンバーは数が大きいほど信号強度が強い画像信号である。各カラーカードナンバーの固定パターンノイズ、経時ノイズ、総合ノイズの分散値の算出結果は図１５（ａ）に示すようになった。また、各カラーカードナンバー毎の出力画像信号のＳＮＲは、図１５（ｂ）に示すようになった。図１５（ｂ）から明らかなように、係数γ＝２．２としたＣＮＡＢＦは、いずれのカラーカードナンバーにおいても、出力画像信号のＳＮＲを高い値で維持することができた。各カラーカードナンバーにおける出力画像信号のＳＮＲの平均（ΔＳＮＲ）は、それぞれ、ＮＡＢＦが５．０３、ＣＮＡＢＦが１２．６８、ＤＢＦが６．１７、ＳＮＡＢＦが３．６２となった。

【0104】

また、図１５（ｃ）に示すように、色差についても、各カラーカードナンバーについて、係数γ＝２．２としたＣＮＡＢＦが最も低い値となった。各カラーカードナンバーにおける色差の平均（ｄＥ７６（１．３０））は、それぞれ、ＮＡＢＦが０．７０、ＣＮＡＢＦが０．２６、ＤＢＦが０．５８、ＳＮＡＢＦが０．８２となった。色差は、計測器が持つ誤差として０．３０程度が見込まれるところ、ＣＮＡＢＦでは当該計測器が持つ誤差と同程度の色差となった。

【0105】

また、図１６（ａ）に示すカラーチャートの２か所（範囲Ｘ及び範囲Ｙ）についてフィルタリング処理を行った画像を図１６（ｂ）（範囲Ｘの画像）、図１６（ｃ）（範囲Ｙの画像）に示す。図１６（ｂ）、図１６（ｃ）ともに、最上部の画像はフィルタリング前の画像である。図１６（ｂ）からは、ＣＮＡＢＦによりフィルタリングを行った画像が、各フィルタリング装置の画像のうちで最もなめらかであることがわかる。また、図１６（ｃ）からは、画像の明るさが鋭敏に変化しているエッジ部分について、ＣＮＡＢＦが最も強調できていることがわかる。

【0106】

また、花の写真について各フィルタリング装置でフィルタリング処理を行った出力画像信号のＳＮＲの平均（ΔＳＮＲ）は、それぞれ、ＮＡＢＦが０．９９、ＣＮＡＢＦが１．７０、ＤＢＦが１．０９、ＳＮＡＢＦが０．７４となった。花の写真について各フィルタリング装置でフィルタリング処理を行った出力画像信号の色差の平均（ｄＥ７６（１．６１））は、それぞれ、ＮＡＢＦが１．４３、ＣＮＡＢＦが１．３０、ＤＢＦが１．３１、ＳＮＡＢＦが１．４６となった。

【0107】

また、ピーマンの写真について各フィルタリング装置でフィルタリング処理を行った出力画像信号のＳＮＲの平均（ΔＳＮＲ）は、それぞれ、ＮＡＢＦが１．８４、ＣＮＡＢＦが３．６０、ＤＢＦが２．１３、ＳＮＡＢＦが１．０７となった。ピーマンの写真について各フィルタリング装置でフィルタリング処理を行った出力画像信号の色差の平均（ｄＥ７６（１．３３））は、それぞれ、ＮＡＢＦが１．０３、ＣＮＡＢＦが０．７８、ＤＢＦが０．８５、ＳＮＡＢＦが１．１０となった。

【0108】

以上より、カラーチャート及び花、ピーマンの写真について、出力画像信号のＳＮＲ及び色差の値を調べると、係数γ＝２．２としたＣＮＡＢＦが最も良い値となることがわかった。

【0109】

[実施例２]
実施例２は、カラーチャートに基づく評価画像を１０枚作成し、σ^２_{ｔｏｔａｌ}を用いてかつ係数γ＝１．０とするＮＡＢＦ、σ^２_{ｔｏｔａｌ}を用いてかつ係数γ＝２．２とするＣＮＡＢＦ、σ^２_{ｔｏｔａｌ}ではなく固定値σ_ｒ^２（σ_ｒ１＝０．５Ｓ_ｍａｘ、σ_ｒ２＝０．１２５Ｓ_ｍａｘ）を用いた２つのフィルタリング装置、の計四種類のフィルタリング装置で、画像信号に対してノイズ低減を実施し、処理後の画像信号に対し、処理前の画像信号に対するＳＮＲ利得を求めた。なお、各フィルタリング装置の共通条件として、着目画素を中心とした局所領域は２１×２１画素のサイズに固定し、ドメインフィルタ分散値σ_ｄ^２は固定値９とした。また、Ｓ_ｍａｘとは画像が取りうる最大階調値であり、例えば、本実施例では１４ｂｉｔの出力の撮像装置１を用いているため、Ｓ_ｍａｘ =(２＾１４）−１＝１６３８３となる。

【0110】

図１７は、実施例２における各フィルタリング装置（係数γ＝１．０とするＮＡＢＦを除く）のノイズ低減特性を示す図である。評価画像の結果について、横軸に入力画像信号のＳＮＲ、縦軸にＳＮＲ利得としてプロットしたものである。図１７より、係数γ＝２．２とするＣＮＡＢＦは利得が１２ｄｂ以上であるのに対して、固定値σ_ｒ^２（σ_ｒ１＝０．５Ｓ_ｍａｘ、σ_ｒ２＝０．１２５Ｓ_ｍａｘ）を用いた場合は利得が減衰している。また、図１８に実施例２における各フィルタリング装置のノイズ対信号比を示す。図１８（ａ）は信号真値、図１８（ｂ）〜（ｅ）は未処理のノイズ画像信号と各フィルタリング適用後のノイズ対信号比である。図１８（ｂ）、（ｃ）に示されるＮＡＢＦ、ＣＮＡＢＦの結果より、ＮＡＢＦ及びＣＮＡＢＦは、エッジを保存したままノイズの低減を実現していることがわかった。また、係数γの使用によりノイズの低減効果が上昇していることが図１８（ｂ）、（ｃ）の比較から確認された。一方、図１８（ｄ）、（ｅ）は、信号強度が弱い部分では過剰にノイズの低減が行われ、平坦化されている。また、信号強度が強くなるに従って残留ノイズ成分が増えていくことが確認された。

【0111】

以上より、係数γ及びσ^２_{ｔｏｔａｌ}を用いることによって、適切にノイズ低減が行われることがわかった。なお、ノイズの確立密度関数が正規分布で表されるためレンジフィルタの加重関数はノイズの確立密度関数と等しいところ、着目画素と局所領域内画素の信号強度差は画素ごとのノイズ分散値に適応的な重みづけが行われるため、ＮＡＢＦ、ＣＮＡＢＦでは入力画像信号のＳＮＲ変動にロバストなノイズ低減を行うことができた。

【0112】

引き続いて、上述した画像フィルタリング装置１０の機能を用いた処理を、コンピュータに実行させるための文字入力プログラムを説明する。図１９に示すように、画像フィルタリングプログラム１００は、コンピュータに挿入されてアクセスされる、あるいはコンピュータが備える記録媒体５０に形成されたプログラム格納領域５１内に格納される。

【0113】

画像フィルタリングプログラム１００は、画像フィルタリング処理を統括的に制御するメインモジュール１０１と、入力モジュール１０２と、出力モジュール１０３と、フィルタリングモジュール１０４と、ノイズ分散上限値算出モジュール１０５と、算出画素決定モジュール１０６と、ノイズ分散推定モジュール１０７と、係数算出モジュール１０８とを実行させることにより実現される機能は、上述した画像フィルタリング装置１０の入力部１１と、出力部１２と、フィルタリング部１３と、ノイズ分散上限値算出部１４と、算出画素決定部１５と、ノイズ分散推定部１６と、係数算出部１７と、の機能とそれぞれ同様である。

【0114】

なお、画像フィルタリングプログラム１００は、その一部もしくは全部が、通信回線等の伝送媒体を介して伝送され、他の機器により受信されて記録（インストールを含む）される構成としてもよい。また、画像フィルタリングプログラム１００の各モジュールは、１つのコンピュータでなく、複数のコンピュータのいずれかにインストールされてもよい。その場合、当該複数のコンピュータによるコンピュータシステムによって上述した一連の画像フィルタリングプログラム１００の各種パラメータを決定する処理が行われる。

【符号の説明】

【0115】

１…撮像装置、２…レンズ、３…カラーフィルタ、４…Ａ／Ｄ変換部、１０…画像フィルタリング装置、１１…入力部、１２…出力部、１３…フィルタリング部、１４…ノイズ分散上限値算出部、１５…算出画素決定部、１６…ノイズ分散推定部、１７…係数算出部、５０…記録媒体、５１…プログラム格納部、１００…画像フィルタリングプログラム、１０１…メインモジュール、１０２…入力モジュール、１０３…出力モジュール、１０４…フィルタリングモジュール、１０５…ノイズ分散上限値算出モジュール、１０６…算出画素決定モジュール、１０７…ノイズ分散推定モジュール、１０８…係数算出モジュール。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】