特許 6013178 画像処理装置および画像処理方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6013178

(24)【登録日】2016年9月30日

(45)【発行日】2016年10月25日

(54)【発明の名称】画像処理装置および画像処理方法

(51)【国際特許分類】

   G06T 5/00 20060101AFI20161011BHJP

   H04N 1/409 20060101ALI20161011BHJP

   H04N 5/21 20060101ALI20161011BHJP

【ＦＩ】

   G06T5/00 705

   H04N1/40 101C

   H04N5/21 B

【請求項の数】16

【全頁数】15

(21)【出願番号】特願2012-288414(P2012-288414)

(22)【出願日】2012年12月28日

(65)【公開番号】特開2014-130512(P2014-130512A)

(43)【公開日】2014年7月10日

【審査請求日】2015年9月15日

(73)【特許権者】

【識別番号】000003078

【氏名又は名称】株式会社東芝

(74)【代理人】

【識別番号】110002147

【氏名又は名称】特許業務法人酒井国際特許事務所

(72)【発明者】

【氏名】河田 諭志

(72)【発明者】

【氏名】三島 直

(72)【発明者】

【氏名】金子 敏充

【審査官】 佐藤 実

(56)【参考文献】

【文献】 国際公開第２０１１／０８６５９４（ＷＯ，Ａ１）

【文献】 特開２００８−１２３３７０（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｔ ５／００

Ｈ０４Ｎ １／４０９

Ｈ０４Ｎ ５／２１

(57)【特許請求の範囲】

【請求項1】

入力画像における第１領域と第２領域とを変換するための２以上の基底を取得する基底取得部と、
前記基底取得部で取得された前記２以上の基底それぞれの寄与率を算出する寄与率算出部と、
前記寄与率算出部で算出された前記寄与率に基づき、該寄与率の和が第１の閾値に達するまで前記寄与率の高いものから順に基底を選択する基底選択部と、
前記基底選択部で選択された前記基底の個数が多いほど高くなる制御信号を生成する制御信号生成部と、
前記基底取得部で取得された前記２以上の基底へ前記入力画像における第３領域を射影して射影係数を得る射影部と、
前記射影部で得られた前記射影係数に対し、前記制御信号生成部で生成された前記制御信号が高いほど強くノイズを除去するノイズ除去部と、
前記ノイズ除去部でノイズを除去された前記射影係数を用いて前記第３領域を再表現する再表現部と、
を備える画像処理装置。

【請求項2】

前記基底取得部は、前記第１領域と前記第２領域とを分析することで、前記第１領域と前記第２領域とを変換するための前記２以上の基底を生成する請求項１に記載の画像処理装置。

【請求項3】

前記基底取得部は、前記第１領域と前記第２領域とを主成分分析することにより、前記２以上の基底を生成する請求項２に記載の画像処理装置。

【請求項4】

前記基底取得部は、前記第１領域と前記第２領域とを独立成分分析することにより、前記２以上の基底を生成する請求項２に記載の画像処理装置。

【請求項5】

前記寄与率算出部は、前記２以上の基底それぞれの前記寄与率として、前記主成分分析の結果得られる固有値を該固有値の総和で除算した値を算出する請求項３に記載の画像処理装置。

【請求項6】

前記制御信号生成部は、前記主成分分析の結果得られる固有値の和が第３の閾値に達するまで選択した際の主成分の数を前記制御信号とする請求項３に記載の画像処理装置。

【請求項7】

前記基底取得部は、前記第１領域と前記第２領域とに対し、予め用意した複数の基底の中から前記２以上の基底を取得する請求項１に記載の画像処理装置。

【請求項8】

前記２以上の基底は、それぞれ離散コサイン変換の基底である請求項７に記載の画像処理装置。

【請求項9】

前記２以上の基底は、それぞれ離散ウェーブレット変換の基底である請求項７に記載の画像処理装置。

【請求項10】

前記寄与率算出部は、前記２以上の基底それぞれの前記寄与率として、前記第１の領域と前記第２の領域と、前記基底とのそれぞれの内積の２乗値を該内積の２乗値の総和で除算した値を算出する請求項１または７に記載の画像処理装置。

【請求項11】

前記寄与率算出部は、前記２以上の基底それぞれの前記寄与率として、前記第１の領域と前記第２の領域と、前記基底とのそれぞれの内積の絶対値を該内積の絶対値の総和で除算した値を算出する請求項１または７に記載の画像処理装置。

【請求項12】

前記再表現部は、前記ノイズを除去された射影係数を用いて前記２以上の基底の線形和を算出し、該算出した線形和を用いて前記第３領域を再表現する請求項１または７に記載の画像処理装置。

【請求項13】

前記ノイズ除去部は、前記制御信号が高いほど高く設定される第２の閾値を用いて、前記射影係数に対してノイズを除去する請求項１または７に記載の画像処理装置。

【請求項14】

前記寄与率算出部は、前記２以上の基底それぞれの前記寄与率として、前記第１の領域と前記第２の領域とのそれぞれの内積の分散値を該内積の分散値の総和で除算した値を算出する請求項１または７に記載の画像処理装置。

【請求項15】

前記寄与率算出部は、前記２以上の基底それぞれの前記寄与率として、前記第１の領域と前記第２の領域とのそれぞれの内積の標準偏差を該内積の標準偏差の総和で除算した値を算出する請求項１または７に記載の画像処理装置。

【請求項16】

入力画像における第１領域と第２領域とを変換するための２以上の基底を取得し、
取得された前記２以上の基底それぞれの寄与率を算出し、
算出された前記寄与率に基づき、該寄与率の和が第１の閾値に達するまで前記寄与率の高いものから順に基底を選択し、
選択された基底の個数が多いほど高くなる制御信号を生成し、
取得された前記２以上の基底へ前記入力画像における第３領域を射影して射影係数を得、
得られた前記射影係数に対し、生成された前記制御信号が高いほど強くノイズを除去し、
ノイズを除去された前記射影係数を用いて前記第３領域を再表現する
ことを含む画像処理方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明の実施形態は、画像処理装置および画像処理方法に関する。

【背景技術】

【0002】

画像におけるランダムなノイズを低減する画像処理技術としては、たとえばＢＭ３Ｄ ｗｉｔｈ Ｓｈａｐｅ−Ａｄａｐｔｉｖｅ ＰＣＡ（ＢＭ３Ｄ−ＳＡＰＣＡ）法が提案されている。ＢＭ３Ｄ−ＳＡＰＣＡ法では、画像内の局所的なＮ個の画素の集合である参照ブロックと、その周辺から収集した、参照ブロックと類似した周辺ブロックとが主成分分析され、得られたＮ個の基底のうちその固有値がある閾値ｓ以上のものがｄ個選択される。選択されたｄ個の基底で張られる部分空間へ参照ブロックと周辺ブロックとが射影され、各ブロックについて得られたｄ１個の射影係数について、ある閾値ｔよりも絶対値が小さい射影係数が０に置き換えられる。新たな射影係数を用いて各ブロックがｄ１個の基底の線形和で再表現されることで、参照ブロックと周辺ブロックからノイズが低減される。

【0003】

また、画像におけるランダムなノイズを低減する他の画像処理技術としては、ノンローカルＰＣＡ法が提案されている。ノンローカルＰＣＡ法では、参照ブロックと類似した周辺ブロックについて、その類似度を重みとした重み付き主成分分析が行われ、得られたＮ個の基底のうちその固有値がある閾値ｓ以上のものがｄ２個選択される。選択されたｄ個の基底で張られる部分空間へ参照ブロックが射影され、得られたｄ２個の射影係数を用いて参照ブロックがｄ２個の基底の線形和で再表現されることで、参照ブロックからノイズが低減される。

【先行技術文献】

【非特許文献】

【0004】

【非特許文献1】K. Dabov et. al., “BM3D image denoising with shape-adaptive principal component analysis”, Proc. Workshop on Signal Processing with Adaptive Sparse Structured Representations, April 2009, St. Malo, France

【非特許文献2】山内啓大朗ら、“ノンローカルPCAによるブラインドデノイジング”、第１４回画像の認識・理解シンポジウム（ＭＩＲＵ２０１１）論文集、ｐｐ．４３２−４３９、２０１１；２０１１年７月

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、上述した従来技術では、ブロックによっては、閾値ｔが大きすぎて過剰に平滑化された結果、エッジがボケてしまったり、閾値ｔが小さすぎて平坦部のノイズが落ちきらなかったりする問題があった。また、主成分分析により得られる基底が統計的な情報であるのに対してブロックの射影係数はそのブロック固有のものであるため、統計的な寄与は小さいがそのブロックの特徴を表す成分を無視することになり、エッジや細かいテクスチャがボケてしまうという問題があった。

【0006】

以下の実施形態では、より高精度なノイズ除去を行うことが可能な画像処理装置および画像処理方法を提供することを目的とする。

【課題を解決するための手段】

【0007】

実施形態にかかる画像処理装置は、入力画像における第１領域と第２領域とを変換するための２以上の基底を取得する基底取得部と、前記基底取得部で取得された前記２以上の基底それぞれの寄与率を算出する寄与率算出部と、前記寄与率算出部で算出された前記寄与率に基づき、該寄与率の和が第１の閾値に達するまで前記寄与率の高いものから順に基底を選択する基底選択部と、前記基底選択部で選択された前記基底の個数が多いほど高くなる制御信号を生成する制御信号生成部と、前記基底取得部で取得された前記２以上の基底へ前記入力画像における第３領域を射影して射影係数を得る射影部と、前記射影部で得られた前記射影係数に対し、前記制御信号生成部で生成された前記制御信号が高いほど強くノイズを除去するノイズ除去部と、前記ノイズ除去部でノイズを除去された前記射影係数を用いて前記第３領域を再表現する再表現部と、を備える。

【0008】

また、実施形態にかかる画像処理方法は、入力画像における第１領域と第２領域とを変換するための２以上の基底を取得し、取得された前記２以上の基底それぞれの寄与率を算出し、算出された前記寄与率に基づき、該寄与率の和が第１の閾値に達するまで前記寄与率の高いものから順に基底を選択し、選択された基底の個数が多いほど高くなる制御信号を生成し、取得された前記２以上の基底へ前記入力画像における第３領域を射影して射影係数を得、得られた前記射影係数に対し、生成された前記制御信号が高いほど強くノイズを除去し、ノイズを除去された前記射影係数を用いて前記第３領域を再表現することを含む。

【図面の簡単な説明】

【0009】

【図1】図１は、実施形態１にかかる画像処理装置の構成例を示すブロック図。

【図2】図２は、実施形態１にかかる画像処理装置の動作例を示すフローチャート。

【図3】図３は、実施形態２にかかる画像処理装置の構成例を示すブロック図。

【図4】図４は、実施形態２にかかる画像処理装置の動作例を示すフローチャート。

【図5】図５は、実施形態１による画像処理装置に適用可能なコンピュータ装置の一例を示すブロック図。

【発明を実施するための形態】

【0010】

以下、添付図面を参照しながら、例示する実施形態にかかる画像処理装置および画像処理方法を詳細に説明する。

【0011】

（実施形態１）
・構成
以下、実施形態１にかかる画像処理装置について説明する。図１は、実施形態１にかかる画像処理装置の一例の構成を示す。図１に示すように、画像処理装置１００は、入力バッファ１０１と、基底取得部１０２と、寄与率算出部１１０と、基底バッファ１０３と、基底選択部１０４と、制御信号生成部１０５と、射影部１０６と、ノイズ除去部１０７と、再表現部１０８と、出力バッファ１０９とを有する。入力バッファ１０１は、入力画像として入力された所定量（例えば１フレーム分や、画像の一部領域）の画像データを一時的に保持する。出力バッファ１０９は、ノイズ除去を施した画像データを一時的に保持し、出力画像として出力する。

【0012】

基底取得部１０２、寄与率算出部１１０、基底選択部１０４、制御信号生成部１０５、射影部１０６、ノイズ除去部１０７および再表現部１０８は、協働するハードウェアによって構成してもよいし、一部または全部をＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）上で動作するプログラムにより構成してもよい。

【0013】

入力画像は、例えばカラー画像であって、入力画像を形成する各画素は、赤色、緑色および青色による３の画素値を有する。以下では、簡単のため、各画素が１の画素値を有するものとして説明する。なお、入力画像は、カラー画像に限られず、画素値として輝度値のみを持つモノクロ画像であってもよい。また、画素毎に異なる色を有する画像であってもよい。

【0014】

基底取得部１０２は、入力バッファ１０１に格納された入力画像に含まれる複数の画素から選択された画素（以下、第１画素と呼ぶ）を含む第１領域と、第１画素とは異なる第２画素を含む第２領域を分析し、第１領域および第２領域を変換するための２つ以上の基底を生成し、これらを取得する。取得された２つ以上の基底のうち１つ以上の基底は、基底バッファ１０３に格納される。

【0015】

寄与率算出部１１０は、基底取得部１０２により取得された２つ以上の基底に対し、それぞれの寄与率を算出し、算出した寄与率を基底選択部１０４に送出する。なお、寄与率は、画像を表現するときに各基底が占める統計上の重要度を表わす値である。

【0016】

基底選択部１０４は、寄与率算出部１１０から得た各基底の寄与率に基づき、寄与率の和が所定の第１閾値に達するまで、寄与率が高いものから順に基底を選択する。また、基底選択部１０４は、選択した基底の個数を制御信号生成部１０５へ送出する。

【0017】

制御信号生成部１０５は、基底選択部１０４が選択した基底の個数が多いほど高くなる制御信号を生成し、ノイズ除去部１０７に送出する。

【0018】

射影部１０６は、基底バッファ１０３に格納された基底へ、入力画像から読み込んだ１つ以上の第３画素を含む第３領域を射影する。第３画素は、第１画素または第２画素と同一であってもよいし、異なっていてもよい。射影部１０６は、第３領域を基底へ射影することで得られた射影係数をノイズ除去部１０７に送出する。

【0019】

ノイズ除去部１０７は、射影部１０６が算出した射影係数に対して、制御信号生成部１０５が生成した制御信号が高いほど強くノイズを除去するノイズ除去処理を行う。ノイズ除去部１０７は、ノイズ除去を行った後の射影係数を再表現部１０８へ送出する。

【0020】

再表現部１０８は、ノイズ除去部１０７が生成した射影係数を用いて、基底バッファ１０３に格納された基底の線形和により第３領域を再表現する。再表現部１０８は、再表現した第３領域を出力バッファ１０９に蓄積する。

【0021】

・基底の生成について
ここで、上述した基底の生成について説明する。
基底取得部１０２は、まず、入力バッファ１０１から第１領域および第２領域として部分画像を１つ以上抽出する。このとき、第２領域としては、第１領域の空間的な近傍から収集されてもよいし、第１領域との類似度を評価した結果、類似度が高いものが収集されてもよい。類似度としては、第１領域と第２領域との画素値の差分２乗和や、差分絶対値和等を用いることができる。

【0022】

つぎに、基底取得部１０２は、各部分画像に含まれる画素値を並べたベクトルをサンプルベクトルとして生成する。そして、基底取得部１０２は、各部分画像から生成したサンプルベクトルに対して主成分分析を行うことにより、２つ以上の基底を生成する。このとき、基底取得部１０２は、類似度を重みとした重み付き主成分分析を行ってもよい。主成分分析もしくは重み付き主成分分析を行うと、基底とそれに対応する固有値が求まる。

【0023】

例えば、部分画像が縦３画素×横３画素からなる矩形ブロックであり、且つ、各画素が３色（赤色、緑色および青色）の画素値を有する場合、２７（＝３×３×３）個の基底と２７個の固有値が生成される。この場合、各基底は、２７個の要素からなる。

【0024】

主成分分析の結果求まる固有値は、対応する各基底の統計的な寄与度を表す。そこで、寄与率算出部１１０は、基底取得部１０２で生成された固有値を用いて、各基底の統計的な寄与度を算出する。

【0025】

つまり、固有値の高い基底は、収集したサンプルベクトルの表現に大きく寄与する。そのため、それぞれの固有値を固有値の総和で除算した値は、各基底の寄与率を表している。たとえば、収集したサンプルベクトルがどれも似通っていれば、主成分分析を行うと一部の基底が高い寄与率を持つ。一方、サンプルベクトルがバリエーションに富んでいれば、多くの基底に寄与率が分散する。

【0026】

なお、各基底の寄与率には、それぞれの固有値を固有値の総和で除算した値以外のものが用いられてもよい。たとえば、第１領域と第２領域とのそれぞれの内積の分散値または標準偏差を、その総和で除算した値が各基底の寄与率として用いられてもよい。

【0027】

実施形態１にかかる画像処理装置１００では、基底取得部１０２は、類似度を重みとした重み付き主成分分析の結果として生成した基底を基底バッファ１０３に格納するとともに、生成した固有値を寄与率算出部１１０に送出することができる。寄与率算出部１１０は、基底取得部１０２で生成された各固有値を固有値の総和で除算することで各基底の寄与率を算出し、これらを基底選択部１０４へ送出する。

【0028】

ここで、入力画像にランダムノイズが多く含まれている場合、類似度がノイズに影響されて、実際に似た部分画像同士の類似度が低くなったり、実際には似ていない部分画像同士の類似度が相対的に高くなったりする。そのため、類似度に基づいてサンプルベクトルを収集しても、似ている部分画像や似ていない部分画像が混在することになり、結果として寄与率が多くの基底に分散する。一方、ランダムノイズが少ない場合、ランダムノイズが多い場合と比較すると類似度が正しく求まるため、似通った部分画像がサンプルベクトルとして収集される。そのため、一部の基底に寄与率が集中する。従って、寄与率の集中具合を評価することで、画像にノイズがどの程度含まれるかの判断を行うことができる。

【0029】

実施形態１にかかる画像処理装置１００では、基底選択部１０４は、寄与率に基づき、寄与率の和が所定の第１閾値に達するまで、寄与率の降順に基底を選択する。第１閾値は、例えば９９％や９５％といった値を用いることができる。一部の基底に寄与率が集中している場合、基底を少数選択することで寄与率の和が第１閾値に達する。一方、寄与率が分散している場合、多数の基底を選択するまで寄与率の和が第１閾値に達しない。このように選択した基底の個数は、制御信号の生成に用いられる。すなわち、選択した基底の個数に対して単調増加するような制御信号が生成される。

【0030】

・ノイズ除去について
画像に含まれるノイズが、幅広い周波数帯に一様に分布するホワイトノイズの場合、部分画像を複数の基底へ射影すると、全ての基底の射影係数に一様にノイズが含まれることとなる。一方で、画像の信号は一部の基底の射影係数に集中する。例えば画像のエッジ領域であれば、エッジを表現する基底は大きな射影係数を持つ。ある基底の射影係数について、その絶対値もしくは２乗値が小さい場合、その射影係数を縮退させて部分画像を再表現することで、画像の信号を維持しながらノイズを低減することができる。

【0031】

実施形態１にかかる画像処理装置１００では、ノイズ除去部１０７は、ノイズ除去処理として、射影係数に対して所定の第２閾値を用いた閾値処理を施す。すなわち、射影係数の絶対値が所定の第２閾値を下回っている場合、ノイズ除去部１０７は、その基底の射影係数を０とすることでノイズを低減する。このとき、ノイズ除去部１０７は、前記制御信号が高いほど第２閾値を高く設定し、制御信号が低いほど第２閾値を低く設定する。前述したように、制御信号は画像にどの程度ノイズが含まれているかを評価する指標として用いられる。画像に含まれるノイズが多い場合、高い制御信号で第２閾値を高く設定することで、多くの基底についてノイズが低減されるため、部分画像に対し強いノイズ除去が行われる。一方、画像に含まれるノイズが少ない場合、低い制御信号で第２閾値を低く設定することで、ノイズ除去の効果を弱める。

【0032】

なお、ノイズ除去としては、上述した第２閾値を用いた閾値処理に限定されない。例えば、射影係数に対して予め設定した定数を乗算するウィナーフィルタを用いたフィルタ処理であってもよい。

【0033】

ここまで、画像に含まれるノイズの量に応じたノイズ除去について述べたが、基底の寄与率の集中具合を評価することで、画像の模様に応じたノイズ除去も可能である。画像のエッジ領域においては、エッジを表す部分画像と、それ以外の部分画像との類似度の差が顕著になる。従って、第１領域がエッジを表わす部分画像であって、第２領域がそれ以外の部分画像の場合、類似度に基づいた重み付き主成分分析を行うと、エッジを表す第１領域が主成分分析に大きく寄与し、それ以外の第２領域は主成分分析にあまり寄与しない。そのため、生成される基底も、エッジを表す基底が大きな固有値を持ち、この基底に寄与率が集中する。一方で、画像の平坦領域においては、収集される部分画像はどれも平坦な信号にノイズが重畳されたものであるため、類似度に偏りが生じない。そのため、重み付き主成分分析の結果得られる基底についても寄与率が分散する。寄与率の和が所定の第１閾値に達するまで選択した基底の個数をカウントすると、エッジ領域では少数となり、平坦領域では多数となる。従って、選択した基底の個数が多いほど高くなる制御信号を用い、その制御信号が高い領域ほど強いノイズ除去を行うことで、ノイズが目立つ平坦領域では大きくノイズを低減し、エッジ領域ではノイズ除去を弱めることが可能になる。その結果、エッジのボケを防ぐことができる。

【0034】

・分析について
上述では、実施形態１に適用可能な基底の生成方法として、主成分分析に基づく方法を例示したが、これに限定されない。例えば、独立成分分析に基づき基底を生成してもよい。

【0035】

・処理の流れ
次に、実施形態１にかかる画像処理装置１００の一例の動作について説明する。図２は、実施形態１にかかる画像処理装置の一例の動作を示すフローチャートである。なお、図２のフローチャートにおける各処理は、例えば、画像処理装置１００が有する図示されないコントローラにより、画像処理装置１００の各部が制御されて実行される。

【0036】

ここで、入力画像を形成する第１画素は、所定の手順、例えばラスタスキャン順に選択される。一例として、入力バッファ１０１に格納された１フレーム分の入力画像に対し、１フレームの左上隅（例えば画面の左上隅）の画素を始点として、ラスタスキャン順に１画素ずつもしくは所定の画素数おきに選択される。

【0037】

図２に示すように、まず、基底取得部１０２が、入力バッファ１０１に格納されている入力画像から第１画素を含む第１領域を抽出する（ステップＳ１０１）。また、基底取得部１０２は、入力バッファ１０１に格納される入力画像から第２画素を含む第２領域を抽出する（ステップＳ１０２）。このとき、第２画素は、第１画素と重複してもよい。

【0038】

つぎに、基底取得部１０２が、第１領域と第２領域とを分析することで、２つ以上の基底とそれぞれの固有値を生成する（ステップＳ１０３）。生成された基底は、基底バッファ１０３に格納される。また、生成された固有値は、寄与率算出部１１０に送出される。

【0039】

つぎに、寄与率算出部１１０が、基底取得部１０２で生成された固有値に基づいて、各基底の寄与率を算出する（ステップＳ１０４）。各基底の寄与率の算出方法は、上述した通りであってよい。算出された寄与率は、基底選択部１０４に送出される。

【0040】

つぎに、基底選択部１０４が、各基底の寄与率に基づき、寄与率の和が所定の第１閾値に達するまで基底を選択する（ステップＳ１０５）。選択された基底の個数は、制御信号生成部１０５に送出される。

【0041】

つぎに、制御信号生成部１０５が、選択された基底の個数に対して単調増加する制御信号を生成する（ステップＳ１０６）。生成された制御信号は、ノイズ除去部１０７に送出される。

【0042】

つぎに、射影部１０６が、入力バッファ１０１に格納されている入力画像から第３画素を含む第３領域を収集する（ステップＳ１０７）。このとき、第３画素は、第１画素もしくは第２画素と重複してもよい。つづいて、射影部１０６は、基底バッファ１０３に格納される基底へ第３領域を射影することで、射影係数を得る（ステップＳ１０８）。得られた射影係数は、ノイズ除去部１０７に送出される。

【0043】

つぎに、ノイズ除去部１０７が、射影係数に対し、制御信号が高いほど高く設定される第２閾値を用いた閾値処理によりノイズ除去を行う（ステップＳ１０９）。ノイズ除去を施された射影係数は、再表現部１０８に送出される。

【0044】

つぎに、再表現部１０８が、ノイズ除去を施された射影係数を用いて、基底バッファ１０３に格納される基底の線形和により第３領域を再表現する（ステップＳ１１０）。再表現された第３領域は、出力バッファ１０９に蓄積される。

【0045】

このように、再表現部１０８から第３領域に対する処理結果が出力されると、処理がステップＳ１１１に移行し、入力バッファ１０１に格納される入力画像全体に対してステップＳ１１０が実行されたかどうかが判定される（ステップＳ１１１）。未だ入力画像全体に対して実行されていないと判定された場合（ステップＳ１１１；ＮＯ）、処理がステップＳ１０１へ戻され、次の第１画素に対して第１領域が選択され、以降、入力画像全体に対して処理が完了するまで、ステップＳ１０２〜Ｓ１１０をループする処理が実行される。一方、入力画像全体に対して処理が完了している場合（ステップＳ１１１；ＹＥＳ）、本動作を終了する。

【0046】

以上のように、実施形態１にかかる画像処理装置１００においては、ステップＳ１０６にて生成された、基底の寄与率の集中具合を評価する制御信号に基づいて、ステップＳ１０９にてノイズ除去を行うことで、画像に含まれるノイズ量や画像の模様に応じて効果的にノイズを低減することができる。

【0047】

（実施形態２）
つぎに、実施形態２にかかる画像処理装置および画像処理方法について、図面を用いて詳細に説明する。

【0048】

上述の実施形態１では、入力された画像を分析して生成した基底を利用する。これに対し、実施形態２では、予め生成しておいた基底を利用する例について述べる。

【0049】

・構成
図３は、実施形態２にかかる画像処理装置の一例の構成を示す。なお、図３において、先述した図１と共通する部分には同一の符号を付して、詳細な説明を省略する。図３に示すように、画像処理装置２００は、入力バッファ１０１と、基底データベース２０１と、基底取得部２０２と、寄与率算出部２１０と、基底選択部１０４と、制御信号生成部１０５と、射影部１０６と、ノイズ除去部１０７と、再表現部１０８と、出力バッファ１０９とを有する。

【0050】

基底取得部２０２、寄与率算出部２１０、基底選択部１０４、射影部１０６および再表現部１０８は、協働するハードウェアによって構成してもよいし、一部または全部をＣＰＵ上で動作するプログラムにより構成してもよい。

【0051】

実施形態１にかかる画像処理装置１００では、入力画像から基底を生成していたが、実施形態２にかかる画像処理装置２００は、２つ以上の基底からなる基底セットを予め生成し、基底データベース２０１へ格納しておく。基底取得部２０２は、入力バッファ１０１に格納された入力画像に含まれる複数の画素から選択された第１画素を含む第１領域と、第１画素とは異なる第２画素を含む第２領域とを抽出し、第１領域と第２領域とに対する基底データベース２０１に格納された基底セットを取得する。

【0052】

寄与率算出部２１０は、基底取得部２０２が基底データベース２０１から取得した基底セットに含まれる各基底の寄与率を算出する。寄与率としては、例えば第１領域もしくは第２領域とそれぞれの基底との間の内積の分散を総和で除算した値や、内積の標準偏差を総和で除算した値を用いることができる。

【0053】

基底選択部１０４、制御信号生成部１０５、射影部１０６、ノイズ除去部１０７および再表現部１０８、出力バッファ１０９は、実施形態１と同様であってよいため、ここでは重複する説明を省略する。

【0054】

・基底生成を行わずに基底データベースを利用する効果
主成分分析や独立成分分析等による基底生成は、比較的計算コストが高い。すなわち、第１領域を抽出するたびに基底生成を行うと、第１領域の個数分だけ基底生成の計算コストがかかってしまう。そこで実施形態２のように、予め生成しておいた基底を用いることで、基底生成にかかる計算コストを削減することができる。

【0055】

・処理の流れ
次に、実施形態２にかかる画像処理装置２００の一例の動作について説明する。図４は、実施形態２にかかる画像処理装置の一例の動作を示すフローチャートである。なお、図４のフローチャートにおける各処理は、例えば、画像処理装置２００が有する図示されないコントローラにより、画像処理装置２００の各部が制御されて実行される。

【0056】

図４に示すように、まず、基底取得部２０２が、入力バッファ１０１に格納されている入力画像から第１画素を含む第１領域を抽出する（ステップＳ２０１）。また、基底取得部２０２は、入力バッファ１０１に格納される入力画像から第２画素を含む第２領域を抽出する（ステップＳ２０２）。このとき、第２画素は、第１画素と重複してもよい。つづいて、基底取得部２０２が、第１領域と第２領域に対する、基底データベース２０１に格納された基底セットを取得する（ステップＳ２０３）。

【0057】

つぎに、寄与率算出部２１０が、基底取得部２０２が取得した基底セットに含まれる各基底の寄与率を算出する（ステップＳ２０４）。各基底の寄与率の算出方法は、上述した通りであってよい。算出された寄与率は、基底選択部１０４に送出される。

【0058】

つぎに、基底選択部１０４が、各基底の寄与率に基づき、寄与率の和が所定の第１閾値に達するまで基底を選択する（ステップＳ２０５）。選択された基底の個数は、制御信号生成部１０５に送出される。

【0059】

つぎに、制御信号生成部１０５が、選択された基底の個数に対して単調増加する制御信号を生成する（ステップＳ２０６）。生成された制御信号は、ノイズ除去部１０７に送出される。

【0060】

つぎに、射影部１０６が、入力バッファ１０１に格納されている入力画像から第３画素を含む第３領域を収集する（ステップＳ２０７）。つづいて、射影部１０６は、基底データベース２０１の各基底へ第３領域を射影することで、射影係数を得る（ステップＳ２０８）。得られた射影係数は、ノイズ除去部１０７に送出される。

【0061】

つぎに、ノイズ除去部１０７が、射影係数に対し、前記制御信号が高いほど高く設定される第２閾値を用いた閾値処理によりノイズ除去を行う（ステップＳ２０９）。ノイズ除去を施された射影係数は、再表現部１０８に送出される。

【0062】

つぎに、再表現部１０８が、ノイズ除去を施された射影係数を用いて、基底データベース２０１に格納された基底の線形和により第３領域を再表現する（ステップＳ２１０）。再表現された第３領域は、出力バッファ１０９に蓄積される。

【0063】

このように、再表現部１０８から第３領域に対する処理結果が出力されると、処理がステップＳ２１１に移行し、入力バッファ１０１に格納される入力画像全体に対してステップＳ２１０が実行されたかどうかが判定される（ステップＳ２１１）。未だ入力画像全体に対して実行されていないと判定された場合（ステップＳ２１１；ＮＯ）、処理がステップＳ２０１へ戻され、次の第１画素に対して第１領域が選択され、以降、入力画像全体に対して処理が完了するまで、ステップＳ２０２〜Ｓ２１０をループする処理が実行される。一方、入力画像全体に対して処理が完了している場合（ステップＳ２１１；ＹＥＳ）、本動作を終了する。

【0064】

以上のように、実施形態２にかかる画像処理装置２００においては、ステップＳ２０５にて、基底を生成するのではなく、予め生成しておいた基底を用いている。そのため、計算コストを節約しつつ、ステップＳ２０６にて生成された、基底の寄与率の集中具合を評価する制御信号に基づいて、ステップＳ２０９にてノイズ除去を行うことが可能となる。その結果、画像に含まれるノイズ量や画像の模様に応じて効果的にノイズを低減することができる。

【0065】

・基底データベースに保持する基底について
実施形態２にかかる画像処理装置２００において、基底データベース２０１に予め保持しておく基底は、事前に何らかの画像データベースから主成分分析や独立成分分析により生成したものであってよい。もしくは、基底データベース２０１に予め保持される基底は、離散コサイン変換、離散ウェーブレット変換等、正規直交系の変換基底であってもよい。

【0066】

さらに、基底データベース２０１に保持される基底は、１種類に限定されない。すなわち、例示した複数の変換基底のセット（基底セット）を保持しておき、それぞれの基底セットの寄与率の集中具合に基づいて、基底取得部２０２がいずれか１つの基底セットを選択するように構成してもよい。具体的には、基底セットＡ（例えば主成分分析により生成した基底群とする）と、基底セットＢ（例えば離散コサイン変換の基底群とする）について、それぞれ寄与率の和が所定の第１閾値に達するまで基底を選択し、基底セットＡと基底セットＢのうち、選択された基底の個数が少ない方が第３領域の変換に用いる基底セットとして採用される、というように構成することができる。なお、この例では２つの基底セットを比較しているが、それに限定されるものではなく、３つ以上の基底セットを比較してもよい。さらに、基底セットの採用基準はこの例に限定されるものではなく、例えば第１領域と第２領域と、基底セット内の各基底との内積の２乗の総和や、内積の絶対値の総和が大きいものを採用する等としてもよい。

【0067】

（他の実施形態）
上述の第１および第２実施形態にかかる画像処理装置１００および２００は、汎用のコンピュータ装置を基本ハードウェアとして用いて実現することも可能である。以下では、実施形態１による画像処理装置１００について説明する。図５は、上述の実施形態１による画像処理装置１００に適用可能なコンピュータ装置３００の一例の構成を示す。なお、実施形態２による画像処理装置２００も、この画像処理装置１００と同様にしてコンピュータ装置３００にて実現可能であるので、ここでの説明を省略する。

【0068】

図５に例示されるコンピュータ装置３００において、バス３０１に対してＣＰＵ３０２、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）３０３、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）３０４および表示制御部３０５が接続される。また、バス３０１に対して、ハードディスク３０６、ドライブ装置３０７、入力部３０８および通信Ｉ／Ｆ３０９が接続される。

【0069】

ＣＰＵ３０２は、ＲＯＭ３０３およびハードディスク３０６に記憶されるプログラムに従い、ＲＡＭ３０４をワークメモリとして用いて、このコンピュータ装置３００の全体を制御する。表示制御部３０５は、ＣＰＵ３０２により生成された表示制御信号を、表示装置３１０が表示可能な信号に変換して出力する。

【0070】

ハードディスク３０６は、上述のＣＰＵ３０２が実行するためのプログラムが格納されると共に、入力画像となる画像データや他のデータが格納される。ドライブ装置３０７は、脱着可能な記録媒体３１１が装填可能とされ、当該記録媒体３１１に対するデータの読み書きを行うことができる。ドライブ装置３０７が対応可能な記録媒体３１１としては、ＣＤ（Ｃｏｍｐａｃｔ Ｄｉｓｋ）、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）といったディスク記録媒体や、不揮発性の半導体メモリが考えられる。

【0071】

入力部３０８は、外部からのデータの入力を行う。例えば、入力部３０８は、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）やＩＥＥＥ１３９４（Ｉｎｓｔｉｔｕｔｅ ｏｆ Ｅｌｅｃｔｒｉｃａｌ ａｎｄ Ｅｌｅｃｔｒｏｎｉｃｓ Ｅｎｇｉｎｅｅｒｓ １３９４）といった所定のインターフェイスを有し、このインターフェイスにより外部の機器からのデータ入力を行う。入力画像の画像データは、この入力部３０８から入力することができる。

【0072】

また、入力部３０８に対して、キーボードやマウスといった入力デバイスが接続される。ユーザは、例えば表示装置３１０に対する表示に応じてこれら入力デバイスを操作することで、コンピュータ装置３００に対して指示を出すことができる。

【0073】

通信Ｉ／Ｆ３０９は、所定のプロトコルを用いて外部の通信ネットワークと通信を行う。入力画像の画像データを、この通信Ｉ／Ｆ３０９を介して外部の通信ネットワークから供給してもよい。

【0074】

上述した基底取得部１０２と、基底選択部１０４と、制御信号生成部１０５と、射影部１０６と、ノイズ除去部１０７と、再表現部１０８とは、ＣＰＵ３０２上で動作する画像処理プログラムによって実現される。

【0075】

上記実施形態にかかる画像処理を実行するための画像処理プログラムは、インストール可能な形式または実行可能な形式のファイルでＣＤ、ＤＶＤなどのコンピュータで読み取り可能な記録媒体３１１に記録して提供される。これに限らず、画像処理プログラムを、ＲＯＭ３０３に予め記憶させて提供してもよい。

【0076】

さらに、上記実施形態にかかる画像処理を実行するための画像処理プログラムを、インターネットなどの通信ネットワークに接続されたコンピュータ上に格納し、通信ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。また、上記実施形態にかかる画像処理を実行するための画像処理プログラムを、インターネットなどの通信ネットワーク経由で提供または配布するように構成してもよい。

【0077】

上記実施形態にかかる画像処理を実行するための画像処理プログラムは、例えば、上述した各部（基底取得部１０２／２０２、寄与率算出部１１０／２１０、基底選択部１０４、制御信号生成部１０５、射影部１０６、ノイズ除去部１０７および再表現部１０８）を含むモジュール構成となっており、実際のハードウェアとしてはＣＰＵ３０２が例えばハードディスク３０６から当該画像処理プログラムを読み出して実行することにより上記各部が主記憶装置（例えばＲＡＭ３０４）上にロードされ、各部が主記憶装置上に生成されるようになっている。

【0078】

また、上記実施形態およびその変形例は本発明を実施するための例にすぎず、本発明はこれらに限定されるものではなく、仕様等に応じて種々変形することは本発明の範囲内であり、更に本発明の範囲内において、他の様々な実施形態が可能であることは上記記載から自明である。例えば実施形態に対して適宜例示した変形例は、他の実施形態と組み合わせることも可能であることは言うまでもない。

【符号の説明】

【0079】

１００，２００…画像処理装置、１０１…入力バッファ、１０２，２０２…基底取得部、１０３…基底バッファ、１０４…基底選択部、１０５…制御信号生成部、１０６…射影部、１０７…ノイズ除去部、１０８…再表現部、１０９…出力バッファ、１１０，２１０…寄与率算出部、２０１…基底データベース

【図1】

【図2】

【図3】

【図4】

【図5】