(58)【調査した分野】(Int.Cl.,DB名)
前記第1特徴量抽出手段は、前記画像における各画素の信号値と前記第1平滑化画像における対応する画素の信号値との差分を前記第1特徴量として抽出することを特徴とする請求項1から3のいずれか一項に記載の画像処理装置。
前記第2特徴量抽出手段は、前記第1平滑化画像における各画素の信号値と前記第2平滑化画像における対応する画素の信号値との差分を前記第2特徴量として抽出することを特徴とする請求項1から4のいずれか一項に記載の画像処理装置。
前記画像は、放射線画像撮影装置が出力したローデータに基づく原画像、前記原画像から一部の周波数成分が除かれた帯域制限画像又は前記原画像を構成する複数の画素のうちの一部からなる低解像度近似画像であることを特徴とする請求項7に記載の画像処理装置。
【発明を実施するための形態】
【0008】
<第1実施形態>
以下、図を参照して本発明の第1実施形態について詳細に説明する。ただし、発明の範囲は、図示例に限定されるものではない。
【0009】
〔画像処理装置の構成〕
まず、本実施形態における画像処理装置1の構成について説明する。
図1は、本実施の形態における画像処理装置1の機能的構成の一例を示すブロック図である。
【0010】
本実施形態の画像処理装置1は、医用画像(特に放射線画像)に混入したノイズ成分を低減するためのものである。画像処理装置1は、図示しない医療用のモダリティー(例えば、CR(Computed Radiography)やCT(Computed Tomography)、MRI(Magnetic Resonance Imaging)等)と直接もしくはサーバー(例えば、医療用画像管理システム(Picture Archiving and Communication System:PACS)を構成するもの)を介して接続され、モダリティー又はサーバーとの間で医用画像の画像データの送受信が可能となっている。
【0011】
画像処理装置1は、
図1に示すように、制御部11やRAM12、通信部13、記憶部14、操作部15、表示部16等を備えて構成されており、各部11〜21はバス17によって接続されている。
【0012】
制御部11は、CPU(Central Processing Unit)等から構成されており、画像処理装置1の各部の処理動作を統括的に制御する。具体的には、記憶部14に記憶されている各種処理プログラムを読み出してRAM12に展開し、当該プログラムとの協働により、後述するノイズ低減処理等の各種処理を行う。
【0013】
RAM12は、制御部11により実行制御される各種処理において、記憶部14から読み出された各種プログラム、入力若しくは出力データ及びパラメーター等を一時的に記憶するワークエリアを形成する。
【0014】
通信部13は、ネットワークインターフェース等により構成され、LAN(Local Area Network)、WAN(Wide Area Network)、インターネット等の通信ネットワークを介して接続されたモダリティー又はサーバーとの間で医用画像の画像データ等の送受信を行うことが可能となっている。
【0015】
記憶部14は、HDD(Hard Disk Drive)や半導体の不揮発性メモリー等により構成
され、各種処理プログラム、当等を記憶することが可能となっている。
また、記憶部14は、モダリティー等から送信されてきた医用画像の画像データを管理するためのデータベースを有している。画像データには、例えば、患者名、検査種類、日付等の所定の付帯情報が付帯され、各画像データの識別を行うことが可能となっている。
また、記憶部14は、各種画像処理を施した画像データや、画像処理を行うためのツール(フィルター等)を記憶することも可能となっている。
【0016】
操作部15は、処理する対象となる画像データを指定したり、処理の開始を指示したりするためのもので、キーボードやマウス、表示部16に設けられたタッチパネル等で構成されている。
【0017】
表示部16は、画像データに基づく医用画像を表示するためのもので、液晶ディスプレイ(Liquid Crystal Display、LCD)やエレクトロルルミネッセンス(Electroluminescence:EL)を利用した表示装置等で構成されている。
【0018】
(画像処理装置1の動作)
次に、上記画像処理装置1の動作について説明する。
図2は画像処理装置1が実行するノイズ低減処理のフローチャート、
図3はノイズ低減処理における第1平滑化処理で用いるフィルターの例を示した模式図、
図4は第1平滑化処理におけるフィルター選択の概念図、
図5は画像処理装置1が実行するノイズ低減処理の概念図である。
【0019】
画像処理装置1の制御部11は、操作部15に対し処理対象の画像データの選択を指示する操作及び当該画像データに対する画像処理の開始を指示する操作がなされると、
図2に示したノイズ低減処理を実行する。
ノイズ低減処理では、まず、処理対象となる画像I
0の画像データを準備する(ステップS1)。具体的には、モダリティー又はサーバーから画像データを受信する又は記憶部14に記憶されている画像データを読み込む。
【0020】
なお、画像I
0には、モダリティーが出力したローデータに基づく原画像や、原画像に多重解像度解析(例えばウェーブレット変換等)を施すことにより得られた帯域の異なる複数の帯域制限画像のうちのいずれか(すなわち、一部の周波数成分が除かれた画像)、原画像から所定間隔ごとに抽出した一部の画素で構成した低解像度近似画像等が含まれる。
画像I
0として帯域制限画像を用いる場合には、中周波帯域のものを用いるのが好ましい。
【0021】
画像データの準備を終えた後は、画像データに第1平滑化処理を施す(ステップS2)。具体的には、画像I
0に、当該画像I
0に映る物体(患者の撮影対象部位)のエッジ(輪郭や表面の急峻な構造変化)の延長方向に沿った平滑化処理(選択的平滑化処理)を施し、選択的平滑化画像I
1を生成する。すなわち、制御部11は、本発明における第1平滑化手段として機能するものである。
また、制御部11は、選択的平滑化画像I
1を生成したら、その画像データを記憶部14に記憶する。
【0022】
本実施形態においては、構造パターンが異なる複数のフィルターを順次当てはめてその結果を評価することで、エッジの延長方向(平滑化する方向)を絞り込むようにしている。具体的には、まず、
図3に示したような複数種類のフィルターを用意しておく。各フィルターは、縦横とも複数の画素P(例えば縦7×横7ピクセル)に跨るようになっており、破線に沿って構造を近似するようになっている。例えば、
図3のF
1で示されたフィルターを画素Pの上に当てはめると、
図4(a)に示したように、中心の画素を含む横一列の画素(太線で囲まれた領域)からなる領域の構造(複数の信号値の傾向)を直線Lで近似する。また、
図3のF2で示されたフィルターを画素の上に当てはめると、
図4(b)に示したように、中心部の縦3×横3ピクセルの画素(太線で囲まれた領域)からなる領域の構造を二次曲面Cで近似する。このようなフィルターを用いるのは、構造の多くは、局所的にみると、直線、各、円のいずれかでできているとみなすことができるためである。
【0023】
このような構造の近似を、一の画素に対し複数のフィルターを順次当てはめて行い、フィルターごとに実際の構造と直線又は曲面との誤差の大きさを評価する。なお、同じ画素に対し、直線近似用のフィルターF
1と曲面近似用のフィルターF
2のいずれを当てはめても、測定する誤差は、直線又は曲面からの離れ方の程度であるため、同じ基準で誤差を評価することができる。そして、当てはめた複数のフィルターの中から誤差が最も小さかったフィルターを用いて平滑化を行う。
このように、構造をフィルターの範囲内だけで評価するため、フィルターの範囲外の構造やノイズ成分の影響を受けることなく、適切なフィルターの選択を行うことができる。
【0024】
第1平滑化処理を終えたら、画像I
0又は選択的平滑化画像I
1に第2平滑化処理を施す(ステップS3)。具体的には、画像I
0又は選択的平滑化画像I
1に対し、画像全体に平滑化を施すことで、ノイズ成分は十分に除去されているがエッジが不鮮明な非鮮鋭画像を生成する。すなわち、制御部11は、本発明における第2平滑化手段として機能するものである。平滑化には、従来画像の平滑化に用いられてきた各種フィルター(例えば移動平均フィルターやガウシアンフィルター等)を用いることで施すことが可能である。
また、制御部11は、非鮮鋭画像I
2を生成したら、その画像データを記憶部14に記憶する。
なお、第2平滑化処理は、第1平滑化処理と並行して実行してもよい。また、画像I
0に対して第2平滑化処理を施す場合には、第1平滑化処理に先行して実行することも可能である。
【0025】
第1,第2平滑化処理を終えた後は、画素ごとに第1差分処理を行う(ステップS4)。具体的には、画像I
0における一の画素の信号値及び選択的平滑化画像I
1における対応する画素の信号値から、第1特徴量Nを抽出する。すなわち、制御部11は、本発明における第1特徴量抽出手段として機能するものである。
この動作は、画像I
0や選択的平滑化画像I
1を構成する各画素について繰り返し行う。
【0026】
本実施形態においては、
図5に示したように、画像I
0における一の画素の信号値と選択的平滑化画像I
1における対応する画素の信号値との差分の信号値を第1特徴量Nとしている。画像I
0にはノイズ成分とエッジ成分の両方が含まれており、選択的平滑化画像I
1には多くの構造成分と若干のノイズ成分が含まれているので、両者の差分、すなわち第1特徴量Nは、ノイズ成分を主とする信号値となる。
各画素の第1特徴量が得られると、
図5に示したようなノイズ成分画像I
Nを表示部16に表示することができる。
【0027】
第1差分処理を終えた後は、画素ごとに第2差分処理を行う(ステップS5)。具体的には、選択的平滑化画像I
1における一の画素の信号値及び非鮮鋭画像I
2における対応する画素の信号値から、第2特徴量Cを抽出する。すなわち、制御部11は、本発明における第2特徴量抽出手段として機能するものである。
この動作は、選択的平滑化画像I
1や非鮮鋭画像I
2を構成する各画素について繰り返し行う。
なお、第2特徴量Cの抽出は、第1特徴量の抽出と並行して実行してもよい。
【0028】
本実施形態においては、
図5に示したように、選択的平滑化画像I
1における一の画素の信号値と非鮮鋭画像I
2における対応する画素の信号値との差分の信号値を第2特徴量Cとしている。選択的平滑化画像I
1には多くの構造成分と若干のノイズ成分とが含まれており、非鮮鋭画像I
2には構造成分及びノイズ成分が少しずつ含まれているので、両者の差分、すなわち第2特徴量Cは、構造(コントラスト)成分を主とする信号値となる。
各画素の第2特徴量が得られると、
図5に示したような構造成分画像I
Cを表示部16に表示することができる。
なお、画像I
0の画素の信号値と、非鮮鋭画像I
2の画素の信号値との差分の信号値を第2特徴量Cとしてもよい。
【0029】
図2の説明に戻る。第1,第2差分処理を終えた後は、得られた第1特徴量N及び第2特徴量Cから重み付け指標値Tを画素ごとに算出する(ステップS6)。すなわち、制御部11は、本発明における指標値算出手段として機能するものである。重み付け指標値Tとは、対象の画素には、ノイズ成分と構造成分のどちらが相対的に多いかを示す値で、例えば、第1特徴量Nに対する第2特徴量Cの比の値(C/N)や、対象の画素を中心とする所定範囲(例えば縦9×横9ピクセル)における各画素の第1特徴量Nの二乗の合計に対する、同範囲における各画素の第2特徴量Cの二乗の合計の比の値の平方根(sqrt(sum(C^2)/sum(N^2))等を用いて算出する。
重み付け指標値Tを算出したら、重み付け指標値Tと予め記憶部に記憶されている所定の閾値T_thとを比較する(ステップS7)。閾値T_thは、各画素に共通の定数(例えば1.5)である。
【0030】
ステップS7において、重み付け指標値Tの値が閾値T_thよりも大きい場合、すなわち、対象の画素が、ノイズ成分の少ないあるいは構造成分の多い(又はその両方の)画素である場合には(ステップS7;Yes)、重み付け指標値Tに基づいて、画像I
0及び選択的平滑化画像I
1のうちの少なくともいずれかの画像の画素の信号値を用いた新たな信号値を算出する(ステップS8)。具体的には、画像I
0における対応する画素の信号値と同じ信号値にする、あるいは画像I
0と選択的平滑化画像I
1との間でより画像I
0の信号値に近い信号値を設定する、といった方法が挙げられる。
【0031】
画像I
0の画素の信号値に近い新たな信号値は、例えば、画像I
0と選択的平滑化画像I
1がT−T_th:T_thの比率となるように、すなわち、下記(1)で示した式を用いて原画像I
0の画素の信号値と選択的平滑化画像I
1の画素の信号値との加重平均を算出することで得ることができる。
新たな信号値=(画像I
0の画素の信号値×(T−T_th)+選択的平滑化画像I
1の画素の信号値×T_th)/T・・(1)
このように、エッジ成分が相対的に多いと判断された画素については、ノイズ成分の低減量が少ない画像に基づく信号値とすることで、エッジが不鮮明になるのを防ぐことができる。
【0032】
一方、ステップS7において、重み付け指標値Tが閾値T_thよりも小さい場合、すなわち、対象の画素が、ノイズ成分が多いあるいはエッジ成分が少ない(又はその両方の)画素である場合には(ステップS7;No)、重み付け指標値Tに基づいて、非鮮鋭画像I
2及び選択的平滑化画像I
1のうちの少なくともいずれかの画像の画素の信号値を用いた新たな信号値を算出する(ステップS9)。具体的には、非鮮鋭画像I
2における対応する画素の信号値と同じ値にする、あるいは非鮮鋭画像I
2と選択的平滑化画像I
1との間でより非鮮鋭画像I
2の信号値に近い信号値を設定する、といった方法が挙げられる。
【0033】
非鮮鋭画像I
2の画素の信号値に近い新たな信号値は、例えば、非鮮鋭画像I
2と選択的平滑化画像I
1がT_th−T:Tの比率となるように、すなわち、下記(2)で示した式を用いて非鮮鋭画像I
2の画素の信号値と選択的平滑化画像I
1の画素の信号値との加重平均を算出することで得ることができる。
新たな信号値=(非鮮鋭画像I
2の画素の信号値×(T−T_th)+選択的平滑化画像I
1の画素の信号値×T)/(T_th)・・(2)
このように、構造成分が相対的に多いと判断された画素については、ノイズ成分の低減量が多い画像に基づく信号値とすることで、ノイズ成分を大幅に低下させることができる。
【0034】
ステップS8又はステップS9の処理の後は、直前に行った処理が対象の画素のうち最後の画素について行ったものであるか否か、すなわち、対象となる全ての画素についてステップS8又はステップS9の処理を行ったか否かを判定する(ステップS10)。
ここで、最後の画素について行った処理ではないと判定した場合には(ステップS10;No)、画素を特定するカウント番号を+1更新する(処理対象の画素を一つ隣に移す)処理を行って(ステップS11)、ステップS7の処理に戻る。
【0035】
一方、ステップS10の処理において、最後の画素について行ったものであると判定した場合には(ステップS10;Yes)、得られた新たな信号値の画素からなる合成画像を生成する(ステップS12)。すなわち、制御部11は、本発明における合成画像生成手段をなす。上述したように、構造成分の多い画素については、画像I
0又は選択的平滑化画像I
1に近い信号値とし、構造成分の少ない画素については、非鮮鋭画像I
2又は選択的平滑化画像I
1に近い信号値としているので、合成画像は、エッジがはっきりとしつつも、ノイズ成分が十分に低減されたものとなる。
【0036】
このように、本実施形態に係る画像処理装置1は、画像I
0に、当該画像に映る物体のエッジの延長方向に沿った平滑化処理を施して選択的平滑化画像I
1(第1平滑化画像)を生成する第1平滑化手段と、画像I
0又は選択的平滑化画像I
1の全体にエッジをぼかす平滑化処理を施して非鮮鋭画像I
2(第2平滑化画像)を生成する第2平滑化手段と、画像I
0の各画素の信号値及び選択的平滑化画像I
1における対応する画素の信号値から第1特徴量(両者の差分)を抽出する第1特徴量抽出手段と、選択的平滑化画像I
1の各画素の信号値及び非鮮鋭画像I
2における対応する画素の信号値から第2特徴量(両者の差分)を抽出する第2特徴量抽出手段と、抽出された第1特徴量及び第2特徴量から、所定の重み付け指標値Tを画素ごとに算出する指標値算出手段と、算出された重み付け指標値Tに基づいて、画像I
0、選択的平滑化画像I
1及び非鮮鋭画像I
2のうちの少なくともいずれかの画像の画素の信号値を用いた新たな信号値を画素ごとに算出し、算出した新たな信号値の画素からなる合成画像を生成する合成画像生成手段と、を備えたものとなっている。
【0037】
選択的平滑化画像I
1は、構造は比較的鮮明であるが、ノイズ成分がわずかに残ったものとなってしまう。一方、非鮮鋭画像I
2は、ノイズ成分はほぼ除去された状態となっているが、エッジが不鮮明な状態となってしまう。しかし、本実施形態のようにすることで、画素ごとに、構造が比較的鮮明な画像(画像I
0又は選択的平滑化画像I
1)又はノイズ成分が比較的少ない画像(選択的平滑化画像I
1又は非鮮鋭画像I
2)のいずれかの画素の信号値を利用し合成画像を生成するので、画像のエッジが不鮮明になるのを防ぎつつ、エッジのない部分のノイズ成分を十分に低減することができる。
【0038】
また、本実施形態に係る画像処理装置1は、合成画像生成手段が、重み付け指標値Tに基づいて、所定の重み付け比率を画素ごとに決定する比率決定手段と、決定された重み付け比率に基づいて、画像I
0、選択的平滑化画像I
1及び非鮮鋭画像I
2のうちの少なくとも二つの画像の画素の信号値の加重平均を新たな信号値とする重み付け手段と、を備えたものとなっている。
合成画像の画素の信号値として、画像I
0又は非鮮鋭画像I
2の画素の信号値をそのまま用いると、その画素にはノイズ成分が低減されることなく混入されてしまうか、エッジが不鮮明なものとなってしまう。一方、選択的平滑化画像I
1の画素の信号値をそのまま用いると、ノイズ成分が若干残りつつエッジも不鮮明な中途半端な状態となってしまう。しかし、本実施形態のようにすることで、より適切な信号値を設定することができる。
【0039】
また、本実施形態に係る画像処理装置1は、指標値算出手段が、第1特徴量Nと第2特徴量Cの比の値(C/N)等を重み付け指標値Tとして算出するものとなっている。
これにより、重み付け指標値Tが大きい画素は構造成分が相対的に多く、小さい画素はノイズ成分が相対的に多いことになるので、重み付け指標値Tが大きい画素については、非鮮鋭画像I
2よりも構造成分が多い画像(画像I
0と選択的平滑化画像I
1の少なくとも一方の画像)の画素の信号値を用いて新たな信号値を算出し、重み付け指標値Tが小さい画素については、画像I
0よりもノイズ成分が少ない画像(選択的平滑化画像I
1と非鮮鋭画像I
2の少なくとも一方の画像)の画素の信号値を用いて新たな信号値を算出する、といったように、新たな信号値の算出に用いる画像の選択を容易に行うことができる。
【0040】
<第2実施形態>
次に、本発明の第2実施形態について説明する。なお、第1実施形態と共通する構成については説明を省略する。
【0041】
本実施形態に係る画像処理装置1は、重み付け指標値Tに基づいて、画像I
0、選択的平滑化画像I
1及び非鮮鋭画像I
2のうちの少なくともいずれかの画像の画素の信号値を用いた新たな信号値を画素ごとに算出し、算出した新たな信号値の画素からなる合成画像を生成していたが、本実施形態に係る画像処理装置1Aは、重み付け指標値Tに基づいて、選択的平滑化画像I
1及び非鮮鋭画像I
2のうちの少なくとも一方の画像の画素の信号値を用いた新たな信号値を画素ごとに算出し、画像I
0の信号値と新たな信号値との差分をとることによって第1実施形態の合成画像と同等の差分画像を得るようにしている。
このため、本実施形態の画像処理装置1Aは、ノイズ低減処理の流れ(記憶部14Aが記憶している処理プログラム)が第1実施形態と異なる。
【0042】
図6は本実施形態に係る画像処理装置1Aが実行するノイズ低減処理のフローチャートである。
本実施形態のノイズ低減処理は、ステップS7(重み付け指標値Tと閾値T_thとの比較)までの処理が第1実施形態と共通している。ステップS7において、重み付け指標値Tの値が閾値T_thよりも大きい場合には(ステップS7;Yes)、選択的平滑化画像I
1における対応する画素の信号値と同じ信号値にする、あるいは選択的平滑化画像I
1と非鮮鋭画像I
2の間でより選択的平滑化画像I
1の信号値に近い信号値を設定する(ステップS8A)。選択的平滑化画像I
1の画素の信号値に近い新たな信号値は、第1実施形態の説明で挙げたような形で加重平均を算出することにより得ることができる。
【0043】
一方、ステップS7において、重み付け指標値Tが閾値T_thよりも小さい場合には(ステップS7;No)、非鮮鋭画像I
2における対応する画素の信号値と同じ値にする、あるいは非鮮鋭画像I
2と選択的平滑化画像I
1との間でより非鮮鋭画像I
2の信号値に近い信号値を設定する(ステップS9A)。非鮮鋭画像I
2の画素の信号値に近い新たな信号値は、第1実施形態の説明で挙げたような形で加重平均を算出することにより得ることができる。
【0044】
ステップS8A又はステップS9Aの処理の後は、第1実施形態と同様に、直前に行った処理が対象の画素のうち最後の画素について行ったものであるか否か、すなわち、対象となる全ての画素についてステップS8A又はステップS9Aの処理を行ったか否かを判定する(ステップS10)。
ここで、最後の画素について行った処理ではないと判定した場合には(ステップS10;No)、画素を特定するカウント番号を+1更新する(処理対象の画素を一つ隣に移す)処理を行って(ステップS11)、ステップS7の処理に戻る。
【0045】
一方、ステップS10の処理において、最後の画素について行ったものであると判定した場合には、画像I
0の各画素の信号値と、得られた新たな信号値との差分を取る処理を行い(ステップS12A)、得られた差分の信号値の画素からなる差分画像を生成する(ステップS13A)。
このような処理を行うことによって得られた差分画像は、第1実施形態の合成画像と同様、エッジがはっきりとしつつも、ノイズ成分が十分に低減されたものとなる。