(58)【調査した分野】(Int.Cl.,DB名)
【実施例1】
【0026】
続いて、本発明に係る実施例について説明する。本発明に係る画像処理装置1は、
図1に示すようにX線撮影装置で撮影された被検体の胸部X線画像(元画像P0)を入力すると、元画像P0のどこに肺野が写り込んでいるか認識して肺野領域を設定し、設定した肺野領域に対して色調補正を施した画像を出力する構成となっている。本発明に係る画像処理装置は、被検体像が写り込んだ元画像P0における肺野に相当する部分に輝度調整を施す構成となっている。
【0027】
本発明は、このような従来的な機能に加えて、
図2に示すように被検体像が横転して写り込んでいる元画像P0を入力すると、被検体像の横転を認識して被検体像の向きが元画像P0の向きに合うように元画像P0を回転させる構成となっている。この元画像P0の回転は肺野領域の認識および色調補正の前に行われる。したがって、本発明に係る装置に被検体が横転して写り込んでいる元画像P0を入力すると、元画像P0が90°回転されることにより被検体の横転が補正された後で肺野領域の設定と色調補正がなされることになる。本発明は、この元画像P0を回転させる機能が最も特徴的となっている。
【0028】
図3は、画像処理装置1が行う画像処理の全体を示した機能ブロック図である。
図3によれば、プロファイル生成部11,中心位置算出部12,横転判定部13,左右判定部14および画像回転部16が
図2で説明した元画像P0を90°回転させる動作を行う。この動作は、
図1で説明したような被検体が縦向きに写り込んでいない元画像P0については行われない。
【0029】
なお、上下判定部15は、被検体が縦向きに写り込んでいる元画像P0のうち被検体像が上下逆さまに写り込んでいるものに対して180°回転させる動作をするときに関する構成である。肺野探索処理部17は、被検体像における肺野が元画像P0上のどこにあるかを探索して、肺野領域を決定する構成である。輝度調整部18は、肺野領域に対してコントラスト調整(色調補正)を実行する構成である。
【0030】
プロファイル生成部11は本発明のプロファイル生成手段に相当し、中心位置算出部12は本発明の中心位置算出手段に相当する。横転判定部13は本発明の横転判定手段に相当し、画像回転部16は本発明の画像回転手段に相当する。肺野探索処理部17は本発明の肺野探索処理手段に相当する。
【0031】
本発明に係る装置は、元画像P0に被検体像が縦向きに写り込んでいるのかそれとも横向きに写り込んでいるのかを判別し、その判別結果に従って元画像P0を回転させるかどうかを決定する構成が特徴的である。被検体像の横転の有無をいかにして判別するかについては、プロファイル生成部11,中心位置算出部12,横転判定部13の各部が関係しているのでこれらについて順を追って説明する。
【0032】
<プロファイル生成部11の動作>
図4は、プロファイル生成部11の動作を示している。プロファイル生成部11は、縦横に画素が配列されて構成される元画像P0のうち、画素1つ分の幅を有する縦方向に画素が配列した注目画素列に属する各画素の画素値を平均して平均値を算出する。
図4の説明では、元画像P0における左端の位置X1に係る画素列について平均値Ave(X1)を算出している様子を示している。プロファイル生成部11は、注目画素列を横方向に画素1つ分ずつ右に移動させながら平均値Aveの算出を繰り返し、元画像P0における右端の位置に係る画素列まで算出する。そして、プロファイル生成部11は、
図5に示すように、平均値Aveと平均値Aveに係る注目画素列の位置とが関連したプロファイルを生成する。従って、このプロファイルは、元画像P0にとっての横方向に伸びたプロファイルとなる。このように、プロファイル生成部11は、元画像P0の各画素列に属する画素値を画素列毎に合計または平均することによりプロファイルを生成する。
【0033】
なお、上述の説明ではプロファイル生成部11は、元画像P0の左端から右端に向けて逐次的に平均値Aveの算出をしていたが、算出の順番はこの手順である必要は無い。この事情は後述の
図6,
図7においても同様である。
【0034】
図4,
図5の説明では元画像P0には被検体像が縦向きに写り込んでいる。ところで、本発明の装置には、
図2で説明したような被検体像が横転した元画像P0が入力されることもある。
図6は、プロファイル生成部11が被検体像を横倒しに写し込んでいる元画像P0についてプロファイルを生成する様子を示している。元画像P0は、どちらが上に当たるかの定義付けがされているので、プロファイル生成部11は、被検体像が横倒しになった状態のまま、元画像P0における左端の位置X1に係る画素列について平均値Ave(X1)を算出し、注目画素列を横方向に画素1つ分ずつ移動させながら平均値Aveの算出を繰り返す。そして、
図7に示すようなプロファイルが生成される。
【0035】
図8は、被検体像が横転しているかでプロファイルがどのように変化するかを説明している。
図8左側は、元画像P0に縦向きの被検体が写り込んでいる場合を示している。この場合のプロファイルは、中央部が凹んでいることが分かる。この凹みは、元画像P0上で明るい左肺に由来する明領域と同じく明るい右肺に由来する明領域とに挟まれた位置にあり、この部分の値は、暗い脊椎に位置する画素の画素値を平均して算出される平均値となっている。
【0036】
一方、
図8右側は、元画像P0に被検体が横転して写り込んでいる場合を示している。この場合のプロファイルには、中央部に凹みが現れず、中央部に幅広の1つのまとまった明領域が現れるのみである。元画像P0上の暗い脊椎に位置する画素の画素値がプロファイルに及ぼす影響は、プロファイル全域に亘って分散してしまっており、プロファイルの特定部分に集中していない。したがって、このときのプロファイルで最も低い値となるのは、元画像P0上で明るい肺野が位置しない端部においてである。
【0037】
したがって、プロファイルの最低値がプロファイルの中央に現れる場合は、元画像P0に縦向きの被検体が写り込んでいると言えそうである。そして、プロファイルの最低値がプロファイルの端部に現れる場合は、元画像P0に横転した被検体が写り込んでいると言えそうである。実際に本発明ではこの原理を利用して元画像P0に写り込む被検体の横転の有無を判断している。
【0038】
しかしながら、プロファイルの最低値の位置のみで被検体像が横転しているかどうかを判断すると誤認が生じることがある。
図9は、その事情について説明している。被検体像が元画像P0上の端部に偏って写り込んでいる場合、被検体像の中心と元画像P0の中心が離れてしまう。プロファイルは元画像P0全域に亘って生成されることからすれば、プロファイルの最低値がプロファイルの端部に現れることになってしまう。すると、本来は横転していない被検体像を写し込んでいた元画像P0が横転しているものと誤認され、画像が回転されてしまうという事態となる。このような現象は特に乳幼児を撮影した元画像P0上で起こりやすい。
【0039】
本発明は、このような誤認を防ぐ目的で元画像P0に写り込む被検体像の中心を算出するようにしている。この動作は、中心位置算出部12が実行する。
【0040】
<中心位置算出部12の動作>
中心位置算出部12は、元画像P0に写り込む被検体像の中心を算出する構成である。中心位置算出部12は、まず元画像P0にエッジ強調処理を施してエッジ強調画像を生成する。エッジ強調処理は、ソーベルフィルタなどの微分フィルタを元画像P0に施すことで実行される。元画像P0に対して直接被検体像の中心を求めようとすると、被検体像の外部領域に位置する画素の画素値によって結果が異なってしまう。エッジ強調処理を施せば、元画像P0上に写り込んでいる構造物自体を浮き出させることができるので、被検体像の中心を確実に算出できる。
【0041】
図11は、中心位置算出部12が被検体を縦方向に写し込む元画像P0のエッジ強調画像に対して被検体像の重心Gを算出している様子を示している。
重心Gのエッジ強調画像上の座標(Gx,Gy)は、以下のようにして求められる。
Gx=ΣI(x)・x/ΣI(x)
Gy=ΣI(y)・y/ΣI(y)
ここで、xは、エッジ強調画像のある横方向についての位置を表しており、I(x)は、エッジ強調画像の位置xにある画素の画素値を合計した値を意味している。
また、yは、エッジ強調画像のある縦方向についての位置を表しており、I(y)は、エッジ強調画像の位置yにある画素の画素値を合計した値を意味している。なお、本発明においては、重心Gの座標は、横方向についてのみ演算に用いるので、必ずしもGyを算出する必要は無い。しかしながら、説明の便宜上、重心Gの位置を求めたものとして説明を行うことにする。
【0042】
図11においては、エッジ強調画像全体に亘って被検体のエッジ強調像が写り込んでいるので、重心Gの位置は、画像の中心付近に現れる。この重心Gの位置は、元画像P0上の被検体像の中心を示している。
【0043】
図12は、中心位置算出部12が横倒しの被検体を元画像P0のエッジ強調画像に対して被検体像の重心Gを算出している様子を示している。
図12においては、エッジ強調画像全体に亘って被検体のエッジ強調像が写り込んでいるので、重心Gの位置は、画像の中心付近に現れる。この重心Gの位置は、元画像P0上の被検体像の中心を示している。このように中心位置算出部12は、元画像P0に写り込む被検体像の中心の位置である中心位置(重心G)を算出する。
【0044】
図13は、重心Gとプロファイルとの関係を表している。
図13の左側は、元画像P0が被検体を縦方向に写し込んでいる場合の位置関係を図示するものであり、プロファイルが最小となっている最小点Pが重心Gの位置に近い。
図13の右側は、元画像P0が横倒しの被検体を写し込んでいる場合の位置関係を図示するものであり、プロファイルが最小となっている最小点Pが重心Gの位置から離れている。つまり、最小点Pと重心Gとの位置関係を調べれば元画像P0上の被検体が横倒しになっているかどうか知ることができるのである。
【0045】
<横転判定部13の動作>
横転判定部13は、このような原理に基づいて被検体像の横転の有無を判定する構成である。横転判定部13には、プロファイル生成部11から元画像P0のプロファイルが送出されるとともに、中心位置算出部12から重心Gの位置を示す座標が送出される。
【0046】
図14は、横転判定部13が実行する横転判定処理について説明している。すなわち、横転判定部13は、
図14左側に示すように、プロファイルの最小点Pの横方向における位置を基準として重心Gの横方向における位置が所定の範囲R以内にあるとき、元画像P0上の被検体像は横転しておらず、縦方向に写り込んでいるものと判定する。
【0047】
また、横転判定部13は、
図14右側に示すように、プロファイルの最小点Pの横方向における位置を基準として重心Gの横方向における位置が所定の範囲Rに属しないとき、元画像P0上の被検体像は横転しているものと判定する。
【0048】
なお、横転判定部13は、最小点Pを基準として重心Gの位置を判断していたが、本発明はこの構成に限られない。重心Gを基準として最小点Pの位置が所定の範囲にあるかどうかで横転の判定を行ってもよい。いずれにせよ、横転判定部13は、プロファイルの値が最小となっている位置である最小点Pが被検体像の中心位置から離れている場合に被検体像が元画像P0内で横転しているものと判定し、プロファイルの最小点Pが中心位置の近傍にある場合に被検体像が元画像P0内で縦向きに写り込んでいるものと判定することになる。
【0049】
このようにプロファイルの最小点Pの位置と重心Gとの位置の比較により被検体像の横転の有無を判定すれば、
図15に示すように、被検体像が元画像P0上の端部に偏って写り込んでいる場合であっても正しい判定をすることができる。被検体像が元画像P0上の端部に偏って写り込んでいると、被検体像を追従するように重心Gの位置も端部に偏るから、プロファイルの最小点Pが被検体像の中心にあるのかそれとも端部にあるのかを確実に把握することになるからである。
【0050】
横転判定部13により元画像P0が横転している判断された場合は、
図16に示すように、画像回転処理により元画像P0が90°回転されることにより、元画像P0上の被検体像の向きは、上部(頭部)が画像の上、腹部が画像の下となるように矯正される。このような画像の回転処理は画像回転部16が実行する。画像回転部16は、横転判定部13により横転しているものと判定された元画像P0に対して元画像P0を回転させる回転処理を実行する。
【0051】
しかし、これだけの動作だと、元画像P0をどちら回りに90°回転させればよいか判断がつかない。横転判定部13で判定可能なのは、元画像P0上の被検体像が横転しているかどうかという点である。元画像P0を右回りに90°回転させると被検体像の上部が画像の上となるのか、それとも左回りに90°回転させると被検体像の上部が画像の上となるのか区別できるというものではない。
図17はこの様な事情を説明している。
図17は、被検体像が左向きに横倒しとなっている元画像P0を示しており、
図8右側における被検体像が反対を向いたような画像となっている。
図17の元画像P0に基づいてプロファイル生成部11が生成するプロファイルは、
図8右側の被検体像に係るプロファイルと同様なものとなっている。従って、プロファイルに基づいて被検体像の上部が画像の左右どちらの向きに対応するのかを判定するのは難しい。
【0052】
そこで、本発明に係る装置は被検体像が右向きに横倒しとなっているのかそれとも左向きに横倒しとなっているのかを判定するような構成を備えている。この判定は、左右判定部14が実行する。
【0053】
<左右判定部14の動作>
左右判定部14は、横転判定部13の判定結果が送出される。元画像P0が横転しているものと判定された場合、左右判定部14は、
図18に示すように、まず元画像P0にエッジ強調処理を施してエッジ強調画像を生成する。エッジ強調処理はラプラシアンフィルタなどのフィルタを元画像P0に施すことで実行される。このとき生成されたエッジ強調画像を
図10で説明した画像と区別して左右判定用画像と呼ぶことにする。
【0054】
左右判定部14は、左右判定用画像上で画像の右半分に当たる領域である右領域と画像の左半分に当たる左領域の2つの領域を設定する。すなわち、左右判別用画像を縦に2等分することで右領域および左領域が設定される。そして、左右判定部14は、右領域に属する画素の画素値の標準偏差σ(L)と左領域に属する画素の画素値の標準偏差σ(R)とを算出する。
【0055】
図19は、上部(頭部)が画像の右側に来るように横倒しとなった被検体像を写し込んだ元画像P0に係る左右判定用画像を表している。この画像から算出される標準偏差σ(R)は、標準偏差σ(L)よりも大きくなる。被検体の肺野は、画像の右側に偏っているからである。被検体の肺は、低密度ありX線を通しやすい。肺は、肋骨によって保護されている。肋骨は骨なので高密度でありX線を通しにくい。したがって、元画像P0上の肺野は暗い部分と明るい部分がストライプ状に並んだような像となっている。このような元画像P0にエッジ強調処理をすると、得られた左右判定用画像の肺野に位置する画素の画素値のバラツキは大きくなり、肺野以外の部分では小さくなる。被検体の肺野が画像の右側に偏っていると、右領域に属する画素の画素値のバラツキを示す標準偏差σ(R)は大きくなり、左領域に属する画素の画素値のバラツキを示す標準偏差σ(L)は小さくなる。肺野の大部分は被検体像の上部に偏っているはずであるから、元画像P0の右領域が被検体像の上部に当たるということになる。左右判定部14は、このような原理に基づいて標準偏差σ(R)が標準偏差σ(L)よりも大きい場合、上部が画像の右側となるように被検体像が元画像P0上で横倒しとなっているものと判定する。
【0056】
図20は、上部が画像の左側に来るように横倒しとなった被検体像を写し込んだ元画像P0に係る左右判定用画像を表している。この画像から算出される標準偏差σ(L)は、標準偏差σ(R)よりも大きくなる。被検体の肺野は、画像の左側に偏っているからである。肺野の大部分は被検体像の上部に偏っているはずであるから、元画像P0の左領域が被検体像の上部に当たるということになる。左右判定部14は、このような原理に基づいて標準偏差σ(L)が標準偏差σ(R)よりも大きい場合、上部が画像の左側となるように被検体像が元画像P0上で横倒しとなっているものと判定する。
【0057】
このように、左右判定部14は、横転判定部13により横転しているものと判定された元画像P0に写り込む像の輪郭を抽出することにより生成された左右判定用画像の右側の領域における画素値のバラツキと、左側の領域における画素値のバラツキとを比較して、よりバラツキが大きい側の領域が被検体像の上部に当たるものと判定する。
【0058】
左右判定部14の判定結果は、画像回転部16に送出される。画像回転部16は、判定結果に基づいて被検体像の上側が画像の上に来るように元画像P0を回転させる。画像回転部16は、左右判定部14の判定結果に従って被検体像の上部が元画像P0の上側に向くよう元画像P0を回転させることになる。
【0059】
ところで、横転判定部13が被検体像の横転を検出しなかったからといって、被検体像の向きが診断に適したものとなるとは限らない。
図21は、この事情を説明している。
図21は、被検体像が上下ひっくり返しとなっている元画像P0を示しており、
図8右側における被検体像が反対を向いたような画像となっている。
図21の元画像P0に基づいてプロファイル生成部11が生成するプロファイルは、
図8左側の被検体像に係るプロファイルと同様なものとなっている。横転判定部13では、元画像P0上の被検体像が上下ひっくり返しとなっているかどうか判定することは難しい。
【0060】
そこで、本発明に係る装置は被検体像の上側が画像の上向きとなっているのかそれとも被検体像の上側が画像の下向きとなっているのかを判定するような構成を備えている。この判定は、上下判定部15が実行する。
【0061】
<上下判定部15の動作>
上下判定部15は、横転判定部13の判定結果が送出される。元画像P0が被検体像を縦向きに写し込んでいるものと判定された場合、上下判定部15は、
図22に示すように、まず元画像P0にエッジ強調処理を施してエッジ強調画像を生成する。エッジ強調処理はラプラシアンフィルタなどのフィルタを元画像P0に施すことで実行される。このとき生成されたエッジ強調画像を
図10で説明した画像と区別して上下判定用画像と呼ぶことにする。
【0062】
上下判定部15は、上下判定用画像上で画像の上半分に当たる領域である上領域と画像の下半分に当たる下領域の2つの領域を設定する。すなわち、上下判別用画像を横に2等分することで上領域および下領域が設定される。そして、上下判定部15は、上領域に属する画素の画素値の標準偏差σ(a)と下領域に属する画素の画素値の標準偏差σ(b)とを算出する。
【0063】
図23は、上部が画像の下側に来るようにひっくり返しとなった被検体像を写し込んだ元画像P0に係る上下判定用画像を表している。この画像から算出される標準偏差σ(b)は、標準偏差σ(a)よりも大きくなる。被検体の肺野は、画像の下側に偏っているからである。肺野の大部分は被検体像の上部に偏っているはずであるから、元画像P0の下領域が被検体像の上部に当たるということになる。上下判定部15は、このような原理に基づいて標準偏差σ(b)が標準偏差σ(a)よりも大きい場合、上部が画像の下側となるように被検体像が元画像P0上でひっくり返しとなっているものと判定する。
【0064】
図24は、上部が画像の上側に来るように被検体像を写し込んだ元画像P0に係る上下判定用画像を表している。この画像から算出される標準偏差σ(a)は、標準偏差σ(b)よりも大きくなる。被検体の肺野は、画像の上側に偏っているからである。肺野の大部分は被検体像の上部に偏っているはずであるから、元画像P0の上領域が被検体像の上部に当たるということになる。上下判定部15は、このような原理に基づいて標準偏差σ(a)が標準偏差σ(b)よりも大きい場合、上部が画像の上側となるように被検体像が元画像P0上で写り込んでいるものと判定する。
【0065】
このように、上下判定部15は、横転判定部13により被検体像が元画像P0内で縦向きに写り込んでいるものと判定された元画像P0に写り込む像の輪郭を抽出することにより生成された上下判定用画像の上側の領域における画素値のバラツキと、下側の領域における画素値のバラツキとを比較して、よりバラツキが大きい側の領域が被検体像の上部に当たるものと判定する。
【0066】
上下判定部15の判定結果は、画像回転部16に送出される。画像回転部16は、上部が画像の下側に来るようにひっくり返しとなった被検体像を写し込んだ元画像P0を180°回転させる。また、画像回転部16は、上部が画像の上側に来るように被検体像が元画像P0上で写り込んでいる元画像P0については回転操作をしない。すなわち、画像回転部16は、元画像P0の下側に位置している被検体像の上部が元画像P0の上側に向くように元画像P0を回転させる。
【0067】
肺野探索処理部17には、画像回転部16より元画像P0が送出される。この元画像P0は、回転処理後の画像であるので、上部が画像の上側に来るように被検体像が写り込んでいるものとなる。肺野探索処理部17は、元画像P0上から肺野を探索する。このときの肺野の探索方法は、被検体像の上側が元画像P0の上側となるように写り込んでいることが前提となる。すなわち、肺野探索処理部17は、元画像P0の上部において被検体の頸部を探索してその下側に肺野が存在するものとして動作したり、元画像P0の左端に左肺の端が、右端に右肺の端が存在するものとして動作したり、元画像P0の下側には、左肺または右肺の端部が位置しているものとして動作する。元画像P0には上部が画像の上側に来るように被検体像が写り込んでいるので、肺野探索処理部17は誤認をすることなく確実に肺野の探索を行うことができる。肺野探索処理部17は、回転処理後の元画像P0に写り込む肺野を探索する。肺野探索処理部17は、横転判定部13により被検体像が元画像P0内で縦向きに写り込んでいるものと判定された元画像P0に対して肺野の探索を実行する。
【0068】
輝度調整部18には、肺野探索処理部17が探索した肺野領域が元画像P0のどこに相当するかを示すデータが送出される。輝度調整部18は、肺野領域について色調補正を施して、肺野の視認性を向上させる。輝度調整部18は、色調補正後の肺野領域を抜き出して独立した画像にするトリミング処理を行ってトリミング画像を生成するようにしてもよい。このような動作を経て本発明の装置の動作は完了となる。
【0069】
以上のように、本発明によれば、被検体像が元画像P0の中で回転して写り込んでいたとしても、確実に画像に写り込む肺野を探し出し、視認性に優れたコントラスト調整を肺野に対して確実に実行できる画像処理装置1を提供することができる。すなわち、元画像P0の各画素列に属する画素値を画素列毎に合計または平均することにより生成されるプロファイルの最小点Pが被検体像の中心位置から離れている場合に被検体像が元画像P0内で横転しているものと判定する横転判定部13を備えている。この横転判定部13により横転しているものと判定された元画像P0は、画像回転部16により回転されて肺野の探索に用いられる。したがって、本発明によれば被検体像が元画像P0の中で回転して写り込んでいたとしても被検体像は正しい向きに補正された状態で肺野探索ができるので、視認性に優れたコントラスト調整を肺野に対して確実に実行できる。
【0070】
本発明は、上述の実施形態に限られず、下記のような変形実施が可能である。
【0071】
(1)本発明は、上述の画像処理装置1が搭載された放射線撮影装置についても適用することができる。
【0072】
(2)本発明に係る画像処理装置1は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア(プログラム)を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ(またはCPUやMPU等)がプログラムを読み出して実行する処理である。
【0073】
(3)上述の実施例によれば、プロファイル生成部11は、元画像P0を構成する各画素列について平均値を算出することでプロファイルを生成する構成となっていたが、本発明はこの構成に限られない。プロファイル生成部11が画素列に属する画素の画素値を合計する動作を繰り返し、算出された合計値を画素列の位置に従って配列することでプロファイルを生成してもよい。
【0074】
(4)上述の実施例によれば、左右判別部14および上下判別部15は標準偏差を算出することにより画素値のバラツキを算出していたが、本発明はこの構成に限られない。左右判別部14および上下判別部15が標準偏差以外のバラツキを示す指標を算出することにより動作してもよい。
【0075】
(5)上述の実施例によれば、左右判別部14は、左右判別用画像を縦に2等分することで右領域および左領域を設定していたが、本発明はこの構成に限られない。右領域および左領域を合わせても左右判別用画像の全域にならないように各領域を設定することもできる。また、右領域および左領域の幅を違えるようにしてもよい。
【0076】
(6)上述の実施例によれば、上下判別部15は、上下判別用画像を横に2等分することで上領域および下領域を設定していたが、本発明はこの構成に限られない。上領域および下領域を合わせても上下判別用画像の全域にならないように各領域を設定することもできる。また、上領域および下領域の幅を違えるようにしてもよい。