(58)【調査した分野】(Int.Cl.,DB名)
前記3次元画像は、CT(Computerized Tomography)画像、またはMRI(Magnetic Resonance Imaging)画像である
請求項1に記載の画像処理装置。
【発明を実施するための形態】
【0017】
以下、本技術の実施の形態について図を参照して説明する。
【0019】
図2は、画像処理装置の構成例を示すブロック図である。画像処理装置11は、例えばパーソナルコンピュータにより構成される。
【0020】
画像処理装置11において、CPU(Central Processing Unit)21,ROM(Read Only Memory)22,RAM(Random Access Memory)23は、バス24により相互に接続されている。
【0021】
バス24には、さらに、入出力インタフェース25が接続されている。入出力インタフェース25には、入力部26、出力部27、記憶部28、通信部29、およびドライブ30が接続されている。
【0022】
入力部26は、キーボード、マウス、マイクロフォンなどよりなる。出力部27は、ディスプレイ、スピーカなどよりなる。記憶部28は、ハードディスクや不揮発性のメモリなどよりなる。通信部29は、ネットワークインタフェースなどよりなる。ドライブ30は、磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリなどのリムーバブルメディア31を駆動する。
【0023】
以上のように構成される画像処理装置11では、CPU21が、例えば、記憶部28に記憶されているプログラムを、入出力インタフェース25およびバス24を介して、RAM23にロードして実行することにより、所定の処理が実行される。
【0024】
画像処理装置11では、プログラムは、例えば、パッケージメディア等としてのリムーバブルメディア31をドライブ30に装着することにより、入出力インタフェース25を介して、記憶部28にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部29で受信し、記憶部28にインストールすることができる。その他、プログラムは、ROM22や記憶部28に、あらかじめインストールしておくことができる。
【0025】
次にCPU21の機能的構成について説明する。
図3は、CPU21の機能的構成を示すブロック図である。
【0026】
図3に示されるように、CPU21は、断面設定部51、領域選択部52、ブロック抽出部53、評価値算出部54、表示制御部55を備えている。各部は必要に応じて情報を授受する機能を有している。
【0027】
断面設定部51は、3次元空間における物体を表す3次元画像に対して所定の断面を設定する。
【0028】
領域選択部52は、断面設定部51によって3次元画像に対して設定された断面において、所定の領域を選択する。
【0029】
ブロック抽出部53は、3次元画像から、領域選択部52によって選択された領域に対応する3次元の画素ブロックを抽出する。
【0030】
評価値算出部54は、ブロック抽出部53によって抽出された画素ブロックの所定の断面を表す断面画像について、それぞれの画像を評価するための評価値を算出する。言い換えると、評価値算出部54は、3次元空間における物体の所定の部分(画素ブロックに含まれる部分)を対象とした複数の画像について、評価値を算出する。
【0031】
表示制御部55は、出力部27としてのディスプレイの表示を制御する。特に、表示制御部55は、評価値算出部54によって評価値に応じて、その評価値が算出された複数の断面画像のうちの所定の画像の表示を制御する。
【0032】
[画像処理装置による断面表示処理]
次に、
図4のフローチャートを参照して、画像処理装置11による断面表示処理について説明する。この断面表示処理によれば、例えば通信部29を介して供給される、CT(Computerized Tomography)スキャナにより得られたCT画像や、MRI(Magnetic Resonance Imaging)画像等の、人体の3次元画像における所定の細胞組織の断面が、出力部27としてのディスプレイに表示される。
【0033】
ステップS11において、断面設定部51は、人体の3次元画像に対して所定の断面を設定する。ここで設定される断面は、3次元画像が得られた断層撮影時の断面であってもよいし、3次元空間上で予め決められた平面上の断面であってもよい。また、ユーザ(医師)によって選択された断面であってもよい。設定された断面の断面画像は、出力部27としてのディスプレイに表示される。
【0034】
ステップS12において、領域選択部52は、断面設定部51によって設定された3次元画像の断面において、がんらしい(悪性腫瘍)細胞組織を含む領域を選択する。
【0035】
領域選択部52によって選択される領域は、例えば、
図5に示されるように、断面設定部51によって設定された断面画像81において、ユーザががんらしいと判断した細胞組織に対して、入力部26としてのマウスに対するユーザの操作(ドラッグ)に応じてマウスポインタ82により形成される領域83とする。
【0036】
また、領域選択部52によって選択される領域は、
図6で示されるように、断面画像81において、予め学習されているがん検出器を用いることによって算出されるスコアが最も高い細胞組織を含む領域83であってもよい。この場合、入力部26としてのマウスに対するユーザの操作(クリック)に応じて、マウスポインタ82により領域83が選択される。また、この場合、領域83のサイズは、がん検出器によって決められてもよいし、ユーザの操作により決められるようにしてもよい。なお、がん検出器を用いたスコアの算出は、例えば特許文献1に開示されている手法を用いるものとする。
【0037】
また、
図5および
図6において、領域83は矩形であるものとしたが、円形や楕円形等、他の形状であってもよい。
【0038】
図4のフローチャートに戻り、ステップS13において、ブロック抽出部53は、3次元画像から、領域選択部52によって選択された領域を含む画素ブロックを抽出する。すなわち、ブロック抽出部53は、3次元画像から、がんらしい細胞組織を含む画素ブロックを抽出する。
【0039】
具体的には、例えば、
図7に示されるように、3次元画像の断面画像81における領域83を、断面画像81の上面側および下面側の法線方向に延ばして得られる直方体91を、画素ブロック(以下、画素ブロック91という)として3次元画像から抽出する。ここで、3次元画像は、断層撮影して得られた断層画像の集合であり、断層画像それぞれの画素全てが3次元行列の要素となる。この要素が、3次元画像上での画素(いわゆるボクセル)であり、それぞれ3次元空間上の座標を有する。すなわち、画素ブロックもまたボクセルから構成されており、画素ブロックは、それを構成する画素(ボクセル)の3次元空間上の位置(座標)で指定され抽出される。
【0040】
なお、画素ブロックの形状は、直方体に限らず、領域83の形状に応じて、球であってもよいし楕円体であってもよい。
【0041】
ステップS14において、評価値算出部54は、ブロック抽出部53によって抽出された画素ブロックの任意の断面を表す断面画像について、がんらしさを表す評価値を算出する。具体的には、評価値算出部54は、画素ブロック91において、領域83を基準とした(言い換えると画素ブロック91に含まれるがんらしい細胞組織を基準とした)複数の方向の断面を表す断面画像について、評価値を算出する。なお、画素ブロック91における任意の断面は、画素ブロックを構成するボクセルの位置により指定され、例えばCT画像における任意断面再構成(Multiplanar Reconstruction: MPR)の技術を用いて設定される。
【0042】
具体的には、
図8に示される画素ブロック91において、領域83の画像を、基準となる断面を表す断面画像S0とすると、評価値算出部54は、領域83の2長辺の中点を結んだ線分Lを軸として断面画像S0を回転させて得られる断面画像Smや断面画像Snについて、評価値を算出する。断面画像S0を回転させて得られる断面画像の数は、任意に設定することができ、例えば、断面画像S0を45度ずつ回転させて得られる4(断面画像S0を含む)であってもよいし、断面画像S0を30度ずつ回転させて得られる6(断面画像S0を含む)であってもよい。なお、がんらしさを表す評価値は、上述で説明した、がん検出器を用いたスコアとして求めることができる。
【0043】
なお、
図8においては、線分Lを軸として断面画像S0を回転させて得られる断面画像について評価値を算出するようにしたが、線分Lに直交する線分を軸として断面画像S0を回転させて得られる断面画像について評価値を算出するようにしてもよい。また、画素ブロックが球や楕円体である場合には、基準となる断面画像の中心点を回転中心として得られる断面画像について評価値を算出するようにしてもよい。
【0044】
ステップS15において、表示制御部55は、評価値算出部54によって評価値が算出された断面画像のうち、最も評価値の高い断面画像と最も評価値の低い断面画像とを交互に表示させる。
【0045】
具体的には、
図9左上に示される断面画像81において、がんらしい細胞組織を含む領域83が選択されると、断面画像81の領域83には、
図9右上に示されるように、最も評価値の高い(最もがんらしい)断面画像Smax(例えば、
図1の断面画像2B)が表示される。また、
図9右上の状態で、例えば、入力部26としてのマウスがユーザにより操作(クリック)されると、断面画像81の領域83には、
図9下に示されるように、最も評価値の低い(最もがんらしくない)断面画像Smin(例えば、
図1の断面画像2A)が表示される。さらに、
図9下の状態で、入力部26としてのマウスがユーザにより操作(クリック)されると、
図9右上の状態に戻る。すなわち、断面画像81の領域83には、ユーザの操作毎に、最も評価値の高い断面画像Smaxと最も評価値の低い断面画像Sminとが交互に表示されるようになる。
【0046】
また、
図9左上に示される断面画像81において、がんらしい細胞組織を含む領域83が選択されると、ユーザの操作を必要とせずに、最も評価値の高い断面画像Smaxと最も評価値の低い断面画像Sminとが交互に連続的に表示されるようにしてもよい。
【0047】
以上の処理によれば、同一部分の細胞組織についての複数の断面画像について、がんらしさを表す評価値が算出され、その評価値に応じて、最も評価値の高い断面画像と最も評価値の低い断面画像とが交互に表示されるようになる。したがって、ユーザは、同一部分の細胞組織について、最もがんらしい断面と最もがんらしくない断面とを確認することができ、それらの断面を参考にすることで、より正確な診断を行うことが可能となる。
【0048】
なお、以上においては、最も評価値の高い断面画像と最も評価値の低い断面画像の2つの断面画像が交互に表示されるようにしたが、最も評価値の高い断面画像と最も評価値の低い断面画像との間に、その間を補間する補間画像を表示させるようにしてもよい。ここで、補間画像とは、例えば、モーフィングの手法において生成される、異なる2つの画像の間を補間する画像であり、その2つの画像の画素値を所定の比率で合成(ブレンド)することで得られる。これにより、1つの画像の表示が他の画像の表示に切り替わる際に、自然に切り替わるようになる。
【0049】
補間画像としては、例えば、
図8を参照して説明した線分Lを回転軸として得られた断面画像であって、最も評価値の高い断面画像と最も評価値の低い断面画像との間にある断面画像を用いることができる。なお、補間画像は1つであってもよいし、複数であってもよい。これにより、最も評価値の高い断面画像と最も評価値の低い断面画像の2つの断面画像が交互に表示される場合と比べて、補間画像の数が多いほど、スムーズな表示を行うことができる。
【0050】
また、補間画像として、評価値が、最高値と最低値との間の値となる断面画像を用いるようにしてもよいし、最も評価値の高い断面画像と最も評価値の低い断面画像とを用いて補間画像を新たに生成するようにしてもよい。
【0051】
さらに、評価値が算出された複数の断面画像を、評価値によって順位付けし、評価値の高い上位の断面画像いずれかと、最も評価値の低い断面画像とを交互に表示させるようにしてもよい。
【0052】
具体的には、例えば、
図10に示されるように、出力部27としてのディスプレイ101に、断面画像81とともに、評価値が算出された複数の断面画像の中で評価値の高い上位3つの断面画像S1,S2,S3を表示させる。
【0053】
図10において、ユーザの操作により、断面画像S1,S2,S3の中から、断面画像S1が選択された場合、
図11に示されるように、断面画像81の領域83には、1番目に評価値の高い断面画像S1と最も評価値の低い断面画像Sminが交互に表示されるようになる。この場合でも、交互に表示される2つの断面画像の間に、補間画像を表示するようにしてもよい。また、
図11下において、最も評価値の低い断面画像Sminに代えて、基準となる断面画像S0が表示されるようにしてもよい。
【0054】
また、以上においては、断面画像81の領域83に、評価値を算出した断面画像を表示させるようにしたが、
図12に示されるように、断面画像81とは別の表示領域111に、評価値を算出した断面画像を表示させるようにしてもよい。もちろん、この場合でも、交互に表示される2つの断面画像の間に、補間画像を表示するようにしてもよい。
【0055】
ところで、上述した説明では、画像処理装置11が、所定の細胞組織の、複数の方向の断面について、評価値を算出するものとしたが、外部に接続されている図示せぬサーバ等が、任意の断面についての評価値を算出し、画像処理装置11が、その評価値をサーバから取得して、取得した評価値に応じて、所定の断面画像を表示させるようにしてもよい。
【0056】
[CPUの他の機能的構成]
図13は、CPU21の他の機能的構成を示すブロック図である。
【0057】
図13に示されるように、CPU21は、評価値取得部151および表示制御部55を備えている。なお、
図13において、表示制御部55は、
図3のCPU21における表示制御部55と同一であるので、その説明は省略する。
【0058】
評価値取得部151は、通信部29を介して、外部に接続されているサーバから、3次元画像における画素ブロックの所定の断面を表す断面画像についての評価値を取得する。
【0059】
なお、外部のサーバは、
図3のCPU21における断面設定部51、領域選択部52、ブロック抽出部53、および評価値算出部54と同様の機能を備えており、3次元画像において設定された領域を含む画素ブロックにおける任意の断面について、評価値を算出する。
【0060】
[画像処理装置による断面表示処理]
次に、
図14のフローチャートを参照して、
図13で説明した機能を備える画像処理装置11による断面表示処理について説明する。
【0061】
なお、外部のサーバにおいては、人体の3次元画像における所定の細胞組織に対して設定された領域を含む画素ブロックの任意の断面について、評価値が算出されている。
【0062】
ステップS31において、評価値取得部151は、通信部29を介して、外部に接続されているサーバから、人体の3次元画像における所定の細胞組織を含む画素ブロックの任意の断面を表す断面画像について、評価値を取得する。
【0063】
ステップS32において、表示制御部55は、評価値取得部151によって評価値が取得された断面画像のうち、最も評価値の高い断面画像と最も評価値の低い断面画像とを交互に表示させる。なお、2つの断面画像は、
図9を参照して説明したように表示されてもよいし、
図11または
図12を参照して説明したように表示されてもよい。
【0064】
以上の処理によっても、
図4のフローチャートを参照して説明した断面表示処理と同様の効果、作用を得ることが可能となる。
【0065】
なお、以上においては、評価値が取得(算出)された断面画像のみを表示の対象としたが、例えば、
図8を参照して説明した断面のとり方では、断面として指定されなかった断面の断面画像の評価値が最も高くなる(または低くなる)可能性もある。
【0066】
そこで、以下においては、指定された断面以外の断面について、その評価値を推定する構成について説明する。
【0067】
[CPUのさらに他の機能的構成]
図15は、CPU21のさらに他の機能的構成を示すブロック図である。
【0068】
図15に示されるように、CPU21は、評価値取得部151、断面推定部211、および表示制御部55を備えている。なお、
図15において、評価値取得部151および表示制御部55は、
図13のCPU21における評価値取得部151および表示制御部55と同一であるので、その説明は省略する。
【0069】
断面推定部211は、評価値取得部151によって取得された評価値に基づいて、評価値が取得(算出)されなかった断面の断面画像を推定する。
【0070】
[画像処理装置による断面表示処理]
次に、
図16のフローチャートを参照して、
図15で説明した機能を備える画像処理装置11による断面表示処理について説明する。
【0071】
ステップS51において、評価値取得部151は、通信部29を介して、外部に接続されているサーバから、人体の3次元画像における所定の細胞組織を含む画素ブロックの任意の断面を表す断面画像について、評価値を取得する。
【0072】
ステップS52において、断面推定部211は、評価値取得部151によって取得された評価値に基づいて、評価値が最も高い断面の断面画像、および評価値が最も低い断面の断面画像を推定する。具体的には、断面推定部211は、評価値取得部151によって取得された各断面についての評価値から、断面の回転方向についての評価値の分布を、線形補間等により推定する。そして、断面推定部211は、推定した評価値の分布を基に、評価値が最も高い断面画像と評価値が最も低い断面画像とを生成する。例えば、ある2つの断面画像の間で、評価値が最も高くなると推定された場合、その2つの断面画像それぞれの評価値と、推定された最も高くなる評価値との差に応じた比率で、2つの断面画像の画素値を合成(ブレンド)することで、評価値が最も高い断面画像が得られる。
【0073】
ステップS53において、表示制御部55は、断面推定部211によって推定された、最も評価値の高い断面画像と最も評価値の低い断面画像とを交互に表示させる。なお、2つの断面画像は、
図9を参照して説明したように表示されてもよいし、
図11または
図12を参照して説明したように表示されてもよい。
【0074】
以上の処理によっても、
図4のフローチャートを参照して説明した断面表示処理と同様の効果、作用を得ることが可能となる。
【0075】
また、
図15のCPU21における断面推定部211を、
図3のCPU21に設けるようにしてもよい。この場合、
図4のフローチャートのステップS14とステップS15の間に、断面推定部211による断面画像の推定処理(
図16のフローチャートのステップS51の処理)が実行される。
【0076】
なお、以上においては、本技術を、人体の細胞組織の断面を表示する構成に適用した場合について説明してきたが、野菜や果物、肉等の食品、電子機器、構造物、地層等の断面を表示する構成に適用することで、異物の発見、部品や堆積物の解析をより正確に行うことができるようになる。
【0077】
[本技術のプログラムへの適用]
上述した一連の処理は、ハードウエアにより実行させることもできるし、ソフトウエアにより実行させることができる。
【0078】
一連の処理をソフトウエアにより実行させる場合には、そのソフトウエアを構成するプログラムが、専用のハードウエアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、ネットワークや記録媒体からインストールされる。
【0079】
このようなプログラムを含む記録媒体は、
図2に示されるように、装置本体とは別に、ユーザにプログラムを提供するために配布される、プログラムが記録されている磁気ディスク(フロッピディスクを含む)、光ディスク(CD-ROM(Compact Disk-Read Only Memory),DVDを含む)、光磁気ディスク(MD(Mini-Disk)を含む)、もしくは半導体メモリなどよりなるリムーバブルメディア31により構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに提供される、プログラムが記録されているフラッシュROM22や、記憶部28に含まれるハードディスクなどで構成される。
【0080】
なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、その順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【0081】
また、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
【0082】
なお、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
【0083】
また、本技術は、1つの機能をネットワーク上の複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
【0084】
さらに、上述のフローチャートで説明した各ステップは、1つの装置で実行する他、複数の装置で分担して実行することができる。
【0085】
また、1つのステップに複数の処理が含まれる場合には、その1つのステップに含まれる複数の処理は、1つの装置で実行する他、複数の装置で分担して実行することができる。
【0086】
本技術は以下のような構成をとることができる。
(1)
3次元空間における物体を表す3次元画像の所定断面においてユーザにより選択された1つの所定領域についての任意の断面を表す断面画像について、前記断面画像の病巣部位らしさを表す評価値を取得する評価値取得部と、
前記評価値に応じて、所定の前記断面画像の出力を制御する出力制御部と
を備え、
前記出力制御部は、前記評価値が最も高く最も病巣部位らしい第1の断面画像と、前記第1の断面画像とは前記評価値の異なる少なくとも1つの第2の断面画像とを出力させる
画像処理装置。
(2)
前記評価取得部は、前記所定領域についての複数の方向の断面を表す複数の前記断面画像について、それぞれの前記断面画像の病巣部位らしさを表す評価値を取得する
(1)に記載の画像処理装置。
(3)
前記評価値は、人体の所定の部分の細胞組織を対象とした画像における前記細胞組織のがんらしさを表す
(1)または(2)に記載の画像処理装置。
(4)
前記出力制御部は、
前記評価値に応じて、所定の前記断面画像の表示を制御し、
複数の前記断面画像のうちの、前記評価値が最も高く最もがんらしい前記第1の断面画像と、前記評価値が最も低く最もがんらしくない前記第2の断面画像とを表示させる
(3)に記載の画像処理装置。
(5)
前記出力制御部は、前記所定領域上で、前記第1の断面画像と前記第2の断面画像とを交互に表示させる
(4)に記載の画像処理装置。
(6)
前記出力制御部は、前記第1の断面画像と前記第2の断面画像とを並べて表示させる
(4)に記載の画像処理装置。
(7)
前記3次元画像から、前記所定領域を含む画素ブロックを抽出するブロック抽出部をさらに備え、
前記評価値取得部は、前記画素ブロックの複数の断面を表す断面画像について、前記評価値を取得する
(5)に記載の画像処理装置。
(8)
前記出力制御部は、複数の前記断面画像のうちの第3の断面画像を、前記第1の断面画像と前記第2の断面画像との間に表示させる
(7)に記載の画像処理装置。
(9)
前記第3の断面画像は、前記第1の断面画像と前記第2の断面画像との間を補間する補間画像である
(8)に記載の画像処理装置。
(10)
前記評価値取得部は、前記画素ブロックに含まれる任意の断面を表す前記断面画像について、前記評価値を取得する
(7)乃至(9)のいずれかに記載の画像処理装置。
(11)
前記評価値取得部によって取得された前記評価値に基づいて、前記評価値が取得されていない断面の断面画像を推定する断面推定部をさらに備え、
前記出力制御部は、前記断面推定部によって推定された断面画像のうちの所定の断面画像を表示させる
(5),(7)乃至(10)のいずれかに記載の画像処理装置。
(12)
3次元空間における物体を表す3次元画像の所定断面においてユーザにより選択された1つの所定領域についての任意の断面を表す断面画像について、前記断面画像の病巣部位らしさを表す評価値を取得する評価値取得部と、
前記評価値に応じて、前記断面画像の出力を制御する出力制御部と
を備える画像処理装置の画像処理方法であって、
前記出力制御部が、前記評価値が最も高く最も病巣部位らしい第1の断面画像と、前記第1の断面画像とは前記評価値の異なる少なくとも1つの第2の断面画像とを出力させる
ステップを含む画像処理方法。
(13)
3次元空間における物体を表す3次元画像の所定断面においてユーザにより選択された1つの所定領域についての任意の断面を表す断面画像について、前記断面画像の病巣部位らしさを表す評価値を取得する評価値取得ステップと、
前記評価値に応じて、前記断面画像の出力を制御する出力制御ステップと
を含む処理をコンピュータに実行させ、
前記出力制御ステップは、前記評価値が最も高く最も病巣部位らしい第1の断面画像と、前記第1の断面画像とは前記評価値の異なる少なくとも1つの第2の断面画像とを出力させる
プログラム。