IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ グローリー株式会社の特許一覧 ▶ 公立大学法人兵庫県立大学の特許一覧

<>
  • 特開-画像処理装置および画像処理方法 図1
  • 特開-画像処理装置および画像処理方法 図2
  • 特開-画像処理装置および画像処理方法 図3
  • 特開-画像処理装置および画像処理方法 図4
  • 特開-画像処理装置および画像処理方法 図5
  • 特開-画像処理装置および画像処理方法 図6
  • 特開-画像処理装置および画像処理方法 図7
  • 特開-画像処理装置および画像処理方法 図8
  • 特開-画像処理装置および画像処理方法 図9
  • 特開-画像処理装置および画像処理方法 図10
  • 特開-画像処理装置および画像処理方法 図11
  • 特開-画像処理装置および画像処理方法 図12
  • 特開-画像処理装置および画像処理方法 図13
  • 特開-画像処理装置および画像処理方法 図14
  • 特開-画像処理装置および画像処理方法 図15
  • 特開-画像処理装置および画像処理方法 図16
  • 特開-画像処理装置および画像処理方法 図17
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2022127759
(43)【公開日】2022-09-01
(54)【発明の名称】画像処理装置および画像処理方法
(51)【国際特許分類】
   A61B 6/03 20060101AFI20220825BHJP
   G06T 7/00 20170101ALI20220825BHJP
   G06T 1/00 20060101ALI20220825BHJP
【FI】
A61B6/03 360G
A61B6/03 360T
G06T7/00 350B
G06T1/00 290B
G06T1/00 290C
【審査請求】未請求
【請求項の数】7
【出願形態】OL
(21)【出願番号】P 2021025921
(22)【出願日】2021-02-22
(71)【出願人】
【識別番号】000001432
【氏名又は名称】グローリー株式会社
(71)【出願人】
【識別番号】513099603
【氏名又は名称】兵庫県公立大学法人
(74)【代理人】
【識別番号】100117673
【弁理士】
【氏名又は名称】中島 了
(72)【発明者】
【氏名】柳内 久和
(72)【発明者】
【氏名】鵜飼 和歳
(72)【発明者】
【氏名】小橋 昌司
【テーマコード(参考)】
4C093
5B057
5L096
【Fターム(参考)】
4C093AA22
4C093AA26
4C093CA21
4C093FD03
4C093FD08
4C093FD09
4C093FD11
4C093FF07
4C093FF16
4C093FF17
4C093FF22
4C093FF28
4C093FF33
4C093FF42
4C093FF45
4C093FF46
4C093FG01
4C093FG04
4C093FG13
4C093FG16
4C093FH02
4C093FH06
5B057AA09
5B057CA08
5B057CA12
5B057CA13
5B057CA16
5B057CD02
5B057CD03
5B057CD05
5B057CE14
5B057CH16
5B057DA07
5B057DA08
5B057DA16
5B057DB02
5B057DB03
5B057DB09
5B057DC40
5L096AA06
5L096AA09
5L096BA06
5L096CA21
5L096DA01
5L096EA03
5L096EA15
5L096EA16
5L096EA39
5L096FA69
5L096HA11
5L096KA04
5L096MA07
(57)【要約】
【課題】骨折部位を含む比較的広範な空間が病変空間として推定される場合であっても骨折部位を立体的に見易く表示することが可能な技術を提供する。
【解決手段】画像処理装置は、被検体の2次元スライス画像群に基づき骨折部位50を含む空間として推定される推定病変空間75(被検体の骨に隣接する近傍空間をも含む)と、被検体の骨の3次元モデルである3次元骨モデル330のうち少なくとも表面を含む部分と、の積空間である病変骨部領域77(曲面領域79等)を、3次元骨モデル330のうち病変骨部領域77以外の部分(332等)とは異なる態様で表示部に表示する。
【選択図】図6
【特許請求の範囲】
【請求項1】
被検体の2次元スライス画像群に基づき骨折部位を含む空間として推定される推定病変空間であって前記被検体の骨に隣接する近傍空間をも含む推定病変空間と、前記被検体の骨の3次元モデルである3次元骨モデルのうち少なくとも表面を含む部分と、の積空間である病変骨部領域を、前記3次元骨モデルのうち前記病変骨部領域以外の部分とは異なる態様で表示部に表示する制御部、
を備えることを特徴とする画像処理装置。
【請求項2】
前記制御部は、機械学習によって学習された学習済みモデルを用いて、前記推定病変空間を推定することを特徴とする、請求項1に記載の画像処理装置。
【請求項3】
前記制御部は、
機械学習によって学習された学習済みモデルを用いて前記被検体の前記2次元スライス画像群のうちの2以上の2次元スライス画像のそれぞれにおける骨折部位を含む2次元領域を推定病変領域として推定し、
前記2以上の2次元スライス画像の前記推定病変領域に基づき前記推定病変空間と前記3次元骨モデルの表面との前記積空間を求めることを特徴とする、請求項1または請求項2に記載の画像処理装置。
【請求項4】
前記制御部は、前記推定病変空間と前記3次元骨モデルのうち少なくとも表面を含む部分との前記積空間である病変骨部領域の各位置の表示態様を、当該各位置における病変推定に関する信頼度に応じて変更することを特徴とする、請求項1から請求項3のいずれかに記載の画像処理装置。
【請求項5】
前記制御部は、
前記推定病変空間と前記3次元骨モデルのうち少なくとも表面を含む部分との前記積空間である病変骨部領域を病変推定に関する信頼度に応じて複数の段階に分類した段階別データを生成し、
前記段階別データを段階ごとに異なるデータファイルに出力することを特徴とする、請求項1から請求項4のいずれかに記載の画像処理装置。
【請求項6】
前記制御部は、前記推定病変空間と前記3次元骨モデルのうち少なくとも表面を含む部分との前記積空間である病変骨部領域の表示態様を、病変の種類に応じて変更することを特徴とする、請求項1から請求項5のいずれかに記載の画像処理装置。
【請求項7】
a)被検体の2次元スライス画像群に基づき骨折部位を含む空間として推定される推定病変空間であって前記被検体の骨に隣接する近傍空間をも含む推定病変空間と、前記被検体の骨の3次元モデルである3次元骨モデルのうち少なくとも表面を含む部分と、の積空間である病変骨部領域を、前記3次元骨モデルのうち前記病変骨部領域以外の部分とは異なる態様で表示部に表示するステップ、
を備えることを特徴とする画像処理方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像処理装置およびそれに関連する技術に関する。
【背景技術】
【0002】
MRI(Magnetic Resonance Imaging)装置あるいはCT(Computed Tomography)装置などで被検体の複数の2次元スライス画像(断面画像)を取得し、当該複数の2次元スライス画像を用いて病変を特定する技術が存在する。
【0003】
たとえば、複数の2次元スライス画像に基づくボリュームデータを生成し、当該ボリュームデータに基づき、骨折(病変)の有無および位置等を判定する技術が存在する(特許文献1参照)。特許文献1では、肋骨の立体的形状に関する左右対称性を利用して左右差が存在する領域(肋骨の変形が存在する領域)を肋骨の骨折領域として検出すること、および当該肋骨の骨折領域を表示することが記載されている(特許文献1の段落0074および図13参照)。特許文献1では、左右一対の肋骨のうちの一方の肋骨の骨折領域が検出される場合において、肋骨付近の前面方向からのVR(Volume Rendering)画像(ボリュームレンダリング画像)が生成され、当該VR画像上の骨折領域が強調されて表示されている。
【0004】
また、機械学習された学習モデルを用いて、複数の2次元スライス画像から病変部位を検出する技術も存在する。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】特開2019-103752号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
特許文献1では、肋骨の立体的形状に関する左右対称性を利用して左右差(位置ずれ)が存在する領域を肋骨の骨折領域として検出することが示されている。しかしながら、骨折部位(病変部位)の検出には、特許文献1のような検出技術が用いられるのみならず、上述のような機械学習を利用した検出技術等が用いられることもある。
【0007】
特に、機械学習を利用した骨折部位の検出技術としては、骨折部位のみで構成される領域ではなく、骨折部位を含む領域(当該骨折部位のみよりも広範な領域)を推定病変領域(病変領域として推定される領域)として検出する技術も考えられる。たとえば、被検体の骨に隣接する近傍空間をも含む領域が推定病変領域として検出されてもよい。なお、機械学習を利用した骨折部位の検出技術によれば、立体的形状に関する左右対称性(左右の形状差)に依らずに骨折部位を検出することができるので、多様な種類の骨折を適切に検出することが可能である。たとえば、完全骨折(骨が断裂し複数の部分に分離している骨折等)のみならず不全骨折(骨にひびが入った状態の骨折等)をも検出することが可能である。
【0008】
そして、このような推定病変領域が検出される場合にも、3次元ボリュームデータ(たとえば被検体の骨モデル)において病変の位置を立体的に表示することが要請される。
【0009】
このような要請に対して、後述するように、たとえば、複数の2次元スライス画像における推定病変領域を積層すること等によって形成される空間(推定病変空間とも称する)を、被検体の骨モデルにそのまま重畳させて表示することが考えられる。詳細には、推定病変空間をソリッドモデルで表現し、当該ソリッドモデルを骨モデルに結合させた状態で表示させることが考えられる。
【0010】
しかしながら、比較的広範な推定病変領域(骨折部位を含む領域)を積層すること等によって形成される推定病変空間は、骨モデルの表面から外側に突出した部分を有していることが多い。そのため、推定病変空間を被検体の骨モデルにそのまま重畳させるような表示では、骨モデルにおける表面が推定病変空間に覆われて見えなくなること等が発生し、骨モデルにおける骨折位置等を把握し難くなる。
【0011】
そこで、この発明は、骨折部位を含む比較的広範な空間が病変空間として推定される場合であっても骨折部位を立体的に見易く表示することが可能な技術を提供することを課題とする。
【課題を解決するための手段】
【0012】
上記課題を解決すべく、本発明に係る画像処理装置は、被検体の2次元スライス画像群に基づき骨折部位を含む空間として推定される推定病変空間であって前記被検体の骨に隣接する近傍空間をも含む推定病変空間と、前記被検体の骨の3次元モデルである3次元骨モデルのうち少なくとも表面を含む部分と、の積空間である病変骨部領域を、前記3次元骨モデルのうち前記病変骨部領域以外の部分とは異なる態様で表示部に表示する制御部、を備えることを特徴とする。
【0013】
前記制御部は、機械学習によって学習された学習済みモデルを用いて、前記推定病変空間を推定してもよい。
【0014】
前記制御部は、機械学習によって学習された学習済みモデルを用いて前記被検体の前記2次元スライス画像群のうちの2以上の2次元スライス画像のそれぞれにおける骨折部位を含む2次元領域を推定病変領域として推定し、前記2以上の2次元スライス画像の前記推定病変領域に基づき前記推定病変空間と前記3次元骨モデルの表面との前記積空間を求めてもよい。
【0015】
前記制御部は、前記推定病変空間と前記3次元骨モデルのうち少なくとも表面を含む部分との前記積空間である病変骨部領域の各位置の表示態様を、当該各位置における病変推定に関する信頼度に応じて変更してもよい。
【0016】
前記制御部は、前記推定病変空間と前記3次元骨モデルのうち少なくとも表面を含む部分との前記積空間である病変骨部領域を病変推定に関する信頼度に応じて複数の段階に分類した段階別データを生成し、前記段階別データを段階ごとに異なるデータファイルに出力してもよい。
【0017】
前記制御部は、前記推定病変空間と前記3次元骨モデルのうち少なくとも表面を含む部分との前記積空間である病変骨部領域の表示態様を、病変の種類に応じて変更してもよい。
【0018】
上記課題を解決すべく、本発明に係る画像処理方法は、a)被検体の2次元スライス画像群に基づき骨折部位を含む空間として推定される推定病変空間であって前記被検体の骨に隣接する近傍空間をも含む推定病変空間と、前記被検体の骨の3次元モデルである3次元骨モデルのうち少なくとも表面を含む部分と、の積空間である病変骨部領域を、前記3次元骨モデルのうち前記病変骨部領域以外の部分とは異なる態様で表示部に表示するステップ、を備えることを特徴とする。
【発明の効果】
【0019】
本発明によれば、骨折部位を含む更に広範な空間が病変空間として推定される場合であっても骨折部位を立体的に見易く表示することが可能である。
【図面の簡単な説明】
【0020】
図1】画像処理システムのブロック図である。
図2】機械学習における推論段階の処理を示す概念図である。
図3】画像処理装置の処理を示すフローチャートである。
図4】3次元骨モデルの生成例を示す概念図である。
図5】推定病変空間の生成例を示す概念図である。
図6】3次元骨モデルの表示例を示す図である。
図7】完全骨折を伴う骨折部位付近における3次元骨モデルの部分拡大図である。
図8】不全骨折を伴う骨折部位付近における3次元骨モデルの部分拡大図である。
図9】第2実施形態における処理の一部を示すフローチャートである。
図10】アキシャル断面、コロナル断面およびサジタル断面を示す図である。
図11】複数のスライス画像群のそれぞれにおける病変候補空間、および統合病変候補空間、統合病変空間等を説明するための概念図である。
図12】第2実施形態に係る3次元骨モデルの表示例を示す図である。
図13】推定病変空間等を或るコロナル断面で切断した断面図である。
図14】推定病変空間と3次元骨モデルの表面との積空間等を示す概念図である。
図15】推定病変空間と3次元骨モデルとの積空間等を示す概念図である。
図16】第1の比較例を示す図である。
図17】第2の比較例を示す図である。
【発明を実施するための形態】
【0021】
以下、本発明の実施形態を図面に基づいて説明する。
【0022】
<1.第1実施形態>
<1-1.システム概要>
図1は、画像処理システム10を示すブロック図である。画像処理システム10は、基準軸に垂直な断面で被検体(被検者等)をスライスした複数の2次元スライス画像(断層画像)220(図4参照)(詳細には、複数の2次元スライス画像群210)を処理するシステムである。
【0023】
図1に示されるように、画像処理システム10は、スライス画像生成装置20と画像処理装置30とを備えている。スライス画像生成装置20と画像処理装置30とは有線接続(あるいは無線接続)されて互いに通信可能である。画像処理装置30は、スライス画像生成装置20で生成(取得)された情報(スライス画像等)を所定の接続ケーブル等を介してスライス画像生成装置20から受信する。
【0024】
スライス画像生成装置20は、MRI(Magnetic Resonance Imaging)装置あるいはCT(Computed Tomography)装置などで構成される。スライス画像生成装置20は、被検体(被検者等)に関する複数の2次元スライス画像(単にスライス画像とも称する)220を生成して取得する。当該複数のスライス画像220は、基準軸上の互いに異なる複数の位置において(例えば、0.6mm~1mm(ミリメートル)ピッチの異なる位置で)当該基準軸に垂直な断面で被検体をスライスした画像である。当該複数のスライス画像220は、基準軸方向における所定範囲(たとえば300mm)に亘って取得され、数百枚から数千枚(たとえば500枚)の画像で構成される。スライス画像生成装置20においては、たとえば、骨盤を含む腰部に関する2次元スライス画像群210(複数の2次元スライス画像220)が撮像されて取得される(図4参照)。
【0025】
画像処理装置30は、学習パラメータが予め調整された学習モデル410(学習済みモデル420とも称する)を用いて、或る被検体に関して取得された複数のスライス画像220(240とも称する)のそれぞれについて推論処理を実行する(図2参照)。図2は、機械学習における推論段階の処理を示す概念図である。
【0026】
具体的には、画像処理装置30は、上述の学習済みモデル420を用いて、各スライス画像240の(未知の)病変部位(骨折部位)を推定する推論処理を実行する。ここでは、病変部位として骨折部位(より詳細には、骨盤における骨折部位)を主に例示する。当該推論処理においては、たとえば、骨折部位の有無および当該骨折部位の位置等が特定(推定)される。具体的には、骨折部位50(図6参照)を含む領域(詳細には、当該骨折部位50の近傍領域(骨に隣接する近傍領域)をも含む領域)が、推定病変領域71(図5参照)として特定される。たとえば、骨折部位50を囲む2次元バウンディングボックスが推定病変領域71として特定される。なお、推定病変領域71は、病変(骨折部位)を含む領域であると推定される領域である。
【0027】
また、当該骨折部位の推論結果に関する信頼度(たとえば、80%)も併せて出力される。当該信頼度は、スライス画像240ごとに判定されてもよく、スライス画像240内の画素ごとに判定されてもよい。
【0028】
なお、学習済みモデル420は、学習モデル410(学習器)の学習パラメータが所定の機械学習手法を用いて調整されることによって生成される。学習モデル410としては、たとえば、複数の層で構成されるニューラルネットワークモデルが用いられる。そして、所定の機械学習手法(ディープラーニング等)によって、ニューラルネットワークモデルにおける複数の層(入力層、(1又は複数の)中間層、出力層)の層間における重み付け係数等(学習パラメータ)が調整される。このような機械学習における当該学習段階の処理は、たとえば、画像処理装置30によって予め実行される。具体的には、スライス画像の病変部位を特定する推論処理を実行するための学習モデル410(学習済みモデル420)が、病変部位を有する教師データ(既知の病変部位を有する複数のスライス画像群(より詳細には複数の検体に関する複数のスライス画像群))等に基づいて生成される。ただし、これに限定されず、画像処理装置30は、他の装置で調整された学習パラメータを取得することによって、自装置(画像処理装置30)内に学習済みモデル420を構築するようにしてもよい。
【0029】
また、画像処理装置30は、機械学習による学習済みモデル420を用いた推論結果に基づき更なる処理を実行する。
【0030】
具体的には、画像処理装置30は、後述するように、推定病変領域71に基づき、推定病変空間75を仮想的に形成する。推定病変空間75は、被検体の2次元スライス画像群210に基づき骨折部位50を含む空間として推定される空間である(図5参照)。この推定病変空間75には、被検体の骨に隣接する近傍空間も含まれている。
【0031】
また、画像処理装置30は、推定病変空間75と3次元骨モデル330のうち少なくとも表面を含む部分との積空間77(以下、病変骨部領域77とも称する)を着目領域として求める。たとえば、画像処理装置30は、推定病変空間75と3次元骨モデル330の表面との積空間(以下、曲面領域79とも称する)を、病変骨部領域77として求める。なお、曲面領域79は、(骨表面における)病変包含領域あるいは特定曲面領域等とも称される。
【0032】
そして、画像処理装置30は、3次元骨モデル330のうち、当該着目領域(病変骨部領域77)を当該病変骨部領域77以外の部分とは異なる態様で表示部35bに表示する。たとえば、画像処理装置30は、3次元骨モデルの表面のうち、当該着目領域(曲面領域79等)を当該着目領域以外の領域とは異なる態様(たとえば異なる表示色)で表示部35bに表示する。
【0033】
図1に示されるように、画像処理装置30は、コントローラ31と記憶部32と操作部35とを備える。
【0034】
コントローラ31は、画像処理装置30に内蔵され、画像処理装置30の動作を制御する制御装置である。
【0035】
コントローラ31は、1又は複数のハードウェアプロセッサ(例えば、CPU(Central Processing Unit)およびGPU(Graphics Processing Unit))等を備えるコンピュータシステムとして構成される。コントローラ31は、CPU等において、記憶部(ROMおよび/またはハードディスクなどの不揮発性記憶部)32内に格納されている所定のソフトウエアプログラム(以下、単にプログラムとも称する)を実行することによって、各種の処理を実現する。なお、当該プログラム(詳細にはプログラムモジュール群)は、USBメモリなどの可搬性の記録媒体に記録され、当該記録媒体から読み出されて画像処理装置30にインストールされるようにしてもよい。あるいは、当該プログラムは、通信ネットワーク等を経由してダウンロードされて画像処理装置30にインストールされるようにしてもよい。
【0036】
コントローラ31は、たとえば、機械学習における推論段階に関する処理を実行する。具体的には、機械学習によって学習された学習モデル410(学習済みモデル420)(図2参照)を用いて、或る被検体に関して取得された複数の2次元スライス画像220(240)のそれぞれについて、推論処理が実行される。この推論処理によって推定病変領域71が求められるとともに、推定病変空間75(図5参照)が形成される。また、コントローラ31は、病変部位に関する出力処理(骨折部位を含む画像の表示処理等)をも実行する(図6等参照)。具体的には、コントローラ31は、推定病変空間75と3次元骨モデル330のうち少なくとも表面を含む部分との積空間(病変骨部領域)77を着目領域として求める。そして、コントローラ31は、3次元骨モデルのうち、当該着目領域を当該着目領域以外の領域とは異なる態様で表示部35bに表示する。換言すれば、コントローラ31は、当該着目領域に対して、当該着目領域以外の領域に対する処理とは異なる処理を施す。
【0037】
記憶部32は、ハードディスクドライブ(HDD)および/またはソリッドステートドライブ(SSD)等の記憶装置で構成される。記憶部32は、複数の2次元スライス画像220および学習済みモデル420(学習パラメータを含む)等を記憶する。
【0038】
操作部35は、画像処理装置30に対する操作入力を受け付ける操作入力部35aと、各種情報の表示出力を行う表示部35bとを備えている。たとえば、操作入力部35a(受付部とも称される)は、処理対象の2次元スライス画像群210の指定操作等を受け付ける。また、表示部35bは、学習済みモデル420を用いた推論処理結果に基づき、立体的な3次元骨モデル330を用いて骨折部位50等を(病変骨部領域77として)立体的に表示する。これにより、骨折部位50等が判りやすく示される。操作入力部35aとしてはマウスおよびキーボード等が用いられ、表示部35bとしてはディスプレイ(液晶ディスプレイ等)が用いられる。また、操作入力部35aの一部としても機能し且つ表示部35bの一部としても機能するタッチパネルが設けられてもよい。
【0039】
なお、この画像処理装置30は医用画像処理装置とも称され、画像処理システム10は医用画像処理システムとも称される。
【0040】
<1-2.処理の詳細>
図3は、画像処理装置30(詳細にはコントローラ31(図1))の処理を示すフローチャートである。図3においては、機械学習による学習済みモデル420を用いた推論処理(ステップS22)を含む処理が示されている。
【0041】
まず、ステップS21において、画像処理装置30は、2次元スライス画像群210に基づき、3次元骨モデル330を求める(図4参照)。図4は、3次元骨モデル330が被検体に関する2次元スライス画像群210(複数の2次元スライス画像220)に基づいて生成されることを概念的に示す図である。
【0042】
具体的には、画像処理装置30は、各2次元スライス画像220の中から、骨らしさを示す指標値が所定範囲内の画素(ピクセル)の集合を骨領域(2次元領域)として抽出する。骨らしさを示す指標値としては、たとえば、CT画像(2次元スライス画像220)における各画素のCT値(被検体のエックス線吸収値)が利用され得る。より詳細には、CT画像におけるCT値(たとえば、-1000~+4000)のうち、所定範囲内(たとえば、+100~+1900)の値を有する画素の集合が、骨領域として抽出されればよい。なお、当該各画素は、所定の厚み(スライス画像の法線方向における長さ)を有しており、ボクセルとも表現される。
【0043】
そして、複数の2次元スライス画像220における骨領域を積層すること(換言すれば、各スライス画像のボクセルを集積すること)によって、3次元骨モデル330が生成される。なお、ここでは、3次元骨モデル330は、骨の表面のみならず骨の内部をも含むモデルとして生成される。換言すれば、3次元骨モデル330は、ソリッドモデルとして形成される。
【0044】
つぎに、ステップS22において、図5に示されるように、画像処理装置30は、2次元スライス画像群210に基づき、推定病変空間75を推定する(求める)。なお、図5は、被検体に関する2次元スライス画像群に基づいて3次元骨モデルが生成されることを示す概念図である。
【0045】
具体的には、画像処理装置30は、まず、学習済みモデル420を用いて、被検体の2次元スライス画像群210のうちの2以上の2次元スライス画像220(250とも称する)において、当該各2次元スライス画像における骨折部位50を含む2次元領域を推定病変領域71として推定する(図5の上半分参照)。学習済みモデル420は、2次元スライス画像を入力とし、且つ、病変部位等を含む推定病変領域71を出力するモデルである。学習済みモデル420は、入力された2次元スライス画像220に病変部位(骨折部位50)が存在すると判定する場合、骨折部位50を含む推定病変領域71等を出力する。つぎに、画像処理装置30は、当該2以上の2次元スライス画像220(250)の推定病変領域71に基づき、推定病変空間75を求める(図5の下半分参照)。具体的には、2以上の2次元スライス画像から抽出された推定病変領域71を積層することによって推定病変空間75が求められる。
【0046】
推定病変領域71は、骨折部位50(病変部位)を含む領域であり、推定病変空間75は、骨折部位50を含む空間として推定される。また、推定病変領域71が、被検体の骨に隣接する近傍領域をも含むこと等を考慮すると、推定病変空間75は、被検体の骨に隣接する近傍空間をも含む空間であるとも表現される。なお、図5では、推定病変空間75は、直方体形状を有する(換言すれば、各推定病変領域71は互いに同じ大きさ及び形状を有する)ように図示されているが、これに限定されず、推定病変空間75は、他の形状を有していてもよい。たとえば、推定病変空間75は、互いに異なる大きさ及び/又は形状を有する複数の推定病変領域71の積層体等として構成されてもよい。
【0047】
さらに、ステップS23,S24において、画像処理装置30は、被検体の3次元骨モデル330において病変の位置等(骨折部位の位置等)を立体的に表示する。
【0048】
具体的には、まず、ステップS23において、推定病変空間75と3次元骨モデル330のうち少なくとも表面を含む部分との積空間である病変骨部領域77(図6参照)が着目領域として求められる。
【0049】
病変骨部領域77は、たとえば、推定病変空間75と3次元骨モデル330の表面との積空間79(曲面領域79)として生成される。ただし、これに限定されず、後述するように、病変骨部領域77は推定病変空間75と3次元骨モデル330(骨の表面のみならず骨の内部をも含むモデル等)との積空間78(図14および図15参照)として生成されてもよい。なお、曲面領域79は、積空間78の表面と等価である。また、曲面領域79は、病変骨部領域77の表面であるとも表現される。
【0050】
そして、ステップS24において、3次元骨モデル330のうち、病変骨部領域77が病変骨部領域以外の部分とは異なる態様で表示部35bに表示される(図6参照)。たとえば、3次元骨モデル330の表面のうち、曲面領域79(着目領域)が当該曲面領域79以外の領域とは異なる態様で表示部35bに表示される(図6参照)。より詳細には、3次元骨モデル330の表面のうち、曲面領域79以外の領域332が基本色(白色等)で表示されるのに対して、曲面領域79は当該基本色以外の特定色(赤色等)で表示される。なお、図6は、曲面領域79の表示を伴う3次元骨モデル330の表示例を示す図である。図6においては、図示の都合上、曲面領域79にハッチングが付されて示されている。また、3次元骨モデル330および曲面領域79は、立体的表現の実現のため、シェーディング処理が施されることが好ましい。その際、曲面領域79の特定色と曲面領域79以外の領域の基本色とは、シェーディング処理が施されても互いに異なる色であると判ることが好ましい。たとえば、3次元骨モデル330の表面のうち、曲面領域79以外の領域は、白色等から変化する系統色(グレースケール等)で着色され、曲面領域79は、赤色等から変化する系統色で着色されればよい。
【0051】
なお、3次元骨モデル330(骨の立体表面モデル)は、ユーザ操作に応じて適宜、回転、移動(平行移動)、ならびに変倍(拡大および/または縮小)される。換言すれば、ユーザは、所望の視点から所望の大きさで、表示部35bの表示面に表示された3次元骨モデル330(骨の立体表面モデル)を視認することが可能である。したがって、ユーザは、3次元骨モデル330を様々な視点から眺めつつ、特定色で示された病変骨部領域77(曲面領域79等)の位置(ひいては骨折部位50の位置)を確認することが可能である。
【0052】
ここで、第1の比較例(図16参照)について説明する。図16に示されるように、第1の比較例においては、推定病変空間75がそのまま被検体の3次元骨モデル330に重畳されて表示されている。詳細には、推定病変空間75がソリッドモデル(ここでは直方体形状を有するソリッドモデル)で表現され、当該ソリッドモデルが3次元骨モデル330に結合した状態で表示されている。
【0053】
しかしながら、比較的広範な推定病変領域71(骨折部位50のみならず、骨に隣接する近傍領域(骨の外部領域)をも含む領域)を積層すること等によって形成される推定病変空間75は、3次元骨モデル330の表面から外側に突出した部分を有している。換言すれば、推定病変空間75を示すソリッドモデルの一部が3次元骨モデル330の表面から外側に向けて突出している。
【0054】
このような推定病変空間75を、当該比較例のように被検体の3次元骨モデル330にそのまま重畳させる場合、図16に示されるように、3次元骨モデル330における表面(特に骨折部位50付近の骨表面)が推定病変空間75に覆われて見えなくなる。それ故、骨折部位50を視認することが困難である。すなわち、3次元骨モデル330における骨折位置等を把握し難くなる。
【0055】
これに対して、上記実施形態においては、推定病変空間75と3次元骨モデル330のうち少なくとも表面を含む部分との積空間である病変骨部領域77(たとえば曲面領域79)が求められている。この病変骨部領域77には、被検体の骨に隣接する近傍空間(骨の隣接外部空間)は含まれない。そして、推定病変空間75のうち、推定病変空間75と3次元骨モデル330のうち少なくとも表面を含む部分との積空間である病変骨部領域77のみが表示されており、被検体の骨に隣接する近傍空間(骨の外部空間)は可視化されず、ソリッドモデル等として表示されていない(図6参照)。したがって、3次元骨モデル330の表面(特に骨折部位50付近の表面等)が隠れてしまうことを回避することが可能である。これにより、ユーザは、骨折部位50(詳細には、骨折により生じた断裂空間等)およびその両側部位(骨表面における両側部位)付近の様子を視認しやすくなる。
【0056】
さらに、3次元骨モデル330のうち、推定病変空間75との積空間である病変骨部領域77が、当該病変骨部領域77以外の領域とは異なる態様(たとえば、異なる表示色)で表示されている(図6参照)。たとえば、3次元骨モデル330の表面のうち、推定病変空間75との積空間である曲面領域79が、当該曲面領域79以外の領域とは異なる態様で表示されている。特に、図6の中段、および最下段の部分拡大図に示されるように、骨折部位50の両側の骨表面を含む曲面領域79が他の部分とは異なる態様で表示(他の色で表示)されている。
【0057】
したがって、ユーザは、3次元骨モデル330のうち病変骨部領域77の位置を容易に視認すること、より詳細には、3次元骨モデル330の表面のうち曲面領域79の位置を容易に視認することが可能である。すなわち、見易い表示が実現される。
【0058】
このように、骨折部位50を含む比較的広範な空間が推定病変空間75として推定される場合であっても骨折部位50を立体的に見易く表示することが可能である。
【0059】
<1-3.曲面領域79>
図14は、曲面領域79を概念的に示す図である。図14では、3次元骨モデル330が円柱部材で模式的に表現され、推定病変空間75が直方体部材で模式的に表現されている。図14に示されるように、曲面領域79は、たとえば、推定病変空間75と3次元骨モデル330とに基づき、推定病変空間75と3次元骨モデル330の表面との積空間として直接的(且つ明示的)に求められる(大きな白矢印参照)。
【0060】
ここにおいて、推定病変空間75と3次元骨モデル330の表面との積空間(79)である曲面領域79は、推定病変空間75と3次元骨モデル330(骨の表面のみならず骨の内部をも含むモデル等)との積空間78のうちの3次元骨モデル330の表面領域と等価である。ここで、積空間78は、骨の表面のみならず骨の内部をも含む空間であり、図14では、3次元骨モデル330の一部の円柱状部分(推定病変空間75との重複空間)として示されている。
【0061】
このような特性等を利用して、推定病変空間75と3次元骨モデル330の表面との積空間である曲面領域79は、推定病変空間75と3次元骨モデル330とに基づいて、(積空間78等を経由して)間接的(ないし結果的)に得られてもよい。
【0062】
たとえば、推定病変空間75と3次元骨モデル330(骨の表面のみならず骨の内部をも含む)との積空間78が先ず求められてもよい(図14の小さな白矢印参照)。さらに、当該積空間78のうち3次元骨モデル330の表面でもある曲面(たとえば、3次元骨モデル330の表面と当該積空間78との更なる積空間)が曲面領域79として得られてもよい。そして、3次元骨モデル330の表面のうち、曲面領域79が、曲面領域79(着目領域)以外の領域とは異なる態様(異なる表示色等)で表示されてもよい。
【0063】
あるいは、積空間78が求められた後、積空間78の表面と3次元骨モデル330の表面との更なる積空間(79)が明示的に求められることなく、積空間78の表面と3次元骨モデル330の表面とが重ね合わせて表示(重畳表示)されてもよい。この際、積空間78の表面は、3次元骨モデル330の表面の基本表示色(たとえば白色等)とは別の表示色(たとえば赤色等)で表示されればよい。このような重畳表示等によって、積空間78の表面のうち骨内部に相当する部分(3次元骨モデル330の表面以外の部分)は、3次元骨モデル330の表面の下側に隠れる。3次元骨モデル330の表面の下側に隠れる当該部分としては、積空間78の表面のうち、推定病変空間75に隣接する骨部分との境界面(円柱状の積空間78の端面78d)等が例示される。これにより(結果的に)、積空間78のうち3次元骨モデル330の表面でもある面(積空間78のうちの3次元骨モデル330の表面領域)のみが曲面領域79として、当該曲面領域79以外の領域332とは異なる態様(異なる表示色等)で表示される。このようにして、曲面領域79が当該曲面領域79以外の領域とは異なる態様(異なる表示色等)で表示されてもよい。
【0064】
また、曲面領域79(着目領域)は、3次元骨モデル330(骨の表面のみならず骨の内部をも含むモデル等)または積空間78等から明示的に分離されることを要しない。曲面領域79が3次元骨モデル330または積空間78等の一部を構成したまま、曲面領域79が着目領域として、曲面領域79(着目領域)以外の領域とは異なる態様(異なる表示色等)で表示されてもよい。
【0065】
<1-4.完全骨折および不全骨折>
また、骨折には「完全骨折」と「不全骨折(不完全骨折とも称される)」とが存在する。「完全骨折」(図7参照)は、骨が完全に断裂している骨折である。一方、「不全骨折」(図8参照)は、いわゆる「ひび」が生じている状態など、骨が完全には断裂していない骨折である。なお、図7は、完全骨折を伴う骨折部位付近における3次元骨モデル330の部分拡大図であり、図8は、不全骨折を伴う骨折部位付近における3次元骨モデル330の部分拡大図である。図7および図8においては、骨折状態が模式的に示されている。
【0066】
図7に示されるように、完全骨折の場合には、骨の断裂により骨折部位50において間隙55が生じる。この場合、曲面領域79は、断裂した骨の表面における間隙55の両側(左右両側)部分に存在する曲面領域(部分領域)79aと、断裂した骨の断裂面(断裂前には骨の内部に存在した部分)に存在する曲面領域(部分領域)79cとを有する。骨の表面における間隙55の両側の部分は、骨折部位50の近傍部位であるとも表現される。
【0067】
図8には、ひび54が生じている骨折(不全骨折)が示されている。この場合、曲面領域79は、骨の表面においてひび54(骨折部位50)の左右両側の近傍部分に存在する曲面領域(部分領域)79aを有する。
【0068】
推定病変空間75と3次元骨モデル330との積空間(ひいては、推定病変空間75と3次元骨モデル330の表面との積空間)は、被検体の骨に隣接する近傍空間(骨の隣接外部空間)を含まない。すなわち、曲面領域79は、骨の隣接外部空間を含まない。そして、被検体の骨に隣接する近傍空間(骨の隣接外部空間)においては、推定病変空間75であることを示すソリッドモデル等は表示されない。それ故、3次元骨モデル330の表面(特に、骨折部位50およびその両側部位付近の様子)が隠れることを回避できる。したがって、ユーザは、骨折部位50付近の骨の表面状態(断裂の有無および断裂の状態、ならびに「ひび」の有無および「ひび」の状態等)を把握することも可能である。
【0069】
また、3次元骨モデル330の表面において、これらの曲面領域79(79a,79c)は、曲面領域79以外の領域332とは異なる態様(特定色での着色表示等)で表示される。このような3次元骨モデル330によれば、ユーザは、被検者の腰部付近における骨折部位50の位置を容易に把握することが可能である。
【0070】
たとえば、図8のような不全骨折の場合、3次元骨モデル330の表面において、曲面領域79(79a)は、曲面領域79以外の領域332とは異なる態様(特定色での着色表示等)で表示される。したがって、ユーザは、被検者の骨折部位50の位置を容易に把握することが可能である。また、上述のように、曲面領域79は3次元骨モデル330の表面である(骨の隣接外部空間を含まない)ので、ユーザは、骨折部位50付近の骨の表面状態(「ひび」の有無および「ひび」の状態等)を把握することも可能である。
【0071】
また、図7のような完全骨折の場合、断裂により生じた間隙55自体ではなく、断裂した骨の両側および断裂面が、曲面領域(着目領域)79(79a,79c)として特定色で着色等されて他の部分と区別して表示される。したがって、ユーザは、被検者の骨折部位50の位置を容易に把握することが可能である。また、上述のように、曲面領域79は3次元骨モデル330の表面である(骨の隣接外部空間を含まない)ので、ユーザは、骨折部位50付近の骨の表面状態(断裂の有無および断裂の状態等)を把握することも可能である。特に、間隙55の有無(断裂の有無)、ならびに間隙55の両側の断裂面および間隙55の両側の骨表面を直接視認できる。また、間隙55自体が着色等されるのではなく、間隙55の周囲(具体的には、骨の断裂面、および骨の表面における間隙55の両側あるいは片側(骨折部位の近傍部位))が着色等されるので、骨折部位50付近の様子が見易く表示される。特に、骨折部位50の間隙55自体が小さい(細い)場合等においても、間隙55の両側(あるいは片側)の近傍部位に亘る比較的広い範囲(間隙55自体の幅よりも広い範囲)が着色されるので、ユーザは当該骨折部位50を視認し易い。
【0072】
<1-5.積空間78>
上記においては、推定病変空間75と3次元骨モデル330の表面との積空間79(曲面領域79)が病変骨部領域77として求められ、曲面領域79が、3次元骨モデル330の表面のうち曲面領域79以外の領域とは異なる態様で表示される態様について主に説明されている。しかしながら、本発明は、これに限定されない。
【0073】
たとえば、図15に示されるように、推定病変空間75と3次元骨モデル330(骨の表面のみならず骨の内部をも含むモデル)との積空間78が病変骨部領域77として得られてもよい。換言すれば、3次元骨モデル330の内部の各ボクセルについても、上記と同様の思想が適用されてもよい。
【0074】
具体的には、ステップS23において、推定病変空間75と3次元骨モデル330(詳細には、その骨部)との積空間78(図15参照)が病変骨部領域77として求められてもよい。なお、図15(特にその中段)には、推定病変空間75と3次元骨モデル330との積空間78等が模式的に示されている。
【0075】
そして、ステップS24において、この積空間78が、3次元骨モデル330のうち、当該積空間78(病変骨部領域)以外の部分とは異なる態様で表示部に表示されてもよい。より具体的には、当該積空間78を構成するボクセルと、積空間78(病変骨部領域)以外の部分を構成するボクセルとが、互いに異なる態様で(異なる表示色等で)表示されればよい。換言すれば、3次元骨モデル330の表面(の各ボクセル)のみならず、3次元骨モデル330の内部(の各ボクセル)についても、3次元骨モデル330の表面と同様の表示処理が行われてもよい。
【0076】
これによっても、図6等と同様の表示が実現され得る。たとえば、3次元骨モデル330のうち積空間78(病変骨部領域77)に該当する部分の表面(換言すれば、曲面領域79)は、上記各実施形態等と同様に、積空間78(病変骨部領域77)以外の表面領域(正常領域)とは異なる態様で表示されればよい。
【0077】
また、3次元骨モデル330の断面を伴う表示を行う場合等においては、当該断面のうち積空間78に該当する部分の内部(3次元骨モデル330の内部のボクセル)も、積空間78(病変骨部領域77)以外の部分とは異なる態様(異なる表示色等)で表示されてもよい。図15の最下段においては、積空間78が或る切断面78cで切断されており、積空間78(3次元骨モデル330)の内部のボクセルが当該切断面78cにて表出している。図15の最下段に示されるように、当該切断面78cに表れる積空間78の内部も、3次元骨モデル330のうち病変骨部領域77(積空間78)以外の部分と異なる態様で表示されてもよい。なお、積空間78の内部は、積空間78の表面と同じ態様で表示されてもよく、積空間78の表面とは異なる態様で表示されてもよい。
【0078】
また、積空間78は明示的に抽出されることを要しない。端的に言えば、ステップS23(図3参照)は、実行されなくてもよい。たとえば、コントローラ31は、推定病変空間75を求める際(ステップS22)に、3次元骨モデル330の全てを包含する所定空間内の各ボクセル(あるいは3次元骨モデル330の表面および内部の各ボクセル)に対して、推定病変空間75内のボクセルであるか否かを示すフラグを更に付与しておく。詳細には、推定病変空間75内のボクセルには「1」が付与され、推定病変空間75外のボクセルには「0」が付与される。そして、3次元骨モデル330が表示される際(ステップS24)に、3次元骨モデル330の表面および内部のボクセルのうち、当該フラグ値「1」を有するボクセルが、当該フラグ値「0」を有するボクセルとは異なる表示色で表示されてもよい。この場合、3次元骨モデル330の表面および内部のボクセルのうち、フラグ値「1」を有するボクセルは積空間78(詳細にはその表面および内部)のボクセルに相当し、フラグ値「0」を有するボクセルは積空間78以外の部分のボクセルに相当する。このような態様によって、積空間78(病変骨部領域77)が、3次元骨モデル330のうち積空間78以外の部分とは異なる態様で表示されてもよい。
【0079】
<2.第2実施形態>
第2実施形態は、第1実施形態の変形例である。以下、第1実施形態との相違点を中心に説明する。
【0080】
上記第1実施形態においては、単一の基準軸方向に関する一の2次元スライス画像群210に基づき推定病変空間75が形成されているが、これに限定されない。たとえば、互いに異なる基準軸方向に関する複数の2次元スライス画像群210に基づき推定病変空間75が形成されてもよい。第2実施形態では、このような態様について説明する。
【0081】
複数のスライス画像群210は、同一の被検体に関して、互いに異なる複数の基準軸(断面の法線方向)のそれぞれについて取得される。換言すれば、スライス画像群210(複数の2次元スライス画像)が、断面の方向を変更した上で更に撮影される。この結果、複数のスライス画像群210が撮像(生成)される。
【0082】
各スライス画像群210は、画像群ごとの固有の法線方向を有する断面で被検体をスライスした複数のスライス画像を有する。なお、各スライス画像群210は、(第iの)スライス画像群Gi(ただし、i=1,...,N;Nはスライス画像群の個数であり、2以上の自然数である)とも称される。
【0083】
各スライス画像群210は、他のスライス画像群の断面とは異なる方向の断面(たとえば、アキシャル断面、コロナル断面、サジタル断面等の各断面)で被検体をスライスして撮像される(図10参照)。
【0084】
図10は、アキシャル断面、コロナル断面、サジタル断面の各種類の断面を示す図である。アキシャル断面は、体軸に直交する断面(軸位断あるいは横断面とも称する)である。コロナル断面は、横切りの断面(体等を前側と後ろ側とに分割する断面)(冠状断あるいは冠状面とも称する)である。サジタル断面は、縦切りの断面(体等を左側と右側とに分割する断面)(矢状断あるいは矢状面とも称する)である。また、断面の種類としては、オブリーク断面(傾斜した断面)(斜断面)等も存在する。
【0085】
一のスライス画像群210は、アキシャル断面でスライスされた複数の2次元スライス画像220(アキシャル断面の法線方向を基準軸方向とする複数の2次元スライス画像220)で構成される(図4参照)。
【0086】
別の一のスライス画像群210は、コロナル断面でスライスされた複数の2次元スライス画像220(コロナル断面の法線方向を基準軸方向とする複数の2次元スライス画像220)で構成される。更に別の一のスライス画像群210は、サジタル断面でスライスされた複数の2次元スライス画像220(サジタル断面の法線方向を基準軸方向とする複数の2次元スライス画像220)で構成される。さらに、更に別のスライス画像群210は、オブリーク断面((任意の角度で)傾斜した断面)(斜断面)でスライスされた複数の2次元スライス画像220で構成される(図11等参照)。
【0087】
なお、当該複数のスライス画像群210は、上述のように、互いに異なる基準軸に関する各方向(たとえば9方向のそれぞれ)のスライス画像群をそれぞれ撮像することによって取得されればよい。ただし、これに限定されず、当該複数のスライス画像群は、1つの方向の一のスライス画像群を撮像するとともに、当該一のスライス画像群に対して画像変換処理を施して他の方向のスライス画像群(たとえば他の8方向をそれぞれ基準軸方向とする8つのスライス画像群)を生成することによって、取得されてもよい。
【0088】
図11は、複数のスライス画像群のそれぞれにおける病変候補空間85(後述)、および統合病変候補空間87(後述)等を説明するための概念図である。図11における直方体80は、スライス画像群210(複数の2次元スライス画像220の積層体)を概念的に示している。図11の左半側の9つの大きな直方体80は、9つのスライス画像群210にそれぞれ対応する。また、当該9つの大きな直方体80のそれぞれにて平行四辺形形状に描画された太線は、各スライス画像群210における一の断面(スライス断面)を示している。図11の左半側の9つの直方体80のうち中段の(左右方向に配列される)3つの直方体は、3つのスライス画像群210(左から順に、コロナル断面によるスライス画像群210、アキシャル断面によるスライス画像群210、サジタル断面によるスライス画像群210)を概念的に示している。また、図11の左半側の上段および下段においては、(それぞれ3つずつ)合計で6つのオブリーク断面によるスライス画像群210が概念的に示されている。当該6つのスライス画像群210は、互いに異なる6つのオブリーク断面でスライスされた(互いに異なる6つのオブリーク断面の法線方向をそれぞれ基準軸方向とする)スライス画像群である。なお、9つの2次元スライス画像群210がそれぞれ撮像される場合等において、厳密には、各2次元スライス画像群210の基準軸の方向に依拠して各直方体80の向きは互いに異なっている。ここでは、2次元スライス画像群210の存在を示すことを主眼として、2次元スライス画像群210を直方体80で概念的に表現している。
【0089】
第2実施形態では、複数のスライス画像群210のそれぞれにおける病変候補空間85、および複数の病変候補空間85を統合した統合病変候補空間87が形成され、さらに統合病変候補空間87から統合病変空間89(図11の右端参照)が抽出される。そして、統合病変空間89が、第2実施形態における推定病変空間75(75Bとも称する)として求められる。
【0090】
第2実施形態においても第1実施形態と同様の処理(図3参照)が実行される。ただし、ステップS22における処理が第1実施形態と異なっている。図9は、第2実施形態のステップS22における処理を示すフローチャートである。以下、図9を参照しつつ、第2実施形態に係るステップS22(S22Bとも称する)の処理について説明する。
【0091】
まず、ステップS31において、コントローラ31は、操作ユーザによる指定操作に応じて、第iの2次元スライス画像群Gi(値iの初期値はここでは「1」)を取得(入力)する。具体的には、操作ユーザによって第iの2次元スライス画像群Gi(210)の格納フォルダおよびファイル名等が指定され、コントローラ31は、その指定内容に基づき、第iのスライス画像群Giのデータを読み込む。
【0092】
次のステップS32において、コントローラ31は、第iの2次元スライス画像群Gi(単に第iスライス画像群とも称する)を構成する複数の2次元スライス画像240のそれぞれに対して、学習済みモデル420による推論処理を実行する。具体的には、学習済みモデル420(学習器)によって第iスライス画像群Gi(210)において病変領域として推定された領域(推定病変領域71)が求められる。
【0093】
そして、ステップS33において、第iスライス画像群Giの各2次元スライス画像220にて検出された推定病変領域71に基づき、病変候補空間85が形成される。たとえば、第iスライス画像群Giの各2次元スライス画像220にて検出された推定病変領域71が積層されることによって、病変候補空間85が形成される。病変候補空間85は、病変の候補空間(詳細には、病変を含む空間の候補空間)であり、病変を含むと推定される空間である。病変候補空間85は、第1実施形態における推定病変空間75(75Aとも称する)に相当する空間であるとも表現される。
【0094】
次のステップS34においては、全てのスライス画像群Giについて処理が完了したか否かに応じて分岐処理が実行される。処理が完了していない場合、値iをインクリメント(ステップS35)してステップS31に戻り、ステップS31~S33の処理を実行する。一方、全てのスライス画像群Giについて処理が完了した場合(N個のスライス画像群Gi(G1~GN)の全てについて病変候補空間85が形成された場合)、ステップS36に進む。
【0095】
ステップS36においては、N個の病変候補空間85を統合した統合病変候補空間87が形成される(図11参照)。詳細には、統合病変候補空間87は、N個の病変候補空間85の論理和空間として形成される。より詳細には、複数のスライス画像群Giのそれぞれの病変候補空間85を、それぞれの対応位置を合わせながら統合することによって、統合病変候補空間87が形成される。図11においては、9個のスライス画像群G1~G9のそれぞれに関する病変候補空間85(9個の病変候補空間85)が模式的に示されるとともに、当該9個の病変候補空間85を統合した統合病変候補空間87が模式的に示されている。
【0096】
そして、ステップS37において、統合病変候補空間87に基づき統合病変空間89が特定される。具体的には、コントローラ31は、統合病変候補空間87内の複数のボクセルのうち、N個未満の所定数(たとえば、5個)よりも多数の病変候補空間85に属するボクセルを最終的に病変領域として判定する。図11の右端側においては、統合病変空間89(最終的に推定(判定)された病変包含空間)が模式的に示されている。統合病変空間89は、統合病変候補空間87内のボクセルのうち、所定数(たとえば、5個)よりも多数の病変候補空間85に属するボクセルの集合体である。
【0097】
より具体的には、被検体に関する立体モデル(複数の2次元スライス画像220に基づく3次元ボリュームデータ(骨および内蔵等を含むモデル))における複数のボクセルのうち、病変候補空間85内のボクセルには評価値「1」が付与され、病変候補空間85外のボクセルには評価値「0」が付与される(図11参照)。そして、複数のスライス画像群Giの統合の際に、対応するボクセルごとに当該評価値が加算される。加算後のボクセルごとの評価値は、各ボクセルが幾つのスライス画像群Giの病変候補空間85に属しているかを表す。たとえば、或るボクセルの評価値が「9」である場合、当該或るボクセルは9つのスライス画像群Giの全て(9つ)の病変候補空間85に属していることを表している。また、或るボクセルの評価値が「7」である場合、当該或るボクセルは7つのスライス画像群Giの病変候補空間85に属していることを表している。また、或るボクセルの評価値が「0」である場合、当該或るボクセルは9つのスライス画像群Giの病変候補空間85のいずれにも属していないことを表している。
【0098】
ここにおいて、統合病変空間89は、少なくとも1つの病変候補空間85に属するボクセルをも含む集合体として規定されてもよい。ただし、少数の病変候補空間85のみに属するボクセルは、実際には病変領域に関するボクセルではない可能性が高い。それ故、他の多数のスライス画像群Giの病変候補空間85でも推定病変領域71として検出されたボクセルであることを条件に、病変領域として判定されることが好ましい。換言すれば、他の角度で見ても推定病変領域71として検出されるボクセルであることを条件に、病変領域として判定されることが好ましい。そこで、ここでは、所定数(たとえば、5個)よりも多数の病変候補空間85に属するボクセルで構成される空間が、最終的な病変空間(統合病変空間89)として推定(判定)される。
【0099】
第2実施形態では、このようにして抽出された統合病変空間89が推定病変空間75(75B)として決定される。
【0100】
その後、第1実施形態と同様に、ステップS23,S24(図3参照)において、画像処理装置30は、被検体の3次元骨モデル330において病変の位置等(骨折部位の位置等)を立体的に表示する。
【0101】
具体的には、まず、ステップS23において、3次元骨モデル330の少なくとも表面を含む部分と推定病変空間75(ここでは統合病変空間89)との積空間である病変骨部領域77が着目領域として求められる。そして、ステップS24において、3次元骨モデル330の表面のうち、当該着目領域(病変骨部領域77)が当該着目領域以外の領域とは異なる態様で表示部35bに表示される。
【0102】
図12は、ステップS24における3次元骨モデル330の表示例を示す図である。図17の比較例(第2の比較例)と比較すると判るように、図12のような表示によれば各種の効果を得ることが可能である。
【0103】
なお、図17の比較例(第2の比較例)においては、ステップS37で抽出された統合病変空間89(推定病変空間75)がソリッドモデルとして形成されるとともに、当該統合病変空間89(ソリッドモデル)が3次元骨モデル330に結合して表示されている。図16と比較すると判るように、図17の統合病変空間89(第2実施形態に係る推定病変空間75(75B))は、図16の推定病変空間75(75A)のような直方体形状ではなく、複雑な形状を有している。そのため、たとえば図13に示されるように、統合病変空間89は、或る断面(図13は或るコロナル断面)においても、複雑な形状を有している。換言すれば、統合病変空間89と当該或るコロナル断面との積空間(積平面)は、複雑な形状を有している。なお、図13は、推定病変空間75等を一のコロナル断面で切断して示す断面図である。図13においては、統合病変空間89(推定病変空間75)を或るコロナル断面で切断した断面領域が、太い黒線で囲まれて示されている。
【0104】
図17に示されるように、第2の比較例における推定病変空間75(当該統合病変空間89)は、3次元骨モデル330の表面から外側に突出した部分を有している。たとえば、図13のスライス画像220においては、統合病変空間89(推定病変空間75)を或るコロナル断面で切断した断面領域(太い黒線で囲まれた領域)が、骨領域75a(骨の内部および表面に相当する領域)のみならず、骨の表面から外側に突出した部分75cをも含んでいる。
【0105】
このような推定病変空間75(統合病変空間89)を、第2の比較例のように被検体の3次元骨モデル330にそのまま重畳させる場合、図17に示されるように、3次元骨モデル330の表面が推定病変空間75に覆われて見えなくなる。たとえば、腸骨の上部において実際には骨折による間隙55が生じている(図12参照)のに対して、図17においては、当該骨折部位(間隙55付近)が推定病変空間75によって覆われており、ユーザは当該骨折部位を見ることができない。また、同様に、左右の恥骨部分および左右の座骨部分に存在する骨折部分も推定病変空間75によって覆われており、ユーザは当該骨折部位を見ることができない。このように、骨折部位50を視認することが困難である。すなわち、3次元骨モデル330における骨折位置等を把握し難い。
【0106】
これに対して、上記第2実施形態においては、推定病変空間75(統合病変空間89)と3次元骨モデル330の少なくとも表面を含む部分との積空間である病変骨部領域77が、3次元骨モデル330の表面のうち、当該病変骨部領域77以外の領域とは異なる態様で表示されている。特に、推定病変空間75のうち、推定病変空間75と3次元骨モデル330の少なくとも表面を含む部分との積空間である病変骨部領域77のみが表示されており、被検体の骨に隣接する近傍空間(骨の隣接外部空間)は可視化されず、ソリッドモデル等として表示されていない。したがって、3次元骨モデル330の表面(特に、骨折部位50およびその両側部位付近の様子)が隠れてしまうことを回避することが可能である。詳細には、腸骨上部等の骨折部位、左右の恥骨の骨折部位、および左右の座骨の骨折部位等が隠れずに表示されている。
【0107】
さらに、3次元骨モデル330の表面のうち、推定病変空間75との積空間である病変骨部領域77(特にその表面領域)が、他の領域とは異なる態様(たとえば、異なる表示色)で表示されている。したがって、ユーザは、3次元骨モデル330の表面のうち、病変骨部領域77(特にその表面領域)の位置を容易に視認することが可能である。すなわち、見易い表示が実現される。なお、図12における病変骨部領域77は、上述のように、積空間78であってもよく、曲面領域79であってもよい。
【0108】
このように、骨折部位50を含む比較的広範な空間が推定病変空間75(統合病変空間89)として推定される場合であっても骨折部位50を立体的に見易く表示することが可能である。
【0109】
なお、第2実施形態においては、統合病変空間89は、所定数未満の病変候補空間85に属するボクセルをも含む集合体等として規定されているが、これに限定されない。たとえば、統合病変候補空間87内の複数のボクセルのうち、その評価値が所定レベルよりも高いボクセルが、統合病変空間89を構成するボクセルとして判定されてもよい。評価値としては、各スライス画像群Giの推定病変領域71に対して学習済みモデル420によって算出された信頼度に応じて各ボクセルに割り当てられた値等が用いられればよい。
【0110】
<3.変形例等>
以上、この発明の実施の形態について説明したが、この発明は上記説明した内容のものに限定されるものではない。
【0111】
<信頼度に応じた表示等>
たとえば、上記各実施形態等においては、病変骨部領域77(積空間78あるいは積空間79)が特定の一色で表示されているが、これに限定されない。
【0112】
具体的には、推定病変空間75と3次元骨モデル330の少なくとも表面を含む部分との積空間である病変骨部領域77の各位置の表示色が、当該各位置における病変推定に関する信頼度(推定病変空間75内の位置ごとの信頼度)に応じて変更されてもよい。ここでは、上記各実施形態における推定病変空間75内の各ボクセルに対して、骨折部位(および骨折部位の近傍部位)であるとの推定に関する信頼度が算出されているものとする。そして、病変骨部領域77(曲面領域79等)に対応する各ボクセル(ないしピクセル)が、当該各ボクセルの信頼度(推定病変空間75内(且つ病変骨部領域77)の位置ごとの信頼度)に応じた色で表示されてもよい。端的に言えば、病変骨部領域77の各位置の信頼度に応じたヒートマップが、3次元骨モデル330の表面に生成されてもよい。また、病変骨部領域77の各位置の色は、当該信頼度に応じて連続的に変化する色であってもよいが、これに限定されず、当該信頼度に応じて複数の段階(第1レベル~第Nレベル)に分類した段階ごとの特定色であってもよい。たとえば、第1レベル(信頼度95%以上100%以下)が赤色、第2レベル(信頼度80%以上95%未満)がオレンジ色、第3レベル(信頼度50%以上80%未満)が緑色、第4レベル(信頼度50%未満)が黄色で示されてもよい。
【0113】
これによれば、3次元骨モデル330の病変骨部領域77内の各位置の表示態様が信頼度に応じて変更されるので、ユーザは、当該各位置での信頼度(骨折であることの信頼度)を把握し易い。それ故、信頼度に基づく優先度をつけて病変部位(骨折部位)と思われる箇所を順次に確認する際等において特に有用である。
【0114】
また、病変骨部領域77を当該信頼度に応じて複数の段階に分類した段階別データが生成され、当該段階別データが段階ごとに異なるデータファイル(段階別データファイル)に出力されてもよい。詳細には、病変骨部領域77のうち第1レベルの領域の位置情報等を示す第1レベルデータ(第1段階データ)が第1データファイルに出力されればよい。また、病変骨部領域77のうち第2レベルの領域の位置情報等を示す第2レベルデータ(第2段階データ)が第2データファイルに出力されればよい。同様に、病変骨部領域77のうち第3レベルの領域の位置情報等を示す第3レベルデータが第3データファイルに出力され、病変骨部領域77のうち第4レベルの領域の位置情報等を示す第4レベルデータが第4データファイルに出力されればよい。これらの段階別データ(各段階に対応するデータ)は、各段階(レベル)の病変骨部領域77を個別に表示する際に用いられ得るデータであり、段階別曲面領域の表示用データなどとも称される。また、複数の段階別データを組み合わせて用いることによれば、病変骨部領域77の各位置の表示態様(表示色等)を、当該各位置における病変推定に関する信頼度に応じて変更することもできる。なお、各表示用データを有するファイルは、表示用データファイルとも称される。
【0115】
このようなデータファイルを生成しておくことによれば、その後、画像処理装置30において、病変骨部領域77を有する3次元骨モデル330を、(新たな画像処理(たとえば図3のステップS21~S23)を伴うことなく)即時に表示することが可能である。また、画像処理装置30以外の表示装置等(特に、画像処理システム10以外のシステムにおける表示装置等)との親和性を高めることが可能である。たとえば、外部の表示用データファイルを用いた表示が可能な他の既存のシステム等において、本装置30から出力されたデータファイルを用いた表示を容易に行うことが可能である。換言すれば、他のシステムにおいて当該データファイルを読み込むことによって、他のシステムにおいて図12のような表示を容易に実現することが可能である。
【0116】
<病変の種類に応じた表示等>
また、上記各実施形態等においては、病変骨部領域77が病変の種類に依らずに或る表示色で表示されているが、これに限定されない。たとえば、病変骨部領域77(推定病変空間75と3次元骨モデル330の少なくとも表面を含む部分との積空間)の表示態様が、病変の種類(骨折の種類)に応じて変更されてもよい。具体的には、病変骨部領域77が完全骨折に関する領域と不全骨折に関する領域とのいずれであるかが判定され、その判定結果に基づき、互いに異なる態様で表示されてもよい。より詳細には、完全骨折に関する病変骨部領域77は特定色(たとえば赤色)で表示され、不全骨折に関する病変骨部領域77は当該特定色とは異なる色(たとえば、青色)で表示されてもよい。
【0117】
これによれば、病変の種類(骨折の種類)に応じて表示態様が変更されるので、ユーザは、病変の種類を容易に把握した上で、病変箇所(骨折箇所)を視認することが可能である。
【0118】
なお、さらに、病変骨部領域77に対応する各ボクセルがその信頼度(当該各ボクセルに割り当てられた信頼度)にも応じた色で表示されてもよい。たとえば、完全骨折に関する病変骨部領域77は、暖色系の各色(各ボクセル(各位置)の信頼度に応じた色)で表示され、不全骨折に関する病変骨部領域77は、寒色系の各色(各ボクセル(各位置)の信頼度に応じた色)で表示されてもよい。
【0119】
あるいは、信頼度に応じた色で表示する表示モードと骨折の種類に応じた色で表示する表示モードとがユーザ操作に応じて選択されるようにしてもよい。
【0120】
<小面積部分の表示>
3次元骨モデル330の表面における病変骨部領域77(曲面領域79等)のうち小面積の被疑部分(たとえば、図6および図12にて殆ど点にしか見えないような被疑部分)は、そのままでは見難い。そこで、当該小面積の被疑部分を強調表示するようにしてもよい。たとえば、当該小面積の被疑部分の面積を(たとえば、数倍程度に)膨張させて表示しても良い。あるいは、当該小面積の被疑部分を点滅表示させてもよい。また、当該小面積の被疑部分を膨張させた上で点滅表示させてもよい。
【0121】
また、小面積の被疑部分の強調表示モードと他の表示モードとがユーザによって選択できるように構成され、ユーザの選択操作に応じて当該強調表示モードが選択されると、小面積の被疑部分が強調表示されるようにしてもよい。
【0122】
これによれば、小面積の被疑部分の見逃し(ひいては当該被疑部分に存在する骨折の見逃し等)を防止することが可能である。なお、小面積の被疑部分の存在に気づいたユーザ(医師等)は、必要に応じて適宜3次元骨モデル330を拡大すること等によって、骨折か否か等を詳細に見極めることが可能である。
【0123】
<推定病変空間75の形成等>
上記各実施形態等においては、推定病変空間75は2以上の2次元スライス画像における推定病変領域71に基づき形成されている。ただし、推定病変空間75は、2以上の2次元スライス画像における推定病変領域71を積層して結合したデータとして実際に生成されることを要しない。推定病変空間75は、推定病変領域71が2以上の2次元スライス画像にて求められる(抽出される)こと自体によって、概念的に形成されれば十分である。換言すれば、2以上の2次元スライス画像220における推定病変領域71を求めること自体が推定病変空間75を形成することと等価である。
【0124】
また、上記各実施形態等においては、推定病変空間75が推定病変領域71に基づき明示的に一旦抽出された上で、推定病変空間75と3次元骨モデル330の少なくとも表面を含む部分との積空間である病変骨部領域77(曲面領域79等)が求められているが、これに限定されない。たとえば、推定病変空間75の明示的な生成工程が省略されてもよい。
【0125】
詳細には、2以上の2次元スライス画像のそれぞれにおいて、推定病変領域71と3次元骨モデル330の骨表面に相当する曲線との積領域(積曲線)が求められてもよい。当該2以上の2次元スライス画像における当該積曲線が積層されること等によって形成される曲面(積層曲面)は、推定病変空間75と3次元骨モデル330の表面との積空間(曲面領域79)に相当する。このような手法によっても、推定病変空間75と3次元骨モデル330の表面との積空間(曲面領域79)が求められ得る。
【0126】
あるいは、2以上の2次元スライス画像のそれぞれにおいて、推定病変領域71と3次元骨モデル330の骨断面との積領域(積領域面)が求められてもよい。当該2以上の2次元スライス画像における当該積領域面が積層されること等によって形成される空間(積層空間)は、推定病変空間75と3次元骨モデル330との積空間78に相当する。このような手法によっても、推定病変空間75と3次元骨モデル330との積空間78が求められ得る。
【0127】
なお、上述のように、2以上の2次元スライス画像220における推定病変領域71を求めることは推定病変空間75を形成することと等価であり、このような態様においても推定病変空間75が(実質的に)形成されている。
【0128】
<推定病変領域71の補完等>
上記各実施形態等においては、推定病変空間75は、学習済みモデル420を用いた推定処理によって特定された推定病変領域71のみに基づいて形成されている。しかしながら、これに限定されず、当該推定病変領域71以外の領域をも含めて推定病変空間75が形成されてもよい。たとえば、連続する複数のスライス画像Lj(j=1,...,N)のうち一部のスライス画像Lk(たとえば、k=3,5)のみにおいて推定病変領域71が抽出されなかった場合、当該スライス画像Lkにおいて推定病変領域71が補完されて生成されてもよい。詳細には、スライス画像Lkの前後のスライス画像L(k-1)、L(k+1)等の推定病変領域71を用いて、スライス画像Lkの推定病変領域71(補完された推定病変領域71)が生成されてもよい。換言すれば、推定病変領域71は、学習済みモデル420を用いた推定処理によって特定された領域に限定されず、その他の領域を含んでもよい。そして、補完された推定病変領域71をも含めて、推定病変空間75が形成されてもよい。
【0129】
<3次元ボリュームデータに基づく推定病変空間75の直接推定等>
上記各実施形態等(ステップS22等)においては、学習済みモデル420を利用して2次元スライス画像データに基づき推定病変領域71が求められるとともに、当該推定病変領域71に基づき推定病変空間75が求められている。しかしながら、本発明はこれに限定されない。
【0130】
たとえば、推定病変領域71の抽出を伴わずに推定病変空間75が形成されてもよい。具体的には、2次元スライス画像群210に基づく3次元ボリュームデータから直接的に推定病変空間75が求められてもよい。詳細には、病変位置等を含む3次元ボリュームデータに関する教師データを用いて機械学習された学習済みモデル420(420Bとも称する)を予め生成しておく。学習済みモデル420は、2次元スライス画像群210に基づく3次元ボリュームデータから直接的に推定病変空間75を抽出するタイプの学習モデルである。たとえば、当該学習済みモデル420は、3次元ボリュームデータを入力とし、且つ、病変部位等を含む推定病変空間75を出力するモデルである。そして、当該学習済みモデル420に対して、対象人物の3次元ボリュームデータが入力され、当該学習済みモデル420の出力として推定病変空間75が直接的に得られてもよい。
【0131】
なお、上記各実施形態のように2次元スライス画像220に基づく病変推定が行われる(推定病変領域71が求められる)場合には、3次元ボリュームデータに基づき直接的に推定病変空間75が推定される場合に比べて、病変推定に関する処理負荷を低減することが可能である。
【0132】
<3次元骨モデル330>
また、上記実施形態等においては、3次元骨モデル330は、骨の表面のみならず骨の内部をも含むモデル(ソリッドモデルとも称される)として生成されているが、これに限定されない。3次元骨モデル330は、たとえば、骨の表面のみを示すサーフェスモデルとして生成されてもよい。
【0133】
なお、3次元骨モデル330がソリッドモデルとして構築される場合には、積空間78は、3次元領域(空間領域)として形成される。一方、3次元骨モデル330がサーフェスモデルとして構築される場合には、積空間78は、実質的には2次元領域(曲面領域)として形成される。このように、積空間78(病変骨部領域)は、3次元領域として形成されてもよく、2次元領域として形成されてもよい。
【0134】
<その他>
また、上記実施形態等においては、スライス画像220における推定病変領域71(ひいては推定病変空間75)が、機械学習を利用して検出されているが、これに限定されない。たとえば、機械学習を伴わない他の画像処理技術等を利用して、スライス画像220における推定病変領域71(ひいては推定病変空間75)が検出されてもよい。
【符号の説明】
【0135】
10 画像処理システム
20 スライス画像生成装置
30 画像処理装置
210 2次元スライス画像群
220 2次元スライス画像
330 3次元骨モデル
332 (曲面領域79以外の)骨表面領域
50 骨折部位
55 間隙
71 推定病変領域
75,75A,75B 推定病変空間
77 病変骨部領域
78 積空間
79 曲面領域
85 病変候補空間
87 統合病変候補空間
89 統合病変空間(推定病変空間)
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13
図14
図15
図16
図17