IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 国立大学法人 筑波大学の特許一覧

特許72020223次元モデル生成方法、3次元モデル生成装置、及び3次元モデル生成プログラム
<>
  • 特許-3次元モデル生成方法、3次元モデル生成装置、及び3次元モデル生成プログラム 図1
  • 特許-3次元モデル生成方法、3次元モデル生成装置、及び3次元モデル生成プログラム 図2
  • 特許-3次元モデル生成方法、3次元モデル生成装置、及び3次元モデル生成プログラム 図3
  • 特許-3次元モデル生成方法、3次元モデル生成装置、及び3次元モデル生成プログラム 図4
  • 特許-3次元モデル生成方法、3次元モデル生成装置、及び3次元モデル生成プログラム 図5
  • 特許-3次元モデル生成方法、3次元モデル生成装置、及び3次元モデル生成プログラム 図6
  • 特許-3次元モデル生成方法、3次元モデル生成装置、及び3次元モデル生成プログラム 図7
  • 特許-3次元モデル生成方法、3次元モデル生成装置、及び3次元モデル生成プログラム 図8
  • 特許-3次元モデル生成方法、3次元モデル生成装置、及び3次元モデル生成プログラム 図9
  • 特許-3次元モデル生成方法、3次元モデル生成装置、及び3次元モデル生成プログラム 図10
  • 特許-3次元モデル生成方法、3次元モデル生成装置、及び3次元モデル生成プログラム 図11
  • 特許-3次元モデル生成方法、3次元モデル生成装置、及び3次元モデル生成プログラム 図12
  • 特許-3次元モデル生成方法、3次元モデル生成装置、及び3次元モデル生成プログラム 図13
  • 特許-3次元モデル生成方法、3次元モデル生成装置、及び3次元モデル生成プログラム 図14
  • 特許-3次元モデル生成方法、3次元モデル生成装置、及び3次元モデル生成プログラム 図15
  • 特許-3次元モデル生成方法、3次元モデル生成装置、及び3次元モデル生成プログラム 図16
  • 特許-3次元モデル生成方法、3次元モデル生成装置、及び3次元モデル生成プログラム 図17
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-12-27
(45)【発行日】2023-01-11
(54)【発明の名称】3次元モデル生成方法、3次元モデル生成装置、及び3次元モデル生成プログラム
(51)【国際特許分類】
   A61B 5/055 20060101AFI20221228BHJP
   A61B 6/03 20060101ALI20221228BHJP
   A61B 6/04 20060101ALI20221228BHJP
   G06T 19/00 20110101ALI20221228BHJP
   A61B 34/10 20160101ALN20221228BHJP
【FI】
A61B5/055 380
A61B5/055 390
A61B6/03 377
A61B6/03 370Z
A61B6/04 305
G06T19/00 A
A61B34/10
【請求項の数】 14
(21)【出願番号】P 2020511081
(86)(22)【出願日】2019-03-29
(86)【国際出願番号】 JP2019013957
(87)【国際公開番号】W WO2019189743
(87)【国際公開日】2019-10-03
【審査請求日】2022-01-20
(31)【優先権主張番号】P 2018066054
(32)【優先日】2018-03-29
(33)【優先権主張国・地域又は機関】JP
(73)【特許権者】
【識別番号】504171134
【氏名又は名称】国立大学法人 筑波大学
(74)【代理人】
【識別番号】110000338
【氏名又は名称】特許業務法人HARAKENZO WORLD PATENT & TRADEMARK
(72)【発明者】
【氏名】神山 翔
(72)【発明者】
【氏名】原 友紀
(72)【発明者】
【氏名】西浦 康正
【審査官】亀澤 智博
(56)【参考文献】
【文献】米国特許出願公開第2013/0336553(US,A1)
【文献】欧州特許出願公開第2623029(EP,A1)
【文献】特開2018-042709(JP,A)
【文献】米国特許出願公開第2015/0317790(US,A1)
【文献】米国特許出願公開第2015/0117728(US,A1)
【文献】特開2010-213899(JP,A)
【文献】特表2002-532126(JP,A)
【文献】特開2000-139870(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
A61B 5/055
A61B 6/00 - 6/14
(57)【特許請求の範囲】
【請求項1】
その一部の表面上に第1の関節軟骨が形成された第1の骨と、その一部の表面上に第2の関節軟骨が形成された第2の骨とを含む関節の3次元形状を表す3次元モデルをコンピュータが生成する3次元モデル生成方法であって、
前記関節における複数の断面画像の各々をそれぞれが表す複数の第1の画像データにより構成された第1の画像データセットであって、少なくとも前記第1の骨が映されている第1の画像データセットに基づいて、前記第1の骨の3次元形状を表す第1の3次元モデルを生成する第1工程と、
前記関節における複数の断面画像の各々をそれぞれが表す複数の第2の画像データにより構成された第2の画像データセットであって、少なくとも前記第1の関節軟骨と前記第2の関節軟骨とが互いに離間して映されている第2の画像データセットに基づいて、前記第1の関節軟骨の3次元形状を表す第2の3次元モデルを生成する第2工程と、
前記第1の3次元モデル及び前記第2の3次元モデルに基づいて、前記第1の骨の3次元形状及び前記第1の関節軟骨の3次元形状を組み合わせた第3の3次元モデルを生成する第3工程と、を含み、
前記第2の画像データセットは、前記第1の関節軟骨及び前記第2の関節軟骨が離間する方向に前記第1の骨及び前記第2の骨の各々を牽引した状態の前記関節を撮影することによって得られたものである、
ことを特徴とする3次元モデル生成方法。
【請求項3】
前記第2工程は、前記複数の第2の画像データの各々のMRI値に基づいて、前記第1の関節軟骨を表す領域を抽出し、当該第1の関節軟骨を表す領域に基づいて、前記第2の3次元モデルを生成する、
ことを特徴とする請求項2に記載の3次元モデル生成方法。
【請求項4】
前記第1の画像データセットは、前記関節を、コンピュータ断層撮影法を用いて撮影することによって得られたものである、
ことを特徴とする請求項1~3の何れか1項に記載の3次元モデル生成方法。
【請求項5】
前記第2の画像データセットには、前記第1の関節軟骨とともに前記第1の骨が映されており、
前記第2の画像データセットに基づいて前記第1の骨の3次元形状を表す第4の3次元モデルを生成する第4工程をさらに含み、
前記第3工程は、前記第1の3次元モデルが表す3次元形状と前記第4の3次元モデルが表す3次元形状とを照合し、前記第1の3次元モデルに含まれる前記第1の骨を表す領域と、前記第4の3次元モデルに含まれる前記第1の骨を表す領域とを重ねることにより、前記第3の3次元モデルを生成する、
ことを特徴とする請求項1から4の何れか1項に記載の3次元モデル生成方法。
【請求項6】
前記第3の3次元モデルが表す3次元形状を、視点を変更可能に表示装置に表示する第5工程をさらに含む、
ことを特徴とする請求項1から5の何れか1項に記載の3次元モデル生成方法。
【請求項7】
前記第5工程において表示装置に表示された前記第3の3次元モデルが表す3次元形状に対して、ユーザの入力操作に基づく加工を行う第6工程をさらに含む、
ことを特徴とする請求項6に記載の3次元モデル生成方法。
【請求項8】
その一部の表面上に第1の関節軟骨が形成された第1の骨と、その一部の表面上に第2の関節軟骨が形成された第2の骨とを含む関節の3次元形状を表す3次元モデルを生成する3次元モデル生成装置であって、
前記関節における複数の断面画像の各々をそれぞれが表す複数の第1の画像データにより構成された第1の画像データセットであって、少なくとも前記第1の骨が映されている第1の画像データセットに基づいて、前記第1の骨の3次元形状を表す第1の3次元モデルを生成する第1生成部と、
前記関節における複数の断面画像の各々をそれぞれが表す複数の第2の画像データにより構成された第2の画像データセットであって、少なくとも前記第1の関節軟骨と前記第2の関節軟骨とが互いに離間して映されている第2の画像データセットに基づいて、前記第1の関節軟骨の3次元形状を表す第2の3次元モデルを生成する第2生成部と、
前記第1の3次元モデル及び前記第2の3次元モデルに基づいて、前記第1の骨の3次元形状及び前記第1の関節軟骨の3次元形状を組み合わせた第3の3次元モデルを生成する第3生成部と、を備えており、
前記第2の画像データセットは、前記第1の関節軟骨及び前記第2の関節軟骨が離間する方向に前記第1の骨及び前記第2の骨の各々を牽引した状態の前記関節を撮影することによって得られたものである、
ことを特徴とする3次元モデル生成装置。
【請求項9】
ネットワークを介して第1の装置及び第2の装置と接続される通信インタフェースをさらに備え、
前記第1の画像データセット及び前記第2の画像データセットのうち少なくとも何れか一方を、前記通信インタフェースを介して前記第1の装置から取得し、
前記第3の3次元モデルを表す第3の画像データセットを、前記通信インタフェースを介して前記第2の装置に対して出力する、
ことを特徴とする請求項8に記載の3次元モデル生成装置。
【請求項10】
請求項8又は9に記載の3次元モデル生成装置としてコンピュータを機能させるための3次元モデル生成プログラムであって、前記第1生成部、前記第2生成部及び前記第3生成部としてコンピュータを機能させるための3次元モデルプログラム。
【請求項14】
前記関節は、腕橈関節又は股関節である、
ことを特徴とする請求項8、9及び13の何れか1項に記載の3次元モデル生成装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、関節を構成する骨及び軟骨の3次元モデルを生成する技術に関する。
【背景技術】
【0002】
人間の身体を構成する複数の関節の各々は、複数の骨同士を連結することにより構成されている。これらの複数の骨の周囲には、それぞれの端部がいずれかの骨に接合された複数の筋肉が配置されている。人間は、これらの複数の筋肉を収縮させることによって、一方の骨に対する他方の骨の相対的な位置を、意図的に固定したり、任意に変化させたりすることができる。人間は、各関節を協調させながら制御することによって、様々な運動を行うことができる。
【0003】
このように複数の骨同士を連結することにより構成された関節には、運動の種類に応じて多かれ少なかれ負荷が掛かる。このように負荷が掛かった状態でも関節がスムースに動くことができるように、2つの骨が互いに近接する各々の端面には、それぞれ、層状の関節軟骨が形成されている。一方の骨の端面に形成されている関節軟骨を第1の関節軟骨とし、他方の骨の端面に形成されている関節軟骨を第2の関節軟骨とする。関節軟骨が形成されている端面は、骨の端部の表面であったり、骨の一部に設けられた臼部(関節窩)の内壁面であったりする。
【0004】
このような関節軟骨が形成されていることによって、関節に負荷が掛かった状態であっても、人間は、関節をスムースに動かすことができる。ところが、運動に伴う負荷の強度や、その負荷の掛かる方向や、その運動を続けた期間などによっては、関節軟骨及び軟骨下骨が損傷を受ける場合がある。これらの損傷は、関節内骨軟骨病変と呼ばれる。
【0005】
関節内骨軟骨病変は、直接命に関わる症状ではないものの、生活の質を低下させる大きな要因となる。また、通称野球肘と呼ばれる症状のように、その患者の大半が成長期にある若年層である場合も多い。したがって、関節内骨軟骨病変を治療する場合には、その関節の機能を最大限温存することを念頭に治療方針が作成され、その前提として、関節内骨軟骨病変の状態を適切に評価することが求められる。治療方針には、手術の要否の判断や、手術を実施すべき場合には最適な術式の選択などが含まれ、これらの治療方針は、関節内骨軟骨病変の進行度に応じて大きく異なるためである。
【先行技術文献】
【特許文献】
【0006】
【文献】日本国公開特許公報「特開2014-64957号公報(2014年4月17日公開)」
【発明の概要】
【発明が解決しようとする課題】
【0007】
関節内骨軟骨病変を評価する方法として、例えば、CT(Computed Tomography:コンピュータ断層撮影)法や、MRI(Magnetic Resonance Imaging:磁気共鳴画像)法が挙げられる。以下では、CT法を用いて生体の断面を表す複数の断面画像の画像データセットを生成する装置のことをCT装置と称し、MRI法を用いて生体の断面を表す複数の断面画像の画像データセットを生成する装置のことをMRI装置と称する。
【0008】
CT法は、X線を用いるため、MRI法と比較して、骨を明瞭に描画可能だが、軟骨、筋肉等の組織を明瞭に描画することが難しい。一方、MRI法は、水分子を共鳴させることができる周波数帯域の電磁波を用いるため、CT法と比較して、軟骨や筋肉などの組織を明瞭に描画可能だが、骨を明瞭に描画することが難しい。以上のように、CT法と、MRI法とは、明瞭に描画可能な組織が異なるため、互いに相補的な技術である。
【0009】
そこで、これらの技術を組み合わせて、3次元モデルを生成する技術が提案されている。例えば、特許文献1には、同じ臓器に関して取得した、CT装置を用いて生成した複数の断面画像(CT画像と称する)の画像データセットと、MRI装置を用いて生成した複数の断面画像(MRI画像と称する)の画像データセットとを用いて、臓器の3次元モデルを生成する技術が記載されている。
【0010】
しかしながら、特許文献1に記載された技術を、関節内骨軟骨病変の評価に適用しようとした場合、すなわち、CT画像、及び、CT画像を用いて歪みを補正したMRI画像の各々から、関節を構成する骨及び関節軟骨の各々を表す領域を抽出し、それぞれの3次元形状を表す3次元モデルを生成しようとする場合、以下の課題が生じる。
【0011】
上述したように、関節を構成する2つの骨が互いに近接する各々の端面には、それぞれ、層状の関節軟骨である第1の関節軟骨及び第2の関節軟骨が形成されている。ここで、第1の関節軟骨及び第2の関節軟骨は、互いに接触しているか、又は、非常に狭い間隔で近接している。そのため、MRI装置を用いて生成した複数の断面画像の画像データセットに基づいて、例えば第1の関節軟骨の3次元形状を表す3次元モデルを生成した場合、実際の第1の関節軟骨の3次元形状を忠実に反映した3次元モデルを生成することが難しい。これは、MRI装置を用いて生成した複数の断面画像の画像データセットから、第1の関節軟骨を表す領域のみを抽出することが難しいためである。この難しさは、第1の関節軟骨のMRI値と第2の関節軟骨のMRI値とが同程度のレベルで描画されており、且つ、第1の関節軟骨と第2の関節軟骨とが互いに接触しているか、又は、非常に狭い間隔で近接していることに起因する。
【0012】
このようにして生成された3次元モデルは、実際の関節軟骨の3次元形状を忠実に反映しているとは言えない。そのため、関節内骨軟骨病変の治療方針を作成する医師は、多くの不確定要素を抱えたまま、関節内骨軟骨病変の治療方針を作成することを余儀なくされる。例えば、第1の関節軟骨の正確な状態は、実際の手術中に患部を観察するまで把握することができないし、第1の関節軟骨の下層に位置する軟骨下骨の状態は、実際の手術中であっても第1の関節軟骨を除去しない限り把握することができない。このように、従来の方法では、身体に侵襲を加えることなく、関節を構成する骨及び関節軟骨の状態を正確に把握することができなかった。
【0013】
本発明は、上述した課題に鑑みなされたものであり、その目的は、身体に侵襲を加えることなく、関節を構成する骨及び関節軟骨の3次元形状を、従来よりも忠実に再現することができる技術を提供することである。
【課題を解決するための手段】
【0014】
上記の課題を解決するために、本発明の一態様に係る3次元モデル生成方法は、その一部の表面上に第1の関節軟骨が形成された第1の骨と、その一部の表面上に第2の関節軟骨が形成された第2の骨とを含む関節の3次元形状を表す3次元モデルをコンピュータが生成する3次元モデル生成方法である。当該3次元モデル生成方法は、前記関節における複数の断面画像の各々をそれぞれが表す複数の第1の画像データにより構成された第1の画像データセットであって、少なくとも第1の骨が映されている第1の画像データセットに基づいて、第1の骨の3次元形状を表す第1の3次元モデルを生成する第1工程と、前記関節における複数の断面画像の各々をそれぞれが表す複数の第2の画像データにより構成された第2の画像データセットであって、少なくとも第1の関節軟骨と第2の関節軟骨とが互いに離間して映されている第2の画像データセットに基づいて、第1の関節軟骨の3次元形状を表す第2の3次元モデルを生成する第2工程と、第1の3次元モデル及び第2の3次元モデルに基づいて、第1の骨の3次元形状及び第1の関節軟骨の3次元形状を組み合わせた第3の3次元モデルを生成する第3工程と、を含む。
【0015】
上記の課題を解決するために、本発明の一態様に係る3次元モデル生成装置は、その一部の表面上に第1の関節軟骨が形成された第1の骨と、その一部の表面上に第2の関節軟骨が形成された第2の骨とを含む関節の3次元形状を表す3次元モデルを生成する3次元モデル生成装置である。当該3次元モデル生成装置は、前記関節における複数の断面画像の各々をそれぞれが表す複数の第1の画像データにより構成された第1の画像データセットであって、少なくとも第1の骨が映されている第1の画像データセットに基づいて、第1の骨の3次元形状を表す第1の3次元モデルを生成するする第1生成部と、前記関節における複数の断面画像の各々をそれぞれが表す複数の第2の画像データにより構成された第2の画像データセットであって、少なくとも第1の関節軟骨と第2の関節軟骨とが互いに離間して映されている第2の画像データセットに基づいて、第1の関節軟骨の3次元形状を表す第2の3次元モデルを生成する第2生成部と、第1の3次元モデル及び第2の3次元モデルに基づいて、第1の骨の3次元形状及び第1の関節軟骨の3次元形状を組み合わせた第3の3次元モデルを生成する第3生成部と、を備えている。
【0016】
本発明の一態様に係る3次元モデルプログラムは、上述の3次元モデル生成装置としてコンピュータを機能させるための3次元モデル生成プログラムであって、第1生成部、第2生成部及び第3生成部としてコンピュータを機能させる。
【発明の効果】
【0017】
本発明の一態様によれば、身体に侵襲を加えることなく、関節を構成する骨及び関節軟骨の3次元形状を、従来よりも忠実に再現した3次元モデルを得ることができる。
【図面の簡単な説明】
【0018】
図1】本発明の特徴的な画像データセットを取得するためのMRI装置の一例を説明する模式図である。
図2】(a)は、肘を牽引しながら取得されたMRI画像を表し、(b)は、肘を牽引せずに取得されたMRI画像を表す。
図3】(a)は、腕橈関節について、注目すべき関節軟骨を表す領域の抽出精度を、牽引時と非牽引時とで比較した結果を示す図である。(b)は、滑車部(腕尺関節外側)についての抽出精度の比較結果を示す図である。(c)は、腕尺関節(特に内側)についての抽出精度の比較結果を示す図である。
図4】本実施形態に係る3次元モデル生成装置の機能的な構成を示すブロック図である。
図5】本実施形態に係る3次元モデル生成方法の流れを説明するフローチャートである。
図6】本実施形態に係る3次元モデル生成方法の詳細な流れを説明するフローチャートである。
図7】本実施形態に係る3次元モデル生成方法の詳細な流れを説明するフローチャートである。
図8】本実施形態に係る3次元モデル生成方法の詳細な流れを説明するフローチャートである。
図9】(a)~(c)は、本実施形態の具体例におけるCT画像データセットの一部の一例である。(d)は、本実施形態の具体例における上腕骨のCT3次元モデルの一例を示す図である。
図10】(a)~(c)は、本実施形態の具体例におけるMRI画像データセットの一部の一例を示す図である。(d)は、本実施形態の具体例における上腕骨のMRI3次元モデルの一例を示す図である。
図11】(a)及び(b)は、本実施形態の具体例において、MRI画像から抽出された関節軟骨の一例を示す図である。
図12】(a)~(d)は、本実施形態の具体例における関節軟骨の3次元モデルの一例を示す図である。
図13】(a)~(c)は、本実施形態の具体例における合成3次元モデルの一例を示す図である。
図14】(a)及び(b)は、本実施形態の具体例において、加工された合成3次元モデルの一例を示す図である。
図15】本実施形態に係る3次元モデル生成装置のハードウェア構成の一例を示すブロック図である。
図16】(a)は、本実施形態の具体例において、加工された合成3次元モデルの一例を示す三面図である。(b)は、(a)に示した肋軟骨の小片の三面図である。
図17】(a)及び(b)は、本実施形態の具体例において、加工された合成3次元モデルの一例を示す図である。
【発明を実施するための形態】
【0019】
〔本発明の特徴〕
本発明の特徴は、対象となる関節軟骨及び他の関節軟骨が離間した状態で映されている断面画像を含む画像データセットを用いることにある。また、そのような断面画像から、対象となる関節軟骨を表す領域を抽出することにある。
【0020】
本願発明者らは、生体において対象となる関節を含む部位を、関節軟骨同士が離間する方向に牽引しながら、断面画像生成装置を用いて当該部位の断面を撮像することにより、そのような、関節軟骨同士が離間して映された断面画像を含む画像データセットが得られることを見出した。ここで、断面画像生成装置は、関節を構成する組織のうち、少なくとも関節軟骨を明瞭に描画可能な装置であればよい。本実施形態では、このような断面画像生成装置の一例として、MRI(Magnetic Resonance Imaging:磁気共鳴画像)装置を用いる。MRI装置は、MRI法を用いて生体の断面を表す複数の断面画像の画像データセットを生成する。
【0021】
また、本実施形態では、関節の一例として肘を用いる。肘を構成する骨は、上腕骨b1、橈骨b2、及び尺骨である。図2の(a)において、上腕骨b1及び橈骨b2の各々は、特許請求の範囲に記載の第1の骨及び第2の骨の一態様である。上腕骨b1の一方の端部である上腕骨小頭の表面上には、第1の関節軟骨の一態様である関節軟骨n1が形成されている。橈骨b2の一方の端部である橈骨頭の表面上には、第2の関節軟骨の一態様である関節軟骨n2が形成されている。なお、尺骨は、図2には図示されていない。
【0022】
肘を牽引しながら、MRI装置を用いて当該肘の断面画像を撮像する手法について、図1~3を用いて説明する。図1は、本手法で用いるMRI装置900を模式的に表す斜視図である。MRI装置900は、撮像部901と、載置台902と、牽引機構903とを有する。
【0023】
撮像部901は、環状に構成される。撮像部901は、内部の撮像空間に静磁場及び傾斜磁場を発生し、撮像空間に置かれた被検体hに対し高周波パルスを印加し、被検体hが発生する磁気共鳴信号を検出してコンピュータで処理することにより、被検体hの断面画像を生成する。
【0024】
載置台902は、被検体hを載置可能な台である。また、載置台902は、撮像部901内部の撮像空間に進入・進出可能に可動するよう構成される。
【0025】
牽引機構903は、紐903aと、滑車903bと、おもり903cとを含む。
【0026】
このような構成のMRI装置900は、載置台902に載置された被検体hの肘を牽引しながら、肘の断面画像を撮像する。具体的には、例えば、被検体hの手関節には、紐903aの一方の端部が結ばれる。紐903aは、載置台902の上を、被検体hの足が向く方向d1に向かって伸び、載置台902の足側の端部から床に向かって垂れている。紐903aの他方の端部には、おもり903bが結ばれている。おもり903bとしては、ここでは砂嚢を用い、重量を約7kgとした。これにより、肘は、方向d1に向かって牽引される。この状態で、載置台902が撮像部901の内部に進入するよう稼動し、撮像部901が動作する。これにより、肘が牽引された状態で、肘のMRI画像が取得される。その結果、MRI装置900は、関節軟骨n1と関節軟骨n2とが互いに離間した状態で映されているMRI画像を複数生成する。MRI装置900が生成したこれら複数のMRI画像の各々は、特許請求の範囲に記載の複数の第2の画像データの一態様であり、特許請求の範囲に記載の第2の画像データセットを構成する。
【0027】
図2(a)は、図1に例示したMRI装置900によって取得されたMRI画像の一例であるMRI画像910を示す図である。MRI画像910は、肘の矢状断面を表し、上腕骨b1及び橈骨b2をそれぞれ表す領域を含んでいる。また、MRI画像910は、関節軟骨n1及び関節軟骨n2をそれぞれ表す領域を含んでいる。関節軟骨n1は、上腕骨b1の関節側の端部である上腕骨小頭を覆う軟骨である。関節軟骨n2は、橈骨b2の関節側の端部にある関節窩を覆う軟骨である。MRI画像910は、肘が方向d1に牽引された状態で撮像されていることにより、関節軟骨n1及び関節軟骨n2をそれぞれ表す領域間には、関節液が流れ込んだ隙間領域a1がある。MRI画像910において、関節軟骨n1及び関節軟骨n2のMRI値は同程度であるものの、関節液のMRI値は、関節軟骨n1及び関節軟骨n2のMRI値とは明らかに異なる。そのため、MRI画像910において、関節軟骨n1を表す領域と関節軟骨n2を表す領域との境界は、明瞭である。
【0028】
図2(b)は、比較のため、牽引機構903を用いていない状態(すなわち牽引していない状態)の肘を、MRI装置900を用いて撮影した結果、MRI装置900が生成したMRI画像920を示す図である。MRI画像920も、MRI画像910と同様に、上腕骨b1、橈骨b2、関節軟骨n1及び関節軟骨n2をそれぞれ表す領域を含んでいる。ただし、図2(b)において、領域a2において、関節軟骨n1と関節軟骨n2とが接触している。別の言い方をすれば、MRI画像920において、関節軟骨n1を表す領域と関節軟骨n2を表す領域との境界は、不明瞭である。
【0029】
このように、牽引機構903を有するMRI装置900により、注目する関節軟骨n1と、隣接する関節軟骨n2とが離間して映されたMRI画像910が得られることがわかった。
【0030】
図3は、複数の被検体について、肘が牽引された状態で得られたMRI画像910と、牽引されていない状態で得られたMRI画像920とを取得し、それぞれを用いて、注目する関節軟骨を表す領域の抽出精度を比較した結果を説明する図である。詳細には、図3(a)は、肘関節を構成する関節のうち腕橈関節について、注目する関節軟骨を表す領域の抽出精度の比較結果を示す。図3(b)は、肘関節を構成する関節のうち滑車部(腕尺関節外側)について、注目する関節軟骨を表す領域の抽出精度の比較結果を示す。図3(c)は、肘関節を構成する関節のうち腕尺関節(特に内側)について、注目する関節軟骨を表す領域の抽出精度の比較結果を示す。また、図3(a)~(c)において、「Complete」は、関節軟骨の輪郭ならびに境界を完全に抽出できた被検体の数を表す。また、「Poor」は、関節軟骨の輪郭全体の50%以上が明瞭に抽出できなかった被検体の数を表す。また、「Intermediate」は、「Complete」及び「Poor」の何れにも分類されなかった被検体の数を表す。すなわち、「Intermediate」は、関節軟骨の輪郭の一部(全体の50%以下)が明瞭に描出できなかった被検体の数である。比較は、対応のある2群の検定(paired t test)により行い、p値が有意水準以下のものを、「牽引により関節軟骨の抽出精度が有意に改善された」、と判断した。
【0031】
図3(a)~(c)のうち、(a)によれば、「牽引により関節軟骨の抽出精度が有意に改善された」ことがわかる。このように、対象となる部位が牽引された状態で断面画像を撮像することにより、断面画像からの関節軟骨を表す領域の抽出精度が向上する部位があることがわかった。
【0032】
なお、本発明の特徴として用いられる、対象となる関節軟骨及び他の関節軟骨が離間した状態で映されている断面画像を含む画像データセットは、上述した手法により撮像されたものに限定されない。対象となる関節軟骨及び他の関節軟骨が離間した状態で映されていれば、他の手法により撮像されたものであっても構わない。また、対象となる関節は、腕橈関節に限定されず、膝関節や、股関節などの他の関節であってもよい。
【0033】
〔実施形態〕
本実施形態に係る3次元モデル生成装置10について、図面を参照して詳細に説明する。
【0034】
(3次元モデル生成装置の構成)
図4は、3次元モデル生成装置10の機能ブロック構成を示す図である。3次元モデル生成装置10は、第1生成部11と、第2生成部12と、第3生成部13と、表示加工部14とを含む。また、3次元モデル生成装置10は、入力装置20及び表示装置30に接続されている。入力装置20は、3次元モデル生成装置10に対する入力操作を受け付けるデバイスである。以降、入力装置20を介して行われる入力操作を、単に、入力操作とも記載する。また、表示装置30は、3次元モデル生成装置10から出力される情報を表示するデバイスである。以降、表示装置30に情報を表示することを、単に、表示する、とも記載する。なお、入力装置20及び表示装置30の詳細については後述する。
【0035】
第1生成部11は、肘における複数の断面画像の各々をそれぞれが表す複数の第1の画像データにより構成された第1の画像データセットであって、少なくとも上腕骨b1が映されている第1の画像データセットに基づいて、上腕骨b1の3次元形状を表す第1の3次元モデルを生成する。
【0036】
第1の画像データセットには、少なくとも上腕骨b1が映されている。本実施形態においては、第1の画像データセットには、上腕骨b1とともに橈骨b2が映されている。
【0037】
本実施形態では、第1の画像データとして、CT(Computed Tomography:コンピュータ断層撮影)装置によって得られるCT画像を表す画像データを用いる。以降、第1の画像データセットを、CT画像データセットとも記載する。また、以降、CT画像データセットから生成された上腕骨b1の3次元モデルを、「上腕骨b1のCT3次元モデル」とも記載する。なお、CT画像データセットから、注目する組織の3次元モデルを生成する技術には、公知の技術を適用可能である。
【0038】
第2生成部12は、肘における複数の断面画像の各々をそれぞれが表す複数の第2の画像データにより構成された第2の画像データセットであって、少なくとも関節軟骨n1と関節軟骨n2とが互いに離間して映されている第2の画像データセットに基づいて、関節軟骨n1の3次元形状を表す第2の3次元モデルを生成する。また、以降、MRI画像データセットから生成された関節軟骨n1の3次元モデルを、「関節軟骨n1のMRI3次元モデル」とも記載する。
【0039】
第2の画像データセットには、関節軟骨n1及び関節軟骨n2の少なくとも何れか一方が映されている。また、本実施形態の第2の画像データセットには、関節軟骨n1,n2ほど鮮明ではないものの、上腕骨b1及び橈骨b2の少なくとも何れか一方が映されている。
【0040】
本実施形態では、第2の画像データとして、MRI装置によって得られるMRI画像を用いる。以降、第2の画像データセットを、MRI画像データセットとも記載する。本実施形態のMRI画像データセットは、図1に示したMRI装置900によって得られたものでる。
【0041】
より詳しくは、第2生成部12は、複数のMRI画像の各々のMRI値の差に基づいて、関節軟骨n1を表す領域を抽出し、関節軟骨n1を表す領域に基づいて、第2の3次元モデルを生成する。MRI値とは、MRI画像に含まれる各画素の画素値に対応する。MRI画像において、MRI値が高い画素ほど明るく表示され、MRI値が低い画素ほど暗く表示される。MRI値は、関節を構成する組織を構成する材料に依存しており、同じ材料により構成されている領域は、同程度のMRI値になりやすい。したがって、図2の(a)に示すように、上腕骨b1のMRI値と、橈骨b2のMRI値とは同程度であり、関節軟骨n1のMRI値と、関節軟骨n2のMRI値とは、同程度である。
【0042】
したがって、関節軟骨n1と関節軟骨n2とが接触している場合、関節軟骨n1を表す領域と関節軟骨n2を表す領域との境界をMRI画像に基づいて定めることは困難である。本手法では、MRI画像データセットに映されている関節軟骨n1と関節軟骨n2とが互いに離間しており、関節軟骨n1を表す領域と関節軟骨n2を表す領域との間に、関節液を表す領域が存在する。したがって、第2生成部12は、MRI画像データセットに基づいて、関節軟骨n1を抽出することができる。すなわち、第2生成部12は、第2のデータセットに基づいて、関節軟骨n1の3次元形状を表す3次元モデルを生成することができる。
【0043】
なお、関節軟骨n1を表す領域として抽出すべきMRI値の上限値及び下限値は、予め定められていてもよいし、ユーザからの入力操作に基づき定められてもよいし、第2生成部12が各MRI画像を解析した結果として定められたものであってもよい。なお、MRI値の上限値及び下限値を定めるためにユーザにより入力される情報は、必ずしも、MRI値を表す数値自体でなくてもよい。例えば、表示装置30に表示されたMRI画像において、ある領域を指定する入力操作がなされたとする。この場合、第2生成部12は、指定された領域に含まれるMRI値と同程度である画素が集合することによって形成された領域を、関節軟骨n1を表す領域として抽出してもよい。
【0044】
ここで、MRI画像データセットは、関節軟骨n1,n2を表す領域に加えて、上腕骨b1及び橈骨b2を表す領域を含んでいることが好ましい。本実施形態において、MRI画像データセットは、上腕骨b1及び橈骨b2を表す領域を含んでいる。
【0045】
第2生成部12は、MRI画像データセットに基づいて、上腕骨b1の3次元形状を表す3次元モデルである第4の3次元モデルを生成する。以降、MRI画像データセットから生成された第4の3次元モデルを、「上腕骨b1のMRI3次元モデル」とも記載する。
【0046】
なお、上述したように、MRI画像は、CT画像に比べて、骨を表す領域が不明瞭であることが多い。したがって、上腕骨b1のMRI3次元モデルは、上腕骨b1のCT3次元モデルに比べて、3次元形状の再現精度が低くてもよい。
【0047】
第3生成部13は、上腕骨b1のCT3次元モデル、及び、関節軟骨n1のMRI3次元モデルに基づいて、上腕骨b1の3次元形状と関節軟骨n1の3次元形状とを組み合わせた第3の3次元モデルを生成する。以降、第3の3次元モデルを、「合成3次元モデル」とも記載する。
【0048】
第3生成部13は、上腕骨b1のCT3次元モデルが表す3次元形状と、上腕骨b1のMRI3次元モデルが表す3次元形状とを照合し、照合結果に基づいて、合成3次元モデルを生成するように構成されていることが好ましい。例えば、第3生成部13は、(1)上腕骨b1のCT3次元モデルが表す3次元形状の特徴点と、上腕骨b1のMRI3次元モデルが表す3次元形状との特徴点とをそれぞれ抽出し、(2)互いに対応する特徴点同士をマッチングさせ、(3)上腕骨b1のCT3次元モデルに含まれる上腕骨b1を表す領域と、上腕骨b1のMRI3次元モデルに含まれる上腕骨b1を表す領域とを重ねることにより、合成3次元モデルを生成する。
【0049】
この構成によれば、例えば、上腕骨b1のCT3次元モデルに適用される3次元座標と、上腕骨b1のMRI3次元モデルに適用される3次元座標との対応関係を定めることができる。
【0050】
ここで、上腕骨b1のMRI3次元モデルと、関節軟骨n1のMRI3次元モデルとは、同一のMRI画像データセットに基づいて生成されている。したがって、これらの3次元モデルに適用される3次元座標は同一であるとみなせる。そこで、この場合、第3生成部13は、算出された3次元座標の対応関係に基づいて、関節軟骨n1のMRI3次元モデルを、上腕骨b1のCT3次元モデルに適用されている3次元座標に合わせて補正することが可能である。そして、第3生成部13は、上腕骨b1のCT3次元モデルと、補正した関節軟骨n1のMRI3次元モデルとを重畳して再構成することにより、合成3次元モデルを生成すればよい。
【0051】
表示加工部14は、合成3次元モデルが表す3次元形状を、視点を変更可能に表示する。以降、合成3次元モデルが表す3次元形状を表示することを、単に、合成3次元モデルを表示する、とも記載する。例えば、表示加工部14は、入力操作に基づいて、表示した合成3次元モデルの視点を変更して表示を更新する。
【0052】
また、表示加工部14は、表示した合成3次元モデルに対して、ユーザの入力操作に基づく加工を行う。例えば、表示加工部14は、表示した合成3次元モデルにおいて、指定された領域に含まれる関節軟骨の透明度を上げる機能を有していてもよい。これにより、透明度を上げた領域の深部の軟骨下骨について、その3次元形状が視認可能に表示される。また、例えば、表示加工部14は、表示した合成3次元モデルにおいて、指定された領域の関節軟骨及び軟骨下骨の少なくとも一方を加工する機能を有していてもよい。表示加工部14が有する加工の機能としては、(1)関節軟骨の削除又は透明化、(2)関節軟骨の追加、(3)軟骨下骨の削除、及び、(4)移植用の骨片である移植片の追加、及び(5)損傷を受けた領域のマーキング、が挙げられる。表示加工部14は、上述した(1)~(5)の機能のうち少なくとも何れか1つの機能を有していればよく、(1)~(5)の機能の全てを有していることが好ましい。これにより、例えば関節軟骨を削除された領域に位置する軟骨下骨について、その3次元形状が視認可能に表示される。また、例えば軟骨下骨を削除したうえで移植片を追加された領域について、その3次元形状が視認可能に表示される。
【0053】
なお、表示加工部14は、入力操作に基づいて、表示した合成3次元モデルにおける指定領域を検出すればよい。また、表示加工部14は、入力操作に基づいて、指定領域に対する加工処理を実行すればよい。指定領域に対する加工処理としては、前述のように、透明度を上げる、加工する等が挙げられるが、これらに限られない。
【0054】
(3次元モデル生成装置の動作)
図5は、以上のように構成された3次元モデル生成装置10が実行する3次元モデル生成方法S1を説明するフローチャートである。3次元モデル生成方法S1は、以下に説明する工程S101~S104を含んでいる。
【0055】
工程S101において、第1生成部11は、上述したCT画像データセットに基づいて、上腕骨b1のCT3次元モデルを生成する。この工程の詳細については後述する。
【0056】
工程S102において、第2生成部12は、上述したMRI画像データセットに基づいて、関節軟骨n1のMRI3次元モデル、及び、上腕骨b1のMRI3次元モデルを生成する。この工程の詳細については後述する。なお、工程S101及びS102の処理の実行順序は、逆であってもよいし、並行して実行されてもよい。
【0057】
工程S103において、第3生成部13は、上腕骨b1のCT3次元モデルと、関節軟骨n1のMRI3次元モデルとに基づいて、合成3次元モデルを生成する。このとき、工程S102で生成された上腕骨b1のMRI3次元モデルが用いられる。この工程の詳細については後述する。
【0058】
工程S104において、表示加工部14は、合成3次元モデルを表示する。また、表示加工部14は、入力操作に基づいて、その視点を変更する処理、又は、加工する処理を行う。
【0059】
次に、各工程の詳細について説明する。図6は、工程S101の詳細を示すフローチャートである。
【0060】
工程S201において、第1生成部11は、CT画像データセットを取得する。なお、第1生成部11は、CT装置(図示せず)と接続され、当該CT装置からCT画像データセットを取得してもよい。また、第1生成部11は、CT画像データセットが蓄積された画像サーバ(図示せず)に、通信インタフェース及びネットワークを介して通信可能に接続され、当該画像サーバからCT画像データセットを取得してもよい。また、第1生成部11は、可搬型媒体に記憶されたCT画像データセットを、入出力インタフェースを介して読み込むことにより取得してもよい。
【0061】
工程S202において、第1生成部11は、CT画像データセットに基づいて、上腕骨b1のCT3次元モデルを生成する。前述したように、本工程の処理には、公知の技術を適用可能である。
【0062】
図7は、工程S102の詳細を示すフローチャートである。
【0063】
工程S301において、第2生成部12は、MRI画像データセットを取得する。ここで取得するMRI画像データセットは、対象となる関節軟骨n1と、関節軟骨n1に隣接する関節軟骨n2とが、離間して映されているMRI画像を含むものである。例えば、第2生成部12は、図1に示したMRI装置900と接続され、当該MRI装置900からMRI画像データセットを取得してもよい。また、第2生成部12は、MRI装置900によって取得されたMRI画像データセットが蓄積された画像サーバ(図示せず)に、通信インタフェース及びネットワークを介して通信可能に接続され、当該画像サーバからMRI画像データセットを取得してもよい。また、第2生成部12は、MRI装置900によって取得されたMRI画像データセットを記憶した可搬型媒体から、入出力インタフェースを介して当該MRI画像データセットを読み込むことにより取得してもよい。
【0064】
工程S302において、第2生成部12は、MRI画像データセットに基づいて、上腕骨b1のMRI3次元モデルを生成する。
【0065】
工程S303において、第2生成部12は、MRI画像データセットに含まれるMRI画像から、関節軟骨n1を表す領域のMRI値と、関節軟骨n1と関節軟骨n2との間に介在する関節液を表す領域のMRI値との差に基づいて、関節軟骨n1を表す領域を抽出する。
【0066】
工程S304において、第2生成部12は、抽出された関節軟骨n1を表す領域に基づいて、関節軟骨n1の3次元モデルを生成する。
【0067】
図8は、工程S103の詳細を示すフローチャートである。
【0068】
工程S401において、第3生成部13は、ステップS202で生成された上腕骨b1のCT3次元モデルと、ステップS302で生成された上腕骨b1のMRI3次元モデルとを照合する。前述のように、例えば、第3生成部13は、これらの3次元モデルが表す3次元形状の特徴点同士を照合することにより、これらの3次元モデルにそれぞれ適用されている3次元座標の対応関係を算出してもよい。
【0069】
工程S402において、第3生成部13は、ステップS401の照合結果に基づいて、ステップS202で生成された上腕骨b1のCT3次元モデルと、ステップS304で生成された関節軟骨n1のMRI3次元モデルとを合成し、合成3次元モデルを生成する。前述のように、例えば、第3生成部13は、関節軟骨n1のMRI3次元モデルを、上腕骨b1のCT3次元モデルに適用されている3次元座標に合わせて補正し、補正した関節軟骨n1のMRI3次元モデルと、上腕骨b1のCT3次元モデルとを合成することによって、合成3次元モデルを生成する構成であってもよい。
【0070】
(実施例)
次に、本実施形態に係る3次元モデル生成装置10を用いて、上腕骨b1及び上腕骨小頭を覆う関節軟骨n1の合成3次元モデルを生成した実施例について説明する。このような合成3次元モデルは、関節内骨軟骨病変の一つである上腕骨離断性軟骨炎、通称外側型野球肘の評価を行うために有用である。上述した実施形態の場合と同様に、上腕骨b1は、本実施例における第1の骨の一例であり、上腕骨小頭を覆う関節軟骨n1は、本実施例における第1の関節軟骨の一例である。
【0071】
図9(a)~(c)は、ステップS201において取得されたCT画像データセットの一部を表している。具体的には、図9(a)は、肘の軸位断面、図9(b)は、肘の冠状断面、図9(c)は、肘の矢状断面をそれぞれ表すCT画像である。これらのCT画像には、それぞれ、上腕骨b1と、橈骨b2とが映されている。これらのCT画像を含むCT画像データセットを用いて、ステップS202が実行される。図9(d)は、ステップS202において生成された上腕骨遠位部のCT3次元モデルを表している。
【0072】
図10(a)~(c)は、ステップS301において取得されたMRI画像データセットの一部を表している。具体的には、図10(a)は、肘の軸位断面、図10(b)は、肘の冠状断面、図10(c)は、肘の矢状断面をそれぞれ表すMRI画像である。これらのMRI画像には、CT画像に比べると不明瞭であるものの、それぞれ、上腕骨b1と、橈骨b2とが映されている。これらのMRI画像を含むMRI画像データセットを用いて、ステップS302が実行される。図10(d)は、ステップS302において生成された上腕骨遠位部のMRI3次元モデルを表している。
【0073】
図9(d)に示した上腕骨遠位部のCT3次元モデルと、図10(d)に示した上腕骨遠位部のMRI3次元モデルとが、ステップS401において照合される。これにより、CT3次元モデルに適用される3次元座標と、MRI3次元モデルに適用される3次元座標との対応関係が算出される。
【0074】
図11(a)及び(b)は、ステップS303においてMRI画像から抽出された、上腕骨小頭を覆う関節軟骨を表す領域を表している。具体的には、図11(a)は、肘の冠状断面を表すMRI画像において、上腕骨小頭を覆う関節軟骨n1を表す領域が抽出されたことを表している。当該MRI画像に、隙間領域a3が含まれることにより、MRI値に基づいて、関節軟骨n1を表す領域の抽出が可能となった。図11(b)は、肘の矢状断面を表すMRI画像において、該当関節軟骨n1を表す領域が抽出されたことを表している。当該MRI画像に、隙間領域a4が含まれることにより、MRI値に基づいて、関節軟骨n1を表す領域の抽出が可能となった。
【0075】
図12(a)~(d)は、ステップS304において生成された、上腕骨小頭を覆う関節軟骨の3次元モデルを表している。具体的には、図12(a)は、当該関節軟骨の3次元モデルが、正面からの視点で表示された例であり、図12(b)は、側面からの視点で表示された例であり、図12(c)は、上腕骨遠位からの視点で表示された例であり、図12(d)は、裏面からの視点で表示された例である。
【0076】
図13(a)は、ステップS402において生成された合成3次元モデルを表している。すなわち、この合成3次元モデルは、図9(d)に示した上腕骨遠位部のCT3次元モデルと、図12(a)~(d)に示した該当関節軟骨の3次元モデルとが、ステップS401の照合結果に基づいて合成されたものである。図13(a)では、当該合成3次元モデルが、正面からの視点で表示装置30に表示されている。また、図13(b)及び(c)は、ステップS104において、当該合成3次元モデルが、視点を変更して表示された例を表している。具体的には、図13(b)は、側面からの視点に変更された表示例であり、図13(c)は、上腕骨遠位からの視点に変更された表示例である。このように視点を変更した合成3次元モデルの表示は、術中にも確認できない視点からの情報を評価者に提供する。したがって、このような表示は、関節軟骨及び上腕骨を総合的に評価することを支援する。
【0077】
図14(a)及び(b)は、ステップS104において、合成3次元モデルに対する加工が行われた場合の表示例である。具体的には、図14(a)は、上腕骨小頭を覆う関節軟骨のうち、領域a5の透明度を上げ(透明化し)、且つ、遊離した軟骨下骨(すなわち関節内骨軟骨病変)を含む領域a7を、マーキングすることによって、軟骨下骨が遊離した領域を他の損傷を受けていない領域から判別しやすくなるように、合成3次元モデルを加工した表示例である。このような表示は、関節軟骨と遊離した軟骨下骨の位置関係を、詳細に把握することを支援する。なお、図14(a)において、遊離した軟骨下骨のコントラストを変化させることによってマーキングしているが、図17(a)に示した領域a12に含まれる遊離した軟骨下骨のように、他の領域と明らかに異なるコントラストにすることにより、他の領域からより判別しやすくなるように、合成3次元モデルを加工してもよい。図14(b)は、上腕骨小頭を覆う関節軟骨のうち領域a6を削除し、且つ、領域a7に含まれていた遊離した軟骨下骨を削除した表示例である。このような表示により、評価者は、関節軟骨の一部及び遊離した軟骨下骨を切除した後のイメージを詳細に把握することができる。このように、合成3次元モデルの加工処理は、手術シミュレーションとしての機能を評価者に提供する。その結果、このような表示は、関節軟骨及び上腕骨を総合的に評価することを支援する。
【0078】
以上のように、図14(a)及び(b)では、それぞれ、上腕骨小頭を覆う関節軟骨の一部領域の透明度を上げた表示例、及び、上腕骨小頭を覆う関節軟骨の一部領域を削除し、且つ、遊離した軟骨下骨を削除した表示例を示している。しかし、3次元モデル生成装置10は、ステップS104において、上腕骨小頭を覆う関節軟骨の全領域の透明度を上げる(図17(a)参照)又は全領域を削除するといった加工を合成3次元モデルに施すように構成されていてもよい。
【0079】
図16(a)では、図14(b)に示した表示例と同様に遊離した軟骨下骨を削除したうえで、肋軟骨小片a8,a9を上腕骨小頭に移植した後の状態を示すように合成3次元モデルを加工した表示例である。上腕骨小頭への肋軟骨小片a8,a9の移植は、関節面を再建することを目的としている。肋軟骨小片a8,a9は、移植用の骨片である移植片の一例である。図16(a)は、肋軟骨小片a8の三面図であり、肋軟骨小片a9も肋軟骨小片a8と同様の形状を有する。以上のように、3次元モデル生成装置10は、ステップS104において、移植片を追加する加工を合成3次元モデルに施すように構成されていてもよい。
【0080】
図17は、図14及び図16に示した症例とは、別の症例における合成3次元モデルを示す。図17(a)は、上腕骨小頭を覆う関節軟骨の全領域a11の透明度を上げ(透明化し)、且つ、遊離した軟骨下骨を含む領域a12を、マーキングすることによって、軟骨下骨が遊離した領域を他の損傷を受けていない領域から判別しやすくなるように、合成3次元モデルを加工した表示例である。図17(b)は、上腕骨小頭を覆う関節軟骨の一部領域a13を削除し、且つ、遊離した軟骨下骨を含む領域a12を、マーキングすることによって、軟骨下骨が遊離した領域を他の損傷を受けていない領域から判別しやすくなるように、合成3次元モデルを加工した表示例である。図17(a)に示したような表示例は、関節軟骨と遊離した軟骨下骨の位置関係を、評価者が詳細に把握することを支援する。図17(b)に示したような表示例は、関節軟骨の一部領域a13を削除した後のイメージを、評価者が詳細に把握することを支援する。
【0081】
このように、(1)関節軟骨の削除又は透明化、(2)関節軟骨の追加、(3)軟骨下骨の削除、及び、(4)移植用の骨片である移植片の追加、及び(5)損傷を受けた領域のマーキングに代表される合成3次元モデルの加工処理は、手術シミュレーションとしての機能を評価者に提供する。その結果、このような表示は、関節軟骨及び上腕骨を総合的に評価することを支援する。
【0082】
(本実施形態の効果)
以上説明したように、本実施形態に係る3次元モデル生成装置は、対象となる関節軟骨と、その深部の軟骨下骨及び骨とを組み合わせた3次元形状を提示する。これにより、評価者にとって、従来は術中所見でしか評価できなかった情報や、術中にも確認できなかった情報が、生体に侵襲を加えることなく確認可能となる。その結果、本実施形態は、関節軟骨及びその深部の軟骨下骨及び骨との総合的な評価を支援することができる。
【0083】
(変形例)
なお、本実施形態において、対象となる関節が肘関節であり、第1の骨が上腕骨であり、第1の関節軟骨が、上腕骨小頭を覆う関節軟骨である例について説明した。また、これにより、本実施形態の3次元モデル生成装置が、上腕骨離断性軟骨炎の総合評価に有用である例について説明した。しかし、3次元モデル生成装置10の適用例は、これに限らない。3次元モデル生成装置10は、膝関節や、股関節などの他の関節にも適用可能である。
【0084】
例えば、本実施形態において、膝関節を対象とし、第1の骨として大腿骨遠位端を適用し、第1の関節軟骨として大腿骨内顆・外顆を覆う関節軟骨を適用してもよい。この場合、本実施形態の3次元モデル生成装置は、膝関節離断性軟骨炎や変形性膝関節症の総合評価に有用である。また、本実施形態において、股関節を対象とし、第1の骨として大腿骨頭を適用し、第1の関節軟骨として大腿骨頭関節軟骨を適用してもよい。この場合、本実施形態の3次元モデル生成装置は、変形性股関節症や大腿骨頭壊死の総合評価に有用である。また、本実施形態において、足関節を対象とし、第1の骨として距骨を適用し、第1の関節軟骨として距腿関節軟骨を適用してもよい。この場合、本実施形態の3次元モデル生成装置は、足関節離断性骨軟骨炎や変形性足関節症の総合評価に有用である。また、本実施形態において、膝関節を対象とし、第1の骨として大腿骨内顆を適用し、第1の関節軟骨として大腿骨内顆を覆う関節軟骨を適用してもよい。この場合、本実施形態の3次元モデル生成装置は、大腿骨内顆骨壊死の総合評価に有用である。その他、本実施形態は、第1の骨及び第1の関節に適宜適切な組織を適用することにより、軟骨の評価が必要な各種の関節疾患の総合評価に有用である。
【0085】
また、本実施形態において、第1の画像データセットとしてCT装置により生成された画像データセットを用いる例について説明した。これに限らず、第1の画像データセットは、骨を表す領域が映された画像データセットであれば、他の手法により得られた画像データセットであってもよい。
【0086】
また、本実施形態において、第2の画像データセットとしてMRI装置により生成された画像データセットを用いる例について説明した。これに限らず、第2の画像データセットは、注目する関節軟骨を表す領域と、隣接する関節軟骨を表す領域とが離間して映された画像データセットであれば、他の手法により得られた画像データセットであってもよい。
【0087】
また、本実施形態において、第2の画像データセットを得るための装置に備えられた牽引機構が、紐及びおもりによって構成される例について説明した。これに限らず、第2の画像データセットは、対象となる関節を牽引する機構であれば、その他の牽引機構により牽引されながら取得された断面画像のデータセットであってもよい。
【0088】
(3次元モデル生成装置のハードウェア構成とソフトウェアによる実現形態)
本実施形態における3次元モデル生成装置10は、例えば、図15に示すハードウェア要素によって実現可能である。図15は、3次元モデル生成装置10を実現するコンピュータ装置100の構成例を示すブロック図である。
【0089】
コンピュータ装置100は、図15に示すように、プロセッサ101と、メモリ102と、入出力インタフェース103と、通信インタフェース104とを含む。これらの要素は、バスにより互いに接続される。入出力インタフェース103には、入力装置20及び表示装置30が接続される。入力装置20及び表示装置30は、コンピュータ装置100に内蔵されていてもよい。また、入力装置20及び表示装置30は、単一の装置(例えば、タッチパネル)として実現されていてもよい。
【0090】
プロセッサ101は、メモリ102に記憶されたプログラムに含まれる命令を実行することによって、入出力インタフェース103及び通信インタフェース104を制御しながら、3次元モデル生成装置10の第1生成部11、第2生成部12、第3生成部13及び表示加工部14として機能する。
【0091】
プロセッサ101は、例えば、CPU(Central Processing Unit)、GPU(Graphics Processing Unit)、DSP(Digital Signal Processor)等によって構成可能である。ただし、プロセッサ101は、メモリ102に記憶されたプログラムを読み込んで実行する演算装置であればよく、これらに限られない。
【0092】
メモリ102には、コンピュータ装置100を3次元モデル生成装置10として動作させるためのプログラム、及び、各種データが格納される。メモリ102は、例えば、主記憶装置、補助記憶装置、または、これらの任意の組み合わせ等により構成可能である。主記憶装置としては、DRAM(Dynamic Random Access Memory)等の揮発性メモリが挙げられるが、これに限られない。また、補助記憶装置としては、HDD(hard disk drive)やSSD(solid state drive)等の不揮発性メモリが挙げられるが、これらに限られない。
【0093】
なお、コンピュータ装置100を3次元モデル生成装置10として動作させるためのプログラムは、必ずしもコンピュータ装置100内部のメモリ102に記憶されていなくてもよい。コンピュータ装置100を3次元モデル生成装置10として動作させるためのプログラムは、例えば、外部記録媒体に記録されてもよい。外部記録媒体の具体例としては、テープ、ディスク、カード、半導体メモリ、プログラマブル論理回路などが挙げられるが、これらに限られない。この場合、外部記録媒体に記録されたプログラムは、プロセッサ101によって読み込まれて実行される。また、本発明は、外部記録媒体に記録されたプログラム、または、当該外部記録媒体としても実現され得る。また、コンピュータ装置100を3次元モデル生成装置10として動作させるためのプログラムは、通信ネットワークを介してコンピュータ装置100に供給されてもよい。この場合、通信ネットワークは、プログラムを伝送可能なネットワークであればよく、特に限定されない。また、本発明は、上記プログラムが電子的な伝送によって具現化された、搬送波に埋め込まれたデータ信号の形態でも実現され得る。
【0094】
入出力インタフェース103には、図15に示したように、入力装置20及び表示装置30が接続される。入力装置20及び表示装置30は、上述したように、コンピュータ装置100に内蔵されていてもよく、単一の装置(例えば、タッチパネル)として実現されていてもよい。
【0095】
入力装置20の具体例としては、キーボード、マウス、タッチパッドといった装置が挙げられる。本実施形態においては、例えば、第1の関節軟骨を表す領域を抽出するためのパラメータを表す情報、合成3次元モデルの加工を指示する情報等が、入力装置20を用いて入力される。ただし、入力装置20は、コンピュータ装置100に情報を入力する装置であれば、上述した具体例に限られない。
【0096】
表示装置30の具体例としては、液晶ディスプレイ、プラズマディスプレイ、有機ELディスプレイ、ブラウン管等といった装置が挙げられる。例えば、生成された合成3次元モデル、視点を変更された合成3次元モデル、加工された合成3次元モデルが、画像として表示装置30に表示される。また、表示装置30は、音声を出力する装置(スピーカ)や、画像を印刷する装置(プリンタ)等であってもよい。ただし、表示装置30は、上述した具体例に限られない。
【0097】
通信インタフェース104には、図15に示すように、例えば、CT画像データセット及びMRI画像データセットを含む画像サーバとの通信に利用される。通信インタフェース104は、例えば、無線LAN(Local Area Network)インタフェース、有線LANインタフェース、インターネットインタフェース、モバイルデータ通信インタフェース、又は、これら通信インタフェースの任意の組み合わせであってもよい。
【0098】
また、上述のハードウェア要素を含むコンピュータ装置100の態様は、デスクトップ型、ノート型、タブレット型などのパーソナルコンピュータであってもよいし、汎用計算機であってもよいし、携帯型情報端末であってもよいが、これらに限られない。また、コンピュータ装置100は、他の機器に組み込まれた組み込みシステムとして実現されていてもよい。
【0099】
なお、本実施形態における3次元モデル生成装置10の各機能ブロックは、メモリ102に記憶されたプログラムをプロセッサ101が実行することにより実現されることに限らず、その一部または全部が、専用のハードウェア要素(例えば、電子回路)により実現されていてもよい。
【0100】
また、本実施形態における3次元モデル生成装置10は、通信インタフェース104を介して第1の装置及び第2の装置からアクセス可能なサーバとして実現されてもよい。この場合、3次元モデル生成装置10は、通信インタフェース104を介して第1の装置から、CT画像データセット及びMRI画像データセットを取得する。また、3次元モデル生成装置10は、合成3次元モデルを表す第3の画像データセットを、第2の装置に対して出力する。
【0101】
また、第1の装置及び第2の装置の各々の具体例としては、例えば、ネットワーク接続されたコンピュータ装置が挙げられる。本実施形態において、第1の装置及び第2の装置は、互いに異なる装置であってもよいし、同じ装置であってもよい。換言すれば、3次元モデル生成装置10は、第1の装置から取得したCT画像データセット及びMRI画像データセットに基づき作成した第3の画像データセットを、第1の装置とは異なる第2の装置に対して出力してもよいし、第2の装置として機能する第1の装置に対して出力してもよい。
【0102】
また、3次元モデル生成装置10は、CT画像データセット及びMRI画像データセットのうち少なくとも何れか一方を第1の装置から取得するように構成されていればよく、CT画像データセット及びMRI画像データセットの両方を第1の装置から取得するように構成されていることが好ましい。
【0103】
〔まとめ〕
本発明の一態様に係る3次元モデル生成方法S1は、その一部の表面上に第1の関節軟骨n1が形成された第1の骨(上腕骨b1)と、その一部の表面上に第2の関節軟骨n2が形成された第2の骨(橈骨b2)とを含む関節(実施形態においては肘)の3次元形状を表す3次元モデルをコンピュータが生成する3次元モデル生成方法である。3次元モデル生成方法S1は、前記関節における複数の断面画像の各々をそれぞれが表す複数の第1の画像データ(CT画像)により構成された第1の画像データセット(CT画像データセット)であって、少なくとも第1の骨(上腕骨b1)が映されている第1の画像データセット(CT画像データセット)に基づいて、第1の骨(上腕骨b1)の3次元形状を表す第1の3次元モデル(CT3次元モデル)を生成する第1工程(工程S101)と、前記関節における複数の断面画像の各々をそれぞれが表す複数の第2の画像データ(MRI画像)により構成された第2の画像データセット(MRI画像データセット)であって、少なくとも第1の関節軟骨n1と第2の関節軟骨n2とが互いに離間して映されている第2の画像データセット(MRI画像データセット)に基づいて、第1の関節軟骨n1の3次元形状を表す第2の3次元モデル(MRI3次元モデル)を生成する第2工程(工程S102)と、第1の3次元モデル及び第2の3次元モデルに基づいて、第1の骨(上腕骨b1)の3次元形状及び第1の関節軟骨n1の3次元形状を組み合わせた第3の3次元モデル(合成3次元モデル)を生成する第3工程(工程S103)と、を含む。
【0104】
本発明の一態様に係る3次元モデル生成装置10は、その一部の表面上に第1の関節軟骨n1が形成された第1の骨(上腕骨b1)と、その一部の表面上に第2の関節軟骨n2が形成された第2の骨(橈骨b2)とを含む関節(実施形態においては肘)の3次元形状を表す3次元モデルを生成する3次元モデル生成装置である。3次元モデル生成装置10は、前記関節における複数の断面画像の各々をそれぞれが表す複数の第1の画像データ(CT画像)により構成された第1の画像データセット(CT画像データセット)であって、少なくとも第1の骨(上腕骨b1)が映されている第1の画像データセット(CT画像データセット)に基づいて、第1の骨(上腕骨b1)の3次元形状を表す第1の3次元モデル(CT3次元モデル)を生成するする第1生成部11と、前記関節における複数の断面画像の各々をそれぞれが表す複数の第2の画像データ(MRI画像)により構成された第2の画像データセット(MRI画像データセット)であって、少なくとも第1の関節軟骨n1と第2の関節軟骨n2とが互いに離間して映されている第2の画像データセット(MRI画像データセット)に基づいて、第1の関節軟骨n1の3次元形状を表す第2の3次元モデル(MRI3次元モデル)を生成する第2生成部12と、第1の3次元モデル(CT3次元モデル)及び第2の3次元モデル(MRI3次元モデル)に基づいて、第1の骨(上腕骨b1)の3次元形状及び第1の関節軟骨n1の3次元形状を組み合わせた第3の3次元モデル(合成3次元モデル)を生成する第3生成部13と、を備えている。
【0105】
本発明の一態様に係る3次元モデルプログラムは、3次元モデル生成装置10としてコンピュータを機能させるための3次元モデル生成プログラムであって、第1生成部11、第2生成部12及び第3生成部13としてコンピュータを機能させる。
【0106】
これらの構成によれば、第2の画像データセット(MRI画像データセット)から、第1の関節軟骨n1を表す領域と、第2の関節軟骨n2を表す領域との境界を精度よく検出することができる。これにより、これらの構成は、第2の画像データセット(MRI画像データセット)から、第1の関節軟骨n1を表す領域を精度よく抽出してその3次元形状を再現することができる。その結果、これらの構成は、第2の画像データセット(MRI画像データセット)から再現した第1の関節軟骨n1の3次元モデル(MRI3次元モデル)と、第1の画像データセット(CT画像データセット)から再現した第1の骨(上腕骨b1)の3次元モデル(CT3次元モデル)とを組み合わせることによって、関節を構成する第1の骨(上腕骨b1)及び第1の関節軟骨n1の3次元モデル(合成3次元モデル)を、従来よりも精度よく再現することができる。また、これらの構成における3次元形状の再現は、第1の画像データセット(CT画像データセット)及び第2の画像データセット(MRI画像データセット)を入力としてコンピュータによって実行されるため、身体に侵襲を加える必要はない。
【0107】
本発明の一態様に係る3次元モデル生成方法S1において、第2の画像データセット(MRI画像データセット)は、第1の関節軟骨n1及び第2の関節軟骨n2が離間する方向に第1の骨(上腕骨b1)及び第2の骨(橈骨b2)の各々を牽引した状態の関節を、核磁気共鳴映像法を用いて撮影することによって得られたものである、ことが好ましい。
【0108】
上記の構成によれば、第1の関節軟骨n1と第2の関節軟骨n2とがより確実に離間して映されている第2の画像データセット(MRI画像データセット)を、取得することができる。
【0109】
本発明の一態様に係る3次元モデル生成方法S1において、第2工程(工程S102)は、複数の第2の画像データ(MRI画像)の各々のMRI値に基づいて、(1)第1の関節軟骨n1を表す領域を抽出し、第1の関節軟骨n1を表す領域に基づいて、第2の3次元モデル(MRI3次元モデル)を生成する、ことが好ましい。
【0110】
上記の構成によれば、第1の関節軟骨n1を表す領域をより精度よく抽出できる。
【0111】
本発明の一態様に係る3次元モデル生成方法S1において、第1の画像データセット(CT画像データセット)は、関節を、コンピュータ断層撮影法を用いて撮影することによって得られたものである、ことが好ましい。
【0112】
上記の構成によれば、第1の画像データセット(CT画像データセット)には、第1の骨(上腕骨b1)が明瞭に映されていることが期待できる。その結果、第1の画像データセット(CT画像データセット)に基づく第1の骨の3次元モデル(CT3次元モデル)の再現性能が良好となる。
【0113】
本発明の一態様に係る3次元モデル生成方法S1において、第2の画像データセット(MRI画像データセット)には、第1の関節軟骨n1とともに第1の骨(上腕骨b1)が映されており、第2の画像データセット(MRI画像データセット)に基づいて第1の骨(上腕骨b1)の3次元形状を表す第4の3次元モデル(上腕骨b1のMRI3次元モデル)を生成する第4工程(工程S302)をさらに含む。第3工程(工程S103)は、第1の3次元モデル(CT3次元モデル)が表す3次元形状と第4の3次元モデル(上腕骨b1のMRI3次元モデル)が表す3次元形状とを照合し、第1の3次元モデル(CT3次元モデル)に含まれる第1の骨(上腕骨b1)を表す領域と、第4の3次元モデル(上腕骨b1のMRI3次元モデル)に含まれる第1の骨(上腕骨b1)を表す領域とを重ねることにより、第3の3次元モデル(合成3次元モデル)を生成する、ことが好ましい。
【0114】
上記の構成において、第2の3次元モデル(MRI3次元モデル)と、第4の3次元モデル(上腕骨b1のMRI3次元モデル)とは、同一の第2の画像データセット(MRI画像データセット)に基づいて生成されている。このため、第1の3次元モデル(CT3次元モデル)及び第4の3次元モデル(上腕骨b1のMRI3次元モデル)間の位置関係は、第1の3次元モデル(CT3次元モデル)及び第2の3次元モデル(MRI3次元モデル)間の位置関係に適用可能である。したがって、本構成は、第1の3次元モデル(CT3次元モデル)及び第2の3次元モデル(MRI3次元モデル)を、より正確な位置関係で組み合わせることができる。
【0115】
本発明の一態様に係る3次元モデル生成方法S1において、第3の3次元モデル(合成3次元モデル)が表す3次元形状を、視点を変更可能に表示装置に表示する第5工程(工程S104)をさらに含む、ことが好ましい。
【0116】
上記の構成によれば、第1の関節軟骨n1及び第1の骨(上腕骨b1)について、術中に確認できる視点からの情報だけでなく、術中にも確認できない視点からの情報を評価者に提供することができる。
【0117】
本発明の一態様に係る3次元モデル生成方法S1において、第5工程(工程S104)において表示装置に表示された第3の3次元モデル(合成3次元モデル)が表す3次元形状に対して、ユーザの入力操作に基づく加工を行う第6工程(工程S104)をさらに含む、ことが好ましい。
【0118】
上記の構成によれば、手術シミュレーションとしての機能を評価者に提供することができる。
【0119】
本発明の一態様に係る3次元モデル生成装置10は、ネットワークを介して第1の装置及び第2の装置と接続される通信インタフェース104をさらに備え、第1の画像データセット(CT画像データセット)及び第2の画像データセット(MRI画像データセット)のうち少なくとも何れか一方を、通信インタフェース104を介して第1の装置から取得し、第3の3次元モデル(合成3次元モデル)を表す第3の画像データセットを、通信インタフェース104を介して第2の装置に対して出力する、ことが好ましい。
【0120】
上記の構成によれば、ネットワークを介して接続される外部の装置に対して、第1の関節軟骨n1及び第1の骨(上腕骨b1)を表す第3の3次元モデル(合成3次元モデル)を生成するサービスを提供することができる。
【0121】
〔付記事項〕
本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。さらに、各実施形態にそれぞれ開示された技術的手段を組み合わせることにより、新しい技術的特徴を形成することができる。
【符号の説明】
【0122】
10 3次元モデル生成装置
11 第1生成部
12 第2生成部
13 第3生成部
14 表示加工部
20 入力装置
30 表示装置
100 コンピュータ装置
101 プロセッサ
102 メモリ
103 入出力インタフェース
104 通信インタフェース
900 MRI装置
900 装置
901 撮像部
902 載置台
903 牽引機構
910、920 MRI画像
h 被検体
b1 上腕骨
b2 橈骨
n1、n2 関節軟骨
a1、a3、a4 隙間領域
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13
図14
図15
図16
図17