(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-07-21
(45)【発行日】2023-07-31
(54)【発明の名称】医用画像処理装置および医用画像処理方法
(51)【国際特許分類】
A61B 6/03 20060101AFI20230724BHJP
A61B 5/055 20060101ALI20230724BHJP
A61B 6/00 20060101ALI20230724BHJP
G06T 1/00 20060101ALI20230724BHJP
【FI】
A61B6/03 360G
A61B6/03 360D
A61B5/055 380
A61B6/00 350D
G06T1/00 290B
(21)【出願番号】P 2019081124
(22)【出願日】2019-04-22
【審査請求日】2022-02-25
(32)【優先日】2018-06-21
(33)【優先権主張国・地域又は機関】US
(73)【特許権者】
【識別番号】594164542
【氏名又は名称】キヤノンメディカルシステムズ株式会社
(74)【代理人】
【識別番号】110003708
【氏名又は名称】弁理士法人鈴榮特許綜合事務所
(72)【発明者】
【氏名】ブライアン モー
(72)【発明者】
【氏名】サド マスード
【審査官】蔵田 真彦
(56)【参考文献】
【文献】特開2016-101225(JP,A)
【文献】特開2015-109962(JP,A)
【文献】特開2008-43759(JP,A)
【文献】特開2017-086159(JP,A)
【文献】特表2011-506040(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
A61B 5/055、6/00-6/14
G06T 1/00-19/20
(57)【特許請求の範囲】
【請求項1】
第1の身体部分と
、前記第1の身体部分の近辺にある第2の身体部分とを表す3次元医用撮像データセットを取得する取得部と、
前記3次元医用撮像データセットのそれぞれにおける前記第1の身体部分と前記第2の身体部分との個別の位置に基づいて、前記第1の身体部分と前記第2の身体部分とを示す投影面またはレンダリング面である観察面を決定する決定部と
、
を具備し、
前記決定部は、前記第1の身体部分
の第1関節表面と
、前記第2の身体部分
の第2関節表面との
うち少なくとも一つの関節表面
について、前記少なくとも一つの関節表面
における複数の座標点のうち、前記観察面と交わる座標点の合計数が最大となる
ように、前記観察面
を決定す
る、
医用画像処理装置。
【請求項2】
前記取得部は、多時相にわたり前記第1の身体部分と前記第2の身体部分とを表す一連の3次元医用撮像データセットを取得し、
前記一連の3次元医用撮像データセットは、前記第1の身体部分と前記第2の身体部分とが前記多時相にわたり相対的な動作を経ることを含む、
請求項1に記載の医用画像処理装置。
【請求項3】
前記第1の身体部分は、第1の骨を備え、
前記第2の身体部分は、前記第1の骨に連結する第2の骨を備え、
前記相対的な動作は、前記第1の骨と前記第2の骨との連結に関する動作を備える、
請求項2に記載の医用画像処理装置。
【請求項4】
前記一連の3次元医用撮像データセットは、前記第1の身体部分の表示位置
が前記多時相にわたる一連の3次元医用画像を通して固定
されるように、互いにアライメントされる、
請求項2に記載の医用画像処理装置。
【請求項5】
前記第1の身体部分の参照点を特定する特定部
、を更に具備し、
前記決定部は、前記参照点に基づいて、前記観察面を決定する、
請求項1に記載の医用画像処理装置。
【請求項6】
前記参照点は、前記第1の身体部分の重心である、
請求項5に記載の医用画像処理装置。
【請求項7】
前記少なくとも一つの関節表面を特定する特定部
、を更に具備
する、
請求項1に記載の医用画像処理装置。
【請求項8】
前記第1の身体部分は、第1の骨を備え、
前記第2の身体部分は、前記第1の骨に連結する第2の骨を備え、
前記少なくとも一つの関節表面は、前記第1の骨の関節表面と前記第2の骨の関節表面とを備え、
前記特定部は、前記第1の骨と前記第2の骨とを解剖学図譜
にレジストレーションすること、少なくとも一つの骨ランドマーク推定、学習済み分類法、回帰法、および画像解析の少なくとも一つを用いて、前記少なくとも一つの関節表面を特定する、
請求項7に記載の医用画像処理装置。
【請求項9】
前記少なくとも一つの関節表面と、前記第1の身体部分の参照点とを特定する特定部
、を更に具備し、
前記観察面は、前記参照点と交わる面を備え、且つ前記多時相にわたり前記少なくとも一つの関節表面のうちの少なくとも一部分を含む、
請求項2に記載の医用画像処理装置。
【請求項10】
前記一連の3次元医用撮像データセットは、前記
多時相にわたり相対的な動作を経
る複数の第2の身体部分を表し、
前記観察面は、前記複数の第2の身体部分のそれぞれに対応する複数の平面観察セクションを備える、
請求項2に記載の医用画像処理装置。
【請求項11】
前記複数の平面観察セクションは、それぞれ異なる方位を有し、
前記観察面を用いて、前記一連の3次元医用撮像データセットから少なくとも一つの画像をレンダリングするレンダリング部
、を更に具備し、
前記レンダリングされた少なくとも一つの画像は、異なって方位付けられた平面観察セクションを用いて取得された画像セクションを備える、
請求項10に記載の医用画像処理装置。
【請求項12】
前記少なくとも一つの関節表面と、前記第1の身体部分の参照点とを特定する特定部
、を更に具備し、
前記特定部は、前記複数の第2の身体部分のそれぞれと前記第1の身体部分との間の少なくとも一つの関節表面を備える複数の関節表面を特定し、
前記決定部は、前記
特定された参照点と、前記
特定された少なくとも一つの関節表面とに基づいて、前記平面観察セクションをそれぞれ決定する、
請求項10または請求項11に記載の医用画像処理装置。
【請求項13】
前記観察面は、連続的な方法で前記平面観察セクションのうちの少なくとも二つを繋ぐ湾曲した遷移セクションを更に備える、
請求項10から請求項12までのいずれか一項に記載の医用画像処理装置。
【請求項14】
前記観察面は、連続的な方法で前記平面観察セクションのうちの少なくとも二つを繋ぐ湾曲した遷移セクションを更に備え、
前記決定部は、前記少なくとも一つの画像における歪み量を制約するように、前記平面観察セクションおよび/または前記遷移セクションを決定する、
請求項11に記載の医用画像処理装置。
【請求項15】
前記観察面は、連続的な方法で前記平面観察セクションのうちの少なくとも二つを繋ぐ湾曲した遷移セクションを更に備え、
前記レンダリング部は、前記遷移セクションに対応する一部分をハイライト
する、
請求項11に記載の医用画像処理装置。
【請求項16】
前記レンダリング部は、前記平面観察セクション間の領域に対応する一部分をぼやかすおよび/または省略
する、
請求項11に記載の医用画像処理装置。
【請求項17】
前記取得部は、前記第1の身体部分の目印および/または前記第2の身体部分の目印を取得する、
請求項1から請求項16までのいずれか一項に記載の医用画像処理装置。
【請求項18】
前記決定部は、前記3次元医用撮像データセットのうちの少なくとも一つを解剖学図譜
にレジストレーションすること、前記3次元医用撮像データセットのうちの少なくとも一つについて少なくとも一つの骨ランドマーク推定、および学習済み分類法を前記3次元医用撮像データセットのうちの少なくとも一つ
に適用することの少なくとも一つを用いて、前記第1の身体部分の目印および/または前記第2の身体部分の目印を決定する、
請求項1から請求項17までのいずれか一項に記載の医用画像処理装置。
【請求項19】
第1の身体部分と
、前記第1の身体部分の近辺にある第2の身体部分とを表す3次元医用撮像データセットを取得することと、
前記3次元医用撮像データセットのそれぞれにおける前記第1の身体部分と前記第2の身体部分との個別の位置に基づいて、前記第1の身体部分と前記第2の身体部分とを示す投影面またはレンダリング面である観察面を決定することと
、
を具備し、
前記第1の身体部分
の第1関節表面と
、前記第2の身体部分
の第2関節表面との
うち少なくとも一つの関節表面
について、前記少なくとも一つの関節表面
における複数の座標点のうち、前記観察面と交わる座標点の合計数が最大となる
ように、前記観察面
を決定す
る、
医用画像処理方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明の実施形態は、医用画像処理装置および医用画像処理方法に関する。
【背景技術】
【0002】
関節が動いている間に、それを理解し且つ解析する臨床的な必要性がある。特定の整形外科に関する病変は、関節が動いている時にのみ明らかになることがある。
【0003】
例えば関節の動作を表す四次元(4D)医用撮像データを収集することが知られている。4D医用撮像データは、三つの空間次元に時間を加えたものを表す。4D収集は、三次元(3D)ビューの動画化されたシーケンスとして表示することができる。
【0004】
特定の4D整形外科に関するアプリケーションは、画像の完全なシリーズにわたり一箇所における、一つの骨または骨のセットを固定(ロック)するために進歩した特徴を提供する。一つの骨または骨のセットは、動画化されたシーケンスにわたり3Dビューにおける一定の位置、方位および/または投影を与えることができる。
【0005】
ある4Dアプリケーションにおいて、ボリュームのシリーズは、固定された骨のセット(例えば、一つまたは複数の関節の動き)を含む、複数の骨の動きを表す。ボリュームのシリーズのそれぞれは、動きを示す動画化された表示の個別のフレームを提供するよう、レンダリングすることができる。係る動画化された表示は、骨の固定されたセットが全てのフレームにわたり静止状態を保ち、一方でその他の骨は、骨の固定されたセットに相対して動く様に表される。
【0006】
一つ以上の骨が静止状態に保たれる様な動画化された表示をレンダリングすることにより、各画像がその元々の位置でレンダリングされた場合には利用することが出来なかった骨の相対的な位置についての付加的な情報を、臨床医は取得することができる。また一つ以上の骨を静止状態に保つことにより、それらの骨と更なる骨または複数の骨との間の相対的な動作を見ることがより簡単になる場合がある。そのおかげで、動作を伴うどんな問題に対しても見識を与えることが出来、且つ周辺の骨や靭帯についての力学を説明する際に役立つ場合もある。
【0007】
動作が、一つ以上の固定された骨に相対して発生する画像の表現は、骨固定(bone locking)と一般的に呼ぶことができる。一箇所における骨固定は、骨据え付け(fixing the bones)とも呼ばれる。
【0008】
ユーザは、例えばマルチプラナー再構成(Multi-planar reconstruction:MPR)ビューおよび斜面ビューなど、標準的なビューを使用する一連のボリューム(4D骨固定された蓄積と呼ぶことができる)を通して、ナビゲートすることができる。
【0009】
筋骨格系の最も入り込んだ関節のうちの一つが、手首である。手首は、八つの小さな骨(手根骨)と複雑な内的および外的の靭帯系とを備える。
図1は、橈骨12および尺骨14(前腕の骨)の一部と一緒に、10Aから10Hまでの係る八つの小さな手根骨を示す。
図1は、中手骨16の部分も示す。手首の複雑性が原因で、手首の骨または靭帯の怪我が、手首の動作に不可逆的な破壊を潜在的に生じさせ、そして進行性骨関節炎を引き起こす場合がある。
【0010】
各画像が異なる位置で手首が撮られている、一連の手首の画像を撮ることにより、手首の動きを研究することが知られている。例えば、手を振る様な動きなど(当該動作は、橈尺屈(radial-ulnar deviation)と呼ばれてもよい)、手が手の面において左右に動かすようにして、手首を動かすことができる。手首のこの動きは、例えば手術のために動きにおける変化を決定するため、治療前後での動きの比較を提供するために研究することができる。
【0011】
全ての骨および関節が動いているなど、手首の一連の画像が骨固定無しでレンダリングされた場合に、ユーザにとって画像を解釈することが難しい場合がある。例えば、ユーザにとって、骨のペアの相対的な動きを評価することは、それらの骨の両方が動いていると難しいことがある。
【0012】
骨固定の使用により、ユーザが関節の動作をより良く解釈することができる。例えば、骨のペアの相対的な動きは、係る骨のうちの一方がロックされ、且つ他方の骨の動きがロックされた骨に相対して表示されると、解釈が簡単になる場合がある。
【0013】
関節の画像を観察する際に、ユーザはどのビューを使用するかを選択することができる。例えば、ユーザはマルチプラナー再構成を実行する面を選択することができる。ユーザは、関節の最良なビューを取得するために、面を手動で変更することもできる。例えば、ユーザが関節における骨の間の間隙を見たいと思った場合には、係る骨の間の間隙を最も良く示す面を選ぶよう試みることができる。
【0014】
状況次第で、ユーザにとって多重の関節を観察するための良い面を見つけ出すために、4D骨固定された蓄積を通して手動でナビゲートするのが難しいことがある。例えば、シリーズのうちの一フレームを観察するための最良な面は、係るシリーズのうちの別のフレームを観察するための最良な面と同じとは限らない場合がある。従って、シリーズにおいてフレームの全てに対して、容認可能な結果を生み出すような面を見つけ出すことが難しい場合がある。
【0015】
良い面を見つけ出すために4D骨固定された蓄積を通して手動でナビゲートすることは、時間を要する場合があるし、また動作の範囲があまり面的でない4D収集にとって殊の外困難な場合もある。指または手首を曲げることが、面的でない動きの例とすることがある。
【先行技術文献】
【特許文献】
【0016】
【発明の概要】
【発明が解決しようとする課題】
【0017】
本発明が解決しようとする課題は、ボリュームデータにおける観察面を容易に決定することである。
【課題を解決するための手段】
【0018】
実施形態に係る医用画像処理装置は、取得部と、決定部とを備える。取得部は、第1の身体部分と第1の身体部分の近辺にある第2の身体部分とを表す医用撮像データセットを取得する。決定部は、医用撮像データセットのそれぞれにおける第1の身体部分と第2の身体部分との個別に位置に基づいて、第1の身体部分と第2の身体部分とを示す観察面を決定する。
【図面の簡単な説明】
【0019】
【
図2】
図2は、実施形態に係る装置の概略図である。
【
図3】
図3は、実施形態に従って実行される処理の概略を示すフローチャートである。
【
図4a】
図4aは、関節面を示す骨の概略図である。
【
図4b】
図4bは、関節面を示す骨の概略図である。
【
図6a】
図6aは、プラナー再フォーマット観察面の概略図である。
【
図6b】
図6bは、ユーザに表示される様な、プラナー再フォーマットビューの概略図である。
【
図7a】
図7aは、湾曲し且つ区分的なプラナー再フォーマット観察面の概略図である。
【
図7b】
図7bは、ユーザに表示される様な、湾曲し且つ区分的なプラナー再フォーマットビューの概略図である。
【発明を実施するための形態】
【0020】
以下、図面を参照しながら、医用画像処理装置の実施形態について詳細に説明する。
【0021】
実施形態に係る医用撮像データ処理装置20(医用画像処理装置)は、
図2に概略的に描かれている。医用撮像データ処理装置20は、今回の場合にはパーソナルコンピュータ(PC)またはワークステーションである計算装置22を備える。係る計算装置22は、CTスキャナ24、一つまたは複数の表示スクリーン26、そしてコンピュータキーボード、マウス、またはトラックボールなどの入力デバイス28或いは複数のデバイスに接続されている。
【0022】
CTスキャナ24は、患者の領域のボリューメトリック医用撮像データ(医用撮像データセット)を取得するよう構成されている任意のスキャナとすることができる。本実施形態において、患者の領域は手首である。ボリューメトリック撮像データは、手首が動いている一方で、それぞれが異なる時相で手首のスキャンに対応する多重医用撮像データセットを備える。従って、各ボリューメトリック撮像データセットは、異なる位置での手首を表す。
【0023】
その他の実施形態において、患者の領域は、任意の適当な領域、例えば手首、足首、膝、肘或いは首などの任意の関節とすることができる。本記述において、時々手首を一つの関節として言及することがあり、また係る手首は、各関節が相互作用し合う少なくとも二つの骨を備える、多重の個々の関節の組み合わせと考えることもある。
【0024】
代わりの実施形態において、CTスキャナ24は、例えばMRI(magnetic resonance imaging:磁気共鳴イメージング)スキャナ、超音波スキャナ、コーンビームCTスキャナや、回転X線を実行することが可能なC-アームX線スキャナ、または四次元(four-dimensional:4D)医用撮像データを取得する能力がある任意のその他のスキャナによってスキャナで置き換える、または補うことができる。
【0025】
本実施形態において、CTスキャナ24によって取得されるボリューメトリック画像データセットは、メモリ30に格納され、その後、計算装置22に提供される。代わりの実施形態において、画像データセットは、医用画像保管通信システム(Picture Archiving and Communication System:PACS)の一部を形成することができる遠隔データストア(図示せず)から供給される。係るメモリ30または遠隔データストアは、メモリ格納の任意の適切な形式を備えることができる。
【0026】
計算装置22は、画像データセットを自動的にまたは半自動的に処理するための処理リソースを提供し、且つ中央処理ユニット(CPU)32を備える。
【0027】
計算装置22は、ボリューメトリック撮像データおよびユーザ入力を受け取る用の入力回路34と、関節表面抽出および骨固定用の前処理回路36と、少なくとも一つの観察面を備える観察表面を決定する用の観察回路38と、レンダリング回路40と、を含む。
【0028】
本実施形態において、様々な回路は、実施形態の方法を実行することが可能なコンピュータ読み取り可能命令を有するコンピュータプログラムの方法で、計算装置のCPUおよび/またはGPUにおいてそれぞれ実行される。しかし、その他の実施形態において、各回路は、ソフトウェア、ハードウェア、またはそれらの任意の適切な組み合わせで実行することができる。幾つかの実施形態において、様々な回路は一つまたは、複数のASIC(application specific integrated circuits:特定用途向け集積回路)またはFPGA(field programmable gate arrays:フィールドプログラマブルゲートアレイ)として実施することができる。
【0029】
計算装置22は、ハードドライブと、RAM、ROM、データバス、様々なデバイスドライバを含むオペレーティングシステム、そしてグラフィックスカードなどを含むハードウェアデバイスなど、その他のPCの構成要素と、も含む。この様な構成要素は、図を見やすくする為、
図2には示されていない。
【0030】
図2のシステムは、
図3を参考して下記に述べられる実施形態の方法を実行するよう構成されている。
【0031】
図3は、二つの実施形態の方法の概要を描くフローチャートである。第1の実施形態において、単一の観察面を備える観察表面は、多時相に対応する医用撮像データセットを備える4D骨固定された蓄積に対して決定される。第2の実施形態において、区分的な面セクションを備える観察表面は、4D骨固定された蓄積に対して決定される。各実施形態において、画像は、4D骨固定された蓄積において表された連結の所望のビューを取得するために、決定された観察表面を使用してレンダリングされる。
【0032】
単一の観察面から成る観察表面が決定される、第1の実施形態について検討する。
【0033】
図3のステージ50で、入力回路34は、それぞれが4Dシーケンスの個別のフレームに対応する、一連のボリューメトリック医用撮像データセットを受け取る。本実施形態において、一連のボリューメトリック撮像データセットは、患者の手首の橈骨-尺骨動作のCTスキャンから取得される。この「一連の」とは、「時系列」として言及することもできる。ボリューメトリック撮像データセットは、手首の動作の間に「異なる時系列」と呼ばれる異なる時間で撮られたスキャンを表す。ボリュームデータセットのそれぞれは、手首の特定の位置を表す。手首の位置は、橈側-尺側の意味で手首の動作のあらゆる範囲をカバーする。
【0034】
その他の実施形態において、4Dシーケンスは、任意の適切なモダリティを使用して取得することができる。係る4Dシーケンスは、例えば任意の適切な連結または複数の連結の任意の適切な動きなど、相対的な動作における任意の身体部分を表すことができる。
【0035】
図3のステージ52で、入力回路34は、ロックされる予定の骨の目印をユーザから受け取る。係る目印は、B
lockと示される。ロックされる予定の骨は、「第1の骨」または「ユーザ選択の骨」とも呼ぶことができる。その他の実施形態において、ユーザは、ロックされる予定の多重の骨の目印を提供することができる。幾つかの実施形態において、多重の骨または連結は、互いに関してロックすることができる。
【0036】
ユーザは、任意の適切な方法を使用してロックされる予定の骨を示すこともできる。例えば、4Dシーケンスのフレームからレンダリングされた画像は、ユーザに表示することが出来、また係るユーザは、表示された画像における骨をクリックすることにより、またはそうでなければハイライトすることにより、ロックされる予定の骨を選択することもできる。代わりに、ユーザは、骨の名前を提供することもできる。
【0037】
その他の実施形態において、ロックされる予定の骨は、
図3の処理を開始する前に、特定することができる。例えば、入力回路34は、所定の連結(例えば、手首)における骨のうちのどれがロックされる予定であるかの詳細を備える命令を格納することもある。骨またはロックされる予定の骨は、未決定のプロトコルまたは臨床ワークフローの一部として、指定することができる。
【0038】
幾つかの実施形態において、前処理回路36は、ロックされる予定の骨Blockの目印を取得するために、ボリューメトリックデータセットのうちの少なくとも一つを処理する。例えば、前処理回路36は、ロックされる予定の骨の名前を知っていることがある(例えば、ユーザからまたは格納されたデータから)。前処理回路36は、任意の適切な方法により、ボリューメトリック撮像データセットにおいてロックされる予定の骨の目印を取得することができる。係る適切な方法とは、少なくとも一つのボリューメトリックデータセットを解剖学図譜(アトラス)へとレジストレーションすること;少なくとも一つの骨ランドマークを推定すること、または学習済分類法である。
【0039】
本実施形態において、入力回路34は、ロックされた骨の近辺にある関心の一つまたは複数の近傍する骨の目印を、ユーザからも受け取る。係る関心の近傍する骨または複数の骨は、[B1...BN]によって記すことができるし、または「第2の骨」と呼ぶことができる。例えば、ユーザは、連結(ロックされる予定の骨以外)のその他の骨を、関心の近傍する骨であるとして選択することがある。幾つかの実施形態において、係るユーザは、連結の部分ではない骨を選ぶ場合もある。また更なる実施形態において、係るユーザは、ロックされた骨(またはその他のロックされた身体部分)との相対的な動作における任意の身体部分を選択する場合もある。
【0040】
幾つかの実施形態において、ボリューメトリック撮像データセットは、多重の連結を表すことがある。係るユーザは、ロックされる予定の骨を備える連結から、異なる連結の部分である骨を選択することがある。
【0041】
ユーザは、任意の適切な方法を使用して関心の近傍する骨または複数の骨を選択することができる。その他の実施形態において、関心の近傍する骨または複数の骨は、
図3の処理を開始する前に、特定することができる。更なる実施形態において、前処理回路36は、関心の近傍する骨または複数の骨の目印を取得するために、例えばロックされる予定の骨の目印について上記に記載された方法のうちの任意のものを使用して、ボリューメトリックデータセットのうちの少なくとも一つを処理することがある。
【0042】
ステージ52の完了で、入力回路34は、ロックされる予定の骨Blockの目印および関心の近傍する骨[B1...BN]を、前処理回路36へと渡す。係るロックされた骨Blockおよび関心の近傍する骨[B1...BN]は、レンダリングされた画像において表示用にユーザによって選択された骨であるので、共に「表示ターゲット」と呼ぶことができる。
【0043】
前処理回路36は、関節表面抽出サブステージ56および骨固定処理サブステージ58を備える前処理ステージ54を実行する。
【0044】
関節表面抽出サブステージ56は、前計算された骨関節表面マップを使用して、Blockと[B1...BN]とに対する骨関節表面の抽出を備える。本実施形態において、関心の連結は手首であるから、前処理回路36は、手首に特有である前計算された骨関節表面マップを使用する。
【0045】
その他の実施形態において、骨関節表面を取得するために任意の適切な方法を使用することができる。例えば、骨関節表面は、骨ランドマーク推定法を使用して決定することができる。また学習済分類アルゴリズムおよび/または回帰アルゴリズムを使用して決定することもできる。更に骨関節表面は、収集されたデータから直接的に画像解析技法を使用して導出することができる。
【0046】
幾つかの実施形態において、骨関節表面は、骨セグメンテーションを使用して決定される。幾つかの実施形態において、骨セグメンテーションは、表面を決定するためのモルフォロジーと、関節表面を特定するための表面距離との組み合わせで使用される。距離は、発見的問題解決として使用することができる。骨セグメンテーションの任意の適切な方法を使用することができる。
【0047】
関節表面とは、骨が別の骨との相互作用を形成する骨表面領域である。例えば、連結において相互作用する別の骨と向かい合う骨の表面の一部は、関節表面であると考えることができる。所定の骨は、その他の骨とどの位多くの相互作用するかに依存して、一つまたは複数の関節表面を有することができる。関節表面を有する骨の例は、
図4aおよび4bにおいて示されており、右の踵骨(かかと骨)の関節表面(領域70)を示す概略的な図示である。
図4aは右踵骨の上面を示す。
図4bは、右踵骨の内側面を示す。
【0048】
関節表面マップは、関心の生体構造の骨(本実施形態では、手首)における各位置に対する、個別のラベルを格納する。関心の生体構造の骨における各位置は、「関節表面」または「関節的でない表面」としてラベル付けされる。関節表面マップは、骨の表面のどの位置が連結(例えば、その他の骨と相互作用する位置)に含まれ、またどれが含まれないかに関するデータを提供することができる。
【0049】
幾つかの実施形態において、関節表面マップは、例えば橈骨-尺骨屈曲または回内-回外など、動作の特定のタイプに特化している。関節表面マップにおいて特定された関節表面は、動作の選択されたタイプに含まれる関節表面のみを含むことができる。
【0050】
図5は、関節表面マップの概略図である。領域70は、関節表面である。
図5の方位から見ることは難しい場合があるものの、関節表面が相互作用している骨の間で発生している状態で、関節表面は向かう合うペアで配置されている。相互作用し合う骨の各ペアに対して、骨のペアの第1の骨は、第1の関節表面を有し、骨のペアの第2の骨は、係る第1の関節表面と向かい合う第2の関節表面を有する。
【0051】
骨の相互作用は、連結の動作を評価する臨床医にとって関心の対象となる場合がある。骨の間の間隙(例えば、相互作用し合う連結の骨の間)も、臨床医にとって関心の対象となる場合がある。
【0052】
前処理回路36は、ボリューメトリック撮像データセットのうちの選択した一つを、関節表面マップへとレジストレーションする。本実施形態において、前処理回路36は、「中立相(neutral phase)」と呼ばれる位置に近いボリューメトリック撮像データセットのうちの一つをレジストレーションする。係る動作の中立相において、手首の位置は、関節表面マップにおいて表された標準的な解剖学的位置に最も近い場合がある。その他の実施形態において、ボリューメトリック撮像データセットのうちの任意のものまたは全てのものは、関節表面マップでレジストレーションすることができる。
【0053】
前処理回路36は、レジストレーションに基づいて、ボリューメトリック撮像データセットにおける骨の関節表面をラベル付けるために、関節表面マップのラベルを使用する。
【0054】
本実施形態において、各関節表面は、一つのボクセルの幅を有すると考えられる。前処理回路36は、関節表面の位置を最も近く描写するボクセル(浮動点表面と考えることができる)をラベル付けすることにより、関節表面上の各位置をラベル付ける。
【0055】
本実施形態において、ボリューメトリック撮像データセットおよび関節表面マップのレジストレーションは、本実施形態にその番号を参照することにより本願に含まれるものとする、米国特許出願番号14/569,890において説明された様な方法を使用して実行される。その他の実施形態において、例えば任意の適切な非剛体レジストレーションなど、任意の適切なレジストレーション法を使用することができる。
【0056】
サブステージ56の出力は、連結における骨の相対的な関節表面がラベル付けられた、選択されたボリューメトリック撮像データセットのバージョンである。
【0057】
本実施形態において、関節表面マップは、位置を関節表面または関節的でない表面として、ラベル付ける。その他の実施形態において、関節表面マップは、異なる関節表面に対して異なるラベルを使用することができる。例えば、異なるラベルは、異なる骨の関節表面に対して使用することができる。幾つかの実施形態において、異なるラベルは、同じ骨の異なる関節表面に対して、使用することもある。
【0058】
ステージ58で、前処理回路36は、骨固定処理を実行する。前処理回路36は、ボリューメトリック撮像データセットのうちの選択された一つにおける、ロックされた骨Blockの重心を推定する。係る重心は、ロックされた骨Blockに対する参照点として使用される。ロックされた骨Blockの重心を推定するために、任意の適切な方法を使用することができる。その他の実施形態において、ロックされた骨における任意の参照点または領域を特定することができる。その様な実施形態において、特定された参照点が重心ではない場合もある。
【0059】
前処理回路36は、ボリューメトリック撮像データセットのうちのその他の一つを、選択されたボリューメトリック撮像データセットにレジストレーションする。係るレジストレーションは、ロックされた骨の位置がフレームのそれぞれにおいて静的なままとなるように実行される。例えば任意の適切な剛体レジストレーションなど、任意の適切なレジストレーション法を使用することができる。本実施形態において、係るレジストレーションは、米国特許出願番号14/569,890において説明された通りである。前処理回路36は、関節表面ラベルを、選択されたボリューメトリック撮像データセットとその他のボリューメトリック撮像データセットとの間のレジストレーションに基づいた、ボリューメトリック撮像データセットのそれぞれへと広める/伝播する。
【0060】
更なる実施形態において、ボリューメトリック撮像データセットのうちの一つのそれぞれは、個別に関節表面マップとレジストレーションすることができる。各ボリューメトリック撮像データセットにおける関節表面のラベル付けは、ボリューメトリック撮像データセットを関節表面マップへのレジストレーションに基づく場合がある。骨固定処理は、関節表面ラベルの伝播/拡がり(propagation)から別々に実行することができる。
【0061】
サブステージ58の出力(そしてステージ54の出力)は、ロックされた骨Blockの位置が静的であるボリューメトリック撮像データセットのレジストレーションされたセットである。関心の関節表面は、ボリューメトリック撮像データセットのそれぞれにおいて特定される。
【0062】
図3の処理は、「プラナー再フォーマット推定ステージ」と呼ぶことができるステージ60へと進む。ステージ60は、サブステージ62およびサブステージ64として示される、二つの代替的なバージョンを備える。サブステージ62が本実施形態で使用される。サブステージ64は、後の方の実施形態に関連して説明される。
【0063】
サブステージ62で、観察回路38は、「観察面」、「ビュー面」、「線形ビュー面」、または「線形観察面」と呼ばれる、単一の面的な表面の自動決定を備える。観察面は、平らな2D表面である。本実施形態において、観察面は、ボリューメトリック撮像データセットによって表されたボリュームの全体の至る所に拡がる)。その他の実施形態において、観察面は、関心の領域、例えば関心の連結などに限ることができる。幾つかの実施形態において、観察面の拡がりは、ロックされた骨Blockおよび近傍する骨[B1...BN]の位置および拡がりによって制約を受ける。
【0064】
本実施形態において、観察面は、ロックされた骨Blockの重心を含むようにして、制約を受ける。観察面は、ロックされた骨Blockの重心と交差するよう、制約を受ける。その他の実施形態において、観察面は、ロックされた骨における任意の適切な参照点または参照領域を通り抜けるよう、制約を受ける場合もある。更なる実施形態において、観察面は、ロックされた骨における参照点(例えば重心)または参照領域の所定の距離において通るよう、制約を受けることもある。更なる実施形態において、観察面は、ロックされた骨のうちの少なくとも一部を通過するよう制約されることがある。その他の実施形態において、観察面は、ロックされた骨に制約されることもある。
【0065】
観察回路38は、「最適化処理」として説明することができる処理を使用して、観察面を決定する。観察面は、ボリューメトリック撮像データセットにおける関節表面に基づいて決定され、ロックされた骨Blockの位置がボリューメトリック撮像データセットを通して静的なままとなる様に、今では互いにレジストレーションされている。
【0066】
最適化処理において、観察回路38は、関節表面に関する座標点の観察面上への投影を最大化するように、観察面をボリューメトリック撮像データセットへと適合させる。係る最適化は、ボリューメトリック撮像データセットにおける骨の関節表面の位置に依存する。その他の実施形態において、任意の最適化処理は、ボリューメトリック撮像データセットにおける骨の位置に依存する、任意の最適化処理を使用することができる。
【0067】
本実施形態において、観察回路38は、観察面がロックされた骨の中心を通過するように制約しながら、観察面の多重の可能性のある方位を検討する。方位のそれぞれに対して、観察回路38は、3D関節表面を観察面へと投影する。各関節表面は、一つのボクセルの幅を有すると仮定される。各関節表面は、表面が浮動点であると考えられる場合に、関節表面の位置に対して最も近いボクセルである、複数の座標点を備える。関節表面の座標点は、観察面上へと投影される。
【0068】
係る投影は、観察面上の2Dの形という結果になる。観察表面上の3D座標点のうちの幾つかは、その他の3D座標点の投影と重なり合う、面上への投影を有する場合がある。従って、関節表面上の3D座標点の全てが、観察面上の投影された形に一意に寄与する訳ではない、という場合もある。
【0069】
本実施形態において、観察面が骨の拡がりの範囲内にある投影のみがカウントされる。骨の境界の外側の観察面に到達する投影は、どれも排除される。
【0070】
観察回路38は、観察面上へと投影される関節表面に関する座標点の数を足し合わせる。その他の実施形態において、観察回路38は、観察面に関する2D投影された形における座標点の数を足し合わせることができる。
【0071】
係る合計は、ボリューメトリック撮像データセットの全てにわたる。観察回路38は、合計が最も高い観察面に対する方位を選択する。選択される観察面は、ボリューメトリック撮像データセットの全てが検討された場合に、関節表面座標点の最も大きい数が観察面上へと投影される、観察面である。
【0072】
係る合計は、ボリューメトリック撮像データセットの全てにわたるので、観察回路38は、観察面がボリューメトリック撮像データセットの全て(またはほぼ全て)における骨を通過する、観察面の方位を好むことがある。
【0073】
ここでの投影の使用により、最適化の成果に関して多少より多くの影響を有する、面上にはない関節表面のボクセルを許可することができる。ボリューメトリックデータセットの4Dセット全体にわたり、重複しない(「重複」という言葉は、関節表面とボリュームのセットにわたる面との交差を示すために使用される)表面が多数存在する場合がある。投影の使用により、大抵の重複の発見を手助けすることができる。
【0074】
時として、観察面は、所定のボリュームに対する観察表面とは交わらないものである。投影(どの様に制約することができるかに依存する)は、潜在的に面に到達することがあり、従って全てのボリュームからの情報を含む。その他の場合において、投影は、多少のボリュームにおける面に到達しないことがあり、例えば面が骨境界の中に存在する場合に、投影が寄与のみに制約されるなどである。
【0075】
投影は、全体的な4Dシーケンス、空間および時間にわたる投影であると考えることができる。
【0076】
最適化処理は、レジストレーションされた4Dシーケンスにおける全てのボリューメトリック撮像データセットにわたる骨関節表面点の投影を最大化するように、フィット(fit、適合)を備える。
【0077】
その他の実施形態において、観察回路38は、関節表面上の点を線形観察面上への投影を表す任意の関数を使用して、観察面を適合することができる。幾つかの実施形態において、関数は、例えば特定の関節表面および/または動作の特定の位相を好むよう、重み付けられる。観察面を決定するために、任意の適切な計測、または計測の組み合わせを使用することができる。
【0078】
更なる実施形態において、観察回路38は、観察面と関節表面のそれぞれとの交差を使用する。観察回路38は、観察面上に存在する関節表面の座標点数を数える。最適化処理は、ボリューメトリック撮像データセットのそれぞれにおける、線形観察面と関節表面との交差を最大化するために実行される。
【0079】
更なる実施形態において、観察回路38は、単一の面というよりも、スラブに適合する。観察回路38は、例えば上述の様な投影方法を使用して、関節表面上の点をスラブ上へと投影することにより、スラブの方位を適合することができる。観察回路38は、スラブに存在する関節表面上の点を使用して、スラブの方位を適合することもできる。
【0080】
その他の実施形態において、多重時相を通して、第1の身体部分の参照点(例えば、重心)を横切り、且つ係る第1の身体部分と少なくとも一つの第2の身体部分との間の関節表面の少なくとも一部を含む、観察面を決定するために、任意の適切な方法を使用することができる。更なる実施形態において、参照点が指定されない。
【0081】
一度観察面が観察回路38により決定されたら、レンダリング回路40は、動画化されたシリーズの個別のフレームを取得するために、各ボリューメトリック撮像データセットをレンダリングする。本実施形態において、レンダリングは、観察面を使用するプラナー再フォーマットを備える。その他の実施形態において、観察面を使用してレンダリングするための任意の適切な方法を使用することができる。
【0082】
各ボリューメトリック撮像データセットは、ステージ62で決定された観察面と同じ観察面を使用して、レンダリングされる。レンダリング処理の出力は、各ボリューメトリック撮像データセットに対する一つである、一連のレンダリングされた画像である。レンダリングされた画像は、「フレーム」と呼ぶことができる。係るフレームは、関節の動作(本実施形態では、手首)を示す動画を提供するために、組み合わせることができる。
【0083】
本実施形態において、各レンダリングされたフレームは、ユーザによって選択された、ロックされた骨Blockおよび近傍する骨[B1...BN]のみを示す。ロックされた骨Blockの表示位置は、多重時相を通して据え付けられる。
【0084】
その他の実施形態において、その他の骨および/または骨ではない更なる解剖学的特徴は、レンダリングされたフレームにおいて示すことができる。
【0085】
レンダリング回路40は、ボリューメトリック撮像データセットからの更なる画像もレンダリングすることができる。例えば、係るレンダリング回路40は、観察面に直交する少なくとも一つの面を使用して、画像をレンダリングすることができる。状況次第で、観察面は、関心の連結の動きの面とすることができる。直交する面または複数の面は、動作の面に対して直交の場合がある。
【0086】
ステージ66で、サブステージ62でレンダリングされたフレームの動画化されたシリーズがユーザに表示される。例えば、少なくとも一つの直交する面においてレンダリングされた画像など、その他の画像も表示することができる。
【0087】
ロックされた骨の位置は、レンダリングされたフレームにおいて静的なままである。係るロックされた骨は、レンダリングされたフレームにわたり一貫した見た目を有する。近傍する骨は、例えば動画としてフレームを観察しているなど、レンダリングされたフレームのシリーズを通して動いている場合に、ロックされた骨に相対して動くように見える場合がある。
【0088】
関節表面は、骨が交差する表面である。骨の交差は、臨床医にとって関心の対象となる場合がある。特に、臨床医は、関節表面間の間隙の観察に関心を持つ場合があり、例えば係る間隙が動作によってどの様に変化するかである。関節表面を使用する面の観察の適合により、画像は、関節表面間の間隙の良いビューを有する画像を取得することができる。ボリューメトリック撮像データセットの全てを使用する観察面の適合により、係る間隙は、レンダリングされたフレームの大半または全てにわたり、視覚化することができる。これは、臨床医にとって有用な場合がある。レンダリングされたフレームの大半または全てにわたり間隙が視覚化されている観察面方位を手動で見つけることは、臨床医にとって難しい場合がある。
【0089】
ステージ68で、ユーザは、観察回路38によって決定された観察面を手動で調整するという選択肢を有する。係るユーザが観察面の手動での調整を選択した場合に、処理はステージ60へと戻る。サブステージ62で、ユーザ選択された観察面は、係るユーザにとって選択された観察面であると見做される。レンダリング回路40は、ユーザ選択された観察面を使用して、新たな動画化されたシリーズをレンダリングする。処理は、ステージ66へと戻り、係る新たな動画化されたシリーズが、ユーザへと表示される。ステージ68、60、66は、好みのビューを取得するために、ユーザにとって必要とされる度に、繰り返すことができる。
【0090】
本実施形態において、ステージ68でユーザによって指定された観察面は、任意の自動的な調節無しで、レンダリングにおいて固定として扱われ且つ使用される。更なる実施形態において、ステージ68でユーザによって指定された観察面は、観察面の更なる最適化に対する開始点として、使用することができる。
【0091】
ボリューメトリック撮像データセットの全てにわたる観察面を自動的に最適化することにより、動画化されたシリーズにおける画像の全てを観察する用に適当な、観察面を取得することができる。反対に、手動での調整により多重画像フレームを合うように観察面を最適化することが難しい場合もある。
【0092】
図6aおよび6bは、ボリューメトリック撮像データが取得された複数の骨および係る複数の骨の画像をレンダリングする用に使用される観察面の例を概略的に描いている。
【0093】
図6aは、プラナー再フォーマット観察面が、どの様にして4D骨固定された蓄積上に配置されるかを描いている。
図6aは、尺骨80、橈骨82、月状骨84、そして有頭骨86、の四つの骨の概略的な表現を含む。分かりやすくする為に、骨はよりリアルな描写を使用する代わりに、簡単でジオメトリックな形状として表されていることに留意されたい。
【0094】
図6aに示された骨に、
図3の第1の実施形態をどの様に適用することができるのかの例について、検討する。ステージ50で、尺骨80、橈骨82、月状骨84、そして有頭骨86の動作の異なる位相を表す、一連のボリューメトリック撮像データセットを備える4Dシリーズが収集される。ステージ52で、ユーザは月状骨84を固定された骨B
lockとして選択する。係るユーザは、尺骨80、橈骨82、そして有頭骨86を、近傍する関心のある骨[B
1,B
2,B
3]として選択する。処理は、ステージ54へと移る。
【0095】
ステージ56で、前処理回路36は、関節表面を抽出する。
図6aの例において、六つの関節表面が抽出される。係る六つの関節表面は、三つのペアへとグループ分けすることができる。第1のペアは、月状骨84と向かい合う尺骨80の関節表面90と、尺骨80の関節表面90と向かい合う月状骨84の第1の関節表面(係る関節表面は、
図6aでは見えない)とを備える。第2のペアは、月状骨84と向かい合う橈骨82の関節表面92と、橈骨82の関節表面92と向かい合う月状骨84の第2の関節表面(係る関節表面も、
図6aでは見えない)とを備える。第3のペアは、有頭骨86と向かい合う月状骨84の第3の関節表面96と、月状骨84の第3の関節表面96と向かい合う有頭骨86の関節表面(
図6aに見えず)を備える。
【0096】
サブステージ58で、前処理回路36は、月状骨84が静的なままとなる様に、ボリューメトリック撮像データセットを一緒にレジストレーションする。
【0097】
ステージ60で、サブステージ62が使用される。観察回路38は、ボリューメトリック撮像データセットにわたり上記で記載された六つの関節表面の座標点の投影の合計を最大化することにより、観察面(viewing plane)100を決定する。所定の関節表面上の座標点の投影は、観察平面が問題になっている骨の拡がりの範囲にある場合に、合計において含まれるのみである。例えば、尺骨80の関節表面90の座標点の、観察面100(viewing surface)上に対する投影は、観察面100が尺骨80を通過する場合に検討されるのみである。
【0098】
レンダリング回路40は、決定された観察面100を使用して、ボリューメトリック撮像データセットから画像をレンダリングする。係る画像がレンダリングされる視点は、
図6aで目99により表されている。
【0099】
ステージ66で、レンダリング回路40は、レンダリングされた画像をユーザに表示する。ステージ68で、係るユーザは、決定された観察面100を手動で調整することができる。
【0100】
図6bは、「プラナー再フォーマットビュー102」と呼ぶことができる、レンダリングされた画像のうちの一つの概略図である。ユーザは、関心のある骨を切り開くプラナー再フォーマットビューを見るが、今回の場合では尺骨80、橈骨82、月状骨84、そして有頭骨86である。
【0101】
状況次第で、ユーザにとって関心のある骨の容認可能なビューを提供する観察面を、手動で選択するのが難しいことがある。係る例において、ユーザにとって尺骨80および月状骨84間の第1の連結、橈骨82および月状骨84間の第2の連結、月状骨84および有頭骨86間の第3の連結のビューを提供する面を選択することが難しい場合がある。
【0102】
六つの関節表面の全てに基づいてサブステージ62で最適化を実行することにより、三つの連結の全ての最も利用可能なビュー、例えば最良な折衷ビューを提供する、観察面を取得することができる。幾つかの実施形態において、異なる個別の連結に対する関節表面は、観察面の決定の際に、別の連結(例えば、橈骨-尺骨)に比べてより高く一つの連結(例えば、尺骨-月状骨)が重み付られる様にして、重み付けることができる。その他の実施形態において、任意の適切な重み付けを使用することができる。状況次第で、係る重み付けは、観察されている動作タイプに依存する場合がある。
【0103】
次に、多重プラナーセクションを備える観察表面が決定される、
図3の処理の実施形態について検討する。
【0104】
ステージ50、52、54(サブステージ56および58を含む)は、
図3の第1の実施形態を参考に上記で説明されたものと同じである。ステージ54の完了時に、前処理回路36は、ボリューメトリック撮像データセットを観察回路38へと渡す。ボリューメトリック撮像データセットは、関節表面に関してラベル付けられている。ボリューメトリック撮像データセットは、ロックされた骨B
lockがボリューメトリック撮像データセットにわたって静的なままとなる様にして、互いにレジストレーションされている。
【0105】
ステージ60で、本実施形態の処理は、サブステージ64へと移る。サブステージ64で、観察回路38は、ボリューメトリック撮像データセットを使用して、動画化されたフレームのシリーズのレンダリングの際に使用される予定の観察表面を自動的に決定する。
図3および
図6aや6bの第1の実施形態を参照して上記で説明された様な単一の観察平面を備える観察表面の代わりに、観察表面は、少なくとも一つの面的でない遷移セクションにより接続された幾つかのプラナーセクションを備える。
【0106】
例として、
図7aおよび7bに目を向ける。
図7aおよび7bは、
図6aおよび6bと同じ尺骨80、橈骨82、月状骨84、そして有頭骨86を示す。
【0107】
サブステージ64で、観察回路38は、観察表面の三つの個別のプラナーセクション110、112、114を決定する。
【0108】
まずセクション110に目を向ける。セクション110は、平らな2D表面である。セクション110は、本実施形態では月状骨84である、ロックされた骨Blockの重心を通過する平らな2D面の一部であると考えることができる。セクション110の位置および範囲とは、セクション110が尺骨80と月状骨84との間の連結を通過する様な所である。プラナーセクション110のサイズおよび範囲は、プラナーセクション110が尺骨80および月状骨84の間の連結と関連する関節表面とで最小限に境界を示すように制約される。
【0109】
観察回路38は、月状骨84に向い合う尺骨80の関節表面90と、関節表面90に向い合う月状骨84の関節表面(図示せず)とに基づいたプラナーセクション110の方位を決定する。本実施形態において、観察回路38は、全てのボリューメトリック撮像データセットにわたり、関節表面90の投影およびそれの向い合うプラナーセクション110上の関節表面を最大化することにより、プラナーセクション110の方位を決定する。プラナーセクション110の方位は、ボリューメトリック撮像データセットからレンダリングされた全てのフレームにわたる尺骨80および月状骨84の間の間隙の良いビューを提供するような方法で、決定することができる。
【0110】
プラナーセクション112は、プラナーセクション110とはバラバラの、更なる平らな2D表面である。プラナーセクション112は、本実施形態では月状骨84である、ロックされた骨Blockの重心を通過する更なる平らな2D面の一部分だと考えることができる。プラナーセクション112の位置および範囲とは、プラナーセクション112が橈骨82と月状骨84との間の連結を通過する様な所である。プラナーセクション112のサイズおよび範囲は、プラナーセクション112が橈骨82および月状骨84の間の連結と関連する関節表面とで最小限に境界を示すように制約される。
【0111】
観察回路38は、月状骨84に向い合う橈骨82の関節表面92と、関節表面92に向い合う月状骨84の関節表面(図示せず)とに基づいたプラナーセクション112の方位を決定する。本実施形態において、観察回路38は、全てのボリューメトリック撮像データセットにわたり、関節表面92の投影およびそれの向い合うプラナーセクション112上の関節表面を最大化することにより、プラナーセクション112の方位を決定する。プラナーセクション112の方位は、ボリューメトリック撮像データセットからレンダリングされた全てのフレームにわたる橈骨82および月状骨84の間の間隙の良いビューを提供するような方法で、決定することができる。
【0112】
プラナーセクション114は、プラナーセクション110およびプラナーセクション112とはバラバラの、別の平らな2D表面である。プラナーセクション114は、本実施形態では月状骨84である、ロックされた骨Blockの重心を通過する別の平らな2D面の一部分であると考えることができる。プラナーセクション114の位置および範囲とは、プラナーセクション114が有頭骨86と月状骨84との間の連結を通過する様な所である。プラナーセクション114のサイズおよび範囲は、プラナーセクション114が有頭骨86および月状骨84の間の連結と関連するそれらの関節表面とで最小限に境界を示すように制約される。
【0113】
本実施形態において、各プラナーセクション110、112、114は、ロックされた骨Blockの重心を通過する様に制約されている。その他の実施形態において、係るプラナーセクション110、112、114のうちの任意のものが重心を通ることがあるし、或いはそのどれもが重心を通らないこともある。
【0114】
更なる実施形態において、各プラナーセクション110、112、114は、ロックされた骨Blockにおける個別の参照点を通過するよう構成することができるが、係る参照点は重心である場合もあるし、或いはそうでない場合もある。異なるプラナーセクション110、112、114に、異なる参照点を適用することができる。例えば、異なる参照点は、関節表面の各ペアに対して定義することができる。更なる実施形態において、プラナーセクション110、112、114は、ロックされた骨と交差しないよう制約することができる。またその他の実施形態において、その様な制約が何ら適用されないこともある。プラナーセクション110、112、114は、付加的な制約無しで、交差または投影を最適化することにより、取得することができる。
【0115】
観察回路38は、有頭骨86に向い合う月状骨84の関節表面94と、関節表面94に向い合う有頭骨86の関節表面(図示せず)とに基づいたプラナーセクション114の方位を決定する。本実施形態において、観察回路38は、全てのボリューメトリック撮像データセットにわたり、関節表面94の投影およびそれの向い合うプラナーセクション114上の関節表面を最大化することにより、プラナーセクション114の方位を決定する。プラナーセクション114の方位は、ボリューメトリック撮像データセットからレンダリングされた全てのフレームにわたる有頭骨86および月状骨84の間の間隙の良いビューを提供するような方法で、決定することができる。
【0116】
本実施形態は、三つの連結に対して別個のプラナーセクション110、112、114が決定される、
図3を参考に説明された第1の実施形態とは異なる。各プラナーセクションは、個別の連結へと局所化される。各プラナーセクションの方位は、その対応する連結の関節表面に基づいて決定される。異なる方位が連結のそれぞれに対して使用される場合がある。各連結に対して異なる方位を使用することで、ユーザに対して係る連結のより良いビューを提供することができる。特に、より良いビューは、連結の動作が全て同じ面に存在しない場合に、例えば、一つの連結の動作の方向が近傍する連結の動作の方向に相対する角度で発生する場合に、提供されることがある。
【0117】
本実施形態において、観察表面は、三つのプラナーセクションを備える。その他の実施形態において、観察表面は、任意の適切なプラナーセクション数、例えば連結毎に一つのプラナーセクションなど、を備えることができる。プラナーセクションは、バラバラの場合がある。プラナーセクションのそれぞれの位置および範囲を決定するために、任意の適切な方法を使用することができる。
【0118】
本実施形態において、観察回路38は、観察表面の面的でない遷移セクションを決定する。面的でない遷移セクション116は、異なる様に方位付けられたプラナーセクション110、112、114を連続的に接続する湾曲した表面である。本実施形態において、係る面的でない遷移表面116は、滑らかな曲線を描いている。面的でない遷移セクションの曲率(curvature)は、プラナーセクション110、112、114の各位置および方位に基づいて決定される。
【0119】
プラナーセクション110、112、114のそれぞれの最大範囲は、面的でない遷移セクション116に関するパラメータ制限を使用して、決定することができる。例えば、プラナーセクション110、112、114のそれぞれの最大範囲は、面的でない遷移セクションの曲率の最大量に基づいて、決定することができる。プラナーセクション110、112、114のそれぞれの最大範囲を決定することにより、観察表面のプラナー領域を最大化し、ひいては本実施形態においては連結である関心のある領域の周辺の歪みの最小化ができる場合がある。
【0120】
観察回路38によって決定された観察表面は、三つのプラナーセクション110、112、114と、面的でない遷移セクション116とを備える。観察表面は、観察面の一部分が湾曲し且つその他の部分がプラナーであるから、湾曲し且つ区分的にプラナー再フォーマット観察表面として説明することができる。
【0121】
その他の実施形態において、観察表面は、任意の適切なプラナーセクション数を備えることができる。係る観察表面は、二つ以上のプラナーセクションを繋げる少なくとも一つの面的でない遷移セクションを備えることができる。
【0122】
上記で説明された実施形態において、プラナーセクション110、112、114の最小且つ最大範囲は、連結に、そして面的でない遷移セクション116の曲率に、基づいて決定される。その他の実施形態において、各プラナーセクションの範囲の任意の適切な決定法を使用することができる。幾つかの実施形態において、各プラナーセクションの範囲を決定することができる。また幾つかの実施形態において、各プラナーセクションの範囲がユーザによって選択される場合がある。
【0123】
レンダリング回路40は、決定された観察表面を使用して、ボリューメトリック撮像データセットのそれぞれから個別の画像をレンダリングする。本実施形態において、係るレンダリングは、プラナー再フォーマットを備える。係るプラナー再フォーマットは、異なる方位を有する複数のプラナーセクションを備える観察表面と、少なくとも一つの湾曲したセクションとを使用して実行される。
【0124】
本実施形態の観察表面は、解剖学的関心の薄いエリアにある湾曲した部分のみを備える、ということに留意されたい。解剖学的関心が最もあるエリア(関節表面に対応する)において、観察表面のプラナーセクションが使用される。
【0125】
ステージ66で、レンダリングされた画像は、フレームの動画化されたシリーズとしてユーザに表示される。ステージ66で、係るユーザは、例えばユーザが好むビューを取得するために、プラナーセクション110、112、114のうちの一つまたは複数を手動で方位付けることができる。係るユーザがプラナーセクション110、112、114のうちの一つを手動で方位付けした場合に、処理は再レンダリングのためのステージ60へと戻る。
【0126】
図7bは、プラナーセクション110、112、114を備える観察表面と、面的でない遷移セクション116とを使用してボリューメトリック撮像データセットからレンダリングされた画像118の概略図である。プラナーセクション110、112、114と面的でない遷移セクション116とに対応する画像の領域は、画像セクション120、122、124と画像セクション126とにそれぞれマーカ付けされている。
【0127】
面的でない遷移セクション116に対応する画像セクション126は、月状骨の歪んだ画像を提供する。係る画像の歪みは、面的でない遷移セクションの曲率に起因する。係る歪みは、「湾曲再フォーマット歪み」と呼ばれる場合がある。湾曲再フォーマット歪みは、観察表面が面的でない箇所に発生することが予測される。本実施形態において、観察表面は、湾曲再フォーマット歪みが臨床的な関心の薄い領域においてのみ許されるようにして生成されるが、本願における臨床的な関心が薄い領域は、連結でない領域である。骨関節表面情報は、臨床的に有益な領域、つまり連結を歪めるのを回避するために使用される。
【0128】
本実施形態において、画像セクション126は、画像118がユーザに対して表示された場合に、ハイライトされる。画像セクション126は、ユーザに対して次のことを示すために、ハイライトされる。つまり、画像セクション126において表されている解剖学的構造は、画像セクション126が観察面の面的でない遷移セクション116を使用してレンダリングされていることが原因で、歪められる場合がある、ということだ。係るユーザには、歪みが表れている可能性がある、と警告される。
【0129】
画像セクション126をハイライトするために、任意の適切な方法を使用することができる。例えば、オーバーレイは画像セクション126上に位置する場合がある。係るオーバーレイは、色、色合い(tint)、または任意のその他の適切な画像修正を備えることができる。幾つかの実施形態で、ハイライトの大きさ(例えば、色の輝度)は、歪みの程度に比例する。例えば、より高い曲率を有する観察面の領域は、より強い色により画像上に示すことができる。
【0130】
その他の実施形態において、プラナーセクション110、112、114に対応する画像セクション120、122、124が表示される。画像セクション120、122、124の間に歪んだ画像セクション126を表示する代わりに、歪んだ画像セクション126は、画像118で省略される、またはぼやかされる。例えば、歪められた画像セクション126は、黒で色付けることができる。画像の代わりにパディング(padding)を示すこともできる。
【0131】
更なる実施形態において、プラナー観察セクションは、決定されている面的でない遷移セクション無しで、決定することができる。観察表面は、バラバラのプラナー観察セクションのセットを備えることができる。
【0132】
画像セクション120、122、124は、介在する領域が省略されたりまたは曖昧にされたりしている状態で示される実施形態において、係る画像セクション120、122、124を、引き続き解剖学的に順序付けることができる。解剖学的順序付けが正しい場合に、画像118は、介在する生体構造が示されていること無しに、画像セクション120、122、124における連結のみが示されている場合であっても、ユーザによって理解することができる。
【0133】
状況次第で、説明された様な湾曲され且つ区分的な観察表面の使用により、全ての連結に対して単一の観察面を使用することで取得されるであろうビューに比べて、個別の連結のより良いビューを提供することができる。しかし、個別の連結のより良いビューは、個別の連結間の一つまたは複数の遷移領域の画像の歪みを多少犠牲にして、取得することができる。
【0134】
上述の実施形態において、プラナー観察セクション110、112、114は、別個の最適化処理に基づいて、別々にそれぞれ決定される。各最適化処理は、関節表面の個別のペアに基づく。
【0135】
更なる実施形態において、プラナー観察セクションの決定を、制約することができる。例えば、プラナー観察セクションの決定は、面的でない遷移セクション116において許可された歪みの量を制御するために、制約することができる。
【0136】
例えば面的でない遷移セクション116の曲率の程度を表しているパラメータなどのパラメータは、面的でない遷移セクション116の歪みを表す最適化へと取り込むことができる。例えば、歪みについて制約を提供するために、パラメータを使用することにより、二つ以上のプラナー観察セクションを一緒に最適化することができる。
【0137】
上述の実施形態は、最適な観察面を推定するための自動化された方法を提供することができる。当該観察面は、生体構造を歪めないようにするため(少なくとも連結の領域において)の、再フォーマットを表示することができる。係る生体構造は、そうでなければ僅かに歪む場合がある。観察面は、連結の臨床的に有用なビューを提供する様なものとすることができる。係る観察面は、連結動作を表すレンダリングされたフレームのセットにおいて、例えば複数の骨の間の一つまたは複数の間隙の見た目など、連結の見た目に基づいて推定することができる。
【0138】
上記に説明された実施形態は、一つまたは複数の連結の4D動的(kinetic)スタディからのデータの解析において使用することができる。4D動的スタディからデータを解析することにより、多重の靭帯の損傷および不安定性を学習することができる。学習することができる損傷の例としては、三角線維軟骨複合体損傷(Triangular Fibrocartilage Complex:TFCC)、距骨下脱臼、遠位橈尺関節不安定性(Distal Radial Ulnar Joint Instability:DRUJI)、そして舟状月状骨進行性虚脱(scaphoid lunate advanced collapse:SLAC)の損傷に対する怪我を含む。例えば手首、足首、肩、臀部、肘、肩峰鎖骨関節または顎関節に、異なる連結の4D動的スタディを実行することができる。
【0139】
上記で説明された実施形態において、観察表面は、複数のボリューメトリック撮像データセットに基づいて決定される。係る決定された観察表面は、ボリューメトリック撮像データセットからレンダリングされたフレームのうちの多くがまたは全てが考慮に入れられた場合に、連結の最良なビューを提供する観察表面とすることができる。
【0140】
その他の実施形態において、観察表面は、単一のボリューメトリック撮像データセットに基づいて決定することができる。幾つかの実施形態において、前処理回路36は、単一のボリューメトリック撮像データセットにおける二つ以上の関節表面を決定する。観察回路38は、観察表面を決定するために、関節表面を使用する。一実施形態において、観察表面は、「単一の観察面」と呼ぶことができる、単一のプラナー表面である。別の実施形態において、観察表面は、複数のプラナー観察セクションを備える。別の実施形態において、観察表面は、複数のプラナー観察セクションを備える。レンダリング回路40は、決定された観察表面を使用してボリューメトリック撮像データセットから画像をレンダリングする。
【0141】
単一のボリューメトリック撮像データセットの場合であっても、観察表面の自動最適化により、手動で取得されるであろうビューに比べて、より良い連結のビューを取得することができる場合がある。例えば、自動化された処理は、経験の浅いユーザまたは訓練中のユーザにより使用されることがある。
【0142】
その他の実施形態において、多重プラナー観察セクションを備える観察表面は、ユーザからの手動入力に基づいて決定される。例えば、係るユーザは、所望のビューを取得するために、プラナー観察セクションのそれぞれを決定および/または調整することができる。幾つかの実施形態において、係るユーザは、例えば曲率を制限することにより、少なくとも一つの面的でない遷移セクションの特徴に対する制限を決定する、または設定することもできる。
【0143】
特定の骨および連結が、例として上記で説明された。その他の実施形態において、上記に使用される方法は、任意の適切な骨または連結について使用することができる。幾つかの実施形態において、最適化処理は、幾つかの連結(例えば、手の全ての指)へと拡大される。上記での骨に対する言及は、例えば人工的な臀部または膝など、人口装具を含むことができる。
【0144】
上記で説明された実施形態において、画像はプラナー再フォーマットによりレンダリングされる。その他の実施形態において、任意の適切なレンダリング法を使用することができる。幾つかの実施形態において、スラブが決定され、且つレンダリングにおいて使用される。
【0145】
画像をレンダリングするために使用されるレンダリング法は、マルチプラナー再構成(multi-planar reconstruction:MPR)、スラブMPR、フルボリュームMPR,影付きボリュームレンダリング(shaded volume rendering:SVR)、スラブ、グローバルイルミネーションの境界により定義されたカット面を伴うSVR、のうちの少なくとも一つを備えることができる。
【0146】
本実施形態は、動作を視覚化するために、動作を捉える4Dデータシリーズを収集すること;ロックされる予定の骨を空間的に示すこと;関心のある複数の近傍する骨および/または連結を示すこと;そして4Dボリュームシネ(4D volumes cine)を用いて最適な観察(区分的な)プラナー再フォーマットを表示すること、を備える医用撮像法を提供する。
【0147】
4Dデータシリーズは、CTデータシリーズとすることができる。レジストレーションは、骨が固定された位置で示されるような状態にして、全てのデータをアライメントするために、使用することができる。
【0148】
ロックされる予定の骨の重心を決定することができる。関節表面は、ロックされる予定の骨について、そして全ての近傍する骨について、抽出することができる。
【0149】
最適なプラナー再フォーマットは、近傍する骨の位置の合計を係る面上に対する投影を最大化することにより、決定することができる。
【0150】
最適な面は、個別に近傍する骨の関節表面の位置の合計の投影を最大化することにより、別々に各連結に対して決定することができる。滑らかに湾曲した遷移は、線形面の間で決定することができる。関節表面は、関節表面マップ(アトラス)、骨ランドマーク推定法或いは学習済分類/検出法を使用して抽出することができる。
【0151】
歪んだ領域は、歪みに比例した大きさを伴うオーバーレイを用いて、ハイライトすることができる。係るオーバーレイは、色または色合いオーバーレイを備えることができる。
【0152】
パディングは、歪んだエリアのうちのどこに示されても良い。ビューは、連結のみが視覚化される様な場合に、それでもやはり理解することが可能となる様に、引き続き解剖学的に自動的に順序付けることができる。
【0153】
直交な面の任意の組み合わせは、(動作の面に直交して)組み合わせる/観察することができる。
【0154】
パラメータ(複数のパラメータ)は、湾曲した部分において許容される歪みの量を制御し、且つ面のセットのうちの一つまたは複数を一緒に最適化することができる。
【0155】
多重骨/連結は、互いに対してロックすることが出来、且つ最適化は、幾つかの連結(例えば、手の全ての指)へと拡大することができる。
【0156】
特定の実施形態は、多重時相の医用画像を収集し;第1の身体部分および第2の身体部分を受け取り、係る第1の身体部分は、表示位置が多重時相を通して固定された状態における表示対象として、多重時相の医用画像に含まれ、また係る第2の身体部分は、表示対象として第1の身体部分の近辺にある;第1の身体部分の参照点を計算し;第1のおよび第2の身体部分の間の関節表面を特定し;参照点および関節表面に基づいた観察面を決定する、よう構成された処理回路を備える、医用画像処理装置を提供する。
【0157】
処理回路は、観察面としての面を決定するよう更に構成することができる。係る面は、多重時相にわたり、第1の身体部分の参照点を横断し、且つ関節表面の少なくとも一部を含む。
【0158】
処理回路は、観察面としての面を決定するよう更に構成することができる。係る面の、関節表面から成る座標点数は、最大化されたものである。
【0159】
処理回路は、第1の身体部分の重心に基づいた参照点を計算するよう更に構成することができる。
【0160】
処理回路は、多重の第2の身体部分を表示対象として受け取り;第1の身体部分と多重の第2の身体部分との間の多重の関節表面を特定し;多重の関節表面、および第1の身体部分の参照点を含む第2の観察面に基づいた観察面を決定する、よう更に構成することができる。
【0161】
処理回路は、多重の第2の観察面を連続的に繋げることで成る湾曲した面に基づいて、観察面を決定する、よう更に構成することができる。
【0162】
任意の適当な医用撮像データの適切なアトラスへのレジストレーションは、獣医学を含む医用にも実行することができる。医用撮像データは、例えばCT、MR、超音波、回転X線またはコーンビームCTデータを備える場合がある。医用撮像データは、患者またはその他の被検体の一つまたは複数のスキャンから取られた撮像データを備えることができる。
【0163】
本明細書では、特定の回路について説明してきた。代わりの実施形態では、これらの回路のうち一つまたは複数の機能は単一の処理リソースまたはその他の構成要素によって提供可能であり、或いは、単一の回路によって提供される機能は、組み合わされた二つ以上の処理リソースまたはその他の構成要素を組み合わせによって提供することができる。単一の回路への言及は、その回路の機能を提供する複数の構成要素が互いに遠隔であるかどうかに関わらず、そのような構成要素を包含し、複数の回路への言及は、それらの回路の機能を提供する単一の構成要素を包含する。
【0164】
以下、上記の実施形態について総括する。本実施形態に係る医用画像処理装置20は、入力回路34(取得部)と、前処理回路36(特定部)と、観察回路38(決定部)と、レンダリング回路40(レンダリング部)とを有する。
【0165】
入力回路34は、第1の身体部分と前記第1の身体部分の近辺にある第2の身体部分とを表す医用撮像データセットをCTスキャナ24から取得する。時系列データを取得する場合、入力回路34は、多時相にわたり第1の身体部分と第2の身体部分とを表す一連の医用撮像データセットを取得する。尚、入力回路34は、ユーザからの指示により、第1の身体部分の目印および/または第2の身体部分の目印を取得してもよい。
【0166】
一連の医用撮像データセットは、第1の身体部分と第2の身体部分とが前記多時相にわたり相対的な動作を経ることを含む。相対的な動作は、第1の身体部分が備える第1の骨と第2の身体部分が備える第2の骨との連結に関する動作を備える。また、一連の医用撮像データセットは、第1の身体部分の表示位置を、多時相にわたる一連の医用画像を通して固定するように、互いにアライメントされる。第2の身体部分が複数ある場合、一連の医用撮像データセットは、医用撮像データセットにわたり相対的な動作を経ている多重の身体部分を表す。
【0167】
前処理回路36は、第1の身体部分の参照点を特定する。参照点は、例えば、重心である。また、前処理回路36は、第1の身体部分と第2の身体部分との間の少なくとも一つの関節表面を特定してもよい。第2の身体部分が複数ある場合、前処理回路36は、多重の第2の身体部位のそれぞれと第1の身体部位との間の少なくとも一つの関節表面を備える多重関節表面を特定する。
【0168】
なお、前処理回路36は、少なくとも一つの関節表面を特定するために、例えば、第1の身体部位の第1の骨と第2の身体部位の第2の骨とを解剖学図譜へとレジストレーションすること、少なくとも一つの骨ランドマーク推定、学習済み分類法、回帰法、および画像解析の少なくとも一つを用いてもよい。
【0169】
観察回路38は、医用撮像データセットのそれぞれにおける第1の身体部分と第2の身体部分との個別の位置に基づいて、第1の身体部分と第2の身体部分とを示す観察面を決定する。観察回路38は、第1の身体部分の参照点および少なくとも一つの関節表面の少なくとも一方に基づいて観察面を決定してもよい。また、観察面の決定において、観察回路38は、参照点と交わる面の上への少なくとも一つの関節表面の座標点の投影と、多重画像データセットにおいて前記面が前記少なくとも一つの関節表面と交わる座標点の数とのうちの少なくとも一方の最大化を備えてもよい。
【0170】
また、観察面が複数のセクションを含む場合、観察回路38は、参照点および少なくとも一つの関節表面に基づいて、平面観察セクションをそれぞれ決定する。また、観察面が連続的な方法で平面観察セクションのうちの少なくとも二つを繋ぐ湾曲した遷移セクションを備える場合、観察回路38は、少なくとも一つの画像(後述される)における歪み量を制約するように、平面観察セクションおよび/または遷移セクションを決定する。
【0171】
なお、観察回路38は、第1の身体部分の目印および/または第2の身体部分の目印の決定において、例えば、医用撮像データセットのうちの少なくとも一つを解剖学図譜へとレジストレーションすること、医用撮像データセットのうちの少なくとも一つについて少なくとも一つの骨ランドマーク推定、および学習済み分類法を医用撮像データセットのうちの少なくとも一つへと適用することの少なくとも一つを用いてもよい。
【0172】
レンダリング回路40は、観察面を用いて、医用撮像データセットから少なくとも一つの画像をレンダリングする。レンダリングされた少なくとも一つの画像は、異なって方位付けられた平面観察セクションを用いて取得された画像セクションを備えてもよい。
【0173】
また、レンダリング回路40は、遷移セクションに対応する一部分をハイライトさせてもよい。レンダリング回路40は、平面観察セクション間の領域に対応する一部分をぼやかすおよび/または省略させてもよい。
【0174】
以上説明した少なくとも一つの実施形態によれば、ボリュームデータにおける観察面を容易に決定することができる。
【0175】
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。
【符号の説明】
【0176】
20 医用撮像データ処理装置(医用画像処理装置)
22 計算装置
24 CTスキャナ
26 表示スクリーン
28 入力デバイス
30 メモリ
32 CPU
34 入力回路(取得部)
36 前処理回路(特定部)
38 観察回路(決定部)
40 レンダリング回路(レンダリング部)