【文献】
Timo Kohlberger et al.,"Automatic Multi-organ Segmentation Using Learning-Based Segmentation and Level Set Optimization",Medical Image Computing and Computer-Assisted Intervention - MICCAI 2011,2011年,Part III, LNCS 6893,p. 338-345
【文献】
Jurgen Fripp et al.,"Automatic Segmentation and Quantitative Analysis of the Articular Cartilages From Magnetic Resonance Images of the Knee",IEEE Transactions on Medical Imaging,2010年 1月,Vol. 29, No. 1,p. 55-64
(58)【調査した分野】(Int.Cl.,DB名)
前記個別のセグメンテーション(22)は、前記CTデータからの前記第1の骨の独立なセグメンテーションと、前記CTデータからの前記第2の骨の独立なセグメンテーションとを含む、請求項1または2記載の方法。
前記個別のセグメンテーション(22)は、所定の処理における前記第1の骨を表すボクセルの位置決めと、当該処理の繰り返しにおける前記第2の骨を表すボクセルの位置決めとを含み、前記処理は、異なる前記骨に対して異なる識別器を用いる、請求項1または2記載の方法。
前記調整は、前記第1の骨と前記第2の骨との重なり無しに各ボクセルにラベル付けするように制約されたグラフベースのエネルギー関数の最少化を含む、請求項1から10のいずれか1項記載の方法。
【発明を実施するための形態】
【0012】
複数の隣りあう物体の自動セグメンテーションが提供される。コンピュータ断層撮影(CT)データによって表される全ての物体がセグメンテーション可能である。たとえば、2つの異なる器官がセグメンテーションされる。本明細書中に記載される実施形態で用いられる別の例では、隣りあう骨がセグメンテーションされる。CTデータによって表される位置が、一方または他方の骨、たとえば、大腿骨または脛骨としてラベル付けされる。一体的な複数の骨のセグメンテーションが、3次元(3D)CT画像から自動的に実行される。
【0013】
3D CT画像からの骨の自動セグメンテーションは、多くの臨床用途において、有用ではあるが未だ困難な課題である。特に、ヒトの関節まわりの隣りあう骨は非常に近く、互いに接触している場合もあり、従来の骨のセグメンテーション方法では、特に骨が個々にセグメンテーションされる場合には、重なりエラーを生じやすい。十分に自動化された、計算が効率的な、正確な一体的セグメンテーションシステムが、複数の骨のセグメンテーションに対して提供される。一実施形態では、各骨は、姿勢の推定および非剛体境界変形に関して、周辺空間学習(Marginal Space Learning:MSL)のフレームワークを用いて最初にセグメンテーションされる。セグメンテーションの重なりを排除するため、最初のセグメンテーションの結果と、マルコフランダムフィールド(MRF)における隣りあう骨の間の空間排他的制約とから導かれる信頼度マップとを用いて、骨は、再セグメンテーションされる。結果として、再セグメンテーションによって重なりは効果的に排除される。さらに、再セグメンテーションは最初のセグメンテーションの結果の局所的な重なり領域にのみ適用されるため、再セグメンテーションにはわずかな計算コストしか要しない。この一体的セグメンテーションは、約1秒の追加計算で、グラウンドトルースと比較して100%までセグメンテーションの重なりエラーを低減できる。
【0014】
図2および3は、3次元コンピュータ断層撮影のための複数の物体のセグメンテーションの方法の実施形態を示す。これらの方法は、
図6のシステム、プロセッサ、サーバ、コンピュータおよび/または異なるシステムを用いて実施される。概して、プロセッサは、3D CTデータを受信し、本方法のステップを実行して、3D CTデータによって表される隣りあう複数の物体に対して異なる位置の指標を出力する。
【0015】
図2または3に示されるよりも、より多くのステップ、異なるステップまたはより少ないステップを用いてもよい。たとえば、他の種類のデータにアクセスするステップ、出力を送信するステップ、および/または、セグメンテーションを保存するステップを用いてもよい。別の例では、他の最初のセグメンテーションステップが用いられる(たとえば、ステップ24〜30、ステップ44〜58が置き換えられる)。任意の個々の物体のセグメンテーションを用いることができる。別の例として、重なり領域に限定される再セグメンテーションを、信頼度マップ無しに用いてもよい。各ステップは、図示の順で、または、異なる順で行われる。
【0016】
図2に示される実施形態において、自動セグメンテーションは、ステップ42の最初のセグメンテーション、および、ステップ60の一体的再セグメンテーションを含む。ステップ42の最初のセグメンテーションでは、各骨が個別に検出され、セグメンテーションされる。骨はまず、ステップ44において周辺空間学習を用いて位置決めされる。目標の骨の最良の相似変換またはその群が、所定体積内において検索される。ステップ46において位置が見いだされ、次にステップ48において最上位の位置の候補の回転(orientation)が見いだされ、次にステップ50において最上位の位置+回転の候補のスケールが見いだされる。その後、学習ベースの3D境界検出器を用いて、ステップ54において初期形状が推論され、ステップ56において統計的形状モデル(SSM)空間における形状変形が導かれる。得られた形状は、さらに、ステップ58において、グラフベースのセグメンテーションアルゴリズムを用いて、画像データにより適合するようにリファインされる。他のステップが用いられてもよい。
【0017】
各骨が個別にセグメンテーションされるため、隣りあう骨の間でセグメンテーションの重なりが生じうる。重なりエラーを除去するため、ステップ60で一体的再セグメンテーションが実行される。ステップ62において重なりが識別され、ステップ64において局所重なり領域が抽出される。空間排他的制約を用いて、重なり領域に対するラベルが隣りあう骨に関して同時に最適化される。
【0018】
図3は、
図2のステップと同じかまたは同様のステップを表す。
図2および3の方法は、以下に共に記載されている。
【0019】
ステップ20において、CTデータが受信される。CTデータは患者のスキャンによって受信される。X線の源と検出器が患者の周囲を回転し、患者の所定体積を通過したX線投射が得られる。検出強度が、体積を表すデータに再構成される。代替的な実施形態では、CTデータはメモリから受信され、たとえば、DICOM(Digital Imaging Communications in Medicine)アーカイブシステムからデータがロードされる。
【0020】
CTデータは患者を表している。器官の一部または全部、組織の種類、骨、または、他の解剖構造がデータによって表される。たとえば、データは、膝関節の大腿骨および脛骨の部分を表している。他の組織、たとえば、他の骨がCTデータに表されていてもよい。
【0021】
3D CTデータは何らかのフォーマットを有している。一実施形態では、3D CTデータは、デカルト座標系の規則格子にフォーマットされている。異なる格子位置またはボクセルは、患者のスキャン体積内の異なる空間位置を表している。受信時または受信後の3D CTデータは、たとえば、背景、軟組織、関心の無い組織を除去するよう処理され、または、セグメンテーションの前処理がされる。
【0022】
ステップ22および42において、最初のセグメンテーションが行われる。最初のセグメンテーションは、ステップ44における物体の位置決め、または、ステップ24における姿勢の推定を含み、ステップ52またはステップ26および28における形状の適合化を含む。より多い、異なるまたはより少ないアプローチを最初のセグメンテーションの実行に用いてもよい。
【0023】
最初のセグメンテーションは、個々の物体に対してである。骨の例において、大腿骨と脛骨が検出され、1つの関節という物体としてではなく、個々の物体としてセグメンテーションされる。ステップ22において、複数の物体が個別にセグメンテーションされる。一方の物体の位置がCTデータを用いて決定される。他方の物体の位置がCTデータを用いて決定される。同じ処理が行われてもよいが、異なる識別器、入力または目的が、異なる骨を見いだすために用いられうる。異なる処理が異なる物体に用いられてもよい。各骨のボクセルは、他の物体の重なりまたは位置や配置に関係なく、個別の物体として位置決めされる。一方の物体は他方の物体とは独立に位置決めされる。代替的な実施形態では、1つの物体の特徴、位置または他の特性は、別の物体をセグメンテーションするために用いられる。1つの物体に関する情報は、別の物体のセグメンテーションのために用いられるが、両方の物体のセグメンテーションは、重なりを避けるために空間的に制限されない。重なりが存在しうるので、セグメンテーションは個別である。
【0024】
最初のセグメンテーションによって、CTデータのボクセルがラベル付けされる。あるボクセルが物体に属する場合、当該ボクセルはそのようにラベル付けされる。ボクセルが物体に属しない場合、ボクセルはそのようにラベル付けされる。ボクセルのラベルは、物体内のボクセルおよび/または物体の境界にあるボクセルを示す。
【0025】
異なる物体の個別のセグメンテーションにおいて、所定のボクセルに関するラベルは、いずれの物体にも属さないか、1つまたは複数の物体に属する。1つまたは複数のボクセルまたは位置は、2つ以上の異なるセグメントの一部としてラベル付けされ、または、2つ以上の異なるセグメントの一部として含まれる。たとえば、一群のボクセルが、脛骨に属するとしてラベルされ、同時に、大腿骨に属するとしてラベル付けされる。
【0026】
任意のセグメンテーションを、個々のセグメンテーションに用いることができる。
図2および3に示される実施形態においては、信頼度マップが、個々のセグメンテーションに用いられる。信頼度マップは、各物体について用いられる。他の実施形態では、信頼度マッピングは用いられない。
【0027】
ステップ44〜58および24〜28は、個々のセグメンテーションに関する2つの実施形態を示している。以下の説明では、セグメンテーションは所定の物体について記載されている。セグメンテーションは異なる物体について繰り返される。
【0028】
ステップ24において、物体の姿勢が推定される。姿勢とは、位置、回転および/またはスケールである。姿勢に関する任意のパラメタ構造を用いることができる。姿勢は、境界を含まなくともよく、またはそうでなければセグメントの特定位置を含まなくともよい。しかし、姿勢は、代わりに、たとえば、境界ボックス、骨格または他のパラメタ化などを用いてパラメタ化または一般化された、物体の位置を示す。
【0029】
ステップ44には姿勢の推定の例が記載されている、他の姿勢推定を用いてもよい。周辺空間学習による1つまたは複数の分類識別器または識別器が姿勢を推定するためにトレーニングされる。他の識別器を用いてもよい。識別器への入力特徴は、ステアラブル特徴、3次元Haar特徴、および/または、CTデータの入力特徴である。識別器は、入力から姿勢を識別するために、アノテーション付きのまたはグラウンドトルースのトレーニングデータから機械的にトレーニングされる。行列または他の関数がデータ処理によって学習される。複数の識別器がトレーニングされてもよく、たとえば位置、回転およびスケールの推定のそれぞれについて個別の識別器がトレーニングされてもよい。
【0030】
一実施形態では、目標の骨は、所定の体積I内の最適な相似変換パラメタについて検索することより3D CTデータから最初に検出される。相似変換パラメタ(または姿勢パラメタ)は9つのパラメタ、すなわち、移動(translation)t=(t
x,t
y,t
z)、回転r=(r
x,r
y,r
z)および不均等スケーリングs=(s
x,s
y,s
z)で定められる。他の実施形態では、より少ない、より多い、または異なるパラメタが、姿勢の特徴づけに用いられる。姿勢の推定のタスクは、事後確率を最大化することにより下記式のように数式化できる:
【0031】
事後確率を解くことには、9つの空間次元パラメタ空間における検索が含まれ、これは、実際には計算上非常に高コストでありうる。周辺空間学習は、全体の検索空間を周辺空間推論に分解するために用いられる。後述のように、物体の局所化は、3つのステップ、すなわち、位置、回転およびスケールに分けられる。各ステップの出力は、ステップからの多数の(たとえば100〜1000個)の候補であるため、検索は、ステップ46、48および50の、位置推定、位置−回転推定、および、完全相似変換推定として特徴づけられる。各ステップの後、限られた数の最良の候補のみが保持され、検索空間が狭められ、推論が加速される。事後確率関数の周辺空間解は以下のように表される:
【0032】
周辺事後確率を学習するため、分類識別器たとえば確率ブーストツリー(PBT)または確率ブーストネットワークが用いられうる。3D Haar特徴が位置検出に対して用いられ、ステアラブル特徴が回転およびスケールの推論に対して用いられる。
【0033】
姿勢が出力される。姿勢は、線、点、ボックス、正方形または他の形状として表されうる。
図4Aは、物体に適合した位置、回転およびスケールを有する方形のボックスとしての姿勢を示す。姿勢のパラメタは、境界ボックスとして表される。他の表現が用いられてもよく、何らの表現も用いられなくともよい。姿勢はユーザに示されても、または、示されなくともよい。
【0034】
ステップ52において、物体の形状が決定される。たとえば、骨の境界が位置決めされる。境界および決定は、境界ボックスに制限され、および/または、不適切な配置を避けるように姿勢の推定が用いられる。
【0035】
ステップ26において、物体に対する形状が初期化される。ステップ54において、初期化には統計的形状モデルを用いられるが、他の初期化が用いられてもよい。たとえば、ランダムウォーカー、方向性フィルタリング、閾値処理または他の物体検出が行われる。
【0036】
統計的形状モデルは、姿勢に変換される。統計的形状モデルは、物体に特有であり、CTデータに表される物体の平均および/または平均からの偏差を表す。姿勢の推定の後、目標の物体の形状は、統計的形状モデルに基づいて以下のように初期化される:
式中、総和はi=1からNであり、xは初期形状を示し、fは姿勢によって推定される姿勢推定(
^t,
^r,
^s)を用いた剛体変換であり、μおよびνはトレーニングアノテーションから得られた統計的形状モデルの平均および誘導固有ベクトルであり、Nは、形状変化部分空間の次元であり(たとえば3であるが、別の数でもよい)、c=(c
i,i=1,…,N)は、機械トレーニング技術を用いて推論された形状変化係数である。
【0037】
係数に関する任意の機械学習を用いることができ、たとえば、確率ブーストツリーまたは確率ブーストネットワークを用いることができる。係数学習は以下のように表される:
学習された係数はモデルを表す。特定の患者のCTデータに適用される識別器の学習ではなく、モデルは患者特有のCTデータの入力無しに任意の数の患者への適用に対して学習される。トレーニングデータからの任意の入力特徴を用いることができ、たとえば、ステアラブル特徴を用いることができる。モデルにおいて現れる平均は、初期形状を示す。
【0038】
式(4)に示されるように、形状変化係数の推論は、非剛体変形に関する一般的な周辺空間学習フレームワークにおける拡張ステップとしてみることができる。
【0039】
ステップ28において、統計的モデルまたは他のモデルによって与えられる形状は、この特定の配置に関するCTデータに変形される。初期化によって姿勢に基づく統計的形状モデルの平均が位置決めされる。モデルはその後、検査中の患者に関するCTデータに適合される。CTデータに適合されるとき、モデルは、統計的形状モデルの統計に基づいて変形される。
【0040】
ステップ56に1つの例の適合が示されている。ステップ56において、統計的形状モデルおよびCTデータから境界が推論される。初期化形状がさらに境界検出器によって変形される。統計的形状モデルの偏差確率または変化確率が考慮されうる。他の実施形態では、境界検出器は、さらなる偏差の制限または統計無しに平均形状およびCTデータを用いる。たとえば、平均境界は、境界検出に関する局所化された検査領域を示すが、そうでなければ境界検出を制限しない。
【0041】
一実施形態では、境界検出は識別問題として数式化される。モデルは、たとえばメッシュで表される境界に対する初期開始点を確立する。識別によって、回転(O
x,O
y,O
z)を有する境界通過点(X,Y,Z)が存在するか否かが判別される。境界検出器は、患者のCTデータに対する最適位置に対して法線方向に沿って、現在推定された形状面(たとえば、統計的形状モデルの平均形状位置)にメッシュ制御点を移動させるために用いられ得る。境界検出器からの識別スコアは、最高、最低、または、メッシュ点に対する最適な適合を示す他の出力である。調整後、変形された形状は、面を平滑化するために、統計的形状モデル部分空間に投射される。たとえば、統計的形状モデル部分空間の次元は、トレーニングアノテーションからの98%の形状変化を捕捉するよう選択される。統計的形状モデルは、CTデータに適合され、または、境界またはそうでないとして位置の識別についての限定または入力として機能する。
【0042】
図4Bは、境界変形がもっともよく画像に適合した後の、アウトラインとして得られた形状の例を示す。統計的形状モデルによる形状の詳細の損失によるエラーのいくらかは、起こりうる境界検出エラーとともに存在しうる。
図4Bは、コンセプトを表すよう示され、ユーザに示されても、示されなくともよい。他のセグメンテーションのアプローチが用いられてもよく、たとえば、姿勢推定を用いない、統計的形状モデル化を用いない、周辺空間学習を用いない、機械学習識別器を用いない、および/または、他の処理を用いないアプローチが用いられてもよい。
【0043】
ステップ30および58において、セグメンテーションがリファインされる。セグメンテーションはたとえばフィルタリングや他の処理によって変更される。任意のリファインを用いることができる。リファインは任意であってもよい。
【0044】
一実施形態では、セグメンテーションは、セグメンテーションに関する信頼度マップを用いてリファインされる。グラフベースのエネルギー関数が、信頼度マップに基づいて最少化される。任意の信頼度マップを用いてよく、たとえば、境界を検出するために用いられる確率的識別器からの出力などを用いてよい。信頼度マップは、物体の一部であるとして示される所定のボクセルが物体の一部であるという信頼度の尤度、スコア、または、レベルを表す。一実施形態では、信頼度マップは、物体の境界からのボクセルの距離に基づいて計算される。物体の一部であるとしてラベル付けされたボクセルについて、物体の最も近い境界位置への距離が信頼度を決定するために計算され、用いられる。一般に、物体の中にあるが境界からより遠くにあるボクセルは、物体の中にあるが境界により近いボクセルよりも、物体の一部である可能性がより高い。距離に基づいて信頼度を割り当てる任意の関数を用いた信頼度マップとして、距離マップが用いられ、たとえば、距離の逆数が単独で信頼度として用いられる(または、境界からの距離が信頼度であり、より大きい数がより高い信頼度を表す)。
【0045】
1つのアプローチの例では、セグメンテーションをCTデータにより適合するようリファインする。CTデータをよりよく適合するため、グラフベースのエネルギー関数は以下のように表される:
式中、D
p(L
p)の総和は、体積Pの要素であり、ΣV
p,q(L
p,L
q)の総和は隣りあうボクセルNの対の集合の要素p,qであり、L={L
p|p∈P}は、体積Pの二値ラベル化(L
p∈{0,1})であり、D
p(L
p)は下記式で定義される1変数のデータ項である:
M(p)は境界変形後のセグメンテーションの境界に対するボクセルpの符号付き最短距離を評価する。pがセグメンテーション(前景)の内側にあればM(p)>0、pがセグメンテーションの外側(背景)にあればM(p)<0、pがセグメンテーションの境界上にあればM(p)=0である。Mは従前のセグメンテーションの信頼度マップと見ることができる。M(p)がより大きければ(より小さければ)、より高い確率で、ボクセルpは前景(または背景)として識別されるべきである。ボクセルpがセグメンテーションの境界に近付いているとき(M(p)≒0)、ラベルL
pはより不明確となり、より高い確率で、セグメンテーションのリファインによって更新される。g(.)は距離を信頼度にマッピングする任意の関数であり、たとえば、以下のように定義されるシグモイド関数である:
式中、τは従前のセグメンテーション結果の不明確さの範囲を制御するパラメタである(たとえば3〜5mm)。式(5)中、Nは隣りあうボクセルの全ての対の集合であり、V
p,qは下記式の2変数の相互作用項である:
式中、δ(.)は下記式のクロネッカーのδ関数であって、
I
p≠I
qの場合、δ(L
p≠L
q)=1であり、I
p=I
qの場合、δ(L
p≠L
q)=0であり、
λおよびσは、それぞれ規則化パラメタおよび一定の係数である。任意の数値が可能であり、たとえば、λは1〜2であり、σは30〜175である。I
pおよびI
qは、ボクセルpおよびqの強度をそれぞれ示す。2変数項は、同様の強度の隣りあうボクセルを、同じラベルに割り当てられるようにする。
【0046】
セグメンテーションは、式(5)のエネルギー関数を最少化することによりリファインされる。エネルギー関数の任意の最適化を用いることができ、たとえば、多項式時間計算量を有する最大フロー最小カットアルゴリズムを用いて解くことができる。他の解、関数、他のグラフベースのコスト関数、または、他のリファインのアプローチも用いることができる。
【0047】
図4Cはグラフベースのセグメンテーションのリファインの後の改善された結果の例を示す。1つまたは複数のエラーが除去される。結果は、CTデータ中のラベル付けされた物体を表すセグメントである。他のセグメンテーションを用いてもよい。
【0048】
複数の物体が個別にまたは個々にセグメンテーションされる。隣りあう物体について、1つまたは複数のボクセルが複数の物体に属するとしてラベル付けされる。個々のセグメンテーションは、通常、良い結果を実現しうるが、個々の骨のセグメンテーションはいかなる空間制約も無く個別に実行される。すなわち、2つの骨についての
図1の例に示されるように、2つの物体が互いに非常に近づいたときに、重なりエラーが生じうる。
【0049】
ステップ60および34において、重なりエラーを除去するために、再セグメンテーションが一体的に実行される。一体的再セグメンテーションでは空間制約を導入して、重なりを防ぐ。セグメンテーションは、空間制約を用いてさらにリファインされるか、または、ステップ30および38のリファインにおいて空間制約が導入される。
【0050】
再セグメンテーションをより計算上効率的にするため、再セグメンテーションは、複数の物体に属するとしてラベルされたボクセルについてのみ、または、重なり位置についてのみ実行される。ステップ32および62において重なり位置が識別される。ボクセルのラベルは、所定のボクセルが複数のボクセルに属するとして個別のセグメンテーションによってラベル付けされているか否かがチェックされる。あるいは、再セグメンテーションは、所定のまたはユーザが設定したサイズの、重なり位置の周囲およびこれを含む局所重なり領域について実行される。別の他の実施形態では、再セグメンテーションは、全ての位置またはボクセルについて実行される。
【0051】
ステップ64において、局所重なり領域が抽出される。重なりに関するCTデータのみが用いられるか、または、重なりの周囲の領域内のデータのみが用いられる。他のデータのデータマスキングによって、または、当該領域または重なり内のボクセルに関する値を除去することにより、再セグメンテーションのためのCTデータが抽出される。あるいは、隣りあうボクセルが再セグメンテーションの計算について利用可能であるように、CTデータが抽出無しに用いられる。
【0052】
ステップ34において、個々のセグメンテーションの結果が一体的に調整される。各位置についてのラベルが、複数ではなく、1つの物体のみに存在するように変更される。所定のボクセルについて、複数の物体のうちの1つを選択するために任意の基準を用いることができる。基準は一体的であり、双方の物体を考慮に入れる。
【0053】
一実施形態では、信頼度マップが一体的再セグメンテーションのために用いられる。複数の物体からの信頼度マップは、各物体の要素である位置またはボクセルの尤度を示す。最高の信頼度を有する物体がボクセルに関する物体として選択される。平滑でない境界を避けるための他のアプローチが一体的な変更のために用いられてもよい。
【0054】
単なる選択ではなく、グラフベースの関数を用いることができる。ステップ66において、空間制約を用いる2変数のコセグメンテーションが用いられる。物体の重なりがなく各ボクセルをラベル付けするように制約されたグラフベースのエネルギー関数が最少化される。ボクセルのラベルを1つの物体のみに存在するか、または、いずれの物体にも存在しないように変更するため、空間制約との組み合わせにおいて距離および信頼度が用いられる。導入された特定の空間排他的制約を用いて、再セグメンテーションによって重なりエラーの完全な除去が保証される。
【0055】
物体の対は、AおよびBとしてラベル付けされる。L
AおよびL
Bは骨AおよびBのラベル付けをそれぞれ表す。L
A(p)=1であれば、ボクセルpは骨Aの内側にあり、そうではなくL
A(p)=0であれば、骨Bの内側にある。式(5)のエネルギー関数は下記式のように2つの物体に展開される:
式中、Dの総和は体積p内のボクセルのものであり、Vの総和は集合N内のボクセルのものであり、全ての符号は式(5)におけるものと同じ意味を有している。式(9)は、セグメンテーションにおける式(5)の使用とは別個に、付加的に用いられる。式(9)は、一体的再セグメンテーションのために用いられ、したがってここでMはステップ30および58のリファインの後のセグメンテーションの結果に基づいている。式(9)に示されるように、E(L
A,L
B)の最少化はE(L
A)およびE(L
B)の最少化に個別に分解可能である。というのも、L
AおよびL
Bの間の相互作用項が式(9)のエネルギー関数中に存在しないからである。物体AおよびBは実質的に個別にセグメンテーションされる。
【0056】
一体的再セグメンテーションに関して、物体AおよびBは空間において重なることができないため、空間排他的制約がL
AおよびL
Bの間に存在する。L
A(p)=1の場合、L
B(p)=0でなければならず、その逆も成り立つ。この空間制約は、下記式のように、2変数項を加えることにより、式(9)のエネルギー関数に導入される:
式中、L
A(p)=L
B(p)=1の場合、W(L
A(p),L
B(p))=∞であり、そうでなければ0である。
【0057】
エネルギー関数
を最少化する最適解は、L
A(p)およびL
B(p)が同時に1でありえないことを保証する(∀p∈P)。導入した2変数項W
A(p),B(p)(L
A(p),L
B(p))は優モジュラであり、というのも、W(0,1)+W(1,0)<W(0,0)+W(1,1)であるからであり、したがって、最大フロー最小カットアルゴリズムによって直接最適化し得ない。この問題に対処するため、ラベルLBの2値的意味が
に反転されるか、または、そうでなければ、このあいまいさを避けるように変更される。エネルギー関数
は、いつでも劣モジュラとなり、最大フロー最小カット解を、L
AおよびL
Bの最適な一体的ラベル付けを見いだすように用いることができる。あるいは、異なる最少化解が用いられてもよい。
【0058】
最少化は、重なりと関連づけられた局所領域についてのみ実行されるため、重なり内のボクセルのみが変更される。調整は識別された重なりボクセルについてのみ実行される。これは、重なり領域の外側のボクセルのラベルの変更を防ぐ。空間制約を用いた一体的セグメンテーションは各個別の骨の最初のセグメンテーションから生じた局所重なり領域についてのみ用いられる。最初のセグメンテーションにおいて重なりが存在しない場合、一体的セグメンテーションはスキップされる。開始時から従前の空間制約を用いる一体的セグメンテーションの実行と比較して(すなわち、個々の個別のセグメンテーション無しの一体的セグメンテーションと比較して)、効率的な計算をもたらされる。
【0059】
ステップ36において、画像はセグメンテーションの調整された結果を含む物体を示す。グラフィック、ハイライト、多色化または他の視覚的な手がかりが、物体同士を区別するために画像に加えられ、含まれる。たとえば、1つの骨または1つの骨の周囲の境界はその骨または別の骨の境界と異なる色である。画像は、最少化後に生成され、隣りあう骨のいずれの部分も両方の骨に属するとして示されない。
図5は、個々のセグメンテーションから得た重なりを有する骨(各対の右側)、および、一体的再セグメンテーションの後に表示された結果(各対の左側)の4つの例を示す。境界は、異なる色のグラフィック線で示されている。
【0060】
画像はユーザまたはプロセッサが選択した視野方向からのCTデータの2次元画像に対する3次元レンダリングである。レンダリングは、サーフェスレンダリング、プロジェクションレンダリングまたは他のレンダリングを用いることができる。他の実施形態では、画像は体積を通る平面を表す2次元画像であり、たとえば、多平面再構成またはユーザが選択した視野面を用いて提供される。
【0061】
図6は、自動化された整形外科手術計画のためのシステムまたはプラットフォームの例を示す。このシステムは、プロセッサ12と、メモリ14と、ディスプレイ16と、CTスキャナ18とを有している。プロセッサ12、メモリ14およびディスプレイ16は、コンピュータ、ラップトップ、タブレット、ワークステーション、サーバ、CTワークステーションまたは他の処理装置である。より多い、異なる、または、より少ない要素が設けられていてもよい。たとえば、ユーザ入力、ネットワークインタフェースおよび/またはマルチプロセッサが設けられる。別の例として、CTスキャナ18は設けられない。
【0062】
CTスキャナ18は、ソースおよびディテクタを有している。ガントリが患者の周りでソースおよびディテクタを回転させる。CアームがCTデータを形成するCT様のイメージング用ガントリに代わって用いられてもよい。プロセッサ12または他のプロセッサ(たとえばCTスキャナ18の)が検出されたX線情報から体積を表すCTデータを再構成する。
【0063】
ディスプレイ16は、CRT、LCD、フラットパネル、プラズマ、プロジェクタ、プリンタ、これらの組み合わせあるいは、他の任意の現在既知のまたは今後開発されるディスプレイである。画像処理ユニットまたは他のハードウェアまたはソフトウェアを用いて、ディスプレイ16は、グラフィカルユーザインタフェース、CT画像、セグメント情報を含むCT画像またはこれらの組み合わせを表すために、デカルト座標または他の座標フォーマットの黒白または多色のピクセルを生成する。代替的なまたは付加的な実施形態では、セグメントは、メモリ14、異なるメモリに出力されるか、ネットワークを介して送信されるか、または、別の処理(たとえば、手術計画、インプラント設計または切削ガイド設計)のためにプロセッサ12に送られる。
【0064】
メモリ14は、信用度マップ、距離、識別器、モデル、計算された入力特徴、画像、CTデータ、または、3次元コンピュータ断層撮影のための複数の骨のセグメンテーションに用いられる他の情報を保存する。他のデータが保存されてもよい。
【0065】
代替的にまたは付加的に、メモリ14は、3次元コンピュータ断層撮影のための複数の骨のセグメンテーションのためのプログラムされたプロセッサによって実行される命令を表すデータを保存するコンピュータ読み取り可能な不揮発性保存媒体である。本明細書中に記載される処理、方法および/または技術のための命令は、コンピュータ読み取り可能な保存媒体またはメモリ、たとえばキャッシュ、バッファ、RAM、リムーバブルディスク、ハードドライブあるいは、他のコンピュータ読み取り可能な保存媒体において提供される。コンピュータ読み取り可能な保存媒体は、種々の種類の揮発性および不揮発性の保存媒体を含む。図面および本明細書中に記載された機能、ステップまたはタスクは、コンピュータ読み取り可能な保存媒体に保存された1つ以上の命令セットに応じて実行される。機能、ステップまたはタスクは、命令セット、保存媒体、プロセッサまたは処理ストラテジの特定の種類に依存せず、単独でまたは組み合わせで動作する、ソフトウェア、ハードウェア、集積回路、ファームウェア、マイクロコードなどによって実行可能である。同様に、処理ストラテジは、マルチプロセッシング、マルチタスキング、パラレルプロセッシングなどを含んで良い。
【0066】
一実施形態では、命令はローカルまたはリモートシステムによる読み取りのためにリムーバブルメディア装置に保存される。他の実施形態では、命令は、コンピュータネットワークまたは電話回線を通じて転送されるためにリモート位置に保存される。さらに別の実施形態では、命令は、所与のコンピュータ、CPU、GPUまたはシステム内に保存される。
【0067】
プロセッサ12は、汎用プロセッサ、特定目的集積回路、デジタル信号プロセッサ、フィールドプログラマブルゲートアレイ、マルチプロセッサ、アナログ回路、デジタル回路、ネットワークサーバ、画像処理ユニット、これらの組み合わせ、あるいは、既知のまたは今後開発されるセグメンテーションを実行するための装置である。ユーザは、たとえば、起動コマンドを入力し、患者を選択し、患者の骨のデータを選択し、外科処置を選択し、そうでなければセグメンテーションを呼び出すワークフローを初期化する。プロセッサ12は、隣りあう物体を含む複数の物体を、重なり無しで自動的にセグメンテーションする。処理を通じたシーケンシングによって、プロセッサ12はさらなるユーザ入力無しで、たとえば、画像中の位置または領域の入力無しに、自動的にセグメンテーションするよう構成されている。代替的な実施形態では、ユーザは、たとえば1つ以上の位置を入力することにより、セグメンテーションを確認し、および/または、変更することができる。
【0068】
一実施形態では、プロセッサ12は、メモリ14について3.23GBのRAMを有する2.29GHzで動作するインテル(登録商標)コア(商標)CPUである。最初のセグメンテーションそれぞれについて(
図2参照)、プロセッサ12は、セグメンテーションされる骨に依存して、約20〜30秒を要する。重なり領域は通常、全体体積よりもはるかに小さい。一体的再セグメンテーションが最初のセグメンテーションから生じた局所重なり領域にのみ用いられる場合、一体的再セグメンテーションは効率的に計算可能である。たとえば、一体的再セグメンテーションは、平均約1秒で実行される。最初のセグメンテーションが重なりを生じなければ、一体的再セグメンテーションは、無視できる追加計算コストでスキップされる。一体的再セグメンテーションは、100%で重なりエラーを低減するが、他の実施形態では、それよりも低く低減する場合がある。
【0069】
セグメンテーションには、機械学習識別器の使用が含まれる。1つまたは複数の機械学習検出器または識別器が姿勢、境界、統計的形状および/または境界変形を検出するために用いられる。任意の機械学習を用いることができる。1分類または2値識別器、異なる識別器の集まり、カスケード化識別器、階層的識別器、多分類識別器、モデルベース識別器、機械学習ベースの識別器、または、これらの組み合わせを用いることができる。多分類識別器には、CART、k近傍法、ニューラルネットワーク(たとえば、多層パーセプトロン)、混合モデル、その他が含まれる。確率ブーストツリーが使用可能である。エラー訂正符号を教師信号として用いるパターン識別器(ECOC)が使用可能である。
【0070】
識別器は、コンピュータを用いてトレーニングデータセットからトレーニングされる。任意の数の、エキスパートのアノテーションによるデータセットが用いられる。たとえば、関心のある物体を表す約20万個の体積がアノテーションされる。異なるトレーニングセット、または、異なるアノテーションを有する同じトレーニングセットが、異なる物体、異なる境界点、異なる姿勢パラメタ、または、他の異なる識別器の使用のために、機械トレーニング識別器に用いられる。アノテーションは、体積内の物体の境界または体積から抽出された平面などのグラウンドトルースを示す。この多数のアノテーションによって、機械学習の使用により、起こりうる特徴の大きなプールにわたって関連する特徴が学習できる。
【0071】
任意の特徴を用いることができる。特徴には、3D Haar特徴、ウェーブレット様特徴、強度特徴、ステアラブル特徴、グラジエント特徴、および/または、他の特徴が含まれる。識別器は、所望の解剖構造と検出されない情報とを区別するために種々の特徴ベクトルを学習する。識別器は、特徴に基づいて区別するよう教育される。解剖構造のセグメンテーションに関連する特徴が抽出され、エキスパートのアノテーションに基づいた機械アルゴリズムにおいて学習される。トレーニングによって、所定の識別に対する最も決定力のある特徴が決定され、決定力の無い特徴が破棄される。特徴の異なる組み合わせを、異なる物体の検出、異なる解像度または時間における同じ物体、および/または、異なる位置、移動、回転またはスケールに関連づけられた同じ物体の検出に用いることができる。たとえば、異なる一連の識別段階で、3D体積データから計算される異なる特徴が用いられる。各識別器は、ポジティブなターゲットをネガティブなものから区別するために用いられる区別力のある特徴の集合を選択する。
【0072】
識別器に用いられるデータはCTデータである。再構成されたCT強度から特徴が抽出される。CTデータは生の、再構成されたデータである。他の実施形態では、データはフィルタリングされ、またはそうでなければ、セグメンテーションのための使用の前に処理される。他の種類のイメージング(たとえば異なるモダリティ)のデータまたは患者特有の非イメージングデータ(たとえば年齢、体重および/または他の診断に関連する情報)が用いられうる。
【0073】
一度トレーニングされると、識別器はセグメンテーションの一部として用いられる。1つまたは複数の識別器の区別力のある特徴に対応する患者特有のデータの入力により、異なる物体の位置が決定される。トレーニングされた識別器は、行列で表され、入力された特徴の値がこの行列および学習された出力結果に入力される。行列以外の他の構造も、学習識別器の具体化に用いることができる。
【0074】
本発明について種々の実施形態を参照して上述したが、本発明の内容を逸脱することなく、多くの変更および修正がなされうる。したがって、上述の詳細な説明は、限定ではなく例示を意図したものであり、請求項が、全ての均等物を含み、本発明の内容および範囲を定める。