特許 6782051 オンライン学習により強化されたアトラスベース自動セグメンテーション

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6782051

(24)【登録日】2020年10月21日

(45)【発行日】2020年11月11日

(54)【発明の名称】オンライン学習により強化されたアトラスベース自動セグメンテーション

(51)【国際特許分類】

   A61B 6/03 20060101AFI20201102BHJP

   G06T 7/11 20170101ALI20201102BHJP

   G06T 7/00 20170101ALI20201102BHJP

   A61N 5/10 20060101ALI20201102BHJP

【ＦＩ】

   A61B6/03 377

   G06T7/11

   G06T7/00 612

   G06T7/00 350B

   A61B6/03 360D

   A61N5/10

【請求項の数】20

【全頁数】22

(21)【出願番号】特願2019-533365(P2019-533365)

(86)(22)【出願日】2017年11月30日

(65)【公表番号】特表2020-503923(P2020-503923A)

(43)【公表日】2020年2月6日

(86)【国際出願番号】US2017063964

(87)【国際公開番号】WO2018118373

(87)【国際公開日】20180628

【審査請求日】2019年8月16日

(31)【優先権主張番号】15/386,673

(32)【優先日】2016年12月21日

(33)【優先権主張国】US

【早期審査対象出願】

(73)【特許権者】

【識別番号】517150065

【氏名又は名称】エレクタ、インク．

【氏名又は名称原語表記】ＥＬＥＫＴＡ，ＩＮＣ．

(74)【代理人】

【識別番号】100087479

【弁理士】

【氏名又は名称】北野 好人

(72)【発明者】

【氏名】ハン シャオ

【審査官】 佐々木 龍

(56)【参考文献】

【文献】 特表２０１６−５１３３２８（ＪＰ，Ａ）

【文献】 米国特許出願公開第２０１５／０２４８７６８（ＵＳ，Ａ１）

【文献】 特開２００４−１７４２１９（ＪＰ，Ａ）

【文献】 特開２０１２−１６４０２６（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ａ６１Ｂ ６／００ −６／１４

Ａ６１Ｂ ５／０５５

Ｇ０６Ｔ １／１６１−１／１６６

(57)【特許請求の範囲】

【請求項1】

画像セグメンテーション方法であって、
複数のアトラスおよび対象画像を受信し、各アトラスは、関心ある構造および関連する構造描写を示すアトラス画像を含み、前記対象画像は、画像取得装置によって取得され、前記関心ある構造を示すことと、
画像プロセッサによって、前記それぞれのアトラスを前記対象画像に登録することによりマッピングされたアトラスを計算することと、
前記画像プロセッサによって、前記マッピングされたアトラスに基づいて前記対象画像の第１の構造ラベルマップを決定することと、
前記対象画像の所定の領域の前記マッピングされたアトラスの第１のセットの第１の構造ラベルが、前記所定の領域の前記マッピングされたアトラスの異なる第２のセットの第２の構造ラベルと相違することを決定することと、
前記第１の構造ラベルが前記第２の構造ラベルと相違すると決定されたことに応答して、前記対象画像に登録された前記複数のアトラスのうちの少なくとも１つを含む前記マッピングされたアトラスのサブセットに対する前記所定の領域に対応する訓練サンプルを選択することと、
前記画像プロセッサによって、前記所定の領域に対応する前記選択された訓練サンプルを用いて構造分類器を訓練することと、
前記画像プロセッサによって、前記訓練された構造分類器を前記対象画像内の１つまたは複数の対象画像点に適用することによって、前記対象画像に対する第２の構造ラベルマップを決定することと、
前記画像プロセッサによって、前記第１の構造ラベルマップと前記第２の構造ラベルマップとを組み合わせて、前記関心ある構造を表す第３の構造ラベルマップを生成することと
を含むことを特徴とする方法。

【請求項2】

請求項１記載の方法において、
前記マッピングされたアトラスを計算することは、
各アトラス内の前記アトラス画像を前記対象画像にマッピングすることと、
前記マッピングすることに基づいて、各アトラスに対する登録変換を計算することと、
前記アトラスの構造描写に登録変換を適用することによって、各アトラスのマッピング構造描写を計算することと
を含むことを特徴とする方法。

【請求項3】

請求項２記載の方法において、
前記第１の構造ラベルマップを決定することは、
前記それぞれのマッピングされた構造描写に基づいて、前記アトラスに対応するアトラスベース自動セグメンテーション（ＡＢＡＳ）構造ラベルマップを決定することと、
前記ＡＢＡＳ構造ラベルマップを融合することよって、前記第１の構造ラベルマップを決定すること
を含むことを特徴とする方法。

【請求項4】

請求項３記載の方法において、
前記ＡＢＡＳ構造ラベルを融合することは、多数決投票法または同時真理およびパフォーマンスレベル推定（ＳＴＡＰＬＥ）法のうちの少なくとも１つに従うことである
ことを特徴とする方法。

【請求項5】

請求項１記載の方法において、
前記それぞれのアトラスを前記対象画像に登録することは、各アトラス画像および前記対象画像を共通の基準画像にマッピングすることを含む
ことを特徴とする方法。

【請求項6】

請求項５記載の方法において、
前記基準画像は、前記アトラス画像を平均化することによって得られる平均アトラス画像である
ことを特徴とする方法。

【請求項7】

請求項１記載の方法において、
選択基準に基づいて前記マッピングされたアトラスのサブセットを選択することを更に含む
ことを特徴とする方法。

【請求項8】

請求項７記載の方法において、
前記マッピングされたアトラスの前記サブセットを選択することは、
各マッピングされたアトラス画像と前記対象画像との間の画像類似度を決定することと、
前記それぞれのマッピングされたアトラス画像の前記画像類似度に基づいて前記マッピングされたアトラスをランク付けすることと、
前記ランク付けすることに基づいて前記マッピングされたアトラスの前記サブセットを選択することと
を含むことを特徴とする方法。

【請求項9】

請求項８記載の方法において、
前記画像類似度を決定することは、前記対応するマッピングされたアトラス画像の全体が前記対象画像の全体とどのように相関するかを示すグローバル類似度を決定すること、または、前記対応するマッピングされたアトラス画像内の前記関心ある構造が前記対象画像内の前記関心ある構造とどのように相関するかを示すローカル類似度を決定することを含む
ことを特徴とする方法。

【請求項10】

請求項１記載の方法において、
前記所定の領域に対応する前記選択された訓練サンプルを用いて構造分類器を訓練することは、ランダムフォレスト機械学習アルゴリズムを適用して前記構造分類器を訓練することを含む
ことを特徴とする方法。

【請求項11】

請求項１記載の方法において、
前記１つまたは複数のマッピングされたアトラスのそれぞれから複数の訓練サンプルを選択することを更に含む
ことを特徴とする方法。

【請求項12】

請求項１１記載の方法において、
前記マッピングされたアトラスの第１のセットの前記第１の構造ラベルが、前記マッピングされたアトラスの前記第２のセットの前記第２の構造ラベルと相違することを決定することは、前記所定の領域に対するマッピングされたアトラス間の構造ラベル間の不一致が所定のレベルより大きいことを決定することを含む
ことを特徴とする方法。

【請求項13】

請求項１１記載の方法において、
前記訓練サンプルの属性を計算することを更に含み、
前記構造分類器を訓練することは前記属性を使用することである
ことを特徴とする方法。

【請求項14】

請求項１３記載の方法において、
前記属性は、事前訓練された畳み込みニューラルネットワークを使用して計算される
ことを特徴とする方法。

【請求項15】

請求項１記載の方法において、
前記第１の構造ラベルマップに基づいて前記対象画像から前記１つまたは複数の対象画像点を選択することを更に含む
ことを特徴とする方法。

【請求項16】

請求項１５記載の方法において、
前記１つまたは複数の選択された対象画像点が、セグメンテーションのあいまいさを示す構造ラベルに対応する
ことを特徴とする方法。

【請求項17】

複数のアトラスおよび対象画像を受信して記憶するように構成されたメモリであって、各アトラスは、関心ある構造および関連する構造描写を示すアトラス画像を含み、前記対象画像は、画像取得装置によって取得され、前記関心ある構造を示すメモリと、
前記メモリに接続された画像プロセッサと
を有する画像セグメンテーション装置であって、
前記画像プロセッサは、
前記それぞれのアトラスを前記対象画像に登録することによりマッピングされたアトラスを計算し、
前記マッピングされたアトラスに基づいて前記対象画像の第１の構造ラベルマップを決定し、
前記対象画像の所定の領域の前記マッピングされたアトラスの第１のセットの第１の構造ラベルが、前記所定の領域の前記マッピングされたアトラスの異なる第２のセットの第２の構造ラベルと相違することを決定し、
前記第１の構造ラベルが前記第２の構造ラベルと相違すると決定されたことに応答して、前記対象画像に登録された前記複数のアトラスのうちの少なくとも１つを含む前記マッピングされたアトラスのサブセットに対する前記所定の領域に対応する訓練サンプルを選択し、
前記所定の領域に対応する前記選択された訓練サンプルを用いて構造分類器を訓練し、
前記訓練された構造分類器を前記対象画像内の１つまたは複数の対象画像点に適用することによって、前記対象画像に対する第２の構造ラベルマップを決定し、
前記第１の構造ラベルマップと前記第２の構造ラベルマップとを組み合わせて、前記関心ある構造を表す第３の構造ラベルマップを生成する
ように構成されている
ことを特徴とする画像セグメンテーション装置。

【請求項18】

請求項１７記載の画像セグメンテーション装置において、
前記画像プロセッサは、更に、前記それぞれのマッピングされたアトラス画像と前記対象画像との間の画像類似度に基づいて、前記マッピングされたアトラスの前記サブセットを選択するように構成されている
ことを特徴とする画像セグメンテーション装置。

【請求項19】

請求項１７記載の画像セグメンテーション装置において、
前記画像プロセッサは、更に、前記第１の構造ラベルマップに基づいて、前記対象画像から前記１つまたは複数の対象画像点を選択するように構成されている
ことを特徴とする画像セグメンテーション装置。

【請求項20】

画像プロセッサにより実行されたときに、前記プロセッサに、画像セグメンテーション方法を実行させる命令を格納する非一時的コンピュータ可読媒体であって、
前記画像セグメンテーション方法は、
複数のアトラスおよび対象画像を受信し、各アトラスは、関心ある構造および関連する構造描写を示すアトラス画像を含み、前記対象画像は、画像取得装置によって取得され、前記関心ある構造を示すことと、
前記それぞれのアトラスを前記対象画像に登録することによりマッピングされたアトラスを計算することと、
前記マッピングされたアトラスに基づいて前記対象画像の第１の構造ラベルマップを決定することと、
前記対象画像の所定の領域の前記マッピングされたアトラスの第１のセットの第１の構造ラベルが、前記所定の領域の前記マッピングされたアトラスの異なる第２のセットの第２の構造ラベルと相違することを決定することと、
前記第１の構造ラベルが前記第２の構造ラベルと相違すると決定されたことに応答して、前記対象画像に登録された前記複数のアトラスのうちの少なくとも１つを含む前記マッピングされたアトラスのサブセットに対する前記所定の領域に対応する訓練サンプルを選択することと、
前記所定の領域に対応する前記選択された訓練サンプルを用いて構造分類器を訓練することと、
前記訓練された構造分類器を前記対象画像内の１つまたは複数の対象画像点に適用することによって、前記対象画像に対する第２の構造ラベルマップを決定することと、
前記第１の構造ラベルマップと前記第２の構造ラベルマップとを組み合わせて、前記関心ある構造を表す第３の構造ラベルマップを生成することと
を含むことを特徴とする非一時的コンピュータ可読媒体。

【発明の詳細な説明】

【技術分野】

【0001】

［１］
本開示は、アトラスベース自動セグメンテーション（ＡＢＡＳ）に関し、より詳細には、オンライン学習により強化されたＡＢＡＳのためのシステムおよび方法に関する。

【背景技術】

【0002】

［２］
患者の臓器などの構造物の決定および１つの構造物の形状の抽出は、画像診断、画像誘導手術、画像誘導放射線療法のような多くの医用画像アプリケーションにとって不可欠である。そのようなアプリケーションでは、１つの標的の構造または複数の標的の構造は、患者のコンピュータ断層撮影（ＣＴ）画像のような画像から決定される必要がある。患者の標的の構造の決定は、通常、構造のコンタリング（contouring：輪郭形成）またはセグメンテーション（segmentation：分割）として知られている。評価者（rater）とも呼ばれる人間の専門家による手動コンタリングは、依然として診療所での高品質セグメンテーションのための一般的なアプローチであるが、手動コンタリングは面倒で時間がかかり、評価者内のおよび／または評価者間の大きな変動による問題を抱えている。

【0003】

［３］
画像の自動セグメンテーションは、ノイズやその他のアーティファクト、および多くの軟組織構造に対する制限された画像コントラストのために、困難な場合がある。近年、アトラスベース自動セグメンテーション（ＡＢＡＳ）技術が解決策として期待されている。ＡＢＡＳは、例えば、以前に治療された患者から、または同じ対象患者の以前の治療からのセグメント化された画像のような、１つまたは複数の以前にセグメント化された画像を使用して対象画像のセグメント化を実行することを含んでいる。以前にセグメント化された画像とその注釈（annotation）、例えば構造ラベルマップまたは構造面は、アトラスと呼ばれる。画像登録（画像レジストレーション(image registration))とも呼ばれる画像マッチングを通して対象患者から得られた新しい対象画像にアトラス画像を位置合わせすることによって、画像変換（image transformation）が計算される。対象画像の構造ラベルは、計算された画像変換を使用して、アトラスで定義された構造ラベルを対象画像にマッピングすることにより生成される。

【0004】

［４］
ＡＢＡＳの精度は通常、使用されるアトラス画像の品質と量に依存する。例えば、ＡＢＡＳプロセスでは複数のアトラスを使用して、冗長性を提供することができる。一方、対象画像内のものと類似の基礎となる対象物を示すアトラス画像も、対象画像のラベル付けの精度の改善に役立つ可能性がある。開示された方法およびシステムは、画像セグメンテーションに対する従来のＡＢＡＳの精度をさらに向上させるように設計されている。

【発明の概要】

【0005】

［５］
本開示の一態様は、画像セグメンテーション方法に関する。この方法は、複数のアトラスと対象画像を受け取ることを含み、各アトラスは、関心のある構造および関連する構造の描写を示すアトラス画像を含み、対象画像は、画像取得装置により取得され、関心のある構造を示す。この方法は、さらに、それぞれのアトラスを対象画像に位置合わせし、マッピングされたアトラスに基づいて、画像プロセッサによって対象画像のための第１の構造ラベルマップを決定することにより、画像プロセッサによってマッピングされたアトラスを計算することを含む。この方法は、また、マッピングされたアトラスのサブセットを使用して、画像プロセッサによって構造分類器を訓練することと、訓練された構造分類器を対象画像内の１つまたは複数の画像ポイントに適用することによって、画像プロセッサによって対象画像の第２の構造ラベルマップを決定することを含む。この方法は、また、画像プロセッサによって、第１のラベルマップと第２のラベルとを組み合わせ、関心のある構造を表す第３のラベルマップを生成することを含む。

【0006】

［６］
本開示の他の態様は、画像セグメンテーションシステムに関する。このシステムは、メモリと、メモリに接続された画像処理装置とを含む。このメモリは、複数のアトラスと対象画像とを受信して記憶するように構成され、各アトラスは、関心のある構造および関連する構造の描写を示すアトラス画像を含み、対象画像は、画像取得装置によって取得され、関心のある構造を示す。この画像プロセッサは、それぞれのアトラスを対象画像に位置合わせすることによってマッピングされたアトラスを計算し、マッピングされたアトラスに基づいて対象画像のための第１の構造ラベルマップを決定するように構成されている。この画像プロセッサは、マッピングされたアトラスのサブセットを使用して構造分類器を訓練し、訓練された構造分類器を対象画像における１つまたは複数の対象画像点に適用することにより対象画像に対する第２の構造ラベルマップを決定するように構成されている。この画像プロセッサは、また、第１のラベルマップと第２のラベルマップとを組み合わせ、関心のある構造を表す３番目のラベルマップを生成するように構成されている。

【0007】

［７］
本開示のさらに別の態様は、画像プロセッサにより実行されたとき、プロセッサにより、画像セグメンテーション方法を実行させる命令を格納する非一時的コンピュータ可読記憶媒体に関する。この方法は、複数のアトラスと対象画像を受け取ることを含み、各アトラスは、関心のある構造および関連する構造の描写を示すアトラス画像を含み、対象画像は、画像取得装置により取得され、関心のある構造を示す。この方法は、さらに、それぞれのアトラスを対象画像に位置合わせすることによってマッピングされたアトラスを計算し、マッピングされたアトラスに基づいて対象画像のための第１の構造ラベルマップを決定することを含む。この方法は、また、マッピングされたアトラスのサブセットを使用して構造分類器を訓練し、訓練された構造分類器を対象画像における１つまたは複数の対象画像点に適用することにより対象画像に対する第２の構造ラベルマップを決定することを含む。この方法は、さらに、第１のラベルマップと第２のラベルマップとを組み合わせ、関心のある構造を表す３番目のラベルマップを生成することを含む。

【0008】

［８］
本開示による特徴および利点は、以下の説明に部分的に記載され、そして、以下の説明から部分的に明らかになり、または本開示の実施によって習得することができる。そのような特徴および利点は、構成要素の手段と添付の特許請求の範囲において特に指摘された組み合わせにより実現されそして達成されるであろう。

【0009】

［９］
前述の一般的な説明および後述の詳細な説明の両方は例示的および説明的なものにすぎず、特許請求の範囲に記載の本発明を限定するものではないことを理解されたい。

【図面の簡単な説明】

【0010】

［１０］
必ずしも一定の縮尺で描かれていない図面において、同様の数字は異なる図において同様の構成要素を説明することがある。異なる文字の接尾辞を有する同じ数字は、類似の構成要素の異なる事例を表すことがある。図面は、一般に、例として説明するが、本文書に記載された様々な実施形態を限定するものではない。

【0011】

［１１］

【図1】図１は、本開示のいくつかの実施形態による、例示的な放射線治療システムを示すブロック図である。

【0012】

［１２］

【図2】図２は、本開示のいくつかの実施形態による、例示的な画像誘導放射線治療装置を示す図である。

【0013】

［１３］

【図3】図３は、本開示のいくつかの実施形態による、例示的な画像セグメンテーションシステムを示す図である。

【0014】

［１４］

【図4】図４は、例示的な実施形態による、図３の画像セグメンテーションシステムによって実行される例示的な画像セグメンテーション方法を示すフローチャートである。

【0015】

［１５］

【図5】図５は、例示的な実施形態による、図３の画像セグメンテーションシステムによって実行される例示的な構造分類器の訓練方法を示すフローチャートである。

【0016】

［１６］

【図6】図６Ａおよび図６Ｂは、従来の方法および本開示の典型的な方法によるセグメンテーション結果を比較して示す図である。

【発明を実施するための形態】

【0017】

［１７］
以下、本開示による実施形態について、図面を参照しながら説明する。可能な限り、同じ参照番号は、図面全体を通して、同一または類似の部分を指すために使用される。

【0018】

［１８］
本開示による実施形態は、オンライン学習により強化されたアトラスベース自動セグメンテーション（ＡＢＡＳ）のためのシステムおよび方法を含む。本明細書に特定されていないいくつかの例の詳細な説明、例えば、ＡＢＡＳ方法の詳細な説明は、出願人の以前の米国特許第９１２２９５０号明細書に見つけることができ、その全内容は、参照により本明細書に組み込まれる。

【0019】

［１９］
開示されたシステムおよび方法は一般に、１つまたは複数のアトラスに基づいて対象画像をセグメント化するように設計されている。本明細書で一貫して使用されるように、「アトラス（atlas）」は、画像点がどの構造に属するかを示す対応する構造描写（注釈）（structure delineations (annotations)）を含む。「対象画像（subject image）」は、対象患者の画像であり、まだセグメント化されていない。開示された方法およびシステムは、１つまたは複数のアトラスに基づいて対象画像をセグメント化するために適用される。対象画像は、画像取得装置により取得することができる。

【0020】

［２０］
アトラス画像とも呼ばれるアトラス内の画像は、他の患者の画像、または早い時期に撮影された対象患者の以前の画像であり得る。本開示では、対象画像またはアトラス画像のいずれかの画像は、画像が２次元（２Ｄ）画像の場合はピクセルとして、または、画像が３次元（３Ｄ）画像の場合はボクセルとして、参照することができる複数の画像点を含む。対象画像内の画像点は、対象画像点（subject image point）と呼ばれる。同様に、アトラス画像内の画像点は、アトラス画像点（atlas image point）と呼ばれる。

【0021】

［２１］
構造描写は、例えば、構造ラベルマップ、構造面、または構造輪郭として表すことができる。以下の説明では、構造描写の例としてラベルマップを使用し、構造面や等高線のシナリオにも同様に適用される。ラベルマップは、各々が対応する画像点を関心のある特定の構造内にあるものとして識別する構造ラベルのマップを指す。あるいは、本開示によれば、ラベルマップは確率マップであってもよく、確率マップは各々が構造に属する画像点の確率を表す構造ラベルを含む。例えば、複数の構造を含む対象画像をセグメントする場合、画像点の構造ラベルは、検討中の各構造に属する画像点がどれだけありそうかを示す確率値のセットを提供する。開示されたシステムおよび方法は、対象画像に対する推定構造ラベルマップを提供する。

【0022】

［２２］
図１は、本開示のいくつかの実施形態による、例示的な放射線治療システム１００を示すブロック図である。放射線療法システム１００はＩＧＲＴシステムであり得る。図１に示すように、放射線治療システムは、制御コンソール１１０、データベース１２０、放射線治療装置１３０、および画像取得装置１４０を含み得る。いくつかの実施形態において、放射線治療装置１３０および画像取得装置１４０は、図１の破線ボックス１５０で示されるように、単一の画像誘導放射線治療装置１５０に統合することができる。いくつかの実施形態では、放射線治療装置１３０と画像取得装置１４０は別々の装置でもよい。いくつかの実施形態では、放射線治療装置１３０および画像取得装置１４０は、図１の放射線治療装置１３０と画像取得装置１４０との間の一点鎖線で示されるように、互いに物理的または通信可能に接続されることができる。

【0023】

［２３］
制御コンソール１１０は、放射線治療装置１３０および画像取得装置１４０を制御する、および／または、治療計画、治療実行、画像取得、画像処理、モーショントラッキング、モーション管理、または放射線治療プロセスに関与するその他の作業のような機能または操作を実行するためのハードウェアおよびソフトウェア構成要素を含み得る。制御コンソール１１０のハードウェア構成要素は、１つまたは複数のコンピュータ（例えば、汎用コンピュータ、ワークステーション、サーバ、端末、携帯／モバイル機器など）、プロセッサ装置（例えば、中央処理装置（ＣＰＵ）、グラフィックスプロセッシングユニット（ＧＰＵ）、マイクロプロセッサ、デジタルシグナルプロセッサ（ＤＳＰ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、特殊用途または特別に設計されたプロセッサなど）、メモリ／記憶装置（例えば、読み出し専用メモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、フラッシュメモリ、ハードドライブ、光ディスク、ソリッドステートドライブ（ＳＳＤ）など）、入力装置（例えば、キーボード、マウス、タッチスクリーン、マイク、ボタン、ノブ、トラックボール、レバー、ハンドル、ジョイスティックなど）、出力装置（例えば、ディスプレイ、プリンタ、スピーカ、振動装置など）、または他の適切なハードウェアを含み得る。制御コンソール１１０のソフトウェア構成要素は、オペレーションシステムソフトウェア、アプリケーションソフトウェアなどを含み得る。例えば、図１に示すように、制御コンソール１１０は、制御コンソール１１０のメモリ／記憶装置に格納することができる治療計画／送達ソフトウェア１１５を含むことができる。ソフトウェア１１５は、以下に詳細に説明するプロセスを実行するためのコンピュータ可読および実行可能コードまたは命令を含み得る。例えば、制御コンソール１１０のプロセッサ装置は、コードまたは命令にアクセスして実行するためのソフトウェア１１５を格納するメモリ／記憶装置に通信可能に接続することができる。コードまたは命令の実行は、プロセッサ装置に、開示された実施形態による１つまたは複数の機能を達成するための動作を実行することができる。

【0024】

［２４］
制御コンソール１１０は、データにアクセスするためにデータベース１２０に通信可能に接続されることができる。いくつかの実施形態では、データベース１２０は、１つまたは複数のハードドライブ、光ディスク、および／または制御コンソール１１０の近くにあるサーバのようなローカルハードウェアデバイスを使用して実装することができる。いくつかの実施形態では、データベース１２０は、制御コンソール１１０から遠隔に配置されたデータセンタまたはサーバに実装することができる。制御コンソール１１０は、有線または無線通信を介してデータベース１２０に格納されているデータにアクセスすることができる。

【0025】

［２５］
データベース１２０は患者データ１２２を含み得る。患者データは、（１）患者の解剖学的領域、臓器、または関心のあるセグメンテーションデータのボリュームに関連付けられた画像データ（例えば、ＭＲＩ、ＣＴ、Ｘ線、ＰＥＴ、ＳＰＥＣＴなど）、（２）機能臓器モデリングデータ（例えば、直列対並列臓器、および適切な用量反応モデル）、（３）放射線量データ（例えば、線量−体積ヒストグラム（ＤＶＨ）情報を含み得る）、または（４）患者または治療方針に関する他の臨床情報、のような情報を含み得る。

【0026】

［２６］
データベース１２０は機械データ１２４を含むことができる。機械データ１２４は、放射線ビームサイズ、アーク配置、オン／オフ期間、放射線治療計画データ、マルチリーフコリメータ（ＭＬＣ）構成、ＭＲＩパルスシーケンスなどのような、放射線治療装置１３０、画像取得装置１４０、または放射線治療に関連する他の機械に関連する情報を含むことができる。

【0027】

［２７］
画像取得装置１４０は患者の医用画像を提供することができる。例えば、画像取得装置１４０は、１つまたは複数のＭＲＩ画像（例えば、２ＤＭＲＩ、３ＤＭＲＩ、２ＤストリーミングＭＲＩ、４ＤボリューメトリックＭＲＩ、４ＤシネＭＲＩ）、コンピュータ断層撮影（ＣＴ）画像、コーンビームＣＴ画像、陽電子放出断層撮影（ＰＥＴ）画像、機能的ＭＲＩ画像（例えば、ｆＭＲＩ、ＤＣＥ−ＭＲＩ、拡散ＭＲＩ）、Ｘ線画像、蛍光透視画像、超音波画像、放射線治療ポータル画像、シングルフォトエミッションコンピュータ断層撮影（ＳＰＥＣＴ）画像、などを提供することができる。したがって、画像取得装置１４０は、ＭＲＩ撮像装置、ＣＴ撮像装置、ＰＥＴ撮像装置、超音波撮像装置、蛍光透視装置、ＳＰＥＣＴ画像装置、または患者の医用画像を取得するための他の医用画像装置を含むことができる。

【0028】

［２８］
放射線療法装置１３０は、レクセルガンマナイフ（Leksell Gamma Knife）、線形加速器、またはＬＩＮＡＣ、または制御可能な方法で患者の解剖学的関心領域に放射線を照射する他の適切な装置を含むことができる。

【0029】

［２９］
図２は、開示された実施形態による例示的な画像誘導放射線治療システム２００を示す。図示するように、システム２００は、カウチ（couch）２１０と、画像取得装置２２０と、放射線送達装置２３０を含むことができる。システム２００は、放射線治療計画に従って放射線療法を患者に施す。いくつかの実施形態では、画像取得装置２２０は、対象患者画像を取得する図１の画像取得装置１４０に対応することができる。

【0030】

［３０］
カウチ２１０は、治療セッション中に患者（図示せず）を支持する。いくつかの実装形態では、カウチ２１０が、カウチ２１０上に横たわった患者をシステム２００内におよび／またはシステム２００から外に移動させるように、カウチ２１０が水平な並進軸（「Ｉ」と表示される）に沿って移動することができる。カウチ２１０は、また並進軸を横切り、中心垂直回転軸を中心に回転することができる。そのような移動または回転を可能にするために、カウチ２１０は、カウチをさまざまな方向に動かし、さまざまな軸に沿って回転させることを可能にするモータ（図示せず）を有することができる。コントローラ（図示せず）が、治療計画に従って患者を適切に配置するために、これらの動きや回転を制御することができる。

【0031】

［３１］
いくつかの実施形態では、画像取得装置２２０は、治療期間前、治療期間中および／または治療期間後の患者の２Ｄまたは３ＤのＭＲＩ画像を取得するために使用されるＭＲＩ装置を含むことができる。画像取得装置２２０は、磁気共鳴イメージング（ＭＲＩ）のための一次磁場を生成する磁石２２１を含むことができる。磁石２２１の動作によって発生した磁力線は、中心並進軸Ｉと実質的に平行に延びている。磁石２２１は、並進軸Ｉと平行に延びる軸を有する１つまたは複数のコイルを含み得る。いくつかの実施形態では、磁石２２１内の１つまたは複数のコイルは、磁石２２１の中央窓２２３がコイルを含まないように離間されてもよい。他の実施形態では、磁石２２１内のコイルは十分に薄いか、放射線治療装置２３０によって生成される波長の放射線に対して実質的に透明であるような低減された密度であり得る。画像取得装置３２０は、磁石２２１の外側の磁界を相殺または減少させるために、ほぼ等しい大きさで反対の極性の磁石２２１の外側の磁界を発生する、１つまたは複数の遮蔽コイルも含むことができる。後述するように、放射線治療装置２３０の放射線源２３１は、磁場が少なくとも一次まで相殺される、または減少させる領域に位置させることができる。

【0032】

［３２］
画像取得装置２２０は、また、主磁場に重ねる傾斜磁場を生成する２つの傾斜磁場コイル２２５、２２６を含むことができる。コイル２２５、２２６は、プロトンの空間符号化を可能にする合成磁場内に勾配を生成ことができ、それでそれらの位置が決定できる。勾配コイル２２５、２２６は、磁石２２１と共通の中心軸の周りに配置されることができ、その中心軸に沿って移動することができる。変位は、コイル２２５とコイル２２６との間にギャップまたは窓を作り出すことができる。実施形態において、磁石２２１はコイル間に中央窓２２３も含み、２つの窓は互いに整列される。いくつかの実施形態では、画像取得装置３２０は、Ｘ線、ＣＴ、ＣＢＣＴ、スパイラルＣＴ、ＰＥＴ、ＳＰＥＣＴ、光トモグラフィ、蛍光画像、超音波画像、または放射線治療ポータル画像装置等のような、ＭＲＩ以外の撮像装置であり得る。

【0033】

［３３］
放射線治療装置２３０は、Ｘ線源または線形加速器のような放射線源２３１、およびマルチリーフコリメータ（ＭＬＣ）２３３を含むことができる。放射線治療装置２３０は、シャーシ２３５に取り付けることができる。１つまたは複数のシャーシモータ（図示せず）は、カウチ２１０が治療領域に挿入されると、カウチ２１０の周囲にシャーシ２３５を回転させることができる。一実施形態では、カウチ２１０が治療領域に挿入されると、シャーシ２３５は、カウチ２１０の周りを連続的に回転可能であり得る。シャーシ２３５は、また、好ましくは放射源２３１に反対側に位置し、放射源２３１と検出器との間に配置されたシャーシ３３５の回転軸を有する、取り付けられた放射線検出器（図示せず）を有することができる。さらに、装置２３０は、例えば、カウチ２１０、画像取得装置２２０、および放射線治療装置２３０のうちの１つまたは複数を制御するために使用される制御回路（図示せず）を含む。放射線治療装置２３０の制御回路は、システム２００内に統合されていてもよく、またはシステム２００から離れていてもよく、機能的には図１に示された制御コンソール１１０によって表されている。

【0034】

［３４］
放射線療法治療セッションの間、患者はカウチ２１０に配置される。次いで、システム２００は、カウチ３１０を、磁気コイル２２１、２２５、２２６およびシャーシ２３５によって画定される治療領域に移動させる。その後、制御コンソール２４０は、放射線源２３１、ＭＬＣ２３３、およびシャーシモータを制御して、放射線治療計画に従って、コイル２２５と２２６との間の窓を通して患者に放射線を送達する。

【0035】

［３５］
図３は、開示された実施形態による例示的な画像セグメンテーションシステム３００を示す。いくつかの実施形態において、画像セグメンテーションシステム３００は、医用画像処理装置３１０および画像データベース３２０を含み、ネットワーク３６０を介して画像取得装置１４０（または３２０）に接続される。

【0036】

［３６］
データベース３２０は、１つまたは複数の対象画像および複数のアトラス画像および対応する構造描写を記憶するように構成されている。対象画像およびアトラス画像は、２Ｄ画像または３Ｄ画像のいずれでもよい。いくつかの実施形態において、データベース３２０は、患者に対する腫瘍治療計画を管理する腫瘍学情報システムの一部であり得る。いくつかの態様では、データベース３２０は、１つまたは複数の放射線療法治療セッション中に、以前取得された画像を有する画像データベースからこれらの画像セットを受け取ることができる。いくつかの実施形態では、画像取得装置１４０は、対象画像を取得し、それらを画像データベース３２０に格納する。画像データベース３２０に格納された画像は、また、１つまたは複数の放射線療法治療セッション中に取得された画像に対応する。

【0037】

［３７］
いくつかの態様では、医用画像処理装置３１０は、アトラス画像およびそれらの画像描写に基づいて対象画像をセグメント化するように構成される。一実施形態では、医用画像処理装置３１０は、図１に示されるように、制御コンソール１１０または放射線治療装置１３０に統合され得る。医用画像処理装置３１０は、セグメンテーション結果を治療計画／送達ソフトウェア１１５に出力して放射線治療の計画をアシストすることができる。制御コンソール１１０は、放射線治療装置１３０を制御して、放射線ビームなどの治療を、セグメンテーション結果のデータに従って対象患者の関心のある構造に向けることができる。

【0038】

［３８］
いくつかの実施形態では、医用画像処理装置３１０は、画像プロセッサ３１１、メモリ３１２、入力／出力インターフェース３１３、入力プロセッサ３１２、ネットワークインターフェース３１４、ディスプレイ３１５、および記憶装置３１６を含むことができる。医用画像処理装置３１０の構成要素は、バスを介して接続されることができる。医用画像処理装置３１０は、専用のコンピュータまたは汎用のコンピュータを使用して実施することができる。例えば、医療画像処理装置３１０は、画像取得および画像処理タスクを実行するために病院用に特注のコンピュータを使用して実施することができる。

【0039】

［３９］
いくつかの実施形態では、画像プロセッサ３１１は、マイクロプロセッサ、中央処理装置（ＣＰＵ）、グラフィックス処理装置（ＧＰＵ）などのような、１つまたは複数の汎用処理装置であり得る。より具体的には、画像プロセッサ３１１は、複合命令セット計算（ＣＩＳＣ）マイクロプロセッサ、縮小命令セット計算（ＲＩＳＣ）マイクロプロセッサ、超長命令語（ＶＬＩＷ）マイクロプロセッサ、他の命令セットを実装するプロセッサ、または命令セットの組み合わせを実装するプロセッサであり得る。様々な実施形態において、画像プロセッサ３１１は、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、デジタルシグナルプロセッサ（ＤＳＰ）、システムオンチップ（ＳｏＣ）のような、１つまたは複数の専用処理装置でもあり得る。いくつかの態様では、画像プロセッサ３１１は、メモリ３１２に通信可能に結合され、その上に格納されたコンピュータ実行可能命令を実行するように構成され得る。

【0040】

［４０］
メモリ３１２は、読み取り専用メモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、相変化ランダムアクセスメモリ（ＰＲＡＭ）、スタティックランダムアクセスメモリ（ＳＲＡＭ）、ダイナミックランダムアクセスメモリ（ＤＲＡＭ）、電気的消去可能プログラマブル読み出し専用メモリ（ＥＥＰＲＯＭ）、他の種類のランダムアクセスメモリ、フラッシュディスクまたは他の形態のフラッシュメモリ、キャッシュ、レジスタ、スタティックメモリ、コンパクトディスク読み取り専用メモリ（ＣＤ−ＲＯＭ）、デジタル多用途ディスク（ＤＶＤ）またはその他の光学式記憶媒体、カセットテープまたは他の磁気記録装置、または、プロセッサ、または他のコンピュータデバイス等によりアクセスされることができる他の非一時的媒体のような、非一時的コンピュータ可読媒体であり得る。

【0041】

［４１］
いくつかの実施形態では、メモリ３１２は、画像データ３２２のような、コンピュータプログラムの実行中に使用または生成されたデータと同様に、１つまたは複数の画像セグメンテーションプログラム３２１のようなコンピュータ実行可能命令を格納することができる。画像プロセッサ３１１は、プログラム３２１を実行し、ＡＢＡＳ法を用いて対象画像をセグメンテーションする。例えば、画像セグメンテーションプログラム３２１は、対象画像に対する構造ラベルを推定するためのプログラムであり得る。いくつかの実施形態では、プログラム３２１は、アトラス登録および／または選択、登録されたおよび／または選択されたアトラスを使用する構造分類器、および訓練された構造分類器を使用する対象画像のセグメンテーションのような、様々な機能を実行することができる。

【0042】

［４２］
画像プロセッサ３１１は、また、メモリ３１２から画像データ３２２を送信および／または受信することができる。画像プロセッサ３１１は、データベース３２０と通信することができ、画像データ３２２をメモリ３１２に読み込むか、または、画像データ３２２をメモリ３１２から画像データベース３２０に格納することができる。いくつかの実施形態では、画像データ３２２は、ＭＲＩ画像、ＣＴ画像、ＰＥＴ画像、超音波画像、およびコンピュータで生成された合成画像などを取得した対象画像を含むことができる。画像データ３２２は、事前収集および処理されてデータベース３２０に格納されているアトラス画像をさらに含み得る。画像プロセッサ３１１は、また、登録されたアトラス画像、構造ラベル、任意の分類子モデルのパラメータのような中間データを生成し、それらをメモリ３１２に送信することができる。

【0043】

［４３］
記憶装置３１６は、画像プロセッサ３１１によって実行される画像処理タスクに関連するデータおよび／またはコンピュータプログラムを記憶するのに利用可能な追加の記憶装置であり得る。いくつかの実施形態では、記憶装置３１６は機械可読記憶媒体を含み得る。一実施形態における機械読取り可能な記憶媒体は単一の媒体であってもよく、「機械可読記憶媒体」という用語は、コンピュータ実行可能命令またはデータの１つまたは複数のセットを格納する単一媒体または複数媒体（例えば、集中型または分散型データベース、および／または関連するキャッシュおよびサーバ）を含むように解釈されるべきである。用語「機械可読記憶媒体」は、また、機械による実行のための一組の命令を記憶または符号化することができ、かつ、機械に任意の１つまたは複数の本開示の方法動作を実行させる任意の非一時的媒体を含むと解釈されるものとする。したがって、「機械可読記憶媒体」という用語は、これに限定されないが、固体メモリ、光学および磁気媒体を含むと解釈されるべきである。

【0044】

［４４］
入力／出力インターフェース３１３は、開示された実施形態によれば、データが医用画像処理装置３１０によって受信および／または送信されることを可能にするように構成され得る。入力／出力インターフェース３１３は、医用画像処理装置３１０がユーザまたは他の機械および装置と通信することを可能にする１つまたは複数のデジタルおよび／またはアナログ通信デバイスを含み得る。例えば、入出力インターフェース３１３は、ユーザが医用画像処理装置３１０に入力するためのキーボードおよびマウスを含み得る。一実施形態では、 入出力インターフェース３１３は、携帯電話、ｉＰａｄ（登録商標）のようなタブレットデバイス、医用画像処理装置３１０とインターフェース可能な他のハンドヘルド電子デバイスのような、携帯デバイスであり得る。そのようなタブレットまたはモバイル機器は、医用画像データおよび医用画像を表示するためのディスプレイを含む。さらに、そのようなタブレットまたはモバイル機器は、データおよび画像を操作するためにタッチスクリーンディスプレイを用いて構成することができる。

【0045】

［４５］
ネットワークインターフェース３１４は、開示された実施形態によれば、医用画像処理装置３１０がネットワーク３６０のようなネットワークを介して通信することを可能にするように構成されることができる。いくつかの実施形態では、ネットワークインターフェース３６０は、ネットワークアダプタ、ケーブルコネクタ、シリアルコネクタ、ＵＳＢコネクタ、パラレルコネクタ、ファイバ、ＵＳＢ３．０、サンダーボルトなどのような高速データ転送アダプタ、Ｗｉ−Ｆｉアダプタ、電気通信（３Ｇ、４Ｇ／ＬＴＥなど）アダプタなどのような無線ネットワークアダプタのうちの少なくとも１つを含み得る。医用画像処理装置５００は、ネットワークインターフェース３１４を介してネットワーク４６０に接続することができる。

【0046】

［４６］
画像ディスプレイ３１５は、開示された実施形態によれば、画像を表示するのに適した任意の表示装置であり得る。例えば、画像ディスプレイ３１５は、ＬＣＤディスプレイ、ＣＲＴディスプレイ、ＬＥＤディスプレイ、有機発光ダイオードであり得る。有機発光トランジスタ、電界放出ディスプレイ、量子ドットまたは液晶ディスプレイ、ＭＥＭＳディスプレイ、フェロ液晶ディスプレイ、厚膜誘電体エレクトロルミネセントディスプレイ、ベンディディスプレイ、折り畳み式ディスプレイ、触覚タッチスクリーン、バーチャルリアリティディスプレイ、３Ｄピクセルディスプレイ、バーチャル網膜ディスプレイ、ホログラフィックディスプレイ、レーザー蛍光体ディスプレイなどであり得る。

【0047】

［４７］
ネットワーク３６０は、図３の構成要素間の通信を提供するように構成され得る。例えば、ネットワーク３６０は、通信を提供し、情報を交換し、および／または電子情報の交換を容易にする、任意のタイプのネットワーク（インフラストラクチャを含む）であり得る。これについて、ネットワーク３６０は、有線接続、無線接続、コンピュータバス、シリアル接続、パラレル接続、イーサネット（登録商標）接続、ローカルエリアネットワークまたはワイドエリアネットワーク、インターネット接続、衛星接続、または、画像セグメンテーションシステム３００の構成要素が任意のフォーマットおよび任意の通信プロトコルの下で相互に情報を送受信することを可能にするその他の適切な接続を含み得る。

【0048】

［４８］
図３は、画像セグメンテーションシステム３００の例示的な構成のみを示すことを企図している。いくつかの実施形態において、追加の構成要素を追加してもよく、および／または、図示された構成要素を組み合わせ、分割し、修正し、または削除してもよい。さらに、いくつかの態様において、画像セグメンテーションシステム３００の少なくとも１つの構成要素は、残りの構成要素から地理的に離れていてもよく、ネットワーク３６０を介した残りの構成要素と通信してもよい。

【0049】

［４９］
図４は、本開示による例示的な画像セグメンテーション方法４００を示すフローチャートである。いくつかの実施形態において、方法４００は、医用画像処理装置３１０のような画像セグメンテーションシステム３００の構成要素によって実行されて、１つまたは複数の対象画像をセグメンテーションする。１つの関心のある構造のみのセグメンテーションを例として記載されているが、方法４００は、空間的に隣接していて高い相関がある膀胱、前立腺、および直腸などの関心のある構造のグループを同時にセグメンテーションするために適用できることが考えられる。ランダムフォレスト（ＲＦ）法のようなさまざまな機械学習法は、同時に複数の構造のセグメンテーションを自然に処理することができる。多重構造分類器のモデルは、複数の構造が空間的に隣接しており、したがって高度に相関している場合に有益である。

【0050】

［５０］
図４に示すように、プロセス４０２において、医用画像処理装置３１０は、データベース１２０から、対象画像と１つまたは複数のアトラスとを含む画像データ３２２を受信する。図４に示す実施形態では、アトラス＃１、アトラス＃２、．．．、およびアトラス＃Ｎが使用される。複数のアトラスを使用することはセグメンテーション精度を改善するために有益であるが、本開示による方法は、一つのアトラスのみが使用されるシナリオに適用される。アトラスのそれぞれはアトラス画像と対応する構造描写（注釈）を含む。

【0051】

［５１］
プロセス４０４において、アトラス画像を対象画像に登録する画像登録（画像レジストレーション(image registration))が実行される。いくつかの実施形態では、登録プロセスは、各アトラス画像の画像点を対象画像点にマッピングすることを含む。いくつかの代替の実施形態では、登録プロセスは、アトラス画像と対象画像の両方を参照画像にマッピングすることを含む。これらの実施形態では、基準画像は、例えば、平均アトラス画像または共通のテンプレート画像とすることができる。このように、アトラス画像は対象画像に「間接的に」マッピングされる。線形の登録、オブジェクト駆動の「ポリスムース（poly-smooth）」な非線形の登録、または形状制約のある高密度の変形可能な登録の１つまたはそれらのいずれの組み合わせのような、様々な画像登録方法を使用することができる。画像登録（画像レジストレーション(image registration))を実行することにより、アトラス画像から基準画像への画像変換が各アトラスについて計算される。

【0052】

［５２］
プロセス４０６において、各アトラスの描写（例えば、構造ラベル）は、アトラスに対応する画像変換を使用して基準画像の空間にマッピングされる。マッピングされた構造ラベルは、対応するアトラスからの対象画像の独立した分類データ、すなわち独立したセグメンテーション結果を表す。

【0053】

［５３］
上述のように、プロセス４０４および４０６は、「登録されたアトラス画像」とも呼ばれるマッピングアトラス画像と、「登録された構造ラベル」とも呼ばれるマッピング構造ラベルとをもたらす。マッピングされたアトラス画像および対応するマッピングされた構造ラベルは、「登録されたアトラス」とも呼ばれるマッピングされたアトラスを構成し、これは、後述するように、対象画像を分類するための構造分類器を訓練するために使用することができる。

【0054】

［５４］
図４を再び参照すると、プロセス４０８で、ラベル融合が実行されて、異なるアトラスからのセグメンテーション結果、例えば、ラベルマップが組み合わされて、関心のある構造についてのコンセンサス（consensus）ＡＢＡＳセグメンテーションが得られる。多数決投票法（majority voting）または同時真理およびパフォーマンスレベル推定（simultaneous truth and performance level estimation：ＳＴＡＰＬＥ）法のようなさまざまなラベル融合方法を使用して、さまざまなアトラスのマッピングされた構造ラベルを、対象画像点に対するＡＢＡＳラベルとも参照される推定構造ラベルを含むコンセンサスＡＢＡＳ構造ラベル推定に統合することもできる。例えば、多数決投票テクニックでは、各対象画像点において、対応する対象画像点が関心のある構造に属するかどうかについて各マッピング構造ラベルが投票する。対象画像点の最終ラベルは、最も投票数の多い１つのラベルとして決定される。例えば、ラベルの値が１（関心のある構造内にある場合）または０（関心のある構造外にある場合）のいずれかであるバイナリの場合、対応する対象画像点でのすべてのラベルの平均をとり、平均が０．５のようなしきい値より高いか低いかに応じて、対象画像点が関心のある構造内であるか関心のある構造外であるかを割り当てることにより、多数決を計算することができる。他の例として、ＳＴＡＰＬＥ法では、各個々のアトラスの能力または正確さの何らかの知的推定に基づいて、最適で等しくない重みを異なるアトラスに割り当てることができる。関心のある構造が複数ある場合、各構造ラベルは、対象画像点がどの構造に属するかを示すか、あるいは対象画像点がそれぞれの構造に属する確率を示す確率値のセットを含むことができる。構造ラベルは、上記と同じ方法を用いて融合することもできる。

【0055】

［５５］
プロセス４１０において、構造分類器は、マッピングされたアトラスのうちの１つまたは複数を使用して訓練される。いくつかの実施形態では、プロセス４０４および４０６から出力されたすべてのマッピングされたアトラス出力は、構造分類器を訓練するために使用される。いくつかの実施形態では、１つまたは複数のマッピングされたアトラスのみが訓練の目的のために選択される。これらの実施形態では、対象の患者に適したマッピングアトラスのサブセットを取得するためにアトラス選択を実行することができる。アトラスの選択にはさまざまな基準を使用できる。例えば、マッピングされた各アトラス画像と、（対象画像が参照画像であるシナリオにおける）対象画像または（参照画像として他の画像が用いられるシナリオにおける）マッピングされた対象画像との間の画像類似度が評価され、マッピングされたアトラスは画像の類似性に基づいてランク付けされることができる。画像類似度は、グローバル類似度、すなわち、全体のマッピングされたアトラス画像と全体の対象画像／マッピングされた対象画像との間の類似性、または、ローカル画像類似度、すなわち、マッピングされたアトラス画像における関心ある構造と対象画像／マッピングされた画像における関心ある構造との間の類似度であり得る。例えば、類似度は、２つの画像間、または２つの画像の対応する部分間の相関として計算することができる。いくつかの実施形態では、それらの対応する分類データの正確性に関して高度の信頼性を有するマッピングされたアトラスが訓練目的に使用される。いくつかの他の実施形態では、アトラスは、対象画像が取得されるのと同じ患者に関連付けられている場合、より高くランク付けされてもよい。

【0056】

［５６］
より高いランクのマッピングされたアトラスが訓練に使用される。構造分類器を訓練するための詳細な過程は、図５を参照して後述する。構造分類器が訓練された後、構造分類器を使用して、画像点の対応する属性に基づいて入力画像点の構造ラベルを決定することができる。

【0057】

［５７］
図４に示すように、プロセス４１２において、ラベル融合から得られたＡＢＡＳ構造ラベル推定を使用して、訓練された構造分類器を使用して、どの対象画像点がさらに分析されるべきかを識別する。さらなる分析のために、対象画像点のサブセットを選択するために様々な技術を使用することができる。例えば、対象画像点に対するＡＢＡＳラベルがあいまいであるかどうかを評価するための基準を定義することができ、次に、ＡＢＡＳラベルがあいまいな対象画像点をさらなる分析に対するサブセットに含めることができる。

【0058】

［５８］
そのようなあいまいさの基準の例として、異なるアトラス登録から得られた様々なＡＢＡＳラベルの中で分類に関して不一致がある対象画像点は、さらなる分析のためにサブセットに含まれる。いくつかの実施形態では、各対象画像点に対するＡＢＡＳラベルは、推定精度（例えば、確率値）を伴う。これらのシナリオでは、推定精度を使用して、関連する対象画像点があいまいかどうかを判断することができる。例えば、例えば５０％以下の精度を有する対象画像点は、さらなる分析のためにサブセットに含まれる。別の例として、関心のある構造の境界付近の近接度を定義して、その近接度内の対象画像点をさらなる分析のためにサブセットに含めることができる。

【0059】

［５９］
いくつかの実施形態では、画像特徴としても知られ、訓練された構造分類器によって使用されることになる属性もプロセス４１２において計算される。これらの属性は、図５に関連して以下でより詳細に説明されるように、構造分類器を訓練するために使用されるのと同じ種類の属性である。畳み込みニューラルネットワークモデルのような機械学習モデルを使用することを含む、様々な方法を使用して属性を計算することができる。

【0060】

［６０］
プロセス４１４において、さらなる分析のためのサブセット内の対象画像点が、訓練された構造分類器に適用され、これは、サブセット内のそれらの画像点に対する他のセットの構造ラベルを提供する。分類器によって推定されたこの構造ラベルのセットは、プロセス４０８において生成されたＡＢＡＳ構造ラベルと一致しても、一致しなくてもよい。

【0061】

［６１］
プロセス４１６において、ＡＢＡＳ構造ラベルと分類子構造ラベルとを組み合わせて最終的な構造ラベルを生成し、これは対象画像に対する最終的なセグメンテーション結果を表す。ラベルを組み合わせるために様々な技術を使用することができる。例えば、ＡＢＡＳ構造ラベル推定と分類子構造ラベル推定との間の多数決投票を採用することができる。別の例として、訓練された構造分類器が硬判定（hard decision）を生成する場合、構造分類器からの結果は別のラベルマップと見なすことができ、ＡＢＡＳから生じるラベルマップと構造分類器によって生成されるラベルマップとの間のラベル融合が達成される。さらに別の例として、ＡＢＡＳおよび構造分類器が構造ラベリング結果として推定確率Ｐ_ＬおよびＰ_Ｃをそれぞれ提供する場合、対象画像点に対する最終構造確率Ｐは、これら２つ技術から推定確率の加重平均として、次式：
Ｐ＝ｗ_ＬＰ_Ｌ＋ｗ_ＣＰ_Ｃ（ただし、ｗ_Ｌ＋ｗ_Ｃ＝１）
で計算することができる。重み付けｗ_Ｌとｗ_Ｃは、互いに同一または異なっていてもよい。重み付けは、手動で設定することもでき、または、交差検証などの訓練の手順に基づいて自動的に決定することもできる。対象画像点に対する最終構造確率Ｐが計算されると、対象画像点が関心ある構造に属するかどうかは、最終構造確率Ｐが０．５のような閾値より高いかどうかにより決定することができる。

【0062】

［６２］
図５は、１つまたは複数のマッピングされたアトラスを使用して構造分類器を訓練するための例示的な方法５００を概略的に示すフローチャートである。訓練目的で使用されるマッピングされたアトラスは、訓練アトラスとも呼ばれる。本開示によれば、機械学習アルゴリズムを訓練アトラスからのデータ（アトラス画像およびそれらに関連する分類データ）に適用して、訓練された構造分類器を生成することができる。本開示によれば、構造分類器は、ラベル融合（方法４００のプロセス４０８）が実行される前、ラベル融合が実行された後であるが更なる分析のための対象画像点が識別される（方法４００のプロセス４０８）前、更なる分析のための対象画像点が識別された後、または、これら２つのプロセスのいずれかの間、に訓練される。

【0063】

［６３］
図５に示すように、プロセス５０２では、各訓練アトラスのマッピングされたアトラス画像から複数の訓練サンプルを選択する。各訓練サンプルは、単一の画像点または一群の画像点（このような一群の画像点はスーパー画像点とも呼ばれる）に対応する。本開示によれば、マッピングアトラス画像からの訓練サンプルは、マッピングアトラス画像上の画像点の全部または一部を含むことができる。画像点の一部のみが訓練に使用されるとき、どの画像点を使用するかを決定するためにサンプル選択を実行する。例えば、訓練サンプルは、マッピングされたアトラス画像全体にわたって完全に無作為に選択することができ、または関心のある構造の境界まで一定の距離内の領域から選択することができる。そのような領域から訓練サンプルを選択する例は、米国特許第９１２２９５０号明細書に記載されている。別の例として、あいまいな領域から多くのサンプルを選択することができるように、サンプル選択を登録結果により導くことができる。あいまいな領域とは、異なるマッピングされたアトラスからの構造ラベルが互いに完全に一致しない、または不一致があるレベルより大きい領域（例えば、１０個のマッピングされたアトラスのうち３つ以上が、他のマッピングされたアトラスとは異なる判断を有する場合）である。

【0064】

［６４］
プロセス５０４において、選択された訓練サンプルについて複数の属性（または特徴）を計算する。これらの属性は、分類タスクの一部として機械学習アルゴリズムによって使用される。対象画像の画像点を分類するために適用されると、訓練された構造分類器は、その画像点に関連する計算された属性に基づいてその画像点の構造ラベルについて決定を下すであろう。各訓練サンプルについて１つまたは複数の種類の属性を計算することができる。例えば、米国特許第９１２２９５０号明細書に詳細が記載されているように、画像強度値、画像位置、画像の勾配および勾配の大きさ、画像のヘッセ行列の固有値、エネルギー、エントロピー、コントラスト、均質性のような画像テクスチャ尺度、局所共起行列、様々なサイズの局所画像パッチの相関のような、様々な種類の属性を使用することができる。あるいは、属性または特徴は、機械学習モデルを使用して自動的かつ適応的に計算することもできる。例えば、畳み込みニューラルネットワークモデルは、サンプル画像から関連する特徴を抽出するように訓練されてもよく、事前訓練されたモデルは、訓練サンプルに適用されて属性を生成してもよい。畳み込みニューラルネットワークは、通常、様々なサイズの特徴マップを生成する、他の層の中のいくつかの畳み込み層を含む。特徴マップは、入力画像（または入力画像の選択された部分）を特徴付ける一般的な特徴を含み、したがって、分類結果をさらに改善するために構造分類器内の特徴として使用することができる。様々な畳み込み層（例えば、最上層、中間層、下層）またはこれらの層の選択からの特徴を使用することができる。いくつかの実施形態では、訓練アトラスが、機械学習アルゴリズムによって使用されることになるアトラス画像点に関する属性をすでに含んでいる場合、属性の計算を省略することができる。

【0065】

［６５］
プロセス５０６において、収集された訓練サンプルおよび計算された属性が機械学習アルゴリズムに適用されて訓練済み構造分類器が生成される。機械学習アルゴリズムは、教師付き学習アルゴリズムとすることができ、これは与えられた訓練データのセットを与えられた予測モデルを推論しようとするものである。例えば、構造分類器を訓練するための機械学習アルゴリズムは、ランダムフォレスト（ＲＦ）機械学習アルゴリズムとすることができ、それは自然に複数のクラス、すなわち、複数の構造を分類するための１つの分類器を扱うことができる。ＲＦ分類器の出力は、入力データがどのクラスに属するか、すなわち対応する画像点がどの構造に属するかの確率の推定であり得る。ＲＦアルゴリズムは、米国特許第９１２２９５０号明細書により詳細に説明されている。訓練された構造分類器が得られた後、それは、方法４００のプロセス４１４で使用されるように、対象画像の自動セグメンテーションに関連して、後の使用中に記憶され適用される。

【0066】

［６６］
図６Ａおよび図６Ｂは、ＳＴＡＰＬＥ法によって推定された構造境界線（黒い破線）と、本開示によるオンライン学習強化ＡＢＡＳ方法によって推定された構造境界線（白い実線）との間の比較を示す。図６Ａ及び図６Ｂに示された対象画像は、同じ対象患者の肝臓と右腎臓の画像である。図６Ａおよび図６Ｂに示されているように、オンライン学習強化ＡＢＡＳ法は、ＳＴＡＰＬＥ法よりも正確な境界線を生成する。特に、図６Ｂに示すように、ＳＴＡＰＬＥ法は腎臓の底部を間違えているが、オンライン学習強化ＡＢＡＳ法からの推定境界線は腎臓の実際の境界線によりよく一致している。

【0067】

［６７］
上記の詳細な説明は、詳細な説明の一部を形成する添付の図面の参照を含む。図面は、例示として、本発明を実施することができる特定の実施形態を示す。これらの実施形態は、本明細書では「実施例」とも呼ばれる。そのような例は、図示又は説明された要素に加えて要素を含むことができる。しかしながら、図示又は記載された要素のみが提供される。さらに、特定の例（又はそのひとつ又はそれ以上の態様）に関して、又は表示された又は記載された要素（又はそのひとつ又はそれ以上の態様）の任意の組合せ又は置換は、本開示の範囲内である。

【0068】

［６８］
本明細書と、参考として組み込まれている文書との間に一貫性のない使用（usage）がある場合は、本明細書の使用（usage）が優先する。

【0069】

［６９］
本明細書では、「少なくとも１つ」又は「１つまたは複数」の他の例（instance）又は使用（usage）とは独立して、１つまたは１つ以上のものを含み、特許文書で一般的であるように、用語「ａ」又は「ａｎ」が使用される。本明細書において、「または」という用語は、特に断らない限り、「ＡまたはＢ」には「ＡであってＢでない」、「ＢであってＡでない」、「ＡおよびＢ」を含むように非排他的である。本明細書では、用語「ｉｎｃｌｕｄｉｎｇ」及び「ｉｎ ｗｈｉｃｈ」は、それぞれ、用語「ｃｏｍｐｒｉｓｉｎｇ」「ｗｈｅｒｅｉｎ」の平易な英語の等価物として使用される。また、以下の特許請求の範囲において、「含む（ｉｎｃｌｕｄｉｎｇ）」及び「含む（ｃｏｍｐｒｉｓｉｎｇ）」という用語は、オープンエンドであり、すなわち、そのような用語の後に列挙された要素に、ある要素を含むシステム、装置、品物、組成、動作、プロセスを要素として加えたクレームは依然としてそのクレームの範囲内にあるとみなされる。さらに、添付の特許請求の範囲において、「第１の」、「第２の」、「第３の」などの用語は、単にラベルとして使用されており、それらに数値的な要件を課すことを意図しない。

【0070】

［７０］
機械またはコンピュータ可読記憶媒体は、１つまたは複数の非一時的媒体（たとえば、集中型または分散型データベース、および／または関連するキャッシュおよびサーバ）を含むことができる。そのような機械またはコンピュータ可読記憶媒体は、機械に説明された機能または動作を実行させることができるコンピュータ実行可能命令またはデータを記憶することができる。そのような機械またはコンピュータ可読記憶媒体は、記録可能／非記録可能媒体（例えば、読み取り専用メモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、磁気ディスク記憶媒体、光記憶媒体、フラッシュメモリデバイスなど）のような、機械（例えば、コンピューティングデバイス、電子システムなど）によってアクセス可能な形式で情報を記憶する任意のメカニズムを含むことができる。例えば、「機械可読記憶媒体」または「コンピュータ可読記憶媒体という用語は、それに限定されるものではないが、固体メモリ、光学媒体、および磁気媒体を含むと解釈されるべきである。

【0071】

［７１］
上記の説明は例示的なものであり、限定的なものではない。例えば、上記の例（又はそのひとつ又はそれ以上の態様）は、互いに組み合わせて使用されてもよい。上記の説明を検討することにより、当業者によって、他の実施形態を使用することができる。要約は、読者が技術的開示の性質を迅速に確認できるように提供される。クレームの範囲又は意味を解釈又は制限するために使用されないことを理解して提出されている。また、上記の詳細な説明では、開示を合理化するために様々な特徴をグループ化することができる。これは、クレームされていない開示された特徴がクレームに不可欠であることを意図していると解釈されるべきではない。むしろ、本発明の主題は、開示された特定の実施形態のすべての特徴よりも少なくてもよい。したがって、添付の特許請求の範囲は、実施形態又は実施形態としての詳細な説明に組み込まれ、各請求項は別個の実施形態として独立して立証され、そのような実施形態は、様々な組み合わせ又は順列で互いに組み合わせることができる。本発明の範囲は、添付の特許請求の範囲を参照して、そのような特許請求の範囲が権利を与えられる等価物の全範囲と共に決定されるべきである。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】