知財求人 - 知財ポータルサイト「IP Force」
特表2024-519777解剖学的画像データのセグメンテーションのためのシステム、デバイス、及び方法
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2024-05-21
(54)【発明の名称】解剖学的画像データのセグメンテーションのためのシステム、デバイス、及び方法
(51)【国際特許分類】
A61B 6/03 20060101AFI20240514BHJP
A61B 5/055 20060101ALI20240514BHJP
G06T 7/11 20170101ALI20240514BHJP
G06T 7/00 20170101ALI20240514BHJP
G06V 10/82 20220101ALI20240514BHJP
A61B 6/50 20240101ALI20240514BHJP
【ＦＩ】
A61B6/03 560G
A61B6/03 560T
A61B6/03 560J
A61B5/055 380
G06T7/11
G06T7/00 350C
G06V10/82
A61B6/50 500Z
【審査請求】未請求
【予備審査請求】未請求
(21)【出願番号】P 2023570082
(86)(22)【出願日】2022-05-12
(85)【翻訳文提出日】2024-01-05
(86)【国際出願番号】 US2022029000
(87)【国際公開番号】W WO2022241121
(87)【国際公開日】2022-11-17
(31)【優先権主張番号】63/187,777
(32)【優先日】2021-05-12
(33)【優先権主張国・地域又は機関】US
(81)【指定国・地域】
(71)【出願人】
【識別番号】523426529
【氏名又は名称】オーグメディックス インコーポレイテッド
(74)【代理人】
【識別番号】100094569
【弁理士】
【氏名又は名称】田中 伸一郎
(74)【代理人】
【識別番号】100103610
【弁理士】
【氏名又は名称】▲吉▼田 和彦
(74)【代理人】
【識別番号】100109070
【弁理士】
【氏名又は名称】須田 洋之
(74)【代理人】
【識別番号】100067013
【弁理士】
【氏名又は名称】大塚 文昭
(74)【代理人】
【氏名又は名称】上杉 浩
(74)【代理人】
【識別番号】100120525
【弁理士】
【氏名又は名称】近藤 直樹
(74)【代理人】
【識別番号】100139712
【弁理士】
【氏名又は名称】那須 威夫
(74)【代理人】
【識別番号】100141553
【弁理士】
【氏名又は名称】鈴木 信彦
(72)【発明者】
【氏名】ガウェル ドミニク
(72)【発明者】
【氏名】メヒア オロスコ エドウィング アイザック
(72)【発明者】
【氏名】ヤンコヴィチ ミロ
(72)【発明者】
【氏名】シェミオノフ クリストフ ビー
(72)【発明者】
【氏名】ルシアーノ クリスティアン ジェイ
【テーマコード（参考）】
4C093
4C096
5L096
【Ｆターム（参考）】
4C093AA22
4C093AA26
4C093CA23
4C093CA35
4C093FD03
4C093FF13
4C093FF16
4C093FF20
4C096AA18
4C096AC06
4C096AD14
4C096DC19
4C096DC33
4C096DC36
4C096DD07
5L096AA09
5L096BA06
5L096BA13
5L096CA24
5L096DA01
5L096EA03
5L096EA05
5L096EA13
5L096EA33
5L096FA02
5L096FA67
5L096FA69
5L096GA30
5L096GA51
5L096HA11
5L096JA11
5L096JA16
5L096JA22
5L096KA04
5L096KA15
(57)【要約】
患者の解剖学的特徴をセグメント化するためのシステム、デバイス、及び方法が本明細書に記載されている。方法は、解剖学的構造の３Ｄ領域の画像セットを含む３次元（３Ｄ）スキャンボリュームを受信するステップを含むことができる。患者の解剖学的特徴の３Ｄ領域は、解剖学的構造のセットを含むことができる。本方法はまた、３Ｄスキャンボリュームを用いて２次元（２Ｄ）放射線写真のセットを生成するステップを含むことができる。２Ｄ放射線写真のセットからの各２Ｄ放射線写真は、３Ｄスキャンボリュームから抽出された３Ｄ画像データを含むことができる。本方法はまた、１又は２以上の関心のある解剖学的部位を識別するために、２Ｄ放射線写真のセットを用いて２Ｄ放射線写真をセグメント化するセグメンテーションモデルをトレーニングするステップを含むことができる。
【選択図】図２
【選択図】図２
【特許請求の範囲】
【請求項1】
方法であって、患者の解剖学的特徴の３次元（３Ｄ）領域の画像のセットを含む３Ｄスキャンボリュームを受信するステップであって、前記患者の解剖学的特徴の３Ｄ領域は、解剖学的構造のセットを含む、ステップと、
前記３Ｄスキャンボリュームを用いて２次元（２Ｄ）放射線写真のセットを生成するステップであって、前記２Ｄ放射線写真のセットからの各２Ｄ放射線写真は、前記３Ｄスキャンボリュームから抽出された３Ｄ画像データを含む、ステップと、
１又は２以上の関心のある解剖学的部位を識別するために、前記２Ｄ放射線写真のセットを用いて２Ｄ放射線写真をセグメント化するセグメンテーションモデルをトレーニングするステップと、
を含む、方法。
【請求項2】
前記２Ｄ放射線写真のセットから各２Ｄ放射線写真について、複数の標識からの標識を各々が含むアレイを含む多次元標識マップを生成するステップであって、前記複数の標識が、前記患者の解剖学的特徴内の複数の解剖学的部位に関連する、ステップを更に含み、前記セグメンテーションモデルをトレーニングするステップが、
前記セグメンテーションモデルにより、前記２Ｄ放射線写真のセットから前記２Ｄ放射線写真を入力及び処理するステップと、
前記２Ｄ放射線写真の処理に応答して生成された前記セグメンテーションモデルの出力を、前記２Ｄ放射線写真のセットに関連付けられた前記多次元標識マップと比較するステップと、
前記比較に基づいて、前記セグメンテーションモデルの重み、前記セグメンテーションモデルの構造、前記セグメンテーションモデルのパラメータ、又は前記セグメンテーションモデルのハイパーパラメータのうちの１又は２以上を調整するステップと、
を含む、請求項１に記載の方法。
【請求項3】
前記セグメンテーションモデルが、第１のセグメンテーションモデルであり、前記方法が更に、
前記１又は２以上の関心のある解剖学的部位に隣接する１又は２以上の関心のある解剖学的部位を識別するようにトレーニングされた第２のセグメンテーションモデルを用いて、前記３Ｄスキャンボリュームの画像のセットを処理するステップであって、前記第１のセグメンテーションモデルは、前記２Ｄ放射線写真のセットを用いてトレーニングされ、前記第２のセグメンテーションモデルの出力は、前記３Ｄスキャンボリュームの画像のセットの処理に応答して生成される、ステップを含む、
請求項１に記載の方法。
【請求項4】
前記解剖学的構造のセットを含む２Ｄ Ｘ線画像を受信するステップと、前記セグメンテーションモデルをトレーニングした後、前記セグメンテーションモデルを用いて前記２Ｄ Ｘ線画像を処理して、前記１又は２以上の関心のある解剖学的部位を識別するステップと、
を更に含む、請求項１に記載の方法。
【請求項5】
前記２Ｄ Ｘ線画像の処理に応答して生成された前記セグメンテーションモデルの出力を視覚化するステップを更に含む、請求項４に記載の方法。
【請求項6】
前記１又は２以上の関心のある解剖学的部位の少なくとも１つが、前記２Ｄ Ｘ線画像内の前記１又は２以上の関心のある解剖学的部位の別の解剖学的部位と重なる、請求項４に記載の方法。
【請求項7】
前記セットが、前記２Ｄ放射線写真の第１のセットであり、前記方法が更に、
ボリューム修正アルゴリズムを用いて前記３Ｄスキャンボリュームを変換するステップと、
前記変換された３Ｄスキャンボリュームを用いて２Ｄ放射線写真の第２のセットを生成するステップであって、前記２Ｄ放射線写真の第２のセットからの各２Ｄ放射線写真が、前記変換された３Ｄスキャンボリュームから抽出されて選択された軸に沿って平均化された３Ｄ画像データを含み、前記セグメンテーションモデルは、前記２Ｄ放射線写真の第１のセット及び第２のセットを用いてトレーニングされる、請求項１に記載の方法。
【請求項8】
方法であって、患者の解剖学的特徴の３次元（３Ｄ）領域の磁気共鳴イメージング（ＭＲＩ）画像のセットを含む３Ｄスキャンボリュームを受信するステップであって、前記患者の解剖学的特徴の３Ｄ領域は、解剖学的構造のセットを含み、前記ＭＲＩ画像は、第１の解剖学的平面における画像及び前記第１の解剖学的平面とは異なる第２の解剖学的平面における画像を含む、ステップと、
セグメンテーションモデルを用いて前記ＭＲＩ画像のセットを処理するステップであって、前記セグメンテーションモデルが、前記ＭＲＩ画像のセットを入力として受け取り、前記第１の解剖学的平面及び前記第２の解剖学的平面における画像を処理する、ステップと、
前記セグメンテーションモデルを用いて前記ＭＲＩ画像のセットを処理することに応答して、セグメンテーション出力を生成するステップと、
前記セグメンテーション出力に基づいて、前記３Ｄスキャンボリューム内の１又は２以上の関心のある解剖学的部位を識別するステップと、
を含む、方法。
【請求項9】
前記第１の解剖学的平面は矢状面であり、前記第２の解剖学的平面は軸平面である、請求項８に記載の方法。
【請求項10】
前記セグメンテーション出力を視覚化するステップを更に含む、請求項８に記載の方法。
【請求項11】
前記１又は２以上の関心のある解剖学的部位が椎間板を含む、請求項８に記載の方法。
【請求項12】
前記セグメンテーションモデルが、トレーニングデータセットを用いてトレーニングされ、前記トレーニングデータセットが、前記第１の解剖学的平面におけるＭＲＩ画像及び前記第２の解剖学的平面におけるＭＲＩ画像を含む、請求項８に記載の方法。
【請求項13】
前記セグメンテーションモデルが、畳み込みニューラルネットワーク（ＣＮＮ）を含む、請求項８に記載の方法。
【請求項14】
前記方法が、前記ＭＲＩ画像のセットを処理する前に、前記セグメンテーションモデルを用いて前記ＭＲＩ画像のセットをノイズ除去するステップを更に含む、請求項８に記載の方法。
【請求項15】
前記セグメンテーション出力を生成するステップが、前記ＭＲＩ画像のセット内のＭＲＩ画像における少なくとも１つのピクセルについて、
前記少なくとも１つのピクセルが複数のクラスのうちの第１のクラスに属する確率を決定するステップと、
前記確率に基づいて、前記少なくとも１つのピクセルを前記第１のクラスに分類するステップと、
を含む、請求項８に記載の方法。
【請求項16】
前記解剖学的構造のセットのより高次元の情報を生成するために、前記３次元スキャンボリュームを前記セグメンテーション出力と組み合わせるステップを更に含む、請求項８に記載の方法。
【請求項17】
方法であって、患者の解剖学的特徴の３次元（３Ｄ）領域の２次元（２Ｄ）画像のセットを含む３Ｄスキャンボリュームを受信するステップであって、前記患者の解剖学的特徴の３Ｄ領域は、解剖学的構造のセットを含む、ステップと、
セグメンテーションモデルを用いて前記２Ｄ画像のセットを処理するステップであって、前記セグメンテーションモデルが、前記２Ｄ画像のセットを入力として受け取る、ステップと、
前記セグメンテーションモデルを用いて前記２Ｄ画像のセットを処理することに応答して、セグメンテーション出力を生成するステップと、
前記セグメンテーション出力に基づいて、前記３Ｄスキャンボリューム内の１又は２以上の椎間板を識別するステップと、
を含む、方法。
【請求項18】
前記セグメンテーションモデルが、第１のセグメンテーションモデルであり、前記方法が更に、
前記１又は２以上の椎間板に隣接する１又は２以上の解剖学的部位を識別するようにトレーニングされた第２のセグメンテーションモデルを用いて、前記２Ｄ画像のセットを処理するステップであって、前記第１のセグメンテーションモデルは、前記２Ｄ画像のセット及び前記第２のセグメンテーションモデルのセグメンテーション出力を入力として受け取り、前記セグメンテーション出力を生成する、ステップを含む、請求項１７に記載の方法。
【請求項19】
装置であって、メモリと、
前記メモリに動作可能に結合されたプロセッサと、
を備え、
前記プロセッサが、
患者の解剖学的特徴の３次元（３Ｄ）領域の磁気共鳴イメージング（ＭＲＩ）画像のセットを含む３Ｄスキャンボリュームを受信し、前記患者の解剖学的特徴の３Ｄ領域が解剖学的構造のセットを含み、前記ＭＲＩ画像が第１の解剖学的平面における画像及び前記第１の解剖学的平面とは異なる第２の解剖学的平面における画像を含むようにし、
セグメンテーションモデルを用いて前記ＭＲＩ画像のセットを処理し、前記セグメンテーションモデルが前記ＭＲＩ画像のセットを入力として受け取り、前記第１の解剖学的平面における画像及び前記第２の解剖学的平面における画像を処理し、
前記セグメンテーションモデルを用いて前記ＭＲＩ画像のセットを処理することに応答して、セグメンテーション出力を生成し、
前記セグメンテーション出力に基づいて、前記３Ｄスキャンボリューム内の１又は２以上の関心のある解剖学的部位を識別する、
ように構成される、装置。
【請求項20】
前記第１の解剖学的平面は矢状面であり、前記第２の解剖学的平面は軸平面である、請求項１９に記載の装置。
【請求項21】
前記セグメンテーション出力を視覚化することを更に含む、請求項１９に記載の装置。
【請求項22】
前記１又は２以上の関心のある解剖学的部位が椎間板を含む、請求項１９に記載の装置。
【請求項23】
前記セグメンテーションモデルが、トレーニングデータセットを用いてトレーニングされ、前記トレーニングデータセットが、前記第１の解剖学的平面におけるＭＲＩ画像及び前記第２の解剖学的平面におけるＭＲＩ画像を含む、請求項１９に記載の装置。
【請求項24】
前記セグメンテーションモデルが、畳み込みニューラルネットワーク（ＣＮＮ）を含む、請求項１９に記載の装置。
【請求項25】
前記プロセッサは更に、前記ＭＲＩ画像のセットを処理する前に、前記セグメンテーションモデルを用いて前記ＭＲＩ画像のセットをノイズ除去するように構成されている、請求項１９に記載の装置。
【請求項26】
前記プロセッサは更に、前記ＭＲＩ画像のセット内のＭＲＩ画像における少なくとも１つのピクセルについて、
前記少なくとも１つのピクセルが複数のクラスのうちの第１のクラスに属する確率を決定し、
前記確率に基づいて、前記少なくとも１つのピクセルを前記第１のクラスに分類する、
ように構成される、請求項１９に記載の装置。
【請求項27】
前記プロセッサは更に、前記解剖学的構造のセットのより高次元の情報を生成するために、前記３次元スキャンボリュームを前記セグメンテーション出力と組み合わせるように構成されている、請求項１９に記載の装置。
【請求項28】
装置であって、メモリと、
前記メモリに動作可能に結合されたプロセッサと、
を備え、
前記プロセッサが、
患者の解剖学的特徴の３次元（３Ｄ）領域の２次元（２Ｄ）画像のセットを含む３Ｄスキャンボリュームを受信し、前記患者の解剖学的特徴の３Ｄ領域が解剖学的構造のセットを含み、
セグメンテーションモデルを用いて前記２Ｄ画像のセットを処理し、前記セグメンテーションモデルが前記２Ｄ画像のセットを入力として受け取り、
前記セグメンテーションモデルを用いて前記２Ｄ画像のセットを処理することに応答して、セグメンテーション出力を生成し、
前記セグメンテーション出力に基づいて、前記３Ｄスキャンボリューム内の１又は２以上の椎間板を識別する、
ように構成される、装置。
【請求項29】
前記セグメンテーションモデルは第１のセグメンテーションモデルであり、前記プロセッサが更に、
前記１又は２以上の椎間板に隣接する１又は２以上の解剖学的部位を識別するようにトレーニングされた第２のセグメンテーションモデルを用いて、前記第２の２Ｄ画像のセットを処理し、前記第１のセグメンテーションモデルは、前記２Ｄ画像のセット及び前記第２のセグメンテーションモデルのセグメンテーション出力を入力として受け取り、前記セグメンテーション出力を生成する、
ように構成される、請求項２８に記載の装置。
【発明の詳細な説明】
【技術分野】
【0001】
（関連出願に対する相互参照）
本出願は、２０２１年５月１２日に出願された米国仮出願第６３／１８７，７７７号の利益を主張するものであり、その内容は、引用によりその全体が本明細書に組み込まれる。
本出願は、２０２１年５月１２日に出願された米国仮出願第６３／１８７，７７７号の利益を主張するものであり、その内容は、引用によりその全体が本明細書に組み込まれる。
【0002】
（技術分野）
本開示は、一般に、解剖学的画像データをセグメント化するためのシステム、デバイス、及び方法に関し、特に、機械学習モデルを使用する３次元（３Ｄ）解剖学的画像のセグメンテーションに関する。
本開示は、一般に、解剖学的画像データをセグメント化するためのシステム、デバイス、及び方法に関し、特に、機械学習モデルを使用する３次元（３Ｄ）解剖学的画像のセグメンテーションに関する。
【背景技術】
【0003】
画像誘導手術又はコンピュータ支援手術は、外科的処置中に関心標的領域へのナビゲート及び／又は関心標的領域に対する医師の動作を支援するのに使用することができる。画像誘導手術を実施するシステム及びデバイスは、患者の解剖学的特徴の画像データ及び患者の解剖学的特徴及び／又は手術ツール及びインプラントに関連する追跡データを用いて、外科手術中に医師にガイダンスを提供することができる。画像誘導手術は、例えば、コンピュータ断層撮影（ＣＴ）、磁気共鳴イメージング（ＭＲＩ）、Ｘ線、超音波、及びＸ線透視システムを含む、１又は２以上のイメージングシステムを介して取得された患者の解剖学的特徴の画像データを使用することができる。また、１又は２以上のイメージングシステムから得られた医用画像を解釈することにより、様々な医用診断を行うことができる。
【0004】
従来のＸ線及びＣＴは、例えば患者の脊椎を含む、患者の解剖学的特徴の情報を取得するための一般的な方法である。従来のＸ線は、高エネルギーの電磁放射線を患者の身体に照射し、結果として得られる２次元（２Ｄ）Ｘ線プロファイルをフィルム又はプレート上で取り込むことを伴う。しかしながら、Ｘ線イメージングでは、患者はハイレベルの放射線に曝される可能性がある。また、Ｘ線の解析は、医師のトレーニング及び経験に基づく主観的なものとなる可能性がある。現在のところ、Ｘ線を客観的に解析する自律的な方法はない。従って、Ｘ線に必要な測定を行うには時間がかかり、ユーザのエラーの影響を受けやすい可能性がある。また、Ｘ線を解析する自律的な方法がないことで、経時的に患者のＸ線を客観的に比較すること、例えば患者の経過を追跡することが困難である。これらの制限に起因して、Ｘ線イメージングに基づいて特定の結果を確実に予測することは現在のところ不可能である。また、このような測定の信頼性及び再現性を保証する自律的な及び／又は一貫した方法で必要な測定を得ることも現在のところ不可能である。
【0005】
ＣＴは、患者の解剖学的特徴の３Ｄ画像データを得るために、制御された量のＸ線放射線を使用する。既存のＣＴシステムは、一方の側にＸ線管体が取り付けられ、反対側に円弧状の検出器が取り付けられた回転ガントリを含むことができる。回転フレームが患者の周りでＸ線管体及び検出器を回転させると、Ｘ線ビームを扇形に放射することができる。Ｘ線管及び検出器が３６０°回転し、Ｘ線が患者の身体を通過するたびに、患者の解剖学的特徴のシンセクション（ｔｈｉｎ ｓｅｃｔｉｏｎ）の画像を取得することができる。各回転の間、検出器は、拡大Ｘ線ビームの画像又はプロファイルを約１，０００枚記録することができる。次いで、各プロファイルは、専用コンピュータによってスキャンされたセクションの３Ｄ画像に再構成される。従って、ＣＴシステムは、複数の２次元ＣＴスキャン又はＸ線の集合を用いて、患者の解剖学的特徴の３次元画像を構築する。ガントリの回転速度は、スライス厚と共に、最終画像の精度及び／又は有用性に寄与する。一般的に使用されている術中ＣＴイメージングシステムは、放射線量の制御を可能にする様々な設定を有する。特定の状況では、解剖学的構造の十分な視覚化を確保するために、高線量設定を選択することができる。マイナス面としては、患者への放射線曝露が増大することである。診断用ＣＴ手法による実効線量は、通常１～１０ミリシーベルト（ｍＳｖ）の範囲と推定される。このような高線量は、癌及び他の健康状態のリスク増加につながる可能性がある。このため、ＣＴスキャンでは、放射線曝露及び関連する発癌リスクを最小化するために、可能な限り低線量設定が選択される。しかしながら、低線量設定は、外科医が利用できる画像データの品質に影響を与える可能性がある。
【0006】
ＭＲＩイメージングシステムは、撮影される領域の周囲に強力な磁場を形成するにより作動する。ほとんどの医療用途では、水分子を含有する組織内のプロトン（例えば、水素原子）が信号を生成し、この信号が処理されて身体の画像を形成する。最初に、振動磁場からのエネルギーが、適切な共鳴周波数で患者に一時的に印加される。励起された水素原子は、無線周波（ＲＦ）信号を放出し、ＲＦシステムにより測定される。ＲＦ信号は、勾配磁場コイルを用いて主磁場を変化させることにより、位置情報をエンコードするようにさせることができる。これらのコイルは急速にオン・オフされるので、ＭＲＩスキャンに特徴的な繰り返しノイズが発生する。異なる組織間のコントラストは、励起された原子が平衡状態に戻る速度によって決定することができる。一部の事例では、異なる組織間の区別を更に容易にするために、外因性造影剤を静脈内、又は経口的に、又は関節内に投与することができる。ＭＲＩイメージングシステムの主な構成要素は、組織を分極する主磁石、主磁場の不均質性を補正するためのシムコイル、磁気共鳴（ＭＲ）信号を局在化するための勾配システム、及び組織を励起して結果として生じる信号を検出するＲＦシステムである。ＭＲＩイメージングでは、様々な磁場強度が使用される可能性がある。最も一般的な強度は０．３Ｔ、１．５Ｔ及び３Ｔである。磁場強度が高いほど高画質となる。例えば、０．３Ｔの磁場強度は１．５Ｔの磁場強度より下品質のイメージングが得られることになる。
【0007】
現在、ＭＲＩ画像を客観的に解析する自律的な方法はなく、このような画像の解析は医師のトレーニング及び経験に依存している。更に、技術的限界に起因して、診断用ＭＲＩプロトコルは、標的領域の限られた数のスライスを提供し、医師は、患者の解剖学的特徴の利用可能なアキシャル、サジタル（矢状）及び／又はコロナル（冠状）スキャンから解剖学的情報をつなぎ合わせることを余儀なくされる。また、既存のシステムには、患者のＭＲＩ画像をＭＲＩ画像のより大きなデータベースと容易且つ自律的に比較する信頼できる方法も欠けている。このような比較により、医師は、患者の状態の重症度に関する追加情報を得ることができる。また、既存のシステムは、現在時刻での患者のＭＲＩ画像を、当該患者の過去の画像と自律的に比較する能力を欠いている。加えて、他の症状のなかでもとりわけ、脊髄圧迫、骨折、腫瘍、感染について患者のＭＲＩ画像をスクリーニングすることは、現在のところ不可能である。このような制限により、患者のＭＲＩ画像に基づいて、治療結果に高度の信頼度をもたらすことになる治療勧告を行うことは、不可能ではないにしても困難である。
【0008】
低品質画像及び信頼性及び／又は再現性のある画像解析の欠如により、既存のシステムは、医師にとって診断上の難題となっている。このような限界は、重要なランドマークを適切に識別し、測定を行うことを困難にし、ひいては治療の正確性及び有効性を低下させる可能性がある。画像誘導外科手術応用では、既存の画像解析ツールの限界により、必要な部位へのツール及びインプラントのナビゲーションが困難になることを含めて、外科手術計画が複雑となる可能性がある。このような理由から、高品質の画像を提供し、画像データを一貫して正確に評価するシステムを有することが望ましいとすることができる。
【先行技術文献】
【特許文献】
【0009】
【特許文献1】米国特許出願公開第２０１９／００５３８５１号明細書
【特許文献2】米国特許公開第２０１９／０１０５００９号明細書
【特許文献3】米国特許公開第２０２０／０１５１５０７号明細書
【特許文献4】米国特許公開第２０２０／０４１０６８７号明細書
【特許文献5】米国特許出願公開第２０２０／０３２７７２１号明細書
【発明の概要】
【0010】
本明細書に記載されるシステム、デバイス、及び方法は、一般に、患者の解剖学的特徴のセグメンテーションに関する。幾つかの実施形態では、方法は、患者の解剖学的特徴の３次元（３Ｄ）領域の画像セットを含む３Ｄスキャンボリュームを受信するステップであって、患者の解剖学的特徴の３Ｄ領域が解剖学的構造のセットを含む、ステップと、３Ｄスキャンボリュームを用いて２次元（２Ｄ）放射線写真のセットを生成するステップであって、２Ｄ放射線写真のセットからの各２Ｄ放射線写真が３Ｄスキャンボリュームから抽出された３Ｄ画像データを含む、ステップと、１又は２以上の関心のある解剖学的部位を識別するために、２Ｄ放射線写真のセットを用いて２Ｄ放射線写真をセグメント化するセグメンテーションモデルをトレーニングするステップと、を含むことができる。
【0011】
幾つかの実施形態では、方法は、患者の解剖学的特徴の３次元（３Ｄ）領域の磁気共鳴画像（ＭＲＩ）イメージングセットを含む３Ｄスキャンボリュームを受信するステップであって、患者の解剖学的特徴の３Ｄ領域が解剖学的構造のセットを含み、ＭＲＩ画像が第１の解剖学的平面における画像及び第１の平面とは異なる第２の解剖学的平面における画像を含む、ステップと、セグメンテーションモデルを用いてＭＲＩ画像のセットを処理するステップであって、セグメンテーションモデルが、ＭＲＩ画像のセットを入力として受け取り、第１の解剖学的平面及び第２の解剖学的平面における画像を処理する、ステップと、セグメンテーションモデルを用いてＭＲＩ画像のセットを処理することに応答して、セグメンテーション出力を生成するステップと、セグメンテーション出力に基づいて、３Ｄスキャンボリューム内の１又は２以上の関心のある解剖学的部位を識別するステップと、を含む。
【0012】
幾つかの実施形態では、方法は、患者の解剖学的特徴の３Ｄ領域の２次元（２Ｄ）画像のセットを含む３次元（３Ｄ）スキャンボリュームを受信するステップを含むことができる。患者の解剖学的特徴の３Ｄ領域は、解剖学的構造のセットを含むことができる。本方法はまた、セグメンテーションモデルを用いて２Ｄ画像のセットを処理するステップであって、セグメンテーションモデルが２Ｄ画像のセットを入力として受け取る、ステップと、セグメンテーションモデルを用いて２Ｄ画像のセットを処理することに応答して、セグメンテーション出力を生成するステップと、セグメンテーション出力に基づいて、３Ｄスキャンボリューム内の１又は２以上の椎間板を識別するステップと、を含むことができる。
【0013】
幾つかの実施形態では、装置は、メモリ及びメモリに動作可能に結合されたプロセッサを備えることができる。プロセッサは、患者の解剖学的特徴の３Ｄ領域の磁気共鳴イメージング（ＭＲＩ）画像のセットを含む、３次元（３Ｄ）スキャンボリュームを受信するように構成することができる。患者の解剖学的特徴の３Ｄ領域は、解剖学的構造のセットを含むことができる。ＭＲＩ画像は、第１の解剖学的平面における画像と、第１の解剖学的平面とは異なる第２の解剖学的平面における画像とを含むことができる。プロセッサはまた、セグメンテーションモデルがＭＲＩ画像のセットを入力として受け取り、第１の解剖学的平面及び第２の解剖学的平面における画像を処理するセグメンテーションモデルを用いてＭＲＩ画像のセットを処理し、セグメンテーションモデルを用いてＭＲＩ画像のセットを処理することに応答してセグメンテーション出力を生成し、セグメンテーション出力に基づいて、３Ｄスキャンボリューム内の１又は２以上の関心のある解剖学的部位を識別する、ように構成することができる。
【0014】
幾つかの実施形態では、装置は、メモリ及びメモリに動作可能に結合されたプロセッサを含むことができる。プロセッサは、患者の解剖学的特徴の３次元（３Ｄ）領域の２次元（２Ｄ）画像のセットを含む３Ｄスキャンボリュームを受信するように構成することができる。患者の解剖学的特徴の３Ｄ領域は、解剖学的構造のセットを含むことができる。プロセッサはまた、セグメンテーションモデルが２Ｄ画像のセットを入力として受け取るセグメンテーションモデルを用いて２Ｄ画像のセットを処理し、セグメンテーションモデルを用いて２Ｄ画像のセットを処理することに応答してセグメンテーション出力を生成し、セグメンテーションモデルに基づいて３Ｄスキャンボリューム内の１又は２以上の椎間板を識別するように構成することができる。
【図面の簡単な説明】
【0015】
【図1】幾つかの実施形態による、画像をセグメント化するシステムの構成を示すブロック図である。
【図2】幾つかの実施形態による、画像をセグメント化するデバイスの構成を示すブロック図である。
【図3A】幾つかの実施形態による、ノイズ除去畳み込みニューラルネットワークを示す概略図である。
【図3B】幾つかの実施形態による、セグメンテーション畳み込みニューラルネットワークを示す概略図である。
【図4A】幾つかの実施形態による、セグメンテーションモデルをトレーニングするためのプロセスを示すフローチャートである。
【図4B】幾つかの実施形態による、ニューラルネットワークのトレーニングを示すフローチャートである。
【図5】幾つかの実施形態による、患者の解剖学的特徴をセグメント化するプロセスを示すフローチャートである。
【図6】幾つかの実施形態による、セグメンテーションモデルをトレーニングするプロセスを示すフローチャートである。
【図7】幾つかの実施形態による、解剖学的構造をセグメント化するプロセスを示すフローチャートである。
【図8A】幾つかの実施形態による、患者の脊椎の例示的な２Ｄスキャンである。
【図9A】実施形態による、患者の脊椎の例示的な２Ｄスキャンである。
【図10A】幾つかの実施形態による、患者の解剖学的特徴の多次元データから選択された多次元領域の図である。
【図10B】幾つかの実施形態による、患者の解剖学的特徴の多次元データから選択された多次元領域の図である。
【図11A】幾つかの実施形態による、解剖学的構造の多次元データから選択された多次元領域の図である。
【図11B】幾つかの実施形態による、解剖学的構造の多次元データから選択された多次元領域の図である。
【図12】幾つかの実施形態による、Ｘ線セグメンテーションモデルのトレーニングデータを生成するためのプロセスを示すフローチャートである。
【図13A】幾つかの実施形態による、患者の解剖学的特徴の３Ｄボリューム画像データである。
【図15A】幾つかの実施形態による、３Ｄ画像データに基づいて生成されるデジタル再構成された２Ｄ放射線写真である。
【図15B】幾つかの実施形態による、変換された３Ｄ画像データに基づいて生成されるデジタル再構成された２Ｄ放射線写真の画像である。
【図16A】幾つかの実施形態による、Ｘ線の画像である。
【図17A】幾つかの実施形態による、視覚的に区別することが困難な解剖学的部位を有するＸ線の画像である。
【図18A】幾つかの実施形態による、ＭＲＩを用いて生成された患者の解剖学的特徴の画像である。
【図18C】幾つかの実施形態による、ＭＲＩを用いて生成された患者の解剖学的特徴の画像である。
【図18E】幾つかの実施形態による、ＭＲＩを用いて生成された患者の解剖学的特徴の画像である。
【図19】幾つかの実施形態による、患者の解剖学的特徴のＭＲＩ及びＣＴ画像データを組み合わせた例示的なレンダリングである。
【図20A】幾つかの実施形態による、解剖学的構造の２Ｄ画像上の椎間板のセグメンテーションを示す画像である。
【図20B】幾つかの実施形態による、解剖学的構造の２Ｄ画像上の椎間板のセグメンテーションを示す画像である。
【発明を実施するための形態】
【0016】
（システムの概要）
本明細書に記載のシステム、デバイス、及び方法は、脊椎を含む患者の解剖学的特徴の処理に関する。本明細書で提示される特定の実施例は、一般に、脊椎の画像データの処理に関するものとすることができるが、このようなシステム、デバイス、及び方法は、例えば、脳、心臓、又は患者の解剖学的特徴の他の領域に近い血管、神経、骨、及び他の軟組織及び硬組織を含む、患者の解剖学的特徴の他の部分の画像データを処理するのに使用できることが、当業者には理解することができる。
本明細書に記載のシステム、デバイス、及び方法は、脊椎を含む患者の解剖学的特徴の処理に関する。本明細書で提示される特定の実施例は、一般に、脊椎の画像データの処理に関するものとすることができるが、このようなシステム、デバイス、及び方法は、例えば、脳、心臓、又は患者の解剖学的特徴の他の領域に近い血管、神経、骨、及び他の軟組織及び硬組織を含む、患者の解剖学的特徴の他の部分の画像データを処理するのに使用できることが、当業者には理解することができる。
【0017】
本明細書に記載されるシステム、デバイス、及び方法は、Ｘ線、ＣＴ、ＭＲＩ、蛍光透視、超音波等を含む、幾つかの異なるタイプの画像データを処理するのに好適とすることができる。幾つかの実施形態では、このようなシステム、デバイス、及び方法は、単一の画像タイプを処理することができるが、他の実施形態では、このようなシステム、デバイス、及び方法は、複数の画像タイプを処理することができる。幾つかの実施形態では、複数の画像タイプを組み合わせて、患者の解剖学的特徴に関するより豊富なデータを提供することができる。
【0018】
本明細書に記載のシステム、デバイス、及び方法は、機械学習モデルを実装して、患者の解剖学的特徴に関する画像データを処理及び／又は解析することができる。このような機械学習モデルは、解剖学的構造内の異なる解剖学的部位を識別及び区別するように構成することができる。幾つかの実施形態では、本明細書に記載の機械学習モデルは、入力層と出力層の間に複数の層を有するディープニューラルネットワークを含めたニューラルネットワークを含むことができる。例えば、１又は２以上の畳み込みニューラルネットワーク（ＣＮＮ）を用いて、患者の画像データを処理し、画像データ内の異なる物体を分類する出力を生成することができる。本明細書で記載される特定の実施例は、ＣＮＮを採用しているが、例えば、サポートベクターマシン（ＳＶＭ）、決定木、ｋ－最近傍、及び人工ニューラルネットワーク（ＡＮＮ）を含む、他のタイプの機械学習アルゴリズムを用いて患者画像データを処理できることが理解することができる。
【0019】
図１は、幾つかの実施形態による、患者の解剖学的特徴の画像データを処理し、外科手術中に医師に画像ガイダンスを提供するためのシステム１００を示すハイレベルブロック図である。システム１００は、コンピュータデバイス１１０、イメージングデバイス１６０、及び任意選択的に外科手術ナビゲーションシステム１７０を含むことができる。幾つかの実施形態では、コンピュータデバイス１１０は、１又は２以上のイメージングデバイス１６０及び外科手術ナビゲーションシステム１７０と通信して、患者の解剖学的特徴のセグメンテーションを実行し、外科的処置中に外科医にデジタルガイダンスを提供することができる。
【0020】
コンピュータデバイス１１０は、解剖学的画像データのセグメンテーションを実行して、関心のある解剖学的部位を識別するように構成することができる。コンピュータデバイス１１０は、異なる関心のある解剖学的部位を識別するセグメンテーション出力を生成するように構成することができる。更に、コンピュータデバイス１１０は、異なる解剖学的部位に標識を付けるように、及び／又は外科的処置中に外科医に画像ガイドを提供するために患者の解剖学的特徴及び／又は外科手術器具の仮想表現を生成するように構成することができる。コンピュータデバイス１１０は、単一のコンピュータデバイスとして実装することもでき、又は、互いに及び／又はネットワーク１５０に接続された複数のコンピュータデバイスにわたって実装することもできる。例えば、コンピュータデバイス１１０は、サーバ、デスクトップコンピュータ、ラップトップコンピュータ、ポータブルデバイス、データベース等の１又は２以上のコンピュータデバイスを含むことができる。異なるコンピュータデバイスは、他のコンピュータデバイスから遠隔に位置する構成要素、他のコンピュータデバイスの近くの構内に位置する構成要素、及び／又は他のコンピュータデバイスと共に統合された構成要素を含むことができる。
【0021】
幾つかの実施形態では、コンピュータデバイス１１０は、１又は２以上のイメージングデバイス１６０及び／又は外科手術ナビゲーションシステム１７０から遠隔に位置するサーバ上に位置することができる。例えば、イメージングデバイス１６０及び外科手術ナビゲーションシステム１７０は、患者１８０と共に外科手術室に配置することができ、コンピュータデバイス１１０は、遠隔位置に配置することができるが、イメージングデバイス１６０及び外科手術ナビゲーションシステム１７０に（例えば、ネットワーク１５０を介して）動作可能に結合することができる。幾つかの実施形態では、コンピュータデバイス１１０は、イメージングデバイス１６０及び外科手術ナビゲーションシステム１７０の一方又は両方に統合することができる。幾つかの実施形態では、システム１００は、本明細書で更に説明するように、コンピュータデバイス１１０、１又は２以上のイメージングデバイス１６０、及び１又は２以上の外科手術ナビゲーションシステム１７０の機能を含む単一のデバイスを含む。
【0022】
幾つかの実施形態では、コンピュータデバイス１１０は、病院又は医療施設内に配置することができる。コンピュータデバイス１１０は、病院に関連する１又は２以上のデータベース、例えば、患者情報を記憶するための病院データベース等に動作可能に結合することができる。幾つかの実施形態では、コンピュータデバイス１１０は、患者の解剖学的データ（例えば、本明細書に記載のセグメンテーションデータを含む）の評価、患者の解剖学的データの視覚化、診断、及び／又は外科的処置の計画を実行するために、医師（例えば、外科医）が利用可能とすることができる。幾つかの実施形態では、コンピュータデバイス１１０は、病院内の１又は２以上の他のコンピュータデバイス（例えば、医師ワークステーション）に動作可能に結合することができ、患者の解剖学的データの評価、患者の解剖学的データの視覚化、診断、及び／又は外科的処置の計画を実行するために、セグメンテーション出力及び／又は他の画像処理出力をこのようなコンピュータデバイスに（例えば、ネットワーク１５０を介して）送信することができる。
【0023】
ネットワーク１５０は、有線ネットワーク及び／又は無線ネットワークとして実装され、システム１００を含むコンピュータデバイスを動作可能に結合するのに使用される、何れかのタイプのネットワーク（例えば、ローカルエリアネットワーク（ＬＡＮ）、ワイドエリアネットワーク（ＷＡＮ）、仮想ネットワーク、電気通信ネットワーク）とすることができる。図１に示すように、接続は、コンピュータデバイス１１０と、イメージングデバイス１６０、外科手術用ナビゲーションシステム１７０、及び／又は他のコンピュータデバイス（例えば、データベース、サーバ等）の何れかとの間に定義することができる。幾つかの実施形態では、コンピュータデバイス１１０は、イメージングデバイス１６０及び／又は外科手術ナビゲーションシステム１７０と通信し（例えば、このようなデバイスにデータを送信し及び／又はこのようなデバイスからデータを受信する）、及び中間ネットワーク及び／又は代替ネットワーク（図１には示されていない）を介してネットワーク１５０と通信することができる。このような中間ネットワーク及び／又は代替ネットワークは、ネットワーク１５０と同じタイプ及び／又は異なるタイプのネットワークとすることができる。コンピュータデバイス１１０、イメージングデバイス１６０、及び外科手術ナビゲーションシステム１７０の各々は、ネットワーク１５０を介してデータを送信し、他のデバイスの１又は２以上からデータを送信及び／又は受信するように構成された何れかのタイプのデバイスとすることができる。
【0024】
幾つかの実施形態では、イメージングデバイス１６０は、患者１８０の解剖学的構造を画像化するように構成された何れかのデバイスを指すことができる。幾つかの実施形態では、イメージングデバイス１６０は、様々なイメージング技術によって生成される信号を測定するための１又は２以上のセンサを含むことができる。イメージングデバイス１６０は、患者の解剖学的特徴を画像化するために非侵襲的技術を採用することができる。イメージングデバイスの非限定的な例としては、ＣＴスキャナ、ＭＲＩスキャナ、Ｘ線デバイス、超音波デバイス、及びこれらの組み合わせ等が挙げられる。イメージングデバイス１６０によって生成された画像データは、例えば、コンピュータデバイス１１０を含む、ネットワーク１５０に接続されたデバイスの何れかに送信することができる。幾つかの実施形態では、イメージングデバイス１６０によって生成された画像データは、解剖学的構造の２Ｄ画像を含むことができる。幾つかの実施形態では、イメージングデバイス１６０によって生成された画像データは、全体として３Ｄボリュームの画像データを提供する複数の２Ｄ画像スキャンを含むことができる。イメージングデバイス１６０は、コンピュータデバイス１１０が患者の解剖学的特徴のセグメンテーションを実行し、及び／又は患者の解剖学的特徴における関心のある異なる解剖学的部位に標識を付けることができるように、画像データをコンピュータデバイス１１０に送信することができる。更に、イメージングデバイス１６０は、例えば画像誘導手術で使用するために、外科手術ナビゲーションシステムが患者の解剖学的特徴の１又は２以上の仮想表現を生成できるように、画像データを外科手術ナビゲーションシステム１７０に提供することができる。
【0025】
外科手術ナビゲーションシステム１７０は、例えば外科手術中に画像誘導手術を提供するように構成することができる。例えば、外科手術ナビゲーションシステム１７０は、外科的処置中の計画、視覚化、及び案内のうちの１又は２以上を容易にすることができる。幾つかの実施形態では、外科手術ナビゲーションシステム１７０は、患者の解剖学的特徴、手術器具、インプラント、又は術野内の他の物体を追跡するための追跡システムを含むことができる。幾つかの実施形態では、外科手術ナビゲーションシステム１７０は、患者の解剖学的特徴及び／又は手術器具、インプラント、又は術野内の他の物体の１又は２以上の仮想表現を生成し、及びこれらを医師又は他の医療提供者（例えば、外科医）に表示するための画像生成器を含むことができる。幾つかの実施形態では、外科手術ナビゲーションシステム１７０は、例えば、３Ｄウェアラブルデバイス及び／又は３Ｄプロジェクタ又はスクリーンを介して、３Ｄディスプレイを提示するように構成することができる。幾つかの実施形態では、外科手術ナビゲーションシステム１７０は、患者の解剖学的特徴の術前又は術中医用画像データに対する１又は２以上の手術器具及びインプラントの位置及び／又は向きを表示するように構成することができる。画像データは、例えば、イメージングデバイス１６０によって提供することができ、外科手術ナビゲーションシステム１７０は、画像データを用いて、手術デバイスに関連する位置及び／又は向きデータと共に、１又は２以上の関心のある解剖学的部位の仮想表現を生成することができる。外科手術ナビゲーションシステムの好適な例は、２０１９年２月２１日に公開された米国特許出願公開第２０１９／００５３８５１号に記載されており、本特許出願は引用により本明細書に組み込まれる。
【0026】
図２は、幾つかの実施形態による、セグメンテーションを実行するための例示的なコンピュータデバイス２１０を概略的に示す。コンピュータデバイス２１０は、コンピュータデバイス１１０と構造的及び／又は機能的に類似することができる。単一のコンピュータデバイス２１０が概略的に描かれているが、コンピュータデバイス２１０は、１又は２以上のコンピュータデバイスとして実装できることを理解することができる。幾つかの実施形態において、コンピュータデバイス２１０は、患者（例えば、患者１８０）の解剖学的画像データをセグメント化するように構成することができる。コンピュータデバイス２１０は、プロセッサ２２０、メモリ２３０、及び１又は２以上の入出力インターフェース２５０を含む。
【0027】
メモリ２３０は、例えば、ランダムアクセスメモリ（ＲＡＭ）、メモリバッファ、ハードドライブ、データベース、消去可能プログラマブル読み出し専用メモリ（ＥＰＲＯＭ）、電気的消去可能読み出し専用メモリ（ＥＥＰＲＯＭ）、読み出し専用メモリ（ＲＯＭ）及び／又はその他とすることができる。幾つかの実施形態では、メモリ２３０は、セグメンテーション２２２及び解剖学的部位識別２２４に関連するモジュール、プロセス、及び／又は機能をプロセッサ２２０に実行させる命令を記憶する。メモリ２３０は、１又は２以上のセグメンテーションモデル２３２、解剖学的部位データ２４０、及び／又は画像データ２４２を記憶することができる。
【0028】
セグメンテーションモデル２３２は、例えば、ＣＮＮモデル、ＳＶＭモデルなどの機械学習モデルとすることができる。セグメンテーションモデル２３２は、セグメンテーション２２２を実行するためにプロセッサ２２０によって実装することができる。幾つかの実施形態では、セグメンテーションモデル２３２は、特定の解剖学的領域、例えば、脊髄解剖学的特徴、心臓解剖学的特徴などに固有とすることができる。幾つかの実施形態では、セグメンテーションモデル２３２は、特定の画像タイプに固有のものとすることができる。例えば、セグメンテーションモデル２３２は、Ｘ線画像データをセグメント化するためのＸ線モデル２３４、ＣＴ画像データをセグメント化するためのＣＴモデル２３６、及び／又はＭＲＩ画像データをセグメント化するためのＭＲＩモデル２３８を含むことができる。解剖学的部位データ２４０は、患者の解剖学的部位に関連する情報を含むことができる。例えば、解剖学的部位データ２４０は、例えば解剖学的部位の位置、色、形状、幾何学的形状、又は他の態様など、１又は２以上の解剖学的部位の異なる特徴を識別、特徴付け、及び／又は定量化する情報を含むことができる。解剖学的部位データ２４０は、プロセッサ２２０が患者画像データに基づいて解剖学的部位識別２２４を実行することを可能にすることができる。画像データ２４２は、１又は２以上の患者に関連する画像データ、及び／又は、異なる画像デバイスに関する情報、例えば、異なる画像デバイス（例えば、画像デバイス１６０）の異なる設定、及びこれらの設定がこれらのデバイスを用いて撮像された画像にどのような影響を与え得るかに関する情報を含むことができる。
【0029】
プロセッサ２２０は、本明細書で説明する機能の何れかを実施及び／又は実行するように構成された何れかの適切な処理デバイスとすることができる。幾つかの実施形態では、プロセッサ２２０は、汎用プロセッサ、フィールド・プログラマブル・ゲート・アレイ（ＦＰＧＡ）、特定用途向け集積回路（ＡＳＩＣ）、デジタル・シグナル・プロセッサ（ＤＳＰ）、専用グラフィックス・プロセッシング・ユニット（ＧＰＵ）、及び／又は同様のものとすることができる。幾つかの実施形態では、プロセッサ２２０は、セグメンテーション２２２及び解剖学的部位識別２２４の１又は２以上を実行するように構成することができる。セグメンテーション２２２及び解剖学的部位識別２２４は、ハードウェア構成要素（例えば、プロセッサ２２０、メモリ２３０、入出力インターフェース２５０）に結び付けられる１又は２以上のプログラム及び／又はアプリケーションとして実装することができる。幾つかの実施形態では、システムバス（図示せず）は、プロセッサ２２０、メモリ２３０、入出力インターフェース２５０、及び／又はコンピュータデバイス２１０の他の構成要素が互いに通信することを可能にするように構成することができる。
【0030】
入出力インターフェース２５０は、入力を受信し、及び出力を他のデバイス（例えば、イメージングデバイス１６０、外科手術ナビゲーションシステム１７０等）に送信するように構成された１又は２以上の構成要素を含むことができる。幾つかの実施形態では、入出力インターフェース２５０は、入力を受信し及び／又は出力をユーザに提示するように構成された１又は２以上の構成要素を含むことができるユーザインターフェースを含むことができる。例えば、入力／出力インターフェース２５０は、ディスプレイデバイス（例えば、ディスプレイ、タッチスクリーン等）、オーディオデバイス（例えば、マイクロフォン、スピーカ）、キーパッド、及び／又はユーザから情報を受信し及び／又はユーザに情報を提示するための他のインターフェースを含むことができる。幾つかの実施形態では、入出力インターフェース２５０は、他のデバイスと通信するための通信インターフェースを含むことができ、標準通信プロトコル、例えばＷｉ－Ｆｉ、Ｂｌｕｅｔｏｏｔｈ（登録商標）等を使用するデータ通信のための従来の電子機器を含むことができる。
【0031】
（セグメンテーションモデルの概要）
本明細書に記載のシステム、デバイス、及び方法は、ニューラルネットワーク及びディープラーニングベースの手法を用いて、患者の解剖学的特徴をセグメント化し、及び／又は関心のある解剖学的部位を識別することができる。上述のように、セグメンテーション及び解剖学的部位識別を行うためのコンピュータデバイス（例えば、コンピュータデバイス１１０、２１０）は、１又は２以上の機械学習モデルを実装することができる。機械学習モデルは、入力画像データ及び所望の出力を表す標識を含むトレーニングデータセットを用いてトレーニングすることができる。機械学習モデルは、トレーニングデータセットを用いて、画像データ内の異なる特徴と出力標識との間の関係を学習することができる。
本明細書に記載のシステム、デバイス、及び方法は、ニューラルネットワーク及びディープラーニングベースの手法を用いて、患者の解剖学的特徴をセグメント化し、及び／又は関心のある解剖学的部位を識別することができる。上述のように、セグメンテーション及び解剖学的部位識別を行うためのコンピュータデバイス（例えば、コンピュータデバイス１１０、２１０）は、１又は２以上の機械学習モデルを実装することができる。機械学習モデルは、入力画像データ及び所望の出力を表す標識を含むトレーニングデータセットを用いてトレーニングすることができる。機械学習モデルは、トレーニングデータセットを用いて、画像データ内の異なる特徴と出力標識との間の関係を学習することができる。
【0032】
幾つかの実施形態では、本明細書に記載のシステム、デバイス、及び方法は、セグメンテーション及び／又は解剖学的部位の識別を実行する前に、画像データの前処理を実行することができる。多くの場合、従来のイメージング技術を用いて収集された画像データは低品質である可能性がある。例えば、患者をハイレベルの放射線に曝露するリスクを回避するために、ＣＴイメージングデバイスを低線量設定で使用して患者の解剖学的特徴の画像を撮像することができる。同様に、低出力を使用するＭＲＩイメージングデバイスを用いて、患者の解剖学的特徴の画像を撮像することができる。このような低線量又は低出力の画像は、より多量のノイズを有する画像を有する可能性がある。本明細書で説明するようなコンピュータデバイス（例えば、コンピュータデバイス１１０、２１０）は、セグメンテーション及び／又は解剖学的部位の識別を実行する前に、このようなノイズを除去するために画像を任意選択的に前処理することができる。
【0033】
図３Ａは、画像データのノイズ除去に利用されるＣＮＮモデル３００のアーキテクチャを概略的に示す。幾つかの実施形態では、本明細書に記載のシステム、デバイス、及び方法は、任意選択的にノイズ除去を実行することができるが、幾つかの実施形態では、以下に説明するように、セグメンテーションを実行する前にこのようなノイズ除去は必要でない場合がある。ＣＮＮ３００は、（正規化線形活性化関数（ＲｅＬＵ）活性化を伴う）畳み込み層３１０及び（ＲｅＬＵ活性化を伴う）逆畳み込み層３２０を含む。ＣＮＮ３００は全畳み込みとし、層スキップ接続を有することができる。層の数及び層内のフィルタの数は、用途の要件に応じて変えることができる。より多くのフィルタを有するより深いネットワークは、より良好な品質の結果を与えることができるが、層／フィルタの数を増やすと計算時間が大幅に増加するため、特定の用途には実用的ではない。画像データのノイズ除去にＣＮＮ３００を使用すると、例えばフィルタリング、平滑化などの標準的なノイズ除去技術よりも優れた改善を提供することができる。ＣＮＮ３００は、例えば、イメージングデバイスのタイプ（例えば、ＣＴ、ＭＲＩ、Ｘ線）、特定のイメージングデバイス、及び／又は異なるイメージングデバイスの異なる設定に関連する特定のノイズを除去するように較正することができる。ＣＮＮ３００は、低画質画像及び対応する高画質画像を含むトレーニングデータセットを用いてトレーニングすることができる。ＣＮＮ３００は、高品質画像と比較して低品質画像に付加されたノイズ成分を識別するために、トレーニングデータセットを用いてトレーニングすることができる。
【0034】
図３Ｂは、セグメンテーション（例えば、セマンティック及びバイナリの両方）を実行するのに利用することができるＣＮＮモデル３５０のアーキテクチャを概略的に示している。ＣＮＮモデル３５０のアーキテクチャは、全畳み込みであり、レイヤスキップ接続を有することができる。ＣＮＮモデル３５０は、エンコーダ－デコーダアーキテクチャを用いてピクセル単位のクラス割り当てを実行することができる。ＣＮＮモデル３５０は、イメージングデバイス（例えば、イメージングデバイス１６０）によって生成された生画像、及び／又は、例えばノイズ除去用のＣＮＮモデル（例えば、ＣＮＮモデル３００）を用いてノイズ除去を行った後にイメージングデバイスによって生成された画像を入力として取り込むことができる。
【0035】
ＣＮＮモデル３５０の左側は収縮パス（エンコーダ）であり、１又は２以上の畳み込み層３６０及び／又はプーリング層３６２を含む。ＣＮＮモデル３５０の入力層には１又は２以上の画像（例えば、生画像又はノイズ除去画像）を提示することができ、一連の畳み込み層３６０及び／又はプーリング層３６２を介してＣＮＮモデル３５０は、画像データから特徴を抽出することができる。画像データは、単一の画像（例えば、Ｘ線画像又は単一の画像スキャン）又は全体として局所ボリューム表現を形成する２Ｄスキャンの画像セットを含むことができる。畳み込み層３６０は、ＲｅＬＵ又はリーキーＲｅＬＵ活性化が付加された、標準的な種類、拡張された種類、又はこれらの組み合わせとすることができる。
【0036】
ＣＮＮモデル３５０の右側は拡大パス（デコーダ）であり、アップサンプリング又は転置畳み込み層３７０及び畳み込み層３７２を含み、出力層３８０が得られる。アップサンプリング又は逆畳み込み層３７０は、ＲｅＬＵ又はリーキーＲｅＬＵ活性化を付加した、標準的な種類、拡張された種類、又はこれらの組み合わせとすることができる。出力層３８０は、出力スコアを正規化された確率分布に変換するためのソフトマックス活性化又はシグモイド活性化を有する畳み込み層を表すことができる。
【0037】
ＣＮＮモデル３５０のエンコード－デコードアーキテクチャは、対応するサイズ（例えば、解像度）を有する層の追加的なスキップ接続で補足することができ、これにより情報のマージを通じて性能を向上させることができる。
【0038】
ＣＮＮモデル３５０は、層のサイズ（例えば、解像度）を調整することによって、異なるサイズの画像を処理するように構成することができる。特定の用途の要件に応じて、層の数及び／又は層内のフィルタの数を調整することもできる。例えば、より多くの層及び／又はフィルタを有するより深いネットワークは、より良品質の結果を与えることができるが、層及び／又はフィルタの数を増やすと、計算時間が大幅に増加し、ＣＮＮモデル３５０の一般化能力が低下する可能性がある。従って、層及び／又はフィルタの数が多くなると、特定のアプリケーションでは実用的でなくなる可能性がある。
【0039】
幾つかの実施形態では、ＣＮＮモデル３５０を用いて、患者の解剖学的特徴のセグメンテーションを実行することができる。例えば、ＣＮＮモデル３５０は、画像の一部（例えば、各ピクセル又はピクセルのグループ化）を２つの異なるクラス、例えば、骨と骨以外とに分類するように構成することができる。幾つかの実施形態では、ＣＮＮモデル３５０は、画像の一部を複数のクラス、例えば、骨、神経、椎体、椎弓根、突起などに分類するように構成することができる。幾つかの実施形態では、第１のＣＮＮモデルは、第１の分類（例えば、骨及び骨以外）を実行するように構成することができ、当該第１のＣＮＮモデル３５０の出力は、１又は２以上の追加の分類（例えば、神経又は神経以外、椎間板又は椎間板以外等）を実行するように構成された１又は２以上の追加のＣＮＮモデル３５０に結合及び入力することができる。幾つかの実施形態では、ＣＮＮモデル３５０は、標識された解剖学的部位を有する画像を含むトレーニングデータセットを用いて、患者の解剖学的特徴をセグメント化するようにトレーニングすることができる。
【0040】
セグメンテーションを実行するように構成されたＣＮＮモデル３５０の好適な例は、２０１９年１１月１１日に公開された米国特許公開第２０１９／０１０５００９号、２０２０年５月１４日に公開された米国特許公開第２０２０／０１５１５０７号、及び２０２０年１２月３１日に公開された米国特許公開第２０２０／０４１０６８７号に記載されており、これらの各々の内容は、引用により本明細書に組み込まれる。
【0041】
ＣＮＮモデルのトレーニング及び使用の更なる詳細が、図４Ａ～７に描かれたフロー図を参照して議論される。図４Ａ～７に描かれた方法は、例えば、コンピュータデバイス１１０、２１０を含む、図１及び図２を参照して説明されたような１又は２以上のデバイスによって実施することができる。
【0042】
図４Ａは、セグメンテーションモデル（例えば、ＣＮＮモデル３５０）をトレーニングする方法４００のフローチャートである。方法４００は、４１０において、トレーニングデータセットから画像データを読み込むステップを含むことができる。トレーニングデータセットは、解剖学的構造の入力画像及び解剖学的構造の異なる部位に標識が適用された解剖学的構造の対応する出力画像を含むことができる。画像は、セグメンテーションモデルをトレーニングするために複数のバッチにグループ化することができる。バッチ内の各画像は、解剖学的構造の３Ｄボリュームの一連のスライスを表す画像を含むことができる。各出力画像は、当該画像の一部を特定の解剖学的部位に対応するように識別する少なくとも１つの標識を含むことができる。幾つかの実施形態では、各出力画像は複数の標識を含むことができ、複数の標識は患者の解剖学的特徴の異なる部位を示す。コンピュータデバイス（例えば、コンピュータデバイス１１０、２１０）は、更なる処理のために画像の１又は２以上のバッチをアレイにロードすることによって画像データを読み取ることができる。
【0043】
任意選択的に、４２０において、トレーニングデータセットから読み取られた画像はサイズ変更することができる。例えば、異なるイメージングデバイスによってキャプチャされた画像は、サイズが異なる可能性があるため、セグメンテーションモデルに入力するためのベースサイズを確立することができる。ベースサイズに適合しない画像は、例えば、サイズ変更機能を用いてサイズ変更することができる。
【0044】
４３０では、画像データを増強することができる。データ増強は、より多様な画像セットを作成するために画像データに対して実行することができる。各入力画像及びその対応する出力画像は、同じデータ増強を受けることができ、結果として得られる入力画像及び出力画像は、トレーニングデータセット内の新しい画像として記憶することができる。データ増強は、画像に１又は２以上の変換又は他のデータ処理技術を適用するステップを含むことができる。これらの変換又は処理技術には、回転、スケーリング、移動、水平反転、ガウス分布及び／又はポアソン分布の加法性ノイズ及びガウスぼかし等を含むことができる。データ増強は、例えば、Ｘ線スキャン、ＣＴスキャン、及び／又はＭＲＩスキャンを含む、何れかの画像タイプに対して実行することができる。幾つかの実施形態では、データ増強は、３Ｄ画像データ（例えば、３Ｄボリュームの２Ｄスキャンを含む３Ｄ ＣＴ画像データ）に対して実行することができ、増強された３Ｄ画像データは、２Ｄ画像を構築するのに使用することができる。例えば、図１２を参照して更に説明するように、３Ｄ画像データは、１又は２以上の増強変換を受けることができ、結果として得られた３Ｄ画像データを用いて、Ｘ線画像をセグメント化するためのＣＮＮモデルのトレーニングに使用する２Ｄ放射線写真を構築することができる。
【0045】
４４０では、元の画像データ及び／又は増強画像データを含むトレーニングデータセットを用いて、セグメンテーションモデルをトレーニングすることができる。幾つかの実施形態では、トレーニングは教師ありとすることができる。トレーニングは、入力画像をセグメンテーションモデルに入力するステップと、セグメンテーションモデルの出力と入力画像に対応する出力画像（標識を含む）との間の差異を最小化するステップとを含むことができる。幾つかの実施形態では、セグメンテーションモデルはＣＮＮモデルとすることができ、これにより、関数の１又は２以上の重みを調整して、入力画像と出力画像との間の関係をより良好に近似することができる。ＣＮＮモデルのトレーニングの詳細については、図４Ｂを参照して説明する。幾つかの実施形態では、トレーニングは教師なしとすることができ、例えば、セグメンテーションモデルが未知のデータ点を分類するために特徴ベクトル間の距離に依存する。
【0046】
検証データセットは、トレーニングされたセグメンテーションモデルの１又は２以上の性能メトリクスを評価するために使用することができる。トレーニングデータセットと同様に、検証データセットは、解剖学的構造の入力画像と、解剖学的構造内の標識された解剖学的部位を含む出力画像と、を含むことができる。検証データセットを用いて、トレーニングされたセグメンテーションモデルが特定の性能メトリクスを有するか否か、又はセグメンテーションモデルの更なるトレーニングが必要であるか否かを確認することができる。４５０では、トレーニングされたセグメンテーションモデルを通して、検証データセットの入力画像を実行し、出力を得ることができる。４６０では、検証データセットの出力に基づいて、１又は２以上の性能メトリクスを計算することができる。例えば、検証データセットの出力を、入力画像に対応する出力画像と比較することができ、モデルの出力と出力画像との間の差異を定性的及び／又は定量的尺度で評価することができる。モデルの出力と、入力画像に対応する出力画像との間の差異に基づいて、異なる性能メトリクスを計算することができる。例えば、正しく分類された又は誤って分類されたピクセル（又はピクセルのグループ）の数又はパーセンテージを決定することができる。
【0047】
４７０において、コンピュータデバイスは、トレーニングが完了したか（例えば、トレーニングされたセグメンテーションモデルの性能が十分であり、及び／又はトレーニング反復のある回数が満たされたか）、又は更なるトレーニングが必要であるかを決定することができる。幾つかの実施形態では、コンピュータデバイスは、トレーニングされたモデルの性能が所定の量だけ改善しなくなるまで（すなわち、後のトレーニング反復４１０～４６０の性能メトリクスが、前のトレーニング反復４１０～４６０の性能メトリクスと予め定められた閾値又はパーセンテージだけ異ならなくなるまで）、トレーニング反復のサイクルを継続する（すなわち、４１０～４６０に戻る）ことができる。モデルが改善されない場合、セグメンテーションモデルは、トレーニングデータにオーバーフィット（過適合）している可能性がある。幾つかの実施形態では、コンピュータデバイスは、トレーニング反復４１０－４６０の性能メトリクスが、十分な性能を示すある所定の閾値に達するまで、トレーニング反復のサイクルを継続する（すなわち、４１０－４６０に戻る）ことができる。幾つかの実施形態では、コンピュータデバイスは、予め定められた反復回数が満たされるまで（すなわち、セグメンテーションモデルが予め定められた回数をトレーニングされるまで）、トレーニング反復のサイクルを継続する（すなわち、４１０－４６０に戻って進む）ことができる。
【0048】
セグメンテーションモデルが十分にトレーニングされると（４７０：ＹＥＳ）、４８０において、セグメンテーションモデルを、例えばメモリ（例えばメモリ２３０）に記憶することができる。記憶されたセグメンテーションモデルは、例えば、患者の新しい画像データに対してセグメンテーションを実行するための推論プロセスにおいて、コンピュータデバイスによって使用することができる。
【0049】
図４Ｂは、例えばＣＮＮなどのニューラルネットワークとして実装されたセグメンテーションモデルのトレーニング方法４００のフローチャートである。ニューラルネットワークモデルは、画像データの異なる部位をこれらの部分から抽出された特徴に基づいて分類できるように、ニューラルネットワークモデルのパラメータを調整するためにトレーニングすることができる。トレーニング後のニューラルネットワークを用いて、複数の画像、例えば患者の解剖学的特徴の２Ｄスキャンをセグメント化し、これらの画像を組み合わせて解剖学的構造の３Ｄモデルを形成することができる。
【0050】
方法４００は、４３１において、トレーニングデータセットから画像データのバッチを読み取るステップを含むことができる。上述のように、トレーニングデータセットは、患者の解剖学的特徴の入力画像と、標識された（例えば、予めセグメント化された）患者の解剖学的特徴の対応する出力画像とを含むことができる。画像のバッチをトレーニングデータセットから一度に１つずつ読み出して、ニューラルネットワークを用いて処理することができる。幾つかの実施形態では、画像のバッチは、上述のように、増強画像を含むことができる。例えば、特定の入力画像及び出力画像に１又は２以上の変換又は他の増強技術を施すことができ、変換又は増強された画像は、ニューラルネットワークをトレーニングするためのトレーニングデータセットに含めることができる。
【0051】
画像のバッチは、４３２において、標準的なフォワードパスでニューラルネットワークの層を通過させることができる。フォワードパスは、出力又は結果を返すことができ、これらは、４３４において損失関数の値を計算するために使用できる。損失関数又は目的関数は、（入力画像に対応する出力画像に反映される）所望の出力と、ニューラルネットワークの出力との間の差を評価するのに使用される関数を表す。損失関数の値は、所望の出力とニューラルネットワークの出力との間の当該差の尺度を示すことができる。幾つかの実施形態では、差は、例えば、平均二乗誤差、平均誤差、又はカテゴリクロスエントロピーを含む類似性メトリックを用いて表すことができる。損失関数の値を用いて、誤差勾配を計算することができ、この誤差勾配は、４３６において、ニューラルネットワークの１又は２以上の重みを更新するために使用することができる。重みは、ニューラルネットワークを通過する後続のパスにおいて損失関数の値を低減するように更新することができる。
【0052】
４３８において、コンピュータデバイスは、トレーニングが完全なトレーニングデータセットを循環したかどうか、すなわち、エポックが完了したかどうかを判定することができる。エポックが完了した場合、プロセスは４５０に進み、検証データセットを用いて、トレーニングされたセグメンテーションモデルの性能メトリクスが評価される。完了してない場合、プロセスは４３１に戻り、ここで次の画像のバッチが読み込まれる。
【0053】
図５は、幾つかの実施形態による、トレーニングされたセグメンテーションモデルを使用した推論プロセスの方法５００のフローチャートである。方法５００は、５１０において、患者画像データから画像のバッチを読み取るステップを含むことができる。画像は、患者の解剖学的構造を取得した新しい画像とすることができる。画像は、例えば、解剖学的構造の３Ｄボリュームの２Ｄスキャンとすることができる。幾つかの実施形態では、画像は、ＣＴ画像、ＭＲＩ画像、及び／又はＸ線画像を含むことができる。
【0054】
任意選択的に、５２０において、１又は２以上の画像を前処理することができる。例えば、図３Ａを参照して上述したように、画像データをノイズ除去するためのモデルを用いて、１又は２以上の画像をノイズ除去することができる。代替的に又は追加的に、１又は２以上の画像は、例えば、フィルタリング、平滑化、クロッピング、正規化、サイズ変更等の他の技法を用いて処理することができる。図４Ａ及び図４Ｂを参照して上述したように、１又は２以上の画像は、トレーニングプロセス中に画像を処理するために利用されたのと同じパラメータを用いて前処理することができる。幾つかの実施形態では、推論時間歪みを１又は２以上の画像に適用することができ、各入力画像に対して予め定義された数の歪み画像が作成される。これらの歪んだ画像は、明るさ、コントラスト、向きなどの小さな変動に対して堅牢な推論結果を作成することができる。
【0055】
５３０では、画像データ（例えば、処理された画像及び／又は歪んだ画像）をセグメンテーションモデルに入力することができる。セグメンテーションモデルがＣＮＮとして実装されている場合、入力画像はＣＮＮのレイヤを通過することができる。セグメンテーションモデルは、画像データの出力を返すことができる。任意選択的に、５４０において、セグメンテーションモデルの出力は、例えば、線形フィルタリング（例えば、ガウシアンフィルタリング）、非線形フィルタリング、メディアンフィルタリング、又はモルフォロジカルオープニング若しくはクロージングを用いて、後処理することができる。
【0056】
幾つかの実施形態では、セグメンテーションモデルの出力は、画像データの各画像の各ピクセル（又はピクセルグループ）のクラス毎の確率を含むことができる。例えば、セグメンテーションモデルは、画像データを複数のクラスのうちの１つに分類するように構成することができる。従って、セグメンテーションモデルは、画像の各ピクセル又はピクセルグループについて、当該ピクセル又はピクセルグループが複数のクラスから何れか１つのクラスに属する確率を生成するように構成することができる。複数のクラスは、解剖学的構造の複数の解剖学的部位に対応することができる。任意選択的に、５５０において、クラスごとの確率に基づいて、複数のクラスから各クラスについて確率マップを生成することができる。
【0057】
５６０において、画像データのバッチを更に処理する必要がある場合、方法５００は５１０に戻り、画像データの別のバッチを読み込むことができる。或いは、全てのバッチが処理された（すなわち、全てのバッチに対して推論が実行された）場合には、５７０において、例えば、画像の確率マップ及び／又はクラス毎の確率などのセグメンテーションモデルの出力に基づいて、患者の解剖学的構造の３Ｄ解剖学的モデルを生成することができる。
【0058】
５８０において、３Ｄ解剖学モデル及び／又はセグメンテーションモデルの出力は、メモリ（例えば、メモリ２３０）に記憶することができる。幾つかの実施形態では、３Ｄ解剖学的モデルは、例えば多角形メッシュ表現等の患者の解剖学的構造の仮想表現を生成するために変換又は使用することができる。仮想表現（例えば、ボリューム及び／又はメッシュ表現）のパラメータは、色、不透明度、メッシュデシメーション等の点で調整されて、ユーザ（例えば、外科医）に患者の解剖学的構造の異なるビューを提供することができる。５９０において、３Ｄ解剖学的モデルの２Ｄ又は３Ｄ画像は、例えば、外科手術ナビゲーションシステム（例えば、外科手術ナビゲーションシステム１７０）のディスプレイシステム上で視覚化することができる。
【0059】
図５には描かれていないが、セグメント化された画像データを処理し、患者の解剖学的構造の１又は２以上の特性を解析することができる。例えば、セグメント化された解剖学的特徴を解析し、識別（例えば、脊椎の異なるレベルのレベル識別）、幾何学的測定及び／又は評価、及び／又は寸法測定及び／又は評価を実行することができる。脊椎解剖学的特徴のレベル識別の例は、２０２０年１０月１５日に公開された米国特許出願公開第２０２０／０３２７７２１号に記載されており、その内容は引用により本明細書に組み込まれる。
【0060】
幾つかの実施形態では、本明細書に記載のシステム及びデバイスは、解剖学的構造の以前に得られたセグメンテーションデータ及び／又は手動のセグメンテーションデータを用いて、セグメンテーションモデルをトレーニングすることができる。幾つかの実施形態では、本明細書に記載のシステム及びデバイスは、第１のセグメンテーションモデルをトレーニングし、その後、第１のセグメンテーションモデルを用いて、第２のセグメンテーションモデルをトレーニングするのに使用することができるセグメンテーションデータを生成することができる。第１のセグメンテーションモデル及び第２のセグメンテーションモデルは、トレーニングされた後、患者の解剖学的特徴の異なる部位をセグメント化するための推論プロセスにおいて使用することができる。例えば、第１のセグメンテーションモデルを用いて、第１のタイプの解剖学的構造（例えば、骨構造）をセグメント化することができ、第２のセグメンテーションモデルを用いて、第２のタイプの解剖学的構造をセグメント化することができる。幾つかの実施形態では、本明細書で記載されるセグメンテーションモデルは、多次元（例えば、３Ｄ）の解剖学的データを処理するようにトレーニングすることができる。このようなセグメンテーション及び推論プロセスの更なる詳細については、図６及び図７を参照して説明する。
【0061】
図６は、幾つかの実施形態による、セグメンテーションモデルをトレーニングする方法６００のフローチャートである。方法６００は、上述した方法４００と同様とすることができるが、隣接する解剖学的構造の初期セグメンテーション及び画像データの多次元（例えば、３Ｄ）領域の処理を含むステップを含むことができる。
【0062】
方法６００は、例えば、データベース又はメモリ（例えば、メモリ２３０）から、トレーニングデータセットから画像のセットを読み出すステップを含むことができる。画像のセットは、ＣＴ又はＭＲＩスキャナ等の術前又は術中イメージングデバイスから得られたＤＩＣＯＭ（医用におけるデジタル画像と通信）画像とすることができる。画像は、３Ｄ解剖学的構造の連続スライス（すなわち、２Ｄ画像）を表すことができ、画像の３Ｄスキャンボリュームの形態で受け取ることができる。画像のセットは、３Ｄ解剖学的構造の異なる解剖学的部位に関連する標識を含む、出力画像とペアにすることができる。出力画像は、トレーニングされたセグメンテーションモデルの所望の出力を表すことができる。
【0063】
画像は、標識又はセグメント化することができる。幾つかの実施形態では、画像は、任意選択的に、６４０において、人間のオペレータ、例えば、技師、医師、放射線科医などによってセグメント化することができる。例えば、人間のオペレータは、３Ｄスキャンボリュームに１又は２以上の解剖学的部位を手動でマークすることができる。人間のオペレータは、関心のある異なる解剖学的部位を示すために異なる色又はマーキングを使用することができる。幾つかの実施形態では、６２０において、任意選択的に画像をトレーニングされたセグメンテーションモデルによって処理して、隣接する解剖学的部位又は構造のセグメント化を実行することができる。例えば、トレーニングされたセグメンテーションモデルは、画像データを、隣接する解剖学的部位又は構造を表す１又は２以上のクラスに分類するようにトレーニングすることができる。隣接する解剖学的部位とは、関心のある１又は２以上の解剖学的部位又は構造に近接する（例えば、近傍にある）ものとすることができる。例えば、トレーニングされたセグメンテーションモデルを用いて、１又は２以上の関心対象の軟組織構造（例えば、神経、椎間板等）に隣接する骨構造（例えば、椎体、椎弓根、横突起、ラミナ、及び／又は棘突起）を識別することができる。６３０において、トレーニングされたセグメンテーションモデルによって出力されたセグメンテーションデータは、任意選択的に３Ｄスキャンボリュームと組み合わせることができる。幾つかの実施形態では、セグメンテーションデータは、例えば手動又は自律的に、３Ｄスキャンボリュームとマージすることができる。幾つかの実施形態では、３Ｄスキャンボリュームは、セグメンテーションモデルの出力に基づいて、例えば、色コード付きの３Ｄボリューム又は標識された３Ｄボリューム（例えば、異なる色、パターン、マーキング等を用いて）の形態をとるように変更することができる。幾つかの実施形態では、セグメンテーションデータ及び３Ｄスキャンボリュームからの画像データを別個に保持することができ、両者をセグメンテーションモデルに共に入力して更に処理することができる。例えば、セグメンテーションモデル（例えば、ニューラルネットワーク又は他のアルゴリズム）は、別々の３Ｄスキャンボリューム画像及びセグメンテーションデータ画像を受け取り、この２つを自動的に連結して、より高次元の処理済み３Ｄスキャンボリュームを生成することができる。
【0064】
６５０において、トレーニングデータの１又は２以上の領域を定義することができる。幾つかの実施形態では、画像データの連続する多次元（例えば、３Ｄ）領域は、例えば、領域のサイズ、多次元ストライドの値等、予め定義されたパラメータを用いて定義又は選択することができる。画像データの多次元領域は、手動及び／又は自律セグメンテーションデータを有することができる３Ｄスキャンボリュームから抽出することができる。脊椎セグメンテーションの例では、画像データの各多次元領域は、例えば、神経系構成要素、筋肉、血管、靭帯、椎間板、関節、脳脊髄液などを含む周辺組織の一部を有する各椎骨レベルのボリュームを含むことができる。画像データの領域は、（１）多次元軸（例えば、Ｘ軸、Ｙ軸及びＸ軸）に沿ったボクセル分布に関する情報、（２）１又は２以上の解剖学的部位に関する外観情報、及び（３）隣接する解剖学的部位の分類を示すセグメンテーションデータを含むことができる。
【0065】
任意選択的に、６６０において、画像データの領域は、例えば、セグメンテーションモデルをトレーニングするための予め定義されたサイズを達成するように、サイズ変更することができる。幾つかの実施形態では、画像データの領域は、画像データの全ての領域が同じサイズになるようにサイズ変更することができる。６７０において、トレーニングデータセットは、増強することができる。トレーニングデータセットの増強は、図４Ａの４３０を参照して説明したものと同様とすることができる。例えば、画像データの各多次元領域及び画像データのその対応する出力多次元領域は、例えば、回転、並進、スケーリング、せん断、水平又は垂直反転、多次元グリッド変形、ガウス分布及び／又はポアソン分布の加法性ノイズ及びガウスぼかし、明るさ又はコントラスト補正等、１又は２以上の同じ増強技術を受けることができる。これらの増強技術は、多次元領域内のボクセル位置を再マッピングし、解剖学的構造の外観を変更することができる。同様に、画像データの多次元領域に関連する手動及び／又は自律セグメンテーションデータは、新しい解剖学的構造の形状に一致するように再マッピングすることができる。増強プロセス中、解剖学的構造の外観に関する情報を含む各ボクセルの値は、補間アルゴリズム（例えば、バイキュービック、多項式、スプライン、最近傍、又は他の補間アルゴリズム）を用いて、その新しい位置に関して再計算することができる。画像データの増強された領域は、トレーニングデータセットの一部として含めることができる。
【0066】
６８０において、トレーニングデータセットを用いてセグメンテーションモデルをトレーニングし、１又は２以上の関心のある解剖学的部位を識別することができる。関心のある解剖学的部位は、６２０で以前にセグメント化された解剖学的部位とは異なるが、その解剖学的部位に隣接又は近接することができる。例えば、隣接する解剖学的構造が脊椎の骨構造である場合、関心のある解剖学的部位は、神経、椎間板、又は脊椎の領域の他の解剖学的特徴とすることができる。セグメンテーションモデルのトレーニングは、図４Ａの４４０を参照して説明したものと同様とすることができる。例えば、トレーニングは、画像データの多次元領域をセグメンテーションモデルに入力するステップと、セグメンテーションモデルの出力と画像データの入力領域に対応する画像データの出力領域（標識を含む）との間の差異を最小化するステップとを含むことができる。幾つかの実施形態では、セグメンテーションモデルは、ＣＮＮモデルとすることができ、ＣＮＮモデルは、図４Ｂに描かれている例示的なプロセスに従ってトレーニングすることができる。幾つかの実施形態では、ＳＡＴ（Ｓｅｌｅｃｔ－Ａｔｔｅｎｄ－Ｔｒａｎｓｆｅｒ）ゲート又はＧＡＮ（Ｇｅｎｅｒａｔｉｖｅ Ａｄｖｅｒｓａｒｉａｌ Ｎｅｔｗｏｒｋｓ）を使用して、セグメンテーションモデル出力の品質を向上させることができる。
【0067】
図６には描かれていないが、方法６００は、任意選択的に、例えば、トレーニングの反復回数をカウントするカウンタを適用することによって、及び／又は１又は２以上の性能メトリクスを評価することによって、セグメンテーションモデルが十分にトレーニングされた時点を決定するステップを含むことができる。このようなステップは、上記の図４Ａを参照して説明される。６９０において、セグメンテーションモデルのトレーニングが完了すると、セグメンテーションモデルは、例えば、メモリ（例えば、メモリ２３０）に、記憶することができる。記憶されたセグメンテーションモデルは、例えば、患者の新しい画像データ上で関心のある解剖学的部位のセグメンテーションを実行するための推論プロセスにおいて、コンピュータデバイス（例えば、コンピュータデバイス１１０、２１０）によって使用することができる。
【0068】
図７は、幾つかの実施形態による、トレーニングされたセグメンテーションモデルを使用する推論プロセスの方法７００のフローチャートである。方法７００は、上述した方法４００と同様とすることができるが、隣接する解剖学的構造の初期セグメンテーション及び画像データの多次元（例えば、３Ｄ）領域の処理を含むステップを含むことができる。
【0069】
方法７００は、７１０において、例えば、データベース又はメモリ（例えば、メモリ２３０）から、患者の解剖学的特徴の画像のセットを読み出すステップを含むことができる。幾つかの実施形態では、画像は、３Ｄ解剖学的構造の連続するスライス（すなわち、２Ｄ画像）を表すことができ、画像の３Ｄスキャンボリュームの形態で受け取ることができる。幾つかの実施形態では、患者の解剖学的特徴のより包括的な画像データを提供するために、異なるソース（例えば、異なるイメージングデバイス１６０）からの画像データをマージ又は結合することができる。異なるイメージングデバイスからの画像データの結合に関する更なる詳細は、図１９を参照して説明される。幾つかの実施形態では、画像データは、ＣＴデータ、ＭＲＩデータ、及びＸ線データのうちの１又は２以上のデータ、これらの組み合わせ等を含むことができる。
【0070】
任意選択的に、７２０において、関心のある解剖学的構造に隣接する（例えば、その近傍の）解剖学的構造を、初期セグメンテーションモデルを用いてセグメント化することができる。例えば、骨構造をセグメント化するためのセグメンテーションモデルを用いて、３Ｄスキャンボリュームに対してセグメンテーションを実行し、骨構造内の解剖学的構造部分（例えば、椎体、椎弓根、横突起、ラミナ、及び／又は棘突起）を識別することができる。図７には描かれていないが、３Ｄスキャンボリュームの画像は、隣接する解剖学的構造をセグメント化するためにセグメンテーションに入力される前に、サイズ変更又は処理（例えば、ノイズ除去）できることが理解することができる。
【0071】
セグメンテーションモデルの出力は、任意選択的に、７３０において、３Ｄスキャンボリュームと組み合わせる（例えば、マージする）ことができる。解剖学的構造の外観に関する情報を提供する３Ｄスキャンボリュームを、隣接する解剖学的構造のセグメンテーションモデルからの出力と組み合わせることにより、関心のある解剖学的部位又は構造をセグメント化する後の推論プロセスで使用される情報量を増加させることができる。このような組み合わせにより、入力データの次元を拡張することができ、解剖学的部位又は構造のセグメンテーションを容易にすることができる。コンピュータデバイス（例えば、コンピュータデバイス１１０、２１０）は、出力セグメンテーションデータに基づいて（例えば、色コード付きの３Ｄボリュームの形態をとるように）入力画像データを修正することによって、及び／又は３Ｄスキャンボリューム及びセグメンテーションデータを別のセグメンテーションモデル（例えば、ニューラルネットワーク）に別個に導入することによって、３Ｄスキャンボリュームと出力セグメンテーションデータを組み合わせて、より高い次元の情報をモデル内で内部的に生成することができる。加えて又は代替的に、関心のある解剖学的部位又は構造内に存在しないセグメント化された隣接構造は、関心のある解剖学的部位又は構造のセグメンテーションを後で実行する前に、関心領域から除外することができる。このようにすることで、関心のある解剖学的部位又は構造の後のセグメンテーションの計算量を削減し及び／又は効率を向上させることができる。
【0072】
７４０では、患者３Ｄスキャンボリューム内の多次元（例えば、３Ｄ）関心領域（ＲＯＩ）は、予め定義されたパラメータ（例えば、領域のサイズ又は多次元ストライド）に基づいて定義することができる。幾つかの実施形態では、重複するＲＯＩを定義することができ、他の実施形態では、重複しないＲＯＩを定義することができる。アプリケーション要件及び／又は入力画像データのサイズ又はタイプに応じて、予め定義されたパラメータを調整することができる。多次元ＲＯＩの次元数は、関心のある解剖学的部位又は構造のセグメンテーションを実行する前に異なるソースから得られる情報の量に依存することができる。例えば、医用イメージングソース（例えば、イメージングデバイス１６０）からの３Ｄ情報を他の３Ｄ情報（例えば、隣接する解剖学的部位又は構造をセグメント化するためのセグメンテーションモデルから、別のイメージングソースから等）と組み合わせて、関心のある解剖学的部位又は構造をセグメント化するためのセグメンテーションモデルに入力可能なより高次元の情報（例えば、４次元情報）を生成することができる。幾つかの実施形態では、医用イメージングソースからの情報を経時的に収集して、これら情報を組み合わせて高次元情報を生成することができる。幾つかの実施形態では、異なるイメージングソース（例えば、ＣＴ、ＭＲＩ、Ｘ線）からの情報を組み合わせて、より高次元の情報を生成することができる。
【0073】
任意選択的に、７５０において、ＲＯＩは、関心のある解剖学的部位又は構造をセグメント化するためのセグメンテーションモデルによって処理されるのに適した予め定義されたサイズを有するようにサイズ変更することができる。セグメンテーションモデルは、予め定義されたサイズを有する画像データの領域を用いてトレーニングされている可能性があり（上述した図６の６６０を参照）、従って、セグメンテーションモデルが関心のある解剖学的部位又は構造のセグメンテーションを実行するためには、患者３ＤスキャンボリュームからのＲＯＩのサイズ変更が必要となる可能性がある。７６０において、多次元ＲＯＩは、関心のある解剖学的部位又は構造をセグメント化するために、トレーニングされたセグメンテーションモデルによって処理することができる。コンピュータデバイスは、ＲＯＩをセグメンテーションモデルに入力し、セグメンテーションモデルが、関心のある解剖学的部位又は構造の３次元サイズ及び形状を定義又は示す出力を生成するように構成することができる。幾つかの実施形態では、複数のセグメンテーションモデルを用いてＲＯＩを処理し、セグメンテーションデータを生成することができ、これらのセグメンテーションモデルは、７８０を参照して後述するように組み合わせることができる。例えば、ＭＲＩ画像データをセグメント化するためのセグメンテーションモデルを用いて、ＭＲＩスキャンのバッチをセグメント化し、ＣＴ画像データをセグメント化するための異なるセグメンテーションモデルを用いてＣＴスキャンのバッチをセグメント化し、これら２つのセグメンテーションモデルによって出力されたセグメンテーションデータを、以下に説明するように組み合わせることができる。
【0074】
処理されていない画像データのバッチが更に存在する場合（７７０：ＮＯ）、プロセスは７１０に戻り、画像データの別のバッチを読み取り、画像データの新しいバッチに対してセグメンテーションを実行することができる。或いは、画像データの全てのバッチが処理された場合（７７０：ＹＥＳ）、プロセスは７８０に進むことができる。７８０において、任意選択的に、例えば、３Ｄセグメンテーションデータ内の局所的に重複するボクセルを決定し、ボクセルに関連するセグメンテーションデータを結合することによって、別個のセグメンテーション出力（例えば、重複するＲＯＩ上で得られたもの）を結合することができる。幾つかの実施形態において、コンピュータデバイスは、重複するボクセルのセグメンテーションデータを結合するために、ブーストアルゴリズムを実装することができる。幾つかの実施形態において、コンピュータデバイスは、ブートストラップ集計又はバギングアルゴリズムを実装して、重複するボクセルのセグメンテーションデータを結合することができる。幾つかの実施形態において、コンピュータデバイスは、任意の数のモデル平均化手法、例えば、平均又は中央値関数等を実装することができる。同じボクセル（又はボクセルのグループ）に対する複数のセグメンテーション出力を、各セグメンテーション出力が異なる予測条件（例えば、入力、モデルの重み、パラメータなど）に関連するように組み合わせることによって、本明細書に記載されるシステム及びデバイスは、適切なボクセルの分類をより正確に予測するより高品質のセグメンテーション出力を生成することができる。
【0075】
任意選択的に、７８２において、セグメンテーション出力（例えば、別個のセグメンテーション出力又は組み合わされたセグメンテーション出力）は、セグメント化された関心のある解剖学的部位又は構造の適切な形状、位置、サイズ及び連続性を強化するために、例えば、予め定義されたフィルタセット及び／又はパラメータを用いてフィルタリングすることによって、後処理することができる。７８４では、セグメンテーション出力を解析して、各ボクセル又はボクセルのグループについて、関心のある解剖学的部位又は構造を表す複数のクラスからクラスを識別することができる。７９０では、識別された関心のある解剖学的部位又は構造に基づいて３Ｄ解剖学的モデルを生成することができる。図７には描かれていないが、３Ｄ解剖学的モデルは、メモリ（例えば、メモリ２３０）に記憶され、及び／又は（例えば、外科手術ナビゲーションシステム１７０において）視覚化のために患者の解剖学的特徴の仮想表現を生成するために使用することができる。このようなステップは、図５の５８０～５９０を参照して説明される。
【0076】
本明細書で記載されるセグメンテーションモデルを用いて、例えば、ＣＴ画像データ、Ｘ線画像データ、及びＭＲＩ画像データを含む幾つかの異なるタイプの画像データを処理することができる。以下のセクションでは、これらの画像タイプのそれぞれに対して実行されるセグメンテーションの例について説明する。
【0077】
（ＣＴセグメンテーション）
上述のように、ＣＴイメージングデバイスは、診断目的で解剖学的構造を非侵襲的に撮像するために一般的に使用される。ＣＴイメージングデバイスは、Ｘ線源を用いて、患者の身体のセクションを照射するために使用される扇形ビームを生成する。イメージングデバイス内の検出器は、照射される患者の身体のセクションから出るＸ線を記録することができ、患者の身体のシンセクションの画像を取得することができる。画像は、患者の身体の連続的な２Ｄスキャンを表すことができ、これらを組み合わせて、患者の身体の３Ｄボリュームの画像データを提供することができる。
上述のように、ＣＴイメージングデバイスは、診断目的で解剖学的構造を非侵襲的に撮像するために一般的に使用される。ＣＴイメージングデバイスは、Ｘ線源を用いて、患者の身体のセクションを照射するために使用される扇形ビームを生成する。イメージングデバイス内の検出器は、照射される患者の身体のセクションから出るＸ線を記録することができ、患者の身体のシンセクションの画像を取得することができる。画像は、患者の身体の連続的な２Ｄスキャンを表すことができ、これらを組み合わせて、患者の身体の３Ｄボリュームの画像データを提供することができる。
【0078】
本明細書に記載のシステム、デバイス、及び方法は、ＣＴ画像又はスキャンのセグメンテーションを実行するように構成することができる。例えば、コンピュータデバイス（例えば、コンピュータデバイス１１０、２１０）は、セグメンテーションモデルを用いて１又は２以上のＣＴスキャンを処理し、ＣＴスキャンの各ピクセル（又はピクセルグループ）を分類するように構成することができる。このような分類は、関心のある異なる解剖学的部位及び／又は構造を識別するために使用することができる。
【0079】
図８Ａは、患者の脊椎のＣＴスキャン８００の一例を示している。ＣＴスキャン８００は、患者の解剖学的特徴のノイズ除去画像とすることができる。上述のように、コンピュータデバイス（例えば、１１０、２１０）は、解剖学的構造の生のＣＴスキャンを受信し、ノイズ除去モデル（例えば、ノイズ除去モデル３００）を用いて、生のＣＴスキャンからノイズを除去することができる。幾つかの実施形態では、ノイズ除去モデルは、特定のイメージングデバイスを用いて生成された画像に特有のノイズを識別するようにトレーニングされたＣＮＮモデルとすることができる。例えば、ＣＮＮモデルは、特定のＣＴイメージングシステム、ＣＴイメージングシステムの特定のブランド、及び／又は特定の設定を有するＣＴイメージングシステムに特有のノイズを除去するように調整することができる。ＣＴスキャン８００は、患者の椎骨のスキャンを含むことができる。
【0080】
ＣＴスキャン８００は、図５を参照して説明したようなセグメンテーションモデル（例えば、セグメンテーションモデル３５０）を用いて処理することができ、出力８１０を生成することができる。セグメンテーションモデルは、椎骨の解剖学的構造を１又は２以上の解剖学的部位にセグメント化するようにトレーニングすることができる。特に、セグメンテーションモデルは、ＣＴスキャン８００の各ピクセル又はピクセルグループを複数のクラスのうちの１つに分類するように構成することができる。複数のクラスは、例えば、棘突起８１１、ラミナ８１２、関節突起８１３、横突起８１４、椎弓根８１５、及び／又は椎体８１６を含む複数の解剖学的部位に関連付けることができる。図８Ｂに描かれているように、セグメンテーションモデルの出力８１０は、異なる視覚的特徴（例えば、異なる色、パターン、又は他の特徴）を用いて示された異なる解剖学的部位を含むことができる。
【0081】
幾つかの実施形態では、ＣＴスキャン８００は、患者の解剖学的構造の３Ｄ領域の３Ｄスキャンボリュームの一部とすることができる。例えば、ＣＴスキャン８００は、椎骨全体の３Ｄスキャンボリュームの一部とすることができる。椎骨のＣＴスキャンは、椎骨の異なる解剖学的部位を識別するようにトレーニングされたセグメンテーションモデル（例えば、セグメンテーションモデル３５０）を用いて処理することができる。セグメンテーションモデルの出力を用いて、異なる解剖学的部位のセグメンテーション情報を含む椎骨の３Ｄモデル８２０を生成することができる。３Ｄ画像データのセグメンテーション及び３Ｄ解剖学的モデルの生成の更なる詳細については、図５を参照して説明する。
【0082】
幾つかの実施形態では、一連のＣＴスキャンを含む３Ｄスキャンボリュームは、隣接する解剖学的部位及び／又は構造を識別するために、最初に、第１のセグメンテーションモデルを用いてセグメント化され、次に、セグメンテーションモデルの出力と組み合わせて、例えば、トレーニングのため又は推論の目的のため、第２のセグメンテーションモデルに提供される情報を増加させることができる。このようなプロセスについて、図６及び図７を参照して説明する。例えば、図９Ａは、患者の脊椎の周囲の領域のスライスを表す例示的なＣＴスキャン９１０を示す。ＣＴスキャン９１０は、患者の脊椎周辺の領域の３Ｄスキャンボリュームに属することができる。コンピュータデバイス（例えば、コンピュータデバイス１１０、２１０）は、ＣＴスキャン９１０を含む、画像のセットを読み取ることができる。コンピュータデバイスは、例えば、隣接する解剖学的部位及び／又は構造をセグメント化するためのトレーニングされたセグメンテーションモデルを用いて、画像のセットに対して初期セグメンテーションを実行し、画像のセットから各画像に対する出力を得ることができる。図９Ｂは、ＣＴスキャン９１０に対するこのような出力（出力９２０）の一例を示す。
【0083】
隣接する解剖学的部位及び／又は構造は、１又は２以上の関心のある解剖学的部位及び／又は構造に隣接する（例えば、近傍にある）部位及び／又は構造を表すことができる。例えば、一部の事例では、関心のある解剖学的構造は、神経、椎間板、筋肉などの軟組織構造を含むことができ、一方、隣接する解剖学的構造は、神経、椎間板、筋肉などに隣接する骨構造を含むことができる。従って、骨構造をセグメント化するようにトレーニングされた第１のセグメンテーションモデルを用いて、画像のセット（例えば、ＣＴスキャン９１０を含む）からの各画像を処理し、画像のセットからの各画像（例えば、ＣＴスキャン９１０に対応する出力９２０を含む）に対して、骨構造の異なる部位に対応する別個の領域を示す出力を生成することができる。図９Ｂに描かれているように、ＣＴスキャン９１０に対応する出力９２０は、例えば椎体９２６、椎弓根９２５、横突起９２４、ラミナ９２３、及び／又は棘突起９２１等の骨構造の異なる部位を示す異なる着色、パターン、マーキング、又は他の視覚的特徴を含むことができる。
【0084】
幾つかの実施形態では、ＣＴスキャン９１０からの情報及びセグメンテーションモデルの出力９２０からのセグメンテーションデータは、図９Ｃに描かれているように、例示的な画像９３０に結合（例えば、マージ）することができる。マージされた画像９３０は、カラーコード化されたＣＴスキャン（ＤＩＣＯＭ）画像又は他の視覚的特徴（例えば、パターン、マーキング等）に基づいてコード化されたＣＴスキャン画像の形態とすることができる。ＣＴ画像データ及びセグメンテーションデータをマージする更なる詳細は、方法６００及び７００を参照して、それぞれ６３０及び７３０において説明される。次いで、マージされた画像９３０は、図６及び図７で説明したように、トレーニングプロセス又は推論プロセスで使用することができる。幾つかの実施形態では、ＣＴスキャン９１０及び出力９２０を別個の画像として保持することができ、これを後のセグメンテーションモデルに共に入力することができ、このセグメンテーションモデルは、ＣＴスキャン９１０及び出力９２０の両方からの情報を推論のトレーニングに使用することができる。
【0085】
幾つかの実施形態では、画像データの複数の多次元領域は、例えばＣＴイメージングシステム（又は他のイメージングシステム）を用いて取り込まれた３Ｄ画像データにおいて定義することができる。画像データの多次元領域は、図６及び図７で説明したように、トレーニングプロセス又は推論プロセスで使用することができる。例えば、画像データの多次元領域をセグメンテーションモデルに入力し、セグメンテーションモデルを用いて処理して、１又は２以上の関心のある解剖学的部位及び／又は構造を識別することができる。画像データの多次元領域は、３Ｄスキャンボリュームに含まれるＣＴスキャンから取り出された情報、及び／又は関心のある解剖学的部位及び／又は構造に隣接する解剖学的部位を識別するようにトレーニングされたセグメンテーションモデルによって出力されたセグメンテーションデータを含むことができる。幾つかの実施形態では、画像データの多次元領域は、領域１００１、１００２、１００３を有する図１０Ａ及び図１０Ｂに描写されるように、重なり合うことなく互いに隣接して連続して画定することができる。幾つかの実施形態では、画像データの多次元領域は、領域１１０１、１１０２、１１０３と共に図１１Ａ及び図１１Ｂに描写されるように、重なり部分を伴って定義することができる。各領域のサイズ及び多次元ストライドは、画像データの領域が重なるか否かを決定することができる。例えば、図１０Ａ及び図１０Ｂにおいて、ストライドは画像データの領域の１次元に等しく、従って、領域１００１、１００２、１００３は重ならない。或いは、図１１Ａ及び図１１Ｂにおいて、ストライドは画像データの領域の１次元未満であり、従って、領域１１０１、１１０２、１１０３は隣接する領域と重なる。
【0086】
【0087】
幾つかの実施形態では、セグメント化されたＣＴ画像は、患者の解剖学的特徴の３Ｄモデルを生成するために使用することができ、この３Ｄモデルは、患者の解剖学的特徴の異なる部位を選択的に視覚化するために使用することができる。幾つかの実施形態では、セグメント化されたＣＴ画像データを処理して、患者の解剖学的構造の１又は２以上の特性を解析することができる。例えば、セグメント化された解剖学的特徴は、識別（例えば、脊椎の異なるレベルのレベル識別）、幾何学的測定及び／又は評価、及び／又は寸法測定及び／又は評価を実行するために解析することができる。
【0088】
（Ｘ線セグメンテーション）
Ｘ線イメージングは、患者の解剖学的特徴内の骨構造に関する詳細な情報を提供することができる。例えば、Ｘ線イメージングを用いて、脊椎内の様々な骨構造の測定の実行を含む脊椎を解析することができる。従来、Ｘ線画像は、放射線科医によって解釈される。放射線科医は、スキャンを解釈して脊椎の識別部位（頸椎、胸椎、腰椎など）を評価することができる。これらの評価は、例えば、特定の放射線科医の専門知識及びＸ線画像の主観的解析によって異なる可能性がある。対照的に、本明細書に記載のシステム、デバイス、及び方法は、Ｘ線画像から脊椎（又は他の患者の解剖学的特徴）の異なる部位に関する情報を抽出するための自律的な方法を提供することができる。例えば、上述のように、コンピュータデバイス（例えば、コンピュータデバイス１１０、２１０）は、１又は２以上のセグメンテーションモデルを用いてＸ線画像を処理し、画像の異なる部位をセグメント化する（画像の各ピクセル又はピクセルグループを異なる解剖学的部位に対応する複数のクラスのうちの１つに分類する）ことができる。
Ｘ線イメージングは、患者の解剖学的特徴内の骨構造に関する詳細な情報を提供することができる。例えば、Ｘ線イメージングを用いて、脊椎内の様々な骨構造の測定の実行を含む脊椎を解析することができる。従来、Ｘ線画像は、放射線科医によって解釈される。放射線科医は、スキャンを解釈して脊椎の識別部位（頸椎、胸椎、腰椎など）を評価することができる。これらの評価は、例えば、特定の放射線科医の専門知識及びＸ線画像の主観的解析によって異なる可能性がある。対照的に、本明細書に記載のシステム、デバイス、及び方法は、Ｘ線画像から脊椎（又は他の患者の解剖学的特徴）の異なる部位に関する情報を抽出するための自律的な方法を提供することができる。例えば、上述のように、コンピュータデバイス（例えば、コンピュータデバイス１１０、２１０）は、１又は２以上のセグメンテーションモデルを用いてＸ線画像を処理し、画像の異なる部位をセグメント化する（画像の各ピクセル又はピクセルグループを異なる解剖学的部位に対応する複数のクラスのうちの１つに分類する）ことができる。
【0089】
本明細書に記載されるシステム、デバイス、及び方法はまた、Ｘ線画像の大きなバッチを処理するように適合させることができ、それにより、Ｘ線画像に含まれる情報を評価する、より効率的で堅牢な方法を提供する。幾つかの実施形態では、Ｘ線画像を他の種類の画像（例えば、ＣＴスキャン、ＭＲＩスキャン）と組み合わせて高次元データを生成することができ、その結果、患者の解剖学的特徴内の異なる解剖学的部位をより正確にセグメンテーション及び／又は識別することができる。本明細書に記載のシステム、デバイス、及び方法は、診断プロセスを迅速化し、人為的エラー及び／又は主観性のリスクを低減するように設計することができる。
【0090】
図５を参照して上述したように、コンピュータデバイス（例えば、コンピュータデバイス１１０、２１０）は、２次元Ｘ線イメージングからセグメンテーションを実行するように構成することができる。一連のスキャンで体積的３Ｄ画像データが利用可能な他のタイプのイメージングデータとは対照的に、Ｘ線画像は、平坦化された２Ｄ画像で人の解剖学的特徴の体積情報を提供する。従って、Ｘ線画像をセグメント化するように構成されたセグメンテーションモデルは、Ｘ線画像の各ピクセルについて複数の重複組織を決定するように適合されなければならない。
【0091】
Ｘ線画像をセグメント化するためのセグメンテーションモデルは、平坦化された３Ｄ画像データを含む入力画像を用いてトレーニングすることができる。幾つかの実施形態では、トレーニングは、患者の解剖学的特徴のＸ線画像を用いて実施することができ、各Ｘ線画像は多次元標識マップと関連付けられる。多次元標識マップは、Ｘ線画像内の異なる重複する解剖学的部位を識別することができる。幾つかの実施形態では、トレーニングはデジタル再構成又はデジタル生成されたＸ線画像を用いて実施することができ、各再構成Ｘ線画像は多次元標識マップと関連付けることができる。再構成されたＸ線画像は、例えば、矢状面ビュー及び冠状面ビューの１又は２以上に対応することができる。
【0092】
図１２は、Ｘ線セグメンテーションモデルをトレーニングするためのトレーニング画像を生成する方法１２００のフローチャートである。方法１２００は、１２２０において、例えばＣＴイメージング及び／又はＭＲＩイメージングを用いて取り込まれた３次元画像データからデジタル再構成された２Ｄ Ｘ線画像又は放射線写真を生成するステップを含むことができる。例えば、３Ｄ体積ＣＴスキャンは、重複組織を含むデジタル再構成２Ｄ放射線写真（例えば、人工Ｘ線）を形成するために平坦化することができる。幾つかの実施形態では、サジタル及びコロナル再構成２Ｄ放射線写真の１又は２以上が、３Ｄスキャンボリュームのセットから生成することができる。再構成された２Ｄ放射線写真は、異なる重複組織に標識を適用する多次元標識マップと関連付けることができる。
【0093】
例示の目的で、図１３Ａは、患者の解剖学的特徴の３Ｄ画像１３１０の例を示す。３Ｄ画像１３１０は、２Ｄ（ＤＩＣＯＭ）ＣＴスキャンのセットからレイキャスティングを用いてレンダリングされた３Ｄ ＣＴ画像を表すことができる。幾つかの実施形態では、３Ｄ画像１３１０内の情報は、選択された軸に沿って平均化されて、デジタル再構成された２Ｄ平均画像を作成することができる。幾つかの実施形態では、コンピュータデバイスは、（例えば、加法又は平均投影を有する）レイキャスティングを採用して、３Ｄボリュームからの情報を直交的に結合させるが、Ｘ線画像の歪みをシミュレートすることができる。従来のＸ線は、組織を横切ってＸ線受像プレートまで光線を照射するソース点から生成される。ソース点からプレートへの影響は、レイキャスティングによってエミュレートすることができる。このような技術は、セグメンテーションモデルをトレーニングするための、より代表的又は正確なデジタル再構成された２次元放射線写真を提供することができる。図１３Ｂは、図１３Ａの３Ｄ画像１３１０を用いて生成された再構成２Ｄ放射線写真１３２０の例を示す。デジタル再構成された２Ｄ放射線写真１３２０は、３Ｄ画像１３１０の平坦化されたバージョン、例えば選択された軸に沿って平均化されたバージョンに対応することができる。
【0094】
再構成された２Ｄ放射線写真１３２０は、多次元標識マップと関連付けることができる。例えばコンピュータデバイスは、３Ｄ画像ボリュームに提供された情報に基づいて多次元標識マップを生成することができる。図１４は、図１３Ｂに描かれた２Ｄ放射線写真１３２０に対応する多次元標識マップ１４１０の一例を示す。多次元標識マップ１４１０は、各々が患者の解剖学的特徴内の異なる解剖学的部位に関連付けられた複数の標識１４１２～１４２２を含むことができる。各標識１４１２～１４２２は、別個の２次元画像（例えば、アレイ）で提供することができる。各標識１４１２～１４２２は、解剖学的部位の名称、位置、寸法及びタイムスタンプの１又は２以上を含むことができる。
【0095】
図１２に戻って、トレーニングデータは、例えば、１２３０において、３Ｄ画像データを変換し、１２４０において、変換された３Ｄ画像データを用いて追加の再構成された２Ｄ放射線写真を生成することによって、増強することができる。例えば、３ＤボリュームメトリックＣＴ画像データは、例えば、異なる回転、姿勢、向き等をシミュレートするために、１又は２以上の増強技術を用いて変換することができる。増強技術は、例えば、回転、カメラ開口角、ウィンドウレベル補正、Ｘ線パラメータ、遷移、共有、スケーリング、輝度及びコントラスト補正、ガンマ補正、及びこれらの組み合わせ等のようなボリューム修正技法を含むことができる。
【0096】
１２４０において、コンピュータデバイスは、変換又は増強された３Ｄ画像データを用いて、追加のデジタル再構成された２Ｄ放射線写真を生成することができる。図１５Ａ及び図１５Ｂは、異なるデジタル再構成２Ｄ放射線写真の例を提供する。図１５Ａは、元の３Ｄ画像データに基づいて生成されるデジタル再構成２Ｄ放射線写真１５１０であり、及び図１５Ｂは、変換された３Ｄ画像データに基づいて生成されるデジタル再構成２Ｄ放射線写真１５２０である。特に、２Ｄ放射線写真１５２０を生成するために使用される３Ｄ画像データは、元の３Ｄ画像データを設定角度だけ回転させることによって変換されたものである。
【0097】
再構成された２Ｄ放射線写真、例えば、１２２０及び／又は１２４０にて再構成された２Ｄ放射線写真は、図４Ａ及び図４Ｂを参照して説明したように、Ｘ線画像をセグメント化するセグメンテーションモデルをトレーニングするために、単独で又はＸ線画像と共に使用することができる。例えば、再構成された２Ｄ放射線写真及び／又はＸ線画像をセグメンテーションモデルに入力し、セグメンテーションモデルによって処理して、図４Ａの４４０において出力を生成することができる。出力は、例えば、目的関数又は損失関数を用いて、（所望の出力を表す）入力画像に関連付けられた多次元標識マップと比較するステップとができる。セグメンテーションモデル内の１又は２以上の重み又はパラメータは、トレーニングの後続の反復において、損失関数の値を低減するように調整することができる。幾つかの実施形態では、再構成された２Ｄ放射線写真及び多次元標識マップの１又は２以上を、図４Ｂを参照して説明したように、セグメンテーションＣＮＮモデルをトレーニングするために使用することができる。
【0098】
幾つかの実施形態では、Ｘ線画像をセグメント化するためにトレーニングされたセグメンテーションモデルを用いて、図１６Ｂに描写されるようなセグメンテーション出力１６２０を生成することができる。図１６Ａは、患者の脊椎の２Ｄ Ｘ線１６１０の例を提供する。この２Ｄ Ｘ線１６１０は、Ｘ線画像を処理するようにトレーニングされたセグメンテーションモデルに入力することができ、セグメンテーションモデルを用いて処理して、オーバーラップ組織セグメンテーションを提供する出力１６２０を生成することができる。出力１６２０は、例えば、各々が異なる解剖学的部位に関連する複数の２Ｄアレイ又はイメージングを含むことができる。２Ｄアレイは互いに重なり合うことができ、Ｘ線画像からの重複組織セグメンテーションを提供することができる。
【0099】
本明細書で記載されるセグメンテーションモデルは、３Ｄボリューム画像データを用いてトレーニングすることができ、従って、２Ｄ Ｘ線を視覚的に検査しても認識できない解剖学的構造の部分をセグメント化するように構成することができる。例えば、図１７Ａは、人間が視覚的に区別することが困難な解剖学的部位が重なり合ったＸ線画像１７１０の例である。しかしながら、３Ｄ画像データを用いてトレーニングされたセグメンテーションモデルは、２ＤＸ線１７１０内の異なる解剖学的部位をセグメント化することができるように、２ＤＸ線１７１０のピクセルから重なり合う組織の形状及び他の特性を抽出するように構成することができる。次いで、セグメンテーションモデルは、図１７Ｂに描かれているように、複数の重複する標識が２Ｄ Ｘ線１７１０に適用された出力１７２０を返すことができる。多次元画像データから生成されたものを含む、多数の標識されたＸ線を用いてセグメンテーションモデルをイメージングすることにより、人間の解析者と比較して標識品質を向上させることができる。
【0100】
幾つかの実施形態では、Ｘ線画像をセグメント化するために使用されるセグメンテーションモデルは、図３Ｂを参照して説明したようなＣＮＮモデルとすることができる。ＣＮＮモデルは、Ｕ－Ｎｅｔアーキテクチャを有することができる。一般に、ＣＮＮを用いてセグメンテーションを実行する場合、ＣＮＮは、活性化関数（例えば、ソフトマックス活性化関数）を有する単一の出力層を含み、これは、画像データ内の各ピクセル又はボクセルに対して単一の結果（すなわち、単一の標識）を提供するのに十分とすることができる。例えば、患者の解剖学的特徴の２Ｄスキャン及び／又は３Ｄ画像データをセグメント化する場合、複数のクラス又は標識（例えば、椎体、椎弓根、ラミナ等）が存在することができ、画像データ内の各ピクセル又はボクセルは、複数の標識のうちの１つを表す単一の値と関連付けることができる。対照的に、Ｘ線画像をセグメント化する場合、Ｘ線画像内の１つのピクセルが、複数の重複する組織を表すことができる。このため、Ｘ線画像をセグメント化するために学習されたＣＮＮモデルは、Ｘ線画像の各ピクセルに対する出力を定義し、及び各ピクセルが複数のクラスの各々に属する確率を個別に決定するように構成されなければならない。幾つかの実施形態では、Ｘ線画像を分類するために同じＣＮＮアーキテクチャ（例えば、図３Ｂに描かれているような）を使用することができるが、活性化関数をソフトマックスから、例えば、線形又はシグモイドに変更することができる。このようなモデルは、セグメンテーション出力の追加的な後処理、例えば、予測された標識が正しいと判断できるＣＮＮ確率の閾値を決定するための後処理を必要とすることができる。例えば、Ｘ線画像の各ピクセルについて、予め定義された閾値（例えば、約５０％）以上の確率を有する各標識又はクラスは、正しいと判定され、従って、そのピクセルに関連付けられる。幾つかの実施形態では、ソフトマックス活性化関数を有する複数の出力層（例えば、各標識又はクラスに対して１つの層）を含む別のＣＮＮアーキテクチャを使用することができる。ＣＮＮモデルは、複数の出力層を介して、２Ｄ Ｘ線画像の特定のピクセルに標識を割り当てるかどうかを決定することができる。ＣＮＮモデルは、各標識について、現在のピクセルがその標識に属するかどうかを個別に区別することができる。
【0101】
幾つかの実施形態では、セグメント化されたＸ線画像は、患者の解剖学的特徴の３Ｄモデルを生成するために使用することができ、この３Ｄモデルは、患者の解剖学的特徴の異なる部位を選択的に視覚化するために使用することができる。幾つかの実施形態では、セグメント化されたＸ線画像データを処理して、患者の解剖学的構造の１又は２以上の特性を解析することができる。例えば、セグメント化された解剖学的特徴は、識別（例えば、脊椎の異なるレベルのレベル識別）、幾何学的測定及び／又は評価、及び／又は寸法測定及び／又は評価を実行するために解析することができる。
【0102】
（ＭＲＩセグメンテーション）
ＭＲＩ画像データは、患者の解剖学的特徴の２次元スキャンを含むことができ、典型的には、例えば、軸方向平面及び矢状面等の複数の平面に沿ってスキャンされる。ＭＲＩ画像のセグメンテーション及び標識は、図５及び図７を参照して説明した方法と同様とすることができるが、複数の平面（例えば、軸方向平面及び矢状面）に沿ったセグメンテーションを組み込むことができる。
ＭＲＩ画像データは、患者の解剖学的特徴の２次元スキャンを含むことができ、典型的には、例えば、軸方向平面及び矢状面等の複数の平面に沿ってスキャンされる。ＭＲＩ画像のセグメンテーション及び標識は、図５及び図７を参照して説明した方法と同様とすることができるが、複数の平面（例えば、軸方向平面及び矢状面）に沿ったセグメンテーションを組み込むことができる。
【0103】
幾つかの実施形態では、ＭＲＩ画像のセグメンテーションは、ＣＴ画像、Ｘ線画像などよりも多数のクラスへのセグメンテーションを含むことができる。ＭＲＩ画像は、軟組織に関する情報を含むことができ、従って、ＭＲＩ画像内のピクセルを分類及び／又は標識するためのより多くの情報を提供する。例示的な実施構成では、ＭＲＩセグメンテーションモデルは、ＭＲＩ画像内の各ピクセル（又はピクセルグループ）を１６（１５）クラスのうちの１つに分類することができる：［１］椎体（脊椎）、［２］骨盤（脊椎）、［３］棘突起（脊椎）、［４］横突起（脊椎）、［５］上関節突起（脊椎）、［６］下関節突起（脊椎）、［７］ラミナ（脊椎）、［８］骨盤、［９］肋骨、［１０］脊髄（神経）、［１１］脊髄神経（神経）、［１２］脂肪（神経）、［１３］靭帯（神経）、［１４］環椎（椎間板）、及び［１５］核（椎間板）。
【0104】
図１８Ａ～１８Ｆは、ＭＲＩ画像及びそのセグメンテーション出力の例を提供する。描かれているように、セグメンテーション出力は、凡例１８０２に詳述されているように、複数のクラスを含むことができる。図１８Ａ、１８Ｃ、及び１８Ｅは、ＭＲＩイメージングを用いて生成された患者の解剖学的特徴の画像である。図１８Ｂ、図１８Ｄ、及び図１８Ｆは、それぞれ、図１８Ａ、図１８Ｃ、及び図１８ＥのＭＲＩ画像に対応する標識された解剖学的部位の画像である。
【0105】
図１８Ａは、セグメンテーションモデル（例えば、モデル３５０）を用いて処理することができる矢状面ＭＲＩ画像１８１０を示し、図１８Ｂは、ＭＲＩ画像１８１０の処理に応答してセグメンテーションモデルによって生成される出力１８１２を示す。出力１８１２は、患者の解剖学的特徴内の異なる解剖学的部位を描写する異なる着色、陰影、パターン、マーキング又は他の特性を有する、標識された矢状面画像１８１２とすることができる。図１８Ｃ及び図１８Ｅは、セグメンテーションモデルを用いて処理することができるアキシャル平面ＭＲＩ画像１８２０、１８３０を示し、図１８Ｄ及び図１８Ｆは、画像１８２０、１８３０の処理に応答してセグメンテーションモデルによって生成された出力１８２２、１８３２をそれぞれ示す。
【0106】
幾つかの実施形態では、ＭＲＩ画像をセグメント化するために使用されるセグメンテーションモデルは、図３Ｂを参照して説明したようなＵ－Ｎｅｔアーキテクチャを使用するＣＮＮモデルとすることができる。幾つかの実施形態では、ＣＮＮモデルは、画像データの２つの平面（例えば、矢状方向及び軸方向）を同時に処理するように構成することができる。一般に、ＣＮＮを用いてセグメンテーションを行う場合、ＣＮＮは単一平面（例えば、アキシャル平面）の画像データのスライスを入力とする。しかしながら、ＭＲＩ画像データは、通常、複数の平面（例えば、アキシャル平面及びサジタル平面）のビューを含む異なるスキャンを含む。従って、ＭＲＩ画像データを処理するには、複数の平面に沿った画像を同時に処理できるＣＮＮモデルを使用することが望ましい場合がある。一実施形態では、ＣＮＮモデルは、アキシャル平面画像用の第１の層及びサジタル平面画像用の第２の層の複数の出力層を含むことができる。このような実施形態では、入力画像がアキシャルである場合、ＣＮＮモデルは第１の出力層で結果を生成することができ、及び入力画像がサジタルである場合、ネットワークは第２の出力層で結果を生成することができる。このような手法は、セグメンテーションデータを提供するだけでなく、入力画像の平面に関する情報も提供することができる。
【0107】
幾つかの実施形態では、セグメント化されたＭＲＩ画像は、患者の解剖学的特徴の３Ｄモデルを生成するために使用することができ、この３Ｄモデルは、患者の解剖学的特徴の異なる部位を選択的に視覚化するために使用することができる。しかしながら、３ＤボリュームのＭＲＩ画像スキャンは、約５ｍｍ又はそれ以上の距離で分離されていることが多い。このような分離は、可視化のための解剖学的構造の３Ｄモデルを生成することを困難にすることができる。従って、幾つかの実施形態では、ＭＲＩ画像データを他の画像データ源（例えば、ＣＴスキャン又はＸ線スキャン）と組み合わせて、患者の解剖学的特徴の３Ｄモデルを生成することができる。
【0108】
幾つかの実施形態では、セグメント化されたＭＲＩ画像データを処理して、患者の解剖学的構造の１又は２以上の特性を解析することができる。例えば、セグメント化された解剖学的特徴は、識別（例えば、脊椎の異なるレベルのレベル識別）、幾何学的測定及び／又は評価、及び／又は寸法測定及び／又は評価を実行するために解析することができる。
【0109】
（複合セグメンテーション）
幾つかの実施形態では、複数の異なるイメージング技術を用いて生成された画像データを組み合わせて、３Ｄ解剖学的データ及び／又はセグメンテーションデータを生成することができる。例えばＣＴ画像データはＭＲＩ画像データよりも高密度である。特に、ＣＴスライス間の距離は、３Ｄ解剖学的構造のＭＲＩスライス間の距離よりも小さい可能性がある。このため、幾つかの実施形態では、ＣＴ画像データを用いてＭＲＩ画像データのギャップを埋めることができる。例えば、図１９は、患者の解剖学的特徴のＭＲＩ及びＣＴ画像データを組み合わせたレンダリング例１９００を示す。画像１９００は、複数の軸方向平面ＭＲＩ画像１９２０ａ～１９２０ｆと組み合わされたＣＴ矢状面突出部１９１０を含むことができる。コンピュータデバイス（例えば、コンピュータデバイス１１０、２１０）は、高密度ＣＴ画像データ１９１０及びＭＲＩ画像データ１９２０ａ～１９２０ｆを用いて解剖学的構造（例えば、脊椎）の３Ｄモデルを生成するように構成することができる。
幾つかの実施形態では、複数の異なるイメージング技術を用いて生成された画像データを組み合わせて、３Ｄ解剖学的データ及び／又はセグメンテーションデータを生成することができる。例えばＣＴ画像データはＭＲＩ画像データよりも高密度である。特に、ＣＴスライス間の距離は、３Ｄ解剖学的構造のＭＲＩスライス間の距離よりも小さい可能性がある。このため、幾つかの実施形態では、ＣＴ画像データを用いてＭＲＩ画像データのギャップを埋めることができる。例えば、図１９は、患者の解剖学的特徴のＭＲＩ及びＣＴ画像データを組み合わせたレンダリング例１９００を示す。画像１９００は、複数の軸方向平面ＭＲＩ画像１９２０ａ～１９２０ｆと組み合わされたＣＴ矢状面突出部１９１０を含むことができる。コンピュータデバイス（例えば、コンピュータデバイス１１０、２１０）は、高密度ＣＴ画像データ１９１０及びＭＲＩ画像データ１９２０ａ～１９２０ｆを用いて解剖学的構造（例えば、脊椎）の３Ｄモデルを生成するように構成することができる。
【0110】
（椎間板セグメンテーション）
幾つかの実施形態では、本明細書に記載のシステム、デバイス、及び方法は、椎間板をセグメント化するように構成することができる。上述のように、患者の解剖学的特徴をセグメント化するためのセグメンテーションモデルは、画像の一部を１又は２以上の解剖学的部位として分類又は標識するように構成することができる。幾つかの実施形態では、関心のある解剖学的部位は椎間板を含むことができる。
幾つかの実施形態では、本明細書に記載のシステム、デバイス、及び方法は、椎間板をセグメント化するように構成することができる。上述のように、患者の解剖学的特徴をセグメント化するためのセグメンテーションモデルは、画像の一部を１又は２以上の解剖学的部位として分類又は標識するように構成することができる。幾つかの実施形態では、関心のある解剖学的部位は椎間板を含むことができる。
【0111】
図２０Ａは、椎間板を含む患者の解剖学的特徴の軸方向平面上の２Ｄ画像２０１０（例えば、ＣＴ又はＭＲＩスキャン）である。コンピュータデバイス（例えば、コンピュータデバイス１１０、２１０）は、本明細書に記載のセグメンテーションモデル（例えば、図５を参照して説明したものを含む）の何れかなどのセグメンテーションモデルを用いて、椎間板２０２２の形状を識別することができる。セグメンテーションモデルは、例えば、異なる色、パターン、マーキング等で椎間板２０２２を識別する出力２０２０を生成することができる。
【0112】
様々な発明の実施形態が本明細書において説明及び例示されてきたが、当業者であれば、本明細書において記載される機能の実施及び／又は結果及び／又は利点のうちの１又は２以上を得るための様々な他の手段及び／又は構造を容易に想定することができ、このような変形及び／又は修正の各々は、本明細書において記載される発明の実施形態の範囲内にあるとみなされる。より一般的には、本明細書で記載される全てのパラメータ、寸法、材料、及び構成は例証を意味しており、実際のパラメータ、寸法、材料、及び構成は、本発明の教示が利用される１又は複数の特定の用途によって決まることになることは当業者には容易に理解されるであろう。当業者であれば、日常的な実験程度のことを用いて、本明細書に記載された特定の発明の実施形態に対する多くの均等物を認識又は確認することができるであろう。従って、上記の実施形態は単に例証として提示されており、本発明の実施形態は、添付の特許請求の範囲及びその均等物の範囲内で、具体的に記載され特許請求されたものとは別の方法で実施できることを理解すべきである。本開示の発明の実施形態は、本明細書に記載される個々の特徴、システム、製品、材料、キット及び／又は方法に向けられている。これに加えて、このような特徴、システム、製品、材料、キット及び／又は方法が互いに矛盾していない場合、２つ以上のこのような特徴、システム、製品、材料、キット及び／又は方法の何れかの組み合わせは、本開示の発明の範囲内に含まれる。
【0113】
また、様々な本発明の概念は、１又は２以上の方法として具現化することができ、その例が提供されている。方法の一部として実行される動作は、何れかの適切な方法で順序付けることができる。従って、例示の実施形態では連続的な動作として示されているが、幾つかの動作を同時に行うことを含む、例示とは異なる順序で動作が行われる実施形態を構成することもできる。
【0114】
本明細書で使用される場合、数値及び／又は範囲と共に使用される場合の用語「約」及び／又は「約」は、一般に、記載された数値及び／又は範囲に近いこれらの数値及び／又は範囲を指す。一部の事例では、「約」及び「約」という用語は、記載された値の±１０％内を意味することができる。例えば、一部の事例では、「約１００［単位］」は、１００の±１０％内（例えば、９０から１１０まで）を意味することができる。用語「約」及び「約」は、同義的に使用することができる。
【0115】
特許、特許出願、論文、ウェブページ、書籍等を含むがこれらに限定されない、本出願の任意の箇所にて提示された刊行物又は他の文書への何れか及び全ての参照は、引用により全体が本明細書に組み込まれる。更に、本明細書において定義及び使用される全ての定義は、辞書的定義、引用により組み込まれる文書における定義、及び／又は定義された用語の通常の意味に対する管理であると理解されるべきである。
【0116】
本明細書に記載される幾つかの実施形態及び／又は方法は、（ハードウェア上で実行される）様々なソフトウェア、ハードウェア、又はこれらの組み合わせによって実行することができる。ハードウェアモジュールは、例えば、汎用プロセッサ、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、及び／又は識別用途向け集積回路（ＡＳＩＣ）を含むことができる。ハードウェア上で実行される）ソフトウェアモジュールは、Ｃ、Ｃ＋＋、Ｊａｖａ（商標）、Ｒｕｂｙ、Ｖｉｓｕａｌ Ｂａｓｉｃ（商標）、及び／又は他のオブジェクト指向、手続き型、又は他のプログラミング言語及び開発ツールを含む、様々なソフトウェア言語（例えば、コンピュータコード）で表すことができる。コンピュータコードの例としては、マイクロコード又はマイクロ命令、コンパイラによって生成されるような機械命令、ウェブサービスを生成するために使用されるコード、及びインタプリタを用いてコンピュータによって実行されるハイレベル命令を含むファイルが挙げられるが、これらに限定されない。例えば、実施形態は、命令型プログラミング言語（例えば、Ｃ、Ｆｏｒｔｒａｎ等）、関数型プログラミング言語（Ｈａｓｋｅｌｌ、Ｅｒｌａｎｇ等）、論理型プログラミング言語（例えば、Ｐｒｏｌｏｇ）、オブジェクト指向プログラミング言語（例えば、Ｊａｖａ、Ｃ＋＋等）、又は他の適切なプログラミング言語及び／又は開発ツールを用いて実装することができる。コンピュータコードの追加例としては、制御信号、暗号化コード、及び圧縮コードが挙げられるが、これらに限定されるものではない。
【符号の説明】
【0117】
２１０ コンピュータデバイス
２２０ プロセッサ
２２２ セグメンテーション
２２４ 解剖学的部位識別
２３０ メモリ
２３２ セグメンテーションモデル
２３４ Ｘ線モデル
２３６ ＣＴモデル
２３８ ＭＲＩモデル
２４０ 解剖学的部位データ
２４２ 画像データ
２５０ 入出力インターフェース
２２０ プロセッサ
２２２ セグメンテーション
２２４ 解剖学的部位識別
２３０ メモリ
２３２ セグメンテーションモデル
２３４ Ｘ線モデル
２３６ ＣＴモデル
２３８ ＭＲＩモデル
２４０ 解剖学的部位データ
２４２ 画像データ
２５０ 入出力インターフェース
【図1】
【図2】
【図3A】
【図3B】
【図4A】
【図4B】
【図5】
【図6】
【図7】
【図8A】
【図8B】
【図8C】
【図9A】
【図9B】
【図9C】
【図10A】
【図10B】
【図11A】
【図11B】
【図12】
【図13A】
【図13B】
【図14】
【図15A】
【図15B】
【図16A】
【図16B】
【図17A】
【図17B】
【図18A】
【図18B】
【図18C】
【図18D】
【図18E】
【図18F】
【図19】
【図20A】
【図20B】
【国際調査報告】