特表 2024-531899 医療処置中の撮像

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2024-09-03

(54)【発明の名称】医療処置中の撮像

(51)【国際特許分類】

   A61B 6/03 20060101AFI20240827BHJP

   G06T 7/00 20170101ALI20240827BHJP

   G06V 10/82 20220101ALI20240827BHJP

   A61B 34/10 20160101ALI20240827BHJP

   A61B 90/00 20160101ALI20240827BHJP

   A61B 34/20 20160101ALI20240827BHJP

   A61B 6/46 20240101ALI20240827BHJP

   A61B 5/055 20060101ALI20240827BHJP

   G06N 3/0464 20230101ALI20240827BHJP

【ＦＩ】

A61B6/03 560J

G06T7/00 350C

G06V10/82

G06T7/00 614

A61B34/10

A61B90/00

A61B34/20

A61B6/03 560G

A61B6/46 506B

A61B6/03 577

A61B6/03 560T

A61B5/055 380

A61B5/055 390

G06N3/0464

【審査請求】未請求

【予備審査請求】未請求

(21)【出願番号】P 2024505362

(86)(22)【出願日】2022-08-01

(85)【翻訳文提出日】2024-02-13

(86)【国際出願番号】 EP2022071521

(87)【国際公開番号】W WO2023007029

(87)【国際公開日】2023-02-02

(31)【優先権主張番号】17/390,115

(32)【優先日】2021-07-30

(33)【優先権主張国・地域又は機関】US

(81)【指定国・地域】

(71)【出願人】

【識別番号】514046806

【氏名又は名称】メドス・インターナショナル・エスエイアールエル

【氏名又は名称原語表記】Ｍｅｄｏｓ Ｉｎｔｅｒｎａｔｉｏｎａｌ ＳＡＲＬ

【住所又は居所原語表記】Ｃｈｅｍｉｎ－Ｂｌａｎｃ ３８， ＣＨ－２４００ Ｌｅ Ｌｏｃｌｅ， Ｓｗｉｔｚｅｒｌａｎｄ

(74)【代理人】

【識別番号】100088605

【弁理士】

【氏名又は名称】加藤 公延

(74)【代理人】

【識別番号】100130384

【弁理士】

【氏名又は名称】大島 孝文

(72)【発明者】

【氏名】ヤルディビ・タリク

(72)【発明者】

【氏名】パルフェット・レイモンド

(72)【発明者】

【氏名】カーティス・アール・パトリック

(72)【発明者】

【氏名】オスマナギッチ・エミール

【テーマコード（参考）】

4C093

4C096

5L096

【Ｆターム（参考）】

4C093AA22

4C093AA25

4C093AA26

4C093DA10

4C093FF16

4C093FF35

4C093FF42

4C096AA18

4C096AC06

4C096AD14

4C096DC19

4C096DC33

4C096DC36

5L096AA06

5L096AA09

5L096BA06

5L096BA13

5L096CA02

5L096CA18

5L096DA01

5L096FA19

5L096FA66

5L096HA08

5L096HA11

5L096KA04

(57)【要約】

システムは、医療処置を容易にするように構成され得る。いくつかの実施形態は、関心領域（ＲＯＩ）に対応するスキャンを取得し、患者の画像をリアルタイムでキャプチャし、取得されたスキャン及びキャプチャされた画像を使用して、訓練された機械学習（ＭＬ）モデルを介して、Ｋａｍｂｉｎの三角形を識別し、かつキャプチャされた画像上に、識別されたＫａｍｂｉｎの三角形の表現をオーバーレイすることができる。

【特許請求の範囲】

【請求項1】

コンピュータ実装方法であって、
関心領域（ＲＯＩ）に対応するスキャンを取得することと、
患者の画像をリアルタイムでキャプチャすることと、
（ｉ）取得された前記スキャン及び（ｉｉ）キャプチャされた前記画像を使用して、訓練された機械学習モデルを介して、Ｋａｍｂｉｎの三角形を識別することと、
前記キャプチャされた画像上に、識別された前記Ｋａｍｂｉｎの三角形の表現をオーバーレイすることと、を含む、方法。

【請求項2】

（ｉ）以前に撮影されたスキャン及び（ｉｉ）以前の医療処置中にリアルタイムでキャプチャされた対応する画像において識別された構造に基づいてラベル付けされた、グラウンドトゥルースを含む訓練データを得ることと、
得られた前記データを用いて前記モデルを訓練することと、を更に含む、請求項１に記載の方法。

【請求項3】

前記患者の別の画像をキャプチャすることと、
（ｉ）前記取得されたスキャン及び（ｉｉ）キャプチャされた前記別の画像を使用して、前記訓練されたモデルを介して、前記Ｋａｍｂｉｎの三角形を再識別することと、
再識別された前記Ｋａｍｂｉｎの三角形に関連付けられた信頼基準を更新することと、
前記再識別されたＫａｍｂｉｎの三角形の更新された表現を前記キャプチャされた別の画像上にオーバーレイすることと、を更に含む、請求項１に記載の方法。

【請求項4】

（ｉ）椎体及び椎孔、（ｉｉ）神経根、並びに（ｉｉｉ）骨ランドマークの中から、前記ＲＯＩ内の構造を選択することと、
（ｉ）前記取得されたスキャン及び（ｉｉ）前記キャプチャされた画像を使用して、前記訓練された機械学習モデルを介して、信頼基準を各々満たす選択された前記構造を識別することであって、前記Ｋａｍｂｉｎの三角形の前記識別が、前記選択された構造の相対的な場所に基づく、識別することと、
１つ又は２つ以上のキャプチャされた画像上に、ユーザインターフェースを介して、前記選択された構造の各々の表現をオーバーレイすることと、を更に含む、請求項２に記載の方法。

【請求項5】

前記機械学習モデルが、畳み込みニューラルネットワークである、請求項１に記載の方法。

【請求項6】

前記画像をキャプチャしたデバイスから前記識別されたＫａｍｂｉｎの三角形までの現在の距離を判定することを更に含む、請求項１に記載の方法。

【請求項7】

前記神経根が、対応するＭＲＩスキャンを使用して識別され、前記モデルが、複数の以前に撮影されたＭＲＩスキャンにおいて識別された神経根構造に基づいてラベル付けされた、グラウンドトゥルースを含む訓練データを用いて更に訓練される、請求項４に記載の方法。

【請求項8】

前記識別されたＫａｍｂｉｎの三角形に向かって、インプラント又は器具の少なくとも一部を低侵襲的に前進させることと、
前記前進の軌道が、基準を満たすかどうかを判定することと、
前記軌道が前記基準を満たさなかったという前記判定に応答して、前記基準が満たされるように前記軌道を調整することと、を更に含む、請求項１に記載の方法。

【請求項9】

前記取得されたスキャンが、三次元（３Ｄ）コンピュータ断層撮影（ＣＴ）スキャンを含む、請求項１に記載の方法。

【請求項10】

位置合わせ時に、前記器具又はインプラントをナビゲートすることと、
前記スキャンの複数の異なる座標系と前記キャプチャされた画像との間で整列させることによって実行される、ポート及び／又はカメラとの前記スキャンの前記位置合わせと、更に含む、請求項８に記載の方法。

【請求項11】

前記識別されたＫａｍｂｉｎの三角形に向かって前進する拡張器の位置を判定することを更に含み、前記画像が、前記拡張器の側面に取り付けられた、カメラ、電荷結合素子（ＣＣＤ）、及び光学センサのうちの少なくとも１つを介してキャプチャされる、請求項１に記載の方法。

【請求項12】

前記表現が、前記選択された構造の前記信頼基準を色及び／又は記号で符号化することによって、前記識別されたＫａｍｂｉｎの三角形を視覚的に区別する、請求項４に記載の方法。

【請求項13】

外科的方法であって、
外科手術領域又は計画された外科手術領域に対応するセグメント化されていない患者スキャンを取得することと、
前記セグメント化されていないスキャンを入力として受け取り、前記外科手術領域又は計画された外科手術領域内の少なくとも１つの神経構造を識別するラベル付けされた画像ボリュームを出力する画像分析ツールを使用して、前記セグメント化されていないスキャンから前記少なくとも１つの神経構造を識別することと、
識別された前記少なくとも１つの神経構造を組み込む患者別の外科手術計画を作成することと、
前記患者別の計画に従って外科的処置を実行することと、を含む、外科的方法。

【請求項14】

前記セグメント化されていない患者スキャンが、ＣＴ又はＣＢＣＴスキャンであり、前記少なくとも１つの神経構造を識別することが、前記少なくとも１つの神経構造を識別するために、前記セグメント化されていないスキャンを自動的にセグメント化することを更に含む、請求項１３に記載の外科的方法。

【請求項15】

前記画像分析ツールが、深層学習モデルを使用して、前記セグメント化されていない患者スキャン内の前記少なくとも１つの神経構造を自動的にセグメント化し、前記方法が、前記患者の位置における変化に基づいて、前記識別された少なくとも１つの神経構造の予想される動きを推定することを更に含む、請求項１３に記載の外科的方法。

【請求項16】

前記患者の前記位置における前記変化が、撮像位置から手術位置への変化である、請求項１５に記載の外科的方法。

【請求項17】

前記少なくとも１つの神経構造の前記予想される動きに従って、前記患者別の外科手術計画を調整することを更に含む、請求項１５に記載の外科的方法。

【請求項18】

前記セグメント化されていない患者スキャンが、術前患者スキャンであり、前記患者別の外科手術計画が、前記識別された少なくとも１つの神経構造との干渉を回避するように最適化された患者別の外科的アクセス計画であり、出力された前記ラベル付けされた画像ボリュームが、前記外科的処置中に表示される、請求項１３に記載の外科的方法。

【請求項19】

状況認識医療処置のための方法であって、前記方法が、
手術室の構成を得ることと、
得られた前記構成に基づいて、訓練された機械学習モデルを選択することであって、前記選択は、前記構成がナビゲーション及び３Ｄ ＣＴスキャンを示すかどうかを判定することによって実行される、選択することと、
前記構成がナビゲーション及び３Ｄ ＣＴスキャンを示すという前記判定に応答して、（ｉ）前記スキャンの複数の異なる座標系とキャプチャされた画像との間で整列させることによって、３Ｄ ＣＴスキャンをポート及び／又はカメラと位置合わせし、（ｉｉ）患者の領域に対応する前記３Ｄ ＣＴスキャンを取得することと、
前記画像をリアルタイムでキャプチャすることと、
（ｉ）取得された前記３Ｄ ＣＴスキャン及び（ｉｉ）キャプチャされた前記画像を使用して、選択された前記モデルを介して、Ｋａｍｂｉｎの三角形を識別することと、を含む、方法。

【請求項20】

ユーザインターフェースを介して、識別された前記Ｋａｍｂｉｎの三角形の表現の表示を引き起こすように構成された選択を得ることと、
ユーザインターフェースを介して、前記画像の前記キャプチャのためのマルチスペクトル撮像を引き起こすように構成された選択を得ることと、を更に含む、請求項１９に記載の方法。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、概して神経構造の予測された場所を識別してモデル化することによって、手術に関連付けられた神経学的合併症を低減するためのシステム及び方法に関する。本開示はまた、学習された解剖学的関連付けに基づいて、解剖学的構造を予測的に位置特定するための機械学習ネットワーク及びモデルの作成、使用、及び用途に関する。

【0002】

本開示は更に、身体内の異なる態様の存在を予測して、次いで、標的を識別し、かつ／又はそれへの経路を判定するためのシステム及び方法に関する。

【背景技術】

【0003】

周術期の神経損傷は、選択的脊椎手術に関連付けられた既知の合併症である。神経損傷は、外科的処置中に神経構造との接触が発生すると生じ得る。脊椎手術から生じ得る周術期の神経学的合併症のいくつかの例としては、血管損傷、硬膜切開術、神経根損傷、及び脊柱器具装着中の脊髄又は神経根の直接的な機械的圧迫が挙げられる。患者の解剖学的構造における広範な変動は、特定の患者の脊椎領域における神経構造の場所を正確に予測又は識別することを困難にする可能性がある。

【0004】

Ｎａｔｉｏｎａｌ Ｉｎｓｔｉｔｕｔｅ ｏｆ Ｓｃｉｅｎｃｅからのデータによれば、選択的脊椎手術から生じる周術期の神経損傷の発生率は、１９９９年～２０１１年に、０．６８％から１％へと５４．４％増加した。加えて、選択的脊椎手術における周術期の神経学的合併症は、より長い入院期間（９．６８日対２．５９日）、より高い総費用（１１０，３２６．２３ドル対４８，６９５．９３ドル）、及び院内死亡率の増加（２．８４％対０．１３％）と関連付けられた。

【0005】

低侵襲脊椎手術（minimally invasive spine surgery、ＭＩＳＳ）は、多くの既知の利点を有するが、腰椎手術についての患者転帰データの多重研究分析は、ＭＩＳＳが、従来の「切開」外科的技法（０％～２％）と比較して、有意に高い割合の神経根損傷（２％～２３．８％）を有することを示す。ＭＩＳＳ処置では、脊椎又は標的外科手術領域にアクセスすることは、多くの場合、筋肉、脂肪組織、及び神経構造を含む、患者の解剖学的構造を通して外科用器具をナビゲートすることを伴う。現在の術中撮像デバイスは、手術領域の神経構造を適切に示さない。例えば、コンピュータ断層撮影（computed tomography、ＣＴ）及びコーンビームコンピュータ断層撮影（cone beam computed tomography、ＣＢＣＴ）撮像技術は、患者の解剖学的構造の手術領域内の筋骨格構造を視覚化するために術中に使用されることが多い。しかしながら、ＣＴ及びＣＢＣＴ画像は、神経構造を示さない。更に、現在の診療では、外科的アプローチの術前計画のためにＣＴ撮像を使用する。神経構造は、ＣＴ画像ボリュームでは見えないので、神経構造との接触を回避又は低減するように外科的アプローチを最適化することができない。磁気共鳴画像法（magnetic resonance imaging、ＭＲＩ）撮像は、スキャンされた患者の解剖学的構造の筋骨格構造及び神経構造の両方を示すが、ＭＲＩ撮像は、典型的には、患者を診断するためにのみ使用され、術前外科手術計画又は術中使用のためには使用されない。

【0006】

ＭＩＳＳ処置における周術期の神経損傷の発生率は、従来の切開外科手術技法よりも大きいが、ＭＩＳＳは、依然として、手術を必要とする脊椎障害に対する魅力的な治療選択肢である。ＭＩＳＳの利点は、切開手術と比較して、回復時間が短いこと、術後疼痛が少ないこと、及び切開部が小さいことを含む。

【0007】

したがって、脊椎手術における神経学的合併症の発生率を低減するための、特に、低侵襲脊椎手術における神経学的合併症の発生率を低減するためのシステム及び方法が必要とされている。

【0008】

ＭＩＳＳ手術中、経験豊富な医師であっても、解剖学的構造を識別することは困難であり、したがって、複数の技術が利用されることが多い。ＣＴ非侵襲的スキャンは、身体又は患者（例えば、人間又は動物）の関心領域（region of interest、ＲＯＩ）の詳細な三次元（three-dimensional、３Ｄ）画像を作り出すためのＸ線を含む。ＭＲＩは、強力な磁場及びパルスを作成して、標的又はＲＯＩの３Ｄ画像を作成するための磁石の非侵襲的使用を含む。内視鏡は、手術部位に関する視覚情報をリアルタイムで提供する。ＣＴ及びＭＲＩスキャンは、カメラの画像上にオーバーレイされ得、視覚化は、拡張現実（augmented reality、ＡＲ）又は仮想現実（virtual reality、ＶＲ）を介して実行され得る。

【発明の概要】

【課題を解決するための手段】

【0009】

医療器具を（例えば、低侵襲経椎間孔腰椎椎体間固定術（transforaminal interbody lumbar fusion、ＴＬＩＦ）手術などの医療処置中に）、後で、器具を内部で前進させるときに神経又は骨と接触させることなく、挿入するための場所を識別するためのシステム及び方法が開示される。したがって、本開示の１つ又は２つ以上の態様は、ＲＯＩに対応するスキャンを取得し、患者の画像をリアルタイムでキャプチャし、取得されたスキャン及びキャプチャされた画像を使用して、訓練された機械学習モデルを介して、Ｋａｍｂｉｎの三角形を識別し、かつキャプチャされた画像上に、識別された三角形の表現をオーバーレイするための方法に関する。

【0010】

方法は、機械可読命令及び／又は他の構成要素によって構成された１つ又は２つ以上のハードウェアプロセッサを備えるシステムによって実装される。システムは、１つ又は２つ以上のプロセッサと、例えば、機械可読命令が実行され得る他の構成要素又は媒体とを備える。説明される技法及びアーキテクチャのいずれかの実装形態は、方法若しくはプロセス、装置、デバイス、機械、システム、又はコンピュータ可読記憶デバイスに記憶された命令を含み得る。

【0011】

上で説明される特徴又は変形例のいずれも、いくつかの異なる組み合わせで、本開示の任意の特定の態様又は実施形態に適用することができる。任意の特定の組み合わせの明確な記述はないが、それは単に重複を回避するためである。

【図面の簡単な説明】

【0012】

特定の実装形態の詳細は、添付の図面及び以下記の説明において述べられる。明細書全体にわたって、同様の参照番号は同様の要素を指す場合がある。他の特徴は、図面及び特許請求の範囲を含む以下の説明から明らかになるであろう。しかしながら、図面は例解図及び説明のみを目的としており、本開示の限定の定義として意図されていない。

【図1】本発明の画像分析ツールの例示的な３Ｄモデル出力を示す。

【図2】本発明の訓練された画像分析ツールの展開方式の例示的な実施形態を例解する。

【図3】本発明の画像分析ツールを使用して患者別の外科手術計画を作成する例示的な方法である。

【図4】本発明の画像分析ツールの術中使用の例示的な方法である。

【図5】図４の方法のステップの例示的な例解図である。

【図6】図４の方法のステップの例示的な例解図である。

【図7】図４の方法のステップの例示的な例解図である。

【図8】図４の方法のステップの例示的な例解図である。

【図9】図４の方法のステップの例示的な例解図である。

【図10】図４の方法のステップの例示的な例解図である。

【図11】本発明の画像分析ツールの例示的な概略例解図である。

【図12】脊椎解剖学的構造の融合されたＭＲＩサンプルを例解する。

【図13】本発明のセグメンテーションアルゴリズムの概略例解図である。

【図14】本発明のセグメンテーションアルゴリズムを訓練及び展開する例示的な方法である。

【図15】本発明のセグメンテーションアルゴリズムへの例示的な画像ボリューム入力を示す。

【図16】本発明のセグメンテーションアルゴリズムへの別の例示的な画像ボリューム入力を示す。

【図17】先行技術のＵ－ｎｅｔアーキテクチャを示す。

【図18】１つ又は２つ以上の実施形態による、ＭＩＳＳが支援されるシステムの例を例解する。

【図19A】先行技術による、脊柱の一部の後面立面図及び側面立面図を含む。

【図19B】先行技術による、椎骨の上面図を含む。

【図20A】１つ又は２つ以上の実施形態による、識別されたＫａｍｂｉｎの三角形の概略図である。

【図20B】１つ又は２つ以上の実施形態による、識別されたＫａｍｂｉｎの三角形の概略図である。

【図21】１つ又は２つ以上の実施形態による、医療処置の精度を改善するためのプロセスを例解する。

【図22】１つ又は２つ以上の実施形態による、状況認識医療処置を容易にするためのプロセスを例解する。

【発明を実施するための形態】

【0013】

本願の全体を通じて使用されるとき、「し得る（may）」という語は、義務の意味（すなわち、必須を意味する）ではなく、許可の意味で使用されている（すなわち、あることを行う可能性を有することを意味する）。「含む（include）」、「含む（including）」及び「含む（includes）」などの語は、含むが限定されない、ということを意味する。本明細書で使用される場合、文脈上特に明記されない限り、「ａ」、「ａｎ」、及び「ｔｈｅ」という単数形は、複数の指示物を含む。本明細書で使用される場合、「数」という用語は、１又は１より大きい整数（すなわち、複数）を意味するものとする。

【0014】

本明細書で使用される場合、２つ又はそれ以上の部品又は構成要素が「結合される」という記述は、リンクが発生する限り、部品が直接又は間接的に、すなわち、１つ又は２つ以上の中間部品又は構成要素を介して、接合されるか、又は一緒に動作することを意味するものとする。本明細書で使用される場合、「直接結合された」は、２つの要素が互いに直接連結していることを意味する。例えば及び非限定的に、上部、底部、左側、右側、上側、下側、前面、背面及びそれらの派生物などの、本明細書において使用される方向の言い回しは、図面に示されている要素の方向に関係し、そこに明示的に記載されていない限り、特許請求の範囲を限定するものではない。

【0015】

これらの図面は、縮尺通りに描かれていない場合があり、任意の所与の実施形態の構造又は性能特性を正確に反映していない場合があり、例示的な実施形態によって包含される値又は特性の範囲を定義又は限定するものとして解釈されるべきではない。

【0016】

特に別段の記載がない限り、考察から明らかなように、本明細書全体を通して、「処理する」、「コンピュータ処理する」、「計算する」、「判定する」などのような用語を利用する考察は、特殊用途コンピュータ又は同様の特殊用途電子処理／コンピューティングデバイスなどの特定の装置のアクション又はプロセスを指すことを理解されたい。

【0017】

本明細書に開示されるデバイス、システム、及び方法の構造、機能、製造、及び使用の原理が総括的に理解されるように、ある特定の例示的な実施形態について、これから説明する。これらの実施形態の１つ又は２つ以上の実施例が、添付の図面に例解されている。当業者であれば、本明細書で詳細に説明され、添付の図面に示される装置、システム、及び方法は、非限定的な例示的実施形態である点を理解するであろう。例示的な一実施形態に関連して例解又は記載される特徴は、他の実施形態の特徴と組み合わせることができる。かかる修正及び変形例は、本開示の範囲内に含まれることが意図される。

【0018】

追加的に、直線又は円形の寸法が、開示されるデバイス及び方法の説明で使用される限りにおいて、そのような寸法は、そのようなデバイス及び方法とともに使用され得る形状のタイプを限定することを意図しない。当業者には、そのような直線寸法及び円寸法に相当する寸法を、任意の幾何学的形状について容易に決定することができる点が認識されるであろう。更に、装置の寸法及び形状、並びにその構成要素は、装置が使用されることになる対象の解剖学的形態、装置とともに使用されることになる構成要素の寸法及び形状、並びに装置が使用されることになる方法及び手技に少なくとも依存し得る。

【0019】

図示された実施形態及び付随する説明は、脊椎手術処置における用途、特に低侵襲脊椎手術、本明細書に記載される装置、システム、及び方法は、これらの用途に限定されない。

【0020】

ここで、撮像及びニューラルネットワークに関するいくつかの背景情報を提供する。上記で考察したように、医療分野では、選択的脊椎手術に関連付けられた神経学的合併症の発生率を低減する必要がある。現在の診療では、ＭＲＩ撮像は、患者の解剖学的構造のスキャンされた領域内の筋骨格及び神経構造又は組織の両方を視覚化することができる。しかしながら、ＭＲＩ撮像は、術前外科手術計画又は術中計画若しくはフィードバックにおける使用には好ましくない。ＣＴ撮像及びＣＢＣＴ撮像は、患者の解剖学的構造のスキャンされた領域における筋骨格構造を示すために使用され得る。しかしながら、神経構造は、ＣＴ又はＣＢＣＴ画像ボリュームでは見えない。ＣＴ又はＣＢＣＴ撮像は、術前外科手術計画及び／又は術中外科手術ナビゲーション、計画、若しくは分析において外科医によって一般的に使用される。特に、低侵襲脊椎外科的処置では、ＣＴ又はＣＢＣＴ画像ボリュームを術前に使用して、外科用器具が標的脊椎領域にアクセスするために従う外科的アクセスアプローチを計画することができる。コンピュータ支援ナビゲーション環境を使用するいくつかの外科的処置では、ＣＴ又はＣＢＣＴ撮像を術中に使用して、患者の解剖学的構造の外科手術領域を表示することができる。ＣＴ又はＣＢＣＴ撮像は、処置中に患者位置が調整された場合に更新することができる。

【0021】

ＭＲＩ及びＣＴ又はＣＢＣＴ撮像の場合、結果として生じる画像ボリュームは、異なる解剖学的構造を識別するために注釈付け、ラベル付け、又はセグメント化することができる。画像ボリューム内の構造を識別するプロセスは、画像ボリュームを注釈付けすること、ラベル付けすること、又はセグメント化することと呼ぶことができ、これらの用語は、本明細書の開示全体を通して互換的に使用される。代替的に、結果として生じる画像ボリュームが、セグメント化されていないボリュームとして残る場合がある。セグメント化されていないボリュームの場合、結果として生じる画像ボリュームは、画像ボリューム内で見える構造を互いに区別するデータを含まない。

【0022】

機械学習アルゴリズムにおける最近の開発は、生物医学的画像セグメンテーションにおける用途のための（深層）畳み込みニューラルネットワーク（convolutional neural network、ＣＮＮ）であるＵ－Ｎｅｔの開発を含む。一般的に、ＣＮＮは、入力層と出力層との間に複数の層を有する深層ニューラルネットワークである。ＣＮＮは、人間の入力を必要とすることなく、入力画像を分解し、入力画像の全てのサンプルにわたって存在する傾向を識別し、かつ識別された傾向を使用して、ラベル付けされていない入力画像を分類するように訓練され得る。このようにして、ＣＮＮは、従来のアルゴリズムでは手作業で設計されていた画像フィルタを学習することができる。

【0023】

最近の研究では、少数の注釈付けされた２Ｄスライスのみから密なボリュームセグメンテーションを生成することを学習するＵネットベースの深層ネットワークを作成するために、既知のＵネットアーキテクチャが構築されている。半自動深層ネットワークは、注釈付けされた２Ｄ入力スライス内に存在するセグメンテーションを高密度化することができる。完全に自動化されたセットアップでは、代表的な疎に注釈付けされた訓練データセットが存在し、新しいボリューム画像を密にセグメント化するようにニューラルネットワークを訓練するために入力され得る。両方の場合において、深層ニューラルネットワークは、Ｕ－ｎｅｔアーキテクチャを使用して、入力画像において示されるが、密にセグメント化されていない解剖学的構造の密なセグメンテーションを生成する。

【0024】

図１７は、既知のＵ－ｎｅｔアーキテクチャ１７００の例解図を示しており、これは、画像全体を分析するための縮小エンコーダ部分と、フル解像度セグメンテーションを作り出すための連続的な拡張デコーダ部分とからなる。図１７のｕ－ｎｅｔアーキテクチャは、３Ｄボリュームを入力として取り、それらを対応する３Ｄ演算、特に、３Ｄ畳み込み、３Ｄ最大プーリング、及び３Ｄアップ畳み込み層を用いて処理する。ｕ－ｎｅｔアーキテクチャは、各々が４つの解像度ステップを有する分析及び合成経路を有する。分析経路では、各層は、２つの３×３×３畳み込みを含み、各々の後に整流線形ユニット（rectified linear unit、ＲｅＬｕ）が続き、次に、各次元において２のストライドを有する２×２×２最大プーリングが続く。合成経路において、各層は、各次元において２のストライドによる２×２×２の上昇畳み込みと、それに続く２つの３×３×３畳み込みと、各それに続くＲｅＬｕとからなる。分析経路内の等しい解像度の層からのショートカット接続は、合成経路に本質的な高解像度特徴を提供する。最後の層において、１×１×１畳み込みは、出力チャネルの数を、図１７の場合には３であるラベルの数に低減させる。図１７に示されたアーキテクチャは、全部で１９，０６９，９５５個のパラメータを有する。ボトルネックは、既に最大プーリングの前にチャネル数を倍増することによって回避される。同じことが、合成経路においても行われる。

【0025】

引き続き図１７を参照すると、ネットワークへの入力は、３つのチャネルを有する画像の１３２×１３２×１１６ボクセルタイルである。最終層における出力は、それぞれｘ、ｙ、ｚ方向に４４×４４×２８ボクセルである。１．７６×１．７５×２．０４μｍ３のボクセルサイズでは、近似受容野は、予測されたセグメンテーションにおける各ボクセルに対して１５５×１５５×１８０μｍ３になる。したがって、各出力ボクセルは、効率的に学習するのに十分なコンテキストを有する。バッチ正規化は、各ＲｅＬｕの前に導入される。各バッチは、訓練中にその平均及び標準偏差で正規化され、グローバル統計は、これらの値を使用して更新される。これに、スケール及びバイアスを明示的に学習するための層が続く。ｕ－ｎｅｔアーキテクチャは、重み付けされたソフトマックス損失関数を含む。ラベル付けされていないピクセルの重みを０に設定することができ、ラベル付けされたピクセルのみから学習し、ボリューム全体に一般化することを可能にする。

【0026】

本明細書に開示されるシステム及び方法は、ラベル付けされていない入力ボリュームから解剖学的構造を効果的かつ予測的に識別し、ラベル付けし、モデル化し、視覚化するために、ｕ－ｎｅｔアーキテクチャ上で拡張する画像分析ツールを含むことができる。

【0027】

概して、脊椎手術のための神経解剖学的構造の予測モデリング及び視覚化の開示が、ここで提示される。本発明は、概して、患者の解剖学的構造のセグメント化されていない、又はラベル付けされていない画像ボリュームから神経組織を予測的に位置特定し、モデル化し、視覚化するための方法、システム、及びデバイスを対象とする。本明細書に記載される方法、システム、及びデバイスは、脊椎手術処置と関連して使用するために、具体的には、低侵襲脊椎手術処置において使用するために特に好適である。本発明の画像分析ツールは、患者の脊椎領域のラベル付けされていない画像ボリュームから患者の脊柱付近の神経構造を予測的に位置特定し、モデル化し、視覚化するように訓練することができる。本発明の画像分析ツールは、機械学習システムとして構成することができる。一実施形態では、画像分析ツールは、複数の畳み込みニューラルネットワークを含むことができる。一実施形態では、画像分析ツールは、訓練された予測モデルとして構成される第１の畳み込みニューラルネットワークと、第１の畳み込みニューラルネットワークをグラウンドトゥルースピクセルラベル分類として使用する第２の畳み込みニューラルネットワークとを含むことができる。本発明の第１の畳み込みニューラルネットワーク及び第２の畳み込みニューラルネットワークは、それぞれ第１のＵ－Ｎｅｔ及び第２のＵ－Ｎｅｔと呼ぶこともできる。

【0028】

本発明の画像分析ツールは、脊椎領域のラベル付けされていないＣＴ又はＣＢＣＴスキャンボリュームを入力として受け取ることができ、訓練されたニューラルネットワークを使用して、スキャンされた脊椎領域に関連付けられた少なくとも１つの神経構造の場所を予測し、識別することができる。画像分析ツールは、ある程度の信頼度で、スキャンされた脊椎領域のセグメント化又はラベル付けされた画像を出力することができる。一実施形態では、画像分析ツールは、セグメント化されていない患者スキャンから脊椎付近のラベル付けされた神経構造の３Ｄモデルを出力することができる。画像分析ツール出力は、患者別の解剖学的構造に基づいて神経構造との接触を回避するために外科的アプローチを最適化するための初期患者別の「神経ロードマップ」を提供することができる。画像分析ツールは、あるレベルの信頼度で神経組織を予測的にモデル化し、識別するための関連付けを行うために、神経及び筋骨格系の解剖学的構造の深層学習ベースの共変動モデルに依存することができる。本発明によれば、患者の脊椎付近の神経組織の場所を識別するために、ＭＲＩ又は超音波を使用する撮像などの追加の患者撮像が必要とされない。

【0029】

一実施形態では、本発明の画像分析ツールは、例えば、術中ＣＢＣＴ及びツール追跡を含むことができるコンピュータ支援ナビゲーション環境の一部として使用することができる。本発明の画像分析ツールは、任意の既知のコンピュータ支援ナビゲーション環境に組み込むことができ、又はそれに関連付けて使用することができる。本発明の画像分析ツールをコンピュータ支援ナビゲーション環境に組み込むことにより、神経構造及び／又は患者別の外科手術計画の予測モデリング及び視覚化の術中調整及び更新を可能にすることができる。コンピュータ支援ナビゲーション環境は、実行されている外科的処置に関する術中フィードバックを受け取ることができる。例えば、術中フィードバックは、患者、神経構造、又は外科用器具の位置に関する情報を含むことができ、本発明によって生成された神経構造のモデルと併せて使用して、神経構造との望ましくない接触を低減することができる。画像分析ツールによって生成された神経構造の予測モデリング及び視覚化は、神経監視プローブ、関節鏡カメラ、等からのフィードバックを通じて術中に検証することができる。

【0030】

本発明で生成された患者別の外科手術計画は、脊椎にアクセスしながら神経組織との接触を回避するのを助けるために、コンピュータ支援ナビゲーション又はロボット外科手術システムの一部として使用することもできる。代替的に、本発明のシステム、方法、及びデバイスは、スタンドアロン術前計画システムとして使用され得る。例えば、本発明の画像分析ツールは、本明細書に記載されるシステム及び方法とともに、術前ＣＴスキャンと併せて術前計画システムとして使用することができる。スタンドアロンとして使用されても術中環境に組み込まれても、本発明の画像分析ツールは、ＣＴ又はＣＢＣＴ画像のみに依存して、スキャンされた外科手術領域内の患者の神経組織を識別及びセグメント化することができ、外科手術領域内の神経組織を識別及び位置特定する目的で患者に対して実行されるＭＲＩ又は超音波などの追加の撮像を必要としない。

【0031】

本発明の画像分析ツールは、神経及び筋骨格系の解剖学的構造の深層学習ベースの共変動モデルを使用して、患者の脊椎の近くの予測された神経組織の３Ｄモデルを生成及び出力することができる。図１は、本発明の画像分析ツールの例示的な３Ｄモデル出力１０を示す。３Ｄモデル１０は、画像分析ツールによって計算されたセグメンテーションデータの視覚的表現であり得る。以下でより詳細に考察するように、画像分析ツールのデータ出力は、マーチングキューブなどのセグメンテーションから表面モデルへの変換アルゴリズムを使用して表面モデルに変換することができる。セグメンテーションデータを視覚モデルに変換する任意の既知の方法が使用され得、本発明の範囲内であることが理解されよう。

【0032】

例示的な出力１０は、脊椎領域内の神経構造を識別するために画像分析ツールによって自動的にセグメント化された患者の脊椎領域を視覚化する３Ｄモデルである。図１に例解される３Ｄモデル出力１０は、脊椎領域の予測された神経組織４０の視覚化とともに、２つの隣接する椎骨２０及び３０を表示する。一実施形態では、分析ツールは、３Ｄモデル１０内で少なくとも１つの信頼区間５０を識別し、出力することができる。信頼区間は、神経の予測された場所における予想される誤差源を説明することができる。計算誤差は、例えば、自然な患者の変動又は測定誤差から生じ得る。画像分析ツールの信頼区間は、神経組織の場所に対する信頼区間を表す等値面であり得る。

【0033】

ここで、本発明の画像分析ツールの簡単な概要が提供され、続いて、本発明の画像分析ツールを使用する方法の説明が提供される。最後に、本発明の画像分析ツール自体が、詳細に考察される。

【0034】

本発明の画像分析ツールは、入力としてラベル付けされていないＣＴ又はＣＢＣＴスキャンデータを受け取ることができ、スキャンされた領域内の神経構造を予測可能に位置特定及び識別することができるセグメンテーションアルゴリズムを含むことができる。セグメンテーションアルゴリズムは、神経組織と解剖学的構造との間の訓練された深層学習共変動モデルに依存することができる。共変動モデルは、完全なデータ、すなわち、セグメント化された骨、筋、及び神経の解剖学的構造を含み、欠けているデータラベル、すなわち、ＣＴスキャン又はＣＢＣＴスキャンからの神経の解剖学的構造を予測するために使用することができる。画像分析ツールは、ラベル付けされていない患者ＣＴ又はＣＢＣＴスキャンを入力として受け取り、セグメンテーションアルゴリズムを使用して、スキャンされた領域内の神経組織を位置特定し、識別する。画像分析ツールは、ラベル付けされた神経構造を識別する入力スキャン領域の３Ｄモデルボリュームを生成し、出力することができる。追加的に、画像分析ツールは、ラベル付けされていないＣＴ又はＣＢＣＴ入力スキャン内に存在するラベル付けされた筋骨格構造を出力するように構成することができる。

【0035】

本発明の共変動モデルは、画像分析ツールのオフライン訓練段階中に最初に作成される。訓練段階は、以下で詳細に考察するように、ラベル付けされたＭＲＩボリュームの入力データを使用して、解剖学的共変動モデルを構築する。訓練段階はまた、モデルを訓練するためにＭＲＩボリュームから生成された追加の訓練データを含むことができる。次いで、共変動モデルを使用して、入力訓練データの第２のセットに対して画像分析ツールを訓練する。入力訓練データの第２のセットは、ラベル付けされたＣＴ又はＣＢＣＴボリューム、すなわち、セグメント化された筋骨格構造を含むＣＴ又はＣＢＣＴボリュームであり得る。次いで、画像分析ツールは、ラベル付けされた筋骨格解剖学的構造に対応する神経構造を出力するために、共変動モデルを使用することができる。オフライン訓練段階の後、画像分析ツールを本発明の様々なシステム及び方法に展開して、ラベル付けされていないＣＴ又はＣＢＣＴスキャンボリュームから患者の外科手術領域内の神経組織を識別することができる。

【0036】

本発明の画像分析ツールの展開又は使用の段階に目を向けると、図２は、訓練された画像分析ツール２００の展開方式を例解する。画像分析ツール２００は、入力として患者スキャン２１０を受け取ることができる。入力患者スキャン２１０は、完全にラベル付けされていない、又はセグメント化されていない画像ボリュームであり得る。入力患者スキャンは、術前患者スキャン又は術中患者スキャンであり得る。一実施形態では、画像分析ツール２００は、ＣＢＣＴボリュームのグレーレベルデータ、ＣＴボリュームのボクセルデータ、又は当技術分野で知られている任意の撮像技術を使用してスキャンされた患者の解剖学的構造を表す同等のラベル付けされていない、又はセグメント化されていない画像データを受け取ることができる。図２に示す例では、訓練された画像分析ツール２００は、患者の脊椎領域のグレーレベルデータＣＢＣＴボリューム２１０を受け取る。

【0037】

画像分析ツール２００は、セグメンテーションアルゴリズムを使用して、受け取った入力データの筋骨格組織及び神経組織を自動的にセグメント化することができる。例えば、画像分析ツール２００の出力２２０は、椎体、椎間板、腰筋筋肉、及び脊柱起立筋などのセグメント化された筋骨格組織、並びに神経、脊髄、及び馬尾などの神経組織を示すことができる。例えば、図２の出力２２０は、セグメント化された筋骨格組織、椎骨２２２及び２２４、腰筋筋肉２２６及び２２８、並びに神経根２３０及び２３２から出る神経構造を示す。本発明の画像分析ツールは、統計分析及び共変動モデル並びに患者表現型情報に基づいて、識別された神経構造の複数の領域を表示することができる。患者表現型情報は、例えば、患者の性別、肥満度指数、椎間孔空間、等を含むことができる。

【0038】

上記で考察したように、本発明の画像分析ツールの出力２２０は、少なくとも１つの神経構造が識別され、ラベル付けされた３Ｄ表面モデルであり得る。３Ｄ表面モデルは、セグメンテーションから表面モデルへの変換アルゴリズムを使用して実現することができる。本発明の画像分析ツール又は画像分析ツールを組み込んだシステムは、識別された神経構造を表示し、入力スキャンボリューム上、すなわち、ラベル付けされていないＣＴ又はＣＢＣＴスキャン上に神経構造をオーバーレイすることができる。

【0039】

図３は、患者別の外科手術計画を作成するために本発明の画像分析ツールを使用する例示的な方法３００を例解する。患者別の外科手術計画は、神経組織に接触するリスクを低減するように最適化された計画であり得る。方法３００を用いて作成された患者別の外科手術計画は、スタンドアロン術前計画ツールとして使用することができ、又は外科的処置を実行しながら術中に組み込むことができる。第１のステップ３１０において、外科手術領域のＣＴ又はＣＢＣＴボリュームが、画像分析ツールによって取得される。前に考察したように、画像分析ツールによって取得されたＣＴ又はＣＢＣＴボリュームは、ラベル付けされていなくてもよい。次に、ステップ３２０において、画像分析ツールは、取得された患者スキャン入力ボリュームの神経構造を自動的にセグメント化し、識別することができる。追加的に、画像分析ツールは、入力ボリュームの筋骨格構造を自動的にセグメント化し、識別することができる。次に、ステップ３３０で、ＣＴ又はＣＢＣＴ入力ボリューム上に、識別された神経構造を表示し、オーバーレイすることができる。

【0040】

一実施形態では、ステップ３４０において、画像分析ツールが、患者位置の予想される変化に基づいて、神経構造の予想される動きを考慮することができる。例えば、患者位置の予想される変化は、患者撮像位置と患者手術位置との間の変化であり得る。例えば、入力ＣＴスキャンが仰臥位置で行われ、手術が腹臥位置で実行される場合、システムは、この位置変化を考慮し、神経構造の予測された場所を更新することができる。表示された神経構造は、更新され、調整され、又は患者位置の予想される変化を最初に反映することができる。患者位置の変化に関する情報は、神経構造が最初に識別される前又は後のいずれかに、システムにロードされ得る。位置情報は、例えば、ドロップダウンリストから患者位置を選択することによって、データ入力フォームに患者位置情報を直接入力することによって、又は接続されたネットワーク、サーバ、若しくは他のデータ場所に記憶された情報から位置情報を画像分析ツールシステムが自動的に取り出すことによって、任意の既知のデータ入力方法を使用してシステムに入力することができる。神経組織モデルは、ステップ３５０で、患者別の脊椎外科手術領域内の神経組織の予測され、視覚化された場所を反映する画像分析ツールシステムによって出力され得る。神経組織モデルは、患者位置の変化に基づいて、神経組織の予測場所に対して調整が行われる前、後、又は前及び後の両方に出力され得ることが理解されよう。

【0041】

ステップ３６０で、画像分析ツールによって出力された神経構造の予測モデリングから、患者別の最適な外科手術計画が生成され得る。一実施形態では、患者別の最適な外科手術計画は、神経組織との接触を回避しながら椎間板腔又は脊椎にアクセスするための計画であり得る。一実施形態では、画像分析ツールは、推奨される安全なアクセスゾーンを識別することができる。安全なアクセスゾーンは、所定のしきい値未満の神経存在確率を有する１つ又は複数のエリアとすることができ、したがって、外科用器具類が手術中に通過する安全な経路を表す。一実施形態では、最適な外科手術計画は、処置に必要な特定のツールと重ね合わせて表示することができる。例えば、最適な外科手術計画は、アクセスポータル、椎弓根ねじ、又は予測された神経組織の近くの外科的処置における使用のために計画された任意の他の器具類を示すことができる。

【0042】

次に、本発明の画像分析ツールによる予測モデリングに関連付けられて生成された患者別の最適な外科手術計画を使用して、神経学的合併症のリスクを低減した外科的処置を実行することができる、ステップ３７０。一実施形態では、最適な外科手術計画をロボット外科手術システムへの入力として使用して、脊椎にアクセスし、骨切断、椎間板切除、などを実行しながら、神経解剖学的構造を損傷することを回避するためのツール経路の計画を支援することができる。代替的に、又はロボット外科手術システムを用いた使用に加えて、患者別の最適外科手術計画は、神経構造の場所を検証するために、神経監視プローブ又はカメラと併せて術中に使用され得る。生成された患者別の最適な外科手術計画は、外科的処置の準備をするために、ＣＴ撮像を伴うスタンドアロン術前計画システムとして使用することもできる。

【0043】

別の例示的な実施形態では、本発明の画像分析ツールシステムは、コンピュータ支援ナビゲーション環境の一部として術中に使用することができる。コンピュータ支援ナビゲーション環境は、例えば、ＣＢＣＴ撮像技術、ツール追跡、神経位置特定プローブ、カメラ、などのような、外科的処置を援助するための追加の技術を含むことができる。図４は、本発明の画像分析ツールの術中使用の例示的な方法４００を表し、一方図５～図１０は、図４の画像分析ツールの例示的な術中使用のステップを例解する。

【0044】

第１のステップ４１０において、画像分析ツールは、ラベル付けされていない患者スキャンボリュームを入力として取得することができる。一実施形態では、患者スキャンは、患者の脊柱の術中ＣＴ又はＣＢＣＴスキャンであり得る。代替的又は追加的に、患者スキャンは、患者の脊柱の術前スキャンであり得る。患者スキャンは、外科的処置及び外科的アプローチの詳細に応じて、仰臥位置、腹臥位置、又は半腹臥位置の患者で行うことができる。図５は、腹臥位置の患者の術中ＣＢＣＴスキャン５００を例解する。ラベル付けされていない患者スキャンボリュームが、画像分析ツールによって取得された後、画像分析ツールは、スキャンボリュームを自動的にセグメント化して、ラベル付けされていない入力スキャン内の神経組織を識別し、ラベル付けすることができる、ステップ４２０。画像分析ツールはまた、ラベル付けされていない入力スキャン内の筋骨格組織をセグメント化することもできる。例えば、画像分析ツールは、入力画像ボリューム内の、神経組織、椎体、並びに脊柱起立筋及び腰筋筋肉などの他の筋骨格組織を自動的にセグメント化し、ラベル付けすることができる。図６は、画像分析ツールによって自動的にラベル付けされた例示的な患者スキャンを示す。以下で詳細に説明するように、画像分析ツールは、深層学習ベースの解剖学的共変動モデルを使用して、セグメント化されていない画像ボリューム上の神経組織及び筋骨格組織を識別し、ラベル付けすることができる。図６は、本発明の画像分析ツールによって出力された３Ｄボリュームのスライスを示す。特に、神経構造６１０、すなわち、出て行く神経根６１０を識別し、現在自動的にセグメント化されている入力スキャンボリューム６００上にオーバーレイすることができる。画像分析ツールはまた、筋骨格組織６２０を識別及びモデル化することができる。一実施形態では、スライス６００などのセグメント化された出力は、コンピュータ支援ナビゲーション環境のスクリーン又はディスプレイ上に表示することができる。

【0045】

次に、ステップ４３０において、セグメント化された画像分析ツール出力から、最適化された患者別の外科手術計画を作成することができる。最適化された患者別の計画は、患者の解剖学的構造並びに外科的目標及び外科的制約を考慮に入れることができる。例えば、側方経腰筋外科的処置のために、椎間板腔及び関連する骨構造へのアクセスを最大化し、一方、特定患者に特有の腰筋筋肉に埋め込まれた周囲の神経根及び神経路との接触を最小化する最適化された軌道を計画することができる。スキャンされた外科手術領域に対応する神経構造は、画像分析ツールによって識別され、最適化された外科手術計画を作成する際に考慮され得る。ステップ４１０～４３０は、術前に、術中に、又は術前及び術中の組み合わせで実行され得ることが理解されよう。

【0046】

図７は、例示的な患者別の最適化された外科手術計画を示す。特に、図７は、特定の患者の椎体空間にアクセスするための最適化されたテーブル軌道を示す。３Ｄモデル７００は、画像分析ツールシステムの出力であり、画像分析ツールによって生成された自動セグメンテーションを表示することができる。例えば、３Ｄモデル７００は、患者の脊椎領域から出る第１の神経束又は神経枝７１０及び第２の神経束又は神経枝７１２を含むことができる。特に、神経枝７１０、７１２は、２つの隣接する椎骨７２０及び７２２の近くの領域から出ていることが見られ得る。腰筋筋肉７３０及び７３２などの脊椎領域の筋組織はまた、画像分析ツールによってセグメント化及びラベル付けされ得る。次いで、システム及びラベル付けされた３Ｄボリュームを使用して、特定の外科的処置のための最適軌道７４０を計画することができる。最適軌道７４０は、外科用器具が外科手術領域にアクセスするための最適経路を表すことができる。図７に示す例示的な実施形態では、最適軌道７４０は、神経構造７１０を回避するための椎間腔７５０へのアクセス経路を示す。安全なアクセスゾーン７４２がまた、画像分析ツールシステムによって生成され得る。安全なアクセスゾーンは、神経組織の存在が所定のしきい値未満であるエリアを表すことができる。換言すれば、識別された安全なアクセスゾーンは、外科用器具類が神経構造に接触するリスクを低減しながら安全に通過することができる予測されたエリアを表すことができる。

【0047】

ステップ４４０において、患者別の外科手術計画は、コンピュータ支援ナビゲーション環境表示の一部として示され得る。本発明の画像分析ツールは、外科手術ナビゲーション環境と通信することができる。代替的に、画像分析ツールは、外科手術ナビゲーションデバイスに最初にプログラムされ得るか、又は外科手術ナビゲーションデバイスを用いて作成され得る。外科手術ナビゲーション環境は、術中ＣＢＣＴ画像ボリュームに対して、Ｊａｍｓｈｉｄｉタイプの針などのツールを追跡するための患者アレイ及び器具アレイの両方を含むことができる。外科手術ナビゲーション環境は、患者及び外科的処置で使用されるツールの両方の位置決めのリアルタイムフィードバックを表示することができる。患者及び器具アレイのフィードバックは、ＣＢＣＴ画像ボリューム出力及び／又は最適化された外科手術計画とオーバーレイされ、又は統合されて表示することができる。図８は、患者１００に対して実行されている外科的処置の例を示しており、ここでは、複数の外科用器具が、低侵襲技法を使用して患者の脊柱にアクセスするために使用されている。複数の器具は、図７に示される処置のための３Ｄモデルへの位置合わせ及びそれに基づく実行を可能にするように、例えば、外科手術ナビゲーションシステムによって追跡され得ることに留意されたい。

【0048】

ステップ４５０において、外科的処置が実行されている間に、術中フィードバックをコンピュータ支援ナビゲーション環境に提供することができる。例えば、外科用器具は、最適化された患者別の外科的アクセス計画に従って椎間板腔内にナビゲートされ得る。一実施形態では、外科用器具は、位置特定情報をコンピュータ支援ナビゲーション環境に返送するためのツール追跡アレイ又はセンサを含むことができる。更なる非限定的な例として、外科用器具は、視覚フィードバック、超音波フィードバック、等などのフィードバックを、神経構造、外科用器具類、追加の患者の解剖学的構造、などの場所についてコンピュータ支援ナビゲーション環境に提供することができる。

【0049】

一実施形態では、超音波ベースの神経位置特定プローブは、外科手術領域内の少なくとも１つの神経構造の位置決めに関する術中フィードバックを提供することができる。表示される患者スキャンボリュームは、術中フィードバックに基づいて更新又は調整され得る。他の実施形態では、超音波プローブの代わりに、例えば、筋音図（mechanomyography、ＭＭＧ）、筋電図（electromyography、ＥＭＧ）、及び神経組織の存在を検出するための他の既知の器具を含む、他の神経位置特定器具が利用され得る。

【0050】

ステップ４６０において、術中フィードバックをユーザに通信することができる。例えば、神経構造をラベル付けする表示された患者スキャンは、術中フィードバックを反映するように更新、修正、又は調整され得る。このようにして、コンピュータ支援ナビゲーション環境とともに術中に使用するように構成された本発明の一実施形態は、外科手術領域内の神経組織の場所、予め計画された経路からの外科用器具の逸脱、神経構造に対する外科用器具の相対的な場所、等のうちの少なくとも１つに関する視覚フィードバックを提供することができる。一実施形態では、本発明の画像分析ツールと連携したコンピュータ支援ナビゲーション環境は、補助外科用器具類から得られた情報に基づいて、神経マップを継続的に改良し、更新することができる。非限定的な例として、補助外科用器具類は、トリガ式ＭＭＧ、光学、又は超音波ベースのハンドヘルド神経位置特定システムなどの補助神経位置特定システムを含むことができる。神経マップはまた、ＣＴ又はＣＢＣＴスキャンが患者の動きに基づいて更新される場合、更新され得る。

【0051】

図９及び図１０に見られるように、コンピュータ支援ナビゲーション環境は、外科的処置に関するリアルタイム又はリアルタイムに近い視覚フィードバックを提供することができる。例えば、器具から最も近い神経構造までの距離、又は計画された最適軌道若しくは最適器具経路からの偏差を反映するフィードバックを外科手術ナビゲーション環境上に表示することができる。図９及び図１０は、本発明の画像分析ツールによって生成された出力を有するリアルタイム外科的フィードバックを組み込んだ外科手術ナビゲーション環境の２つの例示的な表示を示す。図９には、患者の解剖学的構造に対するプローブ９０５を示す４つの異なるビューを含む例示的な外科手術ナビゲーション環境ディスプレイ９００が示されている。非限定的な例として、外科手術ナビゲーション環境は、異なる向きからの患者の解剖学的構造及び外科用器具類のいくつかの２Ｄビュー、例えばビュー９０２～９０４とともに、ディスプレイ９０１などの患者の解剖学的構造及び外科用器具類の３Ｄモデルを表示することができる。特に、プローブ９０５は、画像分析ツール出力ボリュームの自動的にラベル付けされた部分、すなわち、ラベル付けされた骨ボリューム９２０及び９２２、ラベル付けされた筋肉ボリューム９３０及び９３２、並びにラベル付けされた神経組織９１０及び９１２に対して生成されたビューにおいて見ることができる。プローブ９０５が撮像された外科手術領域内で操作されると、動き及びそれに伴う位置の変化をコンピュータ支援ナビゲーション環境のディスプレイに反映させることができる。

【0052】

図１０は、本発明の画像分析ツールを含む外科手術ナビゲーション環境システムの別の例示的な表示を示す。例えば、外科手術ナビゲーション環境は、最適化された軌道及び／又は識別された神経構造に対する外科手術領域内の外科用器具の動きを生成及び表示することができる。例えば、ディスプレイ１０００は、神経組織１０１０に対するプローブ１０２０の場所に関するリアルタイムフィードバックを提供することができる。ディスプレイ１０００は、最適軌道経路１０５０を見下ろす外科手術領域の上面図又は鳥瞰図を示すことができる。表示された最適軌道経路１０５０は、上述したように画像分析ツールシステムから生成することができる。一実施形態では、ディスプレイ１０００はまた、最適軌道１０５０の周囲に安全なアクセスゾーン１０４０を示すことができる。プローブ１０２０の軌道１０３０も表示することができる。一実施形態では、外科手術ナビゲーション環境は、画像分析ツールの予測モデリングと、ツール追跡アレイ又はセンサによって提供されるリアルタイムフィードバックとを使用して、プローブ１０２０から最も近い神経構造、この場合は神経組織１０１０までの最短距離を計算することができる。画面上の視覚化は、プローブと最も近い神経組織との間の最短距離を示すことができる。図１０の例示的な実施形態では、この距離は、矢印１０６０と、例えば４ｍｍの距離１０７０の表示とによって表すことができる。

【0053】

ここで、画像分析ツールについて考察する。ここで、本発明の画像分析ツールの構築及び訓練に目を向けると、図１１は、例示的な画像分析の概略図を示す。画像分析ツールは、外科的処置、患者、などに関する画像データ及び情報を受け取り、処理し、通信及び／又は記憶するための１つ又は２つ以上の構成要素を含むことができる。図１１に概略的に例解されているように、例示的な画像分析ツール１１００は、プロセッサ１１１０と、メモリ１１２０と、通信インターフェース１１３０とを含むことができ、これらは全て互いに通信することができる。更に、これらの構成要素の各々は単数形で言及されているが、これらの構成要素のうちの１つによって実行されるものとして説明される様々な機能は、実際にはこれらの構成要素のうちの複数によって実行することができ、例えば、プロセッサ１１１０によって実行されるものとして説明される機能は、複数のプロセッサによって実行することができることが当業者には理解されよう。

【0054】

プロセッサ１１１０は、マイクロコントローラ、マイクロコンピュータ、プログラマブルロジックコントローラ（programmable logic controller、ＰＬＣ）、フィールドプログラマブルゲートアレイ（field-programmable gate array、ＦＰＧＡ）、特定用途向け集積回路（application specific integrated circuit、ＡＳＩＣ）、当該技術分野でコンピュータとして一般的に言及される集積回路、及び他のプログラマブル回路を含み得、これらの用語は、本明細書では互換的に使用される。プロセッサ１１１０は、患者の解剖学的構造の撮像領域内の解剖学的構造、例えば神経構造を識別、位置特定、モデル化及び／又は視覚化する情報を生成し、及び／又は通信インターフェース１１３０を介して外部デバイスから受け取った情報、ユーザによって通信インターフェース１１３０に直接入力された情報、及び／又はメモリ１１２０に記憶された情報に基づいて様々な計算を実行するように構成することができる。非限定的な例として、プロセッサは、ラベル付けされていない画像ボリューム内の神経組織を識別及び位置特定し、神経解剖学的構造を識別する外科手術領域の３Ｄボリュームを生成し、深層学習解剖学的共変動モデルを構築する、等をするように構成され得る。

【0055】

プロセッサ１１１０は、メモリ１１２０に結合され得、これは、ランダムアクセスメモリ（random access memory、ＲＡＭ）、読み出し専用メモリ（read-only memory、ＲＯＭ）、フラッシュメモリ、非一時的コンピュータ可読記憶媒体、等を含み得る。メモリ１１２０は、本明細書で開示されるシステムを実装するために、又は本明細書で開示される方法を実行するために、プロセッサ１１１０による実行のための命令を記憶することができる。追加的又は代替的に、メモリ１１２０は、プロセッサ１１１０によって生成若しくは計算された情報、及び／又は外部デバイスから受け取った、若しくは通信インターフェース１１３０を通して直接入力された情報を記憶することができる。

【0056】

通信インターフェース１１３０は、プロセッサ１１１０、メモリ１１２０、直接入力モジュール１１４０、及び１つ又は２つ以上の外部デバイス１１５０、例えば、センサ、外科用器具、撮像デバイス、コンピュータ支援ナビゲーション環境システム、ロボット外科手術システム、コンピュータ又は処理デバイス、等のうちのいずれかから情報を受け取り、それらに情報を送信するように構成され得る。通信インターフェース１１３０は、無線（例えば、近距離無線通信（near-field communication、ＮＦＣ）、Ｗｉ－Ｆｉ、Ｂｌｕｅｔｏｏｔｈ、Ｂｌｕｅｔｏｏｔｈ ＬＥ、など）又は有線（例えば、ＵＳＢ若しくはイーサネット）であり得る。一実施形態では、通信インターフェース１１３０は、医療撮像情報及び関連データを受け取り、通信し、管理するために、医療におけるデジタル画像と通信（Digital Imaging and Communications in Medicine、ＤＩＣＯＭ）規格を満たすように構成することができる。別の例示的な実施形態では、通信インターフェース１１３０は、術中フィードバックを受け取るために、センサ、外科用器具、撮像技術、などと通信することができる。非限定的な例として、通信インターフェース１１３０は、外科用器具、神経組織、患者の位置決めなどのうちの少なくとも１つの位置情報に関するリアルタイムの術中位置データを外部デバイスから受け取ることができる。

【0057】

上記で考察したように、本発明の画像分析ツールを使用して、患者のスキャン画像ボリューム内の神経組織を位置特定かつ識別して、外科用器具のナビゲーションを援助し、脊椎手術中の神経損傷の可能性を低減することができる。画像分析ツールは、解剖学的構造を予測的に位置特定し視覚化するために訓練することができる少なくとも１つの深層学習ベースのモデルに依存する機械学習ツールとして構成することができる。プロセッサ１１１０は、セグメンテーションアルゴリズム１１１２を含むことができる。セグメンテーションアルゴリズム１１１２は、神経解剖学的構造を示さないラベル付けされていない患者スキャンボリュームを受け取るように構成することができ、訓練された解剖学的共変動モデルに基づいて、スキャンボリューム内に存在する神経構造を自動的にセグメント化し、識別することができる。セグメンテーションアルゴリズムは更に、筋骨格構造などの撮像ボリューム内に示されるラベル付けされていない構造を識別するように構成することができる。一実施形態では、セグメンテーションアルゴリズム１１１２は、入力層と出力層との間に複数の層を有する深層ニューラルネットワークであり得る。セグメンテーションアルゴリズムは、訓練データの画像を分解し、全てのサンプル画像にわたって存在する傾向を識別し、学習された訓練データに依存することによって人間の入力なしに新しい画像を分類するように訓練され得る。

【0058】

セグメンテーションアルゴリズム１１１２は、典型的にはＣＴ又はＣＢＣＴ画像では見えない神経組織と、ＣＴ又はＣＢＣＴ画像で見える筋骨格構造との間の解剖学的共変動関連付けに基づくことができる。例えば、脊椎領域に焦点を当てた用途では、脊椎ＣＴ又はＣＢＣＴ画像で見える筋骨格構造は、椎体、骨棘、腰筋筋肉、脊柱起立筋、等を含むことができる。一方で、ＭＲＩ画像ボリュームは、筋骨格構造及び神経構造の両方を示す。したがって、ＭＲＩ画像ボリュームは、脊椎領域における神経構造と筋骨格構造との間の解剖学的共変動の概念を例解するのを援助することができる。更に、ＭＲＩ画像ボリュームは、セグメンテーションアルゴリズム１１２の共変動モデルを訓練するための訓練データセットとして使用することができる。

【0059】

図１２は、３つの位置合わせされた、又は融合された、患者ＭＲＩサンプルからの腰椎領域における神経解剖学的構造の被験者間変動の視覚化を示す。反復最近点アフィン変換をＬ４及びＬ５椎体に適用して、３人の患者間のサイズ、姿勢、及び異方性形状の差を補正することによって、データセットを位置合わせした。次いで、結果として生じた変換を、椎間腔から出る神経に適用した。結果として生じる融合されたＭＲＩ画像ボリュームは、冠状面ビュー１２１０及び矢状面ビュー１２２０で図１２に示されている。ＭＲＩ画像は、両方のタイプの解剖学的構造をうまくキャプチャするので、筋骨格構造及び神経構造の両方が、融合されたＭＲＩ画像ボリュームにおいてセグメント化されて示されている。例えば、図１２の融合されたＭＲＩボリュームは、第１及び第２の椎体１２３０及び１２４０を示すように注釈付けされている。出て行く神経根（１２５０、１２６０、及び１２７０）の３つの束が、第１の椎体１２３０から出て行くのをＭＲＩ画像ボリューム１２１０及び１２２０内に見ることができる。各出て行く神経根束は、融合されたＭＲＩボリューム内の１人の患者の解剖学的構造を表す。

【0060】

図１２に見ることができるように、Ｌ４及びＬ５椎体における解剖学的及び位置的変動を考慮すると、矢状面におけるよりも冠状面における出て行く神経の経路においてより大きな変動が存在する。冠状面におけるこの増加した変動は、出て行く神経が通って移動する腰筋筋肉の解剖学的構造における被験者間変動に起因し得る。したがって、患者の解剖学的構造の完全なデータセットを使用して、解剖学的構造、すなわち、筋肉、骨、及び神経組織の間の共変動をモデル化することによって、深層学習ニューラルネットワークは、解剖学的関連付けを学習し、患者の解剖学的構造の欠けている構成要素のバージョンを予測することができる。本発明の画像分析ツールを訓練するために、任意の脊椎セグメント又は患者の解剖学的構造をこの様態で分析することができる。本明細書に開示されるシステム及び方法は、Ｌ４及びＬ５脊椎領域の分析に限定されない。更に、本明細書に開示されるシステム及び方法は、神経構造を識別することに限定されない。

【0061】

図１３は、本発明の画像分析ツールのセグメンテーションアルゴリズム１３１２の例示的な実施形態の視覚的表現を示す。セグメンテーションアルゴリズム１３１２は、第１のＵ－Ｎｅｔ１３２０及び第２のＵ－Ｎｅｔ１３５０を含むことができる。第１及び第２のＵ－Ｎｅｔ１３２０、１３５０はともに、画像分析ツールが、ラベル付けされていないＣＴ又はＣＢＣＴ画像ボリュームから神経構造を予測的に位置特定し、識別し、視覚化することを可能にすることができる。第１のＵ－Ｎｅｔ１３２０は、解剖学的共変動モデルトレーナとして構成することができる。以下に説明するように、第１のＵ－Ｎｅｔ１３２０は、セグメント化されたＣＴ又はＣＢＣＴ画像ボリュームを入力１３２２として受け取るように訓練することができる。入力１３２２は、脊椎領域の筋骨格解剖学的構造を示すようにラベル付けすることができる。例えば、入力１３２２は、腰筋筋肉１３２４及び１３２６などのラベル付けされた筋組織と、第１及び第２の椎体１３２８及び１３３０などの骨組織とを含むことができる。次に、第１のＵ－Ｎｅｔ１３２０は、入力ボリューム１３２２内では見えないか又はキャプチャされないが、撮像された解剖学的構造に関連付けられた少なくとも１つの神経構造を識別する出力１３３２を生成することができる。例えば、図１３に示されるように、第１のＵ－Ｎｅｔ１３２０の出力１３３２は、入力１３２２の撮像された領域内の第１の神経束又は枝１３３４及び第２の神経束又は枝１３３６をラベル付けすることができる。入力１３２２及び出力１３３２の両方は、ユーザに情報を通信するための位置基準を含むことができる。例えば、入力１３２２は、矢状基準面１３３８、冠状基準面１３４０、及び軸線方向基準面１３４２を表示することができる。同様に、矢状基準面１３４４、冠状基準面１３４６、及び軸線方向基準面１３４８を出力画像ボリューム１３３２上に表示することができる。

【0062】

ここで、本発明の第１のＵ－Ｎｅｔの訓練について、図１４を参照して説明する。図１４の方法１４００は、本発明のセグメンテーションアルゴリズムの訓練段階及び展開段階の両方を表す。ステップ１４１０～１４４０は、共変動モデルトレーナであるように構成された第１のＵネットの訓練を表すことができる。ステップ１４６０～１４７０は、セグメンテーションアルゴリズムの展開、すなわち、ラベル付けされていない画像ボリュームを分類するために第２のＵネット又は予測モデルを使用することを表すことができる。第１のＵ－Ｎｅｔを訓練することは、セグメント化されたＭＲＩボリューム構成要素間の第１のＵ－Ｎｅｔ関連付けを教示するために、代表的な患者集団からセグメント化された高品質ＭＲＩボリュームの訓練データベースを入力することを含むことができる。特に、Ｕ－Ｎｅｔは、ＭＲＩ画像ボリュームの様々なセグメント化された筋骨格構造と神経構造との間の関連付けを学習することができる。第１のＵ－Ｎｅｔを訓練することはまた、高品質ＭＲＩボリュームから生成された追加の訓練データを入力することを含むことができる。

【0063】

第１のステップ１４１０において、ＭＲＩ訓練ボリュームの第１のデータセットは、各ボリュームにおける神経構造及び筋骨格構造の両方を識別するために注釈付け又はセグメント化され得る。一実施形態では、各タイプの構造は、サブクラスに更に細分することができる。例えば、ＭＲＩボリュームの筋骨格組織は、椎体、椎間板、腰筋筋肉、脊柱起立筋、等として更に識別され得る。同様に、ＭＲＩボリュームの神経組織は、出神経根、神経枝、脊髄、馬尾、腰神経叢、等などのサブクラスに分類することができる。好ましくは、医師、外科医、看護師、医療専門家、研究者、又は他の人が、本発明の入力訓練ボリュームに手動で注釈付けすることができる。第１のデータセットは、少なくとも１つの高品質ＭＲＩボリュームを含むことができる。一実施形態では、第１のデータセットは、脊椎領域を撮像する複数のＭＲＩボリュームから構成することができる。三次元ラベルマップは、各ボリュームに対して、筋骨格及び神経の各組織タイプに対して作り出され得る。

【0064】

本発明の第１のＵ－Ｎｅｔを訓練するための訓練ボリュームとして入力される注釈付けされたＭＲＩボリュームの例は、図１５及び図１６に見ることができる。図１５は、入力訓練ＭＲＩボリュームの例示的な３Ｄの注釈付けされた筋骨格マップを例解する。三次元の注釈付けされたＭＲＩボリューム１５１０は、腰筋筋肉１５１２、１５１４並びに第１及び第２の椎体１５１６、１５１８を含む完全にセグメント化された筋骨格構造を有する脊椎領域を示す。注釈付けされた筋骨格構造は、ＭＲＩボリューム１５２０の二次元スライスにおいても見ることができる。例えば、軸線方向平面に沿って取られたスライス１５２０は、腰筋筋肉１５１２及び１５１４並びに第２の椎体１５１８を示す。ＭＲＩボリューム１５１０の注釈付けされた筋骨格構造は、冠状面に沿って取られたスライス１５３０、矢状面に沿って取られたスライス１５４０、及び軸線方向平面に沿って取られたスライス１５６０においても見ることができる。各スライスは、ＭＲＩボリューム１５１０のセグメント化された筋骨格解剖学的構造のビューを示すことができる。

【0065】

同様に、図１６は、図１５の同じＭＲＩボリュームの例示的な三次元の注釈付けされた神経マップを例解する。この例示的な実施形態では、４つの神経構造（１６１２、１６１４、１６１６、及び１６１８）が、ＭＲＩボリューム１６１０において識別され、セグメント化されている。二次元スライスは、ＭＲＩボリューム１６１０の異なる向きに沿って取ることができる。例えば、スライス１６２０は、軸線方向平面に沿って取ることができ、スライス１６３０は、冠状面に沿って取ることができ、スライス１６４０は、矢状面に沿って取ることができ、ＭＲＩボリューム１６１０において識別されたセグメント化された神経構造の異なるビューを示す。

【0066】

第１の訓練データセットはまた、第１の訓練データセットにおける入力として使用されるＭＲＩボリュームデータを拡張することによって作成される追加の訓練サンプルデータを含むことができる。例えば、物理学に基づく生物医学的変形変換を、例えば、患者位置の変化、脊椎の湾曲及び／又はアライメントの変化、等などの異なる状態を表すＭＲＩボリュームデータに適用して、追加の訓練データを生成することができる。次いで、追加の訓練データセットが、ＭＲＩボリュームに関して上述したように注釈付けされ、第１のＵ－Ｎｅｔを訓練するために使用され得る。

【0067】

図１４に戻ると、ステップ１４２０において、第１のニューラルネットワーク、すなわち第１のＵ－Ｎｅｔは、撮像された領域、すなわち脊椎領域の筋骨格構造と神経構造との間の解剖学的共変動のパターンを学習するために、注釈付けされた第１の訓練データセットを用いて訓練され得る。解剖学的共変動の学習されたパターンは、深層学習解剖学的共変動モデルを作成することができる。深層学習解剖学的共変動モデルは、Ｕ－Ｎｅｔアーキテクチャに基づく深層学習ニューラルネットワークを使用して生成された予測モデルであり得る。Ｕ－Ｎｅｔアーキテクチャの基本構造は、当技術分野で既知である。本発明の画像分析ツールは、独創的な様態でＵ－Ｎｅｔの概念を活用して、一緒に動作する複数のＵ－Ｎｅｔを使用することができるツールを開発し、その結果、本発明の画像分析ツールは、ＣＴ又はＣＢＣＴスキャンなどのセグメント化されていない画像ボリュームを受け取り、入力画像ボリュームには示されていないが画像ボリュームエリアに対応するラベル付けされた神経構造を有する同じ領域の画像ボリュームを出力することができる。

【0068】

ステップ１４２０において、第１のニューラルネットワークは、上述したように、ラベル付けされたＭＲＩボリューム及び／又は任意の追加的に作成されたデータサンプルからなる注釈付けされた第１の訓練データセットを受け取ることによって、筋骨格構造と脊椎領域の対応する神経構造との間のパターンに対して訓練される。注釈付けされた画像ボリュームが第１のＵ－Ｎｅｔに入力されると、Ｕ－Ｎｅｔは、ＭＲＩ画像ボリュームのラベル付けされた筋骨格ピクセルを、同じＭＲＩ画像ボリュームの対応するラベル付けされた神経構造に相関させることができる。このようにして、第１のニューラルネットワークは、解剖学的共変動モデルを作成及び更新して、第１のニューラルネットワークが追加の注釈付けされたデータを受け取るときに新しいパターン及び変動を学習することができる。訓練データセットに注釈付けし、第１のニューラルネットワークを訓練するプロセスは、進行中のプロセスであり得ることが当業者によって理解されよう。例えば、第１のニューラルネットワークの初期訓練の後に、追加のＭＲＩボリュームは、注釈付けされ、第１のニューラルネットワークに入力することができる。

【0069】

ステップ１４３０において、データの第２の訓練セットが準備される。第２の訓練セットは、ＣＴ又はＣＢＣＴ画像ボリュームを含むことができる。当技術分野で知られているように、ＣＴ又はＣＢＣＴ画像ボリュームは、筋骨格構造を示すことができるが、患者の解剖学的構造内の神経構造を撮像することはできない。第２の訓練セットの画像ボリュームは、第１の訓練データセットのＭＲＩ画像ボリュームと同じセグメント化された筋骨格組織を含むことができる。換言すれば、第２のデータセットの画像ボリュームは、第１のデータセットと同じ患者の解剖学的構造の撮像領域に対応することができる。第２の訓練セットの画像ボリュームは、撮像されたボリューム内に存在する筋骨格構造を識別又はセグメント化するために注釈付けすることができる。

【0070】

ステップ１４４０において、第１のニューラルネットワークは、解剖学的共変動モデルを予測モデルとして使用して、ラベル付けされていないピクセルを分類して、第２の訓練データセットのラベル付けされた筋骨格構造に対応する神経構造の神経構造ラベルを生成することができる。ラベル付けされた筋骨格構造を有するＣＴ又はＣＢＣＴ画像ボリュームは、第１のニューラルネットワークに入力される。次いで、第１のニューラルネットワークは、画像データを分解又はフィルタリングし、セグメント化された筋骨格ピクセルを訓練された解剖学的共変動モデルと比較して、セグメント化された筋骨格ピクセルに対応する神経構造ピクセルを識別し、ラベル付けすることができる。次いで、第１のニューラルネットワークは、ＣＴ又はＣＢＣＴ入力ボリュームの以前に分類された筋骨格ピクセル上にオーバーレイされた、現在分類されている対応する神経構造を有する画像ボリュームを出力することができる。これは、図１３に見ることができ、ここでは、入力画像ボリューム１３２２はセグメント化された筋骨格組織を有する。第１のＵ－Ｎｅｔ１３２０は、入力１３２２を受け取り、ラベル付けされた対応する神経構造を有する出力１３３２を作り出すことができる。

【0071】

ここで、本発明の画像分析ツールの展開に移行すると、ステップ１４５０において、第２の予測モデルを使用して、生の画像ボリュームと対応する神経構造との間の関連付けを生成及び学習することができる。第２の予測モデルは、好ましくは第２のニューラルネットワークであり得、好ましくは第２のＵ－Ｎｅｔである。第２の予測モデルは、自動グレーレベルラベラとして構成され得る。当業者は、第２の予測モデルが、グレーレベルＣＢＣＴデータからＣＢＣＴボリュームを生成し、ラベル付けすることに限定されないことを認識するであろう。むしろ、本発明の第２の予測モデルは、本発明の第１のニューラルネットワーク、又は第１のＵ－Ｎｅｔが同じタイプの画像フォーマット上で訓練される限り、任意の既知のラベル付けされていない画像フォーマットを入力として取り、本明細書に開示されるシステム及び方法を使用して、撮像されたボリューム内に存在する解剖学的構造を生成及びラベル付けすることができる。

【0072】

図１３を参照すると、第２の予測モデル又は第２のＵ－Ｎｅｔ１３５０が、概略的に例解されている。第２の予測モデル又はＵ－Ｎｅｔは、ラベル付けされていない画像ボリューム１３５２を入力として受け取ることができる。ラベル付けされていない画像ボリュームは、グレーレベルＣＢＣＴスキャン、ラベル付けされていないＣＴスキャン、等であり得る。第２の予測モデル１３５０は、第１の予測モデル又はＵ－Ｎｅｔ１３２０の予測及び入力から生成されたグラウンドトゥルースピクセルラベル分類を使用することができる。換言すれば、第２の予測モデルは、ラベル付けされていない画像ボリュームを受け取り、訓練された第１の予測モデルを使用して、ラベル付けされていない画像ボリュームを分析して、撮像された解剖学的領域内に存在する神経構造に関連付けられたピクセルを分類することができる。追加的又は代替的に、第２の予測モデル又は第２のＵ－Ｎｅｔはまた、ラベル付けされていない入力ボリュームの筋骨格構造を識別し、ラベル付けすることができる。

【0073】

最後に、ステップ１４６０において、第２の予測モデルの出力は、分析及び使用のために表面モデルに変換され得る。第２の予測モデルの変換された出力は、自動的にセグメント化されたボリューム出力１３６２として図１３に見ることができる。第２の予測モデルは、神経構造及び筋骨格構造の両方をセグメント化することができる。例えば、図１３に示されるように、第２のＵ－Ｎｅｔ１３５０は、第１及び第２の腰筋筋肉１３６４、１３６８、第１及び第２の椎体１３７０、１３７２、並びに第１及び第２の神経構造１３７４、１３７６を自動的に識別及びモデル化することができる。一実施形態では、例えばマーチングキューブなどのセグメンテーションから表面モデルへの変換アルゴリズムを使用して、第２の予測モデル出力を表面モデルに変換することができる。上記で考察したように、表面モデルは、多くの異なる方法で使用することができる。例えば、本発明の画像分析ツールの表面モデル出力、より具体的には、第２の予測モデルの表面モデル出力は、コンピュータ支援ナビゲーション環境又はロボット外科手術システムと併せて使用することができる。代替的に、識別された神経構造を有する表面モデルは、術前計画において外科医によって使用され得る。

【0074】

いくつかの実施形態では、表示されたラベル付けされた画像ボリュームは、少なくとも１つの神経構造の場所に関する術中フィードバックに従って更新される。

【0075】

いくつかの実施形態では、外科用器具を使用して、少なくとも１つの神経構造の場所に関する術中フィードバックを提供し得る。

【0076】

いくつかの実施形態では、外科用器具は、補助神経位置特定システム、コンピュータ支援ナビゲーションシステム、監視プローブ、又はカメラのうちの１つである。

【0077】

いくつかの実施形態では、術中ＣＴ又はＣＢＣＴ患者スキャンを実行して、少なくとも１つの神経構造の場所に関する術中フィードバックを提供し得る。

【0078】

いくつかの実施形態では、患者別の外科手術計画は、ロボット外科手術システムに入力され得る。

【0079】

いくつかの実施形態では、安全なアクセスゾーンは、識別された少なくとも１つの神経構造の周囲で識別され得る。

【0080】

いくつかの実施形態では、画像分析ツールは、予測モデル及び患者表現型情報に基づいて、少なくとも１つの神経構造を識別する。

【0081】

いくつかの実施形態では、画像分析ツールを訓練して、外科的処置で使用するためのセグメント化されていない画像から少なくとも１つの神経構造を識別する方法は、第１の訓練データセットに注釈付けして、筋骨格構造及び神経構造を識別することと、第１の訓練データセットを第１のニューラルネットワークに入力して、解剖学的共変動モデルを訓練することと、第２の訓練データセットに注釈付けして、筋骨格構造を識別することと、第１のニューラルネットワークが、第２の訓練データセットの識別された筋骨格構造に対応する少なくとも１つの神経構造を出力するように、第２の訓練データセットを第１のニューラルネットワークに入力することと、を含む。

【0082】

いくつかの実施形態では、第１の訓練データセットは、少なくとも１つの高品質ＭＲＩボリュームを含み、第２の訓練データセットは、少なくとも１つのＣＴ又はＣＢＣＴボリュームを含む。

【0083】

いくつかの実施形態では、少なくとも１つのＣＴ又はＣＢＣＴボリュームは、少なくとも１つの高品質ＭＲＩボリュームと同じ筋骨格構造を含む。

【0084】

いくつかの実施形態では、第１の訓練データセットに対する変換を実行して、追加の訓練データセットを生成し得、追加の訓練データセットは、筋骨格構造及び神経構造を識別するために注釈付けされ得、追加の訓練データセットは、解剖学的共変動モデルを訓練するために第１のニューラルネットワークに入力され得る。

【0085】

いくつかの実施形態では、低侵襲外科的処置を実行する方法は、外科手術領域のセグメント化されていない患者スキャンを取得することと、画像分析ツールを使用してセグメント化されていないスキャンから外科手術領域内の神経構造を識別することと、識別された神経構造を使用して患者別の外科的アクセス計画を作成することと、患者別のアクセス計画に従って外科的アクセス処置を実行することと、を含む。

【0086】

いくつかの実施形態では、術中フィードバックが、識別された神経構造の位置決めに関して少なくとも１つの外科用器具から受け取られ得、患者別の外科的アクセス計画が、更新され得る。

【0087】

いくつかの実施形態では、識別された神経構造、外科用器具、及び患者位置のうちの少なくとも１つのリアルタイム位置決めが表示され得る。

【0088】

ここで図１８～図２２を概して参照すると、人工ニューラルネットワーク（artificial neural network、ＡＮＮ）及びニューラルネットワークという用語は、本明細書では互換的に使用され得る。ＡＮＮは、入力画像又は他の感知された情報に基づいて分類（例えば、オブジェクトのタイプ）を判定するように構成され得る。ＡＮＮは、人工ニューロン又はノードのネットワーク又は回路であり、予測モデリングのために使用され得る。

【0089】

予測モデルは、１つ又は２つ以上のニューラルネットワーク（例えば、深層ニューラルネットワーク、人工ニューラルネットワーク、又は他のニューラルネットワーク）、他の機械学習モデル、又は他の予測モデルであり得、及び／又はそれらを含み得る。

【0090】

人工ニューラルネットワークの開示された実装形態は、重みを適用し、関数を適用することによって入力データを変換し得、この変換はニューラル層である。関数は線形であってもよく、より好ましくは、ロジスティックシグモイド関数、Ｔａｎｈ関数、又はＲｅＬＵ関数などの非線形活性化関数であってもよい。１つの層の中間出力は、次の層への入力として使用され得る。ニューラルネットワークは、反復変換を通して、予測を行う最終層に組み合わせられ得る複数の層を学習する。この学習（すなわち、訓練）は、予測と期待値との間の差を最小化するように重み又はパラメータを変化させることによって実行され得る。いくつかの実施形態では、情報は、１つの層から次の層にフィードフォワードされ得る。これら又は他の実施形態では、ニューラルネットワークは、例えばニューラルネットワークを形成するメモリ又はフィードバックループを有し得る。いくつかの実施形態は、例えば、バックプロパゲーションを介して、パラメータを調整させ得る。

【0091】

ＡＮＮは、そのモデルの特徴によって特徴付けられ、特徴は、活性化関数、損失又はコスト関数、学習アルゴリズム、最適化アルゴリズム、などを含む。ＡＮＮの構造は、隠れ層の数、各隠れ層に含まれる隠れノードの数、入力特徴ベクトル、ターゲット特徴ベクトル、などを含む、いくつかのファクタによって判定され得る。ハイパーパラメータは、モデルパラメータの初期値と同様に、学習のために最初に設定される必要がある様々なパラメータを含み得る。モデルパラメータは、学習を通して判定しようとする様々なパラメータを含み得る。そして、ハイパーパラメータは学習前に設定され、モデルパラメータは学習を通じて設定されて、ＡＮＮのアーキテクチャを指定することができる。

【0092】

ＡＮＮの学習率及び精度は、ＡＮＮの構造及び学習最適化アルゴリズムだけでなく、そのハイパーパラメータにも依存する。したがって、良好な学習モデルを得るためには、ＡＮＮのための適切な構造及び学習アルゴリズムを選択することが重要であるが、適切なハイパーパラメータを選択することも重要である。

【0093】

ハイパーパラメータは、ノード間の重み及びバイアスの初期値、ミニバッチサイズ、反復回数、学習率、などを含み得る。更に、モデルパラメータは、ノード間の重み、ノード間のバイアス、などを含み得る。

【0094】

一般的に、ＡＮＮは、ハイパーパラメータを様々な値に実験的に設定することによって最初に訓練され、訓練の結果に基づいて、ハイパーパラメータは、安定した学習率及び精度を提供する最適値に設定され得る。

【0095】

図１８に描かれたシステム５におけるモデル６４のいくつかの実施形態は、ＣＮＮを含み得る。ＣＮＮは、入力層及び出力層、並びに複数の隠れ層を含み得る。ＣＮＮの隠れ層は、典型的には、乗算又は他のドット積で畳み込む一連の畳み込み層を含む。活性化関数は一般にＲｅＬＵ層であり、その後、プーリング層、完全接続層、及び正規化層などの追加の畳み込みが続き、これらの層の入力及び出力が活性化関数及び最終畳み込みによってマスクされるので隠れ層と呼ばれる。

【0096】

ＣＮＮは、前の層の受容野から来る入力値に特定の関数を適用することによって出力値を計算する。入力値に適用される関数は、重みのベクトル及びバイアス（典型的には実数）によって決定される。ニューラルネットワークにおける学習は、これらのバイアス及び重みに反復調整を行うことによって進行する。重みのベクトル及びバイアスはフィルタと呼ばれ、入力の特定の特徴（例えば、特定の形状）を表す。

【0097】

いくつかの実施形態では、モデル６４の学習は、強化タイプ、教師ありタイプ、半教師ありタイプ、及び／又は教師なしタイプであってもよい。例えば、これらのタイプのうちの１つを用いて学習される特定の予測のためのモデルが存在し得るが、他の予測のための別のモデルは、これらのタイプのうちの別のものを用いて学習され得る。

【0098】

教師あり学習は、例示的な入力－出力ペアに基づいて入力を出力にマッピングする関数を学習する機械学習タスクである。それは、訓練例のセットを含むラベル付けされた訓練データから関数を推論し得る。教師あり学習では、各例は、入力オブジェクト（典型的にはベクトル）と所望の出力値（教師信号）とからなるペアである。教師あり学習アルゴリズムは、訓練データを分析し、新しい例をマッピングするために使用することができる推論関数を作り出す。また、アルゴリズムは、見えないインスタンスのクラスラベルを正しく判定し得る。

【0099】

教師なし学習は、既存のラベルを有さないデータセットにおいて以前に未検出のパターンを探す機械学習のタイプである。通常、人間ラベル付けされたデータを利用する教師あり学習とは対照的に、教師なし学習は、主構成要素（例えば、元のデータセットに元の構造及び関係を保存しながら、高次元データセットの次元数を前処理及び低減するための）及びクラスタ分析（例えば、データにおける共通性を識別し、各新しいデータ片におけるそのような共通性の有無に基づいて反応する）を介さない。

【0100】

半教師あり学習は、教師あり及び教師なし技法を利用する。

【0101】

モデル６４は、検証セットと呼ばれるデータの基準セットに対して行われた予測を分析し得る。いくつかの使用事例では、検証セットに対して行われた予測の査定から生じる参照出力は、予測モデルへの入力として提供されてもよく、予測モデルは、その予測が正確であるかどうかを判定するために、検証セットデータに関して精度又は完全性のレベルを判定するために、又は他の判定を行うために、利用され得る。そのような判定は、それらの予測の精度又は完全性を改善するために予測モデルによって利用され得る。別の使用事例では、予測モデルの予測に関する精度又は完全性の指標は、予測モデルに提供され得、次いで、予測モデルは、精度又は完全性の指標を利用して、入力データに関する予測の精度又は完全性を改善し得る。例えば、ラベル付けされた訓練データセットは、モデル改善を可能にし得る。すなわち、訓練モデルは、データの検証セットを使用して、モデルにおいて使用するためのパラメータ／重みの最終セットに到達する時点まで、モデルパラメータにわたって反復し得る。

【0102】

いくつかの実施形態では、図１８に描かれた訓練構成要素３２は、１つ又は２つ以上の深層ニューラルネットワークを構築及び訓練するためのアルゴリズムを実装し得る。使用されるモデルは、このアルゴリズムに従い、既にデータ上で訓練されていてもよい。いくつかの実施形態では、訓練構成要素３２は、これら又は他のアルゴリズムを用いた成功したテストが実行された後、及びモデルが十分に大きいデータセットを提供された後、図１８に描かれた訓練データ６２上で深層学習モデルを訓練し得、更に高い精度を提供する。

【0103】

ニューラルネットワークを実装するモデルは、記憶装置／データベース６２の訓練データを使用して訓練され得る。訓練データは、多くの解剖学的属性を含み得る。例えば、図１８の予測データベース６０から得られたこの訓練データは、患者の集団又は他のグループの十分な表現を提供するために、死体又は生体の部分を記述する何百、何千、又は何百万もの情報片（例えば、画像、スキャン、又は他の感知されたデータ）を含み得る。データセットは、任意の好適な様式で、訓練、検証、及びテストセットの間で分割されてもよい。例えば、いくつかの実施形態は、画像又はスキャンの約６０％又は８０％を訓練又は検証のために使用してもよく、他の約４０％又は２０％は、検証又はテストのために使用されてもよい。別の例では、訓練構成要素３２は、ラベル付けされた画像をランダムに分割し得、訓練データ対テストデータの正確な比は全体にわたって変化する。満足のいくモデルが見つかったとき、訓練構成要素３２は、訓練データの９５％でそれを訓練し、残りの５％でそれを更に検証することができる。

【0104】

検証セットは、モデルの精度をテストするためにモデルから隠されたままにされている訓練データのサブセットであり得る。テストセットは、モデルの精度をテストするためにモデルにとって新しいデータセットであり得る。予測モデル６４を訓練するために使用される訓練データセットは、訓練構成要素３２を介して、データ記憶及び抽出の目的のために、ＳＱＬサーバ及びＰｉｖｏｔａｌ Ｇｒｅｅｎｐｌｕｍデータベースを活用し得る。

【0105】

いくつかの実施形態では、訓練構成要素３２は、例えば、予測データベース６０、電子記憶装置２２、外部リソース２４（例えば、センサ、スキャナ、又は別のデバイスを含み得る）、ネットワーク７０、及び／又はＵＩデバイス１８を介して、任意の適切なソースから訓練データを得るように構成され得る。訓練データは、キャプチャされた画像、匂い、光／色、形状サイズ、雑音若しくは他の音、及び／又は感知された情報の他の離散インスタンスを含み得る。

【0106】

いくつかの実施形態では、訓練構成要素３２は、１つ又は２つ以上の予測モデルが訓練されることを可能にし得る。ニューラルネットワークの訓練は、いくつかの反復を介して実行されてもよい。各訓練反復について、ニューラルネットワークの分類予測（例えば、層の出力）が判定され、対応する既知の分類と比較され得る。例えば、動的及び／又は静的物体を含む閉鎖環境をキャプチャすることが知られている感知されたデータは、予測モデルが、ユーザが当該物体に到達又は回避するための経路を適切に予測し得るかどうかを判定するために、訓練又は検証中に、ニューラルネットワークに入力され得る。したがって、ニューラルネットワークは、訓練データの少なくとも一部を入力特徴空間として受け取るように構成されている。一度訓練されると、モデルは、図１８に示されるように、予測データベース６０のデータベース／記憶装置６４に記憶され、次いで、可視属性に基づいて画像又はスキャンのサンプルを分類するために使用され得る。

【0107】

図１８の電子記憶装置２２は、情報を電子的に記憶する電子記憶媒体を含む。電子記憶装置２２の電子記憶媒体は、システム５と一体的に（すなわち、実質的に非リムーバブルに）提供されるシステム記憶装置、及び／又は、例えば、ポート（例えば、ＵＳＢポート、ファイヤワイヤポート、等）若しくはドライブ（例えば、ディスクドライブ、等）を介してシステム５にリムーバブルに接続可能なリムーバブル記憶装置を備えてもよい。電子記憶装置２２は、（全体的に又は部分的に）システム５内の別個の構成要素であってもよく、又は電子記憶装置２２は、（全体的に又は部分的に）システム５の１つ又は２つ以上の他の構成要素（例えば、ユーザインターフェース（user interface、ＵＩ）デバイス１８、プロセッサ２１、等）と一体的に提供されてもよい。いくつかの実施形態では、電子記憶装置２２は、プロセッサ２１とともにサーバ内に、外部リソース２４の一部であるサーバ内に、ＵＩデバイス１８内に、及び／又は他の場所に位置してもよい。電子記憶装置２２は、メモリコントローラと、光学的に読み取り可能な記憶媒体（例えば、光ディスク、等）、磁気的に読み取り可能な記憶媒体（例えば、磁気テープ、磁気ハードドライブ、フロッピードライブ、等）、電荷ベースの記憶媒体（例えば、ＥＰＲＯＭ、ＲＡＭ、等）、ソリッドステート記憶媒体（例えば、フラッシュドライブ、等）、及び／又は他の電子的に読み取り可能な記憶媒体のうちの１つ又は２つ以上とを備え得る。電子記憶装置２２は、ソフトウェアアルゴリズム、プロセッサ２１によって得られた、及び／又は判定された情報、ＵＩデバイス１８及び／又は他の外部コンピューティングシステムを介して受け取った情報、外部リソース２４から受け取った情報、及び／又はシステム５が本明細書で説明されるように機能することを可能にする他の情報を記憶し得る。

【0108】

外部リソース２４は、情報のソース（例えば、データベース、ウェブサイト、等）、システム５に参加する外部エンティティ、システム５の外部の１つ又は２つ以上のサーバ、ネットワーク、電子記憶装置、Ｗｉ－Ｆｉ技術に関連する機器、Ｂｌｕｅｔｏｏｔｈ（登録商標）技術に関連する機器、データ入力デバイス、電源（例えば、バッテリ給電又は１１０ボルトＡＣに直接、又はＡＣ／ＤＣ変換を介して間接的になど、ライン電力接続された）、送信／受信要素（例えば、無線信号を送信及び／又は受信するように構成されたアンテナ）、ネットワークインターフェースコントローラ（network interface controller、ＮＩＣ）、ディスプレイコントローラ、グラフィックス処理ユニット（graphics processing unit、ＧＰＵ）、及び／又は他のリソースを含み得る。いくつかの実装形態では、本明細書で外部リソース２４に帰する機能の一部又は全部は、システム５に含まれる他の構成要素又はリソースによって提供され得る。プロセッサ２１、外部リソース２４、ＵＩデバイス１８、電子記憶装置２２、ネットワーク、及び／又はシステム５の他の構成要素は、ネットワーク（例えば、ローカルエリアネットワーク（local area network、ＬＡＮ）、インターネット、広域ネットワーク（wide area network、ＷＡＮ）、無線アクセスネットワーク（radio access network、ＲＡＮ）、公衆交換電話網（public switched telephone network、ＰＳＴＮ）、等）、セルラー技術（例えば、ＧＳＭ、ＵＭＴＳ、ＬＴＥ、５Ｇ、等）、Ｗｉ－Ｆｉ技術、別の無線通信リンク（例えば、無線周波数（radio frequency、ＲＦ）、マイクロ波、赤外線（infrared、ＩＲ）、紫外線（ultraviolet、ＵＶ）、可視光、ｃｍ波、ｍｍ波、等）、基地局、及び／又は他のリソースなどの有線及び／又は無線接続を介して互いに通信するように構成され得る。

【0109】

システム５のＵＩデバイス１８は、１人又は２人以上のユーザとシステム５との間のインターフェースを提供するように構成され得る。ＵＩデバイス１８は、１人又は２人以上のユーザに情報を提供し、及び／又は１人又は２人以上のユーザから情報を受け取るように構成されている。ＵＩデバイス１８は、ＵＩ及び／又は他の構成要素を含む。ＵＩは、システム５の特定の機能に関する入力及び／又は選択を受け取るように構成されたビュー及び／又はフィールドを提示するように構成されたグラフィカルＵＩであってもよく、及び／又はそれを含んでもよく、並びに／又は他の情報を提供及び／又は受け取ってもよい。いくつかの実施形態では、ＵＩデバイス１８のＵＩは、プロセッサ２１及び／又はシステム５の他の構成要素に関連付けられた複数の別個のインターフェースを含み得る。ＵＩデバイス１８に含まれるのに適したインターフェースデバイスの例は、タッチスクリーン、キーパッド、タッチセンサ式及び／又は物理的ボタン、スイッチ、キーボード、ノブ、レバー、ディスプレイ、スピーカ、マイクロフォン、インジケータライト、可聴アラーム、プリンタ、及び／又は他のインターフェースデバイスを含む。本開示はまた、ＵＩデバイス１８が、リムーバブル記憶装置インターフェースを含むことを企図する。この例では、情報は、ユーザがＵＩデバイス１８の実装形態をカスタマイズすることを可能にするリムーバブル記憶装置（例えば、スマートカード、フラッシュドライブ、リムーバブルディスク）からＵＩデバイス１８にロードされ得る。

【0110】

いくつかの実施形態では、ＵＩデバイス１８は、ＵＩ、処理能力、データベース、及び／又は電子記憶装置をシステム５に提供するように構成されている。したがって、ＵＩデバイス１８は、プロセッサ２１、電子記憶装置２２、外部リソース２４、及び／又はシステム５の他の構成要素を含み得る。いくつかの実施形態では、ＵＩデバイス１８は、ネットワーク（例えば、インターネット）に接続される。いくつかの実施形態では、ＵＩデバイス１８は、プロセッサ２１、電子記憶装置２２、外部リソース２４、及び／又はシステム５の他の構成要素を含まないが、代わりに、専用ライン、バス、スイッチ、ネットワーク、又は他の通信手段を介してこれらの構成要素と通信する。通信は、無線であっても有線であってもよい。いくつかの実施形態では、ＵＩデバイス１８は、ラップトップ、デスクトップコンピュータ、スマートフォン、タブレットコンピュータ、及び／又は他のＵＩデバイスである。

【0111】

データ及びコンテンツは、いくつかの通信プロトコルのうちのいずれか１つを使用して、通信インターフェース及び通信経路を通して、システム５の種々の構成要素間で交換され得る。一例では、データは、例えば、ＴＣＰ／ＩＰとも呼ばれるインターネットプロトコルスイートを使用して、パケット交換インターネットワークを介してデータを通信するために使用されるプロトコルを使用して交換され得る。データ及びコンテンツは、データグラム（又はパケット）を使用して、それらのアドレスのみに基づいて、ソースホストから宛先ホストに配信され得る。この目的のために、インターネットプロトコル（Internet Protocol、ＩＰ）は、データグラムカプセル化のためのアドレス指定方法及び構造を定義する。当然ながら、他のプロトコルが使用されてもよい。インターネットプロトコルの例には、インターネットプロトコルバージョン４（Internet Protocol version 4、ＩＰｖ４）及びインターネットプロトコルバージョン６（Internet Protocol version 6、ＩＰｖ６）が含まれる。

【0112】

いくつかの実施形態では、プロセッサ２１は、ユーザデバイス、家庭用電子機器、携帯電話、スマートフォン、パーソナルデータアシスタント、デジタルタブレット／パッドコンピュータ、ウェアラブルデバイス（例えば、時計）、ＡＲゴーグル、ＶＲゴーグル、反射型ディスプレイ、パーソナルコンピュータ、ラップトップコンピュータ、ノートブックコンピュータ、ワークステーション、サーバ、高性能コンピュータ（high performance computer、ＨＰＣ）、車両（例えば、ダッシュボード内又は車若しくは飛行機の着座者の前などの埋め込みコンピュータ）、ゲーム若しくはエンターテインメントシステム、セットトップボックス、モニタ、テレビ（television、ＴＶ）、パネル、宇宙船、又は任意の他のデバイスの一部（例えば、同じ又は別個のハウジング内の）を形成してもよい。いくつかの実施形態では、プロセッサ２１は、システム５において情報処理能力を提供するように構成される。プロセッサ２１は、デジタルプロセッサ、アナログプロセッサ、情報を処理するように設計されたデジタル回路、情報を処理するように設計されたアナログ回路、状態機械、及び／又は情報を電子的に処理するための他の機構のうちの１つ又は２つ以上を備え得る。プロセッサ２１は、単一のエンティティとして図１８に示されているが、これは例解の目的だけのものである。いくつかの実施形態では、プロセッサ２１は、複数の処理ユニットを備えてもよい。これらの処理ユニットは、同じデバイス（例えば、サーバ）内に物理的に位置してもよく、又はプロセッサ２１は、協調して動作する複数のデバイス（例えば、１つ又は２つ以上のサーバ、ＵＩデバイス１８、外部リソース２４の一部であるデバイス、電子記憶装置２２、及び／又は他のデバイス）の処理機能を表してもよい。

【0113】

図１８に示すように、プロセッサ２１は、機械可読命令を介して、１つ又は２つ以上のコンピュータプログラム構成要素を実行するように構成されている。コンピュータプログラム構成要素は、情報構成要素３１、訓練構成要素３２、予測構成要素３４、注釈構成要素３６、軌道構成要素３８、及び／又は他の構成要素のうちの１つ又は２つ以上を含み得る。プロセッサ２１は、ソフトウェア、ハードウェア、ファームウェア、ソフトウェア、ハードウェア、及び／若しくはファームウェアの何らかの組み合わせ、並びに／又はプロセッサ２１上の処理能力を構成するための他の機構、によって構成要素３１、３２、３４、３６、及び／又は３８を実行するように構成され得る。

【0114】

構成要素３１、３２、３４、３６、及び３８は、単一の処理ユニット内に同じ場所に位置するものとして図１８に例解されているが、プロセッサ２１が複数の処理ユニットを備える実施形態では、構成要素３１、３２、３４、３６、及び／又は３８のうちの１つ又は２つ以上は、他の構成要素から離れて位置してもよいことを理解されたい。例えば、いくつかの実施形態では、プロセッサ構成要素３１、３２、３４、３６、及び３８の各々は、別個の、かつ異なるプロセッサのセットを備え得る。以下に説明する異なる構成要素３１、３２、３４、３６、及び／又は３８によって提供される機能の説明は、例解を目的としたものであり、限定することを意図したものではなく、構成要素３１、３２、３４、３６、及び／又は３８のいずれも、説明されているよりも多い又は少ない機能を提供し得る。例えば、構成要素３１、３２、３４、３６、及び／又は３８のうちの１つ又は２つ以上が除去されてもよく、その機能のうちの一部又は全部が他の構成要素３１、３２、３４、３６、及び／又は３８によって提供されてもよい。別の例として、プロセッサ２１は、以下で構成要素３１、３２、３４、３６、及び／又は３８のうちの１つに帰する機能の一部又は全部を実行し得る１つ又は２つ以上の追加の構成要素を実行するように構成されてもよい。

【0115】

開示されたアプローチは、神経及び骨構造などの臨床的に関連する情報を用いてリアルタイムでカメラ画像を拡張するための高度な撮像ソリューション及びシステムに関する。システム５の出力は、リアルタイム関連構造においてオーバーレイされたカメラ画像であってもよい。ユーザは、どのレベルの情報／精緻化が必要とされ得るかを選択し得る。オーバーレイは、解剖学的構造のＲＯＩの信頼区間に基づいて実行され得る。信頼区間は、アクセスの前に利用可能な情報に基づいて判定され得、次いで、新しい情報が術中に利用可能になるにつれて、例えば、カメラがポート内で前進させられるにつれて、推定されたＲＯＩを狭めるように更新され得る。図２０Ａは、システムモニタ上に表示される例示的な出力である。

【0116】

いくつかの実施形態では、信頼区間は、上述の信頼区間５０と同様又は同じであってもよい。そして、各々は、解剖学的構造が実際にあると予測されるものであることをシステム５がどの程度確信しているかを符号化し得る。例えば、注釈構成要素３６は、移行ゾーン又はマージンをオーバーレイしてもよく、又は緑色が最高信頼度を示す色分けされたブルズアイに注釈付けしてもよい。また、カメラ画像内のＫａｍｂｉｎの三角形５３の存在に注釈付けするとき、三角形の境界が外側に延在するにつれて、それはより赤くなってもよい。赤色部分は、依然としてＫａｍｂｉｎの三角形５３の近くにあるが、そのケースであることの信頼度がより低い可能性があることを表してもよい。神経根又は他の構造を示すとき、同じ又は同様のアプローチが実行され得る。例えば、注釈構成要素３６は、神経の中心が１００％の信頼度でどこにあるかを示し得、しかし、境界は、外側に延在するときに、外観が変化してもよく、増加した疑わしさを示す。

【0117】

図１９Ａは、脊柱の側面図であり、脊柱は、一連の椎体又は代替的な椎骨と、身体の上側部分に軸線方向の支持及び動きを提供する線維性椎間板とを備える。脊柱は、典型的には、７個の頸椎（Ｃ１～Ｃ７）、１２個の胸椎（Ｔ１～Ｔ１２）、５個の腰椎（Ｌ１～Ｌ５）、５個の癒合仙椎（Ｓ１～Ｓ５）、及び４個の癒合尾椎を伴う、３３個の椎骨１１を含む。

【0118】

図２０Ｂは、Ｋａｍｂｉｎの三角形５３の概略図である。Ｋａｍｂｉｎの三角形５３は、任意の多角形又は形状（例えば、三角形、又は一般化若しくは近似による三角形のみ）であり得る。Ｋａｍｂｉｎの三角形５３は、脊椎手術のための後外側アクセスの部位であり得る。これは、背側から見た椎間板上の直角三角形として定義することができる。斜辺は出て行く神経根１９であり得、底辺は下椎骨の上縁又は終板であり得、高さは横断する神経根２３又はＳＡＰ５２であり得る。椎間板は、外科用器具又はインプラントが脊柱のこの領域に導入され得るように、下椎骨の一部分が取り外される椎間孔形成術を実行することによって、この領域を通してアクセスされ得る。例えば、システム５は、Ｋａｍｂｉｎの三角形５３にアクセスし、それを通して拡張可能インプラントを埋め込むために使用されてもよい。このような処置では、出て行く神経根１９及び横断する神経根２３を保護することがしばしば望まれる。

【0119】

椎間板は、例えば、神経を保護しながら内視鏡椎間孔形成術を実行することによって、Ｋａｍｂｉｎの三角形５３を通してアクセスされ得る。Ｋａｍｂｉｎの三角形５３を通して椎間板にアクセスするために椎間孔形成術を利用することは、当該技術分野において典型的に行われるような後方又は前方から椎間板にアクセスすることと比較して、いくつかの利点（例えば、患者への外傷がより少ない又は低減される）を有することができる。特に、後方アクセスを伴う外科的処置は、椎間関節の取り外しを必要とすることが多い。例えば、ＴＬＩＦは、典型的には、椎間板への拡大されたアクセス経路を作成するために、１つの椎間関節の取り外しを伴う。椎間関節の取り外しは、患者にとって非常に痛みを伴う可能性があり、回復時間の増加に関連付けられている。対照的に、Ｋａｍｂｉｎの三角形５３を通して椎間板にアクセスすることは、有利には、椎間関節を取り外す必要性を回避し得る。

【0120】

内視鏡椎間孔形成術は、椎間関節の取り外しを伴わずに、椎間板への拡大されたアクセスを提供し得る。椎間関節を温存することは、外科的処置に関連付けられた患者の疼痛及び失血を低減し得る。加えて、椎間関節を温存することは、有利には、支持のために椎間関節を利用する、ある後方固定デバイス（例えば、経椎間関節ねじ、経椎弓根ねじ、及び／又は椎弓根ねじ）の使用を可能にすることができる。このようにして、このような後方固定デバイスは、Ｋａｍｂｉｎの三角形５３を通して挿入される椎体間デバイスと組み合わせて使用することができる。

【0121】

例示的な腰椎では、包膜嚢は円形であり得る。一部の患者では、包膜嚢は、例えば、上関節突起があり得る、Ｋａｍｂｉｎの三角形５３の垂直辺を形成し得る。また、上終板椎骨は、当該三角形の水平辺又は底辺を形成してもよい。包膜嚢は、脊髄及び馬尾根並びにいくつかの遊離くも膜下血管が自由に浮遊する脳脊髄液で満たされ得る。

【0122】

椎骨終板は、椎体と椎間板とが互いに接合する移行領域であり得る。直角を形成するＫａｍｂｉｎの三角形５３の部分は、椎間孔形成術の境界（例えば、ＳＡＰ５２が存在し得る場所）であり得る。

【0123】

いくつかの実施形態では、注釈構成要素３６は、キャプチャされた画像の各ピクセルを、それが神経、Ｋａｍｂｉｎの三角形、又は他の構造を表すかどうかに関して示し得る。例えば、予測構成要素３４は、ピクセルがＫａｍｂｉｎの三角形５３を表す確率が９０％であり、ピクセルが神経根１９を表す確率が６０％であることを示すことができる。この例では、注釈構成要素３６は、次いで、そのピクセル又は領域をＫａｍｂｉｎの三角形として肯定的に注釈付けすることを判定するとき、これらの２つの確率のうちの最大値をとり得る。代替的に、予測が正確である信頼性のレベルを視覚的に表すために色（例えば、赤及び緑）を混合するカラーコードがあってもよい。この注釈アプローチに関係なく、アクセスを得たとき、及びその中でカメラ５１を前進させるときに、表現をリアルタイムで更新し得る。

【0124】

いくつかの実施形態では、モデル６４は、（ｉ）椎体及び椎孔、（ｉｉ）神経根、並びに（ｉｉｉ）骨のランドマークの３つ全てを出力する単一のＣＮＮ又は別のニューラルネットワークであってもよい。他の実施形態では、３つのネットワークが存在してもよく、その各々は、それらの３つの異なるタイプの解剖学的構造のうちの１つを出力する。したがって、セマンティックセグメンテーションは、企図されるアプローチである。クラス確率は、当該３つの異なるタイプの各構造について予測され得る。各ピクセルに対して、例えば、８０％がＫａｍｂｉｎの三角形５３であり、１０％が上関節突起（superior articular process、ＳＡＰ）５２であり、１０％が出て行く神経根１９である確率が存在してもよく、その場合、注釈はＫａｍｂｉｎの三角形を示す。検出は、形状事前分布を活用することによって更に向上させることができ、例えば、Ｋａｍｂｉｎの三角形を表すピクセルを三角形に似るようにグループ化することができる。

【0125】

いくつかの実装形態では、図１８に描かれたＣＴ５５及び／又はＭＲＩ５６からの術前スキャンは、ある時間（例えば、１ヶ月）前に撮影されている可能性があり、それは、ＲＯＩが既に変化している可能性があるため重要であり得、及び／又は手術中の患者位置は、スキャン中とは異なり、スキャンをいくらか古くする可能性がある。そして、ツール及び／又は医師がシーンにアクセスすると、ＲＯＩが操作されことになる。カメラ５１からキャプチャされた画像は、したがって、ＣＴ及び／又はＭＲＩスキャンがそこで予想されるものを単に示すのとは対照的に、実際にＲＯＩにあるもののアンカーとしての役割を果たし得る。

【0126】

いくつかの実施形態では、予測構成要素３４は、例えば、ＣＴスキャンのみを用いて予測し、次いで、リアルタイムでカメラ５１からキャプチャされた画像に基づいて予測又は再予測を調整することによって、患者に基づいて予測を適応させ得る。したがって、これらの画像は、以前に撮影された患者のスキャンとともに使用され得る。例えば、ＣＴ５５からのスキャンは、ＲＯＩを判定するのを助けることができ、次いで、カメラ５１の使用を開始するとき、Ｋａｍｂｉｎの三角形５３の場所の予測をリアルタイムで更新することができる。この例又は別の例では、向きが変化してもよい。そのような術前スキャンでは、Ｋａｍｂｉｎの三角形５３を識別するために、及び／又はカメラ５１並びに／若しくはインプラントが取り付けられ得る前進器具の軌道を調整するために活用され得るより多くの情報が存在し得る。

【0127】

いくつかの実施形態では、軌道構成要素３８は、前進の軌道が基準を満たすかどうかを判定し得る。次いで、この構成要素は、軌道が基準を満たさなかったという判定に応答して、基準が満たされるように軌道を調整し得る。

【0128】

本明細書では、カメラ画像のみから解剖学的構造を認識又は検出する実施形態が企図されるが、ＣＴ及び／又はＭＲＩスキャンは、当該認識又は検出の精度を向上させるために使用され得るより多くの情報を提供することによって（例えば、相対的な向き及びサイズで）役立つ。例えば、神経根１９、２３は、キャプチャされた画像に対応するＭＲＩスキャンを使用して識別され得、モデル６４は、以前に撮影されたＭＲＩスキャンにおいて識別された神経根構造に基づいてラベル付けされた、グラウンドトゥルースを含む訓練データを用いて訓練される。

【0129】

第１のセットの実施形態では、予測構成要素３４は、カメラ５１及びＣＮＮ又はＵ－Ｎｅｔのみを使用して、１つ又は２つ以上の解剖学的構造（例えば、Ｋａｍｂｉｎの三角形、神経構造、及び／又は骨構造）の存在を予測し得る。第２のセットの実施形態では、解剖学的構造の予測は、ＭＲＩ５６及びＣＴ５５のうちの少なくとも１つからの少なくとも１つの術前スキャンを使用して実行され得る。また、ナビゲートされるカメラを有する第３のセットの実施形態では、予測は、二次元（two-dimensional、２Ｄ）ＣＴ（例えば、Ｃアーム５４）からの出力を使用して実行され得る。第３のセットの実施形態では、予測構成要素３４は、２Ｄから３Ｄへの画像再構成を使用して、Ｋａｍｂｉｎの三角形及び／又は骨ランドマークを識別し得る。注釈構成要素３６は、次いで、カメラ画像上に識別の表現をオーバーレイし得る。したがって、較正ターゲット又はナビゲートされたＣアームを使用して、患者の表現型に応じてアトラス又は統計的形状モデルに基づいてＫａｍｂｉｎの三角形を予測し得る。

【0130】

これらの実施形態のうちの１つ又は２つ以上において、事前知識を有する専門家又は外科医は、前もって訓練データの画像に注釈又はラベル付けし（例えば、どの外科医が解剖学的構造の場所を示すことを既に構築したか）、例えば、他のサンプルの統計的セットから直接学習して、次いでそれに基づいて構築してもよい。注釈付けされた画像は、様々なレベルの組織浸透又は生物学的利用能を有し得る。訓練されると、これらの実施形態のモデル６４は、キャプチャされた画像内のこれらの構造の存在を予測するために使用され得、各々は、これらの構造の周囲の対応する信頼区間を有する。アクセス中により多くの画像が利用可能になるにつれて、これらの構造の境界が狭められ得る。

【0131】

いくつかの実施形態では、軌道構成要素３８は、カメラ画像及び様々なランドマークを使用して、向き情報及び補正を提供し得る（例えば、ナビゲートされていないとき）。例えば、カメラの向きが医療処置中に変更される場合、この構成要素は、画像のランドマークの回転を分析し、一定の姿勢を維持することによって、同じ視野を保ち得る。カメラが回転すると、予測構成要素３４は、他のどこかの構造を検出し得、次いで、軌道構成要素３８は、その姿勢を保つためにカメラ５１がどれだけ回転されたかを推測し得る。カメラがナビゲートされる実施形態では、その時、軌道構成要素３８は、適切な補正を実行するためにシーンがどれだけ回転されたかを既に知っていることがある。

【0132】

いくつかの実施形態では、情報構成要素３１は、ＲＯＩがどのようにアクセスされたかについての情報を記憶して、次いでそれから学習し得る（例えば、モデルパラメータとして、又はハイパーパラメータ調整のために）。これら又は他の実施形態では、３Ｄ ＣＴスキャンは、モデル６４の訓練を実行するために、以前の骨の解剖学的構造情報の使用を可能にし得る。モデル６４によって実装されるＣＮＮは、セグメンテーションを実行し得る。このセグメンテーションは、ＣＴスキャンを介した脊柱構造のものであってもよい。セグメンテーションは、例えば、Ｋａｍｂｉｎの三角形５３が特定の構造の下又は上にあると疑われる場合に、これらの構造の検出に役立つ。したがって、カメラ５１の画像内にあるもののコンテキストが判定され得、当該三角形の改善された検出の確率を増加させる。

【0133】

いくつかの実施形態では、患者人口統計情報（例えば、サイズ、体重、性別、骨の健康、又は別の属性）及びどのレベルが腰部であり得るか（例えば、Ｌ１、Ｌ２対Ｌ４、Ｌ５）は、訓練構成要素３２及び／又は予測構成要素３４を介して得られてもよい。これらの属性は、性能を改善するのを助けるために、モデルパラメータとして、又はハイパーパラメータ調整において役立ち得る。

【0134】

上述したように、モデル６４のＣＮＮのいくつかの実施形態は、入力として（すなわち、訓練のために、及び展開時に）カメラ画像のみを有してもよく、例えば、外科医はグラウンドトゥルース注釈を実行する。しかし、他の実施形態は、カメラ画像、いくつかの高レベル情報、及び当該入力のためのＣＴスキャン（及び場合によっては更にＭＲＩスキャンを使用する）を有してもよく、例えば、３Ｄ ＣＴスキャンセグメンテーション結果をグラウンドトゥルースとして使用する。これらの実施形態からのオーバーレイされた出力（例えば、図２０Ａに示されるような）は、類似し得るが、後者では、他の実施形態は、セグメンテーション情報を有することに起因して、外科医がラベリングすることをもはや必要とせずに、より正確な予測を有する。換言すれば、ＣＴスキャンは、ＣＮＮを介して、Ｋａｍｂｉｎの三角形５３を自動的に検出して、次いで、カメラ画像を使用してその学習をＣＮＮに転送するのに十分良好であり得る。

【0135】

いくつかの実施形態では、ＣＴスキャンを使用して実行される学習のための注釈は、教師あり、教師なし、又は半教師ありであり得る。

【0136】

いくつかの実施形態では、注釈構成要素３６は、例えば、Ｋａｍｂｉｎの三角形５３への接近中に撮影されたカメラ５１からの画像のセット（例えば、１つ又は２つ以上）に基づいて、解剖学的構造がどこに位置するか（例えば、図２０Ａの例に表示された領域又は別のＲＯＩ）を示すＵＩを医師に提供することができる。これら又は他の実施形態では、軌道構成要素３８は、軌道にどのような変更を行う必要があるかを（例えば、医師に知らせるために）判定することができ、結果として、Ｋａｍｂｉｎの三角形５３に向かう改善された軌道が達成され得る。いずれの実施形態においても、開示される人工知能の実装形態は、Ｋａｍｂｉｎの三角形５３を識別する際の改善された精度を介して、外科用機器の効率及び安全性を改善し得る。例えば、患者を危険にさらす（例えば、神経に接触するとき）外科用器具の不必要で誤った動きが回避され得る。

【0137】

いくつかの実施形態では、軌道構成要素３８は、画像をキャプチャしたデバイスから識別された三角形までの現在の距離を判定し、継続的に更新し得る。これら又は他の実施形態では、軌道構成要素３８は、識別された三角形に向かって前進する拡張器の位置を判定し得る。画像は、拡張器の側面に取り付けられた、カメラ、電荷結合素子（charge coupled device、ＣＣＤ）、及び光学センサのうちの少なくとも１つを介してキャプチャされ得る。

【0138】

いくつかの実施形態では、注釈構成要素３６は、Ｋａｍｂｉｎの三角形５３、ＳＡＰ５２、及び神経１９のうちの少なくとも１つをほぼリアルタイムで示すことができる。図２０Ａの例に示されるように、境界は、カメラ画像上でより太い線で示され得、これらの構造の各々を示すテキストが、同様にその上に注釈付けされ得る。代替的に、ピクセル又は他のマークを使用して構造を区別してもよい。ユーザは、ＵＩデバイス１８を介して、何が強調されるべきか、及びそのような代表的な強調がどのように実行されるべきかを選択し得る。例えば、そのようなユーザ構成可能な注釈付けは、ＳＡＰ境界（又は神経若しくはＫａｍｂｉｎの三角形の境界）及び／又は対応するテキストをオプションにしてもよい。

【0139】

いくつかの実施形態では、軌道構成要素３８は、ＳＡＰ５２、上終板椎骨、及び／又は解剖学的ランドマークとして作用し得るＲＯＩ内の別の構造の相対的な場所に基づいて、神経に接触することなく、ツールをＫａｍｂｉｎの三角形５３に向かって、又はそれを通して前進させる方法を識別し得る。ＣＴスキャンから、ＳＡＰ５２の存在、脊髄のレベル、及び／又は他の骨ランドマークを予測することができ、これらの各々は、特定の場所のセットで予測される。そして、ＭＲＩスキャンから、神経根１９、２３は、特定の場所に存在すると予測され得る。Ｋａｍｂｉｎの三角形５３を識別するために、例えば、神経１９、ＳＡＰ５２、及び上終板椎骨を含む３つの辺の存在が予測され得る。

【0140】

いくつかの実施形態では、カメラ５１は、血液供給、動脈、神経、などに関する情報を視覚的に得るために、ハイパースペクトル又はマルチスペクトル撮像（すなわち、単なる白色光以外の波長に対して）を実行してもよい。これらの他の波長についての情報をオーバーレイすることは、ユーザにとってオプションであってもよい。

【0141】

いくつかの実施形態では、軌道構成要素３８は、拡張器がＫａｍｂｉｎの三角形５３に向かって前進するときに拡張器の位置を識別し、それらの画像に基づいて医師にフィードバックを与えることができる。本明細書では、医師は、人間ベースの手術、コンピュータ使用と人間の手術との組み合わせ、又は純粋な自動化を指す場合がある。

【0142】

いくつかの実施形態では、カメラ５１は、Ｋａｍｂｉｎの三角形５３及び神経を含む解剖学的構造を識別又は発見するために、開創器（例えば、Ｆｏｘテロゲン又は別の器具）の先端に取り付けられてもよい。

【0143】

いくつかの実施形態では、カメラ５１は、開創器であるアクセスチューブ上に取り付けられ又は統合されてもよい。そして、別の内視鏡又は別の器具を挿入するときに作業空間が使用されないように、その先端に灌注吸引があってもよい。したがって、カメラ５１は、ポート自体に組み込まれてもよい。図２０Ａに関して実証できるように、カメラ５１は既に開創器固定具上にあり、その側面に埋め込まれていてもよい。図２０Ａでは、カメラは下中央に位置しており、上を向いている。

【0144】

一実装形態では、拡張器及びアクセスカニューレは、Ｋａｍｂｉｎの三角形５３まで挿入され得るが、それを通過しない場合がある。ディスククリーナはそこを通過し得、次いでディスクを洗浄する。その１つ又は２つ以上の態様又はプローブの他の構造は、拡張器ポート又はＫａｍｂｉｎの三角形５３の周囲の骨にドッキングしてもよい。

【0145】

いくつかの実施形態では、カメラ５１は、ナビゲートされ得る（例えば、ＣＴスキャン及びポート／カメラが位置合わせされる）。例えば、カメラのナビゲーションは、ポートがある空間内で知るために、リアルタイムで追跡され得る。すなわち、これは、全てが互いに対してどこにあるかを知り、視点がどこからであるかを知るために、術前画像に位置合わせされ得る。上述したように、カメラ５１は、ポートの側面上又は拡張器の側面上にあってもよい。これは、作業チャネルがカメラから（例えば、数ミリメートルだけ）オフセットされることを知って、補償され得る。例えば、これらは約３０度であってもよい。０度及び３０度の内視鏡があってもよく、３０度のものは角の周りを示す。

【0146】

前方を見ているとき、その角度が何であるか、及び作動距離の何らかの良いアイデアを正確に知っているとき、補正され得る何らかの歪みがあり得る。したがって、カメラ５１から提供される画像は、画像の中心が実際に作業チャネルを通るように、歪められたカメラ場所に基づいている場合があり、画像処理パイプラインを介して実行されるいくつかのソフトウェア補正があり得る。いくつかの実装形態では、側面から見るとき、ユーザは、角度によって、カメラが遠く離れるほど、上部（例えば、図２０Ａの上側部分）によりたくさんの歪みを得ることがある。しかし、この大部分は、補正され得る。補正される場合、ユーザには全てが中央にあるように見えることがある。補正されない場合、中央から外れていることによるレンズ効果があり得る。これは、情報の損失を引き起こし得ず、むしろ、異なるエリアを表す異なるピクセルが存在するだけである。これは魚眼歪みとして知られており、補正され得る。

【0147】

ＣＴ５５を備える実装形態では、患者は、スキャン時にテーブル上に横たわっている可能性がある。その後、数日又は数週間後に手術時間が来て、彼らは、カメラ５１を入れるときに異なる位置に横たわっている可能性がある。例えば、小さなデバイスが近くに置かれ、次いで、腰部領域（例えば、Ｌ５－Ｓ１エリア）にねじ込まれ得る。迅速なＣＴスキャンが実行され得、次いで、挿入された器具は、ＣＴスキャンにおいてポップアップする反射器を有し得、器具が空間内のどこにあるかを正確に知るカメラが手術室内にある場合もある。したがって、患者、画像、又はデバイスは、例えば、カメラの画像を以前に撮影されたスキャンからの座標系と整列させることによって、位置合わせされ得る。位置合わせは更に、スキャナ及び基準アレイ又はマーカを用いて実行されてもよい。脊柱の柔軟な性質は、移動のリスクを増加させ、それによって不正確さを増加させ得、精度を改善するためのナビゲーションが重要になる。

【0148】

カメラ５１がナビゲートされ、３Ｄ ＣＴスキャンが使用される実施形態では、予測構成要素３４は、椎体及び椎孔を識別するために、（例えば、深層学習を使用して）ＣＴスキャンを自動的にセグメント化し得、椎孔は、筋肉、神経、動脈、静脈、又は他の構造が身体の一部を別の部分と接続することを可能にするために動物の身体内に存在する開いた孔である。これらの識別から、予測構成要素３４は、Ｋａｍｂｉｎの三角形５３を推定し得る。次いで、Ｋａｍｂｉｎの三角形の表現は、カメラ５１の画像上にオーバーレイされ得る。これら又は他の実施形態では、予測構成要素３４は、ＣＴスキャンを自動的にセグメント化して（例えば、同時取得ＭＲＩ ＣＴスキャンを通じて訓練された深層学習を使用して）、出て行く神経根１９を識別し得る。次いで、注釈構成要素３６は、この神経構造を画像上にオーバーレイし得る。これらの又は他の実施形態では、予測構成要素３４は、ＣＴスキャンを自動的にセグメント化して（例えば、深層学習を使用して）、椎骨、椎弓根、横突起（transverse process、ＴＰ）、棘突起（spinous process、ＳＰ）、及び／又はＳＡＰ５２などの骨ランドマークを識別し得る。次に、注釈構成要素３６は、骨構造をカメラの画像上にオーバーレイし得る。したがって、注釈構成要素３６は、表示される情報の量をユーザが精緻化するためのオプションとともに、画像上にＫａｍｂｉｎの三角形５３、神経構造１９、２３、及び骨構造５２のうちの少なくとも１つを同時にオーバーレイし得る。

【0149】

いくつかの実施形態では、機械学習モデルは、３Ｄスキャンが入力されて、（教師あり学習又は教師なし学習を介して）Ｋａｍｂｉｎの三角形５３が各々の三角形のどこにあるかを予測し得、次いで、別の機械学習モデルは、この別のモデルが２Ｄカメラの画像を使用してＫａｍｂｉｎの三角形の予測を行うように、これらの予測に基づくラベルを使用して訓練され得る。他の実施形態では、機械学習モデルを訓練するために、Ｋａｍｂｉｎの三角形の人間によるラベリングが使用され得、次いで、現在の患者の当該三角形をリアルタイムで予測するために、２Ｄカメラ及び３Ｄスキャンの両方がこのモデルに入力され得る。これらの実施形態は、蒸留学習又は生徒－教師モデルを実装する。

【0150】

いくつかの実施形態では、３Ｄ ＣＴスキャンが利用可能であっても、カメラ５１はナビゲートされない場合がある。例えば、深層学習は、カメラ５１の術中画像がリアルタイムでこの予測モデルに供給されるときに、２Ｄカメラ画像から直接的に様々な骨ランドマークを識別するために実行され得る。他の実施形態では、ユーザは、Ｋａｍｂｉｎの三角形５３の識別の予測を得るために、ある時間（例えば、１０秒）待たなければならない場合があり、その期間中、何も動くことができない。いくつかの実装形態では、予測は、カメラフィード自体ほど速くない場合があるが、物が移動するにつれてほぼリアルタイムでそれ自体を更新することができる。例えば、ポートは、特定の角度から見るために回転させられ得る（又はツールが移動させられ得る）。

【0151】

ナビゲートされないとき、３Ｄ ＣＴスキャンとの位置合わせは、見つけられたランドマークに基づいてリアルタイムで実行され得る。次いで、Ｋａｍｂｉｎの三角形の信頼区間、神経構造、及び骨構造が、カメラ画像上にオーバーレイされ得る。位置合わせが実行されないため、ユーザは、ＣＴスキャナが見ている場所に対してカメラが見ている場所を知らない場合がある。ナビゲートされて位置合わせされると、ユーザは、カメラ画像の２Ｄスライスが３Ｄ ＣＴスキャン内のどこを見ているかを正確に知ることになる。ナビゲートされたカメラを使用しない場合、ユーザは、患者の骨の解剖学的構造がどのように見えるかを知ることができるが、それをカメラ画像にリンクする方法がない。したがって、この非ナビゲートアプローチは、カメラ画像から骨の予測を得ることと、次いで、それを３Ｄ ＣＴスキャンに戻して位置合わせすることとを伴い得、それはまた、骨の存在を予測して、次いで、ユーザが見ているどの２Ｄスライスかを推定するために使用され得る。

【0152】

いくつかの実施形態では、ＣＴ５５はＸＴ（コーンビームＣＴ）である。利用可能なＣＴスキャンが存在しない他の実施形態では、予測構成要素３４は、神経ロケータデバイス又は超音波若しくはＳｅｎｔｉｏなどの何らかの他の手段が、カメラ画像上にオーバーレイするための更なる撮像入力を提供するために使用されない限り、何らかの視覚的なものに依拠しなければならない場合がある。一例では、一体型デバイスを使用して、プローブ又はポートを通して電流を送って、デバイスが神経にどれだけ近いかに関する情報を得ることができる。

【0153】

図２１及び図２２は、１つ又は２つ以上の実施形態による、向上した撮像を用いて正確な手術を行うための方法１００及び１５０を例解する。これらの方法は、１つ又は２つ以上のコンピュータプロセッサ及び／又は他の構成要素を備えるコンピュータシステムを用いて実行され得る。プロセッサは、コンピュータプログラム構成要素を実行するための機械可読命令によって構成されている。以下に提示されるこれらの方法の動作は、例解的であることが意図される。いくつかの実施形態では、方法１００及び１５０は各々、説明されていない１つ又は２つ以上の追加の動作を用いて、及び／又は考察された動作のうちの１つ又は２つ以上を用いずに達成され得る。追加的に、これらの方法の各々の動作の順序が、図２１及び図２２に例解されている。いくつかの実施形態では、方法１００及び１５０の各々は、１つ又は２つ以上の処理デバイス（例えば、デジタルプロセッサ、アナログプロセッサ、情報を処理するように設計されたデジタル回路、情報を処理するように設計されたアナログ回路、状態機械、及び／又は情報を電子的に処理するための他の機構）において実装され得る。処理デバイスは、電子記憶装置媒体上に電子的に記憶された命令に応答してこれらの方法の動作の一部又は全てを実行する１つ又は２つ以上のデバイスを含み得る。処理デバイスは、これらの動作のうちの１つ又は２つ以上の実行のために特に設計されるハードウェア、ファームウェア、及び／又はソフトウェアを通して構成された１つ又は２つ以上のデバイスを含み得る。

【0154】

方法１００の動作１０２において、患者のＲＯＩに対応する１つ又は２つ以上のスキャンが取得され得る。例えば、得られた患者スキャンは、セグメント化されておらず、外科手術領域又は計画された外科手術領域に対応し得る。いくつかの実施形態では、動作１０２は、（図１８に示され、本明細書で説明されている）情報構成要素３１と同じ又は同様のプロセッサ構成要素並びにＣアーム５４、ＣＴ５５、及び／又はＭＲＩ５６によって実行される。

【0155】

方法１００の動作１０４において、患者のＲＯＩ内の画像が、リアルタイムでキャプチャされ得る。例えば、カメラ５１は、身体又は患者の内部の画像のセットをリアルタイムで撮影し得、画像のセットのキャプチャは、処置の間に実行される。方法１００は、一度に１つ又は２つ以上の画像を使用して実行され得る。いくつかの実施形態では、動作１０４は、（図１８に示され、本明細書で説明されている）情報構成要素３１と同じ又は同様のプロセッサ構成要素並びにカメラ５１によって実行される。

【0156】

方法１００の動作１０６において、訓練データが得られてもよく、訓練データは、以前に撮影されたスキャンにおいて識別された構造と、以前の医療処置中にリアルタイムでキャプチャされた対応する画像とに基づいてラベル付けされたグラウンドトゥルースを含む。いくつかの実施形態では、動作１０６は、（図１８に示され、本明細書で説明されている）訓練構成要素３２と同じ又は同様のプロセッサ構成要素によって実行される。

【0157】

方法１００の動作１０８において、モデルは、得られた訓練データを用いて訓練され得る。例えば、訓練されたＣＮＮ又はモデル６４の別のものが、画像及び／又はスキャンにおける解剖学的構造の認識又は検出を実行するために得られてもよい。すなわち、訓練構成要素３２がニューラルネットワークを訓練した後、結果として生じる訓練されたモデルは、予測データベース６０のモデル６４内に記憶され得る。いくつかの実施形態では、動作１０８は、訓練構成要素３２と同じ又は同様のプロセッサ構成要素によって実行される。

【0158】

方法１００の動作１１０において、ＲＯＩ内、その付近、及び／又はその周囲の複数の異なる構造が、椎体及び椎孔、神経根、並びに骨ランドマークの中から（例えば、ＵＩデバイス１８を介して手動で、又は所定の構成に基づいて自動的に）選択され得る。いくつかの実施形態では、動作１１０は、（図１８に示され、本明細書で説明されている）情報構成要素３１と同じ又は同様のプロセッサ構成要素によって実行される。

【0159】

方法１００の動作１１２において、Ｋａｍｂｉｎの三角形及び／又は各選択された構造は、取得されたスキャン及びキャプチャされた画像を使用して訓練されたＭＬモデルを介して、識別され得、識別の各々は、信頼基準を満たすことができ、Ｋａｍｂｉｎの三角形の識別は、選択された構造の相対的な場所に基づいている。例えば、予測は、入力としてセグメント化されていないスキャンを受け取り、少なくとも１つの神経構造を識別するラベル付けされた画像ボリュームを出力する画像分析ツールを使用して、セグメント化されていないスキャンから少なくとも１つの神経構造の存在を識別することによって実行される。いくつかの実施形態では、予測構成要素３４は、生物医学的画像セグメンテーションのために開発されたＣＮＮ及び／又は完全畳み込みネットワークを備え得る、Ｕ－Ｎｅｔを介して予測し得る。いくつかの実施形態では、動作１１２は、（図１８に示され、本明細書で説明されている）予測構成要素３４と同じ又は同様のプロセッサ構成要素によって実行される。

【0160】

方法１００の動作１１４において、識別された三角形の、及び／又は各選択された構造の表現が、キャプチャされた画像上にオーバーレイされ得る。例えば、Ｋａｍｂｉｎの三角形５３へのアプローチの経路上で、解剖学的構造を区別する、強調する、強調表示する、又は他の方法で示す情報は、画像にオーバーレイし得る。いくつかの実施形態では、動作１１４は、（図１８に示され、本明細書で説明される）注釈構成要素３６と同じ又は同様のプロセッサ構成要素によって実行される。

【0161】

方法１００の動作１１６において、患者のＲＯＩ内の別の画像が、引き続いてリアルタイムでキャプチャされ得る。いくつかの実施形態では、動作１１６は、情報構成要素３１と同じ又は同様のプロセッサ構成要素及びカメラ５１によって実行される。

【0162】

方法１００の動作１１８において、Ｋａｍｂｉｎの三角形は、取得されたスキャン及び別の画像を使用して訓練されたモデルを介して、再識別され得る。例えば、Ｋａｍｂｉｎの三角形５３の後続の識別は、例えば、後続のキャプチャされた画像に基づいて識別された三角形を表す領域を成長させるための、改善された信頼基準を満たし得る。いくつかの実施形態では、動作１１８は、予測構成要素３４と同じ又は同様のプロセッサ構成要素によって実行される。

【0163】

方法１００の動作１２０において、再識別された三角形に関連付けられた信頼基準が更新され得る。例えば、信頼区間は、カメラ５１のフィードに基づいてリアルタイムで更新され得る。いくつかの実施形態では、注釈構成要素３６は、例えば、カメラ５２がＲＯＩ及び／又はＫａｍｂｉｎの三角形５３に近接している間に、信頼区間を判定し得る。信頼区間は、解剖学的構造が場所のセット（例えば、２Ｄ、３Ｄ、又は別の適切な数の次元）の各々に存在すると予測される範囲を示し得る。いくつかの実施形態では、信頼基準は、既知の手段を改善する範囲によって満たされてもよく、Ｋａｍｂｉｎの三角形５３が実際に予測された場所にある（例えば、当該三角形に向かって前進するための）というより高い保証が得られる。いくつかの実施形態では、動作１２０は、予測構成要素３４又は注釈構成要素３６と同じ又は同様のプロセッサ構成要素によって実行される。

【0164】

方法１００の動作１２２において、再識別された三角形の更新された表現が、別の画像上にオーバーレイされ得る。例えば、オーバーレイは、予測を行うために使用されたものと同じ画像であってもよく、又は異なる画像上であってもよい。いくつかの実施形態では、動作１２２は、注釈構成要素３６と同じ又は同様のプロセッサ構成要素によって実行される。

【0165】

図２２に描かれる方法１５０の動作１５２において、手術室の構成が得られてもよい。例えば、２Ｄ ＣＴ、３Ｄ ＣＴ、及びＭＲＩからの出力が利用可能であるかどうかが判定され得る。この例又は別の例では、カメラ５１がナビゲート可能であるか又は位置合わせ可能であるかが判定され得る。患者のＣＴスキャンのみが利用可能である実装形態では、本明細書で考察するように、訓練構成要素３２は、他の患者のＭＲＩスキャンを使用して、ＣＴスキャンから神経を検出することができる方法を訓練し得る。したがって、ある特定の骨構造又はランドマークがどこにあるかを知ることによって、予測構成要素３４は、神経がどこにあるかを予測し得る。アルゴリズム的アプローチ自体は、特定のツール及び技術の利用可能性に基づいて判定され得る。例えば、システム５は、したがって、ある特定の入力及び／又は条件を使用し、次いで、適切な方法を選定するようにそれ自体を調整してもよい。いくつかの実施形態では、動作１５２は、情報構成要素３１と同じ又は同様のプロセッサ構成要素によって実行される。

【0166】

方法１５０の動作１５４において、訓練された機械学習モデルは、構成がナビゲーション及び／又は３Ｄ ＣＴスキャンを示すかどうかを判定することによって、得られた構成に基づいて選択され得る。いくつかの実施形態では、動作１５４は、訓練構成要素３２又は予測構成要素３４と同じ又は同様のプロセッサ構成要素によって実行される。

【0167】

方法１５０の動作１５６において、構成がナビゲーション及び３Ｄ ＣＴスキャンを示すという判定に応答して、３Ｄ ＣＴスキャンは、ポート及び／又はカメラと位置合わせされ得（例えば、複数の異なる座標系とキャプチャされた画像との間で整列させることによって）、患者の領域に対応する３Ｄ ＣＴスキャンが取得され得る。いくつかの実施形態では、動作１５６は、（図１８に示され、本明細書で説明される）軌道構成要素３８と同じ又は同様のプロセッサ構成要素によって実行される。

【0168】

方法１５０の動作１５８において、画像は、リアルタイムでキャプチャされ得る。

【0169】

方法１５０の動作１６０において、Ｋａｍｂｉｎの三角形が、取得された３Ｄ ＣＴスキャン及びキャプチャされた画像を使用して選択されたモデルを介して、識別され得る。いくつかの実施形態では、動作１６０は、予測構成要素３４と同じ又は同様のプロセッサ構成要素によって実行される。

【0170】

本明細書で説明される技法は、デジタル電子回路、又はコンピュータハードウェア、ファームウェア、ソフトウェア、又はそれらの組み合わせで実装され得る。本技法は、コンピュータプログラム製品、すなわち、データ処理装置、例えば、プログラマブルプロセッサ、コンピュータ、又は複数のコンピュータによる実行のために、又はその動作を制御するために、情報キャリア、例えば、機械可読記憶デバイス、機械可読記憶媒体、コンピュータ可読記憶デバイス、又はコンピュータ可読記憶媒体において有形に具現化されるコンピュータプログラムとして実装され得る。コンピュータプログラムは、コンパイラ型言語又はインタープリタ型言語を含む任意の形態のプログラミング言語で書くことができ、スタンドアロンプログラムとして、又はモジュール、コンポーネント、サブルーチン、若しくはコンピューティング環境での使用に適した他のユニットとして含む、任意の形態で展開することができる。コンピュータプログラムは、１つのコンピュータ上で、又は１つのサイトにおける、若しくは複数のサイトにわたって分散され、通信ネットワークによって相互接続された複数のコンピュータ上で実行されるように展開することができる。

【0171】

本技法の方法のステップは、入力データ上で動作し、出力を生成することによって本技法の機能を実行するためのコンピュータプログラムを実行する１つ又は２つ以上のプログラマブルプロセッサによって実行され得る。方法のステップはまた、専用論理回路、例えば、ＦＰＧＡ（フィールドプログラマブルゲートアレイ）又はＡＳＩＣ（特定用途向け集積回路）として実装され得る技法によって、及びその装置によって実行され得る。

【0172】

コンピュータプログラムの実行に適したプロセッサには、例として、汎用マイクロプロセッサ及び専用マイクロプロセッサの両方、並びに任意の種類のデジタルコンピュータの任意の１つ又は２つ以上のプロセッサが含まれる。概して、プロセッサは、読み出し専用メモリ又はランダムアクセスメモリ又はその両方から命令及びデータを受け取る。コンピュータの必須要素は、命令を実行するためのプロセッサ、並びに命令及びデータを記憶するための１つ又は２つ以上のメモリデバイスである。概して、コンピュータはまた、磁気ディスク、光磁気ディスク、又は光ディスクなどのデータを記憶するための１つ又は２つ以上の大容量記憶デバイスを含むか、又はそこからデータを受け取るか、そこへデータを転送するか、若しくはその両方を行うように動作可能に結合される。コンピュータプログラム命令及びデータを具現化するのに適した情報キャリアには、例として、ＥＰＲＯＭ、ＥＥＰＲＯＭ、及びフラッシュメモリデバイスなどの半導体メモリデバイスを含む全ての形態の不揮発性メモリ、内部ハードディスク又はリムーバブルディスクなどの磁気ディスク、光磁気ディスク、並びにＣＤ－ＲＯＭ及びＤＶＤ－ＲＯＭディスク、が含まれる。プロセッサ及びメモリは、専用論理回路によって補完され得るか、又は専用論理回路に組み込まれ得る。

【0173】

本開示のいくつかの実施形態は、本明細書で具体的に例解及び／又は説明されている。しかしながら、修正及び変形が企図され、添付の特許請求の範囲の権限内であることが理解されよう。

【0174】

米国特許第８，５１８，０８７号の開示は、その全体が参照により本明細書に組み込まれ、本明細書の一部とみなされるべきである。

【0175】

〔実施の態様〕
（１） 外科的方法であって、
外科手術領域又は計画された外科手術領域に対応するセグメント化されていない患者スキャンを取得することと、
前記セグメント化されていないスキャンを入力として受け取り、前記外科手術領域又は計画された外科手術領域内の少なくとも１つの神経構造を識別するラベル付けされた画像ボリュームを出力する画像分析ツールを使用して、前記セグメント化されていないスキャンから前記少なくとも１つの神経構造を識別することと、
識別された前記少なくとも１つの神経構造を組み込む患者別の外科手術計画を作成することと、
前記患者別の計画に従って外科的処置を実行することと、を含む、外科的方法。
（２） 前記セグメント化されていない患者スキャンが、ＣＴ又はＣＢＣＴスキャンであり、前記少なくとも１つの神経構造を識別することが、前記少なくとも１つの神経構造を識別するために、前記セグメント化されていないスキャンを自動的にセグメント化することを更に含む、実施態様１に記載の外科的方法。
（３） 前記画像分析ツールが、深層学習モデルを使用して、前記セグメント化されていない患者スキャン内の前記少なくとも１つの神経構造を自動的にセグメント化し、前記方法が、前記患者の位置における変化に基づいて、前記識別された少なくとも１つの神経構造の予想される動きを推定することを更に含む、実施態様１に記載の外科的方法。
（４） 前記患者の前記位置における前記変化が、撮像位置から手術位置への変化である、実施態様３に記載の外科的方法。
（５） 前記少なくとも１つの神経構造の前記予想される動きに従って、前記患者別の外科手術計画を調整することを更に含む、実施態様３に記載の外科的方法。

【0176】

（６） 前記セグメント化されていない患者スキャンが、術前患者スキャンであり、前記患者別の外科手術計画が、前記識別された少なくとも１つの神経構造との干渉を回避するように最適化された患者別の外科的アクセス計画であり、出力された前記ラベル付けされた画像ボリュームが、前記外科的処置中に表示される、実施態様１に記載の外科的方法。
（７） コンピュータ実装方法であって、
関心領域（ＲＯＩ）に対応するスキャンを取得することと、
患者の画像をリアルタイムでキャプチャすることと、
（ｉ）取得された前記スキャン及び（ｉｉ）キャプチャされた前記画像を使用して、訓練された機械学習モデルを介して、Ｋａｍｂｉｎの三角形を識別することと、
前記キャプチャされた画像上に、識別された前記Ｋａｍｂｉｎの三角形の表現をオーバーレイすることと、を含む、方法。
（８） （ｉ）以前に撮影されたスキャン及び（ｉｉ）以前の医療処置中にリアルタイムでキャプチャされた対応する画像において識別された構造に基づいてラベル付けされた、グラウンドトゥルースを含む訓練データを得ることと、
得られた前記データを用いて前記モデルを訓練することと、を更に含む、実施態様７に記載の方法。
（９） 前記患者の別の画像をキャプチャすることと、
（ｉ）前記取得されたスキャン及び（ｉｉ）キャプチャされた前記別の画像を使用して、前記訓練されたモデルを介して、前記Ｋａｍｂｉｎの三角形を再識別することと、
再識別された前記Ｋａｍｂｉｎの三角形に関連付けられた信頼基準を更新することと、
前記再識別されたＫａｍｂｉｎの三角形の更新された表現を前記キャプチャされた別の画像上にオーバーレイすることと、を更に含む、実施態様７に記載の方法。
（１０） （ｉ）椎体及び椎孔、（ｉｉ）神経根、並びに（ｉｉｉ）骨ランドマークの中から、前記ＲＯＩ内の構造を選択することと、
（ｉ）前記取得されたスキャン及び（ｉｉ）前記キャプチャされた画像を使用して、前記訓練された機械学習モデルを介して、信頼基準を各々満たす選択された前記構造を識別することであって、前記Ｋａｍｂｉｎの三角形の前記識別が、前記選択された構造の相対的な場所に基づく、識別することと、
１つ又は２つ以上のキャプチャされた画像上に、ユーザインターフェースを介して、前記選択された構造の各々の表現をオーバーレイすることと、を更に含む、実施態様８に記載の方法。

【0177】

（１１） 前記機械学習モデルが、畳み込みニューラルネットワークである、実施態様７に記載の方法。
（１２） 前記画像をキャプチャしたデバイスから前記識別されたＫａｍｂｉｎの三角形までの現在の距離を判定することを更に含む、実施態様７に記載の方法。
（１３） 前記神経根が、対応するＭＲＩスキャンを使用して識別され、前記モデルが、複数の以前に撮影されたＭＲＩスキャンにおいて識別された神経根構造に基づいてラベル付けされた、グラウンドトゥルースを含む訓練データを用いて更に訓練される、実施態様１０に記載の方法。
（１４） 前記識別されたＫａｍｂｉｎの三角形に向かって、インプラント又は器具の少なくとも一部を低侵襲的に前進させることと、
前記前進の軌道が、基準を満たすかどうかを判定することと、
前記軌道が前記基準を満たさなかったという前記判定に応答して、前記基準が満たされるように前記軌道を調整することと、を更に含む、実施態様７に記載の方法。
（１５） 前記取得されたスキャンが、三次元（３Ｄ）コンピュータ断層撮影（ＣＴ）スキャンを含む、実施態様７に記載の方法。

【0178】

（１６） 位置合わせ時に、前記器具又はインプラントをナビゲートすることと、
前記スキャンの複数の異なる座標系と前記キャプチャされた画像との間で整列させることによって実行される、ポート及び／又はカメラとの前記スキャンの前記位置合わせと、更に含む、実施態様１４に記載の方法。
（１７） 前記識別されたＫａｍｂｉｎの三角形に向かって前進する拡張器の位置を判定することを更に含み、前記画像が、前記拡張器の側面に取り付けられた、カメラ、電荷結合素子（ＣＣＤ）、及び光学センサのうちの少なくとも１つを介してキャプチャされる、実施態様７に記載の方法。
（１８） 前記表現が、前記選択された構造の前記信頼基準を色及び／又は記号で符号化することによって、前記識別されたＫａｍｂｉｎの三角形を視覚的に区別する、実施態様１０に記載の方法。
（１９） 状況認識医療処置のための方法であって、前記方法が、
手術室の構成を得ることと、
得られた前記構成に基づいて、訓練された機械学習モデルを選択することであって、前記選択は、前記構成がナビゲーション及び３Ｄ ＣＴスキャンを示すかどうかを判定することによって実行される、選択することと、
前記構成がナビゲーション及び３Ｄ ＣＴスキャンを示すという前記判定に応答して、（ｉ）前記スキャンの複数の異なる座標系とキャプチャされた画像との間で整列させることによって、３Ｄ ＣＴスキャンをポート及び／又はカメラと位置合わせし、（ｉｉ）患者の領域に対応する前記３Ｄ ＣＴスキャンを取得することと、
前記画像をリアルタイムでキャプチャすることと、
（ｉ）取得された前記３Ｄ ＣＴスキャン及び（ｉｉ）キャプチャされた前記画像を使用して、選択された前記モデルを介して、Ｋａｍｂｉｎの三角形を識別することと、を含む、方法。
（２０） ユーザインターフェースを介して、識別された前記Ｋａｍｂｉｎの三角形の表現の表示を引き起こすように構成された選択を得ることと、
ユーザインターフェースを介して、前記画像の前記キャプチャのためのマルチスペクトル撮像を引き起こすように構成された選択を得ることと、を更に含む、実施態様１９に記載の方法。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19A】

【図19B】

【図20A】

【図20B】

【図21】

【図22】

【国際調査報告】