知財求人 - 知財ポータルサイト「IP Force」
▶ オルソグリッド システムズ ホールディング，エルエルシーの特許一覧
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-04-05
(45)【発行日】2024-04-15
(54)【発明の名称】人工知能の術中外科的ガイダンスシステムと使用方法
(51)【国際特許分類】
A61B 6/00 20240101AFI20240408BHJP
G06T 7/00 20170101ALI20240408BHJP
G06N 20/00 20190101ALI20240408BHJP
G06N 3/08 20230101ALI20240408BHJP
G06N 3/04 20230101ALI20240408BHJP
【ＦＩ】
A61B6/00 560
G06T7/00 350B
G06N20/00
G06N3/08
G06N3/04
【請求項の数】
30
(21)【出願番号】P 2021513943
(86)(22)【出願日】2019-09-12
(65)【公表番号】
(43)【公表日】2022-01-04
(86)【国際出願番号】 US2019050745
(87)【国際公開番号】W WO2020056086
(87)【国際公開日】2020-03-19
【審査請求日】2022-09-01
(31)【優先権主張番号】62/730,112
(32)【優先日】2018-09-12
(33)【優先権主張国・地域又は機関】US
(73)【特許権者】
【識別番号】523331739
【氏名又は名称】オルソグリッド システムズ ホールディング，エルエルシー
(74)【代理人】
【識別番号】110000659
【氏名又は名称】弁理士法人広江アソシエイツ特許事務所
(72)【発明者】
【氏名】ボッディントン，リチャード
(72)【発明者】
【氏名】サジェ，エドワール
(72)【発明者】
【氏名】ウルハジ，ハインド
(72)【発明者】
【氏名】ケイツ，ジョシュア
【審査官】佐々木 創太郎
(56)【参考文献】
【文献】特表２０１８－５２２６２２（ＪＰ，Ａ）
【文献】米国特許出願公開第２０１８／０２４７１２８（ＵＳ，Ａ１）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ａ６１Ｂ ６／００ － ６／５８
Ａ６１Ｂ ５／０５５
Ｇ０６Ｔ ７／００
(57)【特許請求の範囲】
【請求項1】
人工知能を基盤とする術中外科的ガイダンスシステムであって、複数の術中蛍光透視医用画像を分類するための少なくとも1つの画像処理アルゴリズムを含むコンピュータープラットフォームを備えており、前記コンピュータープラットフォームは１つまたは複数の自動化された人工知能モデルを実行するように構成され、前記１つまたは複数の自動化された人工知能モデルが、外科的転帰分類のためのスコアを提供するニューラルネットワークのモデルを備え、前記１つまたは複数の自動化された人工知能モデルが、データ層からのデータ上でトレーニングされ、前記データ層が、少なくとも複数の蛍光透視手術画像を含み、前記自動化された人工知能モデルが、術中外科的決定リスクを計算するようにトレーニングされており、
さらに、計算された術中外科的決定リスクに基づく外科的転帰予測をユーザに表示するように構成された視覚的ディスプレイを備えている、人工知能を基盤とする術中外科的ガイダンスシステム。
【請求項2】
前記コンピュータープラットフォームは、整復またはアライメント処置の複数の術中蛍光透視医用画像を少なくとも１つの別個のカテゴリーに分類するための少なくとも１つの画像処理アルゴリズムを含み、前記少なくとも１つの別個のカテゴリーは、外科的転帰予測を予測し、
且つインプラント固定処置の複数の術中蛍光透視医用画像を少なくとも１つの別個のカテゴリーに分類するための少なくとも１つの画像処理アルゴリズムを含み、前記少なくとも１つの別個のカテゴリーは、外科的転帰予測を予測し、
且つ予測及び時系列の術後蛍光透視医用画像を少なくとも１つの別個のカテゴリーに分類するための少なくとも１つの画像処理アルゴリズムを含み、前記少なくとも１つの別個のカテゴリーは、外科的転帰予測を予測する、請求項１に記載の人工知能を基盤とする術中外科的ガイダンスシステム。
【請求項3】
術中外科的決定リスクを提供するように構成された人工知能を基盤とする術中外科的ガイダンスシステムであって、ソフトウェアモジュールを形成するコンピューターが可読な命令でエンコードされた非一時的コンピューター可読記憶媒体と、前記命令を処理するためのプロセッサとを含み、前記ソフトウェアモジュールは、データ層と、アルゴリズム層と、アプリケーション層とを含み、前記人工知能を基盤とする術中外科的ガイダンスシステムは、少なくとも１つの分類子アルゴリズムを適用することによって術中外科的決定リスクを計算するようにトレーニングされ、前記アルゴリズム層は、複数の術中蛍光透視医用画像を分類するための少なくとも１つの画像処理アルゴリズムを含み、
コンピュータープラットフォームが、
整復またはアライメント処置の複数の術中蛍光透視医用画像を少なくとも１つの別個のカテゴリーに分類するための少なくとも１つの画像処理アルゴリズムと、インプラント固定処置の複数の術中蛍光透視医用画像を少なくとも１つの別個のカテゴリーに分類するための複数の少なくとも１つの画像処理アルゴリズムとで構成されており、
さらに、計算された術中外科的決定リスクに基づく外科的転帰予測をユーザに表示するように構成された視覚的ディスプレイを備えている、
人工知能を基盤とする術中外科的ガイダンスシステム。
【請求項4】
前記アルゴリズム層は、時系列の術後蛍光透視医用画像を少なくとも１つの別個のカテゴリーに分類するための少なくとも１つの画像処理アルゴリズムを含み、前記少なくとも１つの別個のカテゴリーは、外科的転帰を予測する、請求項３に記載の人工知能を基盤とする術中外科的ガイダンスシステム。
【請求項5】
前記アルゴリズム層が、複数の取得した蛍光透視医用画像の画像品質スコアを計算するように構成される画像品質スコアリングモジュールと、
取得した前記蛍光透視医用画像の歪みを補正するように構成される歪み補正モジュールと、
術前蛍光透視画像内の少なくとも１つの解剖学的ランドマークに注釈を付けて、少なくとも１つの術前注釈付き蛍光透視画像を提供するように構成される画像注釈モジュールと、
少なくとも１つの前記術前注釈付き蛍光透視画像を格納するように構成される術前画像データベースと、
インプラントまたは解剖学的構造の３次元形状を推定するように構成される３Ｄ形状モデリングモジュールと、
術中蛍光透視医用画像を分類するための画像処理アルゴリズムを含む人工知能エンジンと、
アライメントグリッドを注釈付き蛍光透視画像特徴にマッピングして合成画像を形成するように構成される画像登録モジュールと、
術中にユーザーに外科的転帰予測を提供するように構成される転帰モジュールとを含む、請求項３に記載の人工知能を基盤とする術中外科的ガイダンスシステム。
【請求項6】
前記画像品質スコアが、取得された蛍光透視画像の正確さのレベルを定量化する１つまたは複数の自動化された人工知能モデルに基づいて計算される、請求項５に記載の人工知能を基盤とする術中外科的ガイダンスシステム。
【請求項7】
前記アルゴリズム層が、術前非手術側の蛍光透視画像および術中手術側の蛍光透視画像を共通の座標系に登録するための少なくとも１つのアルゴリズムを含む、請求項５に記載の人工知能を基盤とする術中外科的ガイダンスシステム。
【請求項8】
インプラントまたは解剖学的アライメントの複数の重大な失敗モード要因を解釈するために使用される少なくとも１つのデータセットの深層学習モデルによってトレーニングされた人工知能エンジンの転帰分類子をさらに含む、請求項３に記載の人工知能を基盤とする術中外科的ガイダンスシステム。
【請求項9】
インプラントの重大な失敗モード要因を解釈するためのデータセットの強化学習モデルによってトレーニングされた人工知能エンジンの転帰分類子をさらに含む、請求項３に記載の人工知能を基盤とする術中外科的ガイダンスシステム。
【請求項10】
ねじ軌道を決定するためのデータセットの強化学習モデルによってトレーニングされた人工知能エンジンの転帰分類子をさらに含む、請求項３に記載の人工知能を基盤とする術中外科的ガイダンスシステム。
【請求項11】
ねじ配置の重大な失敗モード要因を解釈するためのデータセットの強化学習モデルによってトレーニングされた人工知能エンジンの転帰分類子をさらに含む、請求項３に記載の人工知能を基盤とする術中外科的ガイダンスシステム。
【請求項12】
コンピュータープラットフォームが、手術中に外科医に術中外科的ガイダンスを提供するコンピュータープラットフォームの作動方法であって、前記コンピュータープラットフォームが、ソフトウェアモジュールを形成するコンピューターが可読な命令でエンコードされた非一時的コンピューター可読記憶媒体と、前記命令を処理するためのプロセッサとを含む、人工知能術中外科的ガイダンスシステムを備えており、
前記ソフトウェアモジュールは、データ層と、アルゴリズム層と、アプリケーション層を含み、
前記人工知能術中外科的ガイダンスシステムは、少なくとも１つの転帰分類子を適用し、最も一致する非手術側の蛍光透視画像を現在の手術側の蛍光透視画像に位置合わせすることにより、術中外科的決定リスクを計算するようにトレーニングされており、
前記位置合わせすることは、対象の解剖学的構造の非手術側の術前蛍光透視画像と、前記対象の解剖学的構造の手術側の術中の蛍光透視画像とを含む対象の蛍光透視画像データを取得することを含み、
前記コンピュータープラットフォームは、現在の手術側の蛍光透視画像と比較して、最も一致する非手術側の蛍光透視画像を識別し、前記非手術側の蛍光透視画像を現在の手術側の蛍光透視画像と位置合わせして、ガイダンス姿勢ガイド蛍光透視画像を提供し、前記ガイダンス姿勢ガイド蛍光透視画像は、前記非手術側の蛍光透視画像と手術側の蛍光透視画像の解剖学的位置の違いをグラフで示す、方法。
【請求項13】
前記対象の蛍光透視画像データ内の解剖学的構造を選択するステップと、グリッドテンプレートを解剖学的構造にマッピングして、前記対象の解剖学的構造の非手術側の蛍光透視画像を、前記対象の解剖学的構造の手術側の術中蛍光透視画像の画像とともに登録して、登録された合成蛍光透視画像を提供するステップと、前記登録された合成蛍光透視画像を人工知能エンジンに提供して、少なくとも１つの外科的ガイダンスを生成するステップであって、前記少なくとも１つの外科的ガイダンスは、グラフィカルな外科的インジケーターであるステップと、前記外科医が術中変数を変更すると、前記コンピュータープラットフォームによって、前記登録された合成蛍光透視画像を前記グラフィカルな外科的ガイダンスインジケーターとともに動的に更新するステップとをさらに含む、請求項１２に記載の方法。
【請求項14】
前記対象の蛍光透視画像データ内の解剖学的構造を選択する前記ステップは、前記対象の蛍光透視画像データに示されるように前記解剖学的構造の一部をセグメント化し、少なくとも１つの人工知能モデルを適用して少なくとも１つの外科的ランドマークを識別するステップをさらに含む、請求項１３に記載の方法。
【請求項15】
前記手術の処置が、整復およびアライメントからなる群から選択され、少なくとも１つの人工知能エンジンが、整復またはアライメント処置の術中医用蛍光透視画像を少なくとも１つの別個のカテゴリーに分類するための少なくとも１つの画像処理アルゴリズムを含み、前記少なくとも１つの別個のカテゴリーは、外科的転帰を予測する、請求項１２に記載の方法。
【請求項16】
前記手術の処置が、インプラント固定であり、少なくとも１つの人工知能エンジンが、インプラント固定処置の術中蛍光透視医用画像を少なくとも１つの別個のカテゴリーに分類するための画像処理アルゴリズムを含み、前記少なくとも１つの別個のカテゴリーは、外科的転帰を予測する、請求項１２に記載の方法。
【請求項17】
少なくとも１つの人工知能エンジンが、時系列の術後蛍光透視医用画像を少なくとも１つの別個のカテゴリーに分類するための画像処理アルゴリズムを含み、前記少なくとも１つの別個のカテゴリーは、外科的転帰を予測する、請求項１２に記載の方法。
【請求項18】
蛍光透視医用画像を前処理するステップをさらに含み、前記前処理するステップは、データセットに基づく人工知能モデルを適用することを含み、前記データセットが本質的に良い術中蛍光透視画像と悪い術中蛍光透視画像からなる、請求項１２に記載の方法。
【請求項19】
前記少なくとも１つの外科的ガイダンスが、触覚フィードバックデバイス、ロボット、追跡可能ガイド、カッティングブロック、コンピューター支援手術装置、ＩｏＴデバイス、および複合リアリティデバイスからなるグループから選択される外科ファシリテーターを指示する、請求項１２に記載の方法。
【請求項20】
センサーを前記コンピュータープラットフォームと同期させて、術中の解剖学的位置データを提供するステップをさらに含む、請求項１２に記載の方法。
【請求項21】
センサーを前記コンピュータープラットフォームと同期させて、術中のインプラント位置データを提供するステップをさらに含む、請求項１２に記載の方法。
【請求項22】
センサーを前記コンピュータープラットフォームと同期させて、術後の外部アライメント位置データを提供するステップをさらに含む、請求項１２に記載の方法。
【請求項23】
前記登録された合成蛍光透視画像を前記グラフィカルな外科的ガイダンスインジケーターとともに動的に更新する前記ステップが、グリッドテンプレートによって導かれる追跡可能な位置および配向を生成するステップをさらに含む、請求項１３に記載の方法。
【請求項24】
前記外科的ガイダンスが、変形矯正、解剖学的アライメント、骨折整復、および解剖学的整復からなる群から選択される処置に適用される、請求項１２に記載の方法。
【請求項25】
前記外科的ガイダンスが、インプラント選択推奨およびインプラント配置からなる群から選択される、請求項１２に記載の方法。
【請求項26】
前記外科的ガイダンスが、性能予測、良好な転帰の確率、および失敗リスクスコアからなる群から選択される、請求項１２に記載の方法。
【請求項27】
前記外科的ガイダンスが、機器ガイダンスおよびオブジェクト追跡からなる群から選択される、請求項１２に記載の方法。
【請求項28】
コンピュータープラットフォームが、アライメントまたは固定処置を実施する整形外科医に、術中外科的ガイダンスを提供するように構成される視覚的ディスプレイを提供する方法であって、前記コンピュータープラットフォームは、複数のデータセットおよびそれぞれがアライメントまたは固定処置のための外科的転帰予測への加重寄与を有する、複数のトレーニングされた分類子からなる少なくとも１つの転帰予測モジュールを含み、前記複数のトレーニングされた分類子の１つは、アライメントまたは固定処置のための術中蛍光透視画像を分類するものであることを特徴とする、
前記コンピュータープラットフォームが、アライメントまたは固定処置を実施する前記整形外科医に前記術中外科的ガイダンスを提供するように構成される視覚的ディスプレイを提供するコンピュータープラットフォームの作動方法。
【請求項29】
最適なマッチングの非手術側の蛍光透視画像を現在の手術側の蛍光透視画像に位置合わせするステップであって、位置合わせするステップは、対象の解剖学的構造の非手術側の術前蛍光透視画像と、前記対象の解剖学的構造の手術側の術中蛍光透視画像とを含む対象の蛍光透視画像データを取得することを含み、前記コンピュータープラットフォームは、現在の手術側の蛍光透視画像と比較して、最も一致する非手術側の蛍光透視画像を識別するように、位置合わせするステップと、前記非手術側の蛍光透視画像を前記現在の手術側の蛍光透視画像と位置合わせして、ガイダンス姿勢ガイド蛍光透視画像を提供するステップであって、前記ガイダンス姿勢ガイド蛍光透視画像は、前記非手術側の蛍光透視画像と前記手術側の蛍光透視画像の解剖学的位置決めの違いをグラフで示すように、提供するステップとをさらに含む、請求項２８に記載の方法。
【請求項30】
対象の蛍光透視画像データ内の解剖学的構造を選択するステップと、グリッドテンプレートを前記解剖学的構造にマッピングして、前記対象の解剖学的構造の非手術側の蛍光透視画像を、前記対象の解剖学的構造の手術側の前記術中蛍光透視画像の画像とともに登録して、登録された合成蛍光透視画像を提供するステップと、
前記登録された合成蛍光透視画像を人工知能エンジンに提供して、少なくとも１つの外科的ガイダンスを生成するステップであって、前記少なくとも１つの外科的ガイダンスは、グラフィカルな外科的インジケーターであるように、生成するステップと、
前記外科医が術中変数を変更すると、前記コンピュータープラットフォームによって、前記登録された合成蛍光透視画像を前記グラフィカルな外科的ガイダンスインジケーターとともに動的に更新するステップとをさらに含む、請求項２８に記載の方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明の主題は、関節置換、脊椎、外傷性骨折の整復（ｒｅｄｕｃｔｉｏｎｓ、低減、緩和）、変形矯正、およびインプラントの配置（ｐｌａｃｅｍｅｎｔ）／アライメント（ａｌｉｇｎｍｅｎｔ、整列、位置あわせ）における人工知能の術中外科的ガイダンスである。対象画像データを分析し、外科的決定リスクを計算し、外科医の意思決定プロセスをサポートする推奨経路またはアクションを自律的に提供し、グラフィカルユーザーインターフェイスによる、最適化されたインプラントと対象の転帰（例えば、インプラントガイダンス、骨折整復、解剖学的アライメント）を予測する方法が提供される。
【背景技術】
【0002】
摩耗や安定性などの全股関節形成術（ＴＨＡ）モデルのパフォーマンスに不可欠なＸ線撮影パラメーターの多くは、蛍光透視法で術中に評価できる。しかしながら、術中の蛍光透視法のガイダンスがあっても、インプラントの配置または骨片の整復は、依然として外科医が望むほどにはならない。例えば、股関節形成術中の寛骨臼モデルの位置ずれは、問題を引き起こす可能性がある。股関節形成術中に寛骨臼インプラントを骨盤に対して適切な位置に挿入するには、外科医が手術中に患者の骨盤の位置を知っている必要がある。残念ながら、患者の骨盤の位置は、手術中および患者ごとに大きく異なる。外傷外科手術中、特に関節内骨折の場合、適切な骨折管理では、外科医が、適切にリハビリするための最良の機会を関節に解剖学的に提供し、長期的な被害を最小限に抑え、および可能であれば、通常の機能を取り戻すため、元の解剖学的構造に対して骨片を最適に整復する必要がある。残念ながら、骨折のシナリオでは、これらの骨片の元の解剖学的位置が損なわれ、正しい解剖学的構造との自然な関係は不確実であり、外科医は、修復の成功とその後の前向きな転帰を促進するために、最善の判断を下す必要がある。手術中、外科医は、リアルタイムの決定を行う必要があるが、それは、同時に複数の決定を行う必要があるため、さらに複雑になる可能性がある。いつでも、例えば骨折整復ガイダンスに関する決定が必要になる可能性があり同時にインプラント配置に必要な決定と任意の段階でのエラーにより、準最適な転帰と潜在的な外科的失敗の可能性が高まる可能性がある。残念ながら、これらの問題のほとんどは術後にのみ診断および検出され、しばしば修正手術につながる。これらのリスクとパターンは、外科的または医学的イベント中にリアルタイムで特定する必要がある。外科医や医療専門家は、しばしば、危険やリスクを特定するために自分自身だけに頼り、外科的イベント内およびその周辺の重要な要因について決定を下さなければならないので、術中の自動化された知能に基づく外科的および医学的状況認識のサポートおよびガイダンスを提供できるシステムおよび方法の必要性が存在する。
【発明の概要】
【発明が解決しようとする課題】
【0003】
この概要は、現在開示される主題のいくつかの実施形態を説明し、多くの場合、これらの実施形態の変形および順列を列挙している。この概要は、多数の多様な実施形態の単なる例示である。所与の実施形態の１つまたは複数の代表的な特徴の言及も同様に例示的である。このような実施形態は、通常、言及された特徴の有無にかかわらず存在することができるが、同様に、これらの特徴は、この概要に記載されるかどうかにかかわらず、現在開示される主題の他の実施形態に適用することができる。過度の繰り返しを避けるために、この概要では、そのような機能の全ての可能な組み合わせをリストまたは示唆しているわけではない。
【課題を解決するための手段】
【0004】
新規な主題には、１つまたは複数の自動化された人工知能モデルを実行するように構成されるコンピュータープラットフォームからなり、１つまたは複数の自動化された人工知能モデルが、データ層からのデータ上でトレーニングされ、データ層は、術中外科的決定リスクを計算し、術中外科的ガイダンスをユーザーに提供するために、少なくとも手術画像を含む、人工知能術中外科的ガイダンスシステムを含む。より具体的には、コンピュータープラットフォームは、外科的ガイダンスを示す術中の視覚的ディスプレイをユーザーに提供するように構成される。コンピュータープラットフォームは、少なくとも１つの分類アルゴリズムを適用することにより、術中外科的決定リスクを示すようにトレーニングされている。
【0005】
新規な主題は、外科手術処置で使用するための動的ガイダンスインジケーターを生成するための方法をさらに含む。この方法は、対象の術中画像を受信することと、グリッドデータ予測マップを生成することであって、グリッドデータ予測マップが、人工知能エンジンによって生成されるように、生成することと、術中画像をグリッドデータ予測マップと位置合わせして、動的ガイダンスインジケーターを生成することとを含む。例示的な一実施形態では、動的ガイダンスインジケーターは、準最適な位置決めのための第１の色と、インプラントまたは骨のアライメント（）の最適な位置決めのための第２の色で作られている。
【0006】
新規な主題は、外科的ガイダンスを提供するためのコンピューターで実施される方法をさらに含む。方法のステップは、対象の解剖学的構造の非手術側の術前画像、および対象の解剖学的構造の手術側の術中画像からなる対象画像データを取得することと、グラフィカルユーザーインターフェイスに対象画像データを動的に表示することと、対象画像データ内の解剖学的構造を選択し、グリッドテンプレートを解剖学的構造にマッピングして、対象の解剖学的構造の非手術側の画像を、対象の解剖学的構造の手術側の術中画像の画像とともに登録して、登録された合成画像を提供することと、人工知能エンジンと、外科的ガイダンスを生成するように構成される少なくとも１つのデータセットからなるコンピュータープラットフォームを提供することと、データ出力として、登録された合成画像を人工知能エンジンに提供して、少なくとも１つの外科的ガイダンスを生成することと、コンピュータープラットフォームによって、登録された合成画像を少なくとも１つの外科的ガイダンスとともに動的に更新することとを含む。外科的ガイダンスには、ロボット同期、カッティングブロック、モノのインターネット（ＩｏＴ）デバイス、および追跡可能ガイドを含めることができる。
【0007】
新規な主題には、人工知能に基づく外科的ガイダンスのためのコンピューターで実施される方法が含まれる。新規な方法は、マイクロプロセッサに結合された非一時的コンピューター可読記憶媒体を含む、コンピュータープラットフォームを提供するステップであって、非一時的コンピューター可読記憶媒体は、複数のモジュールの機能を実装するコンピューターが可読な命令でエンコードされ、コンピューターが可読な命令はマイクロプロセッサによって実行される、ステップを含む。新規な方法は、対象の少なくとも１つの術前画像を受信するステップと、画像品質スコアリングモジュールを使用して画像品質スコアを計算するステップと、少なくとも１つの術前画像が受けいれられた場合、姿勢ガイドモジュールによって生成された品質スコアに基づいて術前画像を受けいれるか拒否するステップと、少なくとも１つの術前画像の歪みを補正するステップと、画像注釈モジュールを使用して術前画像内の少なくとも１つの解剖学的ランドマークに注釈を付けて、少なくとも１つの注釈付き術前画像を提供するステップと、少なくとも１つの注釈付き術前画像を術前画像データベースに保存するステップと、少なくとも１つの術中画像を受信するステップと、画像品質スコアリングモジュールを使用して画像品質スコアを計算するステップと、少なくとも１つの術中画像が受けいれられた場合、姿勢ガイドモジュールによって生成された品質スコアに基づいて、少なくとも１つの術中画像を受けいれるか拒否するステップと、少なくとも１つの術中画像の歪みを補正するステップと、画像注釈モジュールを使用して少なくとも１つの解剖学的ランドマークに注釈を付けて、少なくとも１つの注釈付き術中画像を提供するステップと、少なくとも１つの注釈付き術中画像を術前画像データベース内の最も一致する画像に登録するステップと、受けいれられた場合、画像登録を使用してマッチングスコアを計算するステップと、３Ｄ形状モデリングモジュールを使用して、インプラントまたは解剖学的構造の３次元形状を推定するステップと、画像登録モジュールを使用してアライメントグリッドを注釈付き画像特徴にマッピングし、合成画像を形成し、グラフィカルユーザーインターフェイスに合成画像を表示するステップと、コンピュータープラットフォームによって、合成画像を動的に更新して、少なくとも１つの外科的ガイダンスを提供するステップとを含む。
【0008】
より具体的には、この方法は、コンピュータープラットフォームによって対象の少なくとも１つの術後画像を受信するステップと、画像品質スコアリングモジュールを使用して、少なくとも１つの術後画像の画像品質スコアを計算するステップと、画像が受けいれられた場合、姿勢ガイドモジュールによって生成された品質スコアに基づいて、少なくとも１つの術後画像を受けいれるか拒否するステップと、少なくとも１つの術後画像の歪みを補正するステップと、画像注釈モジュールを使用して少なくとも１つの画像解剖学的ランドマークに注釈を付けて、少なくとも１つの術後注釈付き画像を提供するステップと、少なくとも１つの術後注釈付き画像を術後画像データベース内の前の画像に登録し、マッチングスコアを計算するステップと、受けいれられた場合、画像登録指標を使用してマッチングスコアを計算するステップと、３Ｄ形状モデリングモジュールを使用して、インプラントまたは解剖学的構造の３次元形状を推定するステップと、画像登録モジュールを使用して、アライメントグリッドを注釈付き画像特徴にマッピングするステップと、グラフィカルユーザーインターフェイスに合成画像を表示するステップと、術後転帰予測モデルを使用して転帰確率スコアを計算するステップと、合成画像をグラフィカルユーザーインターフェイスに表示するステップと、コンピュータープラットフォームによって、転帰予測ガイダンスとともに合成画像を動的に更新するステップとをさらに含む。
【0009】
本発明の主題は、アライメントまたは固定処置を実施する整形外科医に、整形外科医に術中外科的ガイダンスを提供するように構成される視覚的ディスプレイを提供する方法をさらに含む。この方法には、コンピュータープラットフォームを提供するステップであって、コンピュータープラットフォームは、複数のデータセットと、それぞれがアライメントまたは固定処置のための外科的転帰予測への加重寄与を有する、複数のトレーニングされた分類子を含む、少なくとも１つの転帰予測モジュールとをさらに含むように、提供するステップと、アライメントまたは固定処置を実施する整形外科医に術中外科的ガイダンスを提供するように構成される視覚的ディスプレイを提供するステップとを含む。
【0010】
特許または出願ファイルには、カラーで実行された図面が少なくとも１つ含まれている。この特許または特許出願の出版物とカラー図面のコピーは、要求と必要な料金の支払いに応じて、特許庁から提供される。図面は、本発明の例示的な形態による蛍光透視アライメントプレート装置および使用方法を概略的に示している。本発明の説明は、添付の図面を参照している。
【図面の簡単な説明】
【0011】
【発明を実施するための形態】
【0012】
本発明は、本発明の以下の詳細な説明を参照することにより、より容易に理解することができる。本発明は、本明細書に記載の特定の装置、方法、条件またはパラメーターに限定されず、本明細書で使用される用語は、例示としてのみ実施形態を説明するためのものであり、特許請求される発明を限定することを意図しないことを理解されたい。また、添付の特許請求の範囲を含む明細書で使用されるように、単数形「ａ」、「ａｎ」、および「ｔｈｅ」は複数形を含み、数値への言及は、文脈が明確に別段の指示をしない限り、少なくともその値を含む。範囲は、本明細書では、「約」または「おおよそ」のある値から、および／または「約」または「おおよそ」別の値までとして表すことができる。そのような範囲が表現される場合、別の実施形態は、一方の値からおよび／または他方の値までを含む。同様に、値が近似値として表される場合、先行詞「約」を使用することにより、値が別の実施形態を形成することが理解されるであろう。本明細書で使用される方法またはプロセスステップの全ての組み合わせは、別段の指定がない限り、または参照される組み合わせが行われる文脈によって反対に明確に暗示されない限り、任意の順序で実行することができる。本発明のこれらおよび他の態様、特徴および利点は、本明細書の詳細な説明を参照して理解され、添付の特許請求の範囲で特に指摘されるさまざまな要素および組み合わせによって実現される。本発明の前述の一般的な説明および以下の詳細な説明の両方は、本発明の好ましい実施形態の例示的かつ説明的であり、特許請求されるような本発明を限定するものではないことを理解されたい。別段の定義がない限り、本明細書で使用される全ての技術用語および科学用語は、本発明が属する技術分野の当業者によって一般に理解されるのと同じ意味を有する。
【0013】
次のシステムと方法は、一般に、対象画像データを表示し、外科的決定リスクを計算し、問題を予測し、リアルタイムの状況でガイダンスを提供する機械や深層学習などのデータサイエンス技術を適用するためのグラフィカルユーザーインターフェイスを備えたコンピュータープラットフォームに関連している。システムは、グラフィカルユーザーインターフェイスなどのディスプレイを介して推奨されるアクションを自律的に表示し、成功した処置の転帰の確率を計算することにより、最適化されたインプラントと対象の転帰（例えば、インプラントガイダンス、骨折整復、解剖学的アライメント）を提供する。本発明の主題は、人工知能術中外科的ガイダンスシステムおよび使用方法に関する。最も基本的な形式のシステムは、少なくとも術中の手術画像でトレーニングされた１つまたは複数の自動化された人工知能モデルを実行し、外科的決定リスクを計算し、術中外科的ガイダンス、および術中外科的ガイダンスをユーザーに提供するように構成されるコンピューターと、視覚的ディスプレイとを提供することを含む。
【0014】
人工知能は、人間の知能の特徴であるタスクを実行する機械の能力である。機械学習は、人工知能を実現する方法である。ＡＩは、インテリジェントな方法でタスクを実行する機械の機能である。機械学習は、分析モデルを自動的に構築するためのデータ分析を含む人工知能のアプリケーションである。機械学習は、コンピューターがデータから統計的および決定論的な分類または予測モデルを学習することを前提として動作する。より多くのデータがコンピューターシステムに入力されると、コンピューターとそのモデルは独立して適応する。データの誤った解釈は、間違いにつながり、最終的には失敗する転帰につながる可能性がある。人工知能は、人間の視点からは理解するのが難しいパターンや機能を識別することができる人間よりもはるかに大きくて賢いデータセットから統合して推測することができる。これは、解剖学的構造のアライメントとインプラントの正しい配置に特に関係する。システムは情報を分析および解釈し、既知のパターンのセットとの相関および新しいデータのセットからの推論に基づいてガイダンスを提供する。人工知能術中外科的ガイダンスシステムは、データ層データセットコレクションでトレーニングされた１つまたは複数の自動化された人工知能モデルを実行して外科的決定リスクを計算し、術中外科的ガイダンスを提供するコンピューター、およびユーザーに視覚的なガイダンスを提供するように構成されるディスプレイで構成されている。
【0015】
ここで図１Ａおよび１Ｂを参照すると、人工知能術中外科的ガイダンスシステム１は、撮像システム１１０を含む。撮像システム１１０は、対象の解剖学的構造の画像１２０（放射線写真、超音波、ＣＴ、ＭＲＩ、３Ｄ、テラヘルツ）などの対象画像データを受信する。術中外科的ガイダンスのために分析することができる例示的な医用画像は、Ｃアームと呼ばれる携帯型透視機械によって生成された画像などの放射線画像を含むことができる。いくつかの実施形態では、コンピュータープラットフォーム１００は、医用画像における自動化された術中外科的ガイダンスに関連する１つまたは複数の態様を実行するように構成することができる。例えば、コンピュータープラットフォーム１００および／または関連するモジュールは、手術中外科的画像、例えば、膝の蛍光透視画像を受信することができる。
【0016】
人工知能術中外科的ガイダンスシステム１は、選択された手術部位の一連のＸ線または蛍光透視画像の入力と、電子ディスプレイ装置１５０への出力を備えた、手術画像および仮想、拡張、またはホログラフィック寸法決めされたグリッドのオーバーレイを処理するためのコンピュータープラットフォーム１００とを含む。電子ディスプレイ装置１５０は、表示される合成画像およびグラフィカルユーザーインターフェイス１５１を提供する。グラフィカルユーザーインターフェイス１５１は、外科医、医師助手、外科スクラブナース、画像助手およびサポート要員などのユーザー１５５による寸法決めされたグリッド２００の操作を可能にするように構成される。コンピュータープラットフォーム１００は、センサー１３０と同期するように構成され、（ａ）術中の解剖学的（例えば、骨）情報、またはインプラントの位置情報を提供し、および（ｂ）ガイダンスのために、術後の解剖学的またはインプラントまたは外部のアライメントおよび補正デバイスの情報を人工知能エンジンに提供する。
【0017】
コンピュータープラットフォーム１００は、ロボットまたは触覚フィードバックデバイス１６２などの外科ファシリテーター１６０と同期して、ロボット手術のイネイブラーとして全体を通して説明されるのと同じ予測ガイダンスを提供するように構成される。コンピュータープラットフォーム１００は、拡張グリッドまたはインプラント、器具、または解剖学的構造のアバターを作成することができるインテリジェンス誘導追跡可能と同期し、知能でガイドされた人工現実追跡可能ナビゲーションのイネイブラーとして全体で説明されるのと同じ予測ガイダンスを提供するように構成される。
【0018】
システムコンポーネントには、選択した手術部位の一連のＸ線または蛍光透視画像の入力と、外科医などのユーザー１５５による寸法決めされたグリッド２００の操作を提供するための入力装置を含み、手術画像、および仮想、拡張、またはホログラフィック寸法決めされたグリッド２００と画像１２０とのオーバーレイを処理するための動的外科的ガイダンスシステム１とを含む。一実施形態では、電子ディスプレイ装置１５０は、コンピューターモニターなどの電子ディスプレイ装置、またはＧＬＡＳＳ（グーグル）などのヘッドアップディスプレイである。別の実施形態では、電子ディスプレイ画面１５０は、ビデオｆｐｖゴーグルである。電子ディスプレイ装置１５０への出力は、ユーザー１５５が一連の画像および寸法決めされたグリッド２００のオーバーレイを撮像するために提供される。
【0019】
拡張現実またはホログラフィック寸法決めされたグリッド２００は、外科手術デバイスの正しいアライメント／配置のロックを容易にする電子ディスプレイ装置１５０に示される解剖学的ランドマークを見ることによって、ユーザー１５５によって操作することができる。人工知能術中外科的ガイダンスシステム１により、ユーザー１５５は、シースルー視覚的ディスプレイを使用して画像のフィールド内で重要な作業情報を直接見ることができ、次に、使い慣れたジェスチャ、音声コマンド、およびモーション追跡を使用してそれと対話することができる。データはデータストレージに保存できる。人工知能術中外科的ガイダンスシステム１は、ユーザー１５５が、シースルー視覚的ディスプレイ装置１５０を使用して、画像のフィールド内の重要な作業情報を見て、拡張現実コントローラーなどによるグラフィカルユーザーインターフェイス１５１を介した、使い慣れたジェスチャ、音声コマンド、およびモーション追跡を使用してそれと対話することを可能にする。拡張現実またはホログラフィック寸法決めされたグリッドなどのグラフィカルユーザーインターフェイス１５１は、次いで、外科手術デバイスの正しいアライメント／配置のロックを容易にする電子ディスプレイ装置１５０上に示される解剖学的ランドマークを見ることによってユーザー１５５によって操作され得る。
【0020】
図２Ａおよび２Ｂは、本明細書に記載の主題の実施形態による動的外科的ガイダンスのためのコンピュータープラットフォーム１００を含む例示的な人工知能外科的ガイダンスシステム１を示す図である。コンピュータープラットフォームは、アプリケーション、プログラム、またはプロセスが実行されるハードウェアデバイスとオペレーティングシステムを含むシステムである。
【0021】
本明細書に記載の主題は、ハードウェアおよび／またはファームウェアと組み合わせたソフトウェアで実装することができる。例えば、本明細書で説明される主題は、少なくとも１つのプロセッサ１０１によって実行されるソフトウェアで実装することができる。１つの例示的な実装形態では、本明細書に記載の主題は、コンピュータープラットフォームのプロセッサによって実行されてステップを実行するコンピューターが実行可能な命令をその上に格納したコンピューター可読媒体を使用して実装することができる。本明細書に記載の主題を実施するのに適した例示的なコンピューター可読媒体には、ディスクメモリデバイス、チップメモリデバイス、プログラム可能ロジックデバイス、および特定用途向け集積回路などの非一時的デバイスが含まれる。さらに、本明細書に記載の主題を実施するコンピューター可読媒体は、単一のデバイスまたはコンピュータープラットフォーム上に配置することができ、または複数のデバイスまたはコンピュータープラットフォームに分散させることができる。本明細書で使用される場合、「機能」または「モジュール」という用語は、本明細書で説明される機能を実装するためのハードウェア、ファームウェア、またはハードウェアおよび／またはファームウェアと組み合わせたソフトウェアを指す。
【0022】
コンピュータープラットフォーム１００は、少なくとも１つのプロセッサ１０１およびメモリ１０２を含む。コンピューティングデバイスは、クラウドコンピューティング環境９８から１つまたは複数のサーバーを呼び出す／要求することができ、他の臨床メタデータは、１つのサーバーのみでソートされる場合、または別々のサーバーからソートされる場合、クラウド環境の少なくとも１つのサーバーから効率的に取得でき、データセットが異なるサーバーで部分的にソートされた場合、ＡＩエンジンから得られた一部の転帰は、クラウドプラットフォームの１つまたは複数のサーバーに直接送信およびそこでソートすることができる（プライバシーは保持される）。
【0023】
コンピュータープラットフォーム１００は、特定の瞬間に圧倒的な量の情報を人間が解釈できないためにユーザーが見ることができないリスク要因について画像を分析する。インプラントの配置とアライメントがこのデータパターンと一致しない場合、この特定の状況で認識を作成し、ユーザーに危険警告を提供する。基本的に、ユーザーが問題に遭遇する前に、問題を特定して予測する。これは、合併症の回避とエラーの防止につながり得る。コンピュータープラットフォーム１００は、画像の歪み補正、画像の特徴検出、画像の注釈とセグメンテーション、画像から画像への登録、２次元画像からの３次元推定、および医用画像の視覚化のためのモジュール、並びに人工知能モデルを使用して画像を最適または準最適な外科的転帰の予測として分類する１つまたは複数の外科的ガイダンスモジュールを含む医用画像データを受信および処理するための複数のソフトウェアモジュール１０３を含む。「動的な」または「動的に」という用語は、自動化された人工知能を意味し、例えば、機械学習、深層学習、強化学習、または動的に学習するその他の戦略など、さまざまな人工知能モデルを含めることができる。骨折の整復や変形の矯正などの外傷イベントにおいて、または股関節または膝の解剖学的アライメントや骨切りガイダンスなどの関節形成術イベントにおいて、またはインプラントアライメント補正を伴う脊椎手術のイベントにおいて、またはＡＣＬ再構築アライメントを伴うスポーツ医学イベントにおいて、イベントに役立つドメイン知識と組み合わせたこれらの外科手術処置特定のデータセットにアクセスできる。これらは、インプラントまたは解剖学的アライメントの重大な失敗モード要因を解釈するために使用され、組み合わされて、ユーザーに次善または最適なパフォーマンス指標の信頼度パーセンテージ推奨としてユーザーに出力される失敗リスクスコアを提供する。これは、リアルタイムイベントで発生した決定をサポートするために、インテリジェントな予測子とスコアの形式でユーザーに提示される。
【0024】
ソフトウェアモジュール１０３は、複数の層を含む。データ層１０５は、さまざまな管理された分散データ収集ネットワークからのデータ収集からなる。このデータのコレクションは、特定のタスクに対処するために必要な知識を表している。データ層（図２Ｂに詳述）は、アルゴリズム層１０６への入力であるデータのコレクションであり、データ層１０５を異なる展開タスクに必要な豊富なソース情報にする異なるシステムからのデータセットを含む。これらのデータ層１０５は、手術画像データおよび関連する転帰、医療アドバイザーの知識ベースおよびセンサーデータを含む。
【0025】
アルゴリズム層１０６は、データ層１０５で提供される入力を使用してアプリケーション層を対象とするように特別に設計されたコンピューターで実施される方法を含む。アルゴリズム層１０６は、ＡＩエンジンと呼ばれることもある。アルゴリズム層１０６は、異なる機械学習技術（工学的特徴）および人工知能技術（階層的学習特徴／特徴の学習された表現）を使用するさまざまな画像処理アルゴリズムを含む。全てのアルゴリズムは、画像強調、エッジ検出、セグメンテーション、登録などのさまざまなタスクを解決するように設計されている。アルゴリズム層１０５の助けを借りて、これらのタスクは自動的に実行されるが、これは、医療データの高レベルの複雑さを理解し、データ層で提供されるデータ間の依存関係を理解するのに役立つ。アルゴリズム層１０６はまた、統計モデルおよび予測モデルなどの学習アルゴリズムを含む。代表的な例としては、画像品質スコアリングアルゴリズム、深層学習アルゴリズム、機械学習ベースのアルゴリズム、画像登録アルゴリズムなどがある。
【0026】
コンピュータープラットフォーム１００は、１つまたは複数の自動化された人工知能モデルを実行するように構成される。１つまたは複数の自動化された人工知能モデルは、データ層１０５からのデータ上でトレーニングされる。データ層１０５は、少なくとも複数の手術画像を含む。人工知能術中外科的ガイダンスシステム１は、少なくとも１つの分類子を適用することによって術中外科的決定リスクを計算するようにトレーニングされたコンピュータープラットフォームを含む。より具体的には、コンピュータープラットフォームは、インプラント固定の術中医用画像を、外科的転帰を予測する個別のカテゴリー、例えば最適および準最適に分類するようにトレーニングされている。自動化された人工知能モデルは、術中外科的決定リスクを計算し、術中外科的ガイダンスを提供するようにトレーニングされ、視覚的ディスプレイは、術中外科的ガイダンスをユーザーに提供するように構成される。アプリケーション層１０７は、臨床意思決定支援、外科的ガイダンス、リスク要因、および画像解釈などの他の後処理アクションおよび視覚的ディスプレイを含むが、これらに限定されない。
【0027】
ここで、図３Ａおよび３Ｂを参照して、自動化された人工知能モデルの例が示される。コンピュータープラットフォーム１００は、１つまたは複数の自動化された人工知能モデルを実行するように構成される。これらの１つまたは複数の自動化された人工知能モデルは、データ層１０５からのデータ上でトレーニングされる。
【0028】
これらの自動化された人工知能モデルには、深層学習と、機械学習と、強化学習ベースの技術とが含まれる。例えば、畳み込みニューラルネットワーク（ＣＮＮ）は、低解像度、ノイズ／アーティファクトの存在、コントラスト／照明条件などに関連するローカル画像の特徴を学習するために、良い画像と悪い画像を含む注釈付き／ラベル付き画像を使用してトレーニングされる。ＣＮＮモデルは、学習機能を使用して、新しい画像に関する予測を行いる。ＣＮＮモデルには、最も有益な特徴を保持しながら、各特徴マップのサブサンプリング（またはダウンサンプリング）に進む、いくつかの従来の層といくつかのプーリング層を含めることができる。層のスタックには、サイズＮｘＭのさまざまな従来のカーネルを含めることができるが、ここでＮとＭは正の整数であり、それぞれカーネルの幅と高さを表する。
【0029】
図３Ａは、深層学習モデルのアーキテクチャーを示している。図３Ａに示されるＡＩ深層ＣＣＮアーキテクチャーは、畳み込みニューラルネットワークを使用してこの分類を定量化するスコアを使用した外科的転帰（最適対準最適）の分類用である。このアーキテクチャーは、線形および非線形の学習可能な演算子を含むいくつかの（深い）層で構成されており、高レベルの情報を構築して、識別情報の構築プロセスを自動化できる。深層学習ネットワークの第１の入力層は、データ層１０５のコレクションである元のデータセットを再構築する方法を学習する。後続の隠れ層は、以前の層のアクティブ化の確率分布を再構築する方法を学習する。隠れ層の数は、深層学習アーキテクチャーの深さレベルを定義する。ニューラルネットワークの出力層は、タスク全体に関連付けられている。
【0030】
図３に示されるように、分類ＣＮＮは、外科的転帰の出力確率スコアを提供する。このスコアは、インプラントの位置決めおよび／または骨のアライメントの品質を定量化する。層数やフィルターサイズを含むＣＮＮハイパーパラメーターは、データ層からのデータ収集で設計されたネットワークのパフォーマンスをテストする際に経験的に導き出された。ＣＮＮアーキテクチャーは、インプラントの位置決めに高感度の検出を提供するように調整可能である。
【0031】
図３Ｂは、術中のねじ挿入のタスクに適用されるマルチスケール強化学習（ＲＬ）の概略図である。このタイプの強化学習は、術中に挿入軌道と椎弓根ねじ軌道を説明することができる。
【0032】
ここで、図４Ａ～４Ｂを参照すると、ソフトウェアはモジュールに編成されており、この図に示すように、各モジュールには少なくとも１つの機能ブロックがある。非一時的コンピューター可読記憶媒体は、マイクロプロセッサに結合され、非一時的コンピューター可読記憶媒体は、以下のモジュールの機能を実装するコンピューターが可読な命令でエンコードされ、コンピューターが可読な命令はマイクロプロセッサによって実行される。
【0033】
人工知能術中外科的ガイダンスシステム１のコンピュータープラットフォーム１００は、以下のモジュールを含むことができる。モジュール５は、取得した医用画像の使用目的の品質を評価するための画像品質スコアリングアルゴリズムで構成されている。画像品質スコアリングアルゴリズムは、特定のアプリケーション向けの良い医用画像トレーニングデータセットと悪い医用画像トレーニングデータセットからの機械学習または深層学習に基づく画像処理アルゴリズムである。機械学習ベースのアルゴリズムの場合、特定の画像の画像品質スコアは、技術的なイメージ要因（例えば、明るさ、シャープネスなど）の重み付けされた組み合わせが、画像が画像の元の解剖学的構造をどれだけ明確かつ正確に捕捉するかに関連する正確さのレベルを定量化する品質指標に基づいて計算される。これらの要因の重み付けされた組み合わせは、最適または準最適な転帰またはパフォーマンス測定値の既知の予測因子である。例：「整復の妥当性」（図２８Ｂ）。技術的要因の重み付けされた組み合わせは、画像の品質を定量化する主要な要素のパラメーター化された組み合わせである。これは、画像の関連性の指標と見なすことができ、取得された画像が十分に機能するかどうかを判断する。本発明では、これは、品質指標／画像スコアを定義するために使用される。
【0034】
深層学習ベースの技術の場合、畳み込みニューラルネットワーク（ＣＮＮ）は、低解像度、ノイズ／アーティファクトの存在、コントラスト／照明条件などに関連するローカル画像特徴を学習するために、良い画像と悪い画像を含む注釈付き／ラベル付き画像を使用してトレーニングされる。ＣＮＮモデルは、学習機能を使用して、新しい画像の画像品質スコアを予測する。
【0035】
図３Ａに見られるように、ＣＮＮモデルは、最も有益な特徴を保持しながら、各特徴マップのサブサンプリングまたはダウンサンプリングに進むいくつかの従来の層およびいくつかのプーリング層を含むことができる。層のスタックには、サイズＮｘＭのさまざまな従来のカーネルを含めることができるが、ここでＮとＭは正の整数であり、それぞれカーネルの幅と高さを表する。モジュール５は、さらなるコンピュータービジョンおよび画像処理タスクのパフォーマンスを最大化する。モジュール５には、グリッドベースの姿勢ガイドを含めることもでき、ユーザーは、アプリケーションに応じて、より適切な画像を取得できる。
【0036】
モジュール６には、医用画像モダリティに固有の歪み、例えば術中Ｃアーム画像に固有の透視歪みを検出して修正するための１つまたは複数のアルゴリズムが含まれている。
【0037】
モジュール７は、骨や軟質組織の境界などの医用画像内の解剖学的ランドマークを検出し、医用画像内の解剖学的オブジェクトの輪郭または境界を識別するための画像処理アルゴリズムまたは高度な深層学習ベースの技術を含む画像注釈モジュールである。解剖学的ランドマーク検出は、他の患者の同じ解剖学的身体部分と高レベルの類似性を潜在的に持つ解剖学的身体部分の重要な要素の識別を意味する。深層学習アルゴリズムは、さまざまな従来の層を含み、その最終出力層は、画像内の重要なポイントのシステム座標を含むがこれに限定されない自己駆動データを提供する。本発明では、ランドマーク検出を適用して、身体の解剖学的部分のいくつかの重要な位置、例えば、大腿骨の左／右、および肩の左／右を決定することもできる。深層ニューラルネットワークの出力は、これらの解剖学的部分の注釈付きの位置である。この場合、深層学習アルゴリズムは、いくつかの要件を満たす必要があるトレーニングデータセットを使用する。トレーニングで使用される第１の画像の第１のランドマークは、トレーニングデータセット内の異なる画像間で一貫している必要がある。解剖学的オブジェクトの輪郭を特定することは、深層学習技術を使用して解剖学的構造の境界を維持しながら、画像の豊富な階層的特徴で構成されるエッジマップを提供することを指す。最適化されたハイパーパラメーター調整を備えた、高度に構成可能なさまざまな深層学習アーキテクチャーを使用して、特定のタスクの解決を支援する。一実施形態におけるトレーニングされた従来のニューラルネットワークは、１つまたは多くのプロセッサ可読記憶媒体および／またはクラウドコンピューティング環境９８に格納された調整されたハイパーパラメーターを含む。
【0038】
モジュール８は、これらの画像に関連付けられたメタデータとそれらのメタデータをクエリする機能を含む、術前医用画像の保存と取得のためのコンピューターアルゴリズムとデータ構造を含む術前画像データベースである。術前画像には、Ｘ線、蛍光透視法、超音波、コンピューター断層撮影、テラヘルツ画像、磁気共鳴画像などの複数の画像診断法が含まれ、患者の解剖学的構造の非手術側または対側の画像が含まれてもよい。
【0039】
モジュール９は、１つまたは複数の画像登録アルゴリズムを含む画像登録である。
【0040】
モジュール１０は、解剖学的形状の３次元（３Ｄ）統計モデルを再構築し、術中の２次元または３次元画像データに適合させるためのコンピューターアルゴリズムとデータ構造で構成されている。モジュール１１は、複数の医用画像、画像注釈、およびアライメントグリッドを外科的ガイダンス用の画像ベースの視覚化に構成するための画像処理アルゴリズムとデータ構造で構成されている。
【0041】
モジュール１２は、手術中の整復およびアライメント処置の医用画像を、次善または最適な転帰などの異なる外科的転帰を予測する個別のカテゴリーに分類する、機械および／または深層学習技術に基づく画像処理アルゴリズムで構成される人工知能エンジンである。モジュール１２によって生成される分類には、分類の統計的可能性を示し、画像分類子アルゴリズムの基礎となるモデル、つまり分類子から導出される関連スコアを含めることもできる。
【0042】
モジュール１３は、インプラント固定処置の術中医用画像を、準最適または最適などのさまざまな外科的転帰を予測する個別のカテゴリーに分類する、機械学習または深層学習の手法を使用する、画像処理アルゴリズムで構成される人工知能エンジンである。モジュール１３によって生成される分類には、分類の統計的可能性を示し、画像分類子アルゴリズムの基礎となるモデルから導出される関連スコアを含めることもできる。
【0043】
モジュール１４は、術後医用画像を保存および取得するためのコンピューターアルゴリズムとデータ構造で構成される術後画像データベースであり、これらの画像に関連付けられたメタデータと、それらのメタデータをクエリする機能が含まれる。術後画像には、定期的なフォローアップクリニック訪問または外科的修正中に取得された画像が含まれてもよい。
【0044】
モジュール１５は、時系列の術後医用画像を、次善または最適な転帰などのさまざまな外科的転帰を予測する個別のカテゴリーに分類するための画像処理アルゴリズムで構成される人工知能エンジンである。モジュール１５によって生成される分類には、分類の統計的可能性を示し、画像分類子アルゴリズムの基礎となるモデルから導出される関連スコアを含めることもできる。
【0045】
モジュール１６は、ＡＯ／ＯＴＡ分類データセットにアクセスできる骨折の識別および整復モジュールであり、画像を解釈して、骨、骨切片、骨折のタイプおよびグループを分類する。
【0046】
ここで、図２Ｂを参照すると、１つまたは複数の人工知能（ＡＩ）エンジンを含むコンピュータープラットフォーム１００は、図４Ａのモジュール１２、１３、および１５、および一連のデータセットからの情報を含む。ここでは、深層ニューラルネットワークと他の画像分類子が、１つまたは複数の画像の視覚的特徴を分析および解釈して、問題を予測し、手術または術後のフォローアップ期間の転帰を予測するようにトレーニングされている。トレーニングは、関連する既知の転帰データを含む１つまたは複数の医用画像データセットに依存する。したがって、このコンテキストでトレーニングされたニューラルネットワークは、医用画像の特徴の入力セットから外科的転帰分類を生成する予測モデルと考えることができる。
【0047】
転帰分類には、通常、分類が正しいという統計的可能性も伴う。まとめると、分類とその可能性は、それぞれ転帰予測とその予測の信頼度水準と考えることができる。最適ではない転帰の予測の場合、信頼度水準は最適ではない転帰の失敗リスクスコアと見なすことができる。したがって、分類と失敗リスクスコアは、最適な転帰につながり、次善の転帰を回避する決定をサポートするために外科医が使用できる。古典的な機械学習アプローチ、並びに畳み込みニューラルネットワーク［例えば、Ｌａｗｒｅｎｃｅ、Ｓｔｅｖｅ等の「顔認識：畳み込みニューラルネットワークアプローチ」ニューラルネットワーク上のＩＥＥＥトランザクション８．１（１９９７）：９８－１１３］などの最新の深層学習ネットワーク［ＬｅＣｕｎ、Ｙａｎｎ、Ｙｏｓｈｕａ Ｂｅｎｇｉｏ、ＧｅｏｆｆｒｅｙＨｉｎｔｏｎ。「深層学習」、ネーチャー５２１．７５５３（２０１５）：４３６］も使用できる。信頼度スコアを使用した外科的転帰分類子は、Ｃｏｘ比例ハザードモデル、または臨床研究データから構築された他の一般的な回帰ベースの失敗までの時間モデルを含む、多変量統計の任意の数の方法を使用して構築することもできる。多変量統計モデルを使用して構築された分類子の場合、入力には、医用画像データから導出された特徴セットが少なくとも部分的に含まれる。例えば、「非画像」データセット、例えば、データセットから派生した診断レポート（例えば、図４Ｂの「データセット転帰の外科的変数」）を使用して外科的転帰を特定するために、自然言語処理（ＮＰＬ）を使用して臨床テキストデータを処理できる。
【0048】
システムと方法は、対象画像データを読み取って解釈し、外科的決定リスクを計算し、エンドユーザーに、最適な転帰の確率の信頼度スコアと、インプラントおよび外科的要因のパフォーマンス指標の予測子を提供する機能など、人工知能プラットフォームの使用法を説明している。これは、コンピュータープラットフォームによって、少なくとも１つの外科的ガイダンスとともに合成画像を動的に更新することによって発生する。
【0049】
人工知能エンジンを含むコンピュータープラットフォーム１００は、データセットからの情報を利用および分析する。これらの情報セットは分析および構造化されており、特定の外科手術用途に基づいて、術中蛍光透視画像、術前および術後のＸ線、ＭＲＩ、コンピューター断層撮影データなどの手続き型医用画像データセットと、ＡＯ／ＯＴＡ Ｄａｎｉｓ－Ｗｅｂｅｒ骨折分類データセットと、Ｌａｕｇｅ－Ｈａｎｓｅｎ分類システムデータセットと、３Ｄ ＣＡＤモデルデータセット、フォンミーゼス応力失敗モードデータセットなどの生体力学的試験と、解剖学的特徴追跡のための医用画像特徴データセットと学習モデルと、最適なグリッドデータセットと、関連する転帰データを伴う骨折整復画像データセットと、その他の外科的転帰データセットと、査読済みの文献および臨床研究データセットと、合併症データセットの既知の予測因子と指標と、人体解剖学データセットの３Ｄ統計モデルと、その他の医用画像データセットと、専門医のドメイン知識データセットと、骨質指標データセットと、失敗リスクスコアデータセットと、対象のＨＥＲ情報データと、外傷転帰データ、関節形成術転帰スコアリングデータ、ＡＣＬ転帰評価尺度、脊椎スコアリングシステムなどの転帰外科変数データセットとを含めることができる。
【0050】
これらの外科的および処置特定のデータセットに加えて、併存疾患データ、奇形の存在、骨質指標スコアなどの対象の健康記録からの情報にアクセスできる。これらのデータセットは、処置の転帰に影響を与える可能性のある情報を含むように構成されている。データセットは、インプラントまたは解剖学的アライメントの重大な失敗モード要因を解釈するために使用され、人工知能エンジンの転帰分類子をトレーニングするために使用されると、最適または準最適な転帰の予測と関連する失敗リスクスコアをユーザーに提供する。ＡＩエンジンには、明確に定義されたタスクを解決する、例えば、インプラントの位置などを決定するためのデータ層から、特定のデータセット（１つまたは複数のデータセット、最も重要なのは、ＣＮＮに新しい関連機能を学習させる無相関データ）を使用して選択できる複数のＣＮＮベースの分類子が含まれている。
【0051】
独立したデータセットからの情報にはいつでもアクセスできる。あるいは、イベント中の状況で、さまざまなデータセットからの入力が同時に必要になる場合もある。この状況では、関連するデータセットからの情報が、人工知能（ＡＩ）エンジンに複数のトレーニングされた分類子の形式で含まれるように選択され、それぞれが最終的な外科的転帰の予測に加重される。この場合、機械および／または深層学習技術は、これらのデータセットの入力空間から関連する画像の特徴を特定することを目的としており、ＡＩエンジンは、特定のタスク、例えば、インプラントの位置決めや外科的ガイダンスに関する決定、およびそのタスクを解決するために必要なデータセットに対して個別にカスタマイズされたソフトウェアによる解決を探す。この複数の予測モデルは、特定の転帰の無相関または部分的に相関した予測子を共有するという観点から関係があるデータセットからの情報を利用する。ＡＩエンジンは、パフォーマンスまたは障害に関する重要度の相対レベルに基づいて、転帰予測データにさらに重みを付けることができる。モデルは、意思決定支援と転帰の予測、例えば、成功した最適な長期転帰の確率を出力する。
【0052】
コンピュータープラットフォーム１００は、コンピューター支援手術（ＣＡＳ）システムと同期して、コンピューター支援手術のイネイブラーとして全体を通して説明されるのと同じ予測ガイダンスを提供するように構成される。本明細書に記載の動的外科的ガイダンスシステム１は、予測ガイダンスを提供するか、または対象固有の、またはカスタムの一致したブロックガイド技術のイネイブラーとして機能する能力を有する。例えば、本発明は、股関節、膝、足首および肩のための関節形成術、ならびに筋骨格修復および脊椎用途のための外傷外科手術などの他の筋骨格用途に適用することができる。典型的なアプリケーションには、股関節、膝、肩、肘、足首の関節形成術、外傷骨折および四肢の変形矯正、脊椎、および大腿関節インピンジメント／（ＦＡＩ）／寛骨臼周辺の骨切術（ＰＡＯ）などのスポーツ医学の処置が含まれる。人工知能術中外科的ガイダンスシステム１は、対象画像データの取得するステップと、グラフィカルユーザーインターフェイスに対象画像データを動的に表示するステップと、対象画像データ内の解剖学的構造を選択し、グリッドテンプレートを解剖学的構造にマッピングして、登録された画像データを提供するステップと、外科的ガイダンスを生成するように構成される人工知能エンジンと、少なくとも１つのデータセットを提供するステップと、登録された画像データをデータ出力として人工知能エンジンに提供し、少なくとも１つの外科的ガイダンスを生成するステップと、コンピュータープラットフォームによって、登録された画像データの合成画像を、少なくとも１つの外科的ガイダンスとともに動的に更新するステップとを含む方法を実施するように構成される。外科的ガイダンスは、変形矯正、解剖学的アライメント、骨折の整復、および解剖学的整復に関連している。外科的ガイダンスのプロセスは、これらのアプリケーションについて次のセクションで説明する。この方法には、グリッドテンプレートによってガイドされる追跡可能な位置および配向を生成するステップがさらに含まれる。これらのステップは、図５Ａ～３１に実施されるとき、より完全に説明される。
【0053】
ここで、図４Ａおよび５Ａ～５Ｃを参照すると、人工知能エンジンの使用のオーバー画像、および登録された術前、術中、および術後の画像に適用されるデータセットは、整復およびアライメントならびにインプラント固定処置で使用するためのグラフィカルユーザーインターフェイスをもたらす。術前ワークフローが提供される。ワークフローは次のように進行する。人工知能術中外科的ガイダンスシステム１の撮像システム１１０は、１つまたは複数の術前画像などの対象画像データを受信し、画像品質スコアリングおよび姿勢ガイドモジュール５を使用して画像品質スコアを計算する。ユーザーには、画像品質スコアと姿勢ガイドガイダンスに基づいて、画像を受けいれるか拒否するかの選択が提示される。画像が拒否された場合、オペレーターは許容可能な画像の取得を再試行する。受けいれられた場合、画像の歪みが検出され、歪み補正モジュール６を使用して補正される。次に、画像注釈モジュール７を使用して、解剖学的ランドマークと画像セグメンテーションで画像に注釈を付ける。次に、画像は、術前画像データベースモジュール８を介して、術中および術後のワークフローで後で使用するために保存される。次に、このプロセスを繰り返して、術中および術後のワークフローで後で参照するために必要な任意の数の画像を取得する。
【0054】
ここで、図４Ａおよび５Ｂを参照すると、術中ワークフローが提供される。プロセスは次のように進行する。人工知能術中外科的ガイダンスシステム１は、１つまたは複数の術前画像を受信し、画像品質スコアリングおよび姿勢ガイドモジュール５を使用して画像品質スコアを計算する。ユーザーには、画像品質スコアと姿勢ガイドガイダンスに基づいて、画像を受けいれるか拒否するかの選択が提示される。画像が拒否された場合、オペレーターは許容可能な画像の取得を再試行する。受けいれられた場合、画像の歪みが検出され、歪み補正モジュール（６）を使用して補正される。次に、画像注釈モジュール７を使用して、解剖学的ランドマークと画像セグメンテーションで画像に注釈を付ける。次に、人工知能術中外科的ガイダンスシステム１は、画像を術前画像データベースモジュール８内の最も一致する対応する画像に登録し、画像登録モジュール９を使用してマッチングスコアを計算する。ユーザーは、登録の一致と品質スコアに基づいて、画像と登録を受けいれまたは拒否する。受けいれられた場合、３次元解剖学的形状情報は、３Ｄ形状モデリングモジュール１０を使用して計算され、続いて、画像登録モジュール９を使用して、注釈付き画像へのアライメントグリッドの登録（マッピング）が可能である。
【0055】
登録のステップは、対応するピクセルが相同な生物学的ポイントを表すように、非手術側の術前の画像（固定画像、ｆ（ｘ））、および手術側の術中の画像（現在の動画、ｍ（ｘ））を、共通の座標系に変換するプロセスである。これは、ｆ（ｘ）内の点をｍ（ｘ）にマッピングする変換Ｔ（ｘ）を復元することを意味する。これは、（１）変換モデルを定義し、（２）最小化する目的関数を記述する類似性指標を決定し、（３）最小化問題を解決する最適化アルゴリズムを決定するという、手順で実行される。これらの画像の効果的なアライメントにより、外科医はさまざまな特性を強調できるため、これらの画像のより良い比較を確立できる。登録される画像は、同じモダリティから画像化される必要はなく、それは、ＭＲＩからＣＴ、またはＣＴからＣＴなどであり得る、ことに留意すべきである。
【0056】
人工知能術中外科的ガイダンスシステム１のコンピュータープラットフォーム１００は、現在取得された画像、アライメントされた術前画像、画像構成モジュール１１を使用して登録されたアライメントグリッドの任意の組み合わせを使用して、ユーザーに表示するための１つまたは複数の合成画像を生成する。ここでは、処置のタイプに応じてさまざまなプロセスが実行される。整復とアライメントの場合、システムは、整復およびアライメントの転帰予測モジュール１２を使用して、転帰分類と失敗リスクスコアを計算する。インプラント固定の場合、システムは、インプラント固定転帰予測モジュール１３を使用して、転帰分類と失敗リスクスコアを計算する。
【0057】
次に、人工知能術中外科的ガイダンスシステム１は、表示された合成画像およびグラフィカルユーザーインターフェイスに、任意の外科的ガイダンス情報とともに、転帰分類および失敗リスクスコアで注釈を付ける。次に、外科的ガイダンス指令は、触覚フィードバックデバイス、ロボット、追跡されたインプラントまたはオブジェクトなどの追跡可能ガイド、カッティングブロック、コンピューター支援手術装置、ＩｏＴデバイス、および複合リアリティデバイスなどの外科ファシリテーター１６０に伝達され得る。
【0058】
ここで、図４Ａおよび５Ｃを参照すると、術後ワークフローが提供される。プロセスは次のように進行する。人工知能術中外科的ガイダンスシステム１は、１つまたは複数の術後画像を受信し、画像品質スコアリングおよび姿勢ガイドモジュール（５）を使用して画像品質スコアを計算する。ユーザーには、画像品質スコアと姿勢ガイドガイダンスに基づいて、画像を受けいれるか拒否するかの選択が提示される。画像が拒否された場合、オペレーターは許容可能な画像の取得を再試行する。受けいれられた場合、画像の歪みが検出され、歪み補正モジュール６を使用して補正される。次に、画像注釈モジュール７を使用して、解剖学的ランドマークと画像セグメンテーションで画像に注釈を付ける。次に、人工知能術中外科的ガイダンスシステム１は、画像を術後画像データベース１４内の先行する全ての時系列画像に登録し、画像登録モジュール９を使用してマッチングスコアを計算する。ユーザーは、登録の一致と品質スコアに基づいて、画像と登録を受けいれまたは拒否する。受けいれられた場合、３次元解剖学的形状情報は、３Ｄ形状モデリングモジュール１０を使用して計算され、続いて、画像登録モジュール９を使用して、注釈付き画像へのアライメントグリッドの登録（マッピング）が可能である。
【0059】
人工知能術中外科的ガイダンスシステム１は、現在取得された画像、アライメントされた術前画像、画像構成モジュール１１を使用して登録されたアライメントグリッドの任意の組み合わせを使用して、ユーザーに表示するための合成画像を生成する。次に、システムは、術後転帰予測モジュール１３を使用して、転帰分類と失敗リスクスコアを計算する。次に、人工知能術中外科的ガイダンスシステム１は、表示された合成画像およびグラフィカルユーザーインターフェイスに、ガイダンス情報とともに、転帰分類および失敗リスクスコアで注釈を付ける。
【0060】
ここで、図６を参照すると、対象は、特定の処置、例えば、関節置換、整形外科外傷、変形矯正、スポーツ医学、および脊椎に示される標準的な方法で、医学的または外科的イベントのために準備および配置される。術前画像１１５またはデータがインポートされ、図６に示される。術前画像１１５は、対象の解剖学的画像の上に重ねられたグリッドテンプレート２００を示している。
【0061】
グリッドテンプレート２００は、例えば、外科的変数に関連する２３０複数の寸法決めされた放射線不透過性線を有する。不透明ではないグリッドテンプレート２００の部分は放射線透過性である。グリッドテンプレート２００は、基準角度、長さの位置決めまたはターゲティングを参照するための幾何学的性質またはテキストの任意の形状またはパターンを含むことができる。グリッドテンプレート２００は、単一の線、幾何学的パターン、数字、文字、または外科的変数に対応する複数の線および幾何学的形状の複雑なパターンであり得る。グリッドパターンは、外科医の解剖学に関する知識と、解剖学的ランドマークの間の重要な関係と寸法を特定する形態計測文献および研究の解釈、および特定の処置に関連しているとき、優れた外科技術のサポートへの応用を含む臨床経験とに基づいて、術中にリアルタイムで事前設計または構築できる。デジタル寸法決めされたグリッドに関して、この形式のグリッドテンプレート２００は、アプリケーションソフトウェアによって生成される。
【0062】
対象は、特定の処置、例えば、関節置換術、整形外科的外傷、奇形矯正、スポーツ医学、および脊椎に示されるように、標準的な方法で医学的または外科的イベントのために準備および配置される。それぞれのアプリケーションの処置固有の情報は、術前画像１１５またはデータから抽出され、ライブ術中画像１２０にマッピングされる。マッピングは、術前から術中の画像空間への最適な画像変換を計算することとして定義される。変換は、変形フィールドとアフィンまたは剛体変換の合成で構成される。最適な変換は、相互情報の勾配降下、相互相関、または術前１１５および術中画像１２０の対応する特定の解剖学的ランドマークの識別を含む、さまざまな確立された方法を使用して計算される。例えば、その全体が参照により具体的に組み込まれる米国特許番号９６１０１３４を参照されたい。
【0063】
ここで、図７Ａを参照すると、非患側の解剖学的構造の新しい画像１２０が取得され、コンピュータープラットフォーム１００に送信される（無線で送信することができる）。処置の開始時に、ユーザーは、コンピュータープラットフォーム１００のソフトウェアを使用して、解剖学的位置決め、すなわち、図４Ａに示されるような画像ＱＳおよび姿勢モジュールで支援する。コンピュータープラットフォーム１００は、術中画像１２０上のランドマークを識別し、撮影される画像の最適な姿勢を決定する。ランドマークは、医用画像データセットから学習した分類子に基づいて識別される。転帰分類子は、深層ニューラルネットワーク、テンプレートマッチングアルゴリズム、またはルールベースの分類子または決定木の形をとることができる。
【0064】
ここで、図７Ｂを参照すると、、コンピュータープラットフォーム１００は、良い姿勢推定のリアルタイムガイドテンプレート２５０を提供する。ガイドテンプレート２５０は、ユーザーが、人工知能術中外科的ガイダンスシステム１が、後続の新しい画像１２０を電子ディスプレイ装置１５０に示されるような最適な姿勢画像のデータセットと一致させるための最適な機会を獲得するためのガイドである。例えば、足首では、姿勢が選択されると、側面画像を特定の解剖学的特徴と、これらの特徴（脛骨、腓骨、距骨）にマッピングされたガイドテンプレート２５０に分割できる。
【0065】
図８Ａ～Ｃは、姿勢ガイド画像２６０を提供するための画像および姿勢ガイドテンプレート２５０のオーバーレイマッピングを示す。ユーザーが好ましいまたは正しい画像姿勢を取得すると、その画像および／またはガイドテンプレート２５０は、処置の残りの間、ガイダンス姿勢ガイド画像２６０として使用することができる。ガイダンス姿勢ガイド画像２６０は、身体の対側または非患側の画像、またはデータセットからの最適な画像、統計的形状モデル、または幾何学的仮想グリッドであり得る。
【0066】
ユーザーは、必要なガイダンス姿勢ガイド画像２６０と一致するか、しきい値が検出されるよう満足されるまで、後続の画像を撮影する。正しい姿勢は、１）解剖学的構造（対象）の位置を調整する方法、または２）撮像機器（Ｃアームなど）の姿勢／角度を調整する方法の２つの方法で取得できる。このプロセスは、ユーザーによって手動で指示されるか、またはコンピュータープラットフォーム１００のソフトウェアモジュールによって自律的に実行され得る。コンピュータープラットフォーム１００は、一致した画像２７０が術前画像データベース内の画像１２０のうちの１つによく一致するかどうかを決定しようとする。ここで、コンピュータープラットフォーム１００は、図３Ａに示すように、画像登録モジュール９を使用する。
【0067】
このプロセスには、画像ペアにすばやく適用できるマルチスケールの画像ベースの登録指標が含まれる。閾値を超える一致が検出された場合、コンピュータープラットフォーム１００は、画像ランドマーク分類子の技術のいずれかを使用して、新しい画像内の関連する解剖学的ランドマークを自動的に識別しようとする。ランドマーク情報およびオプションで他の画像情報を使用して、新しい画像から術前画像の座標空間への変換Ｔを計算する。
【0068】
ここで、図８Ｂを参照すると、自動ランドマークおよびスマート画像登録がこの時点で発生し、それにより、コンピュータープラットフォーム１００は、一致した画像２７０において、後部遠位腓骨２７１などの関連する解剖学的ランドマークを自動的に識別しようとする。ランドマーク分類子の前述の手法のいずれかを使用できる。さらに、エッジと特徴の認識、ランドマークの識別、統計的アトラス登録、および変形可能なモデルに基づく画像ネイルアプローチを使用して、距骨２７２などの画像から解剖学的構造の関連領域をセグメント化できる。これらの画像では、一致した画像２７０は、この状況で姿勢ガイド２５０として機能するテンプレートである。
【0069】
ここで、図８Ｃを参照すると、専門家ドメイン知識データセットに加えて、画像登録モジュール９および姿勢ガイドモジュール５を備えた最良の画像姿勢ガイダンスの良い面に、示されるようにアクセスされる。最良の姿勢画像が受けいれられると、画像登録モジュール９は、アプリケーション固有の特徴２８０、例えば、足首骨折処置における距骨を識別する。出力は、所望の解剖学的特徴の自動識別および選択であり、画像およびグリッドのアライメントを表示するこれらの特徴２８０に対して配置されたグリッドテンプレート２００である。
【0070】
ここで、図４Ａおよび５参照すと、、画像登録モジュール９において、外科医などのユーザーは、グラフィカルユーザーインターフェイス１５１上の解剖学的画像内の少なくとも１つの解剖学的ランドマークを選択する。解剖学的ランドマークの選択は、コンピュータープラットフォーム１００のソフトウェアが、特徴／パターン認識プロセスを使用して、既知の標的化された解剖学的ランドマークを自動検出する場合の自動セグメンテーション、ジャイロマウスなどのリモート赤外線デバイスの使用、音声コマンド、エアージェスチャー、見つめること（外科医は見つめることおよび目または頭の動きの方向を使用してターゲティングを制御する）、または、選択した解剖学的ランドマークの視覚化画面をタッチすること、を含むがこれらに限定されないさまざまな方法によって達成することができる。
【0071】
例示的な埋め込みの１つでは、外科医は、解剖学的ランドマークの選択を手動で、または赤外線ワンドまたは拡張リアリティデバイスなどのさまざまな入力装置を使用してワークステーションに入力する。コンピュータープラットフォーム１００のアプリケーションソフトウェアは、選択された解剖学的ランドマークを有するグリッドテンプレート２００を登録する。この方法は、少なくとも１つの解剖学的ランドマークを選択して、グリッドテンプレート２００に少なくとも１つのグリッドインジケーター２８０を提供することによって、解剖学的画像をグリッドテンプレート２００に登録するステップを含む。グリッドインジケーター２８０は、登録の目的で仮想グリッドテンプレート２００上の既知の位置と相関する画像上に定義および配置された解剖学的特徴である。必要に応じて、登録手順を使用して、画像のゆがみを解除するか、画像のゆがみに応じてデジタルグリッドインジケーターをゆがめる。
【0072】
コンピュータープラットフォーム１００のソフトウェアは、画像内で放射線不透過性であるキャリブレーションポイントを識別および認識する。これらは既知の寸法形状である。これらのポイントのグループは、歪みキャリブレーションアレイである。歪みキャリブレーションアレイは、画像が撮影およびキャプチャされたときに既知の歪みキャリブレーションアレイのライン／ポイントが識別されるように、画像補強器または任意の撮像システムの画像フィールドに配置される。これらの既知のパターンは、歪みの適応／修正プロセスで使用するために保存される。歪みキャリブレーションアレイは、不要なライン／ポイントで画像を覆い隠したりごちゃごちゃにしたりしないように、表示媒体の視覚化から削除される。歪みキャリブレーションアレイは、グリッドテンプレート２００の歪み適応をサポートするために配置される一連の線または点を作ることができる。歪みキャリブレーションアレイのポイントまたはラインは、歪みプロセスが、解剖学的構造に対するこれらのポイント／ラインの位置を計算し、撮影された各画像中の歪みの量を定量化できるように、放射線不透過性である。これらのポイント／ラインが識別され、歪みプロセスで使用されると、外科医がグリッドテンプレート２００と解剖学的画像を見たときに外科医の画像を妨げないよう、解剖学的画像からこれらの点／線の視覚化を削除する別のプロセスがある。
【0073】
一実施形態では、登録プロセスは、解剖学的画像に重ねられたグリッドテンプレート２００上にグリッドランドマーク（グリッド線の交点、点、線分など）を手動または自動で検出し、および次に、アフィン登録と変形フィールドを介してこれらのランドマークを、デジタルで表される既知のジオメトリの歪みキャリブレーションアレイ上の対応するランドマークと位置合わせすることを含む。この方法は、較正された寸法決めされたグリッドを変形して、解剖学的画像の歪みを補正して、変形された較正された寸法決めされたグリッド画像を生成するステップを含む。
（歪みキャリブレーションアレイからの）既知の放射線不透過性のライン／ポイントを使用して、各解剖学的画像のＥＭ歪みの測定値を提供する。歪みが定量化され、次に、コンピュータープラットフォーム１００で生成された仮想グリッドのソフトウェアが、各解剖学的画像の歪みのある解剖学的構造に一致するように適合される。
（歪みキャリブレーションアレイからの）既知の放射線不透過性のライン／ポイントを使用して、各解剖学的画像のＥＭ歪みの測定値を提供する。歪みが定量化され、次に、コンピュータープラットフォーム１００で生成された仮想グリッドのソフトウェアが、各解剖学的画像の歪みのある解剖学的構造に一致するように適合される。
【0074】
歪みキャリブレーションアレイは、選択した解剖学的ランドマークが、外科医が関心領域で変形補正をより正確に推定できるために、これらの領域でより密にクラスター化されるように、不均一な設計である。変形の推定は次のように進行する。選択した解剖学的ランドマークが、アレイ画像上で（手動または自動で）特定されたら、グリッドテンプレート２００からアレイ画像への対応する選択された解剖学的ランドマーク間の最良のマッピングを生成するアフィン変換が計算される。
（変換されたグリッドポイントとアレイ画像ポイントの間の残差である）変形フィールドのアレイ画像のランドマークに関して、平行移動、回転、およびスケーリングのためランドマークを調整する、アフィン変換によるグリッドポイントの続く変換が、薄板スプラインまたはその他の適切な放射基底関数を使用してモデル化される。薄板スプラインまたは放射基底関数のパラメーターは、線形連立方程式を解くことによって推定される。米国特許出願第１５／３８３，９７５号（これにより、参照により具体的に組み込まれる）を参照のこと。アレイ画像は、参照画像またはキャリブレーション画像になる。
（変換されたグリッドポイントとアレイ画像ポイントの間の残差である）変形フィールドのアレイ画像のランドマークに関して、平行移動、回転、およびスケーリングのためランドマークを調整する、アフィン変換によるグリッドポイントの続く変換が、薄板スプラインまたはその他の適切な放射基底関数を使用してモデル化される。薄板スプラインまたは放射基底関数のパラメーターは、線形連立方程式を解くことによって推定される。米国特許出願第１５／３８３，９７５号（これにより、参照により具体的に組み込まれる）を参照のこと。アレイ画像は、参照画像またはキャリブレーション画像になる。
【0075】
変形フィールドが計算されると、寸法決めされたグリッドが術中にリアルタイムで対象の解剖学的構造に嵌合するように適合され、したがって、筋骨格の解剖学的構造またはインプラントの形状に一致または嵌合させるために使用できる曲線などの歪んだグリッドインジケーターが生成される。次に、グリッドインジケーターの変形は、最初にアフィン変換を適用し、次に変形フィールドに沿ってグリッドインジケーターをゆがめることにより、リアルタイムで適用される。ランドマークの識別で定義および対象とされた解剖学的ポイントに基づくグリッドパターンが生成される。コンピュータープラットフォーム１００のソフトウェアは、各画像の歪みの量を計算するように構成され、解剖学的画像に対してこの量を定量化し、次に、対象の解剖学的構造の画像を、定量的に歪んだ寸法決めされたグリッド画像とともに表示する、計算されたグリッド／画像の関係を表示する。これらの変形したグリッドは、新しい画像が撮影されるたびにリアルタイムで追跡される。変形したグリッドは、解剖学的構造、インプラント、および骨折に対して、外科医などのユーザーが自動または手動で配置できる。アルゴリズム内では、測定値、差、角度、グリッドとインプラントの位置、骨折の偏差を計算するために多数の方程式と式が使用され、インプラントまたは外傷に関連する外科的変数の少なくとも１つの測定値が決定される。
【0076】
自動セグメンテーションでは、外科医によって選択された少なくとも１つの解剖学的ランドマークが、連続する解剖学的画像ごとに自動的に選択される。自動セグメンテーションにより、外科医はより迅速に作業できる。自動セグメンテーションは、次の１つまたは複数の手法、すなわち、強度しきい値、ハフ変換または他の方法による形状検出を含む、画像の強度エッジでの特徴検出、および特徴検出と、それに続く事前定義されたランドマーク位置を有する２Ｄまたは３Ｄの解剖学的アトラスの登録、を組み合わせて実行される。
【0077】
ここで、図９Ａ～Ｂおよび１０を参照すると、解剖学的特徴が定義された術中画像が、グラフィカルユーザーインターフェイスとして示される。グリッドテンプレート２００は、識別された解剖学的オブジェクトまたはインプラント特徴にマッピングされて、一致するグリッドマップ画像２９０を形成する。この画像では、オブジェクトは外側距骨２８０である。コンピュータープラットフォーム１００は、特徴を自動追跡し、解剖学的構造、オブジェクト、およびインプラントの新しい座標位置および統合グリッドマップを計算するように構成される。グラフィカルユーザーインターフェイスは、ｉ）後続の画像の自動追跡のためにロックされ、ｉｉ）アライメントグリッドを自動統合して配置する。グラフィカルユーザーインターフェイスを使用して、アライメントグリッド３５０が一致した画像内に配置される。ユーザー調整が受けいれられ、コンピュータープラットフォーム１００は、一致するグリッドマップ２９０を提供するように構成される。
【0078】
ここで、図１１Ａ～Ｂを参照すると、患側の画像１２１が得られる。患側は、変形した、負傷した、または病気の手足を示す事があり得る。良い側について前述したプロセスが、患側に対して繰り返される。このプロセスでは、対象の良い面に合わせることで、最良の姿勢と解剖学的特徴、オブジェクト、インプラントの自動識別が行われる。プロセスへの入力は、患側の画像、良い側の姿勢ガイドデータ、およびデータセットの機能識別である。コンピュータープラットフォーム１００によって実行されるタスクは、良い側との最良の姿勢の一致を推定し、特徴およびグリッドマップを自動マッピングすることである。必要なアクションは、最適な姿勢を計算し、特徴を自動識別し、一致するグリッドマップを計算することである。出力は良い面（対側）であり、与えられた面は画像上に配置されたアライメントグリッドと一致する。
【0079】
ここで、図１２Ａ～Ｂを参照すると、ＡＯ／ＯＴＡ分類データセットにアクセスできる骨折識別および整復モジュール１６は、画像を解釈し、骨、骨切片、骨折のタイプおよびグループの分類を行う。グラフィカルユーザーインターフェイスとして図１２Ａに示すように、ユーザーは分類を受けいれることができる。例示的な実施形態では、処置が骨折を伴う場合、患側画像は、ＡＯ／ＯＴＡ分類システムにしたがって分類される４５骨折および骨折のタイプにしたがい分析される。例えば、足首骨折の選択は骨幹端複合体（４３－Ａ３）として分類される。次に、分類が受けいれられた場合、タスクおよびアクションには、治療オプションの提供が含まれる４７。
【0080】
図１２Ｂ～Ｃに示されるように、治療オプション４７は、選択された分類に基づいて提供される。治療オプション４７は、グラフィカルユーザーインターフェイスとして表示される。ここでは、この骨折状況で使用するための外傷プレートインプラント４９が示される。これは、関連するデータセットからの骨折タイプの選択を確認するように構成されるコンピュータープラットフォーム１００によって達成され、アルゴリズムモジュールは、治療計画分析およびユーザー１５５に対する提案のためにアクセスされる。治療オプション４７には、このタイプの骨折分類を固定するための推奨インプラント、例えば特定のねじ構成と選択４９を備えたインプラントプレートの決定が含まれる。自動骨折識別は、深層畳み込みニューラルネットワークやルールベースの分類子など、さまざまな機械学習アプローチでトレーニングされた分類子を使用して実行できる。
【0081】
より具体的には、ＣＮＮモデルが、１つまたは複数の骨折のある画像と骨折のない他の画像を含むデータセットでトレーニングされる。次に、ＣＮＮモデルは、骨折があるかどうかを判断し、特定された骨折および／または異常を含む関心領域を特定する。画像内の骨折領域の正確な識別は、骨折のタイプの固定プロセスに関する証拠を提供することに加えて、分類をサポートするために必要な重要情報である。実際には、入力画像は、特徴マップを生成するために、さまざまな従来の最大プーリング層を含むＣＮＮモデル（代表的なアーキテクチャーが図３Ａに示される）によって処理される。最後の層では、ネットワークが関心領域の位置とサイズを示す特徴マップ情報に基づいて、画像上の候補「骨折関心領域」をターゲットにするように変更される。次に、ＣＮＮモデルによってマークされた、全ての骨折位置と疑わしい異常検出を含む候補領域が表示される。
【0082】
ここで、図１３Ａ～Ｂを参照すると、ガイダンス姿勢ガイド画像２６０は、類似性評価およびマッピングモジュールのためのテンプレート画像として処置全体を通して使用される良好側参照画像として使用され得るが、それにより、良好な、または非患側の解剖学的構造が、患側の解剖学的構造１２１の画像と一致する。これは、画像分析およびセグメンテーション技術を使用して類似性評価を自律的に実行し、影響を受けた画像および対側の画像の骨の解剖学的特徴をリアルタイムで識別および登録するように構成されるコンピュータープラットフォーム１００によって達成される。この手法はゴーストとして識別される。ゴーストでは、オーバーレイ画像５０は、ガイダンス姿勢ガイド画像２６０を参照して、良い側の画像１２０と悪い側の画像１２１を重ね合わせることによって得られる。手術画像と対側画像のマッチングは、最適な画像変換を計算することによって実現される。変換には、変形フィールドとアフィン変換または剛体変換の構成を含めることができる。最適な変換は、相互情報の勾配降下法、相互相関、または術前および術中の画像における対応する特定の解剖学的ランドマークの識別を含む、さまざまな確立された方法を使用して計算できる。
【0083】
より具体的には、図５Ａ～５Ｃに示されるように、ゴースト化処置は、１）手術前に、手術室の担当者は、患者または対象の解剖学的構造の非手術側の術前画像を取得する、ステップを含む。例えば、足首骨折の場合、負傷していない足首の標準的な前部－後部、横、およびくり抜きの画像が撮影される。これらの画像は、症例の前に標準的なＸ線を使用して放射線科で取得し、手術前にデバイスにロードするように外科医から注文される場合もある。２）ステップ１で取得された非手術側の画像は、コンピュータープラットフォーム１００によって処理されて、後で手術側との画像登録に使用される主要なランドマークを識別する。さらに、これらの画像は歪みが補正され、グリッドテンプレートがオーバーレイされ得る。３）手術の整復フェーズ中に、外科医が骨折した解剖学的構造の整復に使用する手術側の画像が取得される。これらの手術側画像は、非手術側との画像登録に使用される主要なランドマークを識別するために処理される。さらに、これらの画像は歪みが補正され得る。４）コンピュータープラットフォーム１００は、画像類似性指標を使用して、現在の手術側画像に最も一致する非手術側画像を識別する。最も一致する非手術側画像が現在の手術側画像に登録される。登録プロセスでは、変換マトリックス（アフィンまたはリジッド）、変形グリッド、またはその両方で構成される画像変換を計算する。５）コンピュータープラットフォーム１００は、画像変換を使用して、非手術側画像を現在の手術側画像と位置合わせし、非手術側画像と手術側画像の解剖学的位置決めの違いを示す画像オーバーレイを生成する。このオーバーレイ画像は、外科医が、（非手術側の解剖学的位置決めに基づき）手術側で患者の通常の解剖学的構造を復元するために使用できるテンプレートであるガイダンス姿勢ガイド画像２６０である。６）非手術側画像に配置された任意の寸法決めされたグリッドまたはその他の注釈は、手術側画像上の対応する位置に変換して、登録された合成画像を補強することができる。
【0084】
ここで、図１４Ａを参照すると、類似性評価５２が実行され、登録一致信頼度が１つまたは複数の画像登録アルゴリズムを含む画像登録モジュール９に基づいて計算される。類似性評価５２は、類似性評価およびマッピングを示している。
【0085】
図１４Ｂ～Ｃにおいて、信頼度パーセンテージのグリッド類似性マッピングが、非手術側画像を現在の手術側と位置合わせすることによって、グラフィカルユーザーインターフェイスディスプレイに示される。コンピュータープラットフォーム１００によって計算された、差５３の「ゴースト」または良好対不良のマッピング／マッチング／オーバーレイのレンダリング表示。キーカラーは、２つの画像の面積の違いを示す赤である。強調表示されたガイドを使用して、一致測定５４が、提供された情報を受けいれるか拒否するかをユーザーに示される。ユーザーは、例えばアライメントでの使用に許容できる良い面を確認する。
【0086】
図１５Ａ～Ｃにおいて、グラフィカルユーザーインターフェイスディスプレイは、ユーザーが提供された情報を受けいれるかまたは拒否するための一致測定値５４を表示する。例示的な例では、－５．５ｍｍの腓骨長の一致が示される。図１５Ｂでは、グラフィカルユーザーインターフェイスディスプレイの例は足首を示している。良い面は、グリッドのアライメントと測定値でオーバーレイされる。足首５５のゴースト解釈が示されている。図１５Ｃは、ネイルの例のグリッドのアライメントおよび測定値を備えた良好なサイドオーバーレイ上の股関節５６のゴースト解釈を示す股関節グラフィカルユーザーインターフェイスの例である。
【0087】
図１６において、形状モデリングモジュール１０の出力は、２Ｄへの適用解剖学的構造の統計的形状モデルの３Ｄから２Ｄへの登録（または嵌合）に基づく術中計算およびガイダンスのためのデータである。統計的形状モデルは、ネイリング用途での回転を予測するために使用される。統計的形状モデルは、１つまたは複数のサンプル平均形状と変動モードとしてエンコードされた母集団の解剖学的構造の変動性の表現である。医用画像の欠落している情報を補強するために、統計的形状モデルを患者の解剖学的構造の画像に適合させることができるさまざまな画像処理方法が存在する。例えば、転子間ネイルなどのインプラントの２次元蛍光透視画像の回転を含む３次元姿勢は、インプラントネイルの形状の統計モデルを使用して推測することができる。姿勢の推論は、統計モデルを２次元画像に同時にフィッティングし、２次元画像を解剖学的構造の統計モデルのシミュレートされたプロジェクトに繰り返し登録することによって計算される。
【0088】
ここで、図１７Ａ～Ｂを参照すると、コンピュータープラットフォーム１００は、処置中に大腿骨頭の内反整復６０を識別し、ユーザーに加重知能モデルの計算に基づいて失敗のリスクが高いことを示す内反整復警告６１を提供する。最適な整復のグリッドテンプレートを提供して、ガイダンスを提供し、ユーザーが満足のいく転帰を得るのを支援することができる。
【0089】
コンピュータープラットフォーム１００は、情報を分析および解釈し、既知のパターンのセットへの相関および図４Ａおよび４Ｂに示されるようなデータセットからの推論に基づくガイダンスを提供するように構成される。外科的ガイダンスに関連する出力には、インプラント選択推奨事項、インプラントの配置、パフォーマンスの予測、良好な転帰の確率、および失敗リスクスコアが含まれる。さまざまな層を示す深層学習プラットフォームの構造は、情報の流れの構成と情報の適用方法を示している。データ層は、さまざまなネットワークからのデータのコレクションで構成されている。骨折の整復や変形の矯正などの外傷イベントにおいて、または股関節または膝の解剖学的アライメントや骨切りガイダンスなどの関節形成術イベントにおいて、またはインプラントアライメント補正を伴う脊椎手術の場合において、またはＡＣＬ再構築アライメントを伴うスポーツ医学イベントにおいて、ドメイン知識およびイベントに重要な対象の健康記録からの情報と結合される、これらの外科的および処置特定のデータセットはアクセスできる。データセットは、インプラントまたは解剖学的アライメントの重大な失敗モード要因を解釈するために使用され、組み合わされて、ユーザーに次善または最適なパフォーマンス指標の信頼度パーセンテージ推奨としてユーザーに出力される失敗リスクスコアを提供する。出力は、リアルタイムイベントで発生した決定をサポートするために、インテリジェントな予測子とスコアの形式でユーザーに提示される。
【0090】
コンピュータープラットフォーム１００は、特定の瞬間に圧倒的な量の情報を人間が解釈できないためにユーザーが見ることができないリスク要因について画像を分析する。インプラントの配置とアライメントがこのデータパターンと一致しない場合、この特定の状況で認識を作成し、ユーザーに危険警告を提供する。基本的に、ユーザーが問題に遭遇する前に、問題を特定して予測する。これは、合併症の回避とエラーの防止につながり得る。外科的ガイダンスは、変形矯正、解剖学的アライメント、骨折の整復、および解剖学的整復に関連している。外科的ガイダンスのプロセスは、これらのアプリケーションについて次のセクションで説明する。以下のセクションは、コンピュータープラットフォーム１００がどのように情報を解釈し、既知のパターンのセットとの相関および異なる外科手術処置に適用されるデータセットからの推論に基づいてガイダンスを提供するかを示す。
【0091】
外傷の例－股関節骨折。ＨＣＵＰ（米国医療研究品質局（ＡＨＲＱ）の医療費および利用プロジェクト）のデータによると、２０１５年に米国の病院に入院した最も頻繁な骨折は股関節の骨折であった。これらの処置の失敗モードには既知の理由がある。例えば、骨をネイリングするための正しいエントリーポイントを決定して利用することで、骨折の整復不良、最終的にはインプラントの失敗または最適な転帰の妥協を防ぐことができることが文書化されている。
【0092】
対象の解剖学的構造は独特であり、全ての対象に単一のエントリーポイントを使用することは望ましくない。対象が標準的な方法で手術の準備ができると、人工知能の術中外科的ガイダンスシステム１がオンになり、プラットフォームがアクティブになる。対象の解剖学的構造の新しい画像が撮影される。画像は、対象の対側の非患側、または良い側の画像である。プラットフォームは、受け取る情報が３Ｄであるか２Ｄであるかを指示されるか、決定する。情報が３Ｄである場合、人工知能術中外科的ガイダンスシステム１は、関連するモジュールを呼び出して、２Ｄから３Ｄへの登録を実行するか、または統計的推論のために３Ｄモデルを利用する。画像が２Ｄである場合、人工知能術中外科的ガイダンスシステム１が画像をキャプチャし、初期グリッド姿勢モジュールが画像を分析し、画像の姿勢が「真の」画像として使用するのに適切であるかどうかを決定する。真の画像は、ソフトウェアアルゴリズムが再現性よく認識できる優れた解剖学的参照画像として処置全体で利用されるデータムまたはベース画像である。処置のこのステップで取得された新しい画像ごとに、アルゴリズムは注釈付きの良好な解剖学的姿勢画像のデータセットにアクセスし、ユーザーが正しい姿勢を確立するようにガイドする仮想グリッド姿勢テンプレートを提供する。この状況でのグリッド姿勢の例は、「ビームをティアドロップの中心に置いて、ＡＰ画像において股関節を１５度内部に回転させる」ようにユーザーにアドバイスする。正しい画像が受けいれられると、コンピュータープラットフォーム１００は、自動化された画像セグメンテーションアルゴリズムにアクセスして、関連する解剖学的特徴を識別する。この特定の用途（図１８Ａ）では、識別される解剖学的特徴は、大転子（ＧＴ）７０の先端、管の中心７１によって識別される大腿骨幹軸、および大腿骨頭の中心と頸部の中心７１によって識別される大腿骨頸部軸を含み得る。頸部幹角度７１は、幹軸と頸部軸との間の内側弧として測定される。患側の画像は、同様の一致する画像姿勢で撮影される。特徴認識およびセグメンテーションアルゴリズムにもアクセスする。ここで画像登録モジュール９にアクセスし、グッドサイドマッチモデルを計算する。良いグリッドマップと悪いグリッドマップの類似性評価は、ユーザーに一致の信頼度を提供する。このステップには、グリッドテンプレートを解剖学的構造にマッピングして、対象の解剖学的構造の非手術側の画像を対象の解剖学的構造の手術側の術中画像の画像とともに登録して、登録された合成画像を提供することが含まれる。登録された合成画像は、人工知能エンジンに提供され、少なくとも１つのグラフィカルな外科的ガイダンスを生成する。このステップでは、インプラントデータセットにアクセスする。データセットには、インプラントオプションの３次元形状に関する情報が含まれている。このデータセットに関連付けられた機械学習アルゴリズムは、関連する変数を分析、測定、計算し、次善の出力を識別して、合併症の回避とエラー防止につながる状況認識と危険警告をユーザーに提供する機能を含む。出力は、ユーザーがたどる予定の経路を進んだ場合の失敗の最適または準最適なリスクスコアなど、外科的ガイダンスとしてユーザーに提示される。
【0093】
コンピュータープラットフォーム１００は、これらの経路に基づいてパフォーマンスを予測し、また、最適または準最適な転帰の確率をユーザーに提供することができる。コンピュータープラットフォーム１００は、成功した転帰の既知の予測因子に基づいて、インプラントの推奨をユーザーに提供する。コンピュータープラットフォーム１００は、外科医が術中変数を変更するときに、登録された合成画像を少なくとも１つのグラフィカルな外科的ガイダンスで動的に更新する。外科的変数は、進行中の外科手術処置に依存し、患者の位置、姿勢推定、インプラント位置、または大腿骨骨折外科手術におけるネイルのエントリーポイントを含む。
【0094】
ここで、図１Ａ、４Ａ、および１８Ｂを参照すると、合併症データセットの既知の指標および予測因子内で、正しいネイルエントリー部位予測情報にアクセスすることができる。データセットは、業界のゴールドスタンダードまたは過去の同等の文献でレビューされた研究からの情報を使用して、分析計算を実行し、最適および準最適なパフォーマンス予測を決定する。さらに、コンピュータープラットフォーム１００は、エントリー部位の特定の配置またはガイドワイヤまたはリーマ７５の配向によってエラーが発生する可能性があるかどうかを決定する。最適なエントリーポイント予測では、さまざまなアルゴリズムモジュールの組み合わせを利用して情報を取得する。
【0095】
本明細書において、関連するランドマークは、セグメンテーション機械学習アルゴリズムを使用して識別され、インプラントデータセットは、対象に最適なエントリーポイントグリッドテンプレートに使用され、ネイルグリッドテンプレートは、既知の文献および研究データセットにアクセスできる深層学習アルゴリズムを使用して、画像上に最適に自動配置され、さまざまな機能間の距離が測定され、出力値は、既知の最適リスク値と準最適リスク値を使用して、文献と研究データセットを使用して転帰を予測する。
【0096】
ここで、図１８Ｃを参照すると、例えば、ユーザーはＧＴ（大腿骨大転子）チップ７０のエントリーポイントを使用できるが、インプラントの設計と対象の解剖学的構造により、この経路が外反の整復不良につながる可能性が高いと予測される。最適なエントリーポイントが定量化されると７６、それは取得された後続の全ての画像に表示される。エントリーポイントは、解剖学的およびインプラントセグメンテーション追跡モジュールによって画像間で動的に追跡される。更新されたエントリーポイントは、既知の選択された解剖学的特徴追跡ポイントを基準にして計算される。
【0097】
ここで、図１８Ｄを参照すると、新しい画像が取得され、ガイドワイヤ７７またはスターターリーマが画像上で認識される。理想的なシステム予測エントリーポイントが推奨され、表示される７６。ユーザーがこれらの提案を受けいれた場合、ユーザーは、受けいれられ表示された仮想または拡張グリッドまたはアバター７８によってガイドされる位置に、ガイドワイヤまたはリーマを配置および方向付けする。ユーザーは、撮像またはＣＡＳ（従来のコンピューター支援手術システム）の追跡と、システムのアルゴリズムモジュールからのインテリジェンスガイダンスを使用して、処置のこのステップを完了する。
【0098】
ここで、図１９Ａを参照すると、このステップはラグねじ配置によって定義される。ラグねじモジュールは、ネイルの配置８０の深さおよび回転に関するガイダンスを計算して提供する。ネイルが挿入され始めると、ラグねじ配置８１が、ネイルが骨に着座する必要がある深さの決定要因として使用される。画像が取得されると、人工知能術中外科的ガイダンスシステム１は、股関節アプリケーションセグメンテーション機械学習モジュールを使用して、関連する解剖学的、器具、およびネイルアライメントジグ、ネイルおよびラグねじなどのインプラント機能を識別する。
【0099】
さらに、人工知能術中外科的ガイダンスシステム１は、ねじ軌道の自動決定を、より一般的には、器具の軌道の状況において提供する。例えば、さまざまなビューで解剖学的、インプラント、および器具の考慮事項を同時に追跡しながら、器具が正しい平面内にあるかどうかを判断する。これは、深層学習手法、より具体的には強化学習（ＲＬ）技術を使用して実現される。ＲＬ戦略は、人工ＲＬエージェントをトレーニングして、環境（この場合は取得した蛍光透視画像）内を移動することにより、最適な軌道／パスを正確かつ確実に識別／ローカライズするために使用される。エージェントは、最適なパスに向かって進む必要がある方向を決定する。このような意思決定プロセスを使用することにより、ＲＬエージェントは最終的な最適な軌道に到達する方法を学習する。ＲＬエージェントは、環境Ｅと対話することによって学習する。この状況で関心領域である全ての状態（Ｓ）で、複数の個別のアクションのセット（Ａ）から、軌道の座標を変更することからなる、アクション（Ａ）を選択するための単一の決定が行われる。有効なアクションを選択するたびに、関連するスカラー報酬信号が生成され、報酬信号（Ｒ）が定義される。エージェントは、即時および後続の両方の将来の報酬を最大化するためのポリシーを学習しようとする。報酬は、エージェントが学習可能でありながら、最良の軌道に向かって移動することを奨励する。これらを考慮して、報酬Ｒ＝ｓｇｎ（ＥＤ（Ｐｉ－１、Ｐｔ）－Ｄ（Ｐｉ、Ｐｔ））を定義する。ここで、Ｄは平面パラメーター間のユークリッド距離を取る関数である。Ｐｉ（Ｐｘ、Ｐｙ、Ｐｚ）は、ステップＩで現在予測される軌道座標であり、Ｐｔはターゲットのグラウンドトルース座標である。前のステップと現在のステップの間のパラメーター距離の差は、エージェントが目的の平面パラメーターに近づいているか遠ざかっているかを示す。最後に、ＲＬエージェントがターゲット平面座標に到達すると、終了状態に到達する。タスクは、中間の報酬だけでなく、その後の将来の報酬も最大化する最適なポリシーを学ぶことである。
【0100】
ここで、図１９Ｂを参照すると、ネイルは、センサーまたは画像を使用してリアルタイムで追跡され、正しい深さに導かれ、ラグねじの構成および配置情報が、解釈のための入力として提供される。特定の解剖学的構造８２におけるラグねじの位置を分析して、大腿骨頭８３から切り取られる確率を統計的に決定する。
【0101】
ここで、図２０Ａを参照すると、失敗モードおよびリスクスコアが計算され、ユーザーに表示することができる。計算に基づいて、人工知能術中外科的ガイダンスシステム１は、インプラントの最適な位置を予測し、配置８５のためのガイダンスを提供する。ネイリング処置で回転異常の状況が発生した場合、最適な回転補正とインプラント配置８６のために予測サポートとガイダンスを定量化できる。
【0102】
ここで、図２０Ｂを参照すると、メッキおよびねじ固定を必要とする骨折または変形矯正状況の場合、多変量関係データセットの使用は、どのプレートを使用するかの場合などのように、治癒不良予測９０をユーザーに提供することができる。あるいは、ねじの組み合わせの計算は、特定のガイダンスに従った場合、一貫した結果の予測９１をユーザーに提供することができる。これは、正常な治癒または異常な治癒の期待の予測出力を提供することができる９２。
【0103】
ここで、図２１を参照すると、プレートおよびねじアプリケーションのリアルタイムの状況ガイダンスワークフローが、入力、実行されたタスクおよびアクション、およびグラフィカルユーザーインターフェイスディスプレイを含む出力を表示して描かれている。ユーザー／対象が処置をナビゲートするとき、人工知能術中外科的ガイダンスシステム１は、遭遇した状況に対する認識サポートを提供し、ワークフロー５００の重要なポイントでのパフォーマンスおよび合併症回避の推奨を提供する。ワークフローにおける特定の決定点は、例えば、プレートインプラント５０１におけるねじの順序および配置位置であり得る。これは、例えば、ドリルガイド５０２まで追跡するために、ユーザー／対象に外科的ガイダンスを提供することができる。
【0104】
例－足首の負傷。ここで、図２２を参照すると、足首の処置について、問題の予測およびエラー防止のワークフローが示される。ここで図３を参照すると、独立したデータセットからの情報にいつでもアクセスすることができ、あるいは、イベント中の状況は、さまざまなデータセットからの入力を同時に必要とすることができる。この状況では、関連するデータセットからの情報が、加重多変量関係データモデルに含めるために選択される。このモデルは、特定の転帰などの予測子を共有するという観点から関係があるデータセットからの情報を利用する。モデルは、パフォーマンスや障害などに関する重要度のレベルに基づいて、データにさらに重みを付ける。モデルは、意思決定支援と転帰の予測、例えば、成功した最適な長期転帰の確率を出力する。固定６０１を必要とする骨折または靭帯結合または腓骨マイナス状況６００の場合、多変量関係データセットおよび転帰予測モジュールの使用は、どのインプラント使用するかの場合のように、治癒不良予測６０２をユーザーに提供することができる。あるいは、インプラントの組み合わせの計算により、特定のガイダンスに従った場合に一貫した結果の予測をユーザーに提供できる。これにより、最適なインプラント位置または正常な治癒／異常な治癒の期待値と成功の確率の予測出力を提供できる６０３。
【0105】
例－股関節形成術。ここで、図２３を参照すると、インプラント固定６１１を必要とする股関節置換状況６１０の場合、多変量関係データセットおよび転帰予測モジュールの使用は、使用するインプラントの場合のように、治癒不良予測６１２をユーザーに提供することができる。あるいは、特定のガイダンスに従った場合、インプラントの配向の計算により、一貫した結果の予測をユーザーに提供できる。これにより、最適なインプラント位置または正常な治癒／異常な治癒の期待値と成功の確率の予測出力を提供できる６１３。
【0106】
例－膝関節形成術。ここで、図２４を参照すると、インプラント固定６２１を必要とする膝関節置換術６２０の場合、多変量関係データセット、センサー情報、マルチモダリティ医用画像、および転帰予測モジュールを使用すると、どの切除またはバランス調整を実行する必要があるかなど、危険および失敗の予測６２２をユーザーに提供できる。あるいは、インプラントアライメントの計算により、特定のガイダンスに従った場合に一貫した結果を予測することができる。これにより、最適なインプラント位置または正常な治癒／異常な治癒の期待値と成功の確率の予測出力を提供できる６２３。
【0107】
例－脊椎。ここで、図２５を参照すると、固定６３１を必要とする脊椎状況６３０の場合、多変量関係データセットおよび転帰予測モジュールの使用は、どのインプラントを使用するかの場合のように、治癒不良予測６３２をユーザーに提供することができる。あるいは、特定のガイダンスに従った場合、インプラント配置計算により、一貫した結果の予測をユーザーに提供できる。これにより、最適なインプラント位置または正常な治癒／異常な治癒の期待値と成功の確率の予測出力を提供できる６３３。
【0108】
例－スポーツ医学。ここで、図２６Ａを参照すると、アライメントまたは固定ガイダンス６４１を必要とするスポーツ医学の状況６４０の場合の２６Ａ多変量関係データセットおよび転帰予測モジュールを使用すると、どのインプラントを使用するかの場合など、治癒不良予測６４２をユーザーに提供できる。あるいは、特定のガイダンスに従った場合、インプラント配置計算または軟質組織管理により、一貫した結果の予測をユーザーに提供できる。これにより、最適なインプラント位置または正常な治癒／異常な治癒の期待値と成功の確率の予測出力を提供できる６４３。
【0109】
ここで、図２６Ｂを参照すると、アライメントと固定６５６が必要なＰＡＯ／ＦＡＩ状況６５５の場合、多変量関係データセットと転帰予測モジュールを使用すると、どのインプラントを使用するかの場合のように、治癒不良予測６５７をユーザーに提供できる。多変量関係データセットは、異なるフィールドと異なるデータセット間の相互作用を使用して実行される分析として定義される。あるいは、特定のガイダンスに従った場合、インプラント配置計算により、一貫した結果の予測をユーザーに提供できる。これにより、ロボットのガイダンス、最適なインプラント位置の予測出力、または正常な治癒／異常な治癒の期待値と成功の確率を提供できる６５８。
【0110】
ここで、図２７を参照すると、転帰予測の一般的なワークフローは、長期的な転帰が成功する可能性を計算する際の予測確率法を示している。処置の転帰に影響を与える可能性のある情報を含むように構成されるデータセットにアクセスする。データセットは、インプラントまたは解剖学的アライメントの重大な失敗モード要因を解釈するために使用され、人工知能エンジンの転帰分類子をトレーニングするために使用されると、最適または準最適な転帰の予測と関連する失敗リスクスコアをユーザーに提供する。複数の分類子を複数のデータセットから構築し、単一のＡＩエンジンで使用できる。
【0111】
関連するデータセットからの情報は、人工知能（ＡＩ）エンジンに複数のトレーニングされた分類子の形式で含まれるように選択され、それぞれが最終的な外科的転帰の予測に加重される。この複数の予測モデルは、特定の転帰の無相関または部分的に相関した予測子を共有するという観点から関係があるデータセットからの情報を利用する。ＡＩエンジンは、パフォーマンスまたは障害に関する重要度の相対レベルに基づいて、転帰予測データにさらに重みを付けることができる。モデルは、意思決定支援と転帰予測、例えば、成功した最適な長期転帰の確率を出力する６６５。
【0112】
ここで、図２８Ａを参照すると、ネイリングアプリケーションの出力に影響を与える要因は、骨ポスト処置の癒着不良の可能性の計算を示している。ここで、図２８Ｂを参照すると、加重モデルは、最適な転帰対準最適な転帰の予測を実証するグラフィカルユーザーインターフェイス出力により少なくとも１つのグラフィカルな外科的ガイダンスを提供する。重み係数９６を、最終的に良好な転帰の確率を予測するインプラントおよび転帰パフォーマンスパーセンテージ指標９７に加えて、ユーザーに示すことができる。ここで、図２８Ｃを参照すると、ワークフローは、人工知能術中外科的ガイダンスシステム１およびユーザーとインターフェイスするＡＩモデルによる反復的な意思決定およびサポートプロセスを示す。画像または情報をコンパイルして、ＰＡＣのシステム、クラウド、ＲＡＭなどのユーザーシステムまたは選択したデバイスに保存できる。
【0113】
ここで、図２９を参照すると、情報または画像は、グラフィカルユーザーインターフェイスとして、処置後の対象のデモンストレーションのために保存することができる。人工知能術中外科的ガイダンスシステム１は、ＡＩを利用して、ユーザーの術後の検出、追跡、監視、およびパフォーマンス／合併症の予測を自動化するツールをサポートするように構成されている。
【0114】
ここで、図３０を参照すると、処置からのデータは、インプラントのパフォーマンス、追跡、転帰の知識、転帰の知識、在庫の最適化、品質保証、および設計の最適化に使用できる。処置からのデータは、以下のために手術などのイベント後の転帰分析とスコアリングのために保存できる。１）ユーザーのパフォーマンスと使用状況に関する情報、２）パフォーマンスと転帰の指標の追跡と監視－例えば、アライメントと整復のＩｏＴ監視、インプラントの固定と成功する転帰へのロードマップの予測、３）対象、イベントまたは状況の予測因子、指標、要因、および変数。測定値やデータなどの外科的ガイダンスは、フィードバックデバイス、ロボット、追跡されたインプラントまたはオブジェクト、カッティングブロック、ＣＡＳ、ＩｏＴデバイスなどの外科ファシリテーター１６０にも送信できる。
【0115】
測定値とデータは、混合／拡張／ホログラフィックリアリティデバイスにタッチ／力センサーに送信することもでき１６７、寸法決めされたグリッド、外科用器具、およびインプラントのライブ動的混合／拡張リアリティ追跡のための混合／拡張リアリティグリッドデータおよび画像測定値を投影することによって、手術中のリアルタイムで、手術環境での寸法決めされたグリッドを有する、２Ｄ／３Ｄの混合／拡張／ホログラフィックリアリティ画像／形状モデルの器具、骨、またはインプラントの視覚化、アライメント、および配置を示す。
【0116】
ここで、図３１を参照すると、グリッドデータ予測マップ３０１が示される。コンピュータープラットフォーム１００は、現在の手術側画像と比較して、画像類似性指標を使用し、最も一致する非手術側画像を識別し、最も一致する非手術側画像を現在の手術側画像に登録し、および非手術側画像を現在の手術側画像と位置合わせして、ガイダンス姿勢ガイド画像（ガイダンス姿勢ガイド画像は、示されるように、非手術側画像と手術側画像の解剖学的位置決めの違いをグラフで示している）を提供する。グリッドデータ予測マップ３０１は、画像内の関心のポイントのグリッド、すなわち、ランドマークの座標位置である。
【0117】
グリッドデータ予測マップ３０１は、オーバーレイの赤、緑、青のピクセル値が、外科的転帰分類値を色相にマッピングするカラーマップを使用して計算される、オーバーレイ画像である。準最適な位置決めのための第１の色と最適な位置決めのための第２の色が提供される。この場合の分類は、骨折整復におけるインプラント３０１の最適または準最適な位置決め、器具、または骨の位置決めに関連するグリッドデータ予測マップ３０２内の位置を参照している。そのようなオーバーレイでは、例えば、カラーマップは、グリッドマップ上の次善の位置決め領域が赤で示され、最適な位置決め領域が緑で示される「ヒートマップ」であり得る。そのようなグリッドデータ予測マップ３０１は、例えば、ネイルのエントリーポイントの最適な位置を導くために使用することができる。他の例には、ねじ軌道３０３およびインプラントの位置決めが含まれ得る。
【0118】
実際には、ピクセル／ボクセルのグリッドマップは、リアルタイムの状況認識／意思決定支援を提供し、リスク要因スコアを生成して転帰を予測することにより、予測クラスに貢献する。対象の術中画像を受信することと、グリッドデータ予測マップを生成することであって、グリッドデータ予測マップが、術後医用画像および関連するメタデータのストレージおよび検索用のコンピューターアルゴリズムとデータ構造からなる人工知能エンジンによって生成されるように、生成することと、術中画像をグリッドデータ予測マップと位置合わせして、グラフィカルな外科的ガイダンスインジケーターを生成することとを含む、ユーザーに外科的ガイダンスを提供するための方法が提供される。グラフィカルな外科的ガイダンスインジケーターは、術中画像が変化して、位置決めの変化を反映するとき、ガイダンスインジケーターの色が変化するという点で動的である。例示的な一実施形態では、グリッドデータ予測マップは、準最適な位置決めのための第１の色と、最適な位置決めのための第２の色で作られている。
【0119】
前述の詳細な説明は、説明および説明の目的で提示される。それは、網羅的であること、または本発明を開示された正確な形態に限定することを意図するものではない。上記の教示を考慮すると、多くの修正やバリエーションが可能である。記載された実施形態は、関与する原理およびそれらの実際の適用を最もよく説明するように選択され、それにより、当業者がさまざまな実施形態を最もよく利用し、企図される使用に適したさまざまな修正を加えることができる。本発明の範囲は、本明細書に添付された特許請求の範囲によって定義されることが意図される。
【図1A】
【図1B】
【図2A】
【図2B】
【図3A】
【図3B】
【図4A】
【図4B】
【図5A】
【図5B】
【図5C】
【図6】
【図7A】
【図7B】
【図8A】
【図8B】
【図8C】
【図9A】
【図9B】
【図10】
【図11A】
【図11B】
【図12A】
【図12B】
【図13A】
【図13B】
【図14A】
【図14B】
【図14C】
【図15A】
【図15B】
【図15C】
【図16】
【図17A】
【図17B】
【図18A】
【図18B】
【図18C】
【図18D】
【図19A】
【図19B】
【図20A】
【図20B】
【図21】
【図22】
【図23】
【図24】
【図25】
【図26A】
【図26B】
【図27】
【図28A】
【図28B】
【図28C】
【図29】
【図30】
【図31】
