特表 2023-523560 ＡＩ支援手術のためのシステムおよび方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2023-06-06

(54)【発明の名称】ＡＩ支援手術のためのシステムおよび方法

(51)【国際特許分類】

   A61B 34/10 20160101AFI20230530BHJP

   A61B 34/20 20160101ALI20230530BHJP

   G06T 7/00 20170101ALI20230530BHJP

   G06V 10/82 20220101ALI20230530BHJP

   G06T 7/20 20170101ALI20230530BHJP

【ＦＩ】

A61B34/10

A61B34/20

G06T7/00 350C

G06T7/00 614

G06V10/82

G06T7/20 300Z

【審査請求】未請求

【予備審査請求】未請求

(21)【出願番号】P 2022562500

(86)(22)【出願日】2021-04-13

(85)【翻訳文提出日】2022-12-09

(86)【国際出願番号】 US2021027109

(87)【国際公開番号】W WO2021211603

(87)【国際公開日】2021-10-21

(31)【優先権主張番号】202041015990

(32)【優先日】2020-04-13

(33)【優先権主張国・地域又は機関】IN

(31)【優先権主張番号】63/030,695

(32)【優先日】2020-05-27

(33)【優先権主張国・地域又は機関】US

(31)【優先権主張番号】63/143,367

(32)【優先日】2021-01-29

(33)【優先権主張国・地域又は機関】US

(81)【指定国・地域】

【公序良俗違反の表示】

（特許庁注：以下のものは登録商標）

１．ＡＮＤＲＯＩＤ

(71)【出願人】

【識別番号】522400593

【氏名又は名称】カリベル・ラブズ・インコーポレーテッド

(74)【代理人】

【識別番号】100118902

【弁理士】

【氏名又は名称】山本 修

(74)【代理人】

【識別番号】100106208

【弁理士】

【氏名又は名称】宮前 徹

(74)【代理人】

【識別番号】100196508

【弁理士】

【氏名又は名称】松尾 淳一

(72)【発明者】

【氏名】クマール，ビプル

(72)【発明者】

【氏名】サルマ，ビスワジット・デブ

(72)【発明者】

【氏名】ジョネラガッダ，チャンドラ

(72)【発明者】

【氏名】ルイス，マーク

(72)【発明者】

【氏名】ラーマン，レイ

【テーマコード（参考）】

5L096

【Ｆターム（参考）】

5L096AA06

5L096BA06

5L096BA13

5L096CA04

5L096DA01

5L096DA03

5L096EA03

5L096EA06

5L096EA16

5L096EA35

5L096FA16

5L096FA32

5L096FA66

5L096GA10

5L096HA05

5L096HA11

5L096JA11

5L096KA04

(57)【要約】

本発明の様々な実施形態は、例えば肩、膝、股関節の手術など、関節鏡視下手術または他の外科的手技を支援または誘導するシステムおよび方法を提供する。この方法は、介入イメージング装置から画像を受信するステップと、画像認識アルゴリズムを使用してその画像における特徴を識別するステップと、その特徴を、表示装置上のビデオフィード上にオーバーレイするステップと、画像における識別された特徴に基づいて操作者へ推薦または提案を行うステップとを含む。

【特許請求の範囲】

【請求項1】

関節鏡視下手技を誘導するためのシステムであって、１つまたは複数のコンピュータプロセッサと、前記１つまたは複数のコンピュータプロセッサによって実行されたとき、前記１つまたは複数のコンピュータプロセッサに、動作を実行させるように動作可能な命令を記憶する１つまたは複数の非一時的コンピュータ可読記憶媒体とを備えており、前記動作は、
介入イメージング装置によって取り込まれた少なくとも１つの画像を受信するステップと、
画像認識アルゴリズムを使用して、受信された前記少なくとも１つの画像における１つまたは複数の画像特徴を識別するステップと、
前記識別された１つまたは複数の画像特徴を標識するステップであって、前記識別された１つまたは複数の画像特徴が、解剖学的構造、手術器具、手術器具要素、操作手順またはアクション、もしくは病変のうちの１つまたは複数を含む、ステップと、
前記関節鏡視下手技の過程において継続的に操作者に対して前記少なくとも１つの画像における前記標識された１つまたは複数の画像特徴を表示するステップと、
を含む、システム。

【請求項2】

前記標識された１つまたは複数の画像特徴は、リアルタイムで、または前記関節鏡視下手技と同時に表示される、請求項１に記載のシステム。

【請求項3】

前記関節鏡視下手技が関節鏡視下手術である、請求項１に記載のシステム。

【請求項4】

前記画像認識アルゴリズムは、処理モジュールの階層的構成を含む、請求項１に記載のシステム。

【請求項5】

前記処理モジュールは、複数の人工知能（ＡＩ）モジュールを含む、請求項４に記載のシステム。

【請求項6】

前記処理モジュールは、少なくとも、機械学習アルゴリズム、深層学習アルゴリズム、またはその両方の組み合わせを含む、請求項４に記載のシステム。

【請求項7】

前記機械学習アルゴリズムは、人工ニューラルネットワークを含む、請求項６に記載のシステム。

【請求項8】

前記処理モジュールは、少なくとも１つのデータセットを含む、請求項４に記載のシステム。

【請求項9】

前記処理モジュールは、少なくとも１つの訓練データセットを含む、請求項４に記載のシステム。

【請求項10】

前記処理モジュールは、上流モジュールおよび下流モジュールを含み、前記下流モジュールは前記上流モジュールよりも特化している、請求項４に記載のシステム。

【請求項11】

前記上流モジュールは、前記関節鏡視下手技中に実行されている操作手順またはアクションによって操作される解剖学的構造のうちの１つまたは複数を識別するように構成される、請求項１０に記載のシステム。

【請求項12】

前記下流モジュールは、前記識別された解剖学的構造の解剖学的特徴を認識すること、または実行されている前記操作手順または前記アクションと関連した処置器具特徴を認識することのうちの１つまたは複数を行うように構成される、請求項１０に記載のシステム。

【請求項13】

前記処理モジュールは、複数の上流モジュールまたは複数の下流モジュールを含む、請求項１０に記載のシステム。

【請求項14】

前記複数の上流モジュールのうちの少なくとも１つは、使用のために、前記処理モジュールのうちから個別下流モジュールを選択するように構成される、請求項１３に記載のシステム。

【請求項15】

前記操作手順または前記アクションは、前記手術器具を識別する前記ステップに部分的に基づいて識別される、請求項１に記載のシステム。

【請求項16】

前記介入イメージング装置は、関節鏡である、請求項１に記載のシステム。

【請求項17】

前記介入イメージング装置は、内視鏡である、請求項１に記載のシステム。

【請求項18】

前記画像認識アルゴリズムは、前記関節鏡視下手技の手術部位または進入口のうちの１つまたは複数を識別するように構成される、請求項１に記載のシステム。

【請求項19】

前記手術部位は肩である、請求項１８に記載のシステム。

【請求項20】

前記手術部位は膝である、請求項１８に記載のシステム。

【請求項21】

前記処理モジュールのうちの少なくとも１つのモジュールは、前記手術部位または前記進入口のうちの前記１つまたは複数を識別する前記ステップに少なくとも基づいて選択される、請求項４に記載のシステム。

【請求項22】

実行される前記動作は、前記少なくとも１つの画像をメモリ装置に記憶するステップをさらに含む、請求項１に記載のシステム。

【請求項23】

前記動作は、メモリ使用量を最適化するために、標識要素を表示する前記ステップの後に前記少なくとも１つの画像を破棄するステップをさらに含む、請求項１に記載のシステム。

【請求項24】

前記１つまたは複数の画像特徴を標識するステップは、ピクセル単位のマスクされたラベル付け、境界ボックスのラベル付け、フレーム単位のラベル付け、または時間的ラベル付けをさらに含む、請求項１に記載のシステム。

【請求項25】

前記ピクセル単位のマスクされたラベル付けは、前記標識された解剖学的構造または前記手術器具を表示するために使用される、請求項２４に記載のシステム。

【請求項26】

前記境界ボックスのラベル付けは、前記標識された病変、前記手術器具、または異物を表示するために使用される、請求項２４に記載のシステム。

【請求項27】

前記フレーム単位のラベル付けは、標識された解剖学的部位を表示するために使用される、請求項２４に記載のシステム。

【請求項28】

前記時間的ラベル付けは、前記操作手順または前記アクションを標識する前記ステップを表示するために使用される、請求項２４に記載のシステム。

【請求項29】

前記動作は、提案されたアクションを提供するステップをさらに含む、請求項１に記載のシステム。

【請求項30】

前記提案されたアクションは、前記少なくとも１つの画像の前記ラベル付けに少なくとも部分的に基づく、請求項２９に記載のシステム。

【請求項31】

前記提案されたアクションは、前記上流モジュールに少なくとも部分的に基づく、請求項２９に記載のシステム。

【請求項32】

前記提案されたアクションは、前記下流モジュールに少なくとも部分的に基づく、請求項２９に記載のシステム。

【請求項33】

前記提案されたアクションは、前記手術の過程において前記操作者を支援することである、請求項２９に記載のシステム。

【請求項34】

前記提案されたアクションは、教育目的のために提供される、請求項２９に記載のシステム。

【請求項35】

前記提案されたアクションは、重要な解剖学的構造、前記手術器具、前記アクション、または２つ以上のインプラントの距離の識別に少なくとも基づく安全警告を提供することを含む、請求項２９に記載のシステム。

【請求項36】

前記２つ以上のインプラントの前記距離は、健康リスクを引き起こす、請求項３５に記載のシステム。

【請求項37】

前記２つ以上のインプラントの前記距離は、前記２つ以上のインプラントの事前に定義された距離とは異なる、請求項３５に記載のシステム。

【請求項38】

前記提案されたアクションは、提案された進入角を提供することを含む、請求項２９に記載のシステム。

【請求項39】

前記提案された進入角は、穿孔角を含み得る、請求項３８に記載のシステム。

【請求項40】

肩手術のために構成される、請求項１に記載のシステム。

【請求項41】

膝手術のために構成される、請求項１に記載のシステム。

【請求項42】

前記画像認識アルゴリズムは、データベースを使用して訓練される、請求項１に記載のシステム。

【請求項43】

前記データベースは、１つまたは複数の外科的手技、手術器具、手術器具要素、解剖学的構造、または病変を含む複数の訓練画像を含む、請求項４２に記載のシステム。

【請求項44】

前記画像認識アルゴリズムの堅牢性を改善するように前記訓練データセットを改善するために、複数の拡張法が使用される、請求項４２に記載のシステム。

【請求項45】

前記拡張法は、前記関節鏡視下手技中に患者の位置または向きに対する前記堅牢性を改善するために、前記訓練画像を回転するステップを含む、請求項４４に記載のシステム。

【請求項46】

前記拡張法は、患者の右側または左側に対して実行される手技に対する前記堅牢性を改善するために、垂直軸に沿って前記訓練画像を反転するステップを含む、請求項４４に記載のシステム。

【請求項47】

前記拡張法は、被写界深度における変化に対する前記堅牢性を改善するために、前記訓練画像を拡大またはクロッピングするステップを含む、請求項４４に記載のシステム。

【請求項48】

前記少なくとも１つの画像は、外科的ビデオストリームから生成される、請求項１に記載のシステム。

【請求項49】

前記外科的ビデオストリームは、関節鏡視下手術ビデオストリームである、請求項４８に記載のシステム。

【請求項50】

前記外科的ビデオストリームは単眼である、請求項４８に記載のシステム。

【請求項51】

前記外科的ビデオストリームは立体視である、請求項４８に記載のシステム。

【請求項52】

関節鏡視下手技を誘導するためのコンピュータ実施方法であって、介入イメージング装置によって取り込まれた少なくとも１つの画像を受信するステップと、
画像認識アルゴリズムを使用して、前記受信された少なくとも１つの画像における１つまたは複数の画像特徴を識別するステップと、
前記識別された１つまたは複数の画像特徴を標識するステップであって、前記識別された１つまたは複数の画像特徴が、解剖学的構造、手術器具、手術器具要素、操作手順またはアクション、もしくは病変のうちの１つまたは複数を含む、ステップと、
前記関節鏡視下手技の過程において継続的に操作者に対して前記少なくとも１つの画像における前記標識された１つまたは複数の画像特徴を表示するステップであって、前記標識された１つまたは複数の画像特徴は、リアルタイムまたは前記関節鏡視下手技と同時に表示されるステップと、
を含む、方法。

【請求項53】

前記関節鏡視下手技が関節鏡視下手術である、請求項５２に記載の方法。

【請求項54】

前記画像認識アルゴリズムは、処理モジュールの階層的構成を含む、請求項５２に記載の方法。

【請求項55】

前記処理モジュールは、複数の人工知能（ＡＩ）モジュールを含む、請求項５４に記載の方法。

【請求項56】

前記処理モジュールは、少なくとも、機械学習アルゴリズム、深層学習アルゴリズム、またはその両方の組み合わせを含む、請求項５４に記載の方法。

【請求項57】

前記機械学習アルゴリズムは、人工ニューラルネットワークを含む、請求項５６に記載の方法。

【請求項58】

前記処理モジュールは、少なくとも１つのデータセットを含む、請求項５４に記載の方法。

【請求項59】

前記処理モジュールは、少なくとも１つの訓練データセットを含む、請求項５４に記載の方法。

【請求項60】

前記処理モジュールは、上流モジュールおよび下流モジュールを含み、前記下流モジュールは前記上流モジュールよりも特化している、請求項５４に記載の方法。

【請求項61】

前記上流モジュールは、前記関節鏡視下手技中に実行されている操作手順またはアクションによって操作される解剖学的構造のうちの１つまたは複数を識別するように構成される、請求項６０に記載の方法。

【請求項62】

前記下流モジュールは、前記識別された解剖学的構造の解剖学的特徴を認識すること、または実行されている前記操作手順または前記アクションと関連した処置器具特徴を認識することのうちの１つまたは複数を行うように構成される、請求項６０に記載の方法。

【請求項63】

前記処理モジュールは、複数の上流モジュールまたは複数の下流モジュールを含む、請求項６０に記載の方法。

【請求項64】

前記複数の上流モジュールのうちの少なくとも１つは、使用のために、前記処理モジュールのうちから個別下流モジュールを選択するように構成される、請求項６３に記載の方法。

【請求項65】

前記操作手順または前記アクションは、前記手術器具を識別する前記ステップに部分的に基づいて識別される、請求項５２に記載の方法。

【請求項66】

前記介入イメージング装置は、関節鏡である、請求項５２に記載の方法。

【請求項67】

前記介入イメージング装置は、内視鏡である、請求項５２に記載の方法。

【請求項68】

前記画像認識アルゴリズムは、前記関節鏡視下手技の手術部位または進入口のうちの１つまたは複数を識別するように構成される、請求項５２に記載の方法。

【請求項69】

前記手術部位は肩である、請求項６８に記載の方法。

【請求項70】

前記手術部位は膝である、請求項６８に記載の方法。

【請求項71】

前記処理モジュールのうちの少なくとも１つのモジュールは、前記手術部位または前記進入口のうちの前記１つまたは複数を識別する前記ステップに少なくとも基づいて選択される、請求項５４に記載の方法。

【請求項72】

前記実行される動作は、前記少なくとも１つの画像をメモリ装置に記憶するステップをさらに含む、請求項５２に記載の方法。

【請求項73】

前記動作は、メモリ使用量を最適化するために、標識要素を表示する前記ステップの後に前記少なくとも１つの画像を破棄するステップをさらに含む、請求項５２に記載の方法。

【請求項74】

前記１つまたは複数の画像特徴を標識するステップは、ピクセル単位のマスクされたラベル付け、境界ボックスのラベル付け、フレーム単位のラベル付け、または時間的ラベル付けをさらに含む、請求項５２に記載の方法。

【請求項75】

前記ピクセル単位のマスクされたラベル付けは、前記標識された解剖学的構造または前記手術器具を表示するために使用される、請求項７４に記載の方法。

【請求項76】

前記境界ボックスのラベル付けは、前記標識された病変、前記手術器具、または異物を表示するために使用される、請求項７４に記載の方法。

【請求項77】

前記フレーム単位のラベル付けは、標識された解剖学的部位を表示するために使用される、請求項７４に記載の方法。

【請求項78】

前記時間的ラベル付けは、前記操作手順または前記アクションを標識する前記ステップを表示するために使用される、請求項７４に記載の方法。

【請求項79】

前記動作は、提案されたアクションを提供するステップをさらに含む、請求項５２に記載の方法。

【請求項80】

前記提案されたアクションは、前記少なくとも１つの画像の前記ラベル付けに少なくとも部分的に基づく、請求項７９に記載の方法。

【請求項81】

前記提案されたアクションは、前記上流モジュールに少なくとも部分的に基づく、請求項７９に記載の方法。

【請求項82】

前記提案されたアクションは、前記下流モジュールに少なくとも部分的に基づく、請求項７９に記載の方法。

【請求項83】

前記提案されたアクションは、前記手術の過程において前記操作者を支援することである、請求項７９に記載の方法。

【請求項84】

前記提案されたアクションは、教育目的のために提供される、請求項７９に記載の方法。

【請求項85】

前記提案されたアクションは、重要な解剖学的構造、または２つ以上のインプラントの距離の識別に少なくとも基づく安全警告を提供することを含む、請求項７９に記載の方法。

【請求項86】

前記２つ以上のインプラントの前記距離は、健康リスクを引き起こす、請求項８５に記載の方法。

【請求項87】

前記２つ以上のインプラントの前記距離は、前記２つ以上のインプラントの事前に定義された距離とは異なる、請求項８５に記載の方法。

【請求項88】

前記提案されたアクションは提案された進入角を提供するステップを含む、請求項７９に記載の方法。

【請求項89】

前記提案された進入角は穿孔角を含み得る、請求項８８に記載の方法。

【請求項90】

肩手術のために構成される、請求項５２に記載の方法。

【請求項91】

膝手術のために構成される、請求項５２に記載の方法。

【請求項92】

前記画像認識アルゴリズムは、データベースを使用して訓練される、請求項５２に記載の方法。

【請求項93】

前記データベースは、１つまたは複数の外科的手技、手術器具、手術器具要素、解剖学的構造、または病変を含む複数の訓練画像を含む、請求項９２に記載の方法。

【請求項94】

前記画像認識アルゴリズムの堅牢性を改善するように前記訓練データセットを改善するために、複数の拡張法が使用される、請求項９２に記載の方法。

【請求項95】

前記拡張法は、前記関節鏡視下手技中に患者の位置または向きに対する前記堅牢性を改善するために、前記訓練画像を回転するステップを含む、請求項９４に記載の方法。

【請求項96】

前記拡張法は、患者の右側または左側に対して実行される手技に対する前記堅牢性を改善するために、垂直軸に沿って前記訓練画像を反転するステップを含む、請求項９４に記載の方法。

【請求項97】

前記拡張法は、被写界深度における変化に対する前記堅牢性を改善するために、前記訓練画像を拡大またはクロッピングするステップを含む、請求項９４に記載の方法。

【請求項98】

前記少なくとも１つの画像は、外科的ビデオストリームから生成される、請求項５２に記載の方法。

【請求項99】

前記外科的ビデオストリームは、関節鏡視下手術ビデオストリームである、請求項９８に記載の方法。

【請求項100】

前記外科的ビデオストリームは単眼である、請求項９８に記載の方法。

【請求項101】

前記外科的ビデオストリームは立体視である、請求項９８に記載の方法。

【請求項102】

関節鏡視下手技を誘導するためのアルゴリズムを訓練する方法であって、
前記関節鏡視下手技に関係する１つまたは複数の画像に基づいて画像特徴のセットを受信するステップと、
訓練データセットを受信するステップであって、前記訓練データセットが前記関節鏡視下手技に関係する１つまたは複数の標識された画像を含む、ステップと、
前記訓練データセットの画像において画像特徴のうちの１つまたは複数を認識するステップであって、前記１つまたは複数の画像特徴が、解剖学的構造、手術器具、手術器具要素、操作手順またはアクション、もしくは病変のうちの１つまたは複数の視覚特性に関係する、ステップと、
前記１つまたは複数の画像特徴の前記認識と、前記受信された訓練データセットとに少なくとも部分的に基づいて画像認識アルゴリズムを構築するステップであって、前記画像認識アルゴリズムは、前記関節鏡視下手技に関係する標識されていない画像における前記１つまたは複数の画像特徴を識別および標識するように構成される、ステップと、
を含む方法。

【請求項103】

前記標識された１つまたは複数の画像特徴は、リアルタイムで、または前記関節鏡視下手技と同時に表示される、請求項１０２に記載の方法。

【請求項104】

前記画像認識アルゴリズムは、処理モジュールの階層的構成を含む、請求項１０２に記載の方法。

【請求項105】

前記処理モジュールは、複数の個別画像処理モジュールを含む、請求項１０４に記載の方法。

【請求項106】

前記複数の個別画像処理モジュールは、所定の位置の前記関節鏡視下手技を識別するための第１のモジュール、１つまたは複数の手術器具および手術器具要素を認識および標識するための第２のモジュール、１つまたは複数の解剖学的構造を認識および標識するための第３のモジュール、またはそれらの組み合わせを含む、請求項１０５に記載の方法。

【請求項107】

前記処理モジュールは、複数の人工知能（ＡＩ）モジュールを含む、請求項１０４に記載の方法。

【請求項108】

前記処理モジュールは、少なくとも、機械学習アルゴリズム、深層学習アルゴリズム、またはその両方の組み合わせを含む、請求項１０４に記載の方法。

【請求項109】

前記機械学習アルゴリズムは、人工ニューラルネットワークを含む、請求項１０８に記載の方法。

【請求項110】

前記処理モジュールは、少なくとも１つのデータセットを含む、請求項１０４に記載の方法。

【請求項111】

前記処理モジュールは、少なくとも１つの訓練データセットを含む、請求項１０４に記載の方法。

【請求項112】

前記処理モジュールは、上流モジュールおよび下流モジュールを含み、前記下流モジュールは前記上流モジュールよりも特化している、請求項１０４に記載の方法。

【請求項113】

前記上流モジュールは、前記関節鏡視下手技中に実行されている操作手順またはアクションによって操作される解剖学的構造のうちの１つまたは複数を識別するように構成される、請求項１１２に記載の方法。

【請求項114】

前記下流モジュールは、前記識別された解剖学的構造の解剖学的特徴を認識すること、または実行されている前記操作手順または前記アクションと関連した処置器具特徴を認識することのうちの１つまたは複数を行うように構成される、請求項１１２に記載の方法。

【請求項115】

前記処理モジュールは、複数の上流モジュールまたは複数の下流モジュールを含む、請求項１１２に記載の方法。

【請求項116】

前記複数の上流モジュールのうちの少なくとも１つは、使用のために、前記処理モジュールのうちから個別下流モジュールを選択するように構成される、請求項１１５に記載の方法。

【請求項117】

前記少なくとも１つの画像における前記１つまたは複数の画像特徴を識別するステップは、複数の処理モジュールから１つまたは複数の処理モジュールを選択するステップをさらに含み、前記選択は、前記関節鏡視下手術の前記部位および／または前記進入口に少なくとも部分的に基づく、請求項１０２に記載の方法。

【請求項118】

前記操作手順または前記アクションは、前記手術器具を識別する前記ステップに部分的に基づいて識別される、請求項１０２に記載の方法。

【請求項119】

前記標識されていない画像は、介入イメージング装置によって取り込まれる、請求項１０２に記載の方法。

【請求項120】

前記介入イメージング装置は、内視鏡である、請求項１１９に記載の方法。

【請求項121】

前記標識されていない画像は、外科的ビデオストリームから生成される、請求項１０２に記載の方法。

【請求項122】

前記外科的ビデオストリームは、関節鏡視下手術ビデオストリームであり、前記内視鏡視下手術は関節鏡視下手術である、請求項１２１に記載の方法。

【請求項123】

前記外科的ビデオストリームは単眼である、請求項１２１に記載の方法。

【請求項124】

前記外科的ビデオストリームは立体視である、請求項１２１に記載の方法。

【請求項125】

前記画像認識アルゴリズムは、前記関節鏡視下手技の手術部位または進入口のうちの１つまたは複数を識別するように構成される、請求項１０２に記載の方法。

【請求項126】

前記手術部位は肩である、請求項１２５に記載の方法。

【請求項127】

前記手術部位は膝である、請求項１２５に記載の方法。

【請求項128】

前記処理モジュールのうちの少なくとも１つのモジュールは、前記手術部位または前記進入口のうちの前記１つまたは複数を識別する前記ステップに少なくとも基づいて選択される、請求項１２５に記載の方法。

【請求項129】

前記画像認識アルゴリズムは、前記標識された画像をメモリ装置に記憶する、請求項１０２に記載の方法。

【請求項130】

前記画像認識アルゴリズムは、メモリ使用量を最小限にするために前記標識された画像を破棄する、請求項１０２に記載の方法。

【請求項131】

前記標識された画像は、ピクセル単位のマスクされたラベル付け、境界ボックスのラベル付け、フレーム単位のラベル付け、または時間的ラベル付けを含む、請求項１０２に記載の方法。

【請求項132】

前記ピクセル単位のマスクされたラベル付けは、前記標識された解剖学的構造または前記手術器具を表示するために使用される、請求項１３１に記載の方法。

【請求項133】

前記境界ボックスのラベル付けは、前記標識された病変、前記手術器具、または異物を表示するために使用される、請求項１３１に記載の方法。

【請求項134】

前記フレーム単位のラベル付けは、標識された解剖学的部位を表示するために使用される、請求項１３１に記載の方法。

【請求項135】

前記時間的ラベル付けは、前記操作手順またはアクションを標識する前記ステップを表示するために使用される、請求項１３１に記載の方法。

【請求項136】

前記訓練データセットは、肩手術のために構成される、請求項１０２に記載の方法。

【請求項137】

前記画像認識アルゴリズムは、肩手術のために構成された前記訓練データセットを使用して肩手術のために訓練される、請求項１３６に記載の方法。

【請求項138】

前記訓練データセットは、膝手術のために構成される、請求項１０２に記載の方法。

【請求項139】

前記画像認識アルゴリズムは、膝手術のために構成された前記訓練データセットを使用して膝手術のために訓練される、請求項１３８に記載の方法。

【請求項140】

前記訓練データセットは、１つまたは複数の外科的手技、手術器具、手術器具要素、解剖学的構造、または病変を含む複数の訓練画像を含む、請求項１０２に記載の方法。

【請求項141】

前記画像認識アルゴリズムの堅牢性を改善するように前記訓練データセットを改善するために、複数の拡張法が使用される、請求項１０２に記載の方法。

【請求項142】

前記拡張法は、前記関節鏡視下手技中に患者の位置または向きに対する前記堅牢性を改善するために、前記訓練画像を回転するステップを含む、請求項１４１に記載の方法。

【請求項143】

前記拡張法は、患者の右側または左側に対して実行される手技に対する前記堅牢性を改善するために、垂直軸に沿って前記訓練画像を反転するステップを含む、請求項１４１に記載の方法。

【請求項144】

前記拡張法は、被写界深度における変化に対する前記堅牢性を改善するために、前記訓練画像を拡大またはクロッピングするステップを含む、請求項１４１に記載の方法。

【請求項145】

低侵襲的手技を誘導するために階層的パイプラインを実施するための方法であって、前記システムは、１つまたは複数のコンピュータプロセッサと、前記１つまたは複数のコンピュータプロセッサによって実行されたとき、前記１つまたは複数のコンピュータプロセッサに、動作を実行させるように動作可能な命令を記憶する１つまたは複数の非一時的コンピュータ可読記憶媒体とを備えており、前記動作は、
（ａ）介入イメージング装置によって取り込まれた少なくとも１つの画像を受信するステップと、
（ｂ）処置の部位または前記部位における進入口の１つまたは複数の画像特徴を、少なくとも１つの上流モジュールに基づいて識別するステップであって、前記少なくとも１つの上流モジュールは、第１の訓練済み画像処理アルゴリズムを含む、ステップと、
（ｃ）ステップ（ｂ）で識別された前記１つまたは複数の画像特徴に少なくとも部分的に基づいて解剖学的構造または病変の１つまたは複数の画像特徴を識別するように第１の下流モジュールを作動させるステップであって、前記第１の下流モジュールが第２の訓練済み画像処理アルゴリズムを含む、ステップと、
（ｄ）ステップ（ｂ）で識別された前記１つまたは複数の画像特徴に少なくとも部分的に基づいて、前記低侵襲的手技に関係する手術器具、手術器具要素、操作手順、またはアクションの１つまたは複数の画像特徴を識別するように第２の下流モジュールを作動させるステップであって、前記第２の下流モジュールが第３の訓練済み画像処理アルゴリズムを含む、ステップと、
（ｅ）前記識別された１つまたは複数の画像特徴を標識するステップと、
（ｆ）前記低侵襲的手技の過程において継続的に操作者に対して前記少なくとも１つの画像における前記標識された１つまたは複数の画像特徴を表示するステップと、
を含む、方法。

【請求項146】

前記低侵襲的手技が関節鏡視下手技である、請求項１４５に記載のシステム。

【請求項147】

前記ステップ（ｃ）および（ｄ）は互いに独立している、請求項１４５に記載のシステム。

【請求項148】

前記第１、第２、または第３の訓練済み画像処理アルゴリズムは、少なくとも、機械学習アルゴリズム、深層学習アルゴリズム、またはその両方の組み合わせを含む、請求項１４５に記載のシステム。

【請求項149】

前記機械学習アルゴリズムは、人工ニューラルネットワークを含む、請求項１４８に記載のシステム。

【請求項150】

前記機械学習アルゴリズムまたは前記深層学習アルゴリズムは、少なくとも１つの訓練データセットを使用して訓練される、請求項１４８に記載のシステム。

【請求項151】

前記訓練データセットは、肩手術のために構成される、請求項１５０に記載のシステム。

【請求項152】

前記訓練データセットは、膝手術のために構成される、請求項１５０に記載のシステム。

【請求項153】

前記訓練データセットは、１つまたは複数の外科的手技、手術器具、手術器具要素、解剖学的構造、または病変を含む複数の訓練画像を含む、請求項１５０に記載のシステム。

【請求項154】

前記画像認識アルゴリズムの堅牢性を改善するように前記訓練データセットを改善するために、複数の拡張法が使用される、請求項１５０に記載のシステム。

【請求項155】

前記拡張法は、前記低侵襲的手技中に患者の位置または向きに対する前記堅牢性を改善するために、前記訓練画像を回転するステップを含む、請求項１５４に記載のシステム。

【請求項156】

前記拡張法は、患者の右側または左側に対して実行される手技に対する前記堅牢性を改善するために、垂直軸に沿って前記訓練画像を反転するステップを含む、請求項１５４に記載のシステム。

【請求項157】

前記拡張法は、被写界深度における変化に対する前記堅牢性を改善するために、前記訓練画像を拡大またはクロッピングするステップを含む、請求項１５４に記載のシステム。

【請求項158】

前記第１、第２、または第３の訓練済み画像処理アルゴリズムは、標識された特徴を有する前記表示画像をメモリ装置に記憶する、請求項１４５に記載のシステム。

【請求項159】

前記第１、第２、または第３の訓練済み画像処理アルゴリズムは、メモリ使用量を最小限にするために、標識された特徴を有する前記表示画像を破棄する、請求項１４５に記載のシステム。

【請求項160】

前記少なくとも１つの画像は、外科的ビデオストリームから生成される、請求項１４５に記載のシステム。

【請求項161】

前記外科的ビデオストリームは、内視鏡視下手術ビデオストリームである、請求項１６０に記載のシステム。

【請求項162】

前記外科的ビデオストリームは、単眼または立体視である、請求項１６０に記載のシステム。

【発明の詳細な説明】

【技術分野】

【0001】

関連出願の相互参照
[0001]本ＰＣＴ出願は、２０２０年４月１３日に提出されたインド仮特許出願第２０２０４１０５９９０号、および２０２０年５月２７日に提出された米国仮出願第６３／０３０，６９５号および２０２１年１月２９日に提出された第６３／１４３，３６７号への優先権を主張するものであり、その全ての内容が、全ての目的のために、参照によって本明細書に全体的に組み込まれる。

【0002】

[0002]本発明の実施形態は、特に人工知能（ＡＩ）を使用して診断手技および外科的手技を誘導するシステム、装置および方法に関する。

【背景技術】

【0003】

[0003]近年、人工知能は、人間の顔とともに、人間の身体における様々な解剖学的構造の特徴を認識するために画像を処理するために使用されるように開発が進められ始めている。それらのＡＩツールは、医学的手技中に操作者を支援するために解剖学的特徴を自動的に認識するために使用可能である。医学的手技において生成される情報を収集および処理する画像または言語処理のために、機械学習アルゴリズムおよび深層学習アルゴリズムなどの計算法が使用可能である。したがって、外科手術の結果を予測または改善するために、もしくは仮想手術または教育的手術を通した新人医師の教育を誘導するために使用可能なＡＩアルゴリズムを使用することが望ましい。現在のＡＩ支援の外科用システムおよび方法は、例えば外科的手技を誘導するために使用される多くの点において依然として理想的とは言えない。したがって、ＡＩ支援の外科用システムおよび方法の改善が望まれる。

【発明の概要】

【発明が解決しようとする課題】

【0004】

[0004]本発明の様々な実施形態は、外科手術または他の医学的手技を誘導するためのコンピュータ実施による医療システム、装置、および方法を提供する。操作者に対して誘導を提供するとともに、リアルタイムで術野における解剖学的特徴、病変および他の特徴のうちの１つまたは複数を識別および標識することによってそれを実現する多くの実施形態が、本明細書で説明される。外科手術の過程で操作者がおかす誤りは、高費用となり得る。例えば、操作者が、カメラ（例えば、関節鏡視下または内視鏡視下手術中に使用されるカメラ）から隠れている重要な解剖学的特徴の正確な位置を把握することは難しい、または不可能な場合があり、もしくは除去されている病変の一部が操作者の視野またはカメラの視野からはずれる場合がある。したがって、特に医学的手技を誘導するために、人工知能（ＡＩ）ツールなどのコンピュータ実施による医療システム、装置、および方法は有益であり得る。これらのＡＩツールは、器具、解剖学的構造、または手技の検出を正確かつ確実に予測することに限界を有する場合がある。ペースの速い外科的手技において、ＡＩツールは、操作者へリアルタイムの支援を提供するためには、低レイテンシで予測を行う必要もある。

【課題を解決するための手段】

【0005】

[0005]手術の結果を改善するために、外科的手術の過程においてリアルタイムで操作者を支援する、高速で、正確かつ確実なＡＩツールの必要性が本明細書において認められる。したがって、本発明の態様は、関節鏡視下手技、内視鏡視下手技、腹腔鏡視下手技、心臓鏡視下手技などの様々な低侵襲的手技を含む様々な医学的手技の独自の必要性に対して汎用性があり十分に訓練された機械学習アルゴリズムのパイプラインを提供する。そのような低侵襲的手技の例は、関節鏡視下手技（例えば、肩の断裂した腱板の修復、膝の十字靭帯手術、非関節炎性の様々な股関節障害の修復、足首の軟骨損傷の修復、または足首における骨棘の除去）、消化器（ＧＩ）手術（例えば、腸生検、ポリープ切除、肥満手術、胃縮小手術／垂直帯胃形成術）、泌尿器科処置（例えば、腎臓石の除去、膀胱修復）、婦人科手術（例えば、ｄｎｃ、子宮筋腫切除）、および腹腔鏡手術（例えば、虫垂切除術、胆嚢摘除術、結腸切除、ヘルニア修復、噴門形成術）のうちの１つまたは複数を含み得る。

【0006】

[0006]本発明の様々な実施形態は、医学的手技（例えば、外科手術）中に情報（例えば、画像、音声、ユーザ入力）を受信し、その手技と関連した特徴を識別するために受信情報を処理し、識別された特徴に基づいて推薦を提供できるシステム、装置、および方法を提供する。これらの特徴は、解剖学的部位または装置、もしくは手技の様々なステップまたは結果を含み得る。手術における様々な特徴の識別に基づいて、本明細書で説明されるシステム、装置、および方法は、数例を上げると、器具進入角、解剖学的特徴または病変の測定結果、実行または回避すべきアクションを含み得る推薦を提供することによって、手術において外科医を支援できる。

【0007】

[0007]本発明の態様は、さらに、術野からの画像を使用し、外科医および他の医療スタッフに対して案内および支援を提供するために人工知能（ＡＩ）を適用することによって、手術中に外科医（および関連医療関係者）を支援する。手術中に使用されるＡＩモジュール／アルゴリズムを手術用ＡＩと呼ぶ。

【0008】

[0008]第１の態様において、本発明は、関節鏡視下手技を誘導するためのシステムを提供する。いくつかの実施形態では、このシステムは、１つまたは複数のコンピュータプロセッサと、１つまたは複数のコンピュータプロセッサによって実行されたとき、１つまたは複数のコンピュータプロセッサに、動作を実行させるように動作可能な命令を記憶する１つまたは複数の非一時的コンピュータ可読記憶媒体とを備えており、動作は、介入イメージング装置によって取り込まれた少なくとも１つの画像を受信するステップと、画像認識アルゴリズムを使用して、受信された少なくとも１つの画像における１つまたは複数の画像特徴を識別するステップと、識別された１つまたは複数の画像特徴を標識するステップと、関節鏡視下手技の過程において継続的に操作者に対して少なくとも１つの画像における標識された１つまたは複数の画像特徴を表示するステップとを含む。いくつかの実施形態では、識別された１つまたは複数の画像特徴は、解剖学的構造、手術器具、手術器具要素、操作手順またはアクション、もしくは断裂または負傷した組織などの病変のうちの１つまたは複数を含む。内視鏡手技、腹腔鏡手技、および介入心臓血管手術などの低侵襲的手技を含む他の医学的手技の誘導に対するシステムの実施形態の適用も企図される。

【0009】

[0009]様々な実施形態では、標識された１つまたは複数の画像特徴は、リアルタイムで、または関節鏡視下手技と同時に表示されてもよい。いくつかの実施形態では、関節鏡視下手技は、関節鏡視下手術である。いくつかの実施形態では、画像認識アルゴリズムは、ソフトウェアモジュールまたはモジュールとも呼ばれる処理モジュールの階層的構成を含む。

【0010】

[0010]いくつかの実施形態では、処理モジュールは、複数の人工知能（ＡＩ）モジュールを含み、ＡＩモジュールは、様々な実施形態で、機械学習アルゴリズム、深層学習アルゴリズム、またはその両方の組み合わせに対応し得る。いくつかの実施形態では、機械学習アルゴリズムは、人工ニューラルネットワークを含む。様々な実施形態ではまた、処理モジュールは、少なくとも１つの訓練データセットを含み得る少なくとも１つのデータセットを含む。

【0011】

[0011]様々な実施形態では、処理モジュールは、上流モジュールおよび下流モジュールを含み、下流モジュールは上流モジュールよりも特化している。いくつかの実施形態では、上流モジュールは、関節鏡視下手技中に実行されている操作手順またはアクションによって操作される解剖学的構造のうちの１つまたは複数を識別するように構成される。いくつかの実施形態では、下流モジュールは、識別された解剖学的構造の解剖学的特徴、または実行されている操作手順またはアクションと関連した処置器具特徴のうちの１つまたは複数を認識するように構成される。いくつかの実施形態では、処理モジュールは、複数の上流モジュールと、複数の下流モジュールとを含む。いくつかの実施形態では、複数の上流モジュールのモジュールのうちの少なくとも１つは、使用のために、処理モジュールのうちから個別下流モジュールを選択するように構成される。

【0012】

[0012]いくつかの実施形態では、操作手順またはアクションは、手技中に使用される手術器具、例えば関節鏡または内視鏡の識別に少なくとも部分的に基づいて、処理モジュールのうちの１つまたは複数によって識別される。いくつかの実施形態では、介入イメージング装置は関節鏡である。いくつかの実施形態では、介入イメージング装置は内視鏡である。いくつかの実施形態では、画像認識アルゴリズムは、関節鏡視下手技または他の医学的手技の手術部位または進入口のうちの１つまたは複数を識別するように構成される。様々な実施形態では、手術部位は、肩、膝、または股関節のうちの１つまたは複数に対応し得る。

【0013】

[0013]いくつかの実施形態では、処理モジュールからの少なくとも１つのモジュールは、手術部位（例えば、肩）または進入口（例えば、肩のための嚢アプローチ、膝のための前方アプローチ）のうちの１つまたは複数の少なくとも識別に基づいて選択される。いくつかの実施形態では、実行される動作は、少なくとも１つの画像をメモリ装置に記憶するステップをさらに含む。いくつかの実施形態では、動作は、メモリ使用量を最適化するために、標識要素を表示するステップの後に少なくとも１つの画像を破棄するステップをさらに含む。

【0014】

[0014]様々な実施形態では、１つまたは複数の標識された画像特徴は、様々な目的のために使用されるように構成され得る、ピクセル単位のマスクされたラベル付け、境界ボックスのラベル付け、フレーム単位のラベル付け、または時間的ラベル付けをさらに含む。例えば、いくつかの実施形態では、ピクセル単位のマスクされたラベル付けは、標識された解剖学的構造または手術器具を表示するために使用されてもよい。１つまたは複数の実施形態ではさらに、境界ボックスのラベル付けは、標識された病変、手術器具、または異物のうちの１つまたは複数を表示するために使用されてもよい。さらに１つまたは複数の実施形態によれば、フレーム単位のラベル付けは、標識された解剖学的部位、例えば標識された肩を表示するために使用されてもよく、時間的ラベル付けは、標識された操作手順またはアクション（例えば、組織切除、アブレーション、または縫合などの手術アクション）を表示するために使用されてもよい。

【0015】

[0015]様々な実施形態では、動作は、さらに、様々なモジュールからの結果または他の出力を含む多数の要素に基づき得る提案されたアクションを提供するステップを含む。例えば、１つまたは複数の実施形態では、提案されたアクションは、少なくとも１つの画像の標識付け、上流モジュールからの結果または他の出力、もしくは下流モジュールからの結果または他の出力のうちの１つまたは複数に少なくとも部分的に基づき得る。また、様々な実施形態では、提案されたアクションは、手術および状況に応じて多種多様な目的を有し得る。例えば、提案されたアクションは、手術の過程において操作者を支援するために使用され得る一方、外科医が新しい手技を学習しているとき、および／または手術のシミュレーション中などの教育的目的または訓練目的のために使用され得る。さらなる実施形態では、提案されたアクションは、重要な解剖学的構造（例えば、動脈）、手術器具、アクション、２つ以上のインプラント間の距離（例えば、その上下によっては、重要な事象である）、もしくは有害事象（例えば、術野内の出血）または患者の生物医学／生理学的データ（例えば、血液ｐＯ２、血圧、呼吸速度の低下、不規則な心拍リズム（例えば、不整脈または患者の他の重要な生理学的パラメータ））の識別に少なくとも基づいて安全警告を提供することを含む。

【0016】

[0016]本発明の様々な実施形態は、術野内における解剖学的構造およびインプラントを含む構造の寸法、配置および構成の１つまたは複数に基づいて、提案された手術アクションも提供し得る。例えば、本発明の実施形態が使用されるいくつかの手術状況では、２つ以上のインプラント間の距離は健康リスクを引き起こし得る。特に、術野に配置された２つ以上の配置インプラント間の実際の距離または許容可能な距離は、２つ以上のインプラント間の事前に定義された距離とは異なり、これが、インプラントを配置するための進入を含む術野への進入を困難にする、および／または特に二次元ビューにおける画面上で行われるときに人間の眼で近づくことを難しくする。したがって、上記および関連の実施形態では、提案されたアクションは、インプラント留置または他の手術アクションのために穿孔角が提案され得る、提案された進入角を提供することを含み得る。

【0017】

[0017]システムの様々な実施形態は、例えば、肩手術、膝手術、股関節手術、足首手術、手の手術、または肘手術のうちの１つまたは複数を含む多数の関節手術のために構成され得る。上記および関連の実施形態では、本明細書で説明される処理モジュールのうちの１つまたは複数は、それぞれの特定の部位に対して適合されてもよく、特化された訓練データセットを含み得る、それぞれの特定の部位に関するデータを有することを含む。

【0018】

[0018]いくつかの実施形態では、画像認識アルゴリズムは、データベースを使用して訓練される。いくつかの実施形態では、このデータベースは、１つまたは複数の外科的手技、手術器具、手術器具要素、解剖学的構造、または病変を含む複数の訓練画像を含む。いくつかの実施形態では、画像認識アルゴリズムの堅牢性を改善するように訓練データセットを改善するために、複数の拡張法が使用される。拡張された訓練を含むそのような訓練のために使用される外科用画像は、関節鏡視下手術、肥満手術、心臓血管手術、腸手術、婦人科手術、泌尿器科手術または関連手技のうちの１つまたは複数に対応し得る関節鏡視下手技、内視鏡視下手技、腹腔鏡視下手技、および心臓鏡視下手技などの１つまたは複数の低侵襲的手技を含む多種多様な手技から選択され得る。

【0019】

[0019]いくつかの実施形態では、拡張法は、関節鏡視下手技中に患者の位置または向きに対する堅牢性を改善するために、訓練画像を回転するステップを含む。いくつかの実施形態では、拡張法は、患者の右側または左側に対して実行される手技に対する堅牢性を改善するために、垂直軸に沿って訓練画像を反転するステップを含む。いくつかの実施形態では、拡張法は、被写界深度における変化に対する堅牢性を改善するために、訓練画像を拡大またはクロッピングするステップを含む。

【0020】

[0020]いくつかの実施形態では、少なくとも１つの画像は、外科的ビデオストリームから生成される。いくつかの実施形態では、外科的ビデオストリームは、関節鏡視下手術ビデオストリームである。様々な実施形態では、外科的ビデオストリームは、単眼または立体視でもよい。上記および関連の実施形態では、システムの実施形態は、ビューのそれぞれの種類（単眼および立体視）を受信および認識し、ビューが切り換えられると、適切な処理方法間で往復して切り換えるように適合され得る。

【0021】

[0021]本発明の他の態様は、関節鏡視下手技を誘導するためのコンピュータ実施方法を提供する。いくつかの実施形態では、この方法は、介入イメージング装置によって取り込まれた少なくとも１つの画像を受信するステップと、画像認識アルゴリズムを使用して、受信された少なくとも１つの画像における１つまたは複数の画像特徴を識別するステップと、識別された１つまたは複数の画像特徴を標識するステップと、少なくとも１つの画像における標識された１つまたは複数の画像特徴を、関節鏡視下手技の過程において継続的に操作者に対して表示するステップとを含む。いくつかの実施形態では、識別された１つまたは複数の画像特徴は、解剖学的構造、手術器具、手術器具要素、操作手順またはアクション、もしくは病変のうちの１つまたは複数を含む。いくつかの実施形態では、標識された１つまたは複数の画像特徴は、リアルタイムで、または関節鏡視下手技と同時に表示される。

【0022】

[0022]いくつかの実施形態では、関節鏡視下手技は、関節鏡視下手術である。いくつかの実施形態では、画像認識アルゴリズムは、処理モジュールの階層的構成を含む。いくつかの実施形態では、処理モジュールは、複数の人工知能（ＡＩ）モジュールを含む。いくつかの実施形態では、処理モジュールは、少なくとも、機械学習アルゴリズム、深層学習アルゴリズム、またはその両方の組み合わせを含む。いくつかの実施形態では、機械学習アルゴリズムは、人工ニューラルネットワークを含む。

【0023】

[0023]いくつかの実施形態では、処理モジュールは、少なくとも１つの訓練データセットを含み得る少なくとも１つのデータセットを含む。いくつかの実施形態では、処理モジュールは、上流モジュールおよび下流モジュールを含み、下流モジュールは上流モジュールよりも特化している。いくつかの実施形態では、上流モジュールは、関節鏡視下手技中に実行されている操作手順またはアクションによって操作される解剖学的構造のうちの１つまたは複数を識別するように構成される。いくつかの実施形態では、下流モジュールは、識別された解剖学的構造の解剖学的特徴を認識すること、または実行されている操作手順またはアクションと関連する、処置器具の特徴を認識することのうちの１つまたは複数を行うように構成される。いくつかの実施形態では、処理モジュールは、複数の上流モジュール、または複数の下流モジュールを含む。いくつかの実施形態では、複数の上流モジュールのモジュールのうちの少なくとも１つは、使用のために、処理モジュールのうちから個別下流モジュールを選択するように構成される。いくつかの実施形態では、操作手順またはアクションは、手術器具を識別するステップに部分的に基づいて識別される。

【0024】

[0024]いくつかの実施形態では、介入イメージング装置は関節鏡である。いくつかの実施形態では、介入イメージング装置は内視鏡である。いくつかの実施形態では、画像認識アルゴリズムは、関節鏡視下的手技の手術部位または進入口のうちの１つまたは複数を識別するように構成される。いくつかの実施形態では、手術部位は肩である。いくつかの実施形態では、手術部位は膝である。いくつかの実施形態では、処理モジュールのうちの少なくとも１つのモジュールは、手術部位または進入口のうちの１つまたは複数を識別するステップに少なくとも基づいて選択される。

【0025】

[0025]いくつかの実施形態では、実行される動作は、少なくとも１つの画像をメモリ装置に記憶するステップをさらに含む。いくつかの実施形態では、動作は、メモリ使用量を最適化するために、標識要素を表示するステップの後に少なくとも１つの画像を破棄するステップをさらに含む。

【0026】

[0026]いくつかの実施形態では、標識された１つまたは複数の画像特徴は、ピクセル単位のマスクされたラベル付け、境界ボックスのラベル付け、フレーム単位のラベル付け、または時間的ラベル付けをさらに含む。いくつかの実施形態では、ピクセル単位のマスクされたラベル付けは、標識された解剖学的構造または手術器具を表示するために使用される。いくつかの実施形態では、境界ボックスのラベル付けは、標識された病変、手術器具、または異物を表示するために使用される。いくつかの実施形態では、フレーム単位のラベル付けは、標識された解剖学的部位を表示するために使用される。いくつかの実施形態では、時間的ラベル付けは、操作手順またはアクションを標識するステップを表示するため使用される。

【0027】

[0027]いくつかの実施形態では、動作は、提案されたアクションを提供するステップをさらに含む。いくつかの実施形態では、提案されたアクションは、少なくとも１つの画像のラベル付けに少なくとも部分的に基づく。いくつかの実施形態では、提案されたアクションは、上流モジュールに少なくとも部分的に基づく。いくつかの実施形態では、提案されたアクションは、下流モジュールに少なくとも部分的に基づく。いくつかの実施形態では、提案されたアクションは、手術の過程で操作者を支援することである。いくつかの実施形態では、提案されたアクションは、教育目的で提供される。いくつかの実施形態では、提案されたアクションは、重要な解剖学的構造、または２つ以上のインプラントの距離の識別に少なくとも基づく安全警告を提供することを含む。

【0028】

[0028]いくつかの実施形態では、２つ以上のインプラントの距離は、健康リスクを引き起こす。いくつかの実施形態では、２つ以上のインプラントの距離は、２つ以上のインプラントの事前に定義された距離とは異なる。いくつかの実施形態では、提案されたアクションは、提案された進入角を提供することを含む。いくつかの実施形態では、提案された進入角は、穿孔角を含み得る。

【0029】

[0029]いくつかの実施形態では、上記方法は肩手術のために構成される。いくつかの実施形態では、上記方法は膝手術のために構成される。いくつかの実施形態では、画像認識アルゴリズムは、データベースを使用して訓練される。いくつかの実施形態では、このデータベースは、１つまたは複数の外科的手技、手術器具、手術器具要素、解剖学的構造、または病変を含む複数の訓練画像を含む。

【0030】

[0030]いくつかの実施形態では、画像認識アルゴリズムの堅牢性を改善するように訓練データセットを改善するために、複数の拡張法が使用される。いくつかの実施形態では、拡張法は、関節鏡視下手技中に患者の位置または向きに対する堅牢性を改善するために、訓練画像を回転するステップを含む。いくつかの実施形態では、拡張法は、患者の右側または左側に対して実行される手技に対する堅牢性を改善するために、垂直軸に沿って訓練画像を反転するステップを含む。いくつかの実施形態では、拡張法は、被写界深度における変化に対する堅牢性を改善するために、訓練画像を拡大またはクロッピングするステップを含む。

【0031】

[0031]いくつかの実施形態では、少なくとも１つの画像は、外科的ビデオストリームから生成される。いくつかの実施形態では、外科的ビデオストリームは、関節鏡視下手術ビデオストリームである。いくつかの実施形態では、外科的ビデオストリームは単眼である。いくつかの実施形態では、外科的ビデオストリームは立体視である。

【0032】

[0032]本発明の他の態様は、関節鏡視下手技を誘導するためのアルゴリズムを訓練する方法を提供する。いくつかの実施形態では、上記方法は、関節鏡視下手技に関係する１つまたは複数の画像に基づいて画像特徴のセットを受信するステップと、訓練データセットを受信するステップと、訓練データセットの画像において画像特徴のうちの１つまたは複数を認識するステップと、１つまたは複数の画像特徴と受信された訓練データセットとに少なくとも部分的に基づいて画像認識アルゴリズムを構築するステップとを含む。いくつかの実施形態では、訓練データセットは、関節鏡視下手技に関係する１つまたは複数の標識された画像を含む。いくつかの実施形態では、訓練データセットは、関節鏡視下手技に関係する１つまたは複数の標識された画像を含み、１つまたは複数の画像特徴は、１つまたは複数の画像特徴が、解剖学的構造、手術器具、手術器具要素、操作手順またはアクション、もしくは病変のうちの１つまたは複数の視覚特性に関係する。いくつかの実施形態では、この画像認識アルゴリズムは、関節鏡視下手技に関係する標識されていない画像における１つまたは複数の画像特徴を識別および標識するように構成される。

【0033】

[0033]いくつかの実施形態では、標識された１つまたは複数の画像特徴は、リアルタイムで、または関節鏡視下手技と同時に表示される。いくつかの実施形態では、画像認識アルゴリズムは、処理モジュールの階層的構成を含む。いくつかの実施形態では、処理モジュールは、複数の個別画像処理モジュールを含む。いくつかの実施形態では、複数の個別画像処理モジュールは、所定の位置の関節鏡視下手技を識別するための第１のモジュール、１つまたは複数の手術器具および手術器具要素を認識および標識する第２のモジュール、１つまたは複数の解剖学的構造を認識および標識する第３のモジュール、またはそれらの組み合わせを含む。

【0034】

[0034]いくつかの実施形態では、処理モジュールは、複数の人工知能（ＡＩ）モジュールを含む。いくつかの実施形態では、処理モジュールは、少なくとも、機械学習アルゴリズム、深層学習アルゴリズム、またはその両方の組み合わせを含む。いくつかの実施形態では、機械学習アルゴリズムは、人工ニューラルネットワークを含む。

【0035】

[0035]いくつかの実施形態では、処理モジュールは、少なくとも１つのデータセットを含む。いくつかの実施形態では、処理モジュールは、少なくとも１つの訓練データセットを含む。

【0036】

[0036]いくつかの実施形態では、処理モジュールは、上流モジュールおよび下流モジュールを含み、下流モジュールは上流モジュールよりも特化している。いくつかの実施形態では、上流モジュールは、関節鏡視下手技中に実行されている操作手順またはアクションによって操作される解剖学的構造のうちの１つまたは複数を識別するように構成される。いくつかの実施形態では、下流モジュールは、識別された解剖学的構造の解剖学的特徴を認識すること、または実行されている操作手順またはアクションと関連した処置器具特徴を認識することのうちの１つまたは複数を行うように構成される。いくつかの実施形態では、処理モジュールは、複数の上流モジュール、または複数の下流モジュールを含む。いくつかの実施形態では、複数の上流モジュールのモジュールのうちの少なくとも１つは、使用のために、処理モジュールのうちから個別下流モジュールを選択するように構成される。

【0037】

[0037]いくつかの実施形態では、少なくとも１つの画像における１つまたは複数の画像特徴を識別するステップは、複数の処理モジュールから１つまたは複数の処理モジュールを選択するステップをさらに含み、この選択は、関節鏡視下手術の部位および／またはポータルに少なくとも部分的に基づく。いくつかの実施形態では、操作手順またはアクションは、手術器具を識別するステップに部分的に基づいて識別される。いくつかの実施形態では、標識されていない画像は、介入イメージング装置によって取り込まれる。いくつかの実施形態では、介入イメージング装置は内視鏡である。いくつかの実施形態では、標識されていない画像は、外科的ビデオストリームから生成される。

【0038】

[0038]いくつかの実施形態では、外科的ビデオストリームは、関節鏡視下手術ビデオストリームであり、内視鏡視下手術は関節鏡視下手術である。いくつかの実施形態では、外科的ビデオストリームは単眼である。いくつかの実施形態では、外科的ビデオストリームは立体視である。

【0039】

[0039]いくつかの実施形態では、画像認識アルゴリズムは、関節鏡視下的手技の手術部位または進入口のうちの１つまたは複数を識別するように構成される。いくつかの実施形態では、手術部位は肩である。いくつかの実施形態では、手術部位は膝である。いくつかの実施形態では、処理モジュールのうちの少なくとも１つのモジュールは、手術部位または進入口のうちの１つまたは複数を識別するステップに少なくとも基づいて選択される。

【0040】

[0040]いくつかの実施形態では、画像認識アルゴリズムは、標識された画像をメモリ装置に記憶する。いくつかの実施形態では、画像認識アルゴリズムは、メモリ使用量を最小限にするために、標識された画像を破棄する。

【0041】

[0041]いくつかの実施形態では、標識された画像は、ピクセル単位のマスクされたラベル付け、境界ボックスのラベル付け、フレーム単位のラベル付け、または時間的ラベル付けを含む。いくつかの実施形態では、ピクセル単位のマスクされたラベル付けは、標識された解剖学的構造または手術器具を表示するために使用される。いくつかの実施形態では、境界ボックスのラベル付けは、標識された病変、手術器具、または異物を表示するために使用される。いくつかの実施形態では、フレーム単位のラベル付けは、標識された解剖学的部位を表示するために使用される。いくつかの実施形態では、時間的ラベル付けは、操作手順またはアクションを標識するステップを表示するため使用される。

【0042】

[0042]いくつかの実施形態では、訓練データセットは、肩手術のために構成される。いくつかの実施形態では、画像認識アルゴリズムは、肩手術のために構成された訓練データセットを使用して肩手術のために訓練される。いくつかの実施形態では、訓練データセットは、膝手術のために構成される。いくつかの実施形態では、画像認識アルゴリズムは、膝手術のために構成された訓練データセットを使用して膝手術のために訓練される。いくつかの実施形態では、この訓練データセットは、１つまたは複数の外科的手技、手術器具、手術器具要素、解剖学的構造、または病変を含む複数の訓練画像を含む。

【0043】

[0043]いくつかの実施形態では、画像認識アルゴリズムの堅牢性を改善するように訓練データセットを改善するために、複数の拡張法が使用される。いくつかの実施形態では、拡張法は、関節鏡視下手技中に患者の位置または向きに対する堅牢性を改善するために、訓練画像を回転するステップを含む。いくつかの実施形態では、拡張法は、患者の右側または左側に対して実行される手技に対する堅牢性を改善するために、垂直軸に沿って訓練画像を反転するステップを含む。いくつかの実施形態では、拡張法は、被写界深度における変化に対する堅牢性を改善するために、訓練画像を拡大またはクロッピングするステップを含む。

【0044】

[0044]本発明の他の態様は、関節鏡視下手術を誘導するための階層的パイプラインを実施するための方法を提供する。いくつかの実施形態では、このシステムは、１つまたは複数のコンピュータプロセッサと、１つまたは複数のコンピュータプロセッサによって実行されたとき、１つまたは複数のコンピュータプロセッサに、動作を実行させるように動作可能な命令を記憶する１つまたは複数の非一時的コンピュータ可読記憶媒体とを含み、動作は、（ａ）介入イメージング装置によって取り込まれた少なくとも１つの画像を受信するステップと、（ｂ）処置の部位またはその部位における進入口の１つまたは複数の画像特徴を、少なくとも１つの上流モジュールに基づいて識別するステップと、（ｃ）ステップ（ｂ）で識別された１つまたは複数の画像特徴に少なくとも部分的に基づいて解剖学的構造または病変の１つまたは複数の画像特徴を識別するように第１の下流モジュールを作動させるステップと、（ｄ）ステップ（ｂ）で識別された１つまたは複数の画像特徴に少なくとも部分的に基づいて、関節鏡視下手術に関係する手術器具、手術器具要素、操作手順、またはアクションの１つまたは複数の画像特徴を識別するように第２の下流モジュールを作動させるステップと、（ｅ）識別された１つまたは複数の画像特徴を標識するステップと、（ｆ）関節鏡視下手術の過程において継続的に操作者に対して少なくとも１つの画像における標識された１つまたは複数の画像特徴を表示するステップとを含む。

【0045】

[0045]いくつかの実施形態では、少なくとも１つの上流モジュールは、第１の訓練済み画像処理アルゴリズムを含む。いくつかの実施形態では、少なくとも１つの上流モジュールは、第１の訓練済み画像処理アルゴリズムを含み、第１の下流モジュールは第２の訓練済み画像処理アルゴリズムを含む。いくつかの実施形態では、少なくとも１つの上流モジュールは、第１の訓練済み画像処理アルゴリズムを含み、第１の下流モジュールは第２の訓練済み画像処理アルゴリズムを含み、第２の下流モジュールは第３の訓練済み画像処理アルゴリズムを含む。いくつかの実施形態では、ステップ（ｃ）および（ｄ）は互いに独立している。いくつかの実施形態では、第１、第２、または第３の訓練済み画像処理アルゴリズムは、少なくとも、機械学習アルゴリズム、深層学習アルゴリズム、またはその両方の組み合わせを含む。１つまたは複数の実施形態では、機械学習アルゴリズムは、人工ニューラルネットワークを含む。

【0046】

[0046]いくつかの実施形態では、機械学習または深層学習アルゴリズムは、少なくとも１つの訓練データセットを使用して訓練される。いくつかの実施形態では、訓練データセットは、肩手術のために構成される。いくつかの実施形態では、訓練データセットは、膝手術のために構成される。いくつかの実施形態では、この訓練データセットは、１つまたは複数の外科的手技、手術器具、手術器具要素、解剖学的構造、または病変を含む複数の訓練画像を含む。

【0047】

[0047]いくつかの実施形態では、画像認識アルゴリズムの堅牢性を改善するように訓練データセットを改善するために、複数の拡張法が使用される。いくつかの実施形態では、拡張法は、関節鏡視下手技中に患者の位置または向きに対する堅牢性を改善するために、訓練画像を回転するステップを含む。いくつかの実施形態では、拡張法は、患者の右側または左側に対して実行される手技に対する堅牢性を改善するために、垂直軸に沿って訓練画像を反転するステップを含む。いくつかの実施形態では、拡張法は、被写界深度における変化に対する堅牢性を改善するために、訓練画像を拡大またはクロッピングするステップを含む。

【0048】

[0048]いくつかの実施形態では、第１、第２、または第３の訓練済み画像処理アルゴリズムは、標識された特徴を有する表示画像をメモリ装置に記憶する。いくつかの実施形態では、第１、第２、または第３の訓練済み画像処理アルゴリズムは、メモリ使用量を最小限にするために、標識された特徴を有する表示画像を破棄する。

【0049】

[0049]いくつかの実施形態では、関節鏡視下手技は、関節鏡視下手術である。いくつかの実施形態では、少なくとも１つの画像は、外科的ビデオストリームから生成される。いくつかの実施形態では、外科的ビデオストリームは、内視鏡視下手術ビデオストリームである。いくつかの実施形態では、外科的ビデオストリームは単眼である。いくつかの実施形態では、外科的ビデオストリームは立体視である。

【0050】

[0050]本発明の他の態様は、１つまたは複数のコンピュータプロセッサによって実行されたとき、上記または本明細書の他の箇所の方法のいずれかを実施する機械実行可能コードを含む非一時的コンピュータ可読媒体を提供する。

【0051】

[0051]本発明の他の態様は、１つまたは複数のコンピュータプロセッサと、それに結合されたコンピュータメモリとを備えるシステムを提供する。このコンピュータメモリは、１つまたは複数のコンピュータプロセッサによって実行されたとき、上記または本明細書の他の箇所の方法のいずれかを実施する機械実行可能コードを含む。

【0052】

[0052]本発明のシステムおよび方法の実施形態は、術野内における解剖学的構造、病変、病変修復、および選択された測定結果のリアルタイム表示を提供することによって、関節鏡視下手術などの手術中に外科医を支援する上で特に有益である。そのような表示は、組織構造および測定結果の誤った識別に起因する誤りを削減し、したがって手術結果および患者の結果の改善につながる。また、それを、外科医に対する認知的負荷を軽減することによって実現し、外科医が、重要な作業に対する集中または過集中に起因して失敗する場合がある手術の過程において、手技と、潜在的な有害なアクション、状態、または結果に対する警告時とに集中できるようにする。そのような警告は、潜在的な有害事象が発生する前および／またはそれらの発生と同時に外科医に警告して外科医がそれらの防止または軽減のために適切なアクションを実行できるようにすることによって、手術中に潜在的な有害事象を防止または低減する。使用に際して、実行される手術的アクションにおいて、誤りがない、または少しの誤りのみで、さらにより高い精度および正確性（例えば、健常組織を維持しながら、インプラント留置あるいは損傷組織または患部組織の除去の正確性）で手術が実行されるため、上記のような警告は、罹患率および死亡率の両方の減少とともに、患者の急性の手術結果および長期転帰の改善につながる。

【0053】

[0053]本発明のさらなる態様および利点は、以下の詳細な説明から当業者にとって容易に明らかとなり、本発明の例に過ぎない実施形態が図示され、説明される。認識されるように、本発明は、他の実施形態および異なる実施形態が可能であり、そのいくつかの詳細は、全てが本開示から逸脱せずに、様々な明らかな点において修正可能である。したがって、図面および明細書は、性質という観点から例示的であるとみなされるべきであり、限定的であるとみなされるべきでない。
参照による組み込み
[0054]本明細書で言及される全ての公報、特許および特許出願は、本明細書において、それぞれの個別の公報、特許、または特許出願が参照によって組み込まれることが明確かつ個別に示されるのと同程度に、参照によって組み込まれる。参照によって組み込まれる公報および特許または特許出願が本明細書に含まれる開示と矛盾する範囲で、本明細書は、そのような矛盾した事柄に取って代わる、および／またはそれに優先することが意図される。

【0054】

[0055]本発明の新規の特徴が、添付の特許請求の範囲における詳細とともに説明される。本発明の特徴および利点のより深い理解は、本発明の原理が利用される例示的な実施形態を説明する以下の詳細な記載および以下の添付図面（本明細書では「図面」および「図」とも呼ばれる）を参照することによって実現される。

【図面の簡単な説明】

【0055】

【図1】[0056]いくつかの実施形態による、ＡＩ支援手術のためのシステムにおけるモジュールの階層的構成の例のフローチャートである。

【図2】[0057]図２Ａは、いくつかの実施形態による、関節鏡視下外科的手技の画像を示す図である。[0058]図２Ｂは、いくつかの実施形態による、関節鏡視下外科的手技における特徴を標識することの例を示す図である。

【図3A】[0059]いくつかの実施形態による、関節鏡によって取り込まれた画像において器具、アクション、または手技を標識することの例を示す図である。

【図3B】[0060]いくつかの実施形態による、関節鏡によって取り込まれた画像において器具、アクション、または手技を標識することの他の例を示す図である。

【図3C】[0061]いくつかの実施形態による、術野における任意の器具を認識することの例を示す図である。

【図4】[0062]いくつかの実施形態による、画像認識アルゴリズムを訓練することの例のフローチャートである。

【図5】[0063]いくつかの実施形態による、本明細書において提示される方法を実施するようにプログラムされる、または他のやり方で構成されるコンピュータシステムを示す図である。

【図6】[0064]いくつかの実施形態による、膝手術のシミュレーションにおいて使用されるＡＩパイプラインの例を示す図である。

【図7】[0065]図７Ａは、いくつかの実施形態による、解剖学的構造を認識および標識することの例を示す図である。[0066]図７Ｂは、いくつかの実施形態による、病変を認識および標識することの例を示す図である。

【図8】[0067]図８Ａは、いくつかの実施形態による、関節鏡視下外科的手技の画像の例を示す図である。[0068]図８Ｂは、いくつかの実施形態による、画像認識アルゴリズムを使用して標識された関節鏡視下外科的手技の画像の例を示す図である。[0069]図８Ｃは、いくつかの実施形態による、主題専門家によって標識された画像における解剖学的構造の例を示す図である。図８Ｄは、いくつかの実施形態による、主題専門家によって標識された画像における解剖学的構造の例を示す図である。図８Ｅは、いくつかの実施形態による、主題専門家によって標識された画像における解剖学的構造の例を示す図である。図８Ｆは、いくつかの実施形態による、主題専門家によって標識された画像における解剖学的構造の例を示す図である。図８Ｇは、いくつかの実施形態による、主題専門家によって標識された画像における解剖学的構造の例を示す図である。図８Ｈは、いくつかの実施形態による、主題専門家によって標識された画像における解剖学的構造の例を示す図である。図８Ｉは、いくつかの実施形態による、主題専門家によって標識された画像における解剖学的構造の例を示す図である。図８Ｊは、いくつかの実施形態による、主題専門家によって標識された画像における解剖学的構造の例を示す図である。図８Ｋは、いくつかの実施形態による、主題専門家によって標識された画像における解剖学的構造の例を示す図である。図８Ｌは、いくつかの実施形態による、主題専門家によって標識された画像における解剖学的構造の例を示す図である。[0070]図８Ｍは、いくつかの実施形態による、ＡＩアルゴリズムによって標識された画像における解剖学的構造の例を示す図である。図８Ｎは、いくつかの実施形態による、ＡＩアルゴリズムによって標識された画像における解剖学的構造の例を示す図である。図８Ｏは、いくつかの実施形態による、ＡＩアルゴリズムによって標識された画像における解剖学的構造の例を示す図である。図８Ｐは、いくつかの実施形態による、ＡＩアルゴリズムによって標識された画像における解剖学的構造の例を示す図である。図８Ｑは、いくつかの実施形態による、ＡＩアルゴリズムによって標識された画像における解剖学的構造の例を示す図である。図８Ｒは、いくつかの実施形態による、ＡＩアルゴリズムによって標識された画像における解剖学的構造の例を示す図である。図８Ｓは、いくつかの実施形態による、ＡＩアルゴリズムによって標識された画像における解剖学的構造の例を示す図である。図８Ｔは、いくつかの実施形態による、ＡＩアルゴリズムによって標識された画像における解剖学的構造の例を示す図である。図８Ｕは、いくつかの実施形態による、ＡＩアルゴリズムによって標識された画像における解剖学的構造の例を示す図である。図８Ｖは、いくつかの実施形態による、ＡＩアルゴリズムによって標識された画像における解剖学的構造の例を示す図である。

【図9】[0071]いくつかの実施形態による、ＡＩ支援手術のためのシステムによって認識されたアクションの例を示す図である。

【図10】[0072]いくつかの実施形態による、外科的手技を識別するプロセスが例示的なフローチャートである。

【図11A】[0073]いくつかの実施形態による、外科的手技を識別するプロセスの他の例を示す図である。

【図11B】[0074]いくつかの実施形態による、時間の経過に伴う、器具検出モデル、解剖学的構造検出モデル、およびアクティビティ検出モデルからの出力の例を示す図である。

【図12】[0075]いくつかの実施形態による、ＡＩ支援手術システムにおける要素の概略図である。

【発明を実施するための形態】

【0056】

[0076]本発明の様々な実施形態が図示され、本明細書で説明されるが、当業者には、そのような実施形態が例として提供されているのに過ぎないことが明らかであろう。当業者は、本発明から逸脱しない範囲で、数多くの変形、変更、および置換に想到し得る。なお、以下でより詳細に説明されるように、本明細書で説明される本発明の実施形態の様々な代替案が用いられ得ることを理解されたい。

【0057】

[0077]本発明の様々な実施形態は、ＡＩを使用して、手術中の状況において外科医を支援するためのコンピュータ実施による医療システム、装置、および方法を提供する。本明細書で開示されるシステム、装置、および方法は、外科手術（例えば、手術器具、解剖学的特徴、解剖学的病変／負傷特徴、操作手順）に関わる様々な要素の改善された分類（例えば、リアルタイム）を提供することによって手術支援の既存の方法を改良し得る。この目的を、本明細書で提示されるシステム、装置、および方法の１つまたは複数の実施形態が、外科手術に関わる要素のリアルタイム分類を改善する分類器を構築するためにＡＩ方法（例えば、機械学習、深層学習）の使用によって達成し得る。本明細書で説明されるＡＩによるアプローチおよび実施の様々な実施形態は、データセットから新たな洞察を得るために、大量のデータセットを活用する場合がある。分類器モデルは、手術に関わる様々な要素のリアルタイムでの特徴付けを改善することができ、例えば解剖学的構造の誤識別による誤りの減少に起因して高い手術成功率につながり得る。この分類器モデルは、操作者（例えば、外科医、手術室担当看護師、外科技術者）に、より正確で適時の意思決定（例えば、リアルタイムで重要な解剖学的特徴を標識すること）を可能とするための情報を提供し得る。これは、インプラント（例えば、アンカー）の所望の位置への留置、または手術部位において特定の解剖学的構造から健常組織を維持しつつ損傷組織または患部組織（例えば、亀裂が生じた腱または軟骨もしくは腫瘍性組織など）をより完全に除去するなど、より正確かつ高精度の外科的アクションにより誤りの減少と性能向上につながる。

【0058】

[0078]本明細書で開示されるようなコンピュータ実施による医療システム、装置、および方法は、正確なリアルタイムの意思決定を継続的に実現するために、外科手術の文脈における様々な要素に関係するパラメータを活用することによって、臨床意思決定支援システムの既存の方法を改良し得る。外科手術には、様々な部分および解剖学的複雑性を有する患者の身体、複数の器具および装置、手術中に起こり得る非定型の事象に基づくアクションとともに、外科的手技に基づくアクションなどの様々な要素が関わる。本明細書で開示されるシステム、装置および方法は、階層的に意思決定を行うように編成された複数のＡＩモジュールに基づいて分類および提案を行うために、外科手術の環境が変化しても継続的に動作し得る。例えば、本明細書で説明される分類器は、内視鏡カメラの視野が手術中に変化する場合があっても、解剖学的特徴（例えば、肩、膝、器官、組織、または病変）を分類できる。同様に、本明細書で説明されるシステム、装置、および方法は、手術器具が視野に現れるとそれを認識できる。

【0059】

[0079]本明細書で開示されるようなシステム、装置、および方法は、手術に関わる様々な要素を分類するために使用され得る。例えば、本明細書で開示される分類器は、解剖学的構造（例えば、解剖学的部位、器官、組織）、手術器具、または手術中に実行されている手技を識別および標識できる。

【0060】

[0080]本発明は、重要な構造（例えば、神経、動脈、静脈、骨、軟骨、靭帯）または病変（例えば、除去が必要な組織）を認識するのを助け得る。重要な構造は、視野において可視または不可視でもよい。本明細書で説明されるシステム、装置、および方法は、重要な構造を識別および印付け（例えば、ビデオストリーム上での色による印付け）できる。多くの実施形態によるシステムは、階層的に意思決定を行うように編成された複数の手術用ＡＩモジュールを備え得る。本明細書で開示される手術用ＡＩ支援モジュールは、術野のビデオフィードを分析し、ほぼ継続的に意思決定を提供し得る。これらのモジュールは、ビデオデータのフローおよび複数の出力（例えば、意思決定）を処理できるメッセージングフレームワークによって接続され得る。このＡＩシステムは、術野における変化に反応し得る。開示される本発明の方法およびシステムは、異なる解剖学的部位および器官を含む様々な外科手術に適用され得る。手術用ＡＩ支援は、外科医が視野を変更したとき、すなわち異なる進入口から術野にアクセスするときに作用し得る。

【0061】

[0081]以下で、様々な実施形態について詳細に言及し、その例が添付図面に示される。以下の詳細な説明において、本発明および記載される実施形態の十分な理解を実現するために、多数の特定の詳細が記載される。ただし、本発明の実施形態は、それらの特定の詳細がなくても任意選択で実践される。他の例では、実施形態の態様を不必要に不明瞭としないために、よく知られた方法、手順、構成要素、および回路は詳細に説明されていない。図面において、同一の参照番号が同一または類似のステップまたは構成要素を示す。

【0062】

[0082]本明細書で使用される語は特定の実施形態を説明する目的のみであり、特許請求の範囲を限定することは、意図されない。実施形態および添付の特許請求の範囲の記載で使用される場合、文脈が明確に示さない限り、単数形「ａ」、「ａｎ」、および「ｔｈｅ」は複数形も同様に含むことが意図される。また、「および／または」という語は、本明細書で使用される場合、関連する列挙項目の１つまたは複数のいずれかの可能な組み合わせまたは全ての可能な組み合わせを指し、それらを包含することを理解されたい。

【0063】

[0083]本明細書で使用される場合、「～の場合」という語は、「とき」または「したとき」あるいは、文脈に応じて、先行して記述された条件が真であるという「決定に応答して」、または「決定にしたがって」または「検出に応答して」を意味すると任意選択で解釈される。同様に、「［先行する記述された条件が真である］と判断される場合」または「［先行する記述された条件が真である］場合」あるいは「［先行する記述された条件が真である］とき」という表現は、文脈に応じて、先行して記述された条件が真であるという「決定したとき」もしくは「決定に応答して」もしくは「決定にしたがって」、または「検出したとき」もしくは「検出に応答して」を意味すると任意選択で解釈される。

【0064】

[0084]本明細書で使用される場合、特記しない限り、「約」または「およそ」という語は、当業者によって決定されるような特定の値に対する許容範囲の誤差を意味し、その値がどのように測定または決定されるかに部分的に依存する。特定の実施形態では、「約」または「およそ」という語は、１、２、３、または４の標準偏差内を意味する。特定の実施形態では、「約」または「およそ」という語は、所与の値または範囲の３０％、２５％、２０％、１５％、１０％、９％、８％、７％、６％、５％、４％、３％、２％、１％、０．５％、０．１％、または０．０５％以内を意味する。

【0065】

[0085]本明細書で使用される場合、「備える」、「備えている」という語、またはその何らかの他の変形は、列挙されている要素を備えるプロセス、方法、物品、または装置がそれらの要素を含むだけでなく明示的に列挙されていない他の要素、またはそのようなプロセス、方法、物品、または装置に固有の他の要素を含み得るように、非排他的含有物を網羅することが意図される。

【0066】

[0086]本明細書で使用される場合、「対象」および「患者」という語は、入れ替え可能に使用される。本明細書で使用される場合、「対象」という語は、人間を指す。特定の実施形態では、対象は外科手術を経験している。特定の実施形態では、対象は、０カ月から６カ月、６カ月から１２カ月、１歳から５歳、５歳から１０歳、１０歳から１５歳、１５歳から２０歳、２０歳から２５歳、２５歳から３０歳、３０歳から３５歳、３５歳から４０歳、４０歳から４５歳、４５歳から５０歳、５０歳から５５歳、５５歳から６０歳、６０歳から６５歳、６５歳から７０歳、７０歳から７５歳、７５歳から８０歳、８０歳から８５歳、８５歳から９０歳、９０歳から９５歳、または９５歳から１００歳である。

【0067】

[0087]「少なくとも」、「より大きい」、または「以上」という表現が一連の２つ以上の数値における最初の数値の前に記載されている場合は常に、「少なくとも」、「より大きい」、または「以上」という表現は、その一連の数値のうちの数値のそれぞれに対して適用される。例えば、１、２、または３以上は、１以上、２以上、または３以上と等価である。

【0068】

[0088]「～を超えない」、「未満」または「以下」という表現が一連の２つ以上の数値における最初の数値の前に記載されている場合は常に、「～を超えない」、「未満」または「以下」という表現は、その一連の数値のうちの数値のそれぞれに対して適用される。例えば、３、２、または１以下は、３以下、２以下、または１以下と等価である。

【0069】

[0089]「外科用ＡＩ」または「外科用ＡＩモジュール」という語は、本明細書で使用される場合、全般的に、人工知能アルゴリズムを使用して、外科手術の前、間、および／または後で支援するシステム、装置、または方法を指す。外科用ＡＩモジュールは、入力データ、機械学習または深層学習アルゴリズム、訓練データセット、または他のデータセットの組み合わせとして定義され得る。

【0070】

[0090]「機械学習」という語は、本明細書で使用される場合、全般的に、時間の経過とともに自動的に改良し得るコンピュータアルゴリズムを指し得る。機械学習の本明細書におけるいずれかの記載は、人工知能に適用されることが可能であり、その逆も可能であり、または任意のそれらの組み合わせにも適用可能である。

【0071】

[0091]本明細書で使用される場合、「継続的」、「継続的に」という語、またはその何らかの他の変形は、全般的に、ほぼ途切れないプロセス、またはプロセスの文脈において許容可能な時間遅延を有するプロセスを指す。

【0072】

[0092]「ビデオストリーム」または「ビデオフィード」という語は、本明細書で使用される場合、デジタルカメラによって生成されたデータを指す。ビデオフィードは、一連の静止画または動画であり得る。

【0073】

[0093]「部位」、「器官」、「組織」、「構造」という語は、本明細書で使用される場合、全般的に、人体の解剖学的特徴を指し得る。部位は器官より大きい場合があり、器官を含み得る。器官は、１つまたは複数の組織の種類および構造を含み得る。組織は、共通の機能を完成させるために構造的に結合された細胞のグループを指し得る。構造は、組織の一部を指すことが可能である。いくつかの実施形態では、構造は、解剖学的特徴を創出するためにともに結合された１つまたは複数の組織の１つまたは複数の部分を指し得る。

【0074】

[0094]「術野」または「視野」という語は、本明細書で使用される場合、介入イメージング装置によって取り込まれる視界の範囲を指す。視野は、人間の眼によって観察可能で、デジタルカメラによって取り込まれる視覚データの範囲を指し得る。

【0075】

[0095]「決定」という語は、本明細書で説明される場合、機械学習またはＡＩアルゴリズムからの出力を指し得る。決定は、標識すること、分類、予測などを含み得る。

【0076】

[0096]「介入イメージング装置」という語は、本明細書で使用される場合、全般的に、医療目的のために使用されるイメージング装置を指す。介入イメージング装置は、外科手術において使用されるイメージング装置を指し得る。外科手術は、いくつかの実施形態では、手術のシミュレーションでもよい。

【0077】

[0097]本明細書で使用される「操作者」という語は、外科手術に関わる医療の専門家を指す。操作者は、外科医、手術室担当看護師、外科技術者であることが可能である。

【0078】

[0098]本発明の一態様は、関節鏡視下手技を誘導するためのシステムを提供する。システムは、１つまたは複数のコンピュータプロセッサと、１つまたは複数のコンピュータプロセッサによって実行されたとき、１つまたは複数のコンピュータプロセッサに、動作を実行させるように動作可能な命令を記憶する１つまたは複数の非一時的コンピュータ可読記憶媒体とを備えており、動作は、介入イメージング装置によって取り込まれた少なくとも１つの画像を受信するステップと、画像認識アルゴリズムを使用して、受信された少なくとも１つの画像における１つまたは複数の画像特徴を識別するステップと、識別された１つまたは複数の画像特徴を標識するステップであって、識別された１つまたは複数の画像特徴が、解剖学的構造、手術器具、手術器具要素、操作手順またはアクション、もしくは病変のうちの１つまたは複数を含む、ステップと、関節鏡視下手技の過程において継続的に操作者に対して少なくとも１つの画像における標識された１つまたは複数の画像特徴を表示するステップとを含み得る。例えば、いくつかの実施形態では、操作手順またはアクションは、手術器具を識別するステップに部分的に基づいて識別され得る。いくつかの実施形態では、介入イメージング装置は内視鏡である。いくつかの実施形態では、介入イメージング装置は関節鏡である。動作は、画像をメモリ装置に記憶するステップをさらに含み得る。いくつかの実施形態では、動作は、メモリ使用量を最適化するために、標識された画像特徴を表示するステップの後に画像を破棄するステップをさらに含み得る。

【0079】

[0099]いくつかの実施形態では、関節鏡視下手技は、関節鏡視下手術（または関節鏡検査）であり得る。関節鏡検査または鍵穴手術とも知られる関節鏡視下手術は、関節に対する低侵襲的外科的手技（例えば、小切開のみを必要とする）であり得る。関節鏡検査は、診断的手技または治療的手技のいずれかを含み得る。治療的態様または治療的種類の関節鏡検査は、断裂した軟骨の小片の除去、靭帯再建、または滑膜切除（関節の裏打ちの除去）のために、例えば、関節のデブリドマンまたは洗浄などの外科的修復をさらに含み得る。関節鏡検査は、関節鏡を使用して実行され得る。関節鏡は、小切開によって、対象の身体に挿入されて、関節において、またはその周辺で関節鏡視下手技を実行し得る。関節鏡は内視鏡でもよい。関節鏡は、ファイバースコープを含み得る。関節鏡は、軟性または硬性でもよい。関節鏡は、カメラ（例えば、デジタルカメラ）、光源、視野の画像を創出するレンズ、または画像をセンサに運ぶ機構を備え得る。センサは、グローバルシャッタ（例えば、ＣＣＤセンサ）またはロールシャッタ（例えば、ＣＭＯＳセンサ）を含み得る。関節鏡によって取り込まれた画像は、ディスプレイ（例えば、モニタ）上に表示され得る。操作者（例えば、外科医）は、表示された画像（例えば、関節鏡からのビデオフィード）を使用して手術を実行し得る。

【0080】

[00100]関節鏡視下手術は、小切開を使用し、それを通って器具および内視鏡が病変の診断または修復のために関節に到達し得る。手技の低侵襲的特性に起因して、患者は、従来の手術よりも痛みが少なく、速い治癒を経験する場合があり、または出血が少ないことを経験する場合がある。ただし、関節鏡視下手術は、従来の手術（例えば、観血手術）よりも技術的に要求が厳しくなり得る。関節鏡検査において、操作者（例えば、外科医）は、小型器具を使用し、移動範囲が制限されているため、限定された視野で操作する場合がある。視野が制限されているため、外科医は、例えば、対象解剖学的構造を網羅するために関節鏡のパンが必要な場合がある。関節鏡検査と関連する課題の非限定的な例は、例えば、意図する修復位置などの対象位置の追跡、病変（例えば、癌組織）、重要な構造（例えば、神経、動脈、静脈、骨、軟骨、靭帯）などの認識、解剖学的構造に関する視覚定位、寸法（例えば、肩回旋腱板割断の大きさ）の手術中における測定、グラフトを使用した場合のインプラントの留置のために骨または組織範囲の追跡、手技がより大きい視野を必要とする場合に、事前に定義された位置にアンカーを操作者が留置するために十分でない場合がある視野、また例えば重要な視界を認識するために、手術前診断イメージングの手術中の視野との相関を含み得る。重要な視界は、病変（例えば、腫瘍または嚢腫）、もしくは事前に定義されたインプラントまたは修復部位を含み得る。いくつかの実施形態では、本明細書で提示されるシステムおよび方法は、肩手術のために構成され得る。いくつかの実施形態では、本明細書で提示されるシステムおよび方法は、膝手術のために構成され得る。

【0081】

[00101]いくつかの実施形態では、イメージング装置（例えば、関節鏡）によって取り込まれた画像は、コンピュータシステムによって受信され得る。このコンピュータシステムは、画像認識またはアルゴリズムまたは他の関連アルゴリズムを含み得る。この画像認識アルゴリズムは、関節鏡から受信された画像において１つまたは複数の特徴を識別し得る。画像認識アルゴリズムは、関節鏡視下手技（例えば、関節鏡視下手術）の手術部位または進入口（またはポータル）のうちの１つまたは複数を識別するように構成され得る。いくつかの実施形態では、手術部位は肩である。いくつかの実施形態では、手術部位は膝である。

【0082】

[00102]画像認識アルゴリズムは、処理モジュールを含み得る。画像認識アルゴリズムは、処理モジュールの構成を含み得る。処理モジュールの構成は階層的であり得る。例えば、処理モジュールの階層的構成は、第２の処理モジュールの上流および／または第３の処理モジュールの下流であり得る第１の処理モジュールを含み得る。画像認識アルゴリズムは、上流モジュールと下流モジュールという少なくとも２つの処理モジュールを含み得る。いくつかの実施形態では、下流モジュールは、上流モジュールより特化され得る（例えば、特定の解剖学的構造、病変、組織型、手技などと関連した特徴を識別するように構成され得る）。いくつかの実施形態では、モジュールは、汎用モジュールであり得る。特化モジュールは、ポータル認識モジュール、解剖学的構造認識モジュール、特定の解剖学的構造（例えば、肩モジュール、膝モジュール）と関連したモジュール、病変認識モジュール、特定の病変（例えば、癌、軟骨における欠損、肩回旋腱板割断、関節唇の脱臼／損傷、ＡＣＬ（膝前十字靭帯）損傷、半月板損傷、二頭腱断裂、滑膜組織の炎症、または大腿骨寛骨臼インピンジメント（ＦＡＩ））と関連したモジュール、または病変測定モジュールを含み得る。汎用モジュールは、器具認識モジュール、アクション認識モジュール（例えば、穿孔、研磨、洗浄など）を含み得る。いくつかの実施形態では、処理モジュールは、複数の上流モジュール、複数の下流モジュール、またはその両方の組み合わせを含み得る。いくつかの実施形態では、複数の上流モジュールのうちの少なくとも１つは、画像をさらに処理するために、処理モジュールの複数の下流モジュールから少なくとも１つの下流モジュールを選択するように構成され得る。いくつかの実施形態では、画像において識別された１つまたは複数の特徴を識別するステップは、複数のＡＩモジュールから１つまたは複数の処理モジュールを選択するステップをさらに含んでもよく、この選択は、少なくとも１つの上流モジュールからの出力に少なくとも部分的に基づく。いくつかの実施形態では、処理モジュールは、手術部位または進入口（またはポータル）のうちの１つまたは複数を識別するステップに少なくとも基づいて選択される。

【0083】

[00103]いくつかの実施形態では、上流モジュールは、関節鏡視下手技中に実行されている操作手順またはアクションによって操作される解剖学的構造のうちの１つまたは複数を識別するように構成され得る。いくつかの実施形態では、下流モジュールは、実行されている操作手順またはアクションと関連する、識別された解剖学的構造の解剖学的特徴のうちの１つまたは複数を認識するように構成され得る。いくつかの実施形態では、下流モジュールは、実行されている操作手順またはアクションと関連する、処置器具の特徴を認識するように構成され得る。

【0084】

[00104]処理モジュールは、人工知能（ＡＩ）モジュールを含み得る。いくつかの実施形態では、処理モジュールは、複数のＡＩモジュールを含み得る。いくつかの実施形態では、処理モジュールまたは複数のＡＩモジュールは、少なくとも、機械学習アルゴリズム、深層学習アルゴリズム、またはその両方の組み合わせを含み得る。機械学習アルゴリズムは、訓練済み機械学習アルゴリズムを含み得る。機械学習アルゴリズムは、人工ニューラルネットワークを含み得る。いくつかの実施形態では、処理モジュールまたは処理モジュールにおけるＡＩは、少なくとも１つのデータセットを含み得る。いくつかの実施形態では、処理モジュールまたは処理モジュールにおけるＡＩは、少なくとも訓練データセットを含み得る。

【0085】

[00105]図１は、モジュールの階層的構成１００の例を示すフローチャートである。いくつかの実施形態では、第１のモジュールは、術野を決定する部位認識モジュール１１０を含み得る。部位認識モジュールは、イメージング装置（例えば、関節鏡）から画像１０１（例えば、ビデオフィードからのフレーム）を受信し得る。いくつかの実施形態では、部位認識モジュール１１０は、画像において術野を認識しなくてもよい。したがって、部位認識モジュール１１０は、他のモジュールへの画像の転送を停止してもよく、および／またはそのフレームを破棄してもよい。いくつかの実施形態では、部位認識モジュール１１０は、画像において術野を認識してもよい。その後、部位認識モジュール１１０は、汎用モジュール、特化モジュール、またはその両方を含む部位認識モジュール１１０の下流の他のモジュールへ画像を送信してもよい。例えば、部位認識モジュール１１０の下流のモジュールは、ポータル認識モジュール１１１、器具認識モジュール１２０、またはその両方を含み得る。画像は、ほぼ同時に（例えば、並列して）２つ以上のモジュールに送信されてもよい。画像は、連続的に（例えば、順次）２つ以上のモジュールに送信されてもよい。画像は、本明細書で述べた順序で、器具認識モジュール１２０、アクション認識モジュール１２１、または手技認識モジュール１２２に送信されてもよい。いくつかの実施形態では、器具認識モジュール１２０は、画像において器具を認識してもよい。その後、モジュール１２１は、認識された器具に少なくとも部分的に基づいてアクションを決定してもよい。モジュール１２１は、その後、画像を手技認識モジュールに送信してもよく、手技認識モジュールは、その後、決定されたアクションおよび／または認識された器具に少なくとも部分的に基づいて、実行される外科的手技を決定する。部位認識モジュール１１０は、さらに、器具認識モジュール１２０と並列で、画像をポータル認識モジュール１１１に送信してもよい。ポータル認識モジュール１１１は、その後、部位認識モジュール１１０によって認識された部位と関連した進入口を決定し得る。ポータル認識モジュール１１１によって認識された進入口に少なくとも部分的に基づいて、画像は、特化またはカスタマイズされたパイプラインを形成する１つまたは複数の特化モジュールに送信され得る。そのような特化されたパイプラインは、特定の解剖学的部位または場所（例えば、肩、膝または股関節）に特化されてもよく、特化モジュール（例えば、特定の解剖学的構造または病変のために訓練されたＡＩ）を含み得る。この特化パイプラインにおける１つまたは複数のモジュールは、ポータル認識モジュール１１１による進入部位（例えば、嚢状部位）の認識時に作動され得る。

【0086】

[00106]いくつかの実施形態では、画像特徴を標識するステップは、ピクセル単位のマスクされたラベル付け、境界ボックスのラベル付け、フレーム単位のラベル付け、または時間的ラベル付けをさらに含む。いくつかの実施形態では、ピクセル単位のマスクされたラベル付けは、標識された解剖学的構造または手術器具を表示するために使用される。いくつかの実施形態では、境界ボックスのラベル付けは、標識された病変、手術器具、または異物を表示するために使用される。いくつかの実施形態では、フレーム単位のラベル付けは、標識された解剖学的部位を表示するために使用される。いくつかの実施形態では、時間的ラベル付けは、操作手順または認識されたアクションを標識するステップを表示するために使用される。

【0087】

[00107]部位認識モジュール１１０およびポータル認識モジュール１１１の下流において、１つまたは複数の画像は、その画像における１つまたは複数の特徴を認識および／または標識するために、１つまたは複数のモジュールに送信され得る。標識された画像の例が図７Ａ～図７Ｂに示される。図１に示される解剖学的構造認識モジュール１３０は、部位認識モジュール１１０およびポータル認識モジュール１１１から１つまたは複数の画像を受信してもよく、（図７Ａに示されるように）解剖学的構造を認識および標識してもよい。説明的なラベル７０２、７０３とともに、異なるカラーマスク７０１ａ、７０１ｂ、７０１ｃ、７０１ｄは、認識された解剖学的構造を区別するために使用され得る。解剖学的構造認識モジュール１３０の下流において、図１に示される病変認識モジュール１３１は、解剖学的構造認識モジュール１３１から画像を受信してもよく、（図７Ａに示されるように）認識された解剖学的構造上の１つまたは複数の病変を認識および標識してもよい。様々な実施形態で上述したように、部位認識モジュール１３０、解剖学的構造認識モジュール、および後続の認識または測定モジュールは、ポータル認識モジュール１１１または同様のモジュールによって識別された情報、または他のやり方で取得された情報によって特定の解剖学的場所（例えば、肩または膝）に対して特化される。この特化のため、手術中に使用される、イメージング装置から受信された画像の分析および処理を実行するコンピュータシステムでメモリ、プログラミングおよび処理容量／リソースは少なくてもよい。これらの動作要件の軽減（例えば、メモリ、処理能力の削減）は、例えばクラウドを介して遠隔で行われる必要があるのではなく、解剖学的構造認識、病変認識および関連の認識のうちの１つまたは複数などの様々な画像処理機能が、手術室内または手術室に近い場所の装置（エッジ装置としても知られる）によって行われることを可能にし、それによってプロセスをさらに加速し、インターネットを介してクラウドまたは外部コンピュータ装置へデータを送受信する必要がないため、より信頼性が高くなる。さらに、様々な実施形態では、インターネットまたは他のネットワーク接続が全く必要とされない。このように、本発明の実施形態の信頼性、速度およびサイバーセキュリティのうちの１つまたは複数は、実質的に改善される。

【0088】

[00108]図７Ｂは、説明的なラベル７０５とともに色付けされたマスク７０１ｄを使用して識別および標識された病変の例を示す図である。例えば、関節唇において断裂が検出および標識されている（図７Ｂ）。病変認識モジュール１３１の下流において、図１に示される病変測定モジュール１３２は、病変認識モジュール１３１から画像を受信してもよく、識別および標識された病変に対する１つまたは複数の測定結果を提供してもよい。

【0089】

[00109]図２Ａは、関節鏡視下外科的手技の画像を示す図である。この画像は、その後、本明細書で説明されるシステムへの入力として提供される。画像は、肩手術画像を分析するように構成された画像認識モデルを使用して処理される。画像認識モデルは、特化モジュールを含み得る。例えば、特化モジュールは、関節内部位（図２Ａ～図２Ｂ）を分析するために使用され得る。図２Ｂは、本明細書で説明される方法およびシステムを使用して、図２Ａで提示される画像における特徴を標識することの例を示す図である。特徴２１０（二頭腱（Ｂｉｃｅｐ＿Ｔｎｄｎ））、２２０（関節唇）、２３０（関節窩）、２４０（烏口突起（Ｃｏｒａ－ｐｒｏ））、２５０（中関節上腕靭帯（ＭＧＨ－Ｌｉｇａ））、および２６０（肩甲下筋（Ｓｕｂｓｃａｐ））は、図２Ｂに示されるように、カラーマスクおよび凡例ＬＧ（数例を上げると、上腕頭（Ｈｕｍｒｌ Ｈｄ）、上関節突起（Ｓｕｐｒａ ａｒｔｃｌｒ）、烏口骨の下行部分（Ｃｏｒａ－ｄｅｃ）、内関節上腕靭帯（ＩＧＨ－Ｌｉｇａ）などの、標識および／またはマスクされ得る他の解剖学的特徴のためのカラーガイドまたはパターンガイドも提供し得る）などのラベルが与えられてもよい。

【0090】

[00110]図８Ａ～図８Ｖは、本明細書で説明されるシステムおよび方法を使用する外科的手技における様々な特徴を識別することの例を示す図である。術野からの画像（例えば、ビデオストリームのフレーム）が提供され得る（図８Ａ）。この画像認識モデルは、入力画像（図８Ｍ（上腕頭）、図８Ｎ（二頭腱）、図８Ｏ（上関節面）、図８Ｐ（肩甲下筋）、図８Ｑ（関節唇）、図８Ｒ（中関節上腕靭帯）、図８Ｓ（関節窩）、図８Ｔ（烏口骨の下行部分）、図８Ｕ（烏口突起）、図８Ｖ（内関節上腕靭帯））で認識され得る、解剖学的構造（例えば、上腕頭、関節窩、肩甲下筋、二頭腱、靭帯、腱など）の様々なクラスに対する予測を生成し得る。認識モデルによって行われる予測は、主題専門家によって行われる解剖学的構造の同一クラスに対して生成された一連のラベルと比較される（図８Ｃ（上腕頭）、図８Ｄ（二頭腱）、図８Ｅ（上関節面）、図８Ｆ（肩甲下筋）、図８Ｇ（関節唇）、図８Ｈ（中関節上腕靭帯）、図８Ｉ（関節窩）、図８Ｊ（烏口骨の下行部分）、図８Ｋ（烏口突起）、図８Ｌ（内関節上腕靭帯））。解剖学的構造の個別のクラスを予測後、その予測は結合されて、予測マスクとともに提供される出力画像となる（図８Ｂ）。この出力画像は、識別された解剖学的構造の異なるクラスを区別するために、異なるカラーマスクを含み得る。本明細書で説明される分類プロセスは、ビデオカメラから受信された連続フレームに対して適用され得る。この標識された出力画像は、その後、ビデオストリームにオーバーレイされ得る。このオーバーレイは、リアルタイム、または実質的にほぼリアルタイムで実行され得る。

【0091】

[00111]図３Ａは、関節鏡によって取り込まれた画像において器具、アクション、または手技を標識することの例を示す図である。画像認識アルゴリズムは、器具３１０（例えば、高周波アブレーション器具）を認識および標識する。認識された器具３１０に基づいて、識別された器具の種類（例えば、高周波アブレーション器具）に対して器具識別ラベル３２０が提供されてもよく、アクション認識モジュールは、実行されているアクションを識別して、アクティビティラベル３３０（例えば、洗浄が行われていることを示す）を提供してもよい。手技認識モジュールは、実行されている手技を判断し、例えば、実行されている烏口減圧術を示す手技ラベル３４０を提供し得る。

【0092】

[00112]図３Ｂは、関節鏡によって取り込まれた画像において器具、アクション、または手技を標識することの他の例を示す図である。画像認識アルゴリズムは、関節鏡視下バリ器具を認識し、ラベル３５０で標識する。器具は、手術用プローブ、シェーバー、バリ研磨具、穿孔器具、インプラント、ドリルガイド、高周波または他のアブレーション器具、アンカー、把持子、糸通し具、またはハサミを含み得る。認識された器具に基づいて、アクション認識モジュールを使用して、ラベル３６０として、研磨が実行されるアクションであると決定される。手技認識モジュールは、ラベル３７０として、手技が烏口減圧術であると決定する。関節鏡視下手術は、肩、膝または股関節を含む領域に対して実行されるアクションを含み得る。肩手術は、関節内部位および／または嚢状部位において実行され得る。関節内部位において認識され得る解剖学的構造は、上腕頭、関節唇、関節窩、棘上筋、二頭腱、関節窩上腕靭帯、肩甲下筋を含み得る。嚢状部位において認識され得る解剖学的構造は、肩峰、鎖骨、上腕頭、嚢、または肩回旋腱板を含み得る。外科的手技は、１つまたは複数の進入口から手術部位（例えば、膝と隣り合った関節内部位、嚢状部位、進入口）内部へと開始され得る。したがって、術野のビューは、手術において使用される進入口または進入角に少なくとも基づいて変化し得る。図３Ｃは、術野における任意の器具３８０を認識することの例を示す図である。

【0093】

[00113]いくつかの実施形態では、動作は、提案されたアクションを操作者（例えば、外科医）に提供するステップをさらに含む。操作者は、手技（例えば、関節鏡視下手術）を実行してもよい。操作者は、外科医以外の人でもよい。操作者は、イメージング装置（例えば、関節鏡）を操作してもよい。いくつかの実施形態では、提案されたアクションは、手術の過程で操作者を支援することである（例えば、関節鏡）。例えば、外科医は、組織または病変の測定を必要とする場合があり、本明細書で説明される方法およびシステムは、手術中に、その測定結果を外科医に提供し得る。いくつかの実施形態では、提案されたアクションは、操作者が潜在的な安全性問題を認識できるようにする安全警告を含み得る。例えば、システムは、患者に移植されている１つまたは複数のインプラントの距離が、事前に定義された安全な距離と異なることを認識し得る。この距離は、２つ以上のインプラント間の相互からの距離でもよい。いくつかの実施形態では、その距離は、解剖学的構造、解剖学的特徴、または病変からの１つまたは複数のインプラントの距離でもよい。提案されたアクションは、例えば、静脈、動脈、神経、骨、軟骨、または靭帯などの重要な解剖学的特徴を避けることを含み得る。いくつかの実施形態では、安全警告を含む提案されたアクションは、少なくとも、識別された解剖学的特徴、認識された器具、識別されたアクション、またはそれらの組み合わせに基づく。例えば、組織（例えば、軟骨）を損傷する可能性があり得る器具（例えば、バリ研磨具）が認識され得る。システムが、認識された組織、例えば軟骨に近接した器具、例えばバリ研磨具を認識した場合、システムは安全警告を発し得る。提案されたアクションは、装置に対する進入角を提案することを含み得る。この進入角は、穿孔器具の進入角でもよい。いくつかの実施形態では、提案されたアクションは、教育目的で提供される。例えば、医学的手技（例えば、関節鏡検査）のビデオストリームは、教育目的のために使用可能である。本明細書で説明される方法およびシステムは、ビデオストリーム（例えば、ビデオストリームの画像またはフレーム）にオーバーレイされた特徴を標識するために使用され得る。提案されたアクションは、さらに、教育目的でビデオストリームにオーバーレイされてもよい。

【0094】

[00114]いくつかの実施形態では、提案されたアクションは、画像のラベル付け（例えば、特徴の標識付け）に少なくとも部分的に基づく。提案されたアクションは、複数のモジュール（例えば、上流モジュールまたは下流モジュール）のうちの１つからの出力に少なくとも部分的に基づき得る。いくつかの実施形態では、提案されたアクションは、複数の上流モジュールのうちのモジュールのうちの少なくとも１つからの出力に少なくとも部分的に基づく。いくつかの実施形態では、提案されたアクションは、複数の下流モジュールのうちのモジュールのうちの少なくとも１つからの出力に少なくとも部分的に基づく。

【0095】

[00115]いくつかの実施形態では、画像は、外科的ビデオストリームから生成され得る。いくつかの実施形態では、外科的ビデオストリームは、関節鏡視下手術ビデオストリームである。いくつかの実施形態では、外科的ビデオストリームは、単眼または立体視である。いくつかの実施形態では、画像上における特徴のラベル付けは、イメージング装置から画像を取得するレートと同様の速度で実行され得る。関節鏡は、少なくとも毎秒約１０フレーム（ｆｐｓ）のレートで連続画像（例えば、ビデオフィード）を生成し得る。

【0096】

[00116]いくつかの実施形態では、画像認識アルゴリズムは、データベース（例えば、訓練データセット）を使用して訓練される。いくつかの実施形態では、このデータベースは、複数の訓練画像を含み得る。複数の訓練画像は、１つまたは複数の外科的手技、手術器具、手術器具要素、解剖学的構造、または病変を含み得る。いくつかの実施形態では、訓練データセットは、画像編集技法を使用して生成され得る。画像編集技法は、手術器具の画像を用いて、部位、ポータル、解剖学的構造、または解剖学的特徴の画像を拡張することを含み得る。拡張された画像は、その後、部位、ポータル、解剖学的構造、または解剖学的特徴の文脈内で器具を認識するように画像認識アルゴリズムを訓練するために使用され得る。いくつかの実施形態では、画像編集または拡張法は、例えば、関節鏡視下手術中に、患者の位置または向きに対する画像認識アルゴリズムの堅牢性を改善するために、訓練画像を回転するステップを含み得る。いくつかの実施形態では、画像編集または拡張法は、被写界深度における変化に対する堅牢性を改善するために、訓練画像を拡大またはクロッピングするステップを含み得る。いくつかの実施形態では、画像編集または拡張法は、患者の右側または左側に対して実行される手技に対する堅牢性を改善するために、垂直軸に沿って訓練画像を反転するステップを含み得る。画像編集を含む上記のような訓練および拡張された訓練のために使用される外科用画像は、関節鏡視下手術、肥満手術、心臓血管手術、腸手術、婦人科手術、泌尿器科手術または関連手技のうちの１つまたは複数に対応し得る関節鏡視下手技、内視鏡視下手技、腹腔鏡視下手技、および心臓鏡視下手技などの１つまたは複数の低侵襲的手技を含む多種多様な手技から選択され得る。

【0097】

[00117]図４は、画像認識アルゴリズムを訓練することの例のフローチャートである。ＡＩ訓練方法４００は、データセット４１０を含み得る。データセット４１０は、手術器具、解剖学的構造、解剖学的特徴、手術器具要素の画像であって、関節鏡、手術のポータル、手術の部位などのビデオフィードから取得された画像を含み得る。このデータセットは、本明細書で先述される方法を使用して編集または拡張された画像をさらに含み得る。データセット４１０における画像は、少なくともテストデータセット４２０と訓練データセット４３０とに分離され得る。データセット４１０は、複数のテストデータセットおよび／または複数の訓練データセットに分割され得る。モデル訓練ステップ４４０で、訓練データセットは、画像認識アルゴリズムを訓練するために使用され得る。例えば、複数の標識された画像は、教師付き学習アルゴリズム（例えば、教師付き機械学習アルゴリズムまたは教師付き深層学習アルゴリズム）を含む画像認識アルゴリズムを訓練するために、画像認識アルゴリズムに提供され得る。標識されていない画像は、教師なし学習アルゴリズム（例えば、教師なし機械学習アルゴリズムまたは教師なし深層学習アルゴリズム）を含む画像認識アルゴリズムを構築および訓練するために使用され得る。訓練されたモデルは、テストデータセット（または検証データセット）を使用してテストされ得る。テストデータセットは、標識されていない画像（例えば、標識された画像であるが、訓練済みモデルをテストするためにラベルが取り除かれている）を含み得る。訓練された画像認識アルゴリズムは、テストデータセットに適用されてもよく、予測結果は、テストモデル予測ステップ４６０においてテストデータセットを生成するために除去されたデータ（例えば、画像）と関連する実際のラベルと比較され得る。モデル訓練ステップ４４０およびテストモデル予測ステップ４６０は、事前に定義された結果が満たされるまで、異なる訓練データセットおよび／またはテストデータセットを用いて反復され得る。この事前に定義された結果は、誤り率でもよい。この誤り率は、正確性、特異性、または反応性、もしくはそれらの組み合わせのうちの１つまたは複数として定義され得る。テスト済みモデル４５０は、その後、医学的手技（例えば、関節鏡検査）の過程で使用されるイメージング装置（例えば、関節鏡）からの画像における特徴を標識するために予測結果４７０を生成するために使用され得る。この予測結果は、手術の部位、手術のポータル、解剖学的構造、病変、器具、実行されるアクション、実行される手技などを含む複数の予測結果４８０を含み得る。

【0098】

[00118]明細書で説明されるような膝手術のシミュレーションで使用される、本明細書で説明されるようなＡＩパイプラインの例が、図６に提示される。この例および関連例において、手術のビデオフィードは、第１の画面６０１上に提供され得る。第２の画面は、本明細書で先述されたような解剖学的マスクを含む術野６０２のＡＩ推論を提供し得る。ＡＩフィードは、リアルタイムで手術のビデオフィード上にオーバーレイされ得る。ＡＩフィードおよび手術のビデオフィードは、同時に同一画面上に提供され得る。

【0099】

[00119]本発明の他の態様は、関節鏡視下手技を誘導するためのコンピュータ実施方法を提供する。いくつかの実施形態では、このコンピュータ実施方法は、介入イメージング装置によって取り込まれた少なくとも１つの画像を受信するステップと、画像認識アルゴリズムを使用して、受信された少なくとも１つの画像における１つまたは複数の画像特徴を識別するステップと、識別された１つまたは複数の画像特徴を標識するステップであって、識別された１つまたは複数の画像特徴のステップと、少なくとも１つの画像における標識された１つまたは複数の画像特徴を、関節鏡視下手技の過程において継続的に操作者に対して表示するステップとを含み得る。標識された１つまたは複数の画像特徴は、リアルタイムで、または関節鏡視下手技と同時に表示されてもよい。識別された１つまたは複数の画像特徴は、解剖学的構造、手術器具、手術器具要素、操作手順またはアクション、もしくは病変のうちの１つまたは複数を含み得る。

【0100】

[00120]本発明の他の態様は、関節鏡視下手技を誘導するためのアルゴリズムを訓練する方法を提供する。このアルゴリズムを訓練する方法は、関節鏡視下手技に関係する１つまたは複数の画像に基づいて画像特徴のセットを受信するステップ、訓練データセットを受信するステップであって、この訓練データセットは関節鏡視下手技に関係した１つまたは複数の標識された画像を含む、ステップと、訓練データセットの画像において画像特徴のうちの１つまたは複数を認識するステップと、１つまたは複数の画像特徴の認識と、受信された訓練データセットとに少なくとも部分的に基づいて画像認識アルゴリズムを構築するステップとを含み得る。１つまたは複数の画像特徴は、解剖学的構造、手術器具、手術器具要素、操作手順またはアクション、もしくは病変のうちの１つまたは複数の視覚特性に関係することに関係し得る。この画像認識アルゴリズムは、関節鏡視下手技に関係する標識されていない画像における１つまたは複数の画像特徴を識別および標識するように構成され得る。

【0101】

[00121]画像認識アルゴリズムは、訓練データを使用して訓練され得る。訓練データは画像を含んでもよく、主題専門家が様々な解剖学的構造、病変、器具などの輪郭を追跡する。訓練のプロセスは、本明細書の他の箇所で説明するように、図８Ａ～図８Ｖに示される例と同様である。これらの主題専門家が標識した画像は、例えば、所与のアクションを実行する所与の器具を認識するようにアルゴリズムを訓練するためにも使用され得る。器具認識、解剖学的認識、およびアクション認識の組み合わせは、実行される外科的手技を予測するために使用され得る。例えば、最初に、解剖学的特徴または部位（例えば、嚢）が認識されてもよく、その後、器具または実行されるアクションを認識するように他の認識モジュールをトリガしてもよい。図３Ｂは、手術部位が嚢であると認識された場合に、ラベル３５０で識別されたバリ器具と、ラベル３６０で識別された研磨アクションとが認識され得る例を示す図である。それらの予測結果の結合は、手技を、ラベル３７０において識別された烏口減圧術として認識することにつながり得る。

【0102】

[00122]いくつかの実施形態では、器具は、画像に存在しない場合がある。システムは、依然として、認識されている解剖学的特徴、分析された前の画像、またはそれらの組み合わせに少なくとも部分的に基づいてアクティビティを認識し得る。システムによって処理された前の画像は、器具、アクション、外科的手技、またはそれらの組み合わせを認識することを含み得る。図９は、ラベル９１０で示されるように、器具が画像に存在しない（ＮＡまたは該当なし）が、ラベル９２０として識別され、システムによって認識されたアクション（例えば、除去）の例を示す図である。ラベル９３０で識別される外科的手技は、画像に割り当てられない場合がある（図９）。例えば、操作者は、外科的手技の過程の間に器具を交換する場合がある。いくつかの実施形態では、器具の交換は、数秒または数分かかる場合がある。本明細書で説明されるシステムおよび方法は、認識された器具のメモリを維持することができる。いくつかの他の場合において、器具が隠される、または認識不能となる場合がある（例えば、カメラの移動によって、器具の向きが器具を認識不能にする場合がある）。器具認識の短時間の喪失を補償するために、ＡＩアーキテクチャが使用され得る。ＡＩアーキテクチャは、ニューラルネットワークアーキテクチャを含み得る。ニューラルネットワークアーキテクチャは、長短期記憶（ＬＳＴＭ）を含み得る。

【0103】

[00123]図１０は、本明細書で説明されるように、外科的手技を識別するプロセスに例示的なフローチャートである。注釈を有する画像フレーム１００１が受信され、１つまたは複数の分類器モデルを使用して１つまたは複数のセグメントにセグメント化され得る。分類器モデルは、器具認識モデル１００２、解剖学的構造検出モデル１００３、アクティビティ検出モデル１００４、または特徴学習モデル１００５を含み得る。１つまたは複数の分類器の出力は、長短期記憶（ＬＳＴＭ）１００６を使用して結合され得る。ＬＳＴＭは、以前認識されたものと比較されたある時点における画像認識に基づいて予測するために使用され得る人工リカレント型ニューラルネットワーク（ＲＮＮ）分類器である。すなわち、ＬＳＴＭは、本明細書で説明されるように、処理される画像の文脈のメモリを生成するために使用され得る。画像の文脈は、その後、外科的手技を含む手術の段階を予測するために使用される。分類されたセグメントを結合して１つの画像とするルールベース意思決定は、その後、実行される外科的手技１００７を識別／予測するように処理され得る。

【0104】

[00124]本発明の他の態様は、関節鏡視下手技を誘導するための階層的パイプラインを実施するためのシステムを提供する。このシステムは、１つまたは複数のコンピュータプロセッサと、１つまたは複数のコンピュータプロセッサによって実行されたとき、１つまたは複数のコンピュータプロセッサに、動作を実行させるように動作可能な命令を記憶する１つまたは複数の非一時的コンピュータ可読記憶媒体とを備え得る。動作は、（ａ）介入イメージング装置によって取り込まれた少なくとも１つの画像を受信するステップと、（ｂ）処置の部位またはその部位における進入口の１つまたは複数の画像特徴を、少なくとも１つの上流モジュールに基づいて識別するステップと、（ｃ）ステップ（ｂ）で識別された１つまたは複数の画像特徴に少なくとも部分的に基づいて解剖学的構造または病変の１つまたは複数の画像特徴を識別するように第１の下流モジュールを作動させるステップと、（ｄ）ステップ（ｂ）で識別された１つまたは複数の画像特徴に少なくとも部分的に基づいて、関節鏡視下手術に関係する手術器具、手術器具要素、操作手順、またはアクションの１つまたは複数の画像特徴を識別するように第２の下流モジュールを作動させるステップと、（ｅ）識別された１つまたは複数の画像特徴を標識するステップと、関節鏡視下手術の過程において継続的に操作者に対して少なくとも１つの画像における標識された１つまたは複数の画像特徴を表示するステップとを含み得る。少なくとも１つの上流モジュールは、第１の訓練済み画像処理アルゴリズムを含み得る。下流モジュールは、第２の訓練済み画像処理アルゴリズムを含み得る。第２の下流モジュールは、第３の訓練済み画像処理アルゴリズムを含み得る。

【0105】

[00125]図１１Ａは、本明細書で説明されるように、外科的手技を識別するプロセスの他の例を示す図である。注釈を有する画像フレーム１１０１が受信され、１つまたは複数の分類器モデルを使用して１つまたは複数のセグメントにセグメント化され得る。分類器モデルは、器具認識モデル１１０２、解剖学的構造検出モデル１１０３、および／またはアクティビティ検出モデル１００４を含み得る。１つまたは複数の分類器からの出力は、ルールベース意思決定アルゴリズム１１０６を使用して処理および結合され得る。予測される外科的手技１１０７は、外科的ビデオストリームにオーバーレイされたラベルとして提供され得る。

【0106】

[00126]図１１Ｂは、本明細書で説明される、時間の経過（例えば、手技の時間分）に伴う、構成要素のそれぞれからの出力の例を示す図である。図１１Ｂに示される出力は、認識された器具の移動、解剖学的構造の移動、および／またはアクティビティにおける変化を含み得る。器具の移動は、器具が交換された場合のカメラの移動または手技における変化に起因する場合がある。解剖学的構造における移動は、例えば、手技に起因、またはカメラの移動に起因した解剖学的構造における構造上の変化に起因し得る。いくつかの実施形態では、操作者は、手技中にアクティビティを一時停止または変更し、一時停止後にアクションを再開してもよい。器具認識モデル１１０２からの出力の例（例えば、認識された器具の移動）はグラフ１１１２に示され、解剖学的構造検出モデル１１０３からの出力の例（例えば、認識された解剖学的構造の移動）はグラフ１１１３に示され、アクティビティ検出モデル１１０４からの出力の例（例えばアクティビティまたは外科的手技の一時停止または変化）はグラフ１１１４に示される。予測された手技のシームレスなラベル付けを実現するために、器具認識モデル１１０２、解剖学的構造検出モデル１１０３、および／またはアクティビティ検出モデル１１０４の出力は、グラフ１１１５に示されるように結合される（例えば加算される）。いくつかの実施形態では、それらの出力の和は、グラフ１１１６で示すような平均化された和を生成するために、時間の経過に伴って平均化される。いくつかの実施形態では、平均和は、平滑な平均和を生成するために、平滑化アルゴリズムを使用して処理される。平滑化アルゴリズムは、ガウス平滑化関数を含み得る。この平滑化アルゴリズムは、そのアクティビティがグラフ１１１７に示される畳み込みニューラルネットワーク（例えば、畳み込みニューラルネットワーク）を含み得る。

【0107】

[00127]図１２は、本明細書で説明されるＡＩ支援手術方法およびシステムにおける例示的な要素の概略図である。このシステムおよび方法は、モデル開発１２０１、モデルリポジトリ１２０２を含み、ラベルまたはマスクを提供する（例えば、視覚化する）１２０３要素を含み得る。外科用画像を処理するために使用されるＡＩ／機械学習モデルまたはアルゴリズムの開発は、訓練および／または検証ステップ１２１０を含み得る。テストデータ１２１１は、ＡＩ／機械学習モデルを訓練および検証するために使用され得る。手術から取得された画像（例えば、外科用ビデオのフレーム）において識別／認識された特徴は、術野のビデオまたは画像上の視覚化され（例えば、マスクまたはラベル）オーバーレイされ得る１２０３。
コンピュータシステム
[00128]本発明の様々な実施形態は、本発明の方法を実施するようにプログラムされたコンピュータシステムをさらに提供する。したがって、そのようなコンピュータシステムの１つまたは複数の実施形態の詳細が以下で説明される。図５は、本発明の方法の１つまたは複数の機能または動作を実行するようにプログラムされる、または他のやり方で構成されるコンピュータシステム５０１を示す図である。コンピュータシステム５０１は、例えば、介入イメージング装置から画像を受信することと、画像認識アルゴリズムを使用してその画像における特徴を識別することと、その特徴を、表示装置上のビデオフィード上にオーバーレイすることと、画像における識別された特徴に基づいて操作者へ推薦または提案を行うことなど、本発明の様々な態様を統制できる。コンピュータシステム５０１は、ユーザの電子装置、または電子装置に対してリモートに配置されるコンピュータシステムであり得る。この電子装置は、モバイル電子装置であり得る。

【0108】

[00129]コンピュータシステム５０１は、シングルコアまたはマルチコアのプロセッサあるいは並列処理のための複数のプロセッサであり得る中央演算装置（ＣＰＵ、また本明細書では「プロセッサ」および「コンピュータプロセッサ」）５０５を含む。コンピュータシステム５０１は、さらに、メモリまたは記憶域５１０（例えば、ランダムアクセスメモリ、読出し専用メモリ、フラッシュメモリ）と、電子記憶ユニット５１５（例えば、ハードディスク）と、１つまたは複数の他のシステムと通信するための通信インターフェース５２０（例えば、ネットワークアダプタ）と、キャッシュ、他のメモリ、データストレージおよび／または電子表示アダプタなどの周辺装置５２５とを備える。メモリ５１０、記憶ユニット５１５、インターフェース５２０、および周辺装置５２５は、マザーボードなど、通信バス（実線）を介してＣＰＵ５０５と通信状態である。記憶ユニット５１５は、データを記憶するためのデータ記憶ユニット（またはデータリポジトリ）であり得る。コンピュータシステム５０１は、通信インターフェース５２０を用いてコンピュータネットワーク（「ネットワーク」）５３０と動作可能に結合され得る。ネットワーク５３０は、インターネット、インターネットおよび／またはエクストラネット、もしくはインターネットと通信可能状態であるイントラネットおよび／またはエクストラネットであり得る。いくつかの実施形態におけるネットワーク５３０は、電気通信ネットワークおよび／またはデータネットワークである。ネットワーク５３０は、クラウドコンピューティングなどの分散コンピューティングを可能にできる１つまたは複数のコンピュータサーバを含み得る。ネットワーク５３０は、コンピュータシステム５０１を用いたいくつかの実施形態では、クライアントまたはサーバとして振る舞うためにコンピュータシステム５０１に結合された装置を可能にし得るピアツーピアネットワークを実施できる。

【0109】

[00130]ＣＰＵ５０５は、プログラムまたはソフトウェアで具体化され得る、機械可読命令列を実行し得る。この命令は、メモリ５１０などの記憶域に記憶され得る。命令は、ＣＰＵ５０５に対して下されることができ、その後、本発明の方法を実施するように、プログラムまたは他のやり方で、ＣＰＵ５０５を構成することができる。ＣＰＵ５０５によりなされる動作の例は、フェッチ、デコード、実行、およびライトバックを含み得る。

【0110】

[00131]ＣＰＵ５０５は、集積回路などの回路の部分であり得る。システム５０１の１つまたは複数の他の構成要素は、その回路に含まれることができる。いくつかの実施形態では、回路は、特定用途向け集積回路（ＡＳＩＣ）である。

【0111】

[00132]記憶ユニット５１５は、ドライバ、ライブラリ、および保存されたプログラムなどのファイルを記憶し得る。記憶ユニット５１５は、例えば、ユーザ優先事項およびユーザプログラムなどのユーザデータを記憶し得る。いくつかの実施形態におけるコンピュータシステム５０１は、イントラネットまたはインターネットを介してコンピュータシステム５０１と通信状態にあるリモートサーバ上に配置されたデータ記憶ユニットなど、１つまたは複数のさらなるデータ記憶ユニットであって、コンピュータシステム５０１の外部のデータ記憶ユニットを含み得る。

【0112】

[00133]コンピュータシステム５０１は、ネットワーク５３０を介して、１つまたは複数のリモートコンピュータシステムと通信し得る。例えば、コンピュータシステム５０１は、ユーザのリモートのコンピュータシステム（例えば、ポータブルコンピュータ、タブレット、スマートディスプレイ装置、スマートｔｖなど）と通信し得る。リモートのコンピュータシステムの例は、パーソナルコンピュータ（例えば、ポータブルＰＣ）、スレートＰＣまたはタブレットＰＣ（例えば、Ａｐｐｌｅ（登録商標）ｉＰａｄ、Ｓａｍｓｕｎｇ（登録商標）Ｇａｌａｘｙ Ｔａｂ）、電話、スマートフォン（例えば、Ａｐｐｌｅ（登録商標）ｉＰｈｏｎｅ、Ａｎｄｒｏｉｄ対応装置、Ｂｌａｃｋｂｅｒｒｙ（登録商標））、またはパーソナルデジタルアシスタントを含む。ユーザは、ネットワーク５３０を介してコンピュータシステム５０１にアクセスできる。

【0113】

[00134]本明細書で説明される方法は、コンピュータシステム５０１の電子記憶場所、例えばメモリ５１０または電子記憶ユニット５１５上に記憶された機械（例えば、コンピュータプロセッサ）実行可能コードを介して実施され得る。１つまたは複数の実施形態において、機械実行可能コードまたは機械可読コードは、ソフトウェアの形態で提供され得る。使用時に、コードは、プロセッサ５０５によって実行され得る。いくつかの実施形態では、コードは、記憶ユニット５１５から取り出されて、プロセッサ５０５によるアクセスに備えてメモリ５１０に記憶され得る。場合によって、電子記憶ユニット５１５は除外されることができ、機械実行可能命令はメモリ５１０に記憶される。

【0114】

[00135]コードは、そのコードを実行するように適合させたプロセッサを有する機械との使用のために、あらかじめコンパイルかつ構成することができ、または実行中にコンパイルすることもできる。そのコードを、あらかじめコンパイルされた様式またはコンパイルされた通りの様式で実行することを可能にするように選択され得るプログラム言語で供給することができる。

【0115】

[00136]コンピュータシステム５０１など、本明細書で提供されるシステムおよび方法の態様は、プログラミングにおいて具体化することができる。技術の様々な態様は、ある種の機械可読媒体上に保有されているか、またはその中に具体化されている、機械（またはプロセッサ）実行可能コードおよび／または関連するデータの形態であることが典型的な「製品」または「製造品」として考えることができる。機械実行可能コードは、メモリ（例えば、読出し専用メモリ、ランダムアクセスメモリ、フラッシュメモリ）またはハードディスクなど、電子記憶ユニットに記憶され得る。「記憶」型媒体は、任意の時点において、ソフトウェアのプログラミングのために非一時的ストレージを提供し得る、様々な半導体メモリ、テープドライブ、ディスクドライブなど、コンピュータ、プロセッサなどの有形メモリまたはその関連モジュールのいずれかまたは全てを含み得る。ソフトウェアの全部または一部は、場合によっては、インターネットまたは他の様々な電気通信ネットワークを介して通信することができる。このような通信は、例えば、１つのコンピュータまたはプロセッサから他のコンピュータまたはプロセッサへのソフトウェアのロード、例えば、管理サーバまたはホストコンピュータからアプリケーションサーバのコンピュータプラットフォームへのロードを可能にし得る。したがって、ソフトウェア要素を保有し得る他の種類の媒体は、有線ネットワークおよび光ケーブルネットワークを介する、ローカル装置間の物理インターフェース、および様々なエアリンクによる物理インターフェースにわたり使用されるなどの、光波、電波、および電磁波を含む。有線リンクまたは無線リンク、光学リンクなど、このような波を運ぶ物理的要素もまた、ソフトウェアを保有する媒体として考えられ得る。本明細書で使用される場合、非一時的有形「記憶」媒体に限定されない限り、コンピュータまたは機械「可読媒体」などの語は、実行のためにプロセッサに命令を提供することに関係するあらゆる媒体を指す。

【0116】

[00137]よって、コンピュータ実行可能コードなどの機械可読媒体は、有形記憶媒体、搬送波媒体、または物理的伝送媒体を含むがこれらに限定されない多くの形態を取り得る。非揮発性記憶媒体は、例えば、図面に示される、データベースなどを実装するのに使用され得るコンピュータなど、任意のコンピュータなどにおける記憶装置のうちのいずれかなど、光学ディスクまたは磁気ディスクを含む。揮発性記憶媒体は、このようなコンピュータプラットフォームの主メモリなどの動的メモリを含む。有形伝送媒体は、コンピュータシステム内のバスを含む配線を含む、同軸ケーブル、すなわち銅線および光ファイバーを含む。搬送波伝送媒体は、無線周波数（ＲＦ）データ通信時および赤外線（ＩＲ）データ通信時に発生する信号または波など、電気信号または電磁信号、もしくは音響波または光波の形態を取り得る。したがって、コンピュータ可読媒体の一般的形態は、例えば、フロッピーディスク、フレキシブルディスク、ハードディスク、磁気テープ、他の任意の磁気媒体、ＣＤ－ＲＯＭ、ＤＶＤまたはＤＶＤ－ＲＯＭ、他の任意の光学媒体、パンチカード用紙テープ、穿孔パターンを有する他の任意の物理的記憶媒体、ＲＡＭ、ＲＯＭ、ＰＲＯＭおよびＥＰＲＯＭ、ＦＬＡＳＨ－ＥＰＲＯＭ、他の任意のメモリチップまたはメモリカートリッジ、データまたは命令を運ぶ搬送波、このような搬送波を運ぶケーブルまたはリンク、もしくはコンピュータがプログラミングコードおよび／またはデータを読み出し得る他の任意の媒体を含む。コンピュータ可読媒体のこれらの形態の多くは、１つまたは複数の命令の１つまたは複数の列を、実行のためにプロセッサへと運ぶことに関与し得る。

【0117】

[00138]［００１３６］コンピュータシステム５０１は、例えば、関節鏡からのビデオフィード上への識別された特徴のオーバーレイを提供するために、または外科手術の過程で操作者に対して推薦を提供するために、ユーザインターフェース（ＵＩ）５４０を含む電子ディスプレイ５３５を含み得る、またはその電子ディスプレイ５３５と通信可能状態であり得る。ＵＩの例は、グラフィカルユーザインターフェース（ＧＵＩ）およびウェブベースユーザインターフェースを含むが、限定されない。

【0118】

[00139]本発明の方法およびシステムは、１つまたは複数のアルゴリズムを介して実施され得る。中央演算装置５０５による実行時に、アルゴリズムがソフトウェアを介して実施され得る。アルゴリズムは、例えば、介入イメージング装置から画像を受信することと、画像認識アルゴリズムを使用してその画像における特徴を識別することと、その特徴を、表示装置上のビデオフィード上にオーバーレイすることと、画像における識別された特徴に基づいて操作者へ推薦または提案を行うことを含み得る。

【0119】

[00140]本発明の好適な実施形態が図示され、本明細書で説明されたが、当業者には、そのような実施形態が例として提供されているのに過ぎないことが明らかであろう。本発明が、本明細書内で提供される具体例により限定されることは意図されない。本発明は前述の明細書に言及しながら記載されたが、本明細書の実施形態の記載および例示は、限定的な意味で解釈されることは意図されない。当業者は、本発明から逸脱しない範囲で、数多くの変形、変更、および置換にここで想到し得る。さらに、本発明の全ての態様は、様々な条件および変数に依存する、本明細書に記載される具体的な描示、構成、または相対的比率に限定されないことを理解されたい。なお、本発明を実践する際に、本明細書で説明される本発明の実施形態の様々な代替案が用いられ得ることをさらに理解されたい。したがって、本発明は、本明細書で説明される本発明の実施形態の様々な代替物、改変、変更、または同等物も網羅することを理解されたい。

【0120】

[00141]また、本発明の範囲内で多くのさらなる実施形態を形成するために、ある実施形態からの要素、特徴、または動作は、他の実施形態からの１つまたは複数の要素、特徴、または動作と容易に結合し直され得る、または置き換えられ得る。さらに、他の要素と結合されると図示または説明される要素は、様々な実施形態で、単独の要素として存在し得る。さらに、本発明の実施形態は、要素、動作、または特徴が明確に記載されている場合、その要素、動作、または特徴などの除外を特に企図する。したがって、本発明の範囲は、説明された実施形態の詳細に限定されず、むしろ添付の特許請求の範囲によってのみ限定される。

【図1】

【図2】

【図3A】

【図3B】

【図3C】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11A】

【図11B】

【図12】

【国際調査報告】