特表 2023-528655 医療データを処理するためのシステムおよび方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2023-07-05

(54)【発明の名称】医療データを処理するためのシステムおよび方法

(51)【国際特許分類】

   G16H 50/00 20180101AFI20230628BHJP

   A61B 34/10 20160101ALI20230628BHJP

   A61B 34/20 20160101ALI20230628BHJP

   G09B 9/00 20060101ALI20230628BHJP

【ＦＩ】

G16H50/00

A61B34/10

A61B34/20

G09B9/00 Z

【審査請求】未請求

【予備審査請求】未請求

(21)【出願番号】P 2022575371

(86)(22)【出願日】2021-06-07

(85)【翻訳文提出日】2023-01-26

(86)【国際出願番号】 US2021036236

(87)【国際公開番号】W WO2021252384

(87)【国際公開日】2021-12-16

(31)【優先権主張番号】63/036,293

(32)【優先日】2020-06-08

(33)【優先権主張国・地域又は機関】US

(31)【優先権主張番号】63/166,842

(32)【優先日】2021-03-26

(33)【優先権主張国・地域又は機関】US

(81)【指定国・地域】

【公序良俗違反の表示】

（特許庁注：以下のものは登録商標）

１．ＴＥＮＳＯＲＦＬＯＷ

２．ＰＹＴＨＯＮ

(71)【出願人】

【識別番号】521025762

【氏名又は名称】アクティブ サージカル， インコーポレイテッド

(74)【代理人】

【識別番号】100078282

【弁理士】

【氏名又は名称】山本 秀策

(74)【代理人】

【識別番号】100113413

【弁理士】

【氏名又は名称】森下 夏樹

(74)【代理人】

【識別番号】100181674

【弁理士】

【氏名又は名称】飯田 貴敏

(74)【代理人】

【識別番号】100181641

【弁理士】

【氏名又は名称】石川 大輔

(74)【代理人】

【識別番号】230113332

【弁護士】

【氏名又は名称】山本 健策

(72)【発明者】

【氏名】チェン， ティナ

(72)【発明者】

【氏名】ストリャロフ， ローマン

(72)【発明者】

【氏名】カレフ， トーマス

(72)【発明者】

【氏名】チェン， トニー

(72)【発明者】

【氏名】ダルトン， ナイル

(72)【発明者】

【氏名】ビニー， ジル

(72)【発明者】

【氏名】ブハリン， ヴァシリー

(72)【発明者】

【氏名】ミトレア， ボグダン

(72)【発明者】

【氏名】デガニ， ホセイン

(72)【発明者】

【氏名】オバーリン， ジョン

【テーマコード（参考）】

5L099

【Ｆターム（参考）】

5L099AA04

(57)【要約】

本開示は、医療データを処理するための方法を提供する。本方法は、（ｉ）少なくとも１人の医療患者または（ｉｉ）少なくとも１つの外科手術手技と関連付けられる、複数のデータ入力を受信するステップを含んでもよい。本方法はさらに、複数のデータ入力の少なくともサブセットに関する１つまたはそれを上回る注釈を受信するステップを含んでもよい。本方法はさらに、（ｉ）１つまたはそれを上回る注釈および（ｉｉ）複数のデータ入力の１つまたはそれを上回るデータ入力を使用して、注釈が付けられたデータセットを発生させるステップを含んでもよい。本方法はさらに、注釈が付けられたデータセットを使用して、（ｉ）複数のデータ入力に関するデータ分析を実施するステップ、（ｉｉ）１つまたはそれを上回る医療訓練ツールを開発するステップ、または（ｉｉｉ）１つまたはそれを上回る医療モデルを訓練するステップとを含んでもよい。

【特許請求の範囲】

【請求項1】

医療データを処理するための方法であって、前記方法は、
（ａ）（ｉ）少なくとも１人の医療患者または（ｉｉ）少なくとも１つの外科手術手技と関連付けられる複数のデータ入力を受信するステップと、
（ｂ）前記複数のデータ入力の少なくともサブセットに関する１つまたはそれを上回る注釈を受信するステップと、
（ｃ）（ｉ）前記１つまたはそれを上回る注釈および（ｉｉ）前記複数のデータ入力の１つまたはそれを上回るデータ入力を使用して、注釈が付けられたデータセットを発生させるステップと、
（ｄ）前記注釈が付けられたデータセットを使用して、（ｉ）前記複数のデータ入力に関するデータ分析を実施するステップ、（ｉｉ）１つまたはそれを上回る医療訓練ツールを開発するステップ、または（ｉｉｉ）１つまたはそれを上回る医療モデルを訓練するステップと
を含む、方法。

【請求項2】

前記データ分析を実施するステップは、外科手術転帰に影響を及ぼす１つまたはそれを上回る要因を決定するステップを含む、請求項１に記載の方法。

【請求項3】

前記データ分析を実施するステップは、前記複数のデータ入力または前記１つまたはそれを上回る注釈と関連付けられる１つまたはそれを上回る測定可能特性に対応する統計を発生させるステップを含む、請求項１に記載の方法。

【請求項4】

前記統計は、灌流マップ内の生物学的材料の流動、縫着動作の１つまたはそれを上回るステップの間の縫着部の張力、１つまたはそれを上回る組織領域に関する組織弾性、または外科手術手技のための容認可能切除辺縁の範囲に対応する、請求項３に記載の方法。

【請求項5】

前記データ分析を実施するステップは、前記少なくとも１つの外科手術手技と関連付けられる１つまたはそれを上回る外科手術タスクを特性評価するステップを含む、請求項１に記載の方法。

【請求項6】

前記１つまたはそれを上回る医療訓練ツールは、１つまたはそれを上回る外科手術手技を実施するための最良実践またはガイドラインを提供するように構成される、請求項１に記載の方法。

【請求項7】

前記１つまたはそれを上回る医療訓練ツールは、外科手術手技を実施するための１つまたはそれを上回る最適外科手術ツールに関する情報を提供するように構成される、請求項１に記載の方法。

【請求項8】

前記１つまたはそれを上回る医療訓練ツールは、外科手術ツールを使用するための最適方法に関する情報を提供するように構成される、請求項１に記載の方法。

【請求項9】

前記１つまたはそれを上回る医療訓練ツールは、外科手術手技を実施するための最適方法に関する情報を提供するように構成される、請求項１に記載の方法。

【請求項10】

前記１つまたはそれを上回る医療訓練ツールは、手技訓練または医療器具訓練を提供するように構成される、請求項１に記載の方法。

【請求項11】

前記１つまたはそれを上回る医療訓練ツールは、訓練シミュレータを備える、請求項１に記載の方法。

【請求項12】

前記１つまたはそれを上回る医療訓練ツールは、１つまたはそれを上回る外科手術手技のための転帰ベース訓練を提供するように構成される、請求項１に記載の方法。

【請求項13】

（ｅ）前記１つまたはそれを上回る訓練された医療モデルを自律的または半自律的外科手術のために構成される１つまたはそれを上回る医療デバイスと通信するコントローラに提供するステップをさらに含み、前記コントローラは、前記１つまたはそれを上回る訓練された医療モデルを実装し、１つまたはそれを上回るライブ外科手術手技を補助するように構成される、請求項１に記載の方法。

【請求項14】

前記少なくとも１つの外科手術手技および前記１つまたはそれを上回るライブ外科手術手技は、類似タイプの外科手術手技である、請求項１３に記載の方法。

【請求項15】

前記１つまたはそれを上回るライブ外科手術手技を補助するステップは、前記外科医が前記１つまたはそれを上回るライブ外科手術手技の１つまたはそれを上回るステップを実施する間、ガイダンスを外科医に提供するステップを含む、請求項１３に記載の方法。

【請求項16】

前記１つまたはそれを上回るライブ外科手術手技を補助するステップは、自律的または半自律的外科手術を実施するように構成される１つまたはそれを上回るロボットデバイスの制御または運動を改良するステップを含む、請求項１３に記載の方法。

【請求項17】

前記１つまたはそれを上回るライブ外科手術手技を補助するステップは、１つまたはそれを上回る外科手術手技を自動化するステップを含む、請求項１３に記載の方法。

【請求項18】

前記複数のデータ入力は、前記少なくとも１人の医療患者と関連付けられる医療データを備える、請求項１に記載の方法。

【請求項19】

前記医療データは、前記少なくとも１人の医療患者の生理学的データを備える、請求項１８に記載の方法。

【請求項20】

前記生理学的データは、前記少なくとも１人の医療患者の心電図、脳波、筋電図、血圧、心拍数、呼吸数、または体温を備える、請求項１９に記載の方法。

【請求項21】

前記医療データは、前記少なくとも１人の医療患者と関連付けられる医療画像を備える、請求項１８に記載の方法。

【請求項22】

前記医療画像は、超音波画像、Ｘ線画像、光コヒーレンス断層撮影（ＯＣＴ）走査、コンピュータ断層撮影（ＣＴ）走査、磁気共鳴画像法（ＭＲＩ）走査、および陽電子放出断層撮影（ＰＥＴ）走査から成る群から選択される術前画像を備える、請求項２１に記載の方法。

【請求項23】

前記医療画像は、外科手術場面の術中画像または前記術中画像を備える術中データの１つまたはそれを上回るストリームを備え、前記術中画像は、ＲＧＢ画像、深度マップ、蛍光透視画像、レーザスペックルコントラスト画像、ハイパースペクトル画像、マルチスペクトル画像、超音波画像、およびレーザドップラ画像から成る群から選択される、請求項２１に記載の方法。

【請求項24】

前記複数のデータ入力は、前記少なくとも１つの外科手術手技の１つまたはそれを上回るステップを実施するために使用されるロボットデバイスまたは医療器具の移動と関連付けられる運動学的データを備える、請求項１に記載の方法。

【請求項25】

前記運動学的データは、加速度計または慣性測定ユニットを使用して取得される、請求項２４に記載の方法。

【請求項26】

前記複数のデータ入力は、動態データを備え、前記動態データは、前記少なくとも１つの外科手術手技の間、前記少なくとも１人の医療患者の組織領域上に付与される力、応力、または歪みと関連付けられる、請求項１に記載の方法。

【請求項27】

前記複数のデータ入力は、前記少なくとも１つの外科手術手技の画像またはビデオを備える、請求項１に記載の方法。

【請求項28】

前記複数のデータ入力は、前記少なくとも１つの外科手術手技を実施するために使用される１つまたはそれを上回る医療器具の画像またはビデオを備える、請求項１に記載の方法。

【請求項29】

前記複数のデータ入力は、器具特有のデータを備え、前記器具特有のデータは、（ｉ）前記少なくとも１つの外科手術手技を実施するために使用される１つまたはそれを上回る医療器具の物理的特性、または（ｉｉ）前記少なくとも１つの外科手術手技の間、前記１つまたはそれを上回る医療器具の動作または使用と関連付けられる機能的特性と関連付けられる、請求項１に記載の方法。

【請求項30】

前記物理的特性は、前記１つまたはそれを上回る医療器具の幾何学形状を備える、請求項２９に記載の方法。

【請求項31】

前記複数のデータ入力は、ユーザ制御データを備え、前記ユーザ制御データは、医療オペレータが、ロボットデバイスまたは医療器具を制御し、前記少なくとも１つの外科手術手技を実施することによる１つまたはそれを上回る入力または運動に対応する、請求項１に記載の方法。

【請求項32】

前記複数のデータ入力は、前記少なくとも１つの外科手術手技と関連付けられる外科手術特有のデータを備え、前記外科手術特有のデータは、外科手術のタイプ、前記少なくとも１つの外科手術手技と関連付けられる複数のステップ、前記複数のステップと関連付けられる１つまたはそれを上回るタイミングパラメータ、または前記複数のステップを実施するために使用可能な１つまたはそれを上回る医療器具に関する情報を備える、請求項１に記載の方法。

【請求項33】

前記複数のデータ入力は、前記少なくとも１つの外科手術手技と関連付けられる外科手術特有のデータを備え、前記外科手術特有のデータは、それを通して医療器具または撮像デバイスが挿入されるように構成される１つまたはそれを上回るポートの相対的位置または相対的配向のうちの少なくとも１つに関する情報を備える、請求項１に記載の方法。

【請求項34】

前記複数のデータ入力は、前記少なくとも１人の医療患者と関連付けられる患者特有のデータを備え、前記患者特有のデータは、前記少なくとも１人の医療患者の１つまたはそれを上回る生物学的パラメータを備える、請求項１に記載の方法。

【請求項35】

前記１つまたはそれを上回る生物学的パラメータは、前記少なくとも１人の医療患者の物理的特性、医療条件、または病理学的条件に対応する、請求項３４に記載の方法。

【請求項36】

前記患者特有のデータは、匿名化または非特定化された患者データを備える、請求項３４に記載の方法。

【請求項37】

前記複数のデータ入力は、前記少なくとも１つの外科手術手技の１つまたはそれを上回るステップを実施するためのロボットデバイスの移動と関連付けられるロボットデータを備える、請求項１に記載の方法。

【請求項38】

前記ロボットデバイスは、１つまたはそれを上回る医療器具を移動または制御するように構成されるロボットアームを備える、請求項３７に記載の方法。

【請求項39】

前記１つまたはそれを上回る医療モデルは、ニューラルネットワークまたは畳み込みニューラルネットワークを使用して訓練される、請求項１に記載の方法。

【請求項40】

前記１つまたはそれを上回る医療モデルは、１つまたはそれを上回る古典的アルゴリズムを使用して訓練され、前記１つまたはそれを上回る古典的アルゴリズムは、指数平滑法、単一指数平滑法、二重指数平滑法、三重指数平滑法、Ｈｏｌｔ－Ｗｉｎｔｅｒｓ指数平滑法、自己回帰、移動平均、自己回帰移動平均、自己回帰和分移動平均、季節性自己回帰和分移動平均、ベクトル自己回帰、またはベクトル自己回帰移動平均を実装するように構成される、請求項１に記載の方法。

【請求項41】

前記１つまたはそれを上回る医療モデルは、深層学習を使用して訓練される、請求項１に記載の方法。

【請求項42】

前記深層学習は、教師あり、教師なし、または半教師ありである、請求項４１に記載の方法。

【請求項43】

前記１つまたはそれを上回る医療モデルは、強化学習または転移学習を使用して訓練される、請求項１に記載の方法。

【請求項44】

前記１つまたはそれを上回る医療モデルは、画像閾値処理または色ベースの画像区画化を使用して訓練される、請求項１に記載の方法。

【請求項45】

前記１つまたはそれを上回る医療モデルは、クラスタ化を使用して訓練される、請求項１に記載の方法。

【請求項46】

前記１つまたはそれを上回る医療モデルは、回帰分析を使用して訓練される、請求項１に記載の方法。

【請求項47】

前記１つまたはそれを上回る医療モデルは、サポートベクトルマシンを使用して訓練される、請求項１に記載の方法。

【請求項48】

前記１つまたはそれを上回る医療モデルは、１つまたはそれを上回る決定木または前記１つまたはそれを上回る決定木と関連付けられるランダムフォレストを使用して訓練される、請求項１に記載の方法。

【請求項49】

前記１つまたはそれを上回る医療モデルは、次元低減を使用して訓練される、請求項１に記載の方法。

【請求項50】

前記１つまたはそれを上回る医療モデルは、回帰型ニューラルネットワークまたは１つまたはそれを上回る段階を有する１つまたはそれを上回る時間的畳み込みネットワークを使用して訓練される、請求項１に記載の方法。

【請求項51】

前記回帰型ニューラルネットワークは、長短期メモリニューラルネットワークである、請求項５０に記載の方法。

【請求項52】

前記１つまたはそれを上回る医療モデルは、データ拡張技法または敵対的生成ネットワークを使用して訓練される、請求項１に記載の方法。

【請求項53】

前記１つまたはそれを上回る訓練された医療モデルは、（ｉ）前記１つまたはそれを上回るライブ外科手術手技または前記１つまたはそれを上回るライブ外科手術手技の１人またはそれを上回る外科手術対象に対応する入力のセットを受信し、（ｉｉ）少なくとも部分的に、入力のセットに基づいて、１つまたはそれを上回る外科手術アプリケーションを実装または実施し、前記１つまたはそれを上回るライブ外科手術手技を実施する医療オペレータの能力を向上させるように構成される、請求項１に記載の方法。

【請求項54】

前記入力のセットは、前記１人またはそれを上回る外科手術対象と関連付けられる医療データを備える、請求項５３に記載の方法。

【請求項55】

前記医療データは、前記１人またはそれを上回る外科手術対象の生理学的データを備える、請求項５４に記載の方法。

【請求項56】

前記生理学的データは、前記１人またはそれを上回る外科手術対象の心電図、脳波、筋電図、血圧、心拍数、呼吸数、または体温を備える、請求項５５に記載の方法。

【請求項57】

前記医療データは、医療画像を備える、請求項５４に記載の方法。

【請求項58】

前記医療画像は、超音波画像、Ｘ線画像、光コヒーレンス断層撮影（ＯＣＴ）走査、コンピュータ断層撮影（ＣＴ）走査、磁気共鳴画像法（ＭＲＩ）走査、および陽電子放出断層撮影（ＰＥＴ）走査から成る群から選択される術前画像を備える、請求項５７に記載の方法。

【請求項59】

前記医療画像は、外科手術場面の術中画像または前記術中画像を備える術中データの１つまたはそれを上回るストリームを備え、前記術中画像は、ＲＧＢ画像、深度マップ、蛍光透視画像、レーザスペックルコントラスト画像、ハイパースペクトル画像、マルチスペクトル画像、超音波画像、およびレーザドップラ画像から成る群から選択される、請求項５７に記載の方法。

【請求項60】

前記入力のセットは、前記１つまたはそれを上回るライブ外科手術手技の１つまたはそれを上回るステップを実施するために使用可能であるロボットデバイスまたは医療器具の移動と関連付けられる運動学的データを備える、請求項５３に記載の方法。

【請求項61】

前記運動学的データは、加速度計または慣性測定ユニットを使用して取得される、請求項６０に記載の方法。

【請求項62】

前記入力のセットは、動態データを備え、前記動態データは、前記１つまたはそれを上回るライブ外科手術手技の間、前記１人またはそれを上回る外科手術対象の組織領域上に付与される力、応力、または歪みと関連付けられる、請求項５３に記載の方法。

【請求項63】

前記入力のセットは、前記１つまたはそれを上回るライブ外科手術手技の画像またはビデオを備える、請求項５３に記載の方法。

【請求項64】

前記入力のセットは、前記１つまたはそれを上回るライブ外科手術手技を実施するために使用される１つまたはそれを上回る医療器具の画像またはビデオを備える、請求項５３に記載の方法。

【請求項65】

前記入力のセットは、器具特有のデータを備え、前記器具特有のデータは、（ｉ）前記１つまたはそれを上回るライブ外科手術手技を実施するために使用される１つまたはそれを上回る医療器具の物理的特性、または（ｉｉ）前記１つまたはそれを上回るライブ外科手術手技の間の前記１つまたはそれを上回る医療器具の動作または使用と関連付けられる機能的特性と関連付けられる、請求項５３に記載の方法。

【請求項66】

前記物理的特性は、前記１つまたはそれを上回る医療器具の幾何学形状を備える、請求項６５に記載の方法。

【請求項67】

前記入力のセットは、ユーザ制御データを備え、前記ユーザ制御データは、前記医療オペレータが、医療器具を制御し、前記１つまたはそれを上回るライブ外科手術手技を実施することによる１つまたはそれを上回る入力または運動に対応する、請求項５３に記載の方法。

【請求項68】

前記入力のセットは、前記１つまたはそれを上回るライブ外科手術手技と関連付けられる外科手術特有のデータを備え、前記外科手術特有のデータは、外科手術のタイプ、前記１つまたはそれを上回るライブ外科手術手技と関連付けられる複数のステップ、前記複数のステップと関連付けられる１つまたはそれを上回るタイミングパラメータ、または前記複数のステップを実施するために使用可能な１つまたはそれを上回る医療器具に関する情報を備える、請求項５３に記載の方法。

【請求項69】

前記入力のセットは、前記１人またはそれを上回る外科手術対象と関連付けられる対象特有のデータを備え、前記対象特有のデータは、前記１人またはそれを上回る外科手術対象の１つまたはそれを上回る生物学的パラメータを備える、請求項５３に記載の方法。

【請求項70】

前記１つまたはそれを上回る生物学的パラメータは、前記１人またはそれを上回る外科手術対象の物理的特性、医療条件、または病理学的条件に対応する、請求項６９に記載の方法。

【請求項71】

前記対象特有のデータは、匿名化または非特定化された対象データを備える、請求項６９に記載の方法。

【請求項72】

前記入力のセットは、前記１つまたはそれを上回るライブ外科手術手技の１つまたはそれを上回るステップを実施するためのロボットデバイスの移動または制御と関連付けられるロボットデータを備える、請求項５３に記載の方法。

【請求項73】

前記ロボットデバイスは、１つまたはそれを上回る医療器具を移動または制御するように構成されるロボットアームを備える、請求項７２に記載の方法。

【請求項74】

前記１つまたはそれを上回る外科手術アプリケーションは、画像区画化を含む、請求項５３に記載の方法。

【請求項75】

前記画像区画化は、前記１つまたはそれを上回るライブ外科手術手技を実施するために使用される１つまたはそれを上回る医療器具を識別するために使用可能である、請求項７４に記載の方法。

【請求項76】

前記画像区画化は、前記１つまたはそれを上回るライブ外科手術手技を受ける前記１人またはそれを上回る外科手術対象の１つまたはそれを上回る組織領域を識別するために使用可能である、請求項７４に記載の方法。

【請求項77】

前記画像区画化は、（ｉ）健康な組織領域と非健康な組織領域を区別する、または（ｉｉ）動脈と静脈を区別するために使用可能である、請求項７４に記載の方法。

【請求項78】

前記１つまたはそれを上回る外科手術アプリケーションは、物体検出を含む、請求項５３に記載の方法。

【請求項79】

前記物体検出は、外科手術場面内の１つまたはそれを上回る変形可能組織領域または１つまたはそれを上回る剛性物体を検出することを含む、請求項７８に記載の方法。

【請求項80】

前記１つまたはそれを上回る外科手術アプリケーションは、外科手術場面の２つまたはそれを上回る画像をともにスティッチングするための場面スティッチングを含む、請求項５３に記載の方法。

【請求項81】

前記場面スティッチングは、前記外科手術場面に対応する小型マップを発生させることを含む、請求項８０に記載の方法。

【請求項82】

前記場面スティッチングは、光学ペイントブラシを使用して実装される、請求項８０に記載の方法。

【請求項83】

前記１つまたはそれを上回る外科手術アプリケーションは、１つまたはそれを上回るセンサを使用して取得される１つまたはそれを上回る画像または測定値を、前記訓練された医療モデルに提供される入力のセットの少なくともサブセットと関連付けられる付加的情報を用いて拡張させるためのセンサ拡張を含む、請求項５３に記載の方法。

【請求項84】

前記センサ拡張は、画像拡張を含む、請求項８３に記載の方法。

【請求項85】

前記画像拡張は、外科手術場面の１つまたはそれを上回る部分への自動ズーム、前記外科手術場面の１つまたはそれを上回る部分への自動焦点、レンズ汚れ除去、または画像補正を備える、請求項８４に記載の方法。

【請求項86】

前記１つまたはそれを上回る外科手術アプリケーションは、前記１つまたはそれを上回るライブ外科手術手技と関連付けられる１つまたはそれを上回る手続型推論を発生させることを含む、請求項５３に記載の方法。

【請求項87】

前記１つまたはそれを上回る手続型推論は、外科手術手技における１つまたはそれを上回るステップの識別、または前記１つまたはそれを上回るステップと関連付けられる１つまたはそれを上回る外科手術転帰の決定を備える、請求項８６に記載の方法。

【請求項88】

前記１つまたはそれを上回る外科手術アプリケーションは、前記１人またはそれを上回る外科手術対象の組織領域の術前画像と、前記１つまたはそれを上回るライブ外科手術手技の間に取得される前記１人またはそれを上回る外科手術対象の組織領域の１つまたはそれを上回るライブ画像を位置合わせすることを含む、請求項５３に記載の方法。

【請求項89】

前記１つまたはそれを上回る外科手術アプリケーションは、外科手術場面の拡張現実または仮想現実表現を提供することを含む、請求項５３に記載の方法。

【請求項90】

前記外科手術場面の拡張現実または仮想現実表現は、１つまたはそれを上回るカメラオペレータが１つまたはそれを上回るカメラを前記外科手術場面に対して移動させるためのスマートガイダンスを提供するように構成される、請求項８９に記載の方法。

【請求項91】

前記外科手術場面の拡張現実または仮想現実表現は、前記１つまたはそれを上回るライブ外科手術手技の間、１つまたはそれを上回る代替カメラまたはディスプレイビューを医療オペレータに提供するように構成される、請求項８９に記載の方法。

【請求項92】

前記１つまたはそれを上回る外科手術アプリケーションは、前記１つまたはそれを上回るライブ外科手術手技の間、１つまたはそれを上回るロボットデバイスまたは医療器具の位置、配向、または移動を調節することを含む、請求項５３に記載の方法。

【請求項93】

前記１つまたはそれを上回る外科手術アプリケーションは、前記１つまたはそれを上回るライブ外科手術手技の間、２つまたはそれを上回るロボットデバイスまたは医療器具の移動を協調させることを含む、請求項５３に記載の方法。

【請求項94】

前記１つまたはそれを上回る外科手術アプリケーションは、ロボットカメラおよびロボット制御される医療器具の移動を協調させることを含む、請求項５３に記載の方法。

【請求項95】

前記１つまたはそれを上回る外科手術アプリケーションは、ロボットカメラおよび前記医療オペレータによって手動で制御される医療器具の移動を協調させることを含む、請求項５３に記載の方法。

【請求項96】

前記１つまたはそれを上回る外科手術アプリケーションは、外科手術場面内の１つまたはそれを上回る目印を位置特定することを含む、請求項５３に記載の方法。

【請求項97】

前記１つまたはそれを上回る外科手術アプリケーションは、前記１人またはそれを上回る外科手術対象と関連付けられる生理学的情報を、前記１つまたはそれを上回るライブ外科手術手技の間に取得される外科手術場面の１つまたはそれを上回る画像上に表示することを含む、請求項５３に記載の方法。

【請求項98】

前記１つまたはそれを上回る外科手術アプリケーションは、安全性監視機構を備え、前記安全性監視機構は、前記医療オペレータが標的化または回避するために、外科手術場面内の１つまたはそれを上回る領域をジオフェンシングすること、または前記外科手術場面内の１つまたはそれを上回る領域をハイライトすることを含む、請求項５３に記載の方法。

【請求項99】

前記１つまたはそれを上回る外科手術アプリケーションは、前記医療オペレータに、前記１つまたはそれを上回るライブ外科手術手技の１つまたはそれを上回るステップを実施するための医療器具の最適位置、配向、または移動に関する情報を提供することを含む、請求項５３に記載の方法。

【請求項100】

前記１つまたはそれを上回る外科手術アプリケーションは、前記医療オペレータに、前記１つまたはそれを上回るライブ外科手術手技の１つまたはそれを上回るステップを実施するための１つまたはそれを上回る外科手術器具または外科手術方法を知らせることを含む、請求項５３に記載の方法。

【請求項101】

前記１つまたはそれを上回る外科手術アプリケーションは、前記医療オペレータに、最適縫着パターンを知らせることを含む、請求項５３に記載の方法。

【請求項102】

前記１つまたはそれを上回る外科手術アプリケーションは、灌流、縫着部張力、組織弾性、または切除辺縁を測定することを含む、請求項５３に記載の方法。

【請求項103】

前記１つまたはそれを上回る外科手術アプリケーションは、第１のツールと第２のツールとの間の距離をリアルタイムで測定することを含む、請求項５３に記載の方法。

【請求項104】

前記第１のツールと前記第２のツールとの間の距離は、少なくとも部分的に、前記第１のツールおよび前記第２のツールの幾何学形状に基づいて測定される、請求項１０３に記載の方法。

【請求項105】

前記第１のツールと前記第２のツールとの間の距離は、少なくとも部分的に、前記１つまたはそれを上回るライブ外科手術手技を実施するために使用される検鏡の相対的位置または相対的配向に基づいて測定される、請求項１０３に記載の方法。

【請求項106】

前記第１のツールまたは前記第２のツールの１つまたはそれを上回る縁を検出し、前記第１のツールの前記第２のツールに対する位置および配向を決定するステップをさらに含む、請求項１０５に記載の方法。

【請求項107】

前記第１のツールのツール先端の３次元位置および前記第２のツールのツール先端の３次元位置を決定するステップをさらに含む、請求項１０６に記載の方法。

【請求項108】

検鏡ポートと術前画像を位置合わせし、前記第１のツール、前記第２のツール、および前記検鏡の外科手術患者の１つまたはそれを上回る組織領域に対する位置および配向を決定するステップをさらに含む、請求項１０７に記載の方法。

【請求項109】

前記１つまたはそれを上回る外科手術アプリケーションは、ツールと検鏡との間の距離をリアルタイムで測定することを含む、請求項５３に記載の方法。

【請求項110】

前記ツールと前記検鏡との間の距離は、少なくとも部分的に、前記第１のツールおよび前記検鏡の幾何学形状に基づいて測定される、請求項１０９に記載の方法。

【請求項111】

前記ツールと前記検鏡との間の距離は、少なくとも部分的に、前記検鏡の相対的位置または相対的配向に基づいて測定される、請求項１０９に記載の方法。

【請求項112】

前記ツールまたは前記検鏡の１つまたはそれを上回る縁を検出し、前記ツールの前記検鏡に対する位置および配向を決定するステップをさらに含む、請求項１１１に記載の方法。

【請求項113】

前記ツールまたは前記検鏡の前記１つまたはそれを上回る検出された縁を使用して、前記ツールまたは前記検鏡の位置フィードバックを改良するステップをさらに含む、請求項１１２に記載の方法。

【請求項114】

慣性測定ユニットを使用して、前記検鏡の大域的位置または大域的配向を検出するステップをさらに含む、請求項１１２に記載の方法。

【請求項115】

少なくとも部分的に、（ｉ）前記検鏡の前記大域的位置または大域的配向および（ｉｉ）前記検鏡に関連する前記１つまたはそれを上回るツールの相対的位置または相対的配向に基づいて、外科手術場面内の１つまたはそれを上回るツールの大域的位置または大域的配向を検出するステップをさらに含む、請求項１１４に記載の方法。

【請求項116】

少なくとも部分的に、（ｉ）前記検鏡の前記大域的位置または前記大域的配向、（ｉｉ）前記１つまたはそれを上回るツールの前記大域的位置または前記大域的配向、または（ｉｉｉ）前記検鏡に関連する前記１つまたはそれを上回るツールの前記相対的位置または前記相対的配向に基づいて、カメラ挿入の深度を決定するステップをさらに含む、請求項１１５に記載の方法。

【請求項117】

少なくとも部分的に、（ｉ）前記検鏡の前記大域的位置または前記大域的配向、（ｉｉ）前記１つまたはそれを上回るツールの前記大域的位置または前記大域的配向、または（ｉｉｉ）前記検鏡に関連する前記１つまたはそれを上回るツールの前記相対的位置または前記相対的配向に基づいて、ツール挿入の深度を決定するステップをさらに含む、請求項１１５に記載の方法。

【請求項118】

少なくとも部分的に、（ｉ）前記カメラの位置または配向、または（ｉｉ）それを通して前記カメラが挿入される検鏡ポートの位置または配向の推定または先験的知識に基づいて、カメラの撮像領域を予測するステップをさらに含む、請求項１１６に記載の方法。

【請求項119】

前記ツールのツール先端の３次元位置および前記検鏡の先端の３次元位置を決定するステップをさらに含む、請求項１１２に記載の方法。

【請求項120】

検鏡ポートと術前画像を位置合わせし、前記ツールおよび前記検鏡の外科手術患者の１つまたはそれを上回る組織領域に対する位置および配向を決定するステップをさらに含む、請求項１１９に記載の方法。

【請求項121】

前記１つまたはそれを上回る外科手術アプリケーションは、１つまたはそれを上回るツールの１つまたはそれを上回る仮想表現を外科手術場面の術前画像内に表示することを含む、請求項５３に記載の方法。

【請求項122】

前記１つまたはそれを上回る外科手術アプリケーションは、１つまたはそれを上回る医療器具の１つまたはそれを上回る仮想表現を外科手術場面のライブ画像またはビデオ内に表示することを含む、請求項５３に記載の方法。

【請求項123】

前記１つまたはそれを上回る外科手術アプリケーションは、医療器具の１つまたはそれを上回る寸法を決定することを含む、請求項５３に記載の方法。

【請求項124】

前記１つまたはそれを上回る外科手術アプリケーションは、前記１人またはそれを上回る外科手術対象の重要構造の１つまたはそれを上回る寸法を決定することを含む、請求項５３に記載の方法。

【請求項125】

前記１つまたはそれを上回る外科手術アプリケーションは、灌流マップおよび画像外科手術場面の術前画像のオーバーレイを提供することを含む、請求項５３に記載の方法。

【請求項126】

前記１つまたはそれを上回る外科手術アプリケーションは、灌流マップおよび外科手術場面のライブ画像のオーバーレイを提供することを含む、請求項５３に記載の方法。

【請求項127】

前記１つまたはそれを上回る外科手術アプリケーションは、外科手術場面の術前画像および前記外科手術場面のライブ画像のオーバーレイを提供することを含む、請求項５３に記載の方法。

【請求項128】

前記１つまたはそれを上回る外科手術アプリケーションは、前記１つまたはそれを上回るライブ外科手術手技の１つまたはそれを上回るステップの間、仮想マーカのセットを提供し、前記医療オペレータを誘導することを含む、請求項５３に記載の方法。

【請求項129】

前記１つまたはそれを上回る注釈は、前記医療画像の１つまたはそれを上回る部分の周囲に発生される境界ボックスを備える、請求項２１に記載の方法。

【請求項130】

前記１つまたはそれを上回る注釈は、前記医療画像内で発生されるゼロ次元特徴を備える、請求項２１に記載の方法。

【請求項131】

前記ゼロ次元特徴は、ドットを備える、請求項１３０に記載の方法。

【請求項132】

前記１つまたはそれを上回る注釈は、前記医療画像内で発生される１次元特徴を備える、請求項２１に記載の方法。

【請求項133】

前記１次元特徴は、線、線分、または２つまたはそれを上回る線分を備える破線を備える、請求項１３２に記載の方法。

【請求項134】

前記１次元特徴は、線形部分を備える、請求項１３３に記載の方法。

【請求項135】

前記１次元特徴は、湾曲部分を備える、請求項１３３に記載の方法。

【請求項136】

前記１つまたはそれを上回る注釈は、前記医療画像内で発生される２次元特徴を備える、請求項２１に記載の方法。

【請求項137】

前記２次元特徴は、円形、楕円形、または３つまたはそれを上回る辺を伴う多角形を備える、請求項１３６に記載の方法。

【請求項138】

前記２次元特徴は、異なる長さまたは異なる曲率を有する２つまたはそれを上回る辺を伴う形状を備える、請求項１３７に記載の方法。

【請求項139】

前記２次元特徴は、１つまたはそれを上回る線形部分を伴う形状を備える、請求項１３７に記載の方法。

【請求項140】

前記２次元特徴は、１つまたはそれを上回る湾曲部分を伴う形状を備える、請求項１３７に記載の方法。

【請求項141】

前記２次元特徴は、円形、楕円形、または多角形に対応しない非晶質形状を備える、請求項１３６に記載の方法。

【請求項142】

前記１つまたはそれを上回る注釈は、前記少なくとも１人の医療患者と関連付けられる医療データに対するテキスト注釈を備える、請求項１８に記載の方法。

【請求項143】

前記１つまたはそれを上回る注釈は、前記ロボットデバイスまたは前記医療器具の最適位置、配向、または移動のテキスト、数値、または視覚的インジケーションを備える、請求項２４に記載の方法。

【請求項144】

前記１つまたはそれを上回る注釈は、前記ロボットデバイスまたは前記医療器具の移動に対応するデータ信号に対する１つまたはそれを上回る標識された窓または時点を備える、請求項２４に記載の方法。

【請求項145】

前記１つまたはそれを上回る注釈は、前記少なくとも１つの外科手術手技の１つまたはそれを上回るステップの性能を最適化するために前記ロボットデバイスまたは前記医療器具を移動させる方法に関するテキスト、数値、または視覚的提案を備える、請求項２４に記載の方法。

【請求項146】

前記１つまたはそれを上回る注釈は、前記ロボットデバイスまたは前記医療器具が、前記少なくとも１つの外科手術手技と関連付けられる外科手術場面を監視するように構成される撮像デバイスの視野に進入することが予期されるときのインジケーションを備える、請求項２４に記載の方法。

【請求項147】

前記１つまたはそれを上回る注釈は、前記少なくとも１つの外科手術手技の１つまたはそれを上回るステップの間の前記ロボットデバイスまたは前記医療器具の推定される位置または推定される配向のインジケーションを備える、請求項２４に記載の方法。

【請求項148】

前記１つまたはそれを上回る注釈は、前記ロボットデバイスまたは前記医療器具が、前記少なくとも１つの外科手術手技の１つまたはそれを上回るステップの間、前記少なくとも１つの外科手術手技と関連付けられる外科手術場面に対して移動している推定される方向のインジケーションを備える、請求項２４に記載の方法。

【請求項149】

前記１つまたはそれを上回る注釈は、複数の時間インスタンスにおいて前記少なくとも１つの外科手術手技の１つまたはそれを上回るステップを可視化するためのカメラの最適位置または最適配向を示すように構成される１つまたはそれを上回るマーキングを備える、請求項２４に記載の方法。

【請求項150】

前記１つまたはそれを上回る注釈は、外科手術手技の間、組織領域にかかる最適応力、歪み、または力のテキスト、数値、または視覚的インジケーションを備える、請求項２６に記載の方法。

【請求項151】

前記１つまたはそれを上回る注釈は、縫合手技の間、組織領域にかかる最適応力、歪み、または力のテキスト、数値、または視覚的インジケーションを備える、請求項２６に記載の方法。

【請求項152】

前記１つまたはそれを上回る注釈は、縫合手技の間、針の組織領域に対する運動の最適角度または最適方向のテキスト、数値、または視覚的インジケーションを備える、請求項２６に記載の方法。

【請求項153】

前記１つまたはそれを上回る注釈は、最適縫着パターンの視覚的インジケーションを備える、請求項２６に記載の方法。

【請求項154】

前記１つまたはそれを上回る注釈は、前記少なくとも１つの外科手術手技の前記画像または前記ビデオ上の視覚的マーキングを備える、請求項２７に記載の方法。

【請求項155】

前記１つまたはそれを上回る注釈は、前記少なくとも１つの外科手術手技を実施するために使用される前記１つまたはそれを上回る医療器具の前記画像または前記ビデオ上の視覚的マーキングを備える、請求項２８に記載の方法。

【請求項156】

前記１つまたはそれを上回る注釈は、前記ロボットデバイスまたは前記医療器具を制御するための前記医療オペレータによる最適入力または最適運動を示すための前記ユーザ制御データに対する１つまたはそれを上回るテキスト、数値、または視覚的注釈を備える、請求項３１に記載の方法。

【請求項157】

前記１つまたはそれを上回る注釈は、前記少なくとも１つの外科手術手技の１つまたはそれを上回るステップを実施するための前記ロボットデバイスの最適移動を示すための前記ロボットデータに対する１つまたはそれを上回るテキスト、数値、または視覚的注釈を備える、請求項３７に記載の方法。

【請求項158】

前記１つまたはそれを上回る注釈を受信するステップに先立って、前記複数のデータ入力を検証するステップをさらに含む、請求項１に記載の方法。

【請求項159】

前記複数のデータ入力を検証するステップは、前記複数のデータ入力をスコア化するステップと、所定の閾値を上回る第１のスコアのセットを伴う前記複数のデータ入力の少なくとも第１のサブセットを留保するステップと、前記所定の閾値を下回る第２のスコアのセットを伴う前記複数のデータ入力の少なくとも第２のサブセットを破棄するステップとを含む、請求項１５８に記載の方法。

【請求項160】

前記医療モデルを訓練するステップに先立って、前記１つまたはそれを上回る注釈を検証するステップをさらに含む、請求項１に記載の方法。

【請求項161】

前記１つまたはそれを上回る注釈を検証するステップは、前記１つまたはそれを上回る注釈をスコア化するステップと、所定の閾値を上回る第１のスコアのセットを伴う前記１つまたはそれを上回る注釈の少なくとも第１のサブセットを留保するステップと、前記所定の閾値を下回る第２のスコアのセットを伴う前記１つまたはそれを上回る注釈の少なくとも第２のサブセットを破棄するステップとを含む、請求項１６０に記載の方法。

【請求項162】

前記１つまたはそれを上回る注釈を提供した、または発生させた、１人またはそれを上回る注釈者を等級付けするステップをさらに含む、請求項１に記載の方法。

【請求項163】

前記１人またはそれを上回る注釈者を等級付けするステップは、前記１人またはそれを上回る注釈者の専門知識のレベルまたは前記１人またはそれを上回る注釈者によって提供される前記１つまたはそれを上回る注釈と関連付けられる品質のレベルに基づいて、前記１人またはそれを上回る注釈者をランク付けするステップを含む、請求項１６２に記載の方法。

【請求項164】

前記１人またはそれを上回る注釈者を等級付けするステップは、前記１人またはそれを上回る注釈者によって提供される前記１つまたはそれを上回る注釈と関連付けられる品質のレベルに基づいて、専門知識のレベルを前記１人またはそれを上回る注釈者に割り当てるステップを含む、請求項１６２に記載の方法。

【請求項165】

前記１つまたはそれを上回る注釈は、クラウドソーシングを使用して集約される、請求項１に記載の方法。

【請求項166】

前記複数のデータ入力は、クラウドソーシングを使用して集約される、請求項１に記載の方法。

【請求項167】

前記複数のデータ入力は、注釈のために、クラウドサーバに提供される、請求項１に記載の方法。

【請求項168】

前記１つまたはそれを上回る注釈は、クラウドベースのプラットフォームを使用して、１人またはそれを上回る注釈者によって発生または提供される、請求項１に記載の方法。

【請求項169】

前記１つまたはそれを上回る注釈は、クラウドサーバ上に記憶される、請求項１に記載の方法。

【請求項170】

医療洞察を発生させるための方法であって、
（ａ）１つまたはそれを上回る医療ツールまたは器具を使用した外科手術手技と関連付けられる医療データを取得するステップと、
（ｂ）１つまたはそれを上回る医療アルゴリズムまたはモデルを使用して、前記医療データを処理するステップであって、前記１つまたはそれを上回る医療アルゴリズムまたはモデルは、（ｉ）前記１つまたはそれを上回る医療ツールまたは器具、または（ｉｉ）データ処理プラットフォーム上に展開または実装されるか、または、それらによって展開または実装される、ステップと、
（ｃ）前記処理された医療データに基づいて、１つまたはそれを上回る洞察または推論を発生させるステップと、
（ｄ）前記外科手術手技に関する前記１つまたはそれを上回る洞察または推論を、前記データ処理プラットフォームを介して、（ｉ）手術室内のデバイスおよび（ｉｉ）ユーザのうちの少なくとも１つに提供するステップと
を含む、方法。

【請求項171】

前記１つまたはそれを上回る医療ツールまたは器具と前記データ処理プラットフォームを位置合わせするステップをさらに含む、請求項１７０に記載の方法。

【請求項172】

前記医療データまたは前記処理された医療データを前記１つまたはそれを上回る医療ツールまたは器具から前記データ処理プラットフォームにアップロードするステップをさらに含む、請求項１７０に記載の方法。

【請求項173】

前記１つまたはそれを上回る医療アルゴリズムまたはモデルは、１つまたはそれを上回る医療データセットのために提供される１つまたはそれを上回るデータ注釈を使用して訓練される、請求項１７０に記載の方法。

【請求項174】

前記１つまたはそれを上回る医療データセットは、前記外科手術手技と同一または類似タイプの１つまたはそれを上回る参照外科手術手技と関連付けられる、請求項１７３に記載の方法。

【請求項175】

前記１つまたはそれを上回る医療ツールまたは器具は、撮像デバイスを備える、請求項１７０に記載の方法。

【請求項176】

前記撮像デバイスは、ＲＧＢ撮像、レーザスペックル撮像、蛍光撮像、または飛行時間撮像のために構成される、請求項１７５に記載の方法。

【請求項177】

前記医療データは、前記外科手術手技の１つまたはそれを上回る画像またはビデオまたは前記外科手術手技の１つまたはそれを上回るステップを備える、請求項１７０に記載の方法。

【請求項178】

前記医療データを処理するステップは、前記医療データの１つまたはそれを上回る特徴、パターン、または属性を決定または分類するステップを含む、請求項１７０に記載の方法。

【請求項179】

前記１つまたはそれを上回る洞察は、ツール識別、ツール追跡、外科手術位相タイムライン、臨界ビュー検出、組織構造区画化、および／または特徴検出を備える、請求項１７０に記載の方法。

【請求項180】

前記１つまたはそれを上回る医療アルゴリズムまたはモデルは、組織追跡を実施するように構成される、請求項１７０に記載の方法。

【請求項181】

前記１つまたはそれを上回る医療アルゴリズムまたはモデルは、前記医療データを深度情報を用いて拡張するように構成される、請求項１７０に記載の方法。

【請求項182】

前記１つまたはそれを上回る医療アルゴリズムまたはモデルは、ツール区画化、外科手術の位相に対する内訳、臨界ビュー検出、組織構造区画化、および／または特徴検出を実施するように構成される、請求項１７０に記載の方法。

【請求項183】

前記１つまたはそれを上回る医療アルゴリズムまたはモデルは、前記医療データの非特定化または匿名化を実施するように構成される、請求項１７０に記載の方法。

【請求項184】

前記１つまたはそれを上回る医療アルゴリズムまたはモデルは、前記外科手術場面内またはその近傍の１つまたはそれを上回るツール、外科手術位相、臨界ビュー、または１つまたはそれを上回る生物学的、解剖学的、生理学的、または形態学的特徴の検出に基づいて、ライブガイダンスを提供するように構成される、請求項１７０に記載の方法。

【請求項185】

前記１つまたはそれを上回る医療アルゴリズムまたはモデルは、シミュレーションおよび／または外挿のための合成データを発生させるように構成される、請求項１７０に記載の方法。

【請求項186】

前記１つまたはそれを上回る医療アルゴリズムまたはモデルは、前記医療データの品質を査定するように構成される、請求項１７０に記載の方法。

【請求項187】

前記１つまたはそれを上回る医療アルゴリズムまたはモデルは、（ｉ）前記外科手術場面の１つまたはそれを上回るＲＧＢ画像またはビデオと、（ｉｉ）前記外科手術手技の１つまたはそれを上回る付加的画像またはビデオとを備えるオーバーレイを発生させるように構成され、前記１つまたはそれを上回る付加的画像またはビデオは、蛍光データ、レーザスペックルデータ、灌流データ、または深度情報を備える、請求項１７０に記載の方法。

【請求項188】

前記１つまたはそれを上回る医療アルゴリズムまたはモデルは、１つまたはそれを上回る外科手術推論を提供するように構成される、請求項１７０に記載の方法。

【請求項189】

前記１つまたはそれを上回る推論は、組織が生きているかどうかの決定を備える、請求項１８８に記載の方法。

【請求項190】

前記１つまたはそれを上回る推論は、切断または切開を行うべき場所の決定を備える、請求項１８８に記載の方法。

【請求項191】

前記１つまたはそれを上回る医療アルゴリズムまたはモデルは、仮想外科手術補助を前記外科手術手技を実施する外科医または医師に提供するように構成される、請求項１７０に記載の方法。

【発明の詳細な説明】

【技術分野】

【0001】

（関連出願の相互参照）
本願は、それぞれ、あらゆる目的のために参照することによってその全体として本明細書に組み込まれる、２０２０年６月８日に出願された、米国仮特許出願第６３／０３６，２９３号、および２０２１年３月２６日に出願された、米国仮特許出願第６３／１６６，８４２号の優先権を主張する。

【背景技術】

【0002】

種々の患者および手技に関する医療データは、異なる医療条件の診断および治療を補助するためにコンパイルおよび分析され得る。医師および外科医は、種々の源からコンパイルされた医療データを利用して、異なる医療動作を実施する方法について、十分な情報に基づいて判断を下す。医療データは、医師および外科医によって、複雑な医療手技を実施するために使用され得る。

【発明の概要】

【課題を解決するための手段】

【0003】

外科医は、医療条件の検出および診断、医療条件の治療、およびライブ外科手術手技のためのデータ分析を改良するために、注釈が付けられた医療データを使用してもよい。注釈が付けられた医療データはまた、自律的および半自律的ロボット外科手術システムに提供され、医療条件を検出、診断、および治療する外科医の能力をさらに向上させてもよい。医療データ処理および分析するために現在利用可能なシステムおよび方法は、外科医が正確な偏見のない査定を行うために必要とされる、大クリーンデータセットの欠如によって限定され得る。医療データを処理および分析することはさらに、データの品質を照合するために、グランドトゥルース比較を要求し得る。本明細書に開示されるシステムおよび方法は、種々の異なる医療用途のために活用され得る、正確かつ有用なデータセットを発生させるために使用されてもよい。本明細書に開示されるシステムおよび方法は、大データセットを信頼性がある源から蓄積し、異なる源から提供されるデータを照合し、医療専門医および保健医療専門医からクラウドソーシングされた注釈を通して、集約されたデータの品質または値を改良するために使用されてもよい。本明細書に開示されるシステムおよび方法は、ライブ外科手術手技を実施する医師または外科医の現在の必要性に基づいて、注釈が付けられたデータセットを発生させ、注釈が付けられたデータセットを医療従事者またはロボット外科手術システムに提供し、１つまたはそれを上回る外科手術手技の性能を向上させるために使用されてもよい。本開示のシステムおよび方法を使用して発生された注釈が付けられたデータセットはまた、ロボット外科手術システムの精度、柔軟性、および制御を改良し得る。外科手術オペレータは、注釈が付けられたデータセットを使用して、外科手術手技の間、外科手術オペレータに利用可能な情報を拡張させ得る、自律的および半自律的ロボット外科手術システムから利益を享受し得る。そのようなロボット外科手術システムはさらに、医療オペレータに、ライブ更新またはオーバーレイを通して、付加的情報を提供し、最適様式において、ライブ外科手術手技の１つまたはそれを上回るステップを迅速かつ効率的に実施する医療オペレータの能力を向上させることができる。

【0004】

ある側面では、本開示は、データ注釈のためのシステムおよび方法を提供する。

【0005】

一側面では、医療データを処理するための方法が、提供される。本方法は、（ａ）（ｉ）少なくとも１人の医療患者または（ｉｉ）少なくとも１つの外科手術手技と関連付けられる、複数のデータ入力を受信するステップと、（ｂ）複数のデータ入力の少なくともサブセットに関する１つまたはそれを上回る注釈を受信するステップと、（ｃ）（ｉ）１つまたはそれを上回る注釈および（ｉｉ）複数のデータ入力の１つまたはそれを上回るデータ入力を使用して、注釈が付けられたデータセットを発生させるステップと、（ｄ）注釈が付けられたデータセットを使用して、（ｉ）複数のデータ入力に関するデータ分析を実施するステップ、（ｉｉ）１つまたはそれを上回る医療訓練ツールを開発するステップ、または（ｉｉｉ）１つまたはそれを上回る医療モデルを訓練するステップとを含む。

【0006】

いくつかの実施形態では、データ分析を実施するステップは、外科手術転帰に影響を及ぼす、１つまたはそれを上回る要因を決定するステップを含んでもよい。データ分析を実施するステップは、複数のデータ入力または１つまたはそれを上回る注釈と関連付けられる、１つまたはそれを上回る測定可能特性に対応する、統計を発生させるステップを含んでもよい。統計は、灌流マップ内の生物学的材料の流動、縫着動作の１つまたはそれを上回るステップの間の縫着部の張力、１つまたはそれを上回る組織領域に関する組織弾性、または外科手術手技のための容認可能切除辺縁の範囲に対応してもよい。データ分析を実施するステップは、少なくとも１つの外科手術手技と関連付けられる、１つまたはそれを上回る外科手術タスクを特性評価するステップを含んでもよい。１つまたはそれを上回る医療訓練ツールは、１つまたはそれを上回る外科手術手技を実施するための最良実践またはガイドラインを提供するように構成されてもよい。１つまたはそれを上回る医療訓練ツールは、外科手術手技を実施するための１つまたはそれを上回る最適外科手術ツールに関する情報を提供するように構成されてもよい。１つまたはそれを上回る医療訓練ツールは、外科手術ツールを使用するための最適方法に関する情報を提供するように構成されてもよい。１つまたはそれを上回る医療訓練ツールは、外科手術手技を実施するための最適方法に関する情報を提供するように構成されてもよい。１つまたはそれを上回る医療訓練ツールは、手技訓練または医療器具訓練を提供するように構成されてもよい。１つまたはそれを上回る医療訓練ツールは、訓練シミュレータを備えてもよい。１つまたはそれを上回る医療訓練ツールは、１つまたはそれを上回る外科手術手技のための転帰ベース訓練を提供するように構成されてもよい。

【0007】

いくつかの実施形態では、上記に説明される方法はさらに、（ｅ）１つまたはそれを上回る訓練された医療モデルを、自律的または半自律的外科手術のために構成される、１つまたはそれを上回る医療デバイスと通信する、コントローラに提供するステップを含んでもよく、コントローラは、１つまたはそれを上回る訓練された医療モデルを実装し、１つまたはそれを上回るライブ外科手術手技を補助するように構成される。少なくとも１つの外科手術手技および１つまたはそれを上回るライブ外科手術手技は、類似タイプの外科手術手技であってもよい。１つまたはそれを上回るライブ外科手術手技を補助するステップは、外科医が１つまたはそれを上回るライブ外科手術手技の１つまたはそれを上回るステップを実施する間、ガイダンスを外科医に提供するステップを含んでもよい。１つまたはそれを上回るライブ外科手術手技を補助するステップは、自律的または半自律的外科手術を実施するように構成される、１つまたはそれを上回るロボットデバイスの制御または運動を改良するステップを含んでもよい。１つまたはそれを上回るライブ外科手術手技を補助するステップは、１つまたはそれを上回る外科手術手技を自動化するステップを含んでもよい。

【0008】

いくつかの実施形態では、複数のデータ入力は、少なくとも１人の医療患者と関連付けられる、医療データを備えてもよい。医療データは、少なくとも１人の医療患者の生理学的データを備えてもよい。生理学的データは、少なくとも１人の医療患者の心電図、脳波、筋電図、血圧、心拍数、呼吸数、または体温を備えてもよい。医療データは、少なくとも１人の医療患者と関連付けられる、医療画像を備えてもよい。医療画像は、超音波画像、Ｘ線画像、光コヒーレンス断層撮影（ＯＣＴ）走査、コンピュータ断層撮影（ＣＴ）走査、磁気共鳴画像法（ＭＲＩ）走査、および陽電子放出断層撮影（ＰＥＴ）走査から成る群から選択される、術前画像を備えてもよい。医療画像は、外科手術場面の術中画像または術中画像を備える術中データの１つまたはそれを上回るストリームを備えてもよく、術中画像は、ＲＧＢ画像、深度マップ、蛍光透視画像、レーザスペックルコントラスト画像、ハイパースペクトル画像、マルチスペクトル画像、超音波画像、およびレーザドップラ画像から成る群から選択されてもよい。複数のデータ入力は、少なくとも１つの外科手術手技の１つまたはそれを上回るステップを実施するために使用される、ロボットデバイスまたは医療器具の移動と関連付けられる、運動学的データを備えてもよい。運動学的データは、加速度計または慣性測定ユニットを使用して取得されてもよい。複数のデータ入力は、少なくとも１つの外科手術手技の間、少なくとも１人の医療患者の組織領域上に付与される、力、応力、または歪みと関連付けられる、動態データを備えてもよい。複数のデータ入力は、少なくとも１つの外科手術手技の画像またはビデオを備えてもよい。複数のデータ入力は、少なくとも１つの外科手術手技を実施するために使用される、１つまたはそれを上回る医療器具の画像またはビデオを備えてもよい。複数のデータ入力は、（ｉ）少なくとも１つの外科手術手技を実施するために使用される、１つまたはそれを上回る医療器具の物理的特性、または（ｉｉ）少なくとも１つの外科手術手技の間、１つまたはそれを上回る医療器具の動作または使用と関連付けられる、機能的特性と関連付けられる、器具特有のデータを備えてもよい。物理的特性は、１つまたはそれを上回る医療器具の幾何学形状を備えてもよい。複数のデータ入力は、医療オペレータが、ロボットデバイスまたは医療器具を制御し、少なくとも１つの外科手術手技を実施することによる、１つまたはそれを上回る入力または運動に対応する、ユーザ制御データを備えてもよい。複数のデータ入力は、少なくとも１つの外科手術手技と関連付けられる、外科手術特有のデータを備えてもよく、外科手術特有のデータは、外科手術のタイプ、少なくとも１つの外科手術手技と関連付けられる複数のステップ、複数のステップと関連付けられる１つまたはそれを上回るタイミングパラメータ、または複数のステップを実施するために使用可能な１つまたはそれを上回る医療器具に関する情報を備えてもよい。複数のデータ入力は、少なくとも１つの外科手術手技と関連付けられる、外科手術特有のデータを備えてもよく、外科手術特有のデータは、それを通して医療器具または撮像デバイスが挿入されるように構成される、１つまたはそれを上回るポートの相対的位置または相対的配向のうちの少なくとも１つに関する情報を備えてもよい。複数のデータ入力は、少なくとも１人の医療患者と関連付けられる、患者特有のデータを備えてもよく、患者特有のデータは、少なくとも１人の医療患者の１つまたはそれを上回る生物学的パラメータを備えてもよい。１つまたはそれを上回る生物学的パラメータは、少なくとも１人の医療患者の物理的特性、医療条件、または病理学的条件に対応してもよい。患者特有のデータは、匿名化または非特定化された患者データを備えてもよい。複数のデータ入力は、少なくとも１つの外科手術手技の１つまたはそれを上回るステップを実施するためのロボットデバイスの移動と関連付けられる、ロボットデータを備えてもよい。ロボットデバイスは、１つまたはそれを上回る医療器具を移動または制御するように構成される、ロボットアームを備えてもよい。

【0009】

いくつかの実施形態では、１つまたはそれを上回る医療モデルは、ニューラルネットワークまたは畳み込みニューラルネットワークを使用して訓練されてもよい。１つまたはそれを上回る医療モデルは、指数平滑法、単一指数平滑法、二重指数平滑法、三重指数平滑法、Ｈｏｌｔ－Ｗｉｎｔｅｒｓ指数平滑法、自己回帰、移動平均、自己回帰移動平均、自己回帰和分移動平均、季節性自己回帰和分移動平均、ベクトル自己回帰、またはベクトル自己回帰移動平均を実装するように構成される、１つまたはそれを上回る古典的アルゴリズムを使用して訓練されてもよい。１つまたはそれを上回る医療モデルは、深層学習を使用して訓練されてもよい。深層学習は、教師あり、教師なし、または半教師ありであってもよい。１つまたはそれを上回る医療モデルは、強化学習または転移学習を使用して訓練されてもよい。１つまたはそれを上回る医療モデルは、画像閾値処理または色ベースの画像区画化を使用して訓練されてもよい。１つまたはそれを上回る医療モデルは、クラスタ化を使用して訓練されてもよい。１つまたはそれを上回る医療モデルは、回帰分析を使用して訓練されてもよい。１つまたはそれを上回る医療モデルは、サポートベクトルマシンを使用して訓練されてもよい。１つまたはそれを上回る医療モデルは、１つまたはそれを上回る決定木または１つまたはそれを上回る決定木と関連付けられるランダムフォレストを使用して訓練されてもよい。１つまたはそれを上回る医療モデルは、次元低減を使用して訓練されてもよい。１つまたはそれを上回る医療モデルは、回帰型ニューラルネットワークを使用して訓練されてもよい。回帰型ニューラルネットワークは、長短期メモリニューラルネットワークであってもよい。１つまたはそれを上回る医療モデルは、１つまたはそれを上回る時間的畳み込みネットワークを使用して訓練されてもよい。時間的畳み込みネットワークは、単一または複数の段階を有してもよい。１つまたはそれを上回る医療モデルは、データ拡張技法または敵対的生成ネットワークを使用して訓練されてもよい。

【0010】

いくつかの実施形態では、１つまたはそれを上回る訓練された医療モデルは、（ｉ）１つまたはそれを上回るライブ外科手術手技または１つまたはそれを上回るライブ外科手術手技の１人またはそれを上回る外科手術対象に対応する入力のセットを受信し、（ｉｉ）少なくとも部分的に、入力のセットに基づいて、１つまたはそれを上回る外科手術アプリケーションを実装または実施し、１つまたはそれを上回るライブ外科手術手技を実施する医療オペレータの能力を向上させるように構成されてもよい。入力のセットは、１人またはそれを上回る外科手術対象と関連付けられる、医療データを備えてもよい。医療データは、１人またはそれを上回る外科手術対象の生理学的データを備えてもよい。生理学的データは、１人またはそれを上回る外科手術対象の心電図、脳波、筋電図、血圧、心拍数、呼吸数、または体温を備えてもよい。医療データは、医療画像を備えてもよい。医療画像は、超音波画像、Ｘ線画像、光コヒーレンス断層撮影（ＯＣＴ）走査、コンピュータ断層撮影（ＣＴ）走査、磁気共鳴画像法（ＭＲＩ）走査、および陽電子放出断層撮影（ＰＥＴ）走査から成る群から選択される、術前画像を備えてもよい。医療画像は、外科手術場面の術中画像または術中画像を備える術中データの１つまたはそれを上回るストリームを備えてもよく、術中画像は、ＲＧＢ画像、深度マップ、蛍光透視画像、レーザスペックルコントラスト画像、ハイパースペクトル画像、マルチスペクトル画像、超音波画像、およびレーザドップラ画像から成る群から選択されてもよい。入力のセットは、１つまたはそれを上回るライブ外科手術手技の１つまたはそれを上回るステップを実施するために使用可能である、ロボットデバイスまたは医療器具の移動と関連付けられる、運動学的データを備えてもよい。運動学的データは、加速度計または慣性測定ユニットを使用して取得されてもよい。入力のセットは、１つまたはそれを上回るライブ外科手術手技の間、１人またはそれを上回る外科手術対象の組織領域上に付与される、力、応力、または歪みと関連付けられる、動態データを備えてもよい。入力のセットは、１つまたはそれを上回るライブ外科手術手技の画像またはビデオを備えてもよい。入力のセットは、１つまたはそれを上回るライブ外科手術手技を実施するために使用される、１つまたはそれを上回る医療器具の画像またはビデオを備えてもよい。入力のセットは、（ｉ）１つまたはそれを上回るライブ外科手術手技を実施するために使用される、１つまたはそれを上回る医療器具の物理的特性、または（ｉｉ）１つまたはそれを上回るライブ外科手術手技の間の１つまたはそれを上回る医療器具の動作または使用と関連付けられる、機能的特性と関連付けられる、器具特有のデータを備えてもよい。物理的特性は、１つまたはそれを上回る医療器具の幾何学形状を備えてもよい。入力のセットは、医療オペレータが、医療器具を制御し、１つまたはそれを上回るライブ外科手術手技を実施することによる、１つまたはそれを上回る入力または運動に対応する、ユーザ制御データを備えてもよい。入力のセットは、１つまたはそれを上回るライブ外科手術手技と関連付けられる、外科手術特有のデータを備えてもよく、外科手術特有のデータは、外科手術のタイプ、１つまたはそれを上回るライブ外科手術手技と関連付けられる複数のステップ、複数のステップと関連付けられる１つまたはそれを上回るタイミングパラメータ、または複数のステップを実施するために使用可能な１つまたはそれを上回る医療器具に関する情報を備えてもよい。入力のセットは、１人またはそれを上回る外科手術対象と関連付けられる、対象特有のデータを備えてもよく、対象特有のデータは、１人またはそれを上回る外科手術対象の１つまたはそれを上回る生物学的パラメータを備えてもよい。１つまたはそれを上回る生物学的パラメータは、１人またはそれを上回る外科手術対象の物理的特性、医療条件、または病理学的条件に対応してもよい。対象特有のデータは、匿名化または非特定化された対象データを備えてもよい。入力のセットは、１つまたはそれを上回るライブ外科手術手技の１つまたはそれを上回るステップを実施するためのロボットデバイスの移動または制御と関連付けられる、ロボットデータを備えてもよい。ロボットデバイスは、１つまたはそれを上回る医療器具を移動または制御するように構成される、ロボットアームを備えてもよい。

【0011】

いくつかの実施形態では、１つまたはそれを上回る外科手術アプリケーションは、画像区画化を含んでもよい。画像区画化は、１つまたはそれを上回るライブ外科手術手技を実施するために使用される、１つまたはそれを上回る医療器具を識別するために使用可能であってもよい。画像区画化は、１つまたはそれを上回るライブ外科手術手技を受ける１人またはそれを上回る外科手術対象の１つまたはそれを上回る組織領域を識別するために使用可能であってもよい。画像区画化は、（ｉ）健康な組織領域と非健康な組織領域を区別する、または（ｉｉ）動脈と静脈を区別するために使用可能であってもよい。１つまたはそれを上回る外科手術アプリケーションは、物体検出を含んでもよい。物体検出は、外科手術場面内の１つまたはそれを上回る変形可能組織領域または１つまたはそれを上回る剛性物体を検出することを含んでもよい。１つまたはそれを上回る外科手術アプリケーションは、外科手術場面の２つまたはそれを上回る画像をともにスティッチングするための場面スティッチングを含んでもよい。場面スティッチングは、外科手術場面に対応する、小型マップを発生させることを含んでもよい。場面スティッチングは、光学ペイントブラシを使用して実装されてもよい。１つまたはそれを上回る外科手術アプリケーションは、１つまたはそれを上回るセンサを使用して取得される１つまたはそれを上回る画像または測定値を、訓練された医療モデルに提供される入力のセットの少なくともサブセットと関連付けられる、付加的情報を用いて拡張させるためのセンサ拡張を含んでもよい。センサ拡張は、画像拡張を含んでもよい。画像拡張は、外科手術場面の１つまたはそれを上回る部分への自動ズーム、外科手術場面の１つまたはそれを上回る部分への自動焦点、レンズ汚れ除去、または画像補正を備えてもよい。１つまたはそれを上回る外科手術アプリケーションは、１つまたはそれを上回るライブ外科手術手技と関連付けられる、１つまたはそれを上回る手続型推論を発生させることを含んでもよい。１つまたはそれを上回る手続型推論は、外科手術手技における１つまたはそれを上回るステップの識別、または１つまたはそれを上回るステップと関連付けられる、１つまたはそれを上回る外科手術転帰の決定を備えてもよい。１つまたはそれを上回る外科手術アプリケーションは、１人またはそれを上回る外科手術対象の組織領域の術前画像と、１つまたはそれを上回るライブ外科手術手技の間に取得される、１人またはそれを上回る外科手術対象の組織領域の１つまたはそれを上回るライブ画像を位置合わせすることを含んでもよい。１つまたはそれを上回る外科手術アプリケーションは、外科手術場面の拡張現実または仮想現実表現を提供することを含んでもよい。外科手術場面の拡張現実または仮想現実表現は、１つまたはそれを上回るカメラオペレータが１つまたはそれを上回るカメラを外科手術場面に対して移動させるためのスマートガイダンスを提供するように構成されてもよい。外科手術場面の拡張現実または仮想現実表現は、１つまたはそれを上回るライブ外科手術手技の間、１つまたはそれを上回る代替カメラまたはディスプレイビューを医療オペレータに提供するように構成されてもよい。１つまたはそれを上回る外科手術アプリケーションは、１つまたはそれを上回るライブ外科手術手技の間、１つまたはそれを上回るロボットデバイスまたは医療器具の位置、配向、または移動を調節することを含んでもよい。１つまたはそれを上回る外科手術アプリケーションは、１つまたはそれを上回るライブ外科手術手技の間、２つまたはそれを上回るロボットデバイスまたは医療器具の移動を協調させることを含んでもよい。１つまたはそれを上回る外科手術アプリケーションは、ロボットカメラおよびロボット制御される医療器具の移動を協調させることを含んでもよい。１つまたはそれを上回る外科手術アプリケーションは、ロボットカメラおよび医療オペレータによって手動で制御される医療器具の移動を協調させることを含んでもよい。１つまたはそれを上回る外科手術アプリケーションは、外科手術場面内の１つまたはそれを上回る目印を位置特定することを含んでもよい。１つまたはそれを上回る外科手術アプリケーションは、１人またはそれを上回る外科手術対象と関連付けられる、生理学的情報を、１つまたはそれを上回るライブ外科手術手技の間に取得される、外科手術場面の１つまたはそれを上回る画像上に表示することを含んでもよい。１つまたはそれを上回る外科手術アプリケーションは、安全性監視機構を備えてもよく、安全性監視機構は、医療オペレータが標的化または回避するために、外科手術場面内の１つまたはそれを上回る領域をジオフェンシングする、または外科手術場面内の１つまたはそれを上回る領域をハイライトすることを含んでもよい。１つまたはそれを上回る外科手術アプリケーションは、医療オペレータに、１つまたはそれを上回るライブ外科手術手技の１つまたはそれを上回るステップを実施するための医療器具の最適位置、配向、または移動に関する情報を提供することを含んでもよい。１つまたはそれを上回る外科手術アプリケーションは、医療オペレータに、１つまたはそれを上回るライブ外科手術手技の１つまたはそれを上回るステップを実施するための１つまたはそれを上回る外科手術器具または外科手術方法を知らせることを含んでもよい。１つまたはそれを上回る外科手術アプリケーションは、医療オペレータに、最適縫着パターンを知らせることを含んでもよい。１つまたはそれを上回る外科手術アプリケーションは、灌流、縫着部張力、組織弾性、または切除辺縁を測定することを含んでもよい。１つまたはそれを上回る外科手術アプリケーションは、第１のツールと第２のツールとの間の距離をリアルタイムで測定することを含んでもよい。第１のツールと第２のツールとの間の距離は、少なくとも部分的に、第１のツールおよび第２のツールの幾何学形状に基づいて測定されてもよい。第１のツールと第２のツールとの間の距離は、少なくとも部分的に、１つまたはそれを上回るライブ外科手術手技を実施するために使用される、検鏡の相対的位置または相対的配向に基づいて測定されてもよい。本方法はさらに、第１のツールまたは第２のツールの１つまたはそれを上回る縁を検出し、第１のツールの第２のツールに対する位置および配向を決定するステップを含んでもよい。本方法はさらに、第１のツールのツール先端の３次元位置および第２のツールのツール先端の３次元位置を決定するステップを含んでもよい。本方法はさらに、検鏡ポートと術前画像を位置合わせし、第１のツール、第２のツール、および検鏡の外科手術患者の１つまたはそれを上回る組織領域に対する位置および配向を決定するステップを含んでもよい。１つまたはそれを上回る外科手術アプリケーションは、ツールと検鏡との間の距離をリアルタイムで測定することを含んでもよい。ツールと検鏡との間の距離は、少なくとも部分的に、第１のツールおよび検鏡の幾何学形状に基づいて測定されてもよい。ツールと検鏡との間の距離は、少なくとも部分的に、検鏡の相対的位置または相対的配向に基づいて測定されてもよい。本方法はさらに、ツールまたは検鏡の１つまたはそれを上回る縁を検出し、ツールの検鏡に対する位置および配向を決定するステップを含んでもよい。本方法はさらに、ツールまたは検鏡の１つまたはそれを上回る検出された縁を使用して、ツールまたは検鏡の位置フィードバックを改良するステップを含んでもよい。本方法はさらに、慣性測定ユニットを使用して、検鏡の大域的位置または大域的配向を検出するステップを含んでもよい。本方法はさらに、少なくとも部分的に、（ｉ）検鏡の大域的位置または大域的配向および（ｉｉ）検鏡に関連する１つまたはそれを上回るツールの相対的位置または相対的配向に基づいて、外科手術場面内の１つまたはそれを上回るツールの大域的位置または大域的配向を検出するステップを含んでもよい。本方法はさらに、少なくとも部分的に、（ｉ）検鏡の大域的位置または大域的配向、（ｉｉ）１つまたはそれを上回るツールの大域的位置または大域的配向、または（ｉｉｉ）検鏡に関連する１つまたはそれを上回るツールの相対的位置または相対的配向に基づいて、カメラ挿入の深度を決定するステップを含んでもよい。本方法はさらに、少なくとも部分的に、（ｉ）検鏡の大域的位置または大域的配向、（ｉｉ）１つまたはそれを上回るツールの大域的位置または大域的配向、または（ｉｉｉ）検鏡に関連する１つまたはそれを上回るツールの相対的位置または相対的配向に基づいて、ツール挿入の深度を決定するステップを含んでもよい。本方法はさらに、少なくとも部分的に、（ｉ）カメラの位置または配向、または（ｉｉ）それを通してカメラが挿入される、検鏡ポートの位置または配向の推定または先験的知識に基づいて、カメラの撮像領域を予測するステップを含んでもよい。本方法はさらに、ツールのツール先端の３次元位置および検鏡の先端の３次元位置を決定するステップを含んでもよい。本方法はさらに、検鏡ポートと術前画像を位置合わせし、ツールおよび検鏡の外科手術患者の１つまたはそれを上回る組織領域に対する位置および配向を決定するステップを含んでもよい。１つまたはそれを上回る外科手術アプリケーションは、１つまたはそれを上回るツールの１つまたはそれを上回る仮想表現を外科手術場面の術前画像内に表示することを含んでもよい。１つまたはそれを上回る外科手術アプリケーションは、１つまたはそれを上回る医療器具の１つまたはそれを上回る仮想表現を外科手術場面のライブ画像またはビデオ内に表示することを含んでもよい。１つまたはそれを上回る外科手術アプリケーションは、医療器具の１つまたはそれを上回る寸法を決定することを含んでもよい。１つまたはそれを上回る外科手術アプリケーションは、１人またはそれを上回る外科手術対象の重要構造の１つまたはそれを上回る寸法を決定することを含んでもよい。１つまたはそれを上回る外科手術アプリケーションは、灌流マップおよび画像外科手術場面の術前画像のオーバーレイを提供することを含んでもよい。１つまたはそれを上回る外科手術アプリケーションは、灌流マップおよび外科手術場面のライブ画像のオーバーレイを提供することを含んでもよい。１つまたはそれを上回る外科手術アプリケーションは、外科手術場面の術前画像および外科手術場面のライブ画像のオーバーレイを提供することを含んでもよい。１つまたはそれを上回る外科手術アプリケーションは、１つまたはそれを上回るライブ外科手術手技の１つまたはそれを上回るステップの間、仮想マーカのセットを提供し、医療オペレータを誘導することを含んでもよい。

【0012】

いくつかの実施形態では、１つまたはそれを上回る注釈は、医療画像の１つまたはそれを上回る部分の周囲に発生される、境界ボックスを備えてもよい。１つまたはそれを上回る注釈は、医療画像内で発生される、ゼロ次元特徴を備えてもよい。ゼロ次元特徴は、ドットを備えてもよい。１つまたはそれを上回る注釈は、医療画像内で発生される、１次元特徴を備えてもよい。１次元特徴は、線、線分、または２つまたはそれを上回る線分を備える破線を備えてもよい。１次元特徴は、線形部分を備えてもよい。１次元特徴は、湾曲部分を備えてもよい。１つまたはそれを上回る注釈は、医療画像内で発生される、２次元特徴を備えてもよい。２次元特徴は、円形、楕円形、または３つまたはそれを上回る辺を伴う多角形を備えてもよい。２次元特徴は、異なる長さまたは異なる曲率を有する２つまたはそれを上回る辺を伴う形状を備えてもよい。２次元特徴は、１つまたはそれを上回る線形部分を伴う、形状を備えてもよい。２次元特徴は、１つまたはそれを上回る湾曲部分を伴う、形状を備えてもよい。２次元特徴は、円形、楕円形、または多角形に対応しない、非晶質形状を備えてもよい。１つまたはそれを上回る注釈は、少なくとも１人の医療患者と関連付けられる、医療データに対するテキスト注釈を備えてもよい。１つまたはそれを上回る注釈は、ロボットデバイスまたは医療器具の最適位置、配向、または移動のテキスト、数値、または視覚的インジケーションを備えてもよい。１つまたはそれを上回る注釈は、ロボットデバイスまたは医療器具の移動に対応するデータ信号に対する、１つまたはそれを上回る標識された窓または時点を備えてもよい。１つまたはそれを上回る注釈は、少なくとも１つの外科手術手技の１つまたはそれを上回るステップの性能を最適化するためにロボットデバイスまたは医療器具を移動させる方法に関する、テキスト、数値、または視覚的提案を備えてもよい。１つまたはそれを上回る注釈は、ロボットデバイスまたは医療器具が、少なくとも１つの外科手術手技と関連付けられる、外科手術場面を監視するように構成される、撮像デバイスの視野に進入することが予期されるときのインジケーションを備えてもよい。１つまたはそれを上回る注釈は、少なくとも１つの外科手術手技の１つまたはそれを上回るステップの間のロボットデバイスまたは医療器具の推定される位置または推定される配向のインジケーションを備えてもよい。１つまたはそれを上回る注釈は、ロボットデバイスまたは医療器具が、少なくとも１つの外科手術手技の１つまたはそれを上回るステップの間、少なくとも１つの外科手術手技と関連付けられる外科手術場面に対して移動している、推定される方向のインジケーションを備えてもよい。１つまたはそれを上回る注釈は、複数の時間インスタンスにおいて少なくとも１つの外科手術手技の１つまたはそれを上回るステップを可視化するためのカメラの最適位置または最適配向を示すように構成され得る、１つまたはそれを上回るマーキングを備えてもよい。１つまたはそれを上回る注釈は、外科手術手技の間、組織領域にかかる、最適応力、歪み、または力のテキスト、数値、または視覚的インジケーションを備えてもよい。１つまたはそれを上回る注釈は、縫合手技の間、組織領域にかかる、最適応力、歪み、または力のテキスト、数値、または視覚的インジケーションを備えてもよい。１つまたはそれを上回る注釈は、縫合手技の間、針の組織領域に対する運動の最適角度または最適方向のテキスト、数値、または視覚的インジケーションを備えてもよい。１つまたはそれを上回る注釈は、最適縫着パターンの視覚的インジケーションを備えてもよい。１つまたはそれを上回る注釈は、少なくとも１つの外科手術手技の画像またはビデオ上の視覚的マーキングを備えてもよい。１つまたはそれを上回る注釈は、少なくとも１つの外科手術手技を実施するために使用される、１つまたはそれを上回る医療器具の画像またはビデオ上の視覚的マーキングを備えてもよい。１つまたはそれを上回る注釈は、ロボットデバイスまたは医療器具を制御するための医療オペレータによる最適入力または最適運動を示すためのユーザ制御データに対する１つまたはそれを上回るテキスト、数値、または視覚的注釈を備えてもよい。１つまたはそれを上回る注釈は、少なくとも１つの外科手術手技の１つまたはそれを上回るステップを実施するためのロボットデバイスの最適移動を示すためのロボットデータに対する１つまたはそれを上回るテキスト、数値、または視覚的注釈を備えてもよい。

【0013】

いくつかの実施形態では、本方法はさらに、１つまたはそれを上回る注釈を受信するステップに先立って、複数のデータ入力を検証するステップを含んでもよい。複数のデータ入力を検証するステップは、複数のデータ入力をスコア化するステップと、所定の閾値を上回る第１のスコアのセットを伴う、複数のデータ入力の少なくとも第１のサブセットを留保するステップと、所定の閾値を下回る第２のスコアのセットを伴う、複数のデータ入力の少なくとも第２のサブセットを破棄するステップとを含んでもよい。本方法はさらに、医療モデルを訓練するステップに先立って、１つまたはそれを上回る注釈を検証するステップを含んでもよい。１つまたはそれを上回る注釈を検証するステップは、１つまたはそれを上回る注釈をスコア化するステップと、所定の閾値を上回る第１のスコアのセットを伴う、１つまたはそれを上回る注釈の少なくとも第１のサブセットを留保するステップと、所定の閾値を下回る第２のスコアのセットを伴う、１つまたはそれを上回る注釈の少なくとも第２のサブセットを破棄するステップとを含んでもよい。本方法はさらに、１つまたはそれを上回る注釈を提供した、または発生させた、１人またはそれを上回る注釈者を等級付けするステップを含んでもよい。１人またはそれを上回る注釈者を等級付けするステップは、１人またはそれを上回る注釈者の専門知識のレベルまたは１人またはそれを上回る注釈者によって提供される１つまたはそれを上回る注釈と関連付けられる品質のレベルに基づいて、１人またはそれを上回る注釈者をランク付けするステップを含んでもよい。１人またはそれを上回る注釈者を等級付けするステップは、１人またはそれを上回る注釈者によって提供される１つまたはそれを上回る注釈と関連付けられる品質のレベルに基づいて、専門知識のレベルを１人またはそれを上回る注釈者に割り当てるステップを含んでもよい。１つまたはそれを上回る注釈は、クラウドソーシングを使用して集約されてもよい。複数のデータ入力は、クラウドソーシングを使用して集約されてもよい。複数のデータ入力は、注釈のために、クラウドサーバに提供されてもよい。１つまたはそれを上回る注釈は、クラウドベースのプラットフォームを使用して、１人またはそれを上回る注釈者によって発生または提供されてもよい。１つまたはそれを上回る注釈は、クラウドサーバ上に記憶されてもよい。

【0014】

別の側面では、本開示は、医療洞察を発生させるための方法であって、（ａ）１つまたはそれを上回る医療ツールまたは器具を使用した外科手術手技と関連付けられる、医療データを取得するステップと、（ｂ）１つまたはそれを上回る医療アルゴリズムまたはモデルを使用して、医療データを処理するステップであって、１つまたはそれを上回る医療アルゴリズムまたはモデルは、（ｉ）１つまたはそれを上回る医療ツールまたは器具、または（ｉｉ）データ処理プラットフォーム上に展開または実装されるか、または、それらによって展開または実装される、ステップと、（ｃ）処理された医療データに基づいて、１つまたはそれを上回る洞察または推論を発生させるステップと、（ｄ）外科手術手技に関する１つまたはそれを上回る洞察または推論を、データ処理プラットフォームを介して、（ｉ）手術室内のデバイスおよび（ｉｉ）ユーザのうちの少なくとも１つに提供するステップとを含む、方法を提供する。

【0015】

いくつかの実施形態では、本方法はさらに、１つまたはそれを上回る医療ツールまたは器具とデータ処理プラットフォームを位置合わせするステップを含む。いくつかの実施形態では、本方法はさらに、医療データまたは処理された医療データを１つまたはそれを上回る医療ツールまたは器具からデータ処理プラットフォームにアップロードするステップを含む。いくつかの実施形態では、１つまたはそれを上回る医療アルゴリズムまたはモデルは、１つまたはそれを上回る医療データセットのために提供される１つまたはそれを上回るデータ注釈を使用して訓練される。いくつかの実施形態では、１つまたはそれを上回る医療データセットは、外科手術手技と同一または類似タイプの１つまたはそれを上回る参照外科手術手技と関連付けられる。いくつかの実施形態では、１つまたはそれを上回る医療ツールまたは器具は、撮像デバイスを備える。いくつかの実施形態では、撮像デバイスは、ＲＧＢ撮像、レーザスペックル撮像、蛍光撮像、または飛行時間撮像のために構成される。いくつかの実施形態では、医療データは、外科手術手技の１つまたはそれを上回る画像またはビデオまたは外科手術手技の１つまたはそれを上回るステップを備える。いくつかの実施形態では、医療データを処理するステップは、医療データの１つまたはそれを上回る特徴、パターン、または属性を決定または分類するステップを含む。いくつかの実施形態では、１つまたはそれを上回る洞察は、ツール識別、ツール追跡、外科手術位相タイムライン、臨界ビュー検出、組織構造区画化、および／または特徴検出を備える。いくつかの実施形態では、１つまたはそれを上回る医療アルゴリズムまたはモデルは、組織追跡を実施するように構成される。いくつかの実施形態では、１つまたはそれを上回る医療アルゴリズムまたはモデルは、医療データを深度情報を用いて拡張するように構成される。いくつかの実施形態では、１つまたはそれを上回る医療アルゴリズムまたはモデルは、ツール区画化、外科手術の位相に対する内訳、臨界ビュー検出、組織構造区画化、および／または特徴検出を実施するように構成される。いくつかの実施形態では、１つまたはそれを上回る医療アルゴリズムまたはモデルは、医療データの非特定化または匿名化を実施するように構成される。いくつかの実施形態では、１つまたはそれを上回る医療アルゴリズムまたはモデルは、外科手術場面内またはその近傍の１つまたはそれを上回るツール、外科手術位相、臨界ビュー、または１つまたはそれを上回る生物学的、解剖学的、生理学的、または形態学的特徴の検出に基づいて、ライブガイダンスを提供するように構成される。いくつかの実施形態では、１つまたはそれを上回る医療アルゴリズムまたはモデルは、シミュレーションおよび／または外挿のための合成データを発生させるように構成される。いくつかの実施形態では、１つまたはそれを上回る医療アルゴリズムまたはモデルは、医療データの品質を査定するように構成される。いくつかの実施形態では、１つまたはそれを上回る医療アルゴリズムまたはモデルは、（ｉ）外科手術場面の１つまたはそれを上回るＲＧＢ画像またはビデオと、（ｉｉ）外科手術手技の１つまたはそれを上回る付加的画像またはビデオとを備える、オーバーレイを発生させるように構成され、１つまたはそれを上回る付加的画像またはビデオは、蛍光データ、レーザスペックルデータ、灌流データ、または深度情報を備える。いくつかの実施形態では、１つまたはそれを上回る医療アルゴリズムまたはモデルは、１つまたはそれを上回る外科手術推論を提供するように構成される。いくつかの実施形態では、１つまたはそれを上回る推論は、組織が生きているかどうかの決定を備える。いくつかの実施形態では、１つまたはそれを上回る推論は、切断または切開を行うべき場所の決定を備える。いくつかの実施形態では、１つまたはそれを上回る医療アルゴリズムまたはモデルは、仮想外科手術補助を外科手術手技を実施する外科医または医師に提供するように構成される。

【0016】

本開示の別の側面は、１つまたはそれを上回るコンピュータプロセッサによる実行に応じて、上記または本明細書のいずれかの場所に記載の方法のいずれかを実装する、機械実行可能コードを備える、非一過性コンピュータ可読媒体を提供する。

【0017】

本開示の別の側面は、１つまたはそれを上回るコンピュータプロセッサと、そこに結合される、コンピュータメモリとを備える、システムを提供する。コンピュータメモリは、１つまたはそれを上回るコンピュータプロセッサによる実行に応じて、上記または本明細書のいずれかの場所に記載の方法のいずれかを実装する、機械実行可能コードを備える。

【0018】

本開示の付加的側面および利点は、本開示の例証的実施形態のみが図示および説明される、以下の詳細な説明から当業者に容易に明白となるであろう。認識されるであろうように、本開示は、他のおよび異なる実施形態も可能であって、そのいくつかの詳細は、全て、本開示から逸脱することなく、種々の明白な点において修正が可能である。故に、図面および説明は、性質上、例証的であって、制限的として見なされないべきである。
（参照による組み込み）

【0019】

本明細書に述べられた全ての刊行物、特許、および特許出願は、各個々の刊行物、特許、または特許出願が、具体的に、かつ個々に、示され、参照することによって組み込まれる場合と同程度に、参照することによって本明細書に組み込まれる。参照することによって組み込まれる刊行物および特許または特許出願が、本明細書内に含有される本開示と矛盾しない限り、本明細書は、任意のそのような矛盾する資料に取って代わり、および／またはそれに優先することが意図される。

【図面の簡単な説明】

【0020】

本発明の新規特徴が、添付の請求項に詳細に記載される。本発明の特徴および利点のより深い理解は、その中で本発明の原理が利用される、例証的実施形態を記載する、以下の詳細な説明と、付随の図面（また、本明細書では、図（「Ｆｉｇｕｒｅ」および「ＦＩＧ」））とを参照することによって取得されるであろう。

【0021】

【図1A】図１Ａは、いくつかの実施形態による、医療データを処理するためのフロー図を図式的に図示する。

【0022】

【図1B】図１Ｂは、いくつかの実施形態による、医療データを処理するためのプラットフォームを図式的に図示する。

【0023】

【図1C】図１Ｃは、いくつかの実施形態による、医療データを処理するためのプラットフォームのユーザインターフェースを図式的に図示する。

【0024】

【図1D】図１Ｄは、いくつかの実施形態による、外科手術手技のタイムラインを備える、外科手術洞察の実施例を図式的に図示する。

【0025】

【図1E】図１Ｅは、いくつかの実施形態による、外科手術場面の拡張された可視化を備える、外科手術洞察の実施例を図式的に図示する。

【0026】

【図1F】図１Ｆは、いくつかの実施形態による、ツール区画化を含む、外科手術洞察の実施例を図式的に図示する。

【0027】

【図1G】図１Ｇは、いくつかの実施形態による、外科手術データまたは外科手術ビデオを手動でアップロードするためのユーザインターフェースを図式的に図示する。

【0028】

【図2】図２は、いくつかの実施形態による、医療データに注釈を付けるためのフロー図を図式的に図示する。

【0029】

【図3】図３は、いくつかの実施形態による、医療データを処理するための例示的方法を図式的に図示する。

【0030】

【図4A】図４Ａは、いくつかの実施形態による、外科手術場面の外科手術ビデオを図式的に図示する。

【0031】

【図4B】図４Ｂは、いくつかの実施形態による、外科手術ビデオ内のツール縁の検出を図式的に図示する。

【0032】

【図5A】図５Ａは、いくつかの実施形態による、検鏡の外科手術場面に対する位置および配向の視覚的表現を図式的に図示する。

【0033】

【図5B】図５Ｂは、いくつかの実施形態による、１つまたはそれを上回る外科手術ツールの検鏡に対する位置および配向の視覚的表現を図式的に図示する。

【0034】

【図6A】図６Ａは、いくつかの実施形態による、外科手術ビデオ内で検出された複数のツール先端を図式的に図示する。

【0035】

【図6B】図６Ｂは、いくつかの実施形態による、１つまたはそれを上回るツール先端の検鏡に対する推定される３次元（３Ｄ）位置の視覚的表現を図式的に図示する。

【0036】

【図7】図７は、いくつかの実施形態による、１つまたはそれを上回る医療ツール間の先端間距離と、検鏡および１つまたはそれを上回る医療ツールの先端／検鏡間距離とを示す、外科手術場面の拡張現実ビューを図式的に図示する。

【0037】

【図8】図８Ａおよび８Ｂは、いくつかの実施形態による、患者の内側の１つまたはそれを上回る医療ツールの１つまたはそれを上回る仮想ビューを図式的に図示する。

【0038】

【図9A】図９Ａは、いくつかの実施形態による、患者の組織領域の外科手術ビデオを図式的に図示する。

【0039】

【図9B】図９Ｂは、いくつかの実施形態による、患者の組織領域と関連付けられる、ＲＧＢおよび灌流データの可視化を図式的に図示する。

【0040】

【図10A】図１０Ａは、いくつかの実施形態による、医療患者または外科手術対象の組織領域の外科手術ビデオを図式的に図示する。

【0041】

【図10B】図１０Ｂは、いくつかの実施形態による、外科手術対象の組織領域の外科手術ビデオに関して発生され得る、注釈が付けられたデータを図式的に図示する。

【0042】

【図10C】図１０Ｃは、いくつかの実施形態による、切断を行うべき場所を示す、拡張された視覚的および外科手術ガイダンスのためのリアルタイムディスプレイを図式的に図示する。

【0043】

【図11】図１１は、本明細書に提供される方法を実装するようにプログラムまたは別様に構成される、コンピュータシステムを図式的に図示する。

【0044】

【図12】図１２は、いくつかの実施形態による、外科手術手技の間の、安全性の臨界ビューを図式的に図示する。

【0045】

【図13】図１３は、いくつかの実施形態による、機械学習開発パイプラインを図式的に図示する。

【0046】

【図14】図１４は、いくつかの実施形態による、注釈が付けられ、拡張された医療画像またはビデオフレームの実施例を図式的に図示する。

【0047】

【図15】図１５は、いくつかの実施形態による、灌流オーバーレイの実施例を図式的に図示する。

【0048】

【図16】図１６は、いくつかの実施形態による、１つまたはそれを上回る訓練フレームワークからのモデルをオープン標準に変換するステップを図式的に図示する。

【0049】

【図17】図１７は、いくつかの実施形態による、種々のＯｐｅｎ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ Ｅｘｃｈａｎｇｅ（ＯＮＮＸ）ランタイム実行プロバイダに関する推論待ち時間を図式的に図示する。

【0050】

【図18】図１８は、いくつかの実施形態による、ＴｅｎｓｏｒＲＴエンジンを作成するためのパイプラインを図式的に図示する。

【0051】

【図19】図１９は、いくつかの実施形態による、異なるデバイスを横断した畳み込みニューラルネットワークのバリアントの待ち時間の比較を図式的に図示する。

【0052】

【図20】図２０は、いくつかの実施形態による、モデル訓練パイプラインの実施例を図式的に図示する。

【発明を実施するための形態】

【0053】

詳細な説明
本発明の種々の実施形態が、本明細書に図示および説明されているが、そのような実施形態は、一例のみとして提供されることが、当業者に明白となるであろう。多数の変形例、変更、および代用が、本発明から逸脱することなく、当業者に想起され得る。本明細書に説明される本発明の実施形態の種々の代替が採用されてもよいことを理解されたい。

【0054】

本明細書で使用されるような用語「リアルタイム」は、概して、第２の事象または作用の発生に対する第１の事象または作用の同時または実質的に同時の発生を指す。リアルタイム作用または事象は、少なくとも別の事象または作用に対して、以下、すなわち、１０秒、５秒、１秒、１／１０秒、１／１００秒、１ミリ秒、またはそれ未満の応答時間以内で実施され得る。リアルタイム作用は、１つまたはそれを上回るコンピュータプロセッサによって実施されてもよい。

【0055】

用語「少なくとも～」、「～を上回る」、または「～を上回るまたはそれに等しい」が、一連の２つまたはそれを上回る数値内の第１の数値に先行するときは常に、用語「少なくとも～」、「～を上回る」、または「～を上回るまたはそれに等しい」は、その一連の数値内の数値のそれぞれに適用される。例えば、「１、２、または３を上回るまたはそれに等しい」は、「１を上回るまたはそれに等しい、２を上回るまたはそれに等しい、または３上回るまたはそれに等しい」に匹敵する。

【0056】

用語「～以下」、「～未満」、または「～未満またはそれに等しい」が、一連の２つまたはそれを上回る数値内の第１の数値に先行するときは常に、用語「～以下」、「～未満」、または「～未満またはそれに等しい」は、その一連の数値内の数値のそれぞれに適用される。例えば、「３、２、または１未満またはそれに等しい」は、３未満またはそれに等しい、２未満またはそれに等しい、または１未満またはそれに等しい」に匹敵する。

【0057】

ある側面では、本開示は、医療データを処理するためのシステムおよび方法を提供する。本明細書に開示されるシステムおよび方法は、種々の異なる医療用途のために活用され得る、正確かつ有用なデータセットを発生させるために使用されてもよい。本明細書に開示されるシステムおよび方法は、大データセットを信頼性がある源から蓄積し、異なる源から提供されるデータを照合し、医療専門医および保健医療専門医からクラウドソーシングされた注釈を通して、集約されたデータの品質または値を改良するために使用されてもよい。本明細書に開示されるシステムおよび方法は、ライブ外科手術手技を実施する医師または外科医の現在の必要性に基づいて、注釈が付けられたデータセットを発生させ、注釈が付けられたデータセットを医療従事者またはロボット外科手術システムに提供し、１つまたはそれを上回る外科手術手技の性能を向上させるために使用されてもよい。本開示のシステムおよび方法を使用して発生された注釈が付けられたデータセットはまた、ロボット外科手術システムの精度、柔軟性、および制御を改良し得る。外科手術オペレータは、注釈が付けられたデータセットを使用して、外科手術手技の間、外科手術オペレータに利用可能な情報を拡張させ得る、自律的および半自律的ロボット外科手術システムから利益を享受し得る。そのようなロボット外科手術システムはさらに、医療オペレータに、ライブ更新またはオーバーレイを通して、付加的情報を提供し、最適様式において、ライブ外科手術手技の１つまたはそれを上回るステップを迅速かつ効率的に実施する医療オペレータの能力を向上させることができる。

【0058】

ある側面では、本開示は、医療データを処理するための方法を提供する。本方法は、（ａ）（ｉ）少なくとも１人の医療患者または（ｉｉ）少なくとも１つの外科手術手技と関連付けられる、複数のデータ入力を受信するステップを含んでもよい。本方法はさらに、（ｂ）複数のデータ入力の少なくともサブセットに関する１つまたはそれを上回る注釈を受信するステップを含んでもよい。本方法はさらに、（ｃ）（ｉ）１つまたはそれを上回る注釈および（ｉｉ）複数のデータ入力の１つまたはそれを上回るデータ入力を使用して、注釈が付けられたデータセットを発生させるステップを含んでもよい。本方法はさらに、（ｄ）注釈が付けられたデータセットを使用して、（ｉ）複数のデータ入力に関するデータ分析を実施するステップ、（ｉｉ）１つまたはそれを上回る医療訓練ツールを開発するステップ、または（ｉｉｉ）１つまたはそれを上回る医療モデルを訓練するステップとを含んでもよい。

【0059】

ある場合には、本方法はさらに、（ｅ）１つまたはそれを上回る医療デバイスと通信する、１つまたはそれを上回る訓練された医療モデルをコントローラに提供するステップを含んでもよい。ある場合には、１つまたはそれを上回る医療デバイスは、自律的または半自律的外科手術のために構成されてもよい。ある場合には、コントローラは、１つまたはそれを上回る訓練された医療モデルを実装し、１つまたはそれを上回るライブ外科手術手技を補助するように構成されてもよい。

【0060】

データ入力

【0061】

本方法は、（ａ）（ｉ）少なくとも１人の医療患者または（ｉｉ）少なくとも１つの外科手術手技と関連付けられる、複数のデータ入力を受信するステップを含んでもよい。複数のデータ入力は、１つまたはそれを上回るデータプロバイダから取得されてもよい。１つまたはそれを上回るデータプロバイダは、１つまたはそれを上回る医師、外科医、医療従事者、医療設備、医療施設、および／または医療デバイス企業を備えてもよい。ある場合には、複数のデータ入力は、１つまたはそれを上回る医療デバイスおよび／または１つまたはそれを上回る医療撮像デバイスを使用して、取得されてもよい。複数のデータ入力は、クラウドソーシングの１つまたはそれを上回る側面を使用して、集約されてもよい。複数のデータ入力は、処理（例えば、ランク付け、品質制御、検証、注釈等）のために、クラウドサーバに提供されてもよい。

【0062】

複数のデータ入力は、少なくとも１人の医療患者と関連付けられてもよい。少なくとも１人の医療患者は、ヒトであってもよい。少なくとも１人の医療患者は、少なくとも１つの外科手術手技を受ける、受けた、または受けるであろう、個人であってもよい。

【0063】

複数のデータ入力は、少なくとも１つの外科手術手技と関連付けられてもよい。少なくとも１つの外科手術手技は、１つまたはそれを上回る医療ツールまたは器具を使用して、実施される、または実施可能である、１つまたはそれを上回る外科手術手技を備えてもよい。ある場合には、医療ツールまたは器具は、内視鏡または腹腔鏡を備えてもよい。ある場合には、１つまたはそれを上回る外科手術手技は、１つまたはそれを上回るロボットデバイスを使用して、実施される、または実施可能であってもよい。１つまたはそれを上回るロボットデバイスは、自律的および／または半自律的であってもよい。

【0064】

ある場合には、少なくとも１つの外科手術手技は、１つまたはそれを上回る一般的外科手術手技、神経外科手術手技、整形外科手技、および／または脊椎手技を備えてもよい。ある場合には、１つまたはそれを上回る外科手術手技は、結腸切除術、胆嚢摘出術、虫垂切除術、子宮摘出術、甲状腺摘出術、および／または胃切除術を備えてもよい。ある場合には、１つまたはそれを上回る外科手術手技は、ヘルニア修復術および／または１つまたはそれを上回る縫合手術を備えてもよい。ある場合には、１つまたはそれを上回る外科手術手技は、肥満外科手術、大または小腸外科手術、結腸外科手術、痔外科手術、および／または生検（例えば、肝臓生検、乳房生検、腫瘍または癌生検等）を備えてもよい。

【0065】

ある場合には、複数のデータ入力少なくとも１つの外科手術手技と関連付けられる、複数のデータ入力およびデータ入力の少なくともサブセットに関する１つまたはそれを上回る注釈を使用して発生および／または訓練される、１つまたはそれを上回る医療モデルを用いて実施されている、１つまたはそれを上回るライブ外科手術手技と同一または類似タイプの外科手術手技であってもよい。

【0066】

生理学的データ／医療画像

【0067】

複数のデータ入力は、少なくとも１人の医療患者と関連付けられる、医療データを備えてもよい。ある場合には、医療データは、少なくとも１人の医療患者の生理学的データを備えてもよい。生理学的データは、少なくとも１人の医療患者の心電図（ＥＣＧまたはＥＫＧ）、脳波（ＥＥＧ）、筋電図（ＥＭＧ）、血圧、心拍数、呼吸数、または体温を備えてもよい。

【0068】

複数のデータ入力は、少なくとも１人の医療患者と関連付けられる、患者特有のデータを備えてもよい。ある場合には、患者特有のデータは、少なくとも１人の医療患者の１つまたはそれを上回る生物学的パラメータを備えてもよい。１つまたはそれを上回る生物学的パラメータは、少なくとも１人の医療患者の物理的特性、医療条件、または病理学的条件に対応してもよい。ある場合には、患者特有のデータは、匿名化または非特定化された患者データを備えてもよい。

【0069】

複数のデータ入力は、少なくとも１人の医療患者と関連付けられる、医療画像を備えてもよい。ある場合には、医療画像は、超音波画像、Ｘ線画像、光コヒーレンス断層撮影（ＯＣＴ）走査、コンピュータ断層撮影（ＣＴ）走査、磁気共鳴画像法（ＭＲＩ）走査、および陽電子放出断層撮影（ＰＥＴ）走査から成る群から選択される、術前画像を備えてもよい。

【0070】

ある場合には、医療画像は、外科手術場面の術中画像を備えてもよい。術中画像は、ＲＧＢ画像、深度マップ、蛍光透視画像、レーザスペックルコントラスト画像、ハイパースペクトル画像、マルチスペクトル画像、超音波画像、および／またはレーザドップラ画像を備えてもよい。ある場合には、医療画像は、術中画像を備える、術中データの１つまたはそれを上回るストリームを備えてもよい。術中データの１つまたはそれを上回るストリームは、ある時間周期にわたって、連続的にまたは順次取得される、一連の術中画像を備えてもよい。

【0071】

ある場合には、複数のデータ入力は、少なくとも１つの外科手術手技の１つまたはそれを上回る画像および／または１つまたはそれを上回るビデオを備えてもよい。ある場合には、複数のデータ入力は、少なくとも１つの外科手術手技を実施するために使用される、１つまたはそれを上回る医療器具の１つまたはそれを上回る画像および／または１つまたはそれを上回るビデオを備えてもよい。

【0072】

運動学的データ

【0073】

複数のデータ入力は、少なくとも１つの外科手術手技の１つまたはそれを上回るステップを実施するために使用される、ロボットデバイスまたは医療器具の移動と関連付けられる、運動学的データを備えてもよい。ある場合には、運動学的データは、加速度計または慣性測定ユニットを使用して取得される。運動学的データは、ロボットデバイス、ロボットデバイスの一部、医療器具、および／または医療器具の一部の位置、速度、加速、配向、および／または姿勢を備えてもよい。

【0074】

ある場合には、複数のデータ入力は、医療オペレータが、ロボットデバイスまたは医療器具を制御し、少なくとも１つの外科手術手技を実施することによる、１つまたはそれを上回る入力または運動に対応する、ユーザ制御データを備える。ある場合には、医療オペレータが、ロボットデバイスまたは医療器具を制御することによる、１つまたはそれを上回る入力または運動は、ロボットデバイスまたは医療器具の動作または移動に対応する、運動学的データと関連付けられてもよい。

【0075】

ある場合には、複数のデータ入力は、少なくとも１つの外科手術手技の１つまたはそれを上回るステップを実施するためのロボットデバイスの移動と関連付けられる、ロボットデータを備えてもよい。ある場合には、ロボットデバイスは、１つまたはそれを上回る医療器具を移動または制御するように構成される、ロボットアームを備えてもよい。

【0076】

動態データ

【0077】

複数のデータ入力は、少なくとも１つの外科手術手技の間、少なくとも１人の医療患者の組織領域上に付与される、力、応力、または歪みと関連付けられる、動態データを備えてもよい。動態データは、ロボットデバイスまたはロボットアームの移動と関連付けられてもよい。ある場合には、動態データは、ロボットデバイスまたはロボットアームに結合される、医療器具の移動と関連付けられてもよい。

【0078】

器具データ

【0079】

複数のデータ入力は、（ｉ）少なくとも１つの外科手術手技を実施するために使用される、１つまたはそれを上回る医療器具の物理的特性、または（ｉｉ）少なくとも１つの外科手術手技の間、１つまたはそれを上回る医療器具の動作または使用と関連付けられる、機能的特性と関連付けられる、器具特有のデータを備えてもよい。ある場合には、物理的特性は、１つまたはそれを上回る医療器具の形状、幾何学形状、または寸法（例えば、長さ、幅、深度、高さ、厚さ、直径、円周等）を備えてもよい。ある場合には、機能的特性は、１つまたはそれを上回る医療器具と関連付けられる、動作モード、速さ、電力、強度、温度、周波数、波長、正確度のレベル、および／または精度のレベルを備えてもよい。

【0080】

外科手術データ

【0081】

複数のデータ入力は、少なくとも１つの外科手術手技と関連付けられる、外科手術特有のデータを備えてもよい。ある場合には、外科手術特有のデータは、外科手術のタイプ、少なくとも１つの外科手術手技と関連付けられる複数のステップ、複数のステップと関連付けられる１つまたはそれを上回るタイミングパラメータ（例えば、複数のステップを完了するために推定される時間、１つまたはそれを上回るステップを実施するために推定される時間、複数のステップを完了するために必要とされる実際の時間、および／または１つまたはそれを上回るステップを実施するために必要とされる実際の時間）、または複数のステップを実施するために使用可能である、１つまたはそれを上回る医療器具に関する情報を備えてもよい。ある場合には、外科手術特有のデータは、それを通して医療器具または撮像デバイスが挿入され得る、１つまたはそれを上回るポートの相対的位置または相対的配向のうちの少なくとも１つに関する情報を備えてもよい。１つまたはそれを上回るポートは、それを通して医療器具または撮像デバイスが挿入され得る、トロカールの一部に対応し得る。ある場合には、１つまたはそれを上回るポートは、対象の身体の一部上の切開に対応し得る。ある場合には、切開は、鍵穴切開であってもよい。

【0082】

データプロバイダの裁定

【0083】

ある場合には、１つまたはそれを上回る外科手術データセットが、１つまたはそれを上回るデータプロバイダから要求され得る。１つまたはそれを上回る外科手術データセットは、本明細書に説明されるデータ入力のいずれかを備えてもよい。ある場合には、１つまたはそれを上回るデータプロバイダが、異なるタイプのデータと関連付けられる、異なるタイプのデータ入力または異なるメタデータ（例えば、使用される手技タイプまたは機器）を供給するために裁定されてもよい。ある場合には、動的裁定システムが、本明細書に開示されるシステムおよび方法との組み合わせにおいて使用されてもよい。動的裁定システムは、あるタイプのデータまたはメタデータの必要または欠如に基づいて、データプロバイダを裁定するように構成されてもよい。ある場合には、動的裁定システムは、データプロバイダによって発生および／または提供されるデータ入力の品質のレベルに基づいて、データプロバイダを裁定するように構成されてもよい。

【0084】

データ入力のランク付け／品質保証

【0085】

ある場合には、複数のデータ入力は、品質保証を受け、データ入力と関連付けられる品質のレベルを評価および／または照合してもよい。いくつかの実施形態では、本方法はさらに、１つまたはそれを上回る注釈を受信するステップに先立って、複数のデータ入力を検証するステップを含んでもよい。複数のデータ入力を検証するステップは、複数のデータ入力をスコア化するステップと、所定の閾値を上回る第１のスコアのセットを伴う、複数のデータ入力の少なくとも第１のサブセットを留保するステップと、所定の閾値を下回る第２のスコアのセットを伴う、複数のデータ入力の少なくとも第２のサブセットを破棄するステップとを含んでもよい。

【0086】

データプロバイダのランク付け

【0087】

ある場合には、本方法はさらに、複数のデータ入力を提供または発生させた１つまたはそれを上回るデータプロバイダを等級付けするステップを含んでもよい。１つまたはそれを上回るデータプロバイダを等級付けするステップは、１つまたはそれを上回るデータプロバイダの専門知識のレベルまたは１つまたはそれを上回るデータプロバイダによって提供される複数のデータ入力と関連付けられる品質のレベルに基づいて、１つまたはそれを上回るデータプロバイダをランク付けするステップを含んでもよい。１つまたはそれを上回るデータプロバイダを等級付けするステップは、１つまたはそれを上回るデータプロバイダによって提供される複数のデータ入力と関連付けられる品質のレベルに基づいて、専門知識のレベルを１つまたはそれを上回るデータプロバイダに割り当てるステップを含んでもよい。

【0088】

注釈

【0089】

本方法はさらに、（ｂ）複数のデータ入力の少なくともサブセットに関する１つまたはそれを上回る注釈を受信するステップを含んでもよい。本方法はさらに、（ｃ）（ｉ）１つまたはそれを上回る注釈と、（ｉｉ）複数のデータ入力からの１つまたはそれを上回るデータ入力とを使用して、注釈が付けられたデータセットを発生させるステップを含んでもよい。

【0090】

複数のデータ入力は、データ注釈プラットフォームに提供および／またはその上に記憶されてもよい。データ注釈プラットフォームは、クラウドサーバを備えてもよい。データ注釈プラットフォームは、１人またはそれを上回る注釈者が、複数のデータ入力にアクセスし、複数のデータ入力の少なくともサブセットに関する１つまたはそれを上回る注釈を提供することを可能にするように構成されてもよい。１つまたはそれを上回る注釈は、クラウドソーシングを使用して集約されてもよい。データ注釈プラットフォームは、通信ネットワークを介して１人またはそれを上回る注釈者によってアクセス可能である、サーバを備えてもよい。サーバは、クラウドサーバを備えてもよい。

【0091】

１人またはそれを上回る注釈者は、１人またはそれを上回る医師、外科医、看護士、医療従事者、医療施設、医学生、研修医、医学研修生、医療スタッフ、および／または医療研究者を備えてもよい。ある場合には、１人またはそれを上回る注釈者は、診療科における１人またはそれを上回る医療専門医を備えてもよい。ある場合には、１人またはそれを上回る注釈者は、本明細書のいずれかの場所で説明されるように、１つまたはそれを上回るデータプロバイダを備えてもよい。ある場合には、１人またはそれを上回る注釈者は、医療背景を有していない、個人またはエンティティを備えてもよい。そのような場合、医療背景を有していない、そのような個人またはエンティティによって提供される、１つまたはそれを上回る注釈は、品質保証目的のために、医療知識、経験、または専門知識を伴う、１人またはそれを上回る注釈者によって照合されてもよい。

【0092】

１人またはそれを上回る注釈者は、１つまたはそれを上回る注釈を複数のデータ入力の少なくともサブセットに提供してもよい。１つまたはそれを上回る注釈は、クラウドベースのプラットフォームを使用して、１人またはそれを上回る注釈者によって発生または提供されてもよい。１つまたはそれを上回る注釈は、クラウドサーバ上に記憶されてもよい。１人またはそれを上回る注釈者によって提供される１つまたはそれを上回る注釈は、注釈が付けられたデータセットを複数のデータ入力から発生させるために使用されてもよい。注釈が付けられたデータセットは、１つまたはそれを上回る注釈が付けられたデータ入力を備えてもよい。

【0093】

注釈のタイプ

【0094】

ある場合には、１つまたはそれを上回る注釈は、医療画像の１つまたはそれを上回る部分の周囲に発生される、境界ボックスを備えてもよい。ある場合には、１つまたはそれを上回る注釈は、医療画像内で発生される、ゼロ次元特徴を備えてもよい。ゼロ次元特徴は、ドットを備えてもよい。ある場合には、１つまたはそれを上回る注釈は、医療画像内で発生される、１次元特徴を備えてもよい。１次元特徴は、線、線分、または２つまたはそれを上回る線分を備える破線を備えてもよい。ある場合には、１次元特徴は、線形部分を備えてもよい。ある場合には、１次元特徴は、湾曲部分を備えてもよい。ある場合には、１つまたはそれを上回る注釈は、医療画像内で発生される、２次元特徴を備えてもよい。ある場合には、２次元特徴は、円形、楕円形、または３つまたはそれを上回る辺を伴う多角形を備えてもよい。ある場合には、多角形の２つまたはそれを上回る辺は、同一長さを備えてもよい。他の場合には、多角形の２つまたはそれを上回る辺は、異なる長さを備えてもよい。ある場合には、２次元特徴は、異なる長さまたは異なる曲率を有する２つまたはそれを上回る辺を伴う形状を備えてもよい。ある場合には、２次元特徴は、１つまたはそれを上回る線形部分および／または１つまたはそれを上回る湾曲部分を伴う、形状を備えてもよい。ある場合には、２次元特徴は、円形、楕円形、または多角形に対応しない、非晶質形状を備えてもよい。ある場合には、２次元特徴は、注釈者によって描写または発生される、恣意的区画化形状を備えてもよい。

【0095】

ある場合には、１つまたはそれを上回る注釈は、少なくとも１人の医療患者と関連付けられる、医療データに対するテキスト注釈を備えてもよい。ある場合には、１つまたはそれを上回る注釈は、ロボットデバイスまたは医療器具の最適位置、配向、または移動のテキスト、数値、または視覚的インジケーションを備えてもよい。ある場合には、１つまたはそれを上回る注釈は、ロボットデバイスまたは医療器具の移動に対応するデータ信号に対する、１つまたはそれを上回る標識された窓または時点を備えてもよい。ある場合には、標識された窓または時点は、ロボット移動および医療器具以外のデータ信号のために使用されてもよい。例えば、標識された窓または時点は、ライブ継続外科手術手技のステップを標識するために使用されてもよい。さらに、標識された窓または時点は、蛍光および／または他の撮像モダリティ（例えば、赤外線、磁気共鳴画像法、Ｘ線、超音波、医療放射線、血管造影、コンピュータ断層撮影、陽電子放出断層撮影等）が使用されているときを示すために使用されてもよい。ある場合には、標識された窓または時点は、安全性の臨界ビューが達成されるときを示すために使用されてもよい。ある場合には、１つまたはそれを上回る注釈は、少なくとも１つの外科手術手技の１つまたはそれを上回るステップの性能を最適化するためにロボットデバイスまたは医療器具を移動させる方法に関する、テキスト、数値、または視覚的提案を備えてもよい。ある場合には、１つまたはそれを上回る注釈は、ロボットデバイスまたは医療器具が、少なくとも１つの外科手術手技と関連付けられる、外科手術場面を監視するように構成される、撮像デバイスの視野に進入することが予期されるときのインジケーションを備えてもよい。撮像デバイスは、カメラを備えてもよい。ある場合には、１つまたはそれを上回る注釈は、少なくとも１つの外科手術手技の１つまたはそれを上回るステップの間のロボットデバイスまたは医療器具の推定される位置または推定される配向のインジケーションを備えてもよい。ある場合には、１つまたはそれを上回る注釈は、ロボットデバイスまたは医療器具が、少なくとも１つの外科手術手技の１つまたはそれを上回るステップの間、少なくとも１つの外科手術手技と関連付けられる外科手術場面に対して移動している、推定される方向のインジケーションを備えてもよい。ある場合には、１つまたはそれを上回る注釈は、複数の異なる時間インスタンスにおける少なくとも１つの外科手術手技の１つまたはそれを上回るステップを可視化するためのカメラの最適位置または最適配向を示すように構成される、１つまたはそれを上回るマーキングを備えてもよい。

【0096】

ある場合には、１つまたはそれを上回る注釈は、外科手術手技の間、組織領域にかかる、最適応力、歪み、または力のテキスト、数値、または視覚的インジケーションを備えてもよい。ある場合には、１つまたはそれを上回る注釈は、縫合手技の間、組織領域にかかる、最適応力、歪み、または力のテキスト、数値、または視覚的インジケーションを備えてもよい。ある場合には、１つまたはそれを上回る注釈は、縫合手技の間、針の組織領域に対する運動の最適角度または最適方向のテキスト、数値、または視覚的インジケーションを備えてもよい。ある場合には、１つまたはそれを上回る注釈は、最適縫着パターンの視覚的インジケーションを備えてもよい。

【0097】

ある場合には、１つまたはそれを上回る注釈は、少なくとも１つの外科手術手技の画像またはビデオ上の視覚的マーキングを備えてもよい。ある場合には、１つまたはそれを上回る注釈は、少なくとも１つの外科手術手技を実施するために使用される、１つまたはそれを上回る医療器具の画像またはビデオ上の視覚的マーキングを備えてもよい。

【0098】

ある場合には、１つまたはそれを上回る注釈は、ロボットデバイスまたは医療器具を制御するための医療オペレータによる最適入力または最適運動を示すためのユーザ制御データに対する１つまたはそれを上回るテキスト、数値、または視覚的注釈を備えてもよい。ある場合には、１つまたはそれを上回る注釈は、少なくとも１つの外科手術手技の１つまたはそれを上回るステップを実施するためのロボットデバイスの最適移動を示すためのロボットデータに対する１つまたはそれを上回るテキスト、数値、または視覚的注釈を備えてもよい。

【0099】

注釈のランク付け／品質保証

【0100】

１つまたはそれを上回る注釈は、等級付けおよび／またはランク付けされ、１つまたはそれを上回る注釈の品質または正確度を示してもよい。ある場合には、本方法はさらに、医療モデルを訓練するステップに先立って、１つまたはそれを上回る注釈を検証するステップを含んでもよい。１つまたはそれを上回る注釈を検証するステップは、１つまたはそれを上回る注釈をスコア化するステップと、所定の閾値を上回る第１のスコアのセットを伴う、１つまたはそれを上回る注釈の少なくとも第１のサブセットを留保するステップと、所定の閾値を下回る第２のスコアのセットを伴う、１つまたはそれを上回る注釈の少なくとも第２のサブセットを破棄するステップとを含んでもよい。

【0101】

ランク付け／注釈者の裁定

【0102】

ある場合には、本方法はさらに、１つまたはそれを上回る注釈を提供した、または発生させた、１人またはそれを上回る注釈者を等級付けするステップを含んでもよい。１人またはそれを上回る注釈者を等級付けするステップは、１人またはそれを上回る注釈者の専門知識のレベルまたは１人またはそれを上回る注釈者によって提供される１つまたはそれを上回る注釈と関連付けられる品質のレベルに基づいて、１人またはそれを上回る注釈者をランク付けするステップを含んでもよい。１人またはそれを上回る注釈者を等級付けするステップは、１人またはそれを上回る注釈者によって提供される１つまたはそれを上回る注釈と関連付けられる品質のレベルに基づいて、専門知識のレベルを１人またはそれを上回る注釈者に割り当てるステップを含んでもよい。異なるレベルの専門知識が、あるデータセットのために要求される異なる注釈のために指定または要求されてもよい。そのような場合、データ注釈者は、所望のレベルの品質、精度、および／または正確度を伴って、１つまたはそれを上回るデータ注釈タスクを発生させるために要求される専門知識のレベルに応じて、調節される、動的スケールに基づいて、裁定または補償されてもよい。ある場合には、データ注釈者は、データ注釈者によって提供される注釈の品質のレベルに基づいて、裁定または補償されてもよい。

【0103】

同期

【0104】

ある場合には、複数のデータ入力は、同一タイプの２つまたはそれを上回るデータ入力を備えてもよい。他の場合には、複数のデータ入力は、異なるタイプの２つまたはそれを上回るデータ入力を備えてもよい。本明細書に説明される実施形態のいずれかでは、複数のデータ入力は、同期されてもよい。複数のデータ入力の同期は、１つまたはそれを上回る空間同期、１つまたはそれを上回る時間的同期、および／または患者のタイプまたは外科手術手技のタイプに対する１つまたはそれを上回る同期を備えてもよい。

【0105】

データ分析

【0106】

ある場合には、本方法は、（ｄ）注釈が付けられたデータセットを使用して、（ｉ）複数のデータ入力に関するデータ分析を実施するステップを含んでもよい。データ分析を実施するステップは、複数のデータ入力および／または１つまたはそれを上回る注釈から、外科手術転帰に影響を及ぼし得る、医療患者および／または外科手術手技と関連付けられる、１つまたはそれを上回る要因を決定するステップを含んでもよい。ある場合には、データ分析を実施するステップは、複数のデータ入力および／または複数のデータ入力に対する１つまたはそれを上回る注釈と関連付けられる、１つまたはそれを上回る測定可能特性に対応する、統計を発生させるステップを含んでもよい。ある場合には、データ分析を実施するステップは、灌流マップ内の生物学的材料の流動、縫着部張力外科手術手技の間、１つまたはそれを上回る組織領域に関する組織弾性、または外科手術手技のための容認可能切除辺縁の範囲に対応する、統計を発生させるステップを含んでもよい。ある場合には、データ分析を実施するステップは、少なくとも１つの外科手術手技と関連付けられる、１つまたはそれを上回る外科手術タスクを特性評価するステップを含んでもよい。１つまたはそれを上回る外科手術タスクを特性評価するステップは、外科手術手技における１つまたはそれを上回るステップを識別するステップ、１つまたはそれを上回るステップを実施または完了するための１つまたはそれを上回る最適ツールを識別するステップ、１つまたはそれを上回るステップを実施または完了するための１つまたはそれを上回る最適外科手術技法を識別するステップ、または１つまたはそれを上回るステップと関連付けられる、１つまたはそれを上回るタイミングパラメータを決定するステップを含んでもよい。１つまたはそれを上回るタイミングパラメータは、１つまたはそれを上回るステップを完了するために必要とされる、推定または実際の時間量を備えてもよい。

【0107】

医療訓練

【0108】

ある場合には、本方法は、（ｄ）注釈が付けられたデータセットを使用して、（ｉｉ）１つまたはそれを上回る医療訓練ツールを開発するステップを含んでもよい。１つまたはそれを上回る医療訓練ツールは、１人またはそれを上回る医師、外科医、看護士、医療アシスタント、医療スタッフ、医療作業者、医学生、研修医、医学研修生、または医療提供者を訓練するために使用および／または展開されてもよい。１つまたはそれを上回る医療訓練ツールは、１つまたはそれを上回る外科手術手技を実施するための最良実践またはガイドラインを提供するように構成されてもよい。１つまたはそれを上回る医療訓練ツールは、外科手術手技を実施するための１つまたはそれを上回る最適外科手術ツールに関する情報を提供するように構成されてもよい。１つまたはそれを上回る医療訓練ツールは、外科手術ツールを使用するための最適方法に関する情報を提供するように構成されてもよい。１つまたはそれを上回る医療訓練ツールは、外科手術手技を実施するための最適方法に関する情報を提供するように構成されてもよい。１つまたはそれを上回る医療訓練ツールは、手技訓練または医療器具訓練を提供するように構成されてもよい。１つまたはそれを上回る医療訓練ツールは、１つまたはそれを上回る外科手術手技のための転帰ベース訓練を提供するように構成されてもよい。ある場合には、１つまたはそれを上回る医療訓練ツールは、訓練シミュレータを備えてもよい。訓練シミュレータは、被訓練者に、外科手術手技の視覚的および／または仮想表現を提供するように構成されてもよい。

【0109】

医療モデルのための訓練方法

【0110】

ある場合には、本方法はさらに、（ｄ）注釈が付けられたデータセットを使用して、（ｉｉｉ）１つまたはそれを上回る医療モデルを発生および／または訓練するステップを含んでもよい。本明細書で使用されるように、医療モデルは、医療患者または医療動作に関する１つまたはそれを上回る入力を受信し、１つまたはそれを上回る入力の分析または評価に基づいて、１つまたはそれを上回る出力を発生させるように構成される、モデルを指し得る。医療モデルによって発生された１つまたはそれを上回る出力は、下記に説明されるように、１つまたはそれを上回る外科手術アプリケーションを備えてもよい。ある場合には、医療モデルは、医療モデルによってアクセス可能な他のデータセットに対する入力を比較することによって、入力を分析、評価、および／または処理するように構成されてもよい。１つまたはそれを上回る医療モデルは、少なくとも複数のデータ入力、１つまたはそれを上回る注釈、および／または注釈が付けられたデータセットを使用して、発生されてもよい。１つまたはそれを上回る医療モデルは、医療オペレータが外科手術手技を実施することを補助するように構成されてもよい。ある場合には、１つまたはそれを上回るライブ外科手術手技を補助するステップは、外科医が１つまたはそれを上回るライブ外科手術手技の１つまたはそれを上回るステップを実施する間、ガイダンスを外科医に提供するステップを含んでもよい。ある場合には、１つまたはそれを上回るライブ外科手術手技を補助するステップは、自律的または半自律的外科手術を実施するように構成される、１つまたはそれを上回るロボットデバイスの制御または運動を改良するステップを含んでもよい。ある場合には、１つまたはそれを上回るライブ外科手術手技を補助するステップは、外科手術手技の１つまたはそれを上回るステップを自動化するステップを含んでもよい。

【0111】

１つまたはそれを上回る医療モデルは、複数のデータ入力、１つまたはそれを上回る注釈、注釈が付けられたデータセット、および１つまたはそれを上回るモデル訓練方法を使用して訓練されてもよい。ある場合には、１つまたはそれを上回る医療モデルは、ニューラルネットワークまたは畳み込みニューラルネットワークを使用して訓練されてもよい。ある場合には、１つまたはそれを上回る医療モデルは、深層学習を使用して訓練されてもよい。ある場合には、深層学習は、教師あり、教師なし、および／または半教師ありであってもよい。ある場合には、１つまたはそれを上回る医療モデルは、強化学習および／または転移学習を使用して訓練されてもよい。ある場合には、１つまたはそれを上回る医療モデルは、画像閾値処理および／または色ベースの画像区画化を使用して訓練されてもよい。ある場合には、１つまたはそれを上回る医療モデルは、クラスタ化を使用して訓練されてもよい。ある場合には、１つまたはそれを上回る医療モデルは、回帰分析を使用して訓練されてもよい。ある場合には、１つまたはそれを上回る医療モデルは、サポートベクトルマシンを使用して訓練されてもよい。ある場合には、１つまたはそれを上回る医療モデルは、１つまたはそれを上回る決定木または１つまたはそれを上回る決定木と関連付けられるランダムフォレストを使用して訓練されてもよい。ある場合には、１つまたはそれを上回る医療モデルは、次元低減を使用して訓練されてもよい。ある場合には、１つまたはそれを上回る医療モデルは、１つまたはそれを上回る回帰型ニューラルネットワークを使用して訓練されてもよい。ある場合には、１つまたはそれを上回る回帰型ニューラルネットワークは、長短期メモリニューラルネットワークを備えてもよい。ある場合には、１つまたはそれを上回る医療モデルは、１つまたはそれを上回る時間的畳み込みネットワークを使用して訓練されてもよい。ある場合には、１つまたはそれを上回る時間的畳み込みネットワークは、単一または複数の段階を有してもよい。ある場合には、１つまたはそれを上回る医療モデルは、データ拡張または敵対的生成ネットワークを使用して訓練されてもよい。ある場合には、１つまたはそれを上回る医療モデルは、１つまたはそれを上回る古典的アルゴリズムを使用して訓練されてもよい。１つまたはそれを上回る古典的アルゴリズムは、指数平滑法、単一指数平滑法、二重指数平滑法、三重指数平滑法、Ｈｏｌｔ－Ｗｉｎｔｅｒｓ指数平滑法、自己回帰、移動平均、自己回帰移動平均、自己回帰和分移動平均、季節性自己回帰和分移動平均、ベクトル自己回帰、またはベクトル自己回帰移動平均を実装するように構成されてもよい。

【0112】

外科手術手技を補助するための訓練されたモデルの使用

【0113】

本方法は、（ｅ）１つまたはそれを上回る医療デバイスと通信する、１つまたはそれを上回る訓練された医療モデルをコントローラに提供するステップを含んでもよい。ある場合には、１つまたはそれを上回る医療デバイスは、自律的または半自律的外科手術のために構成されてもよい。ある場合には、コントローラは、１つまたはそれを上回る訓練された医療モデルを実装し、１つまたはそれを上回るライブ外科手術手技を補助するように構成されてもよい。

【0114】

訓練された医療モデルへの入力

【0115】

１つまたはそれを上回る訓練された医療モデルは、（ｉ）１つまたはそれを上回るライブ外科手術手技または１つまたはそれを上回るライブ外科手術手技の１人またはそれを上回る外科手術対象に対応する入力のセットを受信し、（ｉｉ）少なくとも部分的に、入力のセットに基づいて、１つまたはそれを上回る外科手術アプリケーションを実装または実施し、１つまたはそれを上回るライブ外科手術手技を実施する医療オペレータの能力を向上させるように構成されてもよい。

【0116】

ある場合には、入力のセットは、１人またはそれを上回る外科手術対象と関連付けられる、医療データを備えてもよい。１人またはそれを上回る外科手術対象は、１つまたはそれを上回るライブ外科手術手技を受けてもよい。１つまたはそれを上回るライブ外科手術手技は、医療モデルを発生および／または訓練するために使用される複数のデータ入力と関連付けられる、少なくとも１つの外科手術手技と同一または類似タイプの外科手術手技であってもよい。

【0117】

ある場合には、医療データは、１人またはそれを上回る外科手術対象の生理学的データを備えてもよい。生理学的データは、１人またはそれを上回る外科手術対象の心電図（ＥＣＧまたはＥＫＧ）、脳波（ＥＥＧ）、筋電図（ＥＭＧ）、血圧、心拍数、呼吸数、または体温を備えてもよい。

【0118】

ある場合には、医療データは、医療画像を備えてもよい。医療画像は、超音波画像、Ｘ線画像、光コヒーレンス断層撮影（ＯＣＴ）走査、コンピュータ断層撮影（ＣＴ）走査、磁気共鳴画像法（ＭＲＩ）走査、および陽電子放出断層撮影（ＰＥＴ）走査から成る群から選択される、術前画像を備えてもよい。ある場合には、医療画像は、外科手術場面の術中画像を備えてもよい。術中画像は、ＲＧＢ画像、深度マップ、蛍光透視画像、レーザスペックルコントラスト画像、ハイパースペクトル画像、マルチスペクトル画像、超音波画像、および／またはレーザドップラ画像を備えてもよい。ある場合には、医療画像は、術中画像を備える、術中データの１つまたはそれを上回るストリームを備えてもよい。術中データの１つまたはそれを上回るストリームは、ある時間周期にわたって、連続的にまたは順次取得される、一連の術中画像を備えてもよい。

【0119】

ある場合には、入力のセットは、１つまたはそれを上回るライブ外科手術手技の画像またはビデオを備えてもよい。ある場合には、入力のセットは、１つまたはそれを上回るライブ外科手術手技を実施するために使用される、１つまたはそれを上回る医療器具の画像またはビデオを備えてもよい。

【0120】

ある場合には、入力のセットは、１つまたはそれを上回るライブ外科手術手技の１つまたはそれを上回るステップを実施するために使用可能である、ロボットデバイスまたは医療器具の移動と関連付けられる、運動学的データを備えてもよい。運動学的データは、加速度計または慣性測定ユニットを使用して取得されてもよい。

【0121】

ある場合には、入力のセットは、医療オペレータが、医療器具を制御し、１つまたはそれを上回るライブ外科手術手技を実施することによる、１つまたはそれを上回る入力または運動に対応する、ユーザ制御データを備えてもよい。

【0122】

ある場合には、入力のセットは、１つまたはそれを上回るライブ外科手術手技の１つまたはそれを上回るステップを実施するためのロボットデバイスの移動または制御と関連付けられる、ロボットデータを備えてもよい。ロボットデバイスは、１つまたはそれを上回る医療器具を移動または制御するように構成される、ロボットアームを備えてもよい。

【0123】

ある場合には、入力のセットは、１つまたはそれを上回るライブ外科手術手技の間、１人またはそれを上回る外科手術対象の組織領域上に付与される、力、応力、または歪みと関連付けられる、動態データを備えてもよい。

【0124】

ある場合には、入力のセットは、（ｉ）１つまたはそれを上回るライブ外科手術手技を実施するために使用される、１つまたはそれを上回る医療器具の物理的特性、または（ｉｉ）１つまたはそれを上回るライブ外科手術手技の間の１つまたはそれを上回る医療器具の動作または使用と関連付けられる、機能的特性と関連付けられる、器具特有のデータを備えてもよい。物理的特性は、１つまたはそれを上回る医療器具の幾何学形状を備えてもよい。

【0125】

ある場合には、入力のセットは、１つまたはそれを上回るライブ外科手術手技と関連付けられる、外科手術特有のデータを備えてもよい。外科手術特有のデータは、１つまたはそれを上回るライブ外科手術手技と関連付けられる、外科手術のタイプ、１つまたはそれを上回るライブ外科手術手技と関連付けられる、複数のステップ、複数のステップと関連付けられる、１つまたはそれを上回るタイミングパラメータ、または複数のステップを実施するために使用可能である、１つまたはそれを上回る医療器具に関する情報を備えてもよい。ある場合には、外科手術特有のデータは、それを通して医療器具または撮像デバイスが挿入され得る、１つまたはそれを上回るポートの相対的位置または相対的配向のうちの少なくとも１つに関する情報を備えてもよい。１つまたはそれを上回るポートは、トロカールまたは対象の身体の一部上の切開に対応し得る。

【0126】

ある場合には、入力のセットは、１人またはそれを上回る外科手術対象と関連付けられる、対象特有のデータを備えてもよい。対象特有のデータは、１人またはそれを上回る外科手術対象の１つまたはそれを上回る生物学的パラメータを備えてもよい。ある場合には、１つまたはそれを上回る生物学的パラメータは、１人またはそれを上回る外科手術対象の物理的特性、医療条件、または病理学的条件に対応してもよい。ある場合には、対象特有のデータは、匿名化または非特定化された対象データを備えてもよい。

【0127】

訓練された医療モデルの出力

【0128】

１つまたはそれを上回る訓練された医療モデルは、（ｉ）１つまたはそれを上回るライブ外科手術手技または１つまたはそれを上回るライブ外科手術手技の１人またはそれを上回る外科手術対象に対応する入力のセットを受信し、（ｉｉ）少なくとも部分的に、入力のセットに基づいて、１つまたはそれを上回る外科手術アプリケーションを実装または実施し、１つまたはそれを上回るライブ外科手術手技を実施する医療オペレータの能力を向上させるように構成されてもよい。

【0129】

ある場合には、１つまたはそれを上回る外科手術アプリケーションは、１つまたはそれを上回るライブ外科手術手技の１つまたはそれを上回る画像またはビデオ上の画像区画化を含む。画像区画化は、１つまたはそれを上回るライブ外科手術手技を実施するために使用される、１つまたはそれを上回る医療器具を識別するために使用されてもよい。画像区画化は、１つまたはそれを上回るライブ外科手術手技を受ける１人またはそれを上回る外科手術対象の１つまたはそれを上回る組織領域を識別するために使用されてもよい。ある場合には、画像区画化は、（ｉ）健康な組織領域と非健康な組織領域を区別する、または（ｉｉ）動脈と静脈を区別するために使用されてもよい。

【0130】

ある場合には、１つまたはそれを上回る外科手術アプリケーションは、１つまたはそれを上回るライブ外科手術手技の１つまたはそれを上回る画像またはビデオ内の１つまたはそれを上回る物体または特徴に関する物体検出を含んでもよい。ある場合には、物体検出は、外科手術場面内の１つまたはそれを上回る変形可能組織領域または１つまたはそれを上回る剛性物体を検出することを含んでもよい。

【0131】

ある場合には、１つまたはそれを上回る外科手術アプリケーションは、外科手術場面の２つまたはそれを上回る画像をともにスティッチングするための場面スティッチングを含んでもよい。ある場合には、場面スティッチングは、外科手術場面に対応する、小型マップを発生させることを含んでもよい。ある場合には、場面スティッチングは、光学ペイントブラシを使用して実装されてもよい。

【0132】

ある場合には、１つまたはそれを上回る外科手術アプリケーションは、１つまたはそれを上回るセンサを使用して取得される１つまたはそれを上回る画像および／または測定値を訓練された医療モデルに提供される入力のセットの少なくともサブセットと関連付けられる付加的情報を用いて拡張させるためのセンサ拡張を含んでもよい。

【0133】

ある場合には、センサ拡張は、画像拡張を含んでもよい。画像拡張は、外科手術場面の１つまたはそれを上回る部分への自動ズーム、外科手術場面の１つまたはそれを上回る部分への自動焦点、レンズ汚れ除去、または画像補正を備えてもよい。

【0134】

ある場合には、１つまたはそれを上回る外科手術アプリケーションは、１つまたはそれを上回るライブ外科手術手技と関連付けられる、１つまたはそれを上回る手続型推論を発生させることを含んでもよい。１つまたはそれを上回る手続型推論は、外科手術手技における１つまたはそれを上回るステップの識別または外科手術手技の１つまたはそれを上回るステップの性能と関連付けられる１つまたはそれを上回る可能性として考えられる外科手術転帰の決定を備えてもよい。

【0135】

ある場合には、１つまたはそれを上回る外科手術アプリケーションは、１人またはそれを上回る外科手術対象の組織領域の術前画像と、１つまたはそれを上回るライブ外科手術手技の間に取得される、１人またはそれを上回る外科手術対象の組織領域の１つまたはそれを上回るライブ画像を位置合わせすることを含んでもよい。ある場合には、１つまたはそれを上回る外科手術アプリケーションは、２つまたはそれを上回る医療画像を位置合わせし、オーバーレイすることを含んでもよい。ある場合には、２つまたはそれを上回る医療画像は、異なる撮像モダリティを使用して、取得または発生されてもよい。

【0136】

ある場合には、１つまたはそれを上回る外科手術アプリケーションは、外科手術場面の拡張現実または仮想現実表現を提供することを含んでもよい。ある場合には、外科手術場面の拡張現実または仮想現実表現は、１つまたはそれを上回るカメラオペレータが１つまたはそれを上回るカメラを外科手術場面に対して移動させるためのスマートガイダンスを提供するように構成されてもよい。他の場合には、外科手術場面の拡張現実または仮想現実表現は、１つまたはそれを上回るライブ外科手術手技の間、１つまたはそれを上回る代替カメラビューまたはディスプレイビューを医療オペレータに提供するように構成されてもよい。

【0137】

ある場合には、１つまたはそれを上回る外科手術アプリケーションは、１つまたはそれを上回るライブ外科手術手技の間、１つまたはそれを上回るロボットデバイスまたは医療器具の位置、配向、または移動を調節することを含んでもよい。

【0138】

ある場合には、１つまたはそれを上回る外科手術アプリケーションは、１つまたはそれを上回るライブ外科手術手技の間、２つまたはそれを上回るロボットデバイスまたは医療器具の移動を協調させることを含んでもよい。２つまたはそれを上回るロボットデバイスは、２つまたはそれを上回る独立して制御可能なアームを有してもよい。ある場合には、１つまたはそれを上回る外科手術アプリケーションは、ロボットカメラおよびロボット制御される医療器具の移動を協調させることを含んでもよい。ある場合には、１つまたはそれを上回る外科手術アプリケーションは、ロボットカメラおよび医療オペレータによって手動で制御される医療器具の移動を協調させることを含んでもよい。

【0139】

ある場合には、１つまたはそれを上回る外科手術アプリケーションは、外科手術場面内の１つまたはそれを上回る目印を位置特定することを含んでもよい。１つまたはそれを上回る目印は、外科手術場面内の１つまたはそれを上回る着目場所または領域に対応し得る。ある場合には、１つまたはそれを上回る目印は、外科手術場面内の１つまたはそれを上回る臨界構造に対応し得る。

【0140】

ある場合には、１つまたはそれを上回る外科手術アプリケーションは、１人またはそれを上回る外科手術対象と関連付けられる、生理学的情報を、１つまたはそれを上回るライブ外科手術手技の間に取得される、外科手術場面の１つまたはそれを上回る画像上に表示することを含んでもよい。

【0141】

ある場合には、１つまたはそれを上回る外科手術アプリケーションは、安全性監視機構を備えてもよい。ある場合には、安全性監視機構は、医療オペレータが標的化または回避するために、外科手術場面内の１つまたはそれを上回る領域をジオフェンシングする、または外科手術場面内の１つまたはそれを上回る領域をハイライトすることを含んでもよい。

【0142】

ある場合には、１つまたはそれを上回る外科手術アプリケーションは、医療オペレータに、１つまたはそれを上回るライブ外科手術手技の１つまたはそれを上回るステップを実施するための医療器具の最適位置、配向、または移動に関する情報を提供することを含んでもよい。

【0143】

ある場合には、１つまたはそれを上回る外科手術アプリケーションは、医療オペレータに、１つまたはそれを上回るライブ外科手術手技の１つまたはそれを上回るステップを実施するための１つまたはそれを上回る外科手術器具または外科手術方法を知らせることを含んでもよい。

【0144】

ある場合には、１つまたはそれを上回る外科手術アプリケーションは、医療オペレータに、最適縫着パターンを知らせることを含んでもよい。

【0145】

ある場合には、１つまたはそれを上回る外科手術アプリケーションは、灌流、縫着部張力、組織弾性、または切除辺縁を測定することを含んでもよい。

【0146】

ある場合には、１つまたはそれを上回る外科手術アプリケーションは、第１のツールと第２のツールとの間の距離をリアルタイムで測定することを含んでもよい。ある場合には、第１のツールと第２のツールとの間の距離は、少なくとも部分的に、第１のツールおよび第２のツールの幾何学形状（例えば、サイズおよび／または形状）に基づいて測定されてもよい。ある場合には、第１のツールと第２のツールとの間の距離は、少なくとも部分的に、１つまたはそれを上回るライブ外科手術手技を実施するために使用される、検鏡の相対的位置または相対的配向に基づいて測定されてもよい。

【0147】

ある場合には、本方法はさらに、第１のツールおよび／または第２のツールの１つまたはそれを上回る縁を検出し、第１のツールの第２のツールに対する位置および／または配向を決定するステップを含んでもよい。ある場合には、本方法はさらに、第１のツールのツール先端の３次元位置および第２のツールのツール先端の３次元位置を決定するステップを含んでもよい。ある場合には、本方法はさらに、検鏡ポートと術前画像を位置合わせし、第１のツール、第２のツール、および検鏡の外科手術患者の身体内の１つまたはそれを上回る組織領域に対する位置および配向を決定するステップを含んでもよい。

【0148】

ある場合には、ツールまたは検鏡の１つまたはそれを上回る検出された縁は、ツールまたは検鏡の位置フィードバックを改良するために使用されてもよい。位置フィードバックを改良するステップは、ツールまたは検鏡が外科手術手技の間に移動される（例えば、外科手術場面に対して位置付けられる、または配向される）、正確度または精度を向上させ得る。ある場合には、外科手術場面に対する検鏡の大域的位置または大域的配向は、慣性測定ユニットを使用して取得されてもよい。ある場合には、本開示のシステムおよび方法は、少なくとも部分的に、（ｉ）検鏡の大域的位置または大域的配向と、（ｉｉ）検鏡に関連する１つまたはそれを上回るツールの相対的位置または相対的配向とに基づいて、外科手術場面に対する１つまたはそれを上回るツールの大域的位置または大域的配向を検出するために使用されてもよい。ある場合には、本開示のシステムおよび方法は、少なくとも部分的に、（ｉ）検鏡の大域的位置または大域的配向、（ｉｉ）１つまたはそれを上回るツールの大域的位置または大域的配向、または（ｉｉｉ）検鏡に関連する１つまたはそれを上回るツールの相対的位置または相対的配向に基づいて、カメラ挿入の深度を決定するために使用されてもよい。ある場合には、本開示のシステムおよび方法は、少なくとも部分的に、（ｉ）検鏡の大域的位置または大域的配向、（ｉｉ）１つまたはそれを上回るツールの大域的位置または大域的配向、または（ｉｉｉ）検鏡に関連する１つまたはそれを上回るツールの相対的位置または相対的配向に基づいて、ツール挿入の深度を決定するために使用されてもよい。ある場合には、本開示のシステムおよび方法は、少なくとも部分的に、カメラまたはそれを通してカメラが挿入される検鏡ポートの位置または配向の推定または先験的知識に基づいて、カメラの撮像領域を予測するために使用されてもよい。

【0149】

ある場合には、１つまたはそれを上回る外科手術アプリケーションは、ツールと検鏡との間の距離をリアルタイムで測定することを含んでもよい。ある場合には、ツールと検鏡との間の距離は、少なくとも部分的に、第１のツールおよび検鏡の幾何学形状（例えば、サイズおよび／または形状）に基づいて測定されてもよい。ある場合には、ツールと検鏡との間の距離は、少なくとも部分的に、検鏡の相対的位置または相対的配向に基づいて測定されてもよい。ある場合には、本方法はさらに、ツールおよび／または検鏡の１つまたはそれを上回る縁を検出し、検鏡に対するツールの位置および配向を決定するステップを含んでもよい。ある場合には、本方法はさらに、ツールのツール先端の３次元位置および検鏡の先端の３次元位置を決定するステップを含んでもよい。ある場合には、本方法はさらに、検鏡ポートと術前画像を位置合わせし、ツールおよび検鏡の外科手術患者の身体内の１つまたはそれを上回る組織領域に対する位置および配向を決定するステップを含んでもよい。

【0150】

ある場合には、１つまたはそれを上回る外科手術アプリケーションは、１つまたはそれを上回るツールの１つまたはそれを上回る仮想表現を外科手術場面の術前画像内に表示することを含んでもよい。ある場合には、１つまたはそれを上回る外科手術アプリケーションは、１つまたはそれを上回る医療器具の１つまたはそれを上回る仮想表現を外科手術場面のライブ画像またはビデオ内に表示することを含んでもよい。

【0151】

ある場合には、１つまたはそれを上回る外科手術アプリケーションは、外科手術場面の画像またはビデオ内で可視である、医療器具の１つまたはそれを上回る寸法を決定することを含んでもよい。他の場合には、１つまたはそれを上回る外科手術アプリケーションは、外科手術場面の画像またはビデオ内で可視である、外科手術対象の重要構造の１つまたはそれを上回る寸法を決定することを含んでもよい。

【0152】

ある場合には、１つまたはそれを上回る外科手術アプリケーションは、灌流マップおよび画像外科手術場面の術前画像のオーバーレイを提供することを含んでもよい。ある場合には、１つまたはそれを上回る外科手術アプリケーションは、灌流マップおよび外科手術場面のライブ画像のオーバーレイを提供することを含んでもよい。ある場合には、１つまたはそれを上回る外科手術アプリケーションは、画像外科手術場面の術前画像と外科手術場面のライブ画像をオーバーレイする、または外科手術場面のライブ画像と外科手術場面の術前画像をオーバーレイすることを含んでもよい。オーバーレイは、ライブ外科手術手技の間に取得されている外科手術場面のライブ画像としてリアルタイムで提供されてもよい。

【0153】

ある場合には、１つまたはそれを上回る外科手術アプリケーションは、１つまたはそれを上回るライブ外科手術手技の１つまたはそれを上回るステップの間、仮想マーカのセットを提供し、医療オペレータを誘導することを含んでもよい。仮想マーカのセットは、切断を実施するべき場所、縫着パターン、外科手術手技を監視するために使用されているカメラを移動させるべき場所、および／または外科手術手技の１つまたはそれを上回るステップを最適に実施するために医療器具を位置付ける、配向する、または移動させるべき場所を示してもよい。

【0154】

検証

【0155】

いくつかの実施形態では、本方法はさらに、１つまたはそれを上回る注釈を受信するステップに先立って、複数のデータ入力を検証するステップを含んでもよい。複数のデータ入力を検証するステップは、複数のデータ入力をスコア化するステップと、所定の閾値を上回る第１のスコアのセットを伴う、複数のデータ入力の少なくとも第１のサブセットを留保するステップと、所定の閾値を下回る第２のスコアのセットを伴う、複数のデータ入力の少なくとも第２のサブセットを破棄するステップとを含んでもよい。

【0156】

ある場合には、本方法はさらに、医療モデルを訓練するステップに先立って、１つまたはそれを上回る注釈を検証するステップを含んでもよい。１つまたはそれを上回る注釈を検証するステップは、１つまたはそれを上回る注釈をスコア化するステップと、所定の閾値を上回る第１のスコアのセットを伴う、１つまたはそれを上回る注釈の少なくとも第１のサブセットを留保するステップと、所定の閾値を下回る第２のスコアのセットを伴う、１つまたはそれを上回る注釈の少なくとも第２のサブセットを破棄するステップとを含んでもよい。

【0157】

図１Ａは、医療データを処理するためのフロー図を図示する。複数のデータ入力１１０ａおよび１１０ｂが、クラウドプラットフォーム１２０にアップロードされてもよい。ある場合には、複数のデータ入力１１０ａおよび１１０ｂは、外科手術手技の外科手術ビデオを備えてもよい。複数のデータ入力１１０ａおよび１１０ｂは、医療デバイス、健康システム、保健医療設備、医師、外科医、保健医療作業者、医療アシスタント、科学者、エンジニア、医療デバイス専門家、または医療デバイス企業によって、クラウドプラットフォーム１２０にアップロードされてもよい。クラウドプラットフォーム１２０は、１人またはそれを上回るデータ注釈者によって、アクセスされてもよい。クラウドプラットフォーム１２０にアップロードされるデータ入力は、注釈のための１人またはそれを上回るデータ注釈者に提供されてもよい。１人またはそれを上回るデータ注釈者は、一般医クラウド注釈者１３０および／または専門医クラウド注釈者１４０を備えてもよい。一般医クラウド注釈者１３０および専門医クラウド注釈者１４０は、専門知識のレベルに基づいて、アップロードされたデータの異なるサブセットを受信してもよい。注釈タスクは、注釈者の専門知識のレベルに基づいて、割り当てられてもよい。例えば、一般医クラウド注釈者１３０は、非分野特有注釈を提供することが要求されてもよく、専門医クラウド注釈者は、分野特有注釈を提供することが要求されてもよい。一般医クラウド注釈者１３０によって発生された注釈は、精査および品質制御のために、専門医クラウド注釈者１４０に提供されてもよい。専門医クラウド注釈者１４０は、一般医クラウド注釈者１３０によって発生された注釈を精査してもよい。ある場合には、低品質注釈または不正確な注釈は、再注釈のために、一般医クラウド注釈者１３０に返されてもよい。

【0158】

上記に説明されるように、ある場合には、一般医クラウドデータ注釈者１３０は、クラウドプラットフォーム１２０上に記憶される複数のデータ入力に関する非分野特有注釈を提供してもよい。専門医クラウド注釈者１４０は、クラウドプラットフォーム１２０にアップロードされるデータおよび／または１人またはそれを上回るデータ注釈者１３０によって提供されるデータ注釈を照合してもよい。低品質データまたは低品質データ注釈は、本段階を通過し得ない。低品質注釈は、再注釈のために、１人またはそれを上回る一般医クラウドデータ注釈者１３０に返されてもよい。ある場合には、低品質注釈は、再注釈のために、１人またはそれを上回るデータ一般医クラウド注釈者１３０の中の注釈者の異なる群またはサブセットに返されてもよい。低品質データまたは注釈は、そのようなプロセスを通して、フィルタ除去されてもよい。ある場合には、一般医および専門医クラウドによって実施される精査以外にも、いくつかののレベルデータおよび／または注釈精査が存在してもよい。例えば、注釈者の３つまたはそれを上回る明確に異なる群による、３つまたはそれを上回るレベルのデータおよび／または注釈精査が存在してもよい。ある場合には、医療データは、１人またはそれを上回る注釈者によって、注釈が付けられてもよい。ある場合には、医療データは、複数の注釈者によって、注釈が付けられてもよい。いったんデータおよび／またはデータ注釈が、品質保証目的のために、照合される、または容認可能と見なされると、データおよび／または１つまたはそれを上回るデータ注釈は、データ分析１５０のために使用されてもよい。代替として、データおよび／または１つまたはそれを上回るデータ注釈は、１つまたはそれを上回る医療モデル１６０を発生および／または訓練するために使用されてもよい。１つまたはそれを上回る医療モデル１６０は、インターネットを通して、１つまたはそれを上回る医療デバイス１７０または医療システム１８０に展開されてもよい。１つまたはそれを上回る医療デバイス１７０または医療システム１８０は、１つまたはそれを上回る医療モデル１６０を実装し、医療手技またはそのような医療手技の１つまたはそれを上回る側面の分析のための人工知能（ＡＩ）決定サポートおよびガイダンスを提供するように構成されてもよい。ある場合には、１つまたはそれを上回る医療モデル１６０は、クラウドプラットフォーム１２０にアップロードされるデータに関する注釈を作成するように構成されてもよい。ある場合には、１つまたはそれを上回る医療モデル１６０は、一般医クラウド注釈者１３０および／または専門医クラウド注釈者１４０のための開始点として、１つまたはそれを上回る注釈を提供するように構成されてもよい。ある場合には、１つまたはそれを上回る医療モデル１６０は、一般医クラウド注釈者１３０および／または専門医クラウド注釈者１４０によって提供される１つまたはそれを上回る注釈を照合するように構成されてもよい。

【0159】

図１Ｂは、ユーザ、医療デバイス１７０、および／または医療システム１８０が、外科手術データを１つまたはそれを上回るサーバ（例えば、クラウドサーバ）にアップロードし、１つまたはそれを上回るアルゴリズムまたは医療モデル１６０を使用して、外科手術データを処理し、外科手術手技に関する種々の異なる洞察を発生または提供することを可能にする、外科手術ビデオ処理プラットフォーム１９０の実施例を図示する。１つまたはそれを上回るアルゴリズムまたは医療モデル１６０は、本明細書のいずれかの場所で説明されるように、注釈が付けられたデータを使用して開発および／または訓練されてもよい。注釈が付けられたデータは、本明細書に説明されるデータ注釈システムおよび方法のいずれかを使用して、発生されてもよい。１つまたはそれを上回るアルゴリズムまたは医療モデル１６０は、外科手術手技の間、術中意思決定を向上させ、サポート特徴（例えば、向上された画像処理能力またはライブデータ分析）を提供し、外科医を補助するために使用されてもよい。いくつかの実施形態では、外科手術ビデオ処理プラットフォーム１９０は、外科手術データ（例えば、画像、ビデオ、および／またはオーディオ）の調達、外科手術データの処理、および外科手術データからの洞察の抽出を促進し得る、クラウドベースの外科手術ビデオ処理システムを備えてもよい。

【0160】

いくつかの事例では、１つまたはそれを上回るアルゴリズムまたは医療モデル１６０は、医療デバイス１７０および／または医療システム１８０上でライブ実装されてもよい。そのような場合、医療デバイス１７０および／または医療システム１８０は、１つまたはそれを上回るアルゴリズムまたは医療モデル１６０を使用して、医療データ（例えば、外科手術画像または外科手術ビデオ）を処理または前処理するように構成されてもよい。そのような処理または前処理は、医療データが捕捉されるにつれて、リアルタイムで生じてもよい。他の事例では、１つまたはそれを上回るアルゴリズムまたは医療モデル１６０は、医療データが外科手術ビデオ処理プラットフォーム１９０にアップロードされた後、医療データを処理するために使用されてもよい。いくつかの代替実施形態では、第１の医療アルゴリズムまたはモデルのセットが、医療デバイス１７０および／または医療システム１８０上に実装されてもよく、第２の医療アルゴリズムまたはモデルのセットが、医療データが外科手術ビデオ処理プラットフォーム１９０にアップロードされた後、外科手術ビデオ処理プラットフォーム１９０のバックエンド上に実装されてもよい。医療データは、１つまたはそれを上回る医療洞察１９１を発生させるように処理されてもよく、これは、１人またはそれを上回るユーザに提供されてもよい。１人またはそれを上回るユーザは、例えば、外科手術手技を実施する、または外科手術手技を補助する、外科医または医師を備えてもよい。

【0161】

いくつかの実施形態では、外科手術ビデオ処理プラットフォーム１９０は、ウェブポータルを備えてもよい。ウェブポータルは、手術室と１つまたはそれを上回る医療アルゴリズムまたはモデル１６０との間のプラットフォームとして動作してもよい。本明細書のいずれかの場所に説明されるように、１つまたはそれを上回る医療アルゴリズムまたはモデル１６０は、医療注釈データを使用して訓練されてもよい。ユーザ（例えば、現在実施している、または以前に実施した、外科手術手技に関連する、付加的洞察１９１を閲覧することを所望する、医師または外科医）は、コンピューティングデバイス１９５を使用して、ウェブポータルビューにアクセスしてもよい。コンピューティングデバイス１９５は、コンピュータまたはモバイルデバイス（例えば、スマートフォンまたはタブレット）を備えてもよい。コンピュータデバイス１９５は、ユーザが１つまたはそれを上回る外科手術ビデオまたは外科手術ビデオに関する１つまたはそれを上回る洞察１９１を閲覧するためのディスプレイを備えてもよい。

【0162】

ある場合には、外科手術ビデオ処理プラットフォーム１９０は、１つまたはそれを上回る医療洞察を発生または導出するために処理され得る複数の外科手術ビデオを表示する、ユーザまたはウェブインターフェースを備えてもよい。ユーザまたはウェブインターフェースの実施例は、図１Ｃに図示される。複数の外科手術ビデオは、すでに完了された手技に関する外科手術ビデオまたは現在継続中の手技に関する外科手術ビデオを備えてもよい。ユーザは、ユーザまたはウェブインターフェースと相互作用し、種々の着目外科手術ビデオを選択してもよい。複数の外科手術ビデオは、手技タイプ、使用されるデバイス、オペレータ、および／または外科手術転帰別に編成されてもよい。

【0163】

データのアップロード

【0164】

外科手術ビデオは、外科手術ビデオ処理プラットフォーム１９０にアップロードされてもよい。外科手術ビデオは、直接、外科手術手技を実施または補助するために使用されている、１つまたはそれを上回る医療デバイス、器具、またはシステムからアップロードされてもよい。ある場合には、外科手術ビデオは、１つまたはそれを上回る医療デバイス、器具、またはシステムを使用して、捕捉されてもよい。外科手術ビデオは、外科手術ビデオ処理プラットフォーム１９０にアップロードされる前または後に、匿名化され、対象または患者のプライバシを保護してもよい。ある場合には、匿名化および非特定化されたデータは、本明細書のいずれかの場所で説明されるように、注釈のために、種々の注釈者に提供され、および／または種々の医療アルゴリズムまたはモデルを訓練するために使用されてもよい。ある場合には、非特定化は、医療データが、受信、取得、捕捉、または処理されるにつれて、リアルタイムで実施されてもよい。

【0165】

ある場合には、外科手術データまたは外科手術ビデオは、１つまたはそれを上回る医療デバイス、器具、またはシステムによって、自動的にアップロードされてもよい。１つまたはそれを上回る医療デバイス、器具、またはシステムは、外科手術ビデオ処理プラットフォーム１９０と接続し、データを外科手術ビデオ処理プラットフォーム１９０に送信する、またはそこから受信するために、登録、検証、プロビジョニング、および／または認可される必要があり得る。

【0166】

ある場合には、１つまたはそれを上回る医療デバイス、器具、またはシステムは、デバイス製造業者、その中で外科手術手技が実施されている、保健医療設備、外科手術手技を実施する、医師または外科医、または保健医療設備の任意の他の医療作業者によって作成または管理される、ホワイトリストに基づいて、登録されてもよい。医療デバイス、器具、またはシステムは、デバイス、器具、またはシステムを照合および検証し、デバイスプロビジョニングサービスとの登録を促進するために使用され得る、関連付けられる識別子を有してもよい。ある場合には、デバイス、器具、またはシステムは、自動登録を実施するように構成されてもよい。

【0167】

ある場合には、１つまたはそれを上回る医療デバイス、器具、またはシステムは、プロビジョニングされてもよい（すなわち、本デバイスプロビジョニングサービスに検知される）。さらに、１つまたはそれを上回る医療デバイス、器具、またはシステムは、指定されたハブに割り当てられ、および／またはハブまたは直接外科手術ビデオ処理プラットフォーム１９０と通信することが認可されてもよい。ある場合には、指定されたハブは、外科手術ビデオ処理プラットフォーム１９０のビデオ処理システムと１つまたはそれを上回る医療デバイス、器具、またはシステムとの間の通信またはデータ転送を促進するために使用されてもよい。いったん検知および認可されると、１つまたはそれを上回る医療デバイス、器具、またはシステムは、ハブを介して、医療データおよび／または外科手術ビデオをビデオ処理システムに自動的にアップロードするように構成されてもよい。

【0168】

代替として、外科手術データまたは外科手術ビデオは、ユーザ（例えば、医師または外科医）によって手動でアップロードされてもよい。図１Ｇは、外科手術データを手動でアップロードするためのユーザインターフェースの実施例を示す。ユーザインターフェースは、アップローダが、外科手術ビデオ内で捕捉された外科手術データまたは外科手術手技に対応する、付加的コンテキストデータを提供することを可能にしてもよい。付加的コンテキストデータは、例えば、手技名、手技タイプ、外科医名、外科医ＩＤ、手技日、患者と関連付けられる医療情報、または外科手術手技に関連する任意の他の情報を備えてもよい。付加的コンテキストデータは、１つまたはそれを上回るユーザ提供入力の形態において提供されてもよい。代替として、付加的コンテキストデータは、１つまたはそれを上回る医療または外科手術手技、および／または医療または外科手術手技を受けた、または医療または外科手術手技を受けるであろう、１つまたはそれを上回る患者または医療対象と関連付けられる、１つまたはそれを上回る電子医療記録から提供または導出されてもよい。外科手術ビデオ処理プラットフォーム１９０は、アップローダによって提供される１つまたはそれを上回る入力に基づいて、外科手術データまたは外科手術ビデオを処理または後処理するために使用すべき医療アルゴリズムまたはモデルを決定するように構成されてもよい。

【0169】

医療洞察

【0170】

外科手術ビデオは、１つまたはそれを上回る洞察を発生させるように処理されてもよい。ある場合には、外科手術ビデオは、外科手術ビデオ処理プラットフォーム１９０にアップロードされる前に、医療デバイス、器具、またはシステム上で処理されてもよい。他の場合には、外科手術ビデオは、外科手術ビデオ処理プラットフォーム１９０にアップロードされた後、処理されてもよい。外科手術ビデオを処理するステップは、１つまたはそれを上回る医療アルゴリズムまたはモデル１６０を外科手術ビデオに適用し、外科手術ビデオ内の医療データの１つまたはそれを上回る特徴、パターン、または属性を決定するステップを含んでもよい。ある場合には、医療データは、医療データの特徴、パターン、または属性に基づいて、分類、区画化、またはさらに分析されてもよい。医療アルゴリズムまたはモデル１６０は、外科手術ビデオ内の医療データと他の参照外科手術ビデオと関連付けられる医療データの比較に基づいて、外科手術ビデオを処理するように構成されてもよい。他の参照外科手術ビデオは、他の類似手技に関する外科手術ビデオに対応し得る。ある場合には、参照外科手術ビデオは、種々の医療専門医および／または専門家によって提供される、１つまたはそれを上回る注釈を備えてもよい。

【0171】

ある場合には、医療アルゴリズムまたはモデルは、医療データまたは外科手術ビデオが捕捉されるにつれて、リアルタイムで実装されてもよい。ある場合には、医療アルゴリズムまたはモデルは、医療データまたは外科手術ビデオを捕捉する、ツール、デバイス、またはシステム上でライブ実装されてもよい。他の場合には、医療アルゴリズムまたはモデルは、医療データまたは外科手術ビデオがウェブプラットフォームにアップロードされた後、外科手術ビデオ処理プラットフォーム１９０のバックエンド上に実装されてもよい。ある場合には、医療データまたは外科手術ビデオは、ツール、デバイス、またはシステム上で前処理され、アップロードされた後、バックエンド内で後処理されてもよい。そのような後処理は、前処理位相の間に発生された１つまたはそれを上回る出力または関連付けられるデータセットに基づいて実施されてもよい。

【0172】

ある場合には、医療アルゴリズムまたはモデルは、注釈が付けられたデータを使用して訓練されてもよい。他の場合には、医療アルゴリズムまたはモデルは、注釈が付けられていないデータを使用して訓練されてもよい。いくつかの実施形態では、医療アルゴリズムまたはモデルは、注釈が付けられたデータと注釈が付けられていないデータの組み合わせを使用して訓練されてもよい。ある場合には、医療アルゴリズムまたはモデルは、教師あり学習および／または教師なし学習を使用して訓練されてもよい。他の場合には、医療アルゴリズムまたはモデルは、訓練されなくてもよい、またはその必要はない。外科手術ビデオに関して発生された洞察は、注釈が付けられたデータを使用して訓練されている、医療アルゴリズムまたはモデルを使用して、発生されてもよい。代替として、外科手術ビデオに関して発生された洞察は、注釈が付けられたデータを使用して訓練されていない、または訓練を要求しない、医療アルゴリズムまたはモデルを使用して、発生されてもよい。

【0173】

ある場合には、医療アルゴリズムまたはモデルは、組織追跡のためのアルゴリズムまたはモデルを備えてもよい。組織追跡は、外科手術場面内の組織の移動または変形を追跡するステップを含んでもよい。ある場合には、アルゴリズムまたはモデルは、立体画像、ＲＧＢデータ、ＲＧＢ－Ｄ画像データ、または飛行時間データからの深度情報を提供するために使用されてもよい。ある場合には、アルゴリズムまたはモデルは、医療データまたは患者データの非特定化を実施するために実装されてもよい。ある場合には、アルゴリズムまたはモデルは、ツール区画化、外科手術の位相に対する内訳、臨界ビュー検出、組織構造区画化、および／または特徴検出を実施するために使用されてもよい。ある場合には、アルゴリズムまたはモデルは、外科手術場面内またはその近傍の１つまたはそれを上回るツール、外科手術位相、特徴（例えば、生物学的、解剖学的、生理学的、または形態学的特徴）、臨界ビュー、またはツールまたは組織の移動の検出に基づいて、ライブガイダンスを提供してもよい。ある場合には、アルゴリズムまたはモデルは、外科医が外科手術タスクをそのような構造の近傍で実施するにつれて、ある構造の場所を識別および／または追跡してもよい。ある場合には、アルゴリズムまたはモデルは、シミュレーションおよび／または外挿のために、合成データ、例えば、合成ＩＣＧ画像を発生させるために使用されてもよい。ある場合には、アルゴリズムまたはモデルは、画質査定のために使用されてもよい（例えば、運動または撮像パラメータに起因する画像ぼけ）。ある場合には、アルゴリズムまたはモデルは、１つまたはそれを上回る外科手術推論を提供するために使用されてもよい（例えば、組織が生きているかどうか、切断すべき場所等）。

【0174】

ある場合には、洞察は、外科手術手技のタイムラインを備えてもよい。タイムラインは、図１Ｄに示されるように、外科手術ステップまたは外科手術位相別の外科手術手技の時間的内訳を備えてもよい。時間的内訳は、異なる外科手術ステップまたは位相のための色コーディングを備えてもよい。ユーザは、タイムラインと相互作用し、１つまたはそれを上回る着目外科手術位相を閲覧またはスキップしてもよい。ある場合には、タイムラインは、ある撮像モダリティがオンまたはオフにされたときに対応する、１つまたはそれを上回るタイムスタンプを備えてもよい。タイムスタンプは、外科手術ビデオを捕捉するデバイスによって提供されてもよい、または１つまたはそれを上回る後処理方法を使用して発生されてもよい（例えば、１つまたはそれを上回る医療アルゴリズムまたはモデルを使用して、医療データまたは外科手術ビデオを処理することによって）。ある場合には、タイムスタンプは、ユーザによって手動でマークされてもよい。例えば、ユーザは、入力デバイス（例えば、マウス、タッチパッド、スタイラス、またはタッチスクリーン）を使用して、１つまたはそれを上回るタイムスタンプをマークしてもよい。ある場合には、ユーザは、外科手術ビデオデータを観察する間、入力（例えば、タッチ、クリック、タップ等）を提供し、１つまたはそれを上回る着目時点を指定してもよい。ある場合には、１つまたはそれを上回るアルゴリズムが、入力を認識し、それらを１つまたはそれを上回るタイムスタンプに変換するために使用されてもよい。

【0175】

ある場合には、洞察は、洞察バーを備えてもよい。洞察バーは、安全性の臨界ビューが達成されるときを示す、リンク、タイムスタンプ、または標識された窓または時点を備えてもよい。ユーザは、種々のリンク、タイムスタンプ、および／または標識された窓または時点と相互作用し、臨界ビューに対応する、外科手術ビデオの１つまたはそれを上回る部分を閲覧してもよい。

【0176】

ある場合には、洞察は、画像またはビデオオーバーレイまたは異なる撮像モダリティに対応する付加的ビデオデータを用いて、拡張された可視化を備えてもよい。図１Ｅに示されるように、プラットフォームは、ユーザに、種々のタイプの画像処理を選択し、閲覧するための種々のタイプの撮像モダリティまたはビデオオーバーレイを選択するためのオプションを提供してもよい。いくつかの実施例では、撮像モダリティは、例えば、ＲＧＢ撮像、レーザスペックル撮像、飛行時間深度撮像、ＩＣＧ蛍光撮像、組織自己蛍光撮像、または所定の波長範囲を使用する任意の他のタイプの撮像を備えてもよい。ビデオオーバーレイは、ある場合には、灌流ビューおよび／またはＩＣＧ蛍光ビューを備えてもよい。そのようなビデオオーバーレイは、リアルタイムで実施されてもよい、または本明細書のいずれかの場所で説明される、１つまたはそれを上回る医療アルゴリズムまたはモデルを使用して外科手術ビデオが前処理された後に、実装されてもよい。ある場合には、アルゴリズムまたはモデルは、ビデオ上で起動されてもよく、処理されたビデオデータは、保存されてもよく、処理されたビデオデータに対応する、オーバーレイは、次いで、ユーザが、外科手術ビデオ処理プラットフォーム１９０によって提供される１つまたはそれを上回る双方向ユーザインターフェース要素（例えば、ボタンまたはトグル）を使用して、オーバーレイをトグルすると、ライブで実施されてもよい。種々のタイプの撮像モダリティおよび対応する視覚的オーバーレイが、ユーザによって、所望に応じて、オンおよびオフにトグルされてもよい（例えば、ボタンまたはトグルをクリックすることによって）。ある場合には、１つまたはそれを上回る処理されたビデオは、保存されてもよく（例えば、ローカル記憶装置またはクラウド記憶装置）、ユーザは、１つまたはそれを上回る処理されたビデオ間でトグルしてもよい。例えば、外科手術ビデオは、処理され、第１の撮像モダリティに対応する、第１の処理されたビデオと、第２の撮像モダリティに対応する、第２の処理されたビデオとを発生させてもよい。ユーザは、外科手術手技の第１の部分に関する第１の処理されたビデオを閲覧し、外科手術手技の第２の部分に関する第２の処理されたビデオにスイッチまたはトグルしてもよい。

【0177】

ある場合には、洞察は、図１Ｆに示されるようなツール区画化を含んでもよい。ツール区画化は、ユーザが、外科手術手技の１つまたはそれを上回るステップを実施するために使用されている、ツールを閲覧および追跡することを可能にする。ツールの追跡は、視覚的および／またはコンピュータ的に実施されてもよい（すなわち、３次元空間内のツールの座標が、追跡されてもよい、またはツールの位置および／または配向が、検鏡に対して、または外科手術場面内の１つまたはそれを上回る組織領域に対して、追跡されてもよい）。

【0178】

図２は、医療データに注釈を付けるためのフロー図を図示する。複数のデータソース２１０が、活用され、複数のデータ入力２２０を発生および／またはコンパイルしてもよい。複数のデータソース２１０は、医療デバイス、医療設備、外科医、および／または医療デバイス企業を備えてもよい。複数のデータ入力２２０は、２次元（２Ｄ）ビデオ、ロボットデータ、１つまたはそれを上回る医療画像と関連付けられる、深度情報等の３次元（３Ｄ）データ、超音波データ、蛍光データ、ハイパースペクトルデータ、および／または１人またはそれを上回る医療患者または外科手術対象と関連付けられる、術前情報を備えてもよい。複数のデータ入力２２０は、１つまたはそれを上回る手技２３０と関連付けられてもよい。１つまたはそれを上回る手技２３０は、例えば、本明細書のいずれかの場所で説明されるように、結腸切除術、胃スリーブ外科手術、ヘルニアを治療または修復するための外科手術手技、または任意の他のタイプの外科手術手技を備えてもよい。複数のデータ入力は、クラウドデータプラットフォーム２４０に提供されてもよい。クラウドデータプラットフォーム２４０は、複数のデータ入力２２０を記憶するためのクラウドベースのデータ記憶装置を備えてもよい。クラウドデータプラットフォーム２４０は、１人またはそれを上回るデータ注釈者２５０に、注釈ツールへのアクセスを提供するように構成されてもよい。１人またはそれを上回るデータ注釈者２５０は、外科医、看護士、学生、医療研究者、および／またはクラウドソーシングに基づく注釈のためにクラウドサーバまたはプラットフォームへのアクセスを伴う、任意のエンドユーザを備えてもよい。注釈ツールは、複数のデータ入力２２０に注釈を付け、および／または標識し、標識または注釈が付けられたデータ２６０を発生させるために使用されてもよい。注釈ツールは、注釈が付けられたデータ２６０を発生させるために、１つまたはそれを上回るデータ注釈アルゴリズムを用いて、複数のデータ入力２２０に注釈を付け、および／または標識するために使用されてもよい。注釈が付けられたデータ２６０は、医療患者または外科手術対象の解剖学的構造、手続型理解、ツール情報、および／またはカメラ移動と関連付けられる、標識されたデータを備えてもよい。注釈が付けられたデータ２６０は、人工知能（ＡＩ）または機械学習（ＭＬ）アプリケーションプログラムインターフェース２７０に提供され、本明細書のいずれかの場所で説明されるように、１つまたはそれを上回る医療モデルを発生させてもよい。

【0179】

図３は、医療データを処理するための例示的方法を図示する。本方法は、（ａ）（ｉ）少なくとも１人の医療患者または（ｉｉ）少なくとも１つの外科手術手技と関連付けられる、複数のデータ入力を受信するステップを含む、ステップ３１０を含んでもよい。本方法は、（ｂ）複数のデータ入力の少なくともサブセットに関する１つまたはそれを上回る注釈を受信するステップを含む、別のステップ３２０を含んでもよい。本方法は、（ｃ）（ｉ）１つまたはそれを上回る注釈および（ｉｉ）複数のデータ入力の１つまたはそれを上回るデータ入力を使用して、注釈が付けられたデータセットを発生させるステップを含む、別のステップ３３０を含んでもよい。本方法は、（ｄ）注釈が付けられたデータセットを使用して、（ｉ）複数のデータ入力に関するデータ分析を実施するステップ、（ｉｉ）１つまたはそれを上回る医療訓練ツールを開発するステップ、または（ｉｉｉ）１つまたはそれを上回る医療モデルを訓練するステップを含む、別のステップ３４０を含んでもよい。

【0180】

図４Ａは、外科手術手技の間、外科手術場面４０１から捕捉され得る、外科手術ビデオを図示する。外科手術ビデオは、複数の外科手術ツール４１０ａおよび４１０ｂの可視化を備えてもよい。図４Ｂに示されるように、本明細書のいずれかの場所に説明される１つまたはそれを上回る医療モデルが、１つまたはそれを上回る医療ツール４１０ａおよび４１０ｂの１つまたはそれを上回るツール縁４１１ａおよび４１１ｂを検出するために使用されてもよい。

【0181】

図５Ａは、検鏡４２０の外科手術場面に対する位置および配向を図示する。検鏡４２０の外科手術場面に対する位置および配向は、図４Ａおよび図４Ｂに図示される、外科手術ビデオから導出されてもよい。検鏡４２０の外科手術場面に対する位置および配向は、慣性測定ユニットを使用して導出されてもよい。図５Ｂに示されるように、外科手術ツール４１０ａおよび４１０ｂの検鏡４２０に対する位置および配向はまた、部分的に、図４Ｂに図示される検出されたツール縁４１１ａおよび４１１ｂに基づいて、導出されてもよい。

【0182】

図６Ａは、外科手術場面の外科手術ビデオ内で検出された複数のツール先端４１２ａおよび４１２ｂを図示する。複数のツール先端４１２ａおよび４１２ｂは、図４Ａおよび図４Ｂに図示される、複数の医療ツールと関連付けられてもよい。図６Ｂに示されるように、ツール先端４１２ａおよび４１２ｂの位置は、検出されたツール縁と複数の外科手術ツールの既知の直径との組み合わせにおいて、ツール先端４１２ａおよび４１２ｂの検鏡４２０に対する３次元（３Ｄ）位置を推定するために使用されてもよい。ツール先端４１２ａおよび４１２ｂの位置は、検出されたツール縁と複数の外科手術ツールの既知の直径との組み合わせにおいて、検鏡４２０と１つまたはそれを上回る医療ツール４１０ａおよび４１０ｂとの間の距離４３１および４３２を推定するために使用されてもよい。ある場合には、ツール先端４１２ａおよび４１２ｂの位置は、検出されたツール縁と複数の外科手術ツールの既知の直径との組み合わせにおいて、１つまたはそれを上回る医療ツール４１０ａおよび４１０ｂのツール先端４１２ａと４１２ｂとの間の距離４３３を推定するために使用されてもよい。図７は、１つまたはそれを上回る医療ツール間の先端間距離４３３と、検鏡と１つまたはそれを上回る医療ツールとの間の先端／検鏡間距離４３１および４３２とを示す、外科手術場面の拡張現実ビューを図示する。１つまたはそれを上回る医療ツール間の先端間距離４３３および検鏡と１つまたはそれを上回る医療ツールとの間の先端／検鏡間距離４３１および４３２は、外科手術場面の外科手術ビデオが捕捉または取得されるにつれて、リアルタイムで算出および／または更新されてもよい。

【0183】

図８Ａおよび図８Ｂに示されるように、ある場合には、検鏡４２０と関連付けられる検鏡ポートは、患者のＣＴ撮像に位置合わせされ、患者の内側の１つまたはそれを上回る医療ツール４１０ａおよび４１０ｂの１つまたはそれを上回る仮想ビューを提供してもよい。患者の内側の１つまたはそれを上回る医療ツール４１０ａおよび４１０ｂの１つまたはそれを上回る仮想ビューは、外科手術場面の外科手術ビデオが捕捉または取得されるにつれて、リアルタイムで算出および／または更新されてもよい。

【0184】

図９Ａは、患者の組織領域の外科手術ビデオを図示する。図９Ｂに示されるように、本明細書に説明される１つまたはそれを上回る医療モデルは、医療撮像システム上に実装され、患者の組織領域と関連付けられるＲＧＢおよび灌流データを提供してもよい。医療撮像システム上に実装される１つまたはそれを上回る医療モデルは、組織領域内の高流量面積の可視化を提供してもよく、組織領域の外科手術ビデオが捕捉または取得されるにつれて、リアルタイムで組織生存率を示してもよい。

【0185】

図１０Ａは、医療患者または外科手術対象の組織領域の外科手術ビデオを図示する。図１０Ｂは、医療患者または外科手術対象の組織領域の外科手術ビデオに関する１人またはそれを上回る注釈者によって提供される１つまたはそれを上回る注釈１０１０ａおよび１０１０ｂに基づいて発生され得る、注釈が付けられたデータを図示する。１つまたはそれを上回る注釈１０１０ａおよび１０１０ｂは、対象の組織領域の外科手術ビデオ上にオーバーレイされてもよい。本明細書に説明される１つまたはそれを上回る医療モデルは、外科手術オペレータに、図１０Ｃに示されるように、切断すべき場所を示す、仮想マーキング１０２０等の拡張された視覚的および外科手術ガイダンスのリアルタイムディスプレイを提供するように実装されてもよい。

【0186】

本開示の別の側面は、１つまたはそれを上回るコンピュータプロセッサによる実行に応じて、上記もしくは本明細書の別の場所の方法のうちのいずれかを実装する、機械実行可能コードを備える、非一過性コンピュータ可読媒体を提供する。

【0187】

本開示の別の側面は、１つまたはそれを上回るコンピュータプロセッサと、それに結合されるコンピュータメモリとを備える、システムを提供する。コンピュータメモリは、１つまたはそれを上回るコンピュータプロセッサによる実行に応じて、上記もしくは本明細書の別の場所の方法のうちのいずれかを実装する、機械実行可能コードを備える。
コンピュータシステム

【0188】

別の側面では、本開示は、本開示の方法、例えば、医療データを処理するための本主題の方法のいずれかを実装するようにプログラムまたは別様に構成される、コンピュータシステムを提供する。図１１は、医療データを処理するための方法を実装するようにプログラムまたは別様に構成される、コンピュータシステム２００１を示す。コンピュータシステム２００１は、例えば、（ａ）（ｉ）少なくとも１人の医療患者または（ｉｉ）少なくとも１つの外科手術手技と関連付けられる、複数のデータ入力を受信し、（ｂ）複数のデータ入力の少なくともサブセットに関する１つまたはそれを上回る注釈を受信し、（ｃ）（ｉ）１つまたはそれを上回る注釈および（ｉｉ）複数のデータ入力の１つまたはそれを上回るデータ入力を使用して、注釈が付けられたデータセットを発生させ、（ｄ）注釈が付けられたデータセットを使用して、（ｉ）複数のデータ入力に関するデータ分析を実施する、（ｉｉ）１つまたはそれを上回る医療訓練ツールを開発する、または（ｉｉｉ）１つまたはそれを上回る医療モデルを訓練するように構成されてもよい。コンピュータシステム２００１は、ユーザの電子デバイスまたは電子デバイスに対して遠隔で位置するコンピュータシステムであり得る。電子デバイスは、モバイル電子デバイスであり得る。

【0189】

コンピュータシステム２００１は、シングルコアまたはマルチコアプロセッサ、もしくは並列処理のための複数のプロセッサであり得る、中央処理ユニット（ＣＰＵ、また、本明細書では、「プロセッサ」および「コンピュータプロセッサ」）２００５を含んでもよい。コンピュータシステム２００１はまた、メモリまたはメモリ場所２０１０（例えば、ランダムアクセスメモリ、読取専用メモリ、フラッシュメモリ）と、電子記憶ユニット２０１５（例えば、ハードディスク）と、１つまたはそれを上回る他のシステムと通信するための通信インターフェース２０２０（例えば、ネットワークアダプタ）と、キャッシュ、他のメモリ、データ記憶装置、および／または電子ディスプレイアダプタ等の周辺デバイス２０２５とを含む。メモリ２０１０、記憶ユニット２０１５、インターフェース２０２０、および周辺デバイス２０２５は、マザーボード等の通信バス（実線）を通してＣＰＵ２００５と通信する。記憶ユニット２０１５は、データを記憶するためのデータ記憶ユニット（またはデータリポジトリ）であり得る。コンピュータシステム２００１は、通信インターフェース２０２０を用いてコンピュータネットワーク（「ネットワーク」）２０３０に動作的に結合されることができる。ネットワーク２０３０は、インターネット、イントラネット、および／またはエクストラネット、もしくはインターネットと通信するイントラネットおよび／またはエクストラネットであり得る。ネットワーク２０３０は、ある場合には、電気通信および／またはデータネットワークである。ネットワーク２０３０は、クラウドコンピューティング等の分散コンピューティングを可能にし得る、１つまたはそれを上回るコンピュータサーバを含むことができる。ネットワーク２０３０は、ある場合には、コンピュータシステム２００１を用いて、コンピュータシステム２００１に結合されるデバイスが、クライアントまたはサーバとして挙動することを可能にし得る、ピアツーピアネットワークを実装することができる。

【0190】

ＣＰＵ２００５は、プログラムまたはソフトウェアにおいて具現化され得る、機械可読命令のシーケンスを実行することができる。命令は、メモリ２０１０等のメモリ場所内に記憶されてもよい。命令は、ＣＰＵ２００５にダイレクトされることができ、これは、続けて、本開示の方法を実装するようにＣＰＵ２００５をプログラムまたは別様に構成することができる。ＣＰＵ２００５によって実施される動作の実施例は、フェッチ、デコード、実行、およびライトバックを含むことができる。

【0191】

ＣＰＵ２００５は、集積回路等の回路の一部であり得る。システム２００１の１つまたはそれを上回る他のコンポーネントが、回路内に含まれることができる。ある場合には、回路は、特定用途向け集積回路（ＡＳＩＣ）である。

【0192】

記憶ユニット２０１５は、ドライバ、ライブラリ、および保存されたプログラム等のファイルを記憶することができる。記憶ユニット２０１５は、ユーザデータ、例えば、ユーザ選好およびユーザプログラムを記憶することができる。コンピュータシステム２００１は、ある場合には、コンピュータシステム２００１の外部に（例えば、イントラネットもしくはインターネットを通してコンピュータシステム２００１と通信する遠隔サーバ上に）位置する、１つまたはそれを上回る付加的データ記憶ユニットを含むことができる。

【0193】

コンピュータシステム２００１は、ネットワーク２０３０を通して１つまたはそれを上回る遠隔コンピュータシステムと通信することができる。例えば、コンピュータシステム２００１は、ユーザ（例えば、医療提供者、医師、外科医、医療アシスタント等）の遠隔コンピュータシステムと通信することができる。遠隔コンピュータシステムの実施例は、パーソナルコンピュータ（例えば、ポータブルＰＣ）、スレートまたはタブレットＰＣ（例えば、Ａｐｐｌｅ（登録商標） ｉＰａｄ（登録商標）、Ｓａｍｓｕｎｇ（登録商標） Ｇａｌａｘｙ Ｔａｂ）、電話、スマートフォン（例えば、Ａｐｐｌｅ（登録商標） ｉＰｈｏｎｅ（登録商標）、Ａｎｄｒｏｉｄ（登録商標）対応デバイス、Ｂｌａｃｋｂｅｒｒｙ（登録商標））、もしくは携帯情報端末を含む。ユーザは、ネットワーク２０３０を介してコンピュータシステム２００１にアクセスすることができる。

【0194】

本明細書に説明されるような方法は、例えば、メモリ２０１０または電子記憶ユニット２０１５上等のコンピュータシステム２００１の電子記憶場所上に記憶される、機械（例えば、コンピュータプロセッサ）実行可能コードを用いて実装されることができる。機械実行可能または機械可読コードは、ソフトウェアの形態において提供されることができる。使用の間、コードは、プロセッサ２００５によって実行されることができる。ある場合には、コードは、記憶ユニット２０１５から読み出され、プロセッサ２００５による迅速なアクセスのためにメモリ２０１０上に記憶されることができる。いくつかの状況では、電子記憶ユニット２０１５は、除外されることができ、機械実行可能命令は、メモリ２０１０上に記憶される。

【0195】

コードは、事前コンパイルされ、コードを実行するように適合されるプロセッサを有する機械との併用のために構成されることができる、またはランタイムの間にコンパイルされることができる。コードは、コードが事前コンパイルまたはアズコンパイルされた方式で実行されることを可能にするように選択され得る、プログラミング言語で供給されることができる。

【0196】

コンピュータシステム２００１等の本明細書に提供されるシステムおよび方法の側面は、プログラミングにおいて具現化されることができる。本技術の種々の側面は、典型的には、あるタイプの機械可読媒体上で搬送される、またはそれにおいて具現化される機械（もしくはプロセッサ）実行可能コードおよび／または関連付けられるデータの形態における「製品」もしくは「製造品」と考えられ得る。機械実行可能コードは、メモリ（例えば、読取専用メモリ、ランダムアクセスメモリ、フラッシュメモリ）またはハードディスク等の電子記憶ユニット上に記憶されることができる。「記憶」タイプ媒体は、ソフトウェアプログラミングのために任意の時点で非一過性記憶を提供し得る、コンピュータ、プロセッサ、または同等物の有形メモリ、もしくは種々の半導体メモリ、テープドライブ、ディスクドライブ、および同等物等のその関連付けられるモジュールのうちのいずれかまたは全てを含むことができる。ソフトウェアの全てまたは一部は、随時、インターネットまたは種々の他の電気通信ネットワークを通して通信されてもよい。そのような通信は、例えば、１つのコンピュータまたはプロセッサから別のものへの、例えば、管理サーバまたはホストコンピュータからアプリケーションサーバのコンピュータプラットフォームへのソフトウェアのロードを可能にし得る。したがって、ソフトウェア要素を搭載し得る別のタイプの媒体は、ローカルデバイスの間の物理的インターフェースを横断して、有線および光学固定ネットワークを通して、ならびに種々のエアリンクを経由して使用される等、光学、電気、および電磁波を含む。有線または無線リンク、光学リンク、もしくは同等物等のそのような波を搬送する物理的要素はまた、ソフトウェアを搭載する媒体と見なされてもよい。本明細書に使用されるように、非一過性有形「記憶」媒体に制限されない限り、コンピュータまたは機械「可読媒体」等の用語は、実行のためにプロセッサに命令を提供することに関与する任意の媒体を指す。

【0197】

故に、コンピュータ実行可能コード等の機械可読媒体は、限定ではないが、有形記憶媒体、搬送波媒体、または物理的伝送媒体を含む、多くの形態をとってもよい。例えば、光学または磁気ディスク、もしくは任意のコンピュータまたは同等物内の任意の記憶デバイスを含む、不揮発性記憶媒体が、図面に示されるデータベース等を実装するために使用されてもよい。揮発性記憶媒体は、そのようなコンピュータプラットフォームの主要メモリ等のダイナミックメモリを含む。有形伝送媒体は、同軸ケーブル、すなわち、コンピュータシステム内のバスを構成するワイヤを含む、銅ワイヤおよび光ファイバを含む。搬送波伝送媒体は、電気または電磁信号、もしくは無線周波数（ＲＦ）および赤外線（ＩＲ）データ通信の間に発生されるもの等の音響または光波の形態をとってもよい。コンピュータ可読媒体の一般的な形態は、したがって、例えば、フロッピー（登録商標）ディスク、フレキシブルディスク、ハードディスク、磁気テープ、任意の他の磁気媒体、ＣＤ－ＲＯＭ、ＤＶＤまたはＤＶＤ－ＲＯＭ、任意の他の光学媒体、パンチカード、紙テープ、孔のパターンを伴う任意の他の物理的記憶媒体、ＲＡＭ、ＲＯＭ、ＰＲＯＭおよびＥＰＲＯＭ、ＦＬＡＳＨ－ＥＰＲＯＭ、任意の他のメモリチップまたはカートリッジ、データまたは命令を転送する搬送波、そのような搬送波を転送するケーブルまたはリンク、もしくはそれからコンピュータがプログラミングコードおよび／またはデータを読み取り得る任意の他の媒体を含む。コンピュータ可読媒体のこれらの形態のうちの多くは、１つまたはそれを上回る命令の１つまたはそれを上回るシーケンスを実行のためにプロセッサに搬送することに関与してもよい。

【0198】

コンピュータシステム２００１は、例えば、外科手術オペレータが、本明細書に説明される１つまたはそれを上回る医療モデルを使用して発生される、拡張された可視化を使用して、外科手術場面の１つまたはそれを上回る部分を閲覧するためのポータルを提供するためのユーザインターフェース（ＵＩ）２０４０を備える、電子ディスプレイ２０３５を含む、またはそれと通信することができる。ポータルは、アプリケーションプログラミングインターフェース（ＡＰＩ）を通して提供されてもよい。ユーザまたはエンティティはまた、ＵＩを介してポータル内の種々の要素と相互作用することができる。ＵＩの実施例は、限定ではないが、グラフィカルユーザインターフェース（ＧＵＩ）およびウェブベースのユーザインターフェースを含む。

【0199】

本開示の方法およびシステムは、１つまたはそれを上回るアルゴリズムを用いて実装されることができる。アルゴリズムは、中央処理ユニット２００５による実行に応じて、ソフトウェアを用いて実装されることができる。アルゴリズムは、（ａ）（ｉ）少なくとも１人の医療患者または（ｉｉ）少なくとも１つの外科手術手技と関連付けられる、複数のデータ入力を受信し、（ｂ）複数のデータ入力の少なくともサブセットに関する１つまたはそれを上回る注釈を受信し、（ｃ）（ｉ）１つまたはそれを上回る注釈および（ｉｉ）複数のデータ入力の１つまたはそれを上回るデータ入力を使用して、注釈が付けられたデータセットを発生させ、（ｄ）注釈が付けられたデータセットを使用して、（ｉ）複数のデータ入力に関するデータ分析を実施する、（ｉｉ）１つまたはそれを上回る医療訓練ツールを開発する、または（ｉｉｉ）１つまたはそれを上回る医療モデルを訓練するように構成されてもよい。

【0200】

仮想外科手術アシスタント

【0201】

別の側面では、本開示は、仮想外科手術補助を提供するためのシステムおよび方法を提供する。１つまたはそれを上回る仮想外科手術アシスタントが、仮想外科手術補助を提供するために使用されてもよい。仮想外科手術アシスタントは、世界中の著名な専門家からの外科手術または医療知識を集約し、集約された外科手術または医療知識を手術室の中に送達するように構成される、人工知能または機械学習ベースのエンティティであってもよい。知識は、専門家注釈と組み合わせられた外科手術ビデオデータおよび電子医療記録データ等の種々の情報源に基づいて構築されることができる。仮想外科手術アシスタントは、医療手技の前、間、および／または後に、有用な洞察を外科医および外科手術スタッフにリアルタイムで送達するように構成されてもよい。そのような洞察は、タイムリーな様式において、高信頼度および正確度を伴って、効果的臨床サポートを提供するために送達されてもよい。ある場合には、仮想外科手術アシスタントは、本明細書のいずれかの場所で説明されるように、１つまたはそれを上回る医療アルゴリズムまたは医療モデルを使用して実装されてもよい。

【0202】

ある場合には、仮想外科手術アシスタントは、外科手術手技に関する高度な可視化データを手術室内に位置する画面またはディスプレイ上に提供してもよい。仮想外科手術アシスタントは、協働ロボットのために、またはヒトオペレータとロボットシステム（例えば、１つまたはそれを上回る医療または外科手術手技を実施または補助するためのロボットシステム）との間の協働を促進するために使用されてもよい。

【0203】

仮想外科手術アシスタントを開発するための１つの動機は、回避可能外科手術合併症に起因する死亡の数が非常に高く、外科手術手技の間に生じる医療過誤の約４分の１が防止可能であることである。仮想外科手術アシスタントは、外科手術の間、有用かつタイムリーな情報を提供し、生命を救い、外科手術転帰を改良するために使用されることができる。別の重要な動機は、世界中の外科手術処置アクセスが不均一であることである。数十億もの人々は、外科手術処置へのアクセスが限定されている、または最小限であって、アクセスが利用可能であるときでさえ、特に、複雑な手技に関して、医療または外科手術専門知識の欠如が、手技の間に生じる、防止可能外科手術過誤の数を増加させ得る。手術室内に存在し、および／または手術室内の医療作業者にアクセス可能な仮想外科手術アシスタントは、付加的医療または外科手術洞察を提供することに役立ち得、これは、手技の間の過誤の発生またはその重症度を低減させることができる。

【0204】

仮想外科手術アシスタントは、識別された必要性に基づいて、開発または訓練されてもよい。識別された必要性は、防止可能過誤および関連付けられるヒトおよび材料コストの数が非常に多い、ある手技に対応し得、これは、そのような手技の実施または実行に対する改良の余地が存在することを示す。例えば、腹腔鏡下胆嚢摘出術の場合、胆管傷害の数は、わずか約０．３％であるが、合併症は、人生を変え得る。図１２は、腹腔鏡下胆嚢摘出術の間の安全性の臨界ビューを図示する。本ビューは、総胆管等の重要な構造が損傷されている危険がないことを示すまたは照合するために使用されることができる。外科医または医師が、腹腔鏡下胆嚢摘出術を実施するにつれて、仮想外科手術アシスタントは、ある重要構造の有無を識別し、外科医に、外科医が重要構造上またはその近傍で動作するにつれて、重要構造を損傷させる任意のリスクを知らせるために使用されてもよい。

【0205】

仮想外科手術補助から利益を享受し得る、１つまたはそれを上回る候補手技を識別後、個別の候補手技を実施するための最良アプローチ、技法、および／または方法が、決定されてもよい。仮想外科手術アシスタントは、候補手技に類似する、外科手術手技を認識し、個別の候補手技を実施するための最良アプローチ、技法、および／または方法に追従する、ガイダンスを提供するように訓練されてもよい。ある場合には、仮想外科手術アシスタントは、種々の外科手術タスクに関するガイダンスを提供するように構成されることができる。他の場合には、仮想外科手術アシスタントは、手技内の特定のステップに特有のガイダンスを提供し得る、高度に特殊なエンティティであってもよい。いずれの場合も、仮想外科手術アシスタントは、種々の外科手術手技における高度な専門知識を伴う、複数のエンティティおよび／または施設（例えば、学術研究施設、大学、研究センター、医療センター、病院等）の集合知および経験を使用して訓練されてもよい。

【0206】

図１３は、１つまたはそれを上回る仮想外科手術アシスタントを訓練および展開するための機械学習開発パイプラインの実施例を図示する。訓練による機械学習ベースのソリューションは、概して種々のモデルアーキテクチャを調べる間、医療または外科手術データを入手するステップを伴い得る。具体的アーキテクチャが、選別され、十分なデータが、収集されると、反復訓練が、特定の問題または手技に特有の計測値を追跡しながら、種々の方略およびハイパーパラメータのセットを使用して実施されてもよい。いったんある性能計測値が、充足されると、ソリューションが、クラウド（例えば、医療データ処理プラットフォーム）上および／または１つまたはそれを上回る物理的デバイス（例えば、１つまたはそれを上回る外科手術ツールまたは医療器具）上のいずれかに展開されてもよい。

【0207】

データ入手

【0208】

保健医療等の厳格に規制された分野では、医療データ入手は、特に配慮を要求し得、患者プライバシに関する具体的課題を提示し得る。医療データを入手するための１つの標準的アプローチは、ＲＧＢビデオデータを外科手術手技から取得するものである。これは、簡単なアプローチのように考えられるが、ビデオストリームを通して、患者識別子を不注意に暴露させるリスクがあるため、特に配慮し、個人的識別情報を暴露し得る、シーケンスを除去しなければならない。本開示のシステムおよび方法は、モデル訓練および展開のために使用される前に、外科手術ビデオデータを含む、医療データを処理し、個人的情報を除去し、医療データを匿名化するために使用されてもよい。

【0209】

ある場合には、医療データ（例えば、外科手術手技のＲＧＢ画像またはビデオ）は、例えば、ツールおよび組織拡張データを含む、ＡＩモデルによって発生された付加的情報を用いて、拡張または補完されてもよい。ある場合には、仮想外科手術アシスタントは、ライブ外科手術ガイダンスまたは補助を提供し、直ちに、患者処置に利益をもたらすために（例えば、図１４に示されるように）他のタイプの医療データとともに、そのような拡張を医師または外科医に表示してもよい。拡張されたデータは、データが捕捉または取得されるにつれて、ＲＧＢ画像またはビデオデータとともに、リアルタイムで表示されてもよい。ある場合には、拡張されたデータは、例えば、本明細書のいずれかの場所で説明されるように、１つまたはそれを上回る注釈を備えてもよい。ある場合には、拡張されたデータは、１つまたはそれを上回る注釈に基づいて発生される、１つまたはそれを上回る外科手術または医療推論を備えてもよい。

【0210】

いくつかの実施形態では、本開示のシステムは、任意の外部由来造影剤を使用せずに、ＲＧＢ外科手術ビデオをリアルタイム灌流情報を用いて拡張させるように構成される、販売業者非依存腹腔鏡下アダプタを含め、種々の撮像プラットフォームと互換的に使用されてもよい。ある場合には、撮像プラットフォームは、赤外線能力を伴う、ハンドヘルド撮像モジュールと、外科医による要求に応じて可能にされ得る、赤外線データの記録が灌流オーバーレイを発生させることを可能にする、処理ユニットとを備えてもよい。プラットフォームは、任意のコンピュータアーキテクチャに基づいてもよく、灌流計算およびレンダリングのために、種々のグラフィック処理ユニットを使用してもよい。図１５は、灌流されていない面積が図の中心に示される、システムからの灌流オーバーレイの実施例を示す。

【0211】

データ注釈

【0212】

いったん医療データが、入手され、個人的健康情報が削り取られると、データは、注釈が付けられてもよい。任意の人物が、車、横断歩道、道路標識を認識し、注釈を付け得る、自律的車両等の他の分野と対照的に、外科手術データは、概して、外科手術専門知識を伴う、注釈者を要求する。外科手術ツール等のいくつかの物体は、大部分の人々によって容易に認識され得るが、具体的解剖学的構造および各患者に特有の微妙な差違は、外科手術専門家の注釈を要求し、これは、コストがかかり、かつ時間がかかり得る。上記に説明されるシステムおよび方法は、注釈プロセスを促進し、モデル訓練のために、種々の施設および医療専門医からの注釈コンパイルするために実装されることができる。

【0213】

訓練

【0214】

いったん医療データが、収集され、正しいフォーマットに変換され、および／または注釈が付けられると、医療データは、１つまたはそれを上回る仮想外科手術アシスタントを訓練するために使用されることができる。訓練手順は、図１３に示される機械学習（ＭＬ）モデルのための訓練手順に類似する、人工知能（ＡＩ）開発パイプラインを備えてもよい。ある場合には、各訓練セッションは、ソースコード、ハイパーパラメータ、および訓練データセットを含め、ログ付けおよびバージョン化されてもよい。これは、特に、規制機関が本情報を要求し得、トレース能力が重要である、保健医療分野において重要である。訓練が完了し、１つまたはそれを上回る所望の計測値が達成された後、モデルは、展開されてもよい。

【0215】

展開

【0216】

展開を検討するとき、技術的構成要素に加え、検討される必要がある、規制構成要素が存在する。規制の観点から、リスク緩和は、モデル展開の技術的側面に影響を及ぼし得る。仮想外科手術アシスタントは、外科手術手技の間、任意の決定を行い得ないが、不正確な情報を提供することは、依然として、リスクを提示し得る。可能性として考えられる故障シナリオおよび緩和方略を識別し、患者および医療スタッフの安全性を確実にすることが重要である。技術的観点から、少なくとも２つのタイプの展開手段、すなわち、クラウド展開またはエッジ展開が存在する。

【0217】

クラウド展開は、より容易に実装され得るが、いくつかの固有の限界を有し得る。仮想外科手術アシスタントの場合、リアルタイム推論が、手術室において重要であって、クラウド展開は、データ転送によって要求されるオーバーヘッドのため、常時、実行可能ではない場合がある。しかしながら、クラウド展開は、依然として、記録されたデータに関して遡及的に使用され、手術室のためにまだ準備できていない、将来的仮想アシスタントを試験する、または外科医が、症例を精査し、フィードバックを提供することを可能にするために使用されることができる。リアルタイム推論に関しては、エッジまたはデバイス展開が、好ましいアプローチであり得る。そのような場合、考慮すべきいくつかの側面は、エッジデバイスのアーキテクチャおよび任意の可能性として考えられる電力制約を含む。仮想外科手術アシスタントの場合、電力制約は、必ずしも、限界ではないが、特に、エッジケースに関しては、考慮されるべきである。いくつかの実施形態では、複数の展開オプションが、利用されてもよい。これは、クラウド展開とエッジ展開の組み合わせを備えてもよい。

【0218】

いったん展開アーキテクチャが、選択されると、次のステップは、モデル推論を立ち上げ、起動させることである。展開のために訓練フレームワークを使用することは、論理的ステップと考えられ得るが、性能は、予期通りではない場合があり、モデルは、具体的アーキテクチャのためにさらに最適化される必要があり得る。

【0219】

図１６に示されるように、展開パイプラインは、ＰｙＴｏｒｃｈまたはＴｅｎｓｏｒＦｌｏｗ等の１つまたはそれを上回る訓練フレームワークからのモデルをＯｐｅｎ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ Ｅｘｃｈａｎｇｅ（ＯＮＮＸ）等のオープン標準に変換するステップを伴い得る。概して、これは、容易なタスクであって、例えば、ＰｙＴｏｒｃｈでは、単一コード行のみを要求する。コールは、共通オペレータのセットを使用して、共通ファイルフォーマットにおけるモデルの表現を作成することができる。本フォーマットでは、モデルは、ＯＮＮＸ Ｒｕｎｔｉｍｅを使用して、異なるハードウェアおよびソフトウェアプラットフォーム上で試験されることができる。

【0220】

ＯＮＮＸ Ｒｕｎｔｉｍｅは、実行プロバイダと呼ばれる、拡張フレームワークを通して、種々のハードウェア加速ライブラリとの統合をサポートする、クロスプラットフォーム推論および訓練アクセラレータである。ＯＮＮＸは、現在、機械学習のために、Ｎｖｉｄｉａ製Ｃｏｍｐｕｔｅ Ｕｎｉｆｉｅｄ Ｄｅｖｉｃｅ Ａｒｃｈｉｔｅｃｔｕｒｅ（ＣＵＤＡ）パラレルコンピューティングプラットフォームおよびＴｅｎｓｏｒＲＴ高性能深層学習推論ＳＤＫ、ならびにＭｉｃｒｏｓｏｆｔ ＤｉｒｅｃｔＭＬ低レベルアプリケーションプログラミングインターフェース（ＡＰＩ）を含む、約数十個の実行プロバイダをサポートする。ＯＮＮＸ Ｒｕｎｔｉｍｅは、Ｃ、Ｃ＃、Ｊａｖａ（登録商標）、またはＰｙｔｈｏｎを含む、異なるプログラミング言語のためのＡＰＩを提供することによって、異なるタイプのハードウェアおよびオペレーティングシステム上でモデルを容易に起動するために使用されることができる。ＯＮＮＸ Ｒｕｎｔｉｍｅは、クラウド展開およびエッジ展開の両方のための仮想外科手術アシスタントの実世界展開のために利用されることができる。

【0221】

いったんモデルが、ＯＮＮＸに変換されると、ＯＮＮＸ Ｒｕｎｔｉｍｅを使用して推論を起動させることは、単純タスクとなる。例えば、ユーザは、実行プロバイダを迅速に選択し、推論セッションを起動することができる。本アプローチの１つの利点は、ユーザが、実行プロバイダのリストを規定することができ、あるプロバイダ上での任意の非サポート動作が、規定された次のプロバイダ上で実行されるであろうことである。例えば、ＴｅｎｓｏｒＲＴ、その後、ＣＵＤＡおよびＣＰＵが続く、プロバイダリストは、ＴｅｎｓｏｒＲＴ上で全ての動作を実行することを試みるであろう。動作が、サポートされていない場合、セッションは、ＣＰＵ実行に進む前に、ＣＵＤＡを試みるであろう。

【0222】

図１７は、８のバッチサイズ（すなわち、８つのビデオフレーム）を伴う、ＮｖｉｄｉａＲＴＸ８０００ ＧＰＵ上で起動する、ＩｎｃｅｐｔｉｏｎＶ３畳み込みニューラルネットワークのバリアントに関する、種々のＯＮＮＸ Ｒｕｎｔｉｍｅ実行プロバイダ間の推論待ち時間を示す。ＣＵＤＡ実行プロバイダとＴｅｎｓｏｒＲＴ実行プロバイダを比較すると、約２０％の改良に気付き得る。参照として、最左バーは、本来のＴｅｎｓｏｒＲＴエンジンに関する待ち時間を示す。これは、本来のＴｅｎｓｏｒＲＴエンジンと比較して、ＯＮＮＸ Ｒｕｎｔｉｍｅにある程度のオーバーヘッドが存在することを示す。しかしながら、実装の容易性は、ＯＮＮＸ Ｒｕｎｔｉｍｅをクラウド展開のための、かつ状況に応じて、優れたエッジ展開ソリューションのための理想的候補にさえする。しかしながら、本アプローチが、特定の必要性またはユースケースのために十分ではない場合、モデルは、Ｎｖｉｄｉａ ＧＰＵのためのＴｅｎｓｏｒＲＴまたはＱｕａｌｃｏｍｍハードウェアのためのＳＮＰＥ（Ｓｎａｐｄｒａｇｏｎ Ｎｅｕｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｅｎｇｉｎｅ）等の最適推論ＳＤＫを使用して、変換される必要があり得る。

【0223】

図１８に示されるように、ＴｅｎｓｏｒＲＴエンジンを作成するための最速経路は、以前に作成されたＯＮＮＸモデルを取り上げ、ｔｒｔｅｘｅｃコマンド（別個のアプリケーションを開発する必要なく、ＴｅｎｓｏｒＲＴを迅速に利用するためのコマンドラインラッパツール）を使用することによるものである。ｔｒｔｅｘｅｃコマンドは、ランダムデータ上でネットワークベンチマークするため、およびシリアル化されたエンジンをモデルから発生させるために有用である。これは、コーディングを要求せず、シリアル化されたエンジンを発生させることに加え、コマンドは、モデルを迅速にベンチマークするために使用されることができる。エンジンを発生させることは、待ち時間およびサポートされる動作を含む、モデルについての多くの情報もまた提供し得る、単純コマンドを要求する。モデルに応じて、ｔｒｔｅｘｅｃコマンドの結果は、変動し得る。最良シナリオでは、全ての動作は、ＴｅｎｓｏｒＲＴ ＳＤＫによってサポートされ、加速は、最大限となるであろう。コマンドはまた、モデルに関する詳細な待ち時間計測値を提供するであろう。加えて、ハードウェアが、深層学習アクセラレータ（ＤＬＡ）をサポートする場合、いくつかの動作は、同様に、アクセラレータによってサポートされる場合がある。これは、いくつかの動作をＧＰＵからＤＬＡにオフロードすることを可能にし、より電力効率的推論を提供することができる。発生されたシリアル化されたエンジンファイルはまた、アプリケーション開発の間にも使用されることができる。

【0224】

図１９は、Ｐａｓｃａｌアーキテクチャである、ＲＴＸ８０００ ＧＰＵおよびＪｅｔｓｏｎ ＡＧＸ Ｘａｖｉｅｒに基づく、現世代ハードウェアを含む、異なるデバイスを横断した待ち時間の比較を示す。予期されるように、ＲＴＸ８０００が、最良性能を有した。Ｎｖｉｄｉａ Ｑｕａｄｒｏ Ｐ３０００ ＧＰＵを搭載した現世代システムとＪｅｔｓｏｎ ＡＧＸ Ｘａｖｉｅｒを比較すると、結果は、類似したが、Ｐ３０００ ＧＰＵが若干優位であった。しかしながら、電力予算が、懸念される場合、Ｊｅｔｓｏｎ ＡＧＸ Ｘａｖｉｅｒは、より優れたソリューションである。付加的加速が、より低い正確度を犠牲にして、ｉｎｔ８量子化を使用して達成されることができるが、付加的ステップが、データセットに特有の較正ファイルを作成するために要求され、常時、実行可能ではない場合がある。妥協案として、１６ビット浮動小数点推論が、ＧＰＵアーキテクチャによってサポートされる場合、使用される場合がある。

【0225】

ある場合には、モデルに応じて、いくつかの動作は、ＴｅｎｓｏｒＲＴ ＳＤＫによってサポートされない場合がある。そのような場合、いくつかの代替が存在する。最適ソリューションは、開発サイクルにおける進捗度およびモデルに関する要件の厳格度に依存し得る。非サポート動作のための１つまたはそれを上回るＴｅｎｓｏｒＲＴプラグインを記述することを選定することができる。代替として、モデルを修正し、全ての動作が独創的にサポートされることを確実にすることができるが、これは、モデル訓練時間を考慮すると、最も時間および費用効果的オプションではない場合がある。

【0226】

これらの問題点を念頭に置いて、より包括的訓練パイプライン（例えば、図２０に示されるように）を考慮してもよく、開発アーキテクチャは、モデルを設計するときの入力として使用される。これは、モデル開発の際、あまり柔軟性を提供しない場合があるが、開発のために要求されるカスタム動作の数を最小限にすることは、長期的に有益であり得る。展開ハードウェアを念頭に置いてモデルを開発することは、付加的時間がモデル訓練において投資される前に、待ち時間試験、動作サポート試験、および／またはメモリ使用量試験を可能にし得る。さらに、本プロセスは、現在のハードウェアが能力不足であるかどうかを決定するために使用され、それによって、モデル開発の間、ハードウェアおよび／またはソフトウェアに対する早期調節を可能にすることができる。

【0227】

仮想外科手術アシスタントを手術室内で展開するとき、常時、展開アーキテクチャを念頭に置いて開始し、具体的展開アーキテクチャのためのモデルを設計することが重要である。また、カスタム動作が必須であるかどうかを早い段階で決定し、それらを使用するコストおよび利益を比較検討することが重要である。さらに、ＯＮＮＸ Ｒｕｎｔｉｍｅ等のツールを使用して、オペレーティングシステムおよびハードウェアアーキテクチャを横断して、モデルを迅速に試験し、より短い待ち時間が要求される場合、最終段階においてのみ最適化することが重要である。ハードウェアの観点から、また、ＧＰＵ使用量を要求する、非ＡＩタスクを考慮し、付加的特徴をサポートするための十分なオーバーヘッドを伴う、コンピューティングまたは処理デバイスを選別することが重要である。

【0228】

別の側面では、本開示は、本開示の方法を実装するようにプログラムまたは別様に構成される、コンピュータシステムを提供する。図１１に戻って参照すると、コンピュータシステム２００１は、１つまたはそれを上回るモデルを展開するための方法を実装するようにプログラムまたは別様に構成されてもよい。コンピュータシステム２００１は、例えば、医療または外科手術データを入手し、医療または外科手術データに基づいて、モデルを訓練し、モデルに関する１つまたはそれを上回る性能計測値を評価し、１つまたはそれを上回るハイパーパラメータを変更または修正することによって、モデルを調節し、訓練されたモデルを展開するように構成されてもよい。コンピュータシステム２００１は、ユーザの電子デバイスまたは電子デバイスに対して遠隔で位置するコンピュータシステムであり得る。電子デバイスは、モバイル電子デバイスであり得る。

【0229】

コンピュータシステム２００１は、シングルコアまたはマルチコアプロセッサ、もしくは並列処理のための複数のプロセッサであり得る、中央処理ユニット（ＣＰＵ、また、本明細書では、「プロセッサ」および「コンピュータプロセッサ」）２００５を含んでもよい。コンピュータシステム２００１はまた、メモリまたはメモリ場所２０１０（例えば、ランダムアクセスメモリ、読取専用メモリ、フラッシュメモリ）と、電子記憶ユニット２０１５（例えば、ハードディスク）と、１つまたはそれを上回る他のシステムと通信するための通信インターフェース２０２０（例えば、ネットワークアダプタ）と、キャッシュ、他のメモリ、データ記憶装置、および／または電子ディスプレイアダプタ等の周辺デバイス２０２５とを含む。メモリ２０１０、記憶ユニット２０１５、インターフェース２０２０、および周辺デバイス２０２５は、マザーボード等の通信バス（実線）を通してＣＰＵ２００５と通信する。記憶ユニット２０１５は、データを記憶するためのデータ記憶ユニット（またはデータリポジトリ）であり得る。コンピュータシステム２００１は、通信インターフェース２０２０を用いてコンピュータネットワーク（「ネットワーク」）２０３０に動作的に結合されることができる。ネットワーク２０３０は、インターネット、イントラネット、および／またはエクストラネット、もしくはインターネットと通信するイントラネットおよび／またはエクストラネットであり得る。ネットワーク２０３０は、ある場合には、電気通信および／またはデータネットワークである。ネットワーク２０３０は、クラウドコンピューティング等の分散コンピューティングを可能にし得る、１つまたはそれを上回るコンピュータサーバを含むことができる。ネットワーク２０３０は、ある場合には、コンピュータシステム２００１を用いて、コンピュータシステム２００１に結合されるデバイスが、クライアントまたはサーバとして挙動することを可能にし得る、ピアツーピアネットワークを実装することができる。

【0230】

ＣＰＵ２００５は、プログラムまたはソフトウェアにおいて具現化され得る、機械可読命令のシーケンスを実行することができる。命令は、メモリ２０１０等のメモリ場所内に記憶されてもよい。命令は、ＣＰＵ２００５にダイレクトされることができ、これは、続けて、本開示の方法を実装するようにＣＰＵ２００５をプログラムまたは別様に構成することができる。ＣＰＵ２００５によって実施される動作の実施例は、フェッチ、デコード、実行、およびライトバックを含むことができる。

【0231】

ＣＰＵ２００５は、集積回路等の回路の一部であり得る。システム２００１の１つまたはそれを上回る他のコンポーネントが、回路内に含まれることができる。ある場合には、回路は、特定用途向け集積回路（ＡＳＩＣ）である。

【0232】

記憶ユニット２０１５は、ドライバ、ライブラリ、および保存されたプログラム等のファイルを記憶することができる。記憶ユニット２０１５は、ユーザデータ、例えば、ユーザ選好およびユーザプログラムを記憶することができる。コンピュータシステム２００１は、ある場合には、コンピュータシステム２００１の外部に（例えば、イントラネットもしくはインターネットを通してコンピュータシステム２００１と通信する遠隔サーバ上に）位置する、１つまたはそれを上回る付加的データ記憶ユニットを含むことができる。

【0233】

コンピュータシステム２００１は、ネットワーク２０３０を通して１つまたはそれを上回る遠隔コンピュータシステムと通信することができる。例えば、コンピュータシステム２００１は、ユーザ（例えば、医師、外科医、医療提供者、医療スタッフメンバー、外科手術用ロボットのオペレータ等）の遠隔コンピュータシステムと通信することができる。遠隔コンピュータシステムの実施例は、パーソナルコンピュータ（例えば、ポータブルＰＣ）、スレートまたはタブレットＰＣ（例えば、Ａｐｐｌｅ（登録商標） ｉＰａｄ（登録商標）、Ｓａｍｓｕｎｇ（登録商標） Ｇａｌａｘｙ Ｔａｂ）、電話、スマートフォン（例えば、Ａｐｐｌｅ（登録商標） ｉＰｈｏｎｅ（登録商標）、Ａｎｄｒｏｉｄ（登録商標）対応デバイス、Ｂｌａｃｋｂｅｒｒｙ（登録商標））、もしくは携帯情報端末を含む。ユーザは、ネットワーク２０３０を介してコンピュータシステム２００１にアクセスすることができる。

【0234】

本明細書に説明されるような方法は、例えば、メモリ２０１０または電子記憶ユニット２０１５上等のコンピュータシステム２００１の電子記憶場所上に記憶される、機械（例えば、コンピュータプロセッサ）実行可能コードを用いて実装されることができる。機械実行可能または機械可読コードは、ソフトウェアの形態において提供されることができる。使用の間、コードは、プロセッサ２００５によって実行されることができる。ある場合には、コードは、記憶ユニット２０１５から読み出され、プロセッサ２００５による迅速なアクセスのためにメモリ２０１０上に記憶されることができる。いくつかの状況では、電子記憶ユニット２０１５は、除外されることができ、機械実行可能命令は、メモリ２０１０上に記憶される。

【0235】

コードは、事前コンパイルされ、コードを実行するように適合されるプロセッサを有する機械との併用のために構成されることができる、またはランタイムの間にコンパイルされることができる。コードは、コードが事前コンパイルまたはアズコンパイルされた方式で実行されることを可能にするように選択され得る、プログラミング言語で供給されることができる。

【0236】

コンピュータシステム２００１等の本明細書に提供されるシステムおよび方法の側面は、プログラミングにおいて具現化されることができる。本技術の種々の側面は、典型的には、あるタイプの機械可読媒体上で搬送される、またはそれにおいて具現化される機械（もしくはプロセッサ）実行可能コードおよび／または関連付けられるデータの形態における「製品」もしくは「製造品」と考えられ得る。機械実行可能コードは、メモリ（例えば、読取専用メモリ、ランダムアクセスメモリ、フラッシュメモリ）またはハードディスク等の電子記憶ユニット上に記憶されることができる。「記憶」タイプ媒体は、ソフトウェアプログラミングのために任意の時点で非一過性記憶を提供し得る、コンピュータ、プロセッサ、または同等物の有形メモリ、もしくは種々の半導体メモリ、テープドライブ、ディスクドライブ、および同等物等のその関連付けられるモジュールのうちのいずれかまたは全てを含むことができる。ソフトウェアの全てまたは一部は、随時、インターネットまたは種々の他の電気通信ネットワークを通して通信されてもよい。そのような通信は、例えば、１つのコンピュータまたはプロセッサから別のものへの、例えば、管理サーバまたはホストコンピュータからアプリケーションサーバのコンピュータプラットフォームへのソフトウェアのロードを可能にし得る。したがって、ソフトウェア要素を搭載し得る別のタイプの媒体は、ローカルデバイスの間の物理的インターフェースを横断して、有線および光学固定ネットワークを通して、ならびに種々のエアリンクを経由して使用される等、光学、電気、および電磁波を含む。有線または無線リンク、光学リンク、もしくは同等物等のそのような波を搬送する物理的要素はまた、ソフトウェアを搭載する媒体と見なされてもよい。本明細書に使用されるように、非一過性有形「記憶」媒体に制限されない限り、コンピュータまたは機械「可読媒体」等の用語は、実行のためにプロセッサに命令を提供することに関与する任意の媒体を指す。

【0237】

故に、コンピュータ実行可能コード等の機械可読媒体は、限定ではないが、有形記憶媒体、搬送波媒体、または物理的伝送媒体を含む、多くの形態をとってもよい。例えば、光学または磁気ディスク、もしくは任意のコンピュータまたは同等物内の任意の記憶デバイスを含む、不揮発性記憶媒体が、図面に示されるデータベース等を実装するために使用されてもよい。揮発性記憶媒体は、そのようなコンピュータプラットフォームの主要メモリ等のダイナミックメモリを含む。有形伝送媒体は、同軸ケーブル、すなわち、コンピュータシステム内のバスを構成するワイヤを含む、銅ワイヤおよび光ファイバを含む。搬送波伝送媒体は、電気または電磁信号、もしくは無線周波数（ＲＦ）および赤外線（ＩＲ）データ通信の間に発生されるもの等の音響または光波の形態をとってもよい。コンピュータ可読媒体の一般的な形態は、したがって、例えば、フロッピー（登録商標）ディスク、フレキシブルディスク、ハードディスク、磁気テープ、任意の他の磁気媒体、ＣＤ－ＲＯＭ、ＤＶＤまたはＤＶＤ－ＲＯＭ、任意の他の光学媒体、パンチカード、紙テープ、孔のパターンを伴う任意の他の物理的記憶媒体、ＲＡＭ、ＲＯＭ、ＰＲＯＭおよびＥＰＲＯＭ、ＦＬＡＳＨ－ＥＰＲＯＭ、任意の他のメモリチップまたはカートリッジ、データまたは命令を転送する搬送波、そのような搬送波を転送するケーブルまたはリンク、もしくはそれからコンピュータがプログラミングコードおよび／またはデータを読み取り得る任意の他の媒体を含む。コンピュータ可読媒体のこれらの形態のうちの多くは、１つまたはそれを上回る命令の１つまたはそれを上回るシーケンスを実行のためにプロセッサに搬送することに関与してもよい。

【0238】

コンピュータシステム２００１は、例えば、医師または外科医がライブ手技と関連付けられる１つまたはそれを上回る医療推論を閲覧するためのポータルを提供するためのユーザインターフェース（ＵＩ）２０４０を備える、電子ディスプレイ２０３５を含む、またはそれと通信することができる。ポータルは、アプリケーションプログラミングインターフェース（ＡＰＩ）を通して提供されてもよい。ユーザまたはエンティティはまた、ＵＩを介してポータル内の種々の要素と相互作用することができる。ＵＩの実施例は、限定ではないが、グラフィカルユーザインターフェース（ＧＵＩ）およびウェブベースのユーザインターフェースを含む。

【0239】

本開示の方法およびシステムは、１つまたはそれを上回るアルゴリズムを用いて実装されることができる。アルゴリズムは、中央処理ユニット２００５による実行に応じて、ソフトウェアを用いて実装されることができる。例えば、アルゴリズムは、医療または外科手術データを入手し、医療または外科手術データに基づいて、モデルを訓練し、モデルに関する１つまたはそれを上回る性能計測値を評価し、１つまたはそれを上回るハイパーパラメータを変更または修正することによって、モデルを調節し、訓練されたモデルを展開するように構成されてもよい。本明細書に説明される実施形態のいずれかでは、１つまたはそれを上回るグラフィック処理ユニット（ＧＰＵ）または深層学習アクセラレータ（ＤＬＡ）が、本開示のシステムおよび方法を実装するために使用されてもよい。

【0240】

本発明の好ましい実施形態が、本明細書に示され、説明されているが、そのような実施形態が、実施例としてのみ提供されることが当業者に明白であろう。本発明は、本明細書内に提供される具体的実施例によって限定されることを意図していない。本発明は、前述の本明細書を参照して説明されているが、本明細書の実施形態の説明および例証は、限定的意味で解釈されることを意味していない。多数の変動、変更、および代用が、ここで、本発明から逸脱することなく、当業者に想起されるであろう。さらに、本発明の全ての側面が、種々の条件および変数に依存する、本明細書に記載される具体的描写、構成、または相対的割合に限定されないことを理解されたい。本明細書に説明される本発明の実施形態の種々の代替が、本発明を実践する際に採用され得ることを理解されたい。したがって、本発明はまた、任意のそのような代替、修正、変動、または均等物を網羅することとすることが想定される。以下の請求項は、本発明の範囲を定義し、これらの請求項の範囲内の方法および構造ならびにそれらの均等物が、それによって網羅されることを意図している。

【図1A】

【図1B】

【図1C】

【図1D】

【図1E】

【図1F】

【図1G】

【図2】

【図3】

【図4A】

【図4B】

【図5A】

【図5B】

【図6A】

【図6B】

【図7】

【図8A】

【図8B】

【図9A】

【図9B】

【図10A】

【図10B】

【図10C】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【国際調査報告】