特表 2023-523562 ビデオにおけるコンピュータ支援形状測定のためのシステムおよび方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2023-06-06

(54)【発明の名称】ビデオにおけるコンピュータ支援形状測定のためのシステムおよび方法

(51)【国際特許分類】

   A61B 34/20 20160101AFI20230530BHJP

   A61B 17/94 20060101ALI20230530BHJP

【ＦＩ】

A61B34/20

A61B17/94

【審査請求】未請求

【予備審査請求】未請求

(21)【出願番号】P 2022562503

(86)(22)【出願日】2021-04-13

(85)【翻訳文提出日】2022-12-09

(86)【国際出願番号】 US2021026986

(87)【国際公開番号】W WO2021211516

(87)【国際公開日】2021-10-21

(31)【優先権主張番号】202041015992

(32)【優先日】2020-04-13

(33)【優先権主張国・地域又は機関】IN

(31)【優先権主張番号】63/030,731

(32)【優先日】2020-05-27

(33)【優先権主張国・地域又は機関】US

(31)【優先権主張番号】63/143,390

(32)【優先日】2021-01-29

(33)【優先権主張国・地域又は機関】US

(81)【指定国・地域】

【公序良俗違反の表示】

（特許庁注：以下のものは登録商標）

１．ＨＤＭＩ

２．ＡＮＤＲＯＩＤ

(71)【出願人】

【識別番号】522400593

【氏名又は名称】カリベル・ラブズ・インコーポレーテッド

(74)【代理人】

【識別番号】100118902

【弁理士】

【氏名又は名称】山本 修

(74)【代理人】

【識別番号】100106208

【弁理士】

【氏名又は名称】宮前 徹

(74)【代理人】

【識別番号】100196508

【弁理士】

【氏名又は名称】松尾 淳一

(72)【発明者】

【氏名】クマール，ビプル

(72)【発明者】

【氏名】フランシス，マシュー

(72)【発明者】

【氏名】ヤーダブ，ガウラブ

(72)【発明者】

【氏名】サルマ，ビスワジット・デブ

(72)【発明者】

【氏名】バクシシェブ，ティム

(72)【発明者】

【氏名】ジョネラガッダ，チャンドラ

(72)【発明者】

【氏名】ルイス，マーク

(72)【発明者】

【氏名】ラーマン，レイ

【テーマコード（参考）】

4C160

【Ｆターム（参考）】

4C160GG21

(57)【要約】

本発明の様々な実施形態は、手術中に測定値を提供することによって、関節鏡視下手術（例えば、肩、膝、股関節、または背骨の手術）または他の外科的手技を支援または誘導するシステムおよび方法を提供する。このシステムおよび方法は、関節鏡イメージング装置からビデオストリームを受信するステップと、１つまたは複数の点、経路、または領域の座標の１つまたは複数のセットを受信するステップと、座標の１つまたは複数のセットに少なくとも部分的に基づいて、長さ、表面積、または体積の測定値を計算するステップと、ビデオストリーム上または手術の部位の拡大ビュー上に、座標の選択された１つまたは複数のセットと測定値とをオーバーレイするステップと、関節鏡視下手技中に操作者によって使用されるように、手術中に１つまたは複数の表示装置上にオーバーレイを表示するステップとを含む。

【特許請求の範囲】

【請求項1】

低侵襲的手技を誘導するためのシステムであって、１つまたは複数のコンピュータプロセッサと、前記１つまたは複数のコンピュータプロセッサによって実行されたとき、前記１つまたは複数のコンピュータプロセッサに、動作を実行させるように動作可能な命令を記憶する１つまたは複数の非一時的コンピュータ可読記憶媒体とを備えており、前記動作は、
イメージング装置によって取り込まれたビデオストリームを受信するステップと、
訓練済みコンピュータアルゴリズムの少なくとも１つを使用して前記ビデオストリームを処理するステップであって、
（ｉ）前記ビデオストリームにおいて１つまたは複数の要素を識別するステップであって、前記１つまたは複数の要素は、解剖学的構造、手術器具、操作手順またはアクション、もしくは病変のうちの１つまたは複数を含む、ステップと、
（ｉｉ）前記ビデオストリームにおいて識別された前記要素を標識するステップと、
を含む、ステップと、
前記ビデオストリームにおける複数の点または領域のうちの１つまたは複数を選択するインジケーションを操作者から受信するステップと、
前記ビデオストリームにおける前記選択された領域のために１つまたは複数の測定値を計算するステップであって、前記１つまたは複数の測定値は、長さ、表面積、周囲長、または体積のうちの１つまたは複数を含む、ステップと、
前記関節鏡視下手技中に操作者によって使用されるように、手術中に表示装置上に前記測定値を表示するステップと、
を含む、システム。

【請求項2】

前記低侵襲的手技が関節鏡視下手術である、請求項１に記載のシステム。

【請求項3】

前記イメージング装置は、介入装置である、請求項１に記載のシステム。

【請求項4】

前記ビデオストリームは単眼である、請求項１に記載のシステム。

【請求項5】

前記ビデオストリームは立体視である、請求項１に記載のシステム。

【請求項6】

前記イメージング装置は、内視鏡、関節鏡、または腹腔鏡である、請求項１に記載のシステム。

【請求項7】

前記訓練済みコンピュータアルゴリズムは、１つまたは複数の訓練済み機械学習アルゴリズム、１つまたは複数の訓練済み深層学習アルゴリズム、またはその両方の組み合わせを含む、請求項１に記載のシステム。

【請求項8】

前記ビデオストリームを処理する前記ステップは、さらに、ビデオストリーム分解モジュール、器具認識モジュール、器具先端基準サイズ決定モジュール、解剖学的構造認識モジュール、器具追跡モジュール、ジェスチャ認識モジュール、標識設置モジュール、距離アグリゲータモジュール、ビデオブレンドモジュール、病変検出モジュール、病変サイズ決定モジュール、または放射線イメージングモジュールのうちの１つまたは複数を含むモジュールのリストからの１つまたは複数の処理モジュールを含む、請求項１に記載のシステム。

【請求項9】

前記１つまたは複数の処理モジュールは、１つまたは複数の訓練済み機械学習アルゴリズムを含む、請求項８に記載のシステム。

【請求項10】

前記訓練済み機械学習アルゴリズムは、ニューラルネットワークである、請求項９に記載のシステム。

【請求項11】

前記ビデオストリーム分解モジュールは、前記ビデオストリームを一連の画像に分解する、請求項８に記載のシステム。

【請求項12】

前記一連の画像は、メモリ装置に記憶される、請求項１１に記載のシステム。

【請求項13】

前記器具先端基準サイズ決定モジュールは、訓練済み機械学習アルゴリズムを使用して、前記識別された手術器具の器具先端のサイズを推定する、請求項８に記載のシステム。

【請求項14】

前記病変サイズ決定モジュールは、前記推定された器具先端サイズに少なくとも部分的に基づいて、前記識別された病変のサイズを推定する、請求項８に記載のシステム。

【請求項15】

前記放射線イメージングモジュールは、放射線学取込モジュール、三次元画像構成モジュール、視野マッピングモジュール、リアルタイム体積算出モジュールを含む、請求項８に記載のシステム。

【請求項16】

前記放射線学取込モジュールは、対象の放射線イメージをインポートするために、外部リポジトリとインターフェース接続する、請求項１５に記載のシステム。

【請求項17】

前記放射線イメージは、磁気共鳴画像法（ＭＲＩ）、コンピュータ断層撮影法（ＣＴ）スキャン、超音波、またはそれらの組み合わせのうちの１つまたは複数を含む、請求項１６に記載のシステム。

【請求項18】

前記放射線イメージは、標識の画像を含む、請求項１６に記載のシステム。

【請求項19】

前記放射線イメージは、体積的なデータを含む、請求項１６に記載のシステム。

【請求項20】

三次元画像再構成モジュールは、前記体積的な放射線イメージから三次元物体を生成する、請求項１９に記載のシステム。

【請求項21】

前記三次元物体は、メモリ装置に保存される、請求項２０に記載のシステム。

【請求項22】

前記三次元画像再構成モジュールは、さらに、前記標識を前記三次元物体上にマッピングするための座標を生成する、請求項２０に記載のシステム。

【請求項23】

前記ビデオストリームを標識する前記ステップは、さらに、前記１つまたは複数の要素を囲む形状輪郭を表示するステップを含む、請求項１に記載のシステム。

【請求項24】

前記操作者は、前記ビデオストリームにおいて前記領域を選択するために標準的な手術用プローブを使用する、請求項１に記載のシステム。

【請求項25】

前記ビデオストリームにおける前記複数の点は、２つ以上の点を含む、請求項１に記載のシステム。

【請求項26】

１つまたは複数の測定値を計算するステップは、第１の点と第２の点との間の距離を計算するステップを含む、請求項１に記載のシステム。

【請求項27】

１つまたは複数の測定値を計算するステップは、前記ビデオストリームの視野において検出可能である前記第１の点および前記第２の点を検出するステップを含む、請求項２６に記載のシステム。

【請求項28】

前記第１の点または前記第２の点の少なくとも１つは、前記視野の外側で移動する、請求項２６に記載のシステム。

【請求項29】

前記第２の点は、測定時に前記手術用プローブの先端に最も近い、前記ビデオストリームにおける前記１つまたは複数の要素のうちの少なくとも１つの要素上の位置である、請求項２６に記載のシステム。

【請求項30】

前記第１の点と前記第２の点との間の距離は、ほぼ継続的に測定され、表示される、請求項２９に記載のシステム。

【請求項31】

前記選択された領域のために前記１つまたは複数の測定値を計算するステップは、体積計算を実行するステップを含み、前記体積計算は、
対象の三次元放射線像を受信するステップと、
前記ビデオストリームにおける前記１つまたは複数の要素から少なくとも１つの要素を選択するインジケーションを操作者から受信するステップと、
前記三次元放射線像上の前記選択された少なくとも１つの要素に少なくとも部分的に基づいて、前記選択された領域の体積を計算するステップと、
を含む、請求項１に記載のシステム。

【請求項32】

前記ビデオストリームにおける前記１つまたは複数の要素から前記少なくとも１つの要素を選択する前記操作者の前記インジケーションを受信するステップは、前記操作者から選択領域の輪郭を受信するステップを含む、請求項３１に記載のシステム。

【請求項33】

前記画像は、磁気共鳴画像法画像、コンピュータ断層撮影法画像、または超音波画像のうちの１つである、請求項３２に記載のシステム。

【請求項34】

前記体積は、前記操作者から受信された前記輪郭に基づいて計算される、請求項３２に記載のシステム。

【請求項35】

１つまたは複数の測定値を計算する前記ステップは、上方関節包再建術で使用される、請求項１に記載のシステム。

【請求項36】

１つまたは複数の測定値を計算する前記ステップは、骨喪失推定のために使用される、請求項１に記載のシステム。

【請求項37】

前記動作は、さらに、
前記ラベルまたは前記測定値を、前記受信されたビデオストリームとブレンドすることによってオーバーレイビデオストリームを生成するステップと、
前記オーバーレイされたビデオストリームを表示装置に表示するステップと、
を含む、請求項１に記載のシステム。

【請求項38】

低侵襲的手技を誘導するためのコンピュータ実施方法であって、
イメージング装置によって取り込まれたビデオストリームを受信するステップと、
訓練済みコンピュータアルゴリズムの少なくとも１つを使用して前記ビデオストリームを処理するステップであって、
（ｉ）前記ビデオストリームにおいて１つまたは複数の要素を識別するステップであって、前記１つまたは複数の要素は、解剖学的構造、手術器具、操作手順またはアクション、もしくは病変のうちの１つまたは複数を含む、ステップと、
（ｉｉ）前記ビデオストリームにおいて識別された前記要素を標識するステップと、
を含む、ステップと、
前記ビデオストリームにおける複数の点または領域のうちの１つまたは複数を選択するインジケーションを操作者から受信するステップと、
前記ビデオストリームにおける前記選択された領域のために１つまたは複数の測定値を計算するステップであって、前記１つまたは複数の測定値は、長さ、表面積、周囲長、または体積のうちの１つまたは複数を含む、ステップと、
前記低侵襲的手技中に操作者によって使用されるように、手術中に表示装置上に前記測定値を表示するステップと、
を含む、方法。

【請求項39】

前記低侵襲的手技が関節鏡視下手術である、請求項３８に記載の方法。

【請求項40】

前記イメージング装置は、介入イメージング装置である、請求項３８に記載の方法。

【請求項41】

前記ビデオストリームは単眼である、請求項３８に記載の方法。

【請求項42】

前記ビデオストリームは立体視である、請求項３８に記載の方法。

【請求項43】

前記イメージング装置は、関節鏡、内視鏡、または腹腔鏡である、請求項３８に記載の方法。

【請求項44】

前記訓練済みコンピュータアルゴリズムは、１つまたは複数の訓練済み機械学習アルゴリズム、１つまたは複数の訓練済み深層学習アルゴリズム、またはその両方の組み合わせを含む、請求項３８に記載の方法。

【請求項45】

前記ビデオストリームは、ビデオストリーム分解モジュール、器具認識モジュール、器具先端基準サイズ決定モジュール、解剖学的構造認識モジュール、器具追跡モジュール、ジェスチャ認識モジュール、標識設置モジュール、距離アグリゲータモジュール、ビデオブレンドモジュール、病変検出モジュール、病変サイズ決定モジュール、または放射線イメージングモジュールのうちの１つまたは複数を含むモジュールのリストからの１つまたは複数の処理モジュールを使用して処理される、請求項３８に記載の方法。

【請求項46】

前記１つまたは複数の処理モジュールは、１つまたは複数の訓練済み機械学習アルゴリズムを含む、請求項４５に記載の方法。

【請求項47】

前記訓練済み機械学習アルゴリズムは、ニューラルネットワークである、請求項４５に記載の方法。

【請求項48】

前記ビデオストリーム分解モジュールは、前記ビデオストリームを一連の画像に分解する、請求項４５に記載の方法。

【請求項49】

前記一連の画像は、メモリ装置に記憶される、請求項４５に記載の方法。

【請求項50】

前記器具先端基準サイズ決定モジュールは、訓練済み機械学習アルゴリズムを使用して、前記識別された手術器具の器具先端のサイズを推定する、請求項４５に記載の方法。

【請求項51】

前記病変サイズ決定モジュールは、前記推定された器具先端サイズに少なくとも部分的に基づいて、前記識別された病変のサイズを推定する、請求項４５に記載の方法。

【請求項52】

前記放射線イメージングモジュールは、放射線学取込モジュール、三次元画像構成モジュール、視野マッピングモジュール、リアルタイム体積算出モジュールを含む、請求項４５に記載の方法。

【請求項53】

前記放射線学取込モジュールは、対象の放射線イメージをインポートするために、外部リポジトリとインターフェース接続する、請求項５２に記載の方法。

【請求項54】

前記放射線イメージは、ＭＲＩ、ＣＴスキャン、超音波、またはそれらの組み合わせのうちの１つまたは複数を含む、請求項５３に記載の方法。

【請求項55】

前記放射線イメージは、標識の画像を含む、請求項５３に記載の方法。

【請求項56】

前記放射線イメージは、体積的なデータを含む、請求項５３に記載の方法。

【請求項57】

前記三次元画像再構成モジュールは、前記体積的な放射線イメージから三次元物体を生成する、請求項５６に記載の方法。

【請求項58】

前記三次元物体は、メモリ装置に保存される、請求項５７に記載の方法。

【請求項59】

前記三次元画像再構成モジュールは、さらに、前記標識を前記三次元物体上にマッピングするための座標を生成する、請求項５６に記載の方法。

【請求項60】

前記ビデオストリームを標識する前記ステップは、さらに、前記１つまたは複数の要素を囲む形状輪郭を表示するステップを含む、請求項３８に記載の方法。

【請求項61】

前記操作者は、前記ビデオストリームにおいて前記領域を選択するために標準的な手術用プローブを使用する、請求項３８に記載の方法。

【請求項62】

前記ビデオストリームにおける前記複数の点は、２つ以上の点を含む、請求項３８に記載の方法。

【請求項63】

１つまたは複数の測定値を計算するステップは、第１の点と第２の点との間の距離を計算するステップを含む、請求項３８に記載の方法。

【請求項64】

前記第１の点および前記第２の点は、前記ビデオストリームの視野において検出可能である、請求項６３に記載の方法。

【請求項65】

前記第１の点または前記第２の点の少なくとも１つは、前記視野の外側で移動する、請求項６３に記載の方法。

【請求項66】

前記第２の点は、測定時に前記手術用プローブの先端に最も近い、前記ビデオストリームにおける前記１つまたは複数の要素のうちの少なくとも１つの要素上の位置である、請求項６３に記載の方法。

【請求項67】

前記第１の点と前記第２の点との間の距離は、ほぼ継続的に測定され、表示される、請求項６６に記載の方法。

【請求項68】

前記選択された領域に対して前記１つまたは複数の測定値を計算するステップは、体積計算を実行するステップを含み、前記体積計算は、
対象の三次元放射線像を受信するステップと、
前記ビデオストリームにおける前記１つまたは複数の要素から少なくとも１つの要素を選択するインジケーションを操作者から受信するステップと、
前記三次元放射線像上の前記選択された少なくとも１つの要素に少なくとも部分的に基づいて、前記選択された領域の体積を計算するステップと、
を含む、請求項３８に記載のシステム。

【請求項69】

前記ビデオストリームにおける前記１つまたは複数の要素から少なくとも１つの要素を選択する前記操作者の前記インジケーションを受信するステップは、前記操作者から選択領域の輪郭を受信するステップを含む、請求項６８に記載の方法。

【請求項70】

前記体積は、前記操作者から受信された前記輪郭に基づいて計算される、請求項６９に記載の方法。

【請求項71】

１つまたは複数の測定値を計算する前記ステップは、上方関節包再建術で使用される、請求項３８に記載の方法。

【請求項72】

１つまたは複数の測定値を計算する前記ステップは、骨喪失推定のために使用される、請求項３８に記載の方法。

【請求項73】

前記ラベルまたは前記測定値を、前記受信されたビデオストリームとブレンドすることによってオーバーレイビデオストリームを生成するステップと、
前記オーバーレイされたビデオストリームを表示装置に表示するステップと、
をさらに含む、請求項３８に記載の方法。

【請求項74】

外科的ビデオストリームにおける視野を拡大するためのコンピュータ実施方法であって、
イメージング装置によって取り込まれたビデオストリームを受信するステップと、
前記ビデオストリームを１つまたは複数の画像に分解するステップと、
（ｉ）１つまたは複数の画像特徴を抽出する訓練済みコンピュータアルゴリム、（ｉｉ）１つまたは複数の解剖学的構造を識別する訓練済みコンピュータアルゴリズムの少なくとも１つを使用して前記１つまたは複数の画像を処理するステップと、
前記抽出された特徴または前記識別された解剖学的構造に基づいて前記１つまたは複数の画像を整合することによって、前記視野を拡大する複合画像を生成するステップと、
を含む、方法。

【請求項75】

前記介入イメージング装置は、内視鏡である、請求項７４に記載の方法。

【請求項76】

前記外科的ビデオストリームは、内視鏡視下手術ビデオストリームである、請求項７４に記載の方法。

【請求項77】

前記内視鏡視下手術が関節鏡視下手術である、請求項７６に記載の方法。

【請求項78】

前記ビデオストリームは単眼である、請求項７４に記載の方法。

【請求項79】

前記ビデオストリームは立体視である、請求項７４に記載の方法。

【請求項80】

前記１つまたは複数の画像特徴は、特異なピクセルの１つまたは複数のセットを含む、請求項７４に記載の方法。

【請求項81】

前記特異なピクセルは特異な色を含む、請求項８０に記載の方法。

【請求項82】

前記訓練済みコンピュータアルゴリズムは、１つまたは複数の訓練済み機械学習アルゴリズム、１つまたは複数の訓練済み深層学習アルゴリズム、またはその両方の組み合わせを含む、請求項７４に記載の方法。

【請求項83】

距離、表面積、または体積は、前記複合画像を使用して測定可能である、請求項７４に記載の方法。

【発明の詳細な説明】

【技術分野】

【0001】

関連出願の相互参照
[0001]本ＰＣＴ出願は、２０２０年４月１３日に提出されたインド仮特許出願第２０２０４１０１５９９２号、ならびに２０２０年５月２７日に提出された米国仮特許出願第６３／０３０，７３１号および２０２１年１月２９日に提出された第６３／１４３，３９０号への優先権の利点を主張するものであり、その全ての内容が、全ての目的のために、参照によって本明細書に全体的に組み込まれる。

【0002】

[0002]本発明の実施形態は、特に人工知能（ＡＩ）を使用して外科的手技を支援するためのシステム、装置および方法に関する。

【背景技術】

【0003】

[0003]近年、人工知能は、人間の顔とともに、人間の身体における様々な解剖学的構造の特徴を認識するために画像を処理するために使用されるように開発が進められ始めている。それらのＡＩツールは、医学的手技中に操作者を支援するために解剖学的特徴または病変を自動的に認識するために使用可能である。医学的手技中に生成される情報を収集および処理する画像または言語処理のために、機械学習アルゴリズムおよび深層学習アルゴリズムなどの計算法が使用可能である。外科手術の結果を改善するためにＡＩアルゴリズムを使用することが望ましい。しかしながら、現在のＡＩ支援の外科用システムおよび方法は、例えば外科的手技を誘導する際に多くの点において依然として理想的とは言えない。したがって、ＡＩ支援による外科用システムおよび方法の改善が望まれる。

【発明の概要】

【発明が解決しようとする課題】

【0004】

[0004]本発明の様々な実施形態は、例えば関節鏡視下手技などの様々な低侵襲的手技を含む外科的手技を誘導するコンピュータ実施による医療システム、装置、および方法を提供する。本発明の様々な実施形態は、そのような誘導を、リアルタイムで解剖学的特徴および病変を識別および標識し、寸法測定値（例えば長さ、幅）、表面積測定値、または体積的な測定値を推定することによって提供する。外科医は、点同士の間または特徴間の距離、特徴の形状、表面積または体積などの測定値を使用し、そのような測定値に基づいて、例えば、グラフトを留置もしくは組織または骨の一部分を除去する。組織または骨の正確な部分を除去するため、またはグラフトを適切に留置するために、外科医は、手術中に信頼できる測定値が必要である。外科医は、定規などの従来の器具を使用して測定を試みてもよいが、場合によっては、定規または従来の測定装置によって、その領域に容易に到達できない場合もある。場合によっては、物理的な測定装置の使用は侵襲的となり、手術中のリスクの要因となり得る。したがって、測定値（例えば長さ、表面積、または体積的な測定値）を推定することによって、特に医学的手技を誘導するために、人工知能（ＡＩ）ツールなどのコンピュータ実施による医療システム、装置、および方法は有益であり得る。これらのＡＩツールは、器具、解剖学的構造、病変を正確かつ確実に予測し、測定値を確実に推定することに限界を有する場合がある。ペースの速い外科的手技において、ＡＩツールは、操作者へリアルタイムの支援を提供するためには、低レイテンシで予測を行う必要もある場合がある。

【課題を解決するための手段】

【0005】

[0005]特徴の形状および／または測定値（例えば長さ、表面積、または体積）を推定することによって、外科的手技の過程においてリアルタイムで操作者を支援する、高速で、正確かつ確実なＡＩツールの必要性が本明細書において認められる。したがって、本発明の態様は、関節鏡視下手技、内視鏡視下手技、腹腔鏡視下手技、心臓鏡視下手技などの様々な低侵襲的手技を含む様々な医学的手技において形状推定および術野内測定のうちの１つまたは複数に対して、汎用性があり十分に訓練された機械学習アルゴリズムのパイプラインを提供する。そのような低侵襲的手技の例は、関節鏡視下手技（例えば、肩の断裂した腱板の修復、膝の十字靭帯手術、非関節炎性の様々な股関節障害の修復、足首の軟骨損傷の修復、または足首における骨棘の除去）、消化器（ＧＩ）手術（例えば、腸生検、ポリープ切除、肥満手術、胃縮小手術／垂直帯胃形成術）、泌尿器科処置（例えば、腎臓石の除去、膀胱修復）、婦人科手術（例えば、ｄｎｃ、子宮筋腫などの切除または他の処置）、および腹腔鏡視下手技（例えば、虫垂切除術、胆嚢摘除術、結腸切除、ヘルニア修復、噴門形成術）のうちの１つまたは複数を含み得る。

【0006】

[0006]本明細書で説明される本発明の実施形態は、医学的手技（例えば、外科手術）の実施前または実施中に情報（例えば、画像、音声、ユーザ入力）を受信し、測定値または形状推定と関連した特徴を識別するために受信情報を処理し、手技中にリアルタイムで関心点または関心特徴に対する測定値または形状推定を提供できるシステム、装置、および方法を提供する。

【0007】

[0007]本発明の態様は、さらに、機能的磁気共鳴画像法（ＭＲＩ）を含むＭＲＩ、コンピュータ断層撮影法（ＣＴ）スキャン、陽子射出断層撮影法（ＰＥＴ）スキャン、または超音波イメージングなどの様々なイメージングモダリティを、企図されるさらに他のイメージングモダリティとともに使用して手術前に取得された画像を使用することによって、手術中に関心点または関心特徴のための測定または形状推定について外科医を支援する。手術前画像は、１つまたは複数の術野を含み得る。人工知能（ＡＩ）は、外科医に誘導を提供するために、手術前画像に適用され、関心点または関心特徴（例えば断裂した肩腱板、断裂／亀裂が生じた腱、ポリープ、または腫瘍などの病変）の画像および／または位置を外科的手技のリアルタイムのビデオストリーム上にオーバーレイする。外科的手技を支援するために、または手技の結果を改善するために、手術中、手術前、または手術後に使用されるＡＩモジュール／アルゴリズムを、ここでは外科用ＡＩと呼ぶ。

【0008】

[0008]本発明の一態様は、肩、膝、股関節、足首、または他の関節の修復など関節鏡視下手技を誘導するためのシステムを提供する。内視鏡視下手技、腹腔鏡視下手技、および介入心臓血管手術などの低侵襲的手技を含む他の医学的手技の誘導に対するシステムの実施形態の適用も企図される。いくつかの実施形態では、このシステムは、１つまたは複数のコンピュータプロセッサと、１つまたは複数のコンピュータプロセッサによって実行されたとき、１つまたは複数のコンピュータプロセッサに、動作を実行させるように動作可能な命令を記憶する１つまたは複数の非一時的コンピュータ可読記憶媒体とを備えてもよく、動作は、イメージング装置によって取り込まれたビデオストリームを受信するステップと、訓練済みコンピュータアルゴリズムの少なくとも１つを使用してビデオストリームを処理するステップと、ビデオストリームにおける複数の点または領域のうちの１つまたは複数を選択するインジケーションを操作者から受信するステップと、ビデオストリームにおける選択された領域のために１つまたは複数の測定値を計算するステップと、関節鏡視下手技中に操作者によって使用されるように、手術中に表示装置上に測定値を表示するステップとを含む。いくつかの実施形態では、上記処理は、（ｉ）ビデオストリームにおいて１つまたは複数の要素を識別するステップであって、１つまたは複数の要素は、解剖学的構造、手術器具、操作手順またはアクション、もしくは病変のうちの１つまたは複数を含む、ステップと、（ｉｉ）ビデオストリームにおいて識別された要素を標識するステップとを含む。いくつかの実施形態では、１つまたは複数の測定値は、長さ、表面積、周囲長、または体積のうちの１つまたは複数を含む。

【0009】

[0009]様々な実施形態では、関節鏡視下手技は、肩、膝、股関節、肘、足首、足、または手の修復などの関節鏡視下手術である。様々な実施形態では、イメージング装置は、関節鏡、内視鏡、腹腔鏡、または心臓鏡のうちの１つまたは複数に対応してもよく、そのうちの１つまたは複数は、介入イメージング装置として構成され得る。また、上記システムの実施形態は、イメージング装置からの単眼または立体視であるビデオストリームを処理するように構成可能であり、関連して、システムの実施形態は、他の外科的医学的手技の過程において単眼ビューから立体視ビューへの変更のための調節を行うように構成可能である。

【0010】

[0010]いくつかの実施形態では、訓練済みコンピュータアルゴリズムは、１つまたは複数の訓練済み機械学習アルゴリズム、１つまたは複数の訓練済み深層学習アルゴリズム、またはその両方の組み合わせを含む。

【0011】

[0011]いくつかの実施形態では、ビデオストリームを処理するステップは、ビデオストリーム分解モジュール、器具認識モジュール、器具先端基準サイズ決定モジュール、解剖学的構造認識モジュール、器具追跡モジュール、ジェスチャ認識モジュール、標識設置モジュール、距離アグリゲータモジュール、ビデオブレンドモジュール、病変検出モジュール、病変サイズ決定モジュール、または放射線イメージングモジュールのうちの１つまたは複数を含むモジュールのリストからの１つまたは複数の処理モジュールをさらに含む。いくつかの実施形態では、１つまたは複数の処理モジュールは、１つまたは複数の訓練済み機械学習アルゴリズムを含む。いくつかの実施形態では、上記訓練済み機械学習アルゴリズムは、ニューラルネットワークである。いくつかの実施形態では、ビデオストリーム分解モジュールは、ビデオストリームを一連の画像に分解する。また、いくつかの実施形態では、一連の画像は、メモリ装置に記憶される。

【0012】

[0012]いくつかの実施形態では、器具先端基準サイズ決定モジュールは、訓練済み機械学習アルゴリズムを使用して、識別された手術器具の器具先端のサイズを推定する。いくつかの実施形態では、病変サイズ決定モジュールは、推定された器具先端サイズに少なくとも部分的に基づいて、識別された病変のサイズ（例えば組織損傷のサイズまたは腫瘍のサイズ）を推定する。

【0013】

[0013]いくつかの実施形態では、放射線イメージングモジュールは、放射線学取込モジュール、三次元画像構成モジュール、視野マッピングモジュール、リアルタイム体積算出モジュールを含む。いくつかの実施形態では、放射線学取込モジュールは、対象の放射線イメージをインポートするために、画像の外部リポジトリとインターフェース接続する。いくつかの実施形態では、放射線イメージは、磁気共鳴画像法（ＭＲＩ）、コンピュータ断層撮影法（ＣＴ）スキャン、陽子射出断層撮影法（ＰＥＴ）スキャン、超音波、またはそれらの組み合わせの１つまたは複数を含む。いくつかの実施形態では、放射線イメージは、標識の画像を含む。いくつかの実施形態では、放射線イメージは、体積的なデータを含む。

【0014】

[0014]いくつかの実施形態では、三次元画像再構成モジュールは、体積的な放射線イメージから三次元物体（例えば、肩関節）を生成する。いくつかの実施形態では、三次元物体は、メモリ装置に保存される。いくつかの実施形態では、三次元画像再構成モジュールは、１つまたは複数の標識を三次元物体上にマッピングするための座標をさらに生成する。

【0015】

[0015]いくつかの実施形態では、ビデオストリームを標識するステップは、１つまたは複数の要素を囲む形状輪郭を表示するステップをさらに含む。いくつかの実施形態では、操作者は、ビデオストリームにおいて領域を選択するために標準的な手術用プローブを使用する。いくつかの実施形態では、ビデオストリームにおける複数の点は、２つ以上の点を含む。いくつかの実施形態では、１つまたは複数の測定値を計算するステップは、第１の点と第２の点との間の距離を計算するステップを含む。いくつかの実施形態では、１つまたは複数の測定値を計算するステップは、ビデオストリームの視野において第１の点および第２の点を検出するステップを含む。いくつかの実施形態では、第１の点または第２の点の少なくとも１つは、視野の外側で移動する。いくつかの実施形態では、第２の点は、測定時に手術用プローブの先端に最も近い、ビデオストリームにおける１つまたは複数の要素のうちの少なくとも１つの要素上の位置である。いくつかの実施形態では、第１の点と第２の点との間の距離は、ほぼ継続的に測定され、表示される。

【0016】

[0016]いくつかの実施形態では、選択された領域のために１つまたは複数の測定値を計算するステップは、例えば選択された領域の全部または部分に対して、体積計算を実行するステップを含む。いくつかの実施形態では、上記体積計算は、対象の三次元放射線像を受信するステップと、ビデオストリームにおける１つまたは複数の要素から少なくとも１つの要素を選択するインジケーションを操作者から受信するステップと、三次元放射線像上の選択された少なくとも１つの要素に少なくとも部分的に基づいて、選択された領域の体積を計算するステップとを含む。

【0017】

[0017]いくつかの実施形態では、ビデオストリームにおける１つまたは複数の要素から少なくとも１つの要素を選択する操作者のインジケーションを受信するステップは、操作者から選択領域の輪郭を受信するステップを含む。いくつかの実施形態では、体積は、操作者から受信された輪郭に基づいて計算される。いくつかの実施形態では、１つまたは複数の測定値を計算するステップは、上方関節包再建術で使用される。いくつかの実施形態では、１つまたは複数の測定値を計算するステップは、骨喪失推定のために使用される。

【0018】

[0018]いくつかの実施形態では、動作は、さらに、ラベルまたは測定値を、受信されたビデオストリームとブレンドすることによってオーバーレイビデオストリームを生成するステップと、オーバーレイされたビデオストリームを表示装置に表示するステップとを含む。

【0019】

[0019]本発明の他の態様は、肩、膝、股関節、足首、または他の関節の修復など関節鏡視下手技を誘導するためのコンピュータ実施方法を提供する。内視鏡視下手技、腹腔鏡視下手技、および介入心臓血管手術などの様々な低侵襲的手技を含む他の医学的手技の誘導に対するシステムの実施形態の適用も企図される。いくつかの実施形態では、上記方法は、イメージング装置によって取り込まれたビデオストリームを受信するステップと、訓練済みコンピュータアルゴリズムの少なくとも１つを使用してビデオストリームを処理するステップと、ビデオストリームにおける複数の点または領域のうちの１つまたは複数を選択するインジケーションを操作者から受信するステップと、ビデオストリームにおける選択された領域のために１つまたは複数の測定値を計算するステップと、関節鏡視下手技中に操作者によって使用されるように、手術中に表示装置上に測定値を表示するステップとを含む。いくつかの実施形態では、１つまたは複数の測定値は、長さ、表面積、周囲長、または体積のうちの１つまたは複数を含む。いくつかの実施形態では、上記処理は、（ｉ）ビデオストリームにおいて１つまたは複数の要素を識別するステップと、（ｉｉ）ビデオストリームにおいて識別された要素を標識するステップとを含む。いくつかの実施形態では、この１つまたは複数の要素は、解剖学的構造、手術器具、操作手順またはアクション、もしくは病変のうちの１つまたは複数を含む。

【0020】

[0020]いくつかの実施形態では、関節鏡視下手技は、関節鏡視下手術である。いくつかの実施形態では、イメージング装置は介入装置である。いくつかの実施形態では、ビデオストリームは単眼である。いくつかの実施形態では、ビデオストリームは立体視である。いくつかの実施形態では、イメージング装置は、関節鏡の１つまたは複数である一方、心臓鏡、内視鏡または腹腔鏡のうちの１つまたは複数に対応し得る。

【0021】

[0021]いくつかの実施形態では、訓練済みコンピュータアルゴリズムは、１つまたは複数の訓練済み機械学習アルゴリズム、１つまたは複数の訓練済み深層学習アルゴリズム、またはその両方の組み合わせを含む。

【0022】

[0022]いくつかの実施形態では、ビデオストリームを処理するステップは、ビデオストリーム分解モジュール、器具認識モジュール、器具先端基準サイズ決定モジュール、解剖学的構造認識モジュール、器具追跡モジュール、ジェスチャ認識モジュール、標識設置モジュール、距離アグリゲータモジュール、ビデオブレンドモジュール、病変検出モジュール、病変サイズ決定モジュール、または放射線イメージングモジュールのうちの１つまたは複数を含むモジュールのリストからの１つまたは複数の処理モジュールをさらに含む。いくつかの実施形態では、１つまたは複数の処理モジュールは、１つまたは複数の訓練済み機械学習アルゴリズムを含む。いくつかの実施形態では、上記訓練済み機械学習アルゴリズムは、ニューラルネットワークである。いくつかの実施形態では、ビデオストリーム分解モジュールは、ビデオストリームを一連の画像に分解する。いくつかの実施形態では、一連の画像は、メモリ装置に記憶される。

【0023】

[0023]いくつかの実施形態では、器具先端基準サイズ決定モジュールは、訓練済み機械学習アルゴリズムを使用して、識別された手術器具の器具先端のサイズを推定する。いくつかの実施形態では、病変サイズ決定モジュールは、推定された器具先端サイズに少なくとも部分的に基づいて、識別された病変のサイズを推定する。

【0024】

[0024]いくつかの実施形態では、放射線イメージングモジュールは、放射線学取込モジュール、三次元画像構成モジュール、視野マッピングモジュール、リアルタイム体積算出モジュールを含む。いくつかの実施形態では、放射線学取込モジュールは、対象の放射線イメージをインポートするために、外部リポジトリとインターフェース接続する。いくつかの実施形態では、放射線イメージは、ＭＲＩ、ＣＴスキャン、ＰＥＴスキャン、超音波、またはそれらの組み合わせのうちの１つまたは複数を含む。いくつかの実施形態では、放射線イメージは、標識の画像を含む。いくつかの実施形態では、放射線イメージは、体積的なデータを含む。いくつかの実施形態では、三次元画像再構成モジュールは、体積的な放射線イメージから三次元物体を生成する。いくつかの実施形態では、三次元物体は、メモリ装置に保存される。いくつかの実施形態では、三次元画像再構成モジュールは、標識を三次元物体上にマッピングするための座標をさらに生成する。

【0025】

[0025]いくつかの実施形態では、ビデオストリームを標識するステップは、さらに、１つまたは複数の要素を囲む形状輪郭を表示するステップを含む。いくつかの実施形態では、操作者は、ビデオストリームにおいて領域を選択するために標準的な手術用プローブを使用する。いくつかの実施形態では、ビデオストリームにおける複数の点は、２つ以上の点を含む。いくつかの実施形態では、１つまたは複数の測定値を計算するステップは、第１の点と第２の点との間の距離を計算するステップを含む。いくつかの実施形態では、第１の点および第２の点は、ビデオストリームの視野において検出可能である。いくつかの実施形態では、第１の点または第２の点の少なくとも１つは、視野の外側で移動する。いくつかの実施形態では、第２の点は、測定時に手術用プローブの先端に最も近い、ビデオストリームにおける１つまたは複数の要素のうちの少なくとも１つの要素上の位置である。

【0026】

[0026]いくつかの実施形態では、第１の点と第２の点との間の距離は、ほぼ継続的に測定され、表示される。いくつかの実施形態では、選択された領域のために１つまたは複数の測定値を計算するステップは、体積計算を実行するステップを含む。いくつかの実施形態では、上記体積計算は、対象の三次元放射線像を受信するステップと、ビデオストリームにおける１つまたは複数の要素から少なくとも１つの要素を選択するインジケーションを操作者から受信するステップと、三次元放射線像上の選択された少なくとも１つの要素に少なくとも部分的に基づいて、選択された領域の体積を計算するステップとを含む。いくつかの実施形態では、ビデオストリームにおける１つまたは複数の要素から少なくとも１つの要素を選択する操作者のインジケーションを受信するステップは、操作者から選択領域の輪郭を受信するステップを含む。いくつかの実施形態では、体積は、操作者から受信された輪郭に基づいて計算される。いくつかの実施形態では、１つまたは複数の測定値を計算するステップは、上方関節包再建術で使用される。いくつかの実施形態では、１つまたは複数の測定値を計算するステップは、骨喪失推定のために使用される。

【0027】

[0027]いくつかの実施形態では、上記方法は、さらに、ラベルまたは測定値を、受信されたビデオストリームとブレンドすることによってオーバーレイビデオストリームを生成するステップと、オーバーレイされたビデオストリームを表示装置に表示するステップとを含む。

【0028】

[0028]本発明の他の態様は、関節鏡視下手技、内視鏡視下手技、腹腔鏡視下手技または他のリアルタイムにイメージングされる外科的手技からのビデオストリームなど、外科的ビデオストリームにおける視野を拡大するためのコンピュータ実施方法を提供する。いくつかの実施形態によれば、上記方法は、イメージング装置によって取り込まれたビデオストリームを受信するステップと、ビデオストリームを１つまたは複数の画像に分解するステップと、（ｉ）１つまたは複数の画像特徴を抽出する訓練済みコンピュータアルゴリム、（ｉｉ）１つまたは複数の解剖学的構造を識別する訓練済みコンピュータアルゴリズムのうちの少なくとも１つを使用して、１つまたは複数の画像を処理するステップと、抽出された特徴または識別された解剖学的構造に基づいて１つまたは複数の画像を整合することによって、視野を拡大する複合画像を生成するステップとを含む。

【0029】

[0029]いくつかの実施形態では、介入イメージング装置は内視鏡である。いくつかの実施形態では、外科的ビデオストリームは、内視鏡視下手術ビデオストリームである。いくつかの実施形態では、内視鏡視下手術は、関節鏡視下手術、ＧＩ手術、婦人科手術、または泌尿器科手術のうちの１つまたは複数である。様々な実施形態では、ビデオストリームは、または立体視であることが可能であり、上記システムは、医学的手技の過程において、一方からの画像を処理するとともに、その双方間を切り換えるように構成可能である。いくつかの実施形態では、１つまたは複数の画像特徴は、特異なピクセルの１つまたは複数のセットを含む。いくつかの実施形態では、特異なピクセルは特異な色を含む。いくつかの実施形態では、訓練済みコンピュータアルゴリズムは、１つまたは複数の訓練済み機械学習アルゴリズム、１つまたは複数の訓練済み深層学習アルゴリズム、またはその両方の組み合わせを含む。いくつかの実施形態では、距離、表面積、または体積は、複合画像を使用して測定可能である。

【0030】

[0030]本発明の他の態様は、１つまたは複数のコンピュータプロセッサによって実行されたとき、上記または本明細書の他の箇所で説明される方法のいずれかを実施する機械実行可能コードを含む非一時的コンピュータ可読媒体を提供する。

【0031】

[0031]本発明の他の態様は、１つまたは複数のコンピュータプロセッサと、それに結合されたコンピュータメモリとを備えるシステムを提供する。このコンピュータメモリは、１つまたは複数のコンピュータプロセッサによって実行されたとき、上記または本明細書の他の箇所で説明される方法のいずれかを実施する機械実行可能コードを含む。

【0032】

[0032]本発明の実施形態のさらなる態様および利点は、以下の詳細な説明から当業者にとって容易に明らかとなり、本発明の例に過ぎない実施形態が図示され、説明される。認識されるように、本発明は、他の実施形態および異なる実施形態が可能であり、そのいくつかの詳細は、全てが本開示から逸脱せずに、様々な明らかな点において修正可能である。したがって、図面および明細書は、性質という観点から例示的であるとみなされるべきであり、限定的であるとみなされるべきでない。
参照による組み込み
[0033]本明細書で言及される全ての公報、特許および特許出願は、本明細書において、それぞれの個別の公報、特許、または特許出願が参照によって組み込まれることが明確かつ個別に示されるのと同程度に、参照によって組み込まれる。参照によって組み込まれる公報および特許または特許出願が本明細書に含まれる発明と矛盾する範囲で、本明細書は、そのような矛盾した事柄に取って代わる、および／またはそれに優先することが意図される。

【0033】

[0034]本発明の実施形態の新規の特徴が、添付の特許請求の範囲における詳細とともに説明される。本発明の特徴および利点のより深い理解は、本発明の原理が利用される例示的な実施形態を説明する以下の詳細な記載および以下の添付図面（本明細書では「図面」および「図」とも呼ばれる）を参照することによって実現される。

【図面の簡単な説明】

【0034】

【図1】[0035]いくつかの実施形態による、関節鏡視下手技を支援するためのシステムのハードウェア構成の概略的な例を示す図である。

【図2A】[0036]いくつかの実施形態による、プローブを使用して、測定のための開始位置を初期化することの例を示す図である。

【図2B】[0037]いくつかの実施形態による、２点間測定の例を示す図である。

【図2C】[0038]いくつかの実施形態による、湾曲した２点間測定の例を示す図である。

【図3】[0039]いくつかの実施形態による、２点間測定を実行する方法の例示的なフローチャートの概略を示す図である。

【図4】[0040]いくつかの実施形態による、関節鏡視下手術中に選択領域の体積を測定する例示的なワークフローの概略を示す図である。

【図5】[0041]いくつかの実施形態による、関節鏡視下手術の拡大術野を生成するための例示的なワークフローの概略を示す図である。

【図6】[0042]いくつかの実施形態による、本明細書において提示される方法を実施するようにプログラムされる、または他のやり方で構成されるコンピュータシステムを示す図である。

【図7A】[0043]いくつかの実施形態による、２点間測定のための点を選択する例を示す図である。

【図7B】[0044]いくつかの実施形態による、２点間測定の例を示す図である。

【発明を実施するための形態】

【0035】

[0045]本発明の様々な実施形態が図示され、本明細書で説明されるが、当業者には、そのような実施形態が例として提供されているのに過ぎないことが明らかであろう。当業者は、本発明から逸脱しない範囲で、数多くの変形、変更、および置換に想到し得る。なお、本明細書で説明される本発明の実施形態の様々な代替案が用いられ得ることを理解されたい。

【0036】

[0046]本発明の様々な実施形態は、ＡＩを使用して、手術中の状況において外科医を支援するためのコンピュータ実施による医療システム、装置、および方法を提供する。本明細書で開示されるシステム、装置、および方法は、外科手術に関わる様々な要素（例えば、手術器具、解剖学的特徴、または病変）の高速（例えば、リアルタイム）かつ確実な分類を実現し、様々な要素の分類に基づいて、高い精度および正確性による形状の推定または測定値（例えば、長さ、表面積、または体積的な測定値）の評価を行うことによって、術野における形状推定および測定値評価を行う既存の方法に関して改善し得る。例えば、本明細書で提供されるシステム、装置、および方法は、外科手術に関わる要素のリアルタイム分類を改善する分類器を構築するためにＡＩによる方法（例えば、機械学習、深層学習）を使用することができ、操作者（例えば、手術用プローブの使用による）からの手術中のコマンドによって、または手術前医用画像が手術領域における関心位置（例えば、標識）を含む場合に手術前医用画像（例えば、ＭＲＩ、またはＣＴスキャン）を処理することによって、標識の位置を識別する。ＡＩによるアプローチは、データセットから新たな洞察を得るために、大量のデータセットを活用し得る。分類器モデルは、手術に関わる様々な要素のリアルタイムでの特徴付けを改善することができ、より高い手術成功率につながり得る。この分類器モデルは、操作者（例えば、外科医、手術室担当看護師、外科技術者）に、物理的測定の欠陥を解消するより正確な測定のための情報を提供し得る。測定および形状推定は、ユーザからの入力（例えば、ボタン押下またはフットペダル押下）を使用することによって、動的、削除可能、またはなぞることが可能である。この測定は、従来の測定器具、例えば定規）の使用と比べて、手術中に手術器具の物理的な移動を抑制しないことが可能である。この測定は、手術で使用されている器具（例えば、器具先端）を使用して実行され得る。このシステムおよび方法は、ここでは、（例えば、操作者からのコマンドに基づいて測定値を表示または非表示する）要望に応じて、外科手術のビデオストリーム上に測定値または形状推定結果をオーバーレイできる。

【0037】

[0047]以下で、様々な実施形態について詳細に言及し、その例が添付図面に示される。以下の詳細な説明において、本発明および記載される実施形態の十分な理解を実現するために、多数の特定の詳細が記載される。ただし、本発明の実施形態は、それらの特定の詳細がなくても任意選択で実践される。他の例では、実施形態の態様を不必要に不明瞭としないために、よく知られた方法、手順、構成要素、および回路は詳細に説明されていない。図面において、同一の参照番号が同一または類似のステップまたは構成要素を示す。

【0038】

[0048]本明細書で使用される用語は特定の実施形態を説明する目的のみであり、特許請求の範囲を限定することは、意図されない。実施形態および添付の特許請求の範囲の記載で使用される場合、文脈が明確に示さない限り、単数形「ａ」、「ａｎ」、および「ｔｈｅ」は複数形も同様に含むことが意図される。また、「および／または」という語は、本明細書で使用される場合、関連する列挙項目の１つまたは複数のいずれかの可能な組み合わせまたは全ての可能な組み合わせを指し、それらを包含することを理解されよう。

【0039】

[0049]本明細書で使用される場合、「～の場合」という語は、「とき」または「したとき」あるいは、文脈に応じて、先行して記述された条件が真であるという「決定に応答して」、または「決定にしたがって」または「検出に応答して」を意味すると任意選択で解釈される。同様に、「［先行する記述された条件が真である］と判断される場合」または「［先行する記述された条件が真である］場合」あるいは「［先行する記述された条件が真である］とき」という表現は、文脈に応じて、先行して記述された条件が真であるという「決定したとき」もしくは「決定に応答して」もしくは「決定にしたがって」、または「検出したとき」もしくは「検出に応答して」を意味すると任意選択で解釈される。

【0040】

[0050]本明細書で使用される場合、特記しない限り、「約」または「およそ」という語は、当業者によって決定されるような特定の値に対する許容範囲の誤差を意味し、その値がどのように測定または決定されるかに部分的に依存する。特定の実施形態では、「約」または「およそ」という語は、１、２、３、または４の標準偏差内を意味する。特定の実施形態では、「約」または「およそ」という語は、所与の値または範囲の３０％、２５％、２０％、１５％、１０％、９％、８％、７％、６％、５％、４％、３％、２％、１％、０．５％、０．１％、または０．０５％以内を意味する。

【0041】

[0051]本明細書で使用される場合、「備える」、「備えている」という語、またはその何らかの他の変形は、列挙されている要素を備えるプロセス、方法、物品、または装置がそれらの要素を含むだけでなく明示的に列挙されていない他の要素、またはそのようなプロセス、方法、物品、または装置に固有の他の要素を含み得るように、非排他的含有物を網羅することが意図される。

【0042】

[0052]本明細書で使用される場合、「対象」および「患者」という語は、入れ替え可能に使用される。本明細書で使用される場合、「対象」という語は、人間を指す。特定の実施形態では、対象は外科手術を経験している。特定の実施形態では、対象は、０カ月から６カ月、６カ月から１２カ月、１歳から５歳、５歳から１０歳、１０歳から１５歳、１５歳から２０歳、２０歳から２５歳、２５歳から３０歳、３０歳から３５歳、３５歳から４０歳、４０歳から４５歳、４５歳から５０歳、５０歳から５５歳、５５歳から６０歳、６０歳から６５歳、６５歳から７０歳、７０歳から７５歳、７５歳から８０歳、８０歳から８５歳、８５歳から９０歳、９０歳から９５歳、または９５歳から１００歳である。

【0043】

[0053]「少なくとも」、「より大きい」、または「以上」という表現が一連の２つ以上の数値における最初の数値の前に記載されている場合は常に、「少なくとも」、「より大きい」、または「以上」という表現は、その一連の数値のうちの数値のそれぞれに対して適用される。例えば、１、２、または３以上は、１以上、２以上、または３以上と等価である。

【0044】

[0054]「～を超えない」、「未満」または「以下」という表現が一連の２つ以上の数値における最初の数値の前に記載されている場合は常に、「～を超えない」、「未満」または「以下」という表現は、その一連の数値のうちの数値のそれぞれに対して適用される。例えば、３、２、または１以下は、３以下、２以下、または１以下と等価である。

【0045】

[0055]「外科用ＡＩ」または「外科用ＡＩモジュール」という語は、本明細書で使用される場合、全般的に、人工知能アルゴリズムを使用して、外科手術の前、間、および／または後で支援するシステム、装置、または方法を指す。外科用ＡＩモジュールは、入力データ、機械学習または深層学習アルゴリズム、訓練データセット、または他のデータセットの組み合わせとして定義され得る。

【0046】

[0056]「機械学習」という語は、本明細書で使用される場合、全般的に、時間の経過とともに自動的に改良し得るコンピュータアルゴリズムを指し得る。機械学習の本明細書におけるいずれかの記載は、人工知能に適用されることが可能であり、その逆も可能であり、または任意のそれらの組み合わせにも適用可能である。

【0047】

[0057]本明細書で使用される場合、「継続的」、「継続的に」という語、またはその何らかの他の変形は、全般的に、ほぼ途切れないプロセス、またはプロセスの文脈において許容可能な時間遅延を有するプロセスを指す。

【0048】

[0058]「ビデオストリーム」または「ビデオフィード」という語は、本明細書で使用される場合、デジタルカメラによって生成されたデータを指す。ビデオフィードは、一連の静止画または動画であり得る。

【0049】

[0059]「部位」、「器官」、「組織」、「構造」という語は、本明細書で使用される場合、全般的に、人体の解剖学的特徴を指し得る。部位は器官より大きい場合があり、器官を含み得る。器官は、１つまたは複数の組織の種類および構造を含み得る。組織は、共通の機能を完成させるために構造的に結合された細胞のグループを指し得る。構造は、組織の一部を指すことが可能である。いくつかの実施形態では、構造は、解剖学的特徴を創出するためにともに結合された１つまたは複数の組織の１つまたは複数の部分を指し得る。

【0050】

[0060]「術野」または「視野」という語は、本明細書で使用される場合、介入イメージング装置によって取り込まれる視界の範囲を指す。視野は、人間の眼によって観察可能で、デジタルカメラによって取り込まれる視覚データの範囲を指し得る。

【0051】

[0061]「決定」という語は、本明細書で説明される場合、機械学習またはＡＩアルゴリズムからの出力を指し得る。決定は、標識すること、分類、予測などを含み得る。

【0052】

[0062]「介入イメージング装置」という語は、本明細書で使用される場合、全般的に、医療目的のために使用されるイメージング装置を指す。介入イメージング装置は、外科手術において使用されるイメージング装置を指し得る。外科手術は、いくつかの実施形態では、手術のシミュレーションでもよい。

【0053】

[0063]「操作者」という語は、本明細書で使用される場合、外科手術に関わる医療の専門家を指す。操作者は、外科医、手術室担当看護師、外科技術者であることが可能である。

【0054】

[0064]「標識」、「任意の標識」、「仮想標識」、および「基準マーカー」という語は、本明細書では入り替え可能に使用される場合、外科的手技または他の医学的手技を誘導するために使用されるマークを指す。

【0055】

[0065]本発明の態様は、コンピュータ実施による任意の標識配置を可能にすることによって関節鏡視下手技を支援するためのシステムを提供する。実施形態によれば、このシステムは、１つまたは複数のコンピュータプロセッサと、１つまたは複数のコンピュータプロセッサによって実行されたとき、１つまたは複数のコンピュータプロセッサに、動作を実行させるように動作可能な命令を記憶する１つまたは複数の非一時的コンピュータ可読記憶媒体とを備えてもよく、動作は、関節鏡イメージング装置からビデオストリームを受信するステップと、１つまたは複数の標識の座標の１つまたは複数のセットを受信するステップと、ビデオストリーム上に１つまたは複数の標識をオーバーレイするステップと、関節鏡視下手技中に操作者によって使用されるように、手術中に１つまたは複数の表示装置上にオーバーレイを表示するステップとを含み得る。いくつかの実施形態では、操作者（例えば、外科医）は、手術前に、１つまたは複数の標識の座標の１つまたは複数のセットを提供する。

【0056】

[0066]本発明の他の態様は、関節鏡視下手技を支援するための方法を提供する。実施形態によれば、このシステムは、イメージング装置によって取り込まれたビデオストリームを受信するステップと、訓練済みコンピュータアルゴリズムの少なくとも１つを使用してビデオストリームを処理するステップとを含み、処理するステップは、（ｉ）ビデオストリームにおいて１つまたは複数の要素を識別するステップであって、１つまたは複数の要素は、解剖学的構造、手術器具、操作手順またはアクション、もしくは病変のうちの１つまたは複数を含む、ステップと、（ｉｉ）ビデオストリームにおいて前記識別された要素を標識するステップとを含む。この方法は、さらに、ビデオストリームにおける複数の点または領域のうちの１つまたは複数を選択するインジケーションを操作者から受信するステップと、関節鏡視下手技中に操作者によって使用されるように、手術中に表示装置上に測定値を表示するステップとを含み得る。

【0057】

[0067]上記のビデオストリームは、関節鏡視下手技中に関節鏡イメージング装置によって提供され得る。いくつかの実施形態では、イメージング装置は介入イメージング装置である、または介入イメージング装置に組み込まれる。いくつかの実施形態では、関節鏡イメージング装置はデジタルカメラを備える。ビデオストリームは、関節鏡視下手技に特化したデジタルカメラから取得され得る。様々な実施形態では、ビデオストリームは、２つのビュー間で単眼、立体視が切り換え可能でもよく、または単眼のビデオストリームと立体視のビデオストリームとの組み合わせを含み得る。このデジタルカメラは、関節鏡関節における操作に適した硬性鏡に搭載されてもよい。この硬性鏡は、術野を照明する光ファイバーを備え得る。デジタルカメラは、カメラ制御ユニットに搭載されてもよい。いくつかの実施形態では、カメラ制御ユニットは、デジタルカメラによって生成されたデジタル情報を取り込むように構成される。いくつかの実施形態では、カメラ制御ユニットは、デジタルカメラによって生成されたデジタル情報をビデオストリームに変換する。いくつかの実施形態では、カメラ制御ユニットは、光源を制御するように構成される。いくつかの実施形態では、カメラ制御ユニットは、デジタルカメラによって生成されたデジタル情報をメモリ装置に記録するように構成される。いくつかの実施形態では、デジタル情報を記録するために使用されるメモリ装置はローカルメモリ装置である一方、以下で説明するようなリモート装置でもよい。いくつかの実施形態では、カメラ制御ユニットは、１つまたは複数のコンピュータプロセッサからの出力をビデオストリームにオーバーレイするように構成される。いくつかの実施形態では、メモリ装置は、リモートまたはクラウドベースのメモリ装置である。カメラ制御ユニットは、ビデオストリームを１つまたは複数のコンピュータプロセッサに送信し得る。いくつかの実施形態では、１つより多いカメラ制御ユニットが存在する。例えば、様々な実施形態では、２つ、３つ、４つ、５つ、またはそれ以上のカメラ制御ユニットが存在する。１つまたは複数のカメラ制御ユニットは、ビデオストリームを、ネットワーク接続（無線でもよい）または有線メディア接続を介してコンピュータプロセッサへ送信し得る。ビデオストリームは、立体視または単眼でもよい。いくつかの実施形態では、システムは、表示モニタをさらに備える。いくつかの実施形態では、システムは、手術中に少なくとも１人の操作者から（例えば測定の実行を作動させるか、停止させるか、または形状を推定するかの）入力を受信する機構を含む。いくつかの実施形態では、その機構は、押しボタン、タッチスクリーン装置、フットペダル、ジェスチャ認識システム、または音声認識システムを介して入力を受信する。

【0058】

[0068]いくつかの実施形態では、上記の座標の１つまたは複数のセットは、手術点または手術部位を選択するために、ビデオストリームの画像に印付けできるデジタルポインタ（例えば、コンピュータマウスまたは関連装置）を使用して、外科手術中に提供される。いくつかの実施形態では、操作者（例えば、外科医）は、標準的な手術用プローブを使用して所望の位置を示すことによって、手術中に、座標の１つまたは複数のセットを提供する。いくつかの実施形態では、所望の位置の座標が選択または示された後、操作者は、システムが位置を登録できるようにコマンドを発出できる。いくつかの実施形態では、システムは、押しボタン、タッチスクリーン装置、フットペダル、ジェスチャ認識システム、または音声認識システムを介して操作者からの登録コマンドを受信する。

【0059】

[0069]図１は、本明細書で説明されるシステムの実施形態のハードウェア構成の概略的な例を示す図である。例示的なシステム１００は、複数の入力を備え得る。様々な実施形態では、この複数の入力は、ビデオストリーム入力１０１、操作者（例えば、外科医）入力１０２、および１つまたは複数の手術前イメージング入力を含み得る。この手術前イメージング入力は、蛍光透視イメージング入力１０３、医療データシステム（例えば、ＭＲＩまたはＣＴスキャンなどの放射線イメージング）入力１０４を含み得る。いくつかの実施形態では、それらの複数の入力のそれぞれは、対応インターフェースに接続される。例えば、１つまたは複数の実施形態によれば、ビデオストリーム入力１０１はカメラ制御ユニット（ＣＣＵ）１１１に接続され、外科医入力モジュール１０２は制御インターフェース１１２に接続され、蛍光透視イメージング入力１０３は蛍光透視インターフェース１１３に接続され、またはイメージング入力１０４は医療データシステム（例えば、放射線イメージング）インターフェース１１４に接続される。それらのインターフェースのそれぞれは、その対応入力から入力を受信するように構成され得る。システム１００は、外科医、臨床データシステム、外科用機器などから様々なモダリティにおいて入力を受信するために、他の外部インターフェースをサポートしてもよい。複数のインターフェースによって受信された複数の入力は、その後、処理ユニットに送信されて、人工知能（ＡＩ）パイプラインを使用して処理されてもよい。いくつかの実施形態では、処理ユニットは、中央演算装置（ＣＰＵ）１０６、画像処理装置（ＧＰＵ）１０７、またはその両方を備え得る。いくつかの実施形態では、ＣＰＵまたはＧＰＵは、複数のＣＰＵまたはＧＰＵを含む。ＣＰＵまたはＧＰＵは、メディアコネクタ（例えば、ＨＤＭＩケーブル、ＤＶＩコネクタ）を介して複数のインターフェースに接続され得る。ＣＰＵまたはＧＰＵは、それによって少ない有線接続でより高い柔軟性を実現し得る、ネットワーク接続（例えば、ＴＣＰ／ＩＰ）を介した複数のインターフェース（例えば、外科用ビデオカメラ）に接続されてもよい。いくつかの実施形態では、ビデオ処理および再生におけるレイテンシは、メディアコネクタと比較した場合に接続がネットワークを介する場合の方が高くなり得る。いくつかの実施形態では、ネットワーク接続は、ローカルネットワーク接続でもよい。事前に定義された装置（例えば、外科手術で使用されている装置）のセットを含むローカルネットワークは、分離されていてもよい。リアルタイムの（例えば、外科手術中の）フィードバックのために、より低いレイテンシがより望ましい場合がある。いくつかの実施形態では、より高いレイテンシを有するシステム構成は、訓練の目的のために使用可能である（例えば、モック手術）。ＡＩパイプラインは、１つまたは複数のコンピュータビジョン（ＣＶ）モジュールを含む１つまたは複数の機械学習モジュールまたはＡＩモジュールを備え得る。いくつかの実施形態では、ＡＩモジュールおよびＣＶモジュールは、ビデオおよびＡＩ推論パイプライン（ＶＡＩＰ）１０５によってサポートされる。いくつかの実施形態では、ＶＡＩＰ１０５は、ＡＩモジュールおよびＣＶモジュールをサポートし、モジュール間の制御および情報のフローを管理する。ＶＡＩＰ１０５は、そのフローを接続および管理するための命令を含む構成ファイルを備え得る。ＶＡＩＰ１０５は、ＧＰＵ１０７上でのＡＩアルゴリズムの実行をサポートし得る。ＶＡＩＰ１０５は、さらに、直接メディアインターフェース（例えば、ＨＤＭＩまたはＤＶＩ）をサポートし得る。ＡＩパイプラインによって処理される、形状推定結果、測定値（例えば、距離、表面積、または体積）、または標識位置と、複数の入力またはビデオブレンド１０９から識別される１つまたは複数の特徴要素とを含む複数の入力の１つまたは複数の出力１２０が、生成され得る。１つまたは複数の出力は、出力１３０を生成するためにビデオストリーム入力１０１にオーバーレイされ得る。いくつかの実施形態では、システム１００は表示モニタを備える。いくつかの実施形態では、出力１３０は、表示モニタ（例えば、モニタ、テレビ（ＴＶ））に表示される。いくつかの実施形態では、システムは表示装置を備える。いくつかの実施形態では、出力１２０およびビデオブレンド１０９は、ＣＣＵへ送り返され、１３０を生成するためにビデオストリームにオーバーレイされる。

【0060】

[0070]いくつかの実施形態では、関節鏡は、少なくとも毎秒約１０フレーム（ｆｐｓ）のレートで連続画像（例えば、ビデオフィード）を生成し得るが、本発明の実施形態は、毎秒のフレーム数がより多い、またはより少ないレートでビデオフィードを入力および処理するように構成され得る。いくつかの実施形態では、システムは、ビデオストリーム（例えばビデオストリーム入力１０１）からの２つの連続フレーム間で停止する場合があり、システムにおいてレイテンシを発生させる。いくつかの実施形態では、システムにおけるレイテンシは、最大でも１／ｆｐｓである。様々な実施形態では、システムのレイテンシは、さらに、外科用カメラによる連続画像生成のレートの逆数未満であり得る。

【0061】

[0071]実施形態では、出力１３０は、２点間距離測定を含み得る。開始位置を登録するために、標準的な手術用プローブが使用され得る。いくつかの実施形態では、プローブまたはその一部のサイズが既知である。システムは、プローブを識別し、プローブの位置を記憶し得る。その後、第１の点から第２の点へのプローブ位置の変位を集約することによって、２点間距離が計算され得る。２点間距離の測定値は、プローブのサイズおよびプローブの位置（例えばカメラのレンズからのプローブの距離）に少なくとも部分的に基づいて推定され得る。図２Ａは、任意のプローブ２０１を使用して、測定のための開始位置を初期化する技法の例を示す図である。プローブと、そのプローブの先端２０２は、システムによって認識される。いくつかの実施形態では、プローブ先端は、開始位置を選択するために使用される。そのような実施形態では、操作者（例えば、外科医）は、開始位置を登録するコマンドを発出し得る。このコマンドは、ジェスチャ、音声コマンド、機械的ボタン（例えばペダル）、またはデジタルボタン（例えば、タッチスクリーン上のボタン）でもよい。操作者は、その後、１つまたは複数の解剖学的構造の表面に沿って経路をなぞり、終了位置で停止してもよい。いくつかの実施形態では、システムは、開始位置と終了位置との間でなぞられた経路に沿って距離を算出する。いくつかの実施形態では、システムは、適切な単位、すなわちミリメートル（ｍｍ）、インチ（ｉｎ）などで測定値を出力する。いくつかの実施形態では、経路全体は、常に術野内に存在する。いくつかの実施形態では、経路は湾曲した経路である。いくつかの実施形態では、経路は直線である。図２Ｂは、開始位置２０３と終了位置２０４との間の２点間測定の例を示す図であり、直線状のなぞられた線２０５を有する。図２Ｃは、２点間測定の例を示す図であり、なぞられた線２０６が湾曲している。いくつかの実施形態では、カメラが（例えばプローブを追って）離れた方向にパンするときに、開始位置がカメラの視野から外れる。システムは、開始点が視野外に位置するとき、２点間測定を実行する。いくつかの実施形態では、開始位置および／または終了位置は、拡張キャンバス上に表示される。拡張キャンバスは、より大きい視野を生成するために互いに接続され得る、ビデオストリームから取得された様々な画像における術野を含み得る。いくつかの実施形態では、プローブは、カメラが手術領域とその周辺をパンしたときに、カメラからの画像を合成することによって組み立てられる仮想拡張視野（または拡張キャンバス）上で動作する。いくつかの実施形態では、操作者（例えば、外科医）は、解剖学的構造の輪郭をなぞる。その後、システムは、なぞられた領域（例えば、解剖学的構造の一部分または病変）の面積を出力し得る。いくつかの実施形態では、システムは、操作者によってなぞられた部位の体積に対する測定値を提供する。例えば、システムは、操作者によってなぞられた解剖学的構造の部分または病変の体積を測定するように、手術前入力（例えばＭＲＩまたはＣＴ）を使用し得る。

【0062】

[0072]開始位置および終了位置を初期化することを含む測定の実行の他の例が図７Ａおよび図７Ｂに提示される。外科医は、フットペダルまたはボタンの押下を使用して開始位置を印付けし得る（図７Ａ）。システムは、プローブ７０１の先端を認識してもよく、開始位置を表す第１の位置を登録する。外科医は、プローブを他の位置に移動してもよく、フットペダルまたはボタンの押下を使用して終了位置を印付けし得る。システムは、プローブヘッド７０１を認識してもよく、終了位置を表す第２の位置を登録し得る。システムは、その後、開始位置と終了位置との間の距離を計算し得る。開始位置７０５、終了位置７０６、および距離７０７は、画面上に視覚的に出力されてもよい（図７Ｂ）。

【0063】

[0073]いくつかの実施形態では、器具追跡モジュール３０６（図３）と組み合わされて、本明細書で説明されるように処理されるＭＲＩ画像は、病変（負傷、腫瘍、解剖学的構造、または組織）のサイズ（例えば、体積を推定するために必要な情報を提供し得る。例えば、イメージングモダリティ（例えばＭＲＩ）は、ボクセル（体積的なピクセル）が物理的空間における体積を表すことができる画像を生成し得る。ボクセルサイズは、２つの寸法に沿って約０．５ｍｍから約１．５ｍｍの範囲であり得る。第３の寸法は、例えば、ＭＲＩの意図される使用によって決定され得るスライスの幅によって決定され得る。したがって、ＭＲＩ画像をマッピングするために、解剖学的構造は、ＭＲＩにおいて、解剖学的構造のサイズを決定するために術野で見られるものと整合され得る。この測定は、術野の三次元に部分的に基づいて計算され得る。

【0064】

[0074]いくつかの実施形態では、上記の動作は、さらに、訓練されたコンピュータアルゴリズムのうちの少なくとも１つを使用してビデオストリーム中の１つまたは複数の要素を識別および標識するステップを含んでもよく、１つまたは複数の要素は、解剖学的構造、手術器具、操作手順またはアクション、もしくは病変のうちの１つまたは複数を含む。いくつかの実施形態で、ビデオストリーム中の１つまたは複数の要素を識別および標識するステップは、１つまたは複数のＡＩモジュールを使用することを含む。いくつかの実施形態では、１つまたは複数のＡＩモジュールは、ビデオストリーム分解、器具認識、解剖学的構造認識、器具追跡、ジェスチャ認識、点登録（例えば、第１の位置、終了位置、操作者によってなぞられた線など）、もしくは解剖学的構造または標識追跡のための１つまたは複数のモジュールを含んでもよい。

【0065】

[0075]いくつかの実施形態では、関節鏡視下手技は、関節鏡視下手術である。いくつかの実施形態では、その関節鏡視下手技は、肩腱板断裂修復術で使用される。いくつかの実施形態では、その関節鏡視下手技は、膝手術におけるＡＣＬ修復で使用される。いくつかの実施形態では、その関節鏡視下手技は、グラフト留置術で使用される。いくつかの実施形態では、その関節鏡視下手技は、除圧術で使用される。いくつかの実施形態では、その除圧術は、痛みを軽減するための骨構造の除去または再成形を含む。いくつかの実施形態では、肩関節鏡視下手技は、グラフトの留置を含む。

【0066】

[0076]いくつかの実施形態では、関節鏡視下手技は、炎症組織および／または亀裂が生じた腱または軟骨の除去または切除を含む。いくつかの実施形態では、関節鏡視下手技は、１つまたは複数の炎症組織の除去または切除で使用される。いくつかの実施形態では、関節鏡視下手技は、１つまたは複数の亀裂が生じた腱または軟骨の除去または切除で使用され、ビデオストリームは単眼である。

【0067】

[0077]いくつかの実施形態では、システム１００は、関節鏡視下手技または他の外科的手技もしくは医学的手技の記憶されたビデオコンテンツに対して動作する。上記および関連の実施形態では、関節鏡視下手術のビデオ録画は、再生およびインターフェースへの送信が可能である。システムは、その後、本明細書で説明されるように、ビデオストリーム上に任意の測定値または形状推定結果をオーバーレイし得る。いくつかの実施形態では、外科手術の記録上への測定値または形状推定結果の表示は、訓練目的で使用される。いくつかの実施形態では、システムは、立体視ビデオストリームに対して動作する。いくつかの実施形態では、システムは、ロボットによる関節鏡視下手技（例えば、手術）中に使用可能である。いくつかの実施形態では、表示のビューは、変更され得る。いくつかの実施形態では、ビューを変更することによって、ビデオストリームにオーバーレイされた測定値または形状推定結果は、表示されることから除外されることが可能である。いくつかの実施形態では、ビューにおける変更は自動である。いくつかの実施形態では、ビューの変更は、ＡＩパイプラインが解剖学的構造または病変を識別することによって引き起こされる。

【0068】

[0078]いくつかの実施形態では、点または任意の経路のセットは、手術中に操作者（例えば、外科医）によって提供される。図３は、システム３００を使用した関節鏡視下手技で実行される任意の点同士の間の測定または任意の経路にわたる測定の例示的なフローチャートの概略を示す図である。システムは、関節鏡カメラによって生成されたビデオストリーム入力３０１および操作者３０２（例えば、外科医）から受信した入力に対して動作する複数のモジュールを備え得る。いくつかの場合では、３０１は、ビデオストリームを一連の画像に分解するＣＶアルゴリズムを備えるビデオストリーム分解モジュール３０３によって処理される。一連の画像は、メモリ装置に記憶され得る。一連の画像からの１つまたは複数の画像は、器具認識モジュール３０４、解剖学的構造認識モジュール３０５、病変認識モジュール３１３、またはスティッチングモジュール３１８を含む１つまたは複数の下流コンポーネントに対して提供され得る。いくつかの場合では、３０３は、術野の画像を出力する。

【0069】

[0079]いくつかの場合では、スティッチングモジュール３１８は、より幅広い外科的ビュー（例えば、連続的キャンバス）を提供するために使用され得る。いくつかの場合では、内視鏡カメラが操作者によって移動されると、新しい物体と既存の物体の新しい部位とがビューに入って来る。連続的キャンバスを生成するために、新しく取得されたフレームが、前のフレームと比較して評価され得る。特徴的な視覚特徴または特徴点（例えば解剖学的特徴）は、その後、前のフレームおよび新しいフレームから抽出され得る。スティッチングモジュールにおけるアルゴリズムは、次のフレームにおける新しい位置まで各特徴を追跡し得る。２つ以上のフレームは、その後、幅広い外科的ビュー（例えば連続的キャンバス）を生成するために、それらの特徴点（例えば解剖学的構造の境界）を整合することによって互いに接続またはスティッチングされ得る。操作者またはユーザは、より幅広い術野にわたって移動し、カメラによって提供されたより幅広い術野に対して視覚的にアクセスすることが可能となり得る。

【0070】

[0080]いくつかの場合では、器具認識モジュール３０４はＡＩネットワークを使用して、視野内の手術器具を認識する。３０４で使用されるＡＩネットワークの非限定的な例は、マスクＲ－ＣＮＮ、ＵＮＥＴ、ＲｅｓＮＥＴ、ＹＯＬＯ、ＹＯＬＯ－２、またはそれらの任意の組み合わせを含み得る。いくつかの場合では、ＡＩネットワークは、そのアーキテクチャに特化した訓練技法を含む機械学習訓練を使用して関心手術器具を認識するように訓練される。いくつかの場合では、訓練されたＡＩネットワークは、画像において手術器具の存在を検出し、マスクを出力する。このマスクは、入力画像から抽出されたピクセルのセットでもよく、手術器具の高精度の輪郭を示す。いくつかの場合いくつかの実施形態では、ＡＩネットワークは、器具が検出または表示されるボックス（例えば、矩形領域）を出力する。器具認識モジュール３０４からの出力は、その後、器具追跡モジュール３０６に送信される。いくつかの実施形態では、器具追跡モジュール３０６は、器具認識モジュール３０４で認識された器具を追跡する。いくつかの実施形態では、器具追跡モジュール３０６は、器具の新しい座標を検出し、器具の古い座標をアレイに記憶する。いくつかの実施形態では、器具追跡モジュール３０６は、器具またはプローブに関する情報（例えば、器具先端の座標）を基準サイズ決定モジュール３１４に提供する。

【0071】

[0081]いくつかの実施形態では、器具認識モジュール３０４からの出力は、器具追跡モジュール３０６に提供される。いくつかの実施形態では、器具追跡モジュール３０６は、器具認識モジュール３０４によって識別された１つまたは複数の器具の移動を追跡する。いくつかの実施形態では、器具の位置（例えば、器具の瞬時位置）がメモリ（例えば、バッファ）に記憶され得る。いくつかの実施形態では、器具追跡モジュール３０６は、ＣＶアルゴリズムを使用して、器具の速度および加速度を算出し、それらの値をメモリに記憶する。このデータは、固定長アレイとして記憶され得る。いくつかの実施形態では、このアレイは、取り込まれた時間順で記憶される。いくつかの実施形態では、アレイは、新しい順に記憶される。アレイは、固定長を有してもよく、新規データが追加されると、より古いエントリがアレイおよびメモリバッファから削除され得る。いくつかの実施形態では、新規エントリの追加によって、最も古いエントリが、アレイから削除される。器具追跡モジュール３０６の出力は、認識された器具のマスクを、器具の速度および／または加速度のアレイとともに含み得る。モジュール３０６は、１つまたは複数の器具の位置または位置のアレイをジェスチャ認識モジュール３０７および点登録（例えば、第１の位置、終了位置、またはなぞられた経路）モジュール３１６へ供給し得る。

【0072】

[0082]いくつかの実施形態では、解剖学的構造認識モジュール３０５はＡＩネットワークを使用して、視野内の解剖学的構造を認識する。３０５で使用されるＡＩネットワークの非限定的な例は、マスクＲ－ＣＮＮ、ＵＮＥＴ、ＲｅｓＮＥＴ、ＹＯＬＯ、ＹＯＬＯ－２、またはそれらの任意の組み合わせを含み得る。いくつかの実施形態では、ＡＩネットワークは、そのアーキテクチャに特化した訓練技法を使用して関心解剖学的構造を認識するように訓練される。いくつかの実施形態では、訓練されたＡＩネットワークは、視野内で見られるときに解剖学的構造を認識する。いくつかの実施形態では、訓練されたネットワークは、認識された解剖学的構造の高精度の輪郭を示し得るピクセルマスクを出力する。いくつかの実施形態では、訓練されたネットワークは、解剖学的構造が検出された、または表示されるボックス（例えば、矩形領域）を出力する。いくつかの実施形態では、解剖学的構造認識モジュール３０５は、認識された解剖学的構造の出力を病変認識モジュール３１３に送信する。いくつかの実施形態では、病変認識モジュール３１３からの出力は、認識された解剖学的構造を追跡するために、解剖学的構造追跡モジュール３０９に送信される。いくつかの実施形態では、解剖学的構造認識モジュール３０５からの解剖学的構造マスクは、病変認識モジュール３１３に供給される。このマスクは、関心部位として処置されてもよく、病変認識モジュール３１３は、それ自体をこの部位に限定してもよい。いくつかの実施形態では、病変認識モジュール３１３は、例えば、腫瘍、ヘルニアなどを認識するために、病変認識用の外部モジュールとインターフェース接続してもよい。関心病変は、軟骨における欠損、肩回旋腱板割断、関節唇の脱臼または損傷、ＡＣＬ（膝前十字靭帯）損傷、半月板損傷、二頭腱断裂、滑膜組織の炎症、または大腿骨寛骨臼インピンジメント（ＦＡＩ））を含み得る。

【0073】

[0083]いくつかの実施形態では、病変認識モジュール３１３はＡＩネットワークを使用して、視野内の病変を認識する。病変認識モジュール３１３で使用されるＡＩネットワークの非限定的な例は、マスクＲ－ＣＮＮ、ＵＮＥＴ、ＲｅｓＮＥＴ、ＹＯＬＯ、ＹＯＬＯ－２、またはそれらの任意の組み合わせを含み得る。いくつかの実施形態では、ＡＩネットワークは、アーキテクチャに特化した訓練技法を使用して関心病変を認識するように訓練される。いくつかの実施形態では、訓練されたＡＩネットワークは、視野内で見られるときに病変を認識する。いくつかの実施形態では、訓練されたネットワークは、認識された病変の高精度の輪郭を示し得るピクセルマスクを出力する。いくつかの実施形態では、訓練されたネットワークは、病変が検出された、または表示されるボックス（例えば、矩形領域）を出力する。いくつかの実施形態では、病変認識モジュール３１３からの出力は、病変の輪郭を画定する病変マスクおよび／または病変のサイズ推定結果を含む。いくつかの実施形態では、病変認識モジュール３１３は、病変サイズ決定モジュール３１５へ認識した病変の出力を送信する。いくつかの実施形態では、病変サイズ決定モジュール３１５は、基準サイズ決定モジュール３１４からの情報を使用して、病変認識モジュール３１３からの認識された病変を、基準サイズ決定モジュール３１４からの器具先端と比較する。いくつかの実施形態では、基準サイズ決定モジュール３１４は、ＡＩネットワークを使用して、測定を実行するために使用される手術器具の先端の形状を認識する。いくつかの実施形態では、ＡＩネットワークは、異なる向き、角度、照明レベルで、または異なる背景に対して見たときの手術器具の画像を使用して訓練される。いくつかの実施形態では、ＡＩネットワークは、器具の向きが与えられた場合の目標点の意図された位置を見分けるように訓練される。器具の先端が確実に見られると、システムは、その先端のサイズを算出し得る。これは、本明細書で説明されるように、プローブの既知のサイズに対して評価され得る。いくつかの実施形態では、器具先端は、常に動いており、および／または器具の移動の面は、カメラの軸に直交するとは想定されない。したがって、システムは、器具先端の位置の推定を継続的に反復してもよい。いくつかの実施形態では、基準サイズ決定モジュール３１４は、訓練済み機械学習アルゴリズムを使用して、器具先端のサイズを推定する。いくつかの実施形態では、基準サイズ決定モジュール３１４は、器具の先端の輪郭を示すマスクを提供する。例えば、器具の一部分（例えばプローブヘッドの左側または右側、または器具の先端）は、測定の開始点または終了点に印付けするために使用される基準点を視覚化するためにマスクを使用して強調され得る。いくつかの実施形態では、基準サイズ決定モジュール３１４は、さらに、器具の幅をピクセル単位で提供する。器具の幅は、視野において較正され得る。いくつかの実施形態では、病変サイズ決定モジュール３１５は、プローブまたは器具先端のサイズを使用して、病変認識モジュール３１３によって認識された病変のサイズを推定する。病変サイズ決定モジュール３１５からの出力は、その後、病変測定モジュール３２２に送信される。

【0074】

[0084]いくつかの実施形態では、外科医は、病変測定モジュール３２２を使用して病変（例えば欠損）のサイズを自動的に決定し得る。解剖学的認識３０５は、病変が存在する解剖学的構造を最初に検出し得る。その後、病変は、病変認識モジュール３１３によって認識され得る。病変の輪郭が認識されると、外科医は、視野内に基準器具（例えば、手術用プローブ）を配置するように誘導され得る。器具認識モジュール３０４は、その後、その器具を検出し得る。病変のサイズは、その後、病変サイズ決定モジュール３１５を使用して、その器具のサイズに少なくとも部分的に基づいて算出され得る。いくつかの実施形態では、病変は、関節鏡に垂直な面上にはない。それらの場合、器具は、病変のサイズをより正確に推定するために、病変近くの異なる位置に配置され得る。例えば、欠損がレンズに垂直な面上にある場合、同一面における視野内のいずれかの位置に配置された器具のサイズは、病変のサイズを直接測定するために使用され得る。いくつかの他の場合、欠損は、レンズに垂直な面上にはない場合がある。それらの場合、面が最初に推定される。この面は、器具の認知されたサイズに少なくとも部分的に基づいて推定され得る。例えば、器具がビデオストリームからの外科用画像において異なる位置で識別された場合に器具の認知されたサイズが同一のままであるとき、その画像における解剖学的構造または病変の面は、レンズに垂直な面内にある場合がある。いくつかの実施形態では、解剖学的構造または病変の面をレンズに関して推定するために、器具は、解剖学的構造上の少なくとも３つの異なる位置で識別される。病変のサイズは、その後、器具サイズおよび病変の面を使用して計算され得る。

【0075】

[0085]いくつかの実施形態では、ジェスチャ認識モジュール３０７は、メモリを備えるＡＩネットワーク（例えば、リカレント型ニューラルネットワーク（ＲＮＮ））を使用して、器具の移動を解釈する。いくつかの実施形態では、ＡＩネットワークは、特定の器具を認識する、および／または特定の移動パターンを識別するように訓練される。例えば、タップは、背景の解剖学的構造に関して特定のやり方で器具が移動することを伴い得る。実施形態では、外科医は、手術器具を使用した所定のジェスチャを使用することによって任意の点または経路の位置を示すことができる。ジェスチャの非限定的な例は、タップ、ダブルタップ、トリプルタップ、横振り（例えば、器具を左から右へ動かす）を含み得る。いくつかの実施形態では、ジェスチャ認識モジュール３０７は、器具を使用する操作者によってなされたジェスチャのラベルを出力する。いくつかの実施形態では、ジェスチャ認識モジュール３０７は、操作者によってなされたジェスチャを認識し、認識されたジェスチャの名称のラベルを生成して、点登録モジュール３１６であり得る下流のコンポーネントに供給される。

【0076】

[0086]いくつかの実施形態では、点登録モジュール３１６は、図３に示すように、操作者３０２、器具追跡モジュール３０６および／またはジェスチャ認識モジュール３０７から１つまたは複数の入力を受信する。いくつかの実施形態では、ジェスチャ認識モジュール３０７からの入力が、点登録モジュール３１６に、操作者からのジェスチャが認識されることを指示する。このジェスチャは、その後、アクションとマッピングされ得る。いくつかの実施形態では、このマッピングは、手術前に構成され、システムが初期化されたときにデータベースからロードされる。点登録モジュール３１６によってマッピングされるアクションの非限定的な例は、開始登録、終了登録、全消去などを含み得る。いくつかの実施形態では、点登録モジュール３１６は、追加ジェスチャを解釈し、それらを様々なタスクにマッピングするために更新される。開始登録アクションは、変位アグリゲータモジュール３１７へ器具の位置を供給し、測定プロセスを開始し得ることを含み得る。終了登録アクションは、測定プロセスを終了ならびに／もしくは距離、表面積または体積を出力するように、変位アグリゲータモジュール３１７をトリガすることを含み得る。全消去アクションは、画面上に表示される測定値またはマスクを消去することを含み得る。いくつかの実施形態では、ＣＣＵが、上記のトリガを、カスタマイズされたインターフェースを介して点登録モジュール３１６に伝える場合、点登録モジュール３１６は、外科医からの直接入力（例えば、フットペダル押下または関節鏡上の専用ボタンの押下）を受信する。いくつかの実施形態では、点登録モジュール３１６の出力は、測定が開始および／または終了されるときの器具先端の位置を含む。

【0077】

[0087]いくつかの実施形態では、変位アグリゲータモジュール３１７は、点登録モジュール３１６から器具先端の位置のリアルタイムの更新を受信する。いくつかの実施形態では、変位アグリゲータモジュール３１７は、基準サイズ決定モジュール３１４または器具追跡モジュール３０６から入力を受信する。例えば、点登録モジュール３１６が測定の開始をトリガすると、変位アグリゲータモジュール３１７は、器具のピクセル単位の変位の追跡を開始する。この変位は、その後、基準サイズ決定モジュール３１４から受信した瞬時入力に基づいて、ミリメートルまたはインチなどの距離の単位に変換され得る。いくつかの実施形態では、ピクセル単位の基準サイズは、カメラのレンズと器具先端との間の距離、および／またはカメラの光学特性に基づいて異なる。いくつかの実施形態では、変位アグリゲータモジュール３１７は、点登録モジュール３１６から測定終了信号を受信し、距離測定の取得を停止する。その後、変位アグリゲータモジュール３１７は、開始点と終了点との間の測定値として、取得距離を出力し得る。いくつかの実施形態では、変位アグリゲータモジュール３１７は、プローブによってなぞられた経路の長さを算出するために瞬時変位を合計する。いくつかの実施形態では、本明細書で説明されるように、スティッチングモジュール３１８を使用して相互に接続されるフレームは、ｘＰａｎｄビューモジュール３２１に提供される。ｘＰａｎｄビューモジュール３２１は、より広い術野を提供するために、スティッチングされたフレームを統合してより大きいキャンバスとなるようにする。この手術領域の拡大ビューは、操作者が手術をより効率的に進めるのを助け得る。この拡大ビューは、さらに、操作者が、カメラによって提供された術野の外側に存在し得る病変、解剖学的特徴、測定開始点などを視覚的に追跡できるようにし得る。

【0078】

[0088]いくつかの実施形態では、標識位置モジュール３２０からの出力は、ビデオブレンドモジュール３１２におけるビデオストリームモジュール３０１から入力されるビデオストリームにオーバーレイされる。いくつかの実施形態では、病変測定モジュール３２２またはｘＰａｎｄビューモジュール３２１からの出力は、ブレンドモジュール３１２におけるビデオストリーム入力３０１からの入力上にオーバーレイされる。ビデオブレンドモジュール３１２からの出力は、出力３３０（例えば、画面、モニタ、ＴＶ、ラップトップ画面など）上に表示され得る。標識位置モジュール３２０からの出力は、カメラ制御ユニットへ送られ、拡大縮小され、手技のビデオストリームにオーバーレイされ得る。

【0079】

[0089]いくつかの実施形態では、操作者は、本明細書で開示されるシステムおよび方法を使用して、手術中の解剖学的構造または病変の体積を測定する。いくつかの実施形態では、手術前イメージングデータが、解剖学的構造または病変の体積を測定するために使用される。手術前イメージングデータは、画像診断を含み得る。手術前イメージングデータは、ＭＲＩ画像またはＣＴスキャン画像を含み得る。いくつかの実施形態では、本明細書に開示されるシステムおよび方法は、手術前イメージングデータ（例えばＭＲＩ画像またはＣＴスキャン画像）を取り込むモジュールを備える。いくつかの実施形態では、操作者は、手術中に画像（例えば手術のビデオストリームからの画像）上の領域を選択するために線をなぞる。選択された領域は、解剖学的構造または病変を含み得る。

【0080】

[0090]図４は、手術前イメージングデータを使用して、手術中に選択領域の体積を測定する例示的なワークフローの概略を示す図である。図４に示すように、ビデオストリーム入力モジュール３０１からの関節鏡視下手技のビデオストリーム上の選択領域の体積を測定するために、対象の手術前医用イメージングデータ４０１（例えば、ＭＲＩまたはＣＴスキャンなどの放射線イメージングデータ）を使用できるようにする複数のモジュールが、図３に示されるシステム３００に追加されてもよい。いくつかの実施形態では、手術前医用イメージング取込モジュール４０２は、対象の手術前医用イメージングデータ４０１をインポートするために外部リポジトリにインターフェース接続する。手術前医用イメージングデータは、対象の放射線像を含み得る。いくつかの実施形態では、放射線像は、対象の関節からである。いくつかの実施形態では、放射線像は、肩、膝、足首、または股関節と関連している。いくつかの実施形態では、放射線像は、磁気共鳴画像法（ＭＲＩ）、またはコンピュータ断層撮影法（ＣＴ）スキャンを使用して生成される。いくつかの実施形態では、ＭＲＩまたはＣＴスキャン画像は、関節鏡視下手技（例えば、膝手術または肩手術）のために、対象から取得される。ＭＲＩまたはＣＴスキャン画像は、対象の膝または肩の画像を含み得る。いくつかの実施形態では、ＭＲＩまたはＣＴスキャン画像は、標準的なフォーマット（例えば、ＤＩＣＯＭ）でリポジトリから取得される。いくつかの実施形態では、医用イメージング取込モジュール４０２は、システム４００からイメージングシステム（例えば、ＭＲＩまたはＣＴスキャンイメージング）に関連した外部システムを抽象化するアプリケーションプログラミングインターフェース（ＡＰＩ）層を含む。医用イメージング取込モジュール４０２からの出力は、三次元（３Ｄ）画像再構成モジュール４０３に提供され得る。いくつかの実施形態では、３Ｄ画像再構成モジュール４０３は、二次元（２Ｄ）画像の１つまたは複数のスライスを含む、医用イメージング取込モジュール４０２からの画像における体積的なデータを変換し、コンピュータメモリにおいてそのデータを３Ｄ画像に変換する。いくつかの実施形態では、操作者によって選択された領域の座標がその３Ｄ画像上にマッピングされる。いくつかの実施形態では、３Ｄ画像再構成モジュール４０３は、放射線像の３Ｄ表現と、その画像にマッピングされた選択領域とを含む多次元アレイを生成し得る。いくつかの実施形態では、３Ｄ画像再構成モジュール４０３からの出力は、マッピングモジュール４０４を使用して、解剖学的構造追跡モジュール３０９によって生成されるマスクと統合され得る。いくつかの実施形態では、マッピングモジュール４０４は、手術前に取得された画像（例えば、ＭＲＩまたはＣＴスキャン画像）における解剖学的構造を認識する、訓練されたＡＩネットワークを備える。いくつかの実施形態では、その解剖学的構造は骨構造を含み得る。いくつかの実施形態では、解剖学的構造は腱を含み得る。いくつかの実施形態では、画像（例えば、ＭＲＩまたはＣＴスキャン画像）において認識された解剖学的構造は、解剖学的構造認識モジュール３０５で使用された同一の標識システムを使用して、マッピングモジュール４０４においてマスクされ得る（例えば、標識され得る）。マッピングモジュール４０４で認識された解剖学的構造は、その後、解剖学的構造認識モジュール３０５で認識された解剖学的構造と整合されてもよい。いくつかの実施形態では、３Ｄ画像再構成モジュール４０３で特定された標識は、解剖学的構造認識モジュール３０５によって認識された解剖学的構造上にマッピングされてもよい。このマッピングは、リアルタイム体積算出モジュール４０５へ提供され得る。いくつかの実施形態では、体積算出モジュール４０５は、マッピングモジュール４０４からの出力を使用して、操作者によって設定された選択領域の体積を算出する。いくつかの実施形態では、体積算出モジュール４０５は、イメージングフォーマットにおける既知の倍率を使用し、それらを選択領域における解剖学的構造または病変のマスクに適用して、選択領域、解剖学的構造、または病変の体積を取得する。いくつかの実施形態では、操作者は、解剖学的構造に対する切開の任意の線または面を示すことによって部分的な体積を取得する。いくつかの実施形態では、骨喪失推定のために測定が使用される。いくつかの実施形態では、骨喪失の体積は、本明細書で説明されるシステムおよび方法を使用して測定される。イメージングモダリティ（例えばＭＲＩ）は、ボクセル（体積的なピクセル）が物理的空間における体積を表すことができる画像を生成し得る。ボクセルサイズは、２つの寸法に沿って約０．５ｍｍから約１．５ｍｍの範囲であり得る。第３の寸法は、例えば、ＭＲＩの意図される使用によって決定され得るスライスの幅によって決定され得る。したがって、ＭＲＩ画像をマッピングするために、解剖学的構造は、ＭＲＩにおいて、解剖学的構造のサイズを決定するために術野で見られるものと整合され得る。

【0081】

[0091]例えば、外科的手技において、解剖学的構造、病変、または器官のサイズ（例えば、寸法または体積）が測定されてもよい。いくつかの実施形態では、操作者が、解剖学的構造の一部分を除去する必要がある（例えば病変を除去するため、サイズを減少させるため）。任意の線が除去の行われる構造における切開を示す場合に、操作者は、外科的手技中に、例えば解剖学的構造上に任意の線を提供する。本明細書で説明されるように、システムは、手術前画像（例えばＭＲＩまたはＣＴスキャン）に部分的に基づいて解剖学的構造のサイズを計算する。その後、システムは、切開線に部分的に基づいて、除去対象の構造の一部分のサイズを計算し得る。システムは、除去される部分のサイズ（例えば体積）を推定するために、除去される部分の形状を推定し得る。いくつかの実施形態では、解剖学的構造および／または解剖学的構造の除去される部分のサイズを推定するために、手術前画像（例えばＭＲＩまたはＣＴスキャン）が術野にオーバーレイされる。解剖学的構造認識モジュール（例えば、図４の解剖学的構造認識モジュール３０５）、解剖学的構造追跡モジュール（例えば図４の解剖学的構造追跡モジュール３０９）、および視野整合モジュール（例えば図４のマッピングモジュール４０４）は、本明細書で説明されるように、画像をオーバーレイするために使用され得る。２つの画像（例えばＣＴ／ＭＲＩと外科用画像）における解剖学的構造のマッピングの際に、画像は、手術前画像（例えばＭＲＩまたはＣＴスキャン）における各ボクセルのサイズに少なくとも基づいて拡大／縮小される。拡大／縮小は、さらに、器具認識モジュール（例えば、図４の器具認識モジュール３０４）を使用して認識され得る器具のサイズに少なくとも部分的に基づいて実行され得る。

【0082】

[0092]いくつかの実施形態では、標識位置モジュール３２０は、外科用カメラの移動のために適合される。いくつかの実施形態では、類似構造が手術前医用画像（例えば、ＭＲＩまたはＣＴスキャン画像）からと、外科手術のビデオストリームからの画像から識別された場合、（例えば、マッピングモジュール４０４において）その２つの解剖学的構造は整合され、外科用カメラの移動と関連した何らかの画像の矛盾に関してフレームを修正する。いくつかの実施形態では、ビデオストリームからの各フレームは、外科用カメラの移動のために修正される。

【0083】

[0093]本発明の他の態様は、外科的ビデオストリームにおける視野を拡大するための方法を提供する。実施形態によれば、上記方法は、イメージング装置によって取り込まれたビデオストリームを受信するステップと、ビデオストリームを１つまたは複数の画像に分解するステップと、（ｉ）１つまたは複数の画像特徴を抽出する訓練済みコンピュータアルゴリム、（ｉｉ）１つまたは複数の解剖学的構造を識別する訓練済みコンピュータアルゴリズムのうちの少なくとも１つを使用して、１つまたは複数の画像を処理するステップと、抽出された特徴または前記識別された解剖学的構造に基づいて１つまたは複数の画像を整合することによって、視野を拡大する複合画像を生成するステップとを含み得る。

【0084】

[0094]いくつかの実施形態では、イメージング装置は、短焦点距離のレンズを備える。いくつかの実施形態では、この焦点距離は、約３ミリメートル（ｍｍ）から約５ｍｍで、約３０度から約９０度の視野を有してもよい。いくつかの実施形態では、レンズと部位における組織との間の距離は、数センチメートル程度である。したがって、操作者（例えば、外科医）によって見られる視野は狭い場合がある。そのため、操作者は、自身を適切に配向し、周囲の組織の文脈において自身のアクションを見るために、手術部位の心象地図を維持する必要があり得る。狭い視野は、さらに、操作者が正確に測定を実行する能力を制限し得る。いくつかの実施形態では、イメージング装置によって取り込まれた複数の画像をスティッチングすることによって、拡大された視野が生成される。いくつかの実施形態では、複数の画像は、外科的手技中の異なる時点で取り込まれる。いくつかの実施形態では、操作者は、拡大された視野を使用して１つまたは複数の画像にわたって、本明細書で説明されるように測定を実行する。

【0085】

[0095]図５は、本明細書で説明されるように、拡大された視野を生成するためのワークフローの例示的な実施形態の概略を示す図である。システム５００は、関節鏡カメラによって生成されたビデオストリーム入力３０１に対して動作する複数のモジュールを備え得る。いくつかの実施形態では、ビデオストリーム入力３０１は、ビデオストリームを一連の画像に分解するＣＶアルゴリズムを備えるビデオストリーム分解モジュール３０３によって処理される。一連の画像は、メモリ装置に記憶され得る。一連の画像からの１つまたは複数の画像は、解剖学的構造認識モジュール３０５を含む１つまたは複数の下流コンポーネントに対して提供され得る。解剖学的構造認識モジュール３０５からの出力は、その後、特徴抽出モジュール３０８および／または解剖学的構造追跡モジュール３０９に対して送信され得る。いくつかの実施形態では、解剖学的構造追跡モジュール３０９は、解剖学的構造の位置の座標のセットを検出する。いくつかの実施形態では、解剖学的構造の座標が変化すると、解剖学的構造追跡モジュール３０９は、前の座標をメモリに記憶し、新しい座標のセットを更新する。いくつかの実施形態では、特徴抽出モジュール３０８は、解剖学的構造認識モジュール３０５からの入力（例えば、解剖学的構造マスク）を受信する。いくつかの実施形態では、特徴抽出モジュール３０８は、器具認識モジュールまたは病変モジュールからの入力（例えば、器具マスクまたは病変マスク）を受信する。いくつかの実施形態では、特徴抽出モジュール３０８は、継続的に入力を受信する。いくつかの実施形態では、特徴（例えば特異なピクセルのセット）は、画像から抽出される。いくつかの実施形態では、特徴抽出モジュール３０８はＡＩネットワークを使用して、視野内の解剖学的構造または病変の内部の特徴を認識する。特徴抽出モジュール３０８で使用されるＡＩネットワークの非限定的な例は、マスクＲ－ＣＮＮ、ＵＮＥＴ、ＲｅｓＮＥＴ、ＹＯＬＯ、ＹＯＬＯ－２、またはそれらの任意の組み合わせを含み得る。いくつかの実施形態では、ＡＩネットワークは、解剖学的構造または病変における特徴（例えば特異なピクセルのセット）を認識するように訓練される。この特徴は、解剖学的構造の色、テクスチャ、湾曲、変色、変形を含み得る。いくつかの実施形態では、特徴（例えば特異なピクセルのセット）は、周囲の特徴と比較して認識される。いくつかの実施形態では、ＡＩネットワークは、グローバルに認識された特徴に関して、解剖学的構造における特徴を抽出するように訓練される。

【0086】

[0096]いくつかの実施形態では、特徴抽出モジュール３０８は、特異な解剖学的構造を認識し、それらの特異な解剖学的構造を使用して、グローバル特異な特徴を得る。いくつかの実施形態では、器具認識マスクが特徴抽出モジュール３０８によって使用され、この器具マスクは、本明細書で説明されるように、特徴抽出または認識された特徴から除外されてもよい。例えば、解剖学的構造および解剖学的構造と関連した特徴点は、認識され得る。解剖学的構造は、その後、追跡され得る。いくつかの実施形態では、解剖学的構造の移動も推定される。いくつかの実施形態では、カメラ移動は、解剖学的構造移動に部分的に基づいて推論される。解剖学的構造と関連した特徴点は、解剖学的構造の移動、そのためのカメラの移動を推定するために使用され得る。いくつかの実施形態では、抽出された特徴は、その特徴と関連する画像フレームとともに、メモリに記憶される。特徴点の情報は、それらが関連する解剖学的構造に基づいて記憶される。いくつかの実施形態では、視野において解剖学的構造を認識することは、特徴点のセットが分析されるようにトリガし得る。メモリは、バッファでもよい。複数の抽出された特徴と、それらの関連フレームは、スティッチングモジュール３１８に送信される。

【0087】

[0097]本明細書で説明されるように、スティッチングモジュール３１８およびｘＰａｎｄビューモジュール３２１を使用して、より広い視野が生成され得る。この手術領域の拡大ビューは、操作者が手術をより効率的に進めるのを助け得る。範囲外認識モジュール３１０は、カメラによって提供された術野の外側に存在し得る、病変、解剖学的特徴、測定開始点または終了点などを認識するために使用され得る。解剖学的構造再取得モジュール３１１は、その後、認識された解剖学的構造に少なくとも部分的に基づいて、本明細書で言及したように、認識された特徴または病変を配置するために使用され得る。これは、フレームがスティッチングモジュール３１８を使用してともにスティッチングされている場合、操作者が２つ以上のフレームにわたって測定を実行可能とし得る。測定の視覚的な拡大ビューは、その後、ｘＰａｎｄビューモジュール３２１を使用して出力３３０に提供され得る。特徴追跡モジュール３１９は、認識された解剖学的構造など、１つまたは複数の特徴を追跡して、範囲外認識モジュール３１０および解剖学的構造再取得モジュール３１１を支援するために、それらのモジュールと通信可能状態であり得る。関心点または関心マークの位置３２５は、特徴追跡モジュール３１９に提供されてもよく、それによって特徴追跡モジュール３１９は、例えば、この点またはマークが移動する際の時間の経過とともに、この点またはマークを追跡できる。

【0088】

[0098]いくつかの実施形態では、カメラは、測定開始点から測定終了点まで移動する場合がある。その結果、開始点は、現在の視野の外側に位置する場合がある。この場合、この変位は、視野が変化すると、認識された解剖学的構造に少なくとも部分的に基づいて、継続的に算出され得る。例えば、このアルゴリズムは、開始点（例えば標識）「ｓ」が、解剖学的構造「Ａ」上に配置された特徴「ａ」の右側に２０ピクセルの位置であると決定し得る。新しい解剖学的構造「Ｂ」がビューに入ると、新しい特徴点「ｂ」が解剖学的構造「Ｂ」上で取得され得る。「ａ」から、したがって開始点「ｓ」からの特徴ｂの変位は算出され得る。同様に、解剖学的構造「Ａ」が視野から消えると、「ｓ」の位置は、「ｂ」に関して追跡される。同様に、新しい構造「Ｃ」が視野に入ると、新しい特徴点「ｃ」が取得されてもよく、「ｂ」からのその関連の位置は、構造「Ｂ」が見えなくなる前に決定され得る。それによって、開始点の位置は継続的に追跡される。

【0089】

[0099]いくつかの実施形態では、スティッチングモジュール３１８は、２つ以上のフレーム間の共通の特徴を整合することによって、それら２つ以上のフレームを配置する。いくつかの実施形態では、フレームの適切な整合を実現するために、スティッチングモジュール３１８は、解剖学的構造認識マスクを使用して、器官の境界を使用するフレームを整合する。本明細書で説明されるように、複数のフレームを整合することによって、拡大ビューが生成され得る。いくつかの実施形態では、拡大ビューを形成するために、２個、３個、４個、５個、６個、７個、８個、９個、１０個、１１個、１２個、１３個、１４個、１５個、１６個、１７個、１８個、１９個、２０個、２５個、３０個、３５個、４０個、４５個、５０個、５５個、６０個、６５個、７０個、７５個、８０個、９０個、または１００個のフレームが整合される。いくつかの実施形態では、拡大ビューを形成するために、１００個より多いフレームが整合される。いくつかの実施形態では、拡大ビューを形成するために、約２０個のフレームから約４０個のフレーム、約３０個のフレームから約５０個のフレーム、約２５個のフレームから約５０個のフレーム、または約５０個のフレームから約１００個のフレームが整合される。いくつかの実施形態では、先述したように、拡大ビューにおいて複数のフレームにわたって測定が実行され得る。いくつかの実施形態では、ビデオストリーム入力３０１からのビデオストリーム（例えば、ビデオストリームからのリアルタイムのフレーム）は、拡大ビューの中心に配置される。いくつかの実施形態では、拡大ビューは、ビデオストリーム入力３０１からのビューストリームからのリアルタイムのフレームを囲んで生成される。いくつかの実施形態では、拡大ビューおよびビデオストリームは、オーバーレイされ、モニタ３０上で表示される。
コンピュータシステム
[00100]本発明は、本開示の方法を実施するようにプログラムされたコンピュータシステムを提供する。図６は、本開示の方法の１つまたは複数の機能または動作を実行するようにプログラムされる、または他のやり方で構成されるコンピュータシステム６０１を示す図である。コンピュータシステム６０１は、例えば、介入イメージング装置から画像を受信することと、画像認識アルゴリズムを使用してその画像における特徴を識別することと、その特徴を、表示装置上のビデオフィード上にオーバーレイすることと、測定の開始位置および終了位置を登録することと、測定値を推定することと、測定値を提供することと、画像における識別された特徴に基づいて操作者へ推薦または提案を行うことなど、本開示の様々な態様を統制できる。コンピュータシステム６０１は、ユーザの電子装置、または電子装置に対してリモートに配置されるコンピュータシステムであり得る。この電子装置は、モバイル電子装置であり得る。

【0090】

[00101]コンピュータシステム６０１は、シングルコアまたはマルチコアのプロセッサあるいは並列処理のための複数のプロセッサであり得る中央演算装置（ＣＰＵ、本明細書では「プロセッサ」および「コンピュータプロセッサ」とも呼ばれる）６０５を含む。コンピュータシステム６０１は、さらに、メモリまたは記憶域６１０（例えば、ランダムアクセスメモリ、読出し専用メモリ、フラッシュメモリ）と、電子記憶ユニット６１５（例えば、ハードディスク）と、１つまたは複数の他のシステムと通信するための通信インターフェース６２０（例えば、ネットワークアダプタ）と、キャッシュ、他のメモリ、データストレージおよび／または電子表示アダプタなどの周辺装置６２５とを備える。メモリ６１０、記憶ユニット６１５、インターフェース６２０、および周辺装置６２５は、マザーボードなど、通信バス（実線）を介してＣＰＵ６０５と通信可能状態である。記憶ユニット６１５は、データを記憶するためのデータ記憶ユニット（またはデータリポジトリ）であり得る。コンピュータシステム６０１は、通信インターフェース６２０を用いてコンピュータネットワーク（「ネットワーク」）６３０と動作可能に結合され得る。ネットワーク６３０は、インターネット、インターネットおよび／またはエクストラネット、もしくはインターネットと通信可能状態であるイントラネットおよび／またはエクストラネットであり得る。いくつかの実施形態におけるネットワーク６３０は、電気通信ネットワークおよび／またはデータネットワークである。ネットワーク６３０は、クラウドコンピューティングなどの分散コンピューティングを可能にできる１つまたは複数のコンピュータサーバを含み得る。ネットワーク６３０は、コンピュータシステム６０１を用いたいくつかの実施形態では、コンピュータシステム６０１に結合された装置がクライアントまたはサーバとして振る舞うことを可能にし得るピアツーピアネットワークを実施できる。

【0091】

[00102]ＣＰＵ６０５は、プログラムまたはソフトウェアで具体化され得る、機械可読命令列を実行し得る。命令は、メモリ６１０などの記憶域に記憶され得る。命令は、ＣＰＵ６０５に対して下されることができ、その後、本開示の方法を実施するように、ＣＰＵ６０５を、プログラムまたは他のやり方で構成することができる。ＣＰＵ６０５によりなされる動作の例は、フェッチ、デコード、実行、およびライトバックを含み得る。

【0092】

[00103]ＣＰＵ６０５は、集積回路などの回路の部分であり得る。システム６０１の１つまたは複数の他の構成要素は、回路に含まれることができる。いくつかの実施形態では、回路は、特定用途向け集積回路（ＡＳＩＣ）である。

【0093】

[00104]記憶ユニット６１５は、ドライバ、ライブラリ、および保存されたプログラムなどのファイルを記憶し得る。記憶ユニット６１５は、例えば、ユーザ優先事項およびユーザプログラムなどのユーザデータを記憶し得る。いくつかの実施形態におけるコンピュータシステム６０１は、イントラネットまたはインターネットを介してコンピュータシステム６０１と通信可能状態にあるリモートサーバ上に配置されたデータ記憶装置など、１つまたは複数のさらなるデータ記憶ユニットであって、コンピュータシステム６０１の外部のデータ記憶ユニットを含み得る。

【0094】

[00105]コンピュータシステム６０１は、ネットワーク６３０を介して、１つまたは複数のリモートコンピュータシステムと通信し得る。例えば、コンピュータシステム６０１は、ユーザのリモートのコンピュータシステム（例えば、ポータブルコンピュータ、タブレット、スマートディスプレイ装置、スマートｔｖなど）と通信し得る。リモートのコンピュータシステムの例は、パーソナルコンピュータ（例えば、ポータブルＰＣ）、スレートＰＣまたはタブレットＰＣ（例えば、Ａｐｐｌｅ（登録商標）ｉＰａｄ、Ｓａｍｓｕｎｇ（登録商標）Ｇａｌａｘｙ Ｔａｂ）、電話、スマートフォン（例えば、Ａｐｐｌｅ（登録商標）ｉＰｈｏｎｅ、Ａｎｄｒｏｉｄ対応装置、Ｂｌａｃｋｂｅｒｒｙ（登録商標））、またはパーソナルデジタルアシスタントを含む。ユーザは、ネットワーク６３０を介してコンピュータシステム６０１にアクセスできる。

【0095】

[00106]本明細書で説明される方法は、コンピュータシステム６０１の電子記憶場所、例えばメモリ６１０または電子記憶ユニット６１５上に記憶された機械（例えば、コンピュータプロセッサ）実行可能コードを介して実施され得る。機械実行可能コードまたは機械可読コードは、ソフトウェアの形態で提供され得る。使用時に、コードは、プロセッサ６０５によって実行され得る。いくつかの実施形態では、コードは、記憶ユニット６１５から取り出されて、プロセッサ６０５によるアクセスに備えてメモリ６１０に記憶され得る。場合によって、電子記憶ユニット６１５は除外されることができ、機械実行可能命令はメモリ６１０に記憶される。

【0096】

[00107]コードは、そのコードを実行するように適合させたプロセッサを有する機械との使用のために、あらかじめコンパイルかつ構成されることができ、または実行中にコンパイルされることができる。あらかじめコンパイルされた様式またはコンパイルされた通りの様式でコードを実行することを可能にするように選択され得るプログラム言語で、コードを供給されることができる。

【0097】

[00108]コンピュータシステム６０１など、本明細書で提供されるシステムおよび方法の態様は、プログラミングにおいて具体化されることができる。技術の様々な態様は、ある種の機械可読媒体上に保有されているか、またはこの中に具体化されている、機械（またはプロセッサ）実行可能コードおよび／または関連するデータの形態であることが典型的な「製品」または「製造品」として考えられることができる。機械実行可能コードは、メモリ（例えば、読出し専用メモリ、ランダムアクセスメモリ、フラッシュメモリ）またはハードディスクなど、電子記憶ユニットに記憶され得る。「記憶」型媒体は、任意の時点において、ソフトウェアのプログラミングのために非一時的ストレージを提供し得る、様々な半導体メモリ、テープドライブ、ディスクドライブなど、コンピュータ、プロセッサなどの有形メモリまたはその関連モジュールのいずれかまたは全てを含み得る。ソフトウェアの全部または部分は、場合によっては、インターネットまたは他の様々な電気通信ネットワークを介して通信することができる。このような通信は、例えば、１つのコンピュータまたはプロセッサから他のコンピュータまたはプロセッサへのソフトウェアのロード、例えば、管理サーバまたはホストコンピュータからアプリケーションサーバのコンピュータプラットフォームへのロードを可能にし得る。したがって、ソフトウェア要素を保有し得る他の種類の媒体は、有線ネットワークおよび光ケーブルネットワークを介する、ローカル装置間の物理インターフェース、および様々なエアリンクによる物理インターフェースにわたり使用されるなどの、光波、電波、および電磁波を含む。有線リンクまたは無線リンク、光学リンクなど、このような波を運ぶ物理的要素もまた、ソフトウェアを保有する媒体として考えられ得る。本明細書で使用される場合、非一時的有形「記憶」媒体に限定されない限り、コンピュータまたは機械「可読媒体」などの語は、実行のためにプロセッサに命令を提供することに関係するあらゆる媒体を指す。

【0098】

[00109]よって、コンピュータ実行可能コードなどの機械可読媒体は、有形記憶媒体、搬送波媒体、または物理的伝送媒体を含むがこれらに限定されない多くの形態を取り得る。非揮発性記憶媒体は、例えば、図面に示される、データベースなどを実装するのに使用され得るコンピュータなど、任意のコンピュータなどにおける記憶装置のうちのいずれかなど、光学ディスクまたは磁気ディスクを含む。揮発性記憶媒体は、このようなコンピュータプラットフォームの主メモリなどの動的メモリを含む。有形伝送媒体は、コンピュータシステム内のバスを含む配線を含む、同軸ケーブル、すなわち銅線および光ファイバーを含む。搬送波伝送媒体は、無線周波数（ＲＦ）データ通信時および赤外線（ＩＲ）データ通信時に発生する信号または波など、電気信号または電磁信号、もしくは音響波または光波の形態を取り得る。したがって、コンピュータ可読媒体の一般的形態は、例えば、フロッピーディスク、フレキシブルディスク、ハードディスク、磁気テープ、他の任意の磁気媒体、ＣＤ－ＲＯＭ、ＤＶＤまたはＤＶＤ－ＲＯＭ、他の任意の光学媒体、パンチカード用紙テープ、穿孔パターンを有する他の任意の物理的記憶媒体、ＲＡＭ、ＲＯＭ、ＰＲＯＭおよびＥＰＲＯＭ、ＦＬＡＳＨ－ＥＰＲＯＭ、他の任意のメモリチップまたはメモリカートリッジ、データまたは命令を運ぶ搬送波、このような搬送波を運ぶケーブルまたはリンク、もしくはコンピュータがプログラミングコードおよび／またはデータを読み出し得る他の任意の媒体を含む。コンピュータ可読媒体のこれらの形態の多くは、１つまたは複数の命令の１つまたは複数の列を、実行のためにプロセッサへと運ぶことに関与し得る。

【0099】

[00110]コンピュータシステム６０１は、例えば、関節鏡からのビデオフィード上への識別された特徴のオーバーレイを提供するために、または外科手術の過程で操作者に対して測定値を提供するために、ユーザインターフェース（ＵＩ）６４０を含む電子ディスプレイ６３５を含み得る、または電子ディスプレイ６３５と通信可能状態であり得る。ＵＩの例は、グラフィカルユーザインターフェース（ＧＵＩ）およびウェブベースユーザインターフェースを含むが、限定されない。

【0100】

[00111]本発明の方法およびシステムは、１つまたは複数のアルゴリズムを介して実施され得る。中央演算装置６０５による実行時に、アルゴリズムがソフトウェアを介して実施され得る。アルゴリズムは、例えば、介入イメージング装置から画像を受信し、画像認識アルゴリズムを使用して画像における特徴を識別し、特徴を、表示装置上のビデオフィード上にオーバーレイし、測定の開始位置および終了位置を登録し、画像における識別された特徴ならびに／もしくは選択された点、経路または領域に基づいて操作者へ測定値を提供することができる。

【0101】

[00112]本発明の好適な実施形態が図示され、本明細書で説明されたが、当業者には、そのような実施形態が例として提供されているのに過ぎないことが明らかであろう。本発明が、本明細書内で提供される具体例により限定されることは意図されない。本発明は前述の明細書に言及しながら記載されたが、本明細書の実施形態の記載および例示が、限定的な意味で解釈されることは意図されない。当業者は、本発明から逸脱しない範囲で、数多くの変形、変更、および置換にここで想到し得る。さらに、本発明の全ての態様は、様々な条件および変数に依存する、本明細書に記載される具体的な描示、構成、または相対的比率に限定されないことを理解されたい。なお、本発明を実践する際に、本明細書で説明される本発明の実施形態の様々な代替案が用いられ得ることを理解されたい。したがって、本発明が、そのような代替物、改変、変更、または同等物も網羅するものとすることが企図される。以下の請求項が本発明の範囲を定義すること、それらの請求の範囲内における方法および構造、ならびにそれらの同等物がそれによって網羅されることが意図される。

【0102】

[00113]本発明の好適な実施形態が図示され、本明細書で説明されたが、当業者には、そのような実施形態が例として提供されているのに過ぎないことが明らかであろう。本発明が、本明細書内で提供される具体例により限定されることは意図されない。本発明は前述の明細書に言及しながら記載されたが、本明細書の実施形態の記載および例示が、限定的な意味で解釈されることは意図されない。当業者は、本発明から逸脱しない範囲で、数多くの変形、変更、および置換にここで想到し得る。さらに、本発明の全ての態様は、様々な条件および変数に依存する、本明細書に記載される具体的な描示、構成、または相対的比率に限定されないことを理解されたい。なお、本発明を実践する際に、本明細書で説明される本発明の実施形態の様々な代替案が用いられ得ることをさらに理解されたい。したがって、本発明は、本明細書で説明される本発明の実施形態の様々な代替物、改変、変更、または同等物も網羅することを理解されたい。

【0103】

[00114]また、本発明の範囲内で多くのさらなる実施形態を形成するために、ある実施形態からの要素、特徴、または動作は、他の実施形態からの１つまたは複数の要素、特徴、または動作と容易に結合し直され得る、または置き換えられ得る。さらに、他の要素と結合されると図示または説明される要素は、様々な実施形態で、単独の要素として存在し得る。さらに、本発明の実施形態は、要素、動作、または特徴が明確に記載されている場合、その要素、動作、または特徴などの除外を特に企図する。したがって、本発明の範囲は、説明された実施形態の詳細に限定されず、むしろ添付の特許請求の範囲によってのみ限定される。

【図1】

【図2A】

【図2B】

【図2C】

【図3】

【図4】

【図5】

【図6】

【図7A】

【図7B】

【国際調査報告】