特表2024-512015深層学習ベースのリアルタイム残存手術時間（ＲＳＤ）推定
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2024-03-18
(54)【発明の名称】深層学習ベースのリアルタイム残存手術時間（ＲＳＤ）推定
(51)【国際特許分類】
A61B 34/10 20160101AFI20240311BHJP
【ＦＩ】
A61B34/10
【審査請求】未請求
【予備審査請求】未請求
(21)【出願番号】P 2023558189
(86)(22)【出願日】2022-01-18
(85)【翻訳文提出日】2023-10-04
(86)【国際出願番号】 IB2022050386
(87)【国際公開番号】W WO2022200864
(87)【国際公開日】2022-09-29
(31)【優先権主張番号】17/208,715
(32)【優先日】2021-03-22
(33)【優先権主張国・地域又は機関】US
(81)【指定国・地域】
(71)【出願人】
【識別番号】516133124
【氏名又は名称】バーブ サージカル インコーポレイテッド
【氏名又は名称原語表記】Ｖｅｒｂ Ｓｕｒｇｉｃａｌ Ｉｎｃ．
(74)【代理人】
【識別番号】100088605
【弁理士】
【氏名又は名称】加藤 公延
(74)【代理人】
【識別番号】100130384
【弁理士】
【氏名又は名称】大島 孝文
(72)【発明者】
【氏名】ファソラヒ・ゲゼルギエ・モナ
(72)【発明者】
【氏名】バーカー・ジョセリン・エレイン
(72)【発明者】
【氏名】ガルシア・キルロイ・パブロ・エドゥアルド
(57)【要約】
本明細書に記載される実施形態は、所与の外科的処置のライブ手術セッションのリアルタイム残存手術時間（ＲＳＤ）を、ライブ手術セッションのリアルタイム内視鏡ビデオに基づいて、連続的に予測するための手術時間推定システムを提供する。一態様では、プロセスは、ライブ手術セッションの現在時刻における内視鏡ビデオの現在のフレームを受信し、現在時刻は、ライブ手術セッション中に連続ＲＳＤ予測を行うための予測タイムポイントのシーケンスの中にある。プロセスは次に、ライブ手術セッションの開始に対応する内視鏡ビデオの開始と現在時刻に対応する現在のフレームとの間の、ライブ手術セッションの経過部分に対応する内視鏡ビデオのＮ－１個の追加フレームをランダムにサンプリングする。プロセスは、次いで、Ｎ－１個のランダムにサンプリングされたフレームと現在のフレームとを時間的順序で組み合わせて、Ｎ個のフレームのセットを取得する。次に、プロセスは、Ｎ個のフレームのセットを、所与の外科的処置のための訓練済みモデルへと供給する。その後、プロセスは、Ｎ個のフレームのセットに基づいて現在のＲＳＤ予測を出力する。
【特許請求の範囲】
【請求項1】
外科的処置のライブ手術セッションの残存手術時間（ＲＳＤ）を、前記ライブ手術セッションのリアルタイム内視鏡ビデオに基づいて、リアルタイムで連続的に予測するためのコンピュータ実装方法であって、前記ライブ手術セッションの現在時刻における前記内視鏡ビデオの現在のフレームを受信することであって、前記現在時刻は、前記ライブ手術セッション中に連続ＲＳＤ予測を行うための予測タイムポイントのシーケンスの中にある、受信することと、
前記ライブ手術セッションの開始に対応する前記内視鏡ビデオの開始と前記現在時刻に対応する前記現在のフレームとの間の、前記ライブ手術セッションの経過部分に対応する前記内視鏡ビデオのＮ－１個の追加フレームをランダムにサンプリングすることと、
前記Ｎ－１個のランダムにサンプリングされたフレームと前記現在のフレームとを時間的順序で組み合わせて、Ｎ個のフレームのセットを取得することと、
前記Ｎ個のフレームのセットを、前記外科的処置のための訓練済みＲＳＤ機械学習（ＭＬ）モデルに供給することと、
前記Ｎ個のフレームのセットに基づいて、前記訓練済みＲＳＤ ＭＬモデルから現在のＲＳＤ予測を出力することと、
を含む、コンピュータ実装方法。
【請求項2】
前記Ｎ－１個のランダムにサンプリングされたフレームが、前記ライブ手術セッションの前記経過部分中に発生した様々な事象の十分に正確なスナップショットを提供するように、Ｎが十分に大きくなるように選択される、請求項１に記載のコンピュータ実装方法。
【請求項3】
前記ライブ手術セッションの前記経過部分をランダムにサンプリングすることは、連続ＲＳＤ予測を行っている間に、前記内視鏡ビデオ内の所与のフレームを異なる予測タイムポイントにおいて２回以上サンプリングすることを可能にする、請求項１に記載のコンピュータ実装方法。
【請求項4】
前記方法は、前記Ｎ個のフレームのセットに基づいて、前記訓練済みＲＳＤ ＭＬモデルを使用して、前記ライブ手術セッションの完了率の予測を生成することを更に含む、請求項１に記載のコンピュータ実装方法。
【請求項5】
前記方法は、現在のＲＳＤ予測のセットを生成するために、
前記ライブ手術セッションの開始に対応する前記内視鏡ビデオの開始と前記現在時刻に対応する前記現在のフレームとの間の、前記ライブ手術セッションの経過部分に対応する前記内視鏡ビデオのＮ－１個の追加フレームをランダムにサンプリングするステップと、
前記Ｎ－１個のランダムにサンプリングされたフレームと前記現在のフレームとを時間的順序で組み合わせて、Ｎ個のフレームのセットを取得するステップと、
前記Ｎ個のフレームのセットを、訓練済みＲＳＤ ＭＬモデルに供給するステップと、
前記Ｎ個のフレームのセットに基づいて、前記訓練済みＲＳＤ ＭＬモデルから現在のＲＳＤ予測を生成するステップと、
を複数回繰り返すことと、
前記現在のＲＳＤ予測のセットの平均値及び分散値を計算することと、
前記計算された平均値及び分散値を前記現在のＲＳＤ予測として使用することによって、前記現在のＲＳＤ予測を改善することと、
によって、前記現在時刻における前記現在のＲＳＤ予測を改善すること、を更に含む、請求項１に記載のコンピュータ実装方法。
【請求項6】
前記方法は、前記内視鏡ビデオ内の予測タイムポイントの前記シーケンスに対応するリアルタイムＲＳＤ予測の連続シーケンスを生成することと、
リアルタイムＲＳＤ予測の前記シーケンスにおける高周波ジッタを除去することによって前記ＲＳＤ予測を平滑化するために、リアルタイムＲＳＤ予測の前記シーケンスにローパスフィルタを適用することと、
によって、前記ＲＳＤ予測を改善すること、を更に含む、請求項１に記載のコンピュータ実装方法。
【請求項7】
前記方法は、前記外科的処置のトレーニングビデオのセットを受信することであって、トレーニングビデオの前記セット内の各ビデオは、前記外科的処置に熟練した外科医によって実行される前記外科的処置の実行に対応する、受信することと、
トレーニングビデオの前記セット内の各トレーニングビデオについて、所定の時間間隔に従って、前記トレーニングビデオ全体にわたる等間隔のタイムポイントのシーケンスにおいてトレーニングデータ生成ステップのシーケンスを実行することによって、ラベル付けされたトレーニングデータのセットを構築することであって、タイムポイントの前記シーケンス内の対応するタイムポイントにおけるトレーニングデータ生成ステップの前記シーケンス内の各トレーニングデータ生成ステップが、
前記対応するタイムポイントにおける前記トレーニングビデオの現在のフレームを受信することと、
前記トレーニングビデオの開始と前記現在のフレームとの間の、前記手術セッションの前記経過部分に対応する前記トレーニングビデオのＮ－１個の追加フレームをランダムにサンプリングすることと、
前記Ｎ－１個のランダムにサンプリングされたフレームと前記現在のフレームとを時間的順序で組み合わせて、Ｎ個のフレームのセットを取得することと、
前記現在のフレームに関連付けられたラベルで、前記Ｎ個のフレームのセットにラベル付けすることと、
を含む、構築することと、
トレーニングビデオの前記セットに関連付けられたラベル付けされたトレーニングデータの複数のセットを出力することと、
によって、トレーニングデータセットを生成すること、
を更に含む、請求項１に記載のコンピュータ実装方法。
【請求項8】
前記方法は、畳み込みニューラルネットワーク（ＣＮＮ）モデルを受信することと、
ラベル付けされたトレーニングデータの前記複数のセットを含む前記トレーニングデータセットを用いて前記ＣＮＮモデルを訓練することと、
前記訓練されたＣＮＮモデルに基づいて前記訓練済みＲＳＤ ＭＬモデルを取得することと、
によって、前記訓練済みＲＳＤ ＭＬモデルを確立することを更に含む、請求項７に記載のコンピュータ実装方法。
【請求項9】
前記方法は、前記トレーニングデータセットを生成する前に、前記トレーニングビデオ内の各ビデオフレームについて、
前記ビデオフレームから前記トレーニングビデオの終了までの残存手術時間を自動的に判定することと、
前記ビデオフレームの前記ラベルとして、前記判定された残存手術時間で前記ビデオフレームに自動的に注釈を付けることと、
によって、トレーニングビデオの前記セット内の各トレーニングビデオにラベル付けすることを更に含む、請求項７に記載のコンピュータ実装方法。
【請求項10】
前記現在のフレームに関連付けられた前記ラベルは、分単位の関連付けられた残存手術時間を含む、請求項７に記載のコンピュータ実装方法。
【請求項11】
前記ＣＮＮモデルは、ビデオフレームのシーケンスを単一の入力として受信するように構成された動作認識ネットワークアーキテクチャ（Ｉ３ｄ）を含む、請求項８に記載のコンピュータ実装方法。
【請求項12】
前記トレーニングデータセットを用いて前記ＣＮＮモデルを訓練することは、検証データセットに対して前記ＣＮＮモデルを評価することを含む、請求項８に記載のコンピュータ実装方法。
【請求項13】
外科的処置のライブ手術セッションの残存手術時間（ＲＳＤ）を、前記ライブ手術セッションのリアルタイム内視鏡ビデオに基づいて、リアルタイムで連続的に予測するためのシステムであって、１つ以上のプロセッサと、
前記１つ以上のプロセッサに結合されたメモリであって、前記メモリは、前記１つ以上のプロセッサによって実行されると、前記システムに、
前記ライブ手術セッションの現在時刻における前記内視鏡ビデオの現在のフレームを受信することであって、前記現在時刻は、前記ライブ手術セッション中に連続ＲＳＤ予測を行うための予測タイムポイントのシーケンスの中にある、受信することと、
前記ライブ手術セッションの開始に対応する前記内視鏡ビデオの開始と前記現在時刻に対応する前記現在のフレームとの間の、前記ライブ手術セッションの経過部分に対応する前記内視鏡ビデオのＮ－１個の追加フレームをランダムにサンプリングすることと、
前記Ｎ－１個のランダムにサンプリングされたフレームと前記現在のフレームとを時間的順序で組み合わせて、Ｎ個のフレームのセットを取得することと、
前記Ｎ個のフレームのセットを、前記外科的処置のための訓練済みＲＳＤ機械学習（ＭＬ）モデルに供給することと、
前記Ｎ個のフレームのセットに基づいて、前記訓練済みＲＳＤ ＭＬモデルから現在のＲＳＤ予測を出力することと、
を行わせる、命令を記憶している、メモリと、
を備える、システム。
【請求項14】
前記Ｎ－１個のランダムにサンプリングされたフレームが、前記ライブ手術セッションの前記経過部分中に発生した様々な事象の十分に正確なスナップショットを提供するように、Ｎが十分に大きくなるように選択される、請求項１３に記載のシステム。
【請求項15】
前記メモリは、前記１つ以上のプロセッサによって実行されると、前記システムに、現在のＲＳＤ予測のセットを生成するために、
前記ライブ手術セッションの開始に対応する前記内視鏡ビデオの開始と前記現在時刻に対応する前記現在のフレームとの間の、前記ライブ手術セッションの経過部分に対応する前記内視鏡ビデオのＮ－１個の追加フレームをランダムにサンプリングするステップと、
前記Ｎ－１個のランダムにサンプリングされたフレームと前記現在のフレームとを時間的順序で組み合わせて、Ｎ個のフレームのセットを取得するステップと、
前記Ｎ個のフレームのセットを、訓練済みＲＳＤ ＭＬモデルに供給するステップと、
前記Ｎ個のフレームのセットに基づいて、前記訓練済みＲＳＤ ＭＬモデルから現在のＲＳＤ予測を生成するステップと、
を複数回繰り返すことと、
前記現在のＲＳＤ予測のセットの平均値及び分散値を計算することと、
前記計算された平均値及び分散値を前記現在のＲＳＤ予測として使用することによって、前記現在のＲＳＤ予測を改善することと、
によって、前記現在時刻における前記現在のＲＳＤ予測を改善させる命令を更に記憶している、請求項１３に記載のシステム。
【請求項16】
前記メモリが、前記１つ以上のプロセッサによって実行されると、前記システムに、前記内視鏡ビデオ内の予測タイムポイントの前記シーケンスに対応するリアルタイムＲＳＤ予測の連続シーケンスを生成することと、
リアルタイムＲＳＤ予測の前記シーケンスにおける高周波ジッタを除去することによって前記ＲＳＤ予測を平滑化するために、リアルタイムＲＳＤ予測の前記シーケンスにローパスフィルタを適用することと、
によって、前記ＲＳＤ予測を改善させる命令を更に記憶している、請求項１３に記載のシステム。
【請求項17】
前記メモリは、前記１つ以上のプロセッサによって実行されると、前記システムに、前記外科的処置のトレーニングビデオのセットを受信することであって、トレーニングビデオの前記セット内の各ビデオは、前記外科的処置に熟練した外科医によって実行される前記外科的処置の実行に対応する、受信することと、
トレーニングビデオの前記セット内の各トレーニングビデオについて、所定の時間間隔に従って、前記トレーニングビデオ全体にわたる等間隔のタイムポイントのシーケンスにおいてトレーニングデータ生成ステップのシーケンスを実行することによって、ラベル付けされたトレーニングデータのセットを構築することであって、タイムポイントの前記シーケンス内の対応するタイムポイントにおけるトレーニングデータ生成ステップの前記シーケンス内の各トレーニングデータ生成ステップが、
前記対応するタイムポイントにおける前記トレーニングビデオの現在のフレームを受信することと、
前記トレーニングビデオの開始と前記現在のフレームとの間の、前記外科的処置の前記経過部分に対応する前記トレーニングビデオのＮ－１個の追加フレームをランダムにサンプリングすることと、
前記Ｎ－１個のランダムにサンプリングされたフレームと前記現在のフレームとを時間的順序で組み合わせて、Ｎ個のフレームのセットを取得することと、
前記現在のフレームに関連付けられたラベルで、前記Ｎ個のフレームのセットにラベル付けすることと、
を含む、構築することと、
トレーニングビデオの前記セットに関連付けられたラベル付けされたトレーニングデータの複数のセットを出力することと、
によって、トレーニングデータセットを生成させる命令を更に記憶している、請求項１３に記載のシステム。
【請求項18】
前記メモリが、前記１つ以上のプロセッサによって実行されると、前記システムに、畳み込みニューラルネットワーク（ＣＮＮ）モデルを受信することと、
トレーニングビデオの前記セットに対応するラベル付けされたトレーニングデータの前記複数のセットを含む前記トレーニングデータセットを用いて前記ＣＮＮモデルを訓練することと、
前記訓練されたＣＮＮモデルに基づいて前記訓練済みＲＳＤ ＭＬモデルを取得することと、
によって、前記訓練済みＲＳＤ ＭＬモデルを確立させる命令を更に記憶している、請求項１７に記載のシステム。
【請求項19】
前記メモリが、前記１つ以上のプロセッサによって実行されると、前記システムに、ラベル付けされたトレーニングデータの前記複数のセット内のラベル付けされたトレーニングデータの各セットから１つのラベル付けされたトレーニングデータをランダムに選択することと、
ランダムに選択されたラベル付けされたトレーニングデータの前記セットを組み合わせて、トレーニングデータのバッチを形成することと、
トレーニングデータの前記バッチを用いて前記ＣＮＮモデルを訓練して、前記ＣＮＮモデルを更新することと、
によって、ラベル付けされたトレーニングデータの前記複数のセットを用いて前記ＣＮＮモデルを訓練させる命令を更に記憶している、請求項１８に記載のシステム。
【請求項20】
前記ＣＮＮモデルは、ビデオフレームのシーケンスを単一の入力として受信するように構成された動作認識ネットワークアーキテクチャ（Ｉ３ｄ）を含む、請求項１８に記載のシステム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、概して、機械学習ベースの外科的処置分析ツールを構築することに関し、より具体的には、内視鏡ビデオフィードに基づいて外科的処置のライブ手術セッション中に深層学習ベースのリアルタイム残存手術時間（ＲＳＤ）推定を実行するためのシステム、デバイス、及び技法に関する。
【背景技術】
【0002】
手術室（operating room、ＯＲ）コストは、最も高い医療コスト及びヘルスケア関連のコストのうちの１つである。ヘルスケア支出が急騰するとともに、ＯＲコストを削減し、ＯＲ効率性を向上させることを目的としたＯＲコスト管理が、ますます重要な研究対象となっている。ＯＲコストは、１分当たりのコスト構造に基づいて測定されることが多い。例えば、ある２００５年の研究には、ＯＲコストは１分当たり２２ドル～１３３ドルの範囲であり、平均コストが１分当たり６２ドルであることが示されている。この１分当たりのコスト構造において、所与の外科的処置のＯＲコストは、外科的処置の所要時間／長さに正比例する。したがって、正確な手術時間推定は、効率的なＯＲ管理システムを構築する際に重要な役割を果たす。ＯＲチームが手術時間を長く推定した場合、高価なＯＲリソースの利用が不十分になることに留意されたい。一方、手術時間が短く推定された場合、他のＯＲチーム及び患者の待機時間が長くなる。しかしながら、手術時間を正確に予測することは、患者の多様性、外科医の技能、及び他の予測不可能な要因に起因して、非常に困難である。
【0003】
上記の問題に対する１つの解決策は、腹腔鏡ビデオフィードから残存手術時間（remaining surgery duration、ＲＳＤ）を自動的に推定するために機械学習を使用することである。例えば、既存のＲＳＤ推定技術は、トレーニングデータセットの各フレームに、予め定義された手術フェーズを手動でラベル付けする。次いで、教師あり機械学習モデルが、トレーニングデータセット内の各タイムスタンプにおける手術フェーズを推定するように、そのトレーニングデータセットに基づいて訓練される。次に、トレーニングデータセットにわたる各手術フェーズの統計を利用することによって、現在の手術フェーズを終了するための残りの時間を推定することができる。現在のタイムスタンプにおいてどのフェーズが完了しているかを推定することと組み合わせた推定を使用して、ＲＳＤが推定される。残念ながら、この技法は、トレーニングセット内のフレームの各々に手動でラベル付けすることを必要とし、これは労働集約的であり、高価である。
【0004】
別の既存のＲＳＤ推定技術は、手術フェーズの注釈付けに依存しない。この手法では、機械学習モデルへの入力は単一のフレームである。しかしながら、機械学習モデルが、単一のフレームの前に何が起こったかを単一のフレーム自体だけから予測することは極めて困難である。この問題に対処するために、回帰型ニューラルネットワークの異なる変形形態を教師なし手法において利用して、以前のフレームを暗黙的にカプセル化して隠れ状態にする。残念ながら、手術ビデオは通常非常に長く、何千ものフレームを複数の隠れ状態として表すように機械学習モデルに教えることは簡単ではないので、この手法のＲＳＤ予測精度は依然として不十分である。
【発明の概要】
【課題を解決するための手段】
【0005】
本明細書に記載されるいくつかの実施形態は、所与の外科的処置のライブ手術セッションの残存手術時間（ＲＳＤ）を、ライブ手術セッションのリアルタイム内視鏡ビデオに基づいて、リアルタイムで連続的に予測するための手術時間推定システムの様々な例を提供する。特定の実施形態では、開示されるＲＳＤ予測システムは、ライブ手術セッションの現在時刻における内視鏡ビデオの現在のフレームを受信し、現在時刻は、ライブ手術セッション中に連続ＲＳＤ予測を行うための予測タイムポイントのシーケンスの中にある。ＲＳＤ予測システムは、次に、ライブ手術セッションの開始に対応する内視鏡ビデオの開始と現在時刻に対応する現在のフレームとの間の、ライブ手術セッションの経過部分に対応する内視鏡ビデオのＮ－１個の追加フレームをランダムにサンプリングする。ＲＳＤ予測システムは、次いで、Ｎ－１個のランダムにサンプリングされたフレームと現在のフレームとを時間的順序で組み合わせて、Ｎ個のフレームのセットを取得する。次に、システムは、Ｎ個のフレームのセットを、所与の外科的処置のための訓練済み機械学習モデルへと供給する。その後、ＲＳＤ予測システムは、Ｎ個のフレームのセットに基づいて現在のＲＳＤ予測を出力する。
【0006】
いくつかの実施形態では、Ｎ－１個のランダムにサンプリングされたフレームが、ライブ手術セッションの経過部分中に発生した様々な事象の十分に正確なスナップショットを提供するように、Ｎが十分に大きくなるように選択される。
【0007】
いくつかの実施形態では、ライブ手術セッションの経過部分をランダムにサンプリングすることは、連続ＲＳＤ予測を行っている間に、内視鏡ビデオ内の所与のフレームを異なる予測タイムポイントにおいて２回以上サンプリングすることを可能にする。
【0008】
いくつかの実施形態では、ＲＳＤ予測システムはまた、Ｎ個のフレームのセットに基づいて、訓練済みＲＳＤ ＭＬモデルを使用して、ライブ手術セッションの完了率の予測を生成する。
【0009】
いくつかの実施形態では、ＲＳＤ予測システムは、現在のＲＳＤ予測のセットを生成するために、（１）ライブ手術セッションの開始に対応する内視鏡ビデオの開始と現在時刻に対応する現在のフレームとの間の、ライブ手術セッションの経過部分に対応する内視鏡ビデオのＮ－１個の追加フレームをランダムにサンプリングするステップと、Ｎ－１個のランダムにサンプリングされたフレームと現在のフレームとを時間的順序で組み合わせて、Ｎ個のフレームのセットを取得するステップと、Ｎ個のフレームのセットを、訓練済みＲＳＤ ＭＬモデルに供給するステップと、Ｎ個のフレームのセットに基づいて、訓練済みＲＳＤ ＭＬモデルから現在のＲＳＤ予測を生成するステップと、を複数回繰り返すことと、によって、現在時刻における現在のＲＳＤ予測を改善する。次に、ＲＳＤ予測システムは、現在のＲＳＤ予測のセットの平均値及び分散値を計算する。その後、ＲＳＤ予測システムは、計算された平均値及び分散値を現在のＲＳＤ予測として使用することによって、現在のＲＳＤ予測を改善する。
【0010】
いくつかの実施形態では、ＲＳＤ予測システムは、内視鏡ビデオ内の予測タイムポイントのシーケンスに対応するリアルタイムＲＳＤ予測の連続シーケンスを生成することと、リアルタイムＲＳＤ予測のシーケンスにおける高周波ジッタを除去することによってＲＳＤ予測を平滑化するために、リアルタイムＲＳＤ予測のシーケンスにローパスフィルタを適用することと、によって、ＲＳＤ予測を更に改善する。
【0011】
いくつかの実施形態では、ＲＳＤ予測システムは、最初に、外科的処置のトレーニングビデオのセットを受信することによって、トレーニングデータセットを生成し、トレーニングビデオのセット内の各ビデオは、外科的処置に熟練した外科医によって実行される外科的処置の実行に対応する。次に、トレーニングビデオのセット内の各トレーニングビデオについて、ＲＳＤ予測システムは、所定の時間間隔に従って、トレーニングビデオ全体にわたる等間隔のタイムポイントのシーケンスにおいてトレーニングデータ生成ステップのシーケンスを実行することによって、ラベル付けされたトレーニングデータのセットを構築する。より具体的には、タイムポイントのシーケンス内の対応するタイムポイントにおけるトレーニングデータ生成ステップのシーケンス内の各トレーニングデータ生成ステップは、（１）対応するタイムポイントにおけるトレーニングビデオの現在のフレームを受信することと、（２）トレーニングビデオの開始と現在のフレームとの間の、手術セッションの経過部分に対応するトレーニングビデオのＮ－１個の追加フレームをランダムにサンプリングすることと、（３）Ｎ－１個のランダムにサンプリングされたフレームと現在のフレームとを時間的順序で組み合わせて、Ｎ個のフレームのセットを取得することと、（４）現在のフレームに関連付けられたラベルで、Ｎ個のフレームのセットにラベル付けすることと、を含む。最後に、ＲＳＤ予測システムは、トレーニングビデオのセットに関連付けられたラベル付けされたトレーニングデータの複数のセットを出力する。
【0012】
いくつかの実施形態では、ＲＳＤ予測システムは、（１）畳み込みニューラルネットワーク（convolutional neural network、ＣＮＮ）モデルを受信することと、（２）ラベル付けされたトレーニングデータの複数のセットを含むトレーニングデータセットを用いてＣＮＮモデルを訓練することと、（３）訓練されたＣＮＮモデルに基づいて訓練済みＲＳＤ ＭＬモデルを取得することと、によって、訓練済みＲＳＤ ＭＬモデルを確立する。
【0013】
いくつかの実施形態では、ＲＳＤ予測システムは、トレーニングデータセットを生成する前に、トレーニングビデオ内の各ビデオフレームについて、ビデオフレームからトレーニングビデオの終了までの残存手術時間を自動的に判定することと、ビデオフレームのラベルとして、判定された残存手術時間でビデオフレームに自動的に注釈を付けることと、によって、トレーニングビデオのセット内の各トレーニングビデオにラベル付けするように更に構成されている。
【0014】
いくつかの実施形態では、現在のフレームに関連付けられたラベルは、分単位の関連付けられた残存手術時間を含む。
【0015】
いくつかの実施形態では、ＣＮＮモデルは、ビデオフレームのシーケンスを単一の入力として受信するように構成された動作認識ネットワークアーキテクチャ（Ｉ３ｄ）を含む。
【0016】
いくつかの実施形態では、トレーニングデータセットを用いてＣＮＮモデルを訓練することは、検証データセットに対してＣＮＮモデルを評価することを含む。
【0017】
本明細書に記載されるいくつかの実施形態はまた、リアルタイムＲＳＤ予測を行うための訓練済みＲＳＤ予測モデルを構築するためのＲＳＤ予測モデルトレーニングシステムの様々な例を提供する。特定の実施形態では、開示されるＲＳＤ予測モデルトレーニングシステムは、標的の外科的処置を同様に実行することができる多数の外科医によって実行される標的の外科的処置のトレーニングビデオのセットを受信する。次に、開示されるモデルトレーニングシステムは、計算リソース制限に基づいて、受信されたトレーニングビデオのセットからトレーニングビデオのサブセットをランダムに選択する。開示されるモデルトレーニングシステムは、その後、トレーニングビデオのサブセットに基づいて反復モデル調整手順を開始する。具体的には、各所与の反復において、開示されるモデルトレーニングシステムは、トレーニングビデオのサブセットの各々から、所与のトレーニングビデオの開始と終了との間のタイムスタンプを選択する。その後、開示されるモデルトレーニングシステムは、ランダムに選択されたタイムスタンプのセットに基づいて、トレーニングビデオのサブセットの各々におけるビデオフレームを抽出する。
【0018】
次に、トレーニングビデオのサブセットの各々においてランダムに選択された各ビデオフレームについて、開示されるモデルトレーニングシステムは、トレーニングビデオの開始とランダムに選択されたビデオフレームとの間のトレーニングビデオのＮ－１個の追加フレームをランダムにサンプリングすることと、Ｎ－１個のランダムにサンプリングされたフレームとランダムに選択されたビデオフレームとを時間的順序で組み合わせることとによって、対応するトレーニングビデオ内の所与のビデオフレームに対するＮ個のフレームのセットを構築する。このようにして、開示されるモデルトレーニングシステムは、トレーニングビデオのサブセットから抽出されたＮ個のフレームのセットを含むトレーニングデータのバッチを生成する。その後、開示されるモデルトレーニングシステムは、トレーニングデータのバッチを使用して、ＲＳＤ予測モデルのモデルパラメータを更新する。次に、開示されるモデルトレーニングシステムは、モデルトレーニングプロセスの別の反復が必要であるかどうかを判定するために、検証データセットに対して、更新されたＲＳＤ予測モデルを評価する。次に、リアルタイムＲＳＤ予測システム及びＲＳＤ予測モデルトレーニングシステムの異なる実施形態について以下により詳細に説明する。
【0019】
いくつかの実施形態では、ＲＳＤ予測モデルトレーニングシステムは、トレーニングビデオのセットに対応するラベル付けされたトレーニングデータの複数のセットを使用して、ＲＳＤ予測モデルを訓練するように構成されている。より具体的には、ＲＳＤ予測モデルは、ラベル付けされたトレーニングデータの複数のセット内のラベル付けされたトレーニングデータの各セットから１つのラベル付けされたトレーニングデータをランダムに選択することと、ランダムに選択されたラベル付けされたトレーニングデータのセットを組み合わせて、トレーニングデータのバッチを形成することと、ＲＳＤ予測モデルをトレーニングデータのバッチを用いて訓練して、ＲＳＤ予測モデルを更新することと、によって、ＲＳＤ予測モデルを訓練するように構成されている。
【図面の簡単な説明】
【0020】
本開示の構造及び動作は、以下の詳細な説明及び同様の参照番号が同様の部品を指す添付の図面を検討することによって理解されるであろう。
【図1】本明細書に記載されるいくつかの実施形態による、ロボット手術システムを備えた例示的な手術室（ＯＲ）環境を示す図である。
【図2】本明細書に記載されるいくつかの実施形態による、処置ビデオフィードに基づいて外科的処置中にリアルタイムＲＳＤ予測を実行するための残存手術時間（ＲＳＤ）予測システムのブロック図である。
【図3】本明細書に記載されるいくつかの実施形態による、開示されたＲＳＤ予測システムにおいて訓練済みＲＳＤ予測モデルを構築するためのＲＳＤ予測モデルトレーニングシステムのブロック図である。
【図4】本明細書に記載されるいくつかの実施形態による、処置ビデオフィードに基づいてライブ手術セッション中にリアルタイムＲＳＤ予測を実行するための例示的なプロセスを示すフローチャートである。
【図5】本明細書に記載されるいくつかの実施形態による、開示されたＲＳＤ予測システムにおいて訓練済みＲＳＤ予測モデルを構築するための例示的なプロセスを示すフローチャートである。
【図6】本明細書に記載されるいくつかの実施形態による、開示されたＲＳＤ予測システムにおいてＲＳＤ予測モデルを訓練するための別の例示的なプロセスを示すフローチャートである。
【図7】主題の技術のいくつかの実施形態を実装することができるコンピュータシステムを概念的に示す図である。
【発明を実施するための形態】
【0021】
以下に記載される詳細な説明は、主題の技術の様々な構成の説明として意図されており、主題の技術が実施され得る唯一の構成を表すことを意図するものではない。添付の図面は、本明細書に組み込まれ、詳細な説明の一部を構成する。詳細な説明には、主題の技術の徹底した理解を提供することを目的とした、具体的な詳細が含まれる。しかしながら、主題の技術は、本明細書に記載される特定の詳細に限定されるものではなく、これらの特定の詳細なしで実施されてもよい。場合によっては、主題の技術の概念を不明瞭にすることを回避するために、構造及び構成要素がブロック図形式で示される。
【0022】
本明細書に記載されるいくつかの実施形態は、所与の外科的処置のライブ手術セッションの残存手術時間（ＲＳＤ）を、ライブ手術セッションのリアルタイム内視鏡ビデオに基づいて、リアルタイムで連続的に予測するための手術時間推定システムの様々な例を提供する。特定の実施形態では、開示されるＲＳＤ予測システムは、ライブ手術セッションの現在時刻における内視鏡ビデオの現在のフレームを受信し、現在時刻は、ライブ手術セッション中に連続ＲＳＤ予測を行うための予測タイムポイントのシーケンスの中にある。ＲＳＤ予測システムは、次に、ライブ手術セッションの開始に対応する内視鏡ビデオの開始と現在時刻に対応する現在のフレームとの間の、ライブ手術セッションの経過部分に対応する内視鏡ビデオのＮ－１個の追加フレームをランダムにサンプリングする。ＲＳＤ予測システムは、次いで、Ｎ－１個のランダムにサンプリングされたフレームと現在のフレームとを時間的順序で組み合わせて、Ｎ個のフレームのセットを取得する。次に、システムは、Ｎ個のフレームのセットを、所与の外科的処置のための訓練済み機械学習モデルへと供給する。その後、ＲＳＤ予測システムは、Ｎ個のフレームのセットに基づいて現在のＲＳＤ予測を出力する。
【0023】
本明細書に記載されるいくつかの実施形態はまた、リアルタイムＲＳＤ予測を行うための訓練済みＲＳＤ予測モデルを構築するためのＲＳＤ予測モデルトレーニングシステムの様々な例を提供する。特定の実施形態では、開示されるＲＳＤ予測モデルトレーニングシステムは、標的の外科的処置を同様に実行することができる多数の外科医によって実行される標的の外科的処置のトレーニングビデオのセットを受信する。次に、開示されるモデルトレーニングシステムは、計算リソース制限に基づいて、受信されたトレーニングビデオのセットからトレーニングビデオのサブセットをランダムに選択する。開示されるモデルトレーニングシステムは、その後、トレーニングビデオのサブセットに基づいて反復モデル調整手順を開始する。具体的には、各所与の反復において、開示されるモデルトレーニングシステムは、トレーニングビデオのサブセットの各々から、所与のトレーニングビデオの開始と終了との間のタイムスタンプを選択する。その後、開示されるモデルトレーニングシステムは、ランダムに選択されたタイムスタンプのセットに基づいて、トレーニングビデオのサブセットの各々におけるビデオフレームを抽出する。
【0024】
次に、トレーニングビデオのサブセットの各々においてランダムに選択された各ビデオフレームについて、開示されるモデルトレーニングシステムは、トレーニングビデオの開始とランダムに選択されたビデオフレームとの間のトレーニングビデオのＮ－１個の追加フレームをランダムにサンプリングすることと、Ｎ－１個のランダムにサンプリングされたフレームとランダムに選択されたビデオフレームとを時間的順序で組み合わせることとによって、対応するトレーニングビデオ内の所与のビデオフレームに対するＮ個のフレームのセットを構築する。このようにして、開示されるモデルトレーニングシステムは、トレーニングビデオのサブセットから抽出されたＮ個のフレームのセットを含むトレーニングデータのバッチを生成する。その後、開示されるモデルトレーニングシステムは、トレーニングデータのバッチを使用して、ＲＳＤ予測モデルのモデルパラメータを更新する。次に、開示されるモデルトレーニングシステムは、モデルトレーニングプロセスの別の反復が必要であるかどうかを判定するために、検証データセットに対して、更新されたＲＳＤ予測モデルを評価する。次に、リアルタイムＲＳＤ予測システム及びＲＳＤ予測モデルトレーニングシステムの異なる実施形態について以下により詳細に説明する。
【0025】
図１は、本明細書に記載されるいくつかの実施形態による、ロボット手術システム１００を備えた例示的な手術室（ＯＲ）環境１１０を示している図を示す。図１に示すように、ロボット手術システム１００は、外科医コンソール１２０と、制御タワー１３０と、ロボット手術プラットフォーム１１６（例えば、テーブル又はベッドなど）に位置する１つ以上の外科用ロボットアーム１１２とを備え、エンドエフェクタを有する外科用ツールが、外科的処置を実行するためにロボットアーム１１２の遠位端に取り付けられている。ロボットアーム１１２は、テーブル装着型システムとして示されているが、他の構成では、ロボットアームは、カート、天井若しくは側壁、又は別の好適な支持面に装着されてもよい。ロボット手術システム１００は、ロボット支援型手術を実行するための任意の現在存在する又は将来開発されるロボット支援型手術システムを含むことができる。
【0026】
一般に、外科医又は他のオペレータなどのユーザ／オペレータ１４０は、ユーザコンソール１２０を使用して、ロボットアーム１１２及び／又は外科用器具を遠隔操作（例えば、テレオペレーション）することができる。ユーザコンソール１２０は、図１に示すように、ロボット手術システム１００と同じ手術室内に位置し得る。他の環境では、ユーザコンソール１２０は、隣接する若しくは近くの部屋に位置し得る、又は別の建物、都市、若しくは国の遠隔地から遠隔操作され得る。ユーザコンソール１２０は、シート１３２、足踏み式制御装置１３４、１つ以上のハンドヘルド型ユーザインターフェースデバイス（user interface device、ＵＩＤ）１３６、及び、例えば、患者内の手術部位の視野を表示するように構成された少なくとも１つのユーザディスプレイ１３８を備え得る。例示的なユーザコンソール１２０に示されるように、シート１３２に位置しており、ユーザディスプレイ１３８を見ている外科医は、足踏み式制御装置１３４及び／又はＵＩＤ１３６を操作して、ロボットアーム１２２及び／又はアームの遠位端に装着された外科用器具を遠隔制御し得る。
【0027】
いくつかの変形形態では、ユーザはまた、ロボット手術システム１００を「ベッド対面」（over the bed、ＯＴＢ）モードで動作させてもよく、このモードでは、ユーザは患者の側にいて、（例えば、片手に保持されたハンドヘルド型ユーザインターフェースデバイス（ＵＩＤ）１３６を用いて）ロボット駆動ツール／それに取り付けられたエンドエフェクタと手動式腹腔鏡ツールとを同時に操作する。例えば、ユーザの左手は、ハンドヘルドＵＩＤ１３６を操作してロボット手術構成要素を制御していてもよく、一方で、ユーザの右手は、手動式腹腔鏡ツールを操作していてもよい。したがって、これらの変形形態では、ユーザは、患者に対してロボット支援型（低侵襲手術）ＭＩＳ及び手動式腹腔鏡手術の両方を実行してもよい。
【0028】
例示的な処置又は手術の間、患者は、麻酔を受け取るために、滅菌状態で準備され、覆われている。手術部位への最初のアクセスは、手術部位へのアクセスを容易にするために、ロボット手術システム１００が収納構成又は引き込み構成にある状態で手動で実行され得る。アクセスが完了すると、ロボットシステムの初期位置決め又は準備が実施され得る。処置中、ユーザコンソール１２０にいる外科医は、足踏み式制御装置１３４及び／又はＵＩＤ１３６を利用して、様々な外科用ツール／エンドエフェクタ及び／又は撮像システムを操作して、手術を実行し得る。また、手動支援が、滅菌ガウンを着用した人員によって処置台で提供されてもよく、この人員は、組織を後退させること、又は１つ以上のロボットアーム１１２を伴う手動の再配置若しくはツール交換を実行することを含むが、それらに限定されない作業を実行してもよい。また、ユーザコンソール１２０において外科医を支援するために、滅菌されていない人員も存在し得る。処置又は手術が完了すると、ロボット手術システム１００及び／又はユーザコンソール１２０は、ロボット手術システム１００の洗浄及び／若しくは滅菌、並びに／又は、例えばユーザコンソール１２０を介した医療記録の入力若しくは印刷（電子的であるか又はハードコピーであるかに関わらない）を含むが、これらに限定されない、１つ若しくは２つ以上の術後処置を容易にするように構成又は設定され得る。
【0029】
いくつかの態様では、ロボット手術プラットフォーム１１６とユーザコンソール１２０との間の通信は、ユーザコンソール１２０からのユーザコマンドをロボット制御コマンドに変換し、ロボット制御コマンドをロボット手術プラットフォーム１１６に送信することができる制御タワー１３０を介し得る。制御タワー１３０はまた、ロボット手術プラットフォーム１１６からユーザコンソール１２０に状態及びフィードバックを送信し得る。ロボット手術プラットフォーム１１６と、ユーザコンソール１２０と、制御タワー１３０との間の接続は、有線接続及び／若しくは無線接続を介してもよく、独自のものであってもよく、かつ／又は様々なデータ通信プロトコルのいずれかを使用して実行されてもよい。任意の有線接続が、手術室の床及び／又は壁若しくは天井に任意選択的に内蔵されていてもよい。ロボット手術システム１００は、手術室内のディスプレイ、並びにインターネット又は他のネットワークを介してアクセス可能である遠隔ディスプレイを含む、１つ以上のディスプレイにビデオ出力を提供し得る。ビデオ出力又はフィードはまた、プライバシーを確保するために暗号化され得、ビデオ出力の全て又は一部は、サーバ又は電子医療記録システムに保存され得る。
【0030】
図２は、本明細書に記載されるいくつかの実施形態による、処置ビデオフィードに基づいて外科的処置中にリアルタイムＲＳＤ予測を実行するための残存手術時間（ＲＳＤ）予測システム２００のブロック図を示す。図２に示すように、ＲＳＤ予測システム２００は、内視鏡ビデオ受信モジュール２０２と、Ｎフレーム生成モジュール２０４と、訓練済みＲＳＤ予測機械学習（machine-learning、ＭＬ）モデル２０６とを含むことができ、これらは図示のように結合されている。ただし、開示されるＲＳＤ予測システムの他の実施形態は、内視鏡ビデオ受信モジュール２０２と、図２には示されていない訓練済みＲＳＤ予測ＭＬモデル２０６（又は以下では「ＲＳＤ予測モデル２０６」）との間に追加の処理モジュールを含んでもよい。
【0031】
いくつかの実施形態では、ＲＳＤ予測モデル２０６は、具体的には、特定の外科的処置、例えばルーワイ胃バイパス処置又はスリーブ胃切除処置のために構築され、訓練された。この特定の外科的処置は、典型的には、特定の外科的処置の特徴である所定のフェーズ／ステップのセットを含む（各フェーズ／ステップは、サブフェーズ／サブステップを更に含み得る）ことに留意されたい。いくつかの実施形態では、ＲＳＤ予測システム２００内の内視鏡ビデオ受信モジュール２０２は、外科的処置、例えば、外科医によって実行されている胃バイパス処置のリアルタイム／ライブ内視鏡ビデオフィード２０８を受信する。いくつかの実施形態では、外科的処置中に完全かつ連続的なＲＳＤ予測を提供するために、内視鏡ビデオ受信モジュール２０２は、外科的処置のライブ内視鏡ビデオフィード２０８（又は以下では「ビデオフィード２０８」）を全体的に、すなわち、外科的処置の開始の瞬間から外科的処置の終了まで受信することができる。ビデオフィード２０８は、典型的には、大部分が患者の身体の内側からキャプチャされた未処理の生ビデオ画像から構成されることに留意されたい。
【0032】
当業者であれば、リアルタイムＲＳＤ予測を実行する前に複数の訓練済みＲＳＤ予測モデルを構築（construct）／構築（build）でき、それにより、複数の訓練済みＲＳＤ予測モデルのうちの各ＲＳＤ予測モデルが、複数の異なる外科的処置のうちの特定の外科的処置のために構築されることを理解するであろう。したがって、ビデオフィード２０８によってキャプチャされた特定の外科的処置に基づいて、ＲＳＤ予測システム２００は、ＲＳＤ予測システム２００によって使用される複数の構築されたＲＳＤ予測モデルから対応するＲＳＤ予測モデル２０６を選択することができる。
【0033】
いくつかの実施形態では、内視鏡ビデオ受信モジュール２０２は、所定のバッファサイズのフレームバッファ２１０を更に含む。ビデオフィード２０８がちょうど受信され始めた外科的処置の開始時に、フレームバッファ２１０は、受信されたビデオフィード２０８内のフレームごとに又はフレームを１つおきにフレームバッファ２１０内にバッファリングできるように本質的に空であることに留意されたい。しかしながら、フレームバッファ２１０の所定のバッファサイズは、記録されたビデオフィード全体の各フレームごとに又は更にはフレームを１つおきに記憶するのに必要な空間よりも小さいことが多い。したがって、いくつかの実施形態では、フレームバッファ２１０は、ローリングバッファとして構成され得る。これらの実施形態では、ライブ外科的処置中の特定の時点にフレームバッファ２１０がいっぱいになると、内視鏡ビデオ受信モジュール２０２は、内視鏡フィード２０８から新しいビデオフレームを受信してフレームバッファ２１０に記憶し、同時に、より古いビデオフレームを、例えば、最も古いフレームをフレームバッファ２１０から除去するように構成され得る。フレームバッファ２１０の管理について以下により詳細に説明する。
【0034】
ＲＳＤ予測システム２００は、内視鏡ビデオ受信モジュール２０２に結合されているＮフレーム生成モジュール２０４を更に含む。いくつかの実施形態では、Ｎフレーム生成モジュール２０４は、新たに受信された各ビデオフレームに対応するタイムポイントごとに動作するように構成される。これは、ビデオフィード２０８が６０ｆｐｓでキャプチャされる場合、Ｎフレーム生成モジュール２０４が、受信された各フレームごとに６０回／秒アクティブ化されることを意味する。しかしながら、この手法は、非常に計算集約的であり、非実用的であり得る。いくつかの他の実施形態では、Ｎフレーム生成モジュール２０４は、Ｎフレーム生成モジュール２０４が所定の時間間隔に従った一連の所定のタイムポイントにおいてのみ、例えば、１秒ごと、２秒ごと、又は５秒ごとなどでのみ、トリガ／アクティブ化されるように、タイマに同期され得る。これは、ビデオフィード２０８が６０ｆｐｓでキャプチャされる場合、Ｎフレーム生成モジュール２０４が、単一のフレームごとではなく、６０フレームごとに１回、１２０フレームごとに１回、又は３００フレームごと１回などでのみアクティブ化されることを意味する。
【0035】
ＲＳＤ予測システム２００は、ライブ外科的処置中に連続的かつリアルタイムのＲＳＤ予測／更新を生成するように構成されているので、ＲＳＤ予測がフレーム単位で行われるか、あるいは所定の時間間隔に基づいて行われるかに関わらず、各ＲＳＤ予測点に対応する時間を、ライブ外科的処置の「現在時刻」、「現在時刻Ｔ」又は「現在のタイプポイント」と呼ぶ。しかしながら、ＲＳＤ予測が所定の時間間隔に基づいて、例えば、１秒ごとに又は２秒ごとに行われる場合、現在のＲＳＤ予測を行うための現在のタイプポイントは、外科的処置全体の間に連続ＲＳＤ予測／更新を行うための所定のタイムポイントのシーケンスの中にある。更に、現在のタイプポイントに対応するビデオフィード２０８のビデオフレームを、ライブ外科的処置の「現在のフレーム」と呼び、これは、ビデオフィード２０８内の最も新しいビデオフレームでもある。
【0036】
いくつかの実施形態では、リアルタイムＲＳＤ予測の生成に備えて、Ｎフレーム生成モジュール２０４は、外科的処置の現在時刻における内視鏡フィード２０８の現在のフレームを取得する。Ｎフレーム生成モジュール２０４は、内視鏡ビデオ受信モジュール２０２内のフレームバッファ２１０から、又はビデオフィード２０８から直接、現在のフレームを取得できることに留意されたい。更に、Ｎフレーム生成モジュール２０４は、外科的処置の経過部分に対応するビデオフィード２０８の以前に受信され記憶されたビデオフレームから、すなわち、外科的処置の開始に対応する内視鏡ビデオの開始から、現在のタイプポイントに対応するビデオフィード２０８の現在のフレームまで、Ｎ－１個の追加フレームをランダムにサンプリングするように構成される。ここで、Ｎは、以下により詳細に説明される所定の整数であることに留意されたい。
【0037】
いくつかの実施形態では、整数Ｎは、ＲＳＤ予測システム２００がＮ個のフレームのセットを処理するための計算上の制約（Ｎの上限を規定する）と、外科的処置の経過部分中に生じた事象のセットの代表的な又は十分に正確なスナップショットを提供するように、十分な大きさの、外科的処置の経過部分からランダムにサンプリングされたＮ－１個のフレームのセット（Ｎの下限を規定する）との間のトレードオフとして選択される。このようにして、下流のＲＳＤ予測モデル２０６は、Ｎ－１個のランダムにサンプリングされたフレームと現在のフレーム（すなわち、合計Ｎ個のフレーム）によってキャプチャされた画像のセットを分析することに基づいて、外科的処置全体の中のどのタイムポイント及びフェーズ／ステップに現在のフレームが位置するのかを予測することができる。一方、数Ｎの上限は、Ｎ個のフレームのセットを所定の時間間隔内でリアルタイムで処理して、下流のＲＳＤ－ＭＬモデル２０６によるリアルタイムＲＳＤ予測を行うことができることを示す。
【0038】
Ｎフレーム生成モジュール２０４は、フレームバッファ２１０内にバッファリングされたビデオフレームからＮ－１個のフレームをランダムにサンプリングできることに留意されたい。例えば、現在時刻Ｔにおいて、合計Ｋ個のフレーム（現在のフレームを含む）がフレームバッファ２１０にバッファリング／記憶されている場合、Ｋ－１個のフレーム（現在のフレームを除く）の中から、Ｎ－１個のフレームをランダムにサンプリングすることができる。実用的な理由により、（Ｎ－１）≦（Ｋ－１）であることが望ましい。いくつかの実施形態では、Ｎは［４，２０］の間の数である。したがって、内視鏡フィード２０８からビデオフレームを受信してバッファリングする最初の数秒間の後、Ｎ－１＜＜（Ｋ－１）という関係を容易に満たし、その後、外科的処置全体にわたって維持することができる。
【0039】
いくつかの実施形態では、フレームバッファ２１０内の各ビデオフレームは、ビデオフレームが受信モジュール２０２によって受信される順序を表す対応するシーケンス番号ｓに関連付けられている。例えば、現在時刻で合計Ｋ個のフレームが受信済みである場合、フレームバッファ２１０に記憶された各フレームは、１～Ｋ（Ｋは現在のフレームである）の対応するシーケンス番号ｓを有することになる。したがって、Ｋ－１個のバッファリングされたフレームの中から、Ｎ－１個のフレームをランダムにサンプリングするために、Ｎフレーム生成モジュール２０４は、１～Ｋの第１の乱数Ｒ１を生成し、その後、シーケンス番号ｓ＝Ｒ１を有するバッファリングされたフレームを、Ｎ－１個のフレームのうちの最初のフレームとして選択することができる。Ｎフレーム生成モジュール２０４は、次いで、第２の乱数Ｒ２を生成することによって、この手順を繰り返すことができる。Ｒ２≠Ｒ１である場合、Ｎフレーム生成モジュール２０４は、シーケンス番号ｓ＝Ｒ２を有するバッファリングされたフレームを、Ｎ－１個のフレームのうちの２番目のサンプリングされたフレームとして選択することができる。しかしながら、Ｒ２＝Ｒ１である場合、Ｎフレーム生成モジュール２０４は、新しい乱数Ｒ２を生成して、以前の乱数Ｒ２を置換するように構成される。これらの乱数生成及び比較ステップは、Ｒ１に等しくない乱数Ｒ２が取得されるまで繰り返される。この時点において、Ｎフレーム生成モジュール２０４は、シーケンス番号ｓ＝Ｒ２≠Ｒ１を有するバッファリングされたフレームを、Ｎ－１個のフレームのうちの２番目のサンプリングされたフレームとして選択するように構成される。更に、Ｎフレーム生成モジュール２０４は、固有の乱数を生成し、Ｎ－１個未満のランダムにサンプリングされたフレームが取得された場合には固有の乱数に等しいシーケンス番号ｓを有するバッファリングされたフレームを選択する上記手順を繰り返すように構成される。しかしながら、この手順は、Ｎ－１個の固有のランダムに生成された数に基づいてランダムにサンプリングされたＮ－１個のフレームが、Ｋ－１個のバッファリングされたフレームの中から選択されたときに終了することができる。
【0040】
内視鏡ビデオ２０８のＮ－１個のランダムにサンプリングされたフレームが取得された後、Ｎフレーム生成モジュール２０４は、Ｎ－１個のランダムにサンプリングされたフレームを現在のフレームＫと組み合わせて、Ｎ個のフレームのセットを取得するように構成され、Ｎ個のフレームのセットは、Ｎ個のフレームのセットの対応するシーケンス番号ｓと一致する時間的順序で配列されている。言い換えれば、Ｎ個のフレームのセットは、内視鏡フィード２０８内のＮ個のフレームのセットの元の時間的順序が維持されるように、シーケンス番号ｓの対応するセットの小さい順に順序付けられている。
【0041】
外科的処置の開始時に、Ｎフレーム生成モジュール２０４によって生成されたＮ個のフレームのセットは、典型的には、Ｎ個のフレームが密な空間であるので、同様の画像を含むことに留意されたい。外科的処置が進行するにつれて、特に、リアルタイム処置が外科的処置の終了に向かって進行すると、Ｎ個のフレームのセット内の個々のフレームはますます広がり、Ｎ個のフレームのセットは、互いにますます異なるようになる。その結果、Ｎ個のフレームのセットは、外科的処置の経過部分において生じた事象のプロキシとして機能し続ける。
【0042】
また、上述のＮフレーム生成手順によって生成されたＮ個のフレームのセットは、それ自体が外科的処置全体中に所定の予測タイムポイントのシーケンスのうちの単一の決定タイムポイントである現在時刻Ｔにおいて、単一のＲＳＤ予測を生成するために使用されることに留意されたい。したがって、上記のＮフレーム生成手順は、ランダムにサンプリングされたＮ個のフレームのシーケンス２１４を生成するために、ライブ外科的処置にわたるＲＳＤ予測タイムポイントのシーケンスにおいて、Ｎフレーム生成モジュール２０４によって連続的に実行される（本明細書の「ランダムにサンプリングされたＮ個のフレームのシーケンス２１４」は、ＲＳＤ予測タイムポイントのシーケンスにおいて生成され、時間的順序に配列されたＮ個のフレームの複数のセットを意味することに留意されたい）。当業者であれば、ライブ外科的処置にわって時間が進行するにつれて、フレームバッファ２１０内のバッファリングされたビデオフレームＫのセットは、（最大が存在する場合、最大許容値に達するまで）成長し続けることを理解するであろう。その結果、更に、バッファリングされたビデオフレームのセットを、現在時刻Ｔの関数であるＫ（Ｔ）として指定する。したがって、各新しいＲＳＤ予測タイムポイントＴにおいて、Ｎ個のフレームの新しいセットは、フレームバッファ２１０内のバッファリングされたビデオフレームＫ（Ｔ）の新しいセットに基づいて生成される。
【0043】
２つの連続した予測タイムポイントＴ１及びＴ２＞Ｔ１において生成されたＮ個のフレームの２つの連続したセット｛Ｆ１｝及び｛Ｆ２｝を比較するとき、２つの観測が行われ得ることに留意されたい。第１に、セット｛Ｆ２｝内のランダムにサンプリングされた各フレームはＫ（Ｔ２）から選択されるのに対し、セット｛Ｆ１｝内のランダムにサンプリングされた各フレームはＫ（Ｔ１）から選択され、Ｋ（Ｔ２）＞Ｋ（Ｔ１）（最大が存在する場合には、最大値Ｋｍａｘに達する前）は、外科的処置の経過部分のわずかに長い期間を表す。第２に、セット｛Ｆ２｝内の所与のランダムにサンプリングされたフレームはまた、セット｛Ｆ１｝内にもあり得る。言い換えれば、ランダムサンプリング動作におけるランダム性により、フレームバッファ２１０内の同じバッファリングされたフレームが、ライブ外科的処置中の所定の予測タイムポイントのシーケンスにおいて２回以上選択されることが可能になる。開示されるＮフレーム生成モジュール２０４のこの特性は、ＲＳＤ予測システム２００が、いくつかの以前に処理されたビデオフレームを後の時間に再訪／再処理することを可能にし、これは、ＲＳＤ予測の安定性及び一貫性を徐々に改善するという利点を有する。
【0044】
図２に戻ると、ＲＳＤ予測システム２００は、Ｎフレーム生成モジュール２０４に結合されている訓練済みＲＳＤ予測モデル２０６を更に含むことに留意されたい。以下でより詳細に説明するように、訓練済みＲＳＤ予測モデル２０６は、同じ外科的処置の１つ又は複数のトレーニングビデオから生成される１つ又は複数のトレーニングデータセットに基づいて、上述の同じＮフレーム生成手順を使用して、構築／訓練され得る。ＲＳＤ予測システム２００内でリアルタイムＲＳＤ予測を実行するとき、ＲＳＤ予測モデル２０６は、Ｎフレーム生成モジュール２０４からランダムにサンプリングされたＮ個のフレームのシーケンス２１４の中から、現在の予測タイムポイントＴにおけるＮ個のフレームの単一のセットを受信し、その後、Ｎ個のフレームの固有のセットの処理に基づいて新しい現在のＲＳＤ予測を生成するように構成される。いくつかの他の実施形態では、ＲＳＤ予測モデル２０６は、フレームのセットの対応する順序に基づいて、Ｎ個のフレームのセットを処理するように構成されるが、フレームのセットに関連付けられた正確なタイムスタンプを知る必要はない。
【0045】
いくつかの実施形態では、現在のタイプポイントＴにおけるＮ個のフレームのただ１つのランダムに選択されたセットを生成し、単一のＲＳＤ予測を計算する代わりに、現在のタイプポイントＴにおけるＮ個のフレームの複数のランダムに選択されたセットを生成することができ、その後、ＲＳＤ予測モデル２０６を使用して、同じ現在のタイプポイントＴに対応するランダムに選択されたＮ個のフレームの複数のセットの処理に基づいて複数のＲＳＤ予測を生成する。次に、現在のタイプポイントＴに関するＲＳＤ予測の分散値及び平均値を、現在のタイムポイントＴに対応する複数のＲＳＤ予測に基づいて計算することができる。次いで、現在のＲＳＤ予測を、計算された平均値及び分散値で置換することができ、これは、単一のＲＳＤ予測手法よりも、現在のタイプポイントＴにおける信頼性の高いＲＳＤ予測を表す。
【0046】
例えば、分単位の量としてＲＳＤ予測を行うことに加えて、ＲＳＤ予測モデル２０６は、現在のタイプポイントＴにおいて外科的処置の何パーセントが完了したかを示す完了率予測を生成するように構成することもできることに留意されたい。完了率予測は、ライブセッションの手術クルーと次の手術セッションのために並んで待機している手術クルーの両方に、別の有用な情報を提供することに留意されたい。
【0047】
いくつかの実施形態では、ＲＳＤ予測ＭＬモデル２０６は、様々な畳み込みニューラルネットワーク（ＣＮＮ／ＣｏｎｖＮｅｔ）アーキテクチャを使用して実装することができる。例えば、ＲＳＤ予測モデル２０６の特定の実施形態は、動作認識ネットワークアーキテクチャ（Ｉ３ｄ）を、ビデオフレームのシーケンスを単一の入力として受信するように構成されているモデルのバックボーンとして使用することに基づく。しかしながら、ＲＳＤ予測モデル２０６の他の実装形態は、長・短期記憶（long short-term memory、ＬＳＴＭ）ネットワークアーキテクチャなどの回帰型ニューラルネットワーク（recurrent neural network、ＲＮＮ）アーキテクチャを使用することもできる。ライブ外科的処置中、訓練済みＲＳＤ予測モデル２０６は、ランダムにサンプリングされたＮ個のフレームのシーケンス２１４に基づいて、所定の予測タイムポイントのシーケンスにおいて連続するリアルタイムＲＳＤ予測２１６を（例えば、残り何分であるか、として）生成するように構成されており、それによって、手術室の内側と外側の両方の外科医及び手術スタッフは、進捗及び残存手術時間を常に知ることができる。いくつかの実施形態では、新しいＲＳＤ予測が連続的に生成されるとき、バターワースフィルタを使用して、例えば、いくつかの高周波ジッタを除去することによって、ＲＳＤ出力を「平滑化」することができ、それによって、直近の予測のセットを、次のＲＳＤ予測の方向（例えば、時間的に減少又は増加）のインジケータとして使用することができる。
【0048】
各予測タイムポイントにおける外科的処置の経過部分を表すバッファリングされたビデオフレームを小さな時間ステップ（例えば、１秒又は２秒）でサンプリングし、各予測タイムポイントにおいて対応するＲＳＤ予測を行うことによって、開示されるＲＳＤ予測システム２００は、小さなサンプリング間隔、例えば、１秒又は２秒間隔だけ離れた予測の母集団を生成することに留意されたい。そのような小さなサンプリング時間ステップを使用して、開示されるＲＳＤ予測システム２００は、一連の同様のＲＳＤ予測を行うために、バッファリングされたビデオフレームの同じセットを何度もランダムに実質的にサンプリングするように構成される。したがって、一連のＲＳＤ予測における一貫性は、そのようなＲＳＤ予測を行う際のＲＳＤ予測モデル２０６の有効性を示すために必要である。
【0049】
上述したように、フレームバッファ２１０のサイズが限界を有する場合、より多くのビデオフレームが追加されるのでバッファ管理が必要となる。ナイーブ手法では、バッファサイズ限界に達すると、フレームバッファ２１０へと追加された新しいビデオフレームは、より古いフレーム、例えば、フレームバッファ２１０から除去される最も古いフレームを伴うことになる。しかしながら、この手法は、外科的処置の早期部分を除去し続けることになるので望ましくないが、開示されたランダムサンプリング技法は、各予測タイムポイントごとに手術時間の経過部分全体をサンプリングすることを意図している。いくつかの実施形態では、フレームバッファ２１０から最も古いビデオフレームをドロップする代わりに、バッファ内のより古いフレームが、バッファ全体を通してより戦略的に除去され得る。例えば、フレーム除去戦略は、バッファ内の１つおきのフレームを除去し、それによって、ビデオのより早期の部分の外科的処置情報を常に保存することができるようにすることを含むことができる。ビデオの早期部分のビデオフレームを更に多く保つために、ビデオフレームに重要度の重みを割り当てることもでき、したがって、より古いフレームがより高い重みを受ける一方で、より新しいフレームがより低い重みを受ける。上述の１つおきにフレームを除去する技法と組み合わされたこの技法により、手術ビデオの開始部分からの更に多くのビデオフレームを、外科的処置にわたってフレームバッファ２１０内に保つことを可能にすることができる。
【0050】
上述したように、所定の数Ｎは、ＲＳＤ予測モデル２０６がＮ個のフレームのセットを処理するための計算上の制約（Ｎの上限を規定する）と、ＲＳＤ予測モデル２０６が「観測」し、したがって、Ｎ個のフレームの現在のセットに基づいて現在時刻／フレームまでの外科的処置の進捗を推定することを可能にするように、十分な大きさの、外科的処置の経過部分からランダムにサンプリングされたＮ－１個のフレームのセット（Ｎの下限を規定する）との間のトレードオフとして選択すべきである。１つの特定の実施形態では、Ｎ＝８、すなわち、各ＲＳＤ予測に関する７個のランダムにサンプリングされたフレーム＋現在のフレームは、外科的処置全体にわたって計算の複雑さとＲＳＤ予測精度との間の最適なバランスを提供することが分かった。
【0051】
いくつかの実施形態では、所与の外科的処置にわたって数Ｎを一定に保つ代わりに、Ｎフレーム生成モジュール２０４によってより多くのフレームを追加することが可能であり、それによって、Ｎは、ライブ外科的処置が進行するにつれて、より多くのバッファリングされたフレームをサンプリングすることが可能になるように可変数になる。しかしながら、ＲＳＤ予測モデル２０６による画像処理の一貫性のために、増加した数のサンプリングされたフレームを実装する開示されるＲＳＤ予測システムは、Ｎ個のフレームのセットを含むＰ個のフレームのセットで始まる必要があり、この後に、Ｍ個の「ブラックフレーム」のセットが続き、各ブラックフレームは、意思決定に寄与しないダミーフレームとして使用される。しかしながら、時間が進行するにつれて、例えば、外科的処置における所定のタイムポイントのセットにおいて、リアルなバッファリングされたフレームを実際にサンプリングするために、Ｍ個のブラックフレームのセット内の１つ以上のフレームがＮ個のフレームのセット上に追加される。Ｎ個のフレームの元のセットと組み合わせることによって、Ｍ個のブラックフレームのセットから新たに追加されたフレームは、より多くのバッファリングされたフレームをリアルタイムＲＳＤ予測のためにＲＳＤ予測モデル２０６によってサンプリングし、処理することを可能にする。
【0052】
いくつかの実施形態では、ＲＳＤ予測システム２００は、特定の外科的処置に基づいてＲＳＤ予測モデル２０６を選択し得る。言い換えれば、多数のＲＳＤ予測モデルが、様々な固有の外科的処置のために構築され得る。例えば、実行されている外科的処置がルーワイ胃バイパス術である場合、ＲＳＤ予測システム２００は、ルーワイ胃バイパス術専用に構築され訓練されたＲＳＤ予測モデル２０６を選択するように構成される。しかしながら、実行されている外科的処置がスリーブ状胃切除術である場合、ＲＳＤ予測システム２００は、ＲＳＤ予測システム２００におけるスリーブ状胃切除術のために構築され訓練された異なるＲＳＤ予測モデル２０６を選択し得る。したがって、リアルタイムＲＳＤ予測のためにライブ外科的処置においてＲＳＤ予測モデル２０６を使用する前に、ＲＳＤ予測モデル２０６は、トレーニングビデオを使用して、例えば、ゴールドスタンダードを実施する外科医によって実行された、又は同じ外科的処置をほぼ同様に実行する多数の外科医によって実行された同じ外科的処置の記録されたビデオを使用して訓練される必要がある。
【0053】
図３は、本明細書に記載されるいくつかの実施形態による、ＲＳＤ予測システム２００においてＲＳＤ予測モデル２０６を構築するためのＲＳＤ予測モデルトレーニングシステム３００のブロック図を示す。図３に示すように、ＲＳＤ予測モデルトレーニングシステム３００は、トレーニングビデオ受信モジュール３０２と、トレーニングデータ生成モジュール３０４と、ＲＳＤ予測モデル調整モジュール３０６とを含むことができ、これらは図示のように結合されている。開示されるＲＳＤ予測モデルトレーニングシステム３００（又は以下では「モデルトレーニングシステム３００」）は、フェーズ／ステップの所定のセット（各フェーズ／ステップは、所定のサブフェーズ／サブステップを更に含むことができる）を含む特定の外科的処置のためのＲＳＤ予測システム２００において使用されるＲＳＤ予測モデル２０６を構築／訓練するように構成されることに留意されたい。次いで、特定の外科的処置、例えば、ルーワイ胃バイパス処置又はスリーブ胃切除処置のライブ手術セッション中に、ＲＳＤ予測システム２００におけるリアルタイムＲＳＤ予測のために、モデルトレーニングシステム３００の出力である訓練済みＲＳＤ予測モデル２０６を使用することができる。
【0054】
いくつかの実施形態では、モデルトレーニングシステム３００内のトレーニングビデオ受信モジュール３０２は、ＲＳＤ予測モデル２０６と同じ外科的処置、例えば胃バイパス処置の記録されたトレーニングビデオ３０８のセットを受信する。例えば、トレーニングビデオ３０８のセットは、ゴールドスタンダードを実施する外科医によって実行されている、又は他の場合には標準的な様式で所与の外科的処置を実行することに熟練した外科医によって実行されている外科的処置を描写するトレーニングビデオＡを含むことができる。したがって、ＲＳＤ予測モデル２０６を訓練するためにトレーニングビデオＡが使用されるとき、トレーニングビデオＡを使用して、所与の外科的処置を実行する際の標準を確立することができる。外科的処置に熟練した外科医の単一のトレーニングビデオは、ＲＳＤ予測モデル２０６が、そのビデオに描写された外科的処置の特徴を学習することを可能にするが、外科的処置におけるステップのセットの実行順序の変更など、外科的処置の標準的な実行に対する変更を認識するようにモデルに教えるには十分でない場合がある。更に、単一のトレーニングビデオはまた、患者における癒着など、異なるタイプの合併症、及び外科的処置中に起こり得る通常とは異なる事象を認識するようにモデルに教えるには十分ではない場合がある。しかしながら、同じ外科的処置の様々なシナリオ及び変形形態を網羅する複数のトレーニングビデオがＲＳＤ予測モデル２０６を訓練するために使用されるとき、訓練済みモデルは、（１）手術ステップの順序における変更、（２）患者の合併症、（３）通常とは異なる事象、及び（４）他の変更を認識する能力によって、よりロバストになる。
【0055】
いくつかの実施形態では、トレーニングビデオ３０８のセットは、同様に、例えば、外科的処置に関連付けられた標準的な手術ステップの同じセットを実行することによって外科的処置を実行することができる多数の外科医によって実行された同じ外科的処置の記録された手術ビデオを含むことができる。しかしながら、トレーニングビデオ３０８のセットは、外科的処置を実行する際の変更も含むことができる。いくつかの実施形態では、トレーニングビデオ３０８のセットは、手術ステップのセットを実行する順序の変更をキャプチャする記録されたビデオの第１のサブセットセットを含むことができる。トレーニングビデオ３０８のセットはまた、既知の患者の合併症及び同じ外科的処置中に起こり得る既知のタイプの通常とは異なる事象をキャプチャする記録されたビデオの第２のサブセットセットも含むことができる。いくつかの実施形態では、トレーニングビデオ３０８のセットはまた、異なるカメラエンジェルでキャプチャされた同じ外科的処置も含むことができる。例えば、単一のカメラエンジェルでは取得することができない外科的処置の追加のタイミング情報をキャプチャするために、２つの対向するエンジェルで配置された２つの内視鏡カメラによって２つのトレーニングビデオを生成することができる。
【0056】
いくつかの実施形態では、トレーニングビデオ受信モジュール３０２は、記憶装置３１２を含むことができ、トレーニングビデオ受信モジュール３０２は、実際のモデルトレーニングプロセスの前に、トレーニングビデオ３０８のセットを記憶装置３１２にプリロードするように構成される。内視鏡ビデオ受信モジュール２０２に関連して説明したフレームバッファ２１０とは異なり、記憶装置３１２は、サイズ制限なしにトレーニングビデオ３０８のセット全体を記憶できることに留意されたい。いくつかの実施形態では、トレーニングビデオ受信モジュール３０２は、トレーニングビデオ３０８のセット内の受信された各トレーニングビデオ（以下では「所与のトレーニングビデオ３０８」と呼ぶ）内の各フレームにラベル付けして、フレームをそれぞれのタイミング情報に関連付けるように構成されたラベル付けサブモジュール３１４を更に含む。いくつかの実装形態では、ラベル付けサブモジュール３１４は、所与のトレーニングビデオ３０８内のフレームの順序に基づいて、所与のトレーニングビデオ３０８内の各フレームにシーケンシャルなフレーム番号、例えば、０、１、２などをラベル付けするように構成される。このフレーム番号ラベルは、関連付けられた外科的処置における関連付けられたフレームの相対的タイミングを示すことができることに留意されたい。所与のフレームのフレーム番号ラベルに基づいて、関連付けられた外科的処置における所与のフレームの特定のタイムスタンプ及び所与のフレームから外科的処置の終了までのＲＳＤ値を自動的に判定できることに留意されたい。逆に、所与のトレーニングビデオ３０８に関するタイムスタンプ（例えば、２３分４５秒）が提供されると、タイムスタンプに関連付けられたフレーム番号ラベルを自動的に判定することができ、その後、対応するビデオフレームを選択することができる。
【0057】
いくつかの実施形態では、トレーニングビデオのセット内の所与のトレーニングビデオ３０８にラベル付けすることは、追加でかつ任意選択的に、所与のトレーニングビデオ３０８内のビデオフレームに関する手術フェーズ／ステップ及び／又はサブフェーズ／サブステップのラベルを提供することを含み得る。例えば、所与のトレーニングビデオ３０８における外科的処置の所与の手術フェーズ／ステップが２０分１５秒に開始し、３６分３７秒に終了する場合、これらの２つのタイムスタンプ間の各フレームは、同じ手術フェーズ／ステップとしてラベル付けされなければならない。各フレームに関するこのフェーズ／ステップラベルは、所与のフレームの上述したフレーム番号ラベルに追加されることに留意されたい。いくつかの実装形態では、所与のトレーニングビデオ３０８についてのこれらの追加のかつ任意選択的なフェーズ／ステップラベルは、各フェーズ／ステップの開始タイムポイント及び終了タイムポイントを手動で識別し、その後、開始タイムポイントと終了タイムポイントとの間のフレームに、関連付けられたフェーズ／ステップラベルで注釈を付けることによって、人間のオペレータ／ラベル付け担当者によって生成され得る。したがって、後続のパラメータ調整ステップでは、所与のフレームのフレーム番号ラベルを使用して、所与のフレームの特定のタイムスタンプを判定することができ、所与のフレームのフェーズ／ステップラベルを使用して、所与のトレーニングビデオ３０８において、関連付けられた外科的処置におけるどのフェーズ／ステップに所与のフレームが関連付けられているかを判定することができる。
【0058】
いくつかの他の実施形態では、所与のトレーニングビデオ３０８に関する付加的及び任意選択的なフェーズ／ステップラベルは、ラベル付けサブモジュール３１４によって自動的に生成され得る。例えば、ラベル付けサブモジュール３１４は、フェーズ／ステップ認識のための所与のトレーニングビデオ３０８に関連付けられた特定の外科的処置のために訓練された別個の深層学習ニューラルネットワークを含み得る。したがって、そのような訓練済み深層学習ニューラルネットワークを含むラベル付けサブモジュール３１４を使用して、所与のトレーニングビデオ３０８内の各手術フェーズ／ステップの開始及び終了を自動的に識別し、その後、所与のフェーズ／ステップの２つの識別された境界間のフレームに、対応するフェーズ／ステップラベルでラベル付けすることができる。トレーニングビデオ受信モジュール３０２は、受信された生トレーニングビデオ３０８のセットに対応するラベル付けされたトレーニングビデオ３１８のセットを出力することに留意されたい。
【0059】
トレーニングビデオ受信モジュール３０２は、モデルトレーニングシステム３００内のトレーニングデータ生成モジュール３０４に結合されている。いくつかの実施形態では、トレーニングデータ生成モジュール３０４は、ラベル付けされたトレーニングビデオ３１８のセットを処理して、トレーニングデータセット３３０を生成するように構成される。いくつかの実施形態では、ラベル付けされたトレーニングビデオ３１８のセット内のラベル付けされたトレーニングビデオ（以下では「所与のラベル付けされたトレーニングビデオ３１８」と呼ぶ）の開始とラベル付けされたトレーニングビデオの終了との間の各ビデオフレームを使用して、トレーニングデータセット３３０内の単一のトレーニングデータポイントを生成することができる。いくつかの実施形態では、トレーニングデータ生成モジュール３０４は、所与のラベル付けされたトレーニングビデオ３１８内のタイムスタンプのセットをランダムに選択し、その後、ランダムに選択されたタイムスタンプのセットに対応するトレーニングデータポイントのセットを構築することによって、所与のラベル付けされたトレーニングビデオ３１８からトレーニングデータポイントのセットを生成するように構成される。このようにして、トレーニングデータ生成モジュール３０４は、ラベル付けされたトレーニングビデオ３１８のセットから生成されたトレーニングデータポイントの複数のセットを組み合わせることによって、トレーニングデータセット３３０を生成することができる。
【0060】
いくつかの実施形態では、ランダムに選択されたタイムスタンプのセットに基づいてトレーニングデータポイントを生成する代わりに、トレーニングデータ生成モジュール３０４は、所定の時間間隔に基づくタイムポイントのセットにおいて、所与のラベル付けされたトレーニングビデオ３１８からトレーニングデータポイントのセットを生成し、その後、タイムポイントのセットに対応するトレーニングデータポイントのセットを構築するように構成される。例えば、トレーニングデータ生成モジュール３０４は、１分間隔のタイムポイントのセットにおいて、所与のラベル付けされたトレーニングビデオ３１８からトレーニングデータポイントのセットを生成することができる。いくつかの実施形態では、トレーニングデータ生成モジュール３０４は、ラベル付けされたトレーニングビデオ３１８における外科的処置の進捗に従って、トレーニングデータシーケンスとしてトレーニングデータセット３３０を生成する。より具体的には、トレーニングデータ生成モジュール３０４は、所定の時間間隔に基づいて、ラベル付けされたトレーニングビデオ３１８内の各タイムポイントにおいてトレーニングデータポイントを漸進的に出力することによって、トレーニングデータセット３３０を生成することができる。
【0061】
上述のＲＳＤ予測プロセスと同様に、トレーニングデータセット３３０内のトレーニングデータポイントを生成するための所与のラベル付けされたトレーニングビデオ３１８内の選択された各タイムポイントは、所与のラベル付けされたトレーニングビデオ３１８内のラベル付けされたビデオフレーム（以下では「選択されたフレーム」と呼ぶ）に対応する。トレーニングデータ生成モジュール３０４は、ＲＳＤ予測システム２００内のＮフレーム生成モジュール２０４と同じように動作するように構成されているＮフレーム生成モジュール３２４も含むことに留意されたい。より具体的には、選択されたタイムポイントにおける対応するトレーニングデータポイントを生成するために、Ｎフレーム生成モジュール３２４は、選択されたタイムポイントにおける所与のラベル付けされたトレーニングビデオ３１８の選択されたフレームを取得するように構成される。次に、Ｎフレーム生成モジュール３２４は、選択されたフレームの前の、かつ選択されたタイムポイント未満の時間期間中のラベル付けされたトレーニングビデオ３１８の部分から、Ｎ－１個の「以前の」フレームをランダムにサンプリングすることによって、Ｎ－１個の追加フレームを生成するように構成され、Ｎは本明細書において所定の整数である。言い換えれば、Ｎ－１個の追加フレームは、トレーニングビデオの開始から選択されたタイムポイントまでのラベル付けされたトレーニングビデオ３１８全体から取得することができる。Ｎ－１個のフレームのセットをサンプリングして所与のトレーニングデータポイントを形成する際のランダム性に起因して、時間的シーケンスで順序付けられる場合であっても、これらのＮ個のフレームの間の時間間隔は、例えば、最初の２つのフレームの間は５分、最後の２つのフレーム間は１０分など、異なることがあることに留意されたい。いくつかの実施形態では、これらのＮ－１個のフレームは、所与のラベル付けされたトレーニングビデオ３１８内の任意の体外事象に関連付けられた任意のビデオフレームを含まないことがある。
【0062】
上述したように、所定の数Ｎは、生成されたＮ個のフレームのセットから構成されたトレーニングデータセット３３０を用いてＲＳＤ予測モデル２０６をトレーニングために計算上の制約（Ｎの上限を規定する）と、選択されたタイムポイント／フレームまでの外科的処置の進捗を十分に表すように、十分に多数の、選択されたタイムポイント／フレームの前のサンプリングされたフレーム（Ｎの下限を規定する）との間のトレードオフとして選択される。いくつかの実施形態では、モデルトレーニングシステム３００内のＮフレーム生成モジュール３２４によって使用される所定の数Ｎは、ＲＳＤ予測システム２００内のＮフレーム生成モジュール２０４によって使用される所定の数Ｎと同一である。１つの特定の実施形態では、Ｎ＝８であり、すなわち、Ｎフレーム生成モジュール３２４は、選択されたタイムポイントにおいて選択されたフレームを取得し、選択されたタイムポイントの前にラベル付けされたトレーニングビデオ３１８の部分にわたって７個の追加フレームをランダムにサンプリングすることによって、８フレームトレーニングデータポイントを生成するように構成される。上述したように、Ｎ－１個の追加フレームを選択する際のランダム性により、ＲＳＤ予測モデルトレーニングプロセス中にトレーニングデータセット３３０を生成するときに、ラベル付けされたトレーニングビデオ３１８内の同じフレームを２回以上選択することが可能になる。
【0063】
ラベル付けされたトレーニングビデオ３１８のセットを処理した後、トレーニングデータ生成モジュール３０４は、トレーニングデータセット３３０を出力として生成する。再び図３を参照すると、トレーニングデータ生成モジュール３０４は、複数のラベル付けされたトレーニングビデオ３１８から生成されたトレーニングデータポイントの複数のセットを含む受信されたトレーニングデータセット３３０に基づいてＲＳＤ予測モデル２０６内のニューラルネットワークパラメータのセットを調整するように構成されているＲＳＤ予測モデル調整モジュール３０６（又は以下では「モデル調整モジュール３０６」）に結合されており、各トレーニングデータポイントは、所与のラベル付けされたトレーニングビデオ３１８内のそれぞれの時間／フレーム番号ラベルによって時間的シーケンスで順序付けられたＮ個のフレームのセットから更に構成されることに留意されたい。
【0064】
いくつかの実装形態では、ＲＳＤ予測モデルトレーニングプロセスは、以下のように、ラベル付けされたトレーニングビデオ３１８のセットに基づいてモデルをトレーニングするために、トレーニングデータ生成モジュール３０４及びモデル調整モジュール３０６を集合的に使用することを含む。最初に、Ｍ個のトレーニングビデオのサブセットが、ラベル付けされたトレーニングビデオ３１８のセットからランダムに選択される。このステップは、トレーニングデータ生成モジュール３０４によって実行され得る。ラベル付けされたトレーニングビデオ３１８のセットは、同時にモデルトレーニングのために全てを使用することができるわけでない多数（例えば、数百個）のビデオを含むことがあり得ることに留意されたい。具体的に言えば、所与の時間における単一のトレーニングデータポイントを処理するための計算リソース制限に基づいて、数Ｍを判定することができる。いくつかの実施形態では、数Ｍは、ビデオフレームのセットを処理するためにモデル調整モジュール３０６によって使用される１つ以上のプロセッサ（例えば、１つ以上のグラフィック処理ユニット（graphic processing unit、ＧＰＵ））のメモリ制限に基づいて判定される。数Ｍがラベル付けされたトレーニングビデオ３１８のセット内のビデオの数以上であることが判明した場合、ラベル付けされたトレーニングビデオ３１８のセット全体を選択できることに留意されたい。
【0065】
次に、トレーニングデータ生成モジュール３０４を使用して、Ｍ個の選択されたトレーニングビデオの各々について、タイムスタンプが、所与のトレーニングビデオの開始と終了との間でランダムに選択される。その後、トレーニングデータ生成モジュール３０４を使用して、ランダムに選択されたタイムスタンプに基づいて所与のトレーニングビデオ内のビデオフレームが選択される。次に、ランダムに選択されたビデオフレームについて、Ｎフレーム生成モジュール３２４は、上述のＮフレーム生成技法を使用してＮ－１個の追加フレームをランダムに選択するために使用され、これらのＮ－１個の追加のフレームをランダムに選択されたビデオフレームと組み合わせて、所与のトレーニングビデオに関するＮ個のフレームのセットを形成する。上記のステップは、Ｍ個の選択されたトレーニングビデオからランダムに選択されたＭ個のフレームに対応するＭ個の選択されたトレーニングビデオのセット全体に対して繰り返されることに留意されたい。結果として、トレーニングデータ生成モジュール３０４は、Ｍ個の選択されたトレーニングビデオに対応するＮ個のフレームのＭ個のセットを生成する（例えば、Ｍ＝１６）。Ｎ個のフレームのこれらのＭ個のセットをトレーニングデータの「バッチ」と呼び、これはトレーニングデータセット３３０内の単一のトレーニングデータポイントとみなすことができる。トレーニングデータの単一バッチを生成するための上述のステップに対する変更は、Ｍ個の選択されたトレーニングビデオの各々から１つのフレームをランダムに選択する代わりに、Ｍ個の選択されたトレーニングビデオのセット全体から、Ｍ個のフレーム内の各フレームをランダムに選択できることであることに留意されたい。言い換えれば、Ｍ個の選択されたトレーニングビデオのセット内の所与のビデオから２つ以上のフレームを選択することが可能であるが、Ｍ個の選択されたトレーニングビデオのセット内の所与のビデオが全く選択されないことも可能である。
【0066】
トレーニングデータのバッチを上述のように生成した後、モデル調整モジュール３０６を使用して、「反復」と呼ばれるプロセスにおいてモデルを最適化するためにトレーニングデータのバッチを処理する。具体的には、反復中、バッチは、ＲＳＤ予測モデルのニューラルネットワークを通過し、誤差が推定されて、例えば、勾配降下などの最適化技法を使用してＲＳＤ予測モデルの重み及びバイアスなどのパラメータを更新するために使用される。
【0067】
トレーニングデータの単一のバッチを生成し、そのバッチを使用してＲＳＤ予測モデルを更新する上述のプロセスは、モデルトレーニングプロセスの単一の反復を表すことに留意されたい。したがって、ＲＳＤ予測モデルトレーニングプロセスは、多くのそのような反復を含み、ＲＳＤ予測モデルは、多くの反復における各反復を通じて漸進的に最適化される。いくつかの実施形態では、モデルトレーニングプロセス中、ＲＳＤ予測モデルは、検証データセットに対する各所与の反復の終了時に評価される。検証データセットに対する訓練済みモデルからのＲＳＤ予測誤差が安定している又はプラトーである（例えば、所定の誤差マージン内である）場合、ＲＳＤ予測モデルトレーニングプロセスを終了することができる。そうでない場合、別の新しい反復がモデルトレーニングプロセスに追加される。
【0068】
上述のＲＳＤ予測モデルトレーニングプロセスは、ラベル付けされたトレーニングビデオ３１８のセット内のトレーニングデータポイントをランダムに選択することに基づくことに留意されたい。いくつかの他の実施形態では、モデルトレーニングシステム３００に基づく開示されるＲＳＤ予測モデルトレーニングプロセスは、ラベル付けされたトレーニングビデオ３１８のセット内のラベル付けされた各トレーニングビデオ３１８の進捗に従う漸進的トレーニングプロセスであり得る。この漸進的モデルトレーニングプロセスでは、トレーニングデータセット３３０は、ラベル付けされた各トレーニングビデオ３１８の開始からラベル付けされたトレーニングビデオ３１８の終了に向かって、所定の時間間隔に基づいて（例えば、１分で）、一度に１つのデータポイントずつ漸進的に生成され得る。
【0069】
より具体的には、トレーニングデータ生成モジュール３０４は、所与のラベル付けされたトレーニングビデオ３１８の開始から所与のラベル付けされたトレーニングビデオ３１８の終了に向かって、所定の時間間隔に基づいて（例えば、１秒又は１分間隔で）、トレーニングデータポイントのシーケンスとしてトレーニングデータセット３３０を生成し続ける。同様に、上述のＲＳＤ予測プロセスに対して、漸進的モデルトレーニングプロセスにおいて生成されている現在のトレーニングデータポイントに関連付けられる時間は、モデルトレーニングプロセスの「現在時刻」と呼ばれ得る。したがって、現在時刻において、現在時刻に対応する所与のラベル付けされたトレーニングビデオ３１８内の現在のフレームが選択される。次に、選択された現在のフレームについて、Ｎフレーム生成モジュール３２４は、上述のＮフレーム生成技法を使用してＮ－１個の追加フレームをランダムに選択するために使用され、これらのＮ－１個の追加フレームを現在のフレームと組み合わせて、Ｎ個のフレームのセット、すなわち、トレーニングデータセット３３０内の現在のトレーニングデータポイントを形成する。
【0070】
上記と同様に、モデル調整モジュール３０６は、トレーニングデータセット３３０内の新たに生成されたトレーニングデータポイントを使用して、トレーニングデータポイントのシーケンスに関連付けられたＲＳＤ値（すなわち、所与のラベル付けされたトレーニングビデオ３１８内の真のＲＳＤ値）のシーケンスに基づいて、ニューラルネットワークパラメータのセットを調整／更新することを継続する。具体的には、所与の生成されたトレーニングデータポイント及び対応するＲＳＤ値に基づいてニューラルネットワークパラメータのセットを調整することは、対応する真のＲＳＤ値と一致するように訓練されているＲＳＤ予測モデルを使用してＲＳＤ値を予測することを含む。いくつかの実施形態では、トレーニングデータセット３３０を用いてニューラルネットワークパラメータのセットを調整することは、確率的勾配降下法を実行してＲＳＤ予測誤差を最小化することを含む。トレーニングデータ生成モジュール３０４によって生成されたトレーニングデータセット３３０全体がモデル調整モジュール３０６によって処理された後、モデルトレーニングシステム３００は、最終的に訓練済みＲＳＤ予測モデル２０６を出力する。
【0071】
いくつかの実施形態では、開示される漸進的モデルトレーニングプロセスは、小さな時間ステップ（例えば、数秒）に基づいて、ラベル付けされたトレーニングビデオ３１８をサンプリングする。トレーニングデータセット３３０内のトレーニングデータポイントのシーケンスは、この小さい時間ステップだけ離れているので、漸進的モデルトレーニングプロセスは、本質的に、ビデオフレームの実質的に同じセットを比較的短い時間期間（例えば、１分）の間に何度も繰り返してサンプリングし、実質的に同じ標的ＲＳＤに基づいてこの短い時間期間の間に一連のモデル調整手順を実行する。したがって、開示されるモデルトレーニングプロセスはまた、訓練済みＲＳＤ予測モデル２０６の予測の一貫性及び精度を漸進的に改善する。
【0072】
いくつかの実施形態では、各現在のタイプポイントにおいて単一のトレーニングデータポイントを生成する代わりに、同じ現在のタイプポイントにおいてＮフレーム生成モジュール３２４を使用して複数のトレーニングデータポイントを生成してもよい。ランダム性は、Ｎ個のフレームの各セットを生成することに関与したので、同じ現在のタイプポイントで生成された複数のトレーニングデータポイントの各々は、ランダムにサンプリングされたＮ－１個のフレームの異なるセットで、したがって、Ｎ個のフレームの異なるセット構成される可能性が最も高い。しかしながら、これらの複数のトレーニングデータポイントはまた、同じ標的ＲＳＤ値に関連付けられているので、関連付けられた現在のタイプポイントにおいてニューラルネットワークパラメータのセットを調整／訓練するためにそれらを使用する結果として、所与のタイムポイントにおいて単一のトレーニングデータポイントを使用するよりも収束時間が早くなり得る。
【0073】
いくつかの実施形態では、モデル調整モジュール３０６は、ラベル付けされたトレーニングビデオ３１８のセットを使用してＲＳＤ予測モデルを訓練するように構成される。例えば、モデル調整モジュール３０６は、ラベル付けされたトレーニングビデオ３１８のセット全体が処理されるまで、ニューラルネットワークパラメータのセットを調整するために、単一のラベル付けされたトレーニングビデオ３１８に対する上述の漸進的トレーニングプロセスに基づいて、ラベル付けされたトレーニングビデオ３１８のセット内の各トレーニングビデオを順次処理するように構成され得る。
【0074】
いくつかの実施形態では、モデル調整モジュール３０６はまた、ラベル付けされたトレーニングビデオ３１８のセットを使用して、現在の予測タイムポイントにおいて外科的処置の何パーセントが完了したかを示す完了率予測を行うようにＲＳＤ予測モデル２０６を訓練するように構成される。各予測タイムポイントにおける完了率値は既知であるので、モデル調整モジュール３０６は、ＲＳＤ予測モデル２０６による完了率予測が所与の予測タイムポイントにおける実際の完了率値を満たすようにするために、ニューラルネットワークパラメータのセットを調整／訓練するように構成される。
【0075】
上述の漸進的モデルトレーニングプロセスは、訓練の１つのエポックを表し、すなわち、ラベル付けされたトレーニングビデオ３１８のセットから選択されたトレーニングデータポイントは、単一のパスにおいて１回だけ使用されることに留意されたい。いくつかの実施形態では、モデルトレーニングプロセスの収束を保証するために、ラベル付けされたトレーニングビデオ３１８のセットは、複数のエポック／パスにおいて繰り返し使用される。
【0076】
より具体的には、トレーニングデータポイントの複数のセットが、所定の時間間隔に基づいて、ラベル付けされたトレーニングビデオ３１８のセットから最初に生成され得る。次に、ＲＳＤ予測モデルは、トレーニングデータポイントの同じセットを使用して、複数のエポックを通して訓練される。具体的には、訓練の各エポックにおいて、同じ訓練ステップが、トレーニングデータポイントの同じセットを使用してモデル調整モジュール３０６によって実行され、これにより、ＲＳＤ予測モデルが収束に１ステップ近づく。実際には、トレーニングデータポイントの同じセットに基づいて、訓練の２０～５０エポックを実行することができる。これは、トレーニングデータポイントの複数のセット内の各データポイントについて、所与のデータポイントに対して同じランダムサンプリング手順を２０～５０回実行するために、トレーニングデータ生成モジュール３０４を２０～５０回使用することを意味する。したがって、モデルトレーニングプロセスの各エポックにおいて、トレーニングデータポイントの同じセットに基づいて固有のトレーニングデータセット３３０が生成される。これは、Ｎフレーム生成モジュール３２４のランダムな性質により、モデルトレーニングプロセスの異なるエポックが、トレーニングデータポイントの同じセット内の各データポイントについて以前のフレーム／画像の異なるセットを使用することが可能になるからである。
【0077】
各タイムポイントＴにおける以前のフレームの均一サンプリングと比較すると、均一サンプリング技法又は開示されるランダムサンプリング技法のいずれかを使用してＲＳＤ予測を実行することは、比較的同様のリアルタイムＲＳＤ予測結果を生成することがあり得ることに留意されたい。しかしながら、ＲＳＤ予測モデルトレーニングに関する開示されたランダムサンプリング技法を使用することは、少なくとも、均一サンプリング技法は、複数のトレーニングデータポイントが同じタイムポイントＴ又は異なるエポックにおいて生成されるときに新しいトレーニングデータセットを生成することができないので、一般に、均一サンプリング技法を使用するよりも速い収束速度など、著しく良好なモデルトレーニング結果を達成することができる。更に、上述したように、開示されるランダムサンプリング技法を使用してＮ－１個の追加フレームを選択する際のランダム性はまた、所与のトレーニングビデオ内の同じ前のフレームが、生成されたトレーニングデータセット内で２回以上選択されることを可能にし、それによって、訓練済みＲＳＤ予測モデルの予測安定性が徐々にではあるがより効果的に改善されることを可能にするという利点を有する。
【0078】
開示されるランダムサンプリング技法はまた、リアルタイムＲＳＤ予測中に訓練済みＲＳＤ予測モデルのモデル予測信頼度をテストするためのメカニズムを提供することに留意されたい。例えば、訓練済みＲＳＤ予測モデル２０６を使用して所与のタイムポイントＴにおいて第１のＲＳＤ予測を行った後、Ｎフレーム生成技法を再度適用して、より早期のフレームを再度ランダムにサンプリングすることができ、訓練済みＲＳＤ予測モデル２０６を使用して第２の予測を行う。次いで、Ｎフレーム生成技法を再び使用して、より早期のフレームをもう一度ランダムにサンプリングすることができ、訓練済みＲＳＤ予測モデル２０６を使用して、第３の予測を行う。次に、複数のＲＳＤ予測を予測信頼度について比較することができる。３つの予測の全てが実質的に同じである場合（例えば、差が数秒以内である場合）、ＲＳＤ予測結果の信頼度は高くなり得る。しかしながら、タイムポイントＴにおける複数のＲＳＤ予測が著しく異なる結果を生成する場合（例えば、追加のＲＳＤ予測が、第１のＲＳＤ予測を中心に跳ね上がる又は下げる場合）、訓練済みモデルが、外科的処置の開始からタイムポイントＴまでに起こったことを学習できないことを示す可能性がある。そのようなシナリオでは、手動による介入、及び／又は外科的処置において起こったことを理解するための術後分析が必要な場合がある。
【0079】
図４は、本明細書に記載されるいくつかの実施形態による、処置ビデオフィードに基づいてライブ手術セッション中にリアルタイムＲＳＤ予測を実行するための例示的なプロセス４００を示すフローチャートを提示する。１つ以上の実施形態では、図４のステップのうちの１つ以上は、省略しても、繰り返しても、かつ／又は異なる順序で実行してもよい。したがって、図４に示されるステップの特定の配列は、本技法の範囲を限定するものとして解釈されるべきではない。
【0080】
プロセス４００は、外科医によって実行されている特定の外科的処置のライブ手術セッションのリアルタイム／ライブ内視鏡ビデオフィードを受信することによって開始する（ステップ４０２）。いくつかの実施形態では、外科的処置は、ルーワイ胃バイパス処置又はスリーブ状胃切除処置である。次に、プロセス４００は、ライブ手術セッションの現在時刻における内視鏡フィードの現在のフレームを取得する（ステップ４０４）。プロセス４００はまた、手術セッションの経過部分に対応するビデオフィードの記憶／バッファリングされたビデオフレームから、Ｎ－１個の追加フレームをランダムにサンプリングする（ステップ４０６）。Ｎ－１個の追加フレームをランダムにサンプリングする様々な実施形態については、ＲＳＤ予測システム２００及び図２に関連して上述した。手術セッションの経過部分からランダムにサンプリングされたＮ－１個のフレームは、手術セッションの経過部分中に生じた事象のセットの代表的なスナップショットを提供することに留意されたい。その後、プロセス４００は、Ｎ－１個のランダムにサンプリングされたフレームを現在のフレームと組み合わせて、元の時間的順序で配列されたＮ個のフレームのセットを生成する（ステップ４０８）。次に、プロセス４００は、外科的処置に関する訓練済みＲＳＤ予測モデルを使用してＮ個のフレームのセットを処理して、ライブ手術セッションのためのリアルタイムＲＳＤ予測を生成する（ステップ４１０）。次に、プロセス４００は、ライブ手術セッションの終了に達したかどうかを判定する（ステップ４１２）。達していない場合、プロセス４００は、続いてステップ４０４に戻り、次の予測タイムポイントでライブビデオフィードを処理し続け、次のリアルタイムＲＳＤ予測を生成する。ライブ手術セッションの終了に達すると、リアルタイムＲＳＤ予測プロセス４００は終了する。
【0081】
図５は、本明細書に記載されるいくつかの実施形態による、開示されたＲＳＤ予測システムにおいて訓練済みＲＳＤ予測モデルを構築するための例示的なプロセス５００を示すフローチャートを提示する。１つ以上の実施形態では、図５のステップのうちの１つ以上は、省略しても、繰り返しても、かつ／又は異なる順序で実行してもよい。したがって、図５に示されるステップの特定の配列は、本技法の範囲を限定するものとして解釈されるべきではない。
【0082】
プロセス５００は、標的の外科的処置、例えば、胃バイパス処置の記録されたトレーニングビデオを受信することによって開始する（ステップ５０２）。いくつかの実施形態では、標的外科的処置は、ルーワイ胃バイパス処置又はスリーブ状胃切除処置である。いくつかの実施形態では、トレーニングビデオ内に描写された標的の外科的処置は、ゴールドスタンダードを実施する外科医によって、又は他の場合には、標準的な様式で所与の外科的処置を実行することに熟練した外科医によって実行される。次に、プロセス５００は、受信されたトレーニングビデオ内の各フレームにラベル付けして、フレームをそれぞれのタイミング情報に関連付ける（ステップ５０４）。いくつかの実施形態では、タイミング情報は、トレーニングビデオ内のフレームの順序に基づくシーケンシャルなフレーム番号である。いくつかの実装形態では、プロセス５００は、追加でかつ任意選択的に、トレーニングビデオ内のフレームのセットに手術フェーズ／ステップラベルでラベル付けすることができる。
【0083】
次に、プロセス５００は、ラベル付けされたトレーニングビデオの進捗に従って、漸進的な半教師あり学習プロセスに進む。具体的には、プロセス５００は、ラベル付けされたトレーニングビデオ内の現在時刻Ｔにおけるトレーニングデータセット内にトレーニングデータポイントを生成する（ステップ５０６）。いくつかの実施形態では、プロセス５００は、現在時刻Ｔにおけるラベル付けされたトレーニングビデオの現在のフレームを最初に取得することによって、現在時刻Ｔにおけるトレーニングデータポイントを生成する。次に、プロセス５００は、現在時刻Ｔ以前のラベル付けされたトレーニングビデオの部分から、Ｎー１個の「以前の」フレームをランダムにサンプリングすることによって、Ｎ－１個の追加フレームを生成する。プロセス５００は、その後、Ｎ－１個のランダムにサンプリングされたフレームと配列された現在のフレームとを元の時間的順序で組み合わせて、現在時刻Ｔにおける対応するトレーニングデータポイントを取得する。
【0084】
次に、プロセス５００は、現在時刻における生成されたトレーニングデータポイント及び対応する標的ＲＳＤ値を使用して、ＲＳＤ予測モデルにおけるニューラルネットワークパラメータのセットを調整する（ステップ５０８）。いくつかの実施形態では、所与の生成されたトレーニングデータポイント及び対応する標的ＲＳＤに基づいてニューラルネットワークパラメータのセットを調整することは、対応する標的ＲＳＤ値に合うように訓練されているＲＳＤ予測モデルを使用してＲＳＤ値を予測することを含む。次に、プロセス５００は、ラベル付けされたトレーニングビデオの終了に達したかどうかを判定する（ステップ５１０）。達していない場合、プロセス５００は、その後、ステップ５０６に戻り、所定の時間間隔に基づいて、ラベル付けされたトレーニングビデオ内の次の現在時刻Ｔにおけるトレーニングデータセット内の次のトレーニングデータポイントを生成することによって、漸進的トレーニングプロセスを継続する。ラベル付けされたトレーニングビデオの終了に達すると、漸進的トレーニングプロセス５００は終了する。
【0085】
単一のトレーニングビデオの使用に基づいてプロセス５００を説明してきたが、図３のモデルトレーニングシステム３００と併せて説明されるいくつかの実施形態に従って、プロセス５００を、複数のトレーニングビデオを含むように容易に修正できることに留意されたい。更に、プロセス５００におけるモデルトレーニングプロセスは、単一エポックの様式で説明されるが、図３のモデルトレーニングシステム３００と併せて説明されるいくつかの実施形態に従って、プロセス５００をマルチエポックモデルトレーニングプロセスへと容易に修正することができる。
【0086】
図６は、本明細書に記載されるいくつかの実施形態による、開示されたＲＳＤ予測システムにおいてＲＳＤ予測モデルを訓練するための別の例示的なプロセス６００を示すフローチャートを提示する。１つ以上の実施形態では、図６のステップのうちの１つ以上は、省略しても、繰り返しても、かつ／又は異なる順序で実行してもよい。したがって、図６に示されるステップの特定の配列は、本技法の範囲を限定するものとして解釈されるべきではない。
【0087】
プロセス６００は、標的の外科的処置、例えば、胃バイパス処置のラベル付けされたトレーニングビデオを受信することによって開始する（ステップ６０２）。いくつかの実施形態では、ラベル付けされたトレーニングビデオのセットは、同様に、例えば、標準的な手術ステップの同じセットを実行することによって標的の外科的処置を実行することができる多数の外科医によって実行された標的の外科的処置の記録された手術ビデオを含むことができる。しかしながら、ラベル付けされたトレーニングビデオのセットはまた、手術ステップのセットを実行する順序の変更など、標的の外科的処置を行う際の変更も含むことができる。いくつかの実施形態では、ラベル付けされたトレーニングビデオのセットは、上述のトレーニングビデオラベル付け技法を使用して、対応する生のトレーニングビデオのセットから取得された。具体的に言えば、ラベル付けされた各トレーニングビデオは、関連付けられたビデオフレームのタイムスタンプを含む。いくつかの実施形態では、ビデオフレームのタイムスタンプは、フレーム番号ラベルのセットによって表される。
【0088】
次に、プロセス６００は、ラベル付けされたトレーニングビデオのセットから、Ｍ個のトレーニングビデオのサブセットをランダムに選択する（ステップ６０４）。いくつかの実施形態では、所与の時間における複数のトレーニングデータポイントを処理するための計算リソース制限に基づいて、数Ｍを判定することができる。具体的に言えば、ＲＳＤ予測モデルを訓練するためにシステムによって使用される１つ以上のプロセッサ（例えば、１つ以上のグラフィック処理ユニット（ＧＰＵ））のメモリ制限に基づいて、数Ｍを判定することができる。プロセス６００は、その後、Ｍ個の選択されたトレーニングビデオに基づいて、反復モデル調整手順を開始する。
【0089】
具体的には、モデル調整手順の所与の反復において、プロセス６００は、Ｍ個のトレーニングビデオの各々について、所与のトレーニングビデオの開始と終了との間のタイムスタンプをランダムに選択する（ステップ６０６）。ラベル付けされたトレーニングビデオ内のフレーム番号ラベル及び対応する実際のタイムスタンプは、互いに対して一意に関連しているので、ステップ６０６におけるランダムタイムスタンプは、フレーム番号又は実際の時間のいずれかの形態で提供され得ることに留意されたい。その後、プロセス６００は、Ｍ個のトレーニングビデオに関連付けられたＭ個のランダムに選択されたタイムスタンプに基づいて、Ｍ個のトレーニングビデオの各々のビデオフレームを抽出する（ステップ６０８）。次に、Ｍ個のトレーニングビデオの各々Ｍ個のランダムに選択されたビデオフレームの各々について、プロセス６００は、上述のＮフレーム生成技法を使用して、対応するトレーニングビデオ内の所与のビデオフレームについて、Ｎ個のフレームのセットを構築する（ステップ６１０）。その結果、プロセス６００は、Ｍ個のトレーニングビデオから抽出されたＮ個のフレームのＭ個のセットを含むトレーニングデータのバッチを生成する。
【0090】
その後、プロセス６００は、トレーニングデータのバッチを使用して、ＲＳＤ予測モデルの重み及びバイアスなど、モデルパラメータを更新する（ステップ６１２）。例えば、プロセス６００は、トレーニングデータのバッチに基づいて、モデルパラメータを訓練する際に勾配降下法などの最適化技法を使用することができる。次に、プロセス６００は、検証データセットに対して、更新されたＲＳＤ予測モデルを評価する（ステップ６１４）。プロセス６００は、その後、訓練済みモデルからのＲＳＤ予測誤差がプラトーに達したか、又は許容可能な誤差マージン内に達したかを判定する（ステップ６１６）。達していない場合、プロセス６００は、ステップ６０６に戻り、ＲＳＤ予測モデルトレーニングプロセスの新たな反復を開始する。達した場合には、ＲＳＤ予測モデルトレーニングプロセス６００は終了する。
【0091】
更なる利益及び適用例
ＯＲのスケジュール設定を目的として、現在の外科的処置には、典型的には、統計的平均時間に基づいてスケジュールされたＯＲ時間が割り当てられ、現在の外科的処置の後に、次のスケジュールされた外科的処置が続くことに留意されたい。以前のＲＳＤ予測技法は、スケジュールされたＯＲ時間とあまり異ならないので、従来のＲＳＤ予測技法は、典型的には、外科的処置の開始時により正確である。しかしながら、ＲＳＤ予測において、様々な合併症要因及び通常とは異なる事象の影響が、外科的処置の終了に向かってますます顕著になるので、ＲＳＤ予測誤差は、典型的には、外科的処置の終了に向かって増大する。
ＯＲのスケジュール設定を目的として、現在の外科的処置には、典型的には、統計的平均時間に基づいてスケジュールされたＯＲ時間が割り当てられ、現在の外科的処置の後に、次のスケジュールされた外科的処置が続くことに留意されたい。以前のＲＳＤ予測技法は、スケジュールされたＯＲ時間とあまり異ならないので、従来のＲＳＤ予測技法は、典型的には、外科的処置の開始時により正確である。しかしながら、ＲＳＤ予測において、様々な合併症要因及び通常とは異なる事象の影響が、外科的処置の終了に向かってますます顕著になるので、ＲＳＤ予測誤差は、典型的には、外科的処置の終了に向かって増大する。
【0092】
対照的に、開示されるＲＳＤ予測モデル２０６によって生成されるリアルタイムＲＳＤ予測は、外科的処置の終了に向かってますます正確になり、外科的処置の終了近くの正確なＲＳＤ予測は、次の手術クルーによって準備ために使用され得る。例えば、２時間の長さの外科的処置の場合、ＲＳＤ予測精度は、外科的処置の終了に向かって、外科的処置の最後の３０分増大し続ける。開示されるＲＳＤ予測システム及び技法のこの特性は、次のスケジュールされた外科的処置の外科医及び手術クルーに、進行中の外科的処置の終了近くに、例えば、ＲＳＤ予測が３０分未満であるときに、非常に信頼性の高いＲＳＤ予測を提供する。したがって、次のスケジュールされた外科的処置の外科医には、現在の外科的処置がいつ終了するかを正確に分かり、それによって、この外科医は、準備し、それに応じてＯＲに到着するための時間バッファを計画することができる。
【0093】
代替的に、手術クルーは、リアルタイムＲＳＤ予測が術前準備のための所定の時間バッファに等しくなったときに、次のスケジュールされた外科的処置の準備を開始することができる。言い換えれば、正確なＲＳＤ予測により、現在の外科的処置がまだ進行中であるときに、次のスケジュールされた外科的処置のための術前準備を実行することが可能になる。例えば、ＲＳＤ予測が２０分マークに達したときに、手術クルーは、次のスケジュールされた外科的処置のためにＯＲを準備し始めることができるが、現在の外科的処置の最後の数分間待機することはない。これにより、現在の外科的処置から次のスケジュールされた外科的処置へと、非常に短い間隙で又は間隙なしに、シームレスに移行することが可能になる。
【0094】
時間の関数としての理想的なＲＳＤ予測曲線は、時間とともにｙ値が線形に減少する、すなわち、ＲＳＤ値が減少する負の傾きの線のようであることに留意されたい。多くの状況において、実際のＲＳＤ予測は、理想的な予測曲線に従うことが多い。しかしながら、いくつかの状況では、様々な異常事象により、実際のＲＳＤ予測を理想的なＲＳＤ予測曲線から著しく逸脱させることがある。外科的処置中の異常事象の１つのタイプは、難しい解剖学的構造に関連付けられる合併症の発生に起因する。別のタイプの異常事象は、出血又は（例えば、曇り又は血液により覆われることに起因する）カメラ視野の遮断など、通常とは異なる事象の発生によるものである。異常事象の発生は、通常、外科的処置に余分な時間／遅延を加える。
【0095】
いくつかの実施形態では、開示されるＲＳＤ予測技法は、標準的なＲＳＤ予測曲線（例えば、ゴールドスタンダードを実施する外科医によって生成される）から突然逸脱する（例えば、跳ね上がる）ようにＲＳＤ予測出力／曲線に反映される異常事象によって引き起こされる遅延を予測するように構成される。開示されるＲＳＤ予測技法は、そのような合併症事象及び他の異常／通常とは異なる事象を、リアルタイムＲＳＤ予測出力に基づいてそのような事象の早期に又は開始時に自動的かつ瞬時に識別することを容易にする。例えば、リアルタイムＲＳＤ予測出力は、合併症の可能性を示すリアルタイムＲＳＤ予測曲線の傾きの突然の変化を引き起こすことがある。別の例として、ＲＳＤ予測曲線を使用すると、予測出力が突然上昇し、その後、ＲＳＤ予測曲線の一般的な傾きに従うように下降して戻ることに気付くことによって、外科医が外科的処置の順序を切り替えているときを識別することができる。そのような異常事象を瞬時にリアルタイムで識別する能力は、外部の補助者を必要とする外科的処置中の潜在的な問題を識別することを可能にすることに留意されたい。
【0096】
別の利点は、同じ外科的処置を実行している２人の外科医を比較することである。外科的処置について高度に熟練したゴールドスタンダードを実施する外科医でモデルを訓練することができる。その後、訓練済みモデルを、ゴールドスタンダードを実施する外科医のようになるように訓練中の別の外科医に適用する。次いで、ゴールドスタンダードを実施する外科医のＲＳＤ曲線（「ゴールドスタンダードＲＳＤ曲線」とも呼ばれる）全体を訓練中の外科医からのＲＳＤ曲線全体と比較すると、トレーニングＲＳＤ曲線が外科的処置を通じて加速及び減速するので、訓練中の外科医がゴールドスタンダード曲線よりも速く又は遅くなるトレーニングＲＳＤ曲線内の場所を識別することができる。このような比較により、訓練中の外科医がＲＳＤ予測出力の術後レビューを実施することが可能になる。
【0097】
図７は、主題の技術のいくつかの実施形態を実装することができるコンピュータシステムを概念的に示す。コンピュータシステム７００は、クライアント、サーバ、コンピュータ、スマートフォン、ＰＤＡ、ラップトップ、又は１つ以上のプロセッサが埋め込まれた若しくは結合されたタブレットコンピュータ、あるいは任意の他の種類のコンピューティングデバイスであり得る。そのようなコンピュータシステムは、様々なタイプのコンピュータ可読媒体、及び様々な他のタイプのコンピュータ可読媒体のためのインターフェースを含む。コンピュータシステム７００は、バス７０２、処理ユニット（単数又は複数）７１２、システムメモリ７０４、読み出し専用メモリ（read-only memory、ＲＯＭ）７１０、永続的記憶デバイス７０８、入力デバイスインターフェース７１４、出力デバイスインターフェース７０６、及びネットワークインターフェース７１６を含む。いくつかの実施形態では、コンピュータシステム７００は、ロボット手術システムの一部である。
【0098】
バス７０２は、コンピュータシステム７００の数多くの内部デバイスを通信可能に接続する全てのシステムバス、周辺バス、及びチップセットバスを集合的に表す。例えば、バス７０２は、処理ユニット（単数又は複数）７１２を、ＲＯＭ７１０、システムメモリ７０４、及び永続的記憶デバイス７０８と通信可能に接続する。
【0099】
これらの様々なメモリユニットから、処理ユニット（単数又は複数）７１２は、図２～図６に関連して説明される様々なリアルタイムＲＳＤ予測手順及び様々なＲＳＤ予測モデルトレーニング手順を含む、本特許の開示に記載される様々なプロセスを実行するために、実行すべき命令及び処理すべきデータを取り出す。処理ユニット（単数又は複数）７１２は、マイクロプロセッサ、グラフィック処理ユニット（ＧＰＵ）、テンソル処理ユニット（ＴＰＵ）、インテリジェントプロセッサユニット（ＩＰＵ）、デジタル信号プロセッサ（ＤＳＰ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、及び特定用途向け集積回路（ＡＳＩＣ）を含むが、これらには限定されない、任意のタイプのプロセッサを含むことができる。処理ユニット（単数又は複数）７１２は、異なる実装形態では、シングルプロセッサ又はマルチコアプロセッサであり得る。
【0100】
ＲＯＭ７１０は、処理ユニット（単数又は複数）７１２及びコンピュータシステムの他のモジュールによって必要とされる静的データ及び命令を記憶する。一方、永続的記憶デバイス７０８は、読み出し／書き込みメモリデバイスである。このデバイスは、コンピュータシステム７００がオフのときであっても命令及びデータを記憶する不揮発性メモリユニットである。主題の開示のいくつかの実装形態は、永続的記憶デバイス７０８としてマス記憶デバイス（磁気ディスク又は光ディスク、並びにその対応するディスクドライブなど）を使用する。
【0101】
他の実装形態は、永続的デバイス７０８としてリムーバル記憶装置（フロッピーディスク、フラッシュトライブ、及びその対応するディスクドライブなど）を使用する。永続的記憶デバイス７０８と同様に、システムメモリ７０４は、読み出し／書き込みメモリデバイスである。しかしながら、記憶デバイス７０８とは異なり、システムメモリ７０４は、ランダムアクセスメモリなどの揮発性読み出し／書き込みメモリデバイスである。システムメモリ７０４は、プロセッサが実行時に必要とする命令及びデータの一部を記憶する。いくつかの実装形態では、図２～図６に関連して説明される様々なリアルタイムＲＳＤ予測手順及び様々なＲＳＤ予測モデルトレーニング手順を含む、本特許の開示に記載される様々なプロセスは、システムメモリ７０４、永続的記憶デバイス７０８、及び／又はＲＯＭ７１０に記憶される。これらの様々なメモリユニットから、処理ユニット（単数又は複数）７１２は、いくつかの実装形態のプロセスを実行するために、実行すべき命令及び処理すべきデータを取り出す。
【0102】
バス７０２はまた、入力デバイスインターフェース７１４及び出力デバイスインターフェース７０６に接続する。入力デバイスインターフェース７１４は、ユーザがコンピュータシステムに情報を通信し、コンピュータシステムのコマンドを選択することを可能にする。入力デバイスインターフェース７１４とともに使用される入力デバイスは、例えば、英数字キーボード及びポインティングデバイス（「カーソル制御デバイス」とも呼ばれる）を含む。出力デバイスインターフェース７０６は、例えば、コンピュータシステム７００によって生成された画像の表示を可能にする。出力デバイスインターフェース７０６とともに使用される出力デバイスは、例えば、プリンタ、及び陰極線管（cathode ray tube、ＣＲＴ）又は液晶ディスプレイ（liquid crystal display、ＬＣＤ）などのディスプレイデバイスを含む。いくつかの実装形態は、入力デバイスと出力デバイスの両方として機能するタッチスクリーンなどのデバイスを含む。
【0103】
最後に、図７に示すように、バス７０２はまた、ネットワークインターフェース７１６を介してコンピュータシステム７００をネットワーク（図示せず）に結合する。このように、コンピュータは、コンピュータのネットワーク（ローカルエリアネットワーク（「ＬＡＮ」）、広域ネットワーク（「ＷＡＮ」）、イントラネット、又はインターネットなどのネットワークのネットワークなど、の一部であり得る。コンピュータシステム７００の任意の又は全ての構成要素は、主題の開示と併せて使用され得る。
【0104】
本特許の開示で開示される実施形態に関連して説明される様々な例示的な論理ブロック、モジュール、回路、及びアルゴリズムステップは、電子ハードウェア、コンピュータソフトウェア、又は両方の組み合わせとして実装され得る。ハードウェア及びソフトウェアのこの互換性を明確に示すために、様々な例示的な構成要素、ブロック、モジュール、回路、及びステップについて、全般的に、それらの機能に関して上述した。そのような機能がハードウェアとして実装されるか、又はソフトウェアとして実装されるかは、特定の適用例及びシステム全体に課される設計上の制約に依存する。当業者は、特定の適用例ごとに変動する方法で説明した機能を実装し得るが、そのような実装の決定は、本開示の範囲からの逸脱を引き起こすものとして解釈されるべきではない。
【0105】
本明細書に開示される態様に関連して説明される様々な例示的な論理、論理ブロック、モジュール、及び回路を実装するために使用されるハードウェアは、汎用プロセッサ、デジタル信号プロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）又は他のプログラマブル論理デバイス、個別ゲート論理又は個別トランジスタ論理、個別ハードウェア構成要素、あるいは、本明細書に記載される機能を実行するように設計されたそれらの任意の組み合わせにより実装又は実行され得る。汎用プロセッサはマイクロプロセッサであってもよいが、代替的に、プロセッサは、任意の従来のプロセッサ、コントローラ、マイクロコントローラ、又はステートマシンであってもよい。プロセッサはまた、受信機デバイスの組み合わせ、例えば、ＤＳＰとマイクロプロセッサとの組み合わせ、複数のマイクロプロセッサ、ＤＳＰコアと併せた１つ以上のマイクロプロセッサ、又は任意の他のそのような構成として実装されてもよい。代替的に、いくつかのステップ又は方法は、所与の機能に固有の回路によって実行され得る。
【0106】
１つ以上の例示的な態様では、説明した機能は、ハードウェア、ソフトウェア、ファームウェア、又はそれらの任意の組み合わせで実装され得る。ソフトウェアで実装される場合、機能は、非一時的コンピュータ可読記憶媒体又は非一時的プロセッサ可読記憶媒体上に、１つ以上の命令又はコードとして記憶され得る。本明細書で開示される方法又はアルゴリズムのステップは、非一時的コンピュータ可読記憶媒体又はプロセッサ可読記憶媒体上に常駐し得るプロセッサ実行可能命令において具現化され得る。非一時的コンピュータ可読記憶媒体又はプロセッサ可読記憶媒体は、コンピュータ又はプロセッサによってアクセスされ得る任意の記憶媒体であり得る。限定ではないが例として、そのような非一時的なコンピュータ可読又はプロセッサ可読の記憶媒体は、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ、フラッシュメモリ、ＣＤ－ＲＯＭ又は他の光学ディスク記憶装置、磁気ディスク記憶装置又は他の磁気記憶デバイス、あるいは、命令又はデータ構造の形式で所望のプログラムコードを記憶するために使用することができ、かつコンピュータによってアクセスすることができる任意の他の媒体を含み得る。本明細書で使用される「ディスク（disk）」及び「ディスク（disc）」という用語は、コンパクトディスク（ＣＤ）、レーザディスク、光ディスク、デジタル多用途ディスク（ＤＶＤ）、フロッピーディスク、及びブルーレイディスクを含み、ディスク（disk）は通常、データを磁気的に再生し、ディスク（disc）はデータをレーザを用いて光学的に再生する。上記の組み合わせはまた、非一時的コンピュータ可読媒体及び非一時的プロセッサ可読媒体の範囲内に含まれる。更に、方法又はアルゴリズムの動作は、コンピュータプログラム製品に組み込まれ得る、非一時的プロセッサ可読記憶媒体及び／又は非一時的コンピュータ可読記憶媒体上のコード及び／又は命令のうちの１つ又は任意の組み合わせ、あるいはそれらのセットとして常駐し得る。
【0107】
本特許文書は、多くの詳細を含むが、これらは、いかなる開示された技術の範囲又は特許請求の範囲に記載され得るものの範囲に対する限定としてではなく、むしろ、特定の技術の特定の実施形態に特有であり得る特徴の説明として解釈されるべきである。別個の実施形態の文脈の中で本特許文書で記載される特定の特徴はまた、単一の実施形態において組み合わされて実施され得る。逆に、単一の実施形態の文脈の中で記載される様々な特徴はまた、複数の実施形態において別個に、又は任意の適切な部分的組み合わせで実施され得る。更に、幾つかの特徴が特定の組み合わせで機能するものとして上記で記載されているが、更には初期的にはそのように特許請求している場合であっても、特許請求された組み合わせからの１つ以上の特徴は、場合によってはこの組み合わせから除外されてもよく、特許請求された組み合わせが、部分的組合せ又は部分的な組合せの変形を目的としてもよい。
【0108】
同様に、操作が特定の順序で図面中に示されるが、これは、このような操作が示される特定の順序で若しくは順次に実施されること、又は全ての図示する操作が所望の結果を達成するために実施されることが必要であると理解されるべきではない。更に、本特許文書に記載される実施形態における様々なシステム構成要素の分離は、全ての実施形態においてそのような分離を必要とすると理解されるべきではない。
【0109】
いくつかの実装形態及び例のみが記載されており、本特許文書で説明及び図示されているものに基づいて他の実装形態、拡張形態、及び変形形態が行われ得る。
【0110】
〔実施の態様〕
（１） 外科的処置のライブ手術セッションの残存手術時間（ＲＳＤ）を、前記ライブ手術セッションのリアルタイム内視鏡ビデオに基づいて、リアルタイムで連続的に予測するためのコンピュータ実装方法であって、
前記ライブ手術セッションの現在時刻における前記内視鏡ビデオの現在のフレームを受信することであって、前記現在時刻は、前記ライブ手術セッション中に連続ＲＳＤ予測を行うための予測タイムポイントのシーケンスの中にある、受信することと、
前記ライブ手術セッションの開始に対応する前記内視鏡ビデオの開始と前記現在時刻に対応する前記現在のフレームとの間の、前記ライブ手術セッションの経過部分に対応する前記内視鏡ビデオのＮ－１個の追加フレームをランダムにサンプリングすることと、
前記Ｎ－１個のランダムにサンプリングされたフレームと前記現在のフレームとを時間的順序で組み合わせて、Ｎ個のフレームのセットを取得することと、
前記Ｎ個のフレームのセットを、前記外科的処置のための訓練済みＲＳＤ機械学習（ＭＬ）モデルに供給することと、
前記Ｎ個のフレームのセットに基づいて、前記訓練済みＲＳＤ ＭＬモデルから現在のＲＳＤ予測を出力することと、
を含む、コンピュータ実装方法。
（２） 前記Ｎ－１個のランダムにサンプリングされたフレームが、前記ライブ手術セッションの前記経過部分中に発生した様々な事象の十分に正確なスナップショットを提供するように、Ｎが十分に大きくなるように選択される、実施態様１に記載のコンピュータ実装方法。
（３） 前記ライブ手術セッションの前記経過部分をランダムにサンプリングすることは、連続ＲＳＤ予測を行っている間に、前記内視鏡ビデオ内の所与のフレームを異なる予測タイムポイントにおいて２回以上サンプリングすることを可能にする、実施態様１に記載のコンピュータ実装方法。
（４） 前記方法は、前記Ｎ個のフレームのセットに基づいて、前記訓練済みＲＳＤ ＭＬモデルを使用して、前記ライブ手術セッションの完了率の予測を生成することを更に含む、実施態様１に記載のコンピュータ実装方法。
（５） 前記方法は、
現在のＲＳＤ予測のセットを生成するために、
前記ライブ手術セッションの開始に対応する前記内視鏡ビデオの開始と前記現在時刻に対応する前記現在のフレームとの間の、前記ライブ手術セッションの経過部分に対応する前記内視鏡ビデオのＮ－１個の追加フレームをランダムにサンプリングするステップと、
前記Ｎ－１個のランダムにサンプリングされたフレームと前記現在のフレームとを時間的順序で組み合わせて、Ｎ個のフレームのセットを取得するステップと、
前記Ｎ個のフレームのセットを、訓練済みＲＳＤ ＭＬモデルに供給するステップと、
前記Ｎ個のフレームのセットに基づいて、前記訓練済みＲＳＤ ＭＬモデルから現在のＲＳＤ予測を生成するステップと、
を複数回繰り返すことと、
前記現在のＲＳＤ予測のセットの平均値及び分散値を計算することと、
前記計算された平均値及び分散値を前記現在のＲＳＤ予測として使用することによって、前記現在のＲＳＤ予測を改善することと、
によって、前記現在時刻における前記現在のＲＳＤ予測を改善すること、を更に含む、実施態様１に記載のコンピュータ実装方法。
（１） 外科的処置のライブ手術セッションの残存手術時間（ＲＳＤ）を、前記ライブ手術セッションのリアルタイム内視鏡ビデオに基づいて、リアルタイムで連続的に予測するためのコンピュータ実装方法であって、
前記ライブ手術セッションの現在時刻における前記内視鏡ビデオの現在のフレームを受信することであって、前記現在時刻は、前記ライブ手術セッション中に連続ＲＳＤ予測を行うための予測タイムポイントのシーケンスの中にある、受信することと、
前記ライブ手術セッションの開始に対応する前記内視鏡ビデオの開始と前記現在時刻に対応する前記現在のフレームとの間の、前記ライブ手術セッションの経過部分に対応する前記内視鏡ビデオのＮ－１個の追加フレームをランダムにサンプリングすることと、
前記Ｎ－１個のランダムにサンプリングされたフレームと前記現在のフレームとを時間的順序で組み合わせて、Ｎ個のフレームのセットを取得することと、
前記Ｎ個のフレームのセットを、前記外科的処置のための訓練済みＲＳＤ機械学習（ＭＬ）モデルに供給することと、
前記Ｎ個のフレームのセットに基づいて、前記訓練済みＲＳＤ ＭＬモデルから現在のＲＳＤ予測を出力することと、
を含む、コンピュータ実装方法。
（２） 前記Ｎ－１個のランダムにサンプリングされたフレームが、前記ライブ手術セッションの前記経過部分中に発生した様々な事象の十分に正確なスナップショットを提供するように、Ｎが十分に大きくなるように選択される、実施態様１に記載のコンピュータ実装方法。
（３） 前記ライブ手術セッションの前記経過部分をランダムにサンプリングすることは、連続ＲＳＤ予測を行っている間に、前記内視鏡ビデオ内の所与のフレームを異なる予測タイムポイントにおいて２回以上サンプリングすることを可能にする、実施態様１に記載のコンピュータ実装方法。
（４） 前記方法は、前記Ｎ個のフレームのセットに基づいて、前記訓練済みＲＳＤ ＭＬモデルを使用して、前記ライブ手術セッションの完了率の予測を生成することを更に含む、実施態様１に記載のコンピュータ実装方法。
（５） 前記方法は、
現在のＲＳＤ予測のセットを生成するために、
前記ライブ手術セッションの開始に対応する前記内視鏡ビデオの開始と前記現在時刻に対応する前記現在のフレームとの間の、前記ライブ手術セッションの経過部分に対応する前記内視鏡ビデオのＮ－１個の追加フレームをランダムにサンプリングするステップと、
前記Ｎ－１個のランダムにサンプリングされたフレームと前記現在のフレームとを時間的順序で組み合わせて、Ｎ個のフレームのセットを取得するステップと、
前記Ｎ個のフレームのセットを、訓練済みＲＳＤ ＭＬモデルに供給するステップと、
前記Ｎ個のフレームのセットに基づいて、前記訓練済みＲＳＤ ＭＬモデルから現在のＲＳＤ予測を生成するステップと、
を複数回繰り返すことと、
前記現在のＲＳＤ予測のセットの平均値及び分散値を計算することと、
前記計算された平均値及び分散値を前記現在のＲＳＤ予測として使用することによって、前記現在のＲＳＤ予測を改善することと、
によって、前記現在時刻における前記現在のＲＳＤ予測を改善すること、を更に含む、実施態様１に記載のコンピュータ実装方法。
【0111】
（６） 前記方法は、
前記内視鏡ビデオ内の予測タイムポイントの前記シーケンスに対応するリアルタイムＲＳＤ予測の連続シーケンスを生成することと、
リアルタイムＲＳＤ予測の前記シーケンスにおける高周波ジッタを除去することによって前記ＲＳＤ予測を平滑化するために、リアルタイムＲＳＤ予測の前記シーケンスにローパスフィルタを適用することと、
によって、前記ＲＳＤ予測を改善すること、を更に含む、実施態様１に記載のコンピュータ実装方法。
（７） 前記方法は、
前記外科的処置のトレーニングビデオのセットを受信することであって、トレーニングビデオの前記セット内の各ビデオは、前記外科的処置に熟練した外科医によって実行される前記外科的処置の実行に対応する、受信することと、
トレーニングビデオの前記セット内の各トレーニングビデオについて、所定の時間間隔に従って、前記トレーニングビデオ全体にわたる等間隔のタイムポイントのシーケンスにおいてトレーニングデータ生成ステップのシーケンスを実行することによって、ラベル付けされたトレーニングデータのセットを構築することであって、タイムポイントの前記シーケンス内の対応するタイムポイントにおけるトレーニングデータ生成ステップの前記シーケンス内の各トレーニングデータ生成ステップが、
前記対応するタイムポイントにおける前記トレーニングビデオの現在のフレームを受信することと、
前記トレーニングビデオの開始と前記現在のフレームとの間の、前記手術セッションの前記経過部分に対応する前記トレーニングビデオのＮ－１個の追加フレームをランダムにサンプリングすることと、
前記Ｎ－１個のランダムにサンプリングされたフレームと前記現在のフレームとを時間的順序で組み合わせて、Ｎ個のフレームのセットを取得することと、
前記現在のフレームに関連付けられたラベルで、前記Ｎ個のフレームのセットにラベル付けすることと、
を含む、構築することと、
トレーニングビデオの前記セットに関連付けられたラベル付けされたトレーニングデータの複数のセットを出力することと、
によって、トレーニングデータセットを生成すること、
を更に含む、実施態様１に記載のコンピュータ実装方法。
（８） 前記方法は、
畳み込みニューラルネットワーク（ＣＮＮ）モデルを受信することと、
ラベル付けされたトレーニングデータの前記複数のセットを含む前記トレーニングデータセットを用いて前記ＣＮＮモデルを訓練することと、
前記訓練されたＣＮＮモデルに基づいて前記訓練済みＲＳＤ ＭＬモデルを取得することと、
によって、前記訓練済みＲＳＤ ＭＬモデルを確立することを更に含む、実施態様７に記載のコンピュータ実装方法。
（９） 前記方法は、前記トレーニングデータセットを生成する前に、
前記トレーニングビデオ内の各ビデオフレームについて、
前記ビデオフレームから前記トレーニングビデオの終了までの残存手術時間を自動的に判定することと、
前記ビデオフレームの前記ラベルとして、前記判定された残存手術時間で前記ビデオフレームに自動的に注釈を付けることと、
によって、トレーニングビデオの前記セット内の各トレーニングビデオにラベル付けすることを更に含む、実施態様７に記載のコンピュータ実装方法。
（１０） 前記現在のフレームに関連付けられた前記ラベルは、分単位の関連付けられた残存手術時間を含む、実施態様７に記載のコンピュータ実装方法。
前記内視鏡ビデオ内の予測タイムポイントの前記シーケンスに対応するリアルタイムＲＳＤ予測の連続シーケンスを生成することと、
リアルタイムＲＳＤ予測の前記シーケンスにおける高周波ジッタを除去することによって前記ＲＳＤ予測を平滑化するために、リアルタイムＲＳＤ予測の前記シーケンスにローパスフィルタを適用することと、
によって、前記ＲＳＤ予測を改善すること、を更に含む、実施態様１に記載のコンピュータ実装方法。
（７） 前記方法は、
前記外科的処置のトレーニングビデオのセットを受信することであって、トレーニングビデオの前記セット内の各ビデオは、前記外科的処置に熟練した外科医によって実行される前記外科的処置の実行に対応する、受信することと、
トレーニングビデオの前記セット内の各トレーニングビデオについて、所定の時間間隔に従って、前記トレーニングビデオ全体にわたる等間隔のタイムポイントのシーケンスにおいてトレーニングデータ生成ステップのシーケンスを実行することによって、ラベル付けされたトレーニングデータのセットを構築することであって、タイムポイントの前記シーケンス内の対応するタイムポイントにおけるトレーニングデータ生成ステップの前記シーケンス内の各トレーニングデータ生成ステップが、
前記対応するタイムポイントにおける前記トレーニングビデオの現在のフレームを受信することと、
前記トレーニングビデオの開始と前記現在のフレームとの間の、前記手術セッションの前記経過部分に対応する前記トレーニングビデオのＮ－１個の追加フレームをランダムにサンプリングすることと、
前記Ｎ－１個のランダムにサンプリングされたフレームと前記現在のフレームとを時間的順序で組み合わせて、Ｎ個のフレームのセットを取得することと、
前記現在のフレームに関連付けられたラベルで、前記Ｎ個のフレームのセットにラベル付けすることと、
を含む、構築することと、
トレーニングビデオの前記セットに関連付けられたラベル付けされたトレーニングデータの複数のセットを出力することと、
によって、トレーニングデータセットを生成すること、
を更に含む、実施態様１に記載のコンピュータ実装方法。
（８） 前記方法は、
畳み込みニューラルネットワーク（ＣＮＮ）モデルを受信することと、
ラベル付けされたトレーニングデータの前記複数のセットを含む前記トレーニングデータセットを用いて前記ＣＮＮモデルを訓練することと、
前記訓練されたＣＮＮモデルに基づいて前記訓練済みＲＳＤ ＭＬモデルを取得することと、
によって、前記訓練済みＲＳＤ ＭＬモデルを確立することを更に含む、実施態様７に記載のコンピュータ実装方法。
（９） 前記方法は、前記トレーニングデータセットを生成する前に、
前記トレーニングビデオ内の各ビデオフレームについて、
前記ビデオフレームから前記トレーニングビデオの終了までの残存手術時間を自動的に判定することと、
前記ビデオフレームの前記ラベルとして、前記判定された残存手術時間で前記ビデオフレームに自動的に注釈を付けることと、
によって、トレーニングビデオの前記セット内の各トレーニングビデオにラベル付けすることを更に含む、実施態様７に記載のコンピュータ実装方法。
（１０） 前記現在のフレームに関連付けられた前記ラベルは、分単位の関連付けられた残存手術時間を含む、実施態様７に記載のコンピュータ実装方法。
【0112】
（１１） 前記ＣＮＮモデルは、ビデオフレームのシーケンスを単一の入力として受信するように構成された動作認識ネットワークアーキテクチャ（Ｉ３ｄ）を含む、実施態様８に記載のコンピュータ実装方法。
（１２） 前記トレーニングデータセットを用いて前記ＣＮＮモデルを訓練することは、検証データセットに対して前記ＣＮＮモデルを評価することを含む、実施態様８に記載のコンピュータ実装方法。
（１３） 外科的処置のライブ手術セッションの残存手術時間（ＲＳＤ）を、前記ライブ手術セッションのリアルタイム内視鏡ビデオに基づいて、リアルタイムで連続的に予測するためのシステムであって、
１つ以上のプロセッサと、
前記１つ以上のプロセッサに結合されたメモリであって、前記メモリは、前記１つ以上のプロセッサによって実行されると、前記システムに、
前記ライブ手術セッションの現在時刻における前記内視鏡ビデオの現在のフレームを受信することであって、前記現在時刻は、前記ライブ手術セッション中に連続ＲＳＤ予測を行うための予測タイムポイントのシーケンスの中にある、受信することと、
前記ライブ手術セッションの開始に対応する前記内視鏡ビデオの開始と前記現在時刻に対応する前記現在のフレームとの間の、前記ライブ手術セッションの経過部分に対応する前記内視鏡ビデオのＮ－１個の追加フレームをランダムにサンプリングすることと、
前記Ｎ－１個のランダムにサンプリングされたフレームと前記現在のフレームとを時間的順序で組み合わせて、Ｎ個のフレームのセットを取得することと、
前記Ｎ個のフレームのセットを、前記外科的処置のための訓練済みＲＳＤ機械学習（ＭＬ）モデルに供給することと、
前記Ｎ個のフレームのセットに基づいて、前記訓練済みＲＳＤ ＭＬモデルから現在のＲＳＤ予測を出力することと、
を行わせる、命令を記憶している、メモリと、
を備える、システム。
（１４） 前記Ｎ－１個のランダムにサンプリングされたフレームが、前記ライブ手術セッションの前記経過部分中に発生した様々な事象の十分に正確なスナップショットを提供するように、Ｎが十分に大きくなるように選択される、実施態様１３に記載のシステム。
（１５） 前記メモリは、前記１つ以上のプロセッサによって実行されると、前記システムに、
現在のＲＳＤ予測のセットを生成するために、
前記ライブ手術セッションの開始に対応する前記内視鏡ビデオの開始と前記現在時刻に対応する前記現在のフレームとの間の、前記ライブ手術セッションの経過部分に対応する前記内視鏡ビデオのＮ－１個の追加フレームをランダムにサンプリングするステップと、
前記Ｎ－１個のランダムにサンプリングされたフレームと前記現在のフレームとを時間的順序で組み合わせて、Ｎ個のフレームのセットを取得するステップと、
前記Ｎ個のフレームのセットを、訓練済みＲＳＤ ＭＬモデルに供給するステップと、
前記Ｎ個のフレームのセットに基づいて、前記訓練済みＲＳＤ ＭＬモデルから現在のＲＳＤ予測を生成するステップと、
を複数回繰り返すことと、
前記現在のＲＳＤ予測のセットの平均値及び分散値を計算することと、
前記計算された平均値及び分散値を前記現在のＲＳＤ予測として使用することによって、前記現在のＲＳＤ予測を改善することと、
によって、前記現在時刻における前記現在のＲＳＤ予測を改善させる命令を更に記憶している、実施態様１３に記載のシステム。
（１２） 前記トレーニングデータセットを用いて前記ＣＮＮモデルを訓練することは、検証データセットに対して前記ＣＮＮモデルを評価することを含む、実施態様８に記載のコンピュータ実装方法。
（１３） 外科的処置のライブ手術セッションの残存手術時間（ＲＳＤ）を、前記ライブ手術セッションのリアルタイム内視鏡ビデオに基づいて、リアルタイムで連続的に予測するためのシステムであって、
１つ以上のプロセッサと、
前記１つ以上のプロセッサに結合されたメモリであって、前記メモリは、前記１つ以上のプロセッサによって実行されると、前記システムに、
前記ライブ手術セッションの現在時刻における前記内視鏡ビデオの現在のフレームを受信することであって、前記現在時刻は、前記ライブ手術セッション中に連続ＲＳＤ予測を行うための予測タイムポイントのシーケンスの中にある、受信することと、
前記ライブ手術セッションの開始に対応する前記内視鏡ビデオの開始と前記現在時刻に対応する前記現在のフレームとの間の、前記ライブ手術セッションの経過部分に対応する前記内視鏡ビデオのＮ－１個の追加フレームをランダムにサンプリングすることと、
前記Ｎ－１個のランダムにサンプリングされたフレームと前記現在のフレームとを時間的順序で組み合わせて、Ｎ個のフレームのセットを取得することと、
前記Ｎ個のフレームのセットを、前記外科的処置のための訓練済みＲＳＤ機械学習（ＭＬ）モデルに供給することと、
前記Ｎ個のフレームのセットに基づいて、前記訓練済みＲＳＤ ＭＬモデルから現在のＲＳＤ予測を出力することと、
を行わせる、命令を記憶している、メモリと、
を備える、システム。
（１４） 前記Ｎ－１個のランダムにサンプリングされたフレームが、前記ライブ手術セッションの前記経過部分中に発生した様々な事象の十分に正確なスナップショットを提供するように、Ｎが十分に大きくなるように選択される、実施態様１３に記載のシステム。
（１５） 前記メモリは、前記１つ以上のプロセッサによって実行されると、前記システムに、
現在のＲＳＤ予測のセットを生成するために、
前記ライブ手術セッションの開始に対応する前記内視鏡ビデオの開始と前記現在時刻に対応する前記現在のフレームとの間の、前記ライブ手術セッションの経過部分に対応する前記内視鏡ビデオのＮ－１個の追加フレームをランダムにサンプリングするステップと、
前記Ｎ－１個のランダムにサンプリングされたフレームと前記現在のフレームとを時間的順序で組み合わせて、Ｎ個のフレームのセットを取得するステップと、
前記Ｎ個のフレームのセットを、訓練済みＲＳＤ ＭＬモデルに供給するステップと、
前記Ｎ個のフレームのセットに基づいて、前記訓練済みＲＳＤ ＭＬモデルから現在のＲＳＤ予測を生成するステップと、
を複数回繰り返すことと、
前記現在のＲＳＤ予測のセットの平均値及び分散値を計算することと、
前記計算された平均値及び分散値を前記現在のＲＳＤ予測として使用することによって、前記現在のＲＳＤ予測を改善することと、
によって、前記現在時刻における前記現在のＲＳＤ予測を改善させる命令を更に記憶している、実施態様１３に記載のシステム。
【0113】
（１６） 前記メモリが、前記１つ以上のプロセッサによって実行されると、前記システムに、
前記内視鏡ビデオ内の予測タイムポイントの前記シーケンスに対応するリアルタイムＲＳＤ予測の連続シーケンスを生成することと、
リアルタイムＲＳＤ予測の前記シーケンスにおける高周波ジッタを除去することによって前記ＲＳＤ予測を平滑化するために、リアルタイムＲＳＤ予測の前記シーケンスにローパスフィルタを適用することと、
によって、前記ＲＳＤ予測を改善させる命令を更に記憶している、実施態様１３に記載のシステム。
（１７） 前記メモリは、前記１つ以上のプロセッサによって実行されると、前記システムに、
前記外科的処置のトレーニングビデオのセットを受信することであって、トレーニングビデオの前記セット内の各ビデオは、前記外科的処置に熟練した外科医によって実行される前記外科的処置の実行に対応する、受信することと、
トレーニングビデオの前記セット内の各トレーニングビデオについて、所定の時間間隔に従って、前記トレーニングビデオ全体にわたる等間隔のタイムポイントのシーケンスにおいてトレーニングデータ生成ステップのシーケンスを実行することによって、ラベル付けされたトレーニングデータのセットを構築することであって、タイムポイントの前記シーケンス内の対応するタイムポイントにおけるトレーニングデータ生成ステップの前記シーケンス内の各トレーニングデータ生成ステップが、
前記対応するタイムポイントにおける前記トレーニングビデオの現在のフレームを受信することと、
前記トレーニングビデオの開始と前記現在のフレームとの間の、前記外科的処置の前記経過部分に対応する前記トレーニングビデオのＮ－１個の追加フレームをランダムにサンプリングすることと、
前記Ｎ－１個のランダムにサンプリングされたフレームと前記現在のフレームとを時間的順序で組み合わせて、Ｎ個のフレームのセットを取得することと、
前記現在のフレームに関連付けられたラベルで、前記Ｎ個のフレームのセットにラベル付けすることと、
を含む、構築することと、
トレーニングビデオの前記セットに関連付けられたラベル付けされたトレーニングデータの複数のセットを出力することと、
によって、トレーニングデータセットを生成させる命令を更に記憶している、実施態様１３に記載のシステム。
（１８） 前記メモリが、前記１つ以上のプロセッサによって実行されると、前記システムに、
畳み込みニューラルネットワーク（ＣＮＮ）モデルを受信することと、
トレーニングビデオの前記セットに対応するラベル付けされたトレーニングデータの前記複数のセットを含む前記トレーニングデータセットを用いて前記ＣＮＮモデルを訓練することと、
前記訓練されたＣＮＮモデルに基づいて前記訓練済みＲＳＤ ＭＬモデルを取得することと、
によって、前記訓練済みＲＳＤ ＭＬモデルを確立させる命令を更に記憶している、実施態様１７に記載のシステム。
（１９） 前記メモリが、前記１つ以上のプロセッサによって実行されると、前記システムに、
ラベル付けされたトレーニングデータの前記複数のセット内のラベル付けされたトレーニングデータの各セットから１つのラベル付けされたトレーニングデータをランダムに選択することと、
ランダムに選択されたラベル付けされたトレーニングデータの前記セットを組み合わせて、トレーニングデータのバッチを形成することと、
トレーニングデータの前記バッチを用いて前記ＣＮＮモデルを訓練して、前記ＣＮＮモデルを更新することと、
によって、ラベル付けされたトレーニングデータの前記複数のセットを用いて前記ＣＮＮモデルを訓練させる命令を更に記憶している、実施態様１８に記載のシステム。
（２０） 前記ＣＮＮモデルは、ビデオフレームのシーケンスを単一の入力として受信するように構成された動作認識ネットワークアーキテクチャ（Ｉ３ｄ）を含む、実施態様１８に記載のシステム。
前記内視鏡ビデオ内の予測タイムポイントの前記シーケンスに対応するリアルタイムＲＳＤ予測の連続シーケンスを生成することと、
リアルタイムＲＳＤ予測の前記シーケンスにおける高周波ジッタを除去することによって前記ＲＳＤ予測を平滑化するために、リアルタイムＲＳＤ予測の前記シーケンスにローパスフィルタを適用することと、
によって、前記ＲＳＤ予測を改善させる命令を更に記憶している、実施態様１３に記載のシステム。
（１７） 前記メモリは、前記１つ以上のプロセッサによって実行されると、前記システムに、
前記外科的処置のトレーニングビデオのセットを受信することであって、トレーニングビデオの前記セット内の各ビデオは、前記外科的処置に熟練した外科医によって実行される前記外科的処置の実行に対応する、受信することと、
トレーニングビデオの前記セット内の各トレーニングビデオについて、所定の時間間隔に従って、前記トレーニングビデオ全体にわたる等間隔のタイムポイントのシーケンスにおいてトレーニングデータ生成ステップのシーケンスを実行することによって、ラベル付けされたトレーニングデータのセットを構築することであって、タイムポイントの前記シーケンス内の対応するタイムポイントにおけるトレーニングデータ生成ステップの前記シーケンス内の各トレーニングデータ生成ステップが、
前記対応するタイムポイントにおける前記トレーニングビデオの現在のフレームを受信することと、
前記トレーニングビデオの開始と前記現在のフレームとの間の、前記外科的処置の前記経過部分に対応する前記トレーニングビデオのＮ－１個の追加フレームをランダムにサンプリングすることと、
前記Ｎ－１個のランダムにサンプリングされたフレームと前記現在のフレームとを時間的順序で組み合わせて、Ｎ個のフレームのセットを取得することと、
前記現在のフレームに関連付けられたラベルで、前記Ｎ個のフレームのセットにラベル付けすることと、
を含む、構築することと、
トレーニングビデオの前記セットに関連付けられたラベル付けされたトレーニングデータの複数のセットを出力することと、
によって、トレーニングデータセットを生成させる命令を更に記憶している、実施態様１３に記載のシステム。
（１８） 前記メモリが、前記１つ以上のプロセッサによって実行されると、前記システムに、
畳み込みニューラルネットワーク（ＣＮＮ）モデルを受信することと、
トレーニングビデオの前記セットに対応するラベル付けされたトレーニングデータの前記複数のセットを含む前記トレーニングデータセットを用いて前記ＣＮＮモデルを訓練することと、
前記訓練されたＣＮＮモデルに基づいて前記訓練済みＲＳＤ ＭＬモデルを取得することと、
によって、前記訓練済みＲＳＤ ＭＬモデルを確立させる命令を更に記憶している、実施態様１７に記載のシステム。
（１９） 前記メモリが、前記１つ以上のプロセッサによって実行されると、前記システムに、
ラベル付けされたトレーニングデータの前記複数のセット内のラベル付けされたトレーニングデータの各セットから１つのラベル付けされたトレーニングデータをランダムに選択することと、
ランダムに選択されたラベル付けされたトレーニングデータの前記セットを組み合わせて、トレーニングデータのバッチを形成することと、
トレーニングデータの前記バッチを用いて前記ＣＮＮモデルを訓練して、前記ＣＮＮモデルを更新することと、
によって、ラベル付けされたトレーニングデータの前記複数のセットを用いて前記ＣＮＮモデルを訓練させる命令を更に記憶している、実施態様１８に記載のシステム。
（２０） 前記ＣＮＮモデルは、ビデオフレームのシーケンスを単一の入力として受信するように構成された動作認識ネットワークアーキテクチャ（Ｉ３ｄ）を含む、実施態様１８に記載のシステム。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【国際調査報告】