知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-05-16
(45)【発行日】2022-05-24
(54)【発明の名称】機械学習指向の外科用ビデオ分析システム
(51)【国際特許分類】
G16H 30/40 20180101AFI20220517BHJP
【ＦＩ】
G16H30/40
【請求項の数】
13
(21)【出願番号】P 2020562174
(86)(22)【出願日】2018-06-07
(65)【公表番号】
(43)【公表日】2021-10-21
(86)【国際出願番号】 US2018036452
(87)【国際公開番号】W WO2019226182
(87)【国際公開日】2019-11-28
【審査請求日】2020-11-05
(31)【優先権主張番号】15/987,782
(32)【優先日】2018-05-23
(33)【優先権主張国・地域又は機関】US
(73)【特許権者】
【識別番号】516133124
【氏名又は名称】バーブ サージカル インコーポレイテッド
【氏名又は名称原語表記】Ｖｅｒｂ Ｓｕｒｇｉｃａｌ Ｉｎｃ．
(74)【代理人】
【識別番号】100088605
【弁理士】
【氏名又は名称】加藤 公延
(74)【代理人】
【識別番号】100130384
【弁理士】
【氏名又は名称】大島 孝文
(72)【発明者】
【氏名】ヴェンカタラマン ジャガディシュ
(72)【発明者】
【氏名】ガルシア キルロイ パブロ イー．
【審査官】関 博文
(56)【参考文献】
【文献】米国特許出願公開第２０１１／０３０１４４７（ＵＳ，Ａ１）
【文献】米国特許出願公開第２０１５／０２３０８７５（ＵＳ，Ａ１）
【文献】米国特許出願公開第２０１０／０２８５４３８（ＵＳ，Ａ１）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ１６Ｈ １０／００－８０／００
(57)【特許請求の範囲】
【請求項1】
外科用ロボットを使用して実施される外科処置のロボット外科用ビデオを処理するためのコンピュータ実装方法であって、前記方法が、前記外科処置に関連付けられた多様な外科用ビデオのセットを受信することと、
前記外科処置の既定のフェーズのセット、及び前記既定のフェーズのセット内の各既定のフェーズに対して識別された機械学習記述子のセットを受信することと、
各受信した外科用ビデオについて、
前記既定のフェーズのセットに基づいて、前記外科用ビデオをビデオセグメントのセットにセグメント化することと、
所与の既定のフェーズの前記外科用ビデオの各セグメントについて、前記ビデオセグメントを、前記所与の既定のフェーズの対応する機械学習記述子のセットで注釈付けすることと、
前記外科処置の注釈付きの前記外科用ビデオを、検索可能なデータベースのセットに記憶することと、を含む、コンピュータ実装方法。
【請求項2】
前記多様な外科用ビデオのセットを受信することが、前記外科処置を実施及び記録する多様な医師及び病院のグループから、前記外科用ビデオのセットを収集することを含む、請求項１に記載のコンピュータ実装方法。
【請求項3】
前記既定のフェーズのセットに基づいて、前記外科用ビデオを前記ビデオセグメントのセットにセグメント化することが、前記既定のフェーズのセット内の２つの連続するフェーズを分離するフェーズ境界を検出することを含む、請求項１に記載のコンピュータ実装方法。
【請求項4】
前記フェーズ境界を検出することが、所与のフェーズの開始の指標として、外科用ツールの初期出現を検出することを含む、請求項３に記載のコンピュータ実装方法。
【請求項5】
前記フェーズ境界を検出することが、所与のフェーズの開始の指標として、事象のセット内の所与の事象を検出することを含む、請求項３に記載のコンピュータ実装方法。
【請求項6】
前記事象のセットが、焼灼事象と、
出血事象と、
癒着事象と、を含む、請求項５に記載のコンピュータ実装方法。
【請求項7】
前記ビデオセグメントを前記対応する機械学習記述子のセットで注釈付けすることが、前記対応する機械学習記述子のセットのうちの１つ以上に一致する前記ビデオセグメントのビデオ画像内のオブジェクトを、一致した前記機械学習記述子でタグ付けすることを含む、請求項１に記載のコンピュータ実装方法。
【請求項8】
前記外科処置の注釈付きの前記外科用ビデオを検索可能なデータベースのセットに記憶することが、前記既定のフェーズのセット内の同じフェーズに属する注釈付きビデオセグメントのセットに対して別個のデータベースを作成することを含む、請求項１に記載のコンピュータ実装方法。
【請求項9】
外科用ロボットを使用して実施される外科処置のロボット外科用ビデオを処理するためのシステムであって、前記システムが、１つ以上のプロセッサと、
前記１つ以上のプロセッサに結合されたメモリと、
受信モジュールであって、
前記外科処置に関連付けられた多様な外科用ビデオのセットを受信すること、及び
前記外科処置の既定のフェーズのセット、及び前記既定のフェーズのセット内の各既定のフェーズに対して識別された機械学習記述子のセットを受信すること、を行うように構成されている、受信モジュールと、
前記既定のフェーズのセットに基づいて、各受信した外科用ビデオを、ビデオセグメントのセットにセグメント化するように構成されたビデオセグメント化モジュールと、
各受信した外科用ビデオの所与の既定のフェーズの外科用ビデオの各セグメントについて、前記ビデオセグメントを、前記所与の既定のフェーズの対応する機械学習記述子のセットで注釈付けするように構成されたビデオ注釈付けモジュールと、
前記外科処置の注釈付きの前記外科用ビデオを、検索可能なデータベースのセットに記憶するように構成されたデータベース生成モジュールと、を備える、システム。
【請求項10】
前記ビデオセグメント化モジュールが、前記既定のフェーズのセット内の２つの連続するフェーズを分離するフェーズ境界を検出することによって、前記外科用ビデオを前記ビデオセグメントのセットにセグメント化するように構成されている、請求項９に記載のシステム。
【請求項11】
前記ビデオセグメント化モジュールが、所与のフェーズの開始の指標として、外科用ツール又は事象のセット内の所与の事象の初期出現を検出することによって、前記フェーズ境界を検出するように更に構成されている、請求項１０に記載のシステム。
【請求項12】
前記ビデオ注釈付けモジュールが、前記対応する機械学習記述子のセットのうちの１つ以上に一致する前記ビデオセグメントのビデオ画像内のオブジェクトを、一致した前記機械学習記述子でタグ付けすることによって、前記ビデオセグメントを注釈付けするように構成されている、請求項９に記載のシステム。
【請求項13】
前記データベース生成モジュールが、前記既定のフェーズのセット内の同じフェーズに属する注釈付きビデオセグメントのセットに対して別個のデータベースを作成するように構成されている、請求項９に記載のシステム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、概して、外科用ビデオ分析ツールを構築することに関し、より具体的には、外科処置の外科症例ビデオをキーフェーズにセグメント化し、手術の成果及び外科医のスキルの改善を促進するために、ビデオセグメントから機械学習指向の外科用データをマイニングするためのシステム、装置及び技術に関する。
【背景技術】
【0002】
手術などの医療処置を記録したビデオには、医学教育及び訓練、手術の質及び外科医のスキルの評価及び分析、手術の成果及び外科医のスキルの向上のために、非常に貴重で豊富な情報が含まれる。外科処置のビデオ画像を表示及び取り込むことに関与する、多くの外科処置が存在する。例えば、内視鏡検査、腹腔鏡検査、及び関節鏡検査などのほとんど全ての低侵襲性処置（ｍｉｎｉｍａｌｌｙ ｉｎｖａｓｉｖｅ ｐｒｏｃｅｄｕｒｅ、ＭＩＳ）は、外科医を支援するためにビデオカメラ及びビデオ画像を使用することを伴う。更に、最先端のロボット支援手術では、術中のビデオ画像を取り込み、外科医のためにモニタに表示する必要がある。したがって、前述の外科処置の多くについて、例えば、胃スリーブ又は、胆嚢摘出術の多くに関して、外科用ビデオの大規模な貯蔵物が既に存在しており、異なる病院から多くの異なる外科医によって実施された多数の外科症例の結果として作成され続けている。
【0003】
特定の外科処置の膨大な（及び絶えず増加する）多数の外科用ビデオが存在するという単純な事実は、所与の処置の外科用ビデオを処理及び分析することを機械学習の潜在的な問題にしている。しかしながら、外科医の外科処置及びスキルの成果を評価及び改善する目的で、これらの外科用ビデオをマイニングして、機械学習モデルを構築するための既存の取り組みは知られていない。
【発明の概要】
【0004】
本特許開示では、所与の外科処置をキーフェーズに分解し、フェーズの各々における臨床ニーズを識別し、これらの臨床ニーズを機械学習ターゲットに変換し、最終的にこれらの機械学習ターゲットを顧客のための様々な製品機能に統合するための外科用ビデオ分析システムの様々な実施例が開示される。様々な実施形態では、開示される外科用ビデオ分析システムは、所与の外科処置の各フェーズから様々な機械学習ターゲットを識別して、外科処置の各フェーズに関連付けられた識別された臨床ニーズを満たすことができる。開示される外科用ビデオ分析システムはまた、これらの機械学習ターゲットの中で連想関係を確立して、機械学習のための分類子を識別及び出力することができる。
【0005】
様々な実施形態では、開示される外科用ビデオ分析システムは、更に、確立されたフェーズを使用して、所与の外科処置の外科用ビデオをより短いビデオセグメントに分解し、識別された機械学習ターゲットを使用して、これらのビデオセグメントを、外科フェーズ、外科サブフェーズ又はタスク、外科用ツール、解剖学的構造、合併症、並びにヒント及びコツを含む、異なる記述子のカテゴリにラベル付け／タグ付けすることができる。更に、各フェーズについて、開示される外科用ビデオ分析システムは、異なる記述子のカテゴリに基づいてメトリックのセットを作成することによって、所与のフェーズの異なる記述子のカテゴリの中で連想関係を確立することができ、メトリックのセットは、外科医のスキル及び手術の質を評価するために使用することができる。所与の外科処置の異なる記述子のカテゴリで外科用ビデオをセグメント化及びラベル付け／タグ付けした後、開示されるビデオ分析システムは、ビデオコンテンツ取得のために、これらの記述子の各々に対して独立したデータベースを作成することができる。外科用ビデオを分析及びアーカイブすることに加えて、開示されるビデオ分析システムの一般的な概念を使用して、他の技術領域のビデオからのデータ、特徴、及び事象を分析してマイニングし、マイニングされたデータ、特徴、及び事象の独立したデータベースを構築することができる。
【0006】
一態様では、外科用ロボットを使用して実施される外科処置のロボット外科用ビデオを処理するためのプロセスが開示される。このプロセスは、外科処置に関連付けられた多様な外科用ビデオのセットを受信することによって開始することができる。プロセスは、外科処置の既定のフェーズのセット、及び既定のフェーズのセット内の各既定のフェーズに対して識別された機械学習記述子のセットを更に受信する。次に、受信した各外科用ビデオについて、プロセスは、既定のフェーズのセットに基づいて、外科用ビデオをビデオセグメントのセットにセグメント化する。所与の既定のフェーズの外科用ビデオの各セグメントについて、プロセスは、ビデオセグメントを、所与の既定のフェーズの対応する機械学習記述子のセットで注釈付けする。最後にプロセスは、外科処置の注釈付き外科用ビデオを、検索可能なデータベースのセットに記憶する。
【0007】
いくつかの実施形態では、外科用ビデオのセットは、外科処置を実施及び記録する多様な医師及び病院のグループから収集される。
【0008】
いくつかの実施形態では、プロセスは、既定のフェーズのセット内の２つの連続するフェーズを分離するフェーズ境界を検出することによって、外科用ビデオをビデオセグメントのセットにセグメント化する。
【0009】
いくつかの実施形態では、プロセスは、所与のフェーズの開始の指標として、外科用ツールの初期出現を検出することによって、フェーズ境界を検出する。
【0010】
いくつかの実施形態では、プロセスは、フェーズ境界を検出することによってフェーズ境界を検出し、所与のフェーズの開始の指標として、事象のセット内の所与の事象を検出することを含む。事象のセットは、焼灼事象と、出血事象と、癒着事象と、を含むことができる。
【0011】
いくつかの実施形態では、プロセスは、検出された事象の重篤度値を決定する工程と、決定された重篤度値に基づいて手術を実施する外科医のスキルを評価する工程と、を更に含む。
【0012】
いくつかの実施形態では、プロセスは、対応する機械学習記述子のセットのうちの１つ以上に一致するビデオセグメントのビデオ画像内のオブジェクトを、一致した機械学習記述子でタグ付けすることによって、ビデオセグメントを対応する機械学習記述子のセットで注釈付けする。
【0013】
いくつかの実施形態では、プロセスは、既定のフェーズのセット内の同じフェーズに属する注釈付きビデオセグメントのセットに対して別個のデータベースを作成することによって、外科処置の注釈付き外科用ビデオを記憶する。
【0014】
別の態様では、外科用ロボットを使用して実施される外科処置のロボット外科用ビデオを処理するためのシステムが開示される。このシステムは、１つ以上のプロセッサと、１つ以上のプロセッサに結合されたメモリと、外科処置に関連付けられた多様な外科用ビデオのセットを受信するための受信モジュールと、外科処置の既定のフェーズのセットと、既定のフェーズのセット内の各既定のフェーズに対して識別された機械学習記述子のセットと、既定のフェーズのセットに基づいて、各受信した外科用ビデオを、ビデオセグメントのセットにセグメント化するためのビデオセグメント化モジュールと、所与の既定のフェーズの外科用ビデオの各セグメントを、所与の既定のフェーズの対応する機械学習記述子のセットで注釈付けするためのビデオ注釈付けモジュールと、外科処置の注釈付き外科用ビデオを検索可能なデータベースのセットに記憶するためのデータベース生成モジュールと、を含む。
【0015】
更に別の態様では、所与のタイプの外科処置のロボット外科用ビデオ内の機械学習ターゲットを識別するためのプロセスが開示される。このプロセスは、外科処置のフェーズのセットを定義することができ、フェーズのセット内の各フェーズが、外科処置の特定の術中ステージを表す。次に、フェーズのセット内の各フェーズについて、プロセスは、臨床ニーズのセットを識別し、その後、臨床ニーズのセットを所与のフェーズの機械学習ターゲットのセットにマッピングする。次いで、プロセスは、機械学習ターゲットのセットを集約して、外科処置のための機械学習ターゲットの集合セットを生成する。
【0016】
いくつかの実施形態では、プロセスは、フェーズのセット内の所与のフェーズ内のサブフェーズのセットを更に識別し、各サブフェーズが、外科処置の所与のフェーズを完了するために必要とされるタスクのセットの中の単一のタスクに対応する。
【0017】
いくつかの実施形態では、フェーズの臨床ニーズのセットは、潜在的な又は進行中の合併症を警告することと、低侵襲性（ＭＩＳ）処置から開放処置へと、いつ転換するかを推奨することと、所与のフェーズに適用可能な外科工程又はチェックリストのリマインダを提供することと、重要な及び／又は敏感な解剖学的構造を強調表示することと、ランドマークの切除平面及び／又はクリティカルビューを表示することと、類似の外科工程に基づいてリスクを強調表示することと、術中の報告又は文書化を支援することと、のうちの１つ以上を含む。
【0018】
いくつかの実施形態では、プロセスは、機械学習ターゲットの多数のカテゴリを受信することによって、臨床ニーズのセットを所与のフェーズの機械学習ターゲットのセットにマッピングし、機械学習ターゲットの各カテゴリは、類似の性質の外科項目のセットを含み、機械学習ターゲットの各カテゴリに関して、臨床ニーズのセットを満たす機械学習ターゲットのカテゴリ内の機械学習ターゲットのサブセットのセットを識別する。
【0019】
いくつかの実施形態では、機械学習ターゲットの多数のカテゴリは、外科用ツールのセットと、解剖学的構造のセットと、外科タスク／事象のセットと、合併症のセットと、ヒント及びコツのセットと、のうちの１つ以上を含む。
【0020】
いくつかの実施形態では、プロセスはまた、外科処置の所与のフェーズの機械学習ターゲットのセットの中で、連想関係のセットを確立する工程も含む。
【図面の簡単な説明】
【0021】
本開示の構造及び操作は、以下の詳細な説明及び添付図面の概説から理解されるであろうが、ここでは、同様の参照数字は同様の部分を参照する。
【0022】
【図1】本明細書に記載されるいくつかの実施形態による、所与の外科処置の外科用ビデオから外科用データをマイニングするための準備における機械学習ターゲットを確立するための例示的なプロセスを示すフローチャートを提示する。
【0023】
【図2】本明細書に記載されるいくつかの実施形態による、胃スリーブ処置のための機械学習ターゲットのセットをセグメント化及び識別するための例示的なプロセスを示す図を示す。
【0024】
【図3】本明細書に記載されるいくつかの実施形態による、外科処置の既定のフェーズのセット及び識別された機械学習ターゲットに基づいて、外科処置の外科用ビデオをセグメント化及びマイニングするための例示的なプロセスを示すフローチャートを提示する。
【0025】
【図4】本明細書に記載されるいくつかの実施形態による、外科処置の機械学習記述子のセットと例示的な臨床フィードバックシステムとの間の例示的な関係を示す。
【0026】
【図5】本明細書に記載されているいくつかの実施形態による、外科用ビデオを自動でタグ付けするための訓練機械学習分類子のための例示的な機械学習システムのブロック図を示す。
【0027】
【図6】対象技術のいくつかの実施形態を実装することができるコンピュータシステムを概念的に示す。
【発明を実施するための形態】
【0028】
以下に記載される詳細な説明は、対象技術の様々な構成の説明として意図され、対象技術が実践され得る唯一の構成を表すことを意図するものではない。添付の図面は、本明細書に組み込まれ、詳細な説明の一部を構成する。詳細な説明は、対象技術の完全な理解を提供する目的のための具体的な詳細を含む。しかしながら、対象技術は、本明細書に記載される具体的な詳細に限定されず、これらの具体的な詳細を伴わずに実践することができる。いくつかの例では、構造及び構成要素は、対象技術の概念を不明瞭にすることを回避するために、ブロック図の形態で示される。
【0029】
手術などの医療処置を記録したビデオには、医学教育及び訓練、手術の質及び外科医のスキルの評価及び分析、手術の成果及び外科医のスキルの向上のために、非常に貴重で豊富な情報が含まれる。外科処置のビデオ画像を表示及び取り込むことに関与する、多くの外科処置が存在する。例えば、内視鏡検査、腹腔鏡検査、及び関節鏡検査などのほとんど全ての低侵襲性処置（ＭＩＳ）は、外科医を支援するためにビデオカメラ及びビデオ画像を使用することを伴う。更に、最先端のロボット支援手術では、術中のビデオ画像を取り込み、外科医のためにモニタに表示する必要がある。したがって、前述の外科処置の多くについて、例えば、胃スリーブ又は胆嚢既出術の多くに関して、外科用ビデオの大規模な貯蔵物が既に存在しており、異なる病院から多くの異なる外科医によって実施された多数の外科症例の結果として作成され続けている。特定の外科処置の膨大な（及び絶えず増加する）多数の外科用ビデオが存在するという単純な事実は、所与の処置の外科用ビデオを処理及び分析することを機械学習の潜在的な問題にしている。しかしながら、これらの外科用ビデオをマイニングして機械学習ターゲットを識別し、外科処置の成果と外科医のスキルを評価及び改善する目的で機械学習モデルを構築するための既存の取り組みは知られていない。
【0030】
本特許開示の目的の１つは、任意の所与の外科処置の外科症例ビデオ（「外科用ビデオ」、「外科処置ビデオ」、又は「処置ビデオ」とも呼ばれる）を、管理可能な機械学習ターゲットのセットに分解し、その後、これらの機械学習ターゲットの中で連想関係を確立して機械学習分類子を識別するための普遍的な技術を提供することである。この目的を達成するために、提案された外科用ビデオ分析システムは、外科用ビデオを既定のフェーズに分解し、フェーズの各々における臨床ニーズを識別し、これらの臨床要求を機械学習ターゲットのセットに変換するように設計される。より具体的には、機械学習ターゲットは、外科フェーズ、外科サブフェーズ又はタスク、外科用ツール、解剖学的構造、合併症、並びにヒント及びコツを含むがこれらに限定されない、異なるカテゴリの記述子に分割することができる。開示されたシステム及び技術は、概して、胃バイパス、スリーブ胃切除術、及び胆嚢摘出術などのいくつかの特定の外科処置の助けを借りて記載されているが、本開示は、上記の処置に限定されることを意図するものではない。概して、開示されるシステム及び技術は、手術プロセスを記録することができる任意の外科処置に適用可能である。
【0031】
本特許開示では、所与の外科処置をキーフェーズに分解し、フェーズの各々における臨床ニーズを識別し、これらの臨床ニーズを機械学習ターゲットに変換し、最終的にこれらの機械学習ターゲットを顧客のための様々な製品機能に統合するための外科用ビデオ分析システムの様々な実施例が開示される。様々な実施形態では、開示される外科用ビデオ分析システムは、所与の外科処置の各フェーズから様々な機械学習ターゲットを識別して、外科処置の各フェーズに関連付けられた識別された臨床ニーズを満たすことができる。開示される外科用ビデオ分析システムはまた、これらの機械学習ターゲットの中で連想関係を確立して、機械学習のための分類子を識別及び出力することができる。
【0032】
様々な実施形態では、開示される外科用ビデオ分析システムは、更に、確立されたフェーズを使用して、所与の外科処置の外科用ビデオをより短いビデオセグメントに分解し、識別された機械学習ターゲットを使用して、これらのビデオセグメントを、外科フェーズ、外科サブフェーズ又はタスク、外科用ツール、解剖学的構造、合併症、並びにヒント及びコツを含む、異なる記述子のカテゴリにラベル付け／タグ付けすることができる。更に、各フェーズについて、開示される外科用ビデオ分析システムは、異なる記述子のカテゴリに基づいてメトリックのセットを作成することによって、所与のフェーズの異なる記述子のカテゴリの中で連想関係を確立することができ、メトリックのセットは、外科医のスキル及び手術の質を評価するために使用することができる。所与の外科処置の異なる記述子のカテゴリで外科用ビデオをセグメント化及びラベル付け／タグ付けした後、開示されるビデオ分析システムは、ビデオコンテンツ取得のために、これらの記述子の各々に対して独立したデータベースを作成することができる。外科用ビデオを分析及びアーカイブすることに加えて、開示されるビデオ分析システムの一般的な概念を使用して、他の技術領域のビデオからのデータ、特徴、及び事象を分析してマイニングし、マイニングされたデータ、特徴、及び事象の独立したデータベースを構築することができる。
【0033】
図１は、本明細書に記載されるいくつかの実施形態による、所与の外科処置の外科用ビデオから外科用データをマイニングするための準備における機械学習ターゲットを確立するための例示的なプロセス１００を示すフローチャートを提示する。１つ以上の実施形態では、図１の工程のうちの１つ以上は、省略され、繰り返され、及び／又は異なる順序で実施されてもよい。したがって、図１に示される工程の特定の配置は、技術の範囲を限定するものとして解釈されるべきではない。
【0034】
プロセス１００は、最初に、所与の外科処置の多数の臨床ニーズを識別する（工程１０２）。いくつかの実施形態では、臨床ニーズの１つは、外科処置の外科用ビデオをフェーズのセットにセグメント化することを含む。いくつかの実施形態では、外科用ビデオをフェーズのセットにセグメント化する臨床ニーズを満たすために、プロセスは、最初に外科処置のフェーズのセットを定義する。いくつかの実施形態では、既定のフェーズのセット内の各フェーズは、外科処置全体において固有かつ区別可能な目的を果たす外科処置の特定のステージを表す。いくつかの実施形態では、本明細書に記載される所与の外科用ビデオは、外科処置の術中期間について具体的に記録される。既定のフェーズのセットは、所与の外科処置内のキーフェーズを識別する、外科情報管理システム（ｉｎｆｏｒｍａｔｉｏｎ ｍａｎａｇｅｍｅｎｔ ｓｙｓｔｅｍ、ＩＭＳ）から取得可能な、十分に認識された及び／又は標準化された操作手順に基づいて、最初に確立することができる。更に後述されるように、既定のフェーズのセットを使用して、かなり長いビデオであり得る術中の外科用ビデオを、より短いビデオセグメントのセットに区分することができ、各ビデオセグメントは、外科処置の特定のステージに対応し、外科処置の他のステージに対応する他のビデオセグメントと区別可能である。
【0035】
所与の外科処置を設定された既定のフェーズにセグメント化することにより、所与のフェーズに関与する機能及び操作の正確な理解を備えながら、所与の外科処置を一度に１つのフェーズ／ステージで分析することが可能になることに留意されたい。いくつかの実施形態では、所与の既定のフェーズは、サブフェーズのセットに更に分解されてもよく、各サブフェーズは、所与の既定のフェーズ内で実施されるタスクのセットの中の単一のタスクに対応する。このような実施形態では、外科用ビデオのフェーズセグメントを、所与のフェーズに関連付けられた個々のタスクに対応する更なるより小さいセグメントに更に分割することが可能である。
【0036】
胃スリーブ外科処置（以下、「スリーブ胃切除術」、「胃スリーブ処置」、又は「スリーブ処置」とも呼ばれる）を例として使用すると、処置の例示的な内訳は、以下のキーフェーズを含むことができる：（１）幽門の識別、（２）より大きな曲率授動術、（３）胃底の授動術、（４）後胃切除、（５）消息子の位置決め、（６）スリーブパウチ作成、（７）漏出試験、及び（８）胃残留物の抽出。上述されたように、上記に列挙されたフェーズのうちのいくつかはまた、多数のタスクも含むことができ、多数のタスクを含む所与のフェーズは、典型的には、多数のタスクを完了するために規則的な一連の工程で実施される。例えば、胃スリーブ処置のより大きな曲率授動術フェーズは、以下のタスクに対応する多数のサブフェーズに更に分解することができる：（１）より小さい嚢への進入、（２）幽門洞の授動術、及び（３）胃の授動術。別の例として、スリーブ処置の胃底の授動術フェーズは、以下のタスクに対応する多数のサブフェーズに更に分解することができる：（１）胃底の授動術、及び（２）胃血管の分裂。更に別の例として、後胃切除フェーズは、以下のタスクに対応する多数のサブフェーズに更に分解することができる：（１）胃噴門の授動術、及び（２）後胃切除。
【0037】
数学的には、所与の外科処置Ｐと既定のフェーズのセットＭとの間の関係は、Ｐ＝｛Ｐ１、Ｐ２、Ｐ３、．．．、ＰＭ｝として表すことができ、各Ｐｉ（ｉ＝１、．．．、Ｍ）は所与の既定のフェーズである。
【0038】
外科用ビデオをセグメント化するためのフェーズのセットを定義した後、プロセス１００は、次いで、既定のフェーズの各々に対して臨床ニーズのセットを識別する。典型的には、所与のフェーズの臨床ニーズのセットは、外科処置の所与のフェーズ内でタスクを適切に実施するために必要とされる事柄のチェックリストを指定する。上述された胃スリーブ処置を例として使用すると、処置の後胃切除フェーズの間、及び胃切断タスクの直後に、切断ツール（例えば、電気焼灼ツール）は非常に高温のままであり、付近の臓器への偶発的な接触は、重度の臓器損傷を引き起こす可能性がある。したがって、後胃切除フェーズでは、臨床ニーズのセットは、「熱いツールからの偶発的な接触を回避すること」を含むことができる。別の例として胆嚢摘出処置（すなわち、胆嚢除去）を別の例として使用すると、既定のフェーズのセットは、胆嚢を分離するための「嚢胞管クリッピングフェーズ」を含むことができる。このフェーズでは、操作は、嚢胞管の位置を正確に識別することなく、嚢胞管付近にある共通の胆管を誤って切断する、燃焼させる、又は損傷するリスクを冒す。したがって、嚢胞管をクリッピングするフェーズ内の臨床ニーズのセットは、「嚢胞管の正しい位置を識別すること」を含むことができる。
【0039】
フェーズのセット内の各既定のフェーズに対して、既定のフェーズ内でタスクを適切に実施するために、及び手術の成果を改善するために必要とされる事柄のチェックリストを指定する、固有の臨床ニーズのセットを生成できることが理解されよう。したがって、外科処置の所与のフェーズに対する臨床ニーズは、所与の処置における経験及び知識の必要なレベルを有する専門家又はキーオピニオンリーダ（ｋｅｙ ｏｐｉｎｉｏｎ ｌｅａｄｅｒ、ＫＯＬ）によって、また場合によっては関連する知識データベースからのアシスタントを使用して指定することができる。所与の外科処置の臨床ニーズを生成する場合、ＫＯＬは、以下を含むがこれらに限定されない、各フェーズ及び各フェーズ内の各タスクのための要因の包括的なリストを考慮することができる：（１）潜在的又は進行中の合併症（例えば、出血、臓器傷害、管路傷害、漏出リスク）の警告、（２）出血、癒着、又は他の合併症の重篤度に基づいて、いつＭＩＳ処置から開放処置へ転換するかの推奨、（３）客観的測定による支援、（４）所与のフェーズ／タスクに適用可能な外科工程又はチェックリストのリマインド、（５）重要な解剖学的構造の強調表示、（６）切除平面又はクリティカルビューなどの処置のためのランドマークの表示、（７）例えば、尿管、神経、及び血管などの敏感な解剖学的構造、（８）類似の臨床的シナリオに基づくリスクの強調表示、（９）外科医と外科医の支援との間の協調を可能にするツールの提供、及び（１０）術中の報告又は文書化の支援。
【0040】
再び図１を参照すると、既定のフェーズのセットの各々について臨床ニーズが識別された後、プロセスは、機械学習ターゲット（ｍａｃｈｉｎｅ ｌｅａｒｎｉｎｇ ｔａｒｇｅｔ、ＭＬＴ）の多数のカテゴリを定義する（工程１０４）。ＭＬＴの例示的な１つの構成は、以下のカテゴリを含むことができる：（１）ツール、（２）解剖学的構造、（３）外科タスク／事象、（４）合併症、（５）メトリック、及び（６）ヒント及びコツ。いくつかの実施形態では、外科用ビデオをセグメント化する臨床ニーズに関連付けられた既定のフェーズのセットもまた、機械学習ターゲット（ＭＬＴ）、すなわち、フェーズＭＬＴのカテゴリでもある。なお、ＭＬＴカテゴリの他の実施形態は、上記の例よりもカテゴリの数が少なくても多くてもよいことに留意されたい。
【0041】
次に、プロセス１００は、各フェーズに対して識別された臨床ニーズを、そのフェーズのＭＬＴの多数のカテゴリの中のＭＬＴのセットにマッピングする（工程１０６）。上述された胃スリーブ処置例を使用すると、後胃切除フェーズで識別された「熱いツールからの偶発的な接触を回避すること」という臨床ニーズは、焼灼ツールの適切な位置決めを必要とする。したがって、この臨床ニーズは、ツールカテゴリ内の特定の外科用ツールにマッピングすることができる。上述された胆嚢摘出処置の実施例を使用すると、「嚢胞管の正しい位置を識別すること」という臨床ニーズは、解剖学的構造カテゴリ内の胆嚢の解剖学的構造に変換することができる。いくつかの実施形態では、工程１０６はまた、外科用ビデオをフェーズＭＬＴのセットにセグメント化する臨床ニーズに関連付けられた既定のフェーズのセットをマッピングすることも含む。
【0042】
概して、目的／懸念／警告のセットとして指定される臨床ニーズとは異なり、ＭＬＴは、典型的には、外科用ビデオの所与のフェーズセグメント内で直接観察及び分析され得ることに留意されたい。更に、所与のフェーズに対するＭＬＴのセットを使用して、手術のフェーズの質を評価（ｅｖａｌｕａｔｅ）／評価（ａｓｓｅｓｓ）して、フェーズのための関連する臨床ニーズが満たされたかどうかを決定することができる。いくつかの実施形態では、上述されたＭＬＴの各カテゴリは、サブカテゴリを更に含み得る。例えば、ツールカテゴリは、以下のサブカテゴリ、すなわち（１）ツール検出、（２）ツール識別、及び（３）ツール追跡を含むことができる。ツール検出ＭＬＴは、ビデオ画像内の外科用ツールを検出することに関するものであり、ツール識別ＭＬＴは、特定の手術ツールとして検出された外科用ツールを識別することに関し、ツール追跡ＭＬＴは、識別されたツールの位置を変更するための一連のビデオ画像を通じて識別されたツールを追跡することに関する。したがって、上述された「熱いツールからの偶発的な接触を回避すること」という臨床ニーズはまた、ツール追跡ＭＬＴにマッピングすることができる。
【0043】
工程１０６の後、所与の外科処置がフェーズのセットに分解され、各フェーズは、ＭＬＴのセットによって指定される。胃スリーブ処置を例として使用すると、この処置にプロセス１００を適用すると、事前決定されたフェーズの各々について多数のＭＬＴのカテゴリを含む出力が生成される。例えば、スリーブパウチ作成フェーズは、以下の識別されたＭＬＴを含む解剖学的構造カテゴリを含むことができる：幽門、より大きな曲率、より小さな曲率、角切痕、及び幽門洞。より大きな曲率の授動術フェーズは、以下の識別されたＭＬＴを含む合併症カテゴリ、すなわち、出血、ステープラ詰まり、臓器損傷、血管損傷、癒着、胃血管の分裂出血、胃管にわたるステープル留め、及び器具故障を含むことができ、胃底の授動術フェーズは、以下のＭＬＴ、すなわち、高調波ツール、ＲＦツール、Ｃａｍａｎツール、把持具、ステープル負荷選択を含むステープラ、開創器、測定テープ、及びクリップアプライヤを含むことができる。
【0044】
いくつかの実施形態では、フェーズのセットについてＭＬＴのセットを識別した後、プロセス１００は、外科処置の所与のフェーズに対する様々なＭＬＴの中で連想関係を更に確立する（工程１０８）。これらの連想関係は、同じフェーズの異なるＭＬＴカテゴリからのＭＬＴがどのようにして互いにリンクされ得るかを指定する。例えば、所与のタスクＭＬＴ及び／又は所与のフェーズの所与のツールＭＬＴは、多くの場合、そのフェーズで識別された特定の合併症ＭＬＴにリンクされ得る。別の例として、所与のフェーズのメトリックＭＬＴのセット内の所与のメトリックＭＬＴは、多くの場合、そのフェーズに対して識別されたツール／解剖学的構造／タスクＭＬＴのうちの少なくとも１つにリンクされる。いくつかの実施形態では、機械学習モデル訓練操作中に、所与のフェーズに関する様々なＭＬＴの中のこれらの連想関係を使用して、異なる出力クラス及び下位サブクラスを説明することができる。
【0045】
図２は、本明細書に記載されるいくつかの実施形態による、胃スリーブ処置のための機械学習ターゲットのセットをセグメント化及び識別するための例示的なプロセスを示す図を示す。図２に見られるように、胃スリーブ処置２００は、８つのフェーズ、すなわち、フェーズ１：幽門の識別、フェーズ２：より大きな曲率の授動術、フェーズ３：胃底の授動術、フェーズ４：後胃切除、フェーズ５：消息子の位置決め、フェーズ６：スリーブパウチ作成、フェーズ７：漏出試験、及びフェーズ８：胃残留物の抽出、に分解される。図２はまた、フェーズ２が６つのカテゴリのＭＬＴ、すなわちツール２０２、解剖学的構造２０４、外科タスク２０６、合併症２０８、メトリック２１０、並びにヒント及びコツ２１２に関連付けられていることも示している。表示画面の制約に起因して、胃スリーブ処置２００の他のフェーズの識別されたＭＬＴは、明示的に示されていない。しかしながら、胃スリーブ処置２００のフェーズ１～６のためのＭＬＴの例示的な構成が以下に列挙されている。
フェーズ１：幽門の識別
■解剖学的構造ＭＬＴ
●幽門
■メトリックＭＬＴ
●幽門が識別されたか？（Ｙ／Ｎ）（ＯＭ）
フェーズ２：より大きな曲率の授動術
■ツールＭＬＴ
●高調波
●ＲＦ
●Ｃａｍａｎ
●把持器
●ステープラ
●開創器
●測定テープ
●クリップアプライヤ
■解剖学的構造ＭＬＴ
●肝臓
●左脚
●網
■外科タスクＭＬＴ
●より小さな嚢への進入
●幽門洞の授動術
●胃の授動術
■合併症ＭＬＴ
●出血
●ステープラ詰まり
●血管損傷
●癒着
●臓器損傷
●胃血管の分裂出血
●胃管にわたるステープル留め
●器具故障
■メトリックＭＬＴ
●脾臓末梢で発生した出血（Ｙ／Ｎ）（ＯＭ）
●幽門が識別されたか？（Ｙ／Ｎ）（ＯＭ）
●クリップアプライヤが使用されたか？（Ｙ／Ｎ）（ＯＭ）（推定）
■ヒント及びコツＭＬＴ
●癒着が多すぎる場合は、→最初にパウチを作成する。
フェーズ３：胃底の授動術
■ツールＭＬＴ
●高調波
●ＲＦ
●Ｃａｍａｎ
●把持器
●ステープラ
●開創器
●測定テープ
●クリップアプライヤ
■解剖学的構造ＭＬＴ
●左脚
■外科タスクＭＬＴ
●胃血管の分裂
■合併症ＭＬＴ
●出血
●ステープラ詰まり
●血管損傷
●癒着
●臓器損傷
●胃血管の分裂出血
●胃管にわたるステープル留め
●器具故障
■メトリックＭＬＴ
●出血（Ｙ／Ｎ）（推定）（ＯＭ）
●クリップアプライヤが使用されたか？（Ｙ／Ｎ）（推定）（ＯＭ）
●左脚は適切に視覚化されたか？（Ｙ／Ｎ）（ＳＭ）
フェーズ４：後胃切除
■外科タスクＭＬＴ
●胃噴門の授動術
■メトリックＭＬＴ
●後胃切除（Ｙ／Ｎ）（ＳＭ）
フェーズ５：消息子の位置決め
■ツールＭＬＴ
●高調波
●ＲＦ
●Ｃａｍａｎ
●把持器
●ステープラ
●開創器
●測定テープ
●クリップアプライヤ
■解剖学的構造ＭＬＴ
●視野内の幽門
●視野内の胃
■合併症ＭＬＴ
●出血
●ステープラ詰まり
●血管損傷
●癒着
●臓器損傷
●胃血管の分裂出血
●胃管にわたるステープル留め
●器具故障
■メトリックＭＬＴ
●消息子直径が測定されたか（Ｙ／Ｎ）（推定値）（ＯＭ）
●出血？（Ｙ／Ｎ）（推定）（ＯＭ）
●クリップアプライヤが使用されたか？（Ｙ／Ｎ）（推定）（ＯＭ）
フェーズ６：スリーブパウチ作成
■ツールＭＬＴ
●高調波
●ＲＦ
●Ｃａｍａｎ
●把持器
●ステープラ
●開創器
●測定テープ
●クリップアプライヤ
■解剖学的構造ＭＬＴ
●幽門
●より大きな曲率
●より小さな曲率
●幽門洞
■合併症ＭＬＴ
●出血
●ステープラ詰まり
●血管損傷
●癒着
●臓器損傷
●胃血管の分裂出血
●胃管にわたるステープル留め
●器具故障
■メトリックＭＬＴ
●シームガードが使用されたか？（Ｙ／Ｎ）（ＯＭ）
●組織／フィブリンシーラントが使用されたか？（Ｙ／Ｎ）（ＯＭ）
●ステープルラインを縫合したか？（Ｙ／Ｎ）（ＯＭ）
●ステープル発射の数（ＯＭ）
●幽門からの距離（ＯＭ）
●消息子のサイズ（ＯＭ）
●角切痕までの距離（ＯＭ）
●ＧＥ接合部までの距離（ＯＭ）
●最後のステープルライン－ステープラがはっきりと見え得る（ＯＭ）
●ステープルライン－螺旋（Ｙ／Ｎ）（ＯＭ）
●ステープルライン－出血（Ｙ／Ｎ）（ＯＭ）
●ステープルライン－奇形（Ｙ／Ｎ）（ＯＭ）
フェーズ１：幽門の識別
■解剖学的構造ＭＬＴ
●幽門
■メトリックＭＬＴ
●幽門が識別されたか？（Ｙ／Ｎ）（ＯＭ）
フェーズ２：より大きな曲率の授動術
■ツールＭＬＴ
●高調波
●ＲＦ
●Ｃａｍａｎ
●把持器
●ステープラ
●開創器
●測定テープ
●クリップアプライヤ
■解剖学的構造ＭＬＴ
●肝臓
●左脚
●網
■外科タスクＭＬＴ
●より小さな嚢への進入
●幽門洞の授動術
●胃の授動術
■合併症ＭＬＴ
●出血
●ステープラ詰まり
●血管損傷
●癒着
●臓器損傷
●胃血管の分裂出血
●胃管にわたるステープル留め
●器具故障
■メトリックＭＬＴ
●脾臓末梢で発生した出血（Ｙ／Ｎ）（ＯＭ）
●幽門が識別されたか？（Ｙ／Ｎ）（ＯＭ）
●クリップアプライヤが使用されたか？（Ｙ／Ｎ）（ＯＭ）（推定）
■ヒント及びコツＭＬＴ
●癒着が多すぎる場合は、→最初にパウチを作成する。
フェーズ３：胃底の授動術
■ツールＭＬＴ
●高調波
●ＲＦ
●Ｃａｍａｎ
●把持器
●ステープラ
●開創器
●測定テープ
●クリップアプライヤ
■解剖学的構造ＭＬＴ
●左脚
■外科タスクＭＬＴ
●胃血管の分裂
■合併症ＭＬＴ
●出血
●ステープラ詰まり
●血管損傷
●癒着
●臓器損傷
●胃血管の分裂出血
●胃管にわたるステープル留め
●器具故障
■メトリックＭＬＴ
●出血（Ｙ／Ｎ）（推定）（ＯＭ）
●クリップアプライヤが使用されたか？（Ｙ／Ｎ）（推定）（ＯＭ）
●左脚は適切に視覚化されたか？（Ｙ／Ｎ）（ＳＭ）
フェーズ４：後胃切除
■外科タスクＭＬＴ
●胃噴門の授動術
■メトリックＭＬＴ
●後胃切除（Ｙ／Ｎ）（ＳＭ）
フェーズ５：消息子の位置決め
■ツールＭＬＴ
●高調波
●ＲＦ
●Ｃａｍａｎ
●把持器
●ステープラ
●開創器
●測定テープ
●クリップアプライヤ
■解剖学的構造ＭＬＴ
●視野内の幽門
●視野内の胃
■合併症ＭＬＴ
●出血
●ステープラ詰まり
●血管損傷
●癒着
●臓器損傷
●胃血管の分裂出血
●胃管にわたるステープル留め
●器具故障
■メトリックＭＬＴ
●消息子直径が測定されたか（Ｙ／Ｎ）（推定値）（ＯＭ）
●出血？（Ｙ／Ｎ）（推定）（ＯＭ）
●クリップアプライヤが使用されたか？（Ｙ／Ｎ）（推定）（ＯＭ）
フェーズ６：スリーブパウチ作成
■ツールＭＬＴ
●高調波
●ＲＦ
●Ｃａｍａｎ
●把持器
●ステープラ
●開創器
●測定テープ
●クリップアプライヤ
■解剖学的構造ＭＬＴ
●幽門
●より大きな曲率
●より小さな曲率
●幽門洞
■合併症ＭＬＴ
●出血
●ステープラ詰まり
●血管損傷
●癒着
●臓器損傷
●胃血管の分裂出血
●胃管にわたるステープル留め
●器具故障
■メトリックＭＬＴ
●シームガードが使用されたか？（Ｙ／Ｎ）（ＯＭ）
●組織／フィブリンシーラントが使用されたか？（Ｙ／Ｎ）（ＯＭ）
●ステープルラインを縫合したか？（Ｙ／Ｎ）（ＯＭ）
●ステープル発射の数（ＯＭ）
●幽門からの距離（ＯＭ）
●消息子のサイズ（ＯＭ）
●角切痕までの距離（ＯＭ）
●ＧＥ接合部までの距離（ＯＭ）
●最後のステープルライン－ステープラがはっきりと見え得る（ＯＭ）
●ステープルライン－螺旋（Ｙ／Ｎ）（ＯＭ）
●ステープルライン－出血（Ｙ／Ｎ）（ＯＭ）
●ステープルライン－奇形（Ｙ／Ｎ）（ＯＭ）
【0046】
ＭＬＴのメトリックカテゴリについては、ＭＬＴは、客観的メトリック（ｏｂｊｅｃｔｉｖｅ ｍｅｔｒｉｃｓ、ＯＭ）及び主観的メトリック（ｓｕｂｊｅｃｔｉｖｅ ｍｅｔｒｉｃｓ、ＳＭ）に分割され得ることに留意されたい。例えば、フェーズ３（胃底の授動術）では、最初の２つのメトリックＭＬＴはＯＭであり、最後のＭＬＴはＳＭである。また、上記のＭＬＴの例示的なリストでは、フェーズ７～８は、関連するＭＬＴを有しないことにも留意されたい。
【0047】
図３は、本明細書に記載されるいくつかの実施形態による、外科処置の既定のフェーズのセット及び識別された機械学習ターゲットに基づいて、外科処置の外科用ビデオをセグメント化及びマイニングするための例示的なプロセス３００を示すフローチャートを提示する。１つ以上の実施形態では、図３の工程のうちの１つ以上は、省略され、繰り返され、及び／又は異なる順序で実施されてもよい。したがって、図３に示される工程の特定の配置は、技術の範囲を限定するものとして解釈されるべきではない。プロセス３００は、所与の外科処置のために外科用ビデオの多様なセットを収集することによって開始する（工程３０２）。いくつかの実施形態では、外科用ビデオのセットは、外科処置を実施及び記録する多様な医師及び／又は病院及び機関のグループから、場合によっては異なる国で実施された手術から収集される。次いで、プロセス３００は、収集されたビデオをスクラブして、ビデオから保護された医療情報（ｐｒｏｔｅｃｔｅｄ ｈｅａｌｔｈ ｉｎｆｏｒｍａｔｉｏｎ、ＰＨＩ）を除去して、ビデオデータを非識別化する（工程３０４）。いくつかの実施形態では、プロセス３００はまた、収集されたビデオを処理して、ビデオデータを完全に匿名化することができる。
【0048】
プロセス３００はまた、外科処置の既定のフェーズのセットも受信する（工程３０６）。外科処置の既定のフェーズのセットを識別するいくつかの実施形態が、図１に関連して上述されている。次に、既定のフェーズのセットに基づいて、プロセス３００は、収集された外科用ビデオのセット内の各外科用ビデオをビデオセグメントのセットにセグメント化し、各ビデオセグメントは、既定のフェーズのセット内の所与のフェーズに対応している（工程３０８）。いくつかの実施形態では、既定のフェーズのセットの２つの連続するフェーズは、外科用ビデオ内の識別可能な「フェーズ境界」によって分離することができ、これは、外科処置における現在のフェーズの終了及び次のフェーズの開始を示す。例えば、フェーズ境界は、特定の外科用ツールが外科処置中に初めて視界に入る外科用ビデオ内の１つ以上のビデオ画像で構成することができる。したがって、外科用ビデオをセグメント化することは、例えば、特定の外科用ツールの出現を検出することによって、外科用ビデオ内のこれらのフェーズ境界を検出することに関与することができる。
【0049】
時には、所与の外科用ビデオは、ビデオ画像に示されるアクション、事象、ツール、解剖学的構造、及び合併症を説明する音声ナラティブで拡張することができる。音声ナラティブは、外科処置が実施されているとき、例えば教育デモンストレーションとして、リアルタイムでビデオに追加することができ、又は、ビデオが教育目的のためにレビュー又は説明されているときに、後から追加することができる。更に、音声ナラティブは、関連するビデオフレーム内のテキスト／キャプションとして文字起こしすることができる。しかしながら、いくつかの実施形態では、ビデオは、音声ナラティブを伴うことなく、テキスト／キャプションで注釈付けすることができる。いくつかの実施形態では、外科用ビデオ内のこれらのテキスト注釈付け及び／又は音声ナラティブを使用して、フェーズ境界を識別し、外科用ビデオを既定のフェーズにセグメント化することを容易にすることができる。
【0050】
所与の外科処置の外科用ビデオは、典型的には、多数の事象を含む。一般的な事象のいくつかとしては、電気焼灼術中の外科的煙、出血、及び癒着が挙げられる。例えば、視界に入っているフック、単極、双極、又は類似の焼灼ツールを一緒に伴う外科的煙は、外科処置の切除フェーズのための強力な指標であることが多い。したがって、ツール及び解剖学的検出と組み合わせて煙検出を使用して、ビデオが現在表示している外科処置の既定のフェーズのうちのどれかを識別し、それによって外科用ビデオセグメント化操作を容易にすることができる。外科用ビデオ分析のための事象検出を使用する他の適用が以下に提供される。
【0051】
いくつかの実施形態では、外科用ビデオをセグメント化することは、外科処置のために確立されたＭＬＴに基づいて、既定のフェーズの開始を直接識別することを含み得る。より具体的には、既定のフェーズの開始を識別するために使用することができるＭＬＴは、ツール、解剖学的構造、及び上記の組み合わせを含むことができる。例えば、胃スリーブ処置では、ビデオフレーム内に膨らみが現れ始め、ビデオフレーム内で胃を下に移動し始めたときに、消息子の位置決めフェーズ（すなわち、フェーズ５）の開始を容易に識別することができる。このシナリオでは、消息子の位置決めフェーズの位置決めの開始は、ツールＭＬＴに基づいて検出することができる。別の例として、ステープラがビデオフレーム内で検出されたときに、スリーブパウチ作成フェーズ（すなわち、フェーズ６）の開始を容易に識別することができる。このシナリオでは、スリーブパウチ作成フェーズの開始は、ツールＭＬＴに基づいて再び検出される。
【0052】
収集された外科用ビデオの各々を設定された既定のフェーズにセグメント化することにより、処理されたビデオセグメントの内容の正確な理解を備えながら、これらの外科用ビデオを一度に１つのフェーズ／ステージで分析することが可能になることに留意されたい。いくつかの実施形態では、所与の既定のフェーズは、サブフェーズのセットに更に分解されてもよく、各サブフェーズは、所与の既定のフェーズ内で実施されるタスクのセットの中の単一のタスクに対応する。このような実施形態では、外科用ビデオのフェーズセグメントを、所与のフェーズに関連付けられたタスクのセットに対応する更なるより小さいセグメントに更に分割することが可能である。
【0053】
外科用ビデオがセグメント化された後、プロセス３００は次に、ビデオセグメントのセットの各セグメントを、外科処置内の既定のフェーズに対して識別された対応するＭＬＴのセットで注釈付けする（工程３１０）。いくつかの実施形態では、ビデオセグメントを注釈付けすることは、ビデオ注釈付けソフトウェアを使用する人間の注釈付け担当者が、対応するＭＬＴのセットのうちの１つ以上に一致する、ビデオセグメントのビデオ画像内に示されるツール、解剖学的構造、事象、合併症などの画像オブジェクトに手動でラベルを付け又はタグを付けすることを含む。図３に示されるように、収集された外科用ビデオのセット内の各ビデオについて、工程３０８～３１０が繰り返される。
【0054】
いくつかの実施形態では、工程３０８～３１０は、上述された一連の順序で２つの工程の代わりに、組み合わせた注釈付け操作として一緒に実施することができる。これらの実施形態では、外科処置ビデオを既定のフェーズのセットにセグメント化することは、注釈付け操作全体の一部として処理され、既定のフェーズのセットは、フェーズセグメントを識別及び注釈付け／ラベル付けするための機械学習ターゲット／ラベルである。更に、各注釈付け／ラベル付けされたフェーズセグメント内で、特定のツール、解剖学的構造、事象、及び合併症などの、これらの非フェーズＭＬＴを識別及びラベル付けするために、注釈付け操作全体の別の部分を実施することができる。したがって、これらの実施形態では、外科処置ビデオを既定のフェーズのセットにセグメント化することは、注釈付け操作全体の時間的注釈付け部分とみなすことができ、各フェーズセグメント内のツール及び解剖学的構造などの他のＭＬＴを識別及びラベル付けすることは、注釈付け操作全体の空間的注釈付け部分とみなすことができる。
【0055】
所与の外科症例のビデオがラベル付けされた場合、レベル付きビデオを使用して、記録された手術を実施した外科医のスキルを評価することができることに留意されたい。ここでも、Ｐｉを所与の外科処置Ｐの既定のフェーズのセット内の既定のフェーズｉとして示すと、所与の症例のビデオをラベル付けした後、ラベル付きＭＬＴは、以下のように表すことができる：
●Ｔｉ：フェーズＰｉに対応するラベル付きツールのセット、
●Ａｉ：フェーズＰｉに対応するラベル付き解剖学的構造のセット、
●ＳＴｉ：フェーズＰｉに対応するラベル付き外科タスク／事象のセット、
●Ｃｉ：ＳＴｉ、Ｔｉ、及びＰｉに対応するラベル付き和集合のセット、
●ＴＴｉ：フェーズＰｉに対応するラベル付きヒント及びコツのセット、
●Ｍｉ：ＳＴｉ、Ｔｉ、Ｃｉ、及びＰｉに対応する全ての客観的メトリック及び主観的メトリックのセット。
なお、Ｍｉは、フェーズＰｉについてスキルスコアＳｉを生成するために使用され得ることに留意されたい。更に、記録された手術（及び手術を実施した外科医）の全処置のためのスキルスコアＳ全体を、既定のフェーズのセットの全てのフェーズについてＭｉの和集合として評価することができる。
Ｓ＝全てのＰｉに対する和集合｛Ｍｉ｝である。
●Ｔｉ：フェーズＰｉに対応するラベル付きツールのセット、
●Ａｉ：フェーズＰｉに対応するラベル付き解剖学的構造のセット、
●ＳＴｉ：フェーズＰｉに対応するラベル付き外科タスク／事象のセット、
●Ｃｉ：ＳＴｉ、Ｔｉ、及びＰｉに対応するラベル付き和集合のセット、
●ＴＴｉ：フェーズＰｉに対応するラベル付きヒント及びコツのセット、
●Ｍｉ：ＳＴｉ、Ｔｉ、Ｃｉ、及びＰｉに対応する全ての客観的メトリック及び主観的メトリックのセット。
なお、Ｍｉは、フェーズＰｉについてスキルスコアＳｉを生成するために使用され得ることに留意されたい。更に、記録された手術（及び手術を実施した外科医）の全処置のためのスキルスコアＳ全体を、既定のフェーズのセットの全てのフェーズについてＭｉの和集合として評価することができる。
Ｓ＝全てのＰｉに対する和集合｛Ｍｉ｝である。
【0056】
収集されたビデオをラベル付け又はタグ付けした後、プロセス３００は、所与の外科処置の注釈付き外科用ビデオを、コンテンツベースのビデオ検索及び取得のための検索可能なデータベースに記憶する（工程３１２）。いくつかの実施形態では、異なるフェーズに属する注釈付きビデオセグメントを異なるデータベースに分離することによって、既定のフェーズのセットの各フェーズに対して独立したデータベースが作成される。いくつかの実施形態では、異なるＭＬＴに属する注釈付きビデオセグメントを異なるデータベースに分離することによって、所与の外科処置のために識別されたＭＬＴのセット内の各ＭＬＴに対して独立したデータベースが作成される。なお、経時的に、多くの異なる外科処置の大規模な検索可能なデータベースは、セグメント化及びラベル付けされたビデオと同じ方法で構築され得ることに留意されたい。これらのデータベースを使用して、多くの外科処置の中の所望の外科処置のビデオ画像データは、フェーズ／サブフェーズ、解剖学的構造、事象、合併症、ツール、並びにヒント及びコツなどの様々なラベル付き記述子に基づいて照会することができる。
【0057】
いくつかの実施形態では、外科処置の機械学習ターゲットを確立し、識別された機械学習ターゲットに基づいて外科処置の外科用ビデオを処理した後、外科用情報管理システムを外科処置のために構築することができる。いくつかの実施形態では、この情報管理システムは、以下の目的で使用することができる：（１）外科処置の他の外科用ビデオをセグメント化すること、（２）将来の手術のための参照としての外科処置の検索可能なデータベースとして機能すること、並びに（３）外科処置の外科症例ビデオから検出された外科事象及び異常な解剖学的構造を検出及び記憶すること。
【0058】
外科処置の既定のフェーズのセット及び機械学習ターゲットを確立した後、外科的処置は、機械学習記述子のセットに基づいて指定され得ることに留意されたい。いくつかの実施形態では、機械学習記述子のセットは、既定のフェーズのセット及び上述されたＭＬＴの５つのカテゴリ、すなわち、外科タスク、ツール、解剖学的構造、合併症、並びに、ヒント及びコツから構成され、ただし、メトリックＭＬＴを伴わない。これは、メトリックＭＬＴが多くの場合、ビデオ画像内で観察されない場合があるためである。しかしながら、メトリックＭＬＴは、ＭＬＴの他の５つのカテゴリから導出することができる。外科用ビデオがセグメント化及びタグ付けされた後、機械学習記述子のセットに、タグ付き外科用ビデオから抽出された特定の値が割り当てることができることに留意されたい。提案される外科処置分析システムの別の適用は、上述された機械学習記述子のセットに基づいて、臨床フィードバックシステムを構築することである。
【0059】
図４は、本明細書に記載されるいくつかの実施形態による、外科処置の機械学習記述子のセット４０２と例示的な臨床フィードバックシステム４２０との間の例示的な関係を示す。図４に見られるように、機械学習記述子のセット４０２は、フェーズのセット４０４と、サブフェーズ／タスクのセット（ＭＬＴ）４０６と、解剖学的構造のセット（ＭＬＴ）４０８と、合併症の（ＭＬＴ）セット４１０と、ツールのセット（ＭＬＴ）４１２と、ヒント及びコツのセット（ＭＬＴ）４１４と、を含む。臨床フィードバックシステム４２０は、外科フェーズ４０４及びサブフェーズ／タスク４０６の各々の継続時間を取り込むように構成された継続時間取り込みモジュール４２２を含む。臨床フィードバックシステム４２０は、合併症のセット４１０に関連付けられた値に基づいて、外科処置の成果を取り込むように構成された成果取り込みモジュール４２４を含む。臨床フィードバックシステム４２０はまた、合併症のセット４１０、ツールのセット４１２、及び解剖学的構造のセット４０８の値に基づいて生成された外科処置のメトリック値及びスキルスコアを取り込むように構成されたメトリック／スコア取り込みモジュール４２６も含む。臨床フィードバックシステム４２０は、ツールを更に含み、ツールのセット４１２の値に基づいて、外科用ツールが情報を使用することを決定するように構成された、ツール及び消耗品モニタモジュール４２８を更に含む。継続時間取り込みモジュール４２２、成果取り込みモジュール４２４、メトリック／スコア取り込みモジュール４２６、並びにツール及び消耗品モニタモジュール４２８の各々は、ヒント及びコツ（ＭＬＴ）のセット４１４を受信又は取り込むことができることに留意されたい。モジュールのセット４２２～４２８によって取り込み又は受信された値に基づいて、臨床フィードバックシステム４２０は、外科処置のフェーズ４０４及び／又はタスク４０６の各々に対してスコア及び／又は総合評価を生成することができる。
【0060】
上記の考察では、電気メスの煙、出血、及び癒着などの事象検出が、外科症例のビデオセグメント化のためのツールとして使用され得ることを述べた。これらの事象は、外科症例ビデオが取り込まれているときにリアルタイムで検出されるか、又は記録された外科症例ビデオがレビュー及び分析されるときにオフラインで検出されるかのいずれかであることに留意されたい。事象検出がリアルタイムで起こっている場合、外科処置がまだ記録されている場合であっても、ライブビデオの関連セクションをブックマークすることができる。
【0061】
上述されたビデオセグメント化の適用に加えて、外科事象検出はまた、以下の適用も有することができる：（１）外科処置の実際の症例に対するスキル評価、（２）外科処置の実際の症例に対する成果分析。より具体的には、特定の検出された事象を使用して、スキルスコアを増加／調節し、成果分析のために使用することができる。
【0062】
例えば、焼灼ツールが視界に入っているにもかかわらず、長時間煙が検出されない場合、それは何らかの不測の事象のために処置が遅れていることの示唆である可能性がある。煙はあるが、焼灼ツールを見ることができない場合は、ツール先端が画面から外れており、外科医が誤っていくつかの組織を焼いていることの示唆である可能性がある。上記事象の検出により、スキルスコアを下方に調整することができる。更に、焼灼煙の強度は、外科医の慎重度及び／又はスキルレベルの指標であり得る。いくつかの実施形態では、焼灼事象は、任意の所与の外科処置における切除工程のための内容検索用タグとして使用することができる。
【0063】
所与の外科処置の特定のフェーズ中の出血事象の検出は、潜在的な合併症の指標であり得ることに留意されたい。いくつかの実施形態では、このような事象の検出を使用して、処置を実施する外科医に対して、管理技術及び／又はヒント／コツを提供することができる。更に、タイムスタンプ、位置、及び出血事象の量を使用して、スキル評価を行うことができる。出血事象はまた、成果分析のためにも使用され得ることに留意されたい。いくつかの実施形態では、外科処置の特定のフェーズ内の出血事象は、ビデオ内容検索用タグとして、及び教育目的のためのビデオクリップを作成するために使用することができる。
【0064】
癒着事象を使用して、これらの事象が処置のどのフェーズで検出され、どの解剖学的構造と関連しているかに応じて、管理技術のリアルタイム推奨及び／又は開腹手術への転換を誘発することができる。なお、成果分析には、癒着事象を使用することができる。いくつかの実施形態では、癒着事象はまた、ビデオ内容検索のタグとして使用することができる。
【0065】
開示される外科用ビデオ分析システムは、所与の外科処置のために多数の注釈付きビデオ画像を生成することができることに留意されたい。これらの注釈付きビデオデータは、ツール、解剖学的構造、タスク、及び合併症などの正確にラベル付けされた画像オブジェクトを含み、それ自体が教師あり学習問題の訓練データとなる。したがって、これらの注釈付きビデオを使用して、機械学習分類子を訓練して、異なるＭＬＴを自動的に検出及び識別することができる。例えば、機械学習分類子を構築して、胃スリーブ処置の胃底の授動術フェーズに関与する異なるツールを区別及び分類することができる。別の機械学習分類子を構築して、胃スリーブ処置のスリーブパウチ作成フェーズに関与する異なる解剖学的構造を区別及び分類することができる。より高度な機械学習モデルを構築して、胃スリーブ処置のスリーブパウチ作成フェーズに関与する異なるツール及び解剖学的構造を区別及び分類することができる。訓練されたモデルは、その後、自動オブジェクト検出及びタグ付けを実施するために、同じ外科処置のタグ付けされていないビデオセグメントに適用することができる。自動的にタグ付けされたビデオセグメントを、機械学習モデルを改善するための追加の訓練データとして使用することができる。
【0066】
図５は、本明細書に記載されたいくつかの実施形態による、外科用ビデオを自動的にタグ付けするための訓練機械学習分類子のための例示的な機械学習システム５００のブロック図を示す。図５で見られるように、機械学習システム５００は、図示された順序で直列に結合された、ビデオ収集サブシステム５０２と、ビデオ訓練サブシステム５０４と、時間的タグ付けサブシステム５０６と、空間的タグ付けサブシステム５０８と、モデル学習サブシステム５１０と、を含む。
【0067】
図示の実施形態では、ビデオ収集サブシステム５０２は、様々なソース５１２から特定の外科処置の生の外科用ビデオの大規模なセット５１４を収集する。ビデオソースの多様性は、後続のモデル訓練プロセスにとって有益であり得る。いくつかの実施形態では、ビデオソース５１２内の多様性は、生の外科用ビデオ５１４のためのリソースとして、異なる医師の数、異なる病院及び機関の数、並びに場合によっては、異なる国の数によって測定及び制御することができる。いくつかの実施形態では、ビデオクリーニングサブシステム５０４は、生の外科用ビデオ５１４を前処理して、所与の生のビデオ（例えば、非術中部分）の特定の部分を除去し、また所与の生の外科用ビデオからＰＨＩ情報も除去して、クリーニングされた外科用ビデオ５１６を生成するようにも構成される。いくつかの実施形態では、時間的タグ付けサブシステム５０６は、クリーニングされた外科用ビデオ５１６、及び既定の外科フェーズのセットを指定するフェーズ記述子のセットを受信し、フェーズ記述子のセットに基づいてクリーニングされた外科用ビデオ５１６上でフェーズ検出及びビデオセグメント化を実施して、各外科用ビデオをフェーズセグメントのセットに分解するように構成される。時間的タグ付けサブシステム５０６は、完全手動操作、完全自動操作、又は手動及び自動操作の組み合わせとして、クリーニングされた外科用ビデオ５１６上で前述のフェーズ検出及びビデオセグメント化を実施することができることに留意されたい。時間的タグ付けサブシステム５０６は、その後、受信したフェーズ記述子のセットに対応する各クリーニングされた外科用ビデオ５１６のビデオセグメントのセット５１８を出力する。次に、空間的タグ付けサブシステム５０８は、各クリーニングされた外科用ビデオ５１６のビデオセグメントのセット５１８、及び個々のビデオセグメント５１８に対して確立された機械学習記述子のセットを受信するように構成される。空間的タグ付けサブシステム５０８は、各クリーニングされた外科用ビデオ５１６の各ビデオセグメント５１８に対して、対応する確立された機械学習記述子のセットを使用して、例えば、人間の注釈付け担当者の助けを借りて、部分的に自動でタグ付け／ラベル付けを実施し、出力としてタグ付けされたビデオセグメント５２０を生成するように構成される。
【0068】
図５に示されるように、時間的タグ付けサブシステム５０６と空間的タグ付けサブシステム５０８との両方は、それ自体が機械学習システム５００の一部であってもよく、又はそうでなくてもよい外科用ビデオ分析システム５３０から確立された機械学習記述子を受信することができる。外科用ビデオ分析システム５３０のいくつかの実施形態は、図１～図４に関連して上述されている。より具体的には、外科用ビデオ分析システム５３０から、時間的タグ付けサブシステム５０６は、各ビデオセグメント５１８が、フェーズ記述子のセット５３２内の所与のフェーズ記述子に関連付けられた特定の外科フェーズに対応するように、クリーニングされた外科用ビデオ５１６内の異なるフェーズセグメントを識別及びタグ付け／ラベル付けするためのフェーズ記述子のセット５３２を受信する。更に、空間的タグ付けサブシステム５０８は、異なるビデオセグメント５１８内の様々なツール、解剖学的構造、事象、及び合併症を識別及びタグ付け／ラベル付けするためのツール、解剖学的構造、事象、及び合併症などの機械学習記述子のセット５３４を受信し、タグ付きビデオセグメント５２０を生成する。
【0069】
次に、モデル訓練サブシステム５１０は、タグ付きビデオセグメント５２０に基づいて、タグ付きビデオセグメント５２０を入力として受信し、様々な機械学習分類子を訓練するように構成される。モデル訓練サブシステム５１０は、フェーズ記述子５３２に関連付けられた訓練されたフェーズ分類子と、機械学習記述子５３４に関連付けられた訓練された機械学習分類子との両方を含むことができる、訓練された機械学習分類子５２２を出力として生成することに留意されたい。訓練された機械学習分類子５２２は、時間的タグ付けサブシステム５０６と空間的タグ付けサブシステム５０８との両方にフィードバックされる。いくつかの実施形態では、時間的タグ付けサブシステム５０６は、訓練されたフェーズ分類子を使用して、手動又は自動フェーズ検出を支援し、クリーニングされた外科用ビデオ５１６のラベル付けを支援して、ビデオセグメント５１８のための反復的により正確なフェーズ境界を生成することができる。いくつかの実施形態では、空間的タグ付けサブシステム５０８は、訓練された機械学習分類子５２２を使用して、自動オブジェクト（例えば、外科用ツール又は解剖学的構造）検出及びビデオセグメント５１８内のタグ付けを実施することができる。これらの自動的にタグ付けされたオブジェクトは、訓練された機械学習分類子５２２の精度を反復的に改善するために、モデル訓練サブシステム５１０の追加の訓練データとして使用することができる。
【0070】
図６は、対象技術のいくつかの実施形態を実装することができるコンピュータシステムを概念的に示す。コンピュータシステム６００は、１つ以上のプロセッサが内部に埋め込まれたか若しくは結合された、クライアント、サーバ、コンピュータ、スマートフォン、ＰＤＡ、ラップトップ、又はタブレットコンピュータ、あるいいは任意の他の種類のコンピューティング装置であり得る。このようなコンピュータシステムは、様々なタイプのコンピュータ可読媒体と、様々な他のタイプのコンピュータ可読媒体のインターフェースと、を含む。コンピュータシステム６００は、バス６０２と、処理ユニット６１２と、システムメモリ６０４と、読み出し専用メモリ（ｒｅａｄ－ｏｎｌｙ ｍｅｍｏｒｙ、ＲＯＭ）６１０と、永久記憶装置６０８と、入力装置インターフェース６１４と、出力装置インターフェース６０６と、ネットワークインターフェース６１６と、を含む。
【0071】
バス６０２は、コンピュータシステム６００の多数の内部装置を通信可能に接続する、全てのシステムバス、周辺機器バス、及びチップセットバスを総称して表す。例えば、バス６０２は、処理ユニット（複数可）６１２を、ＲＯＭ６１０、システムメモリ６０４、及び永久記憶装置６０８と通信可能に接続する。
【0072】
これらの様々なメモリユニットから、処理ユニット（複数可）６１２は、図１～図５に関連して、機械学習ターゲットを確立することと、異なる外科処置の外科用ビデオをセグメント化及びマイニングすることと、外科用ビデオに自動的にタグ付けするための機械学習分類子を訓練することと、を含む、本特許開示に記載された様々なプロセスを実行するために、実行する命令及び処理するデータを取得する。処理ユニット（複数可）６１２は、マイクロプロセッサ、グラフィック処理ユニット（ｇｒａｐｈｉｃ ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ、ＧＰＵ）、テンソル処理ユニット（ｔｅｎｓｏｒ ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ、ＴＰＵ）、インテリジェントプロセッサユニット（ｉｎｔｅｌｌｉｇｅｎｔ ｐｒｏｃｅｓｓｏｒ ｕｎｉｔ、ＩＰＵ）、デジタル信号プロセッサ（ｄｉｇｉｔａｌ ｓｉｇｎａｌ ｐｒｏｃｅｓｓｏｒ、ＤＳＰ）、フィールドプログラマブルゲートアレイ（ｆｉｅｌｄ－ｐｒｏｇｒａｍｍａｂｌｅ ｇａｔｅ ａｒｒａｙ、ＦＰＧＡ）、及び特定用途向け集積回路（ａｐｐｌｉｃａｔｉｏｎ－ｓｐｅｃｉｆｉｃ ｉｎｔｅｇｒａｔｅｄ ｃｉｒｃｕｉｔ、ＡＳＩＣ）を含むが、これらに限定されない、任意のタイプのプロセッサを含むことができる。処理ユニット（複数可）６１２は、
【0073】
異なる実装形態では、単一のプロセッサ又はマルチコアプロセッサとすることができる。
【0074】
ＲＯＭ６１０は、処理ユニット（複数可）６１２及びコンピュータシステムの他のモジュールによって必要とされる静的データ及び命令を記憶する。一方、永久記憶装置６０８は、読み書き可能なメモリ装置である。この装置は、コンピュータシステム６００がオフである場合であっても、命令及びデータを記憶する不揮発性メモリユニットである。対象開示のいくつかの実装形態は、永久記憶装置６０８として、大記憶装置（磁気ディスク又は光ディスク及びその対応するディスクドライブなど）を使用する。
【0075】
他の実装形態は、永久記憶装置６０８として、取り外し可能な記憶装置（フロッピーディスク、フラッシュドライブ、及びその対応するディスクドライブなど）を使用する。永久記憶装置６０８と同様に、シシステムメモリ６０４は、読み書き可能なメモリ装置である。しかしながら、記憶装置６０８とは異なり、システムメモリ６０４は、揮発性の読み書きメモリ、このようなランダムアクセスメモリである。システムメモリ６０４は、プロセッサが実行時に必要とする命令及びデータのいくつかを記憶する。いくつかの実装形態では、図１～図５に関連して、機械学習ターゲットを確立するプロセスと、異なる外科処置の外科用ビデオをセグメント化及びマイニングするプロセスと、外科用ビデオを自動的にタグ付けするための機械学習分類子を訓練するプロセスと、を含む、本特許開示に記載された様々なプロセスが、システムメモリ６０４、永久記憶装置６０８、及び／又はＲＯＭ６１０に記憶されている。これらの様々なメモリユニットから、処理ユニット（複数可）６１２は、いくつかの実装形態のプロセスを実行するために、実行する命令及び処理するデータを取得する。
【0076】
バス６０２はまた、入力装置インターフェース６１４及び出力装置インターフェース６０６にも接続する。入力装置インターフェース６１４は、ユーザがコンピュータシステムに情報を通信し、コマンドを選択することを可能にする。入力装置インターフェース６１４と共に使用される入力装置としては、例えば、英数字キーボード及びポインティング装置（「カーソル制御装置」とも呼ばれる）が挙げられる。出力装置インターフェース６０６は、例えば、コンピュータシステム６００によって生成された画像の表示を可能にする。出力装置インターフェース６０６と共に使用される出力装置としては、例えば、陰極線管（ｃａｔｈｏｄｅ ｒａｙ ｔｕｂｅ、ＣＲＴ）又は液晶ディスプレイ（ｌｉｑｕｉｄ ｃｒｙｓｔａｌ ｄｉｓｐｌａｙ、ＬＣＤ）などのプリンタ及びディスプレイ装置が挙げられる。いくつかの実装形態は、入力及び出力装置の両方として機能するタッチスクリーンなどの装置を含む。
【0077】
最後に、図６に示されるように、バス６０２はまた、ネットワークインターフェース６１６を通じてコンピュータシステム６００をネットワーク（図示せず）に結合する。このようにして、コンピュータは、コンピュータのネットワーク（ローカルエリアネットワーク（「ｌｏｃａｌ ａｒｅａ ｎｅｔｗｏｒｋ、ＬＡＮ」）、ワイドエリアネットワーク（「ｗｉｄｅ ａｒｅａ ｎｅｔｗｏｒｋ、ＷＡＮ」）、若しくはイントラネット、又はインターネットなどのネットワークのネットワークなどの一部であり得る。コンピュータシステム６００の任意の又は全ての構成要素を、対象開示に関連して使用することができる。
【0078】
本特許開示に開示される実施形態に関連して説明される様々な例示的な論理ブロック、モジュール、回路、及びアルゴリズム工程は、電子ハードウェア、コンピュータソフトウェア、又はこれらの両方の組み合わせとして実装されてもよい。ハードウェア及びソフトウェアのこの互換性を明確に説明するために、様々な例示的な構成要素、ブロック、モジュール、回路、及び工程は、概して、これらの機能に関して上述されている。このような機能がハードウェア又はソフトウェアとして実装されるかどうかは、システム全体に課される特定の適用及び設計上の制約に依存する。当業者は、説明された機能を、各特定の適用に対して様々な方法で実装することができるが、このような実装形態の決定は、本開示の範囲から逸脱を引き起こすものとして解釈されるべきではない。
【0079】
本明細書に開示される態様に関連して説明される様々な例示的な論理、論理ブロック、モジュール、及び回路を実装するために使用されるハードウェアは、汎用プロセッサ、デジタル信号プロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、又は他のプログラマブル論理装置、ディスクリートゲート若しくはトランジスタ論理、ディスクリートハードウェアコンポーネント、あるいは本明細書に記載された機能を実施するように設計されたこれらの任意の組み合わせを使用して実装又は実施することができる。汎用プロセッサはマイクロプロセッサであってもよいが、代替的に、プロセッサは、任意の従来のプロセッサ、コントローラ、マイクロコントローラ、又はステートマシンであってもよい。プロセッサはまた、受信機装置の組み合わせ、例えば、ＤＳＰとマイクロプロセッサとの組み合わせ、複数のマイクロプロセッサ、ＤＳＰコアと組み合わせた１つ以上のマイクロプロセッサ、又は他の任意のこのような構成として実装されてもよい。あるいは、いくつかの工程又は方法は、所与の機能に固有の回路によって実施されてもよい。
【0080】
１つ以上の例示的な態様では、説明される機能は、ハードウェア、ソフトウェア、ファームウェア、又はこれらの任意の組み合わせで実装されてもよい。ソフトウェアで実装される場合、機能は、非一時的コンピュータ可読記憶媒体又は非一時的プロセッサ可読記憶媒体上に、１つ以上の命令又はコードとして記憶されてもよい。本明細書に開示される方法又はアルゴリズムの工程は、非一時的コンピュータ可読媒体又はプロセッサ可読記憶媒体上に存在し得るプロセッサ実行可能命令内に具現化されてもよい。非一時的コンピュータ可読媒体又はプロセッサ可読記憶媒体は、コンピュータ又はプロセッサによってアクセスされ得る任意の記憶媒体であってもよい。例示的であるがこれに限定されない方法で、このような非一時的コンピュータ可読記憶媒体又はプロセッサ読み取り可能記憶媒体は、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ、ＦＬＡＳＨメモリ、ＣＤ－ＲＯＭ、若しくは他の光ディスク記憶装置、磁気ディスク記憶装置、若しくは他の磁気記憶装置、又は命令又はデータ構造の形で所望のプログラムコードを記憶するために使用され、コンピュータによってアクセスされ得る任意の他の媒体を含み得る。ディスク（ｄｉｓｋ）及びディスク（ｄｉｓｃ）は、本明細書で使用するとき、コンパクトディスク（ｃｏｍｐａｃｔ ｄｉｓｃ、ＣＤ）、レーザディスク、光ディスク、デジタル多用途ディスク（ｄｉｇｉｔａｌ ｖｅｒｓａｔｉｌｅ ｄｉｓｃ、ＤＶＤ）、フロッピーディスク、及びブルーレイディスクを含み、ディスクは通常データを磁気的に複製し、一方、ディスクはレーザで光学的にデータを複製する。上記の組み合わせはまた、非一時的コンピュータ可読媒体及びプロセッサ可読媒体の範囲内に含まれる。加えて、方法又はアルゴリズムの操作は、コンピュータプログラム製品に組み込まれ得る、非一時的プロセッサ可読記憶媒体及び／又はコンピュータ可読記憶媒体上のコード及び／又は命令の１つ又は任意の組み合わせ又はセットとして存在してもよい。
【0081】
本特許文献は多くの詳細を含むが、これらは、いかなる開示される技術の範囲又は特許請求され得るものの制限として解釈されるべきではなく、むしろ特定の技術の特定の実施形態に固有であり得る特徴の説明として解釈されるべきである。別個の実施形態の文脈において、本特許文献に記載されている特定の特徴はまた、単一の実施形態において組み合わせて実装することもできる。逆に、単一の実施形態の文脈で説明される様々な特徴はまた、多数の実施形態において別個に、又は任意の好適なサブコンビネーション（組み合わせ）で実装することもできる。更に、特徴は、特定の組み合わせで作用するように上述され、最初はそのように特許請求されていてもよいが、特許請求された組み合わせからの１つ以上の特徴は、場合によってはその組み合わせから抜粋されることができ、特許請求された組み合わせは、サブコンビネーション又はサブコンビネーションのバリエーションに向けられてもよい。
【0082】
同様に、操作が図面に特定の順序で示されているが、望ましい結果を達成するために、このような操作が、示された特定の順序で、若しくは逐次的に実施されること、又は図示された全ての操作が実施されることを要求するものとして理解されるべきではない。更に、本特許文献に記載されている実施形態における様々なシステム構成要素の分離は、全ての実施形態におけるこのような分離を要求するものとして理解されるべきではない。
【0083】
いくつかの実装形態及び実施例のみが記載されており、他の実装形態では、本特許文献に記載及び例示されているものに基づいて、改善及び変形を行うことができる。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
