▶ ケンブリッジ メディカル ロボティックス リミテッドの特許一覧
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-08-21
(45)【発行日】2024-08-29
(54)【発明の名称】自動内視鏡ビデオ拡張
(51)【国際特許分類】
A61B 34/30 20160101AFI20240822BHJP
A61B 1/045 20060101ALI20240822BHJP
【ＦＩ】
A61B34/30
A61B1/045 619
【請求項の数】
15
(21)【出願番号】P 2022148188
(22)【出願日】2022-09-16
(62)【分割の表示】P 2021518573の分割
【原出願日】2019-10-03
(65)【公開番号】P2022184961
(43)【公開日】2022-12-13
【審査請求日】2022-10-11
(31)【優先権主張番号】1816164.6
(32)【優先日】2018-10-03
(33)【優先権主張国・地域又は機関】GB
(73)【特許権者】
【識別番号】516263638
【氏名又は名称】シーエムアール サージカル リミテッド
【氏名又は名称原語表記】ＣＭＲ ＳＵＲＧＩＣＡＬ ＬＩＭＩＴＥＤ
(74)【代理人】
【識別番号】110001966
【氏名又は名称】弁理士法人笠井中根国際特許事務所
(74)【代理人】
【識別番号】100147717
【弁理士】
【氏名又は名称】中根 美枝
(74)【代理人】
【識別番号】100103252
【弁理士】
【氏名又は名称】笠井 美孝
(72)【発明者】
【氏名】ヘアーズ，ルーク デイビッド ロナルド
(72)【発明者】
【氏名】ロバーツ，ポール クリストファー
(72)【発明者】
【氏名】メンジーズ，ルパート
(72)【発明者】
【氏名】スラック，マーク クリフォード
【審査官】槻木澤 昌司
(56)【参考文献】
【文献】特開２０１６－００７４４４（ＪＰ，Ａ）
【文献】特表２０１５－５２９４８９（ＪＰ，Ａ）
【文献】米国特許出願公開第２０１７／０３０４００７（ＵＳ，Ａ１）
【文献】米国特許出願公開第２０１５／０３６６６２８（ＵＳ，Ａ１）
【文献】米国特許出願公開第２０１６／０３２２０７８（ＵＳ，Ａ１）
【文献】国際公開第２０１８／０８９８１２（ＷＯ，Ａ１）
【文献】国際公開第２０１６／２００８８７（ＷＯ，Ａ１）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ａ６１Ｂ ３４／３０
Ａ６１Ｂ １／０４５
(57)【特許請求の範囲】
【請求項1】
ユーザがタスク中に捕捉された内視鏡ビデオの拡張を開始したことに応答して拡張内視鏡ビデオを生成するための拡張システム（５００）であって、前記拡張システム（５００）が、イベント検出器（５０４）であって、
外科用ロボットシステム（５０２）によって少なくとも部分的に実施される前記タスク中に、前記外科用ロボットシステム（５０２）の状態を記述する状態データを受信することであって、前記外科用ロボットシステム（５０２）が、基部、および前記基部から器具の取り付け部まで延在するアームであって、前記アームが、複数のジョイントを含み、それによって、前記アームの構成が変更され得る、アーム、を有する、少なくとも１つの外科用ロボットを含む、受信することと、
前記タスク中に捕捉された前記内視鏡ビデオの拡張を開始した前記ユーザに関連付けられたユーザ特権に基づいて、前記状態データにおける、予め決定されているか、または以前に実施されたタスクから学習されている複数の潜在的パターンから、パターンのサブセットを自動的に選択することであって、前記複数の潜在的パターンの各パターンが前記タスク中に発生する異なるイベントを示す、選択することと、
前記状態データにおけるパターンの前記サブセットを識別することと、を行うように構成されている、イベント検出器（５０４）と、
拡張器（５０６）であって、
前記タスク中に捕捉された前記内視鏡ビデオを受信することであって、前記タスク中に捕捉された前記内視鏡ビデオが、前記状態データと時間同期されている、受信することと、
前記イベント検出器（５０４）が、前記タスク中にイベントが発生したことを示す前記状態データにおけるパターンの前記サブセット内のパターンを識別することに応答して、前記タスク中に捕捉された前記内視鏡ビデオに関して前記イベントおよび前記イベントの時間を識別する情報でメタデータを自動的に拡張することと、を行うように構成されており、前記メタデータは、（ａ）前記タスク中に捕捉された前記内視鏡ビデオの一部を形成するか、または、（ｂ）前記タスク中に捕捉された前記内視鏡ビデオに関連付けられている、拡張器（５０６）と、を含む、拡張システム（５００）。
【請求項2】
前記拡張内視鏡ビデオが、前記タスクの後にユーザによって視聴されたときに、前記イベントおよび前記イベントの前記時間を識別する前記情報が、前記ユーザに対して可視的である、請求項１に記載の拡張システム（５００）。
【請求項3】
前記拡張内視鏡ビデオが、前記タスクの後にユーザによって視聴されたときに、前記イベントおよび前記イベントの前記時間を識別する前記情報が、前記ユーザに対して選択的に可視的である、請求項１に記載の拡張システム（５００）。
【請求項4】
前記拡張内視鏡ビデオが、ユーザに関連付けられた特権に基づいて、前記タスクの後にユーザによって視聴されたときに、前記イベントおよび前記イベントの前記時間を識別する前記情報が、前記ユーザに対して自動的に視認可能または視認不可能である、請求項１に記載の拡張システム（５００）。
【請求項5】
前記状態データが、前記外科用ロボットシステムによって生成されるデータを少なくとも部分的に含む、請求項１～４のいずれかに記載の拡張システム（５００）。
【請求項6】
前記状態データが、前記外科用ロボットシステムの外部の１つ以上のソースによって生成されるデータを少なくとも部分的に含む、請求項５に記載の拡張システム（５００）。
【請求項7】
前記複数の潜在的パターンが、１つ以上の器具イベントを識別するように構成されており、前記１つ以上の器具イベントが、前記外科用ロボットシステムの外科用ロボットアームに取り付けられた器具の変更であって、前記外科用ロボットシステムの外科用ロボットアームに取り付けられた少なくとも１つの器具が、通電器具である、器具の変更と、前記通電器具の状態の変化であって、前記外科用ロボットシステムの外科用ロボットアームに取り付けられた少なくとも１つの器具が、内視鏡である、前記通電器具の状態の変化と、前記内視鏡のクリーニングであって、前記外科用ロボットシステムの外科用ロボットアームに取り付けられた少なくとも１つの器具が、内視鏡である、内視鏡のクリーニングと、前記内視鏡の撮像システム上でホワイトバランスを実施することであって、前記外科用ロボットシステムの外科用ロボットアームに取り付けられた前記器具のうちの少なくとも１つが、内視鏡であり、前記内視鏡の移動のサイズまたは頻度が、ある範囲の外にある、ホワイトバランスを実施することと、前記外科用ロボットシステムによってアクティブに制御される器具の変化と、のうちの１つ以上を含む、請求項１～６のいずれかに記載の拡張システム（５００）。
【請求項8】
前記複数の潜在的パターンが、１つ以上の衝突イベントを識別するように構成されており、前記１つ以上の衝突イベントが、前記外科用ロボットシステム（５０２）の少なくとも２つの外科用ロボットアームの間の衝突と、前記外科用ロボットシステム（５０２）の異なる外科用ロボットアームに取り付けられた少なくとも２つの器具の間の衝突と、前記外科用ロボットシステム（５０２）の外科用ロボットアームと前記外科用ロボットシステム（５０２）の別の外科用ロボットアームに取り付けられた器具との間の衝突と、のうちの１つ以上を含む、請求項１～７のいずれかに記載の拡張システム（５００）。
【請求項9】
前記タスクが、患者に対して実施される外科手術手技であり、前記複数の潜在的パターンが、１つ以上の患者イベントを識別するように構成されており、前記１つ以上の患者イベントが、前記患者の１つ以上のバイタルサイン、または１つ以上の他の健康メトリックがある範囲の外にあることと、前記患者の１つ以上のバイタルサイン、および／または１つ以上の他の健康メトリックの変化と、のうちの１つ以上を含む、請求項１～８のいずれかに記載の拡張システム（５００）。
【請求項10】
前記外科用ロボットシステム（５０２）が、オペレータによって制御されており、前記複数の潜在的パターンが、１つ以上のオペレータイベントを識別するように構成されており、前記１つ以上のオペレータイベントが、前記オペレータの１つ以上のバイタルサインおよび／または１つ以上の他の健康メトリックがある範囲の外にあることと、前記オペレータのバイタルサインおよび／または他の健康メトリックのうちの１つ以上における変化と、前記外科用ロボットシステム（５０２）を制御するために使用される１つ以上の入力装置への前記オペレータによって及ぼされる把持力の変化と、前記入力装置のうちの１つ以上への前記オペレータによって及ぼされる押す力の変化と、のうちの１つ以上を含む、請求項１～９のいずれかに記載の拡張システム（５００）。
【請求項11】
前記外科用ロボットシステム（５０２）が、オペレータによって制御されており、前記複数の潜在的パターンが、１つ以上のオペレータ性能イベントを識別するように構成されており、前記１つ以上のオペレータ性能イベントが、前記タスクを許容可能なレベルを下回って実施する際の前記オペレータの性能と、前記タスクを実施する際の前記オペレータの前記性能の変化と、のうちの１つ以上を含む、請求項１～１０のいずれかに記載の拡張システム（５００）。
【請求項12】
前記タスクが、複数のステップを含み、前記複数の潜在的パターンが、前記状態データから、前記タスクのうちの前記１つ以上のステップを自動的に識別するように構成されている、請求項１～１１のいずれかに記載の拡張システム（５００）。
【請求項13】
前記拡張システム（５００）は、イベントを識別する前記情報が、前記イベントが前記タスク中に捕捉された前記内視鏡ビデオおよび前記状態データに関して発生した前記時間を識別するように、前記拡張内視鏡ビデオおよび前記状態データのすべてまたは一部分をリンクするようにさらに構成されている、請求項１～１２のいずれかに記載の拡張システム（５００）。
【請求項14】
前記拡張システム（５００）が、前記外科用ロボットシステム（５０２）を含む、請求項１～１３のいずれかに記載の拡張システム（５００）。
【請求項15】
ユーザがタスク中に捕捉された内視鏡ビデオの拡張を開始したことに応答して拡張内視鏡ビデオを生成するためにコンピュータが実行する方法（８００）であって、前記方法（８００）が、１つ以上のコンピューティングベースの装置が実行する以下の工程を含む：外科用ロボットシステムによって少なくとも部分的に実施される前記タスク中に捕捉された前記内視鏡ビデオを受信することであって、前記外科用ロボットシステムが、基部、および前記基部から器具の取り付け部まで延在するアームであって、前記アームが、複数のジョイントを含み、それによって、前記アームの構成が変更され得る、アーム、を有する、少なくとも１つの外科用ロボットを含む、受信すること（８０２）と、
前記タスク中の前記外科用ロボットシステムの状態を記述する状態データを受信することであって、前記状態データが、前記タスク中に捕捉された前記内視鏡ビデオと時間同期している、受信すること（８０４）と、
前記タスク中に捕捉された前記内視鏡ビデオの拡張を開始した前記ユーザに関連付けられたユーザ特権に基づいて、前記状態データにおける、予め決定されているか、または以前に実施されたタスクから学習されている複数の潜在的パターンから、パターンのサブセットを自動的に選択することであり、前記複数の潜在的パターンの各パターンが前記タスク中に発生する異なるイベントを示す、選択することと、
前記状態データにおけるパターンの前記サブセットを識別すること（８０６）と、
前記タスク中にイベントが発生したことを示す前記状態データにおけるパターンの前記サブセット内のパターンを識別することに応答して、前記タスク中に捕捉された前記内視鏡ビデオに関して前記イベントおよび前記イベントの時間を識別する情報でメタデータを拡張すること（８０８）であり、前記メタデータは、（ａ）前記タスク中に捕捉された前記内視鏡ビデオの一部を形成するか、または、（ｂ）前記タスク中に捕捉された前記内視鏡ビデオに関連付けられている。
【発明の詳細な説明】
【背景技術】
【0001】
外科手術を補助および実施するためにロボットを使用することが知られている。図１は、基部１０８、アーム１０２、および器具１０５からなる、典型的な外科用ロボット１００を例示している。基部は、ロボットを支持し、それ自体が、例えば、手術室の床、手術室の天井、またはトロリーにしっかりと取り付けられている。アームは、基部と器具との間に延在する。アームは、その長さに沿って、外科用器具を患者に対して所望の場所に位置特定するために使用される複数の可撓性ジョイント１０３によって関節式に連結されている。外科用器具は、ロボットアームの遠位端１０４に取り付けられる。外科用器具は、外科的部位にアクセスするように、ポート１０７で患者１０１の身体を貫通する。その遠位端において、器具は、医療的手技で係合するためのエンドエフェクタ１０６を含む。
【0002】
外科用ロボット１００は、図２に示されるオペレータコンソール２００を介して、オペレータ（例えば、外科医）によって遠隔制御される。オペレータコンソール２００は、外科用ロボット１００と同じ部屋（例えば、手術室）内、またはそこから遠隔に位置してもよい。オペレータコンソール２００は、アーム１０２および／またはアーム１０２に取り付けられた器具１０５の状態を制御するための入力装置２０２、２０４を含む。入力装置２０２、２０４は、ハンドグリップ、または平行グラムリンケージに装着されたハンドコントローラであってもよい。制御システムは、ハンドコントローラの移動を制御信号に変換して、外科用ルートのアームジョイントおよび／または器具エンドエフェクタを移動させる。オペレータコンソール２００はまた、ディスプレイ２０６を含む。ディスプレイ２０６は、入力装置２０２、２０４を操作するユーザに対して可視的であるように配設される。ディスプレイは、外科手術部位のビデオストリーム（例えば、内視鏡ビデオ）を表示するために使用される。
【0003】
いくつかの外科手術手技は、いくつかの外科用ロボットを必要としてもよく、各々が、外科手術部位で他のものと同時に使用される器具または他の器具を担持する。図３は、患者３０８上の共通のワークスペースで動作する複数のロボット３０２、３０４、３０６を有する外科用ロボットシステム３００を例示している。例えば、外科用ロボットは、内視鏡外科手術（例えば、腹腔鏡手術）でしばしば使用され、これはまた、低侵襲手術と呼ばれ得る。当業者に既知であるように、外科医は、内視鏡手技中に、口または鼻孔などであるがこれに限定されない、身体の小さな切開または自然な開口部を通して内視鏡を挿入する。内視鏡は、外科医が、同じ切開／開口部を通して、または異なる切開／開口部を通して、自身のツールを誘導するのを助けるために使用される、ビデオモニタ（例えば、ディスプレイ２０６）にリアルタイム画像を送信する、取り付けられた小さなカメラを有する剛直または可撓性の管である。内視鏡により、外科医は、切断して関連領域を露出させることなく、身体の関連領域を詳細に見ることができる。この技術により、外科医は、患者の体内を見て、従来の開腹手術で必要とされていたよりもはるかに小さな切開を通して手術することができる。したがって、典型的なロボット内視鏡外科手術では、１つの外科用ロボットアーム、および１つ以上の他の外科用ロボットアームに取り付けられた１つ以上の外科用器具（一対のピンサーおよび／またはメスなど）に取り付けられた内視鏡が存在する。
【0004】
図４は、低侵襲手術で使用するためのロボットアームの端部に取り付け可能である例示の内視鏡４００を例示している。内視鏡４００は、患者の外科手術部位への挿入のための遠位端４０２と、近位端４０４と、を有する。遠位端４０２は、細長いシャフト４０６によって近位端４０４に接続されている。近位端４０４は、ロボットアームの端部と係合するためのインターフェース４０８を含む。
【0005】
内視鏡４００は、外科手術部位を照射するための電源および光源を有する。内視鏡４００はまた、外科手術部位から画像データを抽出するためのデータラインを有する。これらはすべて、図４に示されるように、独立して、およびロボットアームの外部で、内視鏡４００の近位端４０４に取り付けられ得る。図４では、電力は、ステム４１２を通して加えられ、画像データは、ステム４１２を通して抽出され、光は、光ステム４１０を通して加えられる。代替的な実装形態では、光入力、電力入力、およびデータ出力のうちのいずれか１つ以上を、ロボットアームを通して内視鏡に加えられ得る／抽出され得る。
【0006】
内視鏡４００は、ロボットアームの端部に装着される。内視鏡インターフェース４０８は、ロボットアームの相補的インターフェースと係合する。内視鏡４００は、ロボットアームおよび内視鏡インターフェースを介して、ロボットアームに取り付け可能であり、ロボットアームから取り外し可能である。一部の場合に、内視鏡４００は、ロボットアームから独立してその取り外された状態で動作可能である。言い換えれば、これらの場合、内視鏡４００は、ロボットアームから取り外されたときに、手術室スタッフのメンバーによって手動で操作することができる。
【0007】
手術中に使用される内視鏡（本明細書では、内視鏡ビデオと総称され得る）によって捕捉される画像に加えて、内視鏡によって捕捉される画像は、記録されてもよく、その後、外科手術手技を学習および／または教示すること、ならびに外科医（第三者または外科医自身による）の性能の評価および／またはレビューすることなどであるがこれに限定されない、様々な目的のために使用されてもよい。
【0008】
従来の手動外科手術よりもロボット支援外科手術の利点のうちの１つは、外科手術がどのように実施されるかについて、より簡単にデータを収集できることである。例えば、外科手術中のロボット（複数可）の動きおよび／または位置を監視し、ログに記録することができる。内視鏡ビデオを、外科用ロボット（複数可）によって生成／収集されたデータ、または外科用ロボット（複数可）に関するデータとリンクさせるか、またはそうでなければ接続して、教育、性能評価／レビューなどにおける内視鏡ビデオの有用性を改善し得ることが有利であろう。
【0009】
以下に記載される実施形態は、単に実施例として提供されるものであり、既知の外科用ロボットシステムの不利益の一部またはすべてを解決する実装形態を限定するものではない。
【発明の概要】
【0010】
この概要は、以下で詳細な説明でさらに記述される概念の選択を紹介するために提供される。この概要は、特許請求された主題の主要な特徴または必須の特徴を識別することを意図しておらず、特許請求された主題の範囲を制限するために使用することも意図していない。
【0011】
本明細書では、タスク中の外科用ロボットシステムの状態を記述する状態データに基づいて、外科用ロボットシステムによって少なくとも部分的に実施されるタスクに対して、内視鏡ビデオを自動的に拡張するための方法およびシステムが記述される。システムは、イベント検出器および拡張器を含む。イベント検出器は、状態データを受信することと、タスク中にイベントが発生したことを示す状態データにおける１つ以上のパターンを識別することと、を行うように構成されている。拡張器は、タスク中に捕捉された内視鏡ビデオを受信することであって、内視鏡ビデオが、状態データと時間同期されている、受信することと、イベント検出器が、イベントが発生したことを示す状態データにおけるパターンを識別することに応答して、内視鏡ビデオに関してイベントおよびイベントが発生した時間を識別する情報で、内視鏡ビデオの一部を形成するか、または内視鏡ビデオに関連付けられたメタデータを拡張することと、を行うように構成されている。
【0012】
第１の態様は、拡張内視鏡ビデオを生成するための拡張システムを提供しており、拡張システムは、イベント検出器であって、外科用ロボットシステムによって少なくとも部分的に実施されるタスク中に、外科用ロボットシステムの状態を記述する状態データを受信することであって、外科用ロボットシステムが、基部、および基部から器具の取り付け部まで延在するアームであって、アームが、複数のジョイントを含み、それによって、アームの構成が変更され得る、アーム、を有する、少なくとも１つの外科用ロボットを含む、受信することと、タスク中にイベントが発生したことを示す状態データにおける１つ以上のパターンを識別することと、を行うように構成されている、イベント検出器と、拡張器であって、タスク中に捕捉された内視鏡ビデオを受信することであって、内視鏡ビデオが、状態データと時間同期されている、受信することと、イベント検出器が、イベントが発生したことを示す状態データにおけるパターンを識別することに応答して、内視鏡ビデオに関してイベントおよびイベントの時間を識別する情報で、内視鏡ビデオの一部を形成するか、または内視鏡ビデオに関連付けられたメタデータを自動的に拡張することと、を行うように構成されている、拡張器と、を含む。
【0013】
拡張内視鏡ビデオがその後、ユーザによって視聴されたときに、イベントおよびイベントの時間を識別する情報は、ユーザに対して可視的であり得る。
【0014】
拡張内視鏡ビデオがその後、ユーザによって視聴されたときに、イベントおよびイベントの時間を識別する情報は、ユーザに対して選択的に可視的であり得る。
【0015】
拡張内視鏡ビデオがその後、ユーザに関連付けられた特権に基づいて、ユーザによって視聴されたときに、イベントおよびイベントの時間を識別する情報は、ユーザに対して自動的に視認可能または視認不可能であり得る。
【0016】
メタデータを、内視鏡ビデオに関するイベントおよびイベントの時間を識別する情報で拡張することは、イベントを識別するイベントの時間で、内視鏡ビデオにブックマークを追加することを含み得る。
【0017】
１つ以上のパターンは、複数のパターンを含み得、各パターンは、異なるイベントに対応しており、イベント検出器は、複数のパターンのサブセットのみを選択的に識別するように構成可能であり得る。
【0018】
１つ以上のパターンは、複数のパターンを含み得、各パターンは、異なるイベントに対応しており、イベント検出器は、拡張を開始したユーザに関連付けられたユーザ特権に基づいて、複数のパターンのサブセットを識別するように構成されてもよい。
【0019】
状態データは、外科用ロボットシステムによって生成されるデータを少なくとも部分的に含み得る。
【0020】
状態データは、外科用ロボットシステムの外部の１つ以上のソースによって生成されるデータを少なくとも部分的に含み得る。
【0021】
１つ以上のパターンは、１つ以上の器具イベントを識別するように構成されてもよく、１つ以上の器具イベントは、外科用ロボットシステムの外科用ロボットアームに取り付けられた器具の変更であって、外科用ロボットシステムの外科用ロボットアームに取り付けられた少なくとも１つの器具が、通電器具である、器具の変更と、通電器具の状態の変化であって、外科用ロボットシステムの外科用ロボットアームに取り付けられた少なくとも１つの器具が、内視鏡である、通電器具の状態の変化と、内視鏡のクリーニングであって、外科用ロボットシステムの外科用ロボットアームに取り付けられた少なくとも１つの器具が、内視鏡である、内視鏡のクリーニングと、内視鏡の撮像システム上でホワイトバランスを実施することであって、外科用ロボットシステムの外科用ロボットアームに取り付けられた少なくとも１つの器具が、内視鏡であり、内視鏡の移動のサイズまたは頻度が、ある範囲の外にある、ホワイトバランスを実施することと、外科用ロボットシステムによってアクティブに制御される器具の変化と、のうちの１つ以上を含み得る。
【0022】
１つ以上のパターンは、１つ以上の衝突イベントを識別するように構成されてもよく、１つ以上の衝突イベントは、外科用ロボットシステムの少なくとも２つの外科用ロボットアームの間の衝突と、外科用ロボットシステムの異なる外科用ロボットアームに取り付けられた少なくとも２つの器具の間の衝突と、外科用ロボットシステムの外科用ロボットアームと外科用ロボットシステムの別の外科用ロボットアームに取り付けられた器具との間の衝突と、のうちの１つ以上を含み得る。
【0023】
タスクは、患者に対して実行される外科手術手技であり得、１つ以上のパターンは、１つ以上の患者イベントを識別するように構成されてもよく、１つ以上の患者イベントは、患者の１つ以上のバイタルサイン、または１つ以上の他の健康メトリックがある範囲の外にあることと、患者の１つ以上のバイタルサイン、および／または１つ以上の他の健康メトリックの変化と、のうちの１つ以上を含み得る。
【0024】
外科用ロボットシステムは、オペレータによって制御され得、１つ以上のパターンは、１つ以上のオペレータイベントを識別するように構成されてもよく、１つ以上のオペレータイベントは、オペレータの１つ以上のバイタルサインおよび／または１つ以上の他の健康メトリックがある範囲の外にあることと、オペレータの１つ以上のバイタルサインおよび／または１つ以上の他の健康メトリックの変化と、外科用ロボットシステムを制御するために使用される１つ以上の入力装置へのオペレータによって及ぼされる把持力の変化と、入力装置のうちの１つ以上へのオペレータによって及ぼされる押す力の変化と、のうちの１つ以上を含み得る。
【0025】
外科用ロボットシステムは、オペレータによって制御され得、１つ以上のパターンは、１つ以上のオペレータ性能イベントを識別するように構成されてもよく、１つ以上のオペレータ性能イベントは、タスクを許容可能なレベルを下回って実施する際のオペレータの性能と、タスクを実施する際のオペレータの性能の変化と、のうちの１つ以上を含み得る。
【0026】
タスクを実施する際のオペレータの性能は、１つ以上の性能基準に基づいてもよく、１つ以上の性能基準は、タスクのステップの実施において外科用ロボットアームによって得られる経路と、外科用ロボットアームの滑らかさと、タスクのステップを完了するための持続時間と、のうちの１つ以上を含み得る。
【0027】
１つ以上のパターンは、緊急イベントを識別するように構成されてもよい。
【0028】
タスクは、複数のステップを含み得、１つ以上のパターンは、状態データから、タスクのうちの１つ以上のステップを自動的に識別するように構成されてもよい。
【0029】
状態データは、タスク中に少なくとも１つの外科用ロボットに取り付けられた器具を記述する器具情報と、タスク中の少なくとも１つの外科用ロボットの移動および／または位置を記述する外科用ロボット位置情報と、を含み得、イベント検出器は、器具情報および外科用ロボット位置情報におけるパターンを識別することによって、タスクにおける縫合ステップを識別するように構成されてもよい。
【0030】
イベント検出器は、イベント検出器が、少なくとも２つの針ドライバが外科用ロボットに取り付けられていることを、器具情報から識別し、イベント検出器が、外科用ロボットが繰り返し円運動で移動したことを外科用ロボット位置情報から識別したときに、タスクにおける縫合ステップを識別するように構成されてもよい。
【0031】
システムは、イベントを識別する情報が、イベントが内視鏡ビデオおよび状態データに関して発生した時間を識別するように、拡張内視鏡ビデオおよび状態データのすべてまたは一部分をリンクするようにさらに構成されてもよい。
【0032】
識別されたイベントに関する内視鏡ビデオの一部分および状態データの一部分は、イベントを識別する情報から取得可能であり得る。
【0033】
タスクは、ヒトに対して実施される外科手術手技であり得る。
【0034】
拡張システムは、外科用ロボットシステムを含み得る。
【0035】
第２の態様は、拡張内視鏡ビデオを生成するコンピュータ実装方法を提供しており、方法は、１つ以上のコンピューティングベースの装置で、外科用ロボットシステムによって少なくとも部分的に実施されるタスク中に捕捉された内視鏡ビデオを受信することであって、外科用ロボットシステムが、基部、および基部から器具の取り付け部まで延在するアームであって、アームが、複数のジョイントを含み、それによって、アームの構成が変更され得る、アーム、を有する、少なくとも１つの外科用ロボットを含む、受信することと、タスク中の外科用ロボットシステムの状態を記述する状態データを受信することであって、状態データが、内視鏡ビデオと時間同期している、受信することと、タスク中にイベントが発生したことを示す状態データにおける１つ以上のパターンを識別することと、タスク中にイベントが発生したことを示す状態データにおけるパターンを識別することに応答して、内視鏡ビデオに関してイベントおよびイベントの時間を識別する情報で、内視鏡ビデオの一部を形成するか、または内視鏡ビデオに関連付けられたメタデータを拡張することと、を含む。
【0036】
上記の特徴は、当業者に明らかであるように、必要に応じて組み合わされてもよく、本明細書に記載される実施例の態様のうちのいずれかと組み合わされてもよい。
【図面の簡単な説明】
【0037】
ここで、実施例を、添付の図面を参照しながら詳細に記載する。
【0038】
【図1】例示の外科手術手技を実施する例示の外科用ロボットの概略図である。
【図2】例示のオペレータコンソールの概略図である。
【図3】複数の外科用ロボットを有する例示の外科用ロボットシステムの概略図である。
【図4】外科用ロボットアームに取り付け可能である例示の内視鏡の概略図である。
【図5】例示の拡張システムのブロック図である。
【図6】例示の外科用ロボットシステムの概略図である。
【図7】例示の外科用ロボットの概略図である。
【図8】内視鏡ビデオを拡張する例示の方法のブロック図である。
【図9】例示のオペレータコンソールディスプレイの概略図である。
【図10】例示の拡張内視鏡ビデオの概略図である。
【図11】メディアプレーヤー上で視聴される例示の拡張内視鏡ビデオの概略図である。
【図12】対応する状態データにリンクされている例示の拡張内視鏡ビデオの概略図である。
【図13】例示のコンピューティングベースの装置のブロック図である。
【0039】
添付の図面は、様々な実施例を例示している。当業者は、図面中の示された要素の境界（例えば、箱、箱のグループ、または他の形状）が、境界の一例を表すことを理解するであろう。いくつかの実施例では、１つの要素は、複数の要素として設計され得るか、または複数の要素が、１つの要素として設計され得る場合がある。同様の特徴を示すために、適切な場合、図全体を通して共通の参照番号が使用される。
【発明を実施するための形態】
【0040】
以下の説明は、当業者が本発明を作製および使用することができるようにするための実施例として提示されている。本発明は、本明細書に記載される実施形態に限定されないが、開示される実施形態に対する様々な修正は、当業者には明らかであろう。実施形態は、実施例としてのみ記載されている。
【0041】
本明細書では、タスク中の外科用ロボットシステムの状態を記述する状態データに基づいて、外科用ロボットシステムによって少なくとも部分的に実施されるタスク（例えば、外科手術）中に捕捉された内視鏡ビデオを自動的に拡張するための方法およびシステムが説明される。外科用ロボットシステムは、基部と、基部から器具の取り付け部まで延在するアームであって、アームが、複数のジョイントを含み、それによって、アームの構成を変更することができる、アームと、を有する、少なくとも１つの外科用ロボットを含む。方法は、内視鏡ビデオを受信することと、内視鏡ビデオと時間同期したタスク中の外科用ロボットシステムの状態を記述する状態データを受信することと、タスク中に発生したイベントを示す状態データにおける１つ以上のパターンを識別することと、イベントが発生したことを示す状態データにおけるパターンを識別することに応答して、内視鏡ビデオに関してイベントおよびイベントの時間を識別する情報で、内視鏡ビデオを拡張することと、を含む。
【0042】
最初に、外科用ロボットシステム５０２によって少なくとも部分的に実施されるタスク（例えば、外科手術）中に捕捉された内視鏡ビデオを自動的に拡張するための例示の拡張システム５００を例示する図５を参照する。外科用ロボットシステム５０２は、基部と、基部から外科用器具の取り付け部まで延在するアームであって、アームが、複数のジョイントを含み、それによって、アームの構成を変更することができる、アームと、を有する、少なくとも１つの外科用ロボットを含む。例示の外科用ロボットシステム５０２は、図６を参照して以下に説明される。
【0043】
拡張システム５００は、イベント検出器５０４および拡張器５０６を含む。イベント検出器５０４および／または拡張器５０６は、図１２を参照して以下に説明する例示のコンピューティングベースの装置などであるがこれに限定されない、１つ以上のコンピューティングベースの装置によって実装され得る。
【0044】
イベント検出器５０４は、ロボットタスク（例えば、外科手術）中に外科用ロボットシステム５０２の状態を示すか、またはそれを記述する状態データを受信するように構成されている。状態データは、タスク中に捕捉された内視鏡ビデオに時間同期される。状態データは、状態データから検出されたイベントを、内視鏡ビデオ内の特定の時間または期間と相関させることができる任意の好適な様式で、内視鏡ビデオに時間同期されてもよい。例えば、内視鏡ビデオおよび状態データの両方は、共通のタイムスタンプまたは共通のタイムラインを含んでもよいか、またはそれらにリンクされてもよい。
【0045】
以下でより詳細に説明するように、状態データは、外科用ロボットシステム５０２に関する任意のデータもしくは情報、および／または外科用ロボットシステム５０２がタスク中に動作していた環境に関する任意の情報を含み得る。状態データのすべてまたは一部分（例えば、外科用ロボットアーム（複数可）、それに取り付けた器具、およびロボットアーム（複数可）の移動を制御する任意のハンドコントローラの位置および／または移動に関連するデータ）は、外科用ロボットシステム５０２自体によって生成されてもよい。一部の場合に、状態データの少なくとも一部分は、１つ以上の外部ソースによって生成され得る。
【0046】
例えば、図５に示されるように、状態データの一部分は、タスクが実施される部屋（例えば、手術室）内の音声および／もしくはビデオを捕捉するカメラ５０８などであるがこれらに限定されない、音声および／もしくはビデオ記録機器、ならびに／または患者（タスクが患者に対して実施される場合）および／もしくは外科用ロボットシステム５０２を制御するオペレータ（例えば、外科医）の１つ以上の健康メトリックを監視する心拍数モニタ５１０などであるがこれらに限定されない、健康監視機器によって生成され得る。当業者にとって、これらは、状態データの外部ソースの例に過ぎず、状態データの他の外部ソースが存在する可能性があることは明白であろう。例えば、状態データの他の外部ソースは、患者ベッド（患者ベッドは、例えば、位置データを生成することができる「スマート」ベッドである）と、送気機器と、を含み得る。当業者に既知のように、腹腔鏡手術の間、二酸化炭素などであるがこれに限定されない、ガスは、より多くの作業室のために腔を膨張させるために送気機器を介して体腔内にしばしば送気される。
【0047】
イベント検出器５０４は、任意の好適な手段を介して、外科用ロボットシステム５０２および／または１つ以上の外部ソース５０８、５１０によって生成された状態データを受信してもよい。例えば、一部の場合に、外科用ロボットシステム５０２および／または外部ソース５０８、５１０のうちの１つ以上は、例えば、イーサネット接続、Ｗｉ－Ｆｉ（登録商標）接続、Ｂｌｕｅｔｏｏｔｈ（登録商標）接続、近距離通信（ＮＦＣ）接続、またはこれに類するものなどであるがこれに限定されない、無線または有線通信接続５１２を介して、状態データをイベント検出器５０４に提供し得る。これらの実施例では、状態データのすべてまたは一部分は、タスク（例えば、外科手術）が実施されている間に、リアルタイムで（または実質的にリアルタイムで）イベント検出器５０４に提供されてもよい。他の場合では、状態データは、タスク中に別の装置（例えば、コンピューティングベースの装置）によって捕捉され、記憶装置５１４（例えば、メモリ）に記憶され、その後、通信接続５１２を介して、または任意の他の好適な手段を介して、イベント検出器５０４に提供されてもよい。一部の場合に、状態データのすべてまたは一部分は、タスク場所（例えば、手術室）で、ＵＳＢ（ユニバーサルシリアルバス）メモリスティックなどであるがこれに限定されない、ポータブル記憶媒体上に記憶されてもよく、イベント検出器５０４に結合されたイベント検出器５０４の場所に物理的に移送されてもよく、その結果、イベント検出器５０４がポータブル記憶媒体から状態データを読み取ることができるようになる。
【0048】
イベント検出器５０４は、状態データを分析して、タスク（例えば、外科手術）中に発生したイベントを識別するように構成されている。タスク（例えば、外科手術）中に発生したイベントは、外科用ロボットシステムのロボットアームに取り付けられた器具が変更されたこと、複数のロボットアーム間、またはロボットアームに取り付けられた複数の器具間で衝突が発生したこと、患者のバイタルサインおよび／または１つ以上の他の患者の健康メトリックのうちの１つ以上がある範囲の外にあること、オペレータ（例えば、外科医）のバイタルサインおよび／または他のオペレータ健康メトリックのうちの１つ以上がある範囲の外にあること、外科用ロボットシステム５０２が、特定の技能（例えば、縫合）を実施するために使用されたこと、ならびに予期されるシーケンスイベントからの逸脱（例えば、縫合ステップが予期されるときに切断ステップが実施された）を含むが、これらに限定されない。イベント検出器５０４によって識別され得る、例示のイベントのより広範なリストを以下に説明する。以下でより詳細に説明するように、イベント検出器５０４は、状態データのパターンを識別することによって、タスク中に発生したイベントを識別するように構成されてもよい。例えば、イベント検出器５０４は、ロボットアームまたはそれに取り付けられた針器具によって得られた経路が、縫合が実施されたことを示す場合、外科用ロボットシステム５０２が縫合を実施するために使用されたことを決定するように構成されてもよい。イベントが発生したことを示すパターンは、予め決定されていてもよく、または以前に実施されたタスクから学習されてもよい。
【0049】
一部の場合に、状態データから、イベントがタスク（例えば、外科手術）の間に発生したことを検出することに応答して、イベント検出器５０４は、イベントが検出されたことを示す出力、イベントのタイプ、イベントの時間、および任意選択的に、拡張器５０６に提供されるイベントの持続時間を生成するように構成されてもよい。
【0050】
拡張器５０６は、タスク中に内視鏡５１６によって捕捉された内視鏡ビデオを受信するように構成されている。一部の場合に、内視鏡ビデオは、外科用ロボットシステム５０２のロボットアームのうちの１つに取り付けられ、かつそれによって制御された内視鏡５１６によって捕捉されてもよい。しかしながら、他の場合では、内視鏡ビデオは、手動で制御された内視鏡によって捕捉されてもよい。例えば、ユーザは、ロボットアームのうちの１つに取り付けられた内視鏡を取り外し、内視鏡の移動および動作を手動で制御することができる場合がある。一部の場合に、ユーザがロボットアームから内視鏡を取り外し、内視鏡を手動で制御する場合、手術用ロボットシステムは、内視鏡の位置および／または移動を正確に追跡することができなくてもよい。結果として、外科用ロボットシステムは、これが発生している間、制御入力への応答を制限するように構成されてもよい。
【0051】
拡張器５０６は、任意の好適な手段を介して内視鏡ビデオを受信してもよい。例えば、一部の場合に、内視鏡５１６自体は、イーサネット接続、Ｗｉ－Ｆｉ（登録商標）接続、Ｂｌｕｅｔｏｏｔｈ（登録商標）接続、近距離通信（ＮＦＣ）接続、またはこれに類するものなどであるがこれに限定されない、無線または有線通信接続５１２を介して、拡張器５０６に内視鏡ビデオを提供するように構成されてもよい。これらの実施例では、内視鏡ビデオのすべてまたは一部分は、タスク（例えば、外科手術）中にリアルタイムで（または実質的にリアルタイムで）、拡張器５０６に提供されてもよい。他の場合では、内視鏡ビデオは、記憶装置５１４（例えば、メモリ）に記憶され、その後、通信接続５１２を介して、または任意の他の好適な手段を介して、拡張器５０６に提供されてもよい。例えば、内視鏡ビデオは、タスクの場所（例えば、手術室）で、ＵＳＢメモリスティックなどであるがこれに限定されない、ポータブル記憶媒体上に記憶されてもよく、拡張器５０６と結合された拡張器５０６の場所に物理的に移送され、その結果、拡張器５０６がポータブル記憶媒体から内視鏡ビデオを読み取ることができるようになる。
【0052】
拡張器５０６は、イベント検出器５０４がタスク中にイベントが発生したことを状態データから決定することに応答して、発生したイベントおよびイベントが発生したときを識別する情報（例えば、マーカー）を内視鏡ビデオに追加し、任意選択的にイベントの持続時間を識別して、拡張内視鏡ビデオを生成するように構成されている。一部の場合に、情報またはマーカーは、拡張内視鏡ビデオがその後、ビデオプレーヤーで再生または視聴されるときに、ユーザに対して可視的でない場合がある。例えば、一部の場合に、情報またはマーカーは、特別なシステムまたはソフトウェアによって検出可能であり得る。特別なシステムまたはソフトウェアは、情報またはマーカーから識別されたイベントを決定し、識別されたイベントのリストをユーザに提示するように構成されてもよい。ユーザが識別されたイベントのうちの１つを選択すると、システムは、識別されたイベントに関連する内視鏡ビデオの部分を提示または出力し得る。
【0053】
他の場合に、情報またはマーカーは、拡張内視鏡ビデオがその後、ビデオプレーヤーで再生または視聴されるときに、ユーザに対して可視的である場合がある。一部の場合に、マーカーは、拡張内視鏡ビデオがメディアプレーヤーによって再生されるときに、ユーザが内視鏡ビデオの特定のポイントに簡単にジャンプすることを可能にする、ブックマークの形態を取り得る。例えば、ユーザが拡張内視鏡ビデオをメディアプレーヤーで起動すると、ユーザは、ビデオ内のブックマークのリストを提示されてもよく、ユーザは、ブックマークを選択することによって、ブックマークによって識別されるポイントまたはセクションのうちの１つに直接的に移動することができる。一部の場合に、拡張器５０６は、例えば、イベントのタイプおよび／または任意の他の基準に基づいて、マーカーおよび／またはブックマークを自動的にグループ化するように構成されてもよい。一部の場合に、拡張器５０６はまた、状態データを介して識別されたイベントから追加のイベントを自動的に識別し、各追加のイベントを識別する情報／マーカーで内視鏡ビデオを拡張するように構成されてもよい。一部の場合に、特定のイベントに関連する情報（例えば、マーカー）は、内視鏡ビデオの一部を形成するか、または内視鏡ビデオと関連付けられたメタデータに含まれ得る。
【0054】
拡張システム５００は、外科用ロボットシステム５０２から遠隔であってもよい。例えば、外科用ロボットシステム５０２は、手術室内に位置してもよく、拡張システム５００は、病院または治療センター内の別の部屋にあってもよい。
【0055】
ここで、例示の外科用ロボットシステム５０２を例示する図６を参照する。この実施例では、外科用ロボットシステム５０２は、制御ユニット６０６によって駆動される２つの外科用ロボット６０２および６０４を含む。制御ユニット６０６は、第１および第２のコントローラ６１２、６１４からの入力を含む、オペレータコンソール６１０（図２のオペレータコンソール２００などであるが、これに限定されない）からの入力６０８を受信する。制御ユニット６０６は、オペレータコンソール６１０から、フットペダル（複数可）入力、音声認識入力、ジェスチャ認識入力、視線認識入力などのような他の入力を受信し得る。制御ユニット６０６はまた、外科用ロボット６０２、６０４から入力６１６を受信する。これらの入力には、ロボットアームのジョイント上に位置する、位置センサおよびトルクセンサからの知覚データが含まれる。制御ユニット６０６は、各ロボットから、力フィードバック、外科用器具からのデータ、または外科用器具についてのデータなど、他の入力６１６を受信してもよい。制御ユニット６０６は、ロボット６０２、６０４およびオペレータコンソール６１０から受信する入力に応答して、ロボット６０２、６０４を駆動する。制御ユニット６０６は、１つ以上のプロセッサ６１８およびメモリ６２０を含む。メモリ６２０は、１つ以上のプロセッサ６１８によって実行されてドライバを制御することができる、ソフトウェアコードを非一時的に記憶する。
【0056】
図６の例示の外科用ロボットシステム５０２は２つの外科用ロボットを含むが、本明細書に記載の方法および技術は、１つのみの外科用ロボットを有する外科用ロボットシステム、および３つ以上の外科用ロボットを有する外科用ロボットシステムに等しく適用可能であることは、当業者には明白であろう。
【0057】
ここで、外科用ロボット７００の例示の実装形態を例示する図７を参照する。図６の外科用ロボット６０２、６０４のうちの１つ以上は、図７の外科用ロボット７００として実装され得る。外科用ロボット７００は、タスク（例えば、外科手術手技）が実施されるときに定位置に固定される基部７０４から延在するアーム７０２を含む。一部の場合に、基部７０４は、シャーシに装着され得る。シャーシは、例えば、ロボットをベッドの高さに装着するためのベッドサイドカートなどのカートであってもよい。代替的に、シャーシは、天井に装着された装置、またはベッドに装着された装置であってもよい。
【0058】
アーム７０２は、ロボットの基部７０４から外科用器具７０８用の取り付け部７０６まで延在する。アームは、可撓性である。それは、その長さに沿って複数の可撓性ジョイント７１０によって関節式に連結される。ジョイント間にあるのは、剛性アーム部材７１２である。図７のアームは、７つのジョイントを有する。ジョイントは、１つ以上のロールジョイント（ジョイントのいずれかの側上のアーム部材の長手方向に沿った回転軸を有する）、１つ以上のピッチジョイント（前のアーム部材の長手方向に対して横方向の回転軸を有する）、および１つ以上のヨージョイント（また、前のアーム部材の長手方向に対して横方向であり、かつ同じ場所に位置するピッチジョイントの回転軸に対しても横方向の回転軸を有する）を含む。しかしながら、アームは、別様に接合され得る。例えば、アームは、より少ないかまたはより多いジョイントを有する場合がある。アームは、ジョイント、例えば、テレスコピックジョイントのそれぞれの側面の間の回転以外の動きを許容するジョイントを含み得る。ロボットは、ドライバ７１４のセットを含み、各ドライバ７１４は、ジョイント７１０のうちの１つ以上を駆動する。
【0059】
取り付け部７０６は、外科用器具７０８をアームの遠位端に取り外し可能に取り付けることを可能にする。外科用器具７０８は、直線状の剛直なシャフトおよびシャフトの遠位端にある作業チップを有する。作業チップは、医療手技に従事するためのエンドエフェクタを含む。外科用器具は、アームの末端ジョイントの回転軸と直線的に平行に延在するように構成されてもよい。例えば、外科用器具は、アームの末端ジョイントの回転軸と一致する軸に沿って延在してもよい。外科用器具７０８は、例えば、切断、把持、焼灼、または撮像装置（例えば、内視鏡）であってもよい。
【0060】
ロボットアームは、一連のセンサ７１６、７１８を含む。これらのセンサは、ジョイントごとに、ジョイントの位置を検知するための位置センサ７１６、およびジョイントの回転軸の周りに加えられたトルクを検知するためのトルクセンサ７１８を含む。ジョイントの位置センサおよびトルクセンサのうちの一方または両方を、そのジョイントのモータと一体化させることができる。センサの出力は、制御ユニット６０６に渡され、ここで、それらは、１つ以上のプロセッサ６１８の入力を形成する。
【0061】
ここで、外科用ロボットシステム５０２によって少なくとも部分的に実施されたタスク（例えば、外科手術）中に捕捉された内視鏡ビデオを、タスク中の外科用ロボットシステムの状態を記述する状態データに基づいて、自動的に拡張するための例示の方法８００を例示する、図８を参照する。具体的には、方法８００では、タスク中に発生したイベントが、状態データから検出され、内視鏡ビデオは、内視鏡ビデオに関して検出されたイベントおよびイベントが発生した時間を識別する情報（例えば、１つ以上のマーカー）で拡張される。
【0062】
方法８００は、ブロック８０２で開始し、拡張システム５００（例えば、拡張器５０６）は、外科用ロボットシステム５０２によって少なくとも部分的に実施されたタスク（例えば、外科手術）中に内視鏡によって捕捉された内視鏡ビデオを受信する。上述のように、一部の場合に、内視鏡ビデオは、外科用ロボットシステム５０２のロボットアームのうちの１つに取り付けられ、かつそれによって制御された内視鏡によって捕捉されてもよい。他の場合では、内視鏡ビデオは、手動で操作された内視鏡によって捕捉されてもよい。上述のように、内視鏡ビデオは、任意の好適な手段を介して、拡張システム５００（例えば、拡張器５０６）で受信されてもよい。例えば、内視鏡ビデオは、有線または無線通信接続（例えば、イーサネット接続、Ｗｉ－Ｆｉ（登録商標）接続、Ｂｌｕｅｔｏｏｔｈ（登録商標）接続、ＮＦＣ接続など）を介して、内視鏡によって拡張システム５００（例えば、拡張器５０６）に直接的に提供されてもよい。他の場合では、内視鏡ビデオは、別の装置のメモリに記憶され、他の装置を介して拡張システム５００に提供されてもよい。
【0063】
ブロック８０４で、拡張システム５００（例えば、イベント検出器５０４）は、タスク（例えば、外科手術）中に、外科用ロボットシステム５０２の状態を記述する状態データを受信する。状態データは、タスク（例えば、外科手術）中の外科用ロボットシステム５０２を記述するか、または外科用ロボットシステム５０２が動作していた環境を記述する、任意の情報を含み得る。上述のように、状態データは、状態データから検出されたイベントを、内視鏡ビデオ内のある時点または期間と相関させることができるように、内視鏡ビデオと時間同期される。
【0064】
状態データのすべてまたは一部分は、外科用ロボットシステム５０２自体によって生成され得る（例えば、外科用ロボットシステムは、外科用ロボットアーム（複数可）および／またはそれに取り付けられた器具の位置および／または移動に関連するデータを生成し得る）。一部の場合に、状態データの一部分は、１つ以上の外部ソースによって生成され得る。状態データは、各々が内視鏡ビデオと個別に時間同期される、データの１つ以上のストリームを含み得る。用語「データのストリーム」は、本明細書では、同じソースによって生成されたデータのセットを意味し、外科用ロボットシステム５０２の同じ特徴を記述するために使用される。例えば、上述のように、外科用ロボットシステム５０２の各ジョイントは、ジョイントの位置を検知するための位置センサ７１６と、ジョイント回転軸周りのトルクを検知するためのトルクセンサ７１８と、を含んでいてもよい。各位置センサ７１６によって生成されるデータは、データのストリームとみなされ得る。同様に、各トルクセンサ７１８によって生成されるデータは、データのストリームとみなされ得る。
【0065】
状態データは、ロボットアーム（複数可）の位置および／もしくは移動、またはそのジョイントの位置および／もしくは移動を示す、位置および／またはトルク情報などであるがこれに限定されない、外科用ロボットシステムのロボットアーム（複数可）の現在の状態を記述する情報またはデータを含み得る。特に、状態データは、位置および／またはトルクセンサ７１６、７１８によって生成される位置および／またはトルクデータを含み得る。例えば、各位置センサ７１６は、検知しているジョイントのジョイント角度を報告してもよく、および／または各トルクセンサは、検知しているジョイントに作用するトルクを報告してもよい。当業者には、これが単なる実施例であり、外科用ロボット（複数可）が、ロボットアーム（複数可）の状態に関する情報を提供する他のセンサを含んでもよいことが明白であろう。
【0066】
状態データはまた、または代替的に、ロボットアーム（複数可）に取り付けられた器具の状態を記述するデータまたは情報を含み得る。例えば、状態データは、ロボットアーム（複数可）に取り付けられた器具が存在するかどうかを識別する情報、および存在する場合は、ロボットアーム（複数可）に取り付けられた器具のタイプを含み得る。特に、外科用ロボットシステム５０２は、器具がアームに取り付けられるかどうかを検出するための手段を含んでいてもよく（例えば、外科用ロボットシステムは、参照により本明細書に組み込まれる出願人の公開特許出願ＧＢ２５５２８５５Ａに記載されるような器具係合手段を含んでいてもよく）、および器具（例えば、各器具は、ロボットアームに取り付けられたときにその同一性に関する情報を外科用ロボットシステムに自動的に提供するように構成されたＲＦＩＤまたは他の構成要素を含んでいてもよい）のタイプを自動的に検出するための手段を含んでいてもよく、この情報は、状態データとしてイベント検出器５０４に提供されてもよい。状態データはまた、または別の方法として、ロボットアーム（複数可）に取り付けられた器具（複数可）の位置および／または移動を示す、位置および／またはトルク情報などであるがこれらに限定されない、情報を含んでいてもよい。当業者には、これが単なる実施例であり、外科用ロボットまたは器具自体が、器具の状態の情報を提供する他のセンサを含んでもよいことが明白であろう。
【0067】
ロボットアーム（複数可）に取り付けられた器具のうちの少なくとも１つが、電流によって通電されて、外科手術機能（例えば、焼灼、切断など）を実施する、電気焼灼器具または電気外科用器具などであるがそれに限定されない、通電器具である場合、状態データは、通電器具が現在通電されているかどうか、およびもしそうであれば、器具に通電するために使用される電流の波形などであるがそれに限定されない、通電器具の状態に関する情報を含み得る。
【0068】
ロボットアーム（複数可）に取り付けられた器具のうちの少なくとも１つが内視鏡である場合、状態データは、内視鏡の位置、移動、状態、および／または視野を示す情報を含み得る。
【0069】
状態データはまた、または代替的に、ロボットアームおよび器具の動作を制御するために使用される、オペレータ入力装置（例えば、ハンドコントローラ６１２、６１４）の状態を記述するデータまたは情報を含み得る。上述のように、オペレータ入力装置は、例えば、ハンドコントローラまたはジョイスティックなどの手動で操作可能な機械的入力装置であってもよい。これらの場合、状態データは、入力装置（例えば、ハンドコントローラ６１２、６１４）の位置および／または移動を示す位置および／またはトルクデータなどであるがこれに限定されない、データを含み得る。例えば、入力装置のうちの１つ以上は、入力装置の位置を検知するように構成された位置センサ、および／または入力装置に加えられるトルクまたは力を検知するように構成されたトルクセンサを含み得る。一部の場合に、ハンドコントローラは、ジンバルを介して平行グラムリンケージ上に装着されてもよい。これらの場合、リンケージおよび／またはジンバルは、リンケージおよび／またはジンバルのジョイントの位置およびトルクを測定する、位置および／またはトルクセンサを含み得る。その後、これらの測定値は、状態データとして拡張システム５００（例えば、イベント検出器５０４）に提供されてもよい。
【0070】
一部の場合に、入力装置がハンドコントローラである場合、各ハンドコントローラは、ハンドコントローラと使用者の手が接触しているかどうか、またはハンドコントローラが使用中であるかどうかを示すハンドコントロールを把持しているかどうかを検出するように構成されている、１つ以上のハンド接触センサなどを含み得る。これらの場合、ハンド接触センサ（複数可）によって生成されるハンド接触検出情報は、状態データとして拡張システム５００（例えば、イベント検出器５０４）に提供されてもよい。一部の場合に、入力装置がハンドコントローラである場合、各ハンドコントローラはまた、または代替的に、ハンドコントローラに加えられる把持力（すなわち、オペレータがハンドコントローラをどの程度強く把持しているか）を検出するように構成されている、１つ以上の把持センサも含み得る。これらの場合、把持力センサ（複数可）によって生成される把持力情報は、状態データとして拡張システム５００（例えば、イベント検出器５０４）に提供されてもよい。一部の場合に、ハンド接触センサ（複数可）および把持センサは、同じセンサであってもよいか、または別途統合されてもよい。一部の場合に、オペレータは、オペレータの手の動きを検出する動きセンサを自身の手に搭載してもよい。これらの場合、ハンド動きセンサによって生成されるハンド動きデータは、状態データとして拡張システム５００（例えば、イベント検出器５０４）に提供されてもよい。
【0071】
状態データはまた、または代替的に、外科用ロボットシステム５０２の動作モードに関する情報を含み得る。例えば、一部の場合に、外科用ロボットシステム５０２は、オペレータ（例えば、外科医）が、ロボットアームのうちの１つ以上を制御して、タスク（例えば、外科手術）を実施する、アクティブモード、オペレータ（例えば、外科医）が、オペレータコンソール６１０から制御しようとしているロボットアーム（複数可）を選択するか、または切り替える、選択モード、ならびにロボットアームに取り付けられた器具のうちの少なくとも１つが取り外されている、取り付けられている、および／または変更されている、器具変更モードなどであるがこれらに限定されない、複数のモードのうちの１つで動作することが可能になり得る。アクティブモードには、いくつかのタイプがある場合もある。例えば、一部の場合に、オペレータがロボットアームに取り付けられた内視鏡を制御している内視鏡アクティブモードと、オペレータが１つ以上のロボットアームに取り付けられた１つ以上の他の器具を制御している器具アクティブモードと、があり得る。これらの場合、状態データは、外科用ロボットシステム５０２の現在の動作モードに関する情報を含み得る。当業者には、これらは外科用ロボットシステムの例示の動作モードであり、外科用ロボットシステム５０２の追加の、または異なる動作モードがあり得ることが明白であろう。
【0072】
実施されるタスクが患者に実施される外科手術手技である場合、状態データはまた、または代替的に、患者に関連するデータを含み得る。例えば、状態データは、患者の健康情報、またはタスク中の患者の健康状態を記述するデータを含み得る。例えば、状態データは、タスク（例えば、外科手術）中の患者のバイタルサイン（例えば、体温、脈拍、呼吸数）または他の健康メトリック（例えば、血圧、酸素飽和、血中グルコース／血糖）を記述する情報を含み得る。典型的には、手術中、患者のバイタルサインおよび他の健康メトリックは、心拍数モニタ、パルスオキシメーター、連続グルコースモニタ（ＣＧＭ）装置などの特別な医療測定機器によって測定される。これらの場合、医療測定機器は、例えば、通信ネットワーク（例えば、有線または無線通信ネットワーク）を介して、バイタルサイン情報または他の患者のメトリック情報を拡張システム５００（例えば、イベント検出器５０４）に送信するように構成されてもよい。
【0073】
しかしながら、他の場合では、患者のバイタルサインおよび／または他の患者の健康メトリックに関する情報は、別の様式で取得され得る。例えば、一部の場合に、外科手術が実施される手術室は、ビデオおよび／または音声記録装置を備えてもよく、バイタルサインデータおよび／または他の患者の医療データは、ビデオおよび／または音声記録から取得されてもよい。例えば、医療測定機器が、測定値の可聴表現（例えば、可聴音または「ビープ」のセット）を生成する場合、測定値の推定値は、ビデオおよび／または音声記録装置によって記録された音声の分析を通して取得され得る。別の実施例では、医療測定機器が、現在または以前の測定値を視覚的に表示する場合、測定値は、ビデオ記録装置によって記録されたビデオの画像分析を介して取得され得る（例えば、測定値は、医療測定機器から読み取られ得る）。他の場合では、患者のバイタルサインのうちの１つ以上が、内視鏡ビデオから取得されてもよい。例えば、患者の脈拍または血液酸素化レベルは、ビデオ分析技術を介して内視鏡ビデオから識別され得る。特に、患者の血液酸素化レベルは、患者の血液の色から決定されてもよい。内視鏡ビデオから患者のバイタルサインまたは他の健康メトリックを決定することは、患者の身体の関連部分の照射によって促進され得る。
【0074】
状態データはまた、または代替的に、年齢および体重などの人口統計情報、ならびに以前のスキャン（例えば、Ｘ線、ＭＲＩ）、以前の転帰、既往歴、診断歴、および／または治療計画などの他の医療情報などであるがこれに限定されない、患者に関連するその他の情報を含み得る。
【0075】
一部の場合に、状態データはまた、外科医の健康情報または外科用ロボットシステムを制御するオペレータ（例えば、外科医）の健康を記述するデータを含み得る。例えば、状態データは、タスク（例えば、外科手術）中のオペレータ（例えば、外科医）の１つ以上のバイタル信号（例えば、体温、脈拍、呼吸数）および／または他の健康メトリック（例えば、血圧）を記述する情報またはデータを含み得る。例えば、一部の場合に、入力装置がハンドコントローラである場合、ハンドコントローラは、オペレータ（例えば、外科医）の心拍数、オペレータ（例えば、外科医）の動きの震え、および／またはオペレータ（例えば、外科医）の汗率を測定するセンサを含み、測定された心拍数、震え、および／または汗率に関する情報またはデータを、状態データとしてイベント検出器５０４に提供することができる。他の場合では、タスク中にオペレータ（例えば、外科医）のバイタルサインまたは他の健康メトリックを測定するように構成されている、外部の医療装置、または類似のものがあってもよい。上述のように、患者のバイタルサインおよびその他の健康メトリックに関して、オペレータ（例えば、外科医）のバイタルサインまたは他の健康メトリックを測定する医療装置は、例えば、通信ネットワークを介して、測定されたメトリック上のデータをイベント検出器５０４に提供するように構成されてもよく、または測定されたメトリックの推定値は、他の手段を介して（例えば、手術室のビデオおよび／または音声の分析によって）取得され得る。
【0076】
上述したように、一部の場合に、タスクが実施される部屋（例えば、手術室）は、タスクが実施される間に部屋の中の音および／または部屋の視覚画像を記録するための音声および／またはビデオ記録機器を備えてもよい。これらの場合、状態データはまた、または代替的に、音声および／またはビデオ記録機器によって捕捉されたビデオおよび音声データを含み得る。
【0077】
一部の場合に、状態データはまた、または代替的に、実施されるタスクについての情報を含み得る。例えば、状態データは、外科用ロボットシステム５０２によって少なくとも部分的に実施されたタスク（例えば、外科手術手技）に関する情報を含み得る。一部の場合に、タスクがいくつかのステップを含む場合、状態データは、実施されたタスクのステップおよびタスクのステップがいつ実施されたかを示す、情報を含み得る。例えば、外科用ロボットシステム５０２のオペレータ（例えば、外科医）は、タスク中に、その人が現在実施しているタスクのどのステップまたは段階かを示すことができ得、この情報は、状態データとして拡張システム５００（例えば、イベント検出器５０４）に提供され得る。例えば、図９に示すように、オペレータコンソール６１０は、内視鏡ビデオ９０４を表示し、またオペレータにタスク９０６のステップのリストを提供する、ディスプレイ９０２を含んでもよいか、またはそれと関連付けられてもよい。列挙されたステップは、タスクに基づいて自動的に選択されてもよいか、またはオペレータ（例えば、外科医）によって手動で入力されてもよい。例えば、オペレータ（例えば、外科医）は、オペレータが実行することを望むタスクのステップまたは段階を手動で入力することができる場合がある。オペレータ（例えば、外科医）は、例えば、ハンドコントローラ上のボタンを押すことによって、または他の手段を介して（例えば、口頭でまたはディスプレイがタッチスクリーンである場合にディスプレイを介して）、入力装置（例えば、ハンドコントローラ６１２、６１４）を使用して、現在、列挙されているステップまたは段階のうちどれが実施されているかを選択することができるか、またはそうでなければ示すことができる場合がある。その後、オペレータ（例えば、外科医）によってなされる任意の選択は、状態データとして拡張システム５００（例えば、イベント検出器５０４）に提供されてもよい。
【0078】
一部の場合に、状態データはまた、または代替的に、外科用ロボットシステム５０２のユーザ（例えば、外科用ロボット（複数可）を制御するオペレータ（例えば、外科医）および／またはタスクチームの他のメンバー（例えば、外科手術チーム））に関する情報を含み得る。例えば、一部の場合に、タスクが開始される前に、情報は、外科用ロボットシステム５０２および／またはタスクを実施するであろうユーザを示すイベント検出器５０４に提供され得る。他の場合では、タスク（例えば、外科手術）を実施するユーザ（例えば、外科手術チーム）は、外科用ロボットシステム５０２および／またはイベント検出器５０４に情報を自動的に送信し得る装置（例えば、ＲＦＩＤ装置、携帯電話、タブレットなど）を備えてもよく、それらは、外科用ロボットシステムの近傍にあるときにユーザを識別する。こうしたシステムの例は、「ＤＥＶＩＣＥ ＩＮＴＥＲＯＰＥＲＡＴＩＯＮ」と題する、出願人の同時係属中の英国特許出願に記載されており、参照により本明細書に組み込まれる現在の出願と同じ日に出願されている。
【0079】
一部の場合に、外科用ロボットシステムを制御するオペレータ（例えば、外科医）、またはタスクチーム（例えば、外科手術チーム）の別のメンバーは、イベントが発生したことを手動で示すことができる場合がある。特に、一部の場合に、オペレータ（例えば、外科医）は、タスク中に発生し得る所定のイベントのリストを提示されてもよく、オペレータ（例えば、外科医）は、所定のイベントのうちの１つを選択することによって、所定のイベントのうちの１つが発生したことを示すことができる場合がある。オペレータ（例えば、外科医）によってなされる任意の選択（複数可）は、状態データの一部として、拡張システム５００（例えば、イベント検出器５０４）に提供されてもよい。例えば、図９に示されるように、オペレータコンソール６１０は、内視鏡ビデオ９０４がオペレータ（例えば、外科医）に提示されるディスプレイ９０２を含んでもよいか、またはそれと関連付けられてもよい。ディスプレイ９０２はまた、タスク中に発生し得る１つ以上の所定のイベント９０８を表示することができ、オペレータ（例えば、外科医）は、列挙されたイベントのうちの１つを選択することによって、所定のイベントのうちの１つが発生したことを示すことができる。所定のイベントは、イベントのタイプ、特定のオペレータ、および／もしくは任意の他の基準に基づいて自動的に選択されてもよく、またはオペレータもしくは別のユーザは、タスク中に発生し得るイベントのセットを手動で入力することができる場合がある。一部の場合に、拡張システム５００、または別のコンピューティングベースの装置は、以前に実施されたタスクの状態データに基づいて、高確率イベントまたは重要なイベント、例えば、オペレータ（例えば、外科医）またはタスクチームの他のメンバーによって手動で識別され得るイベントとして、オペレータ（例えば、外科医）に提示される、これらの高確率イベントまたは重要なイベントを自動的に生成するように構成されてもよい。
【0080】
オペレータ（例えば、外科医）は、例えば、ハンドコントローラのうちの１つ上のボタンを押すことによって、または他の手段を介して（例えば、口頭で、またはディスプレイ９０２がタッチスクリーンである場合にディスプレイ９０２を触ることによって）、入力装置（例えば、ハンドコントローラ）を使用して、所定のイベントのうちの１つを選択することができる場合がある。他の場合では、タスクチーム（例えば、外科手術チーム）の別のメンバーは、コンピュータまたはタブレットなどであるがこれに限定されない、装置を有してもよく、その上に所定のイベントのリストが提示され、所定のイベントのうちの１つを選択することによって、所定のイベントのうちの１つが発生したことを示すことができる。その後、任意の選択は、状態データとして拡張システム５００（例えば、イベント検出器５０４）に提供されてもよい。オペレータまたはタスクチームの別のメンバーによって手動で識別され得るイベントは、依然として、他の状態データから拡張システムによって自動的に検出可能であり得る。
【0081】
図８に戻ると、ブロック８０６で、拡張システム５００（例えば、イベント検出器５０４）は、状態データを分析して、タスク（例えば、外科手術）中に発生したイベントを識別する。用語「イベント」は、本明細書では、タスク中の識別可能なインシデントの発生を意味するために使用される。イベントは、器具イベント、衝突イベント、タスクイベント、患者イベント、オペレータ（例えば、外科医）イベント、性能イベント、および／または緊急イベントを含み得るが、これらに限定されない。これらのタイプのイベントの各々の例を以下に記載する。
【0082】
拡張システム５００（例えば、イベント検出器５０４）は、状態データ内のパターンを識別することによって、状態データからイベントを識別するように構成されてもよい。１つ以上のイベントは、状態データの単一のデータストリーム内のパターンを識別することによって、または状態データの複数のストリーム内のパターンを識別することによって識別され得る。拡張システム５００は、典型的には、イベントが発生したこと、およびパターンが識別する特定のイベントを識別するパターン（複数可）で予め構成されている。例えば、パターン（複数可）は、拡張システム５００のメモリに記憶されてもよい。イベントが発生したことを示すイベントおよび／または特定のパターン（複数可）は、手動で決定されてもよいか、または以前に実施されたタスクの状態データから学習されてもよい。例えば、一部の場合に、拡張システム５００、または別のコンピューティングベースの装置は、識別されたイベントの前にあった状態データ内の共通パターンを識別するために、手動でイベント情報を拡張した、以前に実施されたタスクの状態データを分析するように構成されてもよい。
【0083】
一部の場合に、拡張システム５００（例えば、イベント検出器５０４）はまた、または代替的に、状態データから器具イベントを検出するように構成されてもよい。器具イベントは、タスク中に外科用ロボットシステム５０２によって使用される（例えば、取り付けられる）器具に関するイベントである。外科用ロボットタスク（例えば、外科手術）は、多くの場合、複数の異なる外科用器具を必要とする。複数の器具は、同時に使用されてもよく（例えば、異なる器具が取り付けられ、それによって制御される複数のロボットアームがあり得る）、および／または複数の器具は、順次使用されてもよい（例えば、第１の器具は、特定の機能を実施するためにロボットアームに取り付けられてもよく、その第１の器具は、除去されてもよく、第２の器具は、異なる機能を実施するためにそのロボットアームに取り付けられる）。外科用ロボットタスク中に使用され得る器具の例示のセットには、限定されないが、はさみ、様々な形態および形状の把持器、モノおよびバイポーラ電気外科用器具、他のエネルギー駆動器具（例えば、レーザーまたは超音波器具）、ステープラー、および組織シーラーが含まれ得る。器具イベントには、限定されないが、器具変更であって、タスク（例えば、外科手術）中にロボットアームに取り付けられる器具のうちの少なくとも１つが、通電器具である、器具変更と、通電器具の状態の変化であって、器具のうちの１つが内視鏡である、通電器具の状態の変化と、内視鏡のクリーニングであって、器具のうちの１つが内視鏡である、内視鏡のクリーニングと、撮像システム上でホワイトバランスを実施することであって、器具のうちの１つが内視鏡であり、移動のサイズまたは頻度がある範囲の外にある、ホワイトバランスを実施することと、アクティブ器具の変化と、を含み得る。
【0084】
上述のように、状態データは、ロボットアーム（複数可）に取り付けられた器具の状態を記述する情報を含み得る。例えば、状態データは、器具がアーム（複数可）の各々に取り付けられているかどうか、各ロボットアームに取り付けられた器具のタイプ、および器具が通電器具である場合に、通電器具の状態（例えば、器具が通電されているかどうか、および任意選択的に通電器具に供給されている電流の波形、を識別する情報を含み得る。これらの場合、拡張システム５００（例えば、イベント検出器５０４）は、器具がロボットアームから取り外されたことを検出したときに、または器具がアームに取り付けられた場合に、器具変更イベントを検出するように構成されてもよい。これらの場合、拡張システム５００（例えば、イベント検出器５０４）は、通電器具の状態が通電状態から非通電状態に、またはその逆で変化したことを、状態データから検出したときに、または通電器具に供給される電流の波形が変化していると検出したときに、通電器具の状態の変化を検出するように構成されてもよい。
【0085】
上述のように、状態データは、内視鏡がクリーニング状態にあるかどうか、またはオペレータが撮像システム上でホワイトバランスを実施しているかどうかなどの、内視鏡の状態に関する情報を含み得る。これらの場合、拡張システム５００（例えば、イベント検出器５０４）は、拡張システム５００（例えば、イベント検出器５０４）が、内視鏡が内視鏡クリーニング状態であったこと、またはホワイトバランスが撮像システム上で実施されたことを内視鏡状態情報から検出した場合に、器具イベントが発生したことを決定するように構成されてもよい。状態データが内視鏡の状態に関する情報を含まない場合、拡張システム５００（例えば、イベント検出器５０４）は、内視鏡がクリーニング状態であったこと、または他の状態データから、ホワイトバランスが撮像システム上で実施されたことを自動的に検出するように構成されてもよい。例えば、拡張システム５００（例えば、イベント検出器５０４）は、拡張システム５００（例えば、イベント検出器５０４）が、内視鏡に対する特定の力のパターンを識別し、内視鏡の先端の位置が患者の外にあることを識別し、手術室のビデオから、内視鏡がクリーニングされたこと、もしくはホワイトバランスが実施されたことを識別し、および／またはそれらの組み合わせを識別したときに、内視鏡がクリーニング状態にあったこと、または撮像システム上でホワイトバランスが実施されたことを検出するように構成されてもよい。
【0086】
上述のように、状態データは、内視鏡の位置および／または移動に関する情報を含み得る。内視鏡がロボットアームに取り付けられ、オペレータコンソールでオペレータによって制御される場合、内視鏡位置および／または移動情報は、例えば、ロボットアーム上の位置および／またはトルクセンサによって生成され得る。これらの場合、拡張システム５００（例えば、イベント検出器５０４）は、内視鏡移動のサイズ（すなわち、大きさ）または頻度がある範囲の外にあることを、位置および／または移動情報から検出したときに、器具イベントが発生したことを検出するように構成されてもよい。
【0087】
上述したように、一部の場合に、外科用ロボットシステム５０２は、各々がそれに取り付けられた器具を有し得る複数のロボットアームを含んでいてもよく、オペレータ（例えば、外科医）は、ロボットアームおよびそれに取り付けられた器具のうちの１つ以上を、オペレータ（例えば、外科医）コンソールから選択的に制御することができる場合がある。オペレータは、オペレータコンソールを介して、入力装置（例えば、ハンドコントローラ）を特定の器具にリンクすることによって、どのロボットアーム、およびしたがって、どの器具をオペレータによって制御されるかを選択することができる場合がある。どの時点においてもオペレータコンソールによって制御されている器具は、「アクティブ」器具と呼ばれ得る。これらの場合、状態データは、どの器具がどの時点でタスク中にアクティブであったかを示す情報（これは、アクティブ器具情報と呼んでもよい）を含み得る。これらの場合、拡張システム５００（例えば、イベント検出器５０４）は、拡張システム５００（例えば、イベント検出器５０３）が、アクティブ器具情報から、アクティブ器具のうちの１つ以上が変化したことを検出したときに、機器イベントが発生したことを検出するように構成されてもよい。アクティブ器具の変化を検出し、内視鏡ビデオを拡張させることによって、こうした情報は、タスク中に内視鏡ビデオがアクティブ器具の記録を含むことを可能にする。
【0088】
一部の場合に、拡張システム５００（例えば、イベント検出器５０４）は、追加的にまたは代替的に、衝突イベントを検出するように構成されてもよい。衝突イベントは、限定されないが、外科用ロボットシステム５０２のロボットアーム間の衝突、外科用ロボットシステム５０２の異なるロボットアームに取り付けられた器具間の衝突、および外科用ロボットシステム５０２のロボットアームと外科用ロボットシステム５０２の別のロボットアームに取り付けられた器具との間の衝突を含み得る。
【0089】
上述のように、一部の場合に、状態データは、ロボットアーム（複数可）および／またはそれに取り付けられた器具の位置および／または動きを示す、データまたは情報を含み得る。これらの場合、拡張システム５００（例えば、イベント検出器５０４）は、例えば、ロボットアームおよび／または器具の位置および／または動きを示すデータまたは情報に基づいて、衝突イベントが発生した（すなわち、ロボットアームまたは器具が、別のロボットアームまたは器具と衝突した）ことを検出するように構成されてもよい。例えば、拡張システム５００（例えば、イベント検出器５０４）は、例えば、参照により本明細書に組み込まれる出願人の英国特許出願第１８１０７５４．０号に記載されるように、（ｉ）位置および／もしくは動きデータからアームおよび／もしくは器具の位置を決定または推定すること、ならびに１つ以上の器具および／もしくは１つ以上のアームの位置が同一であるか、もしくは実質的に類似していることを決定すること、または（ｉｉ）アームおよび／もしくは器具のうちの２つの上で等しく対抗する力が検出された位置および／もしくは動き情報（例えば、トルクデータ）から決定することによって、アーム間、器具間、またはアームと器具との間で衝突が発生したことを決定するように構成されてもよい。
【0090】
一部の場合に、拡張システム５００（例えば、イベント検出器５０４）は、追加的にまたは代替的に、タスクイベントを検出するように構成されてもよい。タスクイベントは、例えば、実施されるタスクのステップにおける変更を含み得る。例えば、タスク（例えば、外科手術）は、ステップの所定のセットと関連付けられてもよく、そのすべてまたは一部分は、タスク中に実施されてもよく、拡張システム５００（例えば、イベント検出器５０４）は、状態データから、実施されるタスクのステップの変化を検出したときに、イベントが発生したと検出するように構成されてもよい。実施されるタスクのステップを自動的に識別し、この情報で内視鏡ビデオを拡張させることによって、タスクのステップに基づいて内視鏡ビデオを自動的にセグメント化することが可能になり得る。これにより、ユーザは、タスクの特定のステップに関連する内視鏡ビデオの部分を容易に識別することが可能になり得る。
【0091】
上述のように、一部の場合に、状態データは、タスクのどのステップが実施されたか、およびその時を明示的に識別する情報（本明細書では、ステップ識別情報と呼ばれてもよい）を含み得る。例えば、上述のように、オペレータ（例えば、外科医）または他のユーザ（例えば、他の動作チームメンバー）は、タスク中に、タスクのどのステップが実施されるかを手動で示すことができる場合がある。これらの場合、拡張システム５００（例えば、イベント検出器５０４）は、ステップ識別情報からタスクのステップの変化を識別することができる場合がある。タスクのステップを明示的に識別する情報が状態データの一部として受信されない場合、拡張システム５００（例えば、イベント検出器５０４）は、他の状態データからタスクのステップを動的に検出するように構成されてもよい。例えば、拡張システム５００（例えば、イベント検出器５０４）は、以前に実施されたタスクの状態データの中のパターンに合致する状態データで検出されたパターンに基づいて、タスクのステップを検出するように構成されてもよい。特に、拡張システム５００（例えば、イベント検出器５０４）、または別のコンピューティングベースの装置は、現在のタスクと同じタイプの以前に実施されたタスクに関連する状態データ（例えば、同じ外科手術手技または同じタイプの外科手術手技に関連する状態データ）を分析し、分析に基づいて、そのタスクにおけるステップの共通のセットを識別し、および識別されたステップをリンクするマップを生成するように構成されてもよい。一部の場合に、分析は、内視鏡ビデオを少なくとも分析することを含み得る。
【0092】
他の場合では、拡張システム５００（例えば、イベント検出器５０４）、または別のコンピューティングベースの装置は、タスクのステップと関連付けられるセグメントに手動で分割された、１つ以上の以前に実施されたタスクの状態データを提供されてもよく、拡張システム５００（例えば、イベント検出器５０４）、または他のコンピューティングベースの装置は、各ステップと関連付けられる状態データの特性または特徴を識別してもよい。例えば、各ステップは、例えば、器具タイプ（複数可）、ロボットアームの移動、および／またはハンドコントローラの移動である、特徴のうちの１つ以上によって特徴付けられ得る。例えば、拡張システム５００（例えば、イベント検出器５０４）、または他のコンピューティングベースの装置は、縫合ステップに対応する状態データのセグメントが、それ自体として識別される、以前に実施されたタスクの状態データを受信するように構成されてもよい。拡張システム５００（例えば、イベント検出器５０４）、または他のコンピューティングベースの装置は、次に、縫合ステップに対応するものとして識別された状態データの部分を分析して、ロボットアームの２つの取り付けられる針駆動器具、ハンドコントローラ（およびしたがって、エンドエフェクタ）との繰り返しの小さな湾曲運動を行うオペレータ、ならびにエンドエフェクタおよびエンドエフェクタジョーに及ぼされる強い力などの特徴を識別し得る。次いで、ステップの特性および／または特徴を使用して、後続するタスクに対する状態データからそのステップを識別することができる。一部の場合に、拡張システム５００（例えば、イベント検出器５０４）、または他のコンピューティングベースの装置は、タスクステップを十分に記述する、状態データの単一のセット（すなわち、以前に実施された単一のタスクに関連する状態データ）の特性または特徴から、それが状態データの別のセット（すなわち、別のタスクに関連する状態データ）で識別され得るように生成することができる場合がある。他の場合では、拡張システム５００（例えば、イベント検出器５０４）、または他のコンピューティングベースの装置は、タスクステップを十分に記述する特性または特徴を生成するために、状態データの複数のセットを必要とし、それによって、それが状態データの別のセットで識別され得る。
【0093】
拡張システム５００（例えば、イベント検出器５０４）によって自動的に検出可能であり得る、ロボット支援外科手術手技のためのステップの例示のセットを表１に示す。ロボット支援外科手術手技は、これらのステップ（すなわち、サブセット）のすべて、または一部分のみを含み得る。
【表1】
【0094】
多くの場合、各タスクは、タスク中に実施され得る所定のステップのセットを有し、起こり得るステップのほんの少数の可能な組み合わせがある。これらの場合、拡張システム５００（例えば、イベント検出器５０４）が特定のステップを検出すると、そのステップの後に発生し得るかなり限られた数のステップがあるのが典型的である。これにより、タスクのステップを検出する際の拡張システム５００（例えば、イベント検出器５０４）に対する負担が軽減され得る。それはまた、拡張システム５００（例えば、イベント検出器５０４）は、予期されるステップのセットから逸脱したとき（例えが、予期されるステップのリストにないステップが実施されたとき、または予期されるステップのリストのステップが順序外に実施されたとき）を検出することを可能にし得る。以下に記載されるように、拡張システム５００（例えば、イベント検出器５０４）が、ステップの予期されるセットからの偏差があることを検出すると、拡張システム５００（例えば、イベント検出器５０４）は、緊急イベントを検出するように構成されてもよい。
【0095】
一部の場合に、拡張システム５００（例えば、イベント検出器５０４）は、追加的にまたは代替的に、患者イベントを検出するように構成されてもよい。患者イベントは、患者のバイタルサインもしくは１つ以上の他の健康メトリックのうちの１つ以上がある範囲の外にあること、ならびに／または患者の１つ以上のバイタルサインおよび／もしくは他の健康メトリックが変化している（例えば、特定量を超えている）ことを含み得る。
【0096】
上述のように、一部の場合に、状態データは、患者の健康情報、またはタスク中の患者のバイタルサインおよび／もしくは１つ以上の他の健康メトリックのうちの１つ以上の状態を示すデータを含み得る。これらの場合、拡張システム５００（例えば、イベント検出器５０４）は、患者の健康情報またはデータが、患者の健康メトリック（例えば、バイタルサイン）のうちの１つ以上がある範囲の外にあることを示すときに、患者イベントを検出するように構成されてもよい。範囲は、健康メトリックの間で変化し得る（例えば、呼吸数および心拍数に対して異なる範囲があり得る）。
【0097】
一部の場合に、範囲は予め決定されてもよい。他の場合では、範囲は、以前に実施されたタスクの状態データから学習され得る。例えば、拡張システム５００（例えば、イベント検出器５０４）、または別のコンピューティングベースの装置は、以前に実施されたタスクの状態データから、ネガティブな転帰が発生する直前の異なる健康メトリックのレベルを識別し、識別されたレベルから範囲を生成し得る（例えば、最低および最高の識別されたレベルを包含する範囲が選択され得る）。範囲は、すべてのタスクにわたって決定されてもよく、または異なる範囲は、異なるタスク（すなわち、異なる外科手術手技）に対して決定されてもよい。例えば、それは、Ｘ～Ｙの範囲の心拍数が外科手術タイプＡでは正常であるが、外科手術タイプＢでは正常ではない、以前に実施されたタスクの状態データから決定され得る。
【0098】
一部の場合に、拡張システム５００（例えば、イベント検出器５０４）は、追加的にまたは代替的に、オペレータ（例えば、外科医）イベントを検出するように構成されてもよい。オペレータ（例えば、外科医）イベントは、限定されないが、オペレータ（例えば、外科医）バイタルサインおよび／もしくは他の健康メトリックがある範囲の外にあること、オペレータ（例えば、外科医）のバイタルサインおよび／もしくは他の健康メトリックのうちの１つ以上が変化している（例えば、特定量を超えている）こと、入力装置（例えば、ハンドコントローラ）のうちの１つ以上へのオペレータ（例えば、外科医）によって及ぼされる把持力が変化している（例えば、特定量を超えている）こと、ならびに／または入力装置（例えば、ハンドコントローラ）のうちの１つ以上へのオペレータ（例えば、外科医）によって及ぼされる押す力が変化している（例えば、特定量を超えている）こと、のうちの１つ以上を含み得る。例えば、拡張システム５００（例えば、イベント検出器）は、オペレータの血圧が特定範囲外である場合、またはオペレータの心拍数が特定範囲外であり、かつオペレータによって及ぼされる把持力が特定の閾値／量を超える場合に、オペレータイベントが発生したことを検出するように構成されてもよい。
【0099】
上述したように、一部の場合に、状態データは、タスク中のオペレータ（例えば、外科医）健康情報、またはオペレータ（例えば、外科医）バイタルサインのうちの１つ以上、および／もしくはオペレータ（例えば、外科医）のその他の健康メトリックのうちの１つ以上の健康情報の状態を示すデータを含み得る。これらの場合、拡張システム５００（例えば、イベント検出器５０４）は、オペレータの健康情報またはデータが、オペレータの健康メトリック（例えば、バイタルサイン）のうちの１つ以上がある範囲の外にあること、または特定の量を超えて変化したことを示すときに、オペレータイベントを検出するように構成されてもよい。範囲および／または特定の量は、健康メトリック（例えば、呼吸数および心拍数に対して異なる範囲があり得る）、オペレータおよび／またはタスクの間で変化し得る。
【0100】
一部の場合に、範囲および／または特定の量は、以前に実施されたタスクの状態データから学習され得る。例えば、拡張システム５００（例えば、イベント検出器５０４）、または別のコンピューティングベースの装置は、以前に実施されたタスクの状態データから、ネガティブイベント（例えば、オペレータまたは患者に関連するネガティブイベント）の直前のオペレータの異なる健康メトリックのレベルを識別し、識別されたレベルから範囲を生成し得る（例えば、最低および最高の識別されたレベルを包含する範囲が選択され得る）。範囲は、すべてのオペレータに対して決定されてもよく、または異なる範囲は、異なるオペレータに対して決定されてもよい。例えば、それは、Ｘ～Ｙの範囲の心拍数が１人のオペレータでは正常であるが、別のオペレータでは正常ではない、以前に実施されたタスクの状態データから決定され得る。
【0101】
上述したように、一部の場合に、状態データは、オペレータによってハンドコントローラのうちの１つ以上に加えられる把持力を記述する、ハンドコントローラグリップ情報を含み得る。これらの場合、拡張システム５００（例えば、イベント検出器５０４）は、拡張システム５００（例えば、イベント検出器５０４）が、把持力が変化した（または特定量を超えて変化した）ことをハンドコントローラの把持情報から検出したときに、オペレータイベントを検出するように構成されてもよい。
【0102】
上述のように、一部の場合に、ハンドコントローラは、ジンバルを介して平行グラムリンケージ上に装着されてもよく、状態データは、リンケージおよび／またはジンバルのジョイントの位置および／またはトルクを示す位置および／またはトルクデータを含み得る。これらの場合、拡張システム５００（例えば、イベント検出器５０４）は、位置および／もしくはトルクリンケージならびに／またはジンバル情報から、入力装置（例えば、ハンドコントローラ）のうちの１つ以上へのオペレータによって及ぼされる押す力を決定し、拡張システム５００が、押す力が変化したこと（または特定の量を超えて変化したこと）を検出したときに、オペレータイベントが発生したことを検出するように構成されてもよい。
【0103】
一部の場合に、拡張システム５００（例えば、イベント検出器５０４）は、追加的にまたは代替的に、性能イベントを検出するように構成されてもよい。性能イベントは、タスク（またはタスクの一部）を実施する際のオペレータ（例えば、外科医）の性能に関連するイベントであり、限定されないが、オペレータ（例えば、外科医）の性能が許容可能なレベルを下回ったこと、および／またはオペレータ（例えば、外科医）の性能が変化した（または特定の量を超えて変化した）ことを含み得る。
【0104】
一部の場合に、拡張システム５００（例えば、イベント検出器５０４）は、タスクについての状態データを、以前に実施されたタスク（例えば、同じタイプのタスク）についての状態データと比較することによって、オペレータ（例えば、外科医）の性能が閾値を下回ったことを検出するように構成されてもよい。例えば、拡張システム５００は、以前に実施されたタスクについての状態データが記憶され、かつオペレータ（例えば、外科医）の性能が評価または識別された（例えば、性能は、限定されないが、１～１０のスケールなどのスケールでランク付けされてもよい）データリポジトリへのアクセスを有してもよく、状態データは、リポジトリに記憶された状態データと比較されて、タスクについてのオペレータ（例えば、外科医）の性能レベルを決定することができる。
【0105】
一部の場合に、拡張システム５００（例えば、イベント検出器５０４）は、オペレータ（例えば、外科医）の１つ以上の性能メトリックを、以前に実施されたタスクについてのオペレータ（例えば、外科医）の性能メトリックと比較することによって、タスクについてのオペレータ（例えば、外科医）の性能レベルを決定するように構成されてもよい。例えば、拡張システム５００（例えば、イベント検出器５０４）は、性能メトリックに基づいて、タスク中の複数の時点で、オペレータの性能レベルを決定する（例えば、１～１０のレベルを決定するなど）ように構成されてもよく、拡張システム５００（例えば、イベント検出器５０４）は、性能レベルが変化した場合、または性能レベルが許容可能な範囲外である場合に、性能イベントを検出してもよい。一部の場合に、性能メトリックは、タスクもしくはタスクのステップの実施においてロボットアームもしくは器具によって得られる経路、タスクもしくはタスクのステップの実施におけるロボットアームおよび／もしくは器具の移動の滑らかさ、タスクもしくはタスクのステップの実施にかかる時間、ならびに／またはロボットアームの移動の振幅もしくは頻度、のうちの１つ以上を含み得る。
【0106】
上述のように、一部の場合に、状態データは、外科用ロボットシステム５０２のアーム（複数可）および／または器具（複数可）の位置および／または移動を記述する情報を含み得る。これらの場合、拡張システム５００（例えば、イベント検出器５０４）は、アーム（複数可）および／または器具（複数可）の位置および／または移動を記述する情報から、ロボットアームおよび／または器具（複数可）の経路を決定するように構成されてもよい。得られた経路が識別されると、拡張システム５００（例えば、イベント検出器）は、得られた経路を、そのタスクまたはそのタスクのステップについて「最良」または「最適」の経路と比較することによって、ユーザの性能を評価するように構成されてもよい。「最良の」経路は、以前に実施されたタスクについての状態データから決定され得る。例えば、拡張システム５００、または別のコンピューティングベースの装置は、経路がランク付けされた、以前に実施されたタスクについての状態データから、「最良の」経路を決定するように構成されてもよい。上述の状態データのソースのすべてに加えて、以前に実施されたタスクの状態データはまた、転帰データを含み得る。当業者には知られているように、転帰データは、外科手術の結果（例えば、成功／失敗）に関する情報である。一部の場合に、得られた経路が「最良の」または「最適の」経路に近いほど、性能が良くなり、その経路が「最良の」または「最適の」経路から遠ければ遠いほど、性能は悪くなる。
【0107】
拡張システム５００（例えば、イベント検出器５０４）はまた、経路が滑らかな曲線またはギザギザのエッジを有するかどうかに基づいて、経路の滑らかさを測定することができる場合があり、拡張システム５００（例えば、イベント検出器５０４）は、例えば、滑らかな曲線の数および／またはギザギザのエッジの数に基づいて、オペレータの性能を評価するように構成されてもよい。
【0108】
上述のように、一部の場合に、状態データは、タスクおよび／または実施されたタスクのステップを明示的に識別する情報を含み得る。他の場合では、拡張システム５００は、他の状態データに基づいて、タスクおよび／またはタスクのステップを動的に識別することができる場合がある。いずれの場合においても、拡張システム５００（例えば、イベント検出器５０４）は、タスク間またはタスクのステップ間の時間を測定することによって、タスクまたはタスクのステップを実施するためにかかった時間を決定するように構成されてもよい。拡張システム５００（例えば、イベント検出器５０４）は、タスクまたはタスクのステップを完了するためにかかった時間と、以前に実施された同じタスクまたは以前に実施されたタスク中の同じステップを完了するためにかかった時間（状態データから生成されるような時間）とを比較することによって、オペレータの性能を評価することができる場合がある。
【0109】
上述のように、一部の場合に、状態データは、入力装置（例えば、ハンドコントローラ）の位置および／または移動を記述する情報を含み得る。これらの場合、拡張システム５００は、ハンドコントローラの位置および／または移動データから、ハンドコントローラの移動の振幅（例えば、大きさ）および頻度を決定するように構成されてもよい。次に、拡張システム５００は、測定された移動の振幅および頻度に基づいて、オペレータの性能を評価するように構成されてもよい。特に、移動の大きな変化および／または多くの変化は、性能不良を示し得るが、小さな頻度の低い移動は、良好な性能を示し得る。
【0110】
例えば、拡張システム５００（例えば、イベント検出器５０４）は、ハンドコントローラの位置および／または移動データを、時間領域から頻度領域へ（例えばフーリエ変換を介して）変換し、イベントが発生したことを示す頻度領域のパターンを識別するように構成されてもよい。例えば、拡張システム５００が、頻度ドメインにおける多くの低い頻度の構成要素を検出する場合、これは、疲労または中毒を示し得るが、頻度ドメインにおける多くの高い頻度の構成要素は、高レベルの震えまたはパニック運動を示し得る。一部の場合に、低い頻度および高い頻度の構成要素に許容可能な範囲があってもよく、その一方または両方が対応する許容可能な範囲外である場合、拡張システム５００（例えば、イベント検出器５０４）は、性能イベントが発生したと決定するように構成されてもよい。
【0111】
一部の場合に、拡張システムは、複数の性能基準に基づいて、単一のオペレータ性能スコア、または記述子を決定するように構成されてもよい。他の場合では、拡張システム５００（例えば、イベント検出器５０４）は、各々異なる性能基準に基づいて、複数のオペレータの性能スコアを決定するように構成されてもよい。拡張システム５００（例えば、イベント検出器５０４）は、性能基準のうちのいずれかが許容可能なレベルを下回ったか、または性能基準のうちのいずれかが（例えば、少なくとも特定の量だけ）変化した場合に、性能イベントが発生したと決定するように構成されてもよい。
【0112】
一部の場合に、拡張システム５００（例えば、イベント検出器５０４）は、追加的にまたは代替的に、緊急イベントを検出するように構成されてもよい。緊急イベントとは、タスク中に緊急イベントが発生した、または発生した可能性が高いことを示すイベントである。拡張システム５００（例えば、イベント検出器５０４）は、拡張システム５００が、タスクのために存在する個人のうちの１人以上（例えば、外科手術チームのうちの１つ以上）が声を上げて話したこと、タスクのために存在する個人のうちの１人以上（例えば、外科手術チームのうちの１つ以上）が警告の言葉もしくは語句を話したこと、外科用ロボットアームによる突然の移動、および／またはタスクの所定のステップからの逸脱もしくは離脱を検出したときに、緊急イベントを検出するように構成されてもよい。
【0113】
上述のように、一部の場合に、状態データは、タスクが実施される部屋（例えば、手術室）のビデオおよび／または音声記録を含み得る。これらの場合、拡張システム５００（例えば、イベント検出器５０４）は、拡張システム５００（例えば、イベント検出器５０４）が、部屋の中の個人が声を上げて話したビデオおよび／または音声録音から検出したときに、緊急イベントを検出するように構成されてもよい。具体的には、個人が声を上げながら話した場合、それは、部屋／室内の個人間に何らかの衝突があること、および／または部屋／室内に論点もしくは問題点があることを示し得る。拡張システム５００（例えば、イベント検出器５０４）は、任意の既知の音声分析技術を使用して、大きな声を検出することができる場合がある。
【0114】
状態データがビデオおよび／または音声記録を含む場合、拡張システム５００（例えば、イベント検出器５０４）はまた、または代替的に、拡張システム５００（例えば、イベント検出器５０４）が、部屋の中の個人が警告の言葉または語句（すなわち、問題がある可能性があることを示す言葉または語句）を話したビデオおよび／または音声記録から検出したときに、緊急イベントを検出するように構成されてもよい。拡張システム５００（例えば、イベント検出器５０４）は、任意の既知の音声認識または分析技術を使用して、ビデオおよび／または音声記録中の警告の言葉および／または語句を検出するように構成されてもよい。警告の言葉および／または語句のリストは、分析を開始する前に、拡張システム５００（例えば、イベント検出器５０４）に予めロードされてもよい。一部の場合に、警告の言葉および／または語句のリストは、以前に実施されたタスクの状態データから学習され得る。例えば、拡張システム５００（例えば、イベント検出器５０４）、または別のコンピューティングベースの装置は、複数の以前に実施されたタスクの各々の状態データから、ネガティブな転帰の前の特定の期間、発話された任意の言葉または語句を識別し、特定の数の以前に実施されたタスクの間に共通する、識別された言葉または語句のリストを生成し得る。
【0115】
当業者には、これは、拡張システム５００（例えば、イベント検出器５０４）が検出する能力を有し得るイベントの例示のセットであり、他の実施例では、拡張システム（例えば、イベント検出器５０４）が、追加のイベント、イベントのサブセットまたは異なるイベントのみを検出するように構成されてもよいことが明白であろう。例えば、拡張システム５００（例えば、イベント検出器５０４）が検出することができる場合がある他のイベントは、送気機器内の圧力降下を含むが、これらに限定されない。
【0116】
一部の場合に、イベントのセットが状態データから識別されると、拡張システム５００（例えば、イベント検出器５０４）は、イベントのパターンに基づいて、追加のイベントを自動的に識別するように構成されてもよい。例えば、イベントの特定のパターンは、別のイベントが発生したことを示し得る。特定のイベントが発生したことを示すイベントのパターンを学習してもよい（例えば、以前に実施されたタスクについての状態データから－以前に実施されたタスクは、現在のタスクと同じタスク、現在のタスクと類似したタスクのセット、または現在のタスクに対する異なるタスクのセットであってもよい）。
【0117】
一部の場合に、拡張システム５００（例えば、イベント検出器５０４）は、状態データからイベントの所定のセットを検出することができる場合がある。拡張システム５００（例えば、イベント検出器５０４）が状態データから検出することができるイベントの所定のセットは、受信した状態データのタイプおよび／または１つ以上の他の基準に基づいてもよい。一部の場合に、拡張システム５００は、検出可能であるイベントの所定のセットのサブセットのみを検出するように構成されてもよい。例えば、ユーザは、拡張システム５００（例えば、イベント検出器）がイベントの所定のセットのサブセットのみを検出するように構成することができる場合がある。これは、例えば、ユーザが内視鏡ビデオで特定の何かを探しているときに有用であり得る。例えば、拡張システム５００（例えば、イベント検出器５０４）にリンクされたユーザインターフェース（例えば、グラフィカルユーザインターフェース（ＧＵＩ））があってもよく、それによって、ユーザは、拡張システム５００を構成することができる。ユーザインターフェースは、例えば、拡張システム５００によってサポートされるイベントの所定のセットをユーザに提示してもよく、ユーザは、サポートされるイベントのうち、どのイベントが拡張システム（例えば、イベント検出器５０４）によって検出されるかを選択してもよい。
【0118】
代替的に、または加えて、拡張システム５００（例えば、イベント検出器５０４）がどのイベントを検出するかを手動で選択することができるユーザに対して、拡張システム５００（例えば、イベント検出器５０４）は、拡張システム５００にログインしているユーザに基づいて、検出されるイベントを自動的に選択するよう構成されてもよい。例えば、一部の場合に、状態データに基づいて拡張内視鏡ビデオを生成するために、ユーザは、拡張システム５００でログインするか、またはそうでなければ、自分自身を認証しなければならない場合があり、拡張システム５００（例えば、イベント検出器５０４）によって検出されるイベントは、例えば、ユーザの特権に基づいている。例えば、タスクを実施したオペレータは、別のオペレータ（例えば、外科医）よりも多くのイベントにアクセスすることができる場合がある。例えば、タスクを実施したオペレータは、性能イベントを見ることができる場合があり、一方で別のオペレータ（例えば、外科医）は、その特定のタスクに関する性能イベントを見ることができない場合がある。以下でより詳細に説明するように、拡張システム５００（例えば、イベント検出器５０４）は、状態データからイベントの所定のセットのサブセットのみを検出するように構成されている代わりに、拡張システム５００は、イベントの所定のセットのすべてを検出するように構成されてもよく、拡張ビデオが視聴されたときにユーザが利用可能なイベントは、構成可能であってもよく、および／またはユーザ特権に基づいてもよい。
【0119】
一部の場合に、状態データから検出された各イベントについて、拡張システム５００（例えば、イベント検出器５０４）は、内視鏡ビデオを拡張するために使用されるイベント情報を生成し得る。イベント情報には、検出されたイベントを識別するイベント識別子、イベントがいつ開始したかを識別するイベント開始時間、および任意選択的に、イベントがいつ停止したかを示すイベント持続時間またはイベント終了時間（イベントが持続時間を有する場合）が含まれ得るが、これらに限定されない。イベント識別子は、検出されたイベントを識別する名前または番号であってもよい。一部の場合に、例えば、番号およびテキスト説明を有するルックアップテーブルに列挙される、検出され得る所定のイベントのセットが存在し得る。開始時間および／または終了時間は、絶対時間（例えば、３：４５ｐｍ）であってもよいか、または相対時間（例えば、タスク開始の３５分後）であってもよい。
【0120】
拡張システム５００（例えば、イベント検出器５０４）が状態データを分析して、タスク中に発生したイベントを識別すると、方法８００は、内視鏡ビデオが拡張されるブロック８０８に進む。図８の方法８００では、イベント検出器は、状態データを分析して、タスク中に発生したすべてのイベントを識別し、その後、方法８００は、内視鏡ビデオの拡張のためにブロック８０８に進むが、他の例示の方法では、内視鏡ビデオは、イベントごとに拡張され得る。言い換えれば、他の場合では、内視鏡ビデオは、すべてのイベントが検出されるまで待つ必要はなく、イベントが検出されるとすぐに拡張されてもよい。
【0121】
ブロック８０８で、拡張システム５００（例えば、拡張器５０６）は、ブロック８０６で検出された各イベントについて、検出されたイベントおよびイベントが内視鏡ビデオに対して発生した時間を識別する情報で、ブロック８０２で受信された内視鏡ビデオを拡張することによって、拡張内視鏡ビデオを生成する。上述のように、一部の場合に、内視鏡ビデオに追加された情報は、内視鏡ビデオの関連時間（例えば、イベントが始まったとき、またはイベントの持続期間にわたって）に置かれるマーカーの形態を取り得る。情報またはマーカーは、拡張内視鏡ビデオがその後、例えば、メディアプレーヤーを介して再生または視聴されるときに、ユーザに対して可視的である場合がある。一部の場合に、マーカーは、拡張内視鏡ビデオが、例えば、メディアプレーヤーを介して再生または視聴されるときに、ユーザが内視鏡ビデオの特定のポイントに簡単にジャンプすることを可能にする、ブックマークの形態を取り得る。例えば、ユーザが拡張内視鏡ビデオをメディアプレーヤーで起動すると、ユーザは、検出されたイベントを表すビデオ内のブックマークのリストを提示されてもよく、ユーザは、ブックマークを選択することによって、ブックマークによって識別されるポイントのうちの１つに直接的に移動することができる。一部の場合に、特定のイベントに関連する情報（例えば、マーカー）は、内視鏡ビデオの一部を形成するか、または内視鏡ビデオと関連付けられたメタデータに含まれ得る。
【0122】
例えば、表２は、ブロック８０６で拡張システム５００（例えば、イベント検出器５０４）によって検出された可能性のあるイベントのリストを示している。当業者にとって、これらは、例示のイベント、開始時間、終了時間、および持続時間であり、他の状態時間、終了時間、および持続時間を伴う他のイベントが検出され得ることは明白であろう。
【表2】
【0123】
図１０は、ブロック８０６で拡張システム５００（例えば、イベント検出器）によって検出された、表２に示されるイベントに基づいて拡張された例示の拡張内視鏡ビデオ１０００である。図１０から分かるように、この実施例では、拡張システム５００（例えば、拡張器５０６）は、識別されたイベントの各々に対して１つのマーカー１００２、１００４、１００６、１００８を元の内視鏡ビデオ１０１０に追加して、拡張内視鏡ビデオ１０００を生成する。具体的には、拡張システム５００（例えば、拡張器５０６）は、縫合ステップが２５分～４５分に発生したことを示す第１のマーカー１００２と、針ドライバ器具が２５分～３０分にロボットアーム０に取り付けられたことを示す第２のマーカー１００４と、針ドライバ器具が３０分～３５分にロボットアーム１に取り付けられたことを示す第３のマーカー１００６と、オペレータの性能が、６５分でレベル７に変化したことを示す第４のマーカー１００８と、を追加した。当業者には、これが、内視鏡ビデオがどのように拡張され得るかの単なる実施例であり、他の実施例では、内視鏡ビデオは異なる様式で拡張され得ることは明白であろう。
【0124】
拡張内視鏡ビデオが生成されると、拡張内視鏡ビデオは、後で使用するために、拡張システム５００のメモリまたは別の装置のメモリ内に記憶され得る。例えば、記憶された拡張内視鏡ビデオは、その後、例えば、オペレータの性能をレビューし、オペレータに手技を実施するための方法などを教えるために、メディアプレーヤーを使用して、視聴または再生されてもよい。拡張内視鏡ビデオに追加された情報またはマーカーは、拡張された内視鏡が視聴または再生されたときに、ユーザによって視認可能である。特に、場合によっては、情報またはマーカーは、ブックマークとして提示され得る。例えば、図１１に示すように、ユーザが、例えば、メディアプレーヤー１１０２を介して図１０の例示の拡張内視鏡ビデオ１０００を視聴するときに、ユーザは、内視鏡ビデオ１１０６とともにブックマーク１１０４のリスト（またはブックマークのメニュー）を提示される場合がある。例えば、図１１には、表２で検出された各イベントに対するブックマークがある。すなわち、縫合ステップに対するブックマーク、各器具変更に対するブックマーク、および性能レベルの変更に対するブックマークがある。次に、ユーザは、ブックマーク１１０４のうちの１つを選択することによって、内視鏡ビデオ１１０６の特定の部分に自動的に移動することができる。一部の場合に、図１１に示すように、ブックマーク１１０４は、例えば、タイプまたは時間に基づいて、グループでユーザに提示され得る。しかしながら、当業者には、これが単なる実施例であり、ブックマークが別の方法でユーザに提示され得ることは明白であろう。
【0125】
一部の場合に、ブックマークとしてユーザに提示される各検出されたイベントについて、内視鏡ビデオに追加された情報またはマーカーに加えて、検出されたイベントについての内視鏡ビデオに追加された情報は、内視鏡ビデオがプレイバックされる際にユーザに提示され得る。例えば、拡張内視鏡ビデオは、ビデオがプレイバックされたときに、画面の上部、下部、または側部にあるバナーにイベント情報を表示するように、すなわち、検出されたイベントについての情報を、内視鏡ビデオの適切な時点または関連する時点に表示するように拡張されてもよい。
【0126】
一部の場合に、拡張内視鏡ビデオが、例えば、メディアプレーヤーを使用して視聴または再生されたときに視認可能である情報またはマーカーが、構成可能であってもよい。例えば、拡張内視鏡ビデオのユーザは、拡張内視鏡ビデオにタグ付けされたイベントのリストを提示されてもよく、ユーザは、それらのイベントのうちのどれを視認可能とするかを選択することができる場合がある。ユーザは、個々のイベントまたはイベントのタイプを選択することができる場合がある。例えば、ユーザは、すべての器具イベントおよび／もしくはすべてのタスクイベント、または一部の器具イベントおよび／もしくは一部のタスクイベントを選択することができる場合がある。一部の場合に、拡張内視鏡ビデオが視聴または再生されたときに視認可能である情報またはマーカーは、拡張内視鏡ビデオを視聴しているユーザに基づいてもよい。例えば、一部の場合に、拡張内視鏡ビデオを視聴するために、ユーザは、内視鏡ビデオ視聴システムにログインするか、またはそうでなければ、内視鏡ビデオ視聴システムの認証を受ける必要がある場合がある。これらの場合に、拡張内視鏡ビデオが視聴または再生されたときに視認可能である情報またはマーカーは、ビデオを再生するユーザに関連付けられた特権に基づいて決定され得る。例えば、タスクを実施したオペレータは、すべての情報またはマーカーを見ることができる場合があり、他のユーザは、情報またはマーカーのサブセットのみを見ることができる場合がある。例えば、他のユーザは、性能イベントに関連するいかなる情報またはマーカーも見ることができない場合がある。
【0127】
一部の場合に、タスク中に発生したイベントを識別する情報またはマーカーで内視鏡ビデオを自動的に拡張するように構成されることに加えて、拡張システム５００はまた、器具およびその位置ならびに／または状態データからの移動の三次元（３Ｄ）仮想現実（ＶＲ）再構成を生成するように構成されてもよい。次いで、拡張システム５００は、拡張内視鏡ビデオを、器具の３Ｄ ＶＲ再構成と同期およびリンクさせ、その結果、内視鏡ビデオが視聴または再生されるときに、３Ｄ ＶＲ再構成を、拡張内視鏡ビデオとともに視聴することができる。例えば、上述のように、一部の場合に、状態データは、タスク中のロボットアーム（複数可）および／またはそれに取り付けられた器具の位置および／または移動を記述する情報、ならびにタスク中の各ロボットアームに取り付けられた器具を記述する情報を含み得る。これらの場合、拡張システム５００は、ロボットアーム／器具位置／移動情報から器具の位置および移動を決定するように構成されてもよい。器具の位置および移動が識別されると、移動は、各アームに取り付けられた器具のタイプに基づいて、関連器具の３Ｄモデルにマッピングされ得る（状態データの器具情報によって識別されるように）。移動が３Ｄモデルにマッピングされると、３Ｄモデルをマージして、タスク中に器具の３Ｄ ＶＲ再構成を形成することができる。次いで、３Ｄ ＶＲ再構成は、時間同期され、拡張内視鏡ビデオにリンクされ得る。一部の場合に、３Ｄ ＶＲ再構成における器具の斜視図またはビューが、構成可能であってもよい（すなわち、ユーザは、ビューポイントを設定または構成することができる場合がある）。これにより、ユーザは、内視鏡のビューポイントとは異なるビューポイントで器具を見ることが可能になり得る。一部の場合に、ビューポイントは、プレイバック中に動的に再構成されてもよい。具体的には、３Ｄ ＶＲ再構成により、ユーザは、プレイバックまたは視聴中にビューポイントを調整することが可能になり得る。
【0128】
場合によっては、タスク中に発生したイベント、および内視鏡ビデオに関して発生した時間または期間を識別する情報またはマーカーで、内視鏡ビデオを自動的に拡張するように構成されることに加えて、拡張システム５００はまた、拡張内視鏡ビデオを、識別されたイベントにリンクさせる様式で、状態データのすべてまたは一部分にリンクするように構成されてもよく、それは、内視鏡ビデオの関連部分だけでなく、状態データのすべてまたは一部分の関連部分にもリンクするように構成されてもよい。例えば、拡張内視鏡ビデオは、状態データを形成するデータストリームのすべてまたはサブセットのみにリンクされてもよい。例えば、状態データが、患者心拍データストリームおよび外科用ロボットアーム位置情報データストリームを含む場合、拡張内視鏡ビデオは、データストリームのいずれかまたは両方にリンクされてもよい。リンクされた拡張内視鏡ビデオおよび状態データは、拡張結合データと呼ばれ得る。
【0129】
上述のように、状態データは、例えば、共通のタイムスタンプまたは共通のタイムラインを介して、内視鏡ビデオと時間同期される。したがって、拡張結合データは、拡張された内視鏡ビデオを、状態データのすべてまたは一部分とリンクさせることによって生成されてもよく、その結果、内視鏡ビデオおよび状態データの対応する部分が、整列またはリンクされる。例えば、図１２は、内視鏡ビデオ１０００の対応する部分と状態データ１２０２とが整列またはリンクされるように、対応する状態データ１２０２にリンクされている図１０の例示の拡張内視鏡ビデオ１０００を例示している。この実施例では、状態データ１２０２は、２つのデータストリーム、すなわち、患者心拍データストリーム１２０６および外科用ロボット位置情報データストリームを含み、両方のデータストリームは、拡張内視鏡ビデオ１０００にリンクされている。これは、例えば、３０分（タスク内）での心拍データと外科用ロボット位置情報が、３０分（タスク内）で内視鏡ビデオにリンクされることを意味する。しかしながら、当業者には、これが一例であり、状態データ１２０２が上述のデータストリームの任意の組み合わせを含んでもよいことが明白である。リンクされた拡張内視鏡ビデオ１０００および状態データ１２０２は、拡張結合データ１２０８を形成する。
【0130】
拡張内視鏡ビデオが状態データにリンクされて、拡張結合データを形成すると、拡張内視鏡ビデオ内の情報および／またはマーカーを使用して、識別されたイベントの各々に関連する内視鏡ビデオの部分および状態データを識別することができる。このようにして、拡張内視鏡ビデオ内の情報またはマーカーは、識別されたイベントに関連する結合データの時間スライスを識別するものと考えることができる。例えば、縫合ステップを識別するマーカー１００２は、縫合ステップに対応する内視鏡ビデオの部分、患者心拍データストリーム、および外科用ロボット位置情報データストリームを識別する。次いで、マーカーを使用して、そのイベントに関連する内視鏡ビデオおよび／または状態データの１つ以上の他のデータストリームからデータを取得することができる。例えば、拡張結合データ内の情報またはマーカーに基づいて、識別されたイベントのリストをユーザに提示することができる、拡張結合データを受信するように構成されたシステムまたはソフトウェアが存在し得る。次に、イベントのうちの１つを選択することによって、ユーザは、そのイベントに関連する内視鏡ビデオの部分および状態データを提示され得る。イベントに関連する内視鏡ビデオおよび状態データの部分は、任意の好適な形態でユーザに提示され得る。例えば、列挙されたイベントを選択することによって、そのイベントに関連する内視鏡ビデオの部分は、関連する状態データの表示とともに再生されてもよい（例えば、関連する部分の間の患者の心拍数は、再生される際に内視鏡ビデオの上方、下方、または側方へ表示されてもよい）。
【0131】
上述のように、拡張結合データは、最初に拡張内視鏡ビデオを生成し、次いで拡張内視鏡ビデオをリンクすることによって生成されるが、他の実施例では、内視鏡ビデオは、状態データのすべてまたは一部分にリンクされて、拡張前の結合データを生成し、その結果、拡張器５０６は、識別されたイベント、およびそれらがいつ発生したかを識別する情報またはマーカーで、結合データを拡張して、拡張結合データを生成する。
【0132】
ここで図１３を参照すると、計算および／または電子装置の任意の形態として実装され得る例示のコンピューティングベースの装置１３００の様々な構成要素が例示され、本明細書に記述される方法および拡張システムの実施形態が実装され得る。
【0133】
コンピューティングベースの装置１３００は、データ変換パイプラインのハードウェア設計を確認する目的で、装置の動作を制御するために、コンピュータ実行可能命令を処理するためのマイクロプロセッサ、コントローラ、または任意の他の好適なタイプのプロセッサであり得る、１つ以上のプロセッサ１３０２を含む。いくつかの実施例では、例えば、チップアーキテクチャ上のシステムが使用される場合、プロセッサ１３０２は、（ソフトウェアまたはファームウェアではなく）ハードウェアにおいて、内視鏡ビデオを拡張する方法の一部を実装する、１つ以上の固定機能ブロック（加速器とも呼ばれる）を含み得る。オペレーティングシステム１３０４または任意の他の好適なプラットフォームソフトウェアを含むプラットフォームソフトウェアは、コンピューティングベースの装置で提供され、それにより、図８の方法を実装するソフトウェア１３０５などのアプリケーションソフトウェアが装置上で実行されることが可能になる。
【0134】
コンピュータ実行可能命令は、コンピューティングベースの装置１３００によってアクセス可能である任意のコンピュータ可読媒体を使用して提供されてもよい。コンピュータ可読媒体は、例えば、メモリ１３０６および通信媒体などのコンピュータ記憶媒体を含み得る。メモリ１３０６などのコンピュータ記憶媒体（すなわち、非一時的機械可読媒体）は、コンピュータ可読命令、データ構造、プログラムモジュール、または他のデータなどの情報を記憶するための任意の方法または技術に実装された揮発性および不揮発性、リムーバブルおよび非リムーバブル媒体を含む。コンピュータ記憶媒体には、ＲＡＭ、ＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ、フラッシュメモリもしくは他のメモリ技術、ＣＤ－ＲＯＭ、デジタル汎用ディスク（ＤＶＤ）もしくは他の光記憶装置、磁気カセット、磁気テープ、磁気ディスク記憶装置もしくは他の磁気記憶装置、またはコンピューティングベースの装置によるアクセスのために情報を記憶するために使用され得る任意の他の非送信媒体が含まれるが、これらに限定されない。対照的に、通信媒体は、コンピュータ可読命令、データ構造、プログラムモジュール、もしくはキャリア波などの変調データ信号内の他のデータ、または他のトランスポート機構を具現化し得る。本明細書で定義されるように、コンピュータ記憶媒体は、通信媒体を含まない。コンピュータ記憶媒体（すなわち、非一時的機械可読媒体、例えば、メモリ１３０６）は、コンピューティングベースの装置１３００内に示されるが、記憶装置は、リモートで分配または位置し、（例えば、通信インターフェース１３０８を使用して）ネットワークまたは他の通信リンクを介してアクセスされ得ることが理解されるであろう。
【0135】
コンピューティングベースの装置１３００はまた、コンピューティングベースの装置１３００から分離され、またはそれと統合され得る表示装置１３１２に、表示情報を出力するように配置された入力／出力コントローラ１２１０を含む。表示情報は、グラフィカルユーザインターフェースを提供し得る。入力／出力コントローラ１３１０はまた、ユーザ入力装置１３１４（例えば、マウスまたはキーボード）などの１つ以上の装置から入力を受信および処理するように配置される。このユーザ入力を使用して、検証を開始することができる。一実施形態では、表示装置１３１２はまた、それがタッチセンサ式表示装置である場合に、ユーザ入力装置１３１４として作用してもよい。入力／出力コントローラ１３１０はまた、表示装置以外の装置、例えば、局所的に接続された印刷装置（図１３には示されていない）にデータを出力することができる。
【0136】
これにより、本出願人は、本明細書に記載の各個々の特徴および２つ以上のかかる特徴の任意の組み合わせを、かかる特徴または組み合わせが、当業者の共通の一般知識に照らして、全体として本明細書に基づいて行うことができるような程度まで、かかる特徴または特徴の組み合わせが、本明細書に開示される任意の問題を解決するかどうかにかかわらず、分離して開示する。前述の説明を考慮すると、本発明の範囲内で様々な修正を行うことができることは当業者には明白であろう。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】