(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2023-11-30
(54)【発明の名称】ＡＩ支援ワークフローセグメント化
(51)【国際特許分類】
A61B 34/32 20160101AFI20231122BHJP
【ＦＩ】
A61B34/32
【審査請求】未請求
【予備審査請求】未請求
(21)【出願番号】P 2023530631
(86)(22)【出願日】2021-11-16
(85)【翻訳文提出日】2023-06-08
(86)【国際出願番号】 IB2021060591
(87)【国際公開番号】W WO2022106989
(87)【国際公開日】2022-05-27
(31)【優先権主張番号】63/116,798
(32)【優先日】2020-11-20
(33)【優先権主張国・地域又は機関】US
(31)【優先権主張番号】63/132,850
(32)【優先日】2020-12-31
(33)【優先権主張国・地域又は機関】US
(81)【指定国・地域】
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．ケブラー
２．ＢＬＵＥＴＯＯＴＨ
(71)【出願人】
【識別番号】518083032
【氏名又は名称】オーリス ヘルス インコーポレイテッド
(74)【代理人】
【識別番号】100088605
【弁理士】
【氏名又は名称】加藤 公延
(74)【代理人】
【識別番号】100130384
【弁理士】
【氏名又は名称】大島 孝文
(72)【発明者】
【氏名】アイバリ・エリフ
(72)【発明者】
【氏名】ラフィー－タリ・ヘディー
【テーマコード（参考）】
4C130
【Ｆターム（参考）】
4C130AA13
4C130AA22
4C130AB06
4C130AD01
4C130AD04
4C130AD25
4C130BA05
4C130BA08
(57)【要約】
ロボットシステムは、医療処置の段階を自動的に識別するように構成されている。ロボットシステムは、ビデオキャプチャデバイスと、ロボットマニピュレータと、１つ以上のセンサと、入力デバイスと、制御回路とを含む。制御回路は、センサデータに基づいて、ロボットマニピュレータの第１の位置を決定することと、ユーザ入力及びセンサデータに基づいて、処置のセットから第１の処置を決定することと、決定された第１の処置に基づいて、処置段階のセットを処置段階のサブセットに狭めることと、患者部位の捕捉されたビデオの第１の分析を実行することと、ロボットマニピュレータの第１の位置及びビデオの第１の分析に基づいて、処置段階のサブセットから医療処置の第１の段階を識別することと、医療処置の第１の段階の開始を示す第１のビデオマーカを生成することと、を行うように構成されている。
【特許請求の範囲】
【請求項1】
医療処置の段階を自動的に識別するためのロボットシステムであって、前記ロボットシステムは、ビデオキャプチャデバイスと、
ロボットマニピュレータと、
前記ロボットマニピュレータの構成を決定するための１つ以上のセンサと、
１つ以上のユーザ対話を受信することと、前記ロボットマニピュレータによる１つ以上のアクションを開始することと、を行うように構成された入力デバイスと、
前記入力デバイス及び前記ロボットマニピュレータに通信可能に結合された制御回路であって、前記制御回路は、
前記１つ以上のセンサからのセンサデータに基づいて、前記ロボットマニピュレータの第１の位置を決定することと、
ユーザ入力及び前記１つ以上のセンサからの前記センサデータのうちの少なくとも１つに基づいて、処置のセットから第１の処置を決定することと、
前記第１の処置の前記決定に基づいて、処置段階のセットを前記処置段階のサブセットに狭めることと、
前記ビデオキャプチャデバイスによって捕捉された患者部位のビデオの第１の分析を実行することと、
前記ロボットマニピュレータの前記第１の位置及び前記ビデオの前記第１の分析に少なくとも部分的に基づいて、前記処置段階の前記サブセットから前記医療処置の第１の段階を識別することと、
前記医療処置の前記第１の段階の開始を示す第１のビデオマーカを生成することと、を行うように構成されている、制御回路と、
を備える、ロボットシステム。
【請求項2】
前記処置のセットは、少なくとも、尿管鏡検査、経皮的腎切石術（ＰＣＮＬ）、及びミニＰＣＮＬを含む、請求項１に記載のロボットシステム。
【請求項3】
前記１つ以上のセンサからの前記第１の処置を決定するための前記センサデータは、前記ロボットマニピュレータによって利用される１つ以上の医療器具の無線周波数識別（ＲＦＩＤ）データを含む、請求項１に記載のロボットシステム。
【請求項4】
前記処置のセットに関連付けられたユーザインターフェース（ＵＩ）画面を含むＵＩを更に備え、前記第１の処置は、前記ユーザ入力に基づいて決定され、前記ユーザ入力は、前記第１の処置に関連付けられた第１のＵＩ画面の選択を少なくとも含む、請求項１に記載のロボットシステム。
【請求項5】
前記制御回路は、前記ロボットマニピュレータの第２の位置を決定することと、
前記ビデオキャプチャデバイスによって捕捉された前記ビデオの第２の分析を実行することと、
前記ロボットマニピュレータの前記第２の位置及び前記ビデオの前記第２の分析に少なくとも部分的に基づいて、前記医療処置の第１の段階の終了を示す第２のビデオマーカを前記ビデオに対して生成することと、を行うように更に構成されている、請求項１に記載のロボットシステム。
【請求項6】
前記ロボットマニピュレータは、尿管鏡を備える医療器具を操作するように構成されている、請求項１に記載のロボットシステム。
【請求項7】
前記第１の段階はレーザ処理段階を含み、第２の段階はバスケット処理段階を含み、第３の段階は経皮的アクセス段階を含み、前記第２の段階及び前記第３の段階は、前記ビデオに対する追加のビデオマーカによって示される、請求項１に記載のロボットシステム。
【請求項8】
前記制御回路は、前記第１の段階の前記開始を識別することに応答して、第２の位置への前記ロボットマニピュレータの自動化された移動をトリガするように更に構成されている、請求項１に記載のロボットシステム。
【請求項9】
前記第２の位置への前記ロボットマニピュレータの前記自動化された移動は、医療器具を患者の挿入部位に移動させることと、
前記挿入部位への所定の挿入軌道に沿って前記医療器具を位置合わせすることと、を含む、請求項８に記載のロボットシステム。
【請求項10】
前記制御回路は、前記ロボットマニピュレータによる前記医療器具の移動に応答して、前記医療器具が標的場所にあるか否かを判定することと、
前記医療器具が前記標的場所に到達したことに応答して、前記ロボットシステムのユーザインターフェース上に前記第１の段階の成功を示すことと、を行うように更に構成されている、請求項９に記載のロボットシステム。
【請求項11】
前記制御回路は、複数の医療処置にわたる前記第１の段階の成功及び失敗に関するデータを集約することと、
前記第１の段階の成功率を決定することと、を行うように更に構成されている、請求項１０に記載のロボットシステム。
【請求項12】
前記制御回路は、前記第１の段階の結果を、前記ロボットシステムを操作する医療専門家に関連付けるように更に構成されている、請求項１に記載のロボットシステム。
【請求項13】
前記ロボットマニピュレータによって操作される医療器具の場所を判定するためのセンサを更に備える、請求項１に記載のロボットシステム。
【請求項14】
ビデオキャプチャデバイスと、ロボットマニピュレータと、１つ以上のセンサと、入力デバイスとを備えるロボットシステムを使用して医療処置の段階を自動的に識別するための方法であって、前記方法は、前記１つ以上のセンサからのセンサデータに基づいて、前記ロボットマニピュレータの第１の位置を決定することと、
ユーザ入力及び前記１つ以上のセンサからの前記センサデータのうちの少なくとも１つに基づいて、処置のセットから第１の処置の決定をすることと、
前記第１の処置の前記決定に基づいて、処置段階のセットを前記処置段階のサブセットに狭めることと、
前記ビデオキャプチャデバイスによって捕捉された患者部位のビデオの第１の分析を実行することと、
前記ロボットマニピュレータの前記第１の位置及び前記ビデオの前記第１の分析に少なくとも部分的に基づいて、前記処置段階の前記サブセットから前記医療処置の第１の段階を識別することと、
前記医療処置の前記第１の段階の開始を示す第１のビデオマーカを生成することと、
を含む、方法。
【請求項15】
前記ロボットマニピュレータの第２の位置を決定することと、前記ビデオの第２の分析を実行することと、
前記ロボットマニピュレータの前記第２の位置及び前記ビデオの前記第２の分析に少なくとも部分的に基づいて、前記医療処置の第１の段階の終了を示す第２のビデオマーカを前記ビデオに対して生成することと、を更に含む、請求項１４に記載の方法。
【請求項16】
第１の処置は尿管鏡検査であり、前記第１の段階は調査段階を含み、第２の段階はレーザ処理段階を含み、第３の段階はバスケット処理段階を含む、請求項１４に記載の方法。
【請求項17】
前記方法は、前記ロボットマニピュレータの位置、前記ビデオの分析、及び前記入力デバイスからのユーザ入力に少なくとも部分的に基づいて、前記第２の段階及び前記第３の段階を示すマーカを生成することを更に含む、請求項１６に記載の方法。
【請求項18】
前記第１の段階の前記開始を識別することに応答して、第２の位置への前記ロボットマニピュレータの自動化された移動をトリガすることを更に含む、請求項１４に記載の方法。
【請求項19】
前記第２の位置への前記ロボットマニピュレータの前記自動化された移動は、医療器具を患者の挿入部位に移動させることと、
所定の挿入に沿って前記医療器具を位置合わせすることと、を含む、請求項１８に記載の方法。
【請求項20】
前記ロボットマニピュレータによる前記医療器具の移動に応答して、前記医療器具が標的場所にあるか否かを判定することと、前記医療器具が前記標的場所に到達したことに応答して、前記ロボットシステムのユーザインターフェース上に前記第１の段階の成功を示すことと、を更に含む、請求項１９に記載の方法。
【請求項21】
複数の医療処置にわたる前記第１の段階の成功及び失敗に関するデータを集約することと、前記第１の段階の成功率を決定することと、を更に含む、請求項２０に記載の方法。
【請求項22】
ロボットデバイスによって実行される医療処置の段階を自動的に識別するための制御システムであって、前記制御システムは、前記ロボットデバイスからセンサデータ、ユーザ入力データ、及びビデオデータを受信するように構成された通信インターフェースと、
前記センサデータ、前記ユーザ入力データ、及び前記ビデオデータを記憶するように構成されたメモリと、
１つ以上のプロセッサであって、
前記センサデータから前記ロボットデバイスの第１の位置を決定することと、
ユーザ入力及び前記１つ以上のセンサからの前記センサデータのうちの少なくとも１つに基づいて、処置のセットから第１の処置を決定することと、
前記第１の処置の前記決定に基づいて、識別可能な処置段階のセットを前記処置段階のサブセットに狭めることと、
前記ビデオキャプチャデバイスによって捕捉された患者部位のビデオの第１の分析を実行することと、
前記ロボットデバイスの前記第１の位置及び前記ビデオの前記第１の分析に少なくとも部分的に基づいて、前記処置段階の前記サブセットから前記医療処置の第１の段階を識別することと、
前記医療処置の前記第１の段階の開始を示す第１のビデオマーカを生成することと、を行うように構成されている、１つ以上のプロセッサと、
を備える、制御システム。
【発明の詳細な説明】
【技術分野】
【0001】
（関連出願の相互参照）
本願は、２０２０年１１月２０日に出願された米国仮特許出願第６３／１１６，７９８号、及び２０２０年１２月３１日に出願された米国特許出願第６３／１３２，８５０号に対して優先権を主張するものであり、これら特許文献の各々は参照によりその全体が本明細書に組み込まれる。
本願は、２０２０年１１月２０日に出願された米国仮特許出願第６３／１１６，７９８号、及び２０２０年１２月３１日に出願された米国特許出願第６３／１３２，８５０号に対して優先権を主張するものであり、これら特許文献の各々は参照によりその全体が本明細書に組み込まれる。
【0002】
（発明の分野）
本開示は、医療デバイス及び処置、並びに人工知能支援データ処理の分野に関する。
本開示は、医療デバイス及び処置、並びに人工知能支援データ処理の分野に関する。
【背景技術】
【0003】
様々な医療処置は、人間の解剖学的構造を貫通して治療部位に到達するように構成された１つ以上の医療器具の使用を支援するロボットシステムの使用を含む。ある特定の手術プロセスは、１つ以上の医療器具を患者の皮膚及び開口部を通して挿入して治療部位に到達させ、尿路結石などの対象物を患者から摘出することを伴い得る。
【発明の概要】
【課題を解決するための手段】
【0004】
本明細書では、人体の解剖学的構造内に位置する尿路結石などの対象物へアクセスするための医療器具を制御する際に、医師又は医療専門家を支援するための１つ以上のシステム、デバイス、及び／又は方法が記載される。
【0005】
本開示を要約する目的のために、ある特定の態様、利点、及び新規の特徴が記載されている。必ずしもこのような利点が全て、何らかの特定の実施形態により実現され得るわけではないことを理解されたい。したがって、開示した実施形態は、本明細書で教示される１つの利点又は利点の群の実現又は最適化を、本明細書で教示又は示唆され得るような他の利点を必ずしも実現することなく行う方法で実行し得る。
【0006】
１つ以上のコンピュータのシステムは、動作中にシステムにアクションを実行させるシステムにインストールされたソフトウェア、ファームウェア、ハードウェア、又はそれらの組み合わせを有することによって、特定の動作又はアクションを実行するように構成することができる。１つ以上のコンピュータプログラムは、データ処理装置によって実行されたときに装置にアクションを実行させる命令を含むことによって、特定の動作又はアクションを実行するように構成することができる。１つの一般的な態様は、医療処置の段階を自動的に識別するためのロボットシステムを含む。ロボットシステムはまた、ビデオキャプチャデバイスと、ロボットマニピュレータと、ロボットマニピュレータの構成を決定するための１つ以上のセンサと、１つ以上のユーザ対話を受信することと、ロボットマニピュレータによる１つ以上のアクションを開始することと、を行うように構成された入力デバイスと、入力デバイス及びロボットマニピュレータに通信可能に結合された制御回路と、を含む。制御回路は、１つ以上のセンサからのセンサデータに基づいて、ロボットマニピュレータの第１の位置を決定することと、ユーザ入力及び１つ以上のセンサからのセンサデータのうちの少なくとも１つに基づいて、処置のセットから第１の処置を決定することと、第１の処置の決定に基づいて、処置段階のセットを処置段階のサブセットに狭めることと、ビデオキャプチャデバイスによって捕捉された患者部位のビデオの第１の分析を実行することと、ロボットマニピュレータの第１の位置及びビデオの第１の分析に少なくとも部分的に基づいて、処置段階のサブセットから医療処置の第１の段階を識別することと、医療処置の第１の段階の開始を示す第１のビデオマーカを生成することと、を行うように構成されている。本態様の他の実施形態は、対応するコンピュータシステム、装置、及び１つ以上のコンピュータ記憶デバイスに記録されたコンピュータプログラムを含み、それぞれは方法の動作を実行するように構成されている。
【0007】
実現形態は、以下の特徴のうちの１つ以上を含み得る。ロボットシステムによって実行される処置のセットは、少なくとも、尿管鏡検査、経皮的腎切石術（percutaneous nephrolithotomy、ＰＣＮＬ）、及びミニＰＣＮＬを含んでもよい。１つ以上のセンサからの第１の処置を決定するためのセンサデータは、ロボットマニピュレータによって利用される１つ以上の医療器具の無線周波数識別（ＲＦＩＤ）データを含んでもよい。第１の処置は、ユーザ入力に基づいて決定され、ユーザ入力は、第１の処置に関連付けられた第１のＵＩ画面の選択を少なくとも含んでもよい。ロボットシステムの制御回路は、ロボットマニピュレータの第２の位置を決定することと、ビデオキャプチャデバイスによって捕捉されたビデオの第２の分析を実行することと、ロボットマニピュレータの第２の位置及びビデオの第２の分析に少なくとも部分的に基づいて、医療処置の第１の段階の終了を示す第２のビデオマーカをビデオに対して生成することと、を行うように更に構成され得る。ロボットマニピュレータは、尿管鏡を含み得る医療器具を操作するように構成されている。第１の段階は、レーザ処理段階を含んでもよく、第２の段階は、バスケット処理段階を含んでもよく、第３の段階は、経皮的アクセス段階を含んでもよく、第２の段階及び第３の段階は、ビデオに対する追加のビデオマーカによって示される。ロボットシステムの制御回路は、第１の段階の開始を識別することに応答して、第２の位置へのロボットマニピュレータの自動化された移動をトリガするように更に構成され得る。第２の位置へのロボットマニピュレータの自動化された移動は、医療器具を患者の挿入部位に移動させることと、挿入部位への所定の挿入軌道に沿って医療器具を位置合わせすることと、を含み得る。ロボットシステムの制御回路は、ロボットマニピュレータによる医療器具の移動に応答して、医療器具が標的場所にあるか否かを判定することと、医療器具が標的場所に到達したことに応答して、ロボットシステムのユーザインターフェース上に第１の段階の成功を示すことと、を行うように更に構成され得る。ロボットシステムの制御回路は、複数の医療処置にわたる第１の段階の成功及び失敗に関するデータを集約することと、第１の段階の成功率を決定することと、を行うように更に構成され得る。ロボットシステムの制御回路は、第１の段階の結果をロボットシステムを操作する医療専門家に関連付けるように更に構成され得る。ロボットシステムは、ロボットマニピュレータによって操作される医療器具の場所を判定するためのセンサを含んでもよい。記載した技術の実施形態は、機械設備、方法若しくはプロセス、又はコンピュータアクセス可能媒体上のコンピュータソフトウェアを含み得る。
【0008】
１つの一般的な態様は、ビデオキャプチャデバイスを含み得るロボットシステムを使用して医療処置の段階を自動的に識別するための方法を含む。本方法はまた、１つ以上のセンサからのセンサデータに基づいて、ロボットマニピュレータの第１の位置を決定することと、ユーザ入力及び１つ以上のセンサからのセンサデータのうちの少なくとも１つに基づいて、処置のセットから第１の処置を決定することと、第１の処置の決定に基づいて、処置段階のセットを処置段階のサブセットに狭めることと、ビデオキャプチャデバイスによって捕捉された患者部位のビデオの第１の分析を実行することと、ロボットマニピュレータの第１の位置及びビデオの第１の分析に少なくとも部分的に基づいて、処置段階のサブセットから医療処置の第１の段階を識別することと、医療処置の第１の段階の開始を示す第１のビデオマーカを生成することと、を含む。本態様の他の実施形態は、対応するコンピュータシステム、装置、及び１つ以上のコンピュータ記憶デバイスに記録されたコンピュータプログラムを含み、それぞれは方法の動作を実行するように構成されている。
【0009】
実現形態は、以下の特徴のうちの１つ以上を含み得る。本方法は、ロボットマニピュレータの第２の位置を決定することと、ビデオの第２の分析を実行することと、ロボットマニピュレータの第２の位置及びビデオの第２の分析に少なくとも部分的に基づいて、医療処置の第１の段階の終了を示す第２のビデオマーカをビデオに対して生成することと、を含み得る。いくつかの実装形態では、第１の処置は尿管鏡検査であり、第１の段階は調査段階を含んでもよく、第２の段階はレーザ処理段階を含んでもよく、第３の段階はバスケット処理段階を含んでもよい。本方法は、ロボットマニピュレータの位置、ビデオの分析、及び入力デバイスからのユーザ入力に少なくとも部分的に基づいて、第２の段階及び第３の段階を示すマーカを生成することを含み得る。本方法は、第１の段階の開始を識別することに応答して、第２の位置へのロボットマニピュレータの自動化された移動をトリガすることを含み得る。第２の位置へのロボットマニピュレータの自動化された移動は、医療器具を患者の挿入部位に移動させることと、所定の挿入に沿って医療器具を位置合わせすることを含み得る。本方法は、ロボットマニピュレータによる医療器具の移動に応答して、医療器具が標的場所にあるか否かを判定することと、医療器具が標的場所に到達したことに応答して、ロボットシステムのユーザインターフェース上に第１の段階の成功を示すことと、を含み得る。本方法は、複数の医療処置にわたる第１の段階の成功及び失敗に関するデータを集約することと、第１の段階の成功率を決定することと、を含み得る。記載した技術の実装形態は、機械設備、方法若しくはプロセス、又はコンピュータアクセス可能媒体上のコンピュータソフトウェアを含み得る。
【0010】
１つの一般的な態様は、ロボットデバイスによって実行される医療処置の段階を自動的に識別するための制御システムを含む。制御システムはまた、ロボットデバイスからセンサデータ、ユーザ入力データ、及びビデオデータを受信するように構成された通信インターフェースと、センサデータ、ユーザ入力データ、及びビデオデータを記憶するように構成されたメモリと、１つ以上のプロセッサであって、センサデータからロボットデバイスの第１の位置を決定することと、ユーザ入力及び１つ以上のセンサからのセンサデータのうちの少なくとも１つに基づいて、処置のセットから第１の処置を決定することと、第１の処置の決定に基づいて、識別可能な処置段階のセットを処置段階のサブセットに狭めることと、ビデオキャプチャデバイスによって捕捉された患者部位のビデオの第１の分析を実行することと、ロボットデバイスの第１の位置及びビデオの第１の分析に少なくとも部分的に基づいて、処置段階のサブセットから医療処置の第１の段階を識別することと、医療処置の第１の段階の開始を示す第１のビデオマーカを生成することと、を行うように構成されている、１つ以上のプロセッサと、を含む。本態様の他の実施形態は、対応するコンピュータシステム、装置、及び１つ以上のコンピュータ記憶デバイスに記録されたコンピュータプログラムを含み、それぞれは方法の動作を実行するように構成されている。
【図面の簡単な説明】
【0011】
種々の実施形態を説明を目的として添付図面に示すが、決して本開示の範囲を限定するものと解釈するべきではない。加えて、異なる開示した実施形態の種々の特徴を組み合わせて、本開示の一部である更なる実施形態を形成することができる。図面の全体を通して、参照番号を、参照要素間の対応関係を示すために再使用する場合がある。
【図1】特定の実施形態による、医療処置を行う際に、実行又は支援するための医療システムの例を例示する図である。
【図2A】特定の実施形態による、尿路結石捕捉処置を実施している間の医療システムの斜視図である。
【図2B】特定の実施形態による、尿路結石捕捉処置を実施している間の医療システムの斜視図である。
【図3】特定の実施形態による、関連する入力及び出力を伴う、医療システムの制御システムのブロック図である。
【図4A】特定の実施形態による、機械学習を利用してビデオデータから出力を生成するように構成された制御システムのブロック図である。
【図4B】特定の実施形態による、機械学習を利用していくつかのタイプのデータから出力を生成するように構成された制御システムのブロック図である。
【図5】特定の実施形態による、段階識別プロセスのフロー図である。
【図6】特定の実施形態による、自動化されたロボットアクションのためのトリガプロセスのフロー図である。
【図7】特定の実施形態による、ロボットシステムの異なるタイプのトリガされたアクションを示す図である。
【図8】特定の実施形態による、識別された段階中に実行されるタスクの評価プロセスのフロー図である。
【図9】特定の実施形態による、医療タスクのためのスコアリングプロセスのフロー図である。
【図10】特定の実施形態による、医療タスクのための別のスコアリングプロセスのフロー図である。
【図11】特定の実施形態による、ロボットシステムの例示的詳細を示す図である。
【図12】特定の実施形態による、制御システムの例示的詳細を示す図である。
【発明を実施するための形態】
【0012】
本明細書で提供される進行方向は、便宜的なものに過ぎず、必ずしも開示の範囲又は意味に影響を及ぼすものではない。ある特定の好ましい実施形態及び実施例が以下に開示されるが、主題は、具体的に開示される実施形態を超えて他の代替的な実施形態及び／又は使用並びにそれらの改変及び等価物にまで及ぶ。したがって、本明細書から生じ得る特許請求の範囲は、以下に記載される特定の実施形態のうちのいずれかによって限定されない。例えば、本明細書で開示した任意の方法又はプロセスにおいて、方法又はプロセスの行為又は動作は、任意の好適な順序で行われてもよく、必ずしも何らかの特定の開示した順序に限定されない。種々の動作を、特定の実施形態を理解することに役立ち得る方法で、複数の別個の動作として順々に説明する場合がある。しかし、説明の順序は、これらの動作が順序に依存することを意味すると解釈してはならない。更に、本明細書に記載の構造、システム、及び／又はデバイスは、統合されたコンポーネント又は別個のコンポーネントとして具体化され得る。種々の実施形態を比較する目的で、これらの実施形態の特定の態様及び利点について説明する。必ずしもこのような態様又は利点が全て、何らかの特定の実施形態によって実現されるわけではない。したがって、例えば、種々の実施形態を、本明細書で教示されるような１つの利点又は利点の群の実現又は最適化を、やはり本明細書で教示又は示唆され得る他の態様又は利点を必ずしも実現することなく行う方法で実行し得る。
【0013】
場所というある特定の標準的な解剖学的用語は、本明細書において、好ましい実施形態に関して、動物、すなわちヒトの解剖学的構造を指すために使用され得る。特定の空間的に相対的な語、例えば「外側」、「内側」、「上側」、「下側」、「下方」、「上方」、「垂直」、「水平」、「頂部」「底部」、及び同様の用語は、本明細書では、あるデバイス／要素又は解剖学的構造の別のデバイス／要素又は解剖学的構造に対する空間的関係を説明するために用いられるが、これらの用語は、本明細書では、図面に例示するように、要素／構造間の位置関係を説明するために説明を簡単にするために用いられることを理解されたい。空間的に相対的な用語は、図面に示す向きに加えて、使用又は動作時に、要素／構造の異なる向きを包含することが意図されていることを理解されたい。例えば、要素／構造が別の要素／構造の「上方」にあると説明される場合、対象患者又は要素／構造の代替的な向きに対してそのような他の要素／構造の下方又は脇にある位置を表すことがあり、逆もまた同様である。
【0014】
概説
本開示は、結石管理（例えば、尿路結石の回収、結石片の吸引など）又は他の医療処置の実行のためにロボットシステムによって実行されるものなど、ロボット支援医療処置からデータを収集及び分析するための技術及びシステムに関する。医療処置は、いくつかの異なる段階を通して進行し得る。例えば、尿管鏡検査において、段階は、体内への医療器具の経皮的挿入、尿路結石場所への移動、尿路結石のレーザ処理、及び／又は破砕された結石のバスケット処理を含むことができる。ロボットシステムは、典型的には、いくつかのセンサ及び入力デバイスを有し、医療処置中に大量のデータの生成を可能にする。この処置データを使用して、手術の異なる段階を自動的に決定することができる。これらの段階を識別することによって、ロボットシステムは、医療処置中にロボットシステムを操作する医療専門家のアクションを予測し、準備することができる。
本開示は、結石管理（例えば、尿路結石の回収、結石片の吸引など）又は他の医療処置の実行のためにロボットシステムによって実行されるものなど、ロボット支援医療処置からデータを収集及び分析するための技術及びシステムに関する。医療処置は、いくつかの異なる段階を通して進行し得る。例えば、尿管鏡検査において、段階は、体内への医療器具の経皮的挿入、尿路結石場所への移動、尿路結石のレーザ処理、及び／又は破砕された結石のバスケット処理を含むことができる。ロボットシステムは、典型的には、いくつかのセンサ及び入力デバイスを有し、医療処置中に大量のデータの生成を可能にする。この処置データを使用して、手術の異なる段階を自動的に決定することができる。これらの段階を識別することによって、ロボットシステムは、医療処置中にロボットシステムを操作する医療専門家のアクションを予測し、準備することができる。
【0015】
ロボットシステムを含む医療システムはまた、異なる段階を識別するメタデータを用いて処置のビデオ映像に注釈を付けることを可能にし得る。これは、ビデオ映像がユーザによってより容易にレビューされることを可能にすると共に、人工知能（ＡＩ）を使用してビデオ映像のより高度な分析を可能にする。これにより、ユーザ又は操作者によって実行されたアクションを他の処置中に実行された対応する段階からの同様のアクションと比較することによって、それらのアクションを評価及びスコア付けすることがより容易になり得る。例えば、ビデオ映像及び関連データは、ＡＩシステムによって分析されて、段階又は処置全体当たりの成功前の試行、各段階の時間、操作者によって提供される関節運動コマンドの数、針挿入の精度など、動作に関する統計を生成することができる。更に、データは、いくつかの動作にわたって集約され、成功率、段階又は処置全体当たりの平均動作時間などの、一般に動作のタイプについての統計を生成するために使用されることができる。そのような医療システムはまた、症例要約を生成することなどによって、追加の利益を提供することができる。
【0016】
１つの例示的なシナリオでは、経皮的腎臓アクセス又は他の処置中に別個の段階が存在する。例示的なワークフローでは、ユーザは、スコープを所望の腎杯まで駆動し、乳頭に印を付け、スコープを後退させて標的乳頭を見る。次いで、ユーザは、針を保持し、挿入部位を選択し、グラフィカルユーザインターフェース（「ＧＵＩ」）を使用して、針軌道を標的乳頭と位置合わせする。最後に、ユーザは、グラフィカルユーザインターフェースに従って針を挿入し、標的乳頭を通して腎臓へのアクセスを得る。処置効率を改善し、ユーザスキルを査定するために、医療システムは、これらの事象の開始及び終了をラベル付けし、経皮的アクセス（「percutaneous access、ｐｅｒｃ」）試行が成功したか否かに関するグラウンドトルースデータを取得することができる。
【0017】
症例データを別個の段階に分割し、これらの段階を示す段階遷移チャートを生成した後、遷移チャートを使用して処置を評価することができる。例えば、１つの例示的な遷移チャートは、医師が標的及び挿入部位を選択したが、針位置合わせステップで前進せず、代わりに、新しい標的を選択するために異なる腎杯に移動したことを示し得る。チャートは、医師が第１の経皮的アクセス試行においてアクセスの視覚的確認を得ず、針を位置付けるためにスコープを駆動したことを示し得る。チャートは、医師が同じ標的を用いて別の経皮的アクセス試行を行い、今回は視覚的確認を得たことを示し得る。そのようなチャートは、医療システムのＧＵＩ上に、デジタル又は印刷レポートとして、モバイルアプリケーション上に、及び／又は同様のタイプの出力として表示することができる。
【0018】
別の潜在的な利点は、グラウンドトルース（成功／失敗）注釈を提供することである。段階セグメント化は、特定の経皮的アクセス試行が成功したか否かを予測することを可能にし、それによって、事例のためのグラウンドトルースとしての役割を果たすことができる。医療システムは、経皮的アクセスが成功したか否かを判定するために、針挿入段階中に特徴記述子のセットを追跡することができる。特徴記述子は、針及びスコープ速度、並びにスコープに対する針の相対的姿勢など、医療システムによって測定される種々の量又はメトリックを含むことができる。それはまた、針がカメラビューにおいて可視であるかどうかを検出し、どれだけの解剖学的運動が存在するかを定量化する、コンピュータビジョンアルゴリズムによって検出されるスコープ関節運動コマンド及び特徴を含むことができる。例えば、視覚的確認と成功との間に直接的な相関関係が存在し得る。１つのシナリオでは、コンピュータビジョンアルゴリズムが内視鏡ビュー内で針を検出する場合、経皮的アクセス試行は、成功したものとして注釈を付けられるか、又は別様に示されることができる。別のシナリオでは、針とスコープとの間の距離は非常に小さい可能性があるが、スコープでの針の視覚的確認はない。スコープが動き始める場合、それは、経皮的アクセス試行が失敗であり、ユーザが針を探しているか、又は新しい標的を選択するために別の腎杯に駆動していることを暗示する。したがって、その状況におけるスコープの動きの検出を使用して、経皮的アクセス試行が失敗したことを注釈を付けるか、又は他の方法で示すことができる。
【0019】
別の潜在的な利益は、スキル評価を提供することである。段階セグメント化は、医師のスキルを評価し、術中又は術後に症例統計を計算するために、実行段階特有のデータ分析を可能にすることができる。以下の表は、経皮的アクセス段階のいくつかについての術後メトリックを示す。例えば、針挿入がいつ開始するか（例えば、ビデオキャプチャ、センサデータ等を介して識別される）を知ることによって、医療システムは、皮膚上の進入点を決定し（例えば、運動学的データ、ビデオ分析等を使用して）、トラクト長さ（例えば、皮膚から乳頭までの距離）等の部位選択メトリックを計算することができる。
【0020】
【表1】
【0021】
例えば、スコープ駆動段階では、ユーザのスキルは、システムによって受信される関節運動コマンドの数に基づいて評価されることができる。より少ないコマンドが受信される場合、それは、動作がスムーズに行われたことを意味し、より高いスキルを示す。より多くのコマンドが受信された場合、それは、複数の試みが実行されなければならないことを意味し、改善の余地を示す。これらのメトリックはまた、ユーザがナビゲートするのに苦労している解剖学的構造の部分に関する情報を提供することができる。関節運動コマンドの数は、この手術又は複数の手術（全ての症例、ある期間における全ての症例、ユーザによって行われる全ての症例等）に対して記録及び／又は表示されてもよい。例えば、医療システムは、複数の手術にわたって経時的に、所与の症例、医師全体、及び／又は同じ医師について場所ごとに比較するメトリックを生成することができる。
【0022】
別の実施例では、針挿入段階において、成功率及び／又は針挿入精度に基づいてユーザのスキルを評価することができる。成功率は、下極、中極、又は上極などの腎臓の場所に基づいて更に具体的に計算することができる。針挿入精度は、専門家の平均値と比較することができる。針挿入精度は、この手術又は複数の手術（例えば、全ての症例、ある期間における全ての症例、ユーザによって行われる全ての症例等）に対して記録及び／又は表示されてもよい。
【0023】
更なる例では、部位選択段階において、ユーザのスキルは、部位選択時間又はユーザが部位及び平均トラクト長さを選択するのにかかった時間に基づいて評価され得る。部位選択時間は、専門家の平均値と比較することができる。部位選択時間は、この手術又は複数の手術（全ての症例、ある期間における全ての症例、ユーザによって行われる全ての症例等）に対して記録及び／又は表示されてもよい。平均トラクト長さは、下極、中極、又は上極などの腎臓の場所に基づいて更に具体的に計算することができる。患者のトラクト長さは、患者の肥満指数（ＢＭＩ）の指標として使用され得る。これは、症例成績が、ＢＭＩ値又は範囲等の患者集団特性に基づいて集約されることを可能にすることができる。
【0024】
上記の表は、評価することができる可能なメトリックのいくつかの例を示しているに過ぎない。更に、上記の表は、それらのメトリックに適用され得る特異性のうちのいくつかのみを示す。例えば、１つのメトリックに適用される特異性の一部は、他のメトリックに適用することができる。いくつかの実施形態では、針挿入精度は、腎臓場所に基づいて更に分類することができる。成功率は、専門家の平均と比較することによって、又は複数の手術（例えば、全ての症例、ある期間における全ての症例、ユーザによって実行された全ての症例など）にわたって、より高い特異性で示すことができる。
【0025】
そのような医療システムの別の潜在的な利点は、スキル評価ワークフローの最適化を提供することである。ワークフロー分析は、ワークフローステップのシーケンスと経皮的アクセスの成功及び効率との間の相関関係を示すことができる。例えば、アルゴリズムは、部位選択が標的選択の前に実行された場合と標的選択が部位選択の前に実行された場合とを比較し、経皮的アクセス時間及び精度に対する影響を評価することができる。
【0026】
そのような医療システムは、尿管鏡検査を含むいくつかのタイプの処置において使用されることができる。尿路結石症としても知られる腎石疾患は、「腎石」、「尿路結石」、「腎結石」、「腎臓結石」、又は「腎結石症」と称される、物質の固体片の尿路における形成を伴う比較的一般的な医学的状態である。尿路結石は、腎臓、尿管、及び膀胱（「膀胱結石」と称される）に形成及び／又は見出され得る。そのような尿路結石は、ミネラル分が濃縮された結果として生じ、尿管又は尿道を通る尿流を妨げるのに十分なサイズに達すると、著しい腹痛を引き起こし得る。尿路結石は、カルシウム、マグネシウム、アンモニア、尿酸、システイン、又は他の化合物から形成され得る。
【0027】
膀胱及び尿管から尿路結石を除去するために、外科医は、尿管鏡を尿道を通して尿路内へ挿入することができる。通常、尿管鏡はその遠位端に、尿路の視覚化を可能にするように構成された内視鏡を含む。尿管鏡はまた、尿路結石を捕捉又は破砕するためのバスケット回収デバイスなどの結石摘出機構を含むこともできる。尿管鏡処置中、１人の医師／技術者が、尿管鏡の位置を制御することができ、別の他の医師／技術者が、結石摘出機構を制御することができる。
【0028】
多くの実施形態では、技法及びシステムは、低侵襲性処置との関連で議論される。 しかしながら、本技術及びシステムは、例えば、医療器具を挿入するために身体に穿刺及び／又は小切開を行うことによって標的場所へのアクセスが得られる経皮的手術、非侵襲的処置、治療的処置、診断的処置、非経皮的処置、又は他の種類の処置を含む、任意の医療処置との関連において実装されることができることを理解されたい。例えば、そのような技法は、泌尿器科及び気管支鏡検査のための腫瘍生検又はアブレーションにおいて使用されることができ、システムが疑わしい部位への近接を検出すると、自動化された生検動作がトリガされることができる。内視鏡処置は、気管支鏡検査、尿管鏡検査、胃鏡検査、腎孟尿管鏡検査、腎結石摘出などを含み得る。更に、多くの実施形態では、技法及びシステムは、ロボット支援処置として実施されるものとして説明される。しかしながら、本技術及びシステムは、完全ロボット医療処置等の他の処置において実施され得ることも理解されるべきである。
【0029】
例示及び議論を容易にするために、技法及びシステムは、腎臓からの腎臓結石等の尿路結石を除去する文脈で議論される。しかしながら、上述したように、本技法及びシステムは、他の処置を実行するために使用することができる。
【0030】
医療システム
図１は、１つ以上の実施形態による医療処置を行う際に実行又は支援するための医療システム１００の例を例示する。医療システム１００の実施形態は、外科的処置及び／又は診断的処置のために使用され得る。医療システム１００は、医療器具１２０と係合し、かつ／又はそれを制御し、患者１３０に処置を実施するように構成されたロボットシステム１１０を含む。医療システム１００はまた、ロボットシステム１１０とのインターフェースとなり、処置に関する情報を提供し、かつ／又は種々の他の動作を実行するように構成された制御システム１４０を含む。例えば、制御システム１４０は、医師１６０が医療器具１２０を使用するのを支援するためにユーザインターフェース１４４を提示するディスプレイ１４２を含むことができる。更に、医療システム１００は、患者１３０を保持するように構成されたテーブル１５０、及び／又はカメラ、Ｘ線、コンピュータ断層撮影（ＣＴ）、磁気共鳴撮像（ＭＲＩ）、陽電子放出断層撮影（ＰＥＴ）デバイスなどの撮像センサ１８０を含むことができる。
図１は、１つ以上の実施形態による医療処置を行う際に実行又は支援するための医療システム１００の例を例示する。医療システム１００の実施形態は、外科的処置及び／又は診断的処置のために使用され得る。医療システム１００は、医療器具１２０と係合し、かつ／又はそれを制御し、患者１３０に処置を実施するように構成されたロボットシステム１１０を含む。医療システム１００はまた、ロボットシステム１１０とのインターフェースとなり、処置に関する情報を提供し、かつ／又は種々の他の動作を実行するように構成された制御システム１４０を含む。例えば、制御システム１４０は、医師１６０が医療器具１２０を使用するのを支援するためにユーザインターフェース１４４を提示するディスプレイ１４２を含むことができる。更に、医療システム１００は、患者１３０を保持するように構成されたテーブル１５０、及び／又はカメラ、Ｘ線、コンピュータ断層撮影（ＣＴ）、磁気共鳴撮像（ＭＲＩ）、陽電子放出断層撮影（ＰＥＴ）デバイスなどの撮像センサ１８０を含むことができる。
【0031】
いくつかの実施形態では、医師は、尿管鏡検査などの低侵襲医療処置を行う。医師１６０は、制御システム１４０と対話してロボットシステム１１０を制御し、医療器具１２０（例えば、バスケット回収デバイス及び／又はスコープ）を尿道から、結石１６５が位置する腎臓１７０内にナビゲートすることができる。制御システム１４０は、ナビゲーションにおいて医師１６０を支援するために、医療器具１２０又は撮像センサ１８０からのリアルタイム画像など、医療器具１２０に関する情報をディスプレイ１４２を介して提供することができる。腎臓結石の部位に到達すると、医療器具１２０を使用して、尿路結石１６５を破壊及び／又は捕捉することができる。
【0032】
医療システム１００を使用するいくつかの実装形態では、医師１６０は、経皮的処置を行うことができる。説明すると、患者１３０が、大きすぎて尿路を通して除去することができない腎臓結石１６５を腎臓１７０に有する場合、医師１６０は、患者１３０上の経皮的アクセス点を通して腎臓結石を除去するための処置を実施することができる。例えば、医師１６０は、制御システム１４０と対話してロボットシステム１１０を制御し、医療器具１２０（例えば、スコープ）を尿道から、結石１６５が位置する腎臓１７０内にナビゲートすることができる。制御システム１４０は、医師１６０が医療器具１２０をナビゲートするのを支援するために、医療器具１２０又は撮像センサ１８０からのリアルタイム画像など、医療器具１２０に関する情報をディスプレイ１４２を介して提供することができる。腎臓結石の部位に到達すると、医療器具１２０を使用して、腎臓に経皮的にアクセスするために、第２の医療器具（図示せず）の標的場所（例えば、腎臓にアクセスするための所望の点）を指定することができる。腎臓への損傷を最小限に抑えるために、医師１６０は、第２の医療器具で腎臓内に進入するための標的場所として特定の乳頭を指定することができる。しかし、他の標的場所を指定又は判定することができる。第２の医療器具が標的場所に到達すると、医師１６０は、第２の医療器具及び／又は別の医療器具を使用して、経皮的アクセス点などを通して、患者１３０から腎臓結石を摘出することができる。上記の経皮的処置は、医療器具１２０を使用する文脈で考察されているが、いくつかの実装形態では、経皮的処置が医療器具１２０の支援を伴わずに実行され得る。更に、医療システム１００は、様々な他の処置を実行するために使用され得る。
【0033】
低侵襲手術は、手術中にカメラ（例えば、医療器具１２０のスコープ）を体内に挿入することができるので、手術のビデオ記録の可能性を提供する。患者及び医療システム１００のビデオ及び／又はデータを捕捉するために、体外に配置された追加のカメラ及びセンサを使用することができる。例えば、手術室（operating room、ＯＲ）カメラ（複数可）は、操作者又は医師の手の動き、針の場所、流体バッグの交換、患者の出血など、手術室内の活動のビデオを捕捉することができる。Ｘ線透視中の造影剤注入の回数等の詳細もまた、ＯＲカメラによって捕捉され、患者への放射線被曝量を推定するために使用されてもよい。ビデオに記録された音声も、段階の識別を助けるために使用することができる。例えば、いくつかのロボットシステムは、レーザ処理が発生しているときにビープ音を鳴らすか、又は他の方法で可聴ノイズを発生させる。ビデオは、認知訓練、スキル評価、及びワークフロー分析などの理由のためにアーカイブされ、後で使用され得る。
【0034】
人工知能（ＡＩ）の一形態であるコンピュータビジョンは、対象物及びパターンの識別のためにコンピュータによるビデオの定量分析を可能にする。例えば、内視鏡手術において、ＡＩビデオシステムは、ジェスチャ／タスク分類、スキル評価、ツールタイプ認識、ショット／イベント検出及び検索のために使用されることができる。ＡＩシステムは、外科的処置のビデオを見て、処置中に使用される器具の動き及びタイミングを追跡することができる。ＡＩシステムは、メトリックを使用して、どの器具がいつ、どれくらいの期間使用されたかなど、ツールのタイミングを追跡することができる。加えて、ＡＩシステムは、器具の経路を追跡することができ、これは、処置を評価するか、又は処置における段階を識別するために有用であり得る。ＡＩシステムは、ツールが手術野内でどれだけ離れているかを判定することができ、これは、より良い外科医が焦点が当てられた領域で器具を取り扱う傾向があるので、手術の質に相関され得る。ＡＩシステムはまた、医療専門家の動作の経済性、医療専門家が器具間で行ったり来たりして切り替えた頻度、及び処置の各ステップにおける医療専門家の効率を含む、医療専門家のパフォーマンスの複数の態様を評価するためのメトリックを判定することができる。
【0035】
図１の例では、医療器具１２０は、バスケット回収デバイスとして実装される。したがって、説明を容易にするために、医療器具１２０は、「バスケット回収デバイス１２０」とも呼ばれる。しかしながら、医療器具１２０は、例えば、スコープ（「内視鏡」と呼ばれることもある）、針、カテーテル、ガイドワイヤ、結石破砕具、鉗子、バキューム、メス、上記の組み合わせなどを含む様々なタイプの医療器具として実装され得る。いくつかの実施形態では、医療器具は操縦可能デバイスであり、他の実施形態では、医療器具は非操縦可能デバイスである。いくつかの実施形態では、手術ツールは、針、外科用メス、ガイドワイヤなどの、人体構造を穿刺するか又は人体構造を通って挿入されるように構成されたデバイスを指す。しかし、手術ツールは他のタイプの医療機器を指すこともできる。他の実施形態において、複数の医療器具が使用されてもよい。例えば、内視鏡をバスケット回収デバイス１２０と共に使用することができる。いくつかの実施形態では、医療器具１２０は、真空、バスケット回収デバイス、スコープ、又は器具の種々の組み合わせ等のいくつかの器具を組み込む複合デバイスであってもよい。
【0036】
いくつかの実施形態において、医療器具１２０は、医療器具１２０を識別するための無線周波数識別（ＲＦＩＤ）チップを含むことができる。医療システム１００は、医療器具内のＲＦＩＤチップを読み取って器具の識別を助けるためのＲＦＩＤリーダを含むことができる。そのような情報を使用して、処置及び段階の識別を容易にすることができる。例えば、ＲＦＩＤデータが器具を針として識別する場合、段階は、針挿入に関連し得るが、正確な段階を決定することは、ＲＦＩＤデータを、ビデオ、デバイス状態、テレメトリ（例えば、磁気追跡、ロボットデータ、流体工学データなど）等の追加のデータと組み合わせることを必要と得る。
【0037】
ロボットシステム１１０は、医療処置を容易にするように構成することができる。ロボットシステム１１０は、特定の処置に応じて種々の方法で配置することができる。ロボットシステム１１０は、医療器具１２０と係合し、かつ／又はそれを制御し、処置を実施するように構成された１つ以上のロボットアーム１１２（ロボットアーム１１２（ａ）、１１２（ｂ）、１１２（ｃ））を含むことができる。示されるように、各ロボットアーム１１２は、関節に結合された複数のアームセグメントを含み得、これにより、複数の移動度を提供し得る。図１の実施例では、ロボットシステム１１０は、患者１３０の胴体下部に近接して位置決めされ、ロボットアーム１１２は、患者１３０の尿道などのアクセス点へのアクセスのために、医療器具１２０と係合して位置決めするように作動される。ロボットシステム１１０が適切に位置決めされると、医療器具１２０は、ロボットアーム１１２を使用してロボット制御で、医師１６０によって手動で、又はそれらの組み合わせで、患者１３０に挿入されることができる。
【0038】
ロボットシステム１１０はまた、１つ以上のロボットアーム１１２に結合された基部１１４を含み得る。基部１１４は、制御電子機器、電源、空気圧、光源、アクチュエータ（例えば、ロボットアームを移動させるためのモータ）、制御回路、メモリ、及び／又は通信インターフェース等の種々のサブシステムを含むことができる。いくつかの実施形態では、基部１１４は、ロボットシステム１１０を制御するためのユーザ入力等の入力を受信し、患者状態、医療器具の場所等の出力を提供するように構成される、入力／出力（input/output、Ｉ／Ｏ）デバイス１１６を含む。Ｉ／Ｏデバイス１１６は、コントローラ、マウス、キーボード、マイクロフォン、タッチパッド、他の入力デバイス、又は上記の組み合わせを含むことができる。Ｉ／Ｏデバイスは、スピーカ、ディスプレイ、触覚フィードバックデバイス、他の出力デバイス、又は上記の組み合わせ等の出力構成要素を含むことができる。いくつかの実施形態では、ロボットシステム１１０は移動可能であり（例えば、基部１１４はホイールを含む）、その結果、ロボットシステム１１０は、処置に適切な又は望ましい場所に位置付けられ得る。他の実施形態では、ロボットシステム１１０は、固定システムである。更に、いくつかの実施形態では、ロボットシステム１１０は、テーブル１５０に一体化されている。
【0039】
ロボットシステム１１０は、制御システム１４０、テーブル１５０、撮像センサ１８０、及び／又は医療器具１２０などの、医療システム１００の任意の構成要素に結合させることができる。いくつかの実施形態では、ロボットシステムは、制御システム１４０に通信可能に結合されている。一実施例では、ロボットシステム１１０は、制御システム１４０から制御信号を受信して、特定の方法でロボットアーム１１２を位置決めする、スコープを操作するなどの動作を実行し得る。それに応答して、ロボットシステム１１０は、ロボットシステム１１０の構成要素を制御し、動作を実施することができる。別の実施例では、ロボットシステム１１０は、患者１３０の内部の解剖学的構造を描写する画像をスコープから受信し、かつ／又は画像を制御システム１４０に送信することができる（次いで、その画像は制御システム１４０上に表示され得る）。更に、いくつかの実施形態では、ロボットシステム１１０は、データ信号、電力などを受信するために、制御システム１４０などの医療システム１００の構成要素に結合される。他の医療器具、点滴バッグ、血液パックなどの他のデバイスも、実行される医療処置に応じて、ロボットシステム１１０又は医療システム１００の他の構成要素に結合されることができる。
【0040】
制御システム１４０は、医療処置の実施を支援するための様々な機能を提供するように構成することができる。いくつかの実施形態では、制御システム１４０は、ロボットシステム１１０に結合され、ロボットシステム１１０と協働して動作して、患者１３０に対して医療処置を実施し得る。例えば、制御システム１４０は、（例えば、ロボットシステム１１０、バスケット回収デバイス１２０を制御すること、スコープなどによって捕捉された画像を受信することなどを行うために）無線接続又は有線接続を介してロボットシステム１１０と通信すること、１つ以上の流体チャネルを介してロボットシステム１１０を通じて流体の流れを制御すること、１つ以上の電気接続を介してロボットシステム１１０に電力を提供すること、１つ以上の光ファイバ又は他の構成要素などを介してロボットシステム１１０に光学信号を提供することなどを行うことができる。更に、いくつかの実施形態では、制御システム１４０は、センサデータを受信するためのスコープと通信することができる。更に、いくつかの実施形態では、制御システム１４０は、テーブル１５０と通信して、テーブル１５０を特定の向きに位置決めするか、又は別様にテーブル１５０を制御することができる。
【0041】
図１に示すように、制御システム１４０は、医師１６０又は他の者が医療処置を実行するのを支援するように構成された様々なＩ／Ｏデバイスを含む。いくつかの実施形態では、制御システム１４０は、バスケット回収デバイス１２０を制御するために医師１６０又は別のユーザによって採用される入力デバイス１４６を含む。例えば、入力デバイス１４６は、患者１３０内でバスケット回収デバイス１２０をナビゲートするために使用されることができる。医師１６０は、入力デバイス１４６を介して入力を提供することができ、それに応答して、制御システム１４０は、医療器具１２０を操作するために制御信号をロボットシステム１１０に送信することができる。
【0042】
いくつかの実施形態では、入力デバイス１４６は、ゲームコントローラと同様のコントローラである。コントローラは、ロボットシステム１１０を制御するために使用され得る複数の軸及びボタンを有することができる。入力デバイス１４６は、図１の実施例ではコントローラとして示されているが、入力デバイス１４６は、タッチスクリーン／パッド、マウス、キーボード、マイクロフォン、スマートスピーカなど、様々なタイプのＩ／Ｏデバイス又は様々なタイプのＩ／Ｏデバイスの組み合わせとして実装することができる。また図１に示すように、制御システム１４０は、処置に関する様々な情報を提供するディスプレイ１４２を含むことができる。例えば、制御システム１４０は、スコープによって捕捉されるリアルタイム画像を受信し、ディスプレイ１４２を介してリアルタイム画像を表示することができる。加えて、又は代替として、制御システム１４０は、医療モニタ及び／又は患者１３０と関連付けられたセンサから信号（例えば、アナログ、デジタル、電気、音響／音波、空気圧、触覚、油圧など）を受信することができ、ディスプレイ１４２は、患者１３０の健康及び／又は患者１３０の環境に関する情報を提示することができる。このような情報には、医療用モニタを介して表示される、例えば、心拍数（例えば、心電図（electrocardiogram、ＥＣＧ）、心拍変動（heart rate variability、ＨＲＶ）など）、血圧／血流速度、筋肉生体信号（例えば、筋電図記録（electromyography、ＥＭＧ））、体温、酸素飽和度（例えば、ＳｐＯ２）、二酸化炭素（ＣＯ２）、脳波（例えば、脳波図（electroencephalogram、ＥＥＧ））、環境温度などの情報を含めることができる。
【0043】
図１はまた、本開示の特定の態様に関連する患者１３０の様々な解剖学的構造を示す。具体的には、患者１３０は、尿管１７２を介して膀胱１７１に流体的に接続された腎臓１７０と、膀胱１７１に流体的に接続された尿道１７３とを含む。腎臓１７０の拡大描写に示されるように、腎臓は、腎杯１７４（例えば、大腎杯及び小腎杯）、腎乳頭（「乳頭１７６」とも称される腎乳頭１７６を含む）、及び腎錐体（腎錐体１７８を含む）を含む。これらの実施例では、腎臓結石１６５は乳頭１７６に近接して位置する。しかし、腎臓結石は、腎臓１７０内の他の場所に位置する可能性がある。
【0044】
図１に示されるように、例示的な低侵襲処置において腎臓結石１６５を除去するために、医師１６０は、ロボットシステム１１０をテーブル１５０の足部に位置決めして、医療器具１２０の患者１３０への送達を開始し得る。具体的には、ロボットシステム１１０は、患者１３０の下腹部に近接して配置され、患者１３０の尿道１７３への直接的な直線状のアクセスのために位置合わせされ得る。テーブル１５０の足部から、ロボットアーム１１２（Ｂ）は、尿道１７３へのアクセスを提供するように制御されることができる。この実施例では、医師１６０は、この直接的な直線状のアクセス経路（「仮想レール」と称されることもある）に沿って、医療器具１２０を尿道内に少なくとも部分的に挿入する。医療器具１２０は、スコープ及び／又はバスケット回収デバイスを受容するように構成された管腔を含むことができ、それによって患者１３０の解剖学的構造へのこれらのデバイスの挿入を支援する。
【0045】
ロボットシステム１１０が適切に位置決めされ、かつ／又は医療器具１２０が尿道１７３に少なくとも部分的に挿入されると、スコープは、ロボット制御で、手動で、又はそれらの組み合わせで患者１３０に挿入され得る。例えば、医師１６０は、医療器具１２０をロボットアーム１１２（Ｃ）に接続することができる。次いで、医師１６０は、医療器具１２０を患者１３０内でナビゲートするために、入力デバイス１４６などの制御システム１４０と対話し得る。例えば、医師１６０は、尿道１７３、膀胱１７１、尿管１７２を通って腎臓１７０までバスケット回収デバイス１２０をナビゲートするために、入力デバイス１４６を介して入力を提供して、ロボットアーム１１２（Ｃ）を制御することができる。
【0046】
制御システム１４０は、その機能を容易にするために様々な構成要素（「サブシステム」と呼ばれることもある）を含むことができる。例えば、制御システム１４０は、制御電子機器、電源、空気圧、光源、アクチュエータ、制御回路、メモリ、及び／又は通信インターフェース等の種々のサブシステムを含むことができる。いくつかの実施形態では、制御システム１４０は、実行されると、様々な動作を実行させる、実行可能な命令を記憶するコンピュータベースの制御システムを含む。いくつかの実施形態では、図１に示されるように、制御システム１４０は移動可能であるが、他の実施形態では、制御システム１４０は、固定システムである。様々な機能及び構成要素が、制御システム１４０によって実装されるものとして論じられているが、この機能及び／又は構成要素のうちのいずれかは、ロボットシステム１１０及び／又はテーブル１５０などの他のシステム及び／又はデバイスに一体化され、かつ／又はそれによって実施されることができる。
【0047】
医療システム１００は、医師が処置を実施することを支援するためのガイダンス（例えば、器具追跡、患者の状態など）を提供すること、医師が動かしにくい腕の運動及び／又は位置を必要とすることなく人間工学的位置から処置を実施することを可能にすること、１人の医師が１つ以上の医療器具を用いて処置を実施することを可能にすること、（例えば、蛍光透視技法に伴う）放射線曝露を回避すること、処置が単一手術設定で実施されることを可能にすること、より効率的に対象物を除去する（例えば、腎臓結石を除去する）ために連続的吸引を提供することなどの種々の利益を提供することができる。更に、医療システム１００は、医師の放射線への曝露を低減し、かつ／又は手術室内の機器の量を低減するための非放射線ベースのナビゲーション及び／若しくは位置特定技法を提供することができる。更に、医療システム１００は、制御システム１４０とロボットシステム１１０とに機能を分割することができ、各々が独立して移動可能であり得る。機能性及び／又は移動性のかかる分割は、制御システム１４０及び／又はロボットシステム１１０が、特定の医療処置にとって最適である場所に配置されることを可能にすることができ、これにより、患者の周囲の作業エリアを最大化し、かつ／又は医師が処置を実行するための最適化された場所を提供することが可能になる。例えば、処置の多くの態様は、ロボットシステム１１０（患者の比較的近くに配置される）によって実行され得る一方で、医師は、制御システム１４０（遠くに配置され得る）から離れて処置を管理する。
【0048】
いくつかの実施形態では、制御システム１４０は、ロボットシステム１１０とは異なる地理的場所に配置されていても機能することができる。例えば、遠隔医療の実施では、制御システム１４０は、広域ネットワークを介してロボットシステム１１０と通信するように構成される。１つのシナリオでは、医師１６０は、制御システム１４０と共に１つの病院に位置し得る一方、ロボットシステム１１０は、異なる病院に位置する。次いで、医師は、医療処置を遠隔的に行うことができる。これは、地方の病院のような離れた病院が特定の処置において専門知識が限られている場合に有益であり得る。これらの病院は、他の場所にいるより経験のある医師に頼ることができる。いくつかの実施形態では、制御システム１４０は、例えば、特定のロボットシステムを選択し、（例えば、パスワード、暗号化、認証トークン等を使用して）安全なネットワーク接続を形成することによって、様々なロボットシステム１１０とペアリングすることができる。したがって、１つの場所にいる医師は、様々な異なる場所の各々に配置されたロボットシステム１１０との接続を設定することによって、様々な異なる場所で医療処置を行うことが可能であり得る。
【0049】
いくつかの実施形態では、ロボットシステム１１０、テーブル１５０、医療器具１２０、針及び／又は撮像センサ１８０は、無線及び／又は有線ネットワークを含むことができるネットワークを介して互いに通信可能に結合される。例示的なネットワークは、１つ以上のパーソナルエリアネットワーク（personal area network、ＰＡＮ）、１つ以上のローカルエリアネットワーク（local area network、ＬＡＮ）、１つ以上のワイドエリアネットワーク（wide area network、ＷＡＮ）、１つ以上のインターネットエリアネットワーク（Internet area network、ＩＡＮ）、１つ以上のセルラーネットワーク、インターネットなどを含む。更に、いくつかの実施形態では、制御システム１４０、ロボットシステム１１０、テーブル１５０、医療器具１２０、及び／又は撮像センサ１８０は、通信、流体／ガス交換、電力交換などのために、１つ以上の支持ケーブルを介して接続される。
【0050】
図１には示されていないが、いくつかの実施形態では、医療システム１００は、患者１３０の健康及び／又は患者１３０が位置する環境を監視するように構成された医療モニタを含む、及び／又はそれに関連付けられる。例えば、医療モニタは、手術室内など、医療システム１００が配置されるのと同じ環境内に配置することができる。医療モニタは、患者１３０及び／又は環境に関連する１つ以上の物理的、生理学的、化学的、及び／又は生物学的信号、パラメータ、特性、状態、及び／又は条件を検出又は決定するように構成された１つ以上のセンサに物理的及び／又は電気的に結合され得る。例えば、１つ以上のセンサは、温度、圧力、振動、力覚／触覚特徴、音、光学レベル又は特性、負荷又は重量、（例えば、標的ガス及び／又は液体の）流量、磁場及び電場の振幅、位相、及び／又は配向、気体、液体、又は固体形態の物質に関する成分濃度等を含む、任意のタイプの物理的特性を判定／検出するように構成されることができる。１つ以上のセンサは、センサデータを医療モニタに提供することができ、医療モニタは、患者１３０の健康及び／又は患者１３０の環境に関する情報を提示することができる。このような情報には、医療用モニタを介して表示される、例えば、心拍数（例えば、ＥＣＧ、ＨＲＶなど）、血圧／血流速度、筋肉生体信号（例えば、ＥＭＧ）、体温、酸素飽和度（例えば、ＳｐＯ２）、ＣＯ２、脳波（例えば、ＥＥＧ）、環境温度などの情報を含めることができる。いくつかの実施形態では、医療モニタ及び／又は１つ以上のセンサは、制御システム１４０に結合され、制御システム１４０は、患者１３０の健康及び／又は患者１３０の環境に関する情報を提供するように構成される。
【0051】
尿路結石捕捉
図２Ａ～図２Ｂは、尿路結石捕捉処置を実施している間の医療システム１００の斜視図を示す。これらの実施例では、医療システム１００は、患者１３０から腎臓結石を除去するために手術室内に配置される。かかる処置の多くの例において、患者１３０は、患者１３０の後部又は側面にアクセスするために、患者１３０が側面にわずかに傾けられた修正された仰臥位で位置付けされる。尿路結石捕捉処置はまた、図１に示されるように、通常の背臥位にある患者で行われてもよい。図２Ａ及び図２Ｂは、患者１３０から腎臓結石を除去するための低侵襲処置を実行するための医療システム１００の使用を例示しているが、医療システム１００は、別様に腎臓結石を除去するために、及び／又は他の処置を実行するために使用され得る。更に、患者１３０は、処置のために所望される他の位置に配置され得る。種々の行為を、図２Ａ及び図２Ｂにおいて、また本開示の全体を通して、医師１６０が行うとして説明している。これらの行為は、医師１６０によって直接的に、医療システム１００の助けを借りて医師によって間接的に、医師の指示の下でユーザによって、別のユーザ（例えば、技術者）によって、及び／又は任意の他のユーザによって行われ得ることを理解されたい。
図２Ａ～図２Ｂは、尿路結石捕捉処置を実施している間の医療システム１００の斜視図を示す。これらの実施例では、医療システム１００は、患者１３０から腎臓結石を除去するために手術室内に配置される。かかる処置の多くの例において、患者１３０は、患者１３０の後部又は側面にアクセスするために、患者１３０が側面にわずかに傾けられた修正された仰臥位で位置付けされる。尿路結石捕捉処置はまた、図１に示されるように、通常の背臥位にある患者で行われてもよい。図２Ａ及び図２Ｂは、患者１３０から腎臓結石を除去するための低侵襲処置を実行するための医療システム１００の使用を例示しているが、医療システム１００は、別様に腎臓結石を除去するために、及び／又は他の処置を実行するために使用され得る。更に、患者１３０は、処置のために所望される他の位置に配置され得る。種々の行為を、図２Ａ及び図２Ｂにおいて、また本開示の全体を通して、医師１６０が行うとして説明している。これらの行為は、医師１６０によって直接的に、医療システム１００の助けを借りて医師によって間接的に、医師の指示の下でユーザによって、別のユーザ（例えば、技術者）によって、及び／又は任意の他のユーザによって行われ得ることを理解されたい。
【0052】
ロボットシステム１１０の特定のロボットアームは、図２Ａ及び図２Ｂの文脈において特定の機能を実行するものとして例示されているが、ロボットアーム１１２のうちのいずれかを使用してそれらの機能を実行し得る。更に、任意の追加のロボットアーム及び／又はシステムを使用して、手技を実行することができる。更に、ロボットシステム１１０を使用して、手技の他の部分を実行することができる。
【0053】
図２Ａに示されるように、バスケット回収デバイス１２０は、尿路結石１６５に接近するように腎臓１７０の中へと操縦される。いくつかのシナリオでは、医師１６０又は他のユーザは、入力デバイス１４６を使用して、バスケット回収デバイス１２０の移動を直接制御する。そのような直接制御された移動は、挿入／後退、バスケット回収デバイス１２０を左又は右に屈曲させること、回転、及び／又はバスケットの規則的な開放／閉鎖を含むことができる。種々の動きを使用して、バスケット回収デバイス１２０は、結石の近くに配置される。
【0054】
いくつかの実施形態では、レーザ、衝撃波デバイス、又は他のデバイスが、結石を破砕するために使用される。レーザ又は他のデバイスは、バスケット回収デバイス１２０に組み込まれ得るか、又は別個の医療器具であり得る。いくつかの状況では、結石１６５は、結石をより小さい小片に分解する必要がないほど十分に小さい。
【0055】
図２Ｂに示すように、開いたバスケットは、尿路結石１６５又は尿路結石の小片を取り囲むように操縦される。次いで、バスケット回収デバイス１２０は、腎臓１７０から引き抜かれ、次いで、患者の身体から取り出される。
【0056】
更なる結石（又は破砕された結石１６５の大きな破片）が存在する場合、バスケット回収デバイス１２０は、残りの大きな破片を捕捉するために患者の中に再挿入され得る。いくつかの実施形態では、真空器具を使用して、小片の除去を容易にすることができる。いくつかの状況では、結石片は、患者によって自然に通過され得るほど十分に小さい場合がある。
【0057】
段階セグメント化及び段階認識
自動化された手術ワークフロー分析は、処置における異なる段階を検出し、手術スキル及び処置効率を評価するために使用され得る。処置中に収集されたデータ（例えば、ビデオデータ）は、例えば、隠れマルコフモデル（hidden Markov model、ＨＭＭ）及びロングタームショートメモリ（long-term-short-memory、ＬＴＳＭ）ネットワークを含むがこれらに限定されない機械学習方法を使用して、複数のセクションにセグメント化され得る。
自動化された手術ワークフロー分析は、処置における異なる段階を検出し、手術スキル及び処置効率を評価するために使用され得る。処置中に収集されたデータ（例えば、ビデオデータ）は、例えば、隠れマルコフモデル（hidden Markov model、ＨＭＭ）及びロングタームショートメモリ（long-term-short-memory、ＬＴＳＭ）ネットワークを含むがこれらに限定されない機械学習方法を使用して、複数のセクションにセグメント化され得る。
【0058】
手術段階セグメント化では、捕捉された医療処置データは、段階を識別するために手術室からの入力データを使用して、段階に自動的にセグメント化される。セグメント化は、処置中にリアルタイムで行われてもよく、又は記録されたデータに対して手術後に行われてもよい。一実施形態では、手術データは、動的時間ワーピングを使用して前処理され、段階を同等の同等セグメントに分割することができる。入力データは、器具信号、注釈、器具（例えば、ＥＭ）の追跡、又はビデオから取得される情報から成ることができる。
【0059】
手術ワークフローの認識は、処置に応じて異なる粒度レベルで行うことができる。これは、段階及びステップ（より高いレベル）、又はジェスチャ及びアクティビティ（より低いレベル）に対して行うことができる。手術段階認識は、ＨＭＭ、ガウス混合モデル（Gaussian Mixture Model、ＧＭＭ）、及びサポートベクトルマシン（Support Vector Machine、ＳＶＭ）などの機械学習手法、並びに畳み込みニューラルネットワーク（Convolutional Neural Network、ＣＮＮ）を使用するビデオデータからの段階認識のための深層学習ベースの手法を使用して、時系列、運動学的データ、及びビデオデータに対して実行することができる。手術ジェスチャ及びアクティビティ認識のために、同様の方法（ＳＶＭ、マルコフモデル）が、主にビデオデータ又はビデオ及び運動学的データの組み合わせ、並びにビデオデータにおけるツールの存在、タスク、及び活動の認識のために使用され得るＣＮＮ等のより最近のディープラーニングベースの方法に対して使用され得る。段階セグメント化は、図３に示すように、複数のデータソースを使用して症例データを異なるサブタスクにセグメント化することができ、又は図４に示すように、ビデオなどの単一のデータソースを使用して現在の段階を分類することができる。図４では、追加のデータ（例えば、センサデータ又はＵＩデータ）が、次いで、制御システム１４０によって生成される出力を更に精緻化するために組み込まれることができる。
【0060】
図３において、制御システム１４０は、医療システム１００から様々な入力データを受信する。そのような入力は、撮像センサ１８０によって捕捉されたビデオデータ３０５、ロボットシステム１１０の１つ以上のセンサからのロボットセンサデータ３１０、及び入力デバイス１４６から受信されたユーザインターフェース（ＵＩ）データを含むことができる。
【0061】
ビデオデータ３０５は、患者内に配備されたスコープから捕捉されたビデオ、手術室内のカメラから捕捉されたビデオ、及び／又はロボットシステム１１０のカメラによって捕捉されたビデオを含むことができる。ロボットセンサデータ３１０は、ロボットシステム１１０からの運動学的データ（例えば、振動、加速度計、位置決め、及び／又はジャイロスコープセンサを使用する）、デバイス状態、温度、圧力、振動、力覚／触覚特徴、音、光学レベル又は特性、負荷又は重量、（例えば、標的ガス及び／又は液体の）流量、磁場及び電場の振幅、位相、及び／又は配向、気体、液体、又は固体形態の物質に関する成分濃度等を含むことができる。ＵＩデータ３１５は、ユーザによって行われ、医療システム１００の入力デバイスによって捕捉されるボタン押下、メニュー選択、ページ選択、ジェスチャ、音声コマンド、及び／又は同様のものを含み得る。上記の図１で説明したような患者センサデータも、制御システム１４０への入力として使用することができる。
【0062】
制御システム１４０は、ビデオデータ３０５を分析し（例えば、機械学習アルゴリズムを使用して）、並びにロボットセンサデータ３１０及びＵＩデータ３１５を使用して、医療処置の段階を識別することができる。一実施例では、尿管鏡検査などの医療処置は、いくつかのタスク（例えば、タスク１～タスク５）を含む。各タスクは、医療処置の１つ以上の段階において実行され得る。図３に示す実施例では、タスク１は段階１で実行される。タスク２は、段階２及び４で実行される。タスク３は、段階３及び段階５で実行される。タスク４は、段階６及び８で実行される。タスク５は段階７で実行される。時間１（Ｔ１）は段階１を完了するのにかかる時間を示し、時間２（Ｔ２）は段階２を完了するのにかかる時間を示し、時間３（Ｔ３）は段階３を完了するのにかかる時間を示す。他の処置は、異なる数のタスク及び／又は異なる数の段階を有し得る。
【0063】
手動タスク及び自動タスクが存在するロボット処置の場合、手術段階検出を使用して、手動タスクと自動タスクとの間の移行を自動的かつシームレスに行うことができる。例えば、Ｔ１は手動タスクに対応してもよく、Ｔ２は自動タスクであってもよく、Ｔ３は再び手動タスクであってもよい。一実施形態では、標的選択段階がアクティブであるとき、標的選択ステップは、スコープを駆動するロボットによって自律的に実行され得る。代替として、ユーザは、ＥＭマーカを使用して皮膚上の点を選ぶことによって、部位選択を行うことができ、ロボットは、標的挿入軌道に針を自律的に位置合わせすることができる。
【0064】
図４Ａは、特定の実施形態による、機械学習を利用して医療処置からのビデオデータから出力を生成するように構成された制御システム１４０のブロック図を示す。いくつかの実施形態では、制御システム１４０は、機械学習アルゴリズムを使用して、まずビデオデータ３０５を処理するように構成される。一実施形態では、ビデオデータ３０５は、ＣＮＮ ４０５によって処理されて出力４１２を生成し、手術ツール、結石、人体解剖学的構造（例えば、乳頭）などのビデオに記録された特徴を識別する。そのような識別された特徴４１５は、元のビデオと共に、リカレントニューラルネットワーク（recurrent neural network、ＲＮＮ）４１０への入力として提供され得る。次いで、ＲＮＮ ４１０は、ビデオデータ３０５及び識別された特徴４１５を処理して、医療処置における段階４２０を識別するための出力４１２を生成することができる。
【0065】
次いで、ロボットセンサデータ３１０又はＵＩデータ３１５などの補足データを使用して、識別された特徴４１５及び識別された段階４２０を更に精緻化する（例えば、精度を高める、又は識別の数を増やす）ことができる。他の実施形態では、ロボットセンサデータ３１０及び／又はＵＩデータ３１５は、制御システム１４０によって考慮される可能なオプションを狭めるために、制御システム１４０によるビデオデータ３０５の処理の前に使用され得る。例えば、補足データは、特定の処置を識別するために使用されることができ、これは、可能なタスク及び段階の領域を特定の処置に対応するものに狭める。次いで、制御システム１４０は、識別された特徴４１５及び識別された段階４２０を、特定の処置に対応するものに限定することができる。例えば、タスクが制御システム１４０によってビデオデータ３０５内で最初に識別されたが、そのタスクが特定の処置に関連付けられていない場合、制御システム１４０は、タスクが特定の処置に対応するタスクとして再識別されるまでビデオを再処理することができる。
【0066】
ビデオデータ３０５の処理を完了した後、制御システム１４０は、識別された特徴４１５及び／又は識別された段階４２０を含む注釈付きビデオを生成することができる。そのような注釈は、ビデオの一部として（例えば、同じビデオファイルに）、ビデオと一緒にデータベースに記憶されたメタデータ、及び／又は他のデータフォーマットに記憶されてもよい。
【0067】
メタデータ拡張ビデオを作成することによって、医療処置をレビューするためにビデオを使用することがより容易になる。例えば、視聴者は、特定の段階がいつ発生したかを手動で検索するのではなく、関心のある特定の段階に前方又は後方にジャンプすることができる。更に、複数のビデオをより容易に処理して、データを集約し、メトリックを生成することができる。例えば、複数のビデオが、特定の段階（例えば、針挿入又は結石捕捉）のインスタンスについて検索され、分析されて、その段階に関するメトリック（例えば、成功率、平均試行、試行数等）を生成し得る。
【0068】
図４Ａは、制御システム１４０によって処理されているビデオデータ３０５を示すが、他のタイプのデータが、制御システム１４０によって、互いに連続的に又は平行して処理され得る。例えば、そのようなデータは、電磁追跡センサによって測定されるような器具位置決め、スコープがどれだけ遠くに挿入されているか、スコープがどれだけ関節運動しているか、バスケットが開いているか閉じているか、バスケットがどれだけ遠くに挿入されているか、及び／又はロボットシステムの接続状態などのロボットシステム１１０データを含むことができる。データは、単一のニューラルネットワーク又は複数のニューラルネットワークへの入力として提供され得る。例えば、各々の異なるタイプのセンサ（例えば、ビデオ、デバイス状態、テレメトリ、例えば磁気追跡、ロボットデータ、及び／又は流体データ）は、それ自体のネットワークを有することができ、ネットワークの出力は、単一の段階予測を取得するために最終段階分類層の前に連結することができる。
【0069】
図４Ｂは、異なるデバイス及び／又はセンサからの異なるタイプのデータが異なるニューラルネットワークによって処理される、１つのそのような実施形態を示す。ビデオデータ３０５は、第１のニューラルネットワーク４２５（例えば、図４Ａに説明されるようなＣＮＮ及び／又はＲＮＮ）によって処理されることができ、ロボットセンサデータ３１０は、第２のニューラルネットワーク４３０によって処理されることができ、ＵＩデータは、第３のニューラルネットワーク４３５によって処理されることができる。次いで、異なるニューラルネットワークからの出力を組み合わせて、医療システム１００のための出力４１２（例えば、段階予測）を生成することができる。
【0070】
段階識別プロセス
図５は、特定の実施形態による、段階識別プロセス５００のフロー図である。段階識別プロセス５００は、制御システム１４０によって、又は図１の医療システム１００の別の構成要素によって実行することができる。以下は、プロセスに対する１つの可能なシーケンスを説明するが、他の実施形態は、異なる順序でプロセスを実行することができ、又は追加のステップを含んでもよく、又は以下に説明されるステップのうちの１つ以上を除外してもよい。
図５は、特定の実施形態による、段階識別プロセス５００のフロー図である。段階識別プロセス５００は、制御システム１４０によって、又は図１の医療システム１００の別の構成要素によって実行することができる。以下は、プロセスに対する１つの可能なシーケンスを説明するが、他の実施形態は、異なる順序でプロセスを実行することができ、又は追加のステップを含んでもよく、又は以下に説明されるステップのうちの１つ以上を除外してもよい。
【0071】
ブロック５０５において、制御システム１４０は、ロボットシステムのＵＩからの入力を識別する。例えば、入力は、コントローラ又はタッチスクリーンなどの入力デバイス１４６から受信されてもよい。可能な入力は、処置段階の選択又は特定の処置段階に関連付けられたＵＩ画面の選択を含むことができる。例えば、第１の画面は、第１の処置のためのオプションを列挙してもよく、一方、第２の画面は、第２の処置のためのオプションを列挙してもよい。ユーザが第１の画面上で選択を行っている場合、これらの選択は、ユーザが第１の処置を実行していることを示す。ユーザが第２の画面上で選択を行っている場合、これらの選択は、ユーザが第２の処置を実行していることを示す。したがって、特定の段階に対応するようにＵＩの画面を編成することによって、制御システム１４０は、ユーザの選択に基づいて段階情報を取得することができる。別の実施例では、医療システム１００の一実施形態は、尿管鏡検査、経皮的アクセス又はミニ経皮的腎切石術（ＰＣＮＬ）などの選択可能な結石管理処置を示す第１の画面を有するＵＩを含むことができる。ユーザが尿管鏡検査を選択する場合、制御システム１４０は、段階が尿管鏡検査（例えば、腎臓内のバスケット処理、レーザ処理、及び／又は調査）に関連すると判定することができる。同様に、他の結石管理処置を選択することは、段階が対応する処置に関連することを示す。
【0072】
ブロック５１０において、制御システム１４０は、ＵＩ入力及びセンサデータのうちの少なくとも１つに基づいて、処置のセットから処置を決定する。上述したように、ＵＩインターフェースからの入力は、現在の可能な処置段階を識別するために使用することができる。加えて、ロボットセンサデータもまた、処置を識別するために使用されることができる。例えば、ロボットシステム１１０のアームが外科用器具を保持しながら患者に接近していると判定された場合、制御システム１４０は、現在の処置が医療器具の挿入に関連すると判定してもよい。
【0073】
ブロック５１５において、制御システム１４０は、決定された処置に基づいて、識別可能な処置段階のセットを処置段階のサブセットに狭めることができる。例えば、レーザ処理は、レーザの起動又はレーザの停止などのタスク又は段階に関連付けられてもよい。バスケット処理することは、結石を捕捉すること又はバスケットを後退させること等のタスク又は段階と関連付けられ得る。医療器具１２０の挿入は、器具を標的と整列させ、器具を標的部位に挿入することと関連付けられてもよい。一実施例では、制御システム１４０が、現在の処置が尿管鏡検査中のバスケット処置であると判定した場合、制御システム１４０は、可能な段階を、結石を捕捉すること、又はバスケットを後退させることに狭めることができる。
【0074】
ブロック５２０において、制御システム１４０は、ロボットシステム１１０のセンサデータからロボットマニピュレータ（例えば、ロボットアーム１１２）の位置を決定することができる。図３で説明したように、様々なタイプのセンサを使用してセンサデータを生成することができ、その後、センサデータを使用して位置を決定することができる。
【0075】
ブロック５２５において、制御システム１４０は、捕捉されたビデオの分析を実行することができる。図４に記載されるものなどのいくつかの実施形態では、機械学習アルゴリズムを使用して、分析を実行し、識別された特徴及び段階の仮識別などの出力を生成する。出力は、手術ツール又は解剖学的構造の一部等の物理的対象物の識別を含むことができる。例えば、制御システム１４０が捕捉されたビデオ内で尿管を識別する場合、それは、段階が経皮的アクセスに関連しないことを示す。同様に、乳頭を識別することは、段階がバスケット処理に関連しないことを示す。他のタイプの解剖学的構造の識別を同様に使用して、特定の段階の可能性を排除することができる。
【0076】
ブロック５３０において、制御システム１４０は、少なくともロボットマニピュレータの位置及び実行された分析に基づいて、処置段階のサブセットから段階を識別することができる。例えば、制御システム１４０がコントローラを介してバスケット投入入力を受信している場合、制御システム１４０は、その段階がバスケット処理段階のうちの１つであると判定することができる。加えて、実行された分析が、取り込まれたビデオが破砕された腎臓結石に近づいているバスケットを示していることを識別する場合、制御システム１４０は、現在の段階が結石を捕捉していると判定することができる。別の実施例では、実行された分析が、捕捉されたビデオが破砕された腎臓結石からバスケットを引き抜いていることを示していることを識別する場合、制御システム１４０は、現在の段階がバスケットをシース内に後退させていることを判定することができる。更なる実施例では、ロボットシステム１１０からの運動学的データは、医療器具が患者内から引き抜かれていることを示してもよく、制御システム１４０は、現在の段階がバスケットをシース内に後退させていることを判定してもよい。
【0077】
ブロック５３５において、制御システム１４０は、捕捉されたビデオの識別された段階についてのビデオマーカを生成することができる。ビデオマーカは、ビデオと同じファイル内のメタデータとして、ビデオファイルに関連付けられた別個のファイルとして、ビデオ注釈のためにデータベース内に記憶されたメタデータなどとして埋め込まれてもよい。
【0078】
いくつかの実施形態では、ビデオファイルの視聴者がビデオ内の特定の段階にジャンプすることができるように、ビデオファイルに注釈が付けられる。例えば、ビデオは、異なる段階に対応するチャプタ又はセグメントに分割されてもよい。一実施形態では、ビデオのシークバーは、異なる段階に対応する着色セグメントでマークされてもよく、各段階は、異なる色によって示される。
【0079】
ブロック５５０において、制御システム１４０は、ビデオの終わりに達したかどうかを判定することができる。はいの場合、プロセス５００は終了することができる。いいえの場合、プロセス５００は、ブロック５２０にループバックして、追加の段階を識別し続けることができる。例えば、プロセス５００は、１回、２回、３回、又はそれ以上ループして、第１の段階、第２の段階、第３の段階、又はそれ以上の段階を識別することができる。その後、捕捉されたビデオは、識別された段階の数に応じて、１つ以上のビデオマーカで終了してもよい。
【0080】
自動アクションのトリガ
図６は、特定の実施形態による、自動化されたロボットアクションのためのトリガプロセス６００のフロー図である。トリガプロセス６００は、制御システム１４０によって、又は図１の医療システム１００の別の構成要素によって実行することができる。以下は、プロセスに対する１つの可能なシーケンスを説明するが、他の実施形態は、異なる順序でプロセスを実行することができ、又は追加のステップを含んでもよく、又は以下に説明されるステップのうちの１つ以上を除外してもよい。
図６は、特定の実施形態による、自動化されたロボットアクションのためのトリガプロセス６００のフロー図である。トリガプロセス６００は、制御システム１４０によって、又は図１の医療システム１００の別の構成要素によって実行することができる。以下は、プロセスに対する１つの可能なシーケンスを説明するが、他の実施形態は、異なる順序でプロセスを実行することができ、又は追加のステップを含んでもよく、又は以下に説明されるステップのうちの１つ以上を除外してもよい。
【0081】
ブロック６０５において、制御システム１４０は、ロボットシステム１１０のセンサデータ（例えば、運動学的データ）からロボットマニピュレータ（例えば、ロボットアーム１１２）の状態を判定することができる。図３に記載されているように、様々なタイプのセンサを使用してセンサデータを生成することができ、センサデータは次いで、ロボットマニピュレータの位置又は他の状態を判定するために使用され得る。
【0082】
ブロック６１０において、制御システム１４０は、ロボットマニピュレータのアクションを開始するための入力を決定することができる。例えば、入力は、バスケットデバイスを制御するためにコントローラを操作するユーザからのものであってもよい。別の実施例では、入力は、医療システム１００のＵＩ上の画面選択又はメニュー選択であってもよい。
【0083】
ブロック６１５において、制御システム１４０は、捕捉されたビデオの分析を実行することができる。図４に記載されるものなどのいくつかの実施形態では、機械学習アルゴリズムを使用して、分析を実行し、識別された特徴及び段階の仮識別などの出力を生成する。
【0084】
ブロック６２０において、制御システム１４０は、マニピュレータの状態、識別された入力、及び実行された分析に少なくとも基づいて、医療処置の段階を識別することができる。例えば、制御システム１４０がコントローラを介してバスケット投入入力を受信している場合、制御システム１４０は、その段階がバスケット処理段階のうちの１つであると判定することができる。加えて、実行された分析が、取り込まれたビデオが破砕された腎臓結石に近づいているバスケットを示していることを識別する場合、制御システム１４０は、現在の段階が結石を捕捉していると判定することができる。別の実施例では、実行された分析が、捕捉されたビデオが破砕された腎臓結石からバスケットを引き抜いていることを示していることを識別する場合、制御システム１４０は、現在の段階がバスケットをシース内に後退させていることを判定することができる。更なる実施例では、ロボットシステム１１０からの運動学的データは、医療器具が患者内から引き抜かれていることを示してもよく、制御システム１４０は、現在の段階がバスケットをシース内に後退させていることを判定してもよい。
【0085】
ブロック６２５において、制御システム１４０は、識別された段階に基づいてロボットシステム１１０の自動アクションをトリガすることができる。トリガされるアクションは、実行されている処置のタイプに基づいて変化し得る。いくつかの可能なアクションがブロック６３０、６３５、及び６４０に示されている。ブロック６３０において、ロボットシステム１１０は、尿管鏡検査レーザ処理中にアクションを実行する。ブロック６３５において、ロボットシステム１１０は、針などの医療器具の挿入中にアクションを実行する。ブロック６３５において、ロボットシステム１１０は、尿管鏡検査バスケット処理中にアクションを実行する。ロボットシステム１１０によってアクションを引き起こした後、トリガプロセス６００は終了することができる。図７は、トリガされ得る特定のアクションに関する追加の詳細を説明する。
【0086】
図７は、ある実施形態による、ロボットシステム１１０の異なるタイプのトリガされたアクションを示す図である。アクションは、動作の現在の段階を識別すること、又はユーザアクションを識別することに応答してトリガされ得る。いくつかの実施形態では、アクションは、完全に自動的であり、ユーザからの追加の入力を必要とせずに実行され得る。他の実施形態では、アクションは部分的に自動化されてもよく、ロボットシステム１１０によって実行される前にユーザからの確認を必要とする。段階の異なる組み合わせが、ロボットシステム１１０によって実行されている処置に基づいて実行され得る。いくつかの例示的な処置は、（逆行性）尿管鏡検査、経皮的腎切石術（ＰＣＮＬ）、ミニＰＣＮＬ等を含む。例えば、尿管鏡検査は、調査段階（図示せず）と、レーザ処理段階と、バスケット処理段階とを含むことができる。ＰＣＮＬは、経皮的アクセス段階、調査段階、レーザ処理段階、及びバスケット処理段階を含むことができる。ミニＰＣＮＬは、追加の位置合わせ及び／又は吸引段階を含むことができる。
【0087】
例えば、レーザ処理７０５の間、トリガされ得るアクションは、結石７１０にレーザを適用することと、結石７１５に向けられていないときにレーザを停止することとを含む。１つのシナリオでは、ロボットシステム１１０は、種々のセンサ（例えば、カメラ）を使用して、レーザが結石に向けられたときを検出することができる。次いで、それは、例えば、以前の尿管鏡検査処置の記録を使用して訓練された機械学習アルゴリズムを使用することによって、又は従来のコンピュータビジョンアルゴリズムを使用することによって（例えば、バスケットの既知のサイズを結石のサイズと比較することによって）、結石のサイズを判定してもよい。判定されたサイズに基づいて、ロボットシステム１１０は、次いで、同様のサイズ及び／又はタイプの結石について記録されたレーザ処理時間に基づいて初期レーザ処理時間を決定することができる。次いで、ロボットシステム１１０は、決定されたレーザ処理時間の後、又は結石が破砕されたことを検出した場合に、レーザを停止することができる。他のシナリオでは、ユーザは、レーザ処理時間を設定すること、又はロボットシステムによってレーザが起動される許可を提供することなど、追加の入力を提供することができる。
【0088】
別のシナリオでは、レーザの適用はユーザによってトリガされてもよく、レーザの停止はロボットシステム１１０によって自動的にトリガされる。例えば、ロボットシステム１１０は、そのセンサを使用して、レーザの標的が結石からドリフトするか、又は他の方法で結石の中心に置かれないときを検出し、それに応答してレーザを停止することができる。
【0089】
別の実施例では、バスケット処理７２５中に、トリガされ得るアクションは、バスケット７３０の内側に結石を捕捉することと、バスケットをシース７３５内に後退させることとを含む。１つのシナリオでは、ロボットシステム１１０は、バスケット７３０が結石と位置合わせされ、指定された距離内にあることを検出すると、バスケット７３０の作動をトリガすることができる。次いで、バスケット７３０を作動させて結石を捕捉することができる。次いで、ロボットシステム１１０は、そのセンサ（例えば、カメラ又は圧力センサ）を使用して、結石がバスケット７３０の内側に捕捉されているかどうかを判定し、シース７３５の中へのバスケットの後退をトリガすることができる。次いで、ユーザは、シースを患者の身体から後退させ、それによって、結石を除去してもよい。別の実施例では、経皮的アクセス７４０中に、トリガされ得るアクションは、標的（腎杯）選択７４５、挿入部位選択７５０、及び標的部位への針挿入７５５を含む。１つのシナリオでは、ロボットシステム１１０は、標的及び標的における挿入部位（例えば、ユーザによってマークされるか、又はシステムによって識別される）を決定することができる。次いで、ロボットシステム１１０は、ユーザからの確認が進むのを待ってもよい。確認を受信した後、ロボットシステム１１０は、次いで、針（又は他の器具）を標的部位に挿入してもよい。
【0090】
別の実施例では、ミニＰＣＮＬ処置中に、追加の段階は、ＰＣＮＬシース７６５とのロボット位置合わせと、能動的な灌注及び吸引７７０による結石のレーザ処理とを含むことができる。これらの段階においてトリガされるアクションは、器具をＰＣＮＬシースと位置合わせすること、及び吸引を増加させることを含むことができる。例えば、ロボットシステム１１０が、レーザ処理の間の結石片の増加、又はそうでなければ可視性を制限するより大きな塵を検出した場合、ロボットシステム１１０は、より多くの結石片を除去するために吸引又は吸引力を増加させることができる。可視性又は視野が増加すると、ロボットシステム１１０は、吸引を低減することができる。
【0091】
上記では、識別された段階に基づいてトリガすることができるロボットシステム１１０の自動アクションのいくつかの例及びシナリオについて説明したが、トリガ可能なアクションは、上記で説明したアクションに限定されない。ロボットシステム１１０は、ユーザ及び患者のニーズに基づいて他のトリガ可能なアクションを実行するようにプログラムされてもよい。
【0092】
段階中に実行されるタスクの評価
図８は、特定の実施形態による、識別された段階中に実行されるタスクの評価プロセス８００のフロー図である。評価プロセス８００は、制御システム１４０によって、又は図１の医療システム１００の別の構成要素によって実行することができる。以下は、プロセスに対する１つの可能なシーケンスを説明するが、他の実施形態は、異なる順序でプロセスを実行することができ、又は追加のステップを含んでもよく、又は以下に説明されるステップのうちの１つ以上を除外してもよい。
図８は、特定の実施形態による、識別された段階中に実行されるタスクの評価プロセス８００のフロー図である。評価プロセス８００は、制御システム１４０によって、又は図１の医療システム１００の別の構成要素によって実行することができる。以下は、プロセスに対する１つの可能なシーケンスを説明するが、他の実施形態は、異なる順序でプロセスを実行することができ、又は追加のステップを含んでもよく、又は以下に説明されるステップのうちの１つ以上を除外してもよい。
【0093】
ブロック８０５において、制御システム１４０は、ロボットシステム１１０のセンサデータからロボットマニピュレータ（例えば、ロボットアーム１１２）の状態を決定することができる。図３に記載されているように、様々なタイプのセンサを使用してセンサデータを生成することができ、センサデータは次いで、ロボットマニピュレータの位置又は他の状態を判定するために使用され得る。
【0094】
ブロック８１０において、制御システム１４０は、ロボットマニピュレータのアクションを開始するための入力を決定することができる。例えば、入力は、バスケットデバイスを制御するためにコントローラを操作するユーザからのものであってもよい。別の実施例では、入力は、医療システム１００のＵＩ上の画面選択又はメニュー選択であってもよい。
【0095】
ブロック８１５において、制御システム１４０は、捕捉されたビデオの分析を実行することができる。図４に記載されるものなどのいくつかの実施形態では、機械学習アルゴリズムを使用して、分析を実行し、識別された特徴及び段階の仮識別などの出力を生成する。
【0096】
ブロック８２０において、制御システム１４０は、マニピュレータの状態、識別された入力、及び実行された分析に少なくとも基づいて、医療処置の段階を識別することができる。例えば、制御システム１４０がコントローラを介してバスケット投入入力を受信している場合、制御システム１４０は、その段階がバスケット処理段階のうちの１つであると判定することができる。加えて、実行された分析が、取り込まれたビデオが破砕された腎臓結石に近づいているバスケットを示していることを識別する場合、制御システム１４０は、現在の段階が結石を捕捉していると判定することができる。別の実施例では、実行された分析が、捕捉されたビデオが破砕された腎臓結石からバスケットを引き抜いていることを示していることを識別する場合、制御システム１４０は、現在の段階がバスケットをシース内に後退させていることを判定することができる。更なる実施例では、ロボットシステム１１０からの運動学的データは、医療器具が患者内から引き抜かれていることを示してもよく、制御システム１４０は、現在の段階がバスケットをシース内に後退させていることを判定してもよい。
【0097】
ブロック８２５において、制御システム１４０は、１つ以上のメトリックに基づいて、識別された段階の評価を生成することができる。評価される段階は、実行されている処置のタイプに基づいて変化し得る。いくつかの可能な段階がブロック８３０、８３５、及び８４０に示されている。ブロック８３０において、制御システム１４０は、尿管鏡検査レーザ処理段階を評価する。ブロック８３５において、制御システム１４０は、医療器具挿入段階を評価する。ブロック８４０において、制御システム１４０は、尿管鏡検査バスケット処理段階を評価する。以下に、各種評価のいくつかの具体例を示す。
【0098】
図９は、特定の実施形態による、医療タスクのためのスコアリングプロセス９００のフロー図である。スコアリングプロセス９００は、制御システム１４０によって、又は図１の医療システム１００の別の構成要素によって実行することができる。以下は、プロセスに対する１つの可能なシーケンスを説明するが、他の実施形態は、異なる順序でプロセスを実行することができ、又は追加のステップを含んでもよく、又は以下に説明されるステップのうちの１つ以上を除外してもよい。
【0099】
ブロック９０５において、制御システム１４０は、第１の処置タスクが実行される回数をカウントする。ブロック９１０において、制御システム１４０は、第２の処置タスクが実行される回数をカウントする。ブロック９１５において、制御システム１４０は、第１の処置タスクについてのカウント数と第２の処置タスクについてのカウント数との比を決定する。ブロック９２０において、制御システム１４０は、決定された比を履歴比と比較することができる。例えば、履歴比は、同じ処置の履歴記録を分析して平均又は中央値比を決定することによって生成されてもよい。
【0100】
一実施例では、尿管鏡検査バスケット処理中に、制御システム１４０は、バスケット動作の回数をカウントし、尿管鏡後退の回数をカウントすることができる。次いで、制御システム１４０は、バスケット動作の回数と尿管鏡後退の回数との比を決定し、決定された比を以前の尿管鏡検査バスケット処置からの他の比と比較することができる。
【0101】
尿管鏡検査駆動の一実施例では、制御システム１４０は、ユーザが手動でスコープを駆動する回数と、ユーザがロボットでスコープを駆動する回数とをカウントすることができる。手動駆動は、一般に、腎臓を調査するために使用される。一方、スコープは、典型的には、バスケット処理を実行するためにロボットシステムにドッキングされる。次いで、制御システム１４０は、ユーザがスコープを手動で駆動する回数と、ユーザがスコープをロボットで駆動する回数との比を決定し、決定された比を以前の尿管鏡検査処置からの他の記録された比と比較することができる。この比は、ロボット尿管鏡検査に対するユーザの適応のレベルを測定することができる。
【0102】
別の実施例では、尿管鏡検査レーザ処理中に、制御システム１４０は、結石のレーザ処理時間をカウントし、結石のサイズ及び／又はタイプを決定することができる。次に、制御システム１４０は、結石のレーザ処理時間と結石のサイズとの比を決定し、決定された比を他の動作からの以前の比と比較することができる。結石のタイプ（例えば、尿酸、シュウ酸カルシウム一水和物、スツルバイト、システイン、ブルシャイトなど）を決定することによって、制御システム１４０は、結石のタイプに基づいて外科手術全体の静力学を集約することができる。例えば、レーザ処理持続時間及び処置持続時間は、結石のタイプによって分けることができる。
【0103】
ブロック９２５において、制御システム１４０は、比較の出力を生成することができる。そのような出力は、レポート、視覚的インジケータ、ガイド、スコア、グラフなどであり得る。例えば、制御システム１４０は、ユーザが、以前の動作からの記録された比率と比較して、比率の中央値又は平均値で、それを下回って、又はそれを上回って実施していることを示してもよい。いくつかの実施形態では、出力は、現在のユーザをそのユーザによる以前の動作の記録と比較して、ユーザの個人的な成績を追跡してもよい。いくつかの実施形態では、出力は、ユーザを他の医療専門家と比較してもよい。
【0104】
一実施形態では、出力は、ユーザの現在のパフォーマンスが以前の動作とどのように比較されるかを示すリアルタイムインジケータを含むことができる。そのような出力は、例えば、結石のサイズに基づいてレーザ処理をどれだけ長く実行するかに関するユーザ入力を与えることによって、手術中にユーザを支援することができる。他の出力は、他の関連情報をユーザに提供することができる。
【0105】
様々なタイプの処置タスクを、スコアリングプロセス９００を使用して評価することができる。例えば、いくつかの比率は、尿管鏡後退の回数に対するバスケット動作の回数、ユーザがスコープをロボットで駆動する回数に対するユーザがスコープを手動で駆動する回数、及び結石のサイズに対する結石のレーザ処理時間を含むことができる。
【0106】
図１０は、特定の実施形態による、医療タスクのための別のスコアリングプロセスのフロー図である。スコアリングプロセス１０００は、制御システム１４０によって、又は図１の医療システム１００の別の構成要素によって実行することができる。以下は、プロセスに対する１つの可能なシーケンスを説明するが、他の実施形態は、異なる順序でプロセスを実行することができ、又は追加のステップを含んでもよく、又は以下に説明されるステップのうちの１つ以上を除外してもよい。
【0107】
ブロック１００５において、制御システム１４０は、第１の処置タスクをカウントすることができる。ブロック１０１０において、制御システム１４０は、第１の処置タスクを第１の処置の履歴カウントと比較することができる。例えば、尿管鏡検査駆動中に、制御システム１４０は、ユーザが成功するまでユーザが針を挿入しようと試みる回数をカウントし、そのカウントを以前の経皮的針挿入動作からの記録された針挿入試行と比較することができる。
【0108】
別の実施例では、経皮的針挿入中、制御システム１４０は、経皮的アクセスのための標的腎杯を選択する前に、腎臓を調査するためにかかる時間をカウントし、カウントされた時間を以前の経皮的針挿入動作からの記録された時間と比較してもよい。制御システム１４０はまた、経皮的針挿入中に、カテーテルとのロボットマニピュレータの自動位置合わせが開始される回数をカウントし、カウントされた回数を以前の動作からの記録された自動位置合わせ数と比較してもよい。
【0109】
ミニＰＣＮＬ位置合わせ中、制御システム１４０は、カテーテル又はシースとのロボットマニピュレータのエンドエフェクタの自動位置合わせが開始される回数をカウントし、カウントされた回数を以前の動作からの記録された自動位置合わせ数と比較し得る。別の実施例では、制御システム１４０は、尿管鏡検査レーザ処理中に、ビデオキャプチャデバイスのビューが結石の破砕による塵によって遮られる回数をカウントし、カウントされた回数を以前の動作からの塵遮蔽の記録された回数と比較することができる。
【0110】
ブロック１０１５において、制御システム１４０は、比較の出力を生成することができる。そのような出力は、レポート、視覚的インジケータ、ガイド、スコア、グラフなどであり得る。例えば、制御システム１４０は、ユーザが、以前の動作からの記録されたメトリックと比較して、中央値又は平均値で、それを下回って、又はそれを上回って実施していることを示してもよい。いくつかの実施形態では、出力は、現在のユーザをそのユーザによる以前の動作の記録と比較して、ユーザの個人的な成績を追跡してもよい。いくつかの実施形態では、出力は、ユーザを他のユーザと比較してもよい。
【0111】
一実施形態では、出力は、ユーザの現在のパフォーマンスが以前の動作とどのように比較されるかを示すリアルタイムインジケータを含むことができる。そのような出力は、例えば、断片からの塵の量が通常から外れているかどうかを示すことによって、手術中にユーザを支援することができる。他の出力は、他の関連情報をユーザに提供することができる。
【0112】
様々なタイプの処置タスクが、スコアリングプロセス１０００を使用して評価され得る。例えば、いくつかのタスクは、ユーザが針を挿入することに成功するまで、ユーザが針を挿入しようと試みる回数と、経皮的アクセスのための標的腎杯を選択する前に、腎臓を調査するのにかかる時間をカウントすることと、針を追跡するためのナビゲーションフィールド発生器が再配置される回数をカウントすることと、ロボットマニピュレータとカテーテルとの自動化された位置合わせが開始される回数をカウントすることと、ビデオキャプチャデバイスのビューが、結石の破砕による塵によって遮られる回数をカウントすることと、を含み得る。
【0113】
例示的なロボットシステム
図１１は、１つ以上の実施形態によるロボットシステム１１０の例示的な詳細を例示する。この実施例では、ロボットシステム１１０は、移動可能であるカートベースのロボット制御可能なシステムとして例示されている。しかし、ロボットシステム１１０は、固定システムとして実装される、テーブルに一体化されるなどが可能である。
図１１は、１つ以上の実施形態によるロボットシステム１１０の例示的な詳細を例示する。この実施例では、ロボットシステム１１０は、移動可能であるカートベースのロボット制御可能なシステムとして例示されている。しかし、ロボットシステム１１０は、固定システムとして実装される、テーブルに一体化されるなどが可能である。
【0114】
ロボットシステム１１０は、細長いセクション１１４（Ａ）（「カラム１１４（Ａ）」と称されることもある）及び基部１１４（Ｂ）を含む支持構造１１４を含むことができる。カラム１１４（Ａ）は、１つ以上のロボットアーム１１２（図には３つ示されている）の展開を支持するためのキャリッジ１１０２（代替的に「アーム支持体１１０２」と称される）などの１つ以上のキャリッジを含むことができる。キャリッジ１１０２は、患者に対して位置付けるために、垂直軸に沿って回転してロボットアーム１１２の基部を調整する個別に構成可能なアームマウントを含むことができる。キャリッジ１１０２はまた、キャリッジ１１０２がカラム１１４（Ａ）に沿って垂直方向に並進することを可能にするキャリッジインターフェース１１０４を含み得る。キャリッジインターフェース１１０４は、キャリッジ１１０２の垂直並進を誘導するためにカラム１１４（Ａ）の両側に位置決めされているスロット１１０６などのスロットを通してカラム１１４（Ａ）に接続されている。スロット１１０６は、キャリッジ１１０２を基部１１４（Ｂ）に対して様々な垂直高さに位置決めして保持するための垂直並進インターフェースを含む。キャリッジ１１０２が垂直並進することにより、ロボットシステム１１０は、ロボットアーム１１２の到達範囲を調整して、種々のテーブル高さ、患者サイズ、医師の選好などを満たすことができる。同様に、キャリッジ１１０２上の個別に構成可能なアームマウントによって、ロボットアーム１１２のロボットアーム基部１１０８を、種々の構成で角度付けすることができる。カラム１１４（Ａ）は、例えば、Ｉ／Ｏデバイス１１６からの入力などのユーザ入力に応答して生成される制御信号に応答して、キャリッジ１１０２を機械化された様式で並進させるために垂直方向に位置合わせされた親ねじを使用するように設計された、ギア及び／又はモータなどの機構を内部に備えることができる。
【0115】
いくつかの実施形態では、スロット１１０６には、キャリッジ１１０２が垂直方向に並進するときにカラム１１４（Ａ）の内部チャンバ及び／又は垂直並進インターフェース内に汚れ及び／又は流体が侵入するのを防止するために、スロット表面と同一平面内にある及び／又は平行であるスロットカバーで補完され得る。スロットカバーは、スロット１１０６の垂直方向の頂部及び底部付近に位置決めされたばねスプールの対を通して展開され得る。カバーは、キャリッジ１１０２が垂直方向に上下に並進するときに、コイル状の状態から延伸及び後退するように展開されるまで、スプール内でコイル状にされ得る。スプールのばね荷重は、キャリッジ１１０２がスプールに向かって並進するときにカバーをスプール内に後退させる力を提供し、同時に、キャリッジ１１０２がスプールから離れて並進するときに緊密なシールを維持することもできる。カバーは、キャリッジ１１０２が並進する際のカバーの適切な延伸及び後退を確実にするために、例えば、キャリッジインターフェース１１０４内のブラケットを使用してキャリッジ１１０２に接続され得る。
【0116】
基部１１４（Ｂ）は、床などの地表上で、カラム１１４（Ａ）、キャリッジ１１０２、及び／又はアーム１１２の重量のバランスをとることができる。したがって、基部１１４（Ｂ）は、１つ以上の電子機器、モータ、電源などの重い構成要素、並びにロボットシステム１１０を移動及び／又は固定することを可能にする構成要素を収容することができる。例えば、基部１１４（Ｂ）は、ロボットシステム１１０が処置のために部屋を動き回ることを可能にする転動可能ホイール１１１６（「キャスタ１１１６」とも称される）を含むことができる。適切な位置に到達した後に、キャスタ１１１６をホイールロックを用いて固定して、処置の間ロボットシステム１１０を所定の位置に保持することができる。図示したように、ロボットシステム１１０はまた、ロボットシステム１１０を操縦すること及び／又は安定させることを支援するためのハンドル１１１８を含む。
【0117】
ロボットアーム１１２は、概して、一連のジョイント１１１４によって接続された一連のリンク機構１１１２によって分離されたロボットアーム基部１１０８及びエンドエフェクタ１１１０を備えることができる。各ジョイント１１１４は、独立したアクチュエータを含むことができ、各アクチュエータは独立して制御可能なモータを含むことができる。各独立して制御可能なジョイント１１１４は、ロボットアーム１１２が利用できる独立した自由度を表す。例えば、アーム１１２はそれぞれ、７つのジョイントを有することができ、したがって７つの自由度を得ることができる。しかし、任意の数のジョイントを任意の自由度で実装することができる。実施例では、多数のジョイントによって多数の自由度を得ることができ、「冗長」自由度が可能になる。冗長自由度によって、ロボットアーム１１２は、その個々のエンドエフェクタ１１１０を、異なるリンク機構位置及び／又はジョイント角度を用いて、空間内の特定の位置、向き、及び／又は軌道に位置付けることができる。いくつかの実施形態では、エンドエフェクタ１１１０を、医療器具、デバイス、対象物などと係合し、かつ／又はそれらを制御するように構成することができる。アーム１１２の運動の自由度により、ロボットシステム１１０が、空間内の所望の点から医療機器を位置付け、かつ／若しくは方向付けることができ、かつ／又は医師が、アーム１１２を患者から離れた臨床的に好都合な位置に移動させて、アームの衝突を回避しながらアクセスすることができる。
【0118】
図１１に示されるように、ロボットシステム１１０はまた、Ｉ／Ｏデバイス１１６を含むことができる。Ｉ／Ｏデバイス１１６は、ディスプレイ、タッチスクリーン、タッチパッド、プロジェクタ、マウス、キーボード、マイクロフォン、スピーカ、コントローラ、（例えば、ジェスチャ入力を受信するための）カメラ、又は入力を受信する及び／又は出力を提供するための別のＩ／Ｏデバイスを含むことができる。Ｉ／Ｏデバイス１１６は、タッチ、発話、ジェスチャ、又は任意の他のタイプの入力を受信するように構成され得る。Ｉ／Ｏデバイス１１６は、カラム１１４（Ａ）の垂直端部（例えば、カラム１１４（Ａ）の頂部）に位置決めされ得、及び／又はユーザ入力を受信するための及び／又は出力を提供するためのユーザインターフェースを提供することができる。例えば、Ｉ／Ｏデバイス１１６は、入力を受信し、術前及び／又は術中データを医師に提供するためのタッチスクリーン（例えば、兼用デバイス）を含むことができる。例示的な術前データは、術前計画、ナビゲーション、及び／又は術前コンピュータ断層撮影（computerized tomography、ＣＴ）スキャンから導出されたマッピングデータ、及び／又は術前患者問診からのメモを含むことができる。例示的な術中データは、ツール／器具、センサから提供される光学情報、及び／又はセンサからの座標情報、並びに呼吸、心拍数、及び／又は脈拍などの重要な患者統計を含むことができる。Ｉ／Ｏデバイス１１６は、医師が、カラム１１４（Ａ）の、キャリッジ１１０２とは反対側などの様々な位置からＩ／Ｏデバイス１１６にアクセスすることを可能にするように位置決めされる及び／又は傾けられることができる。この位置から、医師は、Ｉ／Ｏデバイス１１６、ロボットアーム１１２、及び／又は患者を視認すると同時に、Ｉ／Ｏデバイス１１６をロボットシステム１１０の背後から動作させることができる。
【0119】
ロボットシステム１１０は、様々な他の構成要素を含むことができる。例えば、ロボットシステム１１０は、１つ以上の制御電子機器／回路、電源、空気圧、光源、アクチュエータ（例えば、ロボットアーム１１２を移動させるためのモータ）、メモリ、及び／又は（例えば、別のデバイスと通信するための）通信インターフェースを含むことができる。いくつかの実施形態では、メモリは、コンピュータ実行可能命令を記憶することができ、コンピュータ実行可能命令は、制御回路によって実行されると、制御回路に、本明細書で考察される動作のうちのいずれかを実行させる。例えば、メモリは、コンピュータ実行可能命令を記憶することができ、コンピュータ実行可能命令は、制御回路によって実行されると、制御回路に、ロボットアーム１１２の操作に関する入力及び／又は制御信号を受信させ、それに応答して、ロボットアーム１１２を制御して、特定の配置で位置決めし、及び／又はエンドエフェクタ１１１０に接続された医療器具をナビゲートする。
【0120】
いくつかの実施形態では、ロボットシステム１１０は、バスケット回収デバイス１２０などの医療器具と係合する及び／又はそれを制御するように構成されている。例えば、ロボットアーム１１２は、スコープ（例えば、スコープのシース及び／又はリーダ）の位置、向き、及び／又は先端関節運動を制御するように構成され得る。いくつかの実施形態では、ロボットアーム１１２は、細長い移動部材を使用してスコープを操作するように構成され得る／構成可能であり得る。細長い移動部材としては、１つ以上のプルワイヤ（例えば、プルワイヤ又はプッシュワイヤ）、ケーブル、ファイバ、及び／又は可撓性シャフトを挙げることができる。説明すると、ロボットアーム１１２は、スコープに結合された複数のプルワイヤを駆動させて、スコープの先端をそらすように構成され得る。プルワイヤは、ステンレス鋼、ケブラー、タングステン、カーボンファイバなどの金属材料及び／又は非金属材料などの任意の好適な又は望ましい材料を含むことができる。いくつかの実施形態では、スコープは、細長い移動部材が印加した力を受けて非線形挙動を示すように構成されている。非線形挙動は、スコープの剛性及び圧縮性、並びに異なる細長い移動部材間のたるみ又は剛性の変動性に基づくことができる。
【0121】
例示的な制御システム
図１２は、１つ以上の実施形態による、制御システム１４０の例示的な詳細を例示する。例示されるように、制御システム１４０は、以下の構成要素、デバイス、モジュール、及び／又はユニット（本明細書では「構成要素」と称される）、すなわち、制御回路１２０２、データ記憶装置／メモリ１２０４、１つ以上の通信インターフェース１２０６、１つ又は２つ以上の電源ユニット１２０８、１つ以上のＩ／Ｏ構成要素１２１０、及び／又は１つ以上のホイール１２１２（例えば、キャスタ又は他のタイプのホイール）のうちの１つ以上を、別個に／個別に、及び／又は組み合わせて／まとめてのいずれかで含むことができる。いくつかの実施形態では、制御システム１４０は、制御システム１４０の構成要素のうちの１つ以上の少なくとも一部を収納若しくは収容するように構成され、かつ／又は寸法決めされたハウジング／エンクロージャを含むことができる。この実施例では、制御システム１４０は、１つ以上のホイール１２１２を用いて移動可能なカートベースのシステムとして例示されている。いくつかの事例では、適切な位置に到達した後、１つ以上のホイール１２１２は、ホイールロックを使用して固定されて、制御システム１４０を所定の位置に保持することができる。しかし、制御システム１４０は、固定システムとして実装されることや、別のシステム／デバイスなどに一体化されることなどが可能である。
図１２は、１つ以上の実施形態による、制御システム１４０の例示的な詳細を例示する。例示されるように、制御システム１４０は、以下の構成要素、デバイス、モジュール、及び／又はユニット（本明細書では「構成要素」と称される）、すなわち、制御回路１２０２、データ記憶装置／メモリ１２０４、１つ以上の通信インターフェース１２０６、１つ又は２つ以上の電源ユニット１２０８、１つ以上のＩ／Ｏ構成要素１２１０、及び／又は１つ以上のホイール１２１２（例えば、キャスタ又は他のタイプのホイール）のうちの１つ以上を、別個に／個別に、及び／又は組み合わせて／まとめてのいずれかで含むことができる。いくつかの実施形態では、制御システム１４０は、制御システム１４０の構成要素のうちの１つ以上の少なくとも一部を収納若しくは収容するように構成され、かつ／又は寸法決めされたハウジング／エンクロージャを含むことができる。この実施例では、制御システム１４０は、１つ以上のホイール１２１２を用いて移動可能なカートベースのシステムとして例示されている。いくつかの事例では、適切な位置に到達した後、１つ以上のホイール１２１２は、ホイールロックを使用して固定されて、制御システム１４０を所定の位置に保持することができる。しかし、制御システム１４０は、固定システムとして実装されることや、別のシステム／デバイスなどに一体化されることなどが可能である。
【0122】
制御システム１４０の特定の構成要素を図１２に図示しているが、図示していない追加の構成要素が本開示による実施形態に含まれ得ることを理解されたい。例えば、ニューラルネットワークを実行するために、グラフィカル処理ユニット（graphical processing unit、ＧＰＵ）又は他の専用埋め込みチップが含まれてもよい。更に、いくつかの実施形態では、例示される構成要素のうちのいくつかは、省略され得る。制御回路１２０２は、図１２の図において別個の構成要素として図示されているが、制御システム１４０の残りの構成要素のうちのいずれか又は全てが、制御回路１２０２に少なくとも部分的に具現化され得ることを理解されたい。すなわち、制御回路１２０２は、様々なデバイス（能動的及び／又は受動的）、半導体材料、及び／又は領域、層、区域、及び／又はそれらの部分、導体、リード、ビア、接続などを含むことができ、制御システム１４０の他の構成要素のうちの１つ以上及び／又はその一部分（複数可）は、かかる回路構成要素／デバイスによって少なくとも部分的に形成及び／又は具現化され得る。
【0123】
制御システム１４０の様々な構成要素は、ある特定の接続回路／デバイス／特徴を使用して、電気的及び／又は通信可能に結合され得るが、それら構成要素は、制御回路１２０２の一部であってもなくてもよい。例えば、（複数の）接続機能部は、制御システム１４０の種々の構成要素／回路のうちの少なくとも一部の取り付け及び／又は相互接続を容易にするように構成された１つ以上のプリント回路基板を含むことができる。いくつかの実施形態では、制御回路１２０２、データ記憶装置／メモリ１２０４、通信インターフェース１２０６、電源ユニット１２０８、及び／又は入力／出力（Ｉ／Ｏ）構成要素１２１０のうちの２つ以上は、互いに電気的及び／又は通信可能に結合され得る。
【0124】
例示されるように、メモリ１２０４は、入力デバイスマネージャ１２１６、及び本明細書で考察される様々な機能性を容易にするように構成されたユーザインターフェース構成要素１２１８を含むことができる。いくつかの実施形態では、入力デバイスマネージャ１２１６、及び／又はユーザインターフェース構成要素１２１８は、１つ以上の動作を実行するために制御回路１２０２によって実行可能な１つ以上の命令を含むことができる。多くの実施形態は、制御回路１２０２によって実行可能な１つ以上の命令を含む構成要素１２１６～１２１８の文脈で考察されているが、構成要素１２１６～１２１８のうちのいずれも、１つ以上の特定用途向け集積回路（ＡＳＩＣ）、１つ以上のフィールドプログラマブルゲートアレイ（ＦＰＧＡ）、１つ以上のプログラム固有標準製品（ＡＳＳＰ）、１つ以上の複合プログラマブル論理デバイス（ＣＰＬＤ）など、１つ以上のハードウェア論理構成要素として少なくとも部分的に実装され得る。更に、構成要素１２１６～１２１８は、制御システム１４０内に含まれるものとして例示されているが、構成要素１２１６～１２１８のうちのいずれも、ロボットシステム１１０、テーブル１５０、又は別のデバイス／システムなど、別のデバイス／システム内に少なくとも部分的に実装され得る。同様に、制御システム１４０の他の構成要素のうちのいずれも、別のデバイス／システム内に少なくとも部分的に実装され得る。
【0125】
入力デバイスマネージャ１２１６は、入力デバイス１４６から入力を受信し、それらをロボットシステム１１０によって実行可能なアクションに変換するように構成され得る。例えば、高速開、高速閉、及び小刻みな動きなどの予めプログラムされた動きを入力デバイスマネージャ１２１６に記憶することができる。これらの予めプログラムされた動作は、所望の入力（例えば、単一又は二重ボタン押下、音声コマンド、ジョイスティック移動等）に割り当てられることができる。いくつかの実装態様では、事前にプログラムされた動きは、製造業者によって決定される。他の実装形態では、ユーザは、既存の予めプログラムされた動きを修正すること、及び／又は新しい動きを作成することが可能であり得る。
【0126】
ユーザインターフェース構成要素１２１８は、１つ以上のユーザインターフェース（「１つ以上のグラフィカルユーザインターフェース（ＧＵＩ）」とも称される）を容易にするように構成され得る。例えば、ユーザインターフェース構成要素１２１８は、予めプログラムされた動きを入力に割り当てるための構成メニュー、又は特定の動作モードを有効にするか、若しくは特定の状況において選択された予めプログラムされた動きを無効にするための設定メニューを生成することができる。ユーザインターフェース構成要素１２１８は、ユーザに表示するためのユーザインターフェースデータ１２２２を提供することもできる。
【0127】
１つ以上の通信インターフェース１２０６は、１つ以上のデバイス／センサ／システムと通信するように構成することができる。例えば、１つ以上の通信インターフェース１２０６は、ネットワーク上で無線及び／又は有線の方式でデータを送る／受け取ることができる。本開示の実施形態によるネットワークとしては、ローカルエリアネットワーク（local area network、ＬＡＮ）、ワイドエリアネットワーク（wide area network、ＷＡＮ）（例えば、インターネット）、パーソナルエリアネットワーク（personal area network、ＰＡＮ）、ボディエリアネットワーク（body area network、ＢＡＮ）などを挙げることができる。いくつかの実施形態では、１つ以上の通信インターフェース１２０６は、Ｂｌｕｅｔｏｏｔｈ、Ｗｉ－Ｆｉ、近距離無線通信（near field communication、ＮＦＣ）などの無線技術を実装することができる。
【0128】
１つ以上の電源ユニット１２０８は、制御システム１４０（及び／又はいくつかの事例では、ロボットシステム１１０）の電力を管理するように構成され得る。いくつかの実施形態では、１つ以上の電源ユニット１２０８には、リチウム系電池、鉛酸電池、アルカリ電池、及び／又は別のタイプの電池などの１つ以上の電池が含まれる。すなわち、１つ以上の電源ユニット１２０８は、電力源をもたらし、かつ／又は電力管理機能をもたらすように構成された１つ以上のデバイス及び／又は回路を含むことができる。また、いくつかの実施形態では、１つ以上の電源ユニット１２０８は、交流（alternating current、ＡＣ）又は直流（direct current、ＤＣ）主電源に結合するように構成された主電源コネクタを含む。
【0129】
１つ以上のＩ／Ｏ構成要素１２１０は、例えばユーザとのインターフェース接続のために、入力を受信する及び／又は出力を提供するための様々な構成要素を含み得る。１つ以上のＩ／Ｏ構成要素１２１０は、タッチ、発話、ジェスチャ、又は任意の他のタイプの入力を受け取るように構成することができる。実施例では、１つ以上のＩ／Ｏ構成要素１２１０を使用して、ロボットシステム１１０を制御する、ロボットシステム１１０に取り付けられたスコープ又は他の医療器具をナビゲートする、テーブル１５０を制御する、蛍光透視デバイス１９０を制御するなど、デバイス／システムの制御に関する入力を提供することができる。図示するように、１つ以上のＩ／Ｏ構成要素１２１０は、データを表示するように構成された１つ以上のディスプレイ１４２（「１つ以上のディスプレイデバイス１４２」と称される場合がある）を含むことができる。１つ以上のディスプレイ１４２としては、１つ以上の液晶ディスプレイ（ＬＣＤ）、発光ダイオード（ＬＥＤ）ディスプレイ、有機ＬＥＤディスプレイ、プラズマディスプレイ、電子ペーパーディスプレイ、及び／又は任意の他のタイプの技術を挙げることができる。いくつかの実施形態では、１つ以上のディスプレイ１４２は、入力を受け取る及び／又はデータを表示するように構成された１つ以上のタッチスクリーンを含むことができる。更に、１つ以上のＩ／Ｏ構成要素１２１０は、タッチスクリーン、タッチパッド、コントローラ、マウス、キーボード、ウェアラブルデバイス（例えば、光学ヘッドマウントディスプレイ）、仮想又は拡張現実デバイス（例えば、ヘッドマウントディスプレイ）などを含むことができる、１つ以上の入力デバイス１４６を含むことができる。追加的に、１つ以上のＩ／Ｏ構成要素１２１０は、音声信号に基づいて音を出力するように構成された１つ以上のスピーカ１２２６、及び／又は音を受信し音声信号を生成するように構成された１つ以上のマイクロフォン１２２８を含むことができる。いくつかの実施形態では、１つ以上のＩ／Ｏ構成要素１２１０は、コンソールを含むか又はコンソールとして実装される。
【0130】
図９には図示しないが、制御システム１４０は、制御された灌注及び／若しくは吸引能力を医療器具（例えば、スコープ）に提供するための１つ以上のポンプ、流量計、バルブ制御装置、及び／若しくは流体アクセス構成要素などの他の構成要素や、医療器具によって配置することができるデバイス等を含み、かつ／又は制御することができる。いくつかの実施形態では、灌注及び吸引能力を、別個のケーブルを介して医療機器に直接届けることができる。更に、制御システム１４０は、フィルタリングされた、かつ／又は保護された電力をロボットシステム１１０など別のデバイスに提供するように設計された電圧プロテクタ及び／又はサージプロテクタを含むことができ、それによって、ロボットシステム１１０内に電力変圧器及び他の補助電力構成要素を配置することが回避され、ロボットシステム１１０がより小さく、より移動可能になる。
【0131】
制御システム１４０はまた、医療システム１００全体に展開されたセンサのための支持機器も含み得る。例えば、制御システム１４０は、光学センサ及び／又はカメラから受け取ったデータを検出し、受け取り、かつ／又は処理するための光電子機器を含むことができる。このような光電子機器を用いて、制御システム１４０内に含まれる任意の数のデバイス／システムにおいて表示するためのリアルタイム画像を生成することができる。
【0132】
いくつかの実装形態では、制御システム１４０は、１つ以上のケーブル又は接続（図示せず）を介して、ロボットシステム１１０、テーブル１５０、並びに／又はスコープ及び／若しくはバスケット回収デバイス１２０などの医療器具に結合され得る。いくつかの実装形態では、制御システム１４０からの支援機能を単一のケーブルを介して提供することができ、手術室を単純にして片付けることができる。他の実施態様では、特定の機能を別個のケーブル線及び接続部において結合することができる。例えば、電力は単一の電源ケーブルを介して提供することができるが、制御、光学系、流体工学、及び／又はナビゲーションに対する支援は、別個のケーブルを介して提供することができる。
【0133】
用語「制御回路」は、本明細書では、その広義及び通常の意味に従って使用され、以下のものの任意の集合を指すことができる：１つ以上のプロセッサ、処理回路、処理モジュール／ユニット、チップ、ダイ（例えば、１つ以上の能動デバイス及び／若しくは受動デバイス及び／若しくは接続回路を含む半導体ダイ）、マイクロプロセッサ、マイクロコントローラ、デジタル信号プロセッサ、マイクロコンピュータ、中央処理ユニット、グラフィックス処理ユニット、フィールドプログラマブルゲートアレイ、プログラマブル論理回路、ステートマシン（例えば、ハードウェアステートマシン）、論理回路、アナログ回路、デジタル回路、並びに／又は回路及び／若しくは動作命令のハードコーディングに基づいて信号（アナログ及び／又はデジタル）を操作する任意のデバイス。制御回路は更に、１つ以上の記憶デバイスを含むことができ、これは、単一のメモリデバイス、複数のメモリデバイス、及び／又はデバイスの埋め込み回路において具体化することができる。このようなデータ記憶装置としては、読み出し専用メモリ、ランダムアクセスメモリ、揮発性メモリ、不揮発性メモリ、スタティックメモリ、ダイナミックメモリ、フラッシュメモリ、キャッシュメモリ、データ記憶装置レジスタ、及び／又はデジタル情報を記憶する任意のデバイスを挙げることができる。制御回路がハードウェアステートマシンを含み（及び／又はソフトウェアステートマシンを実装し）、アナログ回路、デジタル回路、及び／又は論理回路を含む実施形態では、任意の関連付けられた動作命令を記憶するデータ記憶装置／レジスタは、ステートマシン、アナログ回路、デジタル回路、及び／又は論理回路を含む回路の内部に又はその外部に埋め込めることに注意されたい。
【0134】
用語「メモリ」は、本明細書では、その広義及び通常の意味に従って使用され、任意の好適な又は望ましいタイプのコンピュータ可読媒体を指すことができる。例えば、コンピュータ可読媒体としては、１つ以上の揮発性データ記憶装置、不揮発性データ記憶装置、取り外し可能なデータ記憶装置、及び／又は取り外し不可能なデータ記憶装置であって、任意の技術、レイアウト、及び／又はデータ構造／プロトコルを用いて実装されるものを挙げることができ、これらは、任意の好適な又は望ましいコンピュータ可読命令、データ構造、プログラムモジュール、又は他のタイプのデータを含む。
【0135】
本開示の実施形態により実装することができるコンピュータ可読媒体としては、限定することなく、以下を挙げることができる：相変化メモリ、スタティックランダムアクセスメモリ（static random-access memory、ＳＲＡＭ）、ダイナミックランダムアクセスメモリ（dynamic random-access memory、ＤＲＡＭ）、他のタイプのランダムアクセスメモリ（random access memory、ＲＡＭ）、読み出し専用メモリ（read-only memory、ＲＯＭ）、電気的消去可能プログラマブル読み出し専用メモリ（electrically erasable programmable read-only memory、ＥＥＰＲＯＭ）、フラッシュメモリ若しくは他のメモリ技術、コンパクトディスク読み出し専用メモリ（compact disk read-only memory、ＣＤ－ＲＯＭ）、デジタル多用途ディスク（digital versatile disk、ＤＶＤ）若しくは他の光記憶装置、磁気カセット、磁気テープ、磁気ディスク記憶装置若しくは他の磁気記憶装置、又は任意の他の非一時的媒体であって、コンピューティングデバイスによるアクセスのための情報を記憶するために使用できるもの。本明細書において特定の文脈で用いる場合、コンピュータ可読媒体は全般的に、変調データ信号及び搬送波などの通信媒体を含まない場合がある。したがって、コンピュータ可読媒体は全般的に、非一時的媒体を指すと理解しなければならない。
【0136】
更なる実施形態
実施形態に応じて、本明細書に記載のプロセス又はアルゴリズムのうちのいずれかの特定の行為、事象、又は機能は、異なる順序で行うことができ、追加しても、マージしても、又は完全に除外してもよい。したがって、ある実施形態では、説明した行為又は事象の全てがプロセスの実行にとって必要なわけではない。
実施形態に応じて、本明細書に記載のプロセス又はアルゴリズムのうちのいずれかの特定の行為、事象、又は機能は、異なる順序で行うことができ、追加しても、マージしても、又は完全に除外してもよい。したがって、ある実施形態では、説明した行為又は事象の全てがプロセスの実行にとって必要なわけではない。
【0137】
とりわけ、「することができる（can）」、「することができる（could）」、「し得る（might）」、「し得る（may）」、「例えば（e.g.）」、及び同等物などの本明細書で使用される条件的文言は、別途具体的に記述されない限り、又は使用される文脈内で別途理解されない限り、その通常の意味で意図され、全般的に、ある特定の実施形態が、ある特定の特徴、要素、及び／又はステップを含むが、他の実施形態が含まないことを伝達することを意図している。したがって、そのような条件的文言は、一般的に、特徴、要素、及び／又はステップが、１つ若しくは２つ以上の実施形態のために任意の方法で必要とされること、又は１つ若しくは２つ以上の実施形態が、オーサ入力若しくはプロンプティングの有無を問わず、これらの特徴、要素、及び／若しくはステップが任意の特定の実施形態に含まれるか、又は実施されるかどうかを決定するための論理を必ず含むことを示唆することを意図しない。「備える（comprising）」、「含む（including）」、「有する（having）」、及び同等物などの用語は、それらの通常の意味で使用され、非限定的な様式で包括的に使用され、更なる要素、特徴、行為、動作などを除外しない。また、「又は」という用語は、使用される場合、例えば、要素の列挙を接続するために、「又は」という用語は、列挙された要素のうちの１つ、いくつか、又は全てを意味するように、その包含的な意味で（かつその排他的な意味ではなく）使用される。別途具体的に記述されない限り、「Ｘ、Ｙ及びＺのうちの少なくとも１つ」という語句などの接続言語は、項目、用語、要素などがＸ、Ｙ、又はＺのいずれかであり得ることを伝えるために、一般的に使用されるような文脈で理解される。したがって、そのような接続言語は、全般的に、特定の実施形態が、Ｘのうちの少なくとも１つ、Ｙのうちの少なくとも１つ、及びＺのうちの少なくとも１つが、それぞれ存在することを要求することを暗示することを意図しない。
【0138】
実施形態の上記の説明では、様々な特徴は、時として、本開示を合理化し、様々な発明の態様のうちの１つ以上の理解を補助する目的で、単一の実施形態、図、又はその説明において共にグループ化されることを理解されたい。しかしながら、本開示の方法は、任意の請求項がその請求項に明示的に記載されているよりも多くの特徴を必要とするという意図を反映すると解釈されるべきではない。更に、本明細書の特定の実施形態に例解及び／又は記載される任意のコンポーネント、特徴、又はステップは、任意の他の実施形態に適用されるか、又はそれと共に使用することができる。更に、いずれのコンポーネント、特徴、ステップ、又はコンポーネント、特徴、若しくはステップの群も、各実施形態のために必要又は不可欠ではない。したがって、本明細書に開示さて、以下に特許請求される本発明の範囲は、上記の特定の実施形態によって限定されるべきではなく、以下の特許請求の範囲を公正に読むことによってのみ判定されるべきであることが意図される。
【0139】
特定の序数用語（例えば、「第１」又は「第２」）が参照を容易にするために提供される場合があり、必ずしも物理的特性又は順序付けを示唆するわけではないことを理解されたい。したがって、本明細書で使用される場合、構造、コンポーネント、動作などの要素を修正するために使用される序数用語（例えば、「第１」、「第２」、「第３」など）は、必ずしも任意の他の要素に対する要素の優先順位又は順序を示すわけではなく、むしろ、全般的に、要素を（序数用語の使用を別として）同様又は同一の名称を有する別の要素と区別し得る。更に、本明細書で使用される場合、不定冠詞（「ａ」及び「ａｎ」）は、「１つ」ではなく「１つ以上」を示し得る。更に、条件又は事象に「基づいて」実施される動作はまた、明示的に列挙されていない１つ以上の他の条件又は事象に基づいて実施され得る。
【0140】
別途定義されない限り、本明細書で使用されている全ての用語（技術的及び科学的用語を含む）は、実施形態例が属する分野の当業者によって一般的に理解されるものと同じ意味を有している。一般的に使用される辞書で定義されているものなどの用語は、関連技術の文脈におけるそれらの意味と一致する意味を有するものとして解釈されるべきであり、本明細書で明示的にそのように定義されない限り、理想的な意味又は過度に形式的な意味で解釈されるべきではないことを更に理解されたい。
【0141】
別途明記されない限り、「より少ない」、「より多い」、「より大きい」などの比較及び／又は定量的用語は、平等の概念を包含することを意図している。例えば、「より少ない」は、厳密な数学的意味での「より少ない」だけでなく、「以下」も意味することができる。
【0142】
〔実施の態様〕
（１） 医療処置の段階を自動的に識別するためのロボットシステムであって、前記ロボットシステムは、
ビデオキャプチャデバイスと、
ロボットマニピュレータと、
前記ロボットマニピュレータの構成を決定するための１つ以上のセンサと、
１つ以上のユーザ対話を受信することと、前記ロボットマニピュレータによる１つ以上のアクションを開始することと、を行うように構成された入力デバイスと、
前記入力デバイス及び前記ロボットマニピュレータに通信可能に結合された制御回路であって、前記制御回路は、
前記１つ以上のセンサからのセンサデータに基づいて、前記ロボットマニピュレータの第１の位置を決定することと、
ユーザ入力及び前記１つ以上のセンサからの前記センサデータのうちの少なくとも１つに基づいて、処置のセットから第１の処置を決定することと、
前記第１の処置の前記決定に基づいて、処置段階のセットを前記処置段階のサブセットに狭めることと、
前記ビデオキャプチャデバイスによって捕捉された患者部位のビデオの第１の分析を実行することと、
前記ロボットマニピュレータの前記第１の位置及び前記ビデオの前記第１の分析に少なくとも部分的に基づいて、前記処置段階の前記サブセットから前記医療処置の第１の段階を識別することと、
前記医療処置の前記第１の段階の開始を示す第１のビデオマーカを生成することと、を行うように構成されている、制御回路と、
を備える、ロボットシステム。
（２） 前記処置のセットは、少なくとも、尿管鏡検査、経皮的腎切石術（ＰＣＮＬ）、及びミニＰＣＮＬを含む、実施態様１に記載のロボットシステム。
（３） 前記１つ以上のセンサからの前記第１の処置を決定するための前記センサデータは、前記ロボットマニピュレータによって利用される１つ以上の医療器具の無線周波数識別（ＲＦＩＤ）データを含む、実施態様１に記載のロボットシステム。
（４） 前記処置のセットに関連付けられたユーザインターフェース（ＵＩ）画面を含むＵＩを更に備え、
前記第１の処置は、前記ユーザ入力に基づいて決定され、前記ユーザ入力は、前記第１の処置に関連付けられた第１のＵＩ画面の選択を少なくとも含む、実施態様１に記載のロボットシステム。
（５） 前記制御回路は、
前記ロボットマニピュレータの第２の位置を決定することと、
前記ビデオキャプチャデバイスによって捕捉された前記ビデオの第２の分析を実行することと、
前記ロボットマニピュレータの前記第２の位置及び前記ビデオの前記第２の分析に少なくとも部分的に基づいて、前記医療処置の第１の段階の終了を示す第２のビデオマーカを前記ビデオに対して生成することと、を行うように更に構成されている、実施態様１に記載のロボットシステム。
（１） 医療処置の段階を自動的に識別するためのロボットシステムであって、前記ロボットシステムは、
ビデオキャプチャデバイスと、
ロボットマニピュレータと、
前記ロボットマニピュレータの構成を決定するための１つ以上のセンサと、
１つ以上のユーザ対話を受信することと、前記ロボットマニピュレータによる１つ以上のアクションを開始することと、を行うように構成された入力デバイスと、
前記入力デバイス及び前記ロボットマニピュレータに通信可能に結合された制御回路であって、前記制御回路は、
前記１つ以上のセンサからのセンサデータに基づいて、前記ロボットマニピュレータの第１の位置を決定することと、
ユーザ入力及び前記１つ以上のセンサからの前記センサデータのうちの少なくとも１つに基づいて、処置のセットから第１の処置を決定することと、
前記第１の処置の前記決定に基づいて、処置段階のセットを前記処置段階のサブセットに狭めることと、
前記ビデオキャプチャデバイスによって捕捉された患者部位のビデオの第１の分析を実行することと、
前記ロボットマニピュレータの前記第１の位置及び前記ビデオの前記第１の分析に少なくとも部分的に基づいて、前記処置段階の前記サブセットから前記医療処置の第１の段階を識別することと、
前記医療処置の前記第１の段階の開始を示す第１のビデオマーカを生成することと、を行うように構成されている、制御回路と、
を備える、ロボットシステム。
（２） 前記処置のセットは、少なくとも、尿管鏡検査、経皮的腎切石術（ＰＣＮＬ）、及びミニＰＣＮＬを含む、実施態様１に記載のロボットシステム。
（３） 前記１つ以上のセンサからの前記第１の処置を決定するための前記センサデータは、前記ロボットマニピュレータによって利用される１つ以上の医療器具の無線周波数識別（ＲＦＩＤ）データを含む、実施態様１に記載のロボットシステム。
（４） 前記処置のセットに関連付けられたユーザインターフェース（ＵＩ）画面を含むＵＩを更に備え、
前記第１の処置は、前記ユーザ入力に基づいて決定され、前記ユーザ入力は、前記第１の処置に関連付けられた第１のＵＩ画面の選択を少なくとも含む、実施態様１に記載のロボットシステム。
（５） 前記制御回路は、
前記ロボットマニピュレータの第２の位置を決定することと、
前記ビデオキャプチャデバイスによって捕捉された前記ビデオの第２の分析を実行することと、
前記ロボットマニピュレータの前記第２の位置及び前記ビデオの前記第２の分析に少なくとも部分的に基づいて、前記医療処置の第１の段階の終了を示す第２のビデオマーカを前記ビデオに対して生成することと、を行うように更に構成されている、実施態様１に記載のロボットシステム。
【0143】
（６） 前記ロボットマニピュレータは、尿管鏡を備える医療器具を操作するように構成されている、実施態様１に記載のロボットシステム。
（７） 前記第１の段階はレーザ処理段階を含み、第２の段階はバスケット処理段階（basketing phase）を含み、第３の段階は経皮的アクセス段階を含み、前記第２の段階及び前記第３の段階は、前記ビデオに対する追加のビデオマーカによって示される、実施態様１に記載のロボットシステム。
（８） 前記制御回路は、
前記第１の段階の前記開始を識別することに応答して、第２の位置への前記ロボットマニピュレータの自動化された移動をトリガするように更に構成されている、実施態様１に記載のロボットシステム。
（９） 前記第２の位置への前記ロボットマニピュレータの前記自動化された移動は、
医療器具を患者の挿入部位に移動させることと、
前記挿入部位への所定の挿入軌道に沿って前記医療器具を位置合わせすることと、を含む、実施態様８に記載のロボットシステム。
（１０） 前記制御回路は、
前記ロボットマニピュレータによる前記医療器具の移動に応答して、前記医療器具が標的場所にあるか否かを判定することと、
前記医療器具が前記標的場所に到達したことに応答して、前記ロボットシステムのユーザインターフェース上に前記第１の段階の成功を示すことと、を行うように更に構成されている、実施態様９に記載のロボットシステム。
（７） 前記第１の段階はレーザ処理段階を含み、第２の段階はバスケット処理段階（basketing phase）を含み、第３の段階は経皮的アクセス段階を含み、前記第２の段階及び前記第３の段階は、前記ビデオに対する追加のビデオマーカによって示される、実施態様１に記載のロボットシステム。
（８） 前記制御回路は、
前記第１の段階の前記開始を識別することに応答して、第２の位置への前記ロボットマニピュレータの自動化された移動をトリガするように更に構成されている、実施態様１に記載のロボットシステム。
（９） 前記第２の位置への前記ロボットマニピュレータの前記自動化された移動は、
医療器具を患者の挿入部位に移動させることと、
前記挿入部位への所定の挿入軌道に沿って前記医療器具を位置合わせすることと、を含む、実施態様８に記載のロボットシステム。
（１０） 前記制御回路は、
前記ロボットマニピュレータによる前記医療器具の移動に応答して、前記医療器具が標的場所にあるか否かを判定することと、
前記医療器具が前記標的場所に到達したことに応答して、前記ロボットシステムのユーザインターフェース上に前記第１の段階の成功を示すことと、を行うように更に構成されている、実施態様９に記載のロボットシステム。
【0144】
（１１） 前記制御回路は、
複数の医療処置にわたる前記第１の段階の成功及び失敗に関するデータを集約することと、
前記第１の段階の成功率を決定することと、を行うように更に構成されている、実施態様１０に記載のロボットシステム。
（１２） 前記制御回路は、
前記第１の段階の結果を、前記ロボットシステムを操作する医療専門家に関連付けるように更に構成されている、実施態様１に記載のロボットシステム。
（１３） 前記ロボットマニピュレータによって操作される医療器具の場所を判定するためのセンサを更に備える、実施態様１に記載のロボットシステム。
（１４） ビデオキャプチャデバイスと、ロボットマニピュレータと、１つ以上のセンサと、入力デバイスとを備えるロボットシステムを使用して医療処置の段階を自動的に識別するための方法であって、前記方法は、
前記１つ以上のセンサからのセンサデータに基づいて、前記ロボットマニピュレータの第１の位置を決定することと、
ユーザ入力及び前記１つ以上のセンサからの前記センサデータのうちの少なくとも１つに基づいて、処置のセットから第１の処置の決定をすることと、
前記第１の処置の前記決定に基づいて、処置段階のセットを前記処置段階のサブセットに狭めることと、
前記ビデオキャプチャデバイスによって捕捉された患者部位のビデオの第１の分析を実行することと、
前記ロボットマニピュレータの前記第１の位置及び前記ビデオの前記第１の分析に少なくとも部分的に基づいて、前記処置段階の前記サブセットから前記医療処置の第１の段階を識別することと、
前記医療処置の前記第１の段階の開始を示す第１のビデオマーカを生成することと、
を含む、方法。
（１５） 前記ロボットマニピュレータの第２の位置を決定することと、
前記ビデオの第２の分析を実行することと、
前記ロボットマニピュレータの前記第２の位置及び前記ビデオの前記第２の分析に少なくとも部分的に基づいて、前記医療処置の第１の段階の終了を示す第２のビデオマーカを前記ビデオに対して生成することと、を更に含む、実施態様１４に記載の方法。
複数の医療処置にわたる前記第１の段階の成功及び失敗に関するデータを集約することと、
前記第１の段階の成功率を決定することと、を行うように更に構成されている、実施態様１０に記載のロボットシステム。
（１２） 前記制御回路は、
前記第１の段階の結果を、前記ロボットシステムを操作する医療専門家に関連付けるように更に構成されている、実施態様１に記載のロボットシステム。
（１３） 前記ロボットマニピュレータによって操作される医療器具の場所を判定するためのセンサを更に備える、実施態様１に記載のロボットシステム。
（１４） ビデオキャプチャデバイスと、ロボットマニピュレータと、１つ以上のセンサと、入力デバイスとを備えるロボットシステムを使用して医療処置の段階を自動的に識別するための方法であって、前記方法は、
前記１つ以上のセンサからのセンサデータに基づいて、前記ロボットマニピュレータの第１の位置を決定することと、
ユーザ入力及び前記１つ以上のセンサからの前記センサデータのうちの少なくとも１つに基づいて、処置のセットから第１の処置の決定をすることと、
前記第１の処置の前記決定に基づいて、処置段階のセットを前記処置段階のサブセットに狭めることと、
前記ビデオキャプチャデバイスによって捕捉された患者部位のビデオの第１の分析を実行することと、
前記ロボットマニピュレータの前記第１の位置及び前記ビデオの前記第１の分析に少なくとも部分的に基づいて、前記処置段階の前記サブセットから前記医療処置の第１の段階を識別することと、
前記医療処置の前記第１の段階の開始を示す第１のビデオマーカを生成することと、
を含む、方法。
（１５） 前記ロボットマニピュレータの第２の位置を決定することと、
前記ビデオの第２の分析を実行することと、
前記ロボットマニピュレータの前記第２の位置及び前記ビデオの前記第２の分析に少なくとも部分的に基づいて、前記医療処置の第１の段階の終了を示す第２のビデオマーカを前記ビデオに対して生成することと、を更に含む、実施態様１４に記載の方法。
【0145】
（１６） 第１の処置は尿管鏡検査であり、前記第１の段階は調査段階を含み、第２の段階はレーザ処理段階を含み、第３の段階はバスケット処理段階を含む、実施態様１４に記載の方法。
（１７） 前記方法は、
前記ロボットマニピュレータの位置、前記ビデオの分析、及び前記入力デバイスからのユーザ入力に少なくとも部分的に基づいて、前記第２の段階及び前記第３の段階を示すマーカを生成することを更に含む、実施態様１６に記載の方法。
（１８） 前記第１の段階の前記開始を識別することに応答して、第２の位置への前記ロボットマニピュレータの自動化された移動をトリガすることを更に含む、実施態様１４に記載の方法。
（１９） 前記第２の位置への前記ロボットマニピュレータの前記自動化された移動は、
医療器具を患者の挿入部位に移動させることと、
所定の挿入に沿って前記医療器具を位置合わせすることと、を含む、実施態様１８に記載の方法。
（２０） 前記ロボットマニピュレータによる前記医療器具の移動に応答して、前記医療器具が標的場所にあるか否かを判定することと、
前記医療器具が前記標的場所に到達したことに応答して、前記ロボットシステムのユーザインターフェース上に前記第１の段階の成功を示すことと、を更に含む、実施態様１９に記載の方法。
（１７） 前記方法は、
前記ロボットマニピュレータの位置、前記ビデオの分析、及び前記入力デバイスからのユーザ入力に少なくとも部分的に基づいて、前記第２の段階及び前記第３の段階を示すマーカを生成することを更に含む、実施態様１６に記載の方法。
（１８） 前記第１の段階の前記開始を識別することに応答して、第２の位置への前記ロボットマニピュレータの自動化された移動をトリガすることを更に含む、実施態様１４に記載の方法。
（１９） 前記第２の位置への前記ロボットマニピュレータの前記自動化された移動は、
医療器具を患者の挿入部位に移動させることと、
所定の挿入に沿って前記医療器具を位置合わせすることと、を含む、実施態様１８に記載の方法。
（２０） 前記ロボットマニピュレータによる前記医療器具の移動に応答して、前記医療器具が標的場所にあるか否かを判定することと、
前記医療器具が前記標的場所に到達したことに応答して、前記ロボットシステムのユーザインターフェース上に前記第１の段階の成功を示すことと、を更に含む、実施態様１９に記載の方法。
【0146】
（２１） 複数の医療処置にわたる前記第１の段階の成功及び失敗に関するデータを集約することと、
前記第１の段階の成功率を決定することと、を更に含む、実施態様２０に記載の方法。
（２２） ロボットデバイスによって実行される医療処置の段階を自動的に識別するための制御システムであって、前記制御システムは、
前記ロボットデバイスからセンサデータ、ユーザ入力データ、及びビデオデータを受信するように構成された通信インターフェースと、
前記センサデータ、前記ユーザ入力データ、及び前記ビデオデータを記憶するように構成されたメモリと、
１つ以上のプロセッサであって、
前記センサデータから前記ロボットデバイスの第１の位置を決定することと、
ユーザ入力及び前記１つ以上のセンサからの前記センサデータのうちの少なくとも１つに基づいて、処置のセットから第１の処置を決定することと、
前記第１の処置の前記決定に基づいて、識別可能な処置段階のセットを前記処置段階のサブセットに狭めることと、
前記ビデオキャプチャデバイスによって捕捉された患者部位のビデオの第１の分析を実行することと、
前記ロボットデバイスの前記第１の位置及び前記ビデオの前記第１の分析に少なくとも部分的に基づいて、前記処置段階の前記サブセットから前記医療処置の第１の段階を識別することと、
前記医療処置の前記第１の段階の開始を示す第１のビデオマーカを生成することと、を行うように構成されている、１つ以上のプロセッサと、
を備える、制御システム。
前記第１の段階の成功率を決定することと、を更に含む、実施態様２０に記載の方法。
（２２） ロボットデバイスによって実行される医療処置の段階を自動的に識別するための制御システムであって、前記制御システムは、
前記ロボットデバイスからセンサデータ、ユーザ入力データ、及びビデオデータを受信するように構成された通信インターフェースと、
前記センサデータ、前記ユーザ入力データ、及び前記ビデオデータを記憶するように構成されたメモリと、
１つ以上のプロセッサであって、
前記センサデータから前記ロボットデバイスの第１の位置を決定することと、
ユーザ入力及び前記１つ以上のセンサからの前記センサデータのうちの少なくとも１つに基づいて、処置のセットから第１の処置を決定することと、
前記第１の処置の前記決定に基づいて、識別可能な処置段階のセットを前記処置段階のサブセットに狭めることと、
前記ビデオキャプチャデバイスによって捕捉された患者部位のビデオの第１の分析を実行することと、
前記ロボットデバイスの前記第１の位置及び前記ビデオの前記第１の分析に少なくとも部分的に基づいて、前記処置段階の前記サブセットから前記医療処置の第１の段階を識別することと、
前記医療処置の前記第１の段階の開始を示す第１のビデオマーカを生成することと、を行うように構成されている、１つ以上のプロセッサと、
を備える、制御システム。
【図1】
【図2A】
【図2B】
【図3】
【図4A】
【図4B】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【国際調査報告】