(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-07-17
(45)【発行日】2024-07-25
(54)【発明の名称】外科手術ロボットシステムのユーザに支援を提供するための方法およびシステム
(51)【国際特許分類】
A61B 34/30 20160101AFI20240718BHJP
B25J 19/06 20060101ALI20240718BHJP
【FI】
A61B34/30
B25J19/06
(21)【出願番号】P 2021517788
(86)(22)【出願日】2019-10-03
(86)【国際出願番号】 GB2019052802
(87)【国際公開番号】W WO2020070511
(87)【国際公開日】2020-04-09
【審査請求日】2021-03-30
【審判番号】
【審判請求日】2023-04-03
(32)【優先日】2018-10-03
(33)【優先権主張国・地域又は機関】GB
(73)【特許権者】
【識別番号】516263638
【氏名又は名称】シーエムアール サージカル リミテッド
【氏名又は名称原語表記】CMR SURGICAL LIMITED
(74)【代理人】
【識別番号】110001966
【氏名又は名称】弁理士法人笠井中根国際特許事務所
(74)【代理人】
【識別番号】100147717
【氏名又は名称】中根 美枝
(74)【代理人】
【識別番号】100103252
【氏名又は名称】笠井 美孝
(72)【発明者】
【氏名】ヘアーズ,ルーク デイビッド ロナルド
(72)【発明者】
【氏名】ロバーツ,ポール クリストファー
(72)【発明者】
【氏名】メンジーズ,ルパート
【合議体】
【審判長】内藤 真徳
【審判官】佐々木 正章
【審判官】栗山 卓也
(56)【参考文献】
【文献】特開2014-97431(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
A61B 34/30
B25J 19/06
(57)【特許請求の範囲】
【請求項1】
外科手術ロボットシステムのユーザに支援を提供するためのシステム(300)であって、前記システム(300)は、
それぞれが基部と、前記基部から器具用の取付部へ延在する外科手術ロボットアームであって、前記外科手術ロボットアームが、複数のジョイントを備え、それによって前記外科手術ロボットアームの構成が変更されうる、外科手術ロボットアームと、を有する少なくとも二つの外科手術ロボットを備え、通電された器具が前記少なくとも二つの外科手術ロボットアームのうちの一方に取り付けられ、内視鏡が前記少なくとも二つの外科手術ロボットアームのうちの他方に取り付けられる、外科手術ロボットシステム(302、400)と、
支援モジュール(304)であって、
前記外科手術ロボットシステム(302、400)が外科手術処置を実施するために使用されている間、前記外科手術ロボットシステム(302、400)の状態を示す
、前記内視鏡の位置および/または移動を示す情報と、前記通電された器具に取り付けられた前記外科手術ロボットアームならびに/あるいは前記通電された器具の位置および/または移動を示す情報を含む状態データを受信することと、
前記状態データ
の、前記内視鏡の位置および/または移動を示す前記情報から、前記内視鏡の視野を判定することと、前記通電された器具に取り付けられた前記外科手術ロボットアームならびに/あるいは前記通電された器具の位置および/または移動を示す前記情報から、前記通電された器具の位置を判定することと、前記通電された器具の判定された位置を、前記内視鏡の判定された前記視野と比較することとによって、前記通電された器具が前記内視鏡の
前記視野にないことを判定することと、
前記外科手術ロボットシステム(302、400)が、前記通電された器具が前記内視鏡の前記視野にないと判定されたときに前記通電された器具の危険状態にあることを判定することと、
前記外科手術ロボットシステム(302、400)が前記通電された器具の危険状態にあると判定することに応じて、前記外科手術ロボットシステム(302、400)が前記外科手術処置を実施するために使用されている間、
前記外科手術ロボットシステムの制御ユニットに制御信号を送信し、前記制御ユニットに通電電流が前記通電された器具に送電されることを防止するようにさせることで、前記外科手術ロボットシステムに通電防止を行わせることにより、前記外科手術ロボットシステムに、前記通電された器具の危険支援を前記ユーザに提供させることと、を行うように構成される、前記支援モジュール(304)と、を備えるシステム(300)。
【請求項2】
前記通電された器具が、外科手術機能を実施するために電流によって通電される電気外科手術器具である、請求項1に記載のシステム(300)。
【請求項3】
前記状態データが、前記通電された器具の状態に関する情報を含む、請求項1または2に記載のシステム(300)。
【請求項4】
前記通電された器具の前記状態に関する前記情報が、前記通電された器具が現在通電されているかどうかに関する情報を含む、請求項3に記載のシステム(300)。
【請求項5】
前記支援モジュール(304)が、前記通電防止が取り消されるか否かについてユーザ入力を要求するようにさらに構成され、前記通電防止が取り消されるユーザ入力を受信することに応じて、前記外科手術ロボットシステムに、前記通電された器具の通電を許可させる、請求項
1~4のいずれかに記載のシステム(300)。
【請求項6】
前記支援モジュール(304)が、前記外科手術ロボットシステムに支援情報を出力させることによって、前記外科手術ロボットシステムに電気外科手術器具の危険支援を提供させるように構成され、前記支援情報が、前記通電された器具の危険状態が検出されたこと、および/または前記通電された器具が通電できないことを前記外科手術ロボットシステムの一人以上のユーザに通知する、請求項1~
5のいずれかに記載のシステム(300)。
【請求項7】
前記支援情報を前記ユーザに出力することが、前記外科手術ロボットシステムのディスプレイ上に前記支援情報を表示すること、および前記支援情報を前記ユーザに音声で伝達することのうちの一つ以上を含む、請求項
6に記載のシステム(300)。
【請求項8】
前記支援モジュール(304)が、前記状態データから、前記外科手術ロボットシステム(302、400)が危険状態にあるかどうかを判定し、前記外科手術ロボットシステム(302、400)が危険状態にあると判定することに応じて、前記外科手術ロボットシステム(302、400)が前記外科手術処置を実施するために使用されている間、前記外科手術ロボットシステムに前記ユーザに危険支援を提供させるようにさらに構成される、請求項1~
7のいずれかに記載のシステム(300)。
【請求項9】
前記外科手術ロボットシステムが、前記支援モジュール(304)は、支援モジュール(304)が、前記状態データから、前記外科手術ロボットシステム(302、400)が衝突状態にあると判定するとき、前記外科手術ロボットシステム(302、400)が危険状態にあると判定し、
前記状態データから、前記少なくとも二つの外科手術ロボットアームが衝突しているか、または衝突しようとしている、少なくとも二つの前記器具が衝突しているか、または衝突しようとしている、あるいは、前記器具と前記外科手術ロボットアームとが衝突しているか、または衝突しようとしていると判定するとき、前記外科手術ロボットシステム(302、400)が、前記衝突状態にあると判定するように構成される、請求項
8に記載のシステム(300)。
【請求項10】
前記支援モジュール(304)は、前記支援モジュール(304)が、前記状態データから、前記外科手術ロボットシステム(302、400)、誤った器具状態にあると判定するとき、前記外科手術ロボットシステム(302、400)が危険状態にあると判定し、
前記状態データから、器具が前記外科手術処置または前記外科手術処置の現在のステップに適切ではない外科手術ロボットアームに取り付けられていると判定するとき、前記外科手術ロボットシステム(302、400)が前記誤った器具状態にあると判定するように構成される、請求項
8または
9に記載のシステム(300)。
【請求項11】
前記支援モジュール(304)が、前記外科手術ロボットシステムが前記誤った器具状態にあると判定することに応じて、誤った器具が適切な器具と置き換えられるように、前記外科手術ロボットシステムに器具変更を自動的に実施させるように構成される、請求項1
0に記載のシステム(300)。
【請求項12】
前記支援モジュール(304)は、前記状態データから、前記外科手術ロボットシステムが、予測される危険状態にあるかどうかを判定することであって、前記外科手術ロボットシステムが、前記状態データから一つ以上の危険インジケータが検出されたとき、前記予測される危険状態にあると判定することと、前記外科手術ロボットシステムが前記予測される危険状態にあると判定することに応じて、前記外科手術ロボットシステムが、前記外科手術処置を実施するために使用されている間、前記外科手術ロボットシステム(302、400)に予測される危険支援を前記ユーザに提供させることと、を行うようにさらに構成される、請求項1~1
1のいずれかに記載のシステム(300)。
【請求項13】
前記一つ以上の危険インジケータが、危険に先行した以前実施された外科手術処置の前記状態データ内の事象またはパターンを含む、請求項1
2に記載のシステム(300)。
【請求項14】
前記外科手術処置が患者に対して実施されるものであり、前記一つ以上の危険インジケータのうちの少なくとも一つは、前記患者のバイタルサインのうちの一つ以上が、所定の範囲外にあること、オペレータのバイタルサインのうちの一つ以上が、所定の範囲外にあること、前記外科手術処置のために存在する個人のうちの一人以上が声を上げて話すこと、および前記外科手術処置のために存在する個人のうちの一人以上が警告の単語または語句を話すことのうちの一つ以上を含む、請求項1
2または請求項1
3に記載のシステム(300)。
【請求項15】
前記支援モジュール(304)は、前記状態データから、前記外科手術ロボットシステムが、技能支援状態にあるかどうかを判定することであって、前記外科手術ロボットシステムは、前記外科手術ロボットが既知の技能を実施するために現在使用されているか、または使用されようとしているときに、技能支援状態にある、判定することと、を行うようにさらに構成され、
前記外科手術ロボットシステムが技能支援状態にあると判定することに応じて、前記支援モジュール(304)は、前記既知の技能を自動的に実施するために一つ以上の前記外科手術ロボットアームを制御するように構成される、請求項1~1
4のいずれかに記載のシステム(300)。
【請求項16】
提供される前記通電された器具の危険支援のレベルが、前記外科手術ロボットシステムのオペレータの技能レベルに基づく、請求項1~1
5のいずれかに記載のシステム(300)。
【発明の詳細な説明】
【背景技術】
【0001】
手術を支援および実施するためにロボットを使用することが知られている。
図1は、基部108、アーム102、および器具105からなる典型的な外科手術ロボット100を示す。基部は、ロボットを支持し、それ自体、例えば、手術室の床、手術室の天井または台車に強固に取り付けられる。アームは基部と器具との間に延在する。アームは、その長さに沿って複数のフレキシブルジョイント103によって関節形成され、これは、外科手術器具を患者に対して所望の位置に位置付けるために使用される。外科手術器具は、ロボットアームの遠位端104に取り付けられる。外科手術器具は、外科手術部位にアクセスするために、ポート107で患者101の本体を貫通する。その遠位端で、器具は、医療処置に従事するためのエンドエフェクタ106を含む。
【0002】
図2は、ロボット腹腔鏡手術を実施するための典型的な外科手術器具200を示す。外科手術器具は、外科手術器具がロボットアームに連結する基部201を備える。シャフト202は、基部201と関節203との間に延在する。関節203は、エンドエフェクタ204で終了する。
図2では、一対ののこぎり歯状顎がエンドエフェクタ204として図示されている。関節203は、エンドエフェクタ204がシャフト202に対して動くことを可能にする。関節によってエンドエフェクタ204の動きに少なくとも2自由度が与えられることが望ましい。
【0003】
外科手術ロボットを介して実施されるものを含む、すべての外科手術処置は、患者のリスクと関連付けられる。リスクの多くは、手術前、手術中、手術後に特定の予防措置を講じることで軽減できる。しかし、現在行われている軽減技術の多くは、手術前、手術中、手術後に入手可能な情報によって制限される。外科手術ロボットを使用して外科手術処置のすべてまたは一部を実施する場合、その処置について利用可能な情報は本質的に多い。特に、少なくとも、外科手術ロボットに関する情報、すなわち、ロボットが患者とどのように相互作用するか、およびユーザ(例えば、外科手術チーム)がどのようにそれと相互作用するかについての情報がある。外科手術ロボットを介して実施される外科手術処置の効率および/または有効性を改善することができるその情報を利用することができることが有利であろう。
【0004】
以下に記載される実施形態は、例示のみによって提供され、既知の外科手術ロボットシステムの不利益の一部またはすべてを解決する実装形態を限定するものではない。
【発明の概要】
【0005】
本概要は、発明を実施するための形態において以下でさらに説明される概念の選択を紹介する目的で提供される。本概要は、クレームされた主題の主要な特徴または必須の特徴を識別することを意図しておらず、クレームされた主題の範囲を制限するためにも使用されることを意図しない。
【0006】
本明細書では、外科手術ロボットシステムの一人以上のユーザに支援を提供するための方法およびシステムが説明される。システムは、外科手術ロボットシステムおよび支援モジュールを含む。外科手術ロボットシステムは、基部および基部から器具の取付部へ延在するアームを有する少なくとも一つの外科手術ロボットを備え、アームは複数のジョイントを備え、それによってアームの構成を変更することができる。支援モジュールは、外科手術ロボットシステムがタスクを実施するために使用されている間、外科手術ロボットシステムの状態を示す状態データを受信し、状態データから外科手術ロボットシステムが支援状態にあるかどうかを判定し、外科手術ロボットシステムが支援状態にあると判定することに応じて、外科手術ロボットシステムがタスクを実施するために使用されている間、外科手術ロボットシステムに、一人以上のユーザに支援を提供させるように構成される。
【0007】
第一の態様は、外科手術ロボットシステムのユーザに支援を提供するためのシステムを提供し、システムは、基部および基部から器具の取付部へ延在するアームであって、アームが複数のジョイントを備え、それによってアームの構成が変更されうる、アームを有する少なくとも一つの外科手術ロボットを備える外科手術ロボットシステムと、処置支援を提供できるタスクのステップのリストを備える支援モジュールであって、支援モジュールが、外科手術ロボットシステムがタスクを実施するために使用されている間、外科手術ロボットシステムの状態を示す状態データを受信することと、状態データから外科手術ロボットシステムが、処置支援状態にあるかどうかを判定することであって、外科手術ロボットシステムが、処置支援が提供されうるタスクのステップのうちの一つを実施するために使用されているか、または使用されようとしているとき、外科手術ロボットシステムが処置支援状態にある、判定することと、外科手術ロボットシステムが処置支援状態にあると判定することに応じて、外科手術ロボットシステムがタスクを実施するために使用されている間、外科手術ロボットシステムに、タスクのステップを実施する際にユーザに処置支援を提供させることと、を行うように構成される、支援モジュールと、を備える。
【0008】
支援モジュールは、外科手術ロボットシステムに、タスクのステップの実施方法に関するガイダンスを提供する情報を出力させることによって、外科手術ロボットシステムに処置支援を提供させるように構成されうる。
【0009】
タスクのステップを実施する方法に関するガイダンスを提供する情報は、次にどの一つ以上のステップを実施するかを示す情報、およびどの器具を少なくとも一つの外科手術用ロボットに次に取り付けるべきかを示す情報のうちの一つ以上を含み得る。
【0010】
システムは、外科手術ロボットシステムのオペレータが、所望の方法で少なくとも一つの外科手術ロボットに取り付けられた器具の動きを要求できる、一つ以上の入力装置を含むコマンドインターフェースをさらに備えることができ、タスクの実施方法に関するガイダンスを提供する情報は、少なくとも一つの外科手術ロボットのどれが、一つ以上の入力装置の各々と関連付けられるべきかを示す情報を含みうる。
【0011】
タスクのステップを実施する方法に関するガイダンスを提供する情報は、能動的外科手術ロボットアームがタスクのステップを効率的な方法で実施するために従うべき経路を示す情報を含みうる。
【0012】
支援モジュールは、能動的外科手術ロボットアームがタスクのステップを実施するために従うべき推奨経路を表示画面上に外科手術ロボットシステムに表示させるように構成されうる。
【0013】
支援モジュールは、以前実施されたタスクに関連する状態データからガイダンス情報を動的に判定するよう構成されてもよい。
【0014】
第二の態様は、外科手術ロボットシステムのユーザに支援を提供するためのシステムを提供し、システムは、それぞれが基部と、基部から器具の取付部へ延在するアームであって、各アームは、複数のジョイントを備え、それによってアームの構成が変更されうる、アームと、を有する少なくとも二つの外科手術ロボットを備え、通電された器具が少なくとも二つの外科手術ロボットアームのうちの一方に取り付けられ、内視鏡が少なくとも二つの外科手術ロボットアームの他方に取り付けられる外科手術ロボットシステムと、支援モジュールであって、外科手術ロボットシステムが、タスクを実施するために使用されている間、外科手術ロボットシステムの状態を示す状態データを受信することと、状態データから、外科手術ロボットシステムが、通電された器具の危険状態にあるかどうかを動的に判定することであって、外科手術ロボットシステムが、通電された器具が動作しているとき、通電された器具が内視鏡の視野にないとき、ならびに/あるいは通電された器具が、患者および/または別の器具に対して危険位置にあるとき通電された器具の危険状態にある、動的に判定することと、外科手術ロボットシステムが、通電された器具の危険状態にあると判定することに応じて、外科手術ロボットシステムがタスクを実施するために使用されている間、外科手術ロボットシステムに、通電された器具の危険支援をユーザに提供させることと、を行うように構成される、支援モジュールと、を備える。
【0015】
通電された器具は、外科手術機能を実施するために電流によって通電される電気外科手術器具、または電気焼灼器具であってもよい。
【0016】
状態データは、通電された器具の状態に関する情報を含みうる。
【0017】
通電された器具の状態についての情報は、通電された器具が現在通電されているかどうかについての情報を含みうる。
【0018】
支援モジュールは、外科手術ロボットシステムに通電された器具の通電を防止させることによって、外科手術ロボットシステムに通電された器具の危険支援を提供させるように構成されうる。
【0019】
支援モジュールは、制御ユニットに通電電流が通電された器具に送電されるのを防ぐようにさせる制御信号を外科手術ロボットシステムの制御ユニットに送信することによって、外科手術ロボットシステムに通電された器具の通電を防止させるように構成されうる。
【0020】
支援モジュールはさらに、通電防止がオーバーライドされるか否かについてユーザ入力を要求するように構成されてもよく、通電防止がオーバーライドされるユーザ入力を受信することに応じて、外科手術ロボットシステムに通電された器具の通電を許可させるように構成されてもよい。
【0021】
支援モジュールは、外科手術ロボットシステムに支援情報を出力させることによって、外科手術ロボットシステムに通電された器具の危険支援を提供させるように構成されてもよく、その支援情報は、通電された器具の危険状態が検出されたこと、および/または通電された器具に通電できないことを外科手術ロボットシステムの一人以上のユーザに通知する。
【0022】
支援情報をユーザに出力することは、支援情報の少なくとも一部を外科手術ロボットシステムのディスプレイ上に表示することを含みうる。
【0023】
支援情報をユーザに出力することは、支援情報の少なくとも一部をユーザに音声で伝達することを含みうる。
【0024】
支援モジュールはさらに、状態データから、外科手術ロボットシステムが危険状態にあるかを判定し、外科手術ロボットシステムが危険状態にあると判定することに応じて、外科手術ロボットシステムがタスクを実施するために使用されている間、外科手術ロボットシステムに、危険支援をユーザに提供させるようにさらに構成されてもよい。
【0025】
支援モジュールは、支援モジュールが、状態データから、外科手術ロボットシステムが、衝突状態、故障器具状態、および誤った器具状態のうちの少なくとも一つにあると判定するとき、外科手術ロボットシステムが危険状態にあると判定するように構成されうる。
【0026】
外科手術ロボットシステムは、器具にそれぞれ取り付けられる少なくとも二つの外科手術ロボットを備えてもよく、支援モジュールは、支援モジュールが、状態データから、少なくとも二つの外科手術ロボットアームが衝突したか、または衝突しようとしている、少なくとも二つの器具が衝突したか、または衝突しようとしている、あるいは、器具と外科手術ロボットアームが衝突したか、または衝突しようとしていると判定するとき、外科手術ロボットシステムが衝突状態にあると判定するように構成されうる。
【0027】
支援モジュールは、支援モジュールが、状態データから、器具が、タスクまたはタスクの現在のステップに適切ではない外科手術ロボットアームに取り付けられていると判定するときに、外科手術ロボットシステムが誤った器具状態にあると判定するように構成されうる。
【0028】
支援モジュールは、外科手術ロボットシステムが誤った器具状態にあると判定することに応じて、タスクまたはタスクの現在のステップに適切ではない器具が、タスクの現在のステップのタスクに適切な器具で置き換えられるように、外科手術ロボットシステムに器具変更を自動的に実施させるように構成されうる。
【0029】
支援モジュールは、状態データから、外科手術ロボットシステムが、予測される危険状態にあるかどうかを判定することであって、一つ以上の危険インジケータが状態データから検出されたときに、外科手術ロボットシステムが、予測される危険状態にある、判定することと、外科手術ロボットシステムが、予測される危険状態にあると判定することに応じて、外科手術ロボットシステムが、タスクを実施するために使用されている間に、外科手術ロボットシステムに、予測される危険支援をユーザに提供させることと、を行うようにさらに構成されうる。
【0030】
一つ以上の危険インジケータは、危険に先行した、以前実施されたタスクの状態データ内の事象またはパターンを含みうる。
【0031】
タスクは、患者に対して実施される外科手術処置であってもよく、一つ以上の危険インジケータのうちの少なくとも一つは、患者の一つ以上のバイタルサインおよび/または一つ以上の他の健康指標が、所定の範囲外であること、外科手術ロボットシステムのオペレータの一つ以上のバイタルサインおよび/または一つ以上の他の健康指標が、所定の範囲外にあること、声を上げて話すタスクのために一人以上の個人が存在すること、および警告の単語または語句を話すタスクのために一人以上の個人が存在することのうちの一つ以上を含みうる。
【0032】
支援モジュールは、状態データから、外科手術ロボットシステムが技能支援状態にあるかどうかを判定することであって、外科手術ロボットシステムは、外科手術ロボットシステムが、既知の技能を実施するために使用されているか、または使用されようとしているときに技能支援状態にある、判定すること、を行うようにさらに構成され、外科手術ロボットシステムが技能支援状態にあると判定することに応じて、支援モジュールが、一つ以上の外科手術ロボットアームを制御して、既知の技能を自動的に実施するように構成される。
【0033】
提供される支援のレベルは、外科手術ロボットシステムのオペレータの技能レベルに基づいてもよい。
【0034】
支援モジュールは、状態データに基づいてオペレータの技能レベルを動的に判定するよう構成されてもよい。
【0035】
第三の態様は、外科手術ロボットシステムのユーザに支援を提供するコンピュータ実装方法を提供し、方法は、外科手術ロボットシステムが、複数のステップを含むタスクを実施するために使用されている間、外科手術ロボットシステムの状態を示す状態データを受信することであって、外科手術ロボットシステムは、基部と、基部から器具の取付部へ延在するアームであって、アームが複数のジョイントを備え、それによってアームの構成が変更され得る、アームと、を有する少なくとも一つの外科手術ロボットを備える、受信することと、状態データから、外科手術ロボットシステムが、処置支援状態にあるかどうかを判定することであって、外科手術ロボットシステムは、外科手術ロボットシステムが、処置支援が提供されうるタスクのステップのうちの一つを実施するために使用されているか、または使用されようとしているとき、処置支援状態である、判定することと、外科手術ロボットシステムが処置支援状態にあると判定することに応じて、外科手術ロボットシステムがタスクを実施するために使用されている間に、外科手術ロボットシステムに、タスクのステップを実施する際にユーザに処置支援を提供させることと、を含む。
【0036】
第四の態様は、外科手術ロボットシステムのユーザに支援を提供するコンピュータ実装方法を提供し、方法は、外科手術ロボットシステムを使用してタスクを実施している間、外科手術ロボットシステムの状態を示す状態データを受信することであって、外科手術ロボットシステムは、それぞれが基部と、基部から器具の取付部へ延在するアームであって、各アームが複数のジョイントを備え、それによってアームの構成が変更されうる、アームと、を有する少なくとも二つの外科手術ロボットを備え、通電された器具が少なくとも二つの外科手術ロボットアームのうちの一方に取り付けられ、内視鏡が少なくとも二つの外科手術ロボットアームの他方に取り付けられる、受信することと、状態データから外科手術ロボットシステムが、通電された器具の危険状態にあるかどうかを動的に判定することであって、通電された器具が動作しているとき、通電された器具が内視鏡の視野にないとき、ならびに/あるいは通電された器具が、患者および/または別の器具に対して危険位置にあるとき、外科手術ロボットシステムは、通電された器具の危険状態にある、動的に判定することと、外科手術ロボットシステムが、通電された器具の危険状態にあると判定することに応じて、外科手術ロボットシステムがタスクを実施するために使用されている間、外科手術ロボットシステムに、通電された器具の危険支援をユーザに提供させることと、を含む。
【0037】
第五の態様は、外科手術ロボットシステムのユーザに支援を提供するためのシステムを提供し、システムは、基部と、基部から器具の取付部へ延在するアームであって、アームが複数のジョイントを備え、それによってアームの構成が変更されうる、アームと、を有する少なくとも一つの外科手術ロボットを備える外科手術ロボットシステムと、支援モジュールであって、外科手術ロボットシステムが、タスクを実施するために使用されている間、外科手術ロボットシステムの状態を示す状態データを受信し、状態データから外科手術ロボットシステムが支援状態にあるかどうかを判定し、外科手術ロボットシステムが支援状態にあると判定することに応じて、外科手術ロボットシステムがタスクを実施するために使用されている間、外科手術ロボットシステムに、支援をユーザに提供させるように構成される、支援モジュールと、を備える。
【0038】
支援モジュールは、状態データを以前実施されたタスクの状態データと比較することによって、外科手術ロボットシステムが支援状態にあるかどうかを判定するように構成されうる。
【0039】
支援モジュールは、外科手術ロボットアームの移動を制御することによって、外科手術ロボットシステムに支援を提供させるように構成されうる。
【0040】
支援モジュールは、タスクの少なくとも一部を自動的に実施するように、外科手術ロボットアームを移動させることによって、外科手術ロボットアームの移動を制御するように構成されうる。
【0041】
支援モジュールは、外科手術ロボットアームの移動を阻止することによって、外科手術ロボットアームの移動を制御するように構成されうる。
【0042】
支援モジュールは、外科手術ロボットアームが自動的に制御されうることを確認するユーザからの入力の受信に応じて、外科手術ロボットアームの移動を制御するようにのみ構成されうる。
【0043】
支援モジュールは、外科手術ロボットシステムに、ユーザに支援情報を出力させることによって、外科手術ロボットシステムに支援を提供させるように構成されうる。
【0044】
支援情報をユーザに出力することは、支援情報の少なくとも一部を外科手術ロボットシステムのディスプレイ上に表示することを含みうる。
【0045】
支援情報をユーザに出力することは、支援情報の少なくとも一部をユーザに音声で伝達することを含む。
【0046】
支援モジュールは、支援モジュールが、状態データから、外科手術ロボットシステムが危険状態にあると判定するとき、外科手術ロボットシステムが支援状態にあると判定するように構成されうる。
【0047】
支援モジュールは、支援モジュールが、状態データから、外科手術ロボットシステムが、衝突状態、故障器具状態、誤った器具状態、通電された器具の危険状態、および潜在的危険状態のうちの少なくとも一つにあると判定するとき、外科手術ロボットシステムが危険状態にあると判定するように構成されうる。
【0048】
外科手術ロボットシステムは、少なくとも二つの外科手術ロボットを備えてもよく、支援モジュールは、支援モジュールが、少なくとも二つの外科手術ロボットアームが衝突したか、または衝突しようとしている、少なくとも二つの器具が衝突したか、または衝突しようとしている、あるいは器具と外科手術ロボットアームが衝突したか、または衝突しようとしていると、状態データから判定するときに、外科手術ロボットシステムが衝突状態にあると判定するように構成されうる。
【0049】
支援モジュールは、支援モジュールが、状態データから、器具が、タスクまたはタスクの現在のステップに適切ではない外科手術ロボットアームに取り付けられていると判定するときに、外科手術ロボットシステムが誤った器具状態にあると判定するように構成されうる。
【0050】
支援モジュールは、外科手術ロボットシステムが誤った器具状態にあると判定することに応じて、誤った器具が適切な器具と交換されるように、外科手術ロボットシステムに自動的に器具変更を実施させるように構成されうる。
【0051】
外科手術ロボットシステムは、少なくとも二つの外科手術ロボットを備えることができ、通電された器具は、外科手術ロボットアームの一方に取り付けられてもよく、内視鏡は、外科手術ロボットアームの他方に取り付けられ、支援モジュールは、支援モジュールが、状態データから通電された器具が動作している、通電された器具が内視鏡の視野にない、および/または通電された器具が、患者および/または別の器具に対して危険位置にあると判定するとき、外科手術ロボットシステムが通電された器具の危険状態にあると判定するように構成されうる。
【0052】
支援モジュールは、支援モジュールが、一つ以上の危険インジケータが状態データから検出されたときに予測される危険状態にある外科手術ロボットシステムが、予測される危険状態にあると、状態データから判定するとき、外科手術ロボットシステムが、支援状態にあると判定するように構成されうる。
【0053】
一つ以上の危険インジケータは、危険に先行した、以前実施されたタスクの状態データ内の事象またはパターンを含みうる。
【0054】
タスクは、患者に対する外科手術処置であってもよく、一つ以上の危険インジケータのうちの少なくとも一つは、患者のバイタルサインおよび/または他の健康指標のうちの一つ以上が、所定の範囲外であること、オペレータのバイタルサインおよび/または他の健康指標のうちの一つ以上が、所定の範囲外にあること、声を上げて話すタスクのために存在する個人の一人以上、および警告の単語または語句を話すタスクのために存在する個人のうちの一人以上のうちの一つ以上を含みうる。
【0055】
支援モジュールは、支援モジュールが、状態データから、外科手術ロボットが、既知の技能を実施するために使用されているか、または使用されようとしているときに技能支援状態にある外科手術ロボットシステムが、技能支援状態にあると判定するとき、外科手術ロボットシステムは支援状態にあると判定するように構成されてもよく、外科手術ロボットシステムが技能支援状態にあると判定することに応じて、支援モジュールは、一つ以上の外科手術ロボットアームを制御して、既知の技能を自動的に実施するように構成される。
【0056】
提供される支援のレベルは、外科手術ロボットシステムのオペレータの技能レベルに基づいてもよい。
【0057】
支援モジュールは、状態データに基づいてオペレータの技能レベルを動的に判定するよう構成されてもよい。
【0058】
タスクは、外科手術処置であってもよい。
【0059】
第六の態様は、外科手術ロボットシステムのユーザに支援を提供するコンピュータ実装方法を提供し、方法は、外科手術ロボットシステムを使用してタスクを実施している間、外科手術ロボットシステムの状態を示す状態データを受信することであって、外科手術ロボットシステムは、基部と、基部から器具の取付部へ延在するアームであって、アームが複数のジョイントを備え、それによってアームの構成が変更されうる、アームと、を有する少なくとも一つの外科手術ロボットを備える、受信することと、状態データから外科手術ロボットシステムが支援状態にあるかどうか判定することと、外科手術ロボットシステムが支援状態にあると判定することに応じて、外科手術ロボットシステムがタスクを実施するために使用されている間、外科手術ロボットシステムにユーザに支援を提供させることと、を含む。
【0060】
上記の特徴は、当業者に明らかであるように、必要に応じて組み合わせてもよく、本明細書に記載される実施例の態様のいずれかと組み合わせてもよい。
【図面の簡単な説明】
【0061】
実施例は、ここで、添付図面を参照して詳細に記載される。
【0062】
【
図1】
図1は、外科手術処置を実施する例示的な外科手術ロボットの概略図である。
【0063】
【
図2】
図2は、例示的な外科手術器具の概略図である。
【0064】
【
図3】
図3は、外科手術ロボットシステムの一人以上のユーザに支援を提供するための例示的なシステムのブロック図である。
【0065】
【
図4】
図4は、例示的な外科手術ロボットシステムの概略図である。
【0066】
【
図5】
図5は、外科手術ロボットシステムの一人以上のユーザに支援を提供する例示的な方法の流れ図である。
【0067】
添付図面は、様々な実施例を示す。当業者は、図面中の図示された要素の境界(例えば、箱、箱のグループ、または他の形状)が、境界の一例を表すことを理解するであろう。いくつかの実施例では、一つの要素は、複数の要素として設計され得るか、または複数の要素が、一つの要素として設計され得ることがあり得る。同様の特徴を示すために、適切な場合、図全体を通して共通の参照番号が使用される。
【発明を実施するための形態】
【0068】
以下の説明は、当業者が本発明を作製および使用できるようにするための例として提示されている。本発明は、本明細書に記載される実施形態に限定されないが、本開示の実施形態に対する様々な修正は、当業者には明らかであろう。実施形態は、例としてのみ記載される。
【0069】
本明細書では、外科手術ロボットシステムがタスクを実施するために使用されている間に、外科手術ロボットシステムの一人以上のユーザに支援を動的に提供する方法およびシステムが説明される。システムは、一つ以上の外科手術ロボットを備える外科手術ロボットシステム、および外科手術ロボットシステムと通信する支援モジュールを備える。支援モジュールは、外科手術ロボットシステムがタスクを実施するために使用されている間、外科手術ロボットシステムの状態を示す状態データを受信し、状態データから外科手術ロボットシステムが支援状態にあるかどうかを判定し、外科手術ロボットシステムが支援状態にあると判定することに応じて、外科手術ロボットがタスクを実施するために使用されている間、外科手術ロボットシステムに、外科手術ロボットシステムのユーザのうちの一人以上に支援を提供させるように構成される。外科手術ロボットシステムのユーザは、外科手術ロボットシステムを制御するオペレータ(例えば、外科医)、および/またはタスク(例えば、外科手術)のために存在し、かつそれに参加するチーム(例えば、外科手術または手術室チーム)の一部である他の個人を含む。
【0070】
まず
図3を参照すると、外科手術ロボットシステムの一人以上のユーザに支援を提供するための例示的なシステム300を示す。システム300は、外科手術ロボットシステム302と、外科手術ロボットシステム302と通信する支援モジュール304とを備える。外科手術ロボットシステム302は、基部と、基部から外科手術器具の取付部へ延在するアームとを有する少なくとも一つの外科手術ロボットを備え、アームは複数のジョイントを備え、それによってアームの構成を変更することができる。例示的な外科手術ロボットシステム302は、
図4を参照して以下で説明する。
【0071】
支援モジュール304は、外科手術ロボットシステム302の状態を示す状態データを受信するように構成される。以下でより詳細に説明するように、状態データは、外科手術ロボットシステム302または外科手術ロボットシステム302が動作している環境に関する任意の情報を含みうる。支援モジュール304は、外科手術ロボットシステム自体から(例えば、外科手術ロボットアームの位置および/または移動に関連するデータ)、および/または外部ソースから、状態データを受信してもよい。支援モジュール304は、外科手術ロボットシステム302から、および/または任意の適切な手段を介して外部ソースから、状態データを受信しうる。例えば、支援モジュール304は、外科手術ロボットシステム302から、および/またはイーサネット接続、Wi-Fi(登録商標)接続、Bluetooth(登録商標)接続、近距離通信(NFC)接続などであるがそれに限定されない、無線または有線通信接続を介して外部ソースから、状態データを受信してもよい。状態データの少なくとも一部は、支援モジュール304にリアルタイムで(または実質的にリアルタイムで)提供される一方、外科手術ロボットシステムは、タスク(例えば、外科手術)を実施するために使用されている。
【0072】
支援モジュール304は、状態データを分析して、外科手術ロボットシステムが支援状態(すなわち、外科手術ロボットシステムの一人以上のユーザに支援を提供できる状態)にあるかどうかを判定するように構成される。以下でより詳細に説明するように、支援モジュール304は、状態データ中の特定の事象またはパターンを識別することによって、および/または状態データを以前実施されたタスクの状態データと比較することによって、外科手術ロボットシステムが支援状態であると判定しうる。例えば、支援モジュール304は、支援モジュール304が、外科手術ロボットシステムのアーム間で衝突が起ころうとしている、または発生していると判定した場合、外科手術ロボットシステムが支援状態にあると判定するように構成されうる。
【0073】
支援モジュール304が、外科手術ロボットシステム302が支援状態にあると判定する場合、支援モジュール304は、外科手術ロボットシステムに、タスクを実施する際に、外科手術ロボットシステムの一人以上のユーザに支援を動的に提供させる。以下でより詳細に説明するように、外科手術ロボットシステムに外科手術ロボットの一人以上のユーザに支援を提供させることは、外科手術ロボットアームの一つ以上の移動のすべてまたは一部を制御すること、および/または外科手術ロボットシステムに、(例えば、音声でまたはディスプレイを介して)ユーザに支援情報を提供させることを含みうる。ユーザに提供される支援の種類および形態は、外科手術ロボットシステム302が入る特定の支援状態に基づいてもよい。例えば、支援モジュール304が、外科手術ロボットシステムのアーム間の衝突が発生しようとしている、または発生していると判定した場合、支援モジュール304は、ロボットアームの移動を外科手術ロボットシステムに阻止させるように構成されうる。一部の場合では、外科手術ロボットシステム302に、タスクの実施の際、外科手術ロボットシステムのユーザに支援を提供するようにさせる前に、支援モジュール304は、支援が提供されることを望むかどうかについて、ユーザからの入力を要求するように構成されうる。これらの場合、支援モジュール302は、支援が提供されることを示す入力を受信するのに応じて、外科手術ロボットシステム302に、外科手術ロボットシステムのユーザに支援を提供するようにのみさせるように構成されうる。支援モジュール304によって実施されて、タスクの実施の際に外科手術ロボットシステムの一人以上のユーザに支援を提供し得る方法の例を、
図5を参照して以下に説明する。
【0074】
支援モジュール304は、プロセッサ306およびメモリ308を備えてもよい。メモリ308は、プロセッサ306によって実施可能な非一時的方法でソフトウェアを格納して、状態データを受信し、状態データから外科手術ロボットシステム302が支援状態にあるかどうかを判定し、支援状態が検出された場合、外科手術ロボットシステムに、外科手術ロボットシステムの一人以上のユーザに支援を提供させる。一部の場合では、支援モジュール304はまた、以前実施されたタスクの状態データを格納するために使用されるデータリポジトリ310を含んでもよい。上述のように、一部の場合では、支援モジュール304は、受信した状態データを以前実施されたタスクの状態データと比較することによって、外科手術ロボットシステムが支援状態にあることを識別するように構成されうる。
【0075】
ここで、例示的な外科手術ロボットシステム400を示す
図4を参照する。
図4の外科手術ロボットシステム400は、基部404から延在するアーム402を有する外科手術ロボットを備える。アーム402は、いくつかの剛直な肢406を含む。肢は、回転ジョイント408によって結合される。最も近位の肢406aは、ジョイント408aによって基部404に結合される。それおよび他の肢は、ジョイント408のさらなるジョイントによって直列に結合される。一部の場合では、リスト410は、四つの個々の回転ジョイントから構成されうる。リスト410は、一つの肢(406b)をアーム402の最も遠位の肢(406c)に結合する。最も遠位の肢406cは、器具414用の取付部412を担持する。アーム402の各ジョイント408は、それぞれのジョイントで回転運動を引き起こすように動作できる一つ以上のモータ416、およびそのジョイントにおける現在の構成および/または負荷に関する情報を提供する一つ以上の位置および/またはトルクセンサ418を持つ。好適には、モータ416は、重量分布を改善するために、その動作を駆動するジョイントの近位に配置される。明確にするために、一部のモータおよびセンサのみが
図4に示される。アームは、概して、同時係属中の特許出願PCT/GB2014/053523に記載されるとおりでありうる。
【0076】
アームは、器具414とインターフェース接続するために、取付部412で終端する。器具414は、
図2に関連して説明された通りの形態をとりうる。器具は、8mm未満の直径を有してもよい。一部の場合では、器具は5mmの直径を有してもよい。他の場合では、器具は、5mm未満の直径を有してもよい。器具の直径は、シャフトの直径であってもよい。器具の直径は、関節の輪郭の直径であってもよい。好適には、関節の輪郭の直径は、シャフトの直径と一致するか、またはシャフトの直径よりも狭い。取付部412は、器具の関節を駆動するための駆動アセンブリを備える。駆動アセンブリインターフェースの可動インターフェース要素は、ロボットアームから器具に駆動を伝達させるために、器具インターフェースの対応する可動インターフェース要素と機械的に係合する。典型的な動作中に、一つの器具を数回交換する。したがって、器具は、動作中にロボットアームに取り付けおよびロボットアームから取り外し可能である。駆動アセンブリインターフェースおよび器具インターフェースの特徴は、オペレータ(例えば、外科医)によって位置合わせされる必要がある精度を低減するために、互いと係合するときにその位置合わせを助ける。
【0077】
器具414は、動作を実施するためのエンドエフェクタを含む。エンドエフェクタは、任意の適切な形態を取りうる。例えば、エンドエフェクタは、平滑顎、のこぎり歯状顎、グリッパ、一対のせん断、縫合用針、カメラ、レーザ、ナイフ、ステープラ、焼灼器、吸引器であってもよい。
図2に関して記載するように、器具は、器具シャフトとエンドエフェクタとの間に関節を含む。関節は、エンドエフェクタが器具のシャフトに対して動くことを可能にするいくつかのジョイントを含む。関節のジョイントは、ケーブルなどの駆動要素によって作動される。これらの駆動要素は、器具シャフトの他方の端で、器具インターフェースのインターフェース要素に固定される。したがって、ロボットアームは、駆動アセンブリインターフェース要素の移動が、エンドエフェクタを移動させる関節のジョイントを移動させる駆動要素を移動させる器具インターフェース要素を移動させるように、エンドエフェクタに駆動を伝達する。
【0078】
モータ、トルクセンサ、およびエンコーダ用のコントローラは、ロボットアームと共に配置される。コントローラは、通信バスを介して制御ユニット420に接続される。制御ユニット420は、プロセッサ422およびメモリ424を備える。メモリ424は、プロセッサ422によって実施可能な非一時的方法でソフトウェアを格納して、モータ416の動作を制御し、アーム402を本明細書に記述された方法で動作させる。特に、ソフトウェアは、プロセッサ422を制御して、(例えば、分散コントローラを介して)モータに、センサ418およびオペレータ(例えば、外科医)コマンドインターフェース426からの入力に依存するように駆動させることができる。制御ユニット420は、ソフトウェアの実施によって生成される出力に従ってモータ416を駆動するためにモータ416に結合される。制御ユニット420は、感知された入力をセンサから受信するためにセンサ418に結合され、そこから入力を受信するためにコマンドインターフェース426に結合される。それぞれの結合は、例えば、それぞれ電気または光学ケーブルであってもよく、あるいは無線接続によって提供されてもよい。コマンドインターフェース426は、オペレータ(例えば、外科医)が所望の方法でエンドエフェクタの動きを要求できる、一つ以上の入力デバイスを含む。入力デバイスは、例えば、制御ハンドルまたはジョイスティックなどの手動で操作可能な機械的入力デバイス、あるいは光学ジェスチャセンサなどの非接触入力デバイスであってもよい。メモリ424に格納されたソフトウェアは、それらの入力に応答し、アームおよび器具のジョイントを、所定の制御戦略に従って、それに応じて移動させるように構成される。制御戦略は、コマンド入力に応じてアームおよび器具の動きを和らげる安全機能を含みうる。したがって、要約すると、コマンドインターフェース426のオペレータ(例えば、外科医)は、所望の外科手術処置を実施するような方法で、器具414を制御することができる。制御ユニット420および/またはコマンドインターフェース426は、アーム402から遠隔であってもよい。
【0079】
図4の例示的な外科手術ロボットシステム400は、単一のロボットアームを有する単一の外科手術ロボットを備えるが、他の外科手術ロボットシステムは、複数の外科手術ロボットおよび/または複数のロボットアームを含みうる。例えば、他の例示的な外科手術ロボットシステムは、各々、外科手術器具を受け取るおよび操作することができる複数のロボットアームを有する外科手術ロボットを備えてもよく、または各々が、外科手術器具を受け取るおよび操作することができるロボットアームを有する複数の外科手術ロボットを備えてもよい。
【0080】
ここで
図5を参照すると、外科手術ロボットシステムがタスク(例えば、外科手術)を実施するために使用されている間に、外科手術ロボットシステムの一人以上のユーザに支援を提供するために、
図3の支援モジュール304によって実装されうる方法500の例を示す。方法500は、ブロック502で開始し、支援モジュール304は、外科手術ロボットシステム302の状態を示す状態データを受信する。状態データは、外科手術ロボットシステム302または外科手術ロボットシステム302が動作している環境に関する任意の情報を含みうる。状態データの少なくとも一部は、外科手術ロボットシステムがタスクを実施するために使用されている間、リアルタイムで(または実質的にリアルタイムで)受信される。
【0081】
例えば、状態データは、ロボットアーム、またはそのジョイントの位置および/または移動を示す位置および/またはトルク情報などであるがこれに限定されない、ロボットアームの現在の状態を記述する情報またはデータを含みうる。具体的には、状態データは、位置および/またはトルクセンサ418によって生成される、位置および/またはトルクデータを含みうる。当業者には、これは単なる実施例であり、外科手術ロボットが、ロボットアームの状態に関する情報を提供する他のセンサを備えてもよいことが明白であろう。
【0082】
状態データはまた、または代替的に、ロボットアームに取り付けられた器具の状態を記述するデータまたは情報を含んでもよい。例えば、状態データは、ロボットアームに取り付けられた器具があるかどうかを識別する情報、およびある場合は、ロボットアームに取り付けられた器具のタイプを含みうる。具体的には、外科手術ロボットシステムが、器具がアームに取り付けられているかどうかを検出するための手段(例えば、外科手術ロボットシステムは、参照により本明細書に組み込まれる、出願人の公開特許出願GB2552855Aに記載されるような器具係合手段を備えてもよい)、および器具のタイプを自動的に検出するための手段を備えてもよく(例えば、各器具は、ロボットアームに取り付けられたときにその身元に関する情報を外科手術ロボットシステムに自動的に提供するように構成されたRFIDまたは他の構成要素を備えてもよい)、この情報は、状態データとして支援モジュール304に提供されてもよい。また、または別の方法として、状態データは、ロボットアームに取り付けられた器具の位置および/または移動を示す、位置および/またはトルク情報などの情報を含んでもよいが、これらに限定されない。当業者には、これが単なる実施例であり、外科手術ロボットまたは器具自体が、器具の状態の情報を提供する他のセンサを含んでもよいことが明白であろう。
【0083】
ロボットアームに取り付けられた器具の少なくとも一つが、限定されるものではないが、外科手術機能(例えば、焼灼、切断など)を実施するため電気によって通電される電気焼灼器具または電気外科手術器具などの通電された器具である場合、状態データは、例えば、限定されるものではないが、通電された器具が現在通電されているかどうか、および通電されている場合、器具に通電するために使用される電流の波形などの通電された器具の状態に関する情報を含みうる。
【0084】
ロボットアームに取り付けられた器具の少なくとも一つが、身体に挿入され、患者の身体の内部の画像(例えば、ビデオ)を捕捉する内視鏡である場合、状態データは、内視鏡によって捕捉された画像(例えば、ビデオ)を含みうる。「AUTOMATIC ENDOSCOPE VIDEO AUGMENTATION」と題する、本明細書に参照により組み込まれる本出願と同じ日に出願された出願人の同時係属中の英国特許出願に記載されるように、一部の場合では、外科手術ロボットシステムがタスク(例えば、外科手術処置)を実施するために使用され、かつタスク中に事象が検出される場合、内視鏡によって捕捉された画像(例えば、ビデオ)は、検出された事象を識別する情報で自動的に補強され得る。また、または別の方法として、状態データは、内視鏡の位置、移動、および/または視野を示す情報を含んでもよい。
【0085】
また、または代替的に、状態データは、ロボットアームおよび器具の動作を制御するために使用されるオペレータ入力デバイスの状態を記述するデータを含んでもよい。上述のように、オペレータ入力デバイスは、例えば、制御ハンドルまたはジョイスティックなどの手動で操作可能な機械的入力デバイスであってもよい。これらの場合、状態データは、入力デバイスの位置および/または移動を示す位置および/またはトルクデータなどのデータを含みうるが、これらに限定されない。
【0086】
状態データはまた、または別の方法として、外科手術ロボットシステム302の動作モードに関する情報を含んでもよい。例えば一部の場合では、外科手術ロボットシステムは、限定されるものではないが、オペレータ(例えば、外科医)が、ロボットアームのうちの一つ以上を制御して、タスクを実施する、アクティブモード、オペレータ(例えば、外科医)が、コマンドインターフェースから制御しようとするロボットアームを選択または切り替える、選択モード、およびロボットアームに取り付けられた器具の少なくとも一つが取り外されている、取り付けられている、および/または変更される器具交換モード、などの複数のモードのうちの一つで動作することができる。アクティブモードにも、いくつかのタイプがありうる。例えば、一部の場合では、オペレータがロボットアームに取り付けられた内視鏡を制御している内視鏡アクティブモードと、オペレータがロボットアームに取り付けられた一つ以上の他の器具を制御している器具アクティブモードとがありうる。これらの場合、状態データは、外科手術ロボットシステムの現在の動作モードに関する情報を含みうる。当業者には、これらは外科手術ロボットシステムの例示的な動作モードであり、外科手術ロボットシステムの追加的または異なる動作モードがあることが明白であろう。
【0087】
実施されるタスクが患者に実施される外科手術処置である場合、状態データはまた、または代替的に、患者に関連するデータを含んでもよい。例えば、状態データは、患者の健康の状態を記述する、患者の健康情報またはデータを含みうる。例えば、状態データは、患者のバイタルサイン(例えば、体温、脈拍、呼吸数)または他の健康指標(例えば、血圧、酸素飽和度、血中ブドウ糖/血糖)に関する情報を含みうる。典型的には、手術中、患者のバイタルサインおよびその他の健康指標は、心拍数モニタ、パルスオキシメータ、連続グルコースモニタ(CGM)デバイスなどの特別な医療測定機器によって測定される。これらの場合、医療測定機器は、例えば、通信ネットワーク(例えば、有線または無線通信ネットワーク)を介して、バイタルサイン情報または他の患者の指標情報を支援モジュールに送信するように構成されうる。しかしながら、他の場合では、患者のバイタルサインおよび/または他の患者の健康指標に関する情報は、別の方法で取得されうる。例えば、一部の場合では、外科手術処置が行われる手術室は、ビデオおよび/または音声記録デバイスを備えてもよく、バイタルサインデータおよび/または他の患者指標データは、ビデオおよび/または音声記録から取得されうる。例えば、医療測定機器が、測定値の可聴表現(例えば、可聴音またはビープのセット)を生成する場合、測定値の推定値は、ビデオおよび/または音声記録デバイスによって記録された音声の分析を通して取得されうる。また、または別の方法として、状態データは、年齢および体重などの人口統計情報、ならびに以前のスキャン(例えば、X線、MRI)、以前の転帰、既往歴、診断歴、および/または治療計画などの他の医療情報などであるがこれに限定されない、患者に関連するその他の情報を含んでもよい。
【0088】
一部の場合では、状態データはまた、外科医の健康情報または外科手術ロボットシステムを制御する外科医の健康を記述するデータを含んでもよい。例えば、状態データは、外科医の一つ以上のバイタルシグナル(例えば、体温、脈拍、呼吸数)および/または他の健康指標(例えば、血圧)に関する情報またはデータを含みうる。例えば、一部の場合では、入力デバイスが手持ち式コントローラである場合、手持ち式コントローラは、外科医の心拍数、外科医の動作の震え、および/または外科医の発汗量を測定するセンサを備え、測定された心拍数、震え、および/または発汗量に関する情報またはデータを支援モジュール304に提供することができる。他の場合では、外科医のバイタルサインまたは他の健康指標を測定するように構成される、外部の医療デバイス、または類似のものがあってもよい。患者のバイタルサインおよびその他の健康指標に関して上述したように、外科医のバイタルサインまたは他の健康指標を測定する医療デバイスは、例えば、通信ネットワークを介して支援モジュール304に測定された指標に関するデータを提供するように構成されうるか、または測定された指標の推定値を他の手段(例えば、手術室のビデオおよび/または音声の分析によって)を介して取得しうる。
【0089】
上述したように、一部の場合では、タスクが実施される部屋(例えば、手術室)は、タスクが実施される間、部屋の中の音および/または部屋の視覚的画像を記録するための音声および/またはビデオ記録機器を備えてもよい。これらの場合、状態データはまた、または代替的に、音声および/またはビデオ録画機器によって捕捉されたビデオおよび音声データを含んでもよい。
【0090】
一部の場合では、状態データはまた、または代替的に、実施されるタスクに関する情報を含んでもよい。例えば、状態データは、外科手術ロボットシステムによって実施されるタスク(例えば、外科手術処置)に関する情報を含みうる。一部の場合では、タスクがいくつかのステップを含む場合、状態の情報は、外科手術ロボットシステムによって実施されているタスクのステップを示す情報を含みうる。例えば、外科手術ロボットシステムのオペレータ(例えば、外科医)は、その人が現在実施しているタスクのどのステップを示すことができてもよく、この情報は、状態データとして支援モジュール304に提供されてもよい。
【0091】
一部の場合では、状態データはまた、または代替的に、外科手術ロボットシステム(例えば、外科手術ロボットを制御するオペレータ(例えば、外科医)および/またはタスクチームの他のメンバ(例えば、外科手術チーム))のユーザに関する情報を含んでもよい。例えば、一部の場合では、タスクが開始される前に、情報を外科手術ロボットシステムおよび/またはタスクを実施するユーザを示す支援モジュールに提供してもよい。他の場合では、タスク(例えば、外科手術)を実施するユーザ(例えば、外科手術チーム)は、外科手術ロボットシステムおよび/または外科手術ロボットシステムの近傍にいるとき、ユーザを識別する支援モジュール304に情報を自動的に送信しうるデバイス(例えば、RFIDデバイス、携帯電話、タブレットなど)を備えてもよい。こうしたシステムの例は、参照により本明細書に組み込まれる「DEVICE INTEROPERATION」と題する、現在の出願と同じ日に出願された出願人の同時係属中の英国特許出願に記載される。
【0092】
支援モジュール304によって状態データが受信されると、方法500はブロック504に進む。一部の場合では、支援モジュール304は、ブロック504へ進む前に、所定の時間の間、状態データを収集するように構成されうる。支援モジュール304が検出された支援状態に対して迅速に反応できるように、所定の時間は短くてもよい(例えば、50ミリ秒未満)。他の場合では、支援モジュール304は、状態データを格納するための固定量のメモリのみを有してもよく、状態データを格納するためのメモリが満杯になるまで、状態データを収集するように構成されてもよい。
【0093】
ブロック504で、支援モジュール304は、状態データに基づいて、外科手術ロボットシステム302が支援状態にあるかどうかを判定する。用語「支援状態」は、本明細書では、外科手術ロボットシステムが、外科手術ロボットシステムを介して、外科手術ロボットシステムの一人以上のユーザに支援を提供できる状態にあることを意味するために使用される。支援状態としては、以下に限定されないが、危険または潜在的危険が検出され、危険を回避または最小化するために支援を提供できる危険状態、および危険または潜在的危険が検出されなかったが、タスク(例えば、手術)を実施する際に一人以上のユーザに支援を提供できる補助状態が挙げられる。
【0094】
危険状態の例としては、限定されるものではないが、複数のロボットアーム、複数の器具、またはロボットアームと器具との間で衝突が発生している(または発生しようとしている)衝突状態、現在のタスクまたはタスクのステップに対して誤った器具がロボットアームに取り付けられる誤ったエンド器具の状態、ロボットアームに取り付けられた器具のうちの一つが故障しているか、または交換する必要がある故障器具状態、通電された器具に関連する危険が検出されている通電された器具の危険状態、および、危険が、例えば、状態データから検出された事象またはパターンに基づいて予測される潜在的危険状態が挙げられる。
【0095】
補助状態の例としては、限定されるものではないが、外科手術ロボットシステムが、その技能を実施するために支援を提供できる特定の技能を実施するために使用されている技能支援状態、および外科手術ロボットシステムが、タスクもしくはタスクの一部を実施する際に、および/またはタスクもしくはタスクの一部を準備する際に、処置支援を提供できる処置支援状態が挙げられる。用語「技能」は、本明細書では、以下に限定されないが、縫合または結び目など、外科手術ロボットシステムを使用して実施できる別個の活動を意味するために使用される。技能は、タスク(例えば、外科手術処置)中に1回以上実施されうる。
【0096】
支援モジュール304は、外科手術ロボットシステム302が、状態データに基づいて独立して(例えば、状態データから事象またはパターンを検出することによって)、および/または以前実施されたタスクの状態データと状態データとの比較に基づいて、支援状態にあるかどうかを判定するように構成されうる。例えば、上述したように、一部の場合では、支援モジュール304は、以前実施されたタスクの状態データのデータリポジトリ310を含むか、またはアクセスを有しうる。以前実施されたタスクは、同じ外科手術ロボットシステムおよび/または別の外科手術ロボットシステムによって実施されていてもよい。以前実施されたタスクは、同じオペレータ(例えば、外科医)および/または他のオペレータ(例えば、外科医)によって実施されていてもよい。以前実施されたタスクは、現在実施されているタスクおよび/または他のタイプのタスク(例えば、異なるタイプの外科手術処置または異なる外科手術処置)に対して、同じタイプのタスク(例えば、同じタイプの外科手術処置)を含みうる。
【0097】
上述のように、一部の場合では、状態データは、ロボットアームおよび/またはロボットアームに取り付けられた器具の位置および/または動きを示すデータもしくは情報を含みうる。これらの場合、支援モジュール304は、例えば、ロボットアームおよび/または器具の位置および/または動きを示すデータまたは情報に基づいて、外科手術ロボットシステムが衝突状態(すなわち、ロボットアームまたは器具が衝突しようとしている、またはすでに別のロボットアームまたは器具と衝突している)にあることを検出するように構成されうる。例えば、支援モジュール304は、ロボットアームおよび/または器具の位置および/または動作データに基づいて、ロボットアームおよび/または器具の軌道を推定し、推定軌道に基づいて衝突があるであろうと推定するように構成されうる。支援モジュール304はまた、または別の方法として、例えば、(i)位置および/または動作データからアームおよび/または器具の位置を判定または推定すること、ならびに一つ以上の器具および/または一つ以上のアームの位置が同一であるか、またはほぼ同様であると判定すること、または(ii)参照により本明細書に組み込まれる出願人の英国特許出願第1810754.0号に記載されるように、アームおよび/または器具の二つ上で等しい力および反対の力が検出されている位置および/または動作情報(例えば、トルクデータ)から判定することによって、アーム間で、器具間で、またはアームと器具の間で、衝突がすでに発生していると判定するように構成されうる。
【0098】
支援モジュール304は、例えば、支援モジュール304が、特定のタイプの器具がアームに取り付けられており、その特定のタイプの器具が実施されているタスクにてきせつではないか、または現在実施されているタスクの特定のステップに適切なことを、状態データから検出するとき、外科手術ロボットシステム302が誤った器具状態にあることを検出するように構成されうる。上述のように、一部の場合では、状態データは、現在ロボットアームに取り付けられている器具のタイプを示す情報を含みうる。これらの場合、支援モジュール304は、現在ロボットアームに取り付けられている器具のタイプを、現在のタスクの実施に適切な器具のリスト、またはタスクの現在のステップと比較することによって、外科手術ロボットシステム304が誤った器具状態にあることを検出するように構成されうる。一部の場合では、特定のタスクまたはタスクのステップの実施に適切な器具のリストは、事前に決定され、タスクの開始前に支援モジュール304にロードされてもよい。他の場合では、支援モジュール304は、以前実施されたタスクの状態データに基づいて、タスクまたはタスクのステップの実施に適切な器具のリストを動的に生成するように構成されうる。例えば、支援モジュール304は、以前実施されたタスクの状態データから、特定のタスクまたはタスクの特定のステップに使用された器具のセットを判定するように構成されてもよい。
【0099】
上述のように、一部の場合では、状態データは、実施されているタスク、および任意に実施されているタスクのステップを識別する情報を含みうる。これらの場合、支援モジュール304は、現在のタスク、および任意に、タスク/ステップ識別情報から直接タスクの現在のステップを識別できる場合がある。タスク、および/または現在実施されているタスクのステップを明示的に識別する情報が、状態データの一部として受信されない場合、支援モジュール304は、他の状態データからタスクおよび/またはタスクの現在のステップを動的に検出するように構成されうる。例えば、支援モジュール304は、以前実施されたタスクの状態データのパターンに合致する状態データで検出されたパターンに基づいて、タスクおよび/またはタスクのステップを検出するように構成されうる。具体的には、支援モジュール304、または別のコンピューティングベースのデバイスは、現在のタスクと同じタイプの以前実施されたタスク(例えば、同じ外科手術処置または同じタイプの外科手術処置に関連する状態データ)に関連する状態データを分析し、分析に基づいてそのタスクにおけるステップの共通のセットを識別し、識別されたステップをリンクするマップを生成するように構成されうる。一部の場合では、タスクのステップ(およびそれゆえタスクの現在のステップ)は、使用される器具の組み合わせの一つ以上、ならびに/あるいは器具および/またはロボットアームの移動に基づいて識別されうる。
【0100】
支援モジュール304は、支援モジュール304が、例えば、ロボットアームに取り付けられた器具が所定の回数使用されていたことを検出した場合、外科手術ロボットシステム302が、故障器具状態にあることを検出するように構成されうる。具体的には、多くの外科手術器具は、交換する必要がある前に所定の回数のみ安全に使用することができる。外科手術器具が交換される必要がある前に使用され得る回数は、器具タイプおよび/または器具製造業者の間で変化し得る。上述のように、一部の場合では、状態データは、アームに取り付けられた器具を識別する情報を含みうる。例えば、各器具は、固有の識別子によって識別されうる。これらの場合、支援モジュール304は、その器具が何回使用されたかを示す、タスク(例えば、外科手術処置が実施される病院が所有する各器具)の実施に使用され得る各器具のリストを維持またはアクセスすることができる。支援モジュール304は、特定の器具が現在のタスクで使用されたことを(器具識別子を介して)検出すると、器具が追加の回数使用されたことを反映するようにリストを更新する。支援モジュール304が、アームに取り付けられた特定の器具の使用の数が所定の閾値を超えたことを検出する場合、支援モジュール304は、外科手術ロボットシステムが、故障器具状態にあると判定しうる。
【0101】
支援モジュール304は、状態データが、外科手術ロボットシステムが通電された器具を通電するのに安全でない状態にあり、オペレータ(例えば、外科医)が通電された器具を通電しようと試みたことを示す場合、外科手術ロボットシステム302が通電された器具の危険状態にあることを検出するように構成されうる。上述したように、用語「通電された器具」は本明細書で使用され、外科手術機能(例えば、切断、焼灼など)を実施するために電流で通電される電気外科手術器具および電気焼灼器具などであるがこれに限定されない外科手術器具を指す。支援モジュール304は、支援モジュール304が、ロボットアームの一つに取り付けられた通電された器具が、内視鏡の視野の外側にある、ロボットアームの一つに取り付けられた通電された器具が、患者の身体と接触していない、ロボットアームの一つに取り付けられた通電された器具が、静止位置(すなわち、現在、対応するロボットアームによって移動されている)にない、ロボットアームの一つに取り付けられた通電された器具が、患者の身体の特定の部分(例えば、血管)の所定の距離内にある、および/またはロボットアームの一つに取り付けられた通電された器具が、別の器具(別の通電された器具であってもよく、または非通電の器具であってもよい)と接触していることを状態データから検出するとき、外科手術ロボットシステム302が、通電された器具を通電するのに安全でない状態にあることを検出するように構成されうる。
【0102】
支援モジュール304は、例えば、内視鏡の位置および/または移動に関する情報から、内視鏡の視野を判定することと、通電された器具に取り付けられたアームならびに/あるいは通電された器具の位置および/または移動に関する情報から、通電された器具の位置を判定することと、通電された器具の判定された位置を、内視鏡の判定されたFOVと比較することとによって、ロボットアームの一つに取り付けられた通電された器具が、内視鏡の視野(FOV)の外側にあることを検出するように構成されてもよい。別の方法として、または追加の方法として、支援モジュール304は、通電された器具が内視鏡ビデオで視認可能であるかを判定するために、ビデオ分析技術を使用して内視鏡ビデオを分析することによって、通電された器具が内視鏡のFOVの外側にあることを検出するように構成されうる。
【0103】
支援モジュール304は、例えば、通電された器具が患者の身体と接触しているか、または通電された器具が患者の身体の特定の部分の所定の距離内にあるかを判定するために、ビデオ分析技術を使用して内視鏡ビデオを分析することとによって、アームの一つに取り付けられた通電された器具が患者の身体と接触していないか、または通電された器具が、患者の身体の特定の部分の所定の距離内にあることを検出するように構成されうる。
【0104】
支援モジュール304は、ロボットアームおよび/または器具に関連する位置および/または移動情報を分析して、関連するアームが動作しているかどうかを判定することによって、ロボットアームの一つに取り付けられた通電された器具が静止していないと検出するように構成されうる。支援モジュール304が、関連するアームが動作中であると判定する場合、支援モジュール304は、通電された器具が通電するためには安全でない状態にあると判定してもよく、この安全でない状態で、オペレータ(例えば、外科医)が通電された器具を通電しようと試みる場合、支援モジュール304は、通電された器具の危険があると判定しうる。一部の場合では、支援モジュール304は、通電された器具が動作中であり、かつ移動または動作が予期されないか、または許容範囲外である場合、通電された器具が、通電するためには安全でない状態にあることのみを判定するように構成されうる。
【0105】
支援モジュール304は、支援モジュールが現在のタスクの状態データから一つ以上の危険インジケータを検出する場合、外科手術ロボットシステム302が潜在的危険状態にあることを検出するように構成されうる。危険インジケータは、それ自体は決定的に問題があることを示していないが、問題があることを示しうる状態であってもよい。危険インジケータには、限定されるものではないが、一人以上の患者のバイタルサインおよび/または他の健康指標が、所定の範囲外にあることと、オペレータ(例えば、外科医)のバイタルサインおよび/または他の健康指標のうちの一つ以上が、所定の範囲外であることと、声を上げて話すタスクのために出席する個人のうちの一人以上(例えば、外科手術チームのうちの一人以上)と、警告の単語または語句を話すタスクのために出席する個人のうちの一人以上(例えば、外科手術チームの一人以上)と、が含まれうる。
【0106】
上述のように、一部の場合では、状態データは、患者の健康情報、または患者のバイタルサインおよび/または一つ以上の他の健康指標のうちの一つ以上の状態を示すデータを含みうる。これらの場合では、支援モジュール304は、患者の健康情報またはデータが、患者の健康指標(例えば、バイタルサイン)の一つ以上が所定の範囲外になったことを示すときに、危険インジケータを検出するように構成されうる。所定の範囲は、健康指標の間で変化しうる(例えば、呼吸数および心拍数に対して異なる範囲がありうる)。同様に、一部の場合では、状態データは、外科医の健康情報、または外科医のバイタルサインおよび/または他の健康指標のうちの一つ以上の状態を示すデータを含みうる。これらの場合では、支援モジュール304は、外科医の健康情報またはデータが、外科医の健康指標(例えば、バイタルサイン)の一つ以上が所定の範囲外になったと示すときに、危険インジケータを検出するように構成されうる。一部の場合では、患者および/または外科医のための異なる医療指標に対する所定の範囲は、タスクを開始する前に支援モジュール304に予めロードされてもよい。一部の場合では、所定の範囲は、以前実施されたタスクの状態データから学習されうる。例えば、支援モジュール304または別のコンピューティングデバイスは、以前実施されたタスクの状態データから、否定的な結果が発生する直前に異なる健康指標のレベルを識別し、識別されたレベルから所定の範囲を生成しうる(例えば、識別された最低レベルおよび最高レベルを包含する範囲が選択されうる)。所定の範囲は、すべてのタスクにわたって決定されてもよく、または異なる所定の範囲は、異なるタスク(すなわち、異なる外科手術処置)に対して決定されてもよい。例えば、X~Yの範囲の心拍数は、外科手術タイプAでは正常であるが、外科手術タイプBでは正常ではないと以前実施されたタスクの状態データから判定されうる。
【0107】
上述のように、一部の場合では、状態データは、タスクが実施される部屋(例えば、手術室)のビデオおよび/または音声記録を含みうる。これらの場合、支援モジュール304は、支援モジュール304が、部屋の中の個人が声を上げて話したビデオおよび/または音声記録から、危険インジケータを検出するように構成されうる。具体的には、個人が声を上げながら話す場合、部屋の中の個人の間に何らかの摩擦があること、および/または部屋の中に争点や問題があることを示しうる。支援モジュール304は、任意の既知の音声分析技術を使用して、上げられた声を検出することができる。状態データがビデオおよび/または音声記録を含む場合、支援モジュール304はまた、または代替的に、支援モジュール304が、部屋の中の個人が警告の単語または語句(すなわち、問題がある可能性があることを示す単語または語句)を話したことをビデオおよび/または音声記録から検出したときに、危険インジケータを検出するように構成されてもよい。支援モジュール304は、任意の既知の音声認識または分析技術を使用して、ビデオおよび/または音声記録内の警告の単語および/または語句を検出するように構成されうる。警告の単語および/または語句のリストは、タスクを開始する前に、支援モジュール304に予めロードされてもよい。一部の場合では、警告の単語および/または語句のリストは、以前実施されたタスクの状態データから学習されうる。例えば、支援モジュール304または別のコンピューティングデバイスは、複数の以前実施されたタスクのそれぞれの状態データから、否定的な結果の前に所定の期間話された任意の単語または語句を識別し、所定の数の以前実施されたタスクの間で共通である識別された単語または語句のリストを生成しうる。
【0108】
当業者にとって、これらは例示的な危険インジケータであり、潜在的な問題や争点を示す他の条件および/または事象などが存在する可能性があることは明らかである。一部の場合では、危険インジケータは、以前実施されたタスク(例えば、外科手術)の状態データから学習されうる。例えば、一部の場合では、以前実施されたタスクに関連する状態データは、データリポジトリ310に格納されてもよく、否定的な結果に先行する事象または一連の事象が識別されてもよく、所定の数の以前実施されたタスクにわたって共通する、識別された事象または一連の事象が、危険インジケータとして識別されてもよい。例えば、複数の以前実施されたタスクの状態データが、ステップA、BおよびCが、否定的な結果または結末が発生する前に実施されたことを示す場合、危険インジケータは、ステップAおよびBおよびステップCの遂行が実施される可能性が高いと識別されうる。以前実施されたタスクの状態データは、同じオペレータ(例えば、外科医)によって実施された、および/または他のオペレータ(例えば、外科医)によって実施された、以前実施されたタスクの状態データを含みうる。以前実施されたタスクの状態データは、同じタスク(例えば、外科手術処置)に関連する状態データのみを含んでもよく、または複数の異なるタスク(例えば、異なる外科手術処置)に関連する状態データを含んでもよい。
【0109】
支援モジュール304はまた、または別の方法として、外科手術ロボットシステム302が、外科手術ロボットシステムを制御するオペレータ(例えば、外科医)の遂行の評価に基づいて、潜在的危険状態にあることを検出するように構成されてもよい。例えば、支援モジュール304が、オペレータ(例えば、外科医)の遂行が所定の閾値を下回っていることを検出する場合、支援モジュール304は、外科手術ロボットシステム302が潜在的危険状態にあることを検出しうる。一部の場合では、支援モジュール304は、現在のタスクの状態データを以前実施されたタスク(例えば、同じタイプのタスク)の状態データと比較することによって、オペレータ(例えば、外科医)の遂行が所定の閾値を下回っていることを検出するように構成されうる。例えば、支援モジュール304は、以前実施されたタスクの状態データが格納され、外科手術ロボットシステムのオペレータ(例えば、外科医)の遂行が評価または識別されたデータリポジトリ310へのアクセスを有し得るか(例えば、遂行は、所定の等級でランク付けされ得る)、および状態データは、外科手術ロボットシステムの現在のオペレータ(例えば、外科医)の遂行レベルを判定するために、リポジトリに格納された状態データと比較されうる。
【0110】
一部の場合では、支援モジュール304は、現在のオペレータ(例えば、外科医)の一つ以上の遂行指標を、以前実施されたタスクに対するオペレータ(例えば、外科医)の遂行指標と比較することによって、外科手術ロボットシステムを操作する現在のオペレータ(例えば、外科医)の遂行レベルを判定しうる。一部の場合では、遂行指標は、タスクまたはタスクのステップの実施においてロボットアームまたは器具によってとられる経路、タスクまたはタスクのステップの実施におけるロボットアームおよび/または器具の移動の滑らかさ、および/またはタスクまたはタスクのステップの実施にとられる時間のうちの一つ以上を含みうる。状態データが、外科手術ロボットシステム302のアームおよび/または器具の位置および/または移動を記述する情報を含む場合、支援モジュール304は、アームおよび/または器具の位置および/または移動を記述する情報から、ロボットアームおよび/または器具の経路を判定するように構成されうる。経路が識別されると、支援モジュール304は、経路が滑らかな曲線またはのこぎり歯状のエッジを有するかに基づいて、経路の滑らかさを測定することができる場合がある。上述のように、一部の場合では、状態情報は、現在実施されているタスクおよび/またはタスクのステップを明示的に識別する情報を含みうる。他の場合では、支援モジュール304は、他の状態データに基づいて、現在のタスクおよび/またはタスクの現在のステップを動的に検出することができる場合がある。いずれの場合も、支援モジュール304は、タスク間の時間またはタスクのステップ間の時間を測定することによって、タスクまたはタスクのステップを実施するのにかかる時間を判定するように構成されうる。
【0111】
一部の場合では、支援モジュール304は、支援が提供され得る技能のリストを含んでもよく、支援モジュール304は、技能のリストの中の技能の一つが、外科手術ロボットシステムによって実施されようとしているか、または外科手術ロボットシステムが、技能のリストの中の技能の一つの実施を開始している状態データから、支援モジュールが検出したときに、外科手術ロボットシステムが、技能支援状態にあることを検出するように構成されてもよい。例えば、支援が提供されうる技能のリストには、限定されないが、縫合を実施すること、または結び目を作るとが含まれうる。これらの場合、支援モジュール304は、縫合器具がロボットアームの一つに取り付けられた場合に、オペレータ(例えば、外科医)が外科手術ロボットシステムを使用して縫合を実施しようとしていることを検出するように構成されうる。当業者にとって、これらは、支援を提供できる技能の単なる例であり、支援を提供できる他の技能がありうることは明らかである。
【0112】
場合によっては、支援モジュール304は、処置支援が提供され得るタスクまたはタスクのステップのリストを含んでもよく、支援モジュール304は、処置支援が提供され得るタスクまたはタスクのステップのうちの一つが、実行されようとしているか、またはオペレータ(例えば、外科医)が、リスト上のタスクまたはリスト上のタスクのステップのうちの一つの実施を開始したことを状態データから支援モジュール304が検出したときに、外科手術ロボットシステムが処置支援状態にあることを検出するように構成されてもよい。上述のように、一部の場合では、状態データは、現在実施されているタスクまたはステップを明示的に識別する情報を含みうる。他の場合では、支援モジュール304は、他の状態データから現在実施されているタスクまたはタスクのステップを動的に判定することができる。
【0113】
支援モジュール304が、外科手術ロボットシステムが支援状態ではないと判定する場合、方法は、支援モジュール304が、次の状態データのセットを受信するブロック502に戻り、次の状態データのセットから、外科手術ロボットシステムが支援状態にあるかどうかを判定する。しかしながら、支援モジュール304が、外科手術ロボットシステムが支援状態にあると判定した場合、方法500はブロック506に進む。
【0114】
ブロック506で、外科手術ロボットシステムが支援状態にあると判定することに応じて、支援モジュール304は、外科手術ロボットシステムに、タスクを実施する際に一人以上のユーザに支援を提供させるように構成される。支援モジュール304は、(i)ロボットアームのうちの一つ以上の移動のすべてまたは一部を制御すること、および/または(ii)外科手術ロボットシステムに、一人以上のユーザがタスクを実施する際に支援できる、一人以上のユーザに支援情報を出力させることによって、外科手術ロボットシステムに、一人以上のユーザにタスクを実施する際に支援を提供させうる。
【0115】
支援モジュール304は、制御信号を、例えば、制御ユニット420に送信することによって、一つ以上のロボットアームの移動を制御するように構成されてもよく、それにより、制御ユニット420に、一つ以上のアームのモータ416の動作を制御させて、一つ以上のアーム402を特定の様式で動作させる。一部の場合では、支援モジュール304は、(i)ロボットアームの移動を阻止または制限するか、または(ii)ロボットアームを所定の様式で移動させるように、一つ以上のロボットアームの移動を制御するように構成されうる。ロボットアームの動きを阻止または制限することは、ロボットアームが1自由度以上および/または一方向以上移動するのを防止すること、および/または1自由度以上および/または一方向以上のロボットアームの移動を制約すること(例えば、ロボットアームの動きを、所定のマニホールド内の動きに制限すること)を含みうる。支援モジュール304は、例えば、危険の発生を防止するか、または安全でない状態での器具またはロボットアームの使用を制限するために、一つ以上のロボットアームの移動を阻止または制限するように構成されうる。ロボットアームを所定の事態内で移動させることは、例えば、ロボットアームに所定の経路を追従させることを含み得る。支援モジュール304は、例えば、(i)動作平滑化を実施する、(ii)自動外科手術行為を実施する(例えば、結び目を作る)、(iii)自動非外科手術行為を実施する(例えば、器具交換を実施する)ように、一つ以上のロボットアームを所定の様式で移動させるように構成されうる。
【0116】
支援モジュール304は、例えば、制御ユニット420に一つ以上の制御信号を送信することによって、外科手術ロボットシステムに支援情報を出力させるように構成されてもよく、それにより、制御ユニット420に、外科手術ロボットシステム302の一人以上のユーザに支援情報を出力させる。支援情報は、限定されるものではないが、音声および/または視覚的に任意の適切な形態でユーザに出力されうる。例えば、外科手術ロボットシステムがスピーカまたは他の音声出力デバイスを備える場合、支援モジュール304は、制御ユニット420にスピーカまたは他の音声出力デバイスを介して支援情報を音声出力させる制御信号を制御ユニット420に送信するように構成されうる。外科手術ロボットシステム302が、ユーザに視覚的に情報を伝達することができるディスプレイなどの一つ以上の装置を含む場合、支援モジュール304は、ディスプレイまたはその他の視覚的出力デバイス介して、支援情報を制御ユニット420に視覚的に出力させる制御信号を制御ユニット420に送信するように構成されうる。一部の場合では、外科手術ロボットシステム302は、情報を外科手術ロボットシステムのユーザに伝達するために使用できるロボットアーム上の照明を備えうる。これらの場合、支援情報のすべてまたは一部は、ロボットアーム上の照明を介してユーザに伝達または提示されうる。
【0117】
支援情報は、タスクを実施する際にユーザを支援できる任意の情報を含みうる。支援情報の例としては、限定されないが、タスクまたはタスクのステップを完了するために実行するステップのリスト、器具変更が提案されていることを示す表示、提案されたポート配置、および潜在的危険状態が検出されたことの警告が挙げられる。
【0118】
一部の場合では、外科手術ロボットシステム302に、タスクを実施する際に外科手術ロボットシステムの一人以上のユーザに支援を提供するようにさせる前に、支援モジュール304は、支援が提供されることを望むかどうかについて、ユーザからの入力を要求するように構成されうる。これらの場合、支援モジュール302は、支援が提供されることを示す入力を受信するのに応じて、外科手術ロボットシステム302に、外科手術ロボットシステムのユーザに支援を提供するようにのみさせるように構成されうる。外科手術ロボットシステム302が、支援を提供する前にユーザからの入力を要求しているかどうかは、提供される支援のタイプおよび/またはブロック504の支援モジュール304によって検出される支援状態に依存しうる。例えば、支援モジュール302は、ロボットアームの移動のすべてまたは一部を制御する前に、ユーザからの入力を要求するように構成されうるが、支援情報を提供する前に、ユーザからの入力を要求しない。
【0119】
提供される支援のタイプは、ブロック504で支援モジュール304によって検出される支援状態に基づいてもよい。例えば、一部のタイプの支援状態については、支援モジュール304は、一つのタイプの支援を提供する(例えば、支援情報を出力する)ことができるのみであってよく、他のタイプの支援状態については、支援モジュールは、複数のタイプの支援を提供する(例えば、支援情報を出力し、一つ以上のロボットアームの移動を制御する)ことができてもよい。
【0120】
支援モジュール304が、外科手術ロボットシステム302が衝突状態にあると(ブロック504で)判定した場合、支援モジュール304は、外科手術ロボットシステムに、衝突(または予測される衝突)が検出されたことを外科手術ロボットシステムの一人以上のユーザに通知し、かつ任意選択的に、限定されるものではないが、衝突のタイプ(例えば、衝突がアーム間であるかどうか、器具間であるか、またはアームと器具との間であるか)、および衝突に関与する要素(例えば、ロボットアームおよび/または器具)などの衝突(または予測される衝突)についての情報を提供する支援情報を出力させるように構成されてもよい。例えば、ロボットアームが制御可能な照明(例えば、制御可能な発光ダイオード(LED)のセット)を備える場合、支援モジュール302は、関連するロボットアームの照明を、衝突に関与したロボットアームを示すために、所定の色(例えば、赤色に)に変えさせる、または所定のパターンで光を放射させるように構成されうる。
【0121】
代替で、または追加で、支援モジュール304は、予測される衝突を防止するか、または衝突した構成要素が、互いに向かうさらなる移動によって損傷することを止めるため、関連するロボットアーム(衝突または予測される衝突に関与するロボットアーム)の移動を阻止するように構成されうる。例えば、支援モジュール304は、関連するアーム(衝突に関与するアームまたは予測される衝突に関与するアーム)が手動で離れて移動されるまで、全く移動しないように構成されうる。他の実施例では、支援モジュールは、関連するロボットアームが互いに向かって移動するのを防止するが、関連するロボットアームが他の方向に(例えば、互いから離れて)移動することを可能にするように構成されうる。衝突がすでに発生している一部の場合では、支援モジュール304が、所定の期間、関連するアーム(全体または互いに向かって)の移動を防止すると、支援モジュール304は、関連するアームを(例えば、衝突の反対の方向に)自動的に離れて移動させるように構成されうる。一部の場合では、支援モジュール304は、関連するアームを離して移動する前に、まず、外科手術ロボットシステムのユーザからの入力を要求し、関連するアームが離れて移動されることをユーザが確認した後でのみ、関連するアームを離して移動しうる。
【0122】
支援モジュール304が(ブロック504で)外科手術ロボットシステム302が、故障器具状態または誤った器具状態にあると判定した場合、支援モジュール304は、外科手術ロボットシステムに、故障器具および/または誤った器具が検出されたことを外科手術ロボットシステムの一人以上のユーザに通知する支援情報を出力させるように構成されうる。支援モジュール302はまた、外科手術ロボットシステムに、どの器具に欠陥があるか、および/または故障器具が現在付けられているアームなどであるがこれに限定されない、故障または誤った器具についての情報を出力させる、および/または器具の変更が推奨されることを外科手術ロボットシステムの一人以上のユーザに助言する情報を出力させるように構成されうる。例えば、ロボットアームが制御可能な照明を備える場合、支援モジュールは、関連するアームの照明を特定の色(例えば、オレンジ色)に変えさせるか、または特定のパターンで照明を放射させることによって、ロボットアームに取り付けられた故障器具または誤った器具を有するロボットアームを示すように構成されうる。
【0123】
代替的に、または追加的に、支援モジュール304は、器具変更を自動的に実施する(すなわち、故障または誤った器具を自動的に変更する)ように構成されうる。支援モジュール304が(ブロック504で)外科手術ロボットシステムが故障器具状態304にあると判定したとき、自動器具変更は、故障器具を同じタイプの器具に置き換える。対照的に、支援モジュール304が(ブロック504で)外科手術ロボットシステムが誤った器具状態にあると判定した場合、自動器具変更は、誤った器具を、現在のタスクまたはタスクのステップを実施するのに適切なタイプの器具に置き換える。
【0124】
自動器具変更を実施できるようにするために、外科手術ロボットシステムは、外科手術ロボットシステムのロボットアームに取り付けられうる器具が位置する器具ラックと、装填ロボットアームであって、(i)選択されたロボットアームから器具を取り除くか、または取り外すこと、(ii)器具ラックから特定の器具を取り出すこと、および(iii)特定の器具を選択されたロボットアームに取り付けること、ができる装填ロボットアームと、を備えてもよい。一部の場合では、支援モジュール304は、まず、自動器具変更が実施されるかどうかについて、外科手術ロボットシステムのユーザ(例えば、コマンドインターフェース426を介して)からの入力を要求してもよく、かつ、ユーザが自動器具変更が実施されることを確認した場合にのみ、支援モジュール304は、自動器具変更を実施させる。支援モジュール304が(ブロック504で)外科手術ロボットシステムが誤った器具状態であると判定し、複数の適切な器具タイプがある場合、支援モジュール304は、複数の適切な器具のうち、どれが使用されるかに関して外科手術ロボットシステムのユーザからの入力を要求するように構成されうる。
【0125】
支援モジュール304が(ブロック504で)外科手術ロボットシステム302が通電された器具の危険状態にあると判定した場合、支援モジュール304は、外科手術ロボットシステムに、関連する通電された器具の通電を防止させるように構成されうる。支援モジュール304は、制御ユニット420に、制御ユニット420に通電する電流が関連する通電された器具に送信されるのを防ぐようにさせる制御信号を送信することによって、外科手術ロボットシステムに、関連する通電された器具の通電を防止させるように構成されてもよい。支援モジュール304はまた、外科手術ロボットシステム302に、通電された器具の危険状態が検出されたこと、および/または関連する通電された器具を通電できないことを、外科手術ロボットシステムの一人以上のユーザに通知する情報を出力させるように構成されてもよい。一部の場合では、支援モジュール304はまた、通電防止がオーバーライドされるべきかどうかについて、ユーザ入力(例えば、コマンドインターフェースを介して)を求めるように構成されてもよい。ユーザが通電防止をオーバーライドすべきという入力を提供する場合、支援モジュール304は、外科手術ロボットシステムに、関連する通電された器具の通電を可能にするように構成されうる。
【0126】
支援モジュール304が、外科手術ロボットシステム302が潜在的危険状態にあると(ブロック504で)判定した場合、支援モジュール304は、外科手術ロボットシステム302に、潜在的危険状態が検出されたことを外科手術ロボットシステムの一人以上のユーザに通知する情報を出力させるように構成されうる。支援モジュール302はまた、外科手術ロボットシステムに、どの危険インジケータが検出されたかに関する情報を出力させるように構成されてもよい(例えば、患者または外科医のバイタルサインまたは他の健康指標が問題の存在を示すか、または部屋の中の個人またはチームによる発話レベルもしくは実際の発言の単語が問題が存在しうることを示すか)。支援モジュール304はまた、タスクを一時停止するべきかどうかについて、外科手術ロボットシステムのユーザからの入力を(例えば、コマンドインターフェースを介して)要求するように構成されてもよい。ユーザが、タスクを一時停止すべきことを示す入力を提供する場合、支援モジュール304は、ロボットアームの一つ以上の移動が抑制されるように構成されうる。
【0127】
支援モジュール304が、外科手術ロボットシステムが技能支援状態にあると(ブロック504で)判定したとき、支援モジュール304は、外科手術ロボットシステム302に、技能支援状態が検出されたことを外科手術ロボットシステムの一人以上のユーザに通知する情報を出力させるように構成されうる。支援モジュール304はまた、または代替的に、オペレータ(例えば、外科医)が技能を実施するのを助けるために、技能のすべてまたは一部を実施するように、および/または一つ以上の外科手術ロボットアームの移動を阻止するように、外科手術ロボットシステム302の一つ以上のロボットアームを制御するように構成されてもよい。例えば、上述したように、支援モジュール304は、結び目を作るために取る、それに取り付けられたロボットアーム/器具の理想的な経路または好ましい経路で構成されてもよく、支援モジュール304が、結び目が外科手術ロボットシステムを使用して作られようとしていると判定したときに、結び目を作るための理想的な経路または好ましい経路に従ってロボットアームを制御することができてもよい。一部の場合では、支援モジュール304は、技能を自動的に実施すべきかどうかについて、(例えば、コマンドインターフェースを介して)ユーザからの入力を要求するように構成されてもよく、技能が自動的に実施されるべきであるとユーザが示した場合にのみ、支援モジュール304は、ロボットアームを制御して、技能を自動的に実施する。
【0128】
一部の場合では、代替的に、ロボットアームを制御して技能のすべてまたは一部を実施するために、支援モジュール304は、オペレータ(例えば、外科医)が技能を実施するのを助けるために、一つ以上の外科手術ロボットアームの移動を阻止するように構成されうる。例えば、上述したように、支援モジュールは、結び目を作るために取る、それに取り付けられたロボットアーム/器具の理想的な経路または好ましい経路で構成されてもよく、支援モジュール304は、理想的な経路の所定距離内の関連ロボットアームの移動を制限してもよい。これにより、外科医は、理想的な経路の所定の距離内で関連するロボットアーム/器具の移動を制御し、関連するロボットアーム/器具が経路に従う速度を制御することが可能になる。
【0129】
一部の場合では、良好な結び目の経路は、結び目を作ることに関与する、以前実施されたタスクの状態データから学習されていてもよい。例えば、支援モジュール304または別のコンピューティングデバイスは、結び目の品質の評価が提供される(例えば、結び目が格付けされている)、結び目を作ることに関与する複数のタスクに関連する状態データを受信し、共通である、または最良の結び目の経路をリンクする経路を識別しうる。共通である経路、または最良の結び目の経路をリンクする経路は、特定のランキングでのまたは特定のランキングより上の結び目の経路からの最大平均二乗距離を有する経路であってもよい。
【0130】
支援モジュール304が、外科手術ロボットシステムが処置支援状態にあると(ブロック504で)判定した場合、支援モジュールは、外科手術ロボットシステムに、タスクまたはタスクのステップの実施方法に関するガイダンスを提供する情報を出力させるように構成されうる。タスクの実施方法に関するガイダンスを提供する情報には、次に実施される一つ以上のステップを示す情報、次に選択されるべき器具を示す情報、各アクティブアームがどのハンドコントローラに関連付けられるべきかを示す情報、アクティブロボットアームが、タスクを効率的な方法で実施するために従うべき経路を示す情報(例えば、アクティブロボットアーム/器具が従うべき推奨経路が、表示画面に表示されうる)のうちの一つ以上とが含まれうる。
【0131】
一部の場合では、タスク、またはタスクのステップの実施方法に関するガイダンスは、以前実施されたタスクに関連する状態データから判定される。例えば、支援モジュール304、または別のコンピューティングベースの装置は、以前実施されたタスクの状態データを比較して、その中のパターンを識別することによって、処置の好ましいステップ、好ましい器具、好ましいハンドコントローラ、および/または器具によって取られた好ましい経路を識別するように構成されうる。例えば、状態データが、タスクの成果を示す転帰情報(例えば、患者の転帰)を含むか、またはそれで補強される場合、支援モジュール304、または別のコンピューティングベースのデバイスは、特定のタスクのステップ、器具、ハンドコントローラ、および/または以前実施されたタスクの状態データから最良の転帰を生成した器具によって取られる経路を識別するように構成されてもよい。分析される状態データは、類似のタスクの状態データ(例えば、同じまたは類似の外科手術処置)、類似のオペレータ(例えば、外科医)によって実施されるタスクの状態データ、および/または現在の特許に類似した患者の状態データを含む場合がある。当業者には、これらは、ガイダンス情報の例、ガイダンス情報がどのように取得され得るかの例、および他のガイダンス情報がどのように提供され得るかの例であり、ガイダンス情報は別の方法で生成され得ることが明白であろう。例えば、他の場合では、ガイダンス情報は、事前構成されているか、または事前に決められてもよい。
【0132】
一部の場合では、ユーザに提供される支援のレベルは、外科手術ロボットシステムを制御するオペレータ(例えば、外科医)の技能レベルに基づいてもよい。例えば、より多くの支援(例えば、より多くの支援情報)が、より低い技能レベルを有するオペレータ(例えば、外科医)に提供されてもよく、より少ない支援(例えば、より少ない支援情報)が、より高い技能レベルを有するオペレータ(例えば、外科医)に提供されてもよい。例えば、技能レベルが低いオペレータ(例えば、外科医)は、技能またはタスクの特定のステップを実施する方法に関する詳細な指示が提供されてもよく、一方で、より高い技能レベルを有するオペレータ(例えば、外科医)は、不完全なヒントまたは助言のみが提供されてもよい。一部の場合では、オペレータ(例えば、外科医)の技能レベルは、状態データの一部として、または別の方法で(例えば、タスクのセットアップの一部として)、支援モジュール304に明示的に提供されてもよい。他の場合では、外科手術ロボットシステムを制御するオペレータ(例えば、外科医)の技能レベルは、現在のタスク(例えば、外科手術処置)の状態データから、またはオペレータ(例えば、外科医)によって実施された以前のタスクの状態データから動的に判定されうる。
【0133】
上述したように、外科手術ロボットシステムを制御するオペレータ(例えば、外科医)の遂行は、現在のオペレータ(例えば、外科医)の一つ以上の遂行指標を、以前実施されたタスクに対する他のオペレータ(例えば、外科医)の遂行指標と比較することによって、評価または判定することによってもよい。一部の場合では、遂行指標は、タスクまたはタスクのステップの実施においてロボットアームまたは器具によってとられる経路、タスクまたはタスクのステップの実施におけるロボットアームおよび/または器具の移動の滑らかさ、および/またはタスクまたはタスクのステップの実施にとられる時間のうちの一つ以上を含みうる。状態データが、外科手術ロボットシステム302のアームおよび/または器具の位置および/または移動を記述する情報を含む場合、支援モジュール304は、アームおよび/または器具の位置および/または移動を記述する情報から、ロボットアームおよび/または器具の経路を判定するように構成されうる。経路が識別されると、支援モジュール304は、経路が滑らかな曲線またはのこぎり歯状のエッジを有するかに基づいて、経路の滑らかさを測定することができる場合がある。状態データは、現在のタスクまたはタスクの現在のステップを明示的に識別する情報を含んでもよく、または支援モジュール304は、他の状態データに基づいて、現在のタスクおよび/またはタスクの現在のステップを動的に検出しうる。いずれの場合も、支援モジュール304は、タスク間の時間またはタスクのステップ間の時間を測定することによって、タスクまたはタスクのステップを実施するのにかかる時間を判定するように構成されうる。
【0134】
一部の場合では、外科手術ロボットシステムが支援状態にあることの検出に応じて、外科手術ロボットシステムの一人以上のユーザに支援を提供することに加えて、支援モジュール304はまた、外科手術ロボットシステムのユーザまたはタスク(例えば、外科手術)中の別の当事者にまたはタスク(例えば、外科手術)後に、他のフィードバック情報を提供するように構成されてもよい。例えば、支援モジュール304は、オペレータ(例えば、外科医)が、同じタスクの彼らの以前の遂行と比較して、および/または同じタスク(例えば、外科手術処置)を実行した他のオペレータ(例えば、外科医)と比較して、どのように実施しているかを示す、タスク中のオペレータの遂行に関するフィードバックを提供するように構成されてもよい。例えば、支援モジュール304は、滑らかさ、経路、およびタスクまたはタスクのステップなどを実施するためにかかった時間などであるがこれに限定されない、一つ以上のオペレータの遂行指標を測定するように構成されうる。測定された遂行指標は、その後、オペレータの遂行に関するフィードバックを提供するために、オペレータの以前のタスクの遂行または他のオペレータの過去のタスクの遂行と比較されうる。例えば、支援モジュール304は、限定されないが、「通常より速く進んでいる」、または「同僚より遅く進んでいる」など、オペレータにフィードバックを提供するように構成されうる。
【0135】
別の実施例では、支援モジュール304はまた、または代替的に、外科手術ロボットシステムの他のユーザ(例えば、外科手術チームの他のメンバ)に関連する指標を測定し、それに関連するフィードバック情報を生成するように構成されてもよい。例えば、支援モジュール304は、タスク中に使用される器具の数、器具交換の数、各器具交換にかかる時間、タスク(例えば、手術)のための外科手術ロボットシステムの準備(例えば、ドレープ)にかかる時間を測定するように構成されうる。支援モジュール304は、外科手術ロボットシステムに、測定された指標を出力させるように構成されてもよく、または測定された指標を他の当事者に提供してもよい。
【0136】
さらに別の実施例では、支援モジュール304はまた、または代替的に、外科手術ロボットシステムに関する指標を測定し、それに関連するフィードバック情報を生成するように構成されてもよい。例えば、支援モジュール304は、いつ器具の変更が発生したか状態データから検出するように構成されてもよく、支援モジュール304が、アームに取り付けられた第一の器具が、アームに取り付けられた第一の器具の所定の期間内に、同じタイプの第二の器具と交換されていることを検出した場合、支援モジュール304は、第一の器具が故障したことを自動的に検出するように構成されてもよい。この情報は記録され、別の当事者に報告されて、それにより、例えば、そのタイプの新しい器具を注文することができる。
【0137】
さらに別の実施例では、支援モジュール304、または別のコンピューティングベースのデバイスはまた、または代替的に、タスクもしくは類似のタスクの前または後に実施されるプロセスあるいは処置で使用するためのフィードバック情報を生成するために、状態データを分析するように構成されてもよい。具体的には、支援モジュール304は、状態データを分析して、将来のタスクまたは他の処置のスケジュール設定に使用され得る情報を識別するように構成されてもよい。例えば、支援モジュール304は、いつタスクが完了するか、状態データから予測して、予測される完了時間が所定の閾値(例えば、1時間)を下回る場合、別の当事者(例えば、手術室マネージャ)に通知するように構成されてもよく、その結果、その手術室内の次のタスクがスケジュール設定されることができ、次の患者が準備されることができ、かつ/または外科手術ロボットシステム(例えば、外科医)のオペレータが別のタスクのためにスケジュール設定することができる。別の実施例では、支援モジュール304は、タスクが完了した後に、状態データ(転帰を含む)を、同じオペレータ(例えば、外科医)によって実施された類似の処置の状態データと比較して、そのオペレータがその特定のタスクを実施するための最良の時(例えば、一日のうちの時間および/または週のうちの日)を決定し、そのオペレータがその特定のタスクを実施するための決定された最良の時を示すフィードバック情報を出力するように構成されうる。
【0138】
当業者にとって、これらは、支援モジュール304によって生成および提供されうる追加のフィードバック情報の実施例であり、状態データおよび/または以前実施されたタスク(例えば、外科手術)の状態データに対する状態データの比較から得ることができる任意の情報を使用して、追加のフィードバック情報を生成することができることは明らかであろう。
【0139】
これにより、本出願人は、本明細書に記載の各個々の特徴および二つ以上のかかる特徴の任意の組み合わせを、かかる特徴または組み合わせが、当業者の共通の一般知識に照らして、全体として本明細書に基づいて行うことができるような程度まで、かかる特徴または特徴の組み合わせが、本明細書に開示される任意の問題を解決するかどうかにかかわらず、分離して開示する。前述の説明を考慮すると、本発明の範囲内で様々な修正を行うことができることは当業者には明らかであろう。