知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2022-03-22
(54)【発明の名称】ロボット手術システム用のハンドアイ協働システム
(51)【国際特許分類】
A61B 34/30 20160101AFI20220314BHJP
【ＦＩ】
A61B34/30
【審査請求】未請求
【予備審査請求】未請求
(21)【出願番号】P 2021545841
(86)(22)【出願日】2020-02-04
(85)【翻訳文提出日】2021-08-05
(86)【国際出願番号】 US2020016487
(87)【国際公開番号】W WO2020163263
(87)【国際公開日】2020-08-13
(31)【優先権主張番号】62/801,734
(32)【優先日】2019-02-06
(33)【優先権主張国・地域又は機関】US
(81)【指定国・地域】
(71)【出願人】
【識別番号】512269650
【氏名又は名称】コヴィディエン リミテッド パートナーシップ
(74)【代理人】
【識別番号】100107489
【弁理士】
【氏名又は名称】大塩 竹志
(72)【発明者】
【氏名】ペイン， ウィリアム
(72)【発明者】
【氏名】イェルク， シュテファン
(72)【発明者】
【氏名】ロシャク， ポール
(57)【要約】
ツールがユーザコンソールの入力ハンドルの入力に従うように処理ユニットを備えた手術ロボットのツールを制御する方法は、ユーザコンソールのマスターフレームでの入力ハンドルの動きを受信すること、マスターフレームでの入力ハンドルの動きを、手術部位のリアルタイム画像を提示するカメラのカメラフレームでのツールの動きに変換すること、カメラフレームでのツールの動きを、手術室で定められたワールドフレームでのツールの動きに変換すること、ワールドフレームでのツールの動きを、ツールを支持するアームによって定められるツールフレームでのツールの動きに変換すること、およびツールが入力ハンドルの動きに従うように、ツールを制御するモーターに制御コマンドを送信すること、を含む。
【選択図】図１
【選択図】図１
【特許請求の範囲】
【請求項1】
ツールがユーザコンソールの入力ハンドルの入力に従うように、処理ユニットを備えた手術ロボットの前記ツールを制御する方法であって、前記ユーザコンソールのマスターフレームでの前記入力ハンドルの動きを受信すること、
前記マスターフレームでの前記入力ハンドルの前記動きを、手術部位のリアルタイム画像を提示するカメラのカメラフレームでの前記ツールの動きに変換すること、
前記カメラフレームでの前記ツールの前記動きを、手術室で定められたワールドフレームでの前記ツールの動きに変換すること、
前記ワールドフレームでの前記ツールの前記動きを、前記ツールを支持するアームによって定められるツールフレームでの前記ツールの動きに変換すること、および
前記ツールが前記入力ハンドルの動きに従うように、前記ツールを制御するモーターに制御コマンドを送信すること、を含む、方法。
【請求項2】
前記マスターフレームでの前記入力ハンドルの前記動きを、前記カメラフレームでの前記ツールの動きに変換することは、表示回転行列を前記マスターフレームでの前記入力ハンドルの動きに適用して、前記入力ハンドルの動きを、前記ユーザコンソールのディスプレイの表示フレームへ変換することを含み、前記ディスプレイは前記手術部位の前記リアルタイム画像の視覚化をもたらす、請求項１に記載の方法。
【請求項3】
前記表示回転行列は、前記マスターフレームの軸を中心に前記動きを３０度回転させる、請求項２に記載の方法。
【請求項4】
前記マスターフレームでの前記入力ハンドルの前記動きを前記カメラフレームでの前記ツールの動きに変換することは、反転回転行列を前記マスターフレームでの前記入力ハンドルの動きに適用して、前記入力ハンドルの動きを前記カメラフレームに変換することを含み、前記反転回転行列は、前記表示フレームの軸を中心に１８０度動きを回転する、請求項１に記載の方法。
【請求項5】
反転フラグを受信すること、および前記反転フラグが、前記カメラからの前記リアルタイム画像がディスプレイに表示される前に反転されることを示している場合に、前記反転回転行列を適用することをさらに含む、請求項４に記載の方法。
【請求項6】
前記カメラフレームでの前記ツールの前記動きを前記ワールドフレームでの前記ツールの前記動きに変換することは、前記ワールドフレームに対する前記カメラフレームのヨー角とピッチ角を決定すること、および
前記ワールドフレームに対する前記カメラフレームの前記ヨー角とピッチ角を含むワールドフレーム回転行列を適用して、前記カメラフレームでの前記ツールの前記動きを前記ワールドフレームでの前記ツールの動きに変換すること、を含む、請求項１に記載の方法。
【請求項7】
前記カメラフレームでの前記ツールの前記動きを前記ワールドフレームでの前記ツールの前記動きに変換することは、前記カメラのオフセットを受信すること、および
前記カメラの前記オフセットを含む調整回転行列を、前記カメラフレームでの前記ツールの前記動きに適用することにより、前記カメラの前記オフセットによって前記カメラフレームでの動きを調整すること、を含む、請求項１に記載の方法。
【請求項8】
前記ワールドフレームでの前記ツールの前記動きを前記ツールフレームでの前記ツールの動きに変換することは、前記ワールドフレームに対する前記ツールフレームのヨー角とピッチ角を決定すること、および
前記ワールドフレームに対する前記ツールフレームの前記ヨー角とピッチ角を含むツールフレーム回転行列の転置を適用して、前記ツールフレームの動きに前記ワールドフレームでの前記ツールの前記動きを変換すること、を含む、請求項１に記載の方法。
【請求項9】
前記制御コマンドを、前記ツールを制御する前記モーターに送信する前に、前記入力ハンドルの前記動きのある間に前記カメラが固定されていることを確認することをさらに含む、請求項１に記載の方法。
【請求項10】
ロボット手術システムであって、カメラを支持する第１のアームおよびツールを支持する第２のアームを含む手術ロボットであって、前記カメラはカメラフレームを定め、手術部位のリアルタイム画像をキャプチャするように構成され、前記第２のアームはツールフレームを定め、前記ツールフレームで前記ツールを操作するように構成され、前記手術ロボットがワールドフレームを定める、手術ロボット、
入力ハンドルおよびディスプレイを含むユーザコンソールであって、前記入力ハンドルが前記ユーザコンソールによって定められたマスターフレーム内で移動可能であり、前記ディスプレイが前記カメラによって提示される手術部位のリアルタイム画像を表示するように構成されている、ユーザコンソール、および
処理装置であって、
前記マスターフレームでの前記入力ハンドルの動きを受信すること、
前記マスターフレームでの前記入力ハンドルの前記動きを前記カメラフレームでの前記ツールの動きに変換すること、
前記カメラフレームでの前記ツールの前記動きを前記ワールドフレームでの前記ツールの動きに変換すること、
前記ワールドフレームでの前記ツールの前記動きを前記ツールフレームでの前記ツールの動きに変換すること、および
前記ツールが前記入力ハンドルの動きに従うように、制御コマンドを前記第２のアームに送信すること、に対して構成された処理装置を備える、ロボット手術システム。
【請求項11】
前記ディスプレイは、前記マスターフレームの１つの軸に対して回転される表示フレームを定める、請求項１０に記載のロボット手術システム。
【請求項12】
前記ディスプレイは、前記マスターフレームの前記１つの軸を中心に３０度回転される、請求項１１に記載のロボット手術システム。
【請求項13】
前記処理ユニットは、前記マスターフレームでの前記入力ハンドルの動きに表示回転行列を適用して、前記入力ハンドルの動きを前記表示フレームに変換するように構成される、請求項１１に記載のロボット手術システム。
【請求項14】
前記ディスプレイは、前記リアルタイム画像を表示する前に、前記カメラによって提示される前記リアルタイム画像を１８０度反転するように構成される、請求項１０に記載のロボット手術システム。
【請求項15】
前記処理ユニットは、前記ディスプレイで反転されている前記リアルタイム画像を示す反転フラグを受信し、前記ツールの動きに反転回転行列を適用して、前記ツールの前記動きを前記カメラフレームに変換するように構成される、請求項１４に記載のロボット手術システム。
【請求項16】
前記ワールドフレームに対する前記カメラフレームのヨー角とピッチ角を受信して、前記ワールドフレームに対する前記カメラフレームの前記ヨー角とピッチ角を含むワールドフレーム回転行列を適用して、前記カメラフレームでの前記ツールの前記動きを前記ワールドフレームでの前記ツールの動きに変換するよう前記処理ユニットが構成される、請求項１０に記載のロボット手術システム。
【請求項17】
前記処理ユニットは、前記カメラのオフセット角度を受信し、前記カメラの前記オフセット角度を含む調整回転行列を適用して、前記カメラフレームでの前記ツールの前記動きを調整するように構成される、請求項１０に記載のロボット手術システム。
【請求項18】
前記処理ユニットは、前記ワールドフレームに対する前記ツールフレームのヨー角およびピッチ角を受信し、前記ワールドフレームに対する前記ツールフレームの前記ヨー角およびピッチ角を含むツールフレーム回転行列の転置を適用して、前記ワールドフレームでの前記ツールの前記動きを前記ツールフレームでの前記ツールの移動へ変換するように構成される、請求項１０に記載のロボット手術システム。
【請求項19】
前記処理ユニットは、前記制御コマンドを送信する前に、前記入力ハンドルの前記動きのある間に前記カメラが固定されていることを確認するように構成される、請求項１０に記載のロボット手術システム。
【請求項20】
プロセッサによって実行されると、前記プロセッサに、ユーザコンソールのマスターフレームでの入力ハンドルの動きを受信すること、
前記マスターフレームでの前記入力ハンドルの前記動きを、手術部位のリアルタイム画像を提示するカメラのカメラフレームでのツールの動きに変換すること、
前記カメラフレームでの前記ツールの前記動きを手術室で定められたワールドフレームでの前記ツールの動きに変換すること、
前記ワールドフレームでの前記ツールの前記動きを、前記ツールを支持するアームにより定められるツールフレームでの前記ツールの前記動きに変換すること、および
前記ツールが前記入力ハンドルの動きに従うように、前記ツールを制御するモーターに制御コマンドを送信すること、を生じさせる一連の命令を格納する、コンピュータ可読媒体。
【発明の詳細な説明】
【背景技術】
【0001】
ロボット手術システムは、低侵襲医療処置で使用されている。医療処置中、ロボット手術システムは、ユーザインターフェースとインターフェースする外科医によって制御される。ユーザインターフェースは、外科医が、患者に作用する手術機器のエンドエフェクタを操作することを可能にする。ユーザインターフェースは、ロボット手術システムを制御するために外科医によって動かされる入力コントローラまたはハンドル、および外科医が手術部位内のエンドエフェクタを視覚化できるディスプレイを含む。手術部位の視覚化は、手術部位のリアルタイム画像を提示する内視鏡などの１つまたは複数のカメラによってもたらされる。
【0002】
手術部位の視覚化の改善と手術ロボットの直感的な制御に対する継続的な必要性がある。
【発明の概要】
【発明が解決しようとする課題】
【0003】
本開示は、一般に、ユーザコンソールの入力ハンドルの動きを、手術ロボットのツールの動きに変換し、ツールが意図されたように、またユーザコンソールのディスプレイ上で見られるように動くようにするための方法に関する。
【課題を解決するための手段】
【0004】
本開示の態様では、ツールがユーザコンソールの入力ハンドルの入力に従うように、処理ユニットを備えた手術ロボットのツールを制御する方法が、ユーザコンソールのマスターフレームでの入力ハンドルの動きを受信すること、マスターフレームでの入力ハンドルの動きを、手術部位のリアルタイム画像を提示するカメラのカメラフレームでのツールの動きに変換すること、カメラフレームでのツールの動きを、手術室で定められたワールドフレームでのツールの動きに変換すること、ワールドフレームでのツールの動きを、ツールを支持するアームによって定められるツールフレームでのツールの動きに変換すること、およびツールが入力ハンドルの動きに従うように、ツールを制御するモーターに制御コマンドを送信すること、を含む。
【0005】
態様では、マスターフレームでの入力ハンドルの動きを、カメラフレームでのツールの動きに変換することは、表示回転行列をマスターフレームでの入力ハンドルの動きに適用して、入力ハンドルの動きを、ユーザコンソールのディスプレイの表示フレームへ変換することを含む。ディスプレイは手術部位のリアルタイム画像の視覚化をもたらし得る。表示回転行列は、マスターフレームの軸を中心に動きを３０度回転させることができる。
【0006】
いくつかの態様では、マスターフレームでの入力ハンドルの動きを、カメラフレームでのツールの動きに変換することは、反転回転行列をマスターフレームでの入力ハンドルの動きに適用して、入力ハンドルの動きを、カメラフレームへ変換することを含む。反転回転行列は、表示フレームの軸を中心に動きを１８０度回転させることができる。方法は、反転フラグを受信して、反転フラグが、カメラからのリアルタイム画像がディスプレイに表示される前に反転されることを示している場合に、反転回転行列を適用することを含み得る。
【0007】
特定の態様では、カメラフレームでのツールの動きをワールドフレームでのツールの動きに変換することは、ワールドフレームに対するカメラフレームのヨー角とピッチ角を決定して、ワールドフレームに対するカメラフレームのヨー角とピッチ角を含むワールドフレーム回転行列を適用して、カメラフレームでのツールの動きをワールドフレームでのツールの動きに変換することを含む。
【0008】
特定の態様では、カメラフレームでのツールの動きをワールドフレームでのツールの動きに変換することは、カメラのオフセットを受信すること、およびカメラのオフセットを含む調整回転行列を、カメラフレームでのツールの動きに適用することにより、カメラのオフセットによってカメラフレームでの動きを調整することを含む。
【0009】
いくつかの態様では、ワールドフレームでのツールの動きをツールフレームでのツールの動きに変換することは、ワールドフレームに対するツールフレームのヨー角とピッチ角を決定すること、およびワールドフレームに対するツールフレームのヨー角とピッチ角を含むツールフレーム回転行列の転置を適用して、ワールドフレームでのツールの動きをツールフレームの動きに変換することを含む。この方法は、制御コマンドを、ツールを制御するモーターに送信する前に、入力ハンドルの動いている間にカメラが固定されていることを確認することを含み得る。
【0010】
本開示の別の態様では、ロボット手術システムは、手術ロボットとユーザコンソールと処理ユニットとを含む。手術ロボットは、カメラを支持する第１のアームと、ツールを支持する第２のアームとを含む。カメラはカメラフレームを定め、手術部位のリアルタイム画像をキャプチャするように構成されている。第２のアームはツールフレームを定め、ツールフレーム内で、ツールを操作するように構成される手術ロボットがワールドフレームを定める。ユーザコンソールには、入力ハンドルとディスプレイが含まれている。入力ハンドルは、ユーザコンソールで定められたマスターフレーム内で移動できる。ディスプレイは、カメラによって提示される手術部位のリアルタイム画像を表示するように構成されている。処理ユニットは、マスターフレームでの入力ハンドルの動きを受信すること、マスターフレームでの入力ハンドルの動きをカメラフレームでのツールの動きに変換すること、カメラフレームでのツールの動きをワールドフレームでのツールの動きに変換すること、ワールドフレームでのツールの動きをツールフレームでのツールの動きに変換すること、およびツールが入力ハンドルの動きに従うように、制御コマンドを第２のアームに送信すること、に対して構成される。
【0011】
態様では、ディスプレイは、マスターフレームの１つの軸に対して回転される表示フレームを定める。ディスプレイは、マスターフレームの１つの軸を中心に３０度回転させることができる。処理ユニットは、マスターフレームでの入力ハンドルの動きに表示回転行列を適用して、入力ハンドルの動きを表示フレームに変換するように構成される。
【0012】
いくつかの態様では、ディスプレイは、リアルタイム画像を表示する前に、カメラによって提示されるリアルタイム画像を１８０度反転するように構成される。処理ユニットは、ディスプレイで反転されているリアルタイム画像を示す反転フラグを受信し、ツールの動きに反転回転行列を適用して、ツールの動きをカメラフレームに変換するように構成される。
【0013】
特定の態様では、処理ユニットは、ワールドフレームに対するカメラフレームのヨー角とピッチ角を受信して、ワールドフレームに対するカメラフレームのヨー角とピッチ角を含むワールドフレーム回転行列を適用して、カメラフレームでのツールの動きをワールドフレームでのツールの動きに変換するよう構成される。処理ユニットは、カメラのオフセット角度を受信し、カメラのオフセット角度を含む調整回転行列を適用して、カメラフレームでのツールの動きを調整するように構成することができる。
【0014】
特定の態様では、処理ユニットは、ワールドフレームに対するツールフレームのヨー角およびピッチ角を受信し、ワールドフレームに対するツールフレームのヨー角およびピッチ角を含むツールフレーム回転行列の転置を適用して、ワールドフレームでのツールの動きをツールフレームでのツールの移動へ変換するように構成される。処理ユニットは、制御コマンドを送信する前に、入力ハンドルの動いている間にカメラが固定されていることを確認するように構成することができる。
【0015】
本開示の別の態様では、コンピュータ可読媒体は、プロセッサによって実行されると、プロセッサに、ユーザコンソールでのマスターフレームで入力ハンドルの動きを受信すること、マスターフレームでの入力ハンドルの動きを、手術部位のリアルタイム画像を提示するカメラのカメラフレームでのツールの動きに変換すること、カメラフレームでのツールの動きを手術室で定められたワールドフレームでのツールの動きに変換すること、ワールドフレームでのツールの動きを、ツールを支持するアームにより定められるツールフレームでのツールの動きに変換すること、およびツールが入力ハンドルの動きに従うように、ツールを制御するモーターに制御コマンドを送信すること、を生じさせる一連の命令を格納する。
【0016】
さらに、矛盾しない程度に、本明細書に記載される態様のいずれかを、本明細書に記載される他の態様のいずれかまたは全てと併せて使用することができる。
【0017】
本開示の様々な態様を、本明細書に組み込まれ、その一部を構成する図面を参照して以下で説明する。
【図面の簡単な説明】
【0018】
【発明を実施するための形態】
【0019】
ここで本開示の実施形態が図面を参照して詳細に記載され、図面の中で同様の参照番号は、いくつかの図の各々において同一のまたは対応する要素を示す。本明細書で使用される際、「臨床医」という用語は、医師、看護師、または任意の他の医療提供者を指し、医療支援従事者を含み得る。
【0020】
図１を参照すると、本開示によるロボット手術システム１は、概して、手術ロボット１０、処理ユニット３０、およびユーザコンソール４０として示されている。手術ロボット１０は、一般に、リンク機構またはアーム１２および１つまたは複数のロボットベース１８を含む。リンク機構１２は、組織に作用するように構成されたエンドエフェクタまたはツール２０を可動に支持する。リンク機構１２は、各々が組織に作用するように構成されたエンドエフェクタまたはツール２０を支持する端部１４を有するアームの形態であり得る。さらに、リンク機構１２の端部１４は、手術部位「Ｓ」を撮像するための撮像装置１６を含むことができる。ユーザコンソール４０は、処理ユニット３０を介してロボットベース１８と通信する。
【0021】
ユーザコンソール４０は、３次元画像を表示するように構成されたディスプレイ装置４４を含む。ディスプレイ装置４４は、手術部位「Ｓ」の３次元画像を表示し、これは、リンク機構１２の端部１４に配置された撮像装置１６によってキャプチャされたデータを含み、かつ／または手術現場の周りに配置された撮像装置（例えば、手術部位「Ｓ」内に配置された撮像装置、患者「Ｐ」に隣接して配置された撮像装置、撮像アーム５２の遠位端に配置された撮像装置５６）によってキャプチャされたデータを含み得る。撮像装置（例えば、撮像装置１６、５６）は、手術部位「Ｓ」の視覚画像、赤外線画像、超音波画像、Ｘ線画像、熱画像、および／または任意の他の既知のリアルタイム画像をキャプチャしてもよい。撮像装置は、キャプチャした撮像データを処理ユニット３０に送信し、処理ユニット３０は、撮像データからリアルタイムで手術部位「Ｓ」の３次元画像を作成し、その３次元画像を表示するためにディスプレイ装置４４に送信する。
【0022】
ユーザコンソール４０はまた、臨床医が手術ロボット１０を操作する（例えば、リンク機構１２、リンク機構１２の端部１４、および／またはツール２０を動かす）ことを可能にする制御アーム４３上に支持された入力ハンドル４２も含む。入力ハンドル４２の各々は、処理ユニット３０と通信し、そこに制御信号を送信し、そこからフィードバック信号を受信する。追加的または代替的に、入力ハンドル４２の各々は、外科医がリンク機構１２の端部１４に支持されたツール２０を操作する（例えば、挟持する、把持する、発射する、開く、閉じる、回転させる、突き出す、スライスするなど）ことを可能にする入力装置（明示的には図示せず）を含み得る。
【0023】
入力ハンドル４２の各々は、手術部位「Ｓ」内でリンク機構１２の端部１４、例えば、ツール２０を動かすために、所定の作業空間を通して可動である。ディスプレイ装置４４の３次元画像は、入力ハンドル４２の動きにより、ディスプレイ装置４４で見られるようにリンク機構１２の端部１４を動かせるように向けられている。入力ハンドル４２の動きが、３次元画像内のリンク機構１２の端部１４の動きに合わせてスケーリングされている間、３次元画像は静止したままである。３次元画像の向きを維持するために、入力ハンドル４２の運動学的マッピングは、リンク機構１２の端部１４の向きに対するカメラの向きに基づいている。ディスプレイ装置４４の３次元画像の向きは、撮像装置１６、５６によってキャプチャされた視界に対して反映または回転され得る。加えて、ディスプレイ装置４４の３次元画像のサイズは、臨床医が手術部位「Ｓ」内の構造をよりよく見ることができるように、手術部位の実際の構造よりも大きくまたは小さくスケーリングされ得る。入力ハンドル４２が動かされると、ツール２０は、以下に詳述するように手術部位「Ｓ」内で動かされる。ツール２０の動きは、ツール２０を支持するリンク機構１２の端部１４の動きも含むことができる。
【0024】
ロボット手術システム１の構成および操作の詳細な説明については、米国特許第８，８２８，０２３号を参照することができ、その内容全体が参照により本明細書に組み込まれる。
【0025】
図１～３Ｂを参照すると、ロボット手術システム１はワールドフレームＦｗを有し、ユーザコンソール４０はマスターフレームＦｍを有し、ディスプレイ４４は表示フレームＦｄを有し、各ツールまたはエンドエフェクタ２０はツールフレームＦｔを有し、カメラ５６は、カメラフレームＦｃを有する。ワールドフレームＦｗは、Ｘｗ－Ｙｗ－Ｚｗ軸によって定められる、外科的処置の間に固定された固定フレームである。特に図３Ａおよび３Ｂを参照すると、ワールドフレームＦｗは、手術室の床または地面に配置されたフレームであり、ツールフレームＦｔおよびカメラフレームＦｃのそれぞれによって参照することができる。示されるように、ワールドフレームＦｗは、カメラアーム５２とツール２０を支持するベース１８との間にあり、Ｘｗ軸は床に平行な水平方向に定められ、Ｙｗ軸は床に平行な水平方向に定められ、Ｚｍ軸は、床から天井までの高さ方向に定められる。
【0026】
特に図２を参照すると、マスターフレームＦｍは、ユーザコンソール４０のワークスペースＷのフレームであり、Ｘｍ－Ｙｍ－Ｚｍ軸によって定められる。マスターフレームＦｍの軸は、入力ハンドル４２およびディスプレイ４４に関連し、Ｘｍ軸はディスプレイ４４に向かって、またディスプレイ４４から離れ、Ｙｍ軸は、ディスプレイ４４に対して水平または横方向で、例えば、ディスプレイ４４に対して左／右で、Ｚｍ軸は床に対して垂直である。
【0027】
図３Ａに戻って参照すると、カメラフレームＦｃは、手術部位Ｓに対するカメラ５６のビューを定めるためのカメラ５６のフレームであり、Ｘｃ－Ｙｃ－Ｚｃ軸によって定められる。カメラフレームＦｃは、手術部位Ｓに対して１つより多いカメラから取得された画像から形成される合成画像に対して定められ得る。Ｙｃ軸およびＺｃ軸は互いに垂直であり、それぞれがカメラ５６のレンズによって定められる平面に平行である。Ｘｃ軸は、カメラ５６のレンズによって定められる平面に直交し、カメラ５６の対象物距離がＸｃ軸に沿って定められるように、実質的に手術部位Ｓに向けられる。
【0028】
図３Ｂを参照すると、ツールフレームＦｔは、ツール２０を支持するベース１８に対する手術部位Ｓ内のツール２０の動きを定めるための、ツール２０を支持するベース１８のフレームであり、Ｘｔ－Ｙｔ－Ｚｔ軸によって定められる。Ｘｔ軸とＹｔ軸は互いに垂直であり、床に実質的に平行である。Ｚｔ軸は、Ｘｔ軸およびＹｔ軸の各々に垂直であり、天井に向かって、例えば、床から離れ、実質的に垂直である。
【0029】
図１のロボット手術システムおよび図２～３Ｂのフレームを参照すると、医療処置中、処理ユニット３０は、それぞれのツールフレームＦｔで入力ハンドル４２の動きに従うときに、マスターフレームＦｍ内のユーザコンソール４０の入力ハンドル４２の動きを、入力ハンドル４２に割り当てられたツール２０にマッピングする。例えば、入力ハンドル４２が所望の方向に、例えば、マスターフレームＦｍで上に動かされると、ツール２０は、ツールフレームＦｔにおいて、表示フレームＦｄの所望の方向、例えばディスプレイ４４に示されるように、上に対応する方向に動かされる。マスターフレームＦｍでの入力ハンドル４２の動きがツールフレームＦｔでのツール２０の所望の動きをもたらすことを確実にするために、処理ユニット３０は、マスターフレームＦｍからツールフレームＦｔへの動きを、カメラフレームＦｃおよびワールドフレームＦｗに対するツールフレームＦｔの位置を使用することによって変換する。処理を単純化するために、処理ユニット３０は、それぞれのフレームでの動きに対するワールドフレームＦｗの中央処理ユニット３０からの命令またはコマンドを変換するコントローラ、例えば、コントローラ３２、３４を含む各ベース１８を備えた分散処理ユニットであり得る。
【0030】
本明細書で詳述するように、それぞれの座標フレームｒ内のベクトルｖは、ｖｒ＝［ｖｘ ｖｙ ｖｚ］として表される。また、座標フレームＦａと座標フレームＦｂを関連付ける回転行列はａ
ｂＲと表され、ａ
ｂＲｖｂ＝ｖａとなる。このことから、ａ
ｂＲｂ
ＣＲ＝ａ
ｃＲ、またａ
ｂＲ＝（ｂ
ａＲ）Ｔと理解される。
【0031】
以下に詳述するように、処理ユニット３０は、マスターフレームＦｍ内の動きを決定し、その動きを表示フレームＦｄに変換する。次に、動きは、ワールドフレームＦｗに関連するカメラフレームＦｃに変換され得る。カメラフレームＦｃとワールドフレームＦｗとの関係により、処理ユニット３０は、動きをワールドフレームＦｗに変換することができる。次に、ツールフレームＦｔとワールドフレームＦｗとの間の関係により、処理ユニット３０は、ワールドフレームＦｗからツールフレームＦｔへの動きを変換することができる。
【0032】
マスターフレームＦｍでの入力ハンドル４２のそれぞれの１つの動きを、ツールフレームＦｔでの割り当てられたツール２０の所望の動きに対してマッピングするために、時間ｋ－１から時間ｋまでのマスターフレームＦｍでの入力ハンドル４２の動きは、Δｐｍ＝［ｖｘ ｖｙ ｖｚ］のように表すことができる。
【0033】
示されるように、ディスプレイ４４は、表示フレームＦｄがマスターフレームＦｍに対してオフセットまたは回転されるように、ユーザコンソール４０とインターフェースする臨床医にとって快適な視界を提供するように角度が付けられている。具体的には、表示フレームＦｄは、約３０°、つまりπ／６の表示角度θｄにてＸｄ軸の周りに回転される。しかし、いくつかの実施形態において、表示フレームＦｄが、実質的にマスターフレームＦｍに、または異なる表示角度θｄで整列されるように、ディスプレイ４４が、臨床医に対して快適な視野をもたらすように配置され得る。
【0034】
表示フレームＦｄがマスターフレームＦｍからオフセットされている場合は、表示フレームＦｄにマスターフレームＦｍでの動きを変換する必要がある。マスターフレームＦｍの動きを表示フレームＦｄに変換するために、回転行列は、
とし、表示フレームＦｄのΔｐｍは、
Δｐｄ＝（ｍ ｄＲ）ＴΔｐｍ＝ｄ ｍＲΔｐｍ、（これより
が得られる）として、回転行列の転置を使用して変換できる。
【数1】
Δｐｄ＝（ｍ ｄＲ）ＴΔｐｍ＝ｄ ｍＲΔｐｍ、（これより
【数2】
【0035】
いくつかの実施形態では、ディスプレイ４４は、Ｚｄ軸を中心に反転または回転された手術部位Ｓの画像を表示して、表示された画像の向きに基づいてツール２０のより快適な操作を可能にすることができる。実施形態では、ディスプレイ４４は、単一の制御装置の操作、例えば、ボタンを押すことまたはスイッチを切り替えることによって、表示された画像を１８０°反転させることを可能にする。表示フレームＦｄからカメラフレームＦｃへ動きを変換するために、表示画像の向きの反転回転行列Ｒｆが、カメラフレームＦｃの動きがΔｐｃ＝ＲｆΔｐｄのように表されるように、表示フレームＦｄの動きに適用される。表示された画像のこの１８０°の反転は、画像が反転されたときに反転フラグが「真」または「１」であり、画像が反転されていないときに反転フラグが「偽」または「０」であるようなフラグによって表すことができる。反転フラグが偽の場合、反転回転行列Ｒｆは
とし、ディスプレイ４４の正のＺｄつまり上への動きは、負のＹｃ動きにおけるツール２０の動きに変換され、ディスプレイ４４での正のＹｄ、または左の動きは、正のＺｃにおけるツール２０の動きに変換され、正のＸｄまたはディスプレイ４４内への動きは、正のＸｃにおけるツール２０の動きに変換される。あるいは、反転フラグが真の場合、反転回転行列Ｒｆは
とし、ディスプレイ４４の正のＺｄつまり上への動きは、正のＹｃの動きにおけるツール２０の動きに変換され、ディスプレイ４４での正のＹｄ、つまり左の動きは、負のＺｃにおけるツール２０の動きに変換され、正のＸｄまたはディスプレイ４４内への動きは、正のＸｃにおけるツール２０の動きに変換される。Ｘｄに沿った動きは、反転フラグの状態の影響を受けないことに留意されたい。
【数3】
【数4】
【0036】
手術ロボット１０がツール２０を動かすために、カメラフレームΔｐｃでのツールの動きは、ツールフレームΔｐｔでのツールの動きに変換される。カメラフレームΔｐｃでツールの動きを変換するのは、ツールフレームΔｐｔでのツールの動きに変換されることであり、カメラフレームΔｐｃでのツールの動きは、最初にワールドフレームΔｐｗでのツールの動きに変換される。ワールドフレームΔｐｗでのツールの動きは、次に、ツールフレームΔｐｔでのツールの動きに変換される。
【0037】
ワールドフレームＦｗのツールまたはカメラ、例えば、ツール２０またはカメラ５６の動きを、別のオブジェクトのフレーム、例えば、カメラフレームＦｃまたはツールフレームＦｔとの間で変換するために、ワールドフレームＦｗと他のフレームとの間の関係を使用できる。例えば、カメラフレームＦｔとワールドフレームＦｗとの間の関係を使用して、カメラフレームＦｃからの動きをワールドフレームＦｗにおける動きに変換することができる。カメラフレームＦｔとワールドフレームＦｗとの間の関係は、レーザー１９ａ、１９ｂを利用してカメラフレームＦｔとワールドフレームＦｗとの間の関係を決定するセットアップアームシステム１５を使用して決定することができる。具体的には、セットアップアームシステム１５は、各ロボットベース１８にてレーザー１９ａ、１９ｂを含み、それぞれのロボットベースと地面との間のヨー角θヨーおよびピッチ角θピッチを決定する。これは、ワールドフレームＦｗの平面である。適切なセットアップアームシステム、およびロボットベースのフレームと別のフレーム基準との関係を決定する方法についての詳細な説明は、「ＳＹＳＴＥＭ ＡＮＤ ＭＥＴＨＯＤ ＦＯＲ ＡＬＩＧＮＩＮＧ Ａ ＳＵＲＧＩＣＡＬ ＲＯＢＯＴＩＣ ＡＲＭ」と題された、２０１９年４月１５日に出願された米国仮特許出願第６２／８３３，８７６号（現在は２０１９年６月１２日に出願された国際特許出願シリアル番号ＰＣＴ／ＵＳ２０１９／０３６６５７）でなされており、その全内容は参照により本明細書に組み込まれる。
【0038】
ワールドフレームＦｗにカメラフレームＦｃを変換するために、ヨーとピッチの回転を、ワールドフレームＦｗ内のカメラフレームＦｃを位置特定するためにワールドフレームＦｗに適用する。回転の順序は、ピッチ角θピッチのＺｗ軸を中心としたヨー角θヨーで回転されるＹｗ軸である中間的なＹｉ軸（明示的には図示せず）を中心とした先行回転に関する回転に先行する、ヨー角θヨーのＺｗ軸周りの回転について、決定される。これにより、ワールドフレームＦｗにカメラフレームＦｃを変換するための次の回転行列が得られる。
【数5】
【0039】
実施形態では、カメラ５６は０°の内視鏡であり、カメラフレームを平行移動するための回転行列が、上に示されるままであるようにする。しかしながら、いくつかの実施形態では、カメラ５６は、オフセット内視鏡であり得、その結果、オフセット内視鏡の追加の調整回転行列Ｒａは、ワールドフレームＦｗをカメラフレームＦｃに変換するために必要とされる。調整回転行列
式中θａはカメラ５６のオフセットの調整角度である。例えば、３０°のオフセット内視鏡をカメラ５６に用いた場合、θａの調整角度はπ／６であり、調整回転行列が
である。これにより、調整回転行列Ｒａを含むワールドフレームＦｗにカメラフレームＦｃを変換するための回転行列を、以下のように表し得るようになる。
または、３０°オフセット内視鏡がカメラ５６に使用される場合、次のように表される。
【数6】
【数7】
【数8】
【数9】
【0040】
カメラフレームＦｃとワールドフレームＦｗとの間の関係を、カメラフレームでの動きΔｐｃに適用することによって、次のようなワールドフレームでの動きが得られる。
Δｐｗ＝ｗ ｃＲ ＲａΔｐｃ
Δｐｗ＝ｗ ｃＲ ＲａΔｐｃ
【0041】
ワールドフレームでのその動きΔｐｗが決定された今、ワールドフレームＦｗとツールフレームＦｔとの関係は、ワールドフレームの動きΔｐｗをツールフレームでの動きΔｐｔに変換するために使用され、回転行列ｗ
ｔＲが決定できる。ワールドフレームＦｗからツールフレームＦｔの回転を決定することが必要であるとき、ｗ
ｔＲ回転行列の転置は次のように使用される。
式中θヨーおよびθピッチは、ワールドフレームＦｗに対してツールフレームＦｔから取得される。
【数10】
【0042】
これにより、ツールフレームΔｐｔでの動きへの、ワールドフレームΔｐｗでの移動の変換がもたらされ、Δｐｔ＝（ｗ
ｔＲ）ＴΔｐｗのように表現される。上記の変換とこの変換を組み合わせて、マスターフレームＦｍからツールフレームＦｔへの全体的な変換可能が、ハンドアイ変換Ｔハンドアイとして表され得る；
Ｔハンドアイ＝（ｗ ｔＲ）Ｔ・Ｒａ・ｗ ｃＲ・Ｒｆ・ｄ ｍＲ
上で詳述したように、反転回転行列Ｒｆは、表示フレームＦｄをカメラフレームＦｃに変換するために、真または偽のいずれかであるという反転フラグに依存している。したがって、入力ハンドル４２の動きを、割り当てられたツール２０の動きに変換するために、変換は以下を提供する。
Δｐｔ＝ＴハンドアイΔｐｍ
Ｔハンドアイ＝（ｗ ｔＲ）Ｔ・Ｒａ・ｗ ｃＲ・Ｒｆ・ｄ ｍＲ
上で詳述したように、反転回転行列Ｒｆは、表示フレームＦｄをカメラフレームＦｃに変換するために、真または偽のいずれかであるという反転フラグに依存している。したがって、入力ハンドル４２の動きを、割り当てられたツール２０の動きに変換するために、変換は以下を提供する。
Δｐｔ＝ＴハンドアイΔｐｍ
【0043】
上記の変換は、入力ハンドル４２が動いている間にカメラ５６が静止していることに依存している。したがって、変換を適用する場合、カメラ５６が移動、回転、および／またはズームしているときに、ツール２０の移動を一時停止するために、カメラフラグを含めることができる。
【0044】
図４を参照すると、ロボット手術システムを使用して入力ハンドルの動きをツールの動きに変換するために、上記の変換を使用する方法１００が、図１～３Ｂのロボット手術システム１を参照して本開示に従って説明されている。ロボット手術システム１は、手術ロボット１０と同じ物理的位置にあるユーザコンソール４０を備えた単一の場所に収容され得るか、またはロボット手術システム１は、手術ロボット１０から、遠隔位置、例えば、別の建物、都市、または国にあるユーザコンソール４０を備えた遠隔手術システムであり得る。
【0045】
最初に、ユーザコンソール４０の入力ハンドル４２の動きは、処理ユニット３０によってマスターフレームＦｍにおいて決定される（ステップ１１０）。制御アーム４３は、入力ハンドル４２の動きを決定するためのエンコーダおよび／またはモーターを含み得る。適切なエンコーダおよびモーターの詳細な説明については、２０１７年５月２５日に出願された国際特許出願番号ＰＣＴ／ＵＳ２０１７／０３４４３３および２０１７年６月２日に出願されたＰＣＴ／ＵＳ２０１７／０３５５８０を参照することができる。これらの出願それぞれの全内容は、参照により本明細書に組み込まれている。
【0046】
入力ハンドル４２の動きを、割り当てられたツール２０の動きに変換する前に、処理ユニット３０は、カメラ５６、例えば、カメラフレームＦｃが、入力ハンドル４２の動いている間に静止または固定されていることを確認する（ステップ１２０）。処理ユニット３０は、カメラ５６が固定されている場合は「真」または「１」であり、カメラが静止していない場合は「偽」または「０」である、カメラフラグの形式の入力を含み得る。カメラフラグが静止していないとき、処理ユニット３０は、入力ハンドル４２の動きを変換せず、入力ハンドル４２の動きを検出するための準備完了状態に戻る（ステップ１２２）。
【0047】
カメラ５６が静止しているとき、処理ユニット３０は、回転行列ｄ
ｍＲを使用して、入力ハンドル４２の動きを、マスターフレームＦｍからディスプレイ４４の表示フレームＦｄに変換する（ステップ１２４）。上で詳述したように、回転行列ｄ
ｍＲは、マスターフレームＦｍからの表示フレームＦｄのオフセットを担う。動きが表示フレームＦｄに変換された後、処理ユニット３０は、動きをカメラフレームＦｃに変換する（ステップ１３０）。カメラフレームＦｃへ動きを変換するために、処理ユニット３０は、ディスプレイ４４に提示されるビューを、カメラ５６から反転させているか、カメラ５６に対して反転させていないかどうかを決定する、反転フラグを確認する。ディスプレイ４４のビューが反転されると、処理ユニットは、移動をワールドフレームＦｗに変換することに進む前に、反転回転Ｒｆを移動に適用する（ステップ１３２）。画像がカメラ５６から反転されない場合、処理ユニット３０は、反転回転Ｒｆを適用せずに、動きをワールドフレームＦｗに変換し始めるか、または反転回転Ｒｆを１に等しいものとして扱うことができる。
【0048】
動きをワールドフレームＦｗに変換するために、処理ユニット３０は、カメラ５６を支持するアーム１２のヨー角およびピッチ角を受信する（ステップ１４０）。アーム１２のヨー角およびピッチ角は、アーム１２のセットアップレーザー１９ａ、１９ｂによって決定され得、アーム１２を処理ユニット３０に対して支持するベース１８によってもたらされ得る。ベース１８内のコントローラ３２は、アーム１２のヨー角およびピッチ角を決定および計算することができる。アーム１２のヨー角およびピッチ角は、セットアップアーム１９について決定され得、次いで、カメラ５６を支持するアーム１２のジョイントの位置を決定することによって、カメラ５６に伝達され得る。カメラ５６のヨー角およびピッチ角を用いて、処理ユニット３０は、回転行列ｗ
ｃＲを使用して、動きをワールドフレームＦｗに変換する（ステップ１４２）。処理ユニット３０が動きをワールドフレームＦｗに変換すると、処理ユニット３０は、カメラ５６のオフセットを確認する（ステップ１４４）。カメラ５６がオフセットゼロのカメラである場合、処理ユニット３０は、動きをツールフレームＦｔに変換するように進むか、または調整回転Ｒａに値「１」を割り当てる。カメラ５６のオフセットがゼロ以外の場合、処理ユニット３０は、動きをツールフレームＦｔに変換することに進む前に、動きに調整回転Ｒａを適用する（ステップ１４６）。
【0049】
ワールドフレームＦｗでの動きに伴い、処理ユニット３０は、ツール２０を支持するベース１８からツールフレームＦｔのヨー角およびピッチ角を受信する。ツールフレームＦｔのヨー角およびピッチ角は、アーム１２のセットアップレーザー１９ａ、１９ｂによって決定され、アーム１２を処理ユニット３０に対して支持するベース１８によって提供される（ステップ１５０）。ツール２０を支持するベース１８のヨー角およびピッチ角で、処理ユニット３０は、回転行列ｗ
ｃＲの転置を使用して、動きをツールフレームＦｔに変換する（ステップ１５２）。
【0050】
動きがツールフレームＦｔに変換されると、処理ユニット３０は、ベース１８および／または機器駆動ユニット内のモーターが、アーム１２および／またはツール２０を作動させるように、ツール２０を支持するベース１８に制御コマンドを送信し、ツール２０が入力ハンドル４２の動きに従うように、ツール２０がマスターフレームＦｍ（ステップ１６０）での入力ハンドル４２の動きに応答して所望の方法で動かされるようにする。ベース１８内に配置されたコントローラ３４は、制御コマンドを受信し、制御コマンドに応答してアーム１２および／またはツール２０を作動させることができる。
【0051】
図５を参照すると、コンピューティング装置は、本明細書の様々な実施形態に従って使用され得る。明示的に示されていないが、いくつかの実施形態では、コンピューティング装置３００、またはその構成要素の１つまたは複数は、ロボット手術システム１の１つまたは複数の構成要素（例えば、処理ユニット３０、ベース１８、コントローラ３２、３４、および／または類似物）をさらに表せる。コンピューティング装置３００は、様々な実施形態において、１つ以上のメモリ３０２、プロセッサ３０４、ディスプレイ装置３０６、ネットワークインターフェース３０８、入力装置３１０、および／または出力モジュール３１２を含み得る。メモリ３０２は、プロセッサ３０４によって実行可能であり、またコンピューティング装置３００の動作を制御するデータおよび／またはソフトウェアを記憶するための非一時的コンピュータ可読記憶媒体を含む。実施形態では、メモリ３０２は、フラッシュメモリチップなどの１つ以上のソリッドステート記憶装置を含んでもよい。１つ以上のソリッドステート記憶装置の代替または追加として、メモリ３０２は、大容量記憶コントローラ（図５に図示せず）および通信バス（図５に図示せず）を介してプロセッサ３０４に接続された１つ以上の大容量記憶デバイスを含み得る。本明細書に含まれるコンピュータ可読媒体の説明は、ソリッドステートストレージに言及しているが、コンピュータ可読記憶媒体は、プロセッサ３０４によってアクセス可能な任意の利用可能な媒体とすることができることが当業者によって理解されるべきである。すなわち、コンピュータ可読記憶媒体は、コンピュータ可読命令、データ構造、プログラムモジュールまたは他のデータなどの情報を記憶するための任意の方法または技術で実装された非一時的、揮発性および不揮発性、取り外し可能および取り外し不可能な媒体を含む。コンピュータ可読記憶媒体の例は、ＲＡＭ、ＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ、フラッシュメモリもしくは他のソリッドステートメモリ技術、ＣＤ－ＲＯＭ、ＤＶＤ、ブルーレイもしくは他の光学記憶装置、磁気カセット、磁気テープ、磁気ディスクストレージ、もしくは他の磁気記憶装置、または所望の情報を記憶するために使用することができ、またコンピューティング装置３００によってアクセスされることができる任意の他の媒体を含む。
【0052】
いくつかの実施形態では、メモリ３０２は、データ３１４および／またはアプリケーション３１６を格納する。いくつかの態様では、アプリケーション３１６は、プロセッサ３０４によって実行されると、ディスプレイ装置３０６に、ユーザインターフェース（図５には示されていない）を提示させるユーザインターフェース構成要素３１８を含む。ネットワークインターフェース３０８は、いくつかの実施形態では、コンピューティング装置３００および／またはその個々の構成要素を、有線ネットワーク、無線ネットワーク、ローカルエリアネットワーク（ＬＡＮ）、広域ネットワーク（ＷＡＮ）、ワイヤレスモバイルネットワーク、Ｂｌｕｅｔｏｏｔｈ（登録商標）ネットワーク、インターネット、および／または別のタイプのネットワークといったネットワークに連結するよう構成される。入力装置３１０は、それによってユーザがコンピューティング装置３００と対話することができる任意のデバイスであり得る。入力装置３１０の例には、マウス、キーボード、タッチスクリーン、音声インターフェース、および／または類似物が含まれるが、これらに限定されない。様々な実施形態で、出力モジュール３１２は、任意の接続ポートまたはバス、例えば、パラレルポート、シリアルポート、ユニバーサルシリアルバス（ＵＳＢ）、または当業者に知られている任意の他の同様の接続ポートを含むことができる。
【0053】
本開示のいくつかの実施形態が図面に示されているが、本開示は当該技術分野が許容するのと同程度に広範であるべきであり、かつ本明細書は同様に読み取られるべきであると意図されているので、本開示はこれらの実施形態に限定されることを意図しない。上記実施形態の任意の組み合わせがさらに考えられ、添付の特許請求の範囲に含まれる。したがって、上記の説明は、限定的であるとして解釈されるべきではなく、特定の実施形態の単なる例示として解釈されるべきである。当業者であれば本明細書に添付される特許請求の範囲内での他の変更を想定するであろう。
【図1】
【図2】
【図3A】
【図3B】
【図4】
【図5】
【国際調査報告】