(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2024-09-20
(54)【発明の名称】ロボット撮像システムのための減衰関数を用いた支援駆動モード
(51)【国際特許分類】
A61B 34/30 20160101AFI20240912BHJP
B25J 13/08 20060101ALI20240912BHJP
【FI】
A61B34/30
B25J13/08 A
【審査請求】未請求
【予備審査請求】未請求
(21)【出願番号】P 2024515378
(86)(22)【出願日】2022-09-02
(85)【翻訳文提出日】2024-03-08
(86)【国際出願番号】 IB2022058278
(87)【国際公開番号】W WO2023042026
(87)【国際公開日】2023-03-23
(32)【優先日】2021-09-14
(33)【優先権主張国・地域又は機関】US
(81)【指定国・地域】
(71)【出願人】
【識別番号】319008904
【氏名又は名称】アルコン インコーポレイティド
(74)【代理人】
【識別番号】100099759
【氏名又は名称】青木 篤
(74)【代理人】
【識別番号】100123582
【氏名又は名称】三橋 真二
(74)【代理人】
【識別番号】100160705
【氏名又は名称】伊藤 健太郎
(72)【発明者】
【氏名】パトリック テリー
【テーマコード(参考)】
3C707
4C130
【Fターム(参考)】
3C707AS35
3C707KS31
3C707KT03
3C707LS15
3C707LV14
4C130AA22
4C130AB01
4C130AD08
4C130AD09
4C130BA14
(57)【要約】
ロボット撮像システムは、標的部位の1つ以上の画像を記録するように構成されたカメラを含む。カメラは、標的部位の少なくとも1つの立体視画像を生成するために、左画像及び右画像を記録するように構成された立体視カメラであり得る。ロボットアームは、カメラに動作可能に接続され、ロボットアームは、カメラを標的部位に対して選択的に移動させるように適合される。センサは、立体視カメラを移動させるためにユーザによって与えられる力及び/又はトルクを検出してセンサデータを送信するように構成される。コントローラは、センサデータを受信するように構成され、コントローラは、プロセッサと、命令が記録される有形の非一時的メモリとを有する。コントローラは、センサデータと減衰関数とに部分的に基づいてロボットアームの移動シーケンスを決定することを含む、支援駆動モードを選択的に実行するように適合される。
【特許請求の範囲】
【請求項1】
ロボット撮像システムであって、
標的部位の1つ以上の画像を記録するように構成されたカメラと、
前記カメラに動作可能に接続されたロボットアームであって、前記カメラを前記標的部位に対して選択的に移動させるように適合された前記ロボットアームと、
前記カメラを移動させるためにユーザによって与えられた力及び/又は前記ユーザによって与えられたトルクを表すセンサデータを検出して送信するように構成されたセンサと、
前記センサデータを受信するように構成されたコントローラであって、プロセッサと、命令が記録される有形の非一時的メモリとを有する前記コントローラと、
を含み、
前記コントローラは、前記センサデータと減衰関数とに部分的に基づいて前記ロボットアームの移動シーケンスを決定することを含む、支援駆動モードを選択的に実行するように適合される、ロボット撮像システム。
【請求項2】
前記カメラは、前記標的部位の少なくとも1つの立体視画像を生成するために、左画像及び右画像を記録するように構成された立体視カメラである、請求項1に記載のロボット撮像システム。
【請求項3】
前記減衰関数は、動的であり、関係
【数1】
によって表され、
【数2】
は状態ベクトルの2次導関数であり、αは第1の較正定数であり、Wはレンチベクトルであり、γは第2の較正定数であり、O(|W|)は減衰演算子であり、
【数3】
は前記状態ベクトルの1次導関数である、請求項1に記載のロボット撮像システム。
【請求項4】
前記状態ベクトルは、前記ロボットアームの現在位置の1組の線形位置座標及び/又は1組の回転位置座標に基づく、請求項3に記載のロボット撮像システム。
【請求項5】
前記レンチベクトルは、前記ユーザによって与えられた前記力を表す入力力ベクトル及び/又は前記ユーザによって与えられた前記トルクを表す入力トルクベクトルに基づく、請求項3に記載のロボット撮像システム。
【請求項6】
前記第1の較正定数は、前記レンチベクトルに適用され、前記第1の較正定数は、前記入力力ベクトルについての第1の値と、前記入力トルクベクトルについての第2の値とを有する、請求項5に記載のロボット撮像システム。
【請求項7】
前記減衰演算子は、1つ以上の減衰曲線に基づき、前記減衰演算子は、入力力ベクトル及び入力トルクベクトルに基づいて、出力力減衰ベクトル及び/又は出力トルク減衰ベクトルをそれぞれ決定する、請求項3に記載のロボット撮像システム。
【請求項8】
前記第2の較正定数は、前記減衰演算子に適用され、前記第2の較正定数は、前記入力力ベクトルについての1つの値と、前記入力トルクベクトルについての別の値とを有する、請求項7に記載のロボット撮像システム。
【請求項9】
前記ロボットアームは、1つ以上の関節を含み、
前記コントローラは、前記移動シーケンスに基づいて回転するようにそれぞれのモータ制御信号によって前記1つ以上の関節に選択的に指令するように構成され、
前記移動シーケンスは、前記ロボットアームの前記1つ以上の関節の回転方向、速度、及び移動持続時間を指定する、請求項1に記載のロボット撮像システム。
【請求項10】
ユーザが前記カメラを手動で位置決めできるようにするために、前記カメラに動作可能に接続された少なくとも1つの入力デバイスを更に含む、請求項1に記載のロボット撮像システム。
【請求項11】
前記少なくとも1つの入力デバイスは、第1及び第2の制御アームを含み、
前記第1及び第2の制御アームは、前記第1及び第2の制御アームを前記立体視カメラに対して回転させることを可能にする、それぞれの回転可能な支柱を介して前記立体視カメラに動作可能に接続される、請求項10に記載のロボット撮像システム。
【請求項12】
前記コントローラは、前記センサのそれぞれの位置と前記少なくとも1つの入力デバイスとの間のオフセットを補償するために前記センサデータに力付与補償を提供するように構成される、請求項10に記載のロボット撮像システム。
【請求項13】
前記コントローラは、前記センサデータに重力補償を提供するように構成される、請求項1に記載のロボット撮像システム。
【請求項14】
前記ロボットアームは、1つ以上の関節と、前記1つ以上の関節に接続された結合インターフェースとを含み、前記センサは、前記結合インターフェースに位置決めされる、請求項1に記載のロボット撮像システム。
【請求項15】
前記センサは、6自由度の触力覚デバイスを含む、請求項1に記載のロボット撮像システム。
【請求項16】
前記ロボットアームは、1つ以上の関節を含み、前記コントローラは、前記ロボットアームの前記1つ以上の関節間のそれぞれの関節角度及び/又は関節限界に基づいて少なくとも1つのスケール係数を決定するように構成され、
前記コントローラは、前記移動シーケンスの少なくとも1つの関節速度に前記スケール係数を適用するように構成される、請求項1に記載のロボット撮像システム。
【請求項17】
前記減衰関数を適用することは、1つ以上の減衰曲線の和を得ることと、前記和をヒステリシスフィルタに入力することとを含み、
前記ヒステリシスフィルタは、前記ユーザによって与えられた前記力を表す入力力ベクトル及び/又は前記トルクを表す入力トルクベクトルと同じ割合で出力減衰値が増加することを許容するように適合され、
前記ヒステリシスフィルタは、前記入力力ベクトル及び/又は前記入力トルクベクトルと同じ割合で前記出力減衰値が減少することを防止するように適合される、請求項1に記載のロボット撮像システム。
【請求項18】
ロボット撮像システムであって、
標的部位の少なくとも1つの立体視画像を生成するために、前記標的部位の左画像及び右画像を記録するように構成された立体視カメラと、
前記立体視カメラに動作可能に接続されたロボットアームであって、前記立体視カメラを前記標的部位に対して選択的に移動させるように適合された前記ロボットアームと、
前記立体視カメラを移動させるためにユーザによって与えられた力を表す入力力ベクトル及び/又は前記ユーザによって与えられたトルクを表す入力トルクベクトルを含む、センサデータを検出して送信するように構成されたセンサと、
前記センサデータを受信するように構成されたコントローラであって、プロセッサと、命令が記録される有形の非一時的メモリとを有する前記コントローラと、
を含み、
前記コントローラは、前記センサデータと減衰関数とに部分的に基づいて前記ロボットアームの移動シーケンスを決定することを含む、支援駆動モードを選択的に実行するように適合され、
前記減衰関数を適用することは、前記入力力ベクトル及び/又は前記入力トルクベクトルと同じ割合で出力減衰値が増加することを許容することを含み、
前記減衰関数を適用することは、前記入力力ベクトル及び/又は前記入力トルクベクトルと同じ割合で前記出力減衰値が減少することを防止することを含む、
ロボット撮像システム。
【請求項19】
前記減衰関数は、動的であり、関係
【数4】
によって表され、
【数5】
は状態ベクトルの2次導関数であり、αは第1の較正定数であり、Wは、前記入力力ベクトル及び/又は前記入力トルクベクトルに基づくベクトルであり、γは第2の較正定数であり、O(|W|)は減衰演算子であり、
【数6】
は前記状態ベクトルの1次導関数である、請求項18に記載のロボット撮像システム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、概して、ロボット撮像システムに関する。より具体的には、本開示は、ロボット撮像システムにおける支援駆動モードに関する。人体の異なる部位を撮像するために、様々な撮像モダリティが一般に用いられている。これらの撮像モダリティを用いた医療処置の効率を向上させるために、ロボットシステムが開発されている。ロボットシステムには、システムを動作させる際にユーザを支援するための支援駆動システムが組み込まれることがある。従来の支援駆動システムは、ユーザの入力を出力デバイスの速度に直接マッピングしていた。しかしながら、これによって、ユーザの入力方向の準最適な保持、及び飽和速度限界でのシステムの頻繁な動作などの、多くの欠点が生じる。加えて、大きな力が加わると、支援駆動システムに過負荷がかかる可能性がある。
【発明の概要】
【課題を解決するための手段】
【0002】
本明細書には、標的部位の1つ以上の画像を記録するように構成されたカメラを有するロボット撮像システムが開示されている。カメラは、標的部位の少なくとも1つの立体視画像を生成するために、左画像及び右画像を記録するように構成された立体視カメラを含み得る。ロボットアームは、カメラに動作可能に接続され、ロボットアームは、カメラを標的部位に対して選択的に移動させるように適合される。ロボット撮像システムは、カメラを移動させるためにユーザによって与えられる力及び/又はトルクを検出するように構成されたセンサを含む。センサは、センサデータを送信するように適合される。コントローラは、センサデータを受信するように構成され、コントローラは、プロセッサと、命令が記録される有形の非一時的メモリとを有する。コントローラは、センサデータと減衰関数とに部分的に基づいてロボットアームの移動シーケンスを決定することを含む、支援駆動モードを選択的に実行するように適合される。
【0003】
減衰関数は、動的であり、関係
【数1】
によって表され得、
【数2】
は状態ベクトルの2次導関数であり、αは第1の較正定数であり、Wはレンチベクトルであり、γは第2の較正定数であり、O(|W|)は減衰演算子であり、
【数3】
は状態ベクトルの1次導関数である。状態ベクトルは、ロボットアームの現在位置の1組の線形位置座標及び/又は1組の回転位置座標に基づく。レンチベクトルは、ユーザによって与えられた力を表す入力力ベクトル及び/又はユーザによって与えられたトルクを表す入力トルクベクトルに基づく。第1の較正定数は、レンチベクトルに適用され、第1の較正定数は、入力力ベクトルについての第1の値と、入力トルクベクトルについての第2の値とを有する。
【0004】
減衰演算子は、1つ以上の減衰曲線に基づき得る。減衰演算子は、入力力ベクトル及び入力トルクベクトルに基づいて、出力力減衰ベクトル及び/又は出力トルク減衰ベクトルをそれぞれ決定する。第2の較正定数は減衰演算子に適用され、第2の較正定数は、入力力ベクトルに対する1つの値と、入力トルクベクトルに対する別の値とを有する。
【0005】
減衰関数を適用することは、1つ以上の減衰曲線の和を得ることと、和をヒステリシスフィルタに入力することとを含み得る。ヒステリシスフィルタは、ユーザによって与えられた力を表す入力力ベクトル及び/又はトルクを表す入力トルクベクトルと同じ割合で出力減衰値が増加することを許容するように適合される。ヒステリシスフィルタは、入力力ベクトル及び/又は入力トルクベクトルと同じ割合で出力減衰値が減少することを防止するように適合される。
【0006】
ロボットアームは、1つ以上の関節を含み得る。コントローラは、移動シーケンスに基づいて回転するようにそれぞれのモータ制御信号によって1つ以上の関節に選択的に指令するように構成される。移動シーケンスは、ロボットアームの1つ以上の関節の回転方向、速度、及び移動持続時間を指定する。ロボットアームは、1つ以上の関節と、1つ以上の関節に接続された結合インターフェースとを含み得、センサは、結合インターフェースに位置決めされる。センサは、6自由度の触力覚デバイスを含み得る。コントローラは、ロボットアームの1つ以上の関節間のそれぞれの関節角度及び/又は関節限界に基づいて少なくとも1つのスケール係数を決定するように構成され得る。コントローラは、移動シーケンスの少なくとも1つの関節速度にスケール係数を適用するように構成され得る。
【0007】
少なくとも入力デバイスは、ユーザがカメラを手動で位置決めできるようにするために、カメラに動作可能に接続される。入力デバイスは、第1及び第2の制御アームを含み得る。第1及び第2の制御アームは、第1及び第2の制御アームを立体視カメラに対して回転させることを可能にする、それぞれの回転可能な支柱を介して立体視カメラに動作可能に接続される。コントローラは、センサのそれぞれの位置と少なくとも1つの入力デバイスとの間のオフセットを補償するためにセンサデータに力付与補償を提供するように構成され得る。コントローラは、センサデータに重力補償を提供するように構成され得る。
【0008】
本明細書には、標的部位の少なくとも1つの立体視画像を生成するために、標的部位の左画像及び右画像を記録するように構成された立体視カメラを有するロボット撮像システムが開示されている。ロボットアームは、立体視カメラに動作可能に接続され、ロボットアームは、立体視カメラを標的部位に対して選択的に移動させるように適合される。センサは、立体視カメラを移動させるためにユーザによって与えられた力を表す入力力ベクトル及び/又はユーザによって与えられたトルクを表す入力トルクベクトルを含む、センサデータを検出して送信するように構成される。コントローラは、センサデータを受信するように構成され、コントローラは、プロセッサと、命令が記録される有形の非一時的メモリとを有する。コントローラは、センサデータと減衰関数とに部分的に基づいてロボットアームの移動シーケンスを決定することを含む、支援駆動モードを選択的に実行するように適合される。
【0009】
減衰関数を適用することは、入力力ベクトル及び/又は入力トルクベクトルと同じ割合で出力減衰値が増加することを許容することを含む。減衰関数を適用することは、入力力ベクトル及び/又は入力トルクベクトルと同じ割合で出力減衰値が減少することを防止することを含む。減衰関数は、動的であり、関係
【数4】
によって表され得、
【数5】
は状態ベクトルの2次導関数であり、αは第1の較正定数であり、Wは、入力力ベクトル及び/又は入力トルクベクに基づくベクトルであり、γは第2の較正定数であり、O(|W|)は減衰演算子であり、
【数6】
は状態ベクトルの1次導関数である。
【0010】
上述の特徴及び利点、並びに本開示の他の特徴及び利点は、添付図面と併用されると、開示を実施するための最良の形態の下記の詳細な説明から容易に明白である。
【図面の簡単な説明】
【0011】
【
図1】カメラと、支援駆動モードを用いるコントローラとを有するロボット撮像システムの部分概略図である。
【
図2】
図1のロボット撮像システムで使用可能な入力デバイスの部分概略斜視図である。
【
図3】入力力を横軸に、出力減衰を縦軸に示す、例示的な減衰曲線の概略的なグラフである。
【
図4】
図1の支援駆動モードを動作させるための例示的な方法のフローチャートである。
【
図5】
図1の支援駆動モードで使用可能なフィルタの影響を示す、時間を横軸とし、振幅を縦軸とした概略的なグラフである。
【発明を実施するための形態】
【0012】
本開示の典型的な実施形態を、非限定的な例として図面に示し、更に詳細に後述する。しかしながら、本開示の新規な態様は、上記で列挙された図面に示される特定の形態に限定されないことが理解されるべきである。むしろ、本開示は、例えば、添付の特許請求の範囲に包含されるような本開示の範囲内に含まれる修正形態、均等物、組合せ、副次的組合せ、並べ換え、グループ化及び代替形態を包含することになる。
【0013】
同様の参照番号が同様の構成要素を指す、図面を参照すると、
図1は、支援駆動モード14を有するカメラ12を有するロボット撮像システム10を概略的に示す。ロボット撮像システム10は、標的部位16を撮像するように構成される。
図1に示すカメラ12は立体視カメラ12であるが、他のタイプのカメラ(例えば、単一画像を撮影するカメラ)も用いられ得ることが理解される。
図1を参照すると、立体視カメラ12は、少なくとも部分的にハウジング組立体20のヘッドユニット18内に配置され、ヘッドユニット18は、少なくとも部分的に標的部位16に向けられるように構成される。立体視カメラ12は、標的部位16の第1及び第2の画像を記録するように構成され、標的部位16のライブ2次元立体視ビューを生成するように用いられ得る。標的部位16は、患者の解剖学的場所、研究室の生体試料、較正スライド/テンプレートなどであり得る。
【0014】
図1を参照すると、少なくとも1つの入力デバイス22(以下、「少なくとも1つの」を省略)は、ユーザが立体視カメラ12を手動で位置決めできるようにするために、(例えば、ヘッドユニット18において)立体視カメラ12に動作可能に接続される。入力デバイス22の例示的な実現形態を
図2に示す。
図2に示す実施形態では、入力デバイス22は、第1及び第2の制御アーム102、104を含む。第1及び第2の制御アーム102、104は、第1及び第2の制御アーム102、104をヘッドユニット18に対して回転させることを可能にする、それぞれの回転可能な支柱106を介してヘッドユニット18に接続され得る(
図2を参照)。第1及び第2の制御アーム102、104は、焦点、倍率、標的部位16に投影される光の量/種類の調整、及び他の特徴などの立体視カメラ12の特定の特徴を有効にする又は選択するためのそれぞれの制御部108を含み得る。入力デバイス22の数及び形態が変更され得る、例えば、入力デバイス22が、ジョイスティック、ホイール、マウス又はタッチスクリーンデバイスを含み得ることが理解される。幾つかの実施形態では、入力デバイス22は、遠隔制御部66によって制御され得る(
図1を参照)。
【0015】
図1を参照すると、ロボット撮像システム10は、ヘッドユニット18に動作可能に接続され、ヘッドユニット18を選択的に移動させるように構成された、ロボットアーム24を含み得る。ヘッドユニット18は、結合プレート26を介してロボットアーム24に機械的に結合され得る。ユーザは、ロボットアーム24からの支援を受けて、立体視カメラ12を位置決め及び方向決めし得る。
図1に示すように、センサ28は、ロボットアーム24及び/又は結合プレート26に動作可能に接続され得る。センサ28は、
図2に示すように、立体視カメラ12を移動させるためにユーザによって与えられる力及び/又はトルクを検出するように構成される。センサ28は、立体視カメラ12に対するユーザの動き又は力を検出し、検出された力/動きを回転データ及び/又は並進データに変換するように構成される。
【0016】
ロボットアーム24は、ヘッドユニット18の更なる程度の位置決め及び/又は方向決めを提供するように構成された1つ以上の関節、例えば第1の関節30及び第2の関節32を含み得る。ユーザによって提供される力/トルクに対応する立体視カメラ12の支援された移動を提供するために、ロボットアーム24のどの関節を回転させるべきか、関節をどの程度迅速に回転させるべきかを決定するために、センサ28からのデータが用いられ得る。
図1を参照すると、対応する関節モータ(例えば、関節モータ31)とそれぞれの関節センサ(例えば、関節センサ33)とが各関節に結合され得る。関節モータ31は、第1の関節30を軸の周りで回転させるように構成される一方、関節センサ33は、(3D空間における)第1の関節30の位置を送信するように構成される。
【0017】
以下に説明されるように、支援駆動モード14には、ユーザが誘導する制御システムが組み込まれる。一実施形態では、ユーザは、入力デバイス22を保持して、リリースボタンを作動させ得る又は押圧し得る。リリースボタンを作動させると、立体視カメラ12は、支援駆動モード14の開始をユーザが望むことを示すメッセージをコントローラCに送信する。コントローラCは、ユーザが立体視カメラ12を所望の方向に穏やかに操縦することを可能にするように、ロボットアーム24及び/又は結合プレート26を構成する。この移動中、コントローラCは、ロボットアーム24及び/又は結合プレート26に立体視カメラ12を「パワーステアリング」式に移動させ、その重さを安全に支持し、どの関節を作動させるべきであり、どの関節を制動すべきかを調整された様式で自動的に判断して、ユーザが望む移動を達成する。
【0018】
図1を参照すると、ロボット撮像システム10は、少なくとも1つのプロセッサPと、少なくとも1つのメモリM(又は非一時的有形コンピュータ可読記憶媒体)とを有するコントローラCを含み、少なくとも1つのメモリMには、支援駆動モード14を動作させる方法200(
図4に関して以下で説明する)を実行するための命令が記録される。メモリMは、コントローラ実行可能命令セットを格納することができ、プロセッサPは、メモリMに格納されたコントローラ実行可能命令セットを実行することができる。支援駆動モード14には、ユーザの意図を推測し、不安定なユーザ入力を安定させるために、特定の組のダイナミクスを通じて、減衰関数50が組み込まれる。
【0019】
幾つかの実施形態では、ロボットアーム24は、支援なし又は少なくとも初期支援なしでのユーザによる移動を許容し得る。これらの他の例では、センサ28は、ユーザによって与えられる運動を検出し、この検出は、1つ以上の関節を続いて回転させ、それによって、支援された移動を提供するために、ロボット撮像システム10によって使用される。運動又は運動を生じさせる力の初期検出からロボット撮像システム10が関節を短時間回転させるまでの時間は、例えば、200ミリ秒未満、又は僅か10ミリ秒であり、ユーザはロボットアーム24の支援なしの初期移動時間に気付かない。
【0020】
ユーザが力/トルク駆動型6自由度ロボットシステムに力を加えると、コントローラCは、センサデータからユーザの意図を推測し得る。このことは、センサ28がユーザ入力と並置されていないこと、センサ28が負荷を受けていることに起因して非線形変形効果を受けることなどの、多くの要因によって、非常に困難な問題となる。気付かないうちに、ユーザは、システムを移動させるのに必要な力よりもはるかに大きな力を加えることがよくある。これは、多くの場合、入力デバイス22の「粗雑な把持」によるものである。追加的に、ユーザが意図したようにシステムが動かない場合、ユーザは、システム「に関する問題に対処する」ことになることがある。このような問題が使用中に生じた場合、ユーザは通常、センサ入力を飽和させ、ユーザの意図を推測することを非常に困難にする可能性がある、検出可能な非常に多量の力及びトルクをシステムに加え始める。ユーザの視点から見ると、ロボットアーム24は不安定である。
【0021】
コントローラCは、ユーザの入力の大きさを解析し、それを使用して、支援駆動モード14の軌道を設定するために使用されるダイナミクスを支配する動的減衰項を調整するように構成される。提供される技術的利点は、支援駆動モード14が容易に飽和せず、高加速領域と低加速領域の両方で支援駆動モード14を動作させることができることである。
【0022】
センサ28は、6自由度の触力覚モジュールを含み得る。これらの実施形態では、センサ28は、X軸、Y軸、及びZ軸における並進力又は並進運動を検出し、ヨー軸、ピッチ軸、及びロール軸の周りの回転力又は回転運動を個別に検出し得る。並進力と回転力との切り離しによって、ロボット撮像システム10がロボットアーム24の制御のための順運動学及び/又は逆運動学を容易に計算することが可能となり得る。センサ28は、立体視カメラ12へのユーザの穏やかな押圧にロボットアーム24が電子機械的に応答することを可能にする光学センサ(例えば、力/トルクセンサ)を含み得る。光学センサは、加えられた力及び/又はトルクを電気信号に変換し、それにより、ユーザによって入力された所望の力/トルクを検知し、検知された直線方向及び/又は回転方向に提供される運動要求に変換することを可能にするよう構成された電子光学デバイスを含み得る。他のタイプのセンサ技術も用いられ得ることが理解される。例えば、センサ28は、ユーザからの触覚信号を検知するように構成されたひずみゲージ又は圧電デバイスを含み得る。
【0023】
センサ28の位置は、手近な用途に基づいて変更され得る。センサ28は、入力デバイス22を介してユーザによって与えられる力及び/又はトルクを検出するために、結合プレート26と立体視カメラ12との間のインターフェースに配置され得る。
図2に示される例では、センサ28は、ロボットアーム24の関節112に接続された結合インターフェース110に位置決めされる。
【0024】
図1を参照すると、ロボットアーム24(及び/又は結合プレート26)は、コントローラC及び/又は、ロボットアームコントローラ42などの、組み込みプロセッサを介して制御され得る。ロボットアーム24は、立体視カメラ12の視野範囲をX軸、Y軸及びZ軸に沿って延長するように選択的に動作可能であり得る。ロボットアームコントローラ42は、コントローラCからの1つ以上のメッセージ又は命令を、関節の任意の1つを回転させるメッセージ及び/又は信号に変換するように構成されたプロセッサ、サーバ、マイクロコントローラ、ワークステーションなどを含み得る。ロボットアームコントローラ42はまた、ロボットアーム24及び/又は結合プレート26からの関節位置及び/又は速度などの、センサ情報を受信して、コントローラCへの1つ以上のメッセージに変換するように構成される。内容全体が参照により本明細書に組み込まれる、(2019年4月29日に出願された)米国特許出願第16/398,014号明細書では、統合ロボットプラットフォームと共に立体視覚化カメラが説明されている。
【0025】
ヘッドユニット18は、
図1に示される第1及び第2のディスプレイ36及び38などの(モニタ、端末又は2次元視覚化の他の形態であり得る)少なくとも1つの表示媒体を有するカート34に接続され得る。
図1を参照すると、コントローラCは、第1及び第2のディスプレイ36及び38においてブロードキャストするための信号を処理するように構成され得る。ハウジング組立体20は、完全独立型であり得、様々な場所間を移動可能であり得る。立体視カメラ12からの画像ストリームは、閲覧のための画像ストリームを準備するように構成され得るコントローラC及び/又はカメラプロセッサ(図示せず)に送信され得る。例えば、コントローラCは、立体視カメラ12からの第1及び第2の映像信号を結合又は交互配置して立体視信号を作成し得る。コントローラCは、映像及び/又は立体視映像信号を映像ファイルに格納し、メモリMに格納するように構成され得る。第1及び第2のディスプレイ36及び38は、立体視ディスプレイシステムを組み込み得、2次元ディスプレイは、左目及び右目のための別々の画像を有する。立体視ディスプレイを閲覧するために、ユーザは、第1及び第2のディスプレイ36、38と連動して動作してユーザの左目に左視野を示し、ユーザの右目に右視野を示す特別な眼鏡を装着し得る。
【0026】
図1を参照すると、第1のディスプレイ36は、1つ以上の関節を有する可撓性機械アーム40を介してカート34に接続されて、柔軟な位置決めを可能にし得る。可撓性機械アーム40は、手術中に患者の上に延びて比較的接近した閲覧を外科医に提供するのに十分な長さを有するように構成され得る。第1及び第2のディスプレイ36及び38は、高精細テレビジョン、超高精細テレビジョン、スマート眼鏡、プロジェクタ、1つ以上のコンピュータスクリーン、ラップトップコンピュータ、タブレットコンピュータ及び/又はスマートフォンなどの任意のタイプのディスプレイを含み得、タッチスクリーンを含み得る。
【0027】
立体視カメラ12は、キャプチャされた静止画像、リアルタイム画像及び/又はデジタル映像信号を含むが、これらに限定されない様々な形態で提示され得る、標的部位16の立体視画像を取得するように構成される。本明細書中で使用する場合、「リアルタイム」とは、一般に、データを受信するのと同じ速度で情報を更新することを指す。より具体的には、「リアルタイム」とは、画像データが十分に高いデータレート及び十分に低い遅延で取得、処理及び送信されて、データが表示されるとき、ユーザが気付くような激しい振動又は待ち時間なしに対象物がスムーズに動くことを意味する。典型的には、リアルタイムは、新しい画像が少なくとも約30フレーム/秒(fps)のレートで取得、処理及び送信され、約60fpsで表示される場合並びに映像信号の組合せ処理が約1/30秒以下の遅延を有する場合に生じる。
【0028】
ここで
図4を参照すると、
図1の支援駆動モード14を動作させるための例示的な方法200のフローチャートが示されている。方法200は、
図1のコントローラCに格納され、コントローラCによって部分的に実行可能なコンピュータ可読コード又は命令として具体化され得る。方法200は、本明細書に記載される特定の順序で適用される必要はなく、動的に実行され得る。更には、一部のステップが削除され得ることを理解されたい。方法200は、立体視カメラ12に力が加えられる際に定期的に又は所定の時間間隔で実行され得る。
【0029】
方法200は、
図4のブロック202から始まり、コントローラCは、ロボットアーム24の関節位置データ、及びユーザによって立体視カメラ12に与えられた力及び/又はトルクに関するセンサ28からのセンサデータなどの、入力データを受信するようにプログラムされる。センサデータは、ユーザによって与えられた力を表す入力力ベクトル(Fx,Fy,Fz)及び/又はユーザによって与えられたトルクを表す入力トルクベクトル(τx,τy,τz)に基づく、例えば、W=[Fx,Fy,Fz,τx,τy,τz]である、レンチベクトル(W)を含む。
【0030】
図4のブロック202からブロック204に進み、コントローラCは、センサデータにフィルタリングを適用するようにプログラムされる。フィルタリングは、第1のローパスフィルタ、第2のローパスフィルタ、及び/又はカートの振動をターゲットとしたノッチフィルタを適用することを含み得る。他の例では、コントローラCによって、単一のローパスフィルタ及びノッチフィルタが使用され得る。幾つかの実施形態では、フィルタリングは適用されない。これによって、位相遅延が低減され、応答性が向上するが、トレードオフは、関節における更なるノイズである。
【0031】
図4のブロック204からブロック206に進み、方法200は、関節位置データを使用して、フィルタリングされたセンサデータ(例えば、力/トルクベクトル)を補償することを含む。補償は、重力補償及び/又は力付与点補償を含み得る。重力補償について、フィルタリングされたセンサデータから地球の重力の影響が除去される。力付与点補償について、コントローラCは、立体視カメラ12(例えば、入力デバイス22)に力が加えられた点に基づいて、フィルタリングされたセンサデータ(及び/又は重力補償されたセンサデータ)に補償を提供する。センサ28は、入力デバイス22に対してオフセット距離だけ離れてある角度をなして配置され得る。オフセット距離及び角度は、入力デバイス22のそれぞれに加わる力を、センサ28で検出される際に、方向及び角度だけ僅かにシフトさせる。力付与補償は、まるで力が入力デバイス22ではなくセンサ28に直接加えられたかのように力値を調整する。力付与補償は、センサ28と入力デバイス22との間の既知の角度及び/又は距離に基づいて予め決定され得る。重力補償及び力付与点補償は一緒になって、フィルタリングされた力/トルクデータを修正して、ユーザがカメラの入力デバイス22に提供した力/トルクに比例する力/トルクベクトルを生成する。
【0032】
図4のブロック206からブロック208に進み、方法200は、センサ(力/トルク)系からグローバル系への座標変換を行うことを含む。コントローラCは、補償されフィルタリングされた力/トルク出力データと併せて関節位置データを使用して、力/トルク系からグローバル系又はロボット空間への座標変換を行うようにプログラムされる。変換は、センサ28の位置及び向きに基づく1つ以上の予め定義された式又は関係を含み得る。コントローラCは更に、関節位置データを使用して立体視カメラ12のカメラ系とグローバル系又はロボット空間との間の座標変換を行うように適合される。カメラ系の座標変換は、ロボットアーム24のロボット空間にマッピングされた光学較正パラメータに基づき得る。
【0033】
図4のブロック208からブロック210に進み、コントローラCは、減衰関数50を適用するようにプログラムされる。幾つかの実施形態では、減衰関数50は、関係
【数7】
によって表される非線形動的関数であり、
【数8】
は状態ベクトルの2次導関数であり、αは第1の較正定数であり、Wはレンチベクトルであり、γは第2の較正定数であり、O(|W|)は減衰演算子であり、
【数9】
は状態ベクトルの1次導関数である。
【0034】
状態ベクトル(X)は、ロボットアーム24の現在位置の1組の線形位置座標及び/又は1組の回転位置座標に基づく、例えば、X=[x,y,z,Rx,Ry,Rz]である。各ドットは導関数を示し、したがって、
【数10】
は速度を表し、
【数11】
は加速度を表す。上述したように、レンチベクトル(W)は、ユーザによって与えられた力を表す入力力ベクトル(Fx,Fy,Fz)及び/又はユーザによって与えられたトルクを表す入力トルクベクトル(τx,τy,τz)に基づく、例えば、W=[Fx,Fy,Fz,τx,τy,τz]である。状態ベクトル(X)は、調整できるカメラ12における運動学的位置である。一例では、状態ベクトル(X)は、ユーザが押圧している入力デバイス22上の位置と一致するように設定される。別の例では、状態ベクトル(X)は、ヘッドユニット18内に位置する仮想点であって、第1の制御アーム102と第2の制御アーム104との間の中心に位置する仮想点になるように設定される(
図2を参照)。
【0035】
第1の較正定数(α)は、レンチベクトルに適用される。幾つかの実施形態では、第1の較正定数は、入力力ベクトル(Fx,Fy,Fz)についての第1の値(α1)と、入力トルクベクトル(τx,τy,τz)についての第2の値(α2)とを有する。非限定的な例では、第1の値(α1)は0.05~0.65であり、第2の値(α2)は1.25~3.5である。第2の較正定数(γ)は、減衰演算子に適用される。幾つかの実施形態では、第2の較正定数は、(力からの)3つの線形項についての1つの値(γ1)と、(トルクからの)3つの回転項についての別の値(γ2)とを有する。非限定的な例では、一方の値(γ1)は1.0~3.4であり、他方の値(γ2)は1.25~2.75である。第1の較正定数及び第2の較正定数は、ユーザが設定可能な抵抗及び感度設定を表す。
【0036】
減衰演算子O(|W|)は、1つ以上の減衰曲線に基づく。
図3は、入力力を横軸152に、出力減衰を縦軸154に示す、かかる1つの減衰曲線150の概略的な例である。減衰曲線のそれぞれは、レンチベクトルW=[Fx,Fy,Fz,τx,τy,τz]の各成分についての減衰係数にマッピングされる特定の領域をターゲットとした、出力減衰についてのそれ自体の値を有する。減衰演算子O(|W|)は、入力力ベクトル及び入力トルクベクトルに基づいて、出力力減衰ベクトル及び/又は出力トルク減衰ベクトルをそれぞれ決定する。
図3に示すように、入力力が第1の力F1から第2の力F2に増加するにつれて、出力減衰がD1からD2に増加する。減衰曲線150を使用して、ユーザがより多くの力を加えるにつれて、制御指令に対するユーザの高い加速度の影響を低減するために減衰を増加させる。幾つかの曲線は、異なる軸又は外部検知の関数である可能性がある、各軸の総減衰量を合計するために、異なる領域にわたって追加的に適用することができる。
図3に示される減衰曲線150は、力が増加するにつれて上昇する傾向にあるが、減衰曲線の傾向又は形状は手近な用途に基づいて修正され得ることが理解される。
【0037】
減衰関数50を適用することは、1つ以上の減衰曲線の和を得ることと、1つ以上の減衰曲線の和をヒステリシスフィルタに入力することとを含む。ヒステリシスフィルタは、入力力及び/又は入力トルクと同じ割合で出力減衰値が増加することを許容するが、入力力ベクトル及び/又は入力トルクベクトルと同じ割合で出力減衰値が減少することを防止する。これによって、システム内の全体的な減衰量の増加を生じさせた大きな力の入力をコントローラCが検出した後に、減衰時間又は低下時間が増加する。
【0038】
図5は、上側トレースが入力力302を表し、下側トレースが出力減衰304を表す、ヒステリシスフィルタの影響を示す概略的なグラフである。
図5の横軸305は時間を示し、その一方で、縦軸306は振幅を示す。時間帯Z1及びZ3では、入力力302及び出力減衰304は両方とも平坦である。
図5を参照すると、入力力302が時間帯Z2で急速に増加するにつれて、出力減衰304も同様に増加することができる。時間帯Z4では、入力力302が急速に減少するので、出力減衰304は、入力力302と同程度に急速に減少できず、出力減衰304が減衰するのにより長い時間がかかる。これによって、より長い減衰時間308にわたって減衰されたままである支援駆動モード14がもたらされる。
【0039】
図4のブロック210からブロック212に進み、方法200は、様々なスケーリング用途(例えば、少なくとも1つのスケール係数を決定すること)を含み得る。スケーリングは、d2Xの成分毎の器具加速度限界の適用を含み得る。例えば、軸毎の最大加速度には許容値がある。1つの成分が超過した場合、その成分は最大値までスケールダウンされ、加速度の他の全ての成分が同じ量だけスケーリングされる。スケーリングは、全ての成分の和の最大値が予め定義された限界を超えるのを防ぐために総加速度がスケールダウンされる、総加速度限界の適用を含み得る。この特徴は、高加速度入力で用いられ得る。スケーリングは、器具速度飽和限界の適用を含み得る。例えば、(d2X統合ステップ後の)器具速度成分dXは、予め定義された限界を超える場合、その限界まで切り捨てられる。
【0040】
図4のブロック212は、運動学、例えば、逆運動学及び/又はヤコビアン運動学(例えば、ヤコビアン行列の逆行列)を使用して移動シーケンスを選択することを含む。コントローラCは、ロボットアーム及び/又は結合プレート26の特定の関節を調整された様式でどのように移動させるべきかを指定し、例えば、関節回転速度、関節回転方向、及び/又は関節回転持続時間を指定する移動シーケンスを決定する。移動シーケンスはまた、ロボットアーム24及び/又は結合プレート26の関節を回転させるべきシーケンスを指定し得る。ロボットアーム24及び/又は結合プレート26の関節のいずれも、移動シーケンスに応じて個々に回転し得るか又は重複して移動し得る。ヤコビアン運動学の式は、スケーリングされた並進/回転ベクトルに基づいて、ロボットアーム24及び/又は結合プレート26の特定の関節をどのように移動させるべきかを定義する。ヤコビアン運動学は速度制御を提供し、その一方で、逆運動学は位置制御を提供する。他のロボットアーム制御ルーチンも用いられ得る。
【0041】
図4のブロック212からブロック214に進み、方法200は、関節限界、例えば関節速度限界及び関節位置限界を適用することを含み得る。移動シーケンスが決定された後、コントローラCは、関節速度スケーリング及び/又は境界を使用して衝突回避を行うように構成される。例えば、コントローラCは、移動シーケンスによってロボットアーム24及び/又は結合プレート26の1つ以上の関節及び/又はリンクが境界又は患者若しくは機器の周囲の空間などの他の定められたデカルト限界に近づくか否かを判断するように構成され得る。コントローラCは、移動シーケンスからのロボット空間におけるリンク及び/又は関節の位置の推定を1つ以上の定義された境界及び/又は角度限界と比較し得る。ロボット速度は、任意の関節限界への近接度に近づくにつれてゼロになるまで減速される。
【0042】
コントローラCは、指令を有効にして、指令(又は指令を示す信号)が関節モータの動作パラメータ(例えば、持続時間、回転速度など)以内にあることを保証し得る。コントローラC及び/又はロボットアームコントローラ42はまた、指令を現在閾値と比較することによって指令を有効にして、移動シーケンスのいかなる段階でもロボットアーム24が過剰な電流を消費しないことを保証し得る。例えば、加速度指令
【数12】
が計算された後、加速度限界が適用される。加速度指令の各軸(X、Y及びZ)には最大許容値があり、XYZ軸にわたる加速度の総和には最大許容値がある。許容できる指令を上回ったことに起因して指令が切り捨てられる場合、各軸は、ユーザの入力方向ベクトルを保持するために、切り捨てられた軸と同じ割合だけ縮小される。
【0043】
図4のブロック216に移ると、方法200は、1つ以上のノイズ防止フィルタを移動指令に適用することを含む。フィルタは、関節モータに過渡信号を誘導し得る、高周波ノイズ成分を除去する高周波ローパスフィルタを含み得る。
【0044】
図4のブロック218毎に、コントローラCは、移動シーケンスに従って、1つ以上の信号によってロボットアーム24及び/又は結合プレート26の適切な関節モータに指令を送信するようにプログラムされる。送信された指令は、それぞれの関節におけるモータにロボットアーム24及び/又は結合プレート26を移動させ、それによって、立体視カメラ12をユーザが意図したように移動させる。方法200は、ユーザが立体視カメラ12に力を加えている限り繰り返され得る。方法200は、関節トルクレベルで直接実施され得る。そのような指令が利用できない協働ロボットの場合、方法200は、仮想加速度指令を統合して、ロボットアームコントローラ42に直接送信できる速度指令を生成することによって実施することができる。
【0045】
図1のコントローラCは、リモートソース及び/又は実行可能プログラムからダウンロードされた情報を含み得るか、又はさもなければこの情報にアクセスし得る。
図1を参照すると、コントローラCは、ネットワーク64を介してリモートサーバ60及び/又はクラウドユニット62と通信するように構成され得る。リモートサーバ60は、例えば、研究機関、企業、大学及び/又は病院などの組織によって維持される私的又は公的な情報源であり得る。クラウドユニット62は、データの格納、管理及び処理を行うためにインターネット上でホストされる1つ以上のサーバを含み得る。
【0046】
ネットワーク64は、ローカルエリアネットワークの形態のシリアル通信バスであり得る。ローカルエリアネットワークは、コントローラエリアネットワーク(CAN)、コントローラエリアネットワークウィズフレキシブルデータレート(Controller Area Network with Flexible Data Rate、CAN-FD)、イーサネット、blue tooth、WIFI及び他のデータの形態を含み得るが、これらに限定されない。ネットワーク64は、複数のデバイスを無線分散方式で繋ぐ無線ローカルエリアネットワーク(LAN)、複数の無線LANを接続する無線メトロポリタンエリアネットワーク(MAN)又は近隣の市町村などの広い地域をカバーする無線ワイドエリアネットワーク(WAN)であり得る。他のタイプの接続も使用され得る。
【0047】
図1のコントローラCは、ロボット撮像システム10の一体部分であり得るか、又はロボット撮像システム10に動作可能に接続された別個のモジュールであり得る。コントローラCは、コンピュータによって(例えば、コンピュータのプロセッサによって)読み取られ得るデータ(例えば、命令)を提供することに関係する非一時的(例えば、有形)媒体を含む、コンピュータ可読媒体(プロセッサ可読媒体とも称する)を含む。かかる媒体は、不揮発性媒体及び揮発性媒体を含むが、限定されない多くの形態をとり得る。不揮発性媒体は、例えば、光ディスク又は磁気ディスク及び他の永続的メモリを含み得る。揮発性媒体は、例えば、メインメモリを構成し得るダイナミックランダムアクセスメモリ(DRAM)を含み得る。かかる命令は、コンピュータのプロセッサに結合されるシステムバスを含む配線を含む、同軸ケーブル、銅線及び光ファイバを含む1つ以上の伝送媒体によって伝送され得る。コンピュータ可読媒体の幾つかの形態は、例えば、フロッピーディスク、フレキシブルディスク、ハードディスク、磁気テープ、他の磁気媒体、CD-ROM、DVD、他の光媒体、パンチカード、紙テープ、他の孔のパターンを有する物理媒体、RAM、PROM、EPROM、フラッシュEEPROM、他のメモリチップ若しくはカートリッジ、又はコンピュータが読み取ることができる他の媒体を含む。
【0048】
本明細書に記載されるルックアップテーブル、データベース、データリポジトリ又は他のデータストアは、階層型データベース、ファイルシステム内の一式のファイル、独自形式のアプリケーションデータベース、リレーショナルデータベース管理システム(RDBMS)などを含む様々な種類のデータを格納、アクセス及び取得するための様々な種類の機構を含み得る。それぞれのかかるデータストアは、上述したコンピュータオペレーティングシステムのうちの1つなどのコンピュータオペレーティングシステムを採用するコンピューティングデバイス内に含まれ得、様々な方法の1つ以上でネットワークを介してアクセスされ得る。ファイルシステムは、コンピュータオペレーティングシステムからアクセス可能であり得、様々な形式で格納されたファイルを含み得る。RDBMSは、上述のPL/SQL言語などのストアドプロシージャを作成、保存、編集及び実行するための言語に加えて、構造化照会言語(SQL)を用い得る。
【0049】
本明細書で提示されるフローチャートは、本開示の様々な実施形態に従うシステム、方法及びコンピュータプログラム製品の予想される実現形態のアーキテクチャ、機能及び動作を示す。これに関連して、フローチャート又はブロック図における各ブロックは、モジュール、セグメント又はコードの一部を表す場合があり、指定された論理的機能を実現するための1つ以上の実行可能命令を含む。ブロック図及び/又はフローチャート例の各ブロック並びにブロック図及び/又はフローチャート例におけるブロックの組合せは、指定された機能又は行為を実施する特定目的ハードウェアベースデバイス、又は特定目的ハードウェアとコンピュータ命令との組合せにより実現され得ることにも留意されたい。これらのコンピュータプログラム命令は、コンピュータ可読媒体にも格納され得る。コンピュータプログラム命令は、フローチャート及び/又はブロック図のブロックにおいて指定される機能/行為を実現するための命令を含む、コンピュータ可読媒体に格納された命令が製造物品を生産するように、コントローラ又は他のプログラム可能データ処理装置に指示して特定の形式で機能させることができる。
【0050】
添付の特許請求の範囲を含む本明細書における(例えば、量又は条件の)パラメータの数値は、それぞれの各インスタンスにおいて、「約」という用語が実際に数値の前に置かれているかどうかに関わらず、「約」により修飾されていると理解されるべきである。「約」は、述べられた数値が幾分の僅かな不正確性を許容することを示す(幾つかのアプローチでは、厳密な値である;概ね又は適度に接近している;ほぼ)。「約」により提供される不正確性が当技術分野においてこの通常の意味で理解されない場合、本明細書において使用される「約」は、少なくとも、そのようなパラメータを測定し、使用する通常の方法から生じ得る変動を示す。加えて、範囲の開示は、各値と、全範囲内の更に分割された範囲との開示を含む。本明細書では、範囲内の各値と範囲の端点とが別々の実施形態として開示される。
【0051】
詳細な説明及び図面又は各図は、本開示をサポートし、説明するものであるが、本開示の適用範囲は、特許請求の範囲によってのみ定義される。特許請求される本開示を実施するための最良の態様及び他の実施形態の幾つかを詳細に説明したが、添付の特許請求の範囲において定義された開示を実施するための様々な代替的な設計及び実施形態が存在する。更に、図面に示された実施形態又は本明細書で言及された様々な実施形態の特徴は、必ずしも互いに独立した実施形態として理解されるべきではない。むしろ、ある実施形態の例のうちの1つで説明された特性のそれぞれは、他の実施形態からの1つ又は複数の他の望ましい特性と組み合わせることが可能であり、その結果、言葉で説明されていないか又は図面を参照することによって説明されていない他の実施形態を得ることができる。したがって、このような他の実施形態は、添付の特許請求の範囲の枠組み内に含まれる。
【国際調査報告】