知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2024-08-16
(54)【発明の名称】ロボットカメラシステムの光軸較正
(51)【国際特許分類】
A61B 90/25 20160101AFI20240808BHJP
A61B 34/30 20160101ALI20240808BHJP
G02B 7/28 20210101ALI20240808BHJP
G03B 13/36 20210101ALI20240808BHJP
H04N 23/67 20230101ALI20240808BHJP
A61B 3/13 20060101ALI20240808BHJP
【ＦＩ】
A61B90/25
A61B34/30
G02B7/28 Z
G03B13/36
H04N23/67
A61B3/13
【審査請求】未請求
【予備審査請求】未請求
(21)【出願番号】P 2023574529
(86)(22)【出願日】2022-04-13
(85)【翻訳文提出日】2023-12-01
(86)【国際出願番号】 IB2022053498
(87)【国際公開番号】W WO2022259051
(87)【国際公開日】2022-12-15
(31)【優先権主張番号】63/197,644
(32)【優先日】2021-06-07
(33)【優先権主張国・地域又は機関】US
(81)【指定国・地域】
(71)【出願人】
【識別番号】319008904
【氏名又は名称】アルコン インコーポレイティド
(74)【代理人】
【識別番号】100099759
【弁理士】
【氏名又は名称】青木 篤
(74)【代理人】
【識別番号】100123582
【弁理士】
【氏名又は名称】三橋 真二
(74)【代理人】
【識別番号】100160705
【弁理士】
【氏名又は名称】伊藤 健太郎
(72)【発明者】
【氏名】テリー パトリック
(72)【発明者】
【氏名】アショク バートン トリパシ
【テーマコード（参考）】
2H011
2H151
4C130
4C316
5C122
【Ｆターム（参考）】
2H011AA06
2H011CA19
2H011CA21
2H011FA11
2H151AA11
2H151CE31
2H151FA76
4C130AA02
4C130AA04
4C130AA37
4C130BA05
4C130DA03
4C316AA01
4C316AB16
4C316AB17
4C316FA07
4C316FA08
4C316FA14
4C316FC12
5C122DA25
5C122EA42
5C122EA58
5C122FD01
5C122GA01
5C122GA23
5C122GD11
5C122GE05
5C122HA35
5C122HA75
5C122HB01
5C122HB09
5C122HB10
(57)【要約】
コンピュータ可読媒体から命令が実行される方法によって、シリアルロボットのエンドエフェクタに接続されたデジタルカメラを有するロボットカメラシステムが較正される。エンドエフェクタ及びカメラは、ロボット運動座標系（「ロボット座標系」）内を移動する。方法は、光学座標系を有する像面上の標的物の基準画像を、カメラを使用して取得することと、深度測定値と関節位置信号とを含む、入力信号を受信することとを含む。ロボットを動かしている間に、ロボット座標系に対する基準画像内の標的点の別個のロールオフセット及びピッチオフセットが決定される。オフセットはまた、別の運動シーケンスでロボットを動かしている間に、ロボット座標系のｘ軸、ｙ軸、及びｚ軸に対して決定される。オフセットは、変換行列に格納され、この変換行列は、カメラシステムのその後の動作中にロボットを制御するために使用される。
【特許請求の範囲】
【請求項1】
シリアルロボットのエンドエフェクタに接続されたデジタルカメラを有するロボットカメラシステムを較正する方法であって、前記エンドエフェクタ及び前記デジタルカメラは、ロボット運動座標系内を移動し、前記方法は、光学座標系を有する像面内の標的物の基準画像を、前記デジタルカメラを使用して取得することと、
前記シリアルロボット及び前記デジタルカメラと通信する電子制御ユニット（ＥＣＵ）を用いて入力信号を受信することであって、前記入力信号は、前記デジタルカメラと前記標的物との間の直線距離を示す深度測定値と、前記ロボット運動座標系内の前記デジタルカメラの位置を集合的に記述する１組の関節位置信号とを含み、前記ロボット運動座標系は、ｘ軸、ｙ軸、及びｚ軸を有する、前記受信することと、
第１の較正済み運動シーケンスで前記シリアルロボットを動かしている間に、前記ＥＣＵを用いて、前記ロボット運動座標系に対する前記基準画像内の標的点のロールオフセット及びピッチオフセットを決定することと、
前記ロールオフセット及び前記ピッチオフセットを決定した後、第２の較正済み運動シーケンスで前記シリアルロボットを動かしている間に、前記ＥＣＵを用いて、前記ロボット運動座標系に対する前記標的点のｘ軸オフセット、ｙ軸オフセット、及びｚ軸オフセットの各々を決定することと、
前記ロールオフセット、前記ピッチオフセット、前記ｘ軸オフセット、前記ｙ軸オフセット、及び前記ｚ軸オフセットを前記ＥＣＵのメモリ内の変換行列に格納することと、
前記ＥＣＵを用いて、前記ロボットカメラシステムのその後の動作中に前記変換行列を使用して前記シリアルロボットの第３の運動シーケンスを制御することと、
を含む、方法。
【請求項2】
前記デジタルカメラは、前記デジタルカメラとフォーカスモータによって制御される前記標的物との間の可変の光学作動距離を有し、前記ｚ軸オフセットを決定することは、前記可変の光学作動距離と前記フォーカスモータの回転位置又はエンコーダカウントとによって索引付けされたルックアップテーブルから前記ｚ軸オフセットを抽出することを含む、請求項１に記載の方法。
【請求項3】
前記可変の光学作動距離に対応する焦点範囲にわたって前記フォーカスモータを制御している間に前記ＥＣＵを用いて前記ルックアップテーブルにデータを追加することを更に含む、請求項２に記載の方法。
【請求項4】
前記ＥＣＵを用いて前記デジタルカメラのオートフォーカス設定を受信することと、前記ＥＣＵを用いて前記ロボットカメラシステムの前記オートフォーカス設定を処理して前記深度測定値を決定することと、
を更に含む、請求項１に記載の方法。
【請求項5】
深度センサを使用して前記深度測定値を測定することと、前記シリアルロボットの対応する１組の関節位置センサを用いて前記関節位置信号を測定することと、
を更に含む、請求項１に記載の方法。
【請求項6】
前記標的物の前記基準画像を取得することは、前記デジタルカメラを使用して２次元市松模様図形のデジタル画像を収集することを含む、請求項１に記載の方法。
【請求項7】
前記その後の動作中に１つ又は複数の表示画面を通して前記標的物の３次元画像を表示することを更に含む、請求項１に記載の方法。
【請求項8】
前記デジタルカメラは、眼科顕微鏡と一体であり、前記標的物の前記基準画像を取得することは、前記眼科顕微鏡を使用することを含み、前記ロボットカメラシステムの前記その後の動作は、前記眼科顕微鏡を使用する眼科手術の一部として実施される、請求項７に記載の方法。
【請求項9】
ロボットカメラシステムであって、シリアルロボットのエンドエフェクタに接続可能なデジタルカメラであって、前記エンドエフェクタ及び前記デジタルカメラは、ロボット運動座標系内を移動する、前記デジタルカメラと、
前記デジタルカメラと通信する電子制御ユニット（ＥＣＵ）であって、
光学座標系を有する像面内の標的物の基準画像を、前記デジタルカメラを使用して取得することと、
前記デジタルカメラと前記標的物との間の直線距離を示す深度測定値と、前記ロボット運動座標系内の前記デジタルカメラの位置を集合的に記述する１組の関節位置信号とを含む、入力信号を受信することであって、前記ロボット運動座標系は、ｘ軸、ｙ軸、及びｚ軸を有する、前記受信することと、
第１の較正済み運動シーケンスで前記シリアルロボットを動かしている間に、前記ロボット運動座標系に対する前記基準画像内の標的点のロールオフセット及びピッチオフセットを決定することと、
前記ロールオフセット及び前記ピッチオフセットを決定した後、第２の較正済み運動シーケンスで前記シリアルロボットを動かしている間に、前記ロボット運動座標系に対する前記標的点のｘ軸オフセット、ｙ軸オフセット、及びｚ軸オフセットの各々を決定することと、
前記ロールオフセット、前記ピッチオフセット、前記ｘ軸オフセット、前記ｙ軸オフセット、及び前記ｚ軸オフセットを前記ＥＣＵのメモリ内の変換行列に格納することと、
前記ロボットカメラシステムのその後の動作中に前記変換行列を使用して前記シリアルロボットの第３の運動シーケンスを制御することと、
を行うように構成された前記電子制御ユニット（ＥＣＵ）と、
を含む、ロボットカメラシステム。
【請求項10】
前記シリアルロボットを更に含む、請求項９に記載のロボットカメラシステム。
【請求項11】
前記デジタルカメラは、フォーカスモータを含み、前記デジタルカメラと前記フォーカスモータによって制御される前記像面との間の可変の光学作動距離を有し、前記ＥＣＵは、前記可変の光学作動距離と前記フォーカスモータの回転位置又はエンコーダカウントとによって索引付けされたルックアップテーブルから前記ｚ軸オフセットを抽出するように構成される、請求項９に記載のロボットカメラシステム。
【請求項12】
前記ＥＣＵは、前記可変の光学作動距離に対応する焦点範囲にわたって前記フォーカスモータを制御している間に前記ルックアップテーブルにデータを追加するように構成される、請求項１１に記載のロボットカメラシステム。
【請求項13】
前記ＥＣＵは、前記デジタルカメラのオートフォーカス設定を受信し、前記オートフォーカス設定を使用して前記深度測定値を決定するように構成される、請求項９に記載のロボットカメラシステム。
【請求項14】
前記深度測定値を決定するように動作可能な深度センサを更に含む、請求項９に記載のロボットカメラシステム。
【請求項15】
前記ＥＣＵは、前記デジタルカメラを使用して２次元市松模様図形のデジタル画像を収集することによって前記標的物の前記基準画像を取得するように構成される、請求項９に記載のロボットカメラシステム。
【請求項16】
１つ又は複数の表示画面を更に含み、前記ＥＣＵは、前記その後の動作中に前記１つ又は複数の表示画面を通して前記標的物の３次元画像を表示するように構成される、請求項９に記載のロボットカメラシステム。
【請求項17】
前記デジタルカメラと一体である眼科顕微鏡を更に含み、前記標的物はヒト患者の眼であり、前記ロボットカメラシステムの前記その後の動作は、眼科手術の一部として実施される、請求項９に記載のロボットカメラシステム。
【請求項18】
命令が記録されたコンピュータ可読媒体であって、シリアルロボットのエンドエフェクタに接続されたデジタルカメラを有するロボットカメラシステムと共に使用された場合、プロセッサによる前記命令の実行によって、前記プロセッサが、光学座標系を有する像面上の標的物の基準画像を前記デジタルカメラから取得することと、
前記デジタルカメラと前記標的物との間の直線距離を示す深度測定値と、ロボット運動座標系内の前記デジタルカメラの位置を集合的に記述する１組の関節位置信号とを含む、入力信号を受信することであって、前記ロボット運動座標系は、ｘ軸、ｙ軸、及びｚ軸を有する、前記受信することと、
第１の較正済み運動シーケンスで前記シリアルロボットを動かしている間に、前記ロボット運動座標系に対する前記基準画像内の標的点のロールオフセット及びピッチオフセットを決定することと、
前記ロールオフセット及び前記ピッチオフセットを決定した後、第２の較正済み運動シーケンスで前記シリアルロボットを動かしている間に、前記ロボット運動座標系に対する前記標的点のｘ軸オフセット、ｙ軸オフセット、及びｚ軸オフセットの各々を決定することと、
前記ロールオフセット、前記ピッチオフセット、前記ｘ軸オフセット、前記ｙ軸オフセット、及び前記ｚ軸オフセットを前記コンピュータ可読媒体内の変換行列に格納し、それにより、前記デジタルカメラを有するロボットカメラシステムを較正することと、
制御するために前記変換行列を使用して前記ロボットカメラシステムのその後の動作中に前記シリアルロボットの第３の運動シーケンスを制御することと、
を行う、コンピュータ可読媒体。
【請求項19】
前記デジタルカメラは立体カメラであり、前記プロセッサによる前記命令の前記実行によって、前記プロセッサが、前記その後の動作中に１つ又は複数の表示画面を通して前記標的物の３次元画像を表示する、請求項１８に記載のコンピュータ可読媒体。
【請求項20】
前記デジタルカメラは、前記デジタルカメラとフォーカスモータによって制御される前記像面との間に可変の光学作動距離を有し、前記プロセッサによる前記命令の実行によって、前記プロセッサが、前記フォーカスモータの回転位置又はエンコーダカウントを決定することと、
前記ｚ軸オフセットによってデータが追加されたルックアップテーブルであって、前記可変の光学作動距離と前記フォーカスモータの前記回転位置又はエンコーダカウントとによって索引付けされた前記ルックアップテーブルから前記ｚ軸オフセットを抽出することと、
を行う、請求項１８に記載のコンピュータ可読媒体。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、ロボットカメラシステムの光軸を較正する自動化された方法及びシステムに関する。
【背景技術】
【0002】
外科医は、多くの場合、患者の標的解剖学的構造のリアルタイムのデジタル撮像によって支援される。網膜硝子体手術を施す眼科医は、例えば、外科医の見やすい範囲内に位置決めされた高解像度の医療用表示画面を使用して、又は顕微鏡の光学部品を通して、網膜又は他の眼内の解剖学的構造の高倍率画像をリアルタイムで見る。カメラは、多関節シリアルロボットの遠位端に配置されたエンドエフェクタに確実に取り付けられ得る。シリアルロボットの様々な関節及び相互接続されたリンク機構の集合運動は、標的解剖学的構造に対してカメラの向きと位置を適切に定めるために、電子制御ユニットを用いて制御される。
【0003】
その目的のために、相互接続された多数のアームセグメントを有する多軸シリアルロボットは、接続されたデジタルカメラが必要に応じて回転又は平行移動することを可能にするために、手術室内で使用され得る。かかるシリアルロボットの一例は、「Ｓｔｅｒｅｏｓｃｏｐｉｃ Ｖｉｓｕａｌｉｚａｔｉｏｎ Ｃａｍｅｒａ ａｎｄ Ｉｎｔｅｇｒａｔｅｄ Ｒｏｂｏｔｉｃｓ Ｐｌａｔｆｏｒｍ」という名称の、Ａｌｃｏｎ， Ｉｎｃ．に対する米国特許第１０，９１７，５４３Ｂ２号明細書に開示されており、その全体が参照により本明細書に組み込まれる。ロボット運動は、ロボット運動基準座標系（「ロボット座標系」）内で発生し、ロボット座標系は、少なくとも典型的なデカルト座標系の公称ｘ、ｙ、及びｚ軸を有する。
【0004】
自動機械視覚支援タスクの実施を支援するために使用されるロボットカメラシステムは、所要の最小解像度、視野、被写界深度、及び光学作動距離を含む、動作パラメータによって定義される。特に本明細書で使用される光学作動距離とは、カメラ又はそのハウジングの底部と標的、例えば患者との間の距離とは対照的に、デジタルカメラの投影中心（ＣｏＰ）と像面に位置する撮像される標的との間に延びる光軸に沿った直線距離を表す。上述のように、好適なエンドエフェクタを介してシリアルロボットの遠位端に結合された、デジタルカメラは、カメラ自体の基準座標系（「カメラ座標系」）内で標的をデジタル的に撮像する。シリアルロボットの運動を制御するために一般的に使用されるタイプの大抵の数学モデルにおけるカメラ座標系は、ロボット座標系に直交して配置されると想定される。したがって、ロボット座標系内のロボット自体の相対位置についてのロボットの理解に対して意図した標的点に適切にデジタルカメラの焦点が合った状態になることを確実にするために、ワークスペース内でエンドエフェクタ及びデジタルカメラを位置決めするために使用される様々な電子運動制御指令及びフィードバック信号を、まず、ロボット座標系に変換しなければならない。
【発明の概要】
【課題を解決するための手段】
【0005】
本明細書では、ロボットカメラシステムにおけるデジタルカメラの光軸を較正する自動化された方法及びそれに伴うシステムが開示される。方法は、カメラの光学系の関連パラメータの予見又はモデル化なしに進められる。むしろ、方法は、パラメータを使用して、本教示に従ってロボットカメラシステムのその後の制御に用いられる同次変換行列の生成をもたらす。
【0006】
当技術分野において理解されるように、比較的低レベルの位置精度しか必要としない機械視覚用途では、異なるロボットとカメラ座標系との間の潜在的な差異が無視される傾向がある。対照的に、精密な顕微手術などの、比較的高レベルの位置精度を必要とする機械視覚用途では、光学システムの挙動を完全にモデル化し、その後、結果として得られた光学モデルをロボットの運動挙動の運動学モデルにマッピングする試みがなされ得る。しかしながら、このような手法の実施は、面倒なプログラミング作業を伴い、プログラミング作業は、正確で信頼できる光学モデルを導出することが極めて困難であるので潜在的な位置誤差を伴う。
【0007】
それゆえ、完全な光学モデルの利用可能性に依存しない用途では、基準画像上の対象となる標的点の位置を算出する際に、高度の位置誤差が生じる可能性がある。この問題は、光学距離が長い精密用途では悪化する。このような条件下では、カメラの視線ベクトルを僅かでも回転させた又は傾斜させたときに、比較的大きな位置誤差が生じる可能性がある。例えば、眼科顕微鏡は、２５０ｍｍ～３５０ｍｍ程度の一定又は可変の光学距離を有し得る。このような例示的な構成では、ほんの０．１度の光軸傾斜角によって、５ｍｍ～１０ｍｍもの位置誤差が像面上に生じることがある。
【0008】
そのような位置誤差の起こり得る実際の影響の例として、眼科外科医が、表示された光学画像上の対象となる特定の標的点を見る、例えば白内障手術中に散大瞳孔のちょうど中心を見ることを期待する、例示的な事例が考慮され得る。しかしながら、既述の位置誤差のため、外科医はむしろ、全く異なる標的点、おそらく周囲の虹彩の表面に位置する標的点を見ることになる。その後、外科医は、所望の標的点を適切に特定するために更なる制御調整を必要とし、それにより、手術時間が延長され、次善の結果がもたらされる。
【0009】
その目的のために、本明細書で詳細に説明される方法は、デジタルカメラをロボットエンドエフェクタに接続する際に、簡便な自動較正プロセスが実施されることを可能にする。それ自体が本明細書では標的へのロック又はＬＴＴ機能と称される、ロボットの基礎となる標的取得及び追跡論理によって予期されるように、かかる接続によって、ロボットの運動座標系（「ロボット座標系」）に対するカメラの光学座標系（「カメラ座標系」）の完全な位置合わせが必ずしももたらされるわけではない。すなわち、カメラの視線ベクトルは、外科医による調整に起因して、又はカメラをシリアルロボットのエンドエフェクタに固定するために使用される機械的結合機構の不完全性に起因して僅かに傾斜する可能性がある。そして、これにより、特により長い光学距離を利用する用途では、許容できないほど高レベルの位置誤差が生じる可能性がある。結果として生じる位置誤差を最小限に抑えるために、方法の較正段階で変換行列が生成され、生成された変換行列を使用して、ロボットカメラシステムの後続の運動制御段階が制御される。
【0010】
より具体的には、本明細書で企図されるロボットカメラシステムは、エンドエフェクタに結合されたデジタルカメラを含み、エンドエフェクタはシリアルロボットの遠位端に配置される。したがって、エンドエフェクタ及び接続されたデジタルカメラは、シリアルロボットの動作によってロボット座標系内を移動する。概して、方法は、標的物（例えば、非限定的な眼科手術の使用事例における患者の眼の表面又は別の標的解剖学的構造）の基準画像を取得することによって進められる。画像は、上述のロボット座標系とは対照的にカメラ座標系内で収集される。
【0011】
方法はまた、シリアルロボットと有線又は無線で通信する電子制御ユニット（ＥＣＵ）を用いて入力信号を受信することを含み、ＥＣＵはロボット運動学のモデルで構成される。ＥＣＵは、上述のように、カメラ光学系のモデルがないことによって特徴付けられる。入力信号は、標的物／像面までの直線距離を示す深度測定値と、ロボット座標系内のエンドエフェクタの位置を示す関節位置信号とを含む。分かり易くするために、ロボット座標系は、典型的なデカルト基準系の公称ｘ軸、ｙ軸、及びｚ軸を有するものとして説明されることがある。
【0012】
方法は、ＥＣＵを用いて、基準画像内に位置する標的点の角度オフセットとしてロール角オフセット及びピッチ角オフセットを決定することを含み得、このようなオフセットはロボット座標系に対して得られる。方法はまた、標的点の別個のｘ軸オフセット、ｙ軸オフセット、及びｚ軸オフセットを決定することと、その後、ロール、ピッチ、ｘ軸、ｙ軸、及びｚ軸オフセットをＥＣＵのメモリ又はＥＣＵによってアクセス可能なメモリ内の同次変換行列に記録又は格納することとを含む。次いで、変換行列は、ロボットカメラシステムのその後の動作中にシリアルロボットの運動シーケンスを制御するために、前述のロボット運動学と共にＥＣＵによって使用される。したがって、デジタルカメラが本方法に従って適切に較正された時点で、カメラがエンドエフェクタに接続されたままである限り、ロボットカメラシステムをその後の使用の度に再較正する必要はない。
【0013】
いくつかの構成におけるカメラは、例えば、外科医が手術中に光学距離を変更することを可能にするために、可変の光学距離を有し得る。可変の光学距離は、フォーカスモータを用いて調整され得る。そのような実施形態では、方法は、フォーカスモータを用いて光学距離又は焦点範囲にわたって可変の光学距離を調整しながら、複数のｚ軸オフセットをルックアップテーブルに記録することを含み得る。そのような実施形態においてｚ軸オフセットを決定することは、その後の運動シーケンス中にｚ軸オフセットを予め用意されたルックアップテーブルから抽出することを含み得る。
【0014】
方法は、任意選択的に、ＥＣＵを用いてカメラシステムのオートフォーカス設定を処理して上述の深度測定値を決定することを含み得る。代替的に、ＥＣＵは、深度センサ、例えばレーザ距離計又は光学センサを使用して深度測定値を測定し得る。
【0015】
光学座標系内の標的物の基準画像を取得することは、デジタルカメラを使用して２次元市松模様図形又は別のピクセル化された標的のデジタル画像を収集することを含み得る。
【0016】
シリアルロボットは、任意選択的に、かかるロボットのエンドエフェクタに結合された眼科顕微鏡に接続された又は眼科顕微鏡と一体のデジタルカメラを備えた６軸の眼科用手術ロボットとして具現化され得る。ロボットカメラシステムのその後の動作は、眼科手術中に、例えば硝子体切除術又は水晶体置換／白内障手術中に被検眼の３次元視覚化を実施することを含み得る。
【0017】
本開示の別の態様は、デジタルカメラと、デジタルカメラと通信するＥＣＵとを有するカメラシステムを含む。デジタルカメラ、例えば顕微鏡に接続された又は顕微鏡と一体の立体カメラは、シリアルロボットのエンドエフェクタに接続可能である。エンドエフェクタ及びデジタルカメラは、ロボット運動座標系内を移動する。デジタルカメラと通信するＥＣＵは、上で概説したような方法を実施するように構成される。
【0018】
本明細書では、命令が記録されたコンピュータ可読媒体も開示される。シリアルロボットのエンドエフェクタに接続されたデジタルカメラを有するロボットカメラシステムと共に使用された場合、例えば上述のＥＣＵの、プロセッサによる命令の実行によって、プロセッサは、上で概説したような方法を実施する。
【0019】
前述の概要は、本開示の可能な全ての実施形態又は態様を表すように意図されているわけではない。むしろ、この概要は、本明細書に開示される新規な態様及び特徴のいくつかを例示するように意図されている。本開示の上述及び他の可能な特徴及び利点は、本開示を実施するための代表的な実施形態及び態様の以下の詳細な説明を付随する図面及び添付の特許請求の範囲と併せて読めば容易に明らかになるであろう。
【図面の簡単な説明】
【0020】
【図1】デジタルカメラの光軸を本開示に従って較正可能である、シリアルロボットのエンドエフェクタにデジタルカメラが接続されたロボットカメラシステムの図を示す。
【図5A】本開示の態様に従ってデジタルカメラの光軸を較正する過程でのデジタルカメラの代表的な運動の概略図である。
【図5B】本開示の態様に従ってデジタルカメラの光軸を較正する過程でのデジタルカメラの代表的な運動の概略図である。
【図5C】本開示の態様に従ってデジタルカメラの光軸を較正する過程でのデジタルカメラの代表的な運動の概略図である。
【図6】光学作動距離がメートル単位で表され、縦軸に示され、且つフォーカスモータ位置がエンコーダカウントで表され、横軸に示された、光学作動距離対フォーカスモータ位置のグラフである。
【発明を実施するための形態】
【0021】
本開示の前述の特徴及び他の特徴は、以下の説明及び添付の特許請求の範囲を付随する図面と併せて読めば、より十分に明らかになる。
【0022】
本開示の実施形態が本明細書で説明される。しかしながら、開示される実施形態は単なる例示であり、他の実施形態が様々な代替形態を取り得ることが理解されよう。図は、必ずしも縮尺通りに描かれてはいない。一部の特徴は、特定の構成要素の詳細を示すために誇張又は最小限にされ得る。したがって、本明細書に開示される特定の構造的及び機能的な詳細は、限定的に解釈されるべきではなく、単に、本開示を様々に採用することを当業者に教示するための代表的な基礎として解釈されるべきである。
【0023】
当業者であれば理解するように、図面のうちのいずれか１つを参照して示されて説明される様々な特徴を、１つ以上の他の図面に示された特徴と組み合わせて、明示的に図示又は説明されていない実施形態を作り出すことができる。図示の特徴の組み合わせは、典型的な用途のための代表的な実施形態を提供する。しかしながら、本開示の教示と一致する特徴の様々な組み合わせ及び修正が、特定の用途又は実施のために望まれることもある。
【0024】
以下の説明では、特定の用語が参照のみを目的として使用される場合があり、そのため、それらは、限定を意図するものではない。例えば、「上方」及び「下方」などの用語は、参照される図面内における方向を指す。「前部」、「後部」、「前方」、「後方」、「左」、「右」、「後部」、及び「側部」などの用語は、議論している構成要素又は要素を説明する本文及び関連図面を参照することによって明確になる、一貫しているが、任意の基準系の範囲内での構成要素又は要素の部分の向き及び／又は位置を説明するものである。更に、「第１」、「第２」、「第３」などの用語は、別々の構成要素を説明するために使用され得る。そのような用語には、具体的に上述された語、それらの派生語及び類似の意味の語を含み得る。
【0025】
図面を参照すると、類似の参照番号は類似の構成要素を指し、図１において、手術室１０は、患者１１が手術台１２の上に載っている状態で、代表的な眼科手術中に見られるように示されている。本明細書で企図されるような手術室１０は、ロボットカメラシステム１４を備えており、ロボットカメラシステム１４自体は、多関節シリアルロボット１６とデジタルカメラ１８とを含む。本開示の範囲内で、ロボットカメラシステム１４は、電子制御ユニット（ＥＣＵ）５０の動作によって制御され、電子制御ユニット（ＥＣＵ）５０は、較正方法７０を具現化するコンピュータ可読命令を実行するように、ソフトウェアでプログラミングされ、ハードウェアに具備され、すなわち構成され、その例については、特に図３を参照して以下に説明する。方法７０の実行によって、以下に記載する方式でのロボットカメラシステム１４の簡便且つ迅速な較正が可能となる。
【0026】
ロボットカメラシステム１４は、ユーザ、この非限定的で例示的な例では、外科医（図示せず）が、高倍率で標的物１９の拡大画像を見ることを可能にし、１つ又は複数の高解像度表示画面２０上の画像の表示によって高解像度視覚化が容易になる。その目的のために、以下で詳細に説明する方法７０は、シリアルロボット１６の遠位端Ｅ１に配置されたロボットエンドエフェクタ２６、例えば、取付板、ブラケット、クランプ、又は他の好適な取付金具にデジタルカメラ１８を接続するときに、簡便な自動較正プロセスがＥＣＵ５０によって実施されることを可能にする。
【0027】
エンドエフェクタ２６へのデジタルカメラ１８の接続によって、典型的なデカルト基準座標系の公称ｘ軸、ｙ軸、及びｚ軸として図１に表すような、以下、簡略化するためにロボット座標系２５と称される、ロボット運動座標系２５に対するカメラの光軸及び対応する視線ベクトルの完全な直交方向の又は他の意図された位置合わせが必ずしももたらされない。すなわち、光軸に沿ったデジタルカメラ１８の視線ベクトルは、外科医による視線ベクトルの調整、カメラ固有のレンズのばらつき、又は設置よる位置合わせ誤差に起因して僅かに傾斜することがある。
【0028】
デジタルカメラ１８と標的物１９との間の延長された光学作動距離（ＷＤ）を利用する用途では、最終的に、許容できないほど高レベルの位置誤差が生じる可能性がある。このような位置誤差を最小限に抑えるために、ＥＣＵ５０は、ロボットカメラシステム１４の較正段階で変換行列（ＴＦ）７５を生成し、次いで、変換行列７５を使用してロボットカメラシステム１４のその後の運動を制御する。かかる変換行列７５は、カメラの光学系の関連パラメータの予見又はモデル化なしに導出される。補正された位置は、ロボットカメラシステム１４のその後の動作中に標的物１９を撮像する際に、続いてシリアルロボット１６の運動を制御するときに、分散モータ制御プロセッサと共に又は併せてＥＣＵ５０によって用いられる。
【0029】
当技術分野において理解されるように、デジタルカメラ１８は、ピクセル画像を形成するときに入射光を取得及び／又は記録するように集合的に構成された１組の光学画像センサ（図示せず）を内部に含む。可能な立体視の実施形態におけるかかる画像センサは、右光路及び左光路用にそれぞれ別個の右光学画像センサ及び左光学画像センサを含み、相補型金属酸化膜半導体（「ＣＭＯＳ」）検知要素、Ｎ型金属酸化膜半導体（「ＮＭＯＳ」）、半導体電荷結合素子（「ＣＣＤ」）検知要素、又は他の様々な用途に適した装置を含み得る。
【0030】
デジタルカメラ１８は、調整可能なヘッドユニット２２内に位置し、標的物１９のデジタル画像データ（矢印ＣＣＩＭＧ）を収集するように構成され得、このデジタル画像データは、標的物１９のライブ映像の立体視を生成するようにＥＣＵ５０によって処理及びフィルタリングされ得る。切り替えつまみ２３は、ユーザがヘッドユニット２２を手動で位置決めすることを可能にするのみならず、ユーザが、レベル倍率又は合焦度などの、デジタルカメラ１８の特定の特徴を調整することを可能にするために、ヘッドユニット２２上又はヘッドユニット２２に取り付けられ得る。
【0031】
デジタルカメラ１８は、キャプチャされた静止画像、リアルタイム画像及び／又はデジタル映像信号を含むが、これらに限定されない、様々な形態での提示のために標的物１９の２次元又は３次元画像をリアルタイムで取得するように構成される。本明細書中で使用する場合、「リアルタイム」とは、データを取得するのと同じ又はほぼ同じ速度で情報を更新することを指す。より具体的には、「リアルタイム」とは、画像データ（矢印ＣＣＩＭＧ）から構築された画像が最終的に表示画面２０に表示されたときに、表示画像が、スムーズに、すなわち、ユーザが容易に気付く激しい振動又は待ち時間なしに動いているように見えるように、画像データが、十分に高いデータ転送速度で且つ十分に遅い遅延で、取得、処理、及び送信されることを意味する。参考のために、好適な代表的なデータ転送速度は、約３０フレーム／秒（３０ｆｐｓ）以上であり、約６０ｆｐｓで表示され、約１／３０秒以下の遅延がある。
【0032】
本開示に従って光軸が較正されるデジタルカメラ１８は、既述の光学作動距離（ＷＤ）を有するレンズアセンブリ（図示せず）を含む。光学作動距離（ＷＤ）が設定範囲内で可変である場合、フォーカスモータ２１は、当技術分野において理解されるように、デジタルカメラ１８と標的物１９に焦点が合う基準面との間の直線距離である、作動距離を調整するためにレンズアセンブリの１つ又は複数のレンズを選択的に移動させる。いくつかの実施形態では、光学作動距離（ＷＤ）は、フォーカスモータ２１を用いて後部作動距離レンズを前部作動距離レンズに対して移動させることによって調整可能であり、「前部」及び「後部」とは、それぞれ、標的物１９に近い相対位置及び標的物１９から遠い相対位置を指す。フォーカスモータ２１は、電気モータ又は別の好適な回転アクチュエータとして、又はステッピングモータ、形状記憶合金アクチュエータ、若しくは別の用途に適したアクチュエータなどの線形アクチュエータとして様々に具現化され得る。
【0033】
更に図１を参照すると、シリアルロボット１６は、ヘッドユニット２２に動作可能に接続されてヘッドユニット２２を選択的に移動させるように構成された多関節ロボットアーム２４を含み、このヘッドユニット２２は、エンドエフェクタ２６に機械的に結合される。操作者は、ロボットアーム２４の自動位置制御によってデジタルカメラ１８を位置決めし、デジタルカメラ１８の向きを定め得る。図１に表すようなロボットアーム２４は、ヘッドユニット２２を位置決めし及び／又はヘッドユニット２２の向きを定めるときに、代表的な実施形態では、６自由度（「６－ＤｏＦ」）を提供するように集合的に構成された多数の回転関節３０を含む。
【0034】
力センサからの感覚データは、デジタルカメラ１８の動きを支援するときに、様々な関節３０の角度位置及び調整速度を決定するためにＥＣＵ５０によって用いられ得る。各それぞれの関節３０は、１つ又は複数の対応する関節モータ３１と、それぞれの関節位置センサ３３とを備え得る。そして、各関節モータ３１は、ロボット座標系２５内のそれぞれの軸を中心に回転関節３０の対応する１つを回転させるように構成され、その一方で、関節位置センサ３３は、それぞれの関節３０の各々の測定された角度位置をＥＣＵ５０に送信する。
【0035】
ロボットアーム２４は、ロボット座標系２５のｘ、ｙ、及び／又はｚ軸に沿ってデジタルカメラ１８の視野範囲を広げるように選択的に動作可能である。例えば、ロボットアーム２４及びロボットアーム２４に結合されたデジタルカメラ１８は、移動台車３４に接続され得、この移動台車３４は、調整可能なアーム４０を介して表示画面２０に物理的又は遠隔的に接続され得る。台車３４は、軽量で消毒が容易な医療グレードの材料、例えば塗装されたアルミニウム又はステンレス鋼で構築され、場合により、起こり得る塵埃、破片、及び湿気の侵入から構成ハードウェアを保護する目的でＥＣＵ５０を収容するために使用され得る。図１には、調整可能なアーム４０によって支持された表示画面２０が、高解像度／４Ｋ以上の医療グレードモニタの形態で示されているが、他の実施形態は、非限定的に、例えば、壁掛けの高精細度若しくは超高精細度テレビ、スマート眼鏡若しくは別のウェアラブルモニタ、プロジェクタ、又はコンピュータ画面を含み得る。
【0036】
デジタルカメラ１８の動作によって収集される標的物１９のデジタル画像データ（矢印ＣＣＩＭＧ）は、無線で又は物理的高速伝送導体を介してＥＣＵ５０に伝達される。次に、ＥＣＵ５０は、高解像度デジタル画像を構成して表示するのに必要不可欠なデジタル画像処理ステップを実施する。例えば、ＥＣＵ５０は、デジタルカメラ１８からの映像信号を結合又は交互配置して立体視画像を作成し得る。ＥＣＵ５０は、メモリ（Ｍ）５４として図１に概略的に表す、関連するコンピュータ可読媒体内の映像ファイル内に映像信号及び／又は立体映像信号を格納するように構成され得る。
【0037】
更にＥＣＵ５０に関して、このコンピュータ装置は、単に例示を明確且つ簡潔にするために、単一のボックスとして図１に概略的に示されている。ＥＣＵ５０の実際に実施される実施形態は、各コンピュータ装置が、１つ又は複数の対応するプロセッサ（Ｐ）５２と、プロセッサ（５２）によって読み取り可能且つ実行可能な１組のコンピュータ可読命令が記録又は格納された非一時的（例えば有形）媒体を含む、十分な量の上述のメモリ５４とを有する、ネットワークに接続された１つ又は複数のコンピュータ装置を含み得る。メモリ５４は、不揮発性媒体及び揮発性媒体を含むが、これらに限定されない、多くの形態を取り得る。図３の方法７０を具現化する命令は、メモリ５４に格納され、以下に説明される様々な較正機能を果たすようにプロセッサ５２によって選択的に実行され得る。
【0038】
当業者に理解されるように、不揮発性媒体は、光ディスク及び／若しくは磁気ディスク又は他の永続的なメモリを含み得、揮発性媒体は、ダイナミックランダムアクセスメモリ（ＤＲＡＭ）、スタティックＲＡＭ（ＳＲＡＭ）などを含み得、これらのいずれか又は全てがＥＣＵ５０のメインメモリを構成し得る。入出力（「Ｉ／Ｏ」）回路５６は、デジタルカメラ１８、光源（図示せず）、及び高解像度表示画面２０を含む様々な周辺装置への接続及び通信を容易にするために使用され得る。グラフィカルユーザインターフェース（ＧＵＩ）２９は、外科医又は臨床医が制御指令（矢印ＣＣ１４）を入力してシリアルロボット１６を動かすことを可能にするために、及び自由空間におけるシリアルロボット１６の位置を示す測定された関節角度信号（矢印ＣＣ３０）を受信するために、並びにデジタルカメラ１８の動作を制御し、別の方法で、ＥＣＵ５０及びその様々な機能とインターフェースするために、ＥＣＵ５０に接続され得る。ローカル発振器又は高速クロック、信号バッファ、フィルタ、増幅器などを含むが、これらに限定されない、図示されていないが、当技術分野で一般的に使用される他のハードウェアがＥＣＵ５０の一部として含まれ得る。
【0039】
本開示によれば、方法７０の実行は、図１のＥＣＵ５０が、本明細書では「標的へのロック」又はＬＴＴモードと称される、標的ロックモードを実施することを必要とする場合があり、標的ロックモードは、シリアルロボット１６を介してロボットの可動域の定められたワークスペース内の任意の場所にデジタルカメラ１８が位置決めされることを可能にし、標的物１９の位置が、運動追跡の目的でロックされ、この位置に適切に焦点に合った状態を維持しながら、ＬＴＴモードが、光学作動距離（ＷＤ）の変更を許容する。当技術分野において理解されるように、シリアルロボット１６を動かして、シリアルロボット１６に接続されたデジタルカメラ１８の向きを変えるときに、すなわち、視線ベクトルの方向が変化するときに、画像に焦点が合った状態を維持することは困難である可能性がある。それゆえ、開示の実施形態では、ＥＣＵ５０の標的ロックモード／ＬＴＴ能力は、特定の標的点にロックオンした状態でデジタルカメラ１８の向きを再び定めることを可能にすることによって、ロボットアーム２４が、担当外科医の延長部として効果的に動作することを可能にする。
【0040】
この定められた文脈の中で、ＥＣＵ５０は、図３の方法７０を具現化するコンピュータ可読命令でプログラミングされ、コンピュータ可読命令は、シリアルロボット１６の運動と、標的物１９のピクセル画像上の結果として生じる位置変化とを正確に関連付けるためにロボットカメラシステム１４を較正するときに実行される。方法７０の実行によって、最終的に、５つのパラメータ、すなわち、Ｎ１、Ｎ２、Ｎ３、Ｎ４、Ｎ５からの同次４×４行列としてそれ自体が構築された、変換行列７５の生成及び記録がもたらされる。
【0041】
本方策によれば、パラメータＮ１及びＮ２は、それぞれ、算出されたロールオフセット及びピッチオフセットに対応し、その一方で、パラメータＮ３、Ｎ４、及びＮ５は、それぞれ、ｘ軸オフセット、ｙ軸オフセット、及びｚ軸オフセットに対応する。したがって、変換行列７５は、線形項ｐ＝［ｘ，ｙ，ｚ］及び回転項Ｒ＝Ｒ（ほぼｘ軸）＊Ｒ（ほぼｙ軸）を有する４×４（１６要素）の同次行列として具現化され得る。例示的な眼科撮像用途での開示した解決策の目的のために、ヨーは無視することができる。解決策は、別の方法で、デジタルカメラ１８の光学系の解析モデルにアクセスすることなく進められる。代わりに、像面内の標的物１９及び標的物１９上の対象点の真の位置を算出して表示するために、変換行列７５が、ロボットカメラシステム１４のその後の運動シーケンス中に、ＥＣＵ５０によって適用される。したがって、標的物１９の表示画像の対応するピクセル位置は、ロボット座標系２５内のピクセル位置に対応する。
【0042】
延長された光学作動距離（ＷＤ）を用いてデジタルカメラ１８を制御する際に本開示によって解消される問題は、図２を簡単に参照することで理解することができ、図２は、ロボット座標系２５及び図１に示すデジタルカメラ１８のカメラ座標系１２５を図示している。原点ＰＯ，実際は、ＬＴＴ基準系、すなわちカメラ座標系１２５内にある。ロボット座標系２５のｚ軸は、通常、デジタルカメラ１８の視線ベクトル１００であると想定され、これは、視線ベクトル１００に傾斜がなければ真である。したがって、図２は、実際には視線ベクトル１００が角度（θ）をなして傾斜しているときの、図１のロボットカメラシステム１４を制御するための元の運動学モデルに対する起こり得る位置誤差（「誤差」）を図示しており、この運動学モデルは、典型的には視線ベクトル１００がヘッドユニット２２に垂直である又は直交することを想定している。
【0043】
すなわち、ロボット座標系２５内の点Ａ、Ｂ、及びＣに対して、原点ＰＯ，実際は、生じ得るピッチ及びロールオフセットも同様に、ｘ軸、ｙ軸、及びｚ軸から離れてある距離だけオフセットされ得る。換言すれば、座標系２５及び１２５は、基礎となるモデルに対して完全には位置合わせされず、別の言い方をすれば、直交関係と通常想定されるものは、正確にはそうではない。光学作動距離（ＷＤ）が増加するにつれて、結果として生じる位置誤差も増加する。例えば、３００ｍｍの光学作動距離及びほんの０．５度の傾斜角（θ）が、標的物１９の提示画像内の対応する表示誤差を伴う、５ｍｍ～１０ｍｍの位置誤差につながる可能性がある。それゆえ、本解決策は、その後の運動制御動作で使用するためにカメラ座標系１２５をロボット座標系２５まで平行移動させるときに、かかる位置誤差を最小限に抑えるために、角度オフセット、並びにｘ軸、ｙ軸、及びｚ軸オフセットを求めることを模索する。
【0044】
当技術分野において理解されるように、ＥＣＵ５０のＬＴＴ制御機能は、図１に示す付属のデジタルカメラ１８を用いてロボットアーム２４の運動を制御するときに実行される。ＬＴＴ機能によって、ＥＣＵ５０が、開始画像を表示画面２０の中心に維持しながらロボットアーム２４を動かすことが可能となる。これは、図１の光学作動距離（ＷＤ）を「ロック」することによって行われ、デジタルカメラ１８の結果として生じる運動は球面運動であり、その半径はデジタルカメラ１８の推定された焦点距離に等しい。ＥＣＵ５０のかかるＬＴＴ機能は正確性を向上させるが、ＬＴＴ機能を使用する際の画像誤差の主な原因は、許容できるレベルの精度で、視線ベクトル１００に基づく投影中心（ＣｏＰ）及び／又は焦点（ＦＰ）の位置、ひいては、図２のロボット座標系２５内の標的物１９の位置が依然として分からないことである。
【0045】
本教示は、図１に示すタイプのロボットカメラシステム、すなわち、６自由度のシリアルロボットのエンドエフェクタに接続されたデジタルカメラを有するロボットカメラシステムであって、エンドエフェクタ及びデジタルカメラがロボット運動座標系内を移動する又は自由に移動するロボットカメラシステムを較正する目的で実行されるコンピュータ実行可能命令として実現され得る。概して、本開示の範囲内に含まれる解決策は、光学座標系、すなわち、シリアルロボットの座標系とは対照的なデジタルカメラの座標系を有する像面上に位置する標的物の１つ又は複数の基準画像を取得することによって進められる。入力信号は、デジタルカメラと標的物との間の直線距離を示す深度測定値、及びロボット運動座標系内のデジタルカメラの位置を集合的に記述する１組の関節位置信号の形式で受信される。上で説明されたように、ロボット運動座標系は、公称ｘ軸、ｙ軸、及びｚ軸を有する。
【0046】
非限定的で例示的な実施形態を図３に示し以下に説明する、方法の好適な実施は、基準画像内の標的点のロール及びピッチオフセットを決定する論理ステップを含み、「オフセット」とは、ロボット運動座標系に対する角度差又はデルタを指す。そのようなオフセットは、第１の較正済み運動シーケンスでシリアルロボットを動かしている間に決定され、その後、方法は、ロボット運動座標系に対する標的点のｘ軸オフセット、ｙ軸オフセット、及びｚ軸オフセットの各々を決定する。これは、第２の較正済み運動シーケンスでシリアルロボットを動かしている間に行われる。方法は、ここから、角度及び線形／軸オフセットを変換行列に格納することによって進められ、変換行列は、シリアルロボットの第３の運動シーケンスを制御するために後に、すなわち、ロボットカメラシステムのその後の動作中に使用される。
【0047】
デジタルカメラ１８を含む顕微鏡１７を示す図４と併せて図３を参照すると、上で概説した方法、すなわち方法７０の実施形態は、ブロックＢ７２（「開始」）で始まる。方法７０は、カメラ固有のばらつきを捕捉して補正するために、所与のロボットカメラシステム１４に対して実行され得る。ブロックＢ７２は、シリアルロボット１６の遠位端Ｅ１に位置するエンドエフェクタ２６にデジタルカメラ１８が確実に取り付けられた時点で完了する。次いで、方法７０はブロックＢ７４に進む。
【0048】
ブロックＢ７４（「標的位置合わせ」）は、デジタルカメラ１８を使用して基準標的４８の画像を取得することを含み、分かり易くするために、そのような画像は本明細書では「基準画像」と称される。図４に示すように、基準標的４８は、ピクセル化された標的図形４８Ｐ、例えば、ｙ軸寸法（ｙＯＰＴ）とｘ軸寸法（ｘＯＰＴ）とを有する交互の黒色及び白色ピクセル４９を有する２次元矩形市松模様画像であり得る。初期の標的位置合わせ中に、ＥＣＵ５０は、シリアルロボット１６を既定の関節角度まで動かし、次いで、基準画像のｘ軸及びｙ軸が基準標的４８のｘ軸及びｙ軸と位置合わせされるように、シリアルロボット１６を回転させるように試みる。基準画像は、ブロックＢ７４ではｘ軸とｙ軸のみが位置合わせされ、結果として得られた関節角度がメモリ５４に格納されるので、センタリングされる必要はない。
【0049】
ブロックＢ７４の一部として、図１のフォーカスモータ２１の位置は、較正された焦点距離で初期化される。較正された焦点距離は、続いてＥＣＵ５０がブロックＢ７６、Ｂ７８、及びＢ８０を実施する焦点距離を表す。例えば、ＥＣＵ５０は、可能な実施形態では、焦点距離を、それ自体がメモリ５４に格納された既定の２次作動距離曲線の５０％に又は約０．３５ｍ～０．４５ｍに設定し得る。したがって、ブロックＢ７４は、場合により、図４に示すように深度センサ２７を使用して測定された又はデジタルカメラ１８のオートフォーカス設定から導出された、深度測定値を含む入力信号（矢印ＣＣＩＮ）を使用して、ＥＣＵ５０自体が図１のシリアルロボット１６と通信する、ＥＣＵ５０を用いて入力信号（矢印ＣＣＩＮ）を受信することを伴う。深度測定値は、デジタルカメラ１８の光軸（ＬＬ）に沿った標的物１９までの直線距離を示し、デジタルカメラ１８は、可能な実施形態では、顕微鏡１７、例えば眼科顕微鏡と一体のものとして示されている。入力信号（矢印ＣＣＩＮ）はまた、ロボット座標系２５におけるシリアルロボット１６の遠位端Ｅ１の位置を示す関節位置信号（図１の矢印ＣＣ３０）も含む（図１及び図２を参照）。次いで、方法７０はブロックＢ７６に進む。
【0050】
次に、ブロックＢ７６（「角度オフセット」）において、ＥＣＵ５０は、上述の基準画像内の基準点のロールオフセット及びピッチオフセットを決定し、ロボット座標系２５に対してそれを行う。ロールオフセット及びピッチオフセットは、シリアルロボット１６のエンドエフェクタ２６をｚ軸に沿って上方又は下方に動かすことと、ＥＣＵ５０を用いて、図４の中心画像１４８のｘ位置及びｙ位置が初期状態から逸脱する距離を観察して記録することとによって決定され得る。例えば、ＥＣＵ５０は、基準画像と測定された変位との差又はデルタを使用して、ｘ軸及びｙ軸に対して独立してロール角及びピッチ角を算出するために、アークタンジェント（逆正接）計算を用い得る。変位の測定は、当業者に理解されるように、上述のＬＴＴ論理を用いて達成され得る。ＥＣＵ５０は、例えば、±０．５度の範囲内のロール及びピッチパラメータに対して繰り返すことによって、正確性を高めるために、ブロックＢ７６の数回の繰り返しを選択的に実行し得る。
【0051】
ブロックＢ７８（「Ｘ、Ｙオフセット」）は、デジタルカメラ１８のｚ軸を中心にデジタルカメラ１８を回転させることを伴い得る。これが行われると、投影中心（ＣｏＰ）におけるｘオフセット及びｙオフセットによって、基準画像が円軌跡を描く。したがって、Ａｘ＝ｂ行列は、基準画像上で測定される、ｘ方向及びｙ方向におけるデルタを算出し、それにより、ＥＣＵ５０が開始ｘ及びｙ位置を算出することを可能にすることで、ＥＣＵ５０によって使用され得る。そのため、ブロックＢ７８は、ＥＣＵ５０を用いて、ロボット座標系２５に対する基準点のｘ軸オフセット及びｙ軸オフセットを決定することを含む。次いで、ＥＣＵ５０は、ロールオフセット及びピッチオフセットと共にｘ軸オフセット及びｙ軸オフセットを、ＥＣＵ５０のメモリ５４内の又は別のアクセス可能な場所における、図１の変換行列７５に格納する。
【0052】
ブロックＢ８０は、ブロックＢ７８のｘ及びｙオフセットを調整した後にｚ軸オフセットを決定することを伴う。図５Ａ及び図５Ｂを簡単に参照すると、Ｚ軸オフセットは、所与の焦点距離（ｆ）に対して正しい標的Ｚ軸位置を位置合わせするための［ｆ，ｚ］の可能な解の１つである。実際のＣｏＰは、点６４で表される。光軸に沿って、基準点６２は、光軸が像面６０と交差する場所に存在する。しかしながら、ＥＣＵ５０は、方法７０を用いる較正の前に、ＣｏＰが実際には点６６（ＣｏＰ５０）に位置し、標的の真の位置が点６５（ＴＧＴ５０）であるという間違った理解に基づいて、動作し得る。したがって、点６４と点６２との間の実際の焦点距離（ｆ）は、ＥＣＵ５０の焦点距離推定値（ｆ５０）と異なり、ｚ軸に沿った差の量はΔｚで表される。
【0053】
ブロックＢ８０では、ＥＣＵ５０は、シリアルロボット１６が、図５Ｂに矢印６７で表すように、球状の可動域内で既知の角度（θ’）だけデジタルカメラ１８を移動させる実験を行い得る。点６２、６４、及び６６の新たな対応する位置は、それぞれ、点１６２、１６４、及び１６６として図５Ｂに示されている。このようないくつかの運動は連続して実施され得、平均デルタは、次の式で使用され得る。したがって、測定誤差（Δｘｉｍｇ）が像面内に生じる。
【0054】
図６に示すようなｚ軸による解決策は、ｘｉｍｇを測定し、既知の角度（θ’）を使用してｚ軸距離（ｒ）を算出することである。ＥＣＵ５０は、ロボット座標系２５内でΔｘ＝０となるように、以下：
のように標的点６５を距離（ｒ）だけ上にずらすことができる。方法７０の初期におけるＥＣＵ５０は、較正済み焦点距離にロックされているので、最適な解決策は、ＥＣＵ５０によって使用されるｚ軸オフセットを距離（ｒ）に等しくなるように簡便に設定することであり、この距離（ｒ）は、当技術分野において理解されるように、ＥＣＵ５０を用いて測定され得る。次いで、方法７０はブロックＢ８２に進む。
【数1】
【0055】
図３に示す方法７０のブロックＢ８２は、ＥＣＵ５０のメモリ５４内にフォーカス対光学作動距離（Ｆ対ＷＤ）テーブルを作成することを伴い得る。この動作は、上で説明したロール、ピッチ、及びｘ、ｙ、ｘ軸オフセットの調整後に、ロボットカメラシステム１４のその後の動作中に使用されるテーブルから抽出された値を用いて、オフラインで達成され得る。例えば、ＥＣＵ５０は、較正された焦点距離で初期化し、その後、テーブルにデータを追加し得る。可能な実施形態では、シリアルロボット１６は、ＥＣＵ５０又は他の好適な処理及び制御ハードウェアの指示で、較正される量だけ各限界に向けてデジタルカメラ１８を図２の視線ベクトル１００に沿って移動させ、次いで、エンコーダ位置又は「カウント」の対応するテーブルエントリ、メートル単位の光学作動距離（ＷＤ）をルックアップテーブルに格納する。図８に示すそのようなデータの曲線９０は、曲線９０は、所与の光学作動距離（ＷＤ）に対する対応するｚ軸オフセットを表す。すなわち、ＥＣＵ５０は、フォーカスモータ２１（図１を参照）のカウントに基づく位置及び対応する光学作動距離（ＷＤ）を使用して、図示の曲線９０を生成する。
【0056】
所与のＬＴＴ操作を実施するために標的物１９をロックオンするときに、図１のロボットアーム２４には、視線ベクトル１００に沿ったＣｏＰから標的位置までの距離が与えられる。この値は、フォーカスモータ２１の生のエンコーダ位置を入力することによって得られ得る。したがって、本較正方法７０の重要な最終結果は、標的物１９の位置を算出する際に変換行列７５を使用して位置誤差が最小限に抑えられることである。実質的な意味において、ＥＣＵ５０は、ＥＣＵ５０がＬＴＴモードに入るたびに、対応するＬＴＴ制御座標系の位置を算出し、光学作動距離（ＷＤ）を求めるために、デジタルカメラ１８に、光学作動距離テーブル、例えば図８の曲線９０を調べさせる。その後、ＥＣＵ５０は、視線ベクトル１００を生成する。視線ベクトル１００の終点は標的位置であり、標的位置の位置誤差は、方法７０の実行によって最終的に最小限に抑えられる。一定の光学作動距離の顕微鏡１７の場合のように、単一の光学作動距離（ＷＤ）を考慮する場合、ＥＣＵ５０は依然として、その特定の光学作動距離における誤差を最小限に抑えるために単一のｚ軸オフセットを決定する。それゆえ、そのような手法の機能的等価物は、単一のＺオフセットエントリを有するルックアップテーブル又はメモリ位置の作成である。
【0057】
次に、図３の方法７０は、ＥＣＵ５０が、図１の変換行列７５を使用して、ロボットカメラシステム１４のその後の動作中にシリアルロボット１６の運動シーケンスを制御する、ブロックＢ８４に続く。したがって、例えば、自律的に生成された又は外科医によって指令された、ＥＣＵ５０からの指令に応答してシリアルロボット１６を動かすときに、ＥＣＵ５０の運動制御論理は、ロボット座標系２５内のシリアルロボット１６の増分運動の、カメラ座標系１２５内での、すなわち像面上での、応答を認識する。したがって、標的物１９上の特定の点、例えば眼科手術中の患者の角膜又は水晶体上の点を視覚化したいと望む外科医には、表示されたデジタル画像上の予期される場所に標的点が正確に現れるという高い確信度が与えられる。
【0058】
前述の開示に鑑みて当業者に理解されるように、方法７０の実行によって可能となる較正プロセス又はその論理的変化は、ロボット座標系２５とカメラ座標系１２５との予期される位置合わせの間の僅かな変化を補正するように意図されている。外科医による視線ベクトルの調整、デジタルカメラ１８を図１のエンドエフェクタ２６に取り付ける際の公差、又は他の要因によるかどうかにかかわらず、所与のカメラは、所与の手術室１０内の予期される位置合わせと完全に一致しない。したがって、既述の較正する試みは、所与のカメラとロボットとの接続に対して行われる。方法７０の較正ステップが完了した時点で、方法７０は、ブロックＢ８４に進むことができ、ブロックＢ８４では、外科医又は臨床医は、ロボットカメラシステム１４のその後の動作中の位置誤差が最小限に抑えられるという利点を享受することができる。これらの及び他の潜在的な利点は、前述の開示に鑑みて当業者に容易に理解されるであろう。
【0059】
詳細な説明及び図面は、本開示をサポートし、説明するものであるが、本開示の範囲は、特許請求の範囲によってのみ定義される。特許請求の範囲に記載された開示を実施するための最良の態様及び他の実施形態のいくつかを詳細に説明したが、添付の特許請求の範囲において定義された開示を実施するための様々な代替的な設計及び実施形態が存在する。更に、図面に示された実施形態又は本明細書で言及された様々な実施形態の特徴は、必ずしも互いに独立した実施形態として理解されるべきではない。むしろ、ある実施形態の例のうちの１つで説明された特性のそれぞれは、他の実施形態からの１つ又は複数の他の望ましい特性と組み合わせることが可能であり、その結果、言葉で説明されていないか又は図面を参照することによって説明されていない他の実施形態を得ることができる。したがって、このような他の実施形態は、添付の特許請求の範囲の枠組み内に含まれる。
【図1】
【図2】
【図3】
【図4】
【図5A-5C】
【図6】
【手続補正書】
【提出日】2022-08-25
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
シリアルロボットのエンドエフェクタに接続されたデジタルカメラを有するロボットカメラシステムを較正する方法であって、前記エンドエフェクタ及び前記デジタルカメラは、ロボット運動座標系内を移動し、前記デジタルカメラは、眼科顕微鏡と一体であり、前記方法は、光学座標系を有する像面内の標的物の基準画像を、前記デジタルカメラを使用して取得することと、
前記シリアルロボット及び前記デジタルカメラと通信する電子制御ユニット（ＥＣＵ）を用いて入力信号を受信することであって、前記入力信号は、前記デジタルカメラと前記標的物との間の直線距離を示す深度測定値と、前記ロボット運動座標系内の前記デジタルカメラの位置を集合的に記述する１組の関節位置信号とを含み、前記ロボット運動座標系は、ｘ軸、ｙ軸、及びｚ軸を有する、前記受信することと、
第１の較正済み運動シーケンスで前記シリアルロボットを動かしている間に、前記ＥＣＵを用いて、前記ロボット運動座標系に対する前記基準画像内の標的点のロールオフセット及びピッチオフセットを決定することと、
前記ロールオフセット及び前記ピッチオフセットを決定した後、第２の較正済み運動シーケンスで前記シリアルロボットを動かしている間に、前記ＥＣＵを用いて、前記ロボット運動座標系に対する前記標的点のｘ軸オフセット、ｙ軸オフセット、及びｚ軸オフセットの各々を決定することと、
前記ロールオフセット、前記ピッチオフセット、前記ｘ軸オフセット、前記ｙ軸オフセット、及び前記ｚ軸オフセットを前記ＥＣＵのメモリ内の変換行列に格納することと、
前記ＥＣＵを用いて、前記ロボットカメラシステムのその後の動作中に前記変換行列を使用して前記シリアルロボットの第３の運動シーケンスを制御することであって、前記その後の動作は、前記眼科顕微鏡を使用する眼科手術の一部である、前記制御することと、
を含む、方法。
【請求項2】
前記デジタルカメラは、前記デジタルカメラとフォーカスモータによって制御される前記標的物との間の可変の光学作動距離を有し、前記ｚ軸オフセットを決定することは、前記可変の光学作動距離と前記フォーカスモータの回転位置又はエンコーダカウントとによって索引付けされたルックアップテーブルから前記ｚ軸オフセットを抽出することを含む、請求項１に記載の方法。
【請求項3】
前記可変の光学作動距離に対応する焦点範囲にわたって前記フォーカスモータを制御している間に前記ＥＣＵを用いて前記ルックアップテーブルにデータを追加することを更に含む、請求項２に記載の方法。
【請求項4】
前記ＥＣＵを用いて前記デジタルカメラのオートフォーカス設定を受信することと、前記ＥＣＵを用いて前記ロボットカメラシステムの前記オートフォーカス設定を処理して前記深度測定値を決定することと、
を更に含む、請求項１に記載の方法。
【請求項5】
深度センサを使用して前記深度測定値を測定することと、前記シリアルロボットの対応する１組の関節位置センサを用いて前記関節位置信号を測定することと、
を更に含む、請求項１に記載の方法。
【請求項6】
前記標的物の前記基準画像を取得することは、前記デジタルカメラを使用して２次元市松模様図形のデジタル画像を収集することを含む、請求項１に記載の方法。
【請求項7】
前記その後の動作中に１つ又は複数の表示画面を通して前記標的物の３次元画像を表示することを更に含む、請求項１に記載の方法。
【請求項8】
ロボットカメラシステムであって、シリアルロボットのエンドエフェクタに接続可能なデジタルカメラであって、前記エンドエフェクタ及び前記デジタルカメラは、ロボット運動座標系内を移動する、前記デジタルカメラと、
前記デジタルカメラと一体である眼科顕微鏡と、
前記デジタルカメラと通信する電子制御ユニット（ＥＣＵ）であって、
光学座標系を有する像面内の標的物の基準画像を、前記デジタルカメラを使用して取得することであって、前記標的物はヒト患者の眼である、前記取得することと、
前記デジタルカメラと前記標的物との間の直線距離を示す深度測定値と、前記ロボット運動座標系内の前記デジタルカメラの位置を集合的に記述する１組の関節位置信号とを含む、入力信号を受信することであって、前記ロボット運動座標系は、ｘ軸、ｙ軸、及びｚ軸を有する、前記受信することと、
第１の較正済み運動シーケンスで前記シリアルロボットを動かしている間に、前記ロボット運動座標系に対する前記基準画像内の標的点のロールオフセット及びピッチオフセットを決定することと、
前記ロールオフセット及び前記ピッチオフセットを決定した後、第２の較正済み運動シーケンスで前記シリアルロボットを動かしている間に、前記ロボット運動座標系に対する前記標的点のｘ軸オフセット、ｙ軸オフセット、及びｚ軸オフセットの各々を決定することと、
前記ロールオフセット、前記ピッチオフセット、前記ｘ軸オフセット、前記ｙ軸オフセット、及び前記ｚ軸オフセットを前記ＥＣＵのメモリ内の変換行列に格納することと、
前記ロボットカメラシステムのその後の動作中に前記変換行列を使用して前記シリアルロボットの第３の運動シーケンスを制御することであって、前記ロボットカメラシステムの前記その後の動作は、眼科手術の一部として実施される、前記制御することと、
を行うように構成された前記電子制御ユニット（ＥＣＵ）と、
を含む、ロボットカメラシステム。
【請求項9】
前記シリアルロボットを更に含む、請求項８に記載のロボットカメラシステム。
【請求項10】
前記デジタルカメラは、フォーカスモータを含み、前記デジタルカメラと前記フォーカスモータによって制御される前記像面との間の可変の光学作動距離を有し、前記ＥＣＵは、前記可変の光学作動距離と前記フォーカスモータの回転位置又はエンコーダカウントとによって索引付けされたルックアップテーブルから前記ｚ軸オフセットを抽出するように構成される、請求項８に記載のロボットカメラシステム。
【請求項11】
前記ＥＣＵは、前記可変の光学作動距離に対応する焦点範囲にわたって前記フォーカスモータを制御している間に前記ルックアップテーブルにデータを追加するように構成される、請求項１０に記載のロボットカメラシステム。
【請求項12】
前記ＥＣＵは、前記デジタルカメラのオートフォーカス設定を受信し、前記オートフォーカス設定を使用して前記深度測定値を決定するように構成される、請求項８に記載のロボットカメラシステム。
【請求項13】
前記深度測定値を決定するように動作可能な深度センサを更に含む、請求項８に記載のロボットカメラシステム。
【請求項14】
前記ＥＣＵは、前記デジタルカメラを使用して２次元市松模様図形のデジタル画像を収集することによって前記標的物の前記基準画像を取得するように構成される、請求項８に記載のロボットカメラシステム。
【請求項15】
１つ又は複数の表示画面を更に含み、前記ＥＣＵは、前記その後の動作中に前記１つ又は複数の表示画面を通して前記標的物の３次元画像を表示するように構成される、請求項８に記載のロボットカメラシステム。
【請求項16】
命令が記録されたコンピュータ可読媒体であって、デジタルカメラがシリアルロボットのエンドエフェクタに接続された、前記デジタルカメラと一体である眼科顕微鏡のロボットカメラシステムと共に使用された場合、プロセッサによる前記命令の実行によって、前記プロセッサが、光学座標系を有する像面上の患者の眼の基準画像を前記デジタルカメラから取得することと、
前記デジタルカメラと前記患者の眼との間の直線距離を示す深度測定値と、ロボット運動座標系内の前記デジタルカメラの位置を集合的に記述する１組の関節位置信号とを含む、入力信号を受信することであって、前記ロボット運動座標系は、ｘ軸、ｙ軸、及びｚ軸を有する、前記受信することと、
第１の較正済み運動シーケンスで前記シリアルロボットを動かしている間に、前記ロボット運動座標系に対する前記基準画像内の標的点のロールオフセット及びピッチオフセットを決定することと、
前記ロールオフセット及び前記ピッチオフセットを決定した後、第２の較正済み運動シーケンスで前記シリアルロボットを動かしている間に、前記ロボット運動座標系に対する前記標的点のｘ軸オフセット、ｙ軸オフセット、及びｚ軸オフセットの各々を決定することと、
前記ロールオフセット、前記ピッチオフセット、前記ｘ軸オフセット、前記ｙ軸オフセット、及び前記ｚ軸オフセットを前記コンピュータ可読媒体内の変換行列に格納し、それにより、前記デジタルカメラを有する前記ロボットカメラシステムを較正することと、
前記ロボットカメラシステムのその後の動作中に前記変換行列を使用して前記シリアルロボットの第３の運動シーケンスを制御することであって、前記ロボットカメラシステムの前記その後の動作は、眼科手術の一部として実施される、前記制御することと、
を行う、コンピュータ可読媒体。
【請求項17】
前記デジタルカメラは立体カメラであり、前記プロセッサによる前記命令の前記実行によって、前記プロセッサが、前記その後の動作中に１つ又は複数の表示画面を通して前記標的物の３次元画像を表示する、請求項１６に記載のコンピュータ可読媒体。
【請求項18】
前記デジタルカメラは、前記デジタルカメラとフォーカスモータによって制御される前記像面との間に可変の光学作動距離を有し、前記プロセッサによる前記命令の実行によって、前記プロセッサが、前記フォーカスモータの回転位置又はエンコーダカウントを決定することと、
前記ｚ軸オフセットによってデータが追加されたルックアップテーブルであって、前記可変の光学作動距離と前記フォーカスモータの前記回転位置又はエンコーダカウントとによって索引付けされた前記ルックアップテーブルから前記ｚ軸オフセットを抽出することと、
を行う、請求項１６に記載のコンピュータ可読媒体。
【国際調査報告】