特開2022-101696画像捕捉デバイスの視界内の物体を検出するためのシステムおよび方法
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2022101696
(43)【公開日】2022-07-06
(54)【発明の名称】画像捕捉デバイスの視界内の物体を検出するためのシステムおよび方法
(51)【国際特許分類】
A61B 34/35 20160101AFI20220629BHJP
【ＦＩ】
A61B34/35
【審査請求】有
【請求項の数】1
【出願形態】ＯＬ
【外国語出願】
(21)【出願番号】P 2022075936
(22)【出願日】2022-05-02
(62)【分割の表示】P 2019564889の分割
【原出願日】2018-05-07
(31)【優先権主張番号】62/511,022
(32)【優先日】2017-05-25
(33)【優先権主張国・地域又は機関】US
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．ＶＩＳＵＡＬ ＢＡＳＩＣ
(71)【出願人】
【識別番号】512269650
【氏名又は名称】コヴィディエン リミテッド パートナーシップ
(74)【代理人】
【識別番号】100107489
【弁理士】
【氏名又は名称】大塩 竹志
(72)【発明者】
【氏名】ウィリアム ペイン
(57)【要約】
【課題】画像捕捉デバイスの視界内の物体を検出するためのシステムおよび方法の提供。
【解決手段】方法、システム、およびコンピュータ可読媒体は、１つ以上の手術器具の場所を追跡する。この方法は、カメラの視界内の第１の手術器具の遠位端に配設された複数のマーカーを検出することと、カメラの視界内の複数のマーカーの場所に基づいて第１の手術器具の位置を計算することと、第２の手術器具に対する第１の手術器具の位置を判定することと、を含む。
【選択図】図１
【解決手段】方法、システム、およびコンピュータ可読媒体は、１つ以上の手術器具の場所を追跡する。この方法は、カメラの視界内の第１の手術器具の遠位端に配設された複数のマーカーを検出することと、カメラの視界内の複数のマーカーの場所に基づいて第１の手術器具の位置を計算することと、第２の手術器具に対する第１の手術器具の位置を判定することと、を含む。
【選択図】図１
【特許請求の範囲】
【請求項1】
明細書に記載された発明。
【発明の詳細な説明】
【背景技術】
【0001】
ロボット手術システムは、低侵襲医療手技でますます使用されている。典型的には、ロボット手術システムは、手術器具および／またはカメラが連結された１つ以上のロボットアームから離れて位置する外科医コンソールを含む。外科医コンソールは、ロボットアームがある手術室の反対側、別の部屋、または別の建物に位置することができ、外科医からの入力を受信するための入力ハンドルまたは他の入力デバイスを含む。入力は、中央コントローラに通信され、中央コントローラは、入力を、患者の近くのロボットアームを操作するためのコマンドに変換する。
【0002】
手術部位を視認するために、外科医コンソールは、三次元（３Ｄ）ディスプレイと称されることもある立体視ディスプレイを含み得る。いくつかの構成では、外科医が着用する、対応する対の立体視眼鏡と組み合わせて、かかるディスプレイは、左眼と右眼とにそれぞれ別々に提供される一対の別個の画像として外科医に画像を提示することによって、画像の深度知覚を容易にし、左眼と右眼との間のオフセットの効果を再現し、これにより、ディスプレイ内で各眼が見るものに差異が生じる。ディスプレイ内で各眼が見る異なる画像は、画像内の物体の深度の違いとして知覚される。他の構成では、立体視ディスプレイは、眼鏡の必要なしに、視認される。
【0003】
立体視ディスプレイは、手術部位からロボット手術システムを介して提供される画像を提供する。ロボット手術システムのいくつかの構成では、１つ以上のカメラが取り付けられているものを含む各ロボットアームが、それ自体の基部またはカートから延在する。手術前の準備中、外科医の好みに応じて、各ロボットアームを手術室のさまざまな位置に移動することができる。各カートを所定の位置に固定するために、各ホイールは、動き防止するためのロックまたはその他の固定機構を含む。手術中、カメラは、手術部位の視野を提供する。外科医がロボットアーム、ひいては、その上の手術器具を移動させるための入力を提供すると、手術器具をカメラの視界の中および外に移動させることができる。
【0004】
上記のロボット手術システムの構成は適切であるが、その構成を改善することができる。例えば、一部の医療手技は持続期間が比較的長い場合があるため、コンソール内で制限された位置を維持することは、一部の外科医に不快感を引き起こし得る。さらに、ロボットアームに関しては、外科医は、ロボットアームおよび／または器具がカメラの視界から外れたときに、１つのロボットアームおよび／または器具の、別のものに対する場所を判定するために外科医自身の記憶に頼ることがある。しかしながら、視野外のロボットアームは、手技中のある時点で移動する可能性があり、ひいては、外科医が最後に記憶した場所に位置しない場合がある。その結果、外科医は、視野外のロボットアームを見つけるのに時間を費やす必要がある場合があり、効率が低下する。
【発明の概要】
【課題を解決するための手段】
【0005】
本開示によるロボット手術システムは、外科医が、患者のベッドサイドでどのような行動が取られ、どのように行動が実装されるかについての制御を改善することを可能にする。
【0006】
本開示の一態様によれば、１つ以上の手術器具の位置を追跡するための方法が提供される。この方法は、カメラの視界内の第１の手術器具の遠位端に配設された複数のマーカーを検出することと、カメラの視界内で検出された複数のマーカーの場所に基づいて第１の手術器具の位置を計算することと、第２の手術器具に対する第１の手術器具の位置を判定することと、を含む。
【0007】
本開示の別の態様では、第１の手術器具は、ロボットアームに連結され、第１の手術器具の位置を計算するために使用される所定の点を有する。
【0008】
本開示のまた別の態様では、第１の手術器具の位置を計算することは、ロボットアームの所定の点の位置を計算して、ロボットアームの基部の位置を識別することを含む。
【0009】
本開示の別の態様では、本方法は、検出された複数のマーカーの場所を連続的に更新することによって、第１の手術器具の位置を追跡することをさらに含む。
【0010】
本開示のまた別の態様では、第１の手術器具の位置を計算することは、検出された複数のマーカーの場所に基づいて、第１の手術器具の三次元位置を三角測量することを含む。
【0011】
本開示のまた別の態様では、本方法は、第１の手術器具の位置を記憶することをさらに含む。
【0012】
本開示の別の態様では、本方法は、第１の手術器具がカメラの視界の外側にあるとき、第１の手術器具の位置を識別するインジケータをディスプレイ上に表示することをさらに含む。
【0013】
本開示のさらに別の態様では、本方法は、カメラの視界を増加させて、その中に複数のマーカーを含めることを含む。
【0014】
本開示の別の態様では、本方法はまた、第１の手術器具がカメラの視界内にもはや存在しないという警告を表示することを含む。
【0015】
本開示のまた別の態様では、警告を表示することは、メッセージを用いてユーザを促すことを含む。
【0016】
本開示のまた別の態様では、本方法はまた、手術室内の第１の手術器具の最適な位置を判定することを含む。
【0017】
本開示の別の態様では、本方法は、手術室内の第１の手術器具の場所のマップを生成することをさらに含む。
【0018】
本開示のまた別の態様では、マップを生成することは、手術台と第１の手術器具との相対位置を示すマップを生成することを含む。
【0019】
本開示のまた別の態様では、本方法は、検出された複数のマーカーがカメラの視界の外側にあるとき、第１の手術器具を制御する能力を無効にすることをさらに含む。
【0020】
本開示の別の態様では、本方法は、第１の手術器具がカメラの視界から離れている距離を計算することをさらに含む。本開示のまた別の態様では、本方法は、計算された距離をディスプレイデバイスに表示することをさらに含む。
【0021】
本開示の別の態様に従って、１つ以上の手術器具の位置を追跡するように構成されたロボット手術システムが提供される。ロボット手術システムは、第１の手術器具に連結されたロボットアームと、手術部位の画像を取得するように構成されたカメラと、カメラから取得した手術部位の画像を表示するように構成されたディスプレイと、カメラの視界内で第１の手術器具の遠位端に配設された複数のマーカーを検出するように構成された画像プロセッサと、視界内の複数のマーカーの場所に基づいて第１の手術器具の位置を計算し、第２の手術器具に対する第１の手術器具の位置を判定するように構成されたコントローラと、を含む。
【0022】
本開示の別の態様では、ロボットアームは、所定の点を有し、コントローラは、所定の点に部分的に基づいて第１の手術器具の位置を計算するようにさらに構成されている。
【0023】
本開示の別の態様では、コントローラは、ロボットアームの所定の点の位置を計算して、ロボットアームの基部の位置を識別することによって、第１の手術器具の位置を計算するようにさらに構成されている。
【0024】
本開示の別の態様では、コントローラは、検出された複数のマーカーの場所を連続的に更新することによって、第１の手術器具の位置を追跡するようにさらに構成されている。
【0025】
本開示のまた別の態様では、コントローラは、検出された複数のマーカーの場所に基づいて、第１の手術器具の三次元位置を三角測量することによって、第１の手術器具の位置を計算するようにさらに構成されている。
【0026】
本開示のまた別の態様では、システムは、コントローラに連結されたメモリをさらに含み、メモリは、第１の手術器具の位置を記憶する。
【0027】
本開示のまた別の態様では、コントローラは、ディスプレイに、第１の手術器具がカメラの視界の外側にあるときに、第１の手術器具の位置を識別するインジケータを表示させるようにさらに構成されている。
【0028】
本開示の別の態様では、コントローラは、カメラの視界を増加させて、その中に複数のマーカーを含めるようにさらに構成されている。
【0029】
本開示の別の態様では、コントローラは、ディスプレイに、第１の手術器具がカメラの視界内にもはや存在しないという警告を表示させるようにさらに構成されている。
【0030】
本開示の別の態様では、警告を表示することは、メッセージを用いてユーザを促すことを含む。
【0031】
本開示の別の態様では、コントローラは、手術室内の第１の手術器具の最適な位置を判定するようにさらに構成されている。
【0032】
本開示のまた別の態様では、コントローラは、手術室内の第１の手術器具の位置を示すマップを生成するようにさらに構成されている。
【0033】
本開示のまた別の態様では、マップを生成することは、手術台と第１の手術器具との相対位置を示すマップを生成することを含む。
【0034】
本開示のまた別の態様では、コントローラは、検出された複数のマーカーがカメラの視界の外側にあるとき、第１の手術器具を制御する能力を無効にするようにさらに構成されている。
【0035】
本開示のまた別の態様では、コントローラは、第１の手術器具がカメラの視界から離れている距離を計算するようにさらに構成されている。
【0036】
本開示のさらに別の態様では、コントローラは、ディスプレイデバイスに、計算された距離を表示させるようにさらに構成されている。
【0037】
本開示のまた別の態様によれば、非一時的コンピュータ可読媒体は、そこに記憶された命令を有し、命令は、プロセッサによって実行されると、カメラの視界内の第１の手術器具の遠位端に配設された複数のマーカーを検出することと、カメラの視界内で検出された複数のマーカーの場所に基づいて第１の手術器具の位置を計算することと、第２の手術器具に対する第１の手術器具の位置を判定することと、を引き起こす。
【0038】
本開示の別の態様では、さらなる命令であって、プロセッサによって実行されると、第１の手術器具が連結されているロボットアーム上の所定の点を使用することによって、第１の手術器具の位置を計算することを引き起こす、さらなる命令が含まれる。
【0039】
本開示の別の態様では、さらなる命令であって、プロセッサによって実行されると、ロボットアームの所定の点の位置を計算して、ロボットアームの基部の位置を識別することを含む、第１の手術器具の位置を計算することを引き起こす、さらなる命令が含まれる。
【0040】
本開示の別の態様では、さらなる命令であって、プロセッサによって実行されると、検出された複数のマーカーの場所を連続的に更新することによって、第１の手術器具の位置を追跡することを引き起こす、さらなる命令が含まれる。
【0041】
本開示のまた別の態様では、第１の手術器具の位置を計算することは、検出された複数のマーカーの場所に基づいて、第１の手術器具の三次元位置を三角測量することを含む。
【0042】
本開示の別の態様では、さらなる命令であって、プロセッサによって実行されると、第１の手術器具の位置を記憶することを引き起こす、さらなる命令が含まれる。
【0043】
本開示の別の態様では、さらなる命令であって、プロセッサによって実行されると、第１の手術器具がカメラの視界の外側にあるとき、第１の手術器具の位置を識別するインジケータをディスプレイ上に表示することを引き起こす、さらなる命令が含まれる。
【0044】
本開示の別の態様では、さらなる命令であって、プロセッサによって実行されると、カメラの視界を増加させて、その中に複数のマーカーを含めることを引き起こす、さらなる命令が含まれる。
【0045】
本開示の別の態様では、さらなる命令であって、プロセッサによって実行されると、第１の手術器具がカメラの視界内にもはや存在しないという警告を表示することを引き起こす、さらなる命令が含まれる。
【0046】
本開示のまた別の態様では、警告を表示することは、メッセージを用いてユーザを促すことを含む。
【0047】
本開示の別の態様では、さらなる命令であって、プロセッサによって実行されると、手術室内の第１の手術器具の最適な位置を判定することを引き起こす、さらなる命令が含まれる。
【0048】
本開示の別の態様では、さらなる命令であって、プロセッサによって実行されると、手術室内の第１の手術器具の位置のマップを生成することを引き起こす、さらなる命令が含まれる。
【0049】
本開示のまた別の態様では、マップを生成することは、手術台と第１の手術器具との相対位置を示すマップを生成することを含む。
【0050】
本開示の別の態様では、さらなる命令であって、プロセッサによって実行されると、検出された複数のマーカーがカメラの視界の外側にあるとき、第１の手術器具を制御する能力を無効にすることを引き起こす、さらなる命令が含まれる。
【0051】
本開示の別の態様では、さらなる命令であって、プロセッサによって実行されると、第１の手術器具がカメラの視界から離れている距離を計算することを引き起こす、さらなる命令が含まれる。
【0052】
本開示の別の態様では、さらなる命令であって、プロセッサによって実行されると、計算された距離をディスプレイデバイスに表示することを引き起こす、さらなる命令が含まれる。
本発明は、例えば、以下を提供する。
（項目１）
１つ以上の手術器具の位置を追跡する方法であって、
カメラの視界内の第１の手術器具の遠位端に配設された複数のマーカーを検出することと、
前記カメラの前記視界内で検出された前記複数のマーカーの場所に基づいて、前記第１の手術器具の位置を計算することと、
第２の手術器具に対する前記第１の手術器具の前記位置を判定することと、を含む、方法。
（項目２）
前記第１の手術器具が、前記第１の手術器具の前記位置を計算するために使用される所定の点を有するロボットアームに連結される、項目１に記載の方法。
（項目３）
前記第１の手術器具の前記位置を計算することが、前記ロボットアームの前記所定の点の位置を計算して、前記ロボットアームの基部の位置を識別することを含む、項目２に記載の方法。
（項目４）
前記検出された複数のマーカーの前記場所を連続的に更新することによって、前記第１の手術器具の前記位置を追跡することをさらに含む、項目１に記載の方法。
（項目５）
前記第１の手術器具の前記位置を計算することが、前記検出された複数のマーカーの前記場所に基づいて、前記第１の手術器具の三次元位置を三角測量することを含む、項目１に記載の方法。
（項目６）
前記第１の手術器具の前記位置を記憶することをさらに含む、項目１に記載の方法。
（項目７）
前記第１の手術器具が前記カメラの前記視界の外側にあるとき、前記第１の手術器具の前記位置を識別するインジケータをディスプレイ上に表示することをさらに含む、項目６に記載の方法。
（項目８）
前記カメラの前記視界を増加させて、その中に前記複数のマーカーを含めることをさらに含む、項目６に記載の方法。
（項目９）
前記第１の手術器具が前記カメラの前記視界内にもはや存在しないという警告を表示することをさらに含む、項目６に記載の方法。
（項目１０）
警告を表示することが、メッセージを用いてユーザを促すことを含む、項目９に記載の方法。
（項目１１）
手術室内の前記第１の手術器具の最適な位置を判定することをさらに含む、項目６に記載の方法。
（項目１２）
前記手術室内の前記第１の手術器具の前記位置を示すマップを生成することをさらに含む、項目１１に記載の方法。
（項目１３）
前記マップを生成することが、手術台と前記第１の手術器具との相対位置を示すマップを生成することを含む、項目１２に記載の方法。
（項目１４）
前記検出された複数のマーカーが前記カメラの前記視界の外側にあるとき、前記第１の手術器具を制御する能力を無効にすることをさらに含む、項目６に記載の方法。
（項目１５）
前記第１の手術器具が前記カメラの前記視界から離れている距離を計算することをさらに含む、項目６に記載の方法。
（項目１６）
前記計算された距離をディスプレイデバイスに表示することをさらに含む、項目１５に記載の方法。
（項目１７）
１つ以上の手術器具の位置を追跡するように構成されたロボット手術システムであって、
第１の手術器具に連結されたロボットアームと、
手術部位の画像を取得するように構成されたカメラと、
前記カメラから取得した前記手術部位の前記画像を表示するように構成されたディスプレイと、
前記カメラの視界内で前記第１の手術器具上に配設された複数のマーカーを検出するように構成された画像プロセッサと、
前記カメラの前記視界内の前記複数のマーカーの場所に基づいて前記第１の手術器具の位置を計算し、第２の手術器具に対する前記第１の手術器具の前記位置を判定するように構成されたコントローラと、を備える、ロボット手術システム。
（項目１８）
前記ロボットアームが、所定の点を有し、前記コントローラが、前記所定の点に部分的に基づいて前記第１の手術器具の前記位置を計算するようにさらに構成されている、項目１７に記載のロボット手術システム。
（項目１９）
前記コントローラが、前記ロボットアームの前記所定の点の位置を計算して、前記ロボットアームの基部の位置を識別することによって、前記第１の手術器具の前記位置を計算するようにさらに構成されている、項目１８に記載のロボット手術システム。
（項目２０）
前記コントローラが、前記検出された複数のマーカーの前記場所を連続的に更新することによって、前記第１の手術器具の前記位置を追跡するようにさらに構成されている、項目１７に記載のロボット手術システム。
（項目２１）
前記コントローラが、前記検出された複数のマーカーの前記場所に基づいて、前記第１の手術器具の三次元位置を三角測量することによって、前記第１の手術器具の前記位置を計算するようにさらに構成されている、項目１７に記載のロボット手術システム。
（項目２２）
前記コントローラに連結されたメモリをさらに備え、前記メモリが、前記第１の手術器具の前記位置を記憶する、項目１７に記載のロボット手術システム。
（項目２３）
前記コントローラが、前記ディスプレイに、前記第１の手術器具が前記カメラの前記視界の外側にあるときに、前記第１の手術器具の前記位置を識別するインジケータを表示させるようにさらに構成されている、項目２２に記載のロボット手術システム。
（項目２４）
前記コントローラが、前記カメラの前記視界を増加させて、その中に前記複数のマーカーを含めるようにさらに構成されている、項目２２に記載のロボット手術システム。
（項目２５）
前記コントローラが、前記ディスプレイに、前記第１の手術器具が前記カメラの前記視界内にもはや存在しないという警告を表示させるようにさらに構成されている、項目２２に記載のロボット手術システム。
（項目２６）
警告を表示することが、メッセージを用いて前記ユーザを促すことを含む、項目２５に記載のロボット手術システム。
（項目２７）
前記コントローラが、手術室内の前記第１の手術器具の最適な位置を判定するようにさらに構成されている、項目２２に記載のロボット手術システム。
（項目２８）
前記コントローラが、前記手術室内の前記第１の手術器具の前記位置を示すマップを生成するようにさらに構成されている、項目２７に記載のロボット手術システム。
（項目２９）
前記マップが、手術台と前記第１の手術器具との相対位置を示す、項目２８に記載のロボット手術システム。
（項目３０）
前記コントローラが、前記検出された複数のマーカーが前記カメラの前記視界の外側にあるとき、前記第１の手術器具を制御する能力を無効にするようにさらに構成されている、項目２２に記載のロボット手術システム。
（項目３１）
前記コントローラが、前記第１の手術器具が前記カメラの前記視界から離れている距離を計算するようにさらに構成されている、項目２２に記載のロボット手術システム。
（項目３２）
前記コントローラが、前記ディスプレイデバイスに、前記計算された距離を表示させるようにさらに構成されている、項目３１に記載のロボット手術システム。
（項目３３）
非一時的コンピュータ可読媒体であって、そこに記憶された命令を有し、前記命令が、プロセッサによって実行されると、
カメラの視界内の第１の手術器具上に配設された複数のマーカーを検出することと、
前記カメラの前記視界内の前記複数のマーカーの場所に基づいて、前記第１の手術器具の位置を計算することと、
第２の手術器具に対する前記第１の手術器具の前記位置を判定することと、を含む、非一時的コンピュータ可読媒体。
（項目３４）
命令であって、プロセッサによって実行されると、前記第１の手術器具が連結されているロボットアーム上の所定の点を使用することによって、前記第１の手術器具の前記位置を計算することを引き起こす、命令をさらに含む、項目３３に記載の非一時的コンピュータ可読媒体。
（項目３５）
命令であって、プロセッサによって実行されると、前記ロボットアームの前記所定の点の位置を計算して、前記ロボットアームの基部の位置を識別することによって、前記第１の手術器具の前記位置を計算することを引き起こす、命令をさらに含む、項目３４に記載の非一時的コンピュータ可読媒体。
（項目３６）
命令であって、プロセッサによって実行されると、前記検出された複数のマーカーの前記場所を連続的に更新することによって、前記第１の手術器具の前記位置を追跡することを引き起こす、命令をさらに含む、項目３３に記載の非一時的コンピュータ可読媒体。
（項目３７）
命令であって、プロセッサによって実行されると、前記検出された複数のマーカーの前記場所に基づいて、前記第１の手術器具の三次元位置を三角測量することによって、前記第１の手術器具の前記位置を計算することを引き起こす、命令をさらに含む、項目３３に記載の非一時的コンピュータ可読媒体。
（項目３８）
命令であって、プロセッサによって実行されると、前記第１の手術器具の前記位置を記憶することを引き起こす、命令をさらに含む、項目３３に記載の非一時的コンピュータ可読媒体。
（項目３９）
命令であって、プロセッサによって実行されると、前記第１の手術器具が前記カメラの前記視界の外側にあるとき、前記第１の手術器具の前記位置を識別するインジケータをディスプレイ上に表示することを引き起こす、命令をさらに含む、項目３８に記載の非一時的コンピュータ可読媒体。
（項目４０）
命令であって、プロセッサによって実行されると、前記カメラの前記視界を増加させて、その中に前記複数のマーカーを含めることを引き起こす、命令をさらに含む、項目３８に記載の非一時的コンピュータ可読媒体。
（項目４１）
命令であって、プロセッサによって実行されると、前記第１の手術器具が前記カメラの前記視界内にもはや存在しないという警告を表示することを引き起こす、命令をさらに含む、項目３８に記載の非一時的コンピュータ可読媒体。
（項目４２）
警告を表示することが、メッセージを用いて前記ユーザを促すことを含む、項目４１に記載の非一時的コンピュータ可読媒体。
（項目４３）
命令であって、プロセッサによって実行されると、手術室内の前記第１の手術器具の最適な位置を判定することを引き起こす、命令をさらに含む、項目３８に記載の非一時的コンピュータ可読媒体。
（項目４４）
命令であって、プロセッサによって実行されると、前記手術室内の前記第１の手術器具の前記位置を示すマップを生成することを引き起こす、命令をさらに含む、項目４３に記載の非一時的コンピュータ可読媒体。
（項目４５）
前記マップを生成することが、手術台と前記第１の手術器具との相対位置を示すマップを生成することを含む、項目４４に記載の非一時的コンピュータ可読媒体。
（項目４６）
命令であって、プロセッサによって実行されると、前記検出された複数のマーカーが前記カメラの前記視界の外側にあるとき、前記第１の手術器具を制御する能力を無効にすることを引き起こす、命令をさらに含む、項目３８に記載の非一時的コンピュータ可読媒体。
（項目４７）
命令であって、プロセッサによって実行されると、前記第１の手術器具が前記カメラの前記視界から離れている距離を計算することを引き起こす、命令をさらに含む、項目３８に記載の非一時的コンピュータ可読媒体。
（項目４８）
命令であって、プロセッサによって実行されると、前記計算された距離をディスプレイデバイスに表示することを引き起こす、命令をさらに含む、項目４７に記載の非一時的コンピュータ可読媒体。
本発明は、例えば、以下を提供する。
（項目１）
１つ以上の手術器具の位置を追跡する方法であって、
カメラの視界内の第１の手術器具の遠位端に配設された複数のマーカーを検出することと、
前記カメラの前記視界内で検出された前記複数のマーカーの場所に基づいて、前記第１の手術器具の位置を計算することと、
第２の手術器具に対する前記第１の手術器具の前記位置を判定することと、を含む、方法。
（項目２）
前記第１の手術器具が、前記第１の手術器具の前記位置を計算するために使用される所定の点を有するロボットアームに連結される、項目１に記載の方法。
（項目３）
前記第１の手術器具の前記位置を計算することが、前記ロボットアームの前記所定の点の位置を計算して、前記ロボットアームの基部の位置を識別することを含む、項目２に記載の方法。
（項目４）
前記検出された複数のマーカーの前記場所を連続的に更新することによって、前記第１の手術器具の前記位置を追跡することをさらに含む、項目１に記載の方法。
（項目５）
前記第１の手術器具の前記位置を計算することが、前記検出された複数のマーカーの前記場所に基づいて、前記第１の手術器具の三次元位置を三角測量することを含む、項目１に記載の方法。
（項目６）
前記第１の手術器具の前記位置を記憶することをさらに含む、項目１に記載の方法。
（項目７）
前記第１の手術器具が前記カメラの前記視界の外側にあるとき、前記第１の手術器具の前記位置を識別するインジケータをディスプレイ上に表示することをさらに含む、項目６に記載の方法。
（項目８）
前記カメラの前記視界を増加させて、その中に前記複数のマーカーを含めることをさらに含む、項目６に記載の方法。
（項目９）
前記第１の手術器具が前記カメラの前記視界内にもはや存在しないという警告を表示することをさらに含む、項目６に記載の方法。
（項目１０）
警告を表示することが、メッセージを用いてユーザを促すことを含む、項目９に記載の方法。
（項目１１）
手術室内の前記第１の手術器具の最適な位置を判定することをさらに含む、項目６に記載の方法。
（項目１２）
前記手術室内の前記第１の手術器具の前記位置を示すマップを生成することをさらに含む、項目１１に記載の方法。
（項目１３）
前記マップを生成することが、手術台と前記第１の手術器具との相対位置を示すマップを生成することを含む、項目１２に記載の方法。
（項目１４）
前記検出された複数のマーカーが前記カメラの前記視界の外側にあるとき、前記第１の手術器具を制御する能力を無効にすることをさらに含む、項目６に記載の方法。
（項目１５）
前記第１の手術器具が前記カメラの前記視界から離れている距離を計算することをさらに含む、項目６に記載の方法。
（項目１６）
前記計算された距離をディスプレイデバイスに表示することをさらに含む、項目１５に記載の方法。
（項目１７）
１つ以上の手術器具の位置を追跡するように構成されたロボット手術システムであって、
第１の手術器具に連結されたロボットアームと、
手術部位の画像を取得するように構成されたカメラと、
前記カメラから取得した前記手術部位の前記画像を表示するように構成されたディスプレイと、
前記カメラの視界内で前記第１の手術器具上に配設された複数のマーカーを検出するように構成された画像プロセッサと、
前記カメラの前記視界内の前記複数のマーカーの場所に基づいて前記第１の手術器具の位置を計算し、第２の手術器具に対する前記第１の手術器具の前記位置を判定するように構成されたコントローラと、を備える、ロボット手術システム。
（項目１８）
前記ロボットアームが、所定の点を有し、前記コントローラが、前記所定の点に部分的に基づいて前記第１の手術器具の前記位置を計算するようにさらに構成されている、項目１７に記載のロボット手術システム。
（項目１９）
前記コントローラが、前記ロボットアームの前記所定の点の位置を計算して、前記ロボットアームの基部の位置を識別することによって、前記第１の手術器具の前記位置を計算するようにさらに構成されている、項目１８に記載のロボット手術システム。
（項目２０）
前記コントローラが、前記検出された複数のマーカーの前記場所を連続的に更新することによって、前記第１の手術器具の前記位置を追跡するようにさらに構成されている、項目１７に記載のロボット手術システム。
（項目２１）
前記コントローラが、前記検出された複数のマーカーの前記場所に基づいて、前記第１の手術器具の三次元位置を三角測量することによって、前記第１の手術器具の前記位置を計算するようにさらに構成されている、項目１７に記載のロボット手術システム。
（項目２２）
前記コントローラに連結されたメモリをさらに備え、前記メモリが、前記第１の手術器具の前記位置を記憶する、項目１７に記載のロボット手術システム。
（項目２３）
前記コントローラが、前記ディスプレイに、前記第１の手術器具が前記カメラの前記視界の外側にあるときに、前記第１の手術器具の前記位置を識別するインジケータを表示させるようにさらに構成されている、項目２２に記載のロボット手術システム。
（項目２４）
前記コントローラが、前記カメラの前記視界を増加させて、その中に前記複数のマーカーを含めるようにさらに構成されている、項目２２に記載のロボット手術システム。
（項目２５）
前記コントローラが、前記ディスプレイに、前記第１の手術器具が前記カメラの前記視界内にもはや存在しないという警告を表示させるようにさらに構成されている、項目２２に記載のロボット手術システム。
（項目２６）
警告を表示することが、メッセージを用いて前記ユーザを促すことを含む、項目２５に記載のロボット手術システム。
（項目２７）
前記コントローラが、手術室内の前記第１の手術器具の最適な位置を判定するようにさらに構成されている、項目２２に記載のロボット手術システム。
（項目２８）
前記コントローラが、前記手術室内の前記第１の手術器具の前記位置を示すマップを生成するようにさらに構成されている、項目２７に記載のロボット手術システム。
（項目２９）
前記マップが、手術台と前記第１の手術器具との相対位置を示す、項目２８に記載のロボット手術システム。
（項目３０）
前記コントローラが、前記検出された複数のマーカーが前記カメラの前記視界の外側にあるとき、前記第１の手術器具を制御する能力を無効にするようにさらに構成されている、項目２２に記載のロボット手術システム。
（項目３１）
前記コントローラが、前記第１の手術器具が前記カメラの前記視界から離れている距離を計算するようにさらに構成されている、項目２２に記載のロボット手術システム。
（項目３２）
前記コントローラが、前記ディスプレイデバイスに、前記計算された距離を表示させるようにさらに構成されている、項目３１に記載のロボット手術システム。
（項目３３）
非一時的コンピュータ可読媒体であって、そこに記憶された命令を有し、前記命令が、プロセッサによって実行されると、
カメラの視界内の第１の手術器具上に配設された複数のマーカーを検出することと、
前記カメラの前記視界内の前記複数のマーカーの場所に基づいて、前記第１の手術器具の位置を計算することと、
第２の手術器具に対する前記第１の手術器具の前記位置を判定することと、を含む、非一時的コンピュータ可読媒体。
（項目３４）
命令であって、プロセッサによって実行されると、前記第１の手術器具が連結されているロボットアーム上の所定の点を使用することによって、前記第１の手術器具の前記位置を計算することを引き起こす、命令をさらに含む、項目３３に記載の非一時的コンピュータ可読媒体。
（項目３５）
命令であって、プロセッサによって実行されると、前記ロボットアームの前記所定の点の位置を計算して、前記ロボットアームの基部の位置を識別することによって、前記第１の手術器具の前記位置を計算することを引き起こす、命令をさらに含む、項目３４に記載の非一時的コンピュータ可読媒体。
（項目３６）
命令であって、プロセッサによって実行されると、前記検出された複数のマーカーの前記場所を連続的に更新することによって、前記第１の手術器具の前記位置を追跡することを引き起こす、命令をさらに含む、項目３３に記載の非一時的コンピュータ可読媒体。
（項目３７）
命令であって、プロセッサによって実行されると、前記検出された複数のマーカーの前記場所に基づいて、前記第１の手術器具の三次元位置を三角測量することによって、前記第１の手術器具の前記位置を計算することを引き起こす、命令をさらに含む、項目３３に記載の非一時的コンピュータ可読媒体。
（項目３８）
命令であって、プロセッサによって実行されると、前記第１の手術器具の前記位置を記憶することを引き起こす、命令をさらに含む、項目３３に記載の非一時的コンピュータ可読媒体。
（項目３９）
命令であって、プロセッサによって実行されると、前記第１の手術器具が前記カメラの前記視界の外側にあるとき、前記第１の手術器具の前記位置を識別するインジケータをディスプレイ上に表示することを引き起こす、命令をさらに含む、項目３８に記載の非一時的コンピュータ可読媒体。
（項目４０）
命令であって、プロセッサによって実行されると、前記カメラの前記視界を増加させて、その中に前記複数のマーカーを含めることを引き起こす、命令をさらに含む、項目３８に記載の非一時的コンピュータ可読媒体。
（項目４１）
命令であって、プロセッサによって実行されると、前記第１の手術器具が前記カメラの前記視界内にもはや存在しないという警告を表示することを引き起こす、命令をさらに含む、項目３８に記載の非一時的コンピュータ可読媒体。
（項目４２）
警告を表示することが、メッセージを用いて前記ユーザを促すことを含む、項目４１に記載の非一時的コンピュータ可読媒体。
（項目４３）
命令であって、プロセッサによって実行されると、手術室内の前記第１の手術器具の最適な位置を判定することを引き起こす、命令をさらに含む、項目３８に記載の非一時的コンピュータ可読媒体。
（項目４４）
命令であって、プロセッサによって実行されると、前記手術室内の前記第１の手術器具の前記位置を示すマップを生成することを引き起こす、命令をさらに含む、項目４３に記載の非一時的コンピュータ可読媒体。
（項目４５）
前記マップを生成することが、手術台と前記第１の手術器具との相対位置を示すマップを生成することを含む、項目４４に記載の非一時的コンピュータ可読媒体。
（項目４６）
命令であって、プロセッサによって実行されると、前記検出された複数のマーカーが前記カメラの前記視界の外側にあるとき、前記第１の手術器具を制御する能力を無効にすることを引き起こす、命令をさらに含む、項目３８に記載の非一時的コンピュータ可読媒体。
（項目４７）
命令であって、プロセッサによって実行されると、前記第１の手術器具が前記カメラの前記視界から離れている距離を計算することを引き起こす、命令をさらに含む、項目３８に記載の非一時的コンピュータ可読媒体。
（項目４８）
命令であって、プロセッサによって実行されると、前記計算された距離をディスプレイデバイスに表示することを引き起こす、命令をさらに含む、項目４７に記載の非一時的コンピュータ可読媒体。
【0053】
本開示の例示的な実施形態のさらなる詳細および態様を、添付の図面を参照しながら以下により詳細に記載する。
【図面の簡単な説明】
【0054】
添付の図面を参照しながら本開示の実施形態を本明細書に記載する。
【0055】
【図1】本開示による、ロボット手術システムの概略図である。
【図7】本開示による、ロボット手術システムの機能ブロック図である。
【図8】本開示による、ロボット手術システムのディスプレイデバイスに対する外科医の位置を判定するための方法のフロー図である。
【図9】本開示による、ロボット手術システムの構成要素の位置を判定するための方法のフロー図である。
【図10】本開示による、ロボット手術システムのディスプレイデバイスに対する外科医の位置を判定するための別の方法のフロー図である。
【発明を実施するための形態】
【0056】
本開示は、光学要素またはマーカー、およびカメラまたは画像捕捉デバイスを用いて、物体または人の位置を判定する。以下により詳細に記載されるように、マーカーがカメラまたは画像捕捉デバイスによって検出されると、検出されたマーカーの場所を使用して、物体または人の位置が計算される。ここで本開示の実施形態が図面を参照して詳細に記載され、図面の中で同様の参照番号は、いくつかの図の各々において同一のまたは対応する要素を示す。本明細書に使用される際、「臨床医」という用語は、医師、看護師、または任意の他の医療提供者を指し、医療支援従事者を含み得る。この説明全体を通して、「近位」という用語は、患者からより遠いデバイスまたはその構成要素の部分を指し、「遠位」という用語は、患者により近いデバイスまたはその構成要素の部分を指す。
【0057】
図１を参照すると、低侵襲外科手術を履行するために手術台「Ｔ」に横たわっている患者「Ｐ」で使用するように構成されたロボット手術システム１０が提供される。一実施形態によれば、ロボット手術システム１０は、概して、遠隔に位置する外科医コンソール４０で受信した入力に応答して、ロボットアーム１２のうちの１つ以上を操作するためのコントローラ３０からコマンドを受信するように構成された複数のロボットアーム１２を含む。
【0058】
ロボットアーム１２の各々は、基部１８に連結され、基部１８から延在する関節を介して接続された複数の部材から構成されている。各基部１８は、異なる場所であって、そこから各ロボットアーム１２が延在する、異なる位置を提供する。例えば、基部１８は、複数の移動可能なカートから構成され得る。別の実施形態では、ロボットアーム１２のすべてが単一の基部から延在する。一実施形態では、各ロボットアーム１２の遠位端に接続されているのは、手術用アセンブリ１４であり、手術用アセンブリ１４は、手術器具２０と取り外し可能に連結するように構成された手術器具ホルダ１６を含む。各ロボットアーム１２は、異なる目的のために構成された手術器具２０を含み得る。例えば、１つのロボットアーム１２は、把持用ジョー器具２０を含む手術器具を含むことができ、別のロボットアーム１２は、はさみを含む手術器具を含むことができる。他の好適な器具２０ａ、２０ｂは、ステープラ、クリップアプライヤ、縫合糸通し具、スパチュラなどを含むが、これらに限定されない。
【0059】
４つのロボットアーム１２が描写されているが、手術システム１０は、４つより少ないかまたは多いロボットアーム１２を含み得る。これに関して、追加のロボットアーム（図示せず）も同様にコントローラ３０に接続され、コンソール４０を介して遠隔操作可能である。したがって、１つ以上の追加の手術用アセンブリ１４、手術器具ホルダ１６、および／または手術器具２０ａ、２０ｂを、追加のロボットアームに取り付けることもできる。別の実施形態では、ロボットアーム１２のうちの１つ以上は、手術部位「Ｓ」上に位置決めされた画像捕捉デバイス６６、手術部位「Ｓ」内に配設された画像捕捉デバイス６６（図示せず）などを含む。画像捕捉デバイス６６は、手術部位「Ｓ」の視覚画像、赤外線画像、超音波画像、Ｘ線画像、熱画像、および／または任意の他の既知のリアルタイム画像を捕捉する。一実施形態では、画像捕捉デバイス６６は、以下でさらに詳細に記載されるマーカーまたは光学要素６４ａ～ｄ、６４ｓ（集合的にマーカー６４とも称される）を検出するための、バンドパスフィルタなどのフィルタを含む。また別の実施形態では、画像捕捉デバイス６６のうちの１つ以上は、ロボットアーム１２に取り付けられず、手術室の周りの所定の場所に配置される。いずれにせよ、画像捕捉デバイス６６は、捕捉された撮像データをコントローラ３０に伝送し、コントローラ３０は、撮像データから、手術部位「Ｓ」および／または手術室の画像をリアルタイムで作成し、その画像を表示用にディスプレイデバイス４４に伝送する。別の実施形態では、表示される画像は、画像捕捉デバイスによって捕捉されたデータの二次元レンダリングである。
【0060】
手術用アセンブリ１４、手術器具ホルダ１６、手術器具２０ａ、２０ｂ、および／またはロボットアーム１２の遠位端のうちの１つ以上の各々は、２つ以上のマーカー６４を含み、２つ以上のマーカー６４は各々、前述の構成要素上の所定の場所に取り付けられるか、連結されるか、塗装されるか、または別様に配置される。マーカー６４は、画像捕捉デバイス６６の視界内で検出可能となるように構成されている。一例では、マーカー６４は、特有の塗装されたマーク、例えば、円形状、点形状、または他の塗りつぶされた形状もしくは塗りつぶされていない形状であり得る。別の例では、マーカー６４は、画像捕捉デバイス６６によって視覚的にまたは別の方法でのいずれかで検出可能な材料で作製されていても、その上に配設された材料を含んでいてもよい。特に、材料は、３Ｍ（商標）Ａｄｖａｎｃｅｄ Ｌｉｇｈｔ Ｃｏｎｔｒｏｌ Ｆｉｌｍ（ミネソタ州ミネアポリスの３Ｍが所有）、またはカナダのオンタリオ州のＮＤＩ Ｉｎｔｅｒｎａｔｉｏｎａｌによるものなどの反射マーカー球のような特定の波長範囲に光の反射を制限する、拡散要素および／または反射要素などの視界阻害物（ａ ｆｉｅｌｄ ｏｆ ｖｉｅｗ ｉｎｈｉｂｉｔｏｒ）であり得る。また別の例では、マーカー６４は、無線周波数識別タグ、または対応する検出機構を含むように構成された画像捕捉デバイス６６によって検出可能な波を発することができる他のタグであり得る。
【0061】
ロボットアーム１２は、コントローラ３０に接続された電気駆動装置（図示せず）によって駆動され得る。一実施形態によれば、コントローラ３０は、例えば、コンピュータプログラムを介して、ロボットアーム１２、ならびにロボットアーム１２に対応する手術用アセンブリ１４、手術器具ホルダ１６、および／または手術器具２０ａ、２０ｂがコンソール４０を通して受容される所望の動きを実行するように、駆動装置を作動させるように構成されている。コントローラ３０はまた、ロボットアーム１２および／または駆動装置の動きを調節するように構成され得る。
【0062】
コントローラ３０は、複数のモータ３２を制御することができ、各モータは、手術器具２０に連結されたケーブル（図示せず）などの１つ以上のケーブルの押し込みまたは引っ張りを駆動するように構成されている。使用中に、これらのケーブルが押し込まれたとき、および／または当該ケーブルが引っ張られたとき、１つ以上のケーブルは、手術器具２０ａ、２０ｂの動作および／または動きをもたらす。コントローラ３０は、１つ以上の手術器具２０の動作および／または動きを調整するために、さまざまなモータ３２の作動を調整して、１つ以上のケーブルの押し込み運動または引っ張り運動を調整する。一実施形態では、各モータ３２は、１つ以上のケーブルに加えて、またはその代わりに、駆動ロッドまたはレバーアームを作動させて、手術器具２０ａ、２０ｂの動作および／または動きをもたらすように構成されている。
【0063】
コントローラ３０は、命令のセットに従って計算を実施し、かつ／または動作するように適合された任意の好適な論理制御回路を含む。コントローラ３０は、無線接続（例えば、Ｗｉ－Ｆｉ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＬＴＥなど）および／または有線接続のいずれかを介して遠隔システム（図示せず）と通信するように構成され得る。遠隔システムは、コンソール４０のさまざまな構成要素、アルゴリズム、および／または動作に関するデータ、命令、および／または情報を含み得る。遠隔システムは、任意の好適な電子サービス、データベース、プラットフォーム、クラウド、またはそのようなものを含み得る。コントローラ３０は、メモリ３４に動作可能に接続された中央処理ユニットを含み得る。メモリは、一時的タイプのメモリ（例えば、ＲＡＭ）および／または非一時的タイプのメモリ（例えば、フラッシュ媒体、ディスク媒体など）を含み得る。いくつかの実施形態では、メモリは、遠隔システムの一部であり、かつ／または遠隔システムに動作可能に連結されている。
【0064】
コントローラ３０は、ドライバ回路などを介してコンソール４０の構成要素とインターフェースするための複数の入力および出力を含み得る。コントローラ３０は、入力信号を受信し、かつ／または出力信号を生成して、コンソール４０のさまざまな構成要素のうちの１つ以上（例えば、１つ以上のモータおよび／またはディスプレイデバイス４４）を制御するように構成され得る。出力信号は、ユーザが事前にプログラムおよび／または入力することができるアルゴリズムの命令を含み得、かつ／または当該命令に基づき得る。コントローラ３０は、システム１０に遠隔的に連結され得るユーザインターフェース（例えば、コンソール４０を動作させるスイッチ、ボタン、タッチ画面など）から複数のユーザ入力を受け入れるように構成され得る。
【0065】
メモリ３４をコントローラ３０に直接および／または間接的に連結して、生き物（複数可）および／または解剖学的アトラス（複数可）からの術前データを含む、命令および／またはデータベースを記憶することができる。一実施形態によれば、メモリ３４は、各対応する器具に対するマーカー６４ａ～ｄ、６４ｓの場所に関するデータ、ロボットアーム１２の各々の所定の点の場所に関するデータ、手術室内の所定の点の場所（手術室の隅の場所、手術室の床の上の所定の点の場所、およびそのようなものなど）に関するデータ、手術台「Ｔ」上の所定の点の場所に関するデータ、ならびに／または互いにおよび／もしくは手術室内の場所に対する１つ以上の手術器具２０ａ、２０ｂの場所の判定に有用な他のデータを記憶する。メモリ３４は、遠隔システム１０の一部であり得、かつ／または遠隔システム１０に動作可能に連結され得る。
【0066】
入力をコントローラ３０に提供するために、外科医コンソール４０は、さまざまな入力デバイスを含む。一実施形態では、外科医コンソール４０は、作動を通じて外科医によって操作されるように構成された入力ハンドル７０または入力ペダルを含む。特に、外科医は、外科医自身の手を使用して、入力ハンドル７０を把持し、移動させ、入力ハンドル７０の動きを、コントローラ３０を介して変換して、それによって、対応する動きをロボットアーム１２および／または手術器具２０ａ、２０ｂに提供する。外科医は、入力ペダルを踏んで、ロボットアーム１２または手術器具２０ａ、２０ｂのさらなる制御を提供するための選択を提供する。
【0067】
ディスプレイデバイス４４は、画像捕捉デバイス６６から受信した二次元画像または三次元画像を表示するようにセットアップされている。三次元画像が提供される一実施形態では、ディスプレイデバイス４４は、例えば、眼鏡または別の好適な構成として構成されたものなど、ヘッドセット５０の形態で提供される特殊な視認レンズの有無にかかわらず、視認するための三次元画像を提供するように構成されている。
【0068】
ヘッドセット５０は、その上に配設されたマーカー６４ｓを含む。一実施形態では、マーカー６４ｓの検出は、ヘッドセット５０を着用している外科医の眼がディスプレイデバイス４４に向けられていることを指標する。ヘッドセット５０上のマーカー６４ｓは、手術用アセンブリ１４、手術器具ホルダ１６、手術器具２０ａ、２０ｂ、および／またはロボットアーム１２の遠位端に含まれるものと同様の方法で構成され得る。一実施形態によれば、１つ以上のマーカー６４ｓは、マーカー６４ｓの検出が、外科医の頭部が特定の方法で、例えば、前を向いてディスプレイデバイス４４を見る方法で位置決めされていることを指標するように、ヘッドセット５０上の特定の場所に配置される。マーカー６４を検出するために、外科医コンソール４０は、システム動作中に画像捕捉デバイス４８を外科医に向けることができるように、ディスプレイデバイス４４または別の場所に装着された画像捕捉デバイス４８を含む。一実施形態では、画像捕捉デバイス４８は、マーカー６４の検出のために、バンドパス光学フィルタなどの１つ以上のフィルタ５２を含み得る。
【0069】
図２は、ロボット手術システム１０に実装するためのディスプレイシステムの一部の斜視図であり、本明細書のさまざまな実施形態による、ディスプレイデバイス４４、ヘッドセット５０、光源５４、画像捕捉デバイス４８、およびオーディオデバイス６８の配列例を示す。一実施形態では、ディスプレイデバイス４４は、画面７０、および画面７０の前に配設された１つ以上の層７２を含む。画面７０は、１つ以上の層７２を介して、ある特定のピクセルによって表示される視覚的内容を外科医のある特定の眼に向けるピクセルを含む。特に、１つ以上の層７２は、レンチキュラレンズ層を含み得る。例えば、レンチキュラレンズ層は、ピクセルの第１のセットの視覚的内容が外科医の第１の眼によって知覚され、ピクセルの第２のセットが外科医の第２の眼によって知覚されることを許容するのに好適な角度に向けられるように構成された、対応するピクセル行の上に配設された複数の垂直レンズを含む。
【0070】
光源５４は、光を提供するように構成され、（図１に例示されるように）ディスプレイデバイス４４の縁に沿って装着され得るか、またはディスプレイデバイス４４に隣接して、ディスプレイデバイス４４の上方、もしくはディスプレイデバイス４４の下方に位置決めされ得る。光源５４は、ヘッドセット５０上の所定の場所に含まれ得るマーカー６４ｓによって反射される可視および／または不可視スペクトル（紫外線、赤外線、またはそのようなものなど）で光を提供し得る。マーカー６４ｓは、画像捕捉デバイス４８による検出のために、一実施形態による、所定の角度範囲内の角度で視認したときに、反射光の視認性を許容するための機構を含む光学要素であり得る。一実施形態では、ディスプレイシステムは、マーカー６４ｓが検出されない場合に、通知が、例えば、オーディオデバイス６８によって聴覚的に、ディスプレイデバイス４４を介して触覚的または視覚的に提供されるように構成されている。
【0071】
図３に例示されるように、マーカー６４ｓは、反射要素３００および拡散要素３０２から構成されている。反射要素３００は、ミラーを含むことができ、拡散要素３０２は、反射要素３００によって反射される光を制限することによって、画像捕捉デバイス４８によるマーカー６４ｓの視認性を限定することを許容するように、矩形断面形状を有する管状要素であり得る。具体的には、反射光の進行は、水平方向に第１の角度βによって制限され、垂直方向に第２の角度αによって制限され得る。矩形断面形状を有するように描写されているが、管状要素は、異なる断面形状を有し得る。別の実施形態では、図４に例示されるように、マーカー６４ｓは、反射要素４００、および矩形断面形状を有する複数の管状要素を含む拡散要素４０２を含む。管状要素は、実質的に互いに同一であり、同じ方向に延在し、反射要素４００によって反射される光を限定するように協働して、マーカー６４ｓが画像捕捉デバイス４８によって検出されることを可能にする。
【0072】
別の実施形態に従って、マーカー６４ｓは、例えば、図５に描写されるような所定の角度範囲内の角度で視認したときに、反射光の視認性を許容するための機構を含む光学要素であり得る。ここでは、マーカー６４ｓは、反射要素５００および拡散要素５０２を有し、ここで、拡散要素５０２は、マーカー６４ｓの視認を所定の角度範囲に限定するように構成された、透明度を有するフィルムの形態である。一実施形態では、拡散要素５０２は、反射要素５００に対してある範囲（例えば、反射要素５００に対して実質的に直角な角度を含む視野角の範囲）内に向けられた光が反射し、かつそれによって、画像捕捉デバイス４８に対して可視になることを可能にするように構成されている。視野角の範囲外の角度で拡散要素５０２に向けられた光は、反射要素５００によって反射されず、ひいては、画像捕捉デバイス４８に対して可視ではない。
【0073】
別の実施形態では、図６に描写されるように、マーカー６４ｓは、波長の特定の範囲内（例えば、可視または不可視）の光を反射するように構成されている。かかる実施形態では、画像捕捉デバイス４８は、マーカー６４ｓの波長の特定の範囲に対応するように選択されたバンドパス光学フィルタ５２を含む。したがって、画像捕捉デバイス４８は、マーカー６４ｓから反射された光の波長がバンドパス光学フィルタ５２を通過するときにマーカー６４ｓを検出し、それによって、画像捕捉デバイス４８がマーカー６４ｓを視認することを許容する。この実施形態では、マーカー６４ｓは、一対の眼鏡の形態でヘッドセット５０上に配設されているものとして例示される。マーカー６４ｓは、代替的に、ヘッドバンドもしくは他のウェアラブルなものの上に含まれ得るか、またはユーザの顔もしくは頭部のさまざまな場所に配置されるステッカであり得ることが理解されよう。
【0074】
図７は、図１のロボット手術システム１０の簡略ブロック図である。ロボット手術システム１０は、コントローラ７２０、タワー７３０、およびコンソール７４０を含む。コントローラ７２０は、コンソール７４０から受信した入力に応答して、タワー７３０と通信して、それによって、動作の命令を提供するように構成されている。
【0075】
コントローラ７２０は、概して、処理ユニット７２２、メモリ７２４、タワーインターフェース７２６、およびコンソールインターフェース７２８を含む。処理ユニット７２２は、特に、メモリ７２４に記憶されたコンピュータプログラムによって、タワー７３０の構成要素に、コンソール７４０の入力デバイス７４２によって定義された動きに従って所望の動きを実行させるように機能する。これに関して、処理ユニット７２２は、命令のセットに従って計算を実施し、かつ／または動作するように適合された任意の好適な論理制御回路を含む。処理ユニット７２２は、マイクロプロセッサタイプの処理デバイス、またはメモリ７２４および／または処理データに記憶された命令を実行することができる他の物理的デバイスなどの１つ以上の処理デバイスを含み得る。メモリ７２４は、一時的タイプのメモリ（例えば、ＲＡＭ）および／または非一時的タイプのメモリ（例えば、フラッシュ媒体、ディスク媒体など）を含み得る。タワーインターフェース７２６およびコンソールインターフェース７２８は、無線（例えば、Ｗｉ－Ｆｉ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＬＴＥなど）でおよび／または有線構成を介してのいずれかで、それぞれタワー７３０およびコンソール７４０と通信する。別々のモジュールとして描写されているが、インターフェース７３２、７３４は、他の実施形態では単一の構成要素であり得る。
【0076】
タワー７３０は、モータ機構７３４を操作して、それによって、ロボットアーム７３６ａ～７３６ｄを移動させるために、タワーインターフェース７２６からの通信および／またはデータを受信するように構成された通信インターフェース７３２を含む。一実施形態に従って、モータ機構７３４は、処理ユニット７２２からの命令に応答して、ロボットアーム７３６ａ～７３６ｄに取り付けられたケーブル（図示せず）の機械的操作のための電流の印加を受信して、ロボットアーム７３６ａ～７３６ｄのうちの選択された１つおよび／またはロボットアーム７３６ａ～７３６ｄのうちの１つに連結された器具の所望の動きを引き起こすように構成されている。タワー７３０はまた、リアルタイム画像を捕捉し、その画像を表現するデータを、通信インターフェース７３２を介してコントローラ７３０に伝送する、画像捕捉デバイス７３８を含む。
【0077】
外科医がタワー７３０のデバイスを操作するのを支援するために、コンソール７４０は、入力デバイス７４２、ディスプレイ７４６、コンピュータ７４８、およびカメラ７５０を有する。入力デバイス７４２は、コンピュータ７４８に連結され、入力を提供するために臨床医によって使用される。これに関して、入力デバイス７４２は、ハンドルもしくはペダル、またはキーボード、ジョイスティック、マウス、ボタン、トラックボール、もしくは他の構成要素などの他のコンピュータアクセサリであり得る。コンピュータ７４８は、処理ユニットと、タワー７３０のさまざまな構成要素、アルゴリズム、および／または動作に関するデータ、命令、および／または情報を含むメモリと、を含み、任意の好適な電子サービス、データベース、プラットフォーム、クラウド、またはそのようなものを使用して動作し得る。ディスプレイ７４６は、コンピュータ７４８からの命令を受信して、画像捕捉デバイス７３８および／または通信インターフェース７３２から受信した情報を表示する。カメラ７５０は、コンソール７４０で外科医の画像を捕捉する。
【0078】
上記で簡単に説明したマーカー６４は、さまざまな位置決め機構および安全機構を実装するのに有用である。一例では、手術中、システム１０がディスプレイデバイス４４に対する外科医の位置決めを認識することが有利である場合がある。ここで図８に移り、一実施形態による、ロボット手術システム１０のディスプレイデバイス４４に対する外科医の位置決めを判定するための方法８００のフロー図を提供する。方法８００は、メモリ７２４（図７）に記憶された命令を実行する処理ユニット７２２によって、少なくとも部分的に実装され得る。さらに、図８の方法８００に示されるステップの特定の順序を限定ではなく例として提供する。方法８００のステップは、本開示の範囲から逸脱することなく、図８に示される順序以外の順序で実行され得る。さらに、図８の方法８００に示されるいくつかのステップは、逐次的に実行される代わりに、並行して実行されてもよい。
【0079】
図８を参照すると、光源５４からの光は、ステップ８０２でマーカー６４ｓの方へ向けられる。上で述べたように、マーカー６４ｓは、外科医の頭部または顔の上に、例えば、ヘッドセット５０上に配設される。したがって、外科医の頭部または顔の位置決めに応じて、マーカー６４ｓは、光源５４からの光を反射しても、しなくてもよい。例えば、一実施形態では、複数のマーカー６４ｓは、マーカー６４ｓのすべての検出が、外科医の眼がディスプレイデバイス４４に向けられていることを指標するように、特定の場所でヘッドセット５０上に含まれる。別の実施形態では、マーカー６４ｓ（複数可）は、ヘッドセット５０を少なくとも部分的に被覆して、特定の形状を形成し、特定の形状の検出は、外科医の眼がディスプレイデバイス４４に向けられていることを指標する。
【0080】
いずれにせよ、１つ以上のマーカー６４ｓが検出されたかどうかを判定するために、画像捕捉デバイス４８は、ステップ８０４で外科医の画像を捕捉する。ステップ８０４からの画像に基づいて、特定の場所に配設された複数のマーカー６４ｓであろうと、特定の形状を形成する１つ以上のマーカー６４ｓであろうと、マーカー６４ｓのすべてがステップ８０６で検出されるかどうかに関して判定が行われる。マーカー６４ｓが検出される場合、方法８００は、ステップ８０４を反復して、画像捕捉デバイス４８を使用して外科医の追加の画像を捕捉する。マーカー６４ｓのすべてが検出されない場合、ステップ８０８でシステム１０によって、外科医の眼がディスプレイデバイス４４に向けられていないことを指標する通知が提供される。例えば、システム１０は、オーディオデバイス６８を介した可聴通知、触覚的通知、および／または視覚的通知を提供することができる。一実施形態に従って、通知を提供することに加えて、システム１０は、入力ハンドル７０、またはペダルなどの他の入力デバイス（含まれる場合）で入力が受信されるのを防止する。
【0081】
別の例では、手術中、臨床医が各ロボットアーム１２および／または手術器具２０ａ、２０ｂがどこに位置するかを認識することが有利である場合がある。これに関して、システム１０は、捕捉された画像データ内のマーカー６４の位置を検出するために、捕捉された画像データを使用して、それによって、ロボットアーム１２および／または手術器具２０ａ、２０ｂの位置を判定する。ここで図９に移り、一実施形態による、ロボット手術システム１０に含まれる構成要素の位置を判定するための方法９００のフロー図を提供する。方法９００は、メモリ７２４（図７）に記憶された命令を実行する処理ユニット７２２によって、少なくとも部分的に実装され得る。さらに、図９の方法９００に示されるステップの特定の順序を限定ではなく例として提供する。方法９００のステップは、本開示の範囲から逸脱することなく、図９に示される順序以外の順序で実行され得る。さらに、図９の方法９００に示されるいくつかのステップは、逐次的に実行される代わりに、並行して実行されてもよい。
【0082】
システム１０の較正中および／または手術手技全体にわたって、画像は、ステップ９０２で視界内の画像捕捉デバイス６６によって捕捉される。画像捕捉デバイス６６が内視鏡である一実施形態では、画像捕捉デバイス６６によって受信された画像は、手術部位「Ｓ」を描写する。手術部位「Ｓ」は、患者の体内、切開部位、および／または患者の体の上にあってもよい。別の実施形態では、画像捕捉デバイス６６は、患者の体の上または手術室内のある場所に配設されたカメラであり、画像捕捉デバイス６６によって捕捉された画像は、患者の空中像または手術室の全体像である。個々のデバイス６６の特定のレンズ構成により、画像捕捉デバイス６６の視界が限定される場合があることが理解されよう。いずれにせよ、捕捉された画像は、ディスプレイデバイス４４に伝送されて表示され、これは、臨床医が画像捕捉デバイス６６の視界を認識することを許容する。
【0083】
ステップ９０４で、器具２０ａ上のマーカー６４ａが捕捉された画像内で検出されるかどうかに関して判定が行われる。器具２０ａ上のマーカー６４ａは、互いに所定の距離だけ離間している２つ以上のマーカーのセットとして含まれる。各セット内の各マーカーの配置は、同じセット内の他のマーカー（複数可）に対して既知である。二次元画像から器具の場所を判定するために、マーカーのセットには少なくとも２つのマーカーが含まれる。三次元画像から器具２０ａの場所を判定するために、マーカー６４ａのセットには少なくとも３つのマーカーが含まれる。マーカーのセット内のマーカーの特定の数に関係なく、画像は、画像内のマーカー６４ａのセットの存在を検出するために、例えば、好適なデジタル処理アルゴリズムを使用して処理される。画像捕捉デバイス６６は、ズームアウトして、視界を増加させることができ、方法３００は、ステップ９０２で反復して、画像捕捉デバイス６６が追加の画像を捕捉することを許容する。
【0084】
別の実施形態では、視野外器具２０ａの意図しない操作を防止するために、ステップ９０４で画像捕捉デバイス６６の視界内でマーカーが検出されないか、またはマーカー６４ａのセットのうちの１つのマーカー６４のみが検出される場合、ステップ９２０で、マーカー６４ａのいずれも検出されないかどうかに関して判定が行われる。そうである場合、システム１０は、器具２０ａが視野外器具であると判定し、視野外器具２０ａは、ステップ９２２で無効になる。具体的には、視野外器具を制御する能力が無効になる。次いで、方法９００は、ステップ９０２で反復して、追加の画像を捕捉する。ステップ９２０で、器具２０ａ上のマーカー６４ａのいずれかが検出される場合、対応する器具２０ａは、ステップ９２４で有効のままであるか、または再び有効になる。器具２０ａは、マーカーが画像捕捉デバイス６６の視界内に戻されると、再び有効になる。いずれの場合でも、方法９００は、ステップ９０６に進む。
【0085】
器具２０ａ上のマーカー６４ａの場所は、ステップ９０６で、捕捉された画像内の検出されたマーカーのセットから判定される。一実施形態によれば、マーカー６４ａの場所は、器具２０ａ上のセット内のマーカー６４ａの各々の既知の配置に基づいて計算される。マーカーの場所は、空間内のｘｙｚ座標によって、ベクトルとして、または他の好適な空間的な場所の表現として表現され得る。
【0086】
ステップ９０８では、器具２０の位置が、捕捉された画像内の器具２０ａ上のマーカー６４ａの場所、および器具２０ａに対応するロボットアーム１２上の１つ以上の所定の点に基づいて計算される。器具２０ａに対応するロボットアーム１２上の１つ以上の所定の点は、ロボットアーム１２の対応する連動装置のうちの１つおよび／または基部１８上の空間内の座標またはそのようなものによって表現される特定の場所など、ロボットアーム１２上の任意の場所から選択され得ることが理解されよう。一実施形態では、ロボットアーム１２上の所定の点は、ロボットアーム１２上に配置されたマーカー６４ａである。次いで、器具２０ａに対応するロボットアーム１２上の所定の点、および器具２０ａ上のセット内のマーカー６４ａの各々の場所を使用して、器具２０ａの位置を三角測量および計算する。特に、二次元画像では、器具２０ａ上の２つのマーカー６４ａは三角形の２つの点として役に立ち、ロボットアーム１２上の所定の点は三角形の１つの点として役に立つので、対応するロボットアーム１２上の所定の点に対する器具２０ａの正確な位置を判定するために、三角形の３つの点により計算を行うことができる。別の例では、ロボットアーム１２の基部の位置を識別するために、ロボットアーム１２および器具２０ａの対象となる点（複数可）の場所（複数可）を使用する計算。任意の所与の時間における器具２０ａおよび／またはロボットアーム１２の基部の位置のうちの１つ以上を、後で使用するためにメモリ３４に記憶することができる。例えば、器具２０ａおよび／またはロボットアーム１２の基部の記憶された位置を、後の手術のためのロボットアーム１２の最適な位置決めを判定する際に使用することができる。
【0087】
一対のカメラ（例えば、ステレオカメラ）であって、それらから作成される２つの画像間の既知の分離および既知の角度を有する、一対のカメラが使用され得ることが企図される。このようにして、より少ない点から３Ｄ構築を行うことができ、かつ／またはより正確な／信頼性の高い位置検知を達成することができる。さらに、かかる配列は、Ｒカメラでは見えないかもしれないが、Ｌカメラでは見えるかもしれないマーカーを視覚化するのを助ける。
【0088】
ロボットアーム１２および／または器具２０ａの位置を追跡するために、システム１０の動作の過程でステップ９０２～９０８が繰り返され得ることが理解されよう。一実施形態では、ステップ９０２～９０８を繰り返すことにより、マーカー６４の場所、ひいては、アーム１２および／または器具２０ａの場所の連続的な更新が可能になる。一実施形態では、フィルタリングまたは予測アルゴリズムを用いてマーカーを追跡して、モーショントラッキングを強化し、マーカーの一時的な閉塞に適応することができる。
【0089】
別の器具２０ｂ（以下「第２の器具」とも称される）の位置に対する器具２０ａ（以下「第１の器具」とも称される）の位置を判定するために、ステップ９１０で、第２の器具２０ｂの位置は、第１の器具２０ａの位置と比較される。一実施形態では、第２の器具２０ｂの位置を含むデータは、メモリ３４に記憶され、第１の器具２０ａの位置と比較される。
【0090】
別の実施形態では、第２の器具２０ｂの位置はまだ判定されていない。かかる事例では、画像捕捉デバイス６６によって捕捉された画像を使用して、第２の器具２０ｂの位置を判定する。例えば、第２の器具２０ｂ上のマーカー６４ｂのセットは、ステップ９０２で捕捉された画像からなど、捕捉された画像から検出される。例えば、両方の器具２０ａ、２０ｂは、同じ画像捕捉デバイス６６によって捕捉され、第２の器具２０ｂ上のマーカー６４ｂのセットは、ステップ９０４で、第１の器具２０ａ上のマーカー６４ａのセットを検出するために使用される画像から検出される。次いで、方法９００は、ステップ９０６に進み、ここで、第２の器具２０ｂ上のマーカー６４ｂの場所が、捕捉された画像内のマーカー６４ｂの検出されたセットから判定される。任意選択で、ステップ９２０および９２２も実施される。次に、ステップ９０８では、第２の器具２０ｂの位置が、捕捉された画像内の第２の器具２０ｂ上のマーカー６４ｂの場所、および第２の器具２０ｂに対応するロボットアーム１２上の１つ以上の所定の点に基づいて計算される。次いで、第２の器具２０ｂの計算された位置を第１の器具２０ａの計算された位置と比較して、それによって、第２の器具２０ｂの場所に対する第１の器具２０ａの場所を判定する。
【0091】
一実施形態によれば、第１および第２の器具２０ａ、２０ｂの計算された位置は、手術手技中に改善された遠近感を臨床医に提供するのに有用である。これに関して、第２の器具２０ｂに対する第１の器具２０ａの位置がステップ９１２で指標される。例えば、画像捕捉デバイス６６が手術部位「Ｓ」の画像を捕捉し、第１の器具２０ａのみが画像捕捉デバイス６６の視界内にある場合、矢印などのインジケータを、第２の器具２０ｂが第１の器具２０ａに対して位置する方向を指すように、ディスプレイデバイス４４上の画像内に表示することができる。別の例では、２つの器具２０ａ、２０ｂが同時に使用されているが、第２の器具２０ｂなど、１つの器具が画像捕捉デバイス６６の視界の外に移動される場合、インジケータは、第２の器具２０ｂが移動された方向を指して表示され得る。別の実施形態では、インジケータは、カメラ４８の視界を増加させるように、外科医に命令するメッセージであり得る。さらに別の実施形態では、表示されるメッセージは、第２の器具２０ｂがカメラの視界外にある距離を含む。別の実施形態では、インジケータは、入力ハンドル７０を介して臨床医に伝達される触覚的指標、またはスピーカ（図示せず）を介して臨床医に伝達される可聴指標である。このようにして、臨床医が第１の器具２０ａの使用と同時にまたは使用の後に第２の器具２０ｂの使用を開始したい場合、臨床医は、その係合前に第２の器具２０ｂの位置を認識する。
【0092】
外科医に向きを提供することに加えて、第１および第２の器具２０ａ、２０ｂの計算された位置は、ステップ９１４で、手術室内の第１および第２の器具２０ａ、２０ｂの位置を示すマップを生成するのに有用である。一例では、手術室の床、壁、および／または隅の場所などの手術室内の固定された場所は、メモリ３４内に記憶され、手術室のマップを生成するために使用される。第１および第２の器具２０ａ、２０ｂの位置、ならびにいくつかの実施形態では、既知の場合、器具２０ａ、２０ｂが連結されているロボットアーム１２の対応する基部１８の位置、および／または手術台「Ｔ」の場所は、手術室の生成されたマップにプロットされる。次いで、手術室のマップが表示されて、臨床医にロボット手術システムの構成要素の位置の概要が提供され、これは、コンソール４０が手術室の視認範囲の外側に位置する場合にとりわけ有用であり得る。さらに、器具２０ａ、２０ｂおよび／または以前の手術手技からメモリ３４に記憶されたロボットアーム１２の基部１８の位置は、生成されたマップ上に指標することができ、かつ／または後の手術のための手術室内のロボットアーム１２の最適な位置決めを判定する際に有用であり得る。
【0093】
マーカー６４を使用する別の例では、ロボットアーム１２の追加制御を提供するために、システム１０は、外科医の眼がディスプレイデバイス４４に向けられているかどうかを判定するために、外科医が着用するヘッドセット５０上の１つ以上のマーカーを使用することによって、意図しない動きをさらに防止するように構成されている。これに関して、システム１０は、カメラ４８を介して、（上部に１つ以上のマーカー６４が配設されている）ヘッドセット５０を含む画像データを捕捉し、捕捉された画像データ内のマーカー６４を検出するように構成されている。ここで図１０に移り、一実施形態による、ディスプレイデバイス４４に対する外科医の頭部の位置を判定する方法１０００のフロー図を提供する。方法１０００は、メモリ７２４（図７）に記憶された命令を実行する処理ユニット７２２によって、少なくとも部分的に実装され得る。さらに、図１０の方法１０００に示されるステップの特定の順序を限定ではなく例として提供する。方法１０００のステップは、本開示の範囲から逸脱することなく、図１０に示される順序以外の順序で実行され得る。さらに、図１０の方法１０００に示されるいくつかのステップは、逐次的に実行される代わりに、並行して実行されてもよい。
【0094】
一実施形態では、外科医の画像は、ステップ１００２でカメラ４８によって捕捉される。次いで、ステップ１００４で、捕捉された画像内でマーカー６４のうちの１つ以上が検出されるかどうかに関して判定が行われる。一実施形態では、カメラ４８は、マーカー（複数可）６４がカメラ４８の視界内にあり、カメラ４８に対して特定の角度または場所に位置決めされているかどうかを検出するように構成されている。マーカー６４の検出は、上部にマーカー６４が配設されているヘッドセット５０を着用している外科医の眼がディスプレイデバイス４４に向けられていることを指標する。一実施形態では、マーカー６４は、拡散材料および／または反射材料を含み、カメラ４８は、マーカー６４がある特定の角度で提示された場合のみ、マーカー６４の視覚的知覚を可能にする、対応するフィルタ５２を含む。マーカー６４は、光学標的の視認性が壁または仕切りによって制限され、それによって、光学標的が、ある特定の角度で視認された場合のみ、視覚的に知覚されることを許容するタイプのものを含む。別の例では、マーカー６４は、中で光が反射される特定の範囲の角度に限定された工学設計された透明フィルムで被覆された前面ミラーから構築されている。別の例では、マーカー６４は、ニュージャージー州ニュートンのＴｈｏｒＬａｂｓによって販売されているものなどの、マーカー６４の視認性を水平面および／または垂直面内の特定の角度に限定する工学設計されたディフューザで被覆された反射材料を含む。したがって、外科医が着用するヘッドセット５０が、マーカー６４から反射され、カメラ４８のフィルタ５２を通してフィルタされた光がカメラ４８に対して可視であることを許容する角度で傾けられると、マーカー６４が検出される。そうでなければ、マーカー６４は検出されない。
【0095】
ヘッドセット５０上のマーカー（複数可）６４が検出されないという判定がなされた場合、システム１０は、ステップ１００６で、ロボットアーム１２および器具２０ａ、２０ｂの動きを無効にする。一例では、入力ハンドル７０から受信した入力は、ロボットアーム１２または器具２０ａ、２０ｂに通信されない。このようにして、外科医がディスプレイデバイス４４を見ていないときに、システム１０は、患者「Ｐ」に影響を与える可能性のある動作を可能にすることを防止する。任意選択で、ステップ４０８において、外科医が自身の頭部を再び位置決めして、ロボットアーム１２および／または器具２０ａ、２０ｂの機能を再び有効にするべきであることを指標するために、通知がディスプレイデバイス４４上に、聴覚的に、または触覚的に、のいずれかで提供される。マーカー６４がカメラ４８の視界内で検出されないという判定がなされた場合、システム１０は、ロボットアーム１２および器具２０ａ、２０ｂの動作を通常どおり許容し、ステップ１００２で反復させて、追加の画像を捕捉する。
【0096】
一実施形態に従って、ロボットアーム１２および／または器具２０ａ、２０ｂの動きの無効化および有効化は、マーカー６４のうちの１つが検出されるかどうかに依存する。別の実施形態では、ロボットアーム１２および／または器具２０ａ、２０ｂの動きの無効化および有効化は、ヘッドセット５０上のマーカー６４のセットに含まれるマーカー６４のすべてが検出されるかどうかに依存する。
【0097】
本明細書に記載されるシステムはまた、１つ以上のコントローラを利用して、さまざまな情報を受信し、受信した情報を変換して、出力を生成することができる。コントローラは、メモリに記憶された一連の命令を実行することができる任意のタイプのコンピューティングデバイス、計算回路、または任意のタイプのプロセッサもしくは処理回路を含むことができる。コントローラは、複数のプロセッサおよび／またはマルチコア中央処理ユニット（ＣＰＵ）を含むことができ、マイクロプロセッサ、デジタル信号プロセッサ、マイクロコントローラ、またはそのようなものなどの任意のタイプのプロセッサを含むことができる。コントローラはまた、一連の命令を実施するためのデータおよび／またはアルゴリズムを記憶するメモリを含むことができる。
【0098】
本明細書に記載される方法、プログラム、アルゴリズム、またはコードのいずれかを、プログラミング言語もしくはコンピュータプログラムに変換することができるか、またはプログラミング言語もしくはコンピュータプログラムで表すことができる。「プログラミング言語」および「コンピュータプログラム」には、コンピュータへの命令を指定するために使用される任意の言語が含まれ、これらの言語とそれらの派生物（アセンブラー、ベーシック（Ｂａｓｉｃ）、バッチファイル、ＢＣＰＬ、Ｃ、Ｃ＋、Ｃ＋＋、Ｄｅｌｐｈｉ、フォートラン（Ｆｏｒｔｒａｎ）、ジャバ（Ｊａｖａ（登録商標））、ジャバスクリプト（ＪａｖａＳｃｒｉｐｔ（登録商標））、マシンコード、オペレーティングシステムコマンド言語、Ｐａｓｃａｌ、Ｐｅｒｌ、ＰＬ１、スクリプト言語、Ｖｉｓｕａｌ Ｂａｓｉｃ、プログラム自体を指定するメタ言語、ならびにすべての第１、第２、第３、第４、および第５世代のコンピュータ言語）が含まれる（が限定はされない）。また、データベースおよびその他のデータスキーマ、ならびに任意の他のメタ言語も含まれる。解釈される言語、コンパイルされる言語、またはコンパイルされるアプローチおよび解釈されるアプローチの両方を使用する言語の間で区別は行われない。プログラムのコンパイルされたバージョンとソースバージョンとの間でも区別は行われない。したがって、プログラミング言語が２つ以上の状態（ソース状態、コンパイルされた状態、オブジェクト状態、またはリンクされた状態）で存在する可能性があるプログラムへの参照は、かかる状態のいずれか、およびかかる状態のすべてへの参照である。プログラムへの参照は、実際の命令および／またはそれらの命令の意図を包含し得る。
【0099】
本明細書に記載される方法、プログラム、アルゴリズム、またはコードのいずれも、１つ以上の機械可読媒体またはメモリに含まれ得る。「メモリ」という用語は、プロセッサ、コンピュータ、またはデジタル処理デバイスなどの機械によって読み取り可能な形態で情報を提供（例えば、記憶および／または伝送）する機構を含み得る。例えば、メモリとしては、読み取り専用メモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、磁気ディスクストレージ媒体、光学ストレージ媒体、フラッシュメモリデバイス、またはその他の揮発性もしくは不揮発性のメモリストレージデバイスを挙げることができる。コードまたはコードに含まれる命令は、搬送波信号、赤外線信号、デジタル信号、および他の同様の信号によって表現され得る。
【0100】
本開示のいくつかの実施形態が図面に示されているが、本開示は当該技術分野が許容する広い範囲として捉えられるべきであり、本明細書も同様に読み取られるべきと考えられるので、本開示はこれらの実施形態に限定されるものではないことが意図される。上記の実施形態の任意の組み合わせもまた想定され、これらは、添付の特許請求の範囲内である。したがって、上記の説明は、限定として解釈されるべきではなく、特定の実施形態の単なる例示として解釈されるべきである。当業者は、本明細書に添付される特許請求の範囲の範囲内での他の修正を想定するであろう。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【外国語明細書】