特開 2022-189986 撮像装置及び入力コントロールを再芯出しするためのシステム及び方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022189986

(43)【公開日】2022-12-22

(54)【発明の名称】撮像装置及び入力コントロールを再芯出しするためのシステム及び方法

(51)【国際特許分類】

   A61B 34/35 20160101AFI20221215BHJP

【ＦＩ】

A61B34/35

【審査請求】有

【請求項の数】15

【出願形態】ＯＬ

【外国語出願】

(21)【出願番号】P 2022175258

(22)【出願日】2022-11-01

(62)【分割の表示】P 2021078669の分割

【原出願日】2015-03-17

(31)【優先権主張番号】61/954,191

(32)【優先日】2014-03-17

(33)【優先権主張国・地域又は機関】US

(71)【出願人】

【識別番号】510253996

【氏名又は名称】インテュイティブ サージカル オペレーションズ， インコーポレイテッド

(74)【代理人】

【識別番号】100107766

【弁理士】

【氏名又は名称】伊東 忠重

(74)【代理人】

【識別番号】100070150

【弁理士】

【氏名又は名称】伊東 忠彦

(74)【代理人】

【識別番号】100135079

【弁理士】

【氏名又は名称】宮崎 修

(72)【発明者】

【氏名】イトコウィッツ，ブランドン ディー

(72)【発明者】

【氏名】ハナスチック，マイケル

(72)【発明者】

【氏名】モーア，ポール ダブリュ

(72)【発明者】

【氏名】アワータッシュ，アージャン エム

(57)【要約】

【課題】撮像装置及び入力コントロールを再芯出しするシステム及び方法を提供すること。
【解決手段】 コンピュータ支援医療装置は、撮像装置と、コンピュータ支援医療装置によってサポートされるエンドエフェクタを遠隔操作するための入力コントロールと、１つ又は複数のプロセッサを含み、且つエンドエフェクタ、撮像装置、及び入力コントロールに結合される制御ユニットと、を備えており、制御ユニットは、再芯出し要求に応答して、入力コントロールによるエンドエフェクタの遠隔操作制御を一時停止し、入力コントロールとエンドエフェクタとの間の位置及び向きの調和を与えるように、入力コントロール再芯出し運動を決定し、且つエンドエフェクタの遠隔操作制御が一時停止されている間に、入力コントロール再芯出し運動を実行する、ように構成される、
【選択図】図１

【特許請求の範囲】

【請求項1】

コンピュータ支援医療装置であって、当該コンピュータ支援医療装置は、
撮像装置を遠隔操作するための入力コントロールと、
前記撮像装置及び前記入力コントロールに結合した１つ又は複数のプロセッサを含む制御ユニットと、を含み、
該制御ユニットは、
前記撮像装置の再位置付け運動の開始を検出すること、
前記再位置付け運動の終了を検出すること、
前記撮像装置と１つ又は複数の標的との間の１つ又は複数の第１の距離に基づいて現在の作動距離を決定することであって、前記１つ又は複数の標的は、前記再位置付け運動の終了時の前記撮像装置の視野ボリューム内にある、当該コンピュータ支援医療装置によって支持される１つ又は複数のエンドエフェクタに関連付けられ、前記１つ又は複数の第１の距離は前記撮像装置の視野方向で測定される、こと、
前記現在の作動距離を以前に取得した作動距離と集計して、前記撮像装置の好適な（preferred）作動距離を決定すること、を行うように構成される、
コンピュータ支援医療装置。

【請求項2】

前記以前に取得した作動距離は、前記撮像装置の追加の再位置付け運動から決定される、請求項１に記載のコンピュータ支援医療装置。

【請求項3】

前記現在の作動距離を決定するために、前記制御ユニットは、前記撮像装置と前記１つ又は複数の標的の重心との間の第２の距離を決定するように構成される、請求項１又は２に記載のコンピュータ支援医療装置。

【請求項4】

前記１つ又は複数の標的のうちの第１の標的が、前記１つ又は複数のエンドエフェクタのうちの第１のエンドエフェクタのチップ、関節、又は基準点に関連付けられる、請求項１乃至３のいずれか一項に記載のコンピュータ支援医療装置。

【請求項5】

前記制御ユニットは、オペレータによる選択に基づいて、又は前記撮像装置によって取り込まれた１つ又は複数の画像において前記１つ又は複数のエンドエフェクタが見えるかどうかに基づいて、前記１つ又は複数のエンドエフェクタを特定するようにさらに構成される、請求項１乃至４のいずれか一項に記載のコンピュータ支援医療装置。

【請求項6】

前記制御ユニットは、前記再位置付け運動の前記開始と前記終了との間に前記撮像装置の十分な運動が生じるかどうかを決定するようにさらに構成される、請求項１乃至５のいずれか一項に記載のコンピュータ支援医療装置。

【請求項7】

前記再位置付け運動の前記開始と前記終了との間に前記撮像装置の十分な運動が生じるかどうかを決定するために、前記制御ユニットは、
前記再位置付け運動の開始時の前記撮像装置の位置と前記再位置付け運動の終了時の前記撮像装置の位置との間の距離を決定する、又は
前記再位置付け運動の開始時の前記撮像装置の向きと前記再位置付け運動の終了時の前記撮像装置の向きとの間の角度変化を決定する、ように構成される、請求項６に記載のコンピュータ支援医療装置。

【請求項8】

前記制御ユニットは、前記再位置付け運動の前記開始と前記終了との間の前記撮像装置の動きの量に基づいて、前記現在の作動距離に重みを付ける、ようにさらに構成される、請求項１乃至７のいずれか一項に記載のコンピュータ支援医療装置。

【請求項9】

前記再位置付け運動の前記終了を検出するために、前記制御ユニットは、
前記撮像装置の速度が閾値を下回ると決定する、又は
前記撮像装置の前記速度が所定の期間に亘って閾値を下回ったままであると決定する、ように構成される、請求項１乃至８のいずれか一項に記載のコンピュータ支援医療装置。

【請求項10】

撮像装置の好適な（preferred）作動距離を決定するための作動方法であって、当該作動方法は、
制御ユニットが、前記撮像装置の再位置付け運動の開始を検出するステップと、
前記制御ユニットが、前記再位置付け運動の終了を検出するステップと、
前記制御ユニットが、前記撮像装置と１つ又は複数の標的との間の１つ又は複数の第１の距離に基づいて現在の作動距離を決定するステップであって、前記１つ又は複数の標的は、前記再位置付け運動の終了時の前記撮像装置の視野ボリューム内にある１つ又は複数のエンドエフェクタに関連付けられ、前記１つ又は複数の第１の距離は前記撮像装置の視野方向で測定される、ステップと、
前記制御ユニットが、前記現在の作動距離を以前に取得した作動距離と集計して、前記撮像装置の好適な作動距離を決定するステップと、を含む、
作動方法。

【請求項11】

前記現在の作動距離を決定するステップは、
前記撮像装置と前記１つ又は複数の標的の重心との間の第２の距離を決定する、請求項１０に記載の作動方法。

【請求項12】

前記制御ユニットが、前記再位置付け運動の前記開始と前記終了との間に前記撮像装置の十分な運動が発生するかどうかを決定するステップをさらに含む、請求項１０又は１１に記載の作動方法。

【請求項13】

前記制御ユニットが、前記再位置付け運動の前記開始と前記終了との間の前記撮像装置の動きの量に基づいて、前記現在の作動距離に重みを付けるステップをさらに含む、請求項１０乃至１２のいずれか一項に記載の作動方法。

【請求項14】

前記再位置付け運動の前記終了を検出するステップは、
前記撮像装置の速度が閾値を下回ると決定するステップ、又は
前記撮像装置の前記速度が所定の期間に亘って閾値を下回ったままであると決定するステップ、を含む、請求項１０乃至１３のいずれか一項に記載の作動方法。

【請求項15】

複数の機械可読命令を含む非一時的な機械可読媒体であって、前記命令が医療装置に関連付けられた１つ又は複数のプロセッサによって実行されると、前記１つ又は複数のプロセッサに請求項１０乃至１４のいずれか一項に記載の動作方法を実行させるように適合される、非一時的な機械可読媒体。

【発明の詳細な説明】

【技術分野】

【0001】

関連出願
本開示は、２０１４年３月１７日に出願された”System and Method for Recentering Imaging Devices and Input Controls”という標題の米国仮特許出願第６１／９５４，１９１号について優先権を主張するものであり、この文献は、その全体が参照により本明細書に組み込まれる。

【0002】

本開示は、概して関節式アームを含む装置の遠隔操作に関し、より具体的には、撮像装置及び入力コントロールを再芯出し(recentering)することに関する。

【背景技術】

【0003】

益々多くの装置が、自律的な及び半自律的な電子装置に置き換えられている。これは、自律的な及び半自律的な電子装置の大型アレイが、手術室、介入処置室、集中治療室、救急処置室等で見受けられるような、今日の病院に特に当てはまる。例えば、ガラス体温計や水銀体温計が、電子体温計に置き換えられ、点滴ラインが、現在、電子監視装置及び流れ調整器を含み、従来のハンドヘルド式手術用器具は、コンピュータ支援医療装置に置き換えられている。

【0004】

これらの電子装置は、それら電子装置を操作する従事者に利点と課題との両方を与える。これらの電子装置の多くは、１つ又は複数の関節式アーム及び／又はエンドエフェクタの自律的な又は半自律的な動作を可能にする。関節式アーム及び／又はエンドエフェクタの動作及び／又は操作を制御するために、オペレータ・ワークステーション上で１つ又は複数の入力コントロールを使用して、遠隔操作によって電子装置を操作することも一般的である。電子装置をオペレータ・ワークステーションからリモートで操作する場合に、及び／又はエンドエフェクタが患者の解剖学的構造によって隠されるときのコンピュータ支援手術中等に、オペレータにとって直接的に見えない領域でエンドエフェクタを使用する場合に、電子装置は、関心領域を取り込み、表示装置を使用してその関心領域をオペレータに表示する撮像装置を含んでもよい。オペレータが関節式アーム及び／又はエンドエフェクタを制御する際に、オペレータは、一般的に、エンドエフェクタの操作を表示装置上で観察できるように、エンドエフェクタを撮像装置の視野内に維持するよう試みる。加えて、入力コントロールの位置及び向きは、典型的には、入力コントロールを移動すると、エンドエフェクタがそれら入力コントロールの動きに「追従」するようにエンドエフェクタに一致させられる。

【0005】

撮像装置及び／又はエンドエフェクタを移動させる際に、オペレータは、１つ又は複数のエンドエフェクタを見失う可能性があり、及び／又は撮像装置とエンドエフェクタとの間の空間的関係の追跡を見失う可能性がある。これは、電子装置のオペレータが関心領域の周りに他の領域に駐機し得る追加の関節式アーム及び／又はエンドエフェクタに制御を切り替える場合に、及び／又はエンドエフェクタが関心領域の他の物体によって部分的に又は全体的に塞がれる場合に、さらに複雑になり得る。エンドエフェクタについての可視化を再取得するために（すなわち、エンドエフェクタを撮像装置の視野ボリューム内に配置するために）、オペレータは、撮像装置（エンドエフェクタを含む）の適切な姿勢（位置及び向き）を見つけるために、一連の再芯出し運動を撮像装置で実行する必要があり得る。この一連の運動は、煩わしく、時間が長引き及び／又は非現実的になりがちである。

【0006】

加えて、撮像装置を移動させ及び／又は入力コントロールを追加の関節式アーム及び／又はエンドエフェクタに切り替える際に、撮像装置とエンドエフェクタとの間の空間的な向きは、変更される可能性がある。これは、表示装置によって表示されるようなエンドエフェクタの位置及び／又は向きと、それらエンドエフェクタの入力コントロールの対応する位置及び／又は向きとの間に不調和を生じさせ得る。いくつかのケースでは、これは、入力コントロールのクラッチを起動し、次にエンドエフェクタの位置及び／又は向きを表示装置上に示されるように一致させるために入力コントロールを再位置付け及び／又は再向き合わせすることによって、オペレータによって補正することができる。撮像装置の運動と同様に、これらの再位置付け及び／又は再向き合せ操作も、煩わしく、時間が長引き及び／又は非実用的になりがちである。

【発明の概要】

【発明が解決しようとする課題】

【0007】

従って、エンドエフェクタを視覚的に再取得すること及び／又は、エンドエフェクタと一致させるために入力コントロールを再位置付け及び／又は再向き合わせするための改良された方法及びシステムが、所望される。

【課題を解決するための手段】

【0008】

いくつかの実施形態に一致する、コンピュータ支援医療装置は、１つ又は複数のエンドエフェクタと、撮像装置と、１つ又は複数のエンドエフェクタを遠隔操作するための１つ又は複数の入力コントロールと、制御ユニットとを含み、この制御ユニットは、エンドエフェクタ、撮像装置、及び入力コントロールに結合された１つ又は複数のプロセッサを含む。制御ユニットは、再芯出し要求に応答して、入力コントロールによるエンドエフェクタの遠隔操作制御を一時停止し；エンドエフェクタを撮像装置の視野空間内に収めるように、撮像装置の視野再芯出し運動を決定し；入力コントロールのそれぞれとエンドエフェクタのうちの対応する１つとの位置及び向きの調和を提供するように、１つ又は複数の入力コントロール再芯出し運動を決定し；視野再芯出し運動及び入力コントロール再芯出し運動を実行し；入力コントロールによるエンドエフェクタの遠隔操作制御を回復させる。

【0009】

いくつかの実施形態に一致する、医療装置の動きを制御する方法は、再芯出し要求に応答して、医療装置の１つ又は複数の入力コントロールによる医療装置の１つ又は複数のエンドエフェクタの遠隔操作制御を一時停止するステップと；エンドエフェクタを医療装置の撮像装置の視野空間内に収めるように、撮像装置の視野再芯出し運動を決定するステップと；入力コントロールのそれぞれとエンドエフェクタのうちの対応する１つの間の位置及び向きの調和を提供するように、１つ又は複数の入力コントロール再芯出し運動を決定するステップと；視野再芯出し運動及び入力コントロール再芯出し運動を実行するステップと；入力コントロールによるエンドエフェクタの遠隔操作制御を回復させるステップと；を含む。

【0010】

いくつかの実施形態に一致する、医療装置の動きを制御する方法は、再芯出し要求に応答して、医療装置の１つ又は複数の入力コントロールによる医療装置の１つ又は複数のエンドエフェクタの遠隔操作制御を一時停止するステップと；エンドエフェクタを医療装置の撮像装置の視野空間内に収めるように、撮像装置の視野再芯出し運動を決定するステップと；視野再芯出し運動を実行するステップと；入力コントロールによるエンドエフェクタの遠隔操作制御を回復させるステップと；を含む。

【0011】

いくつかの実施形態に一致する、医療装置の撮像装置の好適な作動距離を決定する方法は、医療装置の撮像装置の再位置付け運動の開始を検出するステップと；再位置付け運動の終了を検出するステップと；再位置付け運動の終了の際に、撮像装置と、撮像装置の視野ボリューム内にある、医療装置の１つ又は複数のエンドエフェクタに関連した１つ又は複数の標的との間の第１の距離に基づいて、現在の作動距離を決定するステップであって、第１の距離は、撮像装置の視野の方向に測定される、決定するステップと；好適な作動距離を決定するために、現在の作動距離を以前取得した現在の作動距離と集計するステップと；を含む。

【0012】

いくつかの実施形態に一致する、医療装置の動きを制御する方法は、再芯出し要求に応答して、医療装置の１つ又は複数の入力コントロールによる医療装置の１つ又は複数のエンドエフェクタの遠隔操作制御を一時停止するステップと；入力コントロールのそれぞれとエンドエフェクタのうちの対応する１つとの位置及び向きの調和を提供するように、１つ又は複数の入力コントロール再芯出し運動を決定するステップと；入力コントロール再芯出し運動を実行するステップと；入力コントロールによるエンドエフェクタの遠隔操作制御を回復させるステップと；を含む。

【0013】

いくつかの実施形態に一致する、医療装置のオペレータ・ワークステーションの人間工学に基づく中心を決定する方法は、医療装置の１つ又は複数の入力コントロールの再位置付け運動の開始を検出するステップと；再位置付け運動の終了を検出するステップと；再位置付け運動の終了の際に、入力コントロールに関連した１つ又は複数の制御点の位置を決定するステップと；複数の位置を集計して入力コントロール中心点を決定するステップと；人間工学に基づく中心を決定するために、入力コントロール中心点を以前取得した入力コントロール中心点と集計するステップと；を含む。

【0014】

いくつかの実施形態に一致する、非一時な機械可読媒体は、複数の機械可読命令を含む。機械可読命令を医療装置に関連した１つ又は複数のプロセッサによって実行させると、１つ又は複数のプロセッサに、再芯出し要求に応答して、医療装置の１つ又は複数の入力コントロールによる医療装置の１つ又は複数のエンドエフェクタの遠隔操作制御を一時停止させること；エンドエフェクタを医療装置の撮像装置の視野空間内に収めるように、撮像装置の視野再芯出し運動を決定すること；入力コントロールのそれぞれとエンドエフェクタのうちの対応する１つとの間の位置及び向きの調和を提供するように、１つ又は複数の入力コントロール再芯出し運動を決定すること；視野再芯出し運動及び入力コントロール再芯出し運動を実行すること；入力コントロールによるエンドエフェクタの遠隔操作制御を回復させること；を実行させる。

【0015】

いくつかの実施形態に一致する、医療装置に結合された撮像装置の動きを制御する方法は、撮像装置動作モードの起動を検出するステップと；１つ又は複数の動作入力コントロールが使用されているか否かを判定するステップと；を含む。１つ又は複数の動作入力コントロールが使用されている場合に、１つ又は複数の動作入力コントロールに基づいて、撮像装置の姿勢を制御する。１つ又は複数の動作入力コントロールがタイムアウト期間まで使用されない場合に、撮像装置を再芯出しする。撮像装置を再芯出しするステップは、医療装置の１つ又は複数のエンドエフェクタを撮像装置の視野空間内に収めるように、撮像装置の視野再芯出し運動を決定するステップと；視野再芯出し運動を実行するステップと；を含む。

【図面の簡単な説明】

【0016】

【図1】いくつかの実施形態に係るコンピュータ支援システムの簡略図である。

【図2】いくつかの実施形態に係るエンドエフェクタ及び入力コントロールを再芯出しする方法の簡略図である。

【図3A】いくつかの実施形態に係る視野再芯出し動作前の撮像視野の簡略図である。

【図3B】いくつかの実施形態に係る視野再芯出し動作後の撮像視野の簡略図である。

【図4A】いくつかの実施形態に係る視野再芯出し動作後の撮像視野の簡略図である。

【図4B】いくつかの実施形態に係る視野再芯出し動作後の側面視野の簡略図である。

【図5】いくつかの実施形態に係る視野再芯出し方法の簡略図である。

【図6】いくつかの実施形態に係る撮像装置の好適な作動距離を決定する方法の簡略図である。

【図7】いくつかの実施形態に係る、入力コントロール再芯出し動作に続く、表示装置上の画像内のエンドエフェクタとコンソール作業空間の対応する入力コントロールとの関係を示す簡略図である。

【図8】いくつかの実施形態に係る入力コントロール再芯出し方法の簡略図である。

【図9】いくつかの実施形態に係る入力コントロールの人間工学に基づく中心を決定する方法の簡略図である。

【図10】いくつかの実施形態に係る撮像装置を制御する方法の簡略図である。

【発明を実施するための形態】

【0017】

図面において、同一の記号表示を有する要素は、同一又は同様の機能を有する。

【0018】

以下の説明では、本開示に一致するいくつかの実施形態を説明する具体的な詳細について記載する。しかしながら、いくつかの実施形態は、これらの特定の詳細の一部又は全てを用いずに実施できることは、当業者には明らかであろう。本明細書に開示された特定の実施形態は、例示することを意図しており、限定するものではない。当業者は、ここでは特に説明しない、本開示の範囲及び精神の範囲内にある他の要素を実現し得る。また、不必要な繰返しを避けるために、一実施形態に関連して図示し且つ説明した１つ又は複数の特徴は、他に特に明記しない限り又は１つ又は複数の特徴が実施形態を機能的でないものにしない限り、他の実施形態に組み込むことができる。

【0019】

図１は、いくつかの実施形態に係るコンピュータ支援システム１００の簡略図である。図１に示されるように、コンピュータ支援システム１００は、１つ又は複数の可動式又は関節式アーム１２０を有する装置１１０を含む。１つ又は複数の関節式アーム１２０のそれぞれは、１つ又は複数のエンドエフェクタ１２５を支持することができる。いくつかの例では、装置１１０は、コンピュータ支援手術用装置と一致してもよい。１つ又は複数のエンドエフェクタ１２５は、手術用器具、撮像装置等を含むことができる。いくつかの例では、手術用器具は、クランプ、グリッパ、開創器、焼灼ツール、吸引ツール、縫合装置等を含むことができる。いくつかの例では、撮像装置は、内視鏡、カメラ、立体視装置等を含むことができる。

【0020】

装置１１０は、インターフェイスを介して制御ユニット１３０に結合される。インターフェイスは、１つ又は複数のケーブル、コネクタ、及び／又はバスを含んでもよく、且つ１つ又は複数のネットワーク・スイッチング及び／又はルーティング装置を含む１つ又は複数のネットワークをさらに含んでもよい。制御ユニット１３０は、メモリ１５０に結合されたプロセッサ１４０を含む。制御ユニット１３０の動作は、プロセッサ１４０によって制御される。１つのプロセッサ１４０のみを含む制御ユニット１３０が示されているが、プロセッサ１４０は、制御ユニット１３０内の１つ又は複数の中央処理装置、マルチコアプロセッサ、マイクロプロセッサ、マイクロコントローラ、デジタル信号プロセッサ、フィールドプログラマブル・ゲートアレイ（FPGA）、特定用途向け集積回路（ASIC）等であってもよいことが理解される。制御ユニット１３０は、コンピュータ装置に追加されたスタンドアロン型のサブシステム及び／又はボード、或いは仮想マシンとして実現してもよい。

【0021】

メモリ１５０は、制御ユニット１３０によって実行されるソフトウェア及び／又は制御ユニット１３０の動作中に使用される複数のデータ構造を格納するために使用することができる。メモリ１５０は、１つ又は複数のタイプの機械可読媒体を含んでもよい。機械可読媒体のいくつかの一般的な形態は、フロッピー（登録商標）ディスク、フレキシブルディスク、ハードディスク、磁気テープ、他の磁気媒体、ＣＤ－ＲＯＭ、他の光媒体、パンチカード、紙テープ、ホール（holes）パターンを含む他の物理媒体、ＲＡＭ、ＰＲＯＭ、ＥＰＲＯＭ、ＦＬＡＳＨ（登録商標）－ＥＰＲＯＭ、他のメモリチップ又はカートリッジ、及び／又はプロセッサ又はコンピュータが読み取るように適合された他の媒体を含むことができる。

【0022】

示されるように、メモリ１５０は、装置１１０の自律的な及び／又は半自律的な制御をサポートするために使用され得る動作制御アプリケーション１６０を含む。動作制御アプリケーション１６０は、装置１１０から位置、動作、及び／又は他のセンサ情報を受信し、位置、動作、及び／又は衝突回避情報を他の装置に関する他の制御ユニットと交換し、及び／又は、装置１１０、装置１１０の関節式アーム１２０及び／又はエンドエフェクタ１２５の動作を計画及び／又は支援するための１つ又は複数のアプリケーション・プログラミング・インターフェイス（API）を含むことができる。動作制御アプリケーション１６０は、ソフトウエア・アプリケーションとして示されているが、動作制御アプリケーション１６０は、ハードウェア、ソフトウェア、及び／又はハードウェアとソフトウェアとの組合せを用いて実現することができる。

【0023】

制御ユニット１３０は、インターフェイスを介してオペレータ・ワークステーション１７０にさらに結合してもよい。オペレータ・ワークステーション１７０は、外科医等のオペレータによって、関節式アーム１２０及びエンドエフェクタ１２５の運動及び／又は動作を制御するために使用することができる。関節式アーム１２０の操作をサポートするために、オペレータ・ワークステーション１７０は、１つ又は複数の関節式アーム１２０及び／又はエンドエフェクタ１２５の少なくとも一部の画像を表示する表示装置１８０を含むことができる。例えば、表示装置１８０は、オペレータが、関節式アーム１２０及び／又はエンドエフェクタ１２５を使用する際に、それら関節式アーム１２０及び／又はエンドエフェクタ１２５を見ることが非現実的及び／又は不可能である場合に、使用され得る。オペレータ・ワークステーション１７０は、１つ又は複数の入力コントロール又はマスターコントロール１９５を含むコンソール作業空間をさらに含むことができ、その作業空間は、装置１１０、関節式アーム１２０、及び／又はエンドエフェクタ１２５を操作するために使用され得る。各入力コントロール１９５をそれらコントロール自体の関節式アームの先端部に結合することができ、それによって入力コントロール１９５の運動をオペレータ・ワークステーション１７０によって検出し且つ制御ユニット１３０に通信することができる。改善された人間工学的機能を提供するために、コンソール作業空間は、オペレータが入力コントロール１９５を操作しながら自分の腕を置くことができるアームレスト１９０等の１つ又は複数の置台も含むことができる。いくつかの例では、表示装置１８０及び入力コントロール１９５は、オペレータが、関節式アーム１２０及び／又はエンドエフェクタ１２５を遠隔操作するために使用してもよい。いくつかの実施形態では、装置１１０、オペレータ・ワークステーション１７０、及び制御ユニット１３０は、カリフォルニア州、サニーベールのIntuitive Surgical, Inc.により市販されているda Vinci（登録商標）手術システムに対応してもよい。

【0024】

いくつかの実施形態では、他の構成及び／又はアーキテクチャをコンピュータ支援システム１００と共に使用してもよい。いくつかの例では、制御ユニット１３０を、オペレータ・ワークステーション１７０及び／又は装置１１０の一部として含めてもよい。いくつかの実施形態では、コンピュータ支援システム１００は、手術室及び／又は介入処置室に確認することができる。コンピュータ支援システム１００は、２つの関節式アーム１２０を有する１つのみの装置１１０を含むが、コンピュータ支援システム１００は、装置１１０と同様の及び／又は異なる設計の関節式アーム及び／又はエンドエフェクタを有する任意数の装置を含んでもよいことを当業者は理解するであろう。いくつかの例では、各装置は、より少ない又はより多い関節式アーム１２０及び／又はエンドエフェクタ１２５を含んでもよい。

【0025】

図２は、いくつかの実施形態に係るエンドエフェクタ及び入力コントロールを再芯出しする方法２００の簡略図である。方法２００のプロセス２１０～２８０の１つ又は複数は、非一時的な、有形の機械可読媒体上に格納された実行可能コードの形態で少なくとも部分的に実施することができ、１つ又は複数のプロセッサ（例えば、制御ユニット１３０内のプロセッサ１４０）によって実行されたときに、１つ又は複数のプロセッサに、プロセス２１０～２８０の１つ又は複数を実行させることができる。いくつかの実施形態では、方法２００は、動作制御アプリケーション１６０等のアプリケーションによって実行してもよい。いくつかの実施形態では、方法２００は、撮像装置により取り込まれ且つ表示装置１８０に表示される画像において１つ又は複数のエンドエフェクタ１２５を再芯出しし、及び／又はコンソール作業空間において１つ又は複数の入力コントロール１９５を再芯出するように使用することができ、それによって入力コントロール１９５の位置及び／又は向きが、画像に表示されたエンドエフェクタ１２５の位置及び／又は向きに対応する。

【0026】

プロセス２１０では、再芯出しの要求が検出される。いくつかの例では、電子装置のオペレータは、スイッチ、ペダル、レベル、音声認識等の１つ又は複数の入力コントロールを使用して、再芯出しの要求を手動でトリガしてもよい。いくつかの例では、その要求は、再芯出しをトリガする瞬間的な入力、及び／又は、その完了及び／又はその入力を取り下げるまで再芯出しを起動する連続的な入力として発することができる。いくつかの例では、再芯出しの要求は、システムの状態の変化に応答して自動化することができる。いくつかの例では、システムの状態の変化は、入力コントロールと遠隔操作されるエンドエフェクタとの間の関連性の変化を含んでもよい。いくつかの例では、システムの状態の変化は、１つ又は複数のエンドエフェクタが撮像装置の視野の外にあるように検出されるような、入力コントロールと遠隔操作されるエンドエフェクタとの間の関連性の変化を含んでもよい。いくつかの例では、システムの状態の変化は、１つ又は複数のエンドエフェクタが撮像装置の視野の外になるような撮像装置のモードの変化（例えば、デジタルズームの変化、遠視野角の変化等）を含み得る。いくつかの例では、再芯出しの要求は、再芯出しすべき関節式アーム及びエンドエフェクタの指定を含んでもよい。いくつかの例では、再芯出し要求の検出は、固有の音、コンソール上のメッセージ、インジケータ等の適切なフィードバックによってオペレータに認識させることができる。

【0027】

プロセス２２０では、１つ又は複数のエンドエフェクタのオペレータ制御が一時停止される。再芯出しを開始できるようにする前に、電子装置の１つ又は複数のエンドエフェクタを制御及び／又は遠隔操作するオペレータの能力が、一時停止される。オペレータによる制御の一時停止は、オペレータによって指令された動作と干渉せずに、再芯出し動作を続行するのを可能にする。

【0028】

プロセス２３０では、所望の視野再芯出し運動が、決定される。例えば、関節式アーム及び関節式アームに結合されたエンドエフェクタの感知された関節位置と、関節式アーム及びエンドエフェクタの１つ又は複数の運動学的モデルとを使用して、視野再芯出し運動が決定される。いくつかの例では、これは、制御される電子装置に関連した１つ又は複数の関心のあるエンドエフェクタの姿勢（例えば、位置及び／又は向き）を決定することを含むことができる。いくつかの例では、決定された姿勢のそれぞれは、ワールド座標系及び／又は視野座標系等の共通の座標系にマッピングすることができる。撮像装置の姿勢の幾何学的配置及び好適な作動距離の知見を使用して、エンドエフェクタを撮像装置の視野空間内に配置する撮像システムの所望の姿勢が、決定される。次に、撮像装置の姿勢及び１つ又は複数の運動学的モデルを使用して、撮像装置の所望の視野再芯出し運動を決定することができる。

【0029】

プロセス２４０では、所望の入力コントロール再芯出し運動が、決定される。プロセス２３０の間に決定されたエンドエフェクタの姿勢は、エンドエフェクタに対応する入力コントロールが配置されるコンソール作業空間の座標系にマッピングすることができる。姿勢は、コンソール作業空間の好適な人間工学に基づく中心(ergonomic center)の知見、及びエンドエフェクタが使用する作業空間の距離と入力コントロールを含むコンソール作業空間の距離との間のスケール係数を使用してマッピングすることができる。次に、マッピングされた姿勢及び入力コントロールの１つ又は複数の運動学的モデルを使用して、入力コントロールの対応する入力コントロール再芯出し運動を決定することができる。いくつかの実施形態では、２つの入力コントロール再芯出し運動が決定され、一方が、第１のエンドエフェクタに関連した左入力コントロールに対応し、他方が、第２のエンドエフェクタに関連した右入力コントロールに対応する。いくつかの実施形態では、他の数の入力コントロールが、決定された対応する再芯出し運動を有してもよい。

【0030】

プロセス２５０では、視野再芯出し運動及び／又は入力コントロール再芯出し運動が、有効であるか否かが判定される。撮像装置の運動学的モデル及びプロセス２３０の間に決定された撮像装置の所望の再芯出し運動を使用して、撮像装置の所望の再芯出し運動が、有効であるか否かが判定される。いくつかの例では、この有効性の判定は、撮像装置の運動、他の関節式アームの位置、他のエンドエフェクタ及び／又は電子装置の作業空間内での装置、及び／又はエンドエフェクタの適切な画像を取得するための撮像装置の能力に関する１つ又は複数の制約条件を検討することを含んでもよい。入力コントロールの運動学的モデル及びプロセス２４０の間に決定された入力コントロールの所望の再芯出し運動を使用して、入力コントロールの所望の再芯出し運動が有効であるか否かが判定される。いくつかの例では、この有効性の判定は、入力コントロールの運動、コンソール作業空間におけるオペレータ・ワークステーションの一部の位置、及び／又は入力コントロールについてのオペレータの人間工学的な考慮に関する１つ又は複数の制約条件を検討すること含んでもよい。再芯出し運動が有効であると判定された場合に、再芯出し運動が、プロセス２６０を使用して実行される。再芯出し運動のいずれかが無効であると判定された場合に、エラーが、プロセス２７０を使用して示される。

【0031】

プロセス２６０では、視野再芯出し運動及び入力コントロール再芯出し運動が、調整される。撮像装置に結合された関節式アームの１つ又は複数のアクチュエータに１つ又は複数の運動コマンドを送って、撮像装置に指令及び／又は指示して、視野再芯出し運動を実行させる。入力コントロールに結合された関節式アームの１つ又は複数のアクチュエータにも１つ又は複数の運動コマンドを送って、入力コントロールに指令及び／又は指示して、入力コントロール再芯出し運動を実行させる。撮像装置及び入力コントロールの運動コマンドは、典型的には、調整される。いくつかの例では、この調整によって、撮像装置及び入力コントロールの両方の同時再芯出しを可能にする。いくつかの例では、再芯出し運動中に撮像装置の視野空間内のエンドエフェクタと入力コントロールの姿勢との間の少なくともいくつかの位置及び／又は向きの調和を維持するように、その調整を行ってもよい。いくつかの例では、プロセス２６０は、再芯出し動作が行われていることを示す音声及び／又は視覚的なフィードバックをオペレータに提供することも含んでもよい。いくつかの例では、音声フィードバックは、固有の音、音声によるフレーズ等を含んでもよい。再芯出し運動が完了すると、オペレータ制御は、プロセス２８０を使用して再開される。

【0032】

プロセス２７０では、エラーが表示される。決定された再芯出し運動が無効であると判定された場合に、オペレータに通知される。いくつかの例では、通知は、任意の適切な音声及び／又は視覚的なフィードバックを含んでもよい。いくつかの例では、音声フィードバックは、固有の音の再生を含んでもよい。エラーが表示された後に、オペレータ制御は、プロセス２８０を使用して再開される。

【0033】

プロセス２８０では、エンドエフェクタのオペレータ制御が、回復される。再芯出し運動がプロセス２６０を使用して実行される、又はエラーがプロセス２７０を使用して表示されるかに拘わらず、入力コントロールを使用するエンドエフェクタの制御が、オペレータに戻される。エラーが表示される場合に、撮像装置及び／又は入力コントロールの再芯出しは、オペレータが責任を持つことになる。オペレータによるエンドエフェクタ及び／又は撮像装置の制御期間の後に、別の再芯出し動作が、プロセス２１０を使用して検出され得る。

【0034】

上述したように且つさらにここで強調するように、図２は、単なる例であり、特許請求の範囲を不当に制限するものではない。当業者は、多くの変形、代替、及び修正を認識するであろう。いくつかの実施形態によれば、追加の条件が、プロセス２８０を使用してオペレータ制御を戻すことにより及び／又は装置動作の一時停止等により、方法２００の早期終了をもたらし得る。いくつかの例では、追加の条件は、オペレータ・ワークステーション上の１つ又は複数のコントロール又は関節式アームを使用するオペレータによる手動による介入又はオーバーライド、１つ又は複数の安全インターロックを使用して、オペレータ・ワークステーションとの関係が外れたオペレータの検出、関節式アーム及び／又は入力コントロールの位置追跡エラー、システム障害等を含み得る。

【0035】

図３Ａ及び図３Ｂは、いくつかの実施形態に係る視野再芯出し動作の前後の撮像視野の簡略図である。図３Ａに示されるように、視野再芯出し動作の実行前に、３つの関節式アームを含む作業空間が、示されている。第１の関節式アームは、グリッパ型エンドエフェクタ３１０で終端する。グリッパ型エンドエフェクタ３１０は、２つの把持フィンガ３１２及び３１４と、旋回式関節３１６とを含む。第２の関節式アームも、グリッパ型エンドエフェクタ３２０で終端し、このエンドエフェクタ３２０は、２つの把持フィンガ３２２及び３３４と、旋回式関節３２６とを含む。第３の関節式アームは、端点３３２及び基準点３３４を有する単一フィンガのエンドエフェクタ３３０を含む。いくつかの例では、基準点３３４は、回転式関節に対応してもよい。いくつかの例では、単一フィンガのエンドエフェクタ３３０は、焼灼ツール、吸引ツール等を表してもよい。いくつかの例では、関節式アームは、関節式アーム１２０の代表例であってもよく、グリッパ型の及び／又は単一フィンガのエンドエフェクタ３１０、３２０及び／又は３３０は、エンドエフェクタ１２５の代表例であってもよい。

【0036】

また、図３Ａに視野空間３４０が示される。いくつかの例では、視野空間３４０は、撮像装置により取り込まれた画像に対応することができる。示されるように、視野空間３４０は、グリッパ型エンドエフェクタ３２０、グリッパ型エンドエフェクタ３１０の一部を含むが、単一フィンガのエンドエフェクタ３３０は含まない。いくつかの例では、図３Ａは、オペレータがエンドエフェクタ３１０及び／又は３２０を制御しながら撮影した画像に対応することができる。

【0037】

いくつかの例では、オペレータが、エンドエフェクタ３１０及び３２０ではなくエンドエフェクタ３１０及び３３０の制御に切り替えることを望む場合に、問題を引き起こし得る。例えば、エンドエフェクタ３３０が視野空間３４０内にないので、エンドエフェクタ３３０は、視野空間３４０の画像に表示されておらず、且つオペレータは、エンドエフェクタ３３０を配置した場所を覚えていない可能性がある。いくつかの例では、オペレータは、エンドエフェクタ３１０及び３３０の両方を視野空間３４０内に配置するために、視野空間３４０を手動で再芯出しすることができる。いくつかの例では、オペレータは、方法２００と同様の方法を使用して自動再芯出しをトリガし、再芯出しを行うべきエンドエフェクタとしてエンドエフェクタ３１０及び３３０を指定することができる。

【0038】

図３Ｂは、再芯出し後のエンドエフェクタ３１０及び３３０の視野空間３５０を示している。視野再芯出し運動を使用して、エンドエフェクタ３１０及び３３０の画像を取り込むために使用される撮像装置が、エンドエフェクタ３１０及び３３０を含む姿勢に再位置付け及び／又は再向き合わせされる。再芯出し運動によって、視野再芯出し運動前の視野空間３４０を、視野再芯出し運動を行った後の視野空間３５０に変化させる。この視野再芯出し運動は、把持フィンガ３１２及び３１４、旋回式関節３１６、端点３３２、及び基準点３３４を含む視野空間３５０をもたらす。視野空間３５０は、把持フィンガ３１２及び３１４、旋回式関節３１６、端点３３２、及び基準点３３４に関して芯出しされる。

【0039】

図４Ａ及び図４Ｂは、いくつかの実施形態に係る、視野再芯出し動作後の、撮像視野及び側面視野それぞれの簡略図である。図４Ａ及び図４Ｂは、エンドエフェクタ３１０及び３３０上の標的を使用して、視野空間３５０をエンドエフェクタ３１０及び３３０上に中心決め（芯出し）することを示す。図４Ａは、視野空間３５０を使用して撮像装置によって取り込まれた画像からこの中心決めを行うことを示す。いくつかの例では、視野座標系を使用した場合に、視野空間３５０は、視野空間３５０の左から右方向にｘ軸、視野空間の上方向にｙ軸、及び視野方向のｚ軸を含むことができる。

【0040】

エンドエフェクタ３１０及び３３０を視野空間３５０内で再芯出しするのを補助するために、各エンドエフェクタ３１０及び／又は３３０上の１つ又は複数の標的が、選択される。いくつかの実施形態では、各標的は、エンドエフェクタ３１０及び／又は３３０の各フィンガのチップだけでなく、図４Ａに示されるように関心対象の関節及び／又は基準点のいずれかに関連付けることができる。いくつかの実施形態では、他の基準を使用して、フィンガの丁度チップの、及び／又は、エンドエフェクタ３１０及び／又は３３０及び／又は関連する関節式アームの他の位置での関連する標的等の標的を選択することができる。図４Ａに示されるように、３つの標的が、グリッパ型エンドエフェクタ３１０で使用され、及び２つの標的が、単一フィンガのエンドエフェクタ３３０で使用される。グリッパ型エンドエフェクタ３１０上の３つの標的は、把持フィンガ３１２及び３１４のそれぞれのチップに中心決めされた標的４１２及び４１４と、旋回式関節３１６に中心決めされた標的点４１６とを含む。単一フィンガのエンドエフェクタ３３０上の２つの標的は、端点３３２に中心決めされた標的点４３２と、基準点３３４に中心決めされた標的点４３４とを含む。

【0041】

いくつかの例では、各標的４１２～４１６及び／又は４３２～４３４は、フィンガの対応するチップに中心を有する及び／又は、対応する関節及び／又は基準点の中心に又はその近くに中心を有する仮想境界球としてモデル化することができる。いくつかの例では、各仮想球の半径は、それぞれの標的点に関連したエンドエフェクタの対応する部分のボリュームを少なくとも取り込むのに十分な大きさである。いくつかの例では、半径は、視野空間３５０が、対応するエンドエフェクタだけでなく、対応するエンドエフェクタの周りの空間マージンを取り込み得るように、エンドエフェクタの対応する部分のボリュームよりも２～３倍大きくしてもよい。これは、エンドエフェクタを視野空間３５０の丁度縁部に配置するのを防止するのに役立つ。いくつかの例では、半径は、標的点の位置の運動学的な不確実性を考慮した大きさにしてもよい。

【0042】

いくつかの例では、各標的４１２～４１６及び／又は４３２～４３４の中心点の重心４４０を計算することができる。次に、重心４４０を視野空間３５０の中心点として使用してもよい。次に、視野空間３５０が各標的４１２～４１６及び／又は４３２～４３４を含むように、重心４４０と撮像装置との間の作動距離を調整してもよい。

【0043】

図４Ｂは、視野空間３５０の対応する側面視野を示す。図４Ｂの側面視野は、視野空間３５０が撮像装置４５０から離れるにつれて広がる視錐台であることを示す。いくつかの例では、その錐台の角度幅は、撮像装置４５０の光学特性から決定することができる。いくつかの例では、撮像装置４５０は、カニューレ４６０を通して患者に挿入される内視鏡であってもよい。いくつかの例では、撮像装置４５０は、立体視装置であってもよい。いくつかの例では、カニューレ４６０は、撮像装置４５０のロール、ピッチ、ヨー回転が遠隔中心の周りに中心決めされるように、撮像装置４５０の遠隔中心付近に位置付けすることができる。図４Ｂにさらに示されるように、撮像装置４５０は、視野座標系のｚ方向の視野方向に沿って重心４４０と向き合わせされる。重心４４０は、各標的４１２～４１６及び／又は３３２～３３４のｚ方向の平均深さに配置してもよい。重心４４０は、撮像装置４５０のチップ４７０から作動距離４８０に配置してもよい。

【0044】

いくつかの実施形態では、作動距離４８０は、１つ又は複数の基準に基づいて選択することができる。このプロセスは、重心４４０を決定し、且つ撮像装置上の基準点から重心４４０への方向を視野方向又はｚ軸方向として使用することによって開始する。いくつかの例では、基準点は、撮像装置がカニューレ４６０とチップ４７０との間で直線状である場合に、カニューレ４６０に対応し得る。いくつかの例では、撮像装置の１つ又は複数の運動学的モデルを使用して、カニューレ４６０に対する基準点の位置を決定することができる。いくつかの例では、基準点をチップ４７０に関連付けてもよい。次に、各標的４１２～４１６及び／又は４３２～４３４の最大のｘ軸範囲及び／又はｙ軸範囲を使用して、標的４１２～４１６及び／又は４３２～４３４が視野空間３５０の錐台内にあるように、各標的４１２～４１６及び／又は４３２～４３４のそれぞれの最小の視野距離を決定する。次に、各標的４１２～４１６及び／又は４３２～４３４に関連したボリュームが視野空間３５０内に収まるのを確実にするように、最大の最小視野距離(largest minimum viewing distance)を、作動距離４８０として選択することができる。いくつかの例では、作動距離４８０は、撮像装置が指定された場合に、撮像装置４５０の好適な作動距離まで増大させることができ、それは、最大の最小観察距離よりも大きい。いくつかの例では、作動距離４８０は、撮像装置４５０の最小及び最大の焦点距離内にあるように制約され得る。

【0045】

一旦視線方向／視線座標系のｚ軸及び作動距離４８０が決定されると、撮像装置４５０の視野再芯出し運動を決定することができる。視野再芯出し運動は、撮像装置４５０のピッチ及びヨーを調整して視線方向に整列すること、及び作動距離４８０に基づいてカニューレ４６０に対するチップ４７０の挿入量及び／又は後退量を調整することを含むことができる。いくつかの例では、視野再芯出し運動を解析して、その視野再芯出し運動が有効であるか否かを判定することができる。いくつかの例では、これは、撮像装置４５０が取り付けられた関節式アームが視野再芯出し運動を実行し得るか否かを判定することを含むことができる。いくつかの例では、関節式アームは、関節の制限、視野再芯出し運動に関して設けられた最大移動制限、及び／又は他の関節式アーム（例えば、関節式アーム３１０、３２０、及び／又は３３０）、患者の解剖学的構造、及び／又は作業空間内の他の物体との衝突回避のために、視野再芯出し運動を実行できない可能性がある。いくつかの例では、最大移動制限は、ピッチ及びヨー角度制限を含んでおり、３０度以下のピッチ及びヨー運動を制限し、及び／又はチップ４７０の事前に規定された移動位置を越える挿入を禁止する。いくつかの例では、撮像装置４５０の運動に関して設けられた制約がもはや視野空間３５０の錐台内に含まれない標的をもたらしたときに、視野再芯出し運動を無効であると判定することができる。

【0046】

いくつかの例では、視野再芯出し運動は、撮像装置４５０を重心４４０から離れる方向に後退させること、ピッチ及び／又はヨーの向き合わせを行って視線方向と整列させること、次にチップ４７０を重心４４０から作動距離４８０まで挿入すること等の多段階の運動として計画することができる。いくつかの例では、視野再芯出し運動がズームイン動作を含む場合に、多段階の運動は、チップ４７０を重心４４０から作動距離４８０まで挿入する前に、ピッチ及び／又はヨーの向き合わせを行って視線方向と整列させることを含むことができる。いくつかの例では、視野再芯出し運動がズームアウト動作を含む場合に、多段階の運動は、ピッチ及び／又はヨーの向き合わせを行う前に、撮像装置を作動距離４８０まで後退させることを含むことができる。いくつかの例では、多段階の運動は、チップ４７０が、関節式アーム３１０、３２０、及び／又は３３０のエンドエフェクタ、患者の解剖学的構造、及び／又は作業空間内の他の物体と衝突する可能性を減らすのに役立つ。いくつかの例では、視野再芯出し運動は、見上げる視野(view up)／視野座標系のｙ軸が、ワールド座標系と整列するように撮像装置４５０を回転させることも含むことができる。いくつかの例では、視野再芯出し運動は、撮像装置４５０の向き合せ及び／又は位置付けエラーを最小化するように、撮像装置４５０の関節式アームを制御する関節の精度限界に基づいて、撮像装置４５０のピッチ、ヨー、及び挿入を最適化する反復運動計画動作を使用して決定することができる。

【0047】

いくつかの実施形態では、視野再芯出し運動が無効であると判定された場合に、代替の視野再芯出し運動は、チップ４７０を最小の挿入深さまで後退させた位置で決定される。いくつかの例では、最小の挿入深さは、撮像装置が、撮像装置４５０を位置付け及び／又は向き合わせするために使用した関節式アームの１つ又は複数の部分によって部分的に塞がれる深さに対応してもよい。いくつかの例では、撮像装置を部分的に塞ぎ得る関節式アームの部分は、カニューレ４６０に対応してもよい。いくつかの例では、最小の挿入深さは、撮像装置の遠隔中心から所定の距離の点に対応することができる。いくつかの例では、所定の距離は、カニューレ４６０の長さに基づいてもよい。いくつかの例では、所定の距離は、長さが２～９センチメートル（ｃｍ）であってよい。チップ４７０をカニューレ４６０まで後退させた状態で、次に、撮像装置４５０の視線方向を重心４４０に向いたポイントに設定する。次に、各標的４１２～４１６及び／又は４３２～４３４の最大のｘ軸範囲及び／又はｙ軸範囲をチェックして、それら（最大のｘ軸範囲及び／又はｙ軸範囲）が視野空間３５０内に入るか否かを確認する。各標的４１２～４１６及び／又は４３２～４３４が視野空間３５０内に入らない場合に、代替の視野再芯出し運動も無効であると判定する。視野再芯出し運動と同様に、代替の視野再芯出し運動の有効性に関する追加チェックは、撮像装置４５０が取り付けられた関節式アームが代替の視野再芯出し運動を実行できるか否かを判定することを含むことができる。いくつかの例では、関節式アームは、関節の制限、視野再芯出し運動に関して設けられた最大移動制限、及び／又は他の関節式アーム（例えば、関節式アーム３１０、３２０、及び／又は３３０）、及び／又は患者の解剖学的構造との衝突回避によって、代替の視野再芯出し運動を実行できない可能性がある。代替の視野再芯出し運動が無効である場合には、視野再芯出しが中止され、適切なエラーが表示される。

【0048】

図５は、いくつかの実施形態に係る視野再芯出しの方法５００の簡略図である。方法５００のプロセス５１０～５８０の１つ又は複数は、非一時的な、有形の機械可読媒体上に格納された実行可能コードの形態で少なくとも部分的に実施することができ、１つ又は複数のプロセッサ（例えば、制御ユニット１３０内のプロセッサ１４０）によって実行されたときに、１つ又は複数のプロセッサに、プロセス５１０～５８０の１つ又は複数を実行させることができる。いくつかの実施形態では、方法５００は、動作制御アプリケーション１６０の等のアプリケーションによって実行され得る。いくつかの実施形態では、方法５００は、エンドエフェクタ１２５及び／又はエンドエフェクタ３１０～３３０の１つ又は複数を撮像装置４５０等の撮像装置の視野空間において再芯出しするために使用することができ、それによって、対応する画像を表示装置１８０に表示することができる。

【0049】

プロセス５１０では、視野中心点が決定される。いくつかの例では、視野中心点は、撮像装置４５０等の撮像装置によって取り込まれた画像で再芯出しすべき１つ又は複数のエンドエフェクタの重心に対応することができる。図３Ａ、図３Ｂ、図４Ａ、及び図４Ｂの例では、エンドエフェクタは、エンドエフェクタ３１０及び３３０に対応してもよく、視野中心点は、重心４４０に対応してもよい。いくつかの例では、重心は、標的４１２～４１６及び／又は４３２～４３４等の１つ又は複数の標的の重心を考慮することによって決定することができる。いくつかの例では、エンドエフェクタ３１０及び／又は３３０の関節式アームに関連したセンサを使用して、関節式アームの関節の位置を決定することができる。エンドエフェクタ３１０及び／又は３３０及びそれらの関節式アームの１つ又は複数の運動学的モデルと組み合わせた関節位置を使用して、エンドエフェクタ３１０及び／又は３３０の位置を決定することができ、次に、この決定された位置を使用して重心を決定することができる。

【0050】

プロセス５２０では、作動距離が決定される。いくつかの例では、作動距離は、各標的を撮像装置の視野空間内にあるようにするために、エンドエフェクタの標的をどの位離すべきかを決定することによって決定することができる。いくつかの例では、作動距離は、標的毎に視野方向に対して垂直な最大のｘ軸範囲及び／又はｙ軸範囲を決定すること、次に標的が視野空間の錐台内にあるように、標的毎にそれぞれの最小の視野距離を決定することによって、決定することができる。次に、最大の最小視野距離は、各標的を視野空間中に収めるのを確実にするような、作動距離として選択することができる。いくつかの例では、作動距離は、撮像装置が指定された場合に、撮像装置の好適な作動距離まで増大させることができ、それは、最大の最小視野距離よりも大きい。いくつかの例では、好適な作動距離は、撮像装置のオペレータが設定してもよい。いくつかの例では、作動距離は、撮像装置の最小及び最大の焦点距離内にあるように制約され得る。

【0051】

プロセス５３０では、撮像装置の所望の位置及び向きが決定される。撮像装置上の基準点と視野中心との間のベクトルによる撮像装置の向きが、プロセス５１０の間に決定される。いくつかの例では、基準点は、撮像装置が遠隔中心と撮像装置のチップとの間で直線状ある場合であって、撮像装置が撮像装置４５０のカニューレ４６０等の遠隔中心の周りの運動によって制限される場合に、遠隔中心に対応することができる。いくつかの例では、撮像装置の１つ又は複数の運動学的モデルを使用して、基準点の位置を決定することができる。いくつかの例では、基準点は、撮像装置のチップに関連付けてもよい。いくつかの例では、方向ベクトルは、撮像装置のロール位置を維持し、次に撮像装置の視野方向をその方向ベクトルとして使用しながら、撮像装置のチップを視野中心と配置することによって決定することができる。撮像装置のチップの位置は、プロセス５２０の間に決定されるように、視野方向とは反対方向の視野中心から離れる作動距離に撮像装置のチップを配置することに基づいて、決定される。

【0052】

プロセス５４０では、撮像装置の所望の位置及び向きが有効であるか否かが判定される。いくつかの例では、これは、撮像装置が取り付けられた関節式アームが、その現在の位置及び向きからプロセス５３０の間に決定された撮像装置の位置及び向きに視野再芯出し運動を実行できるか否かを判定することを含む。いくつかの例では、関節式アームは、関節の制限、視野再芯出し運動に関して設けられた最大移動制限、及び／又は他の関節式アーム、患者の解剖学的構造、及び／又は作業空間内の他の物体との衝突回避によって、視野再芯出し運動を実行できない可能性がある。いくつかの例では、最大移動制限は、ピッチ及び／又はヨー角度制限を含んでもよく、ピッチ及びヨー運動を３０度以下に制限し、及び／又は撮像装置のその事前に規定された移動位置を越える挿入を禁止する。いくつかの例では、撮像装置の運動に関して設けられた制約が、もはや視野空間の錐台内に含まれない標的をもたらしたときに、視野再芯出し運動を無効であると判定することができる。撮像装置の所望の位置及び向きが有効である場合に、撮像装置は、プロセス５５０を使用して撮像装置の所望の位置及び向きに移動される。撮像装置の所望の位置及び向きが有効でない場合に、撮像装置の代替の位置及び向きが、プロセス５６０を使用して決定される。

【0053】

プロセス５５０では、撮像装置が移動される。撮像装置は、撮像装置及びこの撮像装置が取り付けられる関節式アームに適した動作を計画することによって移動され、次に、計画された運動は、関節式アームのアクチュエータに１つ又は複数のコマンドを送信することによって実行される。いくつかの例では、運動計画は、撮像装置を視野中心点から離れる方向に後退させること、撮像装置を視野中心点に向けて向き合わせするように、ピッチ及び／又はヨーの向き合わせを行って視線方向と整列させること、次に撮像装置を視野中心点から作動距離まで挿入すること含む多段階の運動を含んでもよい。いくつかの例では、撮像装置の運動がズームイン動作を含む場合に、多段階の運動は、撮像装置を作動距離に挿入する前に、ピッチ及び／又はヨー向き合わせを行って視線方向と整列させることを含むことができる。いくつかの例では、撮像装置の運動がズームアウト動作を含む場合に、多段階の運動は、ピッチ及び／又はヨー向き合わせを行う前に、撮像装置を作動距離に後退させること含むことができる。いくつかの例では、多段階の運動は、撮像装置が、他の関節式アームのエンドエフェクタ、患者の解剖学的構造、及び／又は作業空間内の他の物体と衝突する可能性を減らすのに役立つ。いくつかの例では、プロセス５６０の間に決定されるように撮像装置を後退させた場合に、挿入ステップを省略してもよい。いくつかの例では、計画された運動は、撮像装置の見上げる視野の方向がワールド座標系と整列されるように、撮像装置を回転することも含むことができる。いくつかの例では、撮像装置に関連した関節式アームの１つ又は複数の運動学的モデルを使用して、運動計画を支援することができる。いくつかの例では、計画された運動は、撮像装置の向き合せ及び／又は位置付けエラーを最小化するように、撮像装置に関連した関節式アームを制御する関節の精度限界に基づいて、ヨー、ピッチ、及び撮像装置の挿入及び／又は後退を最適化する反復運動計画の動作を使用して決定することができる。一旦撮像装置が移動されると、再芯出し操作が完了する。

【0054】

プロセス５６０では、撮像装置の代替の位置及び向きが決定される。プロセス５４０の間に決定された撮像装置の所望の位置及び向きが無効である場合に、撮像装置の代替の位置及び向きは、撮像装置を視野の中心点から離れる方向に後退させた位置で決定される。いくつかの例では、撮像装置の代替の位置及び向きは、撮像装置を最小の使用可能な挿入深さに後退させること、及びプロセス５２０の間に決定された作動距離を無視することを含むことができる。いくつかの例では、最小の挿入深さは、撮像装置が、撮像装置を位置付け及び／又は向き合わせするために使用した関節式アームの１つ又は複数の部分によって部分的に塞がれる深さ深さに対応してもよい。いくつかの例では、撮像装置を部分的に塞ぎ得る関節式アームの部分は、カニューレ４６０等のカニューレに対応してもよい。いくつかの例では、最小の挿入深さは、撮像装置の遠隔中心から所定の距離の点に対応することができる。いくつかの例では、所定の距離は、カニューレの長さに基づいてもよい。いくつかの例では、所定の距離は、長さが２～９ｃｍであってよい。次に、撮像装置の代替の向きは、プロセス５３０の間に使用されたのと同様のアプローチを使用して、撮像装置を視野中心点に向けて向き合わせすることを含む。

【0055】

プロセス５７０では、撮像装置の代替の位置及び向きが有効であるか否かが判定される。いくつかの例では、これは、撮像装置が取り付けられた関節式アームが、現在の位置及び向きからプロセス５６０の間に決定された撮像装置の代替の位置及び向きに視野再芯出し運動を実行できるか否かを判定することを含む。いくつかの例では、関節式アームは、関節の制限、視野再芯出し運動に関して設けられた最大移動制限、及び／又は他の関節式アーム、患者の解剖学的構造、及び／又は作業空間内の他の物体との衝突回避によって、視野再芯出し運動を実行できない可能性がある。いくつかの例では、最大移動制限は、ピッチ及びヨー運動を３０度以下に制限するピッチ及びヨー角度制限を含み得る。撮像装置の代替の位置及び向きが有効である場合に、撮像装置は、プロセス５５０を使用して、撮像装置の代替の位置及び向きに移動される。撮像装置の代替の位置及び向きが有効でない場合に、エラーが、プロセス５８０を使用して表示される。

【0056】

プロセス５８０では、エラーが表示される。撮像装置の決定された代替の位置及び向きが無効であると判定された場合に、オペレータに通知される。いくつかの例では、通知は、任意の適切な音声及び／又は視覚的なフィードバックを含んでもよい。いくつかの例では、音声フィードバックは、固有の音の再生を含んでもよい。

【0057】

上述したように且つさらにここで強調するように、図５は、単なる例であり、特許請求の範囲を不当に制限するものではない。当業者は、多くの変形、代替、及び修正を認識するだろう。いくつかの実施形態によれば、追加の条件及び／又は安全係数は、方法５００の間に検討され、より具体的には、撮像装置が自動化された動作中であるときのプロセス５５０の間に検討することができる。

【0058】

いくつかの実施形態では、１つ又は複数の事前の注意を使用して、撮像装置と、患者の解剖学的構造及び／又は撮像装置に近接する他の障害物との間の接触及び／又は干渉を減少及び／又は防止することができる。いくつかの例では、患者の解剖学的構造の１つ又は複数の手術前及び／又は手術中画像を使用して、撮像装置が入るべきではない１つ又は複数の飛行禁止区域を特定することができる。いくつかの例では、撮像装置を操作するために使用される１つ又は複数の関節の力及び／又はトルクを適切なセンサを使用して監視して、予期しない力及び／又はトルクが、撮像装置が患者の解剖学的構造及び／又は他の障害物との容認できない接触することを示すか否かを判定することができる。いくつかの例では、指令された位置及び／又は速度と、撮像装置及び／又は撮像装置を操作するために使用した関節の実際の位置及び／又は速度との間のエラーを監視して、エラーが設定可能な閾値を超えるか否かを判定することができる。いくつかの例では、設定可能な閾値は、関節毎に異なっていてもよい。いくつかの例では、エラーは、他の許容される一時的な状態による誤判定の検出を回避するために、ローパスフィルタ処理及び／又は平滑化処理してもよい。いくつかの例では、撮像装置の先端部付近に配置された１つ又は複数の接点を監視して、撮像装置が患者の解剖学的構造及び／又は他の障害物と接触しているか否かを判定することができる。いくつかの例では、撮像装置が患者の解剖学的構造と接触及び／又は干渉しているという判定は、撮像装置の運動の早期終了、及び／又は、１つ又は複数の視覚及び／又は音声アラームの起動を生じさせ得る。

【0059】

いくつかの実施形態では、１つ又は複数のインターロックを使用して、オペレータが再芯出し動作を監視するために存在することを確実にしてもよい。いくつかの例では、ヘッド内(head-in)のセンサ等の１つ又は複数の入力コントロールを使用して、オペレータが、オペレータコンソールに存在しており且つ撮像装置からの画像を確認する位置にいることを判定することができる。いくつかの例では、照度センサを使用して、撮像装置からの画像を、オペレータコンソールのビューア上でオペレータに表示していることを判定することができる。いくつかの例では、１つ又は複数のインターロックが、オペレータの不在を検出すること及び／又は撮像装置上の画像の欠損を検出することの判定は、撮像装置の運動の早期終了、及び／又は、１つ又は複数の視覚及び／又は音声アラームの起動を生じさせ得る。

【0060】

いくつかの実施形態では、プロセス５５０の間に計画され且つ実行された動作は、撮像装置の速度及び／又は加速度に、及び／又は撮像装置を操作するために使用した１つ又は複数の関節に関して上限を設けるように設計することができる。いくつかの例では、再芯出し動作を監視するオペレータが、撮像装置の潜在的に望ましくない動作に反応し且つ再芯出し動作をオーバーライド及び／又は終了するのに十分な時間を有することができるように、速度及び／又は加速度を制限してもよい。いくつかの例では、撮像装置を操作するために使用された関節のフィードフォワードトルクが、患者の解剖学的構造、撮像装置に近接した他のエンドエフェクタ、及び／又は他の予期しない障害物との過度に力を加えるような接触につながる可能性がある運動を許容することなく、予想される慣性、粘性摩擦等に打ち勝つような撮像装置の動きを可能にする十分な最小レベルに維持されるように、速度及び／又は加速度を限定してもよい。いくつかの例では、撮像装置を操作するために使用した関節のフィードバックトルクは、滅菌ドレープ、カニューレシールの摩擦等の予想される抵抗源に打ち勝つのに十分な最小値に制限することができる。

【0061】

図６は、いくつかの実施形態に係る撮像装置の好適な作動距離を決定する方法６００の簡略図である。方法６００のプロセス６１０～６６０は、非一時的な、有形の機械可読媒体上に格納された実行可能コードの形態で少なくとも部分的に実施することができ、１つ又は複数のプロセッサ（例えば、制御ユニット１３０内のプロセッサ１４０）によって実行されたときに、１つ又は複数のプロセッサに、プロセス６１０～６６０の１つ又は複数を実行させることができる。いくつかの実施形態では、方法６００は、動作制御アプリケーション１６０等のアプリケーションによって実行され得る。いくつかの実施形態では、方法６００は、撮像装置と視野中心点との間の好適な作動距離を決定するために使用することができる。いくつかの例では、好適な作動距離は、プロセス５２０の間に使用された好適な作動距離であってもよい。いくつかの実施形態では、方法６００は、オペレータがオペレータにとって好適な作動距離を学ぶために、撮像装置の手動の再位置付け操作を監視するために使用することができる。

【0062】

プロセス６１０では、撮像装置の動作の開始を検出する。オペレータが１つ又は複数の関節式アーム及び撮像装置を含む装置を操作する際に、撮像装置の再位置付け運動を監視することができる。いくつかの例では、撮像装置の動作は、チップ４７０等の撮像装置のチップに関連付けてもよい。いくつかの例では、関心対象の運動は、オペレータによる撮像装置の手動の再位置付けに関連付けてもよい。撮像装置の手動の再位置付けを監視することにより、撮像装置と、撮像装置により撮影された画像内に取り込まれた１つ又は複数のエンドエフェクタとの間のオペレータの好適な距離を知ることが可能になる。いくつかの例では、手動の再位置付け操作のそれぞれは、撮像装置の再位置付け及び／又は再向き合せコントロールの起動により検出することができる。いくつかの例では、手動の再位置付けの開始が検出された場合に、撮像装置の現在の位置及び／又は向きを記録することができる。

【0063】

プロセス６２０では、撮像装置の動作の終了を検出する。一旦撮像装置の動作がプロセス６１０の間に検出されると、その動作は、終了するまで監視される。いくつかの例では、動作の終了は、撮像装置の運動の欠如によって検出することができる。いくつかの例では、運動の欠如は、撮像装置の速度が最小閾値を下回ることを判定することによって検出することができる。いくつかの例では、運動の欠如は、撮像装置の速度が所定の時間に亘って最小閾値未満に留まることを判定することによって検出することができる。いくつかの例では、動作の終了は、再位置付け及び／又は再向き合せコントロールの停止で述べるように、手動の再位置付けの終了に関連付けてもよい。いくつかの例では、動作の終了が検出されたときに、撮像装置の現在の位置及び／又は向きを記録することができる。

【0064】

プロセス６３０では、十分な動作が撮像装置で検出されたか否かが判定される。プロセス６１０及び６２０の間に記録された現在の位置及び／又は向きの値を使用して、撮像装置の動きの量を決定することができる。いくつかの例では、動きの量は、開始位置と終了位置の間のユークリッド距離等の距離であってもよい。いくつかの例では、動きの量は、さらに開始向きと終了向きとの間の角度の変化に基づいてもよい。いくつかの例では、角度の変化は、角度の変化のサイン及び／又はコサインを決定すること、及び動作の開始がプロセス６１０の間に検出される前に、撮像装置の作動距離に関連する距離と、それら角度の変化のサイン及び／又はコサインのいずれかとを乗じることによって、距離に変換することができる。動きの量が、０．５ｃｍ程度の最小閾値を超える場合に、新しい好適な作動距離が、プロセス６４０で開始され決定される。動きの量が最小閾値を超えない場合に、方法６００は、プロセス６１０に戻って撮像装置の将来の動作を検出する。

【0065】

プロセス６４０では、ｚ距離が、関心点について決定される。いくつかの例では、撮像装置の作動距離は、視野方向に沿った撮像装置から１つ又は複数の関心点までの垂直距離に基づいて特徴付けることができる。いくつかの例では、関心点を撮像装置の視野座標系にマッピングする場合に、各関心点のｚ値は、対応するｚ距離を表すことができる。いくつかの例では、関心点は、１つ又は複数のエンドエフェクタ上の１つ又は複数の標的の中心に対応してもよい。いくつかの例では、エンドエフェクタは、オペレータによって選択してもよく、及び／又は撮像装置により取り込まれた画像に表示されるように決定されたエンドエフェクタに基づいて自動的に選択してもよい。図４Ａ及び図４Ｂの例では、標的は、標的４１２～４１６、４２２～４２６、及び／又は４３２～４３４から選択してもよい。

【0066】

プロセス６５０では、現在の作動距離が決定される。いくつかの例では、現在の作動距離は、プロセス６４０の間に決定された各ｚ距離を集計することによって決定することができる。いくつかの例では、集計は、平均値、中央値、最小値、最大値等を含んでもよい。いくつかの例では、重心４４０等の関心点の重心のｚ座標を使用して、現在の作動距離を決定することができる。

【0067】

プロセス６６０では、現在の作動距離は、以前の作動距離と一緒に集計される。プロセス６５０の間に決定された現在の作動距離を以前の作動距離の値と集計して、好適な作動距離を決定する。いくつかの例では、プロセス６５０の間に決定された現在の作動距離は、撮像装置の動作の開始と終了との間の動きの量に基づいて重み付けすることができ、それによってより大きな運動が、好適な作動距離により大きな影響を与えることになる。いくつかの例では、集計は、移動平均、所定の時間に亘ったウィンドウ平均(windowed average)、指数平滑法等を決定することを含んでもよい。いくつかの例では、好適な作動距離をデフォルト値に初期化してもよい。いくつかの例では、デフォルト値は、撮像装置の最小及び／又は最大の焦点距離に基づいてもよい。いくつかの例では、デフォルト値を７ｃｍ程度に設定してもよい。いくつかの実施形態では、複数の好適な作動距離を、検出した動作の内容に基づいて決定してもよい。いくつかの例では、その内容は、異なるオペレータについての異なる好適な作動距離、異なる手順、手順の異なる段階、デジタルズーム設定、焦点距離設定、立体視差設定等を維持することを含んでもよい。一旦集計が行われると、方法６００は、撮像装置の好適な作動距離である集計の追加の運動を含むように繰り返すことができる。

【0068】

図７は、いくつかの実施形態に係る入力コントロール再芯出し動作に続く、表示装置上の画像内のエンドエフェクタと、コンソール作業空間の対応する入力コントロールとの関係を示す簡略図である。いくつかの例では、入力コントロール再芯出し動作は、方法２００の間に再芯出しの一部として発生する入力コントロール再芯出しに対応することができる。いくつかの例では、再芯出し動作の目標の１つは、視野再芯出し中の撮像装置の視野空間におけるエンドエフェクタと、エンドエフェクタに対応する入力コントロールとの間の位置及び／又は向きの調和を維持することである。いくつかの例では、入力コントロール再芯出しは、それぞれのエンドエフェクタの位置及び／又は向きに対応するように、各入力コントロールの位置及び／又は向きを変化させることを含む。

【0069】

図７の上部には、図３Ｂ及び図４Ａの視野再芯出し運動に続いて、表示装置１８０に表示される画像として取り込まれるようなエンドエフェクタ３１０及び３３０の画像を示している。撮像装置４５０を使用して取り込まれた画像は、表示装置１８０の境界７１０内に示されるように表示装置１８０に表示することができる。明確にするために、エンドエフェクタ３１０及び３３０、及びそれらの関節式アームの追加部分が、図７に示されているが、それら追加部分は、表示装置１８０に表示されず、及びエンドエフェクタを部分的又は完全に塞ぎ得る任意の物体も、同様に画像から除去されている。重心４４０に対応し得る視野中心点７２０も示されている。いくつかの例では、入力コントロールの再芯出しを容易にするために、エンドエフェクタ３１０及び３３０上の各関心点を、ｘｖ、ｙｖ、及びｚｖ軸によって示されるような視野座標系にマッピングすることもできる。いくつかの例では、関心点は、標的４１２～４１６及び／又は４３２～４３４に対応してもよい。

【0070】

図７の下部には、エンドエフェクタ３１０及び３３０にそれぞれ対応する入力コントロール７６０及び７７０を含むコンソール作業空間が、示されている。入力コントロール７６０及び７７０は、それ自体の関節式アームを介してオペレータ・ワークステーションの本体７３０に結合してもよい。いくつかの例では、コンソール作業空間は、アームレスト７４０に対して位置付けしてもよい。いくつかの例では、オペレータ・ワークステーションは、オペレータ・ワークステーション１７０に対応してもよく、アームレスト７４０は、アームレスト１９０に対応してもよい。各オペレータは、アームレスト７４０について異なる高さを好み、異なる大きさ及び長さの腕、手首、及び／又は手を有し、及び／又は肘の配置及び／又は肘の曲げについて異なる好みを有する可能性があるため、人間工学に基づく中心７５０を、コンソール作業空間内で決定してもよい。いくつかの例では、コンソール作業空間の座標系は、ｘｃ、ｙｃ、及びｚｃ軸で示されるように規定することができる。

【0071】

いくつかの実施形態では、エンドエフェクタ３１０及び３３０と、入力コントロール７６０及び７７０との間の位置及び／又は向きの調和は、入力コントロール７６０及び７７０上の制御点と、エンドエフェクタ３１０及び３３０上の対応する点との間のマッピングに基づいて、決定することができる。より具体的には、図７の例に示されるように、入力コントロール７６０のフィンガループ上の制御点７６２及び７６４は、それぞれ、標的４１２及び４１４にマッピングすることができ、それによって、オペレータが遠隔操作中に制御点７６２と７６４との間の距離を開いたり閉じたりする際に、把持フィンガ３１２及び３１４が開閉する。さらに、入力コントロール７６０上の制御点７６６を、標的点４１６にマッピングすることができ、それによって旋回点７６６が遠隔操作中に移動される際に、旋回式関節３１６は、それに応じて移動することができる。同様に、入力コントロール７７０上の制御点７７２及び７７４を、それぞれ、標的４３２及び４３４にマッピングしてもよい。

【0072】

エンドエフェクタ３１０及び３３０と、入力コントロール７６０及び７７０との間のそれぞれの位置及び／又は向きの調和を維持するために、入力コントロール再芯出し動作は、人間工学に基づく中心７５０の周りに入力コントロール７６０及び７７０を再位置付け及び／又は再向き合わせして、境界７１０を含む画像に対応する視野空間内のエンドエフェクタ３１０及び３３０の位置及び／又は向きにおおよそ対応させる。こうして、図７に示されるように、入力コントロール７６０は、コンソール作業空間の左下部分に位置付けされ、且つエンドエフェクタ３１０の位置及び向きに一致する右上方向に向き合わせされる。同様に、入力コントロール７７０は、コンソール作業空間の右上部分に位置付けされ、且つエンドエフェクタ３３０の位置及び向きに一致する左下方向に向き合わせされる。位置及び／又は向きの調和を維持するために、視野座標系及びコンソール立体視ビューア作業空間の座標系は、典型的には、左右（ｘｃ及びｘｖ）、上下（ｙｃ及びｙｖ）、及び前後（ｚｃ及びｚｖ）方向に整列される。一般的に、これは、入力コントロールのオペレータの手の運動が、エンドエフェクタ３１０及び／又は３３０の対応する運動に変換されるように、遠隔操作中にエンドエフェクタ３１０及び／又は３３０の直感的な動作を提供する。

【0073】

いくつかの実施形態では、エンドエフェクタ３１０及び３３０と入力コントロール７６０及び７７０との間のそれぞれの位置及び／又は向きの調和は、エンドエフェクタ３１０及び３３０の標的４１２～４１６及び／又は４３２～４３４を視野座標系からコンソール作業空間座標系にマッピングすること、次に入力コントロール７６０及び７７０に関連した関節式アームの１つ又は複数のアクチュエータを使用して、対応する制御点７６２～７６６及び／又は７７２～７７４をコンソール作業空間座標系内のマッピングされた位置に位置付け及び／又は向き合わせすることによって維持することができる。いくつかの例では、これは、並進及びスケーリング変換を使用して達成することができる。いくつかの例では、１つ又は複数の並進変換を使用して、視野中心点７２０を人間工学に基づく中心７４０にマッピングすることができる。一旦視野中心点７２０及び人間工学に基づく中心７４０が整列されると、視野座標系の距離は、コンソール作業空間座標系の対応する距離にスケーリングすることができる。いくつかの例では、スケーリングのための１つ又は複数のスケール係数は、オペレータ・ワークステーションのオペレータによって設定してもよい。いくつかの例では、１つ又は複数のスケール係数は、画像境界７１０及びコンソール作業空間の相対的な大きさに基づいて設定してもよい。エンドエフェクタの各点３１２～３１６及び／又は３３２～３３４をマッピングして、対応する制御点７６２～７６６及び／又は７７２～７７４の位置を決定すると、入力コントロール７６０及び７７０の運動計画が、開発され、且つ実行される。

【0074】

いくつかの実施形態では、各制御点７６２～７６６及び／又は７７２～７７４の位置は、運動計画を開発及び実行する前に、制約することができる。いくつかの例では、制御点７６２～７６６及び／又は７７２～７７４の位置及び／又は向きは、入力コントロール７６０と７７０との間の最小及び／又は最大距離を維持するために、アームレスト７４０及び／又はオペレータ・ワークステーションの他の部分との衝突を回避するために、入力コントロール７６０及び７７０の左／右十字交差を防止するために、入力コントロール７６０及び７７０の望ましくない位置及び／又は向きを回避するために、標的４１２～４１６及び／又は４３２～４３４、及び／又は制御点７６２～７６６及び／又は７７２～７７４の位置精度（例えば、１ｃｍ程度）を考慮する等のために、対応する関節式アームにおける関節の動きの制限の範囲によって制約される可能性がある。

【0075】

図７には示されていないが、入力コントロール７６０及び／又は７７０の前後位置は、対応するエンドエフェクタ３１０及び／又は３３０の深さに一致している。こうして、標的４１２～４１６及び／又は４３２～４３４のｚｖ座標は、制御点７６２～７６６及び／又は７７２～７７４のｚｃ座標を決定するために対応してシフト及びスケーリングされる。こうして、図４Ｂに示される側面視野の関係と一致して、制御点６７２及び６７４は、制御点７６２～７６６よりもオペレータに近い位置に配置してもよい。

【0076】

図８は、いくつかの実施形態に係る入力コントロール再芯出しの方法８００の簡略図である。方法８００のプロセス８１０～８６０の１つ又は複数は、非一時的な、有形の機械可読媒体上に格納された実行可能コードの形態で少なくとも部分的に実施することができ、１つ又は複数のプロセッサ（例えば、制御ユニット１３０内のプロセッサ１４０）によって実行されたときに、１つ又は複数のプロセッサに、プロセス８１０～８６０の１つ又は複数を実行させることができる。いくつかの実施形態では、方法８００は、動作制御アプリケーション１６０等のアプリケーションによって実行され得る。いくつかの実施形態では、方法８００を使用して、入力コントロール１９５、７６０、及び／又は７７０のうちの１つ又は複数をコンソール作業空間において再芯出し、撮像装置４５０等の撮像装置により取り込まれ且つ表示装置１８０に表示される画像に表示されるように対応するエンドエフェクタ１２５、３１０、３２０、及び／又は３３０との位置及び／又は向きの調和を維持することができる。

【0077】

プロセス８１０では、エンドエフェクタの位置が決定される。いくつかの例では、エンドエフェクタに関連付けられた関節式アームに関連したセンサを使用して、関節式アームの関節の位置を決定することができる。これらの関節位置を関節式アーム及びエンドエフェクタの１つ又は複数の運動学的モデルと組み合わせて使用して、エンドエフェクタの位置を決定することができる。いくつかの例では、エンドエフェクタの１つ又は複数の画像を使用して、エンドエフェクタの位置を決定することができる。図３Ａ、図３Ｂ、図４Ａ、図４Ｂ、及び図７の例では、エンドエフェクタは、エンドエフェクタ３１０及び３３０に対応することができ、エンドエフェクタ３１０及び／又は３３０の位置は、標的４１２～４１６及び／又は４３２～４３４によって特徴付けられる。

【0078】

プロセス８２０では、エンドエフェクタの位置が、視野座標系にマッピングされる。撮像装置に関連付けられた関節式アームに関連したセンサ及び撮像装置に関連した関節式アームの１つ又は複数の運動学的モデルを使用して、視野座標系が、撮像装置について決定される。次に、プロセス８１０の間に決定されたエンドエフェクタの位置を、視野座標系にマッピングする。このマッピングは、撮像装置によって取り込まれた画像内のエンドエフェクタのｘ及びｙ位置だけでなく、エンドエフェクタが撮像装置から視野方向にどの位離れているかを示すエンドエフェクタのｚ位置を決定するのに役立つ。図７の例では、視野座標系におけるエンドエフェクタの位置は、標的４１２～４１６及び／又は４３２～４３４のｘｖ、ｙｖ、及びｚｖ座標値に対応することができる。

【0079】

プロセス８３０では、エンドエフェクタの位置が、人間工学に基づく中心の周りにシフトされる。エンドエフェクタとオペレータコンソールの１つ又は複数の入力コントロールとの位置及び／又は向きの調和を維持するのを支援するために、視野座標系が、コンソール作業空間座標系にマッピングされる。いくつかの例では、視野座標系とコンソール作業空間座標系との間のマッピングは、視野座標系の中心点をコンソール作業空間座標系の中心点と関連付けることによって開始する。いくつかの例では、エンドエフェクタの位置の重心を、視野座標系における中心点として選択してもよい。いくつかの例では、コンソール作業空間の人間工学に基づく中心を、コンソール作業空間座標系の中心点として選択してもよい。いくつかの例では、２つの中心点は、視野座標系及び／又はコンソール作業空間座標系の原点が選択された中心点と一致しない場合に、１つ又は複数の並進変換を使用して関連付けることができる。いくつかの例では、コンソール作業空間の人間工学に基づく中心は、オペレータコンソールのオペレータによって、及び／又はオペレータコンソール及びその入力コントロールの幾何学的形状によって予め選択してもよい。いくつかの例では、コンソール・ワークステーション上のアームレスト等の１つ又は複数の置台を再位置付けするときに、人間工学に基づく中心を移動してもよい。いくつかの例では、人間工学に基づく中心は、図９に関してさらに詳細に説明するように、オペレータ・ワークステーションの動作を監視することによって知ることができる。図７の例では、プロセス８３０は、重心７２０を人間工学に基づく中心７５０に整列させることに対応する。

【0080】

プロセス８４０では、エンドエフェクタの位置を人間工学に基づく中心に関してスケーリングして、制御点の位置を決定する。視野座標及びコンソール作業空間座標系のスケールは、一般的に異なるため、視野座標系の中心点に対する視野座標系のエンドエフェクタの位置は、コンソール作業空間座標系における人間工学に基づく中心に関してスケーリングされる。スケーリングは、エンドエフェクタの位置と視野座標系の中心点との間の相対距離を、入力コントロールの位置とコンソール作業空間座標系における人間工学に基づく中心との間の対応する相対距離に変換する。次に、視野座標系からスケーリングされた各点は、コンソール作業空間座標系の制御点になる。いくつかの例では、スケーリングのための１つ又は複数のスケール係数は、オペレータ・ワークステーションのオペレータによって設定してもよい。いくつかの例では、１つ又は複数のスケール係数は、視野座標系で取り込まれた画像の相対的なサイズとコンソール作業空間のサイズとに基づいて設定してもよい。図７の例では、プロセス８４０のスケーリングは、相対的なｘｖ、ｙｖ、及びｚｖ距離をそれぞれｘｃ、ｙｃ、ｚｃ距離に変換し、それによって標的４１２～４１６及び／又は４３２～４３４の位置を、それぞれ、制御点７６２～７６６及び／又は７７２～７７４の位置に変換する。

【0081】

プロセス８５０では、制御点の位置が制約される。いくつかの例では、視野座標系のエンドエフェクタの位置に関連した点をコンソール作業空間座標系の制御点の位置にマッピングすることは、入力コントロール１９５、７６０、及び／又は７７０等の入力コントロールに適した位置及び／又は向きをもたらさない可能性がある。いくつかの実施形態では、プロセス８３０及び／又は９４０の間にマッピングされた各制御点の位置を制約してもよい。いくつかの例では、制御点の位置及び／又は向きは、異なる入力コントロールの制御点同士に間の最小及び／又は最大距離を維持するために、アームレスト及び／又はオペレータ・ワークステーションの他の部分との衝突を回避するために、入力コントロールの右／左十字交差を防止するために、入力コントロールの望ましくない位置及び／又は向きを回避するために、エンドエフェクタの点及び／又は入力コントロールの制御点のいずれかの位置精度の制限（例えば、１ｃｍ程度）を考慮する等のために、対応する関節式アームに関節の動きの制限の範囲によって制約される可能性がある。

【0082】

プロセス８６０では、入力コントロールが、制御点の位置に移動される。入力コントロールに関連した関節式アームの１つ又は複数の運動学的モデルを使用して、入力コントロール上の制御点をそれら制御点の以前の位置からプロセス８３０～８５０を使用して決定された制御点の位置に移動させる運動計画が、入力コントロールから決定される。いくつかの例では、入力コントロールの所望の動作及び制御点の位置によって、入力コントロールに関連した関節式アーム同士の間の衝突及び／又は略衝突がもたらされる可能性がある場合に、運動計画は、衝突及び／又は略衝突を回避する中間制御位置の点を含む複数のセグメント化計画を含むことができる。次に、運動計画は、関節式アームに関連したアクチュエータに１つ又は複数のコマンドを送信することによって実現してもよい。いくつかの例では、適切な運動計画が決定されない場合に、エラーが表示される。

【0083】

図９は、いくつかの実施形態に係る入力コントロールについての人間工学に基づく中心を決定する方法９００の簡略図である。方法９００のプロセス９１０～９５０の１つ又は複数は、非一時的な、有形の機械可読媒体上に格納された実行可能コードの形態で少なくとも部分的に実施することができ、１つ又は複数のプロセッサ（例えば、制御ユニット１３０内のプロセッサ１４０）によって実行されたときに、１つ又は複数のプロセッサに、プロセス９１０～９５０の１つ又は複数を実行させることができる。いくつかの実施形態では、方法９００は、動作制御アプリケーション１６０等のアプリケーションによって実行され得る。いくつかの実施形態では、方法９００は、コンソール作業空間内の１つ又は複数の入力コントロールの人間工学に基づく中心を決定するために使用することができる。いくつかの実施形態では、方法９００は、オペレータにとって好適な人間工学に基づく中心を知るために、入力コントロールの手動の再位置付け動作を監視するために使用することができる。

【0084】

プロセス９１０では、入力コントロールの再位置付け運動の開始が検出される。オペレータ・ワークステーションを使用する遠隔操作装置の動作中に、オペレータは、１つ又は複数の入力コントロールをより快適な及び／又は人間工学的な位置に定期的に再位置付けすることができる。いくつかの例では、これは、オペレータによって、クラッチを係合させることによってトリガしてもよく、クラッチは、それぞれの入力コントロールによって遠隔操作されるエンドエフェクタから入力コントロールの運動を解放する。いくつかの例では、クラッチの係合を検出することは、入力コントロールの再位置付け運動の開始を示す。いくつかの例では、入力コントロールの再位置付け運動の開始が検出されたときに、入力コントロールの１つ又は複数の制御点について、入力コントロールの現在の位置及び／又は向きを記録することができる。

【0085】

プロセス９２０では、入力コントロールの再位置付け運動の終了が検出される。オペレータが入力コントロールの再位置付け運動を完了したときに、クラッチは係合が解除され、関節式アーム及びエンドエフェクタの遠隔操作が再開される。いくつかの例では、クラッチの係合解除を検出することは、入力コントロールの再位置付け運動の終了を示す。いくつかの例では、入力コントロールの再位置付け運動の終了が検出されたときに、入力コントロールの現在の位置及び／又は向きは、入力コントロールの１つ又は複数の制御点に基づいて記録してもよい。

【0086】

プロセス９３０では、十分な運動が、入力コントロールの再位置付け運動の開始と終了との間に入力コントロールで検出されたか否かが判定される。プロセス９１０及び９２０の間に記録された現在の位置及び／又は向きの値を使用して、入力コントロールの動きの量を決定することができる。いくつかの例では、動きの量は、開始位置と終了位置との間のユークリッド距離等の距離であってもよい。いくつかの例では、動きの量は、１つ又は複数の制御点の開始位置と終了位置との間の１つ又は複数の距離の集計であってもよい。いくつかの例では、集計は、和、加重和、平均値等であってもよい。動きの量が２ｃｍ程度の最小閾値を超える場合に、入力コントロールの中心は、プロセス９４０で開始して決定される。動きの量が最小閾値を超えない場合に、方法９００は、プロセス９１０に戻って、将来の入力コントロールの再位置付け運動を検出することができる。

【0087】

プロセス９４０では、入力コントロールの中心が決定される。プロセス９２０の間に記録された入力コントロールの終了位置を使用して、入力コントロールの中心が決定される。いくつかの例では、入力コントロールの中心は、入力コントロールの１つ又は複数の制御点の終了位置の重心等の集計を使用して決定することができる。

【0088】

プロセス９５０では、入力コントロールの中心は、以前の入力コントロールの中心と集計される。プロセス９４０の間に決定された入力コントロール中心を以前の入力コントロールの中心と集計して、人間工学に基づく中心を決定する。いくつかの例では、プロセス９４０の間に決定された入力コントロールの中心は、入力コントロールの再位置付け運動の開始と終了との間の動きの量に基づいて重み付けすることができ、それによってより大きな運動が人間工学に基づく中心により大きな影響を与える。いくつかの例では、集計は、移動平均、所定の時間に亘ったウィンドウ平均、指数平滑法等を決定することを含んでもよい。いくつかの例では、人間工学に基づく中心をデフォルト値に初期化してもよい。いくつかの例では、デフォルト値は、入力コントロールの幾何学的形状、コンソール作業空間、及び／又はオペレータの予想される生理機能に基づいてもよい。いくつかの実施形態では、複数の人間工学に基づく中心を、検出された動作の内容に基づいて決定してもよい。いくつかの例では、その内容は、異なるオペレータについての異なる人間工学に基づく中心、異なる手順、手順の異なる段階は、入力コントロールによって遠隔操作される異なるエンドエフェクタ等を維持することを含んでもよい。一旦集計が行われると、方法９００は、人間工学的な中心である集計に、追加の入力コントロールの再位置付け運動を含むように繰り返すことができる。いくつかの例では、人間工学に基づく中心は、コンソール作業空間におけるアームレスト等の１つ又は複数の置台の位置を考慮するために調整することができる。

【0089】

図１０は、いくつかの実施形態に係る撮像装置を制御する方法１０００の簡略図である。方法１０００のプロセス１００５～１０５０１つ又は複数は、非一時的な、有形の機械可読媒体上に格納された実行可能コードの形態で少なくとも部分的に実施することができ、１つ又は複数のプロセッサ（例えば、制御ユニット１３０内のプロセッサ１４０）によって実行されたときに、１つ又は複数のプロセッサに、プロセス１００５～１０５０の１つ又は複数を実行させることができる。いくつかの実施形態では、方法１０００は、動作制御アプリケーション１６０等のアプリケーションによって実行され得る。いくつかの実施形態では、方法１０００は、コンソール作業空間の１つ又は複数の入力コントロールを使用して、撮像装置４５０等の撮像装置の手動制御を撮像装置の自動芯出しと組み合わせるために使用することができる。いくつかの実施形態では、プロセスの変形が可能である。いくつかの例では、プロセス１０２０～１０３５は、異なる順序で、及び／又は実質的に並列に実行してもよい。

【0090】

プロセス１００５では、撮像装置動作モードの起動が検出される。いくつかの例では、電子装置のオペレータは、スイッチ、ボタン、ペダル、レベル、音声認識等の１つ又は複数の入力コントロールを使用して、撮像装置動作モードの起動を手動でトリガすることができる。いくつかの例では、撮像装置動作モードをトリガする瞬間的な入力として及び／又は撮像装置動作モードを起動する連続入力として、要求を発することができる。

【0091】

プロセス１０１０では、撮像装置動作モードに入る。いくつかの例では、撮像装置動作モードに入る前に、１つ又は複数のエンドエフェクタのオペレータ制御が一時停止される。いくつかの例では、１つ又は複数のマスターコントロール１９５等の１つ又は複数の動作入力コントロールは、１つ又は複数のエンドエフェクタの制御から切り離すことができる。いくつかの例では、切離しは、関節式アームの先端部に取り付けられた装置を制御するための限られた数のオペレータ制御、及び／又は電子装置の１つ又は複数のエンドエフェクタを制御及び／又は遠隔操作するオペレータの限られた能力によって発生する可能性がある。オペレータによる制御の一時停止は、オペレータによって指令された１つ又は複数のエンドエフェクタの動きと干渉することなく、撮像装置を移動させるのを可能にする。

【0092】

プロセス１０１５では、１つ又は複数の動作入力コントロールが使用されているか否かが判定される。いくつかの例では、プロセス１０１０の間に撮像装置動作モードに入ると、タイムアウト期間を開始することができる。タイムアウト期間中に、１つ又は複数の動作入力コントロールを監視して、オペレータが１つ又は複数の動作入力コントロールを使用して撮像装置の位置及び／又は向きを手動で制御しようとしているか否かを判定することができる。いくつかの例では、タイムアウト期間は、０．５秒程度の設定長さであってもよい。いくつかの例では、１つ又は複数の動作入力コントロールの使用は、オペレータが、１つ又は複数の動作入力コントロールを閾値距離以上に移動させたか否か、１つ又は複数の動作入力コントロールを閾値角度以上に回転させたか否か、及び／又は両方の組み合わせを集計することに基づいて決定することができる。いくつかの例では、閾値距離を５～１０ｍｍとしてもよい。いくつかの例では、閾値角度は、５°以上であってもよい。タイムアウト期間が１つ又は複数の動作入力コントロールを使用しないで終了する場合に、再芯出しが、プロセス１０２０で開始する。１つ又は複数の入力コントロールの使用をタイムアウト期間中に検出した場合に、撮像装置の手動制御が、プロセス１０４０で開始する。

【0093】

プロセス１０２０では、撮像装置の再芯出しが行われる。いくつかの例では、方法５００のプロセス５１０～５８０と同様のプロセスを使用して、プロセス１０２０の間に撮像装置の再芯出しを行うことができる。いくつかの例では、撮像装置がプロセス１０２０の間に再芯出しされている間に、１つ又は複数の動作入力コントロールは、１つ又は複数の動作入力コントロールと撮像装置との間の位置及び／又は向きの調和を維持するように自動的に移動させることができる。いくつかの例では、方法８００のプロセス８１０～８６０と同様のプロセスを修正して、１つ又は複数の動作入力コントロールと撮像装置との間の位置及び／又は向きの調和を維持することができ、撮像装置の位置及び／又は向きは、エンドエフェクタの位置及び／又は向きに置換される。

【0094】

プロセス１０２５では、１つ又は複数の動作入力コントロールが使用されているか否かが判定される。いくつかの例では、１つ又は複数の動作入力コントロールの使用は、１つ又は複数の動作入力コントロールと撮像装置との間の位置及び／又は向きの調和を維持する際に、オペレータによって、１つ又は複数の動作入力コントロールの動きを慎重に検討すること、及び／又は１つ又は複数の動作入力コントロールの位置及び／又は向きの変化に対してオペレータによる十分な抵抗を慎重に検討することに対応することができる。いくつかの例では、慎重に検討した動きは、プロセス１０１５の間に使用されたアプローチと同様のアプローチを使用して検出することができる。いくつかの例では、オペレータによる抵抗は、閾値距離及び／又は閾値角度を超えた入力コントロールの指令された位置及び／又は向きと、実際の位置及び／又は向きとの間の差を決定することによって検出することができる。いくつかの例では、閾値距離は、１～３ｃｍ程度であってもよい。いくつかの例では、閾値角度は、５°以上であってもよい。１つ又は複数の動作入力コントロールの使用が検出されない場合に、再芯出しは、プロセス１０３０で継続する。１つ又は複数の入力コントロールの使用が検出された場合に、撮像装置の手動制御は、プロセス１０４０で開始する。

【0095】

プロセス１０３０では、再芯出しが完了したか否かが判定される。プロセス１０２０により行われる再芯出しを監視して、再芯出しの一部として計画された動きが、撮像装置が所望の姿勢を有した状態で完了したか否かを判定する。再芯出しが完了した場合に、撮像装置の手動制御が、プロセス１０４０で開始する。再芯出しが完了していない場合に、再芯出しは、プロセス１０３５で継続される。

【0096】

プロセス１０３５では、撮像装置動作モードの停止が検出されたか否かが判定される。いくつかの例では、オペレータは、スイッチ、ボタン、ペダル、レベル、音声認識等の１つ又は複数の入力コントロールを使用して、撮像装置動作モードの停止を示すことができる。いくつかの例では、撮像装置動作モードを起動する要求が瞬間的な入力を使用してプロセス１００５の間に活性化された場合に、相補的な瞬間的な入力を使用して、撮像装置動作モードを停止することができる。いくつかの例では、撮像装置動作モードを起動する要求が連続的な入力を使用してプロセス１００５の間に活性化された場合に、ペダルから足を外す等の連続的な入力の解除を使用して、撮像装置動作モードを停止することができる。いくつかの例では、方法５００及び／又はプロセス５５０に関連した１つ又は複数の事前の注意、安全機能、及び／又はインターロックを使用して、撮像装置動作モードを停止すべきことを決定することができる。撮像装置動作モードの停止が検出されない場合に、再芯出しは、プロセス１０２０～１０３５を繰り返すことにより継続する。撮像装置動作モードの停止が検出された場合に、撮像装置動作モードは、プロセス１０５０を使用して終了される。

【0097】

プロセス１０４０では、撮像装置は、動作入力コントロールに基づいて移動される。いくつかの例では、動作入力コントロールを使用して、撮像装置の位置及び／又は向きを手動で制御することができる。いくつかの例では、撮像装置は、１つ又は複数の動作入力コントロールと撮像装置との間の位置及び／又は向きの調和を維持するために移動させることができる。いくつかの例では、動作入力コントロールを使用して、動作入力コントロールの位置及び／又は向きの変化を撮像装置の位置及び／又は向きの対応する変化にミラーリングすることにより、撮像装置を遠隔操作することができる。いくつかの例では、動作入力コントロール、撮像装置、及び／又は撮像装置が取り付けられた関節式アームの１つ又は複数の運動学的モデルを使用して、動作入力コントロールの変化を撮像装置の対応する変化に変換することができる。いくつかの例では、１つ又は複数の運動学的モデルを使用して、動作入力コントロールの変化を撮像装置の対応する変化にマッピングするような１つ又は複数の座標変換行列を決定することができる。いくつかの例では、座標変換行列は、１つ又は複数のシフト及び／又はスケール変換を実行することができる。いくつかの例では、撮像装置の位置及び／又は向きの変化は、撮像装置が取り付けられた関節式アームのアクチュエータに１つ又は複数のコマンドを送信することによって実行してもよい。

【0098】

プロセス１０４５では、撮像装置動作モードの停止が検出されたか否かが判定される。プロセス１０３５と同様のプロセスを使用して、撮像装置動作モードを終了するか否かが判定される。撮像装置動作モードの停止が検出されない場合に、撮像装置の手動制御は、プロセス１０４０を繰り返すことにより継続される。撮像装置動作モードの停止が検出された場合に、撮像装置動作モードは、プロセス１０５０を使用して終了する。

【0099】

プロセス１０５０では、撮像装置動作モードを終了する。プロセス１０３５及び／又は１０４５の間に撮像装置動作モードを停止すると、撮像装置動作モードが終了する。いくつかの例では、撮像装置動作モードが終了すると、プロセス１０２０の再芯出しによる撮像装置のあらゆる動きが終了し、１つ又は複数の動作入力コントロールは、撮像装置の位置及び／又は方向の制御から切り離される。いくつかの例では、撮像装置動作モードを終了すると、撮像装置の手動及び／又は再芯出し制御が終了する。いくつかの例では、撮像装置動作モードを終了すると、電子装置は、１つ又は複数の動作入力コントロールが休止状態になり及び／又は電子装置の１つ又は複数のエンドエフェクタの制御に戻るようなモードに戻すことができる。

【0100】

制御ユニット１３０等の制御ユニットのいくつかの例は、実行可能なコードを含む非一時的な、有形の機械可読媒体を含むことができ、１つ又は複数のプロセッサ（例えば、プロセッサ１４０）によって実行されたときに、１つ又は複数のプロセッサに、方法２００、５００、６００、８００、９００、及び／又は１０００のプロセスを実行させることができる。方法２００、５００、６００、８００、９００、及び／又は１０００のプロセスを含むことができる機械可読媒体のいくつかの一般的な形態は、例えば、フロッピー（登録商標）ディスク、フレキシブルディスク、ハードディスク、磁気テープ、他の磁気媒体、ＣＤ－ＲＯＭ、他の光媒体、パンチカード、紙テープ、孔パターンを有する他の物理媒体、ＲＡＭ、ＲＯＭ、ＥＰＲＯＭ、フラッシュ－ＥＰＲＯＭ、他のメモリチップ又はカートリッジ、及び／又はプロセッサ又はコンピュータが読み取るように適合された他の媒体である。

【0101】

例示的な実施形態について図示し且つ説明してきたが、広範な修正、変更、及び置換が、前述した開示において企図されており、いくつかの例では、実施形態のいくつかの特徴は、他の特徴の対応する使用なしに用いることができる。当業者は、多くの変形形態、代替形態、及び修正形態を認識するであろう。従って、本発明の範囲は、以下の特許請求の範囲によってのみ限定され、特許請求の範囲は、本明細書に開示された実施形態の範囲と一致する態様で及び広範に解釈することが適切である。

【図1】

【図2】

【図3A】

【図3B】

【図4A】

【図4B】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【外国語明細書】