特許 6106594 ヒューマン・マシン連携ロボットシステム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6106594

(24)【登録日】2017年3月10日

(45)【発行日】2017年4月5日

(54)【発明の名称】ヒューマン・マシン連携ロボットシステム

(51)【国際特許分類】

   A61B 34/30 20160101AFI20170327BHJP

   B25J 13/00 20060101ALI20170327BHJP

【ＦＩ】

   A61B34/30

   B25J13/00 Z

【請求項の数】18

【全頁数】22

(21)【出願番号】特願2013-538978(P2013-538978)

(86)(22)【出願日】2011年11月14日

(65)【公表番号】特表2013-543764(P2013-543764A)

(43)【公表日】2013年12月9日

(86)【国際出願番号】US2011060638

(87)【国際公開番号】WO2012065175

(87)【国際公開日】20120518

【審査請求日】2014年11月13日

(31)【優先権主張番号】61/443,779

(32)【優先日】2011年2月17日

(33)【優先権主張国】US

(31)【優先権主張番号】61/412,587

(32)【優先日】2010年11月11日

(33)【優先権主張国】US

(73)【特許権者】

【識別番号】501335771

【氏名又は名称】ザ・ジョンズ・ホプキンス・ユニバーシティ

(74)【代理人】

【識別番号】100072604

【弁理士】

【氏名又は名称】有我 軍一郎

(72)【発明者】

【氏名】ヘイガー グレゴリー

(72)【発明者】

【氏名】パドワ ニコラ

【審査官】 中村 一雄

(56)【参考文献】

【文献】 特表２０１０−５２４５４７（ＪＰ，Ａ）

【文献】 特開２００９−０６６６９２（ＪＰ，Ａ）

【文献】 米国特許出願公開第２００９／０１８３１２５（ＵＳ，Ａ１）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ａ６１Ｂ ３４／３０

Ｂ２５Ｊ １３／００

(57)【特許請求の範囲】

【請求項1】

マルチステップタスクを実行するための半自動、相互作用ロボットシステムであって、
ユーザ・インタフェース・システムと、
前記ユーザ・インタフェース・システムと通信を行うように構成された認識システムと、
前記認識システムと通信を行うように構成された制御システムと、
前記制御システムと通信を行うように構成されたロボットのセンサ・アクチュエータ・システムとを備え、
前記マルチステップタスクが、前記ロボットの制御下で完全に遂行されるステップである少なくとも1つの自動ステップと、前記自動ステップではないステップである少なくとも一つのダイレクトステップと、を含み、
前記認識システムが、前記マルチステップタスクのタスクモデルに基づいて、ユーザが前記ユーザ・インタフェース・システムを操作する間、前記ユーザが取った行動を認識し、さらに、前記ロボットの前記センサ・アクチュエータ・システムに、前記マルチステップタスクの中の前記ダイレクトステップを実行させるように、前記制御システムに指示を行い、
前記認識システムは、さらに、前記ダイレクトステップの完了を認識するよう構成されており、
前記認識システムは、さらに、前記ロボットの前記センサ・アクチュエータ・システムに、前記ダイレクトステップが完了したら、前記認識された行動および前記マルチステップタスクの前記タスクモデルに基づいて、前記マルチステップタスクの前記自動ステップを実行させるように、前記制御システムに指示を行うように構成されている半自動、相互作用ロボットシステム。

【請求項2】

前記ロボットの前記センサ・アクチュエータ・システムは、複数の多関節アームを備える、請求項１に記載の半自動、相互作用ロボットシステム。

【請求項3】

前記複数の多関節アームの少なくとも１つは、把持装置またはツール取付組立体の一方を備える、請求項２に記載の半自動、相互作用ロボットシステム。

【請求項4】

前記タスクモデルは、隠れマルコフモデルである、請求項１に記載の半自動、相互作用ロボットシステム。

【請求項5】

前記タスクモデルは、機械学習モデルである、請求項１に記載の半自動、相互作用ロボットシステム。

【請求項6】

前記ユーザ・インタフェース・システムは、ユーザ観察システムを備えており、前記ユーザ観察システムは、前記ユーザの少なくとも一部の動作を検出および決定し、前記認識システムと通信を行って前記制御システムに提供される命令を開始または変更の少なくとも一方を行うように構成および配列されている、請求項１に記載の半自動、相互作用ロボットシステム。

【請求項7】

前記観察システムは、カメラを備える、請求項６に記載の半自動、相互作用ロボットシステム。

【請求項8】

前記ロボットの前記センサ・アクチュエータ・システムは、センサシステムを備えており、前記センサシステムは、操作される対象の少なくとも一部の特性を検出および決定し、前記認識システムと通信を行って前記制御システムに提供される命令を開始または変更の少なくとも一方を行うように構成および配列されている、請求項１に記載の半自動、相互作用ロボットシステム。

【請求項9】

前記ユーザ・インタフェース・システムは、入力装置を備えており、前記入力装置は、前記ユーザが、手動でまたは口頭での少なくとも一方により前記認識システムに送信されるコマンドを入力することを許容して、前記制御システムに提供される命令を開始または変更の少なくとも一方を行うように構成されている、請求項１に記載の半自動、相互作用ロボットシステム。

【請求項10】

前記ユーザ・インタフェース・システムは、実行予定のステップに関する情報を前記ユーザに表示するように構成された表示装置を備える、請求項１に記載の半自動、相互作用ロボットシステム。

【請求項11】

マルチステップタスクをシミュレーションするための半自動、相互作用ロボットシミュレーションシステムであって、
ユーザ・インタフェース・システムと、
前記ユーザ・インタフェース・システムと通信を行うように構成された認識システムと、
前記認識システムと通信を行うように構成された制御システムと、
前記制御システムと通信を行うように構成されたロボットのシミュレーション・センサ・アクチュエータ・システムとを備え、
前記マルチステップタスクが、前記ロボットの制御下で完全に遂行されるステップである少なくとも1つの自動ステップと、前記自動ステップではないステップである少なくとも一つのダイレクトステップと、を含み、
前記認識システムが、前記マルチステップタスクのタスクモデルに基づいて、ユーザが前記ユーザ・インタフェース・システムを操作する間、前記ユーザが取った行動を認識し、さらに、前記ロボットの前記シミュレーション・センサ・アクチュエータ・システムに、前記マルチステップタスクの中の前記ダイレクトステップの実行をシミュレーションさせるように、前記制御システムに指示を行い、
前記認識システムは、さらに、前記ダイレクトステップの完了を認識するよう構成されており、
前記認識システムは、さらに、前記ロボットの前記センサ・アクチュエータ・システムに、前記ダイレクトステップが完了したら、前記認識された行動および前記マルチステップタスクの前記タスクモデルに基づいて、前記マルチステップタスクの前記自動ステップを実行させるように、前記制御システムに指示を行うように構成されている半自動、相互作用ロボットシミュレーションシステム。

【請求項12】

前記ロボットの前記シミュレーション・センサ・アクチュエータ・システムは、複数の多関節アームをシミュレーションする、請求項１１に記載の半自動、相互作用ロボットシミュレーションシステム。

【請求項13】

前記タスクモデルは、隠れマルコフモデルである、請求項１１に記載の半自動、相互作用ロボットシミュレーションシステム。

【請求項14】

前記タスクモデルは、機械学習モデルである、請求項１１に記載の半自動、相互作用ロボットシミュレーションシステム。

【請求項15】

前記ユーザ・インタフェース・システムは、シミュレーション予定のステップに関する情報を前記ユーザに表示するように構成された表示装置を備える、請求項１１に記載の半自動、相互作用ロボットシミュレーションシステム。

【請求項16】

前記認識システムは、さらに、前記自動ステップが完了したら、前記タスクモデルに基づいて、ユーザが前記ユーザ・インタフェース・システムの操作中にとった行動を認識し、前記ロボットの前記センサ・アクチュエータ・システムに第２の前記ダイレクトステップを実行させるように、前記制御システムに指令を行うように構成されている、請求項１に記載の半自動、相互作用ロボットシステム。

【請求項17】

前記半自動、相互作用ロボットシステムは、前記ユーザからの手動入力に応じて、前記ダイレクトステップを実行する、請求項１に記載の半自動、相互作用ロボットシステム。

【請求項18】

前記半自動、相互作用ロボットシステムは、前記半自動、相互作用ロボットシステムの制御のもとで前記自動ステップを実行し、前記ユーザの移動を必要としない、請求項１に記載の半自動、相互作用ロボットシステム。

【発明の詳細な説明】

【技術分野】

【0001】

関連発明の相互参照
本出願は、２０１０年１１月１１日に出願された米国仮出願６１／４１２，５８７および２０１１年２月１７日に出願された米国仮出願６１／４４３，７７９に基づく優先権を主張するもので、その全内容は参照により本願に組み込まれる。

【0002】

本発明は、アメリカ国立科学財団によって授与された付与番号ＣＰＳ０９３１８０５号の米国政府の支援により発明された。米国政府は、本発明において一定の権利を有する。

【背景技術】

【0003】

１．技術分野
本発明の特許請求の範囲に記載された最新の実施の態様の技術分野はロボットシステムに関し、より詳しくは、半自動、双方性ロボットシステムとシミュレーションされた半自動、双方性ロボットシステムとに関する。
２．関連技術の考察
ロボットシステムは、反復的な、複雑な、錯綜した、および／または危険なタスクの実行に有用である。例えば、手術の場合のように、複雑な処置は外科医にとって高い作業負荷を意味する。加えて、最近の手術室へのロボットの導入により、外科医の訓練および評価をするための新たな技術が必要になっている。このため、近年、外科的ジェスチャモデリングが大きな注目を集め、また、通常、隠れマルコフモデルまたはその変形を利用するいくつかの方法が、オフラインでの技能モデル化および分類のために提案されている（J. Rosen, J. Brown, L. Chang, M. Sinanan および B. Hannaford, "Generalized approach for modeling minimally invasive surgery as a stochastic process using a discrete markov model, "IEEE Trans, on Biomedical Engineering, vol. 53, no. 3, pp. 399-413, 2006; H. C. Lin, I. Shafran, D. Yuh および G. D. Hager, "Towards automatic skill evaluation: Detection and segmentation of robot-assisted surgical motions," Computer Aided Surgery, vol. 11, no. 5, pp. 220-230, 2006; B. Varadarajan, C. E. Reiley, H. Lin, S. Khudanpur, および G. D. Hager, "Data-derived models for segmentation with application to surgical assessment and training," in MICCAI(1), 2009, pp.426-434）。

【0004】

繊細なロボットの開発に伴い、別のグループが、特定の外科的タスクを自動化するための技術を提案している。取り組みがなされているタスクの例として、糸結び（kot tying）がある。エイチ．ジー．メイヤー他の文献（H. G. Mayer, F. J. Gomez, D. Wierstra, I. Nagy, A. Knoll, および J. Schmidhuber, "A system for robotic heart surgery that learns to tie knots using recurrent neural networks," in IROS, 2006, pp. 543-548）においては、実演からループ軌道を学習するためにリカレントニューラルネットワークが用いられている。ジェイ．ヴァン．ベルグ他の文献（J. van den Berg, S. Miller, D. Duckworth, H. Hu, A. Wan, X. -Y. Fu, K. Goldberg, および P. Abbeel, "Superhuman performance of surgical tasks by robots using iterative learning from human-guided demonstrations," in ICRA, 2010, pp. 2074-2081）においては、ロボット動力学が習得されて増加速度で軌道を再現している。針挿入のタスクも多大な注目を集めている。例えば、幾何学的タスクモデルが、エフ．ナゲオッテ他の文献（F. Nageotte, P. Zanne, C. Doignon, および M. de Mathelin, "Stitching planning in laparoscopic surgery: Towards robot-assisted suturing," Robotic Res., vol. 28, no. 10, pp. 1303-1321, 2009）において、針挿入の経路案をコンピュータで計算するように設計されている。シー．スタウブ他の文献（C. Staub, T. Osa, A. Knoll, および R. Bauernschmitt, "Automation of tissue piercing using circular needles and vision guidance for computer aided laparoscopic surgery," in ICRA, 2010, pp. 4585-4590）において、外科医がレーザポインタを用いて挿入点にマークした後、針挿入のための円運動が自動的に行われる。しかし、生体組織のような対象物および縫合糸を取り扱うかまたはオペレータとの連携を提供するかのいずれかの自動化方法の必要性が残っている。

【0005】

ロボットと手術者との間での連携を可能にする自然な方法として、最新の状況に基づいて相互作用モードを変更するという方法がある。これは、マニピュレータに経路の制約を課すように仮想固定具を用いる顕微鏡手術における曲線追従タスク上で実証されている（D. Kragic および G. Hager, "Task modeling and specification for modular sensory based human-machine cooperative systems," in IROS, 2003, pp. 3192-3197）。

【0006】

最新の外科的タスクの実時間認識のための状況モデリングが、通常オートマトンまたは隠れマルコフモデルを用いる以下の文献において取り組まれている。
・B. P. L. Lo, A. Darzi, および G. -Z. Yang, "Episode classification for the analysis of tissue/instrument interaction with multiple visual cues," in International Conference on Medical Image Computing and Computer-Assisted Intervention (MICCAI), 2003, pp. 230-237.
・K. Yoshimitsu, F. Miyawaki, T. Sadahiro, K. Ohnuma, Y. Fuki, D. Hashimoto, および K. Masamune, "Development and evaluation of the second version of scrub nurse robot (snr) for endoscopic and laparoscopic surgery," in IROS, 2007, pp. 2288-2294.
・S. Speidel, G. Sudra, J. Senemaud, M. Drentschew, B. P. Mller-Stich, C. Gutt および R. Dillmann, "Recognition of risk situations based on endoscopic instrument tracking and knowledge based situation modeling," in Med. Imaging.SPIE, 2008.
・N. Padoy, D. Mateus, D. Weinland, M. -O. Berger, および N. Navab, "Workflow monitoring based on 3d motion features," in Proceedings of the International Conference on Computer Vision Workshops, IEEE Workshop on Video-oriented Object and Event Classification, 2009.

【発明の概要】

【発明が解決しようとする課題】

【0007】

しかし、これらのアプローチでは、ヒューマン・マシンの相互作用によってオペレーションを行うことはできない。したがって、改善されたヒューマン・マシン連携ロボットシステムの必要性が残っている。

【課題を解決するための手段】

【0008】

概要
本発明のいくつかの実施の形態に係るマルチステップタスクを実行するための半自動、相互作用ロボットシステムは、ユーザ・インタフェース・システムと、ユーザ・インタフェース・システムと通信を行うように構成された認識システムと、認識システムと通信を行うように構成された制御システムと、制御システムと通信を行うように構成されたセンサ・アクチュエータ・システムとを備える。認識システムは、ユーザがユーザ・インタフェース・システムを操作する間ユーザがとる行動を認識し、その認識された行動およびマルチステップタスクのタスクモデルに基づいて、制御システムに選択的に命令を出して、センサ・アクチュエータ・システムに、マルチステップタスクの自動ステップ、半自動ステップまたはダイレクトステップの１つを実行させる。

【0009】

本発明のいくつかの実施の形態に係るマルチステップタスクをシミュレーションするための半自動、相互作用ロボットシミュレーションシステムは、ユーザ・インタフェース・システムと、ユーザ・インタフェース・システムと通信を行うように構成された認識システムと、認識システムと通信を行うように構成された制御システムと、制御システムと通信を行うように構成されたシミュレーション・センサ・アクチュエータ・システムとを備える。認識システムは、ユーザがユーザ・インタフェース・システムを操作する間ユーザのとった行動を認識し、その認識された行動およびマルチステップタスクのタスクモデルに基づいて、制御システムに選択的に命令を出して、シミュレーション・センサ・アクチュエータ・システムに、マルチステップタスクの自動ステップ、半自動ステップまたはダイレクトステップの１つをシミュレーションさせる。

【図面の簡単な説明】

【0010】

さらなる目的及び利点が、明細書、図面および実施の態様を考慮することにより明白になるであろう。

【図1】本発明の実施の形態に係るマルチステップタスクを実行するための半自動、相互作用ロボットシステムの概略図である。

【図2】本発明の他の実施の形態に係るマルチステップタスクを実行するための半自動、相互作用ロボットシステムを示す図である。

【図3】図２に示す半自動、相互作用ロボットシステムの他の図である。

【図4】本発明の実施の態様に係る使用に適したダ・ビンチ・ロボットの構成の一例を示す図である。患者側のマニピュレータおよび内視鏡カメラ（左）とマスターマニピュレータ（右）とを示す。

【図5】手動および自動のサブタスク間での移行を含む、本発明の実施の態様に係るタスクモデルの概略図である。

【図6】本発明の実施の形態に係る単一の器具を用いて実行されたピンタスクを示す。図６（ａ）は、ポッドの開始および終了の状態を示し、図６（ｂ）は、器具の例示的な軌道を示す。赤色（暗い）部分は自動化の注釈付の区分を示す。

【図7】２つの器具を用いて実行された縫合タスクを示す。図７（ａ）は、ポッドの開始および終了の状態を示し、図７（ｂ）は、２つの器具の例示的な軌道を示す。それらは、本来は交わっているが、より良い可視化のために分離している。赤色（暗い）部分は自動化の注釈付の区分を示す。

【図8】本発明の実施の形態に係る一例で用いた座標系を示す。

【図9】平均的な軌道の例を示す。図９（ａ）は、入力軌道（点線）および平均軌道（黒の実線）を示す。図９（ｂ）は、入力軌道（実線）および平均軌道（黒の点線）を示す。経時的に１フレーム軸線を表示することにより図示するように回転を強調する。

【図10】マスターマニピュレータの作業空間分析を示す。図１０（ａ）は、ピンタスクにおけるマスターマニピュレータの３Ｄ（三次元）動作を示す。手動による動作（左）とＨＭＣによる動作（右）とを同一スケールを用いて左右に示す。図１０（ｂ）は、縫合タスクにおける左右のマスターマニピュレータの３Ｄ（三次元）動作を示す。手動による動作（左）とＨＭＣによる動作（右）とを同一スケールを使用して左右に示す。左の楕円は、常に左のマニピュレータに対応する。

【図11】ＨＭＣフレームワークを用いて実行されたタスクの説明図である。全部の動作を例示の映像で見ることができる。

【発明を実施するための形態】

【0011】

以下に、本発明のいくつかの実施の形態を詳細に説明する。実施の形態の説明において、明瞭化のために特定の用語を用いている。しかし、本発明は、そのように選択した特定の用語に限定されるものではない。当業者であれば、本発明の広範な概念から逸脱することなく他の同等の構成要素を用いたり他の方法を開発したりすることは認識するであろう。背景技術および発明の詳細な説明の欄を含む本願の明細書において言及したすべての参考文献は、それぞれの参考文献が個別に組み込まれたかのように参照により組み込まれる。

【0012】

本発明のいくつかの実施の形態によると、遠隔操作のロボット支援は、いくつかの一般的に発生するタスクを自律的に実施する可能性を提供する。本発明のいくつかの実施の形態は、タスクから「ステップ」とも称されるサブタスクへの自然な分割を用いる新規な外科用ヒューマン・マシン連携（ＨＭＣ）システムを提供することができる。そのシステムでは、手術タスクの一部が外科医の完全な管理下で自律的に実行される一方、手術タスクの他の部分が手動で実行される。本発明の実施の形態に係るロボットシステムは、手動のサブタスク（ステップ）の完了を自動的に識別し、途切れなく次の自動化されたタスクまたはステップを実行し、次に、制御を外科医に戻す。本発明の実施の形態は実証に基づく学習に基づく。本実施の形態は、実行した動作の学習のための経時的曲線平均化およびタスクの完了の認識のために隠れマルコフモデルを使用する。例えば、本発明の実施の形態にしたがってダ・ビンチ遠隔手術用ロボットは改造されている。ヒューマン・マシン連携が直感的に理解できるような２つの例示的タスクにおいて、自動化された制御が、マスターマニピュレータの作業空間の利用を改善することを示す。このようなシステムは、ロボットの従来の使用方法を制限するものではないが、全制御を外科医に委ねている間機能を高めているので、外科的機能の向上に関して安全かつ受け入れ可能な解決策を提供する。

【0013】

以下詳述する本発明のいくつかの実施の態様および例示は、手術用ロボットに関するが、本発明の全体的な概念は、手術用ロボットのみに限定されるものではない。本発明の他の実施の形態には、製造および／または組み立てロボットや、危険なまたは離れた環境において使用するための遠隔操作ロボットのような他の種類のロボットが含まれる。ただし、これに限定されるものではない。

【0014】

本明細書で使用している用語の「タスク」は、概略、ロボットシステムによって実行されるマルチステップのどの工程も含む。例えば、手術ロボットの場合には、タスクは、手術手順の少なく一部となり得る。用語の「ステップ」は、アクチュエータ組立体の少なくとも一部の少なくとも１つの移動および／または回転を含む。

【0015】

図１は、本発明の実施の形態に係るマルチステップのタスクを実行するための半自動、相互作用ロボットシステム１００の概略図である。半自動、相互作用ロボットシステム１００は、ユーザ・インタフェース・システム１０２と、ユーザ・インタフェース・システム１０２と通信を行うように構成された認識システム１０４と、認識システム１０４と通信を行うように構成された制御システム１０６と、制御システム１０６と通信を行うように構成されたセンサ・アクチュエータ・システム１０８とを含む。認識システム１０４は、ユーザがユーザ・インタフェース・システム１０２を操作する間にユーザのとる行動を認識し、その認識された行動およびそのマルチステップタスクのタスクモデル１１０に基づいて、制御システム１０６に選択的に命令を出して、センサ・アクチュエータ・システム１０８に、マルチステップタスクの自動ステップ、半自動ステップまたはダイレクトステップの１つを実行させる。

【0016】

ユーザ・インタフェース・システム１０２は、１人、２人またはそれより多くのオペレータによって操作されるような制御を含むことができる。その制御は、手動操作の制御とすることができるが、それに代えて、または追加的に、これに限定されないが、フットペダルのようなユーザの体の手以外の部分によって操作されることが可能な制御を含めることができる。例えば、従来の手術用ロボットはクラッチペダルを備えており、これにより、ユーザが、１または２以上のセンサ・アクチュエータ構成部分をロボットによる制御から切り離すことができる。これは、例えば、大まかな補正および／または緊急解除を行うために有用である。ユーザ・インタフェース・システム１０２が、観察および／または表示装置も備えると、１または２以上のユーザが、例えば、手術中の患者や組立中の製品を観察することができる。いくつかの実施の態様では、表示装置は、これに限定されないが、医用画像のような画像を表示することができる。例えば、外科的用途の場合には、画像には、これに限定されないが、実時間可視光像、実時間超音波、実時間ＯＣＴ画像および／または他のモダリティを含めることができ、または、ＭＲＩ、ＣＴ、ＰＥＴ等のような術前画像を含めることができる。さまざまな画像モダリティは、例えば、選択可能、プログラム可能、重ね合わせ可能で、さらに／または、グラフの形式および／または数値の形式または記号の形式で重ね合わされた他の情報を含むことができる。

【0017】

認識システム１０４は、例えば、コンピュータまたは他の任意な適切なデータ処理および記憶デバイスに実装することができる。いくつかの実施の形態では、認識システム１０４は、認識および他の処理を実行するコンピュータに記憶されたコンピュータ実行可能命令から構成することができる。しかし、他の実施の形態においては、認識システムは、コンピュータに記憶されたソフトウエア命令というより、ハードワイヤードのデバイスとして構成することができる。そのコンピュータは、例えば、ワークステーション、デスクトップまたはラップトップコンピュータのようなローカルコンピュータでもよく、または、例えば、ネットワークを通じて接続された遠方に配置されたおよび／または分散型コンピュータシステムであってもよい。そのコンピュータは、１または２以上のデータ記憶装置およびメモリデバイスも含めることができる。タスクモデル１１０は、例えば、コンピュータのデータ記憶装置に記憶されるようにしてもよい。認識システムは、いくつかの実施の形態で、ユーザの特定の動作を認識するために、ロボット運動学を利用することができる。タスクモデルに基づくと、そのような動作は、多機能タスクを実行する際の１つのステップによって識別することができる。これに代えて、または、これに加えて、ユーザ・インタフェース・システム１０２および／またはセンサ・アクチュエータ・システム１０８は、観察装置を備え、これにより、一人のユーザもしくは複数のユーザ、および／またはセンサ・アクチュエータ・システムの構成部分、および／または患者もしくは操作されている対象物の動きをより直接的に観察することができるようにしてもよい。観察システムは、例えば、これに限定されないが、移動する対象物を観察および区分化することができるように、１または２以上のカメラを備えることができる。

【0018】

認識システム１０４は、制御システムの制御下において、自動ステップ、半自動ステップまたはダイレクトステップをセンサ・アクチュエータ・システムによって実行すべきか否かを決定するという意味で、スイッチングシステムに似た動作をすることができる。ダイレクトステップは、従来の遠隔操作ロボットシステムにおいて実行されるステップに似てまたは変わりなく実行されるステップとすることができる。自動ステップは、ロボットの制御下で完全に遂行されるステップとすることができる。例えば、ユーザが、センサ・アクチュエータ・システムの少なくとも一部を、さらなるステップが実行される位置まで移動してもよい。この最初の動きは、ダイレクトステップの可能性のある１つの例示である。認識システムが、次に、このステップがユーザによって行われたことを認識し、タスクモデルに基づいて、自動ステップの実行を命令してもよい。例えば、認識システムは、ダイレクトステップにおいて動かされたセンサ・アクチュエータ・システムの一部を、これらに限定されるものではないが、外科的処置のための手術ツールもしくは縫合糸、または組立作業のための組立ツールもしくは組立部品のような対象物を持ち上げかつ保持して戻る位置まで移動するように命令することができる。これは、単に１つの具体的な例示であり、本発明の範囲を限定することを意図するものではない。当業者は、可能性のある例が極めて多数存在することを認識するであろう。

【0019】

他の例では、認識システム１０４は、ユーザが、センサ・アクチュエータ・システムの一部をマルチステップのタスクを実行するための位置に移動したことを認識することができ、次に、認識システムは、タスクモデルに基づいて、センサ・アクチュエータ・システムの他の部分がユーザを支援するように他のステップを実行することを命令する。これに限定されないが、一例としては、ユーザが１つのロボットアームを操作している間、認識システムが、他のロボットアームの操作を命令してユーザを支援する。自動ステップでは、例えば、ユーザのために対象物を保持し続けることができる。外科的処置では、自動ステップにより、例えば、ライト、カメラ、内視鏡を保持し続けたり、縫合糸を切断するために保持し続けたりすることができる。組立作業では、自動ステップでは、例えば、ユーザが部品を取り付けることができるように、組立中の製品を保持しおよび／またはマニピュレータで操作することができる。これらの例は、本発明のいくつかの概念の説明を補助するために示すもので、発明の範囲を限定することを意図するものではない。当業者にとって、非常に多数の例が、本発明の広範な概念内で可能性がということは明らかであろう。

【0020】

いくつかの実施の態様において、ユーザ入力システムは入力デバイスを備えることができ、入力デバイスは、ユーザが、手動または口頭の少なくとも一方によりコマンドを入力して認識システムと通信を行い、これにより、命令の起動または修正を行って制御システムに送信できるように構成される。当該命令には、これには、限定されないが、手信号を含めることができ、手信号は、センサ・アクチュエータ・システムのマニピュレーション制御が、継続されている間、またはその制御から分離されている間ユーザから提供される。

【0021】

図２および図３は、本発明の実施の形態に係る半自動、相互作用ロボットシステム２００を示す。この実施の形態では、半自動、相互作用ロボットシステム２００は、改良型ＤＡ ＶＩＮＣＩロボットシステムのような手術ロボットシステムである。この実施の形態では、ユーザ・インタフェース・システム２０２は、外科医用コンソールである。ワークステーション２０４および／またはデータ処理および記憶システム２０６は、認識システムおよびタスクモデルを含むように構成されている。センサ・アクチュエータ・システム２０８は、複数の多関節アーム２１０を含む手術ロボット・センサ・アクチュエータ・システムである。制御システムは、ワークステーション２０４、データ処理および記憶システム２０６および／またはセンサ・アクチュエータ・システム２０８に備えることができる。ユーザ・インタフェース・システム２０２は、右手用制御装置２１２および左手用制御装置２１４と右目用表示装置２１６および左目用制御装置２１８とを備える。複数の多関節アーム２１０の少なくとも１つのアームは、把持装置またはツール取付組立体２２０の少なくとも一方を含めることができる。

【0022】

本発明のいくつかの実施の形態においては、タスクモデルは、例えば、隠れマルコフモデルにすることができる。しかし、本発明の広範な概念は、隠れマルコフモデルのみに限定されるものではない。例えば、マルコフ特性が正確な近似値であることを必要としない他のモデルであっても本発明の他の実施の形態において使用することができる。本発明のいくつかの実施の形態では、タスクモデルは機械学習モデルである。

【0023】

本発明の他の実施の形態においては、センサ・アクチュエータ・システム１０８および／または２０８は、現実の物理系システムというより、シミュレーションすることができるものである。このことは、半自動、相互作用ロボットシステム１００および／または２００によって実行されるタスクのシミュレーションに有益な場合がある。シミュレーションは、例えば、ユーザの訓練に役に立つ。しかし、シミュレーションは、これらに限定されるものではないが、実行予定のタスクの計画および／またはさまざまな可能性のあるタスクの実験または試験の実施のような他の目的に有用である。

【0024】

以下の特定の実施の形態は、本発明のいくつかの概念を詳細に説明するために提示するものである。しかし、本発明の広範な概念は、それらの特定の実施の形態に限定されるものではない。

【0025】

例
ＩＮＴＵＩＴＩＶＥ ＳＵＲＧＩＣＡＬ社のＤＡ ＶＩＮＣＩ手術システムのような遠隔手術ロボットの利用の増加に伴い、手術を指導、評価および実施するための新たな方法が提供されている。一方では、大量の客観的な実演データはロボットから収集することができる（H. C. Lin, I. Shafran, D. Yuh, および G. D. Hager, "Towards automatic skill evaluation: Detection and segmentation of robot-assisted surgical motions," Computer Aided Surgery, vol. 11, no. 5, pp. 220-230, 2006）。他方では、その技術により、近い将来、特定の手術タスクが自動化される可能性がある（J. van den Berg, S. Miller, D. Duckworth, H. Hu, A. Wan, X.-Y. Fu, K. Goldberg, および P. Abbeel, "Superhuman performance of surgical tasks by robots using iterative learning from human-guided demonstrations," in ICRA, 2010, pp. 2074-2081）。しかし、オペレータ、手術対象物に適応でき、また、手術中に途切れのない支援を提供することができる高効率のヒューマン・マシン連携システムを設計するために、収集した実演データをどのように用いるのかは明確ではなかった。

【0026】

この実施の形態では、手術の実演から、本発明の実施の形態に係る遠隔操作タスクの間連携して外科医を支援する方法を学習するヒューマン・マシン連携（ＨＭＣ）システムを示す。これは、純自動化に焦点を合わせる以前の研究を補完するものである（H. G. Mayer, F. J. Gomez, D. Wierstra, I. Nagy, A. Knoll, および J. Schmidhuber, "A system for robotic heart surgery that learns to tie knots using recurrent neural networks," in IROS, 2006, pp. 543-548; F. Nageotte, P. Zanne, C. Doignon, and M. de Mathelin, "Stitching planning in laparoscopic surgery: Towards robot-assisted suturing," Robotic Res., vol. 28, no. 10, pp. 1303-1321, 2009; Berg10）。ここでは、タスクは、手動のサブタスクおよび潜在的に自動化可能なサブタスクに分解されている。このシステムでは、次に、実時間で、手動のサブタスクの終了が認識されることによってオペレータが支援され、残りのサブタスクが自動化される。システムでは、また、状況的拡張現実（ＡＲ）情報がオペレータの視界に提供されてオペレータによる認識作業の負荷が減少される。自動化予定のサブタスクは、オペレータの作業空間の最適な利用を可能にするために選択されている。これらのサブタスクは、対象物と相互作用しない移送タスクを含む。遠隔操作の間、手動実行と自動実行との間での移行は、自動的であり途切れない。さらに、オペレータは、必要な場合に、軌道を修正するために、自動実行の途中で介入することができる。

【0027】

ここでは、研究目的のためのみに使用したＤＡ ＶＩＮＣＩ手術ロボット（G. Guthart および J. K. S. Jr., "The intuitive^TM telesurgery system: Overview and application," in ICRA, 2000, pp. 618-621）を使用して本アプローチを実証している。そのロボットは２つのマスター・コンソール・マニピュレータから構成されており、２つのマスター・コンソール・マニピュレータは、立体的内視鏡的な視覚化の状況下で３つの患者側マニピュレータを遠隔操作する（図４参照）。最初に、オペレータが、数回タスクを実行し、自動化すべきサブタスクに対応するデータのセグメントに注釈付けをしている間、ロボットからの運動学的データを記録する。次に、隠れマルコフモデル（ＨＭＭ）に基づいてアプローチを使用して、実時間で、最新の手動のサブタスクが完了したことを判断する。一旦、自動実行に移行すると、自動化サブタスクに対応する器具の動作がロボットに提供される。この動作は、動的時間伸縮法（ＤＴＷ）に基づく経時的曲線平均化アプローチを使用することによって実演データから学習される。最後に、監視目的のため、オペレータの立体的視界内に、計画された軌道を重ね合わせて表示する。

【0028】

２つの操作タスクを使用して、本アプローチ、つまり、訓練ポッドの基本位置に３つのピンを移動し、縫合ポッド上で縫合を実施することを実演する。実験では、ヒューマン・マシン連携フレームワークのようなものは直感的に理解できるものであり、また、マスターマニピュレータの大きな動きを減少させ、さらに、これにより、手の位置を再調整するためのクラッチ操作を減少させることによってオペレータの作業空間の利用を高度に改善することができた。

【0029】

タスクモデル
この実施の形態の目的のために、あるタスクが、連続する時間的な順序で実行する必要のある順序付けられたサブタスク（つまりステップ）の集合から構成されているとする。説明を容易にするために、タスクは、手動サブタスクと自動化されたサブタスクとの間で交互に入れ替わり、手動サブタスクから開始されるものと仮定する。これは、手動または自動化の各タイプの連続するサブタスクを単一の分割不可能なサブタスクのように集合させることによって達成することができる。

【0030】

タスクＴを、連続するサブタスクＴ₁，．．．，Ｔ_Nから構成する。ここで、N=2nである。Ｔ₂，Ｔ₄，．．．，Ｔ_Nは、自動化されたサブタスクであると仮定する。この例では、そのようなサブタスクは、対象物との相互作用や微細な操作を伴わないが、それに代えて、より大きな動作が必要となる。

【0031】

図５は、タスクモデルを簡潔に示しており、タスクモデルはオートマトンとしてみることができ、そのオートマトンでは、移行が、手動のサブタスクの完了の認識、または、自動サブタスクの終了のいずれかに起因して開始される。

【0032】

例示タスク
本アプローチを実演するために用いた２つのタスクを図６および図７に示す。第１のタスクは、ピンタスクと称され、単一の器具を必要とし、３つのピンを３主要位置に移動することにある（図６（ａ））。このタスクは、システムにより学習された６つの大きな搬送動作と、オペレータの実行による把持およびピン留めを含む６つの微細な動作とからなる。サブタスクの概要を表１に示す。器具によって実行される動作を図６（ｂ）に示しており、そこでは、搬送および微細な動作は異なる色で表されている。

【表1】

表１：ピンタスクの説明 スター印（＊）は、自動化されているサブタスクを示す。

【0033】

第２のタスクは、縫合タスクと称され、２つの器具（「左」および「右」によって表す）を必要とし、３つの針の挿入による縫合の実行（図７（ａ））からなる。このタスクは、３つの連続する位置で反復される５つの一般的な動作からなる。３つの微細な動作、つまり、右の器具による針の把持、左の器具による針の挿入および左の器具による針の把持が、外科医によって実行される。２つの搬送動作、つまり、左の器具による糸の引き出しと次の縫合点の位置での針の右の器具へ手渡しとが学習されて自動化される。手動／自動化サブタスクに連結されたすべてのサブタスクを表２に示す。２つの器具によって実行された動作を図７（ｂ）に示しており、そこでは、搬送および微細な動作は異なる色で表されている。

【表2】

表２：縫合タスクの説明 （＊）は、自動化されているサブタスクを示す。（ＲＴ）は「右ツール」および（ＬＴ）は「右ツール」を表す。

【0034】

ロボット環境
セットアップでは、タスクを達成するために使用するポッドは、各７度の自由度（ＤＯＦ）を持つ２つの患者側マニピュレータ（ＰＳＭ）によって操作することができる。各ＰＳＭは、手術器具を制御する。本ケースでは、ＰＳＭは、タスクの間同一の器具、つまり、２つの大きな針ドライバを有している。７度の自由度は、器具把持装置の開口に対応する。ダ・ビンチ・ロボット（Ｇｕｔｈａｒｔ００）を用いることにより、より多くの一般的な遠隔操作の構成が可能であるが、簡略化のために、左右それぞれのマスターマニピュレータが、左右それぞれのＰＳＭを制御するものと仮定する。遠隔操作の間、器具およびポッドは、立体内視鏡カメラによって監視されており、器具およびポッドは、特定の６ＤＯＦマニピュレータを用いて移動することができる。

【0035】

４つの主座標系（またはフレーム）はこのセットアップでは重要性を持つ（図８参照）。タスク座標系Ｃ_taskは、タスクに特有のもので、ロボット初期運動学とは無関係である。カメラ座標系Ｃ_camは、立体内視鏡カメラの位置を示し、また、器具座標系Ｃ^ｊ_instは、器具ｊの位置を示し、ｊ∈｛０，１｝によって左または右の器具を表す。最後に、例えば、ロボットのベースを表す世界の原点は、Ｃ_worldによって表す。

【0036】

［Ｔ，Ｒ］∈Ｒ³×ＳＯ³によって、移動Ｔおよび回転Ｒからなる３Ｄ変位を表す。以下において、各時間ｔでの、Ｃ_camからＣ^ｊ_instまでの変位［Ｔ^IN _t，Ｒ^IN _t］（ここで、「IN」は、上付き文字の「ⁱⁿ_j」を意味するものとする。）と、Ｃ_worldからＣ_camまでの変位［Ｔ^ca _t，Ｒ^ca _t］とは分かっているものとする。これらの変位は、ダ・ビンチ研究インタフェース（S. DiMaio および C. Hasser, "The da vinci research interface," Insight Journal. [オンライン]。 http://hdl.handle.net/10380/1464から入手可能）を用いて収集される。加えて、Ｃ_camからＣ_taskまでの変位［Ｔ^ta _t，Ｒ^ta _t］を知る必要がある。この変位は、タスクを開始する前に、トレーニングポッドを基準世界位置に配置し、さらに、［Ｔ^ca _t，Ｒ^ca _t］を用いてカメラ動作を追跡することによって得る。短いタスクの場合、ポッドはその初期基準位置に留まっていると推測する。長いタスクの場合、ポッドが移動したとすると、その対応変位が、目視可能なポッド追跡によって提供されるであろう。また、直交座標空間における２つの患者側マニピュレータの直線速度／角速度と、把持装置の状態と、ワークステーション分析のための２つの主マニピュレータの直交座標位置も収集する。これらのデータは４０Ｈｚの周波数で収集する。

【0037】

また、立体内視鏡カメラは較正されている。これにより、外科医の立体視界内において、複数の軌道の３Ｄ拡張実在情報を重ね合わせることができる。

【0038】

実演データ
指示により、オペレータが各タスクをＭ回実演すると、タスク｛ｒ^k｝_1≦k≦Mの一連のＭ回の記録が得られる。各記録は、１≦ｔ≦｜ｒ^k｜の場合のＲ²⁶＝Ｒ¹⁴×Ｒ¹²において、値ｒ^k _t＝（^ｒ^k _t，^・ｒ^k _t）を取る長さ｜ｒ^k｜の多次元時系列ｒ^k＝｛ｒ^k ₁，．．．，ｒ^k _n｝（なお、ここで、ｎは、下付き文字の｜ｒ^k｜を意味する。）に対応する。投影^ｒ^k _tは、６次元直交座標速度のみならず２器具の把持状態も包含する。これらのデータは、認識システムによって使用されることになる。投影^・ｒ^k _tは、制御軌道を学習するために使用する予定の２器具の６次元直交座標位置を包含する。２器具の位置は、タスク座標系において、ロボット初期運動学とは無関係に表現される。

【0039】

各ｒ^kごとに、自動化されるべきタスクの一部は、オペレータによってラベル付される。これにより、ｒ^kを、サブタスクＴ₁，．．．，Ｔ_Nに対応するＮデータセグメント｛ｒ^(k,1)，ｒ^(k,2) ，．．．，ｒ^(k,N)｝に分解する。次のセクションでは、以下のことを説明する。

【0040】

・手動タスクＴ_2i+1，１≦ｉ≦ｎの完了を決定する認識モデルＨⁱをトレーニングする方法。このため、トレーニングデータ｛^ｒ^(k,2i+1)，^ｒ^(k,2i+2)｝_1≦k≦Mから構築されたＨＭＭを使用する。

【0041】

・器具によって自動的に実行される予定のサブタスクＴ_2i，１≦ｉ≦ｎのために軌道を計算する方法。このため、ＤＴＷに基づいて経時的曲線平均化技術を用い、それをデータ｛^・ｒ^(k,2i)｝_1≦k≦Mに適用する。

【0042】

認識
認識システムの目的は、各手動タスクが完了したことを判断し、自動制御への途切れのない移行を実行することにある。オペレータは、自動化が軌道の制御を引き継ぐまで、オペレータが次のサブタスクを手動で開始および実行しているかのように、連続する動作を当然に実行すべきである。途切れのない移行を行うため、オペレータが、自動軌道が開始されることができる地点に到達した瞬間を決定する必要がある。この決定は、ＨＭＭに基づいて一時的なモデルから計算される、サブタスク完了の実時間測定値を用いて行われる。

【0043】

隠れマルコフモデルは、公式には、５個１組のλ＝（Ｓ，Ａ，Ｏ，Ｂ，π）として定義される。ここで、Ｓは、そのモデル内の状態ｘ∈｛１，．．．，Ｓ｝の数であり、Ａは、トポロジーをモデル化する、状態間の遷移確率マトリクスであり、ＯはケースＲ¹⁴における観察空間である。Ｂは観察モデルで、どの観察o∈Ｏおよび状態ｘに対しても、oがｘによって観察される確率Ｂｘ（o）＝Ｐ（o｜ｘ）を示す。πは初期状態における確率分布である。

【0044】

サブタスクの完了を測定するため、ＨＭＭ Ｈⁱを使用しており、ＨＭＭ Ｈⁱは、手動サブタスクＴ_2i+1および自動化されるサブタスクＴ_2i+2をそれぞれモデル化する２つのＨＭＭ Ｈⁱ ₀およびＨⁱ ₁の連結したものから構成されている。Ｈⁱ ₀およびＨⁱ ₁は、それぞれ、データ｛^ｒ^(k,2i+1)｝_1≦k≦Mおよび｛^ｒ^(k,2i+2)｝_1≦k≦Mから構築されている。実験のため、左および右のＨＭＭおよび観察分布としてのガウス混合を使用する。パラメータをエヌ．パドイ他の文献（N. Padoy, D. Mateus, D. Weinland, M. -O. Berger および N. Navab, "Workflow monitoring based on 3d motion features," in Proceedings of the International Conference on Computer Vision Workshops, IEEE Workshop on Video-oriented Object and Event Classification, 2009"）に示すように初期化する。状態数は、トレーニングシーケンスの長さから決定され、また、確率は、データを、利用可能な状態と同一の連続数に均等に分割することによってそのデータから初期化される。次に、期待値最大化を適用してパラメータを改善する。２つのＨＭＭが連結されると、Ｈⁱ ₀の最後の状態が、Ｈⁱ ₁の第１の状態に移行するように修正される。その移行の確率は、Ｈⁱ ₀における予想された時間が、トレーニングデータから算出された、サブタスクの平均持続時間と等しくなるように、選択される。

【0045】

ＨＭＭ Ｈⁱの状態ｘごとに、以下の２値指標関数を定義する。

【数1】

以下のように、時間ｔに手動タスクを完了させる確率Θ_tを、自動化されるタスクに相当するＨＭＭの状態に到達させた確率によって定義する。

【数2】

ここで、0_1:tは、最新の時間ｔまでの観察結果を示し、Ｘ_tは、時間ｔにおけるＨＭＭの状態を示すランダム変数である。この式は、ＨＭＭの前向き確率を使用して計算される（L. R. Rabiner, "A tutorial on hidden markov models and selected applications in speech recognition," Proceedings of the IEEE, vol. 77, no. 2, pp. 257-286, 1989）。

【0046】

最終的に、タスク完了の決定は、識別閾値β（０＜β＜１）を用いて、短い時区間δに渡って平均化を行うことによって得られる。

【数3】

自動化
制御
ロボットアームは、ダ・ビンチ研究インタフェース（ＤｉＭａｉｏ２００８）を用いて制御される。器具ごとに、直交座標動作Δ＝［ΔＴ｜ΔＲ］を、主マニピュレータの外科医の操作によって起こる動作に重ね合わせる制御モードが使用される。ある実験では、その動作Δは、カメラ座標系Ｃ_camに与えられる。

【0047】

｛［Ｔ_t｜Ｒ_t］｝_1≦t≦τを学習後の軌道とする。その学習後の軌道は、次のセクションで説明するようにタスク座標系Ｃ_taskに表示されて計算処理される。この軌道は、その初期位置を減算することによって正規化されて、Ｔ₁＝０，Ｒ₁＝Ｉｄとなっている。所定の器具に対し、自動化された実行が開始された瞬間に、ツール先端の位置において、この相対軌道が実行される。これは、Ｃ_taskに表示されているＴⁱⁿ ₁によって示される。実験では、そのような実行は、手動制御と自動実行との間に途切れのない移行を形成するための自然な方法であることが分かった。自動制御が開始された時に最新のツール位置に対し相対的に軌道を実行するということは、例えば異なる位置で針を挿入することによって正確に実演されたタスクとは異なるようにオペレータがマニピュレータの操作を変更できるという柔軟性を残すことになる。

【0048】

重ね合わせ動作は、以下の式によって１≦t≦τの期間に与えられる。

【数4】

平均動作計算
このセクションでは、所定の器具のためにロボットに動作｛［Ｔ_t｜Ｒ_t］｝_1≦t≦τを与える学習方法について説明する。自動化サブタスクＴ_2iに関して、動作がデータ｛^・ｒ^(k,2i)｝_1≦k≦Mから計算される。ここでは、考慮対象の器具の直交座標位置および方向のみのデータを使用する。以下において、回転は四元数で表し、７次元位置データは、指数２ｉを外した｛~ｒ^k｝_1≦k≦Mによって表す。

【0049】

経時的曲線平均化を用いることにより、実演されたシーケンスから有意義な動作を学習することができる。経時的曲線平均化は、最初に、ケイ．ワング他の文献（K. Wang および T. Gasser, "Alignment of curves by dynamic time warping," Annals of Statistics, vol. 25, no. 3, pp.1251-1276, 1997）に表されていて、次に、連続データにさらに二値データにも良好に適用されている（S.-A. Ahmadi, T. Sielhorst, R. Stauder, M. Horn, H. Feussner, および N. Navab, "Recovery of surgical workflow without explicit models," in International Conference on Medical Image Computing and Computer-Assisted Intervention (MICCAI), 2006, pp. 420-428）。この方法は、予想最小化アルゴリズムに類似する反復手順からなり、その手順においては、全ての軌道が、平均化される前に、動的時間伸縮（H. Sakoe および S. Chiba, "Dynamic programming algorithm optimization for spoken word recognition," IEEE Trans. Acoust. Speech Signal Process., vol. 26, no. 1, pp. 43-49, 1978）を用いて基準平均軌道に対し時間的に同期されている。その結果得た平均値は、次の反復の際に基準として使用される。このアプローチを使用すると、平均値は入力軌道の平均長さと等しい長さτを持つ。このアプローチによって生成された平均軌道を図９に示す。

【0050】

そのアプローチ以下に簡潔に要約して示す。

【0051】

・~ｒ^refを基準シーケンスとする。ＤＴＷを用いて~ｒ^kを時間的に~ｒ^refにワープさせ、そのワープ関数をｈ^k(t)で表す。

【0052】

・~ｒ^refに関する平均時系列を以下のように算出する。

【数5】

・~ｒ^kを平均時系列に変換できるようにする、いわゆる、シフト関数ｕ^k(t)＝ｈ^k(ｈ^-1(t))を計算する。

【0053】

・平均値を計算する。

【数6】

・~ｒ^refを~ｒ^avgによって置換し、収束するまで置換を繰り返す。

【0054】

最初の基準として、同一の方法を用いて、入力シーケンスを２つずつ再帰的に結合する。このアプローチを以下の方法で動作データに適合した：第１に、時間ワープの同期のために３Ｄの位置データのみを使用する。これは、位置は主要な特徴であり、また、方向情報は、本ケースにおいて、同期に関して主要な役割を演ずるものではないことが判明しているからである。第２に、上記のステップのいくつかは、２つの四元数間を補間すること、または、多数の四元数を平均化することのいずれかを必要とする。それぞれに対し、ＳＬＥＲＰ補間（E. B. Dam, M. Koch, および M. Lillhohn, "Quaternions, interpolation and animation," University of Copenhagen, Tech. Rep. DIKU-TR98/5, 1998）および球平均化を使用する（F. L. Markley, Y. Cheng, J. L. Crassidis, および Y. Oshman, "Averaging quaternions," Journal of Guidance, Control, and Dynamics, vol. 30, no. 4, pp. 1193-1196, 2007）。タスク座標系において平均軌道を計算した後、その平均軌道の初期位置を減算してその平均軌道を正規化する。

【0055】

論文から、データが高次元である場合や多数の局所変動を含んでいる場合には、ＤＴＷ同期は正しくない場合があるということが分かっている。このような場合に対し、エフ．ゾウ他の論文に示されているような、さらに進化した経時的同期技術（F. Zhou および F. De la Torre, "Canonical time warping for alignment of human behavior," in Advances in Neural Information Processing Systems Conference (NIPS), December 2009）が、提案されており、その高度な経時的同期技術を代わりに用いることができる。しかし、これは本発明に係るデータに当てはまるものではない。図９（ａ）に、本アプローチが、いくつかの実演されたシーケンスから滑らかな平均化された動作を提供する方法を示す。図９（ｂ）は、学習済み軌道の回転動作を強調している。

【0056】

実験
ダ・ビンチ・ロボットを用い、ＣＩＳＳＴ蔵書（A. Deguet, R. Kumar, R. Taylor, および P. Kazanzides, "The CISST libraries for computer assisted intervention systems," Insight Journal. [オンライン]。 http://hdl.handle.net/10380/1465aから入手可）に基づいて、モジュラーアプリケーションでＨＭＣアプローチを実行した。このアプリケーションは、役割を伴う５つの相互作用するスレッドを含む。つまり、１）完了認識、２）経路設計、３）ロボット制御、４）可視化重ね合わせ、および５）メインタスク制御である。

【0057】

実験のため、各タスクを５回実行してタスクモデルを構築した。説明のための動画は、オペレータが２つの説明のためのタスクを実行している間におけるヒューマン・マシン連携システムを用いるオペレータの視界を示す。オペレータが動作を実行しているときに、視界内にはラベル「手動」が表示される。サブタスクを完了させたオペレータの計算済み確率も示される。制御が自動モーションに切り替わると、ラベル「自動」が表示されるとともに計画された軌道も表示される。この表示された軌道は、オペレータの視界を妨げないようにするために、実際の位置に正確には重ね合わされていない。その代り、この表示された軌道は、視界の最上部に移動されている。これにより、オペレータの監視および認識する作業負荷の減少の目的が達成される。当動画は、手動操作と自動実行との間での途切れのない移行を示す。それは、また、例えば、ダ・ビンチ・ロボットの内視鏡カメラを回転することによってダ・ビンチ・ロボットを自由に操作することができることも示す。針を挿入する際に繰り返される失敗の試行または把持装置の予期しない開閉のような異常値に対する本アプローチのロバスト性についても説明する。図１１に、ＨＭＣシステムを用いてタスクを実行する間に得られたいくつかの画像を示す。

【0058】

さらに別のオペレータ達に本システムを使用することを依頼し、そのオペレータ達が、移行が途切れなく行われかつ直感的に理解できることを認識した。しかし、第１回目の試行の際には、事前にその特定のタスクをまったく行ったことのないオペレータが、予期した動作を正確に行えないということは起こり得る。この場合には、完了が少し遅れて認識されるようにし、これにより、軌道が、正確かつ予期した位置からわずかに転移されるようにしてもよい。この場合には、最終的にはツール位置の調整が必要になる。これにより、ユーザが、タスクを正確に（実演データと同様の方法で）実行する方法を学習するために２，３回の試行を行う必要があること、または、最新に操作したオペレータにより実演されたデータを含めかつオペレータの操作スタイルを例示することによってタスクモデルを構築する必要があることが分かる。実験では、ＨＭＭモデルは２つの直交座標の混合を使用し、さらに、β＝０．９を用いて自動実行を起動する。Θ_tを１秒間にわたり平均化する。

【0059】

遠隔操作制御を容易にする本アプローチの利点には、マスターマニピュレータの動作がかなり減少されているということが含められる。実際、大きな搬送動作が自動的に実行され、大きな搬送動作によってオペレータの移動は何ら必要とされない。このことから、２つの結果、つまり、マスターマニピュレータを再調整するためにクラッチ操作を行う必要性がほとんど存在しなくなるということ、また、マスターマニピュレータの衝突が発生する確率が低くなるということが得られる。

【0060】

マスターマニピュレータの作業空間の分析を図１０に示す。図１０は、ＨＭＣシステムを用いた場合または用いない場合のそれぞれにおけるマスターマニピュレータの動作を比較する。ピンタスクの場合には、図１０（ａ）は、ＨＭＣシステムを用いたときには、マスターマニピュレータの作業空間が、かなり小さな容積まで減少することを示す。これは、遂行すべき動きが、ここではピンの把持または押し付けのみに拘束されているからである。縫合タスクの場合には、左の器具のみが自動化されている。図１０（ｂ）は、ＨＭＣシステムを用いたときに、右のマニピュレータが、同様な作業空間を使用することを示す。しかし、左のマニピュレータは、ＨＭＣフレームワークを用いると、その役割が２つの微細な動作、つまり、針の把持および針の手渡しに限定されるので、かなり小さな作業空間を使用する。表３に、マスターマニピュレータの位置の各方向においておよび５シーケンスを平均化したもののマスターマニピュレータの位置の標準偏差を比較したものを示す。

【0061】

マニピュレータによって搬送された距離に関して同様の結果を観察した。つまり、搬送された距離は、実験の間、ピンタスクに関しては、４分の１に、また、縫合タスクの場合には１．３分の１に減少された平均値にある。タスク完了の時間は、ＨＭＣアプローチを使用した場合および使用しない場合とも同様で、ピンタスクに関しては平均４８秒で、縫合タスクに関しては６４秒である。自動化した搬送動作を早めることによって時間を減少させることは直接的な方法であろう。

【表3】

表３：ピンタスク（右マスターマニピュレータ）および縫合タスク（左マスターマニピュレータ）に関するマスターマニピュレータの位置の標準偏差（ｍｍ）。ＨＭＣシステムを使用する場合と使用しない場合との比較。

【0062】

考察および結論
ここでは、本発明の実施の形態に係る実演からの学習に基づく遠隔手術のための新規なヒューマン・マシン連携のアプローチを説明した。微細な動作はオペレータにより実行され、一方、動作の終了の実時間が認識されると、これが起因となって、以前に学習した動作であるが対象とのいかなる相互作用も含まない動作の自動的な実行が起動される。ダ・ビンチ遠隔手術ロボットを用いることにより、そのような動作が大きな搬送動作である場合には、そのような連携により、マスターマニピュレータの作業空間の使用が改善されることが分かった。さらに、実験では、そのようなヒューマン・マシン連携により、手動操作と自動化の実行との間で途切れのない直感的に理解できる切り替えを行うことができることを示している。

【0063】

本アプローチは、対象物についてすべてをシステムに入力しておくことも、動作を予めプログラムすることも必要としない。つまり、認識システム、実行された動作およびサブタスクの順序は、自動化されている部分にラベル付がされている実演のシーケンスから直接的に察することができる。さらに、オペレータの視界内に、計画された３Ｄ軌道を表示することによって、オペレータは自動化された動作を監視することができる。実行された動作はマスターマニピュレータの動きに重ね合わされるので、オペレータは必要に応じて軌道を修正することができる。最後に、自動実行は、ロボットにクラッチ操作をすることによって、または助手に制御を停止することを指示することによって、安全に止めることができる。

【0064】

本アプローチは、内視鏡カメラから得られる視覚情報を活用することによって、針の挿入のような微細なマニピュレータ操作のサブタスクまで拡大適用することができる。例えば生体組織と器具との接触のような環境からの合図を学習フレームワークに組み込むことができる。また、連続するサブタスクが順次的でないことがあるが、オプションを含むことができるような、長いタスクも含めることができる。

【0065】

最後に、タスク固有の動作を学習することに加え、ＨＭＣシステムの機能の向上に、例えば、音声コマンドによって起動されるような単純な一般的な動作を自動化する可能性を含めることができる。特定のツールに焦点を合わせるためのカメラの自動変位のような一般的な動作により、遠隔操作ロボットの人間工学的な利用を改善することもできるであろう。

【0066】

本明細書において図示及び説明した実施の態様は、当業者に、本発明を構成及び実施する方法を教示することのみを意図する。本発明の実施の態様を説明した際に特定の用語を明瞭化を目的として使用した。しかし、本発明は、そのように選択された特定の用語に限定されることは意図していない。本発明の上記の実施の態様は、上記の記載内容を考慮することにより、当業者が認識するように、本発明から逸脱することなく変更または多様化することができる。したがって、本発明およびそれと等価なものの範囲内で、本発明は、特に説明したものとは異なる別の方法で実行することができる。

【符号の説明】

【0067】

１００，２００ 半自動、相互作用ロボットシステム
１０２，２０２ ユーザ・インタフェース・システム
１０４ 認識システム
１０６ 制御システム
１０８，２０８ センサ・アクチュエータ・システム
２０４ ワークステーション
２０６ データ処理および記憶システム
２１０ 多関節アーム
２１２ 右手用制御装置
２１４ 左手用制御装置
２１６ 右目用表示装置
２１８ 左目用表示装置
２２０ 把持装置またはツール取付組立体

【図1】

【図2】

【図3】

【図5】

【図4】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】