特許 6162259 動き学習支援装置及び動き学習支援方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6162259

(24)【登録日】2017年6月23日

(45)【発行日】2017年7月12日

(54)【発明の名称】動き学習支援装置及び動き学習支援方法

(51)【国際特許分類】

   G09B 5/02 20060101AFI20170703BHJP

   G09B 9/00 20060101ALI20170703BHJP

【ＦＩ】

   G09B5/02

   G09B9/00 Z

【請求項の数】10

【全頁数】18

(21)【出願番号】特願2015-554412(P2015-554412)

(86)(22)【出願日】2013年12月26日

(86)【国際出願番号】JP2013084957

(87)【国際公開番号】WO2015097825

(87)【国際公開日】20150702

【審査請求日】2016年5月27日

(73)【特許権者】

【識別番号】503360115

【氏名又は名称】国立研究開発法人科学技術振興機構

(74)【代理人】

【識別番号】110000970

【氏名又は名称】特許業務法人 楓国際特許事務所

(72)【発明者】

【氏名】安藤 英由樹

(72)【発明者】

【氏名】前田 太郎

(72)【発明者】

【氏名】近藤 大祐

(72)【発明者】

【氏名】小濱 和貴

(72)【発明者】

【氏名】飯塚 博幸

【審査官】 鈴木 崇雅

(56)【参考文献】

【文献】 米国特許出願公開第２０１３／０３２３７００（ＵＳ，Ａ１）

【文献】 特開平１０−２７４９１８（ＪＰ，Ａ）

【文献】 特開２００７−３２３２６８（ＪＰ，Ａ）

【文献】 特開平１０−３０９３３５（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０９Ｂ ５／０２

Ｇ０９Ｂ ９／００

(57)【特許請求の範囲】

【請求項1】

時間方向に区分された、動きに関する教材映像の各区分教材映像と、撮像部で撮影される、各区分教材映像の動きを真似る学習者の練習画像とを区分毎に交互にモニタに表示する動き学習支援装置において、
前記学習者の動きを検出する動き検出手段と、
前記区分教材映像の動きに対する前記学習者の動きの類似さを評価する評価手段と、
前記評価手段により類似するとの評価が得られた場合、前記モニタを前記撮像部の画像から次の区分教材映像に切り替える第１の学習支援処理手段とを備えたことを特徴とする動き学習支援装置。

【請求項2】

前記第１の学習支援処理手段は、前記撮像部の画像の前記モニタへの表示中に、直前に再生した区分教材映像中の終盤の映像を併記表示する請求項１に記載の動き学習支援装置。

【請求項3】

前記第１の学習支援処理手段は、前記撮像部の画像と前記直前の区分教材映像中の終盤の映像とを視野合成法で表示する請求項２に記載の動き学習支援装置。

【請求項4】

前記第１の学習支援処理手段は、前記直前の区分教材映像中の終盤の映像を前記撮像部の画像とは異なる表示形態で表示する請求項２又は３に記載の動き学習支援装置。

【請求項5】

前記第１の学習支援処理手段は、前記直前の区分教材映像中の終盤の映像を点滅表示で表示する請求項４に記載の動き学習支援装置。

【請求項6】

前記第１の学習支援処理手段は、前記直前の区分教材映像中の終盤の映像を前記練習画像の表示中の所定時間から表示する請求項２〜５のいずれかに記載の動き学習支援装置。

【請求項7】

前記直前の区分教材映像中の終盤の映像は静止画である請求項２〜６のいずれかに記載の動き学習支援装置。

【請求項8】

前記モニタに、区分けされる前の前記教材映像と前記撮像部の撮像映像とを時分割合成して表示する第２の学習支援処理手段とを備えたことを特徴とする請求項１〜７のいずれかに記載の動き学習支援装置。

【請求項9】

時間方向に区分された、動きに関する教材映像の各区分教材映像と、撮像部で撮影される、各区分教材映像の動きを真似る学習者の練習画像とを区分毎に交互にモニタに表示する動き学習支援方法において、
前記学習者の動きを検出することによって前記区分教材映像の動きに対する前記学習者の動きの類似さを評価し、
類似するとの評価が得られた場合、前記モニタを前記撮像部の画像から次の区分教材映像に切り替える動き学習支援方法。

【請求項10】

前記撮像部の画像の前記モニタへの表示中に、直前に再生した区分教材映像中の終盤の映像を併記表示する請求項９に記載の動き学習支援方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、例えば腹腔鏡手術トレーニング等の、動きに関する教材映像を通して動きを学習する動き学習支援装置及び動き学習支援方法に関する。

【背景技術】

【0002】

近年、例えば臓器手術において切開の必要のない腹腔鏡手術は、患者への負担が軽く、回復が早いというメリットがあり、特に体力が不十分である高齢者や子どもには効果的であることから普及が望まれている。しかしながら、腹腔鏡手術は高度な技術を要するため、専門医の数が必ずしも十分とはいえず、熟練者の養成（トレーニング）が重要な課題である。従来、そのためのトレーニング方法として、ドライボックスを用いたトレーニング手法が提案されてきた。しかし、このトレーニング方法は、あくまで手術の模擬（シミュレーション）を行うのみである。熟練者が非熟練者にスキルを教示する場合には、モニタ画面を指さしで指摘したり、口頭で指示したりすることがほとんどで、多くの場合、非熟練者は、熟練者のスキルにおける“コツ”を完全には理解しないまま、ドライボックストレーニングによる試行錯誤を繰り返す程度のものであった。

【0003】

特許文献１には、予めＴＶカメラで撮像してデジタルメモリにストアされた目標画像１１をＴＶモニタのフォアグランド（前面）に表示し、一方、レッスンを受ける人の画像１２を同じモニタ上のバックグランド（背面）に同時に重ねて表示することで、両者の動作を視角的に比較する技術が記載されている。

【0004】

特許文献２には、学生画像の基準フレームと同じフレームに教師の動作の画像を発生させて効果的な学習方法を提供する動作学習装置が記載されている。具体的には、本装置は、ホストコンピュータ１２、モニタ１０、動作感知装置１５及びセンサ２０を備え、訓練の第一ステップでは、教師の動作シーケンスを獲得し、その教師の動作軌道に沿ってモニタ１０上に学生の模倣動作の軌道の仮想像を表示する。そして、模倣能力が向上すれば、コンピュータ１２が自動的に教師の動作の速度を増して難度を高めることが記載されている。

【0005】

非特許文献１には、教材ビデオを１０ 秒前後の動作区切りに分割し，部分学習を行えるようにした腹腔鏡手術トレーニング装置が記載されている。本装置は、まず1 つの区切りの映像をモニタ上で再生し、その区切りが終わる毎に学習者の鉗子の映像に切り替わり、学習者は今見た範囲の動作を再現するもので、その間は手本ビデオの最終フレームが１．２ 秒ごとに０．５ 秒間半透明で重畳表示されるものである。そして、自身の鉗子が目標姿勢に到達したと思う状態で、フットペダルを操作することで次の動作区切りへ進み、次の手本映像が同じような姿勢から再生され始める。この映像の自他切替わりの際、鉗子が勝手に動き出して次の手順へとすすむかのように見えるとの主観報告が得られている。

【0006】

非特許文献２には、熟練医の挿入手技を時系列で記録し再現するシステムを追加し、熟練医の挿入手技を体感し学習することを可能にすることが記載されている。さらに、挿入手技の定量評価法を開発し、訓練者の手技の評価を行うことにより効果的な訓練を可能とし、その手法として、（１）教示（記録再現システムを用いて模範的挿入手技を教示）、（２）試行（内視鏡の挿入）、（３）評価（挿入の結果得られた各評価関値の提示）を提案したとの記載がある。

【先行技術文献】

【特許文献】

【0007】

【特許文献1】特開平８−１８２７８６号公報

【特許文献2】特表２０００−５０４８５４号公報

【非特許文献】

【0008】

【非特許文献1】近藤大祐、飯塚博幸、安藤英由樹、小濱和貴、坂井義治、前田太郎、「腹腔鏡下手術トレーニングにおける自他運動の合成表示による学習支援」、No.13-2 Proceedings ofthe 2013 JSME Conference on Robotics and Mechatronics, Tsukuba, Japan, May22-25,2013

【非特許文献2】生田幸士、福山純也、中西彰、堀田耕志、「ポータブル力覚付バーチャル内視鏡システムの研究―挿入手技の記録再現システムと手技の定量評価法の開発―」、1P1-2F-D4 日本機械学会[No.03-4]ロボティクス・メカトロニクス講演会'03講演論文集

【発明の概要】

【発明が解決しようとする課題】

【0009】

特許文献１，２及び非特許文献２には、一連の動作を複数に区分し、それらを順番に、かつ自己画像と交互にモニタに表示して学習を進めるものではない。従って、区分の評価と次区分への移行との関係は一切記載されていない。

【0010】

また、非特許文献１には、学習者がペダルを操作することによって、教材ビデオを次の動作区切りへ進めることが記載されているだけで、それ以外の方法で教材ビデオの動作区切りを変更することは記載されていない。

【0011】

本発明の目的は、学習者の動きが教材映像の動きに近い場合、錯覚効果によるイメージ鮮明度の向上を実効あるものとするべく、次の区分の教材映像に自動的に切り替えて学習効果を向上させことを支援する点にある。

【課題を解決するための手段】

【0012】

本発明に係る動き学習支援装置は、時間方向に区分された、動きに関する教材映像の各区分教材映像と、撮像部で撮影される、各区分教材映像の動きを真似る学習者の練習画像とを区分毎に交互にモニタに表示する動き学習支援装置において、前記学習者の動きを検出する動き検出手段と、前記区分教材映像の動きに対する前記学習者の動きの類似さを評価する評価手段と、前記評価手段により類似するとの評価が得られた場合、前記モニタを前記撮像部の画像から次の区分教材映像に切り替える第１の学習支援処理手段とを備えたことを特徴とするものである。

【0013】

また、本発明に係る動き学習支援方法は、時間方向に区分された、動きに関する教材映像の各区分教材映像と、撮像部で撮影される、各区分教材映像の動きを真似る学習者の練習画像とを区分毎に交互にモニタに表示する動き学習支援方法において、前記学習者の動きを検出することによって前記区分教材映像の動きに対する前記学習者の動きの類似さを評価し、類似するとの評価が得られた場合、前記モニタを前記撮像部の画像から次の区分教材映像に切り替えるものである。

【0014】

これらの発明によれば、学習者の動きを検出することによって区分教材映像の動きに対する学習者の動きの類似さが評価され、類似するとの評価が得られた場合、モニタが撮像部の画像から次の区分教材映像に切り替えられる。従って、学習者の動きが区分教材映像の動きに類似、すなわち近づいている場合、学習者の映像の動きが練習映像から次の区分教材映像につながるようにタイミング良く映像の切り替えが行われることで、学習者はあたかも自分が次の区分の動きを模範者と同様の動きで開始したかのように錯覚し、より鮮明で詳細な行動イメージとして動きを記憶に残すことができて、学習効果の一層の向上が図れる。

【発明の効果】

【0015】

本発明によれば、区分教材映像を自動的に次の区分に進めることで、学習者に誘起される錯覚効果によるイメージ鮮明度の向上を図り、学習効果を向上させることができる。

【図面の簡単な説明】

【0016】

【図1】本発明に係る動き学習支援装置の一実施形態を示す概略構成図である。

【図2】本発明に係る動き学習支援装置の一実施形態を示す回路構成図である。

【図3】手順学習におけるフレーム映像の例を示す図で、（Ａ）は針を持ち直すフレーム映像、（Ｂ）は針を差し込むフレーム映像、（Ｃ）は縫合用糸を巻く状態を示すフレーム映像の図である。

【図4】併記表示の一例を示す図である。

【図5】教材映像（Ａ）と学習者のライブ映像（Ｂ）との時分割表示を説明するための概略図である。

【図6】手順学習教材作成処理の一実施形態を示すフローチャートである。

【図7】手順学習教材表示モード処理の一実施形態を示すフローチャートである。

【図8】計測、評価演算処理の一実施形態を示すフローチャートである。

【図9】チェック演算処理の一実施形態を示すフローチャートである。

【図10】予測演算処理の一実施形態を示すフローチャートである。

【図11】追従学習教材表示モード処理の一実施形態を示すフローチャートである。

【図12】追従学習教材表示モード処理内の時分割切替表示処理の一実施形態を示すフローチャートである。

【発明を実施するための形態】

【0017】

図１は、本発明に係る動き学習支援装置の一実施形態を示す概略構成図である。動き学習支援装置１は、種々の動きを学習する装置に適用可能である。以下では、動き学習支援装置１を、腹腔鏡手術における、特に鉗子を用いた結紮縫合の動きの学習（練習）に対する支援に適用した装置として説明する。

【0018】

図１において、動き学習支援装置１は、練習台装置１０と、情報処理装置２０とを備えている。練習台装置１０は、患者の胴体を模擬したドライボックス１１と、ドライボックスを上部の所定位置に載置する基台１２と、映像を表示するモニタ１３とを備えている。ドライボックス１１は、平坦な底面を有する横向けにされた筒体１１１を有する。筐体１１１は、人体の腹部を模擬するべく、凸状曲面に形成された上面部１１２を有している。上面部１１２は、不透明乃至は半透明の部材で構成され、適所に複数の円孔が形成されている。この円孔には樹脂材等の膜材１１３が貼られ、その中央には、後述する鉗子や内視鏡カメラを抜き差しする円筒状のトロカーを、機能面で模擬した十字状の切り込みが形成されている。なお、トロカーを模擬した構造体を直接配設する態様でもよい。

【0019】

膜材１１３の十字状切り込みを介して上方から鉗子１１４が挿通される。鉗子１１４は、公知のように、例えば結紮用の場合、手元側に一対の指入れ部を有し、他方側に一対の開閉可能な作用部（一対の挟持部材）を有し、両者間が所定長のパイプ部で連結されているものである。パイプ部には、指入れ部での操作力を作用部まで伝達する機構が内装されている。かかる力伝達機構によって、使用者による指入れ部からの開閉操作に連動して先端の一対の作用部が開閉して、対象物を挟持したり、開放したりできるようになっている。鉗子１１４は、作用部を開くことで、後述する針や縫合用糸を一対の作用部間に導入可能姿勢にし、次いで、一対の作用部を閉じることで、針や縫合用糸を挟み込むことができるものである。

【0020】

なお、ドライボックス１１の内部には、図略の樹脂材等のダミー患部が配置されている。ダミー患部は、例えば直方体形状物からなり、その上面にダミー切開部が縫合可能に形成されているものとして想定することができる。また、膜材１１３は本実施形態では、鉗子１１４のみを抜き差しするもので、内視鏡カメラ１１５はドライボックス１１の適所に固設されている。内視鏡カメラ１１５は、学習者に処置空間を観察可能に提示するもので、前記ダミー患部が視野の中央になるような向きに設定されて、当該ダミー患部の縫合を行う鉗子１１４の先端作用部の動きを撮像するようになっている。

【0021】

基台１２には、その適所、例えば底部に操作部１２１の一例としてのフットペダルが配設されている。操作部１２１は、公知のように揺動可能構造と、踏み込み操作によりオンするスイッチが内装されているものである。

【0022】

また、練習台装置１０には、動き検出部１１６が設けられている。動き検出部１１６は、磁気発生器１１６１と磁気センサ１１６２とから構成されている。磁気発生器１１６１は、磁気信号の生成源であり、基台１２の適所に固設されている。一方、磁気センサ１１６２は、鉗子１１４の所定箇所に３軸方向に向けられて取り付けられている。磁気発生器１１６１からの３軸の軸毎に対応して発生される磁気信号をそれぞれ検出することで、３次元位置と向きとを検出する。鉗子１１４への取付位置と向き及び鉗子１１４の既知の形状寸法等を用いて、動き検出器１１６での検出情報に基づいて鉗子１１４の先端の作用部（注目部位）の位置、姿勢（向き）が、後述の動き情報取得部２１５で算出される。なお、磁気による動き検出器１１６に代えて、３次元の加速度センサを採用したり、内視鏡カメラ１１５の撮影画像を解析する方法で鉗子１１４の先端の作用部の位置、姿勢（向き）を検出するようにしてもよい。

【0023】

モニタ１３は、本実施形態では基台１２に取り付けられている。モニタ１３は、ドライボックス１１を用いての動き学習中の学習者が見やすい位置、好ましくは基台１２の後部かつ学習者の視点高さに対応する位置に配設されている。

【0024】

情報処理装置２０は、練習台装置１０との間で情報の入出力を行うと共に、入力された情報及びその他の情報を用いて、後述するように、動き学習教材を作成し、モニタ１３に送出するものである。

【0025】

図２は、本発明に係る動き学習支援装置の一実施形態を示す回路構成図である。図２において、練習台装置１０にはマイク１１５１、スピーカ１３１が設けられている。マイク１１５１は、学習教材を作成する時点において、模範動きを行う者の動きに対するコツやガイダンスを音声情報としても取り込むようにしたものである。スピーカ１３１は、後述するように、マイク１１５１で取得した音声情報を学習時に再生するためのものである。

【0026】

情報処理装置２０は、ＣＰＵ（Central Processing Unit）で構成される制御部２１と、制御部２１に接続されたＲＯＭ（Read Only Memory）２２、ＲＡＭRandom Access Memory）２３、操作部２４及び必要に応じて設けられる通信部２５を備えている。ＲＯＭ２２は必要な処理プログラムやプログラムの実行に必要な情報が予め格納されたものであり、ＲＡＭ２３は情報処理を実行すると共に処理情報を一時的に保管するものである。また、ＲＡＭ２３は、一連の模範動きの映像を記憶する追従学習教材記憶部２３１と、一連の模範動きの映像から、後述するようにして各動き要素の映像分に分割された区分教材映像を記憶する手順学習教材記憶部２３２とを備えている。

【0027】

操作部２４は、タッチパネル、マウスやキーボードなどで構成され、学習教材の作成、学習支援処理の実行に必要な操作指示を行うものである。通信部２５は、２台の動き学習支援装置が接続されて、一方側に模範者が、他方側で学習者がいずれもライブ映像で合成表示（本実施形態では、時分割表示法）する場合に、互いの映像情報を授受するべく使用される。

【0028】

情報処理装置２０は、ＲＯＭ２２の処理プログラムがＣＰＵで実行されることによって、手順学習映像作成部２１１、手順学習映像表示処理部２１２、追従学習映像表示処理部２１３、表示形態設定部２１４、動き情報取得部２１５、評価部２１６及必要に応じて採用された通信処理部２１７として機能する。

【0029】

練習台装置１０で予め模範者による結紮縫合のお手本動作が行われ、このお手本動作の状況が内視鏡カメラ１１５及びマイク１１５１で取得され、ＲＡＭ２３の追従学習教材記憶部２３１に保管される。あるいは、予め結紮縫合処置の教材映像（必要に応じて音声含む）が格納されている外部記録媒体から教材取込部３０又は通信部２５を介して追従学習教材記憶部２３１に格納されてもよい。また、教材映像の取得時には、動き検出部１１６から、計時方向における鉗子１１４の先端作用部の位置、向きの情報も逐次取得されて、教材映像と同様に保管される。

【0030】

手順学習映像作成部２１１は、模範者による結紮縫合処置の映像等から手順学習映像（教材映像）を作成するものである。手順学習映像作成部２１１は、模範者による結紮縫合処置の映像等を再生し、再生中に、鉗子１１４の動きがほぼ停止した場面とか、音声ガイドが途切れているとかの分割条件が発生すると、動き要素の区切りと判断して、それまでの映像部分を分割し（切り出し）、手順番号を例えば連番で付す処理を行う。分割されたそれぞれの時間幅分の動き要素を有する区分教材映像は、手順番号に対応して手順学習教材記憶部２３２に順次書き込まれる。なお、再生中の鉗子１１４の動きのほぼ停止か否かの判断は、映像中の鉗子１１４の映像をピックアップし、その映像の動きから行うようにしてもよいし、動き検出部１１６で得られた３次元情報を元に、後述の動き情報取得部２１５で行ってもよい。鉗子１１４の先端作用部の動きをから判断する態様でもよい。また、手順学習教材記憶部２３２には、区分教材映像の書き込みに代えて、各区分教材映像の切り出し位置を示す情報（フレーム情報）を書き込む態様でもよい。

【0031】

結紮縫合処置における鉗子１１４（なお、針、縫合用糸の動きを含めてもよい。）の一連の動きには、時間方向に複数の動き要素（それぞれが各手順に相当）が含まれている。例えば、（１）鉗子で針を持ち直す動き（手順番号１）、（２）針を刺入する動き（手順番号２）、（３）縫合用糸を引き、Ｃの字を作る動き（手順番号３）、（４）２回巻の動き（手順番号４）、（５）結紮の動き（手順番号５）である。

【0032】

図３は、手順学習におけるフレーム映像の一例を示す参考図で、（Ａ）は、手順番号１に相当する針を持ち直すフレーム映像、（Ｂ）は、手順番号２に相当する針を差し込むフレーム映像、（Ｃ）は、手順番号３に相当する縫合用糸を巻く状態を示すフレーム映像の図である。図３において、モニタ画面１３ａには、内視鏡カメラ１１５で撮像された映像が表示されており、画面全体にはダミー患部映像１１７１が表示され、略中央に切開部映像１１８１が表示されている。また、モニタ画面１３ａ内には、鉗子映像１１４１、鉗子１１４の先端作用部に挟持された状態の針映像１１９１及び針映像１１９１の一端に繋がれている縫合用糸映像１１９２が表示されている。

【0033】

手順学習映像表示処理部２１２は、手順学習の指示を受け付けて手順学習映像表示モードに移行することで、付与された手順番号に従って区分教材映像を手順学習教材記憶部２３２から読み出してモニタ１３に表示する。これによって、学習者は、各手順における動き要素の学習ポイントを理解する。手順学習映像表示処理部２１２は、１つの区分教材映像の再生が終了する毎に、モニタ１３を内視鏡カメラ１１５側に切り替える。これにより、学習者は直前に観察した区分教材映像内の動き要素を模倣することが可能となる。

【0034】

また、手順学習映像表示処理部２１２は、１つの区分教材映像の再生が終了すると、内視鏡カメラ１３の撮像映像（ライブ映像）に、直前に再生された区分教材映像の最終フレーム映像の静止映像を併記表示する。併記表示は、視野合成法を採用することが好ましい。これにより、学習者は区分内で鉗子１１４の最終辿り位置がより把握容易となる。

【0035】

図４は、併記表示の一例を示す図である。図中、実線部分は内視鏡カメラ１１５で撮像中（ライブ）の練習映像を示し、破線部分は点滅状態を示しており、同じ区分教材映像内の終盤の静止映像の例である。図４の例では、練習映像は手順番号（１）の途中の状況であり、破線部分は手順番号（１）の終盤（ここでは最終フレーム）の静止映像である。従って、学習者は、自己の練習映像を介して、鉗子１１４の映像１１４１を最終的な辿り位置である静止映像１１４１’に移動操作して合わせようとする。

【0036】

なお、前記併記表示は、模範者の鉗子映像１１４１’のみを顕在化して表示することが好ましい。鉗子映像１１４１’のピックアップは、例えば、模範映像の撮影時に照明光を利用して鉗子１１４に光が当たるようにした状態で行い、最終フレーム映像に輝度方向の閾値を設定することで可能である。あるいは、鉗子１１４に所定の色を付しておくなどして、色彩差で鉗子映像１１４１’を抽出することも可能である。本実施形態では、最終フレーム映像を所定周波数、例えば０．数〜数Hz、本例では１Hzで点滅表示することで、内視鏡カメラ１１５の撮像映像と識別容易にしている。点滅表示は、例えば、最終フレーム映像を所定時間毎にモニタ１３に表示させることで実現可能である。

【0037】

手順学習映像表示処理部２１２は、後述する動き情報取得部２１５及び評価部２１６による評価に応じて、内視鏡カメラ１１５から次の区分教材映像の表示の切り替えを異なる方法で行う。手順学習映像表示処理部２１２は、評価部２１６での評価が高い場合には、モニタ１３への表示映像を自動的に次の区分教材映像に切り替える。これは、視野合成法において、学習者は自己の操作する鉗子１１４の映像１１４１を鉗子映像１１４１’に重ねる位置に持ってくるとき、鉗子１１４の映像１１４１の動きが練習映像から次の区分教材映像につながるようにタイミング良く映像の切り替えを行うと、あたかも自分が次の区分の動きを模範者と同様の動きで開始したかのように錯覚し、より鮮明で詳細な行動イメージとして記憶に残すことができ、学習効果の一層の向上が図れるようになることに着目したものである。評価方法については後述する。

【0038】

一方、手順学習映像表示処理部２１２は、評価が低い場合には、自動切り替えは実行されず、フットペダルである操作部１２１の信号を受け付けることによって次の区分教材映像への切り替えに行うようにしている。すなわち、評価が低い場合には、手順番号が途中であれば、操作部１２１への操作の毎にモニタ１３を切り替えて、次の区分教材映像を手順学習教材記憶部２３２から読み出してモニタ１３に表示し、一方、最終の手順番号であれば、最初の手順番号に戻るリピート処理を行う。操作部１２１への操作が別の態様で行われた場合、例えば２度押しとか押し時間の長短を利用しての別の押し操作であれば、同一の区分教材映像をリプレイ表示し、あるいは手順学習映像表示モードを終了する指示として扱うこともできる。あるいは別の操作部材を設けてもよい。

【0039】

追従学習映像表示処理部２１３は、追従学習の指示を受け付けて追従学習映像表示モードに移行することで、追従学習教材記憶部２３１の一連の教材映像と内視鏡カメラ１１５の練習映像とをモニタ１３上で合成表示、ここでは交互に時分割表示する。

【0040】

図５は、この表示モードの一部分を概略的に示すもので、（Ａ）は追従学習教材記憶部２３１の一連の教材映像の各フレームを、（Ｂ）は内視鏡カメラ１１５の練習映像の各フレームである。モニタ１３は例えば１６．７ｍｓ（１／６０Ｈｚ）のフレーム周期で映像が書き替えられている。この実施例に示す図５は、時間方向に連続する（Ａ）映像がＡフレーム数に相当する表示時間、時間方向に連続する（Ｂ）映像がＢフレーム数に相当する表示時間だけ交互に切り替えられて表示されることを示している。従って、表示周期（１サイクル）は、（Ａ＋Ｂ）フレーム数に相当する時間となり、自他（学習者／模範者）比率は、（Ｂ／Ａ）となる。

【0041】

表示形態設定部２１４は、追従学習映像表示モードでの表示周期及び自他比率の少なくとも一方を、操作部２４を介して変更設定可能にするものである。

【0042】

追従学習映像表示処理部２１３は、本実施形態では映像の合成法として時分割表示法を採用しているが、両映像を重畳する重畳法や並列して併記する並列表示法も、適用対象によっては考えられる。ところで、腹腔鏡手術のトレーニングに適用する場合、視野重畳提示では、小さな変位で複雑に重なっている鉗子の追従を行う際の追従特性が悪化するケースが考えられる。この場合には多数の特徴点間の対応を取ることから、学習者の映像と模範者の映像との煩雑な注意の切り替えが追従特性を悪化させると考えられる。そこで、注意を遷移することなく追従させる手法として、映像を交互に切り替えて提示する時分割法がむしろ好ましいと思料する。これにより学習者が模範者との同一感を保ちながら，融合感も生起する錯覚現象が起こると期待できる。すなわち、時分割法では、互いに協調的な身体運動を行う場合に、自己映像と教材映像との同一視点の映像を、モニタ１３上で交互に切り替えることによって、自己運動の随意性が失われず、かつ自然と相手と運動が揃ってしまうような、運動の誘発がある。教材映像の動きの追従を行う場合に、視野中に逐次的に表示される両者の運動部位が融合して一つの自己の運動部位であると錯覚させる、いわゆる融合感をもたらす（生起させる）ことが可能となる。ここに、融合感とは、自分側の運動部位なのに勝手に動いているような、思った通りにも動くような、随意と不随意とが融合した印象をいう。すなわち、教材映像の運動部位には見えず、自分の運動部位以外のものには思えないという主観的な感覚をもたらすことである。この結果として、自己側では、追従誤差を明確に認識しない乃至はできないままの状態で追従できてしまうという意識下で多点対応付け及び追従の実行を達成するものと考えられる。

【0043】

本出願人は、先願（特願２０１２−９７３２８）において、同一視点で撮像した自己の動き映像と追従対象の映像とをモニタに時分割法で表示した場合に、上述の効果を生むための周期が周波数換算で略２Ｈｚ〜４Ｈｚであり、自他比率が１対１〜１対３であることが好ましいとした。この条件では、前記融合感の生起によって、追従精度をより高いものとすることが可能となる。

【0044】

動き情報取得部２１５は、前記した動き検出部１１６からのセンサデータを用いて鉗子１１４の先端作用部の動き情報（位置、向き及び変位速度、さらには変位加速度等の各パラメータ。なお、各パラメータはいずれもベクトル。また、速度、加速度は複数時点でのセンサデータを利用して得る）を、所定の周期的で、例えばフレーム周期で算出するものである。

【0045】

評価部２１６は、予め取得した教材映像内の鉗子１１４の動き情報と、動き情報取得部２１５で得られた学習者の鉗子１１４の先端作用部の動き情報との差分等から、学習者の鉗子操作に対する巧拙の評価を行う。さらに、評価部２１６は、評価結果から、モニタ１３を練習映像から次の区分教材映像への自動切替の適否を判断する。判断結果は、手順学習映像表示処理部２１２に出力され、自動切替か否かの指示がなされる。

【0046】

前記自動切替の適否判断は、種々の方法が採用可能である。例えば、用途や要求される精度に応じて、前記した動き情報の全てのパラメータを採用する場合もあれば、位置情報のみを用いたり、また位置及び向きの情報を用いたり、あるいは位置、向き及び変位速度の情報を用いる場合が考えられる。

【0047】

本実施例では、２段階で評価を行うようにしている。より具体的に、前段階としての第１段階は、学習者側と模範者側との動き情報の各パラメータ間の差分等の変化状態を監視し、学習者の鉗子操作が、現区分の教材映像の終盤の動きに対応する動きに近づいているか否かを判断する。評価のための第２段階は、チェック段階での判断が肯定された後、両者の動き情報の各パラメータ間の差分、さらに各パラメータを用いた巧拙を示す、例えば分散評価のためのノルムを算出する関数を利用して、学習者側の動きが、次の区分教材映像への切り替えによって模範者側の動きに自然なままつながる（すなわち、位置、向き、変位速度、変位加速度において、両者の動きが近似した）かの予測（評価）を行う。なお、変位加速度は、現区分における学習者の操作する鉗子１１４が、映像の切り替え後、次の区分の開始時の鉗子１１４の挙動に対して、あたかも自分が次の区分の動きを模範者と同様の動きで開始したかのように錯覚するか否かをより的確に評価するために採用したものであるが、変位加速度を用いずに変位速度で評価するようにしてもよい。

【0048】

図６は、手順学習教材作成処理の一実施形態を示すフローチャートである。まず、模範者が行った原教材の再生が開始される（ステップＳ１）。次いで、再生中に動き検出情報の動き速度０（ほぼ零を含む）及び音声の途切れの少なくとも一方の条件が分割条件として満たされたか否かが判断される（ステップＳ３）。分割条件に合致すると、最初から現時点までの映像、あるいは１番目の手順以降において分割条件に合致した場合には直前の分割箇所から現時点までの映像を切り出し、手順番号が連番で付されて手順学習教材記憶部２３２に保存される（ステップＳ５）。なお、映像は実際に切り出して個別に保管する態様でもよいが、分割箇所の情報（保存アドレス）を手順番号と関連付けて記録し、アドレス管理によって同様な分割処理を可能とする態様でもよい。次いで、再生が終了したか否かが判断される（ステップＳ７）。終了であれば、本フローが終了する。

【0049】

一方、ステップＳ３で、分割条件がなければ、ステップＳ７に進み、再生終了でないことを条件に、ステップＳ３に戻って同様な切り出し処理が繰り返される。

【0050】

図７は、手順学習教材表示モード処理の一実施形態を示すフローチャートである。先ず、手順番号を示すｉが、ｉ＝１に設定される（ステップＳ１１）。次いで、手順番号ｉに相当する区分教材映像が手順学習教材記憶部２３２から読み出されてモニタ１３に表示（再生）される（ステップＳ１３）。この手順番号ｉの区分教材映像の読み出し後、当該区分教材映像の読み出しが終了した（再生が終了した）か否かが判断される（ステップＳ１５）。当該区分教材映像の読み出しが終了していなければ（再生途中であれば）、ステップＳ１３に戻る。一方、当該区分教材映像の読み出しが終了したのであれば、モニタ１３が内視鏡カメラ１１５のライブ映像に切り替えられ、かつ当該手順番号ｉの区分教材映像の最終フレーム映像が点滅状態で併記表示される（ステップＳ１７）。

【0051】

続いて、手順番号ｉが最終（手順番号Ｉ）か否かが判断され（ステップＳ１９）、最終であればステップＳ３１に進み、最終でなければ、計測、評価演算の処理が実行される（ステップＳ２１）。なお、計測、評価演算処理については後述する。

【0052】

計測、評価演算の結果、自動切替指示が出力されたか否かが判断され（ステップＳ２３）、自動切替指示が出力されたのであれば、手順番号ｉが１だけインクリメントされて（ステップＳ２５）、内視鏡カメラ１１５の映像表示が停止され、インクリメント後の手順番号ｉの区分教材映像がモニタ１３に再生される（ステップＳ２７）。

【0053】

一方、ステップＳ２３で自動切替不可指示が出力されたのであれば、操作部１２１への操作の有無が判断される（ステップＳ２９）。ここで、次手順指示の操作有りと判断されると、手順番号ｉが１だけインクリメントされて（ステップＳ２５）、内視鏡カメラ１１５の映像表示が停止され、インクリメント後の手順番号ｉの区分教材映像がモニタ１３に再生される（ステップＳ２７）。これに対し、ステップＳ２９でリプレイ指示の操作有りと判断されると、同じ手順番号ｉの区分教材映像がモニタ１３に再度再生される（ステップＳ３３）。

【0054】

また、ステップＳ１９で、手順番号ｉが最終であると、リプレイ指示の操作の有無が判断され（ステップＳ３１）、リプレイ指示があれば、ステップＳ３３に進み、所定時間内に指示がなければ、手順学習の終了と見なして、本フローを終える。なお、図には示していないが、強制終了のような指示操作を受付可能に構成しておけば、途中で練習を終了することができる。

【0055】

図８は、ステップＳ２１の計測、評価演算処理の一実施形態を示すフローチャートである。図８では、まず、第１段階でのチェック演算が実行され（ステップＳ４１）、チェック演算での判断が肯定された場合に、第２段階の予測演算が実行される（ステップＳ４３）。

【0056】

図９は、第１段階でのチェック演算処理の一例を示すフローチャートである。まず、学習者が操作する鉗子１１４に対して動き検出部１１６からのセンサデータが取得される（ステップＳ５１）。次いで、取得されたセンサデータを用いて動き情報の各パラメータが算出される（ステップＳ５３）。続いて、算出された動き情報と模範者側の動き情報の両パラメータ間の差分等の変化状態が監視され（ステップＳ５５）、学習者の鉗子操作が、現区分の教材映像の終盤の動きに対応する動きに近づいているか否かが判断される（ステップＳ５７）。そして、終盤の動きに対応する動きに近づいていると判断されると、リターンする。一方、終盤の動きに対応する動きに近づいていると判断されなければ、ステップＳ５１に戻って同様のチェック処理が繰り返される。なお、ステップＳ５７からステップＳ５１に戻る繰り返し処理中に、操作部１２１への操作が割込として発生すると、ステップＳ２９に移行するように設定されている。

【0057】

図１０は、第２段階での予測演算処理の一例を示すフローチャートである。まず、学習者が操作する鉗子１１４に対して動き検出部１１６からのセンサデータが取得される（ステップＳ６１）。次いで、取得されたセンサデータを用いて動き情報のパラメータが算出され、さらに動き予測演算が実行されてノルムが算出される（ステップＳ６３）。続いて、算出された両者の各パラメータの対比、及び両者のノルムの対比が行われる（ステップＳ６５）。例えば、両者の各パラメータ同士の差がいずれも、ある範囲内にあることを条件に、両者のノルムの差が閾値範囲内か否かが判断される（ステップＳ６７）。許容範囲であれば、自動切替指示が出力される（ステップＳ６９）。一方、ステップＳ６７で許容範囲でないと判断された場合、次に、許容不可の範囲か否かが判断される（ステップＳ７１）。許容不可の範囲でなければ、ステップＳ６１に戻って、同様な予測処理が繰り返される。一方、許容不可の範囲であれば、自動切替不可指示が出力される（ステップＳ７３）。なお、ステプＳ７１，Ｓ７３を省略し、ステップＳ６７からステップＳ６１に戻る繰り返し処理中に、操作部１２１への操作が割込として発生すると、ステップＳ２９に移行するように設定してもよい。

【0058】

図１１は、追従学習教材表示モード処理の一実施形態を示すフローチャートである。このフローチャートでは時分割切替表示処理が実行される（ステップＳ１０１）。この時分割切替表示処理も学習者の意向によって、すなわち操作部１２１への指示操作を受け付けて所望する回数だけ実行することができ、また、終了することができる（ステップＳ１０３）。

【0059】

図１２は、追従学習教材表示モード処理内の時分割切替表示処理の一実施形態を示すフローチャートである。まず、追従学習教材記憶部２３１から教材映像が読み出されてモニタ１３に出力され、かつフレーム数の計数処理が行われる（ステップＳ１１１）。次いで、Ａフレーム数だけ表示が行われると（ステップＳ１１３でＹｅｓ）、Ａフレーム数の読み出し時点で、教材映像の読み出しが中断される（ステップＳ１１５）。

【0060】

続いて、モニタ１３が内視鏡カメラ１１５側に切り替えられ、内視鏡カメラ１１５のライブ映像がモニタ１３に表示され、かつフレーム数の計数処理が行われる（ステップＳ１１７）。次いで、Ｂフレーム数だけ表示が行われると（ステップＳ１１９でＹｅｓ）、モニタ１３が教材映像側に切り替えられ、追従学習教材記憶部２３１内の、直前に中断したアドレス箇所から教材映像がモニタ１３へ出力され、かつフレーム数の計数が行われる（ステップＳ１２１）。続いて、教材映像の読み出しが終了したか否かが判断され（ステップＳ１２３）、教材映像の読み出しが終了していなければ、ステップＳ１１３に戻り、同様に、Ａフレーム数の教材映像とＢフレーム数の内視鏡カメラのライブ映像とが交互にモニタ１３に表示される処理が繰り返される。一方、教材映像の読み出しが終了したのであれば、本フローが終了する。

【0061】

なお、時分割切替表示処理においては、追従学習教材記憶部２３１からＡフレームずつ読み出すようにした（ステップＳ１１３でＹｅｓ）が、追従学習教材記憶部２３１からは継続的にフレーム映像が読み出されており、内視鏡カメラ１１５のライブ映像が表示される間は、モニタ１３に導かれず、あるいは導かれても表示されない態様としてもよい。このようにすることで、追従学習教材記憶部２３１からのフレーム映像の時間方向の変化が実時間に対応するものとなる。

【0062】

なお、本発明は、以下の態様を採用してもよい。

【0063】

（１）本実施形態では結紮縫合処置の例で説明したが、これに限らず、内視鏡カメラで行う専門的な医療処置についても適用可能である。また、患部画像をモニタを介して遠隔観察しながら手術用ロボットを用いて行う遠隔手術も専門的で、扱える医師数も少ないことから、かかる遠隔手術における各種の医療処置に対しても適用可能である。

【0064】

（２）本発明の適用範囲は医療分野に限定されず、その他の分野でも適用可能である。例えば技能乃至は技倆が要求される分野、例えば製品（作品）の作成過程に応じた各動作要素があり、これらの動作要素を経て一連の動作が終了することで製品等が完成する陶芸の分野が想定される。また、各食材に対する固有の調理を施して、最終的に目的の料理を完成させる料理実習の教材にも適用可能である。さらに、スポーツにおける各種のトレーニングにも適用可能である。

【0065】

（３）本実施形態では学習者の前方にモニタ１３を配置した態様であるが、モニタとして、身体動作の視覚的なガイダンスを実現する装置としてのビデオシースルーヘッドマウンテッドディスプレイ（VST-HMD）を採用する態様でもよい。

【0066】

（４）また、内視鏡カメラ１１５の映像をモニタ１３に導くに際して、情報処理装置２０で所定のタイムラグを設定する遅延処理を施すことで、学習者に力覚を付与でき、より臨場感のある学習が期待できる。また、映像に微分処理を行うデジタルフィルタを介在させることで、映像のエッジ強調が図れ、映像認識が向上する。

【0067】

（５）本実施形態では、手順学習から追従学習への切替を操作部１２１への指示で行う態様としたが、これに代えて、手順学習終了時点から一定時間経過で自動的に追従学習に移行するようにしてもよい。また、追従学習への移行条件として、手順学習において、各区分教材映像を全て自動切替指示で行った場合に制限するようにしてもよい。

【0068】

（６）動き検出部１１６に加えて、学習者や鉗子の動きを、例えば基端の指入れ部に指圧を図る圧力センサを取り付けて、指の動き時の力の加減を計測したり、学習者の腕等の身体適所に筋電センサ（電極板等）を取り付けて、運動時に発生する筋電位を計測することで、動きの円滑さ、スムースさ等も評価できるようにしてもよい。

【0069】

（７）本実施形態では、モニタ１３に、練習映像と、直前に再生された区分教材映像の最終フレームの静止映像とを併記表示するようにしたが、これに限定されず、操作対象物の映像、本例では鉗子の映像１１４１の先端が、区分内での最終的に辿り着くべき位置（必要に応じて向き）のみをポイント的にマーカ表示するものでもよい。あるいは、練習映像のみ表示して併記表示を行わず、例えば音声のみのガイドとしてもよい。

【0070】

（８）最終フレーム映像の表示は、モニタ１３を内視鏡カメラ１１５側に切り替えた時点から開始してもよいし、所定の条件、例えば練習の進捗状況と関連させて開始する方法でもよい。学習者の練習の進捗状況と関連させる方法としては、例えば、チェック演算を行う第１段階における判断（ステップＳ５７）よりも広い所定範囲に併記表示タイミングを設定してもよい。

【0071】

（９）併記表示する映像は静止映像の他、動画でもよい。例えば、区分教材映像の終盤の数秒程度の映像を繰り返し再生する態様でもよい。

【0072】

（１０）前記実施形態では、評価部２１６での計測、評価処理において第１、第２段階で処理したが、第１、第２段階の一方のみでもよい。また、各パラメータの対比処理、ノルム対比処理に関して説明したが、これらの評価については、以下のとおりである。すなわち、主に教材映像と実映像との測定対象部位の位置誤差ベクトルΔPが教材映像の動き出しの速度ベクトルｖと概ね同方向に揃う状態で、切替周期Tを用いて、ｖ≒ΔP／Tとなるタイミングを見計らって切り替えることが望ましい。この条件を大きく外れる場合、運動接続の錯覚による学習の促進効果は大きく損なわれる。

【0073】

（１１）またこの切り替えに際しては、例えば先願（特願２０１２−９７３２８）で示した融合感を生じる切り替え周期と位相パターンを、区分教材映像への切り替えのタイミングに適用することでさらに錯覚効果を促進させる効果を期待できる。例えば、接続時に位置誤差ベクトルΔPがある程度小さい、すなわち位置が近づいてきたところで、点滅周期すなわち切り替え周期を融合感パターンに切り替えるようにすればよい。なお、融合感パターンとしては、周波数２Ｈｚ〜４Ｈｚ、自他比率１対１〜１対３であることが好ましい。

【0074】

以上、説明したように、本発明に係る動き学習支援装置は、時間方向に区分された、動きに関する教材映像の各区分教材映像と、撮像部で撮影される、各区分教材映像の動きを真似る学習者の練習画像とを区分毎に交互にモニタに表示する動き学習支援装置において、前記学習者の動きを検出する動き検出手段と、前記区分教材映像の動きに対する前記学習者の動きを評価する評価手段と、前記評価手段による評価結果が高い場合、前記モニタを前記撮像部の画像から次の区分教材映像に切り替える第１の学習支援処理手段とを備えることが好ましい。これにより、学習者の動きが区分教材映像の動きに類似、すなわち近づいている場合、学習者の映像の動きが練習映像から次の区分教材映像につながるようにタイミング良く映像の切り替えが行われることで、学習者はあたかも自分が次の区分の動きを模範者と同様の動きで開始したかのように錯覚し、より鮮明で詳細な行動イメージとして動きを記憶に残すことができ、学習効果の一層の向上が図れる。

【0075】

また、本発明に係る動き学習支援装置において、前記第１の学習支援処理手段は、前記撮像部の画像の前記モニタへの表示中に、直前に再生した区分教材映像中の終盤の映像を併記表示することが好ましい。この構成によれば、終盤の教材映像が表示されるので、辿り位置の認識が容易となる。

【0076】

また、本発明に係る動き学習支援装置において、前記第１の学習支援処理手段は、前記撮像部の画像と前記直前の区分教材映像中の終盤の映像とを視野合成法で表示することが好ましい。この構成によれば、学習者の視点と一致して辿り位置が表示されるので、位置、タイミングが合ったとき、前記のような錯覚が誘起され、より鮮明で詳細な行動イメージとして動きを記憶に残すことができて、学習効果の一層の向上が図れるようになる。

【0077】

また、本発明に係る動き学習支援装置において、前記第１の学習支援処理手段は、前記直前の区分教材映像中の終盤の映像を前記撮像部の画像とは異なる表示形態で表示することが好ましい。この構成によれば、学習者にとって自己のライブ映像と区分教材映像とを容易に識別することが可能となる。

【0078】

また、本発明に係る動き学習支援装置において、前記第１の学習支援処理手段は、前記直前の区分教材映像中の終盤の映像を点滅表示で表示することが好ましい。この構成によれば、学習者にとって自己のライブ映像と区分教材映像とを容易に識別することが可能となる。

【0079】

また、本発明に係る動き学習支援装置において、前記第１の学習支援処理手段は、前記直前の区分教材映像中の終盤の映像を前記練習画像の表示中の所定時間から表示することが好ましい。この構成によれば、学習の最初から当該区分の終盤の辿り位置が示されるので、途中から表示が開始される場合と比べて操作が安定し、学習効果が高まる。

【0080】

また、本発明に係る動き学習支援装置において、前記直前の区分教材映像中の終盤の映像は静止画であることが好ましい。この構成によれば、区分教材映像は静止しているので、学習者にとって自己のライブ映像との識別が容易となる。

【0081】

また、本発明に係る動き学習支援装置において、前記モニタに、区分けされる前の前記教材映像と前記撮像部の撮像映像とを時分割合成して表示する第２の学習支援処理手段とを備えることが好ましい。この構成によれば、運動の誘発性が発揮され、学習効率の向上が図れる。

【0082】

また、本発明に係る動き学習支援方法は、時間方向に区分された、動きに関する教材映像の各区分教材映像と、撮像部で撮影される、各区分教材映像の動きを真似る学習者の練習画像とを区分毎に交互にモニタに表示する動き学習支援方法において、前記学習者の動きを検出することによって前記区分教材映像の動きに対する前記学習者の動きを評価し、評価結果が高い場合、前記モニタを前記撮像部の画像から次の区分教材映像に切り替えることが好ましい。これにより、学習者の動きが区分教材映像の動きに類似、すなわち近づいている場合、学習者の映像の動きが練習映像から次の区分教材映像につながるようにタイミング良く映像の切り替えが行われることで、学習者はあたかも自分が次の区分の動きを模範者と同様の動きで開始したかのように錯覚し、より鮮明で詳細な行動イメージとして動きを記憶に残すことができ、学習効果の一層の向上が図れる。

【0083】

また、本発明に係る動き学習支援方法において、前記撮像部の画像の前記モニタへの表示中に、直前に再生した区分教材映像中の終盤の映像を併記表示することが好ましい。この構成によれば、終盤の教材愛映像が表示されるので、辿り位置の認識が容易となる。

【符号の説明】

【0084】

１ 動き学習支援装置
１０ 練習台装置
１１４ 鉗子
１１５ 内視鏡カメラ（撮像部）
１１６ 動き検出部（動き検出手段）
１２１ 操作部
１３ モニタ
２０ 情報処理装置
２１ 制御部
２１１ 手順学習映像作成部（動き要素映像作成手段）
２１２ 手順学習映像表示処理部（第１の学習支援処理手段）
２１３ 追従学習映像表示処理部（第２の学習支援処理手段）
２１５ 動き情報取得部（動き検出手段）
２１６ 評価部（評価手段）
２３２ 手順学習教材記憶部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】