特許 7523765 練習支援装置、練習支援方法、プログラム及び練習支援システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-07-19

(45)【発行日】2024-07-29

(54)【発明の名称】練習支援装置、練習支援方法、プログラム及び練習支援システム

(51)【国際特許分類】

   G09B 9/00 20060101AFI20240722BHJP

   G09B 5/02 20060101ALI20240722BHJP

   G09B 5/06 20060101ALI20240722BHJP

【ＦＩ】

G09B9/00 Z

G09B5/02

G09B5/06

【請求項の数】 12

(21)【出願番号】P 2020076283

(22)【出願日】2020-04-22

(65)【公開番号】P2021173823

(43)【公開日】2021-11-01

【審査請求日】2023-04-12

(73)【特許権者】

【識別番号】516007858

【氏名又は名称】株式会社ジョリーグッド

(74)【代理人】

【識別番号】110004222

【氏名又は名称】弁理士法人創光国際特許事務所

(74)【代理人】

【識別番号】100166006

【弁理士】

【氏名又は名称】泉 通博

(74)【代理人】

【識別番号】100154070

【弁理士】

【氏名又は名称】久恒 京範

(74)【代理人】

【識別番号】100153280

【弁理士】

【氏名又は名称】寺川 賢祐

(72)【発明者】

【氏名】上路 健介

【審査官】岸 智史

(56)【参考文献】

【文献】特開２００３－００５６２３（ＪＰ，Ａ）

【文献】特開２００３－１９６６８１（ＪＰ，Ａ）

【文献】特開２００４－２４０２６４（ＪＰ，Ａ）

【文献】特開２０１６－１４８７６５（ＪＰ，Ａ）

【文献】特開２００１－０７１１４０（ＪＰ，Ａ）

【文献】特開２０１９－０１２９６５（ＪＰ，Ａ）

【文献】特開２００９－２７３５５１（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０９Ｂ １／００－９／５６

Ｇ０９Ｂ １７／００－１９／２６

Ｇ０９Ｂ ２３／００－２９／１４

(57)【特許請求の範囲】

【請求項1】

手を用いる作業を練習する練習者を支援する練習支援装置であって、
前記作業を行っている見本作業者の手の動きを示す見本画像データと、前記見本画像データに同期した、前記見本作業者の手に加わっている圧力を示す見本圧力データと、前記見本画像データに同期した第１音データと、前記見本圧力データに同期した第２音データと、を取得するデータ取得部と、
前記作業の練習をしている間の前記練習者の手の動きを特定する特定部と、
前記見本画像データと前記練習者の手の動きを示す練習画像データとが合成された合成画像データと、前記見本圧力データに対応する練習用圧力データとを、前記練習者が装着する頭部装着型表示装置及びグローブから構成される練習装置に送信するデータ送信部と、
前記第１音データと前記第２音データとに基づいて、前記合成画像データに含まれる前記見本画像データと前記練習用圧力データとを同期させる同期処理部と、
を有し、
前記データ送信部は、前記同期処理部が前記見本画像データと前記練習用圧力データとを同期させた後の前記合成画像データ及び前記練習用圧力データを前記練習装置に送信する、
練習支援装置。

【請求項2】

前記データ送信部は、前記合成画像データ及び前記練習用圧力データに同期して、前記第１音データと前記第２音データとが合成された合成音データを前記練習装置に送信する、
請求項１に記載の練習支援装置。

【請求項3】

手を用いる作業を練習する練習者を支援する練習支援装置であって、
前記作業を行っている見本作業者の手の動きを示す見本画像データと、前記見本画像データに同期した、前記見本作業者の手に加わっている圧力を示す見本圧力データと、を取得するデータ取得部と、
前記作業の練習をしている間の前記練習者の手の動きを特定する特定部と、
前記見本画像データと前記練習者の手の動きを示す練習画像データとが合成された合成画像データと、前記見本圧力データに対応する練習用圧力データとを、前記練習者が装着する頭部装着型表示装置及びグローブから構成される練習装置に送信するデータ送信部と、
を有し、
前記データ送信部は、前記練習者の手の位置と前記見本作業者の手の位置とが所定の範囲以上で一致している場合に、前記練習用圧力データを前記練習装置に送信する、
練習支援装置。

【請求項4】

手を用いる作業を練習する練習者を支援する練習支援装置であって、
前記作業を行っている見本作業者の手の動きを示す見本画像データと、前記見本画像データに同期した、前記見本作業者の手に加わっている圧力を示す見本圧力データと、を取得するデータ取得部と、
前記作業の練習をしている間の前記練習者の手の動きを特定する特定部と、
前記見本画像データと前記練習者の手の動きを示す練習画像データとが合成された合成画像データと、前記見本圧力データに対応する練習用圧力データとを、前記練習者が装着する頭部装着型表示装置及びグローブから構成される練習装置に送信するデータ送信部と、
を有し、
前記データ送信部は、前記見本作業者の手の動きに対する前記練習者の手の動きの遅延時間が所定の遅延許容時間以内であることを条件として前記練習用圧力データを前記練習装置に送信する、
練習支援装置。

【請求項5】

前記見本画像データに含まれる前記見本作業者の手の動きと、前記特定部が特定した前記練習者の手の動きとの類似度に基づいて決定した前記練習者の評価結果を出力する評価部をさらに有する、
請求項１から４のいずれか一項に記載の練習支援装置。

【請求項6】

前記評価部は、前記見本作業者の手の状態が変化するタイミングと前記練習者の手の状態が変化するタイミングとの時間差に基づいて前記評価結果を算出する、
請求項５に記載の練習支援装置。

【請求項7】

前記評価部は、所定の評価期間において前記時間差を累積した値に基づいて前記評価結果を算出する、
請求項６に記載の練習支援装置。

【請求項8】

前記評価部は、前記見本作業者の手の画像と前記練習者の手の画像とが重なった面積に基づいて前記評価結果を算出する、
請求項５から７のいずれか一項に記載の練習支援装置。

【請求項9】

前記練習装置は、前記練習者が目を覆うように装着するゴーグル型装置であり、
前記見本画像データは、前記見本作業者の上方から前記見本作業者の手の動きを撮影する撮像装置の基準方向である第１基準方向に対して所定の範囲が撮影された画像データにより構成されており、
前記データ送信部は、前記練習装置の基準方向である第２基準方向に対する前記練習装置の移動量に対応する、前記見本画像データにおける前記第１基準方向に対する方向に基づいて選択された領域の画像データを含む前記見本画像データと前記練習画像データとが合成された前記合成画像データを前記練習装置に送信する、
請求項１から８のいずれか一項に記載の練習支援装置。

【請求項10】

コンピュータが実行する、手を用いる作業を練習する練習者を支援する練習支援方法であって、
前記作業を行っている見本作業者の手の動きを示す見本画像データと、前記見本画像データに同期した、前記見本作業者の手に加わっている圧力を示す見本圧力データと、前記見本画像データに同期した第１音データと、前記見本圧力データに同期した第２音データと、を取得するステップと、
前記作業の練習をしている間の前記練習者の手の動きを特定するステップと、
前記見本画像データと前記練習者の手の動きを示す練習画像データとが合成された合成画像データと、前記見本圧力データに対応する練習用圧力データとを、前記練習者が装着する頭部装着型表示装置及びグローブから構成される練習装置に送信するステップと、
前記第１音データと前記第２音データとに基づいて、前記合成画像データに含まれる前記見本画像データと前記練習用圧力データとを同期させるステップと、
前記見本画像データと前記練習用圧力データとを同期させた後の前記合成画像データ及び前記練習用圧力データを前記練習装置に送信するステップと、
を有する練習支援方法。

【請求項11】

手を用いる作業を練習する練習者を支援するために用いられるコンピュータを、
前記作業を行っている見本作業者の手の動きを示す見本画像データと、前記見本画像データに同期した、前記見本作業者の手に加わっている圧力を示す見本圧力データと、前記見本画像データに同期した第１音データと、前記見本圧力データに同期した第２音データと、を取得するデータ取得部、
前記作業の練習をしている間の前記練習者の手の動きを特定する特定部、
前記見本画像データと前記練習者の手の動きを示す練習画像データとが合成された合成画像データと、前記見本圧力データに対応する練習用圧力データとを、前記練習者が装着する頭部装着型表示装置及びグローブから構成される練習装置に送信するデータ送信部、及び
前記第１音データと前記第２音データとに基づいて、前記合成画像データに含まれる前記見本画像データと前記練習用圧力データとを同期させる同期処理部
として機能させ、
前記データ送信部は、前記同期処理部が前記見本画像データと前記練習用圧力データとを同期させた後の前記合成画像データ及び前記練習用圧力データを前記練習装置に送信する、プログラム。

【請求項12】

手を用いる作業を練習する練習者を支援する練習支援システムであって、前記作業を行っている見本作業者の手の動きを撮像して見本画像データを作成する撮像装置と、前記見本作業者の手に加わっている圧力を示す見本圧力データを作成する見本者グローブと、前記練習者が視認可能な頭部装着型表示装置及び前記練習者が装着する練習者グローブにより構成される練習装置と、前記見本画像データ及び前記見本圧力データに基づく練習用圧力データを前記練習装置に送信する練習支援装置と、を備え、
前記練習支援装置は、
前記作業を行っている見本作業者の手の動きを示す見本画像データと、前記見本画像データに同期した、前記見本作業者の手に加わっている圧力を示す見本圧力データと、前記見本画像データに同期した第１音データと、前記見本圧力データに同期した第２音データと、を取得するデータ取得部と、
前記作業の練習をしている間の前記練習者の手の動きを特定する特定部と、
前記見本画像データと前記練習者の手の動きを示す練習画像データとが合成された合成画像データと、前記見本圧力データに対応する前記練習用圧力データとを、前記練習者が装着する頭部装着型表示装置及びグローブから構成される練習装置に送信するデータ送信部と、
前記第１音データと前記第２音データとに基づいて、前記合成画像データに含まれる前記見本画像データと前記練習用圧力データとを同期させる同期処理部と、
を有し、
前記頭部装着型表示装置は、前記合成画像データを表示し、
前記練習者グローブは、前記練習用圧力データに対応する圧力を前記練習者の手に加え、
前記データ送信部は、前記同期処理部が前記見本画像データと前記練習用圧力データとを同期させた後の前記合成画像データ及び前記練習用圧力データを前記練習装置に送信する、練習支援システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、手の動かし方の練習を支援するための練習支援装置、練習支援方法、プログラム及び練習支援システムに関する。

【背景技術】

【0002】

従来、手術の練習をするための装置が知られている。特許文献１には、手術時の鉗子の動かし方の見本を示す教材画像に、練習者が動かしている鉗子の画像を重ねて表示する技術が開示されている。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０１６－１４８７６５号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

従来の装置を用いることで、練習者は、教材画像を見ながら適切な手の動かし方を練習することができる。しかしながら、練習者は、手で操作する対象物（例えば臓器）の触感を得ることができないため、実際に作業をする場合との状況の差が大きく、練習の効果を十分に得ることができないという問題が生じていた。

【0005】

そこで、本発明はこれらの点に鑑みてなされたものであり、練習者が手を用いる作業を練習する際の環境を実際の作業環境に近づけることを目的とする。

【課題を解決するための手段】

【0006】

本発明の第１の態様の練習支援装置は、手を用いる作業を練習する練習者を支援する練習支援装置であって、前記作業を行っている見本作業者の手の動きを示す見本画像データと、前記見本画像データに同期した、前記見本作業者の手に加わっている圧力を示す見本圧力データと、を取得するデータ取得部と、前記作業の練習をしている間の前記練習者の手の動きを特定する特定部と、前記見本画像データと前記練習者の手の動きを示す練習画像データとが合成された合成画像データと、前記見本圧力データに対応する練習用圧力データとを、前記練習者が装着する頭部装着型表示装置及びグローブから構成される練習装置に送信するデータ送信部と、を有する。

【0007】

前記データ取得部は、前記見本画像データに同期した第１音データと、前記見本圧力データに同期した第２音データとをさらに取得し、前記練習支援装置は、前記第１音データと前記第２音データとに基づいて、前記合成画像データに含まれる前記見本画像データと前記練習用圧力データとを同期させる同期処理部をさらに有し、前記データ送信部は、前記同期処理部が前記見本画像データと前記練習用圧力データとを同期させた後の前記合成画像データ及び前記練習用圧力データを前記練習装置に送信してもよい。

【0008】

前記データ送信部は、前記合成画像データ及び前記練習用圧力データに同期して、前記第１音データと前記第２音データとが合成された合成音データを前記練習装置に送信してもよい。

【0009】

前記データ送信部は、前記練習者の手の位置と前記見本作業者の手の位置とが所定の範囲以上で一致している場合に、前記練習用圧力データを前記練習装置に送信してもよい。

【0010】

前記データ送信部は、前記見本作業者の手の動きに対する前記練習者の手の動きの遅延時間が所定の遅延許容時間以内であることを条件として前記練習用圧力データを前記練習装置に送信してもよい。

【0011】

前記練習支援装置は、前記見本画像データに含まれる前記見本作業者の手の動きと、前記特定部が特定した前記練習者の手の動きとの類似度に基づいて決定した前記練習者の評価結果を出力する評価部をさらに有してもよい。

【0012】

前記評価部は、前記見本作業者の手の状態が変化するタイミングと前記練習者の手の状態が変化するタイミングとの時間差に基づいて前記評価結果を算出してもよい。

【0013】

前記評価部は、所定の評価期間において前記時間差を累積した値に基づいて前記評価結果を算出してもよい。

【0014】

前記評価部は、前記見本作業者の手の画像と前記練習者の手の画像とが重なった面積に基づいて前記評価結果を算出してもよい。

【0015】

前記練習装置は、前記練習者が目を覆うように装着するゴーグル型装置であり、前記見本画像データは、前記見本作業者の上方から前記見本作業者の手の動きを撮影する撮像装置の基準方向である第１基準方向に対して所定の範囲が撮影された画像データにより構成されており、前記データ送信部は、前記練習装置の基準方向である第２基準方向に対する前記練習装置の移動量に対応する、前記見本画像データにおける前記第１基準方向に対する方向に基づいて選択された領域の画像データを含む前記見本画像データと前記練習画像データとが合成された前記合成画像データを前記練習装置に送信してもよい。

【0016】

本発明の第２の態様の練習支援方法は、コンピュータが実行する、手を用いる作業を練習する練習者を支援する練習支援方法であって、前記作業を行っている見本作業者の手の動きを示す見本画像データと、前記見本画像データに同期した、前記見本作業者の手に加わっている圧力を示す見本圧力データと、を取得するステップと、前記作業の練習をしている間の前記練習者の手の動きを特定するステップと、前記見本画像データと前記練習者の手の動きを示す練習画像データとが合成された合成画像データと、前記見本圧力データに対応する練習用圧力データとを、前記練習者が装着する頭部装着型表示装置及びグローブから構成される練習装置に送信するステップと、を有する。

【0017】

本発明の第３の態様のプログラムは、手を用いる作業を練習する練習者を支援するために用いられるコンピュータを、前記作業を行っている見本作業者の手の動きを示す見本画像データと、前記見本画像データに同期した、前記見本作業者の手に加わっている圧力を示す見本圧力データと、を取得するデータ取得部、前記作業の練習をしている間の前記練習者の手の動きを特定する特定部、及び前記見本画像データと前記練習者の手の動きを示す練習画像データとが合成された合成画像データと、前記見本圧力データに対応する練習用圧力データとを、前記練習者が装着する頭部装着型表示装置及びグローブから構成される練習装置に送信するデータ送信部、として機能させる。

【0018】

本発明の第４の態様の練習支援システムは、手を用いる作業を練習する練習者を支援する練習支援システムであって、前記作業を行っている見本作業者の手の動きを撮像して見本画像データを作成する撮像装置と、前記見本作業者の手に加わっている圧力を示す見本圧力データを作成する見本者グローブと、前記練習者が視認可能な頭部装着型表示装置及び前記練習者が装着する練習者グローブにより構成される練習装置と、前記見本画像データ及び前記見本圧力データに基づく練習用圧力データを前記練習装置に送信する練習支援装置と、を備え、前記練習支援装置は、前記作業を行っている見本作業者の手の動きを示す見本画像データと、前記見本画像データに同期した、前記見本作業者の手に加わっている圧力を示す見本圧力データと、を取得するデータ取得部と、前記作業の練習をしている間の前記練習者の手の動きを特定する特定部と、前記見本画像データと前記練習者の手の動きを示す練習画像データとが合成された合成画像データと、前記見本圧力データに対応する前記練習用圧力データとを、前記練習者が装着する頭部装着型表示装置及びグローブから構成される練習装置に送信するデータ送信部と、を有し、前記頭部装着型表示装置は、前記合成画像データを表示し、前記練習者グローブは、前記練習用圧力データに対応する圧力を前記練習者の手に加える。

【発明の効果】

【0019】

本発明によれば、練習者が手を用いる作業を練習する際の環境を実際の作業環境に近づけることができるという効果を奏する。

【図面の簡単な説明】

【0020】

【図1】練習支援システムの概要を説明するための図である。

【図2】練習支援システムにおけるデータの処理の概要を示す図である。

【図3】練習支援装置の構成を示す図である。

【図4】合成処理部が合成画像データを作成する方法について説明するための図である。

【図5】練習支援装置における処理の流れを示すフローチャートである。

【図6】練習支援装置として機能する頭部装着型表示装置の構成を示す図である。

【発明を実施するための形態】

【0021】

［練習支援システムＳの概要］
図１は、練習支援システムＳの概要を説明するための図である。練習支援システムＳは、手を用いる作業を練習する練習者Ｕを支援するためのシステムである。練習支援システムＳは、外科医、ものづくり職人、工場技術者、調理師及び菓子職人のような手を用いる作業を行う見本作業者Ｔの手の動きに倣って、練習者Ｕが正しい手の動かし方を練習することを支援するために用いられる。本実施形態においては、作業が外科手術であり、見本作業者Ｔが経験豊富な医師であり、練習者Ｕが経験の浅い医師である場合を例にして説明するが、練習支援システムＳは任意の手作業の練習に用いることができる。

【0022】

図１に示すように、練習支援システムＳは、撮像装置１と、グローブ２と、練習支援装置３と、頭部装着型表示装置４と、グローブ５とを備える。頭部装着型表示装置４及びグローブ５は、練習者Ｕが手作業の練習をするために用いる練習装置を構成する。撮像装置１及びグローブ２、並びに頭部装着型表示装置４及びグローブ５は、ネットワークＮを介して練習支援装置３との間で各種のデータを送受信する。

【0023】

撮像装置１は、作業を行っている見本作業者Ｔの上方から見本作業者Ｔの手の動きを撮影して見本画像データを作成する。撮像装置１は、例えば３６０度の方向を撮影できる３６０度カメラである。撮像装置１は、例えば手術台の上方における、見本作業者Ｔの目の位置の近傍（例えば、目の高さと同じ高さで、見本作業者Ｔの前方の位置）に設置されており、見本作業者Ｔの手が動く範囲の動画を含む見本画像データを作成する。

【0024】

撮像装置１は、撮像部の位置と見本作業者Ｔの手の位置との関係が、練習者Ｕが装着した状態における頭部装着型表示装置４のディスプレイの位置と練習者Ｕの手の位置との位置関係と同等になるように、設置位置を調整可能であってもよい。また、撮像装置１は、音を収集するマイクロフォンを有しており、収集した音に対応する第１音データを作成する。撮像装置１は、作成した見本画像データ及び第１音データを練習支援装置３に送信する。

【0025】

見本画像データは、例えば、撮像装置１の基準方向である第１基準方向に対して所定の範囲が撮影された画像データにより構成されている。第１基準方向は、例えば見本作業者Ｔと手術台の中央位置とを結ぶ方向である。

【0026】

グローブ２は、見本作業者Ｔが手に装着している見本者グローブ（手袋）である。グローブ２は、圧力センサーを有しており、見本作業者Ｔの手に加わっている圧力（すなわち見本作業者Ｔの触感）を示す見本圧力データを作成する。グローブ２は、例えばそれぞれの指の先端付近に設けられた複数の圧力センサーを有しており、それぞれの指に関連付けられた圧力データを含む見本圧力データを作成する。グローブ２は、作成した見本圧力データを練習支援装置３に送信する。

【0027】

グローブ２は、音を収集するマイクロフォンを有しており、収集した音に対応する第２音データを作成してもよい。グローブ２は、作成した第２音データを練習支援装置３に送信する。グローブ２の代わりに、見本作業者Ｔの手の付近に設けられたマイクロフォンが第２音データを練習支援装置３に送信してもよい。グローブ２が温度センサーを有しており、温度を示す温度データを練習支援装置３に送信してもよい。

【0028】

練習支援装置３は、例えばコンピュータであり、撮像装置１から受信した見本画像データ及びグローブ２から受信した見本圧力データに基づいて、練習者Ｕの練習を支援するための各種のデータを作成する。練習支援装置３は、例えば、見本画像データと練習者Ｕの手の位置及び動きを示す練習画像データとが合成された合成画像データを作成する。また、練習支援装置３は、見本圧力データに基づいて、合成画像データと同期した練習用圧力データを作成する。練習支援装置３は、合成画像データを頭部装着型表示装置４に送信し、練習用圧力データをグローブ５に送信する。

【0029】

頭部装着型表示装置４は、練習者が画面を視認可能なディスプレイを有する装置である。頭部装着型表示装置４の形態は任意であるが、頭部装着型表示装置４は、例えば練習者Ｕが目を覆うように装着できるゴーグル型のディスプレイ又は眼鏡型のディスプレイである。頭部装着型表示装置４は、練習支援装置３から受信した合成画像データを表示する。また、頭部装着型表示装置４は、練習者Ｕの手の動きが評価された結果を表示する。

【0030】

グローブ５は、練習者が手に装着する練習者グローブである。グローブ５は、練習者の手の各部の動きを検出するセンサー（例えば加速度センサー）を有しており、基準位置に対する手の各部の位置を示す練習画像データを練習支援装置３に送信する。また、グローブ５は、練習支援装置３から受信した練習用圧力データに基づいて形状を変化させたり移動したりすることにより練習者Ｕの手に圧力、振動又は熱を加えるハプティックスデバイスを有する。練習者Ｕは、グローブ５を介して、見本作業者Ｔの手に加わった圧力、振動又は温度を感じることができる。

【0031】

図２は、練習支援システムＳにおけるデータの処理の概要を示す図である。以下、図１及び図２を参照しながら、練習支援システムＳにおけるデータの処理の概要を説明する。

【0032】

まず、撮像装置１及びグローブ２は、ネットワークＮを介して、見本画像データ及び見本圧力データを練習支援装置３に送信する（図１の（１））。撮像装置１は、見本画像データに同期した状態で、撮像装置１が収集した音を示す第１音データを送信し、グローブ２は、見本圧力データに同期した状態で、グローブ２が収集した音を示す第２音データを送信する。

【0033】

練習支援装置３は、見本画像データと見本圧力データとを同期させる（図１の（２））。具体的には、まず、練習支援装置３は、第１音データの波形と第２音データの波形が一致するように第１音データ又は第２音データのタイミングをずらすことにより、図２に示すように、第１音データのタイミングと第２音データのタイミングとを一致させる。見本画像データは第１音データに同期しており、見本圧力データは第２音データに同期しているので、練習支援装置３は第１音データと第２音データとを同期させることにより、見本画像データと見本圧力データとを同期させることができる。

【0034】

練習支援装置３が見本画像データと見本圧力データとを同期させる処理と並行して、練習支援装置３は、練習者Ｕの手の各部の位置を示す位置データを取得する（図１の（３））。練習支援装置３は、位置データに基づいて、練習者Ｕの手の動きを特定し、特定した手の動きを示す練習画像データを作成する。位置データは、例えばグローブ５が有する加速度センサーが検出した加速度に基づいて特定されたグローブ５の位置を示すデータであるが、頭部装着型表示装置４が有するカメラが生成した撮像画像に含まれるグローブ５の位置を示すデータであってもよい。

【0035】

練習支援装置３は、作成した練習画像データを見本画像データと合成することにより合成画像データを作成する（図１の（４））。この際、練習支援装置３は、合成画像データの作成に要する時間だけ見本圧力データを遅延させた練習用圧力データを作成し、合成画像データと練習用圧力データとを同期させた状態で送信する（図１の（５））。

【0036】

練習支援装置３は、見本画像データに含まれる見本作業者Ｔの手の位置と位置データが示す練習者Ｕの手の位置との関係により、練習者Ｕの手の動かし方を評価する。練習支援装置３は、評価結果を示す情報をさらに頭部装着型表示装置４に送信する。頭部装着型表示装置４は、受信した合成画像データ及び評価結果を表示する。グローブ５は、受信した練習用圧力データに対応する圧力を練習者Ｕの手に加える。グローブ５は、グローブ２が練習支援装置３に送信した温度データに対応する熱を練習者Ｕの熱に加えてもよい。

【0037】

練習支援システムＳがこのように動作することで、練習者Ｕは、見本作業者Ｔの手の動きを見るとともに見本作業者Ｔが手で触れた対象物の形状、硬さ又は温度等を感じながら自身の手を動かして、手の動かし方の評価結果のフィードバックを得ることができるので、効果的に練習することができる。以下、練習支援装置３の構成及び動作を詳細に説明する。

【0038】

［練習支援装置３の構成及び動作］
図３は、練習支援装置３の構成を示す図である。練習支援装置３は、通信部３１と、記憶部３２と、制御部３３とを有する。制御部３３は、データ取得部３３１と、同期処理部３３２と、特定部３３３と、合成処理部３３４と、評価部３３５と、データ送信部３３６とを有する。

【0039】

通信部３１は、ネットワークＮを介して撮像装置１、グローブ２、頭部装着型表示装置４及びグローブ５との間で各種のデータを送受信するための通信コントローラを含む。通信部３１は、ネットワークＮを介して受信したデータをデータ取得部３３１に入力する。通信部３１は、データ送信部３３６から入力されたデータをネットワークＮに向けて送信する。

【0040】

記憶部３２は、各種のデータを記憶する記憶媒体として、例えばＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）及びハードディスクを含む。記憶部３２は、撮像装置１から受信した見本画像データ、グローブ２から受信した見本圧力データ、及びグローブ５から受信した位置データを一時的に記憶する。また、記憶部３２は、制御部３３が実行するプログラムを記憶する。

【0041】

制御部３３は、例えばＣＰＵ（Central Processing Unit）を含む。制御部３３は、記憶部３２に記憶されたプログラムを実行することにより、データ取得部３３１、同期処理部３３２、特定部３３３、合成処理部３３４、評価部３３５及びデータ送信部３３６として機能する。

【0042】

データ取得部３３１は、通信部３１を介して、作業を行っている見本作業者である見本作業者Ｔの手の動きを示す見本画像データと、見本画像データに同期した、見本作業者Ｔの手に加わっている圧力を示す圧力データと、を取得する。また、データ取得部３３１は、通信部３１を介して、見本画像データに同期した第１音データと、圧力データに同期した第２音データとをさらに取得する。データ取得部３３１は、取得した見本画像データ、圧力データ、第１音データ及び第２音データを同期処理部３３２に入力する。

【0043】

さらに、データ取得部３３１は、通信部３１を介して、練習者Ｕの手の各部の位置を示す位置データを頭部装着型表示装置４又はグローブ５から取得する。データ取得部３３１は、取得した位置データを特定部３３３に入力する。位置データには、例えば、左右のグローブ５のいずれか一方の基準位置を原点とする左右のグローブ５の複数の位置の座標データが含まれる。基準位置は、例えば、練習者Ｕが練習を開始した時点（以下、「練習開始時点」という。）における左手に装着されたグローブ５の手首の左端に対応する位置である。

【0044】

練習開始時点は、例えば、練習者Ｕが頭部装着型表示装置４に表示された所定の位置（例えば「練習開始」アイコン）を視認したことを頭部装着型表示装置４が検出した時点である。データ取得部３３１は、練習開始時点において、練習が開始されたことを示す情報を頭部装着型表示装置４から取得し、取得した情報を合成処理部３３４に通知してもよい。

【0045】

同期処理部３３２は、データ取得部３３１から入力された第１音データと第２音データとに基づいて、見本画像データと見本圧力データとを同期させる。具体的には、図２を参照しながら説明したように、同期処理部３３２は、まず、第１音データの波形と第２音データの波形が一致するように第１音データ又は第２音データのタイミングをずらすことにより、第１音データのタイミングと第２音データのタイミングとを一致させる。

【0046】

同期処理部３３２は、第１音データのタイミングと第２音データのタイミングとを一致させた状態で、第１音データに同期した見本画像データと第２音データに同期した見本圧力データとを関連付けることにより、見本画像データと圧力データとを同期させる。同期処理部３３２は、同期させた後の見本画像データ及び見本圧力データを合成処理部３３４に入力する。

【0047】

特定部３３３は、作業の練習をしている間の練習者の手の動きを特定する。具体的には、特定部３３３は、データ取得部３３１から入力された位置データに含まれる複数の座標データに基づいて、基準位置に対するグローブ５の各部の位置の変化を特定することにより、練習者の手の動きを特定し、特定した手の動きを示す練習画像データを作成する。特定部３３３は、作成した練習画像データを合成処理部３３４に入力する。

【0048】

合成処理部３３４は、同期処理部３３２から入力された見本画像データと、特定部３３３から入力された練習画像データとが合成された合成画像データを作成する。合成処理部３３４は、例えば、データ取得部３３１から通知された練習開始時点において見本画像データにおける左手のグローブ２の手首の左端を見本画像データにおける見本基準位置として、見本基準位置が練習画像データの基準位置と一致するように、見本画像データと練習画像データとを合成する。合成処理部３３４は、作成した合成画像データを評価部３３５及びデータ送信部３３６に入力する。

【0049】

また、合成処理部３３４は、第１音データと第２音データとを合成した合成音データを作成する。合成処理部３３４は、作成した合成音データをデータ送信部３３６に入力する。さらに、合成処理部３３４は、同期処理部３３２から取得した見本圧力データをデータ送信部３３６に入力する。

【0050】

図４は、合成処理部３３４が合成画像データを作成する方法について説明するための図である。図４（ａ）は、見本画像データと練習画像データとが合成される前の見本画像データを示しており、見本作業者Ｔの左手に装着されているグローブ２Ｌと右手に装着されているグローブ２Ｒとを示す画像（斜線の領域）が含まれている。図４（ａ）における左側のグローブ２Ｌの左下の位置が見本基準位置となっている。

【0051】

図４（ｂ）は、練習開始時点における合成画像データである。当該合成画像データにおいては、グローブ２Ｌの見本基準位置とグローブ５Ｌの基準位置とが一致するようにグローブ２の画像及びグローブ５の画像が合成されている。

【0052】

図４（ｃ）は、練習開始時点から時間が経過した後の合成画像データの一例である。当該合成画像データにおいては、グローブ２Ｌ、グローブ２Ｒ、グローブ５Ｌ及びグローブ５Ｒの形状及び位置が、図４（ｂ）に示した形状及び位置から変化している。このように、合成処理部３３４は、時間の経過とともに変化する見本作業者Ｔの手の動きを示す画像と練習者Ｕの手の動きを示す画像とが重なった合成画像データを作成する。

【0053】

評価部３３５は、見本画像データに含まれる見本作業者Ｔの手の動きと、特定部３３３が特定した練習者Ｕの手の動きとの類似度に基づいて決定した練習者Ｕの評価結果を出力する。評価結果は、例えば、図４（ｃ）に表示されているように、総合評価点とともに、手の動かし方のタイミング、手の形、手を動かす強さ及びミスの回数の少なくともいずれかを含む。評価部３３５は、例えば、見本作業者Ｔの手の状態が変化するタイミングと練習者Ｕの手の状態が見本作業者Ｔの手の状態と同様に変化するタイミングとの時間差に基づいて評価結果を算出する。評価部３３５は、時間差が小さければ小さいほど評価結果を高くする。

【0054】

評価部３３５は、所定の評価期間において時間差を累積した値に基づいて評価結果を算出してもよい。所定の評価期間は、一時的な手の動きの変化が評価結果に与える影響を軽減することができる期間であり、例えば５秒である。評価部３３５は、時間差の累積値が小さければ小さいほど評価結果を高くする。

【0055】

評価部３３５は、見本作業者Ｔの手の画像と練習者Ｕの手の画像とが重なった面積に基づいて評価結果を算出してもよい。評価部３３５は、合成処理部３３４から入力された合成画像データに含まれるグローブ２Ｌ及びグローブ２Ｒを示す画像の第１領域と、グローブ５Ｌ及びグローブ５Ｒを示す画像の第２領域とを比較する。評価部３３５は、第１領域と第２領域とが重なっている重複領域の面積が大きい場合に、当該面積が小さい場合よりも良い評価結果を出力する。

【0056】

評価部３３５は、グローブ２Ｌ及びグローブ２Ｒにおける指の領域を第１領域とし、グローブ５Ｌ及びグローブ５Ｒにおける指の領域を第２領域としてもよい。評価部３３５が指の領域の重複度合いによって練習者Ｕを評価することにより、指の動かし方が適切かどうかを練習者Ｕが把握しやすくなる。

【0057】

評価部３３５は、第１領域又は第２領域の面積に対する重複領域の面積の割合が大きければ大きいほど良い評価結果を出力してもよい。評価部３３５は、合成画像データを用いる代わりに、同期処理部３３２から取得した見本画像データと特定部３３３から取得した練習画像データとに基づいて評価結果を出力してもよい。評価部３３５は、データ送信部３３６を介して、頭部装着型表示装置４又はその他の外部装置に評価結果を出力する。

【0058】

データ送信部３３６は、通信部３１を介して、見本画像データと練習者の手の動きを示す練習画像データとが合成された合成画像データと、見本圧力データに対応する練習用圧力データとを、練習者が装着する頭部装着型表示装置４及びグローブ５から構成される練習装置に送信する。データ送信部３３６は、同期処理部３３２が見本画像データと練習用圧力データとを同期させた後の合成画像データ及び練習用圧力データを練習装置に送信する。練習用圧力データは、見本圧力データと実質的に同じ圧力を示し、合成画像データに同期したデータである。

【0059】

データ送信部３３６は、評価部３３５から入力された評価結果をさらに練習装置に送信してもよい。データ送信部３３６は、例えば合成画像データ及び評価結果を頭部装着型表示装置４に送信し、練習用圧力データをグローブ５に送信する。頭部装着型表示装置４は、受信した合成画像データ及び評価結果を図４（ｃ）のような態様でディスプレイに表示し、グローブ５は、練習用圧力データに対応する圧力を練習者Ｕが感じるように、グローブ５が有するハプティックスデバイスを動作させる。データ送信部３３６は、合成画像データ、評価結果、及び練習用圧力データを頭部装着型表示装置４に送信し、頭部装着型表示装置４が練習用圧力データに基づいてグローブ５のハプティックスデバイスを制御してもよい。

【0060】

練習者Ｕは、このような合成画像データ及び評価結果を見ながら練習をすることで、評価点が高くなるように手の動かし方を改善することができる。また、練習者Ｕは、合成画像データに同期して見本作業者Ｔが感じている圧力と同じ圧力を感じることができるので、見本作業者Ｔの手の触感を体験しながら手の動かし方を練習することができる。

【0061】

データ送信部３３６は、合成画像データ及び練習用圧力データに同期して、第１音データと第２音データとが合成された合成音データを練習装置に送信してもよい。例えば頭部装着型表示装置４が、受信した合成音データをスピーカから出力することにより、練習者Ｕは、見本作業者Ｔが作業をしている場所で聞こえている音を聞きながら手を動かす練習をすることができるので、より臨場感がある練習をすることができる。

【0062】

データ送信部３３６は、練習者Ｕの手の位置と見本作業者Ｔの手の位置とが所定の範囲以上で一致している場合に、練習用圧力データを練習装置に送信してもよい。所定の範囲は、練習者Ｕの手の位置においても見本作業者Ｔと同じ触感を得られる蓋然性が十分に高いと判定し得る範囲である。

【0063】

データ送信部３３６は、例えば、図４（ｂ）に示す例のように、練習者Ｕの手の位置と見本作業者Ｔの手の位置とが重なっている重複領域の面積が面積閾値未満である場合に練習用圧力データを練習装置に送信せず、図４（ｃ）に示す例のように、重複領域の面積が面積閾値以上である場合に練習用圧力データを練習装置に送信する。データ送信部３３６がこのように動作することで、練習者Ｕの手の位置が、見本作業者Ｔが得ている触感を得られる位置である場合に、見本作業者Ｔが得ている触感を練習者Ｕが体験できる。したがって、練習者Ｕが適切な動きをできているかどうかを手の触感により把握することができるので、練習効果が高まる。

【0064】

データ送信部３３６は、見本作業者Ｔの手の動きに対する練習者Ｕの手の動きの遅延時間が所定の遅延許容時間以内であることを条件として練習用圧力データを練習装置に送信してもよい。データ送信部３３６は、例えば見本作業者Ｔの手の形状が変化してから、同じ形状に練習者Ｕの手の形状が変化するまでの遅延時間を計測し、計測した遅延時間が遅延許容時間以内である場合に練習用圧力データを送信し、遅延時間が遅延許容時間よりも大きい場合に練習用圧力データを送信しない。データ送信部３３６がこのように動作することで、練習者Ｕは、手の動きに合った圧力を感じることができるので、違和感を抱くことなく練習をすることができる。

【0065】

データ送信部３３６は、見本画像データにおける一部の領域を含む合成画像データを頭部装着型表示装置４に送信してもよい。この場合、データ送信部３３６は、まず、頭部装着型表示装置４の基準方向である第２基準方向に対する頭部装着型表示装置４の移動量に対応する、見本画像データにおける第１基準方向に対する方向に基づいて、送信する対象となる一部の領域を選択する。データ送信部３３６は、選択した領域の画像データを含む見本画像データと練習画像データとが合成された合成画像データを頭部装着型表示装置４に送信する。

【0066】

第２基準方向は、練習者Ｕが練習を開始するための操作をした時点の頭部装着型表示装置４の方向である。練習開始時点から、頭部装着型表示装置４は、内蔵する加速度センサーにより頭部装着型表示装置４の方向（すなわち練習者Ｕの顔の向き）を監視することにより、第２基準方向に対する頭部装着型表示装置４の移動量を特定し、特定した移動量を練習支援装置３に送信する。データ取得部３３１は、頭部装着型表示装置４から取得した移動量をデータ送信部３３６に通知し、合成処理部３３４は、見本画像データのうち、取得した移動量に基づいて特定した方向に対応する領域の画像データを練習画像データと合成することにより合成画像データを作成する。

【0067】

データ送信部３３６がこのような合成画像データを頭部装着型表示装置４に送信することで、頭部装着型表示装置４は、頭部装着型表示装置４の方向に対応する領域の見本画像データを表示することができる。したがって、練習者Ｕは、自身が顔を動かした場合に、顔の向きに対応する見本画像データを視認することができる。このように練習者Ｕは、あたかも自身が見本作業者Ｔが立っている位置で作業をしているかのような臨場感がある画像を見ながら練習できるので、高い練習効果を得ることができる。

【0068】

［練習支援装置３における処理の流れ］
図５は、練習支援装置３における処理の流れを示すフローチャートである。図５に示すフローチャートは、頭部装着型表示装置４が、練習者Ｕが練習を開始するための操作を受け付けた練習開始時点から開始している。

【0069】

データ取得部３３１は、練習者Ｕが練習を開始したという通知を頭部装着型表示装置４から受けると、見本画像データ及び見本圧力データの取得を開始する（Ｓ２１）。同期処理部３３２は、取得された見本画像データと見本圧力データとを同期させる（Ｓ２２）。

【0070】

Ｓ２１及びＳ２２の処理と並行して、データ取得部３３１は、練習者の手の動きを示す位置データを頭部装着型表示装置４又はグローブ５から取得する（Ｓ２３）。特定部３３３は、位置データに基づいて、練習者Ｕの手の動きを示す練習画像データを作成する（Ｓ２４）。合成処理部３３４は、見本画像データと練習画像データとが合成された合成画像データを作成し、データ送信部３３６が合成画像データを頭部装着型表示装置４に送信する（Ｓ２５）。

【0071】

データ送信部３３６は、合成画像データの送信と並行して、練習用圧力データを頭部装着型表示装置４に送信し（Ｓ２６）、合成音データを頭部装着型表示装置４に送信する（Ｓ２７）。練習支援装置３は、データ取得部３３１が、練習を終了するという通知を頭部装着型表示装置４から取得するまでの間（Ｓ２８においてＮＯ）、Ｓ２１からＳ２７までの処理を繰り返す。

【0072】

［第１変形例］
以上の説明においては、練習支援装置３がコンピュータにより構成されており、練習支援装置３が合成画像データ、合成音データ及び練習用圧力データを作成し、作成したこれらのデータを頭部装着型表示装置４又はグローブ５に送信する場合を例示した。しかしながら、練習支援装置３の態様はこれに限らず、頭部装着型表示装置４又はグローブ５が練習支援装置３の機能を有していてもよい。

【0073】

図６は、練習支援装置として機能する頭部装着型表示装置４の構成を示す図である。図６に示す頭部装着型表示装置４は、通信部４１と、ディスプレイ４２と、スピーカ４３と、記憶部４４と、制御部４５とを有する。制御部４５は、データ取得部４５１と、同期処理部４５２と、特定部４５３と、合成処理部４５４と、評価部４５５とを有する。

【0074】

通信部４１は、撮像装置１及びグローブ２と各種のデータを送受信するための通信インターフェースである。ディスプレイ４２は、合成画像データ及び評価結果を表示する。スピーカ４３は、合成音データに基づく合成音を出力する。

【0075】

記憶部４４は、例えばＲＯＭ及びＲＡＭを有しており、制御部４５が実行するプログラムを記憶している。また、記憶部４４は、合成画像データ及び合成音データ等の各種のデータを一時的に記憶する。

【0076】

制御部４５は、例えばＣＰＵを有しており、記憶部４４に記憶されたプログラムを実行することにより、データ取得部４５１、同期処理部４５２、特定部４５３、合成処理部４５４、及び評価部４５５として機能する。データ取得部４５１、同期処理部４５２、特定部４５３、合成処理部４５４及び評価部４５５のそれぞれは、図３に示したデータ取得部３３１、同期処理部３３２、特定部３３３、合成処理部３３４及び評価部３３５に対応する。

【0077】

合成処理部４５４は、作成した合成画像データに基づく画像をディスプレイ４２に表示させ、合成音データに基づく音をスピーカ４３に出力させ、練習用圧力データをグローブ５に送信する。このように頭部装着型表示装置４が練習支援装置３の機能を有する場合、練習支援装置３がない場合であっても、練習者Ｕは練習支援装置３がある場合と同等の練習をすることができる。

【0078】

［第２変形例］
以上の説明においては、見本作業者Ｔが作業をしている間に合成画像データが頭部装着型表示装置４に表示される場合を例示したが、合成処理部３３４又は合成処理部４５４が、予め作成された見本画像データと練習画像データとを合成して合成画像データを作成してもよい。このようにすることで、練習者Ｕは、見本作業者Ｔが作業をしている間に限らず、任意の時間において、見本画像データを見ながら練習を繰り返すことができる。

【0079】

［練習支援システムＳによる効果］
以上説明したように、練習支援システムＳにおいては、練習支援装置３又は頭部装着型表示装置４が、見本画像データと練習者Ｕの手の動きを示す練習画像データとが合成された合成画像データを頭部装着型表示装置４に表示させ、見本圧力データに対応する練習用圧力データをグローブ５に送信する。練習支援システムＳがこのように動作することで、練習者Ｕが手を用いる作業を練習する際の環境を実際の作業環境に近づけることができるので、練習効果を高めることができる。

【0080】

特に、練習支援システムＳにおいては、撮像装置１の撮像部の位置と見本作業者Ｔの手の位置との関係が、頭部装着型表示装置４の表示部の位置と練習者Ｕの手の位置との関係と同等である。したがって、頭部装着型表示装置４を装着した練習者Ｕが、撮像装置１で作成された見本画像データを視認することで、見本作業者Ｔと同等の状態を体験することができるので、練習支援システムＳは、高い練習効果を提供することができる。

【0081】

以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されず、その要旨の範囲内で種々の変形及び変更が可能である。例えば、装置の全部又は一部は、任意の単位で機能的又は物理的に分散・統合して構成することができる。また、複数の実施の形態の任意の組み合わせによって生じる新たな実施の形態も、本発明の実施の形態に含まれる。組み合わせによって生じる新たな実施の形態の効果は、もとの実施の形態の効果を併せ持つ。

【符号の説明】

【0082】

１ 撮像装置
２ グローブ
３ 練習支援装置
４ 頭部装着型表示装置
５ グローブ
３１ 通信部
３２ 記憶部
３３ 制御部
４１ 通信部
４２ ディスプレイ
４３ スピーカ
４４ 記憶部
４５ 制御部
３３１ データ取得部
３３２ 同期処理部
３３３ 特定部
３３４ 合成処理部
３３５ 評価部
３３６ データ送信部
４５１ データ取得部
４５２ 同期処理部
４５３ 特定部
４５４ 合成処理部
４５５ 評価部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】