(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023122405
(43)【公開日】2023-09-01
(54)【発明の名称】提示装置及びプログラム
(51)【国際特許分類】
G09B 19/00 20060101AFI20230825BHJP
G06F 3/01 20060101ALI20230825BHJP
A63B 69/00 20060101ALI20230825BHJP
【FI】
G09B19/00 Z
G06F3/01 570
A63B69/00 A
【審査請求】未請求
【請求項の数】6
【出願形態】OL
(21)【出願番号】P 2022026084
(22)【出願日】2022-02-22
【国等の委託研究の成果に係る記載事項】(出願人による申告)令和3年度、国立研究開発法人科学技術振興機構、ムーンショット型研究開発事業「身体融合における意図調停と身体反応制御技術の開発」委託研究、産業技術力強化法第17条の適用を受ける特許出願
(71)【出願人】
【識別番号】504171134
【氏名又は名称】国立大学法人 筑波大学
(74)【代理人】
【識別番号】100165179
【弁理士】
【氏名又は名称】田▲崎▼ 聡
(74)【代理人】
【識別番号】100188558
【弁理士】
【氏名又は名称】飯田 雅人
(74)【代理人】
【識別番号】100175824
【弁理士】
【氏名又は名称】小林 淳一
(74)【代理人】
【識別番号】100152272
【弁理士】
【氏名又は名称】川越 雄一郎
(74)【代理人】
【識別番号】100181722
【弁理士】
【氏名又は名称】春田 洋孝
(72)【発明者】
【氏名】大澤 博隆
(72)【発明者】
【氏名】岨野 太一
【テーマコード(参考)】
5E555
【Fターム(参考)】
5E555AA26
5E555AA64
5E555AA76
5E555BA22
5E555BA38
5E555BB20
5E555BB22
5E555BB38
5E555BC04
5E555BE08
5E555BE09
5E555CA29
5E555CA42
5E555CB66
5E555CC05
5E555DA01
5E555DB53
5E555DB56
5E555DC09
5E555DC13
5E555DC21
5E555DD06
5E555DD07
5E555EA22
5E555FA00
(57)【要約】
【課題】提示部が提示する利用者の動作が、基準動作と乖離していることを提示されないようにしつつ、自己主体感を利用者に与える。
【解決手段】提示装置は、利用者に提示される基準動作が行われる基準空間内における、提示者による前記基準動作の特徴点の軌跡であって、前記利用者の動作に依存せずに予め定められた軌跡である基準軌跡を示す基準軌跡情報を取得する基準軌跡取得部と、前記基準動作に応じた前記利用者の動作における前記利用者の特徴点の位置座標を取得する動作取得部と、前記基準軌跡取得部が取得する前記基準軌跡情報と、前記動作取得部が取得する前記特徴点の位置座標とに基づいて、前記位置座標に対応する前記基準軌跡上の位置を近傍点として算出する算出部と、前記算出部が算出する前記近傍点に対応する前記基準空間内の位置の状態を前記利用者に提示する提示部と、を備える。
【選択図】
図1
【特許請求の範囲】
【請求項1】
利用者に提示される基準動作が行われる基準空間内における、提示者による前記基準動作の特徴点の軌跡であって、前記利用者の動作に依存せずに予め定められた軌跡である基準軌跡を示す基準軌跡情報を取得する基準軌跡取得部と、
前記基準動作に応じた前記利用者の動作における前記利用者の特徴点の位置座標を取得する動作取得部と、
前記基準軌跡取得部が取得する前記基準軌跡情報と、前記動作取得部が取得する前記特徴点の位置座標とに基づいて、前記位置座標に対応する前記基準軌跡上の位置を近傍点として算出する算出部と、
前記算出部が算出する前記近傍点に対応する前記基準空間内の位置の状態を前記利用者に提示する提示部と、
を備える提示装置。
【請求項2】
前記算出部は、
前記利用者の特徴点の位置座標と前記基準軌跡との間の距離に基づいて、前記近傍点を算出する
請求項1に記載の提示装置。
【請求項3】
前記算出部は、
前記距離が所定距離以下となる前記基準軌跡上の位置が複数ある場合に、前記動作取得部が取得した前記位置座標の履歴に基づいて、前記近傍点を算出する
請求項2に記載の提示装置。
【請求項4】
前記算出部は、
前記動作取得部が取得する前記特徴点の位置座標が時間変化して、時刻ごとの前記位置座標に対応する前記近傍点を順次算出する場合において、
前記基準軌跡上の位置のうち、算出済みの前記近傍点よりも時刻が新しい位置を前記近傍点の算出対象とする
請求項1から請求項3のいずれか一項に記載の提示装置。
【請求項5】
前記提示部は、
算出部が算出する前記近傍点と前記位置座標との間の中間位置における前記基準空間内の状態を、前記近傍点に対応する位置の状態として、前記利用者に提示する、
請求項1から請求項4のいずれか一項に記載の提示装置。
【請求項6】
提示装置が備えるコンピュータに、
利用者に教示される基準動作における、提示者の特徴点の空間内の軌跡であって、前記利用者の動作に依存せずに予め定められた軌跡である基準軌跡を示す基準軌跡情報を取得することと、
前記基準動作に応じた前記利用者の動作における前記利用者の特徴点の位置座標を取得することと、
取得された前記基準軌跡情報と前記特徴点の位置座標とに基づいて、前記位置座標に対応する前記基準軌跡上の位置を近傍点として算出することと、
算出された前記近傍点に対応する前記空間内の位置の状態を前記利用者に提示することと、
を実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、提示装置及びプログラムに関する。
【背景技術】
【0002】
従来、例えば、遠隔操作を行う場合に、動作主体(例えば、ロボット)の動作を、操作主体(例えば、ロボットの操作者)に提示して、操作主体による操作を支援するシステムが提案されている(例えば、特許文献1)。
【先行技術文献】
【特許文献】
【0003】
【発明の概要】
【発明が解決しようとする課題】
【0004】
このような、遠隔操作を支援するシステムは、家事や手工業などへの遠隔地からの介入の他にも、例えば、スポーツ、ゲーム、リハビリテーションなどにおける基準動作(例えば、模範演技)提示用のシステムにも適用できる。このような提示用システムに適用した場合、例えば、インストラクターと利用者とが互いに遠隔地にいる場合などにおいて、インストラクターの動作を利用者に提示すれば、利用者の能力向上を支援することができる。
一例として、利用者(例えば、リハビリテーションを受ける利用者)は、提示者(例えば、リハビリテーションのインストラクター)が行う基準動作の通りに動作しようとする。しかしながら、利用者の状況によっては、利用者が基準動作の通りに動作できない場合がある。この場合、利用者の動作結果をそのまま利用者に提示すると、利用者の動作と基準動作との乖離がそのまま利用者に提示されることになり、好ましくない。
【0005】
本発明は上記の点に鑑みてなされたものであり、提示部が提示する利用者の動作が、基準動作と乖離していることを提示されないようにしつつ、利用者自身の内発的な運動によって利用者が自分自身で行っているという感覚(すなわち、自己主体感)を利用者に与えることができる提示装置及びプログラムを提供する。
【課題を解決するための手段】
【0006】
本発明の一実施形態は、利用者に提示される基準動作が行われる基準空間内における、提示者による前記基準動作の特徴点の軌跡であって、前記利用者の動作に依存せずに予め定められた軌跡である基準軌跡を示す基準軌跡情報を取得する基準軌跡取得部と、前記基準動作に応じた前記利用者の動作における前記利用者の特徴点の位置座標を取得する動作取得部と、前記基準軌跡取得部が取得する前記基準軌跡情報と、前記動作取得部が取得する前記特徴点の位置座標とに基づいて、前記位置座標に対応する前記基準軌跡上の位置を近傍点として算出する算出部と、前記算出部が算出する前記近傍点に対応する前記基準空間内の位置の状態を前記利用者に提示する提示部と、を備える提示装置である。
【0007】
本発明の一実施形態の提示装置において、前記算出部は、前記利用者の特徴点の位置座標と前記基準軌跡との間の距離に基づいて、前記近傍点を算出する。
【0008】
本発明の一実施形態の提示装置において、前記算出部は、前記距離が所定距離以下となる前記基準軌跡上の位置が複数ある場合に、前記動作取得部が取得した前記位置座標の履歴に基づいて、前記近傍点を算出する。
【0009】
本発明の一実施形態の提示装置において、前記算出部は、前記動作取得部が取得する前記特徴点の位置座標が時間変化して、時刻ごとの前記位置座標に対応する前記近傍点を順次算出する場合において、前記基準軌跡上の位置のうち、算出済みの前記近傍点よりも時刻が新しい位置を前記近傍点の算出対象とする。
【0010】
本発明の一実施形態の提示装置において、前記提示部は、算出部が算出する前記近傍点と前記位置座標との間の中間位置における前記基準空間内の状態を、前記近傍点に対応する位置の状態として、前記利用者に提示する。
【0011】
本発明の一実施形態は、提示装置が備えるコンピュータに、利用者に教示される基準動作における、提示者の特徴点の空間内の軌跡であって、前記利用者の動作に依存せずに予め定められた軌跡である基準軌跡を示す基準軌跡情報を取得することと、前記基準動作に応じた前記利用者の動作における前記利用者の特徴点の位置座標を取得することと、取得された前記基準軌跡情報と前記特徴点の位置座標とに基づいて、前記位置座標に対応する前記基準軌跡上の位置を近傍点として算出することと、算出された前記近傍点に対応する前記空間内の位置の状態を前記利用者に提示することと、を実行させるためのプログラムである。
【発明の効果】
【0012】
本発明によれば、提示部が提示する利用者の動作が、基準動作と乖離していることを提示されないようにしつつ、自己主体感を利用者に与えることができる。
【図面の簡単な説明】
【0013】
【
図1】本実施形態の提示装置の機能構成の一例を示す図である。
【
図2】本実施形態の基準軌跡取得装置の機能構成の一例を示す図である。
【
図3】本実施形態の提示者の特徴点の一例を示す図である。
【
図4】本実施形態の提示者による基準動作の一例を示す図である。
【
図5】本実施形態の基準軌跡取得装置の動作の流れの一例を示す図である。
【
図6】本実施形態の記憶部に記憶された基準軌跡情報の一例を示す図である。
【
図7】本実施形態の提示装置の動作の流れの一例を示す図である。
【
図8】本実施形態の利用者の特徴点の一例を示す図である。
【
図9】本実施形態の利用者の動作の軌跡の一例を示す図である。
【
図10】本実施形態の基準動作の軌跡と利用者が行う動作の軌跡とのずれの一例を示す図である。
【
図11】本実施形態の提示部による提示の一例を示す図である。
【
図12】本実施形態の変形例における近傍点の算出の一例を示す図である。
【
図13】本実施形態の第2の変形例における近傍点の算出の一例を示す図である。
【発明を実施するための形態】
【0014】
[実施形態]
図1は、本実施形態の提示装置1の機能構成の一例を示す図である。
提示装置1は、例えばリハビリテーション施設に備えられており、提示者(例えば、リハビリテーションのインストラクター)が行う基準動作に基づく情報を、利用者(例えば、リハビリテーションを受ける利用者)に対して提示する装置である。
提示装置1は、記憶部10と、動作取得部20と、演算部30と、提示部40とを備える。
【0015】
記憶部10は、基準軌跡情報DTJ2を記憶する。基準軌跡情報DTJ2は、基準軌跡取得装置2によって取得され、記憶部10に記憶される。ここで、基準軌跡取得装置2の機能構成について、
図2を参照して説明する。
【0016】
[基準軌跡取得装置2の機能構成]
図2は、本実施形態の基準軌跡取得装置2の機能構成の一例を示す図である。
基準軌跡取得装置2は、動作取得部50と、演算部60とを備える。
動作取得部50は、例えばステレオカメラなどを備えており、基準画角V2内にある物体の三次元位置を測定する機能(つまり、三次元測位機能)を有する。基準画角V2とは、基準動作空間SP2のうちの、動作取得部50による三次元測位の対象となる範囲である。この一例では、基準画角V2とは、動作取得部50が備えるステレオカメラの画角である。提示者は、基準画角V2内において所定の基準動作を行う。動作取得部50は、基準画角V2内において基準動作を行う提示者の特徴点FPをステレオカメラによって検出し、検出した特徴点FPの基準動作空間SP2における位置座標を算出する。
なお、以下の説明において、基準動作空間SP2内の位置を示す場合には、x2y2z2三次元直交座標系を用いる。
【0017】
図3は、本実施形態の提示者の特徴点FPの一例を示す図である。この一例では、提示者の左手の特徴点FPを示す。一例として、特徴点FP21は、提示者の左手の重心位置(または、中心位置)を示す。特徴点FP22は、手首の親指側の突起(橈骨茎状突起)の位置を示す。特徴点FP23は、手首の小指側の突起(尺骨茎状突起)の位置を示す。なお、手の外観上の特徴的な点(例えば、各関節や指先)をそれぞれ特徴点FPとしてもよい。
【0018】
図2に戻り、動作取得部50は、算出した特徴点FPの位置座標を演算部60に供給する。ここで、動作取得部50が提示者の特徴点FPの基準動作空間SP2における位置座標を算出することを「提示者の動作を取得する」ともいう。換言すれば、動作取得部50は、基準動作空間SP2内の基準画角V2内における提示者の動作を取得する。
【0019】
演算部60は、例えば、中央演算処理装置(CPU)を備えている。演算部60は、このCPUの機能として、軌跡算出部610を備える。軌跡算出部610は、動作取得部50が取得した基準画角V2内における提示者の特徴点FPの位置座標を時間軸に並べることにより、提示者の特徴点FPの軌跡を算出する。軌跡算出部610は、算出した特徴点FPの軌跡を基準軌跡情報DTJ2として記憶部10に記憶させる。ここで、提示者による基準動作の一例について、
図4を参照して説明する。
【0020】
図4は、本実施形態の提示者による基準動作の一例を示す図である。本実施形態の一例では、基準動作とは、基準動作空間SP2の基準画角V2内に配置された複数の目標物OBJを順番に触れる動作である。
具体的には、基準動作空間SP2には、目標物OBJ21~24が配置されている。動作取得部50は、基準画角V2内に、目標物OBJ21~24を捉えている。時刻t1において、提示者の左手は目標物OBJ21に触れている。時刻t2、時刻t3…において提示者の左手は、OBJ22の方向に移動する。そして、時刻tnにおいて提示者の左手は目標物OBJ24に触れる。すなわちこの一例における基準動作とは、提示者の左手が、目標物OBJ21~24を順番に触れていく動作のことである。
【0021】
なお、本実施形態では、基準動作空間SP2が実空間であり、目標物OBJ21~24が現実の物体であるとして説明するがこれに限られない。基準動作空間SP2は仮想空間であってもよく、目標物OBJ21~24は仮想空間内に配置された仮想物体であってもよい。
【0022】
動作取得部50は、基準動作を行う提示者の、各時刻tにおける左手の特徴点FPを検出する。
基準軌跡取得装置2が提示者による基準動作の軌跡を取得する動作の流れについて
図5を参照して説明する。
【0023】
図5は、本実施形態の基準軌跡取得装置2の動作の流れの一例を示す図である。
(ステップS10)動作取得部50は、基準動作を行う提示者の特徴点FPを検出する。
【0024】
(ステップS20)動作取得部50は、検出した特徴点FPの位置座標を算出する。動作取得部50は、算出した位置座標を軌跡算出部610に出力する。
【0025】
(ステップS30)演算部60は、基準動作が終了したか否かを判定する。演算部60は、基準動作が終了していないと判定した場合(ステップS30;NO)には、処理をステップS10に戻して、動作取得部50による特徴点FPの検出と位置座標の算出とを繰り返し実行させる。演算部60は、基準動作が終了したと判定した場合(ステップS30;YES)には、処理をステップS40に進める。
【0026】
(ステップS40)軌跡算出部610は、動作取得部50が算出した特徴点FPの位置座標を時系列に並べて、基準動作の軌跡(つまり、基準軌跡TJ2)を算出する。軌跡算出部610は、算出した軌跡を基準軌跡情報DTJ2として記憶部10に記憶させる。基準軌跡情報DTJ2の一例について、
図6を参照して説明する。
【0027】
図6は、本実施形態の記憶部10に記憶された基準軌跡情報DTJ2の一例を示す図である。基準軌跡情報DTJ2は、動作取得部50が算出した特徴点FPの位置座標を時系列に並べた情報である。具体的には、基準軌跡情報DTJ2には、時刻t1における特徴点FP21の位置座標FP21(x,y,z)と、特徴点FP22の位置座標FP22(x,y,z)と、特徴点FP23の位置座標FP23(x,y,z)とが互いに対応付けられて記憶される。基準軌跡情報DTJ2には、時刻t2、時刻t3…についても、時刻t1と同様に、各特徴点FPの位置座標が互いに対応付けられて記憶される。
このようにして、記憶部10には、基準軌跡情報DTJ2が記憶される。
【0028】
[提示装置1の機能構成]
図1に戻り、提示装置1の機能構成について説明する。
動作取得部20は、上述した基準軌跡取得装置2の動作取得部50と同様に、例えばステレオカメラなどを備えている。動作取得部20は、利用者画角V1内にある物体の三次元位置を測定する機能(つまり、三次元測位機能)を有する。利用者画角V1とは、利用者が動作を行う空間である利用者空間SP1のうちの、動作取得部20による三次元測位の対象となる範囲である。
【0029】
なお、利用者空間SP1は、上述した基準動作空間SP2と対応する空間である。利用者画角V1は、上述した基準画角V2と対応する画角である。
これら利用者空間SP1と、基準動作空間SP2とは、物理的に同一の空間であってもよい。この場合には、物理的に同一の空間において、提示者による基準動作が時間的に先(例えば、インストラクターが手本を示すタイミング)に行われ、利用者による動作が時間的に後(例えば、インストラクターの手本通りに利用者が再現動作を行うタイミング)に行われる。
また、例えば、利用者空間SP1と、基準動作空間SP2とが物理的に離れていてもよい。この場合、提示者による基準動作と利用者による動作とが、互いに離れた第1の場所(例えば、撮影スタジオ)と第2の場所(例えば、リハビリテーション施設)とでほぼ同時に行われてもよい。またこの場合、提示者による基準動作が、ある場所(例えば、撮影スタジオ)で時間的に先に行われ、利用者による動作が、基準動作を行う場所とは異なる場所(例えば、リハビリテーション施設)で時間的に後に行われてもよい。
【0030】
また、動作取得部20がステレオカメラを備えており、画像情報に基づいて利用者の三次元測位情報を取得するとして説明するが、これに限られない。動作取得部20は、例えば、マウスやトラックボールなどのポインティングデバイスを備えており、利用者がポインティングデバイスを操作することによって、利用者の操作の結果を三次元測位情報として取得するように構成されていてもよい。
また、動作取得部20は、利用者の手以外の身体の部分の動作(例えば、足の動き、表情の変化や視線の変化など)を捉えるものであってもよい。
【0031】
動作取得部50は、利用者画角V1内における利用者の特徴点FPをステレオカメラによって捉え、捉えた特徴点FPの利用者空間SP1における位置座標を算出する。動作取得部50は、算出した位置座標を演算部30に供給する。
なお、以下の説明において、利用者空間SP1内の位置を示す場合には、x1y1z1三次元直交座標系を用いる。
【0032】
演算部30は、例えば、中央演算処理装置(CPU)を備えている。演算部30は、このCPUの機能として、基準軌跡取得部310と、算出部320とを備える。
上述したように、記憶部10には、基準軌跡取得装置2が取得した基準軌跡情報DTJ2が記憶されている。基準軌跡取得部310は、記憶部10から基準軌跡情報DTJ2を取得する。基準軌跡取得部310は、取得した基準軌跡情報DTJ2を算出部320に供給する。
算出部320は、基準軌跡取得部310から基準軌跡情報DTJ2を取得する。また、算出部320は、動作取得部20から利用者の特徴点FPの位置座標を取得する。
【0033】
算出部320は、取得した基準軌跡情報DTJ2と、利用者の特徴点FPの位置座標とに基づいて、位置座標に対応する基準軌跡TJ2上の位置を近傍点NPとして算出する。
この提示装置1による近傍点NPの算出の動作の流れについて
図7を参照して説明する。
【0034】
図7は、本実施形態の提示装置1の動作の流れの一例を示す図である。
(ステップS110)基準軌跡取得部310は、記憶部10から基準軌跡情報DTJ2を取得する。ここで、基準軌跡情報DTJ2とは、提示者による基準動作の特徴点FPの軌跡である基準軌跡TJ2を示す情報である。
【0035】
この提示者による基準動作は、利用者が動作する空間(利用者空間SP1)とは別の空間(基準動作空間SP2)で行われる動作である。または、提示者による基準動作は、利用者の動作がされる以前の時間において行われる動作である。つまり、提示者による基準動作は、利用者の動作に依存しない(すなわち、利用者の動作とは独立した)動作である。
【0036】
換言すれば、基準軌跡取得部310は、利用者に提示される基準動作が行われる基準動作空間SP2内における、提示者による基準動作の特徴点FPの軌跡であって、利用者の動作に依存せずに予め定められた軌跡である基準軌跡TJ2を示す基準軌跡情報DTJ2を取得する。
【0037】
(ステップS120)動作取得部20は、利用者の動作における利用者の特徴点FPを検出する。ここで
図8を参照して利用者の特徴点FPの一例について説明する。
【0038】
図8は、本実施形態の利用者の特徴点FPの一例を示す図である。この一例では、利用者の左手の特徴点FPを示す。
利用者の特徴点FPの位置は、
図3において例示した提示者の特徴点FPの位置と対応している。一例として、特徴点FP11は、利用者の左手の重心位置(または、中心位置)を示す。特徴点FP12は、手首の親指側の突起(橈骨茎状突起)の位置を示す。特徴点FP13は、手首の小指側の突起(尺骨茎状突起)の位置を示す。なお、手の外観上の特徴的な点(例えば、各関節や指先)をそれぞれ特徴点FPとしてもよい。
【0039】
(ステップS130)動作取得部20は、ステップS120において検出された利用者の特徴点FPの利用者空間SP1における位置座標を算出する。動作取得部20は、算出した位置座標を算出部320に供給する。
【0040】
上述したように、利用者の特徴点FPの位置と、提示者の特徴点FPの位置とは互いに対応している。したがって、基準軌跡取得装置2が生成した基準軌跡情報DTJ2(つまり、記憶部10に記憶されている基準軌跡情報DTJ2)が示す提示者の特徴点FPの位置座標と、動作取得部20が取得する利用者の特徴点FPの位置座標とは、互いに対応した位置であるとして演算することができる。
【0041】
(ステップS140)算出部320は、基準軌跡取得部310が取得する基準軌跡情報DTJ2と、動作取得部20が取得する特徴点FPの位置座標とに基づいて、位置座標に対応する基準軌跡TJ2上の位置を近傍点NPとして算出する。
以下、近傍点NPの算出の具体例について説明する。
【0042】
図9は、本実施形態の利用者の動作の軌跡の一例を示す図である。本実施形態の一例では、利用者の動作とは、利用者空間SP1の利用者画角V1内に配置された複数の目標物OBJ11~14を順番に触れる動作である。
【0043】
この目標物OBJは、基準動作空間SP2に配置された目標物OBJ21~24に対応する位置に配置されている。
なお、利用者空間SP1と、基準動作空間SP2とが、物理的に同一の空間である場合には、目標物OBJ11~14と、目標物OBJ21~24とは、物理的に同一の物体であってもよい。
【0044】
具体的には、利用者空間SP1には、目標物OBJ11~14が配置されている。動作取得部20は、利用者画角V1内に、目標物OBJ11~14を捉えている。動作取得部20は、利用者の動作における特徴点FPを検出する。この一例において、利用者の動作とは、提示者が行う基準動作の通りに、利用者の左手が、目標物OBJ11~14を順番に触れていこうとする動作である。
【0045】
なお、本実施形態では、利用者空間SP1が実空間であり、目標物OBJ11~14が現実の物体であるとして説明するがこれに限られない。利用者空間SP1は仮想空間であってもよく、目標物OBJ11~14は仮想空間内に配置された仮想物体であってもよい。
【0046】
利用者の動作について、より具体的には、時刻t11において、利用者の左手は位置P11にあり、目標物OBJ11に触れている。時刻t12、時刻t13…時刻tmと時間が経過するとともに提示者の左手は目標物OBJ14の方向に移動する。
ここで、時刻t12において、利用者の左手は位置P12にあり、目標物OBJ12に触れていない。時刻t13において、利用者の左手は位置P13にあり、目標物OBJ13に触れている。そして、時刻tmにおいて利用者の左手は位置Pmにあり、目標物OBJ24に触れる。すなわちこの一例における利用者の動作とは、利用者の左手が、目標物OBJ11~14を順番に触れていこうとしているが、時刻t12において目標物OBJ12には触れていない動作のことである。
このように、提示者が行う基準動作の軌跡(基準軌跡TJ2)と、利用者が行う動作の軌跡(利用者軌跡TJ1)との間には、ずれが生じる。
【0047】
図10は、本実施形態の基準動作の軌跡と利用者が行う動作の軌跡とのずれの一例を示す図である。同図には一例として、
図4において示した基準軌跡TJ2と、
図9において示した利用者軌跡TJ1とを重ねて示している。
【0048】
算出部320は、記憶部10に記憶されている基準軌跡情報DTJ2が示す基準軌跡TJ2と、動作取得部20が取得する利用者の特徴点FPの位置座標とに基づいて、近傍点NPを算出する。
ここで、近傍点NPとは、基準軌跡TJ2上の位置のうち、ある時刻tにおける利用者の特徴点FPの位置座標に近い(例えば、最も近い)位置にある点である。近傍点NPの具体例について説明する。
【0049】
(1)例えば、時刻t11において利用者の特徴点FPが位置P11にある。この位置P11は、基準軌跡TJ2上の位置である。この場合、算出部320は、位置P11を、位置P11についての近傍点NP21とする。なお、近傍点NP21のことを、時刻t11における近傍点NPともいう。
(2)例えば、時刻t12において利用者の特徴点FPが位置P12にある。この位置P12は、基準軌跡TJ2上の位置ではない。この場合、算出部320は、位置P12を中心とする円と基準軌跡TJ2とが接する位置P22を、位置P12についての近傍点NP(近傍点NP22)とする。利用者の特徴点FPの位置P12と、近傍点NP22との距離は、位置P12を中心とする円の半径r12と一致する。なお、近傍点NP22のことを、時刻t12における近傍点NPともいう。
(3)例えば、時刻t13において利用者の特徴点FPが位置P13にある。この位置P12は、基準軌跡TJ2上の位置ではない。この場合、算出部320は、位置P13を中心とする円と基準軌跡TJ2とが接する位置P23を、位置P13についての近傍点NP(近傍点NP23)とする。利用者の特徴点FPの位置P13と、近傍点NP23との距離は、位置P13を中心とする円の半径r13と一致する。なお、近傍点NP23のことを、時刻t13における近傍点NPともいう。
【0050】
このように、算出部320は、利用者の特徴点FPの位置座標と基準軌跡TJ2との間の距離に基づいて、近傍点NPを算出する。ここで、利用者の特徴点FPの位置座標と基準軌跡TJ2との間の距離とは、例えば、利用者の特徴点FPの位置座標を中心とし、基準軌跡TJ2と接する円の半径rである。
【0051】
(ステップS150)提示部40は、算出部320が算出する近傍点NPに対応する基準動作空間SP2内の位置の状態を利用者に提示する。
【0052】
ここで、利用者に提示される「基準動作空間SP2内の位置の状態」には、基準動作を行っている提示者の身体の一部の状態(例えば、提示者の左手の位置)を示す画像や、この提示者の身体の一部に対応する利用者の身体の一部(例えば、利用者の左手の位置)を示す画像が含まれる。
また、基準動作空間SP2内の位置の状態には、提示者が基準動作を行っている基準動作空間SP2内において提示者が受ける力、熱、音、振動などの状態が含まれる。さらに提示者が例えばアームとエンドエフェクタとを備えるロボット装置であってもよく、この場合には、基準動作空間SP2内の位置の状態には、ロボット装置が基準動作空間SP2から受ける力、熱、音、振動や、ロボット装置自身の動作によって生じる力、熱、音、振動などの各状態が含まれていてもよい。
なお、以下の説明では、提示部40が、液晶画面を備えた表示装置であり、利用者の動作をコンピュータグラフィックスによって仮想的に示す手の画像を表示する場合を一例にして説明する。
【0053】
提示部40による提示の一例について、
図11を参照して説明する。
図11は、本実施形態の提示部40による提示の一例を示す図である。提示部40の液晶画面には、利用者画角V1の範囲内の利用者空間SP1の様子が提示される。この一例では、提示部40には、利用者の左手の画像PIC1~3が、利用者の左手の動きに合わせて表示される。
例えば、時刻t11における近傍点NPは、近傍点NP21である。提示部40は、時刻t11における画像PIC1を、近傍点NP21の位置に表示する。また、時刻t12における近傍点NPは、近傍点NP22である。提示部40は、時刻t12における画像PIC2を、近傍点NP22の位置に表示する。同様に、時刻t13における近傍点NPは、近傍点NP23である。提示部40は、時刻t13における画像PIC3を、近傍点NP23の位置に表示する。
このようにして、提示部40は、利用者の動作を利用者自身に対して提示することにより、利用者の動作を利用者自身に認識させる。
【0054】
[実施形態のまとめ]
上述したように、本実施形態において、利用者(例えば、リハビリテーションを受ける利用者)は、提示者(例えば、リハビリテーションのインストラクター)が行う基準動作の通りに動作しようとする。しかしながら、利用者の状況によっては、利用者が基準動作の通りに動作できない場合がある。
この場合、提示部40に利用者の動作をそのまま提示すると、利用者の動作と基準動作との乖離がそのまま利用者に提示されることになり、好ましくない。
一方で、利用者の動作によらずに、提示部40に提示者による基準動作のみを提示しても、利用者の動作を利用者自身に認識させることができない。
そこで、本実施形態の提示装置1は、利用者の動作に応じた位置であり、かつ、基準動作の軌跡(つまり、基準軌跡TJ2)上の位置である近傍点NPを、利用者の動作の位置であるとして提示部40に提示する。
このように構成された提示装置1によれば、提示部40が提示する画像内における利用者の動作が、基準動作と乖離していることをそのまま提示されないようにしつつ、利用者自身の内発的な運動によって利用者が自分自身で行っているという感覚(すなわち、自己主体感)を利用者に与えることができる。
したがって、提示装置1によれば、利用者が自発的に動作を行う契機を利用者自身に与えることができる。
【0055】
例えば、利用者が、リハビリテーションを受ける利用者であって、利用者の動作がリハビリテーション運動の動作である場合には、提示装置1によって自己主体感を利用者に与えることができ、リハビリテーション運動を継続する契機を利用者に与えることにより、リハビリテーションの効果を高めることができる。
【0056】
また、提示者がビデオゲームのインストラクターであり、利用者がビデオゲームの初心者という状況においても提示装置1を利用することができる。この場合、提示装置1を利用することにより、インストラクターが行う的確な動作を、利用者自身の動作によって行っているという自己主体感を利用者に与えることができる。したがって、このように構成された提示装置1によれば、利用者によるビデオゲームの継続的な練習を促し、能力向上を促進することができる。
【0057】
また、例えば、遠隔地における家事や手工業などを行う場合において、利用者が作業に慣れていない人、提示者が作業の熟練者である場合に、利用者が作業をメインで行い、提示者が作業工程の難所を肩代わりして共同して作業を行う場合において、提示装置1を利用して、提示者の作業が利用者の操作に対応して進行しているように見せることで、利用者が作業を自分で行っているという感覚が担保されるため、実際の作業の質と利用者の作業への参画意欲の担保を両立することが可能となる。
【0058】
[変形例1]
図12は、本実施形態の変形例における近傍点NPの算出の一例を示す図である。基準動作が、往復動作を含むなど比較的複雑な軌跡を描く場合、利用者の動作のある時刻tにおける位置座標において、複数の近傍点NPを取りうることがある。
例えば、同図に示す基準軌跡TJ21の場合、時刻t33における利用者の特徴点FPの位置P33について、位置P33から基準軌跡TJ21への距離が等しくなる2点(位置Pa及び位置Pb)が存在する。この場合、時刻t33における近傍点NPとして、位置Pa及び位置Pbのいずれが適切であるのか、という問題が生じる。
【0059】
そこで、本変形例の算出部320は、距離が所定距離以下となる基準軌跡TJ2上の位置が複数ある場合に、動作取得部20が取得した位置座標の履歴に基づいて、近傍点NPを算出する。
具体的には、時刻t33よりも過去の時刻t32においては、位置Pa及び位置Pbのうち、位置Paが近傍点NPである。この場合、算出部320は、時刻t33における近傍点NPを、位置Paではなく位置Pbとする。すなわち、算出部320は、利用者軌跡TJ11の位置座標の時間的な履歴に基づいて、距離が所定距離以下となる複数の位置Pのうちから選択した1点を近傍点NPとして算出する。
【0060】
すなわち、算出部320は、動作取得部20が取得する特徴点FPの位置座標が時間変化して、時刻ごとの位置座標に対応する近傍点NPを順次算出する場合において、基準軌跡TJ2上の位置のうち、算出済みの近傍点NPよりも時刻が新しい位置を近傍点NPの算出対象とする。
【0061】
このように構成された算出部320を備える提示装置1によれば、利用者の動作に基づいて、より妥当な近傍点NPを算出することができるため、基準動作が複雑な軌跡を描く場合であっても、利用者自身の動作によって行っているという自己主体感を与えることができる。
【0062】
[変形例2]
これまで、提示部40は、近傍点NPにおける状態を「近傍点NPに対応する基準動作空間SP2内の位置の状態」として提示していたが、これに限られない。提示部40は、近傍点NPに対応する位置の状態を提示するものであればよく、例えば、近傍点NPと利用者の特徴点FPの位置座標との間の中間位置における状態を提示してもよい。
【0063】
図13は、本実施形態の第2の変形例における近傍点NPの算出の一例を示す図である。この一例においては、提示部40は、時刻t12における利用者の特徴点FPの位置P12と、位置P12に対応する近傍点NP22との中間位置における状態を提示する。
【0064】
すなわち、提示部40は、算出部320が算出する近傍点NPと位置座標との間の中間位置における空間内の状態を、近傍点NPに対応する位置の状態として、利用者に提示する。
同図の一例の場合、提示部40は、時刻t12における位置P12と、この位置P12に対応する近傍点NP22との中間位置P41に、状態(例えば、左手の画像PIC)を表示する。また、提示部40は、時刻t13における位置P13と、この位置P13に対応する近傍点NP23との中間位置P42に、状態(例えば、左手の画像PIC)を表示する。
【0065】
このように構成された提示部40を備える提示装置1によれば、近傍点NPの状態を提示する場合に比べ、利用者の動作により近い位置の状態を提示することができる。このように構成された提示装置1によれば、利用者自身の動作によって行っているという自己主体感を与えることができる。
【0066】
なお、上述した実施形態及び変形例における各装置の一部をコンピュータで実現するようにしてもよい。その場合、この機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。なお、ここでいう「コンピュータシステム」とは、提示装置1に内蔵されたコンピュータシステムであって、OS(Operating System)や周辺機器等のハードウェアを含むものとする。
【0067】
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM、CD-ROM等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでもよい。また上記プログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよい。
【0068】
以上、図面を参照してこの発明の一実施形態について詳しく説明してきたが、具体的な構成は上述のものに限られることはなく、この発明の要旨を逸脱しない範囲内において様々な設計変更等をすることが可能である。
【符号の説明】
【0069】
1…提示装置、2…基準軌跡取得装置、10…記憶部、20…動作取得部、30…演算部、310…基準軌跡取得部、320…算出部、40…提示部、50…動作取得部、60…演算部、610…軌跡算出部