知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024171644
(43)【公開日】2024-12-12
(54)【発明の名称】動作可視化装置、動作可視化方法およびプログラム
(51)【国際特許分類】
G06T 13/40 20110101AFI20241205BHJP
G09B 19/00 20060101ALI20241205BHJP
【ＦＩ】
G06T13/40
G09B19/00 Z
【審査請求】未請求
【請求項の数】15
【出願形態】ＯＬ
(21)【出願番号】P 2023088769
(22)【出願日】2023-05-30
(71)【出願人】
【識別番号】000000295
【氏名又は名称】沖電気工業株式会社
(74)【代理人】
【識別番号】100140958
【弁理士】
【氏名又は名称】伊藤 学
(74)【代理人】
【識別番号】100137888
【弁理士】
【氏名又は名称】大山 夏子
(74)【代理人】
【識別番号】100190942
【弁理士】
【氏名又は名称】風間 竜司
(72)【発明者】
【氏名】松宮 正太
【テーマコード（参考）】
5B050
【Ｆターム（参考）】
5B050AA10
5B050BA08
5B050BA12
5B050CA07
5B050DA04
5B050EA05
5B050EA07
5B050EA09
5B050EA13
5B050EA19
5B050EA27
5B050FA02
5B050FA05
(57)【要約】
【課題】動作を確認するユーザの利便性を向上する。
【解決手段】ユーザの動作と参照動作との動作差分を算出する差分算出部と、前記ユーザの動作を再現する第１の映像と、前記参照動作を表す第２の映像との重畳表示を含む表示画面を生成し、動的に決定される基準値と前記動作差分との関係に応じて、前記動作差分について前記ユーザへ通知するための出力の内容の変化を制御する、出力制御部と、を備える、動作可視化装置。
【選択図】図１
【解決手段】ユーザの動作と参照動作との動作差分を算出する差分算出部と、前記ユーザの動作を再現する第１の映像と、前記参照動作を表す第２の映像との重畳表示を含む表示画面を生成し、動的に決定される基準値と前記動作差分との関係に応じて、前記動作差分について前記ユーザへ通知するための出力の内容の変化を制御する、出力制御部と、を備える、動作可視化装置。
【選択図】図１
【特許請求の範囲】
【請求項1】
ユーザの動作と参照動作との動作差分を算出する差分算出部と、
前記ユーザの動作を再現する第１の映像と、前記参照動作を表す第２の映像との重畳表示を含む表示画面を生成し、
動的に決定される基準値と前記動作差分との関係に応じて、前記動作差分について前記ユーザへ通知するための出力の内容の変化を制御する、出力制御部と、
を備える、
動作可視化装置。
前記ユーザの動作を再現する第１の映像と、前記参照動作を表す第２の映像との重畳表示を含む表示画面を生成し、
動的に決定される基準値と前記動作差分との関係に応じて、前記動作差分について前記ユーザへ通知するための出力の内容の変化を制御する、出力制御部と、
を備える、
動作可視化装置。
【請求項2】
前記第１の映像および前記第２の映像は、仮想視点から見た映像である、
請求項１に記載の動作可視化装置。
請求項１に記載の動作可視化装置。
【請求項3】
前記動作可視化装置は、前記仮想視点の位置に基づき前記基準値を決定する基準決定部をさらに備える、
請求項２に記載の動作可視化装置。
請求項２に記載の動作可視化装置。
【請求項4】
前記基準決定部は、前記仮想視点の位置と基準点との距離に基づき前記基準値を決定する、
請求項３に記載の動作可視化装置。
請求項３に記載の動作可視化装置。
【請求項5】
前記基準決定部は、前記距離が長いほど大きい値になるよう前記基準値を決定する、
請求項４に記載の動作可視化装置。
請求項４に記載の動作可視化装置。
【請求項6】
前記基準決定部は、前記基準値を規定の値の範囲内で決定する、
請求項５に記載の動作可視化装置。
請求項５に記載の動作可視化装置。
【請求項7】
前記基準決定部は、前記ユーザによって指定される値にさらに基づき前記基準値を決定する、
請求項４に記載の動作可視化装置。
請求項４に記載の動作可視化装置。
【請求項8】
前記基準決定部は、前記基準点を、前記ユーザによって指定される点に決定する、
請求項４に記載の動作可視化装置。
請求項４に記載の動作可視化装置。
【請求項9】
前記基準決定部は、前記ユーザによって指定される身体の部位の位置に基づき前記基準点を決定する、
請求項４に記載の動作可視化装置。
請求項４に記載の動作可視化装置。
【請求項10】
前記基準決定部は、前記基準点を、複数の前記身体の部位の位置の重心点に決定する、
請求項９に記載の動作可視化装置。
請求項９に記載の動作可視化装置。
【請求項11】
前記差分算出部は、前記動作差分を、複数の身体の部位ごとに算出し、
前記出力制御部は、前記複数の身体の部位の各々について、前記動作差分が前記基準値を上回った場合に、前記基準値と前記動作差分との差分の大きさをユーザに通知するよう前記出力の内容を変化させる、
請求項１～１０のいずれか一項に記載の動作可視化装置。
前記出力制御部は、前記複数の身体の部位の各々について、前記動作差分が前記基準値を上回った場合に、前記基準値と前記動作差分との差分の大きさをユーザに通知するよう前記出力の内容を変化させる、
請求項１～１０のいずれか一項に記載の動作可視化装置。
【請求項12】
前記出力制御部は、前記表示画面における、前記第１の映像または前記第２の映像の色調、透明度または輝度、音声または振動によって前記動作差分の大きさを通知する、
請求項１１に記載の動作可視化装置。
請求項１１に記載の動作可視化装置。
【請求項13】
前記参照動作は、前記ユーザの動作の手本となる動作である、
請求項１～１０のいずれか一項に記載の動作可視化装置。
請求項１～１０のいずれか一項に記載の動作可視化装置。
【請求項14】
ユーザの動作と参照動作との動作差分を算出することと、
前記ユーザの動作を再現する第１の映像と、前記参照動作の第２の映像との重畳表示を含む表示画面を生成し、
動的に決定される基準値と前記動作差分との関係に応じて、前記動作差分について前記ユーザへ通知するための出力の内容を変化させるよう制御することと、
を含む、
コンピュータによって実行される、動作可視化方法。
前記ユーザの動作を再現する第１の映像と、前記参照動作の第２の映像との重畳表示を含む表示画面を生成し、
動的に決定される基準値と前記動作差分との関係に応じて、前記動作差分について前記ユーザへ通知するための出力の内容を変化させるよう制御することと、
を含む、
コンピュータによって実行される、動作可視化方法。
【請求項15】
コンピュータを、
ユーザの動作と参照動作との動作差分を算出する差分算出部と、
前記ユーザの動作を再現する第１の映像と、前記参照動作の第２の映像との重畳表示を含む表示画面を生成し、
動的に決定される基準値と前記動作差分との関係に応じて、前記動作差分について前記ユーザへ通知するための出力の内容を変化させるよう制御する、出力制御部と、
として機能させる、プログラム。
ユーザの動作と参照動作との動作差分を算出する差分算出部と、
前記ユーザの動作を再現する第１の映像と、前記参照動作の第２の映像との重畳表示を含む表示画面を生成し、
動的に決定される基準値と前記動作差分との関係に応じて、前記動作差分について前記ユーザへ通知するための出力の内容を変化させるよう制御する、出力制御部と、
として機能させる、プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、動作可視化装置、動作可視化方法およびプログラムに関する。
【背景技術】
【0002】
近年、ユーザの動作を可視化するために様々な技術が開発されている。例えば、特許文献１では、ユーザの一例である学習者の視野映像に対して、指導者の動作（ユーザによって参照される参照動作の一例）の映像を重畳して表示させる技術が開示されている。特許文献１には、ユーザの動作と指導者の動作の動作差分と所定の閾値の比較結果に基づき、動的に指導者の作業の映像の表示内容が変化されることが開示されている。これにより、学習者は、自身の動作と指導者の動作がどの程度ずれているかを認識できる。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開２０２０－１４４２３３号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかし、ユーザの動作および参照動作の差分と比較される閾値が一定であると、当該閾値が、ユーザの動作と参照動作の動作差異をユーザが認識するために適切でない場合があった。
【0005】
そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、動作を確認するユーザの利便性を向上することが可能な、新規かつ改良された技術を提供することにある。
【課題を解決するための手段】
【0006】
上記課題を解決するために、本発明のある観点によれば、ユーザの動作と参照動作との動作差分を算出する差分算出部と、前記ユーザの動作を再現する第１の映像と、前記参照動作を表す第２の映像との重畳表示を含む表示画面を生成し、動的に決定される基準値と前記動作差分との関係に応じて、前記動作差分について前記ユーザへ通知するための出力の内容の変化を制御する、出力制御部と、を備える、動作可視化装置が提供される。
【0007】
前記第１の映像および前記第２の映像は、仮想視点から見た映像であってもよい。
【0008】
前記動作可視化装置は、前記仮想視点の位置に基づき前記基準値を決定する基準決定部をさらに備えてもよい。
【0009】
前記基準決定部は、前記仮想視点の位置と基準点との距離に基づき前記基準値を決定してもよい。
【0010】
前記基準決定部は、前記距離が長いほど大きい値になるよう前記基準値を決定してもよい。
【0011】
前記基準決定部は、前記基準値を規定の値の範囲内で決定してもよい。
【0012】
前記基準決定部は、前記ユーザによって指定される値にさらに基づき前記基準値を決定してもよい。
【0013】
前記基準決定部は、前記基準点を、前記ユーザによって指定される点に決定してもよい。
【0014】
前記基準決定部は、前記ユーザによって指定される身体の部位の位置に基づき前記基準点を決定してもよい。
【0015】
前記基準決定部は、前記基準点を、複数の前記身体の部位の位置の重心点に決定してもよい。
【0016】
前記差分算出部は、前記動作差分を、複数の身体の部位ごとに算出し、前記出力制御部は、前記複数の身体の部位の各々について、前記動作差分が前記基準値を上回った場合に、前記基準値と前記動作差分との差分の大きさをユーザに通知するよう前記出力の内容を変化させてもよい。
【0017】
前記出力制御部は、前記表示画面における、前記第１の映像または前記第２の映像の色調、透明度または輝度、音声または振動によって前記動作差分の大きさを通知してもよい。
【0018】
前記参照動作は、前記ユーザの動作の手本となる動作であってもよい。
【0019】
また、上記課題を解決するために本発明の別の観点によれば、ユーザの動作と参照動作との動作差分を算出することと、前記ユーザの動作を再現する第１の映像と、前記参照動作の第２の映像との重畳表示を含む表示画面を生成し、動的に決定される基準値と前記動作差分との関係に応じて、前記動作差分について前記ユーザへ通知するための出力の内容を変化させるよう制御することと、を含む、コンピュータによって実行される、動作可視化方法が提供される。
【0020】
また、上記課題を解決するために本発明の別の観点によれば、コンピュータを、ユーザの動作と参照動作との動作差分を算出する差分算出部と、前記ユーザの動作を再現する第１の映像と、前記参照動作の第２の映像との重畳表示を含む表示画面を生成し、動的に決定される基準値と前記動作差分との関係に応じて、前記動作差分について前記ユーザへ通知するための出力の内容を変化させるよう制御する、出力制御部と、として機能させる、プログラムが提供される。
【発明の効果】
【0021】
以上説明したように本発明によれば、動作を確認するユーザの利便性を向上することが可能である。
【図面の簡単な説明】
【0022】
【図1】本発明の一実施形態による動作可視化システム１の機能構成例を説明するための図である。
【図2】本実施形態との比較例における学習者映像と手本映像の重畳表示について説明するための図である。
【図3】仮想カメラの設置位置ｐＣと基準点ｐＢとの距離ｄＢＣについて説明するための図である。
【図4】本実施形態における学習者映像と手本映像の重畳表示の一例について説明するための図である。
【図5】本実施形態にかかる動作可視化装置２０による動作処理の流れの一例を示すフローチャートである。
【図7】手本動作が移動を伴う場合の表示内容の変化について説明するための図である。
【図8】手本動作が移動を伴う場合の表示内容の変化について説明するための図である。
【図11】変形例にかかる動作可視化装置２０による基準点決定の動作処理例の流れの一例を示すフローチャートである。
【図12】本発明の実施形態に係る動作センシング部１０、動作可視化装置２０、および映像出力部３０の例としての情報処理装置９００のハードウェア構成を示す図である。
【発明を実施するための形態】
【0023】
以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【0024】
また、本明細書及び図面において、実質的に同一の機能構成を有する複数の構成要素を、同一の符号の後に異なる数字を付して区別する場合もある。ただし、実質的に同一の機能構成を有する複数の構成要素の各々を特に区別する必要がない場合、複数の構成要素の各々に同一符号のみを付する。
【0025】
＜０．概要＞
以下に説明するように、本発明の実施形態においては、動作を確認するユーザの利便性を向上することを可能とする技術について提案する。本発明の一実施形態において、ユーザ自身の動作を再現する映像と参照動作の映像とが重畳された表示画面が、ユーザに対して出力される。ユーザは、当該表示画面を確認することにより、自身の動作と参照動作との差異を確認することが可能である。本実施形態では、ユーザが動作を学習する学習者であり、参照動作が学習者による動作の学習の手本となる手本動作である例について主に説明する。
以下に説明するように、本発明の実施形態においては、動作を確認するユーザの利便性を向上することを可能とする技術について提案する。本発明の一実施形態において、ユーザ自身の動作を再現する映像と参照動作の映像とが重畳された表示画面が、ユーザに対して出力される。ユーザは、当該表示画面を確認することにより、自身の動作と参照動作との差異を確認することが可能である。本実施形態では、ユーザが動作を学習する学習者であり、参照動作が学習者による動作の学習の手本となる手本動作である例について主に説明する。
【0026】
＜１．本発明の一実施形態による動作可視化システムの構成＞
まず、図１を参照して、本発明の一実施形態による動作可視化システムの構成例ついて説明する。図１は、本発明の一実施形態による動作可視化システム１の機能構成例を説明するための図である。図１に示したように、本実施形態による動作可視化システム１は、動作センシング部１０と、動作可視化装置２０と、映像出力部３０とを有する。
まず、図１を参照して、本発明の一実施形態による動作可視化システムの構成例ついて説明する。図１は、本発明の一実施形態による動作可視化システム１の機能構成例を説明するための図である。図１に示したように、本実施形態による動作可視化システム１は、動作センシング部１０と、動作可視化装置２０と、映像出力部３０とを有する。
【0027】
（動作センシング部１０）
動作センシング部１０は、学習者の身体をセンシングし、センシング結果に基づき学習者の動作を推定する。動作センシング部１０は、動作可視化装置２０と通信インタフェースを介して接続されており、推定した学習者の動作を示すデータを、通信インタフェースを介して動作可視化装置２０に出力する。動作センシング部１０は、図１に示すように、センサ部１１０と動作推定部１２０とを有する。
動作センシング部１０は、学習者の身体をセンシングし、センシング結果に基づき学習者の動作を推定する。動作センシング部１０は、動作可視化装置２０と通信インタフェースを介して接続されており、推定した学習者の動作を示すデータを、通信インタフェースを介して動作可視化装置２０に出力する。動作センシング部１０は、図１に示すように、センサ部１１０と動作推定部１２０とを有する。
【0028】
（センサ部１１０）
センサ部１１０は、物理的なセンサにより学習者の身体のセンシングデータを検出する。センサの種類は特に限定されず、例えば、センサは、赤外線センサであってもよい。より具体的に、センサは、複数のＬＥＤ（Light Emitting Diode）によって学習者の身体に照射された赤外線の反射をセンサデータとして検出する赤外線ステレオカメラであってもよい。あるいは、センサは、ＲＧＢ（Red, Green, Blue）カメラなどであってもよい。
センサ部１１０は、物理的なセンサにより学習者の身体のセンシングデータを検出する。センサの種類は特に限定されず、例えば、センサは、赤外線センサであってもよい。より具体的に、センサは、複数のＬＥＤ（Light Emitting Diode）によって学習者の身体に照射された赤外線の反射をセンサデータとして検出する赤外線ステレオカメラであってもよい。あるいは、センサは、ＲＧＢ（Red, Green, Blue）カメラなどであってもよい。
【0029】
（動作推定部１２０）
動作推定部１２０は、センサ部１１０によって得られたセンシングデータに基づき、学習者の動作を推定する処理を行う。学習者の動作は、例えば、学習者の複数の身体の部位の各位置を示す三次元座標または身体の各部位の角度の時系列データによって表されてもよい。複数の身体の部位には、例えば、学習者の身体の各関節および末端部位等が含まれてもよい。学習者の身体の各部位の位置を示す三次元座標等の学習者の動作を示す時系列データを「学習者動作データ」とも称する。また、以下では、身体の部位を単に部位とも呼ぶ。
動作推定部１２０は、センサ部１１０によって得られたセンシングデータに基づき、学習者の動作を推定する処理を行う。学習者の動作は、例えば、学習者の複数の身体の部位の各位置を示す三次元座標または身体の各部位の角度の時系列データによって表されてもよい。複数の身体の部位には、例えば、学習者の身体の各関節および末端部位等が含まれてもよい。学習者の身体の各部位の位置を示す三次元座標等の学習者の動作を示す時系列データを「学習者動作データ」とも称する。また、以下では、身体の部位を単に部位とも呼ぶ。
【0030】
より具体的には、動作推定部１２０は、センシングデータに基づいて、センサ部１１０の現実空間の検知範囲を規定する座標系（以下、「センサ座標系」とも言う。）における学習者の各部位の位置等を計測する処理を行ってもよい。
【0031】
動作推定部１２０によって取得された学習者動作データは、動作可視化装置２０へ出力される。
【0032】
なお、動作センシング部１０には、Ｋｉｎｅｃｔ（登録商標）等の既存のモーションキャプチャシステムが用いられてもよい。
【0033】
（動作可視化装置２０）
動作可視化装置２０は、コンピュータによって実現され、映像出力部３０に出力される表示画面を生成する。表示画面には、動作センシング部１０が出力した学習者の動作を再現する映像と、手本動作を示す映像との重畳表示が含まれる。表示画面の生成にあたっては、三次元空間内のある一つの位置に仮想カメラが配置され、配置された仮想カメラが撮影する映像、すなわち配置された仮想カメラを仮想視点として見た映像が出力される。
動作可視化装置２０は、コンピュータによって実現され、映像出力部３０に出力される表示画面を生成する。表示画面には、動作センシング部１０が出力した学習者の動作を再現する映像と、手本動作を示す映像との重畳表示が含まれる。表示画面の生成にあたっては、三次元空間内のある一つの位置に仮想カメラが配置され、配置された仮想カメラが撮影する映像、すなわち配置された仮想カメラを仮想視点として見た映像が出力される。
【0034】
そして、動作可視化装置２０は、学習者の動作と手本動作との動作差分を計算し、当該動作差分に基づき、当該動作差分について学習者へ通知するための出力の内容を変化させる。これにより、学習者に対して学習者の動作と手本動作の差異を分かりやすく通知することが可能である。
【0035】
図１に示すように、動作可視化装置２０は、動作取得部２１０と、操作取得部２２０と、記憶部２３０と、制御部２４０とを備える。動作可視化装置２０は、動作センシング部１０および映像出力部３０と通信インタフェースを介して有線または無線により接続される。
【0036】
（動作取得部２１０）
動作取得部２１０は、動作センシング部１０と通信接続し、学習者動作データを取得する。
動作取得部２１０は、動作センシング部１０と通信接続し、学習者動作データを取得する。
【0037】
（操作取得部２２０）
操作取得部２２０は、学習者による操作を取得する。操作取得部２２０は、学習者の操作に基づき送信された、外部装置からの信号を取得してもよい。操作取得部２２０は、例えば、上述した仮想カメラの配置位置および配置姿勢を指定する操作を受け付けてもよい。
操作取得部２２０は、学習者による操作を取得する。操作取得部２２０は、学習者の操作に基づき送信された、外部装置からの信号を取得してもよい。操作取得部２２０は、例えば、上述した仮想カメラの配置位置および配置姿勢を指定する操作を受け付けてもよい。
【0038】
仮想カメラの配置位置および配置姿勢の指定は、マウスなどのポインティングデバイスを用いたカーソルのドラッグ操作によって行われてもよい。また、仮想カメラの配置位置の指定は、３Ｄマウスを用いた６自由度（３方向の平行移動および３方向の回転）の入力によって行われてもよい。また、仮想カメラの配置位置の指定は、学習者によってセンサ座標系における三次元座標が指定されることによって行われてもよい。なお、操作取得部２２０は学習者以外（例えば、学習者の指導者等）による操作を取得してもよい。
【0039】
（記憶部２３０）
記憶部２３０は、制御部２４０を動作させるためのプログラムおよびデータを記憶することが可能なメモリである。また、記憶部２３０は、制御部２４０の動作の過程で必要となる各種データを一時的に記憶することもできる。例えば、記憶部２３０は、不揮発性メモリであってよい。
記憶部２３０は、制御部２４０を動作させるためのプログラムおよびデータを記憶することが可能なメモリである。また、記憶部２３０は、制御部２４０の動作の過程で必要となる各種データを一時的に記憶することもできる。例えば、記憶部２３０は、不揮発性メモリであってよい。
【0040】
記憶部２３０は、例えば、学習者の学習の手本となる手本動作を示すデータを記憶してもよい。手本動作を示すデータを、「手本動作データ」とも称する。手本動作データは、手本動作を時系列に映像として再現可能なデータである。手本動作データの形式は特に限定されず、例えば、時系列順に保存された、手本動作を行う指導者の各部位の位置を示す三次元座標または各部位の角度等であってもよい。本実施形態では手本動作が指導者の動作である場合の例を主に説明する。
【0041】
手本動作データは、手本動作のステップ毎に分割されていてもよい。
【0042】
（制御部２４０）
制御部２４０は、各種の演算処理を行う。例えば、制御部２４０は、ＣＰＵ(Central Processing Unit）などの演算装置を含み、ＲＯＭ（Read Only Memory）により記憶されているプログラムが演算装置によりＲＡＭに展開されて実行されることにより、その機能が実現され得る。このとき、当該プログラムを記録した、コンピュータにより読み取り可能な記録媒体も提供され得る。あるいは、これらのブロックは、専用のハードウェアにより構成されていてもよいし、複数のハードウェアの組み合わせにより構成されてもよい。
制御部２４０は、各種の演算処理を行う。例えば、制御部２４０は、ＣＰＵ(Central Processing Unit）などの演算装置を含み、ＲＯＭ（Read Only Memory）により記憶されているプログラムが演算装置によりＲＡＭに展開されて実行されることにより、その機能が実現され得る。このとき、当該プログラムを記録した、コンピュータにより読み取り可能な記録媒体も提供され得る。あるいは、これらのブロックは、専用のハードウェアにより構成されていてもよいし、複数のハードウェアの組み合わせにより構成されてもよい。
【0043】
演算装置による演算に必要なデータは、記憶部２３０によって適宜記憶される。図１に示すように、制御部２４０は、差分算出部２４１、基準決定部２４２、および出力制御部２４３を備える。
【0044】
（差分算出部２４１）
差分算出部２４１は、学習者の動作と手本動作との動作差分を算出する。差分算出部２４１は、例えば、学習者動作データに含まれる学習者の複数の部位ごとに、学習者の部位の位置と、手本動作データに含まれる、当該学習者の部位と対応する手本動作における位置との差分を動作差分として算出してもよい。すなわち、差分算出部２４１は、学習者の部位の位置と、当該学習者の部位と対応する手本動作における位置との距離を動作差分として算出してもよい。
差分算出部２４１は、学習者の動作と手本動作との動作差分を算出する。差分算出部２４１は、例えば、学習者動作データに含まれる学習者の複数の部位ごとに、学習者の部位の位置と、手本動作データに含まれる、当該学習者の部位と対応する手本動作における位置との差分を動作差分として算出してもよい。すなわち、差分算出部２４１は、学習者の部位の位置と、当該学習者の部位と対応する手本動作における位置との距離を動作差分として算出してもよい。
【0045】
学習者の部位と対応する手本動作における位置とは、例えば、手本動作を行う指導者の、当該学習者の部位と同一の部位の位置であってもよい。より具体的な一例として、動作差分は、学習者の手首の関節位置と指導者の手首の関節位置との距離を含んでもよい。また、動作差分は、学習者の動作が角度によって表される場合には、角度の差分を含んでもよい。
【0046】
（基準決定部２４２）
基準決定部２４２は、出力制御部２４３にて用いる、動作差分と比較する基準値を決定する。基準決定部２４２の詳細については後述する。
基準決定部２４２は、出力制御部２４３にて用いる、動作差分と比較する基準値を決定する。基準決定部２４２の詳細については後述する。
【0047】
（出力制御部２４３）
出力制御部２４３は、学習者の動作を再現する第１の映像と、手本動作を表す第２の映像との重畳表示を含む表示画面を生成する。学習者を再現する映像である第１の映像を、「学習者映像」とも称する。また、手本動作を表す映像である第２の映像を、「手本映像」とも称する。
出力制御部２４３は、学習者の動作を再現する第１の映像と、手本動作を表す第２の映像との重畳表示を含む表示画面を生成する。学習者を再現する映像である第１の映像を、「学習者映像」とも称する。また、手本動作を表す映像である第２の映像を、「手本映像」とも称する。
【0048】
学習者映像は、仮想カメラの位置から見た学習者の動作を再現する映像である。また、手本映像は、当該仮想カメラの位置から見た手本動作を再現する映像である。なお、出力制御部２４３は、仮想的な三次元空間を生成して仮想カメラを配置した表示画面を生成してもよい。学習者は、表示画面上の仮想カメラをマウス等のドラッグ操作により動かして、仮想カメラの位置を指定してもよい。
【0049】
学習者映像は、学習者が自身の動作を認識することができればどのような映像であってもよい。例えば、学習者映像は、学習者の動作を表す、学習者に対応するオブジェクトの映像であってもよい。
【0050】
出力制御部２４３は、学習者動作データに含まれる各部位の位置に基づき、学習者動作の各部位の位置と学習者の動作を表すオブジェクトの各部位の位置の位置関係が同一になるよう学習者の動作を表すオブジェクトを生成してもよい。また、出力制御部２４３は、学習者動作データに含まれる部位の角度に合わせて学習者の動作を表すオブジェクトの部位の角度が動くよう制御して学習者映像を生成してもよい。
【0051】
学習者の動作を表すオブジェクトは、学習者の各部位の位置を丸または四角等の形で表現し、当該各位置を線で結んだいわゆる棒人間のようなモデルであってもよい。出力制御部２４３は、仮想空間上の学習者動作データに含まれる各部位の位置に対応する位置に丸または四角等の形を描画し、当該各位置を線で結ぶことにより学習者映像を生成してもよい。
【0052】
また、学習者の動作を表すオブジェクトは、キャラクタであってもよい。キャラクタの種類は特に限定されず、学習者を写実的またはデフォルメして表現したアバターであってもよいし、学習者と異なるキャラクタであってもよい。
【0053】
出力制御部２４３は、ここまで説明した学習者映像における学習者動作と同様の表現方法を用いて、手本動作データに基づき手本映像における手本動作を表現してもよい。なお、学習者映像における学習者動作を表すオブジェクトと手本映像における手本動作には、異なる表現方法が用いられてもよい。例えば、学習者の動作を表すオブジェクトとして学習者のアバターが用いられ、手本動作を表すオブジェクトとして棒人間のモデルが用いられてもよい。
【0054】
出力制御部２４３は、さらに、差分算出部２４１によって算出された動作差分に基づき、当該動作差分について学習者へ通知するための出力を行うよう制御する。また、出力制御部２４３は、基準値と動作差分との関係に応じて、当該出力の内容の変化を制御する。出力制御部２４３は、いずれの部位についての動作差分についての通知かを学習者が認識可能なように出力を行うよう制御してもよい。
【0055】
例えば、出力制御部２４３は、動作差分が基準値を上回る場合に、動作差分が基準値を上回っていることを示す出力を行うよう出力を制御してもよい。そして、出力制御部２４３は、動作差分が基準値以下である場合、動作差分が基準値に近い程、出力の内容が、動作差分が基準値を上回ることを示す出力の内容に近くなるよう、出力の内容の変化を制御してもよい。
【0056】
例えば、出力制御部２４３は、動作差分が基準値を上回っている部位の位置を示す表示を行うよう出力を制御してもよい。部位の位置を示す表示は、学習者映像または手本映像における当該部位の位置の色調、透明度または輝度を変化させることによって表現されてもよい。ここで、出力制御部２４３は、動作差分が基準値に近い程、変化の度合いを大きくするよう表示を制御してもよい。
【0057】
より具体的な一例として、出力制御部２４３は、動作差分が０である部位の位置を青色で表示するよう制御してもよい。また、出力制御部２４３は、動作差分が基準値を上回る部位の位置を赤色で表示することにより、動作差分が基準値を上回っている部位を示してもよい。そして、出力制御部２４３は、動作差分が０より大きく、かつ基準値以下である場合、基準値に近づく程、部位の位置を青色から赤色へ変化するよう表示の変化を制御してもよい。なお、以降の説明では、手本映像において、動作差分が０である部位の位置が青色で表示され、動作差分が基準値を上回る部位の位置が赤色で表示される例について主に説明する。
【0058】
ただし、動作差分が基準値を上回っていることを示す出力は、上述した例に限定されず、動作差分が基準値を上回っている部位の位置を示す矢印等の表示であってもよい。また、当該出力は、動作差分が基準値を上回っている部位同士を、学習者動作および手本動作を示す表示に用いられる線と異なる線で繋ぐ表示であってもよい。また、当該出力は、動作差分が基準値を上回っていることを示す文章の表示であってもよい。
【0059】
さらに、動作差分が基準値を上回っていることを示す出力は音または振動であってもよい。例えば、動作差分が基準値を上回る場合に、部位の位置を示す音声が所定の音量で出力されてもよい。また、動作差分が０より大きく、かつ基準値以下である場合、動作差分が基準値に近づく程、部位の位置を示す音声が所定の音量に近づいて大きくなるように音声の出力が制御されてもよい。
【0060】
（映像出力部３０）
映像出力部３０は、物理的なディスプレイによって構成され、出力制御部２４３によって生成された映像の表示を行う機能を有する。
映像出力部３０は、物理的なディスプレイによって構成され、出力制御部２４３によって生成された映像の表示を行う機能を有する。
【0061】
例えば、映像出力部３０は、液晶ディスプレイ（ＬＣＤ）装置であってもよいし、ＯＬＥＤ（Organic Light Emitting Diode）装置であってもよい。また、映像出力部３０は、ユーザの頭部に装着されるヘッドマウントディスプレイであってもよいし、設置型のディスプレイであってもよい。
【0062】
例えば、映像出力部３０は、二次元ディスプレイによって構成されてもよい。このとき、映像出力部３０は、出力制御部２４３によって生成されたオブジェクトの二次元映像を表示し得る。あるいは、映像出力部３０は、三次元ディスプレイによって構成されてもよい。このとき、映像出力部３０は、出力制御部２４３によって生成されたオブジェクトの三次元映像を表示し得る。
【0063】
なお、映像出力部３０は、スピーカ等の音出力部を含んでもよく、出力制御部２４３による制御に応じて音声を出力してもよい。
【0064】
以上、本発明の実施形態に係る動作可視化システム１の構成例について説明した。
【0065】
＜２．本発明の特徴構成＞
（基準決定部２４２）
続いて、本発明の特徴構成である、動作差分と比較される基準値を決定する基準決定部２４２について説明する。本実施形態における基準値は、動的に変化する。一方、本実施形態との比較例として、基準値が固定値である場合が考えられる。ここで、本実施形態との比較例について図２を用いて説明する。
（基準決定部２４２）
続いて、本発明の特徴構成である、動作差分と比較される基準値を決定する基準決定部２４２について説明する。本実施形態における基準値は、動的に変化する。一方、本実施形態との比較例として、基準値が固定値である場合が考えられる。ここで、本実施形態との比較例について図２を用いて説明する。
【0066】
図２は、本実施形態との比較例における学習者映像と手本映像の重畳表示について説明するための図である。本比較例では、基準値が０．２ｍで固定されるとする。また、本比較例では、動作差分が０ｍより大きく、かつ基準値である０．２ｍ以下である場合には、下段に示される色調変化Ｓ１に則って、動作差分が基準値に近づく程、部位の位置の表示が青色から赤色へ変化する。また、本比較例では、基準値である０．２ｍより大きい場合には、部位の位置の表示が赤色で示される。
【0067】
図２の左上段には、撮影範囲に手元（手先から肩まで）のみが収まるよう仮想カメラが配置されることによって生成される学習者映像と手本映像が重畳された表示画面Ｄ１が示されている。学習者映像は動作を行う学習者を示すオブジェクトＬ１を含む。手本映像は、手本動作を表すオブジェクトＥ１を含む。図２では、学習者映像が学習者動作を行うキャラクタの映像で表現され、手本映像が手本動作を行う棒人間のモデルの映像で表現される例が示されている。
【0068】
表示画面Ｄ１において、部位Ｊの一例である肩Ｊ１は、動作差分が０ｍであるため、青色で表示される。また、部位Ｊの一例である肘Ｊ２は、動作差分が０ｍより大きく、基準値である０．２ｍより小さい０．１ｍであるため、赤色と青色の中間色の紫色で表示される。部位Ｊの一例である手首Ｊ３は、動作差分が基準値である０．２ｍを上回る０．３ｍであるため、赤色で表示される。
【0069】
このような表示画面Ｄ１を確認する学習者は、自身の各部位Ｊがどのくらい手本動作と異なる動作を行っているかを容易に把握することが可能である。
【0070】
一方、図２の右上段には、撮影範囲に身体全体が収まるよう仮想カメラが配置されることによって生成される、学習者映像と手本映像が重畳された表示画面Ｄ２が示されている。学習者映像は動作を行う学習者を示すオブジェクトＬ２を含む。手本映像は、手本動作を表すオブジェクトＥ２を含む。
【0071】
表示画面Ｄ２において、部位Ｊの一例である手先Ｊ４は、動作差分が基準値である０．２ｍを上回る０．３ｍであるため、赤色で表示される。また、部位Ｊの一例である足首Ｊ５は、動作差分が基準値である０．２ｍを上回る０．４ｍであるため、赤色で表示される。また、表示画面Ｄ２においては、他の部位Ｊも同様に、動作差分が基準値である０．２ｍを上回るため、全ての部位Ｊが赤色で表示される例が示されている。
【0072】
ここで、表示画面Ｄ１と表示画面Ｄ２では、仮想カメラの位置が異なることにより、学習者の動作および手本動作の縮尺が異なる。すなわち、表示画面Ｄ２では、表示画面Ｄ１と比較して学習者の動作および手本動作の縮小率が大きくなる。以下、学習者の動作および手本動作の縮小率をまとめて「動作の縮小率」と呼ぶ。
【0073】
動作の縮小率が大きくなることにより、表示画面Ｄ１と比較して表示画面Ｄ２では動作の縮小率に対する基準値の比率が小さくなる。そのため、学習者が行った動作が表示画面Ｄ２上では僅かな動作であっても、動作差分が基準値を上回ってしまうことがある。その結果、表示画面Ｄ２のように、全ての部位Ｊが赤色で表示されてしまい、学習者自身の動作と手本動作との差分の大きさを学習者が適切に認識できない場合が想定される。
【0074】
そこで、本実施形態における基準決定部２４２は、動作差分と比較する基準値を動的に決定する。
【0075】
基準決定部２４２は、仮想カメラの設置位置に基づき、基準値を決定してもよい。より具体的に、基準決定部２４２は、仮想カメラの設置位置と基準点との距離に基づき基準値を決定してもよい。
【0076】
ここで、基準点は任意に設定されればよいが、学習者が動作を確認する位置の周辺に設定されることが望ましい。例えば、学習者が手元の動作を確認する場合には、手元周辺に設定されることが望ましい。
【0077】
基準点は、操作取得部２２０によって取得されてもよい。操作取得部２２０は、学習者によって指定された、基準点を示すセンサ座標系における座標を取得してもよい。また、操作取得部２２０は、学習者がマウス等をドラッグ操作することにより仮想空間で指定した基準点を取得してもよい。
【0078】
基準決定部２４２は、仮想カメラの設置位置と基準点との距離が長いほど、基準値が大きくなるよう基準値を決定してもよい。例えば、基準決定部２４２は、仮想カメラの設置位置と基準点との距離を基準値に決定してもよいし、当該距離に値を加減算または乗算してもよい。基準値に加減算または乗算される値は学習者によって指定されてもよい。
【0079】
また、基準決定部２４２は、基準値を規定の値の範囲内で決定してもよい。これにより、基準値が小さすぎることにより色の変化が過度になることや基準値が大きすぎて色が変化を学習者が認識できなくなることを防止できる。
【0080】
基準決定部２４２による基準値の算出方法の一例について説明する。ここで、三次元のセンサ座標系における基準点ｐＢは、三次元座標（ｘＢ，ｙＢ，ｚＢ）と表されるとする。また、三次元のセンサ座標系における仮想カメラの設置位置ｐＣは、三次元座標（ｘＣ，ｙＣ，ｚＣ）と表されるとする。
【0081】
仮想カメラの設置位置ｐＣと基準点ｐＢとの距離ｄＢＣは、下記の式（１）により算出される。
【0082】
【数1】
【0083】
【0084】
図３の左段には、学習者の手元の動作を示す学習者映像に写る学習者を表すオブジェクトＬ１の手元と仮想カメラＣがセンサ座標系で再現される仮想空間に存在する様子が示されている。左段に示す例において、仮想カメラＣの位置はｐＣ１で表される。
【0085】
また、図３の右段には、学習者の身体全体の動作を示す学習者映像に写る学習者を表すオブジェクトＬ２と仮想カメラＣがセンサ座標系で再現される仮想空間に存在する様子が示されている。左段に示す例において、仮想カメラＣの位置はｐＣ２で表される。
【0086】
ここで、図３の左段と右段に示すように、基準点ｐＢ１は学習者の手元に設定される。同一の基準点が設定された場合、基準点ｐＢ１と仮想カメラＣの設置位置ｐＣ２の距離ｄＢＣ２は、基準点ｐＢ１と仮想カメラＣの設置位置ｐＣ１の距離ｄＢＣ１よりも長くなる。すなわち、動作の縮小率が大きいほど基準点ｐＢと仮想カメラＣの設置位置ｐＣの距離ｄＢＣは大きくなる。
【0087】
そこで、基準決定部２４２は、仮想カメラの設置位置ｐＣと基準点ｐＢとの距離ｄＢＣに基づき、動作の縮小率が大きいほど基準値が大きくなるよう、下記の式（２）により基準値ｄｔｈを算出してもよい。
【0088】
【数2】
【0089】
式（２）において、ｄｍｉｎは基準値の最小値を表す。また、ｄｍａｘは基準値の最大値を表す。基準値の最小値ｄｍｉｎおよび基準値の最大値ｄｍａｘは設計に応じて任意の値に設定されればよい。これにより、基準値ｄｔｈがｄｍｉｎ以上ｄｍａｘ以下の範囲で決定される。
【0090】
また、ｄｐａｒａｍは任意に設定可能なパラメータである。パラメータｄｐａｒａｍは学習者によって指定されてもよい。学習者は、例えば、色の変化量が適切でないと感じた場合にパラメータｄｐａｒａｍを設定してもよい。より具体的に、学習者は色の変化が過度だと感じた場合にはパラメータｄｐａｒａｍを正の値に設定すればよい。また、学習者は色の変化が少ないと感じた場合にはパラメータｄｐａｒａｍを負の値に設定すればよい。かかる構成によれば、学習者が動作差分を適切に認識可能なように自由に色の変化の調整を行うことが可能である。
【0091】
なお、ここではパラメータｄｐａｒａｍを仮想カメラの設置位置ｐＣと基準点ｐＢとの距離ｄＢＣに加算する例を示したが、他のパラメータが含まれてもよく、例えば、仮想カメラの設置位置ｐＣと基準点ｐＢとの距離ｄＢＣに乗算されるパラメータが含まれてもよい。
【0092】
出力制御部２４３は、式（２）において算出された基準値ｄｔｈを用いて、下記の式（３）～式（５）によって決定されるＲＧＢ値に応じて、手本映像における部位の位置の表示の色を決定してもよい。
【0093】
【数3】
【0094】
Ｇ＝０ ・・・（４）
【0095】
【数4】
【0096】
ここで、ｄｂｏｄｙは各部位の位置についての動作差分である。式（３）～式（５）によって手本映像における部位の位置の表示のＲＧＢ値を決定することにより、動作差分が基準値を上回る場合に当該部位を赤色に表示できる。また、動作差分が基準値以下である場合には基準値に近づく程、青色に近づくように表示することができる。
【0097】
続いて、図４を用いて、本実施形態における学習者映像と手本映像の重畳表示の一例について説明する。図４は、本実施形態における学習者映像と手本映像の重畳表示の一例について説明するための図である。図４には、図２で示した比較例と同じ位置に仮想カメラが設置される場合であって、基準決定部２４２によって基準値が決定される場合の表示画面の一例が示されている。図２で示した比較例における表示画面と、図４を用いて説明する一例における表示画面は、部位の位置の表示以外は同一の表示である。
【0098】
図４左上段には、撮影範囲に手元のみが収まるよう仮想カメラが配置されることによって生成される学習者映像と手本映像が重畳された表示画面Ｄ３が示されている。ここでは、基準決定部２４２によって基準値が０．２ｍと決定された場合の例が示されている。
【0099】
【0100】
一方、図２の右上段には、撮影範囲に身体全体が収まるよう仮想カメラが配置されることによって生成される、学習者映像と手本映像が重畳された表示画面Ｄ４が示されている。ここでは、基準決定部２４２によって、表示画面Ｄ３で用いられる０．２ｍよりも大きい０．４ｍに基準値が決定された場合の例が示されている。
【0101】
表示画面Ｄ４においては、図２で示した比較例における色調変化Ｓ１と異なる色調変化Ｓ２に則って部位の位置の表示が変化する。これにより、図２における表示画面Ｄ２では全ての部位Ｊが赤色で表示されるのに対して、図４における表示画面Ｄ４では、動作差分が０．４ｍを下回る部位Ｊは青色から赤色の間の色で表示される。例えば、手先Ｊ４は、動作差分が０ｍより大きく、基準値である０．４ｍより小さい０．３ｍであるため、赤色よりの紫色で表示される。
【0102】
撮影範囲に身体全体が収まるよう仮想カメラが配置された場合であっても、表示画面Ｄ４を確認する学習者は、自身の各部位Ｊがどのくらい手本動作と異なる動作を行っているかを容易に把握できる。このように、以上説明した構成によれば、仮想カメラの位置によらず、学習者が自身の動作と手本動作との差分の大きさを動作の縮小率に合わせて適切に認識できる。
【0103】
＜３．本実施形態による動作処理例＞
続いて、本実施形態による動作処理例について図５および図６を用いて説明する。図５は、本実施形態にかかる動作可視化装置２０による動作処理の流れの一例を示すフローチャートである。
続いて、本実施形態による動作処理例について図５および図６を用いて説明する。図５は、本実施形態にかかる動作可視化装置２０による動作処理の流れの一例を示すフローチャートである。
【0104】
まず、基準決定部２４２は、基準点を取得する（Ｓ１０１）。基準点は、操作取得部２２０が学習者による位置の指定操作を取得することにより取得されてもよい。
【0105】
動作取得部２１０は、センシングデータに基づき推定された学習者の動作を示す学習者動作データを取得する（Ｓ１０２）。
【0106】
差分算出部２４１は、取得された学習者動作データが示す学習者の動作と記憶部２３０に記憶された手本動作データが示す手本動作との動作差分を算出する（Ｓ１０３）。
【0107】
基準決定部２４２は、仮想カメラの設置位置を取得する（Ｓ１０４）。仮想カメラの設置位置は、操作取得部２２０が学習者による位置の指定操作を取得することにより取得されてもよい。
【0108】
続いて、基準決定部２４２は、基準点と仮想カメラの設置位置に基づき、基準値を決定する（Ｓ１０５）。
【0109】
出力制御部２４３は、動作差分と基準値との関係に基づき、出力の内容の変更を決定する（Ｓ１０６）。そして、出力制御部２４３は、決定した変更を反映させた、学習者の動作を示す学習者映像と手本動作を示す手本映像の重畳表示を含む表示画面を生成する（Ｓ１０７）。
【0110】
出力制御部２４３は、終了処理が行われたかを判定する（Ｓ１０８）。終了処理は、操作取得部２２０が学習者によるキーボード操作による終了を指示する操作等を取得したことであってもよい。また、終了処理は、次のステップの手本動作が存在しないことであってもよい。
【0111】
終了処理が行われない場合（Ｓ１０８／ＮＯ）、出力制御部２４３は、生成する表示画面に含まれる手本映像の手本動作のステップを１ステップ進める（Ｓ１０９）。そして、動作可視化装置２０の各構成は、進められたステップについてＳ１０２～Ｓ１０７の処理を行う。終了処理が行われるまで、Ｓ１０２～Ｓ１０７の処理が繰り返されることにより、時間的に連続して学習動作と手本動作の重畳表示が出力される。終了処理が行われた場合（Ｓ１０８／ＹＥＳ）、処理は終了する。
【0112】
続いて、図６を用いて図５に示したフローチャートのＳ１０６にかかる出力の内容の変更を決定処理の一例を説明する。図６は、図５に示したフローチャートのＳ１０６にかかる出力の内容の変更を決定処理の流れの一例を示すフローチャートである。
【0113】
基準決定部２４２は、仮想カメラ設置位置と基準点の距離ｄＢＣを算出する（Ｓ２０１）。そして、基準決定部２４２は、仮想カメラ設置位置と基準点の距離ｄＢＣとパラメータｄｐａｒａｍとの加算値と、基準値の最大値ｄｍａｘと基準値の最小値ｄｍｉｎとの関係を判定する（Ｓ２０２）。
【0114】
基準決定部２４２は、Ｓ２０２にてｄＢＣ＋ｄｐａｒａｍ＜ｄｍｉｎと判定した場合、基準値をｄｍｉｎに設定する（Ｓ２０３）。
【0115】
基準決定部２４２は、Ｓ２０２にてｄｍｉｎ≦ｄＢＣ＋ｄｐａｒａｍ≦ｄｍａｘと判定した場合、基準値をｄＢＣ＋ｄｐａｒａｍに設定する（Ｓ２０４）。
【0116】
基準決定部２４２は、Ｓ２０２にてｄＢＣ＋ｄｐａｒａｍ＞ｄｍａｘと判定した場合、基準値をｄｍａｘに設定する（Ｓ２０５）。
【0117】
出力制御部２４３は、設定された基準値と動作差分の関係に基づき、表示内容の変更を決定し（Ｓ２０６）、処理は図５のフローチャートのＳ１０７に進む。出力制御部２４３は、例えば、動作差分が０から基準値に近づくほど、部位の位置が青色から赤色へ変化するよう表示の変化を制御してもよい。
【0118】
＜４．本実施形態による変形例＞
以上、本実施形態による動作可視化装置２０の動作処理例を説明した。本発明にかかる技術は、以上説明した実施形態に限定されない。上記では基準点が学習者によって指定された点で固定される例を説明したが、基準点は動的に変化してもよい。
以上、本実施形態による動作可視化装置２０の動作処理例を説明した。本発明にかかる技術は、以上説明した実施形態に限定されない。上記では基準点が学習者によって指定された点で固定される例を説明したが、基準点は動的に変化してもよい。
【0119】
例えば、手本動作が歩行等の移動動作を伴うことにより、手本映像において手本動作を表すオブジェクトと仮想カメラとの位置関係が変化する場合がある。図７および図８は、手本動作が移動を伴う場合の表示内容の変化について説明するための図である。図７には、手本映像において手本動作を表すオブジェクトＥ３と仮想カメラＣがセンサ座標系で再現される仮想空間に存在する様子が示されている。ここで、移動動作によりオブジェクトＥ３が破線で示される位置から実線で示される位置に移動したとする。
【0120】
図８に示されるように、基準点ｐＢ２は移動前のオブジェクトＥ３の手元の位置に設定される。この場合、上記実施形態によれば、基準値は、基準点ｐＢ２と仮想カメラの設置位置ｐＣ３との距離ｄＢＣ３に基づき算出される。ここで、移動動作が行われても、固定の基準点ｐＢ２によって算出された同一の基準値により表示内容の変化が制御される。
【0121】
しかし、手本動作が移動動作を伴う場合、同一の基準値によって表示内容の変化が制御されると、当該表示内容の変化が、学習者が動作差分を認識するために適切でないことがある。例えば、図７に示すように、仮想空間上でオブジェクトＥ３が仮想カメラＣから遠ざかる場合、動作の縮小率が高くなる。これにより、学習者は移動後の表示内容の変化を過度に感じる可能性がある。
【0122】
また、移動動作が行われた後に学習者が仮想カメラの位置を変更するよう操作することも考えられる。図８には、図７で示した移動前と移動後の動作の縮小率が同程度になるように（すなわち、オブジェクトＥ３と仮想カメラＣとの距離が移動前後で同程度になるように）、仮想カメラＣの位置が変更された様子が示されている。
【0123】
上述した実施形態によれば、仮想カメラＣの設置位置が変更されても、移動前のオブジェクトＥ３の手元である基準点ｐＢ２が基準値の算出に用いられる。そのため、移動前の仮想カメラＣの設置位置ｐＣ３と基準点ｐＢ２の距離ｄＢＣ３と、移動後の仮想カメラＣの設置位置ｐＣ４と基準点ｐＢ２の距離ｄＢＣ４が異なる場合、動作の縮小率が同程度であるにも関わらず、異なる基準値が算出されてしまう。
【0124】
ここで、学習者が基準点を移動後のオブジェクトＥ３の手元に改めて設定し直すことにより、動作の縮小率が同程度である場合に同程度の基準値が算出される。しかし、移動の都度基準点を設定し直すことを学習者が煩わしく感じる場合もある。さらに、学習者が基準点を指定する際に三次元座標を入力する場合には、適切な座標を入力することを難しく感じる可能性もある。また、誤ってオブジェクトＥ３の位置と異なる位置を入力してしまった場合、表示内容の変化が、学習者が動作差分を認識するために不適切となり得る。
【0125】
そこで、本実施形態の変形例として、基準点が動的に変化する例について説明する。本実施形態の変形例にかかる基準決定部２４２は、基準点をさらに決定する。
【0126】
基準決定部２４２は、学習者動作または手本動作における部位の位置に基づき基準点を決定してもよい。以下では基準決定部２４２が手本動作における部位の位置に基づき基準点を決定する例について主に説明する。
【0127】
より具体的に、基準決定部２４２は、基準点を、センサ座標系における、複数の部位のうち１以上の部位の位置に基づき決定してもよい。
【0128】
例えば、基準決定部２４２は、複数の部位の位置に基づき基準点を決定する場合、複数の部位の位置の重心点を基準点に決定してもよい。
【0129】
基準点を決定するために用いられる部位は、学習者によって指定されてもよい。学習者は、動作を確認したい部位（すなわち、手本動作をより細かく確認したい部位）を、基準点を決定するために用いられる部位として指定してもよい。より具体的には、学習者は、映像出力部３０に表示された部位の候補から動作を確認したい部位（例えば、右手、左手、右足および左足等）を指定してもよい。部位の候補は、学習者映像または手本映像中に表示されてもよい。学習者によって指定された、基準点を決定するために用いられる部位を「指定部位」とも称する。
【0130】
続いて、基準決定部２４２による基準点の決定処理について式を用いて説明する。選択されたｎ個の指定部位の位置ｐｊをまとめ集合Ｐとする。すなわち、まとめ集合Ｐは、学習者が動作を確認したい部位の集合とも言える。なお、以下ではｐｊ１，ｐｊ２・・，ｐｊｎのように、ｐｊに１からｎの数字を付すことにより各指定部位を区別するものとする。まとめ集合Ｐは、以下の式（６）ように表される。
【0131】
Ｐ＝｛ｐｊ１，ｐｊ２，ｐｊ３，・・・，ｐｊｎ｝ ・・・（６）
【0132】
基準決定部２４２は、まとめ集合Ｐに含まれる各要素の重心点を基準点ｐＢとして決定してもよい。すなわち、基準決定部２４２は、以下の式（７）によって基準点ｐＢを算出してもよい。なお、三次元のセンサ座標系において、指定部位の位置ｐｊｎは三次元座標（ｘｊｎ，ｙｊｎ，ｚｊｎ）と表されるとする。
【0133】
【数5】
【0134】
基準決定部２４２は、時系列変化する手本動作における指定部位の位置に応じて基準点を決定し直す。例えば、基準決定部２４２は、動作のステップの経過毎に基準点を決定し直してもよい。これにより、手本動作を表すオブジェクトがセンサ座標系の三次元空間上で移動しても、基準点ｐＢは選択された部位の重心点になる。例えば、指定部位が左手および右手である場合には、基準点ｐＢは左手と右手の中間の位置になる。
【0135】
【0136】
図９は、図７に示した状況における本変形例の適用例について説明するための図である。図９に示すように、移動前の基準点ｐＢ３は、移動前のオブジェクトＥ３の選択部位である右手の位置ｐｊ１と左手の位置ｐｊ２の中間の位置である。ここで、移動前の基準値は、仮想カメラＣの設置位置ｐＣ３と移動前の基準点ｐＢ３の距離ｄＢＣ３に応じて算出される。
【0137】
一方、移動後の基準点ｐＢ４は、移動後のオブジェクトＥ３の選択部位である右手の位置ｐｊ１’と左手の位置ｐｊ２’の中間の位置である。ここで、移動後の基準値は、仮想カメラＣの設置位置ｐＣ３と移動後の基準点ｐＢ４の距離ｄＢＣ５に応じて算出される。
【0138】
このように算出される基準値が用いられることにより、手本動作が移動を伴う場合であっても、仮想カメラＣとオブジェクトＥ３の距離に応じて、すなわち動作の縮小率に応じて、表示内容の変化が適切に制御される。例えば、図９に示すように仮想空間上でオブジェクトＥ３が仮想カメラＣから遠ざかる場合、移動前より動作の縮小率が高くなるが、基準値が大きく算出されるため、学習者は移動後の表示内容の変化を適切に感じられる。
【0139】
図１０は、図８に示した状況における本変形例の適用例について説明するための図である。つまり、図１０には図９で示した移動前と移動後の動作の縮小率が同程度になるように、すなわち、オブジェクトＥ３と仮想カメラＣとの距離が移動前後で同程度になるように仮想カメラＣの位置が変更された様子が示されている。図１０に示すように、仮想カメラＣの位置が変更された後の基準値は、移動後の仮想カメラＣの設置位置ｐＣ４と移動後の基準点ｐＢ４の距離ｄＢＣ６に応じて算出される。
【0140】
この時、前提より距離ｄＢＣ３と距離ｄＢＣ６は同程度になるため、移動前後で基準値も同程度の値になる。そのため、本変形例にかかる構成によれば、動作の縮小率が同程度である場合に同程度の基準値が算出されため、学習者は仮想カメラＣの設置位置を移動させた場合でも表示内容の変化を適切に感じられる。
【0141】
続いて、図１１を用いて、本変形例にかかる動作可視化装置２０による基準点決定の動作処理例について説明する。図１１は、変形例にかかる動作可視化装置２０による基準点決定の動作処理例の流れの一例を示すフローチャートである。なお、ここで説明する処理は、図５を用いて説明した処理のＳ１０４とＳ１０５の間で行われてもよい。この場合、図５におけるＳ１０１の処理は省略されてもよい。
【0142】
まず、基準決定部２４２は、選択部位の位置を取得する（Ｓ３０１）。選択部位は、学習者によって選択されて、操作取得部２２０によって取得されてもよい。基準決定部２４２は、例えば、センサ座標系の手本動作における選択部位の位置を示す座標を取得してもよい。
【0143】
続いて、基準決定部２４２は、選択部位の位置に基づき基準点の位置を決定する（Ｓ３０２）。基準決定部２４２は、例えば、選択部位の位置の重心点を基準点の位置として算出してもよい。
【0144】
以上、説明した本変形例の構成によれば、手本動作が移動を伴う場合でも、手本動作の移動に伴って基準点が移動するため、適切に表示内容を変化させるための基準値を算出できる。
【0145】
また、本変形例の構成では、学習者が確認したい部位を選択することで自動的に基準点が設定される。そのため、学習者は基準点の座標等を入力することが不要になるため、学習者が煩わしさを感じることなくスムーズに動作を学習することが可能である。
【0146】
＜５．ハードウェア構成例＞
続いて、本発明の実施形態に係る動作センシング部１０、動作可視化装置２０、および映像出力部３０のハードウェア構成例について説明する。
続いて、本発明の実施形態に係る動作センシング部１０、動作可視化装置２０、および映像出力部３０のハードウェア構成例について説明する。
【0147】
以下では、本発明の実施形態に係る動作センシング部１０、動作可視化装置２０、および映像出力部３０のハードウェア構成例として、情報処理装置９００のハードウェア構成例について説明する。なお、以下に説明する情報処理装置９００のハードウェア構成例は、動作可視化装置２０のハードウェア構成の一例に過ぎない。したがって、動作可視化装置２０のハードウェア構成は、以下に説明する情報処理装置９００のハードウェア構成から不要な構成が削除されてもよいし、新たな構成が追加されてもよい。
【0148】
図１２は、本発明の実施形態に係る動作センシング部１０、動作可視化装置２０、および映像出力部３０の例としての情報処理装置９００のハードウェア構成を示す図である。情報処理装置９００は、ＣＰＵ９０１と、ＲＯＭ９０２と、ＲＡＭ９０３と、ホストバス９０４と、ブリッジ９０５と、外部バス９０６と、インタフェース９０７と、入力装置９０８と、出力装置９０９と、ストレージ装置９１０と、通信装置９１１と、を備える。
【0149】
ＣＰＵ９０１は、演算処理装置および制御装置として機能し、各種プログラムに従って情報処理装置９００内の動作全般を制御する。また、ＣＰＵ９０１は、マイクロプロセッサであってもよい。ＲＯＭ９０２は、ＣＰＵ９０１が使用するプログラムや演算パラメータ等を記憶する。ＲＡＭ９０３は、ＣＰＵ９０１の実行において使用するプログラムや、その実行において適宜変化するパラメータ等を一時記憶する。これらはＣＰＵバス等から構成されるホストバス９０４により相互に接続されている。
【0150】
ホストバス９０４は、ブリッジ９０５を介して、ＰＣＩ（Peripheral Component Interconnect/Interface）バス等の外部バス９０６に接続されている。なお、必ずしもホストバス９０４、ブリッジ９０５および外部バス９０６を分離構成する必要はなく、１つのバスにこれらの機能を実装してもよい。
【0151】
入力装置９０８は、マウス、キーボード、タッチパネル、ボタン、マイクロフォン、スイッチおよびレバー等ユーザが情報を入力するための入力手段と、ユーザによる入力に基づいて入力信号を生成し、ＣＰＵ９０１に出力する入力制御回路等から構成されている。情報処理装置９００を操作するユーザは、この入力装置９０８を操作することにより、情報処理装置９００に対して各種のデータを入力したり処理動作を指示したりすることができる。
【0152】
出力装置９０９は、例えば、ＣＲＴ（Cathode Ray Tube）ディスプレイ装置、ＬＣＤ装置、ＯＬＥＤ装置、ランプ等の表示装置およびスピーカ等の音声出力装置を含む。
【0153】
ストレージ装置９１０は、データ格納用の装置である。ストレージ装置９１０は、記憶媒体、記憶媒体にデータを記録する記録装置、記憶媒体からデータを読み出す読出し装置および記憶媒体に記録されたデータを削除する削除装置等を含んでもよい。ストレージ装置９１０は、例えば、ＨＤＤ（Hard Disk Drive）で構成される。このストレージ装置９１０は、ハードディスクを駆動し、ＣＰＵ９０１が実行するプログラムや各種データを格納する。
【0154】
通信装置９１１は、例えば、ネットワークに接続するための通信デバイス等で構成された通信インタフェースである。また、通信装置９１１は、無線通信または有線通信のどちらに対応してもよい。
【0155】
以上、本発明の実施形態に係る動作センシング部１０、動作可視化装置２０、および映像出力部３０のハードウェア構成例について説明した。
【0156】
＜６．補足＞
以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。
以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。
【0157】
例えば、上記実施形態では、動作を確認するユーザが学習者であるとしたが、本発明はかかる例に限定されない。本発明にかかるユーザは、動作を確認する者であれば特に限定されず、例えば、ゲームのプレイヤーであってもよい。
【0158】
また、上記実施形態では、動作差分が大きいほどその旨が強調されるよう出力の内容の変化するよう出力が制御される例を説明したが、動作差分が小さいほどその旨が強調されるよう出力が制御されてもよい。
【0159】
また、上記実施形態では、出力制御部２４３が記憶部２３０に記憶された手本動作データに基づき手本映像を生成する例を説明したが、出力制御部２４３は、リアルタイムに撮像された指導者によって行われる手本動作に基づき手本映像を生成してもよい。
【0160】
また、上記実施形態では、動作差分が０から基準値に近づくにつれて、出力制御部２４３が出力を変化させる例を説明した。しかし、出力制御部２４３は、動作差分がある値（「第２の基準値」とも称する。また、第２の基準値と区別するために、ここでは上記で説明した基準値を「第１の基準値」と称する。）以下である場合には出力を変化させなくてもよい。すなわち、出力制御部２４３は、動作差分が第２の基準値を上回り、第１の基準値を下回る場合に出力を変化させてもよい。第２の基準値は、第１の基準値と同様に、動的に変化されてもよい。
【0161】
また、上記実施形態では、基準値が仮想カメラの設置位置と基準点の距離に基づき決定される例を示したが、基準値の決定方法はこれに限定されない。例えば、基準値は、事前に設定される学習者の学習レベルに応じて決定されてもよい。より具体的には、基準値は、学習者が初心者である場合には大きい値に設定され、学習者が上級者である場合には小さい値に設定されてもよい。
【0162】
また、動作可視化装置２０に内蔵されるＣＰＵ、ＲＯＭおよびＲＡＭなどのハードウェアに、上述した動作可視化装置２０の各構成と同等の機能を発揮させるためのコンピュータプログラムも作成可能である。また、該コンピュータプログラムが記憶された非一時的な記憶媒体も提供される。
【符号の説明】
【0163】
１０ 動作センシング部
１１０ センサ部
１２０ 動作推定部
２０ 動作可視化装置
２１０ 動作取得部
２２０ 操作取得部
２３０ 記憶部
２４０ 制御部
２４１ 差分算出部
２４２ 基準決定部
２４３ 出力制御部
１１０ センサ部
１２０ 動作推定部
２０ 動作可視化装置
２１０ 動作取得部
２２０ 操作取得部
２３０ 記憶部
２４０ 制御部
２４１ 差分算出部
２４２ 基準決定部
２４３ 出力制御部
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】