特開2024-109398フィードバックタイミングの制御装置、制御方法および制御プログラム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024109398
(43)【公開日】2024-08-14
(54)【発明の名称】フィードバックタイミングの制御装置、制御方法および制御プログラム
(51)【国際特許分類】
G09B 19/00 20060101AFI20240806BHJP
G06F 3/04817 20220101ALI20240806BHJP
G06F 3/04815 20220101ALI20240806BHJP
【ＦＩ】
G09B19/00 Z
G06F3/04817
G06F3/04815
【審査請求】未請求
【請求項の数】13
【出願形態】ＯＬ
(21)【出願番号】P 2023014168
(22)【出願日】2023-02-01
【国等の委託研究の成果に係る記載事項】（出願人による申告）令和元年度、国立研究開発法人科学技術振興機構、戦略的創造研究推進事業「仮想エージェントによる個人適応された情動社会スキルの訓練」委託研究、産業技術力強化法第１７条の適用を受ける特許出願
(71)【出願人】
【識別番号】504143441
【氏名又は名称】国立大学法人 奈良先端科学技術大学院大学
(74)【代理人】
【識別番号】110000822
【氏名又は名称】弁理士法人グローバル知財
(72)【発明者】
【氏名】藤本 雄一郎
(72)【発明者】
【氏名】周 行羽
【テーマコード（参考）】
5E555
【Ｆターム（参考）】
5E555AA25
5E555AA27
5E555BA38
5E555BB38
5E555BC04
5E555BE17
5E555CA10
5E555CA42
5E555CA44
5E555CA47
5E555CB21
5E555CB64
5E555CB65
5E555CB69
5E555DA08
5E555DA09
5E555DA23
5E555DB18
5E555DC09
5E555DC31
5E555DD06
5E555FA00
(57)【要約】
【課題】ユーザ情報の取得を伴うトレーニングにおいて、ユーザに対して、効果的にリアルタイムフィードバックを行うことのできるフィードバックタイミング制御装置、制御方法及び制御プログラムを提供する。
【解決手段】ユーザ情報取得手段２、問題行動取得手段３、フィードバックタイミング判定手段４及びフィードバック情報出力手段５から成る。ユーザ情報取得手段２は、ユーザ情報をリアルタイムに取得する。問題行動取得手段３は、トレーニング中におけるユーザの問題行動を取得する。フィードバックタイミング判定手段４は、問題行動の判定時点から所定時間前までのユーザ情報に応じた問題行動の種類毎の動作改善度及び阻害度の各推定値に基づいて、フィードバックに適したタイミングを判定する。フィードバック情報出力手段５は、フィードバックに適したタイミングで、ユーザに対して、問題行動のフィードバックを出力する。
【選択図】図１
【解決手段】ユーザ情報取得手段２、問題行動取得手段３、フィードバックタイミング判定手段４及びフィードバック情報出力手段５から成る。ユーザ情報取得手段２は、ユーザ情報をリアルタイムに取得する。問題行動取得手段３は、トレーニング中におけるユーザの問題行動を取得する。フィードバックタイミング判定手段４は、問題行動の判定時点から所定時間前までのユーザ情報に応じた問題行動の種類毎の動作改善度及び阻害度の各推定値に基づいて、フィードバックに適したタイミングを判定する。フィードバック情報出力手段５は、フィードバックに適したタイミングで、ユーザに対して、問題行動のフィードバックを出力する。
【選択図】図１
【特許請求の範囲】
【請求項1】
トレーニング中のユーザの動作情報と音声情報の少なくとも何れかに関するユーザ情報のフィードバックのタイミングを制御する装置であって、
前記ユーザ情報をリアルタイムに取得するユーザ情報取得手段と、
前記トレーニング中におけるユーザの問題行動を検出する問題検出器から前記問題行動を取得する問題行動取得手段と、
前記問題行動の判定時点から所定時間前までの前記ユーザ情報に応じた前記問題行動の種類毎の動作改善度及び阻害度の各推定値に基づいて、フィードバックに適したタイミングを判定するフィードバックタイミング判定手段と、
前記フィードバックに適したタイミングで、ユーザに対して、前記問題行動のフィードバックを出力するフィードバック情報出力手段、
を備えることを特徴とするフィードバックタイミング制御装置。
前記ユーザ情報をリアルタイムに取得するユーザ情報取得手段と、
前記トレーニング中におけるユーザの問題行動を検出する問題検出器から前記問題行動を取得する問題行動取得手段と、
前記問題行動の判定時点から所定時間前までの前記ユーザ情報に応じた前記問題行動の種類毎の動作改善度及び阻害度の各推定値に基づいて、フィードバックに適したタイミングを判定するフィードバックタイミング判定手段と、
前記フィードバックに適したタイミングで、ユーザに対して、前記問題行動のフィードバックを出力するフィードバック情報出力手段、
を備えることを特徴とするフィードバックタイミング制御装置。
【請求項2】
前記フィードバックタイミング判定手段は、前記動作改善度が第１閾値より高く、前記阻害度が第２閾値より低い場合に、フィードバックに適したタイミングと判定することを特徴とする請求項１に記載のフィードバックタイミング制御装置。
【請求項3】
前記フィードバックタイミング判定手段は、前記動作改善度が前記阻害度より高く、かつ、所定閾値より高い場合に、フィードバックに適したタイミングと判定することを特徴とする請求項１に記載のフィードバックタイミング制御装置。
【請求項4】
前記フィードバックタイミング判定手段は、前記動作改善度の推定値を出力する第１推定器と、前記阻害度の推定値を出力する第２推定器と、第１推定器と第２推定器からそれぞれ出力された前記動作改善度及び前記阻害度の推定値に基づいてフィードバックの可否を判定する判定器、を備え、
前記動作改善度の推定値は、前記問題行動の種類、及び、前記問題行動の判定時点から前記所定時間前までのユーザ情報に対応した動作改善レベルを、予め学習した第１推定器から出力され、
前記阻害度の推定値は、前記問題行動の種類、及び、前記問題行動の判定時点から前記所定時間前までのユーザ情報に対応した阻害レベルを、予め学習した第２推定器から出力されることを特徴とする請求項２又は３に記載のフィードバックタイミング制御装置。
前記動作改善度の推定値は、前記問題行動の種類、及び、前記問題行動の判定時点から前記所定時間前までのユーザ情報に対応した動作改善レベルを、予め学習した第１推定器から出力され、
前記阻害度の推定値は、前記問題行動の種類、及び、前記問題行動の判定時点から前記所定時間前までのユーザ情報に対応した阻害レベルを、予め学習した第２推定器から出力されることを特徴とする請求項２又は３に記載のフィードバックタイミング制御装置。
【請求項5】
前記ユーザ情報取得手段は、目線の動き、頭部の動き、手の動き、又は、コントローラ操作の少なくとも何れかに関する前記ユーザ情報を取得することを特徴とする請求項４に記載のフィードバックタイミング制御装置。
【請求項6】
前記ユーザ情報取得手段は、音声の大小、音声の速度の少なくとも何れかに関する前記ユーザ情報を取得することを特徴とする請求項４に記載のフィードバックタイミング制御装置。
【請求項7】
前記ユーザ情報取得手段は、体温、脈拍、血圧または発汗の少なくとも何れかの生体情報を前記ユーザ情報として更に取得することを特徴とする請求項４に記載のフィードバックタイミング制御装置。
【請求項8】
前記問題行動取得手段において取得対象となる前記問題行動は、
アイコンタクト、ジェスチャー、若しくは、笑顔、の有無若しくは程度、
発話の速度、声量、明瞭度、若しくは、強弱の程度、
身体の姿勢、若しくは、姿勢の変化、
の少なくとも何れかが含まれることを特徴とする請求項４に記載のフィードバックタイミング制御装置。
アイコンタクト、ジェスチャー、若しくは、笑顔、の有無若しくは程度、
発話の速度、声量、明瞭度、若しくは、強弱の程度、
身体の姿勢、若しくは、姿勢の変化、
の少なくとも何れかが含まれることを特徴とする請求項４に記載のフィードバックタイミング制御装置。
【請求項9】
前記フィードバックタイミング判定手段は、前記問題行動について、前記所定時間内にフィードバックに適したタイミングと判定されない場合には、判定を終了し、
前記フィードバック情報出力手段は、前記問題行動のフィードバックを強制的に出力することを特徴とする請求項４に記載のフィードバックタイミング制御装置。
前記フィードバック情報出力手段は、前記問題行動のフィードバックを強制的に出力することを特徴とする請求項４に記載のフィードバックタイミング制御装置。
【請求項10】
前記フィードバックタイミング判定手段が、同じ種類の前記問題行動のフィードバックを所定回数出力した場合、
又は、
前記問題行動取得手段が、同じ種類の前記問題行動を所定回数取得した場合には、
前記フィードバック情報出力手段は、前記問題行動のフィードバックを強制的に出力することを特徴とする請求項１～３の何れかに記載のフィードバックタイミング制御装置。
又は、
前記問題行動取得手段が、同じ種類の前記問題行動を所定回数取得した場合には、
前記フィードバック情報出力手段は、前記問題行動のフィードバックを強制的に出力することを特徴とする請求項１～３の何れかに記載のフィードバックタイミング制御装置。
【請求項11】
前記トレーニングは、ＶＲ空間を用いたトレーニングであることを特徴とする請求項１～３の何れかに記載のフィードバックタイミング制御装置。
【請求項12】
コンピュータが、トレーニング中のユーザの動作情報と音声情報の少なくとも何れかに関するユーザ情報のフィードバックのタイミングを制御する方法であって、
前記ユーザ情報をリアルタイムに取得するユーザ情報取得ステップと、
前記トレーニング中におけるユーザの問題行動を検出する問題検出器から前記問題行動を取得する問題行動取得ステップと、
前記問題行動の判定時点から所定時間前までの前記ユーザ情報に応じた前記問題行動の種類毎の動作改善度及び阻害度の各推定値に基づいて、フィードバックに適したタイミングを判定するフィードバックタイミング判定ステップと、
前記フィードバックに適したタイミングで、ユーザに対して、前記問題行動のフィードバックを出力するフィードバック情報出力ステップ、
を備えることを特徴とするフィードバックタイミング制御方法。
前記ユーザ情報をリアルタイムに取得するユーザ情報取得ステップと、
前記トレーニング中におけるユーザの問題行動を検出する問題検出器から前記問題行動を取得する問題行動取得ステップと、
前記問題行動の判定時点から所定時間前までの前記ユーザ情報に応じた前記問題行動の種類毎の動作改善度及び阻害度の各推定値に基づいて、フィードバックに適したタイミングを判定するフィードバックタイミング判定ステップと、
前記フィードバックに適したタイミングで、ユーザに対して、前記問題行動のフィードバックを出力するフィードバック情報出力ステップ、
を備えることを特徴とするフィードバックタイミング制御方法。
【請求項13】
トレーニング中のユーザの動作情報と音声情報の少なくとも何れかに関するユーザ情報のフィードバックのタイミングを制御するためにコンピュータを、
前記ユーザ情報をリアルタイムに取得するユーザ情報取得手段、
前記トレーニング中におけるユーザの問題行動を検出する問題検出器から前記問題行動を取得する問題行動取得手段、
前記問題行動の判定時点から所定時間前までの前記ユーザ情報に応じた前記問題行動の種類毎の動作改善度及び阻害度の各推定値に基づいて、フィードバックに適したタイミングを判定するフィードバックタイミング判定手段、
前記フィードバックに適したタイミングで、ユーザに対して、前記問題行動のフィードバックを出力するフィードバック情報出力手段、
として機能させるためのフィードバックタイミング制御プログラム。
前記ユーザ情報をリアルタイムに取得するユーザ情報取得手段、
前記トレーニング中におけるユーザの問題行動を検出する問題検出器から前記問題行動を取得する問題行動取得手段、
前記問題行動の判定時点から所定時間前までの前記ユーザ情報に応じた前記問題行動の種類毎の動作改善度及び阻害度の各推定値に基づいて、フィードバックに適したタイミングを判定するフィードバックタイミング判定手段、
前記フィードバックに適したタイミングで、ユーザに対して、前記問題行動のフィードバックを出力するフィードバック情報出力手段、
として機能させるためのフィードバックタイミング制御プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、ユーザのトレーニング中に、ユーザに対するフィードバックを行う技術に関するものであり、特に、ＶＲ空間を用いたトレーニングにおいてフィードバックを行う技術に関する。
【背景技術】
【0002】
近年、比較的安価な頭部装着型ディスプレイ（ヘッドマウントディスプレイ：ＨＭＤ）の普及に伴い、バーチャルリアリティ（ＶＲ）を使用した各種訓練システムが注目を集めている。ＶＲ訓練は本番に近い状況をバーチャルに再現することで、様々な訓練効果が見込めることから、医療、産業、運動等、様々な分野で、研究、商品開発が進んでいる。また一般に、ＶＲ用のＨＭＤは、視線計測器、加速度センサ、マイク等複数のセンサを搭載しており、訓練中のユーザの状態を計測することで、ユーザの現在の能力を推定し、理想的な行動から外れた問題点をシステムが指摘するフィードバック技術が有効利用可能となる。
【0003】
トレーニングに対してフィードバックを行う技術としては、表現力を高めてコミュニケーション能力を向上させる効果的なトレーニングを容易に行うため、教師表現情報とユーザ表現力情報との一致点相違点に基づいて、表現力の類似度合を算出しユーザにフィードバックする情報処理装置が知られている（特許文献１を参照）。
また、対象者の運動意欲を好適に刺激するため、複数の運動項目の各々の評価基準値と測定値との差異に基づいて、評価手段により導出された評価結果を調整し、トレーニング後に対象者へ共有する提示システムが知られている（特許文献２を参照）。
しかしながら、フィードバックのタイミングについては、特許文献１の情報処理装置では「好適なタイミング」、特許文献２の提示システムでは「所定のタイミング」としか記載がなく、いずれも、トレーニング中ではなく、トレーニング後のフィードバックを行うものである。
また、対象者の運動意欲を好適に刺激するため、複数の運動項目の各々の評価基準値と測定値との差異に基づいて、評価手段により導出された評価結果を調整し、トレーニング後に対象者へ共有する提示システムが知られている（特許文献２を参照）。
しかしながら、フィードバックのタイミングについては、特許文献１の情報処理装置では「好適なタイミング」、特許文献２の提示システムでは「所定のタイミング」としか記載がなく、いずれも、トレーニング中ではなく、トレーニング後のフィードバックを行うものである。
【0004】
これに対して、非特許文献１では、プレゼンテーションにおけるバーチャル聴衆を使用したリアルタイムフィードバックを提案している。さらに、それをプレゼンテーション後に、その良し悪しをまとめてフィードバックするディレイドフィードバックと比較して効果を検証している。
非特許文献２では、ＶＲを用いた認知訓練において、脳波計により計測されたユーザのα波を用いて、ユーザがタスクに対して感じている主観的な難易度を推定し、それに基づいてトレーニングコンテンツの難易度を変化させる手法を開示している。
非特許文献２では、ＶＲを用いた認知訓練において、脳波計により計測されたユーザのα波を用いて、ユーザがタスクに対して感じている主観的な難易度を推定し、それに基づいてトレーニングコンテンツの難易度を変化させる手法を開示している。
【0005】
このように、ＶＲ技術を利用したプレゼンテーション訓練において、ユーザの現在のパフォーマンスを観測し、それに対するフィードバックを即座に提示する手法は既に提案されている。しかし、非特許文献１などの従来技術では、時に、ユーザの現在行っている行動や思考をリアルタイムフィードバックが邪魔することにより、期待した訓練効果（スキル向上）が得られなかったと指摘されている。また、非特許文献２等の従来技術のように、訓練中のユーザの状態を脳波等の可観測情報から推定し、それにより、訓練効果が高まるように訓練内容を制御する技術は提案されているが、リアルタイムフィードバック、すなわちユーザに現在の主タスク（例えば、プレゼンテーション）とは別の異なる副タスク（フィードバック内容の認知とそれへの対応）実施を促し、これを動的に制御する技術はこれまでに提案されていないが実情である。
【先行技術文献】
【特許文献】
【0006】
【特許文献1】特開２０２２－１４２１５８号公報
【特許文献2】特開２０２２－１０７０５４号公報
【非特許文献】
【0007】
【非特許文献1】Mathieu Chollet, Stacy Marsella, andStefan Scherer, Training public speaking with virtual social interactions:effectiveness of real-time feedback and delayed feedback, Journal on MultimodalUser Interfaces, 2021.
【非特許文献2】Arindam Dey, Alex Chatburn, Mark Billinghurst, Exploration of an EEG-Based CognitivelyAdaptive Training System in Virtual Reality, IEEE VR 2019.
【発明の概要】
【発明が解決しようとする課題】
【0008】
ＶＲ訓練では、ユーザが見る情報の内容や位置、時間を自由に設定できることから、訓練後にユーザの問題点を纏めて指摘する方法（サマリーフィードバック）と比較して、訓練中に問題点を即座に指摘するリアルタイムフィードバックが有益であるといえる。
そして、このようなリアルタイムフィードバックは、ＶＲ空間を用いたユーザのトレーニングに限られず、ユーザの動作情報、音声情報又は生体情報を取得しながらトレーニングを行う場合に広く有益である。
そして、このようなリアルタイムフィードバックは、ＶＲ空間を用いたユーザのトレーニングに限られず、ユーザの動作情報、音声情報又は生体情報を取得しながらトレーニングを行う場合に広く有益である。
【0009】
かかる状況に鑑みて、本発明は、ユーザ情報の取得を伴うトレーニングにおいて、ユーザに対して、効果的にリアルタイムフィードバックを行うことのできるフィードバックタイミング制御装置、制御方法及び制御プログラムを提供することを目的とする。
【課題を解決するための手段】
【0010】
上記課題を解決すべく、本発明のフィードバックタイミング制御装置は、トレーニング中のユーザの動作情報と音声情報の少なくとも何れかに関するユーザ情報のフィードバックのタイミングを制御する装置であって、ユーザ情報をリアルタイムに取得するユーザ情報取得手段と、トレーニング中におけるユーザの問題行動を検出する問題検出器から問題行動を取得する問題行動取得手段と、問題行動の判定時点から所定時間前までのユーザ情報に応じた問題行動の種類毎の動作改善度及び阻害度の各推定値に基づいて、フィードバックに適したタイミングを判定するフィードバックタイミング判定手段と、フィードバックに適したタイミングで、ユーザに対して、問題行動のフィードバックを出力するフィードバック情報出力手段、を備える。
かかる構成とされることにより、バーチャルリアリティ（ＶＲ）技術を利用した訓練システムなどにおいて、ユーザに対する訓練を補助する情報（フィードバック）をシステムが提示するタイミングをユーザの状態に応じて適切に制御できる。
かかる構成とされることにより、バーチャルリアリティ（ＶＲ）技術を利用した訓練システムなどにおいて、ユーザに対する訓練を補助する情報（フィードバック）をシステムが提示するタイミングをユーザの状態に応じて適切に制御できる。
【0011】
ここでのトレーニングとは、ユーザの動作情報や、音声情報、生体情報などのユーザ情報を取得しながら、ユーザがトレーニングを行うものを広く含み、例えば、プレゼンテーションや、面接、会話などのコミュニケーションに関する訓練、スポーツ・リハビリテーション・筋力トレーニングを含む運動、車両・航空機を含む移動体の運転、ロボット・機械の操縦、医療者による手技、ゲーム、演技、演奏、歌唱又はダンスなどが含まれる。
ユーザ情報とは、当該トレーニングを行うユーザの動作情報や、音声情報、生体情報などのことである。問題行動とは、当該トレーニングにおいて改善すべき行動のことであり、作為のものに限られず、不作為のものも含まれる。問題行動取得手段は、問題行動を取得する際には、各問題行動の種類に関する情報も同時に取得する。
問題行動取得手段において、１つ目の問題行動が取得された後、当該問題行動について、フィードバックの出力の有無が決定されていない状態では、１つ目の問題行動は保留状態となり、２つ目の問題行動を取得しないことが好ましい。その後、１つ目の問題行動についての処理が完了した後、再度、次の問題行動の取得が可能となる。これにより、複数の問題行動が発生した際の処理が容易となる。なお、取得した問題行動が消滅した場合は、フィードバックタイミング判定手段における判定は行われない。
問題検出器が検出するユーザの問題行動は、ユーザ情報取得手段により取得されたユーザ情報に基づき検出してもよいし、ユーザ情報取得手段以外の手段により取得されたユーザ情報に基づき検出してもよい。例えば、問題検出器自体が、ユーザ情報を取得してもよい。
ユーザ情報とは、当該トレーニングを行うユーザの動作情報や、音声情報、生体情報などのことである。問題行動とは、当該トレーニングにおいて改善すべき行動のことであり、作為のものに限られず、不作為のものも含まれる。問題行動取得手段は、問題行動を取得する際には、各問題行動の種類に関する情報も同時に取得する。
問題行動取得手段において、１つ目の問題行動が取得された後、当該問題行動について、フィードバックの出力の有無が決定されていない状態では、１つ目の問題行動は保留状態となり、２つ目の問題行動を取得しないことが好ましい。その後、１つ目の問題行動についての処理が完了した後、再度、次の問題行動の取得が可能となる。これにより、複数の問題行動が発生した際の処理が容易となる。なお、取得した問題行動が消滅した場合は、フィードバックタイミング判定手段における判定は行われない。
問題検出器が検出するユーザの問題行動は、ユーザ情報取得手段により取得されたユーザ情報に基づき検出してもよいし、ユーザ情報取得手段以外の手段により取得されたユーザ情報に基づき検出してもよい。例えば、問題検出器自体が、ユーザ情報を取得してもよい。
【0012】
フィードバックタイミング判定手段における所定時間は、５～２０秒であることが好ましく、より好ましくは１０～１５秒である。
動作改善度とは、当該フィードバックにより、その後、自身の動作が改善したと感じる度合いのことである。また、阻害度とは、当該フィードバックを邪魔だと感じる度合いのことである。
フィードバック情報出力手段において、フィードバックとは、ユーザのトレーニングに対して改善点や評価を伝え、軌道修正を促すことである。フィードバック出力の方法は、視覚的、聴覚的、触覚的な手法など、五感を刺激する手法が広く含まれる。例えば、ディスプレイ上に、注意を促す表示を行ったり、音声で改善点を伝えたり、或いはユーザが身に着けているデバイスを振動させたりしてもよい。
動作改善度とは、当該フィードバックにより、その後、自身の動作が改善したと感じる度合いのことである。また、阻害度とは、当該フィードバックを邪魔だと感じる度合いのことである。
フィードバック情報出力手段において、フィードバックとは、ユーザのトレーニングに対して改善点や評価を伝え、軌道修正を促すことである。フィードバック出力の方法は、視覚的、聴覚的、触覚的な手法など、五感を刺激する手法が広く含まれる。例えば、ディスプレイ上に、注意を促す表示を行ったり、音声で改善点を伝えたり、或いはユーザが身に着けているデバイスを振動させたりしてもよい。
【0013】
本発明のフィードバックタイミング制御装置において、フィードバックタイミング判定手段が、同じ種類の問題行動のフィードバックを所定回数出力した場合、又は、問題行動取得手段が、同じ種類の問題行動を所定回数取得した場合には、フィードバック情報出力手段は、問題行動のフィードバックを強制的に出力することでもよい。
すなわち、同一のトレーニング中において、問題行動取得手段が、同じ種類の問題行動を所定回数取得した場合には、フィードバックタイミング判定手段は判定を終了し、フィードバック情報出力手段は、強制的にフィードバックを出力することでもよい。また、同一のトレーニング中において、ユーザに対して、同じ問題行動で、同じフィードバックを出力するのが所定回数以上の場合に、阻害度の推定値に関わらず、即時的にフィードバックを出力することでもよい。
例えば、トレーニング中において、何度も同じミスが発生している場合には、フィードバック提示タイミングを早めることが有効となる場合があるからである。
すなわち、同一のトレーニング中において、問題行動取得手段が、同じ種類の問題行動を所定回数取得した場合には、フィードバックタイミング判定手段は判定を終了し、フィードバック情報出力手段は、強制的にフィードバックを出力することでもよい。また、同一のトレーニング中において、ユーザに対して、同じ問題行動で、同じフィードバックを出力するのが所定回数以上の場合に、阻害度の推定値に関わらず、即時的にフィードバックを出力することでもよい。
例えば、トレーニング中において、何度も同じミスが発生している場合には、フィードバック提示タイミングを早めることが有効となる場合があるからである。
【0014】
本発明のフィードバックタイミング制御装置において、フィードバックタイミング判定手段は、動作改善度が第１閾値より高く、阻害度が第２閾値より低い場合に、フィードバックに適したタイミングと判定することが好ましい。
あるタイミングでフィードバックを提示した場合、動作改善度が高かったとしても、同時に阻害度が高いようでは、トレーニング効果が低減してしまう恐れがある。また、阻害度が低かったとしても、同時に動作改善度が低いようでは、やはりトレーニング効果が低減してしまう恐れがある。そこで、動作改善度が第１閾値より高く、阻害度が第２閾値より低い場合に、フィードバックに適したタイミングと判定することで、トレーニング効果を向上できる。
第１閾値又は第２閾値は、被験者実験において、事後的に被験者から得られた主観的な動作改善レベル又は阻害レベルに関する回答結果と、第三者による動作改善度又は阻害度の解析結果を機械学習して設定する。
本発明のフィードバックタイミング制御装置において、フィードバックタイミング判定手段は、動作改善度が阻害度より高く、かつ、所定閾値より高い場合に、フィードバックに適したタイミングと判定することでもよい。阻害度が高くとも、動作改善度が極めて高い場合には、優先してフィードバックを提示することができる。
あるタイミングでフィードバックを提示した場合、動作改善度が高かったとしても、同時に阻害度が高いようでは、トレーニング効果が低減してしまう恐れがある。また、阻害度が低かったとしても、同時に動作改善度が低いようでは、やはりトレーニング効果が低減してしまう恐れがある。そこで、動作改善度が第１閾値より高く、阻害度が第２閾値より低い場合に、フィードバックに適したタイミングと判定することで、トレーニング効果を向上できる。
第１閾値又は第２閾値は、被験者実験において、事後的に被験者から得られた主観的な動作改善レベル又は阻害レベルに関する回答結果と、第三者による動作改善度又は阻害度の解析結果を機械学習して設定する。
本発明のフィードバックタイミング制御装置において、フィードバックタイミング判定手段は、動作改善度が阻害度より高く、かつ、所定閾値より高い場合に、フィードバックに適したタイミングと判定することでもよい。阻害度が高くとも、動作改善度が極めて高い場合には、優先してフィードバックを提示することができる。
【0015】
本発明のフィードバックタイミング制御装置において、フィードバックタイミング判定手段は、動作改善度の推定値を出力する第１推定器と、阻害度の推定値を出力する第２推定器と、第１推定器と第２推定器からそれぞれ出力された動作改善度及び阻害度の推定値に基づいてフィードバックの可否を判定する判定器、を備え、動作改善度の推定値は、問題行動の種類、及び、問題行動の判定時点から所定時間前までのユーザ情報に対応した動作改善レベルを、予め学習した第１推定器から出力され、阻害度の推定値は、問題行動の種類、及び、問題行動の判定時点から所定時間前までのユーザ情報に対応した阻害レベルを、予め学習した第２推定器から出力されることでもよい。
第１又は第２推定器が、問題行動の種類、及び、問題行動の判定時点から所定時間前までのユーザ情報に対応した動作改善レベル又は阻害レベルを予め学習することにより、より精度の高い判定が可能となる。
第１又は第２推定器が、問題行動の種類、及び、問題行動の判定時点から所定時間前までのユーザ情報に対応した動作改善レベル又は阻害レベルを予め学習することにより、より精度の高い判定が可能となる。
【0016】
本発明のフィードバックタイミング制御装置において、ユーザ情報取得手段は、目線の動き、頭部の動き、手の動き、又は、コントローラ操作の少なくとも何れかに関するユーザ情報を取得することでもよい。
目線の動きや、頭部の動きは、例えば、ＶＲ訓練の場合は、ヘッドマウントディスプレイなどにより取得できる。また、手の動きや、コントローラ操作については、コントローラなどにより取得できる。ここでコントローラ操作とは、例えば、プレゼンテーションを行う際のスライド切替操作などのことである。また例えば、Microsoft Azure Kinect（登録商標）等の身体動作計測用カメラにより、ユーザの動作を計測してもよい。さらに、タッチパネルや感圧センサなど、身体の接触などにより、ユーザの動作情報を取得してもよい。
目線の動きや、頭部の動きは、例えば、ＶＲ訓練の場合は、ヘッドマウントディスプレイなどにより取得できる。また、手の動きや、コントローラ操作については、コントローラなどにより取得できる。ここでコントローラ操作とは、例えば、プレゼンテーションを行う際のスライド切替操作などのことである。また例えば、Microsoft Azure Kinect（登録商標）等の身体動作計測用カメラにより、ユーザの動作を計測してもよい。さらに、タッチパネルや感圧センサなど、身体の接触などにより、ユーザの動作情報を取得してもよい。
【0017】
本発明のフィードバックタイミング制御装置において、ユーザ情報取得手段は、音声の大小、音声の速度の少なくとも何れかに関するユーザ情報を取得することでもよい。ここでの音声とは、主にユーザの声のことであるが、呼吸音など声以外の口部から発せられる音や、動作により生じる音、他者から発せられる音声なども含まれる。音声の大小とは、声が大きい又は小さいなどのことであり、音声の速度とは、発話が速い（早口）又は遅いなどのことである。音声情報は、ヘッドマウントディスプレイが内蔵するマイクなどにより取得されるが、その他のマイクを使用してもよい。
【0018】
本発明のフィードバックタイミング制御装置において、ユーザ情報取得手段は、体温、脈拍、血圧または発汗の少なくとも何れかの生体情報をユーザ情報として更に取得することでもよい。生体情報を取得することにより、より高精度の判定が可能となる。
【0019】
本発明のフィードバックタイミング制御装置において、問題行動取得手段において取得対象となる問題行動は、アイコンタクト、ジェスチャー、若しくは、笑顔、の有無若しくは程度、発話の速度、声量、明瞭度、若しくは、強弱の程度、身体の姿勢、若しくは、姿勢の変化、の少なくとも何れかが含まれることでもよい。これらの問題行動を取得対象とすることにより、プレゼンテーションなど、コミュニケーションと関連するトレーニングにおける訓練効果を向上できる。
問題検出器は、問題行動の種類毎に、所定の閾値を超えた場合に、問題行動として検出し、問題行動取得手段は、当該問題行動を取得する。具体的に問題行動として取得される場合としては、例えば、アイコンタクトが少ない、ジェスチャーが少ない、手の動きが不適切である、レーザーポインターの操作が不適切である、笑顔が少ない、発話が速い、発話が遅い、声が大きい、声が小さい、声がこもっている、発話のリズムが悪い、姿勢が悪い、といったものが挙げられるが、かかる例に限られない。例えば、ジェスチャーが多すぎる場合や、笑顔が多すぎるなどの場合を問題行動として取得してもよい。なお、発話のリズムが悪いとは、ユーザが文章をただ読んでいるだけのように、適切な緩急をつけた発話になっていない場合のことである。
問題検出器は、問題行動の種類毎に、所定の閾値を超えた場合に、問題行動として検出し、問題行動取得手段は、当該問題行動を取得する。具体的に問題行動として取得される場合としては、例えば、アイコンタクトが少ない、ジェスチャーが少ない、手の動きが不適切である、レーザーポインターの操作が不適切である、笑顔が少ない、発話が速い、発話が遅い、声が大きい、声が小さい、声がこもっている、発話のリズムが悪い、姿勢が悪い、といったものが挙げられるが、かかる例に限られない。例えば、ジェスチャーが多すぎる場合や、笑顔が多すぎるなどの場合を問題行動として取得してもよい。なお、発話のリズムが悪いとは、ユーザが文章をただ読んでいるだけのように、適切な緩急をつけた発話になっていない場合のことである。
【0020】
本発明のフィードバックタイミング制御装置において、フィードバックタイミング判定手段は、問題行動について、所定時間内にフィードバックに適したタイミングと判定されない場合には、判定を終了し、フィードバック情報出力手段は、問題行動のフィードバックを強制的に出力することでもよい。問題行動が発生してからフィードバックまでの時間が長くなり過ぎると、フィードバック提示の効果が低減してしまう。そこで、問題行動の取得から所定時間の経過を待って、強制的にフィードバックを行うことで、訓練効果を向上できる。所定時間が５秒未満であると、ユーザに適したフィードバックがなされなくなり、また２０秒を超過すると問題行動が発生してからフィードバックまでの時間が長くなり過ぎ、フィードバック提示の効果が低減してしまう。そこで、所定時間としては、５～２０秒が好ましく、より好ましくは８～１５秒、更に好ましくは１０秒である。
【0021】
本発明のフィードバックタイミング制御装置におけるトレーニングは、ＶＲ空間を用いたトレーニングであることが好ましい。ＶＲ訓練では、ユーザは、リアルな環境で訓練を行えるため、訓練後にユーザの問題点を纏めて指摘するのではなく、訓練中に問題点を即座に指摘することで、より訓練効果を向上できる。
【0022】
本発明のフィードバックタイミング制御方法は、コンピュータが、トレーニング中のユーザの動作情報と音声情報の少なくとも何れかに関するユーザ情報のフィードバックのタイミングを制御する方法であって、ユーザ情報をリアルタイムに取得するユーザ情報取得ステップと、トレーニング中におけるユーザの問題行動を検出する問題検出器から問題行動を取得する問題行動取得ステップと、問題行動の判定時点から所定時間前までのユーザ情報に応じた問題行動の種類毎の動作改善度及び阻害度の各推定値に基づいて、フィードバックに適したタイミングを判定するフィードバックタイミング判定ステップと、フィードバックに適したタイミングで、ユーザに対して、問題行動のフィードバックを出力するフィードバック情報出力ステップ、を備える。
【0023】
本発明のフィードバックタイミング制御プログラムは、トレーニング中のユーザの動作情報と音声情報の少なくとも何れかに関するユーザ情報のフィードバックのタイミングを制御するためにコンピュータを、ユーザ情報をリアルタイムに取得するユーザ情報取得手段、トレーニング中におけるユーザの問題行動を検出する問題検出器から問題行動を取得する問題行動取得手段、問題行動の判定時点から所定時間前までのユーザ情報に応じた問題行動の種類毎の動作改善度及び阻害度の各推定値に基づいて、フィードバックに適したタイミングを判定するフィードバックタイミング判定手段、フィードバックに適したタイミングで、ユーザに対して、問題行動のフィードバックを出力するフィードバック情報出力手段、として機能させるためのものである。
【発明の効果】
【0024】
本発明のフィードバックタイミング制御装置、制御方法及び制御プログラムによれば、ユーザ情報の取得を伴うトレーニングにおいて、ユーザに対して、効果的にリアルタイムフィードバックを行うことができるといった効果がある。
【図面の簡単な説明】
【0025】
【図1】実施例１のフィードバックタイミング制御装置の機能ブロック図
【図2】実施例１のフィードバックタイミング制御装置の使用イメージ図（１）
【図3】実施例１のフィードバックタイミング制御装置の使用イメージ図（２）
【図4】実施例１のフィードバックタイミング制御方法の概略フロー図
【図5】実施例１のフィードバックタイミング制御方法の詳細フロー図
【図6】フィードバックタイミング制御方法の説明図（１）
【図7】フィードバックタイミング制御方法の説明図（２）
【図8】フィードバックタイミング制御方法の説明図（３）
【図9】実験における動作改善度及び阻害度の結果を示すグラフ
【発明を実施するための形態】
【0026】
以下、本発明の実施形態の一例を、図面を参照しながら詳細に説明していく。なお、本発明の範囲は、以下の実施例や図示例に限定されるものではなく、幾多の変更及び変形が可能である。
【実施例0027】
本実施例のフィードバックタイミング制御装置は、バーチャルリアリティ（ＶＲ）技術を利用した訓練システム（以下、「ＶＲ訓練システム」ともいう。）において、ユーザに対する訓練を補助する情報（フィードバック）をシステムが提示するタイミングをユーザの状態に応じて制御するものである。そこでまず、ＶＲ訓練システムについて説明する。
図２は、ＶＲ訓練システムの構成イメージ図を示している。本実施例のフィードバックタイミング制御装置は、図２に示すＶＲ訓練システム１００に搭載されている。図２に示すように、ＶＲ訓練システム１００は、コンピュータ１０、ヘッドマウントディスプレイ２１、コントローラ２２、身体動作計測用カメラ２３及びリストバンド２４で構成される。ユーザ７は、頭部にヘッドマウントディスプレイ２１、腕部にリストバンド２４を装着し、両手で各々コントローラ２２を把持する。
図２は、ＶＲ訓練システムの構成イメージ図を示している。本実施例のフィードバックタイミング制御装置は、図２に示すＶＲ訓練システム１００に搭載されている。図２に示すように、ＶＲ訓練システム１００は、コンピュータ１０、ヘッドマウントディスプレイ２１、コントローラ２２、身体動作計測用カメラ２３及びリストバンド２４で構成される。ユーザ７は、頭部にヘッドマウントディスプレイ２１、腕部にリストバンド２４を装着し、両手で各々コントローラ２２を把持する。
【0028】
本実施例では、人前でのプレゼンテーション訓練を訓練内容としているが、訓練内容はプレゼンテーションに限られず、ユーザの身体の動きや、音声の変化、生理指標の変化から問題行動を取得し、ユーザにフィードバックすることが有効であるものであれば、幅広く含まれる。例えば、面接や会話などのコミュニケーションに関する訓練でもよいし、コミュニケーション以外の訓練でもよい。例えば、スポーツ・リハビリテーション・筋力トレーニングを含む運動、車両・航空機を含む移動体の運転、ロボット・機械の操縦、医療者による手技、ゲーム、演技、演奏、歌唱又はダンスなどの訓練でもよい。
【0029】
ヘッドマウントディスプレイ２１は、ディスプレイ及びスピーカ（図示せず）を備え、ユーザ７に視覚的かつ聴覚的に仮想空間６を体感させることができる。また、ヘッドマウントディスプレイ２１は、視線計測器、加速度センサ及びマイク（図示せず）を備え、ユーザ７の頭部の動き、視線の動き、ユーザ７が発する音声などを検出できる。身体動作計測用カメラ２３は、ユーザ７の動作を計測するものであり、Microsoft Azure Kinectが好適に用いられる。リストバンド２４は、発汗と脈拍を計測するリストバンド型デバイスであり、Ｅ４が好適に用いられる。
ヘッドマウントディスプレイ２１、コントローラ２２、身体動作計測用カメラ２３又はリストバンド２４は、コンピュータ１０と無線で接続されているが、一部又は全部を有線で接続し通信することでもよい。ＶＲ訓練システム１００において使用する機器は、上述のものに限られず、また、上述の機器の一部のみを用いてもよい。
ヘッドマウントディスプレイ２１、コントローラ２２、身体動作計測用カメラ２３又はリストバンド２４は、コンピュータ１０と無線で接続されているが、一部又は全部を有線で接続し通信することでもよい。ＶＲ訓練システム１００において使用する機器は、上述のものに限られず、また、上述の機器の一部のみを用いてもよい。
【0030】
図３は、実施例１のフィードバックタイミング制御装置の使用イメージ図であり、（１）は聴取者側の表示イメージ、（２）はスライド側の表示イメージを示している。図３（１）又は（２）に示すように、ユーザ７が体感する仮想空間６では、実際のプレゼンテーションと同様に、聴取者側を向いたり、スライド側を向いたりしながら、発話やジェスチャー等を行い、プレゼンテーションの練習が可能である。ここでは説明の都合上、二次元イメージで示しているが、実際には、ユーザ７は三次元の仮想空間６を体感できる。このように、ＶＲ訓練システム１００は、一人で、リアルな環境で、何度でも、訓練できるといったメリットがある。
【0031】
また、仮想空間６では、問題行動の種類毎にアイコン（８ａ～８ｊ）が空間にオーバーラップして表示されており、問題行動が検出された場合は、ユーザ７に適したタイミングで該当する問題行動に対応したアイコンが強調表示される（図示せず）。アイコン８ａは「声が大きい」、アイコン８ｂは「声が小さい」、アイコン８ｃは「発話が速い」、アイコン８ｄは「発話が遅い」を表し、それぞれ該当する場合にフィードバック提示が行われる。アイコン８ｅは「リズム」を表し、適切な緩急をつけた発話になっていない場合、例えば、ユーザ７が文章をただ読んでいるだけのような発話をしている場合にフィードバック提示が行われる。アイコン８ｆは「ポインター」を表し、レーザーポインターの操作が不適切な場合にフィードバック提示が行われる。また、アイコン８ｇは「笑顔」、アイコン８ｈは「手の動き」、アイコン８ｉは「アイコンタクト」、アイコン８ｊは「ジェスチャー」、を表し、笑顔が少ない場合や、手の動きが不適切な場合、アイコンタクト若しくはジェスチャーが少ないなど適切でない場合にそれぞれフィードバック提示が行われる。
【0032】
かかるＶＲ訓練システムにおいて、ユーザ７が臨場感のある訓練を行いながら、併行してユーザ７の訓練中の振る舞いを計測することで、ユーザ７の訓練パフォーマンスを評価し、望ましくない点を即座に検知して指摘するリアルタイムフィードバックは、訓練効果を向上するために極めて有効である。
しかし、リアルタイムフィードバックは、訓練に集中しているユーザ７を逆に邪魔してしまい、訓練効果を減少させる可能性もある。そこで、本実施例のフィードバックタイミング制御装置では、ユーザ７にとって適したタイミングでフィードバック提示を行うことを可能としている。
しかし、リアルタイムフィードバックは、訓練に集中しているユーザ７を逆に邪魔してしまい、訓練効果を減少させる可能性もある。そこで、本実施例のフィードバックタイミング制御装置では、ユーザ７にとって適したタイミングでフィードバック提示を行うことを可能としている。
【0033】
図１は、実施例１のフィードバックタイミング制御装置の機能ブロック図を示している。図１に示すように、フィードバックタイミング制御装置１は、ユーザ情報取得手段２、問題行動取得手段３、フィードバックタイミング判定手段４及びフィードバック情報出力手段５で構成される。
ユーザ情報取得手段２は、ユーザ情報をリアルタイムに取得するものである。ＶＲ訓練システム１００においては、ヘッドマウントディスプレイ２１、コントローラ２２、身体動作計測用カメラ２３又はリストバンド２４を、ユーザ情報取得手段２として機能させる。取得するユーザ情報としては、目線の動き、頭部の動き、手の動き、コントローラ操作などの身体情報、音声の大小、発話の速度などの音声情報、体温、脈拍、血圧または発汗などの生体情報が含まれる。
問題行動取得手段３は、トレーニング中におけるユーザの問題行動を検出する問題検出器（図示せず）から問題行動を取得するものである。
ユーザ情報取得手段２は、ユーザ情報をリアルタイムに取得するものである。ＶＲ訓練システム１００においては、ヘッドマウントディスプレイ２１、コントローラ２２、身体動作計測用カメラ２３又はリストバンド２４を、ユーザ情報取得手段２として機能させる。取得するユーザ情報としては、目線の動き、頭部の動き、手の動き、コントローラ操作などの身体情報、音声の大小、発話の速度などの音声情報、体温、脈拍、血圧または発汗などの生体情報が含まれる。
問題行動取得手段３は、トレーニング中におけるユーザの問題行動を検出する問題検出器（図示せず）から問題行動を取得するものである。
【0034】
フィードバックタイミング判定手段４は、問題行動の判定時点から所定時間前までのユーザ情報に応じた問題行動の種類毎の動作改善度及び阻害度の各推定値に基づいて、フィードバックに適したタイミングを判定するものであり、動作改善度の推定値を出力する第１推定器４１、阻害度の推定値を出力する第２推定器４２、及び、第１推定器４１と第２推定器４２からそれぞれ出力された動作改善度及び阻害度の推定値に基づいてフィードバックの可否を判定する判定機４３を備える。ＶＲ訓練システム１００においては、コンピュータ１０を、問題検出器、問題行動取得手段３及びフィードバックタイミング判定手段４として機能させる。
フィードバック情報出力手段５は、フィードバックに適したタイミングで、ユーザに対して、問題行動のフィードバックを出力するものである。ＶＲ訓練システム１００においては、ヘッドマウントディスプレイ２１を、フィードバック情報出力手段５として機能させる。
フィードバック情報出力手段５は、フィードバックに適したタイミングで、ユーザに対して、問題行動のフィードバックを出力するものである。ＶＲ訓練システム１００においては、ヘッドマウントディスプレイ２１を、フィードバック情報出力手段５として機能させる。
【0035】
図４は、実施例１のフィードバックタイミング制御方法の概略フロー図を示している。図４に示すように、まず、ユーザ情報取得手段２を用いて、ユーザ情報をリアルタイムに取得する（ステップＳ０１：ユーザ情報取得ステップ）。
そして、ユーザ情報をリアルタイムに取得しながら、問題行動取得手段３を用いて、トレーニング中におけるユーザの問題行動を検出する問題検出器から問題行動を取得する（ステップＳ０２：問題行動取得ステップ）。本実施例では、問題行動取得手段３は、ユーザ情報取得手段２を用いて取得したユーザ情報に基づいて問題行動を取得しているが、ユーザ情報取得手段２により取得したユーザ情報以外のユーザ情報に基づいて問題行動を取得してもよい。
問題行動取得手段３が問題行動を取得した場合、フィードバックタイミング判定手段４は、問題行動の判定時点から所定時間前までのユーザ情報に応じた問題行動の種類毎の動作改善度及び阻害度の各推定値に基づいて、フィードバックに適したタイミングを判定する（ステップＳ０３：フィードバックタイミング判定ステップ）。
フィードバックタイミング判定手段４において、当該問題行動につき、フィードバックに適したタイミングであると判定されると、フィードバック情報出力手段５は、ユーザに対して、問題行動のフィードバックを出力する（ステップＳ０４：フィードバック情報出力ステップ）。
そして、ユーザ情報をリアルタイムに取得しながら、問題行動取得手段３を用いて、トレーニング中におけるユーザの問題行動を検出する問題検出器から問題行動を取得する（ステップＳ０２：問題行動取得ステップ）。本実施例では、問題行動取得手段３は、ユーザ情報取得手段２を用いて取得したユーザ情報に基づいて問題行動を取得しているが、ユーザ情報取得手段２により取得したユーザ情報以外のユーザ情報に基づいて問題行動を取得してもよい。
問題行動取得手段３が問題行動を取得した場合、フィードバックタイミング判定手段４は、問題行動の判定時点から所定時間前までのユーザ情報に応じた問題行動の種類毎の動作改善度及び阻害度の各推定値に基づいて、フィードバックに適したタイミングを判定する（ステップＳ０３：フィードバックタイミング判定ステップ）。
フィードバックタイミング判定手段４において、当該問題行動につき、フィードバックに適したタイミングであると判定されると、フィードバック情報出力手段５は、ユーザに対して、問題行動のフィードバックを出力する（ステップＳ０４：フィードバック情報出力ステップ）。
【0036】
図５は、実施例１のフィードバックタイミング制御方法の詳細フロー図を示している。図５に示すように、まず、ユーザ情報取得手段２によりユーザ情報をリアルタイムに取得する（ステップＳ１１）。
そして、問題行動取得手段３が、問題検出器から問題行動を取得した場合（ステップＳ１２）は、フィードバックに適したタイミングの判定が開始される（ステップＳ１３）。これに対して、問題検出器から問題行動を取得しない場合は、再度、ユーザ情報を取得し（ステップＳ１１）、問題行動の取得の有無が判定される（ステップＳ１２）。ステップＳ１２の判定は、リアルタイムに行われるが、別の実施形態では、例えば、０．１～１．０秒毎など、所定時間毎に行ってもよい。なお、ステップＳ１３、Ｓ１５、Ｓ１９におけるＴ３とは、問題行動の取得時点から、判定時点までの経過時間であり、図６～８に示す時間Ｔ３と同義である。また、ステップＳ１９におけるＴ１とは、判定を行う時間間隔を表し、本実施例では、略０．２５秒で固定されている。ステップＳ１９におけるＴ１は、図６～８に示す時間Ｔ１と同義である。
そして、問題行動取得手段３が、問題検出器から問題行動を取得した場合（ステップＳ１２）は、フィードバックに適したタイミングの判定が開始される（ステップＳ１３）。これに対して、問題検出器から問題行動を取得しない場合は、再度、ユーザ情報を取得し（ステップＳ１１）、問題行動の取得の有無が判定される（ステップＳ１２）。ステップＳ１２の判定は、リアルタイムに行われるが、別の実施形態では、例えば、０．１～１．０秒毎など、所定時間毎に行ってもよい。なお、ステップＳ１３、Ｓ１５、Ｓ１９におけるＴ３とは、問題行動の取得時点から、判定時点までの経過時間であり、図６～８に示す時間Ｔ３と同義である。また、ステップＳ１９におけるＴ１とは、判定を行う時間間隔を表し、本実施例では、略０．２５秒で固定されている。ステップＳ１９におけるＴ１は、図６～８に示す時間Ｔ１と同義である。
【0037】
フィードバックに適したタイミングの判定が開始（ステップＳ１３）された後、問題行動取得手段３において、問題行動の取得が消滅した場合は、問題行動は消滅したものとして扱われ（ステップＳ１４）、再度、ユーザ情報を取得し（ステップＳ１１）、問題行動の取得の有無が判定される（ステップＳ１２）。
問題行動取得手段３において、問題行動の取得が消滅していない場合（ステップＳ１４）は、次に、問題行動取得からの時間Ｔ３が所定時間を経過したか否かの判定が行われる（ステップＳ１５）。ここで、問題行動取得から所定時間が経過した場合は、フィードバックタイミング判定手段４は、動作改善度及び阻害度の各推定値に基づいた判定を行わずに、フィードバック情報出力手段５により、強制的にユーザに対してフィードバックを出力する（ステップＳ１６）。本実施例では、所定時間は１０秒であるが、訓練内容等に応じて適宜調整可能である。
問題行動取得手段３において、問題行動の取得が消滅していない場合（ステップＳ１４）は、次に、問題行動取得からの時間Ｔ３が所定時間を経過したか否かの判定が行われる（ステップＳ１５）。ここで、問題行動取得から所定時間が経過した場合は、フィードバックタイミング判定手段４は、動作改善度及び阻害度の各推定値に基づいた判定を行わずに、フィードバック情報出力手段５により、強制的にユーザに対してフィードバックを出力する（ステップＳ１６）。本実施例では、所定時間は１０秒であるが、訓練内容等に応じて適宜調整可能である。
【0038】
ステップＳ１５において、判定開始から所定時間が経過していない場合は、フィードバックタイミング判定手段４において、動作改善度及び阻害度の各推定値に基づいた判定を行う（ステップＳ１７，１８）。具体的には、判定器４３において、第１推定器から出力された動作改善度の推定値が第１閾値より高く（ステップＳ１７）、かつ、第２推定器から出力された阻害度の推定値が第２閾値より低い（ステップＳ１８）場合は、フィードバックに適したタイミングとして判定され（ステップＳ２０）、フィードバック情報出力手段５により、ユーザに対してフィードバックを出力する（ステップＳ２１）。これに対して、第１推定器から出力された動作改善度の推定値が第１閾値より高いとはいえない場合（ステップＳ１７）や、第１推定器から出力された動作改善度の推定値が第１閾値より高い場合（ステップＳ１７）であっても、第２推定器から出力された阻害度の推定値が第２閾値より低いとはいえない場合（ステップＳ１８）は、再度、時間Ｔ１の経過を待って（ステップＳ１９）、問題行動取得手段３における、問題行動の取得の消滅の有無を判定する（ステップＳ１４）。なお、動作改善度及び阻害度の各推定値に基づいた判定（ステップＳ１７，１８）については、ステップＳ１８による判定を行った後に、ステップＳ１７による判定を行ってもよい。
【0039】
次に、問題行動取得手段３が問題行動を取得する時点とフィードバックタイミング判定時点との関係や、判定を行う時間間隔、フィードバックタイミング判定手段４において動作改善度及び阻害度の各推定値の算出に用いられるユーザ情報の時間的範囲、などの関係について説明する。図６～８は、フィードバックタイミング制御方法の説明図を示している。ここでは、問題行動が検出され、問題行動取得手段３が問題行動を取得した問題行動取得時点Ｄから所定の時間間隔で判定を行い、判定時点Ｐ１から判定時点Ｐ１０まで判定を行った結果、判定時点Ｐ１０においてフィードバックに適したタイミングであると判定された場合を例として説明する。
【0040】
図６は、問題行動が取得された後、最初の判定が行われた状態、図７は、２回目の判定が行われた状態、図８は、１０回目の判定が行われた状態を示している。時間Ｔ１は、判定を行う時間間隔を表し、本実施例では、略０．２５秒とされている。図７，８に示すように、判定は一定の間隔で行われる。時間Ｔ２は、フィードバックタイミング判定手段４において、動作改善度及び阻害度の各推定値の算出に用いられるユーザ情報の時間的範囲を表したものである。図６～８に示すように、時間Ｔ２は、判定時点Ｐ１～Ｐ１０から所定時間前まで遡った時点Ｐ０から、判定時点Ｐ１～Ｐ１０までの時間であるため、判定時点が変化しても時間Ｔ２の長さは変化せず一定である。時間Ｔ３は、問題行動取得時点Ｄから、判定時点Ｐ１～Ｐ１０までの経過時間であり、図５に示すステップＳ１５の問題行動取得から所定時間が経過したか否かの判定に用いられる。
【0041】
このように、フィードバックタイミング制御装置１において、フィードバックタイミング判定手段４は、問題行動につき、フィードバックに適した未来のタイミングを推定するものではなく、各判定時点におけるフィードバックの適切性だけを判定することにより、迅速かつ高精度な判定を実現したものである。なお、図６～８に示すように、問題行動取得時点Ｄのタイミングから時間Ｔ１経過後に１回目の判定をする場合は、図５に示すステップＳ１４の直前にステップＳ１９が設けられるようにフローが変更される。また、図５に示すように、問題行動取得時点Ｄにおいて、１回目の判定を行ってもよい。
【0042】
（第１推定器及び第２推定器について）
図１に示すように、フィードバックタイミング判定手段４は、第１推定器４１、第２推定器４２及び判定器４３を備える。フィードバックタイミング判定手段４は、問題行動の判定時点から所定時間前までのユーザ情報に応じた問題行動の種類毎の動作改善度及び阻害度の各推定値に基づいて、フィードバックに適したタイミングを判定するが、動作改善度の推定値は、問題行動の種類、及び、問題行動の判定時点から所定時間前までのユーザ情報に対応した動作改善レベルを予め学習した第１推定器から出力され、阻害度の推定値は、問題行動の種類、及び、問題行動の判定時点から所定時間前までのユーザ情報に対応した阻害レベルを予め学習した第２推定器から出力される。
図１に示すように、フィードバックタイミング判定手段４は、第１推定器４１、第２推定器４２及び判定器４３を備える。フィードバックタイミング判定手段４は、問題行動の判定時点から所定時間前までのユーザ情報に応じた問題行動の種類毎の動作改善度及び阻害度の各推定値に基づいて、フィードバックに適したタイミングを判定するが、動作改善度の推定値は、問題行動の種類、及び、問題行動の判定時点から所定時間前までのユーザ情報に対応した動作改善レベルを予め学習した第１推定器から出力され、阻害度の推定値は、問題行動の種類、及び、問題行動の判定時点から所定時間前までのユーザ情報に対応した阻害レベルを予め学習した第２推定器から出力される。
【0043】
第１推定器４１及び第２推定器４２の作製に当たっては、人前でのプレゼンテーション訓練をケーススタディとして、ユーザの内的な状態をＴＡＭ（テクノロジーアクセプタンスモデル）によりモデル化した。
まず、ユーザの内的な状態を、ＶＲ訓練システムの訓練効果に関する既存モデル（F. D. Davis, R. P. Bagozzi, and P. R. Warshaw. User acceptance of computer technology: A
comparison of two theoretical models. Management Science, 35(8):982-1003, 1989.）に従い、各タイミングにて提示されたフィードバックに対する主観的印象値として、動作改善度（Perceived behavior changing by feedback：ＰＢＣ）及び阻害度（Disturbance level：ＤＬ）の２種類を定義した。動作改善度とは、当該フィードバックにより、その後、自身の動作が改善したと感じる度合いのことである。また、阻害度とは、当該フィードバックを邪魔だと感じる度合いのことである。
まず、ユーザの内的な状態を、ＶＲ訓練システムの訓練効果に関する既存モデル（F. D. Davis, R. P. Bagozzi, and P. R. Warshaw. User acceptance of computer technology: A
comparison of two theoretical models. Management Science, 35(8):982-1003, 1989.）に従い、各タイミングにて提示されたフィードバックに対する主観的印象値として、動作改善度（Perceived behavior changing by feedback：ＰＢＣ）及び阻害度（Disturbance level：ＤＬ）の２種類を定義した。動作改善度とは、当該フィードバックにより、その後、自身の動作が改善したと感じる度合いのことである。また、阻害度とは、当該フィードバックを邪魔だと感じる度合いのことである。
【0044】
次に、１８名による被験者実験により、ＶＲ環境でのプレゼンテーション時に、多様なタイミングでフィードバックを提示し、状況の主観的印象値と、その直前～５秒前の動作データ（身体動作、視線動作、脈拍、発汗、音声）のペアデータを２１９個収集した。実験のプレゼンテーションは、何れも概ね５分程度であった。主観的印象値に関するデータは、各被験者が、動作改善度及び阻害度を各５段階で評価した動作改善レベル及び阻害レベルの形式で収集した。具体的には、各被験者は、それぞれＶＲ環境で５分程度のプレゼンテーションを行った後に、自身がプレゼンテーションを行った動画と、当該プレゼンテーションにおいて提示を受けたフィードバックの内容を確認し、フィードバック毎に動作改善レベルと阻害レベルを回答した。なお、記憶の鮮明さを担保するために、各被験者による動画の確認と、それに対する動作改善レベル及び阻害レベルの回答は、プレゼンテーションを行った直後、約３０分以内に行った。
【0045】
このデータを基に、動作データから、フィードバックタイミングの主観的印象値を推定する推定器を作成した。動作改善度に関する推定器が第１推定器であり、阻害度に関する推定器が第２推定器である。
第１推定器は、当該フィードバック判定時点において、問題行動の種類と、判定時点から所定時間前までのユーザ情報からフィードバック提示した場合の動作改善度を推定し、出力する。第２推定器は、当該フィードバック判定時点において、問題行動の種類と、判定時点から所定時間前までのユーザ情報からフィードバック提示した場合の阻害度を推定し、出力する。
判定器４３は、第１推定器及び第２推定器から出力された動作改善度及び阻害度の各推定値に基づいて、フィードバックに適したタイミングが否かを判定する。
第１推定器は、当該フィードバック判定時点において、問題行動の種類と、判定時点から所定時間前までのユーザ情報からフィードバック提示した場合の動作改善度を推定し、出力する。第２推定器は、当該フィードバック判定時点において、問題行動の種類と、判定時点から所定時間前までのユーザ情報からフィードバック提示した場合の阻害度を推定し、出力する。
判定器４３は、第１推定器及び第２推定器から出力された動作改善度及び阻害度の各推定値に基づいて、フィードバックに適したタイミングが否かを判定する。
【0046】
判定器４３において、フィードバックに適したタイミングが否かの判定は、動作改善度が第１閾値より高く、阻害度が第２閾値より低い場合に、フィードバックに適したタイミングと判定することで行う。
図９は、実験における動作改善度及び阻害度の結果を示すグラフを示している。第１閾値又は第２閾値は、図９に示す１８名による被験者実験により得られた２１９個のペアデータに基づいて規定した。
図９は、実験における動作改善度及び阻害度の結果を示すグラフを示している。第１閾値又は第２閾値は、図９に示す１８名による被験者実験により得られた２１９個のペアデータに基づいて規定した。
【0047】
（効果について）
なお、上記実験時のプレゼンテーション音声と被験者視点の動画を分析したところ、フィードバックの提示がプレゼンテーションを明らかに邪魔したケース（例えば、その直後に発話が止まる、同じ言葉を何度も繰り返す、フィラーワードの使用等）が２７ケース存在した。上記の技術により推定された２つのスコア（ＤＬ、ＰＢＣ）を組み合わせた回帰式を適用すると、そのうち、２０個（７４．１％）が検出できる、すなわち、プレゼンテーションを邪魔するタイミングでのフィードバック提示を避けられることが分かった。
なお、上記実験時のプレゼンテーション音声と被験者視点の動画を分析したところ、フィードバックの提示がプレゼンテーションを明らかに邪魔したケース（例えば、その直後に発話が止まる、同じ言葉を何度も繰り返す、フィラーワードの使用等）が２７ケース存在した。上記の技術により推定された２つのスコア（ＤＬ、ＰＢＣ）を組み合わせた回帰式を適用すると、そのうち、２０個（７４．１％）が検出できる、すなわち、プレゼンテーションを邪魔するタイミングでのフィードバック提示を避けられることが分かった。
【0048】
下記表１は、記録されたデータと主観評価値の相関を表したものである（スピアマンの順位相関係数、＊＊：ｐ＜０．０１、＊：ｐ＜０．０５）。各主観評価値の推定には、＊もしくは＊＊が示された有意な相関を示す指標のみを使用する。下記表１の「feetDistanceAvg」は、判定時点から所定時間前までの左右の足の平均距離である。「handsFarApartRatio」は、判定時点から所定時間前までの、左右の手が一定（ここでは０．３ｍ）以上離れた時間比率である。「headRotationX、Y」は、それぞれ、判定時点から所定時間前までの、頭部の平均方向（Xが上下方向、Yが左右方向）である。「gazeRotationX」は、判定時点から所定時間前までの、視線の平均上下方向である。「max(min)HeartRate」は、判定時点から所定時間前までの、最大（最低）心拍数である。「currentEDA」は、判定時点のＥＤＡ（皮膚電気活動）値である。「edaChange」は、判定時点から所定時間前までの、ＥＤＡの変化量である。「peaksEDA」は、判定時点から所定時間前までの、ＥＤＡの最大値である。
【0049】
【表1】
【0050】
以上より、本実施例において作成した第１推定器及び第２推定器を用いることで、プレゼンテーションを阻害したタイミングをおよそ３／４を回避できることが分かった。
【産業上の利用可能性】
【0051】
本発明は、ＶＲ空間を用いたユーザのトレーニングに限られず、ユーザの動作情報、音声情報又は生体情報を取得しながらトレーニングを行い、リアルタイムにユーザに対して、フィードバックを行う技術として有用である。
【符号の説明】
【0052】
１ フィードバックタイミング制御装置
２ ユーザ情報取得手段
３ 問題行動取得手段
４ フィードバックタイミング判定手段
５ フィードバック情報出力手段
６ 仮想空間
７ ユーザ
８ａ～８ｊ アイコン
１０ コンピュータ
２１ ヘッドマウントディスプレイ
２２ コントローラ
２３ 身体動作計測用カメラ
２４ リストバンド
４１ 第１推定器
４２ 第２推定器
４３ 判定器
１００ ＶＲ訓練システム
Ｄ 問題行動取得時点
Ｐ０ 時点
Ｐ１～Ｐ１０ 判定時点
Ｔ１～Ｔ３ 時間
２ ユーザ情報取得手段
３ 問題行動取得手段
４ フィードバックタイミング判定手段
５ フィードバック情報出力手段
６ 仮想空間
７ ユーザ
８ａ～８ｊ アイコン
１０ コンピュータ
２１ ヘッドマウントディスプレイ
２２ コントローラ
２３ 身体動作計測用カメラ
２４ リストバンド
４１ 第１推定器
４２ 第２推定器
４３ 判定器
１００ ＶＲ訓練システム
Ｄ 問題行動取得時点
Ｐ０ 時点
Ｐ１～Ｐ１０ 判定時点
Ｔ１～Ｔ３ 時間
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
