特許 6838902 疑似体験提供装置、疑似体験提供方法、疑似体験提供システム、及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6838902

(24)【登録日】2021年2月16日

(45)【発行日】2021年3月3日

(54)【発明の名称】疑似体験提供装置、疑似体験提供方法、疑似体験提供システム、及びプログラム

(51)【国際特許分類】

   G09B 9/00 20060101AFI20210222BHJP

   A61B 5/02 20060101ALI20210222BHJP

   A61B 5/16 20060101ALI20210222BHJP

【ＦＩ】

   G09B9/00 Z

   A61B5/02

   A61B5/16

【請求項の数】8

【全頁数】18

(21)【出願番号】特願2016-177508(P2016-177508)

(22)【出願日】2016年9月12日

(65)【公開番号】特開2018-44977(P2018-44977A)

(43)【公開日】2018年3月22日

【審査請求日】2018年6月21日

(73)【特許権者】

【識別番号】596112790

【氏名又は名称】三徳コーポレーション株式会社

(74)【代理人】

【識別番号】100166006

【弁理士】

【氏名又は名称】泉 通博

(74)【代理人】

【識別番号】100153280

【弁理士】

【氏名又は名称】寺川 賢祐

(73)【特許権者】

【識別番号】512323424

【氏名又は名称】株式会社日進機械

(74)【代理人】

【識別番号】100166006

【弁理士】

【氏名又は名称】泉 通博

(73)【特許権者】

【識別番号】304028346

【氏名又は名称】国立大学法人 香川大学

(74)【代理人】

【識別番号】100166006

【弁理士】

【氏名又は名称】泉 通博

(74)【代理人】

【識別番号】100153280

【弁理士】

【氏名又は名称】寺川 賢祐

(72)【発明者】

【氏名】松田 進

(72)【発明者】

【氏名】白木 渡

(72)【発明者】

【氏名】井面 仁志

(72)【発明者】

【氏名】高橋 亨輔

【審査官】 西村 民男

(56)【参考文献】

【文献】 特開２０１６−９１０２０（ＪＰ，Ａ）

【文献】 特開２００９−２３７１０４（ＪＰ，Ａ）

【文献】 特開２００７−２６４０５５（ＪＰ，Ａ）

【文献】 特開２００７−２０６３８６（ＪＰ，Ａ）

【文献】 特開２００４−２３４０１６（ＪＰ，Ａ）

【文献】 特開２００３−１６２２１３（ＪＰ，Ａ）

【文献】 篠原克也・石黒辰雄，［第ＩＩ章］バーチャルリアリティ最新事情、（１） 仮想ゲレンデでスキーの練習 ，バーチャルリアリティ，株式会社ＮＥＣクリエイティブ，１９９４年 ４月 ８日，pp. 27-32

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０９Ｂ １／００− ９／５６，

１７／００−１９／２６，

Ａ６１Ｂ ５／０２− ５／０３，

５／０６− ５／２２

(57)【特許請求の範囲】

【請求項1】

利用者に仮想的なシーンを提示する疑似体験提供装置であって、
前記疑似体験提供装置を利用した複数の利用者のそれぞれが前記疑似体験提供装置の利用前に作成したアンケートの結果及び利用後に作成した疑似体験に関する評価結果と、前記疑似体験提供装置の利用中に前記複数の利用者それぞれに設定した刺激強度であって、前記利用者が前記仮想的なシーンから受け、前記利用者の心理状態に影響を与える刺激の強度を示す刺激強度とに基づいて、前記アンケートの結果及び前記評価結果と、前記刺激強度との関係を対応づけて格納する刺激強度データベースを生成するデータベース生成部と、
前記疑似体験提供装置の利用者に設定された前記刺激強度の初期値を、前記疑似体験提供装置の利用前に前記利用者が回答したアンケートの結果に基づいて前記刺激強度データベースを参照することにより設定する設定部と、
前記刺激強度に基づいて、前記利用者に提示する疑似体験を構成するシーンを選択する選択部と、
前記選択部が選択したシーンを前記利用者に提示する提示部と、
前記利用者の生体情報を計測する計測装置が計測した生体情報を取得する生体情報取得部と、
利用者から計測された生体情報を入力としその利用者に設定すべき刺激強度を出力とする刺激強度選択識別器であって複数の利用者に対して種々の刺激強度におけるシーンを提示したときに計測された生体情報に関して機械学習手法を用いて学習することによって得られた刺激強度選択識別器に、前記生体情報取得部が取得した生体情報を入力することで得られた刺激強度で前記刺激強度を再設定する強度調整部と、
を備える疑似体験提供装置。

【請求項2】

前記選択部は、前記強度調整部が前記刺激強度を再設定した場合、再設定後の刺激強度に基づいて前記利用者に提示する疑似体験を構成するシーンを選択する、
請求項１に記載の疑似体験提供装置。

【請求項3】

前記選択部は、前記疑似体験提供装置の利用者に設定された刺激強度に基づいて、前記シーンを提示する順番を定めるフローをさらに選択し、
前記提示部は、前記選択部が選択したシーンを前記フローにしたがって前記利用者に提示する、
請求項１又は２に記載の疑似体験提供装置。

【請求項4】

前記生体情報取得部は、前記計測装置が計測した前記利用者の血流量を取得し、
前記強度調整部は、前記血流量の変化に基づいて前記利用者に設定する刺激強度を変更する、
請求項１から３のいずれか一項に記載の疑似体験提供装置。

【請求項5】

利用者に仮想的なシーンを提示する疑似体験提供装置のプロセッサが、
前記疑似体験提供装置を利用した複数の利用者のそれぞれが前記疑似体験提供装置の利用前に作成したアンケートの結果及び利用後に作成した疑似体験に関する評価結果と、前記疑似体験提供装置の利用中に前記複数の利用者それぞれに設定した刺激強度であって、前記利用者が前記仮想的なシーンから受け、前記利用者の心理状態に影響を与える刺激の強度を示す刺激強度とに基づいて、前記アンケートの結果及び前記評価結果と、前記刺激強度との関係を対応づけて格納する刺激強度データベースを生成するステップと、
前記疑似体験提供装置の利用者に設定された前記刺激強度の初期値を、前記疑似体験提供装置の利用前に前記利用者が回答したアンケートの結果に基づいて前記刺激強度データベースを参照することにより設定するステップと、
前記刺激強度に基づいて、前記利用者に提示する疑似体験を構成するシーンを選択するステップと、
選択した前記シーンを前記利用者に提示するステップと、
前記利用者の生体情報を計測する計測装置が計測した生体情報を取得するステップと、
利用者から計測された生体情報を入力としその利用者に設定すべき刺激強度を出力とする刺激強度選択識別器であって複数の利用者に対して種々の刺激強度におけるシーンを提示したときに計測された生体情報に関して機械学習手法を用いて学習することによって得られた刺激強度選択識別器に、取得した前記生体情報を入力することで得られた刺激強度で前記刺激強度を再設定するステップと、
を実行する疑似体験提供方法。

【請求項6】

利用者に仮想的なシーンを提示する疑似体験提供装置のコンピュータに、
前記疑似体験提供装置を利用した複数の利用者のそれぞれが前記疑似体験提供装置の利用前に作成したアンケートの結果及び利用後に作成した疑似体験に関する評価結果と、前記疑似体験提供装置の利用中に前記複数の利用者それぞれに設定した刺激強度であって、前記利用者が前記仮想的なシーンから受け、前記利用者の心理状態に影響を与える刺激の強度を示す刺激強度とに基づいて、前記アンケートの結果及び前記評価結果と、前記刺激強度との関係を対応づけて格納する刺激強度データベースを生成する機能と、
前記疑似体験提供装置の利用者に設定された前記刺激強度の初期値を、前記疑似体験提供装置の利用前に前記利用者が回答したアンケートの結果に基づいて前記刺激強度データベースを参照することにより設定する機能と、
前記刺激強度に基づいて、前記利用者に提示する疑似体験を構成するシーンを選択する機能と、
選択した前記シーンを前記利用者に提示する機能と、
前記利用者の生体情報を計測する計測装置が計測した生体情報を取得する機能と、
利用者から計測された生体情報を入力としその利用者に設定すべき刺激強度を出力とする刺激強度選択識別器であって複数の利用者に対して種々の刺激強度におけるシーンを提示したときに計測された生体情報に関して機械学習手法を用いて学習することによって得られた刺激強度選択識別器に、取得した前記生体情報を入力することで得られた刺激強度で前記刺激強度を再設定する機能と、
を実現させるプログラム。

【請求項7】

１又は複数の利用者のそれぞれに仮想的なシーンを提示する１又は複数の疑似体験提供装置と、
前記１又は複数の利用者のそれぞれに装着させる１又は複数のヘッドマウントディスプレイと、
前記１又は複数の利用者のそれぞれの生体情報を計測する１又は複数の計測装置と、
を含む疑似体験提供システムであって、
前記疑似体験提供装置を利用した複数の利用者のそれぞれが前記疑似体験提供装置の利用前に作成したアンケートの結果及び利用後に作成した疑似体験に関する評価結果と、前記疑似体験提供装置の利用中に前記複数の利用者それぞれに設定した刺激強度であって、前記利用者が前記仮想的なシーンから受け、前記利用者の心理状態に影響を与える刺激の強度を示す刺激強度とに基づいて、前記アンケートの結果及び前記評価結果と、前記刺激強度との関係を対応づけて格納する刺激強度データベースを生成するデータベース生成部と、
前記疑似体験提供装置の利用者に設定された前記刺激強度の初期値を、前記疑似体験提供装置の利用前に前記利用者が回答したアンケートの結果に基づいて前記刺激強度データベースを参照することにより設定する設定部と、
前記刺激強度に基づいて、前記利用者に提示する疑似体験を構成するシーンを選択する選択部と、
前記選択部が選択したシーンを前記利用者に提示する提示部と、
前記利用者の生体情報を計測する計測装置が計測した生体情報を取得する生体情報取得部と、
利用者から計測された生体情報を入力としその利用者に設定すべき刺激強度を出力とする刺激強度選択識別器であって複数の利用者に対して種々の刺激強度におけるシーンを提示したときに計測された生体情報に関して機械学習手法を用いて学習することによって得られた刺激強度選択識別器に、前記生体情報取得部が取得した生体情報を入力することで得られた刺激強度で前記刺激強度を再設定する強度調整部と、を備える、
疑似体験提供システム。

【請求項8】

前記疑似体験を構成するシーンのそれぞれは、前記刺激強度に対応する複数の表現形態を含み、
前記選択部は、前記刺激強度に基づいて前記利用者に提示するシーンの表現形態を選択する、
請求項７に記載の疑似体験提供システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、疑似体験提供装置、疑似体験提供方法、疑似体験提供システム、及びプログラムに関し、特にＶＲ（Virtual Reality；バーチャルリアリティ）技術を用いた訓練を提供するための技術に関する。

【背景技術】

【0002】

近年、ゲームや訓練を目的とするＶＲ技術が急速に発達してきている。例えば特許文献１には、ＶＲの中でリアルタイムで模擬訓練を行うことができる仮想現実シミュレータが開示されている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０００−１２２５２０号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

ＶＲを用いることにより、再現が難しい環境や危険な環境を、訓練のために簡便かつ安全に再現することができる。一方で、ＶＲを用いて提示される仮想的な環境から受ける刺激には個人差があり、同一の模擬訓練であっても利用者によって訓練効果が異なることが起こりうる。仮想的な環境から受ける刺激が弱すぎると訓練効果が低くなり、強すぎると訓練の継続が困難となりかねない。

【0005】

そこで、本発明はこれらの点に鑑みてなされたものであり、バーチャルリアリティを用いた訓練効果を安定化する技術を提供することを目的とする。

【課題を解決するための手段】

【0006】

本発明の第１の態様は、疑似体験提供装置である。この疑似体験提供装置は、前記疑似体験提供装置の利用者に設定された刺激強度に基づいて、前記利用者に提示する疑似体験を構成するシーンを選択する選択部と、前記選択部が選択したシーンを前記利用者に提示する提示部と、前記利用者の生体情報を計測する計測装置が計測した生体情報を取得する生体情報取得部と、前記生体情報取得部が取得した生体情報に基づいて前記刺激強度を再設定する強度調整部と、を備える。

【0007】

前記選択部は、前記強度調整部が前記刺激強度を再設定した場合、再設定後の刺激強度に基づいて前記利用者に提示する疑似体験を構成するシーンを選択してもよい。

【0008】

前記疑似体験提供装置は、前記利用者に関する先見情報に基づいて、前記刺激強度の初期値を設定する設定部をさらに備えてもよい。

【0009】

前記疑似体験提供装置は、前記疑似体験提供装置を利用した複数の利用者のそれぞれが前記疑似体験提供装置の利用前に作成したアンケートの結果及び利用後に作成した前記疑似体験に関する評価結果と、前記疑似体験提供装置の利用中に前記複数の利用者それぞれに設定した前記刺激強度とに基づいて、前記アンケートの結果及び前記評価結果と、前記刺激強度との関係を対応づけて格納する刺激強度データベースを生成するデータベース生成部をさらに備えてもよく、前記設定部は、前記疑似体験提供装置の利用前に前記利用者が回答したアンケートの結果に基づいて前記データベースを参照することにより、前記刺激強度の初期値を設定してもよい。

【0010】

前記生体情報取得部は、前記計測装置が計測した前記利用者の血流量を取得してもよく、前記強度調整部は、前記血流量の変化に基づいて前記利用者に設定する刺激強度を変更してもよい。

【0011】

本発明の第２の態様は、疑似体験提供方法である。この方法は、疑似体験提供装置の利用者に設定された刺激強度に基づいて、前記利用者に提示する疑似体験を構成するシーンを選択するステップと、選択した前記シーンを前記利用者に提示するステップと、前記利用者の生体情報を計測する計測装置が計測した生体情報を取得するステップと、取得した前記生体情報に基づいて前記刺激強度を再設定するステップと、をプロセッサが実行する。

【0012】

本発明の第３の態様は、プログラムである。このプログラムは、コンピュータに、疑似体験提供装置の利用者に設定された刺激強度に基づいて、前記利用者に提示する疑似体験を構成するシーンを選択する機能と、選択した前記シーンを前記利用者に提示する機能と、前記利用者の生体情報を計測する計測装置が計測した生体情報を取得する機能と、取得した前記生体情報に基づいて前記刺激強度を再設定する機能と、を実現させる。

【0013】

本発明の第４の態様は、疑似体験提供システムである。このシステムは、１又は複数の利用者のそれぞれに疑似体験を提供する１又は複数の疑似体験提供装置と、前記１又は複数の利用者のそれぞれに装着させる１又は複数のヘッドマウントディスプレイと、前記１又は複数の利用者のそれぞれの生体情報を計測する１又は複数の計測装置と、を含む。前記１又は複数の疑似体験提供装置のそれぞれは、前記利用者に設定された刺激強度に基づいて、前記利用者に提示する疑似体験を構成するシーンを選択する選択部と、前記選択部が選択したシーンを前記利用者に提示する提示部と、前記計測装置が計測した生体情報を取得する生体情報取得部と、前記生体情報取得部が取得した生体情報に基づいて前記刺激強度を再設定する強度調整部と、を備える。

【0014】

前記疑似体験を構成するシーンのそれぞれは、前記刺激強度に対応する複数の表現形態を含んでもよく、前記選択部は、前記刺激強度に基づいて前記利用者に提示するシーンの表現形態を選択してもよい。

【0015】

前記選択部は、（１）前記疑似体験提供システムの利用者が１人の場合、前記刺激強度に基づいて前記利用者に提示するシーンの順序を変更し、（２）前記疑似体験提供システムの利用者が複数の場合においてそれぞれの利用者に共通する疑似体験を同時に提供する場合、前記刺激強度に基づく前記シーンの順序変更を禁止してもよい。

【0016】

なお、以上の構成要素の任意の組み合わせ、本発明の表現を方法、装置、システム、コンピュータプログラム、データ構造、記録媒体などの間で変換したものもまた、本発明の態様として有効である。

【発明の効果】

【0017】

本発明によれば、バーチャルリアリティを用いた訓練効果を安定化することができる。

【図面の簡単な説明】

【0018】

【図1】本発明の実施の形態に係る疑似体験提供システムの概要を示す図である。

【図2】本発明の実施の形態に係る疑似体験提供システムの構成例を模式的に示す図である。

【図3】本発明の実施の形態に係る疑似体験提供装置の機能構成を模式的に示す図である。

【図4】利用者に関する事前情報であるアンケート結果と利用者に設定する訓練強度の初期値との対応関係を表形式で示す初期値設定表の一例を示す図である。

【図5】刺激強度に基づくシーンの組み合わせを表形式で示す図である。

【図6】刺激強度に基づくシナリオのフローを示す図である。

【図7】本発明の実施の形態に係る疑似体験提供システムが実現する主要機能の関係を示す図である。

【図8】本発明の実施の形態に係る強度調整部の機能構成を模式的に示す図である。

【図9】本発明の実施の形態に係る疑似体験提供システムが実行する疑似体験提供処理の流れを説明するためのフローチャートである。

【発明を実施するための形態】

【0019】

＜実施の形態の概要＞
本発明の実施の形態の概要を述べる。実施の形態に係る疑似体験提供システムは、事故の状況等の危険な環境をＶＲ技術を用いて仮想的に再現し、被験者である利用者に提示するためのシステムである。映像や音声等を用いて状況を再現するため、利用者の安全を確保しつつ被験者に種々の状況を追体験させることができる。特に、ＨＭＤ（Head Mounted Display）等を用いて映像を提示することによって利用者に強い没入感を与えることができるので、危険な状況の学習や回避の訓練効果を高めることが期待できる。

【0020】

本願の発明者は、ＶＲ技術を用いた仮想的な状況の再現は、同じ映像及び音声を提示した場合であっても、利用者によって感じる刺激の強さが異なることを見いだした。ある利用者が疑似体験から感じる刺激が弱い場合は、強い場合よりも訓練の効果が低くなる傾向にある。一方、利用者が疑似体験から感じる刺激が強すぎる場合、訓練の継続に支障を来すことも起こりうる。

【0021】

そこで実施の形態に係る疑似体験提供システムは、疑似体験を提示中の利用者の生体情報を取得する。ここで「生体情報」とは、疑似体験の提示を受けている利用者を計測することによって得られる利用者の生体信号の時間変化を示す情報である。「生体信号」は、例えば利用者の血流量、脈拍、血圧、心拍、体温、発汗量、瞳孔の動き、脳波、脳磁波、心電図、及び筋電位のうちの少なくとも一つである。一般に、利用者の心理状態が退屈の状態、通常の状態、及び緊迫感を感じている状態では、それぞれ生体信号が異なる。

【0022】

実施の形態に係る疑似体験提供システムは、利用者を計測して取得した生体情報に基づいて、利用者に提示する疑似体験の刺激強度を変更する。これにより、実施の形態に係る疑似体験提供システムは、利用者に提示する疑似体験の刺激強度を、利用者の心理状態に応じて変更することができる。結果として、利用者に合った刺激強度で疑似体験を提供できるので、利用者によらず訓練効果を安定化することができる。

【0023】

図１は、本発明の実施の形態に係る疑似体験提供システム１の概要を示す図である。以下図１を参照して、実施の形態に係る疑似体験提供システム１の動作の概要を説明する。

【0024】

図１に示す疑似体験提供システム１の例は、疑似体験提供装置１００、ヘッドマウントディスプレイ２００、計測装置３００、姿勢検知センサ４００、カメラ５００、及びモニタ６００を含む。

【0025】

疑似体験提供装置１００は、利用者Ｕに設定された刺激強度に基づいて、利用者Ｕに疑似体験を提示するための装置である。疑似体験提供装置１００は、例えばＰＣ（Personal Computer）やサーバ等であり、ＣＰＵ（Central Processing Unit）やＧＰＵ（Graphical Processing Unit）等のプロセッサやメモリ等の各種計算リソースを備える電子機器である。
以下、処理の手順を（１）、（２）、（３）及び（４）で説明するが、その説明は図１中の（１）、（２）、（３）及び（４）と対応する。

【0026】

（１）疑似体験提供装置１００はまず、利用者Ｕ毎に設定されている刺激強度を選択する。（２）疑似体験提供装置１００は、選択した刺激強度に基づく疑似体験を利用者Ｕに提示する。より具体的には、疑似体験提供装置１００は利用者Ｕが装着するヘッドマウントディスプレイ２００と有線又は無線で接続しており、疑似体験を表現する映像及び音声をヘッドマウントディスプレイ２００に再生させる。図１は利用者Ｕに交通事故の疑似体験を提示する場合の例を示している。ヘッドマウントディスプレイ２００を装着する利用者Ｕには、自動車が利用者Ｕに向かって進行している状況を体験することができる。

【0027】

利用者Ｕは、利用者Ｕの生体情報を計測するための計測装置３００を装着している。（３）計測装置３００は、疑似体験を提示されている利用者Ｕの生体情報を計測し疑似体験提供装置１００に送信する。（４）疑似体験提供装置１００は、計測装置３００が計測した利用者Ｕの生体情報に基づいて、刺激強度を調整する。以上を繰り返すことにより、疑似体験提供装置１００は利用者Ｕに疑似体験を提示している間に、刺激強度を柔軟に変更することができる。

【0028】

なお、図１に示す疑似体験提供装置１００の例では、ヘッドマウントディスプレイ２００を用いて利用者Ｕに疑似体験を提示する。そこで利用者Ｕの姿勢を検知するための姿勢検知センサ４００と、利用者Ｕを撮影するカメラ５００とも備えている。疑似体験提供装置１００は、姿勢検知センサ４００が検出した利用者Ｕの姿勢に応じて、利用者Ｕに提示する映像を変更することができる。すなわち、利用者Ｕのリアクションに応じて利用者Ｕに提示する映像自体やその提示順序を変更することができる。

【0029】

また、ヘッドマウントディスプレイ２００を装着した利用者Ｕは視界が遮蔽されるため、物体が接近しても利用者Ｕは気づくことが難しい。そこで疑似体験提供装置１００はカメラ５００が撮像した映像を解析し、利用者Ｕが物体に接近した場合にそのことを利用者Ｕに通知することができる。結果として、疑似体験提供装置１００による訓練の安全性を高めることができる。

【0030】

疑似体験提供システム１はさらに、利用者Ｕに提示している映像を表示するためのモニタ６００も備えている。モニタ６００はまた、疑似体験提供装置１００が提示する疑似体験を制御するためのＧＵＩ（Graphical User Interface）も表示することができる。疑似体験提供装置１００のオペレータはモニタ６００を見ながら手動で刺激強度を変更したり、疑似体験を変更したり、疑似体験を中断したりすることができる。

【0031】

＜疑似体験提供システム１の構成＞
図２は、本発明の実施の形態に係る疑似体験提供システム１の構成例を模式的に示す図である。図２は、図１に示す疑似体験提供システム１の例とは異なり、複数の疑似体験提供装置１００を連携させて複数の利用者Ｕに疑似体験を提示するシステムを図示している。

【0032】

図２に示す疑似体験提供システム１の例では、第１疑似体験提供装置１００ａと第２疑似体験提供装置１００ｂとの２つの疑似体験提供装置１００が、中継装置８００を介して互いに通信可能な態様で接続している。なお、疑似体験提供システム１は２つ以上の疑似体験提供装置１００を互いに通信可能な態様で接続することもできる。

【0033】

第１疑似体験提供装置１００ａは第１利用者Ｕ１に疑似体験を提供し、第２疑似体験提供装置１００ｂは第２利用者Ｕ２に疑似体験を提供する。このため、第１疑似体験提供装置１００ａには第１ヘッドマウントディスプレイ２００ａ、第１計測装置３００ａ、第１姿勢検知センサ４００ａ、第１カメラ５００ａ、及び第１モニタ６００ａが接続されている。また、第１疑似体験提供装置１００ａは第１利用者Ｕ１が装着するための第１聴覚再現装置２５０ａも接続されている。

【0034】

第２疑似体験提供装置１００ｂも第１疑似体験提供装置１００ａと同様であり、第２ヘッドマウントディスプレイ２００ｂ、第２聴覚再現装置２５０ｂ、第２計測装置３００ｂ、第２姿勢検知センサ４００ｂ、第２カメラ５００ｂ、及び第２モニタ６００ｂが接続されている。

【0035】

図２に示す疑似体験提供システム１の例では、疑似体験として映像及び音声に加えて、触覚刺激を利用者Ｕに提示することもできる。このため疑似体験提供システム１は、第１利用者Ｕ１に触覚刺激を提示するための第１触覚再現装置７００ａと、第２利用者Ｕ２に触覚刺激を提示するための第２触覚再現装置７００ｂとも備える。

【0036】

なお、第１聴覚再現装置２５０ａ及び第２聴覚再現装置２５０ｂは、それぞれ例えばヘッドフォンを用いて実現される。また第１触覚再現装置７００ａと第２触覚再現装置７００ｂとは、それぞれ例えば振動発生装置や放電装置によって実現できる。

【0037】

このように、疑似体験提供システム１は複数の疑似体験提供装置１００が協働して複数の利用者Ｕに疑似体験を提示することができる。これにより、疑似体験提供システム１は複数の利用者Ｕが協働して同じ疑似体験を体験する機会を提供することができ、より実用的な訓練を提供することができる。

【0038】

図２に示す疑似体験提供システム１はさらに、疑似体験の提示を緊急停止するための停止スイッチも備える。より具体的には、疑似体験提供システム１は、第１疑似体験提供装置１００ａによる疑似体験の提示をオペレータが停止するための第１停止スイッチ９００ａを備える。同様に、疑似体験提供システム１は、第２疑似体験提供装置１００ｂによる疑似体験の提示をオペレータが停止するための第２停止スイッチ９００ｂを備える。

【0039】

以下本明細書において、第１疑似体験提供装置１００ａと第２疑似体験提供装置１００ｂ、第１ヘッドマウントディスプレイ２００ａと第２ヘッドマウントディスプレイ２００ｂ、第１聴覚再現装置２５０ａと第２聴覚再現装置２５０ｂ、第１計測装置３００ａと第２計測装置３００ｂ、第１姿勢検知センサ４００ａと第２姿勢検知センサ４００ｂ、第１カメラ５００ａと第２カメラ５００ｂ、第１モニタ６００ａと第２モニタ６００ｂ、第１触覚再現装置７００ａと第２触覚再現装置７００ｂ、第１停止スイッチ９００ａと第２停止スイッチ９００ｂ、及び第１利用者Ｕ１と第２利用者Ｕ２とを特に区別する場合を除いて、それぞれ単に疑似体験提供装置１００、ヘッドマウントディスプレイ２００、聴覚再現装置２５０、計測装置３００、姿勢検知センサ４００、カメラ５００、モニタ６００、触覚再現装置７００、停止スイッチ９００、及び利用者Ｕと記載する。

【0040】

＜疑似体験提供装置１００の機能構成＞
図３は、本発明の実施の形態に係る疑似体験提供装置１００の機能構成を模式的に示す図である。疑似体験提供装置１００は、制御部１１０と記憶部１２０とを備える。制御部１１０は、選択部１１１、提示部１１２、生体情報取得部１１３、強度調整部１１４、設定部１１５、及びデータベース生成部１１６を備える。また記憶部１２０は、シナリオ格納部１２１、刺激強度格納部１２２、及び刺激強度データベース１２３を備える。

【0041】

図３は、実施の形態に係る疑似体験提供装置１００を実現するための機能構成を示しており、その他の構成は省略している。図３において、さまざまな処理を行う機能ブロックとして記載される各要素は、ハードウェア的には、ＣＰＵ、メインメモリ、その他のＬＳＩ（Large Scale Integration）で構成することができる。またソフトウェア的には、メインメモリにロードされたプログラムなどによって実現される。したがって、これらの機能ブロックがハードウェアのみ、ソフトウェアのみ、又はそれらの組み合わせによっていろいろな形で実現できることは当業者には理解されるところであり、いずれかに限定されるものではない。

【0042】

疑似体験は、複数の「シーン」の組み合わせによって構成される。「シーン」は１以上の動画フレーム、動画フレームと連動して再生される音声データ、及び触覚再現装置７００に再現させるべき刺激の情報が含まれる。疑似体験提供システム１は複数のシーンを順番に利用者Ｕに提示することで利用者Ｕに疑似体験を提供する。

【0043】

疑似体験を構成するシーンが異なれば、利用者Ｕに与える刺激も異なる。例えば交通事故防止訓練の疑似体験において、車が実際に人に当たる様子を描いたシーンと、車が人に当たる前で停止したシーンとでは、前者の方が後者よりも利用者Ｕに与える刺激は強い。

【0044】

また、疑似体験を構成するシーンの組み合わせが同じ場合であっても、各シーンを提示する順序が異なれば、利用者Ｕに与える刺激が異なりうる。例えば、疑似体験の冒頭において遠くにある車が徐々に近づいてきて人に衝突する場合と、疑似体験の開始直後に車が人に衝突するシーンが再現され、その後その前段が提示される場合とでは、前者の方が後者よりも利用者Ｕに与える刺激は弱いと考えられる。前者の場合、利用者Ｕはどのような疑似体験が提示されるかを予想できるからである。

【0045】

そこで選択部１１１は、疑似体験提供装置１００の利用者Ｕに設定された刺激強度に基づいて、利用者Ｕに提示する疑似体験を構成するシーンを選択する。具体的には、シナリオ格納部１２１は、疑似体験を構成するシーンを刺激強度と対応づけて格納している。選択部１１１は、利用者Ｕに設定された刺激強度に適合するシーンをシナリオ格納部１２１から選択する。なお、利用者Ｕに設定された刺激強度は、刺激強度格納部１２２に格納されている。また、刺激強度に基づくシーンの選択の詳細は後述する。

【0046】

提示部１１２は、選択部１１１が選択したシーンを利用者Ｕに提示する。具体的には、提示部１１２はヘッドマウントディスプレイ２００、聴覚再現装置２５０、又は触覚再現装置７００に再現させる情報を生成してヘッドマウントディスプレイ２００、聴覚再現装置２５０、又は触覚再現装置７００に再現させる。

【0047】

生体情報取得部１１３は、利用者Ｕの生体情報を計測する計測装置３００が計測した生体情報を取得する。限定はしないが、計測装置３００は利用者Ｕの血流量を計測し、生体情報取得部１１３は、計測装置３００が計測した利用者Ｕの血流量を取得する。

【0048】

強度調整部１１４は、生体情報取得部１１３が取得した生体情報の変化に基づいて刺激強度を変更し、刺激強度格納部１２２に格納する。なお、強度調整部１１４は、複数の利用者Ｕに対して種々の刺激強度におけるシーンを提示したときに計測された生体情報に関してディープラーニング等の既知の機械学習手法を用いて学習することによって得られた刺激強度選択識別器を用いることで、利用者Ｕに再設定すべき刺激強度を取得する。この刺激強度選択識別器は、利用者Ｕから計測された生体情報を入力とし、その利用者Ｕに設定すべき刺激強度を出力とするものである。

【0049】

選択部１１１は、強度調整部１１４が刺激強度を再設定した場合、刺激強度格納部１２２に格納された再設定後の刺激強度に基づいて、利用者Ｕに提示する疑似体験を構成するシーンをシナリオ格納部１２１から選択する。これにより、疑似体験提供システム１は、疑似体験を提示された利用者Ｕの心理状態の変化に応じて疑似体験の刺激強度を調整することができる。

【0050】

＜刺激強度の初期値の設定＞
ここで、疑似体験の刺激強度の初期設定について説明する。
実施の形態に係る疑似体験提供システム１は、利用者Ｕの生体情報に基づいて利用者Ｕに提示する疑似体験の刺激強度を選択する。このため、利用者Ｕに疑似体験を提示する前は利用者Ｕの生体情報が取得できないので、疑似体験提供システム１は疑似体験の刺激強度を選択できない。そこで、疑似体験提供システム１は、利用者Ｕに関する先見情報に基づいて、刺激強度の初期値を設定する設定部１１５を備えている。

【0051】

より具体的には、設定部１１５は、疑似体験提供システム１から疑似体験の提示を受ける前に利用者Ｕが作成したアンケートの結果に基づいて、刺激強度データベース１２３を参照して刺激強度を取得し、刺激強度格納部１２２に格納する。

【0052】

ここで「アンケート」とは、利用者Ｕの刺激強度を決定するために設定部１１５が参照する利用者Ｕの事前情報であり、複数の質問事項及びそれに対する利用者Ｕの回答によって構成されている。アンケートの質問事項の例としては、「いわゆるＶＲ酔いを経験したことがあるか否か」、「高所が苦手か否か」、「電気的な刺激が苦手か否か」等、疑似体験提供システム１が利用者Ｕに提示する疑似体験に直接又は間接的に関連する質問である。

【0053】

図４は、利用者Ｕに関する事前情報であるアンケート結果と利用者Ｕに設定する訓練強度の初期値との対応関係を表形式で示す初期値設定表の一例を示す図である。図４の初期値設定表は、利用者Ｕのアンケート結果を１００点満点で点数化した場合における、点数と刺激強度との関係を示している。

【0054】

図４に示す初期値設定表においては、刺激強度は１〜１０までの１０段階で表される。ここで刺激強度を示す数値が大きいほど、疑似体験が利用者Ｕに与える刺激が強いことを表す。初期値設定表は、刺激強度格納部１２２に格納されている。設定部１１５は、疑似体験提供システム１の利用前に利用者Ｕが回答したアンケートの結果に基づいて刺激強度データベース１２３に格納された初期値設定表を参照することにより、刺激強度の初期値を設定する。これにより、設定部１１５は、利用者Ｕの回答事項に基づくいわば利用者Ｕの主観評価に基づいて定められる刺激強度を選択することができる。

【0055】

刺激強度データベース１２３は、疑似体験提供システム１を利用した複数の利用者Ｕのそれぞれが疑似体験提供システム１の利用前に作成したアンケートの結果及び利用後に作成した疑似体験に関する評価結果と、疑似体験提供システム１の利用中に複数の利用者Ｕそれぞれに設定した刺激強度との関係を対応づけた評価データベースを記憶している。

【0056】

ここで「疑似体験に関する評価」には、上述のアンケートと同様の質問に対する各利用者Ｕの回答が含まれる。データベース生成部１１６は、疑似体験提供システム１を利用した利用者Ｕによる評価結果を取得し、刺激強度データベース１２３が格納する評価データベースを生成及び更新する。データベース生成部１１６はまた、評価データベースに基づいて、刺激強度格納部１２２が格納する初期値設定表も更新する。

【0057】

このように、データベース生成部１１６が刺激強度データベースと初期値設定表とを維持管理することにより、疑似体験提供システム１を実際に利用した利用者Ｕの評価を初期値設定表に反映することができる。これにより、初期値設定表の精度が向上し、疑似体験提供システム１は利用者Ｕにより適した疑似体験を利用者Ｕに提供することができる。

【0058】

＜刺激強度に基づくシーンの選択＞
続いて、選択部１１１が実行する刺激強度に基づくシーンの選択について説明する。
図５は、刺激強度に基づくシーンの組み合わせを表形式で示す図である。以下本明細書においては、疑似体験提供システム１が利用者Ｕに提示する疑似体験の主題を「シナリオ」と記載する。例えば図５は、交通安全訓練を主題とする「シナリオ１」を構成するシーンを図示している。図５に示す表は、シナリオ格納部１２１に格納されている。

【0059】

図５に示す例では、シナリオ１は、シーン１からシーン５までの５つのシーンによって構成されている。また、同じシーンであっても刺激強度によって、複数の種類がある。例えばシーン１は、シーン１−１からシーン１−４までの４種類存在し、この順序で刺激強度が強くなる。

【0060】

図５に示す例にしたがう場合、選択部１１１は、利用者Ｕに設定された刺激強度が１の場合「シーン１−１」、「シーン２−１」、「シーン３−１」、「シーン４−１」、及び「シーン５−１」から構成されたシナリオ１を選択する。また利用者Ｕに設定された刺激強度が１０の場合、選択部１１１は「シーン１−４」、「シーン２−４」、「シーン３−４」、「シーン４−４」、及び「シーン５−４」から構成されたシナリオ１を選択する。

【0061】

図６（ａ）−（ｂ）は、刺激強度に基づくシナリオのフローを示す図である。具体的には、図６（ａ）は、各シナリオについて刺激強度とシナリオのフローのタイプとの対応関係を表形式で示す図である。また図６（ｂ）は、タイプ毎のシナリオのフローを模式的に示す図である。図６（ａ）に示す表形式の対応関係と図６（ｂ）に示すフローとはともに、シナリオ格納部１２１に格納されている。

【0062】

図６（ａ）に示す例では、シナリオ１のフローはタイプ１からタイプ４までの４種類が存在する。例えば刺激強度が１及び２のときは、ともにタイプ１のフローが割り当てられている。一方、刺激高度が１０の場合、シナリオ１にはタイプ４のフローが割り当てられている。

【0063】

図６（ｂ）に示すように、フローのタイプが異なる場合、シナリオを構成するシーンを提示する順番が異なる。例えば図６（ｂ）に示す例では、タイプ１のフローではシナリオを構成するシーンはシーン１からシーン５まで順番に出現する。また利用者Ｕの判断によっては、シーン３が出現しない場合もありうる。一方タイプ４のフローでは冒頭でシーン５が出現し、続いてシーン４も出現する。利用者Ｕの判断によってシーンの出現の順序は変わるものの、全体としては全てのシーンが提示される。

【0064】

このように、疑似体験を構成するシーンのそれぞれは、利用者Ｕに設定された刺激強度に対応する複数の表現形態を含んでいる。選択部１１１は、Ｕに設定された刺激強度に基づいて利用者Ｕに提示するシナリオの表現形態を選択する。

【0065】

より具体的には、選択部１１１は、刺激強度格納部１２２から利用者Ｕに設定された刺激強度を取得する。選択部１１１は、取得した刺激強度に基づいて、シナリオ格納部１２１を参照してシナリオを構成するシーンを取得する。続いて選択部１１１は、取得した刺激強度に基づいて、シナリオ格納部１２１を参照してシナリオのフローのタイプ及びそのタイプに対応するシナリオのフローを取得する。提示部１１２は、選択部１１１が取得したシナリオのフローにしたがって、疑似体験を利用者Ｕに提示する。これにより、疑似体験提供システム１は利用者Ｕに設定された刺激強度に基づいたシーンを利用者Ｕに提示することができる。

【0066】

＜刺激強度の更新＞
図７は、本発明の実施の形態に係る疑似体験提供システム１が実現する主要機能の関係を示す図であり、刺激強度の更新を説明するための図である。具体的には、疑似体験提供システム１は、設定部１１５が主に実行する刺激強度初期値設定機能Ｆ０、選択部１１１及び提示部１１２が主に実行する疑似体験提示機能Ｆ１、生体情報取得部１１３が主に実行する生体情報計測機能Ｆ２、及び強度調整部１１４が主に実行する刺激強度調整機能Ｆ３と緊急停止機能Ｆ４を少なくとも有する。

【0067】

疑似体験提供システム１は、ひとたび刺激強度初期値設定機能Ｆ０を実行した後は、疑似体験提示機能Ｆ１、生体情報計測機能Ｆ２、及び刺激強度調整機能Ｆ３を並行して実行する。疑似体験提供システム１が疑似体験提示機能Ｆ１を実行すると利用者Ｕに疑似体験が提示され、その刺激の強度による利用者Ｕの生体情報の変化を疑似体験提供システム１の生体情報計測機能Ｆ２が計測する。疑似体験提供システム１の生体情報計測機能Ｆ２が計測した利用者Ｕの生体情報に基づいて、疑似体験提供システム１の刺激強度調整機能Ｆ３はその時点において利用者Ｕに設定すべき最適な刺激強度を調整する。

【0068】

＜疑似体験の緊急停止＞
図８は、本発明の実施の形態に係る強度調整部１１４の機能構成を模式的に示す図であり、特に疑似体験の提示を緊急停止するための機能構成を示す図である。強度調整部１１４は、生体情報解析部１１４０、停止閾値記憶部１１４１、比較部１１４２、及び論理和演算部１１４３を備える。

【0069】

生体情報解析部１１４０は、生体情報取得部１１３から取得した利用者Ｕの生体情報を解析する。具体的には、生体情報解析部１１４０は、取得した生体情報を解析して利用者Ｕが感じている心理的ストレスを、例えばストレスレベル１からストレスレベル１０までの１０段階に分類する。なお、ストレスレベルはその値が大きいほど利用者Ｕは強いストレスを感じていることを示している。

【0070】

停止閾値記憶部１１４１は、利用者Ｕに対する疑似体験の提示を停止するか否かを判定するために強度調整部１１４が参照する停止閾値を記憶する。停止閾値記憶部１１４１は、例えばストレスレベル８を示す情報を記憶している。これは、生体情報解析部１１４０が解析した利用者Ｕのストレスレベルが停止閾値以上である場合、利用者Ｕに対する疑似体験の提示を停止することを意味する。なお、停止閾値はストレスレベル８に限られず、疑似体験の種類や利用者Ｕのアンケート結果等を勘案して決定すればよい。

【0071】

比較部１１４２は、生体情報解析部１１４０が解析した利用者Ｕのストレスレベルと、停止閾値記憶部１１４１に格納されている停止閾値とを比較する。比較部１１４２は、比較結果を論理和演算部１１４３に出力する。より具体的には、比較部１１４２は、生体情報解析部１１４０が解析した利用者Ｕのストレスレベルが停止閾値以上である場合は１を出力し、そうでない場合は０を出力する。

【0072】

論理和演算部１１４３は、停止スイッチ９００の出力と比較部１１４２の出力との論理和を計算して提示部１１２に出力する。ここで停止スイッチ９００は、オペレータによって押下された場合は１を出力し、そうでない場合は０を出力するように構成されている。このため、論理和演算部１１４３は、停止スイッチ９００が押下された場合、あるいは生体情報解析部１１４０が解析した利用者Ｕのストレスレベルが停止閾値以上である場合の少なくともいずれか一方のとき１を出力する。また論理和演算部１１４３は、停止スイッチ９００が押下されず、かつ生体情報解析部１１４０が解析した利用者Ｕのストレスレベルが停止閾値未満である場合は０を出力する。

【0073】

提示部１１２は、論理和演算部１１４３の出力が１の場合、利用者Ｕに提示している疑似体験を停止する。この意味で、論理和演算部１１４３が出力する１の信号は、緊急停止信号として機能する。このように、オペレータによる人為的な判断、又は利用者Ｕの生体情報を解析することによる機械的な判断によって、疑似体験提供装置１００は利用者Ｕに提示している疑似体験を停止する。これにより、利用者Ｕに不必要な心理的ストレスを与えることを抑制することができる。

【0074】

以上の疑似体験提示機能Ｆ１、生体情報計測機能Ｆ２、及び刺激強度調整機能Ｆ３のサイクルを継続することにより、疑似体験提供システム１は利用者Ｕが感じる刺激に応じて利用者Ｕに合った刺激強度をリアルタイムに調整することができる。結果として疑似体験提供システム１が提供する疑似体験による利用者Ｕの訓練効果を高めることができる。また、利用者Ｕに提示する疑似体験の刺激が強すぎて疑似体験を停止すべき場合には、強度調整部１１４によって疑似体験の提示が停止されるため、利用者Ｕに与える心理的な負荷を軽減することもできる。

【0075】

＜疑似体験提供システム１が実行する疑似体験提供処理の処理フロー＞
図９は、本発明の実施の形態に係る疑似体験提供システム１が実行する疑似体験提供処理の流れを説明するためのフローチャートである。本フローチャートにおける処理は、例えば疑似体験提供装置１００の電源が投入されたときに開始する。

【0076】

設定部１１５は、利用者Ｕに提示する疑似体験の刺激強度の初期値を設定する（Ｓ２）。選択部１１１は、刺激強度に基づいて、利用者Ｕに提示する疑似体験のシナリオを構成するシーンを選択する（Ｓ４）。

【0077】

提示部１１２は、選択部１１１が選択したシーンを利用者Ｕに提示する（Ｓ６）。利用者Ｕに提示するシナリオが継続している間（Ｓ８のＮｏ）、生体情報取得部１１３は、計測装置３００が計測した利用者Ｕの生体情報を取得する（Ｓ１０）。強度調整部１１４は、生体情報取得部１１３が取得した利用者Ｕの生体情報に基づいて、疑似体験の刺激強度を再設定する（Ｓ１２）。その後制御部１１０はステップＳ４に戻って上記の処理を継続する。

【0078】

利用者Ｕに提示するシナリオが終了した場合（Ｓ８のＹｅｓ）、本フローチャートにおける処理は終了する。

【0079】

以上説明したように、実施の形態に係る疑似体験提供システム１によれば、ＶＲを用いた訓練効果を安定化することができる。
特に、疑似体験提供システム１は疑似体験の提示を受けている利用者Ｕの生体情報に基づいて利用者Ｕに提示する疑似体験の刺激強度をリアルタイムに変更するため、訓練を通して適切な刺激強度で利用者Ｕに疑似体験を提示することができる。

【0080】

また、訓練の開始前に利用者Ｕが回答したアンケートに基づいて疑似体験提供システム１は利用者Ｕの刺激強度を設定するため、訓練の開始時点から利用者Ｕに適した刺激強度で利用者Ｕに疑似体験を提示することができる。

【0081】

以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更又は改良を加えることが可能であることが当業者に明らかである。そのような変更又は改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。

【0082】

＜第１の変形例＞
例えば疑似体験提供システム１は、上記のような交通安全訓練の他、構造理解・機能説明、学習用マニュアル、施設保守・保全管理、危険予知予防学習、対応手順学習、セキュリティー訓練、技能向上・対処訓練等、種々の訓練学習に利用可能である。

【0083】

＜第２の変形例＞
上記では、疑似体験提供システム１の利用者Ｕが１人の場合について主に説明した。すなわち、疑似体験提供システム１の利用者Ｕが１人の場合、選択部１１１は、利用者Ｕに設定された刺激強度に基づいて利用者Ｕに提示するシーンの順序を変更する場合について説明した。

【0084】

第２の変形例に係る疑似体験提供システム１は、疑似体験提供システム１を複数の利用者Ｕが利用することが想定されており、各利用者Ｕに共通する疑似体験を同時に提供する。疑似体験提供システム１を複数の利用者Ｕが利用する場合、複数の利用者Ｕのそれぞれに設定された刺激強度が互いに異なることが起こりうる。このため、複数の利用者Ｕのうちのいずれかの利用者Ｕの刺激強度に応じて利用者Ｕに提示されるシーンの順序を変更すると各利用者Ｕに共通する疑似体験を同時に提供することができなくなる。

【0085】

そこで選択部１１１は、疑似体験提供システム１の利用者Ｕが複数の場合においてそれぞれの利用者Ｕに共通する疑似体験を同時に提供する場合には、刺激強度に基づくシーンの順序変更を禁止する。これにより、一つの共通するシナリオを複数の利用者Ｕに対して同時に提供することができる。

【0086】

＜第３の変形例＞
上記では、利用者Ｕの生体情報に基づいて強度調整部１１４が刺激強度を調整する場合について主に説明した。これに加えて、疑似体験提供システム１のオペレータがモニタ６００に表示される利用者Ｕの生体情報や表情等を観察して、手動で刺激強度を調整したり、提示するシーンの順序を変更したりしてもよい。これは例えば疑似体験提供装置１００に接続されたキーボードやポインティングデバイス等の図示しないユーザインタフェースを介し、疑似体験提供システム１のオペレータが提示部１１２や設定部１１５を操作することができるようにすることで実現できる。

【符号の説明】

【0087】

１・・・疑似体験提供システム
１００・・・疑似体験提供装置
１１０・・・制御部
１１１・・・選択部
１１２・・・提示部
１１３・・・生体情報取得部
１１４・・・強度調整部
１１５・・・設定部
１１６・・・データベース生成部
１２０・・・記憶部
１２１・・・シナリオ格納部
１２２・・・刺激強度格納部
１２３・・・刺激強度データベース
２００・・・ヘッドマウントディスプレイ
２５０・・・聴覚再現装置
３００・・・計測装置
４００・・・姿勢検知センサ
５００・・・カメラ
６００・・・モニタ
７００・・・触覚再現装置
８００・・・中継装置
９００・・・停止スイッチ
１１４０・・・生体情報解析部
１１４１・・・停止閾値記憶部
１１４２・・・比較部
１１４３・・・論理和演算部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】