特開 2024-158534 シミュレーション装置及びサーバ装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024158534

(43)【公開日】2024-11-08

(54)【発明の名称】シミュレーション装置及びサーバ装置

(51)【国際特許分類】

   G08G 1/00 20060101AFI20241031BHJP

   G08G 1/16 20060101ALI20241031BHJP

   G09B 9/04 20060101ALI20241031BHJP

   G09B 9/052 20060101ALI20241031BHJP

   G09B 9/05 20060101ALI20241031BHJP

【ＦＩ】

G08G1/00 D

G08G1/16 F

G09B9/04 A

G09B9/052

G09B9/05 A

【審査請求】未請求

【請求項の数】8

【出願形態】ＯＬ

(21)【出願番号】P 2023073798

(22)【出願日】2023-04-27

(71)【出願人】

【識別番号】523160737

【氏名又は名称】クラリオンライフサイクルソリューションズ株式会社

(74)【代理人】

【識別番号】240000327

【弁護士】

【氏名又は名称】弁護士法人クレオ国際法律特許事務所

(72)【発明者】

【氏名】川村 晋司

(72)【発明者】

【氏名】鶴巣 亨輔

(72)【発明者】

【氏名】吉成 公一

【テーマコード（参考）】

5H181

【Ｆターム（参考）】

5H181AA01

5H181AA06

5H181AA07

5H181AA14

5H181CC04

5H181FF05

5H181FF10

5H181LL20

5H181MB02

5H181MB08

5H181MC17

5H181MC19

5H181MC27

(57)【要約】

【課題】事業者の負担を軽減しつつ、より適切に運転を評価することが可能なシミュレーション装置を提供する。
【解決手段】シミュレーション装置２０は、車載カメラ１が撮影した撮影画像を表示するように画像表示部６０を制御する表示制御部３４と、撮影画像Ｇ１に基づいて、シミュレーションを行う被験者が注視すべき注視領域を画像認識により認識する認識部３２と、被験者の視線が撮影画像Ｇ注視領域に向いているかどうかに基づいて被験者の運転を評価する評価部３６とを備える。
【選択図】図２

【特許請求の範囲】

【請求項1】

車両に搭載されたカメラが撮影した撮影画像を表示するように表示部を制御する表示制御部と、
前記撮影画像に基づいて、シミュレーションを行う被験者が注視すべき注視領域を画像認識により認識する認識部と、
前記被験者の視線が前記撮影画像の前記注視領域に向いているかどうかに基づいて前記被験者の運転を評価する評価部と、
を備えるシミュレーション装置。

【請求項2】

前記表示制御部は、前記車両の周辺を視認するための視認部材を含む撮影画像を表示するように前記表示部を制御する、
請求項１に記載のシミュレーション装置。

【請求項3】

前記認識部は、前記注視領域として、前記撮影画像における前記車両の周辺を視認するための視認部材を画像認識により認識する、
請求項１に記載のシミュレーション装置。

【請求項4】

前記認識部は、前記注視領域として、前記撮影画像における移動体を認識する、
請求項１に記載のシミュレーション装置。

【請求項5】

前記撮影画像において所定のイベントが発生したイベント発生時刻を記憶する記憶部と、
前記被験者による所定の動作に関する動作情報を検出する動作検出部と、を備え、
前記評価部は、前記動作検出部が前記動作情報を検出した動作検出時刻と、前記イベント発生時刻に基づいて、前記被験者の運転を評価する、
請求項１に記載のシミュレーション装置。

【請求項6】

前記評価部は、前記動作検出時刻が、前記イベント発生時刻以降であるとき、前記被験者の運転に関する通知を出力する、
請求項５に記載のシミュレーション装置。

【請求項7】

前記評価部は、前記カメラが備える加速度センサで取得した衝撃情報に基づいて、前記イベント発生時刻を取得し、取得した前記イベント発生時刻、前記動作検出時刻及び前記所定の動作に基づいて、前記被験者の運転を評価する、
ことを特徴とする請求項５に記載のシミュレーション装置。

【請求項8】

車両に搭載されたカメラが撮影した撮影画像をシミュレーション装置へ送信するサーバ装置であって、
前記カメラから前記撮影画像を受信する受信部と、
前記撮影画像に基づいて、シミュレーションを行う被験者が注視すべき注視領域を画像認識により認識する認識部と、
前記撮影画像における前記注視領域を前記シミュレーション装置へ送信する送信部と、
を備えるサーバ装置。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、シミュレーション装置及びサーバ装置に関するものである。

【背景技術】

【0002】

従来、被験者に運転の疑似体験をさせるシミュレーション装置が知られている（例えば、特許文献１～５参照）。特許文献１には、実路面における実車走行時において撮影及び収集された実映像データ及び実走行データを取り込み、映像発生装置ならびに動揺発生装置において再現させることが開示されている。特許文献２には、走行映像に複数のメッシュを設定して、被験者の視線位置や視線滞留時間を検出し、さらに、このメッシュの上に、左ミラー領域等の区域を単位に集計して、無事故運転者と被検者との値を統計的に比較して点数化し、被験者の運転適性を自動的に評価することが開示されている。

【0003】

特許文献３には、車輌等の移動体の３６０度の全周囲を撮影した全周映像を用いて、その全周映像を視点方向に平面展開することにより、任意の視点移動の対象となる対象映像を取得・生成することが開示されている。特許文献４には、被験者の頭又は目の動きを検出して記録し、この記録したデータに基づいて、被験者が適切に反応したかどうかを評価することが開示されている。特許文献５には、ＶＲヘッドマウントディスプレイに映像を表示するとともに、実際の車両の振動を再現するために椅子を振動させることが開示されている。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２００５－３１６００４号公報

【特許文献2】特開２００８－１３９５５３号公報

【特許文献3】特開２０２０－８６６４号公報

【特許文献4】米国特許出願公開第２０２２／０５１５８９号

【特許文献5】韓国公開特許第１０－２１２０５５３号

【発明の概要】

【発明が解決しようとする課題】

【0005】

例えば、被験者の視線位置を評価するため、シミュレーション装置を提供する事業者が、事前に撮影画像を見ながら、被験者が注視すべき領域を設定していた。被験者が注視すべき領域を設定することに膨大な手間と時間がかかり、事業者にとって多大な負担であった。

【0006】

そこで、本開示は、事業者の負担を軽減しつつ、より適切に運転を評価することが可能なシミュレーション装置を提供することを目的としている。

【課題を解決するための手段】

【0007】

前記目的を達成するために、本開示のシミュレーション装置は、車両に搭載されたカメラが撮影した撮影画像を表示するように表示部を制御する表示制御部と、前記撮影画像に基づいて、シミュレーションを行う被験者が注視すべき注視領域を画像認識により認識する認識部と、前記被験者の視線が前記撮影画像の前記注視領域に向いているかどうかに基づいて前記被験者の運転を評価する評価部と、を備える。

【発明の効果】

【0008】

このように構成された本開示のシミュレーション装置は、認識部が撮影画像から被験者が注視すべき領域を画像認識により認識している。したがって、事業者の負担を軽減しつつ、より適切に運転を評価することが可能となる。

【図面の簡単な説明】

【0009】

【図1】第１実施形態に係るシミュレーションシステムにおけるシミュレーション装置の概略構成を示すイメージ図である。

【図2】第１実施形態に係るシミュレーションシステムの機能構成を示すブロック図である。

【図3】認識部が、被験者が注視すべき注視領域を検知する過程を説明するための図である。

【図4】被験者が装着する画像表示部のＶＲ表示部に表示される表示画像の一例を示す図である。

【図5】Ｇセンサで検知した衝撃情報の一例を示すグラフである。

【図6】得点表と、衝撃情報のグラフとを示す図である。

【図7】第１実施形態に係るシミュレーションシステムのシミュレーション装置における動作の一例を説明するためのフローチャートである。

【発明を実施するための形態】

【0010】

（第１実施形態）
この開示の第１実施形態に係るシミュレーションシステム１００は、図面に基づいて以下のように説明される。図１は、第１実施形態に係るシミュレーションシステム１００におけるシミュレーション装置２０の概略構成を示す図である。図２は、第１実施形態に係るシミュレーションシステム１００の機能構成を示すブロック図である。

【0011】

図１、図２に示されるように、第１実施形態に係るシミュレーションシステム１００は、サーバ装置１０と、シミュレーション装置２０とを主に備える。

【0012】

サーバ装置１０は、図示しない車両に搭載された車載カメラ１が撮影した撮影画像Ｇ１（図３参照）等をシミュレーション装置２０へ送信する装置である。サーバ装置１０は、クラウドサーバ等から構成される。サーバ装置１０は、図２に示されるように、複数の車載カメラ１と通信網Ｌ１を介して通信可能である。また、サーバ装置１０は、インターネット等の通信ネットワーク回線Ｌ２を介してシミュレーション装置２０と通信可能である。

【0013】

サーバ装置１０は、図２に示されるように、受信部１１と、送信部１２と、イベント情報データベース１３とを主に備える。以下、イベント情報データベース１３は、単に「イベント情報ＤＢ１３」と称する。受信部１１は、通信網Ｌ１を介して、車載カメラ１から撮影画像Ｇ１を含むイベント情報を受信する。イベント情報は、事故や事故発生には至らないものの、事故発生の危険性が高い事象が生じたときに、車載カメラ１が取得した情報である。

【0014】

受信部１１は、車載カメラ１から受信したイベント情報を、イベント情報ＤＢ１３に格納する。このとき、受信部１１は、イベント情報を、例えば、車種、事故の種類等に応じて適宜分類し、イベント情報ＤＢ１３に格納してもよい。車種の例は、トラック、タクシー、バス、社用車等である。受信部１１は、事故と、事故発生には至らないものの、事故発生の危険性が高い事象を区別して分類し、イベント情報ＤＢ１３に格納してもよい。

【0015】

送信部１２は、シミュレーション装置２０からの要求に応じて、イベント情報ＤＢ１３に格納されている様々なイベント情報の中から、１つ又は複数の撮影画像データをシミュレーション装置２０へ送信（出力）する。

【0016】

第１実施形態において、車載カメラ１が搭載される車両は、トラック、タクシー、バス、社用車等の、いわゆる商用車である。しかし、車両は、商用車に限定されず、個人が有する、いわゆる自車両であってもよい。

【0017】

車載カメラ１は、例えば「映像記録型ドライブレコーダー」とすることができる。車載カメラ１は、図２に示されるように、カメラ部２、Ｇセンサ３、ＧＰＳ４、通信部５、メモリ６等を主に備える。カメラ部２は、３６０度カメラから構成され、車両の周囲の３６０度全方向の画像を撮影可能である。Ｇセンサ３は、加速度センサとも呼ばれる。例えば、Ｇセンサ３は車載カメラ１が検知した加速度を３自由度で検知するセンサである。３自由度の例は、車載カメラ１を基準とした前後方向であるＸ軸方向の加速度、左右方向であるＹ軸方向の加速度、上下方向であるＺ軸方向の加速度である。

【0018】

車載カメラ１は、Ｇセンサ３が所定の値以上の加速度を検知した前後の所定の期間の時刻、ＧＰＳ４で取得した位置情報、カメラ部２で撮影した動画像である撮影画像、Ｇセンサで検知した衝撃情報、ウィンカー操作、ブレーキ操作等の各種データを、イベント情報としてメモリ６に記録する。Ｇセンサ３で検知した衝撃情報は、例えば、Ｘ，Ｙ，Ｚの３軸方向の加速度である。車載カメラ１の通信部５は、メモリ６に記録したイベント情報を、通信網Ｌ１を介してサーバ装置１０へ送信する。

【0019】

シミュレーション装置２０は、被験者Ｐに運転の疑似体験をさせる装置であり、「ドライビングシミュレータ」等とも呼ばれる。第１実施形態のシミュレーション装置２０は、図２に示されるように、制御部（情報処理部）３０と、記憶部４０と、振動発生部５０と、画像表示部６０と、操作部７０とを主に備える。

【0020】

制御部３０と記憶部４０は、例えば、パーソナルコンピュータから構成される。制御部３０は、ＣＰＵ、ＲＡＭ等により主に構成される。記憶部４０は、ＲＯＭ、ＨＤＤ等の記憶装置により主に構成されるが、外部に設けられたサーバやデータベースを備えることもできる。

【0021】

記憶部４０は、シミュレーション装置２０を動作させるための制御プログラム、制御部３０における各種動作の際に用いられる各種データやパラメータ、イベント情報に基づき抽出された注視領域の位置情報、イベントに関する期間等を、一時的又は非一時的に格納する。

【0022】

また、記憶部４０は、イベント情報記憶部４１及び得点表記憶部４２を備える。イベント情報記憶部４１は、サーバ装置１０からのイベント情報を、一時的又は非一時的に格納する。得点表記憶部４２は、評価部３６が作成した得点表を、一時的又は非一時的に格納する。

【0023】

制御部３０は、ＲＯＭに格納された所定のプログラムをＲＡＭに展開して実行することにより、シミュレーション装置２０全体の動作を制御する。また、制御部３０は、図２に示されるように、通信部３１、認識部３２、座席角情報送信部３３、表示制御部３４、動作検出部３５、評価部３６及び運転情報表示加工部３７として機能する。

【0024】

通信部３１は、サーバ装置１０にアクセスして、サーバ装置１０からイベント情報を受信し、イベント情報記憶部４１に格納する。このとき、通信部３１は、イベント情報ＤＢ１３に格納されたすべてのイベント情報を受信する構成とすることもできるし、ユーザによる車種、事故の種類、事故発生には至らないものの、事故発生の危険性が高い事象の種類の指定に対応する１つ又は複数のイベント情報を受信する構成とすることもできる。

【0025】

認識部３２は、イベント情報記憶部４１から所定のイベント情報を取得する。認識部３２は、イベント情報を解析してイベントに関する期間を特定し、特定した期間を後述の被験者Ｐの動作期間に分類する。認識部３２は、イベント情報に含まれる撮影画像に基づいて、被験者Ｐが注視すべき領域である注視領域を画像認識により認識する。具体的には、認識部３２は、図３に示されるように、１フレームごとに、撮影画像Ｇ１を格子状に複数の領域Ｒに分割し、画像認識により、ミラー、モニタ等が写っている領域Ｒ（図３の網掛部分参照）を検出する。ミラー、モニタ等の部材は、撮影画像Ｇ１における車両の周辺を視認するための視認部材である。左ミラー、右ミラー、バックミラー、車両の周辺を撮影した画像を表示しているモニタが、車両の周辺を視認するための視認部材に含まれる。これに対して車両の周辺を撮影した画像を表示していないモニタは、車両の周辺を視認するための視認部材に含まれない。次いで、認識部３２は、画像認識により、検出した視認部材に他車両、歩行者等の移動体が写っているかどうか判定する。この移動体は、被験者Ｐが注視すべき物体の一例である。認識部３２は、検出した視認部材に移動体が写っていると判定した領域Ｒを、注視領域Ａとする。被験者Ｐが視認部材を介して間接的に移動体を視認できる領域が注視領域Ａである。

【0026】

また、認識部３２は、画像認識により、視認部材が写っている領域とは異なる領域に、注視すべき物体、例えば、他車両、歩行者等の移動体、障害物等が写っているかどうか判定する。認識部３２は、視認部材が写っている領域とは異なる領域に注視すべき物体が写っていると判定した領域を、注視領域Ｂとする。被験者Ｐが視認部材を介さず、直接移動体等を視認できる領域が注視領域Ｂである。

【0027】

なお、図３に示される撮影画像Ｇ１は、３６０度カメラからなるカメラ部２で撮影した撮影画像Ｇ１の一部である。実際には、認識部３２は、３６０度全方向を撮影した撮影画像Ｇ１について、１フレームごとに画像認識によって注視領域Ａ又は注視領域Ｂを検出する。認識部３２は、検出した注視領域Ａ又は注視領域Ｂの位置情報、例えば、注視領域Ａ又は注視領域Ｂの四隅の点の座標を、撮影時刻と紐づけて記憶部４０に格納する。

【0028】

また、認識部３２は、イベント情報に含まれるＧセンサ３で検知した衝撃情報に基づいて、イベントが発生した時刻を取得する。以下、この時刻を「イベント発生時刻」と称することがある。図５は、Ｇセンサ３で検知した時間軸に対する衝撃情報の一例を示すグラフである。これらのグラフは、図５の紙面上から順に、Ｘ軸方向（車両の前後方向）、Ｙ軸方向（左右方向）、Ｚ軸方向（上下方向）の加速度の変化を示すグラフである。各グラフの横軸は時刻であり、縦軸は加速度（Ｇ）である。

【0029】

また、Ｘ軸方向のグラフにおいて、プラス値は後方向の加速度、マイナス値は前方向の加速度である。Ｙ軸方向のグラフにおいて、プラス値は左方向の加速度、マイナス値は右方向の加速度である。Ｚ軸方向のグラフにおいて、プラス値は下方向の加速度、マイナス値は上方向の加速度である。なお、本実施形態は、Ｘ軸方向を前後方向、Ｙ軸方向を左右方向、Ｚ軸方向を上下方向と定義しているが、これに限定されず、何れの方向をＸ、Ｙ、Ｚ軸方向としてもよい。

【0030】

この図５に示される衝撃情報の例では、Ｘ軸方向（前後方向）において、マイナス方向（前方向）に大きな加速度が検知されている（図５の四角で囲まれた部分参照）。このことから、認識部３２は、急ブレーキがかかって他車両等に衝突した、又は衝突しそうになったというイベントが発生したことを認識する。このイベントは、事故又は事故発生には至らないものの、事故発生の危険性が高い事象である。認識部３２は、その大きな加速度が発生した時刻を「イベント発生時刻」（Ｔ３）として記憶部４０に記憶する。また、認識部３２は、衝撃情報に基づいて、ドライバがステアリング操作を行った時刻、ブレーキ操作を行った時刻等、動作を行った時刻を特定する。

【0031】

図６は、得点表と、衝撃情報のグラフとを示す図である。この図６に示される衝撃情報のグラフは、図５に示されるＸ軸方向、Ｙ軸方向及びＺ軸方向のグラフを１つのまとめたものである。図６において、Ｔは注視領域Ａの注視、操作部７０の操作等、被験者Ｐが動作を行った時刻である。この時刻は、後述する動作検出部３５が、被験者Ｐが行った動作に関する動作情報を検出した時刻でもあるため、以下、この時刻を、「動作検出時刻」と称することがある。Ｔ３は事故又は事故発生には至らないものの、事故発生の危険性が高い事象が発生したイベント発生時刻であるが、得点表では、より適切な評価を行うべく、実際の事故等においてドライバがブレーキ等を操作した時刻よりも前の時刻に設定される。Ｔ２は事故直前又は事故発生には至らないものの、事故発生の危険性が高い事象の期間の始点となる時刻である。具体的には、例えば、Ｔ２はドライバが急ブレーキをかけ始めた時刻である。Ｔ１は事故直前又は事故発生には至らないものの、事故発生の危険性が高い事象が発生するよりも前の所定の時刻である。具体的には、例えば、Ｔ１は低速走行から通常速度での走行に切り替わった時刻である。

【0032】

認識部３２は、特定した時刻等に基づいて、期間を事象ごとに分類する。図６において、Ｔ１未満の期間は車両が低速走行を行っている期間である。Ｔ１以上Ｔ２未満の期間は他車両が接近している、つまり注視領域Ａ又は注視領域Ｂに他車両が写っていて、かつ車両は通常速度走行である期間である。Ｔ２以上Ｔ３未満の期間は事故直前の期間又は事故発生には至らないものの、事故発生の危険性が高い事象が発生している期間である。Ｔ３以降の期間は事故が発生した後の期間である。

【0033】

次いで、認識部３２は、イベント発生時刻等の時刻情報及び衝撃情報に基づいて、図６に示されるような運転評価に用いる得点表（テーブル）を作成する。認識部３２は、作成した得点表を記憶部４０の得点表記憶部４２に格納する。なお、認識部３２は、シミュレーション装置２０が起動されて、イベント情報が選択されたときに、当該イベント情報の分類処理を実行し、作成した得点表を得点表記憶部４２に格納する構成とすることができる。または、認識部３２は、サーバ装置１０からイベント情報を受信したとき等に、イベント情報記憶部４１に格納されたすべてのイベント情報に対して予め分類処理を実行し、すべてのイベント情報に関する得点表を作成して得点表記憶部４２に格納する構成とすることもできる。

【0034】

認識部３２は、被験者Ｐの動作を検出した動作検出時刻Ｔと、上記期間の分類結果に基づいて、被験者Ｐに付与する得点を設定する。検出する動作の例は、被験者Ｐが注視領域又は注視領域Ｂを注視したこと、被験者Ｐがステアリングを操作したこと、被験者Ｐがブレーキを操作したこと、被験者Ｐがアクセルを操作したこと、である。例えば、図６の得点表によれば、被験者Ｐが注視領域Ａ又は注視領域Ｂを注視したという動作を検出した時刻ＴがＴ１よりも前の期間（Ｔ＜Ｔ１）で、かつ視線の方向が注視領域Ａ又は注視領域Ｂ内であるときは、２点が付与される。なお、視線の先は被験者Ｐが注視している位置でもあることから、視線の方向を「注視位置」と称することがある。被験者Ｐがステアリングを操作した時刻ＴがＴ＜Ｔ１で、かつ操作の方向がイベント情報に基づき予め設定した正解のステアリング方向と一致した（ｍａｔｃｈ）ときは、２点が付与される。例えば、ブレーキ操作を検出した時刻ＴがＴ＜Ｔ１のときは、２点が付与される。例えば、イベントが「衝突」の場合、「予め設定した正解のステアリング方向」は、衝突した障害物が存在する方向とは逆方向である。

【0035】

被験者Ｐが注視領域Ａ又は注視領域Ｂを注視した時刻ＴがＴ１以上Ｔ２未満の期間（Ｔ１≦Ｔ＜Ｔ２）で、かつ視線の方向が注視領域Ａ又は注視領域Ｂ内であるときは、他車両を適切に注視したとして、５点が付与される。ブレーキ操作の時刻ＴがＴ１≦Ｔ＜Ｔ２のときは、５点が付与され、ステアリング操作の時刻ＴがＴ１≦Ｔ＜Ｔ２で、かつステアリング方向が予め設定した正解のステアリング方向と一致したときは、５点が付与される。

【0036】

被験者Ｐが注視領域Ａ又は注視領域Ｂを注視した時刻ＴがＴ２以上Ｔ３未満の期間（Ｔ２≦Ｔ＜Ｔ３）で、かつ視線の方向が注視領域Ａ又は注視領域Ｂ内であるときは、事故直前又は事故発生には至らないものの、事故発生の危険性が高い事象のときに適切に注視領域Ａ又は注視領域Ｂを注視したとして、１０点が付与される。同様に、ブレーキ操作の時刻ＴがＴ２≦Ｔ＜Ｔ３のときは、１０点が付与され、ステアリング操作の時刻ＴがＴ２≦Ｔ＜Ｔ３で、かつステアリング方向が予め設定した正解のステアリング方向と一致したときは、１０点が付与される。一方で、被験者Ｐが注視領域Ａ又は注視領域Ｂを注視した時刻、ブレーキ操作の時刻、ステアリング操作の時刻が、Ｔ３以上の期間（Ｔ３≦Ｔ）であるとき、つまり、事故が発生してからこれらの動作を行ったときは、得点対象外であり、得点は付与されない。被験者Ｐがステアリング操作をしたとしても、被験者Ｐの視線の方向が注視領域Ａ又は注視領域Ｂ外ならば、得点は付与されない。これは、被験者Ｐが注視すべき領域を見ることなくステアリング操作をしたと考えられるためである。

【0037】

なお、図６に示される例では、認識部３２は、視線の方向、ステアリング操作、ブレーキ操作に基づいて得点表を作成しているが、これに限定されない。認識部３２は、アクセル操作、走行速度、アクセル操作又はブレーキ操作の操作量等に基づいて得点表を作成することもできる。

【0038】

座席角情報送信部３３は、イベント情報に含まれるＧセンサ３からの衝撃情報に基づいて、Ｘ軸方向、Ｙ軸方向及びＺ軸方向の加速度を、座席角情報として取得する。座席角情報送信部３３は、取得した座席角情報を振動発生部５０の座席角再現部５３に送信する。座席角再現部５３は、受信した座席角情報に基づき、座席駆動部５２を駆動制御して、座席本体５１をＸ，Ｙ，Ｚ軸方向と、各方向の回転角度を合わせた６自由度で動かす。被験者Ｐは実際に車両を運転しているときのような振動を体験することができる。

【0039】

表示制御部３４は、画像表示部６０の画像再現部６３を制御して、ＶＲ表示部６１に表示画像Ｇ３を表示させる。より具体的には、表示制御部３４は、イベント情報に含まれる、車載カメラ１のカメラ部２で撮影した撮影画像Ｇ１と、後述する運転情報表示加工部３７で生成された評価結果画像Ｇ２を画像再現部６３に送信する。そして、表示制御部３４は、画像再現部６３を制御して、撮影画像Ｇ１及び評価結果画像Ｇ２を含む表示画像Ｇ３を、被験者Ｐの視線の方向に基づいて表示（再生）させる。このとき、表示制御部３４は、カメラ部２がミラー等の車両の周辺を視認するための視認部材を含む撮影画像Ｇ１を表示するように画像再現部６３を制御することが望ましい。

【0040】

動作検出部３５は、被験者Ｐによる操作部７０に対する操作、頭部の移動等の動作に関する動作情報を取得する。例えば、動作検出部３５は、操作部７０のステアリング部７１に設けられた操舵角検知部７１ａから検知結果を取得し、被験者Ｐのステアリング部７１の操作状態をステアリング操作情報として検出する。ステアリング部７１での操作状態には、操作の有無、被験者Ｐによる操作を検知した時刻及びステアリング角度（操舵角）に基づくステアリング方向等が含まれる。動作検出部３５は、アクセル部７２に設けられたアクセル検知部７２ａから検知結果を取得し、被験者Ｐのアクセル部７２の操作状態をアクセル操作情報として検出する。アクセル部７２の操作状態には、操作の有無、被験者Ｐによる操作を検知した時刻、操作量等が含まれる。動作検出部は３５、ブレーキ部７３に設けられたブレーキ検知部７３ａから検知結果を取得し、被験者Ｐのブレーキ部７３の操作状態をブレーキ操作情報として検出する。ブレーキ部７３の操作状態には、操作の有無、被験者Ｐによる操作を検知した時刻、操作量等が含まれる。また、動作検出部３５は、画像表示部６０に設けられた視線検知部６２での視線の検知結果に基づいて、被験者Ｐの視線の方向を視線情報として検出する。動作検出部３５は、検出したステアリング操作情報、アクセル操作情報、ブレーキ操作情報、及び視線情報を、被験者Ｐの動作情報として評価部３６へ送信する。なお、動作検出部３５は装置が被験者Ｐによる操作を検出したタイミングを被験者Ｐが操作した時刻と見なしてよい。

【0041】

評価部３６は、動作検出部３５で検出した動作情報及び得点表記憶部４２の得点表に基づき、被験者Ｐの運転を評価する。例えば、評価部３６は、被験者の動作情報のうち視線情報に基づいて、被験者Ｐの視線の方向が画像の注視領域Ａ又は注視領域Ｂに向いているかどうか、被験者Ｐの視線の方向が画像の注視領域Ａ又は注視領域Ｂに向いた時刻Ｔが適切かどうかに基づいて被験者Ｐの運転を評価し、得点を付与する。評価部３６は、注視領域Ａと注視領域Ｂのうち、先に障害物等の注視すべき物体が写った方の領域に、後に障害物等が映った方の領域よりも多くの得点を付与するよう重み付けをしてもよい。評価部３６は、ステアリング操作情報に基づいて、被験者Ｐがステアリング部７１を操作した時刻Ｔが適切かどうかに基づいて被験者Ｐの運転を評価し、得点を付与する。評価部３６は、ブレーキ操作情報に基づいて、被験者Ｐがブレーキ部７３を操作した時刻Ｔが適切かどうかに基づいて被験者Ｐの運転を評価し、得点を付与する。評価部３６は、評価結果を運転情報表示加工部３７へ送信する。また、評価部３６は、動作検出部３５が被験者Ｐの動作を検出した動作検出時刻Ｔ、例えば、ブレーキ操作を検出した時刻Ｔがイベント発生時刻Ｔ３以降であると評価したとき、被験者Ｐに通知するべく、警告情報として、例えば警告フラグをオンにして、運転情報表示加工部３７へ送信する。

【0042】

運転情報表示加工部３７は、評価部３６から受信した評価結果と撮影画像に基づいて、評価結果画像Ｇ２を生成する。評価結果画像Ｇ２は、得点、ステアリング操作の状態、ステアリング角度、ブレーキ操作の状態等の評価結果が文字、数字等で表される。また、運転情報表示加工部３７は、評価部３６から警告情報を受信したとき、評価部３６が評価した被験者Ｐの運転に関する通知を、評価結果画像Ｇ２に含める。運転情報表示加工部３７は、生成した評価結果画像Ｇ２を表示制御部３４へ送信する。

【0043】

振動発生部５０は、画像表示部６０での表示画像Ｇ３の表示に合わせて、カメラ部２で車両の周囲が撮影されたときのＧセンサ３の検知結果に基づいて振動を発生させ、実際の車両の運転時と同様の振動を被験者Ｐに付与する。振動発生部５０は、座席本体５１と、座席駆動部５２と、座席角再現部５３とを主に備える。

【0044】

座席本体５１は、被験者Ｐが座る部材である。座席駆動部５２は、座席角再現部５３によって制御される。座席駆動部５２は、座席本体５１をＸ軸方向（前後方向）、Ｙ軸方向（左右方向）及びＺ軸方向（上下方向）、各軸方向の回転の6自由度で駆動できる。座席駆動部５２は、例えば、ステッピングモータ、シリンダ等の電動アクチュエータから構成される。座席角再現部５３は、座席角情報送信部３３から座席角情報を受信し、座席角情報に基づいて座席駆動部５２を駆動制御する。

【0045】

画像表示部６０は、表示制御部３４の制御に基づいて、カメラ部２で撮影された撮影画像Ｇ１及びを含む表示画像Ｇ３を被験者Ｐに提示する画像表示装置である。画像表示部６０は、ヘッドマウントディスプレイから構成され、被験者Ｐの頭部に装着されるが、これに限定されない。画像表示部６０は、ＶＲ表示部６１と、視線検知部６２と、画像再現部６３とを主に備える。また、画像表示部６０は、バックライト等の光学系、投影光学系等、一般的な画像表示装置が有する部材を備えている。

【0046】

ＶＲ表示部６１は、画像表示部６０を頭部に装着した被験者Ｐの眼の前方に配置され、その表示面６１ａに表示画像Ｇ３が表示（再生）される。ＶＲ表示部６１は、液晶ディスプレイ、有機ＥＬディスプレイ等から構成される。ＶＲ表示部６１は、被験者Ｐが表示画像Ｇ３を視認できればよい。例えば、被験者Ｐは表示画像とともに外部の現実環境を視認可能な透過型でもよく、これ以外の非透過型でもよい。視線検知部６２は、加速度センサ等から構成され、被験者Ｐの頭部の動きに基づいて、視線の方向を検知する。視線の方向である注視位置は、本実施形態では、被験者Ｐの視線の延長線とＶＲ表示部６１の表示面６１ａに表示された表示画像Ｇ３とが交差した位置、つまり表示画像Ｇ３における３次元座標で表される。視線検知部６２は、検知した視線の方向である注視位置の位置情報を、画像再現部６３に送信する。

【0047】

なお、視線検知部６２は、加速度センサに限定されず、他の例として被験者Ｐの画像を撮影する撮像装置とすることもできる。このような視線検知部６２は、撮影した被験者Ｐの画像から、画像認識により目を検出し、視線の方向を検知する。

【0048】

画像再現部６３は、表示制御部３４から受信した撮影画像Ｇ１及び評価結果画像Ｇ２を含む表示画像Ｇ３生成し、生成した表示画像Ｇ３をＶＲ表示部６１の表示面６１ａに表示させる（図４参照）。このとき、画像再現部６３は、図１に示されるように、被験者Ｐの周囲３６０度の方向に球面状の投影面Ｖを設定して、視線検知部６２が検知した視線の方向を中心とした所定範囲の領域Ｗの撮影画像Ｇ１を、視線の方向の変化に対応させて領域を移動させつつＶＲ表示部６１に表示させる。これにより、被験者Ｐは、自身の視線の方向に対応する撮影画像Ｇ１と、評価結果画像Ｇ２を含む表示画像Ｇ３を視認することができる。

【0049】

すなわち、被験者Ｐが正面又は後方を向けば、ＶＲ表示部６１には、車両の前方の画像又は後方の画像がそれぞれ表示される。また、被験者Ｐが左方向、右方向、上方向又は下方向を向けば、ＶＲ表示部６１には、車両の左方、右方、上方又は下方の画像がそれぞれ表示される。また、画像再現部６３は、視線の方向を動作検出部３５に送信する。この視線の方向は、動作検出部３５から評価部３６に送信され、運転の評価に用いられる。

【0050】

また、図４に示されるように、画像再現部６３は、ＶＲ表示部６１の表示面６１ａの運転評価表示領域６１ｂに、運転評価の評価結果や被験者Ｐの運転に関する通知（例えば、警告メッセージ、警告画像等）を含む評価結果画像Ｇ２を表示する。また、画像表示部６０は、スピーカを備えてもよく、被験者Ｐの運転に関する通知を、音声で（例えば、警告音、警告メッセージ等）で出力してもよい。

【0051】

操作部７０は、被験者Ｐの各種操作（動作）を受け付ける部材である。操作部７０は、ステアリング部７１と、アクセル部７２と、ブレーキ部７３とを主に備える。また、操作部７０は、クラッチ部、ウィンカー部等を備えていてもよい。

【0052】

ステアリング部７１は、車両のステアリングを模した部材であり、被験者Ｐのステアリング操作の入力を受け付ける。ステアリング部７１は、操舵角検知部７１ａを備え、被験者Ｐのステアリング部７１の操作に基づき、ステアリング操作がされた時刻、ステアリング操作時のステアリング角度（操舵角）等を検知し、検知結果を動作検出部３５に送信する。

【0053】

アクセル部７２は、車両のアクセルペダルを模した部材であり、被験者Ｐのアクセル操作を受け付ける。アクセル部７２は、アクセル検知部７２ａを備える。アクセル検知部７２ａは、被験者Ｐのアクセル部７２の操作に基づき、アクセル操作の有無、アクセル操作がされた時刻、操作量等を検知し、検知結果を動作検出部３５に送信する。ブレーキ部７３は、車両のブレーキペダルを模した部材であり、被験者Ｐのブレーキ操作を受け付ける。ブレーキ部７３は、ブレーキ検知部７３ａを備える。ブレーキ検知部７３ａは、被験者Ｐのブレーキ部７３の操作に基づき、ブレーキ操作の有無、ブレーキ操作がされた時刻、操作量等を検知し、検知結果を動作検出部３５に送信する。

【0054】

上述のような構成の第１実施形態に係るシミュレーションシステム１００の動作の一例は、図７のフローチャートを参照して以下のように説明される。図７は、シミュレーション装置２０での動作の一例を示しているが、シミュレーション装置２０の動作は、この図７の動作に限定されない。また、図７のフローチャートの各ステップ（工程）は、図７に示す順番で必ず実行されるものでもなく、適宜順番を入れ替えて実行することや、複数のステップを同時に実行することもできる。

【0055】

この図７に示される動作は、シミュレーションシステム１００を操作する操作者等により、シミュレーション装置２０の電源が投入され、シミュレーションシステム１００が起動したときに開始される。また、サーバ装置１０は、様々なイベント情報をイベント情報ＤＢ１３に格納しているものとする。また、ステップＳ１～Ｓ３は、被験者Ｐがシミュレーションを体験する前に実行される。すなわち、ステップＳ１～Ｓ３での処理は、事前処理である。ステップＳ４以降は、被験者Ｐがシミュレーション装置２０の座席本体５１に座り、被験者Ｐ又は操作者が、図示しないスタートボタン等を押したときに実行される。

【0056】

まず、図７の紙面左図に示されるフローチャートのステップＳ１で、シミュレーション装置２０の通信部３１は、サーバ装置１０にアクセスして、サーバ装置１０からイベント情報を受信し、イベント情報記憶部４１に格納する。次のステップＳ２で、認識部３２は、イベント情報の分類処理を実行する。具体的には、認識部３２は、イベント情報記憶部４１から所望のイベント情報を取得し、イベント情報に含まれる衝撃情報に基づき、事故、事故発生には至らないものの、事故発生の危険性が高い事象等のイベント発生時刻Ｔ３を取得する。また、認識部３２は、撮影画像Ｇ１に基づいて、視認部材及び移動体を画像認識により検出し、この検出結果及び衝撃情報に基づいて、例えば、図６に示されるＴ１，Ｔ２のようなイベント発生時刻Ｔ３以外の時刻を特定し、特定した時刻に基づいて期間を被験者Ｐの動作期間に分類する。

【0057】

次のステップＳ３で、認識部３２は、特定した時刻Ｔ１～Ｔ３、期間の分類結果に基づいて、図５に示す得点表を作成し、得点表記憶部４２に格納する。ステップＳ３の工程が終了すると、プログラムは待ち状態となる。そして、シミュレーション装置２０が被験者Ｐ又は操作者によるスタートボタン等の操作入力を受信すると、プログラムはステップＳ４へと進む。

【0058】

ステップＳ４で、制御部３０は、イベント情報から経過時刻を取得する。経過時刻は、撮影画像Ｇ１の撮影開始時刻から撮影終了時刻までの期間において、イベントが撮影開始時刻を起点として何分何秒経過した時刻で検知されたかを示す時刻である。次のステップＳ５では、ステップＳ４で取得した経過時刻に応じて、表示制御部３４は、イベント情報から１フレーム分の撮影画像Ｇ１を取得する。

【0059】

次のステップＳ６で、座席角情報送信部３３は、イベント情報から取得した経過時刻に対応する座席角情報としてＸ，Ｙ，Ｚ軸方向の加速度を、１フレーム分取得する。次のステップＳ７で、座席角情報送信部３３は、座席角情報を座席角再現部５３へ送信する。この座席角情報に基づいて、座席角再現部５３は、座席駆動部５２を駆動制御し、座席本体５１をＸ，Ｙ，Ｚ軸方向と、各方向の回転角度を合わせた６自由度で動かし、被験者Ｐに振動を与える。

【0060】

次のステップＳ８で、動作検出部３５は、動作情報を取得する。すなわち、動作検出部３５は、操舵角検知部７１ａ、アクセル検知部７２ａ及びブレーキ検知部７３ａからの検知結果に基づき、各々ステアリング操作情報、アクセル操作情報及びブレーキ操作情報を検出する。また、動作検出部３５は、視線検知部６２からの検知結果に基づき、視線情報を検出する。動作検出部３５は、検出したこれらの動作情報を評価部３６へ送信する。

【0061】

次のステップＳ９で、評価部３６は、ステップＳ８で検出した動作情報及びステップＳ３で作成されて得点表記憶部４２に格納された得点表に基づき、被験者Ｐの運転を評価する。ステップＳ９の処理の詳細は、図７の紙面右図に示されるフローチャートに基づき、以下のように説明される。

【0062】

運転評価処理が開始されると、まず、ステップＳ９０１で、評価部３６は、視線情報に基づく被験者Ｐの注視位置が、上記ステップＳ４で取得した経過時刻時点の注視領域Ａ又は注視領域Ｂ内かどうかを判定する。次のステップＳ９０２で、評価部３６が、注視位置が注視領域Ａ又は注視領域Ｂ内であると判定したとき（ＹＥＳ）、プログラムはステップＳ９０３へ進む。一方、評価部３６が、注視位置が注視領域Ａ又は注視領域Ｂ外であると判定したとき（ＮＯ）、プログラムは、ステップＳ９０３をスキップしてステップＳ９０４へ進む。

【0063】

ステップＳ９０３で、評価部３６は、被験者Ｐが注視領域Ａ又は注視領域Ｂを注視した時刻Ｔに基づいて得点表から得点を取得し、得点を加算する。具体的には注視位置が注視領域Ａ又は注視領域Ｂ内を示したという動作を検出した時刻ＴがＴ＜Ｔ１、Ｔ１≦Ｔ＜Ｔ２、Ｔ２≦Ｔ＜Ｔ３かに応じて、得点表から取得した得点を加算する。その後、プログラムはステップＳ９０４へ進む。

【0064】

ステップＳ９０４で、評価部３６は、被験者Ｐのブレーキ操作があった場合は、ブレーキ操作をした時刻Ｔが、得点表に予め設定した期間内かどうか判定する。次のステップＳ９０５で、評価部３６が、被験者Ｐがブレーキ操作をした時刻Ｔが、予め設定した期間内である（Ｔ＜Ｔ１、Ｔ１≦Ｔ＜Ｔ２又はＴ２≦Ｔ＜Ｔ３）と判定したとき（ＹＥＳ）、プログラムはステップＳ９０６へと進む。一方、評価部３６が、被験者Ｐがブレーキ操作をした時刻Ｔが、予め設定した期間外である（Ｔ３≦Ｔ）と判定したとき（ＮＯ）、プログラムは、ステップＳ９０６をスキップしてステップＳ９０７へ進む。

【0065】

ステップＳ９０６で、評価部３６は、ブレーキ操作を検出した時刻Ｔに基づいて得点表から得点を取得し、得点を加算する。具体的にはブレーキ操作を検出した時刻ＴがＴ＜Ｔ１、Ｔ１≦Ｔ＜Ｔ２、Ｔ２≦Ｔ＜Ｔ３かに応じて、得点表から取得した得点を加算する。ここで、評価部３６は、ブレーキの操作量を数値化し、得点に加味する構成とすることもできる。その後、プログラムはステップＳ９０７へ進む。

【0066】

ステップＳ９０７で、評価部３６は、被験者Ｐのステアリング操作があった場合は、そのステアリング方向と、上記ステップＳ４で取得した経過時刻時点（Ｔ＜Ｔ１、Ｔ１≦Ｔ＜Ｔ２又はＴ２≦Ｔ＜Ｔ３）の正解のステアリング方向と一致するかどうか判定する。

【0067】

次のステップＳ９０８で、評価部３６が、被験者Ｐのステアリング方向が、予め設定した正解のステアリング方向と一致したと判定したとき（ＹＥＳ）、プログラムは、ステップＳ９０９へ進む。一方、評価部３６が、これらが一致しないと判定したとき（ＮＯ）、プログラムは、ステップＳ９０９をスキップしてステップＳ９１０へ進む。

【0068】

ステップＳ９０９で、評価部３６は、ステアリング操作のタイミングに基づいて得点表から得点を取得し、得点を加算する。具体的にはステアリング操作を検出した時刻ＴがＴ＜Ｔ１、Ｔ１≦Ｔ＜Ｔ２、Ｔ２≦Ｔ＜Ｔ３かに応じて、得点表から取得した得点を加算する。その後、プログラムはステップＳ９１０へ進む。

【0069】

ステップＳ９１０で、評価部３６は、算出した得点を含む評価結果を運転情報表示加工部３７へ送信する。また、評価部３６は、注視、ブレーキ操作、又はステアリング操作をした時刻Ｔが得点対象外（Ｔ３≦Ｔ）であるとき、動作に応じて、その時刻Ｔがイベント発生時刻Ｔ３以降であることを示す警告情報を含む評価結果を運転情報表示加工部３７に送信する。その後、プログラムは、終了へと進み運転評価の工程が終了する。

【0070】

運転評価処理が終了すると、プログラムは、図７の紙面左図のフローチャートへ戻り、ステップＳ１０へ進む。このステップＳ１０で、運転情報表示加工部３７は、ステップＳ９１０で評価部３６から受信した評価結果に基づいて、評価結果画像Ｇ２を生成する。運転情報表示加工部３７は、生成した評価結果画像Ｇ２を、表示制御部３４へ送信する。

【0071】

次のステップＳ１１で、表示制御部３４は、運転情報表示加工部３７から受信した評価結果画像Ｇ２と、撮影画像Ｇ１を画像再現部６３へ送信し、表示画像Ｇ３を生成してＶＲ表示部６１に表示するように画像再現部６３を制御する。画像再現部６３は、例えば図４に示されるように、被験者Ｐの視線の方向に応じた所定範囲の撮影画像Ｇ１と、評価結果画像Ｇ２を含む表示画像Ｇ３を生成してＶＲ表示部６１の表示面６１ａに表示する。評価結果画像Ｇ２は、運転評価表示領域６１ｂに表示される。このため、被験者Ｐは、表示画像Ｇ３中で再現された車載カメラ１の撮影画像Ｇ１を視認しつつ、評価結果画像Ｇ２により自身の運転に対する得点、ステアリング角度、警告等を確認することができる。

【0072】

次のステップＳ１２で、評価部３６は、1フレーム分の表示時間を、経過時刻に加算する。次のステップＳ１３で、評価部３６は、画像再現部６３で再現する撮影画像Ｇ１が終了したかどうかを判定する。評価部３６が、撮影画像Ｇ１が終了していない（次のフレームがある）と判定したとき（ＮＯ）、プログラムはステップＳ４へ戻り、次のフレームについてステップＳ４～Ｓ１２の工程を繰り返す。

【0073】

一方、評価部３６が、撮影画像Ｇ１が終了した、つまり次のフレームがないと判定したとき（ＹＥＳ）、プログラムは終了へと進み、当該被験者Ｐのシミュレーションが終了する。その後、当該被験者Ｐが、他のイベントのシミュレーションを実行する場合、又は他の被験者がシミュレーションを実行する場合は、シミュレーション装置２０は、ステップＳ１～Ｓ１３の工程を繰り返す。また、シミュレーション装置２０は、自動で又は操作者の電源断の操作を受けて、所定の終了処理を実行した後、電源オフとなる。これにより、シミュレーションシステム１００によるシミュレーション処理が終了する。

【0074】

（第２実施形態）
この開示の第２実施形態に係るシミュレーションシステム１００は、シミュレーション装置２０の認識部３２に代えて、サーバ装置１０が認識部（図２に破線で示されるサーバ側認識部１４）を備えている。第２実施形態に係るシミュレーションシステム１００は、サーバ装置１０がサーバ側認識部１４を備え、シミュレーション装置２０が認識部３２を備えていないこと以外は、図１、図２等に示される第１実施形態のシミュレーションシステム１００と同様の基本構成を備えている。

【0075】

サーバ側認識部１４は、第１実施形態の認識部３２とほぼ同様の機能を備える。より具体的には、サーバ側認識部１４は、イベント情報ＤＢ１３からイベント情報を取得し、図７のステップＳ２の分類処理と同様の分類処理を実行する。このとき、サーバ側認識部１４は、イベント情報ＤＢ１３に格納されたすべてのイベント情報について分類処理を実行し、分類結果をイベント情報ＤＢ１３等に格納する構成とすることができる。そして、送信部１２が、イベント情報ＤＢ１３から、シミュレーション装置２０により指定されたイベント情報及びその分類結果を、シミュレーション装置２０に送信する構成とすることができる。または、サーバ側認識部１４は、シミュレーション装置２０から指定された一つのイベント情報をイベント情報ＤＢ１３から取得し、当該イベント情報について分類処理を実行し、送信部１２が当該イベント情報及び分類結果をシミュレーション装置２０に送信する構成とすることもできる。

【0076】

以上説明したように、上記第１実施形態のシミュレーション装置２０は、車両に搭載されたカメラ（車載カメラ１）が撮影した撮影画像Ｇ１を表示するように表示部（画像表示部６０）を制御する表示制御部３４と、撮影画像Ｇ１から、画像認識によりシミュレーションを行う被験者Ｐが注視すべき注視領域Ａ又は注視領域Ｂを認識する認識部３２と、被験者Ｐの視線が撮影画像Ｇ１の注視領域Ａ又は注視領域Ｂに向いているかどうかに基づいて被験者Ｐの運転を評価する評価部３６と、を備える。また、第２実施形態のシミュレーションシステム１００は、サーバ装置１０が認識部（サーバ側認識部１４）を備える。

【0077】

このように、認識部３２が自動で被験者Ｐが注視すべき注視領域Ａ又は注視領域Ｂを認識するため、事業者等が撮影画像Ｇ１を視認しながら注視領域Ａ又は注視領域Ｂを認識する必要がない。したがって、上記第１実施形態のシミュレーション装置２０及びシミュレーションシステム１００並びに第実施形態のシミュレーションシステム１００は、認識部３２が自動で事業者の負担を軽減しつつ、より適切に運転を評価することが可能となる。この結果、シミュレーションを行う被験者Ｐは、車載カメラ１で撮影された撮影画像Ｇ１を、仮想空間においてよりリアルに視認しつつ、自身の運転の評価をリアルタイムで適切に把握することができる。

【0078】

ところで、近年、車両に搭載されているドライバ監視システム（ＤＭＳ）は、実際の運転中のリアルタイムの撮影画像に基づいてドライバの動作を監視している。このため、ＤＭＳでは事故や事故発生には至らないものの、事故発生の危険性が高い事象が発生するよりも前にドライバが注視領域Ａ又は注視領域Ｂを注視すべき時刻や、ブレーキ操作、ステアリング操作等をすべき時刻を把握することはできない。これに対して、上記各実施形態のシミュレーション装置２０は、すでに撮影された撮影画像Ｇ１に基づいて、事故等のイベント発生時点前の過去の期間を状況に応じて複数の期間に分類し、期間ごとに被験者Ｐが注視領域Ａ又は注視領域Ｂを注視した時刻、ブレーキ操作を検出した時刻、ステアリング操作を検出した時刻が適切かどうか評価するための点数を設定している。そして、シミュレーション装置２０は、撮影画像Ｇ１及び車両の振動を再現しつつ、予め作成した点数表に基づいて被験者Ｐの運転を段階的に評価している。このため、上記各実施形態のシミュレーション装置２０及びシミュレーションシステム１００は、イベント発生時だけでなく、発生前の被験者Ｐの動作までも、より詳細かつ、より適切に評価することができる。

【0079】

また、上記各実施形態の表示制御部３４は、車両の周辺を視認するための視認部材（例えば、ミラー、モニタ等）を含む撮影画像Ｇ１を表示するように画像表示部６０（ＶＲ表示部６１）を制御することができる。この構成とすれば、シミュレーション装置２０及びシミュレーションシステム１００は、被験者Ｐが視認すべき視認部材の画像が提示されることから、被験者Ｐに、より高い臨場感を与えることができる。また、被験者Ｐは、視認すべき視認部材を適切に視認することができる。

【0080】

また、上記各実施形態の認識部（認識部３２、サーバ側認識部１４）は、注視領域Ａとして、撮影画像Ｇ１における車両の周辺を視認するための視認部材（例えば、ミラー、モニタ等）を画像認識により認識する。この構成により、シミュレーション装置２０及びシミュレーションシステム１００は、被験者Ｐが視認部材を注視したかどうかによって、被験者Ｐの運転を、より適切に評価することができる。

【0081】

また、上記各実施形態の認識部（認識部３２、サーバ側認識部１４）は、注視領域Ｂとして、撮影画像Ｇ１における移動体（例えば、他車両、歩行者等）を認識する。この構成により、シミュレーション装置２０及びシミュレーションシステム１００は、被験者Ｐが、移動体を適切に視認したかどうか、移動体を回避するために、適切にブレーキ操作やステアリング操作を行ったかどうかに基づいて、より適切に運転を評価することができる。

【0082】

また、上記各実施形態のシミュレーション装置２０は、撮影画像Ｇ１において所定のイベントが発生したイベント発生時刻Ｔ３を記憶する記憶部４０と、被験者Ｐによる所定の動作に関する動作情報を検出する動作検出部３５と、を備える。そして、評価部３６は、動作検出部３５が動作情報を検出した動作検出時刻Ｔと、イベント発生時刻Ｔ３に基づいて、被験者Ｐの運転を評価する。この構成により、シミュレーション装置２０及びシミュレーションシステム１００は、被験者Ｐによる動作の入力が適切かどうかの判断を、より正確に行うことができる。

【0083】

また、上記各実施形態の評価部３６は、動作検出時刻Ｔが、イベント発生時刻Ｔ３以降であるとき、被験者Ｐの運転に関する通知を出力する。この構成により、上記各実施形態のシミュレーション装置２０及びシミュレーションシステム１００は、被験者Ｐによる動作の入力が適切でないことを通知することができる。

【0084】

また、上記各実施形態の評価部３６は、車載カメラ１が備える加速度センサで取得した衝撃情報に基づいて、イベント発生時刻Ｔ３を取得し、取得したイベント発生時刻Ｔ３、動作検出時刻Ｔ及び所定の動作に基づいて、被験者Ｐの運転を評価する。この構成により、上記各実施形態のシミュレーション装置２０及びシミュレーションシステム１００は、イベント発生時刻、イベントの種類、イベント情報が記録された期間を状況に応じて複数の期間に分類したときの各期間における被験者Ｐがすべき動作等、イベントに関する情報をより詳細に認識することができ、より適切に運転を評価することができる。

【0085】

また、上記各実施形態の評価部３６は、動作検出時刻Ｔが、イベント発生時刻Ｔ３よりも前であるとき、被験者Ｐの運転を肯定的に評価するとともに、動作検出時刻Ｔからイベント発生時刻Ｔ３までの期間に応じて、前記被験者Ｐの運転を段階的に評価する。この構成により、シミュレーション装置２０及びシミュレーションシステム１００は、被験者Ｐの運転を、より詳細に評価することができる。

【0086】

また、上記各実施形態のシミュレーション装置２０は、車両の周囲の３６０度全方向の画像を撮影する車載カメラ１を備え、被験者Ｐの視線の方向に応じて所定範囲の撮影画像Ｇ１をＶＲ表示部６１に表示している。この構成により、被験者Ｐは、視線又は頭部を移動させるだけで、車両の周囲の３６０度全方向における所望の方向を視認することができ、特に後方を視認することができる。このため、被験者Ｐは、より臨場感の高いシミュレーションを体験することができる。

【0087】

また、上記各実施形態のシミュレーション装置２０は、座席本体５１と、座席駆動部５２と、座席角再現部５３とを有し、車載カメラ１が備えるＧセンサ３で取得された振動情報に基づいて振動を発生させる振動発生部５０を備える。この構成により、被験者Ｐは、ＶＲ表示部６１により再現された撮影画像Ｇ１を視認しつつ、実際の車両の運転時と同様の振動を体感して、より臨場感の高いシミュレーションを体験することができる。車載カメラ１が備えるＧセンサ３が取得した振動情報に基づいて、シミュレーション装置２０の振動発生部５０を制御するため、車載カメラ１を車両のジャイロセンサなどに接続する必要がない。シミュレーション装置２０は、車両に車載カメラ１を搭載するという簡易な構成でシミュレーションに必要な情報を収集できる。

【0088】

さらに、上記各実施形態のシミュレーション装置２０は、３６０度全方向の撮影画像Ｇ１を再現しつつ、撮影画像Ｇ１に対応して座席本体５１を振動させている。このため、被験者Ｐは、より臨場感の高いシミュレーションを体験できる。

【0089】

また、上記第２実施形態のサーバ装置１０は、車両に搭載された車載カメラ１が撮影した撮影画像Ｇ１をシミュレーション装置２０へ送信する。第２実施形態のサーバ装置１０は、車載カメラ１から撮影画像Ｇ１を受信する受信部１１と、撮影画像Ｇ１に基づいて、によりシミュレーションを行う被験者Ｐが注視すべき注視領域Ａ又は注視領域Ｂを画像認識により認識する認識部（サーバ側認識部１４）と、撮影画像Ｇ１における注視領域Ａ又は注視領域Ｂをシミュレーション装置２０へ送信する送信部１２と、を備える。この構成により、第２実施形態のシミュレーションシステム１００では、サーバ装置１０で予め注視領域Ａ又は注視領域Ｂを認識しているため、シミュレーション装置２０で画像処理を実行して注視領域Ａ又は注視領域Ｂを認識する必要がない。このため、第２実施形態のシミュレーションシステム１００は、シミュレーション装置２０で実行する処理を、より簡素化し、より高速化することができる。

【0090】

以上、図面を参照して本開示の実施形態を詳述してきたが、具体的な構成は、これらの実施形態に限らず、本開示の要旨を逸脱しない程度の設計的変更は、本開示に含まれる。

【0091】

変形例として、シミュレーション装置２０は、操作者が操作する情報端末（コントローラ）を備えていてもよい。情報端末は、例えば、タッチパネル等の操作部と、液晶ディスプレイ等の表示部を備えたタブレット端末、スマートフォン、ノートパソコン等が好適に挙げられる。操作者が情報端末に表示されるメニュー画面から、所望のイベントを選択することができる。この選択を受け付けたシミュレーション装置２０は、サーバ装置１０から対応するイベント情報を取得し、シミュレーション処理を実行することができる。さらに、シミュレーション装置２０は、ＶＲ表示部６１に表示された撮影画像Ｇ１及び評価結果画像Ｇ２を含む表示画像Ｇ３を、情報端末の表示部に表示させることで、操作者が被験者Ｐの運転状態、評価結果を把握することができる。

【符号の説明】

【0092】

１ ：車載カメラ（カメラ） １０ ：サーバ装置
１１ ：受信部 １２ ：送信部
１４ ：サーバ側認識部（認識部） ２０ ：シミュレーション装置
３２ ：認識部 ３４ ：表示制御部
３５ ：動作検出部 ３６ ：評価部
４０ ：記憶部 ６０ ：画像表示部（表示部）
Ａ ：注視領域 Ｂ ：注視領域
Ｇ１ ：撮影画像 Ｐ ：被験者
Ｔ ：動作検出時刻 Ｔ３ ：イベント発生時刻

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】