特許 7446040 シミュレータ

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B1)

(11)【特許番号】

(24)【登録日】2024-02-29

(45)【発行日】2024-03-08

(54)【発明の名称】シミュレータ

(51)【国際特許分類】

   G09B 9/05 20060101AFI20240301BHJP

   G09B 19/00 20060101ALI20240301BHJP

【ＦＩ】

G09B9/05 A

G09B19/00 G

【請求項の数】 7

(21)【出願番号】P 2023179382

(22)【出願日】2023-10-18

【審査請求日】2023-10-18

【早期審査対象出願】

(73)【特許権者】

【識別番号】316017114

【氏名又は名称】株式会社ＲｅＴｅｃｈ

(74)【代理人】

【識別番号】100155158

【弁理士】

【氏名又は名称】渡部 仁

(72)【発明者】

【氏名】三田村 もな美

【審査官】宮本 昭彦

(56)【参考文献】

【文献】特開２０１１－０５９２６９（ＪＰ，Ａ）

【文献】特開２０２２－０９０２２６（ＪＰ，Ａ）

【文献】奥野 英一（外３名），将来の自動車技術－人間特性に観点を置いた技術とＡＩを用いた自動運転・ＡＤＡＳ技術－，DENSO TECHNICAL REVIEW 2019，株式会社デンソー，2019年11月30日，Vol.24，第11～20頁

【文献】渡辺 一生（外１名），運転時の負の感情反応分析：生体情報を用いた感情推定とその評価，第８０回（平成３０年）全国大会講演論文集（４），一般社団法人情報処理学会，2018年03月13日，第4-941～4-942頁

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０９Ｂ １／００ － ９／５６

Ｇ０９Ｂ １７／００ － １９／２６

(57)【特許請求の範囲】

【請求項1】

被験者の操作又は動作に関する操作情報を取得する第１取得手段と、
前記第１取得手段で取得した操作情報に基づいて、仮想の移動体を移動させた場合に当該移動体から見える景色を動画として再生する移動シミュレーションを制御する制御手段と、
前記被験者の驚き、恐怖、焦り又は不快の感情情報を取得する第２取得手段と、
前記第２取得手段で取得した感情情報に基づいて、前記被験者の驚き、恐怖、焦り又は不快の感情を検出する前、検出した時又は検出した後（以下「感情の検出時」という。）の前記移動シミュレーションにおける状況を示す状況情報を生成する状況情報生成手段とを備え、
前記状況情報は、前記感情の検出時の前記移動シミュレーションにおける状況を示すテキストであることを特徴とするシミュレータ。

【請求項2】

請求項１において、
前記制御手段は、前記移動シミュレーション中にイベントを発生させ又はオブジェクトを出現させ、
前記イベント又は前記オブジェクトには識別情報が設定されており、
前記状況情報生成手段は、前記感情の検出時の前記イベント、又は前記感情の検出時に前記移動体から所定範囲内に存在する前記オブジェクトから前記識別情報を取得し、前記識別情報と対応づけて前記テキストを記憶する記憶手段から、取得した識別情報に対応する前記テキストを取得することを特徴とするシミュレータ。

【請求項3】

被験者の操作又は動作に関する操作情報を取得する第１取得手段と、
前記第１取得手段で取得した操作情報に基づいて、仮想の移動体を移動させた場合に当該移動体から見える景色を動画として再生する移動シミュレーションを制御する制御手段と、
前記被験者の驚き、恐怖、焦り又は不快の感情情報を取得する第２取得手段と、
前記第２取得手段で取得した感情情報に基づいて、前記被験者の驚き、恐怖、焦り又は不快の感情を検出する前、検出した時又は検出した後（以下「感情の検出時」という。）の前記移動シミュレーションにおける状況を示す状況情報を生成する状況情報生成手段とを備え、
前記状況情報は、前記感情の検出時の前記移動シミュレーションにおける状況を示す画像又は動画であって、前記被験者の視点からみた画像若しくは動画、又は所定の視点から前記移動体を見た画像若しくは動画であることを特徴とするシミュレータ。

【請求項4】

請求項１及び３のいずれか１項において、
前記第２取得手段で取得した感情情報に基づいて、前記被験者の操作又は動作を案内する操作案内情報を生成する操作案内情報生成手段を備えることを特徴とするシミュレータ。

【請求項5】

請求項１及び３のいずれか１項において、
前記移動シミュレーション又は実車運転において事故が起こったときの前記被験者の驚き、恐怖、焦り又は不快の感情情報を記憶する記憶手段の感情情報及び前記第２取得手段で取得した感情情報に基づいて、前記移動シミュレーションに関する評価情報を生成する生成手段を備えることを特徴とするシミュレータ。

【請求項6】

請求項１及び３のいずれか１項において、
前記制御手段は、前記移動シミュレーション中にイベントを発生させ又はオブジェクトを出現させ、
前記第２取得手段で取得した感情情報に基づいて、前記イベント又は前記オブジェクトを設定、追加、変更又は削除する設定手段を備えることを特徴とするシミュレータ。

【請求項7】

請求項１及び３のいずれか１項において、
前記第２取得手段で取得した感情情報に基づいて、前記被験者が操作又は動作を行った前記移動シミュレーションの動画を評価情報として生成する生成手段を備えることを特徴とするシミュレータ。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、教育、訓練、研究、開発又は試験等を支援するシミュレータに係り、特に、被験者の心理状態を考慮した評価を行うのに好適なシミュレータに関する。

【背景技術】

【0002】

従来、運転シミュレータとしては、例えば、特許文献１記載の技術が知られている。
特許文献１記載の技術は、ハンドル、アクセル及びブレーキ等の操作部を備え、被験者による操作部の操作に基づいて、仮想的な道路環境で模擬車両を走行させた場合に模擬車両から見える景色を動画として再生する運転シミュレーションを制御し、運転シミュレーション中に発生するイベントに対し被験者がどのように対応するかをシミュレートするものである。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０１５－７９２２４号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

特許文献１記載の技術は、例えば、歩道から車道に人が飛び出してくるイベントに対し、被験者が急ハンドルを切ったり急ブレーキをかけたりするなど、被験者がどのように操作部を操作するかをシミュレートするものである。しかし、同じイベントであっても、それを冷静な心理状態で対応したのか、それとも動揺した心理状態で対応したのかは被験者によって異なる。例えば、冷静な心理状態で急ブレーキをかけた場合と、動揺した心理状態で急ブレーキをかけた場合では、その被験者に対する評価が異なるが、特許文献１記載の技術にあっては、被験者の心理状態を考慮した評価を行うことができないという問題があった。

【0005】

そこで、本発明は、このような従来の技術の有する未解決の課題に着目してなされたものであって、被験者の心理状態を考慮した評価を行うのに好適なシミュレータを提供することを目的としている。

【課題を解決するための手段】

【0006】

〔発明１〕 上記目的を達成するために、発明１のシミュレータは、被験者の操作又は動作に関する操作情報を取得する第１取得手段と、前記第１取得手段で取得した操作情報に基づいて、仮想の移動体を移動させた場合に当該移動体から見える景色を動画として再生する移動シミュレーションを制御する制御手段と、前記被験者の驚き、恐怖、焦り又は不快の感情情報を取得する第２取得手段と、前記第２取得手段で取得した感情情報を含む前記移動シミュレーションのログ情報を記録する記録手段とを備える。

【0007】

このような構成であれば、第１取得手段により操作情報が取得されると、制御手段により、操作情報に基づいて移動シミュレーションが制御される。移動シミュレーションでは、移動体を移動させた場合に移動体から見える景色が動画として再生される。そして、第２取得手段により感情情報が取得され、記録手段により、感情情報を含むログ情報が記録される。

【0008】

ここで、第１取得手段は、例えば、入力装置等から情報を入力してもよいし、外部の端末等から情報を獲得又は受信してもよいし、記憶装置や記憶媒体等から情報を読み出してもよいし、情報処理等により情報を生成し又は算出してもよい。したがって、取得には、少なくとも入力、獲得、受信、読出（検索を含む。）、生成及び算出が含まれる。以下、取得の概念については同じである。

【0009】

また、本シミュレータは、単一の装置、端末その他の機器として実現するようにしてもよいし、複数の装置、端末その他の機器を通信可能に接続したシステムとして実現するようにしてもよい。後者の場合、各構成要素は、それぞれ通信可能に接続されていれば、複数の機器等のうちいずれに属していてもよい。以下、発明５のシミュレータにおいて同じである。

【0010】

〔発明２〕 さらに、発明２のシミュレータは、発明１のシミュレータにおいて、前記記録手段は、所定条件で前記感情情報を記録し、又は前記第１取得手段で取得した操作情報若しくは前記移動シミュレーション中の時点と対応づけて前記感情情報を記録する。

【0011】

このような構成であれば、記録手段により、所定条件で感情情報が記録され、又は操作情報若しくは移動シミュレーション中の時点と対応づけて感情情報が記録される。

【0012】

ここで、操作情報又は移動シミュレーション中の時点（以下この段落において「操作情報等」という。）と対応づけて感情情報を記録することとしては、例えば、（１）操作情報等及び感情情報を同一のレコードに登録するなど直接対応づけて記録すること、（２）操作情報等及び中間情報（例えば、経過時間や時刻）を対応づけて登録するテーブルと、感情情報及び中間情報を対応づけて登録するテーブルを設けるなど、中間に１又は複数の情報を介して記録することが含まれる。すなわち、操作情報等から感情情報を辿ることができる態様であれば、あらゆるデータ構造を採用することができる。以下、情報を対応づけて記録する概念については同様である。

【0013】

〔発明３〕 さらに、発明３のシミュレータは、発明１のシミュレータにおいて、前記制御手段は、前記移動シミュレーション中にイベントを発生させ又はオブジェクトを出現させ、前記記録手段は、前記制御手段で発生させたイベント又は出現させたオブジェクトと対応づけて前記感情情報を記録する。

【0014】

このような構成であれば、記録手段により、イベント又はオブジェクトと対応づけて感情情報が記録される。

【0015】

〔発明４〕 さらに、発明４のシミュレータは、発明１のシミュレータにおいて、前記被験者の生体情報、視線情報、動作情報、画像情報、音声情報、匂い情報若しくは行動履歴、前記被験者の周辺の環境情報又は前記制御手段の制御に必要な情報を取得する第３取得手段を備え、前記記録手段は、前記第３取得手段で取得した情報と対応づけて前記感情情報を記録する。

【0016】

このような構成であれば、第３取得手段により、生体情報、視線情報、動作情報、画像情報、音声情報、匂い情報、行動履歴、環境情報又は制御に必要な情報が取得され、記録手段により、取得された情報と対応づけて感情情報が記録される。

【0017】

〔発明５〕 さらに、発明５のシミュレータは、被験者の操作又は動作に関する操作情報を取得する第１取得手段と、前記第１取得手段で取得した操作情報に基づいて、仮想の移動体を移動させた場合に当該移動体から見える景色を動画として再生する移動シミュレーションを制御する制御手段と、前記被験者の驚き、恐怖、焦り又は不快の感情情報を取得する第２取得手段と、前記第２取得手段で取得した感情情報に基づいて、前記移動シミュレーションに関する評価情報を生成する生成手段とを備える。

【0018】

このような構成であれば、第１取得手段により操作情報が取得されると、制御手段により、操作情報に基づいて移動シミュレーションが制御される。移動シミュレーションでは、移動体を移動させた場合に移動体から見える景色が動画として再生される。そして、第２取得手段により感情情報が取得され、生成手段により、感情情報に基づいて評価情報が生成される。

【発明の効果】

【0019】

以上説明したように、発明１のシミュレータによれば、ログ情報を参照することにより被験者の驚き、恐怖、焦り又は不快の感情を考慮した評価を行うことができる。

【0020】

さらに、発明２のシミュレータによれば、所定条件、操作情報又は移動シミュレーション中の時点との対比で被験者の驚き、恐怖、焦り又は不快の感情を考慮した評価を行うことができる。

【0021】

さらに、発明３のシミュレータによれば、イベント又はオブジェクトとの対比で被験者の驚き、恐怖、焦り又は不快の感情を考慮した評価を行うことができる。

【0022】

さらに、発明４のシミュレータによれば、生体情報、視線情報、動作情報、画像情報、音声情報、匂い情報、行動履歴、環境情報又は制御に必要な情報との対比で被験者の驚き、恐怖、焦り又は不快の感情を考慮した評価を行うことができる。

【0023】

さらに、発明５のシミュレータによれば、被験者の驚き、恐怖、焦り又は不快の感情を考慮した評価を行うことができる。

【図面の簡単な説明】

【0024】

【図1】運転シミュレータ１０のハードウェア構成を示す図である。

【図2】制御装置１００のハードウェア構成を示す図である。

【図3】制御処理を示すフローチャートである。

【図4】ログ情報記録処理を示すフローチャートである。

【図5】評価情報を示す図である。

【発明を実施するための形態】

【0025】

以下、本発明の実施の形態を説明する。図１～図５は、本実施の形態を示す図である。
〔構成〕
まず、本実施の形態の構成を説明する。

【0026】

図１は、運転シミュレータ１０のハードウェア構成を示す図である。
運転シミュレータ１０は、例えば、病院等の医療機関、大学等の研究機関、警察署や運転免許試験所等の公共機関に設置され、患者や来所者等（以下「被験者」という。）による車両の模擬運転の評価に使用される。

【0027】

運転シミュレータ１０は、図１に示すように、被験者が着座するシート（不図示）と、シートの正面に設置される正面ディスプレイ１２と、正面ディスプレイ１２の左側に設置される左ディスプレイ１４と、正面ディスプレイ１２の右側に設置される右ディスプレイ１６とを有して構成されている。

【0028】

運転シミュレータ１０は、さらに、シートと正面ディスプレイ１２の間に設置されるハンドル１８と、シートの下部前方に設置されるアクセルペダル２０及びブレーキペダル２２と、被験者の表情を撮影するためのカメラ２４と、制御装置１００とを有して構成されている。

【0029】

ディスプレイ１２～１６は、その表示面が実車のフロントガラスの面に相当する位置となるように正面から左右にわたって配置されている。ディスプレイ１２～１６により、前方を見た被験者の視野範囲がカバーされる。シート、ハンドル１８、アクセルペダル２０及びブレーキペダル２２は、実車のそれと同様の位置に配置されている。ディスプレイ１２～１６には、被験者によるハンドル１８等の操作に基づいて、仮想的な道路環境で模擬車両（例えば、自動車）を走行させた場合に模擬車両から見える景色が動画として表示される。これにより、シートに着座した被験者は、ディスプレイ１２～１６の画面を見ながら実車と同様の操作感で模擬運転を体験することができる。

【0030】

〔制御装置〕
次に、制御装置１００の構成を説明する。
図２は、制御装置１００のハードウェア構成を示す図である。

【0031】

制御装置１００は、被験者によるハンドル１８等の操作に基づいて、仮想的な道路環境で模擬車両を走行させた場合に模擬車両から見える景色を動画として再生する運転シミュレーションを制御する。制御装置１００は、例えば、デスクトップＰＣ（Personal Computer）、ノートＰＣその他のコンピュータとして構成することができる。

【0032】

制御装置１００は、図２に示すように、制御プログラムに基づいて演算及びシステム全体を制御するＣＰＵ（Central Processing Unit）３０と、所定領域に予めＣＰＵ３０の制御プログラム等を格納しているＲＯＭ（Read Only Memory）３２と、ＲＯＭ３２等から読み出したデータやＣＰＵ３０の演算過程で必要な演算結果を格納するためのＲＡＭ（Random Access Memory）３４と、外部装置に対してデータの入出力を媒介するＩ／Ｆ（InterFace）３８とで構成されており、これらは、データを転送するための信号線であるバス３９で相互に且つデータ授受可能に接続されている。

【0033】

Ｉ／Ｆ３８には、外部装置として、ハンドル１８の操舵角（ハンドル角）を検出する舵角センサ４０と、アクセルペダル２０の踏み込み量（アクセル開度）を検出するアクセルセンサ４２と、ブレーキペダル２２の踏み込み量（ブレーキ開度）を検出するブレーキセンサ４４と、ディスプレイ１２～１６及びカメラ２４と、データやテーブル等をファイルとして格納する記憶装置４６とが接続されている。

【0034】

記憶装置４６は、模擬車両が走行するコース及び種々の交通状況を含む仮想的な道路環境に関するコースデータと、模擬車両の走行中に出現させるオブジェクトに関するオブジェクトデータと、模擬車両の走行中に発生させるイベントに関するイベントデータと、運転シミュレーションのログ情報（以下単に「ログ情報」という。）とを記憶している。コースデータ及びイベントデータとしては、例えば、特許文献２（特開２０２１－１２８３７５号公報）におけるコースデータ及び訓練シーンデータ等を採用することができる。

【0035】

次に、本実施の形態の動作を説明する。
〔制御処理〕
ＣＰＵ３０は、ＭＰＵ（Micro-Processing Unit）等からなり、ＲＯＭ３２の所定領域に格納されている所定のプログラムを起動させ、そのプログラムに従って、図３のフローチャートに示す制御処理を実行する。

【0036】

図３は、制御処理を示すフローチャートである。
制御処理は、運転シミュレーション全体を制御する処理であって、ＣＰＵ３０において実行されると、図３に示すように、まず、ステップＳ１００に移行する。

【0037】

ステップＳ１００では、運転シミュレーションを制御する運転シミュレーション制御処理を実行する。運転シミュレーション制御処理では、記憶装置４６のコースデータに基づいて、模擬車両が走行するコース及び種々の交通状況を含む仮想的な道路環境を再現する。そして、舵角センサ４０、アクセルセンサ４２及びブレーキセンサ４４のセンサ情報に基づいて、仮想的な道路環境で模擬車両を走行させた場合に模擬車両から見える景色を動画としてディスプレイ１２～１６に再生する。動画は、例えば、ＣＧ（Computer Graphics）モデルを用いてリアルタイムに生成する。また、記憶装置４６のオブジェクトデータに基づいて、歩行者、車両、造作物、建築物、トンネル等のオブジェクトを模擬車両の走行中に出現させる。記憶装置４６のイベントデータに基づいて、「横断歩道上の歩行者」「歩行者の接近」「歩行者の飛び出し」等のイベントを模擬車両の走行中に発生させる。運転シミュレーション制御処理としては、例えば、特許文献２の技術を採用することができる。

【0038】

次いで、ステップＳ１０２に移行して、ログ情報を記録するログ情報記録処理を実行し、ステップＳ１０４に移行して、運転シミュレーションが終了したか否かを判定し、運転シミュレーションが終了したと判定した場合(YES)は、ステップＳ１０６に移行する。

【0039】

ステップＳ１０６では、記憶装置４６のログ情報に基づいて、被験者の運転操作に関する評価情報を生成する評価情報生成処理を実行し、一連の処理を終了する。

【0040】

一方、ステップＳ１０４で、運転シミュレーションが終了していないと判定した場合(NO)は、ステップＳ１００に移行する。

【0041】

〔ログ情報記録処理〕
次に、ステップＳ１０２のログ情報記録処理を説明する。
図４は、ログ情報記録処理を示すフローチャートである。

【0042】

ログ情報記録処理は、ステップＳ１０２において実行されると、図３に示すように、まず、ステップＳ２００に移行する。

【0043】

ステップＳ２００では、ログ情報の記録タイミング（例えば、0.03[ｓ]ごと（＝30fps））であるか否かを判定し、記録タイミングであると判定した場合(YES)は、ステップＳ２０２に移行するが、そうでないと判定した場合(NO)は、一連の処理を終了して元の処理に復帰する。

【0044】

ステップＳ２０２では、運転シミュレーションの開始時点からの経過時間を示す経過時間情報を取得する。経過時間は、例えば、ＣＰＵ３０のタイマにより計測することができる。

【0045】

次いで、ステップＳ２０４に移行して、運転シミュレーションの開始地点からの模擬車両の走行距離を示す距離情報を取得する。走行距離は、例えば、模擬車両がコース上を走行した走行軌跡を計測することにより算出することができる。

【0046】

次いで、ステップＳ２０６に移行して、模擬車両の速度を示す速度情報を取得する。模擬車両の速度は、例えば、アクセルセンサ４２及びブレーキセンサ４４のセンサ情報に基づいて算出することができる。

【0047】

次いで、ステップＳ２０８に移行して、アクセルペダル２０からセンサ情報を取得し、ステップＳ２１０に移行して、ブレーキセンサ４４からセンサ情報を取得し、ステップＳ２１２に移行して、舵角センサ４０からセンサ情報を取得し、ステップＳ２１４に移行する。

【0048】

ステップＳ２１４では、被験者の驚きの感情情報を生成する感情情報生成処理を実行する。人間の基本感情は、イザード（Izard,C.）によれば「興味・興奮、喜び、驚き、苦悩・不安、怒り、嫌悪、軽蔑、恐怖、恥、罪悪感」の１０種類に、エクマン（Ekman,P.）によれば「幸福、怒り、悲しみ、嫌悪、驚き、恐怖」の６種類にそれぞれ分類される。感情情報生成処理では、カメラ２４で撮影した被験者の画像に基づいて被験者の基本感情のうち驚きの感情を検出する。驚きの感情を検出する方法としては、例えば、次の方法を採用することができる。カメラ２４で撮影した被験者の画像からディープラーニングによる学習済みモデルを使用して被験者の驚きの感情を推定する。学習済みモデルの入力は被験者の画像であり、出力は感情の評価値である。感情の評価値としては例えば０～１００の値を取り得、所定値（例えば１５）が出力された場合に驚きの感情と判定する。そして、驚きの感情を検出した場合は例えば「１」を、検出しない場合は例えば「０」をそれぞれ驚きの感情情報として生成する。学習済みモデルは、例えば、驚きの感情を引き起こすと考えられる映像を被験者に見せ、そのときの表情を撮影して記録し、被験者の目、口、鼻、ほほ、眉（被検者の顔のパーツ）の動きを検知することにより作成することができる。この学習モデルの作成方法としては、例えば、特許文献３（特開２０２２－１４００５３号公報〔００４４〕～〔００４６〕）記載の技術を採用することができる。

【0049】

その他、驚きの感情を検出する方法としては、例えば、特許文献４（特開２０２３－５６１５２号公報〔０１４３〕～〔０１４５〕）、非特許文献１（“感情認識AIとは？音声や表情から感情を読み取る分析の仕組み”、［online］、令和３年１１月２６日、株式会社アイスマイリー、［令和５年９月２９日検索］、インターネット＜URL：https://aismiley.co.jp/ai_news/what-is-emotion-recognition/＞）、又は非特許文献２（“驚きの現象学”、［online］、平成１７年２月１６日、山根一郎、［令和５年９月２９日検索］、インターネット＜URL：https://web.sugiyama-u.ac.jp/~yamane/kenkyu/surprise.PDF/＞）記載の技術を採用することができる。

【0050】

次いで、ステップＳ２１６に移行して、ステップＳ２０２～Ｓ２１２で取得した経過時間情報、距離情報、速度情報、アクセルセンサ４２のセンサ情報、ブレーキセンサ４４のセンサ情報及び舵角センサ４０のセンサ情報並びにステップＳ２１４で生成した驚きの感情情報を含む１つのレコードをログ情報として記憶装置４６に記録し、一連の処理を終了して元の処理に復帰する。

【0051】

〔評価情報生成処理〕
次に、ステップＳ１０６の評価情報生成処理を説明する。
図５は、評価情報を示す図である。

【0052】

評価情報生成処理では、例えば、図５（ａ）に示すように、記憶装置４６のログ情報をそのまま評価情報としてディスプレイ１２～１６に表示することができる。ログ情報は、図５（ａ）に示すように、記録タイミングごとに１つのレコードが登録されている。各レコードは、運転シミュレーションの開始時点からの経過時間を登録するフィールドと、運転シミュレーションの開始地点からの模擬車両の走行距離を登録するフィールドと、模擬車両の速度を登録するフィールドと、アクセルセンサ４２のセンサ情報を登録するフィールドと、ブレーキセンサ４４のセンサ情報を登録するフィールドと、舵角センサ４０のセンサ情報を登録するフィールドと、被験者の驚きの感情情報を登録するフィールドとを含んで構成されている。

【0053】

また、評価情報生成処理では、例えば、図５（ｂ）に示すように、アクセルセンサ４２のセンサ情報、ブレーキセンサ４４のセンサ情報及び驚きの感情情報に基づいて、アクセル開度、ブレーキ開度及び驚きの感情情報を時系列に表したグラフを評価情報としてディスプレイ１２～１６に表示することもできる。図５（ｂ）の例では、経過時間１．４[ｓ]付近に驚きの感情（符号５０で示すライン）が検出されていることが分かる。

【0054】

次に、本実施の形態の効果を説明する。
本実施の形態では、運転シミュレーションにおいて被験者の驚きの感情情報を生成し、生成した驚きの感情情報を含むログ情報を記録する。

【0055】

これにより、ログ情報を参照すれば被験者の驚きの感情を考慮した評価を行うことができる。

【0056】

さらに、本実施の形態では、運転シミュレーションの開始時点からの経過時間を示す経過時間情報を取得し、取得した経過時間情報と対応づけて驚きの感情情報を記録する。

【0057】

これにより、運転シミュレーションの開始時点からの経過時間との対比で被験者の驚きの感情を考慮した評価を行うことができる。

【0058】

さらに、本実施の形態では、運転シミュレーションの開始地点からの模擬車両の走行距離を示す距離情報を取得し、取得した距離情報と対応づけて驚きの感情情報を記録する。

【0059】

これにより、運転シミュレーションの開始地点からの模擬車両の走行距離との対比で被験者の驚きの感情を考慮した評価を行うことができる。

【0060】

さらに、本実施の形態では、模擬車両の速度を示す速度情報を取得し、取得した速度情報と対応づけて驚きの感情情報を記録する。

【0061】

これにより、模擬車両の速度との対比で被験者の驚きの感情を考慮した評価を行うことができる。

【0062】

さらに、本実施の形態では、被験者によるハンドル１８等の操作に関するセンサ情報を取得し、取得したセンサ情報と対応づけて驚きの感情情報を記録する。

【0063】

これにより、ハンドル１８等の操作との対比で被験者の驚きの感情を考慮した評価を行うことができる。

【0064】

さらに、本実施の形態では、驚きの感情情報に基づいて、被験者の運転操作に関する評価情報を生成する。

【0065】

これにより、被験者の驚きの感情を考慮した評価を行うことができる。また、被験者が自身の運転操作を驚きの感情とともに振り返ることができるので効果的なフィードバックを実現することができる。

【0066】

本実施の形態において、ステップＳ１００は、発明１又は５の制御手段に対応し、ステップＳ１０６は、発明５の生成手段に対応し、ステップＳ２０８～Ｓ２１２は、発明１、２又は５の第１取得手段に対応し、ステップＳ２１４は、発明１又は５の第２取得手段に対応している。また、ステップＳ２１６は、発明１又は２の記録手段に対応し、センサ情報は、発明１、２又は５の操作情報に対応し、模擬車両は、発明１又は５の移動体に対応している。

【0067】

〔変形例〕
なお、上記実施の形態及びその変形例においては、被験者の驚きの感情情報を記録したが、これに限らず、（１）被験者の恐怖、焦り又は不快の感情情報を記録する構成、（２）上記１０種類若しくは６種類の感情のうち驚き及び恐怖以外の感情情報を記録する構成を採用することができる。

【0068】

また、上記実施の形態及びその変形例においては、驚きの有無に関する感情情報を生成したが、これに限らず、驚きの度合い、変化又は態様に関する感情情報（例えば、アナログ量）を生成する構成を採用することもできる。

【0069】

また、上記実施の形態及びその変形例においては、経過時間情報等と対応づけて驚きの感情情報を記録したが、これに限らず、例えば、次の情報と対応づけて驚きの感情情報を記録する構成を採用することができる。（１）運転シミュレーション中の所定時点からの経過時間又は残り時間、運転シミュレーション中の時刻その他運転シミュレーション中の時点に関する情報、（２）運転シミュレーションの所定地点からの模擬車両の走行距離、仮想空間における模擬車両の位置その他模擬車両の所在に関する情報、（３）その他運転履歴（ハンドル１８等の操作履歴を含む。）に関する情報、（４）模擬車両の加速度、ロール、ピッチ、ヨー、道路の進行方向に対する模擬車両の向きその他の挙動に関する情報、（５）模擬車両から所定範囲内に存在するオブジェクトに関する情報、（６）イベントに関する情報、（７）被験者の生体情報、視線情報、動作情報、画像情報、音声情報、匂い情報若しくは行動履歴、被験者の周辺の環境情報又は運転シミュレーションの制御に必要な情報である。

【0070】

（６）の具体的なイベントとしては、例えば、車両又は人の飛び出し、道路横断、割り込み、乱暴な運転、車の直後横断、交通違反を採用することができる。仮想の移動体が鉄道車両の場合のイベントとしては、例えば、ホーム転落、駆け込み乗車又は降車、踏切支障、線路内立ち入りを採用することができる。また、イベント発生の状況としては、例えば、信号なし交差点、信号あり交差点、見通しの悪い交差点、トンネル内、停止車両の追い越し、合流時、横断歩道又は道路を横断中、歩道を通行中を採用することができる。仮想の移動体が鉄道車両の場合のイベント発生の状況としては、例えば、踏切通過中、ホーム侵入時、ドア閉扉時を採用することができる。

【0071】

（７）の具体的な構成としては、例えば、（１）被験者の生体情報を検出するウェアラブルデバイス、バイタルセンサその他のセンサ、（２）被験者の視線を検出するアイトラッキングセンサその他のセンサ、（３）被験者の動作を検出するために被験者に装着される加速度センサ、ジャイロセンサその他のセンサ、（４）被験者の動作を検出するモーションセンサ、モーションキャプチャ（光学式、慣性式、画像式、磁気式又は機械式その他の任意の方式のものを含む。以下同様。）その他のセンサ、（５）被験者の画像を検出するカメラその他のセンサ、（６）被験者の音声を検出するマイクその他のセンサ、（７）被験者の匂いを検出するニオイセンサ、（８）被験者の行動履歴（例えば、歩数や移動距離）を検出する歩数計、ウェアラブルデバイスその他のセンサ、（９）被験者の周辺の環境情報を検出するセンサ、又は（１０）運転シミュレーションの制御に必要な情報を検出するセンサ（以下これらを総称して「他のセンサ等」という。）を制御装置１００に接続し、１又は複数の他のセンサ等からセンサ情報を取得する構成を採用することができる。生体情報としては、例えば、被験者の脈拍、心拍、体温、血圧、血糖、瞳孔、呼吸、発汗、酸素飽和度、筋電、心電又は脳波に関する情報が含まれる。また、環境情報としては、例えば、温度、湿度、気圧、風向、風速、照度、太陽光（例えば、紫外線）の強度、電磁波の強度、天気、音声又は匂いに関する情報が含まれる。

【0072】

また、上記実施の形態及びその変形例においては、経過時間情報等と対応づけて驚きの感情情報を記録したが、これに限らず、例えば、所定条件で驚きの感情情報を記録する構成を採用することができる。具体的な構成としては、例えば、（１）所定時間間隔で感情情報を記録する構成、（２）その他所定の規則に基づくタイミングで感情情報を記録する構成、（３）驚きの度合い若しくは変化が所定以上となった場合又は驚きの態様が所定態様となった場合の感情情報を記録する構成、（４）被験者の操作が所定条件（例えば、急ハンドルや急ブレーキ）を満たした場合の感情情報を記録する構成、（５）模擬車両の挙動が所定条件（例えば、急旋回や急停止）を満たした場合の感情情報を記録する構成を採用することができる。

【0073】

また、上記実施の形態及びその変形例においては、ログ情報又はグラフを評価情報として生成したが、これに限らず、（１）被験者が操作を行った運転シミュレーションの動画（例えば、リプレイ動画）、（２）感情情報を取得順又は時系列に示す情報、（３）舵角センサ４０又は１若しくは複数の他のセンサ等のセンサ情報と感情情報を対比する情報、（４）ログ情報の一部又は全部、（５）ログ情報のうち所定条件（例えば、驚きの度合い若しくは変化が所定以上、又は驚きの態様が所定態様）を満たす情報、（６）ログ情報のうち所定条件（例えば、驚きの度合い若しくは変化が所定以下、又は驚きの態様が所定態様でない）を満たさない情報を評価情報として生成する構成を採用することができる。

【0074】

また、上記実施の形態及びその変形例においては、驚きの感情情報を記録し又は驚きの感情情報に基づいて評価情報を生成したが、これに限らず、驚きの感情情報に基づいてイベント又はオブジェクト（以下この段落において「イベント等」という。）を設定、追加、変更又は削除する構成を採用することができる。具体的な構成としては、例えば、（１）被験者Ａのイベント等として、被験者Ａの驚きの感情が検出されたイベント等と同一又は類似のイベント等を設定、追加又は変更する構成、（２）被験者Ａと属性（例えば、年齢、性別、職業、要介護度、居住環境、病名、認知機能の程度、認知機能に係る症状の詳細、身体レベル、排泄の状況、食事の状況、経済レベル及び薬剤の使用状況）が同一又は類似の被験者Ｂのイベント等として、被験者Ａの驚きの感情が検出されたイベント等と同一又は類似のイベント等を設定、追加又は変更する構成、（３）被験者Ａのイベント等として、被験者Ａの驚きの感情が検出されないイベント等と同一又は類似のイベント等を削除する構成、（４）被験者Ａと属性が同一又は類似の被験者Ｂのイベント等として、被験者Ａの驚きの感情が検出されないイベント等と同一又は類似のイベント等を削除する構成を採用することができる。

【0075】

また、上記実施の形態及びその変形例においては、驚きの感情情報を記録し又は驚きの感情情報に基づいて評価情報を生成したが、これに限らず、例えば、次の構成を採用することができる。

【0076】

第１の構成は、驚きの感情情報に基づいて運転操作情報を生成する。例えば、（１）ハンドル１８を切るべき方向を案内する運転操作情報を生成する構成、（２）アクセルペダル２０又はブレーキペダル２２を踏むべきタイミングを案内する運転操作情報を生成する構成を採用することができる。

【0077】

第２の構成は、驚きの感情を検出する前、検出した時又は検出した後（以下「驚きの感情の検出時」という。）の状況を示す画像又は動画を、被験者の視点（例えば、ディスプレイ１２～１６に表示されるビュー）又はその他の視点（例えば、模擬車両を真上から見下ろしたトップダウンビュー）での画像又は動画として生成する。驚きの感情の検出時は、時間又は位置等によって定義することができる。以下、驚きの感情の検出時の定義については同じである。

【0078】

第３の構成は、驚きの感情の検出時の状況を示すテキストを生成する。例えば、記憶装置４６において、信号なし交差点、信号あり交差点、見通しの悪い交差点、右折路、直進路、左折路、Ｔ字路、三叉路、十字路、五叉路、トンネル内等を識別するための識別情報をイベント又はオブジェクトに設定し、識別情報と対応づけて状況の解説テキストを解説テキストテーブルに登録しておく。そして、驚きの感情の検出時のイベント又は驚きの感情の検出時に模擬車両から所定範囲内に存在するオブジェクトから識別情報を取得し、取得した識別情報に対応する解説テキストを解説テキストテーブルから取得し、取得した解説テキストに基づいて、驚きの感情の検出時の状況を示すテキストを生成する。解説テキストテーブルは、例えば、被験者ごと、グループ（例えば、被験者グループ又は顧客その他の組織）ごと、用途ごとその他の対象ごとに用意しておけば、同じイベント又はオブジェクトであっても対象に応じた内容のテキストを生成することができる。テキストに代えて又は加えて、画像、動画、音声その他の要素を採用することができる。

【0079】

第４の構成は、驚きの感情の検出時の行動等履歴を生成する。行動等履歴としては、例えば、被験者のハンドル１８等の操作履歴、生体情報、視線情報、動作情報、画像情報、音声情報、匂い情報、行動履歴、被験者の周辺の環境情報、運転シミュレーションの制御に必要な情報、他のセンサ等のセンサ情報を含む。

【0080】

第５の構成は、驚きの感情の検出時の行動等統計情報を生成する。行動等統計情報としては、例えば、第４の構成における行動等履歴の統計情報を含む。第４又は第５の構成により、驚きの感情の検出時は被験者がどういう状態であったかを分析することができる。例えば、運転シミュレーションに制限時間が設けられた場合に、時間に間に合うよう焦っていて驚いたのか、そういった焦りなどが何もなく驚いたのかを分析することができる。

【0081】

第６の構成は、運転シミュレーション又は実車運転において事故が起こったときの驚きの感情情報（以下「事故時の感情情報」という。）を取得し記憶装置４６に記憶しておき、ステップＳ２１４で生成した驚きの感情情報及び記憶装置４６の事故時の感情情報に基づいて評価情報を生成する。これら感情情報としては、例えば、驚きの有無、度合い、変化又は態様に関する情報を採用することができる。評価情報としては、例えば、ステップＳ２１４で生成した驚きの感情情報を事故時の感情情報と対比した情報を含む。実車では、事故を起こせないが、運転シミュレータ１０では仮想的に事故を体験することができる。この点を利用し、例えば、（１）驚いたが事故時の驚きほどではないこと、（２）事故時と同程度に驚いたこと、（３）（１）（２）の驚きがあったがその後事故や運転ミス等を起こさなかったこと（冷静に対応できたこと）、（４）（１）（２）の驚きがあり冷静に対応できなかったことなどを分析することができる。

【0082】

第１～第６の構成において生成した情報は、記憶装置４６に記録してもよいし、ディスプレイ１２～１６に表示してもよい。

【0083】

また、上記実施の形態及びその変形例においては、評価情報をディスプレイ１２～１６に表示したが、これに限らず、プリンタを制御装置１００に接続し、評価情報をプリンタに出力する構成を採用することができる。

【0084】

また、上記実施の形態及びその変形例においては、カメラ２４で撮影した画像に基づいて驚きの感情情報を生成したが、これに限らず、（１）１又は複数の他のセンサ等を制御装置１００に接続し、１又は複数の他のセンサ等からセンサ情報を取得し、取得したセンサ情報に基づいて驚きの感情情報を生成する構成、（２）驚きの感情情報を生成する機能を有する１又は複数の他のセンサ等を制御装置１００に接続し、１又は複数の他のセンサ等から驚きの感情情報を取得する構成、（３）被験者の驚きの感情情報を生成又は取得する外部装置（（１）（２）の構成を含む。）を制御装置１００に接続し、外部装置が生成又は取得した感情情報を取得する構成を採用することができる。外部装置は、例えば、デスクトップＰＣ、ノートＰＣその他のコンピュータとして構成することができる。モーションキャプチャを用いる場合、片側顔面麻痺等の被験者の驚きの感情情報を効果的に検出することができる。

【0085】

感情情報を生成する構成としては、例えば、次の構成を採用することができる。
第１の構成は、被験者の生体情報を検出するセンサから取得したセンサ情報（生体情報）に基づいて被験者の状態を分析することにより被験者の驚きの感情情報を生成する。

【0086】

第２の構成は、被験者の視線を検出するセンサから取得したセンサ情報（視線情報）に基づいて被験者の視線を分析することにより被験者の驚きの感情情報を生成する。

【0087】

第３の構成は、被験者の動作を検出するセンサから取得したセンサ情報（動作情報）に基づいて被験者の動作を分析することにより被験者の驚きの感情情報を生成する。

【0088】

第４の構成は、被験者の画像を検出するセンサから取得したセンサ情報（画像情報）に基づいて被験者の顔の表情を分析することにより被験者の驚きの感情情報を生成する。

【0089】

第５の構成は、被験者の音声を検出するセンサから取得したセンサ情報（音声情報）に基づいて被験者の会話又は声のトーン等を分析することにより被験者の驚きの感情情報を生成する。

【0090】

第６の構成は、被験者の匂いを検出するセンサから取得したセンサ情報（匂い情報）に基づいて被験者のストレス状態等を分析することにより被験者の驚きの感情情報を生成する。

【0091】

第７の構成は、被験者の行動履歴を検出するセンサから取得したセンサ情報（行動履歴）に基づいて被験者の状態を分析することにより被験者の驚きの感情情報を生成する。

【0092】

第１～７の構成において感情情報の生成方法としてより具体的には、例えば、特許文献４の技術を採用することができる。

【0093】

また、上記実施の形態及びその変形例においては、模擬運転の画面を表示する装置としてディスプレイ１２～１６を採用したが、これに限らず、任意の台数（１若しくは２台、又は４台以上）のディスプレイ、ヘッドマウントディスプレイその他の表示装置を採用することができる。

【0094】

また、上記実施の形態及びその変形例においては、被験者によるハンドル１８等の操作に関するセンサ情報に基づいて運転シミュレーションを制御したが、これに限らず、被験者の動作に関する動作情報に基づいて運転シミュレーションその他の移動シミュレーションを制御する構成を採用することができる。動作情報としては、例えば、ハンドル１８等に代えて又は加えてモーションキャプチャを設け、モーションキャプチャにより検出した被験者の動作に関する情報を採用することができる。例えば、歩行者を移動体として歩行による移動シミュレーションを制御する構成を採用することができる。

【0095】

また、上記実施の形態及びその変形例においては、運転シミュレーション中（例えば、プログラム中）で模擬車両をオブジェクト等として定義又は再生することについて説明しなかったが、（１）運転シミュレーション中で模擬車両を定義する構成又は定義しない構成、（２）動画として模擬車両を再生する構成又は再生しない構成を採用することができる。

【0096】

また、上記実施の形態及びその変形例においては、仮想空間を動画として再生したが、これに限らず、現実空間（例えば、実写）を動画として再生する構成を採用することができる。

【0097】

また、上記実施の形態及びその変形例においては、運転シミュレーションに模擬車両（例えば、自動車）を採用したが、これに限らず、（１）歩行者、走行者その他の生体、（２）自転車、自動二輪車、鉄道車両その他の車両、（３）航空機、船舶その他の乗り物、（４）その他の移動体を採用することができる。

【0098】

また、上記実施の形態及びその変形例においては、単一の装置として実現したが、これに限らず、ネットワークシステムとして実現することができる。ネットワークシステムの例として、運転シミュレータ１０の機能の一部又は全部を、クラウドコンピューティングサービスを提供するサーバ上の仮想サーバとして構成することができる。

【0099】

また、上記実施の形態及びその変形例において、図３又は図４のフローチャートに示す処理を実行するにあたってはいずれも、ＲＯＭ３２に予め格納されているプログラムを実行する場合について説明したが、これに限らず、これらの手順を示したプログラムが記憶された記憶媒体から、そのプログラムをＲＡＭ３４に読み込んで実行するようにしてもよい。

【0100】

ここで、記憶媒体とは、ＲＡＭ、ＲＯＭ等の半導体記憶媒体、ＦＤ、ＨＤ等の磁気記憶型記憶媒体、ＣＤ、ＣＤＶ、ＬＤ、ＤＶＤ等の光学的読取方式記憶媒体、ＭＯ等の磁気記憶型／光学的読取方式記憶媒体であって、電子的、磁気的、光学的等の読み取り方法のいかんにかかわらず、コンピュータで読み取り可能な記憶媒体であれば、あらゆる記憶媒体を含むものである。

【0101】

また、上記実施の形態及びその変形例においては、大規模言語モデル（Large Language Model）を利用することについて説明しなかったが、例えば、（１）被験者によるハンドル１８等の操作に関するセンサ情報、（２）被験者の驚きの感情情報、（３）１又は複数の他のセンサ等のセンサ情報、又は（４）ログ情報を含み、被験者の運転操作に関する評価情報を生成する要求を含むリクエストを大規模言語モデルに入力するリクエスト入力手段と、リクエストに対して大規模言語モデルから出力される評価情報を取得する取得手段とを備える構成を採用することができる。大規模言語モデルとしては、例えば、インターネットサイト「https://chatgpt-lab.com/n/n418d3aa56f0b」「https://agirobots.com/chatgpt-mechanism-and-problem/」に記載されている公知の技術を採用することができる。

【0102】

また、上記実施の形態及びその変形例においては、模擬運転の評価を行う運転シミュレータ１０に本発明を適用したが、これに限らず、本発明の主旨を逸脱しない範囲で他の場合にも適用可能である。例えば、教育、訓練、研究、開発又は試験等を支援する任意のシミュレータに本発明を適用することができる。教育又は訓練の場合は、例えば、被験者の教育又は訓練をいい、研究、開発又は試験の場合は、例えば、被験者による移動シミュレーションの実施結果を用いた研究、開発又は試験をいう。

【符号の説明】

【0103】

１０…運転シミュレータ、 １２～１６…ディスプレイ、 １８…ハンドル、 ２０…アクセルペダル、 ２２…ブレーキペダル、 ２４…カメラ、 ３０…ＣＰＵ、 ３２…ＲＯＭ、 ３４…ＲＡＭ、 ３８…Ｉ／Ｆ、 ３９…バス、 ４０…舵角センサ、 ４２…アクセルセンサ、 ４４…ブレーキセンサ、 ４６…記憶装置、 １００…制御装置

【要約】

【課題】 被験者の心理状態を考慮した評価を行うのに好適なシミュレータを提供する。
【解決手段】 運転シミュレータ１０は、被験者によるハンドル１８等の操作に関するセンサ情報を取得し、取得したセンサ情報に基づいて、仮想的な道路環境で模擬車両を走行させた場合に模擬車両から見える景色を動画として再生する運転シミュレーションを制御する。そして、被験者の驚きの感情情報を生成し、センサ情報と対応づけて驚きの感情情報を記録する。また、驚きの感情情報に基づいて、被験者の運転操作に関する評価情報を生成する。
【選択図】 図４

【図1】

【図2】

【図3】

【図4】

【図5】