特開 2020-56946 模擬運転装置、映像制御装置及び模擬運転方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】特開2020-56946(P2020-56946A)

(43)【公開日】2020年4月9日

(54)【発明の名称】模擬運転装置、映像制御装置及び模擬運転方法

(51)【国際特許分類】

   G09B 9/05 20060101AFI20200313BHJP

   A61B 3/113 20060101ALI20200313BHJP

   G06F 3/01 20060101ALI20200313BHJP

【ＦＩ】

   G09B9/05 A

   A61B3/10 B

   G06F3/01 510

【審査請求】未請求

【請求項の数】5

【出願形態】ＯＬ

【全頁数】20

(21)【出願番号】特願2018-188459(P2018-188459)

(22)【出願日】2018年10月3日

(71)【出願人】

【識別番号】504258686

【氏名又は名称】ソフトイーサ株式会社

(71)【出願人】

【識別番号】000005326

【氏名又は名称】本田技研工業株式会社

(71)【出願人】

【識別番号】504171134

【氏名又は名称】国立大学法人 筑波大学

(74)【代理人】

【識別番号】110000800

【氏名又は名称】特許業務法人創成国際特許事務所

(72)【発明者】

【氏名】桑名 潤平

(72)【発明者】

【氏名】小野 浩

(72)【発明者】

【氏名】伊藤 誠

【テーマコード（参考）】

4C316

5E555

【Ｆターム（参考）】

4C316AA18

4C316AA21

4C316FC28

4C316FZ01

5E555AA64

5E555AA71

5E555AA74

5E555BA23

5E555BA29

5E555BA38

5E555BB23

5E555BB29

5E555BB38

5E555BC08

5E555BE08

5E555BE17

5E555CB65

5E555CC05

5E555DA03

5E555DB53

5E555DB57

5E555DC13

5E555DC21

5E555EA05

5E555EA11

5E555FA00

(57)【要約】

【課題】視覚機能低下者が運転時などの危険性を的確に把握することができる模擬運転装置などを提供する。
【解決手段】模擬運転装置１のコントローラ６は、ユーザＭの視野欠損情報データと模擬映像データとを記憶し、模擬映像データをスクリーン８上に表示する模擬映像表示制御を実行する。コントローラ６は、模擬映像表示制御の実行中、ユーザＭの視点Ｏ、視野欠損情報データ及び模擬映像データ内の物体の映像が同一映像内においてユーザＭの視点Ｏを中心とする状態で互いに関連付けられた関連付け映像データを記憶し、模擬映像表示制御の終了後、関連付け映像データをスクリーン８上に再生表示する。
【選択図】図８

【特許請求の範囲】

【請求項1】

出力インターフェースと、
模擬車両を運転するためにユーザによって操作される操作手段と、
前記ユーザによる当該操作手段の操作状態を取得する操作状態取得手段と、
前記ユーザの視野欠損の発生状態を当該ユーザの視野領域と関連付けたデータである視野欠損情報データを記憶する視野欠損情報データ記憶手段と、
模擬走行環境を映像化した模擬映像データを記憶する模擬映像データ記憶手段と、
前記ユーザによる前記操作手段の前記操作状態に応じて、当該模擬映像データ記憶手段に記憶された前記模擬映像データを前記出力インターフェースに表示させる模擬映像表示制御を実行する模擬映像表示制御手段と、
当該模擬映像表示制御の実行中、前記ユーザの視点を取得する視点取得手段と、
前記模擬映像表示制御の実行中、前記ユーザの前記視点、前記視野欠損情報データ及び前記模擬映像データ内の物体の映像が同一映像内において前記ユーザの前記視点を中心とする状態で互いに関連付けられたデータを、関連付け映像データとして記憶する関連付け映像データ記憶手段と、
前記模擬映像表示制御の終了後、前記関連付け映像データを前記出力インターフェースに再生表示させる映像再生制御を実行する映像再生制御手段と、
を備えることを特徴とする模擬運転装置。

【請求項2】

請求項１に記載の模擬運転装置において、
前記模擬映像表示制御の実行中、前記模擬車両と模擬走行環境内の他の物体との接触及び接触寸前の少なくとも一方の模擬的な危険状態が発生したか否かを判定する危険状態判定手段と、
前記映像再生制御の実行中又は終了後、前記危険状態判定手段による前記模擬的な危険状態の発生判定結果を前記出力インターフェースに表示させる危険状態表示手段と、
を備えることを特徴とする模擬運転装置。

【請求項3】

請求項１又は２に記載の模擬運転装置において、
前記模擬映像表示制御の実行中、前記模擬映像データ内の物体が前記視野欠損情報データにおける前記視野欠損の発生領域と重なる重複状況の発生状態を表す重複状況パラメータを取得する重複状況パラメータ取得手段と、
当該重複状況パラメータと、前記模擬車両と模擬走行環境内の他の物体との接触及び接触寸前の少なくとも一方の模擬的な危険状態が発生する可能性を表す危険度合との間の相関性を表す相関性モデルを記憶する相関性モデル記憶手段と、
当該相関性モデル及び前記ユーザの前記重複状況パラメータを用いて、当該ユーザの車両運転時の危険度合を判定する運転時危険度合判定手段と、
前記映像再生制御の実行中又は終了後、前記運転時危険度合判定手段による前記車両運転時の危険度合の判定結果を前記出力インターフェースに表示させる運転時危険度合表示手段と、
をさらに備えることを特徴とする模擬運転装置。

【請求項4】

出力インターフェースと、
ユーザの視野欠損の発生状態を当該ユーザの視野領域と関連付けたデータである視野欠損情報データを記憶する視野欠損情報データ記憶手段と、
物体を含む動画映像データを記憶する動画映像データ記憶手段と、
当該動画映像データ記憶手段に記憶された前記動画映像データを前記出力インターフェースに表示させる動画表示制御を実行する動画表示制御手段と、
当該動画表示制御の実行中、前記ユーザの視点を取得する視点取得手段と、
前記動画表示制御の実行中、前記ユーザの視点、前記視野欠損情報データ及び前記動画映像データ内の前記物体の映像が同一映像内において前記ユーザの視点を中心とする状態で互いに関連付けられたデータを、関連付け映像データとして記憶する関連付け映像データ記憶手段と、
前記動画表示制御の終了後、前記関連付け映像データを前記出力インターフェースに再生表示させる映像再生制御を実行する映像再生制御手段と、
を備えることを特徴とする映像制御装置。

【請求項5】

ユーザによる操作手段の操作状態を取得し、
前記ユーザの視野欠損の発生状態を当該ユーザの視野領域と関連付けたデータである視野欠損情報データを記憶し、
模擬走行環境を映像化した模擬映像データを記憶し、
前記ユーザによる前記操作手段の前記操作状態に応じて、前記模擬映像データを出力インターフェースに表示させる模擬映像表示制御を実行し、
当該模擬映像表示制御の実行中、前記ユーザの視点を取得し、
前記模擬映像表示制御の実行中、前記ユーザの前記視点、前記視野欠損情報データ及び前記模擬映像データ内の物体の映像が同一映像内において前記ユーザの前記視点を中心とする状態で互いに関連付けられたデータを、関連付け映像データとして記憶し、
前記模擬映像表示制御の終了後、前記関連付け映像データを前記出力インターフェースに再生表示させる映像再生制御を実行することを特徴とする模擬運転方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、模擬的な車両運転を実行する模擬運転装置などに関する。

【背景技術】

【0002】

従来、模擬運転装置として、特許文献１に記載されたものが知られている。この模擬運転装置の場合、ユーザがメガネ型の装置を装着することで、模擬運転走行モードとして、視覚機能低下模擬モードが実行される。この視覚機能低下模擬モードは、緑内障により視野欠損が発生し、視覚機能が低下した人物（以下「視覚機能低下者」という）が４輪車両を運転したときの状態を、健常なユーザが模擬的に体験するためのものである。

【0003】

この視覚機能低下模擬モードの実行中、メガネ型の装置により、左眼側及び右眼側の一方のメガネ部のシャッターが開放されると同時に、他方のメガネ部のシャッターが閉鎖され、このシャッター内に視覚障害画像データが表示される。それにより、ユーザは一方の眼で通常の画像を視認すると同時に、他方の眼で視覚機能低下者と同様の画像を視認する状態となる。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２０１７−２１７２２６号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

一般に、視覚機能低下者が車両を実際に運転した場合、フィリングインと呼ばれる脳の補完機能を発揮しながら、車両の前方の交通状態を視認する状態になる。そのため、上記特許文献１の模擬運転装置により、視覚機能低下者が視覚機能低下模擬モードを体験した場合、自身が実際に運転しているときの見え方と異なってしまうことで、その体験時の視認状態を自身の運転時の視認状態とは認めないおそれがある。その結果、視覚機能低下者が、自身の運転時の危険性を的確に把握することができないという問題が生じてしまう。また、模擬運転装置に限らず、視覚機能低下者が、自身の視覚機能低下に起因する危険性を的確に把握できる装置が望まれている。

【0006】

本発明は、上記課題を解決するためになされたもので、視覚機能低下者が運転時などの危険性を的確に把握することができる模擬運転装置などを提供することを目的とする。

【課題を解決するための手段】

【0007】

上記目的を達成するために、本発明の模擬運転装置１は、出力インターフェース（プロジェクタ７、スクリーン８）と、模擬車両を運転するためにユーザＭによって操作される操作手段（ハンドル３、アクセルペダル４、ブレーキペダル５）と、ユーザＭによる操作手段の操作状態を取得する操作状態取得手段（操舵角センサ１１、アクセルセンサ１２、ブレーキセンサ１３）と、ユーザＭの視野欠損の発生状態をユーザＭの視野領域と関連付けたデータである視野欠損情報データを記憶する視野欠損情報データ記憶手段（コントローラ６）と、模擬走行環境を映像化した模擬映像データを記憶する模擬映像データ記憶手段（コントローラ６）と、ユーザＭによる操作手段（ハンドル３、アクセルペダル４、ブレーキペダル５）の操作状態に応じて、模擬映像データ記憶手段に記憶された模擬映像データを出力インターフェース（プロジェクタ７、スクリーン８）に表示させる模擬映像表示制御を実行する模擬映像表示制御手段（コントローラ６）と、模擬映像表示制御の実行中、ユーザＭの視点Ｏを取得する視点取得手段（視線検出装置１０）と、模擬映像表示制御の実行中、ユーザＭの視点Ｏ、視野欠損情報データ及び模擬映像データ内の物体の映像が同一映像内においてユーザＭの視点Ｏを中心とする状態で互いに関連付けられたデータを、関連付け映像データとして記憶する関連付け映像データ記憶手段（コントローラ６）と、模擬映像表示制御の終了後、関連付け映像データ（図７〜１０）を出力インターフェース（プロジェクタ７、スクリーン８）に再生表示させる映像再生制御を実行する映像再生制御手段（コントローラ６）と、を備えることを特徴とする。

【0008】

この模擬運転装置によれば、ユーザによる操作手段の操作状態が取得され、ユーザによる操作手段の操作状態に応じて、模擬映像データ記憶手段に記憶された模擬映像データを出力インターフェースに表示させる模擬映像表示制御が実行される。さらに、模擬映像表示制御の実行中、ユーザの視点が取得され、ユーザの視点、視野欠損情報データ及び模擬映像データ内の物体の映像が同一映像内においてユーザの視点を中心とする状態で互いに関連付けられたデータが、関連付け映像データとして記憶される。そして、模擬映像表示制御の終了後、関連付け映像データを出力インターフェースに再生表示させる映像再生制御が実行される。この場合、視野欠損情報データは、ユーザの視野欠損の状態をユーザの視野領域と関連付けたデータであるので、模擬映像表示制御の実行中、模擬映像データ内の物体がユーザの視野欠損が発生している視野領域と重複する状態が発生したときには、映像再生制御の実行中、そのような重複状態が再生表示されることになる。それにより、ユーザは、模擬映像データ内の物体が自身の視野欠損が発生している視野領域と重複することで、模擬映像データ内の物体が実際には見えなくなる状態が発生していたことを確認することができる。その結果、視野欠損が発生し、視覚機能が低下したユーザは、自身の運転時の危険性を的確に把握することができる（なお、本明細書における「操作状態を取得」及び「視点を取得」などの「取得」は、センサなどによりこれらを直接検出することに限らず、これらの値を他のパラメータに基づいて算出することを含む）。

【0009】

本発明において、模擬映像表示制御の実行中、模擬車両と模擬走行環境内の他の物体との接触及び接触寸前の少なくとも一方の模擬的な危険状態が発生したか否かを判定する危険状態判定手段（コントローラ６）と、映像再生制御の実行中又は終了後、危険状態判定手段による模擬的な危険状態の発生判定結果（図１２）を出力インターフェース（プロジェクタ７、スクリーン８）に表示させる危険状態表示手段（コントローラ６）と、を備えることが好ましい。

【0010】

この模擬運転装置によれば、模擬映像表示制御の実行中、模擬車両と模擬走行環境内の他の物体との接触及び接触寸前の少なくとも一方の模擬的な危険状態が発生したか否かが判定され、映像再生制御の実行中又は終了後、模擬的な危険状態の発生判定結果が出力インターフェースに表示される。それにより、視覚機能が低下したユーザは、自身の車両運転時における危険状態の発生の有無を的確に把握することができる。

【0011】

本発明において、模擬映像表示制御の実行中、模擬映像データ内の物体が視野欠損情報データにおける視野欠損の発生領域と重なる重複状況の発生状態を表す重複状況パラメータ（危険指標値Ｘｒｅｆ）を取得する重複状況パラメータ取得手段（コントローラ６）と、 重複状況パラメータと、模擬車両と模擬走行環境内の他の物体との接触及び接触寸前の少なくとも一方の模擬的な危険状態が発生する可能性を表す危険度合との間の相関性を表す相関性モデル（図１１）を記憶する相関性モデル記憶手段（コントローラ６）と、相関性モデル及びユーザＭの重複状況パラメータを用いて、ユーザＭの車両運転時の危険度合を判定する運転時危険度合判定手段（コントローラ６）と、映像再生制御の実行中又は終了後、運転時危険度合判定手段による車両運転時の危険度合の判定結果（図１３）を出力インターフェース（プロジェクタ７、スクリーン８）に表示させる運転時危険度合表示手段（コントローラ６）と、をさらに備えることが好ましい。

【0012】

この模擬運転装置によれば、模擬映像表示制御の実行中、重複状況パラメータが取得され、相関性モデル及びユーザの重複状況パラメータを用いて、ユーザの車両運転時の危険度合が判定される。この重複状況パラメータは、模擬映像データ内の物体が視野欠損情報データにおける視野欠損の発生領域と重なる重複状況の発生状態を表すものである。また、相関性モデルは、重複状況パラメータと模擬車両と模擬走行環境内の他の物体との接触及び接触寸前の少なくとも一方の危険状態が発生する可能性を表す危険度合との間の相関性を表すものである。したがって、そのような相関性モデル及びユーザの重複状況パラメータを用いることにより、ユーザの車両運転時の危険度合を精度良く判定することができる。さらに、映像再生制御の実行中又は終了後、運転時危険度合判定手段による車両運転時の危険度合の判定結果が出力インターフェースに表示されるので、視覚機能が低下したユーザは、自身の車両運転時における危険度合を的確に把握することができる。

【0013】

前述した目的を達成するために、本発明の映像制御装置は、出力インターフェース（プロジェクタ７、スクリーン８）と、ユーザの視野欠損の発生状態をユーザの視野領域と関連付けたデータである視野欠損情報データを記憶する視野欠損情報データ記憶手段（コントローラ６）と、物体を含む動画映像データを記憶する動画映像データ記憶手段（コントローラ６）と、動画映像データ記憶手段に記憶された動画映像データを出力インターフェースに表示させる動画表示制御を実行する動画表示制御手段（コントローラ６）と、動画表示制御の実行中、ユーザの視点を取得する視点取得手段（視線検出装置１０）と、動画表示制御の実行中、ユーザの視点、視野欠損情報データ及び動画映像データ内の物体の映像が同一映像内においてユーザの視点を中心とする状態で互いに関連付けられたデータを、関連付け映像データとして記憶する関連付け映像データ記憶手段（コントローラ６）と、動画表示制御の終了後、関連付け映像データを出力インターフェースに再生表示させる映像再生制御を実行する映像再生制御手段（コントローラ６）と、を備えることを特徴とする。

【0014】

この映像制御装置によれば、動画映像データ記憶手段に記憶された動画映像データを出力インターフェースに表示させる動画表示制御が実行される。その動画表示制御の実行中、ユーザの視点が取得され、ユーザの視点、視野欠損情報データ及び動画映像データ内の物体の映像が同一映像内においてユーザの視点を中心とする状態で互いに関連付けられたデータが、関連付け映像データとして記憶される。そして、動画表示制御の終了後、関連付け映像データを出力インターフェースに再生表示させる映像再生制御が実行される。この場合、視野欠損情報データは、ユーザの視野欠損の状態をユーザの視野領域と関連付けたデータであるので、動画表示制御の実行中、動画映像データ内の物体がユーザの視野欠損が発生している視野領域と重複する状態が発生したときには、映像再生制御の実行中、そのような重複状態が再生表示されることになる。それにより、ユーザは、動画映像データ内の物体が自身の視野欠損が発生している視野領域と重複する状態、すなわち動画映像データ内の物体が実際には見えなくなる状態が発生していることを確認することができる。その結果、視野欠損が発生し、視覚機能が低下したユーザは、自身の歩行時などの危険性を的確に把握することができる。

【0015】

前述した目的を達成するために、本発明の模擬運転方法は、ユーザＭによる操作手段の操作状態を取得し、ユーザＭの視野欠損の発生状態をユーザＭの視野領域と関連付けたデータである視野欠損情報データ（図３）を記憶し、模擬走行環境を映像化した模擬映像データを記憶し、ユーザＭによる操作手段の操作状態に応じて、模擬映像データを出力インターフェース（プロジェクタ７、スクリーン８）に表示させる模擬映像表示制御を実行し、模擬映像表示制御の実行中、ユーザＭの視点Ｏを取得し、模擬映像表示制御の実行中、ユーザＭの視点Ｏ、視野欠損情報データ及び模擬映像データ内の物体の映像が同一映像内においてユーザＭの視点Ｏを中心とする状態で互いに関連付けられたデータを、関連付け映像データとして記憶し、模擬映像表示制御の終了後、関連付け映像データ（図７〜１０）を出力インターフェースに再生表示させる映像再生制御を実行することを特徴とする。

【図面の簡単な説明】

【0016】

【図1】本発明の一実施形態に係る模擬運転装置の構成を示す図である。

【図2】模擬運転装置の電気的な構成を示すブロック図である。

【図3】ユーザの視野欠損情報データの一例を示す図である。

【図4】模擬走行制御を示すフローチャートである。

【図5】模擬映像表示制御中の動画映像の一例を示す図である。

【図6】再生表示制御を示すフローチャートである。

【図7】視野映像データの一例を示す図である。

【図8】図７の状態から時間が経過したときの視野映像データの一例を示す図である。

【図9】視野映像データの他の一例を示す図である。

【図10】図９の状態から時間が経過したときの視野映像データの一例を示す図である。

【図11】危険度判定に用いるマップの一例を示す図である。

【図12】危険発生回数の表示例を示す図である。

【図13】運転危険度の表示例を示す図である。

【発明を実施するための形態】

【0017】

以下、図面を参照しながら、本発明の一実施形態に係る模擬運転装置について説明する。図１に示すように、本実施形態の模擬運転装置１は、ユーザＭが運転シート２に着座して模擬運転を行う４輪車両タイプのものであり、模擬車両の一部として、運転シート２、ハンドル３、アクセルペダル４及びブレーキペダル５を備えている。

【0018】

このハンドル３は、模擬運転中、模擬車両の進路を変更するときに、ユーザＭによって操作される。このハンドル３には、操舵角センサ１１（図２参照）が設けられており、この操舵角センサ１１は、模擬運転中のユーザＭによるハンドル３の操舵角を検出して、それを表す検出信号をコントローラ６に出力する。

【0019】

また、アクセルペダル４は、模擬運転中、模擬車両を加速させるときなどに、ユーザＭによって操作される。このアクセルペダル４には、アクセルセンサ１２（図２参照）が設けられており、このアクセルセンサ１２は、ユーザＭによるアクセルペダル４の踏み込み量を検出して、それを表す検出信号をコントローラ６に出力する。

【0020】

さらに、ブレーキペダル５は、模擬運転中、模擬車両を制動するときに、ユーザＭによって操作される。このブレーキペダル５には、ブレーキセンサ１３（図２参照）が設けられており、このブレーキセンサ１３は、ユーザＭによるブレーキペダル５の踏み込み量を検出して、それを表す検出信号をコントローラ６に出力する。

【0021】

なお、本実施形態では、ハンドル３、アクセルペダル４及びブレーキペダル５が操作手段に相当し、操舵角センサ１１、アクセルセンサ１２及びブレーキセンサ１３が操作状態取得手段に相当する。

【0022】

さらに、模擬運転装置１は、コントローラ６、プロジェクタ７、スクリーン８及び視線検出装置１０などを備えている。この視線検出装置１０（視点取得手段）は、ユーザＭの眼球の運動に基づいてユーザＭの視線を検出し、それを表す検出信号をコントローラ６に出力する。コントローラ６は、この視線検出装置１０の検出信号に基づき、ユーザＭの視点Ｏを決定する。なお、以下の説明では、視線検出装置１０及び上述した３つのセンサ１１〜１３をまとめて「各種センサ１０〜１３」という。

【0023】

コントローラ６は、ノート型パソコンタイプのものであり、ストレージ、メモリ及びキーボード（いずれも図示せず）などを備えている。このコントローラ６のストレージ及びメモリ内には、模擬運転制御用の、プログラム、映像データ及び音響データなどが記憶されている。

【0024】

また、後述する模擬運転制御の実行開始前には、ユーザＭの視野欠損情報データが外部からコントローラ６に入力され、メモリ内に記憶される。この視野欠損情報データは、ユーザＭの視野欠損の発生状態をユーザＭの視野領域毎に示すデータであり、例えば医療機関などの検査結果に基づいて作成される。したがって、視野欠損情報データは、模擬運転を実行する際、ユーザ毎に異なるデータがコントローラ６に入力される。

【0025】

この視野欠損情報データは、例えば、図３に示すように構成される。同図に示す視野欠損情報データの場合、ユーザＭの視点（注視点）Ｏを中心として、左上１９個、左下１９個、右上１９個及び右下１９個の計７６個の視野領域が設定されている。また、これらの視野領域は、無感度域３１、低感度域３２、中感度域３３及び高感度域３４の４段階の感度領域に区分されている。

【0026】

この無感度域３１は、図中の黒塗りで示す領域であり、ユーザＭの網膜が感度をほとんど有してない領域に相当する。また、高感度域３４は、図中の白抜きで示す領域であり、ユーザＭの網膜が正常な感度を有している領域に相当する。さらに、低感度域３２及び中感度域３３は、いずれもグレーの色合いで示す領域である。低感度域３２は、無感度域３１と中感度域３３との間の感度を有しており、中感度域３３よりも濃いグレーの色合いで示されている。また、中感度域３３は、低感度域３２と高感度域３４との間の感度を有している領域である。なお、視野領域の総数及び感度領域の段階数は、上記に限らず、両者の数を増減して構成することが可能である。

【0027】

このコントローラ６では、オペレータによってキーボードなどの入力部が操作されることにより、後述する模擬運転制御などが実行される。この模擬運転制御の実行中、コントローラ６は、上述した各種センサ１０〜１３の検出信号に基づいて、映像信号及び音声信号をプロジェクタ７及びスピーカ（図示せず）に出力する。それにより、プロジェクタ７及びスピーカの動作状態が制御される。

【0028】

また、コントローラ６は、模擬運転制御の実行中、上記視野欠損情報データを模擬映像中の交通参加者及び信号などの映像に重ね合わせることにより、動画映像データである視野映像データ（図７〜１０参照）を作成し、これをメモリ内に記憶する。

【0029】

なお、本実施形態では、コントローラ６が、視野欠損情報データ記憶手段、模擬映像データ記憶手段、模擬映像表示制御手段、関連付け映像データ記憶手段、映像再生制御手段、危険状態判定手段、危険状態表示手段、重複状況パラメータ取得手段、相関性モデル記憶手段、運転時危険度合判定手段及び運転時危険度合表示手段に相当する。

【0030】

一方、プロジェクタ７は、上述した模擬運転制御の実行中、映像信号がコントローラ６から入力されると、それに伴って、模擬走行映像をスクリーン８上に表示する（図５参照）。また、プロジェクタ７は、後述するように、模擬運転制御の実行後に再生制御が実行されたときには、上述した模擬運転制御中にコントローラ６内に記憶された視野映像データをスクリーン８上に表示する（図７〜１０参照）。なお、本実施形態では、プロジェクタ７及びスクリーン８が出力インターフェースに相当する。

【0031】

次に、図４を参照しながら、模擬走行制御について説明する。この模擬走行制御は、ユーザＭによる模擬走行状態を制御するものであり、コントローラ６によって所定の制御周期で実行される。

【0032】

まず、模擬走行中フラグＦ＿ＲＵＮが「１」であるか否かを判定する（図４／ＳＴＥＰ１）。この判定が否定であるときには（図４／ＳＴＥＰ１…ＮＯ）、模擬走行制御の開始動作が実行されたか否かを判定する（図４／ＳＴＥＰ２）。この場合、模擬走行制御の開始動作は、オペレータによるコントローラ６の入力部の操作によって実行される。

【0033】

この判定が否定であるとき（図４／ＳＴＥＰ２…ＮＯ）には、そのまま本処理を終了する。一方、この判定が肯定であるとき（図４／ＳＴＥＰ２…ＹＥＳ）には、模擬走行制御を実行すべきであることを表すために、模擬走行中フラグＦ＿ＲＵＮを「１」に設定する（図４／ＳＴＥＰ３）。

【0034】

このように模擬走行中フラグＦ＿ＲＵＮを「１」に設定したとき、又は前述した判定が肯定（図４／ＳＴＥＰ１…ＹＥＳ）で、前回以前の制御タイミングにおいて模擬走行中フラグＦ＿ＲＵＮが「１」に設定されていたときには、模擬映像表示制御を実行する（図４／ＳＴＥＰ４）。

【0035】

この模擬映像表示制御では、前述した各種センサ１０〜１３の検出信号及びコントローラ６内の模擬運転制御用の映像データに基づいて、例えば、図５に示すような動画映像２０がプロジェクタ７によってスクリーン８上に表示される。この動画映像２０は、模擬車両の前方の走行環境を表すものであり、具体的には、ユーザＭの視点Ｏを中心として、模擬車両の走行ライン２１、交通参加者［他の車両２２や歩行者（図示せず）］及び信号機２３などが表示される。

【0036】

次に、音響制御を実行する（図４／ＳＴＥＰ５）。この音響制御では、前述した模擬運転制御用の音響データに基づいて、音響信号がスピーカに供給される。それにより、例えば、模擬車両の走行音、エンジン音及びブレーキ音などがスピーカから出力される。

【0037】

次いで、視野映像データをコントローラ６のメモリ内に記憶する（図４／ＳＴＥＰ６）。前述したように、この視野映像データは、動画映像データであり、例えば、図７〜図１０に示すように、ユーザＭの視点Ｏを中心として、動画映像２０内の交通参加者（例えば他車両２４）及び信号機２３の画像データを視野欠損情報データに重ねたものとなる。

【0038】

その後、重複時間を記憶する（図４／ＳＴＥＰ７）。この場合、重複時間としては、第１〜第３重複時間ｔ１〜ｔ３が記憶される。この第１重複時間ｔ１は、模擬走行制御の実行中、交通参加者及び信号機などが視野欠損情報データにおける無感度域３１に位置することで、両者の重複状態が発生したときの発生時間の積算値である。

【0039】

また、第２重複時間ｔ２は、模擬走行制御の実行中、交通参加者及び信号機などが視野欠損情報データにおける低感度域３２に位置することで、両者の重複状態が発生したときの発生時間の積算値である。さらに、第３重複時間ｔ３は、模擬走行制御の実行中、交通参加者及び信号機などが視野欠損情報データにおける中感度域３３に位置することで、両者の重複状態が発生したときの発生時間の積算値である。

【0040】

次に、危険発生回数を記憶する（図４／ＳＴＥＰ８）。この危険発生回数の記憶処理は、以下に述べるように実行される。まず、模擬走行制御の実行中、模擬車両が交通参加者及び障害物と接触する接触事故が発生したか否か、及び、模擬車両が交通参加者及び障害物と接触しそうになった危険状態や信号無視の状態などのヒヤリハット状態が発生したか否かが判定される。そして、接触事故が発生したときには、その発生回数を積算することによって、事故発生回数が算出される。また、ヒヤリハット状態が発生したときには、その発生回数を積算することによってヒヤリハット回数が算出される。その後、事故発生回数及びヒヤリハット回数が、危険発生回数としてコントローラ６のメモリ内に記憶される。

【0041】

次いで、模擬走行が終了したか否かを判定する（図４／ＳＴＥＰ９）。この場合、模擬運転制御用の映像データが最後まで再生表示されたとき、又は、模擬走行の実行中であっても、何らかの理由により、オペレータによるコントローラ６の入力部の操作によって、模擬走行の中止動作が実行されたときに、模擬走行が終了したと判定される。

【0042】

この判定が否定であるとき（図４／ＳＴＥＰ９…ＮＯ）には、そのまま本処理を終了する。一方、この判定が肯定であるとき（図４／ＳＴＥＰ９…ＹＥＳ）には、模擬走行制御を終了すべきであることを表すために、模擬走行中フラグＦ＿ＲＵＮを「０」に設定する（図４／ＳＴＥＰ１０）。その後、本処理を終了する。

【0043】

次に、図６を参照しながら、再生表示制御について説明する。この再生表示制御は、前述した視野映像データを再生表示するとともに、模擬走行中における危険発生回数などを表示するものであり、模擬走行制御の実行後、コントローラ６によって所定の制御周期で実行される。

【0044】

同図に示すように、まず、判定結果表示フラグＦ＿ＤＩＳＰＬＡＹが「１」であるか否かを判定する（図６／ＳＴＥＰ２１）。この判定が否定であるとき（図６／ＳＴＥＰ２１…ＮＯ）には、再生制御実行フラグＦ＿ＰＬＡＹが「１」であるか否かを判定する（図６／ＳＴＥＰ２２）。

【0045】

この判定が否定であるとき（図６／ＳＴＥＰ２２…ＮＯ）には、オペレータによるコントローラ６の入力部の操作によって、再生動作が実行されたか否かを判定する（図６／ＳＴＥＰ２３）。この判定が否定であるとき（図６／ＳＴＥＰ２３…ＮＯ）、そのまま本処理を終了する。

【0046】

一方、この判定が肯定であるとき（図６／ＳＴＥＰ２３…ＹＥＳ）、すなわち再生動作が実行されたときには、それを表すために、再生制御実行フラグＦ＿ＰＬＡＹを「１」に設定する（図６／ＳＴＥＰ２４）。

【0047】

次いで、映像再生制御を実行する（図６／ＳＴＥＰ２５）。この映像再生制御では、模擬走行制御の実行中にコントローラ６のメモリ内に記憶された視野映像データが、例えば、図７〜１０に示すように、スクリーン８上に再生表示される。この場合、視野映像データは、連続再生や静止画のコマ送り再生などの手法によって再生表示される。

【0048】

この図７は、他車両２４の画像がユーザＭの視野領域に入る前の状態を示しており、図８は、時間の経過に伴い、他車両２４の画像が図７に示す状態からユーザＭの視野領域における無感度域３１に入った状態を示している。すなわち、他車両２４の画像と無感度域３１が互いに重複した状態を示している。なお、図８においては、理解の容易化のために、無感度域３１内の他車両２４が白い破線で示されているが、実際の視野映像データでは、無感度域３１内の他車両２４は表示されない状態となる。

【0049】

また、図９は、信号機２３の画像が中感度域３３に入っている状態を示しており、図１０は、時間の経過に伴い、信号機２３の画像が図９に示す状態からユーザＭの視野領域における無感度域３１に入った状態を示している。すなわち、他車両２４の画像と無感度域３１が互いに重複した状態を示している。なお、図１０においては、理解の容易化のために、無感度域３１内の信号機２３が白い破線で示されているが、実際の視野映像データでは、無感度域３１内の信号機２３は表示されない状態となる。また、以上の図７〜１０においては、理解の容易化のために、他車両２４及び信号機２３以外の風景画像が省略されている。

【0050】

これらの図８，１０に示すように、他車両２４及び信号機２３の画像がユーザＭの無感度域３１と重複した場合、ユーザＭは、模擬運転中、他車両２４及び信号機２３を実際には視認していない状態が発生していたことを理解／把握できる。以上のように、映像再生制御を実行した後、本処理を終了する。

【0051】

一方、前述した判定が肯定（図６／ＳＴＥＰ２２…ＹＥＳ）で、再生制御実行フラグＦ＿ＰＬＡＹが「１」であるときには、視野映像データの映像再生が終了したか否かを判定する（図６／ＳＴＥＰ２６）。この場合、視野映像データが最後まで再生表示されたときに、模擬走行が終了したと判定される。

【0052】

この判定が否定であるときには（図６／ＳＴＥＰ２６…ＮＯ）、前述したように、映像再生制御を実行する（図６／ＳＴＥＰ２５）。その後、本処理を終了する。

【0053】

一方、この判定が肯定（図６／ＳＴＥＰ２６…ＹＥＳ）で、視野映像データの映像再生が終了したときには、それを表すために、再生制御実行フラグＦ＿ＰＬＡＹを「０」に設定する。これと同時に、危険発生回数などを表示すべきであることを表すために、判定結果表示フラグＦ＿ＤＩＳＰＬＡＹを「１」に設定する（図６／ＳＴＥＰ２７）。

【0054】

次いで、重複割合を算出する（図６／ＳＴＥＰ２８）。この場合、重複割合としては、第１〜第３割合の３つの値が算出される。この第１割合は、模擬走行制御の実行中、他車両や信号機などが無感度域３１と重複した割合であり、具体的には、前述した第１重複時間ｔ１の模擬走行制御の総実行時間ｔ＿ａｌｌに対する百分率［（ｔ１／ｔ＿ａｌｌ）×１００］として算出される。

【0055】

また、第２割合は、模擬走行制御の実行中、他車両や信号機などが低感度域３２と重複した割合であり、具体的には、前述した第２重複時間ｔ２の模擬走行制御の総実行時間ｔ＿ａｌｌに対する百分率［（ｔ２／ｔ＿ａｌｌ）×１００］として算出される。さらに、第３割合は、模擬走行制御の実行中、他車両や信号機などが中感度域３３と重複した割合であり、具体的には、前述した第３重複時間ｔ３の模擬走行制御の総実行時間ｔ＿ａｌｌに対する百分率［（ｔ３／ｔ＿ａｌｌ）×１００］として算出される。

【0056】

次いで、下式（１）により、危険指標値Ｘｒｅｆを算出する（図６／ＳＴＥＰ２９）。

【数1】

【0057】

この式（１）において、ｍ１〜ｍ３は、重み係数であり、１≧ｍ１＞ｍ２＞ｍ３＞０が成立するように設定される。上式（１）に示すように、危険指標値Ｘｒｅｆは、模擬走行制御の実行中、他車両や信号機などが無感度域３１、低感度域３２及び中感度域３３と重複した度合に対して、重み付けを実施した値として算出される。すなわち、危険指標値Ｘｒｅｆは、重複状況の発生状態を表す重複状況パラメータとして算出される。また、上記の重み係数ｍ１〜ｍ３は、例えば、視野欠損が発生している多数のユーザにおいて、前述したように模擬走行制御を実行したときの統計結果や、それらのユーザの実際の事故歴などに基づいて設定される。

【0058】

次に、危険度判定を実行する（図６／ＳＴＥＰ３０）。具体的には、上記のように算出した危険指標値Ｘｒｅｆに応じて、図１１に示すマップを検索することにより、ユーザＭの運転時の危険度（以下「運転危険度」という）が、「低」、「中」、「高」のいずれの領域にあるかを判定する。この危険度は、模擬運転中のユーザが接触事故及びヒヤリハットの少なくとも一方を発生させる可能性の高低を表すものである。

【0059】

また、同図において、Ｘ１，Ｘ２は、Ｘ１＜Ｘ２が成立するように設定される所定しきい値であり、これらの所定しきい値Ｘ１，Ｘ２は、例えば、視野欠損が発生している多数のユーザにおいて、前述したように模擬走行制御を実行したときの統計結果や、それらのユーザの実際の事故歴などに基づいて設定される。

【0060】

その後、危険発生回数を表示する（図６／ＳＴＥＰ３１）。具体的には、模擬走行制御中におけるユーザＭの事故の発生回数及びヒヤリハットの発生回数が、図１２に示す状態でスクリーン８上に表示される。この場合、事故及びヒヤリハットの一方の発生回数を表示してもよい。

【0061】

次いで、運転危険度を表示する（図６／ＳＴＥＰ３２）。具体的には、ユーザＭの模擬走行制御中における、前述した無感度域３１、低感度域３２及び中感度域３３の重複割合の算出結果と運転危険度の判定結果が、図１３に示す状態でスクリーン８上に表示される。その後、本処理を終了する。

【0062】

一方、前述した判定が肯定（図６／ＳＴＥＰ２１…ＹＥＳ）で、判定結果表示フラグＦ＿ＤＩＳＰＬＡＹが「１」であるとき、すなわち前回以前の制御タイミングにおいて、危険発生回数及び運転危険度が表示されていたときには、判定結果表示が終了したか否かを判定する（図６／ＳＴＥＰ３３）。具体的には、オペレータによるコントローラ６の入力部の操作によって、判定結果表示の終了動作が実行されたときに、判定結果表示が終了したと判定される。

【0063】

この判定が否定であるとき（図６／ＳＴＥＰ３３…ＮＯ）には、前述したように、危険発生回数及び運転危険度を表示した後、本処理を終了する。

【0064】

一方、この判定が肯定であるとき（図６／ＳＴＥＰ３３…ＹＥＳ）には、判定結果表示が終了したことを表すために、判定結果表示フラグＦ＿ＤＩＳＰＬＡＹを「０」に設定する（図６／ＳＴＥＰ３４）。その後、本処理を終了する。

【0065】

以上のように、本実施形態の模擬運転装置１によれば、ユーザＭの視野欠損の状態をユーザＭの視野領域と関連付けた視野欠損情報データ（図３）がコントローラ６に入力された後、模擬走行制御が実行される。その模擬走行制御の実行中、視線検出装置１０によってユーザＭの視点Ｏが検出され、ユーザＭの視点Ｏと、視野欠損情報データと、模擬映像データ内の物体の映像とが同一映像内においてユーザＭの視点Ｏを中心とする状態で互いに関連付けられたデータが関連付け映像データ（図７〜１０）として作成され、コントローラ６のメモリ内に記憶される。

【0066】

そして、模擬走行制御の終了後、映像再生制御が実行される。この映像再生制御では、関連付け映像データがスクリーン８上に再生表示される。この関連付け映像データは、前述したように、視野欠損情報データと、ユーザＭの視点Ｏ及び模擬映像データ内の他車両２４及び信号機２３などの映像が同一映像内においてユーザＭの視点Ｏを中心とする状態で互いに関連付けられたデータである。したがって、ユーザＭは、模擬映像データ内の他車両２４及び信号機２３などが自身の視野欠損が発生している視野領域と重複する状態、すなわち模擬映像データ内の他車両２４及び信号機２３などが実際には見えなくなる状態が発生していることを確認することができる。その結果、視野欠損が発生したユーザすなわち視覚機能が低下したユーザＭは、自身の運転時の危険性を的確に把握することができる。

【0067】

また、模擬走行制御の実行中、模擬車両と模擬走行環境内の他の物体との接触事故及びヒヤリハット状態が発生したか否かが判定され、映像再生制御の終了後、その発生回数がスクリーン８上に再生表示される（図１２）。それにより、視覚機能が低下したユーザＭは、自身の車両運転時における危険状態の発生の有無を的確に把握することができる。

【0068】

さらに、模擬走行制御の実行中、危険指標値Ｘｒｅｆが算出され、危険指標値Ｘｒｅｆ及びマップ（図１１）を用いて、ユーザＭの車両運転時の危険度合が判定される。この危険指標値Ｘｒｅｆは、危険指標値Ｘｒｅｆは、他車両や信号機などが無感度域３１、低感度域３２及び中感度域３３と重複した度合に対して、重み付けを実施した値として算出されるので、模擬映像データ内の他車両や信号機などが視野欠損情報データにおける無感度域３１、低感度域３２及び中感度域３３と重なる重複状況の発生状態を表すものとなる。また、マップは、危険指標値Ｘｒｅｆと運転時の危険度合との相関性を適切に表すものとして作成されている。したがって、そのような危険指標値Ｘｒｅｆ及びマップを用いることにより、視覚機能が低下したユーザＭの車両運転時の危険度合を精度良く判定することができる。

【0069】

これに加えて、映像再生制御の終了後、他車両や信号機などが無感度域３１、低感度域３２及び中感度域３３と重複した重複割合と、運転危険度が図１３に示すようにスクリーン８上に表示されるので、視覚機能が低下したユーザＭは、自身の車両運転時の危険度合を的確に把握することができる。

【0070】

なお、実施形態は、模擬車両として４輪車タイプのものを用いた例であるが、これに代えて、様々な模擬車両を用いてもよい。例えば、模擬車両として、２輪車、３輪車及び６輪以上の車両を用いてもよい。

【0071】

また、実施形態は、出力インターフェースとして、プロジェクタ７及びスクリーン８を用いた例であるが、本発明の出力インターフェースはこれらに限らず、模擬映像データ及び関連付け映像データを表示できるものであればよい。例えば、出力インターフェースとして、液晶ディスプレイや、有機ＥＬディスプレイ、３Ｄホログラム装置、ヘッドマウントディスプレイを用いてもよい。

【0072】

さらに、実施形態は、操作手段として、ハンドル３、アクセルペダル４及びブレーキペダル５を用いた例であるが、本発明の操作手段は、これらに限らず、模擬車両を運転するためにユーザによって操作されるものであればよい。例えば、模擬車両が２輪車タイプのときには、スロットレバー及びブレーキレバーなどが操作手段に相当する。

【0073】

一方、実施形態は、操作状態取得手段として、センサ１１〜１３を用いた例であるが、本発明の操作状態取得手段はこれらに限らず、ユーザによる操作手段の操作状態を取得するものであればよい。例えば、操作手段が２輪車のスロットレバー及びブレーキレバーである場合には、これらの操作量を検出するセンサを用いてもよい。

【0074】

また、実施形態は、視点取得手段として、視線検出装置１０を用いた例であるが、本発明の視点取得手段は、これに限らず、ユーザの視点を検出するできるものであればよい。

【0075】

さらに、実施形態は、模擬映像表示制御手段及び映像再生制御手段として、ノート型パソコンタイプのコントローラ６を用いた例であるが、本発明の模擬映像表示制御手段及び映像再生制御手段はこれに限らず、模擬映像表示制御及び映像再生制御を実行するものであればよい。例えば、模擬映像表示制御手段及び映像再生制御手段として、デスクトップ型パソコン及び制御回路などを用いてもよく、パソコンとサーバを組み合わせて用いてもよい。

【0076】

また、実施形態は、重複状況パラメータとして、危険指標値Ｘｒｅｆを用いた例であるが、本発明の重複状況パラメータはこれに限らず、模擬映像データ内の物体が視野欠損情報データにおける視野欠損の発生領域と重なる重複状況の発生状態を表すものであればよい。例えば、重複状況パラメータとして、式（１）の右辺第１項（ｍ１・ｔ１／ｔ＿ａｌｌ）のみや、値ｔ１／ｔ＿ａｌｌ、右辺の第１項と第２項の和［（ｍ１・ｔ１／ｔ＿ａｌｌ）＋（ｍ２・ｔ２／ｔ＿ａｌｌ）］を用いてもよく、３つの比ｔ１／ｔ＿ａｌｌ，ｔ２／ｔ＿ａｌｌ，ｔ３／ｔ＿ａｌｌを用いてもよい。また、第１〜第３重複時間ｔ１〜ｔ３を重複状況パラメータとして用いてもよい。

【0077】

一方、実施形態は、相関性モデルとして、図１１のマップを用いた例であるが、本発明の相関性モデルはこれに限らず、重複状況パラメータと危険度合との間の相関性を表すものであればよい。例えば、相関性モデルとして、重複状況パラメータと危険度合との間の相関性を直交座標軸上に表した線図を用いてもよい。

【0078】

また、実施形態は、事故及びヒヤリハットの発生回数（図１２）を、映像再生制御の終了後に表示した例であるが、これを映像再生制御の実行中に表示してもよい。その場合、事故及びヒヤリハットの発生回数を、これらが発生する毎にインクリメントするように構成してもよく、最初から総発生回数を表示するように構成してもよい。

【0079】

さらに、実施形態は、運転危険度及び重複割合（図１３）を、映像再生制御の終了後に表示した例であるが、これを映像再生制御の実行中に表示してもよい。その場合、運転危険度及び重複割合を、重複状態が発生する毎に再演算するように構成してもよい。

【0080】

一方、実施形態の前述した模擬運転装置１において、模擬車両に関連する構成３〜５及びセンサ１１〜１３を省略することにより、本発明の映像制御装置を構成してもよい。その場合、プロジェクタ７及びスクリーン８が出力インターフェースに相当し、視線検出装置１０が視点取得手段に相当する。さらに、コントローラ６が視野欠損情報データ記憶手段、動画映像データ記憶手段、動画表示制御手段、関連付け映像データ記憶手段及び映像再生制御手段に相当する。

【0081】

この映像制御装置では、コントローラ６のメモリ内には、前述した模擬運転制御用の映像データに代えて、通常の風景映像などの動画データが記憶されている。そして、ユーザの前述した視野欠損情報データがメモリ内に記憶された後、前述した図６の模擬走行制御に代えて、動画表示制御が実行される。

【0082】

この動画表示制御では、コントローラ６のメモリ内の動画データが、プロジェクタ７を介して、スクリーン８上に表示される。そして、動画表示制御の実行中、前述した視線検出装置１０の検出信号からユーザの視点が取得され、前述した図４のＳＴＥＰ６と同様に、視野映像データがコントローラ６のメモリ内に記憶される。この視野映像データは、ユーザの視点Ｏを中心として、動画映像内の物体の画像データを視野欠損情報データ（例えば図３）に重ねたものとなる。

【0083】

このように動画表示制御を実行した後、前述した映像再生制御（図６／ＳＴＥＰ２５）と同様に、映像再生制御が実行される。それにより、ユーザは、前述した図７〜１０と同様に、風景映像内の物体が、ユーザの視野領域における無感度域３１、低感度域３２及び中感度域３３などに重複する状態を確認することができる。その結果、視覚機能が低下したユーザは、自身の歩行時などの危険性を的確に把握することができる。

【符号の説明】

【0084】

１ 模擬運転装置
３ ハンドル（操作手段）
４ アクセルペダル（操作手段）
５ ブレーキペダル（操作手段）
６ コントローラ（視野欠損情報データ記憶手段、模擬映像データ記憶手段、模擬映 像表示制御手段、関連付け映像データ記憶手段、映像再生制御手段、危険状態判 定手段、危険状態表示手段、重複状況パラメータ取得手段、相関性モデル記憶手 段、運転時危険度合判定手段、運転時危険度合表示手段、動画映像データ記憶手 段、動画表示制御手段）
７ プロジェクタ（出力インターフェース）
８ スクリーン（出力インターフェース）
１０ 視線検出装置（視点取得手段）
１１ 操舵角センサ（操作状態取得手段）
１２ アクセルセンサ（操作状態取得手段）
１３ ブレーキセンサ（操作状態取得手段）
Ｍ ユーザ
Ｏ ユーザの視点
Xref 危険指標値（重複状況パラメータ）

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【手続補正書】

【提出日】2018年10月3日

【手続補正1】

【補正対象書類名】図面

【補正対象項目名】図９

【補正方法】変更

【補正の内容】

【図9】

【手続補正2】

【補正対象書類名】図面

【補正対象項目名】図１０

【補正方法】変更

【補正の内容】

【図10】

【手続補正書】

【提出日】2018年10月5日

【手続補正1】

【補正対象書類名】図面

【補正対象項目名】図９

【補正方法】変更

【補正の内容】

【図9】

【手続補正2】

【補正対象書類名】図面

【補正対象項目名】図１０

【補正方法】変更

【補正の内容】

【図10】