特開 2023-110678 模擬運転装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023110678

(43)【公開日】2023-08-09

(54)【発明の名称】模擬運転装置

(51)【国際特許分類】

   G06F 3/0346 20130101AFI20230802BHJP

   A61B 3/113 20060101ALI20230802BHJP

【ＦＩ】

G06F3/0346 423

A61B3/113

【審査請求】未請求

【請求項の数】6

【出願形態】ＯＬ

(21)【出願番号】P 2022012268

(22)【出願日】2022-01-28

(71)【出願人】

【識別番号】000176730

【氏名又は名称】三菱プレシジョン株式会社

(74)【代理人】

【識別番号】100099759

【弁理士】

【氏名又は名称】青木 篤

(74)【代理人】

【識別番号】100123582

【弁理士】

【氏名又は名称】三橋 真二

(74)【代理人】

【識別番号】100114018

【弁理士】

【氏名又は名称】南山 知広

(74)【代理人】

【識別番号】100180806

【弁理士】

【氏名又は名称】三浦 剛

(74)【代理人】

【識別番号】100135976

【弁理士】

【氏名又は名称】宮本 哲夫

(72)【発明者】

【氏名】戸井 健夫

(72)【発明者】

【氏名】藤田 涼太

(72)【発明者】

【氏名】栗田 弦太

【テーマコード（参考）】

4C316

5B087

【Ｆターム（参考）】

4C316AA21

4C316FA02

4C316FA04

4C316FA14

4C316FA19

4C316FC28

4C316FZ01

5B087AA02

5B087AB09

5B087AD02

5B087BC12

5B087BC13

5B087BC32

5B087DE02

(57)【要約】

【課題】ユーザが注視対象物を注視しており且つ模擬運転を行う姿勢において、視線の向きに対する補正値を求める模擬運転装置を提供する。
【解決手段】模擬運転装置は、ユーザによる操作を入力する操作部と、表示部と、撮影部と、撮影部により撮影されたユーザの目を含む画像に基づいて、ユーザの視線の向きを検出する検出部と、検出部により検出されたユーザの視線の向きに基づいて、表示部におけるユーザの注視位置を求める位置算出部と、移動する注視対象物を表示部に表示し、且つ、ユーザによる操作部の操作に基づいて移動するマーカを表示部に表示する表示制御部と、マーカと注視対象物とが重なった時に、位置算出部により求められたユーザの注視位置と、表示部における注視対象物の位置とに基づいて、ユーザの視線の向きに対する補正値を求める補正値算出部とを有し、補正値を用いて、ユーザの視線の向きが補正される。
【選択図】図３

【特許請求の範囲】

【請求項1】

ユーザによる操作に基づいて、移動物体の動作を模擬する模擬運転装置であって、
ユーザによる操作を入力する操作部と、
表示部と、
撮影部と、
前記撮影部により撮影されたユーザの目を含む画像に基づいて、ユーザの視線の向きを検出する検出部と、
前記検出部により検出されたユーザの前記視線の向きに基づいて、前記表示部におけるユーザの注視位置を求める位置算出部と、
移動する注視対象物を前記表示部に表示し、且つ、ユーザによる前記操作部の操作に基づいて移動するマーカを前記表示部に表示する表示制御部と、
前記マーカと前記注視対象物とが重なった時に、前記位置算出部により求められたユーザの前記注視位置と、前記表示部における前記注視対象物の位置とに基づいて、前記ユーザの視線の向きに対する補正値を求める補正値算出部と、
を有し、
前記補正値算出部により前記補正値が求められた場合、前記補正値を用いて、ユーザの前記視線の向きが補正される、ことを特徴とする模擬運転装置。

【請求項2】

前記表示制御部は、前記注視対象物を第１の方向に移動するように前記表示部に表示すると共に、前記注視対象物を前記第１の方向と交差する第２の方向にも動くように前記表示部に表示する、請求項１に記載の模擬運転装置。

【請求項3】

前記表示制御部は、前記注視対象物の形状が変化しながら移動するように前記表示部に表示する請求項１又は２に記載の模擬運転装置。

【請求項4】

前記表示制御部は、前記マーカが前記注視対象物と重なった時に、前記マーカが前記注視対象物と重なったことを表す視覚的情報を、前記マーカと前記注視対象物と重なった位置に表示する、請求項１～３の何れか一項に記載の模擬運転装置。

【請求項5】

前記表示部の画面上には前記補正値を求める補正値取得位置が設定されており、
前記表示制御部は、前記注視対象物が前記補正値取得位置に向かって移動して、前記補正値取得位置において停止するように前記表示部に表示する、請求項１～４の何れか一項に記載の模擬運転装置。

【請求項6】

前記表示部の画面は、複数の補正値取得領域に分割されており、前記複数の補正値取得領域のそれぞれに対して、前記補正値取得位置が設定される、請求項５に記載の模擬運転装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、模擬運転装置に関する。

【背景技術】

【0002】

従来、自動車等の移動物体の運転及び移動を模擬する模擬運転装置は、移動物体の運転教習等において用いられている。

【0003】

模擬運転装置は、ユーザが着座する運転席と、ユーザが操作するハンドル（ステアリングホイール）等と、運転席から見えることになる景観を表示する表示装置とを備える。

【0004】

表示装置に表示される景観は、模擬運転シナリオに基づいて生成される。模擬運転装置のユーザは、表示装置に表示される模擬視界画像を見ながら、自動車等の移動物体の運転の教習を行う。

【0005】

模擬運転装置は、ユーザの視線の向きを検出することにより、模擬視界画像内のユーザの注視位置を求めて、ユーザの模擬運転の状態を判定する場合がある。

【0006】

ユーザの視線の向きは、ユーザの目を含む画像に基づいて検出される。ユーザの視線の向きを検出する方法として、例えば、角膜反射法及び眼球中心法がある。これらの方法では、所定のモデルを用いて、視線の向きを検出しているので、個々のユーザの視線の向きを精確に推定しているとは限らない。

【0007】

そこで、ユーザが模擬運転装置を利用する時には、最初にキャリブレーションを行って、ユーザの正しい視線の向きと、所定のモデルを用いて推定されて視線の向きとの相違を検出して、正しい視線の向きを求めるための補正値が求められる（例えば、特許文献１参照）。

【0008】

視線の向きのキャリブレーションでは、例えば、表示装置の画面に表示された点又は丸（注視対象物）をユーザに注視してもらった状態で、ユーザの視線の向きに対する補正値が求められる。そして、模擬運転装置は、視線の向きを補正することにより、ユーザの視線の向きを正確に検出する。

【先行技術文献】

【特許文献】

【0009】

【特許文献1】特表２０１６－１３９８５０号公報

【発明の概要】

【発明が解決しようとする課題】

【0010】

しかし、キャリブレーションにおいて、視線の向きに対する正しい補正値が求められるとは限らない。表示装置の画面に表示された点又は丸は、視覚的な刺激が弱いので、画像が撮影される時にユーザは不随意に目をそらしてしまうおそれがある。

【0011】

また、ユーザは、キャリブレーションという動作に対して姿勢を整えたりするので、実際に模擬運転を行っている姿勢とは異なる状態でキャリブレーションが行われるおそれもある。

【0012】

ユーザが注視対象物を注視していないか、又は、実際に模擬運転を行うのとは異なる姿勢において補正値が求められると、この補正値を用いても、ユーザの視線の向きを正確に推定できるとは限らない。

【0013】

そこで、ユーザが注視対象物を注視しており、且つ、模擬運転を行う姿勢において、視線の向きに対する補正値を求めることのできる模擬運転装置を提供することを課題とする。

【課題を解決するための手段】

【0014】

一の実施形態によれば、模擬運転装置が提供される。この模擬運転装置は、ユーザによる操作に基づいて、移動物体の動作を模擬する模擬運転装置であって、ユーザによる操作を入力する操作部と、表示部と、撮影部と、撮影部により撮影されたユーザの目を含む画像に基づいて、ユーザの視線の向きを検出する検出部と、検出部により検出されたユーザの視線の向きに基づいて、表示部におけるユーザの注視位置を求める位置算出部と、移動する注視対象物を表示部に表示し、且つ、ユーザによる操作部の操作に基づいて移動するマーカを表示部に表示する表示制御部と、マーカと注視対象物とが重なった時に、位置算出部により求められたユーザの注視位置と、表示部における注視対象物の位置とに基づいて、ユーザの視線の向きに対する補正値を求める補正値算出部と、を有し、補正値算出部により補正値が求められた場合、補正値を用いて、ユーザの視線の向きが補正される、ことを特徴とする。

【発明の効果】

【0015】

上述した本明細書に開示する模擬運転装置によれば、ユーザがターゲットを注視しており、且つ、模擬運転を行う姿勢において、視線の向きに対する補正値を求めることができる。

【図面の簡単な説明】

【0016】

【図1】（Ａ）は、本実施形態の模擬運転装置を示す図であり、（Ｂ）は、要部の拡大図である。

【図2】（Ａ）～（Ｃ）は、本実施形態の模擬運転装置の動作の概要を説明する図である。

【図3】制御装置の概略構成図である。

【図4】注視位置算出処理の動作フローチャートの一例である。

【図5】（Ａ）は、注視位置を求めることを説明する図であり、（Ｂ）は、補正値を求めることを説明する図である。

【図6】補正処理の動作フローチャートの一例である。

【図7】補正処理を説明する図である。

【図8】ターゲット表示処理の動作フローチャートの一例である。

【発明を実施するための形態】

【0017】

以下、図１及び図２を参照して、本実施形態の制御装置１０を含む模擬運転装置１の動作の概要を説明する。図１（Ａ）は、本実施形態の模擬運転装置を示す図であり、図１（Ｂ）は、要部の拡大図である。図２（Ａ）～図２（Ｃ）は、本実施形態の模擬運転装置の動作の概要を説明する図である。

【0018】

模擬運転装置１は、移動物体としての普通自動車の動作を模擬する。模擬運転装置１は、ハンドル４等を操作可能に運転席２に着座したユーザに対して、表示装置３に模擬視界画像を表示することにより、普通自動車を模擬的に運転操作する環境を提供する。なお、模擬運転装置１は、普通自動２輪車、鉄道車両又は航空機等を含む移動物体の動作を模擬する装置であってもよい。

【0019】

制御装置１０は、ハンドル４等から入力した操作信号に基づいて、ユーザが模擬的に運転する普通自動車の運動を計算する。また、制御装置１０は、ユーザが着座する運転席２から見える景観の中を移動する人又は他の車両等の運動を計算する。そして、制御装置１０は、模擬教習のシナリオに基づいて、ユーザが着座する運転席２から見えることになる景観の模擬視界画像を生成して、表示装置３に表示する。

【0020】

制御装置１０は、カメラ５を用いてユーザの目を含む顔画像を撮影し、この顔画像に基づいて、ユーザの視線の向きを検出する。そして、制御装置１０は、ユーザの視線の向きを検出することにより、模擬視界画像内の注視位置を求めて、ユーザの模擬運転の状態を判定する。

【0021】

制御装置１０は、顔画像に基づいて、所定のモデルを用いて、ユーザの視線の向きを推定する。しかし、所定のモデルを用いて推定された視線の向きが、個々のユーザの視線の向きを正確に推定しているとは限らない。

【0022】

そこで、制御装置１０は、ユーザが模擬運転装置を利用する時には、最初にキャリブレーションを行って、所定のモデルを用いて検出された視線の向き（以下、第１視線方向ともいう）に対して、ユーザに対する補正値を求める。そして、制御装置１０は、この補正値を用いて第１視線方向を補正して、第２視線方向を求める。制御装置１０は第２視線方向を用いて、模擬視界画像内の注視位置を求めて、ユーザの模擬運転の状態を判定する。

【0023】

次に、制御装置１０がキャリブレーションを行って、視線の向きの補正値を求める動作の概略を以下に説明する。

【0024】

図１（Ｂ）に示すように、キャリブレーションを開始する時に、ユーザは、運転席２に着座し両手でハンドル４を把持して、普通自動車を模擬的に操作可能な姿勢にある。即ち、ユーザは、模擬運転を行うのと同様の姿勢をとる。

【0025】

図２（Ａ）～図２（Ｃ）は、表示装置３の画面３００を表す。まず、図２（Ａ）に示すように、制御装置１０は、注視対象物としてのターゲットＴを表示装置３に表示すると共に、且つ、マーカＭを表示装置３に表示する。自動車は、ターゲットＴの一例である。マーカＭは、ユーザによるハンドル４の操作に基づいて表示装置３の画面上を移動する。制御装置１０は、表示装置３に「ハンドルで自動車を追ってください」という通知を含む画面３００を表示する。マーカＭは、ユーザによるハンドル４の操作により、画面３００上を左右の方向に移動する。

【0026】

次に、図２（Ｂ）に示すように、制御装置１０は、例えばターゲットＴを画面の右側から左側へ移動するように表示装置３に表示する。ユーザは、画面３００上に表されたターゲットＴを注視しながら、マーカＭがターゲットＴに追いつくように両手でハンドル４を左方向へ操作する。

【0027】

次に、図２（Ｃ）に示すように、マーカＭとターゲットＴとが重なると、制御装置１０は、マーカＭがターゲットＴと重なったこと表す視覚的情報を、マーカＭがターゲットＴと重なった位置に表示する。図２（Ｃ）に示す例では、マーカＭの内部が従前よりも明るい色で表されることが、視覚的情報となっている。

【0028】

マーカＭとターゲットＴとが重なった時、ユーザは画面３００上に表されたターゲットＴ及びマーカＭを注視していると考えられる。また、ユーザはマーカＭがターゲットＴに追いつくように両手でハンドル４を操作しているので、ユーザは実際に模擬運転を行う姿勢にあると考えられる。

【0029】

制御装置１０は、マーカＭとターゲットＴとが重なった時に、ユーザの表示装置３上の注視位置と、表示装置３におけるターゲットＴの位置とに基づいて、ユーザの視線の向きに対する補正値を求める。

【0030】

制御装置１０は、模擬運転において、補正値を用いて補正されたユーザの視線の向きに基づいて、模擬視界画像を映す画面３００上のユーザの注視位置を求める。

【0031】

上述した本実施形態の制御装置１０は、ユーザが注視対象物を注視しており、且つ、実際に模擬運転を行う姿勢において、視線の向きに対する補正値を求めることができる。

【0032】

図１に示すように、模擬運転装置１は、ユーザが着座する運転席２と、表示装置３と、操作部としてのハンドル（ステアリングホイール）４、アクセルペダル及びブレーキペダル（図示せず）と、カメラ５と、制御装置１０等とを有する。

【0033】

カメラ５は、撮影部の一例であり、CCDあるいはC-MOSなど、可視光または赤外光に感度を有する光電変換素子のアレイで構成された２次元検出器と、その２次元検出器上に撮影対象となる領域の像を結像する結像光学系を有する。カメラ５は、赤外LEDといったユーザを照明するための光源（図示せず）をさらに有する。そしてカメラ５は、運転席２に着座したユーザの頭部がその撮影対象領域に含まれるように、すなわち、ユーザの頭部を撮影可能なように、例えば、インストルメントパネル上にユーザへ向けて取り付けられる。そしてカメラ５は、所定の撮影周期（例えば1/30秒～1/10秒）ごとにユーザの頭部を撮影し、ユーザの頭部が写った顔画像を生成する。カメラ５により得られた顔画像は、カラー画像であってもよく、あるいは、グレー画像であってもよい。カメラ５は、顔画像を生成する度に、その生成した顔画像を、制御装置１０へ出力する。

【0034】

図３は、制御装置１０の概略構成図である。制御装置１０は、検出処理と、位置算出処理と、制御処理と、補正値算出処理と、模擬計算処理とを実行する。そのために、制御装置１０は、通信インターフェース（ＩＦ）２１と、メモリ２２と、プロセッサ２３とを有する。通信インターフェース２１と、メモリ２２と、プロセッサ２３とは、信号線２４を介して接続されている。通信ＩＦ２１は、制御装置１０を、表示装置３と、ハンドル４と、カメラ５と、アクセルペダル及びブレーキペダル等とに接続するためのインターフェース回路を有する。

【0035】

メモリ２２は、記憶部の一例であり、例えば、揮発性の半導体メモリ及び不揮発性の半導体メモリを有する。メモリ２２は、視線の向きを検出して画面上の注視位置を求めるのに使用されるコンピュータプログラム及びデータ、並びに、補正値を算出するのに使用するコンピュータプログラム及びデータを記憶する。

【0036】

プロセッサ２３は、１個又は複数個のＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）及びその周辺回路を有する。プロセッサ２３は、論理演算ユニット、数値演算ユニットあるいはグラフィック処理ユニットといった他の演算回路を更に有していてもよい。プロセッサ２３は、検出部３１と、位置算出部３２と、制御部３３と、補正値算出部３４と、模擬計算部３５とを有する。制御装置１０が有する機能の全て又は一部は、例えば、プロセッサ２３上で動作するコンピュータプログラムにより実現される機能モジュールである。あるいは、プロセッサ２３が有する機能モジュールは、プロセッサ２３に設けられる、専用の演算回路であってもよい。模擬計算部３５は、ユーザのハンドル４等の操作に基づいて、車両の運動、及び、景観の中を移動する人又は他の車両等の運動を計算するのと共に、模擬視界画像を生成する。プロセッサ２３の他の動作については、図面を参照しながら後述する。

【0037】

図４は、注視位置算出処理の動作フローチャートの一例である。図４を参照しながら、制御装置１０における注視位置算出処理について、以下に説明する。制御装置１０は、カメラ５から顔画像が入力される度に、注視位置算出処理を実行する。

【0038】

まず、検出部３１は、カメラ５により撮影されたユーザの目を含む顔画像から眼を検出する（ステップＳ１０１）。検出部３１は、例えば、顔画像を、画像から人の眼を検出するように予め学習された識別器に入力することで、その顔画像上でドライバの眼が写っている領域を検出する。検出部３１は、そのような識別器として、例えば、コンボリューショナルニューラルネットワーク型(CNN)のアーキテクチャを持つディープニューラルネットワーク(DNN)又はAdaBoost識別器を利用することができる。

【0039】

次に、検出部３１は、顔画像から、ドライバの視線の向きを検出する（ステップＳ１０２）。検出部３１は、顔画像上に表されたドライバの左右それぞれの眼の少なくとも一方について、上瞼と下瞼とで囲まれた領域（以下、眼領域と呼ぶ）から光源の角膜反射像（プルキンエ像とも呼ばれる）及び瞳孔の重心（以下、単に瞳孔重心と呼ぶ）を検出する。その際、検出部３１は、例えば、プルキンエ像のテンプレートと眼領域とのテンプレートマッチングによりプルキンエ像を検出する。同様に、検出部３１は、瞳孔のテンプレートと眼領域とのテンプレートマッチングにより瞳孔を検出し、検出した瞳孔が表された領域の重心を瞳孔重心とすればよい。なお、検出部３１は、眼領域からプルキンエ像及び瞳孔重心を検出する他の手法に従ってプルキンエ像及び瞳孔重心を検出してもよい。そして、検出部３１は、プルキンエ像と瞳孔重心間の距離を算出し、その距離とドライバの視線の向きとの関係を表すテーブルを参照することで、ドライバの視線の向きを検出する。なお、そのようなテーブルは、メモリ２２に予め記憶されていればよい。プルキンエ像と瞳孔重心間の距離とドライバの視線の向きとの関係を表すテーブルは、例えば、代表的な人の顔のモデル及び眼球モデル等に基づいて生成され得る。

【0040】

ドライバの視線の向きを表す直線Ｌは、例えば、模擬運転装置１の所定の位置に原点を有する装置座標系で表される（図５（Ａ）参照）。装置座標系は、模擬運転装置１の所定の位置を原点Ｏｓとして、運転席２に着座したユーザの正面方向にＹｓ軸が設定され、Ｙｓ軸と直交し且つ地面に平行な方向にＸｓ軸が設定され、鉛直方向にＺｓ軸が設定される。

【0041】

次に、位置算出部３２は、検出部３１により検出されたユーザの視線の向きに基づいて、表示装置３の画面におけるユーザの注視位置を求めて（ステップＳ１０３）、一連の処理を終了する。表示装置３の画面におけるユーザの注視位置を求めることにより、画面に映された模擬視界画像内のユーザの注視位置を得ることになる。

【0042】

ここで、ユーザの視線の向きに対する補正値が求められている場合、位置算出部３２は、検出部３１により検出された第１視線方向を補正値で補正された第２視線方向を求めて、この第２視線方向に基づいて、表示装置３の画面におけるユーザの注視位置を求める。一方、ユーザの視線の向きに対する補正値が求められていない場合、位置算出部３２は、検出部３１により検出された第１視線方向に基づいて、表示装置３の画面におけるユーザの注視位置を求める。

【0043】

図５（Ａ）は、注視位置を求めることを説明する図である。位置算出部３２は、装置座標系で表された表示装置３の画面３００を表す平面と、ユーザの視線の向きを表す直線Ｌとの交点を、表示装置３の画面３００におけるユーザの注視位置３０１として求める。そして、位置算出部３２は、このユーザの注視位置３０１を、画面座標系で表す。画面座標系は、表示装置３の画面３００の左上の点を原点Ｏｃとして、原点Ｏｃから右方向にＸｃ軸が設定され、原点Ｏｃから下方向にＹｃ軸が設定される。画面３００上のユーザの注視位置３０１は、画面座標系で（ｘｃ，ｙｃ）で表される。

【0044】

図６は、補正処理の動作フローチャートの一例である。図６を参照しながら、制御装置１０におけるユーザの視線の向きに対する補正値を求める補正処理について、以下に説明する。制御装置１０は、通常、模擬運転を開始する前に、図６に示される動作フローチャートに従って補正処理を実行する。なお、制御装置１０は、模擬運転を行っている途中で、補正処理を実行してもよい。

【0045】

図７は、補正処理を説明する図である。制御装置１０は、図７に示すように、表示装置３の画面３００に設定された複数の補正値取得位置Ｐ１１～Ｐ３３ごとに、ユーザの視線の向きに対する補正値を求める。表示装置３の画面３００は、複数の補正値取得領域３１１～３３３に分割されており、複数の補正値取得領域３１１～３３３のそれぞれに対して、１つの補正値取得位置が設定される。図８に示す例では、表示装置３の画面３００は、上下左右方向に９つの補正値取得領域３１１～３３３に分割される。図７に示す例では、補正値取得領域３１１～３３３のそれぞれの中央に、補正値取得位置Ｐ１１～Ｐ３３が設定される。

【0046】

図６に示す補正処理の動作フローチャートでは、補正値取得位置Ｐ１１～Ｐ３３のそれぞれに対して、ステップＳ２０２～Ｓ２０７の処理が実行される。ステップＳ２０２～Ｓ２０７の処理が実行される順番は、例えば、Ｙｃ軸方向において中央の行（Ｐ１２、Ｐ２２、Ｐ３２）、Ｙｃ軸方向において正の方向の行（Ｐ１１、Ｐ２１、Ｐ３１）、Ｙｃ軸方向において原点側の行（Ｐ１３、Ｐ２３、Ｐ３３）の順番としてもよい。最初に、表示装置３の画面３００においてＹｃ軸方向の中央の位置からキャリブレーションを開始することは、ユーザの注意を喚起しやすい観点から好ましい。

【0047】

まず、制御部３３は、ターゲットＴを表示装置３の画面３００に表示し、且つ、マーカＭを表示装置３の画面３００に表示する（ステップＳ２０２）。制御部３３は、表示制御部の一例である。例えば、補正値取得位置Ｐ１２が補正値取得領域３１２の中央に設定されている場合、制御部３３は、画面３００のＹｃ軸方向において、補正値取得位置Ｐ１２の位置と重なり、且つ、画面３００のＸｃ軸方向において、補正値取得位置Ｐ１２が含まれる補正値取得領域３１２とは異なる補正値取得領域（例えば、３２２）に、ターゲットＴを表示する。また、制御部３３は、画面３００のＹｃ軸方向において、ターゲットＴの位置と重なり、且つ、画面３００のＸｃ軸方向において、ターゲットＴが含まれる補正値取得領域（例えば、３２２）とは異なる補正値取得領域（例えば、３３２）にマーカＭを表示する。具体的にはターゲットＴは、補正値取得領域３２２の中央に表示され、マーカＭは補正値取得領域３３２の中央に表示される。他の補正値取得位置についても、同様の考えで、ターゲットＴ及びマーカＭが表示される。

【0048】

そして、制御部３３は、「ハンドルで自動車を追ってください」という通知を表示装置３の画面３００に表示する（図２（Ａ）参照）。ユーザはマーカＭがターゲットＴに追いつくように両手でハンドル４を操作するので、ユーザは実際に模擬運転を行う姿勢となる。

【0049】

次に、制御部３３は、ターゲット表示処理を実行する（ステップＳ２０３）。ターゲット表示処理の詳細は、図８を参照しながら後述する。

【0050】

次に、制御部３３は、ユーザによるハンドル４の操作に基づいて移動するマーカＭを表示装置３の画面３００に表示する（ステップＳ２０４）。ユーザは、マーカＭがターゲットＴに追いつくように、ハンドル４を操作する。制御部３３は、ハンドル４が左側に回転するように操作された場合、ハンドル４の操作信号に基づいて、画面３００に表示するマーカＭの位置を左側へ移動させる。また、制御部３３は、ハンドル４が右側に回転するように操作された場合、ハンドル４の操作信号に基づいて、画面３００に表示するマーカＭの位置を右側へ移動する。

【0051】

次に、制御部３３は、マーカＭとターゲットＴとが重なったか否かを判定する（ステップＳ２０５）。制御部３３は、マーカＭが表示される画面３００上の領域と、ターゲットＴが表示される画面３００上の領域とが重なった場合、マーカＭとターゲットＴとが重なった判定する。ターゲットＴが表示される画面３００上の領域、及び、マーカＭが表示される画面３００上の領域のそれぞれは、画面座標系で表される。例えば、ターゲットＴが表示される画面３００上の領域の重心と、マーカＭが表示される画面３００上の領域とが重なった場合、制御部３３は、マーカＭとターゲットＴとが重なったと判定する。この時、ユーザは、ターゲットＴの重心付近を注視していると考えられる。

【0052】

マーカＭとターゲットＴとが重なったと判定された場合（ステップＳ２０５－Ｙｅｓ）、制御部３３は、マーカＭがターゲットＴと重なったことを表す視覚的情報を、マーカＭとターゲットＴと重なった位置に表示する（ステップＳ２０６）。図２（Ｃ）に示す例では、マーカＭの内部が、マーカＭとターゲットＴと重なっていない時よりも明るい色で表されることが、視覚的情報となっている。これにより、視覚的な刺激が強められるので、ユーザに対してターゲットＴを注視することを一層促すことができる。

【0053】

次に、補正値算出部３４は、位置算出部３２により求められたユーザの注視位置と、表示装置３の画面３００におけるターゲットＴの位置とに基づいて、ユーザの視線の向き（第１視線方向）に対する補正値を求める（ステップＳ２０７）。補正値算出部３４は、画面座標系で表されたユーザの注視位置と、ターゲットＴの位置（例えば、重心の位置）との差に基づいて、第１視線方向に対する補正値を求める。

【0054】

図５（Ｂ）は、補正値を求めることを説明する図である。図５（Ｂ）に示す例では、補正値算出部３４は、視線の向きを表す直線Ｌの始点を固定したまま、終点をユーザの注視位置３０１からターゲットＴの重心の位置３０２へ移動した直線Ｌ’を求める。そして、補正値算出部３４は、直線Ｌを、直線Ｌ’の位置へ移動するための回転量を、補正値として求める。

【0055】

補正値算出部３４は、顔画像にユーザの左右の眼のそれぞれが検出されている場合、ユーザの左右の眼のそれぞれについて、視線の方向に対する補正値を求める。

【0056】

一方、マーカＭとターゲットＴとが重なったと判定されない場合（ステップＳ２０５－Ｎｏ）、制御部３３は、処理は、ステップＳ２０３の前へ移動する。

【0057】

制御装置１０は、補正値取得位置Ｐ１１～Ｐ３３のそれぞれに対して、ステップＳ２０２～Ｓ２０７の処理が実行した後、一連の処理を終了する。これにより、補正値取得領域ごとに求められた補正値が求められる。

【0058】

模擬運転装置１において模擬運転が実行される時には、まず、位置算出部３２は、第１視線方向により求められた注視位置が含まれる補正値取得領域の補正値に基づいて、第１視線方向が補正された第２視線方向を求める。そして、位置算出部３２は、この第２視線方向に基づいて、表示装置３の画面３００におけるユーザの注視位置を求める。模擬計算部３５は、模擬視界画像内のユーザの注視位置に基づいて、ユーザの模擬運転の状態を判定する。例えば、ユーザが、模擬視界画像内の注視すべき部位を注視しているか否かが判定される。

【0059】

次に、図８を参照して、上述したターゲット表示処理について、以下に説明する。図８は、ターゲット表示処理の動作フローチャートの一例である。

【0060】

まず、制御部３３は、ターゲットＴの位置が補正値取得位置と一致したか否かを判定する（ステップＳ３０１）。例えば、ターゲットＴが表示される画面３００上の領域が補正値取得位置と重なった場合、制御部３３は、ターゲットＴの位置が補正値取得位置と一致したと判定する（ステップＳ３０１－Ｙｅｓ）。

【0061】

ターゲットＴの位置が補正値取得位置と一致した場合、制御部３３は、ターゲットＴの重心が、補正値取得位置と一致するように、ターゲットＴを画面３００に表示して（ステップＳ３０２）、一連の処理を終了する。以降、現在の補正値取得位置については、ターゲットＴは、この補正値取得位置に表示され続ける。

【0062】

一方、ターゲットＴが表示される画面３００上の領域が補正値取得位置と重なっていない場合、制御部３３は、ターゲットＴの位置は補正値取得位置と一致していないと判定する（ステップＳ３０１－Ｎｏ）。

【0063】

ターゲットＴの位置が補正値取得位置と一致していない場合、制御部３３は、ターゲットＴの位置を補正値取得位置に向かって、所定量だけ移動させて、画面３００に表示して（ステップＳ３０３）、一連の処理を終了する。

【0064】

このように、制御部３３は、ターゲットＴが補正値取得位置に向かって移動して、補正値取得位置において停止するように表示装置３の画面３００に表示する。

【0065】

制御部３３は、図２（Ｂ）に示すように、ターゲットＴを表示装置３の画面３００のＸｃ軸方向に移動するように画面３００に表示すると共に、ターゲットＴをＹｃ軸方向にも動くように画面３００に表示してもよい。図２（Ｂ）に示す例では、ターゲットＴである自動車は、上下方向に揺れるように振動しながら走行するように表示される。これによりユーザの注意を喚起することができる。

【0066】

また、制御部３３は、図２（Ｂ）に示すように、ターゲットＴの形状が変化しながら移動するように表示装置３の画面３００に表示してもよい。図２（Ｂ）に示す例では、ターゲットＴである自動車は、排気ガスを後方に吐き出しながら走行するように表示される。排気ガスが自動車から吹き出されるように、ターゲットＴの形状が変化する。これによりユーザの注意を一層喚起することができる。

【0067】

マーカＭの移動は、ユーザによるハンドル４の操作に基づいてはいるが、ターゲットＴの移動速度よりもマーカＭの移動速度を遅くすることにより、マーカＭがターゲットＴと重なる前に、ターゲットＴの位置が補正値取得位置と一致するようにすることができる。これにより、補正値取得領域ごとに、補正値を求めることができる。

【0068】

以上、詳述した本実施形態の模擬運転装置によれば、ユーザがターゲットを注視しており、且つ、模擬運転を行う姿勢において、視線の向きに対する補正値を求めることができる。

【0069】

本発明では、上述した実施形態の模擬運転装置は、本発明の趣旨を逸脱しない限り適宜変更が可能である。また、本発明の技術範囲はそれらの実施形態に限定されず、特許請求の範囲に記載された発明とその均等物に及ぶものである。

【0070】

例えば、上述した実施形態では、表示装置の画面は９つの補正値取得領域に分割されていたが、これは一例である。表示装置の画面には、９未満又は９よりも多い補正値取得領域を設定してもよい。

【0071】

また、上述した実施形態では、９つの補正値取得位置が設定されていたが、補正値取得位置の数はこれに限定されない。また、補正値取得位置は設定されなくてもよい。この場合、マーカＭとターゲットＴとが重なったと判定された位置において、補正値が求められる。本発明では、少なくとも１つの補正値が求められれば、この補正値を用いてユーザの視線の向きを補正することができる。

【0072】

また、上述した実施形態では、位置算出部が、補正値を用いて第１推定方向を補正して第２推定方向を求めていたが、検出部等の他の処理部が、補正値を用いて第１推定方向を補正して第２推定方向を求めてもよい。

【0073】

また、上述した実施形態では、移動物体は普通自動車であった、移動物体はこれに限定されない。例えば、移動物体は、鉄道車両又は航空機であってもよい。移動物体が鉄道車両である場合、操作部は、車両の速度又は制動を制御する制御レバーとすることができる。移動物体が航空機である場合、操作部は、操縦桿又はスラストレバーとすることができる。

【符号の説明】

【0074】

１ 模擬運転装置
２ 運転席
３ 表示装置
４ ハンドル（操作部）
５ カメラ
１０ 制御装置
２１ 通信インターフェース
２２ メモリ
２３ プロセッサ
２４ 信号線
３１ 検出部
３２ 位置算出部
３３ 制御部
３４ 補正値算出部
３５ 模擬計算部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】