(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2022163458
(43)【公開日】2022-10-26
(54)【発明の名称】模擬運転装置、及び模擬運転装置の制御方法
(51)【国際特許分類】
G09B 19/00 20060101AFI20221019BHJP
G09B 9/05 20060101ALI20221019BHJP
G09B 9/052 20060101ALI20221019BHJP
【FI】
G09B19/00 H
G09B9/05 E
G09B9/052
【審査請求】未請求
【請求項の数】9
【出願形態】OL
(21)【出願番号】P 2021068394
(22)【出願日】2021-04-14
【新規性喪失の例外の表示】特許法第30条第2項適用申請有り ウェブサイトのアドレス:https://www.jsise.org/society/committee/2020/4th/TR-035-04-005.pdf 掲載日:令和2年11月7日 [刊行物等] 教育システム情報学会(JSiSE)2020年度第4回研究会 開催日:令和2年11月14日 [刊行物等] ウェブサイトのアドレス https://www.jsise.org/society/committee/2020/6th/TR-035-06-C-1-1.pdf 掲載日:令和3年3月14日 [刊行物等] 教育システム情報学会(JSiSE)2020年度第6回研究会 開催日:令和3年3月21日
(71)【出願人】
【識別番号】000176730
【氏名又は名称】三菱プレシジョン株式会社
(71)【出願人】
【識別番号】504133110
【氏名又は名称】国立大学法人電気通信大学
(71)【出願人】
【識別番号】304020292
【氏名又は名称】国立大学法人徳島大学
(74)【代理人】
【識別番号】100099759
【弁理士】
【氏名又は名称】青木 篤
(74)【代理人】
【識別番号】100123582
【弁理士】
【氏名又は名称】三橋 真二
(74)【代理人】
【識別番号】100114018
【弁理士】
【氏名又は名称】南山 知広
(74)【代理人】
【識別番号】100180806
【弁理士】
【氏名又は名称】三浦 剛
(72)【発明者】
【氏名】山崎 健一
(72)【発明者】
【氏名】戸井 健夫
(72)【発明者】
【氏名】柏原 昭博
(72)【発明者】
【氏名】齊藤 玲
(72)【発明者】
【氏名】松浦 健二
(72)【発明者】
【氏名】内藤 弘望
(57)【要約】
【課題】運転における認知・判断を含めた安全確認の講習を効果的に行うことができる模擬運転装置を提供する。
【解決手段】模擬運転装置は、制御装置、表示装置、及び視線検知装置を備え、車両の運転を模擬する模擬運転装置であって、制御装置は、表示装置に表示させる模擬画像を生成して表示装置に出力する画像生成部と、視線検知装置により検知された模擬講習の受講者の視線の方向に基づいて、模擬画像上における受講者の注視点の位置を取得する注視点取得部と、模擬映像上における注視点の動きの教師データを記憶した記憶部と、模擬画像上における受講者の注視点の動きと教師データの注視点の動きとの類似度に基づいて、受講者の運転の安全確認の度合いを評価する評価部と、を有する。
【選択図】
図4
【特許請求の範囲】
【請求項1】
制御装置、表示装置、及び視線検知装置を備え、車両の運転を模擬する模擬運転装置であって、
前記制御装置は、
前記表示装置に表示させる模擬画像を生成して前記表示装置に出力する画像生成部と、
前記視線検知装置により検知された模擬講習の受講者の視線の方向に基づいて、前記模擬画像上における前記受講者の注視点の位置を取得する注視点取得部と、
前記模擬映像上における注視点の動きの教師データを記憶した記憶部と、
前記模擬画像上における前記受講者の注視点の動きと前記教師データの注視点の動きとの類似度に基づいて、前記受講者の運転の安全確認の度合いを評価する評価部と、
を有する、模擬運転装置。
【請求項2】
前記制御装置は、模擬講習中の前記受講者による操作装置の操作を表す操作信号を前記操作装置から取得する操作取得部を更に有し、
前記画像生成部は、前記操作信号に応じて、前記表示装置に表示させる模擬画像を生成して前記表示装置に出力する、
請求項1に記載の模擬運転装置。
【請求項3】
前記評価部は、前記受講者が前記操作装置に対して所定の操作を行ったときの前記受講者の注視点の動きと前記教師データの注視点の動きとの前記類似度を、前記受講者の運転の安全確認の度合いとして計算する、
請求項2に記載の模擬運転装置。
【請求項4】
前記評価部は、前記受講者が前記操作装置に対して所定の操作を行った時間を含む一定期間内における前記受講者の注視点の軌跡と前記教師データの注視点の軌跡との空間的類似度を、前記受講者の運転の安全確認の度合いとして計算する、
請求項2に記載の模擬運転装置。
【請求項5】
前記操作装置は、減速操作手段を含み、
前記所定の操作は、前記受講者が、前記減速操作手段を操作したことを含む、
請求項3又は4に記載の模擬運転装置。
【請求項6】
前記操作装置は、ハンドル、減速操作手段、及び加速操作手段を含み、
前記所定の操作は、前記受講者が、前記減速操作手段、前記ハンドル、前記加速操作手段の順に操作したことを含む、
請求項3又は4に記載の模擬運転装置。
【請求項7】
前記受講者が前記模擬講習を終了した後において、
前記画像生成部は、前記操作取得部が取得して前記記憶部に記憶した前記操作信号に応じて前記模擬講習の再生画像を生成し、前記注視点取得部が取得して前記記憶部に記憶した前記受講者の注視点の動きを前記再生画像に重ねて、前記模擬画像として前記表示装置に表示させる、
請求項2から6のいずれか一項に記載の模擬運転装置。
【請求項8】
前記画像生成部は、前記受講者の注視点が重なっておらず、かつ、前記教師データの注視点が重なっている注意物体を、前記再生画像上に図形により又は色を変えて強調して表示させる、
請求項7に記載の模擬運転装置。
【請求項9】
制御装置、表示装置、及び視線検知装置を備え、車両の運転を模擬する模擬運転装置の制御方法であって、
前記表示装置に表示させる模擬画像を生成して前記表示装置に出力し、
前記視線検知装置により検知された模擬講習の受講者の視線の方向に基づいて、前記模擬画像上における前記受講者の注視点の位置を取得し、
前記模擬画像上における前記受講者の注視点の動きと教師データの注視点の動きとの類似度に基づいて、前記受講者の運転の安全確認の度合いを評価する、
模擬運転装置の制御方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、模擬運転装置、及び模擬運転装置の制御方法に関する。
【背景技術】
【0002】
近年、二輪車、自動車、及び鉄道車両等の車両の運転講習用に、模擬運転装置が広く利用されている。例えば、特許文献1には、被験者がブレーキ操作に習熟したと判定した場合に、モード切り替え部が操作習熟モードから本試験モードへ切り替えるよう構成された車両運転シミュレータ装置が記載されている。また、特許文献2には、時間的に切迫した課題の講習用のドライビングシミュレータが記載されている。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2010-102171号公報
【特許文献2】特開2010-122477号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
運転は、認知・判断・操作のプロセスを繰り返して行われる。しかし、操作のプロセスは、特許文献1、2に記載の装置を利用して確認することができるが、認知・判断のプロセスは、既存の模擬運転装置を利用しても確認することができない。このため、受講者が自身の運転における認知・判断のプロセスの課題点を正確に把握することができず、認知・判断のプロセスが重要となる安全確認の講習を効果的に行うことができないという課題があった。
【0005】
本発明は、運転における認知・判断を含めた安全確認の講習を効果的に行うことができる模擬運転装置を提供することを目的とする。
【課題を解決するための手段】
【0006】
本発明に係る実施形態の模擬運転装置は、制御装置、表示装置、及び視線検知装置を備え、車両の運転を模擬する模擬運転装置であって、制御装置は、表示装置に表示させる模擬画像を生成して表示装置に出力する画像生成部と、視線検知装置により検知された模擬講習の受講者の視線の方向に基づいて、模擬画像上における受講者の注視点の位置を取得する注視点取得部と、模擬映像上における注視点の動きの教師データを記憶した記憶部と、模擬画像上における受講者の注視点の動きと教師データの注視点の動きとの類似度に基づいて、受講者の運転の安全確認の度合いを評価する評価部と、を有する。
【0007】
本発明に係る実施形態の模擬運転装置の制御方法は、表示装置に表示させる模擬画像を生成して表示装置に出力し、視線検知装置により検知された模擬講習の受講者の視線の方向に基づいて、模擬画像上における受講者の注視点の位置を取得し、模擬画像上における受講者の注視点の動きと教師データの注視点の動きとの類似度に基づいて、受講者の運転の安全確認の度合いを評価する。
【発明の効果】
【0008】
本発明によれば、運転における認知・判断を含めた安全確認の講習を効果的に行うことができる模擬運転装置が提供される。
【図面の簡単な説明】
【0009】
【
図2】制御装置及び操作装置のハードウェア構成の一例を示す図である。
【
図3】模擬運転装置の記憶部及び制御部の機能ブロック図である。
【
図4】模擬運転装置の制御方法の一例を示すフローチャートである。
【
図5】受講者の注視点の動きと教師データの注視点の動きの一例を示す図である。
【
図6】表示装置に再生された再生画像の一例を示す図である。
【発明を実施するための形態】
【0010】
本発明の模擬運転装置は、車両を模擬的に運転する模擬講習の受講者の模擬画像上における注視点の動きと教師データの注視点の動きとの類似度に基づいて、受講者の運転の安全確認の度合いを評価する。これにより、受講者の運転における認知・判断のプロセスが、模擬画像上における受講者の注視点の動きに基づいて評価されるため、受講者は、運転における認知・判断を含めた安全確認の課題点を正確に把握することができる。
【0011】
以下、好適な実施形態について図面を用いて説明する。なお、本発明は以下の実施形態に限定されるものではなく、その要旨を逸脱しない範囲において適宜変更可能である。また、各図において同一、又は相当する機能を有するものは、同一符号を付し、その説明を省略又は簡潔にすることもある。
【0012】
図1は、模擬運転装置1の構成の一例を示す図である。模擬運転装置1は、制御装置2、ハンドル31、減速操作手段32、加速操作手段33、表示装置4、及び視線検知装置5を備える。模擬運転装置1は、更にスピーカ等を備えてもよい。なお、
図1には、自動車の講習用の模擬運転装置1の構成の一例を示したが、模擬運転装置1は、二輪車及び鉄道車両等の講習用であってもよい。
【0013】
制御装置2は、有線又は無線により、ハンドル31、減速操作手段32、加速操作手段33、表示装置4、及び視線検知装置5と通信可能に接続され、模擬運転装置1の全体を制御する。また、制御装置2は、模擬講習シナリオに基づいて、受講者の車両が他車両6a、6b、歩行者7a、7b、自転車8等と共に移動する仮想空間をシミュレートするための演算装置としても機能する。
【0014】
ハンドル31、減速操作手段32、及び加速操作手段33は、模擬講習の受講者が車両を模擬的に運転するために操作され、受講者によって操作されたことを示す操作信号を制御装置2に出力する。模擬運転装置1が自動車の講習用である場合、ハンドル31、減速操作手段32、及び加速操作手段33は、それぞれステアリングホイール、ブレーキペダル、及びアクセルペダルである。模擬運転装置1が鉄道車両の講習用である場合には、ハンドル31は省略される。
【0015】
表示装置4は、受講者の前方に配置され、模擬講習の受講者が仮想空間上の車両から見ることになる仮想空間上の景観を模擬画像41として表示する。この模擬画像41は、制御装置2により生成されて表示装置4に出力される。例えば、
図1に示す模擬画像41には、受講者が車両の前方に見る仮想空間上の道路上の景観が表示され、模擬画像41の右上には、受講者が仮想空間上のバックミラー42を介して車両の後方に見る景観が表示されている。模擬講習の受講者は、模擬画像41上に表示された他車両6a、6b、歩行者7a、7b、自転車8等の注意物体に車両が衝突しないように、ハンドル31、減速操作手段32、及び加速操作手段33を操作しながら、車両を模擬的に運転する。模擬画像41上には、受講者が注意すべき他車両6b、歩行者7a、7b、自転車8等が、図形9により又は色を変えて強調して表示されてもよい。図形9は、例えば円形の枠形状とされ、色は、例えば赤色とされる。これにより、受講者の注視点が適切に注意物体に誘導されるため、運転の安全確認の講習が効果的に行われる。
【0016】
視線検知装置5は、例えば、
図1に示すように受講者の前方に配置された表示装置4上に設置され、受講者の視線の方向を検知して制御装置2に出力する。視線検知装置5として、例えば、可視光又は赤外線カメラを有し、可視光又は赤外線カメラで撮影した受講者の眼の画像内における瞳の位置に基づいて受講者の視線の方向を検知するものが用いられる。
【0017】
図2は、制御装置2及び操作装置3のハードウェア構成の一例を示す図である。制御装置2は、内部バス20を介して相互に通信可能に接続された記憶部21、制御部22、外部通信I/F23、及び映像出力I/F24を有する。また、操作装置3は、ハンドル31、減速操作手段32、及び加速操作手段33を有する。
【0018】
記憶部21は、RAM(Random Access Memory)等の揮発性メモリと、HDD(Hard Disk Drive)又はフラッシュメモリ(登録商標)等の不揮発性メモリを有する。また、記憶部21は、制御部22により実行されるコンピュータプログラムと、コンピュータプログラムにより処理されるデータ等を記憶する。
【0019】
制御部22は、一以上のプロセッサ及び周辺回路を有し、記憶部21に記憶されたコンピュータプログラムを実行して模擬運転装置1の各部を制御する。制御部22は、FPGA(Field Programmable Gate Array)、又はASIC(Application Specific Integrated Circuit)等の集積回路により構成されてもよい。
【0020】
外部通信I/F23は、制御部22を、通信線30を介して操作装置3及び視線検知装置5と接続するための通信I/F回路を有し、制御部22が操作装置3及び視線検知装置5と通信することを可能とする。外部通信I/F23は、操作装置3又は視線検知装置5から出力される信号を受信して制御部22に送信し、制御部22から出力される信号を受信して操作装置3又は視線検知装置5に送信する。
【0021】
映像出力I/F24は、制御部22を、通信線40を介して表示装置4と接続するための通信I/F回路を有し、制御部22が表示装置4と通信することを可能とする。映像出力I/F24は、表示装置4から出力される信号を受信して制御部22に送信し、制御部22から出力される信号を受信して表示装置4に送信する。
【0022】
図3は、模擬運転装置1の記憶部21及び制御部22の機能ブロック図である。記憶部21は、画像生成プログラム211、操作取得プログラム212、評価プログラム213、及び注視点取得プログラム214を、ソフトウェアモジュール又はファームウェア等として記憶する。制御部22は、記憶部21に記憶された各コンピュータプログラムを読み出して実行することにより、画像生成部221、操作取得部222、評価部223、及び注視点取得部224として機能する。
【0023】
また、記憶部21は、後述する教師データ215等を、不揮発性メモリに記憶してもよい。
【0024】
図4は、模擬運転装置1の制御方法の一例を示すフローチャートである。このフローチャートは、模擬講習の受講者が、模擬画像41上に表示される注意物体に車両が衝突しないように、操作装置3を操作して車両を模擬的に運転している間、及びその後に、制御装置2において制御部22により実行される。
【0025】
ステップS1において、画像生成部221は、表示装置4に表示させる模擬画像41を生成して表示装置4に出力する。また、操作取得部222は、模擬講習の受講者が操作装置3を操作したことを示す操作信号を操作装置3から取得し、記憶部21に操作データとして記憶する。
【0026】
ステップS2において、注視点取得部224は、視線検知装置5により検知される受講者の視線の方向を示す信号を視線検知装置5から取得し、取得した信号に基づいて模擬画像41上における受講者の注視点の位置を計算し、記憶部21に注視点データとして記憶する。ここで、視線とは、視線検知装置5により検知される受講者の視線の方向を意味し、注視点とは、注視点取得部224により受講者の視線の方向に基づいて計算される、受講者が注視している模擬画像41上の視点の位置座標を意味する。
【0027】
画像生成部221、操作取得部222、及び注視点取得部224は、模擬講習シナリオが終了するまでステップS1~S2を繰り返す(ステップS3でNo)。
【0028】
模擬講習シナリオが終了すると(ステップS3でYes)、評価部223は、ステップS4において、模擬画像41上における受講者の注視点の動きと教師データの注視点の動きとの類似度を計算する。ここで、教師データは、例えば、予め模範運転者に模擬講習シナリオを受講させて取得した視線の動きを、教師データ215として記憶部21に記憶したものが用いられる。
【0029】
図5は、受講者の注視点の動き10と教師データの注視点の動き11の一例を示す図である。
図5(a)には、模擬講習シナリオにおいて、受講者の運転する車両が交差点に近づいたときに注視点取得部224により取得された受講者の注視点の動き10と、記憶部21に記憶された教師データの注視点の動き11が、模擬画像41上に重ねて図示されている。また、
図5(b)には、受講者の注視点の動き10の時刻tiにおける位置座標pi、qiと、教師データの注視点の動き11の時刻tiにおける位置座標ri、siが図示されている。また、
図5(c)には、
図5(b)に示した受講者の注視点の動き10と教師データの注視点の動き11から時間情報を除いた、受講者の注視点の軌跡12と教師データの注視点の軌跡13が図示されている。
【0030】
模擬講習の受講者は、車両が交差点に近づくと、時刻t0において減速操作手段32を操作して車両を減速させる。このとき、受講者の注視点の動き10は、路上停車中の他車両6a、他車両6aの死角に隠れた歩行者7a、対向車線を移動する他車両6b、横断歩道を渡ろうとする歩行者7bの上を順に移動し、他車両6aに戻っている。
【0031】
他方、模範運転者が同じ模擬講習シナリオを受講した教師データの注視点の動き11は、受講者の注視点の動き10に加えて、バックミラー42に映った後方から近づく自転車8の上を更に移動している。このように、受講者の注視点の動き10と教師データの注視点の動き11とを比較することによって、受講者が、バックミラー42に映った後方から近づく自転車8に対する安全確認を見落としていることを知ることができる。
【0032】
そこで、評価部223は、例えば、受講者が操作装置3に対して所定の操作を行ったときの受講者の注視点の動き10と教師データの注視点の動き11との類似度を計算する。所定の操作は、例えば、減速操作手段32の操作とされる。この場合、評価部223は、
図5(b)に示した受講者の注視点の動き10と教師データの注視点の動き11との類似度を、例えば、下式(1)で計算することができる。
類似度 = 1/Σ{(pi-ri)
2+(qi-si)
2} (1)
【0033】
ここで、Σは、時刻t0から時刻t4までの各時刻tiについての和を表す。時刻tiは、受講者が減速操作手段32を操作した時刻t0が基準時刻となるように規格化されており、時刻t4は、時刻t0から一定期間が経過した時刻であり、一定期間は、例えば2秒とされる。
【0034】
或いは、評価部223は、受講者が所定の操作を行った時間を含む一定期間内における受講者の注視点の軌跡12と教師データの注視点の軌跡13との空間的類似度を計算してもよい。この場合、評価部223は、
図5(c)に示した受講者の注視点の軌跡12と教師データの注視点の軌跡13の類似度を、例えば、文献(内藤 弘望, 松浦 健二, 柏原 昭博, 齊藤 玲, 戸井 健夫, 栗田 弦太 : 視線誘導を導入した自動車運転時の気づき支援環境, 教育システム情報学会2020年度第4回研究会, Vol.35, No.4, 21-26, 2020年11月)に記載のDTW(Dynamic Time Warping)距離の逆数として計算することができる。これにより、受講者が、模擬画像41上の注意物体を確認した順序に関わらず、注意物体を確認したか否かを知ることができる。
【0035】
類似度を計算するタイミングとなる所定の操作は、減速操作手段32の操作に限定されず、より複雑な操作であってもよい。例えば、所定の操作は、受講者が操作装置3を、減速操作手段32、ハンドル31、加速操作手段33の順に操作したことであってもよい。この場合、類似度を計算する上述の一定期間は、例えば、受講者が減速操作手段32を操作してから加速操作手段33を操作するまでの期間としてもよい。
【0036】
ステップS5において、評価部223は、ステップS4において計算した類似度に基づいて、受講者の運転の安全確認の度合いを評価する。例えば、評価部223は、複数のシーンにおいて計算した類似度の平均値を、受講者の運転の安全確認の評価値とすることができる。これにより、模擬画像上における受講者の注視点の動きが、運転における操作のプロセスと関連付けられて、受講者の運転の安全確認の度合いが評価されるため、受講者の運転における認知・判断・操作のプロセスを総合的に評価することが可能となる。
【0037】
ステップS6において、画像生成部221は、模擬講習中に取得して記憶部21に記憶した受講者の操作データに応じて模擬講習の再生画像43を生成し、模擬講習中に取得して記憶部21に記憶した受講者の注視点データを、再生画像43上に重ねて表示装置4に再生させる。
【0038】
図6は、表示装置4に再生された再生画像43の一例を示す図である。
図6に示す再生画像43上には、受講者の注視点の動き10と教師データの注視点の動き11が重ねて再生され、受講者は、プレイバック再生される再生画像43を見て、自身の運転における安全確認の課題点を把握することができる。なお、
図5(a)では、説明の便宜上、受講者の注視点の動き10と教師データの注視点の動き11を模擬画像41上に重ねて図示したが、これらは模擬講習中においては模擬画像41上に重ねて表示されないことに注意されたい。
【0039】
画像生成部221は、再生画像43上に表示される注意物体のうち、受講者の注視点が重なっていないが、教師データの注視点が重なっているものを、模擬画像上に図形9により又は色を変えて強調して表示させてもよい。図形9は、例えば円形の枠形状とされ、色は、例えば赤色とされる。これにより、受講者は、運転の安全確認において、例えば
図6に示されるバックミラー42に映った後方から近づく自転車8を見落としたことを、図形9等により知ることができるため、自身の運転における安全確認の課題点を把握しやすくなる。
【0040】
画像生成部221は、評価部223により計算された受講者の運転の安全確認の評価値を、表示装置4に出力して表示させてもよい。
【0041】
以上のように、模擬運転装置は、制御装置、表示装置、及び視線検知装置を備え、車両の運転を模擬する模擬運転装置であって、制御装置は、表示装置に表示させる模擬画像を生成して表示装置に出力する画像生成部と、視線検知装置により検知された模擬講習の受講者の視線の方向に基づいて、模擬画像上における受講者の注視点の位置を取得する注視点取得部と、模擬映像上における注視点の動きの教師データを記憶した記憶部と、模擬画像上における受講者の注視点の動きと教師データの注視点の動きとの類似度に基づいて、受講者の運転の安全確認の度合いを評価する評価部と、を有する。これにより、運転における認知・判断を含めた安全確認の講習を効果的に行うことができる模擬運転装置が提供される。
【0042】
上述の実施形態は、いずれも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。
【符号の説明】
【0043】
1 模擬運転装置
2 制御装置
3 操作装置
4 表示装置
5 視線検知装置
6a 他車両
6b 他車両
7a 歩行者
7b 歩行者
8 自転車
9 図形
31 ハンドル
32 減速操作手段
33 加速操作手段
41 模擬画像
42 バックミラー
43 再生画像
211 画像生成プログラム
212 操作取得プログラム
213 評価プログラム
214 注視点取得プログラム
221 画像生成部
222 操作取得部
223 評価部
224 注視点取得部