特許 7596187 運転支援装置及び運転支援方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-11-29

(45)【発行日】2024-12-09

(54)【発明の名称】運転支援装置及び運転支援方法

(51)【国際特許分類】

   B60W 50/14 20200101AFI20241202BHJP

   G08G 1/16 20060101ALI20241202BHJP

【ＦＩ】

B60W50/14

G08G1/16 C

【請求項の数】 6

(21)【出願番号】P 2021042800

(22)【出願日】2021-03-16

(65)【公開番号】P2022142578

(43)【公開日】2022-09-30

【審査請求日】2023-11-07

(73)【特許権者】

【識別番号】000003997

【氏名又は名称】日産自動車株式会社

(73)【特許権者】

【識別番号】507308902

【氏名又は名称】ルノー エス．ア．エス．

【氏名又は名称原語表記】ＲＥＮＡＵＬＴ Ｓ．Ａ．Ｓ．

【住所又は居所原語表記】１２２－１２２ ｂｉｓ， ａｖｅｎｕｅ ｄｕ Ｇｅｎｅｒａｌ Ｌｅｃｌｅｒｃ， ９２１００ Ｂｏｕｌｏｇｎｅ－Ｂｉｌｌａｎｃｏｕｒｔ， Ｆｒａｎｃｅ

(74)【代理人】

【識別番号】110000486

【氏名又は名称】弁理士法人とこしえ特許事務所

(72)【発明者】

【氏名】寺口 剛仁

【審査官】吉村 俊厚

(56)【参考文献】

【文献】特開２０２０－１５２１６１（ＪＰ，Ａ）

【文献】特開２０１９－１３９３４９（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｂ６０Ｗ １０／００ － ６０／００

Ｇ０８Ｇ １／００ － ９９／００

Ｂ６０Ｋ ３５／００ － ３７／２０

Ｇ０１Ｃ ２１／００ － ２１／３６

(57)【特許請求の範囲】

【請求項1】

車両の運転を支援する運転支援装置であって、
前記車両の前方の対象位置の周囲の走行状況を取得する走行状況取得部と、
前記走行状況取得部により取得された前記走行状況に基づいて、前記対象位置において、前記車両の運転操作の種別である運転操作内容を、現在の運転操作内容とは異なる運転操作内容に変更する必要があるか否かを判定する運転変更必要性判定部と、
前記運転変更必要性判定部により前記運転操作内容を変更する必要があると判定される場合に、前記対象位置における前記運転操作内容を示す運転操作変更情報を生成する案内情報生成部と、
前記運転操作内容を変更するタイミングを示すタイミング情報を生成するタイミング情報生成部と、
前記運転操作変更情報及び前記タイミング情報を、前記車両の室内に設けられた出力装置に出力させる制御信号を生成する制御信号生成部と、を備え、
前記タイミング情報生成部は、前記走行状況に基づいて、前記車両が前記対象位置に位置する場合に、前記車両の運転者の視点から見たときの周囲環境の実景を示す周囲環境情報を、前記タイミング情報として生成する運転支援装置。

【請求項2】

前記運転変更必要性判定部は、
前記走行状況に基づいて、前記対象位置の前方に、前記運転操作内容に影響を与える対象物が存在するか否かを判定し、
前記車両の前方に、前記運転操作内容に影響を与える対象物が存在するか否かに関する判定結果により、前記対象位置において前記運転操作内容を変更する必要があるか否かを判定し、
前記タイミング情報生成部は、前記運転変更必要性判定部により前記対象位置において前記運転操作内容を変更する必要があると判定される場合には、前記走行状況に基づいて、前記車両が前記対象位置に位置するときに前記運転者の位置から見える実景内の前記対象物の位置及び大きさを表す画像情報を、前記タイミング情報として生成する請求項１に記載の運転支援装置。

【請求項3】

前記案内情報生成部は、前記走行状況に基づいて、前記走行状況に適した前記運転操作内容を示す前記運転操作変更情報を生成し、
前記制御信号生成部は、前記運転操作変更情報を、前記出力装置に出力させる請求項１又は２に記載の運転支援装置。

【請求項4】

前記案内情報生成部は、前記車両から離れた位置にいるユーザにより入力された運転操作情報に基づいて、前記運転操作変更情報を生成する請求項１又は２に記載の運転支援装置。

【請求項5】

前記走行状況取得部は、前記対象位置における前記運転操作内容が実行された場合には、実行後の前記走行状況を取得し、
前記タイミング情報生成部は、前記走行状況取得部により取得された実行後の前記走行状況に基づいて、前記周囲環境情報を生成し、
前記制御信号生成部は、生成された前記周囲環境情報を、前記出力装置に出力させる制御信号を生成する請求項１に記載の運転支援装置。

【請求項6】

車両の運転を支援する運転支援方法であって、
前記車両の前方の対象位置の周囲の走行状況を取得し、
取得された前記走行状況に基づいて、前記対象位置において、前記車両の運転操作の種別である運転操作内容を、現在の運転操作内容とは異なる運転操作内容に変更する必要があるか否かを判定し、
前記運転操作内容を変更する必要があると判定される場合に、前記対象位置における前記運転操作内容を示す運転操作変更情報を生成し、
前記走行状況に基づいて、前記車両が前記対象位置に位置する場合に、前記車両の運転者の視点から見たときの周囲環境の実景を示す周囲環境情報を、前記運転操作内容を変更するタイミングを示すタイミング情報として生成し、
前記運転操作変更情報及び前記タイミング情報を、前記車両の室内に設けられた出力装置に出力させる制御信号を生成する運転支援方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、運転支援装置及び運転支援方法に関するものである。

【背景技術】

【0002】

車両が走行すべき走行経路を設定して経路誘導を行う装置であって、バーチャル先導車の画像を、運転者が視認している現実の風景内に表示させる車両用情報提供装置が知られている。

【0003】

特許文献１に係る技術は、車両が障害物に衝突する可能性があるとき、障害物に対して回避動作が必要であると判定して、バーチャル先導車の画像の表示位置を、障害物を回避できるように横方向に変位させる。

【先行技術文献】

【特許文献】

【0004】

【文献】特開２００５－１０７９１７号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、特許文献１の技術では、運転者は、障害物の回避のために車両を横方向に移動させることが必要だと把握できるものの、車両を横方向に移動させるためにどのタイミングでどのような操作を行うかといった具体的な操作タイミング及び具体的な操作内容を把握できないという問題がある。

【0006】

本発明が解決しようとする課題は、運転者が、車両の具体的な操作タイミング及び具体的な操作内容を把握できる運転支援装置及び運転支援方法を提供することである。

【課題を解決するための手段】

【0007】

本発明は、車両の前方の対象位置の周囲の走行状況を取得し、走行状況に基づいて、対象位置において、車両の運転操作の種別である運転操作内容を、現在の運転操作内容とは異なる運転操作内容に変更する必要があるか否かを判定し、運転操作内容を変更する必要があると判定される場合に、対象位置における運転操作内容を示す運転操作変更情報、及び、運転操作内容を変更するタイミングを示すタイミング情報を生成し、運転操作変更情報及びタイミング情報を、車両の室内に設けられた出力装置に出力させる制御信号を生成することによって上記課題を解決する。

【発明の効果】

【0008】

本発明によれば、運転者が、車両の具体的な操作タイミング及び具体的な操作内容を把握できる。

【図面の簡単な説明】

【0009】

【図1】図１は、本実施形態における運転支援システムの構成の一例を示す図である。

【図2A】図２Ａは、車両２００の周辺環境上の仮想車両の位置の一例を示す図である。

【図2B】図２Ｂは、車両２００の周辺環境上の仮想車両の位置の一例を示す図である。

【図3】図３は、本実施形態の運転支援装置で生成される運転操作変更情報及びタイミング情報の表示の一例を示す図である。

【図4】図４は、本実施形態に係る運転支援方法の手順の一例を示すフローチャートである。

【図5】図５は、本実施形態に係る運転支援方法の手順の一例を示すフローチャートである。

【発明を実施するための形態】

【0010】

≪第１実施形態≫
本発明に係る運転支援装置の一実施形態を図面に基づいて説明する。図１は、本実施形態に係る運転支援装置１００を含む運転支援システム１０の構成の一例を示すブロック図である。図１で示されるように、本実施形態では、運転支援システム１０は、運転支援装置１００と、車両２００と、第２運転操作装置３００と、第２情報出力装置３１０とを備える。運転支援装置１００は、車両２００から離れた位置にあって、車両２００との間で通信を行い、情報の授受が可能なサーバである。運転支援装置１００は、車両２００に、車両２００を手動運転する第１ユーザを支援するための運転支援情報を送信する。また、運転支援装置１００は、第１ユーザの運転支援を行う第２ユーザに、車両２００の進行方向の前方の位置における走行状況の情報を送信する。運転支援装置１００が設置される遠隔地空間は、例えば、複数の車両を管理する管制センタである。第２ユーザは、例えば、管制センタのオペレータである。管制センタでは、第２情報出力装置３１０が、車両２００の前方の位置の周囲の走行状況の情報を第２ユーザに出力する。

【0011】

第２ユーザは、車両２００の前方の位置における走行状況の情報を確認しながら、第１ユーザに車両２００の運転操作に関する運転支援情報の提供を行う。例えば、第１ユーザへの運転支援情報の提供のひとつとして、車両２００の前方を走行する仮想車両を表す仮想車両画像を、車両２００のフロントガラスに、車外の実景に重畳されるように表示する方法が挙げられる。第２ユーザは、当該仮想車両を操縦することで、車両２００を先導し、仮想車両の挙動によって、第１ユーザに運転案内を行う。第２ユーザは、車両２００の位置よりも進行方向の前方の位置で、周辺環境を見ながら走行状況の変化に応じて仮想車両を操縦するため、第１ユーザに対して、車両２００の進行方向の前方の位置で必要となる運転内容を提供できる。

【0012】

一方で、第１ユーザは、車両２００のフロントガラスに表示される仮想車両の動きを見ながら車両２００を操縦する。また、第１ユーザへの運転支援情報の提供方法として、運転操作内容を変更する必要がある場合に、運転操作変更情報及びタイミング情報の画像を車両２００のフロントガラスに表示する方法が挙げられる。運転操作変更情報は、具体的な運転操作内容を示す情報である。また、タイミング情報は、運転操作内容を変更するタイミングを示す情報である。本実施形態では、車両２００の前方の位置で運転操作内容を変更する必要がある場合に、具体的な運転操作内容と、運転操作内容を変更するタイミングを表す画像を第１ユーザに表示する。第１ユーザが運転初心者である場合には、仮想車両の挙動を見ただけでは、どのタイミングでどのような運転操作を行えば良いのか分からないことがあるため、本実施形態では、運転操作の内容と、運転操作を行うタイミングとを第１ユーザに提示することによって第１ユーザの運転を支援する。また、本実施形態では、運転支援情報は、画像に限らず、音声であってもよい。

【0013】

運転支援装置１００は、コントローラ１１０と、通信装置１２０とを備える。コントローラ１１０は、ハードウェア及びソフトウェアを有するコンピュータを備えており、このコンピュータはプログラムを格納したＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）と、ＲＯＭに格納されたプログラムを実行するＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）と、アクセス可能な記憶装置として機能するＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）を含むものである。なお、動作回路としては、ＣＰＵに代えて又はこれとともに、ＭＰＵ（Micro Processing Unit）、ＤＳＰ（Digital Signal Processor）、ＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field Programmable Gate Array）などを用いることができる。なお、運転支援装置１００は、第２ユーザがいる遠隔地空間内に設置されることに限らず、異なる空間に設置されることとしてもよい。

【0014】

コントローラ１１０は、機能ブロックとして、少なくとも対象位置設定部１１１と、走行状況取得部１１２と、仮想情報生成部１１３と、運転変更必要性判定部１１４と、案内情報生成部１１５と、タイミング情報生成部１１６と、制御信号生成部１１７と、を含み、上記各機能を実現する又は各処理を実行するためのソフトウェアと、ハードウェアとの協働により各機能を実行する。具体的には、コントローラ１１０は、まず、車両２００の進行方向の前方に対象位置を設定し、対象位置の周辺環境の走行状況を取得する。次に、コントローラ１１０は、走行状況の情報を用いて、対象位置の周辺環境を表す仮想周辺情報を生成し、仮想周辺情報を第２情報出力装置３１０に出力させる制御信号を送信する。そして、コントローラ１１０は、対象位置における走行状況に基づいて、対象位置で運転操作内容を変更する必要があるか否かを判定する。コントローラ１１０は、運転操作内容を変更する必要があると判定される場合には、運転操作情報に基づいて生成された運転操作変更情報を第１情報出力装置２４０に出力させる制御信号を生成する。また、コントローラ１１０は、タイミング情報を第１情報出力装置２４０に出力させる制御信号を生成する。なお、本実施形態では、コントローラ１１０が有する機能を７つのブロックとして分けた上で、各機能ブロックの機能を説明するが、コントローラ１１０の機能は必ずしも７つのブロックに分ける必要はなく、６つ以下の機能ブロック、あるいは、８つ以上の機能ブロックで分けてもよい。

【0015】

コントローラ１１０は、車両２００の周囲の走行環境の実景内の対象位置に、仮想車両を表す仮想車両画像が重畳させるように表示させる。また、コントローラ１１０は、第２ユーザにより運転操作情報の入力があった場合には、運転操作情報に基づいて対象位置の位置を更新し、更新後の対象位置に仮想車両が重畳させるように表示させることで、仮想車両の表示位置を更新する。図２Ａは、本実施形態における車両２００の周辺環境上の仮想車両の位置を示す図である。図２Ａでは、車両２００の進行方向の前方に仮想車両Ｖａが位置している。車両Ｖ１、Ｖ２及びＶ３は、実際に車両２００の周囲を走行している車両である。一方で、仮想車両Ｖａは、車両２００の第１ユーザから見える車両２００周囲の実景上で仮想車両Ｖａが走行しているように第１ユーザに表示されている。このとき、第２ユーザは、仮想車両Ｖａの位置から見える仮想車両Ｖａ周囲の実景を示す仮想画像を見ながら、仮想車両Ｖａの運転操作を行う。図２Ａは、仮想車両Ｖａが中央の車線を走行しているように表示されている場合に、第２ユーザが、左側の隣接車線に仮想車両Ｖａを車線変更させる運転を行う場面である。図２Ｂは、第２ユーザが仮想車両Ｖａの車線変更に係る運転操作を実行した後の場面である。第２ユーザが仮想車両Ｖａの隣接車線への車線変更の運転操作を実行すると、運転操作に応じて対象位置が隣接車線上に更新され、隣接車線上の対象位置に仮想車両Ｖａが表示される。これにより、第１ユーザの視界では、仮想車両Ｖａが中央の車線から隣接車線に移動して隣接車線上を走行しているように見える。また、第２ユーザは、図２Ｂで示される仮想車両Ｖａの位置から見える仮想車両の周囲の実景を表す仮想周辺画像を見ながら、仮想車両Ｖａの運転操作を行う。以下、より具体的な制御方法について説明する。

【0016】

対象位置設定部１１１は、車両２００の進行方向の前方に対象位置を設定する。対象位置は、車両２００の周辺環境に設定される仮想視点の位置である。また、対象位置は、車両２００の周辺環境における仮想車両の位置である。例えば、対象位置は、仮想車両の運転席の位置に相当する位置である。第２ユーザは、対象位置から仮想車両の周辺環境の景色を見ることができる。対象位置は、車両２００の位置を基準とした、実空間上の座標位置として設定される。本実施形態では、第１ユーザが仮想先導車システムを起動した時に、対象位置設定部１１１は、初期設定の位置に対象位置を設定する。初期設定の位置は、あらかじめ定義された位置で、例えば、車両２００の進行方向の前方で、車両２００から所定距離離れた位置である。

【0017】

また、対象位置設定部１１１は、第２ユーザにより入力された運転操作情報に基づいて、対象位置を更新する。運転操作情報は、仮想車両を移動させるための情報である。運転操作情報は、車両のステアリング、アクセル及びブレーキ操作の情報を含む。運転操作情報は、一定の周期で、第２運転操作装置３００を介してコントローラ１１０に出力されている。例えば、運転操作情報は、第２ユーザがステリング操作を行うことで出力されるステアリング操作の情報である。また、例えば、第２ユーザが仮想車両の車速を一定の速度に維持し続けている場合には、運転操作情報は、車速を一定の速度に維持するためのアクセル操作の情報である。対象位置設定部１１１は、仮想車両に対する運転操作情報に基づいて、仮想車両の位置に対応する対象位置を更新する。具体的には、対象位置設定部１１１は、対象位置の位置と、運転操作情報に基づいて、所定時間後（例えば、１秒後）の対象位置の位置を算出して、算出された所定時間後の対象位置に対象位置を更新する。例えば、対象位置設定部１１１は、まず、運転操作情報として取得される車両２００の車速情報と操舵角情報に基づいて、所定時間後の移動距離と移動方向を算出する。次に、対象位置設定部１１１は、現在の対象位置を基準として、移動方向に、移動距離分移動させた位置を所定時間後の対象位置として算出する。そして、対象位置設定部１１１は、算出された所定時間後の対象位置に対象位置を更新する。

【0018】

走行状況取得部１１２は、対象位置の周辺環境の走行状況を取得する。具体的には、走行状況取得部１１２は、車両２００の撮像画像取得部２２２により撮像された対象位置の周辺画像を取得する。走行状況取得部１１２は、対象位置の周辺に存在する他車両から、他車両のセンサ群により撮像された対象位置の周辺画像を取得してもよい。走行状況取得部１１２は、インフラセンサにより撮像された対象位置の周辺画像を取得してもよい。インフラセンサは、車両２００が走行している道路沿いに設定されていて、インフラセンサの周辺の環境情報を検出する装置である。

【0019】

また、走行状況取得部１１２は、対象位置の周辺環境における音声情報を取得する。具体的には、走行状況取得部１１２は、車両２００の外部音声取得部２２３により取得された、対象位置の周辺の音声情報を取得する。走行状況取得部１１２は、対象位置の周辺に存在する他車両から、他車両のセンサ群により検出された音声情報を取得してもよい。走行状況取得部１１２は、インフラセンサにより検出された、対象位置の周辺の音声情報を取得してもよい。また、走行状況取得部１１２は、周辺画像と音声情報の両方を取得することに限らず、周辺画像のみを取得することとしてもよい。

【0020】

仮想情報生成部１１３は、対象位置の周辺環境を表す仮想周辺画像を生成する。すなわち、仮想周辺画像は、仮想車両の位置における周辺環境を表す画像である。第２ユーザは、仮想周辺画像が表示されることで、あたかも仮想車両の運転席に座っているように仮想車両の周辺環境を視認することができる。仮想情報生成部１１３は、まず、車両２００を基準とした周辺環境の３次元空間情報を取得し、周辺環境の３次元空間における対象位置の位置を算出し、対象位置の周辺画像を用いて対象位置における仮想周辺画像を生成する。３次元空間情報は、車両２００の位置情報と、３次元地図情報とに基づいて、車両２００の位置を基準とした周辺環境の３次元空間情報として取得される。また、３次元空間情報は、車両２００のセンサ群２２０により取得したセンサ情報に基づいて、ＳＬＡＭを用いて、車両２００の位置の推定と、車両２００の周辺環境に関する３次元の環境地図がリアルタイムに生成されることとしてもよい。また、仮想情報生成部１１３は、ライトフィールドレンダリング技術により、対象位置における仮想周辺画像を生成してもよい。具体的には、仮想情報生成部１１３は、複数の視点のカメラにより撮像された対象位置の周辺環境の周辺画像から、周辺環境の光線情報を取得し、対象位置に届く光線情報に基づいて対象位置における画像を合成することで、仮想周辺画像を生成する。

【0021】

仮想情報生成部１１３は、仮想周辺音声を生成する。仮想周辺音声は、対象位置において周辺環境から聞こえてくる仮想の音声である。仮想情報生成部１１３は、走行状況取得部１１２により取得された対象位置の周辺環境の音声情報に基づいて、対象位置の周辺環境における音源の位置に対応するように仮想音源の位置を設定し、仮想音源の位置に仮想音響の音像を定位させるように仮想音響の音声信号処理を行う。また、本実施形態では、仮想情報生成部１１３は、仮想周辺音声の生成を行わずに、仮想周辺画像の生成のみを行うこととしてもよい。

【0022】

また、仮想情報生成部１１３は、仮想車両画像を生成する。仮想車両画像は、例えば、車両の３Ｄオブジェクトにより構成される。仮想情報生成部１１３は、第１ユーザが仮想先導車システムを起動すると、仮想車両画像を生成する。また、本実施形態では、仮想情報生成部１１３は、仮想車両の画像に限らず、他の物体や図形を示す仮想画像を生成することとしてもよい。例えば、仮想情報生成部１１３は、車両２００の走行方向を示す矢印の仮想画像を生成してもよい。

【0023】

運転変更必要性判定部１１４は、対象位置において、車両２００の運転操作内容を、現在の運転操作内容とは異なる運転操作内容に変更する必要があるか否かを判定する。運転操作内容は、車両の運転操作を複数の区分に分類する種別である。運転操作内容は、「定常走行操作」、「旋回操作」、「加速操作」及び「減速操作」を含む。「定常走行操作」は、一定の範囲の速度及び進行方向を維持しながら車両を走行させるための操作である。「旋回操作」は、車両の進行方向を変えるための操作である。例えば、所定の操作量以上のステアリング操作が「旋回操作」に分類される。「加速操作」は、車両の車速を上げるための操作である。例えば、所定の踏込量以上のアクセル操作が「加速操作」に分類される。「減速操作」は、車両の車速を下げるための操作である。「減速操作」は、車両を停車させるための操作を含む。例えば、所定の踏込量以上のブレーキ操作が「減速操作」に区分される。

【0024】

本実施形態で、運転変更必要性判定部１１４は、対象位置の前方に対象物が存在するか否かによって、対象位置において、現在の運転操作内容とは異なる運転操作内容に変更する必要があるか否かを判定する。すなわち、運転変更必要性判定部１１４は、定常走行している車両２００が対象位置に到達した時に、運転操作内容を変更する必要があるか否かを判定する。まず、運転変更必要性判定部１１４は、走行状況取得部１１２により取得された対象位置の走行状況に基づいて、対象位置から仮想車両の進行方向の前方に対象物が存在するか否かを判定する。対象物は、車両２００の運転操作内容に影響を与えるものであって、例えば、駐車車両、歩行者、工事現場、信号、先行車両を含む。そして、運転変更必要性判定部１１４は、対象位置の前方に対象物が存在する場合には、対象位置において、車両２００の運転操作内容を、現在の運転操作内容とは異なる運転操作内容に変更する必要があると判定する。例えば、車両２００が定常走行している場合、運転変更必要性判定部１１４は、対象位置の前方に、駐車車両、歩行者、工事現場等の対象物が存在するとき、運転操作内容を、「定常走行操作」から「旋回操作」に変更する必要があると判定する。また、車両２００が定常走行している場合、運転変更必要性判定部１１４は、対象位置の前方に、赤色に点灯している信号が存在する場合や、停止しようとする先行車両が存在するときには、運転操作内容を、「定常走行操作」から「減速操作」に変更する必要があると判定する。また、本実施形態では、運転操作内容を４つの種別に分けたが、これに限らず、５以上の種別、又は３以下の種別に分けることとしてもよい。

【0025】

また、運転変更必要性判定部１１４は、第１ユーザの運転操作情報と、第２ユーザの運転操作情報に基づいて、対象位置において、車両２００の運転操作内容を、現在の運転操作内容とは異なる運転操作内容に変更する必要があるか否かを判定してもよい。具体的には、運転変更必要性判定部１１４は、第１ユーザの運転操作情報に基づいて車両２００の現在の運転操作内容を特定し、第２ユーザの運転操作情報に基づいて対象位置における運転操作内容を特定する。例えば、運転操作内容は、運転操作情報から取得されるステアリング及びペダルの操作量が所定の条件を満たすか否かによって「定常走行操作」、「旋回操作」、「加速操作」又は「減速操作」として特定される。そして、運転変更必要性判定部１１４は、現在の運転操作内容と、対象位置における運転操作内容とを比較して、運転操作内容が異なる場合に、対象位置において、車両２００の運転操作内容を、現在の運転操作内容とは異なる運転操作内容に変更する必要があると判定する。つまり、対象位置の走行状況に基づいて仮想車両を運転する第２ユーザが、第１ユーザによる現在の車両２００の運転操作内容とは異なる運転操作内容を実行した場合には、運転変更必要性判定部１１４は、対象位置において、車両２００の運転操作内容を、現在の運転操作内容とは異なる運転操作内容に変更する必要があると判定する。

【0026】

案内情報生成部１１５は、対象位置における運転操作内容を示す運転操作変更情報を生成する。具体的には、案内情報生成部１１５は、まず、対象位置における第２ユーザの運転操作情報に基づいて、対象位置における運転操作内容を特定する。そして、案内情報生成部１１５は、特定された運転操作内容を示す運転操作変更情報を生成する。例えば、案内情報生成部１１５は、まず、対象位置における第２ユーザの運転操作情報としてステアリング操作量の情報及びペダル踏込量の情報を取得して、ステアリング操作量及びペダル踏込量と、運転操作内容ごとに予め設定された所定の条件とを比較することで、所定の条件を満たす運転操作内容を対象位置における運転操作内容として特定する。運転操作内容は、上述の「定常走行操作」、「旋回操作」、「加速操作」及び「減速操作」を含む。さらに、「旋回操作」は、ステアリングの旋回方向として、左右いずれの方向であるかが特定される。

【0027】

また、運転操作内容の特定方法として、案内情報生成部１１５は、走行状況に基づいて、走行状況に適した運転操作内容を特定してもよい。具体的には、まず、案内情報生成部１１５は、走行状況取得部１１２により取得された走行状況に基づいて、対象位置における走行シーンを判別する。走行シーンは、走行状況に対応する走行シーンがあらかじめ設定されている。そして、案内情報生成部１１５は、走行シーンごとに予め設定された運転操作を対象位置における運転操作内容として特定する。また、案内情報生成部１１５は、複数の運転操作内容をマルコフモデルの状態として定義して、第２ユーザの運転操作情報を特徴量としてマルコフモデルを用いた状態の推定を行うことにより、対象位置における運転操作内容を特定してもよい。また、案内情報生成部１１５は、入力データとして第２ユーザの運転操作情報を入力して、出力データとして運転操作内容を出力する学習済みモデルを用いて、対象位置における運転操作内容を特定してもよい。また、案内情報生成部１１５は、入力データを第２ユーザの運転操作情報、出力データを運転操作内容とする教師データを用いてニューラルネットワークを学習させることで学習済みモデルを構築して、構築された学習済みモデルを用いて、対象位置における運転操作内容を特定してもよい。

【0028】

案内情報生成部１１５は、特定された運転操作内容を示す運転操作変更情報として、運転操作内容を表す画像を生成する。具体的には、案内情報生成部１１５は、特定された運転操作内容に応じて、運転操作内容ごとに予め設定された画像を生成する。例えば、特定された運転操作内容が、「旋回操作」である場合には、案内情報生成部１１５は、ステアリング操作を示すハンドルの画像と旋回方向を示す矢印の画像を生成する。このとき、右方向へのステアリング操作であれば、ハンドルと右方向への矢印の画像が生成される。また、案内情報生成部１１５は、運転操作の目標となる目標操舵角や目標車速の情報を示す画像を生成してもよい。目標操舵角や目標車速は、第２ユーザの運転操作情報として取得されているステアリング操作量やペダル踏込量から算出される。例えば、案内情報生成部１１５は、第２ユーザのペダル踏込量から算出される車速を目標車速として表示する画像を生成する。図３は、本実施形態で生成される運転操作変更情報及びタイミング情報の一例を説明する図である。図３では、仮想車両Ｖａの前方に歩行者Ｗａが存在するため、第２ユーザが、歩行者Ｗａを回避するために仮想車両を右方向に移動させている場面を表す図である。この場面では、まず、運転変更必要性判定部１１４は、対象物である歩行者Ｗａが仮想車両の位置（対象位置）の前方に存在することから、対象位置において運転操作内容を変更する必要があると判定する。そして、案内情報生成部１１５は、第２ユーザの運転操作情報に基づいて、対象位置における運転操作内容は「右方向への旋回操作」であると特定し、運転操作変更情報として、図３に示されるような、ハンドルと右方向への旋回を示す画像を生成する。

【0029】

タイミング情報生成部１１６は、運転操作内容を変更するタイミングを示すタイミング情報を生成する。例えば、タイミング情報生成部１１６は、タイミング情報として、対象位置における周囲の走行環境の実景を表す画像を生成する。当該画像は、車両２００が対象位置に到達した時に第１ユーザが視認できる周囲の景色を表す画像であるから、当該画像が事前に第１ユーザに表示されることで、第１ユーザは、車両２００が対象位置に到達した時に周囲の走行環境がどのように見えるかを事前に把握できる。そして、実際に車両２００が対象位置に到達して、タイミング情報で示される実景と同じ実景が実際に見えた時に、第１ユーザは、そのタイミングが、運転操作内容の変更を実行するタイミングであると把握できる。本実施形態では、タイミング情報生成部１１６は、仮想情報生成部１１３による仮想周辺画像の生成と同様の方法により、対象位置の走行環境の撮像画像を用いて、対象位置における周囲の走行環境の実景を表す画像を生成する。また、対象位置の前方に対象物が存在する場合には、タイミング情報は、対象位置の周囲の走行環境の実景上の対象物の位置及び大きさを示す画像を含む。これにより、表示される画像に映る対象物の位置及び大きさと同じ位置及び大きさで実景上の対象物が視界に映った時に、第１ユーザは、そのタイミングが、運転操作内容を変更するタイミングであると把握できる。

【0030】

図３では、タイミング情報として表示される対象物の画像の一例が示されている。図３は、仮想車両Ｖａの進行方向の前方に、歩行者Ｗａが存在し、第２ユーザにより右方向に仮想車両Ｖａを移動させている場面を示している。この場面では、図３で示されるタイミング情報が第１ユーザに表示される。歩行者Ｗａ′は、タイミング情報として表示される画像内に映る歩行者Ｗａである。歩行者Ｗａ′は、仮想車両Ｖａの位置から歩行者Ｗａを見たときの位置及び大きさと同じ見え方で表示されている。これにより、第１ユーザは、表示される歩行者Ｗａ′と同じ位置及び大きさで歩行者Ｗａが視界に映った時に、第１ユーザは、そのタイミングが、運転操作内容を変更するタイミングであると把握できる。

【0031】

また、タイミング情報生成部１１６は、対象位置において、第１ユーザが必要な運転操作内容を実行した場合、実行後に取得される対象位置の走行状況に基づいて、対象位置の周囲の走行環境の実景を表す画像を生成する。対象位置は、第２ユーザの運転操作情報に基づいて更新されるため、第１ユーザが必要な運転操作内容を実行した後には、新たに更新された対象位置の周囲の走行環境を表す画像を表示することで、第１ユーザは、現在の対象位置の周囲の走行環境を把握できる。具体的には、タイミング情報生成部１１６は、実行後に走行状況取得部１１２により取得された対象位置の走行状況の撮像画像を用いて、対象位置における周囲の走行環境の実景を表す画像を生成する。

【0032】

また、制御信号生成部１１７は、対象位置設定部１１１により設定された対象位置に重畳するように仮想車両画像を第１情報出力装置２４０に表示させる制御信号を生成する。また、制御信号生成部１１７は、案内情報生成部１１５により運転操作変更情報が生成された場合には、運転操作変更情報を第１情報出力装置２４０に出力させる制御信号を生成する。また、制御信号生成部１１７は、タイミング情報生成部１１６によりタイミング情報が生成された場合には、タイミング情報を第１情報出力装置２４０に出力させる制御信号を生成する。制御信号生成部１１７は、制御信号が生成されると、制御信号を通信装置１２０に出力する。また、制御信号生成部１１７は、第２ユーザの音声情報に基づいて、運転支援に関する音声情報を第１情報出力装置２４０に出力させる制御信号を生成してもよい。また、制御信号生成部１１７は、仮想情報生成部１１３により生成された仮想周辺画像及び仮想周辺音声の情報を含む仮想周辺情報を、第２情報出力装置３１０に出力させる制御信号を生成する。

【0033】

通信装置１２０は、車両２００の車載通信装置２３０と通信を行い、情報の授受を行う。具体的には、通信装置１２０は、車載通信装置２３０から車両２００の周辺情報を受信し、車載通信装置２３０に運転支援情報を送信する。具体的には、通信装置１２０は、仮想車両画像を第１情報出力装置２４０に出力させる制御信号を車載通信装置２３０に送信する。また、通信装置１２０は、運転操作変更情報とタイミング情報を第１情報出力装置２４０に出力させる制御信号を車載通信装置２３０に送信する。

【0034】

次に、車両２００について説明する。車両２００は、車載コントローラ２１０と、センサ群２２０と、車載通信装置２３０と、第１情報出力装置２４０と、第１運転操作装置２５０と、地図データベース２６０とを備える。車載コントローラ２１０は、車両２００の各装置、センサの機能を制御する。具体的には、車載コントローラ２１０は、センサ群２２０からセンサ情報を取得し、車載通信装置２３０に出力する。また、車載コントローラ２１０は、運転支援装置１００から送信された運転支援情報を第１情報出力装置２４０に出力する。

【0035】

センサ群２２０は、車両２００の周辺環境の状況に関する情報を取得する。センサ群２２０は、位置情報取得部２２１と、撮像画像取得部２２２と、外部音声取得部２２３と、対象物検出部２２４と、地図情報取得部２２５とを備える。位置情報取得部２２１は、車両２００の現在位置を検出する。位置情報取得部２２１は、例えば、ＧＰＳであり、複数の衛星通信から送信される電波を受信器で受信することで、自車両の位置情報を取得する。また、位置情報取得部２２１は、周期的に複数の通信衛星から送信される電波を受信することで、自車両の位置情報の変化を検出できる。撮像画像取得部２２２は、車両２００の周辺の走行環境を撮像する。撮像画像取得部２２２は、いわゆるＣＣＤやＣＭＯＳなどの撮像素子、光学レンズ、光学フィルタ、電源等の周辺電子回路を備え、撮像素子により画像を撮像する周知の撮像装置である。撮像画像取得部２２２は、車両２００の周辺環境を撮像するように配置されている。例えば、撮像画像取得部２２２は、車両２００の前後左右に配置された複数台のカメラであり、様々な方向の車外の風景を撮像する。撮像画像取得部２２２は、奥行き情報を含む周辺画像を取得することとしてもよい。また、撮像画像取得部２２２は、周辺画像を所定の周期で繰り返し撮像する。撮像画像取得部２２２は、撮像された撮像画像を、車載コントローラ２１０に送信する。

【0036】

外部音声取得部２２３は、車両２００の周辺環境における音声を集音する。外部音声取得部２２３は、例えば、車両の外側に設置される複数台のマイクロホンが設定されたマイクロホンアレーである。外部音声取得部２２３は、音の空間的な情報を取得して、音源の方向を推定する。外部音声取得部２２３は、集音した周辺音声を音声信号に変換した周辺音声情報を、車載コントローラ２１０に送信する。対象物検出部２２４は、車両２００周辺の対象物を検出する。例えば、対象物検出部２２４は、ミリ波又は超音波を車両２００周辺に照射して周囲の所定範囲を走査し、車両２００周辺に存在する対象物を検出する。対象物は、車両２００の周辺に存在する他車両、自転車、歩行者、交通制限、工事現場等を含む。対象物検出部２２４は、対象物と車両２００との相対位置（方位）、対象物と車両２００との間の距離を検出する。地図情報取得部２２５は、車両２００の周辺環境を含む地図情報を取得する。具体的には、地図情報取得部２２５は、位置情報取得部２２１により取得された車両２００の位置情報に基づいて、地図データベース２６０から、車両２００の周辺環境を含む地図情報を取得する。地図情報取得部２２５は、外部の地図データベースから、地図情報を取得することとしてもよい。地図情報取得部２２５により取得された地図情報は、車載コントローラ２１０に出力される。

【0037】

車載通信装置２３０は、通信装置１２０と通信を行い、情報の授受を行う。具体的には、車載通信装置２３０は、通信装置１２０から、運転支援情報を受信し、通信装置１２０にセンサ情報や地図情報を送信する。

【0038】

第１情報出力装置２４０は、画像情報や音声情報を第１ユーザに出力する。第１情報出力装置２４０は、画像表示装置２４１と、音声出力装置２４２とを備える。第１情報出力装置２４０は、例えば、ＡＲヘッドマウントディスプレイである。第１ユーザは、第１情報出力装置２４０を介して、現実の景色に仮想車両の画像が重畳表示された拡張現実（ＡＲ）を視認することができる。画像表示装置２４１は、車両２００の周辺環境の実景上の対象位置に重畳されるように仮想車両画像を表示する。また、画像表示装置２４１は、運転操作変更情報とタイミング情報を示す画像を表示する。画像表示装置２４１は、例えば、透過型ディスプレイである。また、画像表示装置２４１は、ＡＲヘッドマウントディスプレイのディスプレイに限らず、車両２００のフロントガラスであってもよい。また、音声出力装置２４２は、第２ユーザによる運転支援に関する音声情報を出力することとしてもよい。音声出力装置２４２は、例えば、ＡＲヘッドマウントディスプレイに備わるヘッドフォン、又は車両２００に搭載されているスピーカーである。

【0039】

第１運転操作装置２５０は、第１ユーザが車両２００の運転操作情報を入力するために用いられる。第１運転操作装置２５０は、少なくともステアリング・ホイール２５１と、ペダル２５２とを備える。ペダル２５２は、アクセルペダルとブレーキペダルを含む。第１ユーザがステアリング・ホイール２５１とペダル２５２を操作することで、運転操作情報が第１運転操作装置２５０に入力される。例えば、第１ユーザがステアリング・ホイール２５１及びペダル２５２を操作することで、操舵角情報やペダル踏込量情報を含む運転操作情報が第１運転操作装置２５０に入力され、入力された運転操作情報に基づいて車両２００の走行が制御される。また、第１ユーザにより入力された運転操作情報は、車載通信装置２３０を介して運転支援装置１００に送信される。

【0040】

地図データベース２６０は、道路情報等の情報を含む地図情報が予め格納されている。地図データベース２６０は、例えば、２次元地図情報及び３次元地図情報を含む。３次元地図情報は、土地の標高や、建築物の高さ等の３次元情報を含む地図情報である。また、３次元地図情報は、地図上の地形や建築物の３次元形状モデルを含む情報又は、形状モデルに地形や建築物の画像をテクスチャとして付加したモデルを含む情報であってもよい。

【0041】

第２運転操作装置３００は、第２ユーザが仮想車両の運転操作情報を入力するために用いられる。第２運転操作装置３００は、ステアリング・ホイール３０１と、ペダル３０２とを備える。第２運転操作装置３００は、例えば、ステアリング・ホイール３０１とペダル３０２として、一般的な車両のハンドルやアクセルペダル等の形状や構造を備える。第２ユーザがステアリング・ホイール３０１とペダル３０２を操作することで、運転操作情報が第２運転操作装置３００に入力される。運転操作情報は、仮想車両を移動させるための操舵角情報及びペダル踏込量情報を含む。例えば、第２ユーザが操縦装置のハンドルを操作することで、操舵角情報が第２運転操作装置３００に入力される。また、第２運転操作装置３００は、運転操作情報として音声情報の入力を受け付けることとしてもよい。例えば、第２運転操作装置３００は、第２ユーザの発した音声を集音するマイクを含む。第２ユーザが音声を発すると、第２運転操作装置３００に第２ユーザの音声情報が入力される。

【0042】

第２情報出力装置３１０は、第２ユーザに、対象位置の周囲の走行状況の情報を出力する装置である。第２情報出力装置３１０は、例えば、メガネ型又はゴーグル型のＶＲヘッドマウントディスプレイであって、第２ユーザの頭部に装着される。第２ユーザは、対象位置に設定される仮想車両周囲の走行状況が表示される仮想現実（ＶＲ）を視認することができる。第２情報出力装置３１０は、対象位置の周囲の走行状況を表す仮想周辺画像や、対象位置の周囲の音声を表す仮想周辺音声情報を出力する。これにより、第２ユーザは、あたかも自分が仮想車両に搭乗しているような景色を見ることができるとともに、あたかも自分が仮想車両に搭乗しているような音声を聞くことができる。第２情報出力装置３１０は、画像表示装置３１１と、音声出力装置３１２と、を備える。画像表示装置３１１は、例えば、非透過型ディスプレイである。音声出力装置３１２は、例えば、ヘッドフォン又はスピーカーである。画像表示装置３１１は、仮想情報生成部１１３により生成された仮想周辺画像を表示する。これにより、第２ユーザは、当該仮想周辺画像が表示されるディスプレイを介して、対象位置における仮想車両の周辺環境を見ることができる。音声出力装置３１２は、仮想周辺音声情報を出力する。これにより、第２ユーザは、ヘッドフォンを介して、対象位置における仮想車両の周辺の音声を聞くことができる。

【0043】

次に、図４及び図５を用いて、本実施形態に係る運転支援装置における運転支援方法の手順を説明する。図４は、本実施形態に係る運転支援方法の手順の一例を示すフローチャートである。図５は、本実施形態に係る運転支援方法の手順の一例を示すフローチャートである。図５のフローチャートは、図４のステップＳ１０における制御のフローチャートを示している。本実施形態では、車両２００の第１ユーザが、仮想先導車システムを起動して利用を開始すると、ステップＳ１から制御を開始する。

【0044】

ステップＳ１では、コントローラ１１０は、対象位置を初期設定の位置に設定する。初期設定の位置は、車両２００の進行方向の前方に、車両２００から所定距離離れた位置である。ステップＳ２では、コントローラ１１０は、対象位置に仮想車両画像を表示させる。具体的には、対象位置に仮想車両画像を表示させる制御信号を生成し、生成された制御信号を車両２００に送信させる。車両２００の第１情報出力装置２４０は、送信された制御信号に基づいて仮想車両画像を第１ユーザに表示する。

【0045】

ステップＳ３では、コントローラ１１０は、対象位置における走行状況を取得する。具体的には、コントローラ１１０は、車両２００のセンサ群２２０、他車両のセンサ群、及びインフラセンサにより検出された、対象位置の周囲の走行環境の周辺画像及び周辺音声を取得する。ステップＳ４では、コントローラ１１０は、第２情報出力装置３１０を介して、第２ユーザに仮想周辺情報を出力する。具体的には、コントローラ１１０は、ステップＳ３で取得された対象位置における走行状況に基づいて、仮想周辺情報として仮想周辺画像及び仮想周辺音声を生成する。そして、コントローラ１１０は、仮想周辺画像及び仮想周辺音声を第２情報出力装置３１０に出力させる制御信号を生成し、生成された制御信号を第２情報出力装置３１０に出力する。第２情報出力装置３１０は、制御信号に基づいて仮想周辺画像及び仮想周辺音声を出力する。

【0046】

ステップＳ５では、コントローラ１１０は、第２運転操作装置３００から出力された仮想車両の運転操作情報を取得する。仮想車両の運転操作情報は、第２ユーザが第２運転操作装置３００に入力した情報である。ステップＳ６では、コントローラ１１０は、ステップＳ５で受信した運転操作情報に基づいて、対象位置を更新する。ステップＳ７～Ｓ９では、コントローラ１１０は、更新後の対象位置に対して、ステップＳ２～４と同様の処理を実行し、更新後の対象位置における仮想周辺情報を出力する。

【0047】

ステップＳ１０では、コントローラ１１０は、運転変更必要性判定制御を行う。コントローラ１１０は、ステップＳ９の制御後、後述の図５のステップＳ１０１のフローに進む。ステップＳ１０のフローが終了すると、図４のフローに戻り、ステップＳ１１に進む。

【0048】

ステップＳ１１では、コントローラ１１０は、仮想先導車システムが終了したか否かを判定する。仮想先導車システムが終了したと判定される場合には、フローを終了する。仮想先導車システムが終了したと判定されない場合には、ステップＳ４に戻り、以下、フローを繰り返す。また、本実施形態では、仮想先導車システムが起動している間は、一定の周期で、制御フローが繰り返し実行される。具体的には、コントローラ１１０は、一定の周期で、対象位置の周辺情報を取得し、取得された周辺情報に基づいて、仮想周辺情報を更新する。これにより、第２ユーザの仮想車両の操縦によってリアルタイムに変化する周辺環境に対応させて仮想車両の周辺環境を更新することができる。また、同様に、第１ユーザに表示している仮想車両画像についても、第２ユーザの操縦に応じてリアルタイムに仮想車両の位置を更新する。

【0049】

次に、図５を用いて、本実施形態に係る運転支援方法の手順を説明する。本実施形態では、図４のステップＳ９の制御後に、図５のステップＳ１０１から制御フローを実行する。

【0050】

ステップＳ１０１では、コントローラ１１０は、対象位置において、運転操作内容を、現在の運転操作内容とは異なる運転操作内容に変更する必要があるか否かを判定する。具体的には、コントローラ１１０は、対象位置における走行状況に基づいて、対象位置の前方に、車両の走行に影響を与える対象物が存在するか否かの判定を行う。そして、コントローラ１１０は、対象物の有無に係る判定結果によって、対象位置において、運転操作内容を、現在の運転操作内容とは異なる運転操作内容に変更する必要があるか否かを判定する。運転操作内容を変更する必要があると判定される場合には、ステップＳ１０２に進む。運転操作内容を変更する必要がないと判定される場合には、ステップＳ１０におけるフローを終了し、図４のステップＳ１１に進む。

【0051】

ステップＳ１０２では、コントローラ１１０は、対象位置における運転操作内容を示す運転操作変更情報を生成する。例えば、コントローラ１１０は、第２ユーザにより入力される運転操作情報に基づいて、対象位置における運転操作内容を特定し、特定された運転操作内容を示す運転操作変更情報を生成する。

【0052】

ステップＳ１０３では、コントローラ１１０は、運転操作内容を変更するタイミングを示すタイミング情報を生成する。例えば、コントローラ１１０は、対象位置の周囲の走行環境の実景を表す画像をタイミング情報として生成する。

【0053】

ステップＳ１０４では、コントローラ１１０は、ステップＳ１０２で生成された運転操作変更情報、及び、ステップＳ１０３で生成されたタイミング情報を第１情報出力装置２４０に出力させる制御信号を生成する。

【0054】

ステップＳ１０５では、車両２００の第１情報出力装置２４０は、運転操作変更情報及びタイミング情報を第１ユーザに出力する。具体的には、まず、コントローラ１１０が、ステップＳ１０４で生成された制御信号を車載通信装置２３０に送信する。次に、車載コントローラ２１０は、車載通信装置２３０により受信された制御信号を第１情報出力装置２４０に出力する。そして、第１情報出力装置２４０は、入力された制御信号に基づいて、第１ユーザに運転操作変更情報とタイミング情報を出力する。ステップＳ１０５の制御後、図４に記載のステップＳ１１に戻る。本実施形態では、一定の周期、又は、対象位置の更新ごとに、対象位置において、運転操作内容の変更が必要であるか否かを判定することで、リアルタイムに変化する走行環境に応じて、運転操作の変更が必要であるかを判定する。

【0055】

以上のように、本実施形態では、車両の前方の対象位置の周囲の走行状況を取得し、取得された走行状況に基づいて、対象位置において、車両の運転操作の種別である運転操作内容を、現在の運転操作内容とは異なる運転操作内容に変更する必要があるか否かを判定し、運転操作内容を変更する必要があると判定される場合に、対象位置における運転操作内容を示す運転操作変更情報を生成し、運転操作内容を変更するタイミングを示すタイミング情報を生成し、運転操作変更情報及びタイミング情報を、車両の室内に設けられた出力装置に出力させる制御信号を生成する。これにより、運転者が、車両の具体的な操作タイミング及び具体的な操作内容を把握できる。

【0056】

また、本実施形態では、走行状況に基づいて、車両が対象位置に位置する場合に、車両の運転者の視点から見たときの周囲環境の実景を示す周囲環境情報を、タイミング情報として生成する。これにより、運転者は、車両が対象位置に到達した時の周囲環境の見え方から、運転操作内容を変更するタイミングを知ることができる。

【0057】

また、本実施形態では、走行状況に基づいて、対象位置の前方に、運転操作内容に影響を与える対象物が存在するか否かを判定し、車両の前方に、運転操作内容に影響を与える対象物が存在するか否かに関する判定結果により、対象位置において運転操作内容を変更する必要があるか否かを判定し、対象位置において運転操作内容を変更する必要があると判定される場合には、走行状況に基づいて、車両が対象位置に位置するときに運転者の位置から見える実景内の対象物の位置及び大きさを表す画像情報を、タイミング情報として生成する。これにより、運転者は、車両が対象位置に到達した時に見える実景内の対象物の位置及び大きさから、運転操作内容を変更するタイミングを知ることができる。

【0058】

また、本実施形態では、走行状況に基づいて、走行状況に適した運転操作内容を示す運転操作変更情報を生成し、運転操作変更情報を、出力装置に出力させる。これにより、運転者は、事前に、対象位置における運転操作内容として適切な運転操作内容を知ることができる。

【0059】

また、本実施形態では、車両から離れた位置にいるユーザにより入力された運転操作情報に基づいて、運転操作変更情報を生成する。これにより、運転者は、ユーザの運転操作から生成される、自動生成によりも高度な運転操作内容を知ることができる。

【0060】

また、本実施形態では、対象位置における運転操作内容が実行された場合には、実行後の走行状況を取得し、取得された実行後の走行状況に基づいて、周囲環境情報を生成し、生成された周囲環境情報を、出力装置に出力させる制御信号を生成する。これにより、運転者は、対象位置における運転操作内容を実行した後の対象位置の走行状況について知ることができる。

【0061】

なお、以上に説明した実施形態は、本発明の理解を容易にするために記載されたものであって、本発明を限定するために記載されたものではない。したがって、上記の実施形態に開示された各要素は、本発明の技術的範囲に属する全ての設計変更や均等物をも含む趣旨である。

【符号の説明】

【0062】

１０…運転支援システム
１００…運転支援装置
１１０…コントローラ
１１１…対象位置設定部
１１２…走行状況取得部
１１３…仮想情報生成部
１１４…運転変更必要性判定部
１１５…案内情報生成部
１１６…タイミング情報生成部
１１７…制御信号生成部
２００…車両
２１０…車載コントローラ
２２０…センサ群
２４０…第１情報出力装置
３００…第２運転操作装置
３１０…第２情報出力装置

【図1】

【図2A】

【図2B】

【図3】

【図4】

【図5】