特許 7597204 情報処理装置及び情報処理方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-12-02

(45)【発行日】2024-12-10

(54)【発明の名称】情報処理装置及び情報処理方法

(51)【国際特許分類】

   B60W 50/14 20200101AFI20241203BHJP

   B60W 40/06 20120101ALI20241203BHJP

   G08G 1/09 20060101ALI20241203BHJP

【ＦＩ】

B60W50/14

B60W40/06

G08G1/09

【請求項の数】 12

(21)【出願番号】P 2023506367

(86)(22)【出願日】2021-03-15

(86)【国際出願番号】 IB2021000186

(87)【国際公開番号】W WO2022195314

(87)【国際公開日】2022-09-22

【審査請求日】2023-08-31

(73)【特許権者】

【識別番号】000003997

【氏名又は名称】日産自動車株式会社

(74)【代理人】

【識別番号】110000486

【氏名又は名称】弁理士法人とこしえ特許事務所

(72)【発明者】

【氏名】寺口 剛仁

【審査官】武内 俊之

(56)【参考文献】

【文献】特開２００７－８０１７５（ＪＰ，Ａ）

【文献】特開２０１５－９３５９０（ＪＰ，Ａ）

【文献】国際公開第２０１３／５２９３（ＷＯ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｂ６０Ｗ ５０／１４

Ｂ６０Ｗ ４０／０６

Ｇ０８Ｇ １／０９

(57)【特許請求の範囲】

【請求項1】

車両の周辺環境の周辺情報を取得する周辺情報取得部と、
前記車両の進行方向の前方に仮想視点位置を設定する仮想視点位置設定部と、
前記周辺情報取得部により取得された前記周辺情報を用いて、前記仮想視点位置設定部により設定された前記仮想視点位置の周辺環境を表す仮想周辺情報を生成する仮想情報生成部と、
前記仮想情報生成部により生成された前記仮想周辺情報を、前記車両から離れた場所に位置する外部装置に出力させる第１制御信号を送信する送信部と、
前記外部装置から出力された、前記車両の運転操作に関する運転操作情報を受信する受信部と、
前記受信部より受信された前記運転操作情報に基づいて、前記車両の運転を支援するための運転支援情報を生成し、前記運転支援情報を前記車両内にある出力装置に出力させる第２制御信号を生成する運転支援情報制御部と、を備える情報処理装置。

【請求項2】

前記周辺情報取得部は、前記車両の周辺環境の周辺画像を取得し、
前記仮想情報生成部は、前記周辺情報取得部により取得された前記周辺画像を用いて、前記仮想視点位置設定部により設定された前記仮想視点位置の周辺環境を表す仮想周辺画像を生成し、
前記送信部は、前記仮想情報生成部により生成された前記仮想周辺画像を、前記外部装置に表示させる制御信号を前記第１制御信号として送信する請求項１に記載の情報処理装置。

【請求項3】

前記車両の位置を示す位置情報を取得する位置情報取得部と、をさらに備え、
前記仮想情報生成部は、
前記車両の位置を基準とした、前記車両の周辺環境における前記仮想視点位置を算出し、
前記仮想視点位置に基づいて、前記周辺画像を用いて前記仮想周辺画像を生成する請求項２に記載の情報処理装置。

【請求項5】

前記車両の位置を示す位置情報を取得する位置情報取得部と、をさらに備え、
前記送信部は、前記車両の位置情報及び前記仮想視点位置の位置情報を、前記外部装置に表示させる第３制御信号を送信する請求項１～４のいずれかに記載の情報処理装置。

【請求項6】

仮想車両を示す仮想車両画像を生成する仮想画像生成部と、をさらに備え、
前記運転支援情報制御部は、前記車両の周辺環境の実景上において、前記仮想視点位置に前記仮想車両画像が重畳されるように、前記出力装置に前記仮想車両画像を表示させる制御信号を前記第２制御信号として生成し、
前記送信部は、前記第２制御信号を前記出力装置に送信する請求項１～５のいずれかに記載の情報処理装置。

【請求項7】

前記受信部は、前記運転操作情報として、前記仮想車両の車載機器の制御を行う機器制御情報を受信し、
前記仮想画像生成部は、前記機器制御情報に基づいて、前記車載機器の制御が行われた前記仮想車両を示す前記仮想車両画像を生成する請求項６に記載の情報処理装置。

【請求項8】

前記受信部は、前記運転操作情報として、前記仮想視点位置を移動させる移動指示情報を受信し、
前記仮想視点位置設定部は、前記移動指示情報により、前記仮想視点位置を移動させる請求項６に記載の情報処理装置。

【請求項9】

前記仮想視点位置設定部は、
前記車両から前記仮想視点位置までの距離が所定の距離以上になったか否かを判定し、
前記距離が前記所定の距離以上になったと判定された場合には、前記距離が前記所定の距離より短くなる位置に前記仮想視点位置を再設定する請求項８に記載の情報処理装置。

【請求項10】

前記受信部は、前記運転操作情報として、前記車両の運転案内に関する音声情報を受信し、
前記運転支援情報制御部は、前記音声情報を、前記出力装置に出力させる音声制御信号を生成し、
前記送信部は、前記音声制御信号を前記出力装置に送信する請求項１～９のいずれかに記載の情報処理装置。

【請求項12】

車両の周辺環境の周辺情報を取得し、
前記車両の進行方向の前方に仮想視点位置を設定し、
取得された前記周辺情報を用いて、設定された前記仮想視点位置の周辺環境を表す仮想周辺情報を生成し、
生成された前記仮想周辺情報を、前記車両から離れた場所に位置する外部装置に表示させる第１制御信号を送信し、
前記外部装置から出力された、前記車両の運転操作に関する運転操作情報を受信し、
受信された前記運転操作情報に基づいて、前記車両の運転を支援するための運転支援情報を生成し、前記運転支援情報を前記車両内にある出力装置に出力させる第２制御信号を生成する情報処理方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、情報処理装置及び情報処理方法に関するものである。

【背景技術】

【0002】

車両の自動運転が困難な場合に、車両の周辺画像を遠隔地の管制センタに送信し、管制センタのオペレータが画像表示部に表示された周辺画像を見ながら車両の遠隔操縦を行う車両遠隔支援システムが知られている（特許文献１）。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０２０－００３８９０号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

特許文献１の技術は、画像表示部に表示された車両周囲の走行状況を見ながらオペレータ自身が車両の操縦を行うため、車両は走行状況の変化に遅延なく操縦される。しかしながら、車両に搭乗している運転者による手動運転をオペレータが遠隔支援する場合、オペレータが遠隔支援をしてから運転者が遠隔支援に従って運転を実行するまでにタイムラグが生じるため、以下のような問題がある。特許文献１の技術は、オペレータが車両の位置で周囲の走行状況を見ながら遠隔支援を行うため、運転者が遠隔支援に従ったとしても走行状況の変化に遅延なく応じた運転ができない。

【0005】

本発明が解決しようとする課題は、運転者が遠隔支援に従うことで走行状況の変化に遅延なく応じた運転を実行できる情報処理装置及び情報処理方法を提供することである。

【課題を解決するための手段】

【0006】

本発明は、車両の周辺環境の周辺情報を取得し、車両の進行方向の前方に仮想視点位置を設定し、周辺情報を用いて、仮想視点位置の周辺環境を表す仮想周辺情報を生成し、生成された仮想周辺情報を、車両から離れた場所に位置する外部装置に出力させる第１制御信号を送信し、外部装置から出力された、車両の運転操作に関する運転操作情報を受信し、受信された運転操作情報に基づいて、車両の運転を支援するための運転支援情報を生成し、運転支援情報を車両内にある出力装置に出力させる第２制御信号を生成することによって上記課題を解決する。

【発明の効果】

【0007】

本発明によれば、運転者が遠隔支援に従うことで走行状況の変化に遅延なく応じた運転を実行できる。

【図面の簡単な説明】

【0008】

【図1】図１は、本実施形態における情報処理装置の構成の一例を示す図である。

【図2A】図２Ａは、車両の周辺環境の一例を示す図である。

【図2B】図２Ｂは、仮想車両と、仮想車両周囲の車両の位置関係を表示する一例を示す図である。

【図3】図３は、本実施形態の情報処理装置における情報処理方法の手順の一例を示すフローチャートである。

【図4】図４は、本実施形態の情報処理装置における情報処理方法の手順の一例を示すフローチャートである。

【図5】図５は、本実施形態に係る情報処理装置、車両及び端末装置における情報処理方法の手順の一例を示すフローチャートである。

【発明を実施するための形態】

【0009】

本発明に係る情報処理装置の一実施形態を図面に基づいて説明する。図１は、本実施形態に係る情報処理装置１００を含む情報処理システム１０の構成の一例を示すブロック図である。図１で示されるように、本実施形態では、情報処理システム１０は、情報処理装置１００と、車両２００と、端末装置３００とを備える。情報処理装置１００は、車両２００及び端末装置３００との間で通信を行い、情報の授受が可能なサーバである。情報処理装置１００は、車両２００に、車両２００を手動運転する第１ユーザを支援するための運転支援情報を送信し、端末装置３００に、車両２００の進行方向の前方の位置における周辺環境の情報を送信する。端末装置３００は、車両２００から離れた遠隔地空間に位置する。例えば、遠隔地空間は、複数の車両を管理する管制センタである。管制センタでは、端末装置３００が、第２情報出力装置３４０を介して、車両２００の前方の位置における周辺環境の情報を第２ユーザに出力する。

【0010】

第２ユーザは、管制センタのオペレータであり、車両２００の前方の位置における周辺環境の情報を確認しながら、第１ユーザに車両２００の運転操作に関する運転支援情報の提供を行う。例えば、第１ユーザへの運転支援情報の提供のひとつとして、車両２００の前方を走行する仮想車両を表す仮想車両画像を、車両２００のフロントガラスに、車外の実景に重畳されるように表示する方法が挙げられる。第２ユーザは、当該仮想車両を操縦することで、車両２００を先導し、仮想車両の動きによって、第１ユーザに運転案内を行う。第２ユーザは、車両２００の位置よりも進行方向の前方の位置で、周辺環境を見ながら走行状況の変化に応じて仮想車両を操縦するため、第１ユーザに対して、車両２００の進行方向の前方の位置で必要となる運転内容を提供できる。一方で、第１ユーザは、車両２００のフロントガラスに表示される仮想車両の動きを見ながら車両２００を操縦する。これにより、第１ユーザは、仮想車両の動きに従うことで、走行状況の変化に遅延なく対応した運転を実行できる。また、本実施形態では、運転支援情報は、仮想車両画像に限らず、第２ユーザによる音声案内であってもよい。また、本実施形態では、情報処理装置１００は、車両２００に搭載されている装置又は端末装置３００に適用されることとしてもよい。

【0011】

情報処理装置１００は、コントローラ１１０と、通信装置１２０とを備える。コントローラ１１０は、ハードウェア及びソフトウェアを有するコンピュータを備えており、このコンピュータはプログラムを格納したＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）と、ＲＯＭに格納されたプログラムを実行するＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）と、アクセス可能な記憶装置として機能するＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）を含むものである。なお、動作回路としては、ＣＰＵに代えて又はこれとともに、ＭＰＵ（Ｍｉｃｒｏ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）などを用いることができる。

【0012】

コントローラ１１０は、機能ブロックとして、少なくとも周辺情報取得部１１１と、仮想視点位置設定部１１２と、画像生成部１１３と、音声情報生成部１１４と、送信部１１５と、受信部１１６と、運転支援情報制御部１１７と、を含み、上記各機能を実現する又は各処理を実行するためのソフトウェアと、ハードウェアとの協働により各機能を実行する。具体的には、コントローラ１１０は、まず、車両２００の周辺環境の周辺情報を取得し、車両２００の進行方向の前方に仮想視点位置を設定する。次に、コントローラ１１０は、周辺情報を用いて、仮想視点位置の周辺環境を表す仮想周辺情報を生成し、第２情報出力装置３４０を介して、仮想周辺情報を第２ユーザに出力させる制御信号を端末装置３００に送信する。そして、コントローラ１１０は、入力装置３２０に入力された運転操作情報を受信し、運転操作情報に基づいて生成された運転支援情報を出力させる制御信号を生成する。具体的には、コントローラ１１０は、第１情報出力装置２４０を介して、車両２００の周辺環境の実景上に重畳表示されるように仮想車両画像を表示させる制御信号を生成する。なお、本実施形態では、コントローラ１１０が有する機能を７つのブロックとして分けた上で、各機能ブロックの機能を説明するが、コントローラ１１０の機能は必ずしも７つのブロックに分ける必要はなく、６つ以下の機能ブロック、あるいは、８つ以上の機能ブロックで分けてもよい。

【0013】

周辺情報取得部１１１は、車両２００の周辺環境の周辺情報を取得する。周辺情報は、車両２００の周辺環境を撮像した周辺画像と、車両２００の周辺環境における音声情報と、車両２００の周辺の対象物の距離及び方向の情報とを含む。具体的には、周辺情報取得部１１１は、車両２００の撮像画像取得部２２２により撮像された車両２００の周辺画像を取得する。周辺情報取得部１１１は、車両２００の周辺に存在する他車両から、他車両のセンサ群により撮像された車両２００の周辺画像を取得してもよい。周辺情報取得部１１１は、インフラセンサにより撮像された車両２００の周辺画像を取得してもよい。インフラセンサは、車両２００が走行している道路沿いに設定されていて、インフラセンサの周辺の環境情報を検出する装置である。また、周辺情報取得部１１１は、周辺画像と音声情報の両方を取得することに限らず、周辺画像を取得するだけであってもよい。

【0014】

また、周辺情報取得部１１１は、車両２００の周辺環境における音声情報を取得する。具体的には、周辺情報取得部１１１は、車両２００の外部音声取得部２２３により取得された、車両２００の周辺の音声情報を取得する。周辺情報取得部１１１は、車両２００の周辺に存在する他車両から、他車両のセンサ群により検出された音声情報を取得してもよい。周辺情報取得部１１１は、インフラセンサにより検出された、車両２００の周辺の音声情報を取得してもよい。

【0015】

また、周辺情報取得部１１１は、車両２００の周辺に存在する対象物の距離及び方向の情報を取得する。具体的には、周辺情報取得部１１１は、車両２００の対象物検出部２２４により検出された、車両２００周辺の対象物の距離及び方向の情報を取得する。対象物は、車両２００の周囲に存在する他車両、自転車、歩行者、交通制限、工事現場等を含む。対象物の距離及び方向は、車両２００と対象物との間の距離及び車両２００に対する対象物の方向である。周辺情報取得部１１１は、車両２００の周辺に存在する他車両から、他車両のセンサ群により検出される対象物の距離及び方向の情報を取得してもよい。周辺情報取得部１１１は、インフラセンサにより検出された車両２００周辺の対象物の距離や方向の情報を取得してもよい。

【0016】

仮想視点位置設定部１１２は、車両２００の進行方向の前方に仮想視点位置を設定する。仮想視点位置は、車両２００の周辺環境に設定される仮想の視点位置である。仮想視点位置は、車両２００の周辺環境における仮想車両の位置である。例えば、仮想視点位置は、仮想車両の運転席の位置に相当する位置である。第２ユーザは、仮想視点位置から仮想車両の周辺環境を見ることができる。仮想視点位置は、車両２００の位置を基準とした、実空間上の座標位置として設定される。本実施形態では、車両２００の運転者である第１ユーザが仮想先導車システムを起動した時に、仮想視点位置設定部１１２は、初期設定の位置に仮想視点位置を設定する。初期設定の位置は、あらかじめ定義された位置で、例えば、車両２００の進行方向の前方で、車両２００から第１所定距離離れた位置である。

【0017】

また、仮想視点位置設定部１１２は、移動指示情報に基づいて、仮想視点位置を更新する。移動指示情報は、第２ユーザにより仮想車両を移動させるための情報である。移動指示情報は、仮想車両のステアリング、アクセル及びブレーキ操作の情報を含む。移動指示情報は、一定の周期で、端末装置３００を介してコントローラ１１０に出力されている。例えば、移動指示情報は、第２ユーザがステリング操作を行うことで出力されるステアリング操作の情報である。また、例えば、第２ユーザが仮想車両の車速を一定の速度に維持し続けている場合には、移動指示情報は、車速を一定の速度に維持するためのアクセル操作の情報である。また、移動指示情報は、仮想車両が通過する位置の指定に関する情報であってもよい。例えば、第２ユーザが、仮想車両の周囲を示す地図上に仮想車両が通過する位置を複数のポイントとして指定すると、ポイントとして指定された位置の情報が移動指示情報として出力される。仮想視点位置設定部１１２は、仮想車両に対する移動指示情報に基づいて、仮想車両の位置に対応する仮想視点位置を更新する。具体的には、仮想視点位置設定部１１２は、仮想視点位置の位置と、移動指示情報に基づいて、所定時間後（例えば、１秒後）の仮想視点位置の位置を算出して、算出された所定時間後の仮想視点位置に仮想視点位置を更新する。例えば、仮想視点位置設定部１１２は、まず、移動指示情報として取得される車両２００の車速情報と操舵角情報に基づいて、所定時間後の移動距離と移動方向を算出する。次に、仮想視点位置設定部１１２は、現在の仮想視点位置を基準として、移動方向に、移動距離分移動させた位置を所定時間後の仮想視点位置として算出する。そして、仮想視点位置設定部１１２は、算出された所定時間後の仮想視点位置に仮想視点位置を更新する。

【0018】

また、仮想視点位置設定部１１２は、所定の条件を満たした場合に、仮想視点位置の再設定を行う。本実施形態では、上述の第２ユーザによる移動指示情報に基づく仮想視点位置の更新のための制御と並行して、仮想視点位置の再設定のための所定の条件の判定制御が実行される。具体的には、仮想視点位置設定部１１２は、一定の周期で、所定の条件を満たすか否かの判定を実行し、所定の条件を満たすと判定された場合には、仮想視点位置の再設定を行う。そして、再設定後、仮想視点位置設定部１１２は、再設定された仮想視点位置を現在の仮想視点位置として、仮想視点位置の更新のための制御を続行させる。例えば、仮想視点位置設定部１１２は、所定の条件を満たした場合には、車両２００の進行方向の前方で、車両２００から第１所定距離離れた位置に仮想視点位置を再設定する。仮想視点位置設定部１１２により仮想視点位置が再設定された場合には、再設定後の仮想視点位置に基づいて、第２ユーザに出力される仮想周辺情報が生成され、第１ユーザに表示される仮想車両画像の位置が更新される。また、本実施形態では、再設定時に、車両２００から第１所定距離離れた位置に仮想視点位置を設定することとしているが、再設定時には、初期設定時と同じ第１所定距離に限らず、第１所定距離以外の距離を設定してもよい。

【0019】

仮想視点位置設定部１１２により判定される、仮想視点位置の再設定のための所定の条件は、具体的には、仮想視点位置が車両２００から第２所定距離以上離れた場合、車両２００が走行している道路上に仮想視点位置が存在していない場合、及び運転者により仮想視点位置の再設定に係る指令情報の入力があった場合である。例えば、第２ユーザは車両２００の移動とは独立して仮想車両を操縦できるため、仮想車両の移動に車両２００が追いつけないということも起こりうる。仮想車両と車両２００との間の距離が離れてしまうと、仮想車両の運転が車両２００の運転者の参考にならない場合がある。そのため、仮想視点位置設定部１１２は、仮想視点位置、つまり仮想車両の位置が車両２００から第２所定距離以上離れたか否かを判定し、仮想視点位置が車両２００から第２所定距離以上離れたと判定される場合には、仮想視点位置を、車両２００から第１所定距離以内の位置に再設定する。具体的には、仮想視点位置設定部１１２は、車両２００の位置情報と、仮想視点位置の位置情報に基づいて、車両２００と仮想視点位置との間の距離を算出し、車両２００と仮想視点位置との間の距離が第２所定距離以上であるか否かを判定する。仮想視点位置設定部１１２は、車両２００と仮想視点位置との間の距離が第２所定距離以上であると判定される場合には、車両２００の進行方向の前方で、車両２００から第１所定距離離れた位置に仮想視点位置を再設定する。また、仮想視点位置設定部１１２は、車両２００と仮想視点位置との間の距離が第２所定距離以上であると判定される場合には、仮想視点位置が車両２００から第１所定距離以内の位置になるように、仮想視点位置の移動速度を制限してもよい。具体的には、仮想視点位置設定部１１２は、端末装置３００に、第２ユーザによって入力可能な速度を所定速度よりも低い速度に制限する速度制限信号を出力する。例えば、仮想視点位置設定部１１２は、車両２００が時速５０ｋｍで走行している場合には、第２ユーザによって入力可能な車速を時速５０ｋｍより低い速度に制限する。また、本実施形態では、第１所定距離と第２所定距離は、それぞれあらかじめ設定された値である。例えば、第１所定距離は、第２所定距離よりも短い距離として設定される。

【0020】

また、本実施形態では、仮想視点位置設定部１１２は、車両２００が走行している道路上に仮想視点位置が存在していない場合に、仮想視点位置を再設定する。仮想車両が車両２００から第２所定距離以内に位置する場合であっても、車両２００が走行している道路とは異なる道路を走行していると、車両２００の運転者には、仮想車両の運転は参考にならないからである。例えば車両２００の走行経路が設定されている場合には、走行経路上にない道路が、異なる道路に相当する。そのため、仮想視点位置設定部１１２は、車両２００が走行している道路とは異なる道路上に仮想視点位置が存在するか否かを判定し、車両２００が走行している道路とは異なる道路上に仮想視点位置が存在すると判定される場合には、仮想視点位置を、初期設定の位置に再設定する。具体的には、仮想視点位置設定部１１２は、地図情報と、車両２００の位置情報と、仮想視点位置の位置情報とに基づいて、車両２００が走行している道路とは異なる道路上に仮想視点位置が存在するか否かを判定する。例えば、仮想視点位置設定部１１２は、地図情報から道路のリンク情報を取得し、車両２００が位置しているリンクが、仮想視点位置が存在するリンクと異なるか否かを判定する。そして、異なると判定される場合には、仮想視点位置設定部１１２は、車両２００が走行している道路とは異なる道路上に仮想視点位置が存在すると判定し、車両２００の進行方向の前方で、車両２００から第１所定距離離れた位置に仮想視点位置を再設定する。

【0021】

また、仮想視点位置設定部１１２は、運転者により仮想視点位置の再設定に係る指令情報の入力があった場合に、仮想視点位置を再設定する。車両２００の走行中に、仮想車両が離れていってしまう場合には、運転者が仮想車両の位置を再設定することを希望する場合もあるからである。そのため、仮想視点位置設定部１１２は、運転者により仮想車両の位置の再設定に関する情報の入力があったか否かを判定し、運転者により仮想車両の位置の再設定に関する情報の入力があったと判定される場合には、仮想視点位置を、初期設定の位置に再設定する。具体的には、仮想視点位置設定部１１２は、車両２００から通信装置１２０を介して、仮想視点位置の再設定に関する指令情報を受信した場合には、運転者により仮想車両の位置の再設定に関する情報の入力があったと判定する。そして、仮想視点位置設定部１１２は、運転者により仮想車両の位置の再設定に関する情報の入力があったと判定された場合には、車両２００の進行方向の前方で、車両２００から第１所定距離離れた位置に仮想視点位置を再設定する。

【0022】

画像生成部１１３は、仮想視点位置の周辺環境を表す仮想周辺画像を生成する。すなわち、仮想周辺画像は、仮想車両の位置における周辺環境を表す画像である。第２ユーザは、仮想周辺画像が表示されることで、あたかも仮想車両の運転席に座っているように周辺環境を視認することができる。画像生成部１１３は、まず、車両２００を基準とした周辺環境の３次元空間情報を取得し、周辺環境の３次元空間における仮想視点位置を算出し、車両２００の周辺画像を用いて仮想視点位置における仮想周辺画像を生成する。３次元空間情報は、車両２００の位置情報と、３次元地図情報とに基づいて、車両２００の位置を基準とした周辺環境の３次元空間情報として取得される。また、３次元空間情報は、車両２００のセンサ群２２０により取得したセンサ情報に基づいて、ＳＬＡＭを用いて、車両２００の位置の推定と、車両２００の周辺環境に関する３次元の環境地図がリアルタイムに生成されることとしてもよい。また、画像生成部１１３は、ライトフィールドレンダリング技術により、仮想視点位置における仮想周辺画像を生成してもよい。具体的には、画像生成部１１３は、複数の視点のカメラにより撮像された車両２００の周辺環境の周辺画像から、車両２００の周辺環境の光線情報を取得し、仮想視点位置に届く光線情報に基づいて仮想視点位置における画像を合成することで、仮想周辺画像を生成する。

【0023】

また、画像生成部１１３は、仮想視点位置の周辺環境を俯瞰的に表す俯瞰画像を生成してもよい。画像生成部１１３は、周辺情報取得部１１１により取得された、仮想視点位置と、仮想視点位置の周辺の対象物との間の距離と、仮想視点位置に対する対象物の位置の方向から、仮想視点位置と対象物との位置関係を表す俯瞰画像を生成する。図２Ａは、車両２００の周辺環境を表す一例である。また、図２Ｂは、図２Ａで示される車両２００の周辺環境において、仮想車両の周辺環境を表す俯瞰画像の一例を示す図である。すなわち、図２Ｂは、車両２００の周囲を走行する車両を検出した情報に基づいて生成された俯瞰画像を表している。図２Ａで示されるように、車両２００の周辺には、車両Ｖ１、車両Ｖ２及び車両Ｖ３が走行している。そして、第１ユーザには、車両２００の進行方向の前方の位置に仮想車両が走行しているように表示されている。図２Ａの例では、車両２００は、車両Ｖ１、車両Ｖ２及び車両Ｖ３を検出する。図２Ｂは、仮想車両を操縦する第２ユーザに表示される画像であり、仮想車両と、仮想車両の前方及び側方で走行している車両Ｖ２及び車両Ｖ３が表示されている。第２ユーザは、俯瞰画像を見ることで、仮想車両と、周辺の対象物との位置関係を把握することができる。また、俯瞰画像は、車両２００の位置と、仮想車両の位置を含む画像であってもよい。また、俯瞰画像は、車両２００の周辺画像を用いて視点変換によって生成されることとしてもよい。

【0024】

音声情報生成部１１４は、仮想周辺音声を生成する。仮想周辺音声は、仮想視点位置において周辺環境から聞こえてくる仮想の音声である。音声情報生成部１１４は、外部音声取得部２２３により取得された車両２００の周辺環境の音声情報に基づいて、周辺環境における音源の位置に対応するように仮想音源の位置を設定し、仮想音源の位置に仮想音響の音像を定位させるように仮想音響の音声信号処理を行う。音声情報生成部１１４は、音声信号処理により生成した音声情報を通信装置１２０に出力する。また、本実施形態では、音声情報生成部１１４による仮想周辺音声の生成を行わずに、画像生成部１１３による仮想画像の生成のみを行うこととしてもよい。

【0025】

送信部１１５は、画像生成部１１３及び音声情報生成部１１４により生成された情報を出力させる制御信号を、通信装置１２０を介して車両２００及び端末装置３００に送信する。具体的には、送信部１１５は、仮想周辺画像及び仮想周辺音声の情報を含む仮想周辺情報を、第２情報出力装置３４０に出力させる制御信号を端末通信装置３３０に送信する。また、送信部１１５は、画像生成部１１３により生成された仮想車両画像、及び、第２ユーザにより入力された運転案内に関する音声情報を、第１情報出力装置２４０に出力させる制御信号を車両２００に送信する。

【0026】

受信部１１６は、第２ユーザによって入力装置３２０に入力された運転操作情報を受信する。運転操作情報は、車両２００の運転操作に関する情報である。具体的には、運転操作情報は、第２ユーザにより仮想車両の位置（仮想視点位置）を移動させるための移動指示情報を含む。すなわち、第２ユーザは、第１ユーザに表示される仮想車両の移動を行うことで、車両２００の運転操作に必要な情報を提供する。例えば、第２ユーザは、左側に障害物がある場合には、右側に仮想車両を移動させることで、車両２００を右側に移動させる運転操作が必要であることを第１ユーザに教えることができる。また、運転操作情報は、仮想車両の車載機器の制御に関する機器制御情報を含むこととしてもよい。例えば、第２ユーザは、ブレーキランプを点灯させる機器制御情報を入力することで、第１ユーザに、車両２００を停止させる運転操作が必要であるという情報を提供する。また、受信部１１６は、運転操作情報として、第２ユーザによる運転案内に関する音声情報を端末装置３００から受信する。

【0027】

運転支援情報制御部１１７は、車両２００の運転を支援するための運転支援情報を生成し、第１情報出力装置２４０を介して第１ユーザに運転支援情報を出力させる制御信号を生成する。具体的には、まず、運転支援情報制御部１１７は、仮想車両画像を生成する。仮想車両画像は、例えば、車両の３Ｄオブジェクトにより構成される。仮想車両画像は、ステアリングランプやブレーキランプ等の車載機器の画像を含む。運転支援情報制御部１１７は、車両２００の運転者が仮想先導車システムを起動すると、仮想車両画像を生成する。また、運転支援情報制御部１１７は、機器制御情報に基づいて、仮想車両の車載機器が作動している画像を生成する。例えば、運転支援情報制御部１１７は、ブレーキランプを点灯させる機器制御情報が入力された場合には、ブレーキランプが点灯した仮想車両の画像を生成する。また、本実施形態では、運転支援情報制御部１１７は、仮想車両の画像に限らず、他の対象物の仮想画像を生成することとしてもよい。例えば、運転支援情報制御部１１７は、車両２００の走行方向を示す矢印の仮想画像を生成してもよい。

【0028】

次に、運転支援情報制御部１１７は、仮想視点位置設定部１１２により設定された仮想視点位置に重畳するように仮想車両画像を表示させる制御信号を生成する。仮想視点位置の設定は、初期設定の位置への設定、仮想視点位置の更新及び仮想視点位置の再設定を含む。また、運転支援情報制御部１１７は、機器制御情報に基づいて車載機器が作動している仮想車両を表す仮想車両画像が生成された場合には、仮想視点位置に重畳するように当該仮想車両画像を表示させる制御信号を生成する。また、運転支援情報制御部１１７は、受信部１１６により受信された第２ユーザの音声情報に基づいて、運転支援に関する音声情報を生成してもよい。運転支援情報制御部１１７は、運転支援に関する音声情報を生成すると、第１情報出力装置２４０の音声出力装置２４２から当該音声情報を出力させる制御信号を生成する。また、運転支援情報制御部１１７は、車両２００と仮想視点位置との間に、第１ユーザの視界から仮想車両を遮蔽する障害物がある場合には、仮想車両画像に重畳するように障害物の画像を表示させる制御信号を生成する。障害物は、例えば、他車両や建築物等を含む。具体的には、運転支援情報制御部１１７は、奥行き情報を含む周辺画像から推定された仮想視点位置と障害物との前後関係に基づいて、車両２００と仮想視点位置との間に障害物が存在するか否かを判定する。そして、運転支援情報制御部１１７は、車両２００と仮想視点位置との間に障害物が存在すると判定される場合には、障害物の位置で、仮想車両画像に重畳するように障害物の画像を表示する制御信号を生成する。

【0029】

通信装置１２０は、車両２００の車載通信装置２３０及び端末装置３００の端末通信装置３３０とそれぞれ通信を行い、情報の授受を行う。具体的には、通信装置１２０は、端末装置３００に仮想周辺情報を送信し、端末装置３００から、運転操作情報を受信する。また、通信装置１２０は、車載通信装置２３０から、車両２００の周辺情報を受信し、車載通信装置２３０に、運転支援情報を送信する。

【0030】

次に、車両２００について説明する。車両２００は、車載コントローラ２１０と、センサ群２２０と、車載通信装置２３０と、第１情報出力装置２４０と、入力装置２５０と、地図データベースとを備える。車載コントローラ２１０は、車両２００の各装置、センサの機能を制御する。具体的には、車載コントローラ２１０は、センサ群２２０からセンサ情報を取得し、車載通信装置２３０に出力する。また、車載コントローラ２１０は、情報処理装置１００から送信された運転支援情報を第１情報出力装置２４０に出力する。

【0031】

センサ群２２０は、車両の周辺環境の状況に関する情報を取得する。センサ群２２０は、位置情報取得部２２１と、撮像画像取得部２２２と、外部音声取得部２２３と、対象物検出部２２４と、地図情報取得部２２５と、を備える。位置情報取得部２２１は、車両２００の現在位置を検出する。位置情報取得部２２１は、例えば、ＧＰＳであり、複数の通信衛星から送信される電波を受信器で受信することで、自車両の位置情報を取得する。また、位置情報取得部２２１は、周期的に複数の衛星通信から送信される電波を受信することで、自車両の位置情報の変化を検出できる。撮像画像取得部２２２は、車両２００の周辺の走行環境を撮像する。撮像画像取得部２２２は、いわゆるＣＣＤやＣＭＯＳなどの撮像素子、光学レンズ、光学フィルタ、電源等の周辺電子回路を備え、撮像素子により画像を撮像する周知の撮像装置である。撮像画像取得部２２２は、車両２００の周辺環境を撮像するように配置されている。例えば、撮像画像取得部２２２は、車両２００の前後左右に配置された複数台のカメラであり、様々な方向の車外の風景を撮像する。撮像画像取得部２２２は、奥行き情報を含む周辺画像を取得することとしてもよい。また、撮像画像取得部２２２は、周辺画像を所定の周期で繰り返し撮像する。撮像画像取得部２２２は、撮像された撮像画像を、車載コントローラ２１０に送信する。

【0032】

外部音声取得部２２３は、車両２００の周辺環境における音声を集音する。外部音声取得部２２３は、例えば、車両の外側に設置される複数台のマイクロホンが設定されたマイクロホンアレーである。外部音声取得部２２３は、音の空間的な情報を取得して、音源の方向を推定する。外部音声取得部２２３は、集音した周辺音声を音声信号に変換した周辺音声情報を、車載コントローラ２１０に送信する。対象物検出部２２４は、車両２００周辺の対象物を検出する。対象物検出部２２４は、例えば、ミリ波又は超音波を車両２００周辺に照射して周囲の所定範囲を走査し、車両２００周辺に存在する対象物を検出する。対象物は、車両２００の周辺に存在する他車両、自転車、歩行者、交通制限、工事現場等を含む。対象物検出部２２４は、対象物と車両２００との相対位置（方位）、対象物と車両２００との間の距離を検出する。地図情報取得部２２５は、車両２００の周辺環境を含む地図情報を取得する。具体的には、地図情報取得部２２５は、位置情報取得部２２１により取得された車両２００の位置情報に基づいて、地図データベース２６０から、車両２００の周辺環境を含む地図情報を取得する。地図情報取得部２２５は、外部の地図データベースから、地図情報を取得することとしてもよい。地図情報取得部２２５により取得された地図情報は、車載コントローラ２１０に出力される。

【0033】

車載通信装置２３０は、通信装置１２０と通信を行い、情報の授受を行う。具体的には、車載通信装置２３０は、通信装置１２０から、運転支援情報を受信し、通信装置１２０に、センサ情報や地図情報を送信する。

【0034】

第１情報出力装置２４０は、画像情報や音声情報を第１ユーザに出力する。第１情報出力装置２４０は、画像表示装置２４１と、音声出力装置２４２とを備える。第１情報出力装置２４０は、例えば、ＡＲヘッドマウントディスプレイである。第１ユーザは、第１情報出力装置２４０を介して、現実の景色に仮想車両の画像が重畳表示された拡張現実（ＡＲ）を視認することができる。画像表示装置２４１は、車両２００の周辺環境の実景上の仮想視点位置に重畳されるように仮想車両画像を表示する。画像表示装置２４１は、例えば、透過型ディスプレイである。また、画像表示装置２４１は、ＡＲヘッドマウントディスプレイのディスプレイに限らず、車両２００のフロントガラスであってもよい。また、音声出力装置２４２は、第２ユーザの音声情報を出力する。音声出力装置２４２は、例えば、ＡＲヘッドマウントディスプレイに備わるヘッドフォン、又は車両２００に搭載されているスピーカーである。

【0035】

入力装置２５０は、第１ユーザにより操作される装置であり、第１ユーザが、仮想視点位置を車両２００の周辺に再設定するために用いられる。入力装置２５０は、例えば、ディスプレイ上に配置されるタッチパネルや、スイッチボタン又はジョイスティック等の手操作による入力が可能な装置である。第１ユーザは、入力装置２５０に、仮想車両の位置を車両２００の周辺に再設定する指示情報を入力できる。

【0036】

地図データベース２６０は、道路情報等の情報を含む地図情報が予め格納されている。地図データベース２６０は、例えば、２次元地図情報及び３次元地図情報を含む。３次元地図情報は、土地の標高や、建築物の高さ等の３次元情報を含む地図情報である。また、３次元地図情報は、地図上の地形や建築物の３次元形状モデルを含む情報又は、形状モデルに地形や建築物の画像をテクスチャとして付加したモデルを含む情報であってもよい。

【0037】

端末装置３００は、遠隔地空間において、第２ユーザにより利用される装置であって、仮想車両の位置における周辺環境を表す画像や音声を出力する。端末装置３００は、例えば、遠隔地空間に設置されるものであってもよい。端末装置３００は、端末コントローラ３１０と、入力装置３２０と、端末通信装置３３０と、第２情報出力装置３４０とを備える。端末コントローラ３１０は、端末装置３００の各装置の機能を制御する。具体的には、端末コントローラ３１０は、入力装置３２０に第２ユーザの音声情報の入力があると、端末通信装置３３０に、当該音声情報を情報処理装置１００に送信する制御信号を出力する。また、端末コントローラ３１０は、端末通信装置３３０により受信された情報を、第２情報出力装置３４０から第２ユーザに出力させる制御信号を出力する。

【0038】

入力装置３２０は、第２ユーザにより操作される装置であり、第２ユーザが運転操作情報を入力するために用いられる。具体的には、入力装置３２０は、仮想車両用の操縦装置であり、例えば、ハンドル、アクセル、ブレーキ及びランプスイッチ等に対応したスイッチを含む。操縦装置は、一般的な車両のハンドルやアクセルペダル等の形状や構造を備えたものであってもよいし、ジョイスティック等を用いることとしてもよい。第２ユーザが操縦装置を操作することで、操作内容が運転操作情報として入力装置３２０に入力される。運転操作情報は、仮想車両を移動させる移動指示情報及び仮想車両の車載機器を制御する機器制御情報を含む。例えば、第２ユーザが操縦装置のハンドルを操作することで、操舵角情報が仮想車両に対する移動指示情報として入力装置３２０に入力される。また、第２ユーザが、ブレーキランプ等の車載機器の操作を行った場合には、車載機器の操作情報が機器制御情報として入力装置３２０に入力される。また、入力装置３２０は、運転操作情報として音声情報の入力を受け付けることとしてもよい。例えば、入力装置３２０は、第２ユーザの発した音声を集音するマイクを含む。第２ユーザが音声を発すると、入力装置３２０に第２ユーザの音声情報が入力される。

【0039】

本実施形態では、第２ユーザによる仮想車両の操作は、実際の車両において機械的・物理的に実行可能な操作に制限される。例えば、仮想車両の車速を４０ｋｍから６０ｋｍに瞬時に変更するような操作や、仮想車両の位置を瞬時に隣接車線に移動させるような操作を実行することは制限される。これにより、仮想車両は、機械的・物理的に可能な範囲で移動することができる。また、第２ユーザによる仮想車両の操作は、交通規則に則した操作に制限される。また、入力装置３２０は、コントローラ１１０から速度制限信号を受信した場合には、第２ユーザにより入力可能な車速を所定速度以下に制限する。

【0040】

端末通信装置３３０は、情報処理装置１００及び車両２００の車載通信装置２３０と通信を行い、情報の授受を行う。具体的には、端末通信装置３３０は、情報処理装置１００から、仮想周辺情報を受信し、情報処理装置１００に運転操作情報を送信する。

【0041】

第２情報出力装置３４０は、第２ユーザに、仮想視点位置における周辺環境の情報を出力する装置である。第２情報出力装置３４０は、例えば、メガネ型又はゴーグル型のＶＲヘッドマウントディスプレイであって、第２ユーザの頭部に装着される。第２ユーザは、端末装置３００を介して、仮想車両の位置における周辺環境が表示される仮想現実（ＶＲ）を視認することができる。第２情報出力装置３４０は、仮想視点位置における周辺環境を表す仮想周辺画像や、仮想視点位置における周囲の音声を表す仮想周辺音声情報を出力する。これにより、第２ユーザは、あたかも自分が仮想車両に搭乗しているような景色を見ることができるとともに、あたかも自分が仮想車両に搭乗しているような音声を聞くことができる。第２情報出力装置３４０は、画像表示装置３４１と、音声出力装置３４２と、を備える。画像表示装置３４１は、例えば、非透過型ディスプレイである。音声出力装置３４２は、例えば、ヘッドフォン又はスピーカーである。画像表示装置３４１は、画像生成部１１３により生成された仮想周辺画像を表示する。これにより、第２ユーザは、当該仮想周辺画像が表示されるディスプレイを介して、仮想視点位置における仮想車両の周辺環境を見ることができる。音声出力装置３４２は、仮想周辺音声情報を出力する。これにより、第２ユーザは、ヘッドフォンを介して、仮想視点位置における仮想車両の周辺の音声を聞くことができる。

【0042】

次に、図３及び図４を用いて、本実施形態に係る情報処理装置における情報処理方法の手順を説明する。図３は、本実施形態に係る情報処理装置における情報処理方法の手順を示すフローチャートである。図４は、仮想車両画像の位置である仮想視点位置を再設定するための制御フローを示すフローチャートであり、図３のステップＳ１０における制御フローを示している。本実施形態では、車両２００の第１ユーザが、仮想先導車システムを起動して利用を開始すると、ステップＳ１から、本実施形態に係る情報処理を開始する。また、本実施形態では、図４の制御フローは、ステップＳ９の後に実行される制御としているが、これに限らず、図３の各ステップ間で、図４の制御フローが実行されることとしてもよい。この場合、図３における仮想視点位置の更新制御と、図４における仮想視点位置の再設定制御に係る判定制御が並行して実行されることとなる。

【0043】

ステップＳ１では、コントローラ１１０は、仮想視点位置を初期設定の位置に設定する。初期設定の位置は、車両２００の進行方向の前方に、車両２００から第１所定距離離れた位置である。ステップＳ２では、コントローラ１１０は、仮想車両を表す仮想車両画像を生成する。ステップＳ３では、コントローラ１１０は、車両２００の周辺環境の実風景上の仮想視点位置に重畳されるように仮想車両画像を画像表示装置２４１に表示させる制御信号を車両２００に送信する。

【0044】

ステップＳ４では、コントローラ１１０は、車両２００の周辺環境の周辺情報を取得する。具体的には、コントローラ１１０は、車両２００のセンサ群２２０により検出された、車両２００の周辺環境の周辺画像及び周辺音声を取得する。ステップＳ５では、コントローラ１１０は、ステップＳ４で取得された周辺情報に基づいて、仮想周辺画像及び仮想周辺音声を生成する。ステップＳ６では、コントローラ１１０は、ステップＳ５で生成された仮想周辺画像及び仮想周辺音声を端末装置３００に出力する。

【0045】

ステップＳ７では、コントローラ１１０は、端末装置３００から送信された運転操作情報を受信する。具体的には、コントローラ１１０は、運転操作情報として、仮想車両の位置すなわち仮想視点位置の移動指示情報及び仮想車両の車載機器の機器制御情報を受信する。運転操作情報は、第２ユーザが端末装置３００の入力装置３２０に入力した情報である。ステップＳ８では、コントローラ１１０は、ステップＳ７で運転操作情報として受信した移動指示情報に基づいて、仮想視点位置を更新する。ステップＳ９では、コントローラ１１０は、更新後の仮想視点位置に仮想車両画像を表示させる制御信号を送信する。すなわち、コントローラ１１０は、仮想視点位置の移動に合わせて仮想車両画像の位置を移動させるように表示する。これにより、第２ユーザの仮想車両の操縦に応じて、第１ユーザに表示している仮想車両画像を移動することができ、第１ユーザには、あたかも仮想車両が車両２００の前方で走行しているように見える。

【0046】

ステップＳ１０では、コントローラ１１０は、仮想視点位置の再設定制御を行う。コントローラ１１０は、ステップＳ９の制御後、図４に記載の制御フローを実行する。

【0047】

まず、ステップＳ１０１では、コントローラ１１０は、仮想視点位置と車両２００との間の距離を取得する。具体的には、コントローラ１１０は、仮想視点位置の位置情報と、車両２００の位置情報とから、仮想視点位置と車両２００との間の距離を取得する。ステップＳ１０２では、コントローラ１１０は、仮想視点位置が車両２００から第２所定距離以上離れているか否かを判定する。具体的には、コントローラ１１０は、ステップＳ１０１で取得した仮想視点位置と車両２００との間の距離が第２所定距離以上であるか否かを判定する。仮想視点位置が車両２００から第２所定距離以上離れていると判定される場合には、ステップＳ１０６に進む。仮想視点位置が車両２００から第２所定距離以上離れていると判定されない場合には、ステップＳ１０３に進む。

【0048】

ステップＳ１０３では、コントローラ１１０は、仮想視点位置と車両の地図上の位置を取得する。具体的には、コントローラ１１０は、地図データベース２６０から取得された地図情報に基づいて、仮想視点位置及び車両２００が地図上のどの道路上に存在するかを特定し、仮想視点位置と車両の地図上の位置を取得する。ステップＳ１０４では、コントローラ１１０は、車両２００が走行している道路と異なる道路上に仮想視点位置が存在しているか否かを判定する。車両が走行している道路とは異なる道路上に仮想視点位置が存在していると判定される場合には、ステップＳ１０６に進む。車両２００が走行している道路とは異なる道路上に仮想視点位置が存在していると判定されない場合には、ステップＳ１０５に進む。

【0049】

ステップＳ１０５では、コントローラ１１０は、第１ユーザが仮想視点位置の再設定をしたか否かを判定する。具体的には、コントローラ１１０は、端末装置３００から送信される、仮想視点位置の再設定指令情報を受信した場合には、第１ユーザが仮想視点位置の再設定をしたと判定する。第１ユーザが仮想視点位置の再設定をしたと判定される場合には、ステップＳ１０６に進む。第１ユーザが仮想視点位置の再設定がしたと判定されない場合には、図３に記載のステップＳ１１に進む。

【0050】

ステップＳ１０６では、コントローラ１１０は、仮想視点位置を、車両２００から第１所定距離以内の位置に再設定する。再設定後、コントローラ１１０は、図３に記載のステップＳ４から、制御フローを実行する。

【0051】

ステップＳ１１では、コントローラ１１０は、仮想先導車システムが終了したか否かを判定する。仮想先導車システムが終了したと判定される場合には、フローを終了する。仮想先導車システムが終了したと判定されない場合には、ステップＳ４に戻り、以下、フローを繰り返す。また、本実施形態では、仮想先導車システムが起動している間は、一定の周期で、制御フローが繰り返し実行される。具体的には、コントローラ１１０は、一定の周期で、車両２００の周辺情報を取得し、取得された周辺情報に基づいて、仮想周辺情報を更新する。これにより、車両２００の走行によってリアルタイムに変化する周辺環境に対応させて仮想車両の周辺環境を更新することができる。また、同様に、第１ユーザに表示している仮想車両画像についても、第２ユーザの操縦に応じてリアルタイムに仮想車両の位置を更新する。

【0052】

次に、図５を用いて、本実施形態に係る情報処理装置１００、車両２００及び端末装置３００における情報処理方法の手順を説明する。図５は、本実施形態に係る情報処理方法の手順を示すフローチャートである。本実施形態では、車両２００の第１ユーザが、仮想先導車システムを起動して利用を開始すると、ステップＳ２１から、本実施形態に係る情報処理を開始する。

【0053】

ステップＳ２１では、情報処理装置１００は、仮想視点位置を初期設定の位置に設定する。ステップＳ２２では、情報処理装置１００は、仮想車両画像を生成する。ステップＳ２３では、情報処理装置１００は、車両２００の周辺環境の実風景上の仮想視点位置に仮想車両画像を重畳するように仮想車両画像を第１情報出力装置２４０に表示させる制御信号を車両２００に送信する。ステップＳ２４では、車両２００は、情報処理装置１００から、ステップＳ２３で送信された制御信号を受信する。ステップＳ２５では、車両２００は、第１情報出力装置２４０を介して第１ユーザに仮想車両画像を表示する。

【0054】

ステップＳ２６では、車両２００は、センサ群２２０により、車両２００の周辺環境の周辺情報を検出する。ステップＳ２７では、車両２００は、ステップＳ２６で検出された周辺情報を情報処理装置１００に送信する。ステップＳ２８では、情報処理装置１００は、車両２００から、周辺情報を受信する。ステップＳ２９では、情報処理装置１００は、仮想周辺画像および仮想周辺音声を含む仮想周辺情報を生成する。ステップＳ３０では、情報処理装置１００は、ステップＳ２９で生成された仮想周辺情報を端末装置３００に送信する。ステップＳ３１では、端末装置３００は、情報処理装置１００から、仮想周辺情報を受信する。ステップＳ３２では、端末装置３００は、第２情報出力装置３４０を介して第２ユーザに仮想周辺情報を出力する。

【0055】

ステップＳ３３では、端末装置３００は、第２ユーザが入力装置３２０に入力する運転操作情報を取得する。ステップＳ３４では、端末装置３００は、ステップＳ３３で取得した運転操作情報を情報処理装置１００に送信する。ステップＳ３５では、情報処理装置１００は、端末装置３００から、運転操作情報を受信する。ステップＳ３６では、情報処理装置１００は、ステップＳ３５で運転操作情報として受信した移動指示情報に基づいて、仮想視点位置を更新する。

【0056】

ステップＳ３７では、情報処理装置１００は、更新後の仮想視点位置に仮想車両画像を表示させる制御信号を車両２００に送信する。すなわち、情報処理装置１００は、仮想視点位置の移動に合わせて仮想車両画像の位置を移動させるように表示させる制御信号を送信する。ステップＳ３８では、車両２００は、ステップＳ３７で情報処理装置１００から送信された制御信号を受信する。ステップＳ３９では、車両２００は、更新後の仮想視点位置に仮想車両画像を重畳するように第１情報出力装置に仮想車両画像を表示する。これにより、第２ユーザの仮想車両の操縦に応じて、第１ユーザに表示している仮想車両画像を移動することができ、第１ユーザには、あたかも仮想車両が車両２００の前方で走行しているように見える。

【0057】

ステップＳ４０では、情報処理装置１００は、仮想先導車システムが終了したか否かを判定する。仮想先導車システムが終了したと判定される場合には、フローを終了する。仮想先導車システムが終了したと判定されない場合には、ステップＳ２６に戻り、以下、フローを繰り返す。

【0058】

以上のように、本実施形態では、車両の周辺環境の周辺情報を取得し、車両の進行方向の前方に仮想視点位置を設定し、取得された周辺情報を用いて、設定された仮想視点位置の周辺環境を表す仮想周辺情報を生成し、生成された仮想周辺情報を、車両から離れた場所に位置する外部装置に表示させる第１制御信号を送信し、外部装置から出力された、車両の運転操作に関する運転操作情報を受信し、受信された運転操作情報に基づいて、車両の運転を支援するための運転支援情報を生成し、運転支援情報を車両内にある出力装置に出力させる第２制御信号を生成する。これにより、運転者が遠隔支援に従うことで走行状況の変化に遅延なく応じた運転を実行できる。

【0059】

また、本実施形態では、車両の周辺環境の周辺画像を取得し、取得された周辺画像を用いて、設定された仮想視点位置の周辺環境を表す仮想周辺画像を生成し、生成された仮想周辺画像を、外部装置に表示させる制御信号を第１制御信号として送信する。これにより、外部装置に運転操作情報を入力するオペレータが、車両の進行方向の前方の仮想視点位置の周辺環境を見ながら、運転操作情報を入力することができる。

【0060】

また、本実施形態では、車両の位置を示す位置情報を取得し、車両の位置を基準とした、車両の周辺環境における仮想視点位置を算出し、仮想視点位置に基づいて、周辺画像を用いて仮想周辺画像を生成する。これにより、自車両の位置を基準とした周辺環境における位置関係に基づいて、周辺画像を用いて仮想視点位置の仮想周辺画像を生成することができる。

【0061】

また、本実施形態では、車両により取得されたセンサ情報、他車両により取得されたセンサ情報、及び走行路に沿って設置されているインフラセンサにより取得されたセンサ情報のうち少なくともいずれかひとつから、周辺画像を取得する。これにより、自車両のセンサでは死角となっていて取得できない箇所の周辺画像も取得することができる。

【0062】

また、本実施形態では、車両の位置を示す位置情報を取得し、車両の位置情報及び仮想視点位置の位置情報を、外部装置に表示させる第３制御信号を送信する。これにより、外部装置に運転操作情報を入力するオペレータは、車両と仮想視点位置の位置関係を見ながら、運転操作情報を入力することができる。

【0063】

また、本実施形態では、仮想車両を示す仮想車両画像を生成し、車両の周辺環境の実景上において、仮想視点位置に仮想車両画像が重畳されるように、出力装置に仮想車両画像を表示させる制御信号を第２制御信号として生成し、第２制御信号を出力装置に送信する。これにより、運転者は、車両の進行方向の前方の仮想車両を見ながら、走行状況の変化に遅延なく応じた運転を実行できる。

【0064】

また、本実施形態では、運転操作情報として、仮想視点位置を移動させる移動指示情報を受信し、移動指示情報により、仮想視点位置を移動させる。これにより、運転者は、仮想視点位置に表示される仮想車両の動きを見ながら、走行状況の変化に遅延なく応じた運転を実行できる。

【0065】

また、本実施形態では、運転操作情報として、仮想車両の車載機器の制御を行う機器制御情報を受信し、機器制御情報に基づいて、車載機器の制御が行われた仮想車両を示す仮想車両画像を生成する。これにより、運転者は、仮想車両の車載機器の作動状況を見ながら、走行状況の変化に遅延なく応じた運転を実行できる。

【0066】

また、本実施形態では、車両から仮想視点位置までの距離が所定の距離以上になったか否かを判定し、距離が所定の距離以上になったと判定された場合には、車両から仮想視点位置までの距離が所定の距離より短くなる位置に仮想視点位置を再設定する。これにより、仮想視点位置が車両から離れてしまった場合であっても、仮想視点位置を車両の周辺に戻すことができる。

【0067】

また、本実施形態では、運転操作情報として、車両の運転案内に関する音声情報を受信し、音声情報を、出力装置に出力させる音声制御信号を生成し、音声制御信号を出力装置に送信する。これにより、運転者は、運転案内を聞きながら、走行状況の変化に遅延なく応じた運転を実行できる。

【0068】

また、本実施形態では、車両が仮想視点位置に到達した時点の運転操作に関する運転操作情報を受信する。これにより、運転者は、車両の進行方向の前方の位置における運転操作を把握することができる。

【0069】

なお、以上に説明した実施形態は、本発明の理解を容易にするために記載されたものであって、本発明を限定するために記載されたものではない。したがって、上記の実施形態に開示された各要素は、本発明の技術的範囲に属する全ての設計変更や均等物をも含む趣旨である。

【符号の説明】

【0070】

１０…情報処理システム
１００…情報処理装置
１１０…コントローラ
１１１…周辺情報取得部
１１２…仮想視点位置設定部
１１３…画像生成部
１１４…音声情報生成部
１１５…送信部
１１６…受信部
１１７…運転支援情報制御部
１２０…通信装置
２００…車両
２１０…車載コントローラ
２２０…センサ群
２３０…車載通信装置
２４０…第１情報出力装置
２５０…入力装置
２６０…地図データベース
３００…端末装置
３１０…端末コントローラ
３２０…入力装置
３３０…端末通信装置
３４０…第２情報出力装置

【図1】

【図2A】

【図2B】

【図3】

【図4】

【図5】