特許 7509250 画像表示装置、画像表示方法、及び、画像表示プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-06-24

(45)【発行日】2024-07-02

(54)【発明の名称】画像表示装置、画像表示方法、及び、画像表示プログラム

(51)【国際特許分類】

   G08G 1/09 20060101AFI20240625BHJP

   G09B 29/10 20060101ALI20240625BHJP

   G09B 29/00 20060101ALI20240625BHJP

   H04N 7/18 20060101ALI20240625BHJP

   H04Q 9/00 20060101ALI20240625BHJP

【ＦＩ】

G08G1/09 F

G09B29/10 A

G09B29/00 F

H04N7/18 J

H04N7/18 D

H04Q9/00 301B

H04Q9/00 311H

【請求項の数】 15

(21)【出願番号】P 2023014192

(22)【出願日】2023-02-01

(62)【分割の表示】P 2019135626の分割

【原出願日】2019-07-23

(65)【公開番号】P2023065374

(43)【公開日】2023-05-12

【審査請求日】2023-02-01

(73)【特許権者】

【識別番号】000003207

【氏名又は名称】トヨタ自動車株式会社

(74)【代理人】

【識別番号】100088155

【弁理士】

【氏名又は名称】長谷川 芳樹

(74)【代理人】

【識別番号】100113435

【弁理士】

【氏名又は名称】黒木 義樹

(74)【代理人】

【識別番号】100187311

【弁理士】

【氏名又は名称】小飛山 悟史

(74)【代理人】

【識別番号】100161425

【弁理士】

【氏名又は名称】大森 鉄平

(72)【発明者】

【氏名】鄭 好政

(72)【発明者】

【氏名】浦野 博充

(72)【発明者】

【氏名】大瀧 翔

【審査官】白石 剛史

(56)【参考文献】

【文献】特開２０１８－１０６６７６（ＪＰ，Ａ）

【文献】特開２００８－０７０９９８（ＪＰ，Ａ）

【文献】特開２００７－２４１７２６（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０８Ｇ １／０９

Ｇ０９Ｂ ２９／１０

Ｇ０９Ｂ ２９／００

Ｈ０４Ｎ ７／１８

Ｈ０４Ｑ ９／００

(57)【特許請求の範囲】

【請求項1】

車両を遠隔指示する遠隔オペレータに情報を表示する表示部に接続される画像表示装置であって、
前記車両の前方を撮像するカメラにより第１時刻に撮像された画像を、前記車両から通信を介して取得する外部センサデータ取得部と、
前記車両の走行状況を検出する内部センサにより前記第１時刻に検出された内部センサデータを、前記車両から通信を介して取得する内部センサデータ取得部と、
前記第１時刻の前記内部センサデータに基づいて、前記第１時刻以降に前記車両が走行した場合に前記車両が将来到達する位置、または、前記第１時刻の前記画像に基づいて、前記車両の周辺物標のうち少なくとも一つが前記第１時刻以降に到達する位置である、到達位置を決定する決定部と、
前記第１時刻の前記画像を前記表示部に表示させる表示制御部と、
前記車両との通信の遅延時間を算出する算出部と、
を備え、
前記決定部は、前記遅延時間に基づいて前記到達位置の取り得る範囲を決定し、
前記表示制御部は、前記決定部により決定された前記到達位置に対応する前記画像上の位置に、前記到達位置を示すオブジェクトを重畳させるとともに、前記画像上に前記到達位置の取り得る範囲を示すオブジェクトを重畳させる、
画像表示装置。

【請求項2】

前記表示制御部は、前記到達位置を示すオブジェクト及び前記到達位置の取り得る範囲を示すオブジェクトを、前記車両の前方に伸びる帯状のオブジェクトとともに表示させる、請求項１に記載の画像表示装置。

【請求項3】

前記表示制御部は、前記第１時刻以降の複数の時刻に基づいて、前記到達位置を示すオブジェクト及び前記到達位置の取り得る範囲を示すオブジェクトを複数表示させる、請求項１又は２に記載の画像表示装置。

【請求項4】

前記表示制御部は、前記到達位置を示すオブジェクト及び前記到達位置の取り得る範囲を示すオブジェクトを、少なくとも前記車両の走行し得る経路に沿って表示させる、請求項１～３の何れか一項に記載の画像表示装置。

【請求項5】

前記表示制御部は、前記到達位置の取り得る範囲を示すオブジェクトを、前記経路に沿って延びるように表示させる、請求項４に記載の画像表示装置。

【請求項6】

前記表示制御部は、
前記到達位置を示すオブジェクトとして、平面視で矩形となるガイド線のオブジェクトを表示し、
前記到達位置の取り得る範囲を示すオブジェクトとして、前記ガイド線のオブジェクトの線幅方向に延びるオブジェクトを表示する、請求項１～５の何れか一項に記載の画像表示装置。

【請求項7】

前記表示制御部は、前記遅延時間が大きいほど前記到達位置の取り得る範囲を示すオブジェクトの線幅方向の長さを長く変更する、請求項６に記載の画像表示装置。

【請求項8】

前記表示制御部は、前記遅延時間が閾値以上である場合に、前記到達位置の取り得る範囲に対応する前記画像上の位置に前記到達位置の取り得る範囲を示すオブジェクトを重畳させる、請求項１～７の何れか一項に記載の画像表示装置。

【請求項9】

前記周辺物標は他車両である、請求項１～８の何れか一項に記載の表示装置。

【請求項10】

車両を遠隔指示する遠隔オペレータに情報を表示する表示部における画像表示方法であって、
前記車両の前方を撮像するカメラにより第１時刻に撮像された画像を、前記車両から通信を介して取得するステップと、
前記車両の走行状況を検出する内部センサにより前記第１時刻に検出された内部センサデータを、前記車両から通信を介して取得するステップと、
前記第１時刻の前記内部センサデータに基づいて、前記第１時刻以降に前記車両が走行した場合に前記車両が将来到達する位置、または、前記第１時刻の前記画像に基づいて、前記車両の周辺物標のうち少なくとも一つが前記第１時刻以降に到達する位置である、到達位置を決定するステップと、
前記第１時刻の前記画像を前記表示部に表示させるステップと、
前記車両との通信の遅延時間を算出するステップと、
を備え、
前記決定するステップでは、前記遅延時間に基づいて前記到達位置の取り得る範囲を決定し、
前記表示させるステップでは、前記決定するステップにより決定された前記到達位置に対応する前記画像上の位置に、前記到達位置を示すオブジェクトを重畳させるとともに、前記画像上に前記到達位置の取り得る範囲を示すオブジェクトを重畳させる、
画像表示方法。

【請求項11】

前記表示させるステップでは、
前記到達位置を示すオブジェクトとして、平面視で矩形となるガイド線のオブジェクトを表示し、
前記範囲を示すオブジェクトとして、前記ガイド線のオブジェクトの線幅方向に延びるオブジェクトを表示する、請求項１０に記載の画像表示方法。

【請求項12】

前記表示させるステップでは、前記遅延時間が閾値以上である場合に、前記範囲に対応する前記画像上の位置に前記範囲を示すオブジェクトを重畳させる、請求項１０又は１１に記載の画像表示方法。

【請求項13】

車両を遠隔指示する遠隔オペレータに情報を表示する表示部に接続される画像表示装置としてコンピュータを機能させる画像表示プログラムであって、前記プログラムは、前記コンピュータを、
前記車両の前方を撮像するカメラにより第１時刻に撮像された画像を、前記車両から通信を介して取得する外部センサデータ取得部、
前記車両の走行状況を検出する内部センサにより前記第１時刻に検出された内部センサデータを、前記車両から通信を介して取得する内部センサデータ取得部、
前記第１時刻の前記内部センサデータに基づいて、前記第１時刻以降に前記車両が走行した場合に前記車両が将来到達する位置、または、前記第１時刻の前記画像に基づいて、前記車両の周辺物標のうち少なくとも一つが前記第１時刻以降に到達する位置である、到達位置を決定する決定部、
前記第１時刻の前記画像を前記表示部に表示させる表示制御部、及び
前記車両との通信の遅延時間を算出する算出部、
として機能させ、
前記決定部は、前記遅延時間に基づいて前記到達位置の取り得る範囲を決定し、
前記表示制御部は、前記決定部により決定された前記到達位置に対応する前記画像上の位置に、前記到達位置を示すオブジェクトを重畳させるとともに、前記画像上に前記到達位置の取り得る範囲を示すオブジェクトを重畳させる、
画像表示プログラム。

【請求項14】

前記表示制御部は、
前記到達位置を示すオブジェクトとして、平面視で矩形となるガイド線のオブジェクトを表示し、
前記到達位置の取り得る範囲を示すオブジェクトとして、前記ガイド線のオブジェクトの線幅方向に延びるオブジェクトを表示する、請求項１３に記載の画像表示プログラム。

【請求項15】

前記表示制御部は、前記遅延時間が閾値以上である場合に、前記到達位置の取り得る範囲に対応する前記画像上の位置に前記到達位置の取り得る範囲を示すオブジェクトを重畳させる、請求項１３又は１４に記載の画像表示プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、画像表示装置に関する。

【背景技術】

【0002】

特許文献１は、遠隔指示可能な自動運転車両から受信したカメラ画像データに基づいてカメラ画像を遠隔オペレータに表示する装置を開示する。この装置は、車両の走行と関連する情報を重畳させたカメラ画像を表示部に表示させる。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０１８－１８０７７１号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

遠隔オペレータは、表示部に表示されたカメラ画像を確認し、自動運転車両を遠隔指示する。特許文献１記載の装置は、遠隔オペレータに判断材料としてさらに適切な情報を報知するという観点から改善の余地がある。本開示は、遠隔オペレータに適切な情報を報知することができる画像表示装置を提供する。

【課題を解決するための手段】

【0005】

本開示の一側面に係る画像表示装置は、車両を遠隔指示する遠隔オペレータに情報を表示する表示部に接続される。この画像表示装置は、車両の外部環境の情報を取得する外部センサにより第１時刻に検出された外部センサデータを、車両から通信を介して取得する外部センサデータ取得部と、車両の走行状況を取得する内部センサにより第１時刻に検出された内部センサデータを、車両から通信を介して取得する内部センサデータ取得部と、第１時刻の内部センサデータに基づいて、第１時刻から所定時間経過した将来の時刻である第２時刻の車両の位置を決定する決定部と、第１時刻の外部センサデータに基づいて、車両の周辺を示す監視画像を表示部に表示させる表示制御部と、を備え、表示制御部は、決定部により決定された第２時刻の車両の位置に対応する監視画像上の位置に、第２時刻の車両の位置を示すオブジェクトを重畳させる。

【0006】

本開示の一側面に係る画像表示装置においては、車両の内部センサにより検出された第１時刻の内部センサデータに基づいて、第２時刻の車両の位置が算出される。算出された第２時刻の車両の位置は、第１時刻の外部センサデータに基づいて表示された監視画像にオブジェクトとして重畳表示されて遠隔オペレータに提供される。このため、この画像表示装置は、第１時刻における車両状態を第２時刻まで維持するかどうかを判断可能な情報を遠隔オペレータに報知することができる。

【0007】

一実施形態においては、画像表示装置は、車両との通信の遅延時間を算出する算出部を備え、決定部は、遅延時間に基づいて第２時刻の車両の位置の取り得る範囲を決定し、表示制御部は、範囲に対応する監視画像上の位置に範囲を示すオブジェクトを重畳させてもよい。この場合、この画像表示装置は、通信の遅延が生じていることと、その遅延が第２時刻の車両の位置に与える影響を遠隔オペレータに報知することができる。

【0008】

一実施形態においては、表示制御部は、遅延時間の絶対値及び所定時間内の分散値の少なくとも一方に基づいて定義された、値が大きくなるほど遅延が大きいことを示す遅延度が閾値以上である場合に、範囲に対応する監視画像上の位置に範囲を示すオブジェクトを重畳させてもよい。この場合、この画像表示装置は、遅延の程度が小さい場合には遠隔オペレータに報知せず、遅延の程度が大きい場合には遠隔オペレータに報知することができる。

【0009】

一実施形態においては、第２時刻の車両の位置を示すオブジェクトは、ガイド線のオブジェクトであり、範囲を示すオブジェクトは、ガイド線のオブジェクトの線幅方向に延びるオブジェクトであり、表示制御部は、遅延度が大きいほど範囲を示すオブジェクトの線幅方向の長さを長く変更してもよい。この場合、この画像表示装置は、ガイド線のオブジェクトとその線幅方向に延びるオブジェクトとを用いて遅延の程度を遠隔オペレータに報知することができる。

【0010】

一実施形態においては、決定部は、第１時刻の外部センサデータに基づいて、車両の周辺に存在する他車両を検出するとともに、第２時刻の他車両の位置を決定し、表示制御部は、決定部により決定された第２時刻の他車両の位置に対応する監視画像上の位置に、第２時刻の他車両の位置を示すオブジェクトを重畳させてもよい。この場合、この画像表示装置は、第２時刻の他車両の位置を遠隔オペレータに報知することができる。

【発明の効果】

【0011】

本開示によれば、遠隔オペレータに適切な情報を報知することができる画像表示装置が提供される。

【図面の簡単な説明】

【0012】

【図1】一実施形態に係る画像表示装置を含む車両遠隔指示システムの概要を示す図である。

【図2】遠隔指示装置のハードウェア構成の一例を示す図である。

【図3】画像表示装置の機能を示すブロック図である。

【図4】（Ａ）はガイド線のオブジェクトが重畳された監視画像の一例である。（Ｂ）は、ガイド線のオブジェクトと遅延を示すオブジェクトとが重畳された監視画像の一例である。

【図5】（Ａ）はガイド線のオブジェクトが重畳された監視画像の他の例である。（Ｂ）は、ガイド線のオブジェクトと遅延を示すオブジェクトとが重畳された監視画像の他の例である。

【図6】画像表示装置の表示処理の一例を示すフローチャートである。

【図7】画像表示装置の表示処理の他の例を示すフローチャートである。

【図8】（Ａ）は、他車両に関して、ガイド線のオブジェクトが重畳された監視画像の一例である。（Ｂ）は、特定の他車両に関して、ガイド線のオブジェクトと遅延を示すオブジェクトとが重畳された監視画像の一例である。

【図9】画像表示装置の決定処理の一例を示すフローチャートである。

【図10】（Ａ）はガイド線のオブジェクトが重畳された監視画像の他の例である。（Ｂ）は、ガイド線のオブジェクトと遅延を示すオブジェクトとが重畳された監視画像の他の例である。

【発明を実施するための形態】

【0013】

以下、図面を参照して、実施形態について説明する。なお、以下の説明において、同一又は相当要素には同一符号を付し、重複する説明は繰り返さない。

【0014】

図１は、一実施形態に係る画像表示装置を含む車両遠隔指示システムの概要を示す図である。図１に示される画像表示装置１は、車両遠隔指示システム１００に含まれる。車両遠隔指示システム１００は、遠隔オペレータＲによる遠隔指示に基づいて車両２を動作させるシステムである。遠隔指示とは、車両２の行動に関する遠隔オペレータＲの指示である。車両２は、特に限定されないが、一例として自動運転で走行する車両である。以下では、車両２が自動運転機能を有する車両であるとして説明する。遠隔指示には、交差点の右折開始の指示、信号機付き交差点の進入開始の指示、見通しの悪い交差点の進入開始の指示、車線変更の開始の指示、前方の障害物に対するオフセット回避の開始の指示、緊急退避のうち少なくとも一つが含まれてもよい。その他、遠隔指示には、駐車状態であった車両２の発進に対する指示が含まれてもよい。遠隔指示には、停車状態であった車両２の周囲に歩行者等が検出された場合における車両２の発進に対する指示が含まれていてもよい。遠隔指示には、車両２に対する乗員の乗り降りに関する指示（例えばドアの自動開閉の指示、降車の音声案内開始の指示）が含まれてもよい。

【0015】

［車両遠隔指示システムの構成］
図１に示されるように、車両遠隔指示システム１００は、遠隔指示装置１０を備える。遠隔指示装置１０は、画像表示装置１を備え、オペレータインターフェース３に接続される。オペレータインターフェース３は、画像表示装置１の制御により、遠隔オペレータＲに情報を表示する。オペレータインターフェース３は、遠隔オペレータＲから遠隔指示を受け付けて、遠隔指示装置１０へ出力する。遠隔指示装置１０は、ネットワークＮを介して車両２と通信可能に接続される。ネットワークＮは無線通信ネットワークである。遠隔指示装置１０は、車両２から種々の情報を受信する。なお、遠隔指示装置１０は、ネットワークＮを介して他車両と通信可能に接続されてもよい。

【0016】

車両遠隔指示システム１００においては、例えば車両２からの遠隔指示要求に応じて、遠隔オペレータＲに遠隔指示の入力が要求される。遠隔オペレータＲは、オペレータインターフェース３に遠隔指示を入力する。遠隔指示装置１０は、ネットワークＮを通じて車両２に遠隔指示を送信する。車両２は、遠隔指示に従って自動で走行する。

【0017】

車両遠隔指示システム１００においては、遠隔オペレータＲの人数は限定されず、一人であってもよく、二人以上であってもよい。車両遠隔指示システム１００と通信可能な車両２の台数も特に限定されない。複数人の遠隔オペレータＲが交替して一台の車両２に対する遠隔指示を行う態様であってもよく、一人の遠隔オペレータＲが二台以上の車両２に対して遠隔指示を行う態様であってもよい。

【0018】

車両２は、一例として、自動運転ＥＣＵ（Electronic Control Unit）２０を有する。自動運転ＥＣＵ２０は、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read OnlyMemory）、ＲＡＭ（Random Access Memory）などを有する電子制御ユニットである。自動運転ＥＣＵ２０においては、例えば、ＲＯＭに記録されているプログラムをＲＡＭにロードし、ＲＡＭにロードされたプログラムをＣＰＵで実行することにより種々の機能を実現する。自動運転ＥＣＵ２０は、複数の電子ユニットから構成されてもよい。自動運転ＥＣＵ２０は、ＧＰＳ（Global Positioning System）受信部２１、外部センサ２２、内部センサ２３、地図データベース２４、車両通信部２５、及び、アクチュエータ２６に通信可能に接続される。

【0019】

ＧＰＳ受信部２１は、３個以上のＧＰＳ衛星から信号を受信する機器である。ＧＰＳ受信部２１は、受信された信号に基づいて車両２の位置（例えば車両２の緯度及び経度）を測定する。ＧＰＳ受信部２１は、測定した位置に関する情報を出力する。ＧＰＳ受信部２１は、ＧＰＳの時刻体系で計測されたＧＰＳ時刻も出力する。

【0020】

外部センサ２２は、車両２の外部環境の情報を検出するセンサである。外部センサ２２は、検出結果を外部センサデータとして出力する。外部センサ２２は、カメラを含む。カメラは、車両２の外部環境を撮像する撮像機器である。カメラは、車両２の外部環境に関する画像データを出力する。画像データとは、画像を描画可能な情報である。カメラは、例えば車両２のフロントガラスの裏側に設けられ、車両前方を撮像する。カメラは、単眼カメラであってもよく、ステレオカメラであってもよい。カメラは、複数台設けられてもよく、車両２の前方の他、左右の側方及び後方を撮像してもよい。

【0021】

外部センサ２２は、レーダセンサを含んでもよい。レーダセンサは、電波（例えばミリ波）又は光を利用して車両２の周辺の物体を検出する検出機器である。レーダセンサには、例えば、ミリ波レーダ又はライダー（LIDAR：Light Detection and Ranging）が含まれる。レーダセンサは、電波又は光を車両２の周辺に送信し、物体で反射した電波又は光を受信することで物体を検出し、結果を出力する。物体には、ガードレール、建物などの固定物体の他、歩行者、自転車、他車両などの移動物体が含まれる。レーダセンサの検出結果は、３次元の画像データとして取り扱うことができる。

【0022】

内部センサ２３は、車両２の走行状態を検出するセンサである。内部センサ２３は、検出結果を内部センサデータとして出力する。内部センサ２３は、車速センサ、加速度センサ、及びヨーレートセンサを含む。車速センサは、車両２の速度を検出する検出器である。車速センサとしては、車両２の車輪又は車輪と一体に回転するドライブシャフトなどに対して設けられた、各車輪の回転速度を検出する車輪速センサを用いることができる。

【0023】

加速度センサは、車両２の加速度を検出する検出器である。加速度センサは、例えば、車両２の前後方向の加速度を検出する前後加速度センサを含む。加速度センサは、車両２の横加速度を検出する横加速度センサを含んでいてもよい。ヨーレートセンサは、車両２の重心の鉛直軸周りのヨーレート（回転角速度）を検出する検出器である。ヨーレートセンサとしては、例えばジャイロセンサを用いることができる。

【0024】

地図データベース２４は、地図情報を記録するデータベースである。地図データベース２４は、例えば、車両２に搭載されたＨＤＤ（Hard Disk Drive）などの記録装置内に形成されている。地図情報には、道路の位置情報、道路形状の情報（例えば曲率情報）、交差点及び分岐点の位置情報などが含まれる。地図情報には、位置情報と関連付けられた法定速度などの交通規制情報が含まれてもよい。地図情報には、車両２の位置情報の取得に用いられる物標情報が含まれてもよい。物標としては、道路標識、路面標示、信号機、電柱などを用いることができる。地図データベース２４は、車両２と通信可能なサーバに構成されてもよい。

【0025】

車両通信部２５は、車両２の外部との無線通信を制御する通信デバイスである。車両通信部２５は、ネットワークＮを介して遠隔指示装置１０と各種情報の送信及び受信を行う。車両通信部２５は、画像表示装置１の制御のために、外部センサデータ、内部センサデータ及びＧＰＳ時刻を遠隔指示装置１０へ送信する。

【0026】

アクチュエータ２６は、車両２の制御に用いられる機器である。アクチュエータ２６は、駆動アクチュエータ、ブレーキアクチュエータ、及び操舵アクチュエータを含む。駆動アクチュエータは、自動運転ＥＣＵ２０からの制御信号に応じてエンジンに対する空気の供給量（スロットル開度）を制御し、車両２の駆動力を制御する。なお、車両２がハイブリッド車である場合には、エンジンに対する空気の供給量の他に、動力源としてのモータに自動運転ＥＣＵ２０からの制御信号が入力されて当該駆動力が制御される。車両２が電気自動車である場合には、動力源としてのモータに自動運転ＥＣＵ２０からの制御信号が入力されて当該駆動力が制御される。これらの場合における動力源としてのモータは、アクチュエータ２６を構成する。

【0027】

ブレーキアクチュエータは、自動運転ＥＣＵ２０からの制御信号に応じてブレーキシステムを制御し、車両２の車輪へ付与する制動力を制御する。ブレーキシステムとしては、例えば、液圧ブレーキシステムを用いることができる。操舵アクチュエータは、電動パワーステアリングシステムのうち操舵トルクを制御するアシストモータの駆動を自動運転ＥＣＵ２０からの制御信号に応じて制御する。これにより、操舵アクチュエータは、車両２の操舵トルクを制御する。

【0028】

自動運転ＥＣＵ２０は、上述した機器の出力結果又は機器が有する情報に基づいて、種々の機能を発揮する。自動運転ＥＣＵ２０は、車両位置取得部２００、外部環境認識部２０１、走行状態認識部２０２、遠隔指示要求判定部２０３、進路生成部２０４、自動運転制御部２０５、及び緊急ブレーキ判定部２０６を有する。

【0029】

車両位置取得部２００は、ＧＰＳ受信部２１の位置情報及び地図データベース２４の地図情報に基づいて、車両２の位置情報を取得する。また、車両位置取得部２００は、地図データベース２４の地図情報に含まれた物標情報及び外部センサ２２の検出結果を利用して、ＳＬＡＭ（Simultaneous Localization and Mapping）技術により車両２の位置情報を取得してもよい。車両位置取得部２００は、車線の区画線と車両２の位置関係から、車線に対する車両２の横位置（車線幅方向における車両２の位置）を認識して位置情報に含めてもよい。車両位置取得部２００は、その他、周知の手法により車両２の位置情報を取得してもよい。

【0030】

外部環境認識部２０１は、外部センサ２２の検出結果に基づいて、車両２の外部環境を認識する。外部環境には、車両２に対する周囲の物体の相対位置が含まれる。外部環境には、車両２に対する周囲の物体の相対速度及び移動方向が含まれてもよい。外部環境には、他車両、歩行者、自転車などの物体の種類が含まれてもよい。物体の種類は、パターンマッチングなどの周知の手法により識別することができる。外部環境には、車両２の周囲の区画線認識（白線認識）の結果が含まれてもよい。外部環境には、信号機の点灯状態の認識結果が含まれてもよい。外部環境認識部２０１は、例えば、外部センサ２２のカメラ画像に基づいて、車両２の前方の信号機の点灯状態を認識できる。

【0031】

走行状態認識部２０２は、内部センサ２３の検出結果に基づいて、車両２の走行状態を認識する。走行状態には、車両２の車速、車両２の加速度、車両２のヨーレートが含まれる。具体的に、走行状態認識部２０２は、車速センサの車速情報に基づいて、車両２の車速を認識する。走行状態認識部２０２は、加速度センサの車速情報に基づいて、車両２の加速度を認識する。走行状態認識部２０２は、ヨーレートセンサのヨーレート情報に基づいて、車両２の向きを認識する。

【0032】

遠隔指示要求判定部２０３は、遠隔オペレータＲに遠隔指示を要求すべきか否かを判定する。遠隔指示要求判定部２０３は、車両位置取得部２００により取得された車両２の位置情報及び地図データベース２４の地図情報と、外部環境認識部２０１により認識された外部環境と、後述する進路生成部２０４の生成した進路とのうち少なくとも一つに基づいて、遠隔指示を要求すべきか否かを判定する。

【0033】

遠隔指示要求判定部２０３は、車両２が予め設定された遠隔指示を要求すべき状況になった場合に、遠隔指示を要求すべきと判定する。遠隔指示要求判定部２０３は、例えば、車両２が交差点を右折する状況になった場合、遠隔指示を要求すべきと判定する。遠隔指示要求判定部２０３は、車両２が信号機付き交差点又は見通しの悪い交差点に進入する状況になった場合に、遠隔指示を要求すべきと判定してもよい。遠隔指示要求判定部２０３は、車両２が目的地に至るために車線変更を開始する状況になった場合に、遠隔指示を要求すべきと判定してもよい。遠隔指示要求判定部２０３は、車両２の前方にオフセット回避すべき障害物が存在する場合に、遠隔指示を要求すべきと判定してもよい。

【0034】

遠隔指示要求判定部２０３は、例えば、車両２の位置情報、地図情報、及び進路から、車両２が交差点を右折する状況になったこと、車両２が信号機付き交差点に進入する状況になったこと、又は車両２が車線変更を開始する状況になったことを認識できる。また、遠隔指示要求判定部２０３は、車両２の外部環境に基づいて、車両２の前方にオフセット回避すべき障害物が存在することを認識できる。

【0035】

遠隔指示要求判定部２０３は、遠隔指示を要求すべきと判定した場合、遠隔指示装置１０に対して遠隔オペレータＲによる遠隔指示を要求する。遠隔指示の要求には、例えば車両２の識別情報が含まれる。なお、遠隔指示要求判定部２０３は、予め余裕をもって遠隔指示を要求してもよい。遠隔指示要求判定部２０３は、遠隔指示の対象となる交差点等と車両２との距離が一定距離以下になった場合に、遠隔指示を要求すべきと判定してもよい。距離ではなく到達残り時間を用いてもよい。

【0036】

遠隔指示要求判定部２０３は、遠隔指示を要求すべきと判定した場合、車両２の走行状況情報を遠隔指示装置１０に送信する。車両２の走行状況情報には、遠隔オペレータＲが車両２の状況を認識するための情報が含まれる。

【0037】

車両２の走行状況情報には、車両２の位置情報、外部センサ２２により検出された外部センサデータ、及び、内部センサ２３により検出された内部センサデータが含まれる。外部センサデータは、カメラ画像、レーザレーダの検出結果などが含まれる。内部センサデータは、車両２の車速、車両２のヨーレート、車両２の操舵角などが含まれる。車両２の走行状況情報には、乗員に関する情報（乗員の有無、乗員の人数）が含まれてもよい。車両２の走行状況情報には、遠隔オペレータＲの選択可能な遠隔指示に応じた進路の情報が含まれてもよい。

【0038】

自動運転ＥＣＵ２０は、遠隔指示を要求すべきか否かの判定結果にかかわらず、予め設定されたタイミングで車両２の走行状況情報を遠隔指示装置１０に送信してもよい。予め設定されたタイミングは、一定時間毎であってもよく、地図上の道路のノード毎であってもよく、横断歩道接近時、交差点接近時などのイベント毎であってもよい。

【0039】

進路生成部２０４は、車両２の自動運転に利用される進路（trajectory）を生成する。進路生成部２０４は、予め設定された走行ルート、地図情報、車両２の位置情報、車両２の外部環境、及び車両２の走行状態に基づいて、自動運転の進路を生成する。

【0040】

走行ルートとは、自動運転において車両２が走行するルートである。進路生成部２０４は、例えば目的地、地図情報、及び車両２の位置情報に基づいて、自動運転の走行ルートを求める。走行ルートは、周知のナビゲーションシステムによって設定されてもよい。目的地は車両２の乗員によって設定されてもよく、自動運転ＥＣＵ２０又はナビゲーションシステム等が自動的に提案してもよい。

【0041】

進路には、自動運転で車両が走行する経路（path）と自動運転における車速プロファイルとが含まれる。経路は、走行ルート上において自動運転中の車両が走行する予定の軌跡である。経路は、例えば走行ルート上の位置に応じた車両２の操舵角変化のデータ（操舵角プロファイル）とすることができる。走行ルート上の位置とは、例えば走行ルートの進行方向において所定間隔（例えば１ｍ）毎に設定された設定縦位置である。操舵角プロファイルとは、設定縦位置毎に目標操舵角が関連付けられたデータとなる。

【0042】

進路生成部２０４は、例えば走行ルート、地図情報、車両２の外部環境、及び車両２の走行状態に基づいて、車両２が走行する経路を生成する。進路生成部２０４は、例えば車両２が走行ルートに含まれる車線の中央（車線幅方向における中央）を通るように経路を生成する。

【0043】

車速プロファイルは、例えば設定縦位置毎に目標車速が関連付けられたデータである。設定縦位置は、距離ではなく車両２の走行時間を基準として設定されてもよい。設定縦位置は、車両の１秒後の到達位置、車両の２秒後の到達位置として設定されてもよい。

【0044】

進路生成部２０４は、例えば経路と地図情報に含まれる法定速度等の交通規制情報に基づいて車速プロファイルを生成する。法定速度に代えて、地図上の位置又は区間に対して予め設定された設定速度を用いてもよい。進路生成部２０４は、経路及び車速プロファイルから自動運転の進路を生成する。なお、進路生成部２０４における進路の生成方法は上述した内容に限定されず、自動運転に関する周知の手法を採用することができる。進路の内容についても同様である。

【0045】

進路生成部２０４は、遠隔指示要求判定部２０３により遠隔指示装置１０に対して遠隔指示が要求された場合、遠隔指示に応じた進路を予め生成する。車両２の状況に応じて、遠隔指示の内容は予め決定されている。例えば交差点の右折時における遠隔指示の内容には、右折開始（進行開始）の遠隔指示及び待機の遠隔指示が含まれる。交差点の右折時における遠隔指示の内容には、右折をやめて直進の遠隔指示が含まれてもよく、緊急退避の遠隔指示が含まれてもよい。

【0046】

進路生成部２０４は、例えば、車両２が交差点を右折する状況において、右折開始の遠隔指示に対応するように、車両２が交差点を右折する進路を生成する。進路生成部２０４は、遠隔指示を受信するまでの間、外部環境の変化に応じて進路を更新してもよい。また、進路生成部２０４は、交差点の右折から交差点の直進に切り換える遠隔指示が存在する場合には、交差点を直進する進路を予め生成してもよい。

【0047】

進路生成部２０４は、緊急退避の遠隔指示が存在する場合には、緊急退避用の進路を予め生成してもよい。緊急退避用の進路は、地図上に予め設定された退避スペースの何れかに、車両２を停車させるように生成される。進路生成部２０４は、例えば外部環境に基づいて各退避スペース上の障害物の有無を認識し、空いている退避スペースに停車するように緊急退避用の進路を生成する。なお、進路生成部２０４は、必ずしも進路を予め生成する必要はなく、遠隔指示を受信してから遠隔指示に対応する進路を生成してもよい。

【0048】

自動運転制御部２０５は、車両２の自動運転を実行する。自動運転制御部２０５は、例えば車両２の外部環境、車両２の走行状態、及び進路生成部２０４の生成した進路に基づいて、車両２の自動運転を実行する。自動運転制御部２０５は、アクチュエータ２６に制御信号を送信することで、車両２の自動運転を行う。

【0049】

自動運転制御部２０５は、遠隔指示要求判定部２０３により遠隔指示装置１０に対して遠隔指示が要求された場合、遠隔指示装置１０からの遠隔指示の受信を待つ。自動運転制御部２０５は、車両２が停車してから遠隔指示を要求した場合、遠隔指示を受信するまで停車状態を維持する。

【0050】

自動運転制御部２０５は、運転免許を有する乗員が乗車している場合において、予め設定された待機時間が経過しても遠隔指示を受信しないときには、当該乗員による判断又は手動運転を求めてもよい。自動運転制御部２０５は、待機時間が経過しても遠隔指示を受信せず、乗員による判断又は手動運転も不能な場合には、自動で緊急退避を行ってもよい。

【0051】

緊急ブレーキ判定部２０６は、車両２の外部環境又は外部センサ２２の検出結果（カメラの画像及び／又はレーダセンサの物体情報）に基づいて、緊急ブレーキの要否を判定する。緊急ブレーキ判定部２０６は、例えば車両２の前方の障害物と車両２との衝突余裕時間（TTC : Time To Collision）がＴＴＣ閾値未満となった場合に、緊急ブレーキが必要と判定する。ＴＴＣ閾値は予め設定された値の閾値である。なお、衝突余裕時間に代えて車間時間（THW : Time Headway）を用いてもよく、車両２と障害物との距離を用いてもよい。

【0052】

緊急ブレーキ判定部２０６は、緊急ブレーキが必要と判定した場合、ブレーキアクチュエータに制御信号を送信して緊急ブレーキを実行する。緊急ブレーキの判定は、自動運転機能とは独立して実行される。緊急ブレーキ判定部２０６は、自動運転ＥＣＵ２０とは異なる電子ユニットに形成されてもよい。緊急ブレーキは、いわゆるＰＣＳ（Pre-Crash Safety）システムにおいて実行されてもよい。

【0053】

［遠隔指示装置の構成］
図２は、遠隔指示装置のハードウェア構成の一例を示す図である。図２に示されるように、遠隔指示装置１０は、プロセッサ１０ａ、記録部１０ｂ、通信部１０ｃ及びユーザインターフェース１０ｄを備えた一般的なコンピュータとして構成されている。

【0054】

プロセッサ１０ａは、各種オペレーティングシステムを動作させて遠隔指示装置１０を制御する。プロセッサ１０ａは、制御装置、演算装置、レジスタなどを含むＣＰＵなどの演算器である。プロセッサ１０ａは、記録部１０ｂ、通信部１０ｃ及びユーザインターフェース１０ｄを統括する。記録部１０ｂは、メモリ及びストレージのうち少なくとも一方を含む。メモリは、ＲＯＭ、ＲＡＭなどの記録媒体である。ストレージは、ＨＤＤなどの記録媒体である。

【0055】

通信部１０ｃは、ネットワークＮを介した通信を行うための通信機器である。通信部１０ｃには、ネットワークデバイス、ネットワークコントローラ、ネットワークカードなどを用いることができる。ユーザインターフェース１０ｄは、管理者などのユーザのための入出力部である。ユーザインターフェース１０ｄは、ディスプレイ、スピーカなどの出力器、及び、タッチパネルなどの入力器を含む。遠隔指示装置１０は、必ずしも施設に設けられている必要はなく、車両などの移動体に搭載されてもよい。

【0056】

［画像表示装置の構成及び機能］
画像表示装置１は、遠隔指示装置１０に備わるため、そのハードウェアは遠隔指示装置１０と同一である。画像表示装置１のハードウェアは、遠隔指示装置１０と同一又は共通な場合に限定されず、遠隔指示装置１０とは別体で図２の構成を備えてもよい。図３は、画像表示装置の機能を示すブロック図である。図３に示されるように、画像表示装置１は、通信機能として通信部１１を備える。通信部１１の機能は、プロセッサ１０ａ及び通信部１０ｃにより実現される。

【0057】

通信部１１は、車両２の車両通信部２５とネットワークＮを介して接続される。車両２の車両通信部２５は、外部センサデータ、内部センサデータ及びＧＰＳ時刻を送信するために、外部センサデータ送信部２５０、内部センサデータ送信部２５１、及び、時間送信部２５２を有する。通信部１１は、外部センサデータ、内部センサデータ及びＧＰＳ時刻を受信するために、外部センサデータ受信部１１０（外部センサデータ取得部の一例）、内部センサデータ受信部１１１（内部センサデータ取得部の一例）、及び、時間受信部１１２を有する。外部センサデータ受信部１１０は、車両２の外部センサ２２により第１時刻に検出された外部センサデータを、車両２の外部センサデータ送信部２５０からネットワークＮを介して取得する。内部センサデータ受信部１１１は、車両２の内部センサ２３により第１時刻に検出された内部センサデータを、車両２の内部センサデータ送信部２５１からネットワークＮを介して取得する。第１時刻とは、外部センサ２２及び内部センサ２３の検出時刻である。時間受信部１１２は、ＧＰＳ時刻を車両２の時間送信部２５２からネットワークＮを介して取得する。

【0058】

画像表示装置１は、通信部１１の他に、遅延時間算出部１２（算出部の一例）、アシスト情報生成部１３（決定部の一例）、及び、表示制御部１４を備える。

【0059】

遅延時間算出部１２は、車両２との通信の遅延時間を算出する。遅延時間算出部１２は、時間受信部１１２により取得されたＧＰＳ時刻と、画像表示装置１の図示しないＧＰＳ受信部により取得されたＧＰＳ時刻とを比較して、通信の遅延時間を算出する。

【0060】

アシスト情報生成部１３は、遠隔オペレータＲの判断を補助する情報であるアシスト情報を生成する。アシスト情報生成部１３は、第１時刻から所定時間経過した将来の時刻である第２時刻の車両２の位置を決定する。将来の時刻とは、現時刻よりも先の時刻のことである。画像表示装置１の処理時を基準とした場合、第１時刻は現時刻にほぼ近い過去の時刻であり、第２時刻は現時刻よりも先の将来の時刻となる。第２時刻は、複数設定されてもよい。アシスト情報生成部１３は、内部センサデータ受信部１１１により取得された第１時刻のセンサデータに基づいて、第２時刻の車両２の位置を決定する。一例として、アシスト情報生成部１３は、第１時刻から第２時刻まで遠隔オペレータＲによる遠隔指示に変化がないと仮定し、第１時刻のセンサデータに基づいて第２時刻の車両２の位置を決定する。例えば、アシスト情報生成部１３は、第１時刻の車速が６０ｋｍ/ｈである場合には、第２時刻まで車速６０ｋｍ/ｈが維持されると仮定する。例えば、アシスト情報生成部１３は、第１時刻において減速中である場合には、第２時刻まで同一加速度で減速すると仮定する。このように、アシスト情報生成部１３は、車両２の走行状態に変化がない場合の将来の車両２の位置を決定する。

【0061】

アシスト情報生成部１３は、遅延時間算出部１２により算出された遅延時間に基づいて第２時刻の車両２の位置の取り得る範囲を決定してもよい。例えば、車速が６０ｋｍ/ｈで遅延時間が０．１秒である場合、１．７ｍ程度の誤差が生じる。アシスト情報生成部１３は、例えば、第１時刻のセンサデータに基づいて決定された第２時刻の車両２の位置から誤差分の距離を減算した最大遅延位置を決定する。アシスト情報生成部１３は、最大遅延位置から第２時刻の車両２の位置までの範囲を、取り得る範囲として決定してもよい。アシスト情報生成部１３は、第２時刻の車両２の位置と、誤差の距離と、正規分布とを利用して、取り得る範囲を決定してもよい。

【0062】

表示制御部１４は、外部センサデータ受信部１１０により取得された第１時刻の外部センサデータに基づいて、車両２の周辺を示す監視画像をオペレータインターフェース３に表示させる。オペレータインターフェース３は、ディスプレイ装置３０（表示部の一例）を備える。表示制御部１４は、ディスプレイ装置３０に接続される。監視画像は、ディスプレイ装置３０の画面に表示される画像であり、車両２の周囲を示す画像であれば何でもよい。例えば監視画像は、車両２を真上から俯瞰した図又は車両２を斜めから俯瞰した鳥瞰図であってもよいし、外部センサ２２により取得されたカメラ画像又はレーダセンサの画像そのものであってもよい。なお、オペレータインターフェース３は、ディスプレイ装置３０の他に、遠隔オペレータＲの操作用の指示受付部３１を備えてもよい。

【0063】

表示制御部１４は、アシスト情報生成部１３により決定された第２時刻の車両２の位置に対応する監視画像上の位置に、第２時刻の車両２の位置を示すオブジェクトを重畳させる。第２時刻の車両２の位置を示すオブジェクトは、一例としてガイド線のオブジェクトである。例えば、ガイド線のオブジェクトは、実線、破線、点線などのオブジェクトであり、種々の色を付与することができる。第２時刻の車両２の位置を示すオブジェクトは、これらに限定されない。例えば、第２時刻の車両２の位置を示すオブジェクトは、円形や矩形であってもよい。

【0064】

図４の（Ａ）はガイド線のオブジェクトが重畳された監視画像の一例である。図４の（Ａ）の監視画像Ｇ１は、車両２を示す車両オブジェクトＯＶ１が画面中央に位置した俯瞰図である。アシスト情報生成部１３は、一例として、現時刻から１秒後、２秒後、及び３秒後の３つの第２時刻の車両２の位置を生成する。表示制御部１４は、アシスト情報生成部１３により決定された３つの第２時刻の車両２の位置に基づいて、それぞれのガイド線のオブジェクトを監視画像Ｇ１上に重畳表示させる。例えば、表示制御部１４は、１秒後の車両２の位置を示す車両２の周囲を囲む線オブジェクトＯＬ１を監視画像Ｇ１上に重畳表示させる。表示制御部１４は、線オブジェクトＯＬ１と対応する画面位置に、第２時刻に関連する情報（例えば現時刻からの経過時間）を示すオブジェクトＭ１を重畳表示させることができる。同様に、表示制御部１４は、２秒後の車両２の位置を示す線オブジェクトＯＬ２及び対応する第２時刻に関連するオブジェクトＭ２を重畳表示させる。表示制御部１４は、３秒後の車両２の位置を示す線オブジェクトＯＬ３及び対応する第２時刻に関連するオブジェクトＭ３を重畳表示させる。

【0065】

表示制御部１４は、遅延時間に関するオブジェクトを監視画像に重畳表示してもよい。例えば、表示制御部１４は、アシスト情報生成部１３により決定された取り得る範囲をオブジェクトとして監視画像に重畳表示させてもよい。取り得る範囲を示すオブジェクトは、透明度の高い図形であってもよいし、種々の色が付されてもよい。図４の（Ｂ）は、ガイド線のオブジェクトと、遅延を示すオブジェクトとが重畳された監視画像の一例である。図４の（Ｂ）の監視画像Ｇ２は、車両２を示す車両オブジェクトＯＶ１が画面中央に位置した俯瞰図である。以下では、図４の（Ａ）の監視画像に遅延を示すオブジェクトが追加表示された場合を例に説明する。アシスト情報生成部１３は、一例として、現時刻から１秒後、２秒後、及び３秒後の３つの第２時刻ごとに、取り得る範囲を決定する。表示制御部１４は、アシスト情報生成部１３から３つの第２時刻に対応する取り得る範囲に基づいて、それぞれのオブジェクトを監視画像Ｇ２上に重畳表示させる。例えば、表示制御部１４は、１秒後の車両２の取り得る範囲を示すように、線オブジェクトＯＬ１の線幅方向に延びるオブジェクトＢ１を重畳表示させる。同様に、表示制御部１４は、２秒後の車両２の取り得る範囲を示すように、線オブジェクトＯＬ２の線幅方向に延びるオブジェクトＢ２を重畳表示させる。表示制御部１４は、３秒後の車両２の取り得る範囲を示すように、線オブジェクトＯＬ３の線幅方向に延びるオブジェクトＢ３を重畳表示させる。

【0066】

表示制御部１４は、オブジェクトＢ１～Ｂ３の線幅方向の長さで遅延の大きさを示してもよい。例えば、表示制御部１４は、アシスト情報生成部１３により算出された遅延時間を用いて遅延度を決定する。遅延度は、遅延時間が大きいほど遅延が大きいことを示す値である。遅延度は、遅延時間の絶対値であってもよい。表示制御部１４は、アシスト情報生成部１３により算出された遅延時間の所定期間内の分散値を用いて遅延度を決定してもよい。この場合、遅延度は、分散値が大きいほど遅延が大きいことを示す値となる。遅延度は、分散値そのものであってもよい。あるいは、遅延度は、遅延時間の遅延度と分散値の遅延度との重み付け和や加重平均であってもよい。あるいは、遅延度は、遅延時間の絶対値と分散値との関係に基づいて決定されてもよい。具体的には、遅延度は、遅延時間の絶対値が所定閾値より小さい場合には、遅延時間の分散値に関わらず（遅延時間の分散値が大きくても）遅延度が小さく決定され、一方、遅延時間の絶対値が所定閾値以上の場合には、遅延時間の分散値が大きいほど遅延度が大きく決定され、遅延時間の分散値が小さいほど遅延度が小さくされてもよい。このように、遅延度は、遅延時間の絶対値及び所定時間内の分散値の少なくとも一方に基づいて定義される。表示制御部１４は、遅延度が大きいほどオブジェクトＢ１～Ｂ３の線幅方向の長さを長く変更することで、遅延の大きさを表現することができる。

【0067】

表示制御部１４は、条件に応じて図４の（Ａ）の監視画像Ｇ１と図４の（Ｂ）の監視画像Ｇ２とを切り換えてもよい。例えば、表示制御部１４は、遅延度が閾値未満である場合に図４の（Ａ）の監視画像Ｇ１をディスプレイ装置３０に表示させ、遅延度が閾値以上である場合に図４の（Ｂ）の監視画像Ｇ２をディスプレイ装置３０に表示させる。閾値は、遅延度の判定のために予め設定された値である。例えば、閾値は、監視画像に表示されるガイド線の間隔と設定比率によって決定されてもよい。例えば、遅延時間が遅延度である場合を例にすると、ガイド線の間隔か１秒であり、設定比率が０．５の場合には、閾値は０．５秒に設定される。この場合、表示制御部１４は、遅延時間が０．５秒未満である場合に監視画像Ｇ１を表示し、遅延時間が０．５秒以上である場合に監視画像Ｇ２を表示する。

【0068】

図５の（Ａ）はガイド線のオブジェクトが重畳された監視画像の他の例である。上述したとおり、ガイド線のオブジェクトは種々の形態で表現され得る。図５の（Ａ）の監視画像Ｇ３では、車両２を示す車両オブジェクトＯＶ１と、その予定経路ＰＡとが示される。このような表示のために、画像表示装置１は、通信部１１を介して車両２から予定経路を予め取得する。表示制御部１４は、アシスト情報生成部１３により決定された５つの第２時刻の車両２の位置に基づいて、それぞれのガイド線のオブジェクトを監視画像Ｇ１の予定経路ＰＡ上に重畳表示させる。例えば、表示制御部１４は、１秒後の車両２の位置を示す線オブジェクトＯＬ１を監視画像Ｇ１上に重畳表示させる。表示制御部１４は、線オブジェクトＯＬ１と対応する画面位置に、第２時刻に関連する情報（例えば現時刻からの経過時間）を示すオブジェクトＭ１を重畳表示させることができる。このとき、表示制御部１４は、オブジェクトの形状のために地図情報を参照してもよい。同様に、表示制御部１４は、２秒後の車両２の位置を示す線オブジェクトＯＬ２及び対応する第２時刻に関連するオブジェクトＭ２を重畳表示させる。表示制御部１４は、３秒後の車両２の位置を示す線オブジェクトＯＬ３及び対応する第２時刻に関連するオブジェクトＭ３を重畳表示させる。表示制御部１４は、４秒後の車両２の位置を示す線オブジェクトＯＬ４及び対応する第２時刻に関連するオブジェクトＭ４を重畳表示させる。表示制御部１４は、５秒後の車両２の位置を示す線オブジェクトＯＬ５及び対応する第２時刻に関連するオブジェクトＭ５を重畳表示させる。

【0069】

図５の（Ｂ）は、ガイド線のオブジェクトと遅延を示すオブジェクトとが重畳された監視画像の他の例である。図５の（Ｂ）では、図４の（Ｂ）で説明したとおり、図５の（Ａ）の監視画像Ｇ３に対して、遅延を示すオブジェクトＢ１～Ｂ５が追加表示された画面である。オブジェクトＢ１～Ｂ５の設定方法や、監視画像の切り換え方法などは上述した内容と同一である。

【0070】

［画像表示装置の動作］
図６は、画像表示装置の表示処理の一例を示すフローチャートである。図６に示されるフローチャートは、画像表示装置１の表示機能の開始指示がなされたタイミングで開始される。

【0071】

最初に、データ取得処理（Ｓ１０）として、外部センサデータ受信部１１０は、第１時刻に検出された外部センサデータを車両２から取得する。内部センサデータ受信部１１１は、第１時刻の内部センサデータを車両２から取得する。

【0072】

次に、アシスト情報生成処理（Ｓ１２）として、アシスト情報生成部１３は、第１時刻から第２時刻まで遠隔オペレータＲによる遠隔指示に変化がないと仮定して、第２時刻の車両２の位置を決定する。

【0073】

次に、表示処理（Ｓ１４）として、表示制御部１４は、第１時刻の外部センサデータに基づいて車両２の周辺を示す監視画像をディスプレイ装置３０に表示させるとともに、アシスト情報生成部１３により決定された第２時刻の車両２の位置に対応する監視画像上の位置に、第２時刻の車両２の位置を示すオブジェクトを重畳させる。

【0074】

表示処理（Ｓ１４）が終了すると、図６に示されるフローチャートが終了する。図６に示されるフローチャートが実行されることにより、画像表示装置１は、遠隔オペレータＲに将来の車両２の位置を適切に報知することができる。フローチャート終了後、画像表示装置１は、表示機能の終了指示がなされるまで、フローチャートを最初から開始する。

【0075】

図７は、画像表示装置の表示処理の他の例を示すフローチャートである。図７に示されるフローチャートでは、画像表示装置１は、条件に応じて遅延時間を遠隔オペレータＲに報知する。図７に示されるフローチャートは、画像表示装置１の表示機能の開始指示がなされたタイミングで開始される。

【0076】

最初に、データ取得処理（Ｓ２０）として、外部センサデータ受信部１１０は、第１時刻に検出された外部センサデータを車両２から取得する。内部センサデータ受信部１１１は、第１時刻の内部センサデータを車両２から取得する。

【0077】

次に、ＧＰＳ時刻取得処理（Ｓ２２）として、時間受信部１１２は、ＧＰＳ時刻を車両２から取得する。また、遅延時間算出部１２は、画像表示装置１の図示しないＧＰＳ受信部から自身のＧＰＳ時刻を取得する。

【0078】

次に、遅延度算出処理（Ｓ２４）として、遅延時間算出部１２は、車両２のＧＰＳ時刻と自身のＧＰＳ時刻とを比較して遅延度を算出する。一例として、遅延時間算出部１２は、車両２のＧＰＳ時刻と自身のＧＰＳ時刻との差分である遅延時間を遅延度として用いる。遅延時間算出部１２は、所定時間の間、車両２のＧＰＳ時刻と自身のＧＰＳ時刻との差分を算出し、その差の分散値を遅延度として用いてもよい。

【0079】

次に、判定処理（Ｓ２６）として、アシスト情報生成部１３は、遅延度が閾値以上であるか否かを判定する。遅延度が閾値以上でない場合、アシスト情報生成部１３は、アシスト情報生成処理（Ｓ２８）として、第１時刻から第２時刻まで遠隔オペレータＲによる遠隔指示に変化がないと仮定して、第２時刻の車両２の位置を決定する。遅延度が閾値以上である場合、アシスト情報生成部１３は、アシスト情報生成処理（Ｓ３０）として、第１時刻から第２時刻まで遠隔オペレータＲによる遠隔指示に変化がないと仮定して、第２時刻の車両２の位置を決定するとともに、遅延時間に基づいて車両２の取り得る範囲を決定する。

【0080】

アシスト情報生成処理（Ｓ２８又はＳ３０）が終了すると、表示処理（Ｓ３２）として、表示制御部１４は、第１時刻の外部センサデータに基づいて車両２の周辺を示す監視画像をディスプレイ装置３０に表示させるとともに、アシスト情報生成部１３により決定された第２時刻の車両２の位置に対応する監視画像上の位置に、第２時刻の車両２の位置を示すオブジェクトを重畳させる。アシスト情報生成部１３により車両２の取り得る範囲が決定されている場合、表示制御部１４は、さらに、車両２の取り得る範囲を示すオブジェクトを監視画像上に重畳表示させる。

【0081】

表示処理（Ｓ３２）が終了すると、図７に示されるフローチャートが終了する。図７に示されるフローチャートが実行されることにより、画像表示装置１は、条件に応じて遅延時間を遠隔オペレータＲに報知することができる。フローチャート終了後、画像表示装置１は、表示機能の終了指示がなされるまで、フローチャートを最初から開始する。

【0082】

［実施形態のまとめ］
一実施形態に係る画像表示装置１においては、車両２の内部センサ２３により検出された第１時刻の内部センサデータに基づいて、第１時刻から第２時刻まで遠隔オペレータＲによる遠隔指示に変化がない場合における第２時刻の車両２の位置が算出される。算出された第２時刻の車両２の位置は、第１時刻の外部センサデータに基づいて表示された監視画像にオブジェクトとして重畳表示されて遠隔オペレータＲに提供される。このため、この画像表示装置１は、第１時刻における車両状態を第２時刻まで維持するかどうかを判断可能な情報を遠隔オペレータＲに報知することができる。

【0083】

画像表示装置１は、通信の遅延が生じていることと、その遅延が第２時刻の車両の位置に与える影響を遠隔オペレータＲに報知することができる。画像表示装置１は、遅延の程度が小さい場合には遠隔オペレータＲに報知せず、遅延の程度が大きい場合には遠隔オペレータに報知することができる。画像表示装置１は、ガイド線のオブジェクトとその線幅方向に延びるオブジェクトとを用いて遅延の程度を遠隔オペレータＲに報知することができる。

【0084】

以上、本開示の実施形態について説明したが、本開示は上述した実施形態に限定されるものではない。本開示は、上述した実施形態を始めとして、当業者の知識に基づいて種々の変更、改良を施した様々な形態で実施することができる。

【0085】

［変形例］
［他車両の表示］
画像表示装置１は、車両２の周辺に存在する他車両に関する情報をディスプレイ装置３０に表示してもよい。画像表示装置１は、外部センサ２２により検出された外部センサデータに基づいて他車両を認識し、他車両に対して車両２で表示されたアシスト情報の表示を行う。

【0086】

図８の（Ａ）は、他車両に関して、ガイド線のオブジェクトが重畳された監視画像の一例である。図８の（Ａ）の監視画像Ｇ５は、車両２を示す車両オブジェクトＯＶ１の他に車両２の周辺の他車両を示す車両オブジェクトＯＶ２，ＯＶ３を含む俯瞰図である。アシスト情報生成部１３は、一例として、現時刻から１秒後、２秒後、及び３秒後の３つの第２時刻の他車両の位置を生成する。表示制御部１４は、アシスト情報生成部１３により決定された３つの第２時刻の他車両の位置に基づいて、それぞれのガイド線のオブジェクトを監視画像Ｇ５上に重畳表示させる。例えば、表示制御部１４は、１秒後の他車両の位置を示すように、他車両の周囲を囲む線オブジェクトを監視画像Ｇ５上に重畳表示させる。表示制御部１４は、線オブジェクトと対応する画面位置に、第２時刻に関連する情報（例えば現時刻からの経過時間）を示すオブジェクトを重畳表示させることができる。同様に、表示制御部１４は、２秒後の他車両の位置を示す線オブジェクト及び対応する第２時刻に関連するオブジェクトを重畳表示させる。表示制御部１４は、３秒後の他車両の位置を示す線オブジェクト及び対応する第２時刻に関連するオブジェクトを重畳表示させる。

【0087】

図８の（Ａ）においては、車両２の周辺に存在する全ての他車両についてアシスト情報の表示を行ったが、特定の他車両についてのみアシスト情報の表示を行ってもよい。また、図８の（Ａ）において、線オブジェクトの線幅方向に延びるオブジェクトを表示して、遅延時間を考慮した表示を行ってもよい。

【0088】

図８の（Ｂ）は、特定の他車両に関して、ガイド線のオブジェクトと遅延を示すオブジェクトとが重畳された監視画像の一例である。図８の（Ｂ）の監視画像Ｇ６では、車両オブジェクトＯＶ２が表示対象の車両として選択され、車両オブジェクトＯＶ２のみ、アシスト情報が表示される。画像表示装置１は、以下の図９のフローチャートを実行することにより、表示対象の車両を選択する。

【0089】

図９は、画像表示装置の決定処理の一例を示すフローチャートである。図９に示されるフローチャートは、画像表示装置１の表示機能の開始指示がなされたタイミングで開始される。

【0090】

最初に、データ取得処理（Ｓ４０）として、外部センサデータ受信部１１０は、外部センサ２２により第１時刻に検出された外部センサデータを車両２から取得する。

【0091】

次に、評価値算出処理（Ｓ４２）として、画像表示装置１は、外部センサデータに基づいて他車両の位置を認識する。そして、画像表示装置１は、認識された他車両ごとに評価値を算出する。評価値は、安全性を示す指標であり、一例として車両２の行動に与える影響が大きいか否かを示す値である。評価値は、その値が大きいほど車両２の行動に与える影響が大きいことを示す。つまり、評価値が大きいほど安全性は低くなる。例えば、画像表示装置１は、車両２と対象の他車両との相対速度、相対ヨー角、相対距離などを重み付け和することにより、評価値を算出する。重み付け和は、対象の他車両の車種に応じた項を含んでもよい。

【0092】

次に、表示対象決定処理（Ｓ４４）として、画像表示装置１は、他車両ごとに算出された評価値に基づいて表示対象となる他車両を決定する。画像表示装置１は、最も評価値の高い他車両を選択する。

【0093】

表示対象決定処理（Ｓ４４）が終了すると、図９に示されるフローチャートが終了する。図９に示されるフローチャートが終了後、表示対象となる他車両についてアシスト情報を生成し、表示する。アシスト情報の生成及び表示については、図６及び図７のフローチャートと同一である。図９に示されるフローチャートが実行されることにより、画像表示装置１は、複数の他車両から安全性が低い他車両を選択してアシスト情報を表示することができる。フローチャート終了後、画像表示装置１は、表示機能の終了指示がなされるまで、フローチャートを最初から開始する。

【0094】

［表示の変形例］
実施形態においては、表示制御部１４は、ディスプレイ装置３０に俯瞰画像を表示させていたが、カメラ画像そのものを表示させてもよい。図１０の（Ａ）はガイド線のオブジェクトが重畳された監視画像の他の例である。図１０の（Ａ）に示されるように、監視画像Ｇ７は、カメラ画像であり、将来の車両２の位置を示す線オブジェクトＯＬ１～ＯＬ４及び対応する時刻に関連するオブジェクトＭ１～Ｍ４が重畳表示される。図１０の（Ｂ）は、ガイド線のオブジェクトと遅延を示すオブジェクトとが重畳された監視画像の他の例である。図１０の（Ｂ）に示されるように、監視画像Ｇ８は、カメラ画像であり、将来の車両２の位置を示す線オブジェクトＯＬ１～ＯＬ４、対応する時刻に関連するオブジェクトＭ１～Ｍ４、及び、線オブジェクトＯＬ１～ＯＬの線幅方向に遅延時間に応じて延びるオブジェクトＢ１～Ｂ４が重畳表示される。このように、画像表示装置１は、カメラ画像にアシスト情報を重畳させてもよい。

【0095】

他車両の表示に係る変形例においては、表示制御部１４は、将来の他車両の位置を示す線オブジェクトを表示させていたが、これに限定されない。例えば、表示制御部１４は、車両２と対象の他車両とのＴＴＣを示す線オブジェクトを表示させてもよい。

【0096】

［構成の変形例］
車両２は、遠隔指示が可能な車両であればよく、自動運転車両に限定されない。車両２は、地図データベースを備えなくてもよい。画像表示装置１は、遅延時間に関する表示を省略する場合には、時間受信部１１２及び遅延時間算出部１２を備えていなくてもよい。また、画像表示装置１は、ＧＰＳ時刻に替えてＮＴＰ（Network Time Protocol）サーバから取得された時刻を用いてもよい。

【符号の説明】

【0097】

１…画像表示装置、２…車両、１４…表示制御部、２２…外部センサ、２３…内部センサ、Ｒ…遠隔オペレータ。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】