特開 2022-159908 遠隔運転システム、遠隔運転装置、及び走行映像表示方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022159908

(43)【公開日】2022-10-18

(54)【発明の名称】遠隔運転システム、遠隔運転装置、及び走行映像表示方法

(51)【国際特許分類】

   G05D 1/00 20060101AFI20221011BHJP

【ＦＩ】

G05D1/00 B

【審査請求】未請求

【請求項の数】9

【出願形態】ＯＬ

(21)【出願番号】P 2021064376

(22)【出願日】2021-04-05

(71)【出願人】

【識別番号】521042770

【氏名又は名称】ウーブン・プラネット・ホールディングス株式会社

(74)【代理人】

【識別番号】110003199

【氏名又は名称】弁理士法人高田・高橋国際特許事務所

(72)【発明者】

【氏名】渡辺 敏暢

【テーマコード（参考）】

5H301

【Ｆターム（参考）】

5H301AA03

5H301AA10

5H301CC03

5H301CC06

5H301DD07

5H301DD17

5H301GG07

5H301GG08

5H301GG09

5H301GG17

(57)【要約】

【課題】車両と通信し車両を遠隔で運転する遠隔運転装置のオペレータの運転に係る操作性を向上させることが可能な遠隔運転システムを提案する。
【解決手段】この遠隔運転システムの遠隔運転装置は、運転に係る操作を入力するための運転操作装置と、表示装置と、情報処理装置と、を備えている。情報処理装置は、車両と遠隔運転装置の間の遅延時間を算出する処理と、現時点から所定時間経過時点までの運転操作装置の予測操作を算出する処理と、現時点までに入力された運転操作装置の操作による撮影時点から作用時点までの車両の第１予測走行経路、及び予測操作による作用時点以降の車両の第２予測走行経路を算出する処理と、第１予測走行経路、及び第２予測走行経路を車両の走行映像に重畳して表示する処理と、を実行する。
【選択図】図２

【特許請求の範囲】

【請求項1】

車両の遠隔運転を行う遠隔運転システムであって、
前記車両に搭載され前記車両の走行映像を撮影するカメラと、
前記車両に搭載され前記車両の走行状態を検出するセンサと、
前記車両と通信し前記車両を遠隔で運転する遠隔運転装置と、
を含み、
前記遠隔運転装置は、
運転に係る操作を入力するための運転操作装置と、
表示装置と、
前記運転操作装置及び前記表示装置に接続された情報処理装置と、
を備え、
前記情報処理装置は、
前記カメラで撮影された前記走行映像を取得する処理と、
前記センサで検出された前記走行状態を取得する処理と、
前記車両と前記遠隔運転装置との間の通信及び情報処理に係る遅延時間を算出する処理と、
現時点までに入力された前記運転操作装置の操作の情報に基づいて、前記現時点から所定時間経過時点までの前記運転操作装置の予測操作を算出する処理と、
前記遅延時間に基づいて、前記現時点において入力される前記運転操作装置の操作が前記車両に作用する作用時点を算出する処理と、
前記走行状態の情報、前記運転操作装置の操作の情報、及び前記遅延時間に基づいて、前記現時点までに入力された前記運転操作装置の操作による前記走行映像の撮影時点から前記作用時点までの前記車両の第１予測走行経路を生成する処理と、
前記予測操作による前記作用時点以降の前記車両の第２予測走行経路を生成する処理と、
前記第１予測走行経路、及び前記第２予測走行経路を前記走行映像に重畳した表示を前記表示装置に表示する表示処理と、
を実行する
ことを特徴とする遠隔運転システム。

【請求項2】

請求項１に記載の遠隔運転システムであって、
前記情報処理装置は、
前記現時点における前記運転操作装置の操舵に係る操作が前記所定時間経過時点まで維持される場合の前記作用時点以降の前記車両の第３予測走行経路を生成する処理をさらに実行し、
前記表示処理において、前記第１予測走行経路、及び前記第２予測走行経路と併せて前記第３予測走行経路を表示する
ことを特徴とする遠隔運転システム。

【請求項3】

請求項１又は２に記載の遠隔運転システムであって、
前記遅延時間には、前記遠隔運転装置の操作を行うオペレータの操作に係る反応時間が含まれる
ことを特徴とする遠隔運転システム。

【請求項4】

車両と通信し前記車両を遠隔で運転する遠隔運転装置であって、
表示装置と、
運転に係る操作を入力するための運転操作装置と、
情報処理装置と、
を備え、
前記情報処理装置は、
前記車両の走行映像を取得する処理と、
前記車両の走行状態を取得する処理と、
前記車両と前記遠隔運転装置との間の通信及び情報処理に係る遅延時間を算出する処理と、
現時点までに入力された前記運転操作装置の操作の情報に基づいて、前記現時点から所定時間経過時点までの前記運転操作装置の予測操作を算出する処理と、
前記遅延時間に基づいて、前記現時点において入力される前記運転操作装置の操作が前記車両に作用する作用時点を算出する処理と、
前記走行状態の情報、前記運転操作装置の操作の情報、及び前記遅延時間に基づいて、前記現時点までに入力された前記運転操作装置の操作による前記走行映像の撮影時点から前記作用時点までの前記車両の第１予測走行経路を生成する処理と、
前記予測操作による前記作用時点以降の前記車両の第２予測走行経路を生成する処理と、
前記第１予測走行経路、及び前記第２予測走行経路を前記走行映像に重畳した表示を前記表示装置に表示する表示処理と、
を実行する
ことを特徴とする遠隔運転装置。

【請求項5】

請求項４に記載の遠隔運転装置であって、
前記情報処理装置は、
前記現時点における前記運転操作装置の操舵に係る操作が前記所定時間経過時点まで維持される場合の前記作用時点以降の前記車両の第３予測走行経路を生成する処理をさらに実行し、
前記表示処理において、前記第１予測走行経路、及び前記第２予測走行経路と併せて前記第３予測走行経路を表示する
ことを特徴とする遠隔運転装置。

【請求項6】

請求項４又は５に記載の遠隔運転装置であって、
前記遅延時間には、前記遠隔運転装置の操作を行うオペレータの操作に係る反応時間が含まれる
ことを特徴とする遠隔運転装置。

【請求項7】

車両と通信し前記車両を遠隔で運転する遠隔運転装置に備える表示装置に前記車両の走行映像を表示する走行映像表示方法であって、
運転操作装置は、前記遠隔運転装置に備えられ運転に係る操作を入力するための装置であり、
前記走行映像を取得する処理と、
前記車両の走行状態を取得する処理と、
前記車両と前記遠隔運転装置との間の通信及び情報処理に係る遅延時間を算出する処理と、
現時点までに入力された前記運転操作装置の操作の情報に基づいて、前記現時点から所定時間経過時点までの前記運転操作装置の予測操作を算出する処理と、
前記遅延時間に基づいて、前記現時点において入力される前記運転操作装置の操作が前記車両に作用する作用時点を算出する処理と、
前記走行状態の情報、前記運転操作装置の操作の情報、及び前記遅延時間に基づいて、前記現時点までに入力された前記運転操作装置の操作による前記走行映像の撮影時点から前記作用時点までの前記車両の第１予測走行経路を生成する処理と、
前記予測操作による前記作用時点以降の前記車両の第２予測走行経路を生成する処理と、
前記第１予測走行経路、及び前記第２予測走行経路を前記走行映像に重畳した表示を前記表示装置に表示する表示処理と、
をコンピュータに実行させる
ことを特徴とする走行映像表示方法。

【請求項8】

請求項７に記載の走行映像表示方法であって、
前記現時点における前記運転操作装置の操舵に係る操作が前記所定時間経過時点まで維持される場合の前記作用時点以降の前記車両の第３予測走行経路を生成する処理をさらに含み、
前記表示処理において、前記第１予測走行経路、及び前記第２予測走行経路と併せて前記第３予測走行経路を表示する
ことを特徴とする走行映像表示方法。

【請求項9】

請求項７又は８に記載の走行映像表示方法であって、
前記遅延時間には、前記遠隔運転装置の操作を行うオペレータの操作に係る反応時間が含まれる
ことを特徴とする走行映像表示方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、車両の遠隔運転を行う遠隔運転システム、遠隔運転装置、及び車両の遠隔運転に用いられる表示の表示方法に関する。

【背景技術】

【0002】

特許文献１には、遠隔操縦装置を操作した場合に、当該操作が示す動作を移動装置が実際に行う時を未来時点として、未来時点における移動装置から各位置までの距離感を人がつかみやすい画像を表示する遠隔操縦用表示装置が開示されている。

【0003】

この遠隔操縦用表示装置は、移動装置の遠隔操縦時に、移動装置から見た環境を表示するための装置であって、移動装置の進行方向側の環境を表す環境データに基づいて３次元のＣＧ画像を生成する画像生成装置と、生成されたＣＧ画像を表示するディスプレイと、を備えている。画像生成装置は、移動装置と遠隔操縦装置との通信時間を考慮した遅延時間に基づく未来時点における移動装置の未来位置を予測し、予測した未来位置から見たＣＧ画像を生成する。

【0004】

また、本発明が属する技術分野の技術レベルを表す先行技術文献として、下記の特許文献２及び特許文献３がある。

【先行技術文献】

【特許文献】

【0005】

【特許文献1】特開２０１９－０４９８８８号公報

【特許文献2】特開２０１８－１０６６７６号公報

【特許文献3】特開２０１０－６１３４６号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

車両の遠隔運転においては、普通に運転する場合と比べて運転感覚が十分に得られないため、運転に係る操作が難しくなる。このため、遠隔運転装置（遠隔操縦装置）のオペレータの操作性を向上するための技術が求められている。

【0007】

特許文献１に開示されている遠隔操縦用表示装置では、予測した未来位置から見たＣＧ画像がディスプレイに表示される。しかしながら、車両（移動装置）と遠隔運転装置との間の通信のために、遠隔運転装置の操作が遅れて車両に作用する遠隔運転においては、車両の走行映像（ＣＧ画像）が表示されているだけでは、オペレータの操作性が十分でない虞がある。特に未来位置以降において、車両が遠隔運転操作の装置によってどのように走行することとなるのかをオペレータが確認することができない。

【0008】

本発明は、上記課題を鑑みてなされたものであり、遠隔運転装置のオペレータの操作性を向上することが可能な遠隔運転システム、遠隔運転装置、及び遠隔運転に用いられる表示の表示方法を提案することを目的とする。

【課題を解決するための手段】

【0009】

本開示の一態様に係る遠隔運転システムは、車両の遠隔運転を行うシステムであって、車両に搭載され車両の走行映像を撮影するカメラと、車両に搭載され車両の走行状態を検出するセンサと、車両と通信し車両を遠隔で運転する遠隔運転装置と、を含んでいる。遠隔運転装置は、運転に係る操作を入力するための運転操作装置と、表示装置と、運転操作装置及び表示装置に接続された情報処理装置と、を備えている。

【0010】

情報処理装置は、カメラで撮影された走行映像を取得する処理と、センサで検出された走行状態を取得する処理と、車両と遠隔運転装置との間の通信及び情報処理に係る遅延時間を算出する処理と、現時点までに入力された運転操作装置の操作の情報に基づいて、現時点から所定時間経過時点までの運転操作装置の予測操作を算出する処理と、遅延時間に基づいて、現時点において入力される運転操作装置の操作が車両に作用する作用時点を算出する処理と、走行状態の情報、運転操作装置の操作の情報、及び遅延時間に基づいて、現時点までに入力された運転操作装置の操作による撮影時点から作用時点までの車両の第１予測走行経路を生成する処理と、予測操作による作用時点以降の車両の第２予測走行経路を生成する処理と、第１予測走行経路、及び第２予測走行経路を走行映像に重畳した表示を表示装置に表示する表示処理と、を実行する。

【0011】

情報処理装置は、現時点における運転操作装置の操作に係る操作が所定時間経過時点まで維持される場合の作用時点以降の車両の第２予測走行経路を生成する処理をさらに実行しても良い。そして、表示処理において、第１予測走行経路、及び第２予測走行経路と併せて第３予測走行経路を表示しても良い。

【0012】

遅延時間は、遠隔運転装置の操作を行うオペレータの操作に係る反応時間を含んでいても良い。

【0013】

本開示の一態様に係る遠隔運転装置は、車両と通信し車両を遠隔で運転する装置である。この遠隔運転装置は、表示装置と、運転に係る操作を入力するための運転操作装置と、情報処理装置と、を備えている。

【0014】

情報処理装置は、車両の走行映像を取得する処理と、車両の走行状態を取得する処理と、車両と遠隔運転装置との間の通信及び情報処理に係る遅延時間を算出する処理と、現時点までに入力された運転操作装置の操作の情報に基づいて、現時点から所定時間経過時点までの運転操作装置の予測操作を算出する処理と、遅延時間に基づいて、現時点において入力される運転操作装置の操作が車両に作用する作用時点を算出する処理と、走行状態の情報、運転操作装置の操作の情報、及び遅延時間に基づいて、現時点までに入力された運転操作装置の操作による撮影時点から作用時点までの車両の第１予測走行経路を生成する処理と、予測操作による作用時点以降の車両の第２予測走行経路を生成する処理と、第１予測走行経路、及び第２予測走行経路を走行映像に重畳した表示を表示装置に表示する表示処理と、を実行する。

【0015】

情報処理装置は、現時点における運転操作装置の操作に係る操作が所定時間経過時点まで維持される場合の作用時点以降の車両の第２予測走行経路を生成する処理をさらに実行しても良い。そして、表示処理において、第１予測走行経路、及び第２予測走行経路と併せて第３予測走行経路を表示しても良い。

【0016】

本開示の一態様に係る走行映像表示方法は、車両と通信し車両を遠隔で運転する遠隔運転装置に備える表示装置に車両の走行映像を表示する方法である。この走行映像表示方法は、車両の走行映像を取得する処理と、車両の走行状態を取得する処理と、車両と遠隔運転装置との間の通信及び情報処理に係る遅延時間を算出する処理と、現時点までに入力された運転操作装置の操作の情報に基づいて、現時点から所定時間経過時点までの運転操作装置の予測操作を算出する処理と、遅延時間に基づいて、現時点において入力される運転操作装置の操作が車両に作用する作用時点を算出する処理と、走行状態の情報、運転操作装置の操作の情報、及び遅延時間に基づいて、現時点までに入力された運転操作装置の操作による撮影時点から作用時点までの車両の第１予測走行経路を生成する処理と、予測操作による作用時点以降の車両の第２予測走行経路を生成する処理と、第１予測走行経路、及び第２予測走行経路を走行映像に重畳した表示を表示装置に表示する表示処理と、をコンピュータに実行させる。

【0017】

この走行映像表示方法は、現時点における運転操作装置の操舵に係る操作が所定時間経過時点まで維持される場合の作用時点以降の車両の第３予測走行経路を生成する処理をさらに含んでいても良い。そして、表示処理において、第１予測走行経路、及び第２予測走行経路と併せて第３予測走行経路を表示しても良い。

【発明の効果】

【0018】

本開示によれば、車両と遠隔運転装置との間の遅延時間を考慮した予測走行経路が走行映像に重畳された表示が表示装置に表示される。これにより、オペレータは、予測走行経路を認識することで、自身の操作により車両がどのように走行することが予測されているかを逐次確認することができ、遠隔運転に係る操作の難しさが低減する。延いては、オペレータの操作性を向上させることができる。

【0019】

また、予測走行経路は、遠隔運転装置において生成される。これにより、運転操作装置の操作の情報が、車両と遠隔運転装置との間の通信の影響を受けることなく、予測走行経路を生成することができる。延いては、予測走行経路を精度よく生成することができる。

【0020】

さらに、作用時点以降の予測走行経路を示す第２予測走行経路は、予測操作に基づいて生成されている。これにより、オペレータは、自身の操作の傾向により作用時点以降において車両がどのように走行することが予測されているかを逐次確認することができる。延いては、オペレータの操作性を向上させることができる。

【図面の簡単な説明】

【0021】

【図1】本実施の形態に係る遠隔運転システムの概要を説明するための概念図である。

【図2】本実施の形態に係る遠隔運転システムの遠隔運転装置の表示装置に表示する走行映像の概要を説明するための概念図である。

【図3】本実施の形態に係る遠隔運転システムの構成を説明するためのブロック図である。

【図4】図３に示す情報処理装置の構成を説明するためのブロック図である

【図5】表示装置に走行映像を表示するための処理を示すフローチャートである。

【図6】車両と遠隔運転装置との間の遅延時間を説明するための概念図である。

【図7】情報処理装置のプロセッサが図５に示す予測走行経路生成処理において実行する処理を示すフローチャートである。

【図8】図７に示す予測操作算出処理において算出する予測操作の例を説明するための図である。

【図9】本実施の形態の変形例１に係る遠隔運転システムにおいて表示装置に表示する走行映像の例を示す概念図である。

【図10】本実施の形態の変形例２に係る遠隔運転システムにおいて表示装置に表示する走行映像の概要を説明するための概念図である。

【発明を実施するための形態】

【0022】

以下、図面を参照して本発明の実施の形態について説明する。ただし、以下に示す実施の形態において各要素の個数、数量、量、範囲などの数に言及した場合、特に明示した場合や原理的に明らかにその数が特定される場合を除いて、その言及した数に、本開示に係る思想が限定されるものではない。また、以下に示す実施の形態において説明する構成等は、特に明示した場合や原理的に明らかにそれに特定される場合を除いて、本開示に係る思想に必ずしも必須のものではない。なお、各図中、同一又は相当する部分には同一の符号を附しており、その重複説明は適宜に簡略化ないし省略する。

【0023】

１．概要
１－１．遠隔運転システム
図１は、本実施の形態に係る遠隔運転システム１０の概要を説明するための概念図である。遠隔運転システム１０は、車両１００の遠隔運転を行うシステムである。遠隔運転システム１０は、車両１００を遠隔で運転する遠隔運転装置２００を含んでいる。車両１００と遠隔運転装置２００は、互いに情報の伝達を行うことができるように、通信ネットワークを構成している。

【0024】

車両１００の遠隔運転は、オペレータＯＰが遠隔運転装置２００を操作することにより行われる。ここで、車両１００は、その他の手段により運転が行うことが可能な車両であっても良い。例えば、車両１００に備える運転操作装置（ステアリングホイール、アクセルペダル、ブレーキペダル等）を操作することで手動運転が可能であっても良いし、車両１００に備える制御装置により自律走行が行われても良い。つまり、車両１００は、運転に係る制御権が遠隔運転装置２００に移譲されたときにおいて遠隔運転が可能な車両であって良い。

【0025】

車両１００は、カメラ１１０を備えている。カメラ１１０は、車両１００の前方の走行領域を撮影することができるように搭載され、車両１００の前方の走行映像ＲＩＭを撮影する。ただし、車両１００は、その他の方向の走行映像ＲＩＭを撮影する別個のカメラを複数搭載していても良い。カメラ１１０が撮影した走行映像ＲＩＭの情報は、通信により遠隔運転装置２００に伝達される。

【0026】

車両１００は、車両１００の内部の情報を検出する内界センサＩＮＳを備えている。内界センサは、少なくとも、車両１００の走行状態（車速、加速度、ヨーレート等）を検出する。内界センサＩＮＳとして、車両１００の車速を検出するための車輪速センサ、車両１００の加速度を検出するための加速度センサ、車両１００のヨーレートを検出するための角速度センサ等が例示される。内界センサＩＮＳが検出する走行状態の情報は、通信により遠隔運転装置２００に伝達される。

【0027】

車両１００は、その他のセンサを備え、検出する情報を通信により遠隔運転装置２００に伝達しても良い。

【0028】

遠隔運転装置２００は、オペレータＯＰに情報を通知する出力装置を備えている。出力装置には、少なくとも、オペレータＯＰに情報を通知するための種々の表示を行う表示装置ＤＰＵが含まれる。図１には、出力装置としてさらに、オペレータＯＰに情報を通知するための種々の音を発生する音響装置ＳＤＵが示されている。出力装置には、その他の装置が含まれていても良い。出力装置は、図１において図示していない遠隔運転装置２００に備える情報処理装置により、出力（表示、音等）が制御される。

【0029】

表示装置ＤＰＵは、少なくとも、車両１００から取得する走行映像ＲＩＭの表示を行う。表示装置ＤＰＵは、複数の表示部分ＤＰを含み、それぞれの表示部分ＤＰに異なる表示を行っても良い。

【0030】

音響装置ＳＤＵは、典型的には、表示装置ＤＰＵの表示に合わせて音を発生させる。例えば、走行映像ＲＩＭの表示に合わせて、車両１００に係る環境音（外部環境音、エンジンの駆動音、ロードノイズ等）を発生させる。この場合、発生させる音は、車両１００に搭載するマイクによって録音した音を車両１００から取得して発生させても良いし、車両１００から取得する走行状態の情報に基づいて遠隔運転装置２００の情報処理装置が生成した音、あるいは選択した音を発生させても良い。

【0031】

遠隔運転装置２００は、オペレータＯＰの操作を入力するための入力装置を備えている。入力装置には、少なくとも、車両１００の運転に係る操作を入力するための運転操作装置ＲＯＵが含まれる。図１には、入力装置としてさらに、遠隔運転装置２００の種々の操作に対応するスイッチＳＷＤが示されている。スイッチＳＷＤとして、表示装置ＤＰＵの表示を切り替えるためのスイッチ、車両１００の遠隔運転を終了するスイッチ等が例示される。

【0032】

図１には、運転操作装置ＲＯＵとして、ステアリングホイールＳＴＲ、アクセルペダルＡＣＬ、ブレーキペダルＢＲＫが示されている。ステアリングホイールＳＴＲ、アクセルペダルＡＣＬ、及びブレーキペダルＢＲＫの操作により、車両１００の遠隔運転（操舵、加速、制動）が行われる。

【0033】

オペレータＯＰは、通常、出力装置が通知する情報を認識し、認識した情報に基づいて入力装置の操作を行う。特に、オペレータＯＰは、表示装置ＤＰＵに表示されている走行映像ＲＩＭを視認しながら、車両１００が所望の走行を行うように運転操作装置ＲＯＵの操作を行う。

【0034】

運転操作装置ＲＯＵに入力された操作の情報（操作情報）は、車両１００に伝達される。車両１００は、取得する操作情報に従って走行する。ここで、車両１００の走行は、図１において図示していない車両１００に備える制御装置が、操作情報に従って走行するための制御信号を車両１００の各アクチュエータに伝達することで実現される。延いては、車両１００の遠隔運転が実現される。

【0035】

１－２．予測走行経路の表示
オペレータＯＰは、遠隔運転装置２００を介して車両１００の遠隔運転を行うため、普通に運転する場合と比べて運転感覚を十分に得ることができない。このため、遠隔運転に係る操作は、普通に運転する場合と比べて難しくなる。これに対し、オペレータＯＰの操作性を向上させる手段として、表示装置ＤＰＵに表示する走行映像ＲＩＭに、遠隔運転装置２００の操作によって車両１００が走行することが予測される経路（以下、「予測走行経路」とも称する。）を重畳して表示することが考えられる。

【0036】

一方で、車両１００と遠隔運転装置２００との間の通信のために、表示装置ＤＰＵに表示される走行映像ＲＩＭは、一定時間過去に撮影された走行映像ＲＩＭとなる。また、運転操作装置ＲＯＵに入力された操作が車両１００に作用するまでには遅れが生じる。このため、車両１００と遠隔運転装置２００との間の通信を考慮せずに、走行映像ＲＩＭに予測走行経路を重畳して表示すると、遠隔運転に係る操作の難しさを十分に低減することができない。延いては、オペレータＯＰの操作性を十分に向上させることができない。

【0037】

そこで、本実施の形態に係る遠隔運転システム１０の遠隔運転装置２００は、車両１００と遠隔運転装置２００との間の遅延時間を考慮して、予測走行経路の表示を行う。ここで、遅延時間は、車両１００と遠隔運転装置２００との間の通信及び情報処理に係る遅延時間が含まれる。遅延時間の詳細については後述する。

【0038】

図２は、遠隔運転装置２００の表示装置ＤＰＵに表示する走行映像ＲＩＭの概要を説明するための概念図である。図２は、右にカーブする道路において、車両１００の遠隔運転を行う場合を示している。ここで、図２の上部には、車両１００の走行の状況を表す上面図を示し、図２の下部には、上面図に示す状況における表示装置ＤＰＵの表示を示している。図２の下部に示すように、表示装置ＤＰＵには、カメラ１１０が撮影した走行映像ＲＩＭが表示されている。さらに、第１予測走行経路ＰＴＲ１（実線）、及び第２予測走行経路ＰＴＲ２（点線）が走行映像ＲＩＭに重畳して表示されている。

【0039】

以下、表示装置ＤＰＵに表示されている走行映像ＲＩＭがカメラ１１０によって撮影された時点を「撮影時点」とも称する。また、撮影時点において撮影された走行映像ＲＩＭが表示装置ＤＰＵに表示された時点を「現時点」とも称する。さらに、現時点の走行映像ＲＩＭに対してオペレータＯＰにより入力される運転操作装置ＲＯＵの操作が車両１００に作用する時点を「作用時点」とも称する。

【0040】

第１予測走行経路ＰＴＲ１は、現時点までに入力された運転操作装置ＲＯＵの操作により車両１００が走行することが予測される予測走行経路である。第１予測走行経路ＰＴＲ１は、撮影時点から作用時点までの予測走行経路ＰＴＲを与える。

【0041】

第２予測走行経路ＰＴＲ２は、現時点から所定時間経過時点までの運転操作装置ＲＯＵの操作の予測値（以下、「予測操作」とも称する。）により車両１００が走行することが予測される予測走行経路である。なお、予測操作は、現時点までに入力された運転操作装置ＲＯＵの操作の情報に基づいて算出される。第２予測走行経路ＰＴＲ２は、作用時点以降の予測走行経路ＰＴＲを与える。

【0042】

また、走行映像ＲＩＭには、作用時点を明示するためのマークをさらに表示しても良い。図２では、作用時点を明示するためのマークとして白の丸印が表示されている。

【0043】

ここで、走行映像ＲＩＭの撮影時点に対する現時点、及び作用時点は、車両１００と遠隔運転装置２００との間の遅延時間に依存している。従って、第１予測走行経路ＰＴＲ１、及び第２予測走行経路ＰＴＲ２は、車両１００と遠隔運転装置２００との間の遅延時間を考慮して生成される。

【0044】

なお、第１予測走行経路ＰＴＲ１、及び第２予測走行経路ＰＴＲ２は遠隔運転装置２００において生成される。従って、第１予測走行経路ＰＴＲ１、及び第２予測走行経路ＰＴＲ２の生成に際して、現時点までに入力された運転操作装置ＲＯＵの操作の情報が車両１００と遠隔運転装置２００との間の通信の影響を受けることはない。

【0045】

オペレータＯＰは、第１予測走行経路ＰＴＲ１、及び第２予測走行経路ＰＴＲ２を認識することで、自身の操作により車両１００がどのように走行することが予測されるかを逐次確認することができる。

【0046】

このように、本実施の形態に係る遠隔運転システム１０の遠隔運転装置２００は、車両１００と遠隔運転装置２００との間の通信が考慮された第１予測走行経路ＰＴＲ１、及び第２予測走行経路ＰＴＲ２を走行映像ＲＩＭに重畳して表示する。これにより、遠隔運転に係る操作の難しさを低減し、オペレータＯＰの操作性を向上させることができる。

【0047】

２．構成
２－１．遠隔運転システム
図３は、本実施の形態に係る遠隔運転システム１０の構成を説明するためのブロック図である。遠隔運転システム１０は、車両１００と、遠隔運転装置２００と、を含んでいる。

【0048】

車両１００は、カメラ１１０と、センサ類１２０と、制御装置１３０と、アクチュエータ類１４０と、通信装置１５０と、を備えている。制御装置１３０は、センサ類１２０、アクチュエータ類１４０、及び通信装置１５０と互いに情報を伝達することができるように構成されている。同様に、通信装置１５０は、カメラ１１０、センサ類１２０、及び制御装置１３０と互いに情報を伝達することができるように構成されている。典型的には、ワイヤーハーネスにより互いに電気的に接続された車載ネットワークが構成されている。

【0049】

カメラ１１０は、車両１００の走行映像ＲＩＭを撮影し、撮影した走行映像ＲＩＭの情報を出力する。ここで、カメラ１１０が出力する走行映像ＲＩＭの情報には、走行映像ＲＩＭの撮影時刻の情報が含まれる。カメラ１１０は、少なくとも車両１００の前方の走行映像ＲＩＭを撮影する。ただし、カメラ１１０には、その他の方向の走行映像を撮影するカメラが含まれていても良い。この場合、カメラ１１０は、複数のカメラにより構成される系を示す。

【0050】

センサ類１２０は、車両１００の運転環境の情報を検出し、検出情報を出力するセンサの類である。センサ類１２０は、内界センサＩＮＳを含んでいる。内界センサＩＮＳは、少なくとも車両１００の走行状態を検出する。つまり、センサ類１２０が出力する検出情報には、少なくとも車両１００の走行状態の情報が含まれる。ここで、内界センサＩＮＳが検出する走行状態の情報には、走行状態を検出した時刻の情報が含まれる。センサ類１２０に含まれるその他のセンサとして、車両１００の周囲環境（先行車、車線、障害物等）の情報を検出するセンサであるミリ波レーダー、センサカメラ、ＬｉＤＡＲ等が例示される。

【0051】

制御装置１３０は、取得する情報に基づいて車両１００の制御に係る種々の処理を実行し、制御信号を生成して出力する。制御装置１３０は、典型的には、メモリとプロセッサとを備えるＥＣＵ（Electronic Control Unit）である。メモリは、データを一時的に記憶するＲＡＭ（Random Access Memory）と、プロセッサで実行可能なプログラムやプログラムに係る種々のデータを記憶するＲＯＭ（Read Only Memory）と、を含んでいる。制御装置１３０が取得する情報は、メモリに記憶される。プロセッサは、メモリからプログラムを読み出し、メモリから読み出す種々のデータに基づいてプログラムに従う処理を実行する。

【0052】

制御装置１３０が取得する情報には、センサ類１２０から取得する検出情報と、通信装置１５０から取得する通信情報と、が含まれる。特に、取得する通信情報には、遠隔運転装置２００に備える運転操作装置ＲＯＵの操作の情報（操作情報）が含まれる。ただし、その他の情報を取得しても良い。例えば、図３において図示していない車両１００に備える手動運転のための運転操作装置やＨＭＩ装置から取得する情報が含まれていても良い。

【0053】

制御装置１３０は、少なくとも取得した操作情報に従う車両１００の走行を実現するための処理を実行する。つまり、取得した操作情報（操舵角、アクセル開度、ブレーキペダル踏み込み量等）に応じた制御信号を生成して出力する。

【0054】

なお、制御装置１３０が実行する種々の処理は、１つのプログラムの部分として与えられていても良いし、それぞれの処理毎、又は一群の処理毎に別個のプログラムにより与えられても良い。あるいは、それぞれの処理、又は一群の処理が、別個のＥＣＵにより実行されても良い。この場合、制御装置１３０は、複数のＥＣＵにより構成される系を示し、それぞれのＥＣＵは、処理の実行に際して必要な情報を取得することができる程度に、互いに情報を伝達することができるように構成される。

【0055】

アクチュエータ類１４０は、制御装置１３０から与えられる制御信号に従って動作するアクチュエータの類を示す。アクチュエータ類１４０は、例えば、エンジン（内燃機関、電気モータ、又はそれらのハイブリット等）を駆動するアクチュエータ、車両１００に備えるブレーキ機構を駆動するアクチュエータ、車両１００のステアリング機構を駆動するアクチュエータを含んでいる。アクチュエータ類１４０に含まれるそれぞれのアクチュエータが制御信号に従って動作することにより、制御装置１３０による車両１００の種々の制御が実現される。特に、遠隔運転装置２００による車両１００の遠隔運転が実現される。

【0056】

通信装置１５０は、車両１００の外部の装置と通信を行うことで種々の情報（通信情報）の送受信を行う装置である。通信装置１５０は、少なくとも遠隔運転装置２００と情報の送受信を行うことができる。典型的には、遠隔運転装置２００が接続する基地局と電波による移動体通信を行う装置である。ただし、通信装置１５０は、その他の形態の装置を含んでいても良い。例えば、車車間通信や路車間通信を行う装置、ＧＰＳ（Global Positioning System）受信機等を含んでいても良い。この場合、通信装置１５０は、複数の装置を含む類を示す。

【0057】

通信装置１５０が送信する通信情報には、少なくともカメラ１１０から取得する走行映像ＲＩＭの情報、及び内界センサＩＮＳから取得する走行状態の情報が含まれる。通信装置１５０が受信する通信情報には、少なくとも運転操作装置ＲＯＵの操作情報が含まれる。通信装置１５０は、受信した通信情報を出力する。

【0058】

遠隔運転装置２００は、出力装置２１０と、入力装置２２０と、情報処理装置２３０と、通信装置２５０と、を備えている。情報処理装置２３０は、出力装置２１０、入力装置２２０、及び通信装置２５０と互いに情報を伝達することができるように構成されている。同様に、通信装置２５０は、情報処理装置２３０、及び入力装置２２０と互いに情報を伝達することができるように構成されている。

【0059】

出力装置２１０は、遠隔運転装置２００のオペレータＯＰに情報を通知するための出力を行う装置の類である。出力装置２１０は、情報処理装置２３０から与えられる制御信号に従って動作する。出力装置２１０は、少なくとも表示装置ＤＰＵを含んでいる。ただし、その他の装置を含んでいても良い。例えば、図１において示す音響装置ＳＤＵを含んでいても良い。

【0060】

表示装置ＤＰＵは、オペレータＯＰに情報を通知するための種々の表示を行う。表示装置ＤＰＵは、少なくとも車両１００の走行映像ＲＩＭを表示する。表示装置ＤＰＵの形態は特に限定されない。典型的には、液晶ディスプレイ、有機ＥＬディスプレイ、ヘッドアップディスプレイ、ヘッドマウントディスプレイ等が例示される。

【0061】

入力装置２２０は、遠隔運転装置２００のオペレータＯＰの操作を入力するための装置の類である。入力装置２２０は、少なくとも運転操作装置ＲＯＵを含んでいる。ただし、その他の装置を含んでいても良い。例えば、図１において示すスイッチＳＷＤを含んでいても良い。

【0062】

運転操作装置ＲＯＵは、遠隔運転に際して、車両１００の運転（操舵、加速、制動）に係る操作を入力するための装置である。運転操作装置ＲＯＵは、典型的には、図１に示すようにステアリングホイールＳＴＲ、アクセルペダルＡＣＬ、ブレーキペダルＢＲＫにより構成される。運転操作装置ＲＯＵは、入力された操作の情報（操作情報）を出力する。ここで、運転操作装置ＲＯＵが出力する操作情報には、その操作が入力された時刻の情報が含まれる。

【0063】

情報処理装置２３０は、取得する情報に基づいて遠隔運転装置２００に係る種々の処理を実行し、制御信号を生成して出力する。情報処理装置は、典型的には、メモリとプロセッサとを備えるコンピュータである。

【0064】

情報処理装置２３０が取得する情報には、運転操作装置ＲＯＵから取得する操作情報と、通信装置２５０から取得する通信情報と、が含まれる。特に、取得する通信情報には、車両１００に備えるカメラ１１０が撮影する走行映像の情報、及び内界センサＩＮＳが検出する走行状態の情報が含まれる。情報処理装置が取得する情報は、メモリに記憶される。特に、情報処理装置２３０は、一定期間の操作情報、及び走行状態の情報のデータを記憶する。

【0065】

情報処理装置２３０は、少なくとも出力装置２１０の出力を制御するための処理を実行する。特に、情報処理装置２３０は、表示装置ＤＰＵに走行映像ＲＩＭを表示するための処理を実行する。

【0066】

通信装置２５０は、車両１００と通信し種々の情報（通信情報）の送受信を行う装置である。典型的には、車両１００と電波による移動体通信を行う基地局が接続する通信ネットワークに接続し、基地局を介して情報の送受信を行う装置である。

【0067】

通信装置２５０が送信する通信情報には、少なくとも運転操作装置ＲＯＵの操作情報が含まれる。通信装置２５０が受信する通信情報には、少なくともカメラ１１０が撮影する走行映像の情報、及び内界センサＩＮＳが検出する走行状態の情報が含まれる。通信装置２５０は、受信した通信情報を出力する。

【0068】

なお、遠隔運転装置２００に含まれるそれぞれの装置は、一体的でなくても良い。例えば、情報処理装置２３０は、インターネット等の通信ネットワーク上に構成されたサーバ（仮想的であっても良い）であって、出力装置２１０、入力装置２２０、及び通信装置２５０と通信することで互いに情報の伝達を行っても良い。あるいは、さらに出力装置２１０と、入力装置２２０と、はそれぞれが分離して構成され、通信により互いに情報の伝達を行っても良い。

【0069】

２－２．情報処理装置
図４は、情報処理装置２３０の構成を説明するためのブロック図である。情報処理装置２３０は、メモリ２３１と、プロセッサ２３２と、を備えている。

【0070】

メモリ２３１は、走行映像データＩＭＤと、操作情報データＯＰＤと、走行状態データＤＲＤと、走行映像表示プログラムＤＰＧを記憶している。ただし、その他のデータ又はプログラム、あるいはその他の情報を記憶していても良い。

【0071】

走行映像データＩＭＤは、通信装置２５０を介してカメラ１１０から取得する走行映像ＲＩＭのデータである。操作情報データＯＰＤは、運転操作装置ＲＯＵから取得する操作情報の一定期間の時系列データである。走行状態データＤＲＤは、通信装置２５０を介して内界センサＩＮＳから取得する走行状態の情報の一定期間の時系列データである。ここで、操作情報データＯＰＤ、及び走行状態データＤＲＤについて、データを記憶する期間は、車両１００と遠隔運転装置２００との間の遅延時間に対して十分に長い期間である。例えば、１０ｓｅｃの間の時系列データを記憶する。

【0072】

走行映像表示プログラムＤＰＧは、表示装置ＤＰＵに走行映像ＲＩＭを表示するための処理に係るプログラムである。

【0073】

プロセッサ２３２は、メモリ２３１からプログラムを読み出し、メモリ２３１から読み出す種々のデータに基づいてプログラムに従う処理を実行する。特に、プロセッサ２３２は、メモリ２３１から走行映像表示プログラムＤＰＧを読み出し、走行映像表示プログラムＤＰＧに従って表示装置ＤＰＵに走行映像ＲＩＭを表示するための処理を実行する。これにより、表示装置ＤＰＵに走行映像ＲＩＭを表示するための制御信号が生成され、生成された制御信号は情報処理装置２３０から表示装置ＤＰＵに伝達される。そして、表示装置ＤＰＵが与えられた制御信号に従って表示を行うことで、表示装置ＤＰＵに走行映像ＲＩＭが表示される。プロセッサ２３２が走行映像表示プログラムＤＰＧに従って実行する処理の詳細については後述する。

【0074】

３．機能
３－１．走行映像表示プログラムに係る処理
図５は、プロセッサ２３２が走行映像表示プログラムＤＰＧに従って実行する処理を示すフローチャートである。図５に示す処理は、遠隔運転装置２００の起動と同等のタイミングで開始され、所定の周期毎に繰り返し実行される。

【0075】

ステップＳ１００において、プロセッサ２３２は、走行映像ＲＩＭの表示に必要なデータを取得する。少なくとも、走行映像データＩＭＤ、操作情報データＯＰＤ、及び走行状態データＤＲＤを取得する。ステップＳ１００の後、処理はステップＳ２００に進む。

【0076】

ステップＳ２００において、プロセッサ２３２は、車両１００と遠隔運転装置２００との間の遅延時間を算出する。算出する遅延時間の詳細については後述する。ステップＳ２００の後、処理はステップＳ３００に進む。

【0077】

ステップＳ３００において、プロセッサ２３２は、第１予測走行経路、及び第２予測走行経路を生成する。ステップＳ３００における処理の詳細については後述する。ステップＳ３００の後、処理はステップＳ４００に進む。

【0078】

ステップＳ４００において、プロセッサ２３２は、第１予測走行経路、及び第２予測走行経路を走行映像ＲＩＭに重畳した表示を表示装置ＤＰＵに表示するための処理を実行する。ステップＳ４００の後、所定の周期経過後に再度ステップＳ１００に戻り処理を繰り返す。

【0079】

３－２．遅延時間の算出
プロセッサ２３２は、車両１００と遠隔運転装置２００との間の遅延時間を算出する（図５におけるステップＳ２００）。図６は、車両１００と遠隔運転装置２００との間の遅延時間を説明するための概念図である。

【0080】

図６は、撮影時点から作用時点までの車両１００、遠隔運転装置２００、及びオペレータＯＰそれぞれにおけるイベント（丸印で示す）を時間の流れに沿って示し、それぞれのイベント間で経過する時間をｄｔｉ（ｉ＝１～７）で示している。つまり、プロセッサ２３２は、それぞれのｄｔｉを車両１００と遠隔運転装置２００との間の遅延時間として算出する。

【0081】

ｄｔ１は、走行映像ＲＩＭが撮影された撮影時点から、通信情報（撮影時点での走行映像ＲＩＭ、及び走行状態の情報を含む）の送信が行われるまでに経過する時間である。つまり、車両１００において、通信情報の送信のための情報処理に係る遅延時間である。これは、カメラ１１０、センサ類１２０、及び通信装置１５０の処理時間の計測により得ることができる。過去に計測された処理時間のデータの平均値や、データから推測される値を用いても良い。さらに、カメラ１１０のシャッタースピードを遅延時間に加えても良い。この場合、例えば、カメラ１１０の設定情報を取得することによりシャッタースピードを与えることができる。

【0082】

ｄｔ２は、通信情報が車両１００から送信されて遠隔運転装置２００が受信するまでに経過する時間である。つまり、車両１００と遠隔運転装置２００との間の通信のアップリンクに係る遅延時間である。これは、車両１００が通信情報を送信する時刻と、遠隔運転装置２００が通信情報を受信する時刻との差分により与えることができる。このとき、例えば、車両１００と遠隔運転装置２００とが構成する通信ネットワーク上のＮＴＰサーバを用いて車両１００及び遠隔運転装置２００の時刻を同期させることで、差分を精度良く与えることができる。

【0083】

ｄｔ３は、通信情報を遠隔運転装置２００が受信してから、撮影時点での走行映像ＲＩＭを表示装置ＤＰＵに表示するまでに経過する時間である。つまり、遠隔運転装置２００において、走行映像ＲＩＭの表示のための情報処理に係る遅延時間である。これは、表示装置ＤＰＵ、情報処理装置２３０、及び通信装置２５０の処理時間の計測により得ることができる。過去に計測された処理時間のデータの平均値や、データから推測される値を用いても良い。さらに、表示装置ＤＰＵに表示する走行映像ＲＩＭのデータ量を考慮して遅延時間の推測を行っても良い。

【0084】

ｄｔ４は、走行映像ＲＩＭが表示装置ＤＰＵに表示（現時点）されてから、その走行映像ＲＩＭをオペレータＯＰが認識して運転操作装置ＲＯＵの操作を行うまでに経過する時間である。つまり、オペレータＯＰの操作に係る反応時間である。これは、一般的な人の反応時間により与えることができる。例えば、２００ｍｓとする。

【0085】

ｄｔ５は、オペレータＯＰの操作が運転操作装置ＲＯＵに入力されてから、通信情報（入力された操作の情報を含む）の送信が行われるまでに経過する時間である。つまり、遠隔運転装置２００において、通信情報の送信のための情報処理に係る遅延時間である。これは、遠隔運転装置２００、及び通信装置２５０の処理時間の計測により得ることができる。過去に計測された処理時間のデータの平均値や、データから推測される値を用いても良い。

【0086】

ｄｔ６は、通信情報が遠隔運転装置２００から送信されて車両１００が受信するまでに経過する時間である。つまり、車両１００と遠隔運転装置２００との間の通信のダウンリンクに係る遅延時間である。これは、ｄｔ６と同様に与えることができる。

【0087】

ｄｔ７は、遠隔運転装置２００が通信情報を受信してから、現時点における走行映像ＲＩＭに対して入力された運転操作装置ＲＯＵの操作に応じてアクチュエータ類１４０が駆動する（作用時点）までに経過する時間である。つまり、車両１００において、アクチュエータ類１４０の駆動を行うための情報処理に係る遅延時間である。これは、制御装置１３０、及び通信装置１５０の処理時間の計測により得ることができる。過去に計測された処理時間のデータの平均値や、データから推測される値を用いても良い。さらに、アクチュエータ類１４０の駆動時間を遅延時間に加えても良い。この場合、例えば、アクチュエータ類１４０に含まれるそれぞれのアクチュエータの仕様から駆動時間を与えることができる。

【0088】

なお、プロセッサ２３２は、それぞれのｄｔｉを算出して更新する頻度は、それぞれのｄｔｉで異なっていても良い。例えば、ｄｔ２やｄｔ６は、遅延時間の算出を行う毎に更新する一方で、ｄｔ５やｄｔ７は所定のタイミングにおいて更新を行っても良い。

【0089】

以下、ｄｔ１～ｄｔ７の合計の遅延時間を「総合遅延時間」とも称する。また、ｄｔ１～ｄｔ３の合計の遅延時間を「表示遅延時間」とも称する。ｄｔ４～ｄｔ７の合計の遅延時間を「作用遅延時間」とも称する。

【0090】

３－３．予測走行経路生成
プロセッサ２３２は、走行映像ＲＩＭに重畳して表示する第１予測走行経路、及び第２予測走行経路を生成する処理（以下、「予測走行経路生成処理」とも称する。）を実行する（図５におけるステップＳ３００）。図７は、プロセッサ２３２が予測走行経路生成処理において実行する処理を示すフローチャートである。

【0091】

ステップＳ３１０において、プロセッサ２３２は、予測操作を算出する。予測操作は、現時点から所定時間経過時点までの運転操作装置ＲＯＵの操作の予測値であり、現時点までに入力された運転操作装置ＲＯＵの操作の情報に基づいて算出される。ここで、予測操作は、運転操作装置ＲＯＵに含まれる装置（ステアリングホイールＳＴＲ、アクセルペダルＡＣＬ、ブレーキペダルＢＲＫ等）それぞれについて算出される。また、所定時間は、走行映像表示プログラムＤＰＧにあらかじめ与えられる時間であり、本実施の形態に係る遠隔運転システム１０が採用される環境に合わせて実験的に最適に定められる。

【0092】

図８は、ステアリングホイールＳＴＲによる操舵に係る操作について算出する予測操作の例を説明するための図である。図８では、ステアリングホイールＳＴＲを時計回りの方向に操舵している場合を示し、現時点においてその操舵に係る操作が途中である場合を示している。例えば、右にカーブする道路を走行しようとしている場合である。

【0093】

いま、図８に示すように、操舵角が一定の増加量をもって増加するようにステアリングホイールＳＴＲの操作が現時点まで入力されているとする。このとき、プロセッサ２３２は、図８に示すように、所定時間経過時点まで操舵角が同等の増加量をもって増加するステアリングホイールＳＴＲの操作を予測操作として算出する。あるいは、カルマンフィルタを用いて予測操作を推定しても良い。または、車両１００の周囲環境の情報を考慮しても良い。例えば、走行する道路の形状を考慮して、予測操作を算出しても良い。

【0094】

再度図７を参照する。ステップＳ３１０の後、処理はステップＳ３２０に進む。

【0095】

ステップＳ３２０において、プロセッサ２３２は、第１予測走行経路ＰＴＲ１を生成する。第１予測走行経路ＰＴＲ１は、現時点までに入力された運転操作装置ＲＯＵの操作により車両１００が走行することが予測される予測走行経路である。第１予測走行経路ＰＴＲ１は、操作情報データＯＰＤ、走行状態データＤＲＤ、及び車両１００と遠隔運転装置２００との間の遅延時間に基づいて生成される。ここで、遅延時間は、プロセッサ２３２が算出した遅延時間である。

【0096】

第１予測走行経路ＰＴＲ１は、撮影時点から作用時点までの予測走行経路ＰＴＲを与える。例えばプロセッサ２３２は、遅延時間の情報に基づいて、撮影時点において車両１００にまだ作用していない現時点までの運転操作装置ＲＯＵの操作の情報を操作情報データＯＰＤから選択する。これは、現時点から総合遅延時間だけ過去の時点から現時点までに入力された運転操作装置ＲＯＵの操作の情報であるとして行うことができる。また撮影時点における車両１００の走行状態の情報を走行状態データＤＲＤから選択する。これは、現時点から表示遅延時間だけ過去の時点の走行状態の情報であるとして行うことができる。そして、選択された操作が、選択された走行状態である車両１００に作用するとして第１予測走行経路ＰＴＲ１を生成する。

【0097】

ステップＳ３２０の後、処理はステップＳ３３０に進む。

【0098】

ステップＳ３３０において、プロセッサ２３２は、第２予測走行経路ＰＴＲ２を生成する。第２予測走行経路ＰＴＲ２は、ステップＳ３１０において算出した予測操作により車両１００が走行することが予測される予測走行経路である。第２予測走行経路ＰＴＲ２は、操作情報データＯＰＤ、走行状態データＤＲＤ、車両１００と遠隔運転装置２００との間の遅延時間、及び予測操作の情報に基づいて生成される。ここで、遅延時間は、プロセッサ２３２が算出した遅延時間である。

【0099】

第２予測走行経路ＰＴＲ２は、作用時点以降の予測走行経路ＰＴＲを与える。例えばプロセッサ２３２は、操作情報データＯＰＤ、走行状態データＤＲＤ、及び遅延時間の情報に基づいて、作用時点における車両１００の走行状態を予測する。ここで、作用時点は、現時点から作用遅延時間だけ経過した時点であるとして算出することができる。そして、予測操作が、作用時点以降において車両１００に作用するとして第２予測走行経路ＰＴＲ２を生成する。

【0100】

ステップＳ３３０の後、予測走行経路生成処理は終了する。なお、予測走行経路生成処理において生成される第１予測走行経路ＰＴＲ１、及び第２予測走行経路ＰＴＲ２は、地図上の位置の情報として与えられる。例えば、２次元の地図上の位置の情報で与えられる経路である（図２の上部を参照）。

【0101】

図７に示す処理の順序は一例であり、処理の順序を適当に入れ替えても良い。例えば、予測操作の算出（ステップＳ３１０）の処理を実行する前に、第１予測走行経路の生成（ステップＳ３２０）の処理を実行しても良い。その他、作用時点を算出する処理を、第１予測走行経路の生成（ステップＳ３２０）の処理の前にあらかじめ実行しても良い。

【0102】

３－４．表示処理
プロセッサ２３２は、第１予測走行経路ＰＴＲ１、及び第２予測走行経路ＰＴＲ２を走行映像ＲＩＭに重畳した表示を表示装置ＤＰＵに表示するための処理を実行する（図５におけるステップＳ４００）。この処理において、プロセッサ２３２は、走行映像ＲＩＭに重畳した表示となるように、第１予測走行経路ＰＴＲ１、及び第２予測走行経路ＰＴＲ２の座標変換を行う。そして、走行映像ＲＩＭを表示装置ＤＰＵに表示するための制御信号を生成する。これにより、表示装置ＤＰＵに、第１予測走行経路ＰＴＲ１、及び第２予測走行経路ＰＴＲ２を走行映像ＲＩＭに重畳した表示が走行映像ＲＩＭに表示される（図２の下部を参照）。ここで、第１予測走行経路ＰＴＲ１、及び第２予測走行経路ＰＴＲ２の座標変換は、典型的には、カメラ１１０の取り付け位置、及びカメラ１１０のモデルに基づいて行われる。

【0103】

４．効果
以上説明したように、本実施の形態に係る遠隔運転システム１０の遠隔運転装置２００は、車両１００と遠隔運転装置２００との間の遅延時間を考慮した第１予測走行経路ＰＴＲ１、及び第２予測走行経路ＰＴＲ２を走行映像ＲＩＭに重畳して表示する。特に第２予測走行経路ＰＴＲ２は、予測操作により車両１００が走行することが予測される予測走行経路である。

【0104】

これにより、オペレータＯＰは、第１予測走行経路ＰＴＲ１、及び第２予測走行経路ＰＴＲ２を認識することで、自身の操作により車両１００がどのように走行することが予測されているかを逐次確認することができ、遠隔運転に係る操作の難しさが低減する。延いては、オペレータＯＰの操作性を向上させることができる。

【0105】

特に、第１予測走行経路ＰＴＲ１、及び第２予測走行経路ＰＴＲ２の生成に当たり考慮する車両１００と遠隔運転装置２００との間の遅延時間には、オペレータＯＰの運転操作装置ＲＯＵの操作に係る反応時間が含まれる。この反応時間は、遅延時間のうち大きな割合を占める部分である（４割程度）。従って、遅延時間として反応時間を考慮することにより、第１予測走行経路ＰＴＲ１、及び第２予測走行経路ＰＴＲ２の精度をさらに向上させることができる。

【0106】

また、本実施の形態に係る遠隔運転システム１０では、遠隔運転装置２００において、第１予測走行経路ＰＴＲ１、及び第２予測走行経路ＰＴＲ２を生成する。従って、第１予測走行経路ＰＴＲ１、及び第２予測走行経路ＰＴＲ２は、現時点までに入力されたすべての運転操作装置ＲＯＵの操作の情報を考慮して生成することができる。つまり、運転操作装置ＲＯＵの操作の情報が、車両１００と遠隔運転装置２００との間の通信の影響を受けることがない。延いては、第１予測走行経路ＰＴＲ１、及び第２予測走行経路ＰＴＲ２を精度よく生成することができる。

【0107】

さらに、第２予測走行経路ＰＴＲ２は、予測操作に基づいて生成されている。これにより、オペレータＯＰは、自身の操作の傾向により作用時点以降において車両１００がどのように走行することが予測されているかを逐次確認することができる。延いては、オペレータＯＰの操作性を向上させることができる。

【0108】

５．変形例
本実施の形態に係る遠隔運転システム１０は、以下のように変形した態様を採用しても良い。なお、以下、前述した内容においてすでに説明した事項については適宜省略する。

【0109】

５－１．変形例１
プロセッサ２３２は、走行映像ＲＩＭを表示装置ＤＰＵに表示するに当たり、車両１００が、第１予測走行経路ＰＴＲ１、及び第２予測走行経路ＰＴＲ２の特定の地点を通過することが予測される時間を示す表示をさらに行っても良い。図９は、本実施の形態の変形例１に係る遠隔運転システム１０において表示装置ＤＰＵに表示する走行映像ＲＩＭの例を示す概念図である。図９に示すように、走行映像ＲＩＭには、予測走行経路ＰＴＲ上の特定の地点において時間が表示されている。これは、表示されている時間経過後に車両１００が対応する地点を通過することが予測されていることを示すものである。これにより、さらにオペレータＯＰの操作性を向上させることができる。

【0110】

５－２．変形例２
プロセッサ２３２は、予測走行経路生成処理において、現時点における運転操作装置ＲＯＵの操舵に係る操作が所定時間経過時点まで維持される場合の作用時点以降の予測走行経路を示す第３予測走行経路をさらに生成しても良い。そして、プロセッサ２３２は、第１予測走行経路ＰＴＲ１、及び第２予測走行経路ＰＴＲ２と併せて第３予測走行経路を走行映像ＲＩＭに重畳した表示を表示装置ＤＰＵに表示しても良い。

【0111】

例えばプロセッサ２３２は、操作情報データＯＰＤ、走行状態データＤＲＤ、及び遅延時間の情報に基づいて、作用時点における車両１００の走行状態を予測する。そして、現時点における運転操作装置ＲＯＵの操舵に係る操作が、作用時点以降において維持され、車両１００に作用するとして第３予測走行経路を生成する。

【0112】

図１０は、本実施の形態の変形例２に係る遠隔運転システム１０において表示装置ＤＰＵに表示する走行映像ＲＩＭの概要を説明するための概念図である。図１０は、図２と同様の図を示している。図１０に示すように、表示装置ＤＰＵに表示する走行映像ＲＩＭには、第３予測走行経路ＰＴＲ３（２点鎖線）がさらに重畳して表示されている。これにより、オペレータＯＰは、予測操作だけでなく、現時点における運転操作装置ＲＯＵの操作によって車両１００がどのように走行することが予測されているかを確認することがでる。延いては、さらにオペレータの操作性を向上させることができる。

【符号の説明】

【0113】

１０ 遠隔運転システム
１００ 車両
１１０ カメラ
ＩＮＳ 内界センサ
２００ 遠隔運転装置
ＤＰＵ 表示装置
ＲＩＭ 走行映像
ＰＴＲ１ 第１予測走行経路
ＰＴＲ２ 第２予測走行経路
ＲＯＵ 運転操作装置
２３０ 情報処理装置
ＤＲＤ 走行状態データ
ＩＭＤ 走行映像データ
ＯＰＤ 操作情報データ
ＯＰ オペレータ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】