特許 7224998 情報処理方法、情報処理装置、及び情報処理システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-02-10

(45)【発行日】2023-02-20

(54)【発明の名称】情報処理方法、情報処理装置、及び情報処理システム

(51)【国際特許分類】

   G01C 21/36 20060101AFI20230213BHJP

   G08G 1/13 20060101ALI20230213BHJP

   G08G 1/16 20060101ALI20230213BHJP

【ＦＩ】

G01C21/36

G08G1/13

G08G1/16 A

【請求項の数】 6

(21)【出願番号】P 2019064571

(22)【出願日】2019-03-28

(65)【公開番号】P2020165709

(43)【公開日】2020-10-08

【審査請求日】2021-11-09

(73)【特許権者】

【識別番号】000003997

【氏名又は名称】日産自動車株式会社

(73)【特許権者】

【識別番号】507308902

【氏名又は名称】ルノー エス．ア．エス．

【氏名又は名称原語表記】ＲＥＮＡＵＬＴ Ｓ．Ａ．Ｓ．

【住所又は居所原語表記】１２２－１２２ ｂｉｓ， ａｖｅｎｕｅ ｄｕ Ｇｅｎｅｒａｌ Ｌｅｃｌｅｒｃ， ９２１００ Ｂｏｕｌｏｇｎｅ－Ｂｉｌｌａｎｃｏｕｒｔ， Ｆｒａｎｃｅ

(74)【代理人】

【識別番号】110000486

【氏名又は名称】弁理士法人とこしえ特許事務所

(72)【発明者】

【氏名】渡邉 真樹

(72)【発明者】

【氏名】鈴木 政康

(72)【発明者】

【氏名】望月 俊助

(72)【発明者】

【氏名】斎藤 大介

【審査官】吉村 俊厚

(56)【参考文献】

【文献】国際公開第２０１８／１５５１５９（ＷＯ，Ａ１）

【文献】特開２０１９－０１６８２５（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１１／０１８１４４１（ＵＳ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０８Ｇ １／００ － ９９／００

Ｇ０１Ｃ ２１／００ － ２１／３６

Ｂ６０Ｗ １０／００ － ６０／００

(57)【特許請求の範囲】

【請求項1】

コンピュータを備える情報処理装置が、遠隔操作による走行が可能な車両を対象にして実行する情報処理方法であって、
前記車両の俯瞰画像を含む第１画面に表示するための前記車両の走行経路を、表示用走行経路として生成し、
前記車両に搭載された撮像装置により撮像された撮像画像を含む第２画面に前記表示用走行経路を反映させるための前記走行経路を反映走行経路として生成し、
前記表示用走行経路を前記第１画面の前記俯瞰画像に重畳させて表示するよう制御し、
前記反映走行経路を前記第２画面の前記撮像画像に重畳させて表示するように制御し、
前記第１画面に表示される前記表示用走行経路のうち前記第２画面に表示される前記反映走行経路に対応する部分と、その他の前記表示用走行経路とを識別可能な形式で表示するよう制御する情報処理方法。

【請求項2】

前記車両は自律走行が可能な車両であり、
前記自律走行による前記車両の走行が妨げられた場合、前記表示用走行経路を生成する請求項１に記載の情報処理方法。

【請求項3】

前記俯瞰画像に重畳させて表示された前記表示用走行経路の幅は、前記撮像画像に重畳させて表示された前記反映走行経路の幅よりも広い
請求項１又は２に記載の情報処理方法。

【請求項4】

前記車両の車幅よりも広くなるように、前記表示用走行経路及び前記反映走行経路を生成し、
前記車両の側端部からの距離に応じて設定された色彩を用いて、前記表示用走行経路及び前記反映走行経路のうち少なくとも何れか一方の走行経路の幅方向を表示するよう制御する
請求項１～３の何れか一項に記載の情報処理方法。

【請求項5】

遠隔操作による走行が可能な車両を対象にして情報処理を実行する情報処理装置であって、
前記車両の俯瞰画像を含む第１画面に表示するための前記車両の走行経路を、表示用走行経路として生成する表示用走行経路生成部と、
前記車両に搭載された撮像装置により撮像された撮像画像を含む第２画面に前記表示用走行経路を反映させるための前記走行経路を反映走行経路として生成する反映走行経路生成部と、
前記表示用走行経路を前記第１画面の前記俯瞰画像に表示するよう制御する表示用走行経路表示制御部と、
前記反映走行経路を前記第２画面の前記撮像画像に重畳させて表示するように制御する反映走行経路表示制御部と、を備え、
前記表示用走行経路表示制御部は、前記第１画面に表示される前記表示用走行経路のうち前記第２画面に表示される前記反映走行経路に対応する部分と、その他の前記表示用走行経路とを識別可能な形式で表示するよう制御する情報処理装置。

【請求項6】

遠隔操作による走行が可能な車両と、
前記車両の俯瞰画像を含む第１画面に表示するための前記車両の走行経路を、表示用走行経路として生成する表示用走行経路生成部と、
前記車両に搭載された撮像装置により撮像された撮像画像を含む第２画面に前記表示用走行経路を反映させるための前記走行経路を反映走行経路として生成する反映走行経路生成部と、
前記表示用走行経路を前記第１画面の前記俯瞰画像に表示するよう制御する表示用走行経路表示制御部と、
前記反映走行経路を前記第２画面の前記撮像画像に重畳させて表示するように制御する反映走行経路表示制御部と、を備え、
前記表示用走行経路表示制御部は、前記第１画面に表示される前記表示用走行経路のうち前記第２画面に表示される前記反映走行経路に対応する部分と、その他の前記表示用走行経路とを識別可能な形式で表示するよう制御する情報処理装置と、を含む情報処理システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、情報処理方法、情報処理装置、及び情報処理システムに関するものである。

【背景技術】

【0002】

携帯情報端末から送信される所定の操作信号に基づいて、車両機器を遠隔操作する遠隔操作システムであって、携帯情報端末から送信される所定の操作信号に基づいて、車両機器を遠隔操作する遠隔操作システムが知られている（特許文献１）。携帯情報端末は、車両から通信網を介して取得された車両の状態情報、車両の現在位置を含む地図情報、及び車両の遠隔操作を行うための操作項目を画面に表示させる画面表示手段を備えている。携帯情報端末の画面には車両の位置が表示された地図が表示されるため、ユーザは地図上の車両の位置を確認して車両の遠隔操作を実行する。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２００６－３５２７５９号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、上記従来技術では、何らかの理由により地図上の車両の位置が実際の車両の位置と異なった場合、実際の状況に合わせて車両を走行させることができない、という問題がある。

【0005】

本発明が解決しようとする課題は、遠隔操作により実際の状況に合わせて車両を走行させることが可能な情報処理方法、情報処理装置、及び情報処理システムを提供することである。

【課題を解決するための手段】

【0006】

本発明は、車両の俯瞰画像を含む第１画面に表示するための車両の走行経路を、表示用走行経路として生成し、車両に搭載された撮像装置により撮像された撮像画像を含む第２画面に表示用走行経路を反映させるための走行経路を反映走行経路として生成し、表示用走行経路を第１画面の俯瞰画像に重畳させて表示するよう制御し、反映走行経路を第２画面の撮像画像に重畳させて表示するように制御し、第１画面に表示される表示用走行経路のうち第２画面に表示される反映走行経路に対応する部分と、その他の表示用走行経路とを識別可能な形式で表示するよう制御することにより、上記課題を解決する。

【発明の効果】

【0007】

本発明によれば、上記第１画面及び第２画面のそれぞれに表示される車両の走行経路を確認することで、遠隔操作により実際の状況に合わせて車両を走行させることができる。

【図面の簡単な説明】

【0008】

【図1】図１は、本実施形態に係る情報処理システムの一例を示す構成図である。

【図2】図２は、遠隔操作モードに移行してからオペレータが遠隔操作を実行するまでのタイムチャートの一例である。

【図3】図３は、オペレータによる走行経路の設定に際して情報処理装置が実行する処理の一例である。

【図4】図４は、図２に示すステップにおいて、端末機に表示される画面の一例である。

【図5】図５は、図２に示すステップにおいて、端末機に表示される画面の一例である。

【図6A】図６Ａは、図２に示すステップにおいて、端末機に表示される画面の一例である。

【図6B】図６Ｂは、図２に示すステップにおいて、端末機に表示される画面の一例である。

【図7】変形例に係る情報処理装置が実行する走行経路の表示制御の一例である。

【発明を実施するための形態】

【0009】

以下、本発明に係る情報処理装置、及び情報処理システムの一実施の形態を図面に基づいて説明する。本実施形態では、端末機に搭載された情報処理装置を例示して説明する。

【0010】

図１は、本発明に係る情報処理装置１５を含む情報処理システム１００の一例を示すブロック図である。図１に示すように、本実施形態における情報処理システム１００は、端末機１と、車両２と、電気通信回線網を構成するネットワーク３とを含む。本実施形態では、本発明に係る情報処理システムを、ユーザによる車両２の遠隔操作を支援するためのシステムに適用した場合を例に挙げて説明する。また、本実施形態のシステムでは、端末機１を操作する主体はユーザ（人間）である。以降では、端末機１を操作するユーザをオペレータ（操作者）と称して説明する。

【0011】

特に限定されるものではないが、本実施形態のシステムが適用される場面としては、例えば、いわゆる自動運転機能を有する車両２が当該自動運転機能では走行できない場面において、オペレータに車両２の遠隔操作を要求する場面が挙げられる。なお、本実施形態のシステムは、自動運転機能を有する自動車を対象としたシステムに限られず、例えば、運転者（ドライバ）の運転を支援する運転支援機能を有する自動車であっても適用することができる。また、端末機１を操作する主体は、オペレータに限られず、例えば、人工知能（artificial intelligence, AI）を有するコンピュータであってもよい。

【0012】

本実施形態のシステムの前提として、端末機１は車両２の外部に設けられており、オペレータは車両２の外部から端末機１を介して車両２を遠隔操作する。端末機１が設けられている場所としては、複数の車両２を遠隔操作するための管制センターなどが例示できる。すなわち、本実施形態では、車両２がオペレータの目視しうる範囲には位置しておらず、オペレータは、車両２からの情報に基づいて、端末機１を操作して車両２の遠隔操作を実行する。この種の端末機１としては、スマートフォン、携帯電話機、可搬コンピュータなどを用いることができる。端末機１については、後述する。

【0013】

次に、車両２について説明する。車両２は、自律走行が可能な車両である。車両２は、ナビゲーション装置が搭載されているとともに走行制御（速度制御と操舵制御）を自動制御する機能を備える自動車であって人間が運転する自動車、又はナビゲーション装置が搭載されているとともに走行制御を自動制御する自動車であって無人で運転する自動車のいずれかを用いることができる。以下の実施形態では、車両２をナビゲーション装置が搭載されているとともに走行制御を自動制御する自動車であって無人で運転する自動車として説明する。

【0014】

車両２は、図１に示すように、撮像装置２１と、レーダー２２と、位置検出装置２３と、走行制御装置２４と、駆動装置２５と、車載通信装置２６と、データベース２７とを備える。車両２を構成する各装置は、相互に情報の授受を行うためにＣＡＮ（Controller Area Network）その他の車載ＬＡＮによって接続されている。

【0015】

撮像装置２１は、車両２の周辺を撮像する装置である。撮像装置２１としては、例えば、ＣＣＤ、ＣＭＯＳ等の撮像素子を備えるカメラが挙げられる。カメラの種別や大きさ等の仕様は特に限定されないが、本実施形態に係る撮像装置２１は、少なくとも動画の撮影ができる装置である。撮像装置２１は、例えば、車両２の前方を撮像する前方カメラ、車両２の後方を撮像する後方カメラ、車両２の側方を撮像する側方カメラで構成される。撮像装置２１は、車両２の周辺の様子を撮影し続ける。撮像装置２１により撮像された画像は、車両２の周辺の様子が映るライブ映像として、走行制御装置２４及び車載通信装置２６に出力される。このようなライブ映像は、ストリーミング画像とも称される。

【0016】

レーダー２２は、車両２の周辺に存在する障害物を検出する。レーダー２２は、例えば、レーザレンジファインダ、超音波センサ、光センサ、赤外センサ等の各種装置の組み合わせで構成される。また、例えば、レーダー２２は、車両２の前方に存在する障害物を検出する前方レーダー、車両２の後方に存在する障害物を検出する後方レーダー、車両２の側方に存在する障害物を検出する側方レーダーで構成される。レーダー２２は、車両２から障害物までの距離及び車両２の位置に対して障害物が存在する方向を検出することができる。すなわち、レーダー２２は、車両２の位置に対する障害物の位置を検出する。レーダー２２が検出する障害物としては、例えば、歩行者、自転車、バイク、自動車、路上障害物（中央分離帯、交通信号機、商業施設、住宅施設、草木等）、路面標示、横断歩道などが挙げられる。レーダー２２が検出する障害物の状態は特に限定されず、レーダー２２は、移動している障害物及び固定された障害物のいずれも検出することができる。レーダー２２が障害物を検出すると、検出された障害物の情報は点群データとして取り込まれる。後述する情報処理装置１５において、点群データは車両２の俯瞰画像上でポイントクラウドとして表示される。レーダー２２により検出された障害物の情報（点群データ）は、走行制御装置２４及び車載通信装置２６に出力される。

【0017】

位置検出装置２３は、車両２の現在位置を検出する。位置検出装置２３としては、ＧＰＳ（Global Positioning System）が挙げられる。また、位置検出装置２３には、車両２の進行方向を検出する装置が付随していてもよい。車両２の進行方向は、車両２が前進する場合には車両２の前端が向いている方向、車両２が後進する場合には車両２の後端が向いている方向を示す。このような機能を有する装置としては、例えば、ジャイロセンサが挙げられる。位置検出装置２３により検出された車両２の現在位置及び車両２の進行方向の情報は、走行制御装置２４及び車載通信装置２６に出力される。

【0018】

走行制御装置２４は、自動的な運転（いわゆる自動運転ともいう）により車両２の走行を制御する。走行制御装置２４としては、例えば、ＥＣＵ（Electronic Control Unit）等の電子回路を用いて制御するユニットが挙げられる。

【0019】

本実施形態に係る走行制御装置２４は、車両２の自動運転に関する２つの走行モードを有している。具体的には、走行制御装置２４は、ナビゲーション装置（図示しない）から出力される走行経路に沿って車両２を走行させる通常モードと、端末機１から送信される走行経路に沿って車両２を走行させる遠隔操作モードとを有する。２つの走行モードは、車両２を走行経路に沿って走行させるよう駆動装置２５を制御する点では共通している。一方、２つの走行モードは、走行経路を設定する主体が異なっている。通常モードにおける走行経路は、車両２の乗員が入力した目的地に基づいてナビゲーション装置が設定した走行経路である。これに対して、遠隔操作モードにおける走行経路は、オペレータが端末機１を介して設定した走行経路である。次に、２つの走行モードに共通する走行制御装置２４の機能について説明する。

【0020】

走行制御装置２４は、撮像装置２１、レーダー２２、位置検出装置２３から入力される各種情報を用いて、交通法規に従いつつ、車両２の周辺状況に合わせて車両２を走行させる。例えば、車両２の前方に障害物が発見された場面では、走行制御装置２４は、ブレーキをかけるよう駆動装置２５を制御する。また、例えば、車両２の前方の信号機が青色から赤色に変わった場面では、走行制御装置２４は、ブレーキをかけるよう駆動装置２５を制御する。また、例えば、車両２が左折する場面では、走行制御装置２４は、左折する前に左側方向指示器を点滅させるよう駆動装置２５を制御する。なお、上述の説明では、運転操作のうちブレーキ操作及び方向指示器の操作を例に挙げて説明したが、走行制御装置２４は、駆動装置２５を制御することで、その他の運転操作（例えば、アクセル操作、ステアリング操作、シフトレバー操作など）も実行することができる。また、上記の周辺状況に合わせた車両２の走行は、一例であって特に限定されるものではない。さらに、本実施形態において、走行制御装置２４が備える自動運転の機能は、特に限定されるものではなく、本願出願時における技術を適宜援用できる。

【0021】

また、本実施形態に係る走行制御装置２４では、デフォルトとして通常モードが設定されている。車両２が通常モードでは走行できない場面で、走行制御装置２４は走行モードを通常モードから遠隔操作モードへと切り替える。車両２が通常モードでは走行できない場面とは、何らかの理由により通常モードにおける車両２の走行が妨げられてしまった場面である。通常モードにおける車両２の走行が妨げられた状態とは、走行制御装置２４による自立走行ができなくなり、車両２が停止した状態である。

【0022】

このような場面が起こる要因としては、障害物の存在が挙げられる。例えば、走行経路上の道路で人が立ち往生していたため、車両２が走行できず停止した場面が挙げられる。またその他の要因としては、環境の変化が挙げられる。例えば、走行経路上の道路で道路工事が行われていたことにより、車両２が走行できず停止した場面が挙げられる。また、例えば、限られた時間帯のみ開くゲートが走行経路上にあるものの、当該時間帯外にゲートを通過しようとしたため、車両２が走行できず停止した場面が挙げられる。

【0023】

通常モードにおける車両２の走行が妨げられると、走行制御装置２４は、通常モードから遠隔操作モードへと走行モードを切り替える。そして、走行制御装置２４は、車載通信装置２６を介して、オペレータによる遠隔操作を要求するための要求信号を、端末機１に送信する。この要求信号には、車両２が通常モードから遠隔操作モードに切り替わった情報が含まれている。

【0024】

車両２の走行モードが通常モードから遠隔操作モードに切り替わると、走行制御装置２４は、車両２を停止させて、端末機１から遠隔操作を開始する旨の信号を受信するまで車両２を待機させる。この際に、走行制御装置２４は、ハザードランプを点灯させるよう駆動装置２５を制御してもよい。端末機１から遠隔操作を開始する旨の信号を受信すると、走行制御装置２４は、オペレータにより設定された走行経路に沿った車両２の走行を開始させる。なお、遠隔操作モードにより車両２を走行させる開始のきっかけ（トリガ）は、遠隔操作を開始する旨の信号を受信したことに限られず、例えば、車両２の乗員がブレーキ操作を解除したことであってもよい。

【0025】

遠隔操作モードにより車両２の走行が開始されると、走行制御装置２４は、オペレータにより設定された走行経路に沿って車両２を走行させる。そして、走行制御装置２４は、所定の要件を満たした場合、遠隔操作モードを終了し、通常モードに切り替える。所定の要件としては、例えば、車両２がオペレータにより設定された走行経路の最終地点を通過した場合、車両２がナビゲーション装置により設定された走行経路を走行している場合、端末機１から遠隔操作モードを終了する旨の信号を受信した場合、などが挙げられる。このように、本実施形態では、走行制御装置２４は、原則として通常モードによる車両２の自動運転の実行し、通常モードによる自動運転では車両２が走行できない場面において、遠隔操作モードによる車両２の自動運転を実行する。そして、走行制御装置２４は、遠隔操作モードによる車両２の自動運転をする必要がなくなった後、再び通常モードによる車両２の自動運転を実行する。

【0026】

駆動装置２５は、車両２の駆動機構を備える。駆動機構には、車両２の走行駆動源である電動モータ及び／又は内燃機関、これら走行駆動源からの出力を駆動輪に伝達するドライブシャフトや自動変速機を含む動力伝達装置、及び車輪を制動する制動装置（図示しない）などが含まれる。駆動装置２５は、走行制御装置２４から入力される制御信号に基づいて、これら駆動機構の各制御信号を生成し、車両の加減速を含む走行制御を実行する。駆動装置２５に指令情報を送出することにより、車両の加減速を含む走行制御を自動的に行うことができる。また、駆動装置２５は、車両２の駆動機構に加えて、ヘッドライト、方向指示器、ハザードランプ、ワイパーなど車両２の走行に必要なその他の機器が含まれていてもよい。

【0027】

車載通信装置２６は、ネットワーク３を介して、端末機１と通信可能な機器である。車載通信装置２６は、端末機１からの情報を受信して、走行制御装置２４へ出力するとともに、撮像装置２１、レーダー２２、位置検出装置２３、走行制御装置２４、及びデータベース２７から出力された各種の情報を端末機１へ送信する。車載通信装置２６としては、４Ｇ ＬＴＥのモバイル通信機能を備えたデバイス、Ｗｉｆｉ通信機能を備えたデバイス等が例示できる。

【0028】

データベース２７は、地図情報及び道路情報を記憶する。地図情報及び道路情報は、ナビゲーション装置（図示しない）が車両２の走行経路を生成するための情報である。地図情報及び道路情報は、リンクとノードの組み合わせにより表現される情報である。車載通信装置２６は、所定の周期毎に、ネットワーク３から最新の地図情報及び道路情報をダウンロードして、データベース２７に記憶させる。これにより、データベース２７に記憶された地図情報及び道路情報は、所定の周期毎に更新される。また、本実施形態では、走行制御装置２４により、データベース２７に記憶されている地図情報は、車載通信装置２６に出力される。

【0029】

次に、端末機１の各構成について説明する。端末機１は、図１に示すように、入力装置１１と、出力装置１２と、通信装置１３と、情報処理装置１４を備える。

【0030】

入力装置１１は、オペレータにより操作される機器であり、遠隔操作モードにおける車両２の走行経路の生成などの各種操作を行うために用いられる。入力装置１１としては、例えば、ディスプレイ上に配置されるタッチパネル、キーボード上に配置されるボタン、又はジョイスティックなどのオペレータの手操作による入力が可能な装置であってもよい。オペレータが入力装置１１を介して入力した入力情報は、情報処理装置１５に出力される。

【0031】

出力装置１２は、オペレータに対して各種情報を提示する機器である。出力装置１２としては、例えば、ディスプレイなどのオペレータの視覚へ作用する画像又は映像を出力可能な装置が挙げられる。ディスプレイの種別や数量は特に限定されるものではない。本実施形態では、出力装置１２を、後述する第１画面及び第２画面を表示するディスプレイとして説明する。

【0032】

通信装置１３は、ネットワーク３を介して、車両２と通信する機器である。通信装置１３には、情報処理装置１４から遠隔操作モードにおける車両２の走行経路の情報が入力される。遠隔操作モードにおける車両２の走行経路については後述する。通信装置１３は、情報処理装置１４から入力される情報を車両２に送信する。また、通信装置１３は、車両２から撮像装置２１により撮像された撮像画像等の各種情報を受信し、受信した情報を情報処理装置１４に出力する。

【0033】

本実施形態の情報処理装置１４は、ハードウェア及びソフトウェアを備えたコンピュータにより構成され、プログラムを格納したＲＯＭ（Read Only Memory）と、このＲＯＭに格納されたプログラムを実行するＣＰＵ（Central Processing Unit）と、アクセス可能な記憶装置として機能するＲＡＭ（Random Access Memory）とから構成されている。なお、動作回路としては、ＣＰＵに代えて又はこれとともに、ＭＰＵ（Micro Processing Unit）、ＤＳＰ（Digital Signal Processor）、ＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field Programmable Gate Array）などを用いることができる。図１に示す制御装置１４０はＣＰＵに相当し、また図１に示す記憶装置１４９はＲＯＭ及びＲＡＭに相当する。

【0034】

図１に示すように、制御装置１４０には、遠隔操作要求受付部１４１と、第１画面生成部１４２と、第２画面生成部１４３と、表示用走行経路生成部１４４と、表示用走行経路表示制御部１４５と、反映走行経路生成部１４６と、反映走行経路表示制御部１４７と、走行経路送信部１４８が含まれ、これらのブロックは、ＲＯＭに確立されたソフトウェアによって、後述する各機能を実現する。

【0035】

遠隔操作要求受付部１４１は、車両２から遠隔操作の要求を受け付ける。既述のとおり、通常モードによる車両２の走行が妨げられた場合、車両２からは遠隔操作を要求する信号が端末機１に対して送信される。遠隔操作要求受付部１４１には、当該要求信号が入力される。これにより、遠隔操作要求受付部１４１は、車両２の走行が妨げられたこを検知する。

【0036】

次に、第１画面生成部１４２の機能について説明する。第１画面生成部１４２は、車両２の俯瞰画像を含む画面を第１画面として生成する。車両２の俯瞰画像としては、例えば、地図の静止画に車両２を重畳した画像が挙げられる。第１画面生成部１４２は、車両２から送信された、地図情報、車両２の現在位置の情報、及び障害物の情報に基づいて、第１画面を生成する。そして、第１画面生成部１４２は、生成した第１画面を出力装置１２に出力し、出力装置１２に第１画面を表示させる。

【0037】

第１画面生成部１４２は、地図の静止画に車両２を重畳させるために、例えば、マッピング変換技術等を用いて、位置検出装置２３が取得した車両２の現在位置の情報を、地図における座標情報に変換する。そして、第１画面生成部１４２は、変換した座標情報に基づいて、地図の静止画に車両２の画像を重畳させる。

【0038】

また、第１画面生成部１４２は、地図の静止画に車両２を重畳させるだけでなく、地図の静止画にレーダー２２により検出された障害物の情報（点群データ）を重畳させる。第１画面生成部１４２は、地図の静止画に点群データを重畳させるために、例えば、マッピング変換技術等を用いて、レーダー２２が検出した障害物の情報を、地図における座標情報に変換する。そして、第１画面生成部１４２は、変換した座標情報に基づいて、地図の静止画に点群データを重畳させる。なお、地図の静止画に重畳された点群データは、ポイントクラウドとも称される。

【0039】

第１画面生成部１４２により生成された第１画面は、地図情報をベースとした画面となる。第１画面において、車両２の画像及び点群データが重畳される位置は地図情報に基づいて設定された位置になる。このため、仮に第１画面を生成するために利用した地図が古く、例えば、建物が存在しない場所であっても、地図の静止画における当該場所にはレーダー２２で取得された点群データが重畳される。

【0040】

なお、本実施形態では、車両２の俯瞰画像として、車両２の真上に位置する視点から車両２を俯瞰した２次元の画像（地図の静止画に車両２の画像を重畳させた画像）を例に挙げて説明するが、車両２の俯瞰画像は２次元の画像に限られない。例えば、車両２の俯瞰画像は、いわゆるバードビューのような車両２に対して斜め上方に位置する視点から車両２を俯瞰した３次元の画像であってもよい。なお、当該視点と車両２との間の角度は特に限定されない。

【0041】

また、本実施形態では、車両２の画像を重畳する対象の画像は、地図の静止画であるが、地図に関するその他の画像であってもよい。例えば、上述した車両２の俯瞰画像が３次元の画像の場合、車両２の画像を重畳する対象の画像は、地図情報に基づいて生成された立体地図になる。

【0042】

また、車両２の俯瞰画像として表示される、車両２の周辺範囲の大きさは特に限定さない。例えば、オペレータは、入力装置１１を介して、第１画面に表示される地図の静止画の拡大又は縮小操作をすることができる。第１画面生成部１４２は、地図の静止画の大きさの変更に対応するように、車両２の画像の位置及び点群データを重畳させる位置を変更させる。

【0043】

次に、第２画面生成部１４３の機能について説明する。第２画面生成部１４３は、撮像画像に基づいて、撮像装置２１により撮像された撮像画像（動画）を含む画面を第２画面として生成する。本実施形態に係る第２画面は、撮像装置２１により撮像された車両２の前方の様子が映る動画で構成されている。第２画面生成部１４３は、生成した第２画面を出力装置１２に出力し、出力装置１２に第２画面を表示させる。

【0044】

第２画面生成部１４３により生成された第２画面は、撮像画像の情報をベースとした画面となる。第２画面において、障害物が写る位置は実際に車両２の撮像装置２１からの位置になる。このため、第２画面に写る障害物の情報は、実際の状況を反映した情報となる。

【0045】

なお、第２画面には、車両２の前方の様子が写る動画に代えて又はこれとともに、車両２の側方又は後方の様子が写る動画が含まれていてもよい。第２画面に複数の撮像画像が含まれている場合、第２画面生成部１４３は、第２画面を縦方向に２分割、横方向に２分割し、分割した各画面に複数の撮像画像をはめ込んでもよい。これにより、第２画面には、車両２の前方、側方、及び後方の各撮像画像が同時に表示される。

【0046】

次に、表示用走行経路生成部１４４の機能について説明する。表示用走行経路生成部１４４は、第１画面又は第２画面に表示するための車両２の走行経路を表示用走行経路として生成する。車両２の走行経路とは、遠隔操作モードにおける車両２の走行経路である。

【0047】

第１画面に表示するための表示用走行経路について説明する。例えば、出力装置１２から第１画面及び第２画面が出力されており、オペレータが当該第１画面に基づいて遠隔操作モードにおける車両２の走行経路を設定しようとした場合、まず、オペレータは、入力装置１１に対して、第１画面及び第２画面から第１画面を選択する操作を実行する。そして、オペレータは、第１画面上に車両２が通過するための複数のポイントを指定する。出力装置１２がタッチパネルの場合、例えば、オペレータは、第１画面上の複数の場所をタッチすることで、複数のポイントを指定する。表示用走行経路生成部１４４には、第１画面に指定された複数のポイントに関する情報が入力され、表示用走行経路生成部１４４は、複数のポイントを通過するような走行経路を表示用走行経路として生成する。生成された表示用走行経路は、地図情報に基づく走行経路となる。

【0048】

次に、第２画面に表示するための表示用走行経路について説明する。例えば、オペレータが出力装置１２から出力されている第２画面に基づいて遠隔操作モードにおける車両２の走行経路を設定しようとした場合、まず、オペレータは、入力装置１１に対して、第１画面及び第２画面から第２画面を選択する操作を実行する。そして、オペレータは、第２画面上に車両２が通過するための複数のポイントを指定する。出力装置１２がタッチパネルの場合、例えば、オペレータは、第２画面に複数のポイントをタッチする。表示用走行経路生成部１４４には、第２画面に指定された複数のポイントに関する情報が入力される。表示用走行経路生成部１４４は、複数のポイントを通過するような走行経路を表示用走行経路として生成する。生成された表示用走行経路は、撮像画像の情報に基づく走行経路となる。

【0049】

次に、表示用走行経路表示制御部１４５の機能について説明する。表示用走行経路表示制御部１４５は、表示用走行経路生成部１４４により生成された表示用走行経路を、対応する画面に表示するよう出力装置１２を制御する。

【0050】

第１画面を対象とした表示用走行経路が生成された場合、表示用走行経路表示制御部１４５は、表示用走行経路を第１画面に表示するよう出力装置１２を制御する。例えば、表示用走行経路表示制御部１４５は、表示用走行経路を車両２の俯瞰画像に重畳させて表示させる。これにより、オペレータは、出力装置１２を介して、車両２の俯瞰画像に対して、車両２の画像、点群データ、及び表示用走行経路が重畳された第１画面を確認することができる。また、この場合、オペレータは、第２画面に表示されない障害物（例えば、後方車両）と表示用走行経路との間の距離関係を確認することができる。例えば、撮像装置２１の撮像範囲がレーダー２２の検出範囲よりも狭い場合、オペレータは、撮像装置２１の撮像範囲外に位置する障害物と表示用走行経路との間の距離関係を確認することができる。なお、上記のオペレータが確認可能な事項は例示であって特に限定されるものではない。

【0051】

反対に、第２画面に対する表示用走行経路が生成された場合、表示用走行経路表示制御部１４５は、表示用走行経路を第２画面に表示するよう出力装置１２を制御する。例えば、表示用走行経路表示制御部１４５は、表示用走行経路を撮像画像に重畳させて表示させる。これにより、オペレータは、出力装置１２を介して、撮像画像に対して表示用走行経路が重畳された第２画面を確認することができる。例えば、第２画面に車両２の前方の撮像画像が表示されている場合、オペレータは、前方車両の大きさ、形状、車体の向き等を確認しながら前方車両と表示用走行経路との間の距離関係を確認することができる。なお、上記のオペレータが確認可能な事項は例示であって特に限定されるものではない。

【0052】

次に、反映走行経路生成部１４６の機能について説明する。反映走行経路生成部１４６は、第１画面及び第２画面のうち、表示用走行経路の表示対象ではない画面に表示するための車両２の走行経路を、反映走行経路として生成する。言い換えると、反映走行経路生成部１４６は、第１画面及び第２画面のうち、表示用走行経路が表示されていない画面に表示用走行経路を反映させるための走行経路として、反映走行経路を生成する。車両２の走行経路とは、遠隔操作モードにおける車両２の走行経路である。

【0053】

例えば、第１画面に表示用走行経路が表示される場合、反映走行経路生成部１４６は、地図情報で構成される表示用走行経路の情報に基づいて、第２画面に表示するための車両２の走行経路を反映走行経路として生成する。反映走行経路生成部１４６は、表示用走行経路を撮像画像に反映させるために、例えば、マッピング変換技術等を用いて、表示用走行経路を構成する地図情報（例えば、ＸＹ座標の情報）を、撮像画像における位置情報に変換する、いわゆるデータ変換を実行する。この際に、反映走行経路生成部１４６は、例えば、車両２の車体の高さ、タイヤの高さ、撮像装置２１の設置されている位置、撮像装置２１の視野角、撮像装置２１の解像度、レーダー２２の検出範囲の情報を用いてデータ変換を実行する。すなわち、反映走行経路生成部１４６は、地図情報をベースにした表示用走行経路を、実際に撮像された撮像画像をベースにした反映走行経路へ変換する処理を実行する。

【0054】

反対に、例えば、第２画面に表示用走行経路が表示される場合、反映走行経路生成部１４６は、撮像画像の情報で構成される表示用走行経路の情報に基づいて、第１画面に表示するための車両２の走行経路を反映走行経路として生成する。反映走行経路生成部１４６は、地図の静止画に表示用走行経路を反映させるために、例えば、マッピング変換技術等を用いて、表示用走行経路を構成する撮像画像の情報を、地図の静止画における位置情報に変換する、いわゆるデータ変換を実行する。すなわち、反映走行経路生成部１４６は、実際に撮像された撮像画像をベースにした表示用走行経路を、地図情報をベースにした反映走行経路へ変換する処理を実行する。

【0055】

なお、反映走行経路生成部１４６は、表示用走行経路が変更された場合、変更後の表示用走行経路に対応した反映走行経路を自動的に生成する。すなわち、反映走行経路生成部１４６は、表示用走行経路生成部１４４による表示用走行経路の生成に連動して反映走行経路を生成する。例えば、オペレータが第１画面に表示された表示用走行経路の微修正をしようと、車両２の走行経路の修正操作を実行した場合、表示用走行経路生成部１４４は、修正内容を反映した表示用走行経路を生成する。反映走行経路生成部１４６は、表示用走行経路の修正に連動して、修正された表示用走行経路を反映する反映走行経路を生成する。

【0056】

次に、反映走行経路表示制御部１４７の機能について説明する。反映走行経路表示制御部１４７は、反映走行経路生成部１４６により生成された反映走行経路を、対応する画面に表示するよう出力装置１２を制御する。

【0057】

第１画面に対応する反映走行経路が生成された場合（第２画面に対応する表示用走行経路が生成された場合）、反映走行経路表示制御部１４７は、反映走行経路を第１画面に表示するよう出力装置１２を制御する。例えば、反映走行経路表示制御部１４７は、反映走行経路を車両２の俯瞰画像に重畳させて表示させる。

【0058】

反対に、第２画面に対応する表示用走行経路が生成された場合（第１画面に対応する表示用走行経路が生成された場合）、反映走行経路表示制御部１４７は、反映走行経路を第１画面に表示するよう出力装置１２を制御する。例えば、反映走行経路表示制御部１４７は、反映走行経路を撮像画像に重畳させて表示させる。

【0059】

ここで、表示用走行経路表示制御部１４５と反映走行経路表示制御部１４７との関係性について説明する。本実施形態では、表示用走行経路表示制御部１４５は、表示用走行経路が車両２の進行方向に対して垂直方向、すなわち、車両２の車幅方向に所定の長さを有するように、表示用走行経路を第１画面又第２画面に表示させる。また、反映走行経路表示制御部１４７は、反映走行経路が車両２の進行方向に対して垂直方向、すなわち、車両２の車幅方向に所定の長さを有するように、反映走行経路を第１画面又は第２画面に表示させる。走行経路の幅の長さは特に限定されるものではないが、車両２の車幅以上であることが好ましい。表示用走行経路表示制御部１４５又は反映走行経路表示制御部１４７は、予め設定された車両２の車幅又は車両２から送信された車両２の車幅の情報に基づいて、幅を有する表示用走行経路又は反映走行経路を、第１画面又は第２画面に表示させる。想定される車両２の走行軌跡がより実際の状況に近くなるため、オペレータによる確認作業が軽減され、車両２の走行経路の設定操作を短時間で行うことが可能になる。

【0060】

また、本実施形態では、表示用走行経路表示制御部１４５及び反映走行経路表示制御部１４７は、第１画面に表示させる走行経路の幅が第２画面に表示させる走行経路の幅よりも広くなるように第１画面及び第２画面への表示制御を実行する。例えば、第１画面に表示用走行経路、及び第２画面に反映走行経路を表示させる場合、表示用走行経路表示制御部１４５は、第２画面に表示される反映走行経路の幅よりも広くなるように、表示用走行経路を第１画面に表示させる。反対に、例えば、第１画面に反映走行経路、及び第２画面に表示用走行経路を表示させる場合、反映走行経路表示制御部１４７は、第２画面に表示される表示用走行経路の幅よりも広くなるように、反映走行経路を第１画面に表示させる。

【0061】

一般的に、車両２の周辺範囲の広さの観点で考えると、撮像装置２１の撮像範囲には制限があるため、第１画面に表示される車両２の周辺範囲は、第２画面に表示される車両２の周辺範囲よりも広くなる傾向にある。このため、オペレータは、より広い範囲の情報が得られる第１画面に対して車両２の走行経路を設定する傾向が高い。一方で、車両２の周辺状況の精度の観点で考えると、撮像装置２１の撮像画像は実際の状況を映し出すのに対して、車両２の俯瞰画像は利用する地図の精度などに依存するため、第１画面から得られる情報の精度は、第２画面から得られる情報の精度よりも低い傾向にある。本実施形態では、第１画面に表示される車両２の走行経路の幅が、第２画面に表示される車両２の走行経路よりも広いため、地図の精度が比較的低い場合であっても、車両２に対して遠隔操作を行った際に、第１画面に表示される車両２の走行経路の範囲内で走行させることができる。その結果、オペレータが想定する範囲外で車両２が走行することを防ぐことができる。

【0062】

次に、走行経路送信部１４８の機能について説明する。走行経路送信部１４８は、通信装置１３を介して、オペレータにより設定された、遠隔操作モードにおける車両２の走行経路を車両２に送信する。例えば、オペレータが車両２の走行経路を確定する操作を行うと、当該操作に起因して、走行経路送信部１４８は、オペレータにより設定された車両２の走行経路を車両２に送信する。

【0063】

次に、図２を用いて、情報処理システムにより、遠隔操作モードに移行してからオペレータが遠隔操作を実行するまでのタイムチャートの一例を説明する。また、図３を用いて、オペレータによる走行経路の設定に際して情報処理装置１４が実行する処理の一例について説明する。加えて、図４、図５、図６Ａ、及び図６Ｂを用いて、図２及び図３に示すステップにおいて、端末機１に表示される画面の一例を説明する。

【0064】

ステップＳ１０１では、通常モードでの自運転による車両２の走行が停止する。例えば、車両２の前方に駐車車両が存在した場合などが挙げられる。車両２の走行制御装置２４は、車両２の走行モードを通常モードから遠隔操作モードに切り替えて、車両２を待機させる。

【0065】

ステップＳ１０２では、車両２の走行制御装置２４により、遠隔操作を要求する旨の信号が端末機１に送信される。

【0066】

ステップＳ１０３では、端末機１の通信装置１３は、ステップＳ１０２で送信された遠隔操作を要求する旨の信号を受信する。

【0067】

ステップＳ１０４では、車両２の車載通信装置２６は、撮像装置２１により撮像された撮像画像、レーダー２２により取得された障害物の情報（点群データ）、位置検出装置２３により検出された車両２の現在位置の情報、データベース２７に記憶されている地図情報を端末機１に送信する。

【0068】

ステップＳ１０５では、端末機１の通信装置１３は、ステップＳ１０４で送信された各種情報を受信する。

【0069】

ステップＳ１０６では、端末機１の情報処理装置１４は、ステップＳ１０５で受信した各種情報に基づいて、車両２の俯瞰画像を含む第１画面を生成する。例えば、情報処理装置１４は、地図上の車両２が位置する場所に車両２の画像を重畳させるとともに、障害物を示す点群データも合わせて重畳させることで、第１画面を生成する。

【0070】

ステップＳ１０７では、情報処理装置１４は、ステップＳ１０５で受信した各種情報に基づいて、撮像装置２１により撮像された撮像画像を含む第２画面を生成する。例えば、情報処理装置１４は、撮像画像そのものを第２画面とする。

【0071】

ステップＳ１０８では、情報処理装置１４は、ステップＳ１０６で生成した第１画面、及びステップＳ１０７で生成した第２画面を出力装置１２から表示させる。

【0072】

図４（Ａ）は、端末機１のディスプレイ（出力装置１２に相当）に表示される第１画面の一例を示し、図４（Ｂ）は、端末機１のディスプレイに表示される第１画面の一例を示す。図４（Ａ）に示す第１画面Ｄ_１及び図４（Ｂ）に示す第２画面Ｄ_２は、同じ時刻における画面とする。また、端末機１には２つの画面が同時に表示されており、オペレータは２つの画面を同時に確認できるものとする。

【0073】

図４（Ｂ）に示すように、第２画面Ｄ_２には車両２の前方に停車する他車両（障害物ＯＢ_１）が映し出されている。オペレータは、第２画面Ｄ_２を確認することで、車両２の通常モードによる走行が停止した要因が当該他車両であることを認識することができる。また、第２画面Ｄ_２には、停車中の他車両を追い越し、当該他車両の右斜め前方を走行する別の他車両（障害物ＯＢ_２）が映し出されている。

【0074】

一方、図４（Ａ）に示すように、第１画面Ｄ_１は、図４（Ｂ）の第２画面Ｄ_２に映し出されている状況を別の視点で映し出している。第１画面Ｄ_１は、地図の静止画Ｍ_１と、車両２を真上から見た画像（画像Ｖ）と、障害物を示す点群データ（ポイントクラウドデータ）Ｐ_ＣＤで構成されている。具体的には、画像Ｖと点群データＰ_ＣＤは、地図の静止画Ｍ_１に重畳して表示されている。

【0075】

また、図４（Ａ）に示すように、第１画面Ｄ_１では、車両２の前方に停車中の他車両（図４（Ｂ）に示す障害物ＯＢ_１）は、点群データＰ_ＣＤ１で表示される。また、車両２の右斜め前を走行中の他車両（図４（Ｂ）に示す障害物ＯＢ_２）は、点群データＰ_ＣＤ２で表示される。なお、障害物ＯＢ_２は移動しているため、第１画面Ｄ_１では、点群データは連続して表示されている。

【0076】

再び図２に戻り、タイムチャートの一例について説明する。ステップＳ１０９では、オペレータによる遠隔操作モードにおける車両２の走行経路の設定が行われる。このステップの詳細については、図３を用いて後述する。ステップＳ１０９において車両２の走行経路の設定が終了すると、ステップＳ１１０に進む。

【0077】

ステップＳ１１０では、遠隔操作を開始するための信号及びオペレータにより設定された走行経路は、情報処理装置１４により、車両２に送信される。例えば、オペレータは、遠隔操作モードによる走行を開始するための操作を行うと、情報処理装置１４は、通信装置１３を介して、遠隔操作開始信号及び走行経路を車両２に送信する。

【0078】

ステップＳ１１１では、車両２の車載通信装置２６は、ステップＳ１１０にて端末機１から送信された遠隔操作開始信号及び走行経路を受信する。

【0079】

ステップＳ１１２では、車両２は遠隔操作モードにおける自動運転を開始する。例えば、車両２の運転席に乗員がいる場合、当該乗員のブレーキ解除操作により、車両２の走行制御装置２４は、遠隔操作モードにおける走行を開始させる。この際に、走行制御装置２４は、ステップＳ１１１で受信した走行経路に沿って車両２を走行させる。

【0080】

ステップＳ１１３では、車両２において、遠隔操作モードが終了したか否かの判定が行われる。例えば、走行制御装置２４は、車両２がステップＳ１１１で受信した走行経路の終点を通過した場合、遠隔操作モードが終了したと判定する。遠隔操作モードが終了した場合、ステップＳ１１４に進み、オペレータによる遠隔操作が終了する。遠隔操作モードが終了していない場合、ステップＳ１１３で待機する。

【0081】

次に、図３を用いて、図２に示すステップＳ１０９の詳細について説明する。図３は、オペレータによる走行経路の設定に際して情報処理装置１４が実行する処理を示すフローチャートである。

【0082】

ステップＳ２０１では、車両２の走行経路を設定するにあたり使用する画面の選択が行われる。例えば、オペレータは、図２のステップＳ１０８にて表示される第１画面及び第２画面を確認し、どちらの画面に基づいて、遠隔操作モードにおける車両２の走行経路を設定するかを考える。そして、オペレータは、端末機１の入力装置１１に対して、第１画面及び第２画面のうち何れかの画面を選択する操作を行う。第１画面が選択された場合、ステップＳ２０２に進み、第２画面が選択された場合、ステップＳ２０７に進む。

【0083】

ステップＳ２０１にて第１画面が選択された場合、ステップＳ２０２に進む。ステップＳ２０２では、情報処理装置１４は、第１画面に表示するための車両２の走行経路を、表示用走行経路として生成する。例えば、オペレータが第１画面上に車両２が通過するための複数のポイントを指定すると、情報処理装置１４は、指定された全てのポイントを通過するような走行経路を、表示用走行経路として生成する。

【0084】

ステップＳ２０２では、情報処理装置１４は、ステップＳ１２０で生成した表示用走行経路を第１画面に表示するよう出力装置１２を制御する。

【0085】

図５（Ａ）は、情報処理装置１４により表示される表示用走行経路の一例を示す図である。図５（Ａ）に示す第１画面Ｄ_１は、図４（Ａ）に示す第１画面Ｄ_１から所定の時間が経過した後の画面であるため、同一の構成については同一の符号を付している。また、同一の符号の説明については、既述の説明を適宜援用する。

【0086】

図５（Ａ）に示すように、オペレータが前方に停車する他車両を追い越すように複数のポイントＰ_１～ポイントＰ_７を指定すると、情報処理装置１４は、指定された全てのポイントを通過するような走行経路を表示用走行経路ＤＲ_１として生成し、第１画面に表示させる。なお、表示用走行経路ＤＲ_１は、車両２の車幅以上の幅を有している。また、表示用走行経路ＤＲ_１は、車両２の前端部を開始点とする走行経路である。オペレータは、図５（Ａ）に示す表示用走行経路ＤＲ_１を確認することで、車両２の真上に位置する視点から見た車両２の走行軌跡を予測することができる。例えば、図５（Ａ）の例では、前方の他車両を追い越せることを確認できるとともに、現時点では車両２の走行車線と反対車線に障害物がないことも確認することができる。

【0087】

再び図３に戻り、フローチャートについて説明する。ステップＳ２０４では、情報処理装置１４は、ステップＳ２０２で生成した表示用走行経路に基づいて、第２画面に表示させるための車両２の走行経路を反映走行経路として生成する。例えば、情報処理装置１４は、地図情報に基づく表示用走行経路に対して、マッピング変換処理を行い、撮像画像に対応した走行経路を生成する。

【0088】

ステップＳ２０５では、情報処理装置１４は、ステップＳ２０４で生成した反映走行経路を第２画面に表示するよう出力装置１２を制御する。

【0089】

図６Ａは、情報処理装置１４により表示される反映走行経路の一例を示す図である。図６Ａの第１画面Ｄ_１は、図５（Ａ）に示す第１画面Ｄ_１に対応している。図６Ａに示すように、第１画面Ｄ_１に表示される表示用走行経路ＤＲ_１は、情報処理装置１４により第２画面Ｄ_２に反映されて、反映走行経路ＲＲ_１として表示される。すなわち、図６Ａの例では、第１画面Ｄ_１に表示される表示用走行経路ＤＲ_１のうち撮像画像に表示した際に対応する部分（第２画面Ｄ_２における反映走行経路ＰＲ_２）は、表示用走行経路ＰＰ_１ ^’に対応する。

【0090】

このように、表示用走行経路ＤＲ_１の全てを第２画面Ｄ_２に表示することができない場合、情報処理装置１４は、表示用走行経路ＤＲ_１のうち表示可能な範囲を抽出して第２画面Ｄ_２に反映させる。この際に、情報処理装置１４は、表示用走行経路ＤＲ_１のうち反映走行経路ＰＲ_２に対応する部分と、その他の部分とを識別可能な形式で表示するよう出力装置１２を制御する。なお、識別可能な表示方法は特に限定されず、情報処理装置１４は、例えば、色、模様などを変えて表示するよう出力装置１２を制御する。これにより、オペレータは、図６Ａの例に示すように、第１画面Ｄ_１に表示される表示用走行経路ＤＲ_１のうち、第２画面に表示される反映走行経路ＲＲ_１に相当する部分を把握することができる。その結果、オペレータは、自身が設定した車両２の走行経路が撮像画像上ではどのように映し出されるかを把握することができるため、第１画面に表示される表示用走行経路ＤＲ_１のみを確認して車両２の遠隔操作を実行するよりも、より実際の状況に合わせて車両２の遠隔操作を実行することができる。

【0091】

また、図６Ａに示すように、反映走行経路ＲＲ_１も、表示用走行経路ＤＲ_１と同様に、所定の幅を有した形式で表示される。表示用走行経路ＤＲ_１の幅Ｗ_１と、反映走行経路ＲＲ_１の幅Ｗ_２は、情報処理装置１４により、車両２の車幅よりも広く設定されている。また、表示用走行経路ＤＲ_１の幅Ｗ_１は、情報処理装置１４により、反映走行経路ＲＲ_１の幅Ｗ_２よりも広く設定されている。

【0092】

再び図３に戻り、フローチャートについて説明する。ステップＳ２０６では、オペレータにより走行経路の確認が行われる。例えば、オペレータは、ステップＳ２０３で表示される第１画面及びステップＳ２０４で表示される第２画面を確認し、遠隔操作モードにおける車両２の走行経路に問題があるか否かを判断する。走行経路に問題がないと判断した場合、図３に示す処理が終了し、図２に示すステップＳ１１０に進む。反対に、走行経路に問題があると判断した場合、ステップＳ２０１に戻る。

【0093】

ステップＳ２０１にて第２画面が選択された場合、ステップＳ２０７に進む。ステップＳ２０７では、情報処理装置１４は、第２画面に表示するための車両２の走行経路を表示用走行経路として生成する。例えば、オペレータが第２画面上に車両２が通過するための複数のポイントを指定すると、情報処理装置１４は、指定された全てのポイントを通過するような走行経路を表示用走行経路として生成する。

【0094】

ステップＳ２０８では、情報処理装置１４は、ステップＳ１２０で生成した表示用走行経路を第２画面に表示するよう出力装置１２を制御する。

【0095】

図５（Ｂ）は、情報処理装置１４により表示される表示用走行経路の一例を示す図である。図５（Ｂ）に示す第２画面Ｄ_２は、図４（Ｂ）に示す第２画面Ｄ_２から所定の時間が経過した後の画面であるため、同一の構成については同一の符号を付している。また、同一の符号の説明については、既述の説明を適宜援用する。

【0096】

図５（Ｂ）に示すように、オペレータが前方に停車する他車両を追い越すように複数のポイントＰ_１１～ポイントＰ_１４を指定すると、情報処理装置１４は、指定された全てのポイントを通過するような走行経路を表示用走行経路ＤＲ_２として生成し、第２画面に表示させる。なお、表示用走行経路ＤＲ_２は、車両２の車幅以上の幅を有している。また、表示用走行経路ＤＲ_２は、車両２の前端部を開始点とする走行経路である。オペレータは、図５（Ｂ）に示す表示用走行経路ＤＲ_２を確認することで、車両２に設定された撮像装置２１の視点から車両２の走行軌跡を予測することができる。例えば、図５（Ｂ）の例では、前方の他車両に対してどの程度間隔を開けて追い越すことができるかを感覚的に認識できる。

【0097】

再び図３に戻り、フローチャートについて説明する。ステップＳ２０９では、情報処理装置１４は、ステップＳ２０７で生成した表示用走行経路に基づいて、第１画面に表示させるための車両２の走行経路を反映走行経路として生成する。例えば、情報処理装置１４は、撮像画像の情報に基づく表示用走行経路に対して、マッピング変換処理を行い、地図情報に対応した走行経路を生成する。

【0098】

ステップＳ２１０では、情報処理装置１４は、ステップＳ２０９で生成した反映走行経路を第１画面に表示するよう出力装置１２を制御する。

【0099】

図６Ｂは、情報処理装置１４により表示される反映走行経路の一例を示す図である。図６Ｂの第２画面Ｄ_２は、図５（Ｂ）に示す第２画面Ｄ_２に対応している。図６Ｂに示すように、第２画面Ｄ_２に表示される表示用走行経路ＤＲ_２は、情報処理装置１４により第１画面Ｄ_１に反映されて、反映走行経路ＲＲ_２として表示される。

【0100】

図６Ｂの例では、図６Ａの異なり、表示用走行経路ＤＲ_２の全てを第１画面Ｄ_１に表示することができるため、情報処理装置１４は、表示用走行経路ＤＲ_２の全てを第１画面Ｄ_１に反映させる。なお、図６Ａの例と同様に、反映走行経路ＲＲ_２も、表示用走行経路ＤＲ_２と同様に、所定の幅を有した形式で表示される。表示用走行経路ＤＲ_２の幅Ｗ_３と、反映走行経路ＲＲ_２の幅Ｗ_４は、情報処理装置１４により、車両２の車幅よりも広く設定されている。また、表示用走行経路ＤＲ_２の幅Ｗ_３は、情報処理装置１４により、反映走行経路ＲＲ_２の幅Ｗ_４よりも広く設定されている。

【0101】

再び図３に戻り、フローチャートについて説明する。ステップＳ２１０の処理が終了すると、ステップＳ２０６に進む。ステップＳ２０６では、オペレータにより走行経路の確認が行われる。例えば、オペレータは、ステップＳ２０８で表示される第２画面及びステップＳ２１０で表示される第１画面を確認し、遠隔操作モードにおける車両２の走行経路に問題があるか否かを判断する。走行経路に問題がないと判断した場合、図３に示す処理が終了し、図２に示すステップＳ１１０に進む。反対に、走行経路に問題があると判断した場合、ステップＳ２０１に戻る。

【0102】

このように、情報処理装置１４が図３に示すフローチャートの処理を実行することで、オペレータは、遠隔操作モードにおける車両２の走行経路を適切に設定することができる。例えば、オペレータは、第１画面に基づいて車両２の走行経路を設定しても、ステップＳ２０６にて走行経路に問題があると判断した場合には、ステップＳ２０１に戻り、車両２の走行経路の設定を再度行うことができる。例えば、オペレータは、一度第１画面に表示された表示用走行経路に基づいて、車両２の走行経路を調整することができる。この場合、例えば、オペレータは、表示用走行経路を構成するポイントの位置を調整することができる。オペレータがポイントの位置を修正すると、情報処理装置１４は、修正されたポイントを通過するような走行経路を表示用走行経路として生成し、第１画面に表示する。これにより、オペレータは遠隔操作モードにおける車両の走行経路の調整をすることができる。

【0103】

以上のように、本実施形態に係る情報処理装置１４は、車両２の俯瞰画像を含む第１画面及び車両２に搭載された撮像装置２１により撮像された撮像画像を含む第２画面のうち一方の画面に表示するための車両２の走行経路を表示用走行経路として生成し、表示用走行経路を一方の画面に表示するよう出力装置１２を制御し、表示用走行経路を第１画面及び第２画面のうち他方の画面に反映させる。これにより、オペレータは、第１画面及び第２画面に表示される２つの走行経路（表示経路及び反映走行経路）を確認することができる。少なくとも第２画面には、撮像装置２１により撮像された撮像画像に重畳させて表示された走行経路が表示されるため、オペレータは、実際の状況に合わせて走行経路を設定することができる。その結果、オペレータは遠隔操作により実際の状況に合わせて車両を走行させることができる。

【0104】

また、本実施形態では、車両２は自律走行が可能な車両であり、情報処理装置１４は、自律走行による車両２の走行が妨げられた場合、表示用走行経路を生成する。これにより、自律走行による車両２の走行が妨げられた際に、オペレータは遠隔操作により車両２を走行させることができる。

【0105】

さらに、本実施形態では、情報処理装置１４は、表示用走行経路を車両２の俯瞰画像又は撮像装置２１により撮像された撮像画像に重畳させて表示するよう出力装置１２を制御する。これにより、オペレータは、車両２の走行経路と車両２の周辺の状況との関係性（例えば、走行経路と障害物との間の距離など）を俯瞰的に捉えることができる。その結果、例えば、撮像装置２１の画角では捉えきれないような障害物と走行距離との関係性を把握することができ、オペレータは遠隔操作により実際の状況に合わせて車両を走行させることができる。

【0106】

加えて、本実施形態では、情報処理装置１４は、表示用走行経路が表示されていない第１画面又は第２画面に表示用走行経路を反映させるための走行経路を反映走行経路として生成し、反映走行経路を車両２の俯瞰画像又は撮像装置２１により撮像された撮像画像に重畳させて表示するよう出力装置１２を制御する。これにより、オペレータは視点が異なる２つの画面を通じて、想定される車両２の走行軌跡を確認することができるため、１つの画面に走行経路が表示される場合と比べて、より実際の状況に合わせて車両を走行させることができる。その結果、走行経路の設定に要する時間の短縮を図ることができ、オペレータの作業負荷を軽減することができる。

【0107】

また、本実施形態では、車両２の俯瞰画像に重畳させて表示された表示用走行経路の幅は、撮像画像に重畳させて表示された反映走行経路の幅よりも広い。これにより、仮に地図上における車両２の位置と実際の車両２の位置が相違しているため、地図上において車両２と障害物との距離関係が実際の当該距離関係と一致していなくても、オペレータは幅方向において許容範囲がある走行経路に基づいて、車両２の走行経路に問題があるか否かを判断することができる。

【0108】

さらに、本実施形態では、情報処理装置１４は、第１画面に表示される表示用走行経路のうち第２画面に表示される反映走行経路に対応する部分と、その他の表示用走行経路とを識別可能な形式で表示するよう出力装置１２を制御する。これにより、オペレータは、第２画面に表示されている走行経路が、第１画面に表示されている走行経路のどの部分に対応しているかを認識することができ、第１画面及び第２画面に表示される走行経路を見比べるために要する時間を削減することができる。その結果、走行経路の確認に要するオペレータの負荷を低減することができる。

【0109】

なお、以上に説明した実施形態は、本発明の理解を容易にするために記載されたものであって、本発明を限定するために記載されたものではない。したがって、上記の実施形態に開示された各要素は、本発明の技術的範囲に属する全ての設計変更や均等物をも含む趣旨である。

【0110】

例えば、上記の実施形態では、情報処理装置１４は、表示用走行経路又は反映走行経路が、車両２の車幅方向に所定の長さを有するように、第１画面又第２画面に表示させる構成を例に挙げて説明したが、走行経路の表示方法は、これに限られない。変形例に係る情報処理装置１４が実行する走行経路の表示制御について、図７を用いて説明する。

【0111】

図７（Ａ）は、変形例に係る情報処理装置１４が実行する表示用走行経路又は反映走行経路の表示制御の一例である。第１画面に表示される表示用走行経路ＤＲ_１を例に挙げて説明すると、図７（Ａ）に示すように、情報処理装置１４は、表示用走行経路ＤＲ_１の幅Ｗ_Ｒを車両２の車幅Ｗ_Ｖよりも広くなるように、表示用走行経路を第１画面に表示させる。この際に、情報処理装置１４は、車両２の側端部からの距離に応じて予め設定された色彩を用いて、表示用走行経路の幅方向を表示するよう出力装置１２を制御する。例えば、情報処理装置１４は、表示用走行経路の幅Ｗ_Ｒを、車両２の側端部からの距離に応じた３つに区分けする。そして、情報処理装置１４は、車両２の側端部から最も近い距離の順に、走行経路の色を赤色（黒塗り部（ｉ））、オレンジ色（右上から左下向きの斜線部（ｉｉ））、黄色（左上から右下向きの斜線部（ｉｉｉ））で表示させる。

【0112】

このように、変形例に係る情報処理装置１４は、車両２の車幅よりも広くなるように、表示用走行経路及び反映走行経路を生成し、車両２の側端部からの距離に応じて設定された色彩を用いて、表示用走行経路の幅方向を表示するよう制御する。これにより、車両２の側端部からの距離が視覚的に把握しやすくなるため、例えば、走行経路上に障害物が存在した場合、オペレータは、当該障害物が車両２の側端部に対してどの程度の距離に位置するかを容易に把握することができる。その結果、確認に要する時間の短縮を図ることができ、オペレータの作業負荷を軽減することができる。

【0113】

なお、走行経路の幅方向を区分けする数、走行経路の色の種別は、図７（Ａ）に示す例に限定されるものではない。例えば、情報処理装置１４は、車両２の側端部からの距離に応じて設定された色彩の濃淡又は明度の度合いを用いて、表示用走行経路の幅方向を表示するよう制御してもよい。また、走行経路の幅方向を表示するための色彩等は予め設定されていることに限られず、例えば、オペレータによる設定や変更が可能であってもよい。

【0114】

また、情報処理装置１４は、表示用走行経路に限られず、反映走行経路においても、図７（Ａ）に示すような走行経路の表示制御を実行することができる。さらに、第１画面に表示される走行経路を例に挙げて説明したが、情報処理装置１４は、第２画面に表示される表示用走行経路又は反映走行経路においても、同様の走行経路の表示制御を実行することができる。

【0115】

図７（Ｂ）は、変形例に係る情報処理装置１４が実行する表示用走行経路又は反映走行経路の表示制御の他の例である。第２画面に表示される表示用走行経路ＤＲ_２を例に挙げて説明すると、図７（Ｂ）に示すように、情報処理装置１４は、表示用走行経路ＤＲ_２の幅Ｗ_Ｒを車両２の車幅Ｗ_Ｖよりも広くなるように、表示用走行経路を第２画面に表示させるとともに、走行経路を３次元化して第２画面に表示させる。例えば、情報処理装置１４は、記憶装置１４９に記憶されている、又は車両２から取得した車両２の車両情報（車幅及び車高の情報）に基づいて、幅Ｗ_Ｒ及び高さＨ_Ｒを有する表示用走行経路ＤＲ_２を生成する。走行経路の高さＨ_Ｒは特に限定されないが、一例として、情報処理装置１４は、車両２の車高に合わせて走行経路の高さＨ_Ｒを設定する。また、情報処理装置１４は、図７（Ａ）を用いて説明したように、走行経路Ｒの幅を車両２の側端部からの距離に応じた３つに区分けして、それぞれ色を付して、走行経路を表示する。

【0116】

図７（Ｂ）に示すような３次元化された走行経路は、車両２が実際に走行する際に通過する空間として表されるため、オペレータは、車両２の幅方向だけでなく、車両２の高さ方向においてもどのように車両２が走行するかを予め確認することができる。その結果、車両２と障害物との距離関係をより正確に把握することができ、遠隔操作モードにおける車両２の走行経路をより精度良く設定することができる。

【0117】

なお、情報処理装置１４は、表示用走行経路に限られず、反映走行経路においても、図７（Ｂ）に示すような走行経路の表示制御を実行することができる。さらに、第２画面に表示される走行経路を例に挙げて説明したが、情報処理装置１４は、第１画面に表示される表示用走行経路又は反映走行経路においても、同様の走行経路の表示制御を実行することができる。例えば、情報処理装置１４は、車両２の俯瞰図として立体地図が用いられた場合、図７（Ｂ）に示すように、走行経路を立体的に表示させることができる。

【0118】

また、上述した実施形態では、情報処理装置１４が表示させる画面として、第１画面及び第２画面の２種類を例に挙げて説明したが、情報処理装置１４が表示さえる画面は、少なくとも第１画面及び第２画面が含まれていればよく、２種類であることに限定されない。例えば、情報処理装置１４は、第１画面及び第２画面に加えて、第１画面に含まれる車両２の俯瞰図とは別の視点の車両２の俯瞰図を生成する。そして、情報処理装置１４は、生成した全ての画面を表示するよう出力装置１２を制御する。

【0119】

また、第１画面及び第２画面に加えて複数の画面が表示される場合、情報処理装置１４は、反映走行経路を第１画面又は第２画面に加えて、その他の複数の画面に表示するよう出力装置１２を制御してもよい。例えば、第１画面及び第２画面に加えて、第２画面に含まれる撮像画像とは別の撮像画像（例えば、車両２の側方又は後方に設置された撮像装置２１により撮像された撮像画像）を含む画面がある場合、情報処理装置１４は、これらの全ての画面を表示するよう出力装置１２を制御する。そして、オペレータにより走行経路が設定されると、情報処理装置１４は、表示用走行経路が表示されていない第１画面又は第２画面だけでなく、その他の画面にも反映走行経路を表示させてもよい。これにより、オペレータは、視点が異なる複数の画面に表示される走行経路を確認することができるため、より実際の状況に合わせて車両を走行させることができる。

【0120】

本明細書では、本発明に係る情報処理装置の一態様として、情報処理装置１４を例にして説明するが、本発明はこれに限定されるものではない。また、本明細書では、本発明に係る情報処理装置の表示用走行経路反映部の一態様として、反映走行経路生成部１４６及び反映走行経路表示制御部１４７の構成を例にして説明するが、本発明はこれに限定されるものではない。

【符号の説明】

【0121】

１…端末機
１１…入力装置
１２…出力装置
１３…通信装置
１４…情報処理装置
１４０…制御装置
１４１…遠隔操作要求受付部
１４２…第１画面生成部
１４３…第２画面生成部
１４４…表示用走行経路生成部
１４５…表示用走行経路表示制御部
１４６…反映走行経路生成部
１４７…反映走行経路表示制御部
１４８…走行経路送信部
１４９…記憶装置
２…車両
２１…撮像装置
２２…レーダー
２３…位置検出装置
２４…走行制御装置
２５…駆動装置
２６…車載通信装置
２７…データベース
３…ネットワーク
１００…情報処理システム

【図1】

【図2】

【図3】

【図4】

【図5】

【図6A】

【図6B】

【図7】