特許 7242386 車両遠隔監視システム、車両遠隔監視装置、及び車両遠隔監視方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-03-10

(45)【発行日】2023-03-20

(54)【発明の名称】車両遠隔監視システム、車両遠隔監視装置、及び車両遠隔監視方法

(51)【国際特許分類】

   G08G 1/137 20060101AFI20230313BHJP

   G08G 1/09 20060101ALI20230313BHJP

   G05D 1/00 20060101ALN20230313BHJP

【ＦＩ】

G08G1/137

G08G1/09 V

G05D1/00 B

【請求項の数】 8

(21)【出願番号】P 2019067983

(22)【出願日】2019-03-29

(65)【公開番号】P2020166689

(43)【公開日】2020-10-08

【審査請求日】2021-11-09

(73)【特許権者】

【識別番号】000003997

【氏名又は名称】日産自動車株式会社

(73)【特許権者】

【識別番号】507308902

【氏名又は名称】ルノー エス．ア．エス．

【氏名又は名称原語表記】ＲＥＮＡＵＬＴ Ｓ．Ａ．Ｓ．

【住所又は居所原語表記】１２２－１２２ ｂｉｓ， ａｖｅｎｕｅ ｄｕ Ｇｅｎｅｒａｌ Ｌｅｃｌｅｒｃ， ９２１００ Ｂｏｕｌｏｇｎｅ－Ｂｉｌｌａｎｃｏｕｒｔ， Ｆｒａｎｃｅ

(74)【代理人】

【識別番号】110000486

【氏名又は名称】弁理士法人とこしえ特許事務所

(72)【発明者】

【氏名】鈴木 政康

(72)【発明者】

【氏名】渡邉 真樹

(72)【発明者】

【氏名】望月 俊助

(72)【発明者】

【氏名】斎藤 大介

【審査官】上野 博史

(56)【参考文献】

【文献】特開２０１０－１３４４９９（ＪＰ，Ａ）

【文献】特開２０１８－１５８６６４（ＪＰ，Ａ）

【文献】特開２０１８－１７３８６０（ＪＰ，Ａ）

【文献】特開２０１０－２５７２４２（ＪＰ，Ａ）

【文献】特開２０１８－１４７１５８（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０８Ｇ １／００－９９／００

Ｇ０５Ｄ １／００－１／１２

(57)【特許請求の範囲】

【請求項1】

地表の状況を俯瞰的に表示した俯瞰画像上に作成された走行経路に従って走行する車両と、
前記俯瞰画像上に重畳される前記車両の位置の遠隔監視を行う車両遠隔監視装置と、を備え、
前記車両遠隔監視装置は、
前記俯瞰画像よりも詳細な情報を含む地図データベースから、前記俯瞰画像上で死角となる死角箇所の道路情報を取得する道路情報取得部と、
前記道路情報を表示する画像を前記俯瞰画像上に表示する画像表示部と、を有する車両遠隔監視システム。

【請求項2】

請求項１に記載の車両遠隔監視システムであって、
前記車両遠隔監視装置は、遠隔で操作される車両を監視する車両遠隔監視システム。

【請求項3】

請求項１に記載の車両遠隔監視システムであって、
前記車両遠隔監視装置は、
前記車両の車両情報を取得する車両情報取得部と、
前記車両が検出した外部環境情報を取得する外部環境情報取得部と、
前記道路情報、前記車両情報、及び前記外部環境情報に基づいて、前記車両が走行可能な走行可能エリアを判別する走行可能エリア判別部と、をさらに備え、
前記画像表示部は、前記走行可能エリアを表示する画像を前記俯瞰画像上に表示する車両遠隔監視システム。

【請求項4】

請求項１に記載の車両遠隔監視システムであって、
前記車両遠隔監視装置は、
前記車両の走行予定道路上を過去に走行した車両の車両情報を取得する車両情報取得部と、
前記走行予定道路上を過去に走行した車両が検出した外部環境情報を取得する外部環境情報取得部と、
前記道路情報、前記車両情報、及び前記外部環境情報に基づいて、前記車両が走行可能な走行可能エリアを判別する走行可能エリア判別部と、をさらに備え、
前記画像表示部は、前記走行可能エリアを表示する画像を前記俯瞰画像上に表示する車両遠隔監視システム。

【請求項5】

請求項３または請求項４に記載の車両遠隔監視システムであって、
前記外部環境情報は、立体物情報を含み、
前記走行可能エリア判別部は、前記立体物情報に基づき、前記走行可能エリアに加え、前記車両が乗り越え可能な高さ以下の立体物が位置するエリアを走行可能エリアとして判別する車両遠隔監視システム。

【請求項6】

請求項１に記載の車両遠隔監視システムであって、
前記車両は、前記車両周囲の路面の画像を含む周囲画像を取得する撮像部を有し、
前記車両遠隔監視装置は、
前記地図データベースにおける、前記死角箇所の道路情報と前記周囲画像における、前記死角箇所の道路情報を比較し、前記死角箇所において、前記地図データベースの道路情報で示される道路状況と前記周囲画像中の道路情報で示される道路状況が異なる部分がある場合には、前記異なる部分を不一致箇所として特定する更新箇所判定部と、
前記地図データベースの道路情報を表示する画像のうち、前記不一致箇所の道路情報を表示する画像を、前記周囲画像中の道路情報に基づいて更新する周囲画像更新部と、を備える車両遠隔監視システム。

【請求項7】

地表の状況を俯瞰的に表示した俯瞰画像上に作成された走行経路に従って走行する車両を対象にして、車両遠隔監視装置が前記俯瞰画像上に重畳される前記車両の位置の遠隔監視を実行する車両遠隔監視方法であって、
前記俯瞰画像よりも詳細な情報を含む地図データベースから、前記俯瞰画像上で死角となる箇所の道路情報を取得し、前記道路情報を表示する画像を前記俯瞰画像上に表示する車両遠隔監視方法。

【請求項8】

地表の状況を俯瞰的に表示した俯瞰画像上に作成された走行経路に従って走行する車両を対象にして、前記俯瞰画像上に重畳される前記車両の位置の遠隔監視を行う車両遠隔監視装置であって、
前記俯瞰画像よりも詳細な情報を含む地図データベースから、前記俯瞰画像上で死角となる箇所の道路情報を取得する道路情報取得部と、
前記道路情報を表示する画像を前記俯瞰画像上に表示する画像表示部と、備える車両遠隔監視装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、車両遠隔監視システム、車両遠隔監視装置、及び車両遠隔監視方法に関するものである。

【背景技術】

【0002】

外部環境情報を取得しながら所定の経路に沿って移動する自律走行ロボットが、自律制御のみでは対応ができないと判断した場合に、オペレーターが外部から自律走行ロボットを遠隔操作する遠隔操作方法が知られている。

【0003】

例えば、特許文献１では、自律走行ロボットは、移動経路内の障害物が検出されたときに、当該障害物を回避するよう駆動制御を行うか、あるいは遠隔操作を促す信号を出力するかを決定する。遠隔操作を促す信号を出力することを決定した場合には、自律走行ロボットは、オペレーターに遠隔操作を促す信号を出力し、取得した撮像画像データ、現在位置データ、環境地図データといった各種データを送信する。遠隔操作を促す信号を受けたオペレーターは、操作端末を介して、各種データに基づいて自律走行ロボットの位置が示された環境地図を確認し、目的地の設定、遠隔操作の入力等を行う。

【先行技術文献】

【特許文献】

【0004】

【文献】特開２０１３－２０６２３７号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、特許文献１に記載の自律走行ロボットの遠隔操作方法を車両に適用した場合には、以下のような問題があった。それは、車両が走行する道路の上方に立体交差やトンネル等の構造物が存在する場合、操作端末に表示される、地表の状況を俯瞰的に表示する俯瞰画像上では、構造物などにより死角となる部分の道路情報が表示されず、オペレーターが俯瞰画像から道路情報を直感的に把握できない、という問題である。

【0006】

本発明が解決しようとする課題は、車両の進行方向の道路の上方に構造物などが存在する場合においても、オペレーターが俯瞰画像から道路情報を直感的に把握することができる車両遠隔監視方法、車両遠隔監視装置、及び車両遠隔監視システムを提供することである。

【課題を解決するための手段】

【0007】

本発明は、俯瞰画像上で死角となる箇所の道路情報を詳細地図データベースから取得し、当該道路情報を表示する画像を俯瞰画像上に表示することによって上記課題を解決する。

【発明の効果】

【0008】

本発明によれば、オペレーターは、自律走行車両の進行方向の道路上方に位置する構造物などにより死角となる部分の道路情報を俯瞰画像から直感的に把握することができる。

【図面の簡単な説明】

【0009】

【図1】図１は、本実施形態に係る車両遠隔監視システムの一例を示す構成図である。

【図2】図２は、本実施形態における道路情報表示の一例を示すフローチャートである。

【図3A】図３Ａは、本実施形態における端末機に車両周辺の道路状況を表示する画面の一例である。

【図3B】図３Ｂは、本実施形態における端末機に俯瞰画像上で死角となる箇所の道路情報を表示する画面の一例である。

【図3C】図３Ｃは、本実施形態における端末機に走行可能エリアを表示する画面の一例である。

【図4】図４は、本実施形態における走行可能エリア表示の一例を示すフローチャートである。

【図5】図５は、本実施形態における周囲画像更新の一例を示すフローチャートである。

【発明を実施するための形態】

【0010】

以下、本発明に係る車両遠隔監視システム及び車両遠隔監視装置の一実施形態を図面に基づいて説明する。
<<第１実施形態>>

【0011】

図１は、本発明に係る車両遠隔監視装置１１を含む車両遠隔監視システム１００の一例を示すブロック図である。図１に示すように、本実施形態における車両遠隔監視システム１００は、端末機１と車両２とネットワーク３を含む。また、車両２は、自律走行が可能な車両であり、端末機１と車両２は、電気通信回線網を構成するネットワーク３によって繋がっている。本実施形態では、オペレーターによる車両２の遠隔操作を支援するためのシステムに、本発明に係る車両遠隔監視システムを適用した場合を例として説明する。特に限定されるものではないが、例えば、車両２が、自律走行が不可能だと判断した場合に、オペレーターに遠隔操作を要求し、オペレーターが車両２の外部から遠隔操作を実行するという場面を挙げることができる。

【0012】

まず、端末機１の各構成について説明する。端末機１は、図１に示す通り、車両遠隔監視装置１１、入力装置１２、出力装置１３、通信装置１４を備える。端末機１は車両２の外部に設けられており、例えば、複数の車両２を遠隔操作するための管制センター等へ設置される。本実施形態では、車両２はオペレーターの目視しうる範囲には位置しておらず、オペレーターは、端末機１を介して、車両２の状況を把握し、車両２の遠隔操作を実行する。端末機１としては、スマートフォン、携帯電話機、可搬コンピュータ等を用いることができる。端末機１には、俯瞰画像に車両の位置情報を重畳させた画面が表示され、オペレーターは、当該画面を確認して、車両の位置や道路情報を把握する。

【0013】

車両遠隔監視装置１１は、制御装置１１０と記憶装置２１０を備えており、制御装置１１０は、機能ブロックとして、遠隔操作受付部１１１、車両情報取得部１１２、外部環境情報取得部１１３、道路情報取得部１１４、画像表示制御部１１５、走行可能エリア判別部１１６、走行経路生成部１１７、走行経路表示部１１８、更新箇所判定部１１９、周囲画像更新部１２０を備える。記憶装置２１０は、地図データ２１１、詳細地図データベース２１２を備える。また、車両遠隔監視装置１１は、プログラムを格納したＲＯＭ（Read Only Memory）と、このＲＯＭに格納されたプログラムを実行するＣＰＵ（Central Processing Unit）と、アクセス可能な記憶装置として機能するＲＡＭ（Random Access Memory）とから構成されるコンピュータである。なお、動作回路としては、ＣＰＵに代えて又はこれとともに、ＭＰＵ（Micro Processing Unit）、ＤＳＰ（Digital Signal Processor）、ＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field Programmable Gate Array）などを用いることができる。図１に示す制御装置１１０がＣＰＵに相当し、また図１に示す記憶装置２１０がＲＯＭ及びＲＡＭに相当する。

【0014】

遠隔操作受付部１１１は、車両２の車載通信装置２５から送信される遠隔操作要求の信号を受信する。例えば、車両２が遠隔操作が必要と判断した場合に、車両２から送信された遠隔操作要求の信号が遠隔操作受付部１１１に入力されると、遠隔操作受付部１１１は車両２が自律走行では走行不可能な状況にあることを検知する。

【0015】

車両情報取得部１１２は、車両２から送信される車両の位置や向きに関する情報を取得する。

【0016】

外部環境情報取得部１１３は、車両２から送信される車両周囲の障害物等の情報を取得する。

【0017】

道路情報取得部１１４は、詳細地図データベース２１２から俯瞰画像上では死角となる箇所の道路情報を選定し、当該道路情報を取得する。例えば、道路情報取得部１１４は、遠隔操作要求の信号を送信した車両２の位置に関する情報と地図データ２１１を基に、車両２が地図上のどこの道路上に位置するのかを特定し、車両２の向きに関する情報から、車両２の進行方向を特定する。そして、車両２が走行する予定の道路の進行方向に俯瞰画像上で死角となる箇所があれば、詳細地図データベース２１２から、当該箇所に係る道路情報を取得する。例えば、道路の上方に構造物等があれば、俯瞰画像上では当該構造物等により死角となる箇所ができることになるため、オペレーターが把握できないような、俯瞰画像上で死角となる箇所の道路情報を取得する。なお、死角は、俯瞰画像上で、構造物等が存在するために、道路情報が確認できない箇所であり、構造物等としては、例えば、立体交差、トンネル等の構造物や街路樹が挙げられる。また、道路情報としては、例えば、道路境界、車線、道路標示等に関する情報を含む。

【0018】

画像表示制御部１１５は、少なくとも次の２つの機能を有する。ひとつめは、車両２の位置を示す画像を含む俯瞰画像を表示する第１画面と、車両２の周囲画像取得装置２１により撮像された撮像画像（動画）を含む画像を表示する第２画面を生成する機能である。まず、図３Ａで、第１画面と第２画面について説明する。図３Ａは、オペレーターが車両２の状況を確認する際の出力装置１３の表示画面の例であり、出力装置１３の表示画面には、図３Ａで示されるように、第１画面Ｄ₁及び第２画面Ｄ_２が表示される。図３Ａは、車両２が走行している道路の進行方向に、俯瞰画像上で死角となる箇所がない場合の表示画面の例である。

【0019】

画像表示制御部１１５は、図３Ａに示される、第１画面Ｄ₁及び第２画面Ｄ_２を生成する。第１画面Ｄ₁及び第２画面Ｄ_２は同じ時刻における画面となり、表示画面上では、２つの画面が同時に表示される。第１画面Ｄ₁は、車両２と、車両２の周囲の状況を俯瞰画像上に表示している画面である。俯瞰画像は、地表の状況を俯瞰的に表示した俯瞰画像であって、例えば、ナビゲーション地図やインターネット上の地図、３Ｄ地図、航空写真、衛星画像を含む。画像表示制御部１１５は、地図データ２１１、車両２から取得した位置情報等の車両情報および障害物情報等の外部環境情報に基づいて、車両２の位置を示すための車両２の画像Ｃ₁を俯瞰画像上に重畳させ、周囲の障害物情報を示すための点群データＣ_２を俯瞰画像上に重畳的に点描させて、第１画面Ｄ₁を生成する。例えば、マッピング変換技術等を用いて、車両２の位置情報を地図における座標情報に変換し、当該座標情報に基づいて、俯瞰画像上に、車両２の画像を重畳させる。また、車両２の障害物検出装置２３が取得した障害物情報に関しても、同様に、障害物等の位置情報を、マッピング変換技術等により、地図上の座標情報に変換し、当該座標情報に基づき、俯瞰画像上に障害物の情報を点群データとして重畳させる。なお、画面に表示される俯瞰画像の範囲は、特に限定されない。オペレーターが入力装置１２を介して、俯瞰画像の拡大又は縮小の操作を行って、自由に表示範囲を変えられるようにしてもよい。

【0020】

また、図３Ａでは、第２画面Ｄ₂は、車両２の周囲画像取得装置２１が撮像する撮像画像（動画）を示す画面であり、車両２の周囲の状況をリアルタイムに表示する。なお、第２画面Ｄ₂では、周囲画像取得装置２１が撮像する前方の撮像画像（動画）に加え、左右の側方の撮像画像（動画）を表示している。表示対象としては、側方の画像の代わり、あるいは側方の画像とともに後方の撮像画像（動画）を表示してもよい。画像表示制御部１１５は、車両２の周囲画像取得装置２１が撮像した撮像画像に基づいて、当該撮像画像（動画）を含む第２画面Ｄ_２を生成する。例えば、車両２の前方の様子を映した画面で構成することが挙げられる。周囲画像取得装置２１は車両２に車載された装置である。出力装置１３は、周囲画像取得装置２１の位置から撮像可能な範囲の情報を表示する。これにより、オペレーターは、第２画面を介して、車両２の周囲の状況をリアルタイムに把握することができる。また、画像表示制御部１１５は、前方のみならず、後方や側方の周囲画像取得装置２１が撮像した撮像画像（動画）を、車両２の前方の様子が映る撮像画像（動画）に代えて、又はこれとともに表示するように第２画面Ｄ_２を生成してもよい。その場合、画面生成の方法としては、縦方向に画面を分割して複数の画面を表示できるように生成してもよいし、横方向に画面を分割して複数の画面が表示できるように生成してもよい。これにより、車両２の前方、後方、側方の各撮像画像を同時に表示することができる。そして、画像表示制御部１１５は、生成された第１画面に、後述する道路情報表示画像を重畳させた後、第１画面Ｄ₁及び第２画面Ｄ_２を出力装置１３に出力する。なお、第１画面Ｄ₁及び第２画面Ｄ_２の表示方法については、常時、並べて表示してもよいし、オペレーターの操作によって、一方の画面のみを一時的に表示し、表示画面を第１画面Ｄ₁及び第２画面Ｄ_２で切り替え可能にしてもよい。

【0021】

画像表示制御部１１５のふたつめの機能は、道路情報取得部１１４が詳細地図データベースから取得した道路情報に基づき、上記第１画面に表示される俯瞰画像上に当該道路情報を表示する画像を生成する機能である。図３Ｂは、車両２が走行する道路の進行方向に、俯瞰画像上で死角となる箇所がある場合における第１画面Ｄ₃の例である。図３Ｂは、車両２が立体交差の下方の道路を走行する手前で停止をして、遠隔操作を要求した場合の例を示している。図３Ｂで示されるように、車両２の進行方向に立体交差のような構造物があると、俯瞰画像上では、立体交差の下方の道路の道路状況が確認できない。そこで、俯瞰画像上で死角となる箇所の道路情報を表示する画像Ｅ_１を重畳的に表示させることで、遠隔操作を実行するための経路作成に必要な情報を表示画面に示すことができる。画像表示制御部１１５は、道路情報として車線の位置や道路標示を取得し、車線の位置や道路標示を表示する画像Ｅ_１を生成する。画像Ｅ_１としては、例えば、道路情報を表現した図形の画像を生成する。また、第１画面Ｄ₃では表示がないが、車両２の進行方向の道路上に障害物がある場合には、障害物を示す点群データを表示させることもできる。

【0022】

画像表示制御部１１５は、画像Ｅ_１を生成した後、生成した画像Ｅ_１を、第１画面に重畳させて、第２画面とともに出力装置１３に出力し、出力装置１３を介して、オペレーターに表示させる。これにより、オペレーターは、俯瞰画像上で死角となっている箇所の道路情報も確認しながら、遠隔操作の入力操作を実行できる。また、画像表示制御部１１５は、後述する走行可能エリアを表示する画像を生成し、生成した走行可能エリアを表示する画像を第１画面に重畳させて、第２画面とともに出力装置１３に出力する。

【0023】

図３Ｃは、第１画面に走行可能エリアを表示する場合の例である。第１画面Ｄ_４には、俯瞰画像上に、走行可能エリアを示す画像Ｅ_２と、走行できない箇所を示す画像Ｅ_３が表示されている。画像Ｅ_３は、斜線箇所であり、当該箇所が、事故車両等が位置していて走行できない箇所である。画像表示制御部１１５は、後述する走行可能エリア判別部１１６が判別した走行可能エリアに関する情報を取得する。画像表示制御部１１５は、当該情報に基づき、走行可能エリアを示す図形の画像Ｅ_２を生成し、事故車両等が道路上にあって、車両２が走行できない箇所については、当該箇所を斜線で示す画像Ｅ_３を生成する。これらの画像を生成した後、画像表示制御部１１５は、画像Ｅ_２と画像Ｅ_３を出力装置１３に出力する。

【0024】

走行可能エリア判別部１１６は、道路情報、車両情報、及び外部環境情報に基づいて、車両が走行可能な走行可能エリアを判別する。車両情報としては、車両２の方向検出装置２２が取得した当該車両の向きに関する情報や位置検出装置２４が取得した当該車両の位置に関する情報を含む。外部環境情報としては、遠隔操作を要求した車両に搭載されている障害物検出装置２３が取得した当該車両の周囲に存在する障害物等の位置や高さに関する情報を含む。走行可能エリア判別方法としては、例えば、まず、道路情報と車両２の位置や向きに関する情報から、車両２が道路のどこに位置しているのか、進行方向はどちらか等を判別する。次に、走行可能エリア判別部１１６は、外部環境情報から、車両２が走行する道路上の、障害物等があって走行ができないエリアを特定し、当該走行できないエリアを除いて、車両２の進行方向の道路上で走行可能なエリアを走行可能エリアとして判別する。また、走行可能エリア判別部１１６による走行可能なエリアの判別は、遠隔操作を必要としている車両の車両情報や外部環境情報に基づいて行われるだけでなく、車両２が走行する予定の道路を過去に走行した車両から取得できる車両情報や外部環境情報に基づいて行われることとしてもよい。

【0025】

走行経路生成部１１７は、遠隔操作を必要とする車両２を遠隔操作で走行させるための走行経路の生成を行う。走行経路の生成方法としては、例えば、出発地点と目的地点を指定すると自動で最短経路を導出する方法や、人間が手動で走行経路を作成する方法等が挙げられる。

【0026】

本実施形態では、オペレーターによる遠隔操作が行われる場合に、オペレーターが走行経路作成の入力操作を行い、当該入力操作に基づいて、走行経路生成部１１７は走行経路を生成する。例えば、出力装置１３により、第１画面と第２画面が表示されて、オペレーターが第１画面に基づいて車両２の遠隔操作のための走行経路を作成しようとする場合を一例として説明する。第１画面には、遠隔操作の対象となる車両２の位置が示された俯瞰画像が表示されていて、オペレーターは、当該俯瞰画像を見ながら、入力装置１２を介して、第１画面上に、車両２が通過する複数のポイントを指定する。出力装置がタッチパネルであれば、例えば、第１画面の複数の箇所をタッチすることで、タッチした箇所をポイントとして指定する。ポイントが指定されると、指定されたポイントの情報が走行経路生成部１１７に入力され、走行経路生成部１１７は、地図情報に基づいて、当該指定された複数のポイントをすべて通過するような走行経路を生成する。また、当該走行経路に関する情報は、通信装置１４に出力され、通信装置１４から車両２に送信される。なお、走行経路生成部１１７は、第１画面に走行経路を生成することに限定されず、撮像画像が表示されている第２画面にポイントの指定があった場合には、第２画面に走行経路を生成することとしてもよいし、第１画面あるいは第２画面のどちらかにポイントが指定された場合に、両方の画面にそれぞれ走行経路を生成してもよい。

【0027】

走行経路表示部１１８は、走行経路生成部１１７で生成された走行経路を、画面に表示するよう出力装置１３を制御する。例えば、第１画面に表示されている俯瞰画像上に、走行経路生成部１１７で生成された走行経路を重畳して表示するよう出力装置１３を制御する。これにより、オペレーターは、出力装置１３の表示画面を通して、俯瞰画像上に、車両２の位置、障害物等の点群データ、及び走行経路が重畳された画面を確認することができる。また、走行経路生成部１１７で第１画面ではなく第２画面に走行経路が生成された場合には、それに応じて、第２画面に走行経路が表示されることとしてもよいし、両方の画面に走行経路が生成された場合には、両方の画面に走行経路が表示されることとしてもよい。

【0028】

更新箇所判定部１１９は、詳細地図データベース２１２における、俯瞰画像上で死角となる箇所の道路情報と、車両２が取得した周囲画像で示される当該箇所の道路情報を比較し、当該箇所において、詳細地図データベース２１２の道路情報で示される道路状況と、周囲画像で示される道路状況が異なる部分があれば、当該異なる部分を不一致箇所として特定する。例えば、詳細地図データベース２１２から取得した道路情報で示される道路状況では、道路は２車線になっているところ、周囲画像で示される道路状況では、２車線のうち、１車線が工事中となっていて、工事現場やロードコーン等の交通規制材が道路上にあるような場合には、更新箇所判定部１１９は、工事現場やロードコーン等の交通規制材がある箇所を道路状況が異なる部分として、当該箇所を不一致箇所として特定する。

【0029】

周囲画像更新部１２０は、更新箇所判定部１１９が特定した不一致箇所の道路情報に関して、詳細地図データベース２１２で示される道路情報から周囲画像で示される道路情報に更新する。これにより、詳細地図データベース２１２の道路情報に従って示されていた画像が、周囲画像中の道路情報によって表示されることになるため、オペレーターは、俯瞰画像上で死角となる箇所の道路情報について、より実際の状況に近い情報を把握して、遠隔操作を実行することができる。

【0030】

地図データ２１１は、記憶装置２１０に記憶される、道路情報等の情報を含む地図データである。例えば、ナビゲーション地図、インターネット上の地図や３Ｄ地図であり、地表の状況を俯瞰的に表示し、道路情報等を網羅しているものである。なお、地図データ２１１は、地表の状況を俯瞰的に表示した航空写真や衛星画像であってもよい。また、道路情報としては、例えば、道路境界、車線、道路標示等に関する情報を含む。地図データ２１１は、オペレーターに対して、出力装置１３の表示画面を介して表示される。なお、通信装置１４は、所定の周期ごとにネットワークを介して最新の地図データを取得して、地図データ２１１として記憶装置２１０に記憶させる。また、オペレーター等が手動で地図データ２１１として記憶させる地図データを選択することとしてもよい。

【0031】

詳細地図データベース２１２は、記憶装置２１０に記憶される、地図データ２１１よりも詳細な道路情報を含む地図データベースである。例えば、ＨＤマップのような、地表の状況を俯瞰的に表示した画像よりも詳細な道路情報を含む地図データベースや、俯瞰画像にはない三次元情報を含む地図データべースが挙げられる。本実施形態では、詳細地図データベース２１２は、地図データ２１１からでは把握できないような情報、例えば、俯瞰画像で構造物等により死角となる部分の道路情報を取得する際に利用される。なお、通信装置１４は、所定の周期ごとにネットワークを介して、最新の詳細地図データベースを取得して、記憶装置２１０に記憶させる。また、オペレーター等が手動で詳細地図データベース２１２として記憶させる地図データベースを選択することとしてもよい。

【0032】

入力装置１２は、オペレーターにより操作される機器であり、オペレーターが遠隔操作のための走行経路作成等の各種操作を行うために用いられる。入力装置１２としては、例えば、ディスプレイ上に配置されるタッチパネルや、スイッチボタン、又はジョイスティック等の手操作による入力が可能な装置であってもよい。入力装置１２に入力された情報は、車両遠隔監視装置１１に出力される。

【0033】

出力装置１３は、オペレーターに対して各種情報を表示する機器である。出力装置１３としては、例えば、ディスプレイ等、画像または映像を出力する装置が挙げられ、本実施形態では、出力装置１３に備えられている表示画面に、俯瞰画像や車両２が取得した撮像画像等を表示し、オペレーターは当該表示画面を確認しながら、車両２の状況を把握して、遠隔操作の入力を行う。

【0034】

通信装置１４は、ネットワーク３を介して、車載通信装置２５との間で信号や情報の送受信を行い、車両２から送信される車両２の位置や向きに関する情報を受信し、車両遠隔監視装置１１に出力する。また、車両遠隔監視装置１１から遠隔操作のための走行経路に関する情報が入力されると、車両２に当該走行経路に関する情報を送信する。

【0035】

次に車両２の各構成について説明する。車両２は、図１に示すように、周囲画像取得装置２１、方向検出装置２２、障害物検出装置２３、位置検出装置２４、車載通信装置２５、遠隔操作要求信号出力装置２６、走行制御装置２７、駆動装置２８を備える。車両２を構成する各装置は、相互に情報の授受を行うためにＣＡＮ（Controller Area Network）その他の車載ＬＡＮによって接続されている。

【0036】

周囲画像取得装置２１は、例えばＣＣＤカメラ、ＣＭＯＳカメラまたはＨＤカメラであり、車両２の前方及び周囲を撮像して、画像データとして出力する。また、車両周囲の路面の画像を含む周囲画像を取得することができる。周囲画像取得装置２１は、車両２の周辺の様子を撮影し続け、撮像した画像を、車両２の周囲の様子を映すライブ映像として、走行制御装置２７及び車載通信装置２５に出力する。なお、車載通信装置２５から当該ライブ映像が車両遠隔監視装置１１に送信されると、当該ライブ映像は、端末機１の出力装置１３に備え付けられている表示画面に表示される。さらに、取得した周囲画像を俯瞰変換して加工したものを周囲画像として取得することとしてもよい。周囲画像には、車両２を中心に、前方や側方、後方の周囲のリアルタイムな状況が映される。これにより、オペレーターは、出力装置１３の表示画面を介して、実際に車両２が走行する道路の道路状況を把握することができる。

【0037】

方向検出装置２２は、例えばジャイロセンサであり、車両２の進行方向（車両が向いている方向）を検出する。

【0038】

障害物検出装置２３は、車両２の周囲に存在する障害物等を検出する。障害物検出装置２３は、例えば、レーザレンジファインダ、超音波センサ、光センサ、赤外センサ等の各種装置のうちのひとつ、または組み合わせで構成される。障害物検出装置２３は、車両２から障害物等までの距離や障害物が存在する方向、障害物の高さを検出する。障害物等としては、例えば、歩行者、自転車、バイク、自動車、路上障害物（工事現場、交通規制材、中央分離帯、交通信号機、商業施設、住宅施設、草木等）などが挙げられる。障害物の状態は特に限定されず、移動している場合も固定されている場合も検出することができる。障害物検出装置２３が障害物を検出すると、検出された障害物の情報は点群データとして取り込まれる。点群データは、車両遠隔監視装置１１において、俯瞰画像上でポイントクラウドとして表示される。障害物検出装置２３により検出された障害物の情報（点群データ）は、走行制御装置２７及び車載通信装置２５に出力される。

【0039】

位置検出装置２４は、車両２の現在位置を検出するものであり、例えばＧＰＳ機器を用いることができる。本実施形態では、例えば、車両２が遠隔操作要求信号を出力すると、位置検出装置２４は、遠隔操作要求信号を出力した時の車両２の位置情報を取得する。そして、位置検出装置２４が検出した車両２の現在の位置に関する情報は、走行制御装置２７及び車載通信装置２５に出力される。

【0040】

車載通信装置２５は、ネットワーク３を介して、端末機１の通信装置１４との間で信号や情報の送受信を行い、車両遠隔監視装置１１から送信される遠隔操作のための走行経路に関する情報を受信し、走行制御装置２７に出力する。また、周囲画像取得装置２１や方向検出装置２２、障害物検出装置２３、位置検出装置２４等から各種情報が入力されると、車載通信装置２５は、端末機１の通信装置１４に当該各種情報を送信する。

【0041】

遠隔操作要求信号出力装置２６は、車両２が、自律走行が困難で遠隔操作が必要だと判断した場合に、遠隔操作要求信号を出力する。遠隔操作要求信号は、車載通信装置２５を介して、端末機１の通信装置１４に送信される。

【0042】

走行制御装置２７は、自動的な運転（いわゆる自動運転ともいう）により車両２の走行を制御する。例えば、周囲画像取得装置２１、方向検出装置２２、障害物検出装置２３、位置検出装置２４から取得した各種情報を用いて、交通法規に従いつつ、駆動装置２８を制御して、入力された走行経路に沿って車両２を走行させる。具体的な操作内容としては、例えば、ブレーキ操作や方向指示器の操作、アクセル操作、ステアリング操作、シフトレバー操作等を実行することができる。なお、本実施形態においては、走行制御装置２７が備える自動運転の機能は、前述の操作内容に特に限定されるものではなく、本願出願時における技術を適宜援用できる。

【0043】

また、本実施形態では、走行制御装置２７は、遠隔操作を開始する旨の信号を受信したときには、オペレーターが遠隔操作するために作成した走行経路に従って走行を制御する。そして、作成された走行経路の終点まで走行を完了させたと判断し、遠隔操作による走行が必要なくなった時には、再び、通常の自律走行を実行する。なお、車両２の走行開始は、遠隔操作を開始する旨の信号を受信したことに限られず、例えば、車両２の乗員がブレーキ操作を解除したことであってもよい。

【0044】

さらに、走行制御装置２７は、走行を制御する操作のみではなく、車両２の走行を行うために必要なその他の操作を行うこととしてもよい。例えば、車両２が遠隔操作を必要とする原因となる事象の前で車両２を停止させる際に、ハザードランプを点灯させるよう制御することとしてもよい。

【0045】

駆動装置２８は、走行駆動源である電動モータおよび／または内燃機関、これら走行駆動源からの出力を駆動輪に伝達するドライブシャフトや自動変速機を含む動力伝達装置、および車輪を制動する制動装置などの駆動機構を備える。駆動装置２８は、走行制御装置２７から入力される制御信号に基づいて、これら駆動機構の各制御信号を生成し、車両の加減速を含む走行制御を実行する。また、駆動装置２８には、ヘッドライト、方向指示器、ハザードランプ、ワイパー等、車両２の走行に必要なその他の機器が含まれていてもよい。

【0046】

以下、図２を用いて、上記構成による車両遠隔監視システムにより、車両２から遠隔操作要求があってから車両２の遠隔操作を実行するまでのフローチャートの一例を説明する。また、図３Ａ及び図３Ｂを用いて、端末機１に表示される画面の一例を説明する。

【0047】

ステップＳ２０１では、所定の走行経路に従って自律走行していた車両２が、自律走行で回避困難な障害物が進行方向に存在する等、自律走行が困難と判断した場合、走行を停止する。自律走行で回避困難な障害物としては、例えば、事故車両や工事車両等が挙げられる。

【0048】

ステップＳ２０２では、車両２の遠隔操作要求信号出力装置２６が遠隔操作要求信号を出力すると、車載通信装置２５は当該遠隔操作要求信号を端末機１に送信する。

【0049】

ステップＳ２０３では、端末機１の通信装置１４は、ステップＳ２０２で車両２から送信された遠隔操作要求信号を受信し、遠隔操作受付部１１１に出力する。

【0050】

ステップＳ２０４では、遠隔操作要求信号を送信した時の車両２の位置や向き等の車両情報や、車両２の周囲画像取得装置２１で撮影した画像情報や障害物情報等の外部環境情報が車載通信装置２５を介して端末機１の通信装置１４に送信される。

【0051】

ステップＳ２０５では、車両情報取得部１１２は、ステップＳ２０４で送信された車両情報を取得し、外部環境情報取得部１１３は、ステップＳ２０４でそう信された外部環境情報を取得する。

【0052】

ステップＳ２０６では、道路情報取得部１１４は、遠隔操作要求信号を送信した時の車両２の位置や向きに関する情報を含む車両情報と地図データ２１１に基づき、車両２が走行している道路を特定し、車両２の進行方向に俯瞰画像上で死角となる箇所がある場合には、当該死角となる箇所の道路情報を詳細地図データベース２１２から取得する。

【0053】

ステップＳ２０７では、画像表示制御部１１５は、出力装置１３に備えられている表示画面に表示する画面を生成し、出力装置１３に出力する。画像表示制御部１１５は、ステップＳ２０５で取得した各種情報と地図データ２１１に基づき、車両２の位置情報や周囲の障害物等の情報を含む俯瞰画像が表示された第１画面を生成し、車両２の周囲画像取得装置２１が撮像した撮像画像（動画）が表示された第２画面を生成する。

【0054】

ステップＳ２０８では、画像表示制御部１１５は、ステップＳ２０６で取得した俯瞰画像上で死角となる箇所の道路情報に基づいて、当該道路情報を表示する道路情報表示画像を生成し、ステップＳ２０７で生成した第１画面に重畳させ、道路情報表示画像を含む第１画面と第２画面を出力装置１３に出力する。

【0055】

また、走行可能エリア判別部１１６は、道路情報、車両情報、及び外部環境情報に基づいて、車両が走行可能な走行可能エリアを判別する。走行可能エリア判別部１１６が走行可能エリアを判別した後、画像表示制御部１１５は、当該判別結果に基づき、走行可能エリアを表示する画像を生成し、第１画面に重畳させ、走行可能エリアを表示する画像を含む第１画面と第２画面を出力装置１３に出力する。なお、第１画面に重畳させる画像に関しては、道路情報を表示する画像と走行可能エリアを表示する画像をともに重畳させてもよく、片方の画像のみを重畳させることとしてもよい。

【0056】

ステップＳ２０９では、端末機１の出力装置１３に備えられている表示画面に、ステップＳ２０８で出力された、道路情報表示画像を含む第１画面と第２画面が表示される。これにより、オペレーターは、表示された俯瞰画像を見ながら、車両２の位置や車両２が取得した周囲の障害物の情報を把握するとともに、俯瞰画像上で死角となる箇所の道路情報を確認することができる。特に、詳細地図データベースから取得した道路情報が表示されることによって、オペレーターは、俯瞰画像上で死角となる箇所で、車両２の障害物検出装置２３では検知できない範囲の道路情報を把握することができる。また、画面の表示に関しては、道路情報を表示する画像とともに、走行可能エリアを表示する画像を表示させてもよい。

【0057】

ステップＳ２１０では、オペレーターが、表示画面を確認しながら、走行経路を作成する。走行経路の作成方法としては、例えば、画面がタッチパネルであれば、オペレーターが画面に表示された地図上に車両が通過するための複数のポイントをタッチして指定すると、指定されたポイントすべてを通過するような走行経路を生成するという方法が挙げられる。オペレーターが経路を作成すると、その結果は表示画面上にも表示される。オペレーターは、表示された走行経路を確認し、問題がなければ、走行経路作成完了を入力装置１２に入力する。

【0058】

ステップＳ２１１では、通信装置１４は、ステップＳ２１０での走行経路作成完了の入力を受けて、遠隔操作開始信号とステップＳ２１０で作成された走行経路に関する情報を車両２に送信する。

【0059】

ステップＳ２１２では、車両２の車載通信装置２５は、ステップＳ２１１で通信装置１４から送信された遠隔操作開始信号と走行経路に関する情報を受信する。

【0060】

ステップＳ２１３では、車両２の走行制御装置２７は、駆動装置２８を操作して車両２の走行を開始する。この時、車両２の走行制御装置２７は、ステップＳ２１２で受信した走行経路上を車両２が走行するように制御する。

【0061】

ステップＳ２１４では、車両２は遠隔操作が終了したか否かの判定を行う。例えば、走行制御装置２７は、車両２がステップＳ２１２で受信した走行経路の終点を通過したと判断した場合、ステップＳ２１５に進み、遠隔操作を終了する。遠隔操作が終了したと判定がされない場合には、ステップＳ２１４に待機し、遠隔操作終了を判定するまでフローを繰り返す。

【0062】

以上のように、本実施形態に係る車両遠隔監視システム１００は、俯瞰画像よりも詳細な情報を含む地図データベースから、俯瞰画像上で死角となる箇所の道路情報を取得し、当該道路情報を表示する画像を俯瞰画像上に表示する。これにより、オペレーターは、車両２の進行方向の道路上方に位置する構造物等により俯瞰画像上で死角となる箇所の道路情報を俯瞰画像から直感的に把握することができる。

【0063】

また、本実施形態では、車両２の車両情報や、車両２が取得した外部環境情報を取得し、道路情報と、車両情報、外部環境情報に基づいて、車両が走行可能な走行可能エリアを判別し、当該走行可能エリアを表示する画像を俯瞰画像上に表示する。これにより、オペレーターは、道路情報で示される情報を確認して遠隔操作を実行するよりも、俯瞰画像上で死角となる箇所の中でどこに走行経路を引くことができるのかを直感的に把握することができる。

【0064】

さらに、本実施形態では、外部環境情報として、立体物情報を取得し、当該立体物情報に基づき、前述の走行可能エリアに加えて、車両２が乗り越え可能な高さ以下の立体物が位置するエリアを走行可能エリアとして判別する。これにより、正確な走行可能なエリアの表示が実現でき、オペレーターは、俯瞰画像上で死角となる箇所の中でどこに走行経路を引くことができるのかを正確に把握することができる。
<<第２実施形態>>

【0065】

続いて、図４のフローチャートを用いて、本発明の第２実施形態にかかる車両遠隔監視システムついて説明する。本実施形態では、車両２の進行方向の道路を過去に走行した過去車両の車両情報や、当該過去車両が取得した外部環境情報に基づき、走行可能エリアの判別を行い、当該走行可能エリアをオペレーターに表示する。第２実施形態に係る車両遠隔監視システムは、第１実施形態の車両遠隔監視システムと同様の構成を有し、以下に説明するように動作すること以外は、第１実施形態と同様である。

【0066】

ステップＳ４０１では、所定の走行経路に従って自律走行していた車両２が、自律走行で回避困難な障害物が進行方向に存在する等、自律走行が困難と判断した場合、走行を停止する。自律走行で回避困難な障害物としては、例えば、事故車両や工事車両等が挙げられる。

【0067】

ステップＳ４０２では、車両２の遠隔操作要求信号出力装置２６が遠隔操作要求信号を出力すると、車載通信装置２５は当該遠隔操作要求信号を端末機１に送信する。

【0068】

ステップＳ４０３では、端末機１の通信装置１４は、ステップＳ４０２で車両２から送信された遠隔操作要求信号を受信し、遠隔操作受付部１１１に出力する。

【0069】

ステップＳ４０４では、遠隔操作要求信号を送信した時の車両２の位置や向き等の車両情報や、車両２の周囲画像取得装置２１で撮影した画像情報や障害物情報等の外部環境情報が車載通信装置２５を介して端末機１の通信装置１４に送信される。

【0070】

ステップＳ４０５では、車両情報取得部１１２は、ステップＳ４０４で送信された車両情報を取得し、外部環境情報取得部１１３は、ステップS４０４で送信された外部環境情報を取得する。

【0071】

ステップＳ４０６では、ステップＳ４０５で取得された車両情報と地図データ２１１に基づいて、車両情報取得部１１２は、車両２が走行する予定の道路を過去に走行した過去車両の走行経路等の車両情報を取得し、外部環境情報取得部１１３は、当該過去車両が取得した外部環境情報を取得する。また、過去車両からの情報の取得に関しては、外部環境情報取得部１１３は、例えば、車両２が遠隔操作を要求した時点から直近に走行した車両からの情報を取得してもよいし、車両２が遠隔操作を要求した時点から所定の時間前のタイミングを設定し、当該タイミングから車両２が遠隔操作を要求した時点までに当該道路を走行した車両からの情報を取得してもよい。

【0072】

ステップＳ４０７では、走行可能エリア判別部１１６は、ステップＳ４０６で取得した、車両２が走行する予定の道路を過去に走行した過去車両の車両情報や外部環境情報に基づいて、走行可能エリアを判別する。例えば、過去車両が走行した走行経路を走行可能エリアとして判別することや、過去車両が走行時に取得した障害物情報で示される障害物の位置を回避するように走行可能エリアを判別することが挙げられる。

【0073】

ステップＳ４０８では、画像表示制御部１１５は、出力装置１３に備えられている表示画面に表示する画面を生成し、出力装置１３に出力する。例えば、画像表示制御部１１５は、ステップS４０６で取得した各種情報と地図データ２１１に基づき、車両２の位置情報や周囲の障害物等の情報を含む俯瞰画像が表示された第１画面を生成し、車両２の周囲画像取得装置２１が撮像した撮像画像（動画）が表示された第２画面を生成する。

【0074】

ステップＳ４０９では、画像表示制御部１１５は、ステップＳ４０７で判別した走行可能エリアを表示する走行可能エリア表示画像を生成し、ステップＳ４０８で生成した第１画面に重畳させ、走行可能エリア表示画像を含む第１画面と第２画面を出力装置１３に出力する。また、車両２の進行方向の道路に俯瞰画像データ上で死角となる箇所がある場合には、当該死角となる箇所の道路情報を表示する画像を同様に出力する。

【0075】

ステップＳ４１０では、端末機１の出力装置１３に備えられている表示画面に、ステップS409で出力された、走行可能エリア表示画像を含む第１画面と第２画面が表示される。

【0076】

ステップＳ４１１では、オペレーターが、表示画面を確認しながら、走行経路を作成する。走行経路の作成方法としては、例えば、地図上に車両が通過するための複数のポイントを指定すると、指定されたポイントすべてを通過するような走行経路を生成する方法が挙げられる。表示画面がタッチパネルであれば、画面をタッチすることで、ポイントを指定することとしてもよい。オペレーターが経路を作成すると、その結果が表示画面上にも表示される。オペレーターは、表示された走行経路を確認し、問題がなければ、走行経路作成完了を入力装置１２に入力する。

【0077】

ステップＳ４１２では、端末機１の通信装置１４は、ステップＳ４１１での走行経路作成完了の入力を受けて、遠隔操作開始信号とステップＳ４１１で作成された走行経路に関する情報を車両２に送信する。

【0078】

ステップＳ４１３では、車両２の車載通信装置２５は、ステップＳ４１２で通信装置１４から送信された遠隔操作開始信号と走行経路に関する情報を受信する。

【0079】

ステップＳ４１４では、車両２の走行制御装置２７は、駆動装置２８を操作して車両２の走行を開始する。この時、車両２の走行制御装置２７は、ステップＳ４１３で受信した走行経路上を車両２が走行するよう制御する。

【0080】

ステップＳ４１５では、走行制御装置２７は、車両２は遠隔操作が終了したか否かの判定を行う。例えば、走行制御装置２７は、ステップＳ４１３で受信した走行経路の終点を車両２が通過したと判断した場合、ステップＳ４１６に進み、遠隔操作を終了する。遠隔操作が終了したと判定がされない場合には、ステップＳ４１５で待機し、遠隔操作終了を判定するまでフローを繰り返す。

【0081】

以上のように、本実施形態に係る車両遠隔監視システム１００は、車両２が走行予定の道路を過去に走行した過去車両の車両情報や、当該過去車両が検出した外部環境情報を取得し、道路情報、当該車両情報及び当該外部環境情報に基づいて、車両２が走行可能な走行可能エリアを判別し、当該走行可能エリアを表示する画像を俯瞰画像上に表示する。これにより、オペレーターは、詳細地図データベース２１２の道路情報の更新が最新の道路状況を反映できていなかったとしても、実際の道路状況に近い情報を把握することができる。さらに、車両２が走行する予定の道路を過去に走行した車両から取得した各種情報を用いることにより、車両２に搭載されている障害物検出装置２３等では検出できない範囲について、オペレーターは、障害物の位置等の道路状況に関する情報を把握することができる。

【0082】

さらに、本実施形態では、外部環境情報として、立体物情報を取得し、当該立体物情報に基づき、前述の走行可能エリアに加えて、車両２が乗り越え可能な高さ以下の立体物が位置するエリアを走行可能エリアとして判別する。これにより、正確な走行可能なエリアの表示が実現でき、オペレーターは、俯瞰画像上で死角となる箇所の中でどこに走行経路を引くことができるのかを正確に把握することができる。
≪第３実施形態≫

【0083】

続いて、図５のフローチャートを用いて、本発明の第３実施形態にかかる車両遠隔監視システムついて説明する。本実施形態では、俯瞰画像上で死角となる箇所について、詳細地図データベースから取得した道路情報と、車両２が取得した周囲画像中の道路情報を比較し、詳細地図データベースの道路情報で示される道路状況と周囲画像中で示される道路状況が異なる箇所については、周囲画像中の道路情報に基づいて更新する。また、周囲画像としては、周囲画像を俯瞰変換して加工したものであってもよい。第３実施形態に係る車両遠隔監視システムは、第１実施形態の車両遠隔監視システムと同様の構成を有し、以下に説明するように動作すること以外は、第１実施形態と同様である。なお、第３実施形態においては、図２のステップＳ２１５の遠隔操作による走行を開始するところまでは同様の処理を行うことになるため、説明を省略する。以下、ステップＳ５０１の、車両２が遠隔操作による走行を開始するところからフローを進める。

【0084】

ステップＳ５０１では、車両２の走行制御装置２７は、駆動装置２８を操作して車両２の走行を開始する。この時、車両２の走行制御装置２７は、オペレーターが遠隔操作のために作成した走行経路上を車両２が走行するよう制御する。

【0085】

ステップＳ５０２では、車両２が走行している間に、車両２の周囲画像取得装置２１は、車両２周囲の路面の画像を含む周囲画像を取得する。周囲画像の取得は、車両２の走行中、一定の周期で実行される。また、取得した周囲画像を俯瞰変換して加工した画像を周囲画像としてもよい。

【0086】

ステップＳ５０３では、車載通信装置２５は、ステップＳ５０２で出力された周囲画像を端末機１の通信装置１４に送信する。

【0087】

ステップＳ５０４では、通信装置１４は、ステップＳ５０３で車載通信装置２５から送信された周囲画像を受信する。

【0088】

ステップＳ５０５では、更新箇所判定部１１９は、詳細地図データベース２１２における、俯瞰画像上で死角となる箇所の道路情報と、ステップＳ５０４で受信された周囲画像における、当該俯瞰画像上で死角となる箇所の道路情報を比較する。そして、詳細地図データベース２１２の道路情報で示される道路状況と周囲画像の道路情報で示される道路状況が異なる部分があるかどうかを判定する。異なる部分がある場合には、当該部分を不一致箇所として特定し、ステップＳ５０６に進む。例えば、車両２の進行方向の道路が、詳細地図データベースの道路情報では、障害物のない２車線となっているが、周囲画像中の道路情報では、２車線のうち、１車線にロードコーン等、複数の交通規制材が並べて置いてある場合に、当該交通規制材が置いてある位置を、道路状況が異なる部分として判定して当該部分を不一致箇所として特定する。異なる部分がない場合には、ステップＳ５０２に戻り、フローを繰り返す。

【0089】

ステップＳ５０６では、周囲画像更新部１２０は、ステップＳ５０５の結果に基づき、詳細地図データベース２１２における不一致箇所の道路情報を、周囲画像中の道路情報に更新する。これにより、ＨＤマップ等の詳細地図データベース２１２から取得した道路情報よりも、より現状に近い情報に更新した道路情報が表示される。

【0090】

ステップＳ５０７では、車両２は、遠隔操作が終了したか否かの判定を行う。例えば、走行制御装置２７は、車両２が、端末機１から受信した走行経路の終点を通過したと判断した場合、ステップＳ５０８に進み、遠隔操作を終了する。遠隔操作が終了したと判定がされない場合には、ステップＳ５０２に戻り、フローを繰り返す。つまり、ステップＳ５０２からステップＳ５０６間での処理は、遠隔操作が終了するまで、所定の周期で実行される。

【0091】

以上のように、本実施形態に係る車両遠隔監視システム１００は、車両周囲の路面の画像を含む周囲画像を取得し、地図データベースにおける、俯瞰画像上で死角となる箇所の道路情報と、周囲画像における、当該箇所を比較する。次に、当該箇所において、地図データベースの道路情報で示される道路状況と周囲画像中の道路情報で示される道路状況が異なる部分がある場合には、異なる部分を不一致箇所として特定する。そして、地図データベースの道路情報を表示する画像のうち、不一致箇所の道路情報を表示する画像を、周囲画像中の道路情報に基づいて更新する。これにより、オペレーターは、実際の道路状況に近い情報を把握することができる。

【0092】

なお、以上に説明した実施形態は、本発明の理解を容易にするために記載されたものであって、本発明を限定するために記載されたものではない。したがって、上記の実施形態に開示された各要素は、本発明の技術的範囲に属する全ての設計変更や均等物をも含む趣旨である。

【符号の説明】

【0093】

１…端末機
１１…車両遠隔監視装置
１２…入力装置
１３…出力装置
１４…通信装置
１１０…制御装置
１１１…遠隔操作受付部
１１２…車両情報取得部
１１３…外部環境情報取得部
１１４…道路情報取得部
１１５…画像表示制御部
１１６…走行可能エリア判別部
１１７…走行経路生成部
１１８…走行経路表示部
１１９…更新箇所判定部
１２０…周囲画像更新部
２１０…記憶装置
２１１…地図データ
２１２…詳細地図データベース
２…車両
２１…周囲画像取得装置
２２…方向検出装置
２３…障害物検出装置
２４…位置検出装置
２５…車載通信装置
２６…遠隔操作要求信号出力装置
２７…走行制御装置
２８…駆動装置
３…ネットワーク
１００…車両遠隔監視システム

【図1】

【図2】

【図3A】

【図3B】

【図3C】

【図4】

【図5】