特許 7350500 遠隔操作用画像の表示方法及び遠隔操作装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-09-15

(45)【発行日】2023-09-26

(54)【発明の名称】遠隔操作用画像の表示方法及び遠隔操作装置

(51)【国際特許分類】

   G05D 1/00 20060101AFI20230919BHJP

   G08G 1/09 20060101ALI20230919BHJP

   G08G 1/16 20060101ALI20230919BHJP

   H04N 7/18 20060101ALI20230919BHJP

   H04N 23/695 20230101ALI20230919BHJP

   H04N 23/60 20230101ALI20230919BHJP

【ＦＩ】

G05D1/00 B

G08G1/09 V

G08G1/16 A

H04N7/18 D

H04N7/18 U

H04N23/698

H04N23/60 500

H04N23/60 300

【請求項の数】 13

(21)【出願番号】P 2019062484

(22)【出願日】2019-03-28

(65)【公開番号】P2020161039

(43)【公開日】2020-10-01

【審査請求日】2021-11-09

(73)【特許権者】

【識別番号】000003997

【氏名又は名称】日産自動車株式会社

(73)【特許権者】

【識別番号】507308902

【氏名又は名称】ルノー エス．ア．エス．

【氏名又は名称原語表記】ＲＥＮＡＵＬＴ Ｓ．Ａ．Ｓ．

【住所又は居所原語表記】１２２－１２２ ｂｉｓ， ａｖｅｎｕｅ ｄｕ Ｇｅｎｅｒａｌ Ｌｅｃｌｅｒｃ， ９２１００ Ｂｏｕｌｏｇｎｅ－Ｂｉｌｌａｎｃｏｕｒｔ， Ｆｒａｎｃｅ

(74)【代理人】

【識別番号】110000486

【氏名又は名称】弁理士法人とこしえ特許事務所

(72)【発明者】

【氏名】望月 俊助

(72)【発明者】

【氏名】鈴木 政康

(72)【発明者】

【氏名】渡邉 真樹

(72)【発明者】

【氏名】斎藤 大介

【審査官】大古 健一

(56)【参考文献】

【文献】特開２０１８－１０６６７６（ＪＰ，Ａ）

【文献】特開２０１７－１６４７４（ＪＰ，Ａ）

【文献】特開２００２－１９４９１（ＪＰ，Ａ）

【文献】特開２００６－２２１３３９（ＪＰ，Ａ）

【文献】特開２００１－６３５００（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０５Ｄ １／００ － １／１２

Ｇ０８Ｇ １／０９

Ｇ０８Ｇ １／１６

Ｈ０４Ｎ ７／１８

Ｈ０４Ｎ ２３／６０

Ｈ０４Ｎ ２３／６９５

(57)【特許請求の範囲】

【請求項1】

自律走行制御機能を備えた車両を、前記車両の外部からの遠隔操作に基づく自律走行制御により走行させる場合に、前記車両から、前記車両の周囲を撮像した周囲映像を取得し、
取得した前記周囲映像を、前記車両の遠隔操作用画像として表示し、
前記車両の状態に応じて、前記遠隔操作用画像の所定領域を強調表示する遠隔操作用画像の表示方法において、
前記遠隔操作用画像は、前記車両から周囲の複数方向を撮像した複数種類の方向画像を含み、
前記車両の状態に応じて、重要度が高い方向画像の全体を強調表示し、
前記車両が車線内を走行している場合には、前記方向画像として、前記車両の前方画像、左側画像及び右側画像を強調表示し、
前記車両が走行中の車線から右側車線へ移動する場合には、前記車両の前方画像、右側画像及び右後方画像を強調表示し、
前記車両が走行中の車線から左側車線へ移動する場合には、前記車両の前方画像、左側画像及び左後方画像を強調表示する、遠隔操作用画像の表示方法。

【請求項2】

前記車両の進行方向に応じて、前記遠隔操作用画像の所定領域を強調表示する、請求項１に記載の遠隔操作用画像の表示方法。

【請求項3】

前記車両が走行している方向、もしくは前記車両を自律走行制御により走行させる走行経路の方向を前記進行方向として、前記遠隔操作用画像の所定領域を強調表示する、請求項２に記載の遠隔操作用画像の表示方法。

【請求項4】

前記遠隔操作用画像から、前記車両の走行に影響を及ぼす物体を検出し、
前記物体を検出した場合に、前記物体に応じて、前記遠隔操作用画像の所定領域を強調表示する、請求項１に記載の遠隔操作用画像の表示方法。

【請求項5】

前記遠隔操作用画像から、前記車両の走行に影響を及ぼす物体を検出した場合に、前記物体と、前記物体を含む前記遠隔操作用画像の所定領域を強調表示する、請求項４に記載の遠隔操作用画像の表示方法。

【請求項6】

前記遠隔操作用画像から、前記車両が自律走行制御により走行する走行経路と交差する経路に存在する物体を検出し、
前記物体を検出した場合に、前記物体を強調表示する、請求項１に記載の遠隔操作用画像の表示方法。

【請求項7】

前記物体を検出した場合に、前記物体の種類を特定し、前記物体の種類に応じた前記車両への接近可能性に応じて、前記物体を強調表示する、請求項６に記載の遠隔操作用画像の表示方法。

【請求項8】

前記遠隔操作用画像から、前記車両の走行に影響を及ぼす物体を検出し、
前記物体を検出した場合に、前記物体の種類、前記物体までの距離、前記物体の速度もしくは前記物体と前記車両との相対速度の少なくとも１つを含む物体情報を特定し、
前記物体を検出したことを示す物体検出情報とともに、前記物体情報を前記遠隔操作用画像の上に重ねて表示する、請求項１に記載の遠隔操作用画像の表示方法。

【請求項9】

前記物体検出情報として、前記物体の前記車両への接近状況を示す情報を表示する、請求項８に記載の遠隔操作用画像の表示方法。

【請求項10】

前記遠隔操作用画像から、前記車両の走行に影響を及ぼす物体を検出し、
前記物体を検出した場合に、前記物体の状態に応じた異なる色で強調表示する請求項１に記載の遠隔操作用画像の表示方法。

【請求項11】

前記遠隔操作用画像は、前記車両から周囲の複数方向を撮像した複数種類の方向画像を含み、
前記物体が検出された場合に、検出された前記物体の表示の有無、及び前記物体の接近方向に応じて、前記複数種類の方向画像の外枠を異なる色で強調表示する請求項１０に記載の遠隔操作用画像の表示方法。

【請求項12】

前記遠隔操作用画像は、前記車両から周囲の複数方向を撮像した複数種類の方向画像と、前記車両の現在位置の地図画像、衛星画像もしくは航空画像の上に、前記車両の上面画像を重ねて表示した俯瞰画像と、を含み、
前記複数種類の方向画像から、前記車両の走行に影響を及ぼす物体を検出し、
前記物体を検出した場合に、前記俯瞰画像に、検出された前記物体を示す画像を重ねて表示する請求項１１に記載の遠隔操作用画像の表示方法。

【請求項13】

自律走行制御機能を備えた車両を、前記車両の外部から遠隔操作して自律走行制御により走行させる遠隔操作装置であって、
前記車両から、前記車両の周囲の複数方向を撮像した周囲映像を取得する映像取得手段と、
取得した前記周囲映像を、前記車両から周囲の複数方向を撮像した複数種類の方向画像を含む、前記車両の遠隔操作用画像として表示する表示手段と、
前記車両の状態に応じて、前記遠隔操作用画像の所定領域を強調表示する表示制御手段と、
前記車両の状態に応じて、重要度が高い方向画像の全体を強調表示し、
前記車両が車線内を走行している場合には、前記方向画像として、前記車両の前方画像、左側画像及び右側画像を強調表示し、
前記車両が走行中の車線から右側車線へ移動する場合には、前記車両の前方画像、右側画像及び右後方画像を強調表示し、
前記車両が走行中の車線から左側車線へ移動する場合には、前記車両の前方画像、左側画像及び左後方画像を強調表示する画像強調部と、を備える遠隔操作装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、車両の遠隔操作に用いられる画像の表示方法と、遠隔操作用画像を表示する遠隔操作装置と、に関するものである。

【背景技術】

【0002】

遠隔操作の対象となる車両から、車両の前方と、左方及び右方とを撮像した画像を、無線通信を介して取得し、これらの画像を表示装置に表示して、オペレータが表示された画像を見ながら車両を遠隔操作できるようにした遠隔操作装置が知られている（特許文献１）。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０１８－１８０７７１号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

従来の遠隔操作装置では、一人のオペレータが複数種類の画像を見ながら遠隔操作を行なうため、画像確認に要する負荷が大きくなる場合があった。

【0005】

本発明が解決しようとする課題は、オペレータによる画像の確認の負荷が低減可能な遠隔操作用画像の表示方法と、遠隔操作装置とを提供することである。

【課題を解決するための手段】

【0006】

本発明は、自律走行制御機能を備えた車両から、車両の周囲を撮像した周囲映像を取得し、取得した周囲映像を、車両の遠隔操作用画像として表示し、車両の状態に応じて、遠隔操作用画像の所定領域を強調表示する場合に、車両から周囲の複数方向を撮像した複数種類の方向画像を含み、車両の状態に応じて、重要度が高い方向画像の全体を強調表示し、車両が車線内を走行している場合には、方向画像として、車両の前方画像、左側画像及び右側画像を強調表示し、車両が走行中の車線から右側車線へ移動する場合には、車両の前方画像、右側画像及び右後方画像を強調表示し、車両が走行中の車線から左側車線へ移動する場合には、車両の前方画像、左側画像及び左後方画像を強調表示することにより、上記課題を解決する。

【発明の効果】

【0007】

本発明によれば、遠隔操作装置のオペレータは、車両の遠隔操作を行うにあたり、遠隔操作用画像の強調表示された所定領域に注目すればよいので、オペレータによる画像の確認の負荷を低減することができる。

【図面の簡単な説明】

【0008】

【図1】本発明に係る遠隔操作用画像の表示方法及び遠隔操作装置を適用した無人運転システムの構成の一例を示すブロック図である。

【図2】車両及び遠隔操作装置の機能的な構成を示すブロック図である。

【図3】車両に設けられたカメラ、レーダ装置及びライダー装置の位置を示す車両の上面図である。

【図4】図２の表示制御部によって表示部に表示される操作画面を示す図である。

【図5】図４の俯瞰画面ＰＶに表示される画像の一例であって、左側通行の片側１車線道路（上下２車線道路）の衛星画像である。

【図6】図５に示す車両Ｖ０の左側画面ＬＶ、前方画面ＦＶ、右側画面ＲＶ、左後方画面ＬＢＶ、後方画面ＢＶ及び右後方画面ＲＢＶをそれぞれ示す図である。

【図7】図５及び図６に示す車両Ｖ０の回避経路を示す俯瞰画面ＰＶである。

【図8】通常の走行を行っている場合において、遠隔操作装置の表示部に表示される操作画面を示す図である。

【図9】車両Ｖ０が片側１車線道路を走行中に、前方に停車車両Ｖ１が停車しているため、停車車両Ｖ１の後ろに停車した場合に、遠隔操作により停車車両Ｖ１を迂回して走行を再開する状況を示す図である。

【図10】図９に示す状況において、画像強調部により、遠隔操作装置の表示部に表示される左側画像、前方画像、右側画像、左後方画像、後方画像及び右後方画像の一例を示す図である。

【図11】図９に示す状況において、物体強調部により、遠隔操作装置の表示部に表示される左側画像、前方画像、右側画像、左後方画像、後方画像及び右後方画像の一例を示す図である。

【図12】図９に示す状況において、解析情報強調部により、遠隔操作装置の表示部に表示される左側画像、前方画像、右側画像、左後方画像、後方画像及び右後方画像の一例を示す図である。

【図13】無人運転システムの制御手順を示すフローチャートである。

【図14】図１３のステップＳ７のサブルーチンの処理を示すフローチャートである。

【発明を実施するための形態】

【0009】

以下、本発明の実施形態を図面に基づいて説明する。図１は、本実施形態に係る無人運転システム１の構成の一例を示すブロック図である。本実施形態に係る無人運転システム１は、本発明に係る遠隔操作用画像の表示方法、及び遠隔操作装置を実施する一実施の形態でもある。

【0010】

本実施形態に係る無人運転システム１は、自律走行制御機能を備え、自律走行制御により、又は外部からの遠隔操作に基づく自律走行制御により走行する車両Ｖ０を、タクシー、乗合自動車その他の商用車として運用するシステムである。本実施形態に係る無人運転システム１は、複数台の車両Ｖ０と、複数台の遠隔操作装置３と、車両Ｖ０と遠隔操作装置３とを相互に通信可能に接続するネットワークＮＷ１と、を備える。

【0011】

遠隔操作装置３は、車両Ｖ０が自律走行制御による走行を行えなくなった場合に、車両Ｖ０を遠隔操作する。複数台の遠隔操作装置３は、通信設備を備えた車両管理センタ４に設置されている。車両管理センタ４には、遠隔操作装置３とともにＬＡＮ等の構内ネットワークＮＷ２に接続された管理サーバ５が設置されている。管理サーバ５は、ネットワークＮＷ１を通じて複数台の車両Ｖ０と接続し、構内ネットワークＮＷ２を通じて複数台の遠隔操作装置３と接続して、複数台の車両Ｖ０及び遠隔操作装置３を管理する。

【0012】

ネットワークＮＷ１には、例えば、インターネット等が用いられる。また、各車両Ｖ０のネットワークＮＷ１への接続には、広いエリアで普及し、かつ、比較的高速な通信速度が得られる携帯電話通信網等が利用される。なお、無人運転システム１が稼働される所定エリア内に無線通信用の複数のアクセスポイントを設置し、無人運転システム専用の無線通信網を形成して、この無線通信網により車両Ｖ０と遠隔操作装置３とを接続してもよい。

【0013】

本実施形態に係る無人運転システム１は、例えば、複数台の車両Ｖ０を、予め所定の乗車開始位置に配置している。乗客Ｐは、例えば、スマートフォン等の携帯端末Ｔにインストールされた専用アプリケーションを操作し、顧客情報や乗車開始時時刻、目的地等の情報を入力して乗車予約を行なう。携帯端末Ｔの専用アプリケーションに入力された情報は、予約情報として管理サーバ５に送信される。

【0014】

管理サーバ５は、受信した予約情報に基づいて、乗客Ｐを乗せて走行する車両Ｖ０（以下、予約車両ともいう）と、乗車開始時刻と、目的地までの走行順路とを設定する。また、管理サーバ５は、乗客Ｐの携帯端末Ｔに予約確認情報として、設定した予約車両Ｖ０の車両番号と、乗車開始時刻と、目的地と、走行順路とを送信する。さらに、管理サーバ５は、予約車両Ｖ０に運行情報として、乗客Ｐの顧客情報と、乗車開始時刻と、目的地と、走行順路とを送信する。予約車両Ｖ０は、走行順路内の道路で車線をはみ出さずに走行するための走行経路を設定し、自律走行制御により交通法規を遵守しながら走行経路を自律走行することにより、乗車した乗客Ｐを目的地まで送り届ける。

【0015】

また、車両Ｖ０は、走行順路に沿って設定された走行経路を自律走行中に、進行方向に存在する停車車両や工事現場等の路上の障害物により、車線からはみ出さずに自律走行制御が行えなくなった場合には、一旦停車し、管理サーバ５に支援要求信号を送信する。車両Ｖ０から支援要求信号を受信した管理サーバ５は、複数台の遠隔操作装置３のうちから車両Ｖ０を遠隔操作する遠隔操作装置３を決定し、決定した遠隔操作装置３に支援要請を行い、支援要請を受け付けた遠隔操作装置３と車両Ｖ０とを通信可能に接続する。遠隔操作装置３は、車両Ｖ０が再び自律走行制御を行えるように、路上の障害物を回避して走行するための走行経路である回避経路を設定し、車両Ｖ０に送信する。車両Ｖ０は、自律走行制御により回避経路を走行して路上の障害物を回避し、再び走行順路に沿って設定された走行経路を自律走行制御により走行する。

【0016】

図２は、車両Ｖ０と遠隔操作装置３の機能的な構成を示すブロック図である。なお、図２では、図面の煩雑化を防ぐため、ネットワークＮＷ１の図示は省略している。本実施形態に係る車両Ｖ０は、通信部２１と、センサ２２と、障害物認識部２３と、経路設定部２４と、走行制御部２５と、車両情報取得部２６と、を備える。

【0017】

車両Ｖ０を構成する各部のうち、障害物認識部２３と、経路設定部２４と、走行制御部２５と、車両情報取得部２６とは、一又は複数のコンピュータ及び当該コンピュータにインストールされたソフトウェアにより構成されている。コンピュータは、上述した各部を機能させるためのプログラムを格納したＲＯＭと、このＲＯＭに格納されたプログラムを実行するＣＰＵと、アクセス可能な記憶装置として機能するＲＡＭとから構成される。なお、ＣＰＵに代えて又はこれとともに、ＭＰＵ、ＤＳＰ、ＡＳＩＣ、ＦＰＧＡなどを用いることができる。また、各部を構成するコンピュータは、通信部２１と、センサ２２とに対し、相互に情報の送受信を行うために、たとえばＣＡＮ（Controller Area Network）その他の車載ＬＡＮによって接続されている。

【0018】

通信部２１は、ネットワークＮＷ１を介して車両管理センタ４と通信を行う。具体的には、通信部２１は、管理サーバ５から運行情報として送信された乗客Ｐの顧客情報と、乗車開始時刻と、目的地と、走行順路とを受信する。また、通信部２１は、所定時間毎又は所定の走行距離毎に、車両Ｖ０の現在位置情報（例えば、緯度、経度等）と、車両Ｖ０の前面が向いている方向（以下、車両方向情報ともいう）と、速度情報とを管理サーバ５に送信する。管理サーバ５は、受信した現在位置情報、車両方向情報及び速度情報に基づいて、各車両Ｖ０の走行状況を管理する。さらに、通信部２１は、車両Ｖ０が自律走行制御による走行を行えなくなった場合に、管理サーバ５に支援要求信号を送信する。また、通信部２１は、車両Ｖ０を遠隔操作する遠隔操作装置３が決定した場合、その遠隔操作装置３に、車両Ｖ０の遠隔操作を行うために必要な各種車両情報を送信する。

【0019】

センサ２２は、車両Ｖ０の周囲の状況を検出する。センサ２２は、例えば、カメラと、障害物センサとを備える。カメラは、ＣＣＤやＣＭＯＳ等のイメージセンサにより車両Ｖ０の周囲映像を撮像し、周囲映像の画像データを生成する撮像装置である。センサ２２を構成するカメラは、複数のカメラからなり、例えば、車両Ｖ０の上面図である図３に示すように、車両Ｖ０の前方を撮像する前方カメラ２２１Ｆと、車両Ｖ０の後方を撮像する後方カメラ２２１Ｂと、車両Ｖ０の左右の側方をそれぞれ撮像する左側カメラ２２１Ｌ及び右側カメラ２２１Ｒと、車両Ｖ０の左右の後方をそれぞれ撮像する左後方カメラ２２１ＬＢ及び右後方カメラ２２１ＲＢと、を含む。

【0020】

センサ２２を構成する障害物センサは、車両Ｖ０の周囲の障害物を検出する。障害物センサには、レーダ装置や、ライダー装置等の各種センサが、単独であるいは適宜組み合わせて利用される。図３に示すように、レーダ装置２２２ａは、例えば、車両Ｖ０の前部に設置されており、ミリ波や超音波を車両Ｖ０の前方に照射して反射波を受信することにより、車両Ｖ０の周囲に存在する障害物（物体）までの距離や相対速度等を検出する。ライダー装置２２２ｂ、２２２ｃは、例えば、車両Ｖ０の前部及び後部に設置されており、レーザ光を車両Ｖ０の周囲に照射して反射光を受光し、受光した反射光を三次元にマッピングすることにより、車両Ｖ０の周囲に存在する物体までの距離や、物体の形状等を検出する。

【0021】

障害物認識部２３は、センサ２２のカメラで撮像された画像データと、障害物センサの検出結果である障害物センサ情報とを解析して、車両Ｖ０の周囲に存在する、自律走行に影響を及ぼす物体を認識する。障害物認識部２３により認識される物体としては、例えば、歩行者、自転車、バイク及び自動車等の移動物体や、停止車両、工事現場、路上落下物及び路上建造物等の静止物体等である。路上建造物としては、ガードレール、路肩、中央分離帯及び信号機等が含まれる。なお、前方カメラ２２１Ｆの画像データは、センターラインや車道外側線等のレーンマークや、停止線、横断歩道等の路面標示の検出にも用いられる。

【0022】

経路設定部２４は、車両管理センタ４から受信した走行順路に沿って車両Ｖ０が実際に走行する経路である走行経路を設定する。経路設定部２４は、詳しくは図示しないが、位置検出部と、地図データベースとを備える。

【0023】

位置検出部は、ＧＰＳユニットと、ジャイロセンサと、車速センサ等を備える。位置検出部は、ＧＰＳユニットにより複数のＧＰＳ衛星から送信される電波を検出し、車両Ｖ０の位置情報を周期的に取得するとともに、取得した車両Ｖ０の位置情報と、ジャイロセンサから取得した角度変化情報と、車速センサから取得した速度情報とに基づいて、車両Ｖ０の現在位置情報を生成する。

【0024】

地図データベースは、カーナビゲーション装置等で用いられている地図情報と同様のものであり、各種施設や特定の地点の位置情報とともに、道路に関する情報が記録されている。道路に関する情報としては、道路種別、道路幅、車線数、交差点や信号機の位置、右折・左折専用車線の有無とその専用車線の数、制限速度、合流地点、分岐地点、料金所、車線数の減少位置、サービスエリア（ＳＡ）／パーキングエリア（ＰＡ）などの位置情報等が記録されている。

【0025】

経路設定部２４は、位置検出部により生成された車両Ｖ０の現在位置情報と、地図データベースと、障害物認識部２３による障害物の認識結果とに基づいて、車両Ｖ０が走行する走行順路の道路の幅を特定し、この道路の幅の中央に車両Ｖ０の走行経路を設定することにより、車両Ｖ０が走行順路の車線からはみ出さずに走行可能な走行経路を設定する。経路設定部２４は、本発明の経路設定部に相当する。

【0026】

走行制御部２５は、車両Ｖ０の自律走行制御機能を司る機能部であり、車両Ｖ０の各部を制御して、車両Ｖ０を経路設定部２４により設定された走行経路に沿って走行させる。より具体的には、走行制御部２５は、例えば、エンジンやモータ等の駆動機構、変速機構及び制動機構等を制御して車両Ｖ０の速度を調節するとともに、車両Ｖ０の前後方向に沿って設定された車両中心線ＶＬ（図３参照）が走行経路上を移動するように操舵機構を制御する。また、走行制御部２５は、車両Ｖ０が走行経路に沿って右折又は左折をする場合には、駆動機構、変速機構及び制動機構を制御して速度を調節するとともに、操舵機構及び方向指示器等を制御して、車両Ｖ０を右折又は左折させる。

【0027】

さらに、走行制御部２５は、現在位置情報と、地図データベースと、障害物認識部２３の認識結果とに基づいて、車両Ｖ０の進行方向に一時停止位置や、赤信号の交差点等が存在することが判明した場合には、駆動機構、変速機構及び制動機構等を制御し、車両Ｖ０の速度を低下させて停車させる。また、走行制御部２５は、障害物認識部２３により、車両Ｖ０の進行方向に、自律走行制御の支障となる停止車両や工事現場、歩行者等の障害物が存在することが判明した場合には、駆動機構、変速機構及び制動機構等を制御して車両Ｖ０の速度を低下させ、必要に応じて車両Ｖ０を停止させる。なお、本実施形態において、走行制御部２５が備える自律走行制御機能は、特に限定されるものではなく、本発明の出願時における技術を適宜援用できる。

【0028】

また、走行制御部２５は、車両Ｖ０が自律走行制御による走行が行えなくなって停車させた場合には、通信部２１により、車両管理センタ４の管理サーバ５に支援要求信号を送信する。なお、支援要求信号は、たんに支援を求めるだけの信号であってもよいし、支援要請の内容を含む信号であってもよい。支援要求信号に、支援要請の内容を含めて送信すれば、管理サーバ５では、その支援要請の内容に応じて車両Ｖ０を遠隔操作する遠隔操作装置３の決定に利用することができる。また、支援要求信号が複数の車両Ｖ０から送信されている場合には、支援要求信号の支援要請の内容に応じて、支援を開始する車両Ｖ０の優先順位の決定等に利用することができる。

【0029】

車両情報取得部２６は、車両Ｖ０を遠隔操作する遠隔操作装置３に送信する各種車両情報を取得する。車両情報取得部２６により取得される車両情報としては、例えば、センサ２２の前方カメラ２２１Ｆ、後方カメラ２２１Ｂ、左側カメラ２２１Ｌ、右側カメラ２２１Ｒ、左後方カメラ２２１ＬＢ及び右後方カメラ２２１ＲＢにより撮像された周囲映像の画像データと、レーダ装置２２２ａ及びライダー装置２２２ｂ、２２２ｃにより検出された障害物に関する障害物センサ情報と、車両Ｖ０の現在位置情報と、車両方向情報等が含まれる。

【0030】

次に、遠隔操作装置３について説明する。遠隔操作装置３は、図２に示すように、通信部３１と、入力部３２と、表示部３３と、表示制御部３４と、遠隔制御部３５と、を備える。遠隔操作装置３の表示制御部３４及び遠隔制御部３５は、一又は複数のコンピュータ及び当該コンピュータにインストールされたソフトウェアにより構成されている。コンピュータは、上述した各部を機能させるためのプログラムを格納したＲＯＭと、このＲＯＭに格納されたプログラムを実行するＣＰＵと、アクセス可能な記憶装置として機能するＲＡＭとから構成される。なお、ＣＰＵに代えて又はこれとともに、ＭＰＵ、ＤＳＰ、ＡＳＩＣ、ＦＰＧＡなどを用いることができる。また、各部を構成するコンピュータは、通信部３１と、入力部３２と、表示部３３とに対し、相互に情報の送受信を行うように接続されている。

【0031】

通信部３１は、ネットワークＮＷ１を介して車両Ｖ０と通信を行う。具体的には、通信部３１は、管理サーバ５から要請された車両Ｖ０の遠隔操作を行う場合に、当該車両Ｖ０から遠隔操作に必要な各種の走行情報として、前方カメラ２２１Ｆ、後方カメラ２２１Ｂ、左側カメラ２２１Ｌ、右側カメラ２２１Ｒ、左後方カメラ２２１ＬＢ及び右後方カメラ２２１ＲＢにより撮像された周囲映像の画像データと、レーダ装置２２２ａ及びライダー装置２２２ｂ、２２２ｃにより検出された障害物に関する障害物センサ情報と、車両Ｖ０の現在位置情報及び車両方向情報と、を受信する。また、通信部３１は、例えば、車両Ｖ０が路上の障害物を回避して自律走行制御を継続できるようにするために、回避経路等の遠隔制御情報を車両Ｖ０に送信する。すなわち、通信部３１は、本発明の映像取得手段に相当する。

【0032】

入力部３２は、遠隔操作装置３のオペレータにより操作される機器であり、車両Ｖ０の回避経路の生成などの各種操作を行うために用いられる。入力部３２としては、例えば、ディスプレー上に配置されるタッチパネルやキーボード、マウスやジョイスティックなどのオペレータの手動操作を検知する装置や、マイク及び音声認識部を備えた音声入力装置等が用いられる。

【0033】

表示部３３は、液晶ディスプレー等の表示装置であり、車両Ｖ０を遠隔操作するための操作画面等が表示される。表示制御部３４は、表示部３３に操作画面を表示させる。表示部３３及び表示制御部３４は、本発明の表示手段及び表示制御手段に相当する。

【0034】

図４は、表示制御部３４によって表示部３３に表示される操作画面を示している。この操作画面は、俯瞰画面ＰＶと、左側画面ＬＶと、前方画面ＦＶと、右側画面ＲＶと、左後方画面ＬＢＶと、後方画面ＢＶと、右後方画面ＲＢＶと、を備える。これらの俯瞰画面ＰＶと、左側画面ＬＶと、前方画面ＦＶと、右側画面ＲＶと、左後方画面ＬＢＶと、後方画面ＢＶと、右後方画面ＲＢＶとに表示される画像は、車両Ｖ０から周囲の複数方向を撮像した複数種類の方向画像に相当する。

【0035】

俯瞰画面ＰＶは、例えば、車両Ｖ０の現在位置情報に基づいて取得した地図画像又は衛星画像あるいは航空画像に、車両Ｖ０の上面画像と、レーダ装置２２２ａ及びライダー装置２２２ｂ、２２２ｃにより検出された障害物センサ情報とが重ね合わせて表示される。左側画面ＬＶ、前方画面ＦＶ、右側画面ＲＶ、左後方画面ＬＢＶ、後方画面ＢＶ及び右後方画面ＲＢＶには、車両Ｖ０から受信した左側カメラ２２１Ｌ、前方カメラ２２１Ｆ、右側カメラ２２１Ｒ、左後方カメラ２２１ＬＢ、後方カメラ２２１Ｂ、及び右後方カメラ２２１ＲＢの画像データが、それぞれ表示される。

【0036】

例えば、図５に示す俯瞰画面ＰＶは、左側通行の片側１車線道路（上下２車線道路）の衛星画像である。この道路の図中下方から上方へと向かう上り車線Ｌ１と、図中上方から下方へと向かう下り車線Ｌ２には、それぞれ車両待避所Ｌ１ｓ、Ｌ２ｓが設けられている。また、上り車線Ｌ１と下り車線Ｌ２との間の一部には、ゼブラゾーンＺが設けられている。さらに、上り車線Ｌ１と下り車線Ｌ２との外側には、路肩Ｕ１、Ｕ２と、歩道Ｊ１、Ｊ２とがそれぞれ配置されている。また、上り車線Ｌ１には、自律走行制御により走行経路に沿って自律走行する車両Ｖ０の上面図が表示されている。また、車両Ｖ０の前方には、上り車線Ｌ１に存在する停車車両Ｖ１（図６の前方画面ＦＶ参照）を、車両Ｖ０のライダー装置２２２ｂ、２２２ｃにより検出した検出結果である障害物センサ情報ＦＩが表示されている。障害物センサ情報ＦＩには、停車車両Ｖ１の後部の輪郭のみが表示される。

【0037】

図６は、図５に示す車両Ｖ０の左側画面ＬＶ、前方画面ＦＶ、右側画面ＲＶ、左後方画面ＬＢＶ、後方画面ＢＶ及び右後方画面ＲＢＶを示している。前方画面ＦＶには、前方カメラ２２１Ｆによって撮像された停車車両Ｖ１の後部が表示されている。なお、左側画面ＬＶ、前方画面ＦＶ、右側画面ＲＶ、左後方画面ＬＢＶ、後方画面ＢＶ及び右後方画面ＲＢＶにおいて、ドットでハッチングされている部分は、車両Ｖ０のボディを示している。

【0038】

遠隔制御部３５は、走行順路に沿って設定された走行経路を自律走行制御により走行する車両Ｖ０が、停車車両や工事現場等の路上の障害物によって自律走行が行えなくなった場合に、路上の障害物を自律走行制御により回避するための回避経路を設定する。すなわち、遠隔制御部３５は、車両Ｖ０の経路設定部２４とともに、本発明の経路設定部に相当する。回避経路の設定は、入力部３２を操作して、表示部３３に表示されている俯瞰画面ＰＶ上で車両Ｖ０の前部から障害物を回避して元の走行経路に戻るまでの回避経路を入力することにより行われる。

【0039】

図７は、図５、６に示す車両Ｖ０の回避経路を示す俯瞰画面ＰＶである。遠隔操作装置３のオペレータは、車両Ｖ０の前部から、停車車両Ｖ１を回避するように、車両Ｖ０が通過する予定位置である経路ポイントＰｔを複数設定する。遠隔制御部３５は、設定された複数の経路ポイントＰｔを接続して回避経路Ｒａを生成する。俯瞰画面ＰＶには、設定された複数の経路ポイントＰｔと、生成された回避経路Ｒａと、回避経路Ｒａに沿って走行する車両Ｖ０の移動軌跡Ｍｔとが、衛星画像上に表示される。設定された回避経路Ｒａは、通信部３１によって車両Ｖ０に送信される。

【0040】

表示制御部３４は、画像表示部３４１と、画像強調部３４２と、物体検出部３４３と、物体強調部３４４と、物体予測部３４５と、解析情報強調部３４６と、を備える。画像表示部３４１は、車両Ｖ０から受信した左側カメラ２２１Ｌ、前方カメラ２２１Ｆ、右側カメラ２２１Ｒ、左後方カメラ２２１ＬＢ、後方カメラ２２１Ｂ、及び右後方カメラ２２１ＲＢの画像データを、表示部３３の左側画面ＬＶ、前方画面ＦＶ、右側画面ＲＶ、左後方画面ＬＢＶ、後方画面ＢＶ及び右後方画面ＲＢＶにそれぞれ表示する。また、画像表示部３４１は、車両Ｖ０から定期的に受信した左側カメラ２２１Ｌ、前方カメラ２２１Ｆ、右側カメラ２２１Ｒ、左後方カメラ２２１ＬＢ、後方カメラ２２１Ｂ、及び右後方カメラ２２１ＲＢの画像データに基づいて、表示部３３の左側画面ＬＶ、前方画面ＦＶ、右側画面ＲＶ、左後方画面ＬＢＶ、後方画面ＢＶ及び右後方画面ＲＢＶを更新する。

【0041】

画像強調部３４２は、車両Ｖ０の状態に応じて、遠隔操作用画像の所定領域を強調表示する。具体的には、車両Ｖ０の進行方向に応じて、遠隔操作用画像の所定領域を強調表示する。この進行方向とは、車両Ｖ０が走行している方向、もしくは車両Ｖ０を自律走行制御により走行させる走行経路の方向を進行方向として、遠隔操作用画像の所定領域を強調表示する。

【0042】

例えば、車両Ｖ０が自律走行制御により設定された走行経路を走行している場合、すなわち、通常の走行を行っている場合には、図８に示すように、表示部３３の左側画面ＬＶ、前方画面ＦＶ及び右側画面ＲＶの外枠が、例えば、赤色の太線等によって強調表示される。

【0043】

また、図９（Ａ）に示すように、車両Ｖ０が片側１車線道路を走行中に、前方に停車車両Ｖ１が停車しており、車両Ｖ０が停車車両Ｖ１の後ろに停車したような場合には、車両Ｖ０は、同図（Ｂ）に示すように、遠隔操作により停車車両Ｖ１を迂回して走行を再開する必要がある。このような場合には、遠隔操作装置３によって生成された回避経路の方向が進行方向として特定され、図１０に示すように、回避経路の進行方向である前方画面ＦＶ、右側画面ＲＶ及び右後方画面ＲＢＶの外枠が、例えば、赤色の太線等によって強調表示される。

【0044】

物体検出部３４３は、車両Ｖ０から受信した左側カメラ２２１Ｌ、前方カメラ２２１Ｆ、右側カメラ２２１Ｒ、左後方カメラ２２１ＬＢ、後方カメラ２２１Ｂ、及び右後方カメラ２２１ＲＢの画像データを解析し、その解析結果と、車両Ｖ０から受信したレーダ装置２２２ａ及びライダー装置２２２ｂ、２２２ｃの障害物センサ情報とに基づいて、車両Ｖ０の走行に影響を及ぼす物体や、車両Ｖ０の走行経路と交差する経路に存在する物体等を検出する。物体検出部３４３により認識される物体としては、例えば、歩行者、自転車、バイク及び自動車等の移動物体や、停止車両、工事現場、路上落下物及び路上建造物等の静止物体等である。路上建造物としては、ガードレール、路肩、中央分離帯及び信号機等が含まれる。

【0045】

物体予測部３４５は、物体検出部３４３により検出された物体の種類を特定し、物体の種類に応じて車両Ｖ０への接近可能性を判断する。例えば、移動物体として、歩行者、自転車及び自動車等が検出されるが、これらの各物体の位置と、移動速度と、移動方向と、自車両Ｖ０の位置等に基づいて接近可能性を判断する。

【0046】

物体強調部３４４は、物体検出部３４３で車両Ｖ０の走行に影響を及ぼす物体を検出した場合、又は車両Ｖ０に対する接近可能性の高い物体を検出した場合に、遠隔操作用画像の所定領域を強調表示する。具体的には、車両Ｖ０の走行に影響を及ぼす物体と、この物体を含む遠隔操作用画像の所定領域とを強調表示する。

【0047】

例えば、図１１に示す例では、物体検出部３４３により、前方画面ＦＶに表示されている停車車両Ｖ１が検出されるので、物体強調部３４４は、前方画面ＦＶの外枠を点滅させるなどして強調表示する。また、物体強調部３４４は、物体検出部３４３の検出結果に基づいて、俯瞰画面ＰＶの停車車両Ｖ１が停車している位置に、停車車両Ｖ１を示す画像を、注意を引きやすい赤色等の色調で表示したり、点滅表示させる等して強調表示する。このように、物体が実際に表示されている画面だけでなく、俯瞰画面ＰＶにも検出された物体を表示するので、自車両Ｖ０との位置関係が把握しやすくなる。なお、俯瞰画面ＰＶは、車両Ｖ０の遠隔操作において、オペレータにより必ず確認される画面であるため、外枠等の強調表示は行っていないが、検出された物体を表示する際に強調表示するようにしてもよい。

【0048】

解析情報強調部３４６は、物体検出部３４３により物体が検出された場合に、物体の種類、物体までの距離、物体の速度もしくは物体と車両との相対速度の少なくとも１つを含む物体情報を特定し、物体を検出したことを示す物体検出情報とともに、物体情報を遠隔操作用画像の上に重ねて表示する。また、物体検出情報として、物体の車両への接近状況を示す情報を表示する。

【0049】

例えば、図１２に示す例では、物体検出部３４３により、前方画面ＦＶに表示されている停車車両Ｖ１と、右側画面ＲＶに表示されている追い越し車両Ｖ２とが検出される。追い越し車両Ｖ２は、車両Ｖ０と停車車両Ｖ１とを反対車線から追い越そうとしている車両である。物体強調部３４４は、前方画面ＦＶと右側画面ＲＶの外枠を点滅させるなどして強調表示する。また、物体強調部３４４は、物体検出部３４３の検出結果に基づいて、俯瞰画面ＰＶの停車車両Ｖ１が停車している位置に、停車車両Ｖ１を示す画像を強調表示し、追い越し車両Ｖ２が停車している位置に、追い越し車両Ｖ２を示す画像を強調表示する。解析情報強調部３４６は、前方画面ＦＶに「停車車両あり」という物体検出情報を表示する。また、解析情報強調部３４６は、右側画面ＲＶに「接近車両あり」という物体検出情報と、「ＸＸｋｍで接近中」という物体情報を表示する。さらに、解析情報強調部３４６は、俯瞰画面ＰＶの停車車両Ｖ１の近傍と、追い越し車両Ｖ２の近傍に、「停車車両あり」と、「接近車両あり」という物体検出情報をそれぞれ表示する。

【0050】

次に、図１３及び図１４に示すフローチャートを参照し、本実施形態の無人運転システム１の作用について説明する。管理サーバ５は、乗客Ｐの携帯端末Ｔから予約情報を受信すると、乗客Ｐを乗せて走行する車両Ｖ０と、乗車開始時刻と、目的地までの走行順路等を設定し（ステップＳ１）、携帯端末Ｔに予約確認情報を送信し、予約車両Ｖ０に運行情報を送信する（ステップＳ２）。管理サーバ５は、車両Ｖ０から所定時間毎又は所定の走行距離毎に送信される現在位置情報、車両方向情報及び速度情報を受信し、車両Ｖ０の自律走行の状況を管理、監視する（ステップＳ３）。

【0051】

車両Ｖ０は、管理サーバ５から送信された運行情報を通信部２１により受信し、経路設定部２４により運行情報の走行順路に基づいて、車両Ｖ０が走行順路上の車線からはみ出さずに走行するための走行経路を設定する。

【0052】

車両Ｖ０は、乗車開始時刻になると乗客Ｐを乗車させ、乗客Ｐを目的地まで送り届けるための自律走行制御を開始する。この自律走行制御では、車両Ｖ０は、走行制御部２５により駆動機構、変速機構及び制動機構等を制御して速度を調節するとともに、車両中心線ＶＬが走行経路上を移動するように操舵機構を制御する。また、車両Ｖ０は、走行経路に沿って右折又は左折をする場合には、走行制御部２５により駆動機構、変速機構及び制動機構を制御して速度を調節し、操舵機構及び方向指示器等を制御して右折又は左折を行う。さらに、車両Ｖ０は、現在位置情報と、地図データベースと、障害物認識部２３の認識結果とに基づいて、進行方向に一時停止位置や、赤信号の交差点等が存在することが判明した場合には、走行制御部２５により駆動機構、変速機構及び制動機構等を制御して車両Ｖ０の速度を低下させ、停車させる。

【0053】

自律走行制御により走行中の車両Ｖ０は、センサ２２の前方カメラ２２１Ｆ、後方カメラ２２１Ｂ、左側カメラ２２１Ｌ、右側カメラ２２１Ｒ、左後方カメラ２２１ＬＢ及び右後方カメラ２２１ＲＢにより、車両Ｖ０の周囲を撮像する。また、自律走行中の車両Ｖ０は、センサ２２のレーダ装置２２２ａ及びライダー装置２２２ｂ、２２２ｃにより、車両Ｖ０の周囲の物体を検出する。車両Ｖ０の障害物認識部２３は、センサ２２の各カメラで撮像された画像データと、レーダ装置２２２ａ及びライダー装置２２２ｂ、２２２ｃの検出結果である障害物センサ情報とを解析して、車両Ｖ０の周囲に存在する、自律走行に影響を及ぼす物体を認識する。

【0054】

車両Ｖ０の進行方向に、停車車両や工事現場等の路上の障害物が存在し、車両Ｖ０が車線からはみ出さずに自律走行制御が行えない場合には、走行制御部２５は、自律走行制御により車両Ｖ０を一旦停車させ、管理サーバ５に支援要求信号を送信する。

【0055】

車両Ｖ０から支援要求信号を受信した管理サーバ５は（ステップＳ４でＹＥＳ）、複数台の遠隔操作装置３のうちから車両Ｖ０を遠隔操作する遠隔操作装置３を決定し、決定した遠隔操作装置３に支援要請を行い、支援要請を受け付けた遠隔操作装置３と車両Ｖ０とを通信可能に接続する（ステップＳ５）。

【0056】

遠隔操作装置３は、支援要請を受け付けた車両Ｖ０から、車両情報取得部２６により取得した画像データ等の各種走行情報を受信する。この各種走行情報とは、前方カメラ２２１Ｆ、後方カメラ２２１Ｂ、左側カメラ２２１Ｌ、右側カメラ２２１Ｒ、左後方カメラ２２１ＬＢ及び右後方カメラ２２１ＲＢにより撮像された周囲映像の画像データと、レーダ装置２２２ａ及びライダー装置２２２ｂ、２２２ｃにより検出された障害物に関する障害物センサ情報と、車両Ｖ０の現在位置情報と、車両方向情報等である。

【0057】

遠隔操作装置３は、車両Ｖ０から受信した画像データ等の各種データに基づいて、車両Ｖ０が障害物を回避して走行させるための回避処理を開始する。具体的には、表示制御部３４の画像表示部３４１により、表示部３３に対し、車両Ｖ０及び障害物センサ情報ＦＩが衛星画像上に表示された俯瞰画面ＰＶと、左側カメラ２２１Ｌにより撮像された左側画面ＬＶと、前方カメラ２２１Ｆにより撮像された前方画面ＦＶと、右側カメラ２２１Ｒにより撮像された右側画面ＲＶと、左後方カメラ２２１ＬＢにより撮像された左後方画面ＬＢＶと、後方カメラ２２１Ｂにより撮像された後方画面ＢＶと、右後方カメラ２２１ＲＢにより撮像された右後方画面ＲＢＶと、を表示する（ステップＳ６）。

【0058】

次いで、遠隔操作装置３は、遠隔操作画像の注目領域を決定する注目領域決定処理を実行する（ステップＳ７）。図１４は、図１３のステップＳ７の注目領域決定処理のサブルーチンを示すフローチャートである。図１４に示すように、注目領域決定処理では、画像強調部３４２により、車両Ｖ０の走行方向、又は走行経路の方向を進行方向として特定し（ステップＳ７１）、特定した進行方向に基づいて、強調表示する方向画像の画面を決定する（ステップＳ７２）。たとえば、車両Ｖ０が自律走行制御により設定された走行経路を通常に走行している場合には、図８に示すように、表示部３３の左側画面ＬＶ、前方画面ＦＶ及び右側画面ＲＶの外枠が、例えば、赤色の太線等によって強調表示されるように、注目領域を左側画面ＬＶ、前方画面ＦＶ及び右側画面ＲＶの３つに決定する。

【0059】

あるいは、図９（Ａ）及び（Ｂ）に示すように、車両Ｖ０が片側１車線道路を走行中に、前方に停車車両Ｖ１が停車しており、車両Ｖ０が停車車両Ｖ１の後ろに停車したような場合には、車両Ｖ０は、遠隔操作により停車車両Ｖ１を迂回して走行を再開する必要がある。このような場合には、遠隔操作装置３によって生成された回避経路の方向が進行方向として特定され、図１０に示すように、回避経路の進行方向である前方画面ＦＶ、右側画面ＲＶ及び右後方画面ＲＢＶの外枠が、例えば、赤色の太線等によって強調表示されるように、注目領域を前方画面ＦＶ、右側画面ＲＶ及び右後方画面ＲＢＶの３つに決定する。

【0060】

次に、追加注目領域を決定する（ステップＳ７３）。ここで、物体検出部３４３は、各方向画像を解析して、車両Ｖ０の走行に影響を及ぼす物体や、車両Ｖ０の走行経路と交差する経路に存在する物体等を検出する。また、物体予測部３４５は、物体検出部３４３により検出された物体の種類を特定し、物体の種類に応じて車両Ｖ０への接近可能性を判断する。物体強調部３４４は、物体が検出された場合、又は接近可能性が予測された物体が検出された場合に、強調表示する物体として決定する。たとえば、図１１に示す例では、物体検出部３４３により、前方画面ＦＶに表示されている停車車両Ｖ１が検出されるので、前方画面ＦＶの外枠を強調表示するように、追加注目領域を前方画面ＦＶに決定する。また、物体強調部３４４は、物体検出部３４３の検出結果に基づいて、俯瞰画面ＰＶの停車車両Ｖ１が停車している位置に、停車車両Ｖ１を示す画像を強調表示するように、追加注目領域を俯瞰画面ＰＶに決定する。

【0061】

次のステップＳ７４では、物体検出部３４３により物体が検出されたか否かを判定し、物体が検出された場合はステップＳ７５へ進み、物体が検出されない場合は図１３のステップＳ８へ進む。物体検出部３４３により物体が検出された場合、ステップＳ７５にて、解析情報強調部３４６は、検出された物体の種類、物体までの距離、物体の速度もしくは物体と車両との相対速度の少なくとも１つを含む物体情報を特定する。そして、続くステップＳ７６にて、この物体情報と、物体を検出したことを示す物体検出情報とを生成する。なお、物体検出情報として、物体の車両への接近状況を示す情報を生成する。例えば、図１２に示す例では、物体検出部３４３により、前方画面ＦＶに表示されている停車車両Ｖ１と、右側画面ＲＶに表示されている追い越し車両Ｖ２とが検出される。したがって、解析情報強調部３４６は、車両Ｖ１は停車車両であることを特定し、追い越し車両Ｖ２は、車両Ｖ０と停車車両Ｖ１とを反対車線から追い越そうとしている車両であることを特定する。

【0062】

図１３のステップＳ８に戻り、ステップＳ８において、画像強調部３４２は、ステップＳ７２で決定した画面に対して強調表示を行う処理を実行する。図８に示す例について言えば、表示部３３の左側画面ＬＶ、前方画面ＦＶ及び右側画面ＲＶの３つがステップＳ７２で決定した画面であるから、これら左側画面ＬＶ、前方画面ＦＶ及び右側画面ＲＶの各外枠を、例えば、赤色の太線等によって強調表示する。

【0063】

また、同じくステップＳ８において、物体強調部３４４は、物体が検出された場合、又は接近可能性が予測された物体が検出された場合に、当該物体に対して強調表示を行う処理を実行する。図１１に示す例について言えば、ステップＳ７３において決定される追加注目領域が前方画面ＦＶであるので、当該前方画面ＦＶの外枠を強調表示する。また、ステップＳ７３において俯瞰画面ＰＶも追加注目領域に決定されるので、当該俯瞰画面ＰＶの停車車両Ｖ１が停車している位置に、停車車両Ｖ１を示す画像を強調表示する。

【0064】

さらに同じくステップＳ８において、解析情報強調部３４６は、ステップＳ７６で生成した物体情報を該当する画面に強調表示する。例えば、図１２に示す例では、物体検出部３４３により、前方画面ＦＶに表示されている停車車両Ｖ１と、右側画面ＲＶに表示されている追い越し車両Ｖ２とが検出され、これにより車両Ｖ１は停車車両であり、追い越し車両Ｖ２は、車両Ｖ０と停車車両Ｖ１とを反対車線から追い越そうとしている車両であることが特定されるので、解析情報強調部３４６は、俯瞰画面ＰＶの車両Ｖ１の横に「停車車両」というテキストデータを強調表示し、車両Ｖ２の横に「接近車両」というテキストデータを強調表示する。また、解析情報強調部３４６は、前方画面ＦＶの車両Ｖ１の横に「停車車両あり」というテキストデータを強調表示し、右側画面ＲＶの車両Ｖ２の横に「接近車両あり、ＸＸｋｍで接近中」というテキストデータを強調表示する。

【0065】

ステップＳ９では、ステップＳ５にて遠隔操作装置３に対して遠隔操作が要求されているので、当該遠隔操作装置３のオペレータは、車両Ｖ０から受信した画像データ等の各種データに基づいて遠隔操作装置３を操作し、車両Ｖ０が路上の障害物を自律走行制御により回避するための回避経路を設定する。具体的には、遠隔操作装置３の表示制御部３４は、表示部３３に対し、車両Ｖ０及び障害物センサ情報ＦＩが衛星画像上に表示された俯瞰画面ＰＶと、左側カメラ２２１Ｌにより撮像された左側画面ＬＶと、前方カメラ２２１Ｆにより撮像された前方画面ＦＶと、右側カメラ２２１Ｒにより撮像された右側画面ＲＶと、左後方カメラ２２１ＬＢにより撮像された左後方画面ＬＢＶと、後方カメラ２２１Ｂにより撮像された後方画面ＢＶと、右後方カメラ２２１ＲＢにより撮像された右後方画面ＲＢＶと、を表示する。

【0066】

遠隔操作装置３のオペレータは、図７に示すように、表示部３３に表示された俯瞰画面ＰＶと、左側画面ＬＶと、前方画面ＦＶと、右側画面ＲＶと、左後方画面ＬＢＶと、後方画面ＢＶと、右後方画面ＲＢＶと、に基づいて、車両Ｖ０の状況を把握し、入力部３２を操作して、俯瞰画面ＰＶ上で障害物を回避するように複数の経路ポイントＰｔを設定する。遠隔操作装置３は、設定された複数の経路ポイントＰｔを接続するようにして回避経路Ｒａを生成する。俯瞰画面ＰＶには、表示制御部３４により、設定された複数の経路ポイントＰｔと、生成された回避経路Ｒａと、回避経路Ｒａに沿って走行する車両Ｖ０の移動軌跡Ｍｔとが表示され、オペレータによって確認される。この回避経路を設定する際に、オペレータは、強調表示された画面に注目しながら操作するので、オペレータの操作負荷を軽減することができる。

【0067】

ステップＳ１０では、ステップＳ９において設定された回避経路Ｒａが、通信部３１によって車両Ｖ０に送信され、これを受信した車両Ｖ０は、回避経路にしたがって回避のための自律走行を開始する。車両Ｖ０の走行制御部２５は、障害物を回避して元の走行経路に戻った場合には（ステップＳ１１でＹＥＳ）、元の走行経路の自律走行制御を再開する。そして、ステップＳ１１にて回避走行が終了するまでステップＳ６～Ｓ１０の処理を繰り返し、回避走行が終了したらステップＳ１２へ進む。

【0068】

ステップＳ１２において、自律走行を実行している車両Ｖ０が目的地に到着したか否かを判定し、目的地に到着するまでステップＳ３～Ｓ１２の処理を繰り返し、目的地に到着したらステップＳ１３へ進んで、車両Ｖ０の自律走行の監視を終了する。

【0069】

以上で説明したように、本実施形態の無人運転システム１は、自律走行制御機能を備えた車両Ｖ０を、車両の外部からの遠隔操作に基づく自律走行制御により走行させる場合に、車両Ｖ０から、車両の周囲を撮像した周囲映像を取得し、取得した周囲映像を、車両Ｖ０の遠隔操作用画像として表示し、車両Ｖ０の状態に応じて、遠隔操作用画像の所定領域を強調表示する。これにより、遠隔操作装置３のオペレータは、注目すべき領域が把握し易くなり、オペレータの画像確認に要する負荷を軽減することができる。

【0070】

また、本実施形態の無人運転システム１は、車両Ｖ０の進行方向（車両が走行している方向、もしくは車両を自律走行制御により走行させる走行経路の方向を含む）に応じて、遠隔操作用画像の所定領域を強調表示するので、遠隔操作装置３のオペレータは、注目すべき領域がより把握し易くなり、オペレータの画像確認に要する負荷をより一層軽減することができる。

【0071】

さらに、本実施形態の無人運転システム１は、遠隔操作用画像から、車両Ｖ０の走行に影響を及ぼす物体を検出し、物体を検出した場合に、物体に応じて遠隔操作用画像の所定領域を強調表示する。このとき、物体と、物体を含む遠隔操作用画像の所定領域を強調表示してもよい。これにより、遠隔操作すべき車両Ｖ０と干渉する可能性がある物体を把握し易くなり、オペレータの画像確認に要する負荷をより一層軽減することができる。

【0072】

さらに、本実施形態の無人運転システム１は、遠隔操作用画像から、車両Ｖ０が自律走行制御により走行する走行経路と交差する経路に存在する物体を検出し、物体を検出した場合に、物体を強調表示する。このとき、物体の種類を特定し、物体の種類に応じた車両への接近可能性に応じて、物体を強調表示してもよい。これにより、遠隔操作すべき車両Ｖ０と干渉する可能性がある物体を把握し易くなり、オペレータの画像確認に要する負荷をより一層軽減することができる。

【0073】

さらに、本実施形態の無人運転システム１は、遠隔操作用画像から、車両Ｖ０の走行に影響を及ぼす物体を検出し、物体を検出した場合に、物体の種類、物体までの距離、物体の速度もしくは物体と車両Ｖ０との相対速度の少なくとも１つを含む物体情報を特定し、物体を検出したことを示す物体検出情報とともに、物体情報を遠隔操作用画像の上に重ねて表示する。このとき、物体検出情報として、物体の車両への接近状況を示す情報を表示してもよい。これにより、遠隔操作すべき車両Ｖ０と干渉する可能性がある物体の詳細な情報が把握し易くなり、オペレータの画像確認に要する負荷をより一層軽減することができる。

【0074】

さらに、本実施形態の無人運転システム１は、遠隔操作用画像は、車両Ｖ０から周囲の複数方向を撮像した複数種類の方向画像を含み、車両の状態に応じて、重要度が高い方向画像の全体を強調表示する。たとえば、車両が車線内を走行している場合には、方向画像として、車両の前方画像、左側画像及び右側画像を強調表示し、車両が走行中の車線から右側車線へ移動する場合には、車両の前方画像、右側画像及び右後方画像を強調表示し、車両が走行中の車線から左側車線へ移動する場合には、車両の前方画像、左側画像及び左後方画像を強調表示し、車両を自律走行制御により走行させる走行経路を生成する場合には、走行経路の方向に応じた前記方向画像を強調表示する。これにより、遠隔操作装置３のオペレータは、注目すべき領域が把握し易くなり、オペレータの画像確認に要する負荷をより一層軽減することができる。

【0075】

さらに、本実施形態の無人運転システム１は、遠隔操作用画像から、車両Ｖ０の走行に影響を及ぼす物体を検出し、物体を検出した場合に、物体の状態に応じた異なる色で強調表示する。このとき、遠隔操作用画像は、車両Ｖ０から周囲の複数方向を撮像した複数種類の方向画像を含み、物体が検出された場合に、検出された物体の表示の有無、及び物体の接近方向に応じて、複数種類の方向画像の外枠を異なる色で強調表示してもよい。またこのとき、遠隔操作用画像は、車両から周囲の複数方向を撮像した複数種類の方向画像と、車両の現在位置の地図画像、衛星画像もしくは航空画像の上に、車両の上面画像を重ねて表示した俯瞰画像と、を含み、複数種類の方向画像から、車両の走行に影響を及ぼす物体を検出し、物体を検出した場合に、俯瞰画像に、検出された物体を示す画像を重ねて表示してもよい。これにより、遠隔操作装置３のオペレータは、注目すべき領域が把握し易くなり、オペレータの画像確認に要する負荷をより一層軽減することができる。

【符号の説明】

【0076】

１…無人運転システム
Ｖ０…車両
２１…通信部
２２…センサ
２２１Ｆ…前方カメラ
２２１Ｌ…左側カメラ
２２１Ｒ…右側カメラ
２２１Ｂ…後方カメラ
２２１ＬＢ…左後方カメラ
２２１ＲＢ…右後方カメラ
２２２ａ…レーダ装置
２２２ｂ、２２２ｃ…ライダー装置
２３…障害物認識部
２４…経路設定部
２５…走行制御部
２６…車両情報取得部
３…遠隔操作装置
３１…通信部
３２…入力部
３３…表示部
ＰＶ…俯瞰画面
ＬＶ…左側画面
ＲＶ…右側画面
ＢＶ…後方画面
ＬＢＶ…左後方画面
ＲＢＶ…右後方画面
３４…表示制御部
３５…遠隔制御部
４…車両管理センタ
５…管理サーバ
Ｒａ…回避経路

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】