特開 2023-115753 遠隔操作システム、遠隔操作制御方法、及び遠隔オペレータ端末

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023115753

(43)【公開日】2023-08-21

(54)【発明の名称】遠隔操作システム、遠隔操作制御方法、及び遠隔オペレータ端末

(51)【国際特許分類】

   G08G 1/09 20060101AFI20230814BHJP

   G05D 1/00 20060101ALI20230814BHJP

   G08G 1/16 20060101ALI20230814BHJP

   H04N 7/18 20060101ALI20230814BHJP

【ＦＩ】

G08G1/09 V

G05D1/00 B

G08G1/16 A

H04N7/18 H

【審査請求】未請求

【請求項の数】8

【出願形態】ＯＬ

(21)【出願番号】P 2022018147

(22)【出願日】2022-02-08

(71)【出願人】

【識別番号】521042770

【氏名又は名称】ウーブン・バイ・トヨタ株式会社

(74)【代理人】

【識別番号】110003199

【氏名又は名称】弁理士法人高田・高橋国際特許事務所

(72)【発明者】

【氏名】末廣 優樹

(72)【発明者】

【氏名】渡辺 敏暢

【テーマコード（参考）】

5C054

5H181

5H301

【Ｆターム（参考）】

5C054DA09

5C054EJ00

5C054EJ04

5C054FC12

5C054FF07

5C054HA30

5H181AA01

5H181AA26

5H181AA27

5H181BB04

5H181CC03

5H181CC04

5H181CC12

5H181CC14

5H181CC24

5H181FF04

5H181LL06

5H181LL09

5H301AA03

5H301CC03

5H301CC06

5H301CC10

5H301DD06

5H301DD15

5H301GG09

(57)【要約】

【課題】遠隔オペレータによる移動体の遠隔操作の安全性を確保する。
【解決手段】遠隔操作システムは、遠隔オペレータによる移動体の遠隔操作を制御する。遠隔操作システムは、移動体に搭載されたカメラによって撮像される画像を取得する。遠隔操作システムは、取得した画像に基づいて、画像が撮像されたときの環境条件を判別する。遠隔操作システムは、環境条件に応じて画像の視認性を改善する視認性改善処理を行う。遠隔操作システムは、視認性が改善された改善画像を遠隔オペレータに提示する。更に、遠隔操作システムは、環境条件のうち天候条件に応じた視認性改善処理を行った場合、移動体の位置における天候情報に基づいて走行制限条件が成立するか否かを判定する。走行制限条件が成立する場合、遠隔操作システムは、移動体の走行を制限する走行制限処理を実行する。
【選択図】図７

【特許請求の範囲】

【請求項1】

遠隔オペレータによる移動体の遠隔操作を制御する遠隔操作システムであって、
１又は複数のプロセッサを備え、
前記１又は複数のプロセッサは、
前記移動体に搭載されたカメラによって撮像される画像を取得する処理と、
前記画像に基づいて、前記画像が撮像されたときの環境条件を判別する処理と、
前記環境条件に応じて前記画像の視認性を改善する視認性改善処理と、
前記視認性が改善された改善画像を前記遠隔オペレータに提示する処理と、
前記環境条件のうち天候条件に応じた前記視認性改善処理を行った場合、前記移動体の位置における天候情報に基づいて走行制限条件が成立するか否かを判定する処理と、
前記走行制限条件が成立する場合、前記移動体の走行を制限する走行制限処理と
を実行するように構成された
遠隔操作システム。

【請求項2】

請求項１に記載の遠隔操作システムであって、
前記天候条件に応じた前記視認性改善処理を行わなかった場合、前記１又は複数のプロセッサは、前記走行制限処理を実行しない
遠隔操作システム。

【請求項3】

請求項１又は２に記載の遠隔操作システムであって、
前記走行制限処理が実行されている間、前記１又は複数のプロセッサは、前記移動体の走行が制限されていることを前記遠隔オペレータに通知する
遠隔操作システム。

【請求項4】

請求項１乃至３のいずれか一項に記載の遠隔操作システムであって、
前記１又は複数のプロセッサは、更に、
前記移動体の前記位置における前記天候情報に基づいて、前記移動体の前記位置における荒天度合いを取得し、
前記荒天度合いが閾値以上である場合、前記走行制限条件が成立すると判定する
遠隔操作システム。

【請求項5】

請求項１乃至４のいずれか一項に記載の遠隔操作システムであって、
走行パラメータは、前記移動体の速度、操舵角、及び操舵速度のうち少なくとも一つを含み、
前記走行制限処理は、前記走行パラメータの上限値をデフォルト値よりも低く設定する処理を含む
遠隔操作システム。

【請求項6】

請求項５に記載の遠隔操作システムであって、
前記１又は複数のプロセッサは、更に、
前記移動体の前記位置における前記天候情報に基づいて、前記移動体の前記位置における荒天度合いを取得し、
前記荒天度合いに応じて前記走行パラメータの前記上限値を低下させる
遠隔操作システム。

【請求項7】

遠隔オペレータによる移動体の遠隔操作を制御する遠隔操作制御方法であって、
前記移動体に搭載されたカメラによって撮像される画像を取得する処理と、
前記画像に基づいて、前記画像が撮像されたときの環境条件を判別する処理と、
前記環境条件に応じて前記画像の視認性を改善する視認性改善処理と、
前記視認性が改善された改善画像を前記遠隔オペレータに提示する処理と、
前記環境条件のうち天候条件に応じた前記視認性改善処理を行った場合、前記移動体の位置における天候情報に基づいて走行制限条件が成立するか否かを判定する処理と、
前記走行制限条件が成立する場合、前記移動体の走行を制限する走行制限処理と
を含む
遠隔操作制御方法。

【請求項8】

移動体の遠隔操作を行う遠隔オペレータ側の遠隔オペレータ端末であって、
１又は複数のプロセッサを備え、
前記１又は複数のプロセッサは、
前記移動体に搭載されたカメラによって撮像される画像を取得する処理と、
前記画像に基づいて、前記画像が撮像されたときの環境条件を判別する処理と、
前記環境条件に応じて前記画像の視認性を改善する視認性改善処理と、
前記視認性が改善された改善画像を前記遠隔オペレータに提示する処理と、
前記環境条件のうち天候条件に応じた前記視認性改善処理を行った場合、前記移動体の位置における天候情報に基づいて走行制限条件が成立するか否かを判定する処理と、
前記走行制限条件が成立する場合、前記移動体の走行を制限する走行制限処理と
を実行するように構成された
遠隔オペレータ端末。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、遠隔オペレータによる移動体の遠隔操作を制御する技術に関する。

【背景技術】

【0002】

特許文献１は、画像全体の視認性を維持したまま、局所的に視認性の悪い領域の視認性を改善する技術を開示している。具体的には、撮像装置で撮像された画像の中の影領域が認識される。そして、影領域の特徴量（例：輝度）がその他の領域の特徴量と一致するように、影領域に属する各画素の画素値が変更される。

【0003】

非特許文献１は、ResNet（Deep Residual Net）を用いた画像認識技術を開示している。

【0004】

非特許文献２は、Deep Residual Learningを用いることによって、画像から天気等のシーンを認識する技術を開示している。

【0005】

非特許文献３は、Convolutional Neural Network (CNN)を用いて、霧等でかすんだ画像を改善する技術（dehazing, defogging）を開示している。

【0006】

非特許文献４は、ディープラーニングを利用して、低照度画像を通常光画像へ変換する技術（EnlightenGAN）を開示している。これにより、例えば、夜間や逆光といったシーンにおいて撮像された画像を適度な明るさに補正することができる。

【0007】

非特許文献５は、霧や雨等でかすんだ画像を改善する技術（dehazing, deraining）を開示している。

【先行技術文献】

【特許文献】

【0008】

【特許文献1】特開２００７－２７２４７７号公報

【非特許文献】

【0009】

【非特許文献1】Kaiming He, Xiangyu Zhang, Shaoqing Ren, and Jian Sun, "Deep Residual Learning for Image Recognition", arXiv:1512.03385v1 [cs.CV], December 10, 2015 (https://arxiv.org/pdf/1512.03385.pdf)

【非特許文献2】Mohamed R. Ibrahim, James Haworth, and Tao Cheng, "WeatherNet: Recognising weather and visual conditions from street-level images using deep residual learning", arXiv:1910.09910v1 [cs.CV], October 22, 2019 (https://arxiv.org/ftp/arxiv/papers/1910/1910.09910.pdf)

【非特許文献3】Boyi Li, Xiulian Peng, Zhangyang Wang, Jizheng Xu, and Dan Feng, "AOD-Net: All-in-One Dehazing Network", ICCV, 2017 (https://openaccess.thecvf.com/content_ICCV_2017/papers/Li_AOD-Net_All-In-One_Dehazing_ICCV_2017_paper.pdf)

【非特許文献4】Yifan Jiang, Xinyu Gong, Ding Liu, Yu Cheng, Chen Fang, Xiaohui Shen, Jianchao Yang, Pan Zhou, and Zhangyang Wang, "EnlightenGAN: Deep Light Enhancement without Paired Supervision", arXiv:1906.06972v1 [cs.CV], June 17, 2019 (https://arxiv.org/pdf/1906.06972.pdf)

【非特許文献5】Dongdong Chen, Mingming He, Qingnan Fan, Jing Liao, Liheng Zhang, Dongdong Hou, Lu Yuan, and Gang Hua, "Gated Context Aggregation Network for Image Dehazing and Deraining", arXiv:1811.08747v2 [cs.CV], December 15, 2018 (https://arxiv.org/abs/1811.08747)

【発明の概要】

【発明が解決しようとする課題】

【0010】

遠隔オペレータによる移動体（例：車両、ロボット）の遠隔操作について考える。移動体の遠隔操作では、移動体に搭載されたカメラによって撮像される画像が用いられる。カメラによって撮像される画像の視認性は、天候・時間等の環境条件により影響を受ける。そこで、遠隔操作の精度を向上させるために、画像の視認性を改善する画像処理を行うことが考えられる。但し、その場合、画像の視認性が改善される代わりに、画像が移動体の周囲の実環境から乖離する。遠隔オペレータの見る画像が移動体の周囲の実環境よりも良くなるため、遠隔オペレータは実環境にそぐわない遠隔操作を行ってしまうおそれがある。

【0011】

本開示の１つの目的は、遠隔オペレータによる移動体の遠隔操作の安全性を確保することができる技術を提供することにある。

【課題を解決するための手段】

【0012】

第１の観点は、遠隔オペレータによる移動体の遠隔操作を制御する遠隔操作システムに関連する。
遠隔操作システムは、１又は複数のプロセッサを備える。
１又は複数のプロセッサは、
移動体に搭載されたカメラによって撮像される画像を取得する処理と、
画像に基づいて、画像が撮像されたときの環境条件を判別する処理と、
環境条件に応じて画像の視認性を改善する視認性改善処理と、
視認性が改善された改善画像を遠隔オペレータに提示する処理と、
環境条件のうち天候条件に応じた視認性改善処理を行った場合、移動体の位置における天候情報に基づいて走行制限条件が成立するか否かを判定する処理と、
走行制限条件が成立する場合、移動体の走行を制限する走行制限処理と
を実行するように構成される。

【0013】

第２の観点は、遠隔オペレータによる移動体の遠隔操作を制御する遠隔操作制御方法に関連する。
遠隔操作制御方法は、
移動体に搭載されたカメラによって撮像される画像を取得する処理と、
画像に基づいて、画像が撮像されたときの環境条件を判別する処理と、
環境条件に応じて画像の視認性を改善する視認性改善処理と、
視認性が改善された改善画像を遠隔オペレータに提示する処理と、
環境条件のうち天候条件に応じた視認性改善処理を行った場合、移動体の位置における天候情報に基づいて走行制限条件が成立するか否かを判定する処理と、
走行制限条件が成立する場合、移動体の走行を制限する走行制限処理と
を含む。

【0014】

第３の観点は、移動体の遠隔操作を行う遠隔オペレータ側の遠隔オペレータ端末に関連する。
遠隔オペレータ端末は、１又は複数のプロセッサを備える。
１又は複数のプロセッサは、
移動体に搭載されたカメラによって撮像される画像を取得する処理と、
画像に基づいて、画像が撮像されたときの環境条件を判別する処理と、
環境条件に応じて画像の視認性を改善する視認性改善処理と、
視認性が改善された改善画像を遠隔オペレータに提示する処理と、
環境条件のうち天候条件に応じた視認性改善処理を行った場合、移動体の位置における天候情報に基づいて走行制限条件が成立するか否かを判定する処理と、
走行制限条件が成立する場合、移動体の走行を制限する走行制限処理と
を実行するように構成される。

【発明の効果】

【0015】

本開示によれば、カメラによって画像が撮像されたときの環境条件に応じて視認性改善処理が行われる。環境条件のうち天候条件に応じた視認性改善処理が行われた場合、改善画像が遠隔オペレータに提示されると共に、必要に応じて移動体の走行が制限される。仮に遠隔オペレータが移動体の周囲の実環境にそぐわない遠隔操作を行ってしまったとしても、移動体の走行が制限されるため、安全性が確保される。すなわち、遠隔オペレータによる移動体の遠隔操作の安全性が確保される。

【図面の簡単な説明】

【0016】

【図1】本開示の実施の形態に係る遠隔操作システムの構成例を示す概略図である。

【図2】本開示の実施の形態に係る画像改善部の概要を説明するための概念図である。

【図3】本開示の実施の形態に係る画像改善部の機能構成例を示すブロック図である。

【図4】本開示の実施の形態に係る画像改善部による処理を示すフローチャートである。

【図5】本開示の実施の形態に係る環境条件判別処理（ステップＳ２０）を説明するための概念図である。

【図6】本開示の実施の形態に係る視認性改善処理（ステップＳ３０）の一例を示すフローチャートである。

【図7】本開示の実施の形態に係る走行制限処理の概要を説明するための概念図である。

【図8】本開示の実施の形態に係る走行制限処理に関連する機能構成例を示すブロック図である。

【図9】本開示の実施の形態に係る走行制限処理に関連する処理を示すフローチャートである。

【図10】本開示の実施の形態に係る天候情報と走行制限の対応関係の一例を示す図である。

【図11】変形例に係る走行制限処理に関連する機能構成例を示すブロック図である。

【図12】変形例に係る走行制限処理に関連する処理を示すフローチャートである。

【図13】本開示の実施の形態に係る車両の構成例を示すブロック図である。

【図14】本開示の実施の形態に係る遠隔オペレータ端末の構成例を示すブロック図である。

【図15】本開示の実施の形態に係る管理装置の構成例を示すブロック図である。

【発明を実施するための形態】

【0017】

添付図面を参照して、本開示の実施の形態を説明する。

【0018】

１．遠隔操作システムの概要
移動体の遠隔操作（遠隔運転）について考える。遠隔操作の対象である移動体としては、車両、ロボット、飛翔体、等が例示される。車両は、自動運転車両であってもよいし、ドライバが運転する車両であってもよい。ロボットとしては、物流ロボット、作業ロボット、等が例示される。飛翔体としては、飛行機、ドローン、等が例示される。

【0019】

一例として、以下の説明においては、遠隔操作の対象である移動体が車両である場合について考える。一般化する場合には、以下の説明における「車両」を「移動体」で読み替えるものとする。

【0020】

図１は、本実施の形態に係る遠隔操作システム１の構成例を示す概略図である。遠隔操作システム１は、車両１００、遠隔オペレータ端末２００、及び管理装置３００を含んでいる。車両１００は、遠隔操作の対象である。遠隔オペレータ端末２００は、遠隔オペレータＯが車両１００を遠隔操作する際に使用する端末装置である。遠隔オペレータ端末２００を遠隔操作ＨＭＩ（Human Machine Interface）と言うこともできる。管理装置３００は、遠隔操作システム１の管理を行う。遠隔操作システム１の管理は、例えば、遠隔操作が必要な車両１００に対して遠隔オペレータＯを割り当てることを含む。管理装置３００は、通信ネットワークを介して車両１００及び遠隔オペレータ端末２００と通信可能である。典型的には、管理装置３００は、クラウド上の管理サーバである。管理サーバは、分散処理を行う複数のサーバにより構成されていてもよい。

【0021】

車両１００には、カメラＣを含む各種センサが搭載されている。カメラＣは、車両１００の周囲の状況を撮像し、車両１００の周囲の状況を示す画像ＩＭＧを取得する。車両情報ＶＣＬは、各種センサにより得られる情報であり、カメラＣにより得られる画像ＩＭＧを含む。車両１００は、管理装置３００を介して、車両情報ＶＣＬを遠隔オペレータ端末２００に送信する。つまり、車両１００は、車両情報ＶＣＬを管理装置３００に送信し、管理装置３００は、受け取った車両情報ＶＣＬを遠隔オペレータ端末２００に転送する。

【0022】

遠隔オペレータ端末２００は、車両１００から送信された車両情報ＶＣＬを受け取る。遠隔オペレータ端末２００は、車両情報ＶＣＬを遠隔オペレータＯに提示する。具体的には、遠隔オペレータ端末２００は、表示装置を備えており、画像ＩＭＧ等を表示装置に表示する。遠隔オペレータＯは、表示された情報をみて、車両１００の周囲の状況を認識し、車両１００の遠隔操作を行う。遠隔操作情報ＯＰＥは、遠隔オペレータＯによる遠隔操作に関する情報である。例えば、遠隔操作情報ＯＰＥは、遠隔オペレータＯによる操作量を含む。遠隔オペレータ端末２００は、管理装置３００を介して、遠隔操作情報ＯＰＥを車両１００に送信する。つまり、遠隔オペレータ端末２００は、遠隔操作情報ＯＰＥを管理装置３００に送信し、管理装置３００は、受け取った遠隔操作情報ＯＰＥを車両１００に転送する。

【0023】

車両１００は、遠隔オペレータ端末２００から送信された遠隔操作情報ＯＰＥを受け取る。車両１００は、受け取った遠隔操作情報ＯＰＥに従って車両走行制御を行う。このようにして、車両１００の遠隔操作が実現される。

【0024】

２．画像改善部
２－１．概要
図２は、本実施の形態に係る遠隔操作システム１に含まれる画像改善部１０の概要を説明するための概念図である。画像改善部１０は、カメラＣによって撮像された画像ＩＭＧを取得し、その画像ＩＭＧを改善する。特に、画像改善部１０は、画像ＩＭＧの「視認性」を改善する。画像ＩＭＧの視認性を改善する処理を、以下、「視認性改善処理」と呼ぶ。また、視認性が改善された画像を、以下、「改善画像ＩＭＧ＿Ｓ」と呼ぶ。視認性が改善された改善画像ＩＭＧ＿Ｓが遠隔オペレータＯに提示される。その結果、遠隔オペレータＯによる認識精度が向上し、それにより遠隔操作の精度も向上する。

【0025】

カメラＣによって撮像される画像ＩＭＧの視認性を低下させる要因としては様々考えられる。本実施の形態では、特に、画像ＩＭＧが撮影されたときの「環境条件（シーン）」が視認性に与える影響について考える。環境条件（シーン）とは、天気、時間帯、逆光か否か、霧の有無、等を意味する。例えば、雨天時に撮像された画像ＩＭＧの視認性は低い。他の例として、夜間等の暗い状況で撮像された画像ＩＭＧの視認性は低い。更に他の例として、逆光条件下で撮像された画像ＩＭＧの視認性は低い。更に他の例として、霧が発生しているときに撮像された画像ＩＭＧの視認性は低い。このように、カメラＣによって撮像される画像ＩＭＧの視認性を低下させる要因としては、雨、暗闇、逆光、霧、等が挙げられる。

【0026】

このような環境条件を考慮して画像ＩＭＧの視認性を改善し、クリアな改善画像ＩＭＧ＿Ｓを取得することが望まれる。但し、画像ＩＭＧの視認性を改善するためにどのような処理をどのような順番で行うべきかを遠隔オペレータＯが判断することは困難であり且つ煩わしい。そこで、本実施の形態に係る画像改善部１０は、カメラＣによって撮像された画像ＩＭＧの視認性を低下させる要因を自動的に判別し、その要因に応じた適切な視認性改善処理を適切な順番で実行することができるように構成される。

【0027】

以下、本実施の形態に係る画像改善部１０による処理について更に詳しく説明する。

【0028】

２－２．機能構成例及び処理例
図３は、本実施の形態に係る画像改善部１０の機能構成例を示すブロック図である。画像改善部１０は、環境条件判別部２０及び視認性改善処理部３０を含んでいる。

【0029】

図４は、本実施の形態に係る画像改善部１０による処理を示すフローチャートである。以下、図３及び図４を参照して、本実施の形態に係る画像改善部１０による処理例を説明する。

【0030】

２－２－１．画像取得処理（ステップＳ１０）
画像改善部１０は、カメラＣによって撮像された画像ＩＭＧを取得する。画像改善部１０は、取得した画像ＩＭＧを環境条件判別部２０と視認性改善処理部３０に送る。

【0031】

２－２－２．環境条件判別処理（ステップＳ２０）
環境条件判別部２０は、取得した画像ＩＭＧに基づいて、その画像ＩＭＧが撮像されたときの環境条件（シーン）を自動的に判別する。画像ＩＭＧに基づいて環境条件を判別するための技術としては、上述の非特許文献１や非特許文献２に記載されている技術が挙げられる。

【0032】

図５は、環境条件判別処理（ステップＳ２０）を説明するための概念図である。環境条件判別部２０は、天気判別部２１、時間帯判別部２２、グレア判別部２３、及び霧判別部２４を含んでいる。

【0033】

天気判別部２１は、画像ＩＭＧに基づいて、その画像ＩＭＧが撮像されたときの天気を判別する。天気としては、晴れ（sunny）、曇り（cloudy）、雨（rainy）、及び雪（snowy）が挙げられる。天気判別部２１は、該当する天気を出力する。

【0034】

時間帯判別部２２は、画像ＩＭＧに基づいて、その画像ＩＭＧが撮像されたときの時間帯を判別する。時間帯としては、昼間（day）、朝夕（dawn/dusk）、及び夜間（night）が挙げられる。「夜間」は「暗闇」に相当する。時間帯判別部２２は、該当する時間帯を出力する。

【0035】

グレア判別部２３は、画像ＩＭＧに基づいて、その画像ＩＭＧが逆光条件下で撮像されたか否かを判別する。グレア判別部２３は、逆光条件か否かを出力する。

【0036】

霧判別部２４は、画像ＩＭＧに基づいて、その画像ＩＭＧが撮像されたときの霧の有無を判別する。霧判別部２４は、霧の有無を出力する。

【0037】

画像ＩＭＧが撮像されたときの環境条件は、天気判別部２１、時間帯判別部２２、グレア判別部２３、及び霧判別部２４のそれぞれからの出力の組み合わせである。図５に示される例では、環境条件は、「雨＆夜間（暗闇）＆逆光無し＆霧」である。環境条件判別部２０は、得られた環境条件の情報を視認性改善処理部３０に出力する。

【0038】

２－２－３．視認性改善処理（ステップＳ３０）
視認性改善処理部３０は、画像ＩＭＧと、その画像ＩＭＧが撮像されたときの環境条件の情報を受け取る。そして、視認性改善処理部３０は、環境条件に応じて、画像ＩＭＧの視認性を改善するために必要な視認性改善処理を特定する。

【0039】

環境条件が「霧」を含んでいる場合に必要な視認性改善処理は、「霧除去処理（defogging)」である。霧除去処理は、画像ＩＭＧ内の霧によるかすみを除去し、視認性を改善する。この霧除去処理は、例えば、上記の非特許文献３に記載されている技術により実現される。

【0040】

環境条件が「暗闇」あるいは「逆光」を含んでいる場合に必要な視認性改善処理は、「明るさ補正処理」である。明るさ補正処理は、夜間や逆光といったシーンにおいて撮像された画像ＩＭＧを適度な明るさに補正し、視認性を改善する。この明るさ補正処理は、例えば、上記の非特許文献４に記載されている技術により実現される。

【0041】

環境条件が「雨」を含んでいる場合に必要な視認性改善処理は、「雨除去処理（deraining）」である。雨除去処理は、画像ＩＭＧ内の雨によるかすみを除去し、視認性を改善する。この雨除去処理は、例えば、上記の非特許文献５に記載されている技術により実現される。

【0042】

このように、環境条件に関連する視認性改善処理の候補としては、霧除去処理、明るさ補正処理、及び雨除去処理の三種類が挙げられる。これら複数種類の視認性改善処理をどのような順番で行えば視認性改善効果が最も高くなるかについて研究を行った。そして、研究努力の結果、「１．霧除去処理」、「２．明るさ補正処理」、「３．雨除去処理」の順番に行う場合に視認性改善効果が最も高くなることが判明した。本実施の形態では、この順番が採用される。すなわち、霧除去処理が明るさ補正処理よりも先に実行され、明るさ補正処理が雨除去処理よりも先に実行されるように、処理順が予め設定される。

【0043】

視認性改善処理部３０は、環境条件判別部２０によって判別された環境条件に応じて、複数種類の処理候補（霧除去処理、明るさ補正処理、及び雨除去処理）の中から必要な視認性改善処理を特定する。複数の処理候補の処理順は予め決まっている。視認性改善処理部３０は、特定した必要な視認性改善処理を所定の順番で画像ＩＭＧに適用することによって、視認性が改善された改善画像ＩＭＧ＿Ｓを生成する。つまり、視認性改善処理部３０は、必要な視認性改善処理をやみくもに行うのではなく、所定の順番に従って行う。これにより、優れた視認性改善効果が得られ、可能な限りクリアな改善画像ＩＭＧ＿Ｓが得られる。

【0044】

尚、環境条件に関連する複数種類の処理候補は、霧除去処理、明るさ補正処理、及び雨除去処理のうち２つであってもよい。その場合の前後関係も同じである。

【0045】

視認性改善処理部３０は、更に、環境条件とは関係ない視認性改善処理を行ってもよい。例えば、視認性改善処理部３０は、周知のブレ改善やコントラスト調整（平均化）といった画像処理を行ってもよい。

【0046】

以下、視認性改善処理部３０による視認性改善処理の一例を説明する。図３に示されるように、視認性改善処理部３０は、ブレ補正部３１、霧除去処理部３３、明るさ補正処理部３５、雨除去処理部３７、及びコントラスト調整部３９を含んでいる。図６は、視認性改善処理（ステップＳ３０）の一例を示すフローチャートである。

【0047】

ステップＳ３１において、ブレ補正部３１は、画像ＩＭＧに対して周知のブレ補正処理を行う。ブレ補正部３１は、ブレ補正処理後の画像ＩＭＧを霧除去処理部３３に出力する。

【0048】

続くステップＳ３２において、霧除去処理部３３は、環境条件判別部２０によって判別された環境条件が「霧」を含むか否かを判定する。環境条件が「霧」を含む場合（ステップＳ３２；Ｙｅｓ）、霧除去処理部３３は、霧除去処理が必要であると判断し、霧除去処理を行う（ステップＳ３３）。そして、霧除去処理部３３は、霧除去処理後の画像ＩＭＧを明るさ補正処理部３５に出力する。一方、環境条件が「霧」を含まない場合（ステップＳ３２；Ｎｏ）、霧除去処理部３３は、霧除去処理を行うことなく、画像ＩＭＧを明るさ補正処理部３５に出力する。

【0049】

続くステップＳ３４において、明るさ補正処理部３５は、環境条件判別部２０によって判別された環境条件が「暗闇」あるいは「逆光」を含むか否かを判定する。環境条件が「暗闇」あるいは「逆光」を含む場合（ステップＳ３４；Ｙｅｓ）、明るさ補正処理部３５は、明るさ補正処理が必要であると判断し、明るさ補正処理を行う（ステップＳ３５）。そして、明るさ補正処理部３５は、明るさ補正処理後の画像ＩＭＧを雨除去処理部３７に出力する。一方、環境条件が「暗闇」も「逆光」も含まない場合（ステップＳ３４；Ｎｏ）、明るさ補正処理部３５は、明るさ補正処理を行うことなく、画像ＩＭＧを雨除去処理部３７に出力する。

【0050】

続くステップＳ３６において、雨除去処理部３７は、環境条件判別部２０によって判別された環境条件が「雨」を含むか否かを判定する。環境条件が「雨」を含む場合（ステップＳ３６；Ｙｅｓ）、雨除去処理部３７は、雨除去処理が必要であると判断し、雨除去処理を行う（ステップＳ３７）。そして、雨除去処理部３７は、雨除去処理後の画像ＩＭＧをコントラスト調整部３９に出力する。一方、環境条件が「雨」を含まない場合（ステップＳ３６；Ｎｏ）、雨除去処理部３７は、雨除去処理を行うことなく、画像ＩＭＧをコントラスト調整部３９に出力する。

【0051】

続くステップＳ３９において、コントラスト調整部３９は、画像ＩＭＧに対して周知のコントラスト調整処理を行う。

【0052】

このように視認性改善処理を段階的に経た後の画像ＩＭＧが、改善画像ＩＭＧ＿Ｓである。

【0053】

２－２－４．画像出力処理（ステップＳ４０）
画像改善部１０は、このようにして生成された改善画像ＩＭＧ＿Ｓを外部に出力する。改善画像ＩＭＧ＿Ｓは、例えば、遠隔オペレータ端末２００によって遠隔オペレータＯに提示される。

【0054】

２－３．効果
以上に説明されたように、本実施の形態に係る画像改善部１０は、カメラＣによって撮像された画像ＩＭＧに基づいて、その画像ＩＭＧの撮像時の環境条件を判別する。更に、画像改善部１０は、環境条件に応じて必要な視認性改善処理を特定し、必要な視認性改善処理を所定の順番で画像ＩＭＧに適用することによって改善画像ＩＭＧ＿Ｓを生成する。視認性を低下させる要因に応じた適切な視認性改善処理が適切な順番で実行されるため、優れた視認性改善効果が得られる。また、遠隔オペレータＯによる個別判断は不要であるため、遠隔オペレータＯの負荷が軽減される。遠隔オペレータＯは、視認性が改善された改善画像ＩＭＧ＿Ｓを手軽に取得することができる。

【0055】

遠隔オペレータＯは、改善画像ＩＭＧ＿Ｓに基づいて遠隔操作を行うことができる。車両１００の置かれた環境条件によっては画像ＩＭＧの視認性が低下する場合もあるが、その場合であっても、環境条件の影響が軽減されたクリアな改善画像ＩＭＧ＿Ｓを用いることができる。その結果、遠隔オペレータＯによる認識精度が向上し、それにより遠隔操作の精度も向上する。また、環境条件の影響が軽減されるため、運行設計領域（ODD: Operational Design Domain）を拡大することが可能となる。このことは、サービス向上の観点から好ましい。

【0056】

尚、本実施の形態に係る画像改善部１０は、車両１００、遠隔オペレータ端末２００、及び管理装置３００のうちいずれに含まれていてもよい。すなわち、車両１００、遠隔オペレータ端末２００、及び管理装置３００のうち少なくともいずれかが、画像改善部１０の機能を備える。例えば、画像改善部１０は、管理装置３００に組み込まれる。この場合、管理装置３００は、車両１００から受け取る画像ＩＭＧの視認性を改善して改善画像ＩＭＧ＿Ｓを生成し、改善画像ＩＭＧ＿Ｓを遠隔オペレータ端末２００に送信する。他の例として、画像改善部１０は、遠隔オペレータ端末２００に組み込まれてもよい。この場合、遠隔オペレータ端末２００は、管理装置３００を介して車両１００から受け取る画像ＩＭＧの視認性を改善し、改善画像ＩＭＧ＿Ｓを生成する。いずれの場合であっても、遠隔オペレータ端末２００は、視認性が改善された改善画像ＩＭＧ＿Ｓを遠隔オペレータＯに提示することができる。

【0057】

３．走行制限処理
３－１．概要
上述の視認性改善処理により、遠隔オペレータＯは、視認性が改善された改善画像ＩＭＧ＿Ｓに基づいて遠隔操作を行うことができ、それにより遠隔操作の精度も向上する。但し、その場合、視認性が改善される代わりに、改善画像ＩＭＧ＿Ｓが車両１００の周囲の実環境から乖離する。遠隔オペレータＯの見る改善画像ＩＭＧ＿Ｓが車両１００の周囲の実環境よりも良くなるため、遠隔オペレータＯは実環境にそぐわない遠隔操作を行ってしまうおそれがある。

【0058】

例えば、雨天／降雪時、路面摩擦係数（路面μ）が低下するため、ドライバは車速や操舵速度を控えめに車両１００を運転すると考えられる。しかしながら、視認性改善処理によって画像ＩＭＧの視認性が改善される結果、実際の路面状態が遠隔オペレータＯに正しく伝わらない可能性がある。改善画像ＩＭＧ＿Ｓはクリアになっているため、遠隔オペレータＯが平常通りの車速や操舵速度で車両１００を運転してしまうおそれがある。このことは、遠隔操作の安全性の観点から好ましくない。

【0059】

そこで、本実施の形態に係る遠隔操作システム１は、必要に応じて車両１００の走行を制限するように構成される。車両１００の走行を制限するとは、車両１００の走行パラメータの上限値をデフォルト値よりも低く設定することを意味する。走行パラメータは、速度、操舵角、及び操舵速度のうち少なくとも一つを含む。このように車両１００の走行を制限する処理を、以下、「走行制限処理」と呼ぶ。

【0060】

図７は、走行制限処理の概要を説明するための概念図である。カメラＣによって画像ＩＭＧが撮影されたときの「環境条件」は、「天候条件」とそれ以外に分類される。天候条件としては、晴れ、曇り、雨、雪、霧、等が挙げられる。天候条件以外の環境条件としては、暗闇、逆光、等が挙げられる。環境条件のうち天候条件に応じた視認性改善処理としては、霧除去処理（図６；ステップＳ３３）、雨除去処理（図６；ステップＳ３７）、等が例示される。

【0061】

環境条件のうち天候条件に応じた視認性改善処理が行われる場合を考える。この場合、視認性が改善された改善画像ＩＭＧ＿Ｓが遠隔オペレータＯに提示される。更に、遠隔操作システム１は、「走行制限条件」が成立するか否かを判定する。走行制限条件は、走行制限処理を実行すべき天候条件である。例えば、車両１００の位置において激しく雨が降っている場合、走行制限処理を実行すべきと考えられる。よって、遠隔操作システム１は、車両１００の位置における天候情報に基づいて、走行制限条件が成立するか否かを判定する。つまり、遠隔操作システム１は、天候条件に応じた視認性改善処理が行われたことをトリガーとして、走行制限条件が成立するか否かを判定する。

【0062】

そして、走行制限条件が成立する場合、遠隔操作システム１は、車両１００の走行を制限する走行制限処理を実行する。これにより、仮に遠隔オペレータＯが車両１００の周囲の実環境にそぐわない遠隔操作を行ってしまったとしても、車両１００の走行が制限されるため、安全性が確保される。すなわち、遠隔オペレータＯによる車両１００の遠隔操作の安全性が確保される。

【0063】

尚、天候条件に応じた視認性改善処理が行われなかった場合、走行制限処理を実行する必要はない。例えば、天候条件に応じた視認性改善処理が行われず、暗闇・逆光に対する視認性改善処理（明るさ補正処理）だけが行われた場合、改善画像ＩＭＧ＿Ｓは遠隔オペレータＯに提示されるが、走行制限処理は行われない。他の例として、そもそも視認性改善処理が行われなかった場合、元の画像ＩＭＧが遠隔オペレータＯに提示され、また、走行制限処理は行われない。必要以上に車両１００の走行が制限されることがないため、遠隔オペレータＯが煩わしさを感じることが防止される。

【0064】

以下、本実施の形態に係る走行制限処理について更に詳しく説明する。

【0065】

３－２．機能構成例及び処理例
図８は、走行制限処理に関連する機能構成例を示すブロック図である。遠隔操作システム１は、画像改善部１０、表示部４０、及び操作量調整部５０を含んでいる。

【0066】

画像改善部１０は、車両１００、遠隔オペレータ端末２００、及び管理装置３００のうちいずれかに含まれている。画像改善部１０は、必要に応じて画像ＩＭＧに対して視認性改善処理を行い、改善画像ＩＭＧ＿Ｓを出力する。また、画像改善部１０は、視認性改善処理の内容を示すフラグ情報ＦＬＧを出力する。例えば、フラグ情報ＦＬＧは、霧除去処理（図６；ステップＳ３３）、明るさ補正処理（図６；ステップＳ３５）、及び雨除去処理（図６；ステップＳ３７）のうち実行されたものを示す。

【0067】

表示部４０は、遠隔オペレータ端末２００に含まれている。表示部４０は、元の画像ＩＭＧあるいは改善画像ＩＭＧ＿Ｓを表示装置に表示する。

【0068】

操作量調整部５０は、車両１００、遠隔オペレータ端末２００、及び管理装置３００のうちいずれかに含まれている。操作量調整部５０は、遠隔オペレータＯによる操作量を含む遠隔操作情報ＯＰＥを受け取る。そして、操作量調整部５０は、必要に応じて操作量を制限し、操作量が制限された遠隔操作情報ＯＰＥ’を出力する。操作量調整部５０は、判定部５１及び走行制限部５３を含んでいる。

【0069】

図９は、走行制限処理に関連する処理を示すフローチャートである。以下、図８及び図９を参照して、走行制限処理に関連する処理を更に詳しく説明する。

【0070】

３－２－１．ステップＳ５１
ステップＳ５１において、判定部５１は、環境条件のうち天候条件に応じた視認性改善処理が行われたか否かを判定する。具体的には、判定部５１は、画像改善部１０から出力されるフラグ情報ＦＬＧを受け取る。フラグ情報ＦＬＧは、画像改善部１０によって行われた視認性改善処理の内容を示す。このフラグ情報ＦＬＧに基づいて、判定部５１は、天候条件に応じた視認性改善処理が行われたか否かを判定することができる。

【0071】

天候条件に応じた視認性改善処理が行われた場合（ステップＳ５１；Ｙｅｓ）、処理は、ステップＳ５２に進む。一方、天候条件に応じた視認性改善処理が行われなかった場合（ステップＳ５１；Ｎｏ）、以降のステップＳ５２，Ｓ５３はスキップされ、今回のサイクルにおける処理は終了する。

【0072】

３－２－２．ステップＳ５２
ステップＳ５２において、判定部５１は、車両１００の位置における天候情報ＷＸに基づいて、走行制限条件が成立するか否かを判定する。走行制限条件は、走行制限処理を実行すべき天候条件である。天候情報ＷＸは、例えば、気象情報サービスセンターによって配信される。判定部５１は、気象情報サービスセンターと通信を行い、車両１００の位置における天候情報ＷＸを取得することができる。

【0073】

図１０は、天候情報ＷＸと走行制限の対応関係の一例を示している。バツ印（×）は、走行制限処理が行われないことを意味する。一方、丸印（○、◎）は、走行制限処理が行われることを意味する。例えば、１時間当たりの雨量が閾値（１０ｍｍ／ｈ）以上である場合、走行制限処理が行われる。

【0074】

例えば、判定部５１は、車両１００の位置における天候情報ＷＸに基づいて、車両１００の位置における「荒天度合い」を取得する。そして、その荒天度合いが第１閾値以上である場合、判定部５１は、走行制限条件が成立すると判定する。一方、荒天度合いが第１閾値未満である場合、判定部５１は、走行制限条件が成立しないと判定する。

【0075】

走行制限条件が成立する場合（ステップＳ５２；Ｙｅｓ）、処理は、ステップＳ５３に進む。一方、走行制限条件が成立しない場合（ステップＳ５２；Ｎｏ）、ステップＳ５３はスキップされ、今回のサイクルにおける処理は終了する。

【0076】

３－２－３．ステップＳ５３
ステップＳ５３において、走行制限部５３は、車両１００を操作するための操作量を制限する。より詳細には、走行制限部５３は、車両１００を操作するための操作量の上限値をデフォルト値よりも低く設定する。また、走行制限部５３は、遠隔オペレータＯによる操作量を含む遠隔操作情報ＯＰＥを受け取る。遠隔操作情報ＯＰＥに含まれる操作量が上限値を超えている場合、走行制限部５３は、操作量を上限値以下に制限（修正）する。そして、走行制限部５３は、操作量が制限された遠隔操作情報ＯＰＥ’を出力する。車両１００は、操作量が制限された遠隔操作情報ＯＰＥ’に従って車両走行制御を行う。これにより、車両１００の走行が制限される。

【0077】

このように、「車両１００を操作するための操作量を制限すること」は、「車両１００の走行を制限すること」と等価である。また、「車両１００を操作するための操作量の上限値をデフォルト値よりも低く設定すること」は、「車両１００の走行パラメータ（例：速度、操舵角、操舵速度）の上限値をデフォルト値よりも低く設定すること」と等価である。走行制限部５３は、操作量を通して走行制限処理を行っていると言える。

【0078】

走行制限部５３は、車両１００の位置における荒天度合いに応じて制限を強くしてもよい。制限をより強くするとは、操作量（すなわち走行パラメータ）の上限値をより低下させることを意味する。図１０に示される例では、二重丸（◎）の場合の上限値は、一重丸（○）の場合の上限値よりも低く設定される。つまり、走行制限部５３は、荒天度合いが第２閾値以上である場合の上限値を、荒天度合いが第２閾値未満である場合の上限値よりも低く設定する。ここで、第２閾値は、上述のステップＳ５２において用いられる第１閾値よりも高い。荒天度合いが高くなるほど上限値が低下する（制限が強くなる）ため、車両１００の遠隔操作の安全性がより適切に確保される。

【0079】

３－３．通知処理
図８に示されるように、遠隔操作システム１は、更に通知部８０を含んでいてもよい。通知部８０は、遠隔オペレータ端末２００に含まれている。走行制限処理が実行されている間、通知部８０は、車両１００の走行が制限されていることを遠隔オペレータＯに通知する。通知は、視覚を通して行われてもよいし、聴覚を通して行われてもよい。例えば、通知部８０は、表示装置に通知（例：「車速制限中：上限車速＝＊＊ｋｍ／ｈ」）を表示する。他の例として、通知部８０は、スピーカーを通して通知を音声で出力する。これにより、遠隔オペレータＯが走行制限処理に対して違和感を感じることが防止される。

【0080】

３－４．効果
以上に説明されたように、本実施の形態によれば、カメラＣによって画像ＩＭＧが撮像されたときの環境条件に応じて視認性改善処理が行われる。環境条件のうち天候条件に応じた視認性改善処理が行われた場合、改善画像ＩＭＧ＿Ｓが遠隔オペレータＯに提示されると共に、必要に応じて車両１００の走行が制限される。仮に遠隔オペレータＯが車両１００の周囲の実環境にそぐわない遠隔操作を行ってしまったとしても、車両１００の走行が制限されるため、安全性が確保される。すなわち、遠隔オペレータＯによる車両１００の遠隔操作の安全性が確保される。

【0081】

天候条件に応じた視認性改善処理が行われなかった場合、走行制限処理は実行されない。必要以上に車両１００の走行が制限されることがないため、遠隔オペレータＯが煩わしさを感じることが防止される。

【0082】

更に、走行制限処理が実行される場合、その旨が遠隔オペレータＯに通知される。従って、遠隔オペレータＯが走行制限処理に対して違和感を感じることが防止される。

【0083】

４．変形例
車両１００から遠隔オペレータ端末２００への通信の通信品質（例：スループット、遅延）が低下した場合、遠隔オペレータ端末２００が受信する画像ＩＭＧの画質が低下する可能性がある。例えば、通信品質低下が検知された場合に、送信側の車両１００において輻輳制御が行われる可能性がある。輻輳制御が行われると、車両１００から送信される画像ＩＭＧの解像度が低下する。その場合であっても、受信側の遠隔オペレータ端末２００は、超解像技術等を利用して視認性改善処理を行い、改善画像ＩＭＧ＿Ｓを生成することができる。遠隔オペレータＯは、視認性が改善された改善画像ＩＭＧ＿Ｓに基づいて遠隔操作を行うことができる。

【0084】

但し、通信品質低下時には、近い将来に通信途絶が発生する可能性もある。安全のため、遠隔オペレータＯは、車速を下げる等、慎重に車両１００を遠隔操作することが望ましい。しかしながら、視認性改善処理により得られるクリアな改善画像ＩＭＧ＿Ｓから遠隔オペレータＯが通信品質低下の発生を察知することは難しい。よって、通信品質低下に起因して視認性改善処理が行われた場合にも、上述の走行制限処理が安全性確保のために有用である。

【0085】

図１１は、変形例に係る走行制限処理に関連する機能構成例を示すブロック図である。遠隔操作システム１は、画像改善部１０、表示部４０、通信品質取得部６０、操作量調整部７０、及び通知部８０を含んでいる。上記セクション３と重複する説明は適宜省略する。

【0086】

画像改善部１０は、遠隔オペレータ端末２００に含まれている。画像改善部１０は、必要に応じて画像ＩＭＧに対して視認性改善処理を行い、改善画像ＩＭＧ＿Ｓを出力する。例えば、画像改善部１０は、受信した画像ＩＭＧに基づいて輻輳制御の有無を自動的に判定する。輻輳制御が行われている場合、画像改善部１０は、受信した画像ＩＭＧに超解像技術を適用して、視認性が改善された改善画像ＩＭＧ＿Ｓを生成する。また、画像改善部１０は、視認性改善処理が行われたか否かを示すフラグ情報ＦＬＧを出力する。

【0087】

通信品質取得部６０は、車両１００から遠隔オペレータ端末２００への通信の通信品質（例：スループット、遅延）の情報を取得する。例えば、通信品質取得部６０は、車両１００から受信する車両情報ＶＣＬの受信状態に基づいて、通信品質情報を取得する。

【0088】

操作量調整部７０は、車両１００、遠隔オペレータ端末２００、及び管理装置３００のうちいずれかに含まれている。操作量調整部７０は、判定部７１及び走行制限部７３を含んでいる。

【0089】

図１２は、変形例に係る走行制限処理に関連する処理を示すフローチャートである。以下、図１１及び図１２を参照して、変形例に係る走行制限処理に関連する処理を更に詳しく説明する。

【0090】

ステップＳ７１において、判定部７１は、画像改善部１０から出力されるフラグ情報ＦＬＧを受け取る。判定部７１は、フラグ情報ＦＬＧに基づいて、通信品質低下に起因する視認性改善処理が行われたか否かを判定する。通信品質低下に起因する視認性改善処理が行われた場合（ステップＳ７１；Ｙｅｓ）、処理は、ステップＳ７２に進む。一方、通信品質低下に起因する視認性改善処理が行われなかった場合（ステップＳ７１；Ｎｏ）、以降のステップＳ７２，Ｓ７３はスキップされ、今回のサイクルにおける処理は終了する。

【0091】

ステップＳ７２において、判定部７１は、通信品質取得部６０から通信品質情報を取得する。そして、判定部７１は、通信品質情報に基づいて、走行制限条件が成立するか否かを判定する。例えば、通信品質が第１閾値未満である場合、判定部７１は、走行制限条件が成立すると判定する。一方、通信品質が第１閾値以上である場合、判定部７１は、走行制限条件が成立しないと判定する。走行制限条件が成立する場合（ステップＳ７２；Ｙｅｓ）、処理は、ステップＳ７３に進む。一方、走行制限条件が成立しない場合（ステップＳ７２；Ｎｏ）、ステップＳ７３はスキップされ、今回のサイクルにおける処理は終了する。

【0092】

ステップＳ７３において、走行制限部７３は、走行制限処理を行う。走行制限部７３の機能は、上記セクション３における走行制限部５３と同様である。この走行制限処理により、車両１００の遠隔操作の安全性が確保される。

【0093】

走行制限部７３は、通信品質が低下するにつれて制限を強くしてもよい。制限をより強くするとは、操作量（すなわち走行パラメータ）の上限値をより低下させることを意味する。例えば、走行制限部７３は、通信品質が第２閾値未満である場合の上限値を、通信品質が第２閾値以上である場合の上限値よりも低く設定する。ここで、第２閾値は、上述のステップＳ７２において用いられる第１閾値よりも低い。通信品質が低下するほど上限値が低下する（制限が強くなる）ため、車両１００の遠隔操作の安全性がより適切に確保される。

【0094】

通知部８０は、上記セクション３の場合と同様である。遠隔オペレータＯが走行制限処理に対して違和感を感じることが防止される。

【0095】

５．車両の例
５－１．構成例
図１３は、車両１００の構成例を示すブロック図である。車両１００は、通信装置１１０、センサ群１２０、走行装置１３０、及び制御装置１５０を備えている。

【0096】

通信装置１１０は、車両１００の外部と通信を行う。例えば、通信装置１１０は、遠隔オペレータ端末２００や管理装置３００と通信を行う。

【0097】

センサ群１２０は、認識センサ、車両状態センサ、位置センサ、等を含んでいる。認識センサは、車両１００の周辺の状況を認識（検出）する。認識センサとしては、カメラＣ、ＬＩＤＡＲ（Laser Imaging Detection and Ranging）、レーダ、等が例示される。車両状態センサは、車両１００の状態を検出する。車両状態センサは、速度センサ、加速度センサ、ヨーレートセンサ、舵角センサ、等を含んでいる。位置センサは、車両１００の位置及び方位を検出する。例えば、位置センサは、ＧＮＳＳ（Global Navigation Satellite System）を含んでいる。

【0098】

走行装置１３０は、操舵装置、駆動装置、及び制動装置を含んでいる。操舵装置は、車輪を転舵する。例えば、操舵装置は、パワーステアリング（EPS: Electric Power Steering）装置を含んでいる。駆動装置は、駆動力を発生させる動力源である。駆動装置としては、エンジン、電動機、インホイールモータ、等が例示される。制動装置は、制動力を発生させる。

【0099】

制御装置１５０は、車両１００を制御するコンピュータである。制御装置１５０は、１又は複数のプロセッサ１６０（以下、単にプロセッサ１６０と呼ぶ）と１又は複数の記憶装置１７０（以下、単に記憶装置１７０と呼ぶ）を含んでいる。プロセッサ１６０は、各種処理を実行する。例えば、プロセッサ１６０は、ＣＰＵ（Central Processing Unit）を含んでいる。記憶装置１７０は、プロセッサ１６０による処理に必要な各種情報を格納する。記憶装置１７０としては、揮発性メモリ、不揮発性メモリ、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、等が例示される。制御装置１５０は、１又は複数のＥＣＵ（Electronic Control Unit）を含んでいてもよい。

【0100】

車両制御プログラムＰＲＯＧ１は、プロセッサ１６０によって実行されるコンピュータプログラムである。プロセッサ１６０が車両制御プログラムＰＲＯＧ１を実行することにより、制御装置１５０の機能が実現される。車両制御プログラムＰＲＯＧ１は、記憶装置１７０に格納される。あるいは、車両制御プログラムＰＲＯＧ１は、コンピュータ読み取り可能な記録媒体に記録されてもよい。

【0101】

５－２．運転環境情報
制御装置１５０は、センサ群１２０を用いて、車両１００の運転環境を示す運転環境情報ＥＮＶを取得する。運転環境情報ＥＮＶは、記憶装置１７０に格納される。

【0102】

運転環境情報ＥＮＶは、認識センサによる認識結果を示す周辺状況情報を含む。例えば、周辺状況情報は、カメラＣによって撮像される画像ＩＭＧを含む。周辺状況情報は、車両１００の周辺の物体に関する物体情報を含んでいてもよい。車両１００の周辺の物体としては、歩行者、他車両（先行車両、駐車車両、等）、白線、信号、標識、路側構造物、等が例示される。物体情報は、車両１００に対する物体の相対位置及び相対速度を示す。

【0103】

また、運転環境情報ＥＮＶは、車両状態センサによって検出される車両状態を示す車両状態情報を含む。

【0104】

更に、運転環境情報ＥＮＶは、車両１００の位置及び方位を示す車両位置情報を含む。車両位置情報は、位置センサにより得られる。地図情報と周辺状況情報（物体情報）を用いた自己位置推定処理（Localization）により、高精度な車両位置情報が取得されてもよい。

【0105】

５－３．車両走行制御
制御装置１５０は、車両１００の走行を制御する車両走行制御を実行する。車両走行制御は、操舵制御、駆動制御、及び制動制御を含む。制御装置１５０は、走行装置１３０（操舵装置、駆動装置、及び制動装置）を制御することによって車両走行制御を実行する。

【0106】

制御装置１５０は、運転環境情報ＥＮＶに基づいて自動運転制御を行ってもよい。より詳細には、制御装置１５０は、運転環境情報ＥＮＶに基づいて、車両１００の走行プランを生成する。更に、制御装置１５０は、運転環境情報ＥＮＶに基づいて、車両１００が走行プランに従って走行するために必要な目標トラジェクトリを生成する。目標トラジェクトリは、目標位置及び目標速度を含んでいる。そして、制御装置１５０は、車両１００が目標トラジェクトリに追従するように車両走行制御を行う。

【0107】

５－４．遠隔操作に関連する処理
以下、車両１００の遠隔操作が行われる場合について説明する。制御装置１５０は、通信装置１１０を介して、遠隔オペレータ端末２００と通信を行う。

【0108】

制御装置１５０は、車両情報ＶＣＬを遠隔オペレータ端末２００に送信する。車両情報ＶＣＬは、遠隔オペレータＯによる遠隔操作に必要な情報であり、上述の運転環境情報ＥＮＶの少なくとも一部を含んでいる。例えば、車両情報ＶＣＬは、周辺状況情報（特に画像ＩＭＧ）を含んでいる。車両情報ＶＣＬは、更に、車両状態情報や車両位置情報を含んでいてもよい。

【0109】

また、制御装置１５０は、遠隔操作情報ＯＰＥを遠隔オペレータ端末２００から受信する。遠隔操作情報ＯＰＥは、遠隔オペレータＯによる遠隔操作に関する情報である。例えば、遠隔操作情報ＯＰＥは、遠隔オペレータＯによる操作量を含む。制御装置１５０は、受信した遠隔操作情報ＯＰＥに従って車両走行制御を行う。

【0110】

更に、制御装置１５０は、上述の画像改善部１０の機能を備えていてもよい。画像改善部１０は、必要に応じて画像ＩＭＧに対して視認性改善処理を行い、改善画像ＩＭＧ＿Ｓを出力する。また、画像改善部１０は、視認性改善処理の内容を示すフラグ情報ＦＬＧを出力する。改善画像ＩＭＧ＿Ｓ及びフラグ情報ＦＬＧは、車両情報ＶＣＬの一部として管理装置３００及び遠隔オペレータ端末２００に送信される。

【0111】

更に、制御装置１５０は、上述の操作量調整部５０、７０の機能を備えていてもよい。操作量調整部５０、７０は、遠隔オペレータ端末２００から受信した遠隔操作情報ＯＰＥを取得する。そして、操作量調整部５０は、必要に応じて操作量を制限し、操作量が制限された遠隔操作情報ＯＰＥ’を出力する。制御装置１５０は、遠隔操作情報ＯＰＥ’に従って車両走行制御を行う。

【0112】

６．遠隔オペレータ端末の例
図１４は、遠隔オペレータ端末２００の構成例を示すブロック図である。遠隔オペレータ端末２００は、通信装置２１０、出力装置２２０、入力装置２３０、及び制御装置２５０を含んでいる。

【0113】

通信装置２１０は、車両１００及び管理装置３００と通信を行う。

【0114】

出力装置２２０は、各種情報を出力する。例えば、出力装置２２０は、表示装置を含んでいる。表示装置は、各種情報を表示することにより、各種情報を遠隔オペレータＯに提示する。他の例として、出力装置２２０は、スピーカを含んでいてもよい。出力装置２２０は、表示部４０や通知部８０の機能を備えている。

【0115】

入力装置２３０は、遠隔オペレータＯからの入力を受け付ける。例えば、入力装置２３０は、遠隔オペレータＯが車両１００を遠隔操作する際に操作する遠隔操作部材を含む。遠隔操作部材は、ハンドル、アクセルペダル、ブレーキペダル、方向指示器、等を含んでいる。

【0116】

制御装置２５０は、遠隔オペレータ端末２００を制御する。制御装置２５０は、１又は複数のプロセッサ２６０（以下、単にプロセッサ２６０と呼ぶ）と１又は複数の記憶装置２７０（以下、単に記憶装置２７０と呼ぶ）を含んでいる。プロセッサ２６０は、各種処理を実行する。例えば、プロセッサ２６０は、ＣＰＵを含んでいる。記憶装置２７０は、プロセッサ２６０による処理に必要な各種情報を格納する。記憶装置２７０としては、揮発性メモリ、不揮発性メモリ、ＨＤＤ、ＳＳＤ、等が例示される。

【0117】

遠隔操作プログラムＰＲＯＧ２は、プロセッサ２６０によって実行されるコンピュータプログラムである。プロセッサ２６０が遠隔操作プログラムＰＲＯＧ２を実行することにより、制御装置２５０の機能が実現される。遠隔操作プログラムＰＲＯＧ２は、記憶装置２７０に格納される。あるいは、遠隔操作プログラムＰＲＯＧ２は、コンピュータ読み取り可能な記録媒体に記録されてもよい。遠隔操作プログラムＰＲＯＧ２は、ネットワーク経由で提供されてもよい。

【0118】

制御装置２５０は、通信装置２１０を介して、車両１００と通信を行う。制御装置２５０は、車両１００から送信される車両情報ＶＣＬを受信する。制御装置２５０は、画像情報を含む車両情報ＶＣＬを表示装置に表示することによって、車両情報ＶＣＬを遠隔オペレータＯに提示する。遠隔オペレータＯは、表示装置に表示される車両情報ＶＣＬに基づいて、車両１００の状態や周囲の状況を認識することができる。

【0119】

遠隔オペレータＯは、入力装置２３０の遠隔操作部材を操作する。遠隔操作部材の操作量は、遠隔操作部材に設置されたセンサにより検出される。制御装置２５０は、遠隔オペレータＯによる遠隔操作部材の操作量を反映した遠隔操作情報ＯＰＥを生成する。そして、制御装置２５０は、その遠隔操作情報ＯＰＥを通信装置２１０を介して車両１００に送信する。

【0120】

更に、制御装置２５０は、上述の画像改善部１０の機能を備えていてもよい。画像改善部１０は、必要に応じて画像ＩＭＧに対して視認性改善処理を行い、改善画像ＩＭＧ＿Ｓを出力する。また、画像改善部１０は、視認性改善処理の内容を示すフラグ情報ＦＬＧを出力する。

【0121】

更に、制御装置２５０は、上述の操作量調整部５０、７０の機能を備えていてもよい。操作量調整部５０、７０は、遠隔操作情報ＯＰＥを受け取る。そして、操作量調整部５０は、必要に応じて操作量を制限し、操作量が制限された遠隔操作情報ＯＰＥ’を出力する。そして、制御装置２５０は、遠隔操作情報ＯＰＥ’を通信装置２１０を介して車両１００に送信する。

【0122】

７．管理装置の例
図１５は、管理装置３００の構成例を示すブロック図である。管理装置３００は、通信装置３１０及び制御装置３５０を含んでいる。

【0123】

通信装置３１０は、車両１００及び遠隔オペレータ端末２００と通信を行う。

【0124】

制御装置３５０は、管理装置３００を制御する。制御装置３５０は、１又は複数のプロセッサ３６０（以下、単にプロセッサ３６０と呼ぶ）と１又は複数の記憶装置３７０（以下、単に記憶装置３７０と呼ぶ）を含んでいる。プロセッサ３６０は、各種処理を実行する。例えば、プロセッサ３６０は、ＣＰＵを含んでいる。記憶装置３７０は、プロセッサ３６０による処理に必要な各種情報を格納する。記憶装置３７０としては、揮発性メモリ、不揮発性メモリ、ＨＤＤ、ＳＳＤ、等が例示される。

【0125】

管理プログラムＰＲＯＧ３は、プロセッサ３６０によって実行されるコンピュータプログラムである。プロセッサ３６０が管理プログラムＰＲＯＧ３を実行することにより、制御装置３５０の機能が実現される。管理プログラムＰＲＯＧ３は、記憶装置３７０に格納される。あるいは、管理プログラムＰＲＯＧ３は、コンピュータ読み取り可能な記録媒体に記録されてもよい。管理プログラムＰＲＯＧ３は、ネットワーク経由で提供されてもよい。

【0126】

制御装置３５０は、通信装置３１０を介して、車両１００及び遠隔オペレータ端末２００と通信を行う。制御装置３５０は、車両１００から送信される車両情報ＶＣＬを受信する。そして、制御装置３５０は、受信した車両情報ＶＣＬを遠隔オペレータ端末２００に送信する。また、制御装置３５０は、遠隔オペレータ端末２００から送信される遠隔操作情報ＯＰＥを受信する。そして、制御装置３５０は、受信した遠隔操作情報ＯＰＥを車両１００に送信する。

【0127】

更に、制御装置３５０は、上述の画像改善部１０の機能を備えていてもよい。車両１００から受信する車両情報ＶＣＬに画像ＩＭＧが含まれる場合、画像改善部１０は、必要に応じて画像ＩＭＧに対して視認性改善処理を行い、改善画像ＩＭＧ＿Ｓを出力する。また、画像改善部１０は、視認性改善処理の内容を示すフラグ情報ＦＬＧを出力する。改善画像ＩＭＧ＿Ｓ及びフラグ情報ＦＬＧは、車両情報ＶＣＬの一部として遠隔オペレータ端末２００に送信される。

【0128】

更に、制御装置３５０は、上述の操作量調整部５０、７０の機能を備えていてもよい。操作量調整部５０、７０は、遠隔オペレータ端末２００から受信した遠隔操作情報ＯＰＥを取得する。そして、操作量調整部５０は、必要に応じて操作量を制限し、操作量が制限された遠隔操作情報ＯＰＥ’を出力する。制御装置３５０は、遠隔操作情報ＯＰＥ’を通信装置３１０を介して車両１００に送信する。

【符号の説明】

【0129】

１ 遠隔操作システム
１０ 画像改善部
２０ 環境条件判別部
２１ 天気判別部
２２ 時間帯判別部
２３ グレア判別部
２４ 霧判別部
３０ 視認性改善処理部
３１ ブレ補正部
３３ 霧除去処理部
３５ 明るさ補正処理部
３７ 雨除去処理部
３９ コントラスト調整部
４０ 表示部
５０ 操作量調整部
５１ 判定部
５３ 走行制限部
８０ 通知部
１００ 車両
２００ 遠隔オペレータ端末
３００ 管理装置
Ｃ カメラ
ＩＭＧ 画像
ＩＭＧ＿Ｓ 改善画像
ＯＰＥ 遠隔操作情報
ＶＣＬ 車両情報
ＷＸ 天候情報

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】