特開 2023-114882 遠隔操作システム、情報提供方法、及び遠隔オペレータ端末

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023114882

(43)【公開日】2023-08-18

(54)【発明の名称】遠隔操作システム、情報提供方法、及び遠隔オペレータ端末

(51)【国際特許分類】

   H04N 23/60 20230101AFI20230810BHJP

   H04N 23/66 20230101ALI20230810BHJP

   H04N 7/18 20060101ALI20230810BHJP

   G08G 1/00 20060101ALI20230810BHJP

   G08G 1/16 20060101ALI20230810BHJP

   G05D 1/00 20060101ALI20230810BHJP

【ＦＩ】

H04N5/232 290

H04N5/232 030

H04N5/232 300

H04N7/18 E

G08G1/00 X

G08G1/16 D

G05D1/00 B

【審査請求】未請求

【請求項の数】7

【出願形態】ＯＬ

(21)【出願番号】P 2022017453

(22)【出願日】2022-02-07

(71)【出願人】

【識別番号】521042770

【氏名又は名称】ウーブン・バイ・トヨタ株式会社

(74)【代理人】

【識別番号】110003199

【氏名又は名称】弁理士法人高田・高橋国際特許事務所

(72)【発明者】

【氏名】末廣 優樹

【テーマコード（参考）】

5C054

5C122

5H181

5H301

【Ｆターム（参考）】

5C054CA04

5C054CC02

5C054DA09

5C054EA01

5C054EA03

5C054EA05

5C054EA07

5C054FC12

5C054FE28

5C054FF02

5C054GB01

5C054GB05

5C054HA38

5C122DA14

5C122DA27

5C122EA47

5C122EA63

5C122FH01

5C122FH02

5C122FH11

5C122FK23

5C122FK28

5C122GC38

5C122GC53

5C122GC76

5C122GD11

5C122GD12

5C122HB01

5H181AA01

5H181BB04

5H181CC03

5H181CC04

5H181CC14

5H181CC30

5H181EE13

5H181EE14

5H181FF04

5H181FF10

5H181FF13

5H181FF27

5H181FF33

5H181LL09

5H181LL15

5H301AA03

5H301AA10

5H301DD01

5H301DD06

5H301DD07

5H301DD15

5H301KK02

5H301KK03

5H301KK08

5H301KK10

5H301QQ06

(57)【要約】

【課題】移動体の遠隔操作を行う遠隔オペレータに有用な情報を提供する。
【解決手段】遠隔操作システムは、移動体の遠隔操作を行う遠隔オペレータに情報を提供する。遠隔操作システムは、移動体に搭載されたカメラによって撮像される画像を取得する。遠隔操作システムは、取得した画像に基づいて、画像が撮像されたときの環境条件を判別する。遠隔操作システムは、環境条件に応じて画像の視認性を改善する視認性改善処理を行う。遠隔操作システムは、視認性が改善された改善画像を遠隔オペレータに提示する。更に、遠隔操作システムは、環境条件のうち天候条件に応じた視認性改善処理を行った場合、移動体の位置における天候を含むアシスト情報を遠隔オペレータに通知する。
【選択図】図７

【特許請求の範囲】

【請求項1】

移動体の遠隔操作を行う遠隔オペレータに情報を提供する遠隔操作システムであって、
１又は複数のプロセッサを備え、
前記１又は複数のプロセッサは、
前記移動体に搭載されたカメラによって撮像される画像を取得する処理と、
前記画像に基づいて、前記画像が撮像されたときの環境条件を判別する処理と、
前記環境条件に応じて前記画像の視認性を改善する視認性改善処理と、
前記視認性が改善された改善画像を前記遠隔オペレータに提示する処理と、
前記環境条件のうち天候条件に応じた前記視認性改善処理を行った場合、前記移動体の位置における天候を含むアシスト情報を前記遠隔オペレータに通知する処理と
を実行するように構成された
遠隔操作システム。

【請求項2】

請求項１に記載の遠隔操作システムであって、
前記天候条件に応じた前記視認性改善処理を行わなかった場合、前記１又は複数のプロセッサは、前記アシスト情報を前記遠隔オペレータに通知しない
遠隔操作システム。

【請求項3】

請求項１又は２に記載の遠隔操作システムであって、
前記アシスト情報は、前記天候に加えて、前記遠隔オペレータが前記移動体の前記遠隔操作を行う上でのアドバイスを含む
遠隔操作システム。

【請求項4】

請求項１乃至３のいずれか一項に記載の遠隔操作システムであって、
前記１又は複数のプロセッサは、更に、
前記移動体の前記位置における天候情報に基づいて、前記移動体の前記位置における荒天度合いを認識し、
前記荒天度合いに応じて前記アシスト情報の内容を変える
遠隔操作システム。

【請求項5】

請求項４に記載の遠隔操作システムであって、
前記荒天度合いが閾値以上である場合の前記アシスト情報は、前記遠隔オペレータに対する警告を含む
遠隔操作システム。

【請求項6】

移動体の遠隔操作を行う遠隔オペレータに情報を提供する情報提供方法であって、
前記移動体に搭載されたカメラによって撮像される画像を取得する処理と、
前記画像に基づいて、前記画像が撮像されたときの環境条件を判別する処理と、
前記環境条件に応じて前記画像の視認性を改善する視認性改善処理と、
前記視認性が改善された改善画像を前記遠隔オペレータに提示する処理と、
前記環境条件のうち天候条件に応じた前記視認性改善処理を行った場合、前記移動体の位置における天候を含むアシスト情報を前記遠隔オペレータに通知する処理と
を含む
情報提供方法。

【請求項7】

移動体の遠隔操作を行う遠隔オペレータに情報を提供する遠隔オペレータ端末であって、
１又は複数のプロセッサを備え、
前記１又は複数のプロセッサは、
前記移動体に搭載されたカメラによって撮像される画像を取得する処理と、
前記画像に基づいて、前記画像が撮像されたときの環境条件を判別する処理と、
前記環境条件に応じて前記画像の視認性を改善する視認性改善処理と、
前記視認性が改善された改善画像を前記遠隔オペレータに提示する処理と、
前記環境条件のうち天候条件に応じた前記視認性改善処理を行った場合、前記移動体の位置における天候を含むアシスト情報を前記遠隔オペレータに通知する処理と
を実行するように構成された
遠隔オペレータ端末。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、移動体の遠隔操作を行う遠隔オペレータに情報を提供する技術に関する。

【背景技術】

【0002】

特許文献１は、画像全体の視認性を維持したまま、局所的に視認性の悪い領域の視認性を改善する技術を開示している。具体的には、撮像装置で撮像された画像の中の影領域が認識される。そして、影領域の特徴量（例：輝度）がその他の領域の特徴量と一致するように、影領域に属する各画素の画素値が変更される。

【0003】

非特許文献１は、ResNet（Deep Residual Net）を用いた画像認識技術を開示している。

【0004】

非特許文献２は、Deep Residual Learningを用いることによって、画像から天気等のシーンを認識する技術を開示している。

【0005】

非特許文献３は、Convolutional Neural Network (CNN)を用いて、霧等でかすんだ画像を改善する技術（dehazing, defogging）を開示している。

【0006】

非特許文献４は、ディープラーニングを利用して、低照度画像を通常光画像へ変換する技術（EnlightenGAN）を開示している。これにより、例えば、夜間や逆光といったシーンにおいて撮像された画像を適度な明るさに補正することができる。

【0007】

非特許文献５は、霧や雨等でかすんだ画像を改善する技術（dehazing, deraining）を開示している。

【先行技術文献】

【特許文献】

【0008】

【特許文献1】特開２００７－２７２４７７号公報

【非特許文献】

【0009】

【非特許文献1】Kaiming He, Xiangyu Zhang, Shaoqing Ren, and Jian Sun, "Deep Residual Learning for Image Recognition", arXiv:1512.03385v1 [cs.CV], December 10, 2015 (https://arxiv.org/pdf/1512.03385.pdf)

【非特許文献2】Mohamed R. Ibrahim, James Haworth, and Tao Cheng, "WeatherNet: Recognising weather and visual conditions from street-level images using deep residual learning", arXiv:1910.09910v1 [cs.CV], October 22, 2019 (https://arxiv.org/ftp/arxiv/papers/1910/1910.09910.pdf)

【非特許文献3】Boyi Li, Xiulian Peng, Zhangyang Wang, Jizheng Xu, and Dan Feng, "AOD-Net: All-in-One Dehazing Network", ICCV, 2017 (https://openaccess.thecvf.com/content_ICCV_2017/papers/Li_AOD-Net_All-In-One_Dehazing_ICCV_2017_paper.pdf)

【非特許文献4】Yifan Jiang, Xinyu Gong, Ding Liu, Yu Cheng, Chen Fang, Xiaohui Shen, Jianchao Yang, Pan Zhou, and Zhangyang Wang, "EnlightenGAN: Deep Light Enhancement without Paired Supervision", arXiv:1906.06972v1 [cs.CV], June 17, 2019 (https://arxiv.org/pdf/1906.06972.pdf)

【非特許文献5】Dongdong Chen, Mingming He, Qingnan Fan, Jing Liao, Liheng Zhang, Dongdong Hou, Lu Yuan, and Gang Hua, "Gated Context Aggregation Network for Image Dehazing and Deraining", arXiv:1811.08747v2 [cs.CV], December 15, 2018 (https://arxiv.org/abs/1811.08747)

【発明の概要】

【発明が解決しようとする課題】

【0010】

遠隔オペレータによる移動体（例：車両、ロボット）の遠隔操作について考える。移動体の遠隔操作では、移動体に搭載されたカメラによって撮像される画像が用いられる。カメラによって撮像される画像の視認性は、天候・時間等の環境条件により影響を受ける。そこで、遠隔操作の精度を向上させるために、画像の視認性を改善する画像処理を行うことが考えられる。但しその場合、視認性は改善されるが、その代わりに他の有用な情報が画像から失われる可能性がある。例えば、雨天／降雪時、画像の視認性が改善される代わりに、実際の路面状態（路面μ）が遠隔オペレータに正しく伝わらない可能性があり、それはブレーキ判断等に影響を及ぼす。

【0011】

本開示の１つの目的は、移動体の遠隔操作を行う遠隔オペレータに有用な情報を提供することができる技術を提供することにある。

【課題を解決するための手段】

【0012】

第１の観点は、移動体の遠隔操作を行う遠隔オペレータに情報を提供する遠隔操作システムに関連する。
遠隔操作システムは、１又は複数のプロセッサを備える。
１又は複数のプロセッサは、
移動体に搭載されたカメラによって撮像される画像を取得する処理と、
画像に基づいて、画像が撮像されたときの環境条件を判別する処理と、
環境条件に応じて画像の視認性を改善する視認性改善処理と、
視認性が改善された改善画像を遠隔オペレータに提示する処理と、
環境条件のうち天候条件に応じた視認性改善処理を行った場合、移動体の位置における天候を含むアシスト情報を遠隔オペレータに通知する処理と
を実行するように構成される。

【0013】

第２の観点は、移動体の遠隔操作を行う遠隔オペレータに情報を提供する情報提供方法に関連する。
情報提供方法は、
移動体に搭載されたカメラによって撮像される画像を取得する処理と、
画像に基づいて、画像が撮像されたときの環境条件を判別する処理と、
環境条件に応じて画像の視認性を改善する視認性改善処理と、
視認性が改善された改善画像を遠隔オペレータに提示する処理と、
環境条件のうち天候条件に応じた視認性改善処理を行った場合、移動体の位置における天候を含むアシスト情報を遠隔オペレータに通知する処理と
を含む。

【0014】

第３の観点は、移動体の遠隔操作を行う遠隔オペレータに情報を提供する遠隔オペレータ端末に関連する。
遠隔オペレータ端末は、１又は複数のプロセッサを備える。
１又は複数のプロセッサは、
移動体に搭載されたカメラによって撮像される画像を取得する処理と、
画像に基づいて、画像が撮像されたときの環境条件を判別する処理と、
環境条件に応じて画像の視認性を改善する視認性改善処理と、
視認性が改善された改善画像を遠隔オペレータに提示する処理と、
環境条件のうち天候条件に応じた視認性改善処理を行った場合、移動体の位置における天候を含むアシスト情報を遠隔オペレータに通知する処理と
を実行するように構成される。

【発明の効果】

【0015】

本開示によれば、カメラによって画像が撮像されたときの環境条件に応じて視認性改善処理が行われる。環境条件のうち天候条件に応じた視認性改善処理が行われた場合、改善画像が遠隔オペレータに提示されると共に、移動体の位置における天候を含むアシスト情報が遠隔オペレータに通知される。これにより、遠隔オペレータは、視認性の高い改善画像だけでなく、移動体の周囲の実際の天候も考慮して遠隔操作を適切に行うことが可能となる。例えば、遠隔オペレータは、車両の周囲の実際の路面状態を正確に把握しながら、遠隔操作を適切に行うことが可能となる。従って、遠隔オペレータによる遠隔操作の精度が更に向上する。

【図面の簡単な説明】

【0016】

【図1】本開示の実施の形態に係る遠隔操作システムの構成例を示す概略図である。

【図2】本開示の実施の形態に係る画像改善部の概要を説明するための概念図である。

【図3】本開示の実施の形態に係る画像改善部の機能構成例を示すブロック図である。

【図4】本開示の実施の形態に係る画像改善部による処理を示すフローチャートである。

【図5】本開示の実施の形態に係る環境条件判別処理（ステップＳ２０）を説明するための概念図である。

【図6】本開示の実施の形態に係る視認性改善処理（ステップＳ３０）の一例を示すフローチャートである。

【図7】本開示の実施の形態に係るアシスト情報通知処理の概要を説明するための概念図である。

【図8】本開示の実施の形態に係るアシスト情報通知処理に関連する機能構成例を示すブロック図である。

【図9】本開示の実施の形態に係るアシスト情報通知処理に関連する処理を示すフローチャートである。

【図10】本開示の実施の形態に係る天候情報とアシスト情報の対応関係の一例を示す図である。

【図11】本開示の実施の形態に係る車両の構成例を示すブロック図である。

【図12】本開示の実施の形態に係る遠隔オペレータ端末の構成例を示すブロック図である。

【図13】本開示の実施の形態に係る管理装置の構成例を示すブロック図である。

【発明を実施するための形態】

【0017】

添付図面を参照して、本開示の実施の形態を説明する。

【0018】

１．遠隔操作システムの概要
移動体の遠隔操作（遠隔運転）について考える。遠隔操作の対象である移動体としては、車両、ロボット、飛翔体、等が例示される。車両は、自動運転車両であってもよいし、ドライバが運転する車両であってもよい。ロボットとしては、物流ロボット、作業ロボット、等が例示される。飛翔体としては、飛行機、ドローン、等が例示される。

【0019】

一例として、以下の説明においては、遠隔操作の対象である移動体が車両である場合について考える。一般化する場合には、以下の説明における「車両」を「移動体」で読み替えるものとする。

【0020】

図１は、本実施の形態に係る遠隔操作システム１の構成例を示す概略図である。遠隔操作システム１は、車両１００、遠隔オペレータ端末２００、及び管理装置３００を含んでいる。車両１００は、遠隔操作の対象である。遠隔オペレータ端末２００は、遠隔オペレータＯが車両１００を遠隔操作する際に使用する端末装置である。遠隔オペレータ端末２００を遠隔操作ＨＭＩ（Human Machine Interface）と言うこともできる。管理装置３００は、遠隔操作システム１の管理を行う。遠隔操作システム１の管理は、例えば、遠隔操作が必要な車両１００に対して遠隔オペレータＯを割り当てることを含む。管理装置３００は、通信ネットワークを介して車両１００及び遠隔オペレータ端末２００と通信可能である。典型的には、管理装置３００は、クラウド上の管理サーバである。管理サーバは、分散処理を行う複数のサーバにより構成されていてもよい。

【0021】

車両１００には、カメラＣを含む各種センサが搭載されている。カメラＣは、車両１００の周囲の状況を撮像し、車両１００の周囲の状況を示す画像ＩＭＧを取得する。車両情報ＶＣＬは、各種センサにより得られる情報であり、カメラＣにより得られる画像ＩＭＧを含む。車両１００は、管理装置３００を介して、車両情報ＶＣＬを遠隔オペレータ端末２００に送信する。つまり、車両１００は、車両情報ＶＣＬを管理装置３００に送信し、管理装置３００は、受け取った車両情報ＶＣＬを遠隔オペレータ端末２００に転送する。

【0022】

遠隔オペレータ端末２００は、車両１００から送信された車両情報ＶＣＬを受け取る。遠隔オペレータ端末２００は、車両情報ＶＣＬを遠隔オペレータＯに提示する。具体的には、遠隔オペレータ端末２００は、表示装置を備えており、画像ＩＭＧ等を表示装置に表示する。遠隔オペレータＯは、表示された情報をみて、車両１００の周囲の状況を認識し、車両１００の遠隔操作を行う。遠隔操作情報ＯＰＥは、遠隔オペレータＯによる遠隔操作に関する情報である。例えば、遠隔操作情報ＯＰＥは、遠隔オペレータＯによる操作量を含む。遠隔オペレータ端末２００は、管理装置３００を介して、遠隔操作情報ＯＰＥを車両１００に送信する。つまり、遠隔オペレータ端末２００は、遠隔操作情報ＯＰＥを管理装置３００に送信し、管理装置３００は、受け取った遠隔操作情報ＯＰＥを車両１００に転送する。

【0023】

車両１００は、遠隔オペレータ端末２００から送信された遠隔操作情報ＯＰＥを受け取る。車両１００は、受け取った遠隔操作情報ＯＰＥに従って車両走行制御を行う。このようにして、車両１００の遠隔操作が実現される。

【0024】

２．画像改善部
２－１．概要
図２は、本実施の形態に係る遠隔操作システム１に含まれる画像改善部１０の概要を説明するための概念図である。画像改善部１０は、カメラＣによって撮像された画像ＩＭＧを取得し、その画像ＩＭＧを改善する。特に、画像改善部１０は、画像ＩＭＧの「視認性」を改善する。画像ＩＭＧの視認性を改善する処理を、以下、「視認性改善処理」と呼ぶ。また、視認性が改善された画像を、以下、「改善画像ＩＭＧ＿Ｓ」と呼ぶ。視認性が改善された改善画像ＩＭＧ＿Ｓが遠隔オペレータＯに提示される。その結果、遠隔オペレータＯによる認識精度が向上し、それにより遠隔操作の精度も向上する。

【0025】

カメラＣによって撮像される画像ＩＭＧの視認性を低下させる要因としては様々考えられる。本実施の形態では、特に、画像ＩＭＧが撮影されたときの「環境条件（シーン）」が視認性に与える影響について考える。環境条件（シーン）とは、天気、時間帯、逆光か否か、霧の有無、等を意味する。例えば、雨天時に撮像された画像ＩＭＧの視認性は低い。他の例として、夜間等の暗い状況で撮像された画像ＩＭＧの視認性は低い。更に他の例として、逆光条件下で撮像された画像ＩＭＧの視認性は低い。更に他の例として、霧が発生しているときに撮像された画像ＩＭＧの視認性は低い。このように、カメラＣによって撮像される画像ＩＭＧの視認性を低下させる要因としては、雨、暗闇、逆光、霧、等が挙げられる。

【0026】

このような環境条件を考慮して画像ＩＭＧの視認性を改善し、クリアな改善画像ＩＭＧ＿Ｓを取得することが望まれる。但し、画像ＩＭＧの視認性を改善するためにどのような処理をどのような順番で行うべきかを遠隔オペレータＯが判断することは困難であり且つ煩わしい。そこで、本実施の形態に係る画像改善部１０は、カメラＣによって撮像された画像ＩＭＧの視認性を低下させる要因を自動的に判別し、その要因に応じた適切な視認性改善処理を適切な順番で実行することができるように構成される。

【0027】

以下、本実施の形態に係る画像改善部１０による処理について更に詳しく説明する。

【0028】

２－２．機能構成例及び処理例
図３は、本実施の形態に係る画像改善部１０の機能構成例を示すブロック図である。画像改善部１０は、環境条件判別部２０及び視認性改善処理部３０を含んでいる。

【0029】

図４は、本実施の形態に係る画像改善部１０による処理を示すフローチャートである。以下、図３及び図４を参照して、本実施の形態に係る画像改善部１０による処理例を説明する。

【0030】

２－２－１．画像取得処理（ステップＳ１０）
画像改善部１０は、カメラＣによって撮像された画像ＩＭＧを取得する。画像改善部１０は、取得した画像ＩＭＧを環境条件判別部２０と視認性改善処理部３０に送る。

【0031】

２－２－２．環境条件判別処理（ステップＳ２０）
環境条件判別部２０は、取得した画像ＩＭＧに基づいて、その画像ＩＭＧが撮像されたときの環境条件（シーン）を自動的に判別する。画像ＩＭＧに基づいて環境条件を判別するための技術としては、上述の非特許文献１や非特許文献２に記載されている技術が挙げられる。

【0032】

図５は、環境条件判別処理（ステップＳ２０）を説明するための概念図である。環境条件判別部２０は、天気判別部２１、時間帯判別部２２、グレア判別部２３、及び霧判別部２４を含んでいる。

【0033】

天気判別部２１は、画像ＩＭＧに基づいて、その画像ＩＭＧが撮像されたときの天気を判別する。天気としては、晴れ（sunny）、曇り（cloudy）、雨（rainy）、及び雪（snowy）が挙げられる。天気判別部２１は、該当する天気を出力する。

【0034】

時間帯判別部２２は、画像ＩＭＧに基づいて、その画像ＩＭＧが撮像されたときの時間帯を判別する。時間帯としては、昼間（day）、朝夕（dawn/dusk）、及び夜間（night）が挙げられる。「夜間」は「暗闇」に相当する。時間帯判別部２２は、該当する時間帯を出力する。

【0035】

グレア判別部２３は、画像ＩＭＧに基づいて、その画像ＩＭＧが逆光条件下で撮像されたか否かを判別する。グレア判別部２３は、逆光条件か否かを出力する。

【0036】

霧判別部２４は、画像ＩＭＧに基づいて、その画像ＩＭＧが撮像されたときの霧の有無を判別する。霧判別部２４は、霧の有無を出力する。

【0037】

画像ＩＭＧが撮像されたときの環境条件は、天気判別部２１、時間帯判別部２２、グレア判別部２３、及び霧判別部２４のそれぞれからの出力の組み合わせである。図５に示される例では、環境条件は、「雨＆夜間（暗闇）＆逆光無し＆霧」である。環境条件判別部２０は、得られた環境条件の情報を視認性改善処理部３０に出力する。

【0038】

２－２－３．視認性改善処理（ステップＳ３０）
視認性改善処理部３０は、画像ＩＭＧと、その画像ＩＭＧが撮像されたときの環境条件の情報を受け取る。そして、視認性改善処理部３０は、環境条件に応じて、画像ＩＭＧの視認性を改善するために必要な視認性改善処理を特定する。

【0039】

環境条件が「霧」を含んでいる場合に必要な視認性改善処理は、「霧除去処理（defogging)」である。霧除去処理は、画像ＩＭＧ内の霧によるかすみを除去し、視認性を改善する。この霧除去処理は、例えば、上記の非特許文献３に記載されている技術により実現される。

【0040】

環境条件が「暗闇」あるいは「逆光」を含んでいる場合に必要な視認性改善処理は、「明るさ補正処理」である。明るさ補正処理は、夜間や逆光といったシーンにおいて撮像された画像ＩＭＧを適度な明るさに補正し、視認性を改善する。この明るさ補正処理は、例えば、上記の非特許文献４に記載されている技術により実現される。

【0041】

環境条件が「雨」を含んでいる場合に必要な視認性改善処理は、「雨除去処理（deraining）」である。雨除去処理は、画像ＩＭＧ内の雨によるかすみを除去し、視認性を改善する。この雨除去処理は、例えば、上記の非特許文献５に記載されている技術により実現される。

【0042】

このように、環境条件に関連する視認性改善処理の候補としては、霧除去処理、明るさ補正処理、及び雨除去処理の三種類が挙げられる。これら複数種類の視認性改善処理をどのような順番で行えば視認性改善効果が最も高くなるかについて研究を行った。そして、研究努力の結果、「１．霧除去処理」、「２．明るさ補正処理」、「３．雨除去処理」の順番に行う場合に視認性改善効果が最も高くなることが判明した。本実施の形態では、この順番が採用される。すなわち、霧除去処理が明るさ補正処理よりも先に実行され、明るさ補正処理が雨除去処理よりも先に実行されるように、処理順が予め設定される。

【0043】

視認性改善処理部３０は、環境条件判別部２０によって判別された環境条件に応じて、複数種類の処理候補（霧除去処理、明るさ補正処理、及び雨除去処理）の中から必要な視認性改善処理を特定する。複数の処理候補の処理順は予め決まっている。視認性改善処理部３０は、特定した必要な視認性改善処理を所定の順番で画像ＩＭＧに適用することによって、視認性が改善された改善画像ＩＭＧ＿Ｓを生成する。つまり、視認性改善処理部３０は、必要な視認性改善処理をやみくもに行うのではなく、所定の順番に従って行う。これにより、優れた視認性改善効果が得られ、可能な限りクリアな改善画像ＩＭＧ＿Ｓが得られる。

【0044】

尚、環境条件に関連する複数種類の処理候補は、霧除去処理、明るさ補正処理、及び雨除去処理のうち２つであってもよい。その場合の前後関係も同じである。

【0045】

視認性改善処理部３０は、更に、環境条件とは関係ない視認性改善処理を行ってもよい。例えば、視認性改善処理部３０は、周知のブレ改善やコントラスト調整（平均化）といった画像処理を行ってもよい。

【0046】

以下、視認性改善処理部３０による視認性改善処理の一例を説明する。図３に示されるように、視認性改善処理部３０は、ブレ補正部３１、霧除去処理部３３、明るさ補正処理部３５、雨除去処理部３７、及びコントラスト調整部３９を含んでいる。図６は、視認性改善処理（ステップＳ３０）の一例を示すフローチャートである。

【0047】

ステップＳ３１において、ブレ補正部３１は、画像ＩＭＧに対して周知のブレ補正処理を行う。ブレ補正部３１は、ブレ補正処理後の画像ＩＭＧを霧除去処理部３３に出力する。

【0048】

続くステップＳ３２において、霧除去処理部３３は、環境条件判別部２０によって判別された環境条件が「霧」を含むか否かを判定する。環境条件が「霧」を含む場合（ステップＳ３２；Ｙｅｓ）、霧除去処理部３３は、霧除去処理が必要であると判断し、霧除去処理を行う（ステップＳ３３）。そして、霧除去処理部３３は、霧除去処理後の画像ＩＭＧを明るさ補正処理部３５に出力する。一方、環境条件が「霧」を含まない場合（ステップＳ３２；Ｎｏ）、霧除去処理部３３は、霧除去処理を行うことなく、画像ＩＭＧを明るさ補正処理部３５に出力する。

【0049】

続くステップＳ３４において、明るさ補正処理部３５は、環境条件判別部２０によって判別された環境条件が「暗闇」あるいは「逆光」を含むか否かを判定する。環境条件が「暗闇」あるいは「逆光」を含む場合（ステップＳ３４；Ｙｅｓ）、明るさ補正処理部３５は、明るさ補正処理が必要であると判断し、明るさ補正処理を行う（ステップＳ３５）。そして、明るさ補正処理部３５は、明るさ補正処理後の画像ＩＭＧを雨除去処理部３７に出力する。一方、環境条件が「暗闇」も「逆光」も含まない場合（ステップＳ３４；Ｎｏ）、明るさ補正処理部３５は、明るさ補正処理を行うことなく、画像ＩＭＧを雨除去処理部３７に出力する。

【0050】

続くステップＳ３６において、雨除去処理部３７は、環境条件判別部２０によって判別された環境条件が「雨」を含むか否かを判定する。環境条件が「雨」を含む場合（ステップＳ３６；Ｙｅｓ）、雨除去処理部３７は、雨除去処理が必要であると判断し、雨除去処理を行う（ステップＳ３７）。そして、雨除去処理部３７は、雨除去処理後の画像ＩＭＧをコントラスト調整部３９に出力する。一方、環境条件が「雨」を含まない場合（ステップＳ３６；Ｎｏ）、雨除去処理部３７は、雨除去処理を行うことなく、画像ＩＭＧをコントラスト調整部３９に出力する。

【0051】

続くステップＳ３９において、コントラスト調整部３９は、画像ＩＭＧに対して周知のコントラスト調整処理を行う。

【0052】

このように視認性改善処理を段階的に経た後の画像ＩＭＧが、改善画像ＩＭＧ＿Ｓである。

【0053】

２－２－４．画像出力処理（ステップＳ４０）
画像改善部１０は、このようにして生成された改善画像ＩＭＧ＿Ｓを外部に出力する。改善画像ＩＭＧ＿Ｓは、例えば、遠隔オペレータ端末２００によって遠隔オペレータＯに提示される。

【0054】

２－３．効果
以上に説明されたように、本実施の形態に係る画像改善部１０は、カメラＣによって撮像された画像ＩＭＧに基づいて、その画像ＩＭＧの撮像時の環境条件を判別する。更に、画像改善部１０は、環境条件に応じて必要な視認性改善処理を特定し、必要な視認性改善処理を所定の順番で画像ＩＭＧに適用することによって改善画像ＩＭＧ＿Ｓを生成する。視認性を低下させる要因に応じた適切な視認性改善処理が適切な順番で実行されるため、優れた視認性改善効果が得られる。また、遠隔オペレータＯによる個別判断は不要であるため、遠隔オペレータＯの負荷が軽減される。遠隔オペレータＯは、視認性が改善された改善画像ＩＭＧ＿Ｓを手軽に取得することができる。

【0055】

遠隔オペレータＯは、改善画像ＩＭＧ＿Ｓに基づいて遠隔操作を行うことができる。車両１００の置かれた環境条件によっては画像ＩＭＧの視認性が低下する場合もあるが、その場合であっても、環境条件の影響が軽減されたクリアな改善画像ＩＭＧ＿Ｓを用いることができる。その結果、遠隔オペレータＯによる認識精度が向上し、それにより遠隔操作の精度も向上する。また、環境条件の影響が軽減されるため、運行設計領域（ODD: Operational Design Domain）を拡大することが可能となる。このことは、サービス向上の観点から好ましい。

【0056】

尚、本実施の形態に係る画像改善部１０は、車両１００、遠隔オペレータ端末２００、及び管理装置３００のうちいずれに含まれていてもよい。すなわち、車両１００、遠隔オペレータ端末２００、及び管理装置３００のうち少なくともいずれかが、画像改善部１０の機能を備える。例えば、画像改善部１０は、管理装置３００に組み込まれる。この場合、管理装置３００は、車両１００から受け取る画像ＩＭＧの視認性を改善して改善画像ＩＭＧ＿Ｓを生成し、改善画像ＩＭＧ＿Ｓを遠隔オペレータ端末２００に送信する。他の例として、画像改善部１０は、遠隔オペレータ端末２００に組み込まれてもよい。この場合、遠隔オペレータ端末２００は、管理装置３００を介して車両１００から受け取る画像ＩＭＧの視認性を改善し、改善画像ＩＭＧ＿Ｓを生成する。いずれの場合であっても、遠隔オペレータ端末２００は、視認性が改善された改善画像ＩＭＧ＿Ｓを遠隔オペレータＯに提示することができる。

【0057】

３．アシスト情報通知処理
３－１．概要
上述の視認性改善処理により、遠隔オペレータＯは、視認性が改善された改善画像ＩＭＧ＿Ｓに基づいて遠隔操作を行うことができ、それにより遠隔操作の精度も向上する。但しその場合、視認性は改善されるが、その代わりに他の有用な情報が画像ＩＭＧから失われる可能性がある。

【0058】

例えば、雨天／降雪時、路面摩擦係数（路面μ）が低下し、ブレーキ時の制動距離が長くなるため、遠隔オペレータＯは、早めにブレーキ操作を開始することを考えるかもしれない。しかしながら、視認性改善処理によって画像ＩＭＧの視認性が改善される結果、実際の路面状態が遠隔オペレータＯに正しく伝わらない可能性がある。このことは、遠隔オペレータＯのブレーキ判断等に影響を及ぼすおそれがある。

【0059】

そこで、本実施の形態に係る遠隔オペレータ端末２００は、必要に応じて「アシスト情報ＡＳＴ」を遠隔オペレータＯに通知（提供、伝達）するように構成される。アシスト情報ＡＳＴは、遠隔オペレータＯにとって有用な情報であり、特に、遠隔オペレータＯによる遠隔操作を支援するための情報である。アシスト情報ＡＳＴを遠隔オペレータＯに通知する処理を、以下、「アシスト情報通知処理」と呼ぶ。

【0060】

図７は、アシスト情報通知処理の概要を説明するための概念図である。カメラＣによって画像ＩＭＧが撮影されたときの「環境条件」は、「天候条件」とそれ以外に分類される。天候条件としては、晴れ、曇り、雨、雪、霧、等が挙げられる。天候条件以外の環境条件としては、暗闇、逆光、等が挙げられる。環境条件のうち天候条件に応じた視認性改善処理としては、霧除去処理（図６；ステップＳ３３）、雨除去処理（図６；ステップＳ３７）、等が例示される。

【0061】

環境条件のうち天候条件に応じた視認性改善処理が行われる場合を考える。この場合、遠隔オペレータ端末２００は、視認性が改善された改善画像ＩＭＧ＿Ｓを遠隔オペレータＯに提示する。同時に、遠隔オペレータ端末２００は、車両１００の位置における天候（例：雨、雪、霧）を含むアシスト情報ＡＳＴを遠隔オペレータＯに通知する。つまり、天候条件に応じた視認性改善処理が行われたことをトリガ－として、遠隔オペレータ端末２００は、天候を含むアシスト情報ＡＳＴを遠隔オペレータＯに通知する。更に言い換えれば、天候条件に応じた視認性改善処理と連動して、遠隔オペレータ端末２００は、天候を含むアシスト情報ＡＳＴを遠隔オペレータＯに通知する。これにより、遠隔オペレータＯは、視認性の高い改善画像ＩＭＧ＿Ｓだけでなく、車両１００の周囲の実際の天候も考慮して遠隔操作を適切に行うことが可能となる。例えば、遠隔オペレータＯは、車両１００の周囲の実際の路面状態を正確に把握しながら、遠隔操作を適切に行うことが可能となる。従って、遠隔オペレータＯによる遠隔操作の精度が更に向上する。

【0062】

アシスト情報ＡＳＴは、遠隔オペレータＯが車両１００の遠隔操作を行う上でのアドバイス（例：「ブレーキは早めに！」）を含んでいてもよい。荒天時には、アシスト情報ＡＳＴは、遠隔オペレータＯに対する警告（例：「大雨注意！」、「大雪注意！」）を含んでいてもよい。このようなアシスト情報ＡＳＴも、遠隔オペレータＯにとって有用である。このようなアシスト情報ＡＳＴが遠隔オペレータＯに通知されることにより、遠隔オペレータＯによる遠隔操作の安全性が更に向上する。

【0063】

天候条件に応じた視認性改善処理が行われなかった場合、アシスト情報ＡＳＴを遠隔オペレータＯに通知する必要はない。例えば、天候条件に応じた視認性改善処理が行われず、暗闇・逆光に対する視認性改善処理（明るさ補正処理）だけが行われた場合、改善画像ＩＭＧ＿Ｓは遠隔オペレータＯに提示されるが、アシスト情報ＡＳＴは遠隔オペレータＯに通知されない。他の例として、そもそも視認性改善処理が行われなかった場合、元の画像ＩＭＧが遠隔オペレータＯに提示され、アシスト情報ＡＳＴは遠隔オペレータＯに通知されない。必要以上にアシスト情報ＡＳＴを通知しないため、遠隔オペレータが煩わしさを感じることが防止される。

【0064】

以下、本実施の形態に係るアシスト情報通知処理について更に詳しく説明する。

【0065】

３－２．機能構成例及び処理例
図８は、アシスト情報通知処理に関連する機能構成例を示すブロック図である。遠隔操作システム１は、画像改善部１０、表示部４０、及びアシスト情報通知部５０を含んでいる。

【0066】

画像改善部１０は、車両１００、遠隔オペレータ端末２００、及び管理装置３００のうちいずれかに含まれている。画像改善部１０は、必要に応じて画像ＩＭＧに対して視認性改善処理を行い、改善画像ＩＭＧ＿Ｓを出力する。また、画像改善部１０は、視認性改善処理の内容を示すフラグ情報ＦＬＧを出力する。例えば、フラグ情報ＦＬＧは、霧除去処理（図６；ステップＳ３３）、明るさ補正処理（図６；ステップＳ３５）、及び雨除去処理（図６；ステップＳ３７）のうち実行されたものを示す。

【0067】

表示部４０は、遠隔オペレータ端末２００に含まれている。表示部４０は、元の画像ＩＭＧあるいは改善画像ＩＭＧ＿Ｓを表示装置に表示する。

【0068】

アシスト情報通知部５０は、遠隔オペレータ端末２００に含まれている。アシスト情報通知部５０は、必要に応じて、アシスト情報ＡＳＴを遠隔オペレータＯに通知するアシスト情報通知処理を実行する。アシスト情報通知部５０は、判定部５１、アシスト情報決定部５２、及び通知部５３を含んでいる。

【0069】

図９は、アシスト情報通知処理に関連する処理を示すフローチャートである。以下、図８及び図９を参照して、アシスト情報通知処理に関連する処理を説明する。

【0070】

３－２－１．判定処理（ステップＳ５１）
ステップＳ５１において、判定部５１は、環境条件のうち天候条件に応じた視認性改善処理が行われたか否かを判定する。具体的には、判定部５１は、画像改善部１０から出力されるフラグ情報ＦＬＧを受け取る。フラグ情報ＦＬＧは、画像改善部１０によって行われた視認性改善処理の内容を示す。このフラグ情報ＦＬＧに基づいて、判定部５１は、天候条件に応じた視認性改善処理が行われたか否かを判定することができる。

【0071】

天候条件に応じた視認性改善処理が行われた場合（ステップＳ５１；Ｙｅｓ）、処理は、ステップＳ５２に進む。一方、天候条件に応じた視認性改善処理が行われなかった場合（ステップＳ５１；Ｎｏ）、以降のステップＳ５２，Ｓ５３はスキップされ、今回のサイクルにおける処理は終了する。

【0072】

３－２－２．アシスト情報決定処理（ステップＳ５２）
ステップＳ５２において、アシスト情報決定部５２は、遠隔オペレータＯに通知するアシスト情報ＡＳＴの内容を決定する。

【0073】

アシスト情報ＡＳＴは、少なくとも、車両１００の位置における天候（例：雨、雪、霧）を含む。車両１００の位置は、車両１００から送信される車両情報ＶＣＬに含まれている。例えば、アシスト情報決定部５２は、天候情報ＷＸを配信する気象情報サービスセンターと通信を行い、車両１００の位置における天候情報ＷＸを取得する。

【0074】

アシスト情報ＡＳＴは、遠隔オペレータＯが車両１００の遠隔操作を行う上でのアドバイス（例：「ブレーキは早めに！」）を含んでいてもよい。このようなアシスト情報ＡＳＴが遠隔オペレータＯに通知されることにより、遠隔オペレータＯによる遠隔操作の安全性が更に向上する。

【0075】

アシスト情報決定部５２は、車両１００の位置における天候情報ＷＸに基づいて、車両１００の位置における「荒天度合い」を認識してもよい。そして、アシスト情報決定部５２は、荒天度合いに応じてアシスト情報ＡＳＴの内容を変えてもよい。例えば、荒天度合いが閾値以上である場合、アシスト情報決定部５２は、遠隔オペレータＯに対する警告を含むようにアシスト情報ＡＳＴの内容を決定する。

【0076】

図１０は、天候情報ＷＸとアシスト情報ＡＳＴの対応関係の一例を示している。例えば、１時間当たりの雨量が閾値（５０ｍｍ／ｈ）以上である場合、アシスト情報ＡＳＴは警告（例：「大雨注意！」）を含む。他の例として、１時間当たりの降雪量が閾値（３ｃｍ／ｈ）以上である場合、アシスト情報ＡＳＴは警告（例：「大雪注意！」）を含む。このようなアシスト情報ＡＳＴが遠隔オペレータＯに通知されることにより、遠隔オペレータＯによる遠隔操作の安全性が更に向上する。

【0077】

３－２－３．通知処理（ステップＳ５３）
通知部５３は、ステップＳ５２で決定されたアシスト情報ＡＳＴを遠隔オペレータＯに通知する。通知は、視覚を通して行われてもよいし、聴覚を通して行われてもよい。例えば、通知部５３は、表示装置にアシスト情報ＡＳＴを表示する。他の例として、通知部５３は、スピーカーを通してアシスト情報ＡＳＴを音声で出力する。

【0078】

３－３．効果
以上に説明されたように、本実施の形態によれば、カメラＣによって画像ＩＭＧが撮像されたときの環境条件に応じて視認性改善処理が行われる。環境条件のうち天候条件に応じた視認性改善処理が行われた場合、改善画像ＩＭＧ＿Ｓが遠隔オペレータＯに提示されると共に、車両１００の位置における天候を含むアシスト情報ＡＳＴが遠隔オペレータＯに通知される。これにより、遠隔オペレータＯは、視認性の高い改善画像ＩＭＧ＿Ｓだけでなく、車両１００の周囲の実際の天候も考慮して遠隔操作を適切に行うことが可能となる。例えば、遠隔オペレータＯは、車両１００の周囲の実際の路面状態を正確に把握しながら、遠隔操作を適切に行うことが可能となる。従って、遠隔オペレータＯによる遠隔操作の精度が更に向上する。

【0079】

天候条件に応じた視認性改善処理が行われなかった場合、アシスト情報ＡＳＴは遠隔オペレータＯに通知されない。必要以上にアシスト情報ＡＳＴを通知しないため、遠隔オペレータが煩わしさを感じることが防止される。

【0080】

４．車両の例
４－１．構成例
図１１は、車両１００の構成例を示すブロック図である。車両１００は、通信装置１１０、センサ群１２０、走行装置１３０、及び制御装置１５０を備えている。

【0081】

通信装置１１０は、車両１００の外部と通信を行う。例えば、通信装置１１０は、遠隔オペレータ端末２００や管理装置３００と通信を行う。

【0082】

センサ群１２０は、認識センサ、車両状態センサ、位置センサ、等を含んでいる。認識センサは、車両１００の周辺の状況を認識（検出）する。認識センサとしては、カメラＣ、ＬＩＤＡＲ（Laser Imaging Detection and Ranging）、レーダ、等が例示される。車両状態センサは、車両１００の状態を検出する。車両状態センサは、速度センサ、加速度センサ、ヨーレートセンサ、舵角センサ、等を含んでいる。位置センサは、車両１００の位置及び方位を検出する。例えば、位置センサは、ＧＮＳＳ（Global Navigation Satellite System）を含んでいる。

【0083】

走行装置１３０は、操舵装置、駆動装置、及び制動装置を含んでいる。操舵装置は、車輪を転舵する。例えば、操舵装置は、パワーステアリング（EPS: Electric Power Steering）装置を含んでいる。駆動装置は、駆動力を発生させる動力源である。駆動装置としては、エンジン、電動機、インホイールモータ、等が例示される。制動装置は、制動力を発生させる。

【0084】

制御装置１５０は、車両１００を制御するコンピュータである。制御装置１５０は、１又は複数のプロセッサ１６０（以下、単にプロセッサ１６０と呼ぶ）と１又は複数の記憶装置１７０（以下、単に記憶装置１７０と呼ぶ）を含んでいる。プロセッサ１６０は、各種処理を実行する。例えば、プロセッサ１６０は、ＣＰＵ（Central Processing Unit）を含んでいる。記憶装置１７０は、プロセッサ１６０による処理に必要な各種情報を格納する。記憶装置１７０としては、揮発性メモリ、不揮発性メモリ、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、等が例示される。制御装置１５０は、１又は複数のＥＣＵ（Electronic Control Unit）を含んでいてもよい。

【0085】

車両制御プログラムＰＲＯＧ１は、プロセッサ１６０によって実行されるコンピュータプログラムである。プロセッサ１６０が車両制御プログラムＰＲＯＧ１を実行することにより、制御装置１５０の機能が実現される。車両制御プログラムＰＲＯＧ１は、記憶装置１７０に格納される。あるいは、車両制御プログラムＰＲＯＧ１は、コンピュータ読み取り可能な記録媒体に記録されてもよい。

【0086】

４－２．運転環境情報
制御装置１５０は、センサ群１２０を用いて、車両１００の運転環境を示す運転環境情報ＥＮＶを取得する。運転環境情報ＥＮＶは、記憶装置１７０に格納される。

【0087】

運転環境情報ＥＮＶは、認識センサによる認識結果を示す周辺状況情報を含む。例えば、周辺状況情報は、カメラＣによって撮像される画像ＩＭＧを含む。周辺状況情報は、車両１００の周辺の物体に関する物体情報を含んでいてもよい。車両１００の周辺の物体としては、歩行者、他車両（先行車両、駐車車両、等）、白線、信号、標識、路側構造物、等が例示される。物体情報は、車両１００に対する物体の相対位置及び相対速度を示す。

【0088】

また、運転環境情報ＥＮＶは、車両状態センサによって検出される車両状態を示す車両状態情報を含む。

【0089】

更に、運転環境情報ＥＮＶは、車両１００の位置及び方位を示す車両位置情報を含む。車両位置情報は、位置センサにより得られる。地図情報と周辺状況情報（物体情報）を用いた自己位置推定処理（Localization）により、高精度な車両位置情報が取得されてもよい。

【0090】

４－３．車両走行制御
制御装置１５０は、車両１００の走行を制御する車両走行制御を実行する。車両走行制御は、操舵制御、駆動制御、及び制動制御を含む。制御装置１５０は、走行装置１３０（操舵装置、駆動装置、及び制動装置）を制御することによって車両走行制御を実行する。

【0091】

制御装置１５０は、運転環境情報ＥＮＶに基づいて自動運転制御を行ってもよい。より詳細には、制御装置１５０は、運転環境情報ＥＮＶに基づいて、車両１００の走行プランを生成する。更に、制御装置１５０は、運転環境情報ＥＮＶに基づいて、車両１００が走行プランに従って走行するために必要な目標トラジェクトリを生成する。目標トラジェクトリは、目標位置及び目標速度を含んでいる。そして、制御装置１５０は、車両１００が目標トラジェクトリに追従するように車両走行制御を行う。

【0092】

４－４．遠隔操作に関連する処理
以下、車両１００の遠隔操作が行われる場合について説明する。制御装置１５０は、通信装置１１０を介して、遠隔オペレータ端末２００と通信を行う。

【0093】

制御装置１５０は、車両情報ＶＣＬを遠隔オペレータ端末２００に送信する。車両情報ＶＣＬは、遠隔オペレータＯによる遠隔操作に必要な情報であり、上述の運転環境情報ＥＮＶの少なくとも一部を含んでいる。例えば、車両情報ＶＣＬは、周辺状況情報（特に画像ＩＭＧ）を含んでいる。車両情報ＶＣＬは、更に、車両状態情報や車両位置情報を含んでいてもよい。

【0094】

また、制御装置１５０は、遠隔操作情報ＯＰＥを遠隔オペレータ端末２００から受信する。遠隔操作情報ＯＰＥは、遠隔オペレータＯによる遠隔操作に関する情報である。例えば、遠隔操作情報ＯＰＥは、遠隔オペレータＯによる操作量を含む。制御装置１５０は、受信した遠隔操作情報ＯＰＥに従って車両走行制御を行う。

【0095】

更に、制御装置１５０は、上述の画像改善部１０の機能を備えていてもよい。画像改善部１０は、必要に応じて画像ＩＭＧに対して視認性改善処理を行い、改善画像ＩＭＧ＿Ｓを出力する。また、画像改善部１０は、視認性改善処理の内容を示すフラグ情報ＦＬＧを出力する。改善画像ＩＭＧ＿Ｓ及びフラグ情報ＦＬＧは、車両情報ＶＣＬの一部として管理装置３００及び遠隔オペレータ端末２００に送信される。

【0096】

５．遠隔オペレータ端末の例
図１２は、遠隔オペレータ端末２００の構成例を示すブロック図である。遠隔オペレータ端末２００は、通信装置２１０、出力装置２２０、入力装置２３０、及び制御装置２５０を含んでいる。

【0097】

通信装置２１０は、車両１００及び管理装置３００と通信を行う。

【0098】

出力装置２２０は、各種情報を出力する。例えば、出力装置２２０は、表示装置を含んでいる。表示装置は、各種情報を表示することにより、各種情報を遠隔オペレータＯに提示する。他の例として、出力装置２２０は、スピーカを含んでいてもよい。

【0099】

入力装置２３０は、遠隔オペレータＯからの入力を受け付ける。例えば、入力装置２３０は、遠隔オペレータＯが車両１００を遠隔操作する際に操作する遠隔操作部材を含む。遠隔操作部材は、ハンドル、アクセルペダル、ブレーキペダル、方向指示器、等を含んでいる。

【0100】

制御装置２５０は、遠隔オペレータ端末２００を制御する。制御装置２５０は、１又は複数のプロセッサ２６０（以下、単にプロセッサ２６０と呼ぶ）と１又は複数の記憶装置２７０（以下、単に記憶装置２７０と呼ぶ）を含んでいる。プロセッサ２６０は、各種処理を実行する。例えば、プロセッサ２６０は、ＣＰＵを含んでいる。記憶装置２７０は、プロセッサ２６０による処理に必要な各種情報を格納する。記憶装置２７０としては、揮発性メモリ、不揮発性メモリ、ＨＤＤ、ＳＳＤ、等が例示される。

【0101】

遠隔操作プログラムＰＲＯＧ２は、プロセッサ２６０によって実行されるコンピュータプログラムである。プロセッサ２６０が遠隔操作プログラムＰＲＯＧ２を実行することにより、制御装置２５０の機能が実現される。遠隔操作プログラムＰＲＯＧ２は、記憶装置２７０に格納される。あるいは、遠隔操作プログラムＰＲＯＧ２は、コンピュータ読み取り可能な記録媒体に記録されてもよい。遠隔操作プログラムＰＲＯＧ２は、ネットワーク経由で提供されてもよい。

【0102】

制御装置２５０は、通信装置２１０を介して、車両１００と通信を行う。制御装置２５０は、車両１００から送信される車両情報ＶＣＬを受信する。制御装置２５０は、画像情報を含む車両情報ＶＣＬを表示装置に表示することによって、車両情報ＶＣＬを遠隔オペレータＯに提示する。遠隔オペレータＯは、表示装置に表示される車両情報ＶＣＬに基づいて、車両１００の状態や周囲の状況を認識することができる。

【0103】

遠隔オペレータＯは、入力装置２３０の遠隔操作部材を操作する。遠隔操作部材の操作量は、遠隔操作部材に設置されたセンサにより検出される。制御装置２５０は、遠隔オペレータＯによる遠隔操作部材の操作量を反映した遠隔操作情報ＯＰＥを生成する。そして、制御装置２５０は、その遠隔操作情報ＯＰＥを通信装置２１０を介して車両１００に送信する。

【0104】

更に、制御装置２５０は、上述の画像改善部１０の機能を備えていてもよい。画像改善部１０は、必要に応じて画像ＩＭＧに対して視認性改善処理を行い、改善画像ＩＭＧ＿Ｓを出力する。また、画像改善部１０は、視認性改善処理の内容を示すフラグ情報ＦＬＧを出力する。

【0105】

制御装置２５０は、上述のアシスト情報通知部５０の機能を備えている。アシスト情報通知部５０は、出力装置２２０を通して、アシスト情報ＡＳＴを遠隔オペレータＯに通知する。

【0106】

６．管理装置の例
図１３は、管理装置３００の構成例を示すブロック図である。管理装置３００は、通信装置３１０及び制御装置３５０を含んでいる。

【0107】

通信装置３１０は、車両１００及び遠隔オペレータ端末２００と通信を行う。

【0108】

制御装置３５０は、管理装置３００を制御する。制御装置３５０は、１又は複数のプロセッサ３６０（以下、単にプロセッサ３６０と呼ぶ）と１又は複数の記憶装置３７０（以下、単に記憶装置３７０と呼ぶ）を含んでいる。プロセッサ３６０は、各種処理を実行する。例えば、プロセッサ３６０は、ＣＰＵを含んでいる。記憶装置３７０は、プロセッサ３６０による処理に必要な各種情報を格納する。記憶装置３７０としては、揮発性メモリ、不揮発性メモリ、ＨＤＤ、ＳＳＤ、等が例示される。

【0109】

管理プログラムＰＲＯＧ３は、プロセッサ３６０によって実行されるコンピュータプログラムである。プロセッサ３６０が管理プログラムＰＲＯＧ３を実行することにより、制御装置３５０の機能が実現される。管理プログラムＰＲＯＧ３は、記憶装置３７０に格納される。あるいは、管理プログラムＰＲＯＧ３は、コンピュータ読み取り可能な記録媒体に記録されてもよい。管理プログラムＰＲＯＧ３は、ネットワーク経由で提供されてもよい。

【0110】

制御装置３５０は、通信装置３１０を介して、車両１００及び遠隔オペレータ端末２００と通信を行う。制御装置３５０は、車両１００から送信される車両情報ＶＣＬを受信する。そして、制御装置３５０は、受信した車両情報ＶＣＬを遠隔オペレータ端末２００に送信する。また、制御装置３５０は、遠隔オペレータ端末２００から送信される遠隔操作情報ＯＰＥを受信する。そして、制御装置３５０は、受信した遠隔操作情報ＯＰＥを車両１００に送信する。

【0111】

更に、制御装置３５０は、上述の画像改善部１０の機能を備えていてもよい。車両１００から受信する車両情報ＶＣＬに画像ＩＭＧが含まれる場合、画像改善部１０は、必要に応じて画像ＩＭＧに対して視認性改善処理を行い、改善画像ＩＭＧ＿Ｓを出力する。また、画像改善部１０は、視認性改善処理の内容を示すフラグ情報ＦＬＧを出力する。改善画像ＩＭＧ＿Ｓ及びフラグ情報ＦＬＧは、車両情報ＶＣＬの一部として遠隔オペレータ端末２００に送信される。

【符号の説明】

【0112】

１ 遠隔操作システム
１０ 画像改善部
２０ 環境条件判別部
２１ 天気判別部
２２ 時間帯判別部
２３ グレア判別部
２４ 霧判別部
３０ 視認性改善処理部
３１ ブレ補正部
３３ 霧除去処理部
３５ 明るさ補正処理部
３７ 雨除去処理部
３９ コントラスト調整部
４０ 表示部
５０ アシスト情報通知部
５１ 判定部
５２ アシスト情報決定部
５３ 通知部
１００ 車両
２００ 遠隔オペレータ端末
３００ 管理装置
Ｃ カメラ
ＡＳＴ アシスト情報
ＩＭＧ 画像
ＩＭＧ＿Ｓ 改善画像
ＯＰＥ 遠隔操作情報
ＶＣＬ 車両情報
ＷＸ 天候情報

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】