特許 7609101 制御装置、制御方法、及び制御プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-12-23

(45)【発行日】2025-01-07

(54)【発明の名称】制御装置、制御方法、及び制御プログラム

(51)【国際特許分類】

   H04N 7/18 20060101AFI20241224BHJP

   G08G 1/09 20060101ALI20241224BHJP

   H04W 28/06 20090101ALI20241224BHJP

【ＦＩ】

H04N7/18 J

G08G1/09 V

H04W28/06

【請求項の数】 8

(21)【出願番号】P 2022039383

(22)【出願日】2022-03-14

(65)【公開番号】P2023134050

(43)【公開日】2023-09-27

【審査請求日】2023-08-03

(73)【特許権者】

【識別番号】000003207

【氏名又は名称】トヨタ自動車株式会社

(74)【代理人】

【識別番号】110003199

【氏名又は名称】弁理士法人高田・高橋国際特許事務所

(72)【発明者】

【氏名】末廣 優樹

(72)【発明者】

【氏名】伊東 孝紘

(72)【発明者】

【氏名】金子 直矢

【審査官】西島 篤宏

(56)【参考文献】

【文献】国際公開第２０２０／０９０２８５（ＷＯ，Ａ１）

【文献】特開２０２１－０５６７８３（ＪＰ，Ａ）

【文献】特開２０２０－０４３５５７（ＪＰ，Ａ）

【文献】国際公開第２０１４／０６１１８１（ＷＯ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ７／１８

Ｇ０８Ｇ １／０９

Ｈ０４Ｗ ２８／０６

(57)【特許請求の範囲】

【請求項1】

遠隔オペレータによる遠隔操作の対象であり、且つ、複数のカメラを備える移動体を制御する制御装置であって、
１又は複数のプロセッサを備え、
前記１又は複数のプロセッサは、
前記複数のカメラのそれぞれにより得られる複数の映像データを、前記遠隔オペレータ側の遠隔オペレータ端末に送信される送信対象データとして取得する処理と、
前記移動体から前記遠隔オペレータ端末への通信の通信速度の情報を取得する処理と、
前記複数の映像データの１秒当たりの総データ量のデフォルト値の前記通信速度からのデータ超過量を算出する処理と、
前記データ超過量が正値である場合、前記複数の映像データの１秒当たりの前記総データ量が前記通信速度以下に抑えられるように前記複数の映像データのうち少なくとも一つの送信データ量を低減するデータ量調整処理と
を実行するように構成され、
前記データ超過量に関する複数のレベルは、
前記データ超過量が負の所定範囲内にあることを表すデフォルトレベルと、
前記データ超過量が正の第１範囲内にあることを表す第１レベルと、
前記データ超過量が前記第１範囲よりも大きい正の第２範囲内にあることを表す第２レベルと
を含み、
前記１又は複数のプロセッサは、更に、
前記データ超過量が前記複数のレベルのうちいずれに属するかを判定し、
前記データ超過量が前記デフォルトレベルから前記第２レベルに遷移した場合、第２期間内に前記総データ量が前記通信速度以下に抑えられるように前記データ量調整処理を実行し、
前記データ超過量が前記デフォルトレベルから前記第１レベルに遷移した場合、前記第２期間よりも長い第１期間内に前記総データ量が前記通信速度以下に抑えられるように前記データ量調整処理を実行する
ように構成された
制御装置。

【請求項2】

請求項１に記載の制御装置であって、
前記複数のカメラの優先度の設定ポリシーを示す優先度ポリシー情報を格納する１又は複数の記憶装置を更に備え、
前記１又は複数のプロセッサは、前記優先度ポリシー情報に基づいて、前記優先度のより高いカメラによって得られる映像データの前記送信データ量がより多くなるように前記データ量調整処理を実行する
制御装置。

【請求項3】

請求項２に記載の制御装置であって、
前記複数のカメラは、第１カメラと、前記第１カメラよりも優先度の低い第２カメラとを含み、
前記複数の映像データは、前記第１カメラにより得られる第１映像データと、前記第２カメラにより得られる第２映像データとを含み、
前記データ量調整処理において、前記１又は複数のプロセッサは、前記第１映像データの前記送信データ量を低減することなく、前記第２映像データの解像度をデフォルト値よりも低下させる
制御装置。

【請求項4】

請求項２に記載の制御装置であって、
前記複数のカメラは、第１カメラと、前記第１カメラよりも優先度の低い第２カメラとを含み、
前記複数の映像データは、前記第１カメラにより得られる第１映像データと、前記第２カメラにより得られる第２映像データとを含み、
前記データ量調整処理において、前記１又は複数のプロセッサは、前記第１映像データを送信し、前記第２映像データの送信を停止する
制御装置。

【請求項5】

請求項２乃至４のいずれか一項に記載の制御装置であって、
前記複数のカメラの前記優先度は、前記移動体の進行方向に依存し、
前記進行方向により近い視野方向を有するカメラの前記優先度は、前記進行方向からより遠い視野方向を有するカメラの前記優先度よりも高く、
前記データ量調整処理において、前記１又は複数のプロセッサは、前記移動体の前記進行方向を含む情報を取得し、前記進行方向と前記優先度ポリシー情報に基づいて前記複数のカメラの前記優先度を設定する
制御装置。

【請求項6】

請求項１に記載の制御装置であって、
前記１又は複数のプロセッサは、更に、
前記データ超過量が前記第２レベルから前記第１レベルに遷移した場合、第３期間内に前記総データ量を増加させ、
前記データ超過量が前記第１レベルから前記デフォルトレベルに遷移した場合、前記第３期間よりも長い第４期間内に前記総データ量を増加させる
ように構成された
制御装置。

【請求項7】

遠隔オペレータによる遠隔操作の対象であり、且つ、複数のカメラを備える移動体を制御する制御方法であって、
前記複数のカメラのそれぞれにより得られる複数の映像データを、前記遠隔オペレータ側の遠隔オペレータ端末に送信される送信対象データとして取得する処理と、
前記移動体から前記遠隔オペレータ端末への通信の通信速度の情報を取得する処理と、
前記複数の映像データの１秒当たりの総データ量のデフォルト値の前記通信速度からのデータ超過量を算出する処理と、
前記データ超過量が正値である場合、前記複数の映像データの１秒当たりの前記総データ量が前記通信速度以下に抑えられるように前記複数の映像データのうち少なくとも一つの送信データ量を低減するデータ量調整処理と
を含み、
前記データ超過量に関する複数のレベルは、
前記データ超過量が負の所定範囲内にあることを表すデフォルトレベルと、
前記データ超過量が正の第１範囲内にあることを表す第１レベルと、
前記データ超過量が前記第１範囲よりも大きい正の第２範囲内にあることを表す第２レベルと
を含み、
前記制御方法は、更に、
前記データ超過量が前記複数のレベルのうちいずれに属するかを判定することと、
前記データ超過量が前記デフォルトレベルから前記第２レベルに遷移した場合、第２期間内に前記総データ量が前記通信速度以下に抑えられるように前記データ量調整処理を実行することと、
前記データ超過量が前記デフォルトレベルから前記第１レベルに遷移した場合、前記第２期間よりも長い第１期間内に前記総データ量が前記通信速度以下に抑えられるように前記データ量調整処理を実行することと
を含む
制御方法。

【請求項8】

遠隔オペレータによる遠隔操作の対象であり、且つ、複数のカメラを備える移動体を制御する制御プログラムであって、
前記制御プログラムは、コンピュータによって実行され、
前記複数のカメラのそれぞれにより得られる複数の映像データを、前記遠隔オペレータ側の遠隔オペレータ端末に送信される送信対象データとして取得する処理と、
前記移動体から前記遠隔オペレータ端末への通信の通信速度の情報を取得する処理と、
前記複数の映像データの１秒当たりの総データ量のデフォルト値の前記通信速度からのデータ超過量を算出する処理と、
前記データ超過量が正値である場合、前記複数の映像データの１秒当たりの前記総データ量が前記通信速度以下に抑えられるように前記複数の映像データのうち少なくとも一つの送信データ量を低減するデータ量調整処理と
を前記コンピュータに実行させ、
前記データ超過量に関する複数のレベルは、
前記データ超過量が負の所定範囲内にあることを表すデフォルトレベルと、
前記データ超過量が正の第１範囲内にあることを表す第１レベルと、
前記データ超過量が前記第１範囲よりも大きい正の第２範囲内にあることを表す第２レベルと
を含み、
前記制御プログラムは、更に、
前記データ超過量が前記複数のレベルのうちいずれに属するかを判定することと、
前記データ超過量が前記デフォルトレベルから前記第２レベルに遷移した場合、第２期間内に前記総データ量が前記通信速度以下に抑えられるように前記データ量調整処理を実行することと、
前記データ超過量が前記デフォルトレベルから前記第１レベルに遷移した場合、前記第２期間よりも長い第１期間内に前記総データ量が前記通信速度以下に抑えられるように前記データ量調整処理を実行することと
を前記コンピュータに実行させる
制御プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、遠隔オペレータによる移動体の遠隔操作に関する。特に、本開示は、遠隔操作の対象である移動体からの映像データの送信を制御する技術に関する。

【背景技術】

【0002】

特許文献１は、車載通信装置を開示している。車載通信装置は、移動通信方式及びＷｉＦｉ通信方式の両方に対応している。車両の異常を検知した場合、車載通信装置は、車両走行状況を示す数値データ及び画像データを指定サーバに送信する。このとき、車載通信装置は、数値データを移動通信方式で送信し、画像データをＷｉＦｉ通信方式で送信する。

【0003】

その他、カメラにより撮像された画像の通信に関連する技術として、特許文献２及び特許文献３が知られている。

【先行技術文献】

【特許文献】

【0004】

【文献】特開２０１８－１２０４４３号公報

【文献】特開２００５－２２２３０７号公報

【文献】特開平１０－１１２８６１号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

遠隔オペレータによる移動体（例：車両、ロボット）の遠隔操作について考える。移動体の遠隔操作では、移動体に搭載されたカメラによって得られる映像データが、遠隔オペレータ側の遠隔オペレータ端末に送信される。このとき、通信速度が低下すると、映像データの伝送遅延が増大するおそれがある。映像データの伝送遅延の増大は、遠隔オペレータによる判断や操作の遅れを招き、遠隔操作の精度低下の原因となり得る。

【0006】

本開示の１つの目的は、遠隔オペレータによる移動体の遠隔操作において、移動体から送信される映像データの伝送遅延を抑制することができる技術を提供することにある。

【課題を解決するための手段】

【0007】

第１の観点は、移動体を制御する制御装置に関連する。
移動体は、遠隔オペレータによる遠隔操作の対象であり、且つ、複数のカメラを備える。
制御装置は、１又は複数のプロセッサを備える。
１又は複数のプロセッサは、複数のカメラのそれぞれにより得られる複数の映像データを、遠隔オペレータ側の遠隔オペレータ端末に送信される送信対象データとして取得する。
１又は複数のプロセッサは、移動体から遠隔オペレータ端末への通信の通信速度の情報を取得する。
１又は複数のプロセッサは、複数の映像データの１秒当たりの総データ量を通信速度以下に抑えるためにデータ削減が必要か否かを判定する。
データ削減が必要であると判定した場合、１又は複数のプロセッサは、総データ量が通信速度以下に抑えられるように複数の映像データのうち少なくとも一つの送信データ量を低減するデータ量調整処理を実行する。

【0008】

第２の観点は、移動体を制御する制御方法に関連する。
移動体は、遠隔オペレータによる遠隔操作の対象であり、且つ、複数のカメラを備える。
制御方法は、
複数のカメラのそれぞれにより得られる複数の映像データを、遠隔オペレータ側の遠隔オペレータ端末に送信される送信対象データとして取得する処理と、
移動体から遠隔オペレータ端末への通信の通信速度の情報を取得する処理と、
複数の映像データの１秒当たりの総データ量を通信速度以下に抑えるためにデータ削減が必要か否かを判定する処理と、
データ削減が必要であると判定した場合、総データ量が通信速度以下に抑えられるように複数の映像データのうち少なくとも一つの送信データ量を低減するデータ量調整処理と
を含む。

【0009】

第３の観点は、コンピュータにより実行され、移動体を制御する制御プログラムに関連する。
移動体は、遠隔オペレータによる遠隔操作の対象であり、且つ、複数のカメラを備える。
制御プログラムは、
複数のカメラのそれぞれにより得られる複数の映像データを、遠隔オペレータ側の遠隔オペレータ端末に送信される送信対象データとして取得する処理と、
移動体から遠隔オペレータ端末への通信の通信速度の情報を取得する処理と、
複数の映像データの１秒当たりの総データ量を通信速度以下に抑えるためにデータ削減が必要か否かを判定する処理と、
データ削減が必要であると判定した場合、総データ量が通信速度以下に抑えられるように複数の映像データのうち少なくとも一つの送信データ量を低減するデータ量調整処理と
をコンピュータに実行させる。

【発明の効果】

【0010】

本開示によれば、移動体から遠隔オペレータ端末への通信の通信速度が考慮される。そして、複数の映像データの１秒当たりの総データ量が通信速度以下に抑えられるようにデータ量調整処理が行われる。このデータ量調整処理により、移動体から送信される映像データの伝送遅延を抑制することが可能となる。映像データの伝送遅延が抑制されるため、遠隔オペレータによる判断や操作の遅れも抑制される。すなわち、伝送遅延に起因する遠隔操作の精度低下を抑制することが可能となる。このことは、移動体の遠隔操作の安全性向上の観点から好ましい。

【図面の簡単な説明】

【0011】

【図1】本開示の実施の形態に係る遠隔操作システムの構成例を示す概略図である。

【図2】本開示の実施の形態に係るデータ量調整処理に関連する機能構成例を示すブロック図である。

【図3】本開示の実施の形態に係るデータ量調整処理に関連する処理を示すフローチャートである。

【図4】本開示の実施の形態に係るカメラ優先度を考慮したデータ量調整処理を説明するためのブロック図である。

【図5】本開示の実施の形態に係るカメラ優先度の動的設定例を説明するための概念図である。

【図6】本開示の実施の形態に係るカメラ優先度を考慮したデータ量調整処理の例を説明するための概念図である。

【図7】本開示の実施の形態に係るカメラ優先度を考慮したデータ量調整処理の他の例を説明するための概念図である。

【図8】本開示の実施の形態に係るＦｉｘレベルの設定例を説明するための概念図である。

【図9】本開示の実施の形態に係るＦｉｘレベルに関連する機能構成例を示すブロック図である。

【図10】本開示の実施の形態に係るＦｉｘレベルの遷移例を説明するための概念図である。

【図11】本開示の実施の形態に係る車両の構成例を示すブロック図である。

【発明を実施するための形態】

【0012】

添付図面を参照して、本開示の実施の形態を説明する。

【0013】

１．遠隔操作システムの概要
移動体の遠隔操作（遠隔運転）について考える。遠隔操作の対象である移動体としては、車両、ロボット、飛翔体、等が例示される。車両は、自動運転車両であってもよいし、ドライバが運転する車両であってもよい。ロボットとしては、物流ロボット、作業ロボット、等が例示される。飛翔体としては、飛行機、ドローン、等が例示される。

【0014】

一例として、以下の説明においては、遠隔操作の対象である移動体が車両である場合について考える。一般化する場合には、以下の説明における「車両」を「移動体」で読み替えるものとする。

【0015】

図１は、本実施の形態に係る遠隔操作システム１の構成例を示す概略図である。遠隔操作システム１は、車両１００、遠隔オペレータ端末２００、及び管理装置３００を含んでいる。車両１００は、遠隔操作の対象である。遠隔オペレータ端末２００は、遠隔オペレータＯが車両１００を遠隔操作する際に使用する端末装置である。遠隔オペレータ端末２００を遠隔操作ＨＭＩ（Human Machine Interface）と言うこともできる。管理装置３００は、遠隔操作システム１の管理を行う。遠隔操作システム１の管理は、例えば、遠隔操作が必要な車両１００に対して遠隔オペレータＯを割り当てることを含む。管理装置３００は、通信ネットワークを介して車両１００及び遠隔オペレータ端末２００と通信可能である。典型的には、管理装置３００は、クラウド上の管理サーバである。管理サーバは、分散処理を行う複数のサーバにより構成されていてもよい。

【0016】

車両１００には、カメラＣを含む各種センサが搭載されている。カメラＣは、車両１００の周囲の状況を撮像し、車両１００の周囲の状況を示す画像ＩＭＧを取得する。車両情報ＶＣＬは、各種センサにより得られる情報であり、カメラＣにより得られる画像ＩＭＧを含む。車両１００は、管理装置３００を介して、車両情報ＶＣＬを遠隔オペレータ端末２００に送信する。つまり、車両１００は、車両情報ＶＣＬを管理装置３００に送信し、管理装置３００は、受け取った車両情報ＶＣＬを遠隔オペレータ端末２００に転送する。

【0017】

遠隔オペレータ端末２００は、車両１００から送信された車両情報ＶＣＬを受け取る。遠隔オペレータ端末２００は、車両情報ＶＣＬを遠隔オペレータＯに提示する。具体的には、遠隔オペレータ端末２００は、表示装置を備えており、画像ＩＭＧ等を表示装置に表示する。遠隔オペレータＯは、表示された情報をみて、車両１００の周囲の状況を認識し、車両１００の遠隔操作を行う。遠隔操作情報ＯＰＥは、遠隔オペレータＯによる遠隔操作に関する情報である。例えば、遠隔操作情報ＯＰＥは、遠隔オペレータＯによる操作量を含む。遠隔オペレータ端末２００は、管理装置３００を介して、遠隔操作情報ＯＰＥを車両１００に送信する。つまり、遠隔オペレータ端末２００は、遠隔操作情報ＯＰＥを管理装置３００に送信し、管理装置３００は、受け取った遠隔操作情報ＯＰＥを車両１００に転送する。

【0018】

車両１００は、遠隔オペレータ端末２００から送信された遠隔操作情報ＯＰＥを受け取る。車両１００は、受け取った遠隔操作情報ＯＰＥに従って車両走行制御を行う。このようにして、車両１００の遠隔操作が実現される。

【0019】

２．データ量調整処理の概要
以下、車両１００に搭載されたカメラＣにより撮像される画像ＩＭＧとして、映像データ（映像ストリームデータ）Ｓを考える。車両１００が複数のカメラＣ１～Ｃｎ（ｎは２以上の整数）を備える場合、それら複数のカメラＣ１～Ｃｎのそれぞれにより複数の映像データＳ１～Ｓｎが得られる。車両１００は、複数の映像データＳ１～Ｓｎを並列的に遠隔オペレータ端末２００に送信する。遠隔オペレータ端末２００は、複数の映像データＳ１～Ｓｎを並列的に受信し、それら複数の映像データＳ１～Ｓｎを表示装置に表示する。遠隔オペレータＯは、表示された映像データＳをみて、車両１００の周囲の状況を認識し、車両１００の遠隔操作を行う。

【0020】

車両１００から遠隔オペレータ端末２００への通信の通信速度（通信帯域）が低下すると、映像データＳ１～Ｓｎの伝送遅延が増大するおそれがある。映像データＳ１～Ｓｎの伝送遅延の増大は、遠隔オペレータＯによる判断や操作の遅れを招き、遠隔操作の精度低下の原因となり得る。従って、車両１００から送信される映像データＳ１～Ｓｎの伝送遅延を抑制することができる技術が望まれる。本実施の形態によれば、車両１００から送信される映像データＳ１～Ｓｎの伝送遅延を抑制するために、以下に説明される「データ量調整処理」が必要に応じて行われる。

【0021】

図２は、本実施の形態に係るデータ量調整処理に関連する機能構成例を示すブロック図である。車両１００は、機能ブロックとして、通信部１０１、映像データ取得部１０２、通信状態取得部１０３、判定部１０４、及びデータ量調整部１０５を含んでいる。

【0022】

通信部１０１は、管理装置３００を介して遠隔オペレータ端末２００と通信を行う。

【0023】

映像データ取得部１０２は、車両１００に搭載された複数のカメラＣ１～Ｃｎのそれぞれにより得られる複数の映像データ（映像ストリームデータ）Ｓ１～Ｓｎを取得する。複数の映像データＳ１～Ｓｎは、車両１００から遠隔オペレータ端末２００に並列的に送信される送信対象データである。

【0024】

通信状態取得部１０３は、通信部１０１による遠隔オペレータ端末２００との通信を監視する。そして、通信状態取得部１０３は、通信部１０１による遠隔オペレータ端末２００との通信結果に基づいて、遠隔オペレータ端末２００との通信の通信速度（通信帯域）の情報を取得する。特に、通信状態取得部１０３は、車両１００から遠隔オペレータ端末２００への通信の通信速度Ｚの情報を取得する。ここでの通信速度Ｚは、例えばスループットである。例えば、通信状態取得部１０３は、遠隔オペレータ端末２００へ送信された送信データ量と遠隔オペレータ端末２００からのフィードバックに基づいて、通信速度Ｚ（スループット）を測定することができる。尚、通信速度やスループットの測定方法としては様々なものが提案されており、本実施の形態ではその推定方法は特に限定されない。

【0025】

通信速度Ｚは、時間的に変動する。通信速度Ｚが低下した状況では、映像データＳ１～Ｓｎの伝送遅延が増大するおそれがある。特に、通信速度Ｚが複数の映像データＳ１～Ｓｎの１秒当たりの総データ量Ｙｔを下回ると、伝送遅延が増大する。

【0026】

判定部１０４は、複数の映像データＳ１～Ｓｎの１秒当たりの総データ量Ｙが通信速度Ｚを超過しているか否かを判定する。言い換えれば、判定部１０４は、複数の映像データＳ１～Ｓｎの１秒当たりの総データ量Ｙを通信速度Ｚ以下に抑えるためにデータ削減が必要か否かを判定する。

【0027】

例えば、複数の映像データＳ１～Ｓｎの１秒当たりの総データ量Ｙのデフォルト値Ｙ０が、既知情報として与えられる。各映像データＳｉ（ｉ＝１～ｎ）の１秒当たりのデータ量のデフォルト値Ｙ０＿ｉは、「１フレーム当たりのデータ量のデフォルト値Ｆ０＿ｉ」×「フレームレートのデフォルト値Ｒ０＿ｉ」で与えられる。複数の映像データＳ１～Ｓｎに関するデフォルト値Ｙ０＿１～Ｙ０＿ｎの総和が、複数の映像データＳ１～Ｓｎの１秒当たりの総データ量Ｙのデフォルト値Ｙ０である。その総データ量Ｙのデフォルト値Ｙ０の通信速度Ｚからのデータ超過量Ｘは、次の式（１）で表される。

【0028】

式（１）：Ｘ［ｂｐｓ］＝Ｙ０［ｂｐｓ］－Ｚ［ｂｐｓ］

【0029】

判定部１０４は、総データ量Ｙのデフォルト値Ｙ０を変動する通信速度Ｚと対比する。そして、総データ量Ｙのデフォルト値Ｙ０が通信速度Ｚを超過している場合、判定部１０４は、データ削減が必要であると判定する。言い換えれば、変動する通信速度Ｚが総データ量Ｙのデフォルト値Ｙ０を下回った場合、判定部１０４は、データ削減が必要であると判定する。更に言い換えれば、上記式（１）で表されるデータ超過量Ｘが正値である場合、判定部１０４は、データ削減が必要であると判定する。

【0030】

判定部１０４は、判定結果を示す判定結果情報ＲＥＳを出力する。判定結果情報ＲＥＳは、上記式（１）で表されるデータ超過量Ｘを含んでいてもよい。

【0031】

データ量調整部１０５は、複数の映像データＳ１～Ｓｎと判定結果情報ＲＥＳを受け取る。判定結果情報ＲＥＳがデータ削減が必要であることを示している場合、データ量調整部１０５は、データ量調整処理を行う。具体的には、データ量調整部１０５は、複数の映像データＳ１～Ｓｎの１秒当たりの総データ量Ｙが通信速度Ｚ以下に抑えられるように、複数の映像データＳ１～Ｓｎのうち少なくとも一つの送信データ量を低減する。このときの送信データ量の総低減量は、上記式（１）で表されるデータ超過量Ｘ以上である。

【0032】

ある映像データＳｊ（ｊ＝１～ｎのいずれか）の送信データ量を低減する手法としては、様々なものが考えられる。例えば、映像データＳｊの１フレーム当たりのデータ量が、デフォルト値Ｆ０＿ｊよりも小さい値に設定される。例えば、映像データＳｊの解像度（画素数）がデフォルト値よりも低い値に設定される。例えば、映像データＳｊの解像度のデフォルト値が１０８０ｐである場合、解像度が３６０ｐまで低下させられる。これにより、映像データＳｊの送信データ量は約１／９となる。

【0033】

映像データＳｊの送信データ量を更に低減するために、映像データＳｊの送信を停止させてもよい。つまり、映像データＳｊの送信データ量を０に設定してもよい。

【0034】

通信部１０１は、複数の映像データＳ１～Ｓｎを含む車両情報ＶＣＬを遠隔オペレータ端末２００に送信する。尚、データ量調整処理が行われた場合、ある映像データＳｊの送信データ量が０となる可能性もある。

【0035】

図３は、データ量調整処理に関連する処理を要約的に示すフローチャートである。

【0036】

ステップＳ１０２において、車両１００は、複数のカメラＣ１～Ｃｎのそれぞれにより得られる複数の映像データＳ１～Ｓｎを送信対象データとして取得する。

【0037】

ステップＳ１０３において、車両１００は、遠隔オペレータ端末２００との通信結果に基づいて、車両１００から遠隔オペレータ端末２００への通信の通信速度Ｚの情報を取得する。

【0038】

ステップＳ１０４において、車両１００は、複数の映像データＳ１～Ｓｎの１秒当たりの総データ量Ｙを通信速度Ｚ以下に抑えるためにデータ削減が必要か否かを判定する。データ削減が必要である場合（ステップＳ１０４；Ｙｅｓ）、処理は、ステップＳ１０５に進む。一方、データ削減が不要である場合（ステップＳ１０４；Ｎｏ）、処理は、ステップＳ１０６に進む。

【0039】

ステップＳ１０５において、車両１００は、データ量調整処理を実行する。具体的には、複数の映像データＳ１～Ｓｎの１秒当たりの総データ量Ｙが通信速度Ｚ以下に抑えられるように、複数の映像データＳ１～Ｓｎのうち少なくとも一つの送信データ量を低減する。

【0040】

ステップＳ１０６において、車両１００は、複数の映像データＳ１～Ｓｎを含む車両情報ＶＣＬを遠隔オペレータ端末２００に送信する。

【0041】

以上に説明されたように、本実施の形態によれば、車両１００から遠隔オペレータ端末２００への通信の通信速度Ｚが考慮される。そして、複数の映像データＳ１～Ｓｎの１秒当たりの総データ量Ｙが通信速度Ｚ以下に抑えられるようにデータ量調整処理が行われる。このデータ量調整処理により、車両１００から送信される映像データＳ１～Ｓｎの伝送遅延を抑制することが可能となる。映像データＳ１～Ｓｎの伝送遅延が抑制されるため、遠隔オペレータＯによる判断や操作の遅れも抑制される。すなわち、本実施の形態によれば、伝送遅延に起因する遠隔操作の精度低下を抑制することが可能となる。このことは、車両１００の遠隔操作の安全性向上の観点から好ましい。

【0042】

３．カメラ優先度を考慮したデータ量調整処理
データ量調整処理においてカメラＣ１～Ｃｎの優先度が考慮されてもよい。具体的には、優先度のより高いカメラＣによって得られる映像データＳの送信データ量がより多くなるように、データ量調整処理が行われてもよい。

【0043】

図４は、カメラＣ１～Ｃｎの優先度を考慮したデータ量調整処理を説明するためのブロック図である。データ量調整部１０５は、優先度設定部１０５Ｐを含んでいる。優先度設定部１０５Ｐは、複数のカメラＣ１～Ｃｎの優先度を設定する。より詳細には、優先度設定部１０５Ｐは、複数のカメラＣ１～Ｃｎの優先度の設定ポリシーを示す優先度ポリシー情報ＰＯＬを保持している。優先度設定部１０５Ｐは、優先度ポリシー情報ＰＯＬに基づいて、複数のカメラＣ１～Ｃｎの優先度を設定する。そして、データ量調整部１０５は、優先度のより高いカメラＣによって得られる映像データＳの送信データ量がより多くなるように、データ量調整処理を実行する。つまり、データ量調整部１０５は、映像データＳ１～Ｓｎの総データ量Ｙを抑制しつつ、優先度の高いカメラＣによって得られる映像データＳについては可能な限り送信データ量を確保する。

【0044】

一般化すると次の通りである。第１カメラＣｉの優先度は第２カメラＣｊの優先度よりも高く、第２カメラＣｊの優先度は第１カメラＣｉの優先度より低い。第１映像データＳｉは、優先度の高い第１カメラＣｉにより得られる映像データＳである。第２映像データＳｊは、優先度の低い第２カメラＣｊにより得られる映像データＳである。データ量調整部１０５は、第１映像データＳｉの送信データ量が第２映像データＳｊの送信データ量よりも多くなるように、データ量調整処理を実行する。例えば、データ量調整部１０５は、第１映像データＳｉの送信データ量を低減することなく、第２映像データＳｊの解像度をデフォールト値よりも低下させる。他の例として、データ量調整部１０５は、第１映像データＳｉを送信し、第２映像データＳｊの送信を停止する。このように、データ量調整部１０５は、優先度の高い第１カメラＣｉによって得られる第１映像データＳｉの送信データ量がより多くなるように、データ量調整処理を実行する。

【0045】

複数のカメラＣ１～Ｃｎの優先度は、固定されていてもよいし、動的に変更されてもよい。

【0046】

図５は、カメラＣ１～Ｃｎの優先度の動的設定例を説明するための概念図である。図５に示される例では、車両１００は、前方カメラＣ１、左前方カメラＣ２、右前方カメラＣ３、及び後方カメラＣ４を備えている。カメラＣ１～Ｃ４の優先度は、車両１００の進行方向に依存する。つまり、進行方向に近い視野方向を有するカメラＣの優先度は、進行方向からより遠い視野方向を有するカメラＣの優先度よりも高く設定される。図５中の丸数字は優先度を表している。

【0047】

具体的には、車両１００が直進する場合、車両１００の進行方向は前方向である。この場合、前方カメラＣ１の優先度が最も高く、後方カメラＣ４の優先度が最も低い。左前方カメラＣ２及び右前方カメラＣ３の優先度は、前方カメラＣ１よりも低く、後方カメラＣ４よりも高い。

【0048】

車両１００が左折する場合、車両１００の進行方向は左方向である。この場合、左前方カメラＣ２の優先度は右前方カメラＣ３の優先度よりも高い。前方カメラＣ１の優先度は、左前方カメラＣ２よりも低く、右前方カメラＣ３よりも高い。後方カメラＣ４の優先度は最も低い。

【0049】

車両１００が右折する場合、車両１００の進行方向は右方向である。この場合、右前方カメラＣ３の優先度は左前方カメラＣ２の優先度よりも高い。前方カメラＣ１の優先度は、右前方カメラＣ３よりも低く、左前方カメラＣ２よりも高い。後方カメラＣ４の優先度は最も低い。

【0050】

図６は、カメラＣ１～Ｃ４の優先度を考慮したデータ量調整処理の例を説明するための概念図である。

【0051】

車両１００が直進する場合、データ量調整部１０５は、優先度が最も高い前方カメラＣ１により得られる映像データＳ１の解像度をデフォルト値のまま維持する。つまり、データ量調整部１０５は、優先度が最も高い前方カメラＣ１により得られる映像データＳ１の送信データ量を低減することなく維持する。一方、データ量調整部１０５は、優先度が比較的低いカメラＣ２～Ｃ４により得られる映像データＳ２～Ｓ４の解像度をデフォルト値よりも低下させる。例えば、解像度は、デフォルト値である１０８０ｐから３６０ｐまで低下する。

【0052】

車両１００が左折する場合、データ量調整部１０５は、優先度が比較的高いカメラＣ１、Ｃ２により得られる映像データＳ１、Ｓ２の解像度をデフォルト値のまま維持する。つまり、データ量調整部１０５は、優先度が比較的高いカメラＣ１、Ｃ２により得られる映像データＳ１、Ｓ２の送信データ量を低減することなく維持する。一方、データ量調整部１０５は、優先度が比較的低い右前方カメラＣ３により得られる映像データＳ３の解像度をデフォルト値よりも低下させる。更に、データ量調整部１０５は、優先度が最も低い後方カメラＣ４により得られる映像データＳ４の送信を停止する。

【0053】

車両１００が右折する場合、データ量調整部１０５は、優先度が比較的高いカメラＣ１、Ｃ３により得られる映像データＳ１、Ｓ３の解像度をデフォルト値のまま維持する。つまり、データ量調整部１０５は、優先度が比較的高いカメラＣ１、Ｃ３により得られる映像データＳ１、Ｓ３の送信データ量を低減することなく維持する。一方、データ量調整部１０５は、優先度が比較的低い左前方カメラＣ２により得られる映像データＳ２の解像度をデフォルト値よりも低下させる。更に、データ量調整部１０５は、優先度が最も低い後方カメラＣ４により得られる映像データＳ４の送信を停止する。

【0054】

図７は、カメラＣ１～Ｃ４の優先度を考慮したデータ量調整処理の他の例を説明するための概念図である。図７に示される例では、データ削減量が図６で示された例の場合よりも多い。

【0055】

車両１００が直進する場合、データ量調整部１０５は、優先度が最も高い前方カメラＣ１により得られる映像データＳ１の解像度をデフォルト値のまま維持する。つまり、データ量調整部１０５は、優先度が最も高い前方カメラＣ１により得られる映像データＳ１の送信データ量を低減することなく維持する。一方、データ量調整部１０５は、優先度が比較的低いカメラＣ２～Ｃ４により得られる映像データＳ２～Ｓ４の送信を停止する。

【0056】

車両１００が左折する場合、データ量調整部１０５は、優先度が比較的高いカメラＣ１、Ｃ２により得られる映像データＳ１、Ｓ２の解像度をデフォルト値よりも低下させる。更に、データ量調整部１０５は、優先度が比較的低いカメラＣ３、Ｃ４により得られる映像データＳ３、Ｓ４の送信を停止する。

【0057】

車両１００が右折する場合、データ量調整部１０５は、優先度が比較的高いカメラＣ１、Ｃ３により得られる映像データＳ１、Ｓ３の解像度をデフォルト値よりも低下させる。更に、データ量調整部１０５は、優先度が比較的低いカメラＣ２、Ｃ４により得られる映像データＳ２、Ｓ４の送信を停止する。

【0058】

車両１００の進行方向は、車両１００の舵角、ウィンカー状態、シフト位置、等の車両状態情報から得られる。あるいは、車両１００の進行方向は、車両１００の目標ルートに基づいて取得されてもよい。進行方向情報ＤＩＲは、車両１００の進行方向を示す情報である。優先度ポリシー情報ＰＯＬは、図５で例示されたような優先度の動的設定ポリシーを示している。優先度設定部１０５Ｐは、進行方向情報ＤＩＲを取得し、進行方向情報ＤＩＲと優先度ポリシー情報ＰＯＬに基づいて複数のカメラＣ１～Ｃｎの優先度を設定する（図４参照）。そして、データ量調整部１０５は、設定された優先度を考慮してデータ量調整処理を実行する。

【0059】

このように、優先度のより高いカメラＣによって得られる映像データＳの送信データ量がより多くなるように、データ量調整処理が実行される。つまり、映像データＳ１～Ｓｎの総データ量Ｙを抑制しつつ、優先度の高いカメラＣによって得られる映像データＳについては可能な限り送信データ量を確保することが可能となる。すなわち、遠隔オペレータＯによる車両１００の遠隔操作の精度をなるべく確保しつつ、映像データＳ１～Ｓｎの伝送遅延を抑制することが可能となる。

【0060】

４．ＦＩＸレベルに基づくデータ量調整処理
上述の通り、複数の映像データＳ１～Ｓｎのデータ超過量Ｘは、式（１）で表される。判定部１０４は、式（１）に従ってデータ超過量Ｘを算出する。データ超過量Ｘが増加するほど、データ量調整処理において削減すべき送信データ量も増加する。ここで、削減すべき送信データ量、すなわち、データ量調整処理の内容は、段階的に切り替えられてもよい。そのために、「ＦｉｘレベルＦＬ」という概念が導入される。

【0061】

図８は、Ｆｉｘレベルの設定例を説明するための概念図である。データ超過量Ｘが正値である場合、通信速度Ｚは低下しており、データ量調整処理の必要性が高い。一方、データ超過量Ｘが負値である場合、通信速度Ｚは高く、データ量調整処理の必要性は低い。このような観点から、データ超過量Ｘは複数のＦｉｘレベルＦＬに分類される。

【0062】

例えば、データ超過量Ｘに関する３つの閾値Ｘ０、ＸＮ、ＸＰを考える。閾値ＸＮは負値であり、閾値ＸＰは正値である。閾値Ｘ０は、ＸＮより大きく、ＸＰより小さい（ＸＰ＞Ｘ０＞ＸＮ）。閾値Ｘ０はゼロであってもよい。データ超過量ＸがＸＮ～Ｘ０の範囲にある場合、ＦｉｘレベルＦＬはデフォルト値“０”に設定される。データ超過量ＸがＸ０～ＸＰの範囲にある場合、ＦｉｘレベルＦＬは“－１”に設定される。データ超過量ＸがＸＰ以上である場合、ＦｉｘレベルＦＬは“－２”に設定される。一方、データ超過量ＸがＸＮ以下である場合、ＦｉｘレベルＦＬは“＋１”に設定される。

【0063】

ＦｉｘレベルＦＬがデフォルト値“０”である場合、データ量調整処理は行われない。ＦｉｘレベルＦＬが“－１”あるいは“－２”である場合、データ量調整処理が行われる。特に、ＦｉｘレベルＦＬが“－２”である場合のデータ削減量は、ＦｉｘレベルＦＬが“－１”である場合よりも多くなるように設定される。例えば、ＦｉｘレベルＦＬが“－１”である場合には図６で示されたようなデータ量調整処理が行われ、ＦｉｘレベルＦＬが“－２”である場合には図７で示されたようなデータ量調整処理が行われる。このように、データ量調整処理の内容が、ＦｉｘレベルＦＬに応じて段階的に切り替えられる。

【0064】

図９は、ＦｉｘレベルＦＬに関連する機能構成例を示すブロック図である。判定部１０４は、レベル判定部１０４Ａを含んでいる。レベル判定部１０４Ａは、データ超過量Ｘが複数のＦｉｘレベルＦＬのうちいずれに属するかを判定する。判定部１０４による判定結果を示す判定結果情報ＲＥＳは、データ超過量Ｘが属するＦｉｘレベルＦＬを含んでいる。

【0065】

データ量調整部１０５は、データ超過量Ｘが属するＦｉｘレベルＦＬに応じてデータ量調整処理の内容を切り替える。例えば、ＦｉｘレベルＦＬが“－１”である場合、データ量調整部１０５は、図６で示されたようなデータ量調整処理を行う。ＦｉｘレベルＦＬが“－２”である場合、データ量調整部１０５は、図７で示されたようなデータ量調整処理が行う。

【0066】

尚、Ｆｉｘレベルが“＋１”である場合、通信速度Ｚにかなり余裕がある。従って、データ量調整部１０５は、複数の映像データＳ１～Ｓｎのうち少なくとも一つの解像度をデフォルト値よりも増加させてもよい。例えば、データ量調整部１０５は、優先度の最も高いカメラＣによって得られた映像データＳの解像度をデフォルト値よりも増加させる。これにより、映像データＳの視認性が更に向上する。

【0067】

判定部１０４は、更に、レベル遷移調整部１０４Ｂを含んでいてもよい。レベル遷移調整部１０４Ｂは、データ超過量Ｘが属するＦｉｘレベルＦＬが遷移（変化）する際、ＦｉｘレベルＦＬの傾き（変化率）を調整する。

【0068】

図１０は、ＦｉｘレベルＦＬの遷移例を説明するための概念図である。第１の例では、ＦｉｘレベルＦＬが大きく減少する。この場合、安全性を考慮して、レベル遷移調整部１０４Ｂは、ＦｉｘレベルＦＬを即座に減少させる。

【0069】

第２の例では、ＦｉｘレベルＦＬの減少幅が比較的小さい。この場合、レベル遷移調整部１０４Ｂは、ＦｉｘレベルＦＬをゆっくり減少させてもよい。ＦｉｘレベルＦＬがゆっくり減少する場合、映像データＳの解像度もゆっくり低下する。

【0070】

第３の例では、ＦｉｘレベルＦＬが増加する。映像データＳの解像度が急激に向上すると、遠隔オペレータＯが違和感を感じる可能性もある。そこで、レベル遷移調整部１０４Ｂは、ＦｉｘレベルＦＬをゆっくり増加させてもよい。ＦｉｘレベルＦＬがゆっくり増加する場合、映像データＳの解像度もゆっくり増加する。

【0071】

このように、データ量調整処理の内容は、ＦｉｘレベルＦＬに応じて切り替えられる。データ量調整処理の内容が予め定められているため、データ量調整処理を効率的に行うことが可能となる。

【0072】

５．車両の例
５－１．構成例
図１１は、車両１００の構成例を示すブロック図である。車両１００は、通信装置１１０、センサ群１２０、走行装置１３０、及び制御装置１５０を備えている。

【0073】

通信装置１１０は、車両１００の外部と通信を行う。例えば、通信装置１１０は、遠隔オペレータ端末２００や管理装置３００と通信を行う。この通信装置１１０は、図２で示された通信部１０１に相当する。

【0074】

センサ群１２０は、認識センサ、車両状態センサ、位置センサ、等を含んでいる。認識センサは、車両１００の周辺の状況を認識（検出）する。認識センサとしては、カメラＣ（Ｃ１～Ｃｎ）、ＬＩＤＡＲ（Laser Imaging Detection and Ranging）、レーダ、等が例示される。車両状態センサは、車両１００の状態を検出する。車両状態センサは、速度センサ、加速度センサ、ヨーレートセンサ、舵角センサ、等を含んでいる。位置センサは、車両１００の位置及び方位を検出する。例えば、位置センサは、ＧＮＳＳ（Global Navigation Satellite System）を含んでいる。

【0075】

走行装置１３０は、操舵装置、駆動装置、及び制動装置を含んでいる。操舵装置は、車輪を転舵する。例えば、操舵装置は、パワーステアリング（EPS: Electric Power Steering）装置を含んでいる。駆動装置は、駆動力を発生させる動力源である。駆動装置としては、エンジン、電動機、インホイールモータ、等が例示される。制動装置は、制動力を発生させる。

【0076】

制御装置１５０は、車両１００を制御するコンピュータである。制御装置１５０は、１又は複数のプロセッサ１６０（以下、単にプロセッサ１６０と呼ぶ）と１又は複数の記憶装置１７０（以下、単に記憶装置１７０と呼ぶ）を含んでいる。プロセッサ１６０は、各種処理を実行する。例えば、プロセッサ１６０は、ＣＰＵ（Central Processing Unit）を含んでいる。記憶装置１７０は、プロセッサ１６０による処理に必要な各種情報を格納する。記憶装置１７０としては、揮発性メモリ、不揮発性メモリ、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、等が例示される。制御装置１５０は、１又は複数のＥＣＵ（Electronic Control Unit）を含んでいてもよい。

【0077】

車両制御プログラムＰＲＯＧ１は、プロセッサ１６０によって実行されるコンピュータプログラムである。プロセッサ１６０が車両制御プログラムＰＲＯＧ１を実行することにより、制御装置１５０の機能が実現される。車両制御プログラムＰＲＯＧ１は、記憶装置１７０に格納される。あるいは、車両制御プログラムＰＲＯＧ１は、コンピュータ読み取り可能な記録媒体に記録されてもよい。

【0078】

５－２．運転環境情報
制御装置１５０は、センサ群１２０を用いて、車両１００の運転環境を示す運転環境情報ＥＮＶを取得する。運転環境情報ＥＮＶは、記憶装置１７０に格納される。

【0079】

運転環境情報ＥＮＶは、認識センサによる認識結果を示す周辺状況情報を含む。例えば、周辺状況情報は、カメラＣによって撮像される画像ＩＭＧ（映像データＳ１～Ｓｎ）を含む。周辺状況情報は、車両１００の周辺の物体に関する物体情報を含んでいてもよい。車両１００の周辺の物体としては、歩行者、他車両（先行車両、駐車車両、等）、白線、信号、標識、路側構造物、等が例示される。物体情報は、車両１００に対する物体の相対位置及び相対速度を示す。

【0080】

また、運転環境情報ＥＮＶは、車両状態センサによって検出される車両状態を示す車両状態情報を含む。

【0081】

更に、運転環境情報ＥＮＶは、車両１００の位置及び方位を示す車両位置情報を含む。車両位置情報は、位置センサにより得られる。地図情報と周辺状況情報（物体情報）を用いた自己位置推定処理（Localization）により、高精度な車両位置情報が取得されてもよい。

【0082】

５－３．車両走行制御
制御装置１５０は、車両１００の走行を制御する車両走行制御を実行する。車両走行制御は、操舵制御、駆動制御、及び制動制御を含む。制御装置１５０は、走行装置１３０（操舵装置、駆動装置、及び制動装置）を制御することによって車両走行制御を実行する。

【0083】

制御装置１５０は、運転環境情報ＥＮＶに基づいて自動運転制御を行ってもよい。より詳細には、制御装置１５０は、運転環境情報ＥＮＶに基づいて、車両１００の走行プランを生成する。更に、制御装置１５０は、運転環境情報ＥＮＶに基づいて、車両１００が走行プランに従って走行するために必要な目標トラジェクトリを生成する。目標トラジェクトリは、目標位置及び目標速度を含んでいる。そして、制御装置１５０は、車両１００が目標トラジェクトリに追従するように車両走行制御を行う。

【0084】

５－４．遠隔操作に関連する処理
以下、車両１００の遠隔操作が行われる場合について説明する。制御装置１５０は、通信装置１１０を介して、遠隔オペレータ端末２００と通信を行う。

【0085】

制御装置１５０は、車両情報ＶＣＬを遠隔オペレータ端末２００に送信する。車両情報ＶＣＬは、遠隔オペレータＯによる遠隔操作に必要な情報であり、上述の運転環境情報ＥＮＶの少なくとも一部を含んでいる。例えば、車両情報ＶＣＬは、周辺状況情報（特に画像ＩＭＧ）を含んでいる。車両情報ＶＣＬは、更に、車両状態情報や車両位置情報を含んでいてもよい。

【0086】

また、制御装置１５０は、遠隔操作情報ＯＰＥを遠隔オペレータ端末２００から受信する。遠隔操作情報ＯＰＥは、遠隔オペレータＯによる遠隔操作に関する情報である。例えば、遠隔操作情報ＯＰＥは、遠隔オペレータＯによる操作量を含む。制御装置１５０は、受信した遠隔操作情報ＯＰＥに従って車両走行制御を行う。

【0087】

更に、制御装置１５０は、上述の映像データ取得部１０２、通信状態取得部１０３、判定部１０４、及びデータ量調整部１０５の機能を備えている（図２、図４、図８参照）。優先度ポリシー情報ＰＯＬは、予め生成され、記憶装置１７０に格納される。進行方向情報ＤＩＲは、車両状態情報（例：舵角、ウィンカー状態、シフト位置）から得られる。進行方向情報ＤＩＲは、車両１００の目標ルートに基づいて取得されてもよい。制御装置１５０は、図３で示された処理を実行し、必要に応じてデータ量調整処理を実行する。

【符号の説明】

【0088】

１ 遠隔操作システム
１００ 車両
１０１ 通信部
１０２ 映像データ取得部
１０３ 通信状態取得部
１０４ 判定部
１０４Ａ レベル判定部
１０４Ｂ レベル遷移調整部
１０５ データ量調整部
１０５Ｐ 優先度設定部
１１０ 通信装置
１２０ センサ群
１３０ 走行装置
１５０ 制御装置
１６０ プロセッサ
１７０ 記憶装置
２００ 遠隔オペレータ端末
３００ 管理装置
Ｃ１～Ｃｎ カメラ
ＤＩＲ 進行方向情報
ＦＬ Ｆｉｘレベル
ＩＭＧ 画像
ＯＰＥ 遠隔操作情報
ＰＯＬ 優先度ポリシー情報
ＲＥＳ 判定結果情報
Ｓ１～Ｓｎ 映像データ
ＶＣＬ 車両情報

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】