特許 7484879 遠隔支援装置、遠隔支援システム、プログラム及び遠隔支援方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-05-08

(45)【発行日】2024-05-16

(54)【発明の名称】遠隔支援装置、遠隔支援システム、プログラム及び遠隔支援方法

(51)【国際特許分類】

   H04N 7/18 20060101AFI20240509BHJP

   G08G 1/09 20060101ALI20240509BHJP

   G01C 21/36 20060101ALI20240509BHJP

   B60R 1/22 20220101ALI20240509BHJP

   G05D 1/00 20240101ALI20240509BHJP

【ＦＩ】

H04N7/18 J

G08G1/09 V

G01C21/36

B60R1/22

G05D1/00

【請求項の数】 31

(21)【出願番号】P 2021213094

(22)【出願日】2021-12-27

(65)【公開番号】P2023096988

(43)【公開日】2023-07-07

【審査請求日】2023-11-20

(73)【特許権者】

【識別番号】000004260

【氏名又は名称】株式会社デンソー

(74)【代理人】

【識別番号】110001519

【氏名又は名称】弁理士法人太陽国際特許事務所

(72)【発明者】

【氏名】新内 翔太

(72)【発明者】

【氏名】杉浦 泰伸

(72)【発明者】

【氏名】松本 真聡

【審査官】長谷川 素直

(56)【参考文献】

【文献】特開２０２０－１６６６０５（ＪＰ，Ａ）

【文献】特開２０１４－７１７７６（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ７／１８

Ｇ０８Ｇ １／００

Ｇ０１Ｃ ２１／３６

Ｂ６０Ｒ １／２２

Ｇ０５Ｄ １／００

(57)【特許請求の範囲】

【請求項1】

遠隔操縦対象の車両（１０）から車両周辺の映像を表す映像情報を取得する取得部（７０、７２）と、
前記取得部で取得した前記映像情報に基づいて前記映像を遠隔ドライバに表示する表示部（４４）と、
前記遠隔ドライバから操作入力を受け付けて車両を制御するための制御量を含む制御情報を周期的に生成し、生成された前記制御情報を前記車両に送信する制御情報生成部（７４）と、
前記遠隔ドライバによる遠隔操縦を補助する補助画像であって少なくとも映像撮像時の制御量を表す画像を含む補助画像（８０、９０、１２０、１４０）を、前記表示部に表示する映像に重畳表示するように制御する表示制御部（７８）と、
を備える遠隔支援装置（４０）。

【請求項2】

遠隔操縦対象の車両から車両周辺の映像を表す映像情報を取得する取得部と、
前記取得部で取得した前記映像情報に基づいて前記映像を遠隔ドライバに表示する表示部と、
前記遠隔ドライバから操作入力を受け付けて車両を制御するための制御量を含む制御情報を周期的に生成し、生成された前記制御情報を前記車両に送信する制御情報生成部と、
前記遠隔ドライバによる遠隔操縦を補助する補助画像であって、映像撮像時の制御量を表す画像及び現在の制御量を表す画像（８０、９０、１２０、１４０）又は前記映像撮像時の制御量と前記現在の制御量との差分を表す画像（１５０）を含む補助画像を、前記表示部に表示する映像に重畳表示するように制御する表示制御部と、
を備える遠隔支援装置。

【請求項3】

前記取得部は、前記映像情報と前記映像撮像時の制御情報とを紐づける紐づけ情報を、前記車両から更に取得し、
前記表示制御部は、前記紐づけ情報に基づいて、前記表示部に表示する映像に対応する前記映像撮像時の制御情報を特定する、
請求項１又は請求項２に記載の遠隔支援装置。

【請求項4】

前記制御情報生成部は、前記制御情報を識別情報に関連付けて記憶部に記憶し、前記識別情報を前記制御情報と共に前記車両に送信し、
前記紐づけ情報は、前記映像の撮像時刻を表す映像情報のタイムスタンプと前記映像の撮像時の制御情報の識別情報とを対応付けることにより、前記映像情報と前記映像撮像時の制御情報とを紐づけ、
前記表示制御部は、前記紐づけ情報を用いて前記取得部で取得した映像情報のタイムスタンプに対応する前記制御情報の識別情報を特定し、特定した前記識別情報に対応する制御情報を前記記憶部から取得して、前記表示部に表示する映像に対応する前記映像撮像時の制御情報とする、
請求項３に記載の遠隔支援装置。

【請求項5】

前記表示制御部は、前記車両に対する遠隔操縦の実行中は、前記表示部に表示する映像に前記補助画像を重畳表示するように制御する、
請求項１から請求項４までのいずれか１項に記載の遠隔支援装置。

【請求項6】

前記制御情報の生成から当該制御情報に対応する映像の表示までの時間を遅延時間として計測する計測部（４８）を更に備え、
前記表示制御部は、前記遅延時間が閾値を超えた場合に、前記表示部に表示する映像に前記補助画像を重畳表示するように制御する、
請求項１から請求項４までのいずれか１項に記載の遠隔支援装置。

【請求項7】

コンピュータを、
遠隔操縦対象の車両から車両周辺の映像を表す映像情報を取得する取得部、
遠隔ドライバから操作入力を受け付けて車両を制御するための制御量を含む制御情報を周期的に生成し、生成された前記制御情報を前記車両に送信する制御情報生成部、
前記遠隔ドライバによる遠隔操縦を補助する補助画像であって少なくとも映像撮像時の制御量を表す画像を含む補助画像を、表示部に表示する映像に重畳表示するように制御する表示制御部、
として機能させるためのプログラム。

【請求項8】

遠隔操縦対象の車両と、
前記車両から車両周辺の映像を表す映像情報を取得する取得部と、前記取得部で取得した前記映像情報に基づいて前記映像を遠隔ドライバに表示する表示部と、前記遠隔ドライバから操作入力を受け付けて車両を制御するための制御量を含む制御情報を周期的に生成し、生成された前記制御情報を前記車両に送信する制御情報生成部と、前記遠隔ドライバによる遠隔操縦を補助する補助画像であって少なくとも映像撮像時の制御量を表す画像を含む補助画像を、前記表示部に表示する映像に重畳表示するように制御する表示制御部、を備える遠隔支援装置と、
を備え、
前記車両が、
車両周辺の映像を撮像する撮像部（２２）と、
前記映像を表す映像情報を前記遠隔支援装置に送信する映像データ送信部（６６）と、
前記遠隔支援装置から制御情報を受信して、受信した前記制御情報に基づいて車両を制御する車両制御部（６４）と、
前記映像情報と前記映像撮像時の制御情報とを紐づける紐づけ情報を生成して、前記遠隔支援装置に送信する紐づけ部（６２）と、を備え、
前記遠隔支援装置の前記表示制御部は、前記車両から取得した前記紐づけ情報に基づいて、前記取得部で取得した映像情報に対応する前記映像撮像時の制御情報を特定する、
遠隔支援システム。

【請求項9】

前記紐づけ部は、前記映像の撮像時刻を表す映像情報のタイムスタンプと前記制御情報の識別情報とを対応付けることにより、前記映像情報と前記映像撮像時の制御情報とを紐づける、請求項８に記載の遠隔支援システム。

【請求項10】

前記映像情報と前記紐づけ情報とは、異なる通信経路で送信される、
請求項８又は請求項９に記載の遠隔支援システム。

【請求項11】

前記紐づけ情報は、前記映像情報に含めて送信される、
請求項８又は請求項９に記載の遠隔支援システム。

【請求項12】

車両は、
撮像部により撮像された車両周辺の映像を表す映像情報を取得して、前記映像情報を遠隔支援装置に送信し、
前記遠隔支援装置から制御情報を受信して、受信した前記制御情報に基づいて自車両を制御し、
前記映像情報と映像撮像時の制御情報とを紐づける紐づけ情報を生成して、生成した前記紐づけ情報を前記遠隔支援装置に送信し、
前記遠隔支援装置は、
前記車両から車両周辺の映像を表す映像情報を取得し、
遠隔ドライバから操作入力を受け付けて車両を制御するための制御量を含む制御情報を周期的に生成し、生成された前記制御情報を前記車両に送信し、
前記映像情報と前記映像撮像時の制御情報とを紐づける紐づけ情報を取得し、
前記紐づけ情報に基づいて、表示部に表示する映像に対応する前記映像撮像時の制御情報を特定し、
前記遠隔ドライバによる遠隔操縦を補助する補助画像であって少なくとも映像撮像時の制御量を表す画像を含む補助画像を、前記表示部に表示する映像に重畳表示する、
遠隔支援方法。

【請求項13】

前記補助画像は、映像撮像時の制御量をアイコンで表示する画像である、
請求項１に記載の遠隔支援装置。

【請求項14】

前記補助画像は、映像撮像時の制御量と現在の制御量とを左右又は上下に並べて表示する並列画像である、
請求項２から請求項６までのいずれか１項に記載の遠隔支援装置。

【請求項15】

前記並列画像は、前記映像の端部に重畳表示される、
請求項１４に記載の遠隔支援装置。

【請求項16】

前記制御量は、操舵制御量及び加減速制御量の少なくとも一方を含み、前記操舵制御量及び前記加減速制御量の各々はアイコンで表示される、
請求項１４又は請求項１５に記載の遠隔支援装置。

【請求項17】

前記操舵制御量のアイコンは、操舵を表すマークと前記操舵制御量を表すインジケータとを含む、
請求項１６に記載の遠隔支援装置。

【請求項18】

前記加減速制御量のアイコンは、前記加減速制御量の制限枠を含み、着色領域が前記制限枠内に占める割合で前記加減速制御量を表す、
請求項１６又は請求項１７に記載の遠隔支援装置。

【請求項19】

前記映像撮像時の前記加減速制御量のアイコンは、車両の加速度の表示を伴う、
請求項１６から請求項１８までのいずれか１項に記載の遠隔支援装置。

【請求項20】

前記補助画像は、映像撮像時の制御量と現在の制御量との差分を表す差分画像である、
請求項２から請求項６までのいずれか１項に記載の遠隔支援装置。

【請求項21】

前記差分画像は、前記映像の端部に重畳表示される、
請求項２０に記載の遠隔支援装置。

【請求項22】

前記差分は、操舵制御量の差分及び加減速制御量の差分の少なくとも一方を含み、前記操舵制御量の差分及び前記加減速制御量の差分の各々はアイコンで表示される、
請求項２０又は請求項２１に記載の遠隔支援装置。

【請求項23】

前記操舵制御量の差分のアイコンは、操舵を表すマークと前記操舵制御量の差分を表すインジケータを含む、
請求項２２に記載の遠隔支援装置。

【請求項24】

前記加減速制御量の差分のアイコンは、前記加減速制御量の制限枠を含み、２種類の着色領域が前記制限枠内に占める割合の差分で前記加減速制御量の差分を表す、
請求項２２又は請求項２３に記載の遠隔支援装置。

【請求項25】

前記補助画像が、映像撮像時の制御量を表す矢印型のアイコンと現在の制御量を表す矢印型のアイコンとを表示する標識画像である、
請求項２から請求項６までのいずれか１項に記載の遠隔支援装置。

【請求項26】

前記標識画像は、前記映像の中央部に重畳表示される、
請求項２５に記載の遠隔支援装置。

【請求項27】

前記矢印型のアイコンは、矢印の向きで車両の進行方向を表す、
請求項２５又は請求項２６に記載の遠隔支援装置。

【請求項28】

２つの矢印型のアイコンは同じ起点を有し、矢印の長さで車両の速度を表し、矢印内のインジケータで加減速制御量を表す、
請求項２５から請求項２７までのいずれか１項に記載の遠隔支援装置。

【請求項29】

２つの矢印型のアイコンは異なる起点を有し、各起点は制御情報に基づく制御が行われる時間の車両の位置を表し、矢印の長さで車両の速度を表し、矢印内のインジケータで加減速制御量を表す、
請求項２５から請求項２７までのいずれか１項に記載の遠隔支援装置。

【請求項30】

前記補助画像が、速度の表示及び遅延時間の表示の少なくとも一方を含む、
請求項１から請求項６までのいずれか１項に記載の遠隔支援装置。

【請求項31】

前記遅延時間が、数字、アイコン、又は前記映像の外枠の色で表示される、
請求項３０に記載の遠隔支援装置。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、遠隔支援装置、遠隔支援システム、プログラム及び遠隔支援方法に関する。

【背景技術】

【0002】

支援対象の車両から取得した車両周辺の映像を遠隔ドライバに表示して、遠隔ドライバによる車両の遠隔操縦を行うシステムが種々開発されている。このようなシステムでは、遠隔ドライバは、映像の遅延により必要な制御量を把握するのが難しい。

【0003】

特許文献１には、移動領域の画像を取得する撮像部を搭載した移動体と、その撮像部によって取得した画像を表示する表示部、及びその表示部に表示された画像に基づいて移動体を遠隔操縦するための操縦部を備えた遠隔操縦装置とを含む遠隔操縦システムにおいて、上記移動体と遠隔操縦装置との間における通信遅延時間を推定する遅延時間推定手段と、移動領域の画像を取得した時刻から所要時間経過後までの移動体の移動予定経路、移動速度及び推定遅延時間に基づいて、移動体が遠隔操縦装置によって操縦制御される時刻における移動体位置を推定する移動体位置推定手段と、推定した移動体位置に対応する旋回操作基準点を、表示部に表示されている画像に重畳表示する重畳表示手段とを設けたことを特徴とする遠隔操縦システムが開示されている。

【先行技術文献】

【特許文献】

【0004】

【文献】特開２０１０－６１３４６号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

特許文献１に記載の技術は、映像の遅延を考慮してはいるが、現在の指令が到達する時間の車両の位置を制御結果として表示するのみであり、映像撮像時点でどの程度の制御を行っていたか、その結果、車両の位置がどの程度変位したかといった、遅延時間中の制御の経緯は不明である。

【0006】

このため、遅延映像に慣れていない遠隔ドライバは、表示される過去映像の時点ではまだ車両に制御値が到達していないにも拘わらず、それが到達したうえで制御量が不足していると誤解し、不必要に制御を強めてしまう虞がある。

【0007】

本開示の目的は、遠隔ドライバが表示映像の撮像時点での制御量を知ることができ、映像撮像時の制御量と現在の制御量とのギャップを把握することができる、遠隔支援装置、遠隔支援システム、プログラム及び遠隔支援方法を提供することにある。

【課題を解決するための手段】

【0008】

本開示の一態様による遠隔支援装置は、遠隔操縦対象の車両から車両周辺の映像を表す映像情報を取得する取得部と、前記取得部で取得した前記映像情報に基づいて前記映像を遠隔ドライバに表示する表示部と、前記遠隔ドライバから操作入力を受け付けて車両を制御するための制御量を含む制御情報を周期的に生成し、生成された前記制御情報を前記車両に送信する制御情報生成部と、前記遠隔ドライバによる遠隔操縦を補助する補助画像であって少なくとも映像撮像時の制御量を表す画像を含む補助画像を、前記表示部に表示する映像に重畳表示するように制御する表示制御部と、を備える。

【0009】

本開示の一態様によるプログラムは、コンピュータを、遠隔操縦対象の車両から車両周辺の映像を表す映像情報を取得する取得部、遠隔ドライバから操作入力を受け付けて車両を制御するための制御量を含む制御情報を周期的に生成し、生成された前記制御情報を前記車両に送信する制御情報生成部、前記遠隔ドライバによる遠隔操縦を補助する補助画像であって少なくとも映像撮像時の制御量を表す画像を含む補助画像を、表示部に表示する映像に重畳表示するように制御する表示制御部、として機能させるためのプログラムである。

【0010】

本開示の一態様による遠隔支援システムは、遠隔操縦対象の車両と、前記車両から車両周辺の映像を表す映像情報を取得する取得部と、前記取得部で取得した前記映像情報に基づいて前記映像を遠隔ドライバに表示する表示部と、前記遠隔ドライバから操作入力を受け付けて車両を制御するための制御量を含む制御情報を周期的に生成し、生成された前記制御情報を前記車両に送信する制御情報生成部と、前記遠隔ドライバによる遠隔操縦を補助する補助画像であって少なくとも映像撮像時の制御量を表す画像を含む補助画像を、前記表示部に表示する映像に重畳表示するように制御する表示制御部、を備える遠隔支援装置と、を備え、
前記車両が、車両周辺の映像を撮像する撮像部と、前記映像を表す映像情報を前記遠隔支援装置に送信する映像データ送信部と、前記遠隔支援装置から制御情報を受信して、受信した前記制御情報に基づいて車両を制御する車両制御部と、前記映像情報と前記映像撮像時の制御情報とを紐づける紐づけ情報を生成して、前記遠隔支援装置に送信する紐づけ部と、を備え、前記遠隔支援装置の前記表示制御部は、前記車両から取得した前記紐づけ情報に基づいて、前記取得部で取得した映像情報に対応する前記映像撮像時の制御情報を特定する。

【0011】

本開示の一態様による遠隔支援方法では、車両は、撮像部により撮像された車両周辺の映像を表す映像情報を取得して、前記映像情報を遠隔支援装置に送信し、前記遠隔支援装置から制御情報を受信して、受信した前記制御情報に基づいて自車両を制御し、前記映像情報と映像撮像時の制御情報とを紐づける紐づけ情報を生成して、生成した前記紐づけ情報を前記遠隔支援装置に送信し、前記遠隔支援装置は、前記車両から車両周辺の映像を表す映像情報を取得し、遠隔ドライバから操作入力を受け付けて車両を制御するための制御量を含む制御情報を周期的に生成し、生成された前記制御情報を前記車両に送信し、前記映像情報と前記映像撮像時の制御情報とを紐づける紐づけ情報を取得し、前記紐づけ情報に基づいて、表示部に表示する映像に対応する前記映像撮像時の制御情報を特定し、前記遠隔ドライバによる遠隔操縦を補助する補助画像であって少なくとも映像撮像時の制御量を表す画像を含む補助画像を、前記表示部に表示する映像に重畳表示する。

【図面の簡単な説明】

【0012】

【図1】本開示の実施形態に係る遠隔支援システムの構成の一例を示す模式図である。

【図2】本開示の実施形態に係る補助画像が重畳表示された映像の一例を示す図であり、補助画像は、映像撮像時の制御情報と現在の制御情報とを左右又は上下に並べて表示する並列画像である。

【図3】本開示の遠隔支援方法の概念を示す概念図である。

【図4】車載装置の電気的構成の一例を示すブロック図である。

【図5】遠隔支援装置の電気的構成の一例を示すブロック図である。

【図6】本開示の遠隔支援システムの各部の機能的な構成の一例を示す機能ブロック図である。

【図7】本開示の車載装置側及び遠隔支援装置側の各々で実行される車両制御処理の流れの一例を示すフローチャートである。

【図8】車載装置側で実行される映像送信処理及び遠隔支援装置側で実行される映像表示処理の各々の流れの一例を示すフローチャートである。

【図9】図８に示す「重畳表示処理」の流れの一例を示すフローチャートである。

【図10】（Ａ）～（Ｄ）は補助画像に含まれる操舵制御量を表すアイコンの一例を示す図である。

【図11】（Ａ）～（Ｆ）は補助画像に含まれる操舵制御量を表すアイコンの一例を示す図である。

【図12】（Ａ）～（Ｃ）は補助画像に含まれる加減速制御量を表すアイコンの一例を示す図である。

【図13】本開示の実施形態に係る補助画像が重畳表示された映像の一例を示す図であり、補助画像は、映像撮像時の制御情報と現在の制御情報の各々について操舵制御量を表すアイコンと加減速制御量を表すアイコンとをセットで表示する。

【図14】（Ａ）は図１３に示す加減速制御量を表すアイコンが加速度表示を伴う例を示す図であり、（Ｂ）及び（Ｃ）は加速度を表すアイコンの一例を示す図である。

【図15】本開示の実施形態に係る補助画像が重畳表示された映像の一例を示す図であり、補助画像は、映像撮像時の制御情報を表す矢印型のアイコンと現在の制御情報を表す矢印型のアイコンとを表示する標識画像である。

【図16】遅延時間における車両の軌跡を上から見た図である。

【図17】（Ａ）及び（Ｂ）は矢印型のアイコンの一例を示す図である。

【図18】本開示の実施形態に係る矢印型のアイコンを含む補助画像が重畳表示された映像の他の一例を示す図である。

【図19】遅延時間における車両の軌跡を上から見た図である。

【図20】透視投影変換を説明するための図である。

【図21】（Ａ）は本開示の実施形態に係る補助画像が重畳表示された映像の一例を示す図であり、補助画像は、映像撮像時の制御情報と現在の制御情報との差分を表す差分画像であり、（Ｂ）は映像撮像時の制御情報と現在の制御情報とを表示した場合との違いを説明する図である。

【図22】（Ａ）は本開示の実施形態に係る遅延時間の表示が重畳表示された映像の一例を示す図であり、（Ｂ）は枠の色と遅延時間の長さとの関係を示すグラフである。

【図23】遅延時間の経時変化を示すグラフである。

【図24】補助画像の重畳表示をオンオフする様子を示す模式図である。

【発明を実施するための形態】

【0013】

以下、図面を参照して本発明の実施の形態の一例を詳細に説明する。

【0014】

[第１の実施形態]
＜全体システム＞
まず、本開示の遠隔支援システムの概要について説明する。
本開示の遠隔支援システムは、自律的に走行する自動運転車両（以下、「車両」という。）からの支援要求があった場合に、遠隔地に居る遠隔ドライバが、支援対象の車両の遠隔操縦を行うシステムである。

【0015】

図１に示すように、本開示の実施形態に係る遠隔支援システムは、車両１０と、管理センタの遠隔コックピット１２に設置された遠隔支援装置４０とを備えている。車両１０は、無線基地局を介してインターネット等の公衆網であるネットワークに接続されている。車両１０は、ネットワークに接続された遠隔支援装置４０と無線により通信を行う。

【0016】

車両１０は、車載装置２０及び車両周辺の映像を撮像する車載カメラ等のカメラ２２を備えている。車載装置２０は、車両に搭載される電子制御装置（ＥＣＵ：Electronic Control Unit）等の情報処理装置である。車載装置２０は、自動運転の制御を行うための制御機能（図示せず）を備えている。制御機能は、指定された目的地までの経路に従って走行するように、車両１０の各機構を制御することにより自動運転を実現する。

【0017】

車載装置２０は、カメラ２２で取得された映像データや、車速や車両位置等の車両情報を遠隔支援装置４０に送信している。そして、車載装置２０は、遠隔ドライバＤによる遠隔操縦が必要な場合に、遠隔支援装置４０に支援を要求する。

【0018】

遠隔支援装置４０は、車両１０に対して遠隔支援を行う装置である。遠隔支援装置４０は、遠隔支援サーバである情報処理装置４２、遠隔ドライバＤに車両周辺の映像を提示する表示部４４、及び遠隔ドライバＤによる操作を受け付ける操作部４６を備えている。

【0019】

情報処理装置４２は、車載装置２０から映像データや車両情報を取得し、取得した映像データに基づく映像を表示部４４に表示させる。情報処理装置４２は、車載装置２０から支援要求を受け付けると、遠隔ドライバＤに車両１０の遠隔操縦を行わせる。遠隔ドライバＤは、表示部４４に表示された映像を見ながら、操作部４６のハンドルやペダルを操作して車両１０を遠隔操縦する。遠隔操縦の実行中、情報処理装置４２は、遠隔ドライバＤからの操作入力に応じた制御情報を生成し、生成された制御情報を車載装置２０に送信する。

【0020】

（表示映像）
本開示の遠隔支援システムでは、図２に示すように、遠隔ドライバＤに提示する映像に、遠隔ドライバによる遠隔操縦を補助する補助画像を重畳表示する。補助画像は、少なくとも映像撮像時の制御情報から生成された画像であり、好ましくは、映像撮像時の制御情報と現在の制御情報とから生成された画像である。ここで「現在の制御情報」とは、直近の制御周期で生成された最新の制御情報である。後述する通り、制御情報は操舵や加減速に関する制御値を含み、制御値は制御量を表す。遠隔ドライバＤが直感的に制御量を把握できるように、補助画像では各制御量はアイコン等の画像で表現されている。

【0021】

例えば、図示した例では、表示映像２５０は、元の映像２００に対して、操舵制御量の表示８０、加減速制御量の表示９０、映像撮像時の車両速度の表示１００、及び映像の遅延時間の表示１１０を補助画像として重畳表示した映像である。操舵制御量の表示８０は、映像撮像時の操舵制御量を表す撮像時のアイコン８０Ａと現在の操舵制御量を表す現在のアイコン８０Ｄとを含む。加減速制御量の表示９０は、映像撮像時の加減速制御量を表す撮像時のアイコン９０Ａと現在の加減速制御量を表す現在のアイコン９０Ｄとを含む。車両速度及び遅延時間は数値で表示されている。なお、補助画像の詳細については後述する。

【0022】

映像は遅延して表示されるため、遠隔ドライバＤは、表示される過去の映像を見て少し未来の車両状態を想像する必要がある。しかしながら、想像上の車両状態に対しどの程度の制御量が必要かを瞬時に判断することは非常に難しい。このため、遠隔ドライバＤが異常な制御を行う虞がある。例えば、遠隔ドライバＤは、右にハンドルを切ったにも拘わらす、映像上で車両が右に旋回しない場合に、更に右にハンドルを切る等、過去の映像が表示された時点ではまだ車両へ制御値が到達していないにも拘わらず、それが到達したうえで制御量が不足していると誤解し、不必要に制御を強めてしまう。

【0023】

本開示の遠隔支援システムでは、映像撮像時の制御量を表すアイコンなどが映像に重畳表示されるので、遠隔ドライバＤは、現在見ている映像における車両の動きを引き起こした制御量を知ることができる。遠隔ドライバＤは、過去の制御量を基に、現在ハンドルを切る必要が無いなどの判断を行うことができ、上述した異常な制御を抑制することができる。また、映像撮像時の制御量を表すアイコンと現在の制御量を表すアイコンの両方を映像に重畳表示することで、遠隔ドライバＤは、映像撮像時の制御量と現在の制御量とのギャップを把握することができる。

【0024】

（紐づけ情報）
映像撮像時の制御量をその映像に重畳表示するためには、映像データと映像撮像時の制御情報とが紐づけられていることが重要である。本実施の形態では、車載装置２０が、映像撮像時に、映像データとその映像撮像時の制御情報とを紐づける紐づけ情報を生成し、紐づけ情報を遠隔支援装置４０に送信する。

【0025】

例えば、図３に示すように、遠隔側で遠隔ドライバＤが制御Ａを行い、制御Ａの制御情報が車両側に到達する。車両側で制御Ａに基づく車両制御が行われて、その様子を撮像する撮像ｂが行われる。撮像ｂの映像データは、エンコードされて遠隔側に送信される。遠隔側では、撮像ｂの映像データをデコードして撮像ｂの映像を表示する。ここで、撮像ｂの映像が表示された時点を「現時点」とする。現時点において、遠隔側では遠隔ドライバＤが制御Ｄを行っている。この例では、撮像ｂの映像データと制御Ａの制御情報とが紐づけられる。また、撮像ｂの映像には、制御Ａの制御量を表す画像と、制御Ｄの制御量を表す画像とが重畳表示される。

【0026】

遠隔側で制御Ａの制御情報が生成されてから制御Ａの制御情報が車両側に到達するまでの制御遅延Ｔ_ctrlと、撮像ｂの映像データが生成されてから撮像ｂの映像が表示されるまでの映像遅延Ｔ_videoとは一定ではなく、通信状況等により変動する。本実施の形態では、車両側で紐づけを行うことにより、通信遅延やその揺らぎの影響を受けることなく、映像データと映像撮像時の制御情報とを紐づけることができる。

【0027】

＜各装置の電気的構成＞
次に、車両１０の電気的構成の一例について説明する。
図４に示すように、車両１０は、車載装置２０、カメラ２２、各種センサ２４、車両制御部２６、通信部２８、及び記憶部３０を備えている。ＥＣＵ等の情報処理装置である車載装置２０は、ＣＰＵ（Central Processing Unit）２０Ａ、ＲＯＭ（Read Only Memory）２０Ｂ、ＲＡＭ（Random Access Memory）２０Ｃ、不揮発性のメモリ２０Ｄ、及び入出力部（Ｉ/Ｏ）２０Ｅを備えており、これら各部はバス２０Ｆにより相互に接続されている。カメラ２２、各種センサ２４、車両制御部２６、通信部２８、及び記憶部３０の各部は、Ｉ/Ｏ２０Ｅに接続されている。

【0028】

ＣＰＵ２０Ａは、記憶部３０からプログラムを読み出し、ＲＡＭ２０Ｃを作業領域としてプログラムを実行する。ＣＰＵ１０Ａは、記憶部３０に記憶されているプログラムにしたがって、Ｉ/Ｏ２０Ｅに接続されている各部の制御及び各種の演算処理を行う。

【0029】

カメラ２２は、車両の前方、側方など車両の周囲を撮影する車載カメラである。車両１０には、複数のカメラ２２が設けられていてもよい。各種センサ２４は、車載カメラの外に、車両の周囲の障害物を検知するミリ波レーダやＬＩＤＡＲ（Light Detection and Ranging/Laser Imaging Detection and Ranging）、自車両の現在位置を取得するＧＰＳ（Global Positioning System）装置、車両周囲の音声を収集するマイクロフォン等を含んでいてもよい。ＧＰＳ装置は、標準時刻の取得にも利用することができる。

【0030】

車両制御部２６は、遠隔側から受信した制御情報に応じて車両１０の各機構を制御する制御部であり、この制御により遠隔操縦を実現する。通信部２８は、外部（主に遠隔支援装置４０）と通信するための通信インタフェースであり、例えば、Ｗｉ－Ｆｉ（登録商標）等の狭域無線通信規格、ＬＴＥ（Long Term Evolution）や４Ｇ、５Ｇ等の広域無線通信規格が用いられる。

【0031】

記憶部３０は、ＨＤＤ（Hard Disk Drive）等の外部記憶装置である。記憶部３０には、各種プログラムや各種データが格納されている。本実施の形態では、記憶部３０には、後述する「車両制御処理」や「映像送信処理」を実行するための車両制御プログラム３２、映像送信プログラム３４が格納されている。

【0032】

次に、遠隔支援装置４０の電気的構成の一例について説明する。
図５に示すように、遠隔支援装置４０は、上述した情報処理装置４２、表示部４４、操作部４６の外に、時間計測部４８、通信部５０、及び記憶部５２を備えている。遠隔支援サーバである情報処理装置４２は、ＣＰＵ４２Ａ、ＲＯＭ４２Ｂ、ＲＡＭ４２Ｃ、不揮発性のメモリ４２Ｄ、及び入出力部（Ｉ/Ｏ）４２Ｅを備えており、これら各部はバス４２Ｆにより相互に接続されている。表示部４４、操作部４６、時間計測部４８、通信部５０及び記憶部５２の各部は、Ｉ/Ｏ４２Ｅに接続されている。

【0033】

情報処理装置４２及び通信部５０は、車載装置２０と同様の構成であるため説明を省略する。表示部４４は、ディスプレイ等の表示装置である。表示部４４は、複数のディスプレイを含むマルチディスプレイとしてもよい。操作部４６は、遠隔ドライバＤによる操作を受け付ける操作入力部であり、例えば、ハンドル、アクセルペダル、ブレーキペダル等を含んでいてもよい。

【0034】

時間計測部４８は、時間を取得する機能を備える時計等であり、制御情報を生成した時刻等を記録するのに使用する。例えば、車両側と時間同期させるために、標準時刻を取得可能なＧＰＳ装置としてもよい。記憶部５２は、ＨＤＤ等の外部記憶装置である。記憶部５２には、後述する「車両制御処理」や「映像表示処理」を実行するための車両制御プログラム５４、映像表示プログラム５６や、生成した制御情報を時系列に記録した制御履歴５８が格納されている。

【0035】

＜システムの機能構成＞
次に、図６を参照して遠隔支援システムの機能構成の一例について説明する。
車載装置２０は、映像データ送信部６０、紐づけ部６２、及び車両制御部６４を備えている。一方、遠隔支援装置４０は、情報処理装置４２、表示部４４、及び操作部４６を備えている。また、情報処理装置４２は、映像取得部７０、紐づけ情報取得保持部７２、制御情報生成部７４、制御値記憶部７６、及び表示制御部７８を備えている。これらの機能部は、後述する各制御プログラムが実行されることによって実現される。

【0036】

遠隔側では、制御情報生成部７４が、操作部４６により遠隔ドライバから操作入力を受け付けると、操作入力に応じた制御値を周期的に生成し、その制御値を識別するための制御ＩＤを生成して、制御値とその制御ＩＤとを車両側に送信する。また、制御情報生成部７４は、制御値を生成した時刻を取得し、生成した制御値を生成時刻及び制御ＩＤと関連付けて制御値記憶部７６に時系列に記憶しておく。このように互いに関連付けて記憶しておくことで、制御ＩＤや生成時刻から特定の制御値を引き出すことができる。

【0037】

車両側では、映像データ送信部６０が、カメラ２２から映像データを取得し、取得した映像データをパケットに分割して（即ち、エンコードして）遠隔側に送信する。このとき、映像データのパケットに付与されるタイムスタンプを取得し、紐づけ部６２に出力する。タイムスタンプは、時刻そのものではないが、映像の撮像時刻に応じて付与される文字列であり、映像データを識別する役割を果たす。

【0038】

車両制御部６４は、遠隔側から制御情報を受信し、制御情報に含まれる制御値に応じて車両１０の各機構を制御する。また、車両制御部６４は、制御情報に含まれる制御ＩＤを紐づけ部６２に出力する。紐づけ部６２は、タイムスタンプと制御ＩＤとを紐づける紐づけ情報を生成して、遠隔側に送信する。紐づけ情報により、映像が撮像された時刻を表すタイムスタンプと、映像の撮像時に車両側で取得された制御情報の制御ＩＤとが紐づけられる。紐づけ情報は、映像データを送信する仕組みに影響を与えることなく、映像データとは別のデータストリームで遠隔側に送信される。

【0039】

遠隔側では、映像取得部７０が、車両側から映像データのパケットを受信し、受信したパケットをデコードして映像データを復元し、パケットに付与されたタイムスタンプを取得する。映像取得部７０は、映像データとタイムスタンプとを表示制御部７８に出力する。また、紐づけ情報取得保持部７２は、車両側から紐づけ情報を受信し、受信した紐づけ情報を保持しておく。紐づけ情報は、映像データよりもデータのサイズが小さいため、通信遅延がほとんど生じない。このため、紐づけ情報取得保持部７２は、対応する映像データが届くまで紐づけ情報を保持しておく。例えば、タイムスタンプに関連付けて制御ＩＤを記憶しておくことで、タイムスタンプから特定の制御ＩＤを引き出すことができる。

【0040】

遠隔側では、表示制御部７８は、映像データが入力されると、映像データと一緒に入力されたタイムスタンプを取得し、同じタイムスタンプを含む紐づけ情報を特定し、その紐づけ情報でタイムスタンプに紐づけられた制御ＩＤを特定する。そして、表示制御部７８は、制御ＩＤに関連付けられた制御値を映像撮像時の制御値として取得すると共に、現在の制御値を取得する。表示制御部７８は、映像撮像時の制御値及び現在の制御値を用いて補助画像を生成し、生成した補助画像を重畳表示した映像を生成して、表示部４４に表示する。

【0041】

（車両制御プログラム）
次に、図７を参照して、車載装置側及び遠隔支援装置側の各々で実行される車両制御プログラムの処理の流れを説明する。車両制御プログラム３２は、車載装置２０のＣＰＵ２０Ａによって実行され、車両制御プログラム５４は、遠隔支援装置４０の情報処理装置４２のＣＰＵ４２Ａによって実行される。これらのプログラムの実行は、車載装置２０側から遠隔支援装置４０に支援が要求されると開始される。

【0042】

遠隔側では、まず、ステップＳ２００で、ＣＰＵ４２Ａは、制御周期が到来したかを判断し、制御周期が到来するとステップＳ２０２に進む。次にステップＳ２０２で、ＣＰＵ４２Ａは、遠隔ドライバから操作入力を受け付けて制御値と制御ＩＤとを生成する。次にステップＳ２０４で、ＣＰＵ４２Ａは、通信部５０を制御して、制御値と制御ＩＤとを含む制御情報を車両側に送信させる。

【0043】

次にステップＳ２０６で、ＣＰＵ４２Ａは、制御値と制御ＩＤとを関連付けて記憶部５２に時系列に格納する。次にステップＳ２０８で、ＣＰＵ４２Ａは、支援終了か否か、即ち、遠隔ドライバから遠隔操縦のタスク終了が指示されたか否かを判断する。タスク続行の場合は、ステップＳ２００に戻って次の制御周期まで待機し、タスク終了の場合はルーチンを終了する。

【0044】

一方、車両側では、ステップＳ１００で、ＣＰＵ２０Ａは、通信部２８を介して遠隔側から制御情報を受信したことを確認すると、制御情報から制御値を取得する。続くステップＳ１０２で、ＣＰＵ２０Ａは、制御値に基づいて車両を制御する。次にステップＳ１０４で、ＣＰＵ２０Ａは、遠隔側からの制御情報の受信が終了したか否かを判断する。遠隔側からタスク終了通知を受信した場合、又は制御情報を予め定めた期間受信しなかった場合に、制御情報の受信が終了する。受信終了の場合はルーチンを終了し、それ以外の場合はステップＳ１００に戻る。

【0045】

次に、図８を参照して、車載装置側で実行される映像送信プログラムの処理の流れと、遠隔支援装置側で実行される映像表示プログラムの処理の流れとを説明する。映像送信プログラム３４は、車載装置２０のＣＰＵ２０Ａによって実行され、映像表示プログラム５６は、遠隔支援装置４０の情報処理装置４２のＣＰＵ４２Ａによって実行される。これらのプログラムの実行は、車両の運転が開始されると開始される。なお、車両の走行中は、支援の有無に拘わらず、遠隔側に映像データと紐づけ情報とが送信され、遠隔側の表示部には映像が表示されているものとする。

【0046】

車両側では、まず、ステップＳ３００で、ＣＰＵ２０Ａは、カメラ２２から映像データを取得し、続くステップＳ３０２で、映像データをエンコードしてパケットを生成する。次にステップＳ３０４で、ＣＰＵ２０Ａは、通信部２８を制御して、映像データのパケットを遠隔側に送信させる。

【0047】

次にステップＳ３０６で、ＣＰＵ２０Ａは、映像データのパケットに付与されるタイムスタンプを取得する。次にステップＳ３０８で、ＣＰＵ２０Ａは、映像撮像時の制御値に対応する制御ＩＤを取得する。次にステップＳ３１０で、ＣＰＵ２０Ａは、タイムスタンプと制御ＩＤとを紐づけて紐づけ情報を生成する。次にステップＳ３１２で、ＣＰＵ２０Ａは、通信部２８を制御して、紐づけ情報を遠隔側に送信させる。

【0048】

次にステップＳ３１４で、ＣＰＵ２０Ａは、運転終了か否かを判定する。運転終了の場合はルーチンを終了し、運転続行の場合はステップＳ３００に戻る。

【0049】

遠隔側では、まず、ステップＳ４００で、ＣＰＵ４２Ａは、通信部５０を介して車両側から紐づけ情報を受信したことを確認し、受信した紐づけ情報をメモリ４２Ｄに記憶しておく等して保持しておく。次にステップ４０２で、ＣＰＵ４２Ａは、通信部５０を介して車両側から映像データのパケットを受信したことを確認し、続くステップＳ４０４で、ＣＰＵ４２Ａは、受信したパケットをデコードして映像データを復元する。続くステップＳ４０６で、ＣＰＵ４２Ａは、パケットに付与されたタイムスタンプを取得する。

【0050】

なお、ここでは、ステップＳ４００～Ｓ４０６の処理を所定の順序で記載しているが、ステップＳ４００～Ｓ４０６の処理の順序は適宜入れ替えてもよい。上述した通り、紐づけ情報は、映像データよりもデータのサイズが小さいため、通信遅延がほとんど生じない。このため、映像データが遅延している間に、対応する紐づけ情報が先に受信される。複数の紐づけ情報が先に受信される場合もある。したがって、遠隔側では、各情報を受信したことに応じて対応する処理を行えばよい。

【0051】

次にステップＳ４０８で、ＣＰＵ４２Ａは、予め定めた判断基準に従って補助画像の重畳表示を行うか否かを判断する。第１の実施形態では、遠隔ドライバによる遠隔操縦の実行中は、補助画像の重畳表示を行い、それ以外の場合は補助画像の重畳表示を行わないこととする。補助画像の重畳表示を行わない場合は、ステップＳ４１０に進む。次にステップＳ４１０で、ＣＰＵ４２Ａは、表示部４４を制御して、通常の映像を表示させる。

【0052】

一方、補助画像の重畳表示を行う場合は、ステップＳ４１４に進む。次にステップＳ４１４で、ＣＰＵ４２Ａは、補助画像を元の映像に重畳表示する「重畳表示処理」を実行する。次にステップＳ４１２で、ＣＰＵ４２Ａは、運転終了か否かを判定する。運転終了の場合はルーチンを終了し、運転続行の場合はステップＳ４００に戻る。

【0053】

ここで、図９を参照して「重畳表示処理」の流れを説明する。
まず、ステップＳ５００で、ＣＰＵ４２Ａは、映像データから取得したタイムスタンプに対応する制御ＩＤを取得する。続くステップＳ５０２で、ＣＰＵ４２Ａは、制御ＩＤに関連付けられた制御値を、映像撮像時の制御値として取得する。次にステップＳ５０４で、ＣＰＵ４２Ａは、現在の制御値を取得する。次にステップＳ５０６で、ＣＰＵ４２Ａは、映像撮像時の制御値及び現在の制御値を用いて補助画像を生成する。続くステップＳ５０８で、ＣＰＵ４２Ａは、補助画像を重畳表示した映像を生成し、表示部４４を制御して補助画像を重畳表示した映像を表示させる。

【0054】

＜補助画像＞
次に、補助画像のバリエーションについて説明する。
第１の実施の形態では、操舵制御量の表示８０、加減速制御量の表示９０、映像撮像時の車両速度の表示１００、及び映像の遅延時間の表示１１０を補助画像として重畳表示する。

【0055】

ここで、図１０及び図１１を参照して、操舵制御量の表示８０のバリエーションについて詳細に説明し、図１２を参照して、加減速制御量の表示９０のバリエーションについて詳細に説明する。

【0056】

（操舵制御量の表示）
図１０（Ａ）に示す例では、操舵制御量の表示８０は、映像撮像時の操舵制御量を表す撮像時のアイコン８０Ａと、現在の操舵制御量を表す現在のアイコン８０Ｄと、を左右に並べて表示したものである。右側に配置された撮像時のアイコン８０Ａと左側に配置された現在のアイコン８０Ｄとの間には、時間の推移を表す左向きの矢印８８が配置されている。

【0057】

撮像時のアイコン８０Ａは、ハンドルの絵柄で操舵を表すマーク８２Ａと、操舵方向及び操舵角を表すインジケータ８６Ａとを含む。マーク８２Ａには、基準マーク８４Ａが設けられている。マーク８２Ａはハンドルの回転角度で操舵角を表しており、基準マーク８４Ａがハンドルの水平方向の中央にあるときに操舵角が０°となる。インジケータ８６Ａは１つ又は複数の矢印で構成されている。矢印の向きが操舵方向、即ち、右旋回か左旋回かを表し、矢印の個数が操舵角の大きさを表す。同様に、現在のアイコン８０Ｄも、操舵を表すマーク８２Ｄ、基準マーク８４Ｄ、及びインジケータ８６Ｄを含む。

【0058】

このようなアイコンによれば、遠隔ドライバは、操舵方向や操舵角を直感的に把握することができる。また、撮像時のアイコン８０Ａと現在のアイコン８０Ｄの２つが表示される場合には、過去と現在の操舵方向や操舵角のギャップを直感的に把握することができる。例えば、図１０（Ａ）に示す例では、遠隔ドライバは、右旋回制御から左旋回制御に移行中であることを確認することができる。

【0059】

図１０（Ｂ）に示すように、撮像時のアイコン８０Ａと現在のアイコン８０Ｄとで配色を変更してもよい。例えば、撮像時のアイコン８０Ａのマーク８２Ａに黒などの濃色を使用し、現在のアイコン８０Ｄのマーク８２Ｄにグレーなどの淡色を使用する。撮像時のアイコン８０Ａに対し濃色を使用することで、撮像時のアイコン８０Ａを現在のアイコン８０Ｄよりも強調表示することができる。なお、アイコンの配色を変更する代わりに、アイコンの背景の色を変更してもよい。また、図１０（Ａ）と同様に、撮像時のアイコン８０Ａと現在のアイコン８０Ｄとの間に矢印８８を配置してもよい。

【0060】

図１０（Ｃ）及び（Ｄ）に示すように、撮像時のアイコン８０Ａと現在のアイコン８０Ｄの位置関係を変更してもよい。例えば、図１０（Ｃ）に示すように、左側に撮像時のアイコン８０Ａを配置し、左側に現在のアイコン８０Ｄを配置して、撮像時のアイコン８０Ａと現在のアイコン８０Ｄとの間に右向きの矢印８８を配置してもよいし、図１０（Ｄ）に示すように、上側に撮像時のアイコン８０Ａを配置し、下側に現在のアイコン８０Ｄを配置して、撮像時のアイコン８０Ａと現在のアイコン８０Ｄとの間に下向きの矢印８８を配置してもよい。

【0061】

また、インジケータ８６Ａについても種々の変更が可能である。ここでは、撮像時のアイコン８０Ａのインジケータ８６Ａの変形例を例示するが、現在のアイコン８０Ｄのインジケータ８６Ｄについても同様の変更が可能である。

【0062】

例えば、図１１（Ａ）及び（Ｂ）に示すように、インジケータ８６Ａを、ハンドルの回転中心に対して放射状に配置される１つ又は複数のバーで構成してもよい。この場合は、例えば、右旋回は緑色、左旋回は黄色などバーの色が操舵方向を表し、バーの個数が操舵角の大きさを表す。また、インジケータ８６Ａを、図１１（Ｃ）に示すように円弧状のゲージとしてもよく、図１１（Ｄ）に示すように棒状のゲージとしてもよい。更に、図１１（Ｅ）及び（Ｆ）に示すように、インジケータ８６Ａをスパイラル状としてもよい。インジケータ８６Ａをスパイラル状とすることで、操舵角が３６０°を超える場合も、操舵角の大きさを的確に表現することができる。

【0063】

（加減速制御量の表示）
図１２（Ａ）に示す例では、加減速制御量の表示９０は、映像撮像時の加減速制御量を表す撮像時のアイコン９０Ａと、現在の加減速制御量を表す現在のアイコン９０Ｄと、を左右に並べて表示したものである。右側に配置された撮像時のアイコン９０Ａと左側に配置された現在のアイコン９０Ｄとの間には、時間の推移を表す左向きの矢印９６が配置されている。

【0064】

撮像時のアイコン９０Ａは、背景９２Ａと、ペダル量を表すインジケータ９４Ａとを含む。インジケータ９４Ａは、複数のバーを縦方向に沿って配列したものである。全部のバーでペダル量の上限値を表し、全部のバーに対する着色されたバーの割合で制御値に対応したペダル量を段階的に表す。例えば、下から２つ目まで着色されるとアクセルは２段階目、下から３つ目まで着色されるとアクセルは３段階目というように、ペダル量は段階的に増減する。アクセルの場合はバーを緑色に着色し、ブレーキの場合はバーを赤色に着色する等、バーの色でアクセルとブレーキを区別する。同様に、現在のアイコン９０Ｄも、背景９２Ｄと、ペダル量を表すインジケータ９４Ｄとを含む。

【0065】

このようなアイコンによれば、遠隔ドライバは、アクセルとブレーキの別やペダル量を直感的に把握することができる。また、撮像時のアイコン９０Ａと現在のアイコン９０Ｄの２つが表示される場合には、過去と現在のペダル量のギャップを直感的に把握することができる。例えば、図１２（Ａ）に示す例では、遠隔ドライバは、アクセルを２段階目から４段階目に移行中であることを確認することができる。

【0066】

図１２（Ｂ）及び図１２（Ｃ）に示すように、撮像時のアイコン９０Ａと現在のアイコン９０Ｄとで配色を変更してもよい。例えば、図１２（Ｂ）に示すように、撮像時のアイコン９０Ａのインジケータ９４Ａのバーを濃い緑色などの濃色で着色し、現在のアイコン９０Ｄのインジケータ９４Ｄのバーを淡い緑色などの淡色で着色する。或いは、図１２（Ｃ）に示すように、撮像時のアイコン９０Ａの背景９２Ａに黒色などの濃色を使用し、現在のアイコン９０Ｄの背景９２Ｄにグレーなどの淡色を使用する。撮像時のアイコン９０Ａに対し濃色を使用することで、撮像時のアイコン９０Ａを現在のアイコン９０Ｄよりも強調表示することができる。

【0067】

その他、操舵制御量の表示８０と同様に、撮像時のアイコン９０Ａと現在のアイコン９０Ｄとの左右の配置を反転させる、撮像時のアイコン９０Ａと現在のアイコン９０Ｄとを上下に配置する等、撮像時のアイコン８０Ａと現在のアイコン８０Ｄの位置関係を変更してもよい。

【0068】

以上説明した通り、第１の実施の形態によれば、映像撮像時の制御量を表すアイコンが映像に重畳表示されるので、遠隔ドライバは、現在見ている映像における車両の動きを引き起こした制御量を直感的に把握することができる。遠隔ドライバは、過去の制御量を基に、現在、ハンドルを切る必要が無いなどの判断を行うことができ、異常な制御を抑制することができる。また、映像撮像時の制御量を表すアイコンと現在の制御量を表すアイコンの両方が映像に重畳表示されることで、遠隔ドライバは、映像撮像時の制御量と現在の制御量とのギャップを直感的に把握することができる。

【0069】

[第２の実施形態]
第２の実施形態は、補助画像の構成が第１の実施形態とは異なる以外は、第１の実施の形態と同様の構成であるため、同じ部分については説明を省略し、相違点のみ説明する。

【0070】

第１の実施形態では、補助画像は、操舵制御量の表示８０、加減速制御量の表示９０、映像撮像時の車両速度の表示１００、及び映像の遅延時間の表示１１０を含むが、第２の実施形態では、図１３に示すように、補助画像は、映像撮像時の制御量の表示１２０Ａ、現在の制御量の表示１２０Ｄ、映像撮像時の車両速度の表示１００、及び映像の遅延時間の表示１１０を含む。

【0071】

映像撮像時の制御量の表示１２０Ａは、映像撮像時の操舵制御量を表す撮像時のアイコン８０Ａと、映像撮像時の加減速制御量を表す撮像時のアイコン９０Ａと、を左右に並べて表示したものである。また、現在の制御量の表示１２０Ｄは、現在の操舵制御量を表す現在のアイコン８０Ｄと、現在の加減速制御量を表す現在のアイコン９０Ｄとを左右に並べて表示したものである。このように、操舵制御量を表すアイコンと加減速制御量を表すアイコンとをセットで表示することで、遠隔ドライバは、複数の制御量を一度に把握することができる。

【0072】

また、図１４（Ａ）に示すように、補助画像は、映像撮像時の加速度の表示１３０Ａを含んでいてもよい。加速度の表示１３０Ａは、加減速制御量を表す撮像時のアイコン９０Ａの近くに配置される。車速によるギアの違いや、乗車人数による車両重量などに起因して、遠隔オペレータのペダル操作による制御量と実際の加速度との間にずれが生じる場合がある。映像撮像時の加減速制御量と共にそのときの加速度を表示することで、遠隔オペレータは、映像からは伝わり難い加速度の変化を把握することができ、異常なペダル操作を抑制することができる。

【0073】

加速度の表示１３０Ａは、図１４（Ｂ）及び（Ｃ）に示すように、１つ又は複数の矢印で構成されるインジケータとしてもよい。矢印の向きや色で加速度の種類、即ち、加速か減速かを表し、全部の矢印で加速度の上限値を表し、全部の矢印に対する着色された部分の割合で加速度の大きさを表す。例えば、上向きの矢印を含む表示１３０Ａ１～１３０Ａ３は加速を表し、下向きの矢印を含む表示１３０Ａ４～１３０Ａ６は減速を表す。また、例えば、加速を表す表示１３０Ａ１～１３０Ａ３を青色や緑色などの寒色で表し、減速を表す表示１３０Ａ４～１３０Ａ６を赤色やピンク色などの暖色で表してもよい。

【0074】

以上説明した通り、第２の実施形態によれば、第１の実施形態と同様の効果を得ることができると共に、操舵制御量を表すアイコンと加減速制御量を表すアイコンとをセットで表示することで、遠隔ドライバは複数の制御量を一度に把握することができる。

【0075】

[第３の実施の形態]
第３の実施形態は、補助画像の構成が第１の実施形態とは異なる以外は、第１の実施の形態と同様の構成であるため、同じ部分については説明を省略し、相違点のみ説明する。

【0076】

第３の実施形態では、図１５に示すように、補助画像は、制御量の表示１４０と、映像撮像時の車両速度の表示１００、及び映像の遅延時間の表示１１０を含む。制御量の表示１４０は、映像撮像時の制御量を表す矢印型の撮像時のアイコン１４０Ａと、現在の制御量を表す矢印型の現在のアイコン１４０Ｄと、を含む。

【0077】

第１及び第２の実施形態では、操舵制御量と加減速制御量とをアイコンで表現したが、矢印型のアイコン１４０Ａ及び１４０Ｄは、矢印の向きで車両の進行方向を表している。矢印の始点は、制御起点を表し、画面内の任意の位置に配置することができる。このように制御量を矢印型のアイコンで表示することで、遠隔ドライバは、制御量をより直感的に把握することができる。

【0078】

図１６に示すように、遅延時間における車両の軌跡を上から見ると、撮像時のアイコン１４０Ａで表される撮像時の車両の進行方向は、点線で示す撮像時（即ち、制御Ａの実行時）のタイヤ方向であり、撮像時の操舵角から算出することができる。現在のアイコン１４０Ｄで表される現在の車両の進行方向は、点線で示す現時点（即ち、制御Ｄの生成時）での直進方向(即ち、カメラ方向）に対するタイヤ方向であり、現時点での操舵角から算出することができる。

【0079】

図１７（Ａ）に示すように、撮像時のアイコン１４０Ａと現在のアイコン１４０Ｄとを異なる色で表示してもよい。例えば、撮像時のアイコン１４０Ａを黄色で表示し、現在のアイコン１４０Ｄを青色で表示してもよい。両者が区別し易くなる。また、矢印の始点が見易いように矢印の始点にマーク１４４を付してもよい。

【0080】

また、矢印型のアイコンは、基本的には車両の進行方向を表すものであるが、他の制御量を表すこともできる。例えば、矢印の長さは車速を表してもよい。例えば、時速Ｘ［ｋｍ／ｈ］のときの秒速ｘ［ｍ／ｓ］を車速の表現として、制御起点からｘ［ｍ］先を矢印の終点とする等、ある基準長さから車速に比例して伸長する長さの矢印で、車速を表現することができる。

【0081】

また、第１及び第２の実施形態と同様に、インジケータで加減速制御量を表すようにしてもよい。例えば、図１７（Ｂ）に示すように、矢印型の撮像時のアイコン１４０Ａを、背景１４６Ａと、ペダル量を表すインジケータ１４２Ａとを含むように構成する。アクセルの場合は背景１４６Ａとインジケータ１４２Ａの一部とを緑色に着色し、ブレーキの場合は背景１４６Ａとインジケータ１４２Ａの一部とを赤色に着色する等、配色でアクセルとブレーキとを区別してもよい。矢印型の現在のアイコン１４０Ｄについても同様である。

【0082】

以上説明した通り、第３の実施形態によれば、第１の実施形態と同様の効果を得ることができると共に、制御量を矢印型のアイコンで表すことで、矢印の方向が車両の進行方向と直結するので、遠隔ドライバは制御量をより直感的に把握することができる。

【0083】

[第４の実施の形態]
第４の実施形態は、補助画像の構成が第１の実施形態とは異なる以外は、第１の実施の形態と同様の構成であるため、同じ部分については説明を省略し、相違点のみ説明する。

【0084】

第４の実施形態では、図１８に示すように、補助画像は、映像撮像時の制御量を表す矢印型の撮像時のアイコン１４０Ａ、現在の制御量を表す矢印型の現在のアイコン１４０Ｄ、映像撮像時の車両速度の表示１００、及び映像の遅延時間の表示１１０を含む。

【0085】

第４の実施形態の矢印型のアイコン１４０Ａ及び１４０Ｄは、矢印の向きで車両の進行方向を表す点では、第３の実施形態の矢印型のアイコン１４０Ａ及び１４０Ｄと同様である。また、第３の実施形態と同様に、撮像時のアイコン１４０Ａと現在のアイコン１４０Ｄとを異なる色で表示してもよい。また、矢印の始点にマーク１４４を付してもよい。また、矢印の長さで車速を表してもよく、矢印内のインジケータで加減速制御量を表すようにしてもよい。

【0086】

しかしながら、第４の実施形態の矢印型のアイコン１４０Ａ及び１４０Ｄは、車両の進行方向を空間的に表示するものであり、制御起点を表す矢印の始点は、画面内の各制御時点での車両の位置又は推定位置に配置される。したがって、遠隔ドライバは、第３の実施形態に比べて、現時点での車両位置をよりリアルに把握することができる。

【0087】

ここで、第４の実施形態における矢印型アイコンの生成方法について簡単に説明する。
図１９に示すように、遅延時間における車両の軌跡を上から見ると、映像撮像時に車両側で実行される制御Ａに係る制御情報が遠隔側で生成された後、現時点で制御Ｄに係る制御情報が生成されるまでの間に、制御Ｂ及び制御Ｃに係る制御情報が生成されて、車両は制御Ａ～Ｃに従って移動する。

【0088】

各制御に対応する矢印が地面に描画されているものとして、撮像時（即ち、制御Ａの実行時）に対応する矢印と現時点（即ち、制御Ｄの生成時）に対応する矢印とについて、その始点及び終点の三次元座標を求める。矢印の始点は、制御時点での車両の位置又は推定位置であり、矢印の向きは、制御時点での車両の進行方向であり、矢印の長さは制御時点での車速である。

【0089】

撮像時（即ち、制御Ａの実行時）の車両の位置、進行方向、車速は、撮像時の制御量や車両情報から取得することができる。現時点（即ち、制御Ｄの生成時）での車両の位置、進行方向、車速は、公知の車両運動モデルを用いて制御Ａ～Ｃの制御量から推定することができる。これにより、各矢印の始点及び終点の三次元座標を求めることができる。

【0090】

地面に描画された制御Ａに対応する矢印と制御Ｄに対応する矢印とをカメラ２２で撮像した場合、図２０に示すように、透視投影変換により三次元空間上の座標（Ｘ，Ｙ，Ｚ）は画像上での座標（ｕ，ｖ）に変換される。これにより矢印型のアイコン１４０Ａ及び１４０Ｄを表示する位置が特定される。

【0091】

例えば、ピンホールカメラモデルを用いた透視投影変換では、下記式に基づいて座標変換を行うことができる。外部パラメータは世界座標系（即ち、図２０に示す三次元座標系）からカメラ座標系（図２０に示す、ｘ_ｃａｍ，ｙ_ｃａｍ，ｚ_ｃａｍで表される座標系）への変換を行うために行列であり、内部パラメータはカメラ座標系から画像座標系（即ち、図２０に示す二次元座標系）への変換を行うための行列である。行列Ｐ、Ａ、[Ｒ|ｔ]は、カメラのキャリブレーション情報やアライメント情報から取得することができる。

【0092】

【数1】

【0093】

Ｍ´：世界座標［Ｘ，Ｙ，Ｚ，１］
ｍ´：画像座標［ｕ，ｖ，１］
ｓ：スケールファクタ
Ｐ：透視投影行列
Ａ：内部パラメータ
[Ｒ|ｔ]：外部パラメータ

【0094】

以上説明した通り、第４の実施形態によれば、第１の実施形態と同様の効果を得ることができると共に、制御量を矢印型のアイコンで表すことで、矢印の方向が車両の進行方向と直結するので、遠隔ドライバは制御量をより直感的に把握することができる。また、遠隔ドライバは、制御量をより直感的に把握することができることに加えて、現時点での車両位置をよりリアルに把握することができる。

【0095】

[第５の実施の形態]
第５の実施形態は、補助画像の構成が第１の実施形態とは異なる以外は、第１の実施の形態と同様の構成であるため、同じ部分については説明を省略し、相違点のみ説明する。

【0096】

第５の実施形態では、図２１（Ａ）に示すように、補助画像は、制御量の差分の表示１５０と、映像撮像時の車両速度の表示１００、及び映像の遅延時間の表示１１０を含む。制御量の差分の表示１５０は、映像撮像時の操舵制御量と現在の操舵制御量との差分を表すアイコン１６０と、映像撮像時の加減速制御量と現在の加減速制御量との差分を表すアイコン１７０とを含む。

【0097】

図２１（Ｂ）に示すように、操舵制御量の差分を表すアイコン１６０は、ハンドルの絵柄で操舵を表すマーク１６２と、操舵方向及び操舵角の差分を表すインジケータ１６６とを含む。マーク１６２には、基準マーク１６４が設けられている。加減速制御量の差分を表すアイコン１７０は、背景１７２と、ペダル量を表すインジケータ１７４とを含む。

【0098】

ここで、第１の実施形態の補助画像と比較すると、第１の実施形態では、映像撮像時の操舵制御量を表す撮像時のアイコン８０Ａ、現在の操舵制御量を表す現在のアイコン８０Ｄ、映像撮像時の加減速制御量を表す撮像時のアイコン９０Ａ、及び現在の加減速制御量を表す現在のアイコン９０Ｄの２組４つのアイコンが表示されるが、第５の実施形態は、操舵制御量の差分を表すアイコン１６０及び加減速制御量の差分を表すアイコン１７０の１組２つのアイコンだけが表示され、補助画像が簡素化されている。

【0099】

図２１（Ｂ）に示す例では、撮像時のアイコン８０Ａに示すように映像撮像時にはハンドルを右に傾けているが、現在のアイコン８０Ｄに示すように現在は左に戻そうとしている。アイコン１６０では、インジケータ１６６が左に戻そうとしていることを表現している。また、撮像時のアイコン９０Ａに示すように映像撮像時にはアクセルは２段階目であるが、現在のアイコン９０Ｄに示すように現在はアクセルが４段階目である。アイコン１７０では、これらの制御の差分を表すために、現在の制御量（アクセル４段階目）と、制御量の増加分（アクセル２段階分）とを異なる色で表示して、アクセルを踏み込んでいることを表現している。

【0100】

以上説明した通り、第５の実施形態によれば、映像撮像時の制御量と現在の制御量との差分を表すアイコンを映像に重畳表示することで、遠隔ドライバは、映像撮像時の制御量と現在の制御量とのギャップを直感的に把握することができる。また、映像撮像時の制御量を表すアイコンと現在の制御量を表すアイコンの両方を映像に重畳表示する場合に比べて、補助画像が簡素化されて見易くなる。

【0101】

[第６の実施の形態]
第６の実施形態は、補助画像の構成が第１の実施形態とは異なる以外は、第１の実施の形態と同様の構成であるため、同じ部分については説明を省略し、相違点のみ説明する。

【0102】

第６の実施形態では、図２２（Ａ）に示すように、補助画像は、操舵制御量の表示８０、加減速制御量の表示９０、映像撮像時の車両速度の表示１００、及び映像の遅延時間の表示１８０を含むが、第１の実施形態とは異なり、映像の遅延時間の表示１８０は、遅延時間を数値で表示するのではなく、映像の枠部の色で表示する。図２２（Ｂ）に示すように、遅延時間が大きくなるにしたがって、枠色が緑色→青色→黄色→オレンジ色→赤色と変化する。

【0103】

以上説明した通り、第６の実施形態によれば、第１の実施形態と同様の効果を得ることができると共に、遠隔ドライバは、枠色の移り変わりにより、遅延時間の増減を直感的に把握することができる。

【0104】

[第７の実施の形態]
第７の実施形態は、遅延時間が長くなった場合にだけ補助画像を表示すること以外は、第１の実施の形態と同様の構成であるため、同じ部分については説明を省略し、相違点のみ説明する。

【0105】

図２３に示すように、通信遅延は一定時間でなく、上述した通信遅延の揺らぎにより増減する。第７の実施形態では、遠隔支援装置４０の情報処理装置４２は、遅延時間を監視しており、遅延時間が閾値を超えた場合に、映像に補助画像を重畳表示するように制御してもよい。

【0106】

例えば、図８のステップＳ４０８で、ＣＰＵ４２Ａは、遅延時間が閾値を超えた場合に補助画像の重畳表示を行い、遅延時間が閾値以下では補助画像の重畳表示を行わないこととしてもよい。遅延が小さい場合には、余計な情報を表示しない方が遠隔ドライバは遠隔操縦に集中することができる。

【0107】

また、補助画像の重畳表示を行うか行わないかではなく、補助画像の内容（例えば、含まれるアイコンの種類、位置、数）を変更してもよい。例えば、図２４に示すように、遅延時間が閾値以下の場合には、映像撮像時の車両速度の表示１００及び映像の遅延時間の表示（ここでは、数値による表示）１１０を補助画像として重畳表示し、遅延時間が閾値を超えた場合には、操舵制御量の表示８０、加減速制御量の表示９０、映像撮像時の車両の進行方向を表す矢印型の撮像時のアイコン１４０Ａ、現在の車両の進行方向を表す矢印型の現在のアイコン１４０Ｄ、映像撮像時の車両速度の表示１００、及び映像の遅延時間の表示（ここでは、枠色による表示）１８０を補助画像として重畳表示してもよい。

【0108】

また、遅延時間が閾値を跨いで頻繁に変動したのでは、補助画像が表示されたり消えたりして煩わしい。したがって、閾値を超える場合の判定は遅延時間の瞬時値を利用して行い、閾値を下回る場合の判定は遅延量の移動平均値を利用して行うようにする。遅延量の移動平均値は、遅延時間の瞬時値に比べて変動が少ないので、補助画像の表示が変更される頻度を少なくすることができる。

【0109】

以上説明した通り、第７の実施形態によれば、第１の実施形態と同様の効果を得ることができると共に、遠隔遅延の大きさに応じて補助画像の表示の有無又は表示される補助画像の内容が変更されるので、遠隔ドライバの集中力を削ぐことなく、補助画像を表示することができる。

【0110】

[変形例]
以上、遠隔支援装置、遠隔支援システム、プログラム及び遠隔支援方法の例示的な実施の形態について説明したが、本発明は、実施の形態に記載の範囲には限定されない。本発明の主旨を逸脱しない範囲で実施の形態に多様な変更又は改良を加えることができ、当該変更又は改良を加えた形態も本発明の技術的範囲に含まれる。

【0111】

例えば、上記各実施形態は、適宜組み合わせて実行することも可能である。

【0112】

また、上記各実施形態では、映像データと紐づけ情報とを別のデータストリームで送信しているが、紐づけ情報を映像データに含めて送信してもよく、制御ＩＤを映像データに含めて送信することも可能である。この場合は、タイムスタンプによる照合等が不要になる。

【0113】

また、例えば、上記実施の形態で説明したプログラムの処理の流れも一例であり、主旨を逸脱しない範囲内において不要なステップを削除したり、新たなステップを追加したり、処理順序を入れ替えたりしてもよい。また、上記実施の形態では、プログラムを実行することにより、実施形態に係る処理がコンピュータを利用してソフトウェア構成により実現される場合について説明したが、これに限らない。例えば、ハードウェア構成や、ハードウェア構成とソフトウェア構成との組み合わせによって処理を実現してもよい。

【0114】

また、上記実施形態でＣＰＵがソフトウェア（プログラム）を読み込んで実行したプログラムを、ＣＰＵ以外の各種のプロセッサが実行してもよい。この場合のプロセッサとしては、ＦＰＧＡ（Field-Programmable Gate Array）等の製造後に回路構成を変更可能なＰＬＤ（Programmable Logic Device）、及びＡＳＩＣ（Application Specific Integrated Circuit）等の特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路等が例示される。

【0115】

また、上記各プログラムを、これらの各種のプロセッサのうちの１つで実行してもよいし、同種又は異種の２つ以上のプロセッサの組み合わせ（例えば、複数のＦＰＧＡ、及びＣＰＵとＦＰＧＡとの組み合わせ等）で実行してもよい。また、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子等の回路素子を組み合わせた電気回路である。

【0116】

また、上記各実施形態では、プログラムが記憶部に予め記憶（インストール）されている態様を説明したが、これに限定されない。プログラムは、ＣＤ－ＲＯＭ（Compact Disk Read Only Memory）、ＤＶＤ－ＲＯＭ（Digital Versatile Disk Read Only Memory）、ＵＳＢ（Universal Serial Bus）メモリ、半導体メモリ等の非一時的（non-transitory）記憶媒体に記憶された形態で提供されてもよい。また、上記各プログラムは、ネットワークを介して外部装置からダウンロードされる形態としてもよい。

【符号の説明】

【0117】

１０ 車両、１２ 遠隔コックピット、２０ 車載装置、２２ カメラ、４０ 遠隔支援装置、４２ 情報処理装置、６０ 映像データ送信部、６２ 紐づけ部、６４ 車両制御部、７０ 映像取得部、７２ 情報取得保持部、７４ 制御情報生成部、７６ 制御値記憶部、７８ 表示制御部、Ｄ 遠隔ドライバ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】

【図22】

【図23】

【図24】