知財求人 - 知財ポータルサイト「IP Force」
▶ ウーブン・プラネット・ホールディングス株式会社の特許一覧
特開2024-108718遠隔操作システム、遠隔操作支援方法、及び遠隔オペレータ端末
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024108718
(43)【公開日】2024-08-13
(54)【発明の名称】遠隔操作システム、遠隔操作支援方法、及び遠隔オペレータ端末
(51)【国際特許分類】
G08G 1/00 20060101AFI20240805BHJP
G08G 1/09 20060101ALI20240805BHJP
【ＦＩ】
G08G1/00 A
G08G1/09 F
【審査請求】未請求
【請求項の数】11
【出願形態】ＯＬ
(21)【出願番号】P 2023013235
(22)【出願日】2023-01-31
(71)【出願人】
【識別番号】521042770
【氏名又は名称】ウーブン・バイ・トヨタ株式会社
(74)【代理人】
【識別番号】110003199
【氏名又は名称】弁理士法人高田・高橋国際特許事務所
(72)【発明者】
【氏名】末廣 優樹
(72)【発明者】
【氏名】渡辺 敏暢
【テーマコード（参考）】
5H181
【Ｆターム（参考）】
5H181AA01
5H181AA26
5H181BB04
5H181CC03
5H181CC04
5H181CC12
5H181CC14
5H181EE02
5H181FF04
5H181FF05
5H181FF32
5H181LL07
5H181LL09
5H181MA48
(57)【要約】
【課題】遠隔オペレータによる移動体の遠隔操作の安全性を確保すること。
【解決手段】遠隔オペレータは、移動体の遠隔操作を行う。移動体は、移動体の周囲の状況を認識するための認識センサを備える。認識センサは、画像を取得するカメラを含む。移動体は、認識センサを用いて移動体の周囲の物体を認識し、その認識結果を示す物体情報を取得する。移動体と遠隔オペレータ端末との間の通信の通信速度が閾値未満である場合、移動体は、画像を送信することなく物体情報を遠隔オペレータ端末に送信する。画像を受け取らなかった場合、遠隔オペレータ端末は、物体情報に基づいて、移動体の周囲の物体を表す代替画像を生成し、代替画像を遠隔オペレータに提示する。この代替モードの開始時に移動体が移動している場合、第１処理よりも処理負荷が軽い第２処理によって代替画像が生成される。
【選択図】図１６
【解決手段】遠隔オペレータは、移動体の遠隔操作を行う。移動体は、移動体の周囲の状況を認識するための認識センサを備える。認識センサは、画像を取得するカメラを含む。移動体は、認識センサを用いて移動体の周囲の物体を認識し、その認識結果を示す物体情報を取得する。移動体と遠隔オペレータ端末との間の通信の通信速度が閾値未満である場合、移動体は、画像を送信することなく物体情報を遠隔オペレータ端末に送信する。画像を受け取らなかった場合、遠隔オペレータ端末は、物体情報に基づいて、移動体の周囲の物体を表す代替画像を生成し、代替画像を遠隔オペレータに提示する。この代替モードの開始時に移動体が移動している場合、第１処理よりも処理負荷が軽い第２処理によって代替画像が生成される。
【選択図】図１６
【特許請求の範囲】
【請求項1】
遠隔オペレータによる遠隔操作の対象である移動体と、
前記遠隔オペレータ側の遠隔オペレータ端末と
を備え、
前記移動体は、前記移動体の周囲の状況を認識するための認識センサを備え、
前記認識センサは、前記移動体の周囲の前記状況を示す画像を取得するカメラを含み、
前記移動体は、前記認識センサを用いて前記移動体の周囲の物体を認識し、前記物体の認識結果を示す物体情報を取得し、
前記移動体と前記遠隔オペレータ端末との間の通信の通信速度が閾値未満である場合、前記移動体は、前記画像を前記遠隔オペレータ端末に送信することなく、前記物体情報と前記移動体に関する移動体情報を前記遠隔オペレータ端末に送信し、
前記移動体から前記画像を受け取らなかった場合、前記遠隔オペレータ端末は、代替モードで動作し、
前記代替モードにおいて、前記遠隔オペレータ端末は、前記物体情報と前記移動体情報に基づいて、前記移動体の周囲の前記物体を表す代替画像を生成し、前記代替画像を前記遠隔オペレータに提示し、
前記代替モードの開始時、前記遠隔オペレータ端末は、
前記移動体情報に基づいて、前記移動体が停止しているか移動しているかを判定し、
前記移動体が停止している場合、第１処理によって前記代替画像を生成し、
前記移動体が移動している場合、前記第１処理よりも処理負荷が軽い第２処理によって前記代替画像を生成する
ように構成された
遠隔操作システム。
前記遠隔オペレータ側の遠隔オペレータ端末と
を備え、
前記移動体は、前記移動体の周囲の状況を認識するための認識センサを備え、
前記認識センサは、前記移動体の周囲の前記状況を示す画像を取得するカメラを含み、
前記移動体は、前記認識センサを用いて前記移動体の周囲の物体を認識し、前記物体の認識結果を示す物体情報を取得し、
前記移動体と前記遠隔オペレータ端末との間の通信の通信速度が閾値未満である場合、前記移動体は、前記画像を前記遠隔オペレータ端末に送信することなく、前記物体情報と前記移動体に関する移動体情報を前記遠隔オペレータ端末に送信し、
前記移動体から前記画像を受け取らなかった場合、前記遠隔オペレータ端末は、代替モードで動作し、
前記代替モードにおいて、前記遠隔オペレータ端末は、前記物体情報と前記移動体情報に基づいて、前記移動体の周囲の前記物体を表す代替画像を生成し、前記代替画像を前記遠隔オペレータに提示し、
前記代替モードの開始時、前記遠隔オペレータ端末は、
前記移動体情報に基づいて、前記移動体が停止しているか移動しているかを判定し、
前記移動体が停止している場合、第１処理によって前記代替画像を生成し、
前記移動体が移動している場合、前記第１処理よりも処理負荷が軽い第２処理によって前記代替画像を生成する
ように構成された
遠隔操作システム。
【請求項2】
請求項１に記載の遠隔操作システムであって、
前記第２処理によって前記代替画像を生成した場合、前記遠隔オペレータ端末は、前記遠隔オペレータに対して前記移動体を停止させるよう促す
遠隔操作システム。
前記第２処理によって前記代替画像を生成した場合、前記遠隔オペレータ端末は、前記遠隔オペレータに対して前記移動体を停止させるよう促す
遠隔操作システム。
【請求項3】
請求項１に記載の遠隔操作システムであって、
前記移動体が停止した後、前記遠隔オペレータが前記移動体の前記遠隔操作を再開する場合、前記遠隔オペレータ端末は、前記第１処理によって前記代替画像を生成する
遠隔操作システム。
前記移動体が停止した後、前記遠隔オペレータが前記移動体の前記遠隔操作を再開する場合、前記遠隔オペレータ端末は、前記第１処理によって前記代替画像を生成する
遠隔操作システム。
【請求項4】
請求項１に記載の遠隔操作システムであって、
前記移動体が停止した後、前記遠隔オペレータが前記移動体の前記遠隔操作を再開する場合、前記遠隔オペレータ端末は、前記第１処理によって前記代替画像を生成し、且つ、前記移動体に対して速度を制限するよう指示する
遠隔操作システム。
前記移動体が停止した後、前記遠隔オペレータが前記移動体の前記遠隔操作を再開する場合、前記遠隔オペレータ端末は、前記第１処理によって前記代替画像を生成し、且つ、前記移動体に対して速度を制限するよう指示する
遠隔操作システム。
【請求項5】
請求項１乃至４のいずれか一項に記載の遠隔操作システムであって、
前記第１処理は、
前記物体情報と前記移動体情報に基づいて、前記物体と前記移動体を含む対象物体のシミュレーションをリアルタイムに行うことと、
前記シミュレーションの結果に基づいて前記代替画像を生成することと
を含む
遠隔操作システム。
前記第１処理は、
前記物体情報と前記移動体情報に基づいて、前記物体と前記移動体を含む対象物体のシミュレーションをリアルタイムに行うことと、
前記シミュレーションの結果に基づいて前記代替画像を生成することと
を含む
遠隔操作システム。
【請求項6】
請求項５に記載の遠隔操作システムであって、
前記第１処理は、前記シミュレーションの前記結果に基づいて、前記移動体あるいは前記認識センサから見た前記物体の配置を再現するように前記代替画像を生成することを含む
遠隔操作システム。
前記第１処理は、前記シミュレーションの前記結果に基づいて、前記移動体あるいは前記認識センサから見た前記物体の配置を再現するように前記代替画像を生成することを含む
遠隔操作システム。
【請求項7】
請求項５に記載の遠隔操作システムであって、
前記第１処理は、前記シミュレーションの前記結果に基づいて、前記遠隔オペレータが前記移動体と前記物体を俯瞰することができるように前記代替画像を生成することを含む
遠隔操作システム。
前記第１処理は、前記シミュレーションの前記結果に基づいて、前記遠隔オペレータが前記移動体と前記物体を俯瞰することができるように前記代替画像を生成することを含む
遠隔操作システム。
【請求項8】
請求項５に記載の遠隔操作システムであって、
前記第２処理は、前記物体情報に基づいて、前記移動体あるいは前記認識センサから見た前記物体の配置を再現するように前記代替画像を生成することを含む
遠隔操作システム。
前記第２処理は、前記物体情報に基づいて、前記移動体あるいは前記認識センサから見た前記物体の配置を再現するように前記代替画像を生成することを含む
遠隔操作システム。
【請求項9】
請求項１乃至４のいずれか一項に記載の遠隔操作システムであって、
前記第２処理は、前記物体情報に基づいて、前記移動体あるいは前記認識センサから見た前記物体の配置を再現するように前記代替画像を生成することを含む
遠隔操作システム。
前記第２処理は、前記物体情報に基づいて、前記移動体あるいは前記認識センサから見た前記物体の配置を再現するように前記代替画像を生成することを含む
遠隔操作システム。
【請求項10】
遠隔オペレータによる移動体の遠隔操作を支援する遠隔操作支援方法であって、
前記移動体は、前記移動体の周囲の状況を認識するための認識センサを備え、
前記認識センサは、前記移動体の周囲の前記状況を示す画像を取得するカメラを含み、
前記移動体は、前記認識センサを用いて前記移動体の周囲の物体を認識し、前記物体の認識結果を示す物体情報を取得し、
前記遠隔操作支援方法は、
前記移動体と前記遠隔オペレータ側の遠隔オペレータ端末との間の通信の通信速度が閾値未満である場合、前記画像を前記移動体から前記遠隔オペレータ端末に送信することなく、前記物体情報と前記移動体に関する移動体情報を前記移動体から前記遠隔オペレータ端末に送信することと、
前記画像が前記移動体から前記遠隔オペレータ端末に送信されなかった場合、代替モードを行うことと
を含み、
前記代替モードを行うことは、前記物体情報と前記移動体情報に基づいて、前記移動体の周囲の前記物体を表す代替画像を生成し、前記代替画像を前記遠隔オペレータに提示することを含み、
前記代替モードの開始時、
前記移動体情報に基づいて、前記移動体が停止しているか移動しているかが判定され、
前記移動体が停止している場合、第１処理によって前記代替画像が生成され、
前記移動体が移動している場合、前記第１処理よりも処理負荷が軽い第２処理によって前記代替画像が生成される
遠隔操作支援方法。
前記移動体は、前記移動体の周囲の状況を認識するための認識センサを備え、
前記認識センサは、前記移動体の周囲の前記状況を示す画像を取得するカメラを含み、
前記移動体は、前記認識センサを用いて前記移動体の周囲の物体を認識し、前記物体の認識結果を示す物体情報を取得し、
前記遠隔操作支援方法は、
前記移動体と前記遠隔オペレータ側の遠隔オペレータ端末との間の通信の通信速度が閾値未満である場合、前記画像を前記移動体から前記遠隔オペレータ端末に送信することなく、前記物体情報と前記移動体に関する移動体情報を前記移動体から前記遠隔オペレータ端末に送信することと、
前記画像が前記移動体から前記遠隔オペレータ端末に送信されなかった場合、代替モードを行うことと
を含み、
前記代替モードを行うことは、前記物体情報と前記移動体情報に基づいて、前記移動体の周囲の前記物体を表す代替画像を生成し、前記代替画像を前記遠隔オペレータに提示することを含み、
前記代替モードの開始時、
前記移動体情報に基づいて、前記移動体が停止しているか移動しているかが判定され、
前記移動体が停止している場合、第１処理によって前記代替画像が生成され、
前記移動体が移動している場合、前記第１処理よりも処理負荷が軽い第２処理によって前記代替画像が生成される
遠隔操作支援方法。
【請求項11】
遠隔オペレータによる遠隔操作の対象である移動体と通信を行う遠隔オペレータ端末であって、
前記移動体は、前記移動体の周囲の状況を認識するための認識センサを備え、
前記認識センサは、前記移動体の周囲の前記状況を示す画像を取得するカメラを含み、
前記移動体は、前記認識センサを用いて前記移動体の周囲の物体を認識し、前記物体の認識結果を示す物体情報を取得し、
前記遠隔オペレータ端末は、１又は複数のプロセッサを備え、
前記移動体と前記遠隔オペレータ端末との間の通信の通信速度が閾値未満である場合、前記１又は複数のプロセッサは、前記画像を前記遠隔オペレータ端末から受け取ることなく、前記物体情報と前記移動体に関する移動体情報を前記遠隔オペレータ端末から受け取り、
前記移動体から前記画像を受け取らなかった場合、前記１又は複数のプロセッサは、代替モードで動作し、
前記代替モードにおいて、前記１又は複数のプロセッサは、前記物体情報と前記移動体情報に基づいて、前記移動体の周囲の前記物体を表す代替画像を生成し、前記代替画像を前記遠隔オペレータに提示し、
前記代替モードの開始時、前記１又は複数のプロセッサは、
前記移動体情報に基づいて、前記移動体が停止しているか移動しているかを判定し、
前記移動体が停止している場合、第１処理によって前記代替画像を生成し、
前記移動体が移動している場合、前記第１処理よりも処理負荷が軽い第２処理によって前記代替画像を生成する
ように構成された
遠隔オペレータ端末。
前記移動体は、前記移動体の周囲の状況を認識するための認識センサを備え、
前記認識センサは、前記移動体の周囲の前記状況を示す画像を取得するカメラを含み、
前記移動体は、前記認識センサを用いて前記移動体の周囲の物体を認識し、前記物体の認識結果を示す物体情報を取得し、
前記遠隔オペレータ端末は、１又は複数のプロセッサを備え、
前記移動体と前記遠隔オペレータ端末との間の通信の通信速度が閾値未満である場合、前記１又は複数のプロセッサは、前記画像を前記遠隔オペレータ端末から受け取ることなく、前記物体情報と前記移動体に関する移動体情報を前記遠隔オペレータ端末から受け取り、
前記移動体から前記画像を受け取らなかった場合、前記１又は複数のプロセッサは、代替モードで動作し、
前記代替モードにおいて、前記１又は複数のプロセッサは、前記物体情報と前記移動体情報に基づいて、前記移動体の周囲の前記物体を表す代替画像を生成し、前記代替画像を前記遠隔オペレータに提示し、
前記代替モードの開始時、前記１又は複数のプロセッサは、
前記移動体情報に基づいて、前記移動体が停止しているか移動しているかを判定し、
前記移動体が停止している場合、第１処理によって前記代替画像を生成し、
前記移動体が移動している場合、前記第１処理よりも処理負荷が軽い第２処理によって前記代替画像を生成する
ように構成された
遠隔オペレータ端末。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、遠隔オペレータによる移動体の遠隔操作に関する。特に、本開示は、遠隔オペレータによる移動体の遠隔操作を支援する技術に関する。
【背景技術】
【0002】
特許文献１は、車両遠隔指示システムを開示している。車両遠隔指示システムは、車両に搭載された外部センサによって検出された検出情報を遠隔オペレータ側に送信する。通信性能が閾値以上である場合、車両遠隔指示システムは、検出情報の全てを送信する。一方、通信性能が閾値未満である場合、車両遠隔指示システムは、全てではなく一部のカメラによって撮影された画像だけを送信する、あるいは、送信する画像サイズを縮小する。
【0003】
また、計測の分野において、カルマンフィルター（Kalman filter）が一般的に知られている。カルマンフィルターは、計測データからシステムの状態を推定する。但し、データ計測タイミングとカルマンフィルターの作動タイミングとの間にはズレが存在し、そのズレが大きくなると推定精度が低下する。
【0004】
非特許文献１及び非特許文献２は、遅延を含む計測データに対しても適用可能な「ディレイドカルマンフィルター（Delayed Kalman Filter）」を開示している。ディレイドカルマンフィルターは、OOSM (Out-of-Sequence Measurement)とも呼ばれる。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】特開２０２１－０２２０３３号公報
【非特許文献】
【0006】
【非特許文献1】Yaakov Bar-Shalom, "Update with Out-of-Sequence Measurements in Tracking: Exact Solution," IEEE Transactions on Aerospace and Electronic Systems, VOL. 38, No.3, pp.769-778, July 2002.
【非特許文献2】Keshu Zhang et al., "Optimal Update with Out-of-Sequence Measurements," IEEE Transactions on Signal Processing, Vol. 53, No.6, pp.199２２２04, June 2005.
【発明の概要】
【発明が解決しようとする課題】
【0007】
一般的に、移動体の遠隔操作では、移動体に搭載されたカメラにより撮影される画像が遠隔オペレータ端末に送信される。遠隔オペレータ端末は画像を表示し、遠隔オペレータは表示された画像を見て遠隔操作を行う。但し、通信状態によっては、データサイズの大きい画像を移動体から遠隔オペレータ端末に送信することが困難になる状況も発生し得る。そのような場合、遠隔オペレータは最新の画像を見ることができなくなり、移動体を安全に停止させるための情報を失ってしまう。
【0008】
本開示の１つの目的は、遠隔オペレータによる移動体の遠隔操作の安全性を確保することができる技術を提供することにある。
【課題を解決するための手段】
【0009】
第１の観点は、遠隔操作システムに関連する。
遠隔操作システムは、
遠隔オペレータによる遠隔操作の対象である移動体と、
遠隔オペレータ側の遠隔オペレータ端末と
を備える。
移動体は、移動体の周囲の状況を認識するための認識センサを備える。
認識センサは、移動体の周囲の状況を示す画像を取得するカメラを含む。
移動体は、認識センサを用いて移動体の周囲の物体を認識し、物体の認識結果を示す物体情報を取得する。
移動体と遠隔オペレータ端末との間の通信の通信速度が閾値未満である場合、移動体は、画像を遠隔オペレータ端末に送信することなく、物体情報と移動体に関する移動体情報を遠隔オペレータ端末に送信する。
移動体から画像を受け取らなかった場合、遠隔オペレータ端末は、代替モードで動作する。代替モードにおいて、遠隔オペレータ端末は、物体情報と移動体情報に基づいて、移動体の周囲の物体を表す代替画像を生成し、代替画像を遠隔オペレータに提示する。
代替モードの開始時、遠隔オペレータ端末は、移動体情報に基づいて、移動体が停止しているか移動しているかを判定する。移動体が停止している場合、遠隔オペレータ端末は、第１処理によって代替画像を生成する。移動体が移動している場合、遠隔オペレータ端末は、第１処理よりも処理負荷が軽い第２処理によって代替画像を生成する。
遠隔操作システムは、
遠隔オペレータによる遠隔操作の対象である移動体と、
遠隔オペレータ側の遠隔オペレータ端末と
を備える。
移動体は、移動体の周囲の状況を認識するための認識センサを備える。
認識センサは、移動体の周囲の状況を示す画像を取得するカメラを含む。
移動体は、認識センサを用いて移動体の周囲の物体を認識し、物体の認識結果を示す物体情報を取得する。
移動体と遠隔オペレータ端末との間の通信の通信速度が閾値未満である場合、移動体は、画像を遠隔オペレータ端末に送信することなく、物体情報と移動体に関する移動体情報を遠隔オペレータ端末に送信する。
移動体から画像を受け取らなかった場合、遠隔オペレータ端末は、代替モードで動作する。代替モードにおいて、遠隔オペレータ端末は、物体情報と移動体情報に基づいて、移動体の周囲の物体を表す代替画像を生成し、代替画像を遠隔オペレータに提示する。
代替モードの開始時、遠隔オペレータ端末は、移動体情報に基づいて、移動体が停止しているか移動しているかを判定する。移動体が停止している場合、遠隔オペレータ端末は、第１処理によって代替画像を生成する。移動体が移動している場合、遠隔オペレータ端末は、第１処理よりも処理負荷が軽い第２処理によって代替画像を生成する。
【0010】
第２の観点は、遠隔オペレータによる移動体の遠隔操作を支援する遠隔操作支援方法に関連する。
移動体は、移動体の周囲の状況を認識するための認識センサを備える。
認識センサは、移動体の周囲の状況を示す画像を取得するカメラを含む。
移動体は、認識センサを用いて移動体の周囲の物体を認識し、物体の認識結果を示す物体情報を取得する。
遠隔操作支援方法は、
移動体と遠隔オペレータ側の遠隔オペレータ端末との間の通信の通信速度が閾値未満である場合、画像を移動体から遠隔オペレータ端末に送信することなく、物体情報と移動体に関する移動体情報を移動体から遠隔オペレータ端末に送信することと、
画像が移動体から遠隔オペレータ端末に送信されなかった場合、代替モードを行うこととを含む。
代替モードを行うことは、物体情報と移動体情報に基づいて、移動体の周囲の物体を表す代替画像を生成し、代替画像を遠隔オペレータに提示することを含む。
代替モードの開始時、移動体情報に基づいて、移動体が停止しているか移動しているかが判定される。移動体が停止している場合、第１処理によって代替画像が生成される。移動体が移動している場合、第１処理よりも処理負荷が軽い第２処理によって代替画像が生成される。
移動体は、移動体の周囲の状況を認識するための認識センサを備える。
認識センサは、移動体の周囲の状況を示す画像を取得するカメラを含む。
移動体は、認識センサを用いて移動体の周囲の物体を認識し、物体の認識結果を示す物体情報を取得する。
遠隔操作支援方法は、
移動体と遠隔オペレータ側の遠隔オペレータ端末との間の通信の通信速度が閾値未満である場合、画像を移動体から遠隔オペレータ端末に送信することなく、物体情報と移動体に関する移動体情報を移動体から遠隔オペレータ端末に送信することと、
画像が移動体から遠隔オペレータ端末に送信されなかった場合、代替モードを行うこととを含む。
代替モードを行うことは、物体情報と移動体情報に基づいて、移動体の周囲の物体を表す代替画像を生成し、代替画像を遠隔オペレータに提示することを含む。
代替モードの開始時、移動体情報に基づいて、移動体が停止しているか移動しているかが判定される。移動体が停止している場合、第１処理によって代替画像が生成される。移動体が移動している場合、第１処理よりも処理負荷が軽い第２処理によって代替画像が生成される。
【0011】
第３の観点は、遠隔オペレータによる遠隔操作の対象である移動体と通信を行う遠隔オペレータ端末に関連する。
移動体は、移動体の周囲の状況を認識するための認識センサを備える。
認識センサは、移動体の周囲の状況を示す画像を取得するカメラを含む。
移動体は、認識センサを用いて移動体の周囲の物体を認識し、物体の認識結果を示す物体情報を取得する。
遠隔オペレータ端末は、１又は複数のプロセッサを備える。
移動体と遠隔オペレータ端末との間の通信の通信速度が閾値未満である場合、１又は複数のプロセッサは、画像を遠隔オペレータ端末から受け取ることなく、物体情報と移動体に関する移動体情報を遠隔オペレータ端末から受け取る。
移動体から画像を受け取らなかった場合、１又は複数のプロセッサは、代替モードで動作する。代替モードにおいて、１又は複数のプロセッサは、物体情報と移動体情報に基づいて、移動体の周囲の物体を表す代替画像を生成し、代替画像を遠隔オペレータに提示する。
代替モードの開始時、１又は複数のプロセッサは、移動体情報に基づいて、移動体が停止しているか移動しているかを判定する。移動体が停止している場合、１又は複数のプロセッサは、第１処理によって代替画像を生成する。移動体が移動している場合、１又は複数のプロセッサは、第１処理よりも処理負荷が軽い第２処理によって代替画像を生成する。
移動体は、移動体の周囲の状況を認識するための認識センサを備える。
認識センサは、移動体の周囲の状況を示す画像を取得するカメラを含む。
移動体は、認識センサを用いて移動体の周囲の物体を認識し、物体の認識結果を示す物体情報を取得する。
遠隔オペレータ端末は、１又は複数のプロセッサを備える。
移動体と遠隔オペレータ端末との間の通信の通信速度が閾値未満である場合、１又は複数のプロセッサは、画像を遠隔オペレータ端末から受け取ることなく、物体情報と移動体に関する移動体情報を遠隔オペレータ端末から受け取る。
移動体から画像を受け取らなかった場合、１又は複数のプロセッサは、代替モードで動作する。代替モードにおいて、１又は複数のプロセッサは、物体情報と移動体情報に基づいて、移動体の周囲の物体を表す代替画像を生成し、代替画像を遠隔オペレータに提示する。
代替モードの開始時、１又は複数のプロセッサは、移動体情報に基づいて、移動体が停止しているか移動しているかを判定する。移動体が停止している場合、１又は複数のプロセッサは、第１処理によって代替画像を生成する。移動体が移動している場合、１又は複数のプロセッサは、第１処理よりも処理負荷が軽い第２処理によって代替画像を生成する。
【発明の効果】
【0012】
本開示によれば、通信速度が閾値未満となった場合、データサイズの大きい画像の代わりに、データサイズの小さい物体情報が移動体から遠隔オペレータ端末に送信される。すなわち、通信資源を有効活用することによって、少なくとも物体情報が遠隔オペレータ端末に送信される。遠隔オペレータ端末では、物体情報に基づいて、移動体の周囲の物体を表す代替画像が生成される。そして、画像の代わりに代替画像が遠隔オペレータに提示される。画像の通信が途絶したとしても、遠隔オペレータは、代替画像を見ることによって、移動体の周囲の物体に関する最新情報を得ることができる。従って、遠隔オペレータは、移動体の遠隔操作をある程度安全に継続することができる。すなわち、遠隔操作の安全性が確保される。
【0013】
代替モードの開始時、移動体情報に基づいて、移動体が停止しているか移動しているかが判定される。移動体が移動している場合、第１処理よりも軽い第２処理によって代替画像が生成される。代替画像がスムーズに生成されるため、遠隔オペレータは、車両を素早く停止させることが可能となる。このことも安全性の確保に寄与する。
【図面の簡単な説明】
【0014】
【図1】実施の形態に係る遠隔操作システムの構成例を示す概略図である。
【図2】実施の形態に係る車両の構成例を示すブロック図である。
【図3】実施の形態に係るセンサ検出情報の例を示すブロック図である。
【図4】実施の形態に係る遠隔オペレータ端末の構成例を示すブロック図である。
【図5】実施の形態に係るモード切替処理を示すフローチャートである。
【図6】実施の形態に係る通常モードを説明するための概念図である。
【図7】実施の形態に係る代替モードを説明するための概念図である。
【図8】実施の形態に係る代替モードの第１の例を説明するための概念図である。
【図9】実施の形態に係る代替モードの第１の例の場合の代替画像の例を示す概念図である。
【図10】実施の形態に係る代替モードの第２の例を説明するための概念図である。
【図11】実施の形態に係る代替モードの第２の例の場合の代替画像の例を示す概念図である。
【図12】遠隔操作システムにおける遅延を説明するための概念図である。
【図13】遅延補償処理を説明するための概念図である。
【図14】遅延補償処理及びアップサンプリング処理を説明するための概念図である。
【図15】実施の形態に係るシミュレータに関連する機能構成例を示すブロック図である。
【図16】実施の形態に係る代替モードの第４の例を説明するためのフローチャートである。
【発明を実施するための形態】
【0015】
添付図面を参照して、本開示の実施の形態を説明する。
【0016】
１．遠隔操作システムの概要
移動体の遠隔操作（遠隔運転）について考える。遠隔操作の対象である移動体としては、車両、ロボット、飛翔体、等が例示される。車両は、自動運転車両であってもよいし、ドライバが運転する車両であってもよい。ロボットとしては、物流ロボット、作業ロボット、等が例示される。飛翔体としては、飛行機、ドローン、等が例示される。
移動体の遠隔操作（遠隔運転）について考える。遠隔操作の対象である移動体としては、車両、ロボット、飛翔体、等が例示される。車両は、自動運転車両であってもよいし、ドライバが運転する車両であってもよい。ロボットとしては、物流ロボット、作業ロボット、等が例示される。飛翔体としては、飛行機、ドローン、等が例示される。
【0017】
一例として、以下の説明においては、遠隔操作の対象である移動体が車両である場合について考える。一般化する場合には、以下の説明における「車両」を「移動体」で読み替えるものとする。
【0018】
図１は、本実施の形態に係る遠隔操作システム１の構成例を示す概略図である。遠隔操作システム１は、車両１００、遠隔オペレータ端末２００、及び管理装置３００を含んでいる。車両１００は、遠隔操作の対象である。遠隔オペレータ端末２００は、遠隔オペレータＯが車両１００を遠隔操作する際に使用する端末装置である。遠隔オペレータ端末２００を遠隔操作ＨＭＩ（Human Machine Interface）と言うこともできる。管理装置３００は、遠隔操作システム１の管理を行う。典型的には、管理装置３００は、クラウド上の管理サーバである。管理サーバは、分散処理を行う複数のサーバにより構成されていてもよい。
【0019】
車両１００、遠隔オペレータ端末２００、及び管理装置３００は、通信ネットワークを介して互いに通信可能である。車両１００と遠隔オペレータ端末２００は、管理装置３００を介して互いに通信可能である。また、車両１００と遠隔オペレータ端末２００は、管理装置３００を介さずに直接通信を行ってもよい。
【0020】
車両１００には、カメラＣを含む各種センサが搭載されている。カメラＣは、車両１００の周囲の状況を示す画像ＩＭＧを取得する。センサ検出情報ＳＥＮは、各種センサにより得られる情報を含む。センサ検出情報ＳＥＮは、少なくとも、カメラＣにより得られる画像ＩＭＧを含む。センサ検出情報ＳＥＮは、車両１００の位置及び状態（例：速度、舵角、等）を含んでいてもよい。車両１００は、センサ検出情報ＳＥＮを遠隔オペレータ端末２００に送信する。
【0021】
遠隔オペレータ端末２００は、車両１００から送信されたセンサ検出情報ＳＥＮを受け取る。遠隔オペレータ端末２００は、センサ検出情報ＳＥＮを遠隔オペレータＯに提示する。具体的には、遠隔オペレータ端末２００は、表示装置を備えており、画像ＩＭＧ等を表示装置に表示する。遠隔オペレータＯは、表示された情報をみて、車両１００の周囲の状況を認識し、車両１００の遠隔操作を行う。遠隔操作情報ＯＰＥは、遠隔オペレータＯによる遠隔操作に関する情報である。例えば、遠隔操作情報ＯＰＥは、遠隔オペレータＯによる操作量を含む。遠隔オペレータ端末２００は、遠隔操作情報ＯＰＥを車両１００に送信する。
【0022】
車両１００は、遠隔オペレータ端末２００から送信された遠隔操作情報ＯＰＥを受け取る。車両１００は、受け取った遠隔操作情報ＯＰＥに従って車両走行制御を行う。このようにして、車両１００の遠隔操作が実現される。
【0023】
【0024】
通信装置１０１は、車両１００の外部と通信を行う。例えば、通信装置１０１は、遠隔オペレータ端末２００や管理装置３００と通信を行う。
【0025】
センサ群１０２は、認識センサ、車両状態センサ、位置センサ、等を含んでいる。認識センサは、車両１００の周辺の状況を認識（検出）する。認識センサとしては、カメラＣ、ＬＩＤＡＲ（Laser Imaging Detection and Ranging）、レーダ、等が例示される。車両状態センサは、車両１００の状態を検出する。車両状態センサは、速度センサ、加速度センサ、ヨーレートセンサ、舵角センサ、等を含んでいる。位置センサは、車両１００の位置及び方位を検出する。例えば、位置センサは、ＧＮＳＳ（Global Navigation Satellite System）を含んでいる。
【0026】
走行装置１０３は、操舵装置、駆動装置、及び制動装置を含んでいる。操舵装置は、車輪を転舵する。例えば、操舵装置は、パワーステアリング（EPS: Electric Power Steering）装置を含んでいる。駆動装置は、駆動力を発生させる動力源である。駆動装置としては、エンジン、電動機、インホイールモータ、等が例示される。制動装置は、制動力を発生させる。
【0027】
制御装置１０５は、車両１００を制御するコンピュータである。制御装置１０５は、１又は複数のプロセッサ１０６（以下、単にプロセッサ１０６と呼ぶ）と１又は複数の記憶装置１０７（以下、単に記憶装置１０７と呼ぶ）を含んでいる。プロセッサ１０６は、各種処理を実行する。例えば、プロセッサ１０６は、ＣＰＵ（Central Processing Unit）を含んでいる。記憶装置１０７は、プロセッサ１０６による処理に必要な各種情報を格納する。記憶装置１０７としては、揮発性メモリ、不揮発性メモリ、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、等が例示される。制御装置１０５は、１又は複数のＥＣＵ（Electronic Control Unit）を含んでいてもよい。
【0028】
車両制御プログラムＰＲＯＧ１は、プロセッサ１０６によって実行されるコンピュータプログラムである。プロセッサ１０６が車両制御プログラムＰＲＯＧ１を実行することにより、制御装置１０５の機能が実現される。車両制御プログラムＰＲＯＧ１は、記憶装置１０７に格納される。あるいは、車両制御プログラムＰＲＯＧ１は、コンピュータ読み取り可能な記録媒体に記録されてもよい。
【0029】
２－２．センサ検出情報
制御装置１０５は、センサ群１０２を用いてセンサ検出情報ＳＥＮを取得する。センサ検出情報ＳＥＮは、記憶装置１０７に格納される。図３は、センサ検出情報ＳＥＮの例を示すブロック図である。センサ検出情報ＳＥＮは、画像ＩＭＧ、物体情報ＯＢＪ、車両情報ＶＣＬ、等を含んでいる。
制御装置１０５は、センサ群１０２を用いてセンサ検出情報ＳＥＮを取得する。センサ検出情報ＳＥＮは、記憶装置１０７に格納される。図３は、センサ検出情報ＳＥＮの例を示すブロック図である。センサ検出情報ＳＥＮは、画像ＩＭＧ、物体情報ＯＢＪ、車両情報ＶＣＬ、等を含んでいる。
【0030】
画像ＩＭＧは、カメラＣによって得られ、車両１００の周囲の状況を示す。画像ＩＭＧは、ストリームデータであってもよい。
【0031】
物体情報ＯＢＪは、車両１００の周囲の物体５００に関する情報である。車両１００の周囲の物体５００としては、歩行者、自転車、二輪車、他車両（先行車両、並走車両、後続車両、等）、白線、道路構造物（例：縁石、ガードレール）、ポール、信号、標識、等が例示される。制御装置１０５は、認識センサを用いることによって車両１００の周囲の物体５００を認識することができる。例えば、カメラＣによって得られた画像ＩＭＧを解析することによって、物体５００を識別し、その物体５００の相対位置を算出することができる。また、ＬＩＤＡＲによって得られた点群情報に基づいて、物体５００を識別し、その物体５００の相対位置と相対速度を取得することもできる。物体情報ＯＢＪは、認識センサによる物体５００の認識結果を示す。すなわち、物体情報ＯＢＪは、少なくとも、車両１００あるいは認識センサに対する物体５００の相対位置を含む。物体情報ＯＢＪは、更に、物体５００の相対速度を含んでいてもよい。物体情報ＯＢＪは、認識された物体５００の種類を含んでいてもよい。物体情報ＯＢＪは、認識された物体５００を囲むバウンディングボックスの情報を含んでいてもよい。物体情報ＯＢＪは、クラスタリング後の点群情報を含んでいてもよい。
【0032】
車両情報ＶＣＬは、車両１００に関する情報である。車両情報ＶＣＬは、車両状態センサによって検出される車両状態を含む。車両状態としては、速度、加速度、ヨーレート、舵角、等が例示される。車両情報ＶＣＬは、位置センサにより得られる車両１００の位置及び方位を含んでいてもよい。
【0033】
２－３．車両走行制御
制御装置１０５は、車両１００の走行を制御する車両走行制御を実行する。車両走行制御は、操舵制御、駆動制御、及び制動制御を含む。制御装置１０５は、走行装置１０３（操舵装置、駆動装置、及び制動装置）を制御することによって車両走行制御を実行する。
制御装置１０５は、車両１００の走行を制御する車両走行制御を実行する。車両走行制御は、操舵制御、駆動制御、及び制動制御を含む。制御装置１０５は、走行装置１０３（操舵装置、駆動装置、及び制動装置）を制御することによって車両走行制御を実行する。
【0034】
制御装置１０５は、センサ検出情報ＳＥＮに基づいて自動運転制御を行ってもよい。より詳細には、制御装置１０５は、センサ検出情報ＳＥＮに基づいて、車両１００の走行プランを生成する。更に、制御装置１０５は、センサ検出情報ＳＥＮに基づいて、車両１００が走行プランに従って走行するために必要な目標トラジェクトリを生成する。目標トラジェクトリは、目標位置及び目標速度を含んでいる。そして、制御装置１０５は、車両１００が目標トラジェクトリに追従するように車両走行制御を行う。
【0035】
２－４．遠隔操作に関連する処理
車両１００の遠隔操作が行われる場合、制御装置１０５は、通信装置１０１を介して遠隔オペレータ端末２００と通信を行う。
車両１００の遠隔操作が行われる場合、制御装置１０５は、通信装置１０１を介して遠隔オペレータ端末２００と通信を行う。
【0036】
制御装置１０５は、センサ検出情報ＳＥＮ（図３参照）の少なくとも一部を遠隔オペレータ端末２００に送信する。典型的には、制御装置１０５は、画像ＩＭＧを遠隔オペレータ端末２００に送信する。制御装置１０５は、物体情報ＯＢＪを遠隔オペレータ端末２００に送信してもよい。制御装置１０５は、車両情報ＶＣＬを遠隔オペレータ端末２００に送信してもよい。
【0037】
また、制御装置１０５は、遠隔操作情報ＯＰＥを遠隔オペレータ端末２００から受信する。遠隔操作情報ＯＰＥは、遠隔オペレータＯによる遠隔操作に関する情報である。例えば、遠隔操作情報ＯＰＥは、遠隔オペレータＯによる操作量を含む。制御装置１０５は、受信した遠隔操作情報ＯＰＥに従って車両走行制御を行う。
【0038】
３．遠隔オペレータ端末の例
図４は、遠隔オペレータ端末２００の構成例を示すブロック図である。遠隔オペレータ端末２００は、通信装置２０１、表示装置２０２、遠隔操作部材２０３、ユーザインタフェース２０４、及び制御装置２０５を含んでいる。
図４は、遠隔オペレータ端末２００の構成例を示すブロック図である。遠隔オペレータ端末２００は、通信装置２０１、表示装置２０２、遠隔操作部材２０３、ユーザインタフェース２０４、及び制御装置２０５を含んでいる。
【0039】
通信装置２０１は、車両１００及び管理装置３００と通信を行う。
【0040】
表示装置２０２は、各種情報を表示することにより、各種情報を遠隔オペレータＯに提示する。
【0041】
遠隔操作部材２０３は、遠隔オペレータＯが車両１００を遠隔操作する際に操作する部材である。遠隔操作部材は、ハンドル、アクセルペダル、ブレーキペダル、方向指示器、等を含んでいる。
【0042】
ユーザインタフェース２０４は、遠隔オペレータＯに各種情報を提示し、また、遠隔オペレータＯからの入力を受け付ける。ユーザインタフェース２０４としては、タッチパネル、スイッチ、スピーカ、等が例示される。
【0043】
制御装置２０５は、遠隔オペレータ端末２００を制御する。制御装置２０５は、１又は複数のプロセッサ２０６（以下、単にプロセッサ２０６と呼ぶ）と１又は複数の記憶装置２０７（以下、単に記憶装置２０７と呼ぶ）を含んでいる。プロセッサ２０６は、各種処理を実行する。例えば、プロセッサ２０６は、ＣＰＵを含んでいる。記憶装置２０７は、プロセッサ２０６による処理に必要な各種情報を格納する。記憶装置２０７としては、揮発性メモリ、不揮発性メモリ、ＨＤＤ、ＳＳＤ、等が例示される。
【0044】
遠隔操作制御プログラムＰＲＯＧ２は、プロセッサ２０６によって実行されるコンピュータプログラムである。プロセッサ２０６が遠隔操作制御プログラムＰＲＯＧ２を実行することにより、制御装置２０５の機能が実現される。遠隔操作制御プログラムＰＲＯＧ２は、記憶装置２０７に格納される。あるいは、遠隔操作制御プログラムＰＲＯＧ２は、コンピュータ読み取り可能な記録媒体に記録されてもよい。遠隔操作制御プログラムＰＲＯＧ２は、ネットワーク経由で提供されてもよい。
【0045】
制御装置２０５は、通信装置２０１を介して、車両１００と通信を行う。制御装置２０５は、車両１００から送信されるセンサ検出情報ＳＥＮを受信する。制御装置２０５は、受信したセンサ検出情報ＳＥＮのうち必要な情報を遠隔オペレータＯに提示する。例えば、制御装置２０５は、画像ＩＭＧを表示装置２０２に表示することによって、画像ＩＭＧを遠隔オペレータＯに提示する。遠隔オペレータＯは、提示された情報に基づいて、車両１００の状態や周囲の状況を認識することができる。
【0046】
遠隔オペレータＯは、遠隔操作部材２０３を操作する。遠隔操作部材２０３の操作量は、遠隔操作部材２０３に設置されたセンサにより検出される。制御装置２０５は、遠隔オペレータＯによる遠隔操作部材２０３の操作量を反映した遠隔操作情報ＯＰＥを生成する。そして、制御装置２０５は、その遠隔操作情報ＯＰＥを通信装置２０１を介して車両１００に送信する。
【0047】
４．通信状態に応じたモード切り替え
上述の通り、車両１００の遠隔操作では、一般的に、カメラＣにより撮影される画像ＩＭＧが遠隔オペレータ端末２００に送信される。但し、通信状態によっては、データサイズの大きい画像ＩＭＧを車両１００から遠隔オペレータ端末２００に送信することが困難になる状況も発生し得る。例えば、通信速度が大きく低下した場合、データサイズの大きい画像ＩＭＧを遠隔オペレータ端末２００に送信することは困難になる。そのような場合、遠隔オペレータＯは最新の画像ＩＭＧを見ることができなくなり、車両１００を安全に停止させるための情報を失ってしまう。
上述の通り、車両１００の遠隔操作では、一般的に、カメラＣにより撮影される画像ＩＭＧが遠隔オペレータ端末２００に送信される。但し、通信状態によっては、データサイズの大きい画像ＩＭＧを車両１００から遠隔オペレータ端末２００に送信することが困難になる状況も発生し得る。例えば、通信速度が大きく低下した場合、データサイズの大きい画像ＩＭＧを遠隔オペレータ端末２００に送信することは困難になる。そのような場合、遠隔オペレータＯは最新の画像ＩＭＧを見ることができなくなり、車両１００を安全に停止させるための情報を失ってしまう。
【0048】
そこで、本実施の形態によれば、遠隔操作の安全性を確保するために、車両１００と遠隔オペレータ端末２００との間の通信状態に応じて遠隔操作システム１の動作モードが切り替えられる。この処理を、以下、「モード切替処理」と呼ぶ。
【0049】
図５は、モード切替処理を示すフローチャートである。
【0050】
ステップＳ１０において、車両１００、遠隔オペレータ端末２００、及び管理装置３００のうち少なくとも１つは、車両１００と遠隔オペレータ端末２００との間の通信の通信状態の情報をリアルタイムに取得する。例えば、通信状態は、通信速度（スループット）である。通信状態は、実測値であってもよいし推定値であってもよい。例えば、車両１００は、遠隔オペレータ端末２００からの遠隔操作情報ＯＰＥの受信結果に基づいて、通信状態を把握することができる。他の例として、遠隔オペレータ端末２００は、車両１００からのセンサ検出情報ＳＥＮの受信結果に基づいて、通信状態を把握することができる。更に他の例として、管理装置３００は、遠隔操作情報ＯＰＥ及びセンサ検出情報ＳＥＮの受信結果に基づいて、通信状態を把握することができる。但し、通信状態の取得方法はこれらの例に限定されない。また、通信状態の情報は、車両１００、遠隔オペレータ端末２００、及び管理装置３００によって共有されてもよい。
【0051】
ステップＳ２０において、車両１００、遠隔オペレータ端末２００、及び管理装置３００のうち少なくとも１つは、通信状態が正常であるか否かを判定する。例えば、車両１００、遠隔オペレータ端末２００、及び管理装置３００のうち少なくとも１つは、通信速度を閾値と比較する。閾値は、画像ＩＭＧを問題なく送信するために最低限必要な通信速度である。通信速度が閾値以上である場合、通信状態は正常であると判定される。一方、通信速度が閾値未満である場合、通信状態は異常であると判定される。
【0052】
通信状態が正常である場合（ステップＳ２０；Ｙｅｓ）、処理はステップＳ１００に進む。ステップＳ１００において、遠隔操作システム１（車両１００、遠隔オペレータ端末２００）は「通常モード（第１モード）」で動作する。
【0053】
一方、通信状態が異常である場合（ステップＳ２０；Ｎｏ）、処理はステップＳ２００に進む。ステップＳ２００において、遠隔操作システム１（車両１００、遠隔オペレータ端末２００）は「代替モード（第２モード）」で動作する。
【0054】
以下、通常モードと代替モードについて更に詳しく説明する。
【0055】
４－１．通常モード（第１モード）
図６は、通常モードを説明するための概念図である。通常モードにおいて、車両１００は、少なくとも、カメラＣによって得られた画像ＩＭＧを遠隔オペレータ端末２００に送信する。更に、車両１００は、物体情報ＯＢＪを送信してもよい。車両１００は、車両情報ＶＣＬを送信してもよい。
図６は、通常モードを説明するための概念図である。通常モードにおいて、車両１００は、少なくとも、カメラＣによって得られた画像ＩＭＧを遠隔オペレータ端末２００に送信する。更に、車両１００は、物体情報ＯＢＪを送信してもよい。車両１００は、車両情報ＶＣＬを送信してもよい。
【0056】
遠隔オペレータ端末２００は、車両１００から少なくとも画像ＩＭＧを受け取る。遠隔オペレータ端末２００は、画像ＩＭＧを表示装置２０２に表示する。つまり、遠隔オペレータ端末２００は、画像ＩＭＧを遠隔オペレータＯに提示する。遠隔オペレータＯは、画像ＩＭＧを見ながら遠隔操作部材２０３を操作して車両１００の遠隔操作を行う。
【0057】
４－２．代替モード（第２モード）
図７は、代替モードを説明するための概念図である。代替モードにおいて、車両１００は、データサイズの大きい画像ＩＭＧを遠隔オペレータ端末２００に送信することを禁止する。その代わり、車両１００は、少なくとも物体情報ＯＢＪを遠隔オペレータ端末２００に送信する。更に、車両１００は、車両情報ＶＣＬを遠隔オペレータ端末２００に送信してもよい。物体情報ＯＢＪや車両情報ＶＣＬのデータサイズは、画像ＩＭＧよりもはるかに小さい。
図７は、代替モードを説明するための概念図である。代替モードにおいて、車両１００は、データサイズの大きい画像ＩＭＧを遠隔オペレータ端末２００に送信することを禁止する。その代わり、車両１００は、少なくとも物体情報ＯＢＪを遠隔オペレータ端末２００に送信する。更に、車両１００は、車両情報ＶＣＬを遠隔オペレータ端末２００に送信してもよい。物体情報ＯＢＪや車両情報ＶＣＬのデータサイズは、画像ＩＭＧよりもはるかに小さい。
【0058】
遠隔オペレータ端末２００は、代替画像生成部２２０を含んでいる。この代替画像生成部２２０は、遠隔操作制御プログラムＰＲＯＧ２を実行するプロセッサ２０６と記憶装置２０７との協働により実現される。
【0059】
代替モードにおいて、遠隔オペレータ端末２００は、車両１００から画像ＩＭＧを受け取らない。その代わり、遠隔オペレータ端末２００は、少なくとも物体情報ＯＢＪを受け取る。上述の通り、物体情報ＯＢＪは、車両１００の周囲の物体５００に関する情報である。代替画像生成部２２０は、その物体情報ＯＢＪに基づいて、車両１００の周囲の物体５００を表す「代替画像ＩＭＧ－Ｓ」を生成する。代替画像ＩＭＧ－Ｓの具体例は後述される。
【0060】
そして、遠隔オペレータ端末２００は、画像ＩＭＧの代わりに代替画像ＩＭＧ－Ｓを表示装置２０２に表示する。つまり、遠隔オペレータ端末２００は、画像ＩＭＧの代わりに代替画像ＩＭＧ－Ｓを遠隔オペレータＯに提示する。遠隔オペレータＯは、代替画像ＩＭＧ－Ｓを見ながら遠隔操作部材２０３を操作して車両１００の遠隔操作を行う。例えば、遠隔オペレータＯは、代替画像ＩＭＧ－Ｓをみながら車両１００を安全な場所（例：路肩）に安全に停止させることができる。
【0061】
４－３．効果
以上に説明されたように、本実施の形態によれば、通信速度が閾値未満となった場合、データサイズの大きい画像ＩＭＧは車両１００から遠隔オペレータ端末２００に送信されない。無理に画像ＩＭＧを送信しようとしても、結局は画像ＩＭＧは正常には遠隔オペレータ端末２００に到達せず、通信資源が無駄に消費されるだけだからである。画像ＩＭＧの送信が禁止されるため、通信資源の消費は抑制される。その代わり、データサイズの小さい物体情報ＯＢＪが車両１００から遠隔オペレータ端末２００に送信される。すなわち、通信資源を有効活用することによって、少なくとも物体情報ＯＢＪが遠隔オペレータ端末２００に送信される。
以上に説明されたように、本実施の形態によれば、通信速度が閾値未満となった場合、データサイズの大きい画像ＩＭＧは車両１００から遠隔オペレータ端末２００に送信されない。無理に画像ＩＭＧを送信しようとしても、結局は画像ＩＭＧは正常には遠隔オペレータ端末２００に到達せず、通信資源が無駄に消費されるだけだからである。画像ＩＭＧの送信が禁止されるため、通信資源の消費は抑制される。その代わり、データサイズの小さい物体情報ＯＢＪが車両１００から遠隔オペレータ端末２００に送信される。すなわち、通信資源を有効活用することによって、少なくとも物体情報ＯＢＪが遠隔オペレータ端末２００に送信される。
【0062】
遠隔オペレータ端末２００では、物体情報ＯＢＪに基づいて、車両１００の周囲の物体５００を表す代替画像ＩＭＧ－Ｓが生成される。そして、画像ＩＭＧの代わりに代替画像ＩＭＧ－Ｓが遠隔オペレータＯに提示される。画像ＩＭＧの通信が途絶したとしても、遠隔オペレータＯは、代替画像ＩＭＧ－Ｓを見ることによって、車両１００の周囲の物体５００に関する最新情報を得ることができる。従って、遠隔オペレータＯは、車両１００の遠隔操作をある程度安全に継続することができる。すなわち、遠隔操作の安全性が確保される。
【0063】
また、通信速度が低下したからといって、車両１００をその場で緊急停止させる必要がない。例えば、遠隔オペレータＯは、代替画像ＩＭＧ－Ｓをみながら車両１００を安全な場所（例：路肩）に安全に停止させることができる。緊急停止は車両１００の安全性の観点から好ましくないが、そのような緊急停止が不要となるため安全性が向上する。また、周辺の交通への影響も抑制される。
【0064】
尚、物体情報ＯＢＪは、車両１００によって常時取得される一般的な情報である。物体情報ＯＢＪは、通信速度が低下したときにだけ特殊な処理によって生成される特殊な情報ではない。従って、車両１００側の処理負荷は増加しない。
【0065】
５．代替モードの具体例
以下、代替モードの様々な具体例について説明する。
以下、代替モードの様々な具体例について説明する。
【0066】
５－１．第１の例
５－１－１．概要
図８は、代替モードの第１の例を説明するための概念図である。代替画像生成部２２０は、描画部２２５を含んでいる。描画部２２５は、物体情報ＯＢＪに基づいて代替画像ＩＭＧ－Ｓを生成（描画）する。物体情報ＯＢＪは、少なくとも、車両１００あるいは認識センサに対する物体５００の相対位置を含んでいる。よって、描画部２２５は、車両１００あるいは認識センサから見た物体５００の配置を再現するように代替画像ＩＭＧ－Ｓを生成（描画）することができる。
５－１－１．概要
図８は、代替モードの第１の例を説明するための概念図である。代替画像生成部２２０は、描画部２２５を含んでいる。描画部２２５は、物体情報ＯＢＪに基づいて代替画像ＩＭＧ－Ｓを生成（描画）する。物体情報ＯＢＪは、少なくとも、車両１００あるいは認識センサに対する物体５００の相対位置を含んでいる。よって、描画部２２５は、車両１００あるいは認識センサから見た物体５００の配置を再現するように代替画像ＩＭＧ－Ｓを生成（描画）することができる。
【0067】
図９は、第１の例の場合の代替画像ＩＭＧ－Ｓの例を示す概念図である。代替画像ＩＭＧ－Ｓは、車両１００あるいは認識センサから見た物体５００の配置を示している。例えば、物体５００は、図形（例：四角形）で表される。代替画像ＩＭＧ－Ｓの中の物体５００の位置は、オリジナルの画像ＩＭＧの中の物体５００を囲むバウンディングボックスの位置に対応している。
【0068】
物体情報ＯＢＪは、認識された物体５００の種類を含んでいてもよい。この場合、描画部２２５は、物体５００の種類毎に図形の色や種類が異なるように代替画像ＩＭＧ－Ｓを生成してもよい。
【0069】
描画部２２５は、物体５００の配置に加えて、車両１００の予想経路ＴＲを代替画像ＩＭＧ－Ｓに描画してもよい。車両１００の予想経路ＴＲは、車両情報ＶＣＬに含まれる車両１００の操舵角及び車速に基づいて算出可能である。あるいは、車両１００の予想経路ＴＲは、遠隔オペレータＯによる遠隔操作部材２０３の操作量に基づいて算出されてもよい。車両１００の車幅が既知情報として与えられる場合、描画部２２５は、車両１００の予想経路ＴＲに沿って予想通過領域を描画してもよい。
【0070】
第１の例によれば、簡易な処理によって簡易な代替画像ＩＭＧ－Ｓが生成される。このことは、処理負荷の軽減の観点から好ましい。
【0071】
５－１－２．停止要求処理
遠隔オペレータ端末２００は、停止要求部２３０を含んでいてもよい。代替画像ＩＭＧ－Ｓが遠隔オペレータＯに提示される場合、停止要求部２３０は、遠隔オペレータＯに対して車両１００を停止させるよう促す。例えば、停止要求部２３０は、車両１００を停止させることを促す視覚情報を表示装置２０２あるいはユーザインタフェース２０４に表示する。他の例として、停止要求部２３０は、車両１００を停止させることを促す音声情報をユーザインタフェース２０４（スピーカ）から出力してもよい。
遠隔オペレータ端末２００は、停止要求部２３０を含んでいてもよい。代替画像ＩＭＧ－Ｓが遠隔オペレータＯに提示される場合、停止要求部２３０は、遠隔オペレータＯに対して車両１００を停止させるよう促す。例えば、停止要求部２３０は、車両１００を停止させることを促す視覚情報を表示装置２０２あるいはユーザインタフェース２０４に表示する。他の例として、停止要求部２３０は、車両１００を停止させることを促す音声情報をユーザインタフェース２０４（スピーカ）から出力してもよい。
【0072】
５－２．第２の例
５－２－１．概要
図１０は、代替モードの第２の例を説明するための概念図である。代替画像生成部２２０は、シミュレータ２４０を含んでいる。シミュレータ２４０は、所定空間における物体群のシミュレーションをリアルタイムに行う。
５－２－１．概要
図１０は、代替モードの第２の例を説明するための概念図である。代替画像生成部２２０は、シミュレータ２４０を含んでいる。シミュレータ２４０は、所定空間における物体群のシミュレーションをリアルタイムに行う。
【0073】
シミュレーション対象である物体群を、以下、「対象物体」と呼ぶ。対象物体は、車両１００と車両１００の周囲の物体５００の両方を含む。ここでの物体５００は、歩行者、自転車、二輪車、他車両といった非静止物体（移動物体）であってもよい。
【0074】
「対象情報ＴＧＴ」は、対象物体に関する情報である。すなわち、対象情報ＴＧＴは、車両１００に関する車両情報ＶＣＬと、物体５００に関する物体情報ＯＢＪを含んでいる。車両１００は、車両情報ＶＣＬと物体情報ＯＢＪを含む対象情報ＴＧＴを遠隔オペレータ端末２００に送信する。追加的な物体情報ＯＢＪが、所定空間に配置されたインフラセンサ４００（例：インフラカメラ）によって観測され、インフラセンサ４００から遠隔オペレータ端末２００に提供されてもよい。シミュレータ２４０は、対象情報ＴＧＴを受け取る。
【0075】
所定空間は、一定エリアの空間である。例えば、所定空間は、スマートシティ等の“１つの街”である。シミュレータ２４０は、所定空間の３次元構成を示す空間構成情報を保持している。空間構成情報は、所定空間における物体５００以外の背景の３次元構成を示していてもよい。背景は、道路、白線、信号機、標識、路側構造物、建物、等を含む。
【0076】
シミュレータ２４０は、対象情報ＴＧＴと空間構成情報に基づいて、所定空間における対象物体のシミュレーションをリアルタイムに行う。シミュレーションにおける対象物体の初期値は、対象情報ＴＧＴに基づいて設定される。このようなシミュレータ２４０は、例えば、デジタルツイン（Digital Twin）技術によって実現される。
【0077】
代替画像生成部２２０は、シミュレータ２４０によるシミュレーション結果に基づいて、対象物体を視覚的に表す代替画像ＩＭＧ－Ｓを生成する。例えば、代替画像生成部２２０は、車両１００あるいは認識センサから見た物体５００の配置を再現するように代替画像ＩＭＧ－Ｓを生成する。他の例として、代替画像生成部２２０は、遠隔オペレータＯが車両１００と物体５００を俯瞰することができるように代替画像ＩＭＧ－Ｓを生成してもよい。
【0078】
図１１は、第２の例の場合の代替画像ＩＭＧ－Ｓの例を示す概念図である。代替画像ＩＭＧ－Ｓは、所定空間における対象物体（車両１００や物体５００）及び背景を３次元的に表している。図１１に示される例において、代替画像ＩＭＧ－Ｓは、遠隔オペレータＯが車両１００と物体５００を俯瞰することができるように生成されている。シミュレーション周期毎に代替画像ＩＭＧ－Ｓは更新される。
【0079】
遠隔オペレータＯは、表示装置２０２にリアルタイムに表示されるシミュレーション結果（代替画像ＩＭＧ－Ｓ）を見ながら、車両１００の遠隔操作を行う。遠隔操作情報ＯＰＥは、遠隔オペレータＯによる操作量を反映した情報を含んでいる。遠隔操作情報ＯＰＥは、車両１００に送信されるだけでなく、シミュレータ２４０にもフィードバックされる。シミュレータ２４０は、遠隔オペレータＯによる操作量をシミュレーションに反映する。すなわち、シミュレータ２４０は、遠隔オペレータＯによる操作量をシミュレーション内の車両情報ＶＣＬに反映させながら、シミュレーションを行う。
【0080】
以上に説明されたように、第２の例によれば、シミュレータ２４０が利用される。シミュレータ２４０を利用することによって、元の画像ＩＭＧにより近い詳細な代替画像ＩＭＧ－Ｓを生成することが可能となる。詳細な代替画像ＩＭＧ－Ｓが得られるため、遠隔オペレータＯは車両１００の遠隔操作をより精度良く行うことが可能となる。
【0081】
また、一般的に、車両１００と遠隔オペレータ端末２００との間の通信には通信遅延が伴う。通信遅延は、遠隔オペレータＯの判断遅れ、ぎこちない遠隔操作、等の原因となる。また、車両１００から遠隔オペレータ端末２００に送信される情報が通信経路上で欠落する可能性もある。通信中の情報欠落も、遠隔オペレータＯの判断遅れ、ぎこちない遠隔操作、等の原因となる。
【0082】
この点、シミュレータ２４０は、車両１００と遠隔オペレータ端末２００との間の通信状態の影響を受けにくい。よって、遠隔オペレータＯは、通信遅延や情報欠落の影響を受けることなく、車両１００の遠隔操作を行うことが可能となる。その結果、遠隔オペレータＯの判断遅れ、ぎこちない遠隔操作、等が抑制される。すなわち、遠隔オペレータＯは、車両１００の遠隔操作をより滑らかに、より安全に行うことが可能となる。
【0083】
５－２－２．シミュレーション精度を向上させるための処理
シミュレーション精度を向上させるために、以下に説明される処理が行われてもよい。
シミュレーション精度を向上させるために、以下に説明される処理が行われてもよい。
【0084】
図１２は、遠隔操作システム１における遅延を説明するための概念図である。横軸は時間を表し、縦軸は車両１００と遠隔オペレータ端末２００との間で通信される「情報Ｘ」を表している。図１２中の上段は、送信側の情報Ｘの時間変化を示している。上段中の丸印は、送信側から送信される情報Ｘとその送信タイミングを示している。一方、下段は、受信側において用いられる情報Ｘの時間変化を示している。下段中の丸印は、受信側が受信する情報Ｘとその受信タイミングを示している。
【0085】
車両１００と遠隔オペレータ端末２００との間の通信には通信遅延が伴う。その遅延量ＤＬは、一定ではなく、通信状態に応じて変動する。図１２に示されるように、受信側の情報Ｘは、遅延量ＤＬの分だけ、送信側の情報Ｘから遅延する。
【0086】
また、一般的には、図１２に示されるように、情報Ｘの通信周期は、受信側の制御周期よりも長い。言い換えれば、制御周波数は、情報Ｘの通信周波数よりも高い。そのため、受信側において制御に用いられる情報Ｘは、送信側における実際の情報Ｘから乖離する。通信周期と制御周期との差が大きくなるほど、情報Ｘの乖離は大きくなる。また、通信の遅延量ＤＬが大きくなるほど、情報Ｘの乖離は大きくなる。
【0087】
図１３は、「遅延補償処理」を説明するための概念図である。受信側は、送信側から受信する情報Ｘの遅延を補償する。この処理が、遅延補償処理である。より詳細には、受信側は、送信側からの情報Ｘの受信結果に基づいて、通信の遅延量ＤＬの情報を取得する。そして、受信側は、その遅延量ＤＬに基づいて、情報Ｘの遅延を補償する。
【0088】
図１４は、「アップサンプリング処理」を説明するための概念図である。受信側は、サンプリングの無い期間における情報Ｘを推定（予測）することによって、情報Ｘのサンプリング周波数（サンプリングレート）を増加させてもよい。この処理が、アップサンプリング処理である。特に、受信側は、情報Ｘのサンプリング周期（サンプリング周波数）と制御周期（制御周波数）との間の差が、通信周期（通信周波数）と制御周期（制御周波数）との間の差よりも小さくなるように、アップサンプリング処理を行う。例えば、受信側は、情報Ｘのサンプリング周期（サンプリング周波数）と制御周期（制御周波数）が一致するように、アップサンプリング処理を行う。
【0089】
図１５は、シミュレータ２４０に関連する機能構成例を示すブロック図である。代替画像生成部２２０は、受信部２２１、遅延補償部２２２、同期処理部２２３、及びシミュレータ２４０を含んでいる。これら機能ブロックは、通信装置２０１及び制御装置２０５により実現される。
【0090】
受信部２２１は、車両１００の遠隔操作の最中、対象情報ＴＧＴを受信する。対象情報ＴＧＴは、車両１００に関する車両情報ＶＣＬと、物体５００に関する物体情報ＯＢＪを含んでいる。受信部２２１は、対象情報ＴＧＴの受信結果に基づいて、車両１００と遠隔オペレータ端末２００との間の通信状態を把握する。通信状態としては、遅延量ＤＬ、通信速度、等が例示される。
【0091】
遅延補償部２２２は、上述の遅延補償処理を行う（図１３参照）。具体的には、遅延補償部２２２は、受信部２２１から、対象情報ＴＧＴと遅延量ＤＬの情報を取得する。遅延量ＤＬは、一定ではなく、通信状態に応じて変動する。遅延補償部２２２は、遅延量ＤＬに基づいて、受信した対象情報ＴＧＴの遅延を補償する。
【0092】
遅延補償部２２２は、アップサンプリング処理を行いつつ遅延補償処理を行うように構成されてもよい（図１４参照）。アップサンプリング処理と遅延補償処理を行う遅延補償部２２２は、例えば、ディレイドカルマンフィルター（Delayed Kalman Filter）を利用することにより実現可能である。ディレイドカルマンフィルターは、OOSM (Out-of-Sequence Measurement)とも呼ばれる。ディレイドカルマンフィルターの詳細については、非特許文献１、非特許文献２を参照されたい。ディレイドカルマンフィルターは、遅延量ＤＬが変動する対象情報ＴＧＴに対しても適用可能である。遅延補償部２２２は、遅延量ＤＬが変動する対象情報ＴＧＴにディレイドカルマンフィルターを適用することによって、アップサンプリング処理及び遅延補償処理を実行する。
【0093】
遅延が補償された対象情報ＴＧＴを、以下、「補正対象情報ＴＧＴ－Ｃ」と呼ぶ。遅延補償部２２２は、遅延量ＤＬに基づいて対象情報ＴＧＴの遅延を補償することによって補正対象情報ＴＧＴ－Ｃを算出すると言える。
【0094】
シミュレーション対象情報ＴＧＴ－Ｓは、シミュレーション内での対象情報ＴＧＴである。シミュレータ２４０は、空間構成情報とシミュレーション対象情報ＴＧＴ－Ｓに基づいてシミュレーションを行い、次のサイクルのシミュレーション対象情報ＴＧＴ－Ｓを推定する。但し、シミュレータ２４０によるシミュレーションにはシミュレーション誤差が伴う。そのシミュレーション誤差を補正するために、以下に説明される「同期処理」が行われる。
【0095】
同期処理部２２３は、シミュレーション対象情報ＴＧＴ－Ｓを補正対象情報ＴＧＴ－Ｃに基づいて補正する。典型的には、同期処理部２２３は、補正対象情報ＴＧＴ－Ｃに一致（同期）するようにシミュレーション対象情報ＴＧＴ－Ｓを補正する。これにより、シミュレーション誤差を解消することができる。
【0096】
シミュレーション対象情報ＴＧＴ－Ｓの補正の結果、シミュレーション対象情報ＴＧＴ－Ｓが急変する可能性がある。例えば、シミュレーション内における車両１００の位置が不連続的にジャンプする可能性がある。他の例として、シミュレーション内における車両１００が急加速する可能性がある。このようなシミュレーション対象情報ＴＧＴ－Ｓの急変化を抑制するために、フィルタ処理が行われてもよい。具体的には、同期処理部２２３は、シミュレーション対象情報ＴＧＴ－Ｓの急変化を抑えるためのフィルタを含んでいる。フィルタとしては、ローパスフィルタ等の１次遅れフィルタが例示される。同期処理部２２３は、シミュレーション対象情報ＴＧＴ－Ｓにフィルタを適用することによって、補正対象情報ＴＧＴ－Ｃに一致するようにシミュレーション対象情報ＴＧＴ－Ｓを徐々に変化させる。
【0097】
尚、対象情報ＴＧＴの通信周期は、シミュレータ２４０のシミュレーション周期よりも長い。言い換えれば、シミュレータ２４０のシミュレーション周波数は、対象情報ＴＧＴの通信周波数よりも高い。従って、基本的には、シミュレーション対象情報ＴＧＴ－Ｓはシミュレーションだけによって更新される。但し、遠隔オペレータ端末２００が対象情報ＴＧＴを受信すると、補正対象情報ＴＧＴ－Ｃが更新され、最新の補正対象情報ＴＧＴ－Ｃに基づいてシミュレーション対象情報ＴＧＴ－Ｓが補正される。
【0098】
以上に説明されたように、代替画像生成部２２０は、シミュレーションの実行と平行して、対象情報ＴＧＴを受信する。代替画像生成部２２０は、受信した対象情報ＴＧＴの遅延を補償することによって補正対象情報ＴＧＴ－Ｃを取得する。更に、代替画像生成部２２０は、補正対象情報ＴＧＴ－Ｃに基づいてシミュレーション対象情報ＴＧＴ－Ｓを補正する同期処理を実行する。これにより、シミュレーション精度が向上し、その結果、遠隔操作の精度も向上する。
【0099】
５－２－３．停止要求処理
上述の第１の例の場合と同様に、遠隔オペレータ端末２００は、停止要求部２３０を含んでいてもよい。代替画像ＩＭＧ－Ｓが遠隔オペレータＯに提示される場合、停止要求部２３０は、遠隔オペレータＯに対して車両１００を停止させるよう促す。
上述の第１の例の場合と同様に、遠隔オペレータ端末２００は、停止要求部２３０を含んでいてもよい。代替画像ＩＭＧ－Ｓが遠隔オペレータＯに提示される場合、停止要求部２３０は、遠隔オペレータＯに対して車両１００を停止させるよう促す。
【0100】
５－２－４．速度制限処理
シミュレーション結果に基づく代替画像ＩＭＧ－Ｓは、第１の例の場合の簡素な代替画像ＩＭＧ－Ｓよりも詳細である。詳細な代替画像ＩＭＧ－Ｓが得られるため、遠隔オペレータＯは車両１００の遠隔操作を継続することを望む可能性もある。但し、その場合であっても、安全性を確保するために車両１００の速度を制限することが好ましい。
シミュレーション結果に基づく代替画像ＩＭＧ－Ｓは、第１の例の場合の簡素な代替画像ＩＭＧ－Ｓよりも詳細である。詳細な代替画像ＩＭＧ－Ｓが得られるため、遠隔オペレータＯは車両１００の遠隔操作を継続することを望む可能性もある。但し、その場合であっても、安全性を確保するために車両１００の速度を制限することが好ましい。
【0101】
以上の観点から、遠隔オペレータ端末２００は、速度制限部２５０を含んでいてもよい。速度制限部２５０は、車両１００に対して速度を制限するよう指示する。
【0102】
例えば、速度制限部２５０は、速度制限指示情報を車両１００に送信する。車両１００は、遠隔オペレータ端末２００から受け取る速度制限指示情報に従って速度を制限する。速度を制限するとは、速度の上限値をデフォルト値よりも下げることを意味する。車両１００は、速度が上限値を超えないように車両走行制御を行う。これにより安全性が確保される。
【0103】
他の例として、速度制限部２５０は、遠隔操作情報ＯＰＥに含まれるアクセル操作量を予め制限してもよい。アクセル操作量を制限するとは、アクセル操作量を所定量以下になるように補正することを意味する。これによっても、結果的に車両１００の速度は制限される。すなわち、速度制限部２５０は、車両１００の速度を間接的に制限してもよい。
【0104】
速度制限部２５０は、速度制限処理が作動している旨を遠隔オペレータＯに通知してもよい。例えば、速度制限部２５０は、速度制限処理が作動している旨の視覚情報を表示装置２０２あるいはユーザインタフェース２０４に表示する。他の例として、速度制限部２５０は、速度制限処理が作動している旨の音声情報をユーザインタフェース２０４（スピーカ）から出力してもよい。
【0105】
５－３．第３の例
第３の例は、上記セクション５－１で説明された第１の例の変形例である。第３の例では、代替画像生成部２２０は、第２の例の場合と同様の受信部２２１及び遅延補償部２２２を含んでいる。遅延補償部２２２は、物体情報ＯＢＪに遅延補償処理を適用する。遅延補償部２２２は、物体情報ＯＢＪに遅延補償処理とアップサンプリング処理を適用してもよい。描画部２２５は、遅延補償処理が適用された物体情報ＯＢＪに基づいて、代替画像ＩＭＧ－Ｓを生成する。
第３の例は、上記セクション５－１で説明された第１の例の変形例である。第３の例では、代替画像生成部２２０は、第２の例の場合と同様の受信部２２１及び遅延補償部２２２を含んでいる。遅延補償部２２２は、物体情報ＯＢＪに遅延補償処理を適用する。遅延補償部２２２は、物体情報ＯＢＪに遅延補償処理とアップサンプリング処理を適用してもよい。描画部２２５は、遅延補償処理が適用された物体情報ＯＢＪに基づいて、代替画像ＩＭＧ－Ｓを生成する。
【0106】
第３の例によれば、第１の例の場合よりも高精度な代替画像ＩＭＧ－Ｓが得られる。また、処理負荷は、第２の例の場合よりも低い。
【0107】
５－４．第４の例
図１６は、代替モードの第４の例を説明するためのフローチャートである。
図１６は、代替モードの第４の例を説明するためのフローチャートである。
【0108】
代替モードの開始時、代替画像生成部２２０は、車両情報ＶＣＬに基づいて、車両１００が停止しているか否かを判定する（ステップＳ２１０）。代替モードの開始時に車両１００が停止している場合（ステップＳ２１０；Ｙｅｓ）、処理はステップＳ２２０に進む。一方、代替モードの開始時に車両１００が移動している場合（ステップＳ２１０；Ｎｏ）、処理はステップＳ２３０に進む。
【0109】
ステップＳ２２０において、代替画像生成部２２０は、高精度処理（第１処理）によって代替画像ＩＭＧ－Ｓを生成する。例えば、高精度処理は、上記セクション５－２で説明された第２の例に係る処理、すなわち、シミュレータ２４０を利用した処理である。高精度処理によって高精度な代替画像ＩＭＧ－Ｓが得られる。
【0110】
一方、ステップＳ２３０において、代替画像生成部２２０は、簡易処理（第２処理）によって代替画像ＩＭＧ－Ｓを生成する。簡易処理の処理負荷は、高精度処理の処理負荷よりも軽い。例えば、簡易処理は、上記セクション５－１で説明された第１の例に係る処理である。他の例として、簡易処理は、上記セクション５－３で説明された第３の例に係る処理であってもよい。ステップＳ２３０において、停止要求部２３０は、遠隔オペレータＯに対して車両１００を停止させるよう促してもよい。ステップＳ２３０の後、処理はステップＳ２１０に戻る。
【0111】
このように、代替モードの開始時に車両１００が移動していれば、軽い簡易処理によって代替画像ＩＭＧ－Ｓが生成される。代替画像ＩＭＧ－Ｓがスムーズに生成されるため、遠隔オペレータＯは、車両１００を素早く停止させることが可能となる。このことも安全性の確保に寄与する。
【0112】
車両１００が停止すると、高精度処理によって生成される高精度な代替画像ＩＭＧ－Ｓが表示装置２０２に表示される。高精度な代替画像ＩＭＧ－Ｓを見た遠隔オペレータＯは、車両１００の遠隔操作を再開することを検討することができる。
【0113】
遠隔オペレータ端末２００は、遠隔操作を再開する意思の有無を遠隔オペレータＯに問い合わせてもよい。例えば、遠隔オペレータ端末２００は、ユーザインタフェース２０４を介して遠隔オペレータＯの意思を問い合わせる。遠隔オペレータＯは、ユーザインタフェース２０４を用いて、遠隔操作を再開する意思を入力することができる。遠隔操作を再開する意思が入力されると、遠隔オペレータ端末２００は、遠隔操作の再開を許可する。あるいは、管理者の許可も合わせてリクエストされてもよい。
【0114】
遠隔オペレータＯが車両１００の遠隔操作を再開した場合（ステップＳ２４０；Ｙｅｓ）、代替画像生成部２２０は、引き続き高精度処理によって高精度な代替画像ＩＭＧ－Ｓを生成する。遠隔オペレータＯは、高精度な代替画像ＩＭＧ－Ｓを見て車両１００の遠隔操作を行う。但し、その場合であっても、安全性を確保するために車両１００の速度を制限することが好ましい。よって、好ましくは、速度制限部２５０は、車両１００に対して速度を制限するよう指示する（ステップＳ２５０）。
【符号の説明】
【0115】
１ 遠隔操作システム
１００ 車両
２００ 遠隔オペレータ端末
２０２ 表示装置
２０３ 遠隔操作部材
２０５ 制御装置
２０６ プロセッサ
２０７ 記憶装置
２２０ 代替画像生成部
２２２ 遅延補償部
２２５ 描画部
２３０ 停止要求部
２４０ シミュレータ
２５０ 速度制限部
３００ 管理装置
４００ インフラセンサ
５００ 物体
ＩＭＧ 画像
ＩＭＧ－Ｓ 代替画像
ＯＢＪ 物体情報
ＯＰＥ 遠隔操作情報
ＳＥＮ センサ検出情報
ＴＧＴ 対象情報
ＴＧＴ－Ｓ シミュレーション対象情報
ＶＣＬ 車両情報
１００ 車両
２００ 遠隔オペレータ端末
２０２ 表示装置
２０３ 遠隔操作部材
２０５ 制御装置
２０６ プロセッサ
２０７ 記憶装置
２２０ 代替画像生成部
２２２ 遅延補償部
２２５ 描画部
２３０ 停止要求部
２４０ シミュレータ
２５０ 速度制限部
３００ 管理装置
４００ インフラセンサ
５００ 物体
ＩＭＧ 画像
ＩＭＧ－Ｓ 代替画像
ＯＢＪ 物体情報
ＯＰＥ 遠隔操作情報
ＳＥＮ センサ検出情報
ＴＧＴ 対象情報
ＴＧＴ－Ｓ シミュレーション対象情報
ＶＣＬ 車両情報
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】