特許 7524915 制御装置、制御方法、及び制御プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-07-22

(45)【発行日】2024-07-30

(54)【発明の名称】制御装置、制御方法、及び制御プログラム

(51)【国際特許分類】

   G05D 1/43 20240101AFI20240723BHJP

   B60W 50/02 20120101ALI20240723BHJP

   B60W 60/00 20200101ALI20240723BHJP

   G05D 1/226 20240101ALI20240723BHJP

【ＦＩ】

G05D1/43

B60W50/02

B60W60/00

G05D1/226

【請求項の数】 8

(21)【出願番号】P 2022020780

(22)【出願日】2022-02-14

(65)【公開番号】P2023117945

(43)【公開日】2023-08-24

【審査請求日】2023-08-03

(73)【特許権者】

【識別番号】000003207

【氏名又は名称】トヨタ自動車株式会社

(74)【代理人】

【識別番号】110003199

【氏名又は名称】弁理士法人高田・高橋国際特許事務所

(72)【発明者】

【氏名】末廣 優樹

(72)【発明者】

【氏名】渡辺 敏暢

【審査官】田中 友章

(56)【参考文献】

【文献】特開２０１９－０１２５１４（ＪＰ，Ａ）

【文献】特開２０２０－１５４８１１（ＪＰ，Ａ）

【文献】特開２０１９－０８３４６２（ＪＰ，Ａ）

【文献】特開２００４－２９５３６０（ＪＰ，Ａ）

【文献】米国特許出願公開第２０２１／０１９１３８７（ＵＳ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０５Ｄ １／００ － Ｇ０５Ｄ １／８７

Ｂ６０Ｗ ５０／０２

Ｂ６０Ｗ ６０／００

(57)【特許請求の範囲】

【請求項1】

遠隔オペレータによる遠隔操作の対象である移動体を制御する制御装置であって、
１又は複数のプロセッサを備え、
前記１又は複数のプロセッサは、
前記移動体の前記遠隔操作の最中、前記遠隔オペレータ側の遠隔オペレータ端末と通信を行い、前記遠隔オペレータによる第１操作量を含む遠隔操作情報を受信する処理と、
前記遠隔操作情報の受信結果に基づいて、前記遠隔オペレータ端末から前記移動体への通信の遅延量を取得する処理と、
前記遅延量に基づいて前記第１操作量の遅延を補償することによって第１補正操作量を算出する遅延補償処理と、
サンプリングの無い期間における前記第１補正操作量を推定することによって前記第１補正操作量のサンプリング周波数を増加させるアップサンプリング処理と、
前記第１補正操作量に基づいて前記移動体を制御する処理と
を実行するように構成された
制御装置。

【請求項2】

請求項１に記載の制御装置であって、
前記移動体を制御する制御周波数は、前記遠隔操作情報の通信周波数よりも高く、
前記１又は複数のプロセッサは、前記第１補正操作量の前記サンプリング周波数と前記制御周波数との間の差が前記通信周波数と前記制御周波数との間の差よりも小さくなるように、前記アップサンプリング処理を実行する
制御装置。

【請求項3】

請求項１又は２に記載の制御装置であって、
前記１又は複数のプロセッサは、
前記アップサンプリング処理により得られる前記第１補正操作量の推定値及び前記遅延補償処理により得られる前記第１補正操作量をフィードバックすることにより、サンプリングの無い期間における前記第１補正操作量を推定し、
前記遅延量に基づいて前記遅延補償処理を行いながら、前記第１補正操作量の前記推定値を前記遠隔オペレータ端末から受信する前記第１操作量に基づいて補正することにより、前記第１補正操作量を算出する
制御装置。

【請求項4】

請求項３に記載の制御装置であって、
前記１又は複数のプロセッサは、ディレイドカルマンフィルターを前記第１操作量に適用することによって、前記アップサンプリング処理及び前記遅延補償処理を実行する
制御装置。

【請求項5】

請求項１乃至４のいずれか一項に記載の制御装置であって、
前記アップサンプリング処理において、前記１又は複数のプロセッサは、前記移動体が移動する道路の形状及び前記移動体の制御量のうち少なくとも一方を含む補足情報に更に基づいて、前記第１補正操作量を推定する
制御装置。

【請求項6】

遠隔オペレータによる遠隔操作の対象である移動体を制御する制御装置であって、
１又は複数のプロセッサを備え、
前記１又は複数のプロセッサは、
前記移動体の前記遠隔操作の最中、前記遠隔オペレータ側の遠隔オペレータ端末と通信を行い、前記遠隔オペレータによる第１操作量を含む遠隔操作情報を受信する処理と、
前記遠隔操作情報の受信結果に基づいて、前記遠隔オペレータ端末から前記移動体への通信の遅延量を取得する処理と、
前記遅延量に基づいて前記第１操作量の遅延を補償することによって第１補正操作量を算出する遅延補償処理と、
前記第１補正操作量に基づいて前記移動体を制御する処理と
を実行するように構成され、
前記移動体は、自動運転機能を有し、
前記１又は複数のプロセッサは、更に、
前記遠隔オペレータ端末との前記通信の状態に基づいて、前記遠隔オペレータ端末との前記通信の異常が発生しているか否かを判定する通信異常判定処理と、
前記第１操作量に基づいて、前記遠隔オペレータ端末の異常が発生しているか否かを判定する端末異常判定処理と、
前記通信異常判定処理と前記端末異常判定処理の結果に応じて、前記第１補正操作量と前記自動運転機能により決定される第２操作量とのうち少なくとも一方から操作量を決定する操作量調停処理と、
前記決定された操作量に従って前記移動体を制御する処理と
を実行するように構成された
制御装置。

【請求項7】

遠隔オペレータによる遠隔操作の対象である移動体を制御する制御方法であって、
前記移動体の前記遠隔操作の最中、前記遠隔オペレータ側の遠隔オペレータ端末と通信を行い、前記遠隔オペレータによる第１操作量を含む遠隔操作情報を受信する処理と、
前記遠隔操作情報の受信結果に基づいて、前記遠隔オペレータ端末から前記移動体への通信の遅延量を取得する処理と、
前記遅延量に基づいて前記第１操作量の遅延を補償することによって第１補正操作量を算出する遅延補償処理と、
サンプリングの無い期間における前記第１補正操作量を推定することによって前記第１補正操作量のサンプリング周波数を増加させるアップサンプリング処理と、
前記第１補正操作量に基づいて前記移動体を制御する処理と
を含む
制御方法。

【請求項8】

遠隔オペレータによる遠隔操作の対象である移動体を制御する制御プログラムであって、
前記移動体の前記遠隔操作の最中、前記遠隔オペレータ側の遠隔オペレータ端末と通信を行い、前記遠隔オペレータによる第１操作量を含む遠隔操作情報を受信する処理と、
前記遠隔操作情報の受信結果に基づいて、前記遠隔オペレータ端末から前記移動体への通信の遅延量を取得する処理と、
前記遅延量に基づいて前記第１操作量の遅延を補償することによって第１補正操作量を算出する遅延補償処理と、
サンプリングの無い期間における前記第１補正操作量を推定することによって前記第１補正操作量のサンプリング周波数を増加させるアップサンプリング処理と、
前記第１補正操作量に基づいて前記移動体を制御する処理と
をコンピュータに実行させる
制御プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、遠隔オペレータによる遠隔操作の対象である移動体を制御する技術に関する。

【背景技術】

【0002】

特許文献１は、車両の遠隔操作を行う運転制御システムを開示している。遠隔操作装置と車両側の運転制御装置とが無線通信を行う。運転制御装置は、遠隔操作装置との無線通信の遅延時間を算出する。遅延時間が閾値以上の場合、運転制御装置は、車両の運転制御を通常制御から安全制御に変更する。安全制御は、例えば、通常制御時よりも車速を低下させる。

【0003】

その他、車両の遠隔操作に関連する技術が、特許文献２及び特許文献３に開示されている。

【0004】

また、計測の分野において、カルマンフィルター（Kalman filter）が一般的に知られている。カルマンフィルターは、計測データからシステムの状態を推定する。但し、データ計測タイミングとカルマンフィルターの作動タイミングとの間にはズレが存在し、そのズレが大きくなると推定精度が低下する。

【0005】

非特許文献１及び非特許文献２は、遅延を含む計測データに対しても適用可能な「ディレイドカルマンフィルター（Delayed Kalman Filter）」を開示している。ディレイドカルマンフィルターは、OOSM (Out-of-Sequence Measurement)とも呼ばれる。

【先行技術文献】

【特許文献】

【0006】

【文献】特開２０１６－０７１５８５号公報

【文献】特開２００４－２９５３６０号公報

【文献】特開２０２１－０６１５１６号公報

【非特許文献】

【0007】

【文献】Yaakov Bar-Shalom, "Update with Out-of-Sequence Measurements in Tracking: Exact Solution," IEEE Transactions on Aerospace and Electronic Systems, VOL. 38, No.3, pp.769-778, July 2002.

【文献】Keshu Zhang et al., "Optimal Update with Out-of-Sequence Measurements," IEEE Transactions on Signal Processing, Vol. 53, No.6, pp.1992-2004, June 2005.

【発明の概要】

【発明が解決しようとする課題】

【0008】

遠隔オペレータによる移動体（例：車両、ロボット）の遠隔操作について考える。遠隔操作システムは、遠隔操作の対象である移動体と、遠隔オペレータ側の遠隔オペレータ端末とを含む。遠隔操作の最中、移動体と遠隔オペレータ端末は互いに通信を行う。移動体は、遠隔オペレータによる操作量の情報を遠隔オペレータ端末から取得し、その操作量に従って制御を行う。

【0009】

遠隔オペレータ端末から移動体への通信には遅延が存在する。よって、遠隔オペレータによる操作量が実際に移動体制御に反映されるまで時間がかかる。その結果、遠隔オペレータによる移動体の遠隔操作がぎこちなくなる可能性がある。場合によっては、移動体が蛇行してしまう。このことは、移動体の遠隔操作の安全性の観点から好ましくない。

【0010】

本開示の１つの目的は、遠隔オペレータが移動体の遠隔操作をより滑らかに、より安全に行うことができる技術を提供することにある。

【課題を解決するための手段】

【0011】

第１の観点は、遠隔オペレータによる遠隔操作の対象である移動体を制御する制御装置に関連する。
制御装置は、１又は複数のプロセッサを備える。
１又は複数のプロセッサは、
移動体の遠隔操作の最中、遠隔オペレータ側の遠隔オペレータ端末と通信を行い、遠隔オペレータによる第１操作量を含む遠隔操作情報を受信する処理と、
遠隔操作情報の受信結果に基づいて、遠隔オペレータ端末から移動体への通信の遅延量を取得する処理と、
遅延量に基づいて第１操作量の遅延を補償することによって第１補正操作量を算出する遅延補償処理と、
第１補正操作量に基づいて移動体を制御する処理と
を実行するように構成される。

【0012】

第２の観点は、遠隔オペレータによる遠隔操作の対象である移動体を制御する制御方法に関連する。
制御方法は、
移動体の遠隔操作の最中、遠隔オペレータ側の遠隔オペレータ端末と通信を行い、遠隔オペレータによる第１操作量を含む遠隔操作情報を受信する処理と、
遠隔操作情報の受信結果に基づいて、遠隔オペレータ端末から移動体への通信の遅延量を取得する処理と、
遅延量に基づいて第１操作量の遅延を補償することによって第１補正操作量を算出する遅延補償処理と、
第１補正操作量に基づいて移動体を制御する処理と
を含む。

【0013】

第３の観点は、遠隔オペレータによる遠隔操作の対象である移動体を制御する制御プログラムに関連する。
制御プログラムは、
移動体の遠隔操作の最中、遠隔オペレータ側の遠隔オペレータ端末と通信を行い、遠隔オペレータによる第１操作量を含む遠隔操作情報を受信する処理と、
遠隔操作情報の受信結果に基づいて、遠隔オペレータ端末から移動体への通信の遅延量を取得する処理と、
遅延量に基づいて第１操作量の遅延を補償することによって第１補正操作量を算出する遅延補償処理と、
第１補正操作量に基づいて移動体を制御する処理と
をコンピュータに実行させる。

【発明の効果】

【0014】

本開示によれば、移動体において、遠隔オペレータによる第１操作量の遅延を補償する遅延補償処理が行われる。移動体は、遅延補償処理により得られる第１補正操作量に基づいて制御される。これにより、遠隔オペレータは、移動体の遠隔操作をより滑らかに、より安全に行うことが可能となる。移動体の蛇行運転も抑制される。すなわち、本開示によれば、移動体の遠隔操作の安全性が向上する。

【図面の簡単な説明】

【0015】

【図1】本開示の実施の形態に係る遠隔操作システムの構成例を示す概略図である。

【図2】本開示の実施の形態に係る車両の構成例を示すブロック図である。

【図3】課題を説明するための概念図である。

【図4】本開示の実施の形態に係る車両における遅延補償処理を説明するための概念図である。

【図5】本開示の実施の形態に係る車両における遅延補償処理及びアップサンプリング処理を説明するための概念図である。

【図6】本開示の実施の形態に係る車両における遅延補償処理に関連する機能構成例を示すブロック図である。

【図7】本開示の実施の形態に係る遅延補償部の構成例を示すブロック図である。

【図8】本開示の実施の形態に係る車両における異常判定処理及び操作量調停処理を説明するための概念図である。

【図9】本開示の実施の形態に係る車両における異常判定処理及び操作量調停処理に関連する機能構成例を示すブロック図である。

【図10】本開示の実施の形態に係る通信異常判定処理の例を示すフローチャートである。

【図11】本開示の実施の形態に係る通信異常判定処理の例を示すフローチャートである。

【図12】本開示の実施の形態に係る端末異常判定処理の例を示すフローチャートである。

【図13】本開示の実施の形態に係る車両異常判定処理の例を示すフローチャートである。

【図14】本開示の実施の形態に係る操作量調停処理の例を説明するための図である。

【図15】本開示の実施の形態に係る車両における各種処理に関連する機能構成例を示すブロック図である。

【図16】本開示の実施の形態に係る遠隔オペレータ端末の構成例を示すブロック図である。

【発明を実施するための形態】

【0016】

添付図面を参照して、本開示の実施の形態を説明する。

【0017】

１．遠隔操作システムの概要
移動体の遠隔操作（遠隔運転）について考える。遠隔操作の対象である移動体としては、車両、ロボット、飛翔体、等が例示される。車両は、自動運転車両であってもよいし、ドライバが運転する車両であってもよい。ロボットとしては、物流ロボット、作業ロボット、等が例示される。飛翔体としては、飛行機、ドローン、等が例示される。

【0018】

一例として、以下の説明においては、遠隔操作の対象である移動体が車両である場合について考える。一般化する場合には、以下の説明における「車両」を「移動体」で読み替えるものとする。

【0019】

図１は、本実施の形態に係る遠隔操作システム１の構成例を示す概略図である。遠隔操作システム１は、車両１００、遠隔オペレータ端末２００、及び管理装置３００を含んでいる。車両１００は、遠隔操作の対象である。遠隔オペレータ端末２００は、遠隔オペレータＯが車両１００を遠隔操作する際に使用する端末装置である。遠隔オペレータ端末２００を遠隔操作ＨＭＩ（Human Machine Interface）と言うこともできる。管理装置３００は、遠隔操作システム１の管理を行う。遠隔操作システム１の管理は、例えば、遠隔操作が必要な車両１００に対して遠隔オペレータＯを割り当てることを含む。管理装置３００は、通信ネットワークを介して車両１００及び遠隔オペレータ端末２００と通信可能である。典型的には、管理装置３００は、クラウド上の管理サーバである。管理サーバは、分散処理を行う複数のサーバにより構成されていてもよい。

【0020】

車両１００には、カメラを含む各種センサが搭載されている。カメラは、車両１００の周囲の状況を撮像し、車両１００の周囲の状況を示す画像情報を取得する。車両情報ＶＣＬは、各種センサにより得られる情報であり、カメラにより得られる画像情報を含む。車両１００は、管理装置３００を介して、車両情報ＶＣＬを遠隔オペレータ端末２００に送信する。つまり、車両１００は、車両情報ＶＣＬを管理装置３００に送信し、管理装置３００は、受け取った車両情報ＶＣＬを遠隔オペレータ端末２００に転送する。

【0021】

遠隔オペレータ端末２００は、車両１００から送信された車両情報ＶＣＬを受け取る。遠隔オペレータ端末２００は、車両情報ＶＣＬを遠隔オペレータＯに提示する。具体的には、遠隔オペレータ端末２００は、表示装置を備えており、画像情報等を表示装置に表示する。遠隔オペレータＯは、表示された情報をみて、車両１００の周囲の状況を認識し、車両１００の遠隔操作を行う。遠隔操作情報ＯＰＥは、遠隔オペレータＯによる遠隔操作に関する情報である。例えば、遠隔操作情報ＯＰＥは、遠隔オペレータＯによる操作量を含む。遠隔オペレータ端末２００は、管理装置３００を介して、遠隔操作情報ＯＰＥを車両１００に送信する。つまり、遠隔オペレータ端末２００は、遠隔操作情報ＯＰＥを管理装置３００に送信し、管理装置３００は、受け取った遠隔操作情報ＯＰＥを車両１００に転送する。

【0022】

車両１００は、遠隔オペレータ端末２００から送信された遠隔操作情報ＯＰＥを受け取る。車両１００は、受け取った遠隔操作情報ＯＰＥに従って車両走行制御を行う。このようにして、車両１００の遠隔操作が実現される。

【0023】

２．車両の例
２－１．構成例
図２は、車両１００の構成例を示すブロック図である。車両１００は、通信装置１０１、センサ群１０２、走行装置１０３、及び制御装置１０５を備えている。

【0024】

通信装置１０１は、車両１００の外部と通信を行う。例えば、通信装置１０１は、遠隔オペレータ端末２００や管理装置３００と通信を行う。

【0025】

センサ群１０２は、認識センサ、車両状態センサ、位置センサ、等を含んでいる。認識センサは、車両１００の周辺の状況を認識（検出）する。認識センサとしては、カメラ、ＬＩＤＡＲ（Laser Imaging Detection and Ranging）、レーダ、等が例示される。車両状態センサは、車両１００の状態を検出する。車両状態センサは、速度センサ、加速度センサ、ヨーレートセンサ、舵角センサ、等を含んでいる。位置センサは、車両１００の位置及び方位を検出する。例えば、位置センサは、ＧＮＳＳ（Global Navigation Satellite System）を含んでいる。

【0026】

走行装置１０３は、操舵装置、駆動装置、及び制動装置を含んでいる。操舵装置は、車輪を転舵する。例えば、操舵装置は、パワーステアリング（EPS: Electric Power Steering）装置を含んでいる。駆動装置は、駆動力を発生させる動力源である。駆動装置としては、エンジン、電動機、インホイールモータ、等が例示される。制動装置は、制動力を発生させる。

【0027】

制御装置１０５は、車両１００を制御するコンピュータである。制御装置１０５は、１又は複数のプロセッサ１０６（以下、単にプロセッサ１０６と呼ぶ）と１又は複数の記憶装置１０７（以下、単に記憶装置１０７と呼ぶ）を含んでいる。プロセッサ１０６は、各種処理を実行する。例えば、プロセッサ１０６は、ＣＰＵ（Central Processing Unit）を含んでいる。記憶装置１０７は、プロセッサ１０６による処理に必要な各種情報を格納する。記憶装置１０７としては、揮発性メモリ、不揮発性メモリ、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、等が例示される。制御装置１０５は、１又は複数のＥＣＵ（Electronic Control Unit）を含んでいてもよい。

【0028】

車両制御プログラムＰＲＯＧ１は、プロセッサ１０６によって実行されるコンピュータプログラムである。プロセッサ１０６が車両制御プログラムＰＲＯＧ１を実行することにより、制御装置１０５の機能が実現される。車両制御プログラムＰＲＯＧ１は、記憶装置１０７に格納される。あるいは、車両制御プログラムＰＲＯＧ１は、コンピュータ読み取り可能な記録媒体に記録されてもよい。

【0029】

２－２．運転環境情報
制御装置１０５は、センサ群１０２を用いて、車両１００の運転環境を示す運転環境情報ＥＮＶを取得する。運転環境情報ＥＮＶは、記憶装置１０７に格納される。

【0030】

運転環境情報ＥＮＶは、認識センサによる認識結果を示す周辺状況情報を含む。例えば、周辺状況情報は、カメラによって撮像される画像情報を含む。周辺状況情報は、車両１００の周辺の物体に関する物体情報を含んでいてもよい。車両１００の周辺の物体としては、歩行者、他車両（先行車両、駐車車両、等）、白線、信号、標識、路側構造物、等が例示される。物体情報は、車両１００に対する物体の相対位置及び相対速度を示す。

【0031】

また、運転環境情報ＥＮＶは、車両状態センサによって検出される車両状態を示す車両状態情報を含む。

【0032】

更に、運転環境情報ＥＮＶは、車両１００の位置及び方位を示す車両位置情報を含む。車両位置情報は、位置センサにより得られる。地図情報と周辺状況情報（物体情報）を用いた自己位置推定処理（Localization）により、高精度な車両位置情報が取得されてもよい。

【0033】

２－３．車両走行制御
制御装置１０５は、車両１００の走行を制御する車両走行制御を実行する。車両走行制御は、操舵制御、駆動制御、及び制動制御を含む。制御装置１０５は、走行装置１０３（操舵装置、駆動装置、及び制動装置）を制御することによって車両走行制御を実行する。

【0034】

制御装置１０５は、運転環境情報ＥＮＶに基づいて自動運転制御を行ってもよい。より詳細には、制御装置１０５は、運転環境情報ＥＮＶに基づいて、車両１００の走行プランを生成する。更に、制御装置１０５は、運転環境情報ＥＮＶに基づいて、車両１００が走行プランに従って走行するために必要な目標トラジェクトリを生成する。目標トラジェクトリは、目標位置及び目標速度を含んでいる。そして、制御装置１０５は、車両１００が目標トラジェクトリに追従するように車両走行制御を行う。

【0035】

２－４．遠隔操作に関連する処理
以下、車両１００の遠隔操作が行われる場合について説明する。制御装置１０５は、通信装置１０１を介して、遠隔オペレータ端末２００と通信を行う。

【0036】

制御装置１０５は、車両情報ＶＣＬを遠隔オペレータ端末２００に送信する。車両情報ＶＣＬは、遠隔オペレータＯによる遠隔操作に必要な情報であり、上述の運転環境情報ＥＮＶの少なくとも一部を含んでいる。例えば、車両情報ＶＣＬは、周辺状況情報（特に画像情報）を含んでいる。車両情報ＶＣＬは、更に、車両状態情報や車両位置情報を含んでいてもよい。

【0037】

また、制御装置１０５は、遠隔操作情報ＯＰＥを遠隔オペレータ端末２００から受信する。遠隔操作情報ＯＰＥは、遠隔オペレータＯによる遠隔操作に関する情報である。例えば、遠隔操作情報ＯＰＥは、遠隔オペレータＯによる操作量を含む。制御装置１０５は、受信した遠隔操作情報ＯＰＥに従って車両走行制御を行う。

【0038】

以下、車両１００の遠隔操作の安全性の向上について詳細に検討する。

【0039】

３．遅延補償処理とアップサンプリング処理
３－１．概要
まず、図３に示される比較例を参照して、本セクションにおいて検討する課題について説明する。横軸は時間を表し、縦軸は遠隔オペレータＯによる操作量を表している。遠隔オペレータＯによる操作量を、以下、「第１操作量Ｘ１」と呼ぶ。第１操作量Ｘ１は、遠隔オペレータ端末２００から車両１００に送信される遠隔操作情報ＯＰＥに含まれている。車両１００の制御装置１０５は、受信した遠隔操作情報ＯＰＥに含まれる第１操作量Ｘ１に従って車両走行制御を行う。

【0040】

図３中の上段は、遠隔オペレータＯ側の第１操作量Ｘ１の時間変化を示している。上段中の丸印は、車両１００に送信される第１操作量Ｘ１とその送信タイミングを示している。一方、下段は、車両１００において制御に用いられる第１操作量Ｘ１の時間変化を示している。下段中の丸印は、車両１００が受信する第１操作量Ｘ１とその受信タイミングを示している。

【0041】

一つ目の課題は、遠隔オペレータ端末２００から車両１００への通信の遅延である。その通信の遅延量ＤＬは、一定ではなく、通信状態に応じて変動する。図３に示されるように、車両１００側の第１操作量Ｘ１は、遅延量ＤＬの分だけ、遠隔オペレータＯ側の第１操作量Ｘ１から遅延する。つまり、遠隔オペレータＯによる第１操作量Ｘ１が実際に車両制御に反映されるまで、少なくとも遅延量ＤＬの時間がかかる。その結果、遠隔オペレータＯによる車両１００の遠隔操作がぎこちなくなる可能性がある。場合によっては、車両１００が蛇行してしまう。これらのことは、車両１００の遠隔操作の安全性の観点から好ましくない。

【0042】

二つ目の課題は、通信周期と制御周期の違いである。一般的には、図３に示されるように、遠隔操作情報ＯＰＥ（第１操作量Ｘ１）の通信周期は、車両１００を制御するための制御周期よりも長い。言い換えれば、車両１００を制御する制御周波数は、遠隔操作情報ＯＰＥの通信周波数よりも高い。そのため、車両１００において制御に用いられる第１操作量Ｘ１は、遠隔オペレータＯによる実際の第１操作量Ｘ１から乖離する。通信周期と制御周期との差が大きくなるほど、第１操作量Ｘ１の乖離は大きくなる。また、通信の遅延量ＤＬが大きくなるほど、第１操作量Ｘ１の乖離は大きくなる。このような第１操作量Ｘ１の乖離によっても、遠隔オペレータＯによる車両１００の遠隔操作がぎこちなくなる可能性がある。場合によっては、車両１００が蛇行してしまう。これらのことは、車両１００の遠隔操作の安全性の観点から好ましくない。

【0043】

本実施の形態に係る車両１００は、上記の課題の少なくとも一方を解決できるように構成される。

【0044】

図４は、本実施の形態に係る車両１００における「遅延補償処理」を説明するための概念図である。車両１００の制御装置１０５は、車両１００側の第１操作量Ｘ１の遅延を補償するように構成される。より詳細には、制御装置１０５は、遠隔オペレータ端末２００からの遠隔操作情報ＯＰＥの受信結果に基づいて、通信の遅延量ＤＬの情報を取得する。そして、制御装置１０５は、その遅延量ＤＬに基づいて、第１操作量Ｘ１の遅延を補償する。この処理が遅延補償処理である。制御装置１０５は、遅延補償処理後の第１操作量Ｘ１に基づいて車両１００を制御する。このような遅延補償処理により、一つ目の課題が解決される。尚、遅延補償処理の具体例については後述される。

【0045】

図５は、本実施の形態に係る車両１００における「アップサンプリング処理」を説明するための概念図である。車両１００の制御装置１０５は、サンプリングの無い期間における第１操作量Ｘ１を推定（予測）することによって、第１操作量Ｘ１のサンプリング周波数（サンプリングレート）を増加させるように構成される。この処理が、アップサンプリング処理である。特に、制御装置１０５は、第１操作量Ｘ１のサンプリング周期（サンプリング周波数）と制御周期（制御周波数）との間の差が、通信周期（通信周波数）と制御周期（制御周波数）との間の差よりも小さくなるように、アップサンプリング処理を行う。例えば、制御装置１０５は、第１操作量Ｘ１のサンプリング周期（サンプリング周波数）と制御周期（制御周波数）が一致するように、アップサンプリング処理を行う。このようなアップサンプリング処理により、二つ目の課題が解決される。尚、アップサンプリング処理の具体例については後述される。

【0046】

本実施の形態に係る車両１００の制御装置１０５は、遅延補償処理とアップサンプリング処理の少なくとも一方を実行するように構成される。制御装置１０５は、遅延補償処理とアップサンプリング処理の両方を実行するように構成されてもよい。これにより、遠隔オペレータＯは、車両１００の遠隔操作をより滑らかに、より安全に行うことが可能となる。車両１００の蛇行運転も抑制される。すなわち、本実施の形態によれば、車両１００の遠隔操作の安全性が向上する。

【0047】

３－２．機能構成例
図６は、車両１００における遅延補償処理に関連する機能構成例を示すブロック図である。車両１００は、機能ブロックとして、受信部１１０、遅延補償部１２０、及び制御部１３０を含んでいる。これら機能ブロックは、通信装置１０１及び制御装置１０５により実現される。

【0048】

受信部１１０は、車両１００の遠隔操作の最中、遠隔オペレータ端末２００から送信される遠隔操作情報ＯＰＥを受信する。遠隔操作情報ＯＰＥは、遠隔オペレータＯによる第１操作量Ｘ１の情報を含んでいる。受信部１１０は、遠隔操作情報ＯＰＥの受信結果に基づいて、遠隔オペレータ端末２００との通信状態を把握する。通信状態としては、データ受信の有無、遅延量ＤＬ、通信速度、電波受信強度、等が例示される。

【0049】

遅延補償部１２０は、遅延補償処理を行う。具体的には、遅延補償部１２０は、受信部１１０から、第１操作量Ｘ１と遅延量ＤＬの情報を取得する。遅延量ＤＬは、一定ではなく、通信状態に応じて変動する。遅延補償部１２０は、遅延量ＤＬに基づいて第１操作量Ｘ１の遅延を補償する。遅延が補償された第１操作量Ｘ１を、以下、「第１補正操作量Ｘ１Ｃ」と呼ぶ。遅延補償部１２０は、遅延量ＤＬに基づいて第１操作量Ｘ１の遅延を補償することによって第１補正操作量Ｘ１Ｃを算出すると言える。遅延補償部１２０は、アップサンプリング処理を行いつつ遅延補償処理を行ってもよい。遅延補償部１２０の具体例は、次のセクション３－３において説明する。

【0050】

制御部１３０は、遅延補償処理後の第１補正操作量Ｘ１Ｃを受け取る。制御部１３０は、その第１補正操作量Ｘ１Ｃに従って車両走行制御を行う。

【0051】

３－３．遅延補償部の例
図７は、遅延補償部１２０の構成例を示すブロック図である。図７に示される遅延補償部１２０は、アップサンプリング処理を行いつつ遅延補償処理を行うように構成されている。より詳細には、遅延補償部１２０は、補正部１２１、推定部１２２、及び出力部１２３を含んでいる。

【0052】

補正部１２１は、遠隔オペレータ端末２００から受信する遠隔オペレータＯによる第１操作量Ｘ１の情報を取得する。また、補正部１２１は、遅延量ＤＬの情報を取得する。遅延量ＤＬは、一定ではなく、通信状態に応じて変動する。補正部１２１は、第１操作量Ｘ１と遅延量ＤＬに基づいて遅延補償処理を行い、第１補正操作量Ｘ１Ｃを算出する。出力部１２３は、第１補正操作量Ｘ１Ｃを出力する。

【0053】

推定部１２２は、出力部１２３から出力される第１補正操作量Ｘ１Ｃに基づいて、サンプリングの無い期間における第１補正操作量Ｘ１Ｃを推定（予測）する。つまり、推定部１２２は、アップサンプリング処理を行う。特に、推定部１２２は、第１補正操作量Ｘ１Ｃのサンプリング周波数と制御周波数との間の差が、通信周波数と制御周波数との間の差よりも小さくなるように、アップサンプリング処理を行う。

【0054】

例えば、推定部１２２は、車両１００の運動を表す運動方程式を保持している。推定部１２２から出力される第１補正操作量Ｘ１Ｃの推定値は、出力部１２３を通して推定部１２２にフィードバックされる。推定部１２２は、運動方程式と第１補正操作量Ｘ１Ｃの推定値に基づいて、次のタイミングの第１補正操作量Ｘ１Ｃを推定（予測）する。但し、第１補正操作量Ｘ１Ｃの推定値は誤差を含む。その誤差は、補正部１２１によって補正される。

【0055】

具体的には、推定部１２２から出力される第１補正操作量Ｘ１Ｃの推定値は、補正部１２１にも入力される。その一方で、遠隔オペレータ端末２００から受信する遠隔オペレータＯによる第１操作量Ｘ１（実際値）も補正部１２１に入力される。上述の通り、通信周期は制御周期よりも長く、制御周波数は通信周波数よりも高いため、第１操作量Ｘ１（実際値）は、第１補正操作量Ｘ１Ｃの推定値よりも低い頻度で補正部１２１に入力される。補正部１２１は、遅延量ＤＬに基づいて遅延補償処理を行いながら、第１補正操作量Ｘ１Ｃの推定値を第１操作量Ｘ１（実際値）に基づいて補正することにより、第１補正操作量Ｘ１Ｃを算出する。補正部１２１により算出された第１補正操作量Ｘ１Ｃは、出力部１２３を通して推定部１２２にフィードバックされる。推定部１２２は、出力部１２３から出力される第１補正操作量Ｘ１Ｃに基づいて、アップサンプリング処理を行う。

【0056】

このように、図７に示される遅延補償部１２０は、アップサンプリング処理を行いつつ遅延補償処理を行う。遅延補償部１２０は、アップサンプリング処理により得られる第１補正操作量Ｘ１Ｃの推定値及び遅延補償処理により得られる第１補正操作量Ｘ１Ｃをフィードバックすることにより、サンプリングの無い期間における第１補正操作量Ｘ１Ｃを推定する。また、遅延補償部１２０は、遅延量ＤＬに基づいて遅延補償処理を行いながら、第１補正操作量Ｘ１Ｃの推定値を第１操作量Ｘ１（実際値）に基づいて補正することにより、第１補正操作量Ｘ１Ｃを算出する。

【0057】

アップサンプリング処理と遅延補償処理を行う遅延補償部１２０は、例えば、ディレイドカルマンフィルター（Delayed Kalman Filter）を利用することにより実現可能である。ディレイドカルマンフィルターは、OOSM (Out-of-Sequence Measurement)とも呼ばれる。ディレイドカルマンフィルターの詳細については、非特許文献１、非特許文献２を参照されたい。ディレイドカルマンフィルターは、遅延量ＤＬが変動する第１操作量Ｘ１に対しても適用可能である。遅延補償部１２０は、遅延量ＤＬが変動する第１操作量Ｘ１にディレイドカルマンフィルターを適用することによって、アップサンプリング処理及び遅延補償処理を実行する。

【0058】

推定部１２２による第１補正操作量Ｘ１Ｃの推定精度を向上させるために、補足情報ＳＵＰが用いられてもよい。例えば、補足情報ＳＵＰは、車両１００が移動する道路の形状を含む。例えば、車両１００がカーブ路を走行する場合、そのようなカーブ路の形状の情報が、将来の操作量の推定に利用される。道路形状は、例えば周辺状況情報から得られる。あるいは、道路形状は、車両位置情報と地図情報から取得されてもよい。補足情報ＳＵＰは、車両１００の走行装置１０３（アクチュエータ）の制御量である車両走行制御量を含んでいてもよい。車両走行制御量も、推定部１２２による推定処理に有用である。このような補足情報ＳＵＰは、制御部１３０から遅延補償部１２０に提供される。推定部１２２は、補足情報ＳＵＰも考量して第１補正操作量Ｘ１Ｃを推定（予測）する。これにより、第１補正操作量Ｘ１Ｃの推定精度が更に向上する。

【0059】

３－４．効果
以上に説明されたように、本実施の形態に係る車両１００の制御装置１０５は、遅延補償処理とアップサンプリング処理の少なくとも一方を実行するように構成される。制御装置１０５は、遅延補償処理とアップサンプリング処理の両方を実行するように構成されてもよい。これにより、遠隔オペレータＯは、車両１００の遠隔操作をより滑らかに、より安全に行うことが可能となる。車両１００の蛇行運転も抑制される。すなわち、本実施の形態によれば、車両１００の遠隔操作の安全性が向上する。

【0060】

４．異常判定処理と操作量調停処理
４－１．概要
次に、遠隔操作システム１において発生し得る「異常」について考える。異常は、故障、機能不全、不調、不具合を含む概念である。遠隔操作システム１における異常としては、車両１００と遠隔オペレータ端末２００との間の通信の異常である「通信異常」、車両１００の異常である「車両異常」、及び遠隔オペレータ端末２００の異常である「端末異常」が挙げられる。

【0061】

図８は、遠隔操作システム１における異常に関連する処理を説明するための概念図である。本実施の形態に係る車両１００の制御装置１０５は、遠隔操作システム１において異常が発生しているか否かを判定する「異常判定処理」を行う。特に、制御装置１０５は、通信異常、車両異常、及び端末異常を互いに区別して判定する。つまり、制御装置１０５は、通信異常、車両異常、及び端末異常の少なくとも一つが発生しているか否かを判定する。

【0062】

車両１００の遠隔操作の最中に異常が発生した場合、安全確保のために車両１００を適切に制御することが望ましい。このとき、遠隔オペレータＯによる第１操作量Ｘ１に従って車両１００を制御することは必ずしも適切ではない。例えば、端末異常が発生した場合、遠隔オペレータ端末２００から送られてくる第１操作量Ｘ１も異常である可能性があるからである。場合によっては、車両１００が備える自動運転機能（自律走行機能）に運転を委ねた方が安全である可能性もある。

【0063】

そこで、本実施の形態に係る車両１００の制御装置１０５は、異常の状況に応じて最終的な操作量Ｘを適切に決定する「操作量調停処理」を実行する。第１操作量Ｘ１は、遠隔オペレータＯによる操作量であり、遠隔操作情報ＯＰＥに含まれている。一方、第２操作量Ｘ２は、車両１００が備える自動運転機能により決定（要求）される操作量である。操作量調停処理において、制御装置１０５は、異常判定処理の結果（すなわち、異常の状況）に応じて、第１操作量Ｘ１と第２操作量Ｘ２のうち少なくとも一方から“最終的な操作量Ｘ”を決定する。そして、制御装置１０５は、決定された操作量Ｘに従って車両１００を制御する。

【0064】

例えば、端末異常が発生した場合、第１操作量Ｘ１の代わりに第２操作量Ｘ２に従って車両１００を制御することによって安全性が向上する。他の例として、通信異常が発生した場合も、第１操作量Ｘ１の代わりに第２操作量Ｘ２に従って車両１００を制御することによって安全性が向上する。

【0065】

このように、本実施の形態によれば、車両１００の制御装置１０５は、異常判定処理と操作量調停処理を実行するように構成される。操作量調停処理において、制御装置１０５は、異常判定処理の結果に応じて、第１操作量Ｘ１と第２操作量Ｘ２のうち少なくとも一方から“最終的な操作量Ｘ”を決定する。そして、決定された操作量Ｘに従って車両１００が制御される。このようにして、遠隔操作システム１において異常が発生した場合、異常の状況を考慮して車両１００を適切に制御することが可能となる。

【0066】

４－２．機能構成例
図９は、車両１００における異常判定処理及び操作量調停処理に関連する機能構成例を示すブロック図である。車両１００は、機能ブロックとして、受信部１１０、制御部１３０、通信異常判定部１６０、端末異常判定部１７０、及び車両異常判定部１８０を含んでいる。これら機能ブロックは、通信装置１０１及び制御装置１０５により実現される。

【0067】

受信部１１０は、車両１００の遠隔操作の最中、遠隔オペレータ端末２００から送信される遠隔操作情報ＯＰＥを受信する。遠隔操作情報ＯＰＥは、遠隔オペレータＯによる第１操作量Ｘ１の情報を含んでいる。受信部１１０は、遠隔操作情報ＯＰＥの受信結果に基づいて、遠隔オペレータ端末２００との通信状態を把握する。通信状態としては、データ受信の有無、遅延量ＤＬ、通信速度、電波受信強度、等が例示される。

【0068】

制御部１３０は、受信部１１０を通して第１操作量Ｘ１の情報を受け取る。また、制御部１３０は、自動運転制御部１４０と操作量調停部１５０を含んでいる。自動運転制御部１４０は、運転環境情報ＥＮＶに基づいて、上述の自動運転制御を行う。この自動運転制御により要求される操作量が、第２操作量Ｘ２である。操作量調停部１５０は、操作量調停処理を実行する。つまり、操作量調停部１５０は、第１操作量Ｘ１と第２操作量Ｘ２のうち少なくとも一方から“最終的な操作量Ｘ”を決定する。

【0069】

通信異常判定部１６０は、「通信異常判定処理」を行う。より詳細には、通信異常判定部１６０は、受信部１１０から通信状態に関する情報を取得する。そして、通信異常判定部１６０は、通信状態に基づいて、遠隔オペレータ端末２００から車両１００への通信の異常が発生しているか否かを判定する。通信異常判定処理の具体例については後述される（セクション４－３参照）。通信異常フラグＦＬ－Ｃは、通信異常判定処理の結果を示す情報である。通信異常判定部１６０は、通信異常フラグＦＬ－Ｃを操作量調停部１５０に出力する。

【0070】

端末異常判定部１７０は、「端末異常判定処理」を行う。より詳細には、端末異常判定部１７０は、遠隔操作情報ＯＰＥに含まれる第１操作量Ｘ１に基づいて、遠隔オペレータ端末２００に異常が発生しているか否かを判定する。端末異常判定処理の具体例について後述される（セクション４－４参照）。端末異常フラグＦＬ－Ｔは、端末異常判定処理の結果を示す情報である。端末異常判定部１７０は、端末異常フラグＦＬ－Ｔを操作量調停部１５０に出力する。

【0071】

車両異常判定部１８０は、「車両異常判定処理」を行う。より詳細には、車両異常判定部１８０は、制御部１３０によって算出される車両走行制御量の情報を受け取る。そして、車両異常判定部１８０は、車両走行制御量に基づいて、車両走行制御に異常が発生しているか否かを判定する。車両異常判定処理の具体例について後述される（セクション４－５参照）。車両異常フラグＦＬ－Ｖは、車両異常判定処理の結果を示す情報である。車両異常判定部１８０は、車両異常フラグＦＬ－Ｖを操作量調停部１５０に出力する。

【0072】

操作量調停部１５０は、各種の異常フラグＦＬ－Ｃ、ＦＬ－Ｔ、ＦＬ－Ｖに基づいて操作量調停処理を実行する。つまり、操作量調停部１５０は、各種の異常判定処理の結果に応じて操作量調停処理を実行する。操作量調停処理の具体例については後述される（セクション４－６参照）。

【0073】

制御部１３０は、操作量調停部１５０から出力される最終的な操作量Ｘに従って、車両１００を制御する。

【0074】

４－３．通信異常判定処理の例
図１０は、通信異常判定部１６０による通信異常判定処理の例を示すフローチャートである。

【0075】

ステップＳ１１０において、通信異常判定部１６０は、受信部１１０がデータを受信しているか否かを判定する。受信部１１０がデータを受信している場合（ステップＳ１１０；Ｙｅｓ）、処理はステップＳ１２０に進む。それ以外の場合（ステップＳ１１０；Ｎｏ）、処理はステップＳ１３０に進む。

【0076】

ステップＳ１２０において、通信異常判定部１６０は、受信状態が良好か否かを判定する。受信状態は、通信速度、電波受信強度、等のパラメータにより表される。当該パラメータが所定の閾値以上である場合（ステップＳ１２０；Ｙｅｓ）、受信状態は良好であると判定され、処理はステップＳ１６０に進む。それ以外の場合（ステップＳ１２０；Ｎｏ）、処理はステップＳ１３０に進む。

【0077】

ステップＳ１３０において、通信異常判定部１６０は、データを受信していない状態、あるいは、受信状態が良好ではない状態が、Ｔａ秒継続したか否かを判定する。そのような不良状態がＴａ秒継続した場合（ステップＳ１３０；Ｙｅｓ）、処理はステップＳ１４０に進む。一方、そのような不良状態がまだＴａ秒継続していない場合（ステップＳ１３０；Ｎｏ）、処理はステップＳ１５０に進む。

【0078】

ステップＳ１４０において、通信異常判定部１６０は、通信異常が発生していると判定（断定）する。

【0079】

ステップＳ１５０において、通信異常判定部１６０は、判断を確定することなく、現在の状態を「通信異常判定中」とする。その後、処理はステップＳ１１０に戻る。

【0080】

図１１は、ステップＳ１６０の例を示すフローチャートである。ステップＳ１６０では、通信の遅延量ＤＬが考慮される。

【0081】

ステップＳ１６１において、通信異常判定部１６０は、受信部１１０から通信の遅延量ＤＬの情報を取得する。

【0082】

ステップＳ１６２において、通信異常判定部１６０は、遅延量ＤＬが第１閾値ＤＬ＿ｔｈ１を超えているか否かを判定する。第１閾値ＤＬ＿ｔｈ１は、通信異常が発生していると断定してもよいような遅延量ＤＬである。例えば、第１閾値ＤＬ＿ｔｈ１は、通常は起こり得ないような遅延量ＤＬである。遅延量ＤＬが第１閾値ＤＬ＿ｔｈ１を超える場合（ステップＳ１６２；Ｙｅｓ）、処理はステップＳ１６３に進む。一方、遅延量ＤＬが第１閾値ＤＬ＿ｔｈ１以下である場合（ステップＳ１６２；Ｎｏ）、処理はステップＳ１６４に進む。

【0083】

ステップＳ１６３において、通信異常判定部１６０は、通信異常が発生していると判定（断定）する。

【0084】

ステップＳ１６４において、通信異常判定部１６０は、遅延量ＤＬが第２閾値ＤＬ＿ｔｈ２を超えているか否かを判定する。第２閾値ＤＬ＿ｔｈ２は、上記の第１閾値ＤＬ＿ｔｈ１よりも小さい。例えば、第２閾値ＤＬ＿ｔｈ２は、遅延量ＤＬの許容範囲の上限値である。遅延量ＤＬが第２閾値ＤＬ＿ｔｈ２を超える場合（ステップＳ１６４；Ｙｅｓ）、処理はステップＳ１６５に進む。一方、遅延量ＤＬが第２閾値ＤＬ＿ｔｈ２以下である場合（ステップＳ１６４；Ｎｏ）、処理はステップＳ１６７に進む。

【0085】

ステップＳ１６５において、通信異常判定部１６０は、遅延量ＤＬが第２閾値ＤＬ＿ｔｈ２を超えている状態がＴｂ秒継続したか否かを判定する。そのような状態がＴｂ秒継続した場合（ステップＳ１６５；Ｙｅｓ）、処理はステップＳ１６３に進む。一方、そのような状態がまだＴｂ秒継続していない場合（ステップＳ１６５；Ｎｏ）、処理はステップＳ１６６に進む。

【0086】

ステップＳ１６６において、通信異常判定部１６０は、判断を確定することなく、現在の状態を「通信異常判定中」とする。その後、処理はステップＳ１１０に戻る。

【0087】

ステップＳ１６７において、通信異常判定部１６０は、通信異常は発生しておらず、通信は正常であると判定する。その後、処理はステップＳ１１０に戻る。

【0088】

４－４．端末異常判定処理の例
図１２は、端末異常判定部１７０による端末異常判定処理の例を示すフローチャートである。

【0089】

ステップＳ１７１において、端末異常判定部１７０は、遠隔操作情報ＯＰＥを受け取る。そして、端末異常判定部１７０は、遠隔オペレータＯによる第１操作量Ｘ１の前回値からの変化分である「操作量変化ＤＸ」を取得する。

【0090】

ステップＳ１７２において、端末異常判定部１７０は、操作量変化ＤＸが第１閾値ＤＸ＿ｔｈ１を超えているか否かを判定する。第１閾値ＤＸ＿ｔｈ１は、端末異常が発生していると断定してもよいような操作量変化ＤＸである。例えば、第１閾値ＤＸ＿ｔｈ１は、通常は起こり得ないような操作量変化ＤＸである。操作量変化ＤＸが第１閾値ＤＸ＿ｔｈ１を超える場合（ステップＳ１７２；Ｙｅｓ）、処理はステップＳ１７３に進む。一方、操作量変化ＤＸが第１閾値ＤＸ＿ｔｈ１以下である場合（ステップＳ１７２；Ｎｏ）、処理はステップＳ１７４に進む。

【0091】

ステップＳ１７３において、端末異常判定部１７０は、端末異常が発生していると判定（断定）する。

【0092】

ステップＳ１７４において、端末異常判定部１７０は、操作量変化ＤＸが第２閾値ＤＸ＿ｔｈ２を超えているか否かを判定する。第２閾値ＤＸ＿ｔｈ２は、上記の第１閾値ＤＸ＿ｔｈ１よりも小さい。例えば、第２閾値ＤＸ＿ｔｈ２は、操作量変化ＤＸの許容範囲の上限値である。操作量変化ＤＸが第２閾値ＤＸ＿ｔｈ２を超える場合（ステップＳ１７４；Ｙｅｓ）、処理はステップＳ１７５に進む。一方、操作量変化ＤＸが第２閾値ＤＸ＿ｔｈ２以下である場合（ステップＳ１７４；Ｎｏ）、処理はステップＳ１７７に進む。

【0093】

ステップＳ１７５において、端末異常判定部１７０は、操作量変化ＤＸが第２閾値ＤＸ＿ｔｈ２を超えている状態がＴｃ秒継続したか否かを判定する。そのような状態がＴｃ秒継続した場合（ステップＳ１７５；Ｙｅｓ）、処理はステップＳ１７３に進む。一方、そのような状態がまだＴｃ秒継続していない場合（ステップＳ１７５；Ｎｏ）、処理はステップＳ１７６に進む。

【0094】

ステップＳ１７６において、端末異常判定部１７０は、判断を確定することなく、現在の状態を「端末異常判定中」とする。その後、処理はステップＳ１７１に戻る。

【0095】

ステップＳ１７７において、端末異常判定部１７０は、端末異常は発生しておらず、遠隔オペレータ端末２００は正常であると判定する。その後、処理はステップＳ１７１に戻る。

【0096】

４－５．車両異常判定処理の例
図１３は、車両異常判定部１８０による車両異常判定処理の例を示すフローチャートである。

【0097】

ステップＳ１８１において、車両異常判定部１８０は、制御部１３０によって算出される車両走行制御量の情報を受け取る。そして、車両異常判定部１８０は、車両走行制御量の前回値からの変化分である「制御量変化ＤＣ」を取得する。

【0098】

ステップＳ１８２において、車両異常判定部１８０は、制御量変化ＤＣが第１閾値ＤＣ＿ｔｈ１を超えているか否かを判定する。第１閾値ＤＣ＿ｔｈ１は、車両異常が発生していると断定してもよいような制御量変化ＤＣである。例えば、第１閾値ＤＣ＿ｔｈ１は、通常は起こり得ないような制御量変化ＤＣである。制御量変化ＤＣが第１閾値ＤＣ＿ｔｈ１を超える場合（ステップＳ１８２；Ｙｅｓ）、処理はステップＳ１８３に進む。一方、制御量変化ＤＣが第１閾値ＤＣ＿ｔｈ１以下である場合（ステップＳ１８２；Ｎｏ）、処理はステップＳ１８４に進む。

【0099】

ステップＳ１８３において、車両異常判定部１８０は、車両異常が発生していると判定（断定）する。

【0100】

ステップＳ１８４において、車両異常判定部１８０は、制御量変化ＤＣが第２閾値ＤＣ＿ｔｈ２を超えているか否かを判定する。第２閾値ＤＣ＿ｔｈ２は、上記の第１閾値ＤＣ＿ｔｈ１よりも小さい。例えば、第２閾値ＤＣ＿ｔｈ２は、制御量変化ＤＣの許容範囲の上限値である。制御量変化ＤＣが第２閾値ＤＣ＿ｔｈ２を超える場合（ステップＳ１８４；Ｙｅｓ）、処理はステップＳ１８５に進む。一方、制御量変化ＤＣが第２閾値ＤＣ＿ｔｈ２以下である場合（ステップＳ１８４；Ｎｏ）、処理はステップＳ１８７に進む。

【0101】

ステップＳ１８５において、車両異常判定部１８０は、制御量変化ＤＣが第２閾値ＤＣ＿ｔｈ２を超えている状態がＴｄ秒継続したか否かを判定する。そのような状態がＴｄ秒継続した場合（ステップＳ１８５；Ｙｅｓ）、処理はステップＳ１８３に進む。一方、そのような状態がまだＴｄ秒継続していない場合（ステップＳ１８５；Ｎｏ）、処理はステップＳ１８６に進む。

【0102】

ステップＳ１８６において、車両異常判定部１８０は、判断を確定することなく、現在の状態を「車両異常判定中」とする。その後、処理はステップＳ１８１に戻る。

【0103】

ステップＳ１８７において、車両異常判定部１８０は、車両異常は発生しておらず、車両１００は正常であると判定する。その後、処理はステップＳ１８１に戻る。

【0104】

４－６．操作量調停処理の例
図１４は、操作量調停部１５０による操作量調停処理の例を説明するための図である。図１４において、丸印は「正常（異常が発生していない）」を意味し、バツ印は「異常確定（異常が発生している）」を意味し、三角印は「判定中」を意味する。上記の図１０～図１３で例示されたように、判定中の期間は、仮異常条件（例：図１２中のステップＳ１７４、「ＤＸ＞ＤＸ＿ｔｈ２」）が成立した後、その仮異常条件が成立した状態が継続する期間である。言い換えれば、判定中の期間は、異常が発生している可能性が検知された後、異常が発生しているか否かが確定するまでの期間である。

【0105】

第１操作量Ｘ１は、遠隔オペレータＯによる操作量である。第２操作量Ｘ２は、通常時に車両１００の自動運転機能により決定される操作量である。第３操作量Ｘ３は、第１操作量Ｘ１と第２操作量Ｘ２の組み合わせであり、「Ｘ３＝ａ・Ｘ１＋（１－ａ）Ｘ２」により表される。ここで、係数は、０より大きく１より小さい実数である。第４操作量Ｘ４は、車両１００の自動運転機能により決定される第２操作量Ｘ２の一種であるが、特に緊急時に用いられる操作量である。例えば、第４操作量Ｘ４は、車両１００を安全に停止あるいは退避させるための操作量である。

【0106】

操作量調停部１５０は、各種の異常判定処理の結果に応じて、第１操作量Ｘ１、第２操作量Ｘ２、第３操作量Ｘ３、及び第４操作量Ｘ４のうちいずれか１つを、最終的な操作量Ｘとして決定する。

【0107】

まず、簡単のため、通信状況と端末状況の組み合わせについて考える。通信異常も端末異常も発生していない場合、第１操作量Ｘ１が選択される（Ｎｏ．１，２参照）。端末異常が発生していると判定された場合、第１操作量Ｘ１の代わりに第２操作量Ｘ２が選択される（Ｎｏ．７，８，１６，１７，２５，２６参照）。これにより安全性が向上する。通信異常が発生していると判定された場合、第１操作量Ｘ１の代わりに第２操作量Ｘ２が選択される（Ｎｏ．１９，２０，２２，２３，２５，２６参照）。これにより安全性が向上する。

【0108】

「第１判定中期間」は、端末異常の判定中期間である。その第１判定中期間、通信異常が発生していないと判定されている場合、第３操作量Ｘ３が選択される（Ｎｏ．４，５参照）。第２操作量Ｘ２が操作量Ｘに部分的に寄与するため、実際に端末異常が発生していた場合の安全性が向上する。また、完全に第２操作量Ｘ２に切り替えるわけではなく、第１操作量Ｘ１の影響も残るため、実際には端末異常が発生していなかった場合の遠隔オペレータＯの違和感が抑制される。

【0109】

「第２判定中期間」は、通信異常の判定中期間である。その第２判定中期間、端末異常が発生していないと判定されている場合、第１操作量Ｘ１が選択される（Ｎｏ．１０，１１参照）。通信異常の判定中においても第１操作量Ｘ１を使い続けることによって、遠隔オペレータＯによる遠隔操作の継続性が向上する。

【0110】

第１判定中期間と第２判定中期間が重複する期間、第３操作量Ｘ３が選択される（Ｎｏ．１３，１４参照）。第２操作量Ｘ２が操作量Ｘに部分的に寄与するため、実際に端末異常が発生していた場合の安全性が向上する。また、完全に第２操作量Ｘ２に切り替えるわけではなく、第１操作量Ｘ１の影響も残るため、実際には端末異常が発生していなかった場合の遠隔オペレータＯの違和感が抑制される。

【0111】

次に、通信状況と端末状況と車両状況の組み合わせについて考える。車両異常が発生していない場合、及び、車両異常の判定中は、上述の場合と同様である。一方、車両異常が発生していると判定された場合、基本的には、緊急時の第２操作量Ｘ２である第４操作量Ｘ４が選択される（Ｎｏ．３，６，１２，１５，１８，２１，２４，２７参照）。これにより、車両１００を安全に停止させることが可能となる。但し、車両異常が発生していても、車両１００に搭載されているカメラが正常である場合、第１操作量Ｘ１あるいは第３操作量Ｘ３が選択されてもよい（Ｎｏ．３，６，１２，１５参照）。

【0112】

４－７．効果
以上に説明されたように、本実施の形態によれば、車両１００の制御装置１０５は、異常判定処理と操作量調停処理を実行するように構成される。操作量調停処理において、制御装置１０５は、異常判定処理の結果に応じて、第１操作量Ｘ１、第２操作量Ｘ２、第３操作量Ｘ３、及び第４操作量Ｘ４の中から“最終的な操作量Ｘ”を決定する。そして、決定された操作量Ｘに従って車両１００が制御される。このようにして、遠隔操作システム１において異常が発生した場合、異常の状況を考慮して車両１００を適切に制御することが可能となる。

【0113】

５．組み合わせの構成例
上記のセクション３で説明された遅延補償処理と上記のセクション４で説明された異常判定処理及び操作量調停処理の組み合わせも可能である。図１５は、その組み合わせの場合の機能構成例を示している。車両１００は、受信部１１０、遅延補償部１２０、制御部１３０、通信異常判定部１６０、端末異常判定部１７０、及び車両異常判定部１８０を含んでいる。

【0114】

遅延補償部１２０は、第１操作量Ｘ１と遅延量ＤＬに基づいて、第１補正操作量Ｘ１Ｃを算出する。操作量調停部１５０は、第１操作量Ｘ１の代わりに第１補正操作量Ｘ１Ｃを受け取る。そして、操作量調停部１５０は、第１補正操作量Ｘ１Ｃと第２操作量Ｘ２に基づいて操作量調停処理を行い、最終的な操作量Ｘを決定する。

【0115】

これにより、セクション３による効果とセクション４による効果の両方が得られる。すなわち、車両１００の遠隔操作の安全性が更に向上する。

【0116】

６．遠隔オペレータ端末の例
図１６は、遠隔オペレータ端末２００の構成例を示すブロック図である。遠隔オペレータ端末２００は、通信装置２１０、表示装置２２０、入力装置２３０、及び制御装置２５０を含んでいる。

【0117】

通信装置２１０は、車両１００及び管理装置３００と通信を行う。

【0118】

表示装置２２０は、各種情報を表示することにより、各種情報を遠隔オペレータＯに提示する。

【0119】

入力装置２３０は、遠隔オペレータＯからの入力を受け付ける。例えば、入力装置２３０は、遠隔オペレータＯが車両１００を遠隔操作する際に操作する遠隔操作部材を含む。遠隔操作部材は、ハンドル、アクセルペダル、ブレーキペダル、方向指示器、等を含んでいる。

【0120】

制御装置２５０は、遠隔オペレータ端末２００を制御する。制御装置２５０は、１又は複数のプロセッサ２６０（以下、単にプロセッサ２６０と呼ぶ）と１又は複数の記憶装置２７０（以下、単に記憶装置２７０と呼ぶ）を含んでいる。プロセッサ２６０は、各種処理を実行する。例えば、プロセッサ２６０は、ＣＰＵを含んでいる。記憶装置２７０は、プロセッサ２６０による処理に必要な各種情報を格納する。記憶装置２７０としては、揮発性メモリ、不揮発性メモリ、ＨＤＤ、ＳＳＤ、等が例示される。

【0121】

遠隔操作プログラムＰＲＯＧ２は、プロセッサ２６０によって実行されるコンピュータプログラムである。プロセッサ２６０が遠隔操作プログラムＰＲＯＧ２を実行することにより、制御装置２５０の機能が実現される。遠隔操作プログラムＰＲＯＧ２は、記憶装置２７０に格納される。あるいは、遠隔操作プログラムＰＲＯＧ２は、コンピュータ読み取り可能な記録媒体に記録されてもよい。遠隔操作プログラムＰＲＯＧ２は、ネットワーク経由で提供されてもよい。

【0122】

制御装置２５０は、通信装置２１０を介して、車両１００と通信を行う。制御装置２５０は、車両１００から送信される車両情報ＶＣＬを受信する。制御装置２５０は、画像情報を含む車両情報ＶＣＬを表示装置２２０に表示することによって、車両情報ＶＣＬを遠隔オペレータＯに提示する。遠隔オペレータＯは、表示装置２２０に表示される車両情報ＶＣＬに基づいて、車両１００の状態や周囲の状況を認識することができる。

【0123】

遠隔オペレータＯは、入力装置２３０の遠隔操作部材を操作する。遠隔操作部材の操作量は、遠隔操作部材に設置されたセンサにより検出される。制御装置２５０は、遠隔オペレータＯによる遠隔操作部材の操作量を反映した遠隔操作情報ＯＰＥを生成する。そして、制御装置２５０は、その遠隔操作情報ＯＰＥを通信装置２１０を介して車両１００に送信する。

【符号の説明】

【0124】

１ 遠隔操作システム
１００ 車両
１０１ 通信装置
１０２ センサ群
１０３ 走行装置
１０５ 制御装置
１０６ プロセッサ
１０７ 記憶装置
１１０ 受信部
１２０ 遅延補償部
１３０ 制御部
１４０ 自動運転制御部
１５０ 操作量調停部
１６０ 通信異常判定部
１７０ 端末異常判定部
１８０ 車両異常判定部
２００ 遠隔オペレータ端末
３００ 管理装置
ＤＬ 遅延量
ＦＬ－Ｃ 通信異常フラグ
ＦＬ－Ｖ 車両異常フラグ
ＦＬ－Ｔ 端末異常フラグ
ＯＰＥ 遠隔操作情報
ＶＣＬ 車両情報
Ｘ 操作量
Ｘ１ 第１操作量
Ｘ１Ｃ 第１補正操作量
Ｘ２ 第２操作量

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】