特許 7586041 遠隔運転システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-11-11

(45)【発行日】2024-11-19

(54)【発明の名称】遠隔運転システム

(51)【国際特許分類】

   G05D 1/226 20240101AFI20241112BHJP

   G05D 1/43 20240101ALI20241112BHJP

   H04Q 9/00 20060101ALI20241112BHJP

   G08G 1/00 20060101ALI20241112BHJP

   G08G 1/09 20060101ALI20241112BHJP

   G05D 1/227 20240101ALI20241112BHJP

   G05D 1/00 20240101ALI20241112BHJP

【ＦＩ】

G05D1/226

G05D1/43

H04Q9/00 351

G08G1/00 X

G08G1/09 V

G05D1/227

G05D1/00

【請求項の数】 1

(21)【出願番号】P 2021161393

(22)【出願日】2021-09-30

(65)【公開番号】P2023050984

(43)【公開日】2023-04-11

【審査請求日】2024-02-12

(73)【特許権者】

【識別番号】000003207

【氏名又は名称】トヨタ自動車株式会社

(74)【代理人】

【識別番号】110003199

【氏名又は名称】弁理士法人高田・高橋国際特許事務所

(72)【発明者】

【氏名】百瀬 博文

【審査官】田中 友章

(56)【参考文献】

【文献】特開２０２０－１６４０５６（ＪＰ，Ａ）

【文献】特開２０２１－０６０７６４（ＪＰ，Ａ）

【文献】特開２０２０－１７７２９２（ＪＰ，Ａ）

【文献】特開２０２０－１４２９０６（ＪＰ，Ａ）

【文献】特開２０１２－１８６７１７（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０５Ｄ １／００ － Ｇ０５Ｄ １／８７

Ｈ０４Ｑ ９／００

Ｇ０８Ｇ １／００

Ｇ０８Ｇ １／０９

(57)【特許請求の範囲】

【請求項1】

遠隔運転の対象である移動体と、前記移動体と通信を行う遠隔運転装置とを備える遠隔運転システムであって、
前記遠隔運転装置は、遠隔側通信装置と、遠隔側情報処理装置とを備え、
前記移動体は、移動体側通信装置と、移動体側情報処理装置とを備え、
前記遠隔側情報処理装置は、操作量データを含む遠隔操作データが記録された遠隔側記憶装置と、遠隔側プロセッサとを備え、
前記移動体側情報処理装置は、移動体側プロセッサを備え、
前記遠隔側情報処理装置の前記遠隔側プロセッサは、
前記遠隔操作データの状態が、前記移動体の動作を行う操作に影響を与え得る異常状態であるか否かを判定する異常判定処理を実行し、
前記異常判定処理の結果に基づいて、前記移動体に送信する前記操作量データの通信を遮断する通信遮断制御処理を実行し、
前記移動体側情報処理装置の前記移動体側プロセッサは、
前記操作量データの状態が、通信途絶状態であるか否かを判定する通信途絶判定処理を実行し、
前記通信途絶判定処理の結果に基づいて、遠隔操作に基づいた走行モードから前記移動体による自律操作に基づいた走行モードへの切り替えを行う異常対処処理を実行する
遠隔運転システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、移動体の動作を遠隔で運転する技術に関する。

【背景技術】

【0002】

特許文献１には、遠隔操作を行うシステムに関する技術が開示されている。この技術では、移動体に搭載されたカメラで撮像したカメラ画像を、通信回線を介して、遠隔側に送信を行い、移動体から送信されるカメラ画像を遠隔側の表示装置に表示することにより遠隔操作を実現することができる。

【先行技術文献】

【特許文献】

【0003】

【文献】特開平１０－１４５７７７号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

ところで、移動体の遠隔運転では、遠隔運転を行うオペレータの操作により取得される操作量データを、通信回線を介して、移動体に送信を行う。移動体は、遠隔側から送信される操作量データをもとに、駆動、制動及び操舵を制御することで、遠隔操作に基づいて遠隔走行を行う。

【0005】

移動体が走行している際に、遠隔側で移動体の動作に影響を与え得る異常が発生した場合、移動体は遠隔側から送信される操作量データに基づいた遠隔走行から自律操作に基づいた退避走行への切り替えを行うことが期待される。ところが、実際は、遠隔側で発生した異常を移動体で把握することができないおそれがある。従って、遠隔側で発生した異常を、移動体側で確実に把握を行うための改良が望まれる。

【0006】

本発明の１つの目的は、移動体が走行している際に、遠隔側で発生した異常を、遠隔側及び移動体側の双方で検出することのできる技術を提供することにある。

【課題を解決するための手段】

【0007】

第１の観点は、遠隔運転の対象である移動体と、移動体と通信を行う遠隔運転装置とを備える遠隔運転システムに関連する。
遠隔運転装置は、遠隔側通信装置と、遠隔側情報処理装置とを備える。
移動体は、移動体側通信装置と、移動体側情報処理装置とを備える。
遠隔側情報処理装置は、操作量データを含む遠隔操作データが記録された遠隔側記憶装置と、遠隔側プロセッサとを備える。
移動体側情報処理装置は、移動体側プロセッサを備える。
遠隔側情報処理装置の遠隔側プロセッサは、遠隔操作データの状態が、移動体の動作を行う操作に影響を与え得る異常状態であるか否かを判定する異常判定処理を実行する。
遠隔側情報処理装置の遠隔側プロセッサは、異常判定処理の結果に基づいて、移動体に送信する操作量データの通信を遮断する通信遮断制御処理を実行する。
移動体側情報処理装置の移動体側プロセッサは、操作量データの状態が、通信途絶状態であるか否かを判定する通信途絶判定処理を実行する。
移動体側情報処理装置の移動体側プロセッサは、通信途絶判定処理の結果に基づいて、遠隔操作に基づいた走行モードから移動体による自律操作に基づいた走行モードへの切り替えを行う異常対処処理を実行する。

【発明の効果】

【0008】

第１の観点によれば、移動体が走行している際に、移動体の動作を行う操作に影響を与え得る異常が遠隔側で発生した場合、遠隔側情報処理装置及び移動体側情報処理装置の双方で検出を行うことができる。このことは、移動体の走行安全性の確保に繋がる。

【図面の簡単な説明】

【0009】

【図1】本発明の実施の形態に係る遠隔運転システムの構成例を示すブロック図である。

【図2】本発明の実施の形態に係る遠隔運転システムの機能例を示すブロック図である。

【図3】本発明の実施の形態に係る遠隔運転システムの異常判定処理部による処理を示すフローチャートである。

【図4】本発明の実施の形態に係る遠隔運転システムの通信遮断制御処理部による処理を示すフローチャートである。

【図5】本発明の実施の形態に係る遠隔運転システムの通信遮断例を示した図である。

【図6】本発明の実施の形態に係る遠隔運転システムの通信途絶判定処理部による処理を示すフローチャートである。

【図7】本発明の実施の形態に係る遠隔運転システムの異常対処処理部による処理を示すフローチャートである。

【図8】本発明の実施の形態に係る遠隔運転システムで発生し得る異常例を示した図である。

【図9】遠隔運転システムの通信遮断制御処理部における通信遮断方法の参考例を示した図である。

【図10】遠隔運転システムの異常判定処理部における異常検出方法の参考例を示した図である。

【発明を実施するための形態】

【0010】

添付図面を参照して、本発明の実施の形態に係る遠隔運転システムついて説明する。

【0011】

１．実施の形態
１－１．構成例
本実施の形態に係る遠隔運転システムは、遠隔運転の対象である移動体と、移動体と通信を行う遠隔運転装置とを備えたものである。図１は、本実施の形態に係る遠隔運転システム１０の構成例を示すブロック図である。遠隔運転システム１０は、遠隔運転装置２０及び移動体３０を含んでいる。遠隔運転装置２０は、遠隔側情報処理装置４０及び遠隔側通信装置５０を含んでいる。移動体３０は、移動体側通信装置６０、移動体側情報処理装置７０及び制御装置８０を含んでいる。

【0012】

遠隔側情報処理装置４０は、各種情報処理を行う。遠隔側情報処理装置４０は、１又は複数の遠隔側プロセッサ１００（以下、単に遠隔側プロセッサ１００と呼ぶ）と、１又は複数の遠隔側記憶装置１１０（以下、単に遠隔側記憶装置１１０）と、遠隔側エンコーダと、遠隔側デコーダと、を含んでいる。遠隔側プロセッサ１００は、各種処理を実行する。例えば、遠隔側プロセッサ１００は、ＥＣＵ、ＣＰＵ、等が例示される。遠隔側記憶装置１１０は、少なくとも移動体３０に送信する操作量データ１３０を含む遠隔操作データ１２０の情報を格納する。遠隔側記憶装置１１０としては、揮発性メモリ、不揮発性メモリ、ＨＤＤ、ＳＳＤ、等が例示される。遠隔側プロセッサ１００がコンピュータプログラムである遠隔運転プログラムを実行することによって、遠隔側情報処理装置４０の機能が実現される。遠隔運転プログラムは、遠隔側記憶装置１１０に格納される。遠隔運転プログラムは、コンピュータが読み取り可能な記録媒体に記録されてもよい。遠隔運転プログラムは、ネットワーク経由で提供されてもよい。

【0013】

遠隔側通信装置５０は、移動体３０と通信を行う通信インターフェースのことであり、遠隔操作データ１２０に含まれる操作量データ１３０を移動体３０に送信するため、遠隔側通信装置５０において、操作量データ１３０を通信回線に割り当てる処理を実施する。

【0014】

移動体側情報処理装置７０は、各種情報処理を行う。移動体側情報処理装置７０は、１又は複数の移動体側プロセッサ２００（以下、単に移動体側プロセッサ２００と呼ぶ）と、１又は複数の移動体側記憶装置２１０（以下、単に移動体側記憶装置２１０）と、移動体側エンコーダと、を含んでいる。移動体側プロセッサ２００は、各種処理を実行する。例えば、移動体側プロセッサ２００は、ＥＣＵ、ＣＰＵ、等が例示される。移動体側記憶装置２１０は、移動体３０に搭載されたカメラで撮像したカメラ画像データ２２０の情報を格納する。移動体側記憶装置２１０としては、揮発性メモリ、不揮発性メモリ、ＨＤＤ、ＳＳＤ、等が例示される。移動体側プロセッサ２００がコンピュータプログラムである移動体運転プログラムを実行することによって、移動体側情報処理装置７０の機能が実現される。移動体運転プログラムは、移動体側記憶装置２１０に格納される。移動体運転プログラムは、コンピュータが読み取り可能な記録媒体に記録されてもよい。移動体運転プログラムは、ネットワーク経由で提供されてもよい。

【0015】

制御装置８０は、１又は複数のＥＣＵを含んでおり、１又は複数のＥＣＵにおいて、移動体の操舵制御、駆動制御及び制動制御を行う。

【0016】

１－２．情報処理の詳細
遠隔側情報処理装置４０は、遠隔操作データ１２０の状態を、移動体の動作を行う操作に影響を与え得る異常状態と判定した場合、遠隔側通信装置５０に送信する操作量データ１３０の通信を遮断する指令を行う。一方、移動体側情報処理装置７０は、操作量データ１３０の状態を、通信途絶状態と判定した場合、遠隔操作に基づいた走行モードから自律操作に基づいた走行モードへの切り替え選択を行う。本実施の形態に係る情報処理は、以下に説明されるような特徴的な処理を含む。

【0017】

図２は、本実施の形態に係る情報処理に関連する機能例を示すブロック図である。遠隔側情報処理装置４０は、機能ブロックとして、遠隔側情報入力部３００、異常判定処理部３１０及び通信遮断制御処理部３２０を備えている。これらの機能ブロックは、遠隔側プロセッサ１００が遠隔運転プログラムを実行することによって実現される。一方、移動体３０の移動体側情報処理装置７０は、移動体側情報入力部３３０、通信途絶判定処理部３４０及び異常対処処理部３５０を備えている。これらの機能ブロックは、移動体側プロセッサ２００が移動体運転プログラムを実行することによって実現される。

【0018】

遠隔側情報入力部３００は、遠隔側記憶装置１１０に記録されている遠隔操作データ１２０を入力する処理を行う。遠隔側記憶装置１１０に記録されている遠隔操作データ１２０には、移動体３０に送信する操作量データ１３０に加えて、移動体３０から受信したカメラ画像データ２２０も含まれる。その後、入力された遠隔操作データ１２０を異常判定処理部３１０に対して出力を行う。

【0019】

異常判定処理部３１０は、入力された遠隔操作データ１２０の状態を監視し、遠隔操作データ１２０において、異常の状態となっているか否かの判定を行い、異常判定結果を生成する。異常判定処理部３１０の処理については詳細を後述する。

【0020】

通信遮断制御処理部３２０は、異常判定処理部３１０で生成される異常判定結果に基づいて、遠隔側通信装置５０に対して、通信遮断制御を行うための通信遮断制御指令を生成する。通信遮断制御処理部３２０の処理については詳細を後述する。

【0021】

移動体側情報入力部３３０は、移動体側通信装置６０を介して、遠隔運転装置２０から送信される操作量データ１３０を入力する処理を行う。その後、入力された操作量データ１３０を通信途絶判定処理部３４０に対して出力を行う。

【0022】

通信途絶判定処理部３４０は、入力された操作量データ１３０の状態を監視し、遠隔運転装置２０との通信において、通信途絶が発生しているか否かを判定し、通信途絶判定結果を生成する。通信途絶判定処理部３４０の処理については詳細を後述する。

【0023】

異常対処処理部３５０は、通信途絶判定処理部３４０で生成された通信途絶判定結果に基づいて、走行モードの選択を行う処理を実行する。異常対処処理部３５０の処理については詳細を後述する。

【0024】

制御装置８０は、選択した走行モードに応じて、遠隔操作又は自律走行に基づいた走行を行う。なお、通信途絶判定処理部３４０において、操作量データの状態が通信途絶状態と判定され、異常対処処理部３５０において、自律操作に基づく走行モードが選択された場合、移動体３０は、制御装置８０によって、自律操作に基づいた退避走行の動作を行う。自律操作に基づいた退避走行としては特に限定されないが、例えば、制動制御に基づいた減速走行、制動制御及び操舵制御に基づいた路肩での停車が挙げられる。

【0025】

図３は、異常判定処理部３１０の処理を示すフローチャートである。

【0026】

ステップＳ１００において、異常判定処理部３１０は、入力される遠隔操作データ１２０を監視して、遠隔操作データ１２０が異常状態となっているか否かを判定する。

【0027】

異常状態と判定された場合（ステップＳ１００；Ｙｅｓ）、処理はステップＳ１１０に進む。それ以外の場合（ステップＳ１００；Ｎｏ）、処理はステップＳ１２０に進む。

【0028】

ステップＳ１１０において、異常判定処理部３１０は、遠隔操作データ１２０は異常状態である旨の異常判定結果を生成する。

【0029】

ステップＳ１２０において、異常判定処理部３１０は、遠隔操作データ１２０は正常状態である旨の異常判定結果を生成する。

【0030】

ステップＳ１３０において、異常判定処理部３１０は、異常判定結果を通信遮断制御処理部３２０に出力する。

【0031】

図４は、通信遮断制御処理部３２０の処理を示すフローチャートである。

【0032】

ステップＳ２００において、通信遮断制御処理部３２０は、入力される異常判定結果が異常状態となっているか否かを判定する。

【0033】

異常状態と判定された場合（ステップＳ２００；Ｙｅｓ）、処理はステップＳ２１０に進む。それ以外の場合（ステップＳ２００；Ｎｏ）、処理はステップ２２０に進む。

【0034】

ステップＳ２１０において、通信遮断制御処理部３２０は、遠隔側通信装置５０に対して通信遮断を指示するための通信遮断制御指令を生成する。

【0035】

ステップＳ２２０において、通信遮断制御処理部３２０は、遠隔側通信装置５０に対して通信遮断の指示を行わないとする通信遮断制御指令を生成する。

【0036】

ステップＳ２３０において、通信遮断制御処理部３２０は、通信遮断制御指令を遠隔側通信装置５０に出力する。

【0037】

図５は、通信遮断制御指令に基づいた通信遮断例を示した図である。例えば、遠隔側情報処理装置４０から出力される通信遮断制御指令において、遠隔側通信装置５０に対する通信遮断を行う指令となっている場合、通信遮断制御指令に基づいて遠隔側通信装置５０の電源を切ることにより移動体３０との通信遮断を行う。もしくは、スイッチを含む遮断装置を遠隔側通信装置５０に搭載し、通信遮断制御指令に基づいて遮断装置の接続状態を遮断状態に切り替えを行うことにより移動体３０との通信遮断を行う。

【0038】

図６は、通信途絶判定処理部３４０の処理を示すフローチャートである。

【0039】

ステップＳ３００において、通信途絶判定処理部３４０は、入力される操作量データ１３０の状態を監視し、操作量データ１３０が通信途絶状態となっているか否かを判定する。

【0040】

通信途絶状態と判定された場合（ステップＳ３００；Ｙｅｓ）、処理はステップＳ３１０に進む。それ以外の場合（ステップＳ３００；Ｎｏ）、処理はステップＳ３２０に進む。

【0041】

ステップＳ３１０において、通信途絶判定処理部３４０は、操作量データ１３０が通信途絶状態である旨の通信途絶判定結果を生成する。

【0042】

ステップＳ３２０において、通信途絶判定処理部３４０は、操作量データ１３０が通信接続状態である旨の通信途絶判定結果を生成する。

【0043】

ステップＳ３３０において、通信途絶判定処理部３４０は、通信途絶判定結果を異常対処処理部３５０に出力する。

【0044】

図７は、異常対処処理部３５０の処理を示すフローチャートである。

【0045】

ステップＳ４００において、異常対処処理部３５０は、入力される通信途絶判定結果が通信途絶状態となっているか否かを判定する。

【0046】

通信途絶状態と判定された場合（ステップＳ４００；Ｙｅｓ）、処理はステップＳ４１０に進む。それ以外の場合（ステップＳ４００；Ｎｏ）、処理はステップ４２０に進む。

【0047】

ステップＳ４１０において、異常対処処理部３５０は、自律操作に基づいた走行モードを選択する。

【0048】

ステップＳ４２０において、異常対処処理部３５０は、遠隔操作に基づいた走行モードを選択する。

【0049】

ステップＳ４３０において、選択した走行モードに切り替えを行う。

【0050】

１－３．遠隔運転装置で発生する異常例
図８は、遠隔運転装置２０で発生し得る異常例を示した図である。ここでは、遠隔運転装置２０に含まれる表示装置において、移動体３０から送信されるカメラ画像データ２２０が表示装置に表示され、時系列で表示されるカメラ画像データ２２０が異常となる例を挙げる。具体的には、時系列で表示されるカメラ画像データ２２０のフレームにおいて、基準とするフレームの時刻と、一つ前のフレームの時刻との差の時間が、所定の時間を満たさない場合、つまり、フレームの時間間隔が一定でない場合は、カメラ画像データ２２０を見たオペレータによる操作に影響が及ぶと考えられる。そこで、この場合は、異常判定処理部３１０において、遠隔操作データ１２０の状態が、移動体の動作を行う操作に影響を与え得る異常状態にあると判定される。

【0051】

１－４．効果
移動体が走行している際に、移動体の動作を行う操作に影響を与え得る異常が遠隔運転装置で発生した場合、遠隔側で発生した異常を、遠隔側情報処理装置及び移動体側情報処理装置の双方で検出することができる。このことは、移動体の走行安全性の確保に繋がる。

【0052】

２．参考例
実施の形態に係る遠隔運転システムにおいて実行することができる通信遮断制御処理部における通信遮断方法の参考例と、異常判定処理部における異常検出方法の参考例について説明する。

【0053】

２－１．通信遮断制御処理部における通信遮断制御方法の参考例
図９は、遠隔運転システムの通信遮断制御処理部３２０における通信遮断制御方法の参考例を示す。具体的には、遠隔側情報処理装置４０は、異常判定処理部３１０において異常を検出した場合、移動体側情報処理装置７０に対して異常通知を送信する。移動体側情報処理装置７０は、遠隔側情報処理装置４０から送信される異常通知に基づいて、異常対処処理部３５０において異常対処処理を行う。そして、異常対処を実施したことを遠隔側情報処理装置４０に知らせるため、遠隔側情報処理装置４０に対して対処応答を送信する。遠隔側情報処理装置４０は、移動体側情報処理装置７０から送信される対処応答において、所定の時間内に対処応答が得られる場合は、遠隔側通信装置５０に対して通信遮断の指令は行わない。一方、所定の時間内に対処応答が得られない場合は、遠隔側通信装置５０に対して通信遮断の指令を行う。

【0054】

以上のことから、移動体が走行している際に、移動体の動作を行う操作に影響を与え得る異常が遠隔運転装置２０で発生した場合、遠隔側で発生した異常を、遠隔側情報処理装置４０及び移動体側情報処理装置７０の双方で検出することができる。このことは、移動体の走行安全性の確保に繋がる。

【0055】

２－２．異常判定処理部における異常検出方法の参考例
図１０は、遠隔運転システムの異常判定処理部３１０における異常検出方法の参考例を示す。ここでは、遠隔運転装置２０に含まれる表示装置において、移動体３０から送信されるカメラ画像データ２２０が表示装置に表示され、時系列で表示されるカメラ画像データ２２０が異常となる場合の異常検出方法の参考例を挙げる。具体的には、表示装置に表示されるカメラ画像データ２２０とは、移動体に搭載されたカメラで撮像したカメラ画像の所定の位置にマーカを重畳表示した画像のことである。そして、マーカが表示される表示装置の画面上の部分に取り付けられた光センサにより取得したマーカの輝度値情報が、遠隔操作データ１２０に含まれる情報として、遠隔側記憶装置１１０に記録される。

【0056】

異常判定処理部３１０において、マーカの輝度値情報と所定の輝度値情報の比較を行い、マーカ検出又はマーカ未検出の判定を行う。そして、マーカ検出と判定されたフレームの時間間隔が、所定の時間間隔の範囲内であるか否かを判定する。フレームの時間間隔が所定の時間間隔の範囲内であると判定された場合は、カメラ画像データ２２０の状態は正常状態である旨の異常判定結果を生成する。一方、マーカ検出と判定されたフレームの時間間隔が所定の時間間隔の範囲外であると判定された場合は、カメラ画像データ２２０の状態は異常状態である旨の異常判定結果を生成する。

【0057】

以上のことから、移動体が走行している際に、カメラ画像データ２２０において、移動体の動作を行う操作に影響を与え得る異常が発生した場合でも、遠隔側で異常を検出することできる。さらに、遠隔側で発生した異常を、遠隔側情報処理装置４０及び移動体側情報処理装置７０の双方で検出することができる。このことは、移動体の走行安全性の確保に繋がる。

【符号の説明】

【0058】

１０ 遠隔運転システム
２０ 遠隔運転装置
３０ 移動体
４０ 遠隔側情報処理装置
５０ 遠隔側通信装置
６０ 移動体側通信装置
７０ 移動体側情報処理装置
８０ 制御装置
１００ 遠隔側プロセッサ
１１０ 遠隔側記憶装置
１２０ 遠隔操作データ
１３０ 操作量データ
２００ 移動体側プロセッサ
２１０ 移動体側記憶装置
２２０ カメラ画像データ
３００ 遠隔側情報入力部
３１０ 異常判定処理部
３２０ 通信遮断制御処理部
３３０ 移動体側情報入力部
３４０ 通信途絶判定処理部
３５０ 異常対処処理部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】