特許 7513043 遠隔支援方法、遠隔支援システム、及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-07-01

(45)【発行日】2024-07-09

(54)【発明の名称】遠隔支援方法、遠隔支援システム、及びプログラム

(51)【国際特許分類】

   G08G 1/09 20060101AFI20240702BHJP

   G05D 1/226 20240101ALI20240702BHJP

   B60W 30/08 20120101ALI20240702BHJP

   B60W 60/00 20200101ALI20240702BHJP

【ＦＩ】

G08G1/09 V

G08G1/09 F

G05D1/226

B60W30/08

B60W60/00

【請求項の数】 9

(21)【出願番号】P 2022021586

(22)【出願日】2022-02-15

(65)【公開番号】P2023118573

(43)【公開日】2023-08-25

【審査請求日】2023-11-27

(73)【特許権者】

【識別番号】000003207

【氏名又は名称】トヨタ自動車株式会社

(74)【代理人】

【識別番号】110003199

【氏名又は名称】弁理士法人高田・高橋国際特許事務所

(72)【発明者】

【氏名】平野 麻衣子

(72)【発明者】

【氏名】足立 義貴

(72)【発明者】

【氏名】市川 健太郎

(72)【発明者】

【氏名】田口 康治

(72)【発明者】

【氏名】山郷 成仁

【審査官】貞光 大樹

(56)【参考文献】

【文献】特開２０２０－１６７５５１（ＪＰ，Ａ）

【文献】特開２０１８－１０６６７６（ＪＰ，Ａ）

【文献】特開２０２１－１５８５０７（ＪＰ，Ａ）

【文献】特開２０２１－３３６１２（ＪＰ，Ａ）

【文献】国際公開第２０２２／１９０６７９（ＷＯ，Ａ１）

【文献】米国特許出願公開第２０２０／０２３３４１５（ＵＳ，Ａ１）

【文献】中国特許出願公開第１１３８４４４６５（ＣＮ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０８Ｇ １／００ － １／１６

Ｇ０５Ｄ １／００ － １／８７

Ｂ６０Ｗ １０／００ － １０／３０

Ｂ６０Ｗ ３０／００ － ６０／００

(57)【特許請求の範囲】

【請求項1】

自律走行機能を有する車両を遠隔支援する遠隔支援方法であって、
前記車両により作成される自律走行のための経路計画と、前記車両の周囲に存在する物体に関する情報とに基づいて予測される、現時点よりも先の将来時刻における前記車両と前記物体との位置関係を表示装置に空間的に表示することと、
遠隔オペレータから入力された支援内容を前記車両に送信することと、
前記車両が前記支援内容を受信した後、前記支援内容が入力されたときに前記表示装置に表示されていた前記車両と前記物体との位置関係が実現されていることの確認を受けて、前記支援内容に応じた遠隔支援を前記車両において実行することと、を含む
ことを特徴とする遠隔支援方法。

【請求項2】

請求項１に記載の遠隔支援方法において、
前記確認は、前記支援内容が入力されたときに前記表示装置に表示されていた前記車両と前記物体との位置関係と、前記車両のセンサで取得される前記車両と前記物体との実際の位置関係との合致度が許容範囲内であることを確認することを含む
ことを特徴とする遠隔支援方法。

【請求項3】

請求項２に記載の遠隔支援方法において、
前記物体に関する情報は前記センサで取得された情報であり、前記センサで取得された前記物体に関する情報の少なくとも一部が前記経路計画の作成に用いられている
ことを特徴とする遠隔支援方法。

【請求項4】

請求項２又は３に記載の遠隔支援方法において、
前記確認は、前記支援内容に応じた遠隔支援を前記車両において実行可能となる時刻が、前記支援内容が入力されたときに前記表示装置に表示されていた前記車両と前記物体との位置関係の将来時刻を過ぎていないことを確認することを含む
ことを特徴とする遠隔支援方法。

【請求項5】

自律走行機能を有する車両を遠隔支援する遠隔支援システムであって、
少なくとも１つのプログラムを含む少なくとも１つのメモリと、
前記少なくとも１つのメモリと結合された少なくとも１つのプロセッサと、を含み、
前記少なくとも１つのプログラムは、前記少なくとも１つのプロセッサに、
前記車両により作成される自律走行のための経路計画と、前記車両の周囲に存在する物体に関する情報とに基づいて予測される、現時点よりも先の将来時刻における前記車両と前記物体との位置関係を表示装置に空間的に表示することと、
遠隔オペレータから入力された支援内容を前記車両に送信することと、
前記車両が前記支援内容を受信した後、前記支援内容が入力されたときに前記表示装置に表示されていた前記車両と前記物体との位置関係が実現されていることの確認を受けて、前記支援内容に応じた遠隔支援を前記車両において実行することと、を実行させるように構成されている
ことを特徴とする遠隔支援システム。

【請求項6】

請求項５に記載の遠隔支援システムにおいて、
前記確認は、前記支援内容が入力されたときに前記表示装置に表示されていた前記車両と前記物体との位置関係と、前記車両のセンサで取得される前記車両と前記物体との実際の位置関係との合致度が許容範囲内であることを確認することを含む
ことを特徴とする遠隔支援システム。

【請求項7】

請求項６に記載の遠隔支援システムにおいて、
前記物体に関する情報は前記センサで取得された情報であり、前記センサで取得された前記物体に関する情報の少なくとも一部が前記経路計画の作成に用いられている
ことを特徴とする遠隔支援システム。

【請求項8】

請求項６又は７に記載の遠隔支援システムにおいて、
前記確認は、前記支援内容に応じた遠隔支援を前記車両において実行可能となる時刻が、前記支援内容が入力されたときに前記表示装置に表示されていた前記車両と前記物体との位置関係の将来時刻を過ぎていないことを確認することを含む
ことを特徴とする遠隔支援システム。

【請求項9】

自律走行機能を有する車両により作成される自律走行のための経路計画と、前記車両の周囲に存在する物体に関する情報とに基づいて予測される、現時点よりも先の将来時刻における前記車両と前記物体との位置関係を表示装置に空間的に表示することと、
遠隔オペレータから入力された支援内容を前記車両に送信することと、
前記車両が前記支援内容を受信した後、前記支援内容が入力されたときに前記表示装置に表示されていた前記車両と前記物体との位置関係が実現されていることの確認を受けて、前記支援内容に応じた遠隔支援を前記車両において実行することと、をコンピュータに実行させるように構成された
ことを特徴とするプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、自律走行機能を有する車両を遠隔支援する遠隔支援技術に関する。

【背景技術】

【0002】

自動運転車両を遠隔で監視し、必要な場合には、遠隔オペレータが判断や指示を車両に伝えることで、自動運転車両の自動走行を支援する遠隔支援技術が知られている。特許文献１はそのような遠隔支援技術の一例を開示する。

【0003】

特許文献１に開示された従来技術によれば、遠隔運転装置に対して車両に関する情報と車両の周囲のオブジェクトに関する情報とを車両から取得する。車両に関する情報は車両の現在の地理的位置、車両の現在の速度及び加速度、遠隔運転サービスにおける車両の識別情報、自動運転機能によって推奨される将来の軌道などを含む。オブジェクトに関する情報はオブジェクトの種類、オブジェクトの現在の地理的位置、オブジェクトの速度及び加速度、オブジェクトの将来の予測軌道などを含む。オブジェクトの将来の予測軌道は、例えば、オブジェクトの地理的位置、速度及び加速度などに基づいて生成される。

【0004】

特許文献１に開示された従来技術によれば、遠隔運転装置はオブジェクトを表すための仮想オブジェクトを表示装置に表示する。仮想オブジェクトの表示位置を決定する際、遠隔運転装置は車両から情報を取得する際に生じる遅延と遠隔運転装置から車両へ操作指示を提供する際に生じる遅延とを考慮する。つまり、特許文献１に開示された従来技術によれば、車両の周囲の現在の状態ではなく遅延時間を考慮した未来の状態が表示装置に表示される

【0005】

しかし、上記従来技術は遅延時間を考慮して未来の状態を表示しているものの、想定している遅延時間と実際の遅延時間との間には誤差が発生する可能性がある。その場合、遠隔オペレータの意図したタイミングで車両を動作させることができない。

【0006】

なお、本開示に関連する技術分野の技術水準を示す文献としては、上述の特許文献１の他にも下記の特許文献２、特許文献３及び特許文献４を例示することができる。

【先行技術文献】

【特許文献】

【0007】

【文献】特開２０２０－１６７５５１号公報

【文献】特開２０２１－０１８７４４号公報

【文献】特開２０２１－０３３６１２号公報

【文献】特開２０２０－００３８９０号公報

【発明の概要】

【発明が解決しようとする課題】

【0008】

本開示は、上述のような問題に鑑みてなされたもので、車両と遠隔支援端末との間で生じる遅延によって引き起こされる支援タイミングのずれの影響を排除し、遠隔オペレータの意図したタイミングで車両を動作させることができる遠隔支援技術を提供することを目的とする。

【課題を解決するための手段】

【0009】

本開示は上記目的を達成するための遠隔支援技術として遠隔支援方法と遠隔支援システムとを提供する。

【0010】

本開示に係る遠隔支援方法は自律走行機能を有する車両を遠隔支援する方法である。本開示に係る遠隔支援方法は、車両により作成される自律走行のための経路計画と、車両の周囲に存在する物体に関する情報とに基づいて予測される、現時点よりも先の将来時刻における車両と物体との位置関係を表示装置に空間的に表示することと、遠隔オペレータから入力された支援内容を車両に送信することとを含む。さらに、本開示に係る遠隔支援方法は、車両が支援内容を受信した後、支援内容が入力されたときに表示装置に表示されていた車両と物体との位置関係が実現されていることの確認を受けて、支援内容に応じた遠隔支援を車両において実行することを含む。

【0011】

本開示に係る遠隔支援システムは自律走行機能を有する車両を遠隔支援するシステムである。本開示に係る遠隔支援システムは、少なくとも１つのプログラムを含む少なくとも１つのメモリと、少なくとも１つのメモリと結合された少なくとも１つのプロセッサとを含む。上記少なくとも１つのプログラムは、上記少なくとも１つのプロセッサに以下の処理を実行させるように構成されている。プロセッサにより実行される処理は、車両により作成される自律走行のための経路計画と、車両の周囲に存在する物体に関する情報とに基づいて予測される、現時点よりも先の将来時刻における車両と物体との位置関係を表示装置に空間的に表示することと、遠隔オペレータから入力された支援内容を車両に送信することを含む。さらに、プロセッサにより実行される処理は、車両が支援内容を受信した後、支援内容が入力されたときに表示装置に表示されていた車両と物体との位置関係が実現されていることの確認を受けて、支援内容に応じた遠隔支援を車両において実行することを含む。

【0012】

本開示の遠隔支援技術によれば、遠隔オペレータにより支援内容が入力されたときに表示装置に表示されていた車両と周辺物体との位置関係が実現されていることの確認を条件として、遠隔オペレータにより入力された支援内容に応じた遠隔支援が車両において実行される。つまり、上記の確認がとれるまでは、車両は支援内容を受信したとしても、その支援内容に応じた遠隔支援は車両において実行されない。これによれば、車両と遠隔支援端末との間で生じる遅延によって引き起こされる支援タイミングのずれの影響を排除し、遠隔オペレータの意図したタイミングで車両を動作させることができるので、遠隔オペレータの判断の信頼性を高めることができる。

【0013】

本開示の遠隔支援技術において、上記確認は、支援内容が入力されたときに表示装置に表示されていた車両と物体との位置関係と、車両のセンサで取得される車両と物体との実際の位置関係との合致度が許容範囲内であることを確認することを含んでもよい。経路計画と周辺物体に関する情報とに基づいた予測に誤差が含まれる場合、予測された車両と物体との位置関係と実際の車両と周辺物体との位置関係とにずれが生じ得る。予測された車両と物体との位置関係と実際の車両と周辺物体との位置関係との合致度を判断材料とすることで、遠隔オペレータにより支援内容が入力されたときに表示装置に表示されていた車両と周辺物体との位置関係が実現されているかどうか正確に判断することができる。

【0014】

また、本開示の遠隔支援技術において、車両の周囲に存在する物体に関する情報はセンサで取得された情報であり、センサで取得された物体に関する情報の少なくとも一部が経路計画の作成に用いられてもよい。これによれば、車両のセンサで取得された情報に基づいて予測された車両と周辺物体との実際の位置関係と、同じセンサで取得された車両と周辺物体との実際の位置関係とを比較することになるので、合致度に基づく判断の精度を高めることができる。

【0015】

また、本開示の遠隔支援技術において、上記確認は、支援内容に応じた遠隔支援を車両において実行可能となる時刻が、支援内容が入力されたときに表示装置に表示されていた車両と物体との位置関係の将来時刻を過ぎていないことを確認することを含んでもよい。遠隔支援を車両において実行可能となる時刻が、支援内容が入力されたときの表示装置の将来時刻を過ぎていなければ、表示装置に表示されていた車両と周辺物体との位置関係は実現されるか将来的に実現されると判断することができる。しかし、遠隔支援を車両において実行可能となる時刻が、上記将来時刻を過ぎている場合、表示装置に表示されていた車両と周辺物体との位置関係はもはや実現されないと判断することができる。

【0016】

本開示は上記目的を達成するためのプログラムを提供する。本開示のプログラムは、コンピュータに以下の処理を実行させるように構成されている。コンピュータにより実行される処理は、車両により作成される自律走行のための経路計画と、車両の周囲に存在する物体に関する情報とに基づいて予測される、現時点よりも先の将来時刻における車両と物体との位置関係を表示装置に空間的に表示することと、遠隔オペレータから入力された支援内容を車両に送信することを含む。さらに、コンピュータにより実行される処理は、車両が支援内容を受信した後、支援内容が入力されたときに表示装置に表示されていた車両と物体との位置関係が実現されていることの確認を受けて、支援内容に応じた遠隔支援を車両において実行することを含む。本開示のプログラムは、コンピュータ読み取り可能な記録媒体に記憶されてもよいし、ネットワークを介して提供されてもよい。

【発明の効果】

【0017】

上述のように、本開示の遠隔支援技術によれば、車両と遠隔支援端末との間で生じる遅延によって引き起こされる支援タイミングのずれの影響を排除し、遠隔オペレータの意図したタイミングで車両を動作させることができる。

【図面の簡単な説明】

【0018】

【図1】本開示の遠隔支援方法が適用される自動運転車両の遠隔支援システムの構成図である。

【図2】自動運転車両の構成の一例を示すブロック図である。

【図3】遠隔支援端末の構成の一例を示すブロック図である。

【図4】自動運転車両のカメラで取得された画像の一例と遠隔支援端末の表示画面の一例を示す図である。

【図5】本開示の実施形態に係る遠隔支援方法の概要を説明するための図である。

【図6】本開示の実施形態に係る遠隔支援方法の概要を説明するための図である。

【図7】本開示の実施形態に係る遠隔支援方法の概要を説明するための図である。

【図8】合致度の計算方法の第１の例について説明するための図である。

【図9】合致度の計算方法の第２の例について説明するための図である。

【図10】合致度の計算方法の第２の例について説明するための図である。

【図11】本開示の実施形態に係る遠隔支援システムの構成を示すブロック図である。

【図12】本開示の実施形態に係る遠隔支援システムによる車両、遠隔支援端末、及びオペレータ間の処理の流れを示すシーケンス図である。

【図13】本開示の実施形態に係る遠隔支援端末による処理の一例を示すフローチャートである。

【図14】本開示の実施形態に係る自動運転車両による処理の一例を示すフローチャートである。

【図15】本開示の実施形態に係る自動運転車両による処理の別の例を示すフローチャートである。

【発明を実施するための形態】

【0019】

以下、図面を参照して本開示の実施形態について説明する。ただし、以下に示す実施形態において各要素の個数、数量、量、範囲等の数に言及した場合、特に明示した場合や原理的に明らかにその数に特定される場合を除いて、その言及した数に、本開示に係る技術思想が限定されるものではない。また、以下に示す実施形態において説明する構造等は、特に明示した場合や明らかに原理的にそれに特定される場合を除いて、本開示に係る技術思想に必ずしも必須のものではない。

【0020】

１．遠隔支援システムの構成
図１は自動運転車両の遠隔支援システムの構成図である。遠隔支援システム１００は自律走行機能を有する自動運転車両２０の自動運転をオペレータ４０の遠隔操作によって支援するシステムである。自動運転車両２０を遠隔支援するオペレータ４０を遠隔オペレータという。遠隔支援の対象とされる自動運転車両２０の自動運転レベルとしては、例えば、レベル４又はレベル５が想定される。以下、自動運転車両２０を単に車両２０と呼ぶ。

【0021】

オペレータ４０による車両２０の遠隔支援には遠隔支援端末３０が用いられる。遠隔支援端末３０はインターネットを含む通信ネットワークを介して管理センタのサーバ１０に接続されている。車両２０もまた４Ｇや５Ｇを含む通信ネットワークを介して管理センタのサーバ１０に接続されている。サーバ１０には複数の遠隔支援端末３０と複数の車両２０が接続されている。車両２０から支援要求を受けたサーバ１０は空いているオペレータ４０の中から担当者を選択し、担当者となったオペレータ４０の遠隔支援端末３０と支援を要求している車両２０とを接続する。

【0022】

車両２０が支援を要求する場面には、例えば、先行車の追い越しの場合、横断歩道を通過する場合、交差点を右折する場面、レーンを逸脱して障害物を回避する場面等が含まれる。遠隔支援では、車両２０による自動運転のための判断の少なくとも一部はオペレータ４０が行う。運転に必要な認知、判断、及び操作に関する基本的な計算は車両２０において行われる。オペレータ４０は車両２０から送信される各種の車両情報に基づき車両２０が取るべき行動を判断し、判断結果に基づいて車両２０に指令を送信する。オペレータ４０から車両２０に対して送られる遠隔支援の指令には、車両２０の進行の指令及び車両２０の停止の指令が含まれる。また、遠隔支援の指令には、前方の障害物に対するオフセット回避の指令、先行車の追い越しの指示、緊急退避の指示等が含まれる。

【0023】

図２は車両２０の構成の一例を示すブロック図である。車両２０はコンピュータ２１を備える。コンピュータ２１は車両２０に搭載される複数のＥＣＵ（Electronic Control Unit）の集合体である。また、車両２０は外部センサ２２、内部センサ２３、アクチュエータ２４、及び通信装置２５を備える。これらは、ＣＡＮ（Controller Area Network）等の車載ネットワークを用いてコンピュータ２１に接続されている。

【0024】

コンピュータ２１は１つ又は複数のプロセッサ２１ａ（以下、単にプロセッサ２１ａと呼ぶ）とプロセッサ２１ａに結合された１つ又は複数のメモリ２１ｂ（以下、単にメモリ２１ｂと呼ぶ）とを備えている。メモリ２１ｂには、プロセッサ２１ａで実行可能な１つ又は複数のプログラム２１ｃ（以下、単にプログラム２１ｃと呼ぶ）とそれに関連する種々の情報とが記憶されている。プログラム２１ｃは実行可能な複数のインストラクションを含む。また、メモリ２１ｂには、自動運転のための高精度３次元地図情報が記憶されている。

【0025】

プロセッサ２１ａがプログラム２１ｃを実行することにより、プロセッサ２１ａによる各種処理が実現される。プログラム２１ｃには、自動運転を実現するための自動運転プログラムが含まれる。自動運転プログラムがプロセッサ２１ａで実行されることによって、コンピュータ２１は車両２０を自動運転する自動運転システムとして機能する。以下、自動運転システムとしてのコンピュータ２１を単に自動運転システムと呼ぶ。また、プログラム２１ｃには、遠隔支援を受けるための遠隔支援プログラムが含まれる。遠隔支援プログラムがプロセッサ２１ａで実行されることによって、サーバ１０に支援を要求しサーバ１０から取得した支援内容を車両２０で実行するための処理が実行される。

【0026】

外部センサ２２は車両２０の周囲、特に車両２０の前方を撮像するカメラを含む。カメラは複数台設けられていてもよく、車両２０の前方の他、側方及び後方を撮像してもよい。また、カメラは自動運転用とオペレータ４０による遠隔支援用とで共用されてもよいし、自動運転用のカメラと遠隔支援用のカメラとが別々に設けられてもよい。外部センサ２２はカメラ以外の認識センサを含む。認識センサは車両２０の周囲の状況を認識するための情報を取得するセンサである。カメラ以外の認識センサとしては、ＬｉＤＡＲ（Laser Imaging Detection and Ranging）及びミリ波レーダが例示される。また、外部センサ２２は車両２０の位置及び方位を検出する位置センサを含む。位置センサとしては、ＧＰＳ（Global Positioning System）センサが例示される。外部センサ２２で得られた情報はコンピュータ２１に送信される。

【0027】

内部センサ２３は車両２０の運動に関する情報を取得する状態センサを含む。状態センサとしては、例えば、車輪速センサ、加速度センサ、角速度センサ、及び舵角センサが例示される。加速度センサと角速度センサとはＩＭＵであってもよい。内部センサ２３で得られた情報はコンピュータ２１に送信される。

【0028】

以下、内部センサ２３で得られた情報と外部センサ２２で得られた情報とを総称して車両情報という。ただし、車両情報には、車両２０のセンサで取得される情報の他にも、自動運転システムで作成される車両２０の経路計画と、車両２０を取り巻く周辺環境の予測情報とが含まれる。自動運転システムは、外部センサ２２で得られた車両２０の周囲の状況に関する情報を用いて車両２０を取り巻く周辺環境の今後の短期間における変化を予測し、その予測情報と例えばナビゲーションシステムにより決定された目標ルートとに基づいて経路計画を作成する。

【0029】

アクチュエータ２４は車両２０を操舵する操舵装置、車両２０を駆動する駆動装置、及び車両２０を制動する制動装置を含んでいる。操舵装置には、例えば、パワーステアリングシステム、ステアバイワイヤ操舵システム、及び後輪操舵システムが含まれる。駆動装置には、例えば、エンジン、ＥＶシステム、及びハイブリッドシステムが含まれる。制動装置には、例えば、油圧ブレーキ、及び電力回生ブレーキが含まれる。アクチュエータ２４はコンピュータ２１から送信される制御信号によって動作する。

【0030】

通信装置２５は車両２０と外部との無線通信を制御する装置である。通信装置２５は通信ネットワークを介してサーバ１０と通信を行う。コンピュータ２１で処理された情報は通信装置２５を用いてサーバ１０に送信される。サーバ１０で処理された情報は通信装置２５を用いてコンピュータ２１に取り込まれる。また。自動運転のために他の車両との車車間通信やインフラ施設との路車間通信が必要な場合、それら外部装置との通信も通信装置２５によって行われる。

【0031】

図３は遠隔支援端末３０の構成の一例を示すブロック図である。遠隔支援端末３０はコンピュータ３１、表示装置３２、入力装置３３、及び通信装置３５を備える。表示装置３２、入力装置３３、及び通信装置３５はコンピュータ３１に接続されている。なお、遠隔支援端末３０は管理センタに設置されていてもよいし、管理センタの外部、例えば、オペレータ４０の自宅に設置されていてもよい。

【0032】

コンピュータ３１は１つ又は複数のプロセッサ３１ａ（以下、単にプロセッサ３１ａと呼ぶ）とプロセッサ３１ａに結合された１つ又は複数のメモリ３１ｂ（以下、単にメモリ２１ｂと呼ぶ）とを備えている。メモリ３１ｂには、プロセッサ３１ａで実行可能な１つ又は複数のプログラム３１ｃ（以下、単にプログラム３１ｃと呼ぶ）とそれに関連する種々の情報とが記憶されている。プログラム３１ｃは実行可能な複数のインストラクションを含む。また、メモリ３１ｂには、高精度３次元地図情報が記憶されている。

【0033】

プロセッサ３１ａがプログラム３１ｃを実行することにより、プロセッサ３１ａによる各種処理が実現される。プログラム３１ｃには、車両２０に対して遠隔支援を行うためのユーザインタフェースを管理するオペレータＵＩ管理プログラムが含まれる。オペレータＵＩ管理プログラムがプロセッサ３１ａで実行されることによって、コンピュータ３１はオペレータＵＩ管理システムとして機能し、遠隔支援に必要な情報を後述する表示装置３２に表示するための処理が実行される。

【0034】

表示装置３２はオペレータ４０が遠隔支援を行うために必要な情報を表示する装置である。表示装置３２により表示される情報は、具体的には、車両２０の前方の画像に相当する情報である。ただし、表示装置３２に表示される情報は車両２０のカメラで取得された画像、つまり、車両２０の自動運転システムが利用する情報ではない。図４は車両２０のカメラで取得された画像の一例（図４Ａ）と表示装置３２の画面の一例（図４Ｂ）とを示す。表示装置３２に表示される情報はコンピュータ３１により作成された３Ｄモデルベースの画像である。この画像では３Ｄで生成した空間上に車両２０の周辺環境が再現されている。周辺環境のうち静止物については高精度３次元地図情報と車両２０の位置情報とを用いて空間的に再現することができる。表示装置３２に表示される情報の内容とその生成方法については追って詳しく説明する。

【0035】

入力装置３３はオペレータ４０の遠隔支援のための操作を入力する装置である。入力装置３３で入力された情報はコンピュータ３１で処理されて車両２０に送信される。入力装置３３の具体例としては、ボタン、レバー、及びタッチパネルを例示することができる。例えば、レバーを倒す方向によって車両２０に対して進行／停止を指示したり、横方向への移動を指示したりしてもよい。横方向への移動には、例えば、前方の障害物に対するオフセット回避、車線変更、先行車の追い越しが含まれる。

【0036】

通信装置３５は遠隔支援端末３０と外部との通信を制御する装置である。通信装置３５は通信ネットワークを介してサーバ１０と通信を行う。コンピュータ３１で処理された情報は通信装置３５を用いてサーバ１０に送信される。サーバ１０で処理された情報は通信装置３５を用いてコンピュータ３１に取り込まれる。

【0037】

２．遠隔支援方法の概要
本開示の遠隔支援方法の目的は、車両２０と遠隔支援端末３０との間で生じる遅延によって引き起こされる支援タイミングのずれの影響を排除し、オペレータ４０の意図したタイミングで車両２０を動作させることにある。この目的を達成するために本開示の実施形態に係る遠隔支援方法では、車両２０に搭載されたカメラが撮像した車両２０の前方の画像そのものではなく、車両情報から生成される未来の画像を遠隔支援端末３０の表示装置３２に表示する。表示装置３２に表示される未来の画像とは、現時点よりも将来の時刻において実現すると予測される画像である。未来の画像の生成に用いられる車両情報には、自動運転システムが生成した車両２０の経路計画と、経路計画を生成するために利用される車両２０を取り巻く周辺環境の予測情報とが含まれる。経路計画の生成と周辺環境の予測とは自動運転システムにとって基本的な公知の機能であることから、それらに関する説明は省略する。少なくとも支援を要求してから支援が完了するまでの間、車両２０はこれらの車両情報を遠隔支援端末３０に送信する。

【0038】

本実施形態に係る遠隔支援方法では、遠隔支援端末３０はオペレータ４０によって入力された支援内容とコンピュータ３１で生成された車両２０の将来情報とをサーバ１０を介して車両２０に送信する。コンピュータ３１で生成される車両２０の将来情報には、後述する遅延時間が考慮された将来時刻における車両２０と車両２０の周辺に存在する物体との位置関係に関する情報が含まれる。車両２０のコンピュータ２１は、受信した支援内容と将来情報とに基づき実際に支援が必要なタイミングでその支援の実行可否の判断を行う。

【0039】

以下、図５乃至図７を用いて本実施形態に係る遠隔支援方法の概要について具体的に説明する。ここでは、車両２０が交差点を右折しようとし、反対車線から別の車両５０（ここでは他車両という）が交差点に進入してきている状況が想定されている。

【0040】

まず、図５乃至図７の全体の概要について説明する。図５乃至図７の各図の上段には、車両２０のカメラの画像から認識される車両２０と他車両５０との位置関係を示すイメージ図が描かれている。これらのイメージ図は図４Ａに示すようなカメラの画像を平面図に変換したものに相当する。上段に示す５つのイメージ図は全て時刻が異なり、時刻Ｔ０，Ｔ１１，Ｔ２１，Ｔ３１，Ｔ４１の順で左から右に時系列に並んでいる。ただし、車両２０のカメラで撮影される画像は動画であり、車両２０と他車両５０との位置関係も連続的な時間の流れの中で認識されている。ここでは連続的な時間の中の特定の時刻における位置関係をピックアップして示したに過ぎない。

【0041】

車両２０の自動運転システムはカメラの画像に基づき車両２０の経路計画を作成し、他車両５０の予測経路を計算する。各イメージ図において車両２０から延びる実線及び点線の矢印線は自動運転システムで作成される経路計画である。経路計画には車両２０を中心とする座標系或いは絶対座標系での車両２０の目標位置とその位置における目標速度或いは目標加速度が含まれる。実線は確定した経路計画であり、点線は未確定の経路計画である。他車両５０から延びる破線の矢印線は自動運転システムで計算された他車両５０の予測経路である。

【0042】

図５乃至図７の各図の下段には、遠隔支援端末３０の表示装置３２の画面に空間的に映し出される車両２０と他車両５０との位置関係を示すイメージ図が描かれている。これらのイメージ図は表示装置３２に表示される図４Ｂに示すような３Ｄ画像を平面図に変換したものに相当する。下段に示す３つのイメージ図は全て時刻が異なり、時刻Ｔ１２，Ｔ２２，Ｔ３２の順で左から右に時系列に並んでいる。ただし、表示装置３２の画面に表示される画像は動画であり、画面内の車両２０と他車両５０との位置関係は時間により連続的に変化する。ここでは連続的な時間の中の特定の時刻における位置関係をピックアップして示したに過ぎない。

【0043】

遠隔支援端末３０のコンピュータ３１は、車両２０から受信した車両２０の経路計画と他車両５０の予測経路を含む周辺環境の予測情報とに基づき、現時点よりも将来の時刻における車両２０と他車両５０との位置関係を予測する。各イメージ図において自車両２０から延びる実線及び点線の矢印線は車両２０から受信した経路計画である。実線はオペレータ４０が承認した経路計画であり、点線はオペレータ４０が未承認の経路計画である。他車両５０から延びる破線の矢印線はコンピュータ３１が予測した将来時刻における他車両５０の予測経路である。コンピュータ３１は例えば地図情報と他車両５０の速度及び方位に基づき、他車両５０が現在の走行車線を直進する確率と右折する確率と左折する確率とを予測する。なお、車両２０の周辺の物体が歩行者の場合、コンピュータ３１は例えば道路をグリッドに分割し、歩行者の速度及び方位を用いてその歩行者が各グリッド上を通行する確率を算出することによってその歩行者の進路を予測する。

【0044】

図５乃至図７のそれぞれは本実施形態に係る遠隔支援方法により実現される遠隔支援の例を示す。図５に示す例から順に各図に示す例について説明する。

【0045】

図５に示す例では、時刻Ｔ０において車両２０から支援の要求が出される。この例において車両２０が要求する支援は前方にある交差点において右折を実行して良いかどうかの判断である。車両２０は交差点に入ってからではなく交差点から所定距離だけ手前で支援を要求する。車両２０が支援を要求した時刻Ｔ０の時点では、反対車線の他車両５０が直進するのか左折するのか或いは右折するのか不明である。このような状況では車両２０の自動運転システムは自身が判断を行うのではなく、判断をオペレータ４０に委ねて判断結果が送られてくるのを待つ。ただし、支援を要求している間、車両２０はその場に完全に停止するのではなく、後続車への影響を抑えるべく交差点の中心付近まで低速度で徐行する。

【0046】

車両２０の支援要求に対してサーバ１０により一人のオペレータ４０がアサインされ、アサインされたオペレータ４０の遠隔支援端末３０に車両２０の経路計画と他車両５０の予測経路とを含む車両情報が支援要求とともに送信される。遠隔支援端末３０のコンピュータ３１は車両情報に基づいて遅延時間を考慮した未来の画像を生成し、生成した未来の画像を時刻Ｔ１２において表示装置３２に表示する。車両２０と他車両５０との位置関係を含む画像が車両２０のカメラによって取得されてから、車両２０から送信された車両情報が遠隔支援端末３０で受信され、遠隔支援端末３０により未来の画像を表示可能となるまでには時間を要する。この時間が上り方向の遅延時間である。

【0047】

上り方向の遅延時間と後述する下り方向の遅延時間との合計が未来の画像の生成において考慮される遅延時間である。遅延時間は通信遅延と車両２０及び遠隔支援端末３０の各コンピュータ２１，３１の演算時間とを含む。演算時間を固定値に設定し、直前に測定した通信遅延（例えばＲＴＴ（Round Trip Time））に基づいて遅延時間を決定してもよい。また、これまでの実績に基づいて遅延時間を固定値で与えてもよい。遅延時間を固定値で与える場合、通信遅延は時間帯によって異なることを踏まえて、時間帯によって遅延時間の値を変更してもよい。

【0048】

表示装置３２に表示される未来の画像には、現時点（時刻Ｔ１２）よりも先の将来時刻における車両２０と他車両５０との位置関係が含まれている。また、表示装置３２には車両２０がどのような支援を要求しているかが表示される。オペレータ４０は遠隔支援端末３０の表示装置３２に表示された車両２０と他車両５０との位置関係及び周辺環境に基づき、車両２０が交差点を右折してよいかどうか判断する。オペレータ４０は自身の判断結果に従って遠隔支援端末３０の入力装置３３を操作する。図５に示す例では、時刻Ｔ１２において表示装置３２に表示されている画像からは他車両５０の進行方向を未だ特定することができない。このためオペレータ４０は車両５０に対する支援内容として右折の実行の保留（Ｎｏ－Ｇｏ）を入力する。

【0049】

遠隔支援端末３０に入力された支援内容は遠隔支援端末３０から車両２０に送信される。また、遠隔支援端末３０で作成された将来情報、すなわち、将来時刻における車両２０と他車両５０との位置関係に関する情報が支援内容と併せて車両２０に送信される。ここでは簡単のためにオペレータ４０の判断に要した時間は無視し、時刻Ｔ１２において遠隔支援端末３０から車両２０に対して支援内容と将来情報とが送信されるものとする。遠隔支援システムにおいてオペレータ４０の判断時間は上り方向の遅延時間にも下り方向の遅延時間にも含まれないことから、オペレータ４０の判断時間は無視して検討することができる。

【0050】

遠隔支援端末３０から支援内容と将来情報とが送信されてから、支援内容と将来情報とが車両２０で受信され、車両２０により支援内容を実行可能となるまでには時間を要する。この時間が下り方向の遅延時間である。車両２０が車両情報を送信した時刻よりも上り方向と下り方向の合計の遅延時間分だけ将来の時刻が時刻Ｔ２１であり、時刻Ｔ２１において車両２０は支援内容を実行可能となる。前述の通り、遠隔支援端末３０の表示装置３２に表示される未来の画像は遅延時間を考慮して作成されている。つまり、時刻Ｔ１２において表示装置３２に表示されている未来の画像は、時刻Ｔ２１の実際の車両２０と他車両５０との位置関係を予測して作成されたものである。そして、時刻Ｔ１２において予測された時刻Ｔ２１の車両２０と他車両５０との位置関係が将来情報として車両２０に送信される。

【0051】

時刻Ｔ２１において車両２０が実行する支援内容はＮｏ－Ｇｏであるため、車両２０は右折を実行せずに待機状態を継続する。支援内容とともに車両２０が受信した将来情報は、支援内容がＧｏの判断である場合、つまり、車両２０を積極的に動かす判断の場合、支援内容に応じた遠隔支援を実行するかどうかの最終決定に使用される。交差点での右折の場面に限らず支援要求に対するオペレータ４０の支援内容がＮｏ－Ｇｏの場合には、将来情報と関係なく車両２０は待機状態を継続する。ただし、車両２０の判断と遠隔支援の支援内容とが一致している場合は、支援内容に応じた遠隔支援を実行するかどうかの判断に将来情報を使用しない場合もある。また、車両２０は時刻Ｔ２１における最新の車両情報を遠隔支援端末３０へ送信する。

【0052】

時刻Ｔ０において支援要求を出した後、車両２０は継続的に車両情報を遠隔支援端末３０に送信する。よって、時刻Ｔ０において支援要求を出してから時刻Ｔ２１において支援内容を実行するまでの間にある時刻Ｔ１１においても、車両２０は時刻Ｔ１１における車両情報を遠隔支援端末３０に送信している。

【0053】

遠隔支援端末３０のコンピュータ３１は時刻Ｔ１１において車両２０から送信された車両情報に基づいて遅延時間を考慮した未来の画像を生成し、生成した未来の画像を時刻Ｔ２２において表示装置３２に表示する。時刻Ｔ２２において表示装置３２に表示される未来の画像は、現時点（時刻Ｔ２２）よりも先の将来時刻（時刻Ｔ３１）における車両２０と他車両５０との位置関係を予測した画像である。時刻Ｔ２２において表示されている画像からは、他車両５０が交差点を右折しようとしていることが判断できる。他車両５０が交差点を右折するのであれば、他車両５０との干渉を生じさせることなく車両２０を安全に右折させることができる。このためオペレータ４０は車両５０に対する支援内容として右折の実行（Ｇｏ）を入力する。

【0054】

遠隔支援端末３０には引き続き車両２０から送信された車両情報が入力される。時刻Ｔ３２には、時刻Ｔ２１に車両２０から送信された車両情報に基づき生成された未来の画像が表示装置３２に表示される。時刻Ｔ３２において表示装置３２に表示される未来の画像は、現時点（時刻Ｔ３２）よりも先の将来時刻（時刻Ｔ４１）における車両２０と他車両５０との位置関係を予測した画像である。時刻Ｔ３２において表示されている画像からは、他車両５０が交差点での右折の途中であることが分かる。他車両５０も右折の途中であるならば、車両２０の右折をそのまま問題なく進めることができる。このためオペレータ４０は車両５０に対する支援内容として右折の実行（Ｇｏ）を入力する。

【0055】

時刻Ｔ２２においてオペレータ４０が遠隔支援端末３０に入力した支援内容は時刻Ｔ２２に遠隔支援端末３０で作成された将来情報とともに車両２０に送信される。車両２０が受信した将来情報には、時刻Ｔ２２において予測された時刻Ｔ３１の車両２０と他車両５０との位置関係が含まれる。オペレータ４０から送信された支援内容はＧｏの判断であるので、車両２０は将来情報を参照して支援内容に応じた遠隔支援を実行するかどうか決定する。

【0056】

車両２０による遠隔支援の実行の可否の判断では、オペレータ４０が遠隔支援端末３０に支援内容を入力したときに表示装置３２に表示されていた車両２０と他車両５０との位置関係が現実において実現されているかどうか確認される。確認の方法としては、例えば、時刻Ｔ２２において表示装置３２に表示されていた未来の画像における車両２０と他車両５０との位置関係（以下、未来の位置関係という）と、時刻Ｔ３１において実現されている実際の車両２０と他車両５０との位置関係との合致度が判定される。未来の位置関係は遠隔支援端末３０から送信される将来情報に含まれている。実際の車両２０と他車両５０との位置関係は車両２０のカメラによって取得することができる。合致度の計算方法については追って詳細に説明する。車両２０は、合致度が閾値以上であれば、時刻Ｔ２２において予測された未来の位置関係が時刻Ｔ３１において実現されていることが確認されたと判断する。

【0057】

車両２０は上記の確認を受けて支援内容に応じた遠隔支援を実行する。図５に示す例では支援内容のＧｏの判断に応じた遠隔支援は右折の実行である。時刻Ｔ３１において車両２０の自動運転システムは交差点を右折する経路計画を確定させ、右折を実行する。なお、下り方向の遅延時間には、予測された未来の位置関係が実現されていることの確認のための時間も含まれている。

【0058】

車両２０には引き続き遠隔支援端末３０から送信された支援内容と将来情報とが入力される。時刻Ｔ３２に遠隔支援端末３０から送信された将来情報には、時刻Ｔ３２において予測された時刻Ｔ４１の車両２０と他車両５０との位置関係が含まれる。時刻Ｔ３２に遠隔支援端末３０から送信された支援内容はＧｏの判断であるので、車両２０は時刻Ｔ３２において遠隔支援端末３０により予測された未来の位置関係と時刻Ｔ４１において実現されている実際の車両２０と他車両５０との位置関係との合致度を判定する。図５に示す例では合致度は閾値以上であるので、オペレータ４０によるＧｏの判断に従い車両２０は引き続き右折を継続する。

【0059】

次に、遠隔支援端末３０により予測された未来の位置関係が現実において実現されず、オペレータ４０により入力された支援内容に応じた遠隔支援を実行できない場合の処理について説明する。図６に示す例では、時刻Ｔ２２において遠隔支援端末３０により予測された未来の位置関係と時刻Ｔ３１において実現されている実際の車両２０と他車両５０との位置関係とは合致していない。この場合、車両２０は時刻Ｔ２２に遠隔支援端末３０から送信された支援内容のＧｏの判断には従わない。つまり、車両２０は右折を実行せずに待機状態を継続する。また、時刻Ｔ３１において車両２０はオペレータ４０に対して支援を再要請する。この例において車両２０が再要請する支援は引き続き右折を実行して良いかどうかの判断である。

【0060】

車両２０には引き続き遠隔支援端末３０から送信された支援内容と将来情報とが入力される。図６に示す例では、時刻Ｔ３２において遠隔支援端末３０により予測された未来の位置関係と時刻Ｔ４１において実現されている実際の車両２０と他車両５０との位置関係とは依然として合致していない。よって、車両２０はオペレータ４０によるＧｏの判断には従わず引き続き待機状態を継続する。時刻Ｔ３１において車両２０からオペレータ４０に対して支援が再要請されたことにより、時刻Ｔ４１の後も新たな支援内容と将来情報とが遠隔支援端末３０から車両２０に入力される。そして、遠隔支援端末３０により予測された未来の位置関係が現実において実現されていることの確認を受けて、車両２０はオペレータ４０によるＧｏの判断に従って右折を実行する。

【0061】

遠隔支援端末３０により予測された未来の位置関係が現実において実現されず、オペレータ４０により入力された支援内容に応じた遠隔支援を実行できない場合、図６に示す例では車両２０からオペレータ４０に対して支援が再要請される。しかし、車両２０が置かれている状況によってはオペレータ４０に対して支援を再要請することができない。例えば、進行方向の信号の色が青から赤に変わりそうな状況では交差点内で待機し続けることはできない。

【0062】

図７に示す例では、時刻Ｔ２２において遠隔支援端末３０により予測された未来の位置関係と時刻Ｔ３１において実現されている実際の車両２０と他車両５０との位置関係とは合致していない。この場合、車両２０は時刻Ｔ２２に遠隔支援端末３０から送信された支援内容のＧｏの判断には従わない。しかし、オペレータ４０に対して支援を再要請しながら交差点内で待機状態を継続することができる状況でもない。この場合、車両２０は安全を確保できる経路を選択して実行する。図７に示す例では、時刻Ｔ３１において車両２０は右折を断念し、交差点を直進する経路を実行する。

【0063】

車両２０には引き続き遠隔支援端末３０から送信された支援内容と将来情報とが入力される。図７に示す例では、時刻Ｔ３２において遠隔支援端末３０から送信された支援内容と将来情報とが車両２０に入力される。しかし、車両２０は既に安全を確保できる経路を選択して実行しているので、遠隔支援端末３０から送信された支援内容は実行しない。車両２０は時刻Ｔ４１においても安全を確保できる経路を継続して実行する。

【0064】

以上の説明のとおり、本実施形態に係る遠隔支援方法によれば、オペレータ４０により支援内容が入力されたときに表示装置３２に表示されていた車両２０と他車両５０との位置関係が実現されていることの確認を条件として、オペレータ４０により入力された支援内容に応じた遠隔支援が車両２０において実行される。つまり、上記の確認がとれるまでは、車両２０は支援内容を受信したとしても、その支援内容に応じた遠隔支援は車両２０において実行されない。これによれば、通信遅延を含む遅延時間によって引き起こされる支援タイミングのずれの影響を排除してオペレータ４０の意図したタイミングで車両２０を動作させることができるので、オペレータ４０の判断の信頼性を高めることができる。

【0065】

３．合致度の計算方法
３－１．第１の例
合致度の計算方法について３つの例を挙げる。図８は合致度の計算方法の第１の例について説明するための図である。図８には車両２０とその周辺の物体５０－１，５０－２，・・・，５０－Ｎとが模式的に描かれている。図示はしていないが、車両２０の周辺にはＮ個の物体が存在すると仮定する。周辺の物体には車両、歩行者、自転車などの全ての移動体が含まれる。車両２０及び周辺の物体５０－１，５０－２，・・・，５０－Ｎの破線で示す位置はオペレータ４０が支援内容の判断において参照した予測位置であり、実線で示す位置は車両２０が支援内容を実行する際の実際位置である。

【0066】

第１の例では合致度は以下の関数を用いて表される。以下の関数は予測位置と実際位置との誤差が小さいほど値がゼロに近づくように構成されている。例えば、以下の関数の値がゼロのときに合致度が最大になるように合致度の計算式を作成してもよい。

【0067】

【数1】

【0068】

上記の関数においてＤ_ｅは車両２０の現在位置と将来位置との間の変化量を示す。ΔＶ_ｅは車両２０の現在速度と経路計画から予測される将来速度との間の変化量を示す。また、Ｄ_ａ，ｉは物体５０－ｉの現在位置と将来位置との間の変化量を示す。ΔＶ_ａ，ｉは物体５０－ｉの現在速度と自動運転システムによって予測される将来速度との間の変化量を示す。α_ｅ、β_ｅ、α_ａ，ｉ、及びβ_ａ，ｉはそれぞれ係数である。なお、上記の関数において車両２０に関係するＤ_ｅの項とΔＶ_ｅの項は省略することもできる。その場合、分母の１＋ＮはＮとすればよい。

【0069】

上記の関数の計算において計算対象とすべき物体５０－１，５０－２，・・・，５０－Ｎは、オペレータ４０の判断内容やシーンに応じて決定される。例えば、図８に示す例では車両２０の進行方向の前方を移動している物体５０－１のみを計算対象としてもよい。特定の物体、例えば、道路上の移動物、対向車線の車両、自車に接近する車両、或いは車両のみに計算対象を限定することも可能である。また、特定の物体、例えば後続車又は歩行者を計算対象から除外することも可能である。

【0070】

図５乃至図７に示す例では車両２０の周囲には他車両５０以外の物体も存在しているかもしれないが、交差点での右折において車両２０の行動の判断に影響するのは他車両５０のみである。ゆえに、図５乃至図７に示す例において上記の関数を合致度の計算に用いるのであれば、他車両５０のみが計算対象とされる。

【0071】

なお、車両２０から一定範囲に存在する物体の全てを計算対象に加えた上で、車両２０の行動の判断への影響の大きさに応じて係数α_ａ，ｉ及び係数β_ａ，ｉの値を変更してもよい。例えば、車両２０に接近する方向の物体に対して与えられる係数を車両２０から離れる方向の物体に対して与えられる係数よりも大きくしてもよい。

【0072】

３－２．第２の例
第２の例はＴＴＣ（Time to Collision）を合致度の判定に用いる例である。第２の例では、車両２０の経路に干渉する物体に対し、表示装置３２に表示される未来の位置関係での予測ＴＴＣと、車両２０が支援内容を実行する際の実際の位置関係での実際ＴＴＣとが計算される。車両２０の経路に複数の物体が存在する場合には、前方および後方それぞれ一番近い物体が車両２０と干渉する物体としてみなされる。そして、予測ＴＴＣと実際ＴＴＣとの誤差が閾値以内である場合、合致度が高いと判定される。なお、第２の例では、ＴＴＣに代えて相対距離又は相対速度を用いることもできる。

【0073】

図９は合致度の計算方法の第２の例についてより詳しく説明するための図である。第２の例では、車両２０の経路と干渉する車両が車両２０に対する先行車５０Ｆである場合と、後続車５０Ｒである場合とで支援内容を採用する合致度判定の閾値が変更される。先行車５０Ｆ及び後続車５０Ｒの破線で示す位置はオペレータ４０が支援内容の判断において参照した予測位置であり、実線で示す位置は車両２０が支援内容を実行する際の実際位置である。図９にグラフと模式図で示すように先行車５０Ｆに対しては合致度判定の閾値は高くされ、後続車５０Ｒに対しては合致度判定の閾値は低くされる。なお、予測ＴＴＣと実際ＴＴＣとの誤差と合致度との関係は、グラフに示すように線形に設定されてもよいし非線形に設定されてもよい。ＴＴＣに代えて相対距離又は相対速度を用いる場合においても、誤差が小さいほど合致度が高くなりさえすれば誤差と合致度との関係はどのようにも設定することができる。

【0074】

ここで、第２の例において合致度の計算対象とされる“車両２０の経路に干渉する物体”に関してより詳しく説明する。図９に示す先行車５０Ｆ及び後続車５０Ｒは車両２０の経路上に継続的に存在している物体である。しかし、実際の場面では、図１０に模式図で示すように、車両２０の経路を何らかの物体が極短時間で横断することがある。なお、車両２０の経路に干渉する物体かどうかの判定では、車両２０の経路に一定の幅（例えば車両２０の車幅程度の幅）が与えられる。

【0075】

車両２０の経路を物体が横断する場合、車両２０の経路に干渉する物体かどうかは支援内容を実行する際の物体の実際の位置によって決まる。例えば、破線で示すようにオペレータ４０が支援内容の判断において参照した予測位置は経路に干渉し、且つ、実線で示すように支援内容を実行する際の実際位置も経路と干渉している横断車両５０Ｃ１は、第２の例において合致度の計算対象とされる。つまり、横断車両５０Ｃ１について予測ＴＴＣと実際ＴＴＣとの誤差が計算され、図１０に示すグラフにより誤差から合致度が計算される。そして、合致度が閾値以上であれば、車両２０は支援内容を採用し実行する。なお、車両２０の経路を物体が横断するケースでも、ＴＴＣに代えて相対距離又は相対速度を用いることもできる。

【0076】

一方、オペレータ４０が支援内容の判断において参照した予測位置は経路に干渉するが、支援内容を実行する際の実際位置は経路を通り過ぎている横断車両５０Ｃ２は、第２の例において合致度の計算対象外とされる。この場合、車両２０と横断車両５０Ｃ２とが干渉することはないので、車両２０は合致度を計算することなく支援内容を採用し実行する。一方、オペレータ４０が支援内容の判断において参照した予測位置は経路に干渉するが、支援内容を実行する際の実際位置は経路にまだ干渉していない横断車両５０Ｃ３もまた、第２の例において合致度の計算対象外とされる。この場合、車両２０は合致度を計算することなく支援内容を採用しない。

【0077】

３－３．第３の例
第３の例はマハラノビス距離を合致度の判定に用いる例である。車両２０が周辺の物体の位置や速度を予測し、その予測値が有する不確かさを加味した上で経路計画を生成している場合、その不確かさを基準にして予測値と実測値との乖離を計算するのが妥当である。この場合の乖離の計算方法としてマハラノビス距離を用いることができる。車両２０が周辺の各物体ｉについてマハラノビス距離Ｍは以下の式で与えられる。

【0078】

【数2】

【0079】

ここで、Ｓ_ｉは物体ｉの予測値の不確かさを表す共分散行列、Ｘ^→ _ｉはＤ_ｉとΔＶ_ｉとの排他的論理和で与えられる予測値と実測値との乖離である。予測値と実測値との乖離Ｘ^→ _ｉが多少大きい場合でも、Ｓ_ｉで与えられる予測値の不確かさが十分大きく、車両２０の経路計画にその不確かさが織り込まれている場合、自動運転システムによる運行には大きい問題は生じないことが期待できる。Ｍ（Ｘ^→ _ｉ）による定義は予測値の不確かさが車両２０の経路計画にどのくらい織り込まれているかを反映した合致度の指標であると言える。

【0080】

４．遠隔支援システムの構成
本開示の実施形態に係る遠隔支援システムの構成について説明する。図１１は本実施形態に係る遠隔支援システムの構成を示すブロック図である。遠隔支援システム１００は車両２０と遠隔支援端末３０とで構成される。ただし、遠隔支援システム１００は車両２０と遠隔支援端末３０とを中継するサーバ１０を含んでもよいし、さらに、それらを接続する通信ネットワークを含んでもよい。

【0081】

まず、遠隔支援端末３０が備える機能について説明する。遠隔支援端末３０は車両情報受信部３０１、将来情報生成部３０２、遠隔支援表示部３０３、遠隔支援操作部３０４、及び指令信号送信部３０５を備える。これらは遠隔支援端末３０を物理的に構成するコンピュータ３１のメモリ３１ｂに記憶されたプログラム３１ｃがプロセッサ３１ａで実行されたときに、オペレータＵＩ管理システムとしての遠隔支援端末３０の機能として実現される。

【0082】

車両情報受信部３０１は通信装置３５によって車両２０と通信する。車両情報受信部３０１は車両２０が発した支援要求と遠隔支援のための車両情報とを取得する。

【0083】

将来情報生成部３０２は車両２０から送信された車両情報に基づき、現時点よりも先の将来時刻における車両２０及びその周辺の物体（車両や歩行者等）の状態に関する将来情報を生成する。将来情報の生成には、具体的には、車両２０が車両情報を送信した送信時刻、車両情報に含まれる経路計画と予測情報と認識情報、及び車両情報受信部３０１が車両情報を受信した受信時刻が用いられる。将来時刻は上り方向と下り方向の合計の遅延時間分だけ将来の時刻でもよいし、予め設定した時間分だけ将来の時刻でもよい。なお、オペレータ４０が判断に使う時間は遅延時間には含まれないが、平均的な判断時間をバッファとして将来時刻に加えてもよい。

【0084】

遠隔支援表示部３０３は将来情報生成部３０２で生成された将来情報を表示装置３２に表示する。将来情報は現時点よりも先の将来時刻における車両２０とその周辺の物体との位置関係を含み、その位置関係が表示装置３２の画面に空間的に表示される。表示装置３２による表示は図４Ｂのような３Ｄモデルによる表示と２Ｄ画像による表示とをオペレータ４０が任意に選択することができる。３Ｄモデルによる表示であれば、例えば、横断歩道の近くのような特定の場所付近の物体を把握する必要がある場合、その近傍をオペレータ４０が見やすいように３次元空間上の視点を移動及び回転させることができる。また、支援が求められている場所の付近にオクルージョンが存在する可能性がある場合には、オクルージョンが存在していそうな所に視点を移動及び回転させることもできる。２Ｄ画像による表示を用いるのであれば、画像の解像度を上げる、画質・画像数を変える、拡大する、パノラマ表示に切り替える、表示先を別の表示装置に切り替える等の方法をとることができる。

【0085】

遠隔支援操作部３０４は入力装置３３に入力されたオペレータ４０による操作を受け付ける。遠隔支援表示部３０３が表示装置３２に表示した将来情報をもとにオペレータは車両２０に対する支援内容を判断し、ＧｏかＮｏ－Ｇｏかの許可判断又はその詳細内容を入力装置３３に入力する。遠隔支援操作部３０４は入力装置３３に入力された支援内容を指令信号送信部３０５へ送る。

【0086】

指令信号送信部３０５は通信装置３５によって車両２０と通信する。指令信号送信部３０５は将来情報生成部３０２で生成された将来情報と、それを用いてオペレータ４０が判断した支援内容とを車両２０に送信する。

【0087】

次に、車両２０が備える機能について説明する。車両２０は指令信号受信部２０１、車両指令変更部２０２、自動運転システム部２０３、及び車両情報送信部２０４を備える。これらはコンピュータ２１のメモリ２１ｂに記憶されたプログラム２１ｃがプロセッサ２１ａで実行されたときに、コンピュータ２１の機能として実現される。

【0088】

指令信号受信部２０１は通信装置２５によって遠隔支援端末３０と通信する。指令信号受信部２０１は遠隔支援端末３０から送信される支援内容と将来情報とを受信する。

【0089】

車両指令変更部２０２は指令信号受信部２０１で得られた支援内容と将来情報とに基づき、変更が必要となる情報を抽出し、自動運転システム部２０３が受理可能な信号情報へ変換する。具体的には、指令信号受信部２０１で得られた支援内容が行動を許可する判断（Ｇｏ）である場合、車両指令変更部２０２は将来情報に含まれる車両２０と周辺物体との位置関係と、支援内容を実際に実行する際の車両２０と周辺物体との位置関係とを比較する。比較の結果、両者が合致していない場合、つまり両者の合致度が閾値未満の場合、車両指令変更部２０２は支援内容の実行を不可と判断する。両者の合致度が閾値以上であれば、車両指令変更部２０２は支援内容の実行を許可し、支援内容を自動運転システム部２０３に送る。

【0090】

自動運転システム部２０３はコンピュータ３１の自動運転システムとしての機能である。自動運転システム部２０３は、通常の自動運転による走行時、外部センサ２２で得られた周辺環境に関する情報に基づき周辺物体を認識し、認識された周辺物体の行動を予測しながら、車両２０が進む経路を計算する。そして、自動運転システム部２０３のみでは判断が難しい状況になったとき又はなりそうなとき、遠隔支援の要請を出力する。遠隔支援を受けているときは、自動運転システム部２０３は車両指令変更部２０２から送られた支援内容を実行するための計算を行う。

【0091】

車両情報送信部２０４は通信装置２５によって遠隔支援端末３０と通信する。車両情報送信部２０４は遠隔支援の要請が出たときには支援要求と遠隔支援に必要な車両情報とをサーバ１０に送信する。サーバ１０により車両２０の支援を担当するオペレータ４０がアサインされた後、車両情報は支援要求とともにオペレータ４０の遠隔支援端末３０にサーバ１０を介して送信される。

【0092】

５．遠隔支援システムにおける処理
上述のように構成される遠隔支援システム１００における処理の流れは図１２に示される。図１２は遠隔支援システム１００による車両２０、遠隔支援端末３０、及びオペレータ４０間の処理の流れを示すシーケンス図である。

【0093】

まず、車両２０の車両情報送信部２０４から支援要求と車両情報とが送信される。詳しくは、支援要求は一旦サーバ１０で受け取られ、車両２０の支援を担当するオペレータ４０がアサインされた後に、オペレータ４０の遠隔支援端末３０に車両情報とともに送信される。支援要求及び車両情報は遠隔支援端末３０の車両情報受信部３０１によって受信される。

【0094】

支援要求を受けた遠隔支援端末３０の将来情報生成部３０２は将来情報の計算のための遅延時間を算出する。ただし、遅延時間として固定値を用いる場合にはこの処理は不要である。

【0095】

遠隔支援端末３０の将来情報生成部３０２は遅延時間と車両情報とに基づいて現時点よりも先の将来時刻における車両２０及び周辺物体の状態に関する将来情報を生成する。

【0096】

遠隔支援端末３０の遠隔支援表示部３０３は将来情報生成部３０２で生成された将来情報を表示装置３２に表示する。表示装置３２に表示された将来情報から、オペレータ４０は将来時刻における車両２０と周辺物体との位置関係を把握して支援要求に対する支援内容を判断することができる。

【0097】

オペレータ４０は判断した支援内容を入力装置３３に入力する。遠隔支援端末３０の遠隔支援操作部３０４は入力装置３３に入力された支援内容を受け付ける。

【0098】

遠隔支援端末３０の指令信号送信部３０５は遠隔支援操作部３０４が受け付けた支援内容を将来情報生成部３０２で生成された将来情報とともに車両２０に向けて送信する。支援内容及び将来情報は車両２０の指令信号受信部２０１によって受信される。

【0099】

車両２０の車両指令変更部２０２は遠隔支援端末３０から入力された将来情報に基づき、支援内容が入力されたときに表示装置３２に表示されていた車両２０と周辺物体との位置関係が実現されていることの確認を行う。

【0100】

上記の確認がとれたことを受けて、車両２０の自動運転システム部２０３は支援内容に応じた遠隔支援を実行する。言い換えれば、上記の確認がとれるまでは、支援内容に応じた遠隔支援は車両２０において実行されない。以上の処理が遠隔支援システム１００により実行されることにより、オペレータ４０の意図したタイミングで車両２０を動作させることが可能となる。

【0101】

次に、遠隔支援端末３０による処理と車両２０による処理を個別に説明する。

【0102】

図１３は遠隔支援端末３０による処理の一例を示すフローチャートである。遠隔支援端末３０のメモリ３１ｂに記憶されたプログラム３１ｃは、このフローチャートに示される一連の処理をプロセッサ３１ａに実行させ、遠隔支援端末３０をオペレータＵＩ管理システムとして機能させる。

【0103】

車両２０からの支援要求を受信したことを受けて、ステップＳ１０１が実行される。ステップＳ１０１では、算出する将来時刻が有効かどうか判定される。算出する将来時刻が有効である場合、ステップＳ１０３が実行される。算出する将来時刻が有効でない場合、ステップＳ１０２の実行後にステップＳ１０３が実行される。ステップＳ１０２では最新の遅延時間をもとに将来時刻が算出される。

【0104】

ステップＳ１０１及びＳ１０２を実行する理由は次の通りである。例えば、別途計測された通信遅延の移動平均が将来時刻の計算に用いられると仮定する。この場合、通信が想定以上に途絶すると通信遅延の移動平均値に途絶した時間分が入ってしまうため、再接続後に算出される将来時刻は実際の遅延時間から計算される将来時刻とは異なる無効な時刻となってしまう。または、途絶前と途絶後とで通信状態が異なるために途絶前の遅延時間は参考にならない場合がある。そこで、通信が想定以上に途絶した際は、その影響を受けていない最新の遅延時間に基づいて将来時間を算出することが行われる。或いは、途絶後に新たに算出された遅延時間に基づいて将来時間を算出することが行われる。

【0105】

ステップＳ１０３では、車両２０から受信した車両情報に基づき将来時刻における将来情報が生成される。ステップＳ１０４では、ステップＳ１０３で生成された将来情報が表示装置３２に表示される。

【0106】

ステップＳ１０５では、オペレータ４０から支援内容を取得したかどうか判定される。オペレータ４０から支援内容が取得されるまでステップＳ１０４及びステップＳ１０５が繰り返し実行される。そして、オペレータ４０から支援内容が取得された場合、ステップＳ１０６が実行される。ステップＳ１０６では、取得された支援内容が車両２０に送信される。

【0107】

図１４は車両２０による処理の一例を示すフローチャートである。車両２０のメモリ２１ｂに記憶されたプログラム２１ｃは、図１４のフローチャートに示される一連の処理をプロセッサ２１ａに実行させる。

【0108】

支援要求が発生したことを受けて、車両２０はステップＳ２０１を実行する。支援要求は予め定義されたイベントの発生に応答して発生するようにプログラムされている。ステップＳ２０１では、遠隔支援端末３０に直前に送信した予測情報が有効かどうか判定される。

【0109】

予測情報が無効であることの一例は、前回送信した予測情報から時間が一定以上経ったことである。予測情報が無効であることの別の例は、車両２０の経路に干渉する物体の予測経路に関する情報が前回送信した情報ものから大幅に変わったことである。予測経路に関する情報が変わることには、例えば、干渉する地点がある距離以上近づくこと、干渉する物体の加速度・速度がある値以上変わること、車両２０の一番近くで干渉する物体が前回とは別の物体に変わったこと等が含まれる。

【0110】

直前に送信した予測情報が有効である場合、ステップＳ２０３が実行される。直前に送信した予測情報が有効でない場合、ステップＳ２０２の実行後にステップＳ２０３が実行される。ステップＳ２０２では新たな予測情報が算出される。ステップＳ２０３では、有効な予測情報が経路計画とともに車両情報として遠隔支援端末３０に送信される。

【0111】

ステップＳ２０４では、遠隔支援端末３０から支援内容を受信したかどうか判定される。支援内容が受信されるまでステップＳ２０４が繰り返し実行される。支援内容が受信された場合、ステップＳ２０５とステップＳ２０６が並行して実行される。ステップＳ２０５では、受信した支援内容と支援内容とともに受信した将来情報とが一時的に保存される。ステップＳ２０６では、現在の車両２０の状況において安全を確保できる経路が算出されて一時的に保存される。

【0112】

次に、ステップＳ２０７では、ステップＳ２０５で一時保存された将来情報と支援内容の実行時の周辺情報との合致度が計算される。将来情報には、オペレータ４０により支援内容が入力されたときに表示装置３２に表示されていた車両２０と周辺物体との未来の位置関係が含まれる。周辺情報には、外部センサ２２で取得される車両２０と周辺物体との実際の位置関係が含まれる。ステップＳ２０７で計算される合致度は、より詳しくは、未来の位置関係と実際の位置関係との合致度である。

【0113】

ステップＳ２０８では、ステップＳ２０７で計算された合致度が許容範囲内かどうか、すなわち、合致度が閾値以上かどうか判定される。合致度が閾値以上であればステップＳ２０９が実行される。ステップＳ２０９では、ステップＳ２０５で一時保存された支援内容が実行される。

【0114】

合致度が閾値未満の場合にはステップＳ２０５で一時保存された支援内容の実行は断念され、代わりにステップＳ２１０が実行される。ステップＳ２１０では、オペレータ４０に支援を再要請可能かどうか判定される。オペレータ４０に支援を再要請可能である場合、最初の処理に戻って支援要求を発生させる。オペレータ４０に支援を再要請できる状況ではない場合、ステップＳ２１１が実行される。ステップＳ２１１では、ステップＳ２０６で一時保存された安全を確保できる経路が実行される。

【0115】

図１５は車両２０による処理の別の例を示すフローチャートである。この例が採用される場合、車両２０のメモリ２１ｂに記憶されたプログラム２１ｃは、図１５のフローチャートに示される一連の処理をプロセッサ２１ａに実行させる。以下、図１４のフローチャートと共通する処理については説明を省略するか簡略化し、図１５のフローチャートに特有の処理について重点的に説明する。

【0116】

図１５のフローチャートによれば、ステップＳ２０５及びステップＳ２０６に続いてステップＳ２２１が実行される。ステップＳ２２１では、支援内容を車両２０において実行可能となる時刻と、支援内容が入力されたときの表示装置３２の将来時刻とが比較される。そして、支援内容の実行可能時刻が将来時刻を過ぎないかどうか判定される。

【0117】

支援内容の実行可能時刻が将来時刻を過ぎない場合、表示装置３２に表示されていた車両２０と周辺物体との位置関係は実現されるか将来的に実現されると判断することができる。よって、ステップＳ２２１の判定の結果が肯定の場合、ステップＳ２２２で将来時刻まで待機した後にステップＳ２０９が実行される。支援内容の実行可能時刻と将来時刻とが一致する場合には、待機することなく即ステップＳ２０９が実行される。

【0118】

一方、遠隔支援を車両２０において実行可能となる時刻が将来時刻を過ぎる場合、表示装置３２に表示されていた車両２０と周辺物体との位置関係はもはや実現されないと判断することができる。よって、ステップＳ２２１の判定の結果が否定の場合、ステップＳ２０９は実行されることなくステップＳ２１０が実行される。

【0119】

ただし、ステップＳ２２１の判定結果が否定であった場合、ステップＳ２１０の実行の前にステップＳ２２３を実行してもよい。ステップＳ２２３では、ステップＳ２０５で一時保存された将来情報と支援内容の実行時の周辺情報との合致度が計算され、その合致度が閾値以上かどうか判定される。

【0120】

判定の結果、合致度が閾値以上であれば、ステップＳ２０９を実行してもよい。つまり、将来時刻が過ぎている場合であっても、表示装置３２に表示されていた車両２０と周辺物体との位置関係が現実的に実現されているのであれば、ステップＳ２０５で一時保存された支援内容を実行してもよい。合致度が閾値よりも低ければ、ステップＳ２０９は実行されることなくステップＳ２１０が実行される。

【0121】

車両２０による処理として上記の例を採用する場合には、将来時刻の計算に用いる遅延時間は想定される実際の遅延時間よりも長めの時間に設定しておくことが好ましい。そうすることで、車両２０は支援内容を受信した後、将来時刻まで待ってから確実に支援内容を実行することが可能となる。

【符号の説明】

【0122】

２０ 自動運転車両
２１ コンピュータ
２１ａ プロセッサ
２１ｂ メモリ
２１ｃ プログラム
３０ 遠隔支援端末
３１ コンピュータ
３１ａ プロセッサ
３１ｂ メモリ
３１ｃ プログラム
３２ 表示装置
３３ 入力装置
４０ 遠隔オペレータ
５０ 他車両
１００ 遠隔支援システム

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】