(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2022188661
(43)【公開日】2022-12-21
(54)【発明の名称】遠隔操作依頼装置、遠隔操作依頼システム、遠隔操作依頼方法、及び遠隔操作依頼プログラム
(51)【国際特許分類】
B60W 30/18 20120101AFI20221214BHJP
B60W 60/00 20200101ALI20221214BHJP
G05D 1/00 20060101ALI20221214BHJP
H04Q 9/00 20060101ALI20221214BHJP
【FI】
B60W30/18
B60W60/00
G05D1/00 B
H04Q9/00 301B
【審査請求】未請求
【請求項の数】16
【出願形態】OL
(21)【出願番号】P 2021096879
(22)【出願日】2021-06-09
(71)【出願人】
【識別番号】000003207
【氏名又は名称】トヨタ自動車株式会社
(74)【代理人】
【識別番号】110003199
【氏名又は名称】弁理士法人高田・高橋国際特許事務所
(72)【発明者】
【氏名】浦野 博充
(72)【発明者】
【氏名】大瀧 翔
(72)【発明者】
【氏名】鈴木 隆史
(72)【発明者】
【氏名】▲高▼島 亨
(72)【発明者】
【氏名】鄭 好政
(72)【発明者】
【氏名】小林 宏充
(72)【発明者】
【氏名】丹羽 悟
(72)【発明者】
【氏名】赤塚 康佑
【テーマコード(参考)】
3D241
5H301
5K048
【Fターム(参考)】
3D241BA00
3D241CE04
3D241CE06
3D241DA52Z
3D241DB01Z
3D241DB05Z
3D241DB12Z
3D241DB32Z
5H301AA03
5H301CC03
5H301CC06
5H301CC10
5H301DD06
5H301DD15
5H301GG07
5H301GG08
5H301GG09
5H301GG14
5H301GG16
5K048AA06
5K048BA42
5K048DC01
5K048EB02
5K048EB15
5K048FA07
(57)【要約】
【課題】自動運転車両の自動運転が困難になった場合、自動運転車両の運行を継続しつつ、遠隔操作者の負担を軽減することができる遠隔操作依頼装置、遠隔操作依頼システム、遠隔操作依頼方法、及び遠隔操作依頼プログラムを提供する。
【解決手段】本遠隔操作依頼装置は、自動運転車両20が自動運転を継続することが困難になった場合或いは困難になることが予測される場合、自動運転車両20の遠隔操作を遠隔操作者に依頼する。ここで、遠隔操作は、自動運転のための判断の少なくとも一部を遠隔操作者が行う遠隔支援と、自動運転車両20の操舵操作と加減速操作とのうちの少なくとも一方を遠隔操作者が行う遠隔運転とを含む。本遠隔操作依頼装置は、遠隔支援を受けることで自動運転の継続が可能な自動運転領域ADD内では遠隔支援の依頼RQSを行い、自動運転領域ADD外では遠隔運転の依頼RQDを行う。
【選択図】
図5
【特許請求の範囲】
【請求項1】
自動運転車両が自動運転を継続することが困難になった場合或いは困難になることが予測される場合、前記自動運転車両の遠隔操作を遠隔操作者に依頼する装置であって、
1つ又は複数のプログラムを記憶した1つ又は複数のメモリと、
前記1つ又は複数のメモリと結合された1つ又は複数のプロセッサと、を備え、
前記遠隔操作は、
前記自動運転のための判断の少なくとも一部を前記遠隔操作者が行う遠隔支援と、
前記自動運転車両の操舵操作と加減速操作とのうちの少なくとも一方を前記遠隔操作者が行う遠隔運転と、を含み、
前記1つ又は複数のプロセッサは、前記1つ又は複数のプログラムの実行時、
前記遠隔支援を受けることで前記自動運転の継続が可能な自動運転領域内では前記遠隔支援を依頼し、
前記自動運転領域外では前記遠隔運転を依頼する
ことを特徴とする遠隔操作依頼装置。
【請求項2】
請求項1に記載の遠隔操作依頼装置において、
前記1つ又は複数のプロセッサは、前記自動運転領域内であって、且つ、前記遠隔運転が可能な遠隔運転領域内では前記遠隔運転を依頼せずに前記遠隔支援を依頼する
ことを特徴とする遠隔操作依頼装置。
【請求項3】
請求項1又は2に記載の遠隔操作依頼装置において、
前記1つ又は複数のプロセッサは、少なくとも所定時間先或いは所定距離先まで生成された経路に基づき、前記自動運転車両が前記所定時間先或いは前記所定距離先まで前記自動運転を継続することは困難か否かを判断する
ことを特徴とする遠隔操作依頼装置。
【請求項4】
請求項1乃至3のいずれか1項に記載の遠隔操作依頼装置において、
前記自動運転領域は予め設定された領域を含む
ことを特徴とする遠隔操作依頼装置。
【請求項5】
請求項1乃至4のいずれか1項に記載の遠隔操作依頼装置において、
前記自動運転領域は時間に伴って変化する領域を含む
ことを特徴とする遠隔操作依頼装置。
【請求項6】
請求項1乃至5のいずれか1項に記載の遠隔操作依頼装置において、
前記1つ又は複数のプロセッサは、前記自動運転車両により取得された外部情報及び内部情報に基づいて前記自動運転領域の内外判定を実行する
ことを特徴とする遠隔操作依頼装置。
【請求項7】
請求項1乃至6のいずれか1項に遠隔操作依頼装置において、
前記1つ又は複数のプロセッサは、
前記自動運転領域外であって、且つ、前記遠隔運転が可能な遠隔運転領域内では前記遠隔運転を依頼し、
前記自動運転領域外であって、且つ、前記遠隔運転領域外では前記自動運転車両を停止させるか或いは前記自動運転車両の軌道を変更する
ことを特徴とする遠隔操作依頼装置。
【請求項8】
請求項7に記載の遠隔操作依頼装置において、
前記遠隔運転領域は予め設定された領域を含む
ことを特徴とする遠隔操作依頼装置。
【請求項9】
請求項7又は8に記載の遠隔操作依頼装置において、
前記遠隔運転領域は時間に伴って変化する領域を含む
ことを特徴とする遠隔操作依頼装置。
【請求項10】
請求項7乃至9のいずれか1項に記載の遠隔操作依頼装置において、
前記1つ又は複数のプロセッサは、前記自動運転車両により取得された外部情報及び内部情報に基づいて前記遠隔運転領域の内外判定を実行する
ことを特徴とする遠隔操作依頼装置。
【請求項11】
請求項1乃至10のいずれか1項に遠隔操作依頼装置を搭載した
ことを特徴とする自動運転車両。
【請求項12】
請求項1乃至11のいずれか1項に遠隔操作依頼装置を搭載し、
前記自動運転車両と通信ネットワークで接続された
ことを特徴とするサーバ。
【請求項13】
自動運転車両が自動運転を継続することが困難になった場合或いは困難になることが予測される場合、前記自動運転車両の遠隔操作を遠隔操作者に依頼するシステムであって、
前記自動運転車両に搭載された車載コンピュータと、
前記車載コンピュータと通信ネットワークで接続されたサーバと、を備え、
前記遠隔操作は、
前記自動運転のための判断の少なくとも一部を前記遠隔操作者が行う遠隔支援と、
前記自動運転車両の操舵操作と加減速操作とのうちの少なくとも一方を前記遠隔操作者が行う遠隔運転と、を含み、
前記車載コンピュータと前記サーバとは、協働により、
前記遠隔支援を受けることで前記自動運転の継続が可能な自動運転領域内では前記遠隔支援を依頼し、
前記自動運転領域外では前記遠隔運転を依頼する
ことを特徴とする遠隔操作依頼システム。
【請求項14】
請求項13に記載の遠隔操作依頼システムにおいて、
前記車載コンピュータは、前記自動運転車両が前記自動運転を継続することが困難になった場合或いは困難になることが予測される場合、前記自動運転車両が有する前記自動運転領域の内外判定のための情報を前記サーバに送信し、
前記サーバは、前記車載コンピュータから送信された前記自動運転領域の内外判定のための前記情報と、前記サーバにより取得された前記自動運転に影響する情報とに基づいて前記自動運転領域の内外判定を実行し、前記遠隔支援を依頼するか前記遠隔運転を依頼するかを決定する
ことを特徴とする遠隔操作依頼システム。
【請求項15】
自動運転車両が自動運転を継続することが困難になった場合或いは困難になることが予測される場合、コンピュータが前記自動運転車両の遠隔操作を遠隔操作者に依頼する方法であって、
前記遠隔操作は、
前記自動運転のための判断の少なくとも一部を前記遠隔操作者が行う遠隔支援と、
前記自動運転車両の操舵操作と加減速操作とのうちの少なくとも一方を前記遠隔操作者が行う遠隔運転と、を含み、
前記コンピュータは、
前記遠隔支援を受けることで前記自動運転の継続が可能な自動運転領域内では前記遠隔支援を依頼し、
前記自動運転領域外では前記遠隔運転を依頼する
ことを特徴とする遠隔操作依頼方法。
【請求項16】
自動運転車両が自動運転を継続することが困難になった場合或いは困難になることが予測される場合、前記自動運転車両の遠隔操作を遠隔操作者に依頼することをコンピュータに実行させるプログラムであって、
前記遠隔操作は、
前記自動運転のための判断の少なくとも一部を前記遠隔操作者が行う遠隔支援と、
前記自動運転車両の操舵操作と加減速操作とのうちの少なくとも一方を前記遠隔操作者が行う遠隔運転と、を含み、
前記プログラムは、
前記遠隔支援を受けることで前記自動運転の継続が可能な自動運転領域内では前記遠隔支援を依頼することを前記コンピュータに実行させ、
前記自動運転領域外では前記遠隔運転を依頼することを前記コンピュータに実行させる
ことを特徴とする遠隔操作依頼プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、遠隔操作依頼装置、遠隔操作依頼システム、遠隔操作依頼方法、及び遠隔操作依頼プログラムに関する。
【背景技術】
【0002】
特許文献1には、自動運転車両の遠隔操作に関する技術が開示されている。この従来技術によれば、自動運転が困難になった場合、車両と遠隔操作管理設備との間で通信が行われ、遠隔操作者により車両が遠隔運転される。
【先行技術文献】
【特許文献】
【0003】
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかし、自動運転が困難になった場合、必ずしも遠隔運転への切り替えが必要とは限らない。困難の原因を取り除くことで自動運転を継続できる場合がある。また、遠隔運転に対応可能な遠隔操作者の数は限られている。このため、自動運転が困難になるたびに常に遠隔運転が要求されるとなると、遠隔操作者には大きな負担がかかることになる。
【0005】
本開示は、上記の課題に鑑みてなされたものであり、自動運転車両の自動運転が困難になった場合、自動運転車両の運行を継続しつつ、遠隔操作者の負担を軽減することができる技術を提供することを目的とする。
【課題を解決するための手段】
【0006】
本開示は、上記目的を達成するための遠隔操作依頼装置を提供する。本開示に係る遠隔操作依頼装置は、自動運転車両が自動運転を継続することが困難になった場合或いは困難になることが予測される場合、自動運転車両の遠隔操作を遠隔操作者に依頼する装置である。本開示に係る遠隔操作依頼装置は、1つ又は複数のプログラムを記憶した1つ又は複数のメモリと、1つ又は複数のメモリと結合された1つ又は複数のプロセッサとを備える。ここで、遠隔操作は、自動運転のための判断の少なくとも一部を遠隔操作者が行う遠隔支援と、自動運転車両の操舵操作と加減速操作とのうちの少なくとも一方を遠隔操作者が行う遠隔運転とを含む。1つ又は複数のプロセッサは、1つ又は複数のプログラムの実行時、遠隔支援を受けることで自動運転の継続が可能な自動運転領域内では遠隔支援を依頼し、自動運転領域外では遠隔運転を依頼する。
【0007】
本遠隔操作依頼装置において、1つ又は複数のプロセッサは、自動運転領域内であって、且つ、遠隔運転が可能な遠隔運転領域内では遠隔運転を依頼せずに遠隔支援を依頼してもよい。つまり、遠隔支援も遠隔運転も可能な領域では、遠隔運転よりも遠隔支援を優先してもよい。
【0008】
本遠隔操作依頼装置において、1つ又は複数のプロセッサは、少なくとも所定時間先或いは所定距離先まで生成された経路に基づき、自動運転車両が所定時間先或いは所定距離先まで自動運転を継続することは困難か否かを判断してもよい。本遠隔操作依頼装置において、自動運転領域は予め設定された領域を含んでもよいし、自動運転領域は時間に伴って変化する領域を含んでもよい。また、1つ又は複数のプロセッサは、自動運転車両により取得された外部情報及び内部情報に基づいて自動運転領域の内外判定を実行してもよい。
【0009】
本遠隔操作依頼装置において、1つ又は複数のプロセッサは、自動運転領域外、且つ、遠隔運転が可能な遠隔運転領域内では遠隔運転を依頼し、自動運転領域外、且つ、遠隔運転領域外では自動運転車両を停止させるか或いは自動運転車両の軌道を変更してもよい。ここで、遠隔運転領域は予め設定された領域を含んでもよいし、遠隔運転領域は時間に伴って変化する領域を含んでもよい。また、1つ又は複数のプロセッサは、自動運転車両により取得された外部情報及び内部情報に基づいて遠隔運転領域の内外判定を実行してもよい。
【0010】
本遠隔操作依頼装置は、自動運転車両に搭載されてもよいし、自動運転車両と通信ネットワークで接続されたサーバに搭載されてもよい。
【0011】
また、本開示は、上記目的を達成するための遠隔操作依頼システムを提供する。本開示に係る遠隔操作依頼システムは、自動運転車両が自動運転を継続することが困難になった場合或いは困難になることが予測される場合、自動運転車両の遠隔操作を遠隔操作者に依頼するシステムである。本遠隔操作依頼システムは、自動運転車両に搭載された車載コンピュータと、車載コンピュータと通信ネットワークで接続されたサーバとを備える。ここで、遠隔操作は、自動運転のための判断の少なくとも一部を遠隔操作者が行う遠隔支援と、自動運転車両の操舵操作と加減速操作とのうちの少なくとも一方を遠隔操作者が行う遠隔運転とを含む。車載コンピュータとサーバとは、協働により、遠隔支援を受けることで自動運転の継続が可能な自動運転領域内では遠隔支援を依頼し、自動運転領域外では遠隔運転を依頼する。
【0012】
本遠隔操作依頼システムにおいて、車載コンピュータは、自動運転車両が自動運転を継続することが困難になった場合或いは困難になることが予測される場合、自動運転車両が有する自動運転領域の内外判定のための情報をサーバに送信してもよい。サーバは、車載コンピュータから送信された自動運転領域の内外判定のための情報と、サーバにより取得された自動運転に影響する情報とに基づいて自動運転領域の内外判定を実行し、遠隔支援を依頼するか遠隔運転を依頼するかを決定してもよい。
【0013】
また、本開示は、上記目的を達成するための遠隔操作依頼方法を提供する。本開示に係る遠隔操作依頼方法は、自動運転車両が自動運転を継続することが困難になった場合或いは困難になることが予測される場合、コンピュータが自動運転車両の遠隔操作を遠隔操作者に依頼する方法である。ここで、遠隔操作は、自動運転のための判断の少なくとも一部を遠隔操作者が行う遠隔支援と、自動運転車両の操舵操作と加減速操作とのうちの少なくとも一方を遠隔操作者が行う遠隔運転とを含む。コンピュータは、遠隔支援を受けることで自動運転の継続が可能な自動運転領域内では遠隔支援を依頼し、自動運転領域外では遠隔運転を依頼する。
【0014】
また、本開示は、上記目的を達成するための遠隔操作依頼プログラムを提供する。本開示に係る遠隔操作依頼プログラムは、自動運転車両が自動運転を継続することが困難になった場合或いは困難になることが予測される場合、自動運転車両の遠隔操作を遠隔操作者に依頼することをコンピュータに実行させるプログラムである。ここで、遠隔操作は、自動運転のための判断の少なくとも一部を遠隔操作者が行う遠隔支援と、自動運転車両の操舵操作と加減速操作とのうちの少なくとも一方を遠隔操作者が行う遠隔運転とを含む。遠隔操作依頼プログラムは、遠隔支援を受けることで自動運転の継続が可能な自動運転領域内では遠隔支援を依頼することをコンピュータに実行させ、自動運転領域外では遠隔運転を依頼することをコンピュータに実行させる。
【発明の効果】
【0015】
本開示に係る技術によれば、自動運転車両が自動運転を継続することが困難になった場合或いは困難になることが予測される場合、遠隔支援を受けることで自動運転の継続が可能な自動運転領域内では遠隔支援が遠隔操作者に依頼される。遠隔支援によれば、自動運転のための判断の少なくとも一部が遠隔操作者によって行われるので、自動運転による自動運転車両の運行を継続することができる。一方、自動運転領域外では遠隔運転が遠隔操作者に依頼される。遠隔運転によれば、自動運転車両の操舵操作と加減速操作とのうちの少なくとも一方が遠隔操作者によって行われるので、自動運転の継続が困難な状況でも自動運転車両の運行を継続することができる。このように、自動運転車両の自動運転が困難になった場合に状況に応じて遠隔支援と遠隔運転とを適宜使い分けることで、自動運転車両の運行を継続しつつ、遠隔操作者の負担を軽減することができる。
【図面の簡単な説明】
【0016】
【
図1】遠隔操作システムの構成を概略的に示す図である。
【
図2】自動運転車両の構成の一例を示すブロック図である。
【
図3】遠隔操作センタの構成の一例を示すブロック図である。
【
図4】自動運転領域の内外判定及び遠隔運転領域の内外判定について説明するための概念図である。
【
図5】本開示の第1実施形態に係る遠隔操作依頼方法の概要を説明するための概念図である。
【
図6】本開示の第1実施形態に係る遠隔操作依頼方法の概要を説明するための概念図である。
【
図7】本開示の第1実施形態に係る遠隔操作システムの構成を示すブロック図である。
【
図8】本開示の第2実施形態に係る遠隔操作依頼方法の概要を説明するための概念図である。
【
図9】本開示の第2実施形態に係る遠隔操作システムの構成を示すブロック図である。
【
図10】本開示の第3実施形態に係る遠隔操作依頼方法の概要を説明するための概念図である。
【
図11】本開示の第3実施形態に係る遠隔操作依頼方法の概要を説明するための概念図である。
【
図12】本開示の第3実施形態に係る遠隔操作依頼方法の概要を説明するための概念図である。
【発明を実施するための形態】
【0017】
以下、図面を参照して本開示の実施形態について説明する。ただし、以下に示す実施形態において各要素の個数、数量、量、範囲等の数に言及した場合、特に明示した場合や原理的に明らかにその数に特定される場合を除いて、その言及した数に、本開示に係る技術思想が限定されるものではない。また、以下に示す実施形態において説明する構造等は、特に明示した場合や明らかに原理的にそれに特定される場合を除いて、本開示に係る技術思想に必ずしも必須のものではない。
【0018】
1.遠隔操作システムの概略構成
図1は、後述する全ての実施形態に共通する遠隔操作システムの構成を概略的に示す図である。遠隔操作システム100は、遠隔操作センタ30から自動運転車両20を遠隔操作するシステムである。自動運転車両20の自動運転レベルとしては、例えば、レベル3,レベル4又はレベル5が想定される。以下、自動運転車両20を単に車両20と呼ぶ。
【0019】
本開示における遠隔操作は、遠隔支援と遠隔運転とを含む。遠隔支援及び遠隔運転は、車両20が自動運転を継続することが困難になった場合或いは困難になることが予測される場合に行われる。ここで、自動運転を継続することが困難な場合とは、例えば以下のような場合が挙げられる。
1)オールウェイストップ方式の交差点に車両20が他車両と同時に到着した時、交差点に進入しても良いか車両20には分からずスタックしてしまう場合
2)路肩に停車している車両が路上駐車の車両なのか、それとも道路に面した施設等への進入待ちの車列の最後尾なのか車両20には判断できずスタックしてしまう場合
3)バス停から発進する場面、合流路で合流したり分岐路で離合したりする場面、車線変更する場面等において、周辺他車が“譲ってくれている雰囲気”を車両20が読みとることができずスタックしてしまう場合
【0020】
以上のような場合、車両20がその場で停車し続けてしまったり、目的地に到着できなくなってしまったりするおそれがある。そのような事態を回避するために行われる処理が遠隔支援或いは遠隔運転であって、遠隔操作者35,37によって行われる。以下、遠隔支援を行う遠隔操作者35を遠隔支援者35と称し、遠隔運転を行う遠隔操作者37を遠隔運転者37と称する。
【0021】
遠隔支援では、車両20による自動運転のための判断の少なくとも一部を遠隔支援者35が行う。運転に必要な認知、判断、及び操作に関する基本的な計算は車両20において行われる。遠隔支援者35は、車両20から送信される情報に基づき、車両20が取るべき行動を判断し、車両20に対する支援を行う。遠隔支援者35から車両20に対して行われる遠隔支援の支援内容には、車両20の進行及び車両20の停止が含まれる。また、遠隔支援の支援内容には、前方の障害物に対するオフセット回避、先行車の追い越し、緊急退避等が含まれていてもよい。
【0022】
ただし、遠隔支援者35が行う「判断の少なくとも一部」とは、複数の判断要素に対する少なくとも一つの判断を下すことに限定されない。例えば判断結果とは、
・遠隔支援者35が状況を推定・理解するステップ、
・遠隔支援者35が複数存在する選択肢を取捨選択するステップ、
・遠隔支援者35が有効な複数の選択肢を評価するステップ、
・遠隔支援者35が基準以上の評価結果の内の一つを選択するステップ、などの複数のステップを経た結果として得られるものであると考えられる。あるいは上記ステップには含まれない、過去事例のデータベースから統計情報を検索するなどのステップなどに基づいて判断結果を得る別の過程も考えられる。そこで、車両20が所望の判断結果を得るに至るための少なくとも1つ以上のステップに対して遠隔支援者35が寄与することを「判断の少なくとも一部」という文言の中に含んでもよい。
【0023】
遠隔運転では、車両20の運転、詳しくは、操舵操作又は加減速操作の少なくとも一部を遠隔運転者37が行う。遠隔運転では、運転に必要な認知、判断、及び操作は遠隔運転者37によって担われる。遠隔運転者37は、遠隔の場所から車両20の運転席で行うのと同じように車両20を運転する。ただし、遠隔運転では、必ずしも認知、判断、及び操作の全てを遠隔運転者37が行う必要はない。認知、判断、及び操作のうち少なくとも一部が車両20の機能によって補助されてもよい。
【0024】
遠隔操作センタ30には、サーバ32、遠隔支援端末34、及び遠隔運転端末36が設置されている。車両20は、4Gや5Gを含む通信ネットワーク10を介してサーバ32に接続されている。サーバ32と通信可能な車両20の台数は1台以上好ましくは複数台である。
【0025】
遠隔支援端末34は、遠隔支援者35によって操作される遠隔支援のための操作端末である。遠隔運転端末36は、遠隔運転者37によって操作される遠隔運転のための操作端末である。遠隔支援端末34は少なくとも1台以上好ましくは複数台設けられている。同様に、遠隔運転端末36も少なくとも1台以上好ましくは複数台設けられている。遠隔操作センタ30には、遠隔支援端末34の台数に応じた人数の遠隔支援者35が用意されている。また、遠隔運転端末36の台数に応じた人数の遠隔運転者37が用意されている。ただし、遠隔操作者35と遠隔操作者37とは、別人であってもよいし、同一人物であってもよい。なお、遠隔支援端末34と遠隔運転端末36とは異なる端末であってもよいし、遠隔支援機能と遠隔運転とを切り替え可能な同一の端末であってもよい。
【0026】
各遠隔支援端末34及び各遠隔運転端末36は、LANやインターネットを含む通信ネットワークを介してサーバ32に接続されている。なお、遠隔操作センタ30は、必ずしも実在する施設である必要はない。ここでは、遠隔支援端末34及び遠隔運転端末36がサーバ32と通信ネットワークで接続されてなるシステムを遠隔操作センタ30と称する。ゆえに、クラウド上にサーバ32が設置され、各地のサテライトオフィスや遠隔操作者の自宅に遠隔支援端末34及び遠隔運転端末36が設置されていてもよい。ただし、遠隔支援端末34と遠隔運転端末36とはそれぞれ異なるサーバに接続されていてもよい。また、遠隔支援端末34と遠隔運転端末36とが別々の場所に設置されていてもよい。
【0027】
図2は、車両20の構成の一例を示すブロック図である。車両20は、車載コンピュータ21を備える。車載コンピュータ21は、車両20に搭載される複数のECU(Electronic Control Unit)の集合体である。また、車両20は、外部センサ22、内部センサ23、アクチュエータ24、及び通信装置25を備える。これらは、CAN(Controller Area Network)等の車載ネットワークを用いて車載コンピュータ21に接続されている。
【0028】
車載コンピュータ21は、1つ又は複数のプロセッサ21a(以下、単にプロセッサ21aと呼ぶ)とプロセッサ21aに結合された1つ又は複数のメモリ21b(以下、単にメモリ21bと呼ぶ)とを備えている。メモリ21bには、プロセッサ21aで実行可能な1つ又は複数のプログラム21c(以下、単にプログラム21cと呼ぶ)とそれに関連する種々の情報とが記憶されている。
【0029】
プロセッサ21aがプログラム21cを実行することにより、プロセッサ21aによる各種処理が実現される。プログラム21cには、例えば、自動運転を実現するためのプログラムと、遠隔支援を実現するためのプログラムと、遠隔運転を実現するためのプログラムとが含まれる。また、プログラム21cには、車載コンピュータ21を後述する遠隔操作依頼装置として機能させる遠隔操作依頼プログラムが含まれる。メモリ21bは主記憶装置と補助記憶装置とを含む。プログラム21cは、主記憶装置に記憶されることもできるし、補助記憶装置であるコンピュータ読み取り可能な記録媒体に記憶されることもできる。また、補助記憶装置には、自動運転のための地図情報を管理する地図データベースが記憶されていてもよい。
【0030】
外部センサ22は、車両20の周囲、特に前方を撮像するカメラを含む。カメラは、単眼カメラでもよいしステレオカメラでもよい。カメラは、複数台設けられていてもよく、車両20の前方の他、側方及び後方を撮像してもよい。また、カメラは、自動運転用と遠隔操作用とで共用されてもよいし、自動運転用のカメラと遠隔操作用のカメラとが別々に設けられてもよい。
【0031】
外部センサ22は、カメラ以外の認識センサを含む。認識センサは、車両20の周囲の状況を認識するためのセンサである。カメラ以外の認識センサとしては、LiDAR(Laser Imaging Detection and Ranging)、及びミリ波レーダが例示される。また、外部センサ22は、車両20の位置及び方位を検出する位置センサを含む。位置センサとしては、GPS(Global Positioning System)センサが例示される。外部センサ22で得られた情報は車載コンピュータ21に送信される。また、外部センサ22は、車両20の周囲の音を集音するマイクを含んでもよい。
【0032】
内部センサ23は、車両20の運動に関する情報を取得する状態センサを含む。状態センサとしては、例えば、車輪速センサ、加速度センサ、角速度センサ、及び舵角センサが例示される。加速度センサと角速度センサとは、IMUであってもよい。内部センサ23で得られた情報は車載コンピュータ21に送信される。以下、内部センサ23で得られた情報を内部情報と称し、外部センサ22で得られた情報を外部情報と称する。
【0033】
アクチュエータ24は、車両20を操舵する操舵装置、車両20を駆動する駆動装置、及び車両20を制動する制動装置を含んでいる。操舵装置には、例えば、パワーステアリングシステム、ステアバイワイヤ操舵システム、及び後輪操舵システムが含まれる。駆動装置には、例えば、エンジン、EVシステム、及びハイブリッドシステムが含まれる。制動装置には、例えば、油圧ブレーキ、及び電力回生ブレーキが含まれる。アクチュエータ24は、車載コンピュータ21から送信される制御信号によって動作する。
【0034】
通信装置25は、車両20の外部との無線通信を制御する装置である。通信装置25は、通信ネットワーク10を介してサーバ32と通信を行う。車載コンピュータ21で処理された情報は、通信装置25を用いてサーバ32に送信される。サーバ32で処理された情報は、通信装置25を用いて車載コンピュータ21に取り込まれる。また、自動運転のために他の車両との車車間通信やインフラ施設との路車間通信が必要な場合、それら外部装置との通信も通信装置25によって行われる。
【0035】
図3は、遠隔操作センタ30の構成の一例を示すブロック図である。遠隔操作センタ30は、サーバ32を備える。サーバ32は、1つのコンピュータ、又は、通信ネットワークで接続された複数のコンピュータの集合体である。また、遠隔操作センタ30は、遠隔支援端末34、遠隔運転端末36、及び通信装置38を備える。これらは、通信ネットワークを用いてサーバ32に接続されている。前述のとおり、遠隔支援端末34と遠隔運転端末36とはそれぞれ複数台、サーバ32に接続されていてもよい。
【0036】
サーバ32は、1つ又は複数のプロセッサ32a(以下、単にプロセッサ32aと呼ぶ)とプロセッサ32aに結合された1又は複数のメモリ32b(以下、単にメモリ32bと呼ぶ)とを備えている。メモリ32bには、プロセッサ32aで実行可能な1つ又は複数のプログラム32c(以下、単にプログラム32cと呼ぶ)とそれに関連する種々の情報とが記憶されている。
【0037】
プロセッサ32aがプログラム32cを実行することにより、プロセッサ32aによる各種処理が実現される。プログラム32cには、例えば、遠隔支援を実現するためのプログラムと、遠隔運転を実現するためのプログラムとが含まれる。メモリ32bは主記憶装置と補助記憶装置とを含む。プログラム32cは、主記憶装置に記憶されることもできるし、補助記憶装置であるコンピュータ読み取り可能な記録媒体に記憶されることもできる。また、補助記憶装置には、自動運転のための地図情報を管理する地図データベースが記憶されていてもよい。地図データベースは、サーバ32と車載コンピュータ21の少なくとも一方に記憶されていればよい。
【0038】
遠隔支援端末34は、情報出力部34aを備える。情報出力部34aは、遠隔支援者35に対して車両20の遠隔支援に必要な情報を出力する機器である。情報出力部34aは、画像を出力するディスプレイを含む。ディスプレイには、例えば、車両20のカメラが撮像した車両20の前方の画像が表示される。ディスプレイは、複数の表示画面を有していてもよく、車両20の側方及び/又は後方の画像が表示されてもよい。また、情報出力部34aは、音を出力するスピーカを含んでもよい。スピーカからは、例えば、遠隔支援の開始又は終了を伝えるための音又は音声を発してもよい。また、車両20がマイクを備える場合、マイクにより集音された車両20の周囲の状況をスピーカから遠隔支援者35に伝えてもよい。
【0039】
遠隔支援端末34は、操作入力部34bを備える。操作入力部34bは、遠隔支援者35の遠隔支援のための操作を入力する機器である。入力機器の具体例としては、ボタン、レバー、及びタッチパネルを例示することができる。例えば、レバーを倒す方向によって、車両20に対する進行/停止の支援を行ったり、横方向への移動の支援を行ったりしてもよい。横方向への移動には、例えば、前方の障害物に対するオフセット回避、車線変更、先行車の追い越しが含まれる。
【0040】
遠隔運転端末36は、情報出力部36aを備える。情報出力部36aは、遠隔運転者37に対して車両20の遠隔運転に必要な情報を出力する機器である。情報出力部36aは、画像を出力するディスプレイを含む。ディスプレイには、例えば、車両20のカメラが撮像した車両20の前方の画像が表示される。その表示方法として、例えば、車両20の運転席から前方を見た場合と同じ景色がディスプレイに表示されるようにしてもよい。ディスプレイは、複数の表示画面を有していてもよく、車両20の側方及び/又は後方の画像が表示されてもよい。また、情報出力部36aは、音を出力するスピーカを含んでもよい。スピーカからは、例えば、遠隔運転の開始又は終了を伝えるための音又は音声を発してもよい。また、車両20がマイクを備える場合、マイクにより集音された車両20の周囲の状況をスピーカから遠隔運転者37に伝えてもよい。
【0041】
遠隔運転端末36は、操作入力部36bを備える。操作入力部36bは、遠隔運転者37の遠隔運転のための操作を入力する機器である。車両20を実際に運転した場合に必要な操作を模擬するため、操作入力部36bは、操舵操作のためのステアリングホイール、加速操作のためのアクセルペダル、及び減速操作のためのブレーキペダルを備える。また、車両20が変速機を備えるのであれば、操作入力部36bも変速機のレバー或いはスイッチを備えてもよい。その他にも、車両20の方向指示器を操作するための操作レバーやワイパーを動作させる操作レバー等、安全な運転に必要な操作を入力するための機器が操作入力部36bに備えられる。
【0042】
通信装置38は、遠隔操作センタ30の外部との通信を制御する装置である。通信装置38は、通信ネットワーク10を介して1台又は複数台の車両20と通信を行う。サーバ32で処理された情報は、通信装置38を用いて車両20に送信される。車両20で処理された情報は、通信装置38を用いてサーバ32に取り込まれる。
【0043】
2.自動運転領域の内外判定及び遠隔運転領域の内外判定
車両20による自動運転は、道路条件、地理条件、環境条件、ハードウェア条件、及びその他諸々の条件が揃うことによって実現可能となる。以下、自動運転を実現するための条件が全て揃っている領域を自動運転領域と称する。自動運転を行う際には、車両20が自動運転領域の中にいるかどうか判定すること、すなわち、自動運転領域の内外判定が必要となる。
【0044】
本開示における自動運転領域は、自動運転システムが作動する前提となる走行環境条件を意味するODD(Operational Design Domain)と同じか、それよりも上位の枠組みとして設計されている。例えば、一般的なODDの枠組みは走行環境条件のみを表現するものに限定され、ODD外であることは「車両外に原因があり、自動運転システムが正常に作動しない」ことを意味している。一方、本開示における自動運転領域の枠組みでは、自動運転領域外であることに「車両内に原因があり、自動運転システムが正常に作動しない」ことが含まれてもよい。また、一般的なODDを定義する走行環境条件は、いずれも地図上で表現できるパラメータである。ゆえに、ODDは、位置関係で捉えた時の自車との内外関係を表現するものと考えることができる。一方、本開示における自動運転領域は、さらに、時間軸で捉えた時の自車との内外関係も含意してもよい。
【0045】
前述の遠隔支援及び遠隔運転は、ともに、車両20が自動運転を継続することが困難になった場合或いは困難になることが予測される場合に行われる遠隔操作である。ただし、遠隔支援は、自動運転のための判断の一部を遠隔支援者35が行うことによって自動運転を継続させる操作である。このため、車両20が自動運転領域の内にあることが遠隔支援の前提となる。
【0046】
車両20が自動運転領域の外にある場合、自動運転を行うことはできず、遠隔支援を行うこともできない。このような場合、車両20を運行する手段として用いられるのが遠隔運転である。ただし、遠隔運転は、道路条件、地理条件、環境条件、ハードウェア条件、及びその他諸々の条件が揃うことによって実現可能となる。以下、遠隔運転を実現するための条件が全て揃っている領域を遠隔運転領域と称する。遠隔運転を行う際には、車両20が遠隔運転領域の中にいるかどうか判定すること、すなわち、遠隔運転領域の内外判定が必要となる。本開示における遠隔運転領域は、自動運転領域と同様、ODDと同じか、それよりも上位の枠組みとして設計されている。
【0047】
以下、
図4を参照しながら自動運転領域の内外判定及び遠隔運転領域の内外判定について説明する。ここでは、図を用いた説明の便宜上、自動運転領域ADD及び遠隔運転領域RDDは、車両20が進む経路RTとともに地図上で表現されている。
【0048】
図4に示す例によれば、現在位置では車両20は自動運転領域ADDの内にある。車両20が経路RTに沿って進んだとき、地点P1では車両20は自動運転領域ADDに入ったまま遠隔運転領域RDDにも入ることが予測される。地点P2では車両20は自動運転領域ADDの外に出るが遠隔運転領域RDDの中にはとどまることが予測される。地点P3では車両20は遠隔運転領域RDDの外に出るが再び自動運転領域ADDの中に入ることが予測される。
【0049】
このように、自動運転領域ADD及び遠隔運転領域RDDの内外判定では、現在だけでなく将来の車両20と自動運転領域ADD及び遠隔運転領域RDDとの内外関係が判定される。なお、将来の内外関係の判定では、位置関係で捉えた時の車両20と自動運転領域ADD及び遠隔運転領域RDDの内外関係とともに、時間軸で捉えた時の車両20と自動運転領域ADD及び遠隔運転領域RDDの内外関係係が判定される。つまり、将来の地点あるいは時刻に、車両20が自動運転領域ADDの内と外のいずれにいるのかが判定され、且つ、車両20が遠隔運転領域RDDの内と外のいずれにいるのかが判定される。
【0050】
以下、自動運転領域ADD及び遠隔運転領域RDDの条件例と内外判定の基準の例について説明する。
【0051】
<条件例1>道路条件
基準例1-1
車両20の車速上限は、車両20が走行する道路の制限速度をカバーしなければならない。例えば遠隔運転が上限30km/hまでしか対応しないのであれ、高速道路では遠隔運転のサービスを提供することはできない。この場合、高速道路は遠隔運転領域RDDの外と判定することができる。
【0052】
基準例1-2
車線をまたぐ必要のある目的地へ移動するためには、車線変更機能が必要とされる。例えば、渋滞環境で車間に入り込むためには、ドライバー同士の無言のコミュニケーションが重要である。しかし、そのようなコミュニケーションは自動運転では困難であるため、自動運転領域ADDの外と判定することができる。
【0053】
基準例1-3
自動運転が路面標示を手掛かりに行われる場合、例えば舗装されていない河川敷は自動運転領域ADDの外と判定することができる。
【0054】
<条件例2>地理条件
基準例2-1
遠隔運転を実現するためにはサーバ32との通信が必要である。ゆえに、電波の届かない山間部は遠隔運転領域RDDの外と判定することができる。
【0055】
基準例2-2
地図が作成されていない土地、工事によって地図との乖離が大きい土地では、地図情報を手掛かりに車両20を自律走行させる自動運転のサービスを提供することはできない。つまり、地図情報を利用できない土地は自動運転領域ADDの外と判定することができる。
【0056】
<条件例3>環境条件
基準例3-1
自動運転はLiDARで得られた測距情報に基づいて実行されるが、LiDARが用いる光は雨や霧の元では拡散されてしまう。ゆえに、雨が降っている環境や霧が出ている環境は自動運転領域ADDの外と判定することができる。
【0057】
基準例3-2
車両20が低感度カメラを搭載している場合、トンネル内あるいは夜間は外部映像を撮像することができない。そのようなカメラ映像が遠隔運転で利用されるのであれば、トンネル内や夜間は遠隔運転領域RDDの外と判定することができる。
【0058】
<条件例4>ハードウェア状態
基準例4-1
自動運転のみに使用されるハードウェアが所望の動きをしている、或いは所望の出力を返しているのであれば、自動運転領域ADDの内と判定することができる。例えば、LiDARが自動運転のみで利用されるハードウェアであった場合、且つ所望の動きをしている、或いは所望の出力を返している場合、自動運転領域ADDの内と判定することができる。また、遠隔運転のみに使用されるハードウェアが所望の動きをしている、或いは所望の出力を返しているのであれば、遠隔運転領域RDDの内と判定することができる。なお、ここでいうハードウェアには、例えば計算装置とセンサとが含まれる。
【0059】
基準例4-2
地図情報や天候情報などに基づいて、将来の場所・時刻におけるセンサ動作の予測を行い、現在から将来までの自動運転領域ADD及び遠隔運転領域RDDを推定することが考えられる。例えば、雨はLiDARの利用に悪影響を及ぼすことから、天候情報に基づき夕立が発生している場所が分かれば、その場所に到達する時刻は自動運転領域ADDの外と判定することができる
【0060】
基準例4-3
遠隔運転で用いられているカメラが逆光に弱い場合、車両20の向きと太陽の方向とに基づき、逆光となって信号が認識できない場所・時刻が予測できれば、その信号は遠隔運転領域RDDの外と判定することができる。
【0061】
基準例4-4
泥はねの影響を受ける低い位置に搭載されたセンサを利用して自動運転が行われる場合、雨天時は自動運転領域ADDの外と判定することができる。また、車両20の天井位置に搭載されたセンサを利用して自動運転が行われる場合、落葉樹の生えた土地を走行する場合には、自動運転領域ADDの外と判定することができる。
【0062】
基準例4-5
GPSアンテナであれば、地点・時刻に基づく衛星数から、GPSが不利な場所が予測できる。GPSを利用して自動運転が行われるのであれば、GPSが不利と予測される場所は自動運転領域ADDの外と判定することができる。
【0063】
<条件例5>ソフトウェア状態
基準例5-1
自動運転或いは遠隔運転において利用されるソフトウェアの多くは独立しており、且つ一つとして欠けてはならない。また、ソフトウェアは動作していたとしてもフリーズしている可能性もある。その症状は様々であって、計算量が膨大なために適切な出力ができなかったり、熱暴走で計算速度が低下していたり、バグのために不適切なエラーから抜け出せないなど多数の症状が存在する。このため、定期的にソフトウェアとの通信を行い所望の出力の有無を確認するなどしてソフトウェアのヘルスチェックを行う必要がある。例えば、経路計画モジュールが将来の進むべき経路を計算できていれば、自動運転領域ADDの内と判定することができる。
【0064】
基準例5-2
自動運転では、自己位置推定が行われる。自己位置推定では、その推定結果の確からしさ、つまり信頼度を分散・分布などに基づき計算することができる。その信頼度が閾値以上であれば自動運転領域ADDの内と判定することができる。
【0065】
<条件例6>その他の条件
基準例6-1
自治体ごとに特有の規制が設けられている場合、その規制に合致しない機能は利用できない。例えばある自治体では遠隔運転の利用が禁止されている場合、その自治体内は遠隔運転領域RDDの外になる。
【0066】
以上の条件例のように、自動運転領域ADDは予め設定された領域を含み、時間に伴って変化する領域も含む。また、自動運転領域ADDの内外判定は、外部センサ22及び内部センサ23により取得された外部情報及び内部情報に基づいて実行される。同様に、遠隔運転領域RDDは予め設定された領域を含み、時間に伴って変化する領域も含む。また、遠隔運転領域RDDの内外判定は、外部センサ22及び内部センサ23により取得された外部情報及び内部情報に基づいて実行される。
【0067】
3.第1実施形態に係る遠隔操作依頼方法
図5及び
図6は、本開示の第1実施形態に係る遠隔操作依頼方法の概要を説明するための概念図である。以下、これらの図を用いて第1実施形態に係る遠隔操作依頼方法について説明する。
【0068】
図5に示す例では、現時点において車両20は自動運転領域ADDの内にあり、所定時間先まで生成された経路RTに沿って自動運転されている。車両20が経路RTに沿って移動すると、車両20は自動運転領域ADDの内で且つ遠隔運転領域RDDの内となる領域の内に入る。この領域では遠隔運転も可能であるが、自動運転による運行が優先される。遠隔運転者37には実際に車両20を運転する場合と同様の高いスキルが求められるため、遠隔運転者37の負担を減らすことが自動運転を優先する理由の1つである。
【0069】
ここで、時刻T1において、車両20が自動運転を継続することが困難になったとする。或いは、車両20が自動運転を継続することが困難になることが予測されたとする。時刻T1では車両20は自動運転領域ADDの内にいるため、遠隔支援を受けることで自動運転を継続することができる。一例として、信号による右折指示がない交差点を車両20が右折する場合を想定すればよい。この場合、車両20に代わって人が右折の判断を行うことで、車両20は交差点を右折し自動運転を継続することができる。
【0070】
第1実施形態では、自動運転領域ADDの内外判定及び遠隔運転領域RDDの内外判定は車両20が行う。時刻T1において車両20は遠隔支援者35に対して遠隔支援の依頼RQSを送信する。遠隔支援の依頼RQSを受けた遠隔支援者35は、カメラ画像などの車両20から送られる情報に基づいて遠隔支援端末34を操作する。遠隔支援端末34から車両20には、車両20を遠隔支援するための操作信号RMSが送信される。操作信号RMSによって遠隔支援されることで、車両20は再び自動運転を継続することができる。
【0071】
車両20が経路RTに沿って移動すると、時刻T2において車両20は自動運転領域ADDの外に出る。自動運転領域ADDの外に出ることで、車両20が自動運転を継続することは困難になる。この場合、車両20は自動運転領域ADDの外に出るが遠隔運転領域RDDの内にいる。よって、自動運転から遠隔運転に切り替えれば車両20の運行を継続することができる。時刻T2において車両20は遠隔運転者37に対して遠隔運転の依頼RQDを送信する。遠隔運転の依頼RQDを受けた遠隔運転者37は、カメラ画像などの車両20から送られる情報に基づいて遠隔運転端末36を操作する。遠隔運転端末36から車両20には、車両20を遠隔運転するための操作信号RMDが送信される。操作信号RMDによる遠隔運転は、車両20が遠隔運転領域RDDの内にいて、且つ、再び自動運転領域ADDの内に入るまでの間継続される。
【0072】
車両20が経路RTに沿って移動すると、時刻T3において車両20は再び自動運転領域ADDの内に入る。自動運転領域ADDの内に入ることで、車両20は自動運転を再開することができる。この場合、遠隔運転は停止され、車両20による自動運転への切り替えが行われる。このように自動運転が可能な領域では遠隔運転よりも自動運転が優先されることで、遠隔運転者37の負担を減らすことができる。
【0073】
図6に示す例では、時刻T2において遠隔運転を開始された車両20が経路RTに沿って移動すると、時刻T4において車両20は遠隔運転領域RDDの外に出る。車両20が遠隔運転領域RDDの外に出ることで、遠隔運転者37による遠隔運転を継続することはできなくなる。しかし、時刻T4において車両20は自動運転領域ADDの内にいないので自動運転に切り替えることもできない。この場合、安全を確保するべく車両20はその場で減速して停車する。或いは、安全な場所、例えば路肩に車両20を停車させるように車両20の軌道を変更してもよい。
【0074】
なお、経路RTを決定する段階において、目的地まで自動運転領域ADD或いは遠隔運転領域RDDが連続する経路、すなわち、目的地まで自動運転或いは遠隔運転が継続する経路を選択するようにしてもよい。複数の経路RTの候補が存在するのであれば、自動運転領域ADDがより長時間継続する経路を選択するようにしてもよい。また、自動運転領域ADDと遠隔運転領域RDDとが切り替わる時刻(例えば時刻T2)を計算することは可能であるので、遠隔支援者35及び遠隔運転者37の対応可能な時刻と切り替わり時刻とが合致する経路を選択してもよい。例えば、遠隔支援者35の対応可能な時刻(勤務終了時刻など)が時刻T5までであり、遠隔運転者37が対応可能な時刻(勤務開始時刻など)が時刻T5以降であるとする。この場合、経路RTの候補の内、時刻T5において自動運転領域ADDから遠隔運転領域RDDに切り替わる経路、あるいは時刻T5が自動運転領域ADDと遠隔運転領域RDDの両方に含まれるような経路を選択してもよい。
【0075】
4.第1実施形態に係る遠隔操作システムの構成
上述の遠隔操作依頼方法は、
図7に示す構成を有する第1実施形態に係る遠隔操作システムによって実現することができる。
図7には、車載コンピュータ21が有する機能とサーバ32が有する機能とがそれぞれブロックで表されている。以下、車載コンピュータ21とサーバ32の各機能を中心に第1実施形態に係る遠隔操作システムについて説明する。ただし、既に説明した構成や機能については説明を省略するか或いは簡略化する。なお、
図7には、外部センサ22として、LiDAR22a、カメラ22b、ミリ波センサ22c、及びGPS22dが例示されている。
【0076】
車載コンピュータ21は、自動運転ECU210、遠隔支援ECU211、遠隔運転ECU212、遠隔操作依頼判定部213、及び遠隔機能選定部214を備える。遠隔操作依頼判定部213と遠隔機能選定部214とは、それぞれが独立したECUでもよいし、1つのECUが有する機能であってもよい。自動運転ECU210と遠隔運転ECU212には、LiDAR22a、カメラ22b、ミリ波センサ22c、GPS22d、及び内部センサ23から外部情報及び内部情報を含む信号が入力される。ただし、全ての信号が両ECU210,212に入力される必要はない。例えば、遠隔運転ECU212へのLiDAR22aの信号の入力は省くことができる。
【0077】
自動運転ECU210は、車両位置認識部210a、周辺状況認識部210b、走行計画部210c、及び自動運転領域調査部210dを備える。これらは、自動運転ECU210のメモリに記憶されたプログラムがプロセッサで実行されたときに、自動運転ECU210の機能として実現される。
【0078】
車両位置認識部210aは、GPS22dで受信した車両20の位置情報と、内部センサ23で検出された車両20の運動に関する情報と、地図データベースから得られる地図情報とに基づいて、地図上における車両20の位置を認識する。また、車両位置認識部210aは、LiDAR22a、カメラ22b、或いはミリ波センサ22cで検出された特徴物の車両20に対する相対位置と、内部センサ23で検出された車両20の運動に関する情報と、検出された特徴物の地図上における位置から車両20の位置を推定することもできる。
【0079】
周辺状況認識部210bは、LiDAR22a、カメラ22b、或いはミリ波センサ22cから受け取った情報に対し、パターンマッチングやディープラーニングなどの手法を用いて車両20の周囲の物体を認識し、その存在位置及び種別を特定する。周辺状況認識部210bで認識される対象物体には、例えば、車両、オートバイ、自転車、歩行者などの移動物体や静止物体が含まれる。周辺状況認識部210bは、位置及び種別が特定された物体を物標として出力する。
【0080】
走行計画部210cは、例えば、地図データベースに記録された経路RT、及び周辺状況認識部210bで得られた物標情報に基づいて、車両20の走行計画を作成する。走行計画は、経路RT上において車両20が安全、法令順守、走行効率等の基準に照らして好適に走行するように作成される。走行計画部210cは、作成した走行計画に基づいて目標軌跡を生成する。目標軌跡は、車両20に固定された座標系での車両20の目標位置の集合と、各目標点での目標速度とを含む。自動運転ECU210は、走行計画部210cで生成された目標軌跡に車両20を追従させるためのアクチュエータ制御量を算出する。
【0081】
自動運転領域調査部210dは、前述の条件例における各基準例のような所定の判定基準に従い、自動運転領域ADDの内外判定を実行する。自動運転領域ADDの内外判定の判定結果は、後段の遠隔操作依頼判定部213に入力される。
【0082】
遠隔支援ECU211は、遠隔支援要否判定部211aを備える。遠隔支援要否判定部211aは、遠隔支援ECU211のメモリに記憶されたプログラムがプロセッサで実行されたときに、遠隔支援ECU211の機能として実現される。遠隔支援ECU211は、自動運転ECU210と通信し、遠隔支援の要否の判定に必要な情報を自動運転ECU210から取得する。
【0083】
遠隔支援要否判定部211aは、自動運転ECUからの情報に基づき、車両20が自動運転を継続することが困難になったかどうか、或いは、困難になることが予測されるかどうか判断する。次に、遠隔支援要否判定部211aは、自動運転の継続の困難性の判断結果と、自動運転ECUによる自動運転領域ADDの内外判定の判定結果とに基づき、遠隔支援を要求すべきかどうかを判定する。遠隔支援要否判定部211aによる判定結果は、後段の遠隔操作依頼判定部213に入力される。
【0084】
遠隔運転ECU212は、車両位置認識部212aと遠隔運転領域調査部212bとを備える。これらは、遠隔運転ECU212のメモリに記憶されたプログラムがプロセッサで実行されたときに、遠隔運転ECU212の機能として実現される。
【0085】
車両位置認識部212aは、自動運転ECU210の車両位置認識部210aと同一の機能を有する。つまり、車両位置認識部212aは、地図上における車両20の位置を認識する。なお、
図7に示す例では、自動運転ECU210と遠隔運転ECU212とで別々に車両20の位置の認識を行っているが、それらとは独立した別のECUで車両20の位置の認識を行い、その認識結果を自動運転ECU210と遠隔運転ECU212とが取得するようにしてもよい。
【0086】
遠隔運転領域調査部212bは、前述の条件例における各基準例のような所定の判定基準に従い、遠隔運転領域RDDの内外判定を実行する。遠隔運転領域RDDの内外判定の判定結果は、後段の遠隔操作依頼判定部213に入力される。
【0087】
遠隔操作依頼判定部213は、自動運転領域ADDの内外判定の判定結果、遠隔支援の要否の判定結果、及び遠隔運転領域RDDの内外判定の判定結果に基づいて、遠隔操作を依頼するかどうかを判定する。また、遠隔操作依頼判定部213は、遠隔操作を依頼する場合、遠隔支援と遠隔運転のうちどちらを依頼するかを判定する。遠隔操作依頼判定部213による判定結果は、後段の遠隔機能選定部214と通信装置25とに入力される。
【0088】
遠隔機能選定部214は、遠隔操作依頼判定部213による判定結果に従ってアクチュエータ24に制御信号を送信する。具体的には、遠隔操作は行われずに自動運転が継続されている場合、自動運転ECU210で計算されたアクチュエータ制御量が制御信号としてアクチュエータ24に送信される。遠隔操作が選択された場合、自動運転ECU210で計算されたアクチュエータ制御量と、遠隔操作センタ30から送信される遠隔支援信号(例えば、Go信号とNo-Go信号)とが制御信号としてアクチュエータ24に送信される。遠隔運転が選択された場合、遠隔操作センタ30から送信される遠隔運転信号(例えば、遠隔運転のためのアクチュエータ制御量を含む信号)が制御信号としてアクチュエータ24に送信される。
【0089】
通信装置25に入力された遠隔操作依頼判定部213による判定結果は、通信装置25から遠隔操作センタ30の通信装置38に送信される。ただし、判定結果が送信されるのは、遠隔支援と遠隔運転のどちらかの遠隔操作を依頼すると判定された場合に限られる。判定結果が送信されることにより、車載コンピュータ21から遠隔操作センタ30への遠隔支援の依頼、或いは遠隔運転の依頼が完了する。以上のように、第1実施形態に係る車載コンピュータ21は、車両20の遠隔操作を遠隔支援者35或いは遠隔運転者37に依頼する遠隔操作依頼装置として機能する。
【0090】
通信装置38が受信した遠隔操作依頼判定部213による判定結果は、サーバ32に入力される。サーバ32はオペレータ振分部321を備える。オペレータ振分部321は、サーバ32のメモリに記憶されたプログラムがプロセッサで実行されたときに、サーバ32の機能として実現される。
【0091】
オペレータ振分部321は、遠隔操作依頼判定部213による判定結果に基づき、車両20からの遠隔操作の依頼を適切な遠隔操作者に振り分ける。遠隔操作の依頼が遠隔支援の依頼である場合、依頼は遠隔支援端末34に送信される。また、オペレータ振分部321は、車両20から取得した遠隔支援に必要な情報を遠隔支援端末34に送信する。遠隔支援端末34からオペレータ振分部321へは、遠隔支援者35が入力した遠隔支援信号が送信される。
【0092】
遠隔操作の依頼が遠隔運転の依頼である場合、依頼は遠隔運転端末36に送信される。また、オペレータ振分部321は、車両20から取得した遠隔運転に必要な情報を遠隔運転端末36に送信する。遠隔運転端末36からオペレータ振分部321へは、遠隔運転者37が入力した遠隔運転信号が送信される。
【0093】
遠隔支援端末34或いは遠隔運転端末36からオペレータ振分部321へ送信された信号は、オペレータ振分部321から通信装置38を介して車両20に送信される。遠隔操作センタ30から車両20に送信された遠隔支援信号或いは遠隔運転信号は、通信装置25から車載コンピュータ21の遠隔機能選定部214に送信される。
【0094】
5.第2実施形態に係る遠隔操作依頼方法
次に、本開示の第2実施形態に係る遠隔操作依頼方法について
図8を用いて説明する。第1実施形態に係る遠隔操作依頼方法では、車両20が自動運転を継続することが困難になった場合或いは困難になることが予測される場合、遠隔支援と遠隔運転のどちらを依頼するかは車両20の車載コンピュータ21が決定する。第2実施形態に係る遠隔操作依頼方法では、この決定をサーバ32が実行する。
【0095】
図8に示す例では、時刻T1において、車両20が自動運転を継続することが困難になった場合、車両20からサーバ32に対して遠隔操作方法の決定に必要な情報INFが送信される。サーバ32に送信される情報INFには、車載コンピュータ21による自動運転領域ADDの内外判定の一次判定の結果と、遠隔運転領域RDDの内外判定の一次判定の結果とが含まれている。
【0096】
サーバ32は、車両20から送信された情報に基づいて遠隔操作を依頼するかどうか判定する。また、サーバ32は、遠隔操作を依頼する場合、遠隔支援と遠隔運転のうちどちらを依頼するかを判定する。サーバ32は、車両20が保有していない情報、特に、自動運転に影響する情報や遠隔運転に影響する情報を取得することができる。サーバ32は、車両20から取得した情報とサーバ32が独自に取得した情報とに基づいて自動運転領域ADDの内外判定と遠隔運転領域RDDの内外判定とを実行し、遠隔支援を依頼するか遠隔運転を依頼するかを決定する。
【0097】
時刻T1では、サーバ32は遠隔支援者35に対して遠隔支援の依頼RQSを送信する。遠隔支援の依頼RQSを受けた遠隔支援者35は、カメラ画像などの車両20から送られる情報に基づいて遠隔支援端末34を操作する。遠隔支援端末34から車両20には、車両20を遠隔支援するための操作信号RMSが送信される。操作信号RMSによって遠隔支援されることで、車両20は再び自動運転を継続することができる。
【0098】
車両20が経路RTに沿って移動すると、時刻T2において車両20は自動運転領域ADDの外に出る。自動運転領域ADDの外に出ることで、車両20が自動運転を継続することは困難になる。この場合、車両20はサーバ32に対して遠隔操作方法の決定に必要な情報INFを再び送信する。サーバ32は、時刻T1のときと同様、車両20から取得した情報とサーバ32が独自に取得した情報とに基づいて自動運転領域ADDの内外判定と遠隔運転領域RDDの内外判定とを実行し、遠隔支援を依頼するか遠隔運転を依頼するかを決定する。
【0099】
時刻T2では、サーバ32は遠隔運転者37に対して遠隔運転の依頼RQDを送信する。遠隔運転の依頼RQDを受けた遠隔運転者37は、カメラ画像などの車両20から送られる情報に基づいて遠隔運転端末36を操作する。遠隔運転端末36から車両20には、車両20を遠隔運転するための操作信号RMDが送信される。操作信号RMDによる遠隔運転は、車両20が遠隔運転領域RDDの内にいて、且つ、再び自動運転領域ADDの内に入るまでの間継続される。
【0100】
6.第2実施形態に係る遠隔操作システムの構成
上述の遠隔操作依頼方法は、
図9に示す構成を有する第2実施形態に係る遠隔操作システムによって実現することができる。
図9には、車載コンピュータ21が有する機能とサーバ32が有する機能とがそれぞれブロックで表されている。以下、車載コンピュータ21とサーバ32の各機能を中心に第2実施形態に係る遠隔操作システムについて説明する。ただし、既に説明した構成や機能については説明を省略するか或いは簡略化する。
【0101】
第2実施形態に係る遠隔操作システムと第2実施形態に係る遠隔操作システムとの主たる相違点は、車載コンピュータ21からサーバ32へ遠隔操作依頼判定部の機能が移されたことにある。このため、車載コンピュータ21において遠隔操作依頼判定部に入力されていた自動運転領域ADDの内外判定の判定結果、遠隔支援の要否の判定結果、及び遠隔運転領域RDDの内外判定の判定結果は、通信装置25を介して遠隔操作センタ30のサーバ32に送信される
【0102】
車載コンピュータ21からサーバ32に送信された各判定結果は一次判定結果として用いられ、最終判定はサーバ32によって行われる。第2実施形態係る遠隔操作システムでは、サーバ32は、オペレータ振分部321、遠隔操作依頼判定部322、交通情報データベース323、及びオペレータ情報データベース324を備える。オペレータ振分部321及び遠隔操作依頼判定部322は、サーバ32のメモリに記憶されたプログラムがプロセッサで実行されたときに、サーバ32の機能として実現される。交通情報データベース323及びオペレータ情報データベース324は、サーバ32の補助記憶装置に記憶されている。
【0103】
遠隔操作依頼判定部322は、車載コンピュータ21から送信された各判定の一次判定結果と、サーバ32のみが保有している情報とに基づいて、遠隔操作を依頼するかどうか総合的に判定する。サーバ32のみが保有していない情報には、交通情報データベース323に登録された交通情報、及びオペレータ情報データベース324に登録されたオペレータ情報が含まれる。遠隔操作依頼判定部322は、遠隔操作を依頼する場合、車載コンピュータ21から取得した情報とサーバ32のみが保有している情報とに基づき、遠隔支援と遠隔運転のうちどちらを依頼するかを総合的に判定する。遠隔操作依頼判定部322による判定結果は、後段のオペレータ振分部321に入力される。
【0104】
以下、車両20が保有していない情報を利用して遠隔支援と遠隔運転のうちどちらを依頼するかを判定する例について説明する。
【0105】
判定例1
詳細な事故情報を利用することで、遠隔支援で対処可能か不可能かを判定することができる。詳細な事故情報とは、例えば、道路をふさぐほどの事故である、特定の車線のみが封鎖されている、すでに事故処理は完了したなどの情報である。車両20からは路肩停車車両を観測することができるものの、「路上に多数の金属片が散乱している」ことは車両20からの観測は困難である。そのような情報を取得するめには、警察情報などを活用する必要がある。
【0106】
判定例2
通信状態の情報を利用することで、遠隔支援と遠隔運転のうちどちらを依頼するかを判定することができる。例えば、人の往来が激しく通信が不安定になる可能性がある環境では、遠隔運転を利用することは困難である。
【0107】
判定例3
遠隔操作者の空き状況に従って遠隔支援と遠隔運転のうちどちらを依頼するかを判定してもよい。例えば、遠隔支援者35が既に過密スケジュールである一方で遠隔運転者37が手すきであるならば、遠隔支援で対処可能な場面であっても遠隔運転が採用される。
【0108】
判定例4
他車の行動の予測が簡単であることが自動運転にとっては望ましい。つまり、自動運転を行う車両20にとっては、予想外の行動をとる車両よりも、モデルに当てはめることにより行動を推定可能な車両や、車車間通信によって行動を事前に取得できる車両が周囲に存在することが望ましい。そこで、周囲の車両に占める行動の予測が簡単な車両の割合が閾値以上であれば、遠隔支援を優先的に採用するようにしてもよい。
【0109】
以上のように、第2実施形態では、車載コンピュータ21とサーバ32とが協働して自動運転領域ADDの内外判定と遠隔運転領域RDDの内外判定とを行い、遠隔支援と遠隔運転のうちどちらを依頼するかを判定する。つまり、第2実施形態に係る車載コンピュータ21とサーバ32は、車両20の遠隔操作を遠隔支援者35或いは遠隔運転者37に依頼する遠隔操作依頼システムとして機能する。
【0110】
7.第3実施形態に係る遠隔操作依頼方法
次に、本開示の第3実施形態に係る遠隔操作依頼方法について
図10乃至
図12を用いて説明する。第3実施形態では、車両20が自動運転を継続することが困難になった場合或いは困難になることが予測される場合、目標軌跡に基づいて自動運転領域の内外判定と遠隔運転領域の内外判定とが行われる。
【0111】
図10には、自動運転中の車両20が先行車両40に後続して停車し、その後、再出発する場面が描かれている。先行車両40が停車した時点では、先行車両40が再び動き出すのか、そのまま駐車されるのかは不明である。このような場合、自動運転を継続することは困難であり、車両20の運行を継続するためには遠隔操作者に遠隔操作を依頼する必要がある。
【0112】
第3実施形態では、遠隔支援が選択された場合の車両20の軌跡TJRAと、遠隔運転が選択された場合の車両の軌跡TJRDKとがそれぞれ計算される。軌跡TJRAは、遠隔支援が行われるときの最大転舵速度、転舵角、及び最低車速から計算される。同様に、軌跡TJRDKは、遠隔運転が行われるときの最大転舵速度、転舵角、及び最低車速から計算される。
【0113】
次に、計算された各軌跡TJRA,TJRDKと先行車両40との接触が判定される。軌跡TJRAが先行車両40と接触する場合、車両20は自動運転領域の外にあると判定することができる。軌跡TJRDKが先行車両40と接触する場合、車両20は遠隔運転領域の外にあると判定することができる。
図10に示す例では、軌跡TJRAは先行車両40と接触しているが、軌跡TJRDKは先行車両40と接触していないので、依頼すべき遠隔操作として遠隔運転が選択される。仮に両軌跡TJRA,TJRDKが先行車両40と接触していないのであれば、遠隔支援者35と遠隔運転者37との負担の違いより、遠隔支援の依頼が優先される。
【0114】
図11には、自動運転中の車両20が合流車線から本線に合流する場面が描かれている。本線を走行中の他車両42と接触しないように本線に合流するためには、他車両42の速度を認識して合流のタイミングをはかる必要がある。他車両42が本線を走行している状況で合流車線から本線に合流する動作を自動運転で行うことは困難であるため、遠隔操作者に対して遠隔操作が依頼される。
【0115】
第3実施形態では、遠隔支援が選択された場合の車両20の軌跡TJRAと、遠隔運転が選択された場合の車両の軌跡TJRDKとがそれぞれ計算される。軌跡TJRAは、遠隔支援が行われるときの最大速度、及び最大加速度から計算される。同様に、軌跡TJRDKは、遠隔運転が行われるときの最大速度、及び最大加速度から計算される。
図11において各軌跡TJRA,TJRDK上の丸印は、各時刻における車両20の位置を示している。丸印の間隔の違いから、軌跡TJRAよりも軌跡TJRDKのほうが合流時の加速度が高いことが分かる。
【0116】
次に、計算された各軌跡TJRA,TJRDKと他車両42との間でTTC(Time To Collision)が計算される。軌跡TJRAと他車両42との間のTTCが所定の閾値以下の場合、車両20は自動運転領域の外にあると判定することができる。軌跡TJRDKと他車両42との間のTTCが閾値以下の場合、車両20は遠隔運転領域の外にあると判定することができる。両軌跡TJRA,TJRDKともに先行車両40との間のTTCが閾値よりも大きい場合、よりTTCが大きい軌跡を与える遠隔操作が選択される。
図11に示す例では、依頼すべき遠隔操作として遠隔運転が選択される。
【0117】
図12には、自動運転中の車両20が障害物44の手前で減速して停止する場面が描かれている。自動運転によって車両20を停止させることが困難な場合、遠隔操作者に対して遠隔操作が依頼される。
【0118】
第3実施形態では、遠隔支援が選択された場合の車両20の軌跡TJRAと、遠隔運転が選択された場合の車両の軌跡TJRDKとがそれぞれ計算される。軌跡TJRAは、遠隔支援が行われるときの最大減速度から計算される。同様に、軌跡TJRDKは、遠隔運転が行われるときの最大減速度から計算される。
図12において各軌跡TJRA,TJRDK上の丸印は、各時刻における車両20の位置を示している。丸印の間隔の違いから、軌跡TJRAよりも軌跡TJRDKのほうが停止時の減速度が高いことが分かる。
【0119】
次に、計算された各軌跡TJRA,TJRDKと障害物44との間でTTCが計算される。軌跡TJRAと障害物44との間のTTCが所定の閾値以下の場合、車両20は自動運転領域の外にあると判定することができる。軌跡TJRDKと他車両42との間のTTCが閾値以下の場合、車両20は遠隔運転領域の外にあると判定することができる。両軌跡TJRA,TJRDKともに障害物44との間のTTCが閾値よりも大きい場合、よりTTCが大きい軌跡を与える遠隔操作が選択される。
図12に示す例では、依頼すべき遠隔操作として遠隔運転が選択される。
【0120】
8.その他実施形態
サーバ32を遠隔操作依頼装置として構成してもよい。すなわち、第1実施形態に係る車載コンピュータ21が有する遠隔操作依頼装置としての機能の全てをサーバ32に持たせてもよい。この場合、サーバ32は各車両20を監視する。そして、自動運転を継続することが困難になった車両20或いは困難になることが予測される車両20が検知された場合、サーバ32から遠隔操作者に対して車両20の遠隔操作が依頼される。
【符号の説明】
【0121】
10 通信ネットワーク
20 自動運転車両
21 車載コンピュータ
30 遠隔操作センタ
32 サーバ
34 遠隔支援端末
35 遠隔支援者
36 遠隔運転端末
37 遠隔運転者
100 遠隔操作システム
210 自動運転ECU
211 遠隔支援ECU
212 遠隔運転ECU
ADD 自動運転領域
RDD 遠隔運転領域
RT 経路
RQS 遠隔支援の依頼
RMS 遠隔支援の操作信号
RQD 遠隔運転の依頼
RMD 遠隔運転の操作信号
TJRA 遠隔支援による軌跡
TJRDK 遠隔運転による軌跡