IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ トヨタ リサーチ インスティテュート,インコーポレイティドの特許一覧

特許7282718予測軌道を有する自律車両ユーザインタフェース
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-05-19
(45)【発行日】2023-05-29
(54)【発明の名称】予測軌道を有する自律車両ユーザインタフェース
(51)【国際特許分類】
   B60W 50/14 20200101AFI20230522BHJP
   B60W 60/00 20200101ALI20230522BHJP
   B60W 30/095 20120101ALI20230522BHJP
   B60K 35/00 20060101ALI20230522BHJP
【FI】
B60W50/14
B60W60/00
B60W30/095
B60K35/00 A
B60K35/00 Z
【請求項の数】 21
【外国語出願】
(21)【出願番号】P 2020120616
(22)【出願日】2020-07-14
(65)【公開番号】P2021037936
(43)【公開日】2021-03-11
【審査請求日】2022-05-24
(31)【優先権主張番号】16/527,483
(32)【優先日】2019-07-31
(33)【優先権主張国・地域又は機関】US
【早期審査対象出願】
(73)【特許権者】
【識別番号】518102470
【氏名又は名称】トヨタ リサーチ インスティテュート,インコーポレイティド
(74)【代理人】
【識別番号】100099759
【弁理士】
【氏名又は名称】青木 篤
(74)【代理人】
【識別番号】100123582
【弁理士】
【氏名又は名称】三橋 真二
(74)【代理人】
【識別番号】100092624
【弁理士】
【氏名又は名称】鶴田 準一
(74)【代理人】
【識別番号】100147555
【弁理士】
【氏名又は名称】伊藤 公一
(74)【代理人】
【識別番号】100123593
【弁理士】
【氏名又は名称】関根 宣夫
(74)【代理人】
【識別番号】100133835
【弁理士】
【氏名又は名称】河野 努
(72)【発明者】
【氏名】浦野 博充
(72)【発明者】
【氏名】平野 麻衣子
(72)【発明者】
【氏名】澤村 雄介
【審査官】平井 功
(56)【参考文献】
【文献】特開2016-110201(JP,A)
【文献】国際公開第2017/056210(WO,A1)
【文献】特開2014-185926(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
B60W 10/00-10/30
B60W 30/00-60/00
B60K 35/00-37/06
(57)【特許請求の範囲】
【請求項1】
運転者から見た透視図を示している車両ユーザインタフェースに対する軌道を生成するためのシステムであって、
1つ以上のプロセッサと、
前記1つ以上のプロセッサに通信可能に結合されているメモリであって、
前記1つ以上のプロセッサにより実行されると、前記1つ以上のプロセッサに、
エゴ車両に対するエゴ車両予測軌道を生成させ、
前記エゴ車両の外部である道路エージェントに対する少なくとも1つの道路エージェント予測軌道を生成させ、
少なくとも1つの道路エージェント予測軌道が、運転者から見た透視図を示している前記ユーザインタフェース上で表示されると、(1)物体の背後に存在して、前記物体の背後の走行を示しており、且つ(2)前記物体と重なると決定させ、
前記重なりを除去するために、前記少なくとも1つの道路エージェント予測軌道を修正させる命令を含んでいる軌道予測モジュールと、
前記1つ以上のプロセッサにより実行されると、前記1つ以上のプロセッサに、任意の修正された道路エージェント予測軌道を含むように、前記ユーザインタフェースを更新させる命令を含んでいる制御モジュールとを格納しているメモリと、
を備え、
前記軌道予測モジュールは、
第1道路エージェント予測軌道が、運転者から見た透視図を有している前記ユーザインタフェース上で表示されると、(1)第1物体の背後に存在して、前記第1物体の背後の走行を示しており、且つ(2)前記第1物体と重なると決定し、
第2道路エージェント予測軌道が、運転者から見た透視図を示している前記ユーザインタフェース上で表示されると、(1)前記第1物体と第2物体との間に存在し、且つ(2)前記第2物体と重なると決定し、
それぞれの第1および第2物体と重ならないように、前記第1および第2道路エージェント予測軌道それぞれの長さを修正する更なる命令を含んでいる、
システム。
【請求項2】
運転者から見た透視図を示している車両ユーザインタフェースに対する軌道を生成するためのシステムであって、
1つ以上のプロセッサと、
前記1つ以上のプロセッサに通信可能に結合されているメモリであって、
前記1つ以上のプロセッサにより実行されると、前記1つ以上のプロセッサに、
エゴ車両に対するエゴ車両予測軌道を生成させ、
前記エゴ車両の外部である道路エージェントに対する少なくとも1つの道路エージェント予測軌道を生成させ、
少なくとも1つの道路エージェント予測軌道が、運転者から見た透視図を示している前記ユーザインタフェース上で表示されると、(1)物体の背後に存在して、前記物体の背後の走行を示しており、且つ(2)前記物体と重なると決定させ
前記重なりを除去するために、前記少なくとも1つの道路エージェント予測軌道を修正させる命令を含んでいる軌道予測モジュールと、
前記1つ以上のプロセッサにより実行されると、前記1つ以上のプロセッサに、任意の修正された道路エージェント予測軌道を含むように、前記ユーザインタフェースを更新させる命令を含んでいる制御モジュールとを格納しているメモリと、
備え、
前記軌道予測モジュールは、
前記物体は、予測軌道を有している道路エージェントではないと決定する更なる命令を含んでいる、
システム。
【請求項3】
運転者から見た透視図を示している車両ユーザインタフェースに対する軌道を生成するためのシステムであって、
1つ以上のプロセッサと、
前記1つ以上のプロセッサに通信可能に結合されているメモリであって、
前記1つ以上のプロセッサにより実行されると、前記1つ以上のプロセッサに、
エゴ車両に対するエゴ車両予測軌道を生成させ、
前記エゴ車両の外部である道路エージェントに対する少なくとも1つの道路エージェント予測軌道を生成させ、
少なくとも1つの道路エージェント予測軌道が、運転者から見た透視図を示している前記ユーザインタフェース上で表示されると、(1)物体の背後に存在して、前記物体の背後の走行を示しており、且つ(2)前記物体と重なると決定させ、
前記重なりを除去するために、前記少なくとも1つの道路エージェント予測軌道を修正させる命令を含んでいる軌道予測モジュールと、
前記1つ以上のプロセッサにより実行されると、前記1つ以上のプロセッサに、任意の修正された道路エージェント予測軌道を含むように、前記ユーザインタフェースを更新させる命令を含んでいる制御モジュールとを格納しているメモリと、
を備え、
前記重なりを除去するために、前記少なくとも1つの道路エージェント予測軌道を修正する命令は、
運転者から見た透視図を示している前記ユーザインタフェース上で表示されると、前記道路エージェント予測軌道の第1部分が前記物体の背後に隠されているように見えるように、前記物体の表示を修正し、
前記道路エージェント予測軌道の第2部分を、隠すこと、ダイルートすること、およびブレンドすることから構成されるグループから選択される少なくとも1つの技術を使用して修正する命令を備えている
システム。
【請求項4】
運転者から見た透視図を示している車両ユーザインタフェースに対する軌道を生成するためのシステムであって、
1つ以上のプロセッサと、
前記1つ以上のプロセッサに通信可能に結合されているメモリであって、
前記1つ以上のプロセッサにより実行されると、前記1つ以上のプロセッサに、
エゴ車両に対するエゴ車両予測軌道を生成させ、
前記エゴ車両の外部である道路エージェントに対する少なくとも1つの道路エージェント予測軌道を生成させ、
少なくとも1つの道路エージェント予測軌道が、運転者から見た透視図を示している前記ユーザインタフェース上で表示されると、(1)物体の背後に存在して、前記物体の背後の走行を示しており、且つ(2)前記物体と重なると決定させ、
前記重なりを除去するために、前記少なくとも1つの道路エージェント予測軌道を修正させる命令を含んでいる軌道予測モジュールと、
前記1つ以上のプロセッサにより実行されると、前記1つ以上のプロセッサに、任意の修正された道路エージェント予測軌道を含むように、前記ユーザインタフェースを更新させる命令を含んでいる制御モジュールとを格納しているメモリと、
を備え、
前記軌道予測モジュールは、
前記物体は傾斜のある地形であり、運転者から見た透視図を有している前記ユーザインタフェース上で表示されると、前記少なくとも1つの道路エージェント予測軌道が前記傾斜のある地形により少なくとも部分的には隠されると決定し、
運転者から見た透視図を示している前記ユーザインタフェース上で表示されると、前記傾斜のある地形が見えるように前記傾斜のある地形上で延伸しているカーブのある軌道としての表示のために、前記少なくとも1つの道路エージェント予測軌道を修正する、
更なる命令を含んでいる、
システム。
【請求項5】
前記重なりを除去するために、前記少なくとも1つの道路エージェント予測軌道を修正する命令は、前記物体と重ならないように、前記少なくとも1つの道路エージェント予測軌道の長さを修正する命令を備えている、請求項2から4のいずれか一項に記載のシステム。
【請求項6】
前記重なりを除去するために、前記少なくとも1つの道路エージェント予測軌道を修正する命令は、
運転者から見た透視図を示している前記ユーザインタフェース上で表示されると、前記道路エージェント予測軌道が前記物体の背後に隠されているように見えるように、前記物体の表示を修正する命令を備えている、請求項1、2及び4のいずれか一項に記載のシステム。
【請求項7】
前記重なりを除去するために、前記少なくとも1つの道路エージェント予測軌道を修正する命令は、
前記道路エージェント予測軌道を、隠すこと、ダイルートすること、およびブレンドすることから構成されるグループから選択される少なくとも1つの技術を使用して修正する命令を備えている、請求項1、2及び4のいずれか一項に記載のシステム。
【請求項8】
前記軌道予測モジュールは、
運転者から見た透視図を示している前記ユーザインタフェース上で表示されると、少なくとも1つの隠されている道路エージェントが前記物体の背後であると決定し、
少なくとも1つの修正であって、
前記隠されている道路エージェントおよびそれぞれの道路エージェント予測軌道の両者を除去すること、
前記道路エージェント予測軌道の一部を前記物体で隠すこと、前記物体にダイルートすること、または前記物体とブレンドすること、および
前記隠されている道路エージェントを前記物体上に重ね表示することから構成されるグループから選択される少なくとも1つの修正を実行する、
更なる命令を含んでいる、請求項1から4のいずれか一項に記載のシステム。
【請求項9】
前記道路エージェントは、自動車、オートバイ、自転車、および歩行者の1つであり、
前記車両ユーザインタフェースは、ナビゲーションディスプレイ、多情報ディスプレイ、ヘッドアップディスプレイ(HUD)、頭上搭載ディスプレイ(HMD)、リモートオペレータディスプレイ、およびウェアラブル装置の1つである,請求項1から4のいずれか一項に記載のシステム。
【請求項10】
運転者から見た透視図を示している車両ユーザインタフェースに対する軌道を生成するための方法であって、一つ以上のプロセッサにより、
エゴ車両に対するエゴ車両予測軌道を生成することと、
前記エゴ車両の外部である道路エージェントに対する少なくとも1つの道路エージェント予測軌道を生成することと、
少なくとも1つの道路エージェント予測軌道が、運転者から見た透視図を示している前記ユーザインタフェース上で表示されると、(1)物体の背後に存在して、前記物体の背後の走行を示しており、且つ(2)前記物体と重なると決定することと、
前記重なりを除去するために、前記少なくとも1つの道路エージェント予測軌道を修正することと、
任意の修正された道路エージェント予測軌道を含むように、前記ユーザインタフェースの表示を更新することと、
第1道路エージェント予測軌道が、運転者から見た透視図を示している前記ユーザインタフェース上で表示されると、(1)第1物体の背後に存在して、前記第1物体の背後の走行を示しており、且つ(2)前記第1物体と重なると決定することと、
第2道路エージェント予測軌道が、運転者から見た透視図を示している前記ユーザインタフェース上で表示されると、(1)前記第1物体と第2物体との間に存在し、且つ(2)前記第2物体と重なると決定することと、
それぞれの第1および第2物体と重ならないように、前記第1および第2道路エージェント予測軌道それぞれの長さを修正することと、
を有している、方法。
【請求項11】
運転者から見た透視図を示している車両ユーザインタフェースに対する軌道を生成するための方法であって、一つ以上のプロセッサにより、
エゴ車両に対するエゴ車両予測軌道を生成することと、
前記エゴ車両の外部である道路エージェントに対する少なくとも1つの道路エージェント予測軌道を生成することと、
少なくとも1つの道路エージェント予測軌道が、運転者から見た透視図を示している前記ユーザインタフェース上で表示されると、(1)物体の背後に存在して、前記物体の背後の走行を示しており、且つ(2)前記物体と重なると決定することと、
前記重なりを除去するために、前記少なくとも1つの道路エージェント予測軌道を修正することと、
任意の修正された道路エージェント予測軌道を含むように、前記ユーザインタフェースの表示を更新することと、
前記物体は、予測軌道を有している道路エージェントではないと決定することと、
を有している、方法。
【請求項12】
運転者から見た透視図を示している車両ユーザインタフェースに対する軌道を生成するための方法であって、一つ以上のプロセッサにより、
エゴ車両に対するエゴ車両予測軌道を生成することと、
前記エゴ車両の外部である道路エージェントに対する少なくとも1つの道路エージェント予測軌道を生成することと、
少なくとも1つの道路エージェント予測軌道が、運転者から見た透視図を示している前記ユーザインタフェース上で表示されると、(1)物体の背後に存在して、前記物体の背後の走行を示しており、且つ(2)前記物体と重なると決定することと、
前記重なりを除去するために、前記少なくとも1つの道路エージェント予測軌道を修正することと、
任意の修正された道路エージェント予測軌道を含むように、前記ユーザインタフェースの表示を更新することと、
第1道路エージェント予測軌道が、運転者から見た透視図を有している前記ユーザインタフェース上で表示されると、(1)物体の背後に存在して、前記物体の背後の走行を示しており、且つ(2)前記物体と重なると決定することと、
第2道路エージェント予測軌道が、前記物体に重なると決定することと、
運転者から見た透視図を示している前記ユーザインタフェース上で表示されると、前記第1道路エージェント予測軌道が前記物体の背後に隠されているように見えるように前記物体の表示を修正することと、
前記第2道路エージェント予測軌道を、隠すこと、ダイルートすること、およびブレンドすることから構成されるグループから選択される少なくとも1つの技術を使用して修正することと、
を有している、方法。
【請求項13】
運転者から見た透視図を示している車両ユーザインタフェースに対する軌道を生成するための方法であって、一つ以上のプロセッサにより、
エゴ車両に対するエゴ車両予測軌道を生成することと、
前記エゴ車両の外部である道路エージェントに対する少なくとも1つの道路エージェント予測軌道を生成することと、
少なくとも1つの道路エージェント予測軌道が、運転者から見た透視図を示している前記ユーザインタフェース上で表示されると、(1)物体の背後に存在して、前記物体の背後の走行を示しており、且つ(2)前記物体と重なると決定することと、
前記重なりを除去するために、前記少なくとも1つの道路エージェント予測軌道を修正することと、
任意の修正された道路エージェント予測軌道を含むように、前記ユーザインタフェースの表示を更新することを有し、
前記物体は傾斜のある地形であり、前記少なくとも1つの道路エージェント予測軌道が、前記傾斜のある地形により少なくとも部分的には隠されると決定することと、
運転者から見た透視図を示している前記ユーザインタフェース上で表示されると、前記傾斜のある地形が見えるように前記傾斜のある地形上で延伸しているカーブのある軌道としての表示のために、前記少なくとも1つの道路エージェント予測軌道を修正することと、を有している、方法。
【請求項14】
前記重なりを除去するために、前記少なくとも1つの道路エージェント予測軌道を修正することは、
前記物体と重ならないように、前記少なくとも1つの道路エージェント予測軌道の長さを修正することを有している、請求項11から13のいずれか一項に記載の方法。
【請求項15】
第1道路エージェント予測軌道が、運転者から見た透視図を示している前記ユーザインタフェース上で表示されると、(1)物体の背後に存在して、前記物体の背後の走行を示しており、且つ(2)前記物体と重なると決定することと、
第2道路エージェント予測軌道が、前記物体に重なると決定することと、
運転者から見た透視図を示している前記ユーザインタフェース上で表示されると、前記第1および第2道路エージェント予測軌道の両者が前記物体の背後に隠されているように見えるように前記物体の表示を修正することと、
を有している、請求項10、11及び13のいずれか一項に記載の方法。
【請求項16】
第1道路エージェント予測軌道が、運転者から見た透視図を示している前記ユーザインタフェース上で表示されると、(1)物体の背後に存在して、前記物体の背後の走行を示しており、且つ(2)前記物体と重なると決定することと、
第2道路エージェント予測軌道が、前記物体に重なると決定することと、
前記第1および第2道路エージェント予測軌道の両者を、隠すこと、ダイルートすること、およびブレンドすることから構成されるグループから選択される少なくとも1つの技術を使用して修正することと、
を有している、請求項10、11及び13のいずれか一項に記載の方法。
【請求項17】
少なくとも1つの隠されている道路エージェントが、前記物体の背後に隠されていると決定することと、
少なくとも1つの修正であって、
前記隠されている道路エージェントおよび関連付けられている道路エージェント予測軌道の両者を除去すること、
前記関連付けられている道路エージェント予測軌道の一部を前記物体で隠すこと、前記物体にダイルートすること、または前記物体とブレンドすること、および
前記隠されている道路エージェントを前記物体に重ね表示することから構成されるグループから選択される少なくとも1つの修正を実行することと、
を有している、請求項10から13のいずれか一項に記載の方法。
【請求項18】
運転者から見た透視図を示している車両ユーザインタフェースに対する軌道を生成するための非一時的コンピュータ読取り可能媒体であって、1つ以上のプロセッサにより実行されると、前記1つ以上のプロセッサに、
エゴ車両に対するエゴ車両予測軌道を生成させ、
前記エゴ車両の外部である道路エージェントに対する少なくとも1つの道路エージェント予測軌道を生成させ、
少なくとも1つの道路エージェント予測軌道が、運転者から見た透視図を示している前記ユーザインタフェース上で表示されると、(1)物体の背後に存在して、前記物体の背後の走行を示しており、且つ(2)前記物体と重なると決定させ、
前記重なりを除去するために、前記少なくとも1つの道路エージェント予測軌道を修正させ、それにより、修正された予測軌道を作成させ、
任意の修正された道路エージェント予測軌道を含むように、前記ユーザインタフェースを更新させる、
命令を格納し、
前記命令は、
第1道路エージェント予測軌道が、運転者から見た透視図を有している前記ユーザインタフェース上で表示されると、(1)第1物体の背後に存在して、前記第1物体の背後の走行を示しており、且つ(2)前記第1物体と重なると決定し、
第2道路エージェント予測軌道が、運転者から見た透視図を示している前記ユーザインタフェース上で表示されると、(1)前記第1物体と第2物体との間に存在し、且つ(2)前記第2物体と重なると決定し、
それぞれの第1および第2物体と重ならないように、前記第1および第2道路エージェント予測軌道それぞれの長さを修正する更なる命令を含んでいる、非一時的コンピュータ読取り可能媒体。
【請求項19】
運転者から見た透視図を示している車両ユーザインタフェースに対する軌道を生成するための非一時的コンピュータ読取り可能媒体であって、1つ以上のプロセッサにより実行されると、前記1つ以上のプロセッサに、
エゴ車両に対するエゴ車両予測軌道を生成させ、
前記エゴ車両の外部である道路エージェントに対する少なくとも1つの道路エージェント予測軌道を生成させ、
少なくとも1つの道路エージェント予測軌道が、運転者から見た透視図を示している前記ユーザインタフェース上で表示されると、(1)物体の背後に存在して、前記物体の背後の走行を示しており、且つ(2)前記物体と重なると決定させ、
前記重なりを除去するために、前記少なくとも1つの道路エージェント予測軌道を修正させ、それにより、修正された予測軌道を作成させ、
任意の修正された道路エージェント予測軌道を含むように、前記ユーザインタフェースを更新させる、
命令を格納し
前記命令は、
前記物体は、予測軌道を有している道路エージェントではないと決定する更なる命令を含んでいる、非一時的コンピュータ読取り可能媒体。
【請求項20】
運転者から見た透視図を示している車両ユーザインタフェースに対する軌道を生成するための非一時的コンピュータ読取り可能媒体であって、1つ以上のプロセッサにより実行されると、前記1つ以上のプロセッサに、
エゴ車両に対するエゴ車両予測軌道を生成させ、
前記エゴ車両の外部である道路エージェントに対する少なくとも1つの道路エージェント予測軌道を生成させ、
少なくとも1つの道路エージェント予測軌道が、運転者から見た透視図を示している前記ユーザインタフェース上で表示されると、(1)物体の背後に存在して、前記物体の背後の走行を示しており、且つ(2)前記物体と重なると決定させ、
前記重なりを除去するために、前記少なくとも1つの道路エージェント予測軌道を修正させ、それにより、修正された予測軌道を作成させ、
任意の修正された道路エージェント予測軌道を含むように、前記ユーザインタフェースを更新させる、
命令を格納し、
前記重なりを除去するために、前記少なくとも1つの道路エージェント予測軌道を修正する命令は、
運転者から見た透視図を示している前記ユーザインタフェース上で表示されると、前記道路エージェント予測軌道の第1部分が前記物体の背後に隠されているように見えるように、前記物体の表示を修正し、
前記道路エージェント予測軌道の第2部分を、隠すこと、ダイルートすること、およびブレンドすることから構成されるグループから選択される少なくとも1つの技術を使用して修正する命令を備えている、非一時的コンピュータ読取り可能媒体。
【請求項21】
運転者から見た透視図を示している車両ユーザインタフェースに対する軌道を生成するための非一時的コンピュータ読取り可能媒体であって、1つ以上のプロセッサにより実行されると、前記1つ以上のプロセッサに、
エゴ車両に対するエゴ車両予測軌道を生成させ、
前記エゴ車両の外部である道路エージェントに対する少なくとも1つの道路エージェント予測軌道を生成させ、
少なくとも1つの道路エージェント予測軌道が、運転者から見た透視図を示している前記ユーザインタフェース上で表示されると、(1)物体の背後に存在して、前記物体の背後の走行を示しており、且つ(2)前記物体と重なると決定させ、
前記重なりを除去するために、前記少なくとも1つの道路エージェント予測軌道を修正させ、それにより、修正された予測軌道を作成させ、
任意の修正された道路エージェント予測軌道を含むように、前記ユーザインタフェースを更新させる、
命令を格納し、
前記命令は、
前記物体は傾斜のある地形であり、運転者から見た透視図を有している前記ユーザインタフェース上で表示されると、前記少なくとも1つの道路エージェント予測軌道が前記傾斜のある地形により少なくとも部分的には隠されると決定し、
運転者から見た透視図を示している前記ユーザインタフェース上で表示されると、前記傾斜のある地形が見えるように前記傾斜のある地形上で延伸しているカーブのある軌道としての表示のために、前記少なくとも1つの道路エージェント予測軌道を修正する、
更なる命令を含んでいる、非一時的コンピュータ読取り可能媒体。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、一般的には、自律車両のためのユーザインタフェースに関し、より特別には、運転者から見た透視図(driver’s perspective view)を提供するユーザインタフェース上で、予測軌道を修正して表示するためのシステムおよび方法に関する。
【背景技術】
【0002】
ここにおいて提供される背景技術の記述は、開示の状況を概略的に提示する目的のためである。現在名前が挙げられている発明者の研究は、この背景技術のセクションで記述できる範囲で、出願時に別の方法で先行技術であると見なすことのできない記述の態様と共に、本技術に対する先行技術であるとは明示的にも黙示的にも認められない。
【0003】
種々の適用において、車両システムは、車両(ここにおいては、「エゴ(自我)車両(ego-vehicle)」と称することもある)の軌道を予測できる。例えば、高度運転者支援システム(ADAS)を含んでいる車両のような並列制御の自律性車両は、その制御を、人間の運転者と自律運転システムとの間で共有できる車両である。人間の運転者は、そのような車両の運転のある態様(例えば、操舵)の制御を保持でき、一方、ADASは運転者の行動を監視して、必要なときは事故を防止するために介入する。そのため、エゴ車両の軌道を予測することは、そのようなADASの重要な態様である。車両システムは、エゴ車両の軌道をユーザインタフェース上に表示できる。
【0004】
車両システムはまた、車両の外部の1つ以上の道路エージェントの軌道も予測でき、道路エージェントの軌道をユーザインタフェース表示上に表示できる。道路エージェントの例としては、種々のタイプの他の車両(例えば、自動車、オートバイ、または自転車)と歩行者が挙げられる。自律車両または並列制御の自律性車両に対する1つの目的は、車両が途中で遭遇する道路エージェントと衝突することなくルートを走行することである。道路エージェントまたはそれらの運転者の意図は、通常は、自律車両または並列制御の自律性車両の運転者が確信を持って知ることはないので、道路エージェントの軌道を予測することは、その目的を更に促進できる。
【0005】
しかし、多くの道路エージェント軌道がユーザインタフェース上に提供されると、ユーザインタフェースは、特に、表示が運転者から見た透視図として提供されるときは、すぐに過度に複雑になり得る(例えば、平面図と比較して)。従って、ユーザインタフェース上で提供できる多数の、および/または、重なる軌道の存在を十分に明らかにするための、向上された軌道予測システムを提供することは望ましいことであり、それは、複雑さが低減された表示という結果になり得る。
【発明の概要】
【0006】
このセクションは、開示の全体的な概要を提供し、開示の全範囲またはその特徴のすべての包括的開示ではない。
【0007】
種々の態様において、本教示は、運転者から見た透視図を示している車両ユーザインタフェースに対する軌道を生成するためのシステムを提供する。システムは、1つ以上のプロセッサと、その1つ以上のプロセッサに通信可能に結合されているメモリを含んでいる。メモリは、1つ以上のプロセッサにより実行されると、その1つ以上のプロセッサに、一連のステップを実行させる命令を含んでいる軌道予測モジュールを格納している。例えば、軌道予測モジュールは、エゴ車両に対するエゴ車両予測軌道を生成し、エゴ車両の外部である道路エージェントに対する少なくとも1つの道路エージェント予測軌道を生成する命令を含むことができる。命令は、少なくとも1つの道路エージェント予測軌道が、運転者から見た透視図を示しているユーザインタフェース上で表示されると、(1)物体の背後に存在して、物体の背後の走行を示しており、且つ(2)物体と重なると決定するステップを含むことができる。命令は、重なりを除去するために、少なくとも1つの道路エージェント予測軌道を修正するステップを含むことができる。制御モジュールもまた提供でき、制御モジュールは、1つ以上のプロセッサにより実行されると、その1つ以上のプロセッサに、任意の修正された道路エージェント予測軌道を含むように、ユーザインタフェースを更新させる命令を含んでいる。
【0008】
他の態様においては、本教示は、運転者から見た透視図を示している車両ユーザインタフェースに対する軌道を生成するための非一時的コンピュータ読取り可能媒体を提供する。コンピュータ読取り可能媒体は、1つ以上のプロセッサにより実行されると、その1つ以上のプロセッサに、エゴ車両に対するエゴ車両予測軌道を生成させ、エゴ車両の外部である道路エージェントに対する少なくとも1つの道路エージェント予測軌道を生成させる命令を格納するように構成できる。命令はプロセッサに、少なくとも1つの道路エージェント予測軌道が、運転者から見た透視図を示しているユーザインタフェース上で表示されると、(1)物体の背後に存在して、物体の背後の走行を示しており、且つ(2)物体と重なると決定させることができる。この決定に応答して、命令はプロセッサに、重なりを除去するために、少なくとも1つの道路エージェント予測軌道を修正させ、それにより、修正された予測軌道を作成させ、そして任意の修正された道路エージェント予測軌道を含むように、ユーザインタフェースを更新させることができる。
【0009】
更に他の態様においては、本教示は、運転者から見た透視図を示している車両ユーザインタフェースに対する軌道を生成するための方法を提供する。方法は、エゴ車両に対するエゴ車両予測軌道を生成することと、エゴ車両の外部である道路エージェントに対する少なくとも1つの道路エージェント予測軌道を生成することを含んでいる。予測軌道が生成された後、方法は、少なくとも1つの道路エージェント予測軌道が、運転者から見た透視図を示しているユーザインタフェース上で表示されると、(1)物体の背後に存在して、物体の背後の走行を示しており、且つ(2)物体と重なると決定することにより継続する。方法は、重なりを除去するために、少なくとも1つの道路エージェント予測軌道を修正することを含んでいる。そして方法は、任意の修正された道路エージェント予測軌道を含むように、ユーザインタフェースの表示を更新することを継続する。
【0010】
適用可能性の更なる領域、および、上記の技術を向上する種々の方法は、ここにおいて提供される記述から明白となるであろう。この概要における記述および具体的な例は、例示の目的のためのみであることが意図されており、本開示の範囲を制限することは意図されていない。
【図面の簡単な説明】
【0011】
本教示は、詳細な記述および付随する図面からより完全に理解されるであろう。
【0012】
図1】本技術にかかわる、ここにおいて開示されるシステムおよび方法を実現できる車両の例としての態様を示している模式図である。
図2図1において提供されているのと同様に、軌道予測システムの例としての態様を示している模式図である。
図3】本技術の種々の態様に係る、ユーザインタフェース表示を提供するために、単独で、または組み合わせて使用できる多数の表示システムを提供している、例としての車両内部コンパートメントの内部キャビンの部分的透視図を例示している。
図4A-4E】それぞれの軌道を有している、エゴ車両、および少なくとも1つの道路エージェント車両または歩行者の平面図を表わしている画像を有するユーザインタフェースを例示している5つの例としての表示である。
図5A-5E】図4A~4Eにおいて提供されるシナリオと同じシナリオにおける、エゴ車両、道路エージェント車両または歩行者、およびそれらのそれぞれの軌道の前方透視図、または運転者から見た図を表わしている画像を有するユーザインタフェースを例示している5つの例としての表示であり、軌道および車両における重なりを示している。
図6】本技術の例としての態様に従う、予測軌道の物体との重なりに基づいて、少なくとも1つの予測軌道を修正する方法のフローチャート図である。
図7】本技術の例としての態様に従う、予測軌道の物体との重なりに基づいて、少なくとも1つの予測軌道を修正する方法の他のフローチャート図である。
図8A-8C】本技術の例としての態様に従う、物体との重なりに基づく、少なくとも1つの予測軌道の修正を例示している。
図9A-9C】本技術の例としての態様に従う、2つの物体との重なりに基づく、少なくとも1つの予測軌道の修正を例示している。
図10】本技術の種々の態様に従う、予測軌道を隠す、その表示を、例えば、実線から点線に変更することなどにより弱める(以降、「ダイルートする」と記述する)、および/または、その表示と融合させる(以降、「ブレンドする」と記述する)ことにより、物体との重なりに基づいて、少なくとも1つの予測軌道を修正する方法のフローチャート図である。
図11A-11E】図10の方法に従う、少なくとも1つの予測軌道の種々の修正を例示している。
図12】本技術の種々の態様に従う、異なる重なりに基づいて、少なくとも1つの予測軌道を修正する異なる技術を選択する方法のフローチャート図である。
図13A-13B】図12の方法に従う、少なくとも1つの予測軌道の修正を例示している。
図14】本技術の例としての態様に従う、信頼スコアを随意的に使用する、少なくとも2つの予測軌道の重なりに基づいて、少なくとも1つの予測軌道を修正する方法のフローチャート図である。
図15】本技術の例としての態様に従う、2つの隣接する予測軌道間の削減された距離に基づいて、少なくとも1つの予測軌道を修正する方法のフローチャート図である。
図16A-16C】図14の方法に従う、少なくとも1つの予測軌道の修正を例示している。
図17】道路エージェントおよび予測軌道における重なりのある、運転者から見た透視図からのユーザインタフェース表示を例示している。
図18A-18B】図14~15の方法に従う、図17の少なくとも1つの予測軌道の修正を例示している。
図18C-18E】図14~15の方法に従う、図17の少なくとも1つの予測軌道の修正を例示している。
図19】本技術の例としての態様に従う、優先交差の決定を伴う、少なくとも2つの予測軌道の重なりに基づいて、少なくとも1つの予測軌道を修正する方法のフローチャート図である。
図20】種々の優先順位を有する4つの交差のある予測軌道を有している4つの車両のセットを例示している。
図21A-21B】図19の方法に従う、少なくとも1つの予測軌道の修正を例示している。
図22】本技術の例としての態様に従う、物体は部分的または完全に隠されている道路エージェントであるという決定を伴う、予測軌道と物体との重なりに基づいて、少なくとも1つの予測軌道を修正する方法のフローチャート図である。
図23A-23D】図22の方法に従う、少なくとも1つの予測軌道の修正を例示している。
図24A-24D】図22の方法に従う、少なくとも1つの予測軌道の追加的修正を例示している。
図25】本技術の例としての態様に従う、傾斜のある地形の存在に基づいて、少なくとも1つの予測軌道を修正する方法のフローチャート図である。
図26A-26D】図25の方法に従う、少なくとも1つの予測軌道の修正を例示している。
図27A-27D】図25の方法に従う、少なくとも1つの予測軌道の修正を例示している。
図28】本技術の例としての態様に従う、未知の走行方向を有している、表示領域からはみ出ている少なくとも1つの軌道に基づいて、少なくとも1つの予測軌道を修正する方法のフローチャート図である。
図29A-29E】図28の方法に従う、少なくとも1つの予測軌道の修正を例示している。
図30】本技術の例としての態様に従う、予測軌道は、複数の静止物体に重なるという決定を伴う、予測軌道と、物体または他の予測軌道の何れかとの重なりに基づいて、少なくとも1つの予測軌道を修正する方法のフローチャート図である。
図31A-31C】図30の方法に従う、少なくとも1つの予測軌道の修正を例示している。
図32】本技術の例としての態様に従う、予測軌道は、過去時制の道路エージェント軌道であるという決定を伴う、予測軌道と、物体または他の予測軌道の何れかとの重なりに基づいて、少なくとも1つの予測軌道を修正する方法のフローチャート図である。
図33A-33C】図32の方法に従う、少なくとも1つの予測軌道の修正を例示している。
図34】本技術の例としての態様に従う、複雑さに基づいて、ユーザインタフェースに提供される表示のタイプを選択するための方法のフローチャート図である。
図35A-35C】異なる線、2Dパターン、および3D形状を有する予測軌道の変形例を示している。
図36A-36C】2つの予測軌道の重なりのある、2Dおよび3D予測軌道を例示している。
図37A-37C】予測軌道と、少なくとも1つの静止物体との重なりのある、2Dおよび3D予測軌道を例示している。
図38A-38B】単一の表示上の、2Dおよび3D予測軌道の組み合わせの使用を例示している。
【0013】
ここにおいて記述される図は、ある態様の記述の目的のために、本技術の中の、方法、アルゴリズム、および装置の全体的な特性を例示することが意図されている。これらの図は、任意の所与の態様の特性を正確に反映していなくてもよく、この技術の範囲内の特定の態様を定義または制限することは必ずしも意図されていない。更に、ある態様は、図の組み合わせからの特徴を組み入れることができる。
【発明を実施するための形態】
【0014】
ここにおいて記述される技術は、ユーザインタフェース上の、予測道路エージェントおよびエゴ車両の軌道の向上された表示に関する。特に、この技術は、それらの軌道が互いにどのように相互作用することができるか、およびそれらの軌道を、ユーザインタフェース上の表示に関するサイズ、位置、および種々の他の詳細についてどのように適合化および/または簡略化できるかを向上する。この点について、この技術は、ユーザに提示される軌道情報を簡略化できる。例えば、この技術は、ユーザインタフェース上で提供できる多数の、および/または、重なる軌道の存在を十分に明らかにし、複雑さが削減された図という結果になり得る表示を提供する、向上された軌道予測システムを提供できる。
【0015】
ここにおいて使用されているように、「軌道」という用語は、所与の道路エージェント、車両、エゴ車両などに対する、シミュレートされ、予測され、または観察される過去、現在、そして将来の軌道を指すことができる。ここにおいて使用されているように、「道路エージェント」という用語は、一般的には、車道に沿って、または、車道と交差するようにして、あちらこちらに移動できる任意の物体のことである。そのような物体は、必ずしも常に動いているとは限らない。例えば、ここにおいて記述される種々の態様は、自動車、バス、自転車、道路に沿って駐車している他のタイプの車両を道路エージェントと見なしている。それらの態様においては、システムは、車両のセンサを使用して、駐車している自動車を、環境における他の検出された物体と共に追尾できる。センサデータは、典型的には、道路エージェント(駐車している自動車)は静止している、つまり、その時点で予測できる、駐車している自動車に関連付けられている軌道はない、ということを明らかにする。しかし、そのような種々の態様においては、システムは、駐車している自動車はいつでも動きを開始できるので、その駐車している自動車の追尾を継続できる。種々の態様においては、注目する道路エージェントは、本技術の態様が動作している車両(ここにおいては、「エゴ車両」または「ホスト車両」と称されることがある)の外部である。そのような道路エージェントは、ここにおいては「外部道路エージェント」と称されることがある。道路エージェントの追加的な非制限的例としては、制限はされないが、種々のタイプの他の車両(自動車、バス、オートバイ、自転車、トラック、建設車両など)、歩行者、および動物が挙げられる。幾つかの態様においては、道路エージェントは単に物体と称することができる。
【0016】
非制限的態様においては、予測軌道と称することができる、エゴ車両および/または道路エージェント軌道を予測するために、確率論的変動軌道予測器を使用できる。それらの態様においては、エゴ車両または所与の道路エージェントの何れか当てはまる方に対する軌道確率分布を、1つ以上の特定の予測軌道を生成するためにサンプリングすることができる。それらの予測軌道は、上記のように、エゴ車両と1つ以上の道路エージェントとの間で相互に供給でき、繰り返して更新でき、そして、それらの予測軌道はまた、下記に更に記述されるように、エゴ車両の種々の表示およびユーザインタフェースに提供される出力を、少なくともある程度は制御する、エゴ車両の制御モジュールに出力できる。幾つかの変動予測器の態様においては、軌道確率分布の統計パラメータを、分布からサンプリングされる特定の軌道の代わりに、エゴ車両の制御モジュールに出力できる。
【0017】
特別な態様によっては、エゴ車両予測軌道は、多数の外部道路エージェントの予測軌道を、多数の可能な順序の何れかにおいて考察することにより作成できる。1つの態様においては、道路エージェント予測軌道は、エゴ車両からの距離により優先順位が付けられ、エゴ車両により近い軌道は、それより遠い軌道よりも、より高い優先順位が付けられる。他の態様においては、道路エージェント予測軌道は、道路エージェント予測軌道と関連付けられている何れかの不確定性により優先順位が付けられ、より不確定性が低い(つまり、確実性がより高い)軌道は、より不確定性が高い(つまり、確実性がより低い)軌道よりも、より高い優先順位が付けられる。更に、反復軌道予測プロセスの間の、エゴ車両および/または1つ以上の外部道路エージェントに対する中間予測軌道を、外部道路エージェントのすべての可能な順序を考慮して、保存、収集、および集計できる。これらの種々の推測を存続させることにより、エゴ車両の制御モジュールが、道路エージェントが取り得るすべての可能な行動を考慮することを可能にする。この保存によるアプローチは、エゴ車両が安全な軌道を計画して通過する目的を促進する。
【0018】
他の技術を、上記の反復軌道予測アーキテクチャと有利に組み合わせることができる。他の技術とは、(1)エゴ車両の将来の軌道を予測するために多数の軌道予測器と、エゴ車両の外部の1つ以上の道路エージェントの将来の軌道を予測するために多数の軌道予測器を採用すること、および(2)信頼性を評価できるように、予測されるエゴ車両および道路エージェント軌道に対する信頼推定値を生成することである。これらの技術は、これに続く段落において更に説明される。
【0019】
エゴ車両または所与の外部道路エージェントの将来の軌道を予測するために、ここにおいて記述される幾つかの態様は、異なる決定論的または確率論的演算モデルを使用する2つ以上の軌道予測器を採用する。例えば、2つの軌道予測器を含んでいる1つの態様においては、第1軌道予測器は、DNNを含んでいる確率論的変動軌道予測器であり、第2軌道予測器は、物理ベースの(決定論的)モデルである。種々の態様においては、軌道予測器は、入力として、下記に更に検討される多様な車両センサデータの何れをも受信する。特別な態様によれば、軌道予測器はまた、軌道の何れのタイプが予測されているかにより、エゴ車両または道路エージェントに対する測定された過去の軌道情報も受信できる。
【0020】
信頼推定値に関して、開示される態様の1つの重要な態様は、車両または道路エージェント軌道が予測される時間範囲である。例えば、特別な軌道予測器からの所与の予測軌道は、約0.1から約3秒の相対的に短い時間範囲においては信頼性があり得るが、約3秒を超えて約10秒までに広がる、より長い時間範囲においては、信頼できない可能性がある。幾つかの態様においては、エゴ車両および道路エージェント予測軌道に対する信頼推定値は、ディープニューラルネットワーク(DNN)モデルを使用して、適用可能な時間範囲の連続時間関数として計算される。そのため、信頼尺度は、エゴ車両または道路エージェント予測軌道の何れが、時間予測範囲全体の特別な部分に対して最も信頼性があるかを決定することにおいて、軌道予測システムを支援する。種々の態様においては、反復して更新されたエゴ車両および道路エージェント予測軌道と関連付けられている信頼スコアもまた、予測軌道自身が反復して更新されるときに、反復して更新される。
【0021】
図1を参照すると、車両100(ここにおいては、「エゴ車両」と称されることもある)の例が示されている。ここにおいて使用されているように、「車両」は、動力付き輸送の何れかの形状である。1つ以上の実現形態においては、車両100は自動車である。配置は、ここにおいては自動車に関して記述されるが、態様は、自動車に制限されないということは理解されるであろう。幾つかの実現形態においては、車両100は、例えば、少なくとも半自律的に動作できる動力付き輸送の何れかの他の形状であってよい。
【0022】
車両100はまた、種々の要素を含んでいる。種々の態様においては、車両100が図1に示されている要素のすべてを有する必要はないということは理解されるであろう。車両100は、図1に示されている種々の要素の何れの組み合わせも有することができる。更に、車両100は、図1に示されている要素に対する追加的要素を有することができる。幾つかの配置においては、車両100は、図1に示されている要素の1つ以上なしで実現できる。種々の要素は、図1における車両100内に位置しているように示されているが、これらの要素の1つ以上は、車両100の外部に位置することができるということは理解されるであろう。更に、示されている要素は、長い距離だけ物理的に離すことができる。車両100の可能性のある要素の幾つかが図1に示されており、後続の図と共に記述される。しかし、図1における要素の多くの記述は、この記述の簡潔性の目的のために、残りの図の検討後に提供される。
【0023】
図2を参照すると、図1の例としての軌道予測システム170が示されている。軌道予測システム170は、少なくとも部分的には、車両100自身の、過去の、現在の、観測される、または予測される将来の軌道に基づいて、および/または、車両100の外部の1つ以上の道路エージェントの、過去の、現在の、観測される、または予測される軌道に基づいて、車両100の動作を制御することに関する、ここにおいて開示されるような方法および他の機能を実行するために実現される。幾つかの態様においては、車両100または道路エージェントの軌道は、三次元空間においてモデル化できる。
【0024】
軌道予測システム170は、図1の車両100からの1つ以上のプロセッサ110を含んで示されている。1つ以上のプロセッサ110は、軌道予測システム170の一部であってよく、軌道予測システム170は、車両100の1つ以上のプロセッサ110とは別個の1つ以上のプロセッサを含むことができ、または、軌道予測システム170は、実施形態によっては、データバスまたは他の通信経路を通して、1つ以上のプロセッサ110にアクセスできる。1つの態様においては、軌道予測システム170は、少なくとも軌道予測モジュール174と制御モジュール176を格納しているメモリ172を含んでいる。メモリ172は、ランダムアクセスメモリ(RAM)、リードオンリメモリ(ROM)、ハードディスクドライブ、フラッシュメモリ、または、モジュール174、176を格納するための他の適切なメモリであってよい。モジュール174、176は、例えば、1つ以上のプロセッサ110により実行されると、その1つ以上のプロセッサ110に、ここにおいて開示される種々の機能を実行させるコンピュータ読取り可能命令である。
【0025】
車両100の軌道を予測することに関連して、軌道予測システム170は、データベース180において、種々の種類の、モデルに関連するデータ178を格納できる。図1に示されているように、軌道予測システム170は、車両100(エゴ車両)におけるセンサシステム120からセンサデータを受信できる。例えば、幾つかの態様においては、軌道予測システム170は、1台以上のカメラ126から画像データを受信する。特別な実施形態によっては、軌道予測システム170はまた、ライダーセンサ(LIDAR sensors)124からライダーデータ、レーダーセンサ123からレーダーデータ、および/または、ソナーセンサ125からソナーデータも受信できる。幾つかの態様においては、軌道予測システム170はまた、車両システム140から入力を受信する。例としては、制限されることはないが、ハンドル角、ガスペダル(アクセル)位置、直線速度、および角速度がある。ハンドル角およびガスペダル位置データは、コントローラエリアネットワーク(CANバス)データと称することができるデータの例であり、直線速度および角速度は、慣性測定ユニット(IMU)データと称することができるデータの例である。上記のタイプのセンサの幾つかは、下記に更に説明するように、車両100(エゴ車両)の軌道を予測することに関係するが、外部道路エージェントの軌道を予測することには関係しない。図1に示されているように、軌道予測システム170、特には、制御モジュール176は、車両100の種々の機能に対する半自律または自律制御を支援するために、車両システム140および/または自律運転モジュール160と通信できる。制御モジュール176はまた、1つ以上のプロセッサ110に、ユーザインタフェースシステム182の動作を制御させ、車両100全体における種々のディスプレイに提供される、予測軌道を含むデータを調整させる命令も含んでいる。
【0026】
幾つかの態様においては、センサシステム120からの、レーダーおよび/またはソナーデータのような、他の、または追加的種類のデータを、軌道予測システム170に供給できる。追加的に、ラスタライズされた(rasterized)マップデータのような、より高度に構造化されたデータ(例えば、車両100を取り囲んでいる環境に対する占有グリッド)を、変動軌道予測器に供給できる。特定の種類の未処理センサデータまたは構造化データは、軌道予測システム170に供給され、その種類は態様により変わり得る。
【0027】
下記に記述される、信頼スコアを含む幾つかの態様においては、信頼スコアは、少なくとも部分的には、予測されるエゴ車両と道路エージェント軌道が反復して更新されている間に、エゴ車両軌道の予測と、道路エージェント軌道の予測との間におこる反復の回数に基づいて計算できる。一般的には、予測軌道は、十分な回数の反復の後は、より安定する予測に収束する傾向にあるので、より多くの回数の反復は、結果としての予測軌道におけるより高いレベルの信頼に対応する。
【0028】
ここにおいて詳細に記述されるように、軌道予測モジュール174は、一般的には、1つ以上のプロセッサ110に、ユーザインタフェース上の表示のために、車両100(エゴ車両)に対する1つ以上の予測軌道、および、少なくとも1つの外部道路エージェントに対する少なくとも1つ以上の予測軌道を生成させる命令を含んでいる。種々のユーザインタフェースの設計は、本技術に関して、軌道情報を表示するために有用であり得、ここにおいて提供される記述は、本技術で有用な表示のタイプを制限することは意図されていない。
【0029】
図3は、例としての車両の内部コンパートメント50の部分的透視図を提供し、種々の車両制御装置と共に、車両の乗車人のための2つの前部座席を例示している。図から分かるように、車両は、ナビゲーションディスプレイ52と、ユーザインタフェースに対する表示を収容できる多数のパネル58を有し、フロントガラス56上に投影されるヘッドアップディスプレイ(HUD)54を含んでいる。スクリーン/ディスプレイなどのような、異なる情報表示間で切り替わることができる多情報ディスプレイ(MID)60もまた使用でき、車両の内部コンパートメントの種々の領域に位置させることができる。他の態様においては、電話62、タブレット(図示せず)などのような、個人用電子装置もまた表示の目的のために使用できる。まさに記述されるアーキテクチャにおける多数の変形例が、特別な態様によっては可能である。種々の態様においては、ここにおいて提供されるシステムおよび方法は、自動車、オートバイ、自転車、および/または歩行者として提供される道路エージェントの使用を含むことができ、車両ユーザインタフェースは、ナビゲーションディスプレイ、多情報ディスプレイ、ヘッドアップディスプレイ(HUD)、頭上搭載ディスプレイ(HMD)、リモートオペレータディスプレイ、およびウェアラブル装置の1つである。多数のディスプレイは、互いに組み合わせて使用でき、異なる透視視点を含むことができる。
【0030】
図4A~4Eは、エゴ車両100と、それぞれの軌道202、206を有している車両200または歩行者204のような、少なくとも1つの道路エージェントの平面図300を表わしている画像を有しているユーザインタフェースを例示している5つの例としての表示である。図5A~5Eは、図4A~4Eにおいて提供されるシナリオと同じシナリオにおける、同じエゴ車両100、道路エージェント車両200または歩行者204、および、それらのそれぞれの軌道202、206の前方透視図310、または運転者から見た図を表わしている画像を有しているユーザインタフェースを例示している5つの例としての表示であり、軌道および車両における重なりを示している。
【0031】
例えば、図4Aは、2つの道路エージェント車両200の平面図300を例示している。道路エージェント予測軌道202は図4Aにおいては重ならないが、図5Aにおいては、運転者の透視視点310では、道路エージェント予測軌道202は互いに接近しており、ユーザを混乱させ得る重なり部分がある。図4B~4Dは、エゴ車両予測軌道102を有するエゴ車両100、および、異なる通行パターンの、複数の道路エージェント車両200と、それらのそれぞれの道路エージェント予測軌道202の平面図300を例示している。示されているように、種々の予測軌道102、202は互いに重なるだけでなく、幾つかの道路エージェント車両自身とも重なっており、ユーザを混乱させることが予想される。図5B~5Dは、それらの車両100、200、および、予測軌道102、202の類似の重なりの、運転者から見た図310を例示しており、視認性を妨害し、および/または、ユーザを混乱させることが予想される複雑な視覚化を提供している。図4Eと5Eは、種々の重なりがある、複数の歩行者204と、それらのそれぞれの予測軌道206のある横断歩道に隣接しているエゴ車両100と予測軌道102を例示している。
【0032】
図6は、本技術の例としての態様に従う、物体との予測軌道の重なりに基づいて、少なくとも1つの予測軌道を修正する方法320のフローチャート図である。方法320は、運転者から見た透視図を示している車両ユーザインタフェースに対する軌道を生成するためである。方法はまず、エゴ車両100に対するエゴ車両予測軌道102を生成することと、エゴ車両100の外部である道路エージェントに対する少なくとも1つの道路エージェント予測軌道202を生成することを含んでいる。道路エージェントは、他の車両200、歩行者204、およびそれらの組み合わせであることができる。方法ステップ322により示されているように、それぞれの予測軌道102、202が生成された後、方法320は、少なくとも1つの道路エージェント予測軌道202が、運転者から見た透視図において見ると、物体の背後に存在して、物体の背後の走行を示していると決定することにより継続する。方法ステップ324により示されているように、方法は、運転者から見た透視図を示しているユーザインタフェース上で表示されると、予測軌道202が物体と重なるかどうかを決定することを継続する。他にそうでないと示されない限り、ここにおいて記述される方法で使用されているように、「物体」という用語は、駐車している車両、建物、中央分離帯などのような静止している物体を広く含むことができ、および/または、移動している車両、移動している歩行者などを含むことができる、移動している物体も含むことができる。そして方法320は、方法ステップ326により示されているように、重なりを除去するために、少なくとも1つの道路エージェント予測軌道202を修正することを含んでいる。そして方法は、任意の修正された道路エージェント予測軌道を含むように、ユーザインタフェースの表示を更新することを継続する。図2を改めて参照すると、種々の態様においては、制御モジュール176は、任意の修正された道路エージェント予測軌道の表示を含むように、ユーザインタフェースを更新する命令を、1つ以上のプロセッサ110および/またはユーザインタフェースシステム182に提供するために使用できる。
【0033】
図7は、物体との予測軌道の重なりに基づいて、少なくとも1つの予測軌道を修正する方法328のフローチャート図であり、方法328は図6の方法320と類似しているが、追加的特徴を有している。図7に示されているように、物体は、それ自身の予測軌道を有している道路エージェントであるかどうかを決定する追加的な方法ステップ330がある。そうである場合は、修正は行われない。そうでない場合は、修正が行われる。
【0034】
図8A~8Cは、図6~7の方法に従う、物体との重なりに基づく、少なくとも1つの予測軌道の修正を例示している。図8Aは、それぞれが、走行の方向を示すための矢印によるそれぞれの道路エージェント予測軌道202A、202Bを有している2つの道路エージェント車両200A、200Bを提供している平面図300である。道路エージェント200A、200Bは、反対方向に走行している。エゴ車両の運転者の透視視点からは、1つの車両200Aは物体208の背後を走行し、1つの車両200Bは物体208の前方を走行する。図8Bは、図8Aに提示されているような状況の、運転者の透視視点310を提供している。図8Bに示されているように、道路エージェント予測軌道202Aは、それが物体208に重なり、車両200Aは、物体208の前方を走行するように見えるが、実際は、車両200Aは、物体208の背後を走行するので、混乱を引き起こしかねない。図8Cは、物体208と重ならないように、道路エージェント予測軌道202Aの長さを短くした、結果としての修正を例示している。
【0035】
図9A~9Cは、本技術の例としての態様に従う、2つの物体との重なりに基づく、少なくとも1つの予測軌道の修正を例示している。図9Aは、それぞれが、走行の方向を示すための矢印によるそれぞれの道路エージェント予測軌道202A、202Bを有している2つの道路エージェント車両200A、200Bを提供している平面図300である。道路エージェント車両200A、200Bは、反対方向に走行している。エゴ車両の運転者の透視視点からは、1つの車両200Aは第1物体208の背後を走行し、1つの車両200Bは第1物体208の前方を走行するが、第2物体210の背後を走行する。図9Bは、図9Aに提示されているような状況の、運転者の透視視点310を提供している。図9Bに示されているように、道路エージェント予測軌道202A、202Bは、両者が物体208に重なり、両方の車両200A、200Bは、物体208、210の前方を走行するように見えるが、実際は、車両200Aは、第1物体208の背後を走行し、車両200Bは、第1物体208の前方を走行し、第2物体210の背後を走行するので、混乱を引き起こしかねない。図9Cは、物体208、210と重ならないように、道路エージェント予測軌道202A、202B両者の長さを短くした、結果としての修正を例示している。
【0036】
図10は、本技術の種々の態様に従う、予測軌道を隠す(hiding)、それにダイルート(diluting)する、および/またはそれとブレンド(blending)することにより、物体との重なりに基づいて、少なくとも1つの予測軌道を修正する方法332のフローチャート図である。334の方法ステップは、運転者の透視視点でユーザインタフェース上に表示されると、道路エージェント予測軌道が物体と重なるかどうかを決定する。図8の方法320に類似して、この方法332もまた、方法のステップ336において例示されているように、道路エージェント予測軌道が、物体の背後に部分的にまたは全部が存在して、物体の背後の走行を示しているかどうかを決定する。そうである場合、方法332は、物体および予測軌道の表示を修正することにより先に進む。例えば、道路エージェント予測軌道の一部または全部を、方法ステップ338において例示されているように、物体により隠されるように、または物体の背後になるように修正できる。そうでない場合、方法332は、方法ステップ340において例示されているように、ユーザが状況における前後方向の関係をより良好に理解するために、予測軌道の一部または全部がダイルートされる、ブレンドされるなどが行われるように修正することにより先に進む。他の態様においては、方法は、運転者から見た透視図を示しているユーザインタフェース上で表示されると、道路エージェント予測軌道の第1部分が物体の背後に隠されるように物体の表示を修正し、道路エージェント予測軌道の第2部分を、隠すこと、ダイルートすること、およびブレンドすることから構成されるグループから選択される少なくとも1つの技術を使用して修正する命令を含んでいる。
【0037】
図11A~11Eは、図10の方法332に従う、少なくとも1つの道路エージェント予測軌道の種々の修正を例示している。図11Aは、それぞれが、走行の方向を示すための矢印によるそれぞれの道路エージェント予測軌道202A、202Bを有している2つの道路エージェント車両200A、200Bを提供している平面図300である。道路エージェント車両200A、200Bは反対方向に走行している。エゴ車両の運転者の透視視点からは、1つの車両200Aは、物体208の背後を走行し、1つの車両200Bは、物体208の前方を走行する。図8Bは、図8Aに提示されているような状況の、運転者の透視視点310を提供している。図8Bに示されているように、道路エージェント予測軌道202Aは、それが物体208に重なり、車両200Aは、物体208の前方を走行するように見えるが、実際は、車両200Aは、物体208の背後を走行するので、混乱を引き起こしかねない。図11Cは、道路エージェント予測軌道202A、202B両者を、それぞれの部分が、物体208の背後に隠されるように修正した、第1結果としての修正を提供している。これはユーザに、物体208のより明確な図を提供するが、第2車両200Bは、物体の前方を走行するのか、または背後を走行するかについての曖昧さがあり得る。図11Dおよび11Eはユーザに、状況のより明確な理解を提供できる。図11Dにおいては、物体の背後を走行する道路エージェント車両200Aに対する道路エージェント予測軌道202Aは、部分的に物体208の背後に隠され、一方、物体208の前方を走行する道路エージェント車両200Bに対する道路エージェント予測軌道202Bは、物体208と部分的にブレンドされている。図11Eにおいては、物体の背後を走行する道路エージェント車両200Aに対する道路エージェント予測軌道202Aは、物体208の背後で部分的にダイルートされ、一方、物体208の前方を走行する道路エージェント車両200Bに対する道路エージェント予測軌道202Bは、物体208と部分的にブレンドされている。隠すこと、ブレンドすること、およびダイルートすることの異なる組み合わせを使用できる。
【0038】
図12は、本技術の種々の態様に従う、異なる重なりに基づいて、少なくとも1つの予測軌道を修正する異なる技術を選択する方法342のフローチャート図である。方法ステップ344において例示されているように、方法は、運転者の透視視点を有しているユーザインタフェース表示に表示される種々の道路エージェントと物体との間の前後方向の関係を決定する。そして方法は、方法ステップ346において例示されているように、目標物体が他の物体と重なるかどうかを決定する。重なりがある場合、方法は、エゴ車両が重なり地点に到達する前に、他の道路エージェントがその重なり地点に到達するかどうかを決定する。そうである場合、方法のステップ350は、道路エージェント予測軌道を修正するために、図7において提供されるような方法の使用を指示する。そうでない場合、方法のステップ352は、道路エージェント予測軌道を修正するために、図10において提供されるような方法の使用を指示する。
【0039】
図13A~13Bは、図12の方法342に従う、少なくとも1つの予測軌道の修正を例示しているが、エゴ車両軌道は簡潔性のために無視している。図13Aは、それぞれが、それぞれの予測軌道202A、202B、202Cを有している、連続している3つの道路エージェント車両200A、200B、200Cを含んでいる平面図300である。予測軌道202A、202Bの2つは、隣接する道路エージェント車両200B、200Cと重なっている。図13Bは、図12の方法342を実現した後の、運転者の透視視点310を提供している。例えば、車両200Cの前には道路エージェントまたは物体がないので、図7の方法が、道路エージェント予測軌道202Cに適用され、それはこの表示において提供されている。車両200Aおよび200Bの両者の前には他の車両があるので、図10の方法が、そのそれぞれの予測軌道202A、202Bに適用される。結果として、予測軌道202Aは車両200Bと重なるが、予測軌道202Bは、車両200Cとの重なりのため隠されている。
【0040】
図14は、本技術の例としての態様に従う、信頼スコアの随意的な使用を伴う、運転者から見た透視図における少なくとも2つの予測軌道の重なりに基づいて、少なくとも1つの予測軌道を修正する方法354のフローチャート図である。方法354は、エゴ車両に対するエゴ車両予測軌道を生成することと、エゴ車両の外部である道路エージェントに対する少なくとも1つの道路エージェント予測軌道を生成することを含んでいる。予測軌道が生成された後、方法は、方法ステップ356により示されているように、運転者から見た透視図を示しているユーザインタフェース上で表示されると、少なくとも2つの予測軌道が重なると決定することにより継続する。種々の態様においては、方法354は、直接方法ステップ364に進むことができ、ステップ364は、重なりを除去するために、少なくとも1つの道路エージェント予測軌道を修正することを含んでいる。そして方法は、任意の修正された道路エージェント予測軌道を含むように、ユーザインタフェースの表示を更新することを継続する。方法ステップ358において示されているような随意的な方法においては、軌道予測システム170は、道路エージェント予測軌道の重なりの提示による、道路エージェント間の衝突の可能性を表わす信頼スコアを計算または得る命令を含むことができる。方法はまた、方法ステップ360により示されているように、信頼スコアは、所定の閾値よりも低いということを決定するために、信頼スコアの比較を実行することも含むことができる。衝突のリスクは所定の閾値よりも低いと決定されると、方法は随意的に、方法ステップ362において、他の道路エージェントが、エゴ車両がその交差に到達する前に、予測軌道の重なる地点に到達するかどうかを決定することにより継続する。そうである場合、方法は、方法ステップ364により示されているように、重なりを除去するために、少なくとも1つの予測軌道を修正することを含んでいる。種々の態様においては、修正は、予測軌道の長さを短くすることと、少なくとも2つの予測軌道間に分離距離を提供することと、および、隠すこと、ダイルートすること、ブレンドすることなどのような技術を使用して予測軌道を修正すること、または、予測軌道(および/または、隣接する道路エージェントまたは物体)の少なくとも一部を同様に修正することを含むことができる。
【0041】
図15は、本技術の例としての態様に従う、閾値未満の2つの隣接する予測軌道間の短くされた距離の計算に基づいて、少なくとも1つの予測軌道を修正する方法366のフローチャート図である。例えば、軌道予測システム170は、エゴ車両に対するエゴ車両予測軌道を生成し、エゴ車両の外部である道路エージェントに対する少なくとも1つの道路エージェント予測軌道を生成する命令を含むことができる。方法ステップ368および370において示されているように、命令は、運転者から見た透視図を示しているユーザインタフェース上で表示されると、2つの隣接する予測軌道間の距離は所定の閾値未満であると決定するステップを含むことができる。その後、命令は、(1)道路エージェント予測軌道の少なくとも1つの色を変えること、(2)道路エージェント予測軌道の少なくとも1つの間隔位置を変えること、(3)道路エージェント予測軌道の少なくとも1つの太さを変えること、および(4)エゴ車両に最も近接していることに基づいて、優先道路エージェント予測軌道を決定して、その優先道路エージェント予測軌道のみを表示することから構成されるグループから選択される少なくとも1つの修正を行うステップを含むことができる。制御モジュール176はまた、1つ以上のプロセッサ110により実行されると、その1つ以上のプロセッサ110、またはユーザインタフェースシステム182に、任意の修正された道路エージェント予測軌道を含むように、ユーザインタフェースを更新させる命令を提供できる。
【0042】
図16A~16Cは、図14の方法366に従う、少なくとも1つの道路エージェントおよびエゴ車両予測軌道の修正を例示している。図16Aは、2つの道路エージェント車両200A、200Bおよびそのそれぞれの予測軌道202A、202Bと共に、予測軌道102を有するエゴ車両100の平面図300を例示している。示されているように、エゴ車両予測軌道102は、道路エージェント予測軌道202Bに重なり、他の道路エージェント予測軌道202Aは、エゴ車両100と重なっている。図16Bは、道路エージェント車両200Aおよびその予測軌道202Aを完全に隠し(除去し)、予測軌道102、202Bの重なりを除去するために、エゴ車両予測軌道102の長さを短くする、運転者の透視視点310を提供している。図16Cは、道路エージェント車両200Aとその予測軌道202Aを完全に隠し(除去し)、予測軌道102、202Bの重なりの存在を最小化するために、エゴ車両予測軌道102の色をブレンドする運転者の透視視点310を提供している。
【0043】
図17は、予測軌道202A、202Bを有する道路エージェント200A、200Bにおける重なりがある、運転者から見た透視図310からのユーザインタフェース表示を示している。図18A~18Eは、図14~15の方法に従う、図17の少なくとも1つの予測軌道の修正を例示している。例えば、図18A~18Bにおいては、1つの道路エージェント予測軌道202Aの色、階調度、またはパターンを、他の道路エージェント予測軌道202Bから区別して見えるようにするために変更できる。図18Cにおいては、道路エージェント予測軌道202A、202Bに、異なる太さを提供できる。図18Dにおいては、予測軌道202Aの1つは、隣接する予測軌道202A、202Bの間により広い間隔を提供するために、距離「a」だけずらす、または離すことができる。図18Eにおいては、予測軌道202Aの1つは、図から完全に除去(隠すことが)できる。
【0044】
図19は、本技術の例としての態様に従う、優先交差の決定を伴う、少なくとも2つの予測軌道または1つ以上の予測軌道の何れかと、1つ以上の物体との重なりに基づいて、少なくとも1つの予測軌道を修正する方法374のフローチャート図である。要求される予測軌道を生成した後、方法は、方法ステップ376により示されているように、予測軌道(または軌道と物体)の少なくとも2つが、第1交差において重なるかどうかを決定することと、方法ステップ378により示されているように、予測軌道(または軌道と物体)の少なくとも2つが、第2交差において重なるかどうかを決定することを含んでいる。少なくとも2つの重なりが見つかると、方法ステップ380は、優先交差の決定を提供する。この決定は、何れの道路エージェントが、第1および第2交差の1つに最初に到達するかの計算に基づいている。優先交差が決定されると、方法は、方法ステップ382により示されているように、優先交差と重なる少なくとも1つの予測軌道を修正することを含んでいる。
【0045】
図19の方法374を更に説明するために、図20は、種々の交差時間を有している4つの交差において重なる予測軌道を有している4つの車両のセットを例示して提供されている。図20は、A、B、C、およびDの標識を付けられている4つの交差を含んでいる。ここでは、優先交差は交差Bであり、車両は同じ速度で走行していると仮定すると、その交差は時間的に最初に起こる。交差Cは、時間的に最後に起こり、交差AおよびDは、BとCとの間の何れかの時間に起こる。
【0046】
図21A~21Bは、図19の方法に従う、少なくとも1つの予測軌道の修正を更に例示している。図21Bは、それぞれが、それぞれの予測軌道102、202、206A、206Bを有している、エゴ車両100、道路エージェント車両200、および2人の歩行者204の平面図300である。車道交差点に設けられている2つの停止標識214がある。道路エージェント車両200は、停止標識のところにあるので、優先交差は、エゴ車両100と、歩行者の速度により決まる、歩行者204A、204Bの何れかとの間である。時間的に最後の交差は、エゴ車両100と道路エージェント車両200との間である。図21Aは、図21Aにおいて提示されている状況の、運転者から見た透視図310を提供しており、エゴ車両予測軌道102が優先交差に関連しているので、その長さを短くすることでエゴ車両予測軌道102を修正している。
【0047】
図22は、本技術の例としての態様に従う、物体は、部分的に、または完全に隠されている道路エージェントであるという決定を伴う、予測軌道と物体との重なりに基づいて、少なくとも1つの予測軌道を修正する方法384のフローチャート図である。要求される予測軌道を生成した後、方法は、運転者の透視視点を考慮すると、道路エージェント予測軌道が、物体の背後に存在して、物体の背後の走行を示していると決定する方法ステップ386を含んでいる。方法ステップ388により示されているように、方法は、ユーザインタフェース上に表示されると、道路エージェント予測軌道は、物体と重なると決定する。方法ステップ390において、運転者から見た透視図を示しているユーザインタフェース上で表示されると、少なくとも1つの隠されている道路エージェントが物体の背後であると決定されると、方法ステップ392は、隠されている道路エージェントと、それぞれの道路エージェント予測軌道の両者を除去することと、道路エージェント予測軌道の一部を物体で隠すこと、物体にダイルートすること、または物体とブレンドすることと、および、隠されている道路エージェントを物体上に重ね表示する(superimposing)ことから構成されるグループから選択される少なくとも1つの修正を実行することを提供する。
【0048】
図23A~23Dは、図22の方法に従う、少なくとも1つの予測軌道の修正に対する要求がある、例としての状況を示している。例えば、図23Aは、トラックのような、より大きな車両200Bに隣接して位置している、より小さな車両200Aを含んでいる平面図300を提供している。図23Bは、建物212のような物体に隣接している車両200を含んでいる平面図300を例示している。図23Cおよび23Dは、図23Aおよび23Bそれぞれにおいて提示されている状況の、運転者から見た透視図310を提供しており、道路エージェント車両は見えていない。図24A~24Dは、図23Cおよび23Dの状況で提示されるときの、図22の方法に従う、少なくとも1つの予測軌道の追加的修正を例示している。図24Aは、両者の状況に対して、隠されている道路エージェント車両と、それぞれの道路エージェント予測軌道の両者を完全に除去している。図24Bは、隠されている道路エージェントは除去しているが、予測軌道は依然として提示している。図24Cは、予測軌道を、道路エージェント車両200Bおよび建物212とブレンドしている。図24Dは、隠されている道路エージェント200、200Aを、建物212および道路エージェント車両200Bそれぞれに重ね表示している。
【0049】
図25は、本技術の例としての態様に従う、車道における傾斜のある地形の存在に基づいて、少なくとも1つの予測軌道を修正する方法394のフローチャート図である。方法394は、運転者から見た透視図を示している車両ユーザインタフェースに対する軌道を生成するためであって、エゴ車両に対するエゴ車両予測軌道を生成することと、エゴ車両の外部である道路エージェントに対する少なくとも1つの道路エージェント予測軌道を生成することを含んでいる。方法ステップ396により示されているように、それぞれの予測軌道が生成された後、方法394は、運転者から見た透視図において見ると、少なくとも1つの道路エージェント予測軌道が、物体の背後に存在して、物体の背後の走行を示していると決定することにより継続する。方法は、運転者の透視視点において表示されると、道路エージェント予測軌道が物体と重なると更に決定する。この方法態様においては特に、方法ステップ400により示されているように、物体は傾斜のある地形であり、予測軌道は少なくとも部分的には隠されているという決定がある。図26Aに示されているように、傾斜のある地形214は、上り坂または下り坂であることができる。方法ステップ402により示されているように、方法は、運転者の透視視点を示しているユーザインタフェース上で表示されると、傾斜のある地形が見えるように傾斜のある地形上で延伸しているカーブのある軌道としての表示のために、少なくとも1つの道路エージェント予測軌道を修正することを継続する。そして方法は、任意の修正された道路エージェント予測軌道を含むように、ユーザインタフェースの表示を更新することを継続する。
【0050】
図26A~26Dおよび図27A~27Dは、図25の方法に従う、傾斜のある地形が視野と干渉する少なくとも1つの予測軌道の修正を例示している。図26Aは、エゴ車両100と、予測軌道202を有する道路エージェント車両200のある、例としてのシナリオの部分的透視図である。図26Bは、高度における差の側面図を提供しており、特には、傾斜のある地形214を示しており、道路エージェント予測軌道202は、傾斜のために、上方に向かう方向を指し示しているが、これは望ましいことではない。図26Cは平面図300を提供しており、一方、図26Dは、隠されている道路エージェント車両200を有しており、予測軌道202の一部のみが見えており、道路エージェントの位置と、その走行の方向の両者に関してユーザを混乱させる可能性のある、運転者の透視視点310を提供している。図27Aおよび27Bは、道路エージェント車両200の予測軌道が、直線202から、空に向かって登っていく、または車道の内部に向かって下がっていくように見える方向を示さないように、傾斜のある地形から(傾斜のある地形上で)ほぼ固定した距離だけ離れて延伸できる、カーブのある、または、少なくとも部分的にカーブのある軌道203にどのように変換されるかを例示している。例えば、軌道202と道路/地形との間の距離が、所定の閾値よりもますます大きくなっていき、上方へ向かう走行を示している場合、予測軌道の少なくとも一部は、図27Aに示されているように、下方に向かう方向にカーブ203させることができる。他の例においては、軌道202と道路/地形との間の距離が、他の所定の閾値よりもますます小さくなっていく場合、予測軌道の少なくとも一部は、図27Bに示されているように、上方に向かう方向にカーブ203させることができる。図27Cは、カーブのある予測軌道203を有する、図27Aのシナリオの、運転者の透視視点310を例示している。図27Dは、道路エージェント車両200が重ね表示された表現を更に提供しており、道路エージェント車両200が坂の他の側において隠され、位置していることなどを示すために、色および/または形状を道路エージェント車両200に提供できる。
【0051】
図28は、本技術の例としての態様に従う、ユーザに道路エージェントの未知の走行方向を提供してしまう、表示領域からはみ出ている少なくとも1つの道路エージェント予測軌道に基づいて、少なくとも1つの予測軌道を修正する方法404のフローチャート図である。方法404は、運転者から見た透視図を示している車両ユーザインタフェースに対する軌道を生成するためであり、エゴ車両に対するエゴ車両予測軌道を生成することと、エゴ車両の外部である道路エージェントに対する少なくとも1つの道路エージェント予測軌道を生成することを含んでいる。方法ステップ406により示されているように、それぞれの予測軌道が生成された後、方法404は、少なくとも1つの道路エージェント予測軌道が、表示領域からはみ出ていると決定し、方法ステップ408により示されているように、運転者から見た透視図を示しているユーザインタフェース上で表示されると、未知の走行方向を更に有していると決定する命令を有している軌道予測モジュールを使用できる。方法は、表示領域において方向を示すものを提供するために、少なくとも1つの道路エージェント予測軌道を修正する方法ステップ410を含むことができる。
【0052】
図29A~29Eは、図28の方法に従う、少なくとも1つの予測軌道の修正を例示している。図29Aは、エゴ車両100と道路エージェント車両200を有する平面図300を例示している。道路エージェント車両200と方向の矢印の両者は、表示から遠く離れて広がっている。図29Bは、このシナリオを、運転者の透視視点310から例示している。示されているように、道路エージェント予測軌道202の一部のみが存在しており、これは、走行の方向に関して、ユーザに混乱を残す。図29Cは、道路エージェント車両200の少なくとも一部の図を表現しているアイコンを追加しているが、これでも、方向矢印がないので、依然としてユーザを混乱させかねない。図29Dおよび29Eは、道路エージェント予測軌道202の長さを修正し、運転者の透視視点から見たときに、ユーザに追加的情報を提供するために、方向矢印を、予測軌道の適切な側に追加している。
【0053】
図30は、本技術の例としての態様に従う、予測軌道が1つ以上の静止物体に重なるという決定を伴う、予測軌道と、物体または他の予測軌道の何れかとの重なりに基づいて、少なくとも1つの予測軌道を修正する方法412のフローチャート図である。方法412は、運転者から見た透視図を示している車両ユーザインタフェースに対する軌道を生成するためであり、エゴ車両に対するエゴ車両予測軌道を生成することと、エゴ車両の外部である道路エージェントに対する少なくとも1つの道路エージェント予測軌道を生成することを含んでいる。方法ステップ414により示されているように、それぞれの予測軌道が生成された後、方法412は、少なくとも1つの道路エージェント予測軌道が、物体、または他の道路エージェント予測軌道の何れかに重なると決定することにより継続する。方法は、道路エージェント予測軌道が、1つ以上の静止物体、特には、車道上または歩道上に存在しない静止物体に重なるかどうかを決定する方法ステップ416を継続する。そのような静止物体の非制限的な例としては、木の列、一連の建物または構造物などを挙げることができる。複数の静止物体は、それらのサイズおよび位置によって、グループとして、または個々に考えることができる。方法ステップ418において示されているように、方法は、予測軌道が、静止物体の1つ以上に重なる場所の1つ以上において、道路エージェント予測軌道を隠す、それにダイルートする、またはそれとブレンドすることにより、道路エージェント予測軌道を修正することを含んでいる。
【0054】
図31A~31Cは、図30の方法に従う、複数の静止物体に隣接している少なくとも1つの予測軌道の修正を例示している。図31Aは、エゴ車両100と道路エージェント車両200の平面図300を提供している。予測軌道202は、複数の静止物体216の前方である。図31Bにおいて示されているように、運転者の透視視点310において提示されると、道路エージェント予測軌道202と静止物体216との間の関係は、混乱しているように見える可能性がある。従って、図31Cにおいて示されているように、道路エージェント予測軌道202は、物体216と重なる予測軌道202の領域/位置が物体216とブレンドされて提供されるように修正される。他の態様においては、それらの部分は、静止物体のタイプ、および随意的に他の要因によっては、ダイルートする、および/または、隠すことができる。
【0055】
図32は、本技術の例としての態様に従う、予測軌道は、過去時制の道路エージェント軌道であるという決定を伴う、予測軌道と、物体または他の予測軌道の何れかとの重なりに基づいて、少なくとも1つの予測軌道を修正する方法420のフローチャート図である。典型的には、道路エージェント予測軌道は現在および/または将来の軌道である。しかし、種々の態様においては、少なくとも1つの過去時制の軌道、または、既に車道の部分を通過し、エゴ車両との衝突の脅威をもはや提供しない道路エージェント軌道を示すものを提供することは利点があり得、または望ましいことである得る。方法420は、運転者から見た透視図を示している車両ユーザインタフェースに対する軌道を生成するためであり、エゴ車両に対するエゴ車両予測軌道を生成することと、エゴ車両の外部である道路エージェントに対する少なくとも1つの道路エージェント予測軌道を生成することを含んでいる。方法ステップ422により示されているように、それぞれの予測軌道が生成された後、方法420は、少なくとも1つの道路エージェント予測軌道が、物体、または他の道路エージェント予測軌道の何れかに重なると決定することにより継続する。方法は、道路エージェント予測軌道が実際には、過去時制の道路エージェント予測軌道であると決定する方法ステップ424を継続する。言い換えると、車道を横切る走行はすでに起こっている。方法ステップ426において示されているように、方法は、例えば、形状または太さを修正または変更することにより、過去時制の道路エージェント予測軌道を修正することを含んでいる。
【0056】
図33A~33Cは、図32の方法に従う、少なくとも1つの予測軌道の修正を例示している。例えば、図33Aは、エゴ車両100、現在または将来の軌道202Aを有している第1道路エージェント車両200A、および過去時制の道路エージェント予測軌道202Bを有している第2道路エージェント車両200Bの平面図300を提供している。図33Bは、図33Aにおいて提供されているようなシナリオの、運転者の透視視点310を提供している。エゴ車両予測軌道は、明確性のために省略されている。しかし、過去時制の道路エージェント予測軌道202Bの存在は、ユーザを混乱させるものであり得る。そのため、図33Cは、過去時制の道路エージェント予測軌道の、形状および/または太さなどの修正を提供している。
【0057】
図34は、本技術の例としての態様に従う、複雑さに基づいて、ユーザインタフェースに提供されるべき表示のタイプを選択するための方法428のフローチャート図である。方法428は、運転者から見た透視図を示している車両ユーザインタフェースに対する軌道を生成するためであり、エゴ車両に対するエゴ車両予測軌道を生成することと、エゴ車両の外部である道路エージェントに対する少なくとも1つの道路エージェント予測軌道を生成することを含んでいる。方法ステップ430により示されているように、それぞれの予測軌道が生成された後、方法428は、少なくとも1つの道路エージェント予測軌道が、物体、または他の道路エージェント予測軌道の何れかに重なると決定することにより継続する。方法は、軌道予測モジュールが、透視図を示しているユーザインタフェースにおける表示は、運転者の透視視野で提示/表示されると複雑であり得、または混乱を引き起こし得ると決定する方法ステップ432を継続する。種々の態様においては、複雑さの決定は、多数の要因の1つ以上に基づくことができ、要因としては、閾値数および/または、表示に存在している道路エージェントおよび物体のタイプ、道路エージェント、物体、および予測軌道の位置、一日の時刻、交通渋滞、天候、ユーザの経験、走行時間などがある。種々の態様においては、複雑さの決定は、1つ以上の計算、または、例えば、予測軌道の密度、道路エージェントおよび/または物体の数、および重なる点の数に基づくことができる信頼スコアに基づくことができる。方法ステップ434において提供されているように、方法は、運転者の透視視点とは反対に、平面図を示しているユーザインタフェースにおける表示を生成することを含んでいる。平面図の使用は、表示を簡潔化し、ユーザに、周囲およびシナリオのより完全な表示を提供することが意図されている。種々の態様においては、方法は、選択リクエストをユーザから得て、ユーザが、異なる表示オプションのプレビューを見ることを可能にし、異なる表示間を自由に切り替わることを可能にする命令を要求することを含むことができる。種々の他の態様においては、方法は、表示の両者のタイプをユーザに提供すること、例えば、平面図を第1表示に、そして運転者の透視視点表示を第2表示に提供することを含むことができる。更なる態様においては、平面図と運転者の透視視点の両者を、横に並べる配置などで提供する単一表示を生成できる。
【0058】
予測軌道、車道、物体などの描写と共に、アイコンの表示に関して、本技術は、ここにおいて具体的に記述される特定のタイプおよびスタイルには制限されるべきではなく、それらは、所望するようにカスタマイズできるということは理解されるべきである。この点について、図35A~35Cは、異なる線、2Dパターン、および3D形状を有する予測軌道の、異なる非制限的な変形例を示している。例えば、図35Aは、異なるタイプの線および矢印の組み合わせと、デザインを提供しており、走行の方向における変化を示すことができる別個の部分を示すもの(図35Aにおいてはドットとして示されている)を含むことができる。図35Bは、図35Aの線の代わりに使用できる、二次元形状の異なるタイプを提供している。二次元形状は、走行の方向、速度、信頼レベルなどをより良好に示すために、異なる階調度または色でデザインできる。図35Cは、図35Aの線の代わりに使用できる、三次元形状の異なるタイプを提供している。三次元形状は同様に、走行の方向、速度、信頼レベルなどをより良好に示すために、異なる階調度または色でデザインできる。三次元形状には、線および単純な形状の使用から、詳細な三次元物体の表示までの範囲にわたり、詳細の種々のレベルを提供できる。
【0059】
図36A~36Cは、2つの予測軌道の重なりを有する2Dおよび3D予測軌道を例示している。図36Aは、エゴ車両予測軌道102が、道路エージェント予測軌道202と交差して重なる、図16A~16Cに関して以前に検討したシナリオを例示している。図36Bは、予測軌道102、202を表現するための様々な色および階調度を有する二次元形状の2つのセットを提供している。図36Cは、予測軌道102、202を表現するための様々な色および階調度を有する三次元形状の2つのセットを提供している。
【0060】
図37A~37Cは、予測軌道と少なくとも1つの静止物体の重なりのある2Dおよび3D予測軌道を例示している。図37Aは、道路エージェント車両200が、複数の静止物体216に隣接して走行している、図31A~31Cに関して以前に検討したシナリオを例示している。図37Bは、予測軌道202を表現するための様々な色および階調度を有する二次元形状を提供している。図37Cは、予測軌道202を表現するための様々なブレンドすること、ダイルートすること、および隠すことを有する三次元形状を提供している。
【0061】
図38A~38Bは、単一表示上での、2Dおよび3D予測軌道の組み合わせの使用を例示している。図38Aは平面図300を提供し、図38Bは、図38Aにおいて提示されているシナリオの、運転者の透視視点310を提供している。具体的には、図38Bは、単純な線パターンのエゴ車両予測軌道102を提供し、三次元形状の第1道路エージェント予測軌道202Aを提供し、二次元形状の第2道路エージェント予測軌道202Bを提供している。種々の修正および組み合わせを、本技術と共に使用できるということは理解されるべきである。種々の態様においては、ユーザは表示タイプをカスタマイズおよび変更でき、システムおよび方法は、所定の閾値および必要条件に基づいて、予測軌道の形状および/または寸法を変更することを含むことができる。
【0062】
ここにおいて記述される種々の方法のそれぞれは、システムの一部として提供でき、システムは、1つ以上のプロセッサと、1つ以上のプロセッサにより実行されると、そのプロセッサに、方法の種々の部分で記述されるステップを実行する行動を実行させる命令を含んでいる軌道予測モジュールを含むことができるメモリを含むことができる。同様に、ここにおいて記述される方法のそれぞれは、非一時的コンピュータ読取り可能媒体上に命令として格納できる。
【0063】
ここで図1を、ここにおいて開示されるシステムおよび方法が動作できる、例としての車両環境として十分詳細に検討する。幾つかの例においては、車両100は、自律モード、1つ以上の半自律動作モード、および/またはマニュアルモードの間で選択的に切り替わるように構成されている。マニュアルモードに遷移するときのハンドオーバとも称されるそのような切り替わりは、現在知られている、または後日開発される適切な方法で実現できる。「マニュアルモード」は、車両のナビゲーションおよび/または操縦のすべて、または大部分が、ユーザ(例えば、人間の運転者/オペレータ)から受信する入力に従って実行されることを意味する。
【0064】
1つ以上の態様においては、車両100は自律車両である。ここにおいて使用されているように、「自律車両」とは、自律モードで動作する車両のことである。「自律モード」とは、人間の運転者/オペレータからの最小限の入力、または入力なしで、車両100を制御するための1つ以上の演算システムを使用して、走行ルートに沿って車両100をナビゲートおよび/または操縦することである。1つ以上の態様においては、車両100は、高度にまたは完全に自動化されている。1つの態様においては、車両100は、1つ以上の半自律動作モードで構成されており、半自律動作モードにおいては、1つ以上の演算システムが、走行ルートに沿っての車両のナビゲーションおよび/または操縦の一部を実行し、車両のオペレータ(つまり、運転者)が、走行ルートに沿っての車両100のナビゲーションおよび/または操縦の一部を実行するために、入力を車両に提供する。そのため、1つ以上の態様においては、車両100は、自律性の特別な定義されたレベルに従って、自律的に動作する。例えば、車両100は、自動車エンジニア協会(SAE)の自動化車両分類0~5に従って動作できる。1つの態様においては、車両100は、SAEレベル2に従って動作し、SAEレベル2は、オペレータの入力なしで、制動、加速、および操舵により車両100を制御する自律運転モジュール160を提供するが、運転者/オペレータは運転を監視し、自律運転モジュール160が適切に応答しない場合、または、車両100を十分に制御できない場合に、車両100の制御に介入するように警戒し準備することになる。
【0065】
車両100は、1つ以上のプロセッサ110を含むことができる。1つ以上の配置においては、プロセッサ100は、車両100のメインプロセッサであることができる。例えば、プロセッサ110は、電子制御ユニット(ECU)であることができる。車両100は、1つ以上のタイプのデータを格納するための1つ以上のデータ格納装置(data stores)115を含むことができる。データ格納装置115は、揮発性および/または不揮発性メモリを含むことができる。適切なデータ格納装置115の例としては、RAM(ランダムアクセスメモリ)、フラッシュメモリ、ROM(リードオンリメモリ)、PROM(プログラマブルリードオンリメモリ)、EPROM(消去可能型プログラマブルリードオンリメモリ)、EEPROM(電気的消去可能型プログラマブルリードオンリメモリ)、レジスタ、磁気ディスク、光ディスク、ハードドライブ、または任意の他の適切な格納媒体、または、それらの任意の組み合わせが挙げられる。データ格納装置115は、プロセッサ110の構成要素であることができ、または、データ格納装置115は、プロセッサ110による使用のために、プロセッサ110に動作可能に接続できる。この記述を通して使用されているように、「動作可能に接続される」という用語は、直接物理的接触のない接続を含む、直接または間接的接続を含むことができる。
【0066】
1つ以上の配置においては、1つ以上のデータ格納装置115はマップデータ116を含むことができる。マップデータ116は、1つ以上の地形領域のマップを含むことができる。幾つかの例においては、マップデータ116は、1つ以上の地形領域における、道路、交通制御装置、道路標識、構造物、特徴、および/または目印についての情報またはデータを含むことができる。マップデータ116は、任意の適切な形状であることができる。幾つかの例においては、マップデータ116は領域の空中写真を含むことができる。幾つかの例においては、マップデータ116は、360度の地上写真を含む、領域の地上写真を含むことができる。マップデータ116は、マップデータ116に含まれている1つ以上の事項に対する、および/または、マップデータ116に含まれている他の事項に対する測定値、寸法、距離、および/または情報を含むことができる。マップデータ116は、道路の相対的位置についての情報を備えているデジタルマップを含むことができる。マップデータ116は、高品質および/または高詳細であることができる。
【0067】
1つ以上の配置においては、マップデータ116は、1つ以上の地形マップ117を含むことができる。地形マップ117は、1つ以上の地形領域の、地面、地形、道路、地表、および/または他の特徴についての情報を含むことができる。地形マップ117は、1つ以上の地形領域における高度データを含むことができる。マップデータ116は、高品質および/または高詳細であることができる。地形マップ117は、舗装された道路、舗装されていない道路、土地、および地上表面を画定する他のものを含むことができる、1つ以上の地上表面を画定できる。
【0068】
1つ以上の配置においては、マップデータ116は、1つ以上の静止障害物マップ118を含むことができる。静止障害物マップ118は、1つ以上の地形領域内に位置している1つ以上の静止障害物についての情報を含むことができる。「静止障害物」とは、その位置がある期間にわたって変わらない、または実質的に変わらず、および/または、ある期間にわたってそのサイズが変わらない、または実質的に変わらない物理的物体である。静止障害物の例としては、木、建物、縁石、塀、垣、中央分離帯、電柱、像、記念碑、標識、ベンチ、家具、郵便箱、大きな岩、坂などが挙げられる。静止障害物は、地表面上に広がる物体であることができる。静止障害物マップ118に含まれている1つ以上の静止障害物は、位置データ、サイズデータ、寸法データ、材質データ、および/またはそれと関連付けられている他のデータを有することができる。静止障害物マップ118は、1つ以上の静止障害物に対する測定値、寸法、距離、および/または情報を含むことができる。静止障害物マップ118は、高品質および/または高詳細であることができる。静止障害物マップ118は、マップされた領域内の変化を反映するために更新できる。
【0069】
1つ以上のデータ格納装置115は、センサデータ119を含むことができる。この状況においては、「センサデータ」は、そのようなセンサについての機能および他の情報を含む、車両100が装備しているセンサについての任意の情報を意味している。下記に説明するように、車両100は、センサシステム120を含むことができる。センサデータ119は、センサシステム120の1つ以上のセンサと関連することができる。例として、1つ以上の配置においては、センサデータ119は、センサシステム120の1つ以上のライダーセンサ124についての情報を含むことができる。
【0070】
幾つかの例においては、マップデータ116および/またはセンサデータ119の少なくとも一部は、車両100上に位置している1つ以上のデータ格納装置115に位置させることができる。代替的に、または追加的に、マップデータ116および/またはセンサデータ119の少なくとも一部は、車両100から離れて位置している1つ以上のデータ格納装置115に位置させることができる。
【0071】
上記のように、車両100は、センサシステム120を含むことができる。センサシステム120は、1つ以上のセンサを含むことができる。「センサ」とは、何かを検出および/または感知できる任意の装置、構成要素、および/またはシステムを意味している。1つ以上のセンサは、リアルタイムで検出および/または感知するように構成できる。ここにおいて使用されているように、「リアルタイム」という用語は、ユーザまたはシステムが、行われるべき特別なプロセスまたは決定に対して十分に迅速であると感じる、または、プロセッサが、ある外部のプロセスに遅れないでついていくことを可能にする処理応答性のレベルを意味している。
【0072】
センサシステム120が複数のセンサを含んでいる配置においては、センサは、互いに独立して機能できる。または、センサの2つ以上は、互いに組み合せて作業できる。そのような場合、その2つ以上のセンサは、センサネットワークを形成できる。センサシステム120および/または1つ以上のセンサは、プロセッサ110、データ格納装置115、および/または、車両100の他の要素(図1に示されている要素の何れも含む)に動作可能に接続できる。センサシステム120は、車両100の外部環境(例えば、近くの車両)の少なくとも一部のデータを取得できる。
【0073】
センサシステム120は、任意の適切なタイプのセンサを含むことができる。異なるタイプのセンサの種々の例をここにおいて記述する。しかし、態様は、記述される特別なセンサに制限されないということは理解されるであろう。センサシステム120は、1つ以上の車両センサ121を含むことができる。車両センサ121は、車両100自身についての情報を、検出、決定、および/または感知できる。1つ以上の配置においては、車両センサ121は、例えば、慣性加速度に基づいてのように、車両100の位置および向きの変化を検出および/または感知するように構成できる。1つ以上の配置においては、車両センサ121は、1つ以上の加速度計、1つ以上のジャイロスコープ、慣性測定ユニット(IMU)、推測航法システム、全地球的ナビゲーション衛星システム(GNSS)、全地球測位システム(GPS)、ナビゲーションシステム147、および/または他の適切なセンサを含むことができる。車両センサ121は、車両100の1つ以上の特性を検出および/または感知するように構成できる。1つ以上の配置においては、車両センサ121は、車両100の現在の速度を決定するための速度計を含むことができる。
【0074】
代替的に、または追加的に、センサシステム120は、運転環境データを取得および/または感知するように構成されている1つ以上の環境センサ122を含むことができる。「運転環境データ」は、自律車両が位置している外部環境、またはその1つ以上の部分についてのデータまたは情報を含んでいる。例えば、1つ以上の環境センサ122は、車両100の外部環境の少なくとも一部における障害物、および/または、そのような障害物についての情報/データを、検出、定量、および/または感知するように構成できる。そのような障害物は、静止物体および/または動的物体であってよい。1つ以上の環境センサ122は、例えば、車線マーカ、標識、交通信号機、交通標識、車線、横断歩道、車両100に近接している縁石、オフロード物体などのような、車両100の外部環境における他の物を、検出、測定、定量、および/または感知するように構成できる。
【0075】
センサシステム120のセンサの種々の例をここにおいて記述する。例としてのセンサは、1つ以上の環境センサ122および/または1つ以上の車両センサ121の一部であってよい。更に、センサシステム120は、車両100の運転者/オペレータに関連する態様を追尾または監視するように機能するオペレータセンサを含むことができる。しかし、態様は、記述される特別なセンサに制限されないということは理解されるであろう。
【0076】
例として、1つ以上の配置においては、センサシステム120は、1つ以上のレーダーセンサ123、1つ以上のライダーセンサ124、1つ以上のソナーセンサ125、および/または1台以上のカメラ126を含むことができる。1つ以上の配置においては、1台以上のカメラ126は、ハイダイナミックレンジ(HDR)カメラ、赤外線(IR)カメラなどであることができる。1つの態様においては、カメラ126は、オペレータ/運転者の注視、オペレータ/運転者の目の軌跡などを決定するために、オペレータ/運転者についての目の追尾を実行するために、車両の乗車人コンパートメント内に配置されている1台以上のカメラを含んでいる。
【0077】
車両100は、入力システム130を含むことができる。「入力システム」は、情報/データをマシンに入力させることができる、任意の装置、構成要素、システム、要素または配置、またはそのグループを含んでいる。入力システム130は、車両の乗車人(例えば、運転者または乗車人)から入力を受信できる。車両100は、出力システム135を含むことができる。「出力システム」は、情報/データを、車両の乗車人(例えば、人間、車両の乗車人など)に提示させることができる、任意の装置、構成要素、または配置、またはそのグループを含んでいる。
【0078】
車両100は、1つ以上の車両システム140を含むことができる。1つ以上の車両システム140の種々の例は、図1に示されている。しかし、車両100は、より多い、または、より少ない、または、異なる車両システムを含むことができる。特別な車両システムは別個に定義されているが、そのシステムまたはその部分のそれぞれ、または何れも、車両100内のハードウェアおよび/またはソフトウェアを介して、違うように組み合わせること、または分割することができるとういうことは認識されるべきである。車両100は、推進システム141、制動システム142、操舵システム143、スロットルシステム144、トランスミッションシステム145、信号システム146、および/またはナビゲーションシステム147を含むことができる。これらのシステムのそれぞれは、現在知られている、または後日開発される、1つ以上の装置、構成要素、および/またはその組み合わせを含むことができる。
【0079】
ナビゲーションシステム147は、車両100の地理的位置を決定し、および/または、車両100に対する走行ルートを決定するように構成されている、現在知られている、または後日開発される、1つ以上の装置、センサ、アプリケーション、および/またはその組み合わせを含むことができる。ナビゲーションシステム147は、車両100に対する走行ルートを決定するための1つ以上のマッピングアプリケーションを含むことができる。ナビゲーションシステム147は、全地球測位システム、局所測位システム、またはジオロケーション(地理的位置特定)システムを含むことができる。
【0080】
プロセッサ110、軌道予測システム170、および/または自律運転モジュール160は、種々の車両システム140、および/または、その個々の構成要素と通信するために、動作可能に接続できる。例えば、図1に戻ると、プロセッサ110および/または自律運転モジュール160は、車両100の動き、速度、操縦、進路、方向などを制御するために、種々の車両システム140に情報を送り、および/または、そこから情報を受信するために通信状態であることができる。プロセッサ110、軌道予測システム170、および/または自律運転モジュール160は、これらの車両システム140の幾つかまたはすべてを制御でき、そのため、部分的または完全に自律的であることができる。
【0081】
プロセッサ110、軌道予測システム170、および/または自律運転モジュール160は、種々の車両システム140、および/または、その個々の構成要素と通信するために、動作可能に接続できる。例えば、図1に戻ると、プロセッサ110、軌道予測システム170、および/または自律運転モジュール160は、車両100の動き、速度、操縦、進路、方向などを制御するために、種々の車両システム140に情報を送り、および/または、そこから情報を受信するために通信状態であることができる。プロセッサ110、軌道予測システム170、および/または自律運転モジュール160は、これらの車両システム140の幾つかまたはすべてを制御できる。
【0082】
プロセッサ110、軌道予測システム170、および/または自律運転モジュール160は、車両システム140の1つ以上、および/または、その構成要素を制御することにより、車両100のナビゲーションおよび/または操縦を制御するために動作可能であることができる。例えば、自律モードで動作しているときは、プロセッサ110、軌道予測システム170、および/または自律運転モジュール160は、車両100の方向および/または速度を制御できる。プロセッサ110、軌道予測システム170、および/または自律運転モジュール160は、車両100を加速させることができ(例えば、エンジンに提供される燃料の供給を増やすことにより)、減速させることができ(例えば、エンジンへの燃料の供給を減らすことにより、および/または、ブレーキをかけることにより)、および/または方向を変えさせることができる(例えば、2つの前輪の向きを変えることにより)。ここにおいて使用されているように、「させる」または「させている」とは、直接または間接的な方法で、ある事象または行動を起こさせる、起こすように強いる、起こすように強制する、起こすように指図する、起こすように命令する、起こすように指示する、および/または起こることを可能にする、または、そのような事象または行動が起こり得る状態に少なくともなるように、させる、強いる、強制する、指図する、命令する、指示する、および/または、なることを可能にするということを意味している。
【0083】
車両100は、1つ以上のアクチュエータ150を含むことができる。アクチュエータ150は、プロセッサ110および/または自律運転モジュール160から信号または他の入力を受信することに応答して、車両システム140またはその構成要素の1つ以上を修正、調整、および/または変更するように動作可能な任意の要素または要素の組み合わせであることができる。任意の適切なアクチュエータを使用できる。例えば、1つ以上のアクチュエータ150は、幾つかの可能性を挙げれば、モータ、空気圧アクチュエータ、油圧ピストン、リレー、ソレノイド、および/または圧電アクチュエータを含むことができる。
【0084】
車両100は、1つ以上のモジュールを含むことができ、その少なくとも幾つかは、ここにおいて記述される。モジュールは、プロセッサ110により実行されると、ここにおいて記述される種々のプロセスの1つ以上を実現するコンピュータ読取り可能プログラムコードとして実現できる。モジュールの1つ以上は、プロセッサ110の構成要素であることができ、または、モジュールの1つ以上は、プロセッサ110が動作可能に接続されている他の処理システム上で実行でき、および/または、他の処理システムの間で分散できる。モジュールは、1つ以上のプロセッサ110により実行可能な命令(例えば、プログラムロジック)を含むことができる。代替的に、または追加的に、1つ以上のデータ格納装置115は、そのような命令を含むことができる。一般的に、ここにおいて使用されているように、モジュールという用語は、特別な作業を実行し、または特別なデータタイプを実現するルーチン、プログラム、オブジェクト、構成要素、データ構造などを含んでいる。更なる態様においては、メモリは、一般的に、上記のモジュールを格納している。モジュールと関連付けられているメモリは、プロセッサ内に埋め込まれているバッファまたはキャッシュ、RAM、ROM、フラッシュメモリ、または他の適切な電子格納媒体であってよい。更なる態様においては、本開示により想定されるモジュールは、特定用途向け集積回路(ASIC)、システムオンチップ(SoC)のハードウェア構成要素、プログラマブルロジックアレイ(PLA)、または、開示される機能を実行するための、定義された構成セット(例えば、命令)と共に埋め込まれている他の適切なハードウェア構成要素として実現される。
【0085】
1つ以上の配置においては、ここにおいて記述されるモジュールの1つ以上は、例えば、ニューラルネットワーク、ファジーロジック、または他のマシン学習アルゴリズムなどの、人工または演算知能要素を含むことができる。更に、1つ以上の配置においては、モジュールの1つ以上は、ここにおいて記述される複数のモジュールの間で分散できる。1つ以上の配置においては、ここにおいて記述されるモジュールの2つ以上は、単一のモジュールに組み合わせることができる。
【0086】
車両100は、1つ以上の自律運転モジュール160を含むことができる。自律運転モジュール160は、センサシステム120から、および/または、車両100に関する、および/または、車両100の外部環境に関する情報を捕捉できる任意の他のタイプのシステムからデータを受信するように構成できる。1つ以上の配置においては、自律運転モジュール160は、1つ以上の運転シーンモデルを生成するために、そのようなデータを使用できる。自律運転モジュール160は、車両100の位置および速度を決定できる。自律運転モジュール160は、障害物の、または交通標識、木、低木、近くの車両、歩行者などを含む他の環境的特徴の位置を決定できる。
【0087】
自律運転モジュール160は、複数の衛星からの信号に基づく、または、車両100の現在の状態を決定するために、または、マップを作成するとき、または、マップデータに関しての車両100の位置を決定するときの何れかの使用のために、その環境に関しての車両100の位置を決定するために使用できる任意の他のデータおよび/または信号に基づく、グローバル座標における車両100の位置および向きを推定するために、ここにおいて記述されるプロセッサ110および/またはモジュールの1つ以上による使用のために、車両100の外部環境内の障害物に対する位置情報を受信および/または決定するように構成できる。
【0088】
自律運転モジュール160は、独立して、または、軌道予測システム170と組み合せて、センサシステム120により取得されるデータ、運転シーンモデル、および/または任意の他の適切な供給源からのデータに基づいて、走行経路、車両100に対する現在の自律運転操縦、将来の自律運転操縦、および/または、現在の自律運転操縦に対する修正を決定するように構成できる。「運転操縦」とは、車両の動きに影響を与える1つ以上の行動を意味している。運転操縦の例としては、幾つかの可能性を挙げれば、加速、減速、制動、方向転換、車両100の側方向への移動、走行車線の変更、走行車線への合流、および/または後退がある。自律運転モジュール160は、決定された運転操縦を実現するように構成できる。自律運転モジュール160は、直接または間接的に、そのような自律運転操縦を実現させることができる。ここにおいて使用されているように、「させる」または「させている」とは、直接または間接的な方法の何れかで、ある事象または行動を起こさせる、起こすように命令する、起こすように指示する、および/または起こることを可能にする、または、そのような事象または行動が起こり得る状態に少なくともなるようにさせる、命令する、指示する、および/または、なることを可能にするということを意味している。自律運転モジュール160は、種々の車両機能を実行し、および/または、データを車両100またはその1つ以上のシステム(例えば、車両システム140の1つ以上)に送信し、およびそれらから受信し、それらと相互作用し、および/またはそれらを制御するように構成できる。
【0089】
詳細な態様がここにおいて開示されている。しかし、開示されている態様は、例としてのみであることが意図されているということは理解されるべきである。従って、ここにおいて開示される特定の構造および機能の詳細は、制限的に解釈されるべきではなく、請求項に対する単なる根拠として解釈され、および、当業者が、実質的に任意の適切に詳述されている構造において、ここにおける態様を種々に採用するように教示するための単なる代表的な根拠として解釈されるべきである。更に、ここにおいて使用されている用語およびフレーズは、制限的であることは意図されておらず、可能な実現形態の理解可能な記述を提供することが意図されている。種々の態様が図全体において示されているが、態様は、例示されている構造または適用に制限されない。
【0090】
図におけるフローチャートおよびブロック図は、種々の態様に係る、システム、方法、およびコンピュータプログラム製品の可能な実現形態のアーキテクチャ、機能、および動作を例示している。この点について、フローチャートまたはブロック図における各ブロックは、指定された論理機能を実現するための1つ以上の実行可能な命令を備えているモジュール、セグメント、またはコードの部分を表わすことができる。幾つかの代替の実現形態においては、ブロックに記された機能は、図に記されている順序とは異なる順序で起こることができるということにも気付くべきである。例えば、関与する機能によっては、連続して示されている2つのブロックは、実際、実質的に同時に実行でき、または、ブロックは、逆の順序で実行できることもある。
【0091】
上記のシステム、構成要素、および/またはプロセスは、ハードウェア、またはハードウェアとソフトウェアの組み合わせにおいて実現でき、および、1つの処理システムにおいて集中型で実現でき、または、異なる要素が幾つかの相互接続されている処理システムにわたり広がっている分散型において実現できる。ここにおいて記述されている方法を実行するために適合されている任意の種類の処理システムまたは他の装置は適切である。ハードウェアとソフトウェアの典型的な組み合わせは、展開されて実行されると、処理システムが、ここにおいて記述されている方法を実行するように処理システムを制御する、コンピュータ使用可能プログラムコードを有する処理システムであることができる。システム、構成要素、および/またはプロセスはまた、マシンが読み取ることが可能で、ここにおいて記述されている方法およびプロセスを実行するために、マシンにより実行可能な命令のプログラムを実体的に含んでいる、コンピュータプログラム製品、または他のデータプログラム格納装置のようなコンピュータ読取り可能格納装置に埋め込むこともできる。これらの要素もまた、ここにおいて記述されている方法の実現形態を可能にするすべての特徴を備え、処理システムにおいて展開されると、これらの方法を実行できるアプリケーション製品に埋め込むこともできる。
【0092】
更に、ここにおいて記述されている配置は、含まれている、例えば、格納されているコンピュータ読取り可能プログラムコード有している1つ以上のコンピュータ読取り可能媒体に含まれているコンピュータプログラム製品の形状を取ることができる。1つ以上のコンピュータ読取り可能媒体の任意の組み合わせを利用できる。コンピュータ読取り可能媒体は、コンピュータ読取り可能信号媒体、または、コンピュータ読取り可能格納媒体であってよい。「コンピュータ読取り可能格納媒体」というフレーズは、非一時的格納媒体を意味している。コンピュータ読取り可能格納媒体は、例えば、下記に制限されないが、電子的、磁気的、光学的、電磁気的、赤外線、または半導体システム、装置、またはデバイス、または、前述の任意の適切な組み合わせであってよい。コンピュータ読取り可能格納媒体の、より具体的な例(すべてを網羅しているリストではない)としては、下記を挙げることができる。つまり、携帯型コンピュータディスケット、ハードディスクドライブ(HDD)、ソリッドステートドライブ(SSD)、リードオンリメモリ(ROM)、消去可能型プログラマブルリードオンリメモリ(EPROMまたはフラッシュメモリ)、携帯型コンパクトディスクリードオンリメモリ(CD-ROM)、デジタル多目的ディスク(DVD)、光格納装置、磁気格納装置、または前述の任意の適切な組み合わせを挙げることができる。この文書の状況においては、コンピュータ読取り可能格納媒体は、命令実行システム、装置、またはデバイスによる使用のため、またはそれらと接続しての使用のためのプログラムを含む、または格納することができる任意の実体的な媒体であってよい。
【0093】
コンピュータ読取り可能媒体上に含まれているプログラムコードは、下記に制限されないが、無線、ワイヤ線、光ファイバ、ケーブル、RFなど、または前述の任意の適切な組み合わせを含む、任意の適切な媒体を使用して送信できる。本配置の態様に対する動作を実行するためのコンピュータプログラムコードは、Java(登録商標)TM、Smalltalk、C++などのようなオブジェクト指向プログラミング言語、および、「C」プログラミング言語または類似のプログラミング言語のような、従来の手続き型プログラミング言語を含む1つ以上のプログラミング言語の任意の組み合わせにおいて記述できる。プログラムコードは、スタンドアロンソフトウェアパッケージとして、ユーザのコンピュータ上で全部を実行でき、または、ユーザのコンピュータ上で一部を実行でき、または、ユーザのコンピュータ上で一部、そしてリモートコンピュータ上で一部、または、リモートコンピュータまたはサーバ上で全部を実行できる。後者のシナリオの場合、リモートコンピュータは、ローカルエリアネットワーク(LAN)またはワイドエリアネットワーク(WAN)を含む任意のタイプのネットワークを通してユーザのコンピュータに接続でき、または、外部コンピュータへの接続を行うことができる(例えば、インタ―ネットサービスプロバイダを使用するインターネットを通して)。
【0094】
前記の記述は、例示および記述の目的のために提供され、この開示、その適用、または使用を制限することは決して意図されていない。記述は、すべてを網羅していることは意図されておらず、開示を制限することも意図されていない。特別な態様の個々の要素または特徴は、一般的には、その特別な態様には制限されず、適用可能であれば、特に示され、または記述されていなくとも、選択された態様において交換可能であり、使用可能である。これはまた、多くの方法で変形できる。そのような変形例は、開示からの逸脱と見なされるべきではなく、そのような変形例はすべて、開示の範囲内に含まれることが意図されている。
【0095】
ここにおいて使用されているように、A、B、およびCの少なくとも1つというフレーズは、非排他的論理「or」を使用する論理(AまたはBまたはC)を意味していると解釈されるべきである。方法内の種々のステップは、本開示の原則を変更することなく異なる順序で実行しうると理解されるべきである。範囲の開示は、端点を含む、すべての範囲および範囲全体内の更に分割されたすべての範囲の開示を含んでいる。
【0096】
ここにおいて使用されている見出し(「背景技術」や「発明の概要」など)および小見出しは、本開示内の主題の概略的な編成のためのみであることが意図されており、この技術の開示またはその何れの態様も制限することは意図されていない。明確に記述された特徴を有する多数の態様の詳述は、追加的な特徴を有する他の態様、または、明確に記述された特徴の異なる組み合わせを組み入れている他の態様を除外することは意図されていない。
【0097】
ここにおいて使用されているように、「備える」および「含む」という用語、およびそれらの変形例は、連続する、またはリストにおける事項の詳述が、この技術の装置および方法において有用である得る他の類似の事項を除外しないように、非制限的であることが意図されている。同様に、「できる」および「してよい」という用語、およびその変形例は、態様が、ある要素または特徴を備えることができ、または備えてよいという詳述が、それらの要素または特徴を含んでいない本技術の他の態様を除外しないように、非制限的であることが意図されている。ここにおいて使用されているように、「1つの」という用語は、1つ、または2つ以上として定義されている。ここにおいて使用されているように、「複数の」という用語は、2つ、または3つ以上として定義されている。ここにおいて使用されているように、「他の」という用語は、少なくとも第2の、またはより多くのものとして定義されている。
【0098】
本開示の広範囲な教示は、多様な形状で実現できる。従って、この開示は特別な例を含んでいるが、開示の真の範囲は、他の修正が、明細書および下記の請求項を研究すれば当事者には明白となるので、そのように制限されるべきではない。ここにおける1つの態様、または種々の態様への言及は、実施形態または特別なシステムとの関連において記述される特別な特徴、構造、または特性は、少なくとも1つの実施形態または態様に含まれるということを意味している。「1つの態様における」(またはその変形例)というフレーズの出現は、必ずしも同じ態様または実施形態に言及しているわけではない。ここにおいて検討される種々の方法ステップは、示されているのと同じ順序で実行される必要はなく、各方法ステップが、各態様または実施形態において必要とされているわけではないということもまた理解されるべきである。
本明細書に開示される発明は以下の態様を含む。
〔態様1〕
運転者から見た透視図を示している車両ユーザインタフェースに対する軌道を生成するためのシステムであって、
1つ以上のプロセッサと、
前記1つ以上のプロセッサに通信可能に結合されているメモリであって、
前記1つ以上のプロセッサにより実行されると、前記1つ以上のプロセッサに、
エゴ車両に対するエゴ車両予測軌道を生成させ、
前記エゴ車両の外部である道路エージェントに対する少なくとも1つの道路エージェント予測軌道を生成させ、
少なくとも1つの道路エージェント予測軌道が、運転者から見た透視図を示している前記ユーザインタフェース上で表示されると、(1)物体の背後に存在して、前記物体の背後の走行を示しており、且つ(2)前記物体と重なると決定させ、
前記重なりを除去するために、前記少なくとも1つの道路エージェント予測軌道を修正させる命令を含んでいる軌道予測モジュールと、
前記1つ以上のプロセッサにより実行されると、前記1つ以上のプロセッサに、任意の修正された道路エージェント予測軌道を含むように、前記ユーザインタフェースを更新させる命令を含んでいる制御モジュールとを格納しているメモリと、
を備えている、システム。
〔態様2〕
前記重なりを除去するために、前記少なくとも1つの道路エージェント予測軌道を修正する命令は、前記物体と重ならないように、前記少なくとも1つの道路エージェント予測軌道の長さを修正する命令を備えている、態様1に記載のシステム。
〔態様3〕
前記軌道予測モジュールは、
第1道路エージェント予測軌道が、運転者から見た透視図を有している前記ユーザインタフェース上で表示されると、(1)第1物体の背後に存在して、前記第1物体の背後の走行を示しており、且つ(2)前記第1物体と重なると決定し、
第2道路エージェント予測軌道が、運転者から見た透視図を示している前記ユーザインタフェース上で表示されると、(1)前記第1物体と第2物体との間に存在し、且つ(2)前記第2物体と重なると決定し、
それぞれの第1および第2物体と重ならないように、前記第1および第2道路エージェント予測軌道それぞれの長さを修正する更なる命令を含んでいる、態様1に記載のシステム。
〔態様4〕
前記軌道予測モジュールは、
前記物体は、予測軌道を有している道路エージェントではないと決定する更なる命令を含んでいる、態様1に記載のシステム。
〔態様5〕
前記重なりを除去するために、前記少なくとも1つの道路エージェント予測軌道を修正する命令は、
運転者から見た透視図を示している前記ユーザインタフェース上で表示されると、前記道路エージェント予測軌道が前記物体の背後に隠されているように見えるように、前記物体の表示を修正する命令を備えている、態様1に記載のシステム。
〔態様6〕
前記重なりを除去するために、前記少なくとも1つの道路エージェント予測軌道を修正する命令は、
運転者から見た透視図を示している前記ユーザインタフェース上で表示されると、前記道路エージェント予測軌道の第1部分が前記物体の背後に隠されているように見えるように、前記物体の表示を修正し、
前記道路エージェント予測軌道の第2部分を、隠すこと、ダイルートすること、およびブレンドすることから構成されるグループから選択される少なくとも1つの技術を使用して修正する命令を備えている、態様1に記載のシステム。
〔態様7〕
前記重なりを除去するために、前記少なくとも1つの道路エージェント予測軌道を修正する命令は、
前記道路エージェント予測軌道を、隠すこと、ダイルートすること、およびブレンドすることから構成されるグループから選択される少なくとも1つの技術を使用して修正する命令を備えている、態様1に記載のシステム。
〔態様8〕
前記軌道予測モジュールは、
運転者から見た透視図を示している前記ユーザインタフェース上で表示されると、少なくとも1つの隠されている道路エージェントが前記物体の背後であると決定し、
少なくとも1つの修正であって、
前記隠されている道路エージェントおよびそれぞれの道路エージェント予測軌道の両者を除去すること、
前記道路エージェント予測軌道の一部を前記物体で隠すこと、前記物体にダイルートすること、または前記物体とブレンドすること、および
前記隠されている道路エージェントを前記物体上に重ね表示することから構成されるグループから選択される少なくとも1つの修正を実行する、
更なる命令を含んでいる、態様1に記載のシステム。
〔態様9〕
前記軌道予測モジュールは、
前記物体は傾斜のある地形であり、運転者から見た透視図を有している前記ユーザインタフェース上で表示されると、前記少なくとも1つの道路エージェント予測軌道が前記傾斜のある地形により少なくとも部分的には隠されると決定し、
運転者から見た透視図を示している前記ユーザインタフェース上で表示されると、前記傾斜のある地形が見えるように前記傾斜のある地形上で延伸しているカーブのある軌道としての表示のために、前記少なくとも1つの道路エージェント予測軌道を修正する、
更なる命令を含んでいる,態様1に記載のシステム。
〔態様10〕
前記道路エージェントは、自動車、オートバイ、自転車、および歩行者の1つであり、
前記車両ユーザインタフェースは、ナビゲーションディスプレイ、多情報ディスプレイ、ヘッドアップディスプレイ(HUD)、頭上搭載ディスプレイ(HMD)、リモートオペレータディスプレイ、およびウェアラブル装置の1つである,態様1に記載のシステム。
〔態様11〕
運転者から見た透視図を示している車両ユーザインタフェースに対する軌道を生成するための非一時的コンピュータ読取り可能媒体であって、1つ以上のプロセッサにより実行されると、前記1つ以上のプロセッサに、
エゴ車両に対するエゴ車両予測軌道を生成させ、
前記エゴ車両の外部である道路エージェントに対する少なくとも1つの道路エージェント予測軌道を生成させ、
少なくとも1つの道路エージェント予測軌道が、運転者から見た透視図を示している前記ユーザインタフェース上で表示されると、(1)物体の背後に存在して、前記物体の背後の走行を示しており、且つ(2)前記物体と重なると決定させ、
前記重なりを除去するために、前記少なくとも1つの道路エージェント予測軌道を修正させ、それにより、修正された予測軌道を作成させ、
任意の修正された道路エージェント予測軌道を含むように、前記ユーザインタフェースを更新させる、
命令を格納している、媒体。
〔態様12〕
運転者から見た透視図を示している車両ユーザインタフェースに対する軌道を生成するための方法であって、
エゴ車両に対するエゴ車両予測軌道を生成することと、
前記エゴ車両の外部である道路エージェントに対する少なくとも1つの道路エージェント予測軌道を生成することと、
少なくとも1つの道路エージェント予測軌道が、運転者から見た透視図を示している前記ユーザインタフェース上で表示されると、(1)物体の背後に存在して、前記物体の背後の走行を示しており、且つ(2)前記物体と重なると決定することと、
前記重なりを除去するために、前記少なくとも1つの道路エージェント予測軌道を修正することと、
任意の修正された道路エージェント予測軌道を含むように、前記ユーザインタフェースの表示を更新することを有している、方法。
〔態様13〕
前記重なりを除去するために、前記少なくとも1つの道路エージェント予測軌道を修正することは、
前記物体と重ならないように、前記少なくとも1つの道路エージェント予測軌道の長さを修正することを有している、態様12に記載の方法。
〔態様14〕
第1道路エージェント予測軌道が、運転者から見た透視図を示している前記ユーザインタフェース上で表示されると、(1)第1物体の背後に存在して、前記物体の背後の走行を示しており、且つ(2)前記第1物体と重なると決定することと、
第2道路エージェント予測軌道が、運転者から見た透視図を示している前記ユーザインタフェース上で表示されると、(1)前記第1物体と第2物体との間に存在し、且つ(2)前記第2物体と重なると決定することと、
それぞれの第1および第2物体と重ならないように、前記第1および第2道路エージェント予測軌道それぞれの長さを修正することを有している、態様12に記載の方法。
〔態様15〕
前記物体は、予測軌道を有している道路エージェントではないと決定することを更に有している、態様12に記載の方法。
〔態様16〕
第1道路エージェント予測軌道が、運転者から見た透視図を示している前記ユーザインタフェース上で表示されると、(1)物体の背後に存在して、前記物体の背後の走行を示しており、且つ(2)前記物体と重なると決定することと、
第2道路エージェント予測軌道が、前記物体に重なると決定することと、
運転者から見た透視図を示している前記ユーザインタフェース上で表示されると、前記第1および第2道路エージェント予測軌道の両者が前記物体の背後に隠されているように見えるように前記物体の表示を修正することと、
を有している、態様12に記載の方法。
〔態様17〕
第1道路エージェント予測軌道が、運転者から見た透視図を有している前記ユーザインタフェース上で表示されると、(1)物体の背後に存在して、前記物体の背後の走行を示しており、且つ(2)前記物体と重なると決定することと、
第2道路エージェント予測軌道が、前記物体に重なると決定することと、
運転者から見た透視図を示している前記ユーザインタフェース上で表示されると、前記第1道路エージェント予測軌道が前記物体の背後に隠されているように見えるように前記物体の表示を修正することと、
前記第2道路エージェント予測軌道を、隠すこと、ダイルートすること、およびブレンドすることから構成されるグループから選択される少なくとも1つの技術を使用して修正することと、
を有している、態様12に記載の方法。
〔態様18〕
第1道路エージェント予測軌道が、運転者から見た透視図を示している前記ユーザインタフェース上で表示されると、(1)物体の背後に存在して、前記物体の背後の走行を示しており、且つ(2)前記物体と重なると決定することと、
第2道路エージェント予測軌道が、前記物体に重なると決定することと、
前記第1および第2道路エージェント予測軌道の両者を、隠すこと、ダイルートすること、およびブレンドすることから構成されるグループから選択される少なくとも1つの技術を使用して修正することと、
を有している、態様12に記載の方法。
〔態様19〕
少なくとも1つの隠されている道路エージェントが、前記物体の背後に隠されていると決定することと、
少なくとも1つの修正であって、
前記隠されている道路エージェントおよび関連付けられている道路エージェント予測軌道の両者を除去すること、
前記関連付けられている道路エージェント予測軌道の一部を前記物体で隠すこと、前記物体にダイルートすること、または前記物体とブレンドすること、および
前記隠されている道路エージェントを前記物体に重ね表示することから構成されるグループから選択される少なくとも1つの修正を実行することと、
を有している、態様1に記載の方法。
〔態様20〕
前記物体は傾斜のある地形であり、前記少なくとも1つの道路エージェント予測軌道が、前記傾斜のある地形により少なくとも部分的には隠されると決定することと、
運転者から見た透視図を示している前記ユーザインタフェース上で表示されると、前記傾斜のある地形が見えるように前記傾斜のある地形上で延伸しているカーブのある軌道としての表示のために、前記少なくとも1つの道路エージェント予測軌道を修正することと、を有している、態様1に記載の方法。
図1
図2
図3
図4A-4E】
図5A-5E】
図6
図7
図8A-8C】
図9A-9C】
図10
図11A-11E】
図12
図13A-13B】
図14
図15
図16A-16C】
図17
図18A-18B】
図18C-18E】
図19
図20
図21A-21B】
図22
図23A-23D】
図24A-24D】
図25
図26A-26D】
図27A-27D】
図28
図29A-29E】
図30
図31A-31C】
図32
図33A-33C】
図34
図35A-35C】
図36A-36C】
図37A-37C】
図38A-38B】