特許 7438222 交通参加者の運転マヌーバ予測のための方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-02-15

(45)【発行日】2024-02-26

(54)【発明の名称】交通参加者の運転マヌーバ予測のための方法

(51)【国際特許分類】

   G08G 1/09 20060101AFI20240216BHJP

   G08G 1/16 20060101ALI20240216BHJP

【ＦＩ】

G08G1/09 H

G08G1/16 A

【請求項の数】 13

(21)【出願番号】P 2021537907

(86)(22)【出願日】2019-12-13

(65)【公表番号】

(43)【公表日】2022-03-03

(86)【国際出願番号】 US2019066289

(87)【国際公開番号】W WO2020139587

(87)【国際公開日】2020-07-02

【審査請求日】2021-08-06

(31)【優先権主張番号】62/785,339

(32)【優先日】2018-12-27

(33)【優先権主張国・地域又は機関】US

(31)【優先権主張番号】16/688,603

(32)【優先日】2019-11-19

(33)【優先権主張国・地域又は機関】US

(73)【特許権者】

【識別番号】313005662

【氏名又は名称】コンチネンタル オートモーティブ システムズ インコーポレイテッド

【氏名又は名称原語表記】ＣＯＮＴＩＮＥＮＴＡＬ ＡＵＴＯＭＯＴＩＶＥ ＳＹＳＴＥＭＳ， ＩＮＣ．

【住所又は居所原語表記】１ Ｃｏｎｔｉｎｅｎｔａｌ Ｄｒｉｖｅ， Ａｕｂｕｒｎ Ｈｉｌｌｓ， Ｍｉｃｈｉｇａｎ ４８３２６－１５８１， ＵＳＡ

(74)【代理人】

【識別番号】100114890

【弁理士】

【氏名又は名称】アインゼル・フェリックス＝ラインハルト

(74)【代理人】

【識別番号】100098501

【弁理士】

【氏名又は名称】森田 拓

(74)【代理人】

【識別番号】100116403

【弁理士】

【氏名又は名称】前川 純一

(74)【代理人】

【識別番号】100134315

【弁理士】

【氏名又は名称】永島 秀郎

(74)【代理人】

【識別番号】100135633

【弁理士】

【氏名又は名称】二宮 浩康

(74)【代理人】

【識別番号】100162880

【弁理士】

【氏名又は名称】上島 類

(72)【発明者】

【氏名】シャン チャン

【審査官】佐々木 佳祐

(56)【参考文献】

【文献】特開２０１６－０５１４６５（ＪＰ，Ａ）

【文献】特開２０１０－０８６２６９（ＪＰ，Ａ）

【文献】特開２０１８－０５５１４１（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０８Ｇ １／００－９９／００

(57)【特許請求の範囲】

【請求項1】

自律制御可能な車両の交通をナビゲートする方法であって、前記方法が、
第１の車両に配置されたシステムが、前記第１の車両に配置された少なくとも１つの画像センサを用いて交通環境内の少なくとも１つのターゲット車両を検出するステップと、
前記システムが、前記第１の車両に配置された複数のセンサを用いて、前記交通環境の情報および少なくとも１つの前記ターゲット車両の情報を取得するステップであって、前記交通環境の情報は、前記少なくとも１つのターゲット車両と、静止および／または非静止の他の交通参加者、ならびに車道との間の関係の交通状況を含み、前記少なくとも１つの前記ターゲット車両の情報は、前記第１の車両に配置された前記少なくとも１つの画像センサによりキャプチャされた画像からの、前記少なくとも１つの前記ターゲット車両に対応する画像領域の局所領域特徴マップを含む、ステップと、
前記システムが、前記交通状況および前記局所領域特徴マップに基づいて、未来時間に対して、前記第１の車両に配置されたコントローラを用いて少なくとも１つの前記ターゲット車両の運転マヌーバを予測するステップと、
前記システムが、少なくとも１つの前記ターゲット車両の予測された運転マヌーバに基づいて、前記コントローラを用いて、少なくとも１つの前記ターゲット車両の未来位置との衝突を回避する、前記第１の車両用の推奨経路を生成するステップと、
を含み、
前記少なくとも１つの前記ターゲット車両の運転マヌーバを予測する前記ステップが、前記交通状況および前記局所領域特徴マップを受けとって少なくとも１つの前記ターゲット車両の可能な位置および運転マヌーバを予測するリカレントニューラルネットワークを利用することを含む、
方法。

【請求項2】

前記リカレントニューラルネットワークが、複数の未来時間に対して、少なくとも１つの前記ターゲット車両の可能な位置および運転マヌーバを予測する、請求項１記載の方法。

【請求項3】

前記交通環境に関連する情報が、前記第１の車両と少なくとも１つの前記ターゲット車両との間の空間的関係に関連する情報を含む、請求項１または２記載の方法。

【請求項4】

前記交通環境に関連する情報が、少なくとも１つの前記ターゲット車両と他の交通参加者との間の空間的関係に関連する情報を含む、請求項１から３までのいずれか１項記載の方法。

【請求項5】

前記交通環境に関連する情報が、少なくとも１つの前記ターゲット車両と車道の境界との間の空間的関係に関連する情報を含む、請求項１から４までのいずれか１項記載の方法。

【請求項6】

前記交通環境に関連する情報が、少なくとも１つの前記ターゲット車両から直に取得された情報を含む、請求項１から５までのいずれか１項記載の方法。

【請求項7】

前記第１の車両が、運転者の操作を支援するために第１の車両機能の操作を生成する部分的自律車両を含むか、または前記第１の車両が、独立して操作を行う完全自律車両を含む、請求項１から６までのいずれか１項記載の方法。

【請求項8】

交通環境内で自律制御可能な車両をナビゲートするための車両システムナビゲーションシステムであって、
近接する少なくとも１つの交通参加者に関する情報を取得するための検出モジュールであって、前記検出モジュールが、前記少なくとも１つの交通参加者の画像をキャプチャするカメラと、前記自律制御可能な車両内に配置され、前記少なくとも１つの交通参加者の情報を取得するセンサとを備える検出モジュールと、
車両コントローラと、
を備え、
前記車両コントローラは、前記検出モジュールを用いて、前記交通環境の情報および前記少なくとも１つの交通参加者の情報を取得し、前記交通環境の情報は、前記検出モジュールにより検出された、前記少なくとも１つの交通参加者および他の静止および非静止オブジェクト、ならびに車道との間の関係の交通状況を含み、前記少なくとも１つの交通参加者の情報は、前記カメラによりキャプチャされた画像からの、前記少なくとも１つの交通参加者に対応する画像領域の局所領域特徴マップを含み、
前記車両コントローラは、前記交通状況および前記局所領域特徴マップを受けとり、未来の運転マヌーバを示す複数の予測される可能なアクションと、前記未来の運転マヌーバに基づく複数の未来時間ステップにおける前記少なくとも１つの交通参加者の複数の予測される位置とを生成するリカレントニューラルネットワークを実行し、
前記車両コントローラは、前記少なくとも１つの交通参加者の前記複数の予測される未来位置に基づいて前記車両の経路を変更するコマンドを生成する、
車両システムナビゲーションシステム。

【請求項9】

前記車両システムが、前記交通環境内での車両の操作を示す情報を提供する少なくとも１つのセンサを含む、請求項８記載のシステム。

【請求項10】

前記車両コントローラが、前記少なくとも１つの交通参加者と他の交通参加者との間の関係を検出するように構成されている、請求項８または９記載のシステム。

【請求項11】

前記少なくとも１つの交通参加者が、第１の車両を含み、前記車両コントローラが、車道の境界内の前記第１の車両の位置を検出するように構成されている、請求項１０記載のシステム。

【請求項12】

前記車両コントローラが、前記第１の車両から直に、未来の運転マヌーバを示すアクションを検出する、請求項１１記載のシステム。

【請求項13】

前記車両コントローラが、部分的自律車両の一部であり、かつ運転者の操作を支援するために車両機能の操作を生成するか、または前記車両コントローラが、独立して操作を行う完全自律車両を含む第１の車両用のコマンドを生成する、請求項８から１２までのいずれか１項記載のシステム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、自律的な車両操作を支援するために、周囲の車両および交通参加者の運転マヌーバを予測するためのシステムおよび方法に関する。

【0002】

背景技術
自律的に操作できる車両には、データを提供し、周囲の車両および他の交通参加者による運転マヌーバへの反応を可能にするセンサが含まれている。周囲の車両の現在のアクションに反応することにより、運転マヌーバ操作が制限される可能性があり、他の車両の意図に関する不確実性のための幾らかの不正確さが含まれる場合がある。さらに、他の車両の運転マヌーバが発生した後にこれに反応することにより、オプションが制限され、非効率となる可能性もある。

【0003】

本明細書で提供される背景説明は、本開示の文脈を一般的に提示することを目的としている。この背景セクションに記載されている範囲で、本明細書に氏名を挙げている発明者の著作物、ならびにそれ以外で出願時に先行技術とされていない記載の態様はいずれも、明示的にも黙示的にも本開示に対する先行技術として認められない。

【0004】

概要
本開示の例示的な実施形態による、自律制御可能な車両の交通をナビゲートする方法は、とりわけ、第１の車両に配置された少なくとも１つのセンサを用いて交通環境内の少なくとも１つのターゲット車両を検出することと、交通環境の第１の車両および少なくともターゲット車両に配置された複数のセンサを用いて情報を取得することと、交通環境および少なくとも１つのターゲット車両に関連して取得された情報に基づいて、未来時間(future time)に対して、第１の車両に配置されたコントローラを用いて少なくとも１つのターゲット車両の運転マヌーバ(maneuver)を予測することと、少なくとも１つのターゲット車両の予測された運転マヌーバに基づいて、コントローラを用いて、少なくとも１つのターゲット車両の未来位置(future position)との衝突を回避する、第１の車両用の推奨経路を生成することと、を含む。

【0005】

自律制御可能な車両の交通をナビゲートする前述の方法のさらなる実施形態では、交通環境に関する情報を取得するステップは、第１の車両に配置されたカメラによってキャプチャされた画像から局所領域特徴マップを生成することを含む。

【0006】

自律制御可能な車両の交通をナビゲートする前述の方法のうちのいずれかのさらなる実施形態では、少なくとも１つのターゲット車両の運転マヌーバを予測することは、交通環境および局所領域特徴マップについて取得された情報を利用して少なくとも１つのターゲット車両の可能な位置および運転マヌーバを予測するリカレントニューラルネットワークを利用することを含む。
自律制御可能な車両の交通をナビゲートする前述の方法のうちのいずれかのさらなる実施形態では、リカレントニューラルネットワークは、複数の未来時間に対して、少なくとも１つのターゲット車両の可能な位置および運転マヌーバを予測する。

【0007】

自律制御可能な車両の交通をナビゲートする前述の方法のうちのいずれかのさらなる実施形態では、交通環境に関連する情報は、第１の車両と少なくとも１つのターゲット車両との間の空間的関係に関連する情報を含む。

【0008】

自律制御可能な車両の交通をナビゲートする前述の方法のうちのいずれかのさらなる実施形態では、交通環境に関連する情報は、少なくとも１つのターゲット車両と他の交通参加者(traffic participants)との間の空間的関係に関連する情報を含む。

【0009】

自律制御可能な車両の交通をナビゲートする前述の方法のうちのいずれかのさらなる実施形態では、交通環境に関連する情報は、少なくとも１つのターゲット車両と道路の境界との間の空間的関係に関連する情報を含む。

【0010】

自律制御可能な車両の交通をナビゲートする前述の方法のうちのいずれかのさらなる実施形態では、交通環境に関連する情報は、少なくとも１つのターゲット車両から直接に取得された情報を含む。

【0011】

自律制御可能な車両の交通をナビゲートする前述の方法のうちのいずれかのさらなる実施形態では、第１の車両は、運転者の操作を支援するために第１の車両機能の操作を生成する部分的自律車両(partially autonomously vehicle)を含む。

【0012】

自律制御可能な車両の交通をナビゲートする前述の方法のうちのいずれかのさらなる実施形態では、第１の車両は、独立して操作を行う完全自律車両(fully autonomous vehicle)を含む。

【0013】

別の開示された例示的な実施形態による、交通環境内で自律制御可能な車両をナビゲートするための車両ナビゲーションシステムは、とりわけ、近接する交通参加者に関する情報を取得するための検出モジュールと、検出モジュールからの情報に基づいて継続的に更新される局所領域特徴マップと、複数の未来時間ステップにおいて少なくとも１つの交通参加者の複数の予測された可能な未来位置(possible future positions)を生成するためのリカレントニューラルネットワークと、少なくとも１つの交通参加者の複数の予測された未来位置に基づいて車両の経路を変更するコマンドを生成するための車両コントローラと、を備える。

【0014】

前述の車両ナビゲーションシステムのさらなる実施形態では、車両検出モジュールは、少なくとも１つの交通参加者、車両を取り囲む他の静止および非静止オブジェクトの画像をキャプチャするカメラを備える。

【0015】

前述の車両ナビゲーションシステムのうちのいずれかのさらなる実施形態では、少なくとも１つのセンサは、交通環境内での車両の操作を示す情報を提供する。

【0016】

前述の車両ナビゲーションシステムのうちのいずれかのさらなる実施形態では、車両コントローラは、少なくとも１つの交通参加者と他の交通参加者との間の関係を検出するように構成されている。

【0017】

前述の車両ナビゲーションシステムのうちのいずれかのさらなる実施形態では、少なくとも１つの交通参加者は、第１の車両を含み、車両コントローラは、車道の境界内の第１の車両の位置を検出するように構成されている。

【0018】

前述の車両ナビゲーションシステムのうちのいずれかのさらなる実施形態では、車両コントローラは、第１の車両から直接に、未来の運転マヌーバを示すアクションを検出する。

【0019】

前述の車両ナビゲーションシステムのうちのいずれかのさらなる実施形態では、車両コントローラは、部分的自律車両の一部を生成し、かつ運転者の操作を支援するための車両機能の操作を生成する。

【0020】

前述の車両ナビゲーションシステムのうちのいずれかのさらなる実施形態では、車両コントローラは、独立して操作を行う完全自律型車両を含む第１の車両用のコマンドを生成する。

【0021】

本明細書に開示されるこれらおよび他の特徴は、以下の明細書および図面から最もよく理解することができ、以下はその簡単な説明である。

【図面の簡単な説明】

【0022】

【図1】交通環境内の例示的なナビゲーションシステムを含む例示的な車両の概略図である。

【図2】自律運転用の例示的な車両ナビゲーションシステムの概略図である。

【図3】例示的なナビゲーションシステムの実施形態を利用する車両用の例示的なナビゲーションステップを示すフロー図である。

【0023】

詳細な説明
図１を参照すると、第１の車両１０は、車両１２，１４などの周囲の交通参加者の操作を評価し、かつ他の車両１２，１４によって実行される潜在的な運転マヌーバを予測するシステム１５を含む。第１の車両１０は、少なくとも１つの周囲の車両および／または交通参加者を示す情報を取得するためのカメラ１６およびレーダデバイス２４を含む。周囲の交通参加者に関する情報を提供する他の感知装置を利用することができ、それらが本開示の文脈内にあることを理解されたい。

【0024】

第１の車両１０は、予測を使用して予測アクションを実行し、意図しない遅延を回避し、乗員の快適さを改善し、かつ改善された交通管理を提供するための経路を定義する。さらに、結果として得られる経路は、他の交通参加者との経路の潜在的で望ましくない交差を予測することによって、事故を回避しうる。開示されたシステム１５は、車両１０、他の車両１２，１４、および静的構造内の多くの異なるセンサシステムからの情報を組み合わせることによって、車道２０、および車道に近接する路肩２５に沿った交通状況を示すデータを抽出する。交通環境内のセンサからの組み合わされた情報は、使用されてターゲット車両１２、１４に対応する画像領域の特徴マップを構築し、かつリカレントニューラルネットワーク（ＲＮＮ）で組み合わされて、１２’，１４’で示されるように、未来時間ステップ［ｔ０，ｔ１，ｔ２，…，ｔｎ］においてターゲット車両１２，１４の可能な運転マヌーバおよび経路を予測する。

【0025】

図１を引き続き参照しながら図２を参照すると、例示的に開示されたシステム１５が、第１の車両１０に設けられている。システム１５は、車両コントローラ２５の制御を指示するソフトウェアとして実装されうる。システム１５はまた、車両にすでに設けられているセンサおよび他の検出デバイスからの情報を使用する別個のシステムとして提供されうる。車両１０は、完全自律車両、部分的自律車両であってよく、または運転者の操作を支援する特徴を含んでもよい。

【0026】

車両１０は、２２で概略的に示されている既存の交通状況に関して取得された情報を収集および使用して、所望の経路を生成する。交通状況２２は、ターゲット車両１２，１４と、静止および／または非静止の他の交通参加者、ならびに車道２０との間の関係である。交通状況２２は、１つの例示的な実施形態では、センサ融合モジュールからの出力を処理することによって取得される。センサ融合モジュールは、レーダー２４、カメラ１６、ならびに予測モデルおよびネットワークによって車両１０の経路を定義および／または変更するために使用されるマップ／位置特定モジュールなど、様々な異なる入力ソースからオブジェクト情報、車線情報、ならびに道路端部情報を収集して融合する。

【0027】

例示的に開示されたシステム１５は、交通状況２２、およびターゲット車両１２，１４のキャプチャされた画像１８に関連して収集されたデータから局所領域特徴マップ２８を生成する。例示的な画像１８は、検出システムから取得される。この実施例では、検出システムは、第１の車両１０に設けられたカメラ１６を備える。局所領域特徴マップ２８は、２つの主要ステップを使用して生成される。例示的な第１のステップには、生のカメラ画像１８から局所領域特徴マップを取得することを含む。３４に概略的に示されているように、キャプチャされた画像内の車両１２，１４の検出および位置特定を可能にするために、コンピュータビジョン技術が生のカメラ画像１８に適用される。対象のターゲット車両１２の画像領域は、この場合、転置された変換層を含むことなく、全ての畳み込み層から構成される完全畳み込みネットワーク（ＦＣＮ）２６として構築される。ＦＣＮ２６は、他のターゲット車両１２、１４に直接に関連する情報を含む特徴マップ２８を抽出するために使用される。

【0028】

リカレントニューラルネットワーク３０（ＲＮＮ）によって利用される完全畳み込みネットワーク２６を生成するために、情報が取得されて使用される。ＲＮＮ３０は、ターゲット車両１２，１４のそれぞれについての運転マヌーバの予測３２を提供し、これらの予測を車両コントローラ２５に通信する。車両コントローラ２５は、予測３２を使用して、車両の操作を変更して潜在的なターゲット車両の動きに適応して考慮する。

【0029】

交通状況情報２２および局所領域特徴マップ２８は、訓練されたＲＮＮ３０に供給されて、ターゲット車両１２，１４の未来の運転マヌーバを推測する。ＲＮＮ３０によって確認および利用される情報の例には、ターゲット車両１２，１４が左右の車線マーカ３６および／または路肩２５からどれだけ離れているか／近づいているか、ならびにどの方向指示器が作動されているかなど、ターゲット車両１２，１４から直接に取得される情報が含まれる。

【0030】

以前のシステムは、車線に対するターゲット車両の横方向の運動学的情報に依存して、可能な未来の運転マヌーバを推測するのを支援する。しかしながら、たとえセンサ融合を使用しても、横方向の運動学的情報および車線推定は、不明確な情報を提供し、そのような「直接的な指標」に基づくアルゴリズムは偽陽性エラーの影響を受けやすい。対照的に、開示されたシステムおよび方法は、機械学習技術を活用して、生のカメラ画像１８から情報（例えば、車両が車線マーカ３６からどれだけ離れているか／近づいているか）を直接に抽出する。生のカメラ映像１８は、オブジェクトおよび車線の情報を別々に処理してその後で組み合わせる代わりに、直接に利用される。したがって、例示的なシステム１５は、不確実性を大幅に低減する。また、本開示で提案する方法を用いて、方向指示器などの運転者の意図に関連するより抽象的な情報さえも抽出できて特徴マップ２８に含んで、システム１５からの予測のロバスト性をさらに強化することができる。

【0031】

図１および図２を引き続き参照しながら図３を参照すると、開示された方法の例示的な実施形態が、４０として概略的に示されている。例示的な方法４０は、第１の車両１０に配置された少なくとも１つのセンサ１６，２４を用いて、交通環境２２内の少なくとも１つのターゲット車両１２，１４を検出することによって開始する。他の交通参加者の検出は、第１の車両１０の前後および横にある他の車両の検出を含む。検出は、既知でありかつ第１の車両１０内に設置されている、センサおよびカメラを用いて提供される。特定の情報が、４４に示されているように、センサ１６，２４を用いて取得される。特定の情報には、車道２０、車線マーカ３６、および路肩２５内の他の交通参加者に対する現在の位置を含みうる。さらに、他の車両１２から直接に、情報が収集される。他の車両１２，１４からの直接的な情報には、方向指示器の作動およびブレーキの作動を含みうる。他の車両１２，１４の画像は、他の車両から直接に、操作が取得されて利用されるように処理される。収集された情報は、４６に示されているように、他の車両１２，１４および交通参加者の運転マヌーバを予測するために使用される。この例示的な実施形態では、システム１５は、第１の車両１０を制御するために使用される実用的な情報を生成するためのモジュールおよび命令として、車両コントローラ２５に実装される。この例示的な実施形態では、ＲＮＮ３０は、少なくとも１つの未来時間に対して、他の車両の少なくとも１つおよび／または複数の運転マヌーバを予測するために利用される。実際には、ＲＮＮ３０は、感知された状態の変化に基づいて常に更新され、単一の予測経路が最も可能性が高くなるまで狭められた、未来時間に対する複数の経路を予測する。代替的な経路もさらに判定される。いったん他の車両１２，１４の経路が理解されて予測されると、例示的なシステム１５は、４８に示されているように、第１の車両１０用の推奨経路を生成する。予測経路は、他の車両１２，１４の未来位置との衝突を回避するように判定され、かつ以前のステップで収集されて継続的に更新される情報に基づいている。

【0032】

例示的なシステム１５および方法は、予測結果のより高い解像度を提供する。以前のシステムは、限られた時間範囲内でのＴＰＯの可能性のある未来の運転マヌーバ、例えば、次の２秒以内の左への車線変更しか予測できない。例示的なシステムによれば、リカレントニューラルネットワークの出力のサイズが可変であるために、未来時間ステップ［ｔ０，ｔ１，ｔ２，…，ｔｎ］における交通参加者の運転マヌーバの確率を予測することができる。

【0033】

例示的な実施形態を開示してきたが、当業者であれば、特定の修正が本開示の範囲内に入るであろうことを認識するであろう。そのため、本開示の範囲および内容を判定するために、以下の特許請求の範囲を検討すべきである。

【図1】

【図2】

【図3】