▶ モービルアイ ビジョン テクノロジーズ リミテッドの特許一覧
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-04-04
(45)【発行日】2022-04-12
(54)【発明の名称】将来経路を推定するシステム及び方法
(51)【国際特許分類】
G08G 1/16 20060101AFI20220405BHJP
G06T 7/00 20170101ALI20220405BHJP
【ＦＩ】
G08G1/16 C
G06T7/00 350C
【請求項の数】
21
(21)【出願番号】P 2018530622
(86)(22)【出願日】2017-01-05
(65)【公表番号】
(43)【公表日】2019-04-04
(86)【国際出願番号】 IB2017000038
(87)【国際公開番号】W WO2017118907
(87)【国際公開日】2017-07-13
【審査請求日】2019-12-27
(31)【優先権主張番号】62/275,046
(32)【優先日】2016-01-05
(33)【優先権主張国・地域又は機関】US
(31)【優先権主張番号】62/373,153
(32)【優先日】2016-08-10
(33)【優先権主張国・地域又は機関】US
(73)【特許権者】
【識別番号】515168961
【氏名又は名称】モービルアイ ビジョン テクノロジーズ リミテッド
【住所又は居所原語表記】Ｐ．Ｏ．Ｂ． ４５１５７，１３ ＨＡＲＴＯＭ ＳＴＲＥＥＴ， ＨＡＲ ＨＯＴＺＶＩＭ， ＪＥＲＵＳＡＬＥＭ， ９７７７５１３ ＩＳＲＡＥＬ
(74)【代理人】
【識別番号】110000877
【氏名又は名称】龍華国際特許業務法人
(72)【発明者】
【氏名】フーベルマン，デイビッド
(72)【発明者】
【氏名】シャマ，シェイクド
(72)【発明者】
【氏名】シュプリンガー，オフェル
【審査官】マキロイ 寛済
(56)【参考文献】
【文献】特開平１０－０６９５９８（ＪＰ，Ａ）
【文献】米国特許出願公開第２０１０／００９８２９５（ＵＳ，Ａ１）
【文献】特開２０１３－１９０９３６（ＪＰ，Ａ）
【文献】特開２０１５－１４０１８１（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０８Ｇ １／１６
Ｇ０６Ｔ ７／００
(57)【特許請求の範囲】
【請求項1】
車両の現在位置の先の将来経路を推定するシステムであって、少なくとも１つのプロセッサを含み、前記少なくとも１つのプロセッサは、道路を走行中の車両の任意の現在位置の先の環境の画像を取得することと、
道路を走行中の車両の先の環境の複数のトレーニング画像上で将来経路を推定するようにトレーニングされたトレーニング済みシステムを取得することであって、前記トレーニング済みシステムは、
前記複数のトレーニング画像を取得することであって、前記複数のトレーニング画像の各１つは、ターゲット車両の先の環境の画像である、トレーニング画像を取得することと、
前記複数のトレーニング画像の各１つに関して、前記それぞれのターゲット車両のそれぞれの現在位置の先の前記それぞれのターゲット車両のそれぞれの予め記憶された経路を取得し、前記複数のトレーニング画像の各１つに関して、前記それぞれの現在位置の先の前記それぞれのターゲット車両の前記それぞれの予め記憶された経路を使用して、前記それぞれの現在位置の先の前記それぞれのターゲット車両のそれぞれの将来経路をマークすることと、
入力された画像を所与として、前記複数のトレーニング画像と、前記複数のトレーニング画像の各１つに関して前記マークされたそれぞれの将来経路とを使用して、予測された将来の経路を提供するように、前記トレーニング済みシステムをトレーニングすることと、
によってトレーニングされる、トレーニング済みシステムを取得することと、
前記トレーニング済みシステムを前記車両の前記任意の現在位置の先の前記環境の前記画像に適用することと、
前記トレーニング済みシステムの前記画像への適用に基づいて、前記任意の現在位置の先の、前記車両の推定された将来経路を提供することと、
前記車両の前記任意の現在位置の先の前記推定された前記将来経路を利用して、前記車両の操舵制御機能の制御信号を提供することと、
前記車両の前記将来経路に位置する１つ又は複数の車両、もしくは前記車両の前記将来経路の近傍に位置する１つ又は複数の車両を検出するに当たり、前記車両の前記任意の現在位置の先の前記推定された前記将来経路を利用することと、
前記将来経路が推定される前記車両の前記将来経路又はその近傍にあると特定された１つ又は複数の車両の位置に基づいて、前記将来経路が推定される前記車両の少なくとも１つの移動パラメータを前記将来経路が推定される前記車両の少なくとも１つの電子ユニット又は機械ユニットに変更させることと
を行うようにプログラムされる、システム。
【請求項2】
前記トレーニング済みシステムは、グローバル関数の区分アフィン関数を含む、請求項１に記載のシステム。
【請求項3】
前記グローバル関数は、畳み込み、最大プーリング、又は正規化線形関数を含む、請求項２に記載のシステム。
【請求項4】
前記少なくとも１つのプロセッサは、前記車両の前記任意の現在位置の先の前記推定された将来経路を利用して、前記車両の少なくとも１つの移動パラメータを変更するように前記車両の少なくとも１つの電子ユニット又は機械ユニットを制御するように更にプログラムされる、請求項２又は３に記載のシステム。
【請求項5】
前記少なくとも１つのプロセッサは、前記車両の前記任意の現在位置の先の前記推定された将来経路を利用して、前記車両のドライバーに感覚フィードバックを提供するように更にプログラムされる、請求項２から４のいずれか一項に記載のシステム。
【請求項6】
前記任意の現在位置の先の、前記車両の前記推定された将来経路は、少なくとも１つの分類器を使用して、前記環境の前記画像に現れる１つ又は複数の予め定義された物体を識別することに更に基づく、請求項１から５のいずれか一項に記載のシステム。
【請求項7】
前記少なくとも１つのプロセッサは、前記車両の前記任意の現在位置の先の道路プロファイルを推定するに当たり、前記車両の前記任意の現在位置の先の前記推定された将来経路を利用するように更にプログラムされる、請求項１から６のいずれか一項に記載のシステム。
【請求項8】
前記少なくとも１つのプロセッサは、１つ又は複数の車両が前記車両の前記将来経路又はその近傍にあると判断されることをユーザに示す感覚アラートをトリガーするように更にプログラムされる、請求項１から７のいずれか一項に記載のシステム。
【請求項9】
前記制御信号は、前記１つ又は複数の車両の位置に基づいて、特定される、請求項１から８のいずれか一項に記載のシステム。
【請求項10】
前記少なくとも１つのプロセッサはさらに、
前記車両の前記現在位置の先の道路プロファイルを推定するに当たり、車両の現在位置の先の将来推定経路を利用するようにプログラムされる、請求項１から９のいずれか一項に記載のシステム。
【請求項11】
前記画像を取得することは、第１の視野を有する主視野カメラと、それぞれ前記第１の視野よりも狭い視野を有する第２の狭視野カメラおよび第３の狭視野カメラとから捕捉された画像を取得することを含み、
前記少なくとも１つのプロセッサはさらに、
前記第３の狭視野カメラから捕捉された画像に基づいて、冗長性と、前記主視野カメラおよび前記第２の狭視野カメラから捕捉されたそれぞれの画像に基づいて取得された情報の検証とを提供するようにプログラムされる、請求項１から１０のいずれか一項に記載のシステム。
【請求項12】
少なくとも１つのプロセッサにより、車両の現在位置の先の将来経路を推定する方法であって、前記少なくとも１つのプロセッサにより、道路を走行中の車両の任意の現在位置の先の環境の画像を取得することと、
前記少なくとも１つのプロセッサにより、道路を走行中の車両の先の環境の複数のトレーニング画像上で将来経路を推定するようにトレーニングされたトレーニング済みシステムを取得することであって、前記トレーニング済みシステムは、
前記複数のトレーニング画像を取得することであって、前記複数のトレーニング画像の各１つは、ターゲット車両の先の環境の画像である、トレーニング画像を取得することと、
前記複数のトレーニング画像の各１つに関して、前記それぞれのターゲット車両のそれぞれの現在位置の先の前記それぞれのターゲット車両のそれぞれの予め記憶された経路を取得し、前記複数のトレーニング画像の各１つに関して、前記それぞれの現在位置の先の前記それぞれのターゲット車両の前記それぞれの予め記憶された経路を使用して、前記それぞれの現在位置の先の前記それぞれのターゲット車両のそれぞれの将来経路をマークすることと、
入力された画像を所与として、前記複数のトレーニング画像と、前記複数のトレーニング画像の各１つに関して前記マークされたそれぞれの将来経路とを使用して、予測された将来の経路を提供するように、前記トレーニング済みシステムをトレーニングすることと、
によってトレーニングされる、トレーニング済みシステムを取得することと、
前記少なくとも１つのプロセッサにより、前記トレーニング済みシステムを前記車両の前記任意の現在位置の先の前記環境の前記画像に適用することと、
前記少なくとも１つのプロセッサにより、前記トレーニング済みシステムの前記画像への前記適用に基づいて、前記任意の現在位置の先の、前記車両の推定された将来経路を提供することと、
前記少なくとも１つのプロセッサにより、前記車両の前記任意の現在位置の先の前記推定された前記将来経路を利用して、前記車両の操舵制御機能の制御信号を提供することと、
前記少なくとも１つのプロセッサにより、前記車両の前記将来経路に位置する１つ又は複数の車両、もしくは前記車両の前記将来経路の近傍に位置する１つ又は複数の車両を検出するに当たり、前記車両の前記任意の現在位置の先の前記推定された前記将来経路を利用することと、
前記少なくとも１つのプロセッサにより、前記将来経路が推定される前記車両の前記将来経路又はその近傍にあると特定された１つ又は複数の車両の位置に基づいて、前記将来経路が推定される前記車両の少なくとも１つの移動パラメータを前記将来経路が推定される前記車両の少なくとも１つの電子ユニット又は機械ユニットに変更させることと
を含む、方法。
【請求項13】
前記トレーニング済みシステムは、グローバル関数の区分アフィン関数を含む、請求項１２に記載の方法。
【請求項14】
前記グローバル関数は、畳み込み、最大プーリング、又は正規化線形関数を含む、請求項１３に記載の方法。
【請求項15】
前記少なくとも１つのプロセッサにより、前記車両の前記任意の現在位置の先の前記推定された将来経路を利用して、前記車両の少なくとも１つの移動パラメータを変更するように前記車両の少なくとも１つの電子ユニット又は機械ユニットを制御することを更に含む、請求項１３又は１４に記載の方法。
【請求項16】
前記少なくとも１つのプロセッサにより、前記車両の前記任意の現在位置の先の前記推定された将来経路を利用して、前記車両のドライバーに感覚フィードバックを提供することを更に含む、請求項１３から１５のいずれか一項に記載の方法。
【請求項17】
前記任意の現在位置の先の、前記車両の前記推定された将来経路は、少なくとも１つの分類器を使用して、前記環境の前記画像に現れる１つ又は複数の予め定義された物体を識別することに更に基づく、請求項１２から１６のいずれか一項に記載の方法。
【請求項18】
前記少なくとも１つのプロセッサにより、前記車両の前記任意の現在位置の先の道路プロファイルを推定するに当たり、前記車両の前記任意の現在位置の先の前記推定された将来経路を利用することを更に含む、請求項１２から１７のいずれか一項に記載の方法。
【請求項19】
前記少なくとも１つのプロセッサにより、１つ又は複数の車両が前記車両の前記将来経路又はその近傍にあると判断されることをユーザに示す感覚アラートをトリガーすることを更に含む、請求項１２から１８のいずれか一項に記載の方法。
【請求項20】
前記制御信号は、前記１つ又は複数の車両の位置に基づいて、特定される、請求項１２から１９のいずれか一項に記載の方法。
【請求項21】
コンピュータに請求項１２から２０のいずれか一項に記載の方法を実行させる、プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
関連出願の相互参照
本願は、２０１６年１月５日に出願された米国仮特許出願第６２／２７５，０４６号及び２０１６年８月１０日に出願された米国仮特許出願第６２／３７３，１５３号の優先権の利益を主張する。
本願は、２０１６年１月５日に出願された米国仮特許出願第６２／２７５，０４６号及び２０１６年８月１０日に出願された米国仮特許出願第６２／３７３，１５３号の優先権の利益を主張する。
【0002】
背景
技術分野
本開示は、概して、先進運転支援システム（ＡＤＡＳ）及び自律車両（ＡＶ）システムに関する。更に、本開示は、画像を処理するシステム及び方法、並びに車両の将来経路を推定するシステム及び方法に関する。
技術分野
本開示は、概して、先進運転支援システム（ＡＤＡＳ）及び自律車両（ＡＶ）システムに関する。更に、本開示は、画像を処理するシステム及び方法、並びに車両の将来経路を推定するシステム及び方法に関する。
【背景技術】
【0003】
背景情報
先進運転支援システム（ＡＤＡＳ）及び自律車両（ＡＶ）システムは、道路を走行中の車両の環境中の特定の物体を検出するように設計される物体分類器をカメラ及び他のセンサと共に使用する。物体分類器は、予め定義された物体を検出するように設計され、ＡＤＡＳシステム及びＡＶシステム内で使用されて、検出される物体のタイプ、その位置等に基づいて車両を制御するか又はドライバーにアラートする。しかし、１つの解決策として、道路環境及びその周囲の限りない多様性及び詳細と、多くの場合に動的なその性質（移動中の車両、影等）とに対処するための予め構成された分類器の能力は限られている。ＡＤＡＳシステム及びＡＶシステムは、完全自律動作に向けて発展するにつれて、そのようなシステムの能力を強化することから恩恵を受ける。
先進運転支援システム（ＡＤＡＳ）及び自律車両（ＡＶ）システムは、道路を走行中の車両の環境中の特定の物体を検出するように設計される物体分類器をカメラ及び他のセンサと共に使用する。物体分類器は、予め定義された物体を検出するように設計され、ＡＤＡＳシステム及びＡＶシステム内で使用されて、検出される物体のタイプ、その位置等に基づいて車両を制御するか又はドライバーにアラートする。しかし、１つの解決策として、道路環境及びその周囲の限りない多様性及び詳細と、多くの場合に動的なその性質（移動中の車両、影等）とに対処するための予め構成された分類器の能力は限られている。ＡＤＡＳシステム及びＡＶシステムは、完全自律動作に向けて発展するにつれて、そのようなシステムの能力を強化することから恩恵を受ける。
【発明の概要】
【課題を解決するための手段】
【0004】
概要
以下の詳細な説明は、添付図面を参照する。可能な場合には常に、図面及び以下の詳細な説明において同じ又は同様の部分を指すのに同じ参照番号が使用される。幾つかの例示的な実施形態が本明細書に記載されるが、変更形態、適合形態及び他の実装形態が可能である。例えば、図面に示される構成要素に対する置換、追加、又は変更が可能であり、本明細書に記載される例示的な方法は、開示される方法のステップの置換、順序変更、削除、又は追加により変更が可能である。したがって、以下の詳細な説明は、開示される実施形態及び例に限定されない。
以下の詳細な説明は、添付図面を参照する。可能な場合には常に、図面及び以下の詳細な説明において同じ又は同様の部分を指すのに同じ参照番号が使用される。幾つかの例示的な実施形態が本明細書に記載されるが、変更形態、適合形態及び他の実装形態が可能である。例えば、図面に示される構成要素に対する置換、追加、又は変更が可能であり、本明細書に記載される例示的な方法は、開示される方法のステップの置換、順序変更、削除、又は追加により変更が可能である。したがって、以下の詳細な説明は、開示される実施形態及び例に限定されない。
【0005】
開示される実施形態は、自律ナビゲーション／運転及び／又はドライバー支援技術特徴の一環として又は組み合わせて使用することができるシステム及び方法を提供する。ドライバー支援技術は、完全自律運転とは対照的に、ＦＣＷ、ＬＤＷ、及びＴＳＲ等の車両のナビゲーション及び／又は制御においてドライバーを支援する任意の適する技術を指す。様々な実施形態では、本システムは、車両に搭載可能な１つ、２つ、又は３つ以上のカメラと、車両の環境を監視する関連するプロセッサとを含み得る。更なる実施形態では、追加のタイプのセンサを車両に搭載することができ、且つ自律ナビゲーション及び／又は運転支援システムに使用することができる。本開示の主題の幾つかの例では、本システムは、画像に基づいて車両の将来経路を推定するようにシステム（例えば、例としてディープラーニングアルゴリズムを適用するニューラルネットワーク、ディープラーニングシステム等）をトレーニングするために、道路を走行中の車両の先の環境の画像を処理する技法を提供し得る。ここで開示される主題の更なる例では、本システムは、トレーニング済みシステムを使用して、道路を走行中の車両の先の環境の画像を処理して車両の将来経路を推定する技法を提供し得る。
【0006】
本開示の主題の例によれば、本システムは、車両の現在位置の先の将来経路を推定するシステムが提供される。本システムは、少なくとも１つのプロセッサを含み、少なくとも１つのプロセッサは、道路を走行中の車両の任意の現在位置の先の環境の画像を取得することと、道路を走行中の車両の先の環境の第１の複数の画像上で将来経路を推定するようにトレーニングされたトレーニング済みシステムを取得することと、トレーニング済みシステムを車両の任意の現在位置の先の環境の画像に適用することと、トレーニング済みシステムの画像への適用に基づいて、任意の現在位置の先の、車両の推定将来経路を提供することとを行うようにプログラムされる。
【0007】
幾つかの実施形態では、トレーニング済みシステムは、グローバル関数の区分アフィン関数を含む。グローバル関数は、畳み込み、最大プーリング、及び／又は正規化線形関数（ＲｅＬＵ）を含むことができる。
【0008】
幾つかの実施形態では、本方法は、車両の現在位置の先の推定将来経路を利用して、車両の少なくとも１つの移動パラメータを変更するように車両の少なくとも１つの電子ユニット又は機械ユニットを制御することを更に含み得る。幾つかの実施形態では、本方法は、車両の現在位置の先の推定将来経路を利用して、車両のドライバーに感覚フィードバックを提供することを更に含み得る。
【0009】
幾つかの実施形態では、現在位置の先の、車両の推定将来経路は、少なくとも１つの分類器を使用して、環境の画像に現れる１つ又は複数の予め定義された物体を識別することに更に基づくことができる。
【0010】
本方法は、車両の現在位置の先の推定将来経路を利用して、車両の操舵制御機能の制御点を提供することを更に含み得る。
【0011】
幾つかの実施形態では、トレーニング済みシステムを車両の現在位置の先の環境の画像に適用することは、現在位置の先の、車両の２つ以上の推定将来経路を提供する。
【0012】
幾つかの実施形態では、少なくとも１つのプロセッサは、車両の現在位置の先の道路プロファイルを推定するに当たり、車両の現在位置の先の推定将来経路を利用するように更にプログラムされ得る。
【0013】
幾つかの実施形態では、トレーニング済みシステムを車両の現在位置の先の環境の画像に適用することは、現在位置の先の、車両の２つ以上の推定将来経路を提供し、且つ現在位置の先の、車両の２つ以上の推定将来経路のそれぞれの１つに沿った道路プロファイルを推定することを更に含み得る。
【0014】
幾つかの実施形態では、少なくとも１つのプロセッサは、車両の将来経路又はその近傍に位置する１つ又は複数の車両を検出するに当たり、車両の現在位置の先の推定将来経路を利用するように更にプログラムされ得る。
【0015】
幾つかの実施形態では、少なくとも１つのプロセッサは、車両の将来経路又はその近傍にあると特定された１つ又は複数の車両の位置に基づいて、車両の少なくとも１つの移動パラメータを車両の少なくとも１つの電子ユニット又は機械ユニットに変更させるように更にプログラムされ得る。
【0016】
幾つかの実施形態では、少なくとも１つのプロセッサは、１つ又は複数の車両が車両の将来経路又はその近傍にあると判断されることをユーザに示す感覚アラートをトリガーするように更にプログラムすることができる。
【0017】
画像を処理する方法は、第１の複数のトレーニング画像を取得することであって、第１の複数のトレーニング画像のそれぞれの１つは、道路を走行中の車両の先の環境の画像である、取得することと、第１の複数のトレーニング画像のそれぞれの１つについて、車両のそれぞれの現在位置の先の、車両の予め記憶された経路を取得することと、画像を所与として、車両のそれぞれの現在位置の先の道路を走行中の車両の将来経路を提供するようにシステムをトレーニングすることであって、システムをトレーニングすることは、システムへの入力として第１の複数のトレーニング画像を提供すること、トレーニング各反復において、重みの現在状態によって推定されたそれぞれの暫定的な将来経路及びそれぞれの予め記憶された経路に基づいて損失関数を計算すること、及び損失関数の結果に従ってニューラルの重みを更新することを含む、トレーニングすることとを含み得る。
【0018】
幾つかの実施形態では、第１の複数のトレーニング画像を取得することは、第１の複数のトレーニング画像からの画像のそれぞれの１つについて、画像が捕捉された瞬間における道路上の車両の位置を示すデータを取得することを更に含み得る。幾つかの実施形態では、第１の複数のトレーニング画像を取得することは、第１の複数のトレーニング画像からの少なくとも１つの画像における少なくとも１つのレーンマークの位置を取得することを含み、第１の複数のトレーニング画像からの画像のそれぞれの１つについて、画像が捕捉された瞬間における道路上の車両の位置を示すデータを取得することは、第１の複数のトレーニング画像からの少なくとも１つの画像について、少なくとも１つの画像における少なくとも１つのレーンマークの位置に従って、少なくとも１つの画像が捕捉された瞬間における道路上の車両の位置を特定することを含む。
【0019】
幾つかの実施形態では、少なくとも１つの画像における少なくとも１つのレーンマークの位置に従って、第１の複数のトレーニング画像からの少なくとも１つの画像が捕捉された瞬間における道路上の車両の位置を特定することは、少なくとも１つのレーンマークの位置からの予め定義されたオフセットにおける道路上の車両の位置を特定することを含み得る。
【0020】
幾つかの実施形態では、車両のそれぞれの現在位置の先の、車両の予め記憶された経路は、それぞれの第２の複数のトレーニング画像が捕捉されたそれぞれの瞬間における道路上の車両の位置に基づいて特定され得、第２の複数のトレーニング画像は、現在位置に関連する画像に続けて捕捉された、第１の複数のトレーニング画像からの画像であり得る。
【0021】
幾つかの実施形態では、システムをトレーニングすることは、複数の反復を含み、且つ停止条件が満たされるまで実行され得る。
【0022】
幾つかの実施形態では、本方法は、道路を走行中の車両の先の環境の任意の入力画像を所与として、車両の将来経路推定を提供するように構成されるトレーニング済みシステムを出力として提供することを更に含み得る。
【0023】
幾つかの実施形態では、第１の複数のトレーニング画像は、道路上に比較的希に現れる環境の比較的より多数の画像を含むことができる。幾つかの実施形態では、第１の複数のトレーニング画像は、カーブした道路を含む環境の比較的より多数の画像を含むことができる。幾つかの実施形態では、第１の複数のトレーニング画像は、レーン分割、レーン統合、高速道路出口、高速道路入口、及び／又は分岐合流点を含む環境の比較的より多数の画像を含むことができる。幾つかの実施形態では、第１の複数のトレーニング画像は、車両の先の道路上に、レーンマーク、ボッツドッツ、及び／又は影が少ない環境、又はそれらを含まない環境の比較的より多数の画像を含むことができる。
【0024】
幾つかの実施形態では、停止条件は、予め定義された数の反復であり得る。
【0025】
幾つかの実施形態では、本方法は、システムをトレーニングする最後の反復において到達されたトレーニング済みシステムの構成を有するトレーニング済みシステムを出力として提供することを更に含み得る。
【0026】
本開示の主題の更なる態様によれば、車両の現在位置の先の将来経路を推定する方法が提供される。ここで開示される主題の例によれば、車両の現在位置の先の将来経路を推定する方法は、道路を走行中の車両の任意の現在位置の先の環境の画像を取得することと、道路を走行中の車両の先の環境の第１の複数の画像上で将来経路を推定するようにトレーニングされたトレーニング済みシステムを取得することと、トレーニング済みシステムを車両の任意の現在位置の先の環境の画像に適用して、それにより任意の現在位置の先の車両の推定将来経路を提供することとを含み得る。
【0027】
幾つかの実施形態では、トレーニング済みシステムは、グローバル関数の区分アフィン関数を含む。幾つかの実施形態では、グローバル関数は、畳み込み、最大プーリング、及び／又は正規化線形関数（ＲｅＬＵ）を含むことができる。
【0028】
幾つかの実施形態では、本方法は、車両の現在位置の先の推定将来経路を利用して、車両の少なくとも１つの移動パラメータを変更するように車両の少なくとも１つの電子ユニット又は機械ユニットを制御することを更に含み得る。幾つかの実施形態では、本方法は、車両の現在位置の先の推定将来経路を利用して、車両のドライバーに感覚フィードバックを提供することを更に含み得る。
【0029】
幾つかの実施形態では、現在位置の先の車両の推定将来経路は、少なくとも１つの分類器を使用して、環境の画像に現れる１つ又は複数の予め定義された物体を識別することに更に基づくことができる。
【0030】
本方法は、車両の現在位置の先の推定将来経路を利用して、車両の操舵制御機能の制御点を提供することを更に含み得る。
【0031】
幾つかの実施形態では、将来経路推定トレーニング済みシステムを車両の現在位置の先の環境の画像に適用することは、現在位置の先の、車両の２つ以上の推定将来経路を提供する。
【0032】
幾つかの実施形態では、本方法は、車両の現在位置の先の道路プロファイルを推定するに当たり、車両の現在位置の先の推定将来経路を利用することを更に含み得る。
【0033】
幾つかの実施形態では、将来経路推定トレーニング済みシステムを車両の現在位置の先の環境の画像に適用することは、現在位置の先の、車両の２つ以上の推定将来経路を提供し、且つ現在位置の先の、車両の２つ以上の推定将来経路のそれぞれの１つに沿った道路プロファイルを推定することを更に含み得る。
【0034】
幾つかの実施形態では、本方法は、車両の将来経路又はその近傍に位置する１つ又は複数の車両を検出するに当たり、車両の現在位置の先の推定将来経路を利用することを更に含み得る。
【0035】
幾つかの実施形態では、本方法は、車両の将来経路又はその近傍にあると特定された１つ又は複数の車両の位置に基づいて、車両の少なくとも１つの移動パラメータを車両の少なくとも１つの電子ユニット又は機械ユニットに変更させることを更に含み得る。
【0036】
幾つかの実施形態では、本方法は、その１つ又は複数の車両が車両の将来経路又はその近傍にあると判断されることをユーザに示す感覚アラートをトリガーすることを更に含み得る。
【図面の簡単な説明】
【0037】
図面の簡単な説明
本開示に組み込まれ、本明細書の一部をなす添付図面は、開示される様々な実施形態を示す。
本開示に組み込まれ、本明細書の一部をなす添付図面は、開示される様々な実施形態を示す。
【0038】
【図1】開示される実施形態によるシステムのブロック図表現である。
【図2A】開示される実施形態によるシステムを含む例示的な車両の側面図表現である。
【図2C】開示される実施形態によるシステムを含む車両の別の実施形態の上面図表現である。
【図2D】開示される実施形態によるシステムを含む車両の更に別の実施形態の上面図表現である。
【図2E】開示される実施形態によるシステムを含む車両の更に別の実施形態の上面図表現である。
【図2F】開示される実施形態による例示的な車両制御システムの図表現である。
【図3A】バックミラーと、開示される実施形態による車両撮像システムのユーザインターフェースとを含む車両の内部の図表現である。
【図3B】開示される実施形態による、バックミラーの背後に、車両フロントガラスと対向して位置決めされるように構成されるカメラマウントの例の図である。
【図3D】開示される実施形態による、バックミラーの背後に、車両フロントガラスと対向して位置決めされるように構成されるカメラマウントの例の図である。
【図4】開示される実施形態により、画像を処理してトレーニング済みシステムを提供する方法のフローチャート図である。
【図5A】開示される実施形態により、画像を処理してトレーニング済みシステムを提供する方法の特徴のグラフィカル図である。
【図5B】開示される実施形態により、画像を処理してトレーニング済みシステムを提供する方法の特徴のグラフィカル図である。
【図5C】開示される実施形態により、画像を処理してトレーニング済みシステムを提供する方法の特徴のグラフィカル図である。
【図6】開示される実施形態による、車両の現在位置の先の将来経路を推定する方法の特定の態様のグラフィカル図である。
【図7】本開示の主題の例による、車両の現在位置の先の将来経路を推定する方法のフローチャート図である。
【図8A】幾つかの開示される実施形態による、道路を走行中の車両の先の環境の画像を示す。
【図8B】幾つかの開示される実施形態による、道路を走行中の車両の先の環境の画像を示す。
【図9】幾つかの開示される実施形態による、トレーニングフェーズ中にシステムに提供される画像を示す。
【図10】幾つかの開示される実施形態による、トレーニングフェーズ中にシステムに提供される画像を示す。
【図11A】幾つかの開示される実施形態による、システムをトレーニングする特定の態様のグラフィカル図である。
【図11B】幾つかの開示される実施形態による、システムをトレーニングする特定の態様のグラフィカル図である。
【図12A】開示される実施形態によって推定された将来経路を含む画像を示す。
【図12B】開示される実施形態によって推定された将来経路を含む画像を示す。
【図12C】開示される実施形態によって推定された将来経路を含む画像を示す。
【図12D】開示される実施形態によって推定された将来経路を含む画像を示す。
【図13】開示される実施形態による、高速道路出口を記すために追加された仮想レーンマークを有する入力画像を示す。
【発明を実施するための形態】
【0039】
詳細な説明
ニューラルネットワーク又はディープラーニングシステム等のシステムをトレーニングして、画像に基づいて車両の将来経路を推定する、道路を走行中の車両の先の環境の画像を処理する特徴又はトレーニング済みシステムを使用して、道路を走行中の車両の先の環境の画像を処理して車両の将来経路を推定する特徴について詳細な例を記載する前に、ここで開示される主題の例による方法の実行及び実施に使用することができる車載可能なシステムの様々な可能な実装形態及び構成の説明を提供する。幾つかの実施形態では、車載可能なシステムの様々な例は、車載することができ、車両が移動中に動作することができる。幾つかの実施形態では、車載可能なシステムは、ここで開示される主題の例による方法を実施することができる。
ニューラルネットワーク又はディープラーニングシステム等のシステムをトレーニングして、画像に基づいて車両の将来経路を推定する、道路を走行中の車両の先の環境の画像を処理する特徴又はトレーニング済みシステムを使用して、道路を走行中の車両の先の環境の画像を処理して車両の将来経路を推定する特徴について詳細な例を記載する前に、ここで開示される主題の例による方法の実行及び実施に使用することができる車載可能なシステムの様々な可能な実装形態及び構成の説明を提供する。幾つかの実施形態では、車載可能なシステムの様々な例は、車載することができ、車両が移動中に動作することができる。幾つかの実施形態では、車載可能なシステムは、ここで開示される主題の例による方法を実施することができる。
【0040】
ここで参照する図１は、開示される実施形態によるシステムのブロック図表現である。システム１００は、特定の実装形態の要件に応じた様々な構成要素を含むことができる。幾つかの例では、システム１００は、処理ユニット１１０、画像取得ユニット１２０、及び１つ又は複数のメモリユニット１４０、１５０を含むことができる。処理ユニット１１０は、１つ又は複数の処理デバイスを含むことができる。幾つかの実施形態では、処理ユニット１１０は、アプリケーションプロセッサ１８０、画像プロセッサ１９０、又は任意の他の適する処理デバイスを含むことができる。同様に、画像取得ユニット１２０は、特定の用途の要件に応じて任意の数の画像取得デバイス及び構成要素を含むことができる。幾つかの実施形態では、画像取得ユニット１２０は、画像捕捉デバイス１２２、画像捕捉デバイス１２４、及び画像捕捉デバイス１２６等の１つ又は複数の画像捕捉デバイス（例えば、カメラ）を含むことができる。幾つかの実施形態では、システム１００は、処理ユニット１１０を画像取得デバイス１２０に通信可能に接続するデータインターフェース１２８を含むこともできる。例えば、データインターフェース１２８は、画像取得デバイス１２０により取得された画像データを処理ユニット１１０に送信する任意の有線及び／又は無線の１つ又は複数のリンクを含むことができる。
【0041】
アプリケーションプロセッサ１８０及び画像プロセッサ１９０の両方は、様々なタイプの処理デバイスを含むことができる。例えば、アプリケーションプロセッサ１８０及び画像プロセッサ１９０のいずれか又は両方は、１つ又は複数のマイクロプロセッサ、プリプロセッサ（画像プリプロセッサ等）、グラフィックスプロセッサ、中央演算処理装置（ＣＰＵ）、サポート回路、デジタル信号プロセッサ、集積回路、メモリ、又はアプリケーションの実行並びに画像の処理及び分析に適する任意の他のタイプのデバイスを含むことができる。幾つかの実施形態では、アプリケーションプロセッサ１８０及び／又は画像プロセッサ１９０は、任意のタイプのシングル又はマルチコアプロセッサ、モバイルデバイスマイクロコントローラ、中央演算処理装置等を含むことができる。例えば、Intel（登録商標）、AMD（登録商標）等の製造業者から入手可能なプロセッサを含め、様々な処理デバイスを使用することができ、様々なアーキテクチャ（例えば、x86プロセッサ、ARM（登録商標）等）を含むことができる。
【0042】
幾つかの実施形態では、アプリケーションプロセッサ１８０及び／又は画像プロセッサ１９０は、Mobileye（登録商標）から入手可能な任意のEyeQシリーズのプロセッサを含み得る。これらのプロセッサ設計は、それぞれローカルメモリ及び命令セットを有する複数の処理ユニットを含む。そのようなプロセッサは、複数の画像センサから画像データを受信するビデオ入力を含み得ると共に、ビデオ出力機能を含むこともできる。一例では、EyeQ2（登録商標）は、３３２ＭＨｚで動作する９０ｎｍ－ミクロン技術を使用する。EyeQ2（登録商標）アーキテクチャは、２つの浮動小数点ハイパースレッド３２ビットＲＩＳＣ ＣＰＵ（MIPS32（登録商標）34K（登録商標）コア）、５つのビジョン計算エンジン（ＶＣＥ）、３つのベクトルマイクロコードプロセッサ（ＶＭＰ（登録商標））、Denali６４ビットモバイルＤＤＲコントローラ、１２８ビット内部音響相互接続、デュアル１６ビットビデオ入力及び１８ビットビデオ出力コントローラ、１６チャネルＤＭＡ、及び幾つかの周辺機器を有する。ＭＩＰＳ３４Ｋ ＣＰＵは、５つのＶＣＥ、３つのＶＭＰ（商標）及びＤＭＡ、第２のＭＩＰＳ３４Ｋ ＣＰＵ及びマルチチャネルＤＭＡ、並びに他の周辺機器を管理する。５つのＶＣＥ、３つのＶＭＰ（登録商標）、及びＭＩＰＳ３４Ｋ ＣＰＵは、多機能バンドルアプリケーションにより要求される集中的なビジョン計算を実行することができる。別の例では、開示される例において、第三世代プロセッサであり、EyeQ2（登録商標）よりも６倍強力なEyeQ3（登録商標）を使用し得る。更に他の例では、開示される例において、第４世代プロセッサであるEyeQ4（登録商標）を使用し得る。
【0043】
図１は、処理ユニット１１０に含まれる２つの別個の処理デバイスを示すが、より多数又はより少数の処理デバイスを使用することもできる。例えば、幾つかの例では、１つの処理デバイスを使用して、アプリケーションプロセッサ１８０及び画像プロセッサ１９０のタスクを達成し得る。他の実施形態では、これらのタスクは、３つ以上の処理デバイスにより実行することができる。
【0044】
処理ユニット１１０は様々なタイプのデバイスを含むことができる。例えば、処理ユニット１１０は、コントローラ、画像プリプロセッサ、中央演算処理装置（ＣＰＵ）、サポート回路、デジタル信号プロセッサ、集積回路、メモリ、又は画像を処理及び分析する任意の他のタイプのデバイス等の様々なデバイスを含み得る。画像プリプロセッサは、画像センサから画像を捕捉し、デジタル化し、処理するビデオプロセッサを含むことができる。ＣＰＵは、任意の数のマイクロコントローラ又はマイクロプロセッサを含むことができる。サポート回路は、キャッシュ、電源、クロック、及び入力－出力回路を含め、当技術分野で一般に周知の任意の数の回路であり得る。メモリは、プロセッサにより実行されると、システムの動作を制御するソフトウェアを記憶することができる。メモリは、データベース及び画像処理ソフトウェアを含むことができる。メモリは、任意の数のランダムアクセスメモリ、読み取り専用メモリ、フラッシュメモリ、ディスクドライブ、光学記憶装置、リムーバブル記憶装置、及び他のタイプの記憶装置を含むことができる。一例では、メモリは、処理ユニット１１０とは別個であり得る。別の例では、メモリは、処理ユニット１１０に統合することができる。
【0045】
各メモリ１４０、１５０は、プロセッサ（例えば、アプリケーションプロセッサ１８０及び／又は画像プロセッサ１９０）により実行されると、システム１００の様々な態様の動作を制御することができるソフトウェア命令を含むことができる。これらのメモリユニットは、様々なデータベース及び画像処理ソフトウェアを含むことができる。メモリユニットは、ランダムアクセスメモリ、読み取り専用メモリ、フラッシュメモリ、ディスクドライブ、光学記憶装置、テープ記憶装置、リムーバブル記憶装置、及び／又は任意の他のタイプの記憶装置を含むことができる。幾つかの例では、メモリユニット１４０、１５０は、アプリケーションプロセッサ１８０及び／又は画像プロセッサ１９０とは別個であり得る。他の実施形態では、これらのメモリユニットは、アプリケーションプロセッサ１８０及び／又は画像プロセッサ１９０に統合することができる。
【0046】
幾つかの実施形態では、システムは位置センサ１３０を含むことができる。位置センサ１３０は、システム１００の少なくとも１つの構成要素に関連する位置を特定するのに適する任意のタイプのデバイスを含むことができる。幾つかの実施形態では、位置センサ１３０はＧＰＳ受信機を含むことができる。そのような受信機は、全地球測位システム衛星によりブロードキャストされた信号を処理することにより、ユーザの位置及び速度を特定することができる。位置センサ１３０からの位置情報は、アプリケーションプロセッサ１８０及び／又は画像プロセッサ１９０に提供することができる。
【0047】
幾つかの実施形態では、システム１００は、システム１００を搭載することができる、車両に搭載される様々なシステム、デバイス、及びユニットに動作可能に接続可能であり得、任意の適するインターフェース（例えば、通信バス）を通して、システム１００は車両のシステムと通信することができる。システム１００が協働することができる車両システムの例としては、スロットルシステム、ブレーキシステム、及び操舵システムが挙げられる。
【0048】
幾つかの実施形態では、システム１００はユーザインターフェース１７０を含むことができる。ユーザインターフェース１７０は、情報を提供するか、又はシステム１００の１人若しくは複数のユーザから入力を受信するのに適する任意のデバイスを含み得る。幾つかの実施形態では、ユーザインターフェース１７０は、例えば、タッチスクリーン、マイクロフォン、キーボード、ポインタデバイス、トラックホィール、カメラ、つまみ、ボタン等を含め、ユーザ入力デバイスを含み得る。そのような入力デバイスを用いて、ユーザは、命令若しくは情報をタイプし、音声コマンドを提供し、ボタン、ポインタ、若しくは目追跡機能を使用して、又は情報をシステム１００に通信する任意の他の適する技法を通して画面上のメニュー選択肢を選択することにより、システム１００に情報入力又はコマンドを提供可能であり得る。情報は、同様にシステム１００によりユーザインターフェース１７０を通してユーザに提供することができる。
【0049】
幾つかの実施形態では、システム１００はマップデータベース１６０を含むことができる。マップデータベース１６０は、デジタルマップデータを記憶する任意のタイプのデータベースを含むことができる。幾つかの例では、マップデータベース１６０は、道路、水系特徴、地理的特徴、関心ポイント等を含む様々な項目の、基準座標系における位置に関連するデータを含むことができる。マップデータベース１６０は、そのような項目の位置のみならず、例えば、記憶された任意の特徴に関連する名称を含め、それらの項目に関連する記述子も記憶することができる。幾つかの実施形態では、マップデータベース１６０は、システム１００の他の構成要素と共に物理的に配置することができる。代替又は追加として、マップデータベース１６０又はその部分は、システム１００の他の構成要素（例えば、処理ユニット１１０）からリモートに配置することができる。そのような実施形態では、マップデータベース１６０からの情報は、有線又は無線データ接続を介してネットワークにダウンロードすることができる（例えば、セルラネットワーク及び／又はインターネット等を介して）。
【0050】
画像捕捉デバイス１２２、１２４、及び１２６は、環境から少なくとも１つの画像を捕捉するのに適した任意のタイプのデバイスをそれぞれ含むことができる。更に、任意の数の画像捕捉デバイスを使用して、画像プロセッサに入力する画像を取得することができる。ここで開示される主題の幾つかの例は、１つの画像捕捉デバイスのみを含むか又はそれを用いて実施することができるが、他の例は、２つ、３つ、又は４つ以上の画像捕捉デバイスを含むか又はそれを用いて実施することができる。画像捕捉デバイス１２２、１２４、及び１２６について、図２Ｂ～図２Ｅを参照して以下に更に説明する。
【0051】
システム１００が、例えば、音響センサ、ＲＦセンサ（例えば、レーダー送受信機）、ＬＩＤＡＲセンサを含め、他のタイプのセンサを含むか又はそれに動作可能に関連付けられ得ることが理解される。そのようなセンサは、画像取得デバイス１２０から独立して又は協働して使用することができる。例えば、レーダーシステム（図示せず）からのデータは、画像取得デバイス１２０により取得された画像の処理から受信される処理済み情報を検証して、例えば、画像取得デバイス１２０により取得された画像の処理から生じた特定の誤検知をフィルタリングするために使用することができる。
【0052】
システム１００又はシステム１００の様々な構成要素は、様々な異なるプラットフォームに組み込み得る。幾つかの実施形態では、システム１００は、図２Ａに示されるように、車両２００に含め得る。例えば、車両２００は、図１に関して上述したように、処理ユニット１１０及びシステム１００の任意の他の構成要素を備え得る。幾つかの実施形態では、車両２００は単一の画像捕捉デバイス（例えば、カメラ）のみを備え得、一方、図２Ｂ～図２Ｅに関連して考察した実施形態等の他の実施形態では、複数の画像捕捉デバイスが使用可能である。例えば、図２Ａに示されるように、車両２００の画像捕捉デバイス１２２及び１２４のいずれかは、ＡＤＡＳ（最新運転者支援システム）撮像セットの一部であり得る。
【0053】
画像取得ユニット１２０の一部として車両２００に含まれる画像捕捉デバイスは、任意の適する位置に位置し得る。幾つかの実施形態では、図２Ａ～図２Ｅ及び図３Ａ～図３Ｃに示されるように、画像捕捉デバイス１２２は、バックミラーの近傍に配置し得る。この位置は、車両２００のドライバーと同様の視線を提供し得、ドライバーにとって何が見え、何が見えないのかの判断を支援し得る。
【0054】
画像取得ユニット１２０の画像捕捉デバイスについて、他の位置を使用することもできる。例えば、画像捕捉デバイス１２４は、車両２００のバンパー上又はバンパー内に配置し得る。そのような位置は、広視野を有する画像捕捉デバイスに特に適し得る。バンパーに配置される画像捕捉デバイスの視線は、ドライバーの視線と異なり得る。画像捕捉デバイス（例えば、画像捕捉デバイス１２２、１２４、及び１２６）は、他の位置に配置することもできる。例えば、画像捕捉デバイスは、車両２００のサイドミラーのうちの一方又は両方、車両２００のルーフ、車両２００のフード、車両２００のトランク、車両２００の側部に配置し得、車両２００の任意のウィンドウに搭載し、背後に位置決めし、又は前に位置決めし得、車両２００の前部及び／又は後部のライト又はその近傍等に搭載し得る。画像捕捉ユニット１２０又は画像捕捉ユニット１２０において使用される複数の画像捕捉デバイスの１つである画像捕捉デバイスは、車両のドライバーの視野（ＦＯＶ）と異なるＦＯＶを有することができ、同じ物体を常に見るわけではない。一例では、画像取得ユニット１２０のＦＯＶは、典型的なドライバーのＦＯＶを超えて拡張することができ、したがってドライバーのＦＯＶ外にある物体を撮像することができる。更に別の例では、画像取得ユニット１２０のＦＯＶは、ドライバーのＦＯＶの一部分である。幾つかの実施形態では、画像取得ユニット１２０のＦＯＶは、車両の先の道路のエリア及び可能な場合には道路の周囲もカバーするセクタに対応する。
【0055】
画像捕捉デバイスに加えて、車両２００は、システム１００の様々な他の構成要素を含み得る。例えば、処理ユニット１１０は、車両のエンジン制御ユニット（ＥＣＵ）に統合されるか、又はＥＣＵとは別個に車両２００に含まれ得る。車両２００には、ＧＰＳ受信機等の位置センサ１３０を備えることもでき、車両２００は、マップデータベース１６０並びにメモリユニット１４０及び１５０を含むこともできる。
【0056】
図２Ａは、ここで開示される主題の例による車両撮像システムの概略側面図表現である。図２Ｂは、図２Ａに示される例の概略上面図である。図２Ｂに示されるように、開示される例は、車両２００のバックミラーの近傍及び／又は車両２００のドライバーの近傍に位置する第１の画像捕捉デバイス１２２、車両２００のバンパー領域（例えば、バンパー領域２１０の１つ）上又はその中に位置する第２の画像捕捉デバイス１２４、及び処理ユニット１１０を有するシステム１００を本体に含む車両２００を含むことができる。
【0057】
図２Ｃに示されるように、画像捕捉デバイス１２２及び１２４の両方は、車両２００のバックミラーの近傍及び／又はドライバーの近傍に位置決めし得る。更に、２つの画像捕捉デバイス１２２及び１２４が図２Ｂ及び図２Ｃに示されているが、他の実施形態が３つ以上の画像捕捉デバイスを含み得ることを理解されたい。例えば、図２Ｄ及び図２Ｅに示される実施形態では、第１の画像捕捉デバイス１２２、第２の画像捕捉デバイス１２４、及び第３の画像捕捉デバイス１２６が車両２００のシステム１００に含まれる。
【0058】
図２Ｄに示されるように、画像捕捉デバイス１２２は、車両２００のバックミラーの近傍及び／又はドライバーの近傍に位置決めし得、画像捕捉デバイス１２４及び１２６は、車両２００のバンパー領域（例えば、バンパー領域２１０の１つ）上に位置決めし得る。また、図２Ｅに示されるように、画像捕捉デバイス１２２、１２４、及び１２６は、車両２００のバックミラーの近傍及び／又はドライバーシートの近傍に位置決めし得る。開示される例は、いかなる特定の数及び構成の画像捕捉デバイスにも限定されず、画像捕捉デバイスは、車両２００内及び／又は車両２００上の任意の適する位置に位置決めし得る。
【0059】
開示される実施形態が、特定のタイプの車両２００に限定されず、自動車、トラック、トレーラー、自動二輪車、自転車、自己平衡型輸送デバイス、及び他のタイプの車両を含む全てのタイプの車両に適用可能であり得ることも理解される。
【0060】
第１の画像捕捉デバイス１２２は、任意の適するタイプの画像捕捉デバイスを含むことができる。画像捕捉デバイス１２２は光軸を含むことができる。一例では、画像捕捉デバイス１２２は、グローバルシャッタを有するAptina M9V024 WVGAセンサを含むことができる。別の例では、ローリングシャッタセンサを使用することができる。画像取得ユニット１２０及び画像取得ユニット１２０の一部として実施される任意の画像捕捉デバイスは、任意の所望の画像分解能を有することができる。例えば、画像捕捉デバイス１２２は、分解能１２８０×９６０ピクセルを提供することができ、ローリングシャッタを含むことができる。
【0061】
画像取得ユニット１２０及び画像取得ユニット１２０の一部として実施される任意の画像捕捉デバイスは、様々な光学要素を含むことができる。幾つかの実施形態では、１枚又は複数枚のレンズを含み、例えば、所望の焦点距離及び視野を画像取得ユニット１２０及び画像取得ユニット１２０の一部として実施される任意の画像捕捉デバイスに提供することができる。幾つかの例では、画像取得ユニット１２０の一部として実施される画像捕捉デバイスは、例えば、６ｍｍレンズ又は１２ｍｍレンズ等の任意の光学要素を含むか又はそれに関連付けることができる。幾つかの例では、画像捕捉デバイス１２２は、図２Ｄに示されるように、所望の視野（ＦＯＶ）２０２を有する画像を捕捉するように構成することができる。
【0062】
第１の画像捕捉デバイス１２２は、第１の一連の画像走査線のそれぞれの取得に関連付けられた走査レートを有し得る。走査レートとは、画像センサが、特定の走査線に含まれる各ピクセルに関連付けられた画像データを取得することができるレートを指し得る。
【0063】
図２Ｆは、ここで開示される主題の例による車両制御システムの概略表現である。図２Ｆに示されるように、車両２００は、スロットルシステム２２０、ブレーキシステム２３０、及び操舵システム２４０を含むことができる。システム１００は、１つ又は複数のデータリンク（例えば、データを送信するための任意の有線及び／又は無線の１つ又は複数のリンク）を介して入力（例えば、制御信号）をスロットルシステム２２０、ブレーキシステム２３０、及び操舵システム２４０の１つ又は複数に提供することができる。例えば、画像捕捉デバイス１２２、１２４、及び／又は１２６により取得された画像の分析に基づいて、システム１００は、車両２００をナビゲートする（例えば、加速、ターン、レーンシフト等を行わせることにより）制御信号をスロットルシステム２２０、ブレーキシステム２３０、及び操舵システム２４０の１つ又は複数に提供することができる。更に、システム１００は、車両２００の動作状況（例えば、速度、車両２００がブレーキ及び／又はターン中であるか否か等）を示す入力をスロットルシステム２２０、ブレーキシステム２３０、及び操舵システム２４０の１つ又は複数から受信することができる。
【0064】
図３Ａに示されるように、車両２００は、車両２００のドライバー又は乗員と対話するユーザインターフェース１７０を含むこともできる。例えば、車両アプリケーション内のユーザインターフェース１７０は、タッチスクリーン３２０、つまみ３３０、ボタン３４０、及びマイクロフォン３５０を含み得る。車両２００のドライバー又は乗員は、ハンドル（例えば、例えば、ウィンカーハンドルを含め、車両２００のステアリングコラム上又はその近傍に配置される）及びボタン（例えば、車両２００のハンドルに配置される）等を使用して、システム１００とインタラクトすることもできる。幾つかの実施形態では、マイクロフォン３５０はバックミラー３１０に隣接して位置決めし得る。同様に、幾つかの実施形態では、画像捕捉デバイス１２２は、バックミラー３１０の近傍に配置し得る。幾つかの実施形態では、ユーザインターフェース１７０は、１つ又は複数のスピーカ３６０（例えば、車両オーディオシステムのスピーカ）を含むこともできる。例えば、システム１００は、スピーカ３６０を介して様々な通知（例えば、アラート）を提供し得る。
【0065】
図３Ｂ～図３Ｄは、開示される実施形態による、バックミラー（例えば、バックミラー３１０）の背後に、車両フロントガラスと対向して位置決めされるように構成される例示的なカメラマウント３７０の図である。図３Ｂに示されるように、カメラマウント３７０は、画像捕捉デバイス１２２、１２４、及び１２６を含み得る。画像捕捉デバイス１２４及び１２６は、グレアシールド３８０の背後に位置決めし得、グレアシールド３８０は、フロントガラスに直接接触し得、フィルム及び／又は反射防止材料の組成物を含み得る。例えば、グレアシールド３８０は、一致する傾斜を有するフロントガラスと対向して位置合わせされるように位置決めし得る。幾つかの実施形態では、画像捕捉デバイス１２２、１２４、及び１２６のそれぞれは、例えば、図３Ｄに示されるように、グレアシールド３８０の背後に位置決めし得る。開示される実施形態は、画像捕捉デバイス１２２、１２４及び１２６、カメラマウント３７０、並びにグレアシールド３８０のいかなる特定の構成にも限定されない。図３Ｃは、前から見た図３Ｂに示されるカメラマウント３７０の図である。
【0066】
本開示の恩恵を受ける当業者により理解されるように、上記開示された実施形態に対する多くの変形形態及び／又は変更形態がなされ得る。例えば、全ての構成要素がシステム１００の動作にとって必須であるわけではない。更に、任意の構成要素がシステム１００の任意の適切な部分に配置し得、構成要素は、開示される実施形態の機能を提供しながら、様々な構成に再配置し得る。したがって、上記構成は例であり、上述した構成に関係なく、システム１００は、車両２００の周囲を分析する広範囲の機能を提供することができ、この分析に応答して、車両２００をナビゲート及び／又は他の方法で制御及び／又は操作することができる。車両２００のナビゲーション、制御、及び／又は操作は、車両２００に関連する様々な特徴、構成要素、デバイス、モード、システム、及び／又はサブシステムをイネーブル及び／又はディセーブルすること（直接又は上述したコントローラ等の中間コントローラを介して）を含み得る。ナビゲーション、制御、及び／又は操作は、代替又は追加として、例えば視覚的、聴覚的、触覚的、及び／又は他の感覚アラート及び／又は指示を提供することによる、車両２００の内部又は外部に位置し得るユーザ、ドライバー、乗員、通行人、及び／又は他の車両又はユーザとのインタラクトを含み得る。
【0067】
更に詳細に後述するように、開示される様々な実施形態により、システム１００は、自律運転、半自律運転、及び／又は運転支援技術に関連する様々な特徴を提供し得る。例えば、システム１００は、画像データ、位置データ（例えば、ＧＰＳ位置情報）、マップデータ、速度データ、及び／又は車両２００に含まれるセンサからのデータを分析し得る。システム１００は、例えば、画像取得ユニット１２０、位置センサ１３０、及び他のセンサから分析のためのデータを収集し得る。更に、システム１００は、収集されたデータを分析して、車両２０が特定の動作を取るべきか否かを判断し、次に、人間の介入なく、判断された動作を自動的に取り得る。幾つかの場合、車両が自動的に取る動作は、人間の監督下にあり、機械動作に介入、調整、中止、又はオーバーライドする人間の能力が特定の状況下で又は随時イネーブルされることが理解される。例えば、車両２００が人間の介入なしで走行する場合、システム１００は、車両２００のブレーキ、加速、及び／又は操舵を自動的に制御し得る（例えば、スロットルシステム２２０、ブレーキシステム２３０、及び操舵システム２４０の１つ又は複数に制御信号を送信することにより）。更に、システム１００は、収集されたデータを分析し、収集されたデータの分析に基づいて、警告、指示、推奨、アラート、又は命令をドライバー、乗員、ユーザ、又は車両の内部若しくは外部の他の人物（又は他の車両）に発し得る。システム１００により提供される様々な実施形態に関する追加の詳細を以下に提供する。
【0068】
複数撮像システム
上述したように、システム１００は、単一又は複数カメラシステムを使用する運転支援機能、又は、半若しくは全自律運転機能を提供し得る。マルチカメラシステムは、車両の前方方向を向いた１つ又は複数のカメラを使用し得る。他の実施形態では、マルチカメラシステムは、車両の側部又は車両の後方を向いた１つ又は複数のカメラを含み得る。一実施形態では、例えば、システム１００は２カメラ撮像システムを使用し得、その場合、第１のカメラ及び第２のカメラ（例えば、画像捕捉デバイス１２２及び１２４）は、車両（例えば、車両２００）の前部及び／又は側部に位置決めし得る。第１のカメラは、第２のカメラの視野よりも大きい、小さい、又は部分的に重複する視野を有し得る。更に、第１のカメラは、第１の画像プロセッサに接続されて、第１のカメラにより提供される画像の単眼画像分析を実行し得、第２のカメラは第２の画像プロセッサに接続されて、第２のカメラにより提供される画像の単眼画像分析を実行し得る。第１及び第２の画像プロセッサの出力（例えば、処理された情報）は結合し得る。幾つかの実施形態では、第２の画像プロセッサは、第１のカメラ及び第２のカメラの両方からの画像を受信して、立体分析を実行し得る。別の実施形態では、システム１００は３カメラ撮像システムを使用し得、この場合、各カメラは異なる視野を有する。したがって、そのようなシステムは、車両の前方及び側部の両方の様々な距離にある物体から導出される情報に基づいて判断を下し得る。単眼画像分析との言及は、画像分析が単一視点から（例えば、単一のカメラ）から捕捉される画像に基づいて画像分析が実行される場合を指し得る。立体画像分析は、画像捕捉パラメータのうちの１つ又は複数を変更した状態で捕捉された２つ以上の画像に基づいて画像分析が実行される場合を指し得る。例えば、立体画像分析の実行に適した捕捉画像は、２つ以上の異なる位置から捕捉される画像、異なる視野から捕捉される画像、異なる焦点距離を使用して捕捉される画像、視差情報付きで捕捉される画像等を含み得る。
上述したように、システム１００は、単一又は複数カメラシステムを使用する運転支援機能、又は、半若しくは全自律運転機能を提供し得る。マルチカメラシステムは、車両の前方方向を向いた１つ又は複数のカメラを使用し得る。他の実施形態では、マルチカメラシステムは、車両の側部又は車両の後方を向いた１つ又は複数のカメラを含み得る。一実施形態では、例えば、システム１００は２カメラ撮像システムを使用し得、その場合、第１のカメラ及び第２のカメラ（例えば、画像捕捉デバイス１２２及び１２４）は、車両（例えば、車両２００）の前部及び／又は側部に位置決めし得る。第１のカメラは、第２のカメラの視野よりも大きい、小さい、又は部分的に重複する視野を有し得る。更に、第１のカメラは、第１の画像プロセッサに接続されて、第１のカメラにより提供される画像の単眼画像分析を実行し得、第２のカメラは第２の画像プロセッサに接続されて、第２のカメラにより提供される画像の単眼画像分析を実行し得る。第１及び第２の画像プロセッサの出力（例えば、処理された情報）は結合し得る。幾つかの実施形態では、第２の画像プロセッサは、第１のカメラ及び第２のカメラの両方からの画像を受信して、立体分析を実行し得る。別の実施形態では、システム１００は３カメラ撮像システムを使用し得、この場合、各カメラは異なる視野を有する。したがって、そのようなシステムは、車両の前方及び側部の両方の様々な距離にある物体から導出される情報に基づいて判断を下し得る。単眼画像分析との言及は、画像分析が単一視点から（例えば、単一のカメラ）から捕捉される画像に基づいて画像分析が実行される場合を指し得る。立体画像分析は、画像捕捉パラメータのうちの１つ又は複数を変更した状態で捕捉された２つ以上の画像に基づいて画像分析が実行される場合を指し得る。例えば、立体画像分析の実行に適した捕捉画像は、２つ以上の異なる位置から捕捉される画像、異なる視野から捕捉される画像、異なる焦点距離を使用して捕捉される画像、視差情報付きで捕捉される画像等を含み得る。
【0069】
例えば、一実施形態では、システム１００は、画像捕捉デバイス１２２～１２６を使用する３カメラ構成を実施し得る。そのような構成では、画像捕捉デバイス１２２は、狭視野（例えば、３４度又は約２０～４５度の範囲から選択される他の値等）を提供し得、画像捕捉デバイス１２４は、広視野（例えば、１５０度又は約１００～約１８０度の範囲から選択される他の値）を提供し得、画像捕捉デバイス１２６は、中視野（例えば、４６度又は約３５～約６０度の範囲から選択される他の値）を提供し得る。幾つかの実施形態では、画像捕捉デバイス１２６は、主又は一次カメラとして動作し得る。画像捕捉デバイス１２２～１２６は、バックミラー３１０の背後に、実質的に並んで（例えば、６ｃｍ離間）位置決めし得る。更に、幾つかの実施形態では、上述したように、画像捕捉デバイス１２２～１２６のうちの１つ又は複数は、車両２００のフロントガラスと同一平面のグレアシールド３８０の背後に搭載し得る。そのようなシールドは、車内部からのいかなる反射の画像捕捉デバイス１２２～１２６への影響も最小にするように動作し得る。
【0070】
別の実施形態では、図３Ｂ及び図３Ｃに関連して上述したように、広視野カメラ（例えば、上記例では画像捕捉デバイス１２４）は、狭い主視野カメラ（例えば、上記例では画像捕捉デバイス１２２及び１２６）よりも低く搭載し得る。この構成は、広視野カメラからの自由な視線を提供し得る。反射を低減するために、カメラは、車両２００のフロントガラス近くに搭載し得、反射光を弱める偏光器をカメラに含み得る。
【0071】
３カメラシステムは、特定の性能特徴を提供し得る。例えば、幾つかの実施形態は、あるカメラによる物体の検出を別のカメラからの検出結果に基づいて検証する機能を含み得る。上述した３カメラ構成では、処理ユニット１１０は、例えば、３つの処理デバイス（例えば、上述したように３つのEyeQシリーズのプロセッサチップ）を含み得、各処理デバイスは、画像捕捉デバイス１２２～１２６のうちの１つ又は複数により捕捉される画像の処理に向けられる。
【0072】
３カメラシステムでは、第１の処理デバイスは、主カメラ及び狭視野カメラの両方から画像を受信し、狭ＦＯＶカメラ又はカメラのクロッピングされたＦＯＶの処理を実行し得る。幾つかの実施形態では、第１の処理デバイスは、ここで開示される主題の例により、トレーニング済みシステムを使用して、車両の現在位置の先の将来経路を推定するように構成することができる。幾つかの実施形態では、トレーニング済みシステムは、ニューラルネットワーク等のネットワークを含み得る。幾つかの他の実施形態では、トレーニング済みシステムは、例えば、機械学習アルゴリズムを使用するディープラーニングシステムを含み得る。
【0073】
第１の処理デバイスは、例えば、他の車両、歩行者、レーンマーク、交通標識、信号機、及び他の道路物体を検出することを意図され得る画像処理タスクを実行するように更に構成することができる。更に、第１の処理デバイスは、主カメラからの画像と狭視野カメラからの画像とのピクセルの不一致を計算し、車両２００の環境の３Ｄ再構築を作成し得る。次に、第１の処理デバイスは、３Ｄ再構築を、３Ｄマップデータ（例えば、深度マップ）又は別のカメラからの情報に基づいて計算される３Ｄ情報と結合し得る。幾つかの実施形態では、第１の処理デバイスは、ここで開示される主題の例により、トレーニング済みシステムを深度情報（例えば、３Ｄマップデータ）に対して使用して、車両の現在位置の先の将来経路を推定するように構成することができる。この実装形態では、システム（例えば、ニューラルネットワーク、ディープラーニングシステム等）は、３Ｄマップデータ等の深度情報でトレーニングすることができる。
【0074】
第２の処理デバイスは、主カメラから画像を受信し得、視覚処理を実行して、他の車両、歩行者、レーンマーク、交通標識、信号機、及び他の道路物体を検出するように構成することができる。更に、第２の処理デバイスは、カメラ変位を計算し得、変位に基づいて連続画像間のピクセルの不一致を計算し、シーンの３Ｄ再構築（例えば、ストラクチャーフロムモーション）を作成し得る。第２の処理デバイスは、ストラクチャーフロムモーションに基づく３Ｄ再構築を第１の処理デバイスに送信して、立体３Ｄ画像又は立体処理により得られる深度情報と結合し得る。
【0075】
第３の処理デバイスは、画像を広ＦＯＶカメラから受信し、画像を処理して、車両、歩行者、レーンマーク、交通標識、信号機、及び他の道路物体を検出し得る。第３の処理デバイスは、追加の処理命令を実行して、画像を分析し、レーン変更中の車両、歩行者等の画像内の移動中の物体を識別し得る。
【0076】
幾つかの実施形態では、画像に基づく情報ストリームを独立して捕捉させ、処理させることは、システムで冗長性を提供する機会を提供し得る。そのような冗長性は、例えば、第１の画像捕捉デバイス及びそのデバイスから処理された画像を使用して、少なくとも第２の画像捕捉デバイスから画像情報を捕捉し処理することにより得られる情報を検証及び／又は補足し得る。
【0077】
幾つかの実施形態では、システム１００は、車両２００にナビゲーション支援を提供するに当たり２つの画像捕捉デバイス（例えば、画像捕捉デバイス１２２及び１２４）を使用し得、第３の画像捕捉デバイス（例えば、画像捕捉デバイス１２６）を使用して、冗長性を提供し、他の２つの画像捕捉デバイスから受信されるデータの分析を検証し得る。例えば、そのような構成では、画像捕捉デバイス１２２及び１２４は、車両２００をナビゲートするためのシステム１００による立体分析の画像を提供し得、一方、画像捕捉デバイス１２６は、システム１００による単眼分析に画像を提供して、画像捕捉デバイス１２３及び／又は画像捕捉デバイス１２４から捕捉された画像に基づいて得られる情報の冗長性及び検証を提供し得る。すなわち、画像捕捉デバイス１２６（及び対応する処理デバイス）は、画像捕捉デバイス１２２及び１２４から導出された分析へのチェックを提供する冗長サブシステムを提供する（例えば、自動緊急ブレーキ（ＡＥＢ）システムを提供するため）と見なし得る。
【0078】
上記カメラ構成、カメラ配置、カメラ数、カメラ位置等が単なる例示であることを当業者は認識するであろう。全体システムに対して説明されるこれらの構成要素等は、開示される実施形態の範囲から逸脱せずに、様々な異なる構成で組み立て且つ使用し得る。ドライバー支援及び／又は自律車両機能を提供するためのマルチカメラシステムの使用に関する更なる詳細が以下に続く。
【0079】
本開示の利益を受ける当業者により理解されるように、上記例に対する多くの変形形態及び／又は変更形態がなされ得る。例えば、全ての構成要素がシステム１００の動作に必須であるわけではない。更に、任意の構成要素がシステム１００の任意の適する部分に位置することができ、構成要素は、開示される実施形態の機能を提供しながら、様々な構成に再配置することができる。したがって、上記構成は例であり、上記構成に関係なく、システム１００は、車両２００の周囲を分析し、分析に応答して、車両２００をナビゲートするか又は車両のユーザにアラートする広範囲の機能を提供することができる。
【0080】
更に詳細に後述されるように、ここで開示される主題の例によれば、システム１００は、自律運転、半自律運転、及び／又は運転支援技術に関する様々な特徴を提供し得る。例えば、システム１００は、画像データ、位置データ（例えば、ＧＰＳ位置情報）、マップデータ、速度データ、及び／又は車両２００に含まれるセンサからのデータを分析することができる。システム１００は、例えば、画像取得ユニット１２０、位置センサ１３０、及び他のセンサから分析のためにデータを収集し得る。更に、システム１００は、収集されたデータを分析して、車両２００が特定の動作を取るべきか否かを判断し、次に、人間の介入なく、判断された動作を自動的に取り得、又は特定の動作を取る必要があることをドライバーに示すことができる警告、アラート、又は指示を提供することができる。自動動作は、人間の監督下で実行することができ、人間の介入及び／又はオーバーライドを受けることができる。例えば、車両２００が人間の介入なしで走行する場合、システム１００は、車両２００のブレーキ、加速、及び／又は操舵を自動的に制御し得る（例えば、スロットルシステム２２０、ブレーキシステム２３０、及び操舵システム２４０の１つ又は複数に制御信号を送信することにより）。更に、システム１００は、収集されたデータを分析し、収集されたデータの分析に基づいて警告及び／又はアラートを車両乗員に発することができる。
【0081】
ここで図４が参照され、図４は、ここで開示される主題の例による、画像を処理して、現在位置において捕捉された画像に基づいて車両の現在位置の先の将来経路を推定することが可能なトレーニング済みシステムを提供する方法のフローチャート図である。画像を処理する方法は、第１の複数のトレーニング画像を取得すること（ブロック４１０）を含むことができ、第１の複数のトレーニング画像のそれぞれの１つは、道路を走行中の車両の先の環境の画像である。幾つかの実施形態では、第１の複数の画像は、道路を走行中の車両の先の環境の画像に限定されず、例えば、車両の片側（両側）の環境及び／又は後方の環境の、道路を走行中の車両の他の側の画像を含むことができる。
【0082】
第１の複数のトレーニング画像のそれぞれについて、車両のそれぞれの現在位置の先の、車両の予め記憶された経路を取得することができる（ブロック４２０）。ここで図５Ａ～図５Ｃが更に参照され、図５Ａ～図５Ｃは、ここで開示される主題の例による、画像を処理して、現在位置において捕捉された画像に基づいて車両の現在位置の先の将来経路を推定することが可能なトレーニング済みシステムを提供する方法の特徴のグラフィカル図である。図５Ａにおいて見ることができるように、車両５１０は道路５２０のセクションに進入しつつある。車両５１０は、画像を捕捉するカメラ（図示せず）を含む。図５Ａでは、画像は、車両５１０に搭載されたカメラのＦＯＶを表す円錐５３０により示される。画像は、カメラのＦＯＶ内の任意の物体を映す。画像は、通常、道路標識、レーンマーク、カーブ、他の車両等の道路物体を含む。更に、現在位置において捕捉された画像に基づいて車両の現在位置の先の将来経路を推定することが可能なトレーニング済みシステムを提供するために画像を処理する方法において使用される画像の少なくとも幾つかは、道路の両側の構造物及び木等の他の任意の物体を含む。
【0083】
【0084】
図５Ｂ及び図５Ｃに見ることができるように、車両５１０は道路５２０（のセグメント）に沿って走行し、その経路は記録される。車両５１０の経路は、ピン５４１～５４７で記される。位置５４１～位置５４７の道路５２０に沿った車両５１０の経路が記録される。したがって、道路５２０を下った、ポイント５４１からの車両の将来経路が利用可能である。車両５１０の特定の位置及び道路の２Ｄ又は３Ｄ形状が任意であり、ここで開示される主題の例が任意の道路上の様々な位置に適用可能であることが理解される。図５Ｃに示されるように、車両５１０が道路５２０に沿って走行するにつれて、カメラは、円錐５５１～５５４により表される複数の画像を捕捉する。位置５４１～５４７のそれぞれ又は記録された位置の幾つかのみの１つ又は複数の画像を捕捉することができるが、便宜上、図５Ｃでは、道路５２０に沿った車両５１０の記録された位置のサブセットのみの画像が示されている。
【0085】
図４の説明を再開すると、システム（例えば、ニューラルネットワーク、ディープラーニングシステム等）は、画像を所与として、車両のそれぞれの現在位置の先の道路を走行する車両の将来経路を提供するようにトレーニングすることができる（ブロック４３０）。システムをトレーニングすること（ブロック４３０）は、入力として第１の複数のトレーニング画像をトレーニング済みシステムに提供すること（ブロック４４０）と、トレーニングの各反復において、トレーニング済みシステムの重みの現在状態によって推定された暫定的なそれぞれの将来経路及びそれぞれの予め記憶された経路に基づいて損失関数を計算すること（ブロック４５０）と、損失関数の結果に従ってトレーニング済みシステムの重みを更新すること（ブロック４６０）とを含むことができる。
【0086】
通常、トレーニングフェーズ中、非常に多数の画像がトレーニング済みシステムに提供され、画像毎に、車両のそれぞれの現在位置の先の、車両の予め記憶された経路が提供される。予め記憶された経路は、画像が捕捉されていた間、車両が走行中であった道路に沿った車両の将来位置を記録することにより取得することができる。別の例では、予め記憶された経路は、道路上の車両の位置を示す、道路内又は道路近傍にある様々な物体を視覚的又はアルゴリズム的に識別することにより、手動で又は画像処理を使用して生成することができる。道路上の車両の位置は、画像が捕捉されたセッション中の道路上の車両の実際の位置であってもよく、又は推定位置若しくは人工的に生成された位置であってもよい。例えば、一例では、画像は数メートル毎又は数十メートル毎に撮影することができ、車両の将来経路は、レーンマークに基づいて又は各画像において技術者が視覚的に識別する任意の他の物体に基づいて、技術者によって輪郭を描くことができる。レーンマークの例では、技術者は、レーンマークが現れる画像に対して、レーンマークからの特定の（例えば、予め定義された）オフセットの場所、例えば、いずれかの側のレーンマークにより区別されるレーンの中央に、将来経路の輪郭を描き得る。
【0087】
図９及び図１０は、幾つかの開示される実施形態により、トレーニングフェーズ中、例えば、トレーニング済みシステム（例えば、ニューラルネットワーク、ディープラーニングシステム等）を使用して機械学習プロセスに提供し得る画像を示す。図１０は、画像処理又は技術者により検出されたレーンマーク１０１２上のポイント１０１０及びレーンの中央上のポイント１０２０を更に示す。
【0088】
ここで開示される主題の例による、道路を走行中の車両の先の環境の画像８１０及び車両のエゴモーションを使用してこの画像に記録された、予め記憶された経路８１２を示す図８Ａ、及びここで開示される主題の例による、技術者又はコンピュータビジョンアルゴリズムにより記された、記されたレーンマーク８２２を含む、道路を走行中の車両の先の環境の画像８２０を示す図８Ｂがここで更に参照される。記されたレーンマークに基づく予め記憶された経路を生成し、図８Ｂに示される画像のために予め記憶することができる。車両の現在位置（画像が捕捉された場所の位置）の先の、車両の経路を定義するのに使用することができる、所与の画像での車両のエゴモーショントラックは、後続画像を処理することにより決定することができ、例えば、後続画像は、車が道路の先（例えば、現在位置の前方）を移動し続ける際に捕捉された画像である。
【0089】
上述したように、トレーニングの各反復において、重みの現在状態によって推定された暫定的なそれぞれの将来経路及びそれぞれの予め記憶された経路に基づいて損失関数が計算される（ブロック４５０）。トレーニング済みシステムの重みは、損失関数の結果に従って更新することができる（ブロック４６０）。ここで図１１Ａ及び図１１Ｂが参照され、図１１Ａ及び図１１Ｂは、ここで開示される主題の例による、トレーニングの特定の態様のグラフィカル図を提供する。図１１Ａでは、トレーニングの反復を示す。図１１Ａでは、予め記憶された経路１１１２は、画像１１１０が捕捉された位置の先の道路上のレーンマークの検出（例えば、技術者による）に基づいて生成された。暫定的な将来経路１１１４がトレーニング済みシステムにより計算され、重みの現在状態によって推定された暫定的なそれぞれの将来経路１１１４及びそれぞれの予め記憶された経路１１１２に基づいて損失関数が計算される。ここで開示される主題の例によれば、損失関数は、例えば、予め記憶された経路１１１２及び暫定的な将来経路１１１４のカメラ焦点距離、カメラの高さ、及び動的水平（dynamic horizon）を使用して、上面図（「現実世界での」）表現を使用し、絶対損失が計算される。損失関数は、現実世界における誤差にメートル単位でペナルティを課すように構成することができる（得点を極端な誤差にフォーカスした）。幾つかの実施形態では、記された物体、例えば、技術者により手動で記されたレーンマークは、ここで開示される主題の例によれば、例えば、高速道路出口を記すために仮想レーンマーク１３１０が追加された図１３に示されるように、分岐合流点、レーンマークが欠けているエリア、マークのない高速道路出口又は合流点等の仮想物体を含むこともできる。
【0090】
図１１Ｂでは、車両のエゴモーションと、１１２０画像が捕捉された位置の（この場合には）先の道路に沿った後続経路とに基づいて、予め記憶された経路１１２２を生成した。ここで開示される主題の例によれば、エゴモーションに基づく予め記憶された経路データでは、予め記憶された経路１１２２と、トレーニング済みシステムにより提供される暫定的な将来経路１１２４との間の最適なオフセットを決定することができ、最適なオフセットによる補正後、損失関数を計算することができる。
【0091】
ここで開示される主題の例によれば、システムのトレーニングは、停止条件が満たされるまで実行することができる。幾つかの実施形態では、停止条件は特定の反復回数であり得る。例えば、第１の複数のトレーニング画像は、道路上に比較的希に現れる環境のより多数の画像、例えば、カーブした道路を含む環境の画像を含むことができる。別の例では、第１の複数のトレーニング画像は、レーン分割、レーン統合、高速道路出口、高速道路入口、及び／又は分岐合流点を含む環境の比較的より多数の画像を含む。更に別の例では、第１の複数のトレーニング画像は、車両の先の道路上に、レーンマーク、ボッツドッツ、及び／又は影が少ない環境、又はそれらを含まない環境の比較的より多数の画像を含むことができる。
【0092】
ここで開示される主題の更なる態様によれば、車両の現在位置の先の将来経路を推定するシステム及び方法が提供される。ここで図７が参照され、図７は、ここで開示される主題の例による、車両の現在位置の先の将来経路を推定する方法のフローチャート図である。方法はプロセッサにより実施し得る。ここで開示される主題の例によれば、車両の現在位置の先の将来経路を推定する方法は、道路を走行中の車両の任意の現在位置の先の環境の画像を取得すること（ブロック７１０）を含むことができる。道路を走行中の車両の先の環境の第１の複数の画像上で将来経路を推定するようにトレーニングされたシステムを取得することができる（ブロック７２０）。幾つかの実施形態では、トレーニング済みシステムは、ニューラルネットワーク等のネットワークを含み得る。他の実施形態では、トレーニング済みシステムは、例えば、機械学習アルゴリズムを使用するディープラーニングシステムであり得る。トレーニング済みシステムは、車両の任意の現在位置の先の環境の画像に適用することができる（ブロック７３０）。トレーニング済みシステムにより、任意の現在位置の先の車両の推定将来経路を提供することができる（ブロック７４０）。
【0093】
ここで図６が参照され、図６は、ここで開示される主題の例による、車両の現在位置の先の将来経路を推定する方法の特定の態様のグラフィカル図である。図６に示されるように、車両６１０は道路６２０のセクションに進入しつつある。道路６２０は任意の道路であり、道路６２０からの画像は、システム（例えば、ニューラルネットワーク、ディープラーニング等）のトレーニングに使用されていてもよく、又は使用されていなくてもよい。車両６１０は、画像を捕捉するカメラ（図示せず）を含む。車両６２０に搭載されたカメラにより捕捉された画像は、トレーニング済みシステムに供給される前にクロッピング又は任意の他の方法で処理（例えば、ダウンサンプリング）されてもよく、又はされなくてもよい。図６では、画像は、車両６１０に搭載されたカメラのＦＯＶを表す円錐６３０により示されている。画像は、カメラのＦＯＶ内の任意の物体を映す。画像は、道路標識、レーンマーク、カーブ、他の車両等の道路物体を含むことができるが、必ずしもそれを含む必要があるわけではない。画像は、道路の両側の構造物及び木等の他の任意の物体を含むことができる。
【0094】
トレーニング済みシステムは、車両６１０の任意の現在位置の先の環境の画像６３０に適用することができ、任意の現在位置の先の、車両６１０の推定将来経路を提供することができる。図６では、推定将来経路はピン６４１～６４７で示される。図１２Ａ～図１２Ｄは、開示される実施形態による推定将来経路１２１０～１２４０を含む画像を更に示す。
【0095】
幾つかの実施形態では、トレーニング済みシステムは、グローバル関数の区分アフィン関数を含むことができる。幾つかの実施形態では、グローバル関数は、畳み込み、最大プーリング、及び／又は正規化線形関数（ＲｅＬＵ）を含むことができる。
【0096】
幾つかの実施形態では、方法は、車両の現在位置の先の推定将来経路を利用して、車両の少なくとも１つの移動パラメータを変更するように車両の少なくとも１つの電子ユニット又は機械ユニットを制御することを更に含み得る。幾つかの実施形態では、方法は、車両の現在位置の先の推定将来経路を利用して、車両のドライバーに感覚フィードバックを提供することを更に含み得る。
【0097】
幾つかの実施形態では、現在位置の先の車両の推定将来経路は、少なくとも１つの分類器を使用して、環境の画像に現れる１つ又は複数の予め定義された物体を識別することに更に基づくことができる。
【0098】
方法は、車両の現在位置の先の推定将来経路を利用して、車両の操舵制御機能の制御点を提供することを更に含み得る。
【0099】
幾つかの実施形態では、トレーニング済みシステムを車両の現在位置の先の環境の画像に適用することは、現在位置の先の車両の２つ以上の推定将来経路を提供する。
【0100】
幾つかの実施形態では、方法は、車両の現在位置の先の道路プロファイルを推定するに当たり、車両の現在位置の先の推定将来経路を利用することを更に含み得る。
【0101】
幾つかの実施形態では、トレーニング済みシステムを車両の現在位置の先の環境の画像に適用することは、現在位置の先の、車両の２つ以上の推定将来経路を提供し、且つ現在位置の先の、車両の２つ以上の推定将来経路のそれぞれの１つに沿った道路プロファイルを推定することを更に含み得る。
【0102】
幾つかの実施形態では、方法は、車両の将来経路又はその近傍に位置する１つ又は複数の車両を検出するに当たり、車両の現在位置の先の推定将来経路を利用することを更に含み得る。
【0103】
幾つかの実施形態では、方法は、車両の将来経路又はその近傍にあると特定された１つ又は複数の車両の位置に基づいて、車両の少なくとも１つの移動パラメータを車両の少なくとも１つの電子ユニット又は機械ユニットに変更させることを更に含み得る。
【0104】
幾つかの実施形態では、方法は、１つ又は複数の車両が対象車両の将来経路又はその近傍にあると判断されることをユーザに示す感覚アラートをトリガーすることを更に含み得る。
【0105】
幾つかの実施形態では、画像に基づいて車両の将来経路を推定するようにシステム（例えば、ニューラルネットワーク、ディープラーニングシステム等）をトレーニングするために、道路を走行中の車両の先の環境の画像を処理し、及び／又はトレーニング済みシステムを使用して、道路を走行中の車両の先の環境の画像を処理して車両の将来経路を推定することに加えて、信頼度がトレーニングフェーズで提供され得、又はトレーニング済みシステムを使用するナビゲーションフェーズで使用され得る。ホリスティックパス予測（ＨＰＰ）信頼度は、ＨＰＰのニューラルネットワークと同様に、ニューラルネットワーク等のトレーニング済みシステムにより作成される出力である。この概念は、同じ画像での別の分類器の誤差を推測しようとする分類器を生成し得る。これを実施する一方法は、あるトレーニングシステム（例えば、第１のニューラルネットワーク）を使用して、使用済み出力（例えば、レーンの位置、レーンの中心、又は予測された将来経路）を与え、同じ入力データ（又はそのデータのサブセット、又はそのデータから抽出された特徴）を使用して、その画像での第１のトレーニング済みシステムの誤差を推定する（例えば、第１のトレーニング済みシステムの予測の絶対平均損失を推定する）ように別のシステム（例えば、第２のニューラルネットワーク）をトレーニングすることである。
【0106】
上記説明は、例示を目的として提示されている。上記説明は網羅的ではなく、開示される厳密な形態又は実施形態に限定されない。変更形態及び適合形態は、本明細書を考慮し、開示される実施形態を実施することから当業者に明らかになるであろう。更に、開示される実施形態の態様は、メモリに記憶されるものとして記載されるが、これらの態様が、補助記憶装置等の他のタイプのコンピュータ可読媒体、例えば、ハードディスク若しくはＣＤ ＲＯＭ又は他の形態のＲＡＭ若しくはＲＯＭ、ＵＳＢメディア、ＤＶＤ、Blu-ray、４Ｋ超ＨＤ Blu-ray、又は他の光学駆動媒体に記憶することも可能であることを当業者は理解するであろう。
【0107】
記載の説明及び開示される方法に基づくコンピュータプログラムは、経験のある開発者の技能内にある。様々なプログラム又はプログラムモジュールは、当業者に既知の任意の技法を使用して作成することができるか、又は既存のソフトウェアに関連して設計することができる。例えば、プログラムセクション又はプログラムモジュールは、.Net Framework、.Net Compact Framework（及びVisual Basic（登録商標）、Ｃ等の関連する言語）、Java（登録商標）、Ｃ＋＋、Objective-C、ＨＴＭＬ、ＨＴＭＬ／ＡＪＡＸ組み合わせ、ＸＭＬ、又はJavaアプレットを包含したＨＴＭＬにおいて又はそれにより設計することができる。
【0108】
更に、例示的な実施形態を本明細書において説明したが、あらゆる実施形態の範囲は、本開示に基づいて当業者により理解されるような均等な要素、変更形態、省略形態、組合せ（例えば、様々な実施形態にわたる態様の）、適合形態、及び／又は代替形態を有する。特許請求の範囲での限定は、特許請求の範囲に利用される言語に基づいて広く解釈されるべきであり、本明細書に記載される例又は本願の実行中の例に限定されない。例は、非排他的として解釈されるべきである。更に、開示される方法のステップは、ステップの順序替え及び／又はステップの挿入又は削除を含め、任意の方法で変更し得る。したがって、本明細書及び例が単なる例示として見なされることが意図され、真の範囲及び趣旨は、以下の特許請求の範囲及びその全範囲の均等物により示される。
［項目１］
車両の現在位置の先の将来経路を推定するシステムであって、少なくとも１つのプロセッサを含み、上記少なくとも１つのプロセッサは、
道路を走行中の車両の任意の現在位置の先の環境の画像を取得することと、
道路を走行中の車両の先の環境の第１の複数の画像上で将来経路を推定するようにトレーニングされたトレーニング済みシステムを取得することと、
上記トレーニング済みシステムを上記車両の上記任意の現在位置の先の上記環境の上記画像に適用することと、
上記トレーニング済みシステムの上記画像への適用に基づいて、上記任意の現在位置の先の、上記車両の推定将来経路を提供することと
を行うようにプログラムされる、システム。
［項目２］
上記トレーニング済みシステムは、グローバル関数の区分アフィン関数を含む、項目１に記載のシステム。
［項目３］
上記グローバル関数は、畳み込み、最大プーリング、又は正規化線形関数を含む、項目２に記載のシステム。
［項目４］
上記少なくとも１つのプロセッサは、上記車両の上記現在位置の先の上記推定将来経路を利用して、上記車両の少なくとも１つの移動パラメータを変更するように上記車両の少なくとも１つの電子ユニット又は機械ユニットを制御するように更にプログラムされる、項目２に記載のシステム。
［項目５］
上記少なくとも１つのプロセッサは、上記車両の上記現在位置の先の上記推定将来経路を利用して、上記車両のドライバーに感覚フィードバックを提供するように更にプログラムされる、項目２に記載のシステム。
［項目６］
上記現在位置の先の、上記車両の上記推定将来経路は、少なくとも１つの分類器を使用して、上記環境の上記画像に現れる１つ又は複数の予め定義された物体を識別することに更に基づく、項目１に記載のシステム。
［項目７］
上記少なくとも１つのプロセッサは、上記車両の上記現在位置の先の上記推定将来経路を利用して、上記車両の操舵制御機能の制御点を提供するように更にプログラムされる、項目１に記載のシステム。
［項目８］
上記トレーニング済みシステムを上記車両の上記現在位置の先の上記環境の上記画像に適用することは、上記現在位置の先の、上記車両の２つ以上の推定将来経路を提供する、項目１に記載のシステム。
［項目９］
上記少なくとも１つのプロセッサは、上記車両の上記現在位置の先の道路プロファイルを推定するに当たり、上記車両の上記現在位置の先の上記推定将来経路を利用するように更にプログラムされる、項目１に記載のシステム。
［項目１０］
上記トレーニング済みシステムを上記車両の上記現在位置の先の上記環境の上記画像に適用することは、上記現在位置の先の、上記車両の２つ以上の推定将来経路を提供し、且つ上記現在位置の先の、上記車両の上記２つ以上の推定将来経路のそれぞれの１つに沿った道路プロファイルを推定することを更に含む、項目１に記載のシステム。
［項目１１］
上記少なくとも１つのプロセッサは、上記車両の上記将来経路又はその近傍に位置する１つ又は複数の車両を検出するに当たり、上記車両の上記現在位置の先の上記推定将来経路を利用するように更にプログラムされる、項目１に記載のシステム。
［項目１２］
上記少なくとも１つのプロセッサは、上記車両の上記将来経路又はその近傍にあると特定された１つ又は複数の車両の位置に基づいて、上記車両の少なくとも１つの移動パラメータを上記車両の少なくとも１つの電子ユニット又は機械ユニットに変更させるように更にプログラムされる、項目１１に記載のシステム。
［項目１３］
上記少なくとも１つのプロセッサは、１つ又は複数の車両が上記車両の上記将来経路又はその近傍にあると判断されることをユーザに示す感覚アラートをトリガーするように更にプログラムされる、項目１１に記載のシステム。
［項目１４］
画像を処理する方法であって、
第１の複数のトレーニング画像を取得することであって、上記第１の複数のトレーニング画像のそれぞれの１つは、道路を走行中の車両の先の環境の画像である、取得することと、
上記第１の複数のトレーニング画像のそれぞれの１つについて、上記車両のそれぞれの現在位置の先の、上記車両の予め記憶された経路を取得することと、
画像を所与として、上記車両のそれぞれの現在位置の先の道路を走行中の車両の将来経路を提供するようにシステムをトレーニングすることであって、上記システムをトレーニングすることは、
トレーニング済みシステムへの入力として上記第１の複数のトレーニング画像を提供すること、
上記トレーニングの各反復において、上記トレーニング済みシステムの重みの現在状態によって推定されたそれぞれの暫定的な将来経路及びそれぞれの予め記憶された経路に基づいて損失関数を計算すること、及び
上記損失関数の結果に従って上記トレーニング済みシステムの上記重みを更新すること
を含む、トレーニングすることと
を含む、方法。
［項目１５］
上記第１の複数のトレーニング画像を取得することは、上記第１の複数のトレーニング画像からの上記画像のそれぞれの１つについて、上記画像が捕捉された瞬間における上記道路上の上記車両の位置を示すデータを取得することを更に含む、項目１４に記載の方法。
［項目１６］
上記第１の複数のトレーニング画像を取得することは、上記第１の複数のトレーニング画像からの少なくとも１つの画像における少なくとも１つのレーンマークの位置を取得することを含み、上記第１の複数のトレーニング画像からの上記画像のそれぞれの１つについて、上記画像が捕捉された瞬間のおける上記道路上の上記車両の上記位置を示すデータを取得することは、上記第１の複数のトレーニング画像からの上記少なくとも１つの画像について、上記少なくとも１つの画像における上記少なくとも１つのレーンマークの位置に従って、上記少なくとも１つの画像が捕捉された瞬間における上記道路上の上記車両の上記位置を特定することを含む、項目１５に記載の方法。
［項目１７］
上記少なくとも１つの画像における上記少なくとも１つのレーンマークの位置に従って、上記第１の複数のトレーニング画像からの上記少なくとも１つの画像が捕捉された瞬間における上記道路上の上記車両の上記位置を特定することは、上記少なくとも１つのレーンマークの上記位置からの予め定義されたオフセットにおける上記道路上の上記車両の上記位置を特定することを含む、項目１６に記載の方法。
［項目１８］
上記車両の上記それぞれの現在位置の先の、上記車両の上記予め記憶された経路は、それぞれの第２の複数のトレーニング画像が捕捉されたそれぞれの瞬間における上記道路上の上記車両の位置に基づいて特定され、上記第２の複数のトレーニング画像は、上記現在位置に関連する上記画像に続けて捕捉された、上記第１の複数のトレーニング画像からの画像である、項目１５に記載の方法。
［項目１９］
上記システムをトレーニングすることは、複数の反復を含み、且つ停止条件が満たされるまで実行される、項目１４に記載の方法。
［項目２０］
道路を走行中の車両の先の環境の任意の入力画像を所与として、上記車両の将来経路推定を提供するように構成されるトレーニング済みシステムを出力として提供することを更に含む、項目１４に記載の方法。
［項目２１］
上記第１の複数のトレーニング画像は、道路上に比較的希に現れる環境の比較的より多数の画像を含む、項目１４に記載の方法。
［項目２２］
上記第１の複数のトレーニング画像は、カーブした道路を含む環境の比較的より多数の画像を含む、項目２１に記載の方法。
［項目２３］
上記第１の複数のトレーニング画像は、レーン分割、レーン統合、高速道路出口、高速道路入口、及び／ 又は分岐合流点を含む環境の比較的より多数の画像を含む、項目２１に記載の方法。
［項目２４］
上記第１の複数のトレーニング画像は、上記車両の先の道路上にレーンマーク、ボッツドッツ、及び／ 又は影が少ない環境、又はそれらを含まない環境の比較的より多数の画像を含む、項目２１に記載の方法。
［項目２５］
上記停止条件は、予め定義された数の反復である、項目１９に記載の方法。
［項目２６］
上記トレーニング済みシステムは、ニューラルネットワークを含む、項目１４に記載の方法。
［項目２７］
車両の現在位置の先の将来経路を推定する方法であって、
道路を走行中の車両の任意の現在位置の先の環境の画像を取得することと、
道路を走行中の車両の先の環境の第１の複数の画像上で将来経路を推定するようにトレーニングされたトレーニング済みシステムを取得することと、
上記トレーニング済みシステムを上記車両の上記任意の現在位置の先の上記環境の上記画像に適用することと、
上記トレーニング済みシステムの上記画像への上記適用に基づいて、上記任意の現在位置の先の、上記車両の推定将来経路を提供することと
を含む、方法。
［項目２８］
上記トレーニング済みシステムは、グローバル関数の区分アフィン関数を含む、項目２７に記載の方法。
［項目２９］
上記グローバル関数は、畳み込み、最大プーリング、又は正規化線形関数を含む、項目２８に記載の方法。
［項目３０］
上記車両の上記現在位置の先の上記推定将来経路を利用して、上記車両の少なくとも１つの移動パラメータを変更するように上記車両の少なくとも１つの電子ユニット又は機械ユニットを制御することを更に含む、項目２８に記載の方法。
［項目３１］
上記車両の上記現在位置の先の上記推定将来経路を利用して、上記車両のドライバーに感覚フィードバックを提供することを更に含む、項目２８に記載の方法。
［項目３２］
上記現在位置の先の、上記車両の上記推定将来経路は、少なくとも１つの分類器を使用して、上記環境の上記画像に現れる１つ又は複数の予め定義された物体を識別することに更に基づく、項目２７に記載の方法。
［項目３３］
上記車両の上記現在位置の先の上記推定将来経路を利用して、上記車両の操舵制御機能の制御点を提供することを更に含む、項目２７に記載の方法。
［項目３４］
上記トレーニング済みシステムを上記車両の上記現在位置の先の上記環境の上記画像に適用することは、上記現在位置の先の、上記車両の２つ以上の推定将来経路を提供する、項目２７に記載の方法。
［項目３５］
上記車両の上記現在位置の先の道路プロファイルを推定するに当たり、上記車両の上記現在位置の先の上記推定将来経路を利用することを更に含む、項目２７に記載の方法。
［項目３６］
上記トレーニング済みシステムを上記車両の上記現在位置の先の上記環境の上記画像に適用することは、上記現在位置の先の、上記車両の２つ以上の推定将来経路を提供し、且つ上記現在位置の先の、上記車両の上記２つ以上の推定将来経路のそれぞれの１つに沿った道路プロファイルを推定することを更に含む、項目２７に記載の方法。
［項目３７］
上記車両の上記将来経路又はその近傍に位置する１つ又は複数の車両を検出するに当たり、上記車両の上記現在位置の先の上記推定将来経路を利用することを更に含む、項目２７に記載の方法。
［項目３８］
上記車両の上記将来経路又はその近傍にあると特定された１つ又は複数の車両の位置に基づいて、上記車両の少なくとも１つの移動パラメータを上記車両の少なくとも１つの電子ユニット又は機械ユニットに変更させることを更に含む、項目３７に記載の方法。
［項目３９］
１つ又は複数の車両が上記車両の上記将来経路又はその近傍にあると判断されることをユーザに示す感覚アラートをトリガーすることを更に含む、項目３７に記載の方法。
［項目４０］
画像を処理する装置であって、
少なくとも１つのプロセッサ
を含み、上記少なくとも１つのプロセッサは、
第１の複数のトレーニング画像を取得することであって、上記第１の複数のトレーニング画像のそれぞれの１つは、道路を走行中の車両の先の環境の画像である、取得することと、
上記第１の複数のトレーニング画像のそれぞれの１つについて、上記車両のそれぞれの現在位置の先の、上記車両の予め記憶された経路を取得することと、
画像を所与として、上記車両のそれぞれの現在位置の先の道路を走行中の車両の将来経路を提供するようにシステムをトレーニングすることであって、上記システムをトレーニングすることは、
トレーニング済みシステムへの入力として上記第１の複数のトレーニング画像を提供すること、
上記トレーニングの各反復において、重みの現在状態によって推定されたそれぞれの暫定的な将来経路及びそれぞれの予め記憶された経路に基づいて損失関数を計算すること、及び
上記損失関数の結果に従って上記トレーニング済みシステムの上記重みを更新すること
を含む、トレーニングすることと
を行うようにプログラムされる、装置。
［項目４１］
上記第１の複数のトレーニング画像を取得することは、上記第１の複数のトレーニング画像からの上記画像のそれぞれの１つについて、上記画像が捕捉された瞬間における上記道路上の上記車両の位置を示すデータを取得することを更に含む、項目４０に記載の装置。
［項目４２］
上記第１の複数のトレーニング画像を取得することは、上記第１の複数のトレーニング画像からの少なくとも１つの画像における少なくとも１つのレーンマークの位置を取得することを含み、上記第１の複数のトレーニング画像からの上記画像のそれぞれの１つについて、上記画像が捕捉された瞬間における上記道路上の上記車両の上記位置を示すデータを取得することは、上記第１の複数のトレーニング画像からの上記少なくとも１つの画像について、上記少なくとも１つの画像における上記少なくとも１つのレーンマークの位置に従って、上記少なくとも１つの画像が捕捉された瞬間における上記道路上の上記車両の上記位置を特定することを含む、項目４１に記載の装置。
［項目４３］
上記トレーニング済みシステムは、ニューラルネットワークを含む、項目４０に記載の装置。
［項目１］
車両の現在位置の先の将来経路を推定するシステムであって、少なくとも１つのプロセッサを含み、上記少なくとも１つのプロセッサは、
道路を走行中の車両の任意の現在位置の先の環境の画像を取得することと、
道路を走行中の車両の先の環境の第１の複数の画像上で将来経路を推定するようにトレーニングされたトレーニング済みシステムを取得することと、
上記トレーニング済みシステムを上記車両の上記任意の現在位置の先の上記環境の上記画像に適用することと、
上記トレーニング済みシステムの上記画像への適用に基づいて、上記任意の現在位置の先の、上記車両の推定将来経路を提供することと
を行うようにプログラムされる、システム。
［項目２］
上記トレーニング済みシステムは、グローバル関数の区分アフィン関数を含む、項目１に記載のシステム。
［項目３］
上記グローバル関数は、畳み込み、最大プーリング、又は正規化線形関数を含む、項目２に記載のシステム。
［項目４］
上記少なくとも１つのプロセッサは、上記車両の上記現在位置の先の上記推定将来経路を利用して、上記車両の少なくとも１つの移動パラメータを変更するように上記車両の少なくとも１つの電子ユニット又は機械ユニットを制御するように更にプログラムされる、項目２に記載のシステム。
［項目５］
上記少なくとも１つのプロセッサは、上記車両の上記現在位置の先の上記推定将来経路を利用して、上記車両のドライバーに感覚フィードバックを提供するように更にプログラムされる、項目２に記載のシステム。
［項目６］
上記現在位置の先の、上記車両の上記推定将来経路は、少なくとも１つの分類器を使用して、上記環境の上記画像に現れる１つ又は複数の予め定義された物体を識別することに更に基づく、項目１に記載のシステム。
［項目７］
上記少なくとも１つのプロセッサは、上記車両の上記現在位置の先の上記推定将来経路を利用して、上記車両の操舵制御機能の制御点を提供するように更にプログラムされる、項目１に記載のシステム。
［項目８］
上記トレーニング済みシステムを上記車両の上記現在位置の先の上記環境の上記画像に適用することは、上記現在位置の先の、上記車両の２つ以上の推定将来経路を提供する、項目１に記載のシステム。
［項目９］
上記少なくとも１つのプロセッサは、上記車両の上記現在位置の先の道路プロファイルを推定するに当たり、上記車両の上記現在位置の先の上記推定将来経路を利用するように更にプログラムされる、項目１に記載のシステム。
［項目１０］
上記トレーニング済みシステムを上記車両の上記現在位置の先の上記環境の上記画像に適用することは、上記現在位置の先の、上記車両の２つ以上の推定将来経路を提供し、且つ上記現在位置の先の、上記車両の上記２つ以上の推定将来経路のそれぞれの１つに沿った道路プロファイルを推定することを更に含む、項目１に記載のシステム。
［項目１１］
上記少なくとも１つのプロセッサは、上記車両の上記将来経路又はその近傍に位置する１つ又は複数の車両を検出するに当たり、上記車両の上記現在位置の先の上記推定将来経路を利用するように更にプログラムされる、項目１に記載のシステム。
［項目１２］
上記少なくとも１つのプロセッサは、上記車両の上記将来経路又はその近傍にあると特定された１つ又は複数の車両の位置に基づいて、上記車両の少なくとも１つの移動パラメータを上記車両の少なくとも１つの電子ユニット又は機械ユニットに変更させるように更にプログラムされる、項目１１に記載のシステム。
［項目１３］
上記少なくとも１つのプロセッサは、１つ又は複数の車両が上記車両の上記将来経路又はその近傍にあると判断されることをユーザに示す感覚アラートをトリガーするように更にプログラムされる、項目１１に記載のシステム。
［項目１４］
画像を処理する方法であって、
第１の複数のトレーニング画像を取得することであって、上記第１の複数のトレーニング画像のそれぞれの１つは、道路を走行中の車両の先の環境の画像である、取得することと、
上記第１の複数のトレーニング画像のそれぞれの１つについて、上記車両のそれぞれの現在位置の先の、上記車両の予め記憶された経路を取得することと、
画像を所与として、上記車両のそれぞれの現在位置の先の道路を走行中の車両の将来経路を提供するようにシステムをトレーニングすることであって、上記システムをトレーニングすることは、
トレーニング済みシステムへの入力として上記第１の複数のトレーニング画像を提供すること、
上記トレーニングの各反復において、上記トレーニング済みシステムの重みの現在状態によって推定されたそれぞれの暫定的な将来経路及びそれぞれの予め記憶された経路に基づいて損失関数を計算すること、及び
上記損失関数の結果に従って上記トレーニング済みシステムの上記重みを更新すること
を含む、トレーニングすることと
を含む、方法。
［項目１５］
上記第１の複数のトレーニング画像を取得することは、上記第１の複数のトレーニング画像からの上記画像のそれぞれの１つについて、上記画像が捕捉された瞬間における上記道路上の上記車両の位置を示すデータを取得することを更に含む、項目１４に記載の方法。
［項目１６］
上記第１の複数のトレーニング画像を取得することは、上記第１の複数のトレーニング画像からの少なくとも１つの画像における少なくとも１つのレーンマークの位置を取得することを含み、上記第１の複数のトレーニング画像からの上記画像のそれぞれの１つについて、上記画像が捕捉された瞬間のおける上記道路上の上記車両の上記位置を示すデータを取得することは、上記第１の複数のトレーニング画像からの上記少なくとも１つの画像について、上記少なくとも１つの画像における上記少なくとも１つのレーンマークの位置に従って、上記少なくとも１つの画像が捕捉された瞬間における上記道路上の上記車両の上記位置を特定することを含む、項目１５に記載の方法。
［項目１７］
上記少なくとも１つの画像における上記少なくとも１つのレーンマークの位置に従って、上記第１の複数のトレーニング画像からの上記少なくとも１つの画像が捕捉された瞬間における上記道路上の上記車両の上記位置を特定することは、上記少なくとも１つのレーンマークの上記位置からの予め定義されたオフセットにおける上記道路上の上記車両の上記位置を特定することを含む、項目１６に記載の方法。
［項目１８］
上記車両の上記それぞれの現在位置の先の、上記車両の上記予め記憶された経路は、それぞれの第２の複数のトレーニング画像が捕捉されたそれぞれの瞬間における上記道路上の上記車両の位置に基づいて特定され、上記第２の複数のトレーニング画像は、上記現在位置に関連する上記画像に続けて捕捉された、上記第１の複数のトレーニング画像からの画像である、項目１５に記載の方法。
［項目１９］
上記システムをトレーニングすることは、複数の反復を含み、且つ停止条件が満たされるまで実行される、項目１４に記載の方法。
［項目２０］
道路を走行中の車両の先の環境の任意の入力画像を所与として、上記車両の将来経路推定を提供するように構成されるトレーニング済みシステムを出力として提供することを更に含む、項目１４に記載の方法。
［項目２１］
上記第１の複数のトレーニング画像は、道路上に比較的希に現れる環境の比較的より多数の画像を含む、項目１４に記載の方法。
［項目２２］
上記第１の複数のトレーニング画像は、カーブした道路を含む環境の比較的より多数の画像を含む、項目２１に記載の方法。
［項目２３］
上記第１の複数のトレーニング画像は、レーン分割、レーン統合、高速道路出口、高速道路入口、及び／ 又は分岐合流点を含む環境の比較的より多数の画像を含む、項目２１に記載の方法。
［項目２４］
上記第１の複数のトレーニング画像は、上記車両の先の道路上にレーンマーク、ボッツドッツ、及び／ 又は影が少ない環境、又はそれらを含まない環境の比較的より多数の画像を含む、項目２１に記載の方法。
［項目２５］
上記停止条件は、予め定義された数の反復である、項目１９に記載の方法。
［項目２６］
上記トレーニング済みシステムは、ニューラルネットワークを含む、項目１４に記載の方法。
［項目２７］
車両の現在位置の先の将来経路を推定する方法であって、
道路を走行中の車両の任意の現在位置の先の環境の画像を取得することと、
道路を走行中の車両の先の環境の第１の複数の画像上で将来経路を推定するようにトレーニングされたトレーニング済みシステムを取得することと、
上記トレーニング済みシステムを上記車両の上記任意の現在位置の先の上記環境の上記画像に適用することと、
上記トレーニング済みシステムの上記画像への上記適用に基づいて、上記任意の現在位置の先の、上記車両の推定将来経路を提供することと
を含む、方法。
［項目２８］
上記トレーニング済みシステムは、グローバル関数の区分アフィン関数を含む、項目２７に記載の方法。
［項目２９］
上記グローバル関数は、畳み込み、最大プーリング、又は正規化線形関数を含む、項目２８に記載の方法。
［項目３０］
上記車両の上記現在位置の先の上記推定将来経路を利用して、上記車両の少なくとも１つの移動パラメータを変更するように上記車両の少なくとも１つの電子ユニット又は機械ユニットを制御することを更に含む、項目２８に記載の方法。
［項目３１］
上記車両の上記現在位置の先の上記推定将来経路を利用して、上記車両のドライバーに感覚フィードバックを提供することを更に含む、項目２８に記載の方法。
［項目３２］
上記現在位置の先の、上記車両の上記推定将来経路は、少なくとも１つの分類器を使用して、上記環境の上記画像に現れる１つ又は複数の予め定義された物体を識別することに更に基づく、項目２７に記載の方法。
［項目３３］
上記車両の上記現在位置の先の上記推定将来経路を利用して、上記車両の操舵制御機能の制御点を提供することを更に含む、項目２７に記載の方法。
［項目３４］
上記トレーニング済みシステムを上記車両の上記現在位置の先の上記環境の上記画像に適用することは、上記現在位置の先の、上記車両の２つ以上の推定将来経路を提供する、項目２７に記載の方法。
［項目３５］
上記車両の上記現在位置の先の道路プロファイルを推定するに当たり、上記車両の上記現在位置の先の上記推定将来経路を利用することを更に含む、項目２７に記載の方法。
［項目３６］
上記トレーニング済みシステムを上記車両の上記現在位置の先の上記環境の上記画像に適用することは、上記現在位置の先の、上記車両の２つ以上の推定将来経路を提供し、且つ上記現在位置の先の、上記車両の上記２つ以上の推定将来経路のそれぞれの１つに沿った道路プロファイルを推定することを更に含む、項目２７に記載の方法。
［項目３７］
上記車両の上記将来経路又はその近傍に位置する１つ又は複数の車両を検出するに当たり、上記車両の上記現在位置の先の上記推定将来経路を利用することを更に含む、項目２７に記載の方法。
［項目３８］
上記車両の上記将来経路又はその近傍にあると特定された１つ又は複数の車両の位置に基づいて、上記車両の少なくとも１つの移動パラメータを上記車両の少なくとも１つの電子ユニット又は機械ユニットに変更させることを更に含む、項目３７に記載の方法。
［項目３９］
１つ又は複数の車両が上記車両の上記将来経路又はその近傍にあると判断されることをユーザに示す感覚アラートをトリガーすることを更に含む、項目３７に記載の方法。
［項目４０］
画像を処理する装置であって、
少なくとも１つのプロセッサ
を含み、上記少なくとも１つのプロセッサは、
第１の複数のトレーニング画像を取得することであって、上記第１の複数のトレーニング画像のそれぞれの１つは、道路を走行中の車両の先の環境の画像である、取得することと、
上記第１の複数のトレーニング画像のそれぞれの１つについて、上記車両のそれぞれの現在位置の先の、上記車両の予め記憶された経路を取得することと、
画像を所与として、上記車両のそれぞれの現在位置の先の道路を走行中の車両の将来経路を提供するようにシステムをトレーニングすることであって、上記システムをトレーニングすることは、
トレーニング済みシステムへの入力として上記第１の複数のトレーニング画像を提供すること、
上記トレーニングの各反復において、重みの現在状態によって推定されたそれぞれの暫定的な将来経路及びそれぞれの予め記憶された経路に基づいて損失関数を計算すること、及び
上記損失関数の結果に従って上記トレーニング済みシステムの上記重みを更新すること
を含む、トレーニングすることと
を行うようにプログラムされる、装置。
［項目４１］
上記第１の複数のトレーニング画像を取得することは、上記第１の複数のトレーニング画像からの上記画像のそれぞれの１つについて、上記画像が捕捉された瞬間における上記道路上の上記車両の位置を示すデータを取得することを更に含む、項目４０に記載の装置。
［項目４２］
上記第１の複数のトレーニング画像を取得することは、上記第１の複数のトレーニング画像からの少なくとも１つの画像における少なくとも１つのレーンマークの位置を取得することを含み、上記第１の複数のトレーニング画像からの上記画像のそれぞれの１つについて、上記画像が捕捉された瞬間における上記道路上の上記車両の上記位置を示すデータを取得することは、上記第１の複数のトレーニング画像からの上記少なくとも１つの画像について、上記少なくとも１つの画像における上記少なくとも１つのレーンマークの位置に従って、上記少なくとも１つの画像が捕捉された瞬間における上記道路上の上記車両の上記位置を特定することを含む、項目４１に記載の装置。
［項目４３］
上記トレーニング済みシステムは、ニューラルネットワークを含む、項目４０に記載の装置。
【図1】
【図2A】
【図2B】
【図2C】
【図2D】
【図2E】
【図2F】
【図3A】
【図3B】
【図3C】
【図3D】
【図4】
【図5A】
【図5B】
【図5C】
【図6】
【図7】
【図8A】
【図8B】
【図9】
【図10】
【図11A】
【図11B】
【図12A】
【図12B】
【図12C】
【図12D】
【図13】