▶ モービルアイ ヴィジョン テクノロジーズ リミテッドの特許一覧
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-03-11
(45)【発行日】2022-03-22
(54)【発明の名称】カメラを用いた車両環境モデリング
(51)【国際特許分類】
G01B 11/24 20060101AFI20220314BHJP
G01C 11/02 20060101ALI20220314BHJP
G06T 7/00 20170101ALI20220314BHJP
G08G 1/16 20060101ALI20220314BHJP
【ＦＩ】
G01B11/24 K
G01C11/02
G06T7/00 350C
G06T7/00 650A
G08G1/16 C
【請求項の数】
20
(21)【出願番号】P 2020556952
(86)(22)【出願日】2019-04-18
(65)【公表番号】
(43)【公表日】2021-05-20
(86)【国際出願番号】 IB2019000506
(87)【国際公開番号】W WO2019202397
(87)【国際公開日】2019-10-24
【審査請求日】2020-10-15
(31)【優先権主張番号】62/659,470
(32)【優先日】2018-04-18
(33)【優先権主張国・地域又は機関】US
(31)【優先権主張番号】62/662,965
(32)【優先日】2018-04-26
(33)【優先権主張国・地域又は機関】US
(31)【優先権主張番号】62/663,529
(32)【優先日】2018-04-27
(33)【優先権主張国・地域又は機関】US
(31)【優先権主張番号】62/769,241
(32)【優先日】2018-11-19
(33)【優先権主張国・地域又は機関】US
(31)【優先権主張番号】62/769,236
(32)【優先日】2018-11-19
(33)【優先権主張国・地域又は機関】US
【早期審査対象出願】
(73)【特許権者】
【識別番号】514281407
【氏名又は名称】モービルアイ ヴィジョン テクノロジーズ リミテッド
(74)【代理人】
【識別番号】100107766
【弁理士】
【氏名又は名称】伊東 忠重
(74)【代理人】
【識別番号】100070150
【弁理士】
【氏名又は名称】伊東 忠彦
(74)【代理人】
【識別番号】100135079
【弁理士】
【氏名又は名称】宮崎 修
(72)【発明者】
【氏名】シャーグ，ナダフ
(72)【発明者】
【氏名】シュタイン，ギデオン
(72)【発明者】
【氏名】ブルメンタール，イタイ
(72)【発明者】
【氏名】モスコウィッツ，ジェフリー
【審査官】續山 浩二
(56)【参考文献】
【文献】米国特許出願公開第２０１６／０２５３５６６（ＵＳ，Ａ１）
【文献】米国特許出願公開第２０１０／００９８２９５（ＵＳ，Ａ１）
【文献】特開２０１３－０７９９３７（ＪＰ，Ａ）
【文献】米国特許出願公開第２０１７／０３７１３４０（ＵＳ，Ａ１）
【文献】国際公開第２０１７／１１８９０７（ＷＯ，Ａ１）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０１Ｂ １１／２４
Ｇ０１Ｃ １１／０２
Ｇ０６Ｔ ７／００
Ｇ０８Ｇ １／１６
(57)【特許請求の範囲】
【請求項1】
路面をモデル化するための装置であって、当該装置は、路面を表す時間順に並べられた画像シーケンスを取得するためのハードウェア・インターフェイスであって、前記時間順に並べられた画像シーケンスはセンサによって取り込まれ、前記画像シーケンスのうちの１つの画像が現在の画像である、ハードウェア・インターフェイスと、
処理回路と、を含み、
該処理回路は、
データセットを人工ニューラル・ネットワーク（ＡＮＮ）に提供し、前記ＡＮＮは、教師なしのトレーニング手法でトレーニングされ、この手法では、前記ＡＮＮを修正するために使用されるエラーが、２つの異なる時間における前記画像シーケンスからの２つの画像の間の重複するセグメントの道路構造を表すガンマの差によって決定され、推定が第１の画像で実行され、前記重複するセグメントは、第２の画像において前記センサに近くなり、
前記ＡＮＮは、シーンの３次元構造を生成し、前記データセットには、
前記現在の画像を含む前記画像シーケンスの一部と、
前記画像シーケンスを取り込んだ前記センサの動きと、
エピポールと、が含まれ、
前記処理回路は、前記シーンの３次元構造を用いて前記路面をモデル化する、
装置。
【請求項2】
前記エピポールは、前記現在の画像と同じ次元を有するグラデーション画像として提供され、該グラデーション画像のピクセルの値が、前記現在の画像のピクセルの前記エピポールからの距離を表す、請求項１に記載の装置。
【請求項3】
前記グラデーション画像は、前記エピポールからの水平距離のみを表し、第２のグラデーション画像が、前記エピポールからの垂直距離を表すために前記ＡＮＮに提供される、請求項２に記載の装置。
【請求項4】
前記センサの動きは、前記現在の画像と同じ次元を有する一定値の画像として提供される、請求項１に記載の装置。
【請求項5】
前記一定値は、前記センサの前進運動を平面からの前記センサの高さで割った比である、請求項４に記載の装置。
【請求項6】
前記路面をモデル化するために、前記処理回路は、前記シーンの前記３次元構造を第２のＡＮＮからの出力と比較することによって反射領域を特定し、前記第２のＡＮＮは、前記画像シーケンスの一部を受け入れ、第２の３次元構造を生成するようにトレーニングされ、前記第２のＡＮＮのトレーニングでは、前記画像シーケンスの一部で第１のＡＮＮのトレーニングよりもより多くの写真測量的損失が使用される、請求項１に記載の装置。
【請求項7】
前記処理回路は、前記３次元構造を用いて第２のＡＮＮを呼び出して、特徴が、前記路面の環境内で動いている物体又は動いていない物体を表すかどうかを判定するように構成される、請求項１に記載の装置。
【請求項8】
前記ＡＮＮは、畳み込みニューラル・ネットワーク（ＣＮＮ）である、請求項１に記載の装置。
【請求項9】
前記センサの動き及び前記エピポールは、ボトルネック層で前記ＣＮＮに提供される、請求項８に記載の装置。
【請求項10】
前記ＡＮＮは、教師なしのトレーニング手法でトレーニングされ、この手法では、エラーが、未来の画像のモデルと前記未来の画像との間の差を測定することによって決定され、前記未来の画像の前記モデルは、前記未来の画像より前の画像のガンマ・ワーピングによって生成される、請求項１に記載の装置。
【請求項11】
路面をモデル化する方法であって、当該方法は、路面を表す時間順に並べられた画像シーケンスを取得するステップであって、前記時間順に並べられた画像シーケンスはセンサによって取り込まれ、前記画像シーケンスのうちの１つの画像が現在の画像である、取得するステップと、
データセットを人工ニューラル・ネットワーク（ＡＮＮ）に提供するステップであって、前記ＡＮＮは、教師なしのトレーニング手法でトレーニングされ、この手法では、前記ＡＮＮを修正するために使用されるエラーが、２つの異なる時間における前記画像シーケンスからの２つの画像の間の重複するセグメントの道路構造を表すガンマの差によって決定され、推定が第１の画像で実行され、前記重複するセグメントは、第２の画像において前記センサに近くなり、前記ＡＮＮによって、シーンの３次元構造が生成され、前記データセットには、
前記現在の画像を含む前記画像シーケンスの一部と、
前記画像シーケンスを取り込んだ前記センサの動きと、
エピポールと、が含まれる、提供するステップと、
前記シーンの３次元構造を用いて前記路面をモデル化するステップと、を含む、
方法。
【請求項12】
前記エピポールは、前記現在の画像と同じ次元を有するグラデーション画像として提供され、該グラデーション画像のピクセルの値が、前記現在の画像のピクセルの前記エピポールからの距離を表す、請求項１１に記載の方法。
【請求項13】
前記グラデーション画像は、前記エピポールからの水平距離のみを表し、第２のグラデーション画像が、前記エピポールからの垂直距離を表すために前記ＡＮＮに提供される、請求項１２に記載の方法。
【請求項14】
前記センサの動きは、前記現在の画像と同じ次元を有する一定値の画像として提供される、請求項１１に記載の方法。
【請求項15】
前記一定値は、前記センサの前進運動を平面からの前記センサの高さで割った比である、請求項１４に記載の方法。
【請求項16】
前記路面のモデル化するステップは、前記シーンの前記３次元構造を第２のＡＮＮからの出力と比較することによって反射領域を特定するステップを含み、前記第２のＡＮＮは前記画像シーケンスの前記一部を受け入れ、第２の３次元構造を生成するようにトレーニングされ、前記第２のＡＮＮのトレーニングでは、前記画像シーケンスの前記一部で第１のＡＮＮをトレーニングするよりもより多くの写真測量的損失が使用される、請求項１１に記載の方法。
【請求項17】
前記３次元構造を用いて第２のＡＮＮを呼び出して、特徴が、前記路面の環境内で動いている物体又は動いていない物体を表すかどうかを判定するステップを含む、請求項１１に記載の方法。
【請求項18】
前記ＡＮＮは、畳み込みニューラル・ネットワーク（ＣＮＮ）である、請求項１１に記載の方法。
【請求項19】
前記センサの動き及びエピポールは、ボトルネック層で前記ＣＮＮに提供される、請求項１８に記載の方法。
【請求項20】
前記ＡＮＮは、教師なしのトレーニング手法でトレーニングされ、この手法では、エラーが、未来の画像のモデルと前記未来の画像との間の差を測定することによって決定され、前記未来の画像の前記モデルは、前記未来の画像より前の画像のガンマ・ワーピングによって生成される、請求項１１に記載の方法。
【発明の詳細な説明】
【技術分野】
【0001】
優先権の主張
この特許出願は、２０１８年４月１８日に出願した、“PARALLAXNET-LEARNING OF GEOMETRY FROM MONOCULAR VIDEO”という表題の米国仮出願第６２／６５９，４７０号；２０１８年４月２６日に出願した、“MOVING／NOT MOVING DNN”という表題の米国仮出願第６２／６６２，９６５号；２０１８年４月２７日に出願した、“ROD PLANE WITH DNN”という表題の米国仮出願第６２／６６３，５２９号；２０１８年１１月１９日に出願した、“PUDDLE DETECTION FOR AUTONOMOUS VEHICLE CONTROL”という表題の米国仮出願第６２／７６９，２３６号；及び２０１８年１１月１９日に出願した、“ROAD CONTUR MEASUREMENT FOR AUTONOMOUS VEHICLES”という表題の米国仮出願第６２／７６９，２４１号；について、米国特許法第１１９条に基づいて、優先権の利益を主張するものであり、これら全ての文献の全体が参照により本明細書に組み込まれる。
この特許出願は、２０１８年４月１８日に出願した、“PARALLAXNET-LEARNING OF GEOMETRY FROM MONOCULAR VIDEO”という表題の米国仮出願第６２／６５９，４７０号；２０１８年４月２６日に出願した、“MOVING／NOT MOVING DNN”という表題の米国仮出願第６２／６６２，９６５号；２０１８年４月２７日に出願した、“ROD PLANE WITH DNN”という表題の米国仮出願第６２／６６３，５２９号；２０１８年１１月１９日に出願した、“PUDDLE DETECTION FOR AUTONOMOUS VEHICLE CONTROL”という表題の米国仮出願第６２／７６９，２３６号；及び２０１８年１１月１９日に出願した、“ROAD CONTUR MEASUREMENT FOR AUTONOMOUS VEHICLES”という表題の米国仮出願第６２／７６９，２４１号；について、米国特許法第１１９条に基づいて、優先権の利益を主張するものであり、これら全ての文献の全体が参照により本明細書に組み込まれる。
【0002】
本明細書で説明する実施形態は、概して、コンピュータビジョン技術に関し、より具体的には、カメラを用いた車両環境モデリングに関する。
【背景技術】
【0003】
自動車において「自動運転（self-driving）」又は「支援運転（assisted-driving）」動作と呼ばれることが多い自律又は半自律型の自動車技術は、商用及び消費者グレードの車両において急速な開発及び配備が行われている。これらのシステムは、センサのアレイを使用して、車両の動き及び周囲を継続的に監視する。様々なセンサ技術を使用して、路面や境界、他の車両、歩行者、物体や危険物、標識や道路標示、及び他の関連アイテム等、車両の周囲を監視できる。
【0004】
１つ又は複数のカメラと共に実装される画像取込みセンサは、物体の検出や認識、及び標識や道路標示の読み取りに特に有用である。カメラベースのシステムが、道路の垂直輪郭、車線マーカー、縁石等の３次元構造の測定、及び物体又は危険物の検出に適用されている。実用的なセンサシステムが、変化する気象条件及び道路状況で確実に動作することが期待されている。これらの期待は、入力を処理する際に無数の課題をもたらす傾向がある。夜間の影又は光による入力ノイズは、路面検出を妨害する可能性がある。濡れた道路又は他の反射面は、路面モデルとは逆の見かけ上の動きをもたらすことがよくある。さらに、自律運転又は支援運転を可能にするために路面をモデリングしながら危険を高速（例えば、リアルタイム）で検出する必要があるため、これらの路面検出が困難な場合に、ハードウェアに負担がかかる。
【図面の簡単な説明】
【0005】
必ずしも一定の縮尺で描かれていない図面において、同様の数字は、異なる図において同様の構成要素を説明し得る。異なる文字の接尾辞を有する同様の数字は、同様の構成要素の異なるインスタンスを表す場合がある。図面は、限定ではなく例として、本文書で議論する様々な実施形態を一般的に示す。
【図1】車両環境の例のブロック図である。
【図2】一実施形態による、カメラを用いた車両環境モデリングのためのシステムの例のブロック図である。
【図3】一実施形態による、現在の画像及び以前の画像を示す図である。
【図4】一実施形態による、路面のガンマモデルを生成するためのニューラル・ネットワークの例を示す図である。
【図5】一実施形態による、機械学習（ＭＬ）ベースの垂直輪郭エンジンの例示的なディープニューラル・ネットワーク（ＤＮＮ）を示す図である。
【図6】一実施形態による、ＤＮＮの例示的なアーキテクチャを詳述する表である。
【図7】一実施形態による、ＤＮＮのより複雑な例示的なアーキテクチャを詳述する表である。
【図8】一実施形態による、ＤＮＮのより複雑な例示的なアーキテクチャを詳述する表である。
【図9】一実施形態による、ＤＮＮトレーニングシステムの例を示す図である。
【図10】一実施形態による、マルチモーダル損失関数適用エンジンの例を示す図である。
【図11】一実施形態による、物体が動いているかどうかに関する決定を生成するニューラル・ネットワークの例を示す図である。
【図12】一実施形態による、物体が動いているかどうかに関する決定を生成するための畳み込みニューラル・ネットワークの例を示す図である。
【図13】一実施形態による、垂直輪郭検出エンジンを動作させるための方法の例を示すフロー図である。
【図14】一実施形態による、ＭＬベースの輪郭エンジンで使用するためにＤＮＮを構成する方法の例を示すフロー図である。
【図15】一実施形態による、自律型車両が道路に沿って移動している間の道路の垂直輪郭のリアルタイム測定のための方法の例を示すフロー図である。
【図16】一実施形態による、道路の垂直輪郭を測定するために画像シーケンスに亘って残差フローを処理するための例示的な手法を示すフロー図である。
【図17】一実施形態による、水たまり検出及び車両制御のための応答性意思決定のための方法の例を示すフロー図である。
【図18】一実施形態による、垂直輪郭情報及び追加の水たまり検出基準に基づいて、１つ又は複数の水たまりの存在を計算により決定する方法の例を示すフロー図である。
【図19】一実施形態による、自律型車両の現在の状況シナリオを計算により決定する方法の例を示すフロー図である。
【図20】一実施形態による、水たまりの検出に応答するために選択されてもされなくてもよい、利用可能な運転応答解の計算評価のための方法の例を示すフロー図である。
【図21】一実施形態による、自律型車両制御システムと共に使用するための、道路をプロファイリングするためのカメラベースの車両搭載システムを示す図である。
【図22】一実施形態による、車両上の複数のカメラアレイを示す図である。
【図23】一実施形態による、複数のカメラアレイによって取り込まれ得る視野の例を示す図である。
【図24】一実施形態による、垂直輪郭検出エンジンの例を示すブロック図である。
【図25】一実施形態による、プリプロセッサエンジンの例を示す図である。
【図26】一実施形態による、カメラを用いた車両環境モデリングのための方法の例のフロー図である。
【図27】１つ又は複数の実施形態を実現することができるマシンの例を示すブロック図である。
【図28】一実施形態によるコンピュータ装置の例示的なハードウェア及びソフトウェアアーキテクチャを示す図である。
【図29】一実施形態に従って使用され得る処理装置を示すブロック図である。
【図30】一実施形態による中央処理装置の例示的なコンポーネントを示すブロック図である。
【発明を実施するための形態】
【0006】
様々な車両環境モデリング技術が、様々なセンサ構成と共に使用され得る。カメラ（視覚光スペクトル、赤外線（ＩＲ）等）を使用する場合に、センサはピクセルで構成される画像を生成する。色又は輝度等、ピクセルの様々な態様をモデリングに使用できる。一般に、動的環境をモデル化するには、画像シーケンス（a sequence of images）が使用される。このタイプのモデリングでは、連続する画像同士の間のピクセルの動きを追跡して、車両がどの様に動いているか、他の車両がどの様に動いているか、物体（例えば、人、動物、ボール等）がどの様に動いているか、道路の障害物等、環境の態様を推定する。
【0007】
画像を正規化された状態に変換し（例えば、カメラのレンズの歪みを補正するため）、ピクセルを順番に画像同士の間で整列させ（例えば、ホモグラフィ（homography）を介して後の画像と大きく一致するように以前の画像をワープする）、及び残りのピクセルの動き（例えば、残差の動き（residual motion：残差モーション））を測定する、反復プロセスを使用して、環境をモデル化できる。残差の動きμ→次のように計算できる：
ここで、Ｈ／Ｚ項はガンマであり、平面（例えば、路面）の上のピクセルの高さＨとピクセルのセンサまでの距離Ｚの比である。ＴＺは、センサの順方向の並進（例えば、車両が画像同士の間でどれだけ移動したか）を表し、ｄ’πは平面からのセンサの高さを表し、ｅ→はエピポール（epipole）情報（例えば、車両がどこを走行しているか）を表し、ｐｗ
→はホモグラフィベースのワーピングの適用後のピクセルの対応する画像座標を表す。
【数1】
【0008】
残差の動きを計算するいくつかの追加の詳細を以下に説明する。ただし、直接ピクセルマッチングを使用する場合に、いくつかの困難がある。例えば、路面に投影される可能性のある多くのものは、影又は反射パッチ（例えば、水たまり）等、路面を表さないことがある。フィルタリング技術を使用してこのノイズを減らすことができるが、より優れたソリューションには、画像シーケンスからガンマを直接計算するようにトレーニングされた人工知能（例えば、機械学習システム、人工ニューラル・ネットワーク（ＡＮＮ）、ディープＡＮＮ（ＤＮＮ）、畳み込みＡＮＮ（ＣＮＮ）等）が含まれる。これは、路面イメージングにおける一般的なノイズの問題に対する堅牢なソリューションを伴う。さらに、そのようなシステムは、センサの動き又はエピポール情報を受け入れて、そのガンマ結果をさらに向上させることもできる。ガンマから、道路平面の上のピクセルの高さ及びそのピクセルまでの距離を決定できる。そのような路面モデリングは、例えば、ポットホール（pothole）を回避したり、又は減速バンプ（speed bump）のためにサスペンションを調整したりするのに役立ち得る。センサデータからガンマを（例えば、ＡＮＮによって）直接決定することは、２次元（２Ｄ）オプティカルフロー（optical flow）を使用して残差フローを確認する、又はＡＮＮを使用して平面の上の高さ及びピクセル技術のセンサまでの距離を決定する等、他の技術よりも優れている場合がある。何故ならば、それは、エピポーラ拘束を強制するためである。さらに、１つのガンマを使用して、そのポイントの全ての画像を位置合わせ（例えば、ワープ）することができる。ＡＮＮが、ポイントの深さ又は高さを直接決定するようにトレーニングされ得るが、ガンマにはいくつかの利点がある。例えば、平面からの高さの著しい変化はカメラからの深さの相対的な小さな変化につながる可能性があるため、ガンマ計算は深さよりも安定している。また、Ｈ及び基準面を指定すると、深度Ｚを計算してから残差フローを計算できるが、これは、ＡＮＮが同じ結果を得るためにより多くのデータを処理するため、複雑さが増す。これは、平面モデルで画像を事前にワープし、入力としてエゴモーション（ego-motion: EM）（例えば、エピポールｅ→及びＴＺ／ｄ’π等のセンサ又は車両の動き）を提供するためでもある。
【0009】
一例では、ネットワークは、ガンマの代わりにＺ又はＨを計算するように、同様の技術を用いてトレーニングしてもよい。この例では、ホモグラフィ平面入力パラメータをＡＮＮに提供できる。例えば、平面は、水平線（例えば、平面の消失線）及び平面までの距離として規定してもよい。線は一対の距離画像として提供され得、平面までの距離が一定の画像として提供される。これは、エピポール及びＴＺが上記の入力として提供される方法に似ている。一例では、入力画像は、回転のみを考慮して（例えば、無限大の平面を使用するホモグラフィを用いて）整列され、Ｚを計算する。
【0010】
一例では、画像全体のガンマを計算し、次に（例えば、サスペンション制御のために）特定の経路に沿ったガンマのみを使用する代わりに、ＡＮＮは、指定された経路に沿ったガンマのみを生成するようにトレーニングされ得る。これは、例えば、出力がサスペンション制御等の車両用タイヤに適用可能なものにのみ使用される場合に、逆畳み込み（deconvolution）演算が計算的に高価になる可能性があるため、計算的により効率的である。経路の識別（例えば、経路に対してのみガンマを生成する）は、いくつかの方法で実装できる。例えば、ＡＮＮの推定段階で経路を入力として与えてもよく、ＡＮＮは、経路に沿った値のみを出力するようにトレーニングされている。一例では、完全なＡＮＮは、上述したようにガンマを生成するようにトレーニングされ得る。推定中に経路が与えられると、経路の展開段階でどの（逆）畳み込みが必要で、それらのみに適用するかについての決定が行われる。例えば、出力の行全体のガンマ値を決定するには、行全体に沿った畳み込みが必要である。ただし、行のみの出力セグメントの場合に、逆畳み込みはそのセグメントに対応する特定の範囲でのみ実行する必要がある。
【0011】
加えて、異なるようにトレーニングされた類似の構造化されたＡＮＮは、物体を移動している又は移動していないとして分類することもできる。移動／非移動の分類を使用して、例えば、事故回避行動をより適切に選択するようにホスト車両の能力を向上させることができる。この場合にも、入力画像を直接使用して、特徴の残差の動きを識別し、結果を決定する。追加の詳細及び例を以下で説明する。
【0012】
図１は車載カメラの例示的な視野１００を示す図であり、その視野１００には、様々な物体が存在する。図示されるように、視野１００には、窪み１０４Ａ（例えば、ポットホール、格子、窪み等）又は突起１０４Ｂ（例えば、減速バンプ、縁石、破片等）等の１つ又は複数の表面特徴１０４を有し得る路面１０２が含まれる。視野１００には、影１０６、反射面１０８（例えば、水たまり、氷等）、歩行者１１０、又は別の車両１１２も含まれ得る。表面特徴１０４をモデル化することにより、車両がそれらを回避し、運転者に警告し、又はそれらをよりよく処理するためにそれ自体を調整する（例えば、車両のサスペンションを調整して、窪み１０４Ａを横断する）ことができる。移動している、又は移動する可能性のある歩行者１１０又は車両１１２を理解してモデル化すると、同様に、車両制御の変更又は運転者への警告により、衝突を回避したり、又はそれらとの望ましくない相互作用（例えば、水たまり１０８走行することによる歩行者１１０への水の飛び跳ね）さえも（減速、又は走行経路の調整、停止等により）回避又は軽減したりできる。
【0013】
道路モデリングのこれらの要素は全て、本明細書で説明する装置及び技術によって対処されるいくつかの課題を提示し得る。例えば、影１０６は、路面ポイント追跡のためのノイズである。水たまりからの反射は、下にある路面をぼやけさせてポイント追跡を損なうだけでなく、他の場所でのピクセルの動きに反する、画像同士の間のピクセルの動きを実際に示すことがよくある。
【0014】
図２は、一実施形態による、カメラ２０２を用いた車両環境モデリングのためのシステム２０８の例のブロック図である。システム２０８は、車両２０４に取り付けられる。一例では、システム２０８は、カメラ２０２又は他のセンサに統合される。一例では、システム２０８は、カメラ２０２又は他のセンサ（例えば、車両２０４のインフォテインメントシステムの一部）から分離される。ここでは、例として、フロントガラスに取り付けられた前方カメラとしてカメラを示している。しかしながら、本明細書で説明する技術は、車両の内側又は外側に取り付けられた後向きカメラ又は側（横）向きカメラに等しく適用される。そのような例の１つは、屋根のコーナーの外側に取り付けられたカメラであり、その視野は、前方にあり、少し側方を向いている。
【0015】
システム２０８は、カメラ２０２から得られた画像によって車両環境モデリングを実行する処理回路を含む。車両環境モデリングは、路面２０６、障害物、妨害物、及び移動体（例えば、他の車両、歩行者、動物等）のモデリングを含み得る。これらのモデルは、車両２０４の動作パラメータを調整するためにシステム２０８によって直接、又は別の管理システムを介して使用され得る。モデリングを実行するために、システム２０８は、路面２０６を表す時間順に並べられた画像シーケンスを取得するように構成される。画像シーケンスのうちの１つの画像が現在の画像（例えば、カメラ２０２で撮影された最後の画像）である。
【0016】
システム２０８は、データセットを人工ニューラル・ネットワーク（ＡＮＮ）に提供して、ガンマ画像を生成するように構成される。ここで、ガンマ画像のピクセルは、ポイントのガンマ値である。他で言及されるように、ガンマ値は、平面の上のポイントの高さを現在の画像を取り込むセンサからの距離で割った比である。また、ここでは、平面は路面２０６を表す。
【0017】
以下では「ガンマ画像」が使用されるが、他のデータフォーマットを使用して、シーン内のガンマを表すことができる。こうして、ガンマは、ラスター形式でなくてもよく、センサデータを介してガンマ値を表面に相関させることができる任意の形式（例えば、値からポイントへのガンママップ）でもよい。まとめると、これらの様々なデータ構造は、ガンマモデルと呼ばれ得る。
【0018】
一例では、データセットは画像シーケンスの一部を含む。ここでは、画像シーケンスの一部には現在の画像が含まれる。データセットには、センサ２０２の動き（例えば、センサ運動情報）及びエピポール（例えば、エピポール情報）も含まれる。一例では、画像シーケンスの一部には、現在の画像の直前の画像が含まれる。一例では、画像シーケンスの一部は合計で３つの画像である。一例では、シーケンスは任意のｎ個の画像を含むことができ、ここで、Ｎは１より大きい整数である（すなわち、｛ｎ∈Ｉ｜ｎ＞１｝）。一例では、シーケンス内の画像は、連続的に取り込まれた画像であり得る。一例では、元のフレームのシーケンスからのいくつかのフレームは、データセットで使用される画像シーケンスを生成するプロセスで省略される場合がある。
【0019】
一例では、エピポールは、現在の画像と同じ次元（おそらくより高い又はより低い解像度ではあるが）のグラデーション画像として提供される。ここで、グラデーション画像のピクセルの値は、現在の画像のピクセルのエピポールからの距離を表す。一例では、グラデーション画像は、エピポールからの水平（例えば、ｘ軸）距離のみを表し、第２のグラデーション画像は、エピポールからの垂直（例えば、ｙ軸）距離を表すためにＡＮＮに提供される。
【0020】
一例では、センサ２０６の動きは、現在の画像と同じ次元性（おそらくより高い又はより低い解像度ではあるが）を有する一定値の画像として提供される。一例では、一定値は、センサ２０６（例えば、ｚ軸）の前進運動を平面２０６からのセンサ２０２の高さで割った比である。
【0021】
一例では、ＡＮＮは、畳み込みニューラル・ネットワーク（ＣＮＮ）である。一例では、センサ２０６の動き及びエピポールは、ボトルネック層でＣＮＮに提供される（例えば、図５に関する以下の説明を参照）。
【0022】
一例では、ＡＮＮは、教師なしのトレーニング手法でトレーニングされ、この手法では、エラーが、未来の画像のモデルと実際の未来の画像との間の差を測定することによって決定される。ここで、未来の画像のモデルは、未来の画像より前の画像のガンマ・ワーピングによって生成される。こうして、この例では、推定されるガンマ値を使用して、未来の画像がどのようになるかを予測する。未来の画像と比較するときに、モデルからの逸脱を使用して、ＡＮＮを修正する。
【0023】
一例では、ＡＮＮは、教師なしのトレーニング手法でトレーニングされ、この手法では、エラーが、ある位置の予測ガンマとその位置でのセンサ２０２の動きとの間の差を測定することによって決定される。こうして、ガンマが予測され、センサ２０２又は車両２０４のエゴモーションを使用して、ガンマ推定が正しかったか（又は、推定がどれほど間違っていたか）を判定する。この例では、ＡＮＮが路面２０６の傾斜を予測し、車両が後でそのような傾斜を検出しない場合に、トレーニングは、傾斜を予測した推定を修正する。一例では、センサの動きは、平面に垂直なピッチ、ヨー、ロール、又は並進のうちの１つ又は複数を含み得る。
【0024】
一例では、ＡＮＮは、教師なしのトレーニング手法でトレーニングされ、この手法では、エラーが、２つの異なる時間における２つの画像の間の重複するセグメントのガンマの差によって決定され、推定は第１の画像に対して実行され、重複するセグメントは、第２の画像においてセンサ２０２に近くなる。こうして、トレーニング中に、車両２０４が後で横断する表面２０６のビューを伴う画像は、以前の画像である。重複するセグメントのガンマ値は、ＡＮＮによって推定され、未来の画像で同じセグメントのガンマ値を計算することによってチェックされる。センサ２０２が特徴（例えば、未来の重複するセグメント）に近い場合に、システムのガンマの推定値は、おそらくより良くなり、ＡＮＮをトレーニングするために損失関数で使用できる。こうして、現在のトリプル（triple）の画像から推定されたガンママップは、現在のガンママップに向けてワープされた未来のトリプルの画像から推定されたガンママップと比較される。ＡＮＮをトレーニングするときの損失の一部として、２つのガンママップの間の比較値（最も近い表面ポイントまでの差又は距離等）が使用される。
【0025】
システム２０８は、ガンマ画像を用いて路面２０６をモデル化するように構成される。一例では、路面のモデリングには、路面特徴の平面からの垂直偏差の計算が含まれる。一例では、路面のモデリングには、画像シーケンス内の特徴の残差の動きの計算が含まれる。ここで、特徴の残差の動きは、ガンマ値、センサ２０６の動き、及びエピポールの積である。
【0026】
一例では、路面のモデリングには、ガンマ値を用いて以前の画像を現在の画像にワープすることが含まれる。ガンマベースのワーピングは特に正確である。これは、画像内のそれら特徴のピクセルの一時的又は複雑なカラーバリエーションを一致させるよう試行するのではなく、ガンマによって、センサ２０２からの距離及び路面２０６の上の高さに基づいて画像同士の間で特徴を一致させることができるためである。
【0027】
一例では、路面のモデリングには、ガンマワープ画像から反射領域を特定することが含まれる。ここでは、反射によって画像内の他の物体とは異なる動作をする視覚情報が生成されるため、ガンマワープの精度により、水たまり等の反射領域を特定できる。例えば、車両が近づくにつれて、ポールの上部はポールの下部よりもセンサ２０２に向けてより速く移動するように見えるかもしれないが、ポールの多くの反射は反対を示すように見えるだろう。こうして、トレーニングされたＡＮＮは、ピクセルを非反射の運動と一致させ、反射領域を無視する。これは、その中のピクセルの動きが他のピクセルの動きに適合しないためである。この挙動により、反射面に亘ってフラットなガンマが生じる。ガンマワープ画像のフラットなガンマの隣接する領域は、反射領域として特定され得る。
【0028】
一例では、路面のモデリングには、ガンマ値を用いてワーピングに続く残差の動きの連続領域によって反射領域を特定することが含まれる。ガンマワープを用いた後に、残りの残差の動きは、このユニークな挙動を示すそのような領域に限定される。一例では、そのような残差の動きの領域を使用して、別の車両、歩行者、動く破片等による動きを決定してもよい。
【0029】
一例では、追加のＡＮＮは、その損失関数に写真測量的制約を使用してトレーニングすることができるのに対し、第１（最初）のＡＮＮの損失関数ではトレーニングするときに主に幾何学的制約が使用され得る。上記のように、第１のＡＮＮは一般に、主に幾何学的制約でトレーニングした後に反射面の動きを無視する。ただし、写真測量的制約が反射面の動きを説明するためにトレーニング中に追加のＡＮＮを調整するため、追加のＡＮＮはそのような無視をしない。こうして、一例では、第１のＡＮＮ及び第２のＡＮＮから生成されたガンマを比較すると、２つのガンママップが一致しない（例えば、しきい値を超える）反射面を明らかにすることができる。
【0030】
一例では、システム２０８は、特徴の残差の動きに対して第２のＡＮＮを呼び出して、特徴が路面２０６の環境内で動いている物体又は動いていない物体を表すかどうかを決定するようにさらに構成される。一例では、第２のＡＮＮには、現在の画像、少なくとも１つの以前の画像、及びターゲット識別子が提供される。ターゲット識別子は、車両識別システム等の別のシステムによって提供してもよい。一例では、ターゲット識別子は、エピポール情報について上述したグラデーション画像と同様に、画像のピクセルがターゲットの中心からの距離を示す１つ又は複数の画像である。一例では、ターゲット識別子には、ターゲットのサイズが含まれる。一例では、ターゲットのサイズは一定値の画像（例えば、上記のセンサの動きの情報画像と同様）である。一例では、ターゲット識別子は、ターゲットに対応するピクセルのマスクである。そのような第２のＡＮＮの例は、図１１及び図１２に関して以下で説明する。
【0031】
図３は、一実施形態による、現在の画像３０４及び以前の画像３０２を示す。２本の線３０６及び３０８が、現在の画像３０４のタイヤの下部と減速バンプの上部とに配置されている。線３０６が以前の画像３０２のタイヤとどのように位置合わせされているかに注意されたい。線の両側矢印は、縁石の固定端に対する線の動きを示す。同様に、線３０８は、減速バンプの上部が以前の画像３０２と現在の画像３０４との間で移動したことを示している。画像３０２が画像３０４にワープされると、画像の静止特徴は一致するが、車両の下部は移動する。
【0032】
図４は、一実施形態による、路面のガンマモデル４１４を生成するためのニューラル・ネットワーク４１２の例を示す。図５～図１０は、４１２のようなニューラル・ネットワークのいくつかの追加の詳細及び例を示す。ただし、概要として、各ピクセルの残差の動きは、以下のように、ガンマ、センサ（例えば、車両）モーション、及びエピポール情報の３つの部分で構成される。
エピポール情報は、ホモグラフィｐｗ
→及びエピポールｅ→の後の画像座標に依存する。これは、センサのエゴモーション（ＥＭ）が与えられた各ピクセルに対して計算できる。センサの動きの情報は、前進運動ＴＺと平面からのセンサの高さｄ’πとに依存する。これは画像全体で固定される。
【数2】
【0033】
ガンマは、平面の上のポイントの高さＨ及びセンサからそのポイントまでの距離Ｚによって、各ピクセルにおけるシーンの構造を記述する。こうして、センサの動き情報及びエピポール情報が与えられると、ニューラル・ネットワーク４１２はガンマモデル４１４を決定し、各ポイントの残差モーションを計算して、１つの画像を別の画像にワープさせることができる。
【0034】
正確なガンマモデル４１４が与えられると、画像ワーピングは非常に正確となり、多くの場合に、各ピクセルの距離及び高さのために、画像が静止シーンのものであるかのように振る舞う。古典的な手法では、最初に残差フローが計算され、次に、エピポール情報及びセンサの動き情報を削除してガンマが計算されていた。ガンマから、ポイントの高さ及び距離が１つ又は複数のトラック（例えば、タイヤ経路）に沿って計算されていた。しかしながら、上記のように、路面画像におけるノイズの変化する程度は、残差の動きの直接の検出を時々問題にさせていた。
【0035】
画像からガンマを直接計算するようにニューラル・ネットワーク４１２をトレーニングすることは、画像に見られるノイズに対する強力なカウンタ（対抗策）を提供する。こうして、現在の画像４０２、ホモグラフィを用いてワープされた１つ又は複数の以前の画像４０４、及びエゴモーション４１０とエピポール（例えば、平面）パラメータ（画像４０６及び４０８）を入力として与えると、ニューラル・ネットワークはガンマ値４１４の画像を出力として生成する。図示されるように、ガンマモデル４１４のシェーディングが明るいほど、ガンマ値は低くなる。また、車両は、ニューラル・ネットワーク４１２をトレーニングするための損失計算から除外される。これは、トレーニング中に車両の動きが近くのガンマ値に影響を与えるのを防ぐために行われるが、車両は、一般的に推定中にマスクされない。一例では、車両又は他の移動物体は、トレーニング中にニューラル・ネットワーク４１２の損失関数からマスクされない。
【0036】
図示されるように、エピポール情報及びセンサ運動情報は、画像（例えば、値のラスター）として提供される。センサ運動情報画像４１０は、一定値の画像である（例えば、全てのピクセルは同じ値を有する）。エピポール情報は、水平方向（例えば、ｘ）４０６及び垂直方向（例えば、ｙ）４０８のエピポールまでの距離のピクセル値をそれぞれ有する２つの画像によって表される。エピポール情報を２つの値ではなくグラデーション画像として提供することは、畳み込みニューラル・ネットワーク（ＣＮＮ）を使用するときに役立つ。ＣＮＮでは、同じフィルタバンクが画像４０２全体に亘って実行され、各画像領域は、それがエピポールとの関係でどこにあるかを伝えられなければならない。グラデーション画像４０６及び４０６を用いることにより、フィルターは、各畳み込みに関するエピポール情報を有する。
【0037】
図５は、ＭＬベースの輪郭エンジンの例示的なＤＮＮ５００を示す図である。一例では、図示されるように、ＤＮＮ５００は、畳み込み、活性化、正規化、及びプーリング層を含み得る様々な動作層（operational layers）を有する畳み込みネットワーク部分５０２を含む。内積層等の他の動作層をさらに含めることができる。一例では、ＤＮＮ５００は、逆畳み込み（例えば、転置された畳み込み）、活性化、正規化、及び非プーリング層を含む逆畳み込み部分５０４をさらに含む。
【0038】
一例では、前処理した画像５３０のセットは、畳み込みネットワーク部分５０２への入力５０６として提供される。各層は特徴マップを生成し、この特徴マップは、次に、順方向伝播経路５０８に沿った更なる処理のために次の層に渡される。図示されるように、畳み込みネットワーク部分５０２の動作は、畳み込み順方向伝播経路５０８Ａに沿った特徴マップのチャネル数（次元）を増大させながら、特徴マップの解像度を徐々に低下させるように動作する。逆畳み込みネットワーク部分５０４の動作は、逆畳み込み順方向伝播経路５０８Ｂに沿ってそれらの次元を減少させながら、特徴マップの解像度を徐々に高めるように動作する。
【0039】
一例では、順方向伝播経路５０８に加えて、１つ又は複数のバイパス経路５１０を提供して、それら前の層と後の層との間に位置する１つ又は複数の中間層をスキップしながら前の層から後の層への特徴マップの通過を容易にすることができる。一例として、バイパス経路５１０は、畳み込みネットワーク部分５０２の層と、逆畳み込みネットワーク部分５０４の同様に次元化された層との間で特徴マップを通過させることができる。
【0040】
「ボトルネック」ネットワーク部分５１２は、畳み込みネットワーク部分５０２と逆畳み込みネットワーク部分５０４との間に位置する。一例では、ボトルネック・ネットワーク部分５１２は、他の層と比較して比較的低い解像度及びより高い次元を有する１つ又は複数の層を有する。一例では、ボトルネック部分５１２は、画像形式の（image-formatted）動きマーク５２６及び画像形式のエピポール位置データ５２８を受け入れるように構成された入力５１４を含む。
【0041】
一例では、ＤＮＮ５００は、前処理した画像５３０の現在の（最新の）画像に対応するガンマ値のピクセル毎（単位）のマッピングとして道路構造５３２を生成するようにトレーニングされる。ＤＮＮ５００の出力としての道路構造５３２は、前処理した画像５３０と同じ又は異なる解像度であり得る。例えば、道路構造５３２の解像度は、係数、つまり０．２５、０．５、１、１、１．５、２、又は他のスケーリング係数によってスケーリングしてもよく、係数は、整数値又は非整数値であり得る。
【0042】
別の例では、道路構造５３２は、前処理した画像５３０の現在の画像の一部に対応し得る。例えば、道路構造５３２は、路面を表さない部分をいくつか省略した視野１００（図１）のトリミングされた画像に対応し得る。
【0043】
特に、道路構造５３２のピクセルにおけるガンマ値は、無次元値である。一例では、ＤＮＮ５００は、その出力として、地平線より上のポイントに対するＺ／δＺ等の他の無次元値のマッピングを生成する。ガンマの値が分かっている場合に、距離Ｚ及び路面の高さＨは、
の関係を用いて回復できる。ここで、Ｎ’はＮ転置であり、（ｘ，ｙ）は画像座標であり、fは焦点距離である。
ＤＮＮトレーニングエンジン５５０は、ＤＮＮ５００をトレーニングして、トレーニングデータのセットに基づいて道路構造５３２の正確な決定を生成するように構成される。図９は、ＤＮＮトレーニングシステム５５０をより詳細に示す図である。図示されるように、ＤＮＮトレーニングシステム５５０は、ＤＮＮ５００と同じ又は同様のアーキテクチャを有するＤＮＮ９０２、及びマルチモーダル損失関数適用エンジン９５０を含む。
【数3】
ＤＮＮトレーニングエンジン５５０は、ＤＮＮ５００をトレーニングして、トレーニングデータのセットに基づいて道路構造５３２の正確な決定を生成するように構成される。図９は、ＤＮＮトレーニングシステム５５０をより詳細に示す図である。図示されるように、ＤＮＮトレーニングシステム５５０は、ＤＮＮ５００と同じ又は同様のアーキテクチャを有するＤＮＮ９０２、及びマルチモーダル損失関数適用エンジン９５０を含む。
【0044】
図６は、一実施形態による、ＤＮＮの例示的なアーキテクチャを詳述する表である。示されるように、各層は、その動作タイプ、接続（入力０、入力１、及び出力０として示される）、出力チャネルの数、及び畳み込み／逆畳み込みアーキテクチャ（カーネルの幅及びステップを含む）だけでなく、活性化関数、及び正規化タイプに関して説明される。特に、入力／１列に第２の入力が示されている層、及び識別された第２の入力ソースには、バイパス接続がある。
【0045】
図６のＤＮＮの層１への入力には、入力／０列に「images」として示される、前処理した画像のセットが含まれる。入力／１列の「epipole／motion」で示されるように、画像形式のエピポールマーク及び画像形式の動きマークが層８に入力される。
【0046】
図７～図８は、一実施形態による、ＤＮＮのより複雑な例示的なアーキテクチャを詳述する表である。画像は、入力／１列の「images」で示されるように、層１のＤＮＮに入力される。入力／１列の「epipole／motion」で示されるように、画像形式のエピポールマーク及び画像形式の動きマークが層９に入力される。いくつかの層（層４４及び４９）には、バイパス接続用の第３の入力があり、入力／２列で表される。加えて、図７～図８のＤＮＮの例の特定の層は、層２２、２８、３４、４２、４７、及び５２等のサイズ変更操作（resize）を実行する。特に、層５２は、特徴マップを前処理した画像３３０と同じサイズにサイズ変更する。
【0047】
図９は、一実施形態による、ＤＮＮトレーニングシステムの例を示す。ここで、マルチモーダル損失関数適用エンジン９５０は、トレーニングデータ９３０を入力としてＤＮＮ９０２に供給するように構成される。トレーニングデータ８３０は、１つ又は複数の車載カメラによって取り込まれる画像フレームの様々なシーケンスを含み得る。画像フレームは、例えば、様々な照明及び気象条件の下で、様々な道路で、様々な地理的場所で取り込まれたビデオ映像を含み得る。
【0048】
トレーニングデータ９３０は、トレーニングデータ９３０のそれぞれの部分に対応する画像形式の動きマーク９２６及び画像形式のエピポールマーク９２８を伴ってもよい。画像形式の動きマーク９２６及び画像形式のエピポールマーク９２８は、ＤＮＮ９０２の構造的及び動作的配置と一致するように、トレーニングデータ９３０の画像フレームの入力層とは異なる入力層に供給され得る。入力は、順方向伝播経路９０８に沿ってＤＮＮ９０２を通って進み、ＤＮＮ９０２の出力として道路構造９３２を生成する。
【0049】
ＤＮＮ９０２は、最初に、計算パラメータのランダム化された値（例えば、重み、バイアス等）で構成してもよい。トレーニングプロセスは、計算パラメータの値を調整して、ＤＮＮ９０２の出力、道路構造９３２を最適化するように機能する。マルチモーダル損失関数適用エンジン９５０は、パラメータ最適化を実行するように構成される。一例では、複数の異なる損失関数を使用して、ＤＮＮ９０２の出力の精度を決定する。マルチモーダル損失関数適用エンジン９５０は、ＤＮＮ９０２の様々な層の計算パラメータ調整値９２０を生成し、これらは、逆方向伝播経路９１０に沿った逆伝播を用いて確立される。
【0050】
一例では、ＤＮＮ９０２の様々な層の計算パラメータ調整値９２０が、収集され、計算パラメータデータ構造９２５に格納され、これは、ＤＮＮ９０２のトレーニング結果を規定する。一例では、計算パラメータデータ構造９２５は、（例えば、ＤＮＮトレーニングシステムの出力の一部として）垂直輪郭検出エンジンに渡され、そこで、そのデータ構造９２５は、ＭＬベースの輪郭エンジンを構成するための計算パラメータとして格納される。一例では、推定エンジントレーニングは、現在のトリプレットと未来のトリプレットとの両方で実行され、出力＿現在及び出力＿未来をそれぞれ生成する。幾何学的損失は、出力＿現在からの他の損失と組み合わされ、ネットワークの重みを調整するために逆伝播され、幾何学的損失なしの出力＿未来からの損失も重みを調整するために伝播される。一例では、出力＿未来の幾何学的損失は無視され、出力＿現在のみがトレーニングに使用される。
【0051】
図１０は、一実施形態による、マルチモーダル損失関数適用エンジン１０５０の例を示す。図示の一例では、マルチモーダル損失関数適用エンジン１０５０には、４つの異なる損失関数トレーニングエンジン：写真測量的損失関数トレーニングエンジン１００４、予測画像写真測量的損失関数トレーニングエンジン１００６、ＥＭ損失関数トレーニングエンジン１００８、及び地理的損失関数トレーニングエンジン１０１０が含まれる。さらに、マルチモーダル損失関数適用エンジン１０５０には、逆伝播エンジン１０１２及びトレーニングデータストア１０２０が含まれる。損失関数トレーニングエンジン１００４～１０１０は、対応する参照基準に対して道路構造１０３２を比較するように構成され、参照基準は、従来の「グラウンドトゥルース（ground truth）」値の代わりに、道路構造１０３２の精度のエラー又は損失を確認するために使用される。
【0052】
一例では、（従来の教師あり機械学習システムにおけるような）実際のグラウンドトゥルースデータは使用されない。代わりに、トレーニングデータの画像が、画像に対応するエゴモーション、カメラの高さ、エピポール等の追加の利用可能なデータ共に処理され、損失関数の評価の参照基準が生成される。ある意味では、参照基準がトレーニングデータに基づいているため、これは一種の教師なし学習と見なすことができる。
【0053】
一例では、グラウンドトゥルースデータは、トレーニングデータに利用可能である。例として、グラウンドトゥルースデータは、３次元イメージング又はスキャン測定（例えば、立体イメージング、ＬｉＤＡＲスキャン等）等の追加の測定モダリティによって提供され得る。従って、１つ又は複数の損失関数は、あるタイプの教師あり学習を提供するために実際のグラウンドトゥルースに基づいている場合がある。
【0054】
損失関数トレーニングエンジン１００４～１０１０はそれぞれ、ＤＮＮをトレーニングするために使用される全体的な損失関数の構成要素に寄与することができる。逆伝播エンジン１０１２は、勾配降下法を用いて、それぞれの動作パラメータの調整の方向を決定するために、可変計算パラメータ（例えば、重み、バイアス）に関して全体的な損失関数の偏導関数を計算するように構成され得る。逆伝播エンジン１０１２は、更新された計算パラメータ値を、逆伝播経路に沿った各連続層に適用することができる。トレーニングデータストア１０２０は、ＤＮＮの適切な入力層に適用されるトレーニングデータ、画像形式の動きマーク、及び画像形式のエピポールマークを含むことができる。一例では、損失関数は、そのようなプリミティブの複雑な組合せを含むテンソルフロープリミティブ関数に関して規定される。この方法で損失が規定されると、テンソルフローを使用して偏導関数を計算できる。
【0055】
写真測量的損失関数トレーニングエンジン１００４は、順方向伝播経路でＤＮＮに提供されたトレーニングデータからの画像フレームのセットに基づいて、参照基準を生成するように構成される。画像のトリオ（現在、以前、及びさらに以前（previous-previous））がＤＮＮへの入力として使用される一例では、道路構造１０３２として生成されたガンママップを使用して、以前の画像及びさらに以前の画像を現在の画像にワープする。ワープした各画像は、残差フローを補償するように修正され、実際の現在の画像と比較される。
【0056】
残差フロー補償は、以下に従って決定され得る。
ここで、μは残差フローを表し、γ（ガンマ）は道路構造であり、ＴＺ／ｃａｍＨという用語は、順方向のエゴモーションをカメラの高さで割ったものを表し、用語（ｐ→－ｅ→）は、路面の平面を記述する。
【数4】
【0057】
画像比較は、正規化相互相関、合計絶対差（ＳＡＤ）、又はバイナリ記述子距離等の適切な技術を用いて計算することができ、これは、以下に従って、各ピクセルを取り囲む画像のパッチに適用することができる。
ここで、Ｉｃｕｒｒはワープされていない現在の画像であり、Ｉｗはガンマワープされ、残差フロー補償済みの以前の（又は、さらに以前の）画像であり、Ｉｂａｓｅｌｉｎｅはワープ前の以前の（又は、さらに以前の）画像である。一例では、物体検出（例えば、車両検出、自転車／歩行者検出）を使用して、移動する物体を損失関数からマスクし、比較される画像同士の間の検出される動きを低減する。画像比較は、画像同士の間のグレーレベル比較を含み得る。
【数5】
【0058】
一例では、写真測量的損失関数トレーニングエンジン１００４は、道路特徴及び非道路特徴に対応する画像比較の部分に可変の重み付けを適用する。従って、非道路の部分で見られる比較される画像同士の間の差の程度は、割り引かれ得る。
【0059】
予測画像写真測量的損失関数トレーニングエンジン１００６は、（ＤＮＮが道路構造１０３２を生成するために使用した画像を使用することに加えて、）１つ又は複数の「未来」又は「過去」の画像が画像比較処理に含まれることを除いて、写真測量的損失関数トレーニングエンジン１００４と同様の画像ワーピング、補償、及び比較技術を実行するように構成される。「未来」の画像は、ＤＮＮのトレーニングに使用されている現在の画像セットよりも後に取り込まれた画像であり、「過去」の画像は、以前に取り込まれた画像である。従って、未来の画像の場合に、予測画像写真測量的損失関数トレーニングエンジン１００６によって提供される損失関数成分は、実行時に利用できないトレーニングデータを使用する。特に、計算された推定は、推定が入力として認識しない画像に対して機能するガンマを生成する。
【0060】
ＥＭ損失関数トレーニングエンジン１００８は、道路構造１０３２を、道路構造１０３２に対応する道路の一部の上での車両の通過を表す「未来」のエゴモーションと比較することに基づいて、損失関数成分を生成するように構成される。一例として、道路構造８３２にいかなる隆起又は穴の指標もない場合に、道路の隆起又は穴を示すエゴモーションは損失である。一例では、上向き又は下向きの曲率を使用してもよい。一例では、ＥＭは、２０ｍを超えて（例えば、５０ｍまで）延長され得る。これは、ＤＮＮが、道路の一部が離れすぎて残差フローを計算できない場合でも、道路構造から表面の長距離形状を適切にモデル化するのに役立ち得る。同様に、隆起又は穴に対応するエゴモーションがないことは、道路構造１０３２がその場所（特に、車両のホイールの経路）にある隆起又は穴を予測する一方で、損失を構成する。
【0061】
一例では、０．５Ｈｚの周波数を有するローパスフィルタ又は減衰ばねモデルが道路構造１０３２に適用され、車両が道路の地形を通過する際の車両のサスペンションの減衰効果をモデル化する。別の例では、車両のサスペンション状態が利用可能な場合に、サスペンション情報がエゴモーションと一緒に考慮され、車両のホイールの垂直方向の動きをより正確に測定する。
【0062】
幾何学的損失関数トレーニングエンジン１０１０は、「未来」の画像フレーム及び対応する「未来」のエゴモーションを含む「未来」のトレーニングデータの１つ又は複数のセットを用いて損失関数成分を生成するように構成される。「未来」の画像フレームは、入力として使用される現在の画像フレームよりも前の規定された距離又は時間ステップで（現在の画像フレームよりも遠くに、つまり後で取り込まれた）取り込み画像を表す。例えば、「未来」の画像フレーム及びエゴモーションは、トレーニングデータの取り込み画像の次のトリオに対応し得る。別の例では、「未来」の画像フレーム及びエゴモーションは、車両の位置から５メートル、２０メートル、又は他の規定された距離に対応する。
【0063】
参照基準は、ＤＮＮを用いて計算される「未来」の道路構造（例えば、ガンママップ）に基づいている。幾何学的損失関数トレーニングエンジン１０１０は、「未来」のエゴモーションを使用して、「未来」の道路構造を現在の道路構造８３２にワープするか、又は「未来」のエゴモーションを用いて現在の道路構造１０３２を「未来」の道路構造にワープする。
【0064】
一例では、「未来」の道路構造は現在の道路構造１０３２にワープされ、それらの間で第１の比較が行われ、現在の道路構造１０３２は「未来」の道路構造にワープされ、それらの間で第２の比較が行われる。第１及び第２の比較の結果を組み合わせて（例えば、平均化して）、集約された比較を生成することができ、次にこれを使用して、幾何学的損失関数トレーニングエンジン１０１０のための損失関数を決定する。
【0065】
複数のカメラ及び重複する視野が使用される一例では、複数のビューからの関連画像を使用して、幾何学的損失関数トレーニングを達成することができる。例えば、「未来」の左及び中央の画像（時間ｔ３）は、時間ｔ３からのガンマワープ画像が測光的に時間ｔ２の中央画像と同様であるという要件で処理してもよい。未来の２組の画像を使用して、カメラの動きを補正した後に、それらの画像から推定されるガンマが、時間ｔ１及びｔ２の画像を用いて導出されるガンマに類似するという条件を設定できる。一例では、中央メインカメラは、車両ルーフの左又は右コーナーに取り付けられ、前方及び側方を向く１つ又は複数のカメラと共に使用することができる。これらのサイドカメラの視野は９０度よりも広い場合がある。右カメラの視野は、メインカメラの右視野と大幅に重なり、且つ後方に広がる視野を有してもよい。左カメラの視野は、メインカメラの左視野と大幅に重なり、且つ後方に広がる視野を有してもよい。カメラのこの配置は図２２に示されており、ここで、カメラ２２１２Ｂはメインカメラであり、カメラ２２１２Ａ及び２２１２Ｃはそれぞれ左側及び右側カメラである。一例では、コーナーカメラからの画像をトレーニング段階で使用して、推定段階では使用されない損失関数を計算することができる。
【0066】
２つ以上の損失関数トレーニングエンジン１００４～１０１０によってもたらされる損失関数成分は、逆伝播エンジン１０１２によって、例えば計算パラメータ調整値を生成する勾配降下手法を用いて、ＤＮＮをトレーニングするために使用される集約されたマルチモーダル損失関数に結合される。
【0067】
図１１は、一実施形態による、物体が動いているかどうかに関する決定を生成するニューラル・ネットワーク１１１２（例えば、ＤＮＮ）の例を示す。ニューラル・ネットワーク１１１２は、ニューラル・ネットワーク４１２等の上記のニューラル・ネットワークと同様に動作する。ニューラル・ネットワーク１１１２への入力には、現在の画像１１０２、１つ又は複数の以前の画像１１０４、ターゲット位置、及びターゲットサイズが含まれる。図１１で説明した例は、ニューラル・ネットワーク１１１２を使用してターゲットが動いているかどうかを判定しているが、一例では、動いているターゲットは、上述したネットワーク４１２からのガンマを用いてガンマ整列を使用し、ヒューリスティック手法で残差の動きを測定することによって決定することができる。例えば、車両又は車両のホイール等の既知のタイプのターゲットのベースで残差の動きが検出された場合に、それは、車両が動いていると結論付けることができる。
【0068】
図示されるように、ターゲット位置及びサイズが画像として入力される。ターゲット位置には、ピクセル値がターゲットの中心からの距離を表す２つのグラデーション画像が含まれる。ここで、水平方向グラデーション画像１１０６（例えば、位置ｘ又はＰｘ）及び垂直方向グラデーション画像１１０８（例えば、位置ｙ又はＰｙ）は、ニューラル・ネットワーク１１１２へのターゲット位置入力を構成する。これらの画像は、ターゲットに対するグラデーションの関係を示すようにターゲットの輪郭を含む。ここでは、ターゲットサイズは、全てのピクセルがターゲットのサイズを表す同じ値（例えば、一定値の画像）を有する画像として表される。一例では、マスク１１１６（例えば、テンプレート）を使用して、ターゲットを識別することができる。一例では、マスクは、グラデーション画像１１０６及び１１０８の１つ又は複数、又はサイズ画像１１１０を置き換える。マスクを使用すると、例えば、単一のターゲットの場合にューラル・ネットワーク１１１２によって処理される画像データの量を減らすことができる。複数のターゲットがある場合に、マスクにより入力画像の同じ部分を複数回処理する可能性があるが、例えば、マスクが後段の畳み込み推定チェーンで使用される場合に、これは軽減される可能性がある。
【0069】
ニューラル・ネットワーク１１１２の出力１１１４は、例えば、ターゲットが移動しているか、移動していないか、又は「多分」移動しているかのカテゴリラベルであり、後者（「多分」移動している）は、例えば物体が信頼しきい値で移動しているかどうかを判定できないことを表す。一例では、カテゴリラベルは実数値のスコアであり、ここで、大きい値（例えば、第１のしきい値を超える）は移動していることを示し、低い値（例えば、第２のしきい値を下回る）は移動していないことを示し、第１のしきい値と第２のしきい値との間は多分移動していることを意味する。出力１１１４は、１つのターゲット推定に対する単一の値であるか、又は複数のターゲットに対する（図示されるように）ベクトルであり得る。
【0070】
複数のターゲットを一度に処理するために、ベクトルの出力を生成してもよい。例えば、画像１１０２内の最大８台の車の８つの出力は、殆どのシーンをカバーするだろう。一例では、各車両は、１から８までの番号等の異なるラベルを用いてマスクされる１１１６。次に、位置ｉ（例えば、ｖｉ）の出力１１１４は、ラベルｉによってマスクされた領域に対応する。ｋ＜８台の車両が検出された場合に、ラベル１～Ｋが使用され、トレーニング及び推定段階ではベクトル値Ｋ＋１～＊は無視される。一例では、出力１１１４は単数であり、ニューラル・ネットワーク１１１２は、バイナリマスクを介して各ターゲットに対して独立して（例えば、連続して）動作する。
【0071】
一例では、入力画像１１０２及び１１０４が位置合わせされる。一例では、位置合せはホモグラフィに基づいている。一例では、位置合せは、路面位置合せ（例えば、ガンマ位置合せ）に基づいている。画像の位置合せは、ホイールの接触ポイント及び静止車両の道路等の路面上のポイントを安定させることにより、ニューラル・ネットワーク１１１２のトレーニング又は推定を簡素化する。こうして、ニューラル・ネットワーク１１１２は、ターゲットが動いていると判定するために、ターゲットの残差の動きを識別するだけでよい。
【0072】
図１２は、一実施形態による、物体が移動しているかどうかに関する決定を生成するための畳み込みニューラル・ネットワーク１２０４の例を示す。ここで、２つではなく３つ以上の入力画像１２０２を使用して、より正確な結果を提供することができる。多くの効果的なニューラル・ネットワーク構造を使用できるが、ここでは、畳み込み段階１２０４に続いて、画像全体１２０２からの情報を単一の値（例えば、移動／非移動／不明）に収集するアフィン段階１２０５を示す。
【0073】
一例では、畳み込み段階１２０４は、画像１２０２を３つのチャネルとして受け取る。次に、畳み込み段階１２０４は、画像１２０２の解像度を低下させるが、チャネルの数を増大させ、これは複雑な特徴を作成する。一例では、ターゲット位置は、第１の層に第４のチャネルとして導入され得る。一例では、ターゲット位置は、ボトルネック、つまり畳み込み段階１２０４の狭い部分（ここに小さな解像度の多くのチャネルが存在する）等の後に、又はアフィン段階１２０８で導入してもよい。ターゲットマスク１２０６を複数のターゲットについて後の段階で導入することには利点があり得る。例えば、ターゲット（例えば、マスク１２０６）の導入までの計算の最初の部分が一度実行され、結果が全てのターゲットに使用され得る。
【0074】
一例では、元の画像１２０２をアフィン段階１２０８に入力させることが有用である。これは、「スキップ」経路を介して達成され得る。オプションであるが、この構造は、パフォーマンス分類性能を向上させる可能性がある。
【0075】
図１３は、一実施形態による、垂直輪郭検出エンジンを動作させるための方法１３００の例を示すフロー図である。方法１３００の動作は、上記又は下記のような計算ハードウェア（例えば、処理回路）によって実行される。
【0076】
動作１００２では、２つ以上の画像フレームのシーケンス、地面（ground plane）、及びエゴモーションデータ、並びにカメラの高さ情報を含む生データが取得される（例えば、読み取られるか又は受信される）。画像フレームには、現在の（例えば、最近取り込まれた）画像、及び１つ又は複数の以前に取り込まれた画像が含まれ得る。動作１００４では、生データを処理して、道路平面に関する画像フレームのシーケンスの間のホモグラフィが決定される。次に、いくつかの画像フレームをワープして、道路平面をそのシーケンスの別の画像フレームに位置合わせすることができる。ワーピングは、一例によれば、測定されたエゴモーション及び地面の特性に基づいてもよい。エゴモーションは測定されたモーションである場合もあれば、又は画像フレームのコンテンツから計算により決定される場合もある。ワープされた画像フレームは、現在の画像フレームと、現在の画像フレームに対応するようにワープされた１つ又は複数の以前の画像フレームとを含み得る。別の例では、現在の画像フレーム及び１つ又は複数の他のフレームは、ワープされていない以前の画像フレームに対応するようにワープされる。
【0077】
一例では、画像は、ＤＮＮによって使用される前に、ラジアル型レンズ歪み等のレンズ歪みについて補正される。この補正により、特定のレンズでのＤＮＮのトレーニングが回避される。また、特に、焦点距離はガンマの方程式の成分ではないため、複数の異なるカメラタイプからの画像についてトレーニングできる。
【0078】
動作１００６では、エゴモーションデータ、地面データ、及びカメラの高さデータを含む追加の生データを処理して、１つ又は複数の画像としてフォーマットされた動き情報（例えば、エピポール）が生成される。
【0079】
動作１０１０では、ＤＮＮを使用して推定を生成する。ＤＮＮは、畳み込み、非線形活性化、及びプーリング操作を実行できる。一例では、逆畳み込み及びプーリング解除操作が実行される。様々な層で、重み又はバイアス等のトレーニング済み計算パラメータは、ＤＮＮの予め確立されたトレーニングに従って、ＤＮＮの操作によって適用される。推定モードでのＤＮＮの操作は、上述したようなガンママップ等の道路構造マップを生成する。ＤＮＮ等を使用すると、１センチメートル（１ｃｍ）以内、又は最大時速５０ｋｍ（５０ｋｍ／ｈ、つまり時速約３１マイル）で走行しながら、車両から０．５ミリメートル（０．５ｍｍ）から１０メートル（１０ｍ）までの距離の半分の正確な地形測定値を生成できる。
【0080】
動作１０１２では、道路輪郭情報が道路構造マップから抽出される。残差フロー情報等の道路構造マップから追加情報を抽出することもでき、これらの情報は、関連するアプリケーションのためにさらに処理され得る。
【0081】
道路輪郭情報は、車両動作のいくつかの態様を自動的に調整する自律又は半自律型車両制御システムに渡してもよい。例えば、サスペンション制御システムは、車両の予想走行経路を表す垂直輪郭データに基づいて、車両のサスペンションを動的に調整することができる。サスペンションの調整には、サスペンションの剛性を動的に変化させることや、又は道路の垂直輪郭に合わせるために個々のホイールの高さを変化させることが含まれ得る。
【0082】
一例では、道路輪郭情報は、運転方針システムに渡してもよい。運転方針システムは、環境モデルを使用して、未来のナビゲーション動作を決定することができる。運転方針システムは、道路の輪郭情報を使用して、ナビゲーション動作を選択又は決定することができる。運転方針システムの例は、ＲＳＳであり、これは、例えば、国際公開ＷＯ２０１８／００１６８４に記載されており、この文献は、その全体が本願に組み込まれる。
【0083】
図１４は、一実施形態による、ＭＬベースの輪郭エンジンで使用するためにＤＮＮを構成する方法１４００の例を示すフロー図である。方法１４００の動作は、上記又は下記のような計算ハードウェア（例えば、処理回路）によって実行される。
【0084】
動作１４０２では、トレーニングデータがトレーニングＤＮＮに供給される。トレーニングデータは、トレーニングＤＮＮが推定モードで動作している間に、順方向に伝播され、テスト結果を出力として生成する。テスト結果は、複数の成分を有する損失関数と比較される。動作１４０４では、写真測量的損失関数成分が適用される。写真測量的損失関数成分は、テスト結果を使用して、トレーニングデータの１つ又は複数の以前の画像をトレーニングデータの現在の画像にワープし、現在の画像と以前の画像の差に基づいて損失を生成する。正規化された相互相関関数は、比較された画像フレーム同士の間の差を確認するために、各ピクセルを取り囲むパッチで使用され得る。
【0085】
動作１４０６では、予測画像写真測量的損失関数成分が適用される。予測画像写真測量的損失関数成分は、追加のトレーニングデータ（例えば、テスト結果の生成に使用されるトレーニングデータ以外）が、比較を容易にするために画像のテスト結果ベースの画像ワーピングに続く以前の画像及び現在の画像と比較されることを除いて、動作１４０４と同様の手法を適用する。比較の結果生じた差は、追加の損失成分として扱われる。
【0086】
オプションで、動作１４０４及び１４０６では、道路特徴及び非道路特徴に、比較及び損失計算の目的で異なる重みを与えることができ、道路特徴はより重く重み付けされる。さらに、車両及び歩行者等の移動する既知の物体をマスクして、比較される画像同士の間の残差フローの検出を減らすことができる。
【0087】
動作１４０８では、ＥＭ損失関数成分が適用される。ＥＭ損失関数成分は、テスト結果を生成するために処理されたトレーニングデータ画像に関して、車両の通過に対応するＥＭデータを使用し、テスト結果に基づいてＥＭデータを車両の予想される動きと比較して、損失成分を提供する。
【0088】
動作１４１０では、幾何学的損失成分が適用される。幾何学的損失成分は、テスト結果の生成に使用されなかったトレーニングデータの一部を使用する。特に、上述したように、「未来」の画像は、トレーニングＤＮＮによって「未来」のテスト結果を生成するように処理される。「未来」のテスト結果は、「未来」のＥＭに基づいてワープされ、テスト結果と位置合わせされる。或いは「代替的に」又は「追加的に」、テスト結果は、「未来」のＥＭに基づいてワープされ、「未来」のテスト結果と位置合わせされる。「未来」及び現在の道路構造のテスト結果の比較が計算され、追加の損失要素が提供される。
【0089】
動作１４１２では、損失関数成分は、勾配降下計算のためにマルチモーダル損失関数に集約される。一例では、任意の２つ以上の損失関数成分を利用することができる。例えば、次の表に示されるように、損失関数成分の組合せを集約できる。
【表1】
【0090】
動作１４１４では、集約された損失関数は、ＤＮＮの各トレーニング可能な層で計算パラメータについて計算された偏導関数を用いて、トレーニングＤＮＮによって逆伝播される。動作１４１６では、各トレーニング可能な層の計算パラメータは、損失を最小化するために、損失関数の計算された勾配に基づいて調整される。動作１４１８では、追加のトレーニングデータを用いてトレーニングプロセスを繰り返して、パラメータ値をさらに最適化することができる。追加のトレーニングサイクルが必要かどうかを判定するために、各逆伝播反復に続いて、（例えば、パラメータの収束に基づいて）トレーニング反復基準が適用され得る。
【0091】
動作１４２０では、計算パラメータデータ構造は、ＤＮＮの各層に最適化された計算パラメータ値を含むように構築される。データ構造は、テーブル、リンクリスト、ツリー、タグ付きフォーマット（拡張可能なマークアップ言語等）ファイル等、任意の適切な形式をとることができる。動作１４２２では、計算パラメータデータ構造を使用して、車両向けＤＮＮを構成する。
【0092】
図１５は、一実施形態による、自律型車両が道路に沿って移動している間の、道路の垂直輪郭のリアルタイム測定のための方法１５００の例を示すフロー図である。方法１５００の動作は、上記又は下記のような計算ハードウェア（例えば、処理回路）によって実行される。
【0093】
動作１５０１では、カメラの視野内の道路の同じ部分の画像フレームのシーケンス（例えば、第１の画像フレームＡ、第２の画像フレームＢ、及び第３の画像フレームＣ）が取り込まれる。第１の画像フレームＡの道路の画像ポイントは、動作１５０２で、第２の画像フレームＢの道路の対応する画像ポイントに一致する。同様に、第２の画像フレームＢの道路の画像ポイントは、動作１５０２で、第３の画像フレームＣの道路の対応する画像ポイントに一致する。
【0094】
近接画像ペアのホモグラフィが動作１５０３で計算される。動作１５０３では、第１のホモグラフィＨＡＢ（第１の画像フレームＡを第２の画像フレームＢに変換する）が計算される。第１のホモグラフィＨＡＢは、第１の画像フレームＡにおける道路の一致する画像ポイント、及び第２の画像Ｂにおける道路の対応する画像ポイントのセットから計算することができる。第２のホモグラフィＨＢＣ（道路の第２の画像フレームＢを第３の画像フレームＣに変換する）は、第２の画像フレームＢにおける道路の一致する画像ポイント、及び第３の画像フレームＣにおける道路の対応する画像ポイントから計算することもできる。
【0095】
動作１５０４では、第１及び第２のホモグラフィＨＡＢ及びＨＢＣは、行列乗算等によって連鎖され得る。連鎖ホモグラフィを初期推定値（例えば、推測）として使用することにより、第３のホモグラフィＨＡＣが動作１５０５で計算され、第３のホモグラフィＨＡＣは道路の第１の画像を道路の第３の画像に変換する。第１の画像フレームＡから第２及び第３の画像フレームＢ及びＣそれぞれへの残差フローは、動作１５０６で処理されて、第３のホモグラフィＨＡＣを用いて道路の垂直輪郭を計算することができる。
【0096】
図１６は、一実施形態による、道路の垂直輪郭を測定するために画像シーケンスに亘って残差フローを処理するための例示的な手法、方法１６００を示すフロー図である。方法１６００の動作は、上記又は下記のような計算ハードウェア（例えば、処理回路）によって実行される。
【0097】
動作１６０１では、画像フレームは、最初に第２の画像フレームにワープされ、ワープされた画像を生成する。本文脈における「ワーピング」という用語は、画像空間から画像空間への変換を指す。以下の説明では、道路が平面表面としてモデル化され得ることを想定している。こうして、道路の画像化されたポイントは、ホモグラフィに従って画像空間で移動する。ワーピングは、車両の測定された動きに基づいてもよい（例えば、速度計のマーク、慣性センサ等に基づいてもよい）。
【0098】
例えば、特定の焦点距離（例えば、ピクセルで規定される）を有する既知の高さの所与のカメラ、及びそれぞれの取込みのフレーム同士の間に発生する既知の車両の動きについて、２つの画像フレームの間の道路平面の画像上のポイントの動きの予測を計算することができる。道路ポイントの動きに略平面のモデルを使用して、第２の画像は、第１の画像に向けて計算上ワープされる。次のＭａｔｌａｂ（登録商標）コードは、動作１６０１で初期ワープを実行するための実装例である。
【0099】
【数6】
【0100】
この例では、ｄＺは車両の前進運動であり、Ｈはカメラの仰角（elevation）であり、ｆはカメラの焦点距離である。項ｐ０＝（ｘ０；ｙ０）は、道路構造の消失点である。
【0101】
一例では、システムが車両に設置されている間に得られた初期較正値が使用され得、ここで、ｘ０は車両の前方方向であり、ｙ０は車両が水平面にあるときの水平線である。
【0102】
変数Ｓは、カメラからの異なる車両距離Ｚで取り込まれた２つの画像フレームの間の画像座標に関連する全体的な倍率である。本文脈における用語「相対的スケール変更」は、カメラまでの距離Ｚに依存する画像座標における全体的なスケール変更を指す。
【0103】
一例では、初期ワーピング動作１６０１は、車両の動き補償係数による第１の画像への回転に基づいて第２の画像を変換する。車両の動き補償は、回転推定値又はヨー、ピッチ及びロールの測定値に基づいて達成され得る。これらの回転推定値又は測定値は、車両のヨー、ピッチ、及びロールを感知するように構成された３軸加速度計等の慣性センサによって提供され得る。慣性センサは、カメラに統合することも、或いは車両上又は車両内のどこにでも搭載することもできる。その代わりに、又はそれに加えて、回転推定値は、１つ又は複数の以前の画像フレームから計算により取得してもよい。
【0104】
１６０１での初期ワーピングは、第１の画像と第２の画像との間の相対的なスケール変更の調整をさらに含み得る。相対的なスケール変更調整は、回転変換と組み合わせて、１つの双線形補間のみが実行される単一のワープ操作にすることができる。
【0105】
一例では、ピッチ及びヨー回転のみが関与する場合に、これらは画像シフトによって近似され得る。例えば、ヨーは次の式からのδθピクセルの水平画像シフトとして近似できる。
δθ＝δｔ×ヨーレート
δθピクセル＝ｆδθ＊π／１８０
１６０１での最初のワーピング操作の後に、本明細書では残差フローと呼ばれる、道路上の特徴の見かけの動きは、元の画像からワープされた画像への画像パッチの均一な変換として局所的に近似される。残差フローは、元の画像とワープされていない画像との間の実際の車両の動きに基づく差とは異なり、パッチの動きには、不均一なスケール変更も含まれる。
δθ＝δｔ×ヨーレート
δθピクセル＝ｆδθ＊π／１８０
１６０１での最初のワーピング操作の後に、本明細書では残差フローと呼ばれる、道路上の特徴の見かけの動きは、元の画像からワープされた画像への画像パッチの均一な変換として局所的に近似される。残差フローは、元の画像とワープされていない画像との間の実際の車両の動きに基づく差とは異なり、パッチの動きには、不均一なスケール変更も含まれる。
【0106】
一例では、車線マーク及び影等の強い特徴に常にバイアスを与える特徴点を選択する代わりに、ポイントの固定グリッドを動作１６０７での追跡に使用することができる。従って、１６０３では、ポイントのグリッドは、画像の前方に規定された距離（例えば、１５メートル）までおおよそマップし、幅が約１レーン（例えば、２～３メートル）の台形領域から選択できる。ポイントは、規定された間隔で（例えば、水平方向に２０ピクセル毎、及び垂直方向に１０ピクセル毎の）間隔を空けて配置できる。他の選択スキームを使用して、同様の効果を得ることができる。例えば、ポイントは、特定の分布に従ってランダムに選択され得る。一例では、表面（例えば、道路）にある１１個のポイントの３つの線が使用される。これらの線は車両の中心にあり、センターラインの両側に２メートルの位置にある。
【0107】
元の画像の各ポイントの周りに、パッチが動作１６０５で配置される。パッチは、例えば、パッチの中心点の周りの各方向に規定された形状及びサイズを有することができる。例えば、パッチは複数のピクセルの正方形であってもよい。一例では、楕円、長方形、台形等の他の形状をパッチと見なしてもよい。正規化された相関が（例えば、Ｍａｔｌａｂ（登録商標）関数ｎｏｒｍｘｃｏｒｒ２を用いて）ワープされた画像に対して計算され、パッチの中心がサーチ領域内でシフトされる。実際の使用では、ヨーセンサがあり得るが、ピッチセンサはない。それゆえ、より狭いサーチ領域は、ｙ方向ではなくｘ方向で使用され得る。一例として、ｘ方向に（２×４＋１）ピクセル、及びｙ方向に（２×１０＋１）ピクセルのサーチ領域を使用することができる。
【0108】
一例では、最大の相関スコアを生成するシフトが決定され、その後に、サブピクセル解像度（例えば、０．１ピクセル）で最良スコア位置の周りのリファイン（refinement）サーチが続く。このリファインステップは、最大スコア周辺の整数スコアを放物面又はスプラインにフィッティングし、最大スコア周辺のこれらの整数スコアを使用してサブピクセルの一致を計算することと比較して、優れた結果を提供し得る。
【0109】
無効なトラックは、１６０７での追跡操作の結果として追跡されるポイント１６０９を残して、規定されたしきい値（例えば、Ｔ＝０．７）を超えるスコアを有するそれらのポイントを選択することにより、サーチ段階で除外してもよい。ワープされた画像から元の画像への逆追跡は、反対方向に同様の値を与える。
【0110】
追跡動作１６０７の結果として追跡されるポイント１６０９は、ＲＡＮｄｏｍ Ｓａｍｐｌｅ Ｃｏｎｓｅｎｓｕｓ（ＲＡＮＳＡＣ）等の適切な技術を用いて、動作１６１１でホモグラフィにフィッティングされる。ポイントのセットがランダムに（例えば、４ポイント）選択され、ホモグラフィの計算に使用される。次に、ホモグラフィを用いてポイント１６０９が変換され、規定されたしきい値よりもより近いポイントのセットがカウントされる。ポイントのセットをランダムに選択し、しきい値よりも近いポイントの数をカウントすることは何度も繰り返され、最も高いカウントを与えた４つのポイントが保持される。
【0111】
１６１３では、４つの最良のポイントを使用して、ポイント及び（おそらく異なる）規定されたしきい値よりも近い全てのポイント（インライア：inliers）を再度変換して、例えば最小二乗法を用いてホモグラフィを計算する。しきい値より近くない残りのポイントは、外れ値（outliers）と見なされる。
【0112】
プロセスのこの段階では、インライアの数及びワープされた画像におけるそれらの広がりは、道路平面モデルを成功裏に見つけることに関して有益である。５０％を超えるインライアが一般的であり、適切なフィットとなる。次に、ホモグラフィを使用して、動作１６０１で初期位置合わせワープを修正できる。初期位置合わせワープの修正は、動作１６０１で初期ワープに修正を統合することによって行われるか、又は２つのワープを連続して行うことで実行できる。前者は、補間ステップが１つだけ必要であるため有利であり、オプションで２つのホモグラフィ行列の行列乗算によって実行できる。
【0113】
一例では、プレワーピング後のロバスト追跡が、ホモグラフィを計算するために適用される。これを使用して、エゴモーション及び平面推定値を導出し、以前の平面推定値を調整できる。エゴモーション及び調整済み平面モデルを組み合わせて、ホモグラフィを取得する。一例では、エゴモーションは、エゴモーションセンサ及び処理エンジンによって提供され得る。このタイプのエンジンは、基本行列を用いて、道路上のポイントと道路の上のポイントとのロバスト追跡を使用する。そのエンジンは、また、任意の慣性センサと利用可能な速度計の情報とを組み合わせる。地面情報は、地面エンジンによって提供される。このエンジンは、道路上のポイント（プリワープ後）を追跡し、次に、計算されたエゴモーションを使用して各ポイントまでの深度を導き出し、ポイントの３Ｄ座標を生成する。その後に、平面表面が３Ｄポイントにアルゴリズム的にフィットされる。一例では、デフォルト平面（車両のカメラ位置の初期較正から導出されたもの等）が使用され得る。エゴモーション及び平面表面を組み合わせて、ホモグラフィを提供する。
【0114】
一例では、路面のパラメトリックモデルを使用することができる。例えば、３Ｄスプラインモデルは、通信可能に結合された運転経路ジオメトリ（幾何学）又は物体感知サブシステムによって提供され得る。そのようなサブシステムの例として、Ｉｎｔｅｌ社の子会社であるＭｏｂｉｌｅｙｅによって製造されたＲｏａｄ Ｅｘｐｅｒｉｅｎｃｅ Ｍａｎａｇｅｍｅｎｔ（商標）（ＲＥＭ（商標））エンジンは、３Ｄスプラインの形式で道路特徴の表現を提供し得る。ＲＥＭの追加の詳細は、米国特許第９，６６５，１００号、及び国際公開ＷＯ２０１８／２００５２２に確認でき、これら両方の全体が参照により本明細書に組み込まれる。例えば、車線マークは３Ｄスプラインとして表すことができる。サブシステムは、３Ｄスプライン特徴表現を画像に位置合わせする。３Ｄスプライン特徴表現は、取り込まれた道路の画像に逆投影され、さらに処理され得る。
【0115】
３Ｄスプラインからの各ポイントは３Ｄ座標を有する。一例によれば、このデータを使用することができる１つの方法は、取り込み画像の行に沿った３Ｄスプラインに関連する３Ｄ位置を内挿及び外挿することによるものである。側面への外挿は、ゼロ次ホールド（つまり、一定）、１次ホールド（例えば、２つのスプラインに基づく線形拡張）等であり得る。一例では、内挿は、特定のスプラインの、画像自体の外側にある仮想画像座標への既知の拡張で発生する可能性がある。
【0116】
内挿及び外挿は、画像の下部の全てのポイントについて３Ｄ座標を生成することができる。これらのポイントは、滑らかな３Ｄ表面上にあり得る。次に、この表面を使用して、以前の画像を現在の画像に向けて（又はその逆に）ワープすることができる。このワーピングは、トレーニング段階と推定段階との両方で実行できる。
【0117】
図１７は、一実施形態による、水たまり検出及び車両制御のための応答性意思決定のための方法１７００の例を示すフロー図である。方法１７００の動作は、上記又は下記のような計算ハードウェア（例えば、処理回路）によって実行される。
【0118】
動作１７０２では、画像シーケンスが１つ又は複数のカメラによって取り込まれる。動作１７０４では、エゴモーション及び基準平面情報が受信又は測定される。上で説明したように、エゴモーション情報は慣性センサから提供され、場合によっては車両の速度計からのデータと組み合わせて提供される。地面（例えば、基準）平面情報は、カメラの固定高さに基づいてもよく、構成又は較正パラメータの１つのような規定された一定値として格納してもよい。
【0119】
動作１７０６では、画像は、実際の動き測定値とともに処理されて、画像同士の間の残差フローを決定する。残差フローは、（ａ）車両の実際の動きによる画像シーケンスの中の路面の外観の予測される変化と、（ｂ）取り込まれた画像シーケンスの画像同士の間の実際の差との比較から検出された差を表す。これらの差は、突起（バンプ）及び窪み（窪んだ部分、穴）等を含む、垂直輪郭としてさらに解釈され得る。動作１７０８では、道路の垂直輪郭は、上述した手法のいずれか、又は別の適切な画像処理ベースの手法を用いて、処理された画像に基づいて計算により決定され得る。
【0120】
これらの技術は、垂直輪郭を決定するために、ガンマ又は他の形態の構造を使用する。一例では、構造は、残差フローから決定され得る。一例では、図４に関して上記で説明したようなニューラル・ネットワークは、構造を直接決定することができる。ガンマが決定された後に、画像はガンマに従ってワープされ、残差フローが決定される。様々なオプティカルフロー手法を使用できるが、２つ以上のフレームの間の写真測量的損失のみを用いてトレーニングされた第２のニューラル・ネットワークを使用するような別の方法もある。水たまり等の反射面に直面した場合に、第１のニューラル・ネットワークは水たまりの移動する反射を無視するため、略フラットなガンマを生成する。第２のニューラル・ネットワークは、写真測量的損失をマッピングするようにトレーニングされており、道路に水たまりの大きな穴を生成する。２つの出力を比較すると、水たまりの基準が分かる。
【0121】
効率は、２つのニューラル・ネットワークの出力（入力画像を直接操作して、ガンマ及び写真測量的損失をそれぞれ生成する）を、ガンマを計算し次に残差フローを計算することに関して比較するときに得られる利点である。ガンマワープを実行すると、計算コストが高くなる可能性があり、プロセスを並列化する機能を損なう可能性がある順次制約が導入される場合もある。第１及び第２のニューラル・ネットワークには同じ層がいくつか含まれている可能性が高いため、非常に効率的な実施態様によって２つのネットワークを組み合わせて、１つのニューラル・ネットワークを２つの出力チャネルでトレーニングでき、第１は、ガンママップのみの測光であり、第２は、測光と幾何学ニューラル・ネットワークとの組合せである。水たまり等の反射面は、２つのチャネルのガンマを比較することによって検出できる。一例では、２つのニューラル・ネットワークはネットワークの一部を共有し、それ以外の場合には分割される。例えば、第１及び第２のニューラル・ネットワークは、ボトルネックになるまで同じ構造を共有し、その後に分岐する。
【0122】
一例では、第１及び第２のニューラル・ネットワークは両方とも、構造（例えば、ガンマ又はＺ）マップを出力するようにトレーニングされるが、それぞれは異なる損失関数でトレーニングされる。一例では、損失関数の違いは、２つの異なるタイプの損失の重み付けの違いである。一例では、損失は、測光、幾何学、ＥＭ、又は未来の画像損失のうちの１つ又は複数である。２つの出力を組み合わせて使用して、動いている物体、反射、透明性を検出できる。
【0123】
これは、実際には、ニューラル・ネットワークを用いて反射面又は鏡面を検出するための一般的な方法である。これは、Ｚ又は１／Ｚを決定するようにトレーニングされたニューラル・ネットワークに適用され、特に、車両又は建物の側面（窓等）の反射面を検出する。この手法の興味深い使用法は、死角となる交差点に設置されたミラーの検出である。ミラー面が検出されると、それは、反射画像で車両及び歩行者を検出するために解析され、車両ビジョンシステムがミラーを使用して事故を回避できるようになる。例えば、交差点ミラーで歩行者又は車両が検出された場合に、ホスト車両は、車両又は歩行者がカメラの視野に現れるまで待機するか、又は他にナビゲーション動作を変更する。動いている物体の反射を検出するために、メインカメラ及びコーナーカメラを用いて動いている立体構成を実現できる。ここで、ニューラル・ネットワークは、写真測量の制約を用いて、及びステレオペアを経時的に用いて幾何学的制約を追加することで、ステレオ画像から深度を推定するようにトレーニングされ得る。
【0124】
実際の動きによる画像の予測される変化と実際の変化との間の差は、動いている物体（例えば、他の車両、歩行者、自転車）、動いている影、及び反射をさらに表し得る。こうして、一例では、１つ又は複数の水たまりの存在は、動作１７１０における垂直輪郭情報及び追加の水たまり検出基準に基づいて計算により決定される。方法１８００は、動作１７１０の例を提供する。
【0125】
動作１７１２では、現在の状況シナリオが決定される。現在の状況シナリオは、現在の道路状況、車両の動き、及び周囲を表す。一例では、状況シナリオは、ホスト車両に搭載されたセンサから取得したデータ、地図から取得した道路及びその周辺のモデル、リモートサーバ、近くのターゲット車両、又はスマートインフラストラクチャ物体からホスト車両に通信されたデータのいずれか１つ又は複数から取得できる。方法１９００は、動作１７１２の例を提供する。
【0126】
動作１７１４では、利用可能な運転応答解が現在の状況シナリオに基づいて評価される。この例の運転応答解は、検出した水たまりの存在への応答に固有である。方法２０００は、動作１７１４の例を提供する。動作１７１６では、運転応答解が、様々な運転応答オプションの評価に基づいて選択される。特に、運転応答解は、回避又は他の動作の実行を見合わせる場合がある。
【0127】
図１８は、一実施形態による、垂直輪郭情報及び追加の水たまり検出基準に基づいて、１つ又は複数の水たまりの存在を計算により決定するための方法１８００の例を示すフロー図である。方法１８００の動作は、上記又は下記のような計算ハードウェア（例えば、処理回路）によって実行される。
【0128】
動作１８０２では、画像の形式で表すことができるポイント毎の垂直輪郭データ（例えば、路面の高さを表す値を有するピクセル）が、深度基準に対して評価される。例えば、深い穴として現れる道路上のポイント（例えば、ピクセル）（例えば、規定された最小深度しきい値を超える、隣接するポイントからの規定された最大高さ偏差を超える等）は、タグ付けされるか、又はそうでなければ水たまりに属するポイントのセットの可能性のあるメンバーシップのマークに関連付けられ得る。例として、深度基準のしきい値は、５０ｃｍ～１．５ｍのオーダー、又はそれよりはるかに大きい場合がある。
【0129】
動作１８０４では、所与の近傍での深度しきい値を満たすか又はそれを超えるポイントの領域が、幾何学基準に対して評価される。一例では、幾何学基準は、潜在的な水たまり領域の空間的特徴を規定する。例えば、その領域の深度基準を満たす又は超えるポイントの領域サイズ、領域形状、及び隣接性等の特徴が考慮され得る。例えば、サイズ又は形状基準は、潜在的な水たまりと見なされる領域について、領域の最小表面積、又は最小長さ又は幅寸法を指定することができる。隣接基準は、隣接の最小範囲（例えば、領域内のポイントの隣接性、又は深度基準を満たす隣接するポイント同士の間の最大距離）を指定することができる。
【0130】
動作１８０６では、潜在的な水たまり領域の境界の鋭さが、シャープネス基準に対して評価される。シャープネス評価は、境界が鋭くシャープになる傾向がある水たまりを、境界がソフトになる傾向がある移動する影（画像解析操作での残差フローの原因でもある）から区別するように動作し得る。シャープネス基準の例として、（１）境界の近くの水たまりの疑いのある領域内のポイントに対して適用される負の残差フローの最小しきい値（又は、路面の窪みの深さ）、及び（２）水たまりの疑いのある領域の境界のすぐ外側のポイントに適用される残差フローの最大制限（又は、基準道路平面に位置合わせされたような路面の平坦度）の２つの係数を適用できる。
【0131】
動作１８０８では、動作１８０２、１８０４、及び１８０６での様々な基準を満たす、又は満たすことに失敗したことに基づいて、水たまり決定の指標が生成される。
【0132】
図１９は、一実施形態による、自律型車両の現在の状況シナリオを計算により決定するための方法１９００の例を示すフロー図である。方法１９００の動作は、上記又は下記のような計算ハードウェア（例えば、処理回路）によって実行される。
【0133】
動作１９０２では、車両速度が評価される。この評価は、例えば、速度計又は車両制御システムから取得され得る。動作１９０４では、路面及び路面状態が評価される。これらの評価は、路面の牽引摩擦の質又は滑りやすさの程度を決定することを含み得る。例えば、道路タイプは、舗装された道路、石、土、砂利等の中から選択することができる。路面は、地図作成データ、測定された車両性能（例えば、操舵角及び速度に対するホイールの滑り及び横方向の動き）に基づいて、又はそのような要因のいくつかの組合せに基づいて決定できる。路面状態は、乾いた、濡れた、雪が積もった、氷った、ほこりっぽい、落ち葉又は他の破片で覆われている等、様々なカテゴリから決定できる。路面状態は、気象レポートデータ、測定された車両の性能、又はそのような要因の組合せに基づいて推定することができる。１９０４での評価は、自律型車両制御システムの別のエンジンから利用できる場合がある。１９０２及び１９０４での車両速度と道路の質及び状態評価を使用して、適切な運転応答解を決定する一環として、操縦制限を計算により決定できる。
【0134】
一例では、操縦制限は、制限の２つ以上のサブカテゴリを含むことができる。そのような制限のサブカテゴリには、例えば、（他のサブカテゴリの操縦と比較して）鋭い又は力強い操縦に関連付けられ得る安全操縦制限、及び優しい又はより緩やかな操縦に関連付けられ得る快適操縦制限が含まれ得、快適操縦制限は、典型的に、車両の乗客、及びおそらくは道路の他のユーザや車両の環境内の他の人（又は動物）に、より高いレベルの快適さを与える。
【0135】
動作１９０６では、水たまりの近くの任意の歩行者の存在及び位置が評価される。現在の文脈での歩行者には、歩行者、自転車のライダー、車椅子の人、道端の近くにあるベビーカー等、車外の人々が含まれる。この歩行者の評価は、自律型車両制御システムの一部であり、且つ人間を検出するように構成される物体認識エンジンによって供給される情報に基づいてもよい。動作１９０６は、検出した歩行者が、検出した水たまりの近く（例えば、「飛び跳ね範囲」内）にいるかどうかをさらに評価することができる。歩行者評価を使用して、歩行者への飛び跳ねを回避するために自律型車両の制御において回避行動を取るための優先度を計算により決定することができる。一例では、水たまりの中心又はエッジからの特定の距離等、飛び跳ね範囲を予め規定することができる。一例では、水たまりのサイズ、車両の速度等に基づいて、飛び跳ね範囲を推定することができる。
【0136】
一例では、他の車両（例えば、自転車及びオートバイを含む）の存在及び位置を評価することができる。飛び跳ね範囲評価を使用して、（任意の方向からの）対向車両が、対向車両の視認性を妨げる可能性がある方法でホスト車両の飛び跳ね範囲に入るかどうかを判定することができる。同様に、飛び跳ね範囲評価を使用して、ホスト車両が、ホスト車両の視認性を妨げる可能性がある方法で対向車両の飛び跳ね範囲に入るかどうかを判定することができる。飛び跳ね範囲評価では、ホスト車両又は対向車両の様々な特性を利用して、飛び跳ね範囲及び関連する車両への影響を評価することができる。車両の検出及び評価を使用して、自律型車両の制御において回避行動を取ることの優先度を計算により決定して、対向車両への飛び跳ねを回避するか、又は対向車両による飛び跳ねを回避することができる。
【0137】
動作１９０８では、検出した水たまりの位置が、道路境界に対して評価される。同様に、動作１９１０では、検出した水たまりの位置が、道路上の任意の車線マーカーに対して評価される。動作１９０８及び１９１０での評価は、回避行動の決定に使用され、水たまりを回避するか、又は飛び跳ねを低減又は最小化するために自律型車両を操縦するかどうか、及びどの場所に操縦するかを決定できる。
【0138】
動作１９１２では、自律型車両と同じ方向に走行している車両等の近くの車両の位置及び移動特性の評価が行われる。
【0139】
動作１９１４では、あらゆる対向交通の存在及び移動特性の評価が行われる。近く又は対向する交通の運動特性には、縦距離、横距離（例えば、現在の車線の位置）、閉速度、予測される移動の変化（例えば、車線の変更、速度の変更、曲がり角）等の要因が含まれ得る。動作１９１２及び１９１４での評価は、自律型車両の交通感知／検出又は制御システムから利用可能であり得る。これらの近くの及び対向する車両交通の評価を回避行動の決定に使用して、安全を維持するために自律型車両が水たまりを回避することを制限する場合がある。
【0140】
図２０は、一実施形態による、水たまり（又は、他の反射面）の検出に応答するために選択されてもされなくてもよい、利用可能な運転応答解の計算評価のための方法２０００の例を示すフロー図である。この方法の動作は、上記又は下記のような計算ハードウェア（例えば、処理回路）を使用して実行される。
【0141】
動作２００２では、水たまりの検出に応答した行動の必要性が評価される。行動の必要性は、水たまりが自律型車両の進路にある、特に少なくとも１つの車両のホイールの予測経路にあるかどうかによって左右される。行動の必要性は、水たまりの近くに歩行者が存在するかどうかによってもさらに左右され得る。いくつかの実施態様では、行動の必要性は、車両のオペレーターの好みにも依存し得る。
【0142】
例えば、例示的な実施形態では、水たまりの検出に応答して、応答を行わせる必要性の程度が変化する可能性がある。次の表は、水たまりの応答に対する様々な程度の必要性又は優先度を必要とする状況のいくつかの例を示している。様々な状況が、対応するリスクスコアの増分値とともに提示される。リスクスコアの増分は、計算されたリスク評価に対する各状況の対応する寄与を表す。
【表2】
【0143】
これらの一例では、主に道路の端にある水たまり（例えば、道路境界に一致する細長い形状を有する）は、主に窪みによるものではなく、道路の斜面による流出によって引き起こされたと推定することができる。このタイプの水たまりは、車両自体又は近くの歩行者に水の飛び跳ねをかける可能性がある。道路の端から離れた水たまりは、車両又は歩行者に水の飛び跳ねをかける可能性があるが、窪みが原因である可能性もあり、車両のタイヤ、ホイール、サスペンション、下部構造、又は他の一部への損傷等の追加の害を引き起こす可能性がある。大きな穴は、車両が高速で走行している場合に、車両をコースから外す可能性もある。道路の大部分に亘る非常に大きな水たまりは、路面が下がって水が溜まったことが原因である可能性がある。このタイプの水たまりは、流失（washout）等の深刻な道路の危険を覆い隠す可能性がある。路面の大部分を覆う非常に大きな水たまりには、ハイドロプレーニング等により車両の制御が大幅に失われる可能性がある深さ、又は車両のエンジンの空気取り入れ口の高さを超える極端な深さがある場合もある。
【0144】
歩行者の存在は、水たまりに高速でぶつかることの悪化要因と考えることができる。場合によっては、歩行者の存在は、安全上のリスクを提示しない。むしろ、それは、社会的規範に従って丁寧に自律型車両を操作することへの優先度を提示する。こうして、歩行者に関連するリスクの増分は、車両の汚れに関連するリスクの増分よりも大きいが、潜在的な窪みに突っ込むことに関連するリスクよりは小さい。
【0145】
上記の表の最後の行は、緩和要因、例えば、規定されたしきい値を下回る水たまりのサイズ決定を示す。例えば、水たまりの寸法が１０ｃｍを超えない場合に、水たまりは小さすぎて重大な水の飛び跳ね又は窪みに関連する害を引き起こすとは見なされない場合がある。
【0146】
方法２０００の動作２００４～２０１２は、様々なタイプの運転応答の評価に関する。各評価は、次のような要因を考慮した様々な基準に基づいている場合がある。
１.安全リスクを低減する際の行動の有効性
２.自律型車両による運転の丁寧さを促す際の行動の有効性
３.安全上のリスクを引き起こす、又は増大させる行動の可能性
４.車両の同乗者に不快感を与える又は増大させる行動の可能性、又は
５.失礼な運転行動を引き起こす行動の可能性。
１.安全リスクを低減する際の行動の有効性
２.自律型車両による運転の丁寧さを促す際の行動の有効性
３.安全上のリスクを引き起こす、又は増大させる行動の可能性
４.車両の同乗者に不快感を与える又は増大させる行動の可能性、又は
５.失礼な運転行動を引き起こす行動の可能性。
【0147】
各運転応答の評価は、現在の状況評価を考慮に入れて、数値スコアを各基準に割り当てることによって計算により処理することができる。従って、２００４では、様々な基準に従って減速が評価される。例えば、減速すると水の飛び跳ねが減少又は防止され、潜在的な窪みに突っ込むことによる害が軽減される。ただし、減速は車両の同乗者に迷惑をかける可能性があり、自律型車両に接近している近くの車両がある場合に、減速により近くの車両も減速する必要があり、衝突の危険性が高まり、場合によっては近くの車両の運転者又は同乗者に迷惑をかける可能性がある。
【0148】
動作２００６では、車線内シフトが潜在的な運転応答として評価される。動作２００８では、車線変更が潜在的な運転応答として評価される。車線内シフトは、車線変更よりも車両の同乗者及び近くの車両にとって混乱が少ないオプションであるが、水たまりの位置とサイズ、及び車両の速度に基づいて効果が低下する場合もある。
【0149】
動作２０１０では、路肩への瞬間的な急な進路変更（swerve）が評価される。動作２０１２では、対向車両線への瞬間的な急な進路変更が評価される。路肩及び対向車両線への急な進路変更は、より高いリスクの運転応答を表す。これは、現在の状況シナリオに基づいて、他の運転応答が無効又は危険であると判定された場合に必要になることがある。
【0150】
これらの基準のそれぞれは、例えば、状況評価を考慮して計算により評価することができる。基準を動作２００４～２０１２に適用する一部として状況評価を検討した結果、一般的な条件に応じて、特定の運転応答がより好ましい場合もあれば、あまり好ましくない場合もある。こうして、例えば、近くの車両の存在及びその車両との相対距離は、減速、車線変更、車線シフト、又は急な進路変更、又はこれらの運転応答の組合せが、水たまりの検出に応答するように選択され得る程度に影響を与え得る。一例では、急な進路変更は車線内進路変更とすることができ、それによって車両は車線を変更せず、むしろ水たまりを回避するように車線内で方向転換する。一例では、車線内進路変更又は減速は、歩行者がいるときにのみ実行される。こうして、歩行者がいない場合に、操縦は実行されない。例えば、ホスト車両が水たまりを検出し且つ歩行者を検出した場合に、ホスト車両は、歩行者を検出しなかった場合よりも水たまりをゆっくり通過するように減速し得る。さらに、ホスト車両は、水たまりが検出された場合には歩行者から離れるようにその進路を調整し、水たまりが検出されない場合には直線の進路を維持することができる。さらに、ホスト車両は、歩行者が歩道にいて且つ水たまりが存在する場合に、減速し得るが、歩行者が歩道にいて且つ水たまりが存在しない場合に、減速しない（例えば、減速量を少なくする）だろう。
【0151】
図２１は、一実施形態による、自律型車両制御システムと共に使用するための、道路をプロファイリングするためのカメラベースの車両搭載システムを示す。図示されるように、システムは、簡潔さ及び一貫性のためにエンジンと呼ばれるいくつかのサブシステム、構成要素、回路、モジュール、又はエンジンで構成されるが、これらの用語は互換的に使用できることを理解されたい。エンジンは、ハードウェア、或いはソフトウェア又はファームウェアによって制御されるハードウェアで実現される。そのため、エンジンは、特定の動作を実行するために特別に目的とされた有形のエンティティであり、特定の方法で構造化されている。
【0152】
一例では、回路は、エンジンとして特定の方法で（例えば、内部又は他の回路等の外部エンティティに関して）構成してもよい。一例では、１つ又は複数のハードウェアプロセッサの全体又は一部は、ファームウェア又はソフトウェア（例えば、命令、アプリケーション部分、又はアプリケーション）によって、指定された動作を実行するように動作するエンジンとして構成され得る。一例では、ソフトウェアは、有形の機械可読記憶媒体に常駐することができる。一例では、ソフトウェアは、エンジンの基盤となるハードウェアによって実行されると、ハードウェアに指定された操作を実行させる。従って、エンジンは、特定の方法で動作するように、又は本明細書で説明した任意の動作の一部又は全てを実行するように、物理的に構築される、又は具体的に構成（例えばハードワイヤード）される、又は一時的に構成（例えばプログラム）される。
【0153】
エンジンが一時的に構成される例を考えると、エンジンのそれぞれを、任意の瞬間にインスタンス化する必要はない。例えば、エンジンがソフトウェアを用いて構成された汎用ハードウェアプロセッサコアで構成される場合に、汎用ハードウェアプロセッサコアは、それぞれ異なるエンジンとして異なる時間に構成できる。従って、ソフトウェアは、例えば、ある時点で特定のエンジンを構成し、異なる時点で異なるエンジンを構成するように、ハードウェアプロセッサコアを構成することができる。
【0154】
図示されるように、システムは、車両内又はその上に取り付けられたカメラ又は画像センサ２１１２を含む。各画像センサ２１１２は、視野を撮像して、画像プロセッサ２１３０によって読み取られる画像フレーム２１１５を提供する。一例では、複数のカメラ２１１２を車両に取り付けてもよい。例えば、システムは、異なる方向を向く複数のカメラ２１１２を有し得る。システムはまた、車両に対して同じ又は類似の方向を指しているが、異なる場所に取り付けられる複数のカメラ２１１２を有し得る。一例では、システムは、（例えば、図２２及び図２３に関して以下で説明するように）部分的に又は完全に重複する視野を有する複数のカメラを有し得る。一例では、２つの並んだ（side-by-side）カメラがステレオで動作し得る。ここでは単一のカメラシステムについて説明するが、関連する画像及びフレームの一部又は全てを異なるカメラで取り込んだり、又は複数のカメラから取り込んだ画像の合成から作成したりし得るマルチカメラシステムも使用できる。現在の文脈では、リアルタイム動作は、感知できない又は僅かな処理遅延で動作するため、視野全体の物体は、視野がスキャン又は取り込まれる速度と一致する速度で検出される。
【0155】
画像プロセッサ２１３０を使用して、画像フレーム２１１５を同時に又は並行して処理し、いくつかの運転者支援システム又はアプリケーションにサービスを提供することができる。画像プロセッサ２１３０を使用して、画像フレーム２１１５を処理し、カメラ２１１２の前方視野内の画像又は画像の一部を検出及び認識することができる。運転者支援システムは、特定のハードウェア回路（図示せず）を搭載されたソフトウェア及び／又はストレージ２１１３内のソフトウェア制御アルゴリズムと共に用いて実装され得る。画像センサ２１１２は、モノクロ、グレースケールであり得るか、又は画像センサ２１１２は、カラーセンシティブであり得る。例として、画像フレーム２１１５は、特徴検出エンジン２１２０、交通標識認識（ＴＳＲ）エンジン２１２１、前方衝突警告（ＦＣＷ）エンジン２１２２、及び道路の垂直輪郭又は道路平面から逸脱の垂直輪郭検出エンジン２１２３を提供するために使用される。一例では、画像フレーム２１１５は、異なる運転者支援アプリケーション同士の間で分割され、他の場合には、画像フレーム２１１５は、異なる運転者支援アプリケーション同士の間で共有してもよい。
【0156】
一例では、システムは、路面の平面（又は、双二次（bi-quadratic））モデルを正確に推定し、平面（又は、双二次）路面モデルからの小さな偏差を計算して、様々な表面特徴１０４を検出又は定量化するために使用される。本文脈における「路面モデル」という用語は、路面の平面モデル又は双二次モデルを指す。「垂直輪郭」又は「垂直偏差」という用語は、路面に垂直な軸線に沿った路面モデルからの偏差を指す。
【0157】
一例では、システムは、ホスト車両に搭載されたカメラ２１１２を用いて、垂直輪郭等の路面形状（例えば、形状）を正確に検出するために使用される。本明細書で提供されるシステム及び方法を用いて、隆起又は穴、減速バンプ（speed bump）、縁石、又はマンホールカバー等の表面特徴は、サブピクセル精度（例えば、１～２センチメートルのオーダー）で路面（例えば、平面）からの垂直偏差として測定又はモデル化できる。これらの技術は、前方カメラ、側方カメラ、又は後方カメラ２１１２に同様に適用され得る。ガンママップは、車両の前方、又は側方及び後方の運転可能領域を決定するために有用であり得る。ガンママップを単独で使用して、表面の勾配が急すぎて走行できない場所を決定するか、又は米国特許出願公開第２０１８／０１０１１７７号に記載されるように、グレースケール又はカラー画像ベースのセマンティックフリースペースと組み合わせることができ、この文献はその全体が参照により本明細書に組み込まれる。道路平面のガンママップ又は高さマップを使用して、鋭い垂直エッジの縁石、滑らかに傾斜した縁石、又は軟らかい路肩（道路が落ちる場所等）を区別できる。次に、ホスト車両は、滑らかに傾斜した縁石からよりも、鋭い縁石又はエッジが落下した箇所からの距離を大きくとるように制御され得る。
【0158】
一例では、システムは、車両制御プロセッサ２１４０をさらに含むことができ、車両制御プロセッサ２１４０は、スロットル、ブレーキ、ステアリング、又はトランスミッション選択コマンドを車両の電気機械アクチュエータシステムに生成して自律又は半自律型運転操作を実行するための１つ又は複数の車両制御エンジンを実装する。車両制御プロセッサ２１４０は、エンジン２１２０～２１２３によって生成された様々なマシンビジョン評価に関連する画像プロセッサ２１３０によって供給される様々な出力を受け取ることができる。
【0159】
図２２は、一実施形態による、車両上の複数のカメラアレイを示す。図示されるように、カメラ２２１２Ａ～２２１２Ｆは、車両の周りに配置され、（例えば、以下で説明されるような）視野を提供する。
【0160】
図２３は、一実施形態による、複数のカメラアレイによって取り込まれ得る視野の例を示す。複数の重複する視野１００Ａ～１００Ｆが示されている。ここでは、路面はビューに共通である。
【0161】
図２４は、一実施形態による、垂直輪郭検出エンジン２４２３の例を示すブロック図である。垂直輪郭検出エンジン２４２３は、プリプロセッサエンジン２４２２、機械学習（ＭＬ）ベースの輪郭エンジン２４２４、及び出力抽出エンジン２４３４を含む。プリプロセッサエンジン２４２２は、生の入力データのセットを受け取り、且つ生の入力データのセットを処理して、さらに処理するためにＭＬベースの輪郭エンジン２４２４に渡される前処理した入力データのセットを生成するように構築、プログラム、又は他の方法で構成される。その結果は、路面の垂直輪郭の測定値を示す出力である。
【0162】
生の入力データのセットは、車両制御システムの構成要素から提供してもよい。例えば、エゴモーションエンジン２４０２、地面エンジン２４０６、又はデータストア２４１２はそれぞれ、生データの様々なアイテムを提供することができる。特に、本文脈において、「生データ」という用語は、プリプロセッサエンジン２４２２の入力側の情報を指す。生データは、センサ（例えば、１つ又は複数のカメラ）から直接提供されるデータに限定されず、又は他に未処理のデータである。むしろ、生データは、そのソース又は中間処理エンティティによってある程度計算により処理される場合がある。
【0163】
エゴモーションエンジン２４０２は、センサの実際の動きを記述するエゴモーション（ＥＭ）情報２４０４を提供するように構成される。ＥＭ情報２４０４は、車両の速度計、又は慣性センサ（例えば、車両２１８のヨー、ピッチ、及びロールを感知するように構成された３軸加速度計）によって得られた測定値に基づいてもよい。慣性センサは、カメラに統合してもよく、又はホスト車両のどこにでも搭載してもよい。
【0164】
地面エンジン２４０６は、地面（ＧＰ）情報２４０８を提供するように構成される。一例では、地面エンジン２４０６は、エゴモーションエンジン２４０２によって提供されるピッチ及びロールデータ、車両のサスペンション情報、又はこれらの入力のいくつかの組合せに基づいてＧＰ情報２４０８を決定することができる。ＧＰ情報２４０８は、道路の平面法線ベクトル、及び平面までの距離を示し得る。一例では、地面エンジン２４０６は、３Ｄスキャン測定（例えば、ＬｉＤＡＲ）、立体画像、又は他の適切な技術に基づいて、平面法線ベクトル及び平面までの距離を計算することができる。一例では、地面エンジン２４０６は、取り込み画像２４１６に基づいてＧＰ情報２４０８を計算することができ、又はそれは、固定されたデフォルトＧＰであってもよい。
【0165】
データストア２４１２は、カメラの高さ情報２４１４等のデータの保存されたアイテム、及び連続して取り込まれた画像フレーム２１５のシーケンスを含み得る取り込み画像２４１６を提供する。取り込み画像２４１６は、例えば、現在の（最近取り込まれた）画像、以前の画像、及びさらに以前の画像を含み得る。
【0166】
プリプロセッサエンジン２４２２は、取り込み画像２４１６、及びＥＭ２４０４、ＧＰ情報２４０８、又はカメラの高さ情報２４１４等の生データ入力の他のアイテムに基づく前処理した画像２４３０のセットを出力する。さらに、プリプロセッサエンジン２４２２は、ＭＬベースの輪郭エンジン２４２４による更なる処理のために、画像形式のエピポールマーク２４２８、及び画像形式の動きマーク２４２６を出力する。
【0167】
一例では、道路構造２４３２は、現在の取り込み画像の各ピクセルについて、（ｚ軸に沿った）前進運動の方向に沿ったカメラからの距離に対する道路平面の高さの比を表すマップであり、本明細書では「ガンマ」と呼ばれる。一例では、ガンマは、前処理した画像２４３０のセットのいずれかと同じ又は類似の解像度を有してもよく、又はそれは、異なる（例えば、低減された）解像度を有してもよい。
【0168】
一例では、ＭＬベースの輪郭エンジン２４２４は、前処理した画像２４３０のセット、画像形式のエピポールマーク２４２８、及び画像形式の動きマーク２４２６を読み取り、プリプロセッサエンジン２４２２のこれらの画像形式の出力を処理して、路面の３次元構造を表す画像形式のマップである道路構造２４３２を生成する。道路構造２４２８は、道路の垂直輪郭を示している。これには、路面上のポイントの高さ情報が含まれる場合、又は他の値（高さ情報が追加の処理から計算により決定され得る）が含まれる場合がある。
【0169】
一例では、ＭＬベースの輪郭エンジン２４２４は、道路の垂直輪郭を計算するようにトレーニングされたディープニューラル・ネットワーク（ＤＮＮ）を含む。ＤＮＮは、各層に固有の重み付け、バイアス、又は他の変数設定を含む計算パラメータ２４２５に基づいて、複数の層で様々な段階的な操作を実行する。計算パラメータ２４２５は、ＤＮＮトレーニングシステム２４５０等によってオフラインで又はリモートで実行され得るＤＮＮトレーニング操作に基づいて、確立され、時々更新され得る。
【0170】
出力抽出エンジン２４３４は、道路構造２４３２のガンマ（γ）値を処理して、例えばカメラの高さ情報２４１４及びＧＰ２４０８を用いて、道路の平面からの垂直高さを表す高さマップ２４３６を生成するように構成される。一例では、出力抽出エンジン２４３４は、以下に基づいて、道路構造２４３２からの残差の動きμ２４３８を計算するように構成される。
ここで、Ｈ／Ｚ項はガンマであり、ＴＺは順方向の並進を表し、Ｄはカメラの高さ２４１４を表し、ｅ→はエピポール情報を表し、ｐｗ
→はホモグラフィベースのワーピングの適用後の対応する画像座標を表す項である。
【数7】
【0171】
一例では、ＤＮＮは、ガンマ値のピクセル毎（単位）の出力を生成し、ここで、ガンマは、前方運動の方向に沿った（ｚ軸に沿った）カメラからの距離に対する垂直輪郭高さの比として計算される。垂直輪郭高さは、画像内の対応する位置のそれぞれのガンマ値から決定できる。
【0172】
一例では、歩道等の道路境界特徴は、高さＨから直接検出することができる。一例では、道路境界特徴は、延長線により低残差フローの領域から分離された比較的均一な正の残差フロー領域を検出することによって検出することができる。これらの線は、おおまかに消失点（ＦＯＥ）の方向又は道路の方向（つまり、車線マークの消失ポイントの方向）に向いている。
【0173】
一例では、隆起又は障害物は、高さＨから直接、又は少なくとも部分的に低残差フローの領域によって囲まれた正の残差フローの領域として、同様に検出され得る。一方、一例では、穴又は窪みは、少なくとも部分的に低残差フローの領域によって囲まれた負の残差フローの領域として検出され得る。
【0174】
一例では、水たまりは、画像内の水平面の解析に基づいて検出される（これは、例えば、ガンマ画像から、又は決定された道路境界内の領域の位置から決定され得る）。水たまりを判定する際に使用され得るいくつかの基準には、深い凹部又は穴を示す著しい残差フローを用いて表面に鋭いエッジがあるかどうかのテストが含まれる。例として、ＤＮＮベースの実施態様では、水たまりの疑いのある領域のエッジは、ガンマワープされた画像で静止しているエッジ特徴について解析され得る。水たまりの疑いのある領域は、写真測量の制約のみを使用する場合に（例えば、負の方向に規定されたしきい値を超える場合）、大きな負のガンマ値を有するものとして識別される。
【0175】
一例では、前処理した（例えば、ワープされた、整列され、安定化された）画像が得られる。これらの前処理した画像は、道路のプロファイリング操作の一部として生成された可能性があり、特に水たまりの検出のために生成されていない。ここでは、前処理した画像を利用できるため、システムが画像を新たに前処理する必要があるシステムと比較して、特徴検出の計算効率及び検出速度が向上する。
【0176】
図２５は、一実施形態による、プリプロセッサエンジンの例を示す。図示されるように、プリプロセッサエンジン２５７２は、基準フレームエンジン２５０２、ホモグラフィエンジン２５０４、画像ワーピングエンジン２５０６、エピポール画像生成エンジン２５０８、及び動き情報画像生成エンジン２５１０を含む。
【0177】
ＥＭ情報２５５４は、基準フレームエンジン２５０２及び動き情報画像生成エンジン２５１０への入力として供給される。この例では、ＥＭ情報２５５４は、車両内の動き感知装置から提供又は導出された回転（Ｒ）情報２５１２及び並進（Ｔ）情報２５１４を含む。ＧＰ情報２５５８は、基準フレームエンジン２５０２に提供される。図示されるように、ＧＰ情報２５５８は、道路平面のデフォルトの平面法線ベクトルインジケータ、Ｎ２５１６を含む。
【0178】
取り込み画像２５６６は、基準フレームエンジン２５０２、ホモグラフィエンジン２５０４、及び画像ワーピングエンジン２５０６に提供される。取り込み画像２５６６は、視野内の道路の同じ部分から取り込まれた画像フレームのシーケンス２５１８（例えば、第１の画像フレームＡ、第２の画像フレームＢ、及び第３の画像フレームＣ）を含む。一例では、画像フレームのシーケンス２５１８は、わずか２つの画像フレーム、３つの画像フレーム、又は４つ以上の画像フレームを有してもよい。
【0179】
カメラの高さ情報２５６４は、基準フレームエンジン２５０２及び動き情報画像生成エンジン２５１０に提供される。一例では、カメラの高さ情報２５６４は、公称カメラ高さを表す固定値２５２０を含む。一例では、カメラの高さ情報２５６４は、現在のカメラ高さを報告する動的インジケータを含み、このインジケータは車両のサスペンション状態等の変数を考慮する。
【0180】
一例では、基準フレームエンジン２５０２は、ＥＭ情報２５５４に基づいて、ＧＰ情報２５５８からの地面のマークを地面の更新された表現に調整するように構成される。これは、安定した基準面に対する道路プロファイル出力が望ましい場合に重要であり得る。例として、地面の平面法線ベクトルは、以下に従って調整される。
Ｎ（ｔ）＝αＦ[Ｎ（ｔ－１），Ｒ，Ｔ]＋βＮｃｕｒｒ＋γＮｈｉｓｔ
ここで、Ｎ（ｔ）は、方向及び大きさの情報を含む、更新された平面法線ベクトルを表す。例えば、Ｎ（ｔ）は、カメラの高さ（すなわち、本明細書では、ｃａｍＨとも呼ばれる、地面Ｄまでの距離）で割った平面法線ベクトルＮを表すことができる。一例では、Ｎ及びＤは、同じα、β、δ係数を用いて個別に更新できる。
（Ｎｎｅｗ；Ｄｎｅｗ）＝０：８＿ｕｐｄａｔｅｄＲ；Ｔ
（Ｎｐｒｅｖ；Ｄｐｒｅｖ）＋０：１＿（Ｎｃｕｒｒ；Ｄｃｕｒｒ）＋０：１＿ｈｉｓｔｏｒｙ（Ｎｃｕｒｒ；Ｄｃｕｒｒ）
Ｎ（ｔ）＝αＦ[Ｎ（ｔ－１），Ｒ，Ｔ]＋βＮｃｕｒｒ＋γＮｈｉｓｔ
ここで、Ｎ（ｔ）は、方向及び大きさの情報を含む、更新された平面法線ベクトルを表す。例えば、Ｎ（ｔ）は、カメラの高さ（すなわち、本明細書では、ｃａｍＨとも呼ばれる、地面Ｄまでの距離）で割った平面法線ベクトルＮを表すことができる。一例では、Ｎ及びＤは、同じα、β、δ係数を用いて個別に更新できる。
（Ｎｎｅｗ；Ｄｎｅｗ）＝０：８＿ｕｐｄａｔｅｄＲ；Ｔ
（Ｎｐｒｅｖ；Ｄｐｒｅｖ）＋０：１＿（Ｎｃｕｒｒ；Ｄｃｕｒｒ）＋０：１＿ｈｉｓｔｏｒｙ（Ｎｃｕｒｒ；Ｄｃｕｒｒ）
【0181】
ホモグラフィエンジン２５０４は、画像フレーム２５１８のペアの間のホモグラフィを計算するように構成される。本文脈における用語「ホモグラフィ」は、直線を直線にマッピングする射影空間からそれ自体への可逆変換を指す。コンピュータビジョンの分野では、空間内の同じ平面の２つの画像がホモグラフィによって関連付けられる（ピンホールカメラモデルを想定）。与えられたホモグラフィは、計算により表され、行列として処理され得る（アレイ又は他の適切なデータ構造で実現され得る）。
【0182】
一例として、道路の第１の画像フレームＡから道路の第２の画像フレームＢへの変換を表す第１のホモグラフィＨＡＢは、ホモグラフィエンジン２５０４によって計算される。第１のホモグラフィＨＡＢは、第１の画像フレームＡにおける道路の一致する画像ポイントと、第２の画像フレームＢにおける道路の対応する画像ポイントのセットから計算され得る。
【0183】
一例では、ホモグラフィＨは、エゴモーション及び地面情報に基づいて、次のように表され得る。
ここで、Ｒ及びＴはそれぞれＥＭ２５５４からの（例えば、フレームＡからフレームＢへの）回転及び並進を表し、ｃａｍＨはカメラの高さ情報２５６４からのカメラの高さを表し、ＮはＧＰ２５５８からの平面法線ベクトルを表し、Ｋ及びＫ－１は校正要素を表す。
【数8】
【0184】
道路の第２の画像フレームＢから道路の第３の画像フレームＣへの変換を表す第２のホモグラフィＨＢＣはまた、ホモグラフィエンジン２５０４によって、第２の画像フレームＢにおける道路上の一致する画像ポイントと、第３の画像フレームＣにおける道路の対応する画像ポイントから計算してもよい。
【0185】
ホモグラフィエンジン２５０４は、行列乗算等によって、第１及び第２のホモグラフィＨＡＢ及びＨＢＣをさらに連鎖させることができる。連鎖ホモグラフィを初期推定として用いることにより、第３のホモグラフィＨＡＣを計算でき、これは、道路の第１の画像から道路の第３の画像への変換を表す。
【0186】
一例では、ホモグラフィエンジン２５０４は、画像フレーム同士の間のエゴモーションを使用してホモグラフィを計算する。例えば、第１の画像フレームＡと第２の画像フレームＢとの間で測定された回転（ＲＡＢで示される）は、第１の画像フレームＡと第２の画像フレームＢとの間の並進ＴＡＢと一緒に、第２の画像フレームＢと第３の画像フレームＣとの間の回転及び並進（ＲＢＣ及びＴＢＣで示される）にそれぞれ連鎖される。このエゴモーション連鎖は、第１の画像フレームＡと第３の画像フレームＣとの間の回転及び並進（ＲＡＣ及びＴＡＣで示される）の決定を生成する。ホモグラフィエンジン２５０４は、エゴモーションＲＡＢ及びＴＡＢを使用して、フレームＣの座標フレームでフレームＢ及びＣを用いて計算された平面法線である平面法線ベクトルＮＢＣを更新する。それは、第２及び第３の画像フレームＢ及びＣに共通の安定化基準面を表す。ホモグラフィエンジン２５０４は、３つの画像Ａ、Ｂ、及びＣのシーケンスに関連する全てのホモグラフィに使用可能な安定化基準フレームを表す更新された平面法線ベクトル（例えば、ＮＢＣ）を決定する。次に、ホモグラフィエンジン２５０４は、回転ＲＡＣ、並進ＴＡＣ、及び平面法線ＮＡＣに基づいて、第１の画像フレームＡと第３の画像フレームＣとの間の画像フレームの移行に関するホモグラフィＨＡＣを構成する。
【0187】
一例では、プレワーピング後のロバスト追跡を適用して、ホモグラフィを計算する。これは、エゴモーション及び平面推定値を導出して、以前の平面推定値を調整するために使用される。エゴモーションと調整済み平面モデルとを組み合わせて、ホモグラフィを取得する。一例として、エゴモーションは、エゴモーションセンサ及び処理エンジンによって提供してもよい。このタイプのエンジンは、基本行列を用いて、道路上のポイント及び道路の上のポイントのロバスト追跡を使用する。それはまた、利用可能な慣性センサ及び速度計の情報を組み合わせる。地面情報は、地面エンジンによって提供される。このエンジンは、道路上のポイント（プリワープ後）を追跡し、次に、計算されたエゴモーションを使用して各ポイントまでの深度を導出し、ポイントの３Ｄ座標を生成する。その後に、平面表面が３Ｄポイントにアルゴリズム的にフィッティングされる。エゴモーションと平面表面とを組み合わせて、ホモグラフィを提供する。
【0188】
一例では、路面のそれぞれのパラメトリックモデルが実装され得る。例えば、３Ｄスプラインモデルが、通信可能に結合された運転経路ジオメトリ又は物体感知サブシステムによって提供される。そのような１つのサブシステムの例として、Ｉｎｔｅｌ社の子会社であるＭｏｂｉｌｅｙｅeによって製造されたＲｏａｄ Ｅｘｐｅｒｉｅｎｃｅ Ｍａｎａｇｅｍｅｎｔ（商標）（ＲＥＭ（商標））エンジンは、３Ｄスプラインの形式で道路特徴の表現を提供し得る。例えば、車線マークは３Ｄスプラインとして表すことができる。サブシステムは、３Ｄスプライン特徴表現を画像に位置合わせする。３Ｄスプライン特徴表現は、取り込まれた道路の画像に逆投影され、さらに処理される。
【0189】
３Ｄスプラインからの各ポイントは３Ｄ座標を有する。一例では、このデータは、取り込み画像の行に沿った３Ｄスプラインに関連付けられた３Ｄ位置を内挿及び外挿するために使用できる。側面への外挿は、ゼロ次ホールド（つまり、一定）、１次ホールド（例えば、２つのスプラインに基づく線形拡張）等であり得る。一例では、内挿は、特定のスプラインの、画像自体の外側にある仮想画像座標への既知の拡張で発生する可能性がある。
【0190】
内挿及び外挿は、画像の下部の全てのポイントについて３Ｄ座標を生成することができる。これらのポイントは、滑らかな３Ｄ表面上にあり得る。次に、この表面を使用して、以前の画像を現在の画像に向けて（又はその逆に）ワープさせることができる。
【0191】
（例えば、図２２及び図２３を参照して説明されるような）複数の重複するビューへのアクセスを有する一例では、ホモグラフィは、ホモグラフィエンジン２５０４によって、視野の組合せを用いて計算され得る。例えば、平面路面の重なり合う領域を位置合わせするホモグラフィは、前方左視野２３００Ａから前方中央視野２３００Ｂ（時間ｔ２）で取得でき、このホモグラフィは、前方左視野２３００Ｃの画像を前方中央視野２３００Ｂの画像にワープするために使用できる。さらに、ホモグラフィは、時間ｔ１での前方中央視野２３００Ｂの画像と時間ｔ２での前方中央視野２３００Ｂの画像との間で（単眼の場合のように）計算され得る。さらに、ホモグラフィは、前方左視野２３００Ａの画像（時間ｔ１）から前方中央視野２３００Ｂの画像（これも時間ｔ１）で計算され得る。このホモグラフィを用いて、前方左視野２３００Ａの画像（時間ｔ１）をチェーン（連鎖）ワープして、前方中央視野２３００Ｂの画像（時間ｔ２）と位置合わせすることができる。
【0192】
一例では、前方左視野２３００Ａの画像（時間ｔ１）と前方中央視野２３００Ｂの画像（これも時間ｔ１）との間のホモグラフィは、前方中央視野２３００Ａの画像（時間ｔ１）と前方中央視野の画像（時間ｔ２）との間のホモグラフィに使用される平面法線と、焦点距離及びレンズの歪み等の各カメラの内部較正パラメータと合わせた左前方カメラ２２１２Ａ及び前方中央カメラ２２１２Ｂの既知の位置（外部較正）とから導出される。
【0193】
この技術は、グローバルシャッターカメラで使用することができるが、ローリングシャッターカメラの場合に、又は非同期カメラの場合にエラーを導入する可能性がある。後者の場合に、２つのカメラの相対位置は、３Ｄポイントと、重複する路面同士の間の追跡ポイントを使用し、ホモグラフィを計算することにより、画像から取得できる。位置合せに使用されるホモグラフィは、通常、一貫した地面を使用するため、追跡からのホモグラフィは分解されて相対運動を与え、この動き及び一貫した地面の法線を用いて新しいホモグラフィが構築され得る。
【0194】
画像ワーピングエンジン２５０６は、３つの画像フレーム２５１８のうちの２つに対してワーピング操作を実行するように構成される。例えば、第１の画像フレームＡは第３の画像フレームＣにワープされ、第２の画像フレームＢは第３の画像フレームＣにワープされる。この例では、画像フレームＣは現在の画像を表すことができ、画像フレームＢは以前の画像を表し、画像フレームＡはさらに以前の画像を表す。
【0195】
エピポール画像生成エンジン２５０８は、１つ又は複数の画像の形式でエピポール位置データ２５７８を生成するように構成される。エピポールは、前進運動の方向を表すベクトルである。一例では、画像形式のエピポール位置データ２５７８は、画像のペアを含み、各画像は、画像フレームＡ、Ｂ、及びＣと同じ又は同様の解像度を有する。エピポール位置データを表す画像ペアの第１の画像には、ｘ軸に沿ったエピポールからのそれぞれの距離を表す「ピクセル」が含まれている。エピポール位置データを表す画像ペアの第２の画像には、ｙ軸に沿ったエピポールからのそれぞれの距離を表す「ピクセル」が含まれている。
【0196】
動き情報画像生成エンジン２５１０は、車両の測定された動きを表す画像形式の動きマーク２５７６を生成するように構成される。画像形式の動きマーク２５７６は、例えば、エピポール位置データ２５７８と同じ寸法を有することができる。画像形式の動きマーク２５７６のコンテンツには、車両の動きを表す固定値を有する「ピクセル」が含まれ得る。一例では、画像形式の動きマーク２５７６における車両の動きは、ＥＭ２５５４に基づいてもよい。一例では、画像形式の動きマーク２５７６における車両の動きは、カメラの高さ情報２５６４にさらに基づく。一例では、例えば、カメラの高さに対する前方（z軸）方向に沿った現在の移動量（measure of translation）の比（Ｔｚ／Ｄとして表される）は、画像形式のデータ構造２５７６における画像の各「ピクセル」の一定値として提供される。
【0197】
図２６は、一実施形態による、カメラを用いた車両環境モデリングのための方法２６００の例のフロー図を示す。方法２６０の動作は、上記又は下記のような計算ハードウェア（例えば、処理回路）で実行される。
【0198】
動作２６０５では、路面を表す時間順に並べられた画像シーケンスが取得される。ここで、画像シーケンスのうちの１つの画像は、現在の画像を含む。
【0199】
動作２６１０では、データセットが、シーンの３次元構造を生成するためにＡＮＮに提供される。一例では、データセットは画像シーケンスの一部を含み、画像シーケンスの一部には、現在の画像、画像を取り込んだセンサの動き、及びエピポールが含まれる。一例では、画像シーケンスの一部には、現在の画像の直前の画像が含まれる。一例では、画像シーケンスの一部は合計で３つの画像である。一例では、画像シーケンスの一部には、画像シーケンス内の１つ又は複数の画像によって分離される現在の画像に先行する画像が含まれる。
【0200】
一例では、エピポールは、現在の画像と同じ次元を有するグラデーション画像として提供される。ここで、グラデーション画像のピクセルの値は、現在の画像のピクセルのエピポールからの距離を表す。一例では、ベースラインは少なくとも０．５ｍである。一例では、グラデーション画像は、現在の画像よりも低い解像度である。一例では、グラデーション画像は、エピポールからの水平距離のみを表す。一例では、第２のグラデーション画像が、エピポールからの垂直距離を表すためにＡＮＮに提供される。
【0201】
一例では、センサの動きは、現在の画像と同じ次元を有する一定値の画像として提供される。一例では、一定値は、センサの前進運動を平面からのセンサの高さで割った比である。
【0202】
一例では、シーンの３次元構造はガンマ画像である。ここで、ガンマ画像は、平面の上の（above）ポイントの高さを現在の画像を取り込むセンサからの距離で割った比であるガンマ値を有するピクセルを含み、平面は路面を表す。
【0203】
一例では、ＡＮＮは、畳み込みニューラル・ネットワーク（ＣＮＮ）である。一例では、センサの動き及びエピポールは、ボトルネック層でＣＮＮに提供される。
【0204】
一例では、ＡＮＮは、教師なしのトレーニング手法でトレーニングされ、この手法では、エラーが、未来の画像のモデルと未来の画像との間の差を測定することによって決定される。ここで、未来の画像のモデルは、未来の画像より前の画像のガンマ・ワーピングによって生成される。一例では、ＡＮＮは、教師なしのトレーニング手法でトレーニングされ、この手法では、エラーが、ある位置の予測ガンマとその位置でのセンサの動きとの間の差を測定することによって決定され、センサの動きは、ピッチ、ヨー、ロール、又は平面に対して垂直な並進を含む。一例では、ＡＮＮは、教師なしのトレーニング手法でトレーニングされ、この手法では、エラーが、２つの異なる時間における２つの画像の間の重複するセグメントのガンマの差によって決定される。ここでは、推定は第１の画像に対して実行され、重複するセグメントは第２の画像においてセンサに近くなる。
【0205】
動作２６１５では、路面は、シーンの３次元構造を用いてモデル化される。一例では、路面のモデリングには、シーンの３次元構造を第２のＡＮＮからの出力と比較することによって反射領域を特定することが含まれる。ここで、第２のＡＮＮは、画像シーケンスの一部を受け入れ、第２の３次元構造を生成するようにトレーニングされる。第２のＡＮＮのトレーニングには、第１のＡＮＮをトレーニングするよりも、画像シーケンスの一部において写真測量法による損失（写真測量的損失）が多く含まれていた。一例では、ＡＮＮ及び第２のＡＮＮは、２つのチャネル出力を生成するようにトレーニングされた単一のＡＮＮとして実現される。ここで、第１のチャネルはシーンの３次元構造であり、第２のチャネルは、トレーニングでより多くの写真測量的損失を使用した第２のＡＮＮによって生成された３次元構造である。一例では、路面のモデリングには、路面特徴の平面からの垂直偏差の計算が含まれる。
【0206】
一例では、方法２６００は、３次元構造を用いて第２のＡＮＮを呼び出して、特徴が路面の環境内で動いている物体又は動いていない物体を表すかどうかを判定するこすことを含むように拡張される。一例では、３次元構造を用いて第２のＡＮＮを呼び出すことには、現在の画像、３次元構造を用いてワープされた以前の画像、及びターゲット識別子を第２のＡＮＮに提供することが含まれる。一例では、ターゲット識別子は、画像のピクセルがターゲットの中心からの距離を示す画像である。一例では、ターゲット識別子には、ターゲットのサイズが含まれる。一例では、ターゲット識別子は、ターゲットに対応するピクセルのマスクである。
【0207】
図２７は、本明細書で議論する手法（例えば、方法論）のいずれか１つ又は複数を実行し得る例示的なマシン２７００のブロック図を示す。本明細書で説明する例は、マシン２７００内の論理又はいくつかの構成要素、又は機構を含み得るか、又はそれらによって動作し得る。回路（例えば、処理回路）は、ハードウェア（例えば、単純な回路、ゲート、ロジック等）を含むマシン２７００の有形エンティティに実装される回路の集まりである。回路メンバーシップは、時間の経過とともに柔軟になり得る。回路には、単独又は組み合わせて、動作時に特定の動作を実行し得るメンバーが含まれる。一例では、回路のハードウェアは、特定の動作を実行するように不変に設計することができる（例えば、ハードワイヤード）。一例では、回路のハードウェアは、特定の動作の命令を符号化するために物理的に修正された機械可読媒体（例えば、磁気的、電気的、不変質量粒子の可動配置等）を含む、可変的に接続された物理コンポーネント（例えば、実行ユニット、トランジスタ、単純な回路等）を含み得る。物理コンポーネントを接続する際に、ハードウェア構成の基本的な電気的特性が、例えば、絶縁体から導体に、又はその逆に変更される。命令により、組込みハードウェア（例えば、実行ユニット又はローディングメカニズム）が、可変接続を介してハードウェア内に回路のメンバーを作成し、動作時に特定の動作の一部を実行できる。従って、一例では、機械可読媒体要素は、回路の一部であるか、又は装置が動作しているときに回路の他の構成要素に通信可能に結合される。一例では、物理コンポーネントのいずれも、複数の回路の複数の部材で使用してもよい。例えば、動作中に、実行ユニットは、ある時点で第１の回路の第１の回路で使用され、第２の回路によって第１の回路で再利用され、又は異なる時間に第３の回路によって第２の回路で再利用され得る。マシン２７００に関するこれらの構成要素の追加の例を以下に示す。
【0208】
一例では、マシン２７００は、スタンドアロン装置として動作することができ、又は他のマシンに接続する（例えば、ネットワーク化する）ことができる。ネットワーク化された配置では、マシン２７００は、サーバクライアントネットワーク環境において、サーバマシン、クライアントマシン、又はその両方の能力で動作することができる。一例では、マシン２７００は、ピアツーピア（Ｐ２Ｐ）（又は、他の分散型）ネットワーク環境においてピアマシンとして機能することができる。マシン２７００は、パーソナルコンピュータ（ＰＣ）、タブレットＰＣ、セットトップボックス（ＳＴＢ）、携帯情報端末（ＰＤＡ）、携帯電話、ウェブアプライアンス、ネットワークルータ、スイッチ又はブリッジ、或いはそのマシンが実行する動作を指定する命令（順次又は他のもの）を実行できる任意のマシンであってもよい。さらに、単一のマシンのみが示されているが、「マシン（機械）」という用語は、本明細書で議論するクラウドコンピューティング、サービスとしてのソフトウェア（ＳａａＳ）、他のコンピュータクラスター構成等の方法論のいずれか１つ又は複数を実行する命令のセット（又は、複数のセット）を個別又は共同で実行するマシンの集まりも含むと解釈されものとする。
【0209】
マシン（例えば、コンピュータシステム）２７００は、ハードウェアプロセッサ２７０２（例えば、中央処理装置（ＣＰＵ）、グラフィック処理装置（ＧＰＵ）、ハードウェアプロセッサコア、又はこれらの任意の組合せ）、メインメモリ２７０４、スタティックメモリ（例えば、ファームウェア、マイクロコード、基本入出力（ＢＩＯＳ）、統合拡張ファームウェアインターフェイス（ＵＥＦＩ）等のメモリ又はストレージ）２７０６、及び大容量ストレージ２７０８（例えば、ハードドライブ、テープドライブ、フラッシュストレージ、又は他のブロック装置）を含み得、これらの一部又は全ては、インターリンク（例えば、バス）２７３０を介して互いに通信することができる。マシン２７００は、表示ユニット２７１０、英数字入力装置２７１２（例えば、キーボード）、及びユーザインターフェイス（ＵＩ）ナビゲーション装置２７１４（例えば、マウス）をさらに含み得る。一例では、表示ユニット２７１０、入力装置２７１２、及びＵＩナビゲーション装置２７１４は、タッチスクリーンディスプレイであり得る。マシン２７００は、ストレージ装置（例えば、ドライブユニット）２７０８、信号生成装置２７１８（例えば、スピーカー）、ネットワークインターフェイス装置２７２０、及び全地球測位システム（ＧＰＳ）センサ、コンパス、加速度計、又は他のセンサ等の１つ又は複数のセンサ２７１６をさらに含み得る。マシン２７００は、シリアル（例えば、ユニバーサルシリアルバス（ＵＳＢ）、パラレル、又は他の有線又は無線（例えば、赤外線（ＩＲ）、近距離無線通信（ＮＦＣ）等）接続等の出力コントローラ２７２８を含み、１つ又は複数の周辺装置（プリンタ、カードリーダー等）と通信する又はそれを制御することができる。
【0210】
プロセッサ２７０２、メインメモリ２７０４、スタティックメモリ２７０６、又は大容量ストレージ２７０８のレジスタは、データ構造又は命令２７２４（例えば、ソフトウェア）の１つ又は複数のセットが格納される機械可読媒体２７２２であり得るか、又はそれを含み得、媒体２７２２は、本明細書に記載された技術又は機能のいずれか１つ又は複数を具体化又は利用する。命令２７２４はまた、マシン２７００によるそれらの実行中に、プロセッサ２７０２、メインメモリ２７０４、スタティックメモリ２７０６、又は大容量ストレージ２７０８のいずれかのレジスタ内に完全に又は少なくとも部分的に常駐し得る。一例では、ハードウェアプロセッサ２７０２、メインメモリ２７０４、スタティックメモリ２７０６、又は大容量ストレージ２７０８の１つ又は任意の組合せは、機械可読媒体２７２２を構成し得る。機械可読媒体２７２２が単一の媒体として示されているが、用語「機械可読媒体」媒体」は、１つ又は複数の命令２７２４を格納するように構成された単一の媒体又は複数の媒体（例えば、集中型又は分散型データベース、及び／又は関連するキャッシュ及びサーバ）を含み得る。
【0211】
「機械可読媒体」という用語は、マシン２７００による実行のための命令を格納、符号化、又は搬送することができ、且つマシン２７００に本開示の手法の１つ又は複数を実行させる任意の媒体を含むことができる、或いはそのような命令によって使用される、又はそのような命令に関連するデータ構造を格納、符号化、又は搬送することができる任意の媒体を含むことができる。非限定的な機械可読媒体の例には、固体メモリ、光媒体、磁気媒体、及び信号（例えば、無線周波数信号、他の光子ベースの信号、音声信号等）が含まれ得る。一例では、非一時的な機械可読媒体は、不変の（例えば、静止）質量を有する複数の粒子を有する機械可読媒体を含み、こうして、組成物である。従って、非一時的な機械可読媒体は、一時的な伝播信号を含まない機械可読媒体である。非一時的な機械可読媒体の特定の例には、半導体メモリ装置（例えば、電気的にプログラム可能な読み取り専用メモリ（ＥＰＲＯＭ）、電気的に消去可能なプログラム可能な読み取り専用メモリ（ＥＥＰＲＯＭ））及びフラッシュメモリ装置等の不揮発性メモリ；内蔵ハードディスクやリムーバブルディスク等の磁気ディスク；光磁気ディスク；並びにＣＤ－ＲＯＭ及びＤＶＤ－ＲＯＭディスクが含まれ得る。
【0212】
一例では、機械可読媒体２７２２上に格納又は他の方法で提供される情報は、命令２７２４自体、又はそこから命令２７２４が導出され得るフォーマット等、命令２７２４を表すことができる。命令２７２４が導出され得るこのフォーマットには、ソースコード、符号化された命令（例えば、圧縮又は暗号化された形式）、パッケージ化された命令（例えば、複数のパッケージに分割された）等が含まれ得る。機械可読媒体２７２２内の命令２７２４を表す情報は、処理回路によって、本明細書で議論する動作のいずれかを実施するために、命令として処理され得る。例えば、情報（例えば、処理回路による処理）からの命令２７２４の導出には、コンパイル（例えば、ソースコード、オブジェクトコード等から）、解釈、ロード、整理（例えば、動的又は静的リンク）、符号化、復号化、暗号化、非暗号化、パッケージ化、非パッケージ化、又は他の方法で情報を命令２７２４に操作することが含まれ得る。
【0213】
一例では、命令２７２４の導出には、機械可読媒体２７２２によって提供されるいくつかの中間又は前処理したフォーマットから命令２７２４を作成するための（例えば、処理回路による）情報のアセンブル、コンパイル、又は解釈が含まれ得る。情報は、命令２７２４を作成するために、複数の部分で提供される場合に、結合され、アンパックされ、修正され得る。例えば、情報は、１つ又は複数のリモートサーバで複数の圧縮ソースコードパッケージ（又は、オブジェクトコード、又はバイナリ実行可能コード等）に含まれ得る。ソースコードパッケージは、ネットワーク経由で転送されるときに暗号化され、必要に応じて復号化、非圧縮、アセンブル（リンク付け等）され、ローカルマシンで（例えば、ライブラリ、スタンドアロン実行可能ファイル等に）コンパイル又は解釈され、ローカルマシンによって実行され得る。
【0214】
命令２７２４は、いくつかの転送プロトコル（例えば、フレームリレー、インターネットプロトコル（ＩＰ）、送信制御プロトコル（ＴＣＰ）、ユーザデータグラムプロトコル（ＵＤＰ）、ハイパーテキスト転送プロトコル（ＨＴＴＰ）等）のうちのいずれか１つを利用するネットワークインターフェイス装置２７２０を介した伝送媒体を用いて、通信ネットワーク２７２６を介してさらに送信又は受信され得る。例示的な通信ネットワークには、特に、ローカルエリアネットワーク（ＬＡＮ）、広域ネットワーク（ＷＡＮ）、パケットデータネットワーク（例えば、インターネット）、携帯電話ネットワーク（例えば、セルラーネットワーク）、従来型の電話（ＰＯＴＳ）ネットワーク、及びワイヤレスデータネットワーク（例えば、Institute of Electrical and Electronics Engineers（IEEE）８０２．１１ファミリの規格であるＷｉ―Ｆｉ（登録商標）、ＩＥＥＥ８０２．１６ファミリの規格であるＷｉＭａｘ（登録商標））、ＩＥＥＥ８０２．１５．４ファミリの規格、ピアツーピア（Ｐ２Ｐ）ネットワークが含まれ得る。一例では、ネットワークインターフェイス装置２７２０は、通信ネットワーク２７２６に接続するための１つ又は複数の物理ジャック（例えば、イーサネット、同軸、又は電話ジャック）、或いは１つ又は複数のアンテナを含むことができる。一例では、ネットワークインターフェイス装置２７２０は、単一入力複数出力（ＳＩＭＯ）、複数入力複数出力（ＭＩＭＯ）、又は複数入力単一出力（ＭＩＳＯ）技術のうちの少なくとも１つを用いて無線通信するための複数のアンテナを含み得る。「伝送媒体」という用語は、マシン２７００による実行のための命令を格納、符号化、又は搬送することができ、そのようなソフトウェアの通信を容易にするためのデジタル又はアナログ通信信号又は他の無形媒体を含む無形媒体を含むと解釈されるものとする。伝送媒体は機械可読媒体である。
【0215】
図２８は、ハードウェアコンポーネントとソフトウェアコンポーネントとの間の様々なインターフェイスが示されているコンピュータ装置の例示的なハードウェア及びソフトウェアアーキテクチャを示す図である。ＨＷで示されるように、ハードウェアコンポーネントは分割線の下に表示されるが、ＳＷで示されるソフトウェアコンポーネントは分割線の上にある。ハードウェア側では、処理装置２８０２（１つ又は複数のマイクロプロセッサ、デジタル信号プロセッサ等を含み得、それぞれが１つ又は複数のプロセッサコアを有する）は、メモリ管理装置２８０４及びシステム相互接続２８０６とインターフェイスする。メモリ管理装置２８０４は、実行されているプロセスによって使用される仮想メモリと物理メモリとの間のマッピングを提供する。メモリ管理装置２８０４は、処理装置２８０２も含み得る中央処理装置の一体部分とすることができる。
【0216】
相互接続２８０６は、メモリ、データ、及び制御線等のバックプレーン、並びに入出力装置とのインターフェイス、例えば、ＰＣＩ、ＵＳＢ等を含む。メモリ２８０８（例えば、ダイナミックランダムアクセスメモリ：ＤＲＡＭ）と、フラッシュメモリ（例えば、電気的に消去可能な読み取り専用メモリ：ＥＥＰＲＯＭ、ＮＡＮＤフラッシュ、ＮＯＲフラッシュ等）等の不揮発性メモリ２８０９とが、メモリコントローラ２８１０を介してメモリ管理装置２８０４及び相互接続２８０６とインターフェイス接続される。一例では、このアーキテクチャは、周辺装置によるダイレクトメモリアクセス（ＤＭＡ）をサポートし得る。ビデオ及びオーディオアダプタ、不揮発性ストレージ、ＵＳＢ、Ｂｌｕｅｔｏｏｔｈ（登録商標）等の外部周辺機器リンクを含むＩ／Ｏ装置と、Ｗｉ―Ｆｉ（登録商標）又はＬＴＥEファミリーインターフェイスを介して通信する装置等のネットワークインターフェイス装置とが、集合的にＩ／Ｏ装置及びネットワーキング２８１２として表され、対応するＩ／Ｏコントローラ２８１４を介して相互接続２８０６とインターフェイス接続する。
【0217】
ソフトウェア側では、プレオペレーティングシステム（プレＯＳ）環境２８１６は、初期オペレーティングシステムの起動時に実行され、オペレーティングシステムのブートアップの開始を担う。プレＯＳ環境２８１６の１つの伝統的な例は、システムの基本入出力システム（ＢＩＯＳ）である。現在のシステムでは、統合拡張ファームウェアインターフェイス（ＵＥＦＩ）が実装される。プレＯＳ環境２８１６は、オペレーティングシステムの起動の開始を担うが、本発明の特定の態様による組込みアプリケーションのための実行環境も提供する。
【0218】
オペレーティングシステム（ＯＳ）２８１８は、ハードウェア装置を制御し、メモリ内のプログラムのメモリアクセスを管理し、タスクを調整し、マルチタスクを容易にし、格納されるデータを整理し、メモリ空間及び他のリソースを割り当て、プログラムバイナリコードをメモリにロードし、アプリケーションプログラムの実行を開始してユーザ及びハードウェア装置と対話し、規定された様々な割り込みを検出して応答するカーネルを提供する。また、オペレーティングシステム２８１８は、装置ドライバ、及び周辺装置やネットワークとのインターフェイスを容易にする様々な一般的なサービスを提供し、アプリケーションプログラムに抽象化を提供して、アプリケーションがそのような一般的な操作の詳細を処理する必要がないようにする。オペレーティングシステム２８１８は、モニター、キーボード、マウス、マイク、ビデオカメラ、タッチスクリーン等の周辺装置を介してユーザとの対話を容易にするグラフィカルユーザインターフェイス（ＧＵＩ）をさらに提供する。
【0219】
ランタイムシステム２８２０は、関数呼び出しの前にスタックにパラメータを置くこと、ディスク入出力（Ｉ／Ｏ）の行動、及び並列実行関連の行動等の操作を含む、実行モデルの一部を実装する。ランタイムシステム２８２０はまた、タイプチェック、デバッグ、又はコード生成及び最適化等のサポートサービスを実行し得る。
【0220】
ライブラリ２８２２は、アプリケーションプログラムに更なる抽象化を提供するプログラム機能のコレクションを含む。これらのコレクションには、例えば、共有ライブラリ、ダイナミックリンクライブラリ（ＤＬＬ）が含まれる。ライブラリ２８２２は、オペレーティングシステム２８１８、ランタイムシステム２８２０に統合することができ、又は追加機能、又はリモートでホストすることさえできる。ライブラリ２８２２は、アプリケーションプログラムインターフェイス（ＡＰＩ）を規定し、このＡＰＩを介して、アプリケーションプログラム２８２４が様々な関数呼び出しを行って、オペレーティングシステム２８１８が提供するサービスを呼び出すことができる。アプリケーションプログラム２８２４は、コンピュータ装置自体の基本的な操作性を調整する下位レベルのシステムプログラムによって実行されるタスクを超えて、ユーザに有用なタスクを実行するプログラムである。
【0221】
図２９は、一実施形態による処理装置２９０２を示すブロック図である。一例では、図示された２つ以上の処理装置２９０２は、共通の半導体基板上に形成される。ＣＰＵ２９４０は１つ又は複数の処理コア２９４２を含むことができ、そのそれぞれに、プロセッサの特定のアーキテクチャに従って、１つ又は複数の算術論理演算ユニット（ＡＬＵ）、命令フェッチユニット、命令デコードユニット、制御ユニット、レジスタ、データスタックポインタ、プログラムカウンタ、及び他の必須コンポーネントがある。例示的な例として、ＣＰＵ２９４０は、ｘ８６タイプのプロセッサであり得る。処理装置２９０２は、グラフィック処理装置（ＧＰＵ）２９４４も含み得る。一例では、ＧＰＵ２９４４は、特定の計算集約型演算、特にグラフィックレンダリングに関連するものをＣＰＵ２９４０からオフロードする特殊なコプロセッサであり得る。特に、ＣＰＵ２９４０及びＧＰＵ２９４４は、一般的に協調して動作し、メモリリソース、Ｉ／Ｏチャネル等へのアクセスを共有する。
【0222】
一例では、処理装置２９０２は、管理人（caretaker）プロセッサ２９４６も含むことができる。管理人プロセッサ２９４６は、通常、ＣＰＵ２９４０及びＧＰＵ２９４４が行うようなソフトウェアコードを実行するための処理作業には参加しない。一例では、管理人プロセッサ２９４６は、ＣＰＵ２９４０及びＧＰＵ２９４４とメモリ空間を共有せず、従って、オペレーティングシステム又はアプリケーションプログラムを実行するように構成されていない。代わりに、管理人プロセッサ２９４６は、ＣＰＵ２９４０、ＧＰＵ２９４４、及びコンピュータシステムの他の構成要素の技術的動作をサポートする専用ファームウェアを実行することができる。一例では、管理人プロセッサは、マイクロコントローラ装置として実装され、ＣＰＵ２９４０と同じ集積回路ダイ上に物理的に存在してもよく、又は別個の集積回路ダイ上に存在してもよい。管理人プロセッサ２９４６はまた、外部エンティティと通信することを可能にするための専用のＩ／Ｏ設備のセットを含み得る。１つのタイプの実施形態では、管理人プロセッサ２９４６は、管理エンジン（ＭＥ）又はプラットフォームセキュリティプロセッサ（ＰＳＰ）を用いて実装される。入力／出力（Ｉ／Ｏ）コントローラ２９４８は、様々な処理装置２９４０、２９４４、２９４６の間の情報フローを調整するとともに、システム相互接続等の外部回路との情報フローを調整する。
【0223】
図３０は、一実施形態によるＣＰＵ３０４０の例示的な構成要素を示すブロック図である。図示されるように、ＣＰＵ３０４０は、１つ又は複数のコア３０５２、キャッシュ３０５４、及びＣＰＵコントローラ３０５６を含み、ＣＰＵコントローラ３０５６は、コア３０５２の相互利用及びタスクを調整するとともに、ＣＰＵ３０４０の様々な内部コンポーネント同士の間のデータフロー及びメモリバスやシステム相互接続等の外部構成要素とのデータフローを容易にするインターフェイスを提供する。一実施形態では、ＣＰＵ３０４０の例示的なコンポーネントの全ては、共通の半導体基板上に形成される。
【0224】
ＣＰＵ３０４０は、初期化エンジン及びマイクロコード等の基本コードの特定の部分を格納するための不揮発性メモリ３０５８（例えば、フラッシュ、ＥＥＰＲＯＭ等）を含む。また、ＣＰＵ３０４０は、システムＢＩＯＳ又はＵＥＦＩコード等の、初期化エンジンによって起動される基本コードを格納する外部（例えば、別個のＩＣ上に形成される）不揮発性メモリ装置３０６０とインターフェイス接続され得る。
【0225】
他の注意事項及び例
例１は、路面をモデル化するための装置であり、この装置は、路面を表す時間順に並べられた画像シーケンスを得るためのハードウェアセンサ・インターフェイスであって、画像シーケンスのうちの１つの画像が現在の画像である、ハードウェアセンサ・インターフェイスと；処理回路と；を含み、処理回路は、データセットを人工ニューラル・ネットワーク（ＡＮＮ）に提供して、シーンの３次元構造を生成することであって、データセットには、現在の画像を含む画像シーケンスの一部、センサの動き、及びエピポールが含まれる、生成すること；及びシーンの３次元構造を用いて路面をモデル化すること；を行う。
例１は、路面をモデル化するための装置であり、この装置は、路面を表す時間順に並べられた画像シーケンスを得るためのハードウェアセンサ・インターフェイスであって、画像シーケンスのうちの１つの画像が現在の画像である、ハードウェアセンサ・インターフェイスと；処理回路と；を含み、処理回路は、データセットを人工ニューラル・ネットワーク（ＡＮＮ）に提供して、シーンの３次元構造を生成することであって、データセットには、現在の画像を含む画像シーケンスの一部、センサの動き、及びエピポールが含まれる、生成すること；及びシーンの３次元構造を用いて路面をモデル化すること；を行う。
【0226】
例２は、例１の主題を含み、画像シーケンスの一部には、現在の画像の直前の画像が含まれる。
【0227】
例３は、例２の主題を含み、画像シーケンスの一部は合計３つの画像である。
【0228】
例４は、例１～３の主題を含み、画像シーケンスの一部には、画像シーケンス内の１つ又は複数の画像によって分離される現在の画像に先行する画像が含まれる。
【0229】
例５は、例１～４の主題を含み、エピポールは、現在の画像と同じ次元を有するグラデーション画像として提供され、グラデーション画像内のピクセルの値が、現在の画像内のピクセルのエピポールからの距離を表す。
【0230】
例６は、例５の主題を含み、ベースラインが少なくとも０．５ｍである。
【0231】
例７は、例５～６の主題を含み、グラデーション画像は、現在の画像よりも低い解像度である。
【0232】
例８は、例５～７の主題を含み、グラデーション画像は、エピポールからの水平距離のみを表し、第２のグラデーション画像が、エピポールからの垂直距離を表すためにＡＮＮに提供される。
【0233】
例９は、例１～８の主題を含み、センサの動きは、現在の画像と同じ次元を有する一定値の画像として提供される。
【0234】
例１０は、例９の主題を含み、一定値は、センサの前進運動を平面からのセンサの高さで割った比である。
【0235】
例１１は、例１～１０の主題を含み、シーンの３次元構造はガンマ画像であり、ガンマ画像は、平面の上のポイントの高さを現在の画像を取り込むセンサからの距離で割った比であるガンマ値を有するピクセルを含み、その平面は路面を表す。
【0236】
例１２は、例１～１１の主題を含み、路面をモデル化するために、処理回路は、シーンの３次元構造を第２のＡＮＮからの出力と比較することによって反射領域を特定し、第２のＡＮＮは、画像シーケンスの一部を受け入れ、第２の３次元構造を生成するようにトレーニングされ、第２のＡＮＮのトレーニングでは、画像シーケンスの一部で第１のＡＮＮのトレーニングよりもより多くの写真測量的損失が使用される。
【0237】
例１３は、例１２の主題を含み、ＡＮＮ及び第２のＡＮＮは、２つのチャネル出力を生成するようにトレーニングされた単一のＡＮＮとして実装され、第１のチャネルはシーンの３次元構造であり、第２のチャネルは、第２のＡＮＮによって生成された、トレーニングでより多くの写真測量的損失を使用した３次元構造である。
【0238】
例１４は、例１～１３の主題を含み、処理回路は、３次元構造を用いて第２のＡＮＮを呼び出して、特徴が、路面の環境内で動いている物体又は動いていない物体を表すかどうかを判定するように構成される。
【0239】
例１５は、例１４の主題を含み、３次元構造を用いて第２のＡＮＮを呼び出すために、処理回路は、現在の画像、３次元構造を用いてワープされた以前の画像、及びターゲット識別子を第２のＡＮＮに提供する。
【0240】
例１６は、例１５の主題を含み、ターゲット識別子は、画像のピクセルがターゲットの中心からの距離を示す画像である。
【0241】
例１７は、例１５～１６の主題を含み、ターゲット識別子には、ターゲットのサイズが含まれる。
【0242】
例１８は、例１５～１７の主題を含み、ターゲット識別子は、ターゲットに対応するピクセルのマスクである。
【0243】
例１９は、例１～１８の主題を含み、路面をモデル化するために、処理回路は、路面特徴の平面からの垂直偏差を計算する。
【0244】
例２０は、例１～１９の主題を含み、ＡＮＮは、畳み込みニューラル・ネットワーク（ＣＮＮ）である。
【0245】
例２１は、例２０の主題を含み、センサの動き及びエピポールは、ボトルネック層でＣＮＮに提供される。
【0246】
例２２は、例１～２１の主題を含み、ＡＮＮは、教師なしのトレーニング手法でトレーニングされ、この手法では、エラーが、未来の画像のモデルと未来の画像との間の差を測定することによって決定され、未来の画像のモデルは、未来の画像より前の画像のガンマ・ワーピングによって生成される。
【0247】
例２３は、例１～２２の主題を含み、ＡＮＮは、教師なしのトレーニング手法でトレーニングされ、この手法では、エラーが、ある位置の予測ガンマとその位置でのセンサの動きとの間の差を測定することによって決定され、センサの動きには、ピッチ、ヨー、ロール、又は平面に垂直な並進が含まれる。
【0248】
例２４は、例１～２３の主題を含み、ＡＮＮは、教師なしのトレーニング手法でトレーニングされ、この手法では、エラーが、２つの異なる時間における２つの画像の間の重複するセグメントのガンマの差によって決定され、推定は第１の画像に対して実行され、重複するセグメントは第２の画像においてセンサに近くなる。
【0249】
例２５は、路面をモデル化する方法であり、この方法は、路面を表す時間順に並べられた画像シーケンスを取得するステップであって、画像シーケンスのうちの１つの画像が現在の画像である、取得するステップと；データセットを人工ニューラル・ネットワーク（ＡＮＮ）に提供して、シーンの３次元構造を生成するステップであって、データセットには、現在の画像を含む画像シーケンスの一部、センサの動き、及びエピポールが含まれる、生成するステップと；シーンの３次元構造を用いて路面をモデル化するステップと；を含む。
【0250】
例２６は、例２５の主題を含み、画像シーケンスの一部には、現在の画像の直前の画像が含まれる。
【0251】
例２７は、例２６の主題を含み、画像シーケンスの一部は、合計３つの画像である。
【0252】
例２８は、例２５～２７の主題を含み、画像シーケンスの一部には、画像シーケンス内の１つ又は複数の画像によって分離される現在の画像に先行する画像が含まれる。
【0253】
例２９は、例２５～２８の主題を含み、エピポールは、現在の画像と同じ次元を有するグラデーション画像として提供され、グラデーション画像内のピクセルの値が、現在の画像内のピクセルのエピポールからの距離を表す。
【0254】
例３０は、例２９の主題を含み、ベースラインが少なくとも０．５ｍである。
【0255】
例３１は、例２９～３０の主題を含み、グラデーション画像は、現在の画像よりも低い解像度である。
【0256】
例３２は、例２９～３１の主題を含み、グラデーション画像は、エピポールからの水平距離のみを表し、第２のグラデーション画像が、エピポールからの垂直距離を表すためにＡＮＮに提供される。
【0257】
例３３は、例２５～３２の主題を含み、センサの動きは、現在の画像と同じ次元を有する一定値の画像として提供される。
【0258】
例３４は、例３３の主題を含み、一定値は、センサの前進運動を平面からのセンサの高さで割った比である。
【0259】
例３５は、例２５～３４の主題を含み、シーンの３次元構造はガンマ画像であり、ガンマ画像は、平面の上のポイントの高さを現在の画像を取り込むセンサからの距離で割った比であるガンマ値を有するピクセルを含み、その平面は路面を表す。
【0260】
例３６は、例２５～３５の主題を含み、路面をモデル化するステップは、シーンの３次元構造を第２のＡＮＮからの出力と比較することによって反射領域を特定するステップを含み、第２のＡＮＮは、画像シーケンスの一部を受け入れ、第２の３次元構造を生成するようにトレーニングされ、第２のＡＮＮのトレーニングでは、画像シーケンスの一部で第１のＡＮＮのトレーニングよりもより多くの写真測量的損失が使用される。
【0261】
例３７は、例３６の主題を含み、ＡＮＮ及び第２のＡＮＮは、２つのチャネル出力を生成するようにトレーニングされた単一のＡＮＮとして実装され、第１のチャネルはシーンの３次元構造であり、第２のチャネルは、第２のＡＮＮによって生成された、トレーニングでより多くの写真測量的損失を使用した３次元構造である。
【0262】
例３８は、例２５～３７の主題を含み、３次元構造を用いて第２のＡＮＮを呼び出して、特徴が、路面の環境内で動いている物体又は動いていない物体を表すかどうかを判定するステップを含む。
【0263】
例３９は、例３８の主題を含み、３次元構造を用いて第２のＡＮＮを呼び出すステップは、現在の画像、３次元構造を用いてワープされた以前の画像、及びターゲット識別子を第２のＡＮＮに以下を提供するステップを含む。
【0264】
例４０は、例３９の主題を含み、ターゲット識別子は、画像のピクセルがターゲットの中心からの距離を示す画像である。
【0265】
例４１は、例３９～４０の主題を含み、ターゲット識別子には、ターゲットのサイズが含まれる。
【0266】
例４２は、例３９～４１の主題を含み、ターゲット識別子は、ターゲットに対応するピクセルのマスクである。
【0267】
例４３は、例２５～４２の主題を含み、路面をモデル化するステップは、路面特徴の平面からの垂直偏差を計算するステップを含む。
【0268】
例４４は、例２５～４３の主題を含み、ＡＮＮは、畳み込みニューラル・ネットワーク（ＣＮＮ）である。
【0269】
例４５は、例４４の主題を含み、センサの動き及びエピポールは、ボトルネック層でＣＮＮに提供される。
【0270】
例４６は、例２５～４５の主題を含み、ＡＮＮは、教師なしのトレーニング手法でトレーニングされ、この手法では、エラーが、未来の画像のモデルと未来の画像との間の差を測定することによって決定され、未来の画像のモデルは、未来の画像より前の画像のガンマ・ワーピングによって生成される。
【0271】
例４７は、例２５～４６の主題を含み、ＡＮＮは、教師なしのトレーニング手法でトレーニングされ、この手法では、エラーが、ある位置の予測ガンマとその位置でのセンサの動きとの間の差を測定することによって決定され、センサの動きには、ピッチ、ヨー、ロール、又は平面に垂直な並進が含まれる。
【0272】
例４８は、例２５～４７の主題を含み、ＡＮＮは、教師なしのトレーニング手法でトレーニングされ、この手法では、エラーが、２つの異なる時間における２つの画像の間の重複するセグメントのガンマの差によって決定され、推定は第１の画像に対して実行され、重複するセグメントは第２の画像においてセンサに近くなる。
【0273】
例４９は、路面をモデル化するための命令を含む少なくとも１つの機械可読媒体であり、命令が、処理回路によって実行されると、処理回路に、路面を表す時間順に並べられた画像シーケンスを取得することであって、画像シーケンスのうちの１つの画像が現在の画像である、取得することと；データセットを人工ニューラル・ネットワーク（ＡＮＮ）に提供して、シーンの３次元構造を生成することであって、データセットには、現在の画像を含む画像シーケンスの一部、センサの動き、及びエピポールが含まれる、生成することと；シーンの３次元構造を用いて路面をモデル化することと；を含む動作を実行させる。
【0274】
例５０は、例４９の主題を含み、画像シーケンスの一部には、現在の画像の直前の画像が含まれる。
【0275】
例５１は、例５０の主題を含み、画像シーケンスの一部は、合計３つの画像である。
【0276】
例５２は、例４９～５１の主題を含み、画像シーケンスの一部には、画像シーケンス内の１つ又は複数の画像によって分離される現在の画像に先行する画像が含まれる。
【0277】
例５３は、例４９～５２の主題を含み、エピポールは、現在の画像と同じ次元を有するグラデーション画像として提供され、グラデーション画像内のピクセルの値が、現在の画像内のピクセルのエピポールからの距離を表す。
【0278】
例５４は、例５３の主題を含み、ベースラインが少なくとも０．５ｍである。
【0279】
例５５は、例５３～５４の主題を含み、グラデーション画像は、現在の画像よりも低い解像度である。
【0280】
例５６は、例５３～５５の主題を含み、グラデーション画像は、エピポールからの水平距離のみを表し、第２のグラデーション画像が、エピポールからの垂直距離を表すためにＡＮＮに提供される。
【0281】
例５７は、例４９～５６の主題を含み、センサの動きは、現在の画像と同じ次元を有する一定値の画像として提供される。
【0282】
例５８は、例５７の主題を含み、一定値は、センサの前進運動を平面からのセンサの高さで割った比である。
【0283】
例５９は、例４９～５８の主題を含み、シーンの３次元構造はガンマ画像であり、ガンマ画像は、平面の上のポイントの高さを現在の画像を取り込むセンサからの距離で割った比であるガンマ値を有するピクセルを含み、その平面は路面を表す。
【0284】
例６０は、例４９～５９の主題を含み、路面をモデル化することは、シーンの３次元構造を第２のＡＮＮからの出力と比較することによって反射領域を特定することを含み、第２のＡＮＮは、画像シーケンスの一部を受け入れ、第２の３次元構造を生成するようにトレーニングされ、第２のＡＮＮのトレーニングでは、画像シーケンスの一部で第１のＡＮＮのトレーニングよりもより多くの写真測量的損失が使用される。
【0285】
例６１は、例６０の主題を含み、ＡＮＮ及び第２のＡＮＮは、２つのチャネル出力を生成するようにトレーニングされた単一のＡＮＮとして実装され、第１のチャネルはシーンの３次元構造であり、第２のチャネルは、第２のＡＮＮによって生成された、トレーニングでより多くの写真測量的損失を使用した３次元構造である。
【0286】
例６２は、例４９～６１の主題を含み、動作には、３次元構造を用いて第２のＡＮＮを呼び出して、特徴が、路面の環境内で動いている物体又は動いていない物体を表すかどうかを判定することが含まれる。
【0287】
例６３は、例６２の主題を含み、３次元構造を用いて第２のＡＮＮを呼び出すことは、現在の画像、３次元構造を用いてワープされた以前の画像、及びターゲット識別子を第２のＡＮＮに提供することを含む。
【0288】
例６４は、例６３の主題を含み、ターゲット識別子は、画像のピクセルがターゲットの中心からの距離を示す画像である。
【0289】
例６５は、例６３～６４の主題を含み、ターゲット識別子には、ターゲットのサイズが含まれる。
【0290】
例６６は、例６３～６５の主題を含み、ターゲット識別子は、ターゲットに対応するピクセルのマスクである。
【0291】
例６７は、例４９～６６の主題を含み、路面をモデル化することは、路面特徴の平面からの垂直偏差を計算することを含む。
【0292】
例６８は、例４９～６７の主題を含み、ＡＮＮは、畳み込みニューラル・ネットワーク（ＣＮＮ）である。
【0293】
例６９は、例６８の主題を含み、センサの動き及びエピポールは、ボトルネック層でＣＮＮに提供される。
【0294】
例７０は、例４９～６９の主題を含み、ＡＮＮは、教師なしのトレーニング手法でトレーニングされ、この手法では、エラーが、未来の画像のモデルと未来の画像との間の差を測定することによって決定され、未来の画像のモデルは、未来の画像より前の画像のガンマ・ワーピングによって生成される。
【0295】
例７１は、例４９～７０の主題を含み、ＡＮＮは、教師なしのトレーニング手法でトレーニングされ、この手法では、エラーが、ある位置の予測ガンマとその位置でのセンサの動きとの間の差を測定することによって決定され、センサの動きには、ピッチ、ヨー、ロール、又は平面に垂直な並進が含まれる。
【0296】
例７２は、例４９～７１の主題を含み、ＡＮＮは、教師なしのトレーニング手法でトレーニングされ、この手法では、エラーが、２つの異なる時間における２つの画像の間の重複するセグメントのガンマの差によって決定され、推定は第１の画像に対して実行され、重複するセグメントは第２の画像においてセンサに近くなる。
【0297】
例７３は、路面をモデル化するためのシステムであり、このシステムは、路面を表す時間順に並べられた画像シーケンスを取得するための手段であって、画像シーケンスうちの１つの画像が現在の画像である、取得するための手段と；データセットを人工ニューラル・ネットワーク（ＡＮＮ）に提供して、シーンの３次元構造を生成するための手段であって、データセットには、現在の画像を含む画像シーケンスの一部、センサの動き、及びエピポールが含まれる、生成するための手段と；シーンの３次元構造を用いて路面をモデル化する手段と；を含む。
【0298】
例７４は、例７３の主題を含み、画像シーケンスの一部には、現在の画像の直前の画像が含まれる。
【0299】
例７５は、例７４の主題を含み、画像シーケンスの一部は、合計３つの画像である。
【0300】
例７６は、例７３～７５の主題を含み、画像シーケンスの一部には、画像シーケンス内の１つ又は複数の画像によって分離される現在の画像に先行する画像が含まれる。
【0301】
例７７は、例７３～７６の主題を含み、エピポールは、現在の画像と同じ次元を有するグラデーション画像として提供され、グラデーション画像内のピクセルの値が、現在の画像内のピクセルのエピポールからの距離を表す。
【0302】
例７８は、例７７の主題を含み、ベースラインが少なくとも０．５ｍである。
【0303】
例７９は、例７７～７８の主題を含み、グラデーション画像は、現在の画像よりも低い解像度である。
【0304】
例８０は、例７７～７９の主題を含み、グラデーション画像は、エピポールからの水平距離のみを表し、第２のグラデーション画像が、エピポールからの垂直距離を表すためにＡＮＮに提供される。
【0305】
例８１は、例７３～８０の主題を含み、センサの動きは、現在の画像と同じ次元を有する一定値の画像として提供される。
【0306】
例８２は、例８１の主題を含み、一定値は、センサの前進運動を平面からのセンサの高さで割った比である。
【0307】
例８３は、例７３～８２の主題を含み、シーンの３次元構造はガンマ画像であり、ガンマ画像は、平面の上のポイントの高さを現在の画像を取り込むセンサからの距離で割った比であるガンマ値を有するピクセルを含み、その平面は路面を表す。
【0308】
例８４は、例７３～８３の主題を含み、路面をモデル化するための手段は、シーンの３次元構造を第２のＡＮＮからの出力と比較することによって反射領域を特定するための手段を含み、第２のＡＮＮは、画像シーケンスの一部を受け入れ、第２の３次元構造を生成するようにトレーニングされ、第２のＡＮＮのトレーニングでは、画像シーケンスの一部で第１のＡＮＮのトレーニングよりもより多くの写真測量的損失が使用される。
【0309】
例８５は、例８４の主題を含み、ＡＮＮ及び第２のＡＮＮは、２つのチャネル出力を生成するようにトレーニングされた単一のＡＮＮとして実装され、第１のチャネルはシーンの３次元構造であり、第２のチャネルは、第２のＡＮＮによって生成された、トレーニングでより多くの写真測量的損失を使用した３次元構造である。
【0310】
例８６は、例７３～８５の主題を含み、３次元構造を用いて第２のＡＮＮを呼び出して、特徴が、路面の環境内で動いている物体又は動いていない物体を表すかどうかを判定するための手段を含む。
【0311】
例８７は、例８６の主題を含み、３次元構造を用いて第２のＡＮＮを呼び出すための手段は、現在の画像、３次元構造を用いてワープされた以前の画像、及びターゲット識別子を第２のＡＮＮに提供するための手段を含む。
【0312】
例８８は、例８７の主題を含み、ターゲット識別子は、画像のピクセルがターゲットの中心からの距離を示す画像である。
【0313】
例８９は、例８７～８８の主題を含み、ターゲット識別子には、ターゲットのサイズが含まれる。
【0314】
例９０は、例８７～８９の主題を含み、ターゲット識別子は、ターゲットに対応するピクセルのマスクである。
【0315】
例９１は、例７３～９０の主題を含み、路面をモデル化するための手段は、路面特徴の平面からの垂直偏差を計算するための手段を含む。
【0316】
例９２は、例７３～９１の主題を含み、ＡＮＮは、畳み込みニューラル・ネットワーク（ＣＮＮ）である。
【0317】
例９３は、例９２の主題を含み、センサの動き及びエピポールは、ボトルネック層でＣＮＮに提供される。
【0318】
例９４は、例７３～９３の主題を含み、ＡＮＮは、教師なしのトレーニング手法でトレーニングされ、この手法では、エラーが、未来の画像のモデルと未来の画像との間の差を測定することによって決定され、未来の画像のモデルは、未来の画像より前の画像のガンマ・ワーピングによって生成される。
【0319】
例９５は、例７３～９４の主題を含み、ＡＮＮは、教師なしのトレーニング手法でトレーニングされ、この手法では、エラーが、ある位置の予測ガンマとその位置でのセンサの動きとの間の差を測定することによって決定され、センサの動きには、ピッチ、ヨー、ロール、又は平面に垂直な並進が含まれる。
【0320】
例９６は、例７３～９５の主題を含み、ＡＮＮは、教師なしのトレーニング手法でトレーニングされ、この手法では、エラーが、２つの異なる時間における２つの画像の間の重複するセグメントのガンマの差によって決定され、推定は第１の画像に対して実行され、重複するセグメントは第２の画像においてセンサに近くなる。
【0321】
例９７は、路面をモデル化するための方法であり、この方法は、表面を表す時間順に並べられた画像シーケンスを取得するステップであって、画像シーケンスうちの１つの画像が現在の画像である、取得するステップと；データセットを第１の人工ニューラル・ネットワーク（ＡＮＮ）に提供して、シーンの３次元構造の第１の出力を生成するステップであって、データセットには、現在の画像シーケンスを含む画像シーケンスの一部、センサの動き、及びエピポールが含まれる、生成するステップと；データセットを第２のＡＮＮに提供して、シーンの写真測量的損失の第２の出力を生成するステップと；第１の出力を第２の出力と比較して、表面の特徴を決定するステップと；を含む。
【0322】
例９８は、例９７の主題を含み、第１の出力はシーンの３次元構造であり、第２の出力はシーンの写真測量的損失に基づく３次元構造である。
【0323】
例９９は、例９８の主題を含み、第１の出力はガンママップである。
【0324】
例１００は、例９９の主題を含み、第１の出力を第２の出力と比較するステップは、第２の出力における穴を第１の出力における一定のガンマの連続領域と位置合わせするステップを含む。
【0325】
例１０１は、例９７～１００の主題を含み、第１のＡＮＮ及び第２のＡＮＮは、損失のタイプの間の重み付けが異なり、且つ同じタイプの損失を使用する損失関数を用いてトレーニングされる。
【0326】
例１０２は、例１０１の主題を含み、損失のタイプは、測光損失、幾何学的損失、センサ動き損失、又は未来の画像損失のうちの少なくとも１つを含む。
【0327】
例１０３は、例９７～１０２の主題を含み、第１のＡＮＮ及び第２のＡＮＮは、２つのチャネル出力を生成するようにトレーニングされた単一のＡＮＮとして実装され、第１のチャネルが第１の出力であり、第２のチャネルが第２の出力である。
【0328】
例１０４は、例９７～１０３の主題を含み、第１のＡＮＮ及び第２のＡＮＮは、ボトルネックまで単一のＡＮＮを共有し、その後に分岐するように実装される。
【0329】
例１０５は、路面をモデル化するための命令を含む少なくとも１つの機械可読媒体であり、命令が、処理回路によって実行されると、処理回路に、表面を表す時間順に並べられた画像シーケンスを取得することであって、画像シーケンスのうちの１つの画像が現在の画像である、取得することと；データセットを第１の人工ニューラル・ネットワーク（ＡＮＮ）に提供して、シーンの３次元構造の第１の出力を生成することであって、データセットには、現在の画像シーケンスを含む画像シーケンスの一部、センサの動き、及びエピポールが含まれる、生成することと；データセットを第２のＡＮＮに提供して、シーンの写真測量的損失の第２の出力を生成することと；第１の出力を第２の出力と比較して、表面の特徴を決定することと；を含む動作を実行させる。
【0330】
例１０６は、例１０５の主題を含み、第１の出力はシーンの３次元構造であり、第２の出力はシーンの写真測量的損失に基づく３次元構造である。
【0331】
例１０７は、例１０６の主題を含み、第１の出力はガンママップである。
【0332】
例１０８は、例１０７の主題を含み、第１の出力を第２の出力と比較することは、第２の出力における穴を第１の出力における一定のガンマの連続領域と位置合わせすることを含む。
【0333】
例１０９は、例１０５～１０８の主題を含み、第１のＡＮＮ及び第２のＡＮＮは、損失のタイプの間の重み付けが異なり、且つ同じタイプの損失を使用する損失関数を用いてトレーニングされる。
【0334】
例１１０は、例１０９の主題を含み、損失のタイプは、測光損失、幾何学的損失、センサ動き損失、又は未来の画像損失のうちの少なくとも１つを含む。
【0335】
例１１１は、例１０５～１１０の主題を含み、第１のＡＮＮ及び第２のＡＮＮは、２つのチャネル出力を生成するようにトレーニングされた単一のＡＮＮとして実装され、第１のチャネルが第１の出力であり、第２のチャネルが第２の出力である。
【0336】
例１１２は、例１０５～１１１の主題を含み、第１のＡＮＮ及び第２のＡＮＮは、ボトルネックまで単一のＡＮＮを共有し、その後に分岐するように実装される。
【0337】
例１１３は、路面をモデル化するための装置であり、この装置は、表面を表す時間順に並べられた画像シーケンスを得るための画像取込み装置であって、画像シーケンスうちの１つの画像が現在の画像である、画像取込み装置と；処理回路と；を有しており、処理回路は、データセットを第１の人工ニューラル・ネットワーク（ＡＮＮ）に提供して、シーンの３次元構造の第１の出力を生成することであって、データセットには、現在の画像を含む画像シーケンスの一部、センサの動き、及びエピポールが含まれる、生成することと；データセットを第２のＡＮＮに提供して、シーンの写真測量的損失の第２の出力を生成することと；第１の出力を第２の出力と比較して、表面の特徴を決定することと；を行う。
【0338】
例１１４は、例１１３の主題を含み、第１の出力はシーンの３次元構造であり、第２の出力はシーンの写真測量的損失に基づく３次元構造である。
【0339】
例１１５は、例１１４の主題を含み、第１の出力はガンママップである。
【0340】
例１１６は、例１１５の主題を含み、第１の出力を第２の出力と比較することは、第２の出力における穴を第１の出力における一定のガンマの隣接領域と位置合わせすることを含む。
【0341】
例１１７は、例１１３～１１６の主題を含み、第１のＡＮＮ及び第２のＡＮＮは、損失のタイプの間の重み付けが異なり、且つ同じタイプの損失を使用する損失関数を用いてトレーニングされる。
【0342】
例１１８は、例１１７の主題を含み、損失のタイプは、測光損失、幾何学的損失、センサ動き損失、又は未来の画像損失のうちの少なくとも１つを含む。
【0343】
例１１９は、例１１３～１１８の主題を含み、第１のＡＮＮ及び第２のＡＮＮは、２つのチャネル出力を生成するようにトレーニングされた単一のＡＮＮとして実装され、第１のチャネルが第１の出力であり、第２のチャネルが第２の出力である。
【0344】
例１２０は、例１１３～１１９の主題を含み、第１のＡＮＮ及び第２のＡＮＮは、ボトルネックまで単一のＡＮＮを共有し、その後に分岐するように実装される。
【0345】
例１２１は、車両のための自律型ナビゲーションシステムであり、このシステムは、ユーザ車両の近くの領域の複数の画像を取得するように構成された少なくとも１つの画像取込み装置と；データインターフェイスと；少なくとも１つの処理装置と；を含み、少なくとも1つの処理装置は、データインターフェイスを介して複数の画像を受け取り、複数の画像から、車両の進路上の水たまりの存在を判定するように構成される。
【0346】
例１２２は、例１２１の主題を含み、少なくとも１つの処理装置は、複数の画像から、ターゲットが水たまりを通過する車両の水の飛び跳ねゾーン内に位置するかどうかを判定し、車両の新しい水の飛び跳ねゾーンにターゲットが含まれないように、車両の水の飛び跳ねゾーンを修正するためのナビゲーション操作を実行するように車両を制御する、ように構成される。
【0347】
例１２３は、例１２２の主題を含み、ナビゲーション操作は、車両を減速させること、車両の新しい進路がターゲットから十分に離れておりターゲットが水の飛び跳ねにぶつからないように車線内進路変更を実行すること、又は車両の新しい進路がもはや水たまりを通過しないように車線内進路変更を実行することの少なくとも１つを含む。
【0348】
例１２４は、例１２１～１２３の主題を含み、ターゲットは歩行者である。
【0349】
例１２５は、例１２１～１２４の主題を含み、ターゲットは車両である。
【0350】
例１２６は、道路に沿って走行する自律型車両を制御する方法であり、この方法は、コンピュータプラットフォームによって実行され、車両の視点からの、道路の一部を含む少なくとも１つの視野を表す画像シーケンスを格納するステップと；画像シーケンスを処理して、道路上の水たまりを検出するステップと；水たまりの近くの歩行者の存在を判定するステップと；水たまりの検出に応答して運転応答解を決定するステップと；を含み、運転応答解は、歩行者の存在が検出されたかどうかに基づく。
【0351】
例１２７は、例１２６の主題を含み、車両に搭載されたカメラシステムによって画像シーケンスを取り込むステップを含み、処理するステップは、画像シーケンスの単眼画像を処理するステップを含む。
【0352】
例１２８は、例１２７の主題を含み、画像シーケンスは、カメラシステムの複数の画像センサによって取り込まれる。
【0353】
例１２９は、例１２６～１２８の主題を含み、画像シーケンスを処理して、道路上の水たまりを検出するステップは、画像シーケンスに基づいて道路の垂直輪郭を計算により決定するステップと；深さしきい値を超える垂直輪郭の窪みの存在を判定するステップと；水たまり検出基準を窪みの特徴に対して適用するステップと；を含む。
【0354】
例１３０は、例１２９の主題を含み、水たまり検出基準は境界シャープネス基準を含み、水たまり検出基準を適用するステップは、水たまりの境界の計算評価を生成するステップと；計算評価を境界シャープネス基準に対して比較するステップと；を含む。
【0355】
例１３１は、例１３０の主題を含み、水たまりの境界の計算評価は、境界に沿った水たまりの内側のポイントの垂直輪郭スコアリングと、境界に沿った水たまりの外側のポイントの垂直輪郭スコアリングとを含み、境界シャープネス基準は、水たまりの内側のポイントの垂直輪郭スコアリングに適用可能な第１のしきい値と、水たまりの外側のポイントの垂直輪郭スコアリングに適用可能な第２のしきい値とを含む。
【0356】
例１３２は、例１２９～１３１の主題を含み、水たまり検出基準は、水たまりの内側のポイントの垂直輪郭スコアリングに適用可能な隣接基準を含む。
【0357】
例１３３は、例１２６～１３２の主題を含み、水たまりの近くの歩行者の存在を判定するステップは、人間を検出するように構成された物体認識動作を実行するために画像シーケンスを処理するステップを含む。
【0358】
例１３４は、例１２６～１３３の主題を含み、水たまりの検出に応答して運転応答解を決定するステップは、水たまりの近くの歩行者の肯定的な検出に応答して、水たまりの水が歩行者に飛び跳ねる可能性を低減又は回避するように車両のコース又は速度応答を生成するステップを含む。
【0359】
例１３５は、例１３４の主題を含み、運転応答解を決定するステップは、リスク回避決定スキームに基づいて、複数の潜在的な運転応答オプションの中から運転応答解を選択するステップを含む。
【0360】
例１３６は、例１３５の主題を含み、水たまりの近くの歩行者の肯定的な検出は、リスク回避決定スキームの増分リスク係数として表され、増分リスク係数は、水たまりに関連する合計リスクスコアに寄与し、合計リスクスコアは、車両による運転応答解を実行する必要性の程度を表す。
【0361】
例１３７は、例１３５～１３６の主題を含み、水たまりの検出に応答して運転応答解を決定するステップは、潜在的な運転応答オプションのそれぞれに関連するリスクを現在の状況シナリオのリスク評価と比較するステップを含み、その潜在的な運転応答オプションはリスク要因に寄与する。
【0362】
例１３８は、例１３７の主題を含み、現在の状況シナリオの評価を実行するステップを含む。
【0363】
例１３９は、道路に沿って走行する車両で使用するマシンビジョンシステムのための機器であり、この機器は、少なくとも１つのプロセッサ及びストレージ回路を含むコンピュータプラットフォームを含み、コンピュータプラットフォームは、車両の視点からの、道路の一部を含む少なくとも１つの視野を表す画像シーケンスを含むデータストアと；画像シーケンスに基づいて道路上の水たまりの存在を判定する水たまり検出エンジンと；水たまりの近くの歩行者の存在を判定する歩行者検出エンジンと；水たまりの検出に応答して運転応答解を決定する運転応答エンジンと；を実装し、運転応答解は、歩行者検出エンジンによって歩行者の存在が検出されたかどうかに基づく。
【0364】
例１４０は、例１３９の主題を含み、車両に搭載され、且つ画像シーケンスを取り込むように動作可能なカメラシステムを含み、水たまり検出エンジンは、画像シーケンスの単眼画像処理を実行する。
【0365】
例１４１は、例１４０の主題を含み、画像シーケンスは、カメラシステムの複数の画像センサによって取り込まれる。
【0366】
例１４２は、例１３９～１４１の主題を含み、水たまり検出エンジンは、画像シーケンスに基づいて道路の垂直輪郭を計算により決定し、深さしきい値を超える垂直輪郭の窪みの存在を判定し、水たまり検出基準を窪みの特徴に対して適用する。
【0367】
例１４３は、例１４２の主題を含み、水たまり検出基準は境界シャープネス基準を含み、水たまり検出基準を適用することは、水たまりの境界の計算評価を生成することと、計算評価を境界シャープネス基準に対して比較することを含む。
【0368】
例１４４は、例１４３の主題を含み、水たまりの境界の計算評価は、境界に沿った水たまりの内側のポイントの垂直輪郭スコアリングと、境界に沿った水たまりの外側のポイントの垂直輪郭スコアリングとを含み、境界シャープネス基準は、水たまりの内側のポイントの垂直輪郭スコアリングに適用可能な第１のしきい値と、水たまりの外側のポイントの垂直輪郭スコアリングに適用可能な第２のしきい値とを含む。
【0369】
例１４５は、例１４２～１４４の主題を含み、水たまり検出基準は、水たまりの内側のポイントの垂直輪郭スコアリングに適用可能な隣接基準を含む。
【0370】
例１４６は、例１３９～１４５の主題を含み、歩行者検出エンジンが、人間を検出するように構成された物体認識動作を実行するために、少なくとも画像シーケンスを処理することにより、水たまりの近くの歩行者の存在を判定する。
【0371】
例１４７は、例１３９～１４６の主題を含み、運転応答エンジンは、水たまりの近くの歩行者の肯定的な検出に応答して、水たまりの水が歩行者に飛び跳ねる可能性を低減又は回避するように車両のコース又は速度応答を生成する。
【0372】
例１４８は、例１４７の主題を含み、運転応答解は、リスク回避決定スキームに基づいて、複数の潜在的な運転応答オプションの中から選択される。
【0373】
例１４９は、例１４８の主題を含み、水たまりの近くの歩行者の肯定的な検出は、リスク回避決定スキームの増分リスク係数として表され、増分リスク係数は、水たまりに関連する合計リスクスコアに寄与し、合計リスクスコアは、車両による運転応答解を実行する必要性の程度を表す。
【0374】
例１５０は、例１４８～１４９の主題を含み、運転応答解エンジンは、潜在的な運転応答オプションのそれぞれに関連するリスクを現在の状況シナリオのリスク評価と比較し、その潜在的な運転応答オプションはリスク要因に寄与する。
【0375】
例１５１は、例１５０の主題を含み、運転応答解エンジンは、現在の状況シナリオの評価を実行する。
【0376】
例１５２は、命令を含む少なくとも１つの機械可読媒体であり、命令が、道路に沿って走行する自律型車両のコンピュータプラットフォームによって実行されると、コンピュータプラットフォームに、車両の観点からの、道路の一部を含む少なくとも１つの視野を表す画像シーケンスを格納することと；画像シーケンスを処理して、道路上の水たまりを検出すること；水たまりの近くの歩行者の存在を判定することと；水たまりの検出に応答して運転応答解を決定することと；を行わせ、運転応答解は、歩行者の存在が検出されたかどうかに基づく。
【0377】
例１５３は、例１５２の主題を含み、コンピュータプラットフォームに、車両に搭載されたカメラシステムによって画像シーケンスを取り込むことを行わせるための命令を含むみ、処理することは、画像シーケンスの単眼画像を処理することを含む。
【0378】
例１５４は、例１５３の主題を含み、画像シーケンスは、カメラシステムの複数の画像センサによって取り込まれる。
【0379】
例１５５は、例１５２～１５４の主題を含み、画像シーケンスを処理して、道路上の水たまりを検出するための命令は、画像シーケンスに基づいて道路の垂直輪郭を計算により決定することと；深さしきい値を超える垂直輪郭の窪みの存在を判定することと；水たまり検出基準を窪みの特徴に対して適用することと；のための命令を含む。
【0380】
例１５６は、例１５５の主題を含み、水たまり検出基準は境界シャープネス基準を含み、水たまり検出基準を適用することは、水たまりの境界の計算評価を生成することと；計算評価を境界シャープネス基準に対して比較することと；を含む。
【0381】
例１５７は、例１５６の主題を含み、水たまりの境界の計算評価は、境界に沿った水たまりの内側のポイントの垂直輪郭スコアリングと、境界に沿った水たまりの外側のポイントの垂直輪郭スコアリングとを含み、境界シャープネス基準は、水たまりの内側のポイントの垂直輪郭スコアリングに適用可能な第１のしきい値と、水たまりの外側のポイントの垂直輪郭スコアリングに適用可能な第２のしきい値とを含む。
【0382】
例１５８は、例１５５～１５７の主題を含み、水たまり検出基準は、水たまりの内側のポイントの垂直輪郭スコアリングに適用可能な隣接基準を含む。
【0383】
例１５９は、例１５２～１５８の主題を含み、水たまりの近くの歩行者の存在を判定するための命令は、人間を検出するように構成される物体認識動作を実行するために、画像シーケンスを処理するための命令を含む。
【0384】
例１６０は、例１５２～１５９の主題を含み、水たまりの検出に応答して運転応答解を決定するための命令は、水たまりの近くの歩行者の肯定的な検出に応答して、水たまりの水が歩行者に飛び跳ねる可能性を低減又は回避するように車両のコース又は速度応答を生成するための命令を含む。
【0385】
例１６１は、例１６０の主題を含み、運転応答解を決定する命令は、リスク回避決定スキームに基づいて、複数の潜在的な運転応答オプションの中から運転応答解を選択するための命令を含む。
【0386】
例１６２は、例１６１の主題を含み、水たまりの近くの歩行者の肯定的な検出は、リスク回避決定スキームの増分リスク係数として表され、増分リスク係数は、水たまりに関連する合計リスクスコアに寄与し、合計リスクスコアは、車両による運転応答解を実行する必要性の程度を表す。
【0387】
例１６３は、例１６１～１６２の主題を含み、水たまりの検出に応答して運転応答解を決定するための命令は、潜在的な運転応答オプションのそれぞれに関連するリスクを現在の状況シナリオのリスク評価と比較するための命令を含み、その潜在的な運転応答オプションはリスク要因に寄与する。
【0388】
例１６４は、例１６３の主題を含み、現在の状況シナリオの評価を実行するための命令を含む。
【0389】
例１６５は、車両で使用するためのマシンビジョンシステムを動作させる方法であり、この方法は、マシンビジョンシステムによって、少なくとも１台の車載カメラによって取り込まれた道路の一部を含む、少なくとも１つの視野を表す画像の時間シーケンス（temporal sequence of images）を読み取るステップと；マシンビジョンシステムによって、画像の時間シーケンスに基づいて、道路の垂直輪郭を計算により決定するステップと；マシンビジョンシステムによって、道路の垂直輪郭に基づいて道路上の水たまりを検出するステップであって、深さしきい値を超える垂直輪郭の存在を判定するステップを含む、検出するステップと；水たまり検出基準を窪みの特徴に対して適用するステップとと；を含む。
【0390】
例１６６は、例１６５の主題を含み、垂直輪郭を決定するステップは、（ａ）車両の実際の動きによる画像シーケンスの中の道路の外観の予測変化と、（ｂ）取り込まれた画像シーケンスの画像同士の間の実際の差とを比較するステップを含み、比較の結果として検出された差は、シーケンスの画像同士の間の残差フローを表し、残差フローは道路の垂直輪郭を示す。
【0391】
例１６７は、例１６５～１６６の主題を含み、水たまり検出基準は境界シャープネス基準を含み、水たまり検出基準を適用するステップは、水たまりの境界の計算評価を生成するステップと；計算評価を境界シャープネス基準に対して比較するステップと；を含む。
【0392】
例１６８は、例１６７の主題を含み、水たまりの境界の計算評価は、境界に沿った水たまりの内側のポイントの垂直輪郭スコアリングと、境界に沿った水たまりの外側のポイントの垂直輪郭スコアリングとを含み、境界シャープネス基準は、水たまりの内側のポイントの垂直輪郭スコアリングに適用可能な第１のしきい値と、水たまりの外側のポイントの垂直輪郭スコアリングに適用可能な第２のしきい値とを含む。
【0393】
例１６９は、例１６７～１６８の主題を含み、水たまり検出基準は、水たまりの内側のポイントの垂直輪郭スコアリングに適用可能な隣接基準を含む。
【0394】
例１７０は、例１６５～１６９の主題を含み、画像の時間シーケンスは単一のカメラから取得される。
【0395】
例１７１は、例１６５～１７０の主題を含み、画像の時間シーケンスは複数のカメラから取得される。
【0396】
例１７２は、例１６５～１７１の主題を含み、マシンビジョンシステムによって、水たまりに関する現在の状況シナリオを決定するステップを含む。
【0397】
例１７３は、例１７２の主題を含み、現在の状況シナリオは、水たまりの近くの歩行者の存在を含む。
【0398】
例１７４は、例１７２～１７３の主題を含み、現在の状況シナリオは、道路境界に対する水たまりの位置を含む。
【0399】
例１７５は、例１７２～１７４の主題を含み、現在の状況シナリオは、道路上の車線マーカーに対する水たまりの位置を含む。
【0400】
例１７６は、例１７２～１７５の主題を含み、水たまりの検出に応答して、マシンビジョンシステムによって、現在の状況シナリオに基づく運転応答解を決定するステップを含む。
【0401】
例１７７は、例１７６の主題を含み、運転応答解は、車両による水たまりへの突っ込みを回避するか、又はその突っ込みの影響を低減するための車両のコース又は速度応答を含む。
【0402】
例１７８は、例１７６～１７７の主題を含み、運転応答解は、リスク回避決定スキームに基づいて、複数の潜在的な運転応答オプションの中からの運転応答解の選択を含む。
【0403】
例１７９は、例１７８の主題を含み、リスク回避決定スキームは、水たまりに関連するリスクスコアを計算し、リスクスコアは、車両による運転応答解を実行する必要性の程度を表す。
【0404】
例１８０は、例１７８～１７９の主題を含み、運転応答解は、潜在的な運転応答オプションのそれぞれに関連するリスクを現在の状況シナリオのリスク評価と比較することに基づいており、その潜在的な運転応答オプションはリスク要因に寄与する。
【0405】
例１８１は、命令を含む少なくとも１つの機械可読媒体であり、命令が、道路に沿って走行する自律型車両のマシンビジョンシステムによって実行されたときに、マシンビジョンシステムに、少なくとも１つの車載カメラによって取り込まれた道路の一部を含む、少なくとも１つの視野を表す画像の時間シーケンスを読み取ることと；画像の時間シーケンスに基づいて、道路の垂直方向の輪郭を計算により決定することと；道路の垂直輪郭に基づいて、道路上の水たまりを検出することであって、深さしきい値を超える垂直輪郭の窪みの存在を判定することを含む、検出することと；水たまり検出基準を窪みの特徴に対して適用することと；を行わせる。
【0406】
例１８２は、例１８１の主題を含み、垂直輪郭を決定するための命令は、（ａ）車両の実際の動きによる画像シーケンスの中の道路の外観の予測変化と、（ｂ）取り込まれた画像シーケンスの画像同士の間の実際の差とを比較するための命令を含み、比較の結果として検出された差は、シーケンスの画像同士の間の残差フローを表し、残差フローは道路の垂直輪郭を示す。
【0407】
例１８３は、例１８１～１８２の主題を含み、水たまり検出基準は境界シャープネス基準を含み、水たまり検出基準を適用することは、水たまりの境界の計算評価を生成し、計算評価を境界シャープネス基準に対して比較することを含む。
【0408】
例１８４は、例１８３の主題を含み、水たまりの境界の計算評価は、境界に沿った水たまりの内側のポイントの垂直輪郭スコアリングと、境界に沿った水たまりの外側のポイントの垂直輪郭スコアリングとを含み、境界シャープネス基準は、水たまりの内側のポイントの垂直輪郭スコアリングに適用可能な第１のしきい値と、水たまりの外側のポイントの垂直輪郭スコアリングに適用可能な第２のしきい値とを含む。
【0409】
例１８５は、例１８３～１８４の主題を含み、水たまり検出基準は、水たまりの内側のポイントの垂直輪郭スコアリングに適用可能な隣接基準を含む。
【0410】
例１８６は、例１８１～１８５の主題を含み、画像の時間シーケンスは単一のカメラから取得される。
【0411】
例１８７は、例１８１～１８６の主題を含み、画像の時間シーケンスは複数のカメラから取得される。
【0412】
例１８８は、例１８１～１８７の主題を含み、マシンビジョンシステムに、水たまりに関する現在の状況シナリオを決定させるための命令を含む。
【0413】
例１８９は、例１８８の主題を含み、現在の状況シナリオは、水たまりの近くの歩行者の存在を含む。
【0414】
例１９０は、例１８８～１８９の主題を含み、現在の状況シナリオは、道路境界に対する水たまりの位置を含む。
【0415】
例１９１は、例１８８～１９０の主題を含み、現在の状況シナリオは、道路上の車線マーカーに対する水たまりの位置を含む。
【0416】
例１９２は、例１８８～１９１の主題を含み、マシンビジョンシステムに、水たまりの検出に応答して運転応答解を決定させるための命令を含み、運転応答解は現在の状況シナリオに基づいている。
【0417】
例１９３は、例１９２の主題を含み、運転応答解は、車両による水たまりへの突っ込みを回避するか、又はその突っ込みの影響を低減するための車両のコース又は速度応答を含む。
【0418】
例１９４は、例１９２～１９３の主題を含み、運転応答解は、リスク回避決定スキームに基づいて、複数の潜在的な運転応答オプションの中からの運転応答解の選択を含む。
【0419】
例１９５は、例１９４の主題を含み、リスク回避決定スキームは、水たまりに関連するリスクスコアを計算し、リスクスコアは、車両による運転応答解を実行する必要性の程度を表す。
【0420】
例１９６は、例１９４～１９５の主題を含み、運転応答解は、潜在的な運転応答オプションのそれぞれに関連するリスクを現在の状況シナリオのリスク評価と比較することに基づいており、その潜在的な運転応答オプションはリスク要因に寄与する。
【0421】
例１９７は、道路に沿って走行する車両から道路の構造を測定するための機械で実施される方法であり、この方法は、（ａ）少なくとも１つの車載カメラによって取り込まれた道路の一部を含む、少なくとも１つの視野を表す取り込まれた画像の時間シーケンスと、（ｂ）少なくとも１つの車載カメラの実際の動きを表すエゴモーション情報と、（ｃ）路面のパラメトリックモデルとを含む入力データのセットを読み取るステップと；入力データのセットを前処理して、道路平面情報に関して取り込まれた画像の時間シーケンスの中で少なくとも１つのホモグラフィを決定し、画像の時間シーケンスのうちの少なくとも１つの画像をワープして、少なくとも１つのホモグラフィに基づいて、時間シーケンスの別の画像と位置合わせし、時間シーケンスに基づいて前処理した画像のセットを生成するステップと；入力データのセットを前処理して、少なくとも１台の車載カメラの動きの画像形式の表現を作成するステップと；機械学習（ＭＬ）システムへの入力として、前処理した画像のセット、及び動きの画像形式の表現を提供するステップと；を含み、ＭＬシステムは、入力に基づいて道路の構造を表すマップを生成するように構成される。
【0422】
例１９８は、例１９７の主題を含み、少なくとも１つの視野は、単一のカメラによって取り込まれた単一の前向きの視野を含む。
【0423】
例１９９は、例１９７～１９８の主題を含み、少なくとも１つの視野は、複数のカメラによって取り込まれた前向きの視野を含む。
【0424】
例２００は、例１９７～１９９の主題を含み、少なくとも１つの視野は、異なる方向を向く複数のカメラによって取り込まれた複数の重複する視野を含む。
【0425】
例２０１は、例１９７～２００の主題を含み、路面のパラメトリックモデルは、路面に垂直な平面法線ベクトルを表す道路平面情報を含む。
【0426】
例２０２は、例１９７～２０１の主題を含み、路面のパラメトリックモデルは、道路の３次元スプラインモデルを含む。
【0427】
例２０３は、例１９７～２０２の主題を含み、路面のパラメトリックモデルは、取り込まれた画像の少なくとも一部から導出された道路平面情報を含む。
【0428】
例２０４は、例１９７～２０３の主題を含み、取り込まれた画像の時間シーケンスには、最近取り込まれた画像、以前の画像、及びさらに以前の画像を含む３つの連続した画像シーケンスが含まれる。
【0429】
例２０５は、例１９７～２０４の主題を含み、入力データのセットを前処理して、少なくとも１つの車載カメラの動きの画像形式の表現を生成するステップは、画像の時間シーケンスのうちの少なくとも１つの画像に対応するエピポールの画像形式の表現を生成するステップを含む。
【0430】
例２０６は、例１９７～２０５の主題を含み、入力データのセットを前処理して、少なくとも１つの車載カメラの動きの画像形式の表現を生成するステップは、カメラの高さに対する、順方向に沿った現在の移動量の比の画像形式の表現を生成するステップを含む。
【0431】
例２０７は、例１９７～２０６の主題を含み、エゴモーション情報は、車両の動きセンサによって取得された測定値に基づいている。
【0432】
例２０８は、例１９７～２０７の主題を含み、エゴモーション情報は、車両の回転及び並進運動を表す。
【0433】
例２０９は、例１９７～２０８の主題を含み、ＭＬシステムによって生成される道路の構造を表すマップは、路面の高さに基づく値のマッピングを含む道路モデルを含む。
【0434】
例２１０は、例２０９の主題を含み、路面の高さに基づく値のマッピングは、観測ポイントからの距離に対する路面の高さの比を含む。
【0435】
例２１１は、道路に沿って走行する車両から道路の構造を測定するための命令を含む少なくとも１つの機械可読媒体であり、命令が、処理回路によって実行されると、処理回路に、（ａ）少なくとも１つの車載カメラによって取り込まれた道路の一部を含む、少なくとも１つの視野を表す取り込まれた画像の時間シーケンスと、（ｂ）少なくとも１つの車載カメラの実際の動きを表すエゴモーション情報と、（ｃ）路面のパラメトリックモデルとを含む入力データのセットを読み取ることと；入力データのセットを前処理して、道路平面情報に関して取り込まれた画像の時間シーケンスの中で少なくとも１つのホモグラフィを決定し、画像の時間シーケンスのうちの少なくとも１つの画像をワープして、少なくとも１つのホモグラフィに基づいて、時間シーケンスの別の画像と位置合わせし、時間シーケンスに基づいて前処理した画像のセットを生成することと；入力データのセットを前処理して、少なくとも１台の車載カメラの動きの画像形式の表現を作成することと；機械学習（ＭＬ）システムへの入力として、前処理した画像のセット、及び動きの画像形式の表現を提供することと；を含む動作を実行させ、ＭＬシステムは、入力に基づいて道路の構造を表すマップを生成するように構成される。
【0436】
例２１２は、例２１１の主題を含み、少なくとも１つの視野は、単一のカメラによって取り込まれた単一の前向きの視野を含む。
【0437】
例２１３は、例２１１～２１２の主題を含み、少なくとも１つの視野は、複数のカメラによって取り込まれた前向きの視野を含む。
【0438】
例２１４は、例２１１～２１３の主題を含み、少なくとも１つの視野は、異なる方向を向く複数のカメラによって取り込まれた複数の重複する視野を含む。
【0439】
例２１５は、例２１１～２１４の主題を含み、路面のパラメトリックモデルは、路面に垂直な平面法線ベクトルを表す道路平面情報を含む。
【0440】
例２１６は、例２１１～２１５の主題を含み、路面のパラメトリックモデルは、道路の３次元スプラインモデルを含む。
【0441】
例２１７は、例２１１～２１６の主題を含み、路面のパラメトリックモデルは、取り込まれた画像の少なくとも一部から導出された道路平面情報を含む。
【0442】
例２１８は、例２１１～２１７の主題を含み、取り込まれた画像の時間シーケンスには、最近取り込まれた画像、以前の画像、及びさらに以前の画像を含む３つの連続した画像シーケンスが含まれる。
【0443】
例２１９は、例２１１～２１８の主題を含み、入力データのセットを前処理して、少なくとも１つの車載カメラの動きの画像形式の表現を生成することは、画像の時間シーケンスのうちの少なくとも１つの画像に対応するエピポールの画像形式の表現を生成することを含む。
【0444】
例２２０は、例２１１～２１９の主題を含み、入力データのセットを前処理して、少なくとも１つの車載カメラの動きの画像形式の表現を生成することは、カメラの高さに対する、順方向に沿った現在の移動量の比の画像形式の表現を生成することを含む。
【0445】
例２２１は、例２１１～２２０の主題を含み、エゴモーション情報は、車両の動きセンサによって取得された測定値に基づいている。
【0446】
例２２２は、例２１１～２２１の主題を含み、エゴモーション情報は、車両の回転及び並進運動を表す。
【0447】
例２２３は、例２１１～２２２の主題を含み、ＭＬシステムによって生成される道路の構造を表すマップは、路面の高さに基づく値のマッピングを含む道路モデルを含む。
【0448】
例２２４は、例２２３の主題を含み、路面の高さに基づく値のマッピングは、観測ポイントからの距離に対する路面の高さの比を含む。
【0449】
例２２５は、道路に沿って走行する車両から道路の構造を測定するためのシステムであり、このシステムは、（ａ）少なくとも１つの車載カメラによって取り込まれた道路の一部を含む、少なくとも１つの視野を表す取り込まれた画像の時間シーケンスと、（ｂ）少なくとも１つの車載カメラの実際の動きを表すエゴモーション情報と、（ｃ）路面のパラメトリックモデルとを含む入力データのセットを読み取るための手段と；入力データのセットを前処理して、道路平面情報に関して取り込まれた画像の時間シーケンスの中で少なくとも１つのホモグラフィを決定し、画像の時間シーケンスのうちの少なくとも１つの画像をワープして、少なくとも１つのホモグラフィに基づいて、時間シーケンスの別の画像と位置合わせし、時間シーケンスに基づいて前処理した画像のセットを生成するための手段と；入力データのセットを前処理して、少なくとも１つの車載カメラの動きの画像形式の表現を生成するための手段と；機械学習（ＭＬ）システムへの入力として、前処理した画像のセット、及び動きの画像形式の表現を提供するための手段と；を含み、ＭＬシステムは、入力に基づいて道路の構造を表すマップを生成するように構成される。
【0450】
例２２６は、例２２５の主題を含み、少なくとも１つの視野は、単一のカメラによって取り込まれた単一の前向きの視野を含む。
【0451】
例２２７は、例２２５～２２６の主題を含み、少なくとも１つの視野は、複数のカメラによって取り込まれた前向きの視野を含む。
【0452】
例２２８は、例２２５～２２７の主題を含み、少なくとも１つの視野は、異なる方向を向く複数のカメラによって取り込まれた複数の重複する視野を含む。
【0453】
例２２９は、例２２５～２２８の主題を含み、路面のパラメトリックモデルは、路面に垂直な平面法線ベクトルを表す道路平面情報を含む。
【0454】
例２３０は、例２２５～２２９の主題を含み、路面のパラメトリックモデルは、道路の３次元スプラインモデルを含む。
【0455】
例２３１は、例２２５～２３０の主題を含み、路面のパラメトリックモデルは、取り込まれた画像の少なくとも一部から導出された道路平面情報を含む。
【0456】
例２３２は、例２２５～２３１の主題を含み、取り込まれた画像の時間シーケンスには、最近取り込まれた画像、以前の画像、及びさらに以前の画像を含む３つの連続した画像シーケンスが含まれる。
【0457】
例２３３は、例２２５～２３２の主題を含み、入力データのセットを前処理して、少なくとも１つの車載カメラの動きの画像形式の表現を生成するための手段は、画像の時間シーケンスのうちの少なくとも１つの画像に対応するエピポールの画像形式の表現を生成するための手段を含む。
【0458】
例２３４は、例２２５～２３３の主題を含み、入力データのセットを前処理して、少なくとも１つの車載カメラの動きの画像形式の表現を生成するための手段は、カメラの高さに対する、順方向に沿った現在の移動量の比の画像形式の表現を生成するための手段を含む。
【0459】
例２３５は、例２２５～２３４の主題を含み、エゴモーション情報は、車両の動きセンサによって得られた測定値に基づいている。
【0460】
例２３６は、例２２５～２３５の主題を含み、エゴモーション情報は、車両の回転及び並進運動を表す。
【0461】
例２３７は、例２２５～２３６の主題を含み、ＭＬシステムによって生成される道路の構造を表すマップは、路面の高さに基づく値のマッピングを含む道路モデルを含む。
【0462】
例２３８は、例２３７の主題を含み、路面の高さに基づく値のマッピングは、観測ポイントからの距離に対する路面の高さの比を含む。
【0463】
例２３９は、道路に沿って走行する車両で使用するためのマシンビジョンシステムのための機器であり、この機器は、少なくとも１台の車載カメラによって取り込まれた道路の一部を含む、少なくとも１つの視野を表す画像の時間シーケンスを読み取るための入力と；入力に結合された道路構造測定システムと；を含み、道路構造測定システムは、画像の時間シーケンスに基づいて画像形式の入力を受け取るように構成された第１のディープニューラル・ネットワーク（ＤＮＮ）を含み、第１のＤＮＮは、トレーニングプロセスから導出された計算パラメータで構成され、トレーニング画像の取り込まれた時間シーケンス及び対応するエゴモーション測定値を有する第１の部分を含むトレーニングデータは、トレーニングＤＮＮに入力され、トレーニングＤＮＮは、第１の部分の順方向伝播処理に基づくテスト結果を生成し、順方向伝播処理は、トレーニングＤＮＮによるトレーニング可能な計算パラメータの適用を含み、マルチモーダル損失関数が、トレーニングデータの第１の部分に基づく第１の損失成分と、第１の部分に存在しない少なくとも１つの取り込み画像又はエゴモーション測定値を有するトレーニングデータの第２の部分に基づく第２の損失成分とを含む、複数の異なる損失成分の集約に基づいて生成され、マルチモーダル損失関数は、テスト結果に基づいて評価され、損失値が生成され、トレーニング可能な計算パラメータは、トレーニングプロセスに従って損失値を減らすようにリファインされ、リファインされたトレーニング可能なパラメータは、第１のＤＮＮを構成するために提供される。
【0464】
例２４０は、例２３９の主題を含み、トレーニングプロセスは、勾配降下トレーニングを伴うトレーニングＤＮＮによる損失関数の逆伝播を含む。
【0465】
例２４１は、例２３９～２４０の主題を含み、第１のＤＮＮによって受け取られる画像形式の入力は、画像の時間シーケンス、画像としてフォーマットされたエピポール情報（エピポール情報には、エピポールからのそれぞれの距離を表すポイントが含まれる）、及び画像としてフォーマットされた動き情報（動き情報には、カメラの高さに対する、順方向に沿った現在の移動量の比を表すポイントが含まれる）を含む。
【0466】
例２４２は、例２３９～２４１の主題を含み、第１のＤＮＮは、畳み込み、活性化、及びプーリング層を含む複数の層を含む畳み込みＤＮＮであり、第１のＤＮＮは、異なる層に供給する複数の入力ポートを含み、異なる層には、第１の入力層と、第１の入力層とは異なる第２の入力層とが含まれ、第１の画像形式の入力が第１の入力層に提供され、第２の画像形式の入力が第２の入力層に提供される。
【0467】
例２４３は、例２４２の主題を含み、第１の入力は画像の時間シーケンスを含み、第２の入力は車両の動きを表す画像形式の動き情報を含む。
【0468】
例２４４は、例２３９～２４３の主題を含み、第１のＤＮＮは、畳み込み部分及び逆畳み込み部分を含む畳み込みＤＮＮである。
【0469】
例２４５は、例２４４の主題を含み、第１のＤＮＮは複数の層を含み、各層が、特徴マップを生成し、且つ順方向伝播経路に沿って処理するために特徴マップを後続の層に渡し、畳み込み部分の連続する層は、順方向伝播経路に沿った特徴マップの次元を増大させながら、対応する特徴マップの解像度を徐々に低下させるように動作し、逆畳み込みの逆畳み込み部分の連続する層は、順方向伝播経路に沿った特徴マップの次元を減少させながら、対応する特徴マップの解像度を徐々に増大させるように動作する。
【0470】
例２４６は、例２４５の主題を含み、第１のＤＮＮは、前の層と後の層との間に位置する１つ又は複数の中間層をスキップしながら、順方向伝播経路に沿って前の層から後の層へ特徴マップの通過を容易にするように配置された少なくとも１つのバイパス経路を含む。
【0471】
例２４７は、例２４５～２４６の主題を含み、第１のＤＮＮは、畳み込み部分と逆畳み込み部分との間に位置するボトルネック・ネットワーク部分を含み、ボトルネック・ネットワーク部分は、第１のＤＮＮの他の層と比較して比較的低い解像度及びより高い次元の少なくとも１つの層を含む。
【0472】
例２４８は、例２４７の主題を含み、ボトルネック部分は、画像形式の動きマーク及び画像形式のエピポール位置データを受け入れるように構成された入力を含む。
【0473】
例２４９は、例２３９～２４８の主題を含み、第１のＤＮＮは、その出力として、路面の高さに基づく値のマッピングを含む道路モデルを含む、道路の構造を表すマップを生成する。
【0474】
例２５０は、例２４８～２４９の主題を含み、路面の高さに基づく値のマッピングは、観測ポイントからの距離に対する路面の高さの比を含む。
【0475】
例２５１は、例２３９～２５０の主題を含み、第１のＤＮＮは、トレーニングＤＮＮと同じアーキテクチャを有する。
【0476】
例２５２は、例２３９～２５１の主題を含み、第１の損失成分は、トレーニング画像の時間シーケンス及びテスト結果が生成される対応するエゴモーション測定値に基づく写真測量的損失成分を含む。
【0477】
例２５３は、例２５２の主題を含み、第２の損失成分は、トレーニング画像の時間シーケンスの画像のいずれかが取り込まれた時間とは異なる時間に取り込まれた少なくとも１つの過去又は未来のトレーニング画像に基づく。
【0478】
例２５４は、例２５２～２５３の主題を含み、第２の損失成分は、テスト結果が作成されたエゴモーション測定値のいずれかが取得された時間とは異なる時間に取得されたエゴモーションの少なくとも１つの過去又は未来の測定値に基づく。
【0479】
例２５５は、例２５２～２５４の主題を含み、第２の損失成分は、トレーニング画像の時間シーケンスのいずれかの画像が取り込まれた時間よりも後に取り込まれるトレーニングデータの一部から取得された、取り込み画像及び対応して測定されたエゴモーションに基づく少なくとも１つの未来の道路構造評価に基づく。
【0480】
例２５６は、濡れた道路に沿って走行する車両で使用するためのマシンビジョンシステムのための機器であり、この機器は、少なくとも１台の車載カメラによって取り込まれた道路の一部を含む、少なくとも１つの視野を表す画像の時間シーケンスを読み取るための入力と；入力に結合された道路構造測定システムと；を含み、道路構造測定システムは、画像の時間シーケンスに基づいて画像形式の入力を受け取るように構成された第１のディープニューラル・ネットワーク（ＤＮＮ）を含み、画像の時間シーケンスの少なくとも１つの画像が、ホモグラフィに従ってワープされ、且つ画像の時間シーケンスの第１の画像と位置合わせされて、画像シーケンスの第１の画像と第２の画像との間の残差の動きが明らかになり、残差の動きは、少なくとも（ａ）路面地形の変化、及び（ｂ）路面からの鏡面反射を示し、道路構造測定システムは、路面地形の変化を路面からの鏡面反射から区別して、車両が時速５０キロの速度で走行しているときに、少なくとも１０メートルの距離で路面の高さの変化の３センチメートル以内まで正確な地形測定値を生成するように構成される。
【0481】
例２５７は、例２５６の主題を含み、第１のＤＮＮは、畳み込み部分及び逆畳み込み部分を含む畳み込みＤＮＮである。
【0482】
例２５８は、例２５７の主題を含み、第１のＤＮＮは複数の層を含み、各層が、特徴マップを生成し、且つ順方向伝播経路に沿って処理するために特徴マップを後続の層に渡し、畳み込み部分の連続する層は、順方向伝播経路に沿った特徴マップの次元を増大させながら、対応する特徴マップの解像度を徐々に低下させるように動作し、逆畳み込みの逆畳み込み部分の連続する層は、順方向伝播経路に沿った特徴マップの次元を減少させながら、対応する特徴マップの解像度を徐々に増大させるように動作する。
【0483】
例２５９は、例２５８の主題を含み、第１のＤＮＮは、前の層と後の層との間に位置する１つ又は複数の中間層をスキップしながら、順方向伝播経路に沿って前の層から後の層へ特徴マップの通過を容易にするように配置された少なくとも１つのバイパス経路を含む。
【0484】
例２６０は、例２５８～２５９の主題を含み、第１のＤＮＮは、畳み込み部分と逆畳み込み部分との間に位置するボトルネック・ネットワーク部分を含み、ボトルネック・ネットワーク部分は、第１のＤＮＮの他の層と比較して比較的低い解像度及びより高い次元の少なくとも１つの層を含む。
【0485】
例２６１は、例２６０の主題を含み、ボトルネック部分は、画像形式の動きマーク及び画像形式のエピポール位置データを受け入れるように構成された入力を含む。
【0486】
例２６２は、例２５６～２６１の主題を含み、第１のＤＮＮは、その出力として、路面の高さに基づく値のマッピングを含む道路モデルを含む、道路の構造を表すマップを生成する。
【0487】
例２６３は、例２６１～２６２の主題を含み、路面の高さに基づく値のマッピングは、観測ポイントからの距離に対する路面の高さの比を含む。
【0488】
例２６４は、例２５６～２６３の主題を含み、第１のＤＮＮは、トレーニングプロセスから導出された計算パラメータで構成され、トレーニング画像の取り込まれた時間シーケンス及び対応するエゴモーション測定値を有する第１の部分を含むトレーニングデータは、トレーニングＤＮＮに入力され、トレーニングＤＮＮは、第１の部分の順方向伝播処理に基づいてテスト結果を生成し、順方向伝播処理には、トレーニングＤＮＮによるトレーニング可能な計算パラメータの適用が含まれ、マルチモーダル損失関数は、トレーニングデータの第１の部分に基づく第１の損失成分と、第１の部分に存在しない少なくとも１つの取り込み画像又はエゴモーション測定値を有するトレーニングデータの第２の部分に基づく第２の損失成分とを含む、複数の異なる損失成分の集約に基づいて生成され、マルチモーダル損失関数は、テスト結果に基づいて評価され、損失値が生成され、トレーニング可能な計算パラメータは、トレーニングプロセスに従って損失値を減らすようにリファインされ、リファインされたトレーニング可能なパラメータは、第１のＤＮＮを構成するために提供される。
【0489】
例２６５は、例２６４の主題を含み、トレーニングプロセスは、勾配降下トレーニングを伴うトレーニングＤＮＮによる損失関数の逆伝播を含む。
【0490】
例２６６は、例２５６～２６５の主題を含み、第１のＤＮＮによって受け取られる画像形式の入力は、画像の時間シーケンス、画像としてフォーマットされたエピポール情報（エピポール情報には、エピポールからのそれぞれの距離を表すポイントが含まれる）、画像としてフォーマットされた動き情報（動き情報には、カメラの高さに対する、順方向に沿った現在の移動量の比を表すポイントが含まれる）を含む。
【0491】
例２６７は、例２５６～２６６の主題を含み、第１のＤＮＮは、畳み込み、活性化、及びプーリング層を含む複数の層を含む畳み込みＤＮＮであり、第１のＤＮＮは、異なる層に供給する複数の入力ポートを含み、異なる層には、第１の入力層と、第１の入力層とは異なる第２の入力層とが含まれ、第１の画像形式の入力が第１の入力層に提供され、第２の画像形式の入力が第２の入力層に提供される。
【0492】
例２６８は、例２６７の主題を含み、第１の入力は画像の時間シーケンスを含み、第２の入力は車両の動きを表す画像形式の動き情報を含む。
【0493】
例２６９は、例２６４～２６８の主題を含み、第１のＤＮＮは、トレーニングＤＮＮと同じアーキテクチャを有する。
【0494】
例２７０は、例２６４～２６９の主題を含み、第１の損失成分は、トレーニング画像の時間シーケンス及びテスト結果が生成される対応するエゴモーション測定値に基づく写真測量的損失成分を含む。
【0495】
例２７１は、例２７０の主題を含み、第２の損失成分は、トレーニング画像の時間シーケンスの画像のいずれかが取り込まれた時間とは異なる時間に取り込まれた少なくとも１つの過去又は未来のトレーニング画像に基づく。
【0496】
例２７２は、例２７０～２７１の主題を含み、第２の損失成分は、テスト結果が作成されたエゴモーション測定値のいずれかが取得された時間とは異なる時間に取得されたエゴモーションの少なくとも１つの過去又は未来の測定値に基づく。
【0497】
例２７３は、例２７０～２７２の主題を含み、第２の損失成分は、トレーニング画像の時間シーケンスのいずれかの画像が取り込まれた時間よりも後に取り込まれるトレーニングデータの一部から取得された、取り込み画像及び対応する測定されたエゴモーションに基づく少なくとも１つの未来の道路構造評価に基づく。
【0498】
例２７４は、命令を含む少なくとも１つの機械可読媒体であり、命令が処理回路によって実行されると、処理回路に、例１～２７３のいずれかを実施するための動作を実行させる。
【0499】
例２７５は、例１～２７３のいずれかを実施するための手段を含む機器である。
【0500】
例２７６は、例１～２７３のいずれかを実施するためのシステムである。
【0501】
例２７７は、例１～２７３のいずれかを実施するための方法である。
【0502】
上記の詳細な説明には、詳細な説明の一部を形成する添付の図面への参照が含まれる。図面は、例として、実施され得る特定の実施形態を示す。これらの実施形態は、本明細書では「例」とも呼ばれる。そのような例は、図示又は説明されたものに加えて要素を含み得る。しかしながら、本発明者らは、図示又は説明した要素のみが提供される例も企図する。さらに、本発明者は、本明細書に示されるか、又は説明される特定の例（又は、その１つ又は複数の態様）に関して、又は他の例（又は、その１つ又は複数の態様）に関して、図示又は説明した要素（又は、その１つ又は複数の態様）の任意の組合せ又は置換を使用する例も企図する。
【0503】
この文書で参照される全ての出版物、特許、及び特許文書は、あたかも個々に参照により組み込まれるかのように、その全体が参照により本明細書に組み込まれる。この文書と、参照により組み込まれたこれらの文書との間に一貫性のない使用法がある場合に、組み込まれた参照での使用法は、この文書の使用法を補足するものと見なされるものとする。調整不可能な矛盾については、この文書の使用法が支配する。
【0504】
この文書では、「１つの（a, an）」という用語は、特許文書で一般的であるように、「少なくとも１つ」又は「１つ又は複数」の他のインスタンス又は使用法とは無関係に、１つ又は複数を含むように使用される。この文書では、「又は」という用語は、他に指定されていない限り、非排他的、つまり「Ａ又はＢ」が、「ＡであるがＢではない」、「ＢであるがＡではない」、及び「Ａ及びＢ」を含むことを指すために使用される。添付の特許請求の範囲において、「含む（including）」及び「その中（in which）」という用語は、「含む（comprising）」及び「その中の（wherein）」それぞれの用語の平易な英語の同等物として使用される。また、以下の特許請求の範囲では、「含む（including）」及び「備える（comprising）」という用語は制限がない。つまり、請求項内のそのような用語の後に列挙されている要素に加えて、要素を含むシステム、装置、物品、又はプロセスは、その特許請求の範囲内に依然としてあると見なされる。さらに、以下の特許請求の範囲において、「第１」、「第２」、及び「第３」等の用語は、単にラベルとして使用され、それらの物体に数値要件を課すことを意図しない。
【0505】
上記の説明は、例示を意図したものであり、限定を意図したものではない。例えば、上記の例（又は、その１つ又は複数の態様）は、互いに組み合わせて使用することができる。上記の説明を検討すると、当業者等によって、他の実施形態が使用され得る。要約は、読者が技術的開示の性質を素早く確認できるようにするためのものであり、特許請求の範囲又は意味を解釈又は制限するために使用されないことを理解して提出される。また、上記の詳細な説明では、開示を簡素化するために、様々な特徴をグループ化することができる。これは、特許請求の範囲に記載されていない開示された機能が特許請求の範囲に不可欠であることを意図するものとして解釈すべきではない。むしろ、発明の主題は、特定の開示された実施形態の全ての特徴より少ない場合がある。こうして、以下の特許請求の範囲は、これにより詳細な説明に組み込まれ、各請求項は別個の実施形態としてそれ自体で成立する。実施形態の範囲は、添付の特許請求の範囲を参照して、そのような特許請求の範囲が権利範囲を与える等価物の全範囲とともに決定すべきである。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】
【図25】
【図26】
【図27】
【図28】
【図29】
【図30】