特許 7566358 深度推定システム及び深度推定方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-10-04

(45)【発行日】2024-10-15

(54)【発明の名称】深度推定システム及び深度推定方法

(51)【国際特許分類】

   G06T 7/579 20170101AFI20241007BHJP

   G06T 7/00 20170101ALI20241007BHJP

【ＦＩ】

G06T7/579

G06T7/00 350B

G06T7/00 650B

【請求項の数】 25

(21)【出願番号】P 2022573637

(86)(22)【出願日】2021-06-06

(65)【公表番号】

(43)【公表日】2023-07-10

(86)【国際出願番号】 IL2021050673

(87)【国際公開番号】W WO2021250654

(87)【国際公開日】2021-12-16

【審査請求日】2024-06-05

(31)【優先権主張番号】16/897,684

(32)【優先日】2020-06-10

(33)【優先権主張国・地域又は機関】US

【早期審査対象出願】

(73)【特許権者】

【識別番号】520375077

【氏名又は名称】ユーヴイアイ リミテッド

【氏名又は名称原語表記】ＵＶｅｙｅ Ｌｔｄ．

(74)【代理人】

【識別番号】110001302

【氏名又は名称】弁理士法人北青山インターナショナル

(72)【発明者】

【氏名】ディミトリエフ，イガル

【審査官】吉田 千裕

(56)【参考文献】

【文献】米国特許出願公開第２０１５／０２６０５１１（ＵＳ，Ａ１）

【文献】米国特許出願公開第２００３／０１８５３４０（ＵＳ，Ａ１）

【文献】米国特許出願公開第２０１９／００１２７８９（ＵＳ，Ａ１）

【文献】国際公開第２０１３／０７３１６７（ＷＯ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／５７９

Ｇ０６Ｔ ７／００

(57)【特許請求の範囲】

【請求項1】

深度マップ生成のコンピュータ化された方法であって、前記方法は、プロセッサ及びメモリ回路（ＰＭＣ）によって実行され、前記方法は、
車両と少なくとも１つの撮像装置との間の相対移動中の２つの時点で前記少なくとも１つの撮像装置によって取得された第１画像及び第２画像を含む１対の画像を取得するステップであって、前記第１画像及び前記第２画像は、前記車両の表面部分のそれぞれの一部をキャプチャし、かつ、キャプチャされた前記一部は部分的に重ね合わせられ、前記１対の画像は、前記表面部分をキャプチャする画像全体の一部を構成する、取得するステップと、
前記画像全体の少なくとも一部に対応するセグメンテーションマップを取得するステップであって、前記セグメンテーションマップは、前記画像全体の前記少なくとも一部に含まれる１以上の車両コンポーネントに対応する１以上のセグメントを含む、取得するステップと、
前記セグメンテーションマップに従って、前記１対の画像を１以上のセクションに分割するステップと、
前記１以上のセクションの所定のセクションごとに、深度マップを生成するステップであって、
ｉ）前記所定のセクションの視差マップを計算するステップであって、前記視差マップは、前記第１画像の前記所定のセクション内のそれぞれのピクセルと前記第２画像内の前記所定のセクションの一致するピクセルとの間の位置の差を各々示す視差値を含み、前記一致するピクセルは、前記第１画像と前記第２画像との間の前記所定のセクションの変位に基づいて規定された範囲内で、かつ、前記第１画像内のそれぞれの前記ピクセルが属する前記第２画像内の同じ前記セグメント内で検索される、計算するステップと、
ｉｉ）前記視差マップに基づいて前記所定のセクションの深度マップを算出するステップであって、所定のセクションごとの前記深度マップは、前記１対の画像の深度マップを生成するために組み合わせられて使用可能である、算出するステップと、を含む、生成するステップと、を含む、コンピュータ化された方法。

【請求項2】

前記深度マップを生成するステップは、前記第１画像と前記第２画像との間の前記所定のセクションの前記変位を推定して、それによって、前記第１画像と前記第２画像との間の前記所定のセクションに重なり領域を生じさせるステップをさらに含み、
前記計算するステップは、前記所定のセクションの変位に基づいて前記所定のセクション内の前記重なり領域の視差マップを計算するステップを含み、
前記算出するステップは、前記視差マップに基づいて前記所定のセクション内の前記重なり領域の深度マップを算出するステップを含む、請求項１に記載のコンピュータ化された方法。

【請求項3】

前記１対の画像は、前記相対移動の方向に垂直な方向に沿って、前記セグメンテーションマップに従って１以上のセクションに分割される、請求項１に記載のコンピュータ化された方法。

【請求項4】

前記１対の画像は、前記セグメンテーションマップの前記１以上のセグメントに対応する１以上のセクションに分割される、請求項１に記載のコンピュータ化された方法。

【請求項5】

前記第１画像及び前記第２画像の間の前記所定のセクションの変位は、１以上の前の対の画像の前記所定のセクションの１以上の変位に関して推定される、請求項２に記載のコンピュータ化された方法。

【請求項6】

前記視差マップを計算するステップは、前記第１画像の前記重なり領域の所定のピクセルごとに、
前記変位に基づいて、かつ、前記所定のピクセルが属する同じ前記セグメント内で、前記第２画像内の範囲を規定するステップと、
規定された前記範囲内で、マッチング方法を使用して前記第２画像内の前記所定のピクセルの一致するピクセルを検索するステップと、
前記所定のピクセルと前記一致するピクセルとの間の位置の差を計算して、前記所定のピクセルに対応する視差値を生じさせるステップと、を含む、請求項２に記載のコンピュータ化された方法。

【請求項7】

前記マッチング方法は、セグメンテーション係数によって正則化された、最適化されたセミグローバルマッチング方法である、請求項６に記載のコンピュータ化された方法。

【請求項8】

前記最適化されたセミグローバルマッチング方法は、前記セグメンテーション係数に従ってそのコスト関数を調整することによって正則化され、前記セグメンテーション係数は、候補ピクセル及び前記候補ピクセルの１以上の隣接ピクセルが同じ前記セグメントに属するかどうかを示し、かつ、前記検索するステップは、前記規定された範囲の１以上の候補ピクセルから前記一致するピクセルを選択するために、調整された前記コスト関数を使用するステップを含む、請求項７に記載のコンピュータ化された方法。

【請求項9】

前記表面部分は前記車両の車台である、請求項１に記載のコンピュータ化された方法。

【請求項10】

前記第１画像及び前記第２画像は少なくとも５０％にわたって重ね合わせられる、請求項１に記載のコンピュータ化された方法。

【請求項11】

前記画像全体は、複数の時点で前記少なくとも１つの撮像装置によってキャプチャされた複数の画像をつなぎ合わせることによって生成され、前記セグメンテーションマップは前記画像全体に対応し、かつ、前記セグメンテーションマップは、前記表面部分に含まれる１以上の車両コンポーネントに対応する１以上のセグメントを含む、請求項１に記載のコンピュータ化された方法。

【請求項12】

深度マップ生成のコンピュータ化された方法であって、前記方法は、プロセッサ及びメモリ回路（ＰＭＣ）によって実行され、前記方法は、
車両と少なくとも１つの撮像装置との間の相対移動中の２つの時点で前記少なくとも１つの撮像装置によって取得された第１画像及び第２画像を含む１対の画像を取得するステップであって、前記第１画像及び前記第２画像は、前記車両の表面部分のそれぞれの一部をキャプチャし、かつ、キャプチャされた前記一部は部分的に重ね合わせられ、前記１対の画像は、前記表面部分をキャプチャする画像全体の一部を構成する、取得するステップと、
前記画像全体の少なくとも一部に対応するセグメンテーションマップを取得するステップであって、前記セグメンテーションマップは、前記画像全体の前記少なくとも一部に含まれる１以上の車両コンポーネントに対応する１以上のセグメントを含む、取得するステップと、
前記セグメンテーションマップに従って、前記１対の画像を１以上のセクションに分割するステップと、
前記１以上のセクションの所定のセクションごとに、深度マップを生成するステップであって、
ｉ）前記所定のセクションの視差マップを計算するステップであって、前記視差マップは、前記第１画像の前記所定のセクション内のそれぞれのピクセルと前記第２画像内の前記所定のセクションの一致するピクセルとの間の位置の差を各々示す視差値を含み、前記一致するピクセルは、それぞれの前記ピクセルが属する同じ前記セグメント内で規定された範囲内で検索される、計算するステップと、
ｉｉ）前記視差マップに基づいて前記所定のセクションの深度マップを算出するステップであって、所定のセクションごとの前記深度マップは、前記１対の画像の深度マップを生成するために組み合わせられて使用可能である、算出するステップと、を含む、生成するステップと、を含み、
前記画像全体は、複数の時点で前記少なくとも１つの撮像装置によってキャプチャされた複数の画像をつなぎ合わせることによって生成され、前記セグメンテーションマップは前記画像全体に対応し、かつ、前記セグメンテーションマップは、前記表面部分に含まれる１以上の車両コンポーネントに対応する１以上のセグメントを含み、
前記セグメンテーションマップはセグメンテーションモデルを使用して生成され、前記セグメンテーションモデルは、前記車両の前記表面部分に含まれる前記１以上の車両コンポーネントに従って事前にセグメント化された前記表面部分の訓練画像のセットを備える訓練データセットを使用して訓練される、コンピュータ化された方法。

【請求項13】

前記１対の画像から特徴を抽出するステップと、前記第１画像及び前記第２画像の間の前記特徴を照合するステップと、前記相対移動の方向に垂直な方向に沿って、照合された前記特徴の垂直変位を計算するステップと、前記垂直変位に従って前記１対の画像を調整するステップと、をさらに含む、請求項１に記載のコンピュータ化された方法。

【請求項14】

前記一致するピクセルは、照合された前記特徴を考慮して、同じ前記セグメント内に規定される範囲で検索される、請求項１３に記載のコンピュータ化された方法。

【請求項15】

深度マップ生成のコンピュータ化されたシステムであって、前記システムは、プロセッサ及びメモリ回路（ＰＭＣ）を備え、前記プロセッサ及びメモリ回路（ＰＭＣ）は、
車両と少なくとも１つの撮像装置との間の相対移動中の２つの時点で前記少なくとも１つの撮像装置によって取得された第１画像及び第２画像を含む１対の画像を取得することであって、前記第１画像及び前記第２画像は、前記車両の表面部分のそれぞれの一部をキャプチャし、かつ、キャプチャされた前記一部は部分的に重ね合わせられ、前記１対の画像は、前記表面部分をキャプチャする画像全体の一部を構成する、取得することと、
前記画像全体の少なくとも一部に対応するセグメンテーションマップを取得することであって、前記セグメンテーションマップは、前記画像全体の前記少なくとも一部に含まれる１以上の車両コンポーネントに対応する１以上のセグメントを含む、取得することと、
前記セグメンテーションマップに従って、前記第１画像を１以上のセクションに分割することと、
前記第１画像の所定のセクションごとに、深度マップを生成することであって、
ｉ）前記所定のセクションの視差マップを計算するステップであって、前記視差マップは視差値を含み、各々は、前記第１画像の前記所定のセクション内のそれぞれのピクセルと前記第２画像内の前記所定のセクションの一致するピクセルとの間の位置の差を示し、前記一致するピクセルは、前記第１画像と前記第２画像との間の前記所定のセクションの変位に基づいて規定された範囲内で、かつ、前記第１画像内のそれぞれの前記ピクセルが属する前記第２画像内の同じ前記セグメント内で検索される、計算するステップと、
ｉｉ）前記視差マップに基づいて前記所定のセクションの深度マップを算出するステップであって、所定のセクションごとの前記深度マップは、組み合わせられて前記１対の画像の深度マップを生成するために使用可能である、算出するステップと、を含む、生成することと、を行うように構成される、コンピュータ化されたシステム。

【請求項16】

前記深度マップを生成する場合、前記ＰＭＣは、前記第１画像と前記第２画像との間の前記所定のセクションの前記変位を推定し、それによって、前記第１画像と前記第２画像との間の前記所定のセクションの重なり領域を生じさせるようにさらに構成され、
前記ＰＭＣは、前記所定のセクションの変位に基づいて前記所定のセクション内の前記重なり領域の視差マップを計算し、かつ、前記視差マップに基づいて前記所定のセクション内の前記重なり領域の深度マップを算出するように構成される、請求項１５に記載のコンピュータ化されたシステム。

【請求項17】

前記第１画像は、前記相対移動の方向に垂直な方向に沿って、前記セグメンテーションマップに従って１以上のセクションに分割される、請求項１５に記載のコンピュータ化されたシステム。

【請求項18】

前記第１画像は、前記セグメンテーションマップの前記１以上のセグメントに対応する１以上のセクションに分割される、請求項１５に記載のコンピュータ化されたシステム。

【請求項19】

前記第１画像及び前記第２画像の間の前記所定のセクションの変位は、１以上の前の対の画像の前記所定のセクションの１以上の変位に関して推定される、請求項１６に記載のコンピュータ化されたシステム。

【請求項20】

前記ＰＭＣは、
前記第１画像の前記重なり領域の所定のピクセルごとに、
前記変位に基づいて、かつ、前記所定のピクセルが属する同じ前記セグメント内で、前記第２画像の範囲を規定し、
規定された前記範囲内で、マッチング方法を使用して前記第２画像内の前記所定のピクセルの一致するピクセルを検索し、
前記所定のピクセルと前記一致するピクセルとの間の位置の差を計算して、前記所定のピクセルに対応する視差値を生じさせることによって、視差マップを計算するように構成される、請求項１６に記載のコンピュータ化されたシステム。

【請求項21】

前記マッチング方法は、セグメンテーション係数によって正則化された、最適化されたセミグローバルマッチング方法である、請求項２０に記載のコンピュータ化されたシステム。

【請求項22】

前記最適化されたセミグローバルマッチング方法は、前記セグメンテーション係数に従ってそのコスト関数を調整することによって正則化され、前記セグメンテーション係数は、候補ピクセル及び前記候補ピクセルの１以上の隣接ピクセルが同じ前記セグメントに属するかどうかを示し、かつ、検索することは、前記規定された範囲の１以上の候補ピクセルから前記一致するピクセルを選択するために、調整された前記コスト関数を使用することを含む、請求項２１に記載のコンピュータ化されたシステム。

【請求項23】

前記ＰＭＣは、前記１対の画像から特徴を抽出し、前記第１画像及び前記第２画像の間の前記特徴を照合し、前記相対移動の方向に垂直な方向に沿って、照合された前記特徴の垂直変位を計算し、かつ、前記垂直変位に従って前記１対の画像を調整するようにさらに構成される、請求項１５に記載のコンピュータ化されたシステム。

【請求項24】

前記一致するピクセルは、照合された前記特徴を考慮して、同じ前記セグメント内に規定された範囲内で検索される、請求項２３に記載のコンピュータ化されたシステム。

【請求項25】

コンピュータによって実行されると、深度マップ生成の方法をコンピュータに実行させる命令のプログラムを有形に具現化する、非一時的コンピュータ可読記憶媒体であって、前記方法は、
車両と少なくとも１つの撮像装置との間の相対移動中の２つの時点で前記少なくとも１つの撮像装置によって取得された第１画像及び第２画像を含む１対の画像を取得するステップであって、前記第１画像及び前記第２画像は、前記車両の表面部分のそれぞれの一部をキャプチャし、かつ、キャプチャされた前記一部は部分的に重ね合わせられ、前記１対の画像は、前記表面部分をキャプチャする画像全体の一部を構成する、ステップと、
前記画像全体の少なくとも前記一部に対応するセグメンテーションマップを取得するステップであって、前記セグメンテーションマップは、前記画像全体の前記少なくとも一部に含まれる１以上の車両コンポーネントに対応する１以上のセグメントを含む、取得するステップと、
前記セグメンテーションマップに従って、前記第１画像を１以上のセクションに分割するステップと、
前記第１画像の所定のセクションごとに、深度マップを生成するステップであって、
ｉ）前記所定のセクションの視差マップを計算するステップであって、前記視差マップは視差値を含み、各々は、前記第１画像の前記所定のセクション内のそれぞれのピクセルと前記第２画像の前記所定のセクションの一致するピクセルとの間の位置の差を示し、前記一致するピクセルは、前記第１画像と前記第２画像との間の前記所定のセクションの変位に基づいて規定された範囲内で、かつ、前記第１画像内のそれぞれの前記ピクセルが属する前記第２画像内の同じ前記セグメント内で検索される、計算するステップと、
ｉｉ）前記視差マップに基づいて前記所定のセクションの深度マップを算出するステップであって、所定のセクションごとの前記深度マップは、前記１対の画像の深度マップを生成するために組み合わせられて使用可能である、算出するステップと、を含む、生成するステップと、を含む、非一時的コンピュータ可読記憶媒体。

【発明の詳細な説明】

【技術分野】

【0001】

[001] 本開示の主題は、概して、深度推定の分野に関し、より具体的には、深度マップ生成の方法及びシステムに関する。

【背景技術】

【0002】

[002] 深度推定は、１以上の画像から深度情報を推定するために使用されるコンピュータビジョン技術のことをいう。深度推定アルゴリズムは通常、１以上の入力画像を必要とし、かつ、対応の深度画像を出力する。深度画像には、視点からの画像内のオブジェクトの距離に関する情報が含まれ、視点は通常、画像を撮影するカメラである。

【0003】

[003] 深度推定は、ロボット工学、自動運転、３Ｄシーン復元、拡張現実、３Ｄコンピュータグラフィックスのシャドウマッピングを含む多くのアプリケーションで使用可能であり、場合によっては、医学研究及び手術などの他の分野にも役立ち得る。

【0004】

[004] 画像から深度を推定することは、例えば問題の性質などのさまざまな要因により非常に困難であった。例えば、２Ｄビューと３Ｄビューとの間のマッピングは一意ではないので、単一の画像から深度を推定することの問題は不良設定の逆問題である。さらに、一部のアプリケーションでは、マッチングを低下させてステレオ対応を不完全にし得る、例えば照明特性、テクスチャレス領域、繰り返しパターン、反射面、オクルージョンなどの特定の理由により、問題はより複雑になり得る。

【0005】

[005] 現在、高精度に深度を取得するための特定の解決策には、Ｌｉｄａｒ又はＲａｄａｒなどの距離センサの使用が含まれる。ただし、一部のアプリケーションでは、その高い運用コストと、解釈することが難しい大規模なデータセットとが原因で、Ｌｉｄａｒを使用することには問題が発生する場合がある。

【発明の概要】

【0006】

[006] 本開示の主題の特定の態様によれば、深度マップ生成のコンピュータ化された方法が提供され、方法は、プロセッサ及びメモリ回路（ＰＭＣ）によって実行され、かつ：車両と少なくとも１つの撮像装置との間の相対移動中の２つの時点で前記少なくとも１つの撮像装置によって取得された第１画像及び第２画像を含む１対の画像を取得するステップであって、前記第１画像及び前記第２画像は、前記車両の表面部分のそれぞれの一部をキャプチャし、かつ、キャプチャされた前記一部は部分的に重ね合わせられ、前記１対の画像は、前記表面部分をキャプチャする画像全体の一部を構成する、取得するステップと；前記画像全体の少なくとも一部に対応するセグメンテーションマップを取得するステップであって、前記セグメンテーションマップは、前記画像全体の前記少なくとも一部に含まれる１以上の車両コンポーネントに対応する１以上のセグメントを含む、取得するステップと；前記セグメンテーションマップに従って、前記１対の画像を１以上のセクションに分割するステップと；前記１以上のセクションの所定のセクションごとに、深度マップを生成するステップであって：ｉ）前記所定のセクションの視差マップを計算するステップであって、前記視差マップは視差値を含み、各々は、前記第１画像の前記所定のセクション内のそれぞれのピクセルと前記第２画像の前記所定のセクションの一致するピクセルとの間の位置の差を示し、前記一致するピクセルは、それぞれの前記ピクセルが属する同じ前記セグメント内に規定された範囲内で検索される、計算するステップと；ｉｉ）前記視差マップに基づいて前記所定のセクションの深度マップを算出するステップであって、所定のセクションごとの前記深度マップは、前記１対の画像の深度マップを生成するために組み合わせられて使用可能である、算出するステップと、を含む、深度マップを生成するステップと、を含む。

【0007】

[007] 上記特徴に加えて、本開示の主題のこの態様に係る方法は、技術的に可能な任意の所望の組み合わせ又は順列で、以下に列挙される特徴（ｉ）～（ｘｉｉｉ）のうちの１以上を備え得る：
（ｉ）深度マップの生成は、前記第１画像及び前記第２画像の間の前記所定のセクションの変位を推定し、それによって、前記第１画像及び前記第２画像の間の前記所定のセクションに重なり領域を生じさせるステップをさらに含み得る。
前記計算するステップは、前記所定のセクションの前記変位に基づいて前記所定のセクション内の前記重なり領域の視差マップを計算するステップを含み得、前記一致するピクセルは、前記変位に基づいて規定された範囲内で、それぞれの前記ピクセルが属する同じ前記セグメント内で検索される。
前記計算するステップは、前記視差マップに基づいて前記所定のセクション内の前記重なり領域の深度マップを算出するステップを含み得る。
（ｉｉ）前記１対の画像は、前記相対移動の方向に垂直な方向に沿って、前記セグメンテーションマップに従って１以上のセクションに分割可能である。
（ｉｉｉ）前記１対の画像は、前記セグメンテーションマップ内の前記１以上のセグメントに対応する１以上のセクションに分割され得る。
（ｉｖ）前記第１画像及び前記第２画像の間の前記所定のセクションの前記変位は、画像の１以上の前の対内の前記所定のセクションの１以上の変位に関して推定され得る。
（ｖ）視差マップを計算するステップは、前記第１画像内の前記重なり領域内の所定の各ピクセルについて、前記変位に基づいて、かつ、前記所定のピクセルが属する同じ前記セグメント内で前記第２画像内の範囲を規定するステップと；規定された前記範囲内で、マッチング方法を使用して前記第２画像内の前記所定のピクセルに一致するピクセルを検索するステップと；前記所定のピクセルと前記一致するピクセルとの間の位置の差を計算し、前記所定のピクセルに対応する視差値を生じさせるステップと、を含み得る。
（ｖｉ）前記マッチング方法は、セグメンテーション係数によって正則化された、最適化されたセミグローバルマッチング方法であり得る。
（ｖｉｉ）前記最適化されたセミグローバルマッチング方法は、候補ピクセルと候補ピクセルの１以上の隣接ピクセルとが同じ前記セグメントに属するかどうかを示す前記セグメンテーション係数に従って当該方法のコスト関数を調整することによって正則化され得、前記検索するステップは、調整された前記コスト関数を使用して、規定された前記範囲内の１以上の候補ピクセルから前記一致するピクセルを選択するステップを含む。
（ｖｉｉｉ）前記表面部分は前記車両の車台である。
（ｉｘ）前記第１画像及び前記第２画像は少なくとも５０％にわたって重ね合わせられている。
（ｘ）前記画像全体は、複数の時点で前記少なくとも１つの撮像装置によってキャプチャされた複数の画像をつなぎ合わせることによって生成され得、かつ、前記セグメンテーションマップは、前記画像全体に対応し、かつ、前記表面部分に含まれる１以上の車両コンポーネントに対応する１以上のセグメントを含む。
（ｘｉ）前記セグメンテーションマップは、セグメンテーションモデルを使用して生成される。前記セグメンテーションモデルは、前記車両に含まれる前記１以上の車両コンポーネントに従って事前にセグメント化された前記車両の前記表面部分の訓練画像のセットを含む訓練データセットを使用して訓練され得る。
（ｘｉｉ）方法は、前記１対の画像から特徴を抽出するステップと、前記第１画像及び前記第２画像の間で前記特徴を照合するステップと、前記相対移動の方向に垂直な方向に沿って、照合された前記特徴の垂直変位を計算するステップと、前記垂直変位に従って前記１対の画像を調整するステップと、をさらに含み得る。
（ｘｉｉｉ）前記一致するピクセルは、前記照合された特徴を考慮して、同じ前記セグメント内に規定された範囲内で検索される。

【0008】

[008] 本開示の主題の他の態様によれば、プロセッサ及びメモリ回路（ＰＭＣ）を備えるコンピュータ化されたシステム深度マップ生成が提供され、前記プロセッサ及びメモリ回路（ＰＭＣ）は：車両と少なくとも１つの撮像装置との間の相対移動中の２つの時点での前記少なくとも１つの撮像装置によって取得された第１画像及び第２画像を含む１対の画像を取得することであって、前記第１画像及び前記第２画像は、前記車両の表面部分のそれぞれの一部をキャプチャし、かつ、キャプチャされた前記一部は部分的に重ね合わせられ、前記１対の画像は、前記表面部分をキャプチャした画像全体の一部を構成する、取得することと；前記画像全体の少なくとも前記一部に対応するセグメンテーションマップを取得することであって、前記セグメンテーションマップは、前記画像全体の前記少なくとも一部に含まれる１以上の車両コンポーネントに対応する１以上のセグメントを含む、取得することと；前記セグメンテーションマップに従って、前記第１画像を１以上のセクションに分割することと；前記第１画像内の所定のセクションごとに、深度マップを生成することであって、生成することは：ｉ）前記所定のセクションの視差マップを計算することであって、前記視差マップは、前記第１画像の前記所定のセクションのそれぞれのピクセルと前記第２画像内の前記ピクセルの一致するピクセルとの間の位置の差を各々が示す視差値を含み、前記一致するピクセルは、それぞれの前記ピクセルが属する同じ前記セグメント内で規定された範囲内で検索される、計算することと；ｉｉ）前記視差マップに基づいて前記所定のセクションの深度マップを算出することであって、所定のセクションごとの前記深度マップは、前記１対の画像の深度マップを生成するために組み合わせられて使用可能である、算出することと、含む、生成することと、を行うように構成される。

【0009】

[009] 開示された主題のこの態様は、必要な変更を加えて、技術的に可能な任意の所望の組み合わせ又は順列で、方法に関して上に列挙された特徴（ｉ）～（ｘｉｉｉ）のうちの１以上を含み得る。

【0010】

[0010] 本開示の主題の他の態様によれば、コンピュータによって実行されると、深度マップ生成の方法をコンピュータに実行させる命令のプログラムを有形に具現化する、非一時的コンピュータ可読記憶媒体が提供され、前記方法は：車両と少なくとも１つの撮像装置との間の相対移動中の２つの時点で前記少なくとも１つの撮像装置によって取得された第１画像及び第２画像を含む１対の画像を取得するステップであって、前記第１画像及び前記第２画像は、前記車両の表面部分のそれぞれの一部をキャプチャし、かつ、キャプチャされた前記一部は部分的に重ね合わせられ、前記１対の画像は、前記表面部分をキャプチャする画像全体の一部を構成する、ステップと；前記画像全体の少なくとも前記一部に対応するセグメンテーションマップを取得するステップであって、前記セグメンテーションマップは、前記画像全体の前記少なくとも一部に含まれる１以上の車両コンポーネントに対応する１以上のセグメントを含む、取得するステップと；前記セグメンテーションマップに従って、前記１対の画像を１以上のセクションに分割するステップと；前記１以上のセクションの所定のセクションごとに、深度マップを生成するステップであって：ｉ）前記所定のセクションの視差マップを計算するステップであって、前記視差マップは、前記第１画像の前記所定のセクション内のそれぞれのピクセルと前記第２画像の前記所定のセクションの一致するピクセルとの間の位置の差を各々示す視差値を含み、前記一致するピクセルは、それぞれの前記ピクセルが属する同じ前記セグメント内に規定された範囲内で検索される、計算するステップと；ｉｉ）前記視差マップに基づいて前記所定のセクションの深度マップを算出するステップであって、所定のセクションごとの前記深度マップは、前記１対の画像の深度マップを生成するために組み合わせられて使用可能である、算出するステップと、を含む、深度マップを生成するステップと、を含む。

【0011】

[0011] 開示された主題のこの態様は、必要な変更を加えて、技術的に可能な任意の所望の組み合わせ又は順列で、方法に関して上に列挙された特徴（ｉ）～（ｘｉｉｉ）のうちの１以上を含み得る。

【図面の簡単な説明】

【0012】

[0012] 本開示を理解し、かつ、本開示が実際にどのように実施され得るかを理解するため、ここで、添付の図面を参照して、非限定的な例としてのみ実施形態を説明する。

【0013】

【図1A】[0013] 本開示の主題の特定の実施形態に係る深度推定システムの機能ブロック図を概略的に示している。

【図1B】[0014] 本開示の主題の特定の実施形態に係る車両に対する撮像装置の例示的な配列を概略的に示している。

【図2】[0015] 本開示の主題の特定の実施形態に係る深度マップ生成の一般化されたフローチャートを示している。

【図3】[0016] 本開示の主題の特定の実施形態に係る、所定のセクションごとに深度マップを生成する一般化されたフローチャートを示している。

【図4】[0017] 本開示の主題の特定の実施形態に係る、視差マップを計算する一般化されたフローチャートを示している。

【図5】[0018] 本開示の主題の特定の実施形態に係る、撮像装置によってキャプチャされた複数の画像の一例を示している。

【図6】[0019] 本開示の主題の特定の実施形態に係る、垂直アライメントの例示的な図を示している。

【図7】[0020] 本開示の主題の特定の実施形態に係る、画像全体及び対応のセグメントの一例を示している。

【図8A】[0021] 本開示の主題の特定の実施形態に係る、１対の画像を複数のセクションに分割する一例を示している。

【図8B】[0021] 本開示の主題の特定の実施形態に係る、１対の画像を複数のセクションに分割する一例を示している。

【図9】[0022] 本開示の主題の特定の実施形態に係る、セクションごとの変位を推定する一例を示している。

【図10A】[0023] 本開示の主題の特定の実施形態に係る、改善されたセミグローバルマッチング方法を使用して一致するピクセルを検索する例を示している。

【図10B】[0023] 本開示の主題の特定の実施形態に係る、改善されたセミグローバルマッチング方法を使用して一致するピクセルを検索する例を示している。

【図11】[0024] 本開示の主題の特定の実施形態に係る、さまざまなセクションの重なり領域間の共通の重なり領域を示している。

【図12】[0025] 本開示の主題の特定の実施形態に係る、元の車台画像及び車台に対応する完全な深度マップの一例を示している。

【発明を実施するための形態】

【0014】

[0026] 以下の詳細な説明では、本開示の完全な理解を提供するために、多くの具体的な詳細が記載されている。しかしながら、当業者は、本開示の主題がこれらの具体的な詳細なしで実施され得ることを理解するであろう。他の例では、本開示の主題を不明瞭にしないように、周知の方法、手順、構成要素及び回路は詳細には説明されていない。

【0015】

[0027] 別段特に明記しない限り、以下の説明から明らかなように、明細書全体を通じて、「取得する」、「キャプチャする」、「生成する」、「推定する」、「分割する」、「抽出する」、「実行する」、「計算する」、「算出する」、「規定する」、「検索する」、「照合する」、「調整する」、「つなぎ合わせる」、「訓練する」などの用語を利用して説明することは、データを処理及び／又は他のデータに変換するコンピュータのアクション及び／又はプロセスを参照すること、前記データは電子などの物理的な量として表されること、及び／又は、前記データは物理オブジェクトを表すことを理解されたい。「コンピュータ」という用語は、非限定的な例として、本願で開示される深度マップ生成システム及びその一部を含む、データ処理機能を有するあらゆる種類のハードウェアベースの電子機器をカバーするように広く解釈されるべきである。

【0016】

[0028] 本明細書の教示による工程は、所望の目的のために特別に構成されたコンピュータによって、又は、非一時的コンピュータ可読記憶媒体に格納されたコンピュータプログラムによって所望の目的のために特別に構成された汎用コンピュータによって実行され得る。

【0017】

[0029] 本明細書で使用される「非一時的メモリ」、「非一時的記憶媒体」及び「非一時的コンピュータ可読記憶媒体」という用語は、本開示の主題に適した任意の揮発性又は不揮発性コンピュータメモリをカバーするように広く解釈されるべきである。

【0018】

[0030] 本開示の主題の実施形態は、任意の特定のプログラミング言語を参照して説明されていない。本明細書に記載されているように、本開示の主題の教示を実装するために、さまざまなプログラミング言語が使用され得ることが理解される。

【0019】

[0031] 本明細書で使用される場合、「例えば（for example）」、「など」、「例えば（for instance）」という語句及びそれらの変形は、本開示の主題の非限定的な実施形態を説明する。本明細書における「ある場合」、「場合によっては」、「他の場合」又はそれらの変形への参照は、実施形態に関連して説明される特定の特徴、構造又は特性が、本開示の主題の少なくとも１つの実施形態に含まれることを意味する。したがって、「ある場合」、「場合によっては」、「他の場合」又はそれらの変形の出現は、必ずしも同じ実施形態を参照しているとは限らない。

【0020】

[0032] 別段特に明記しない限り、別個の実施形態の文脈で説明される本開示の主題の特定の特徴が、単一の実施形態において組み合わせて提供され得ることを理解されたい。逆に、単一の実施形態の文脈で説明される本開示の主題のさまざまな特徴は、別個に又は任意の適切なサブコンビネーションで提供され得る。以下の詳細な説明では、方法及び装置の完全な理解を提供するため、多くの具体的な詳細が説明される。

【0021】

[0033] 本開示の主題の実施形態では、図に示される１以上の段階を異なる順序で実行してもよく、及び／又は、段階のうちの１以上の群を同時に実行してもよく、逆もまた同様である。

【0022】

[0034] これを考慮に入れて、本開示の主題の特定の実施形態に係る、深度推定システムの機能ブロック図を概略的に示す図１Ａに着目する。

【0023】

[0035] 図１Ａに示すシステム１００は、入力画像に基づく自動深度推定のためのコンピュータベースのシステムである。システム１００は、少なくとも１つの撮像装置１３０から２次元画像を取得し、かつ、２次元画像に対応する深度マップを生成するように構成され得る。本明細書で使用される深度マップという用語は、通常、画像を撮影する撮像装置である視点からの入力画像内のオブジェクトの表面の距離に関する情報を含む深度画像のことをいう。通常、深度推定の目的は、シーンの空間構造の表現を取得し、画像内のオブジェクトの３次元形状及び外観を復元することである。

【0024】

[0036] 本明細書で使用される撮像装置は、任意の種類の撮像取得装置又は画像取得機能を備えた汎用装置のことをいい、これらの装置は、例えば、画像及び／又はビデオ記録機能を有するデジタルカメラなどの、特定の解像度及び周波数で画像をキャプチャするために使用され得る。少なくとも１つの撮像装置１３０は、システム１００に動作可能に接続され得、かつ、キャプチャされた画像は、有線通信又は無線通信を介してシステム１００に送信され得る。ある実施形態では、少なくとも１つの撮像装置１３０が、図１Ｂを参照して例示及び説明するように、場合によっては単一の撮像装置を含む一方で、ある他の場合には複数の撮像装置を含む撮像装置のセットであり得る。

【0025】

[0037] 特定の実施形態によれば、画像内にキャプチャされたターゲットオブジェクトは、車両又はその一部であり得る。本明細書で使用される「車両」という用語は、自動車、バス、オートバイ、トラック、列車及び飛行機などを含むがこれらに限定されない、あらゆる種類の自動車をカバーするように広く解釈されるべきであることに留意されたい。例として、画像は車両の車台画像であり得る。撮像装置は、車両が通過し得る検査通路の地面に埋め込まれ得る。別の例として、画像は車両の側面をキャプチャすることができる。撮像装置は、車両の少なくとも一方の側に（例えば、検査通路の少なくとも一方の側で支持構造に取り付けられて）配置（搭載又は他の方法で設置）され得る。場合によっては、車両の両側の画像が同時に取得されて処理され得るように、車両の両側に撮像装置を配置することができる。

【0026】

[0038] 特定の実施形態によれば、車両は、そのような撮像装置を備えた検査通路を通過する移動車両であり得る。ある他の実施形態では、撮像装置が、車両に対して移動するように可動プラットフォームに搭載されている一方で、車両は静止した車両であり得る。

【0027】

[0039] ここで図１Ｂを参照すると、本開示の主題の特定の実施形態に係る車両に対する撮像装置の例示的な配列が示されている。

【0028】

[0040] １以上の撮像装置１４２が、車両１４０が通過する検査通路の地下に埋め込まれ、かつ、車両と撮像装置との間の相対移動中のさまざまな時点で車両１４０の車台の画像をキャプチャするように構成されている。場合によっては、車両の全範囲をカバーするために複数の画像装置が使用され得る。例えば、図１Ｂに示すように、３台のカメラを含む撮像装置のセットが、車両の幅の方向に沿って地下に設置され、かつ、全幅をカバーするように特定の位置及び向きで配列される。場合によっては、既定の領域に対応する視野（ＦＯＶ）をカバーする画像をキャプチャするように、車両に対して特定の方法で撮像装置が配列され得る。所定の時点で３台の撮像装置によってキャプチャされた３つの画像がともにつなぎ合わせられて、車両の幅に沿った車台の完全な「スライス」を提供することができる。

【0029】

[0041] 移動は車両と撮像装置との間で相対的であるので、ある実施形態では、移動する撮像装置のモデル化によって、移動する車両のモデル化が実現され得る（すなわち、撮像装置が静止車両に対して移動しているかのように）。したがって、撮像装置の構造（例えば、カメラのセットの位置及び向き）の時間における変換が識別され得る。図１Ｂの１５０に示すように、カメラ位置のアレイが示されており、列（例えば、ｄ_１１、ｄ_２１、ｄ_３１）は、車両の幅に沿っており、かつ、撮像装置のセット内の相対位置を表している一方で、行（例えば、ｄ_１１、ｄ_１２、．．．ｄ_１ｎ）は、相対移動の方向に沿っており、かつ、相対移動中のさまざまな時点の撮像装置のセットの相対位置を表している。

【0030】

[0042] 本開示は、撮像装置及び／又は撮影される画像の特定の数、タイプ、適用範囲及び見方によっても、撮像装置による画像の特定の生成方法によっても、限定されないことを理解されたい。

【0031】

[0043] 任意選択的に、ある実施形態では、撮像装置が照明機能と統合されて、高解像度及び高品質で画像がキャプチャされ得るようにすることができる。代替的に、場合によっては、撮像装置のＦＯＶをカバーする照明を提供するために、撮像装置に近接して配置された１以上の照明装置を提供することができる。例として、表面部分が車台である場合、照明装置は、地下であって撮像装置の隣に位置決めされ得る。表面部分が車両の側面である場合、照明装置は、通路の側面に位置決めされて、画像取得のための周辺照明を提供することができる。任意選択的に、画像取得及び／又は照明は、車両の存在／接近を検出可能な外部検出装置（例えば、ロードループ、ＩＲビーム、ＶＭＤなど）によってトリガされ得る。

【0032】

[0044] 撮像装置１３０（及び、ある場合に照明装置）はシステム１００によって制御され得る。システム１００は、撮像装置（及び、ある場合に照明装置）に動作可能に接続され、かつ、装置を制御し（例えば、画像取得及び照明操作を同期化する）、設定段階でシステムを較正し、かつ、深度マップを生成するために、車両の取得された画像を処理するために使用され得る。

【0033】

[0045] 少なくとも１つの撮像装置１３０が、車両と撮像装置との間の相対移動中の複数の時点で複数の画像（本明細書ではフレーム又は画像フレームともいう）を取得するように構成され得る。各画像は、それぞれの時点で既定の領域内に入るそれぞれの一部／スライスをキャプチャする。特定の実施形態によれば、フレームの各対の間の重なり領域がともにターゲット表面部分全体（例えば、車台）をカバーすることができる方法で、複数の画像内にキャプチャされた複数の一部を部分的に重ね合わせるように、画像取得が実行される。

【0034】

[0046] ここで図５を参照すると、本開示の主題の特定の実施形態に係る、撮像装置によってキャプチャされた複数の画像の一例が示されている。

【0035】

[0047] ｆ_１、ｆ_２、ｆ_３、．．．、ｆ_ｎ－１、ｆ_ｎとして示される一連の画像フレームは、車両と撮像装置との間の相対移動中の複数のｎ時点で撮像装置によってキャプチャされる。図示するように、フレームｆ_１－ｆ_ｎは、車台のそれぞれの一部をキャプチャし、キャプチャされた部分は範囲内で部分的に重ね合わせられる。図１Ｂを参照して上述したように、移動する車両は、撮像装置が静止車両に対して移動しているかのようにモデル化され得る。図示のように、フレームは、中間にｄ_１、ｄ_２、．．．、ｄ_ｎの距離で位置決めされた複数の撮像装置によるものであるかのように撮影される。

【0036】

[0048] 一部の実施形態では、重ね合わせられた隣接部分（隣接フレームによってキャプチャされる）の数は、さまざまに規定され得、かつ、２～Ｎ（Ｎ＞２）の範囲であり得る。これは、例えば、車両と撮像装置との間の相対運動の速度、及び、撮像装置のキャプチャレートに関連し得る。例として、２つの隣接するフレームによってキャプチャされた２つの隣接する部分ごとに、２つの部分の間の重複領域が２つの画像において２回キャプチャされるように重ね合わせられ得る。別の例として、キャプチャレートが高い場合、５つの隣接部分ごとに重ね合わせられ得、いくつかの表面ポイントが２つの画像でキャプチャされ得る一方で、他のいくつかのポイントが５つの画像すべてでキャプチャされ得る。説明を簡単にするため、実施形態の一部では、隣接する部分をキャプチャする画像が重ね合わせられる（すなわち、画像の範囲が重ね合わせられる）と言及されることに留意されたい。

【0037】

[0049] 図１Ａの説明を続けると、システム１００は、ハードウェアベースのＩ／Ｏインタフェース１２６及びストレージユニット１２２に動作可能に接続されたプロセッサ及びメモリ回路（ＰＭＣ）１０２を備え得る。ＰＭＣ１０２は、図２～図４を参照してさらに詳細に説明するオペレーティングシステム１００に必要な処理を提供するように構成される。ＰＭＣ１０２は、プロセッサ（別個に図示せず）及びメモリ（別個に図示せず）を備える。ＰＭＣ１０２のプロセッサは、ＰＭＣに含まれる非一時的コンピュータ可読メモリに実装されたコンピュータ可読命令に従っていくつかの機能モジュールを実行するように構成され得る。このような機能モジュールは、以後、ＰＭＣに含まれるものとして参照される。

【0038】

[0050] 本明細書で参照されるプロセッサという用語は、データ処理機能を有する任意の処理回路をカバーするように広く解釈されるべきであること、かつ、本開示は、そのタイプ又はプラットフォーム若しくはそこに含まれる処理コアの数に限定されないことに留意されたい。

【0039】

[0051] 特定の実施形態によれば、ＰＭＣ１０２に含まれる機能モジュールは、パーティショニングモジュール１０４、視差マップ生成器１０８及び深度マップ生成器１１２を備え得る。任意選択的に、ＰＭＣ１０２は変位推定モジュール１０６をさらに備え得る。視差マップ生成器１０８はマッチングモジュール１１０を備え得る。ＰＭＣに含まれる機能モジュールは、それらの間で動作可能に接続され得る。

【0040】

[0052] 本開示の特定の実施形態は、車両画像の深度マップ生成を参照しているが、これは、例示のみを目的としており、かつ、本開示を決して限定するものとみなされるべきではないことに留意されたい。同様に、本開示の主題は、同様の方法で他のオブジェクト又はエンティティをキャプチャする画像に適用可能であり得る。

【0041】

[0053] 本開示の特定の実施形態によれば、ＰＭＣ１０２は、（例えば、ハードウェアベースのＩ／Ｏインタフェース１２６を介して）、車両と少なくとも１つの撮像装置１３０との間の相対移動中の２つの時点で少なくとも１つの撮像装置１３０によって取得される第１画像（第１フレームともいう）及び第２画像（第２フレームともいう）を含む１対の画像を取得するように構成され得る。第１画像及び第２画像は、車両の表面部分のそれぞれの一部をキャプチャし、かつ、キャプチャされた一部は、範囲内で部分的に重ね合わせられる。１対の画像は、表面部分をキャプチャした画像全体の一部を構成する。

【0042】

[0054] 表面部分は、上述した方法で画像がキャプチャされ得る車両の任意の部分を参照し得る。表面という用語が使用されているが、必ずしも、車両の表面のみが画像によってキャプチャされ得ることを意味するわけではない。場合によっては、表面の向こう側（例えば、車両の内部）であるが、視点から観察可能な任意のコンテンツが、表面部分の範囲に含まれるものとみなされ得る。例として、表面部分は車両の車台であり得る。別の例として、表面部分は車両の片側であり得る。その場合、車両シート、運転手などの内部部分の一部は、それらが撮像装置の視点から観察可能である限り、撮像装置によってキャプチャされ得、及びしたがって、表面部分の範囲とみなされ得る。

【0043】

[0055] ＰＭＣ１０２は、画像全体の少なくとも一部に対応するセグメンテーションマップを（例えば、セグメンテーションモジュール１３２からハードウェアベースのＩ／Ｏインタフェース１２６を介して）取得するようにさらに構成され得る。セグメンテーションマップは、画像全体の少なくとも一部に含まれる１以上の車両コンポーネントに対応する１以上のセグメントを含む。

【0044】

[0056] パーティショニングモジュール１０４は、セグメンテーションマップに従って１対の画像を１以上のセクションに分割するように構成され得る。１以上のセクションの所定のセクションごとに、視差マップ生成器１０８は、所定のセクションの視差マップを計算するように構成され得る。視差マップは視差値を含み、各視差値は、第１画像の所定のセクション内のそれぞれのピクセルと第２画像内の所定のセクションに一致するピクセルとの間の位置の差を示している。一致するピクセルは、それぞれのピクセルが属する同じセグメント内に規定された範囲で検索され得る。深度マップ生成器１１２は、視差マップに基づいて所定のセクションの深度マップを算出するように構成され得る。所定のセクションごとの深度マップは、１対の画像の深度マップを生成するために組み合わせられて使用可能である。

【0045】

[0057] 任意選択的に、ある実施形態では、ＰＭＣ１０２は、第１画像と第２画像との間の所定のセクションの変位を推定し、それによって、第１画像と第２画像との間の所定のセクションに重なり領域を生じさせるように構成された変位推定モジュール１０６をさらに備え得る。したがって、視差マップ及び深度マップは、所定のセクションの重なり領域について生成される。これらの機能モジュールによる画像処理の詳細については、図２～図４を参照して以下に説明する。

【0046】

[0058] ある実施形態では、ストレージユニット１２２は、取得された画像及びセグメンテーションマップを含む、システム１００への入力を格納するように構成され得る画像データベース１２３を含み得る。場合によっては、入力は、撮像装置１３０及びセグメンテーションモジュール１３２から事前に取得され、かつ、画像データベース１２３に格納されて、ＰＭＣによって取得されて処理され得る。ストレージユニット１２２は、例えば、視差マップ、深度マップなどの中間及び／又は出力処理結果のいずれかを格納するように構成され得る。代替的に、画像データベース１２３は、システム１００の外部、例えば、外部データレポジトリのうちの１つ、若しくは、外部システム又はプロバイダに存在することができ、かつ、画像は、Ｉ／Ｏインタフェース１２６を介して取得され得る。

【0047】

[0059] Ｉ／Ｏインタフェース１２６は、取得された画像及びセグメンテーションマップを入力として取得し、かつ、出力として深度マップを提供するように構成され得る。任意選択的に、システム１００は、入力及び／又は出力をユーザに表示するためにレンダリングするように構成されたグラフィカルユーザインタフェース（ＧＵＩ）１２４をさらに備え得る。任意選択的に、ＧＵＩは、オペレーティングシステム１００に対するユーザ指定入力を有効にするように構成され得る。

【0048】

[0060] また、図１Ａ及び／又は図１Ｂに図示するシステムは、分散コンピューティング環境に実装され得る。例として、図１Ａに示す機能モジュールの一部は、いくつかのローカル及び／又はリモートデバイスに分散され得、かつ、通信ネットワークを通じてリンクされ得る。別の例として、システム１００は、撮像装置１３０及び／又はセグメンテーションモジュール１３２とは異なる位置に配置され得る。場合によっては、撮像装置１３０及び／又はセグメンテーションモジュール１３２の機能又はその少なくとも一部はシステム１００に統合され得る。例えば、ある実施形態では、システム１００は、図２を参照して以下に説明するように、セグメンテーションモジュール１３２をさらに備え得、かつ、セグメンテーションを実行するように構成され得る。

【0049】

[0061] 当業者は、本開示の主題の教示が、図１Ａ及び図１Ｂに図示するシステムに拘束されないことを容易に理解するであろう；同等及び／又は変更された機能が、別の方法で統合又は分割され得、かつ、ソフトウェアとファームウェア及びハードウェアとの適切な組み合わせで実装され得る。図１Ａ及び図１Ｂのシステムは、スタンドアロンネットワークエンティティであり得る、又は、他のネットワークエンティティと完全に又は部分的に統合され得る。当業者はまた、データレポジトリ又はその中のストレージユニットが、他のシステムと共有され得るか、又は、サードパーティ機器を含む他のシステムによって提供され得ることを容易に理解する。

【0050】

[0062] 必ずしもそうである必要はないが、システム１００の動作プロセスは、図２～図４に関して説明した方法の段階の一部又はすべてに対応し得る。同様に、図２～図４に関して説明した方法及びそれらの可能な実装はシステム１００によって実装され得る。したがって、図２～図４に関して説明した方法に関連して説明した実施形態は、必要な変更を加えて、システム１００の様々な実施形態として実装され得、また、その逆も同様に可能である。

【0051】

[0063] ここで図２を参照すると、本開示の主題の特定の実施形態に係る深度マップ生成の一般化されたフローチャートが概略的に示されている。

【0052】

[0064] 第１画像及び第２画像を含む１対の画像が、（例えば、図１Ａに示すＩ／Ｏインタフェース１２６を介してＰＭＣ１０２によって）取得され得る（２０２）。１対の画像は、車両と少なくとも１つの撮像装置との間の相対移動中の２つの時点で、少なくとも１つの撮像装置によって取得される。前述したように、少なくとも１つの撮像装置は、車両と撮像装置との間の相対移動中に複数の時点で画像を連続的に取得するので、各画像は、所定の時点で（撮像装置の視野（ＦＯＶ）に対応する）既定の領域内にある車両の表面部分の特定の一部（例えば、「スライス」）をキャプチャする。したがって、対の第１画像及び第２画像は、表面部分のそれぞれの一部をキャプチャし、かつ、キャプチャされた一部は部分的に重ね合わせられる。例として、１対の画像は、図５を参照して上述したように、複数の画像から取られた２つのフレームであり得る。

【0053】

[0065] 上述したように、例えば、相対移動の速度及び撮像装置のキャプチャレートなどの要因により、部分的に重ね合わせられる隣接フレームの数は２～Ｎ（Ｎ＞２）の範囲であり得る。したがって、場合によっては、第１画像及び第２画像は、例えば、図５に示すように、連続する時点ｔ_１及びｔ_２でキャプチャされたフレームｆ_１及びｆ_２など、２つの連続する時点で取得され得る。他の場合にでは、フレームｆ_１とｆ_ｎとが重なり領域を共有している限り、第１画像及び第２画像は、例えば、時点ｔ_１及びｔ_５でキャプチャされたフレームｆ_１及びｆ_５、又は、時点ｔ_１及びｔ_ｎでキャプチャされたフレームｆ_１及びｆ_ｎなどの、第１時点と後続の時点とで取得され得る。一例では、第１画像及び第２画像は少なくとも５０％にわたって重ね合わせられる。

【0054】

[0066] 特定の実施形態によれば、一連の画像がともに組み合わせられて、表面部分をキャプチャする画像全体を形成することができる。例えば、フレームがつなぎ合わせられてつなぎ合わせ画像を形成することができる。１対の画像は、表面部分をキャプチャした画像全体の一部を構成する。通常、比較的高い解像度を有するこのようにつなぎ合わせられた画像は、例えば、ブロック２０４を参照して以下に説明するように、セグメンテーションの目的で使用され得る。フレームのシーケンス全体に対する特定のフレームの位置は、画像全体を作成するプロセス中に確保され得、かつ、その後のプロセスで、生成された深度マップをつなぎ合わせるために使用され得る。場合によっては、つなぎ合わせられた画像の生成機能又は少なくともその一部はＰＭＣ１０２内に統合され得る。代替的に、そのような機能は、撮像デバイス又はあるその他の画像処理モジュールによって提供される可能性があり、かつ、つなぎ合わせられた画像は、Ｉ／Ｏインタフェースを介してＰＭＣに送信され得る。

【0055】

[0067] ある実施形態では、任意選択的に、キャプチャされた１対の画像は、深度推定に使用される前に、（例えば、撮像装置１３０によって、又は、それに送信されるとシステム１００のＰＭＣ１０２によって）前処理され得る。例として、前処理は、方向不変系を確保するために１対の画像に適用される垂直アライメントプロセスを含み得る。具体的には、第１画像及び第２画像を特徴付ける特徴がそれぞれ抽出され得る。例として、特徴は、画像の高コントラスト領域から抽出され得、かつ、例えば、エッジ及びコーナなどを含み得る。例えば、場合によっては、コーナ（例えば、２以上のエッジの交差部）検出アルゴリズムが使用されて特徴を見つけることができる。抽出された特徴は、第１画像及び第２画像の間で照合され得る。例として、例えば、ユークリッド距離、ハミング距離などの距離メトリックを使用することによって特徴マッチングが実行され得る。照合された特徴の垂直変位は、垂直方向（すなわち、相対移動の方向に垂直な方向）に沿って計算され得る。１対の画像は垂直変位に応じて調整され得る。

【0056】

[0068] ここで図６を参照すると、本開示の主題の特定の実施形態に係る垂直アライメントの例示的な図が示されている。

【0057】

[0069] 車両の車台のそれぞれの部分をキャプチャした１対の画像ｆ_１及びｆ_２が図６に示されている。Ｘ軸は、車両と画像装置との間の相対移動の方向を表している。Ｙ軸は車両の幅に沿った方向を表している。上述したように特徴抽出及び特徴マッチングを実行した後、照合された特徴のうちの１つは、ｆ_１における座標（ｘ１、ｙ１）及びｆ_２における座標（ｘ２、ｙ２）で示されるコーナ特徴として例示される。コーナ特徴の垂直変位は、Ｙ軸の方向（すなわち、相対移動に垂直な方向）に沿って計算され得る。垂直変位は、照合された特徴がｆ_１及びｆ_２の間でＹ方向に移動した範囲を示している。言い換えれば、垂直変位は、移動から生じるものとしてＹ方向の（ｘ２、ｙ２）及び（ｘ１、ｙ１）の間の相対移動を表している。２つのフレーム間に照合された特徴が複数ある場合、照合された各特徴の垂直変位に基づいて、平均垂直変位が計算され得る。１対の画像は、（平均）垂直変位に従って調整／アライメントされ得る。例えば、ｆ_２は、平均垂直変位に基づいてＹ方向にシフトされ得る。したがって、調整後、フレームｆ_１及びｆ_２は垂直方向にアライメントされ、それによって、視差の推定がＸ軸（すなわち、相対移動の方向）に沿って実行されることを可能にする。

【0058】

[0070] 図２の説明を続けると、（例えば、図１Ａに示すＩ／Ｏインタフェース１２６を介してＰＭＣ１０２によって）画像全体の少なくとも一部に対応するセグメンテーションマップ（すなわち、１対の画像が画像全体の一部を構成する）が取得され得る（２０４）。セグメンテーションマップは、画像全体の少なくとも一部に含まれる１以上の車両コンポーネントに対応する１以上のセグメントを含む。例として、車両コンポーネントは車両の機械的コンポーネントであり得る。

【0059】

[0071] 特定の実施形態によれば、複数の時点で少なくとも１つの撮像装置によってキャプチャされた複数の画像をつなぎ合わせることによって、画像全体が生成され得る。セグメンテーションマップは、画像全体に対応し得、かつ、表面部分に含まれる１以上の車両コンポーネントに対応する１以上のセグメントを含み得る。

【0060】

[0072] 特定の実施形態によれば、セグメンテーションマップは、画像全体の一部のみに対応するように生成され得る。例として、第１画像及び第２画像を取得すると、第１画像及び第２画像がつなぎ合わせられて、車台の画像全体の部分画像を形成することができ、かつ、部分画像に対してセグメンテーションが実行されて、部分画像に対応するセグメンテーションマップを取得することができる。このような場合、セグメンテーションマップは、一連の画像をスキャンして取得している間に「オンザフライ」で生成され得る。

【0061】

[0073] 本開示では、深度マップがセグメンテーションに基づいて生成され、それによって、精度及び効率などの深度推定システムの性能を改善することが提案される。これは、少なくとも、さまざまな車両コンポーネント、特に機械コンポーネントが、通常、撮像装置に対してさまざまな深度レベルに対応するという事実によるものである。したがって、セグメンテーションに従って画像を分割すること、同じセグメント内の一致するピクセルを検索すること、及び、セグメンテーション係数によって正則化された特定のマッチング方法を使用することを含む、セグメンテーションに関して深度推定を実行することによって、生成された深度マップは、より高い精度でより効率的な方法で生成され得る。

【0062】

[0074] 車両部品（例えば、車台など）の機械コンポーネントへの分割は、例えば、必要な解像度などに応じて変化し得ることに留意されたい。例として、特定の機械コンポーネントがさらにサブコンポーネントに分割されることが可能である。したがって、セグメントと機械コンポーネントとの間の対応／マッピングは、固定されておらず、かつ、それに応じて適合させられ得ることを理解されたい。例えば、１つのセグメントが１以上の機械コンポーネントに対応し得る、又は代替的に、１つの機械コンポーネントが１以上のセグメントに対応し得る。本開示は、機械コンポーネントの特定の分割及び／又はセグメントと機械コンポーネントとの間の対応によって限定されない。

【0063】

[0075] 図７は、本開示の主題の特定の実施形態に係る画像全体及び対応のセグメントの一例を示している。図示するように、例示的な画像７０４は車両の車台をキャプチャしている。画像７０４は、７０２に示されるように複数のセグメントにセグメント化される。７０２のセグメントが以下の例示的な機械コンポーネント：排気装置、燃料タンク、エンジン、車輪、サスペンション及びシャーシなどに対応するように、セグメンテーションが実行される。例として、現在の図では、排気装置コンポーネント全体に対応する１つのセグメント７０６がある。しかしながら、他の場合には、排気装置は、例えば１以上の排気管などのサブコンポーネント／パーツにさらに分割され得、かつ、セグメントはサブコンポーネントに対応し得る。

【0064】

[0076] 特定の実施形態によれば、セグメンテーションモデルを使用してセグメンテーションマップが生成され得る。セグメンテーションモデルは機械学習に基づき得る。例として、セグメンテーションモデルは、例えばディープラーニングニューラルネットワーク（ディープニューラルネットワーク又はＤＮＮともいう）などのセグメンテーションディープラーニングモデルとして実装され得る。セグメンテーションディープラーニングモデルはセグメンテーションモジュール１３２に含まれているものとみなされ得る。前述したように、ある実施形態では、セグメンテーションモジュールの機能又は少なくともその一部がシステム１００に統合され得る。言い換えると、場合によっては、システム１００は、上述したようにセグメンテーションを実行してセグメンテーションマップを生成するように構成され得る。

【0065】

[0077] 本明細書で参照されるＤＮＮは、それぞれのＤＮＮアーキテクチャに従って組織化された複数の層を含む教師あり又は教師なしＤＮＮのことであり得る。非限定的な例として、ＤＮＮの層は、畳み込みニューラルネットワーク（ＣＮＮ）アーキテクチャ、リカレントニューラルネットワークアーキテクチャ、再帰型ニューラルネットワークアーキテクチャ、ＧＡＮアーキテクチャ又はその他に従って組織化され得る。任意選択的に、レイヤのうちの少なくとも一部は複数のＤＮＮサブネットワークで組織化され得る。ＤＮＮの各層は、通常、当技術分野で次元、ニューロン又はノードといわれる複数の基本的な計算エレメント（ＣＥ）を含み得る。

【0066】

[0078] ＤＮＮの重み付け及び／又はしきい値は、訓練の前に最初に選択され得、かつ、訓練中にさらに反復して調整又は変更されて、訓練済みＤＮＮの重み付け及び／又はしきい値の最適なセットを実現することができる。各反復の後、ＤＮＮによって生成された実際の出力と、それぞれのデータの訓練セットに関連付けられたターゲット出力との間の差が決定され得る。この差はエラー値として参照され得る。エラー値を示すコスト関数が既定の値未満である場合、又は、反復間のパフォーマンスの限定された変化が達成された場合、訓練は完了したものと判断され得る。

【0067】

[0079] 機械学習モデルの重み付け／しきい値を調整するために使用される入力データのセットは、以下、訓練セット又は訓練データセット又は訓練データという。

【0068】

[0080] ある実施形態では、セグメンテーション学習モデルは、そこに含まれる１以上の車両コンポーネントに従って事前にセグメント化された、車両の表面部分の訓練画像のセットを含む訓練データセットを使用して訓練され得る。訓練画像及びセグメンテーションラベルは、セグメンテーションモデルへの訓練入力として提供される。訓練プロセスの目的は、入力画像のセグメンテーションラベル（例えば、ピクセル単位又はブロック単位のセグメンテーションラベル）を正確に予測することができるようにモデルを最適化することである。場合によっては、さまざまなタイプの車両の画像をカバーするさまざまな訓練データセットが提供されて、実行時にさまざまなタイプの次にくる車両をセグメント化することができるようにモデルを訓練することができる。

【0069】

[0081] ＤＮＮは、機械学習モデルを実装する一例として本明細書に記載されており、本開示の主題の教示は、上述したＤＮＮのタイプ又は特定のアーキテクチャに拘束されないことに留意されたい。上記に加えて又は上記に代えて、他のタイプ及び／又は構造化された機械学習モデルが使用され得る。

【0070】

[0082] 図２の説明を続けると、（例えば、図１Ａに示すパーティショニングモジュール１０４によって）１対の画像が、セグメンテーションマップに従って１以上のセクションに分割され得る（２０６）。

【0071】

[0083] 特定の実施形態によれば、１対の画像は、セグメンテーションマップに従って、相対移動の方向に垂直な方向に沿って、１以上のセクションに分割され得る。ある他の実施形態では、１対の画像は、セグメンテーションマップ内の１以上のセグメントに対応する１以上のセクションに分割され得る。

【0072】

[0084] ここで図８Ａ及び図８Ｂを参照すると、本開示の主題の特定の実施形態に従って、１対の画像を複数のセクションに分割する一例が示されている。

【0073】

[0085] 図８Ａは、時点ｔ及びｔ＋１でそれぞれキャプチャされた第１画像８０２及び第２画像８０４を含む１対の画像を示している。前述したように、第１画像及び第２画像は部分的に重ね合わせられる。この例では、重複領域は、２つの画像が取得される時系列に従って、第１画像８０２の右側部分及び第２画像８０４の左側部分として示されている。１対の画像を垂直方向（相対移動の方向に垂直な方向）に沿って複数のセクションに分割するため、水平分割線（すなわち、相対移動の方向に平行な水平）をどこに配置するかを決定する必要がある。

【0074】

[0086] 特定の実施形態によれば、セグメンテーションに基づいて分割線を重なり領域に配置することが決定される。例として、水平分割線８０６は、第２画像８０４の左側部分の２つのセグメント間の分離点８０８から始まり、かつ、水平方向に延在して、第１画像及び第２画像をセクション１及びセクション２に分割する。同様に、水平分割線８１２及び８１４は、１対の画像をセクション３及びセクション４にさらに分割する。したがって、１対の画像は、分割線によって垂直方向に沿って４つのセクション（例えば、セクション１～４）に分割される。

【0075】

[0087] 代替的に、第２画像における重なり領域のセグメントに従って分割を決定することに代えて、第１画像における重なり領域のセグメントに従って分割を実行することが可能である。例として、水平分割線は、第１画像８０４の右側部分（すなわち、重なり領域）上の２つのセグメント間の分離点８１０から開始し、かつ、水平に延在して１対の画像を２つのセクションに分離することができる。

【0076】

[0088] ある実施形態では、上述したように分割された特定のセクションは２以上のセグメントを含んでもよい。例えば、図８Ｂに示すように、水平分割線８０６によって分割されるセクション１は（分離線８１６によって分離される）２つのセグメントを含む一方で、セクション３及びセクション４は単一のセグメントを含む。

【0077】

[0089] さらなる実施形態によれば、相対移動の方向に垂直な方向に沿って（すなわち、上述した水平分割線で）１対の画像を分割することに代えて、１対の画像は、セグメンテーションマップの１以上のセグメントに対応する１以上のセクションに分割され得る。例として、セグメンテーションマップのセグメントに一致するようにセクションが分割され得る。例えば、図８Ｂの１対の画像８０２及び８０４は、水平分割線８０６に代えて分離線８１６を使用して分割され得る。

【0078】

[0090] 本開示は、１対の画像（例えば、具体的には、２つの画像の重なり領域のセグメント）のセグメンテーション（セグメンテーションマップに示される）に従う限り、セクションを分割する特定の方法（例えば、水平分割線又は分離線のいずれかを使用する）によって限定されない。

【0079】

[0091] 図２に戻ると、１以上のセクションが分割されると、所定のセクションごとに深度マップが生成され得る（２０８）。具体的には、特定の実施形態によれば、所定のセクションについて（例えば、図１Ａに示す視差マップ生成器１０８によって）視差マップが計算され得る（２１０）。視差マップは視差値を含み、各々が、第１画像の所定のセクション内のそれぞれのピクセルと、第２画像内のその所定のセクションの一致するピクセルとの間の位置の差を示している。一致するピクセルは、それぞれのピクセルが属する同じセグメント内に規定された範囲内で（例えば、マッチングモジュール１１０によって）検索され得る。視差マップに基づいて所定のセクションについて、（例えば、図１Ａに示す視差マップ生成器１１２によって）深度マップが算出され得る（２１２）。

【0080】

[0092] ある実施形態では、任意選択的に、計算効率のため、深度マップの生成は、１対の画像間の変位の推定に基づき得る。ここで図３を参照すると、本開示の主題の特定の実施形態に従って、所定のセクションごとに深度マップを生成する一般化されたフローチャートが示されている。

【0081】

[0093] 具体的には、第１画像及び第２画像の間の所定のセクションの変位が推定され（３０２）、それによって、第１画像及び第２画像の間の所定のセクションに重なり領域を生じさせることができる。所定のセクションの変位は、所定のセクションが第１画像及び第２画像の間でどの程度移動したかを参照する。言い換えると、所定のセクションの変位は、車両の移動に起因する２つの画像間の所定のセクションの相対位置を表している。ある実施形態では、第１画像及び第２画像の間の所定のセクションの変位は、画像の１以上の前の対における所定のセクションの１以上の変位に関して推定され得る。

【0082】

[0094] したがって、視差マップは、その変位に基づいて、所定のセクション内の重なり領域について計算され得る（３０４）。一致するピクセルは、変位に基づいて規定された範囲内で、かつ、それぞれのピクセルが属する同じセグメント内で検索される。深度マップは、視差マップに基づいて、所定のセクション内の重なり領域に対して算出され得る（３０６）。

【0083】

[0095] ここで図９を参照すると、本開示の主題の特定の実施形態に係る、各セクションの変位を推定する一例が示されている。

【0084】

[0096] ４つのセクション（例えば、セクション１～４）が垂直方向に沿って分割されている、図８Ａに示す例示的な１対の画像を続ける。セクションごとに、重なり領域の基準線が使用されて、セクションのそれぞれの変位を推定することができる。例として、基準線は、第２画像８０４の左エッジに沿った線９０２として選択され得る。線９０２は、画像の分割セクションに従って４つの部分に分割される。線９０２の各部分について、マッチング線が、第１画像８０２の対応のセクションで識別され得る。例えば、線９０２の第１部分について、マッチング線９０４は、第１画像８０２の第１セクションで見出される。マッチング線は、類似性メトリックを使用して見つけられ得る。例えば、線９０２の第１部分はベクトルとして表され得、かつ、検索は第１画像の第１セクションで実行され得る。線９０２のものとベクトル表現が最も似ている線がマッチング線として選択され得る。マッチング線９０４と第１画像の左エッジとの間の距離９０６は第１セクションの変位に対応する。マッチング線９０４と第１画像の右エッジとの間の第１セクション内の領域９０８は、第１画像８０２と第２画像８０４との間の重なり領域である。

【0085】

[0097] 同様に、第１画像８０２に示すように、基準線９０２のそれぞれの部分、及び、それぞれの変位９１０、９１２及び９１４、に対応する他の３つのセクションの各々においてマッチング線が見出され得、かつ、これらのセクションについての対応の重なり領域が導出され得る。図から分かるように、（セクション２及びセクション３の変位の相対位置が示されているズームアウトビュー９１６に例示されているように）各セクションの変位は互いに異なる。

【0086】

[0098] 図９の例では、基準線が第２画像から選択され、かつ、変位が第１画像上に示されているが、これは必ずしもそうであるとは限らず、かつ、本開示を決して限定するものとみなされるべきではないことに留意されたい。代替的に、基準線は第１画像から選択され得る。例として、基準線は、第１画像の右エッジに沿った線として選択され得、かつ、各セクションの変位が第２画像上に示され得る。本開示は、第１画像と第２画像との間の各セクションの変位を推定する特定の方法によって限定されない。

【0087】

[0099] 特定の実施形態によれば、深度マップは、各セクションの重なり領域について生成される。ブロック３０４を参照して説明したように、重なり領域の視差マップを計算することができるように、変位が使用されて、重なり領域内の各ピクセルの一致するピクセルを見つけるための検索範囲を規定することができる。

【0088】

[00100] 視差は、１対の画像内の対応の特徴又は画像点の位置（すなわち、水平座標）の差のことをいう。言い換えると、視差は、第１画像におけるその位置に対する第２画像におけるピクセル（又はピクセルブロック）の変位を示している。本開示の特定の実施形態によれば、視差マップは、１以上の分割されたセクションの各所定のセクションの重なり領域について別々に計算される（３０４）。視差マップは、第１画像の所定のセクション内のそれぞれのピクセルと第２画像内のその所定のセクションの一致するピクセルとの間の位置の差をそれぞれが示す視差値を含む。視差マップの値は、対応するピクセル位置のシーン深度に反比例する。視差の値を使用して、撮像装置の焦点距離と２つの画像間の距離とが与えられると、深度マップが生成され得る。

【0089】

[00101] ここで図４を参照すると、本開示の主題の特定の実施形態に従って視差マップを計算する一般化されたフローチャートが示されている。

【0090】

[00102] 第１画像内の重なり領域内の所定のピクセルごとに、変位に基づいて、第２画像内で、かつ、所定のピクセルが属する同じセグメント内で、（例えば、視差マップ生成器１０８のマッチングモジュール１１０によって）範囲が規定される（４０２）。例として、図９に示すように、第１画像の重なり領域９０８のピクセルごとに、検索範囲は、（変位によって導出されるように）第２画像の対応の重なり領域内にあるように規定される。さらに、図８Ｂに例示するように、セクション１は実際には２つのセグメントを含む。したがって、第１セクション内の特定のセグメント内のピクセルの検索範囲を規定する場合、一致するピクセルの範囲は、第２画像内の同じ特定のセグメント内にさらに限定されるべきである。ある実施形態では、図６を参照して説明したように、垂直アライメントプロセスで導出された一致する特徴を考慮して、規定された範囲内で一致するピクセルが検索され得る。例として、第１画像内の抽出された特徴に所定のピクセルが属する場合、所定のピクセルの一致するピクセルが、規定された範囲内で検索され、かつ、（存在する場合）抽出された特徴の照合された特徴内でも検索される。

【0091】

[00103] マッチング方法を使用して、規定された範囲内の第２画像において、所定のピクセルに対する一致するピクセルが（例えば、マッチングモジュール１１０によって）検索され得る（４０４）。所定のピクセルと一致するピクセルとの間の位置の差が（例えば、視差マップ生成器１０８によって）計算され（４０６）、所定のピクセルに対応する視差値を生じさせることができる。

【0092】

[00104] 例として、本開示において一致するピクセルを見つけるために使用可能な１つのマッチング方法は、セグメンテーション係数によって正則化された、最適化されたセミグローバルマッチング方法である。セミグローバルマッチング（ＳＧＭ）は、修正された画像対（例えば、垂直にアライメントされた画像対）から視差マップを推定するためのコンピュータビジョンアルゴリズムのことをいう。

【0093】

[00105] 具体的には、修正された画像対が与えられた場合、一方の画像の座標（ｘ、ｙ）を有するピクセルに対して、通常、他方の画像のピクセル候補のセットが、上で規定した検索範囲によって選択される。例として、ピクセル候補のセット（ｘ’、ｙ）は、（所定のピクセルが２つの画像のどちらからのものかに応じて）｛（ｘ’、ｙ）｜ｘ＞ｘ＋ｄ｝又は｛（ｘ’、ｙ）｜ｘ＜ｘ＋ｄ｝として選択され得、ｄは変位を参照する。ピクセル候補のセット（ｘ’、ｙ）は、（ｘ、ｙ）と同じセグメントに属するようにさらに制限される。概して、他方の画像のピクセル候補のセット内の各ピクセルに対する一方の画像のピクセルの類似性は、類似性測度を使用して測定され得る。最も一致するピクセルの類似性テストは多くの偽の一致を生成し得るという事実により、以下の形式のような、隣接ピクセル間の視差のジャンプにペナルティを課す、一致項Ｄ（ｐ、ｄｐ）と正則化項Ｒ（ｄｐ、ｄｑ）とによって構成されたコスト関数が使用され得る：

Ｄ（ｐ、ｄｐ）は、視差ｄ_ｐを有するピクセルｐでのピクセルごとの非類似度コストであり、Ｒ（ｐ、ｄｐ、ｑ、ｄｑ）は、隣接ピクセルＮのすべての対について、それぞれ視差ｄｐ及びｄｑを有するピクセルｐ及びｑ間の正則化コストである。

【0094】

[00106] 非類似性コストＤ（ｐ、ｄｐ）は、原則として、例えば絶対又は二乗の強度差などの任意の局所画像非類似性測度を使用することができる。正則化項は以下のような形式を有する：

Ｐ１及びＰ２は２つの定数パラメータであり、Ｐ１＜Ｐ２である。三方比較により、視差のユニタリ変化に対してより小さなペナルティを割り当てることを可能にし、したがって、例えば、斜面に対応する平滑な移行を可能にし、かつ、一定のペナルティ項による不連続性を維持しながら、より大きなジャンプにペナルティを課す。

【0095】

[00107] 本開示の主題の特定の実施形態によれば、セグメンテーション係数によって正則化された、最適化されたセミグローバルマッチング方法が使用されて、重なり領域内の各ピクセルの一致するピクセルを見つけることができる。例として、最適化されたセミグローバルマッチング方法は、セグメンテーション係数に従ってそのコスト関数を調整することによって正則化され得る。セグメンテーション係数は、候補ピクセル及びその１以上の隣接ピクセルが同じセグメントに属するかどうかを示すことができる。一致するピクセルは、調整されたコスト関数を使用して、規定された範囲内の１以上の候補ピクセルから選択される。調整されたコスト関数の一例は以下の形式であり得る：

Ｄ（ｐ、ｄｐ）は視差ｄ_ｐを有するピクセルｐにおけるピクセルごとの非類似性コストであり、Ｒ（ｐ、ｄｐ、ｓｐ、ｑ、ｄｑ、ｓｑ）としても参照されるＲ（ｐ、ｄｐ、ｑ、ｄｑ、ｓ）は、追加のセグメンテーション係数を用いて調整された正則化コストであり、すなわち、隣接ピクセルＮのすべての対について、視差ｄ_ｐ及びｄ_ｑとセグメントｓ_ｐ、ｓ_ｑをそれぞれ有するピクセルｐ及びｑの間の正則化コストである。

【0096】

[00108] 具体的には、正則化コストＲ（ｐ、ｄｐ、ｓｐ、ｑ、ｄｑ、ｓｑ）は、以下の形式であり得る：

Ｐ１、Ｐ２、Ｐ３及びＰ４は４つの定数パラメータであり、Ｐ１＜Ｐ２＜Ｐ３＜Ｐ４である。

【0097】

[00109] 調整されたコスト関数は、ピクセルｐ及びｑのセグメントを考慮した五方比較を利用する。具体的には、ピクセルｐ及びｑの間の視差の変化を考慮することに加えて（例えば、ｄｐ＝ｄｑ、｜ｄｐ－ｄｑ｜＝１又は｜ｄｐ－ｄｑ｜＞１であるかどうか）、ピクセルｐ及びｑが同じセグメント又は異なるセグメントに属するかどうかを考慮することにも注意が払われる。ｐ及びｑの間の視差におけるユニタリ変化に、かつ、ｐ及びｑが同じセグメントに属している場合、小さいペナルティが割り当てられる一方で、特にｐ及びｑが異なるセグメントに属している場合、視差の大きなジャンプにペナルティが課される。

【0098】

[00110] ここで図１０Ａ及び図１０Ｂを参照すると、本開示の主題の特定の実施形態に係る、改良されたセミグローバルマッチング方法を使用して一致するピクセルを検索する例が示されている。

【0099】

[00111] 例示的な１対の画像８０２及び８０４を続けると、第１画像８０２の重なり領域内の所定のピクセル１００２が図１０Ａに示されている。所定のピクセル１００２について一致するピクセルを検索するため、水平走査線１００４が引かれ、第２画像の走査線１００４（すなわち、重なり領域の範囲を示す左端から破線との交点まで）に沿って検索範囲１００６が規定され得る。一致するピクセルは、改善されたセミグローバルマッチング方法を使用して第２画像内の規定された範囲１００６内で検索される。

【0100】

[00112] 具体的には、特定の実施形態によれば、所定のピクセルに関して範囲内のピクセルに非類似性コストＤ（ｐ、ｄｐ）を適用すると、図１０Ａ（Ｙ軸は非類似性コストを表し、Ｘ軸は視差値を表している）に示されるグラフに示すように、最小の非類似性コストを提供する３つの候補１００８が選択される。３つの候補１００８は、第２画像における検索された範囲内の３つの候補ピクセル１０１０に対応する。３つの候補ピクセルの各々について、調整された正則化コストＲ（ｐ、ｄｐ、ｓｐ、ｑ、ｄｑ、ｓｑ）が、候補ピクセルに関するその１以上の隣接ピクセルに適用され得、かつ、（隣接ピクセルと、セグメンテーション係数を考慮した候補ピクセルとの間の視差のユニタリ変化を示す）最小正則化コストを与える候補ピクセルが、所定のピクセル１００２の一致するピクセルとして選択され得る。

【0101】

[00113] 画像８０２及び８０４の同じ対を有する図１０Ｂに示す例では、第１画像８０２の重なり領域内の別の所定のピクセル１０２０が示されている。図１０Ｂに示すグラフに示すように、所定のピクセルに関して検索範囲内のピクセルに非類似性コストＤ（ｐ、ｄｐ）を適用した後、最小の非類似性コストを提供するただ１つの候補１０２２が選択される。候補１０２２は、第２画像の検索された範囲内の候補ピクセル１０２４に対応する。候補ピクセルは１つしかないので、それに正則化コストを適用する必要はなく、候補ピクセル１０２４が、ピクセル１０２０の一致するピクセルとして選択される。

【0102】

[00114] 図４に戻ると、一致するピクセルが見つけられると、所定のピクセルと一致するピクセルとの間の位置の差が計算され（４０６）、所定のピクセルに対応する視差値を生じさせる。４０２～４０６のプロセスが重なり領域内の各ピクセルに対して実行された後、視差値を含む視差マップが、図３のブロック３０４で説明するように、所定のセクション内の重なり領域に対して生成される。

【0103】

[00115] 図２の説明を続けると、視差マップに基づいて所定のセクション内の重なり領域について（例えば、深度マップ生成器１１２によって）深度マップが算出され得る（２１２）。上述したように、視差マップの値は、対応のピクセル位置でのシーン深度に反比例する。例として、視差の値を使用して、撮像装置の焦点距離及び２つの画像間の距離が与えられると、深度マップが生成され得る。

【0104】

[00116] 特定の実施形態によれば、所定のセクションごとの深度マップが組み合わせられて１対の画像の深度マップを生成するのに使用可能である。例として、図９に示すように、４つのセクションの各々における重なり領域の深度マップが生成される。４つの深度マップが組み合わせられて、１対の画像の深度マップを生成することができる。例えば、組み合わせられた深度マップは、４つのセクション内の重なり領域の中で共通の重なり領域に対応し得る。

【0105】

[00117] 図１１は、本開示の主題の特定の実施形態に係る、さまざまなセクションの重なり領域の間の共通の重なり領域を示している。図示するように、垂直ストライプ１１０２が、４つのセクション間の共通／共有の重なり領域を表している。例えば、４つの重なり領域のうち水平方向の寸法が最も小さいものに従って、４つの重なり領域から共通の重なり領域が抽出され得る。

【0106】

[00118] 特定の実施形態によれば、１対の画像の共通の重なり領域に対して生成された深度マップが使用されて、車両の表面部分全体に対応する完全な深度マップを生成することができる。図５に例示するように、一連の画像フレームは、車両と撮像装置との間の相対移動中の複数のｎの時点で撮像装置によってキャプチャされる。ｆ_１－ｆ_ｎのフレームは、車台のそれぞれの一部をキャプチャし、かつ、キャプチャされた一部は範囲内で部分的に重ね合わせられる。したがって、図２で説明した深度推定プロセスは、各１対の画像（例えば、各々２つの隣接フレーム）に対して実行され得、かつ、各１対の画像に対して生成された深度マップが組み合わせられ／つなぎ合わせられて、車台に対応する完全な深度マップを形成することができる。図１２は、元の車台画像と、本開示の主題の特定の実施形態に係る、車台に対応する完全な深度マップと、の一例を示している。図示するように、深度マップ１２０４のさまざまなグレーレベルは、視点に対する元の画像１２０２のさまざまな深度レベルを示している。この例では、ピクセルが明るいほど、グレーレベルは視点に近くなる。

【0107】

[00119] 特定の実施形態によれば、最適化された深度出力を提供するために、生成された深度マップがさらに処理され得る。例として、深度マップ内の各ピクセル／値の深度推定の信頼レベルを示す、深度マップに対応する信頼マスクが生成され得る。信頼度の低い深度マップ内のピクセルについて、最適化プロセスが実行されて、信頼度の高いピクセルデータを使用してそのようなピクセル（例えば、隣接するピクセル）を置換又は修正することができる。

【0108】

[00120] 生成された深度マップはさまざまなアプリケーションで使用され得る。ある実施形態では、深度マップが使用されて、画像にキャプチャされたターゲットオブジェクト／シーンの異常を検出することができる。異常は、画像内の予想されるパターン、挙動又はその他の項目に一致しない、画像内に現れる任意の項目、オブジェクト又は観測を参照し得る。通常、識別された異常は、特定の種類の潜在的な欠陥、脅威、誤動作などを示し得る。例として、画像内のターゲットオブジェクトが車両の車台である場合、異常は、元々車両に属していないその中に埋め込まれた追加のオブジェクト、又は、予想されるものとは異なる外観を有するものとして観察された既存のオブジェクトであり得る。別の例として、異常は、車両の車台の疑わしい観察であり得、例えば、車台のフレームが、通常の車台の外観とは区別される異なる色に塗装されていた場合である。別の例として、画像内のターゲットオブジェクトが車両タイヤ／ホイールである場合、異常は、タイヤの損傷又は磨耗（引っかき傷など）のことをいう場合がある。具体的には、場合によっては、深度マップが、異常検出に使用される機械学習モデルを訓練するために提供される追加の入力として（例えば、元の入力画像に加えて）使用され得る。

【0109】

[00121] 別の例として、深度マップが使用されて、画像内にキャプチャされたオブジェクト／シーンの３Ｄモデルを作成することができる。例えば、車両の３Ｄモデルが、２次元のデータを提供する元のキャプチャされた２Ｄ画像と、３次元のデータを提供する対応の深度マップと、に基づいて作成され得る。

【0110】

[00122] 本開示の特定の態様から生じる技術的利点のうちの１つは、例えば、生成された深度マップの精度を改善し、かつ、計算効率を高めることによって、深度推定の最適化である。これは、少なくとも、入力画像のセグメンテーション結果を利用することによって、具体的には、１対の画像をセグメンテーションに従って複数のセクションに分割し、かつ、一致するピクセルを検索するときに、検索がより効率的かつ正確であり得るように、セグメントに基づいて検索範囲を規定することによって、達成される。さらに、場合によっては、セグメンテーション係数によって正則化された、最適化されたマッチング方法を使用して、一致するピクセルが検索され得る。具体的には、マッチング方法のコスト関数は、候補ピクセルのセグメンテーションを示すセグメンテーション係数に従って調整され、それによって、最良の一致するピクセルを見つける機会を増加させる。

【0111】

[00123] 本開示の特定の実施形態は車両画像の例で説明されているが、これは例示及び説明のみを目的としていることに留意されたい。本開示の深度推定方法は、任意のターゲットコンテンツ／シーン及びそこに含まれるオブジェクト／エンティティを有する画像に利用され得る。

【0112】

[00124] 特定の実施形態によれば、深度マップ生成の方法は：ターゲットシーン／オブジェクトと少なくとも１つの撮像装置との間の相対移動中の２つの時点で少なくとも１つの撮像装置によって取得された第１画像及び第２画像を含む１対の画像を取得するステップであって、第１画像及び第２画像は、ターゲットシーン／オブジェクトの表面部分のそれぞれの一部をキャプチャし、キャプチャされた一部は部分的に重ね合わせられ、１対の画像は、表面部分をキャプチャする画像全体の一部を構成する、取得するステップと；画像全体の少なくとも一部に対応するセグメンテーションマップを取得するステップであって、セグメンテーションマップは、画像全体の少なくとも一部に含まれる１以上のコンポーネントに対応する１以上のセグメントを含み、１以上のコンポーネントは、撮像装置に対してそれぞれの深度レベルに配置される、取得するステップと；セグメンテーションマップに従って、１対の画像を１以上のセクションに分割するステップと；１以上のセクションの所定のセクションごとに、深度マップを生成するステップであって：ｉ）所定のセクションの視差マップを計算するステップであって、視差マップは視差値を含み、各々は、第１画像内の所定のセクション内のそれぞれのピクセルと第２画像内のその所定のセクションの一致するピクセルとの間の位置の差を示し、一致するピクセルは、それぞれのピクセルが属する同じセグメント内に規定された範囲内で検索される、計算するステップと；ｉｉ）視差マップに基づいて所定のセクションの深度マップを算出するステップであって、各所定のセクションの深度マップが、１対の画像の深度マップを生成するために組み合わせられて使用可能である、算出するステップと、を含み得る。

【0113】

[00125] 本開示において深度推定システムを参照して示した例及び実施形態は、決して、すべての可能な代替案を含むものではないが、非限定的な例のみを示すことを意図していることを理解されたい。

【0114】

[00126] 本開示は、その適用において、本明細書に含まれる又は図面に示される説明に記載される詳細に限定されないことを理解されたい。本開示は、他の実施形態を可能にし、かつ、さまざまな方法で実施及び実行され得る。したがって、本明細書で採用される表現及び用語は、説明を目的としたものであり、かつ、限定するものとみなされるべきではないことを理解されたい。したがって、当業者は、本開示が基づく概念が、本開示の主題のいくつかの目的を実行するための他の構造、方法及びシステムを設計するための基礎として容易に利用され得ることを理解する。

【0115】

[00127] 本開示に係るシステムは、少なくとも部分的に、適切にプログラムされたコンピュータに実装され得ることも理解される。同様に、本開示は、本開示の方法を実行するためのコンピュータによって読み取り可能なコンピュータプログラムを考慮している。本開示はさらに、本開示の方法を実行するためにコンピュータによって実行可能な命令のプログラムを有形に具体化する非一時的なコンピュータ可読メモリ又は記憶媒体を考慮している。

【0116】

[00128] プロセッサに、本開示の態様を実行させる非一時的コンピュータ可読記憶媒体は、命令実行デバイスによって使用される命令を保持及び格納することができる有形のデバイスであり得る。コンピュータ可読記憶媒体は、例えば、電子記憶装置、磁気記憶装置、光記憶装置、電磁記憶装置、半導体記憶装置又はこれらの任意の適切な組み合わせであり得るが、これらに限定されない。

【0117】

[00129] 当業者は、添付の特許請求の範囲で定義される及び特許請求の範囲によって定義されるその範囲から逸脱することなく、前述の本開示の実施形態にさまざまな修正及び変更が適用可能であることを容易に理解する。

【図1A】

【図1B】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8A】

【図8B】

【図9】

【図10A】

【図10B】

【図11】

【図12】