特開 2024-19147 ボリュメトリックフィーチャを用いて深度マップを生成する装置及び方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024019147

(43)【公開日】2024-02-08

(54)【発明の名称】ボリュメトリックフィーチャを用いて深度マップを生成する装置及び方法

(51)【国際特許分類】

   G06T 7/579 20170101AFI20240201BHJP

【ＦＩ】

G06T7/579

【審査請求】有

【請求項の数】8

【出願形態】ＯＬ

(21)【出願番号】P 2023123527

(22)【出願日】2023-07-28

(31)【優先権主張番号】10-2022-0094995

(32)【優先日】2022-07-29

(33)【優先権主張国・地域又は機関】KR

(31)【優先権主張番号】10-2022-0095016

(32)【優先日】2022-07-29

(33)【優先権主張国・地域又は機関】KR

(71)【出願人】

【識別番号】523045180

【氏名又は名称】４２ドット・インコーポレイテッド

【氏名又は名称原語表記】４２ｄｏｔ Ｉｎｃ．

(74)【代理人】

【識別番号】100145403

【弁理士】

【氏名又は名称】山尾 憲人

(74)【代理人】

【識別番号】100135703

【弁理士】

【氏名又は名称】岡部 英隆

(74)【代理人】

【識別番号】100227927

【弁理士】

【氏名又は名称】中村 拓

(72)【発明者】

【氏名】チョン，ソンギュン

(72)【発明者】

【氏名】キム，ジョンヒ

(72)【発明者】

【氏名】グエン，フォック ティエン

(72)【発明者】

【氏名】ホ，ジュンファ

【テーマコード（参考）】

5L096

【Ｆターム（参考）】

5L096AA06

5L096AA09

5L096CA05

5L096DA01

5L096FA66

5L096HA11

5L096KA04

(57)【要約】      （修正有）

【課題】ボリュメトリックフィーチャを用いて深度マップを生成する装置及び方法を提供する。
【解決手段】単眼カメラを用いて深度マップを生成する方法は、サラウンドビュー画像に含まれる基本画像をエンコード及び後処理して基本画像の単一フィーチャマップを生成し、単一フィーチャマップを深度情報と共にエンコードし、その後エンコード結果を３次元空間に投影することにより、ボリュメトリックフィーチャを生成する。深度デコーダを用いてボリュメトリックフィーチャをデコードすることにより、サラウンドビュー画像の深度マップを生成する。
【選択図】図１１

【特許請求の範囲】

【請求項1】

ボリュメトリックフィーチャを用いて深度マップを生成する方法において、
１つ以上の単眼カメラによりサラウンドビュー画像を取得するステップと、
前記サラウンドビュー画像に含まれる基本画像をエンコードして多重スケール（ｍｕｌｔｉ－ｓｃａｌｅ）画像フィーチャを生成するステップと、
前記多重スケール画像フィーチャのそれぞれを所定の解像度を基準にリサイズ（ｒｅｓｉｚｅ）及び連結（ｃｏｎｃａｔｅｎａｔｅ）して、前記基本画像の単一フィーチャマップを生成するステップと、
前記単一フィーチャマップを深度情報（ｄｅｐｔｈ ｉｎｆｏｒｍａｔｉｏｎ）と共にエンコードし、その後エンコード結果を３次元空間に投影することにより、ボリュメトリックフィーチャ（ｖｏｌｕｍｅｔｒｉｃ ｆｅａｔｕｒｅ）を生成するステップと、
深度デコーダを用いて前記ボリュメトリックフィーチャをデコードすることにより、前記サラウンドビュー画像の深度マップを生成するステップとを含む、方法。

【請求項2】

前記ボリュメトリックフィーチャを生成するステップは、
前記単一フィーチャマップを前記深度情報と連結（ｃｏｎｃａｔｅｎａｔｅ）してエンコードし、その後エンコード結果を３次元空間に投影することにより、３次元ボリュメトリック空間上のローカル３次元フィーチャを抽出するステップと、
前記ローカル３次元フィーチャを用いて前記ボリュメトリックフィーチャを生成するステップとを含む、請求項１に記載の方法。

【請求項3】

前記ボリュメトリックフィーチャを生成するステップは、
ボリュメトリックエンコーダに前記ローカル３次元フィーチャを入力してボリュメトリックフィーチャを生成するステップを含む、請求項２に記載の方法。

【請求項4】

前記ボリュメトリックエンコーダは、複数の多層パーセプトロン（Ｍｕｌｔｉ－Ｌａｙｅｒ Ｐｅｒｃｅｐｔｒｏｎ）で構成され、
前記ボリュメトリックフィーチャを生成するステップは、
前記３次元ボリュメトリック空間上のボクセル別に重なりが発生したか否かによって異なる多層パーセプトロンにボクセルを割り当てるステップと、
前記異なる多層パーセプトロンからのエンコード結果を融合（ｆｕｓｅ）して前記ボリュメトリックフィーチャを生成するステップとを含む、請求項３に記載の方法。

【請求項5】

前記深度マップを生成するステップは、
前記１つ以上の単眼カメラの内部パラメータ（ｉｎｔｒｉｎｓｉｃ ｐａｒａｍｅｔｅｒ）及び外部パラメータ（ｅｘｔｒｉｎｓｉｃ ｐａｒａｍｅｔｅｒ）に基づいて、前記ボリュメトリックフィーチャを前記所定の解像度を有する投影された画像フィーチャに変換するステップと、
深度デコーダを用いて前記投影された画像フィーチャをデコードすることにより、前記サラウンドビュー画像の深度マップを生成するステップとを含む、請求項１に記載の方法。

【請求項6】

前記方法は、
前記ボリュメトリックフィーチャを前記所定の解像度を有する投影された画像フィーチャに変換するための投影行列（ｐｒｏｊｅｃｔｉｏｎ ｍａｔｒｉｘ）を決定するステップと、
要求されるビュー（ｄｅｓｉｒｅｄ ｖｉｅｗ）に合う投影行列を用いて、前記深度マップを変調するステップとをさらに含む、請求項５に記載の方法。

【請求項7】

単眼カメラを用いて深度マップを生成する装置において、
少なくとも１つのプログラムが格納されたメモリと、
前記少なくとも１つのプログラムを実行するプロセッサとを含み、
前記プロセッサは、
１つ以上の単眼カメラによりサラウンドビュー画像を取得し、
前記サラウンドビュー画像に含まれる基本画像をエンコードして多重スケール（ｍｕｌｔｉ－ｓｃａｌｅ）画像フィーチャを生成し、
前記多重スケール画像フィーチャのそれぞれを所定の解像度を基準にリサイズ（ｒｅｓｉｚｅ）及び連結（ｃｏｎｃａｔｅｎａｔｅ）して、前記基本画像の単一フィーチャマップを生成し、
前記単一フィーチャマップを深度情報（ｄｅｐｔｈ ｉｎｆｏｒｍａｔｉｏｎ）と共にエンコードし、その後エンコード結果を３次元空間に投影することにより、ボリュメトリックフィーチャ（ｖｏｌｕｍｅｔｒｉｃ ｆｅａｔｕｒｅ）を生成し、
深度デコーダを用いて前記ボリュメトリックフィーチャをデコードすることにより、前記サラウンドビュー画像の深度マップを生成するものである、装置。

【請求項8】

請求項１に記載の方法をコンピュータで実行するためのプログラムを記録したコンピュータで読み取り可能な記録媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、ボリュメトリックフィーチャを用いて深度マップを生成する装置及び方法に関する。

【背景技術】

【0002】

ロボットビジョン（ｒｏｂｏｔ ｖｉｓｉｏｎ）、ヒューマンコンピュータインタフェース（ｈｕｍａｎ ｃｏｍｐｕｔｅｒ ｉｎｔｅｒｆａｃｅ）、インテリジェントビジュアルサーベイランス（ｉｎｔｅｌｌｉｇｅｎｔ ｖｉｓｕａｌ ｓｕｒｖｅｉｌｌａｎｃｅ）、３Ｄ画像取得（３Ｄ ｉｍａｇｅ ａｃｑｕｉｓｉｔｉｏｎ）などのように、様々な分野で用いられる３Ｄ深度情報の推定方法について活発な研究が行われている。特に、自律走行（ａｕｔｏｎｏｍｏｕｓ ｄｒｉｖｉｎｇ）システムにおいて、収集された画像データ上で検出されたオブジェクトと車両との距離を始めとして様々な走行環境を認知して判断することにより車両を制御するために、正確性の高い深度推定に関する研究が求められている。

【0003】

深度情報を推定する方法は、赤外線、超音波、レーザ、光の散乱特性などの信号を用いる方式と、画像を分析する方式がある。赤外線、超音波を用いて距離を推定する方式は、オブジェクトの状態によって反射して戻る信号が影響を受けることがあるという欠点がある。レーザなどの信号を用いることは、正確度が高いが、高価な追加装置を用いなければならないという欠点がある。

【0004】

一方、カメラを用いて深度情報を推定することは、別の追加装置を必要としない。また、深度情報は、ステレオカメラを用いた視差（ｄｉｓｐａｒｉｔｙ）計算に基づいて生成することができるが、正確な深度推定のために２台のカメラに対する精密な補正（ｃａｌｉｂｒａｔｉｏｎ）作業が必要であり、視差計算に多くの時間がかかるという問題がある。よって、単眼カメラにより深度情報を正確に推定する方法に関する研究の必要性が高まっている。

【0005】

前述した背景技術は、発明者が本発明の導出のために保有していたか、又は本発明の導出過程で習得した技術情報であって、必ずしも本発明の出願前に一般公衆に公開された公知技術であるとはいえない。

【発明の概要】

【発明が解決しようとする課題】

【0006】

本発明は、ボリュメトリックフィーチャを用いて深度マップを生成する装置及び方法を提供する。本発明が解決しようとする課題は、以上で述べられている課題に限定されず、述べられていない本発明の他の課題及び利点は、以下の説明により理解され、本発明の実施形態によりさらに明らかに理解されるであろう。また、本発明が解決しようとする課題及び利点は、特許請求の範囲に示される手段及びその組み合わせにより実現できることが理解されるであろう。

【課題を解決するための手段】

【0007】

上述した技術的課題を解決するための技術的手段として、本開示の第１態様は、ボリュメトリックフィーチャを用いて深度マップを生成する方法において、１つ以上の単眼カメラによりサラウンドビュー画像を取得するステップと、前記サラウンドビュー画像に含まれる基本画像をエンコードして多重スケール（ｍｕｌｔｉ－ｓｃａｌｅ）画像フィーチャを生成するステップと、前記多重スケール画像フィーチャのそれぞれを所定の解像度を基準にリサイズ（ｒｅｓｉｚｅ）及び連結（ｃｏｎｃａｔｅｎａｔｅ）して、前記基本画像の単一フィーチャマップを生成するステップと、前記単一フィーチャマップを深度情報（ｄｅｐｔｈ ｉｎｆｏｒｍａｔｉｏｎ）と共にエンコードし、その後エンコード結果を３次元空間に投影することにより、ボリュメトリックフィーチャ（ｖｏｌｕｍｅｔｒｉｃ ｆｅａｔｕｒｅ）を生成するステップと、深度デコーダを用いて前記ボリュメトリックフィーチャをデコードすることにより、前記サラウンドビュー画像の深度マップを生成するステップとを含む、方法を提供することができる。

【0008】

本開示の第２態様は、ボリュメトリックフィーチャを用いて深度マップを生成する装置において、少なくとも１つのプログラムが格納されたメモリと、前記少なくとも１つのプログラムを実行するプロセッサとを含み、前記プロセッサは、１つ以上の単眼カメラによりサラウンドビュー画像を取得し、前記サラウンドビュー画像に含まれる基本画像をエンコードして多重スケール（ｍｕｌｔｉ－ｓｃａｌｅ）画像フィーチャを生成し、前記多重スケール画像フィーチャのそれぞれを所定の解像度を基準にリサイズ（ｒｅｓｉｚｅ）及び連結（ｃｏｎｃａｔｅｎａｔｅ）して、前記基本画像の単一フィーチャマップを生成し、前記単一フィーチャマップを深度情報（ｄｅｐｔｈ ｉｎｆｏｒｍａｔｉｏｎ）と共にエンコードし、その後エンコード結果を３次元空間に投影することにより、ボリュメトリックフィーチャ（ｖｏｌｕｍｅｔｒｉｃ ｆｅａｔｕｒｅ）を生成し、深度デコーダを用いて前記ボリュメトリックフィーチャをデコードすることにより、前記サラウンドビュー画像の深度マップを生成するものである、装置を提供することができる。

【0009】

本開示の第３態様は、ボリュメトリックフィーチャを用いて単眼カメラのポーズ情報を取得する方法において、１つ以上の単眼カメラによりサラウンドビュー画像を取得するステップと、前記サラウンドビュー画像に含まれる基本画像をエンコードして多重スケール（ｍｕｌｔｉ－ｓｃａｌｅ）画像フィーチャを生成するステップと、前記多重スケール画像フィーチャのそれぞれを所定の解像度を基準にリサイズ（ｒｅｓｉｚｅ）及び連結（ｃｏｎｃａｔｅｎａｔｅ）して、前記基本画像の単一フィーチャマップを生成するステップと、前記単一フィーチャマップをエンコードし、その後エンコード結果を３次元空間に投影することにより、ボリュメトリックフィーチャ（ｖｏｌｕｍｅｔｒｉｃ ｆｅａｔｕｒｅ）を生成するステップと、ポーズデコーダを用いて前記ボリュメトリックフィーチャをデコードすることにより、次の時点での単眼カメラのポーズ情報を一括取得するステップとを含む、方法を提供することができる。

【0010】

また、前記単眼カメラのポーズ情報を一括取得するステップは、ポーズデコーダを用いて前記ボリュメトリックフィーチャをデコードすることにより、基準単眼カメラにおける現在の時点のカメラポーズと次の時点のカメラポーズ間の変化量を示す標準カメラモーション（ｃａｎｏｎｉｃａｌ ｃａｍｅｒａ ｍｏｔｉｏｎ）を取得するステップと、前記基準単眼カメラと他の単眼カメラとの間の外部パラメータ関係及び前記標準カメラモーションに基づいて、前記次の時点での前記他の単眼カメラのポーズ情報を一括取得するステップとを含む、方法を提供することができる。

【0011】

さらに、前記標準カメラモーションを取得するステップは、前記ボリュメトリックフィーチャを鳥瞰図（ＢＥＶ）フィーチャに平面化（ｆｌａｔｔｅｎ）するステップと、前記ポーズデコーダを用いて前記鳥瞰図フィーチャをデコードするステップとを含む、方法を提供することができる。

【0012】

さらに、前記方法は、深度デコーダを用いて前記ボリュメトリックフィーチャをデコードすることにより、前記サラウンドビュー画像の深度マップを生成するステップをさらに含む、方法を提供することができる。

【0013】

さらに、前記方法は、前記サラウンドビュー画像をニューラルネットワークの入力データとして用い、前記深度マップ及び前記標準カメラモーションを出力データとして用いることにより、前記ニューラルネットワークを学習させるステップをさらに含む、方法を提供することができる。

【0014】

さらに、前記ニューラルネットワークは、画像再構成損失（ｉｍａｇｅ ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ ｌｏｓｓ）及び深度合成損失（ｄｅｐｔｈ ｓｙｎｔｈｅｓｉｓ ｌｏｓｓ）を最小限に抑える方向に学習されるものである、方法を提供することができる。

【0015】

さらに、前記画像再構成損失は、時間的（ｔｅｍｐｏｒａｌ）損失、空間的（ｓｐａｔｉｏ）損失及び時空間的（ｓｐａｔｉｏ－ｔｅｍｐｏｒａｌ）損失を含むものである、方法を提供することができる。

【0016】

さらに、前記深度合成損失は、深度一貫性（ｃｏｎｓｉｓｔｅｎｃｙ）損失を含むものである、方法を提供することができる。

【0017】

本開示の第４態様は、単眼カメラを用いて深度マップを生成する装置において、少なくとも１つのプログラムが格納されたメモリと、前記少なくとも１つのプログラムを実行するプロセッサとを含み、前記プロセッサは、１つ以上の単眼カメラによりサラウンドビュー画像を取得し、前記サラウンドビュー画像に含まれる基本画像をエンコードして多重スケール（ｍｕｌｔｉ－ｓｃａｌｅ）画像フィーチャを生成し、前記多重スケール画像フィーチャのそれぞれを所定の解像度を基準にリサイズ（ｒｅｓｉｚｅ）及び連結（ｃｏｎｃａｔｅｎａｔｅ）して、前記基本画像の単一フィーチャマップを生成し、前記単一フィーチャマップを深度情報（ｄｅｐｔｈ ｉｎｆｏｒｍａｔｉｏｎ）と共にエンコードし、その後エンコード結果を３次元空間に投影することにより、ボリュメトリックフィーチャ（ｖｏｌｕｍｅｔｒｉｃ ｆｅａｔｕｒｅ）を生成し、前記ボリュメトリックフィーチャに基づいて次の時点での単眼カメラのポーズ情報を一括取得するものである、装置を提供することができる。

【0018】

本開示の第５態様は、第１態様又は第３態様による方法をコンピュータで実行するためのプログラムを記録したコンピュータで読み取り可能な記録媒体を提供することができる。

【0019】

それら以外にも、本発明を実現するための他の方法、他のシステム、及び前記方法を実行するためのコンピュータプログラムが格納されたコンピュータで読み取り可能な記録媒体をさらに提供することができる。

【0020】

上記以外の他の態様、特徴、利点は、添付の図面、特許請求の範囲、及び以下の発明の詳細な説明から明らかになるであろう。

【発明の効果】

【0021】

前述した本開示の課題解決手段によれば、本開示においては、実際に撮影された画像ではなくカメラポーズを任意に変調する場合も、スムーズな深度マップを生成することができる。

【図面の簡単な説明】

【0022】

【図1】一実施形態による自律走行方式を説明するための図である。

【図2】一実施形態による自律走行方式を説明するための図である。

【図3】一実施形態による自律走行方式を説明するための図である。

【図4A】一実施形態によるサラウンドビュー画像を取得する方法を説明するための例示図である。

【図4B】一実施形態によるサラウンドビュー画像を取得する方法を説明するための例示図である。

【図5】一実施形態による画像エンコーダを用いてサラウンドビュー画像の単一フィーチャマップを生成する方法を説明するための図である。

【図6A】一実施形態による単一フィーチャマップを用いてボリュメトリックフィーチャを生成する方法を説明するための例示図である。

【図6B】一実施形態による単一フィーチャマップを用いてボリュメトリックフィーチャを生成する方法を説明するための例示図である。

【図6C】一実施形態による単一フィーチャマップを用いてボリュメトリックフィーチャを生成する方法を説明するための例示図である。

【図7】一実施形態によるサラウンドビュー画像の深度マップを生成する方法を説明するための例示図である。

【図8A】一実施形態による任意の回転ビューに応じた深度マップを取得する方法を説明するための例示図である。

【図8B】一実施形態による任意の回転ビューに応じた深度マップを取得する方法を説明するための例示図である。

【図8C】一実施形態による任意の回転ビューに応じた深度マップを取得する方法を説明するための例示図である。

【図8D】一実施形態による任意の回転ビューに応じた深度マップを取得する方法を説明するための例示図である。

【図8E】一実施形態による任意の回転ビューに応じた深度マップを取得する方法を説明するための例示図である。

【図9】一実施形態による標準モーションの予測を行う方法を説明するための例示図である。

【図10】一実施形態による自己教師あり学習を用いたニューラルネットワークを説明するための例示図である。

【図11】一実施形態による単眼カメラを用いて深度マップを生成する方法を説明するためのフローチャートである。

【図12】一実施形態による深度マップ生成装置のブロック図である。

【発明を実施するための形態】

【0023】

本発明の利点及び特徴、並びにそれらを達成する方法は、添付の図面と共に詳細に説明される実施形態を参照することによって明らかになるであろう。しかし、本発明は、以下に提示される実施形態に限定されるものではなく、異なる様々な形態で実現することができ、本発明の思想及び技術範囲に含まれる全ての変換、均等物乃至代替物を含むものと理解されるべきである。以下に提示される実施形態は、本発明の開示を完全にし、本発明の属する技術の分野における通常の知識を有する者に発明の範疇を完全に理解させるために提供されるものである。本発明を説明するにあたり、関連する公知技術についての具体的な説明が本発明の要旨を不明にすると判断される場合、その詳細な説明を省略する。

【0024】

本出願で用いられる用語は、単に特定の実施形態を説明するために用いられるものであり、本発明の限定を意図するものではない。単数の表現は、文脈上明らかに他の意味を表さない限り、複数の表現を含む。本出願において、「含む」や「有する」などの用語は、明細書に記載された特徴、数字、ステップ、動作、構成要素、部品、又はそれらの組み合わせが存在することを指定するものであり、１つ又はそれ以上の他の特徴、数字、ステップ、動作、構成要素、部品、又はそれらの組み合わせの存在や追加の可能性を予め排除するものではないと理解されるべきである。

【0025】

本開示の一部の実施形態は、機能ブロック構成及び様々な処理ステップで示すことができる。そのような機能ブロックの一部又は全部は、特定の機能を実行する様々な数のハードウェア及び／又はソフトウェア構成で実現することができる。 例えば、本開示の機能ブロックは、１つ以上のマイクロプロセッサにより実現するか、又は所定の機能のための回路構成により実現することができる。また、例えば、本開示の機能ブロックは、様々なプログラミング又はスクリプト言語で実現することができる。機能ブロックは、１つ以上のプロセッサで実行されるアルゴリズムで実現することができる。 さらに、本開示は、電子的な環境設定、信号処理及び／又はデータ処理などのために従来技術を採用することができる。「メカニズム」、「要素」、「手段」、「構成」などの用語は広く用いることができ、機械的及び物理的な構成に限定されるものではない。

【0026】

なお、図面に示す構成要素間の連結線又は連結部材は、機能的連結及び／又は物理的連結もしくは回路接続を例示的に示すものに過ぎない。実際の装置では、代替可能又は追加の様々な機能的連結、物理的連結又は回路接続により構成要素間の連結を示すことができる。

【0027】

以下、「車両」とは、自動車、バス、バイク、キックボード又はトラックのように、機関を有して人や物を移動させるために用いられるあらゆる種類の運送手段を意味し得る。

【0028】

以下、添付図面を参照して本開示を詳細に説明する。

【0029】

図１～図３は一実施形態による自律走行方式を説明するための図である。

【0030】

図１を参照すると、本発明の一実施形態による自律走行装置は、車両に装着されて自律走行車両１０を実現することができる。自律走行車両１０に装着される自律走行装置は、周辺の状況情報を収集するための様々なセンサを含んでもよい。一例として、自律走行装置は、自律走行車両１０の前面に装着されたイメージセンサ及び／又はイベントセンサにより、前方を運行中の先行車両２０の動きを検知することができる。自律走行装置は、自律走行車両１０の前方はもとより、隣の車路を運行中の他の走行車両３０や、自律走行車両１０周辺の歩行者などを検知するためのセンサをさらに含んでもよい。

【0031】

自律走行車両周辺の状況情報を収集するためのセンサの少なくとも１つは、図１に示すように、所定の画角（ＦｏＶ）を有してもよい。一例として、自律走行車両１０の前面に装着されたセンサが図１に示すような画角（ＦｏＶ）を有する場合、センサの中央で検出される情報が相対的に高い重要度を有することができる。これは、センサの中央で検出される情報に、先行車両２０の動きに対応する情報のほとんどが含まれているからである。

【0032】

自律走行装置は、自律走行車両１０のセンサが収集した情報をリアルタイムで処理して自律走行車両１０の動きを制御する一方、センサが収集した情報の少なくとも一部はメモリ装置に保存することができる。

【0033】

図２を参照すると、自律走行装置４０は、センサ部４１、プロセッサ４６、メモリシステム４７、車体制御モジュール４８などを含んでもよい。センサ部４１は、複数のセンサ４２～４５を含み、複数のセンサ４２～４５は、イメージセンサ、イベントセンサ、照度センサ、ＧＰＳ装置、加速度センサなどを含んでもよい。

【0034】

センサ４２～４５が収集したデータは、プロセッサ４６に伝達されてもよい。プロセッサ４６は、センサ４２～４５が収集したデータをメモリシステム４７に保存し、センサ４２～４５が収集したデータに基づいて車体制御モジュール４８を制御して車両の動きを決定することができる。メモリシステム４７は、２つ以上のメモリ装置と、メモリ装置を制御するためのシステムコントローラとを含んでもよい。メモリ装置のそれぞれは、１つの半導体チップとして提供されてもよい。

【0035】

メモリシステム４７のシステムコントローラの他に、メモリシステム４７に含まれるメモリ装置のそれぞれは、メモリコントローラを含んでもよく、メモリコントローラは、ニューラルネットワークなどの人工知能（ＡＩ）演算回路を含んでもよい。メモリコントローラは、センサ４２～４５又はプロセッサ４６から受信したデータに所定の重みを付けて演算データを生成し、演算データをメモリチップに保存することができる。

【0036】

図３は自律走行装置が搭載された自律走行車両のセンサが取得した画像データの例を示す図である。図３を参照すると、画像データ５０は、自律走行車両の前面に装着されたセンサが取得したデータであり得る。よって、画像データ５０には、自律走行車両の前面部５１、自律走行車両と同じ車路の先行車両５２、自律走行車両周辺の走行車両５３、背景５４、車線５５、５６などが含まれ得る。

【0037】

図３に示す実施形態による画像データ５０において、自律走行車両の前面部５１と背景５４が示される領域のデータは、自律走行車両の運行に影響を及ぼす可能性がほとんどないデータであり得る。つまり、自律走行車両の前面部５１と背景５４は、相対的に低い重要度を有するデータとしてみなされ得る。

【0038】

それに対して、先行車両５２との距離、走行車両５３の車路変更の動きなどは、自律走行車両の安全な運行において非常に重要な要素であり得る。よって、画像データ５０において、先行車両５２や走行車両５３などが含まれる領域のデータは、自律走行車両の運行において相対的に高い重要度を有し得る。

【0039】

自律走行装置のメモリ装置は、センサから受信した画像データ５０の領域毎に異なる重みを与えて保存することができる。一例として、先行車両５２や走行車両５３などが含まれる領域のデータには高い重みを与え、自律走行車両の前面部５１と背景５４が示される領域のデータには低い重みを与えてもよい。

【0040】

図４Ａ及び図４Ｂは一実施形態によるサラウンドビュー画像を取得する方法を説明するための例示図である。

【0041】

深度マップを生成する装置（以下、「深度マップ生成装置」という）は、１つ以上の単眼カメラにより、車両が走行中の道路の画像を取得することができる。

【0042】

１つ以上のカメラは、車両に設置される際に、車両の全方向の画像を撮影するようにそれぞれ異なる方向に配向されて設置されてもよい。１つ以上のカメラのそれぞれは、内部パラメータ（ｉｎｔｒｉｎｓｉｃ ｐａｒａｍｅｔｅｒｓ）及び外部パラメータ（ｅｘｔｒｉｎｓｉｃ ｐａｒａｍｅｔｅｒｓ）を有する。

【0043】

内部パラメータには、焦点距離（ｆｏｃａｌ ｌｅｎｇｔｈ）、主点（ｐｒｉｎｃｉｐａｌ ｐｏｉｎｔ）及び非対称係数（ｓｋｅｗ ｃｏｅｆｆｉｃｉｅｎｔ）などが含まれ得る。外部パラメータは、カメラ座標系とワールド座標系との間の変換関係を説明するパラメータであって、外部パラメータには、２つの座標系間の回転（ｒｏｔａｔｉｏｎ）及び平行移動（ｔｒａｎｓｌａｔｉｏｎ）変換情報が含まれ得る。

【0044】

図４Ａを参照すると、車両４００には６台のカメラが設置され、それぞれ車両４００の前方（ｆｒｏｎｔ）、後方（ｒｅａｒ）、右側前方（ｆｒｏｎｔ－ｒｉｇｈｔ）、右側後方（ｒｅａｒ－ｒｉｇｈｔ）、左側前方（ｆｒｏｎｔ－ｌｅｆｔ）及び左側後方（ｒｅａｒ－ｌｅｆｔ）を撮影するように設置されてもよい。

【0045】

車両４００に設置された各カメラで取得された画像はＩ_ｉで示され得、例えば、図４Ａにおいて設置された各カメラはＩ_１、Ｉ_２、．．．Ｉ_６で示され得る。

【0046】

図４Ａと図４Ｂとを比較すると、図４Ａには時点ｔで各カメラにより撮影された６つの画像が示され、各画像は

で示され得る。また、図４Ｂには時点ｔ以降の時点ｔ＋１で各カメラにより撮影された６つの画像が示され、各画像は

で示され得る。

【0047】

以下、上述のように車両４００に設置された１つ以上の単眼カメラにより所定の時点で撮影された複数の基本画像で構成された画像セットを「サラウンドビュー画像」と呼ぶことにする。

【0048】

図５は一実施形態による画像エンコーダを用いてサラウンドビュー画像の単一フィーチャマップを生成する方法を説明するための図である。

【0049】

深度マップ生成装置は、画像エンコーダ（ｉｍａｇｅ ｅｎｃｏｄｅｒ）５００を含んでもよい。画像エンコーダ５００は、サラウンドビュー画像に含まれる複数の基本画像を入力データとして用いることができる。

【0050】

画像エンコーダ５００は、基本画像の多重スケール（ｍｕｌｔｉ－ｓｃａｌｅ）画像フィーチャ５１０を生成することができる。また、画像エンコーダ５００は、多重スケール画像フィーチャ５１０を所定の解像度を基準にリサイズ（ｒｅｓｉｚｅ）してから互いに連結（ｃｏｎｃａｔｅｎａｔｅ）して、基本画像の単一フィーチャマップ５２０を生成することができる。

【0051】

具体的には、図５を参照すると、画像エンコーダ５００は、ＣＮＮ（ｃｏｎｖｏｌｕｔｉｏｎ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ）を用いて基本画像の解像度を１／２ずつ下げて多重スケール画像フィーチャ５１０を生成することができる。例えば、画像エンコーダ５００は、多重スケール画像フィーチャ５１０を生成するために、ＲｅｓＮｅｔ１８を用いて、基本画像（Ｈ×Ｗ解像度）に対して１／２、１／４、１／８、１／１６解像度の多重スケール画像フィーチャ５１０を生成することができる。また、画像エンコーダ５００は、「Ｈ／８×Ｗ／８」を基準解像度に設定し、多重スケール画像フィーチャ５１０をアップサンプリング（ｕｐ－ｓａｍｐｌｉｎｇ）して「Ｈ／８×Ｗ／８」を基準にリサイズしてから互いに連結して単一フィーチャマップ５２０を生成することができる。

【0052】

すなわち、深度マップ生成装置は、上述の方法により、画像エンコーダ５００を用いて、サラウンドビュー画像に含まれる複数の基本画像Ｉ_ｉのそれぞれの単一フィーチャマップＦ_ｉを生成することができる。例えば、深度マップ生成装置は、サラウンドビュー画像に含まれる複数の基本画像Ｉ_１、Ｉ_２、．．．Ｉ_６のそれぞれの単一フィーチャマップＦ_１、Ｆ_２、．．．Ｆ_６を生成することができる。

【0053】

図６Ａ～図６Ｃは一実施形態による単一フィーチャマップを用いてボリュメトリックフィーチャを生成する方法を説明するための例示図である。

【0054】

深度マップ生成装置は、単一フィーチャマップを深度情報（ｄｅｐｔｈ ｉｎｆｏｒｍａｔｉｏｎ）と共にエンコードし、その後エンコード結果を３次元空間に投影することにより、ボリュメトリックフィーチャ（ｖｏｌｕｍｅｔｒｉｃ ｆｅａｔｕｒｅ）を生成することができる。

【0055】

図６Ａを参照すると、所定のカメラにより撮影された基本画像Ｉ_ｉから生成された単一フィーチャマップＦ_ｉに対して、深度マップ生成装置は、ピクセルｐから所定のカメラの中心までの光線（ｒａｙ）に沿ってボクセルセット（ｓｅｔ ｏｆ ｖｏｘｅｌｓ）を選択し、単一フィーチャマップにピクセルを割り当てたＦ_ｉ（ｐ）を設定することができる。深度マップ生成装置は、所定のカメラの内部パラメータ及び外部パラメータを用いたバックワードワーピング（ｂａｃｋｗａｒｄ－ｗａｒｐｉｎｇ）などのマッピング関数でそれを実現することができる。

【0056】

各ピクセルｐの単一フィーチャマップＦ_ｉ（ｐ）６１０には、Ｆ_ｉ（ｐ）６１０ピクセルの光線に沿った（ａｌｏｎｇ）高レベル情報（ｈｉｇｈ－ｌｅｖｅｌ ｉｎｆｏｒｍａｔｉｏｎ）が含まれるので、図６Ｂを参照すると、深度マップ生成装置は、Ｆ_ｉ（ｐ）６１０をボクセル座標の深度情報６２０と連結（ｃｏｎｃａｔｅｎａｔｅ）してエンコードすることができる。また、深度マップ生成装置は、エンコード結果を３次元空間に投影することにより、各ボクセル座標（ｘ，ｙ，ｚ）のローカル３次元フィーチャを抽出することができる。

【0057】

一方、サラウンドビュー画像を撮影する複数のカメラのビューにおける空間的重なり（ｏｖｅｒｌａｐ）が発生することにより、３次元ボリュメトリック空間上の一部のボクセルが複数の単一フィーチャマップに関連付けられ得る。

【0058】

図６Ｂを参照すると、３次元ボリュメトリック空間上の一部のボクセルは重なりが発生しているのに対して、他のボクセルは重なりが発生していないことを確認することができる。

【0059】

深度マップ生成装置は、ローカル３次元フィーチャをボリュメトリックエンコーダに入力してボリュメトリックフィーチャを生成することができる。一実施形態において、深度マップ生成装置は、ボクセル別に重なりが発生したか否かによって異なる多層パーセプトロン（Ｍｕｌｔｉ－Ｌａｙｅｒ Ｐｅｒｃｅｐｔｒｏｎ；ＭＬＰ）にボクセルを割り当てることができる。

【0060】

図６Ｃを参照すると、ローカル３次元フィーチャがボリュメトリックエンコーダに入力された後、重なりが発生しているボクセルと、重なりが発生していないボクセルとが異なるＭＬＰに割り当てられることを確認することができる。

【0061】

深度マップ生成装置は、異なるＭＬＰにボクセルが割り当てられてエンコードされた結果を全体的に融合（ｆｕｓｅ）してボリュメトリックフィーチャ６４０を生成することができる。本開示においては、ボクセル別に重なりが発生したか否かによって異なるＭＬＰにボクセルを割り当ててエンコードした後、その結果を融合してボリュメトリックフィーチャ６４０を生成することにより、ボリュメトリックフィーチャ６４０の各ボクセルは３Ｄジオメトリに関連する高次元フィーチャをエンコードすることができる。

【0062】

図７は一実施形態によるサラウンドビュー画像の深度マップを生成する方法を説明するための例示図である。

【0063】

深度マップ生成装置は、車両に設置された１つ以上のカメラの内部パラメータ及び外部パラメータに基づいて、図６Ｃにおいて生成されたボリュメトリックフィーチャを所定の解像度を有する投影された画像フィーチャに変換することができる。ここで、内部パラメータには、焦点距離（ｆｏｃａｌ ｌｅｎｇｔｈ）、主点（ｐｒｉｎｃｉｐａｌ ｐｏｉｎｔ）及び非対称係数（ｓｋｅｗ ｃｏｅｆｆｉｃｉｅｎｔ）などが含まれ得る。外部パラメータは、カメラ座標系とワールド座標系との間の変換関係を説明するパラメータであって、外部パラメータには、２つの座標系間の回転（ｒｏｔａｔｉｏｎ）及び平行移動（ｔｒａｎｓｌａｔｉｏｎ）変換情報が含まれ得る。

【0064】

また、深度マップ生成装置は、深度デコーダ（ｄｅｐｔｈ ｄｅｃｏｄｅｒ）を用いて投影された画像フィーチャをデコードすることにより、サラウンドビュー画像の深度マップを生成することができる。

【0065】

具体的には、図７を参照すると、深度マップ生成装置は、ボリュメトリックフィーチャ７１０に対してカメラ別の内部パラメータＫ_ｉ及び外部パラメータＥ_ｉを適用して所定の解像度「Ｈ／８×Ｗ／８」を有する投影された画像フィーチャ７３０

を生成することができる。例えば、深度マップ生成装置は、ボリュメトリックフィーチャ７１０Ｖに対してカメラ別の外部パラメータＥ_１、Ｅ_２、．．．Ｅ_６を適用して投影された画像フィーチャ７３０

を生成することができる。

【0066】

深度マップ生成装置は、深度デコーダ７４０を用いて解像度「Ｈ／８×Ｗ／８」を有する投影された画像フィーチャ７３０

をデコードすることにより、解像度「Ｈ×Ｗ」の深度マップを生成することができる。例えば、深度マップ生成装置は、解像度「Ｈ／８×Ｗ／８」を有する投影された画像フィーチャ７３０

をアップサンプリングして、深度マップＤ_１、Ｄ_２、．．．Ｄ_６を生成することができる。

【0067】

深度デコーダ７４０は、アップサンプリングのための３つの畳み込み層及び深度出力のための１つの畳み込み層から構成されてもよいが、それに限定されるものではない。

【0068】

本開示においては、図５～図７において上述した方法により、図４ａのサラウンドビュー画像として取得された各６つのカメラ別の画像Ｉ_１、Ｉ_２、．．．Ｉ_６を図７の深度マップＤ_１、Ｄ_２、．．．Ｄ_６に変換することができる。

【0069】

図８Ａ～図８Ｅは一実施形態による任意の回転ビューに応じた深度マップを取得する方法を説明するための例示図である。

【0070】

図７において上述したように、深度マップ生成装置は、車両に設置された１つ以上のカメラの外部パラメータに基づいて、ボリュメトリックフィーチャを所定の解像度を有する投影された画像フィーチャに変換することができる。

【0071】

本開示は、その過程で一般性を失わず、カメラポーズをそのまま維持する代わりに、所望のビューに対する標準座標系（ｃａｎｏｎｉｃａｌ ｃｏｏｒｄｉｎａｔｅ）からの投影行列（ｐｒｏｊｅｃｔｉｏｎ ｍａｔｒｉｘ）を用いて、ボリュメトリックフィーチャを投影された画像フィーチャに変換することができる。特に、本開示は、標準モーション（ｃａｎｏｎｉｃａｌ ｍｏｔｉｏｎ）と所望のカメラポーズとの積で変調（ｍｏｄｕｌａｔｅ）することにより新たなカメラポーズを得ることができる。すなわち、深度マップ生成装置は、ボリュメトリックフィーチャを所定の解像度を有する投影された画像フィーチャに変換するための投影行列を決定し、要求されるビュー（ｄｅｓｉｒｅｄ ｖｉｅｗ）に合う投影行列を用いて深度マップを変調することができる。

【0072】

また、カメラビューにおいて空間的重なりが共通のボリュメトリックフィーチャを共有するので、本開示においては、一貫したメトリックスケール深度マップ（ｍｅｔｒｉｃ ｓｃａｌｅｄ ｄｅｐｔｈ ｍａｐｓ）を予測することができる。

【0073】

本開示による方法は、任意の焦点距離だけでなく、ヨー（ｙａｗ）／ロール（ｒｏｌｌ）／ピッチ（ｐｉｔｃｈ）角度を変化させることにより、スムーズな深度マップを生成することができる。すなわち、本開示においては、実際に撮影された画像ではなくカメラポーズを任意に変調する場合も、スムーズな深度マップを生成することができる。

【0074】

図８Ａは車両に設置された３台のカメラから取得された画像であって、それぞれ車両の左側前方（ｆｒｏｎｔ－ｌｅｆｔ）、前方（ｆｒｏｎｔ）及び右側前方（ｆｒｏｎｔ－ｒｉｇｈｔ）を撮影した画像である。

【0075】

図８Ｂは本開示による方法でカメラの焦点をｘ１、ｘ１／２、ｘ１／３の倍率で変調して取得した深度マップであり、図８Ｃは本開示による方法で左側前方及び右側前方の画像を基準にヨー角度（ｙａｗ ａｎｇｌｅ）を変調したビュー補間（ｖｉｅｗ－ｉｎｔｅｒｐｏｌａｔｉｏｎ）深度マップであり、図８Ｄは本開示による方法で前方画像のロール角度（ｒｏｌｌ ａｎｇｌｅ）を±１０゜変調した深度マップであり、図８Ｅは本開示による方法で前方画像のピッチ角度（ｐｉｔｃｈ ａｎｇｌｅ）を±３゜変調した深度マップである。

【0076】

図９は一実施形態による標準モーションの予測を行う方法を説明するための例示図である。

【0077】

深度マップ生成装置は、図６Ｃにおいて生成されたボリュメトリックフィーチャを鳥瞰図（ＢＥＶ）フィーチャに平面化（ｆｌａｔｔｅｎ）することができる。また、深度マップ生成装置は、ポーズデコーダを用いて鳥瞰図フィーチャをデコードすることにより、基準単眼カメラにおける現在の時点のカメラポーズと次の時点のカメラポーズ間の変化量を示す標準カメラモーション（ｃａｎｏｎｉｃａｌ ｃａｍｅｒａ ｍｏｔｉｏｎ）を取得することができる。ここで、「モーション」とは、基準単眼カメラにおける現在の時点のポーズと次の時点のポーズ間の変化量を意味する。深度マップ生成装置は、基準単眼カメラと他の単眼カメラとの間の外部パラメータ関係及び標準カメラモーションに基づいて、次の時点での他の単眼カメラのポーズ情報を一括取得することができる。

【0078】

具体的には、図９を参照すると、深度マップ生成装置は、ボリュメトリックフィーチャ９１０

のＺ軸をチャネル次元Ｃで崩壊させ（ｃｏｌｌａｐｓｅ）（すなわち、３Ｄテンソル

でリシェーピングし）、２Ｄ畳み込みを適用することにより、平面化された鳥瞰図フィーチャ９２０Ｆ_ＢＥＶ（すなわち、

）を生成することができる。

【0079】

また、深度マップ生成装置は、ポーズデコーダ９３０を用いて標準カメラモーション

を取得することができる。標準カメラモーション

は、基準単眼カメラ（例えば、前方単眼カメラ）における現在の時点ｔのカメラポーズと次の時点ｔ＋１のカメラポーズ間の変化量を示す。

【0080】

深度マップ生成装置は、基準単眼カメラと他の単眼カメラとの間の外部パラメータ関係及び標準カメラモーションに基づいて、次の時点での他の単眼カメラのポーズ情報を一括取得することができる。それは下記数式１のように表される。下記数式１において、Ｅ_１とは、基準単眼カメラの外部パラメータを意味する。

【0081】

【数1】

【0082】

図９を参照すると、車両に設置された単眼カメラが計Ｎ個である場合、深度マップ生成装置は、上記数式１により、基準単眼カメラ以外の他の単眼カメラの次の時点ｔ＋１でのポーズ情報

を一括取得することができる。

【0083】

一方、前方カメラ以外に、他の方向に配向された単眼カメラも、基準単眼カメラに設定することができる。

【0084】

図１０は一実施形態による自己教師あり学習を用いたニューラルネットワークを説明するための例示図である。

【0085】

深度マップ生成装置は、自己教師あり学習（ｓｅｌｆ－ｓｕｐｅｒｖｉｓｅｄ ｌｅａｒｎｉｎｇ）を用いてニューラルネットワークを学習させることができる。深度マップ生成装置は、サラウンドビュー画像をニューラルネットワークの入力データとして用い、深度マップ及び標準カメラモーションを出力データとして用いることにより、ニューラルネットワークを学習させることができる。

【0086】

一実施形態において、ニューラルネットワークは、下記数式２による画像再構成損失（ｉｍａｇｅ ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ ｌｏｓｓ）

及び深度合成損失（ｄｅｐｔｈ ｓｙｎｔｈｅｓｉｓ ｌｏｓｓ）

を最小限に抑える方向に学習され得る。

【0087】

【数2】

また、画像再構成損失は、下記数式３による時間的（ｔｅｍｐｏｒａｌ）損失Ｌ_ｔ、空間的（ｓｐａｔｉｏ）損失Ｌ_ＳＰ及び時空間的（ｓｐａｔｉｏ－ｔｅｍｐｏｒａｌ）損失Ｌ_ＳＰ＿ｔを含み得る。一方、下記数式３において、Ｌ_{ｓｍｏｏｔｈ}とは、ｓｍｏｏｔｈｎｅｓｓ ｌｏｓｓを意味する。

【0088】

【数3】

【0089】

また、深度合成損失は、下記数式４による深度一貫性（ｃｏｎｓｉｓｔｅｎｃｙ）損失Ｌ_ｃоｎｓを含み得る。深度一貫性損失Ｌ_ｃоｎｓは、新たなビューで合成された深度と知られている各カメラビューｉでの深度との間の深度差に対するペナルティを示す。

【0090】

【数4】

【0091】

図１１は一実施形態による単眼カメラを用いて深度マップを生成する方法を説明するためのフローチャートである。

【0092】

図１１を参照すると、ステップ１１１０において、プロセッサは、１つ以上の単眼カメラによりサラウンドビュー画像を取得することができる。

【0093】

ステップ１１２０において、プロセッサは、サラウンドビュー画像に含まれる基本画像をエンコードして多重スケール（ｍｕｌｔｉ－ｓｃａｌｅ）画像フィーチャを生成することができる。

【0094】

ステップ１１３０において、プロセッサは、多重スケール画像フィーチャのそれぞれを所定の解像度を基準にリサイズ（ｒｅｓｉｚｅ）及び連結（ｃｏｎｃａｔｅｎａｔｅ）して、基本画像の単一フィーチャマップを生成することができる。

【0095】

ステップ１１４０において、プロセッサは、単一フィーチャマップを深度情報（ｄｅｐｔｈ ｉｎｆｏｒｍａｔｉｏｎ）と共にエンコードし、その後エンコード結果を３次元空間に投影することにより、ボリュメトリックフィーチャ（ｖｏｌｕｍｅｔｒｉｃ ｆｅａｔｕｒｅ）を生成することができる。

【0096】

一実施形態において、プロセッサは、単一フィーチャマップを前記深度情報と連結（ｃｏｎｃａｔｅｎａｔｅ）してエンコードし、その後エンコード結果を３次元空間に投影することにより、３次元ボリュメトリック空間上のローカル３次元フィーチャを抽出することができる。また、プロセッサは、ローカル３次元フィーチャを用いて前記ボリュメトリックフィーチャを生成することができる。

【0097】

一実施形態において、プロセッサは、ボリュメトリックエンコーダにローカル３次元フィーチャを入力してボリュメトリックフィーチャを生成することができる。

【0098】

一実施形態において、ボリュメトリックエンコーダは、複数の多層パーセプトロン（Ｍｕｌｔｉ－Ｌａｙｅｒ Ｐｅｒｃｅｐｔｒｏｎ）で構成されてもよい。プロセッサは、３次元ボリュメトリック空間上のボクセル別に重なりが発生したか否かによって異なる多層パーセプトロンにボクセルを割り当てることができる。プロセッサは、異なる多層パーセプトロンからのエンコード結果を融合（ｆｕｓｅ）してボリュメトリックフィーチャを生成することができる。

【0099】

ステップ１１５０において、プロセッサは、深度デコーダを用いてボリュメトリックフィーチャをデコードすることにより、サラウンドビュー画像の深度マップを生成することができる。

【0100】

一実施形態において、プロセッサは、１つ以上の単眼カメラの内部パラメータ（ｉｎｔｒｉｎｓｉｃ ｐａｒａｍｅｔｅｒ）及び外部パラメータ（ｅｘｔｒｉｎｓｉｃ ｐａｒａｍｅｔｅｒ）に基づいて、ボリュメトリックフィーチャを前記所定の解像度を有する投影された画像フィーチャに変換することができる。プロセッサは、深度デコーダを用いて投影された画像フィーチャをデコードすることにより、サラウンドビュー画像の深度マップを生成することができる。

【0101】

一実施形態において、プロセッサは、ボリュメトリックフィーチャを所定の解像度を有する投影された画像フィーチャに変換するための投影行列（ｐｒｏｊｅｃｔｉｏｎ ｍａｔｒｉｘ）を決定することができる。プロセッサは、要求されるビュー（ｄｅｓｉｒｅｄ ｖｉｅｗ）に合う投影行列を用いて、深度マップを変調することができる。

【0102】

一実施形態において、プロセッサは、ボリュメトリックフィーチャを鳥瞰図（ＢＥＶ）フィーチャに平面化（ｆｌａｔｔｅｎ）することができる。プロセッサは、ポーズデコーダを用いて鳥瞰図フィーチャをデコードすることにより、基準単眼カメラにおける現在の時点のカメラポーズと次の時点のカメラポーズ間の変化量を示す標準カメラモーション（ｃａｎｏｎｉｃａｌ ｃａｍｅｒａ ｍｏｔｉｏｎ）を取得することができる。プロセッサは、基準単眼カメラと他の単眼カメラとの間の外部パラメータ関係及び標準カメラモーションに基づいて、次の時点での前記他の単眼カメラのポーズ情報を一括取得することができる。

【0103】

一実施形態において、プロセッサは、サラウンドビュー画像をニューラルネットワークの入力データとして用い、深度マップ及び標準カメラモーションを出力データとして用いることにより、前記ニューラルネットワークを学習させることができる。

【0104】

ニューラルネットワークは、画像再構成損失（ｉｍａｇｅ ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ ｌｏｓｓ）及び深度合成損失（ｄｅｐｔｈ ｓｙｎｔｈｅｓｉｓ ｌｏｓｓ）を最小限に抑える方向に学習され得る。画像再構成損失は、時間的（ｔｅｍｐｏｒａｌ）損失、空間的（ｓｐａｔｉｏ）損失及び時空間的（ｓｐａｔｉｏ－ｔｅｍｐｏｒａｌ）損失を含み得る。深度合成損失は、深度一貫性（ｃｏｎｓｉｓｔｅｎｃｙ）損失を含み得る。

【0105】

図１２は一実施形態による深度マップ生成装置のブロック図である。

【0106】

図１２を参照すると、深度マップ生成装置１２００は、通信部１２１０、プロセッサ１２２０及びＤＢ１２３０を含んでもよい。図１２の深度マップ生成装置１２００には、実施形態に関連する構成要素のみ示されている。よって、図１２に示す構成要素に加えて他の汎用の構成要素をさらに含み得ることは、当該技術分野における通常の知識を有する者であれば理解するであろう。

【0107】

通信部１２１０は、外部サーバ又は外部装置との有線／無線通信を可能にする１つ以上の構成要素を含んでもよい。例えば、通信部１２１０は、近距離通信部（図示せず）、移動通信部（図示せず）及び放送受信部（図示せず）の少なくとも１つを含んでもよい。

【0108】

ＤＢ１２３０は、深度マップ生成装置１２００内で処理される各種データを保存するハードウェアであって、プロセッサ１２２０の処理及び制御のためのプログラムを保存することができる。

【0109】

ＤＢ１２３０は、ＤＲＡＭ（ｄｙｎａｍｉｃ ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｙ）、ＳＲＡＭ（ｓｔａｔｉｃ ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｙ）などのＲＡＭ（ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｙ）、ＲＯＭ（ｒｅａｄ－ｏｎｌｙ ｍｅｍｏｒｙ）、ＥＥＰＲＯＭ（ｅｌｅｃｔｒｉｃａｌｌｙ ｅｒａｓａｂｌｅ ｐｒｏｇｒａｍｍａｂｌｅ ｒｅａｄ－ｏｎｌｙ ｍｅｍｏｒｙ）、ＣＤ－ＲＯＭ、ブルーレイ又は他の光ディスクストレージ、ＨＤＤ（ｈａｒｄ ｄｉｓｋ ｄｒｉｖｅ）、ＳＳＤ（ｓｏｌｉｄ ｓｔａｔｅ ｄｒｉｖｅ）、又はフラッシュメモリを含む。

【0110】

プロセッサ１２２０は、深度マップ生成装置１２００の全般的な動作を制御する。例えば、プロセッサ１２２０は、ＤＢ１２３０に保存されたプログラムを実行することにより、入力部（図示せず）、ディスプレイ（図示せず）、通信部１２１０、ＤＢ１２３０などを全般的に制御することができる。プロセッサ１２２０は、ＤＢ１２３０に保存されたプログラムを実行することにより、深度マップ生成装置１２００の動作を制御することができる。

【0111】

プロセッサ１２２０は、図１～図１１において上述した深度マップ生成装置１２００の動作の少なくとも一部を制御することができる。深度マップ生成装置１２００及び自律走行装置４０は、同じ装置であってもよく、各装置で行われる少なくとも一部の動作が同じであってもよい。

【0112】

プロセッサ１２２０は、ＡＳＩＣｓ（ａｐｐｌｉｃａｔｉｏｎ ｓｐｅｃｉｆｉｃ ｉｎｔｅｇｒａｔｅｄ ｃｉｒｃｕｉｔｓ）、ＤＳＰｓ（ｄｉｇｉｔａｌ ｓｉｇｎａｌ ｐｒｏｃｅｓｓｏｒｓ）、ＤＳＰＤｓ（ｄｉｇｉｔａｌ ｓｉｇｎａｌ ｐｒｏｃｅｓｓｉｎｇ ｄｅｖｉｃｅｓ）、ＰＬＤｓ（ｐｒｏｇｒａｍｍａｂｌｅ ｌｏｇｉｃ ｄｅｖｉｃｅｓ）、ＦＰＧＡｓ（ｆｉｅｌｄ ｐｒｏｇｒａｍｍａｂｌｅ ｇａｔｅ ａｒｒａｙｓ）、コントローラ（ｃｏｎｔｒｏｌｌｅｒｓ）、マイクロコントローラ（ｍｉｃｒｏ－ｃｏｎｔｒｏｌｌｅｒｓ）、マイクロプロセッサ（ｍｉｃｒｏｐｒｏｃｅｓｓｏｒｓ）、その他の機能の実行のための電気ユニットの少なくとも１つを用いて実現することができる。

【0113】

一実施形態において、深度マップ生成装置１２００は、移動性を有する電子デバイスであり得る。例えば、深度マップ生成装置１２００は、スマートフォン、タブレットＰＣ、ＰＣ、スマートテレビ、ＰＤＡ（ｐｅｒｓｏｎａｌ ｄｉｇｉｔａｌ ａｓｓｉｓｔａｎｔ）、ラップトップ、メディアプレーヤ、ナビゲーション、カメラ付きデバイス、及びその他のモバイル電子デバイスで実現することができる。また、深度マップ生成装置１２００は、通信機能及びデータ処理機能を備えた時計、メガネ、ヘッドバンド、指輪などのウェアラブルデバイスで実現することができる。

【0114】

他の実施形態において、深度マップ生成装置１２００は、車両に組み込まれる電子デバイスであり得る。例えば、深度マップ生成装置１２００は、製造過程後にチューニング（ｔｕｎｉｎｇ）により車両に挿入される電子デバイスであり得る。

【0115】

さらに他の実施形態において、深度マップ生成装置１２００は、車両の外部に位置するサーバであり得る。サーバは、ネットワークを介して通信を行って命令、コード、ファイル、コンテンツ、サービスなどを提供するコンピュータ装置又は複数のコンピュータ装置で実現されてもよい。サーバは、車両に搭載された装置から深度マップの生成のために必要なデータを受信し、受信したデータに基づいて深度マップを生成することができる。

【0116】

さらに他の実施形態において、深度マップ生成装置１２００で実行されるプロセスは、移動性を有する電子デバイス、車両に組み込まれる電子デバイス、及び車両の外部に位置するサーバの少なくとも一部により実行することができる。

【0117】

本発明による実施形態は、コンピュータ上で様々な構成要素により実行できるコンピュータプログラムの形態で実現することができ、このようなコンピュータプログラムは、コンピュータで読み取り可能な媒体に記録することができる。ここで、媒体には、ハードディスク、フロッピーディスク、磁気テープなどの磁気媒体、ＣＤ－ＲＯＭ、ＤＶＤなどの光記録媒体、フロプティカルディスク（ｆｌｏｐｔｉｃａｌ ｄｉｓｋ）などの光磁気記録媒体（ｍａｇｎｅｔｏ－ｏｐｔｉｃａｌ ｍｅｄｉｕｍ）、ＲＯＭ、ＲＡＭ、フラッシュメモリなどのプログラム命令を記憶して実行するように特別に構成されたハードウェア装置が含まれる。

【0118】

一方、前記コンピュータプログラムは、本発明のために特別に設計及び構成されたものであってもよく、コンピュータソフトウェア分野の当業者に公知されて使用可能なものであってもよい。 コンピュータプログラムの例には、コンパイラにより生成されるような機械語コードだけでなく、インタプリタなどを用いてコンピュータにより実行される高級言語コードも含まれる。

【0119】

一実施形態によれば、本開示の様々な実施形態による方法は、コンピュータプログラム製品（ｃｏｍｐｕｔｅｒ ｐｒｏｇｒａｍ ｐｒｏｄｕｃｔ）に含めて提供することができる。コンピュータプログラム製品は、商品として販売者と購入者との間で取引されるようにすることができる。コンピュータプログラム製品は、機器で読み取り可能な記憶媒体（例えば、ｃｏｍｐａｃｔ ｄｉｓｃ ｒｅａｄ ｏｎｌｙ ｍｅｍｏｒｙ（ＣＤ－ＲＯＭ））の形態で配布するか、又はアプリケーションストア（例えば、プレイストア^ＴＭ）を介して、もしくは２つのユーザ装置間で直接、オンラインで配布（例えば、ダウンロード又はアップロード）することができる。オンライン配布の場合、コンピュータプログラム製品の少なくとも一部は、メーカーのサーバ、アプリケーションストアのサーバ、又は中継サーバのメモリなどの機器で読み取り可能な記憶媒体に少なくとも一時的に記憶されるか、一時的に生成されるようにすることができる。

【0120】

本発明による方法を構成するステップに関して、明白な順序の記載又はそれに反する記載がなければ、上記ステップは適切な順序で行うことができる。本発明は、必ずしも上記ステップの記載順序に限定されるものではない。本発明における全ての例又は例示的な用語（例えば、など）の使用は、単に本発明を詳細に説明するためのものであり、特許請求の範囲により限定されない限り、上記例又は例示的な用語により本発明の範囲が限定されるわけではない。また、当業者は、様々な修正、組み合わせ及び変更が加えられた特許請求の範囲又はその均等物の範疇内で設計条件及び要因に応じて構成できることを理解するであろう。

【0121】

よって、本発明の思想は、上述した実施形態に限定されて定められてはならず、添付の特許請求の範囲だけでなく、その特許請求の範囲と均等な又はそれから等価的に変更された全ての範囲は、本発明の思想の範疇に属するといえる。

【図1】

【図2】

【図3】

【図4A】

【図4B】

【図5】

【図6A】

【図6B】

【図6C】

【図7】

【図8A】

【図8B】

【図8C】

【図8D】

【図8E】

【図9】

【図10】

【図11】

【図12】