特開 2024-127754 疎な深度マップの深度補完方法及びそのシステム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024127754

(43)【公開日】2024-09-20

(54)【発明の名称】疎な深度マップの深度補完方法及びそのシステム

(51)【国際特許分類】

   G06T 7/55 20170101AFI20240912BHJP

   G06T 7/00 20170101ALI20240912BHJP

【ＦＩ】

G06T7/55

G06T7/00 350C

【審査請求】有

【請求項の数】19

【出願形態】ＯＬ

(21)【出願番号】P 2024006283

(22)【出願日】2024-01-18

(31)【優先権主張番号】18/180,104

(32)【優先日】2023-03-07

(33)【優先権主張国・地域又は機関】US

【公序良俗違反の表示】

（特許庁注：以下のものは登録商標）

１．ＴＥＮＳＯＲＦＬＯＷ

(71)【出願人】

【識別番号】502016219

【氏名又は名称】ハイマックス テクノロジーズ リミテッド

(74)【代理人】

【識別番号】100206335

【弁理士】

【氏名又は名称】太田 和宏

(72)【発明者】

【氏名】邱 泓諭

(72)【発明者】

【氏名】リュウ イー－ヌン

【テーマコード（参考）】

5L096

【Ｆターム（参考）】

5L096AA03

5L096AA06

5L096AA09

5L096CA02

5L096DA01

5L096EA33

5L096FA66

5L096GA51

5L096HA11

5L096KA04

5L096KA15

(57)【要約】

【課題】疎な深度マップの深度補完方法及びそのシステムを提供する。
【解決手段】グレースケール画像及びグレースケール画像に対応する疎な深度マップを取得するステップと、疎な深度マップに基づいて、最近傍補間画像とユークリッド距離変換画像を取得するステップと、グレースケール画像、最近傍補間画像及びユークリッド距離変換画像をニューラルネットワークモデルに入力して、予測残差マップを出力するステップと、予測残差マップと最近傍補間画像に基づいて予測密深度マップを生成するステップと、を含む疎な深度マップの深度補完方法。
【選択図】図１

【特許請求の範囲】

【請求項1】

グレースケール画像及び前記グレースケール画像に対応する疎な深度マップを取得するステップと、
前記疎な深度マップに基づいて、最近傍補間（ｎｅａｒｅｓｔ ｎｅｉｇｈｂｏｒ ｉｎｔｅｒｐｏｌａｔｉｏｎ；ＮＮＩ）画像とユークリッド距離変換（Ｅｕｃｌｉｄｅａｎ ｄｉｓｔａｎｃｅ ｔｒａｎｓｆｏｒｍ；ＥＤＴ）画像を取得するステップと、
前記グレースケール画像、前記最近傍補間画像及び前記ユークリッド距離変換画像をニューラルネットワークモデルに入力して、予測残差マップを出力するステップと、
前記予測残差マップと前記最近傍補間画像に基づいて予測密深度マップを生成するステップと、
を含む疎な深度マップの深度補完方法。

【請求項2】

画素レベル加算方法を用いて前記予測残差マップと前記最近傍補間画像に基づいて前記予測密深度マップを生成し、前記予測残差マップは前記最近傍補間画像の残差情報を含む請求項１に記載の疎な深度マップの深度補完方法。

【請求項3】

飛行時間測距センサを用いて前記グレースケール画像と前記疎な深度マップを取得する請求項１に記載の疎な深度マップの深度補完方法。

【請求項4】

前記グレースケール画像、前記最近傍補間画像及び前記ユークリッド距離変換画像を前記ニューラルネットワークモデルに入力する前に、前記グレースケール画像、前記最近傍補間画像及び前記ユークリッド距離変換画像にダウンサンプリング処理を実行するステップと、
前記予測密深度マップにアップサンプリング処理を実行するステップと、
を更に含み、
前記ダウンサンプリング処理及び前記アップサンプリング処理は、アンチエイリアス機能を有するバイリニア補間によって実行される請求項１に記載の疎な深度マップの深度補完方法。

【請求項5】

前記ニューラルネットワークモデルは、ＵＮｅｔネットワークアーキテクチャに基づくエンコーダ－デコーダ方式を採用して前記グレースケール画像、前記最近傍補間画像及び前記ユークリッド距離変換画像の複数の特徴をキャプチャする請求項１に記載の疎な深度マップの深度補完方法。

【請求項6】

前記ニューラルネットワークモデルにモデルプルーニング操作を実行して、前記ニューラルネットワークモデルを圧縮するステップを更に含む請求項１に記載の疎な深度マップの深度補完方法。

【請求項7】

前記ニューラルネットワークモデルの複数のターゲット層のみに前記モデルプルーニング操作を実行し、前記ターゲット層のそれぞれの重みは閾値より大きい請求項６に記載の疎な深度マップの深度補完方法。

【請求項8】

前記モデルプルーニング操作を実行した後、前記ニューラルネットワークモデルにモデルクラスタリング操作を実行して、前記ニューラルネットワークモデルを更に圧縮するステップを更に含む請求項６に記載の疎な深度マップの深度補完方法。

【請求項9】

前記ニューラルネットワークモデルの複数のターゲット層のみに前記モデルクラスタリング操作を実行し、前記ターゲット層のそれぞれの重みは閾値より大きい請求項８に記載の疎な深度マップの深度補完方法。

【請求項10】

前記ニューラルネットワークモデルを浮動小数点数モデルから整数モデルに量子化するステップを更に含む請求項１に記載の疎な深度マップの深度補完方法。

【請求項11】

グレースケール画像及び前記グレースケール画像に対応する疎な深度マップを取得するための飛行時間測距センサと、
前記飛行時間測距センサから前記グレースケール画像及び前記疎な深度マップを受信することと、前記疎な深度マップに基づいて最近傍補間画像及びユークリッド距離変換画像を取得することと、前記グレースケール画像、前記最近傍補間画像及び前記ユークリッド距離変換画像をニューラルネットワークモデルに入力して、予測残差マップを出力することと、前記予測残差マップと前記最近傍補間画像に基づいて予測密深度マップを生成することと、に用いられるプロセッサと、
を備える疎な深度マップの深度補完システム。

【請求項12】

前記プロセッサは、画素レベル加算方法を用いて前記予測残差マップと前記最近傍補間画像に基づいて前記予測密深度マップを生成し、前記予測残差マップは前記最近傍補間画像の残差情報を含む請求項１１に記載の疎な深度マップの深度補完システム。

【請求項13】

前記プロセッサは、
前記グレースケール画像、前記最近傍補間画像及び前記ユークリッド距離変換画像を前記ニューラルネットワークモデルに入力する前に、前記グレースケール画像、前記最近傍補間画像及び前記ユークリッド距離変換画像にダウンサンプリング処理を実行することと、
前記予測密深度マップにアップサンプリング処理を実行することと、
に更に用いられ、
前記ダウンサンプリング処理及び前記アップサンプリング処理は、アンチエイリアス機能を有するバイリニア補間によって実行される請求項１１に記載の疎な深度マップの深度補完システム。

【請求項14】

前記ニューラルネットワークモデルは、ＵＮｅｔネットワークアーキテクチャに基づくエンコーダ－デコーダ方式を採用して前記グレースケール画像、前記最近傍補間画像及び前記ユークリッド距離変換画像の複数の特徴をキャプチャする請求項１１に記載の疎な深度マップの深度補完システム。

【請求項15】

前記プロセッサは、
前記ニューラルネットワークモデルにモデルプルーニング操作を実行して、前記ニューラルネットワークモデルを圧縮することに更に用いられる請求項１１に記載の疎な深度マップの深度補完システム。

【請求項16】

前記ニューラルネットワークモデルの複数のターゲット層のみに前記モデルプルーニング操作を実行し、前記ターゲット層のそれぞれの重みは閾値より大きい請求項１５に記載の疎な深度マップの深度補完システム。

【請求項17】

前記プロセッサは、
前記モデルプルーニング操作を実行した後、前記ニューラルネットワークモデルにモデルクラスタリング操作を実行して、前記ニューラルネットワークモデルを更に圧縮することに更に用いられる請求項１５に記載の疎な深度マップの深度補完システム。

【請求項18】

前記ニューラルネットワークモデルの複数のターゲット層のみに前記モデルクラスタリング操作を実行し、前記ターゲット層のそれぞれの重みは閾値より大きい請求項１７に記載の疎な深度マップの深度補完システム。

【請求項19】

前記プロセッサは、
前記ニューラルネットワークモデルを浮動小数点数モデルから整数モデルに量子化することに更に用いられる請求項１１に記載の疎な深度マップの深度補完システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は深度補完（ｄｅｐｔｈ ｃｏｍｐｌｅｔｉｏｎ）方法に関し、特に疎な深度マップ（ｓｐａｒｓｅ ｄｅｐｔｈ ｍａｐ）の深度補完方法及びそのシステムに関する。

【背景技術】

【0002】

飛行時間測距（ｔｉｍｅ－ｏｆ－ｆｌｉｇｈｔ；ＴｏＦ）センサは、真の三次元（３Ｄ）感知を通して、より高い信頼性のシーンの理解を提供する潜在力を備えるアクティブな深度センシング装置である。ＴｏＦセンサは、低消費電力とリアルタイムフレームレートの精度により、最近ではモバイル消費者向け装置に統合されている。しかしながら、ＴｏＦセンサはアクティブ照明に依存しており、これが消費電力の相当部分を占める。また、ＴｏＦセンサは正確な３Ｄ情報を提供できるが、目の安全性と低消費電力を確保するためにドット数の少ないプロジェクターを使用すると、その解像度がカラー画像より遥かに低くなる可能性がある。モバイル装置の限られた電力バジェットをより効率的に使用するには、ドットパターン光源を使用してシーンを照明することで、その放射強度が少数の領域（点）に集中するようにすることができる。室内３Ｄ感知に用いられる低消費電力ＴｏＦセンサは、通常、フレームあたり５００～１５００個のドットをキャプチャする。このようなスパース性のため、高密度の深度マップを得るためにはセンサ融合技術が必要となる。

【発明の概要】

【0003】

本発明の目的は、グレースケール画像及びグレースケール画像に対応する疎な深度マップを取得するステップと、疎な深度マップに基づいて、最近傍補間（ｎｅａｒｅｓｔ ｎｅｉｇｈｂｏｒ ｉｎｔｅｒｐｏｌａｔｉｏｎ；ＮＮＩ）画像とユークリッド距離変換（Ｅｕｃｌｉｄｅａｎ ｄｉｓｔａｎｃｅ ｔｒａｎｓｆｏｒｍ；ＥＤＴ）画像を取得するステップと、グレースケール画像、最近傍補間画像及びユークリッド距離変換画像をニューラルネットワークモデルに入力して、予測残差マップを出力するステップと、予測残差マップと最近傍補間画像に基づいて予測密深度マップを生成するステップと、を含む疎な深度マップの深度補完方法を提供することである。

【0004】

幾つかの実施例において、画素レベル加算方法を用いて予測残差マップと最近傍補間画像に基づいて予測密深度マップを生成し、予測残差マップは最近傍補間画像の残差情報を含む。

【0005】

幾つかの実施例において、飛行時間測距センサを用いてグレースケール画像と疎な深度マップを取得する。

【0006】

幾つかの実施例において、前記疎な深度マップの深度補完方法は、グレースケール画像、最近傍補間画像及びユークリッド距離変換画像をニューラルネットワークモデルに入力する前に、グレースケール画像、最近傍補間画像及びユークリッド距離変換画像にダウンサンプリング処理を実行するステップと、予測密深度マップにアップサンプリング処理を実行するステップと、を更に含み、ダウンサンプリング処理及びアップサンプリング処理は、アンチエイリアス機能を有するバイリニア補間によって実行される。

【0007】

幾つかの実施例において、ニューラルネットワークモデルは、ＵＮｅｔネットワークアーキテクチャに基づくエンコーダ－デコーダ方式を採用してグレースケール画像、最近傍補間画像及びユークリッド距離変換画像の複数の特徴をキャプチャする。

【0008】

幾つかの実施例において、前記疎な深度マップの深度補完方法は、ニューラルネットワークモデルにモデルプルーニング操作を実行して、ニューラルネットワークモデルを圧縮するステップを更に含む。

【0009】

幾つかの実施例において、ニューラルネットワークモデルの複数のターゲット層のみにモデルプルーニング操作を実行し、前記複数のターゲット層のそれぞれの重みは閾値より大きい。

【0010】

幾つかの実施例において、前記疎な深度マップの深度補完方法は、モデルプルーニング操作を実行した後、ニューラルネットワークモデルにモデルクラスタリング操作を実行して、ニューラルネットワークモデルを更に圧縮するステップを更に含む。

【0011】

幾つかの実施例において、ニューラルネットワークモデルの複数のターゲット層のみにモデルクラスタリング操作を実行し、前記複数のターゲット層のそれぞれの重みは閾値より大きい。

【0012】

幾つかの実施例において、前記疎な深度マップの深度補完方法は、ニューラルネットワークモデルを浮動小数点数モデルから整数モデルに量子化するステップを更に含む。

【0013】

本発明の別の目的は、グレースケール画像及びグレースケール画像に対応する疎な深度マップを取得するための飛行時間測距センサと、飛行時間測距センサからグレースケール画像及び疎な深度マップを受信することと、疎な深度マップに基づいて最近傍補間画像及びユークリッド距離変換画像を取得することと、グレースケール画像、最近傍補間画像及びユークリッド距離変換画像をニューラルネットワークモデルに入力して予測残差マップを出力することと、予測残差マップと最近傍補間画像に基づいて予測密深度マップを生成することと、に用いられるプロセッサと、を備える疎な深度マップの深度補完システムを提供することである。

【0014】

幾つかの実施例において、前記プロセッサは、画素レベル加算方法を用いて予測残差マップと最近傍補間画像に基づいて予測密深度マップを生成し、予測残差マップは最近傍補間画像の残差情報を含む。

【0015】

幾つかの実施例において、前記プロセッサは、グレースケール画像、最近傍補間画像及びユークリッド距離変換画像をニューラルネットワークモデルに入力する前に、グレースケール画像、最近傍補間画像及びユークリッド距離変換画像にダウンサンプリング処理を実行することと、予測密深度マップにアップサンプリング処理を実行することと、に更に用いられ、ダウンサンプリング処理及びアップサンプリング処理は、アンチエイリアス機能を有するバイリニア補間によって実行される。

【0016】

幾つかの実施例において、ニューラルネットワークモデルは、ＵＮｅｔネットワークアーキテクチャに基づくエンコーダ－デコーダ方式を採用してグレースケール画像、最近傍補間画像及びユークリッド距離変換画像の複数の特徴をキャプチャする。

【0017】

幾つかの実施例において、前記プロセッサは、ニューラルネットワークモデルにモデルプルーニング操作を実行して、ニューラルネットワークモデルを圧縮することに更に用いられる。

【0018】

幾つかの実施例において、ニューラルネットワークモデルの複数のターゲット層のみにモデルプルーニング操作を実行し、前記複数のターゲット層のそれぞれの重みは閾値より大きい。

【0019】

幾つかの実施例において、前記プロセッサは、モデルプルーニング操作を実行した後、ニューラルネットワークモデルにモデルクラスタリング操作を実行して、ニューラルネットワークモデルを更に圧縮することに更に用いられる。

【0020】

幾つかの実施例において、ニューラルネットワークモデルの複数のターゲット層のみにモデルクラスタリング操作を実行し、前記複数のターゲット層のそれぞれの重みは閾値より大きい。

【0021】

幾つかの実施例において、前記プロセッサは、ニューラルネットワークモデルを浮動小数点数モデルから整数モデルに量子化することに更に用いられる。

【0022】

本発明の上記特徴や利点をより分かりやすくするために、以下、実施例を挙げて、添付図面を参照しながら説明する。

【図面の簡単な説明】

【0023】

以下、添付図面に合わせて詳細に説明することで、本発明の態様はよりよく理解できる。業界の標準実務により、各特徴は縮尺で描かれていないことに注意されたい。実際には、議論をより明確にするために、各特徴のサイズを任意に増加又は減少してよい。

【図1】本発明の実施例による疎な深度マップの深度補完方法のフローチャートである。

【図2】本発明の実施例による疎な深度マップの深度補完システムのブロック図である。

【図3】本発明の実施例による図１の疎な深度マップの深度補完方法に対応する処理フローである。

【図4】本発明の実施例によるニューラルネットワークモデルの例示的なアーキテクチャの模式図である。

【図5】本発明の実施例による疎な深度マップの深度補完方法のフローチャートである。

【図6】本発明の実施例によるニューラルネットワークモデルの最適化の例示的なフローチャートである。

【発明を実施するための形態】

【0024】

以下、本発明の実施例を詳細に説明する。しかしながら、理解できるように、実施例は多くの応用可能な概念を提供し、それが様々な特定の内容に実施可能である。討論・開示される実施例は、説明のためのものに過ぎず、本発明の範囲を限定するものではない。

【0025】

図１は、本発明の実施例による疎な深度マップの深度補完方法のフローチャートである。図２は、本発明の実施例による疎な深度マップの深度補完システムのブロック図である。図３は、本発明の実施例による図１の疎な深度マップの深度補完方法に対応する処理フローである。

【0026】

図２に示すように、本発明の疎な深度マップの深度補完システムは、飛行時間測距センサ１２０と、飛行時間測距センサ１２０に通信接続されるプロセッサ１４０とを備える。

【0027】

図１～図３に示すように、本発明の疎な深度マップの深度補完方法は、ステップＳ１～Ｓ４を含む。ステップＳ１において、飛行時間測距センサ１２０を用いてグレースケール画像及びグレースケール画像に対応する疎な深度マップを取得する。本発明の幾つかの実施例において、疎な深度マップは、有用な情報を持つ有効画素（即ち、ターゲット深度マップの解像度でのスパース度）を０．１％～１０％（好ましくは約１％）含む。具体的には、本発明では単一のグレースケール画像フレーム及び疎な深度マップを使用する。

【0028】

具体的には、本発明では単一のキャプチャ装置（即ち、飛行時間測距センサ１２０）を用いてグレースケール画像及び疎な深度マップを取得し、それにより疎な深度マップの深度補完システムを簡素化する。具体的には、本発明では、グレースケール画像（ＲＧＢ／カラー画像ではない）を後段のニューラルネットワークモデルにフィードすることにより、後段のニューラルネットワークモデルはリソースが限られた低消費電力の装置で実現できる。

【0029】

図１～図３に示すように、ステップＳ２において、プロセッサ１４０は、飛行時間測距センサ１２０からグレースケール画像及び疎な深度マップを受信し、プロセッサ１４０は、疎な深度マップを前処理して、最近傍補間（ｎｅａｒｅｓｔ ｎｅｉｇｈｂｏｒ ｉｎｔｅｒｐｏｌａｔｉｏｎ；ＮＮＩ）画像及びユークリッド距離変換（Ｅｕｃｌｉｄｅａｎ ｄｉｓｔａｎｃｅ ｔｒａｎｓｆｏｒｍ；ＥＤＴ）画像を取得する。具体的には、最近傍補間（ｎｅａｒｅｓｔ ｎｅｉｇｈｂｏｒ ｉｎｔｅｒｐｏｌａｔｉｏｎ；ＮＮＩ）処理を実行することでＮＮＩ画像を取得し、ＮＮＩ処理は、ユークリッド意味（Ｅｕｃｌｉｄｅａｎ ｓｅｎｓｅ）で最も近いスパース深度画素に各座標をマッピングすることである。具体的には、ユークリッド距離変換（Ｅｕｃｌｉｄｅａｎ ｄｉｓｔａｎｃｅ ｔｒａｎｓｆｏｒｍ；ＥＤＴ）の推定によってＥＤＴ画像を得ることにより、最も近い有効画素までの二次元（２Ｄ）距離マップを与える。

【0030】

図１～図３に示すように、ステップＳ３において、プロセッサ１４０は、グレースケール画像、ＮＮＩ画像及びＥＤＴ画像をニューラルネットワークモデルに入力して、予測残差マップを出力する。ディープラーニングに基づくアルゴリズムによってニューラルネットワークモデルを構築する。ニューラルネットワークモデルは、エンコーダ－デコーダ（ｅｎｃｏｄｅｒ－ｄｅｃｏｄｅｒ）畳み込みニューラルネットワーク（ｃｏｎｖｏｌｕｔｉｏｎａｌ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ；ＣＮＮ）として設計されてよい。具体的には、ニューラルネットワークモデルは、ＵＮｅｔネットワークアーキテクチャに基づくエンコーダ－デコーダ方式（ｅｎｃｏｄｅｒ－ｄｅｃｏｄｅｒ ｆａｓｈｉｏｎ）を採用してグレースケール画像、ＮＮＩ画像及びＥＤＴ画像の複数の特徴をキャプチャする。

【0031】

図４は、本発明の実施例によるニューラルネットワークモデルの例示的なアーキテクチャの模式図である。図４に示すように、設計されたエンコーダ－デコーダ畳み込みニューラルネットワークは、単純な「ＵＮｅｔのような（Ｕ－ｎｅｔ ｌｉｋｅ）」テンプレートである。例えば、図４に示すように、本発明のニューラルネットワークモデルは、ライトバージョン（ｌｉｔｅ ｖｅｒｓｉｏｎ）のＥｆｆｉｃｉｅｎｔＮｅｔＶ２（即ち、ＥｆｆｉｃｉｅｎｔＮｅｔＶ２－Ｌｉｔｅモデル）からなるエンコーダ－デコーダ方式を特徴抽出器として採用し、且つ最近傍アップサンプリング（ｎｅａｒｅｓｔ ｎｅｉｇｈｂｏｒ ｕｐ－ｓａｍｐｌｉｎｇ）を有する通常のＣｏｎｖ２Ｄ層（ｒｅｇｕｌａｒ Ｃｏｎｖ２Ｄ ｌａｙｅｒｓ）をデコーダとして採用する。具体的には、ニューラルネットワークモデルのエンコーダ部分は、グレースケール画像、ＮＮＩ画像及びＥＤＴ画像の複数の特徴をキャプチャする。具体的には、ニューラルネットワークモデルのデコーダ部分は、エンコーダ部分からの特徴と加算演算を融合する。全てのスキップ接続（ｓｋｉｐ ｃｏｎｎｅｃｔｉｏｎｓ）は、連結（ｃｏｎｃａｔｅｎａｔｉｏｎ）によって行われる。

【0032】

エンコーダの実現方式について、図４に示すように、エンコーダのアーキテクチャは、特徴マップ解像度が小さい（Ｘ／３２）（ＥｆｆｉｃｉｅｎｔＮｅｔＶ２－Ｌｉｔｅモデルの）最後の数層を破棄することで、本発明のＥｆｆｉｃｉｅｎｔＮｅｔＶ２－Ｌｉｔｅモデルは、より少ないパラメータ及びより速い推論速度を実現するように、より少ないブロック（ｂｌｏｃｋｓ）を有する。具体的には、本発明のＥｆｆｉｃｉｅｎｔＮｅｔＶ２－Ｌｉｔｅモデルは、Ａｄｄ操作、Ｐａｄ操作、Ｃｏｖ２Ｄ操作、ＤｅｐｔｈｗｉｓｅＣｏｎｖ２Ｄ操作、ＲｅＬＵ６操作のみを含み、より良い量子化が実現される。ＥｆｆｉｃｉｅｎｔＮｅｔＶ２－Ｌｉｔｅモデルは、主にＣｏｎｖ２ＤとＤｅｐｔｈｗｉｓｅＣｏｎｖ２Ｄで構築され、そして量子化損失の少ないＲｅＬＵ６を使用する。ＲｅＬＵ６は、励起値（ａｃｔｉｖａｔｉｏｎ ｖａｌｕｅ）の範囲を［０，６］に制限する。量子化性能が低いため、アテンションメカニズム（ａｔｔｅｎｔｉｏｎ ｍｅｃｈａｎｉｓｍ）（即ち、圧縮及び励起ブロック（Ｓｑｕｅｅｚｅ－ａｎｄ－Ｅｘｃｉｔａｔｉｏｎ（ＳＥ）ｂｌｏｃｋ）は使用されていない。

【0033】

言い換えれば、デコーダの実現方式について、図４に示すように、全てのＣｏｎｖ２Ｄは、ｋｅｒｎｅｌ＿ｓｉｚｅ＝３であり、次にＢａｔｃｈＮｏｒｍａｌｉｚａｔｉｏｎとＲｅＬＵである。１つのＣｏｎｖ２Ｄブロックは、２つのＣｏｎｖ２Ｄと、それに続く最近傍補間（ＮＮＩ）を有するＵｐｓａｍｐｌｅ２Ｄとを含む。解像度をＸ／１６からＸに拡大できるブロックは４つがある。最終出力ブロックは、Ｕｐｓａｍｐｌｅ２Ｄがない３つのＣｏｎｖ２Ｄを有し、最後のＣｏｎｖ２Ｄは、ｋｅｒｎｅｌ＿ｓｉｚｅ＝１であり、且つバイアスパラメータ（ｂｉａｓ ｐａｒａｍｅｔｅｒ）を有する。デコーダは、Ｃｏｎｖ２ＤとＲｅＬＵのみで実現されるため、量子化が容易となる。ニューラルネットワークモデルは、デコーダに高密度深度マップ全体ではなく、残差マップを予測させることに注意されたい。残差情報が小さい値範囲を有するため、よりよく量子化することができる。

【0034】

図１～図３に示すように、ステップＳ４において、プロセッサ１４０は、予測残差マップとＮＮＩ画像に基づいて予測密深度マップを生成する。具体的には、画素レベル加算（ｐｉｘｅｌ－ｌｅｖｅｌ ａｄｄｉｔｉｏｎ）方法を用いて予測残差マップとＮＮＩ画像に基づいて予測密深度マップを生成する。予測残差マップは、ＮＮＩ画像の残差情報を含む。

【0035】

図５は、本発明の実施例による疎な深度マップの深度補完方法のフローチャートである。図５に示される疎な深度マップの深度補完方法は、図１に示される疎な深度マップの深度補完方法と類似し、両者の相違点は、図５に示される疎な深度マップの深度補完方法がステップＰ１とステップＰ２を更に含むことである。

【0036】

図５に示すように、ステップＰ１において、グレースケール画像、ＮＮＩ画像及びＥＤＴ画像をニューラルネットワークモデルに入力する前に、プロセッサ１４０は、グレースケール画像、ＮＮＩ画像及びＥＤＴ画像にダウンサンプリング（ｄｏｗｎ－ｓａｍｐｌｉｎｇ）処理を更に実行する。ステップＰ２において、プロセッサ１４０は、予測密深度マップにアップサンプリング（ｕｐ－ｓａｍｐｌｉｎｇ）処理を更に実行する。本発明の幾つかの実施例において、ダウンサンプリング処理及びアップサンプリング処理は、アンチエイリアス（ａｎｔｉａｌｉａｓｉｎｇ）機能を有するバイリニア補間（ｂｉｌｉｎｅａｒ ｉｎｔｅｒｐｏｌａｔｉｏｎ）によって実行される。例えば、ダウンサンプリング処理の解像度を２２４ｘ３０４から１２８ｘ１６０に低減することで、スタティックランダムアクセスメモリ（ＳＲＡＭ）の使用量を低減することができる。例えば、疎な深度マップの解像度を４８０ｘ６４０から２４０ｘ３２０に調整し、センターを２２４ｘ３０４に切り取り（ｃｅｎｔｅｒ ｃｒｏｐ）、グレースケール画像、ＮＮＩ画像及びＥＤＴ画像のそれぞれの解像度を１２８ｘ１６０に調整し、そしてサイズが決められたグレースケール画像、ＮＮＩ画像及びＥＤＴ画像をニューラルネットワークモデルに入力する。上記ダウンサンプリング処理は本発明にとってオプション（ｏｐｔｉｏｎａｌ）であることに注意されたい。また、ダウンサンプリング処理に対応して、予測密深度マップの解像度はまた、２２４ｘ３０４に調整される。

【0037】

図６は、本発明の実施例によるニューラルネットワークモデルの最適化の例示的なフローチャートである。具体的には、本発明は、公式ＴｅｎｓｏｒＦｌｏｗモデル最適化ツールキット（ＴｅｎｓｏｒＦｌｏｗ Ｍｏｄｅｌ Ｏｐｔｉｍｉｚａｔｉｏｎ ｔｏｏｌｋｉｔ；ＴＦＭＯＴ）を用いてニューラルネットワークモデルを最適化する。図６に示すように、ステップＱ１において、プロセッサ１４０は、ニューラルネットワークモデルにモデルプルーニング（ｐｒｕｎｉｎｇ）操作を実行してニューラルネットワークモデルを圧縮する。具体的には、ステップＱ１では、ニューラルネットワークモデルをプルーニング（ｐｒｕｎｓ）して、圧縮サイズとモデル性能とのトレードオフ（ｔｒａｄｅ－ｏｆｆ）を調べる。前記モデルプルーニング操作は本発明にとってオプション（ｏｐｔｉｏｎａｌ）であることに注意されたい。

【0038】

モデルプルーニング操作について、ニューラルネットワークモデルの複数のターゲット層のみにモデルプルーニング操作を実行し、これは選択的プルーニングとも呼ばれる。プルーニングの前に、ニューラルネットワークモデルの各層の重み（ｎ）を計算する。その後、閾値を設定することで重みが大きく且つ潜在的な冗長を有する複数のターゲット層を探す。言い換えれば、各ターゲット層の重みは閾値より大きい。例えば、前記閾値が１００００である場合、重み（ｎ）が１００００より大きい特定の層をターゲット層として定義し、その後、５０％又は７５％のスパース度でターゲット層をプルーニングし、ターゲット層ではない他の層は変わらない。例えば、５０％のスパース度でプルーニングするターゲット層は、当該層の重みの５０％をゼロとして確保する。例えば、前記閾値が５０００である場合、重み（ｎ）が５０００より大きい特定の層をターゲット層として定義し、その後、９０％のスパース度でターゲット層をプルーニングし、ターゲット層ではない他の層は変わらない。具体的には、選択的プルーニングは、ターゲット層にモデルプルーニング操作を実行し、他の層は変わらない。

【0039】

図６に示すように、ステップＱ２において、モデルプルーニング操作を実行した後、プロセッサ１４０は、ニューラルネットワークモデルにモデルクラスタリング（ｃｌｕｓｔｅｒｉｎｇ）操作を実行して、ニューラルネットワークモデルを更に圧縮する。具体的には、ステップＱ２では、スパース保留クラスタリング（ｓｐａｒｓｉｔｙ－ｐｒｅｓｅｒｖｅｄ ｃｌｕｓｔｅｒｉｎｇ）を用いてニューラルネットワークモデルを更に圧縮する。前記モデルクラスタリング操作は本発明にとってオプション（ｏｐｔｉｏｎａｌ）であることに注意されたい。

【0040】

モデルクラスタリング操作について、ニューラルネットワークモデルの複数のターゲット層のみにモデルクラスタリング操作を実行し、これは選択的クラスタリングとも呼ばれる。クラスタリングの前に、ニューラルネットワークモデルの各層の重み（ｎ）を計算する。その後、閾値を設定することで重みが大きく且つ潜在的な冗長を有する複数のターゲット層を探す。言い換えれば、各ターゲット層の重みは閾値より大きい。例えば、前記閾値が１００００である場合、重み（ｎ）が１００００より大きい特定の層をターゲット層として定義し、その後、５０％又は７５％のスパース度でターゲット層をクラスタリングし、ターゲット層ではない他の層は変わらない。例えば、前記閾値が５０００である場合、重み（ｎ）が５０００より大きい特定の層をターゲット層として定義し、その後、９０％のスパース度でターゲット層をクラスタリングし、ターゲット層ではない他の層は変わらない。具体的には、選択的クラスタリングは、ターゲット層にモデルクラスタリング操作を実行し、他の層は変わらない。

【0041】

図６に示すように、ステップＱ３において、プロセッサ１４０は、トレーニング後の量子化（ｐｏｓｔ－ｔｒａｉｎｉｎｇ ｑｕａｎｔｉｚａｔｉｏｎ）を行うことで、ニューラルネットワークモデルを浮動小数点数モデル（即ち、データフォーマットがＦＬＯＡＴ３２である）から整数モデル（即ち、データフォーマットがｆｕｌｌｙ ｉｎｔｅｇｅｒ（ＩＮＴ８）である）に量子化することにより、ニューラルネットワークモデルを４倍に圧縮し、その結果、圧縮されたニューラルネットワークモデルは、リソースが限られた低消費電力の装置で実現できる。前記トレーニング後の量子化は本発明にとってオプション（ｏｐｔｉｏｎａｌ）であることに注意されたい。

【0042】

具体的には、図６に示すように、選択的プルーニング（ステップＱ１）、選択的クラスタリング（ステップＱ２）及びトレーニング後にＩＮＴ８モデル（Ｑ３）に量子化することで、浮動小数点数モデルを更に最適化する。最適化されたＩＮＴ８モデルの配置は、極めて高いエネルギー効率を実現するためのものであり、その結果、最適化されたＩＮＴ８モデルは、リソースが限られた低消費電力の装置で実現できる。

【0043】

以上より、本発明は、多重最適化された高効率且つ小型のニューラルネットワークを用いて疎な深度マップ及びグレースケール画像から密深度マップを予測する。モデルサイズ（ｍｏｄｅｌ ｓｉｚｅ）及びメモリ使用量が少ない高効率且つ小型のニューラルネットワークは、リソースが限られた低消費電力の装置で実現できる。スパース深度画像と対応するグレースケール画像を融合することで、高精度且つ高解像度の深度画像を生成することができる。融合結果は、後続のタスク（例えば、３Ｄオブジェクト検出（３Ｄ ｏｂｊｅｃｔ ｄｅｔｅｃｔｉｏｎ）、セマンティックセグメンテーション（ｓｅｍａｎｔｉｃ ｓｅｇｍｅｎｔａｔｉｏｎ）等）のパフォーマンスを改善することができる。

【0044】

以上、幾つかの実施例の特徴を概説したので、当業者は本発明の態様をより理解することができる。当業者は、本発明を基礎として他の製造プロセス及び構造を容易に設計又は修正することができ、これにより、本明細書で紹介されたこれらの実施例と同じ目的を実現し、及び／又は同じ利点を達成することを理解すべきである。当業者はまた、これらの等価な構成が本発明の精神と範囲を逸脱しておらず、且つ本発明の精神と範囲を逸脱することなく様々な変更、置換及び変更を行うことができることを理解できるであろう。

【符号の説明】

【0045】

１２０ 飛行時間測距センサ
１４０ プロセッサ
Ｐ１、Ｐ２、Ｑ１、Ｑ２、Ｑ３、Ｓ１、Ｓ２、Ｓ３、Ｓ４ ステップ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】