特開 2022-106666 デプス情報処理方法、装置、機器、記憶媒体およびプログラム製品

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022106666

(43)【公開日】2022-07-20

(54)【発明の名称】デプス情報処理方法、装置、機器、記憶媒体およびプログラム製品

(51)【国際特許分類】

   G06T 7/50 20170101AFI20220712BHJP

   G06T 7/00 20170101ALI20220712BHJP

【ＦＩ】

G06T7/50

G06T7/00 350C

【審査請求】有

【請求項の数】19

【出願形態】ＯＬ

(21)【出願番号】P 2021209696

(22)【出願日】2021-12-23

(31)【優先権主張番号】202110019698.1

(32)【優先日】2021-01-07

(33)【優先権主張国・地域又は機関】CN

(71)【出願人】

【識別番号】514322098

【氏名又は名称】ベイジン バイドゥ ネットコム サイエンス テクノロジー カンパニー リミテッド

【氏名又は名称原語表記】Ｂｅｉｊｉｎｇ Ｂａｉｄｕ Ｎｅｔｃｏｍ Ｓｃｉｅｎｃｅ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．， Ｌｔｄ．

【住所又は居所原語表記】２／Ｆ Ｂａｉｄｕ Ｃａｍｐｕｓ， Ｎｏ．１０， Ｓｈａｎｇｄｉ １０ｔｈ Ｓｔｒｅｅｔ， Ｈａｉｄｉａｎ Ｄｉｓｔｒｉｃｔ， Ｂｅｉｊｉｎｇ １０００８５， Ｃｈｉｎａ

(71)【出願人】

【識別番号】516357421

【氏名又は名称】バイドゥ ユーエスエイ エルエルシー

【氏名又は名称原語表記】Ｂａｉｄｕ ＵＳＡ ＬＬＣ

(74)【代理人】

【識別番号】110001416

【氏名又は名称】特許業務法人 信栄特許事務所

(72)【発明者】

【氏名】宋希彬

(72)【発明者】

【氏名】▲張▼良俊

【テーマコード（参考）】

5L096

【Ｆターム（参考）】

5L096CA02

5L096CA18

5L096DA01

5L096HA11

5L096KA04

5L096KA15

(57)【要約】      （修正有）

【課題】欠落しているデプス情報を復元する際の復元の正確性を向上させるデプス情報処理方法、装置、機器、記憶媒体及びプログラム製品を提供する。
【解決手段】深層学習技術を用いたデプス情報補足モデルにおけるサブモデルユニットにおいて、デプス情報処理方法は、目標シーンの希少デプス情報を前記デプス情報補足モデルにおける先頭のサブモデルユニットの入力し、目標シーンの中間デプス情報を確定し、前記デプス情報補足モデルにおける末尾のサブモデルユニットにより確定された中間デプス情報を、目標シーンの密集デプス情報とする。
【選択図】図１

【特許請求の範囲】

【請求項1】

デプス情報補足モデルにおけるサブモデルユニットにより、目標シーンの希少デプス情報に基づき、前記目標シーンの中間デプス情報を確定することと、
前記デプス情報補足モデルにおける末尾のサブモデルユニットにより確定された中間デプス情報を、前記目標シーンの密集デプス情報とすることとを含む、
デプス情報処理方法。

【請求項2】

デプス情報補足モデルにおけるサブモデルユニットにより、目標シーンの希少デプス情報に基づき、前記目標シーンの中間デプス情報を確定することは、
前記目標シーンの希少デプス情報を前記デプス情報補足モデルにおける先頭のサブモデルユニットの入力とし、前記先頭のサブモデルユニットにより確定された中間デプス情報を取得することと、
前記デプス情報補足モデルにおける前記先頭のサブモデルユニット以外の他のサブモデルユニットのそれぞれに対し、前記他のサブモデルユニットの１つ前のサブモデルユニットにより確定された中間デプス情報を前記他のサブモデルユニットの入力とし、前記他のサブモデルユニットにより確定された中間デプス情報を取得することとを含む、
請求項１に記載の方法。

【請求項3】

デプス情報補足モデルにおけるサブモデルユニットにより、目標シーンの希少デプス情報に基づき、前記目標シーンの中間デプス情報を確定することは、
前記デプス情報補足モデルにおけるサブモデルユニットの砂時計ネットワーク層により、入力されたデプス情報を処理し、補足デプス情報を取得することと、
前記サブモデルユニットの累積層により、前記補足デプス情報と前記サブモデルユニットにより入力されたデプス情報とを重畳し、前記サブモデルユニットにより確定された中間デプス情報を取得することとを含む、
請求項１に記載の方法。

【請求項4】

前記補足デプス情報と前記サブモデルユニットにより入力されたデプス情報とを重畳することは、
前記サブモデルユニットの累積層により、前記補足デプス情報における補足画素点と前記入力されたデプス情報における希少画素点との間のマッチング関係を確定することと、
前記補足画素点の補足デプスデータと、マッチングする希少画素点の希少デプスデータとを重畳することとを含む、
請求項３に記載の方法。

【請求項5】

前記デプス情報補足モデルにおけるサブモデルユニットにより、前記目標シーンの画素情報に基づき、デプス特徴情報を確定することと、
前記デプス特徴情報に基づき、前記サブモデルユニットにより確定された中間デプス情報を調整することとを更に含む、
請求項１に記載の方法。

【請求項6】

標準シーンの標準希少デプス情報および標準密集デプス情報を取得することと、
前記標準希少デプス情報および前記標準密集デプス情報に基づき、トレーニングしてデプス情報補足モデルを取得することとを更に含む、
請求項１に記載の方法。

【請求項7】

標準シーンの標準希少デプス情報および標準密集デプス情報を取得することは、
デプスセンサを用いて前記標準シーンに対して画像収集を行い、前記標準密集デプス情報を取得することと、
前記標準密集デプス情報に対してサンプリングを行い、前記標準希少デプス情報を生成することとを含む、
請求項６に記載の方法。

【請求項8】

標準シーンの標準希少デプス情報および標準密集デプス情報を取得することは、
レーダ装置を用いて前記標準シーンに対して映像収集を行い、連続した複数フレームの希少デプス情報を取得することと、
前記連続した複数フレームの希少デプス情報を投影処理し、前記標準密集デプス情報を生成することと、
前記連続した複数フレームの希少デプス情報において、前記標準密集デプス情報にマッチングする希少デプス情報を取得し、前記標準希少デプス情報として確定することとを含む、
請求項６に記載の方法。

【請求項9】

デプス情報補足モデルにおけるサブモデルユニットにより、目標シーンの希少デプス情報に基づき、前記目標シーンの中間デプス情報を確定するための希少デプス情報入力モジュールと、
前記デプス情報補足モデルにおける末尾のサブモデルユニットにより確定された中間デプス情報を、前記目標シーンの密集デプス情報とするための密集デプス情報生成モジュールとを備える、
デプス情報処理装置。

【請求項10】

前記希少デプス情報入力モジュールは、
前記目標シーンの希少デプス情報を前記デプス情報補足モデルにおける先頭のサブモデルユニットの入力とし、前記先頭のサブモデルユニットにより確定された中間デプス情報を取得するための直列接続入力ユニットと、
前記デプス情報補足モデルにおける前記先頭のサブモデルユニット以外の他のサブモデルユニットのそれぞれに対し、前記他のサブモデルユニットの１つ前のサブモデルユニットにより確定された中間デプス情報を前記他のサブモデルユニットの入力とし、前記他のサブモデルユニットにより確定された中間デプス情報を取得するための中間伝送ユニットとを備える、
請求項９に記載の装置。

【請求項11】

前記希少デプス情報入力モジュールは、
前記デプス情報補足モデルにおけるサブモデルユニットの砂時計ネットワーク層により、入力されたデプス情報を処理し、補足デプス情報を取得するための補足デプス情報取得ユニットと、
前記サブモデルユニットの累積層により、前記補足デプス情報と前記サブモデルユニットにより入力されたデプス情報とを重畳し、前記サブモデルユニットにより確定された中間デプス情報を取得するための補足デプス情報重畳ユニットとを備える、
請求項９に記載の装置。

【請求項12】

前記補足デプス情報重畳ユニットは、
前記サブモデルユニットの累積層により、前記補足デプス情報における補足画素点と前記入力されたデプス情報における希少画素点との間のマッチング関係を確定するための画素マッチングサブユニットと、
前記補足画素点の補足デプスデータと、マッチングする希少画素点の希少デプスデータとを重畳するための画素重畳サブユニットとを備える、
請求項１１に記載の装置。

【請求項13】

前記デプス情報補足モデルにおけるサブモデルユニットにより、前記目標シーンの画素情報に基づき、デプス特徴情報を確定するための画素情報入力モジュールと、
前記デプス特徴情報に基づき、前記サブモデルユニットにより確定された中間デプス情報を調整するための中間デプス情報調整モジュールとを更に備える、
請求項９に記載の装置。

【請求項14】

標準シーンの標準希少デプス情報および標準密集デプス情報を取得するためのサンプル取得モジュールと、
前記標準希少デプス情報および前記標準密集デプス情報に基づき、トレーニングしてデプス情報補足モデルを取得するためのモデルトレーニングモジュールとを更に備える、
請求項９に記載の装置。

【請求項15】

前記サンプル取得モジュールは、
デプスセンサを用いて前記標準シーンに対して画像収集を行い、前記標準密集デプス情報を取得するための密集デプス情報収集ユニットと、
前記標準密集デプス情報に対してサンプリングを行い、前記標準希少デプス情報を生成するための希少デプス情報生成ユニットとを備える、
請求項１４に記載の装置。

【請求項16】

前記サンプル取得モジュールは、
レーダ装置を用いて前記標準シーンに対して映像収集を行い、連続した複数フレームの希少デプス情報を取得するための希少デプス情報収集ユニットと、
前記連続した複数フレームの希少デプス情報を投影処理し、前記標準密集デプス情報を生成するための希少デプス情報融合ユニットと、
前記連続した複数フレームの希少デプス情報において、前記標準密集デプス情報にマッチングする希少デプス情報を取得し、前記標準希少デプス情報として確定するための密集デプス情報生成ユニットとを備える、
請求項１４に記載の装置。

【請求項17】

少なくとも１つのプロセッサと、
前記少なくとも１つのプロセッサに通信接続されたメモリとを備え、
前記メモリに、前記少なくとも１つのプロセッサによって実行可能な命令が記憶され、
前記命令は、前記少なくとも１つのプロセッサが請求項１～８のいずれか１項に記載のデプス情報処理方法を実行可能であるように、前記少なくとも１つのプロセッサにより実行される、
電子機器。

【請求項18】

コンピュータ命令が記憶された非一時的なコンピュータ可読記憶媒体であって、
前記コンピュータ命令は、請求項１～８のいずれか１項に記載のデプス情報処理方法をコンピュータに実行させることに用いられる、
非一時的なコンピュータ可読記憶媒体。

【請求項19】

プロセッサにより実行されると、請求項１～８のいずれか１項に記載のデプス情報処理方法を実現する、
コンピュータプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像処理の技術分野に関し、特に、コンピュータビジョン技術、深層学習技術および自動運転技術に関する。

【背景技術】

【0002】

デプス知覚とは、同一のシーンでの異なる物体の遠近に対する知覚を意味し、デプス知覚は、多くのコンピュータビジョンタスク（例えば、自動ナビゲーションタスク）中の重要な組成部分である。

【0003】

例えば、レーダ装置は、通常、多くのデプスデータが欠落している希少デプス図のみを生成することができる。デプス補足技術とは、収集された離散シーンのデプス情報を入力とし、密集シーンのデプス情報を復元する方法を意味する。

【発明の概要】

【発明が解決しようとする課題】

【0004】

本発明は、デプス情報処理方法、装置、機器、記憶媒体およびプログラム製品を提供する。

【課題を解決するための手段】

【0005】

本発明の一態様によれば、
デプス情報補足モデルにおけるサブモデルユニットにより、目標シーンの希少デプス情報に基づき、目標シーンの中間デプス情報を確定することと、
前記デプス情報補足モデルにおける末尾のサブモデルユニットにより確定された中間デプス情報を、前記目標シーンの密集デプス情報とすることとを含む、
デプス情報処理方法を提供する。

【0006】

本発明の別の態様によれば、
デプス情報補足モデルにおけるサブモデルユニットにより、目標シーンの希少デプス情報に基づき、目標シーンの中間デプス情報を確定するための希少デプス情報入力モジュールと、
前記デプス情報補足モデルにおける末尾のサブモデルユニットにより確定された中間デプス情報を、前記目標シーンの密集デプス情報とするための密集デプス情報生成モジュールとを備える、
デプス情報処理装置を提供する。

【0007】

本発明の別の態様によれば、
少なくとも１つのプロセッサと、
前記少なくとも１つのプロセッサに通信接続されたメモリと、を備え、
前記メモリに、前記少なくとも１つのプロセッサによって実行可能な命令が記憶され、
前記命令は、前記少なくとも１つのプロセッサが本発明のいずれかの実施例に記載のデプス情報処理方法を実行可能であるように、前記少なくとも１つのプロセッサにより実行される、
電子機器を提供する。

【0008】

本発明の別の態様によれば、
コンピュータ命令が記憶された非一時的なコンピュータ可読記憶媒体であって、
前記コンピュータ命令は、本発明のいずれかの実施例に記載のデプス情報処理方法をコンピュータに実行させることに用いられる、
非一時的なコンピュータ可読記憶媒体を提供する。

【0009】

本発明の別の態様によれば、
コンピュータプログラムが含まれ、
前記コンピュータプログラムがプロセッサにより実行されると、本発明のいずれかの実施例に記載のデプス情報処理方法を実現する、
コンピュータプログラム製品を提供する。

【発明の効果】

【0010】

本発明の技術案によれば、密集デプス情報の予測の正確性を向上させる。

【0011】

本発明に記載された内容は、本発明の実施例のキーとなるまたは重要な特徴を標識するためのものではなく、本発明の範囲を限定するものでもないことが理解されるべきである。本発明の他の特徴は、以下の明細書により容易に理解することができる。

【図面の簡単な説明】

【0012】

図面は本形態をより良く理解するためのものであり、本発明を限定するものではない。

【0013】

【図1】本発明の実施例によるデプス情報処理方法の模式図である。

【図2】本発明の実施例によるデプス情報処理方法の模式図である。

【図3】本発明の実施例を実現可能なデプス情報補足モデルの模式図である。

【図4】本発明の実施例によるデプス情報処理方法の模式図である。

【図5】本発明の実施例を実現可能なサブモデルユニットの模式図である。

【図6】本発明の実施例を実現可能なデプス情報補足モデルの模式図である。

【図7】本発明の実施例を実現可能なサブモデルユニットの模式図である。

【図8】本発明の実施例によるデプス情報処理方法の模式図である。

【図9】本発明の実施例によるデプス情報処理装置の模式図である。

【図10】本発明の実施例のデプス情報処理方法を実現するための電子機器のブロック図である。

【発明を実施するための形態】

【0014】

以下、図面を参照しながら本発明の例示的な実施例について説明し、ここで、理解を容易にするために、本発明の実施例の様々な詳細を含み、それらが例示的なものに過ぎないと見なされるべきである。従い、当業者は、本発明の範囲および精神から逸脱することなく、ここで記載される実施例に対して様々な変更および修正を行うことができることを認識すべきである。それと同様に、明瞭かつ簡単にするために、以下の記述において公知の機能および構造についての説明を省略する。

【0015】

図１は、本発明の実施例によるデプス情報（Ｄｅｐｔｈ Ｉｎｆｏｒｍａｔｉｏｎ）処理方法のフローチャートであり、本実施例は、目標シーンの希少デプス情報を補足し、目標シーンの密集デプス情報を生成する場合に適用される。本実施例の方法は、デプス情報処理装置により実行でき、該装置は、ソフトウェアおよび／またはハードウェアの方式で実現でき、具体的に、一定のデータ演算能力を持つ電子機器に設定される。

【0016】

Ｓ１０１において、デプス情報補足モデルにおけるサブモデルユニットにより、目標シーンの希少デプス情報に基づき、目標シーンの中間デプス情報を確定する。

【0017】

デプス情報補足モデルは、希少デプス情報を補足し、密集デプス情報を形成することに用いられ、ここで、デプス情報の補足は、デプス情報の予測と理解されてもよい。１つのシーンのデプス情報は画像を用いて記述することができ、該画像内の画素点はデプス情報を有する。希少デプス情報と密集デプス情報との間の区別は、画像内の有効画素点の占有率が異なることを指してもよい。希少デプス情報に対応する画像内のデプス情報を有する画素点の、該画像に含まれる全ての画素点における占有率（例えば、２０％）は、密集デプス情報に対応する画像内のデプス情報を有する画素点の、該画像に含まれる全ての画素点における占有率（８０％）よりも小さい。それと同時に、希少デプス情報に対応する画像では、デプス情報を有する画素点の分布が不均一かつ疎であり、密集デプス情報に対応する画像では、デプス情報を有する画素点の分布が均一かつ密である。密集デプス情報は、希少デプス情報と比べ、デプス情報がより豊かで密である。

【0018】

デプス情報補足モデルとは、予めトレーニングされた深層学習モデルを意味してもよい。デプス情報補足モデルは複数のサブモデルユニットを備え、複数のサブモデルユニット間の接続方式は、直列接続および／または並列接続であってもよい。

【0019】

目標シーンは、任意の適用シーンを含んでもよく、例示的には、目標シーンは道路実景のシーンであってもよく、また、目標シーンは立体物が位置するシーンであってもよい。目標シーンの希少デプス情報とは、レーダまたはデプスセンサを用いて目標シーンに対して収集を行って取得したデプス情報画像を指してもよく、ここで、デプス情報画像内の画素点はデプス情報を有する。希少デプス情報の収集機器はロボット、無人車および端末装置に設定されてもよく、該ロボット、無人車または端末装置を用いて移動または静止中に目標シーンのデプス情報をリアルタイムに収集することができる。また、通常収集されたデプス情報画像は単眼画像である。

【0020】

目標シーンの希少デプス情報をデプス情報補足モデルの入力データとする。好ましくは、目標シーンの希少デプス情報をデプス情報補足モデルにおける先頭のサブモデルユニットまたは各サブモデルユニットの入力データとする。希少デプス情報をデプス情報補足モデルに入力し、各サブモデルユニットにより、対応する中間デプス情報をそれぞれ確定する。中間デプス情報とは、サブモデルユニットにより出力されたデプス情報の予測結果を指してもよく、通常、サブモデルユニットにより入力されたデプス情報を補足処理して形成されたデプス情報を指す。各サブモデルユニットはそれに対応して１つの中間デプス情報を出力する。

【0021】

Ｓ１０２において、前記デプス情報補足モデルにおける末尾のサブモデルユニットにより確定された中間デプス情報を、前記目標シーンの密集デプス情報とする。

【0022】

末尾のサブモデルユニットとは、接続された複数のサブモデルユニットのうちの末尾にあるサブモデルユニットを意味してもよい。例示的には、直列のみに接続された複数のサブモデルユニットにおいて、末尾にあるサブモデルユニットが末尾のサブモデルユニットであり、または、末尾にある並列接続された複数のサブモデルユニットが全て末尾のサブモデルユニットである。末尾のサブモデルユニットの数が１つである場合、末尾のサブモデルユニットにより出力された中間デプス情報を、目標シーンの密集デプス情報として確定し、即ち、デプス情報補足モデルの密集デプス情報として確定する。目標シーンの密集デプス情報をデプス情報補足モデルの出力データとする。デプス情報補足モデルは、希少デプス情報を密集デプス情報に補足することに用いられる。

【0023】

本発明の技術案によれば、目標シーンの希少デプス情報に基づき、デプス情報補足モデルにおけるサブモデルユニットにより、目標シーンの中間デプス情報をそれぞれ確定し、希少デプス情報の次第補足を実現し、最後に、末尾のサブモデルユニットの中間デプス情報を目標シーンの密集デプス情報として確定し、希少デプス情報を多段階で補足することを実現し、デプス情報を十分に補足し、デプス情報予測の正確性を向上させる。

【0024】

図２は、本発明の実施例による別のデプス情報処理方法のフローチャートであり、上記技術案に基づいて更に最適化して拡張し、且つ、上記各好ましい実施形態と組み合わせることができる。

【0025】

Ｓ２０１において、前記目標シーンの希少デプス情報を前記デプス情報補足モデルにおける先頭のサブモデルユニットの入力とし、前記先頭のサブモデルユニットにより確定された中間デプス情報を取得する。

【0026】

デプス情報補足モデルは、直列接続された各サブモデルユニットを備える。目標シーンの希少デプス情報をデプス情報補足モデルにおける先頭のサブモデルユニットの入力とし、該目標シーンの希少デプス情報が先頭のサブモデルユニットにより処理され、先頭のサブモデルユニットにより確定された中間デプス情報を取得し、次のサブモデルユニットに伝送する。

【0027】

先頭のサブモデルユニットは、希少デプス情報を補足し、先頭のサブモデルユニットにより確定された中間デプス情報を取得することに用いられる。ここで、先頭のサブモデルユニットにより確定された中間デプス情報に対応する画像におけるデプス情報を有する画素点の占有率が、希少デプス情報に対応する画像におけるデプス情報を有する画素点の占有率よりも高いことは、先頭のサブモデルユニットにより確定された中間デプス情報が、希少デプス情報よりも密であるとともに、先頭のサブモデルユニットにより確定された中間デプス情報内のデプス情報がより豊かであると理解できる。

【0028】

Ｓ２０２において、前記デプス情報補足モデルにおける先頭のサブモデルユニット以外の他のサブモデルユニットのそれぞれに対し、前記他のサブモデルユニットの１つ前のサブモデルユニットにより確定された中間デプス情報を前記他のサブモデルユニットの入力とし、前記他のサブモデルユニットにより確定された中間デプス情報を取得する。

【0029】

他のサブモデルとは、非先頭のサブモデルユニットを指してもよい。他のサブモデルユニットの１つ前のサブモデルユニットは他のサブモデルに直列接続され、且つ、他のサブモデルユニットの１つ前のサブモデルユニットの出力は他のサブモデルの入力である。他のサブモデルユニットの１つ前のサブモデルユニットの出力は中間デプス情報を含む。他のサブモデルユニットは、前のサブモデルユニットにより確定された中間デプス情報を処理し、他のサブモデルにより確定された中間デプス情報を取得する。ここで、各中間デプス情報に対応する画像サイズはいずれも同じであり、且つ、目標シーンの希少デプス情報に対応する画像サイズと同じ、画像サイズは、チャネル数、画像の幅および画像の高さ等を含んでもよい。

【0030】

実際には、先頭のサブモデルユニットが学習する内容は、希少デプス情報とリアルな密集デプス情報との間の差分値である一方、他の各サブモデルユニットが学習する内容は、前のサブモデルユニットにより出力された中間デプス情報とリアルな密集デプス情報との間の差分値であってもよい。学習を続けることにより、各サブモデルユニットにより出力された中間デプス情報は、ますますリアルな密集デプス情報に近づく。ここで、リアルな密集デプス情報は目標シーンのリアルなデプス情報であり、即ち、対応する画像内の各画素はいずれもデプス情報を有する。

【0031】

図３に示すように、デプス情報補足モデルは、直列接続された複数のサブモデルユニット３０２～３０４を備え、ここで、サブモデルユニット３０２は先頭のサブモデルユニットであり、サブモデル３０４は末尾のサブモデルユニットであり、サブモデルユニット３０２は希少デプス情報３０１を受信し、処理して中間デプス情報を取得し、直列接続された次のサブモデルユニット３０３に伝送し、以降は、サブモデルユニット３０４が中間デプス情報を出力するまで同様にし、密集デプス情報３０５として確定する。好ましくは、デプス情報補足モデルは、少なくとも２つのサブモデルユニットを備える。

【0032】

従来のデプス情報の補足用の深層学習モデルは、通常、デプス情報に対して単一段階の処理のみを行い、補足後のデプス情報を直接取得するが、デプス情報はワンステップで取得できないため、デプス情報の補足の十分性が足りない。本発明の技術案によれば、直列接続された複数のサブモデルユニットで各サブモデルのユニットが前のサブモデルユニットにより提供された中間デプス情報に基づいて補足を行うことにより、多段階のデプス情報の補足を実現し、希少デプス情報を次第に累積補足し、希少デプス情報を徐々に密にさせ、デプス情報の稠密性を精確に向上させることができる。

【0033】

Ｓ２０３において、前記デプス情報補足モデルにおける末尾のサブモデルユニットにより確定された中間デプス情報を、前記目標シーンの密集デプス情報とする。

【0034】

本発明の技術案によれば、直列接続された複数のサブモデルユニットで各サブモデルのユニットが前のサブモデルユニットにより提供された中間デプス情報に基づいて補足を行うことにより、多段階のデプス情報の補足操作で希少デプス情報を次第に累積補足し、希少デプス情報を徐々に密にさせ、デプス情報の稠密性を精確に向上させ、ひいてはデプス情報の予測の正確率を向上させることができる。

【0035】

図４は、本発明の実施例による別のデプス情報処理方法のフローチャートであり、上記技術案に基づいて更に最適化して拡張し、且つ、上記各好ましい実施形態と組み合わせることができる。

【0036】

Ｓ４０１において、前記デプス情報補足モデルにおけるサブモデルユニットの砂時計ネットワーク層により、入力されたデプス情報を処理し、補足デプス情報を取得する。

【0037】

各サブモデルユニットの構造は同じであり、いずれも砂時計ネットワーク層と累積層とを含み、砂時計ネットワーク層は累積層に連結され、累積層の入力は砂時計ネットワーク層の出力を含む。補足デプス情報とは、入力されたデプス情報が欠けているデプス情報を指してもよく、補足デプス情報は、入力されたデプス情報に累積されて入力されたデプス情報を補足し、中間デプス情報を形成することに用いられる。補足デプス情報に対応する画像サイズは入力されたデプス情報に対応する画像サイズと同じである。

【0038】

ここで、砂時計ネットワーク層（Ｈｏｕｒｇｌａｓｓ Ｎｅｔｗｏｒｋｓ）は、エンコーダとデコーダ（Ｅｎｃｏｄｅｒ－Ｄｅｃｏｄｅｒ）とを備える。エンコーダとデコーダとは対称構造となり、エンコーダに含まれたコンボリューション層数とデコーダに含まれたコンボリューション層数とが同じであることで、砂時計ネットワーク層により出力された補足デプス情報に対応する画像サイズと入力されたデプス情報に対応する画像サイズとが同じである。エンコーダは特徴抽出に用いられ、デコーダはエンコーダの逆操作と見なすことができる。例示的には、エンコーダは、デプスコンボリューションニューラルネットワークＶＧＧ（Ｖｉｓｕａｌ Ｇｅｏｍｅｔｒｙ Ｇｒｏｕｐ）または残差ネットワーク（Ｒｅｓｎｅｔ）等を用いることができる。ここで、各コンボリューション操作は、ｋ×ｋのコンボリューションカーネルおよびｃ層のチャネル（Ｃｈａｎｎｅｌ）を含む。

【0039】

図５に示すように、サブモデルユニットの構造において、サブモデルユニットは入力されたデプス情報５０１を取得し、砂時計ネットワーク層におけるエンコーダ５０２およびデコーダ５０３を順次用いて処理し、得られたデータが補足デプス情報であり、累積層５０４に入力され、累積層５０４は入力されたデプス情報５０１を更に取得し、補足デプス情報と入力されたデプス情報５０１とを累積して中間デプス情報５０５を取得する。ここで、入力されたデプス情報５０１は希少デプス情報であってもよいし、中間デプス情報であってもよい。ここで、砂時計ネットワーク層において、エンコーダ５０２およびデコーダ５０３における矢印で連結された２つのコンボリューション層は対応し、サイズが同じであり、デコーダ５０３におけるコンボリューション層は、対応するコンボリューション層（即ち、矢印で連結されたコンボリューション層）の出力と特徴融合する必要がある。例示的には、デコーダ５０３およびエンコーダ５０２はいずれも４つのコンボリューション層を含む。左から右への順序で、デコーダ５０３の１つ目のコンボリューション層の入力はエンコーダ５０２の末尾のコンボリューション層（即ち、４つ目のコンボリューション層）がコンボリューションして取得した特徴（ｆｅａｔｕｒｅ）であり、該特徴のサイズが最も小さい。後のデコーダ５０３のコンボリューション層の入力は、前の層のデコーダ５０３のコンボリューション層の出力およびエンコーダ５０２の対応層の出力であり、即ち、まず、アップサンプリング（ｕｐ－ｓａｍｐｌｉｎｇ）を行い、サイズが同じであるエンコーダ５０２のコンボリューション層で取得された出力特徴を融合し、融合方式は、画素累積またはスティッチング（ｃｏｎｃａｔｅ）＋コンボリューション操作であってもよい。

【0040】

Ｓ４０２において、前記サブモデルユニットの累積層により、補足デプス情報と前記サブモデルユニットにより入力されたデプス情報とを重畳し、サブモデルユニットにより確定された中間デプス情報を取得する。

【0041】

累積層は、入力されたデプス情報と補足デプス情報とを画素レベルで累積することに用いられ、具体的には、同じサイズの画像に対して画素ごとのデプス情報累積操作を行うことに用いられる。

【0042】

好ましくは、前記補足デプス情報と前記サブモデルユニットにより入力されたデプス情報とを重畳することは、前記サブモデルユニットの累積層により、前記補足デプス情報における補足画素点と入力されたデプス情報における希少画素点との間のマッチング関係を確定することと、前記補足画素点の補足デプスデータと、マッチングする希少画素点の希少デプスデータとを重畳することとを含む。

【0043】

マッチング関係は、各補足画素点と各希少画素点との間の関係を確定すること、および重畳する必要がある補足画素点および希少画素点を確定することに用いられる。好ましくは、マッチング関係とは、画像で同じ位置にある補足画素点と希少画素点とがマッチングすることを意味してもよい。実際には、補足デプス情報の画像サイズと入力されたデプス情報の画像サイズとが同じであり、同一位置にある補足画素点と希少画素点との間にマッチング関係を確立することができる。補足デプスデータは、補足画素点のデプス情報値を記述することに用いられ、希少デプスデータは、希少画素点のデプス情報値を記述することに用いられる。マッチングした２つの補足デプスデータと希少デプスデータとを直接累積計算し、得られたデプスデータを、マッチングした位置における新たな画素点に対応するデプスデータとして確定し、新たなデプスデータを有する各新たな画素点の組み合わせに基づいて新たな画像を形成し、中間デプス情報として確定することができる。

【0044】

補足画素点およびマッチングする希少画素点を確定し、２つの画素点のデプスデータを重畳することにより、デプスデータの画素レベルの重畳を実現し、デプス情報を画素ごとに精確に予測し、重畳後に形成された各新たな画素点および対応する新たなデプスデータを取得し、中間デプス情報を確定し、中間デプス情報における各画素点のデプス情報を正確に予測し、デプス情報の予測正確性を向上させることができる。

【0045】

Ｓ４０３において、前記デプス情報補足モデルにおける末尾のサブモデルユニットにより確定された中間デプス情報を、前記目標シーンの密集デプス情報とする。

【0046】

好ましくは、前記デプス情報処理方法は、前記デプス情報補足モデルにおけるサブモデルユニットにより、前記目標シーンの画素情報に基づき、デプス特徴情報を確定することと、前記デプス特徴情報に基づき、前記サブモデルユニットにより確定された中間デプス情報を調整することとを更に含む。

【0047】

画素情報とは、画素点の画素値を指してもよい。画素情報は、目標シーンの色特徴を記述することに用いられ、希少デプス情報の収集条件と同じである場合、カラーカメラを用いて目標シーンに対して収集を行い、画素情報を取得することができ、ここで、収集条件が同じであることとは、画角、明るさおよびカメラパラメータ等の条件のうちの少なくとも１つが同じであることを意味してもよい。通常、画素値は、赤、緑、青（Ｒｅｄ Ｇｒｅｅｎ Ｂｌｕｅ、ＲＧＢ）で表すことができる。デプス特徴情報は、サブモデルユニットが目標シーンの画素情報から学習したデプス特徴を記述することに用いられる。デプス特徴情報は、サブモデルユニットにより確定された中間デプス情報を調整し、中間デプス情報を更新し、中間デプス情報をより正確かつ豊かにすることに用いられる。実際には、目標シーンにおいて、１つの物体におけるデプス情報が同じである画素点に対応する画素情報は同じであり、例えば、収集面に対し、１つの物体における同一平面にあって同一部位に属する画素点のデプスおよび色はいずれも同じである。これにより、１つの物体における一部の画素の画素情報およびデプス情報に一致性が存在するため、目標シーンの画素情報をサブモデルユニットに入力し、サブモデルユニットに画素情報を学習させることができ、更に、画素情報の情報が豊かかつ密であり、シーンの識別を指導し、例えば、シーンにおける各物体の輪郭を指導することができるが、通常、同一の物体に属するデプス情報が同じである確率が高く、これにより、同一の物体に属する画素点のデプス情報を予測し、画素情報により確定されたデプス特徴情報に基づいて中間デプス情報を調整することができ、サブモデルユニットはデプス情報をより良く予測し、デプス情報の予測の正確率を向上させることができる。

【0048】

１つの具体的な例において、図６に示すように、画素情報６０６と入力されたデプス情報とが共に各サブモデルユニット（６０２～６０４）の入力とされる。目標シーンの希少デプス情報６０１と目標シーンの画素情報６０６とを共にデプス情報補足モデルにおける先頭のサブモデルユニット６０２の入力とし、先頭のサブモデルユニットにより確定された中間デプス情報を取得し、該中間デプス情報は、画素情報６０６により確定されたデプス特徴情報を用い、希少デプス情報６０１により確定された中間デプス情報を調整して得られたデプス情報である。デプス情報補足モデルにおける先頭のサブモデルユニット以外の他のサブモデルユニットのそれぞれに対し、他のサブモデルユニット（６０３および６０４）の１つ前のサブモデルユニットにより確定された中間デプス情報と、目標シーンの画素情報とを共に他のサブモデルユニットの入力とし、他のサブモデルユニットにより確定された中間デプス情報を取得し、該他のサブモデルユニットにより確定された中間デプス情報は、画素情報により確定されたデプス特徴情報を用い、前のサブモデルユニットにより確定された中間デプス情報に基づいて確定された中間デプス情報を調整して得られたデプス情報である。

【0049】

図７に示すように、デプス情報補足モデルにおけるサブモデルユニットの砂時計ネットワーク層により、入力されたデプス情報７０１および画素情報７０６を処理し、補足デプス情報を取得する。砂時計ネットワーク層はエンコーダ７０２とデコーダ７０３とを備え、該補足デプス情報は、実際に、砂時計ネットワーク層が、画素情報７０６により確定されたデプス特徴情報に基づき、砂時計ネットワーク層が入力されたデプス情報７０１に基づいて確定した補足デプス情報を調整して得られたデプス情報である。サブモデルユニットの累積層７０４により、補足デプス情報とサブモデルユニットにより入力されたデプス情報とを重畳し、他のサブモデルユニットにより確定された中間デプス情報７０５を取得することで、該中間デプス情報７０５は、画素情報を用いて入力されたデプス情報に基づいて確定された中間デプス情報を調整して得られたデプス情報である。

【0050】

各サブモデルユニットでいずれも色情報を用いてデプス予測を補助することにより、密集デプスの予測結果をより正確にする。

【0051】

砂時計ネットワーク層によりマルチスケールのデプス情報特徴を抽出し、他のサブモデルユニットの１つ前のサブモデルユニットにより出力された中間デプス情報を他のサブモデルユニットの入力として確定することで、各サブモデルユニットの学習目標を、前のサブモデルユニットの中間デプス情報とリアルな密集デプス情報との間の残差とし、入力された中間デプス情報が反復してリアルな密集デプス情報に徐々に近づき、高品質の密集デプス情報の復元結果を取得することができる。

【0052】

図８は、本発明の実施例による別のデプス情報処理方法のフローチャートであり、上記技術案に基づいて更に最適化して拡張し、且つ、上記各好ましい実施形態と組み合わせることができる。

【0053】

Ｓ８０１において、標準シーンの標準希少デプス情報および標準密集デプス情報を取得する。

【0054】

標準希少デプス情報はモデルの入力データとすることに用いられ、標準密集デプス情報はモデルのリアルな値とすることに用いられる。標準希少デプス情報および標準密集デプス情報は、同一の標準シーンに対して収集処理を行って得られたデプス情報である。標準シーンの標準希少デプス情報および標準密集デプス情報は、１つのトレーニングサンプルとして深層学習モデルをトレーニングし、デプス情報補足モデルを取得することに用いられる。少なくとも１つの標準シーンをそれぞれ収集して複数のサンプルペアを形成することができ、異なるサンプルペアに対する標準シーンは異なってもよいし、同じであってもよい。大量のサンプルペアを取得し、トレーニングデータセットを形成することにより、深層学習モデルをトレーニングし、デプス情報補足モデルを取得する。

【0055】

好ましくは、前記標準シーンの標準希少デプス情報および標準密集デプス情報を取得することは、デプスセンサを用いて前記標準シーンに対して画像収集を行い、前記標準密集デプス情報を取得することと、前記標準密集デプス情報に対してサンプリングを行い、前記標準希少デプス情報を生成することとを含む。

【0056】

デプスセンサとは、高精度のデプスセンサを指してもよく、高精度のデプス情報を収集することができる。デプスセンサを用いて標準シーンに対して画像収集を行い、得られたデプス情報は、比較的密集したデプス情報と考えられ、これにより、標準密集デプス情報とすることができる。標準密集デプス情報に対してサンプリングを行うことは、標準密集デプス情報を選別して少量のデプス情報を有する画素点を取得し、標準希少デプス情報を形成することに用いられ、即ち、標準密集デプス情報を、比較的密集したデプス情報から比較的疎で離散されたデプス情報に変換することに用いられる。

【0057】

デプスセンサにより標準シーンに対して画像収集を行い、得られたデプス情報を標準密集デプス情報とし、標準密集デプス情報に対して希少サンプリングし、標準希少デプス情報を形成し、トレーニングサンプルを迅速に生成することができる。

【0058】

好ましくは、前記標準シーンの標準希少デプス情報および標準密集デプス情報を取得することは、レーダ装置を用いて前記標準シーンに対して映像収集を行い、連続した複数フレームの希少デプス情報を取得することと、前記連続した複数フレームの希少デプス情報を投影処理し、前記標準密集デプス情報を生成することと、前記連続した複数フレームの希少デプス情報において、前記標準密集デプス情報にマッチングする希少デプス情報を取得し、前記標準希少デプス情報として確定することとを含む。

【0059】

レーダ装置とは、低精度のデプス収集機器を指してもよく、低精度のデプス情報を収集することができる。レーダ装置を用いて標準シーンに対して映像収集を行うことは、標準シーンに対して連続した収集を行い、ビデオストリームデータを形成することを指してもよい。ビデオストリームデータは、複数フレームの希少デプス情報を含む。

【0060】

異なるフレームの希少デプス情報の収集画角が異なるように設定することができ、これにより、複眼のレーダ装置で撮像された異なる希少デプス情報とすることができる。それに対応し、連続した複数フレームの希少デプス情報を投影処理し、実際には、複眼の希少デプス情報を単眼の密集デプス情報に融合し、単眼の密集デプス情報を標準密集デプス情報として確定する。具体的には、連続した複数フレームの希少デプス情報を、そのうちのいずれかのフレームに投影し、１フレームに対応する密集デプス情報を取得し、選択された１フレームの希少デプス情報を標準希少デプス情報として確定する。標準密集デプス情報にマッチングする希少デプス情報とは、標準密集デプス情報の収集条件と同じである希少デプス情報を指してもよい。

【0061】

ここで、融合方式とは、複数フレームの希少デプス情報における各画素点間の位置関係、および各画素点が有するデプス情報に基づき、ある収集画角でのあるフレームに含まれる各画素点、含まれる各画素点が有するデプス情報を確定することであってもよい。位置関係は、各画素点を同一座標系にマッピングし、同一のフレームに属する画素点を確定することに用いられる。該フレームに含まれる各画素点と、含まれる各画素点が有するデプス情報とを組み合わせ、新たなデプス情報を形成し、標準密集デプス情報として確定する。それと同時に、予め収集された該フレームに対応する希少デプス情報を標準希少デプス情報とし、標準密集デプス情報と組み合わせて１つのトレーニングサンプルを形成する。

【0062】

レーダにより標準シーンに対して映像収集を行い、得られた複数のデプス情報を融合して標準密集デプス情報を形成し、且つ、いずれかのデプス情報を標準希少デプス情報とし、高精度収集機器を有しない場合にも同様にトレーニングサンプルを精確に生成し、トレーニングサンプルの生成コストを低減することができる。

【0063】

好ましくは、１つのトレーニングサンプルは、標準シーンの標準画素情報を更に含んでもよく、カラーカメラを用いて標準シーンに対して収集を行い、標準画素情報を取得することができ、ここで、カラーカメラの収集条件は、標準希少デプス情報および標準密集デプス情報の収集条件と同じである。

【0064】

深層学習モデルの構造は、前述したデプス情報補足モデルの構造の記述を参照することができる。各サブモデルユニットの構造は同じであり、トレーニングされていない場合、深層学習モデルにおける各サブモデルユニットの順序は調整でき、トレーニング開始およびトレーニング終了後、各サブモデルユニットの順序は固定されている。深層学習モデルのトレーニングが終了した場合、現在の深層学習モデルをデプス情報補足モデルとして確定する。深層学習モデルのトレーニングが終了するとは、各サブモデルユニットの損失値の和が第１損失閾値よりも小さいか、または末尾のサブモデルユニットの損失値が第２損失閾値よりも小さいか、または反復回数もしくはトレーニング回数が回数閾値に達した等を意味する。

【0065】

トレーニング過程において、モデル性能に基づいてトレーニング段階のトレーニングサンプル、学習率またはトレーニング反復回数をリアルタイムに再変更してモデル全体の性能を最適化することができる。適用過程において、損失値が大きすぎる場合、サブモデルユニットの数を増加したり、トレーニング回数を増加したり、トレーニングデータを増加したりして現在のモデルの性能を向上させ、システム全体の自己最適化を実現することができる。ここで、サブモデルユニットの数を増加するとは、Ｍ個のサブモデルユニットを備える予めトレーニングされたデプス情報補足モデルに対し、そのうちの先頭のＮ個（Ｎ＜Ｍ）のサブモデルユニットからなる第１モデルのみを適用した上で、サブモデルユニットの数を増加することができ、この場合、サブモデルユニットの数が最大でＭ個に増え、更に増加しようとすると、追加のトレーニングが必要となることを意味してもよい。

【0066】

Ｓ８０２において、前記標準希少デプス情報および前記標準密集デプス情報に基づき、トレーニングしてデプス情報補足モデルを取得する。

【0067】

好ましくは、深層学習モデルの構造は、確信度層を更に備え、該確信度層は砂時計ネットワーク層に連結され、砂時計ネットワーク層の出力は、更に該確信度層の入力として用いられる。確信度層は、非線形活性化関数（Ｓｉｇｍｏｉｄ）を備え、砂時計ネットワーク層により出力された補足デプス情報を処理し、確信度情報を取得すること用いられ、即ち、画像における各画素点が確信度値を有する。確信度情報は、属するサブモデルユニットの損失値を計算することに用いられる。以下のような式に基づいてサブモデルユニットの損失値Ｌｏｓｓを計算することができる。
［式１］
Ｌｏｓｓ＝Ｉｃ×｜｜Ｄ－Ｄ＿ｇｔ｜｜
（ただし、Ｉｃは確信度情報であり、Ｄは中間デプス情報であり、Ｄ＿ｇｔは標準密集デプス情報である。実際には、Ｉｃは確信度行列であり、該確信度行列は確信度情報に基づいて確定され、即ち、確信度情報における各画素点の確信度値からなる行列である。Ｄは、累積層により出力された中間デプス情報に対応する行列である。Ｄ＿ｇｔはトレーニングサンプルにおける標準密集デプス情報に対応する行列である。ＩｃとＤとＤ＿ｇｔとのサイズが同じである。）

【0068】

なお、トレーニング過程において、深層学習モデルは確信度層を備えるが、適用過程において、デプス情報補足モデルは確信度層を備えてもよいが、確信度層を備えなくてもよい。

【0069】

Ｓ８０３において、デプス情報補足モデルにおけるサブモデルユニットにより、目標シーンの希少デプス情報に基づき、目標シーンの中間デプス情報を確定する。

【0070】

Ｓ８０４において、前記デプス情報補足モデルにおける末尾のサブモデルユニットにより確定された中間デプス情報を、前記目標シーンの密集デプス情報とする。

【0071】

標準シーンの標準希少デプス情報および標準密集デプス情報を取得することにより、トレーニングしてデプス情報補足モデルを取得し、予めトレーニングされたデプス情報補足モデルにより、希少デプス情報の次第補足を実現し、希少デプス情報を多段階で補足することを実現し、デプス情報を十分に補足し、モデルのデプス情報予測精度を向上させ、更に、トレーニングサンプルは、標準希少デプス情報および標準密集デプス情報のみを含み、モデルの入出力の余分なデータ処理を簡略化し、密集デプス情報の予測効率を向上させることができる。

【0072】

本発明の実施例によれば、図９は、本発明の実施例におけるデプス情報処理装置の構造図であり、本発明の実施例は、目標シーンの希少デプス情報を補足し、目標シーンの密集デプス情報を生成する場合に適用され、該装置はソフトウェアおよび／またはハードウェアを用いて実現され、具体的に、一定のデータ演算能力を持つ電子機器に設定される。

【0073】

希少デプス情報入力モジュール９０１は、デプス情報補足モデルにおけるサブモデルユニットにより、目標シーンの希少デプス情報に基づき、目標シーンの中間デプス情報を確定することに用いられる。

【0074】

密集デプス情報生成モジュール９０２は、前記デプス情報補足モデルにおける末尾のサブモデルユニットにより確定された中間デプス情報を、前記目標シーンの密集デプス情報とすることに用いられる。

【0075】

本発明の技術案によれば、目標シーンの希少デプス情報に基づき、デプス情報補足モデルにおけるサブモデルユニットにより、目標シーンの中間デプス情報をそれぞれ確定し、希少デプス情報の次第補足を実現し、最後に、末尾のサブモデルユニットの中間デプス情報を目標シーンの密集デプス情報として確定し、希少デプス情報を多段階で補足することを実現し、デプス情報を十分に補足し、デプス情報予測の正確性を向上させる。

【0076】

更に、前記希少デプス情報入力モジュール９０１は、前記目標シーンの希少デプス情報を前記デプス情報補足モデルにおける先頭のサブモデルユニットの入力とし、前記先頭のサブモデルユニットにより確定された中間デプス情報を取得するための直列接続入力ユニットと、前記デプス情報補足モデルにおける先頭のサブモデルユニット以外の他のサブモデルユニットのそれぞれに対し、前記他のサブモデルユニットの１つ前のサブモデルユニットにより確定された中間デプス情報を前記他のサブモデルユニットの入力とし、前記他のサブモデルユニットにより確定された中間デプス情報を取得するための中間伝送ユニットとを備える。

【0077】

更に、前記希少デプス情報入力モジュール９０１は、前記デプス情報補足モデルにおけるサブモデルユニットの砂時計ネットワーク層により、入力されたデプス情報を処理し、補足デプス情報を取得するための補足デプス情報取得ユニットと、前記サブモデルユニットの累積層により、前記補足デプス情報と前記サブモデルユニットにより入力されたデプス情報とを重畳し、前記サブモデルユニットにより確定された中間デプス情報を取得するための補足デプス情報重畳ユニットとを備える。

【0078】

更に、前記補足デプス情報重畳ユニットは、前記サブモデルユニットの累積層により、補足デプス情報における補足画素点と入力されたデプス情報における希少画素点との間のマッチング関係を確定するための画素マッチングサブユニットと、前記補足画素点の補足デプスデータと、マッチングする希少画素点の希少デプスデータとを重畳するための画素重畳サブユニットとを備える。

【0079】

更に、前記デプス情報処理装置は、前記デプス情報補足モデルにおけるサブモデルユニットにより、前記目標シーンの画素情報に基づき、デプス特徴情報を確定するための画素情報入力モジュールと、前記デプス特徴情報に基づき、前記サブモデルユニットにより確定された中間デプス情報を調整するための中間デプス情報調整モジュールとを更に備える。

【0080】

更に、前記デプス情報処理装置は、標準シーンの標準希少デプス情報および標準密集デプス情報を取得するためのサンプル取得モジュールと、前記標準希少デプス情報および前記標準密集デプス情報に基づき、トレーニングしてデプス情報補足モデルを取得するためのモデルトレーニングモジュールとを更に備える

【0081】

更に、前記サンプル取得モジュールは、デプスセンサを用いて前記標準シーンに対して画像収集を行い、前記標準密集デプス情報を取得するための密集デプス情報収集ユニットと、前記標準密集デプス情報に対してサンプリングを行い、前記標準希少デプス情報を生成するための希少デプス情報生成ユニットとを備える。

【0082】

更に、前記サンプル取得モジュールは、レーダ装置を用いて前記標準シーンに対して映像収集を行い、連続した複数フレームの希少デプス情報を取得するための希少デプス情報収集ユニットと、前記連続した複数フレームの希少デプス情報を投影処理し、前記標準密集デプス情報を生成するための希少デプス情報融合ユニットと、前記連続した複数フレームの希少デプス情報において、前記標準密集デプス情報にマッチングする希少デプス情報を取得し、前記標準希少デプス情報として確定するための希少デプス情報生成ユニットとを備える。

【0083】

上記デプス情報処理装置は、本発明のいずれかの実施例に係るデプス情報処理方法を実行でき、デプス情報処理方法に対応する機能モジュールおよび有益な効果を有する。

【0084】

本発明の実施例によれば、本発明は、電子機器、可読記憶媒体およびコンピュータプログラム製品を更に提供する。

【0085】

図１０は、本発明の実施例を実施可能な電子機器１０００の例示的なブロック図を示す。電子機器は、ラップトップ型コンピュータ、デスクトップ型コンピュータ、ワークステーション、パーソナルデジタルアシスタント、サーバ、ブレードサーバ、メインフレーム、および他の適切なコンピュータのような各形式のデジタルコンピュータを表すことを目的とする。電子機器は、携帯端末、携帯電話、スマートフォン、ウェララブル機器および他の類似する計算装置のような各形式の移動装置を表すこともできる。本発明に示されたコンポーネント、それらの接続、関係、およびそれらの機能は例示的なものに過ぎず、本発明に記載および／または要求される本発明の実現を限定するものではない。

【0086】

図１０に示すように、機器１０００は、計算ユニット１００１を備え、読み出し専用メモリ（ＲＯＭ）１００２に記憶されたコンピュータプログラム、または記憶ユニット１００８からランダムアクセスメモリ（ＲＡＭ）１００３にロードされたコンピュータプログラムに基づき、様々な適当な動作および処理を実行することができる。ＲＡＭ １００３には、機器１０００の操作に必要な様々なプログラムおよびデータが記憶されてもよい。計算ユニット１００１、ＲＯＭ １００２およびＲＡＭ １００３は、バス１００４を介して互いに接続されている。入力／出力（Ｉ／Ｏ）インタフェース１００５もバス１００４に接続されている。

【0087】

機器１０００における複数のコンポーネントはＩ／Ｏインタフェース１００５に接続され、キーボード、マウス等のような入力ユニット１００６と、各種のディスプレイ、スピーカ等のような出力ユニット１００７と、磁気ディスク、光ディスク等のような記憶ユニット１００８と、ネットワークカード、モデム、無線通信送受信機等のような通信ユニット１００９とを備える。通信ユニット１００９は、機器１０００がインターネットのようなコンピュータネットワークおよび／または様々な電気通信ネットワークを介して他のデバイスと情報／データを交換することを許容する。

【0088】

計算ユニット１００１は、処理および計算能力を有する汎用および／または専用の処理アセンブリであってもよい。計算ユニット１００１のいくつかの例は、中央処理ユニット（ＣＰＵ）、グラフィックス処理ユニット（ＧＰＵ）、各種の専用の人工知能（ＡＩ）コンピューティングチップ、各種の機械学習モデルアルゴリズムを実行する計算ユニット、デジタルシグナルプロセッサ（ＤＳＰ）、および任意の適当なプロセッサ、コントローラ、マイクロコントローラ等を含んでもよいが、これらに限定されない。計算ユニット１００１は、上記様々な方法および処理、例えば、ブロックチェーンに基づくグループトラフィックの実現方法を実行する。例えば、いくつかの実施例において、ブロックチェーンに基づくグループトラフィックの実現方法は、コンピュータソフトウェアプログラムとして実現でき、有形的に記憶ユニット１００８のような機器可読媒体に含まれている。いくつかの実施例において、コンピュータプログラムの一部または全ては、ＲＯＭ １００２および／または通信ユニット１００９を介して機器１０００にロードおよび／またはインストールされ得る。コンピュータプログラムがＲＡＭ １００３にロードされて計算ユニット１００１により実行されると、上記ブロックチェーンに基づくグループトラフィックの実現方法の１つまたは複数のステップを実行することができる。あるいは、他の実施例において、計算ユニット１００１は、他の任意の適当な方式（例えば、ファームウェアを介して）により、ブロックチェーンに基づくグループトラフィックの実現方法を実行するように構成され得る。

【0089】

本発明に記載されたシステムおよび技術の様々な実施形態は、デジタル電子回路システム、集積回路システム、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、特定用途向け集積回路（ＡＳＩＣ）、特定用途向け標準パーツ（ＡＳＳＰ）、システムオンチップのシステム（ＳＯＣ）、複合プログラマブルロジックデバイス（ＣＰＬＤ）、コンピュータハードウェア、ファームウェア、ソフトウェア、および／またはそれらの組み合わせで実現できる。これらの様々な実施形態は以下を含んでもよい。１つまたは複数のコンピュータプログラムに実施され、該１つまたは複数のコンピュータプログラムは、少なくとも１つのプログラマブルプロセッサを含むプログラマブルシステムで実行および／または解釈することができ、該プログラマブルプロセッサは、ストレージシステム、少なくとも１つの入力装置、および少なくとも１つの出力装置からデータおよび命令を受信し、且つデータおよび命令を、該ストレージシステム、該少なくとも１つの入力装置、および該少なくとも１つの出力装置に伝送することができる専用または汎用のプログラマブルプロセッサであってもよい。

【0090】

本発明の方法を実施するためのプログラムコードは、１つまたは複数のプログラミング言語の任意の組み合わせでコードできる。これらのプログラムコードは、汎用コンピュータ、専用コンピュータ、または他のプログラマブルデータ処理装置のプロセッサまたはコントローラに提供でき、これにより、プログラムコードがプロセッサまたはコントローラにより実行されると、フローチャートおよび／またはブロック図で規定された機能／操作が実施される。プログラムコードは、完全に機器で実行されてもよいし、一部が機器で実行されてもよいし、独立したソフトウェアパッケージとして一部が機器で実行されて一部がリモート機器で実行されてもよいし、完全にリモート機器またはサーバで実行されてもよい。

【0091】

本発明の明細書において、機器可読媒体は、命令実行システム、装置またはデバイスに使用される、または命令実行システム、装置またはデバイスと合わせて使用されるプログラムを含有または記憶できる有形的な媒体であってもよい。機器可読媒体は、機器可読信号媒体または機器可読記憶媒体であってもよい。機器可読媒体は、電子の、磁気の、光の、電磁気の、赤外線の、または半導体のシステム、装置またはデバイス、または上記内容の任意の適当な組み合わせを含んでもよいが、これらに限定されない。機器可読記憶媒体の更なる具体的な例は、１つまたは複数の線による電気的接続、ポータブルコンピュータディスク、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、読み出し専用メモリ（ＲＯＭ）、消去可能なプログラマブル読み出し専用メモリ（ＥＰＲＯＭまたはフラッシュメモリ）、光ファイバ、ポータブルコンパクトディスク読み出し専用ディスク（ＣＤ－ＲＯＭ）、光記憶デバイス、磁気記憶デバイス、または上記内容の任意の適当な組み合わせを含む。

【0092】

ユーザとのインタラクションを提供するために、ここで説明するシステムおよび技術をコンピュータで実施することができ、該コンピュータは、ユーザに情報を表示するための表示装置（例えば、ＣＲＴ（陰極線管）またはＬＣＤ（液晶ディスプレイ）モニタ）と、ユーザがそれにより入力をコンピュータに提供することができるキーボードおよび指向装置（例えば、マウスまたはトラックボール）とを有する。他の種類の装置は、更にユーザとのインタラクションを提供するために使用できる。例えば、ユーザに提供されるフィードバックは、任意の形式のセンシングフィードバック（例えば、視覚フィードバック、聴覚フィードバック、または触覚フィードバック）であってもよく、且つ、任意の形式（音入力、音声入力または、触覚入力を含む）でユーザからの入力を受信することができる。

【0093】

ここで説明するシステムおよび技術を、バックグラウンドコンポーネントを含むコンピューティングシステム（例えば、データサーバとする）、または中間コンポーネントを含むコンピューティングシステム（例えば、アプリケーションサーバ）、またはフロントエンドコンポーネントを含むコンピューティングシステム（例えば、ユーザがそれによりここで説明するシステムおよび技術の実施形態とインタラクションできるグラフィカルユーザインタフェースまたはネットワークブラウザを有するユーザコンピュータ）、またはこのようなバックグラウンドコンポーネント、中間コンポーネント、またはフロントエンドコンポーネントの任意の組み合わせを含むコンピューティングシステムに実施することができる。任意の形式または媒体のデジタルデータ通信（例えば、通信ネットワーク）により、システムのコンポーネントを互に接続することができる。通信ネットワークの例は、ローカルエリアネットワーク（ＬＡＮ）、ワイドエリアネットワーク（ＷＡＮ）、ブロックチェーンネットワーク、およびインターネットを含む。

【0094】

コンピュータシステムはクライアントおよびサーバを含んでもよい。クライアントとサーバとは、一般的に互いに離れ、且つ、通常、通信ネットワークを介してインタラクションを行う。対応するコンピュータで実行されて互いにクライアント－サーバ関係を持つコンピュータプログラムにより、クライアントとサーバとの関係を生成する。

【0095】

上記に示す様々な形式のフローを用い、ステップを並べ替え、追加または削除することができることを理解すべきである。例えば、本発明に記載された各ステップは、並列に実行されてもよいし、順に実行されてもよいし、異なる順序で実行されてもよく、本発明に開示された技術案の所望する結果を達成できる限り、本発明はここで限定しない。

【0096】

上記具体的な実施形態は、本発明の保護範囲を限定するものではない。当業者は、設計要求および他の要因に基づき、様々な修正、組み合わせ、サブ組み合わせおよび代替が可能であることを理解すべできる。本発明の精神および原則内で行われる任意の修正、均等置換および改良等は、いずれも本発明の保護範囲内に含まれているべきである。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】