知財求人 - 知財ポータルサイト「IP Force」
特表2022-509329点群融合方法及び装置、電子機器、コンピュータ記憶媒体並びにプログラム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2022-01-20
(54)【発明の名称】点群融合方法及び装置、電子機器、コンピュータ記憶媒体並びにプログラム
(51)【国際特許分類】
G06T 7/529 20170101AFI20220113BHJP
【ＦＩ】
G06T7/529
【審査請求】有
【予備審査請求】未請求
(21)【出願番号】P 2021547622
(86)(22)【出願日】2019-08-22
(85)【翻訳文提出日】2021-04-28
(86)【国際出願番号】 CN2019102081
(87)【国際公開番号】W WO2021000390
(87)【国際公開日】2021-01-07
(31)【優先権主張番号】201910601035.3
(32)【優先日】2019-07-04
(33)【優先権主張国・地域又は機関】CN
(81)【指定国・地域】
(71)【出願人】
【識別番号】519454800
【氏名又は名称】浙江商▲湯▼科技▲開▼▲発▼有限公司
【氏名又は名称原語表記】ＺＨＥＪＩＡＮＧ ＳＥＮＳＥＴＩＭＥ ＴＥＣＨＮＯＬＯＧＹ ＤＥＶＥＬＯＰＭＥＮＴ ＣＯ．， ＬＴＤ．
【住所又は居所原語表記】Ｒｏｏｍ ２８８－８， Ｎｏ． ８５７， Ｓｈｉｘｉｎｂｅｉ Ｒｏａｄ， Ｎｉｎｇｗｅｉ Ｓｔｒｅｅｔ， Ｘｉａｏｓｈａｎ Ｄｉｓｔｒｉｃｔ Ｈａｎｇｚｈｏｕ， Ｚｈｅｊｉａｎｇ ３１１２１５ Ｃｈｉｎａ
(74)【代理人】
【識別番号】100078282
【弁理士】
【氏名又は名称】山本 秀策
(74)【代理人】
【識別番号】100113413
【弁理士】
【氏名又は名称】森下 夏樹
(74)【代理人】
【識別番号】100181674
【弁理士】
【氏名又は名称】飯田 貴敏
(74)【代理人】
【識別番号】100181641
【弁理士】
【氏名又は名称】石川 大輔
(74)【代理人】
【識別番号】230113332
【弁護士】
【氏名又は名称】山本 健策
(72)【発明者】
【氏名】周立▲陽▼
(72)【発明者】
【氏名】▲項▼▲驍▼▲駿▼
(72)【発明者】
【氏名】▲齊▼勇
(72)【発明者】
【氏名】姜翰青
(72)【発明者】
【氏名】章国▲鋒▼
【テーマコード（参考）】
5L096
【Ｆターム（参考）】
5L096AA09
5L096CA02
5L096EA39
5L096FA66
5L096FA67
5L096FA69
5L096GA30
5L096GA51
(57)【要約】
本開示の実施例は点群融合方法及び装置、電子機器並びにコンピュータ記憶媒体を開示する。前記方法は、シーン情報および／またはカメラ情報における少なくとも二つの影響因子に基づき、現在フレームの深度マップにおける画素点の深度信頼度を決定するステップであって、前記シーン情報およびカメラ情報はそれぞれ少なくとも一つの影響因子を含むステップと、前記深度信頼度に基づき、前記現在フレームの深度マップにおける画素点に対して点群融合処理を実行するステップと、を含む。このように、本開示の実施例では、複数の因子を総合的に考慮して画素点の深度信頼度を決定することができ、したがって、深度信頼度の確実性を向上可能であり、さらに、点群融合処理の確実性を向上可能である。
【特許請求の範囲】
【請求項1】
シーン情報および／またはカメラ情報における少なくとも二つの影響因子に基づき、現在フレームの深度マップにおける画素点の深度信頼度を決定するステップであって、前記シーン情報およびカメラ情報はそれぞれ少なくとも一つの影響因子を含むステップと、前記深度信頼度に基づき、前記現在フレームの深度マップにおける画素点に対して点群融合処理を実行するステップと、を含む、点群融合方法。
【請求項2】
前記シーン情報および／またはカメラ情報における少なくとも二つの影響因子に基づき、前記現在フレームの深度マップにおける画素点の深度信頼度を決定する前記ステップは、前記現在フレームの深度マップにおける深度が有効な画素点を取得するステップと、
シーン情報および／またはカメラ情報における少なくとも二つの影響因子に基づき、深度が有効な各前記画素点の深度信頼度を決定するステップと、を含み、
前記深度信頼度に基づき、前記現在フレームの深度マップにおける画素点に対して点群融合処理を実行する前記ステップは、
前記深度信頼度に基づき、前記現在フレームの深度マップにおける深度が有効な画素点に対して点群融合処理を実行することを含む、請求項１に記載の方法。
【請求項3】
前記現在フレームの深度マップにおける深度が有効な画素点を取得する前記ステップは、少なくとも一つの基準フレームの深度マップに基づき、現在フレームの深度マップの画素点の深度が有効であるかどうかを検出するステップと、
前記現在フレームの深度マップにおける深度が有効な画素点を保存するステップと、を含む、請求項２に記載の方法。
【請求項4】
前記少なくとも一つの基準フレームの深度マップは、現在フレームの深度マップを取得する前に取得された少なくとも１フレームの深度マップを含む、請求項３に記載の方法。
【請求項5】
前記少なくとも一つの基準フレームの深度マップに基づき、現在フレームの深度マップの画素点の深度が有効であるかどうかを検出する前記ステップは、前記少なくとも一つの基準フレームの深度マップにより、前記現在フレームの深度マップの画素点に対して深度の整合性チェックを行うステップと、
前記深度の整合性チェックをパスした画素点の深度が有効であると判定し、前記深度の整合性チェックをパスしなかった画素点の深度が無効であると判定するステップと、を含む、請求項３に記載の方法。
【請求項6】
前記少なくとも一つの基準フレームの深度マップにより、前記現在フレームの深度マップの画素点に対して深度の整合性チェックを行う前記ステップは、複数の基準フレームの深度マップを取得するステップと、
前記現在フレームの深度マップの任意の画素点である前記現在フレームの深度マップの第一画素点と、各前記基準フレームの深度マップの対応する画素点とが深度整合性の条件を満たすかどうかを判断するステップと、
前記第一画素点との前記深度整合性の条件を満たす前記対応の画素点の数が設定値以上である場合、前記第一画素点が前記深度の整合性チェックをパスしたと判定し、前記第一画素点との前記深度整合性の条件を満たす前記対応の画素点の数が設定値より小さい場合、前記第一画素点が前記深度の整合性チェックをパスしなかったと判定するステップと、を含む、請求項５に記載の方法。
【請求項7】
前記現在フレームの深度マップの第一画素点と各前記基準フレームの深度マップの対応する画素点とが深度整合性の条件を満たすかどうかを判断する前記ステップは、前記第一画素点を各前記基準フレームの深度マップに投影し、各前記基準フレームの深度マップにおける投影点の投影位置および投影深度を得るステップと、
各前記基準フレームの深度マップにおける前記投影位置の測定深度値を取得するステップと、
各基準フレームの深度マップにおける前記投影点の投影深度と前記投影位置の測定深度値との差を取得するステップと、
前記差が第一設定深度閾値以下である場合、前記第一画素点と、対応する基準フレームの深度マップの対応する画素点とが深度整合性の条件を満たすと判定し、前記差が第一設定深度閾値より大きい場合、前記第一画素点と、対応する基準フレームの深度マップの対応する画素点とが深度整合性の条件を満たさないと判定するステップと、を含む、請求項６に記載の方法。
【請求項8】
前記シーン情報にはシーン構造およびシーンテクスチャのうちの少なくとも一つの影響因子が含まれ、前記カメラ情報には少なくともカメラ設定が含まれる、請求項１から７のいずれか一項に記載の方法。
【請求項9】
前記シーン情報および／またはカメラ情報における少なくとも二つの影響因子に基づき、前記現在フレームの深度マップにおける画素点の深度信頼度を決定する前記ステップは、現在フレームの深度マップにおける画素点について、シーン構造、カメラ設定およびシーンテクスチャのうちの少なくとも二つの影響因子に対応する重みをそれぞれ求めるステップと、
前記少なくとも二つの影響因子に対応する重みを融合し、前記現在フレームの深度マップにおける画素点の深度信頼度を得るステップと、を含む請求項８に記載の方法。
【請求項10】
前記現在フレームの深度マップにおける画素点について、シーン構造、カメラ設定およびシーンテクスチャのうちの少なくとも二つの影響因子に対応する重みをそれぞれ求める前記ステップは、前記現在フレームの深度マップにおける画素点の、少なくとも位置および／または法線ベクトルを含む属性情報に基づき、シーン構造、カメラ設定およびシーンテクスチャのうちの少なくとも二つの影響因子に対応する重みをそれぞれ求めることを含む、請求項９に記載の方法。
【請求項11】
前記少なくとも二つの影響因子に対応する重みを融合し、前記現在フレームの深度マップにおける画素点の深度信頼度を得る前記ステップは、前記少なくとも二つの影響因子に対応する重みを乗算し、組み合わせ重みを得て、前記組み合わせ重みに基づき、前記現在フレームの深度マップにおける画素点の深度信頼度を得ることを含む、請求項９に記載の方法。
【請求項12】
前記深度信頼度に基づき、前記現在フレームの深度マップにおける画素点に対して点群融合処理を実行する前記ステップは、表面要素で前記現在フレームの深度マップにおける各画素点を表すステップであって、各表面要素は、少なくとも対応する画素点の深度信頼度を含むステップと、
現在フレームの深度マップにおける深度が有効な画素点に対応する表面要素の集合を含む現在フレームの表面要素集合に基づき、前フレームの更新後の既存表面要素集合の集合更新を行い、現在フレームの深度マップの点群融合処理結果を表す現在フレームの更新後の既存表面要素集合を得るステップと、を含み、
前記集合更新は表面要素追加、表面要素更新および表面要素削除の操作のうちの少なくとも一つを含む、請求項１から７のいずれか一項に記載の方法。
【請求項13】
前記各表面要素は対応する画素点の位置、法線ベクトル、内点重みおよび外点重みをさらに含み、前記内点重みは対応する画素点が内点に属する確率を表すために用いられ、前記外点重みは対応する画素点が外点に属する確率を表すために用いられ、前記内点重みと前記外点重みの差は対応する画素点の深度信頼度を表すために用いられる、請求項１２に記載の方法。
【請求項14】
前記現在フレームの表面要素集合に基づき、前記前フレームの更新後の既存表面要素集合の集合更新を行う前記ステップは、前記現在フレームの表面要素集合において前記前フレームの更新後の既存表面要素集合に覆われていない第一表面要素が存在する場合、前記第一表面要素を前記前フレームの更新後の既存表面要素集合に追加するステップを含む、請求項１２に記載の方法。
【請求項15】
前記現在フレームの表面要素集合に基づき、前記前フレームの更新後の既存表面要素集合の集合更新を行う前記ステップは、前記前フレームの更新後の既存表面要素集合で覆われた第二表面要素が前記現在フレームの表面要素集合に存在し、かつ前記第二表面要素の深度が前記前フレームの更新後の既存表面要素集合内の対応する表面要素の投影深度より大きく、同時に前記第二表面要素の深度と前記前フレームの更新後の既存表面要素集合内の対応する表面要素の投影深度との差が第一設定深度閾値以上である場合、前記前フレームの更新後の既存表面要素集合に前記第二表面要素を追加するステップを含む、請求項１２に記載の方法。
【請求項16】
前記現在フレームの表面要素集合に基づき、前記前フレームの更新後の既存表面要素集合の集合更新を行う前記ステップは、前記前フレームの更新後の既存表面要素集合で覆われた第二表面要素が前記現在フレームの表面要素集合に存在し、かつ前記第二表面要素の深度が前記前フレームの更新後の既存表面要素集合内の対応する表面要素の投影深度より小さく、同時に前記第二表面要素の深度と前記前フレームの更新後の既存表面要素集合内の対応する表面要素の投影深度との差が第二設定深度閾値以上である場合、前記前フレームの更新後の既存表面要素集合内の対応する表面要素の外点重み値を増加させるステップを含む、請求項１３に記載の方法。
【請求項17】
前記現在フレームの表面要素集合に基づき、前記前フレームの更新後の既存表面要素集合の集合更新を行う前記ステップは、前記前フレームの更新後の既存表面要素集合で覆われた第二表面要素が前記現在フレームの表面要素集合に存在し、かつ前記第二表面要素の深度と前記前フレームの更新後の既存表面要素集合内の対応する表面要素の投影深度との差が第三設定深度閾値より小さく、同時に前記前フレームの更新後の既存表面要素集合内の対応する表面要素の法線ベクトルと前記第二表面要素の法線ベクトルとの夾角が設定角度値以下である場合、前記前フレームの更新後の既存表面要素集合内の対応する表面要素の位置、法線ベクトルを更新し、前記前フレームの更新後の既存表面要素集合内の対応する表面要素の内点重み値を増加させるステップを含む、請求項１３に記載の方法。
【請求項18】
前記現在フレームの表面要素集合に基づき、前記前フレームの更新後の既存表面要素集合の集合更新を行う前記ステップは、前記前フレームの更新後の既存表面要素集合で覆われた第二表面要素が前記現在フレームの表面要素集合に存在し、かつ前記第二表面要素の深度と前記前フレームの更新後の既存表面要素集合内の対応する表面要素の投影深度との差が第三設定深度閾値より小さく、同時に前記前フレームの更新後の既存表面要素集合内の対応する表面要素の法線ベクトルと前記第二表面要素の法線ベクトルとの夾角が設定角度値より大きい場合、前記前フレームの更新後の既存表面要素集合内の対応する表面要素の外点重み値を増加させるステップを含む、請求項１３に記載の方法。
【請求項19】
前記現在フレームの表面要素集合に基づき、前記前フレームの更新後の既存表面要素集合の集合更新を行う前記ステップは、前記現在フレームの表面要素集合において所定の削除条件を満たす表面要素が存在する場合、前記現在フレームの表面要素集合内の所定の削除条件を満たす表面要素を削除するステップを含み、前記所定の削除条件を満たす表面要素は、対応する画素点の深度信頼度が設定信頼度閾値より小さい表面要素である、請求項１２に記載の方法。
【請求項20】
シーン情報および／またはカメラ情報における少なくとも二つの影響因子に基づき、現在フレームの深度マップにおける画素点の深度信頼度を決定するように構成された決定モジュールであって、前記シーン情報およびカメラ情報はそれぞれ少なくとも一つの影響因子を含む決定モジュールと、前記深度信頼度に基づき、前記現在フレームの深度マップにおける画素点に対して点群融合処理を実行するように構成された融合モジュールと、を含む、点群融合装置。
【請求項21】
前記決定モジュールは、前記現在フレームの深度マップにおける深度が有効な画素点を取得するステップと、シーン情報および／またはカメラ情報における少なくとも二つの影響因子に基づき、深度が有効な各前記画素点の深度信頼度を決定するステップと、を実行するように構成され、前記融合モジュールは、前記深度信頼度に基づき、前記現在フレームの深度マップにおける深度が有効な画素点に対して点群融合処理を実行するように構成される、請求項２０に記載の装置。
【請求項22】
前記決定モジュールは、少なくとも一つの基準フレームの深度マップに基づき、現在フレームの深度マップの画素点の深度が有効であるかどうかを検出するステップと、前記現在フレームの深度マップにおける深度が有効な画素点を保存するステップと、を実行するように構成される、請求項２１に記載の装置。
【請求項23】
前記少なくとも一つの基準フレームの深度マップは、現在フレームの深度マップを取得する前に取得された少なくとも１フレームの深度マップを含む、請求項２２に記載の装置。
【請求項24】
前記決定モジュールは、前記少なくとも一つの基準フレームの深度マップにより、前記現在フレームの深度マップの画素点に対して深度の整合性チェックを行うステップと、前記深度の整合性チェックをパスした画素点の深度が有効であると判定し、前記深度の整合性チェックをパスしなかった画素点の深度が無効であると判定するステップと、を実行するように構成される、請求項２２に記載の装置。
【請求項25】
前記決定モジュールは、複数の基準フレームの深度マップを取得するステップと、前記現在フレームの深度マップの第一画素点と各前記基準フレームの深度マップの対応する画素点とが深度整合性の条件を満たすかどうかを判断するステップと、前記第一画素点との前記深度整合性の条件を満たす前記対応の画素点の数が設定値以上である場合、前記第一画素点が前記深度の整合性チェックをパスしたと判定し、前記第一画素点との前記深度整合性の条件を満たす前記対応の画素点の数が設定値より小さい場合、前記第一画素点が前記深度の整合性チェックをパスしなかったと判定するステップと、を実行するように構成され、前記第一画素点は前記現在フレームの深度マップの任意の画素点である、請求項２４に記載の装置。
【請求項26】
前記決定モジュールは、前記第一画素点を各前記基準フレームの深度マップに投影し、各前記基準フレームの深度マップにおける投影点の投影位置および投影深度を得るステップと、各前記基準フレームの深度マップにおける前記投影位置の測定深度値を取得するステップと、各基準フレームの深度マップにおける前記投影点の投影深度と前記投影位置の測定深度値との差を取得するステップと、前記差が第一設定深度閾値以下である場合、前記第一画素点と、対応する基準フレームの深度マップの対応する画素点とが深度整合性の条件を満たすと判定し、前記差が第一設定深度閾値より大きい場合、前記第一画素点と、対応する基準フレームの深度マップの対応する画素点とが深度整合性の条件を満たさないと判定するステップと、を実行するように構成される、請求項２５に記載の装置。
【請求項27】
前記シーン情報にはシーン構造およびシーンテクスチャのうちの少なくとも一つの影響因子が含まれ、前記カメラ情報には少なくともカメラ設定が含まれる、請求項２０から２６のいずれか一項に記載の装置。
【請求項28】
前記決定モジュールは、現在フレームの深度マップにおける画素点について、シーン構造、カメラ設定およびシーンテクスチャのうちの少なくとも二つの影響因子に対応する重みをそれぞれ求めるステップと、前記少なくとも二つの影響因子に対応する重みを融合し、前記現在フレームの深度マップにおける画素点の深度信頼度を得るステップと、を実行するように構成される、請求項２７に記載の装置。
【請求項29】
前記決定モジュールは、前記現在フレームの深度マップにおける画素点の、少なくとも位置および／または法線ベクトルを含む属性情報に基づき、シーン構造、カメラ設定およびシーンテクスチャのうちの少なくとも二つの影響因子に対応する重みをそれぞれ求めるように構成される、請求項２８に記載の装置。
【請求項30】
前記決定モジュールは、前記少なくとも二つの影響因子に対応する重みを乗算し、組み合わせ重みを得て、前記組み合わせ重みに基づき、前記現在フレームの深度マップにおける画素点の深度信頼度を得るように構成される、請求項２８に記載の装置。
【請求項31】
前記融合モジュールは、少なくとも対応する画素点の深度信頼度をそれぞれ含む表面要素で前記現在フレームの深度マップにおける各画素点を表すように構成され、前記融合モジュールは、現在フレームの深度マップにおける深度が有効な画素点に対応する表面要素の集合を含む現在フレームの表面要素集合に基づき、前フレームの更新後の既存表面要素集合の集合更新を行い、現在フレームの深度マップの点群融合処理結果を表す現在フレームの更新後の既存表面要素集合を得るように構成され、
前記集合更新は表面要素追加、表面要素更新および表面要素削除の操作のうちの少なくとも一つを含む、請求項２０から２６のいずれか一項に記載の装置。
【請求項32】
前記各表面要素は対応する画素点の位置、法線ベクトル、内点重みおよび外点重みをさらに含み、前記内点重みは対応する画素点が内点に属する確率を表すために用いられ、前記外点重みは対応する画素点が外点に属する確率を表すために用いられ、前記内点重みと前記外点重みの差は対応する画素点の深度信頼度を表すために用いられる、請求項３１に記載の装置。
【請求項33】
前記融合モジュールは、前記現在フレームの表面要素集合において前記前フレームの更新後の既存表面要素集合に覆われていない第一表面要素が存在する場合、前記第一表面要素を前記前フレームの更新後の既存表面要素集合に追加するように構成される、請求項３１に記載の装置。
【請求項34】
前記融合モジュールは、前記前フレームの更新後の既存表面要素集合で覆われた第二表面要素が前記現在フレームの表面要素集合に存在し、かつ前記第二表面要素の深度が前記前フレームの更新後の既存表面要素集合内の対応する表面要素の投影深度より大きく、同時に前記第二表面要素の深度と前記前フレームの更新後の既存表面要素集合内の対応する表面要素の投影深度との差が第一設定深度閾値以上である場合、前記前フレームの更新後の既存表面要素集合に前記第二表面要素を追加するように構成される、請求項３１に記載の装置。
【請求項35】
前記融合モジュールは、前記前フレームの更新後の既存表面要素集合で覆われた第二表面要素が前記現在フレームの表面要素集合に存在し、かつ前記第二表面要素の深度が前記前フレームの更新後の既存表面要素集合内の対応する表面要素の投影深度より小さく、同時に前記第二表面要素の深度と前記前フレームの更新後の既存表面要素集合内の対応する表面要素の投影深度との差が第二設定深度閾値以上である場合、前記前フレームの更新後の既存表面要素集合内の対応する表面要素の外点重み値を増加させるように構成される、請求項３２に記載の装置。
【請求項36】
前記融合モジュールは、前記前フレームの更新後の既存表面要素集合で覆われた第二表面要素が前記現在フレームの表面要素集合に存在し、かつ前記第二表面要素の深度と前記前フレームの更新後の既存表面要素集合内の対応する表面要素の投影深度との差が第三設定深度閾値より小さく、同時に前記前フレームの更新後の既存表面要素集合内の対応する表面要素の法線ベクトルと前記第二表面要素の法線ベクトルとの夾角が設定角度値以下である場合、前記前フレームの更新後の既存表面要素集合内の対応する表面要素の位置、法線ベクトルを更新し、前記前フレームの更新後の既存表面要素集合内の対応する表面要素の内点重み値を増加させるように構成される、請求項３２に記載の装置。
【請求項37】
前記融合モジュールは、前記前フレームの更新後の既存表面要素集合で覆われた第二表面要素が前記現在フレームの表面要素集合に存在し、かつ前記第二表面要素の深度と前記前フレームの更新後の既存表面要素集合内の対応する表面要素の投影深度との差が第三設定深度閾値より小さく、同時に前記前フレームの更新後の既存表面要素集合内の対応する表面要素の法線ベクトルと前記第二表面要素の法線ベクトルとの夾角が設定角度値より大きい場合、前記前フレームの更新後の既存表面要素集合内の対応する表面要素の外点重み値を増加させるように構成される、請求項３２に記載の装置。
【請求項38】
前記融合モジュールは、前記現在フレームの表面要素集合において所定の削除条件を満たす表面要素が存在する場合、前記現在フレームの表面要素集合内の所定の削除条件を満たす表面要素を削除するように構成され、前記所定の削除条件を満たす表面要素は、対応する画素点の深度信頼度が設定信頼度閾値より小さい表面要素である、請求項３１に記載の装置。
【請求項39】
プロセッサおよびプロセッサにおいて実行可能なコンピュータプログラムを記憶するように構成されたメモリを含み、前記プロセッサは、前記コンピュータプログラムを実行する場合に、請求項１から１９のいずれか一項に記載の方法を実行するように構成される、電子機器。
【請求項40】
コンピュータプログラムが記憶されているコンピュータ記憶媒体であって、前記コンピュータプログラムはプロセッサにより実行される時に請求項１から１９のいずれか一項に記載の方法を実現する、コンピュータ記憶媒体。
【請求項41】
プロセッサにより実行される時に請求項１から１９のいずれか一項に記載の方法を実現するコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
（関連出願の相互参照）
本願は２０１９年７月４日に中国特許局へ提出された、出願番号２０１９１０６０１０３５．３、出願の名称「点群融合方法及び装置、電子機器並びにコンピュータ記憶媒体」の中国特許出願の優先権を主張し、その開示の全てが参照によって本願に組み込まれる。
本願は２０１９年７月４日に中国特許局へ提出された、出願番号２０１９１０６０１０３５．３、出願の名称「点群融合方法及び装置、電子機器並びにコンピュータ記憶媒体」の中国特許出願の優先権を主張し、その開示の全てが参照によって本願に組み込まれる。
【0002】
本開示はコンピュータビジョン技術に関し、特に点群融合方法及び装置、電子機器並びにコンピュータ記憶媒体に関し、三次元モデリング、三次元シーンおよび拡張現実などのシーンに用いることができる。
【背景技術】
【0003】
レーザースキャナーまたは深度カメラにより、物体またはシーンの三次元モデルの再構築を実現するよう大量の点群データを収集することができ、このような点群データに基づく三次元モデル再構築方法は、モバイルプラットフォームの拡張現実およびゲームなどのアプリケーションに用いることができ、例えば、三次元物体のオンライン提示およびシーンインタラクション、シャドウキャスティング、相互衝突などの機能を実現でき、またコンピュータビジョン分野の三次元物体認識などの機能も実現できる。
【発明の概要】
【課題を解決するための手段】
【0004】
本開示の実施例は点群融合の技術的解決手段を提供しようとする。
【0005】
本開示の実施例は、
シーン情報および／またはカメラ情報における少なくとも二つの影響因子に基づき、現在フレームの深度マップにおける画素点の深度信頼度を決定するステップであって、前記シーン情報およびカメラ情報はそれぞれ少なくとも一つの影響因子を含むステップと、
前記深度信頼度に基づき、前記現在フレームの深度マップにおける画素点に対して点群融合処理を実行するステップと、を含む点群融合方法を提供する。
シーン情報および／またはカメラ情報における少なくとも二つの影響因子に基づき、現在フレームの深度マップにおける画素点の深度信頼度を決定するステップであって、前記シーン情報およびカメラ情報はそれぞれ少なくとも一つの影響因子を含むステップと、
前記深度信頼度に基づき、前記現在フレームの深度マップにおける画素点に対して点群融合処理を実行するステップと、を含む点群融合方法を提供する。
【0006】
任意選択的に、前記シーン情報および／またはカメラ情報における少なくとも二つの影響因子に基づき、前記現在フレームの深度マップにおける画素点の深度信頼度を決定する前記ステップは、
前記現在フレームの深度マップにおける深度が有効な画素点を取得するステップと、
シーン情報および／またはカメラ情報における少なくとも二つの影響因子に基づき、深度が有効な各前記画素点の深度信頼度を決定するステップと、を含み、
前記深度信頼度に基づき、前記現在フレームの深度マップにおける画素点に対して点群融合処理を実行する前記ステップは、
前記深度信頼度に基づき、前記現在フレームの深度マップにおける深度が有効な画素点に対して点群融合処理を実行することを含む。
前記現在フレームの深度マップにおける深度が有効な画素点を取得するステップと、
シーン情報および／またはカメラ情報における少なくとも二つの影響因子に基づき、深度が有効な各前記画素点の深度信頼度を決定するステップと、を含み、
前記深度信頼度に基づき、前記現在フレームの深度マップにおける画素点に対して点群融合処理を実行する前記ステップは、
前記深度信頼度に基づき、前記現在フレームの深度マップにおける深度が有効な画素点に対して点群融合処理を実行することを含む。
【0007】
分かるように、本開示の実施例では、点群融合処理プロセスは深度が有効な画素点に基づいて実現するため、点群融合処理の確実性を向上させることができる。
【0008】
任意選択的に、現在フレームの深度マップにおける深度が有効な画素点を取得する前記ステップは、
少なくとも一つの基準フレームの深度マップに基づき、現在フレームの深度マップの画素点の深度が有効であるかどうかを検出するステップと、
前記現在フレームの深度マップにおける深度が有効な画素点を保存するステップと、を含む。
少なくとも一つの基準フレームの深度マップに基づき、現在フレームの深度マップの画素点の深度が有効であるかどうかを検出するステップと、
前記現在フレームの深度マップにおける深度が有効な画素点を保存するステップと、を含む。
【0009】
分かるように、本開示の実施例では、後続で深度が有効な画素点に基づいて点群融合を行うために、現在フレームの深度マップにおける深度が有効な画素点を保存することができ、それにより深度が無効な点群を除去し、点群融合の正確性を向上させるとともに、点群融合の処理速度を高めることができ、点群融合のリアルタイム提示に寄与する。
【0010】
任意選択的に、前記少なくとも一つの基準フレームの深度マップは、現在フレームの深度マップを取得する前に取得された少なくとも１フレームの深度マップを含む。
【0011】
分かるように、本開示の実施例では、現在フレームの深度マップを取得する前に取得された深度マップを基準フレームとし、現在フレームの深度マップの画素点の深度が有効であるかどうかを判断することができ、したがって、現在フレームの深度マップを取得する前に取得された深度マップのもとに、現在フレームの深度マップの画素点の深度が有効であるかどうかをより正確に判断することができる。
【0012】
任意選択的に、少なくとも一つの基準フレームの深度マップに基づき、現在フレームの深度マップの画素点の深度が有効であるかどうかを検出する前記ステップは、
前記少なくとも一つの基準フレームの深度マップにより、前記現在フレームの深度マップの画素点に対して深度の整合性チェックを行うステップと、
前記深度の整合性チェックをパスした画素点の深度が有効であると判定し、前記深度の整合性チェックをパスしなかった画素点の深度が無効であると判定するステップと、を含む。
前記少なくとも一つの基準フレームの深度マップにより、前記現在フレームの深度マップの画素点に対して深度の整合性チェックを行うステップと、
前記深度の整合性チェックをパスした画素点の深度が有効であると判定し、前記深度の整合性チェックをパスしなかった画素点の深度が無効であると判定するステップと、を含む。
【0013】
分かるように、本開示の実施例では、深度の整合性チェックによって、現在フレームの深度マップの画素点の深度が有効であるかどうかを判断でき、したがって、現在フレームの深度マップの画素点の深度が有効であるかどうかをより正確に判断できる。
【0014】
任意選択的に、前記少なくとも一つの基準フレームの深度マップにより、前記現在フレームの深度マップの画素点に対して深度の整合性チェックを行う前記ステップは、
複数の基準フレームの深度マップを取得するステップと、
前記現在フレームの深度マップの任意の画素点である前記現在フレームの深度マップの第一画素点と、各前記基準フレームの深度マップの対応する画素点とが深度整合性の条件を満たすかどうかを判断するステップと、
前記第一画素点との前記深度整合性の条件を満たす前記対応の画素点の数が設定値以上である場合、前記第一画素点が前記深度の整合性チェックをパスしたと判定し、前記第一画素点との前記深度整合性の条件を満たす前記対応の画素点の数が設定値より小さい場合、前記第一画素点が前記深度の整合性チェックをパスしなかったと判定するステップと、を含む。
複数の基準フレームの深度マップを取得するステップと、
前記現在フレームの深度マップの任意の画素点である前記現在フレームの深度マップの第一画素点と、各前記基準フレームの深度マップの対応する画素点とが深度整合性の条件を満たすかどうかを判断するステップと、
前記第一画素点との前記深度整合性の条件を満たす前記対応の画素点の数が設定値以上である場合、前記第一画素点が前記深度の整合性チェックをパスしたと判定し、前記第一画素点との前記深度整合性の条件を満たす前記対応の画素点の数が設定値より小さい場合、前記第一画素点が前記深度の整合性チェックをパスしなかったと判定するステップと、を含む。
【0015】
分かるように、本開示の実施例では、第一画素点との深度整合性の条件を満たす前記対応の画素点の数に応じて、第一画素点が深度の整合性チェックをパスしたかどうかを判定し、第一画素点との深度整合性の条件を満たす前記対応の画素点の数が多い場合、第一画素点が深度の整合性チェックをパスしたと認め、逆の場合、第一画素点が深度の整合性チェックをパスしなかったと判定し、このように、深度の整合性チェックのロバスト性および確実性を向上させることができる。
【0016】
任意選択的に、前記現在フレームの深度マップの第一画素点と各前記基準フレームの深度マップの対応する画素点とが深度整合性の条件を満たすかどうかを判断する前記ステップは、
前記第一画素点を各前記基準フレームの深度マップに投影し、各前記基準フレームの深度マップにおける投影点の投影位置および投影深度を得るステップと、
各前記基準フレームの深度マップにおける前記投影位置の測定深度値を取得するステップと、
各基準フレームの深度マップにおける前記投影点の投影深度と前記投影位置の測定深度値との差を取得するステップと、
前記差が第一設定深度閾値以下である場合、前記第一画素点と、対応する基準フレームの深度マップの対応する画素点とが深度整合性の条件を満たすと判定し、前記差が第一設定深度閾値より大きい場合、前記第一画素点と、対応する基準フレームの深度マップの対応する画素点とが深度整合性の条件を満たさないと判定するステップと、を含む。
前記第一画素点を各前記基準フレームの深度マップに投影し、各前記基準フレームの深度マップにおける投影点の投影位置および投影深度を得るステップと、
各前記基準フレームの深度マップにおける前記投影位置の測定深度値を取得するステップと、
各基準フレームの深度マップにおける前記投影点の投影深度と前記投影位置の測定深度値との差を取得するステップと、
前記差が第一設定深度閾値以下である場合、前記第一画素点と、対応する基準フレームの深度マップの対応する画素点とが深度整合性の条件を満たすと判定し、前記差が第一設定深度閾値より大きい場合、前記第一画素点と、対応する基準フレームの深度マップの対応する画素点とが深度整合性の条件を満たさないと判定するステップと、を含む。
【0017】
カメラの撮影画角が異なるため、同一物体のある位置が現在フレームの深度マップにおいて遮蔽されたが、基準フレームの深度マップにおいて遮蔽されていないことがあり、この場合、前記位置の現在フレームの深度マップにおける画素点の深度とその基準フレームの深度マップにおける対応する位置での画素点の深度との差が大きくなり、前記位置の画素点の深度の確実性が低く、前記画素点を用いて点群融合を行うと、融合の精度が低下する。遮蔽による融合精度低下の問題を軽減するために、本開示では、まず各基準フレームの深度マップにおける投影点の投影深度と投影位置の測定深度値との差を判断し、続いて、前記差が小さい場合、第一画素点と、対応する基準フレームの深度マップの対応する画素点とが深度整合性の条件を満たすと判定し、そうでなれば、第一画素点と、対応する基準フレームの深度マップの対応する画素点とが深度整合性の条件を満たさないと判定するようにしてもよく、こうして、ある位置が現在フレームの深度マップにおいて遮蔽されることから画素点の深度の確実性が受ける影響を軽減でき、前記画素点を用いて点群融合を行えば、点群融合の精度を高いレベルに保つことができる。
【0018】
任意選択的に、前記シーン情報にはシーン構造およびシーンテクスチャのうちの少なくとも一つの影響因子が含まれ、前記カメラ情報には少なくともカメラ設定が含まれる。
【0019】
分かるように、本開示の実施例では、シーン構造、シーンテクスチャおよびカメラ設定のうちの少なくとも二つの因子を総合的に考慮することで、画素点の深度信頼度を決定することができ、したがって、深度信頼度の確実性を向上可能であり、さらに、点群融合処理の確実性を向上可能である。
【0020】
任意選択的に、シーン情報および／またはカメラ情報における少なくとも二つの影響因子に基づき、前記現在フレームの深度マップにおける画素点の深度信頼度を決定する前記ステップは、
現在フレームの深度マップにおける画素点について、シーン構造、カメラ設定およびシーンテクスチャのうちの少なくとも二つの影響因子に対応する重みをそれぞれ求めるステップと、
前記少なくとも二つの影響因子に対応する重みを融合し、前記現在フレームの深度マップにおける画素点の深度信頼度を得るステップと、を含む。
現在フレームの深度マップにおける画素点について、シーン構造、カメラ設定およびシーンテクスチャのうちの少なくとも二つの影響因子に対応する重みをそれぞれ求めるステップと、
前記少なくとも二つの影響因子に対応する重みを融合し、前記現在フレームの深度マップにおける画素点の深度信頼度を得るステップと、を含む。
【0021】
分かるように、本開示の実施例では、シーン構造、シーンテクスチャおよびカメラ設定のうちの少なくとも二つの因子の重みを総合的に考慮することで、画素点の深度信頼度を決定することができ、したがって、深度信頼度の確実性を向上可能であり、さらに、点群融合処理の確実性を向上可能である。
【0022】
任意選択的に、現在フレームの深度マップにおける画素点について、シーン構造、カメラ設定およびシーンテクスチャのうちの少なくとも二つの影響因子に対応する重みをそれぞれ求める前記ステップは、
前記現在フレームの深度マップにおける画素点の、少なくとも位置および／または法線ベクトルを含む属性情報に基づき、シーン構造、カメラ設定およびシーンテクスチャのうちの少なくとも二つの影響因子に対応する重みをそれぞれ求めることを含む。
前記現在フレームの深度マップにおける画素点の、少なくとも位置および／または法線ベクトルを含む属性情報に基づき、シーン構造、カメラ設定およびシーンテクスチャのうちの少なくとも二つの影響因子に対応する重みをそれぞれ求めることを含む。
【0023】
分かるように、事前に画素点の属性情報を把握しやすいため、シーン構造、カメラ設定およびシーンテクスチャのうちの少なくとも二つの影響因子に対応する重みを容易に求めることができ、さらに、現在フレームの深度マップにおける画素点の深度信頼度を得ることに寄与する。
【0024】
任意選択的に、前記少なくとも二つの影響因子に対応する重みを融合し、前記現在フレームの深度マップにおける画素点の深度信頼度を得る前記ステップは、
前記少なくとも二つの影響因子に対応する重みを乗算し、組み合わせ重みを得て、前記組み合わせ重みに基づき、前記現在フレームの深度マップにおける画素点の深度信頼度を得ることを含む。
前記少なくとも二つの影響因子に対応する重みを乗算し、組み合わせ重みを得て、前記組み合わせ重みに基づき、前記現在フレームの深度マップにおける画素点の深度信頼度を得ることを含む。
【0025】
分かるように、少なくとも二つの影響因子に対応する重みを乗算することで、現在フレームの深度マップにおける画素点の深度信頼度を容易に取得でき、実現しやすい。
【0026】
任意選択的に、前記深度信頼度に基づき、前記現在フレームの深度マップにおける画素点に対して点群融合処理を実行する前記ステップは、
表面要素で前記現在フレームの深度マップにおける各画素点を表すステップであって、各表面要素は、少なくとも対応する画素点の深度信頼度を含むステップと、
現在フレームの深度マップにおける深度が有効な画素点に対応する表面要素の集合を含む現在フレームの表面要素集合に基づき、前フレームの更新後の既存表面要素集合の集合更新を行い、現在フレームの深度マップの点群融合処理結果を表す現在フレームの更新後の既存表面要素集合を得るステップと、を含み、
前記集合更新は表面要素追加、表面要素更新および表面要素削除の操作のうちの少なくとも一つを含む。
表面要素で前記現在フレームの深度マップにおける各画素点を表すステップであって、各表面要素は、少なくとも対応する画素点の深度信頼度を含むステップと、
現在フレームの深度マップにおける深度が有効な画素点に対応する表面要素の集合を含む現在フレームの表面要素集合に基づき、前フレームの更新後の既存表面要素集合の集合更新を行い、現在フレームの深度マップの点群融合処理結果を表す現在フレームの更新後の既存表面要素集合を得るステップと、を含み、
前記集合更新は表面要素追加、表面要素更新および表面要素削除の操作のうちの少なくとも一つを含む。
【0027】
分かるように、本開示の実施例では、表面要素に基づく表現を用いて、点群融合処理を実現することができ、一方、表面要素は点の属性情報を表すことができるため、点の属性情報に基づき、点群融合処理を高効率に実現することができる。
【0028】
任意選択的に、前記各表面要素は対応する画素点の位置、法線ベクトル、内点重みおよび外点重みをさらに含み、前記内点重みは対応する画素点が内点に属する確率を表すために用いられ、前記外点重みは対応する画素点が外点に属する確率を表すために用いられ、前記内点重みと前記外点重みの差は対応する画素点の深度信頼度を表すために用いられる。
【0029】
分かるように、表面要素に基づく表示を用いれば、点の各種の属性情報を容易に追加でき、さらに、点の各種の属性情報を総合的に考慮した上で、点群融合処理をより正確に実現しやすい。
【0030】
任意選択的に、現在フレームの表面要素集合に基づき、前記前フレームの更新後の既存表面要素集合の集合更新を行う前記ステップは、
前記現在フレームの表面要素集合において前記前フレームの更新後の既存表面要素集合に覆われていない第一表面要素が存在する場合、前記第一表面要素を前記前フレームの更新後の既存表面要素集合に追加することを含む。
前記現在フレームの表面要素集合において前記前フレームの更新後の既存表面要素集合に覆われていない第一表面要素が存在する場合、前記第一表面要素を前記前フレームの更新後の既存表面要素集合に追加することを含む。
【0031】
第一表面要素は前フレームの更新後の既存表面要素集合に覆われていない表面要素であるため、前フレームの更新後の既存表面要素集合に追加されるべき表面要素となり、さらに、上記表面要素追加操作によって、実際の需要に応じた点群融合処理結果を得ることができる。
【0032】
任意選択的に、現在フレームの表面要素集合に基づき、前記前フレームの更新後の既存表面要素集合の集合更新を行う前記ステップは、
前記前フレームの更新後の既存表面要素集合で覆われた第二表面要素が前記現在フレームの表面要素集合に存在し、かつ前記第二表面要素の深度が前記前フレームの更新後の既存表面要素集合内の対応する表面要素の投影深度より大きく、同時に前記第二表面要素の深度と前記前フレームの更新後の既存表面要素集合内の対応する表面要素の投影深度との差が第一設定深度閾値以上である場合、前記前フレームの更新後の既存表面要素集合に前記第二表面要素を追加することを含む。
前記前フレームの更新後の既存表面要素集合で覆われた第二表面要素が前記現在フレームの表面要素集合に存在し、かつ前記第二表面要素の深度が前記前フレームの更新後の既存表面要素集合内の対応する表面要素の投影深度より大きく、同時に前記第二表面要素の深度と前記前フレームの更新後の既存表面要素集合内の対応する表面要素の投影深度との差が第一設定深度閾値以上である場合、前記前フレームの更新後の既存表面要素集合に前記第二表面要素を追加することを含む。
【0033】
分かるように、上記第二表面要素と前フレームの更新後の既存表面要素集合との関係から、第二表面要素が前フレームの更新後の既存表面要素集合に追加されるべき表面要素であると確定でき、さらに、上記表面要素追加操作によって、実際の需要に応じた点群融合処理結果を得ることができる。
【0034】
任意選択的に、現在フレームの表面要素集合に基づき、前記前フレームの更新後の既存表面要素集合の集合更新を行う前記ステップは、
前記前フレームの更新後の既存表面要素集合で覆われた第二表面要素が前記現在フレームの表面要素集合に存在し、かつ前記第二表面要素の深度が前記前フレームの更新後の既存表面要素集合内の対応する表面要素の投影深度より小さく、同時に前記第二表面要素の深度と前記前フレームの更新後の既存表面要素集合内の対応する表面要素の投影深度との差が第二設定深度閾値以上である場合、前記前フレームの更新後の既存表面要素集合内の対応する表面要素の外点重み値を増加させることを含む。
前記前フレームの更新後の既存表面要素集合で覆われた第二表面要素が前記現在フレームの表面要素集合に存在し、かつ前記第二表面要素の深度が前記前フレームの更新後の既存表面要素集合内の対応する表面要素の投影深度より小さく、同時に前記第二表面要素の深度と前記前フレームの更新後の既存表面要素集合内の対応する表面要素の投影深度との差が第二設定深度閾値以上である場合、前記前フレームの更新後の既存表面要素集合内の対応する表面要素の外点重み値を増加させることを含む。
【0035】
分かるように、第二表面要素の深度が前フレームの更新後の既存表面要素集合内の対応する表面要素の投影深度より小さい場合、第二表面要素が外点に属する可能性が高いことがわかり、この場合、前フレームの更新後の既存表面要素集合内の対応する表面要素の外点重み値を増加させることで、実際の需要により適合するように表面要素の更新を行うことができる。
【0036】
任意選択的に、現在フレームの表面要素集合に基づき、前記前フレームの更新後の既存表面要素集合の集合更新を行う前記ステップは、
前記前フレームの更新後の既存表面要素集合で覆われた第二表面要素が前記現在フレームの表面要素集合に存在し、かつ前記第二表面要素の深度と前記前フレームの更新後の既存表面要素集合内の対応する表面要素の投影深度との差が第三設定深度閾値より小さく、同時に前記前フレームの更新後の既存表面要素集合内の対応する表面要素の法線ベクトルと前記第二表面要素の法線ベクトルとの夾角が設定角度値以下である場合、前記前フレームの更新後の既存表面要素集合内の対応する表面要素の位置、法線ベクトルを更新し、前記前フレームの更新後の既存表面要素集合内の対応する表面要素の内点重み値を増加させることを含む。
前記前フレームの更新後の既存表面要素集合で覆われた第二表面要素が前記現在フレームの表面要素集合に存在し、かつ前記第二表面要素の深度と前記前フレームの更新後の既存表面要素集合内の対応する表面要素の投影深度との差が第三設定深度閾値より小さく、同時に前記前フレームの更新後の既存表面要素集合内の対応する表面要素の法線ベクトルと前記第二表面要素の法線ベクトルとの夾角が設定角度値以下である場合、前記前フレームの更新後の既存表面要素集合内の対応する表面要素の位置、法線ベクトルを更新し、前記前フレームの更新後の既存表面要素集合内の対応する表面要素の内点重み値を増加させることを含む。
【0037】
分かるように、第二表面要素の深度と前フレームの更新後の既存表面要素集合内の対応する表面要素の投影深度との差が第三設定深度閾値より小さく、かつ前フレームの更新後の既存表面要素集合内の対応する表面要素の法線ベクトルと第二表面要素の法線ベクトルとの夾角が設定角度値以下である場合、現在フレームの表面要素集合内の第二表面要素の測定深度が有効な深度であることがわかり、この場合、対応する表面要素の位置、法線ベクトルおよび内点重みを更新すれば、実際の需要により適合するように表面要素の更新を行うことができる。
【0038】
任意選択的に、前記現在フレームの表面要素集合に基づき、前記前フレームの更新後の既存表面要素集合の集合更新を行う前記ステップは、
前記前フレームの更新後の既存表面要素集合で覆われた第二表面要素が前記現在フレームの表面要素集合に存在し、かつ前記第二表面要素の深度と前記前フレームの更新後の既存表面要素集合内の対応する表面要素の投影深度との差が第三設定深度閾値より小さく、同時に前記前フレームの更新後の既存表面要素集合内の対応する表面要素の法線ベクトルと前記第二表面要素の法線ベクトルとの夾角が設定角度値より大きい場合、前記前フレームの更新後の既存表面要素集合内の対応する表面要素の外点重み値を増加させることを含む。
前記前フレームの更新後の既存表面要素集合で覆われた第二表面要素が前記現在フレームの表面要素集合に存在し、かつ前記第二表面要素の深度と前記前フレームの更新後の既存表面要素集合内の対応する表面要素の投影深度との差が第三設定深度閾値より小さく、同時に前記前フレームの更新後の既存表面要素集合内の対応する表面要素の法線ベクトルと前記第二表面要素の法線ベクトルとの夾角が設定角度値より大きい場合、前記前フレームの更新後の既存表面要素集合内の対応する表面要素の外点重み値を増加させることを含む。
【0039】
微細構造部位での深度差が小さいが異なる画角での法線変化が大きいため、単に深度の差を融合すると平均されてしまうことになるが、本開示では外点重みが更新され、微細の深度差が保持され、したがって、本開示の実施例に係る点群融合の解決手段は微細構造をより効果的に処理することができる。
【0040】
任意選択的に、現在フレームの表面要素集合に基づき、前記前フレームの更新後の既存表面要素集合の集合更新を行う前記ステップは、
前記現在フレームの表面要素集合において所定の削除条件を満たす表面要素が存在する場合、前記現在フレームの表面要素集合内の所定の削除条件を満たす表面要素を削除することを含み、前記所定の削除条件を満たす表面要素は、対応する画素点の深度信頼度が設定信頼度閾値より小さい表面要素である。
前記現在フレームの表面要素集合において所定の削除条件を満たす表面要素が存在する場合、前記現在フレームの表面要素集合内の所定の削除条件を満たす表面要素を削除することを含み、前記所定の削除条件を満たす表面要素は、対応する画素点の深度信頼度が設定信頼度閾値より小さい表面要素である。
【0041】
分かるように、深度信頼度が低い表面要素を削除することで、保存された表面要素はいずれも高い深度信頼度を有するようになり、したがって、点群融合の確実性および正確性の向上に寄与する。
【0042】
本開示の実施例は、
シーン情報および／またはカメラ情報における少なくとも二つの影響因子に基づき、現在フレームの深度マップにおける画素点の深度信頼度を決定するように構成された決定モジュールであって、前記シーン情報およびカメラ情報はそれぞれ少なくとも一つの影響因子を含む決定モジュールと、
前記深度信頼度に基づき、前記現在フレームの深度マップにおける画素点に対して点群融合処理を実行するように構成された融合モジュールと、を含む点群融合装置をさらに提供する。
シーン情報および／またはカメラ情報における少なくとも二つの影響因子に基づき、現在フレームの深度マップにおける画素点の深度信頼度を決定するように構成された決定モジュールであって、前記シーン情報およびカメラ情報はそれぞれ少なくとも一つの影響因子を含む決定モジュールと、
前記深度信頼度に基づき、前記現在フレームの深度マップにおける画素点に対して点群融合処理を実行するように構成された融合モジュールと、を含む点群融合装置をさらに提供する。
【0043】
任意選択的に、前記決定モジュールは、前記現在フレームの深度マップにおける深度が有効な画素点を取得するステップと、シーン情報および／またはカメラ情報における少なくとも二つの影響因子に基づき、深度が有効な各前記画素点の深度信頼度を決定するステップと、を実行するように構成され、
前記融合モジュールは、前記深度信頼度に基づき、前記現在フレームの深度マップにおける深度が有効な画素点に対して点群融合処理を実行するように構成される。
前記融合モジュールは、前記深度信頼度に基づき、前記現在フレームの深度マップにおける深度が有効な画素点に対して点群融合処理を実行するように構成される。
【0044】
分かるように、本開示の実施例では、点群融合処理プロセスは深度が有効な画素点に基づいて実現するため、点群融合処理の確実性を向上させることができる。
【0045】
任意選択的に、前記決定モジュールは、少なくとも一つの基準フレームの深度マップに基づき、現在フレームの深度マップの画素点の深度が有効であるかどうかを検出するステップと、前記現在フレームの深度マップにおける深度が有効な画素点を保存するステップと、を実行するように構成される。
【0046】
分かるように、本開示の実施例では、後続で深度が有効な画素点に基づいて点群融合を行うために、現在フレームの深度マップにおける深度が有効な画素点を保存することができ、それにより深度が無効な点群を除去し、点群融合の正確性を向上させるとともに、点群融合の処理速度を高めることができ、点群融合のリアルタイム提示に寄与する。
【0047】
任意選択的に、前記少なくとも一つの基準フレームの深度マップは、現在フレームの深度マップを取得する前に取得された少なくとも１フレームの深度マップを含む。
【0048】
分かるように、本開示の実施例では、現在フレームの深度マップを取得する前に取得された深度マップに基づき、現在フレームの深度マップの画素点の深度が有効であるかどうかを判断でき、したがって、現在フレームの深度マップを取得する前に取得された深度マップのもとに、現在フレームの深度マップの画素点の深度が有効であるかどうかをより正確に判断できる。
【0049】
任意選択的に、前記決定モジュールは、前記少なくとも一つの基準フレームの深度マップにより、前記現在フレームの深度マップの画素点に対して深度の整合性チェックを行うステップと、前記深度の整合性チェックをパスした画素点の深度が有効であると判定し、前記深度の整合性チェックをパスしなかった画素点の深度が無効であると判定するステップと、を実行するように構成される。
【0050】
分かるように、本開示の実施例では、深度の整合性チェックによって、現在フレームの深度マップの画素点の深度が有効であるかどうかを判断でき、したがって、現在フレームの深度マップの画素点の深度が有効であるかどうかをより正確に判断できる。
【0051】
任意選択的に、前記決定モジュールは、複数の基準フレームの深度マップを取得するステップと、前記現在フレームの深度マップの第一画素点と各前記基準フレームの深度マップの対応する画素点とが深度整合性の条件を満たすかどうかを判断するステップと、前記第一画素点との前記深度整合性の条件を満たす前記対応の画素点の数が設定値以上である場合、前記第一画素点が前記深度の整合性チェックをパスしたと判定し、前記第一画素点との前記深度整合性の条件を満たす前記対応の画素点の数が設定値より小さい場合、前記第一画素点が前記深度の整合性チェックをパスしなかったと判定するステップと、を実行するように構成される。分かるように、本開示の実施例では、第一画素点との深度整合性の条件を満たす前記対応の画素点の数に応じて、第一画素点が深度の整合性チェックをパスしたかどうかを判定し、第一画素点との深度整合性の条件を満たす前記対応の画素点の数が多い場合、第一画素点が深度の整合性チェックをパスしたと認め、逆の場合、第一画素点が深度の整合性チェックをパスしなかったと判定し、このように、深度の整合性チェックのロバスト性および確実性を向上させることができる。前記第一画素点は前記現在フレームの深度マップの任意の画素点である。
【0052】
任意選択的に、前記決定モジュールは、前記第一画素点を各前記基準フレームの深度マップに投影し、各前記基準フレームの深度マップにおける投影点の投影位置および投影深度を得るステップと、各前記基準フレームの深度マップにおける前記投影位置の測定深度値を取得するステップと、各基準フレームの深度マップにおける前記投影点の投影深度と前記投影位置の測定深度値との差を取得するステップと、前記差が第一設定深度閾値以下である場合、前記第一画素点と、対応する基準フレームの深度マップの対応する画素点と、が深度整合性の条件を満たすと判定し、前記差が第一設定深度閾値より大きい場合、前記第一画素点と、対応する基準フレームの深度マップの対応する画素点とが深度整合性の条件を満たさないと判定するステップと、を実行するように構成される。
【0053】
カメラの撮影画角が異なるため、同一物体のある位置が現在フレームの深度マップにおいて遮蔽されたが、基準フレームの深度マップにおいて遮蔽されていないことがあり、この場合、前記位置の現在フレームの深度マップにおける画素点の深度とその基準フレームの深度マップにおける対応する位置での画素点の深度との差が大きくなり、前記位置の画素点の深度の確実性が低く、前記画素点を用いて点群融合を行うと、融合の精度が低下する。遮蔽による融合精度低下の問題を軽減するために、本開示では、まず各基準フレームの深度マップにおける投影点の投影深度と投影位置の測定深度値との差を判断し、続いて、前記差が小さい場合、第一画素点と、対応する基準フレームの深度マップの対応する画素点とが深度整合性の条件を満たすと判定し、そうでなれば、第一画素点と、対応する基準フレームの深度マップの対応する画素点とが深度整合性の条件を満たさないと判定するようにしてもよく、こうして、ある位置が現在フレームの深度マップにおいて遮蔽されることから画素点の深度の確実性が受ける影響を軽減でき、前記画素点を用いて点群融合を行えば、点群融合の精度を高いレベルに保つことができる。
【0054】
任意選択的に、前記シーン情報にはシーン構造およびシーンテクスチャのうちの少なくとも一つの影響因子が含まれ、前記カメラ情報には少なくともカメラ設定が含まれる。
【0055】
分かるように、本開示の実施例では、シーン構造、シーンテクスチャおよびカメラ設定のうちの少なくとも二つの因子を総合的に考慮することで、画素点の深度信頼度を決定することができ、したがって、深度信頼度の確実性を向上可能であり、さらに、点群融合処理の確実性を向上可能である。
【0056】
任意選択的に、前記決定モジュールは、現在フレームの深度マップにおける画素点について、シーン構造、カメラ設定およびシーンテクスチャのうちの少なくとも二つの影響因子に対応する重みをそれぞれ求めるステップと、前記少なくとも二つの影響因子に対応する重みを融合し、前記現在フレームの深度マップにおける画素点の深度信頼度を得るステップと、を実行するように構成される。
【0057】
分かるように、本開示の実施例では、シーン構造、シーンテクスチャおよびカメラ設定のうちの少なくとも二つの因子の重みを総合的に考慮することで、画素点の深度信頼度を決定することができ、したがって、深度信頼度の確実性を向上可能であり、さらに、点群融合処理の確実性を向上可能である。
【0058】
任意選択的に、前記決定モジュールは、前記現在フレームの深度マップにおける画素点の、少なくとも位置および／または法線ベクトルを含む属性情報に基づき、シーン構造、カメラ設定およびシーンテクスチャのうちの少なくとも二つの影響因子に対応する重みをそれぞれ求めるように構成される。
【0059】
分かるように、事前に画素点の属性情報を把握しやすいため、シーン構造、カメラ設定およびシーンテクスチャのうちの少なくとも二つの影響因子に対応する重みを容易に求めることができ、さらに、現在フレームの深度マップにおける画素点の深度信頼度を得ることに寄与する。
【0060】
任意選択的に、前記決定モジュールは、前記少なくとも二つの影響因子に対応する重みを乗算し、組み合わせ重みを得て、前記組み合わせ重みに基づき、前記現在フレームの深度マップにおける画素点の深度信頼度を得るように構成される。
【0061】
分かるように、少なくとも二つの影響因子に対応する重みを乗算することで、現在フレームの深度マップにおける画素点の深度信頼度を容易に取得でき、実現しやすい。
【0062】
任意選択的に、前記融合モジュールは、少なくとも対応する画素点の深度信頼度をそれぞれ含む表面要素で前記現在フレームの深度マップにおける各画素点を表すように構成され、
前記融合モジュールは、現在フレームの深度マップにおける深度が有効な画素点に対応する表面要素の集合を含む現在フレームの表面要素集合に基づき、前フレームの更新後の既存表面要素集合の集合更新を行い、現在フレームの深度マップの点群融合処理結果を表す現在フレームの更新後の既存表面要素集合を得るように構成され、
前記集合更新は表面要素追加、表面要素更新および表面要素削除の操作のうちの少なくとも一つを含む。
前記融合モジュールは、現在フレームの深度マップにおける深度が有効な画素点に対応する表面要素の集合を含む現在フレームの表面要素集合に基づき、前フレームの更新後の既存表面要素集合の集合更新を行い、現在フレームの深度マップの点群融合処理結果を表す現在フレームの更新後の既存表面要素集合を得るように構成され、
前記集合更新は表面要素追加、表面要素更新および表面要素削除の操作のうちの少なくとも一つを含む。
【0063】
分かるように、本開示の実施例では、表面要素に基づく表現を用いて、点群融合処理を実現することができ、一方、表面要素は点の属性情報を表すことができるため、点の属性情報に基づき、点群融合処理を高効率に実現することができる。
【0064】
任意選択的に、前記各表面要素は対応する画素点の位置、法線ベクトル、内点重みおよび外点重みをさらに含み、前記内点重みは対応する画素点が内点に属する確率を表すために用いられ、前記外点重みは対応する画素点が外点に属する確率を表すために用いられ、前記内点重みと前記外点重みの差は対応する画素点の深度信頼度を表すために用いられる。
【0065】
分かるように、表面要素に基づく表示を用いれば、点の各種の属性情報を容易に追加でき、さらに、点の各種の属性情報を総合的に考慮した上で、点群融合処理をより正確に実現しやすい。
【0066】
任意選択的に、前記融合モジュールは、前記現在フレームの表面要素集合において前記前フレームの更新後の既存表面要素集合に覆われていない第一表面要素が存在する場合、前記第一表面要素を前記前フレームの更新後の既存表面要素集合に追加するように構成される。
【0067】
第一表面要素は前フレームの更新後の既存表面要素集合に覆われていない表面要素であるため、前フレームの更新後の既存表面要素集合に追加されるべき表面要素となり、さらに、上記表面要素追加操作によって、実際の需要に応じた点群融合処理結果を得ることができる。
【0068】
任意選択的に、前記融合モジュールは、前記前フレームの更新後の既存表面要素集合で覆われた第二表面要素が前記現在フレームの表面要素集合に存在し、かつ前記第二表面要素の深度が前記前フレームの更新後の既存表面要素集合内の対応する表面要素の投影深度より大きく、同時に前記第二表面要素の深度と前記前フレームの更新後の既存表面要素集合内の対応する表面要素の投影深度との差が第一設定深度閾値以上である場合、前記前フレームの更新後の既存表面要素集合に前記第二表面要素を追加するように構成される。
【0069】
分かるように、上記第二表面要素と前フレームの更新後の既存表面要素集合との関係から、第二表面要素が前フレームの更新後の既存表面要素集合に追加されるべき表面要素であると確定でき、さらに、上記表面要素追加操作によって、実際の需要に応じた点群融合処理結果を得ることができる。
【0070】
任意選択的に、前記融合モジュールは、前記前フレームの更新後の既存表面要素集合で覆われた第二表面要素が前記現在フレームの表面要素集合に存在し、かつ前記第二表面要素の深度が前記前フレームの更新後の既存表面要素集合内の対応する表面要素の投影深度より小さく、同時に前記第二表面要素の深度と前記前フレームの更新後の既存表面要素集合内の対応する表面要素の投影深度との差が第二設定深度閾値以上である場合、前記前フレームの更新後の既存表面要素集合内の対応する表面要素の外点重み値を増加させるように構成される。
【0071】
分かるように、第二表面要素の深度が前フレームの更新後の既存表面要素集合内の対応する表面要素の投影深度より小さい場合、第二表面要素が外点に属する可能性が高いことがわかり、この場合、前フレームの更新後の既存表面要素集合内の対応する表面要素の外点重み値を増加させることで、実際の需要により適合するように表面要素の更新を行うことができる。
【0072】
任意選択的に、前記融合モジュールは、前記前フレームの更新後の既存表面要素集合で覆われた第二表面要素が前記現在フレームの表面要素集合に存在し、かつ前記第二表面要素の深度と前記前フレームの更新後の既存表面要素集合内の対応する表面要素の投影深度との差が第三設定深度閾値より小さく、同時に前記前フレームの更新後の既存表面要素集合内の対応する表面要素の法線ベクトルと前記第二表面要素の法線ベクトルとの夾角が設定角度値以下である場合、前記前フレームの更新後の既存表面要素集合内の対応する表面要素の位置、法線ベクトルを更新し、前記前フレームの更新後の既存表面要素集合内の対応する表面要素の内点重み値を増加させるように構成される。
【0073】
分かるように、第二表面要素の深度と前フレームの更新後の既存表面要素集合内の対応する表面要素の投影深度との差が第三設定深度閾値より小さく、かつ前フレームの更新後の既存表面要素集合内の対応する表面要素の法線ベクトルと第二表面要素の法線ベクトルとの夾角が設定角度値以下である場合、現在フレームの表面要素集合内の第二表面要素の測定深度が有効な深度であることがわかり、この場合、対応する表面要素の位置、法線ベクトルおよび内点重みを更新すれば、実際の需要により適合するように表面要素の更新を行うことができる。
【0074】
任意選択的に、前記融合モジュールは、前記前フレームの更新後の既存表面要素集合で覆われた第二表面要素が前記現在フレームの表面要素集合に存在し、かつ前記第二表面要素の深度と前記前フレームの更新後の既存表面要素集合内の対応する表面要素の投影深度との差が第三設定深度閾値より小さく、同時に前記前フレームの更新後の既存表面要素集合内の対応する表面要素の法線ベクトルと前記第二表面要素の法線ベクトルとの夾角が設定角度値より大きい場合、前記前フレームの更新後の既存表面要素集合内の対応する表面要素の外点重み値を増加させるように構成される。
【0075】
分かるように、微細構造部位での深度差が小さいが異なる画角での法線変化が大きいため、単に深度の差を融合すると平均されてしまうことになるが、本開示では外点重みが更新され、微細の深度差が保持され、したがって、本開示の実施例に係る点群融合の解決手段は微細構造をより効果的に処理することができる。
【0076】
任意選択的に、前記融合モジュールは、前記現在フレームの表面要素集合において所定の削除条件を満たす表面要素が存在する場合、前記現在フレームの表面要素集合内の所定の削除条件を満たす表面要素を削除するように構成され、前記所定の削除条件を満たす表面要素は、対応する画素点の深度信頼度が設定信頼度閾値より小さい表面要素である。
【0077】
分かるように、深度信頼度が低い表面要素を削除することで、保存された表面要素はいずれも高い深度信頼度を有するようになり、したがって、点群融合の確実性および正確性の向上に寄与する。
【0078】
本開示の実施例は、プロセッサおよびプロセッサにおいて実行可能なコンピュータプログラムを記憶するように構成されたメモリを含み、前記プロセッサは前記コンピュータプログラムを実行する場合に、上記いずれかの点群融合方法を実行するように構成される、電子機器をさらに提供する。
【0079】
本開示の実施例は、コンピュータプログラムが記憶されているコンピュータ記憶媒体であって、前記コンピュータプログラムはプロセッサにより実行される時に上記いずれかの点群融合方法を実現するコンピュータ記憶媒体をさらに提供する。
【0080】
本開示の実施例は、プロセッサにより実行される時に上記いずれかの点群融合方法を実現するコンピュータプログラムをさらに提供する。
【0081】
本開示の実施例が提供する点群融合方法及び装置、電子機器並びにコンピュータ記憶媒体に基づき、それぞれ少なくとも一つの影響因子を含むシーン情報および／またはカメラ情報における少なくとも二つの影響因子に基づき、前記現在フレームの深度マップにおける画素点の深度信頼度を決定し、そして前記深度信頼度に基づき、前記現在フレームの深度マップにおける画素点に対して点群融合処理を実行する。このように、本開示の実施例では、複数の因子を総合的に考慮して画素点の深度信頼度を決定することができ、したがって、深度信頼度の確実性を向上可能であり、さらに、点群融合処理の確実性を向上可能である。
【図面の簡単な説明】
【0082】
【図1】本開示の実施例に係る点群融合方法のフローチャートである。
【図2】本開示の実施例において取得された深度マップの模式図である。
【図6】本開示の実施例に係る点群融合装置の構成模式図である。
【図7】本開示の実施例に係る電子機器の概略構造図である。
【発明を実施するための形態】
【0083】
以下に図面と実施例を関連付けて、本開示をさらに詳細に説明する。なお、ここで提供される実施例は本開示を説明するためのものにすぎず、本開示を限定するものではないことを理解されたい。また、以下に提供される実施例は本開示を実施するための実施例の一部にすぎず、本開示を実施する全ての実施例ではなく、本開示の実施例に記載の技術的解決手段は、矛盾しない限り、任意の組み合わせの形態で実施可能である。
【0084】
説明すべきは、本開示の実施例において、用語「含む」、「からなる」またはその他のあらゆる変形は非排他的包含を含むように意図され、それにより一連の要素を含むプロセス、方法、物品または装置は、それらの要素のみならず、明示されていない他の要素、または実施方法または装置に固有の要素をも含むようになるということである。特に断らない限り、語句「一つの……を含む」により限定される要素は、前記要素を含む方法または装置に別の関連要素（例えば方法におけるステップまたは装置内のユニットであって、前記ユニットは一部の回路、一部のプロセッサ、一部のプログラムまたはソフトウェアなどであり得る）がさらに存在することを排除するものではない。
【0085】
例えば、本開示の実施例が提供する点群融合方法は一連のステップを含むが、本開示の実施例が提供する点群融合方法は記載されたステップに限定されず、同様に、本開示の実施例が提供する点群融合装置は一連のモジュールを含むが、本開示の実施例が提供する装置は明記されたモジュールを含むものに限定されず、関連情報を取得する時、または情報に基づいて処理を実行する時に設置する必要があるモジュールを含んでもよい。
【0086】
本開示の実施例は端末機器、コンピュータシステム、サーバなどの電子機器に用いることができ、それは他の様々な共通または専用計算システム環境または構成と共に動作可能である。端末機器、コンピュータシステム、サーバなどの電子機器との併用に適する公知の端末機器、計算システム、環境および／または構成の例は、パーソナルコンピュータシステム、サーバコンピュータシステム、シンクライアント、ファットクライアント、手持ちまたはラップトップデバイス、マイクロプロセッサに基づくシステム、セットトップボックス、プログラマブル消費者用電子機器、ネットワークパソコン、小型コンピュータシステム、大型コンピュータシステムおよび前記の任意のシステムを含む分散型クラウドコンピューティング技術環境などを含むが、これらに限定されない。
【0087】
端末機器、コンピュータシステム、サーバなどの電子機器はコンピュータシステムにより実行されるコンピュータシステム実行可能命令（例えば、プログラムモジュール）の一般的な言語環境において記述できる。通常、プログラムモジュールはルーチン、プログラム、目的プログラム、コンポーネント、ロジック、データ構造などを含んでもよく、それらは特定のタスクを実行するかまたは特定の抽象データ型を実現する。コンピュータシステム／サーバは分散型クラウドコンピューティング環境において実施でき、分散型クラウドコンピューティング環境において、タスクは通信ネットワークにわたってリンクされた遠隔処理機器により実行される。分散型クラウドコンピューティング環境において、プログラムモジュールは記憶機器を含むローカルまたは遠隔計算システムの記憶媒体に存在してもよい。
【0088】
以下、関連する点群融合の解決手段に存在する問題を例示的に説明する。レーザースキャナーにより収集された点群データについて、簡単な点群融合方法の一つとしては、八分木を使用して点群融合を簡略化する方法があり、このような方法は同一ボクセル内に含まれる点を重み付け平均するが、物体の異なる領域が同一のボクセルで覆われているという状況に遭うことが多く、特に微細構造において、単なる重み付け平均によって微細構造を区別することができない。何らかの同時ローカリゼーションとマッピング（Ｓｉｍｕｌｔａｎｅｏｕｓ Ｌｏｃａｌｉｚａｔｉｏｎ ａｎｄ Ｍａｐｐｉｎｇ、ＳＬＡＭ）アプリケーションにおいて、異なる画角の画像は重なり合った面積が大きいことが一般的であり、従来の点群融合方法は、単に重なり合った領域の深度値を融合するか、または深度信頼度に基づいて融合を行っているが、前者の場合では確実度が低い領域も誤って共に融合されてしまうことになり、後者の場合では、深度信頼度が点群の局所構造またはシーンテクスチャに基づいて計算して得られるが、このような方法によって計算された深度信頼度は確実でなく、例えばテクスチャが弱い領域について、シーンテクスチャに基づく深度信頼度の計算方法は、正確な深度信頼度を得ることができない。
【0089】
また、モバイルプラットフォームにおいて、点群融合のプロセスはリアルタイムにオンライン提示できるように要求されることが多く、これも点群融合の計算効率について大きな課題を提起する。
【0090】
上記技術的問題に対して、本開示の実施例は点群融合方法を提供し、その実行主体は点群融合装置であってもよく、例えば、画像深度推定方法は端末機器またはサーバまたは他の電子機器によって実行されてもよく、ここで、端末機器はユーザ機器（Ｕｓｅｒ Ｅｑｕｉｐｍｅｎｔ、ＵＥ）、モバイル機器、ユーザ端末、端末、セルラー電話、コーデレス電話機、携帯情報端末（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ、ＰＤＡ）、ハンドヘルド機器、コンピュータ機器、車載機器、ウェアラブル機器であってもよい。いくつかの可能な実施形態では、前記画像深度推定方法はプロセッサによってメモリに記憶されたコンピュータ可読命令を呼び出すように実現してもよい。本開示が提供する点群融合方法は三次元モデリング、拡張現実、画像処理、撮影、ゲーム、アニメーション、映画・テレビ、電子商取引、教育、不動産および住宅改修などの分野に用いることができる。本開示の実施例では、点群データの取得方法を限定しない。本開示の実施例の技術的解決手段を採用すれば、カメラによって連続したビデオフレームを収集して得ることができ、ビデオの連続フレームのカメラ姿勢および深度マップが既知である場合、多視点深度を融合することで、高精度の点群データを得ることができる。
【0091】
【0092】
ステップ１０１で、それぞれ少なくとも一つの影響因子を含むシーン情報および／またはカメラ情報における少なくとも二つの影響因子に基づき、前記現在フレームの深度マップにおける画素点の深度信頼度を決定する。
【0093】
本開示の実施例では、現在フレームの深度マップを取得する方法を限定せず、例えば、現在フレームの深度マップはユーザによりマンマシンインタラクションのface="ＭＳ 明朝">方式で入力されてもよい。図２は本開示の実施例において取得された深度マップの模式図である。
【0094】
ステップ１０２で、前記深度信頼度に基づき、前記現在フレームの深度マップにおける画素点に対して点群融合処理を実行する。
【0095】
ステップ１０１からステップ１０２は電子機器内のプロセッサによって実現してもよく、上記プロセッサは専用集積回路（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ：ＡＳＩＣ）、ディジタル信号プロセッサ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ：ＤＳＰ）、ディジタル信号処理装置（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｄｅｖｉｃｅ：ＤＳＰＤ）、プログラマブル論理装置（Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ：ＰＬＤ）、フィールドプログラマブルゲートアレイ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ：ＦＰＧＡ）、中央処理装置（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ：ＣＰＵ）、コントローラ、マイクロコントローラ、マイクロプロセッサの少なくとも一つであり得る。
【0096】
分かるように、本開示の実施例では、複数の因子を総合的に考慮して画素点の深度信頼度を決定することができ、したがって、深度信頼度の確実性を向上可能であり、さらに、点群融合処理の確実性を向上可能である。ここで、点群融合処理とは複数の点群データを、統一したグローバル座標系においてデータ融合を行うことをいう。データ融合のプロセスにおいて、重なり合った冗長な部分を除去し、点群全体を合理的な数に保つ必要がある。本開示の実施例では、点群融合処理の実施形態を限定せず、一例では、八分木構造に基づいて点群データを処理し、それにより点群融合を実現するようにしてもよい。
【0097】
ステップ１０１の実施形態について、例示的には、現在フレームの深度マップにおける深度が有効な画素点を取得するステップと、シーン情報および／またはカメラ情報における少なくとも二つの影響因子に基づき、深度が有効な各画素点の深度信頼度を決定するステップと、を行うようにしてもよい。
【0098】
それに対して、ステップ１０２の実施形態について、例示的には、上記深度信頼度に基づき、現在フレームの深度マップにおける深度が有効な画素点に対して点群融合処理を実行するようにしてもよい。
【0099】
具体的には、例えば手動または基準フレーム対照の方式で、現在フレームの深度マップにおける画素点の深度が有効であるかどうかを予め判定し、続いて、深度が有効な画素点の点群融合を行うために、シーン情報および／またはカメラ情報における少なくとも二つの影響因子に基づき、深度が有効な画素点の深度信頼度を決定するようにしてもよい。分かるように、本開示の実施例では、点群融合処理プロセスは深度が有効な画素点に基づいて実現するため、点群融合処理の確実性を向上させることができる。
【0100】
任意選択的に、少なくとも一つの基準フレームの深度マップを取得した後、少なくとも一つの基準フレームの深度マップに基づき、現在フレームの深度マップの画素点の深度が有効であるかどうかを検出し、そして、後続で深度が有効な画素点に基づいて点群融合を行うために、現在フレームの深度マップにおける深度が無効な画素点を破棄し、深度が有効な画素点を保存することができ、それにより深度が無効な点群を除去し、点群融合の精度および正確性を向上させるとともに、点群融合の処理速度を高めることができ、点群融合のリアルタイム提示の実現に寄与する。
【0101】
任意選択的に、上記少なくとも一つの基準フレームの深度マップは現在フレームの深度マップを取得する前に取得された少なくとも１フレームの深度マップを含んでもよく、一具体例では、上記少なくとも一つの基準フレームの深度マップは前記現在フレームの深度マップに隣接する前のＮフレームの深度マップを含み、ここで、Ｎは１以上の整数であり、任意選択的に、１≦Ｎface="ＭＳ 明朝">≦７である。
【0102】
つまり、現在フレームの深度マップについて、隣接する前のＮフレームの深度マップを基準フレームの深度マップとして使用することができる。
【0103】
分かるように、本開示の実施例では、現在フレームの深度マップを取得する前に取得された深度マップに基づき、現在フレームの深度マップの画素点の深度が有効であるかどうかを判断することができ、したがって、現在フレームの深度マップを取得する前に取得された深度マップを根拠とすれば、現在フレームの深度マップの画素点の深度が有効であるかどうかをより正確に判断することができる。
【0104】
少なくとも一つの基準フレームの深度マップに基づき、現在フレームの深度マップの画素点の深度が有効であるかどうかを検出する実施形態について、例示的には、少なくとも一つの基準フレームの深度マップにより、現在フレームの深度マップの画素点に対して深度の整合性チェックを行うステップと、深度の整合性チェックをパスした画素点の深度が有効であると判定し、前記深度の整合性チェックをパスしなかった画素点の深度が無効であると判定するステップと、を行うようにしてもよい。
【0105】
ここで、深度の整合性チェックとは現在フレームの深度マップの画素点と基準フレームの深度マップの対応する画素点の深度との差が所定範囲内にあるかどうかをチェックし、差が所定範囲内にある場合、前記画素点の深度が有効であると判定し、そうでなければ前記画素点の深度が無効であると判定することを意味してもよい。
【0106】
分かるように、本開示の実施例では、深度の整合性チェックによって、現在フレームの深度マップの画素点の深度が有効であるかどうかを判断でき、したがって、現在フレームの深度マップの画素点の深度が有効であるかどうかをより正確に判断できる。
【0107】
ここで、現在フレームの深度マップにおける深度が無効な画素点を破棄した後、深度の整合性チェックをパスした現在フレームの深度マップを得ることができ、図３は図２のもとに本開示の実施例の解決手段を用いて得られた、深度の整合性チェックをパスした現在フレームの深度マップである。
【0108】
いくつかの実施例では、一つの基準フレームの深度マップを取得し、続いて現在フレームの深度マップの画素点と前記基準フレームの深度マップの対応する画素点とが深度整合性の条件を満たすかどうかを判断し、現在フレームの深度マップの画素点と前記基準フレームの深度マップの対応する画素点とが深度整合性の条件を満たす場合、前記画素点の深度が有効であると判定し、そうでなければ前記画素点の深度が無効であると判定するようにしてもよい。
【0109】
いくつかの実施例では、複数の基準フレームの深度マップを取得し、その後、前記現在フレームの深度マップの任意の画素点である現在フレームの深度マップの第一画素点と各基準フレームの深度マップの対応する画素点とが深度整合性の条件を満たすかどうかを判断し、
そして、第一画素点との深度整合性の条件を満たす対応の画素点の数が設定値以上である場合、第一画素点が深度の整合性チェックをパスしたと判定し、第一画素点との深度整合性の条件を満たす対応の画素点の数が設定値より小さい場合、第一画素点が深度の整合性チェックをパスしなかったと判定するようにしてもよい。
そして、第一画素点との深度整合性の条件を満たす対応の画素点の数が設定値以上である場合、第一画素点が深度の整合性チェックをパスしたと判定し、第一画素点との深度整合性の条件を満たす対応の画素点の数が設定値より小さい場合、第一画素点が深度の整合性チェックをパスしなかったと判定するようにしてもよい。
【0110】
ここで、深度整合性の条件は、現在フレームの深度マップの画素点と基準フレームの深度マップの対応する画素点の深度との差が所定範囲より小さいステップとしてもよい。
【0111】
本開示の実施例では、現在フレームの深度マップの第一画素点と各基準フレームの深度マップの対応する画素点とが深度整合性の条件を満たすかどうかを判断することで、第一画素点との深度整合性の条件を満たす前記対応の画素点の数を決定することができる。例えば、現在フレームの深度マップの第一画素点とＭ個の基準フレームの深度マップの対応する画素点とが深度整合性の条件を満たす場合、第一画素点との深度整合性の条件を満たす対応の画素点の数がＭとなる。
【0112】
設定値は実際の需要に応じて決定してもよく、例えば、設定値は基準フレームの深度マップの総数の５０％、６０％または７０％としてもよい。
【0113】
分かるように、本開示の実施例では、第一画素点との深度整合性の条件を満たす前記対応の画素点の数に応じて、第一画素点が深度の整合性チェックをパスしたかどうかを判定し、第一画素点との深度整合性の条件を満たす前記対応の画素点の数が多い場合、第一画素点が深度の整合性チェックをパスしたと認め、逆の場合、第一画素点が深度の整合性チェックをパスしなかったと判定し、このように、深度の整合性チェックのロバスト性および確実性を向上させることができる。
【0114】
現在フレームの深度マップの第一画素点と各基準フレームの深度マップの対応する画素点とが深度整合性の条件を満たすかどうかを判断する実施形態について、第一の例では、第一画素点を各基準フレームの深度マップに投影し、各基準フレームの深度マップにおける投影点の投影位置および投影深度を得て、そして各基準フレームの深度マップにおける投影位置の測定深度値を取得するようにしてもよく、深度センサによる誤差が存在し、かつデータ伝送がノイズによる妨害を受ける可能性があるため、各基準フレームに対応する投影深度と投影位置の測定深度値との間に、通常、小さな差が存在する。ここで、投影深度は異なる深度マップ間で画素点を投影することにより得られた深度値を表し、測定深度は投影位置の、測定機器によって測定した実際の深度値を表す。
【0115】
画素点が深度整合性の条件を満たすかどうかを判断する際に、一つの第一設定深度閾値を設定し、各基準フレームの深度マップにおける投影点の投影深度と投影位置の測定深度値との差を取得し、そして上記差が第一設定深度閾値以下である場合、第一画素点と、対応する基準フレームの深度マップの対応する画素点とが深度整合性の条件を満たすと判定し、上記差が第一設定深度閾値より大きい場合、前記第一画素点と、対応する基準フレームの深度マップの対応する画素点とが深度整合性の条件を満たさないと判定する。
【0116】
いくつかの他の実施例では、現在フレームの深度マップの画素点と各基準フレームの深度マップの対応する画素点とが深度整合性の条件を満たすかどうかを判断する実施形態は、基準フレームの深度マップの画素点を現在フレームの深度マップに投影し、現在フレームの深度マップの投影位置および投影深度を得るステップと、現在フレームの深度マップにおける投影位置の測定深度値を取得するステップと、現在フレームの深度マップにおける投影点の投影深度と投影位置の測定深度値との差を得るステップと、上記現在フレームの深度マップにおける投影点の投影深度と投影位置の測定深度値との差が第二設定深度閾値より小さい場合、現在フレームの深度マップの画素点と各基準フレームの深度マップの対応する画素点とが深度整合性の条件を満たすと判定し、そうでなければ、現在フレームの深度マップの画素点と各基準フレームの深度マップの対応する画素点とが深度整合性の条件を満たさないと判定するステップと、を行うようにしてもよい。
【0117】
いくつかの他の実施例では、現在フレームの深度マップの画素点と各基準フレームの深度マップの対応する画素点とが深度整合性の条件を満たすかどうかを判断する実施形態は、基準フレームの深度マップの画素点および現在フレームの深度マップの対応する画素点を共に三次元空間に投影し、その後、三次元空間において基準フレームの深度マップの画素点と現在フレームの深度マップの対応する画素点との深度差を比較し、前記深度差が第三設定深度閾値より小さい場合、現在フレームの深度マップの画素点と各基準フレームの深度マップの対応する画素点とが深度整合性の条件を満たすと判定し、そうでなければ、現在フレームの深度マップの画素点と各基準フレームの深度マップの対応する画素点とが深度整合性の条件を満たさないと判定するようにしてもよい。
【0118】
ここで、第一設定深度閾値、第二設定深度閾値および第三設定深度閾値は実用上の需要に応じて予め決定してもよく、第一設定深度閾値、第二設定深度閾値および第三設定深度閾値のいずれか二つは同じであってもなくてもよい。一具体例では、第一設定深度閾値、第二設定深度閾値または第三設定深度閾値の値の範囲は０．０２５ｍから０．３ｍとしてもよく、第一設定深度閾値、第二設定深度閾値または第三設定深度閾値はτと記してもよく、
【0119】
【化1】
【0120】
であり、ここで、
【0121】
【化2】
【0122】
は深度センサの有効範囲であり、例えば、
【0123】
【化3】
【0124】
である。
【0125】
カメラの撮影画角が異なるため、同一物体のある位置が現在フレームの深度マップにおいて遮蔽されたが、基準フレームの深度マップにおいて遮蔽されていないことがあり、この場合、前記位置の現在フレームの深度マップにおける画素点の深度とその基準フレームの深度マップにおける対応する位置での画素点の深度との差が大きくなり、前記位置の画素点の深度の確実性が低く、前記画素点を用いて点群融合を行うと、融合の精度が低下する。遮蔽による融合精度低下の問題を軽減するために、本開示では、まず各基準フレームの深度マップにおける投影点の投影深度と投影位置の測定深度値との差を判断し、続いて、前記差が小さい場合、第一画素点と、対応する基準フレームの深度マップの対応する画素点とが深度整合性の条件を満たすと判定し、そうでなれば、第一画素点と、対応する基準フレームの深度マップの対応する画素点とが深度整合性の条件を満たさないと判定するようにしてもよく、こうして、ある位置が現在フレームの深度マップにおいて遮蔽されることから画素点の深度の確実性が受ける影響を軽減でき、前記画素点を用いて点群融合を行えば、点群融合の精度を高いレベルに保つことができる。
【0126】
以下に現在フレームの深度マップＤにおける画素点ｐを例にし、現在フレームの深度マップの画素点の深度が有効であるかどうかを検出する実施形態を例示的に説明する。
【0127】
現在フレームの深度マップＤにおける画素点ｐを、その深度Ｄ（ｐ）により３Ｄ空間に逆投影して３Ｄ点Ｐを得る。逆投影の計算式は下式である。
【0128】
【化3-1】
【化3-2】
【0129】
続いて、カメラの内外部パラメータにより画素点ｐを基準フレームＤ’に投影し、投影位置ｐ’および投影深度ｄｐ’を得る。
【0130】
ｐ’＝π（Ｔ’＊Ｐ） （２）
式中、Ｔ’は基準フレームＤ’の剛体変換（基準フレームＤ’に対応するワールド座標系からカメラ座標系への剛体変換）を表し、投影深度ｄｐ’は投影してから計算によって得られた投影点の３次元目の座標を表す。
式中、Ｔ’は基準フレームＤ’の剛体変換（基準フレームＤ’に対応するワールド座標系からカメラ座標系への剛体変換）を表し、投影深度ｄｐ’は投影してから計算によって得られた投影点の３次元目の座標を表す。
【0131】
ここで、投影深度ｄｐ’と点ｐ’の深度値Ｄ’（ｐ’）との差が第一設定深度閾値を超えたかどうかに基づいて画素点ｐの深度値が深度整合性の条件を満たすかどうかを判断してもよい。Ｄ’（ｐ’）は基準フレームにおける投影位置自体の観測深度であり、通常、投影深度ｄｐ’と点ｐ’の深度値Ｄ’（ｐ’）との差が大きくなりすぎることがなく、投影深度ｄｐ’と点ｐ’の深度値Ｄ’（ｐ’）との差が大きくなる場合、face="ＭＳ 明朝">遮蔽または他の誤りが発生する恐れがあり、この場合、前記画素点の深度は確実でなくなる可能性がある。
【0132】
遮蔽による画素点深度の不一致という問題を軽減するためには、現在フレームの画素点ｐと６０％超の基準フレームの深度マップの対応する画素点とが深度整合性の条件を満たす場合、画素点ｐの深度が有効であると判定するように設定してもよく、具体的には下式で表すことができる。
【0133】
【化4】
【0134】
【化5】
【0135】
【化6】
【0136】
式中、
【0137】
【化7】
【0138】
は画素点ｐを第ｋの基準フレームに投影した時に得られた投影位置を表し、
【0139】
【化8】
【0140】
は画素点ｐを第ｋの基準フレームに投影した時に得られた投影深度を表し、
【0141】
【化9】
【0142】
は第ｋの基準フレームにおける投影位置
【0143】
【化10】
【0144】
の深度値を表し、
【0145】
【化11】
【0146】
は第ｋの基準フレームに対応するワールド座標系からカメラ座標系への剛体変換を表し、
【0147】
【化12】
【0148】
の逆変換を表す。Ｎは基準フレームの深度マップの総数を表し、
【0149】
【化13】
【0150】
は画素点ｐと第ｋの基準フレームの対応する画素点とが深度整合性の条件を満たすかどうかを判定するためのものであり、
【0151】
【化14】
【0152】
が１に等しい場合、画素点ｐと第ｋの基準フレームの対応する画素点とが深度整合性の条件を満たし、
【0153】
【化15】
【0154】
が０に等しい場合、画素点ｐと第ｋの基準フレームの対応する画素点とが深度整合性の条件を満たさない。
【0155】
【化16】
【0156】
は設定された基準フレーム数を表し、なお、説明すべきは、式（３）中の
【0157】
【化17】
【0158】
の値は本開示の実施例の
【0159】
【化18】
【0160】
の値の一例にすぎず、
は０．６Ｎに等しくなくてもよい点である。
【化18-1】
【0161】
【化19】
【0162】
は画素点ｐの深度が有効であるかどうかを判定するためのものであり、
【0163】
【化20】
【0164】
が１に等しい場合、画素点ｐの深度が有効であり、
【0165】
【化21】
【0166】
が０に等しい場合、画素点ｐの深度が無効である。
【0167】
現在フレームの深度マップにおける深度が有効な画素点を取得した後、シーン情報および／またはカメラ情報における少なくとも二つの影響因子に基づき、深度が有効な各前記画素点の深度信頼度を決定することができる。
【0168】
本開示の実施例では、シーン情報はシーン構造およびシーンテクスチャのうちの少なくとも一つの影響因子を含んでもよく、カメラ情報は少なくともカメラ設定を含んでもよい。シーン構造およびシーンテクスチャはそれぞれシーンの構造特徴およびテクスチャ特徴を表し、例えば、シーン構造はシーンの表面向きまたは他の構造情報を表してもよく、シーンテクスチャは光度一貫性または他のテクスチャ特徴であってもよい。光度一貫性は、同一点に基づく異なる角度の光度が通常一貫しているため、光度一貫性を採用すればシーンテクスチャを測定できるという原理に基づいて提案されたテクスチャ特徴である。カメラ設定はカメラとシーンの距離または他のカメラ設定項目であってもよい。
【0169】
いくつかの実施例では、シーン構造、カメラ設定およびシーンテクスチャのうちの少なくとも二つの影響因子に基づき、現在フレームの深度マップにおける画素点の深度信頼度を決定してもよい。
【0170】
従来技術では、深度信頼度を計算する際に、カメラ設定だけを考慮するか、シーンテクスチャだけを考慮しており、深度マップの深度信頼度の確実度が低く、一方、深度マップの精度はシーンおよびカメラの情報に関連し、特にシーン構造、カメラ設定、シーンテクスチャの三方面の因子との関連性が高いため、本開示の実施例では、シーン構造、カメラ設定およびシーンテクスチャのうちの少なくとも二つの因子を考慮することで、画素点の深度信頼度を得ており、画素点の深度信頼度の確実性を向上させることができる。
【0171】
シーン情報および／またはカメラ情報における少なくとも二つの影響因子に基づき、前記現在フレームの深度マップにおける画素点の深度信頼度を決定する実施形態について、一例では、シーン情報またはカメラ情報のいずれかから選ばれた少なくとも二つの影響因子、またはシーン情報およびカメラ情報の両方から同時に選ばれた少なくとも二つの影響因子に基づき、現在フレームの深度マップにおける画素点の深度信頼度を決定してもよい。
【0172】
ここで、現在フレームの深度マップにおける深度が有効であると判定する実施形態は前述した実施例において説明されており、ここでは説明を省略する。
【0173】
なお、深度信頼度は、シーン構造、カメラ設定、シーンテクスチャの三方面の因子に関連する深度マップの精度を測定するために用いることができることが理解され、これを基に、一実施形態では、現在フレームの深度マップにおける画素点について、シーン構造、カメラ設定およびシーンテクスチャのうちの少なくとも二つの影響因子に対応する重みをそれぞれ求めるステップと、前記少なくとも二つの影響因子に対応する重みを融合し、前記現在フレームの深度マップにおける画素点の深度信頼度を得るステップと、を行うようにしてもよい。
【0174】
分かるように、本開示の実施例では、シーン構造、シーンテクスチャおよびカメラ設定のうちの少なくとも二つの因子の重みを総合的に考慮することで、画素点の深度信頼度を決定することができ、したがって、深度信頼度の確実性を向上可能であり、さらに、点群融合処理の確実性を向上可能である。
【0175】
現在フレームの深度マップにおける画素点について、シーン構造、カメラ設定およびシーンテクスチャのうちの少なくとも二つの影響因子に対応する重みをそれぞれ求める実施形態について、例示的には、前記現在フレームの深度マップにおける画素点の、少なくとも位置および／または法線ベクトルを含む属性情報に基づき、シーン構造、カメラ設定およびシーンテクスチャのうちの少なくとも二つの影響因子に対応する重みをそれぞれ求めるようにしてもよい。
【0176】
任意選択的に、シーン構造、カメラ設定およびシーンテクスチャのうちの少なくとも二つの影響因子に対応する重みを求めるためには、カメラと画素点との位置関係、カメラのパラメータなどの他のパラメータを考慮に入れてもよい。
【0177】
分かるように、事前に画素点の属性情報を把握しやすいため、シーン構造、カメラ設定およびシーンテクスチャのうちの少なくとも二つの影響因子に対応する重みを容易に求めることができ、さらに、現在フレームの深度マップにおける画素点の深度信頼度を得ることに寄与する。
【0178】
少なくとも二つの影響因子に対応する重みを融合し、現在フレームの深度マップにおける画素点の深度信頼度を得る実施形態について、例示的には、少なくとも二つの影響因子に対応する重みを乗算し、組み合わせ重みを得て、前記組み合わせ重みに基づき、現在フレームの深度マップにおける画素点の深度信頼度を得るようにしてもよい。
【0179】
任意選択的に、組み合わせ重みを現在フレームの深度マップにおける画素点の深度信頼度としてもよいし、組み合わせ重みにより前フレームの対応する点の深度信頼度を調整し、現在フレームにおける画素点の深度信頼度を得るようにしてもよい。
【0180】
分かるように、少なくとも二つの影響因子に対応する重みを乗算することで、現在フレームの深度マップにおける画素点の深度信頼度を容易に取得でき、実現しやすい。
【0181】
本開示の一具体例では、深度信頼度はシーン構造と、カメラ設定と、光度一貫性との組み合わせ重み、即ち幾何構造に基づく重み項、カメラ設定に基づく重み項および光度一貫性に基づく重み項を含むものを表してもよい。
【0182】
以下、幾何構造に基づく重み項、カメラ設定に基づく重み項および光度一貫性に基づく重み項についてそれぞれ説明する。
【0183】
１）幾何構造に基づく重み項（幾何重み項）
深度正確度はシーンの表面向きに関連し、カメラの撮像面と平行な領域において深度正確度は傾斜面領域より高く、幾何重み項は以下のように定義される。
深度正確度はシーンの表面向きに関連し、カメラの撮像面と平行な領域において深度正確度は傾斜面領域より高く、幾何重み項は以下のように定義される。
【0184】
【化22】
【0185】
式中、
【0186】
【化23】
【0187】
は現在フレームの深度マップにおける画素点に対応する三次元空間の点Ｐの幾何重み項を表し、ｎｐは画素点ｐの単位法線ベクトルを表し、ｖｐは前記点ｐからカメラ光心までの単位ベクトルを表し、
【0188】
【化24】
【0189】
はｎｐとｖｐとの間の許容可能な最大角度（７５～９０度）を表し、ｎｐとｖｐとの間の角度が
【0190】
【化25】
【0191】
を超えた場合、幾何重み項は０となり、前記点が確実でないことがわかり、
【0192】
【化26】
【0193】
はｎｐとｖｐのドット積演算を表し、
【0194】
【化27】
【0195】
はｎｐとｖｐとの間の角度を表す。
【0196】
２）カメラ設定に基づく重み項（カメラ重み項）
深度正確度は表面とカメラの距離に関連し、一般的には、距離が遠いほど、深度値が不正確になり、本開示の実施例では、カメラ重み項は以下のように定義される。
深度正確度は表面とカメラの距離に関連し、一般的には、距離が遠いほど、深度値が不正確になり、本開示の実施例では、カメラ重み項は以下のように定義される。
【0197】
【化28】
【0198】
式中、
【0199】
【化29】
【0200】
は現在フレームの深度マップにおける画素点に対応する三次元空間の点Ｐのカメラ重み項を表し、
【0201】
【化30】
【0202】
は設定されたペナルティー係数であり、
【0203】
【化31】
【0204】
は画素点ｐを投影線方向に沿って一定距離移動させた画素ずらしであり、画素ずらしは投影点と元の画素点との距離を表し、投影点は三次元空間の点Ｐを少し変動させてから現在フレームに投影した画素点である。
【0205】
実際の応用では、点ｐが投影線方向に沿って移動する距離は、
【0206】
【化32】
【0207】
としてもよく、ここで、
【0208】
【化33】
【0209】
である。
【0210】
【化34】
【0211】
はカメラ重み項に対する
【0212】
【化35】
【0213】
の影響度を決定するためのものであり、その値の範囲は０～１（境界点を含む）とし、例えば０．５とする。
【0214】
３）光度一貫性に基づく重み項
ここで、正規化相互相関（Ｎｏｒｍａｌｉｚｅｄ Ｃｒｏｓｓ Ｃｏｒｒｅｌａｔｉｏｎ：ＮＣＣ）または他のパラメータにより光度一貫性の重み項を計算してもよく、ＮＣＣを用いて光度一貫性の重み項を計算すれば、照明変化による妨害に対して一定の耐性が生じる。以下、ＮＣＣを用いて光度一貫性の重み項を計算するプロセスを例示的に説明する。
ここで、正規化相互相関（Ｎｏｒｍａｌｉｚｅｄ Ｃｒｏｓｓ Ｃｏｒｒｅｌａｔｉｏｎ：ＮＣＣ）または他のパラメータにより光度一貫性の重み項を計算してもよく、ＮＣＣを用いて光度一貫性の重み項を計算すれば、照明変化による妨害に対して一定の耐性が生じる。以下、ＮＣＣを用いて光度一貫性の重み項を計算するプロセスを例示的に説明する。
【0215】
光度一貫性に基づく重み項の式は下式である。
【0216】
【化36】
【0217】
式中、
【0218】
【化37】
【0219】
は現在フレームの深度マップにおける画素点に対応する三次元空間の点Ｐの光度一貫性の重み項を表し、ｔｈｒは設定閾値を表し、一例では、ｔｈｒは０．６５に等しくなり、ＮＣＣを計算するウィンドウのサイズは５＊５である。複数の基準フレームが存在する場合には、各基準フレームと現在フレームとの計算によって得られたＮＣＣ値を重み付け平均しまたは中間値を取るなど処理し、最終の
【0220】
【化38】
【0221】
を得るようにしてもよい。
【0222】
いくつかの他の実施例では、ＮＣＣの値で光度一貫性を測定可能であり、かつＮＣＣが大きいほど一貫性が高くなるため、カットオフ処理を必要としなくてもよく、つまり、そのまま
【0223】
【化39】
【0224】
としてもよい。
【0225】
幾何構造に基づく重み項、カメラ設定に基づく重み項および光度一貫性に基づく重み項を算出した後、下式によって組み合わせ重み
【0226】
【化40】
【0227】
を得ることができる。
【0228】
【化41】
【0229】
本開示の実施例では、前記組み合わせ重みをそのまま画素点ｐの深度信頼度とし、計算によって得られた深度信頼度に基づき、深度信頼度マップを生成することができ、図４は図２および図３のもとに本開示の実施例の技術的解決手段に基づいて生成された深度信頼度マップである。当然ながら、他の実施例では、前記組み合わせ重みにより前フレームの対応する点の深度信頼度を調整し、現在フレームにおける画素点の深度信頼度を得るようにしてもよい。
【0230】
説明すべきものは、本開示の前記実施例では、シーン情報および／またはカメラ情報における少なくとも二つの影響因子に基づき、現在フレームの深度マップにおける全ての画素点の深度信頼度を決定してもよいし、点群融合処理の精度を高めるために、シーン情報および／またはカメラ情報における少なくとも二つの影響因子に基づき、現在フレームの深度マップにおける深度が有効な画素点の深度信頼度を決定してもよい点である。
【0231】
いくつかの実施例では、少なくとも対応する画素点の深度信頼度をそれぞれ含む表面要素で現在フレームの深度マップにおける各画素点または深度が有効な各画素点を表し、そして現在フレームの深度マップの表面要素集合を調整し、現在フレームの深度マップの点群融合処理を実現するようにしてもよい。
【0232】
任意選択的に、各表面要素は対応する画素点の位置、法線ベクトル、内点重みおよび外点重みをさらに含み、当然ながら、表面要素には対応する画素点の色などが含まれてもよく、そのうち、内点重みは対応する画素点が内点に属する確率を表すために用いられ、外点重みは対応する画素点が外点に属する確率を表すために用いられ、画素点の深度信頼度は内点重みと外点重みの差として定義される。例えば、初期時に、内点重みは
【0233】
【化42】
【0234】
とし、外点重みは０とする。本開示の実施例では、内点は近傍が現在フレームの深度マップの表面要素集合内にある画素点を表し、外点は近傍が現在フレームの深度マップの表面要素集合外にある画素点を表す。
【0235】
分かるように、表面要素は点の位置、法線、内／外点重み、深度信頼度などの情報を含むため、表面要素に基づく表示を用いれば、点の各種の属性情報を容易に追加でき、さらに、点の各種の属性情報を総合的に考慮した上で、点群融合処理をより正確に実現しやすい。
【0236】
表面要素はシーンの三次元構造を表現する重要な形態の一つであり、表面要素は三次元点Ｐの座標、画素点ｐの法線ベクトルｎｐ、内点重み
【0237】
【化44】
【0238】
を含み、ここで、三次元点Ｐの座標を用いれば、対応する画素点ｐの位置を表すことができ、このような表示方法によって点の位置を同一の基準座標系に統合して、確認および比較、ならびに後続の処理を容易にすることができる。画素点の座標を用いれば、各表面要素の座標系は全て異なるようになることがあり、処理時に頻繁に変換しなければならない。
【0239】
本開示の実施例では、点群融合は高品質の表面要素集合を維持することを目的としており、その融合プロセスは表面要素の融合プロセスでもある。
【0240】
本開示の実施例では、現在フレームの深度マップにおける各画素点または深度が有効な画素点の深度信頼度を決定した後、深度信頼度に基づく表面要素融合を実行することができる。つまり、現在フレームの深度マップにおける深度が有効な画素点に対応する表面要素の集合を含む現在フレームの表面要素集合に基づき、前フレームの更新後の既存表面要素集合の集合更新を行い、現在フレームの深度マップの点群融合処理結果を表す現在フレームの更新後の既存表面要素集合を得ることができる。特に、最初のフレームについて、その表面要素集合を得た後、深度信頼度に基づく表面要素融合を実行せず、２フレーム目から、深度信頼度に基づく表面要素融合を実行する。
【0241】
ここで、集合更新は表面要素追加、表面要素更新および表面要素削除の操作のうちの少なくとも一つを含んでもよい。本開示の実施例では、現在フレームの表面要素集合に基づいて既存表面要素集合を更新するプロセスは、現在フレームの表面要素集合と既存表面要素集合を融合するプロセスとみなしてもよい。
【0242】
分かるように、本開示の実施例では、表面要素に基づく表現を用いて、点群融合処理を実現することができ、一方、表面要素は点の属性情報を表すことができるため、点の属性情報に基づき、点群融合処理を高効率に実現することができる。
【0243】
ここで、本開示の実施例の解決手段に基づいて点群融合処理を行った後、融合後の点群データの模式図を得ることができ、図５は図３および図４のもとに本開示の実施例の技術的解決手段に基づいて生成された融合後の点群データの模式図である。
【0244】
以下、表面要素追加、表面要素更新および表面要素削除についてそれぞれ例示的に説明する。
【0245】
１）表面要素追加
初期化時、１フレーム目の深度マップを全て新たな表面要素として既存表面要素集合に追加するとともに、表面要素の内点重みおよび外点重みを更新し、例えば、初期化時、内点重みは
初期化時、１フレーム目の深度マップを全て新たな表面要素として既存表面要素集合に追加するとともに、表面要素の内点重みおよび外点重みを更新し、例えば、初期化時、内点重みは
【0246】
【化45】
【0247】
とし、外点重みは０とする。
【0248】
現在フレームの表面要素集合において前フレームの更新後の既存表面要素集合に覆われていない第一表面要素が存在する場合、第一表面要素を前フレームの更新後の既存表面要素集合に追加してもよく、第一表面要素は前フレームの更新後の既存表面要素集合に覆われていない表面要素であるため、前フレームの更新後の既存表面要素集合に追加されるべき表面要素となり、さらに、上記表面要素追加操作によって、実際の需要に応じた点群融合処理結果を得ることができる。
【0249】
実際に実施する際に、前フレームの更新後の既存表面要素集合の表面要素を現在フレームの表面要素集合へ投影してもよく、投影時、前フレームの更新後の既存表面要素集合の表面要素に覆われている現在フレームの第一表面要素がある場合、第一表面要素の更新または削除操作を実行してもよい。前フレームの更新後の既存表面要素集合の表面要素に覆われていない現在フレームの第一表面要素がある場合、第一表面要素の追加操作を実行してもよい、即ち覆われていない表面要素を既存表面要素集合に追加してもよい。
【0250】
２）表面要素更新
前フレームの更新後の既存表面要素集合内の表面要素を現在フレームに投影する時に投影点の投影深度は
前フレームの更新後の既存表面要素集合内の表面要素を現在フレームに投影する時に投影点の投影深度は
【0251】
【化46】
【0252】
と記し、現在フレームの表面要素集合内の表面要素の測定深度は
【0253】
【化47】
【0254】
と記し、そのうち、投影深度
【0255】
【化48】
【0256】
は上式（２）によって得ることができ、ここで、表面要素の更新は以下のいくつかの異なるケースから説明してもよい。
【0257】
（ａ）いくつかの実施例では、現在フレームの表面要素集合において前フレームの更新後の既存表面要素集合に覆われている第二表面要素が存在し、かつ第二表面要素の深度が前フレームの更新後の既存表面要素集合内の対応する表面要素の投影深度より大きく、同時に第二表面要素の深度と前フレームの更新後の既存表面要素集合内の対応する表面要素の投影深度との差が第一設定深度閾値以上である場合、現在フレームにおいて前フレームの更新後の既存表面要素集合と異なる表面が観測されていたことが実在するため、遮蔽が発生したと認められ、この場合、前フレームの更新後の既存表面要素集合に第二表面要素を追加することができ、例えば、第二表面要素は内点として前フレームの更新後の既存表面要素集合に追加してもよい。
【0258】
ここで、第一設定深度閾値の値の範囲は０．０２５ｍから０．３ｍとしてもよい。
【0259】
分かるように、上記第二表面要素と前フレームの更新後の既存表面要素集合との関係から、第二表面要素が前フレームの更新後の既存表面要素集合に追加されるべき表面要素であると確定でき、さらに、上記表面要素追加操作によって、実際の需要に応じた点群融合処理結果を得ることができる。
【0260】
一具体例では、測定深度
【0261】
【化49】
【0262】
が投影深度
【0263】
【化50】
【0264】
より遥かに大きい場合、例えば、測定深度
【0265】
【化51】
【0266】
を投影深度
【0267】
【化52】
【0268】
で除算した比が、例えば値の範囲が４から１０としてもよい第一設定比より大きい場合、遮蔽が発生したと認められ、このような場合にはビジュアルコンフリクトが存在せず、このとき、測定深度
【0269】
【化53】
【0270】
に対応する第二表面要素を内点として前フレームの更新後の既存表面要素集合に追加することができる。
【0271】
（ｂ）現在フレームの表面要素集合において前フレームの更新後の既存表面要素集合に覆われている第二表面要素が存在し、かつ第二表面要素の深度が前フレームの更新後の既存表面要素集合内の対応する表面要素の投影深度より小さく、同時に第二表面要素の深度と前フレームの更新後の既存表面要素集合内の対応する表面要素の投影深度との差が第二設定深度閾値以上である場合、前フレームの更新後の既存表面要素集合内の対応する表面要素の外点重み値を増加させる。
【0272】
ここで、第二設定深度閾値の値の範囲は０．０２５ｍから０．３ｍとしてもよい。
【0273】
分かるように、第二表面要素の深度が前フレームの更新後の既存表面要素集合内の対応する表面要素の投影深度より小さい場合、第二表面要素が外点に属する可能性が高いことがわかり、この場合、前フレームの更新後の既存表面要素集合内の対応する表面要素の外点重み値を増加させることで、実際の需要により適合するように表面要素の更新を行うことができる。
【0274】
具体的には、測定深度
【0275】
【化54】
【0276】
が既存表面要素深度
【0277】
【化55】
【0278】
より遥かに小さいことは、実在していないこと（ビジュアルコンフリクト）であり、例えば、測定深度
【0279】
【化56】
【0280】
を投影深度
【0281】
【化57】
【0282】
で除算した比が、例えば値の範囲が０．００１から０．０１としてもよい第二設定比より小さい場合、対応する画素点の深度信頼度に基づき、更新後の前記点の深度信頼度が低下するように、前記既存表面要素集合内の対応する表面要素の外点重み値を増加させることができる。例えば、下式によって前フレームの更新後の既存表面要素集合内の対応する表面要素の外点重み値を増加させてもよい。
【0283】
【化58】
【0284】
式中、
【0285】
【化59】
【0286】
は前フレームの更新後の既存表面要素集合内の対応する表面要素の更新前の外点重み値を表し、
【0287】
【化60】
【0288】
は前フレームの更新後の既存表面要素集合内の対応する表面要素の更新後の外点重み値を表す。
【0289】
（ｃ）現在フレームの表面要素集合において前フレームの更新後の既存表面要素集合に覆われている第二表面要素が存在し、かつ第二表面要素の深度と前フレームの更新後の既存表面要素集合内の対応する表面要素の投影深度との差が第三設定深度閾値より小さく、同時に前フレームの更新後の既存表面要素集合内の対応する表面要素の法線ベクトルと第二表面要素の法線ベクトルとの夾角が設定角度値以下である場合、前フレームの更新後の既存表面要素集合内の対応する表面要素の位置、法線ベクトルを更新し、前フレームの更新後の既存表面要素集合内の対応する表面要素の内点重み値を増加させる。
【0290】
分かるように、第二表面要素の深度と前フレームの更新後の既存表面要素集合内の対応する表面要素の投影深度との差が第三設定深度閾値より小さく、かつ前フレームの更新後の既存表面要素集合内の対応する表面要素の法線ベクトルと第二表面要素の法線ベクトルとの夾角が設定角度値以下である場合、現在フレームの表面要素集合内の第二表面要素の測定深度が有効な深度であることがわかり、この場合、対応する表面要素の位置、法線ベクトルおよび内点重みを更新すれば、実際の需要により適合するように表面要素の更新を行うことができる。
【0291】
ここで、第三設定深度閾値は現在フレームの表面要素集合内の対応する表面要素の深度と第三設定比の積であってもよく、第三設定比の値の範囲は０．００８から０．０１２としてもよく、設定角度値は鋭角の角度値であってもよく、例えば、設定角度値の範囲は３０°から６０°であってもよい。例えば、第三設定深度閾値の値の範囲は０．０２５ｍから０．３ｍとしてもよい。
【0292】
一具体例では、
【0293】
【化61】
【0294】
の場合、対応する画素点の測定深度が有効な深度となり、この場合、前フレームの更新後の既存表面要素集合内の対応する表面要素の深度、法線および内点重みを更新することができ、ここで、
【0295】
【化62】
【0296】
は前フレームの更新後の既存表面要素集合内の対応する表面要素の法線ベクトルを表し、
【0297】
【化63】
【0298】
は前フレームの更新後の既存表面要素集合内の対応する表面要素の投影深度を表し、
【0299】
【化64】
【0300】
は前フレームの更新後の既存表面要素集合と現在フレームの表面要素集合内の対応する表面要素の法線間の夾角を表し、４５°は設定角度値であり、０．０１は第三設定比であり、その現在フレームの第二表面要素の深度との積
【0301】
【化65】
【0302】
は前記第三設定深度閾値を表す。
【0303】
例えば、前フレームの更新後の既存表面要素集合内の対応する表面要素の位置、法線および内点重みを更新する式は下式であってもよい。
【0304】
【化66】
【0305】
【化67】
【0306】
式中、Ｘｐは表面要素の深度および法線を含み、
【0307】
【化68】
【0308】
は表面要素更新前の深度および法線を表し、
【0309】
【化69】
【0310】
は表面要素更新前の内点重みを表し、表面要素の深度も法線も上式（１１）によって更新可能である。また、表面要素の位置を更新する時、深度に加えて、表面要素の対応する画素点の位置、例えば画素点に対応する三次元点座標を更新してもよい。
【0311】
分かるように、ケース（ｃ）では、内点重みを重み付けしてもよく、内点重みを重み付けする時、過去基準フレームの重み情報が使用されるため、点群融合処理のロバスト性および正確度が向上する。
【0312】
（ｄ）現在フレームの表面要素集合において前フレームの更新後の既存表面要素集合に覆われている第二表面要素が存在し、かつ第二表面要素の深度と前フレームの更新後の既存表面要素集合内の対応する表面要素の投影深度との差が第三設定深度閾値より小さく、同時に前フレームの更新後の既存表面要素集合内の対応する表面要素の法線ベクトルと第二表面要素の法線ベクトルとの夾角が設定角度値より大きい場合、前フレームの更新後の既存表面要素集合内の対応する表面要素の外点重み値を増加させる。
【0313】
一具体例では、
【0314】
【化70】
【0315】
の場合、表面要素の深度は、深度整合性を満たすが法線整合性を満たさないようになり、この場合、式（１０）によって対応する表面要素の外点重みを更新することができる。
【0316】
なお、本開示の実施例では、表面要素融合時に法線整合性を考慮し、法線整合性を満たさない点について、それが外点となる重みを増加させており、微細構造部位での深度差が小さいが異なる画角の法線変化が大きいため、単に深度の差を融合すると平均されてしまうことになるが、本開示では外点重みが更新され、微細の深度差が保持され、したがって、本開示の実施例に係る点群融合の解決手段は微細構造をより効果的に処理できる、ということが理解される。
【0317】
（ｅ）いくつかの実施例では、測定深度
【0318】
【化71】
【0319】
と投影深度
【0320】
【化72】
【0321】
が上記（ａ）～（ｄ）の任意の条件を満たさない場合、前フレームの更新後の既存表面要素集合および現在フレームの表面要素集合内の対応する画素点は共に外点であると認められ、この場合、表面要素を更新しない。
【0322】
３）表面要素削除
現在フレームの表面要素集合において所定の削除条件を満たす表面要素が存在する場合、前記現在フレームの表面要素集合内の所定の削除条件を満たす表面要素を削除する。ここで、所定の削除条件を満たす前記表面要素は、深度信頼度が設定信頼度閾値より小さい表面要素、即ち内点重みと外点重みの差が設定信頼度閾値より小さい表面要素である。
現在フレームの表面要素集合において所定の削除条件を満たす表面要素が存在する場合、前記現在フレームの表面要素集合内の所定の削除条件を満たす表面要素を削除する。ここで、所定の削除条件を満たす前記表面要素は、深度信頼度が設定信頼度閾値より小さい表面要素、即ち内点重みと外点重みの差が設定信頼度閾値より小さい表面要素である。
【0323】
分かるように、深度信頼度が小さい表面要素を削除することで、保存された表面要素はいずれも高い深度信頼度を有するようになるため、点群融合の確実性および正確性の向上に寄与する。
【0324】
ここで、設定信頼度閾値は
【0325】
【化73】
【0326】
と記してもよく、設定信頼度閾値
【0327】
【化74】
【0328】
は実際の需要に応じて予め設定してもよく、例えば、
【0329】
【化75】
【0330】
の値の範囲は０．５から０．７とする。なお、設定信頼度閾値が大きいほど、削除される表面要素が多くなり、逆の場合、削除される表面要素が少なくなることが理解される。設定信頼度閾値が小さくなりすぎると、いくつかの低品質の表面要素が保存されてしまう。表面要素を削除した後に一部のホールが生成され、これらのホールは後続のより高い深度信頼度の表面要素で補填可能である。
【0331】
従来の方法において、三次元点に基づく融合は、法線の情報が考慮されず、重み項が一般的にウイナーテイクオール（Ｗｉｎｎｅｒ Ｔａｋｅ Ａｌｌ、ＷＴＡ）の方式で処理されるが、本開示の実施例では、表面要素に基づく表現を用いて、点群の融合を高効率に処理し、冗長を除去するとともに、複数の因子による融合を用いて深度信頼度を決定し、深度信頼度の確実性に優れ、保存された点群がより確実であり、さらに、本開示の実施例では、法線情報を追加して点群のビジュアルコンフリクト関係を判断するとともに、過去フレームの確実度を参照に入れ、ロバスト性も正確性も高い。
【0332】
分かるように、本開示の実施例の前記実施例では、まず現在フレームの深度マップにおける画素点の深度信頼度を決定し、続いて特定された深度信頼度に基づき、点群融合処理を実行することができる。
【0333】
説明すべきは、本開示の別のいくつかの実施例では、まず現在フレームの深度マップの画素点における深度が有効な画素点を決定し、続いて、深度が有効な画素点に基づき、点群融合処理を実行するようにしてもよい点である。
【0334】
具体例では、少なくとも一つの基準フレームの深度マップに基づき、現在フレームの深度マップの画素点の深度が有効であるかどうかを検出し、続いて、現在フレームの深度マップにおける深度が無効な画素点を破棄し、現在フレームの深度マップにおける深度が有効な画素点に基づき、点群融合処理を実行するようにしてもよい。
【0335】
ここで、現在フレームの深度マップの画素点の深度が有効であるかどうかを検出する実施形態は前述した内容において説明されており、ここでは説明を省略する。現在フレームの深度マップにおける深度が有効な画素点に基づき、点群融合処理を実行する実施形態について、画素点の深度信頼度を考慮しなくてもよく、かつ重なり合った領域の深度値をそのまま融合してもよい。
【0336】
本開示の実施例の解決手段を採用すれば、点群のリアルタイムな高精度融合を実現でき、入力される各フレームの深度マップに対して、いずれもステップ１０１からステップ１０２で得られた現在フレームの更新後の既存表面要素集合により、冗長な点群の除去および表面要素集合の拡張または更新操作を実現できる。本開示の実施例の技術的解決手段はオンラインのリアルタイムアンカー配置および高精度モデリングに用いて、拡張現実アプリケーションにおける三次元レンダリング、対話型ゲームおよびコンピュータビジョンにおける三次元物体認識を効果的に補助することができる。
【0337】
本開示の実施例の応用シーンは以下のシーンを含むが、それらに限定されない。
【0338】
１）ユーザが深度カメラ付きのモバイル機器を用いてあるシーンを撮影する場合、本開示の実施例に係る点群融合方法を使用してシーンの点群をリアルタイムに再構成し、冗長な点群を融合し、ユーザ側でのリアルタイムの三次元再構成効果を実現することができる。
【0339】
２）ユーザが深度カメラ付きのモバイル機器を用いる場合、本開示の実施例に係る点群融合方法を使用してシーンの点群をリアルタイムに再構成し、冗長な点群を融合し、アンカー配置の機能を実現することができる。
【0340】
３）本開示の実施例に係る点群融合方法により再構成された点群を使用して、物体またはシーンの表面構造を再構築し、続いて再構築されたモデルを実の環境に配置し、それによりモバイル側での拡張現実効果を得ることができる。
【0341】
４）本開示の実施例に係る点群融合方法によりリアルタイムに再構成された点群を使用して、物体の表面構造を再構築し、続いてテクスチャマッピングを行い、それにより物体の３Ｄアルバムの効果を得ることができる。
【0342】
前記実施例により提供される点群融合方法のもとに、本開示の実施例は点群融合装置を提供する。
【0343】
図６は本開示の実施例に係る点群融合装置の構成模式図であり、図６に示すように、電子機器内に位置する前記装置は、
シーン情報および／またはカメラ情報における少なくとも二つの影響因子に基づき、現在フレームの深度マップにおける画素点の深度信頼度を決定するように構成された決定モジュールであって、前記シーン情報およびカメラ情報はそれぞれ少なくとも一つの影響因子を含む決定モジュール６０１と、
前記深度信頼度に基づき、前記現在フレームの深度マップにおける画素点に対して点群融合処理を実行するように構成された融合モジュール６０２と、を含む。
シーン情報および／またはカメラ情報における少なくとも二つの影響因子に基づき、現在フレームの深度マップにおける画素点の深度信頼度を決定するように構成された決定モジュールであって、前記シーン情報およびカメラ情報はそれぞれ少なくとも一つの影響因子を含む決定モジュール６０１と、
前記深度信頼度に基づき、前記現在フレームの深度マップにおける画素点に対して点群融合処理を実行するように構成された融合モジュール６０２と、を含む。
【0344】
一実施形態では、前記決定モジュール６０１は、前記現在フレームの深度マップにおける深度が有効な画素点を取得するステップと、シーン情報および／またはカメラ情報における少なくとも二つの影響因子に基づき、深度が有効な各前記画素点の深度信頼度を決定するステップと、を実行するように構成され、
前記融合モジュールは、前記深度信頼度に基づき、前記現在フレームの深度マップにおける深度が有効な画素点に対して点群融合処理を実行するように構成される。
前記融合モジュールは、前記深度信頼度に基づき、前記現在フレームの深度マップにおける深度が有効な画素点に対して点群融合処理を実行するように構成される。
【0345】
一実施形態では、前記決定モジュール６０１は、少なくとも一つの基準フレームの深度マップに基づき、現在フレームの深度マップの画素点の深度が有効であるかどうかを検出するステップと、前記現在フレームの深度マップにおける深度が有効な画素点を保存するステップと、を実行するように構成される。
【0346】
一実施形態では、前記少なくとも一つの基準フレームの深度マップは、現在フレームの深度マップを取得する前に取得された少なくとも１フレームの深度マップを含む。
【0347】
一実施形態では、前記決定モジュール６０１は、前記少なくとも一つの基準フレームの深度マップにより、前記現在フレームの深度マップの画素点に対して深度の整合性チェックを行うステップと、前記深度の整合性チェックをパスした画素点の深度が有効であると判定し、前記深度の整合性チェックをパスしなかった画素点の深度が無効であると判定するステップと、を実行するように構成される。
【0348】
一実施形態では、前記決定モジュール６０１は、複数の基準フレームの深度マップを取得するステップと、前記現在フレームの深度マップの第一画素点と各前記基準フレームの深度マップの対応する画素点とが深度整合性の条件を満たすかどうかを判断するステップと、前記第一画素点との前記深度整合性の条件を満たす前記対応の画素点の数が設定値以上である場合、前記第一画素点が前記深度の整合性チェックをパスしたと判定し、前記第一画素点との前記深度整合性の条件を満たす前記対応の画素点の数が設定値より小さい場合、前記第一画素点が前記深度の整合性チェックをパスしなかったと判定するステップと、を実行するように構成され、前記第一画素点は前記現在フレームの深度マップの任意の画素点である。
【0349】
一実施形態では、前記決定モジュール６０１は、前記第一画素点を各前記基準フレームの深度マップに投影し、各前記基準フレームの深度マップにおける投影点の投影位置および投影深度を得るステップと、各前記基準フレームの深度マップにおける前記投影位置の測定深度値を取得するステップと、各基準フレームの深度マップにおける前記投影点の投影深度と前記投影位置の測定深度値との差を取得するステップと、前記差が第一設定深度閾値以下である場合、前記第一画素点と、対応する基準フレームの深度マップの対応する画素点と、が深度整合性の条件を満たすと判定し、前記差が第一設定深度閾値より大きい場合、前記第一画素点と、対応する基準フレームの深度マップの対応する画素点とが深度整合性の条件を満たさないと判定するステップと、を実行するように構成される。
【0350】
一実施形態では、前記シーン情報にはシーン構造およびシーンテクスチャのうちの少なくとも一つの影響因子が含まれ、前記カメラ情報には少なくともカメラ設定が含まれる。
【0351】
一実施形態では、前記決定モジュール６０１は、現在フレームの深度マップにおける画素点について、シーン構造、カメラ設定およびシーンテクスチャのうちの少なくとも二つの影響因子に対応する重みをそれぞれ求めるステップと、前記少なくとも二つの影響因子に対応する重みを融合し、前記現在フレームの深度マップにおける画素点の深度信頼度を得るステップと、を実行するように構成される。
【0352】
一実施形態では、前記決定モジュール６０１は、前記現在フレームの深度マップにおける画素点の、少なくとも位置および／または法線ベクトルを含む属性情報に基づき、シーン構造、カメラ設定およびシーンテクスチャのうちの少なくとも二つの影響因子に対応する重みをそれぞれ求めるように構成される。
【0353】
一実施形態では、前記決定モジュール６０１は、前記少なくとも二つの影響因子に対応する重みを乗算し、組み合わせ重みを得て、前記組み合わせ重みに基づき、前記現在フレームの深度マップにおける画素点の深度信頼度を得るように構成される。
【0354】
一実施形態では、前記融合モジュール６０２は、少なくとも対応する画素点の深度信頼度をそれぞれ含む表面要素で前記現在フレームの深度マップにおける各画素点を表すように構成され、
前記融合モジュール６０２は、現在フレームの深度マップにおける深度が有効な画素点に対応する表面要素の集合を含む現在フレームの表面要素集合に基づき、前フレームの更新後の既存表面要素集合の集合更新を行い、現在フレームの深度マップの点群融合処理結果を表す現在フレームの更新後の既存表面要素集合を得るように構成され、
前記集合更新は表面要素追加、表面要素更新および表面要素削除の操作のうちの少なくとも一つを含む。
前記融合モジュール６０２は、現在フレームの深度マップにおける深度が有効な画素点に対応する表面要素の集合を含む現在フレームの表面要素集合に基づき、前フレームの更新後の既存表面要素集合の集合更新を行い、現在フレームの深度マップの点群融合処理結果を表す現在フレームの更新後の既存表面要素集合を得るように構成され、
前記集合更新は表面要素追加、表面要素更新および表面要素削除の操作のうちの少なくとも一つを含む。
【0355】
一実施形態では、前記各表面要素は対応する画素点の位置、法線ベクトル、内点重みおよび外点重みをさらに含み、前記内点重みは対応する画素点が内点に属する確率を表すために用いられ、前記外点重みは対応する画素点が外点に属する確率を表すために用いられ、前記内点重みと前記外点重みの差は対応する画素点の深度信頼度を表すために用いられる。
【0356】
一実施形態では、前記融合モジュール６０２は、前記現在フレームの表面要素集合において前記前フレームの更新後の既存表面要素集合に覆われていない第一表面要素が存在する場合、前記第一表面要素を前記前フレームの更新後の既存表面要素集合に追加するように構成される。
【0357】
一実施形態では、前記融合モジュール６０２は、前記前フレームの更新後の既存表面要素集合で覆われた第二表面要素が前記現在フレームの表面要素集合に存在し、かつ前記第二表面要素の深度が前記前フレームの更新後の既存表面要素集合内の対応する表面要素の投影深度より大きく、同時に前記第二表面要素の深度と前記前フレームの更新後の既存表面要素集合内の対応する表面要素の投影深度との差が第一設定深度閾値以上である場合、前記前フレームの更新後の既存表面要素集合に前記第二表面要素を追加するように構成される。
【0358】
一実施形態では、前記融合モジュール６０２は、前記前フレームの更新後の既存表面要素集合で覆われた第二表面要素が前記現在フレームの表面要素集合に存在し、かつ前記第二表面要素の深度が前記前フレームの更新後の既存表面要素集合内の対応する表面要素の投影深度より小さく、同時に前記第二表面要素の深度と前記前フレームの更新後の既存表面要素集合内の対応する表面要素の投影深度との差が第二設定深度閾値以上である場合、前記前フレームの更新後の既存表面要素集合内の対応する表面要素の外点重み値を増加させるように構成される。
【0359】
一実施形態では、前記融合モジュール６０２は、前記前フレームの更新後の既存表面要素集合で覆われた第二表面要素が前記現在フレームの表面要素集合に存在し、かつ前記第二表面要素の深度と前記前フレームの更新後の既存表面要素集合内の対応する表面要素の投影深度との差が第三設定深度閾値より小さく、同時に前記前フレームの更新後の既存表面要素集合内の対応する表面要素の法線ベクトルと前記第二表面要素の法線ベクトルとの夾角が設定角度値以下である場合、前記前フレームの更新後の既存表面要素集合内の対応する表面要素の位置、法線ベクトルを更新し、前記前フレームの更新後の既存表面要素集合内の対応する表面要素の内点重み値を増加させるように構成される。
【0360】
一実施形態では、前記融合モジュール６０２は、前記前フレームの更新後の既存表面要素集合で覆われた第二表面要素が前記現在フレームの表面要素集合に存在し、かつ前記第二表面要素の深度と前記前フレームの更新後の既存表面要素集合内の対応する表面要素の投影深度との差が第三設定深度閾値より小さく、同時に前記前フレームの更新後の既存表面要素集合内の対応する表面要素の法線ベクトルと前記第二表面要素の法線ベクトルとの夾角が設定角度値より大きい場合、前記前フレームの更新後の既存表面要素集合内の対応する表面要素の外点重み値を増加させるように構成される。
【0361】
一実施形態では、前記融合モジュール６０２は、前記現在フレームの表面要素集合において所定の削除条件を満たす表面要素が存在する場合、前記現在フレームの表面要素集合内の所定の削除条件を満たす表面要素を削除するように構成され、前記所定の削除条件を満たす表面要素は、対応する画素点の深度信頼度が設定信頼度閾値より小さい表面要素である。
【0362】
また、本実施例における各機能モジュールは一つの処理ユニットに統合されてもよく、それぞれ独立して物理的に存在してもよく、また二つ以上で一つのユニットに統合されてもよい。上記統合されたユニットはハードウェアの形で実現してもよく、ソフトウェア機能ユニットの形で実現してもよい。
【0363】
前記統合されたユニットはソフトウェア機能モジュールの形で実現されかつ独立した製品として販売または使用される場合、コンピュータ可読記憶媒体に記憶されてもよい。このような見解をもとに、本実施例の技術的解決手段は実質的に、または従来技術に寄与する部分、または前記技術的解決手段の全てまたは一部がソフトウェア製品の形で実施することができ、前記コンピュータソフトウェア製品はメモリに記憶され、コンピュータ機器（パーソナルコンピュータ、サーバ、またはネットワーク機器などであってもよい）またはｐｒｏｃｅｓｓｏｒ（プロセッサ）に本実施例に記載の方法の全てまたは一部のステップを実行させる複数の命令を含む。前記メモリは、ＵＳＢメモリ、ポータブルハードディスク、読み取り専用メモリ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ，ＲＯＭ）、ランダムアクセスメモリ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ，ＲＡＭ）、磁気ディスクまたは光ディスクなどのプログラムコードを記憶可能である様々な媒体を含む。
【0364】
具体的には、本実施例における点群融合方法に対応するコンピュータプログラム命令は光ディスク、ハードディスク、ＵＳＢメモリなどの記憶媒体に記憶されてもよく、記憶媒体内の点群融合方法に対応するコンピュータプログラム命令は電子機器により読み取られる時または実行される時、前記実施例のいずれかの点群融合方法を実現する。
【0365】
前記実施例と同様の技術的思想に基づき、本開示の実施例は、プロセッサにより実行される時に上記いずれかの点群融合方法を実現するコンピュータプログラムをさらに提供する。
【0366】
前記実施例と同様の技術的思想に基づき、図７は本開示の実施例が提供する電子機器７０を示し、それは、互いに接続される、コンピュータプログラムおよびデータを記憶するように構成されたメモリ７１と、前記実施例のいずれかの点群融合方法を実現するために、前記メモリに記憶されているコンピュータプログラムを実行するように構成されたプロセッサ７２と、を含んでもよい。
【0367】
実用では、上記メモリ７１は、例えばＲＡＭのような揮発性メモリ（ｖｏｌａｔｉｌｅ ｍｅｍｏｒｙ）、または、例えばＲＯＭ、フラッシュメモリ（ｆｌａｓｈ ｍｅｍｏｒｙ）、ハードディスクドライブ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ：ＨＤＤ）もしくはソリッドステートドライブ（Ｓｏｌｉｄ－Ｓｔａｔｅ Ｄｒｉｖｅ：ＳＳＤ）のような不揮発性メモリ（ｎｏｎ－ｖｏｌａｔｉｌｅ ｍｅｍｏｒｙ）、または上記タイプのメモリの組み合わせであってもよく、かつプロセッサ７２に命令およびデータを提供する。
【0368】
上記プロセッサ７２はＡＳＩＣ、ＤＳＰ、ＤＳＰＤ、ＰＬＤ、ＦＰＧＡ、ＣＰＵ、コントローラ、マイクロコントローラ、マイクロプロセッサの少なくとも一つであってもよい。なお、異なる機器について、上記プロセッサ機能を実現するための電子デバイスは他のものであってもよく、本開示の実施例はこれを具体的に限定しないことが理解される。
【0369】
以上の実施形態に対する説明によって、当業者であれば上記実施例の方法はソフトウェアと必要な共通ハードウェアプラットフォームとの組み合わせという形態で実現できることを明らかに理解可能であり、当然ながら、ハードウェアによって実現してもよいが、多くの場合において前者はより好ましい実施形態である。このような見解をもとに、本開示の技術的解決手段は実質的にまたは従来技術に寄与する部分はソフトウェアの形で実施することができ、前記コンピュータソフトウェア製品は記憶媒体（例えばＲＯＭ／ＲＡＭ、磁気ディスク、光ディスク）に記憶され、端末機器（携帯電話、コンピュータ、サーバ、エアコン、またはネットワーク機器などであってもよい）に本開示の各実施例に記載の方法を実行させる複数の命令を含む。
【0370】
以上に図面と関連付けて本開示の実施例を説明したが、論理に違反しない限り、本願のそれぞれの実施例は相互に組み合わせることができ、異なる実施例において重点として説明されるものが異なって、重点として説明されていない部分については他の実施例の記載を参照すればよい。本開示は上述した具体的な実施形態に限定されるものではなく、上述した具体的な実施形態は例示的なものにすぎず、限定的なものではなく、当業者であれば、本開示の教示下で、本開示の趣旨および請求項の保護範囲から逸脱することなく、様々な形態を作ることができ、それらは全て本開示の保護範囲に属するものとする。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【手続補正書】
【提出日】2021-04-28
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
シーン情報および／またはカメラ情報における少なくとも二つの影響因子に基づき、現在フレームの深度マップにおける画素点の深度信頼度を決定するステップであって、前記シーン情報およびカメラ情報はそれぞれ少なくとも一つの影響因子を含むステップと、前記深度信頼度に基づき、前記現在フレームの深度マップにおける画素点に対して点群融合処理を実行するステップと、を含む、点群融合方法。
【請求項2】
前記シーン情報および／またはカメラ情報における少なくとも二つの影響因子に基づき、前記現在フレームの深度マップにおける画素点の深度信頼度を決定する前記ステップは、前記現在フレームの深度マップにおける深度が有効な画素点を取得するステップと、
シーン情報および／またはカメラ情報における少なくとも二つの影響因子に基づき、深度が有効な各前記画素点の深度信頼度を決定するステップと、を含み、
前記深度信頼度に基づき、前記現在フレームの深度マップにおける画素点に対して点群融合処理を実行する前記ステップは、
前記深度信頼度に基づき、前記現在フレームの深度マップにおける深度が有効な画素点に対して点群融合処理を実行することを含む、請求項１に記載の方法。
【請求項3】
前記現在フレームの深度マップにおける深度が有効な画素点を取得する前記ステップは、少なくとも一つの基準フレームの深度マップに基づき、現在フレームの深度マップの画素点の深度が有効であるかどうかを検出するステップと、
前記現在フレームの深度マップにおける深度が有効な画素点を保存するステップと、を含む、請求項２に記載の方法。
【請求項4】
前記少なくとも一つの基準フレームの深度マップは、現在フレームの深度マップを取得する前に取得された少なくとも１フレームの深度マップを含み
前記少なくとも一つの基準フレームの深度マップに基づき、現在フレームの深度マップの画素点の深度が有効であるかどうかを検出する前記ステップは、
前記少なくとも一つの基準フレームの深度マップにより、前記現在フレームの深度マップの画素点に対して深度の整合性チェックを行うステップと、
前記深度の整合性チェックをパスした画素点の深度が有効であると判定し、前記深度の整合性チェックをパスしなかった画素点の深度が無効であると判定するステップと、を含む、請求項３に記載の方法。
【請求項5】
前記少なくとも一つの基準フレームの深度マップにより、前記現在フレームの深度マップの画素点に対して深度の整合性チェックを行う前記ステップは、複数の基準フレームの深度マップを取得するステップと、
前記現在フレームの深度マップの任意の画素点である前記現在フレームの深度マップの第一画素点と、各前記基準フレームの深度マップの対応する画素点とが深度整合性の条件を満たすかどうかを判断するステップと、
前記第一画素点との前記深度整合性の条件を満たす前記対応の画素点の数が設定値以上である場合、前記第一画素点が前記深度の整合性チェックをパスしたと判定し、前記第一画素点との前記深度整合性の条件を満たす前記対応の画素点の数が設定値より小さい場合、前記第一画素点が前記深度の整合性チェックをパスしなかったと判定するステップと、を含む、請求項４に記載の方法。
【請求項6】
前記現在フレームの深度マップの第一画素点と各前記基準フレームの深度マップの対応する画素点とが深度整合性の条件を満たすかどうかを判断する前記ステップは、前記第一画素点を各前記基準フレームの深度マップに投影し、各前記基準フレームの深度マップにおける投影点の投影位置および投影深度を得るステップと、
各前記基準フレームの深度マップにおける前記投影位置の測定深度値を取得するステップと、
各基準フレームの深度マップにおける前記投影点の投影深度と前記投影位置の測定深度値との差を取得するステップと、
前記差が第一設定深度閾値以下である場合、前記第一画素点と、対応する基準フレームの深度マップの対応する画素点とが深度整合性の条件を満たすと判定し、前記差が第一設定深度閾値より大きい場合、前記第一画素点と、対応する基準フレームの深度マップの対応する画素点とが深度整合性の条件を満たさないと判定するステップと、を含む、請求項５に記載の方法。
【請求項7】
前記シーン情報にはシーン構造およびシーンテクスチャのうちの少なくとも一つの影響因子が含まれ、前記カメラ情報には少なくともカメラ設定が含まれ、
前記シーン情報および／またはカメラ情報における少なくとも二つの影響因子に基づき、前記現在フレームの深度マップにおける画素点の深度信頼度を決定する前記ステップは、
現在フレームの深度マップにおける画素点について、シーン構造、カメラ設定およびシーンテクスチャのうちの少なくとも二つの影響因子に対応する重みをそれぞれ求めるステップと、
前記少なくとも二つの影響因子に対応する重みを融合し、前記現在フレームの深度マップにおける画素点の深度信頼度を得るステップと、を含む請求項１から６のいずれか一項に記載の方法。
【請求項8】
前記現在フレームの深度マップにおける画素点について、シーン構造、カメラ設定およびシーンテクスチャのうちの少なくとも二つの影響因子に対応する重みをそれぞれ求める前記ステップは、前記現在フレームの深度マップにおける画素点の、少なくとも位置および／または法線ベクトルを含む属性情報に基づき、シーン構造、カメラ設定およびシーンテクスチャのうちの少なくとも二つの影響因子に対応する重みをそれぞれ求めることを含む、請求項７に記載の方法。
【請求項9】
前記少なくとも二つの影響因子に対応する重みを融合し、前記現在フレームの深度マップにおける画素点の深度信頼度を得る前記ステップは、前記少なくとも二つの影響因子に対応する重みを乗算し、組み合わせ重みを得て、前記組み合わせ重みに基づき、前記現在フレームの深度マップにおける画素点の深度信頼度を得ることを含む、請求項７に記載の方法。
【請求項10】
前記深度信頼度に基づき、前記現在フレームの深度マップにおける画素点に対して点群融合処理を実行する前記ステップは、表面要素で前記現在フレームの深度マップにおける各画素点を表すステップであって、各表面要素は、少なくとも対応する画素点の深度信頼度を含むステップと、
現在フレームの深度マップにおける深度が有効な画素点に対応する表面要素の集合を含む現在フレームの表面要素集合に基づき、前フレームの更新後の既存表面要素集合の集合更新を行い、現在フレームの深度マップの点群融合処理結果を表す現在フレームの更新後の既存表面要素集合を得るステップと、を含み、
前記集合更新は表面要素追加、表面要素更新および表面要素削除の操作のうちの少なくとも一つを含む、請求項１から６のいずれか一項に記載の方法。
【請求項11】
前記各表面要素は対応する画素点の位置、法線ベクトル、内点重みおよび外点重みをさらに含み、前記内点重みは対応する画素点が内点に属する確率を表すために用いられ、前記外点重みは対応する画素点が外点に属する確率を表すために用いられ、前記内点重みと前記外点重みの差は対応する画素点の深度信頼度を表すために用いられる、請求項１０に記載の方法。
【請求項12】
前記現在フレームの表面要素集合に基づき、前記前フレームの更新後の既存表面要素集合の集合更新を行う前記ステップは、前記現在フレームの表面要素集合において前記前フレームの更新後の既存表面要素集合に覆われていない第一表面要素が存在する場合、前記第一表面要素を前記前フレームの更新後の既存表面要素集合に追加するステップ、
前記前フレームの更新後の既存表面要素集合で覆われた第二表面要素が前記現在フレームの表面要素集合に存在し、かつ前記第二表面要素の深度が前記前フレームの更新後の既存表面要素集合内の対応する表面要素の投影深度より大きく、同時に前記第二表面要素の深度と前記前フレームの更新後の既存表面要素集合内の対応する表面要素の投影深度との差が第一設定深度閾値以上である場合、前記前フレームの更新後の既存表面要素集合に前記第二表面要素を追加するステップ、及び
前記現在フレームの表面要素集合において所定の削除条件を満たす表面要素が存在する場合、前記現在フレームの表面要素集合内の所定の削除条件を満たす表面要素を削除するステップであって、前記所定の削除条件を満たす表面要素は、対応する画素点の深度信頼度が設定信頼度閾値より小さい表面要素である、ステップのうちの少なくとも１つを含む、請求項１０に記載の方法。
【請求項13】
前記現在フレームの表面要素集合に基づき、前記前フレームの更新後の既存表面要素集合の集合更新を行う前記ステップは、前記前フレームの更新後の既存表面要素集合で覆われた第二表面要素が前記現在フレームの表面要素集合に存在し、かつ前記第二表面要素の深度が前記前フレームの更新後の既存表面要素集合内の対応する表面要素の投影深度より小さく、同時に前記第二表面要素の深度と前記前フレームの更新後の既存表面要素集合内の対応する表面要素の投影深度との差が第二設定深度閾値以上である場合、前記前フレームの更新後の既存表面要素集合内の対応する表面要素の外点重み値を増加させるステップ、
前記前フレームの更新後の既存表面要素集合で覆われた第二表面要素が前記現在フレームの表面要素集合に存在し、かつ前記第二表面要素の深度と前記前フレームの更新後の既存表面要素集合内の対応する表面要素の投影深度との差が第三設定深度閾値より小さく、同時に前記前フレームの更新後の既存表面要素集合内の対応する表面要素の法線ベクトルと前記第二表面要素の法線ベクトルとの夾角が設定角度値以下である場合、前記前フレームの更新後の既存表面要素集合内の対応する表面要素の位置、法線ベクトルを更新し、前記前フレームの更新後の既存表面要素集合内の対応する表面要素の内点重み値を増加させるステップ、及び
前記前フレームの更新後の既存表面要素集合で覆われた第二表面要素が前記現在フレームの表面要素集合に存在し、かつ前記第二表面要素の深度と前記前フレームの更新後の既存表面要素集合内の対応する表面要素の投影深度との差が第三設定深度閾値より小さく、同時に前記前フレームの更新後の既存表面要素集合内の対応する表面要素の法線ベクトルと前記第二表面要素の法線ベクトルとの夾角が設定角度値より大きい場合、前記前フレームの更新後の既存表面要素集合内の対応する表面要素の外点重み値を増加させるステップのうちの少なくとも１つを含む、請求項１１に記載の方法。
【請求項14】
シーン情報および／またはカメラ情報における少なくとも二つの影響因子に基づき、現在フレームの深度マップにおける画素点の深度信頼度を決定するように構成された決定モジュールであって、前記シーン情報およびカメラ情報はそれぞれ少なくとも一つの影響因子を含む決定モジュールと、前記深度信頼度に基づき、前記現在フレームの深度マップにおける画素点に対して点群融合処理を実行するように構成された融合モジュールと、を含む、点群融合装置。
【請求項15】
プロセッサおよびプロセッサにおいて実行可能なコンピュータプログラムを記憶するように構成されたメモリを含み、前記プロセッサは、前記コンピュータプログラムを実行する場合に、請求項１から１３のいずれか一項に記載の方法を実行するように構成される、電子機器。
【請求項16】
コンピュータプログラムが記憶されているコンピュータ記憶媒体であって、前記コンピュータプログラムはプロセッサにより実行される時に請求項１から１３のいずれか一項に記載の方法を実現する、コンピュータ記憶媒体。
【請求項17】
コンピュータに、請求項１から１３のいずれか一項に記載の方法を実行させる、コンピュータプログラム。【手続補正3】
【補正対象書類名】明細書
【補正対象項目名】０００２
【補正方法】変更
【補正の内容】
【0002】
本開示はコンピュータビジョン技術に関し、特に点群融合方法及び装置、電子機器、コンピュータ記憶媒体並びにプログラムに関し、三次元モデリング、三次元シーンおよび拡張現実などのシーンに用いることができる。
【手続補正4】
【補正対象書類名】明細書
【補正対象項目名】００８１
【補正方法】変更
【補正の内容】
【0081】
本開示の実施例が提供する点群融合方法及び装置、電子機器、コンピュータ記憶媒体並びにプログラムに基づき、それぞれ少なくとも一つの影響因子を含むシーン情報および／またはカメラ情報における少なくとも二つの影響因子に基づき、前記現在フレームの深度マップにおける画素点の深度信頼度を決定し、そして前記深度信頼度に基づき、前記現在フレームの深度マップにおける画素点に対して点群融合処理を実行する。このように、本開示の実施例では、複数の因子を総合的に考慮して画素点の深度信頼度を決定することができ、したがって、深度信頼度の確実性を向上可能であり、さらに、点群融合処理の確実性を向上可能である。
例えば、本願は以下の項目を提供する。
（項目１）
シーン情報および／またはカメラ情報における少なくとも二つの影響因子に基づき、現在フレームの深度マップにおける画素点の深度信頼度を決定するステップであって、前記シーン情報およびカメラ情報はそれぞれ少なくとも一つの影響因子を含むステップと、
前記深度信頼度に基づき、前記現在フレームの深度マップにおける画素点に対して点群融合処理を実行するステップと、を含む、点群融合方法。
（項目２）
前記シーン情報および／またはカメラ情報における少なくとも二つの影響因子に基づき、前記現在フレームの深度マップにおける画素点の深度信頼度を決定する前記ステップは、
前記現在フレームの深度マップにおける深度が有効な画素点を取得するステップと、
シーン情報および／またはカメラ情報における少なくとも二つの影響因子に基づき、深度が有効な各前記画素点の深度信頼度を決定するステップと、を含み、
前記深度信頼度に基づき、前記現在フレームの深度マップにおける画素点に対して点群融合処理を実行する前記ステップは、
前記深度信頼度に基づき、前記現在フレームの深度マップにおける深度が有効な画素点に対して点群融合処理を実行することを含む、項目１に記載の方法。
（項目３）
前記現在フレームの深度マップにおける深度が有効な画素点を取得する前記ステップは、
少なくとも一つの基準フレームの深度マップに基づき、現在フレームの深度マップの画素点の深度が有効であるかどうかを検出するステップと、
前記現在フレームの深度マップにおける深度が有効な画素点を保存するステップと、を含む、項目２に記載の方法。
（項目４）
前記少なくとも一つの基準フレームの深度マップは、現在フレームの深度マップを取得する前に取得された少なくとも１フレームの深度マップを含む、項目３に記載の方法。
（項目５）
前記少なくとも一つの基準フレームの深度マップに基づき、現在フレームの深度マップの画素点の深度が有効であるかどうかを検出する前記ステップは、
前記少なくとも一つの基準フレームの深度マップにより、前記現在フレームの深度マップの画素点に対して深度の整合性チェックを行うステップと、
前記深度の整合性チェックをパスした画素点の深度が有効であると判定し、前記深度の整合性チェックをパスしなかった画素点の深度が無効であると判定するステップと、を含む、項目３に記載の方法。
（項目６）
前記少なくとも一つの基準フレームの深度マップにより、前記現在フレームの深度マップの画素点に対して深度の整合性チェックを行う前記ステップは、
複数の基準フレームの深度マップを取得するステップと、
前記現在フレームの深度マップの任意の画素点である前記現在フレームの深度マップの第一画素点と、各前記基準フレームの深度マップの対応する画素点とが深度整合性の条件を満たすかどうかを判断するステップと、
前記第一画素点との前記深度整合性の条件を満たす前記対応の画素点の数が設定値以上である場合、前記第一画素点が前記深度の整合性チェックをパスしたと判定し、前記第一画素点との前記深度整合性の条件を満たす前記対応の画素点の数が設定値より小さい場合、前記第一画素点が前記深度の整合性チェックをパスしなかったと判定するステップと、を含む、項目５に記載の方法。
（項目７）
前記現在フレームの深度マップの第一画素点と各前記基準フレームの深度マップの対応する画素点とが深度整合性の条件を満たすかどうかを判断する前記ステップは、
前記第一画素点を各前記基準フレームの深度マップに投影し、各前記基準フレームの深度マップにおける投影点の投影位置および投影深度を得るステップと、
各前記基準フレームの深度マップにおける前記投影位置の測定深度値を取得するステップと、
各基準フレームの深度マップにおける前記投影点の投影深度と前記投影位置の測定深度値との差を取得するステップと、
前記差が第一設定深度閾値以下である場合、前記第一画素点と、対応する基準フレームの深度マップの対応する画素点とが深度整合性の条件を満たすと判定し、前記差が第一設定深度閾値より大きい場合、前記第一画素点と、対応する基準フレームの深度マップの対応する画素点とが深度整合性の条件を満たさないと判定するステップと、を含む、項目６に記載の方法。
（項目８）
前記シーン情報にはシーン構造およびシーンテクスチャのうちの少なくとも一つの影響因子が含まれ、前記カメラ情報には少なくともカメラ設定が含まれる、項目１から７のいずれか一項に記載の方法。
（項目９）
前記シーン情報および／またはカメラ情報における少なくとも二つの影響因子に基づき、前記現在フレームの深度マップにおける画素点の深度信頼度を決定する前記ステップは、
現在フレームの深度マップにおける画素点について、シーン構造、カメラ設定およびシーンテクスチャのうちの少なくとも二つの影響因子に対応する重みをそれぞれ求めるステップと、
前記少なくとも二つの影響因子に対応する重みを融合し、前記現在フレームの深度マップにおける画素点の深度信頼度を得るステップと、を含む項目８に記載の方法。
（項目１０）
前記現在フレームの深度マップにおける画素点について、シーン構造、カメラ設定およびシーンテクスチャのうちの少なくとも二つの影響因子に対応する重みをそれぞれ求める前記ステップは、
前記現在フレームの深度マップにおける画素点の、少なくとも位置および／または法線ベクトルを含む属性情報に基づき、シーン構造、カメラ設定およびシーンテクスチャのうちの少なくとも二つの影響因子に対応する重みをそれぞれ求めることを含む、項目９に記載の方法。
（項目１１）
前記少なくとも二つの影響因子に対応する重みを融合し、前記現在フレームの深度マップにおける画素点の深度信頼度を得る前記ステップは、
前記少なくとも二つの影響因子に対応する重みを乗算し、組み合わせ重みを得て、前記組み合わせ重みに基づき、前記現在フレームの深度マップにおける画素点の深度信頼度を得ることを含む、項目９に記載の方法。
（項目１２）
前記深度信頼度に基づき、前記現在フレームの深度マップにおける画素点に対して点群融合処理を実行する前記ステップは、
表面要素で前記現在フレームの深度マップにおける各画素点を表すステップであって、各表面要素は、少なくとも対応する画素点の深度信頼度を含むステップと、
現在フレームの深度マップにおける深度が有効な画素点に対応する表面要素の集合を含む現在フレームの表面要素集合に基づき、前フレームの更新後の既存表面要素集合の集合更新を行い、現在フレームの深度マップの点群融合処理結果を表す現在フレームの更新後の既存表面要素集合を得るステップと、を含み、
前記集合更新は表面要素追加、表面要素更新および表面要素削除の操作のうちの少なくとも一つを含む、項目１から７のいずれか一項に記載の方法。
（項目１３）
前記各表面要素は対応する画素点の位置、法線ベクトル、内点重みおよび外点重みをさらに含み、前記内点重みは対応する画素点が内点に属する確率を表すために用いられ、前記外点重みは対応する画素点が外点に属する確率を表すために用いられ、前記内点重みと前記外点重みの差は対応する画素点の深度信頼度を表すために用いられる、項目１２に記載の方法。
（項目１４）
前記現在フレームの表面要素集合に基づき、前記前フレームの更新後の既存表面要素集合の集合更新を行う前記ステップは、
前記現在フレームの表面要素集合において前記前フレームの更新後の既存表面要素集合に覆われていない第一表面要素が存在する場合、前記第一表面要素を前記前フレームの更新後の既存表面要素集合に追加するステップを含む、項目１２に記載の方法。
（項目１５）
前記現在フレームの表面要素集合に基づき、前記前フレームの更新後の既存表面要素集合の集合更新を行う前記ステップは、
前記前フレームの更新後の既存表面要素集合で覆われた第二表面要素が前記現在フレームの表面要素集合に存在し、かつ前記第二表面要素の深度が前記前フレームの更新後の既存表面要素集合内の対応する表面要素の投影深度より大きく、同時に前記第二表面要素の深度と前記前フレームの更新後の既存表面要素集合内の対応する表面要素の投影深度との差が第一設定深度閾値以上である場合、前記前フレームの更新後の既存表面要素集合に前記第二表面要素を追加するステップを含む、項目１２に記載の方法。
（項目１６）
前記現在フレームの表面要素集合に基づき、前記前フレームの更新後の既存表面要素集合の集合更新を行う前記ステップは、
前記前フレームの更新後の既存表面要素集合で覆われた第二表面要素が前記現在フレームの表面要素集合に存在し、かつ前記第二表面要素の深度が前記前フレームの更新後の既存表面要素集合内の対応する表面要素の投影深度より小さく、同時に前記第二表面要素の深度と前記前フレームの更新後の既存表面要素集合内の対応する表面要素の投影深度との差が第二設定深度閾値以上である場合、前記前フレームの更新後の既存表面要素集合内の対応する表面要素の外点重み値を増加させるステップを含む、項目１３に記載の方法。
（項目１７）
前記現在フレームの表面要素集合に基づき、前記前フレームの更新後の既存表面要素集合の集合更新を行う前記ステップは、
前記前フレームの更新後の既存表面要素集合で覆われた第二表面要素が前記現在フレームの表面要素集合に存在し、かつ前記第二表面要素の深度と前記前フレームの更新後の既存表面要素集合内の対応する表面要素の投影深度との差が第三設定深度閾値より小さく、同時に前記前フレームの更新後の既存表面要素集合内の対応する表面要素の法線ベクトルと前記第二表面要素の法線ベクトルとの夾角が設定角度値以下である場合、前記前フレームの更新後の既存表面要素集合内の対応する表面要素の位置、法線ベクトルを更新し、前記前フレームの更新後の既存表面要素集合内の対応する表面要素の内点重み値を増加させるステップを含む、項目１３に記載の方法。
（項目１８）
前記現在フレームの表面要素集合に基づき、前記前フレームの更新後の既存表面要素集合の集合更新を行う前記ステップは、
前記前フレームの更新後の既存表面要素集合で覆われた第二表面要素が前記現在フレームの表面要素集合に存在し、かつ前記第二表面要素の深度と前記前フレームの更新後の既存表面要素集合内の対応する表面要素の投影深度との差が第三設定深度閾値より小さく、同時に前記前フレームの更新後の既存表面要素集合内の対応する表面要素の法線ベクトルと前記第二表面要素の法線ベクトルとの夾角が設定角度値より大きい場合、前記前フレームの更新後の既存表面要素集合内の対応する表面要素の外点重み値を増加させるステップを含む、項目１３に記載の方法。
（項目１９）
前記現在フレームの表面要素集合に基づき、前記前フレームの更新後の既存表面要素集合の集合更新を行う前記ステップは、
前記現在フレームの表面要素集合において所定の削除条件を満たす表面要素が存在する場合、前記現在フレームの表面要素集合内の所定の削除条件を満たす表面要素を削除するステップを含み、前記所定の削除条件を満たす表面要素は、対応する画素点の深度信頼度が設定信頼度閾値より小さい表面要素である、項目１２に記載の方法。
（項目２０）
シーン情報および／またはカメラ情報における少なくとも二つの影響因子に基づき、現在フレームの深度マップにおける画素点の深度信頼度を決定するように構成された決定モジュールであって、前記シーン情報およびカメラ情報はそれぞれ少なくとも一つの影響因子を含む決定モジュールと、
前記深度信頼度に基づき、前記現在フレームの深度マップにおける画素点に対して点群融合処理を実行するように構成された融合モジュールと、を含む、点群融合装置。
（項目２１）
前記決定モジュールは、前記現在フレームの深度マップにおける深度が有効な画素点を取得するステップと、シーン情報および／またはカメラ情報における少なくとも二つの影響因子に基づき、深度が有効な各前記画素点の深度信頼度を決定するステップと、を実行するように構成され、
前記融合モジュールは、前記深度信頼度に基づき、前記現在フレームの深度マップにおける深度が有効な画素点に対して点群融合処理を実行するように構成される、項目２０に記載の装置。
（項目２２）
前記決定モジュールは、少なくとも一つの基準フレームの深度マップに基づき、現在フレームの深度マップの画素点の深度が有効であるかどうかを検出するステップと、前記現在フレームの深度マップにおける深度が有効な画素点を保存するステップと、を実行するように構成される、項目２１に記載の装置。
（項目２３）
前記少なくとも一つの基準フレームの深度マップは、現在フレームの深度マップを取得する前に取得された少なくとも１フレームの深度マップを含む、項目２２に記載の装置。
（項目２４）
前記決定モジュールは、前記少なくとも一つの基準フレームの深度マップにより、前記現在フレームの深度マップの画素点に対して深度の整合性チェックを行うステップと、前記深度の整合性チェックをパスした画素点の深度が有効であると判定し、前記深度の整合性チェックをパスしなかった画素点の深度が無効であると判定するステップと、を実行するように構成される、項目２２に記載の装置。
（項目２５）
前記決定モジュールは、複数の基準フレームの深度マップを取得するステップと、前記現在フレームの深度マップの第一画素点と各前記基準フレームの深度マップの対応する画素点とが深度整合性の条件を満たすかどうかを判断するステップと、前記第一画素点との前記深度整合性の条件を満たす前記対応の画素点の数が設定値以上である場合、前記第一画素点が前記深度の整合性チェックをパスしたと判定し、前記第一画素点との前記深度整合性の条件を満たす前記対応の画素点の数が設定値より小さい場合、前記第一画素点が前記深度の整合性チェックをパスしなかったと判定するステップと、を実行するように構成され、前記第一画素点は前記現在フレームの深度マップの任意の画素点である、項目２４に記載の装置。
（項目２６）
前記決定モジュールは、前記第一画素点を各前記基準フレームの深度マップに投影し、各前記基準フレームの深度マップにおける投影点の投影位置および投影深度を得るステップと、各前記基準フレームの深度マップにおける前記投影位置の測定深度値を取得するステップと、各基準フレームの深度マップにおける前記投影点の投影深度と前記投影位置の測定深度値との差を取得するステップと、前記差が第一設定深度閾値以下である場合、前記第一画素点と、対応する基準フレームの深度マップの対応する画素点とが深度整合性の条件を満たすと判定し、前記差が第一設定深度閾値より大きい場合、前記第一画素点と、対応する基準フレームの深度マップの対応する画素点とが深度整合性の条件を満たさないと判定するステップと、を実行するように構成される、項目２５に記載の装置。
（項目２７）
前記シーン情報にはシーン構造およびシーンテクスチャのうちの少なくとも一つの影響因子が含まれ、前記カメラ情報には少なくともカメラ設定が含まれる、項目２０から２６のいずれか一項に記載の装置。
（項目２８）
前記決定モジュールは、現在フレームの深度マップにおける画素点について、シーン構造、カメラ設定およびシーンテクスチャのうちの少なくとも二つの影響因子に対応する重みをそれぞれ求めるステップと、前記少なくとも二つの影響因子に対応する重みを融合し、前記現在フレームの深度マップにおける画素点の深度信頼度を得るステップと、を実行するように構成される、項目２７に記載の装置。
（項目２９）
前記決定モジュールは、前記現在フレームの深度マップにおける画素点の、少なくとも位置および／または法線ベクトルを含む属性情報に基づき、シーン構造、カメラ設定およびシーンテクスチャのうちの少なくとも二つの影響因子に対応する重みをそれぞれ求めるように構成される、項目２８に記載の装置。
（項目３０）
前記決定モジュールは、前記少なくとも二つの影響因子に対応する重みを乗算し、組み合わせ重みを得て、前記組み合わせ重みに基づき、前記現在フレームの深度マップにおける画素点の深度信頼度を得るように構成される、項目２８に記載の装置。
（項目３１）
前記融合モジュールは、少なくとも対応する画素点の深度信頼度をそれぞれ含む表面要素で前記現在フレームの深度マップにおける各画素点を表すように構成され、
前記融合モジュールは、現在フレームの深度マップにおける深度が有効な画素点に対応する表面要素の集合を含む現在フレームの表面要素集合に基づき、前フレームの更新後の既存表面要素集合の集合更新を行い、現在フレームの深度マップの点群融合処理結果を表す現在フレームの更新後の既存表面要素集合を得るように構成され、
前記集合更新は表面要素追加、表面要素更新および表面要素削除の操作のうちの少なくとも一つを含む、項目２０から２６のいずれか一項に記載の装置。
（項目３２）
前記各表面要素は対応する画素点の位置、法線ベクトル、内点重みおよび外点重みをさらに含み、前記内点重みは対応する画素点が内点に属する確率を表すために用いられ、前記外点重みは対応する画素点が外点に属する確率を表すために用いられ、前記内点重みと前記外点重みの差は対応する画素点の深度信頼度を表すために用いられる、項目３１に記載の装置。
（項目３３）
前記融合モジュールは、前記現在フレームの表面要素集合において前記前フレームの更新後の既存表面要素集合に覆われていない第一表面要素が存在する場合、前記第一表面要素を前記前フレームの更新後の既存表面要素集合に追加するように構成される、項目３１に記載の装置。
（項目３４）
前記融合モジュールは、前記前フレームの更新後の既存表面要素集合で覆われた第二表面要素が前記現在フレームの表面要素集合に存在し、かつ前記第二表面要素の深度が前記前フレームの更新後の既存表面要素集合内の対応する表面要素の投影深度より大きく、同時に前記第二表面要素の深度と前記前フレームの更新後の既存表面要素集合内の対応する表面要素の投影深度との差が第一設定深度閾値以上である場合、前記前フレームの更新後の既存表面要素集合に前記第二表面要素を追加するように構成される、項目３１に記載の装置。
（項目３５）
前記融合モジュールは、前記前フレームの更新後の既存表面要素集合で覆われた第二表面要素が前記現在フレームの表面要素集合に存在し、かつ前記第二表面要素の深度が前記前フレームの更新後の既存表面要素集合内の対応する表面要素の投影深度より小さく、同時に前記第二表面要素の深度と前記前フレームの更新後の既存表面要素集合内の対応する表面要素の投影深度との差が第二設定深度閾値以上である場合、前記前フレームの更新後の既存表面要素集合内の対応する表面要素の外点重み値を増加させるように構成される、項目３２に記載の装置。
（項目３６）
前記融合モジュールは、前記前フレームの更新後の既存表面要素集合で覆われた第二表面要素が前記現在フレームの表面要素集合に存在し、かつ前記第二表面要素の深度と前記前フレームの更新後の既存表面要素集合内の対応する表面要素の投影深度との差が第三設定深度閾値より小さく、同時に前記前フレームの更新後の既存表面要素集合内の対応する表面要素の法線ベクトルと前記第二表面要素の法線ベクトルとの夾角が設定角度値以下である場合、前記前フレームの更新後の既存表面要素集合内の対応する表面要素の位置、法線ベクトルを更新し、前記前フレームの更新後の既存表面要素集合内の対応する表面要素の内点重み値を増加させるように構成される、項目３２に記載の装置。
（項目３７）
前記融合モジュールは、前記前フレームの更新後の既存表面要素集合で覆われた第二表面要素が前記現在フレームの表面要素集合に存在し、かつ前記第二表面要素の深度と前記前フレームの更新後の既存表面要素集合内の対応する表面要素の投影深度との差が第三設定深度閾値より小さく、同時に前記前フレームの更新後の既存表面要素集合内の対応する表面要素の法線ベクトルと前記第二表面要素の法線ベクトルとの夾角が設定角度値より大きい場合、前記前フレームの更新後の既存表面要素集合内の対応する表面要素の外点重み値を増加させるように構成される、項目３２に記載の装置。
（項目３８）
前記融合モジュールは、前記現在フレームの表面要素集合において所定の削除条件を満たす表面要素が存在する場合、前記現在フレームの表面要素集合内の所定の削除条件を満たす表面要素を削除するように構成され、前記所定の削除条件を満たす表面要素は、対応する画素点の深度信頼度が設定信頼度閾値より小さい表面要素である、項目３１に記載の装置。
（項目３９）
プロセッサおよびプロセッサにおいて実行可能なコンピュータプログラムを記憶するように構成されたメモリを含み、
前記プロセッサは、前記コンピュータプログラムを実行する場合に、項目１から１９のいずれか一項に記載の方法を実行するように構成される、電子機器。
（項目４０）
コンピュータプログラムが記憶されているコンピュータ記憶媒体であって、前記コンピュータプログラムはプロセッサにより実行される時に項目１から１９のいずれか一項に記載の方法を実現する、コンピュータ記憶媒体。
（項目４１）
プロセッサにより実行される時に項目１から１９のいずれか一項に記載の方法を実現するコンピュータプログラム。
例えば、本願は以下の項目を提供する。
（項目１）
シーン情報および／またはカメラ情報における少なくとも二つの影響因子に基づき、現在フレームの深度マップにおける画素点の深度信頼度を決定するステップであって、前記シーン情報およびカメラ情報はそれぞれ少なくとも一つの影響因子を含むステップと、
前記深度信頼度に基づき、前記現在フレームの深度マップにおける画素点に対して点群融合処理を実行するステップと、を含む、点群融合方法。
（項目２）
前記シーン情報および／またはカメラ情報における少なくとも二つの影響因子に基づき、前記現在フレームの深度マップにおける画素点の深度信頼度を決定する前記ステップは、
前記現在フレームの深度マップにおける深度が有効な画素点を取得するステップと、
シーン情報および／またはカメラ情報における少なくとも二つの影響因子に基づき、深度が有効な各前記画素点の深度信頼度を決定するステップと、を含み、
前記深度信頼度に基づき、前記現在フレームの深度マップにおける画素点に対して点群融合処理を実行する前記ステップは、
前記深度信頼度に基づき、前記現在フレームの深度マップにおける深度が有効な画素点に対して点群融合処理を実行することを含む、項目１に記載の方法。
（項目３）
前記現在フレームの深度マップにおける深度が有効な画素点を取得する前記ステップは、
少なくとも一つの基準フレームの深度マップに基づき、現在フレームの深度マップの画素点の深度が有効であるかどうかを検出するステップと、
前記現在フレームの深度マップにおける深度が有効な画素点を保存するステップと、を含む、項目２に記載の方法。
（項目４）
前記少なくとも一つの基準フレームの深度マップは、現在フレームの深度マップを取得する前に取得された少なくとも１フレームの深度マップを含む、項目３に記載の方法。
（項目５）
前記少なくとも一つの基準フレームの深度マップに基づき、現在フレームの深度マップの画素点の深度が有効であるかどうかを検出する前記ステップは、
前記少なくとも一つの基準フレームの深度マップにより、前記現在フレームの深度マップの画素点に対して深度の整合性チェックを行うステップと、
前記深度の整合性チェックをパスした画素点の深度が有効であると判定し、前記深度の整合性チェックをパスしなかった画素点の深度が無効であると判定するステップと、を含む、項目３に記載の方法。
（項目６）
前記少なくとも一つの基準フレームの深度マップにより、前記現在フレームの深度マップの画素点に対して深度の整合性チェックを行う前記ステップは、
複数の基準フレームの深度マップを取得するステップと、
前記現在フレームの深度マップの任意の画素点である前記現在フレームの深度マップの第一画素点と、各前記基準フレームの深度マップの対応する画素点とが深度整合性の条件を満たすかどうかを判断するステップと、
前記第一画素点との前記深度整合性の条件を満たす前記対応の画素点の数が設定値以上である場合、前記第一画素点が前記深度の整合性チェックをパスしたと判定し、前記第一画素点との前記深度整合性の条件を満たす前記対応の画素点の数が設定値より小さい場合、前記第一画素点が前記深度の整合性チェックをパスしなかったと判定するステップと、を含む、項目５に記載の方法。
（項目７）
前記現在フレームの深度マップの第一画素点と各前記基準フレームの深度マップの対応する画素点とが深度整合性の条件を満たすかどうかを判断する前記ステップは、
前記第一画素点を各前記基準フレームの深度マップに投影し、各前記基準フレームの深度マップにおける投影点の投影位置および投影深度を得るステップと、
各前記基準フレームの深度マップにおける前記投影位置の測定深度値を取得するステップと、
各基準フレームの深度マップにおける前記投影点の投影深度と前記投影位置の測定深度値との差を取得するステップと、
前記差が第一設定深度閾値以下である場合、前記第一画素点と、対応する基準フレームの深度マップの対応する画素点とが深度整合性の条件を満たすと判定し、前記差が第一設定深度閾値より大きい場合、前記第一画素点と、対応する基準フレームの深度マップの対応する画素点とが深度整合性の条件を満たさないと判定するステップと、を含む、項目６に記載の方法。
（項目８）
前記シーン情報にはシーン構造およびシーンテクスチャのうちの少なくとも一つの影響因子が含まれ、前記カメラ情報には少なくともカメラ設定が含まれる、項目１から７のいずれか一項に記載の方法。
（項目９）
前記シーン情報および／またはカメラ情報における少なくとも二つの影響因子に基づき、前記現在フレームの深度マップにおける画素点の深度信頼度を決定する前記ステップは、
現在フレームの深度マップにおける画素点について、シーン構造、カメラ設定およびシーンテクスチャのうちの少なくとも二つの影響因子に対応する重みをそれぞれ求めるステップと、
前記少なくとも二つの影響因子に対応する重みを融合し、前記現在フレームの深度マップにおける画素点の深度信頼度を得るステップと、を含む項目８に記載の方法。
（項目１０）
前記現在フレームの深度マップにおける画素点について、シーン構造、カメラ設定およびシーンテクスチャのうちの少なくとも二つの影響因子に対応する重みをそれぞれ求める前記ステップは、
前記現在フレームの深度マップにおける画素点の、少なくとも位置および／または法線ベクトルを含む属性情報に基づき、シーン構造、カメラ設定およびシーンテクスチャのうちの少なくとも二つの影響因子に対応する重みをそれぞれ求めることを含む、項目９に記載の方法。
（項目１１）
前記少なくとも二つの影響因子に対応する重みを融合し、前記現在フレームの深度マップにおける画素点の深度信頼度を得る前記ステップは、
前記少なくとも二つの影響因子に対応する重みを乗算し、組み合わせ重みを得て、前記組み合わせ重みに基づき、前記現在フレームの深度マップにおける画素点の深度信頼度を得ることを含む、項目９に記載の方法。
（項目１２）
前記深度信頼度に基づき、前記現在フレームの深度マップにおける画素点に対して点群融合処理を実行する前記ステップは、
表面要素で前記現在フレームの深度マップにおける各画素点を表すステップであって、各表面要素は、少なくとも対応する画素点の深度信頼度を含むステップと、
現在フレームの深度マップにおける深度が有効な画素点に対応する表面要素の集合を含む現在フレームの表面要素集合に基づき、前フレームの更新後の既存表面要素集合の集合更新を行い、現在フレームの深度マップの点群融合処理結果を表す現在フレームの更新後の既存表面要素集合を得るステップと、を含み、
前記集合更新は表面要素追加、表面要素更新および表面要素削除の操作のうちの少なくとも一つを含む、項目１から７のいずれか一項に記載の方法。
（項目１３）
前記各表面要素は対応する画素点の位置、法線ベクトル、内点重みおよび外点重みをさらに含み、前記内点重みは対応する画素点が内点に属する確率を表すために用いられ、前記外点重みは対応する画素点が外点に属する確率を表すために用いられ、前記内点重みと前記外点重みの差は対応する画素点の深度信頼度を表すために用いられる、項目１２に記載の方法。
（項目１４）
前記現在フレームの表面要素集合に基づき、前記前フレームの更新後の既存表面要素集合の集合更新を行う前記ステップは、
前記現在フレームの表面要素集合において前記前フレームの更新後の既存表面要素集合に覆われていない第一表面要素が存在する場合、前記第一表面要素を前記前フレームの更新後の既存表面要素集合に追加するステップを含む、項目１２に記載の方法。
（項目１５）
前記現在フレームの表面要素集合に基づき、前記前フレームの更新後の既存表面要素集合の集合更新を行う前記ステップは、
前記前フレームの更新後の既存表面要素集合で覆われた第二表面要素が前記現在フレームの表面要素集合に存在し、かつ前記第二表面要素の深度が前記前フレームの更新後の既存表面要素集合内の対応する表面要素の投影深度より大きく、同時に前記第二表面要素の深度と前記前フレームの更新後の既存表面要素集合内の対応する表面要素の投影深度との差が第一設定深度閾値以上である場合、前記前フレームの更新後の既存表面要素集合に前記第二表面要素を追加するステップを含む、項目１２に記載の方法。
（項目１６）
前記現在フレームの表面要素集合に基づき、前記前フレームの更新後の既存表面要素集合の集合更新を行う前記ステップは、
前記前フレームの更新後の既存表面要素集合で覆われた第二表面要素が前記現在フレームの表面要素集合に存在し、かつ前記第二表面要素の深度が前記前フレームの更新後の既存表面要素集合内の対応する表面要素の投影深度より小さく、同時に前記第二表面要素の深度と前記前フレームの更新後の既存表面要素集合内の対応する表面要素の投影深度との差が第二設定深度閾値以上である場合、前記前フレームの更新後の既存表面要素集合内の対応する表面要素の外点重み値を増加させるステップを含む、項目１３に記載の方法。
（項目１７）
前記現在フレームの表面要素集合に基づき、前記前フレームの更新後の既存表面要素集合の集合更新を行う前記ステップは、
前記前フレームの更新後の既存表面要素集合で覆われた第二表面要素が前記現在フレームの表面要素集合に存在し、かつ前記第二表面要素の深度と前記前フレームの更新後の既存表面要素集合内の対応する表面要素の投影深度との差が第三設定深度閾値より小さく、同時に前記前フレームの更新後の既存表面要素集合内の対応する表面要素の法線ベクトルと前記第二表面要素の法線ベクトルとの夾角が設定角度値以下である場合、前記前フレームの更新後の既存表面要素集合内の対応する表面要素の位置、法線ベクトルを更新し、前記前フレームの更新後の既存表面要素集合内の対応する表面要素の内点重み値を増加させるステップを含む、項目１３に記載の方法。
（項目１８）
前記現在フレームの表面要素集合に基づき、前記前フレームの更新後の既存表面要素集合の集合更新を行う前記ステップは、
前記前フレームの更新後の既存表面要素集合で覆われた第二表面要素が前記現在フレームの表面要素集合に存在し、かつ前記第二表面要素の深度と前記前フレームの更新後の既存表面要素集合内の対応する表面要素の投影深度との差が第三設定深度閾値より小さく、同時に前記前フレームの更新後の既存表面要素集合内の対応する表面要素の法線ベクトルと前記第二表面要素の法線ベクトルとの夾角が設定角度値より大きい場合、前記前フレームの更新後の既存表面要素集合内の対応する表面要素の外点重み値を増加させるステップを含む、項目１３に記載の方法。
（項目１９）
前記現在フレームの表面要素集合に基づき、前記前フレームの更新後の既存表面要素集合の集合更新を行う前記ステップは、
前記現在フレームの表面要素集合において所定の削除条件を満たす表面要素が存在する場合、前記現在フレームの表面要素集合内の所定の削除条件を満たす表面要素を削除するステップを含み、前記所定の削除条件を満たす表面要素は、対応する画素点の深度信頼度が設定信頼度閾値より小さい表面要素である、項目１２に記載の方法。
（項目２０）
シーン情報および／またはカメラ情報における少なくとも二つの影響因子に基づき、現在フレームの深度マップにおける画素点の深度信頼度を決定するように構成された決定モジュールであって、前記シーン情報およびカメラ情報はそれぞれ少なくとも一つの影響因子を含む決定モジュールと、
前記深度信頼度に基づき、前記現在フレームの深度マップにおける画素点に対して点群融合処理を実行するように構成された融合モジュールと、を含む、点群融合装置。
（項目２１）
前記決定モジュールは、前記現在フレームの深度マップにおける深度が有効な画素点を取得するステップと、シーン情報および／またはカメラ情報における少なくとも二つの影響因子に基づき、深度が有効な各前記画素点の深度信頼度を決定するステップと、を実行するように構成され、
前記融合モジュールは、前記深度信頼度に基づき、前記現在フレームの深度マップにおける深度が有効な画素点に対して点群融合処理を実行するように構成される、項目２０に記載の装置。
（項目２２）
前記決定モジュールは、少なくとも一つの基準フレームの深度マップに基づき、現在フレームの深度マップの画素点の深度が有効であるかどうかを検出するステップと、前記現在フレームの深度マップにおける深度が有効な画素点を保存するステップと、を実行するように構成される、項目２１に記載の装置。
（項目２３）
前記少なくとも一つの基準フレームの深度マップは、現在フレームの深度マップを取得する前に取得された少なくとも１フレームの深度マップを含む、項目２２に記載の装置。
（項目２４）
前記決定モジュールは、前記少なくとも一つの基準フレームの深度マップにより、前記現在フレームの深度マップの画素点に対して深度の整合性チェックを行うステップと、前記深度の整合性チェックをパスした画素点の深度が有効であると判定し、前記深度の整合性チェックをパスしなかった画素点の深度が無効であると判定するステップと、を実行するように構成される、項目２２に記載の装置。
（項目２５）
前記決定モジュールは、複数の基準フレームの深度マップを取得するステップと、前記現在フレームの深度マップの第一画素点と各前記基準フレームの深度マップの対応する画素点とが深度整合性の条件を満たすかどうかを判断するステップと、前記第一画素点との前記深度整合性の条件を満たす前記対応の画素点の数が設定値以上である場合、前記第一画素点が前記深度の整合性チェックをパスしたと判定し、前記第一画素点との前記深度整合性の条件を満たす前記対応の画素点の数が設定値より小さい場合、前記第一画素点が前記深度の整合性チェックをパスしなかったと判定するステップと、を実行するように構成され、前記第一画素点は前記現在フレームの深度マップの任意の画素点である、項目２４に記載の装置。
（項目２６）
前記決定モジュールは、前記第一画素点を各前記基準フレームの深度マップに投影し、各前記基準フレームの深度マップにおける投影点の投影位置および投影深度を得るステップと、各前記基準フレームの深度マップにおける前記投影位置の測定深度値を取得するステップと、各基準フレームの深度マップにおける前記投影点の投影深度と前記投影位置の測定深度値との差を取得するステップと、前記差が第一設定深度閾値以下である場合、前記第一画素点と、対応する基準フレームの深度マップの対応する画素点とが深度整合性の条件を満たすと判定し、前記差が第一設定深度閾値より大きい場合、前記第一画素点と、対応する基準フレームの深度マップの対応する画素点とが深度整合性の条件を満たさないと判定するステップと、を実行するように構成される、項目２５に記載の装置。
（項目２７）
前記シーン情報にはシーン構造およびシーンテクスチャのうちの少なくとも一つの影響因子が含まれ、前記カメラ情報には少なくともカメラ設定が含まれる、項目２０から２６のいずれか一項に記載の装置。
（項目２８）
前記決定モジュールは、現在フレームの深度マップにおける画素点について、シーン構造、カメラ設定およびシーンテクスチャのうちの少なくとも二つの影響因子に対応する重みをそれぞれ求めるステップと、前記少なくとも二つの影響因子に対応する重みを融合し、前記現在フレームの深度マップにおける画素点の深度信頼度を得るステップと、を実行するように構成される、項目２７に記載の装置。
（項目２９）
前記決定モジュールは、前記現在フレームの深度マップにおける画素点の、少なくとも位置および／または法線ベクトルを含む属性情報に基づき、シーン構造、カメラ設定およびシーンテクスチャのうちの少なくとも二つの影響因子に対応する重みをそれぞれ求めるように構成される、項目２８に記載の装置。
（項目３０）
前記決定モジュールは、前記少なくとも二つの影響因子に対応する重みを乗算し、組み合わせ重みを得て、前記組み合わせ重みに基づき、前記現在フレームの深度マップにおける画素点の深度信頼度を得るように構成される、項目２８に記載の装置。
（項目３１）
前記融合モジュールは、少なくとも対応する画素点の深度信頼度をそれぞれ含む表面要素で前記現在フレームの深度マップにおける各画素点を表すように構成され、
前記融合モジュールは、現在フレームの深度マップにおける深度が有効な画素点に対応する表面要素の集合を含む現在フレームの表面要素集合に基づき、前フレームの更新後の既存表面要素集合の集合更新を行い、現在フレームの深度マップの点群融合処理結果を表す現在フレームの更新後の既存表面要素集合を得るように構成され、
前記集合更新は表面要素追加、表面要素更新および表面要素削除の操作のうちの少なくとも一つを含む、項目２０から２６のいずれか一項に記載の装置。
（項目３２）
前記各表面要素は対応する画素点の位置、法線ベクトル、内点重みおよび外点重みをさらに含み、前記内点重みは対応する画素点が内点に属する確率を表すために用いられ、前記外点重みは対応する画素点が外点に属する確率を表すために用いられ、前記内点重みと前記外点重みの差は対応する画素点の深度信頼度を表すために用いられる、項目３１に記載の装置。
（項目３３）
前記融合モジュールは、前記現在フレームの表面要素集合において前記前フレームの更新後の既存表面要素集合に覆われていない第一表面要素が存在する場合、前記第一表面要素を前記前フレームの更新後の既存表面要素集合に追加するように構成される、項目３１に記載の装置。
（項目３４）
前記融合モジュールは、前記前フレームの更新後の既存表面要素集合で覆われた第二表面要素が前記現在フレームの表面要素集合に存在し、かつ前記第二表面要素の深度が前記前フレームの更新後の既存表面要素集合内の対応する表面要素の投影深度より大きく、同時に前記第二表面要素の深度と前記前フレームの更新後の既存表面要素集合内の対応する表面要素の投影深度との差が第一設定深度閾値以上である場合、前記前フレームの更新後の既存表面要素集合に前記第二表面要素を追加するように構成される、項目３１に記載の装置。
（項目３５）
前記融合モジュールは、前記前フレームの更新後の既存表面要素集合で覆われた第二表面要素が前記現在フレームの表面要素集合に存在し、かつ前記第二表面要素の深度が前記前フレームの更新後の既存表面要素集合内の対応する表面要素の投影深度より小さく、同時に前記第二表面要素の深度と前記前フレームの更新後の既存表面要素集合内の対応する表面要素の投影深度との差が第二設定深度閾値以上である場合、前記前フレームの更新後の既存表面要素集合内の対応する表面要素の外点重み値を増加させるように構成される、項目３２に記載の装置。
（項目３６）
前記融合モジュールは、前記前フレームの更新後の既存表面要素集合で覆われた第二表面要素が前記現在フレームの表面要素集合に存在し、かつ前記第二表面要素の深度と前記前フレームの更新後の既存表面要素集合内の対応する表面要素の投影深度との差が第三設定深度閾値より小さく、同時に前記前フレームの更新後の既存表面要素集合内の対応する表面要素の法線ベクトルと前記第二表面要素の法線ベクトルとの夾角が設定角度値以下である場合、前記前フレームの更新後の既存表面要素集合内の対応する表面要素の位置、法線ベクトルを更新し、前記前フレームの更新後の既存表面要素集合内の対応する表面要素の内点重み値を増加させるように構成される、項目３２に記載の装置。
（項目３７）
前記融合モジュールは、前記前フレームの更新後の既存表面要素集合で覆われた第二表面要素が前記現在フレームの表面要素集合に存在し、かつ前記第二表面要素の深度と前記前フレームの更新後の既存表面要素集合内の対応する表面要素の投影深度との差が第三設定深度閾値より小さく、同時に前記前フレームの更新後の既存表面要素集合内の対応する表面要素の法線ベクトルと前記第二表面要素の法線ベクトルとの夾角が設定角度値より大きい場合、前記前フレームの更新後の既存表面要素集合内の対応する表面要素の外点重み値を増加させるように構成される、項目３２に記載の装置。
（項目３８）
前記融合モジュールは、前記現在フレームの表面要素集合において所定の削除条件を満たす表面要素が存在する場合、前記現在フレームの表面要素集合内の所定の削除条件を満たす表面要素を削除するように構成され、前記所定の削除条件を満たす表面要素は、対応する画素点の深度信頼度が設定信頼度閾値より小さい表面要素である、項目３１に記載の装置。
（項目３９）
プロセッサおよびプロセッサにおいて実行可能なコンピュータプログラムを記憶するように構成されたメモリを含み、
前記プロセッサは、前記コンピュータプログラムを実行する場合に、項目１から１９のいずれか一項に記載の方法を実行するように構成される、電子機器。
（項目４０）
コンピュータプログラムが記憶されているコンピュータ記憶媒体であって、前記コンピュータプログラムはプロセッサにより実行される時に項目１から１９のいずれか一項に記載の方法を実現する、コンピュータ記憶媒体。
（項目４１）
プロセッサにより実行される時に項目１から１９のいずれか一項に記載の方法を実現するコンピュータプログラム。
【国際調査報告】