特表 2024-546503 シーン空間モデルを構築するための方法、装置及び記憶媒体

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2024-12-24

(54)【発明の名称】シーン空間モデルを構築するための方法、装置及び記憶媒体

(51)【国際特許分類】

   G06T 7/80 20170101AFI20241217BHJP

   G06T 7/00 20170101ALI20241217BHJP

   G06T 3/4038 20240101ALI20241217BHJP

   G06T 17/20 20060101ALI20241217BHJP

【ＦＩ】

G06T7/80

G06T7/00 C

G06T3/4038

G06T17/20

【審査請求】有

【予備審査請求】未請求

(21)【出願番号】P 2024537469

(86)(22)【出願日】2023-01-05

(85)【翻訳文提出日】2024-06-20

(86)【国際出願番号】 CN2023070771

(87)【国際公開番号】W WO2023134546

(87)【国際公開日】2023-07-20

(31)【優先権主張番号】202210033988.6

(32)【優先日】2022-01-12

(33)【優先権主張国・地域又は機関】CN

(81)【指定国・地域】

【公序良俗違反の表示】

（特許庁注：以下のものは登録商標）

１．ＪＡＶＡ

(71)【出願人】

【識別番号】522019454

【氏名又は名称】リアルシー・（ベイジン）・テクノロジー・カンパニー・リミテッド

【氏名又は名称原語表記】ＲＥＡＬＳＥＥ（ＢＥＩＪＩＮＧ）ＴＥＣＨＮＯＬＯＧＹ ＣＯ．，ＬＴＤ．

(74)【代理人】

【識別番号】110001818

【氏名又は名称】弁理士法人Ｒ＆Ｃ

(72)【発明者】

【氏名】▲謝▼ 哲

【テーマコード（参考）】

5B057

5L096

【Ｆターム（参考）】

5B057CA13

5B057CB13

5B057DB03

5L096AA09

5L096EA15

5L096EA16

5L096FA25

(57)【要約】

本開示は、シーン空間モデルを構築するための方法、装置及び記憶媒体を提供する。前記方法は、移動型点群収集機器によって収集された第１点群情報を取得し、定点型奥行き撮影機器によって収集された奥行き画像情報を取得するステップと、グローバル座標系に対応する定点型奥行き撮影機器のカメラ座標系の回転マトリックスを決定し、奥行き画像情報に基づいて第１パノラマ画像を生成し、第１パノラマ画像を三次元単位球面にマッピングするステップと、回転マトリックに基づいて三次元単位球面を回転させて、第２パノラマ画像を生成するステップと、第１点群情報及び第２パノラマ画像に基づいて、シーン空間モデルを生成するステップとを含む。

【特許請求の範囲】

【請求項1】

シーン空間モデルを構築するための方法であって、
移動型点群収集機器によって収集された、ターゲットシーンに対応する第１点群情報を取得するステップと、
定点型奥行き撮影機器によって収集された、前記ターゲットシーンの部分領域に対応する奥行き画像情報を取得するステップであって、前記奥行き画像情報は、第２点群情報と対応する画像の色情報とを含むステップと、
前記第１点群情報及び前記第２点群情報に基づいて、グローバル座標系に対応する前記定点型奥行き撮影機器のカメラ座標系の回転マトリックスを決定するステップであって、前記グローバル座標系は、前記第１点群情報に対応する座標系であるステップと、
前記奥行き画像情報に基づいて第１パノラマ画像を生成し、前記第１パノラマ画像を三次元単位球面にマッピングするステップと、
前記回転マトリックスに基づいて前記三次元単位球面を回転させて、第２パノラマ画像を生成するステップと、
前記第１点群情報及び前記第２パノラマ画像に基づいて、シーン空間モデルを生成するステップとを含むことを特徴とする、シーン空間モデルを構築するための方法。

【請求項2】

前記第１点群情報及び前記第２点群情報に基づいて、グローバル座標系に対応する前記定点型奥行き撮影機器のカメラ座標系の回転マトリックスを決定する前記ステップは、
少なくとも１つの定点型奥行き撮影機器によって収集された第２点群情報をスプライシングし、前記ターゲットシーンのパノラマに対応する第３点群情報を生成するステップと、
前記第３点群情報に対応する前記定点型奥行き撮影機器のカメラ座標系の第１定点回転マトリックスを決定するステップと、
前記第１点群情報と前記第２点群情報との間の第２定点回転マトリックスを決定するステップと、
前記第１定点回転マトリックス及び前記第２定点回転マトリックスに基づいて、前記回転マトリックスを決定するステップとを含むことを特徴とする、請求項１に記載の方法。

【請求項3】

前記第１点群情報と前記第２点群情報との間の第２定点回転マトリックスを決定する前記ステップは、
予め設定された点群マッチングアルゴリズムに基づいて、前記第１点群情報と前記第３点群情報をマッチングして、前記第１点群情報と前記第２点群情報との間の第２定点回転マトリックスを取得するステップを含み、
ここで、前記点群マッチングアルゴリズムは、反復最近接点アルゴリズムを含むことを特徴とする、請求項２に記載の方法。

【請求項4】

前記第１定点回転マトリックス及び前記第２定点回転マトリックスに基づいて、前記回転マトリックスを決定する前記ステップは、
前記第１定点回転マトリックスと前記第２定点回転マトリックスとの積を、前記定点型奥行き撮影機器に対応する第３定点回転マトリックスとして使用するステップと、
点群マッチングアルゴリズムを使用し、前記第３定点回転マトリックスを初期値として前記回転マトリックスを計算するステップであって、前記点群マッチングアルゴリズムは、反復最近接点アルゴリズムを含むステップとを含むことを特徴とする、請求項２に記載の方法。

【請求項5】

前記第１パノラマ画像を三次元単位球面にマッピングする前記ステップは、
前記第１パノラマ画像の少なくとも１つの画素を二次元座標から三次元座標に変換することにより、前記第１パノラマ画像を三次元単位球面にマッピングするステップを含むことを特徴とする、請求項１に記載の方法。

【請求項6】

前記回転マトリックスに基づいて前記三次元単位球面を回転させて、第２パノラマ画像を生成する前記ステップは、
前記回転マトリックスに基づいて前記三次元単位球面を回転させて、前記第１パノラマ画像の少なくとも１つの画素の新しい三次元座標を取得するステップと、
前記新しい三次元座標及び少なくとも１つの画素の色情報に基づいて、第２パノラマ画像を生成するステップとを含むことを特徴とする、請求項１に記載の方法。

【請求項7】

前記新しい三次元座標及び少なくとも１つの画素の色情報に基づいて、第２パノラマ画像を生成する前記ステップは、
前記新しい三次元座標に基づいて、前記三次元単位球面上の前記第１パノラマ画像の少なくとも１つの画素の新しい位置を決定するステップと、
前記第１パノラマ画像の少なくとも１つの画素の色情報を前記新しい位置に追加し、前記第２パノラマ画像を生成するステップとを含むことを特徴とする、請求項６に記載の方法。

【請求項8】

前記第１点群情報及び前記第２パノラマ画像に基づいて、シーン空間モデルを生成する前記ステップは、
表面再構成アルゴリズムに基づいて、前記第１点群情報に対して表面再構成処理を行い、前記第１点群情報に対応するメッシュモデルを生成するステップと、
前記メッシュモデルのメッシュの位置情報及び前記第２パノラマ画像に基づいて、前記メッシュのマップを生成するステップと、
前記マップを対応する前記メッシュに設けて、前記シーンの三次元空間モデルを生成するステップとを含むことを特徴とする、請求項１から７のいずれか１項に記載の方法。

【請求項9】

前記表面再構成アルゴリズムは、ポアソン（Ｐｏｓｓｉｏｎ）表面再構成アルゴリズムを含み、前記メッシュは、三角形メッシュ及び四角形メッシュを含むことを特徴とする、請求項８に記載の方法。

【請求項10】

シーン空間モデルを構築するための装置であって、
移動型点群収集機器によって収集された、ターゲットシーンに対応する第１点群情報を取得するための第１情報取得モジュールと、
定点型奥行き撮影機器によって収集された、前記ターゲットシーンの部分領域に対応する奥行き画像情報を取得するために使用され、前記奥行き画像情報は、第２点群情報と対応する画像の色情報とを含む第２情報取得モジュールと、
前記第１点群情報及び前記第２点群情報に基づいて、グローバル座標系に対応する前記定点型奥行き撮影機器のカメラ座標系の回転マトリックスを決定するために使用され、前記グローバル座標系は、前記第１点群情報に対応する座標系である回転マトリックス決定モジュールと、
前記奥行き画像情報に基づいてなく第１パノラマ画像を生成し、前記第１パノラマ画像を三次元単位球面にマッピングするためのパノラマ画像マッピングモジュールと、
前記回転マトリックスに基づいて前記三次元単位球面を回転させて、第２パノラマ画像を生成するためのパノラマ画像変換モジュールと、
前記第１点群情報及び前記第２パノラマ画像に基づいて、シーン空間モデルを生成するためのシーンモデル生成モジュールとを備えることを特徴とする、シーン空間モデルを構築するための装置。

【請求項11】

前記回転マトリックス決定モジュールは、少なくとも１つの定点型奥行き撮影機器によって収集された第２点群情報をスプライシングし、前記ターゲットシーンのパノラマに対応する第３点群情報を生成し、前記第３点群情報に対応する前記定点型奥行き撮影機器のカメラ座標系の第１定点回転マトリックスを決定し、前記第１点群情報と前記第２点群情報との間の第２定点回転マトリックスを決定し、前記第１定点回転マトリックス及び前記第２定点回転マトリックスに基づいて、前記回転マトリックスを決定するために使用されることを特徴とする、請求項１０に記載の装置。

【請求項12】

前記回転マトリックス決定モジュールは、さらに予め設定された点群マッチングアルゴリズムに基づいて、前記第１点群情報と前記第３点群情報をマッチングして、前記第１点群情報と前記第２点群情報との間の第２定点回転マトリックスを取得するために使用され、前記点群マッチングアルゴリズムは、反復最近接点アルゴリズムを含むことを特徴とする、請求項１１に記載の装置。

【請求項13】

前記回転マトリックス決定モジュールは、さらに前記第１定点回転マトリックスと前記第２定点回転マトリックスとの積を、前記定点型奥行き撮影機器に対応する第３定点回転マトリックスとして使用し、点群マッチングアルゴリズムを使用し、前記第３定点回転マトリックスを初期値として前記回転マトリックスを計算するために使用され、前記点群マッチングアルゴリズムは、反復最近接点アルゴリズムを含むことを特徴とする、請求項１１に記載の装置。

【請求項14】

前記パノラマ画像マッピングモジュールは、具体的には、前記第１パノラマ画像の少なくとも１つの画素を二次元座標から三次元座標に変換することにより、前記第１パノラマ画像を三次元単位球面にマッピングするために使用されることを特徴とする、請求項１０に記載の装置。

【請求項15】

前記パノラマ画像変換モジュールは、具体的には、前記回転マトリックスに基づいて前記三次元単位球面を回転させて、前記第１パノラマ画像の少なくとも１つの画素の新しい三次元座標を取得し、前記新しい三次元座標及び少なくとも１つの画素の色情報に基づいて、第２パノラマ画像を生成するために使用されることを特徴とする、請求項１０に記載の装置。

【請求項16】

前記パノラマ画像変換モジュールは、さらに前記新しい三次元座標に基づいて、前記三次元単位球面上の前記第１パノラマ画像の少なくとも１つの画素の新しい位置を決定し、前記第１パノラマ画像の少なくとも１つの画素の色情報を前記新しい位置に追加し、前記第２パノラマ画像を生成するために使用されることを特徴とする、請求項１５に記載の装置。

【請求項17】

前記シーンモデル生成モジュールは、具体的には、表面再構成アルゴリズムに基づいて、前記第１点群情報に対して表面再構成処理を行い、前記第１点群情報に対応するメッシュモデルを生成し、前記メッシュモデルのメッシュの位置情報及び前記第２パノラマ画像に基づいて、前記メッシュのマップを生成し、前記マップを対応する前記メッシュに設けて、前記シーンの三次元空間モデルを生成するために使用されることを特徴とする、請求項１０から１６のいずれか１項に記載の装置。

【請求項18】

前記表面再構成アルゴリズムは、ポアソン（Ｐｏｓｓｉｏｎ）表面再構成アルゴリズムを含み、前記メッシュは、三角形メッシュ及び四角形メッシュを含むことを特徴とする、請求項１７に記載の装置。

【請求項19】

コンピュータプログラム命令を記憶しているコンピュータ可読記憶媒体であって、
当該コンピュータプログラム命令がプロセッサに実行されると、上記の請求項１から９のいずれか一項に記載の方法を実現することを特徴とするコンピュータ可読記憶媒体。

【請求項20】

電子機器であって、
コンピュータプログラム製品を記憶するためのメモリと、
前記メモリに記憶されたコンピュータプログラム製品を実行し、前記コンピュータプログラム製品が実行されると、上記の請求項１から９のいずれか一項に記載の方法を実現するためのプロセッサとを備えることを特徴とする、電子機器。

【請求項21】

コンピュータプログラム命令を含むコンピュータプログラム製品であって、
当該コンピュータプログラム命令がプロセッサに実行されると、上記請求項１から９のいずれか１項に記載の方法を実現することを特徴とするコンピュータプログラム製品。

【発明の詳細な説明】

【技術分野】

【0001】

（関連出願の相互参照）
本開示は、２０２２年１月１２日に中国特許庁に提案された、開示番号がＣＮ２０２２１００３３９８８．６であり、開示名称が「シーン空間モデルを構築するための方法、装置及び記憶媒体」である中国特許開示に対する優先権を主張し、その全ての内容が参照により本開示に組み込まれる。

【0002】

本開示は、コンピュータ技術の分野に関し、特に、シーン空間モデルを構築するための方法、装置及び記憶媒体に関する。

【背景技術】

【0003】

既存の屋内三次元再構成技術では、通常、屋内にレーザーススキャン機器又は奥行き撮影機器を設け、定点撮影及び収集方式を採用し、レーザーススキャン機器又は奥行き撮影機器によってカラーデータ及び奥行きデータを収集し、異なる点の点群をスプライシングすることにより、屋内シーンの三次元モデル及び各三次元モデルに対応するパノラマ画像を生成する。

【発明の概要】

【発明が解決しようとする課題】

【0004】

本開示の実施例は、シーン空間モデルを構築するための方法、装置及び電子機器、記憶媒体を提供する。

【課題を解決するための手段】

【0005】

本開示の実施例の第１態様によれば、移動型点群収集機器によって収集された、ターゲットシーンに対応する第１点群情報を取得するステップと、定点型奥行き撮影機器によって収集された、前記ターゲットシーンの部分領域に対応する奥行き画像情報を取得するステップであって、前記奥行き画像情報は、第２点群情報と対応する画像の色情報とを含むステップと、前記第１点群情報及び前記第２点群情報に基づいて、グローバル座標系に対応する前記定点型奥行き撮影機器のカメラ座標系の回転マトリックスを決定するステップであって、前記グローバル座標系は、前記第１点群情報に対応する座標系であるステップと、前記奥行き画像情報に基づいて第１パノラマ画像を生成し、前記第１パノラマ画像を三次元単位球面にマッピングするステップと、前記回転マトリックスに基づいて前記三次元単位球面を回転させて、第２パノラマ画像を生成するステップと、前記第１点群情報及び前記第２パノラマ画像に基づいて、シーン空間モデルを生成するステップとを含む、シーン空間モデルを構築するための方法が提供される。

【0006】

選択可能に、前記第１点群情報及び前記第２点群情報に基づいて、グローバル座標系に対応する前記定点型奥行き撮影機器のカメラ座標系の回転マトリックスを決定する前記ステップは、少なくとも１つの定点型奥行き撮影機器によって収集された第２点群情報をスプライシングし、前記ターゲットシーンのパノラマに対応する第３点群情報を生成するステップと、前記第３点群情報に対応する前記定点型奥行き撮影機器のカメラ座標系の第１定点回転マトリックスを決定するステップと、前記第１点群情報と前記第２点群情報との間の第２定点回転マトリックスを決定するステップと、前記第１定点回転マトリックス及び前記第２定点回転マトリックスに基づいて、前記回転マトリックスを決定するステップとを含む。

【0007】

選択可能に、前記第１点群情報と前記第２点群情報との間の第２定点回転マトリックスを決定する前記ステップは、予め設定された点群マッチングアルゴリズムに基づいて、前記第１点群情報と前記第３点群情報をマッチングして、前記第１点群情報と前記第２点群情報との間の第２定点回転マトリックスを取得するステップであって、前記点群マッチングアルゴリズムは、反復最近接点アルゴリズムを含む。

【0008】

選択可能に、前記第１定点回転マトリックス及び前記第２定点回転マトリックスに基づいて、前記回転マトリックスを決定する前記ステップは、前記第１定点回転マトリックスと前記第２定点回転マトリックスとの積を、前記定点型奥行き撮影機器に対応する第３定点回転マトリックスとして使用するステップと、点群マッチングアルゴリズムを使用し、前記第３定点回転マトリックスを初期値として前記回転マトリックスを計算するステップであって、前記点群マッチングアルゴリズムは、反復最近接点アルゴリズムを含む。

【0009】

選択可能に、前記第１パノラマ画像を三次元単位球面にマッピングする前記ステップは、前記第１パノラマ画像の少なくとも１つの画素を二次元座標から三次元座標に変換することにより、前記第１パノラマ画像を三次元単位球面にマッピングするステップを含む。

【0010】

選択可能に、前記回転マトリックスに基づいて前記三次元単位球面を回転させて、第２パノラマ画像を生成する前記ステップは、前記回転マトリックスに基づいて前記三次元単位球面を回転させて、前記第１パノラマ画像の少なくとも１つの画素の新しい三次元座標を取得するステップと、前記新しい三次元座標及び少なくとも１つの画素の色情報に基づいて、第２パノラマ画像を生成するステップとを含む。

【0011】

選択可能に、前記新しい三次元座標及び少なくとも１つの画素の色情報に基づいて、第２パノラマ画像を生成する前記ステップは、前記新しい三次元座標に基づいて、前記三次元単位球面上の前記第１パノラマ画像の少なくとも１つの画素の新しい位置を決定するステップと、前記第１パノラマ画像の少なくとも１つの画素の色情報を前記新しい位置に追加し、前記第２パノラマ画像を生成するステップとを含む。

【0012】

選択可能に、前記第１点群情報及び前記第２パノラマ画像に基づいて、シーン空間モデルを生成する前記ステップは、表面再構成アルゴリズムに基づいて、前記第１点群情報に対して表面再構成処理を行い、前記第１点群情報に対応するメッシュモデルを生成するステップと、前記メッシュモデルのメッシュの位置情報及び前記第２パノラマ画像に基づいて、前記メッシュのマップを生成するステップと、前記マップを対応する前記メッシュに設けて、前記シーンの三次元空間モデルを生成するステップとを含む。

【0013】

選択可能に、前記表面再構成アルゴリズムは、ポアソン（Ｐｏｓｓｉｏｎ）表面再構成アルゴリズムを含み、前記メッシュは、三角形メッシュ及び四角形メッシュを含む。

【0014】

本開示の実施例の第２態様によれば、移動型点群収集機器によって収集された、ターゲットシーンに対応する第１点群情報を取得するための第１情報取得モジュールと、定点型奥行き撮影機器によって収集された、前記ターゲットシーンの部分領域に対応する奥行き画像情報を取得するために使用され、前記奥行き画像情報は、第２点群情報と対応する画像の色情報とを含む第２情報取得モジュールと、前記第１点群情報及び前記第２点群情報に基づいて、グローバル座標系に対応する前記定点型奥行き撮影機器のカメラ座標系の回転マトリックスを決定するために使用され、前記グローバル座標系は、前記第１点群情報に対応する座標系である回転マトリックス決定モジュールと、前記奥行き画像情報に基づいて第１パノラマ画像を生成し、前記第１パノラマ画像を三次元単位球面にマッピングするためのパノラマ画像マッピングモジュールと、前記回転マトリックスに基づいて前記三次元単位球面を回転させて、第２パノラマ画像を生成するためのパノラマ画像変換モジュールと、前記第１点群情報及び前記第２パノラマ画像に基づいて、シーン空間モデルを生成するためのシーンモデル生成モジュールとを備える、シーン空間モデルを構築するための装置が提供される。

【0015】

選択可能に、前記回転マトリックス決定モジュールは、少なくとも１つの定点型奥行き撮影機器によって収集された第２点群情報をスプライシングし、前記ターゲットシーンのパノラマに対応する第３点群情報を生成し、前記第３点群情報に対応する前記定点型奥行き撮影機器のカメラ座標系の第１定点回転マトリックスを決定し、前記第１点群情報と前記第２点群情報との間の第２定点回転マトリックスを決定し、前記第１定点回転マトリックス及び前記第２定点回転マトリックスに基づいて、前記回転マトリックスを決定するために使用される。

【0016】

選択可能に、前記回転マトリックス決定モジュールは、さらに予め設定された点群マッチングアルゴリズムに基づいて、前記第１点群情報と前記第３点群情報をマッチングして、前記第１点群情報と前記第２点群情報との間の第２定点回転マトリックスを取得するために使用され、前記点群マッチングアルゴリズムは、反復最近接点アルゴリズムを含む。

【0017】

選択可能に、前記回転マトリックス決定モジュールは、さらに前記第１定点回転マトリックスと前記第２定点回転マトリックスとの積を、前記定点型奥行き撮影機器に対応する第３定点回転マトリックスとして使用し、点群マッチングアルゴリズムを使用し、前記第３定点回転マトリックスを初期値として前記回転マトリックスを計算するために使用され、前記点群マッチングアルゴリズムは、反復最近接点アルゴリズムを含む。

【0018】

選択可能に、前記パノラマ画像マッピングモジュールは、具体的には、前記第１パノラマ画像の少なくとも１つの画素を二次元座標から三次元座標に変換することにより、前記第１パノラマ画像を三次元単位球面にマッピングするために使用される。

【0019】

選択可能に、前記パノラマ画像変換モジュールは、具体的には、前記回転マトリックスに基づいて前記三次元単位球面を回転させて、前記第１パノラマ画像の少なくとも１つの画素の新しい三次元座標を取得し、前記新しい三次元座標及び少なくとも１つの画素の色情報に基づいて、第２パノラマ画像を生成するために使用される。

【0020】

選択可能に、前記パノラマ画像変換モジュールは、さらに前記新しい三次元座標に基づいて、前記三次元単位球面上の前記第１パノラマ画像の少なくとも１つの画素の新しい位置を決定し、前記第１パノラマ画像の少なくとも１つの画素の色情報を前記新しい位置に追加し、前記第２パノラマ画像を生成するために使用される。

【0021】

選択可能に、前記シーンモデル生成モジュールは、具体的には、表面再構成アルゴリズムに基づいて、前記第１点群情報に対して表面再構成処理を行い、前記第１点群情報に対応するメッシュモデルを生成し、前記メッシュモデルのメッシュの位置情報及び前記第２パノラマ画像に基づいて、前記メッシュのマップを生成し、前記マップを対応する前記メッシュに設けて、前記シーンの三次元空間モデルを生成するために使用される。

【0022】

選択可能に、前記表面再構成アルゴリズムは、ポアソン（Ｐｏｓｓｉｏｎ）表面再構成アルゴリズムを含み、前記メッシュは、三角形メッシュ及び四角形メッシュを含む。

【0023】

本開示の実施例の第３態様によれば、電子機器が提供され、前記電子機器は、
コンピュータプログラム製品を記憶するためのメモリと、
前記メモリに記憶されたコンピュータプログラム製品を実行し、前記コンピュータプログラム製品が実行されると、上記のいずれかの実施例に記載のシーン空間モデルを構築するための方法を実現するためのプロセッサとを備える。

【0024】

本開示の実施例の第４態様によれば、コンピュータプログラム命令を記憶しており、当該コンピュータプログラム命令がプロセッサに実行されると、上記のいずれかの実施例に記載のシーン空間モデルを構築するための方法を実現するコンピュータ可読記憶媒体が提供される。

【0025】

本開示の実施例の第５態様によれば、コンピュータプログラム命令を含み、当該コンピュータプログラム命令がプロセッサに実行されると、上記のいずれかの実施例に記載のシーン空間モデルを構築するための方法を実現するコンピュータプログラム製品が提供される。

【発明の効果】

【0026】

本開示の上記実施例によって提供されるシーン空間モデルを構築するための方法、装置及び記憶媒体に基づき、定点型奥行き撮影機器及び移動型点群収集機器の特徴を統合して、シーン空間モデルを生成することができ、撮影過程における異なる点のスプライシング誤差を減らし、既存のシーン空間モデル構築方法では累積誤差が容易に導入され、シーン空間モデルに深刻な歪みが生じるという問題を効果的に解決することができ、撮影効率を向上させ、撮影機器に対する要件を下げ、シーン空間モデルのモデリング効率及び精度を向上させることができ、より優れたＶＲ表示エクスペリエンスをユーザに提供し、ユーザのエクスペリエンスを向上させることができる。

【0027】

以下、図面と実施例を通じて本開示の実施例の技術的解決手段をさらに詳しく説明する。

【図面の簡単な説明】

【0028】

明細書の一部を構成する添付図面は、本開示の実施例を説明し、かつ説明とともに本開示の原理を解釈するために使用される。

【0029】

図面を参照し、以下の詳細な説明から本開示をより明確に理解することができる。

【0030】

【図1】本開示のシーン空間モデルを構築するための方法の１つの実施例のフローチャートである。

【図2】本開示のシーン空間モデルを構築するための方法の１つの実施例における回転マトリックスを決定するフローチャートである。

【図3】本開示のシーン空間モデルを構築するための方法の別の実施例における第１定点回転マトリックス及び第２定点回転マトリックスに基づいて回転マトリックスを決定するフローチャートである。

【図4】本開示のシーン空間モデルを構築するための方法の１つの実施例におけるシーン空間モデルを生成するフローチャートである。

【図5】本開示のシーン空間モデルを構築するための方法の１つの実施例の構造概略図である。

【図6】本開示の電子機器の１つの実施例の構造図である。

【発明を実施するための形態】

【0031】

以下では、図面を参照して本開示の各種の例示的な実施例を詳細に説明する。なお、これらの実施例に記載される部材及びステップの相対的な配置、数式、数値などは、特に明記しない限り、本開示の範囲を限定するものではない。

【0032】

同時に、説明を容易にするために、図面に示す各部分の寸法は、実際の比例関係に従って描いたものではないことが理解すべきである。

【0033】

以下に少なくとも１つの例示的な実施例に対する説明は、実際には説明的に過ぎず、本開示及びその用途又は使用に対するいかなる制限として見なされるものではない。

【0034】

当業者に知られている技術、方法及び機器については詳細に説明しない可能性があるが、適切な場合では、前記技術、方法及び機器は、明細書の一部として見なされるべきである。

【0035】

なお、類似した記号及びアルファベットが以下の添付図面で類似したアイテムを表するため、あるアイテムが１つの添付図面で定義されると、後の図面でそれをさらに討論する必要がない。

【0036】

本開示の実施例は、他の多くの汎用又は専用コンピューティングシステム環境又は構成と一緒に操作され得るコンピュータシステム／サーバーに適用することができる。コンピュータシステム／サーバーとの使用に適する、よく知られるコンピューティングシステム、環境及び／又は構成の例は、パーソナルコンピュータシステム、サーバーコンピュータシステム、シンクライアント、シッククライアント、ハンドヘルド又はラップトップ機器、マイクロプロセッサベースのシステム、セットトップボックス、プログラム可能な消費者向け電子製品、ネットワークパーソナルコンピュータ、小型コンピュータシステム、大型コンピュータシステム及び上記のいずれかのシステムを含む分散型クラウドコンピューティング技術環境などを含むが、これらに限定されない。

【0037】

コンピュータシステム／サーバーは、コンピュータシステムによって実行されるコンピュータシステム実行可能命令（プログラムモジュールなど）の一般的なコンテキストで説明されてもよい。通常、プログラムモジュールは、特定のタスクを実行したり、特定の抽象データ型を実現したりするためのルーチン、プログラム、ターゲットプログラム、コンポーネント、ロジック、データ構造などを含むことができる。コンピュータシステム／サーバーは、分散型クラウドコンピューティング環境で実施でき、分散型クラウドコンピューティング環境では、タスクは、通信ネットワークを介してリンクされたリモート処理機器によって実行される。分散型クラウドコンピューティング環境では、プログラムモジュールは、記憶機器を含むローカル又はリモートコンピューティングシステムの記憶媒体に配置されてもよい。

【0038】

出願の概要
本開示を実現する過程では、発明者は、敷地面積が広いシーンの場合、シーン空間モデルを構築する時に、累積誤差が容易に導入され、異なる点で収集された点群をスプライシングしたシーン空間モデルに深刻な歪みが生じ、したがって、新しいシーン空間モデル構築スキームが必要である。

【0039】

本開示によって提供されるシーン空間モデルを構築するための方法は、移動型点群収集機器によって収集された、ターゲットシーンのパノラマに対応する第１点群情報を取得し、定点型奥行き撮影機器によって収集された、ターゲットシーンの部分領域に対応する奥行き画像情報を取得し、第１点群情報及び第２点群情報に基づいて、グローバル座標系に対応する定点型奥行き撮影機器のカメラ座標系の回転マトリックスを決定し、奥行き画像情報に基づいて第１パノラマ画像を生成し、第１パノラマ画像を三次元単位球面にマッピングし、回転マトリックスに基づいて三次元単位球面を回転させて、第２パノラマ画像を生成し、第１点群情報及び第２パノラマ画像に基づいて、シーン空間モデルを生成することにより、シーン空間モデルの歪み現象を効果的に減少することができ、撮影効率を向上させ、撮影機器に対する要件を下げ、シーン空間モデルのモデリング効率及び精度を向上させることができ、より優れたＶＲ展示体験をユーザに提供し、ユーザのエクスペリエンスを向上させることができる。

【0040】

例示的な方法
本開示における「ステップ１」、「ステップ２」、「Ｓ１０１」、「Ｓ１０２」などのステップ番号は、異なるステップを区別するためのものだけであり、異なるステップ間の順序を表すものではなく、異なる番号を有するステップは、実行される時に順序が調整されてもよい。

【0041】

図１は本開示のシーン空間モデルを構築するための方法の１つの実施例のフローチャートであり、図１に示す方法は、次のステップを含む。

【0042】

Ｓ１０１、移動型点群収集機器によって収集された、ターゲットシーンのパノラマに対応する第１点群情報を取得する。

【0043】

幾つかの選択可能な実施例では、ターゲットシーンは、例えばスタジアム、博物館などの大規模なシーンであってもよい。移動型点群収集機器は、例えばハンドヘルドレーザースキャナーなどの様々な機器を含むことができ、移動型点群収集機器は、三次元点群情報を収集することができる。

【0044】

スタジアム、博物館などのターゲットシーンにおいて、ユーザは、移動型点群収集機器を手で持ち、通常の歩行速度でターゲットシーン内で歩き、移動型点群収集機器によってターゲットシーン内のパノラマ点群情報、即ち第１点群情報を収集する。移動型点群収集機器によって収集された情報に高解像度のカラーデータがないため、高解像度のカラー写真を提供することができない。

【0045】

Ｓ１０２、定点型奥行き撮影機器によって収集された、ターゲットシーンの部分領域に対応する奥行き画像情報を取得する。

【0046】

ここで、奥行き画像情報は、第２点群情報と対応する画像の色情報とを含む。

【0047】

幾つかの選択可能な実施例では、定点型奥行き撮影機器は、例えば奥行きカメラなどの様々な撮影機器を含むことができる。スタジアム、博物館などのターゲットシーンにおいて少なくとも１つの撮影点を設け、少なくとも１つの撮影点に奥行き撮影機器を定点奥行き撮影機器として取り付ける。少なくとも１つの定点奥行き撮影機器により、ターゲット領域内の第２点群情報と画像の色情報とを含む奥行き画像情報を収集する。定点奥行き撮影機器により、高解像度のカラーデータを収集することができ、これにより、高解像度のカラー写真を提供することができる。

【0048】

Ｓ１０３、第１点群情報及び第２点群情報に基づいて、グローバル座標系に対応する定点型奥行き撮影機器のカメラ座標系の回転マトリックスを決定する。

【0049】

ここで、グローバル座標系は、第１点群情報に対応する座標系であり、定点型奥行き撮影機器のカメラ座標系は、定点型奥行き撮影機器によって収集された点群データに対応する座標系である。

【0050】

幾つかの選択可能な実施例では、第１点群情報は、ターゲットシーンのパノラマに対応するパノラマ点群情報であり、第２点群情報は、ターゲットシーン内の部分領域の点群情報である。第１点群情報に対応する座標系をグローバル座標系に設定し、グローバル座標系における定点奥行き撮影機器の回転マトリックスを決定することにより、第１点群情報によって生成されたパノラマモデルにおける定点奥行き撮影機器の向き情報を取得することができる。

【0051】

Ｓ１０４、奥行き画像情報に基づいて第１パノラマ画像を生成し、第１パノラマ画像を三次元単位球面にマッピングする。

【0052】

幾つかの選択可能な実施例では、既存のいずれかの１つ又は複数の方法を使用し、少なくとも１つの定点型奥行き撮影機器によって収集された奥行き画像情報を第１パノラマ画像にスプライシングし、第１パノラマ画像を三次元単位球面にマッピングすることができる。

【0053】

Ｓ１０５、回転マトリックスに基づいて三次元単位球面を回転させて、第２パノラマ画像を生成する。

【0054】

Ｓ１０６、第１点群情報及び第２パノラマ画像に基づいて、シーン空間モデルを生成する。

【0055】

幾つかの選択可能な実施例では、第１点群情報を使用してグローバル空間モデルを生成し、奥行き画像情報のうちの画像の色情報を取得する。第２点群情報と第１点群情報をマッチングして、パノラマにおける定点型奥行き撮影機器の三次元位置情報を取得することにより、画像の色情報をグローバルモデルにおける対応する位置にマッピングし、シーン空間モデルを生成する。

【0056】

上記実施例におけるシーン空間モデルを構築するための方法により、定点型奥行き撮影機器と移動型点群収集機器の特徴を統合してシーン空間モデルを生成することができ、これにより、より優れた仮想現実（ＶＲ）展示体験をユーザに提供することができる。

【0057】

図２は本開示のシーン空間モデルを構築するための方法の１つの実施例における回転マトリックスを決定するフローチャートであり、図２に示す方法は、次のステップを含む。

【0058】

Ｓ２０１、少なくとも１つの定点型奥行き撮影機器によって収集された第２点群情報をスプライシングし、ターゲットシーンのパノラマに対応する第３点群情報を生成する。

【0059】

幾つかの選択可能な実施例では、既存の反復最近接点（ＩＣＰ：Ｉｔｅｒａｔｉｖｅ Ｃｌｏｓｅｓｔ Ｐｏｉｎｔｓ）アルゴリズムなどの既存の任意の１つ又は複数のスプライシング方法を使用し、第２点群情報（領域点群情報）の少なくとも一部（例えば、すべて）をスプライシングし、ターゲットシーンのパノラマに対応する第３点群情報（パノラマ点群情報）を生成することができる。

【0060】

Ｓ２０２、第３点群情報に対応する定点型奥行き撮影機器のカメラ座標系の第１定点回転マトリックスを決定する。

【0061】

幾つかの選択可能な実施例では、反復最近接点アルゴリズムによりスプライシングする場合、第３点群情報に対応する定点型奥行き撮影機器の第１定点回転マトリックスを決定することができる。

【0062】

Ｓ２０３、第１点群情報と第２点群情報との間の第２定点回転マトリックスを決定する。

【0063】

幾つかの選択可能な実施例では、手動位置決め又は点群特徴抽出、又は点群マッチングアルゴリズムなどにより、第１点群情報と第３点群情報をマッチングして、第１点群情報と第２点群情報との間の第２定点回転マトリックスを取得し、点群マッチングアルゴリズムは、反復最近接点アルゴリズムなどを含むが、これらに限定されない。

【0064】

Ｓ２０４、第１定点回転マトリックス及び第２定点回転マトリックスに基づいて、回転マトリックスを決定する。

【0065】

図３は本開示のシーン空間モデルを構築するための方法の別の実施例における第１定点回転マトリックス及び第２定点回転マトリックスに基づいて回転マトリックスを決定するフローチャートであり、図３に示す方法は、次のステップを含む。

【0066】

Ｓ３０１、第１定点回転マトリックスと第２定点回転マトリックスとの積を、定点型奥行き撮影機器に対応する第３定点回転マトリックスとして使用する。

【0067】

Ｓ３０２、点群マッチングアルゴリズムを使用し、第３定点回転マトリックスを初期値として回転マトリックスを計算する。

【0068】

ここで、点群マッチングアルゴリズムは、反復最近接点アルゴリズムなどを含む。

【0069】

１つの実施例では、ユーザは、移動型点群収集機器を手で持ち、通常の歩行速度でターゲットシーン内で歩き、移動型点群収集機器により撮影シーン全体の第１点群情報（ＧｌｏｂａｌＣｌｏｕｄとして記される）を収集する。少なくとも１つの撮影点にある定点奥行き撮影機器により、ターゲットシーン内の部分領域の第２点群情報（ｓｕｂＬｏｃａｌＣｌｏｕｄとして記される）と画像の色情報とを含む奥行き画像情報を収集する。定点奥行き撮影機器によって収集された奥行き画像データが最終的にシーン空間モデルの生成に使用されないため、複数の人が定点奥行き撮影機器を並行して使用して撮影することができ、これにより、撮影効率を向上させることができ、人々が撮影する面積が一定の閾値を超えないため、撮影過程における異なる点のスプライシング誤差を効果的に減らすことができる。

【0070】

ＧｌｏｂａｌＣｌｏｕｄに対応する座標系は、グローバル座標系であり、ＧｌｏｂａｌＣｌｏｕｄでの各ＬｏｃａｌＣｌｏｕｄの回転マトリックスを位置決めし、即ち、各撮影点で撮影されたｓｕｂＬｏｃａｌＣｌｏｕｄ（第２点群情報）をスプライシングし、ＬｏｃａｌＣｌｏｕｄを生成することにより、各々の単独の撮影点で収集された、ＬｏｃａｌＣｌｏｕｄに対するｓｕｂＬｏｃａｌＣｌｏｕｄの回転マトリックスＭ０（第１定点回転マトリックス）を取得することができる。

【0071】

手動位置決め又は点群特徴抽出、及び反復最近接点アルゴリズムなどにより、ＧｌｏｂａｌＣｌｏｕｄに対するＬｏｃａｌＣｌｏｕｄの回転マトリックスＭ1（第２定点回転マトリックス）を取得する。グローバル座標系に対する、各々の単独の撮影点にある定点型奥行き撮影機器の回転マトリックスＭ３（第３定点回転マトリックス）＝Ｍ１＊ＭＯを取得する。

【0072】

回転マトリックスＭ３を点群構成アルゴリズムの初期値、例えば反復最近接点アルゴリズムの初期値として使用し、ＧｌｏｂａｌＣｌｏｕｄでの各撮影点にある定点奥行き撮影機器の回転マトリックスＭ４を計算し、回転マトリックスＭ４に基づいてＧｌｏｂａｌＣｌｏｕｄでの各ＬｏｃａｌＣｌｏｕｄの回転マトリックスを決定することができる。

【0073】

例えば、回転マトリックスＭ４は、次のように示される。

【数1】

Ｒマトリックス（回転マトリックス）は、次の通りである。

【数2】

Ｔベクトルは、［Ｔ１ Ｔ２ Ｔ３］である。

【0074】

図４は本開示のシーン空間モデルを構築するための方法の１つの実施例におけるシーン空間モデルを生成するフローチャートであり、図４に示す方法は、次のステップを含む。

【0075】

Ｓ４０１、第１パノラマ画像の少なくとも１つの画素を二次元座標から三次元座標に変換することにより、第１パノラマ画像を三次元単位球面にマッピングする。

【0076】

Ｓ４０２、回転マトリックスに基づいて三次元単位球面を回転させて、第１パノラマ画像の少なくとも１つの画素の新しい三次元座標を取得する。

【0077】

Ｓ４０３、新しい三次元座標及び少なくとも１つの画素の色情報に基づいて、第２パノラマ画像を生成する。

【0078】

幾つかの選択可能な実施例では、新しい三次元座標に基づいて三次元単位球面上の第１パノラマ画像の少なくとも１つの画素の新しい位置を決定し、第１パノラマ画像の少なくとも１つの画素の色情報を新しい位置に追加し、第２パノラマ画像を生成する。

【0079】

Ｓ４０４、表面再構成アルゴリズムに基づいて、第１点群情報に対して表面再構成処理を行い、第１点群情報に対応するメッシュモデルを生成する。

【0080】

メッシュモデルは、三角形メッシュモデル、四角形メッシュモデルなどの多角形メッシュモデルであってもよい。

【0081】

Ｓ４０５、メッシュモデルのメッシュの位置情報及び第２パノラマ画像に基づいて、メッシュのマップを生成する。

【0082】

Ｓ４０６、マップを対応するメッシュに設けて、シーンの三次元空間モデルを生成する。表面再構成アルゴリズムは、既存のＰｏｓｓｉｏｎ表面再構成アルゴリズムなどを含むが、これらに限定されなく、メッシュは、三角形メッシュ、四角形メッシュなどを含むが、これらに限定されない。

【0083】

幾つかの選択可能な実施例では、回転マトリックスＭ４を取得することにより、ＧｌｏｂａｌＣｌｏｕｄでの定点奥行き撮影機器の位置及びカメラの向きを決定することができ、その中のＲマトリックス（回転マトリックス）は、カメラの向きであり、Ｔの３つの成分は、ＧｌｏｂａｌＣｌｏｕｄでの定点奥行き撮影機器（ｓｕｂＬｏｃａｌＣｌｏｕｄ）の三次元位置ｘ、ｙ、ｚである。

【0084】

少なくとも１つの定点奥行き撮影機器によって収集された奥行き画像情報に基づいて第１パノラマ画像を生成し、第１パノラマ画像を回転させ、即ち、第１パノラマ画像を単位球面に投影させ、Ｒマトリックスを使用して単位球を回転させ、パノラマに再投影させることにより、グローバルモードでのパノラマ画像の視角、即ち第２パノラマ画像を取得することができる。単位球面上の第１パノラマ画像の各画素の三次元座標ｐｏｉｎｔ３を様々な方法で取得することができ、例えば、関連するコードは、次のとおりである。
／／２ｄ－＞３ｄ
ｖｏｉｄＰａｎｏ２Ｃｌｏｕｄ（ｉｎｔｘ＿，ｉｎｔｙ＿，ＰｏｉｎｔＴａｐｏｉｎｔ３，ｉｎｔｒｏｗｓ，ｉｎｔｃｏｌｓ）
｛
ｆｌｏａｔＸ，ｙ，ｚ；
ｄｏｕｂｌｅ ｐｈｉ，ｔｈｅｔａ；
ｐｈｉ＝（ＭＬＰＩ＊ｙ＿）／ｒｏｗｓ；
ｐｈｉ－＝（Ｍ＿ＰＩ／２）；
ｙ＝ｓｉｎ（ｐｈｉ）；

ｔｈｅｔａ＝（２＊Ｍ＿ＰＩ＊ｘ＿）／ｃｏｌｓ；

ｉｆ（ｔｈｅｔａ＞＝１．５＊Ｍ＿ＰＩ）｛
ｘ＝ｓｉｎ（ｔｈｅｔａ）＊ｃｏｓ（ｐｈｉ）；
ｚ＝－Ｓｑｒｔ（ｌ－×＊×－ｙ＊ｙ）；
｝
ｉｆ（ｔｈｅｔａ＞＝Ｍ＿ＰＩ＊０．５＆＆ｔｈｅｔａ＜＝１．５＊Ｍ＿ＰＩ）｛
ｔｈｅｔａ－＝Ｍ＿ＰＩ；
×＝ｓｉｎ（ｔｈｅｔａ）＊ｃｏｓ（ｐｈｉ）；／／
ｚ＝ｓｇｒｔ（１－ｘ＊×－Ｙ＊ｙ）；
｝ｅｌｓｅ｛
ｔｈｅｔａ＝－ｔｈｅｔａ；
×＝ｓｉｎ（ｔｈｅｔａ）＊ｃｏｓ（ｐｈｉ）；
ｚ＝－ｓｑｒｔ（１－×＊ｘ－ｙ＊ｙ）；
｝
ｐｏｉｎｔ３．ｘ＝ｘ；
ｐｏｉｎｔ３．ｙ＝ｙ；
ｐｏｉｎｔ３．ｚ＝ｚ；
｝

【0085】

回転マトリックスＲを使用し、回転後の第１パノラマ画像の少なくとも１つの画素の新しい座標Ｒ＊ｐｏｉｎｔ３を取得する。第１パノラマ画像を単位球に投影させる演算方法の逆演算を使用し、新しいパノラマ画像における第１パノラマ画像の少なくとも１つの画素（例えば、各画素）の位置を取得し、次に元の位置の、第１パノラマ画像の少なくとも１つの画素のカラーＲＧＢ情報を新しい位置に書き込むことにより、新しい第２パノラマ画像を取得する。

【0086】

ポアソン（Ｐｏｓｓｉｏｎ）表面再構成アルゴリズムを利用し、ＧｌｏｂａｌＣｌｏｕｄ点群のメッシュモデルを生成し、第２パノラマ画像と組み合わせて、メッシュ（ｍｅｓｈ）モデルのうちの少なくとも１つのメッシュのマップを生成し、シーンのモデル再構築を完了し、シーン空間モデルを生成する。

【0087】

上記実施例におけるシーン空間モデルを構築するための方法は、シーン空間モデルの歪み現象を効果的に減少し、撮影効率を向上させ、撮影機器に対する要件を下げ、シーン空間モデルのモデリング効率及び精度を向上させることができ、より優れた仮想表示の展示体験をユーザに提供し、ユーザのエクスペリエンスを向上させることができる。

【0088】

当業者は、上記方法の実施例の全部又は一部のステップがプログラムで関連するハードウェアを指令することで完了され得ることを理解でき、前記プログラムは、コンピュータ可読記憶媒体に記憶されてもよく、当該プログラムが実行される場合、上記方法の実施例のステップが実行されるが、前記記憶媒体は、ＲＯＭ、ＲＡＭ、磁気ディスク又は光ディスク等のプログラムコードを記憶できる様々な媒体を含む。

【0089】

図５は本開示の装置の１つの実施例の構造図である。この実施例の装置は、本開示の上記の少なくとも１つの方法の実施例を実現するために使用され得る。図５に示すように、本開示は、シーン空間モデルを構築するための装置を提供する。前記装置は、第１情報取得モジュール５１、第２情報取得モジュール５２、回転マトリックス決定モジュール５３、パノラマ画像マッピングモジュール５４、パノラマ画像変換モジュール５５及びシーンモデル生成モジュール５６を備える。

【0090】

第１情報取得モジュール５１は、移動型点群収集機器によって収集された、ターゲットシーンのパノラマに対応する第１点群情報を取得する。第２情報取得モジュール５２は、定点型奥行き撮影機器によって収集された、ターゲットシーンの部分領域に対応する奥行き画像情報を取得し、奥行き画像情報が第２点群情報と対応する画像の色情報とを含む。

【0091】

回転マトリックス決定モジュール５３は、第１点群情報及び第２点群情報に基づいて、グローバル座標系に対応する定点型奥行き撮影機器のカメラ座標系の回転マトリックスを決定し、グローバル座標系が第１点群情報に対応する座標系である。パノラマ画像マッピングモジュール５４は、奥行き画像情報に基づいて第１パノラマ画像を生成し、第１パノラマ画像を三次元単位球面にマッピングする。パノラマ画像変換モジュール５５は、回転マトリックスに基づいて三次元単位球面を回転させて、第２パノラマ画像を生成する。シーンモデル生成モジュール５６は、第１点群情報及び第２パノラマ画像に基づいて、シーン空間モデルを生成する。

【0092】

幾つかの選択可能な実施例では、回転マトリックス決定モジュール５３は、少なくとも１つの定点型奥行き撮影機器によって収集された第２点群情報をスプライシングし、ターゲットシーンのパノラマに対応する第３点群情報を生成する。回転マトリックス決定モジュール５３は、第３点群情報に対応する定点型奥行き撮影機器の第１定点回転マトリックスを決定する。回転マトリックス決定モジュール５３は、第１点群情報と第２天元情報との間の第２定点回転マトリックを決定し、第１定点回転マトリックス及び第２定点回転マトリックスに基づいて、回転マトリックスを決定する。

【0093】

例えば、回転マトリックス決定モジュール５３は、予め設定された点群マッチングアルゴリズムに基づいて第１点群情報と第３点群情報をマッチングして、第１点群情報と第２点群情報との間の第２定点回転マトリックスを取得し、点群マッチングアルゴリズムが反復最近接点アルゴリズムなどを含むが、これらに限定されない。

【0094】

回転マトリックス決定モジュール５３は、第１定点回転マトリックスと第２定点回転マトリックスとの積を、定点型奥行き撮影機器に対応する第３定点回転マトリックスとして使用する。回転マトリックス決定モジュール５３は、点群マッチングアルゴリズムを使用し、第３定点回転マトリックスを初期値として回転マトリックスを計算する。

【0095】

幾つかの選択可能な実施例では、パノラマ画像マッピングモジュール５４は、第１パノラマ画像の少なくとも１つの画素を二次元座標から三次元座標に変換することにより、第１パノラマ画像を三次元単位球面にマッピングする。パノラマ画像変換モジュール５５は、回転マトリックスに基づいて三次元単位球面を回転させて、第１パノラマ画像の少なくとも１つの画素の新しい三次元座標を取得する。パノラマ画像変換モジュール５５は、新しい三次元座標及び少なくとも１つの画素の色情報に基づいて、第２パノラマ画像を生成する。

【0096】

例えば、パノラマ画像変換モジュール５５は、新しい三次元座標に基づいて、三次元単位球面上の第１パノラマ画像の少なくとも１つの画素の新しい位置を決定する。パノラマ画像変換モジュール５５は、第１パノラマ画像の少なくとも１つの画素の色情報を新しい位置に追加し、第２パノラマ画像を生成する。

【0097】

シーンモデル生成モジュール５６は、表面再構成アルゴリズムに基づいて、第１点群情報に対して表面再構成処理を行い、第１点群情報に対応するメッシュモデルを生成する。シーンモデル生成モジュール５６は、メッシュモデルのメッシュの位置情報及び第２パノラマ画像に基づいて、メッシュのマップを生成し、マップを対応するメッシュに設けて、シーンの三次元空間モデルを生成する。

【0098】

上記実施例における業務処理装置は、既存のシーン空間モデル構築方法では累積誤差が容易に導入され、シーン空間モデルに深刻な歪みが生じるという問題を効果的に解決することができ、撮影効率を向上させ、撮影機器に対する要件を下げ、シーン空間モデルのモデリング効率及び精度を向上させることができ、より優れたＶＲ展示体験をユーザに提供し、ユーザのエクスペリエンスを向上させることができる。

【0099】

図６は本開示の電子機器の１つの実施例の構造図である。図６に示すように、電子機器６１は、１つ又は複数のプロセッサ６１１とメモリ６１２とを備える。

【0100】

プロセッサ６１１は、中央処理ユニット（ＣＰＵ）、又はデータ処理能力及び／又は命令実行能力を有する他の形態の処理ユニットであってもよく、所望の機能を実行するために、電子機器６１内の他のコンポーネントを制御することができる。

【0101】

メモリ６１２は、１つ又は複数のコンピュータプログラム製品を含むことができ、コンピュータプログラム製品は、揮発性メモリ及び／又は不揮発性メモリなどの様々な形態のコンピュータ可読記憶媒体を含むことができる。揮発性メモリは、例えば、ランダムアクセスメモリ（ＲＡＭ）及び／又は高速キャッシュ（ｃａｃｈｅ）メモリなどを含むことができる。不揮発性メモリは、例えば、読み取り専用メモリ（ＲＯＭ）、ハードディスク及びフラッシュメモリなどを含むことができる。コンピュータ可読記憶媒体には、１つ又は複数のコンピュータプログラム命令が記憶されてもよく、プロセッサ６１１は、上記の本開示の各実施例におけるシーン空間モデルを構築するための方法及び／又は他の所望の機能を実現するために、プログラム命令を実行することができる。コンピュータ可読記憶媒体には、入力信号、信号成分、ノイズ成分などの様々な内容も記憶され得る。

【0102】

１つの例では、電子機器６１は、入力装置６１３及び出力装置６１４などをさらに含むことができ、これらのコンポーネントは、バスシステム及び／又は他の形態の接続機構（図示せず）が相互に接続される。また、この入力装置６１３は、例えばキーボード、マウスなどをさらに含むことができる。この出力装置６１４は、外部に様々な情報を出力することができる。この出力装置６１４は、例えば、表示器、スピーカ、プリンタ、通信ネットワーク及びそれに接続されたリモート出力機器などを含むことができる。

【0103】

当然、簡略化するために、この電子機器６１における、本開示に関連するコンポーネントの一部のみが図６に示され、バス、入力／出力インターフェースなどのコンポーネントが省略される。その他、具体的な適用状況に応じて、電子機器６１は、他の任意の適切なコンポーネントをさらに含むことができる。

【0104】

上記の方法及び機器に加えて、本開示の実施例は、プロセッサに実行されると、前記プロセッサに本明細書の上述した「例示的な方法」部分に記載される本開示の様々な実施例によるシーン空間モデルを構築するための方法のステップを実行させるコンピュータプログラム命令を含むコンピュータプログラム製品であってもよい。

【0105】

コンピュータプログラム製品は、本開示の実施例の操作を実行するためのプログラムコードを１つ又は複数のプログラミング言語の任意の組み合わせで書くことができ、前記プログラミング言語がＪａｖａ、Ｃ＋＋などのオブジェクト向けプログラミング言語を含み、「Ｃ」言語又は類似のプログラミング言語などの従来の手続き型プログラミング言語をさらに含む。プログラムコードがユーザのコンピューティング機器で完全に実行されたり、ユーザのコンピューティング機器で部分的に実行されたり、１つの独立したソフトウェアパッケージとして実行されたり、ユーザのコンピューティング機器で部分的に実行され、リモートコンピューティング機器で部分的に実行されたり、リモートコンピューティング機器又はサーバーで完全に実行されたりすることができる。

【0106】

また、本開示の実施例は、プロセッサに実行されると、前記プロセッサに本明細書の上述した「例示的な方法」部分に記載される本開示の様々な実施例によるシーン空間モデルを構築するための方法のステップを実行させるコンピュータプログラム命令を記憶するコンピュータ可読記憶媒体であってもよい。

【0107】

前記コンピュータ可読記憶媒体は、１つ又は複数の可読媒体のいずれかの組み合わせであってもよい。可読媒体は、可読信号媒体又は可読記憶媒体であってもよい。可読記憶媒体は、例えば、電気、磁気、光、電磁、赤外線、又は半導体のシステム、装置又はデバイス、又はそれらの任意の組み合わせであってもよい。可読記憶媒体のより具体的な例（非網羅的リスト）は、１つ又は複数本の導線を有する電気接続、ポータブルディスク、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、読み取り専用メモリ（ＲＯＭ）、消去可能なプログラマブル読み取り専用メモリ（ＥＰＲＯＭ又はフラッシュメモリ）、光ファイバー、ポータブルコンパクトディスク読み取り専用メモリ（ＣＤ－ＲＯＭ）、光学記憶デバイス、磁気記憶デバイス、又は上記の任意の適切な組み合わせを含む。

【0108】

以上、具体的な実施例を参照しながら本開示の基本原理を説明したが、本開示で言及される利点、優位性及び効果などが例だけであるが、これに限定されないことを指摘すべきであり、これらの利点、優位性、効果などは、本開示の各実施例に必要なものであると考えられない。また、上記開示の具体的な詳細は、例を示し、及び理解を容易にするためのものだけであるが、これらに限定されず、上記の詳細は、本開示が上記の具体的な詳細を用いて実現されるように制限されるものではない。

【0109】

上記実施例におけるシーン空間モデルを構築するための方法、装置及び電子機器、記憶媒体では、定点型奥行き撮影機器と移動型点群収集機器の特徴を統合してシーン空間モデルを生成することができ、撮影過程における異なる点のスプライシング誤差を減らし、既存のシーン空間モデル構築方法では累積誤差が容易に導入され、シーン空間モデルに深刻な歪みが生じるという問題を効果的に解決することができ、撮影効率を向上させ、撮影機器に対する要件を下げ、シーン空間モデルのモデリング効率及び精度を向上させることができ、より優れたＶＲ展示体験をユーザに提供し、ユーザのエクスペリエンスを向上させることができる。

【0110】

本明細書における少なくとも１つの実施例は、逓進的に説明されており、各実施例において主に説明される内容は、他の実施形態との相違点であり、各実施例の間の類似する部分については、相互に参照すればよい。システムの実施例は、基本的に方法の実施例に対応するため、簡単に説明され、関連する内容については、方法の実施例の説明の一部を参照すればよい。

【0111】

本開示の方法及び装置は、多くの方式で実現され得る。例えば、本開示の方法及び装置は、ソフトウェア、ハードウェア、ファームウェア又はソフトウェア、ハードウェア、ファームウェアの任意の組み合わせで実現され得る。前記方法のためのステップの上記順序は、説明のためのものに過ぎず、本開示の方法のステップは、特に明記しない限り、以上で具体的に説明した順序に限定されない。また、幾つかの実施例では、本開示は、記録媒体に記録されたプログラムとして実施されることもでき、これらのプログラムは、本開示による方法を実現するための機械可読命令を含む。したがって、本開示は、本開示による方法を実行するためのプログラムを記憶した記憶媒体も含む。

【0112】

本開示の説明は、例示及び説明のために与えられたものであり、網羅的であること又は本開示を開示された形態に限定することを意図したものではない。多くの修正及び変形は、当業者にとって明らかである。実施例は、本開示の原理及び実際の用途をよりよく説明し、当業者が本開示を理解できるために、特定の用途に適した様々な修正を伴う様々な実施例を設計するために選択及び説明される。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【手続補正書】

【提出日】2024-06-20

【手続補正1】

【補正対象書類名】特許請求の範囲

【補正対象項目名】全文

【補正方法】変更

【補正の内容】

【特許請求の範囲】

【請求項1】

シーン空間モデルを構築するための方法であって、
移動型点群収集機器によって収集された、ターゲットシーンに対応する第１点群情報を取得するステップと、
定点型奥行き撮影機器によって収集された、前記ターゲットシーンの部分領域に対応する奥行き画像情報を取得するステップであって、前記奥行き画像情報は、第２点群情報と対応する画像の色情報とを含むステップと、
前記第１点群情報及び前記第２点群情報に基づいて、グローバル座標系に対応する前記定点型奥行き撮影機器のカメラ座標系の回転マトリックスを決定するステップであって、前記グローバル座標系は、前記第１点群情報に対応する座標系であるステップと、
前記奥行き画像情報に基づいて第１パノラマ画像を生成し、前記第１パノラマ画像を三次元単位球面にマッピングするステップと、
前記回転マトリックスに基づいて前記三次元単位球面を回転させて、第２パノラマ画像を生成するステップと、
前記第１点群情報及び前記第２パノラマ画像に基づいて、シーン空間モデルを生成するステップとを含むことを特徴とする、シーン空間モデルを構築するための方法。

【請求項2】

前記第１点群情報及び前記第２点群情報に基づいて、グローバル座標系に対応する前記定点型奥行き撮影機器のカメラ座標系の回転マトリックスを決定する前記ステップは、
各定点型奥行き撮影機器によって収集された第２点群情報をスプライシングし、前記ターゲットシーンのパノラマに対応する第３点群情報を生成するステップと、
前記第３点群情報に対応する前記定点型奥行き撮影機器のカメラ座標系の第１定点回転マトリックスを決定するステップと、
前記第１点群情報と前記第２点群情報との間の第２定点回転マトリックスを決定するステップと、
前記第１定点回転マトリックス及び前記第２定点回転マトリックスに基づいて、前記回転マトリックスを決定するステップとを含むことを特徴とする、請求項１に記載の方法。

【請求項3】

前記第１点群情報と前記第２点群情報との間の第２定点回転マトリックスを決定する前記ステップは、
予め設定された点群マッチングアルゴリズムに基づいて、前記第１点群情報と前記第３点群情報をマッチングして、前記第１点群情報と前記第２点群情報との間の第２定点回転マトリックスを取得するステップを含み、
ここで、前記点群マッチングアルゴリズムは、ＩＣＰアルゴリズムを含むことを特徴とする、請求項２に記載の方法。

【請求項4】

前記第１定点回転マトリックス及び前記第２定点回転マトリックスに基づいて、前記回転マトリックスを決定する前記ステップは、
前記第１定点回転マトリックスと前記第２定点回転マトリックスとの積を、前記定点型奥行き撮影機器に対応する第３定点回転マトリックスとして使用するステップと、
前記点群マッチングアルゴリズムを使用し、前記第３定点回転マトリックスを初期値として前記回転マトリックスを計算するステップとを含むことを特徴とする、請求項２に記載の方法。

【請求項5】

前記第１パノラマ画像を三次元単位球面にマッピングする前記ステップは、
前記第１パノラマ画像の各画素を二次元座標から三次元座標に変換することにより、前記第１パノラマ画像を三次元単位球面にマッピングするステップを含むことを特徴とする、請求項１に記載の方法。

【請求項6】

前記回転マトリックスに基づいて前記三次元単位球面を回転させて、第２パノラマ画像を生成する前記ステップは、
前記回転マトリックスに基づいて前記三次元単位球面を回転させて、前記第１パノラマ画像の各画素の新しい三次元座標を取得するステップと、
前記新しい三次元座標及び各画素の色情報に基づいて、第２パノラマ画像を生成するステップとを含むことを特徴とする、請求項１に記載の方法。

【請求項7】

前記新しい三次元座標及び各画素の色情報に基づいて、第２パノラマ画像を生成する前記ステップは、
前記新しい三次元座標に基づいて、前記三次元単位球面上の前記第１パノラマ画像の各画素の新しい位置を決定するステップと、
前記第１パノラマ画像の各画素の色情報を前記新しい位置に追加し、前記第２パノラマ画像を生成するステップとを含むことを特徴とする、請求項６に記載の方法。

【請求項8】

前記第１点群情報及び前記第２パノラマ画像に基づいて、シーン空間モデルを生成する前記ステップは、
表面再構成アルゴリズムに基づいて、前記第１点群情報に対して表面再構成処理を行い、前記第１点群情報に対応するメッシュモデルを生成するステップと、
前記メッシュモデルのメッシュの位置情報及び前記第２パノラマ画像に基づいて、前記メッシュのマップを生成するステップと、
前記マップを対応する前記メッシュに設けて、前記シーンの三次元空間モデルを生成するステップとを含むことを特徴とする、請求項１に記載の方法。

【請求項9】

シーン空間モデルを構築するための装置であって、
移動型点群収集機器によって収集された、ターゲットシーンに対応する第１点群情報を取得するための第１情報取得モジュールと、
定点型奥行き撮影機器によって収集された、前記ターゲットシーンの部分領域に対応する奥行き画像情報を取得するために使用され、前記奥行き画像情報は、第２点群情報と対応する画像の色情報とを含む第２情報取得モジュールと、
前記第１点群情報及び前記第２点群情報に基づいて、グローバル座標系に対応する前記定点型奥行き撮影機器のカメラ座標系の回転マトリックスを決定するために使用され、前記グローバル座標系は、前記第１点群情報に対応する座標系である回転マトリックス決定モジュールと、
前記奥行き画像情報に基づいてなく第１パノラマ画像を生成し、前記第１パノラマ画像を三次元単位球面にマッピングするためのパノラマ画像マッピングモジュールと、
前記回転マトリックスに基づいて前記三次元単位球面を回転させて、第２パノラマ画像を生成するためのパノラマ画像変換モジュールと、
前記第１点群情報及び前記第２パノラマ画像に基づいて、シーン空間モデルを生成するためのシーンモデル生成モジュールとを備えることを特徴とする、シーン空間モデルを構築するための装置。

【請求項10】

コンピュータプログラムを記憶しているコンピュータ可読記憶媒体であって、
当該コンピュータプログラムが実行されると、上記の請求項１から８のいずれか一項に記載の方法を実現することを特徴とするコンピュータ可読記憶媒体。

【国際調査報告】