特表 2024-506879 仮想表現を提示するための方法及び装置、コンピュータ機器及び記憶媒体

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2024-02-15

(54)【発明の名称】仮想表現を提示するための方法及び装置、コンピュータ機器及び記憶媒体

(51)【国際特許分類】

   G06T 19/00 20110101AFI20240207BHJP

   G06T 15/04 20110101ALI20240207BHJP

   G06T 15/20 20110101ALI20240207BHJP

【ＦＩ】

G06T19/00 A

G06T15/04

G06T15/20 500

【審査請求】有

【予備審査請求】未請求

(21)【出願番号】P 2023547498

(86)(22)【出願日】2021-06-30

(85)【翻訳文提出日】2023-09-20

(86)【国際出願番号】 CN2021103835

(87)【国際公開番号】W WO2022166092

(87)【国際公開日】2022-08-11

(31)【優先権主張番号】202110171986.9

(32)【優先日】2021-02-05

(33)【優先権主張国・地域又は機関】CN

(81)【指定国・地域】

【公序良俗違反の表示】

（特許庁注：以下のものは登録商標）

１．ＯｐｅｎＧＬ

(71)【出願人】

【識別番号】522019454

【氏名又は名称】リアルシー・（ベイジン）・テクノロジー・カンパニー・リミテッド

【氏名又は名称原語表記】ＲＥＡＬＳＥＥ（ＢＥＩＪＩＮＧ）ＴＥＣＨＮＯＬＯＧＹ ＣＯ．，ＬＴＤ．

(74)【代理人】

【識別番号】100107456

【弁理士】

【氏名又は名称】池田 成人

(74)【代理人】

【識別番号】100162352

【弁理士】

【氏名又は名称】酒巻 順一郎

(74)【代理人】

【識別番号】100123995

【弁理士】

【氏名又は名称】野田 雅一

(72)【発明者】

【氏名】バイ， ジエ

(72)【発明者】

【氏名】ジュ， イ

(72)【発明者】

【氏名】タオ， ニン

(72)【発明者】

【氏名】グオ， フェン

【テーマコード（参考）】

5B050

5B080

【Ｆターム（参考）】

5B050AA03

5B050BA06

5B050BA09

5B050BA11

5B050BA13

5B050CA07

5B050CA08

5B050DA04

5B050EA06

5B050EA09

5B050EA12

5B050EA19

5B050EA26

5B050FA02

5B050FA05

5B080AA00

5B080BA00

5B080CA00

5B080FA02

5B080GA11

5B080GA22

(57)【要約】

本出願は、実空間の仮想表現を提示するための方法及び装置、コンピュータ機器、記憶媒体及びコンピュータプログラム製品を提供する。この方法は、複数のカラー画像と、複数のカラー画像にそれぞれ対応する複数の奥行き画像とを取得するステップと、複数の観測点のうちの任意の観測点について、その観測点に対応するカラー画像とそのカラー画像に対応する奥行き画像とを重畳して重畳画像を得るステップと、複数の観測点に対応する各重畳画像を仮想空間内の複数の球体にそれぞれマッピングするステップと、複数の球体の各頂点に対して空間変換を仮想空間内で行うステップと、任意の球体の任意の頂点に対して、空間編集及び着色処理を行うことにより、実空間の対応するローカルシーンの仮想空間における対応する仮想表現を得て提示するステップと、を含む。
【代表図】図１

【特許請求の範囲】

【請求項1】

実空間の仮想表現を提示するための方法であって、
複数のカラー画像と、前記複数のカラー画像にそれぞれ対応する複数の奥行き画像とを取得するステップであって、前記複数のカラー画像は、前記実空間内の複数の観測点で観測された前記実空間の対応するローカルシーンに対応しており、前記複数の奥行き画像は、前記対応するローカルシーンの奥行き情報をそれぞれ含むステップと、
任意の前記観測点について、前記複数のカラー画像のうちのその観測点に対応するカラー画像と前記複数の奥行き画像のうちのそのカラー画像に対応する奥行き画像とを重畳し、重畳画像を得るステップと、
前記複数の観測点に対応する重畳画像を仮想空間内の複数の球体にそれぞれマッピングして、任意の前記球体が前記複数の観測点のうちの１つの対応する観測点に対応し、複数の頂点を含み、任意の前記頂点が対応する色情報と対応する奥行き情報とを有するステップと、
前記実空間内の前記複数の観測点間の相対的な空間関係に基づいて、前記複数の球体の各頂点に対して空間変換を仮想空間内で行うステップと、
任意の前記球体の任意の前記頂点について、その頂点の奥行き情報に基づいてその頂点に対して空間編集を行うステップと、
任意の前記球体の任意の前記頂点について、その頂点の色情報に基づいて、その頂点に対して着色処理を行うことにより、前記実空間の対応するローカルシーンの前記仮想空間における対応する仮想表現を得て提示するステップと、を含む実空間の仮想表現を提示するための方法。

【請求項2】

その頂点の奥行き情報に基づいて、その頂点に対して空間編集を行う上記のステップは、
その頂点の座標をその頂点の法線方向に沿ってオフセット距離だけ移動させるステップであって、前記オフセット距離は、その頂点の奥行き情報に対応するステップを含む請求項１に記載の方法。

【請求項3】

その頂点の奥行き情報に基づいて、その頂点に対して空間編集を行う上記のステップは、
その頂点の座標を移動させる前に、
その頂点の奥行き情報を取得するステップと、
前記奥行き情報に示される奥行き値を正規化するステップと、
正規化された奥行き値に、その頂点が位置する球体の半径を乗算し、前記オフセット距離を得るステップと、をさらに含む請求項２に記載の方法。

【請求項4】

前記実空間内の前記複数の観測点間の相対的な空間関係に基づいて、前記複数の球体の各頂点に対して空間変換を前記仮想空間内で行う上記のステップは、
任意の前記球体の任意の前記頂点に対して、
空間変換マトリックスを使用し、その頂点の座標に対して空間変換を行うステップであって、前記空間変換には、スケーリング、回転及び平行移動からなる群から選択される少なくとも１つが含まれるステップを含む請求項１に記載の方法。

【請求項5】

前記空間変換には、回転が含まれ、前記回転の角度は、その頂点が位置する球体に対応する観測点で観測された前記ローカルシーンと前記複数の観測点のうちの他の観測点で観測されたローカルシーンとの重ね合わせ程度に基づくものである請求項４に記載の方法。

【請求項6】

前記空間変換には、平行移動が含まれ、前記平行移動の距離は、その頂点が位置する球体に対応する観測点と前記複数の観測点のうちの他の観測点との間の相対的な空間位置に基づくものである請求項４に記載の方法。

【請求項7】

その頂点の色情報に基づいて、その頂点に対して着色処理を行う上記のステップは、
その頂点の色情報とその頂点の座標とをフラグメントシェーダに入力し、前記着色処理を行うステップを含む請求項１に記載の方法。

【請求項8】

前記対応する仮想表現のうちの第１仮想表現をビュー内に提示するステップであって、前記第１仮想表現は、前記複数の観測点のうちの現在の観測点に対応するステップをさらに含む請求項１に記載の方法。

【請求項9】

前記現在の観測点から前記複数の観測点のうちの別の観測点への移動を示すユーザ操作の検出に応答して、前記対応する仮想表現のうちの第２仮想表現を提示するために前記ビューを更新するステップであって、前記第２仮想表現は、前記別の観測点に対応するステップをさらに含む請求項８に記載の方法。

【請求項10】

その頂点の奥行き情報に基づいて、その頂点に対して空間編集を行う上記のステップは、前記複数の球体の各頂点に対して空間変換を前記仮想空間で行う上記のステップの前に実行される請求項１に記載の方法。

【請求項11】

前記複数の球体は、同じ半径を有する請求項１に記載の方法。

【請求項12】

複数のカラー画像と、前記複数のカラー画像にそれぞれ対応する複数の奥行き画像とを取得する上記のステップは、
サーバーから前記複数のカラー画像と前記複数の奥行き画像とを受信するステップを含む請求項１～請求項１１のいずれか１項に記載の方法。

【請求項13】

複数のカラー画像と、前記複数のカラー画像にそれぞれ対応する複数の奥行き画像とを取得する上記のステップの前に、
複数のグループのオリジナルカラー画像を取得するステップであって、任意のグループのオリジナルカラー画像は、前記複数の観測点のうちの1つの対応する観測点で異なる方向から収集されたカラー画像であるステップと、
任意のグループのオリジナルカラー画像を対応する単一の合成カラー画像に合成し、前記対応する観測点で観測された前記実空間のローカルシーンに対応するカラー画像として用いるステップと、をさらに含む請求項１～請求項１１のいずれか１項に記載の方法。

【請求項14】

任意のグループのオリジナルカラー画像は、前記対応する観測点で上、下、左、右、前、後の６つの方向からそれぞれ収集された前記実空間の６枚のカラー画像を含む請求項１３に記載の方法。

【請求項15】

任意のグループのオリジナルカラー画像を対応する単一の合成カラー画像に合成する上記のステップは、
ガウスクルーガー投影によりこのグループのオリジナルカラー画像を前記合成カラー画像に合成するステップを含む請求項１４に記載の方法。

【請求項16】

複数のカラー画像と、前記複数のカラー画像にそれぞれ対応する複数の奥行き画像とを取得する上記のステップの前に、
複数のグループのオリジナル奥行き画像を取得するステップであって、任意のグループのオリジナル奥行き画像は、前記複数の観測点のうちの１つの対応する観測点で異なる方向から収集された奥行き画像であるステップと、
任意のグループのオリジナル奥行き画像を対応する単一の合成奥行き画像に合成し、前記対応する観測点で観測された前記実空間のローカルシーンに対応する奥行き情報を含む奥行き画像として用いるステップと、をさらに含む請求項１３に記載の方法。

【請求項17】

実空間の仮想表現を提示するための装置であって、
複数のカラー画像と、複数のカラー画像にそれぞれ対応する複数の奥行き画像とを取得するように構成される画像取得ユニットであって、複数のカラー画像は、実空間内の複数の観測点で観測された実空間の対応するローカルシーンに対応し、複数の奥行き画像は、対応するローカルシーンの奥行き情報をそれぞれ含む画像取得ユニットと、
任意の観測点について、複数のカラー画像のうちのその観測点に対応するカラー画像と複数の奥行き画像のうちのそのカラー画像に対応する奥行き画像とを重畳し、重畳画像を得るように構成される画像重畳ユニットと、
複数の観測点に対応する重畳画像を仮想空間内の複数の球体にそれぞれマッピングして、任意の球体が複数の観測点のうちの１つの対応する観測点に対応し、複数の頂点を含み、任意の頂点が対応する色情報と対応する奥行き情報とを有するように構成されるマッピングユニットと、
実空間内の複数の観測点間の相対的な空間関係に基づいて、複数の球体の各頂点に対して空間変換を仮想空間内で行うように構成される空間変換ユニットと、
任意の球体の任意の頂点について、その頂点の奥行き情報に基づいて、その頂点に対して空間編集を行うように構成される頂点編集ユニットと、
任意の球体の任意の頂点について、その頂点の色情報に基づいて、その頂点に対して着色処理を行うことにより、実空間の対応するローカルシーンの仮想空間における対応する仮想表現を得て提示するように構成される着色ユニットと
を含む実空間の仮想表現を提示するための装置。

【請求項18】

前記頂点編集ユニットは、さらに、その頂点の座標をその頂点の法線方向に沿ってオフセット距離だけ移動させ、前記オフセット距離は、その頂点の奥行き情報に対応するように構成される
請求項１７に記載の装置。

【請求項19】

前記頂点編集ユニットは、さらに、
編集待ち頂点の奥行き情報を取得し、
前記奥行き情報に示される奥行き値を正規化し、
正規化された奥行き値に、その頂点が位置する球体の半径を乗算し、前記オフセット距離を得るように構成される
請求項１８に記載の装置。

【請求項20】

前記空間変換ユニットは、さらに、
任意の前記球体の任意の前記頂点に対して、空間変換マトリックスを使用し、その頂点の座標に対して空間変換を行い、前記空間変換には、スケーリング、回転及び平行移動からなる群から選択される少なくとも１つが含まれるように構成される
請求項１７に記載の装置。

【請求項21】

前記空間変換ユニットには、回転ユニットが含まれ、
前記回転ユニットは、回転マトリックスを使用し、前記頂点の座標に対して回転を行い、前記回転の角度は、その頂点が位置する球体に対応する観測点で観測された前記ローカルシーンと前記複数の観測点のうちの他の観測点で観測されたローカルシーンとの重ね合わせ程度に基づくものであるように構成される
請求項２０に記載の装置。

【請求項22】

前記空間変換ユニットには、平行移動ユニットが含まれ、
前記平行移動ユニットは、平行移動マトリックスを使用し、前記頂点の座標に対して平行移動を行い、前記平行移動の距離は、その頂点が位置する球体に対応する観測点と前記複数の観測点のうちの他の観測点との間の相対的な空間位置に基づくものであるように構成される
請求項２０に記載の装置。

【請求項23】

前記着色ユニットは、さらに、その頂点の色情報とその頂点の座標とをフラグメントシェーダに入力し、前記着色処理を行うように構成される
請求項１７に記載の装置。

【請求項24】

さらに、ビュー提示ユニットが含まれ、
前記ビュー提示ユニットは、前記対応する仮想表現のうちの第１仮想表現をビュー内に提示し、前記第１仮想表現は、前記複数の観測点のうちの現在の観測点に対応するように構成される
請求項１7に記載の装置。

【請求項25】

前記ビュー提示ユニットは、さらに、
前記現在の観測点から前記複数の観測点のうちの別の観測点への移動を示すユーザ操作の検出に応答して、前記対応する仮想表現のうちの第２仮想表現を提示するために前記ビューを更新し、前記第２仮想表現は、前記別の観測点に対応するように構成される
請求項２４に記載の装置。

【請求項26】

前記画像取得ユニットは、さらに、サーバーから前記複数のカラー画像と前記複数の奥行き画像とを受信するように構成される
請求項１７～請求項２５のいずれか１項に記載の装置。

【請求項27】

さらに、画像合成ユニットが含まれ、
前記画像合成ユニットは、
複数のグループのオリジナルカラー画像を取得し、任意のグループのオリジナルカラー画像は、前記複数の観測点のうちの1つの対応する観測点で異なる方向から収集されたカラー画像であり、
任意のグループのオリジナルカラー画像を対応する単一の合成カラー画像に合成し、前記対応する観測点で観測された前記実空間のローカルシーンに対応するカラー画像として用いるように構成される
請求項１７～請求項２５のいずれか１項に記載の装置。

【請求項28】

前記画像合成ユニットは、さらに、
複数のグループのオリジナル奥行き画像を取得し、任意のグループのオリジナル奥行き画像は、前記複数の観測点のうちの１つの対応する観測点で異なる方向から収集された奥行き画像であり、
任意のグループのオリジナル奥行き画像を対応する単一の合成奥行き画像に合成し、前記対応する観測点で観測された前記実空間のローカルシーンに対応する奥行き情報を含む奥行き画像として用いるように構成される
請求項２７に記載の装置。

【請求項29】

コンピュータ機器であって、メモリと、プロセッサと、前記メモリに記憶されたコンピュータプログラムとを含み、
ここで、前記プロセッサは、前記コンピュータプログラムを実行して、請求項１～１６のいずれか１項に記載の方法のステップを実現するように構成されるコンピュータ機器。

【請求項30】

コンピュータプログラムが記憶されており、前記コンピュータプログラムがプロセッサに実行されると請求項１～１６のいずれか１項に記載の方法のステップを実現する非一時的なコンピュータ可読記憶媒体。

【請求項31】

コンピュータプログラムを含むコンピュータプログラム製品であって、前記コンピュータプログラムがプロセッサによって実行されると、請求項１～請求項１６のいずれか１項に記載の方法のステップを実現するコンピュータプログラム製品。

【発明の詳細な説明】

【関連出願の相互参照】

【0001】

[0001]本出願は、２０２１年２月５日に出願された中国特許出願第ＣＮ２０２１１０１７１９８６．９号の優先権を主張し、その内容は、すべての目的のためにその全体が参照により本明細書に組み込まれている。

【技術分野】

【0002】

[0002]本開示は、仮想現実（ＶＲ）技術に関し、特に実空間の仮想表現を提示するための方法及び装置、コンピュータ機器、記憶媒体及びコンピュータプログラム製品に関する。

【背景技術】

【0003】

[0003]仮想現実技術は、多くの分野に適用されている。例えば、この技術は、実空間（例えば、販売／賃貸用住宅）のインテリアシーンを表示するために使用されており、ユーザは、実空間内の様々な情報を直感的に理解することができる。現在の登場されている、実空間を提示するための技術では、仮想現実画像を生成するために実空間を３次元モデリングする必要がある。３次元モデリングプロセスは、複雑であるため、多くの演算能力と処理時間が必要になる。また、３次元モデルを生成する前に、この仮想現実画像を見ることができない。

【0004】

[0004]これは、以下の問題を引き起こすことができる：１、仮想現実画像をオンラインで見る場合、ユーザは、長時間待つ必要があり、ユーザエクスペリエンスが悪い。２、３次元モデルを正しく生成できないと、仮想現実画像を生成することができなく、実用性が低い。

【発明の概要】

【0005】

[0005]上記問題のうちの１つ又は複数を緩和、軽減、又はさらには解消するためのメカニズムを提供することが有利である。

【0006】

[0006]本開示の一態様による実空間の仮想表現を提示するための方法は、複数のカラー画像と、複数のカラー画像にそれぞれ対応する複数の奥行き画像とを取得するステップであって、複数のカラー画像は、実空間内の複数の観測点で観測された実空間の対応するローカルシーンに対応し、複数の奥行き画像は、対応するローカルシーンの奥行き情報をそれぞれ含むステップと、任意の観測点について、複数のカラー画像のうちのその観測点に対応するカラー画像と複数の奥行き画像のうちのそのカラー画像に対応する奥行き画像とを重畳し、重畳画像を得るステップと、複数の観測点に対応する重畳画像を仮想空間内の複数の球体にそれぞれマッピングして、任意の球体が複数の観測点のうちの１つの対応する観測点に対応し、複数の頂点を含み、任意の頂点が対応する色情報と対応する奥行き情報とを有するステップと、実空間内の複数の観測点間の相対的な空間関係に基づいて、複数の球体の各頂点に対して空間変換を仮想空間で行うステップと、任意の球体の任意の頂点について、その頂点の奥行き情報に基づいて、その頂点に対して空間編集を行うステップと、任意の球体の任意の頂点について、その頂点の色情報に基づいて、その頂点に対して着色処理を行うことにより、実空間の対応するローカルシーンの仮想空間における対応する仮想表現を得て提示するステップと、を含む。

【0007】

[0007]本開示の別の態様による実空間の仮想表現を提示するための装置は、複数のカラー画像と、複数のカラー画像にそれぞれ対応する複数の奥行き画像とを取得するように構成される画像取得ユニットであって、複数のカラー画像は、実空間内の複数の観測点で観測された実空間の対応するローカルシーンに対応し、複数の奥行き画像は、対応するローカルシーンの奥行き情報をそれぞれ含む画像取得ユニットと、任意の観測点について、複数のカラー画像のうちのその観測点に対応するカラー画像と複数の奥行き画像のうちのそのカラー画像に対応する奥行き画像とを重畳し、重畳画像を得るように構成される画像重畳ユニットと、複数の観測点に対応する重畳画像を仮想空間内の複数の球体にそれぞれマッピングして、任意の球体が複数の観測点のうちの１つの対応する観測点に対応し、複数の頂点を含み、任意の頂点が対応する色情報と対応する奥行き情報とを有するように構成されるマッピングユニットと、実空間内の複数の観測点間の相対的な空間関係に基づいて、複数の球体の各頂点に対して空間変換を仮想空間内で行うように構成される空間変換ユニットと、任意の球体の任意の頂点について、その頂点の奥行き情報に基づいて、その頂点に対して空間編集を行うように構成される頂点編集ユニットと、任意の球体の任意の頂点について、その頂点の色情報に基づいて、その頂点に対して着色処理を行うことにより、実空間の対応するローカルシーンの仮想空間における対応する仮想表現を得て提示するように構成される着色ユニットと、を含む。

【0008】

[0008]本開示のさらなる別の態様によるコンピュータ機器は、メモリと、プロセッサと、メモリに記憶されたコンピュータプログラムとを含み、プロセッサは、コンピュータプログラムを実行して上記方法のステップを実現するように構成される。

【0009】

[0009]本開示のさらなる別の態様による非一時的なコンピュータ可読記憶媒体は、コンピュータプログラムが記憶されており、コンピュータプログラムがプロセッサによって実行されると上記方法のステップを実現する。

【0010】

[0010]本開示のさらなる別の態様によるコンピュータプログラム製品は、コンピュータプログラムを含み、コンピュータプログラムがプロセッサによって実行されると上記方法のステップを実現する。

【0011】

[0011]本開示のこれら及び他の態様は、以下に説明される実施例から明らかであり、以下に記載される実施例を参照して説明される。

【図面の簡単な説明】

【0012】

[0012]以下、本開示のさらなる詳細、特徴及び利点は、添付の図面を参照して、例示的な実施例の以下の説明において開示される。添付の図面は次の通りである：

【0013】

【図1】[0013]例示的な実施例による実空間の仮想表現を提示するための方法のフローチャートである。

【0014】

【図2A】[0014]例示的な実施例による図１の方法で取得された例示的なカラー画像及び例示的な奥行き画像をそれぞれ示す図である。

【図2B】[0014]例示的な実施例による図１の方法で取得された例示的なカラー画像及び例示的な奥行き画像をそれぞれ示す図である。

【0015】

【図3】[0015]例示的な実施例による図１の方法で複数の観測点に対応する重畳画像を仮想空間内の複数の球体にそれぞれマッピングすることによって得られる例示的な画像を示す図である。

【0016】

【図4】[0016]図３の複数の球体を回転及び平行移動することによって得られる例示的な画像を示す図である。

【0017】

【図5】[0017]図４の任意の球体の頂点に対して空間編集を行うことによって得られる例示的な画像を示す図である。

【0018】

【図6】[0018]図３の各観測点に対応する球体の頂点に対して空間編集を行った後の例示的な画像を示す図である。

【0019】

【図7】[0019]別の例示的な実施例による実空間の仮想表現を提示するための方法のフローチャートである。

【0020】

【図8】[0020]例示的な実施例によるユーザが仮想表現画像を見る期間にビューウィンドウによって提示される例示的なビューを示す図である。

【0021】

【図9】[0021]例示的な実施例によるユーザが観測点を切り替えた後にビューウィンドウによって提示される例示的なビューを示す図である。

【0022】

【図10】[0022]例示的な実施例によるユーザが観測点を切り替えた後にビューウィンドウによって提示される例示的なビューを示す図である。

【0023】

【図11】[0023]例示的な実施例による実空間の仮想表現を提示するための装置の構造ブロック図である。

【0024】

【図12】[0024]本開示の実施例を実現するために使用され得る例示的な電子機器の構造ブロック図である。

【発明を実施するための形態】

【0025】

[0025]本開示において、特に明記しない限り、「第１」、「第２」などの用語は、様々な要素を説明するために使用され、これらの要素の位置関係、タイミング関係又は重要性関係を限定することを意図するものではなく、この用語は、１つの素子を別の素子と区別することのみに使用される。幾つかの例では、第１要素と第２要素は、それらの要素の同じ実例を指してもよく、幾つかの場合、それらは、文脈の記述に基づいて異なる実例を指してもよい。

【0026】

[0026]本開示での様々な例についての説明で使用される用語は、特定の例を説明することのみを目的としており、制限することを意図するものではない。文脈で明確に示されていない限り、要素の数が特に制限されていない場合、当該要素は１つであってもよいし、複数のであってもよい。本明細書で使用される用語「複数」は、２つ以上を意味し、用語「に基づいて」は、「少なくとも部分的に基づいて」と解釈されるべきである。また、「及び／又は」及び「．．．．．．うちの少なくとも１つ」という用語は、示された項目のいずれか１つ及び全ての可能な組み合わせ方式を含む。

【0027】

[0027]以下に添付の図面を参照して本開示の例示的な実施例を詳細に説明する。

【0028】

[0028]図１は例示的な実施例による実空間の仮想表現を提示するための方法１００のフローチャートである。図１に示すように、この方法１００は、一般的にステップ１１０からステップ１６０を含み、これらは例えば仮想現実の端末機器で実行され得るが、本開示は、この点に限定されない。

【0029】

[0029]ステップ１１０において、複数のカラー画像と、複数のカラー画像にそれぞれ対応する複数の奥行き画像とを取得する。複数のカラー画像は、実空間内の複数の観測点で観測された実空間の対応するローカルシーンに対応し、複数の奥行き画像は、対応するローカルシーンの奥行き情報をそれぞれ含む。

【0030】

[0030]各実施例では、実空間は、例えば住宅用建物、オフィスビル、工場、倉庫などの様々な建物内の空間であってもよい。１つの例では、画像キャプチャ機器（例えば、専門的な画像収集機器又は一般的なカメラ）と奥行きカメラとをそれぞれ使用し、実空間内の複数の観測点でパノラマ撮影を行い、上記の複数のカラー画像及び奥行き画像を収集することができる。観測点の数は、実空間の空間サイズに依存することができる。幾つかの実施形態によれば、実空間内に複数の観測点を均一に設定することができ、これにより、これらの複数の観測点から実空間のインテリアシーンの全ての細部を死角なく見ることができる。解釈を容易にするために、以下、実空間の例として、住宅用建物のスイートルームについて説明するが、本開示の実現は、実空間の具体的な種類によって限定されない。

【0031】

[0031]図２ＡはステップＳ１１０で取得された例示的なカラー画像２００Ａを示す図である。この例示的なカラー画像は、スイート内の１つの観測点で上、下、左、右、前、後ろの６つの方向からそれぞれ収集された６枚のカラー画像を合成（例えばガウス－クルーガー投影によって）することで得られた単一のカラー画像であってもよい。図２Ｂはステップ１１０で取得された例示的な奥行き画像２００Ｂを示す図である。この例示的な奥行き画像は、カラー画像２００Ａを収集するための観測点で収集された、図２Ａのカラー画像に対応する奥行き画像である。幾つかの実施形態によれば、画像キャプチャ機器と奥行きカメラによって収集されたカラー画像及び奥行き画像は、その後の使用のために仮想現実の端末機器に直接送信されてもよい。幾つかの実施形態によれば、画像キャプチャ機器と奥行きカメラによって収集されたカラー画像及び奥行き画像は、サーバーに記憶されてもよく、この場合、ユーザがある実空間の仮想表現を見るように要求すると、端末機器は、サーバーから対応するカラー画像及び奥行き画像を取得し、ユーザが見るための仮想表現画像の処理を完了することができる。

【0032】

[0032]ステップ１２０において、任意の観測点について、複数のカラー画像のうちのその観測点に対応するカラー画像と複数の奥行き画像のうちのそのカラー画像に対応する奥行き画像とを重畳し、重畳画像を得る。

【0033】

[0033]例えば、図２Ａのカラー画像２００Ａと図２Ｂの奥行き画像２００Ｂとを重畳することにより、カラー画像２００Ａと奥行き画像２００Ｂとを収集するための観測点に対応する重畳画像を得ることができる。重畳画像には、複数の画素点が含まれ、任意の画素点には、そのカラー画像における対応する画素点の色情報及びその奥行き画像における対応する画素点の奥行き情報が含まれる。重畳プロセスは、Ｗｅｂ ＧＬ／ｏｐｅｎ ＧＬなどの画像処理ソフトウアで行われてもよい。具体的には、まず、カラー画像と奥行き画像に同じ数の画素点が含まるように、カラー画像と奥行き画像を同じ解像度の２枚の画像に調整する。この調整ステップは、画像の拡大、縮小、ストレッチなどの操作によって実現されてもよい。次に、カラー画像と奥行き画像とを、カラー画像の画素点と奥行き画像の画素点とが１つずつ対応するように重ね合わせて重畳画像を得る。

【0034】

[0034]ステップ１３０において、複数の観測点に対応する重畳画像を仮想空間内の複数の球体にそれぞれマッピングして、任意の球体が複数の観測点のうちの１つの対応する観測点に対応し、複数の頂点を含み、任意の頂点が対応する色情報と対応する奥行き情報とを有する。

【0035】

[0035]幾つかの実施形態では、Ｗｅｂ ＧＬ／ｏｐｅｎ ＧＬなどの画像処理ソフトウェアを用いて仮想空間を作成し、その仮想空間内に、上記の複数の重畳画像を仮想空間で提示するための複数の球体を設けることができる。球体の数は、観測点の数と同じであり、各重畳画像は、マッピングにより対応する球体に投影され、それによって複数の球体画像が得られる。平面画像を球体に投影することは、画像処理分野の当業者によく知られている技術であるため、ここでは詳細に説明しない。

【0036】

[0036]図３を参照すると、実空間の５つの観測点に対応する各重畳画像を仮想空間の複数の球体３０１から球体３０５にそれぞれマッピングすることによって得られる例示的な画像３００が示されている。この例では、球体３０１から球体３０５は、同じ球心Ｏ１から球心Ｏ５に初期的に位置決めされ、同じ半径を有する。したがって、球体３０１から球体３０５は、図３で重ね合わせた球体として示される。幾つかの実施例では、複数の球体３０１から球体３０５の半径は、等しくなくてもよく、球心は、同じ位置になくてもよい。本開示では、複数の球体の初期半径及び球心位置は、限定されない。

【0037】

[0037]球体３０１から球体３０５上の画像は、点群の形態で仮想空間内に提示される。図３に示すように、球体３０１から球体３０５のうちの任意の球体には、複数の頂点が含まれ、任意の頂点は、対応する色情報と対応する奥行き情報とを有する。コンピュータグラフィックスでは、３次元オブジェクト（球体を含む）は、通常、三角形多面体の集合として示される。本明細書で使用される用語「頂点」は、そのような三角形多面体の幾何学的な頂点を指す。複数の頂点に対する操作により、球体の位置及び形状の調整を実現することができる。具体的には、Ｗｅｂ ＧＬ／ｏｐｅｎ ＧＬなどの画像処理ソフトウェアに組み込まれた関数によって頂点の座標及び数を決定し、球体全体の位置を正確に調整することができる。

【0038】

[0038]ステップ１４０において、実空間内の複数の観測点間の相対的な空間関係に基づいて、複数の球体の各頂点に対して空間変換を仮想空間内で行う。

【0039】

[0039]空間変換の目的は、複数の球体にマッピングされた複数の重畳画像の仮想空間における分布を、実空間内の複数の観測点間の相対的な空間関係に対応させることである。本実施例では、Ｗｅｂ ＧＬ／ｏｐｅｎ ＧＬなどの画像処理ソフトウアに組み込まれた空間変換マトリックスを呼び出し、頂点の座標に対して空間変換を行うことができる。この空間変換マトリックスの変換パラメータは、各観測点でカラー画像と奥行き画像を収集するときに決定され、後で画像処理ソフトウェアに提供するために保存されることができる。空間変換には、スケーリング、回転及び／又は平行移動が含まれてもよい。例えば、幾つかの実施例では、空間変換には、スケーリング、回転及び平行移動のうちの両者が含まれる。別の幾つかの実施例では、空間変換には、スケーリング、回転及び平行移動の三者が同時に含まれてもよい。

【0040】

[0040]図４は図３の複数の球体３０１から球体３０５を回転及び平行移動させることによって得られる例示的な画像４００を示す図である。図４に示すように、空間変換により、図３において元々重ね合わせる球体３０１から球体３０５は、現在、それぞれの異なる球心０１から球体０５に位置決めされ、球心０１から球体０５の間の相対的な空間関係は、実空間における対応する観測点間の相対的な空間関係と一致する。

【0041】

[0041]ステップ１５０において、任意の球体の任意の頂点について、その頂点の奥行き情報に基づいて、その頂点に対して空間編集を行う。

【0042】

[0042]幾つかの実施形態によれば、空間編集は、Ｗｅｂ ＧＬ／ｏｐｅｎ ＧＬなどの画像処理ソフトウアに組み込まれた頂点シェーダにより実行されてもよい。頂点シェーダは、頂点がレンダリングされるときに実行される１組の命令コードである。１つの例では、頂点シェーダは、まず球体の任意の頂点の頂点座標を取得し、次に任意の頂点の座標をその頂点の法線方向に沿ってオフセット距離だけそれぞれ移動させ、このオフセット距離がその頂点の奥行き情報に対応する。奥行き情報は、実際には観測点から実空間シーンまでの距離を表すための情報であり、したがって、奥行き情報に基づいて対応する頂点をその頂点の法線方向に沿ってそれぞれオフセットした後、実空間のインテリアシーンの輪郭形状を得ることができる。

【0043】

[0043]図５は、図４の球体３０１から球体３０５の頂点に対して空間編集を行うことによって得られる例示的な画像５００を示す図であり、球心０１から球心０５は、実空間の第１から第５の観測点をそれぞれ表す。図５から、球心０１から球心０５の間の相対的な空間関係が現在、実空間内の対応する観測点間の相対的な空間関係を反映していることが直感的に分かる。

【0044】

[0044]ステップ１４０とステップ１５０の実行順序を入れ替えることも可能である。つまり、まず任意の球体の各頂点に対して空間編集を行い、次に任意の球体の空間変換を行うことができる。図６は図３の球体３０１から球体３０５の頂点に対して空間編集を行った後に得られる例示的な画像６００を示す図である。図６に示すように、平行移動等の空間変換を行っていないため、球体３０１から球体３０５の球心０１から球心０５は、依然として同じ位置に位置決めされる。しかし、任意の球体の頂点について空間編集が行われるため（例えば、任意の頂点の座標はその頂点の法線方向に沿ってその頂点の奥行き情報に対応するオフセット距離だけ移動される）、図３において「球体」として元々示される球体３０１から球体３０５は、現在、球体ではない。仮想空間画像６００はステップ１４０に関して上述した空間変換が行われた後でも、図５に示す仮想空間画像５００を得ることができる。

【0045】

[0045]ステップ１６０において、任意の球体の任意の頂点について、その頂点の色情報に基づいて、その頂点に対して着色処理を行うことにより、実空間の対応するローカルシーンの仮想空間における対応する仮想表現を得て提示する。

【0046】

[0046]幾つかの実施形態によれば、Ｗｅｂ ＧＬ／ｏｐｅｎ ＧＬなどの画像処理ソフトウェアに組み込まれたフラグメントシェーダを使用し、球体の任意の頂点に対して着色処理を行うことができる。１つの例では、その頂点の色情報とその頂点の座標がフラグメントシェーダに入力されると、フラグメントシェーダは、この色情報に基づいて頂点を着色させ、実空間のローカルシーンの色分布を実に復元する。頂点が着色された後、実空間の最終的な仮想表現が得られる。この仮想表現は、輪郭形状及び色分布などを含む実空間上の様々なローカルシーンを反映し、端末機器でユーザに提示することができる。

【0047】

[0047]本開示の実施例によれば、実空間の複数の観測点で収集されたカラー画像と奥行き画像を処理することにより、実空間の３次元モデルを構築することなく、この実空間の仮想表現画像を得ることができる。したがって、端末機器の演算量が大幅に軽減され、仮想表現画像の生成時間が短縮される。これは、ユーザの待ち時間を短縮させ、ユーザエクスペリエンスを大幅に向上することに有利である。同時に、必要なオリジナル画像データが少なく、仮想表現画像を生成するプロセスが簡単になり、実用性が高い。

【0048】

[0048]図７は別の例示的な実施例による実空間の仮想表現を提示するための方法７００のフローチャートである。図７に示すように、方法７００は、ステップ７０１からステップ７８０を含む。

【0049】

[0049]ステップ７０１において、複数のグループのオリジナルカラー画像を取得し、任意のグループのオリジナルカラー画像が複数の観測点のうちの１つの対応する観測点で異なる方向から収集されたカラー画像である。１つの例では、任意の観測点で上、下、左、右、前、後の６つの方向から実空間の６枚のカラー画像をそれぞれ収集することができる。より多くの／より少ない方向からより多くの／より少ないカラー画像を取得することもでき、例えば、４枚、８枚、１２枚のカラー画像を収集することができることが理解でき、本開示は、この点に限定されない。

【0050】

[0050]ステップ７０２において、任意のグループのオリジナルカラー画像を対応する単一の合成カラー画像に合成し、対応する観測点で観測された実空間のローカルシーンに対応するカラー画像として用いる。各実施例では、様々な画像投影方法を使用して任意のグループの６枚のオリジナルカラー画像を同じ平面に投影し、１枚の合成したカラー画像を得ることができる。幾つかの実施形態によれば、ガウスクルーガー投影によりこのグループのオリジナルカラー画像を上記の単一の合成カラー画像に合成することができる。具体的には、まず、６つの方向のカラー画像を立方体のスカイボックスマップに組み合わせる。次に、１つの楕円柱面がスカイボックスマップの立方体の外面に嵌合され、この立方体に接し、楕円柱の中心軸が立方体の中心を通ると仮定し、次にスカイボックスマップの一定範囲内の画像を楕円柱面に投影し、この円柱面を拡張して投影面にする。他の実施形態では、他の適切な画像投影方法を使用して６枚のオリジナルカラー画像を１枚のオリジナルカラー画像に合成することもできるが、ここでは一つずつ列挙しない。

【0051】

[0051]ステップ７０３において、複数のグループのオリジナル奥行き画像を取得し、任意のグループのオリジナル奥行き画像が複数の観測点のうちの１つの対応する観測点で異なる方向から収集された奥行き画像である。ステップ７０３の操作は、奥行きカメラ（又は他の奥行きキャプチャ機器）の使用を伴うことを除いて、ステップ７０１の動作と同様であってもよい。

【0052】

[0052]ステップ７０４において、任意のグループのオリジナル奥行き画像を対応する単一の合成奥行き画像に合成し、対応する観測点で観測された実空間のローカルシーンに対応する奥行き情報を含む奥行き画像として用いる。ステップ７０４の操作は、ステップ７０２の操作と同様であってもよく、ここで説明を省略する。

【0053】

[0053]ステップ７１０において、複数のカラー画像と、複数のカラー画像にそれぞれ対応する複数の奥行き画像とを取得する。ステップ７０１の操作は、図１に関して上述したステップ１１０の操作と同じであり、簡潔にするために説明を省略する。

【0054】

[0054]ステップ７２０において、任意の観測点について、複数のカラー画像のうちのその観測点に対応するカラー画像と複数の奥行き画像のうちのそのカラー画像に対応する奥行き画像とを重畳し、重畳画像を得る。ステップ７２０の操作は、図１に関して上述したステップ１２０の操作と同じであり、簡潔にするために説明を省略する。

【0055】

[0055]ステップ７３０において、複数の観測点に対応する重畳画像を仮想空間内の複数の球体にそれぞれマッピングして、任意の球体が複数の観測点のうちの１つの対応する観測点に対応し、複数の頂点を含む。ステップ７３０の操作は、図１に関して上述したステップ１３０の操作と同じであり、簡潔にするために説明を省略する。

【0056】

[0056]ステップ７４１からステップ７４２は、図１に関して上述したステップ１４０に対応し、以下で詳細に説明される。

【0057】

[0057]ステップ７４１において、複数の球体の各頂点を回転し、回転の角度は、その頂点が位置する球体に対応する観測点で観測されたローカルシーンと複数の観測点のうちの他の観測点で観測されたローカルシーンとの重ね合わせ程度に基づくものである。

【0058】

[0058]幾つかの実施形態によれば、基準観測点を予め設定することができ、例えば実空間の中央に位置する観測点を基準観測点として設定することができる。次に、この基準観測点に対応する球体（以下、基準球体と略記）に対して他の観測点に対応する球体の頂点を回転させる。視点ウォーク機能を実現できる仮想画像を形成するために、基準球体に対する各観測点に対応する球体の回転角度は、現実世界におけるこれら２つの観測点で観測されたローカルシーンの重ね合わせ程度と一致すべきであり、それによってこれら２つの観測点のウォークプロセスに視角を正確に切り替える。１つの例では、他の観測点（観測点１と表記）と基準観測点で観測されたローカルシーンとの重ね合わせ程度に応じて、観測点１に対応する球体を基準球体に対して３０°回転させることが決定される。次に、この回転角度を回転パラメータとして画像処理ソフトウェアに入力することができ、画像処理ソフトウェアは、この回転パラメータに従って回転マトリックスを生成し、この回転マトリックスを観測点１に対応する球体の全ての頂点に適用し、観測点１の球体全体に対する回転操作を実現する。同様の方法で残りの観測点の球体を順次回転させ、回転完了後の仮想空間画像を得る。

【0059】

[0059]ステップ７４２において、複数の球体の各頂点を平行移動し、平行移動距離は、その頂点が位置する球体に対応する観測点と複数の観測点のうちの他の観測点との間の相対的な空間位置に基づくものである。

【0060】

[0060]幾つかの実施形態によれば、全ての観測点に対応する球体を基準球体に対して平行移動させる。視点ウォーク機能を実現できる仮想画像を形成するために、基準球体に対して、任意の観測点に対応する球体の平行移動距離は、現実世界におけるこれら２つの観測点の空間距離と一致すべきであり、それによってこれら２つの観測点のウォークプロセスに移動距離を正確に表現する。例えば、現実世界における１ｍが仮想空間における１つの単位距離に対応すると仮定すると、観測点１と基準観測点が現実世界で５ｍ離れている場合、観測点１の球体を基準球体に対して５つの単位距離だけ平行移動させる。平行移動の方向は、現実世界の基準観測点に対する観測点１の方向とも一致すべきである。この平行移動距離を平行移動パラメータとして画像処理ソフトウェアのプログラムに入力することができ、画像処理ソフトウェアは、この平行移動パラメータに従って平行移動マトリックスを生成し、この平行移動マトリックスを観測点１に対応する球体の全ての頂点に適用し、観測点１に対応する球体全体に対する平行移動操作を実現する。同様の方法で残りの観測点の球体を順次平行移動させ、回転及び平行移動完了後の仮想空間画像、例えば図４に示す画像４００を得る。

【0061】

[0061]ステップ７４１とステップ２４２の実行順序を入れ替えることも可能であることが理解できる。つまり、まず球体を平行移動させ、次に回転させると、同様に図４に示す仮想空間画像４００を得ることができる。

【0062】

[0062]ステップ７５１からステップ７５４は、図１に関して上述したステップ１５０に対応し、以下で詳細に説明される。

【0063】

[0063]ステップ７５１において、任意の頂点の奥行き情報を取得する。幾つかの実施形態によれば、頂点に奥行き情報が含まれているため、ステップ７５１で、画像処理ソフトウェアの頂点シェーダは、任意の頂点の奥行き情報を直接取得することができる。

【0064】

[0064]ステップ７５２において、奥行き情報に示される奥行き値を正規化する。

【0065】

[0065]ステップ７５３において、正規化された奥行き値に、その頂点が位置する球体の半径を乗算し、オフセット距離を得る。

【0066】

[0066]正規化は、無次元の処理手段である。正規化処理により、奥行き情報の絶対的な奥行き値を予め設定されたある奥行き値に対する相対的な値に変更することができる。例えば、実空間における上記の予め設定された深度値が仮想空間におけるある球体の半径と対応関係を有することができる場合、正規化処理により、この球体の頂点の奥行き値をそれと予め設定された奥行き値との比率に変換し、次にその比率に球体の半径を乗算し、移動するオフセット距離を得ることができる。

【0067】

[0067]ステップ７５４において、任意の頂点の座標をその頂点の法線方向に沿ってオフセット距離だけそれぞれ移動させ、このオフセット距離がその頂点の奥行き情報に対応する。

【0068】

[0068]ステップ７５２からステップ７５４の操作により、残りの観測点の球体の任意の頂点に対して空間編集を順次行い、空間編集が完了した後の仮想空間画像、例えば、図５に示す画像５００を得る。

【0069】

[0069]ステップ７６０において、任意の球体の任意の頂点について、その頂点の色情報に基づいて、その頂点に対して着色処理を行うことにより、実空間の対応するローカルシーンの仮想空間における対応する仮想表現を得て提示する。ステップ７６０の操作は、図１に関して上述したステップ１６０の操作と同じであり、簡潔にするために説明を省略する。

【0070】

[0070]ステップ７７０において、対応する仮想表現のうちの第１仮想表現をビュー内に提示し、第１仮想表現が複数の観測点のうちの現在の観測点に対応する。

【0071】

[0071]幾つかの実施形態によれば、ユーザは、端末機器に予め取り付けられた仮想現実アプリケーションを起動し、実空間の仮想表現画像を見ることができる。１つの例では、仮想現実アプリケーションは、例えば、インターネット上のハウスソースリストを確認するなど、ＶＲ技術を利用してハウスソースのインテリアシーンを見るアプリケーションであってもよい。アプリケーションに入った後、まず、選択のためのハウスソースリストをユーザに示すことができる。ユーザが見たいハウスソースを選択した後、ユーザが見るための対応する仮想表現をビューウィンドウに示すことができる。また、観測点を予め選定し、又は自動的に選定することができ、この選定された観測点から見ると、ビューウィンドウには、現在の観測点として対応する仮想表現が示される。図８はユーザが仮想表現画像を見る期間にビューウィンドウによって提示される例示的なビュー８００を示す図である。第３観測点（図８に示せず）は、現在の観測点である。ユーザは、端末機器の入力装置（例えば、マウス、キーボードなど）に対する操作により、第１観測点ＯＢ１又は第２観測点ＯＢ２への切り替えなどの観測点間の切り替えを実現することができ、それによって異なる視角から実空間のローカルシーンを見ることができる。

【0072】

[0072]ステップ７８０において、現在の観測点から複数の観測点のうちの別の観測点への移動を示すユーザ操作の検出に応答して、対応する仮想表現のうちの第２仮想表現を提示するためにビューを更新し、第２仮想表現が別の観測点に対応する。

【0073】

[0073]見るプロセスでは、ユーザは、入力装置に対する操作により、異なる観測点間のウォークを実現することができる。１つの例では、図８に示すように、ユーザがビュー８００内の第１観測点ＯＢ１又は第２観測点ＯＢ２をクリックすると、ビューウィンドウには、第１観測点ＯＢ１又は第２観測点ＯＢ２に対応する仮想代表画像が提示される。図９に示すように、視角が第１観測点ＯＢ１に切り替えられると、ビューウィンドウには、ビューが更新され、第１観測点ＯＢ１に対応する仮想表現画像９００が表示される。図１０に示すように、視角が第２観測点ＯＢ２に切り替えられると、ビューウィンドウには、ビューが更新され、第２観測点ＯＢ２に対応する仮想表現画像１０００が表示される。第２観測点ＯＢ２では、図１０に示すように、さらに視角を第４観測点ＯＢ４又は第５観測点ＯＢ５に切り替えることができる。上記操作により、ユーザは、全ての観測点の間で視角を切り替えることができ、それによってユーザが実空間全体内で歩くというシミュレーション効果を達成する。幾つかの実施例では、ビューウィンドウにビューを更新するプロセスに、視角切り替えプロセスをより自然にするために、前後の２つのビューに対してグラデーション処理を実行することができる。

【0074】

[0074]各操作が図面において特定の順序で描かれているが、これは、これらの操作が示された特定の順序で実行され又は順次実行されるように要求されると理解されるべきではなく、望ましい結果を得るために、示された全ての操作が実行されるように要求されると理解されるべきではない。

【0075】

[0075]図１１は例示的な実施例による実空間の仮想表現を提示するための装置１１００の構造ブロック図である。図１１に示すように、この装置１１００は、画像取得ユニット１１１０、画像重畳ユニット１１２０、マッピングユニット１１３０、空間変換ユニット１１４０、頂点編集ユニット１１５０及び着色ユニット１１６０を含む。

【0076】

[0076]画像取得ユニット１１１０は、複数のカラー画像と、複数のカラー画像にそれぞれ対応する複数の奥行き画像とを取得するように構成される。複数のカラー画像は、実空間内の複数の観測点で観測された実空間の対応するローカルシーンに対応し、複数の奥行き画像は、対応するローカルシーンの奥行き情報をそれぞれ含む。

【0077】

[0077]画像重畳ユニット１１２０は、任意の観測点について、複数のカラー画像のうちのその観測点に対応するカラー画像と複数の奥行き画像のうちのそのカラー画像に対応する奥行き画像とを重畳し、重畳画像を得るように構成される。重畳画像には、複数の画素点が含まれ、任意の画素点には、そのカラー画像における対応する画素点の色情報及びその奥行き画像における対応する画素点の奥行き情報が含まれる。

【0078】

[0078]マッピングユニット１１３０は、複数の観測点に対応する重畳画像を仮想空間内の複数の球体にそれぞれマッピングして、任意の球体が複数の観測点のうちの１つの対応する観測点に対応し、複数の頂点を含み、任意の頂点が対応する色情報と対応する奥行き情報を有するように構成される。

【0079】

[0079]空間変換ユニット１１４０は、実空間内の複数の観測点間の相対的な空間関係に基づいて、複数の球体の各頂点に対して空間変換を仮想空間内で行うように構成される。

【0080】

[0080]頂点編集ユニット１１５０は、任意の球体の任意の頂点について、その頂点の奥行き情報に基づいて、その頂点に対して空間編集を行うように構成される。

【0081】

[0081]着色ユニット１１６０は、任意の球体の任意の頂点について、その頂点の色情報に基づいて、その頂点に対して着色処理を行うことにより、実空間の対応するローカルシーンの仮想空間における対応する仮想表現を得て提示するように構成される。

【0082】

[0082]頂点編集ユニット１１５０は、さらに編集待ち頂点の座標をその頂点の法線方向に沿ってオフセット距離だけ移動させるように構成され、オフセット距離が頂点の奥行き情報に対応する。

【0083】

[0083]幾つかの実施例では、頂点編集ユニット１１５０は、さらに編集待ち頂点の奥行き情報を取得し、奥行き情報に示される奥行き値を正規化し、正規化された奥行き値に、その頂点が位置する球体の半径を乗算し、オフセット距離を得るように構成される。

【0084】

[0084]幾つかの実施例では、空間変換ユニット１１４０は、さらに任意の球体の任意の頂点に対して、空間変換マトリックスを使用し、その頂点の座標に対して空間変換を行うように構成される。空間変換には、スケーリング、回転及び／又は平行移動が含まれてもよい。

【0085】

[0085]幾つかの実施例では、空間変換ユニット１１４０は、回転ユニット１１４１と平行移動ユニット１１４２とを含むことができる。回転ユニット１１４１は、回転マトリックスを使用して頂点の座標を回転するように構成され、回転角度は、その頂点が位置する球体に対応する観測点で観測されたローカルシーンと複数の観測点のうちの他の観測点で観測されたローカルシーンとの重ね合わせ程度に基づくものである。平行移動ユニット１１４２は、平行移動マトリックスを使用し、頂点の座標を平行移動するように構成され、平行移動距離は、その頂点が位置する球体に対応する観測点と複数の観測点のうちの他の観測点との間の相対的な空間位置に基づくものである。

【0086】

[0086]幾つかの実施例では、着色ユニット１１６０は、さらにその頂点の色情報とその頂点の座標とをフラグメントシェーダに入力し、着色処理を行うように構成される。

【0087】

[0087]幾つかの実施例では、装置１１１０は、ビュー提示ユニット１１７０をさらに含むことができ、ビュー提示ユニット１１７０は、対応する仮想表現のうちの第１仮想表現をビュー内に提示するように構成され、第１仮想表現は、複数の観測点のうちの現在の観測点に対応する。

【0088】

[0088]幾つかの実施例では、ビュー提示ユニット１１７０は、さらに現在の観測点から複数の観測点のうちの別の観測点への移動を示すユーザ操作の検出に応答して、対応する仮想表現のうちの第２仮想表現を提示するためにビューを更新するように構成され、第２仮想表現は、別の観測点に対応する。

【0089】

[0089]幾つかの実施例では、画像取得ユニット１１１０は、さらにサーバーから複数のカラー画像と複数の奥行き画像とを受信するように構成される。

【0090】

[0090]幾つかの実施例では、装置１１００は、複数のグループのオリジナルカラー画像を取得し、任意のグループのオリジナルカラー画像が複数の観測点のうちの１つの対応する観測点で異なる方向から収集されたカラー画像であり、任意のグループのオリジナルカラー画像を対応する単一の合成カラー画像に合成し、対応する観測点で観測された実空間のローカルシーンに対応するカラー画像として用いるように構成される画像合成ユニット１１８０をさらに含むことができる。

【0091】

[0091]幾つかの実施例では、画像合成ユニット１１８０は、さらに複数のグループのオリジナル奥行き画像を取得し、任意のグループのオリジナル奥行き画像が複数の観測点のうちの１つの対応する観測点で異なる方向から収集された奥行き画像であり、任意のグループのオリジナル奥行き画像を対応する単一の合成奥行き画像に合成し、対応する観測点で観測された実空間のローカルシーンに対応する奥行き情報を含む奥行き画像として用いるように構成される。

【0092】

[0092]図１１に示される装置１１００の各ユニットは、図７を参照して説明される方法７００の各ステップに対応し得ることが理解すべきである。これにより、方法７００について上述した操作、特徴及び利点は、同様に装置１１００及びそれに含まれるユニットに適用される。簡潔にするために、幾つかの操作、特徴及び利点について、ここでは説明を省略する。

【0093】

[0093]以上では、特定のユニットを参照して特定機能を説明したが、本明細書で説明される個々のユニットの機能は、複数のユニットに分割されてもよく、及び／又は複数のユニットの機能の少なくとも一部は、単一のユニットに組み合わせられてもよいことに注意すべきである。本明細書で説明される特定のユニットが動作を実行することは、この特定のユニット自体がこの動作を実行すること、又は、代わりにこの特定のユニットがこの動作を実行する（又はこの特定のユニットと連携してこの動作を実行する）別のコンポーネント又はユニットを呼び出し、又はそれに他で方式でアクセスすることを含む。したがって、動作を実行する特定のユニットは、動作を実行するこの特定のユニット自体、及び／又はこの特定のユニットによって呼び出された、動作を実行する別のユニット又は他の方式でアクセスされた、動作を実行する別のユニットを含むことができる。

【0094】

[0094]本明細書では、ソフトウェア及びハードウェア素子又はプログラムモジュールの一般的な文脈で様々な技術が説明され得ることも理解すべきである。図１１に関して上述した各々のユニットは、ハードウェアで、又はソフトウェア及び／又はファームウェアと組み合わせたハードウェアで実現されてもよい。例えば、これらのユニットは、１つ又は複数のプロセッサで実行され又はコンピュータ可読記憶媒体に記憶されるように構成されたコンピュータプログラムコード／命令として実現されてもよい。代わりに、これらのユニットは、ハードウェアロジック／回路として実現されてもよい。例えば、幾つかの実施例では、図１１に関して上述したユニットのうちの１つ又は複数は、システムオンチップ（ＳｏＣ：Ｓｙｓｔｅｍ ｏｎ Ｃｈｉｐ）に一緒に実現され得る。ＳｏＣは、集積回路チップ（プロセッサ（例えば、中央処理装置（ＣＰＵ：Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、マイクロコントローラ、マイクロプロセッサ、デジタル信号プロセッサ（ＤＳＰ：Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）などを含む）、メモリ、１つ又は複数の通信インターフェース、及び／又は他の回路内の１つ又は複数の部材）を含むことができ、受信したプログラムコードを選択可能に実行し、及び／又は、機能を実行するための組み込みファームウェアを含むことができる。

【0095】

[0095]本開示の一態様によれば、メモリと、プロセッサと、メモリに記憶されたコンピュータプログラムとを含むコンピュータ装置が提供される。このプロセッサは、上述した任意の方法の実施例のステップを実現するためにコンピュータプログラムを実行するように構成される。

【0096】

[0096]本開示の一態様によれば、コンピュータプログラムが記憶されており、このコンピュータプログラムがプロセッサによって実行されると上述した任意の方法の実施例のステップを実現する非一時的なコンピュータ可読記憶媒体が提供される。

【0097】

[0097]本開示の一態様によれば、コンピュータプログラムを含み、当該コンピュータプログラムがプロセッサによって実行されると上述した任意の方法の実施例のステップを実現するコンピュータプログラム製品が提供される。

【0098】

[0098]以下、図１２を参照してこのようなコンピュータ機器、非一時的なコンピュータ可読記憶媒体及びコンピュータプログラム製品の例を説明する。

【0099】

[0099]図１２は本開示の実施例を実現するために使用され得る例示的な電子機器１２００の構造ブロック図である。電子機器１２００は、本開示の各態様に適用できるハードウェア機器の例であってもよい。用語電子機器は、ラップトップコンピュータ、デスクトップコンピュータ、ワークステーション、パーソナルデジタルアシスタント、サーバー、ブレードサーバー、大型コンピュータ及び他の適切なコンピュータなどの様々な形態のデジタル電子のコンピュータを表すことを図る。電子機器は、さらにパーソナルデジタル処理、セルラー電話、スマートフォン、ウェアラブルデバイス及び他の類似するコンピューティングデバイスなどの様々な形態の移動装置を表すこともできる。本明細書に示されている部材、それらの接続と関係、及びそれらの機能は、例だけであり、かつ本明細書での説明及び／又は要求される本開示の実現を限定することを意図するものではない。

【0100】

[0100]図１２に示すように、装置１２００は、読み取り専用メモリ（ＲＯＭ）１２０２に記憶されたコンピュータプログラム、又は記憶ユニット１２０８からランダムアクセスメモリ（ＲＡＭ）１２０３にロードされたコンピュータプログラムに応じて、各種の適切な動作及び処理を実行することができるコンピューティングユニット１２０１を含む。ＲＡＭ１２０３には、機器１２００の動作に必要な各種のプログラム及びデータも記憶されてもよい。処理ユニット１２０１、ＲＯＭ１２０２及びＲＡＭ１２０３は、バス１２０４を介して互いに接続される。入力／出力（Ｉ／Ｏ）インターフェース１２０５もバス１２０４に接続される。

【0101】

[0101]入力ユニット１２０６、出力ユニット１２０７、記憶ユニット１２０８及び通信ユニット１２０９を含む機器１２００内の複数の部材は、Ｉ／Ｏインターフェース１２０５に接続される。入力ユニット１２０６は、機器１２００に情報を入力できるいかなるタイプの機器であってもよく、入力ユニット１２０６は、入力された数字又は文字情報を受信し、電子機器のユーザ設定及び／又は機能制御に関するキー信号入力を生成することができ、かつマウス、キーボード、タッチスクリーン、トラックパッド、トラックボール、ジョイスティック、マイク及び／又はリモートコントローラを含むことができるが、これらに限定されない。出力ユニット１２０７は、情報を提示できるいかなるタイプの機器であってもよく、ディスプレイ、スピーカー、ビデオ／オーディオ出力端末、バイブレータ及び／又はプリンタを含むことができるが、これらに限定されない。記憶ユニット１２０８は、磁気ディスク、光ディスクを含むことができるが、これらに限定されない。通信ユニット１２０９は、機器１２００がインターネットなどのコンピュータネットワーク及び／又は様々な電気通信ネットワークを介して他の機器と情報／データを交換することを許可し、モデム、ネットワークカード、赤外線通信機器、無線通信送受信機及び／又はチップセット、例えばブルートゥースＴＭ機器、１３０２．１１機器、ＷｉＦｉ機器、ＷｉＭａｘ機器、セルラー通信機器及び／又は同様のものを含むことができるが、これらに限定されない。

【0102】

[0102]処理ユニット１２０１は、処理及びコンピューティング機能を備えた様々な汎用及び／又は専用処理コンポーネントであってもよい。処理ユニット１２０１の幾つかの例は、中央処理ユニット（ＣＰＵ）、グラフィックス処理ユニット（ＧＰＵ）、様々な専用の人工知能（ＡＩ）コンピューティングチップ、機械学習モデルアルゴリズムを実行する様々なコンピューティングユニット、デジタル信号プロセッサ（ＤＳＰ）、及びいかなる適切なプロセッサ、コントローラー、マイクロコントローラなどを含むがこれらに限定されない。処理ユニット１２０１は、上述した各方法及び処理、例えば実空間の仮想表現を提示するための仮想表現を提示するための方法を実行する。例えば、幾つかの実施例では、実空間の仮想表現を提示するための方法は、記憶ユニット１２０８などの機械可読媒体に有形で含まれるコンピュータソフトウェアプログラムとして実現され得る。幾つかの実施例では、コンピュータプログラムの一部又は全部は、ＲＯＭ１２０２及び／又は通信ユニット１２０９を介して機器１２００にロード及び／又は取り付けられてもよい。コンピュータプログラムがＲＡＭ１２０３にロードされてコンピューティングユニット１２０１によって実行される場合、実空間の仮想表現を提示するための上記方法の１つ又は複数のステップを実行することができる。
代替的に、他の実施例では、コンピューティングユニット１２０１は、実空間の仮想表現を提示するための方法を実行するように他の任意の適切な方式（例えば、ファームウェアによって）で構成されてもよい。

【0103】

[0103]本明細書で上述したシステム及び技術の様々な実施形態は、デジタル電子回路システム、集積回路システム、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、特定用途向け集積回路（ＡＳＩＣ）、特定用途向け標準製品（ＡＳＳＰ）、システムオンチップ（ＳＯＣ）、複雑なプログラマブルロジックデバイス（ＣＰＬＤ）、コンピュータハードウェア、ファームウェア、ソフトウェア、及び／又はそれらの組み合わせで実現されてもよい。これらの様々な実施形態は、１つ又は複数のコンピュータプログラムで実施されることを含むことができ、当該１つ又は複数のコンピュータプログラムは、少なくとも１つのプログラマブルプロセッサを含むプログラマブルシステムで実行及び／又は解釈されてもよく、当該プログラマブルプロセッサは、特定用途向け又は汎用プログラマブルプロセッサであってもよく、記憶システム、少なくとも１つの入力装置、及び少なくとも１つの出力装置からデータ及び命令を受信し、かつデータ及び命令を当該記憶システム、当該少なくとも１つの入力装置及び当該少なくとも１つの出力装置に伝送することができる。

【0104】

[0104]本開示の方法を実施するためのプログラムコードは、１つ又は複数のプログラミング言語のいかなる組み合わせで書かれてもよい。これらのプログラムコードが汎用コンピュータ、専用コンピュータ又はその他のプログラマブルデータ処理装置のプロセッサ又はコントローラーに提供されてもよいため、プログラムコードがプロセッサ又はコントローラーによって実行されると、フローチャート及び／又はブロック図で規定された機能／動作が実施される。プログラムコードは、完全に又は部分にマシンで実行されてもよく、独立したソフトウェアパッケージとして部分的にマシンで実行され且つ部分的にリモートマシンで実行され、又は完全にリモートマシン又はサーバーで実行される。

【0105】

[0105]本開示の文脈では、機械可読媒体は、命令実行システム、装置又は機器によって使用され得るプログラム、又は命令実行システム、装置又は機器と組み合わせて使用され得るプログラムを含み、又は記憶することができる有形の媒体であってもよい。機械可読媒体は、機械可読信号媒体又は機械可読記憶媒体であってもよい。機械可読媒体は、電子、磁気、光学、電磁気、赤外線、又は半導体システム、装置又は機器、又は上述したコンテンツのいかなる適切な組み合わせを含むことができるがこれらに限定されない。機械可読記憶媒体のより具体的な例は、１つ又は複数のワイヤに基づく電気的接続、ポータブルコンピュータディスク、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、読み取り専用メモリ（ＲＯＭ）、消去可能プログラマブル読み取り専用メモリ（ＥＰＲＯＭ又はフラッシュメモリ）、光ファイバー、ポータブルコンパクトディスク読み取り専用メモリ（ＣＤ－ＲＯＭ）、光学ストレージデバイス、磁気ストレージデバイス、又は上記コンテンツのいかなる適切な組み合わせを含む。

【0106】

[0106]ユーザとのインタラクションを提供するために、本明細書で説明されるシステム及び技術をコンピュータで実施することができ、当該コンピュータは、情報をユーザに表示するための表示装置（例えば、ＣＲＴ（陰極線管）又はＬＣＤ（液晶ディスプレイ）モニター）、キーボード及びポインティングデバイス（例えば、マウス又はトラックボール）を有し、ユーザは、当該キーボード及び当該ポインティングデバイスによって入力をコンピュータに提供することができる。他の種類の装置は、ユーザとのインタラクションを提供するために使用されてもよい。例えば、ユーザに提供されるフィードバックは、任意の形態のセンシングフィードバック（例えば、視覚的フィードバック、聴覚的フィードバック、又は触覚的フィードバック）であってもよく、かつ任意の形態（音響入力と、音声入力と、触覚入力とを含む）でユーザからの入力を受信することができる。

【0107】

[0107]本明細書で説明されるシステム及び技術は、バックエンドコンポーネントを含むコンピューティングシステム（例えば、データサーバとして）、又はミドルウェアコンポーネントを含むコンピューティングシステム（例えば、アプリケーションサーバー）、又はフロントエンドコンポーネントを含むコンピューティングシステム（例えば、グラフィカルユーザインターフェース又はウェブブラウザを有するユーザコンピュータであり、ユーザは当該グラフィカルユーザインターフェース又は当該ウェブブラウザにより、本明細書で説明されるシステム及び技術の実施形態とのインタラクションを行うことができる）、又はこのようなバックエンドコンポーネント、ミドルウェアコンポーネント、又はフロントエンドコンポーネントの任意の組み合わせを含むコンピューティングシステムで実施されてもよい。任意の形態又は媒体のデジタルデータ通信（例えば、通信ネットワーク）によってシステムのコンポーネントを相互に接続することができる。通信ネットワークの例としては、ローカルエリアネットワーク（ＬＡＮ）と、ワイドエリアネットワーク（ＷＡＮ）と、インターネットとを含む。

【0108】

[0108]コンピュータシステムは、クライアントとサーバーとを含むことができる。クライアントとサーバーは、一般的に互いに遠く離れており、通常、通信ネットワークを介してインタラクションを行う。クライアントとサーバーとの関係は、対応するコンピュータ上で実行されかつ相互にクライアント－サーバー関係を有するコンピュータプログラムによって生成される。

【0109】

[0109]上記に示される様々な形態のフローを使用して、ステップを並べ替え、追加、又は削除することができることを理解すべきである。例えば、本開示に記載される各ステップは、本開示で開示される技術案の所望の結果さえ達成すれば、並列に実行されてもよいし、順次実行されてもよいし、異なる順序で実行されてもよいが、本明細書では限定されない。

【0110】

[0110]本開示の実施例又は例は、添付の図面を参照して説明されてきたが、上記の方法、システム及び機器は、例示的な実施例又は例に過ぎず、本開示の範囲は、これらの実施例又は例によって限定されるものではなく、許可された特許請求の範囲及びその同等範囲のみによって限定される。実施例又は例における様々な要素は、省略されてもよく、又は同等の要素によって置き換えられてもよい。
なお、これらのステップは、本開示に記載されている順序とは異なる順序で実行されてもよい。
さらに、実施例又は例における様々な要素は、様々な方式で組み合わせられてもよい。技術の進化に伴い、本明細書に記載される多くの要素が本開示の後に現れる同等の要素によって置き換えられてもよいことは重要である。

【図1】

【図2A】

【図2B】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【手続補正書】

【提出日】2023-09-20

【手続補正1】

【補正対象書類名】特許請求の範囲

【補正対象項目名】全文

【補正方法】変更

【補正の内容】

【特許請求の範囲】

【請求項1】

実空間の仮想表現を提示するための方法であって、
複数のカラー画像と、前記複数のカラー画像にそれぞれ対応する複数の奥行き画像とを取得するステップであって、前記複数のカラー画像は、前記実空間内の複数の観測点で観測された前記実空間の対応するローカルシーンに対応しており、前記複数の奥行き画像は、前記対応するローカルシーンの奥行き情報をそれぞれ含むステップと、
任意の前記観測点について、前記複数のカラー画像のうちのその観測点に対応するカラー画像と前記複数の奥行き画像のうちのそのカラー画像に対応する奥行き画像とを重畳し、重畳画像を得るステップと、
前記複数の観測点に対応する重畳画像を仮想空間内の複数の球体にそれぞれマッピングして、任意の前記球体が前記複数の観測点のうちの１つの対応する観測点に対応し、複数の頂点を含み、任意の前記頂点が対応する色情報と対応する奥行き情報とを有するステップと、
前記実空間内の前記複数の観測点間の相対的な空間関係に基づいて、前記複数の球体の各頂点に対して空間変換を仮想空間内で行うステップと、
任意の前記球体の任意の前記頂点について、その頂点の奥行き情報に基づいてその頂点に対して空間編集を行うステップと、
任意の前記球体の任意の前記頂点について、その頂点の色情報に基づいて、その頂点に対して着色処理を行うことにより、前記実空間の対応するローカルシーンの前記仮想空間における対応する仮想表現を得て提示するステップと、を含む実空間の仮想表現を提示するための方法。

【請求項2】

その頂点の奥行き情報に基づいて、その頂点に対して空間編集を行う上記のステップは、
その頂点の座標をその頂点の法線方向に沿ってオフセット距離だけ移動させるステップであって、前記オフセット距離は、その頂点の奥行き情報に対応するステップを含む請求項１に記載の方法。

【請求項3】

その頂点の奥行き情報に基づいて、その頂点に対して空間編集を行う上記のステップは、
その頂点の座標を移動させる前に、
その頂点の奥行き情報を取得するステップと、
前記奥行き情報に示される奥行き値を正規化するステップと、
正規化された奥行き値に、その頂点が位置する球体の半径を乗算し、前記オフセット距離を得るステップと、をさらに含む請求項２に記載の方法。

【請求項4】

前記実空間内の前記複数の観測点間の相対的な空間関係に基づいて、前記複数の球体の各頂点に対して空間変換を前記仮想空間内で行う上記のステップは、
任意の前記球体の任意の前記頂点に対して、
空間変換マトリックスを使用し、その頂点の座標に対して空間変換を行うステップであって、前記空間変換には、スケーリング、回転及び平行移動からなる群から選択される少なくとも１つが含まれるステップを含む請求項１に記載の方法。

【請求項5】

前記空間変換には、回転が含まれ、前記回転の角度は、その頂点が位置する球体に対応する観測点で観測された前記ローカルシーンと前記複数の観測点のうちの他の観測点で観測されたローカルシーンとの重ね合わせ程度に基づくものである請求項４に記載の方法。

【請求項6】

前記空間変換には、平行移動が含まれ、前記平行移動の距離は、その頂点が位置する球体に対応する観測点と前記複数の観測点のうちの他の観測点との間の相対的な空間位置に基づくものである請求項４に記載の方法。

【請求項7】

その頂点の色情報に基づいて、その頂点に対して着色処理を行う上記のステップは、
その頂点の色情報とその頂点の座標とをフラグメントシェーダに入力し、前記着色処理を行うステップを含む請求項１に記載の方法。

【請求項8】

前記対応する仮想表現のうちの第１仮想表現をビュー内に提示するステップであって、前記第１仮想表現は、前記複数の観測点のうちの現在の観測点に対応するステップをさらに含む請求項１に記載の方法。

【請求項9】

前記現在の観測点から前記複数の観測点のうちの別の観測点への移動を示すユーザ操作の検出に応答して、前記対応する仮想表現のうちの第２仮想表現を提示するために前記ビューを更新するステップであって、前記第２仮想表現は、前記別の観測点に対応するステップをさらに含む請求項８に記載の方法。

【請求項10】

その頂点の奥行き情報に基づいて、その頂点に対して空間編集を行う上記のステップは、前記複数の球体の各頂点に対して空間変換を前記仮想空間で行う上記のステップの前に実行される請求項１に記載の方法。

【請求項11】

前記複数の球体は、同じ半径を有する請求項１に記載の方法。

【請求項12】

複数のカラー画像と、前記複数のカラー画像にそれぞれ対応する複数の奥行き画像とを取得する上記のステップは、
サーバーから前記複数のカラー画像と前記複数の奥行き画像とを受信するステップを含む請求項１に記載の方法。

【請求項13】

複数のカラー画像と、前記複数のカラー画像にそれぞれ対応する複数の奥行き画像とを取得する上記のステップの前に、
複数のグループのオリジナルカラー画像を取得するステップであって、任意のグループのオリジナルカラー画像は、前記複数の観測点のうちの1つの対応する観測点で異なる方向から収集されたカラー画像であるステップと、
任意のグループのオリジナルカラー画像を対応する単一の合成カラー画像に合成し、前記対応する観測点で観測された前記実空間のローカルシーンに対応するカラー画像として用いるステップと、をさらに含む請求項１に記載の方法。

【請求項14】

任意のグループのオリジナルカラー画像は、前記対応する観測点で上、下、左、右、前、後の６つの方向からそれぞれ収集された前記実空間の６枚のカラー画像を含む請求項１３に記載の方法。

【請求項15】

任意のグループのオリジナルカラー画像を対応する単一の合成カラー画像に合成する上記のステップは、
ガウスクルーガー投影によりこのグループのオリジナルカラー画像を前記合成カラー画像に合成するステップを含む請求項１４に記載の方法。

【請求項16】

複数のカラー画像と、前記複数のカラー画像にそれぞれ対応する複数の奥行き画像とを取得する上記のステップの前に、
複数のグループのオリジナル奥行き画像を取得するステップであって、任意のグループのオリジナル奥行き画像は、前記複数の観測点のうちの１つの対応する観測点で異なる方向から収集された奥行き画像であるステップと、
任意のグループのオリジナル奥行き画像を対応する単一の合成奥行き画像に合成し、前記対応する観測点で観測された前記実空間のローカルシーンに対応する奥行き情報を含む奥行き画像として用いるステップと、をさらに含む請求項１３に記載の方法。

【請求項17】

コンピュータ機器であって、メモリと、プロセッサと、前記メモリに記憶されたコンピュータプログラムとを含み、
ここで、前記プロセッサは、前記コンピュータプログラムを実行して、請求項１～請求項１６のいずれか１項に記載の方法のステップを実現するように構成されるコンピュータ機器。

【請求項18】

コンピュータプログラムが記憶されており、前記コンピュータプログラムがプロセッサに実行されると請求項１～１６のいずれか１項に記載の方法のステップを実現する非一時的なコンピュータ可読記憶媒体。

【請求項19】

命令を含むコンピュータプログラムであって、前記命令がプロセッサによって実行されると、請求項１～請求項１６のいずれか１項に記載の方法のステップを実現するコンピュータプログラム。

【手続補正2】

【補正対象書類名】明細書

【補正対象項目名】０１１０

【補正方法】変更

【補正の内容】

【0110】

[0110]本開示の実施例又は例は、添付の図面を参照して説明されてきたが、上記の方法、システム及び機器は、例示的な実施例又は例に過ぎず、本開示の範囲は、これらの実施例又は例によって限定されるものではなく、許可された特許請求の範囲及びその同等範囲のみによって限定される。実施例又は例における様々な要素は、省略されてもよく、又は同等の要素によって置き換えられてもよい。
なお、これらのステップは、本開示に記載されている順序とは異なる順序で実行されてもよい。
さらに、実施例又は例における様々な要素は、様々な方式で組み合わせられてもよい。技術の進化に伴い、本明細書に記載される多くの要素が本開示の後に現れる同等の要素によって置き換えられてもよいことは重要である。
［発明の項目］
［項目１］
実空間の仮想表現を提示するための方法であって、
複数のカラー画像と、前記複数のカラー画像にそれぞれ対応する複数の奥行き画像とを取得するステップであって、前記複数のカラー画像は、前記実空間内の複数の観測点で観測された前記実空間の対応するローカルシーンに対応しており、前記複数の奥行き画像は、前記対応するローカルシーンの奥行き情報をそれぞれ含むステップと、
任意の前記観測点について、前記複数のカラー画像のうちのその観測点に対応するカラー画像と前記複数の奥行き画像のうちのそのカラー画像に対応する奥行き画像とを重畳し、重畳画像を得るステップと、
前記複数の観測点に対応する重畳画像を仮想空間内の複数の球体にそれぞれマッピングして、任意の前記球体が前記複数の観測点のうちの１つの対応する観測点に対応し、複数の頂点を含み、任意の前記頂点が対応する色情報と対応する奥行き情報とを有するステップと、
前記実空間内の前記複数の観測点間の相対的な空間関係に基づいて、前記複数の球体の各頂点に対して空間変換を仮想空間内で行うステップと、
任意の前記球体の任意の前記頂点について、その頂点の奥行き情報に基づいてその頂点に対して空間編集を行うステップと、
任意の前記球体の任意の前記頂点について、その頂点の色情報に基づいて、その頂点に対して着色処理を行うことにより、前記実空間の対応するローカルシーンの前記仮想空間における対応する仮想表現を得て提示するステップと、を含む実空間の仮想表現を提示するための方法。
［項目２］
その頂点の奥行き情報に基づいて、その頂点に対して空間編集を行う上記のステップは、
その頂点の座標をその頂点の法線方向に沿ってオフセット距離だけ移動させるステップであって、前記オフセット距離は、その頂点の奥行き情報に対応するステップを含む項目１に記載の方法。
［項目３］
その頂点の奥行き情報に基づいて、その頂点に対して空間編集を行う上記のステップは、
その頂点の座標を移動させる前に、
その頂点の奥行き情報を取得するステップと、
前記奥行き情報に示される奥行き値を正規化するステップと、
正規化された奥行き値に、その頂点が位置する球体の半径を乗算し、前記オフセット距離を得るステップと、をさらに含む項目２に記載の方法。
［項目４］
前記実空間内の前記複数の観測点間の相対的な空間関係に基づいて、前記複数の球体の各頂点に対して空間変換を前記仮想空間内で行う上記のステップは、
任意の前記球体の任意の前記頂点に対して、
空間変換マトリックスを使用し、その頂点の座標に対して空間変換を行うステップであって、前記空間変換には、スケーリング、回転及び平行移動からなる群から選択される少なくとも１つが含まれるステップを含む項目１に記載の方法。
［項目５］
前記空間変換には、回転が含まれ、前記回転の角度は、その頂点が位置する球体に対応する観測点で観測された前記ローカルシーンと前記複数の観測点のうちの他の観測点で観測されたローカルシーンとの重ね合わせ程度に基づくものである項目４に記載の方法。
［項目６］
前記空間変換には、平行移動が含まれ、前記平行移動の距離は、その頂点が位置する球体に対応する観測点と前記複数の観測点のうちの他の観測点との間の相対的な空間位置に基づくものである項目４に記載の方法。
［項目７］
その頂点の色情報に基づいて、その頂点に対して着色処理を行う上記のステップは、
その頂点の色情報とその頂点の座標とをフラグメントシェーダに入力し、前記着色処理を行うステップを含む項目１に記載の方法。
［項目８］
前記対応する仮想表現のうちの第１仮想表現をビュー内に提示するステップであって、前記第１仮想表現は、前記複数の観測点のうちの現在の観測点に対応するステップをさらに含む項目１に記載の方法。
［項目９］
前記現在の観測点から前記複数の観測点のうちの別の観測点への移動を示すユーザ操作の検出に応答して、前記対応する仮想表現のうちの第２仮想表現を提示するために前記ビューを更新するステップであって、前記第２仮想表現は、前記別の観測点に対応するステップをさらに含む項目８に記載の方法。
［項目１０］
その頂点の奥行き情報に基づいて、その頂点に対して空間編集を行う上記のステップは、前記複数の球体の各頂点に対して空間変換を前記仮想空間で行う上記のステップの前に実行される項目１に記載の方法。
［項目１１］
前記複数の球体は、同じ半径を有する項目１に記載の方法。
［項目１２］
複数のカラー画像と、前記複数のカラー画像にそれぞれ対応する複数の奥行き画像とを取得する上記のステップは、
サーバーから前記複数のカラー画像と前記複数の奥行き画像とを受信するステップを含む項目１～項目１１のいずれか１項に記載の方法。
［項目１３］
複数のカラー画像と、前記複数のカラー画像にそれぞれ対応する複数の奥行き画像とを取得する上記のステップの前に、
複数のグループのオリジナルカラー画像を取得するステップであって、任意のグループのオリジナルカラー画像は、前記複数の観測点のうちの1つの対応する観測点で異なる方向から収集されたカラー画像であるステップと、
任意のグループのオリジナルカラー画像を対応する単一の合成カラー画像に合成し、前記対応する観測点で観測された前記実空間のローカルシーンに対応するカラー画像として用いるステップと、をさらに含む項目１～項目１１のいずれか１項に記載の方法。
［項目１４］
任意のグループのオリジナルカラー画像は、前記対応する観測点で上、下、左、右、前、後の６つの方向からそれぞれ収集された前記実空間の６枚のカラー画像を含む項目１３に記載の方法。
［項目１５］
任意のグループのオリジナルカラー画像を対応する単一の合成カラー画像に合成する上記のステップは、
ガウスクルーガー投影によりこのグループのオリジナルカラー画像を前記合成カラー画像に合成するステップを含む項目１４に記載の方法。
［項目１６］
複数のカラー画像と、前記複数のカラー画像にそれぞれ対応する複数の奥行き画像とを取得する上記のステップの前に、
複数のグループのオリジナル奥行き画像を取得するステップであって、任意のグループのオリジナル奥行き画像は、前記複数の観測点のうちの１つの対応する観測点で異なる方向から収集された奥行き画像であるステップと、
任意のグループのオリジナル奥行き画像を対応する単一の合成奥行き画像に合成し、前記対応する観測点で観測された前記実空間のローカルシーンに対応する奥行き情報を含む奥行き画像として用いるステップと、をさらに含む項目１３に記載の方法。
［項目１７］
実空間の仮想表現を提示するための装置であって、
複数のカラー画像と、複数のカラー画像にそれぞれ対応する複数の奥行き画像とを取得するように構成される画像取得ユニットであって、複数のカラー画像は、実空間内の複数の観測点で観測された実空間の対応するローカルシーンに対応し、複数の奥行き画像は、対応するローカルシーンの奥行き情報をそれぞれ含む画像取得ユニットと、
任意の観測点について、複数のカラー画像のうちのその観測点に対応するカラー画像と複数の奥行き画像のうちのそのカラー画像に対応する奥行き画像とを重畳し、重畳画像を得るように構成される画像重畳ユニットと、
複数の観測点に対応する重畳画像を仮想空間内の複数の球体にそれぞれマッピングして、任意の球体が複数の観測点のうちの１つの対応する観測点に対応し、複数の頂点を含み、任意の頂点が対応する色情報と対応する奥行き情報とを有するように構成されるマッピングユニットと、
実空間内の複数の観測点間の相対的な空間関係に基づいて、複数の球体の各頂点に対して空間変換を仮想空間内で行うように構成される空間変換ユニットと、
任意の球体の任意の頂点について、その頂点の奥行き情報に基づいて、その頂点に対して空間編集を行うように構成される頂点編集ユニットと、
任意の球体の任意の頂点について、その頂点の色情報に基づいて、その頂点に対して着色処理を行うことにより、実空間の対応するローカルシーンの仮想空間における対応する仮想表現を得て提示するように構成される着色ユニットと
を含む実空間の仮想表現を提示するための装置。
［項目１８］
前記頂点編集ユニットは、さらに、その頂点の座標をその頂点の法線方向に沿ってオフセット距離だけ移動させ、前記オフセット距離は、その頂点の奥行き情報に対応するように構成される
項目１７に記載の装置。
［項目１９］
前記頂点編集ユニットは、さらに、
編集待ち頂点の奥行き情報を取得し、
前記奥行き情報に示される奥行き値を正規化し、
正規化された奥行き値に、その頂点が位置する球体の半径を乗算し、前記オフセット距離を得るように構成される
項目１８に記載の装置。
［項目２０］
前記空間変換ユニットは、さらに、
任意の前記球体の任意の前記頂点に対して、空間変換マトリックスを使用し、その頂点の座標に対して空間変換を行い、前記空間変換には、スケーリング、回転及び平行移動からなる群から選択される少なくとも１つが含まれるように構成される
項目１７に記載の装置。
［項目２１］
前記空間変換ユニットには、回転ユニットが含まれ、
前記回転ユニットは、回転マトリックスを使用し、前記頂点の座標に対して回転を行い、前記回転の角度は、その頂点が位置する球体に対応する観測点で観測された前記ローカルシーンと前記複数の観測点のうちの他の観測点で観測されたローカルシーンとの重ね合わせ程度に基づくものであるように構成される
項目２０に記載の装置。
［項目２２］
前記空間変換ユニットには、平行移動ユニットが含まれ、
前記平行移動ユニットは、平行移動マトリックスを使用し、前記頂点の座標に対して平行移動を行い、前記平行移動の距離は、その頂点が位置する球体に対応する観測点と前記複数の観測点のうちの他の観測点との間の相対的な空間位置に基づくものであるように構成される
項目２０に記載の装置。
［項目２３］
前記着色ユニットは、さらに、その頂点の色情報とその頂点の座標とをフラグメントシェーダに入力し、前記着色処理を行うように構成される
項目１７に記載の装置。
［項目２４］
さらに、ビュー提示ユニットが含まれ、
前記ビュー提示ユニットは、前記対応する仮想表現のうちの第１仮想表現をビュー内に提示し、前記第１仮想表現は、前記複数の観測点のうちの現在の観測点に対応するように構成される
項目１7に記載の装置。
［項目２５］
前記ビュー提示ユニットは、さらに、
前記現在の観測点から前記複数の観測点のうちの別の観測点への移動を示すユーザ操作の検出に応答して、前記対応する仮想表現のうちの第２仮想表現を提示するために前記ビューを更新し、前記第２仮想表現は、前記別の観測点に対応するように構成される
項目２４に記載の装置。
［項目２６］
前記画像取得ユニットは、さらに、サーバーから前記複数のカラー画像と前記複数の奥行き画像とを受信するように構成される
項目１７～項目２５のいずれか１項に記載の装置。
［項目２７］
さらに、画像合成ユニットが含まれ、
前記画像合成ユニットは、
複数のグループのオリジナルカラー画像を取得し、任意のグループのオリジナルカラー画像は、前記複数の観測点のうちの1つの対応する観測点で異なる方向から収集されたカラー画像であり、
任意のグループのオリジナルカラー画像を対応する単一の合成カラー画像に合成し、前記対応する観測点で観測された前記実空間のローカルシーンに対応するカラー画像として用いるように構成される
項目１７～項目２５のいずれか１項に記載の装置。
［項目２８］
前記画像合成ユニットは、さらに、
複数のグループのオリジナル奥行き画像を取得し、任意のグループのオリジナル奥行き画像は、前記複数の観測点のうちの１つの対応する観測点で異なる方向から収集された奥行き画像であり、
任意のグループのオリジナル奥行き画像を対応する単一の合成奥行き画像に合成し、前記対応する観測点で観測された前記実空間のローカルシーンに対応する奥行き情報を含む奥行き画像として用いるように構成される
項目２７に記載の装置。
［項目２９］
コンピュータ機器であって、メモリと、プロセッサと、前記メモリに記憶されたコンピュータプログラムとを含み、
ここで、前記プロセッサは、前記コンピュータプログラムを実行して、項目１～１６のいずれか１項に記載の方法のステップを実現するように構成されるコンピュータ機器。
［項目３０］
コンピュータプログラムが記憶されており、前記コンピュータプログラムがプロセッサに実行されると項目１～１６のいずれか１項に記載の方法のステップを実現する非一時的なコンピュータ可読記憶媒体。
［項目３１］
コンピュータプログラムを含むコンピュータプログラム製品であって、前記コンピュータプログラムがプロセッサによって実行されると、項目１～項目１６のいずれか１項に記載の方法のステップを実現するコンピュータプログラム製品。

【国際調査報告】