特開 2022-92742 ３次元モデルを変更する方法及び電子装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022092742

(43)【公開日】2022-06-23

(54)【発明の名称】３次元モデルを変更する方法及び電子装置

(51)【国際特許分類】

   G06T 19/00 20110101AFI20220616BHJP

   G06T 1/00 20060101ALI20220616BHJP

【ＦＩ】

G06T19/00 A

G06T1/00 315

【審査請求】未請求

【請求項の数】8

【出願形態】ＯＬ

【外国語出願】

(21)【出願番号】P 2020205624

(22)【出願日】2020-12-11

(71)【出願人】

【識別番号】518427524

【氏名又は名称】未來市股▲ふん▼有限公司

(74)【代理人】

【識別番号】100081961

【弁理士】

【氏名又は名称】木内 光春

(74)【代理人】

【識別番号】100112564

【弁理士】

【氏名又は名称】大熊 考一

(74)【代理人】

【識別番号】100163500

【弁理士】

【氏名又は名称】片桐 貞典

(74)【代理人】

【識別番号】230115598

【弁護士】

【氏名又は名称】木内 加奈子

(72)【発明者】

【氏名】陳 威廷

(72)【発明者】

【氏名】王 自強

(72)【発明者】

【氏名】蔡 仲智

【テーマコード（参考）】

5B050

5B057

【Ｆターム（参考）】

5B050BA09

5B050BA13

5B050CA07

5B050DA01

5B050EA07

5B050EA18

5B050EA28

5B050FA02

5B050FA09

5B050GA08

5B057BA12

5B057CA13

5B057CA16

5B057CB13

5B057CB17

5B057CD14

5B057DA07

5B057DA08

5B057DA16

5B057DC09

5B057DC33

(57)【要約】

【課題】３次元モデルを変更する方法及び電子装置を提供する。
【解決手段】
本方法では、実環境をスキャンすることによって複数の２次元画像が得られる。実環境の実オブジェクトは、２次元画像で識別される。２次元画像に基づいて３次元モデルが生成される。３次元モデルは、実オブジェクトの深度情報に関連している。３次元モデルの１つ又は複数の仮想オブジェクトを変更するための変更操作が受信される。仮想オブジェクトは、１つ又は複数の実オブジェクトに対応する。変更操作は、２次元画像における実オブジェクトの識別結果及び実オブジェクトの深度情報に基づいて２次元画像にマッピングされ、変更された画像を生成する。適切な変更結果を提供するために、変更された画像に基づいて変更された３次元モデルが生成される。
【選択図】図２

【特許請求の範囲】

【請求項1】

実環境をスキャンすることによって２次元画像を取得するステップと、
前記２次元画像における前記実環境の実オブジェクトを識別するステップと、
前記２次元画像に基づいて３次元モデルを生成し、前記３次元モデルは、前記実オブジェクトの深度情報に関連するステップと、
前記３次元モデルにおける少なくとも１つの仮想オブジェクトを変更するための変更操作を受け取り、前記少なくとも１つの仮想オブジェクトは、前記実オブジェクトの少なくとも１つに対応するステップと、
前記２次元画像における前記実オブジェクトの識別結果及び前記実オブジェクトの深度情報に基づいて、前記変更操作を２次元画像にマッピングして、変更された画像を生成するステップと、
前記変更された画像に基づいて変更された３次元モデルを生成するステップと、
を含む方法。

【請求項2】

プログラムコードを格納するメモリと、
前記メモリに結合され且つ
実環境をスキャンして２次元画像を取得するステップと、
前記２次元画像における前記実環境の実オブジェクトを識別するステップと、
前記２次元画像に基づいて３次元モデルを生成し、前記３次元モデルは、前記実オブジェクトの深度情報に関連するステップと、
前記３次元モデルにおける少なくとも１つの仮想オブジェクトを変更するための変更操作を受け取り、前記少なくとも１つの仮想オブジェクトは、前記実オブジェクトの少なくとも１つに対応するステップと、
前記２次元画像における前記実オブジェクトの識別結果及び前記実オブジェクトの深度情報に基づいて、前記変更操作を２次元画像にマッピングして、変更された画像を生成するステップと、
前記変更された画像に基づいて変更された３次元モデルを生成するステップと、
を実行するため、前記プログラムコードをロードするプロセッサと、
を含む電子装置。

【請求項3】

前記変更操作を前記２次元画像にマッピングするステップは、
前記変更操作の変更領域を前記２次元画像の画像レイヤにマッピングし、前記画像レイヤは、前記３次元モデルの前記変更操作のビューに対応し、前記変更領域は、前記少なくとも１つの仮想オブジェクトの輪郭に対応するステップと、
前記実オブジェクトの前記識別結果に基づいて、前記画像レイヤの前記変更領域内に位置する前記実オブジェクトを選択するステップと、
選択された実オブジェクトの前記深度情報に基づいて前記変更された画像を生成するステップと、
を含む請求項１に記載の方法、
又は、
前記プロセッサが、更に、
前記変更操作の変更領域を前記２次元画像の画像レイヤにマッピングし、前記画像レイヤは、前記３次元モデルの前記変更操作のビューに対応し、前記変更領域は、前記少なくとも１つの仮想オブジェクトの輪郭に対応するステップと、
前記実オブジェクトの前記識別結果に基づいて、前記画像レイヤの前記変更領域内に位置する前記実オブジェクトを判定するステップと、
選択された実オブジェクトの前記深度情報に基づいて前記変更された画像を生成するステップと、
を実行する請求項２に記載の電子装置。

【請求項4】

前記変更操作は、前記３次元モデルから前記少なくとも１つの仮想オブジェクトを削除することであり、前記少なくとも１つの仮想オブジェクトは、前記選択された実オブジェクトの少なくとも１つの第１実オブジェクトに対応し、前記変更された画像を生成するステップは、
前記選択された実オブジェクトの第２実オブジェクトが前記選択された実オブジェクトの前記深度情報に基づいて前記画像レイヤの前記変更領域内に配置されているかを判定するステップと、
前記第２実オブジェクトの判定結果に基づいて前記画像レイヤから前記変更領域を削除するステップと、
を含む請求項３に記載の方法、
又は、
前記変更操作は、前記３次元モデルから前記少なくとも１つの仮想オブジェクトを削除することであり、前記少なくとも１つの仮想オブジェクトは、前記選択された実オブジェクトの少なくとも１つの第１実オブジェクトに対応し、前記プロセッサが、更に、
前記選択された実オブジェクトの第２実オブジェクトが前記選択された実オブジェクトの前記深度情報に基づいて前記画像レイヤの前記変更領域内に配置されているかを判定するステップと、
前記第２実オブジェクトの判定結果に基づいて前記画像レイヤから前記変更領域を削除するするステップと、
を実行する請求項３に記載の電子装置。

【請求項5】

前記画像レイヤから前記変更領域を削除するステップは、
前記第２実オブジェクトが前記変更領域内に位置することを判定し、更に前記変更された画像における前記第２実オブジェクトを維持するステップを含む請求項４に記載の方法、
又は、
前記プロセッサが、更に、
前記第２実オブジェクトが前記変更領域内に位置することを判定し、更に前記変更された画像における前記第２実オブジェクトを維持するステップを実行する請求項４に記載の電子装置。

【請求項6】

前記画像レイヤから前記変更領域を削除するステップは、
前記第２実オブジェクトが前記変更領域内に位置していないことを判定し、更に前記変更領域全体を前記画像レイヤから削除するステップを含む請求項４に記載の方法、
又は、
前記プロセッサが、更に、
前記第２実オブジェクトが前記変更領域内に位置していないことを判定し、更に前記変更領域全体を前記画像レイヤから削除するステップを更に実行する請求項４に記載の電子装置。

【請求項7】

前記画像レイヤから前記変更領域を削除するステップの後に、更に、
隣接するオブジェクトの深度情報に基づいて、前記変更領域に対応する削除された領域をパディングするステップを更に含む請求項４に記載の方法、
又は、
前記プロセッサが、更に、
隣接するオブジェクトの深度情報に基づいて、前記変更領域に対応する削除された領域をパディングするステップを実行する請求項４に記載の電子装置。

【請求項8】

前記変更操作は、前記少なくとも１つの仮想オブジェクトを前記３次元モデルに追加することであり、前記変更された画像を生成するステップは、
前記選択された実オブジェクトの前記深度情報に基づいて、前記選択された実オブジェクトの第３実オブジェクトが前記画像レイヤの前記変更領域内に位置するか否かを判定するステップと、
前記第２実オブジェクトの判定結果に基づいて前記少なくとも１つの仮想オブジェクトの深度情報を生成するステップと、
を含む請求項３に記載の方法、
又は、
前記変更操作は、前記少なくとも１つの仮想オブジェクトを前記３次元モデルに追加することであり、前記プロセッサが、更に、
前記選択された実オブジェクトの前記深度情報に基づいて、前記選択された実オブジェクトの第３実オブジェクトが前記画像レイヤの前記変更領域内に位置するか否かを判定するステップと、
前記第２実オブジェクトの判定結果に基づいて前記少なくとも１つの仮想オブジェクトの深度情報を生成するステップと、
を実行する請求項３に記載の電子装置。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、概して、３次元モデル生成、特に、３次元モデル生成に関連する方法及び電子装置に関する。

【背景技術】

【0002】

実際のシーン又はディスプレイ上の実オブジェクトに対応する３次元モデルを表示することはユーザにとって便利である。ユーザは、３次元モデルの任意の視点を変更したり、対象のエリアをズームイン／ズームアウトしたりできる。現在、ユーザは、深度関連のカメラ又は３次元スキャナを使用して、実際のシーン又は実オブジェクトをスキャンすることができる。スキャンした結果に基づいて、対応する３次元モデルを生成するのに長くかからなくなっている。

【0003】

なお、３次元モデルは、デジタル形式で記録されている。ユーザが特定のアプリケーションを使用して３次元モデルを変更する場合がある。

【0004】

しかしながら、３次元モデルを直接変更すると、不適切なモデルが生成される場合がある。例えば、オブジェクトの幾つかの部分が、背後に位置する別のオブジェクトがユーザによって削除されたため、３次元モデルから削除されることがある。

【発明の概要】

【発明が解決しようとする課題】

【0005】

３次元モデルが変更された後、仮想オブジェクトの幾つかの部分が不適切になる場合がある。従って、本開示は、変更された結果を提供する方法及び電子装置を対象とする。

【課題を解決するための手段】

【0006】

一例示的実施形態では、方法は、これらに限定するものではないが、以下のステップを含む。複数の２次元画像は、実環境をスキャンすることによって取得される。実環境の実オブジェクトは、２次元画像で識別される。２次元画像に基づいて３次元モデルが生成される。３次元モデルは、実オブジェクトの深度情報に関連している。３次元モデルの１つ又は複数の仮想オブジェクトを変更するための変更操作が受信される。仮想オブジェクトは、１つ又は複数の実オブジェクトに対応する。変更操作は、２次元画像における実オブジェクトの識別結果及び実オブジェクトの深度情報に基づいて２次元画像にマッピングされ、変更された画像を生成する。変更された画像に基づいて、変更された３次元モデルが生成される。

【0007】

一例示的実施形態では、電子装置は、これらに限定するものではないが、メモリ及びプロセッサを含む。メモリは、プログラムコードを格納するために使用される。プロセッサはメモリに結合され、プログラムコードをロードして、実環境をスキャンして２次元画像を取得し、２次元画像で実環境の実オブジェクトを識別し、２次元画像に基づいて３次元モデルを生成し、３次元モデルの１つ又は複数の仮想オブジェクトを変更するための変更操作を受け取り、２次元画像の実オブジェクトの識別結果と実オブジェクトの深度情報に基づいて変更操作を２次元画像にマッピングして、変更された画像を生成し、変更された画像に基づいて変更された３次元モデルを生成する。仮想オブジェクトは、１つ又は複数の実オブジェクトに対応する。３次元モデルは、実オブジェクトの深度情報に関連している。

【発明の効果】

【0008】

上記に照らして、３次元モデルを変更する方法及び電子装置に基づき、３次元モデル上の仮想オブジェクトの変更操作は、２次元画像にマッピングされ、２次元画像における変更操作に対応する実オブジェクト間の位置関係は、３次元モデルを再生成することに用いられる。従って、変更操作の仮想オブジェクトのみが、変更された３次元モデルから変更され、他の仮想オブジェクトは同じままである。

【0009】

なお、この概要は、本開示の全ての態様及び実施形態を含むとは限らず、いかなる方法にも制限又は限定することを意味するものではなく、本明細書に開示される発明は、それに対する自明な改良及び変更を含むものであると当業者により理解されるものである。

【図面の簡単な説明】

【0010】

【図1】本開示の一例示的実施形態による電子装置を示すブロック図である。

【図2】本開示の一例示的実施形態による３次元モデルを変更する方法を示すフローチャートである。

【図3A】本開示の一例示的実施形態による３次元モデルを示す概略図である。

【図3B】、

【図3C】本開示の一例示的実施形態による仮想オブジェクトの削除操作を示す概略図である。

【図4】本開示の一例示的実施形態による仮想オブジェクトの追加操作を示す概略図である。

【発明を実施するための形態】

【0011】

本開示の好適実施形態を詳細に参照し、その例を添付の図面に示す。可能な限り、図面及び説明で同じ参照番号を使用して同じ又は類似の部材を参照している。

【0012】

図１は、本開示の一例示的実施形態による電子装置１００を示すブロック図である。図１を参照し、電子装置１００は、これらに限定するものではないが、メモリ１１０、ディスプレイ１２０、画像キャプチャデバイス１３０、及びプロセッサ１５０を含む。一実施形態では、電子装置１００は、スマートフォン、タブレット、ラップトップ、又はサーバであることができる。幾つかの実施形態では、電子装置１００は、拡張現実（ＸＲ）又はその他のリアリティ関連技術に適用される。

【0013】

メモリ１１０は、任意のタイプの固定又は可動のランダムアクセスメモリ（ＲＡＭ）、読み取り専用メモリ（ＲＯＭ）、フラッシュメモリ、類似のデバイス、又は上記のデバイスの組み合わせであることができる。メモリ１１０は、プログラムコード、デバイス構成、バッファデータ、又は永続データ（画像、モデル、深度情報、又は仮想オブジェクト素材等）を記録し、これらのデータについては、後述する。

【0014】

ディスプレイ１２０は、ＬＣＤ、ＬＥＤディスプレイ、又はＯＬＥＤディスプレイであることができる。

【0015】

画像キャプチャデバイス１３０は、モノクロカメラ又はカラーカメラ、ディープカメラ、ビデオレコーダ等のカメラ又は画像をキャプチャすることができる他の画像キャプチャデバイスであることができる。一実施形態では、画像キャプチャデバイス１３０は、電子装置１００の本体に配置されて、外部をキャプチャする。例えば、ユーザが電子装置１００を着用するとき、画像キャプチャデバイス１３０は、ユーザの目の前の位置にあることができる。幾つかの実施形態では、電子装置１００は、深度センサ、飛行時間型カメラ、又は外部オブジェクトの深度又は距離情報を取得することができる他のセンサを更に含むことができる。

【0016】

プロセッサ１５０は、メモリ１１０、ディスプレイ１２０、及び画像キャプチャデバイス１３０に結合される。プロセッサ１５０は、メモリ１１０に格納されたプログラムコードをロードして、本開示の例示的実施形態の手順を実行するように構成される。

【0017】

幾つかの実施形態では、プロセッサ１５０は、ＣＰＵ（ｃｅｎｔｒａｌ ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ）、マイクロプロセッサ、マイクロコントローラ、グラフィックス処理ユニット（ＧＰＵ）、デジタル信号処理（ＤＳＰ）チップ、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）であることができる。プロセッサ１５０の機能は、独立した電子デバイス又は集積回路（ＩＣ）によって実行されることもでき、プロセッサ１５０の動作は、ソフトウェアによって実行されることもできる。

【0018】

一実施形態には、ＨＭＤ又はデジタル眼鏡は、メモリ１１０、ディスプレイ１２０、画像キャプチャデバイス１３０、及びプロセッサ１５０を含む。幾つかの実施形態では、プロセッサ１５０は、ディスプレイ１２０及び／又は画像キャプチャデバイス１３０と同じ装置に配置しない場合もある。しかしながら、それぞれディスプレイ１２０、画像キャプチャデバイス１３０、及びプロセッサ１５０を備えた装置は、ブルートゥース（登録商標）、Ｗｉ‐Ｆｉ、及びＩＲ無線通信などの互換性のある通信技術を備えた通信トランシーバ、又は物理的伝送ラインを更に含み、データを互いに送受信することができる。例えば、プロセッサ１５０は、ＨＭＤ内に配置され、一方で、画像キャプチャデバイス１３０は、ＨＭＤの外側に配置されることができる。別の例では、プロセッサ１５０は、コンピューティングデバイス内に配置され、一方で、ディスプレイ１２０は、コンピューティングデバイスの外側に配置されることができる。

【0019】

本開示の１つ又は複数の実施形態で提供される動作プロセスをよりよく理解するために、いくつかの実施形態を以下に例示して電子装置１００を詳しく説明する。電子装置１００のデバイスとモジュールは、ここで提供される３次元モデルを変更する方法を説明するために次の実施形態に適用される。この方法の各ステップは、実際の実装状況に応じて調整でき、ここで説明するものに限定するものではない。

【0020】

図２は、本開示の一例示的実施形態による方法を示すフローチャートである。図２を参照し、プロセッサ１５０は、実環境をスキャンすることによって、１つ又は複数の２次元画像を取得することができる（ステップＳ２１０）。一実施形態では、ユーザが自分の体の部分に電子装置１００を装着／着用することを想定している。ユーザは、電子装置１００を移動又は回転させることができ、その結果、画像キャプチャデバイス１３０は、電子装置１００のポーズに対応する方向に向かってキャプチャして、実環境の建築空間（部屋又はオフィス等）又は１つ又は複数の実オブジェクト（椅子、バスケットボール、玩具等）をスキャンすることができる。実環境（部屋、オフィス等）において画像キャプチャデバイス１３０によってキャプチャされた画像は、本開示の実施形態において２次元画像と称するが、これに限定するものではない。別の実施形態では、２次元画像は３次元スキャナ又は深度関連カメラ（深度カメラ、ステレオカメラ、ＬｉＤＡＲスキャナ等）によって生成され、電子装置１００は、２次元画像を外部装置（フラッシュディスク、サーバ、スキャナ等）からダウンロード又は受信することができる。

【0021】

プロセッサ１５０は、２次元画像内の実環境の１つ又は複数の実オブジェクトを識別することができる（ステップＳ２２０）。具体的には、プロセッサ１５０は、オブジェクト識別アルゴリズム（機械学習ベースの推測又は画像特徴比較など）を使用し、２次元画像内の実オブジェクトのオブジェクトタイプを判定することができる。例えば、椅子、テーブル、テレビ、又はベッドの幾つかの画像は、ニューラルネットワークに基づいてオブジェクト分類子を構築するためのトレーニングサンプルと見なされ、オブジェクト分類子は、その画像内のオブジェクトを識別することができる。

【0022】

プロセッサ１５０は、２次元画像に基づいて３次元モデルを生成することができる（ステップＳ２３０）。具体的には、３次元モデルは、実オブジェクトの深度情報に関連している。深度情報は、相対距離及び相対方向を含むことができる。相対距離は、実オブジェクトから画像キャプチャデバイス１３０のキャプチャ位置、又は２次元画像がキャプチャされる別のスキャナまでの距離である。相対方向は、画像キャプチャデバイス１３０又はスキャナに対する実オブジェクトの方向である。

【0023】

一実施形態において、プロセッサ１５０は、点群、３Ｄメッシュ等のモデルフォーマットを有する３次元モデルを生成することができる。これは、３次元モデルが点群と３次元メッシュのモデルフォーマットで作成されることを意味する。点群図を例にとると、プロセッサ１５０は、２次元画像と実オブジェクトの深度情報から特徴（色、線、パターン等）を取得する。２次元画像のピクセル／ブロックの特徴は、対応する深度と位置に応じて、空白の仮想環境内の特定の３Ｄ空間座標にマッピングされる。これらのピクセル／ブロックの全てがマッピングされた後、３次元モデルが生成される。

【0024】

別の実施形態では、プロセッサ１５０は、点群のモデルフォーマットとは異なる別のモデルフォーマットで最適化された３次元モデルを取得することができる。最適化された３次元モデルのモデルフォーマットは、ＳＴＬ、ＦＢＸ、ＣＯＬＬＡＤＡ、３ＤＳ、ＯＢＪ、又はその他のフォーマットであることができる。

【0025】

３次元モデルは、実環境における１つ又は複数の実オブジェクトに対応する１つ又は複数の仮想オブジェクトを含む。例えば、図３Ａは、本開示の一例示的実施形態による３次元モデルを示す概略図である。図３Ａを参照し、３次元モデルは、仮想椅子ＶＣ及び仮想テーブルＶＴを含む。

【0026】

プロセッサ１５０は、３次元モデル内の１つ又は複数の仮想オブジェクトを変更するための変更操作を受け取ることができる（ステップＳ２４０）。具体的には、変更操作は、仮想オブジェクトを３次元モデルから削除すること、又は仮想オブジェクトを３次元モデルに追加することに関連することができる。一実施形態において、削除関連の変更操作に関して、仮想オブジェクトは、画像キャプチャデバイス１３０又は別のスキャナによってキャプチャされた１つ又は複数の実オブジェクトに対応する。別の実施形態では、追加関連の変更操作に関して、仮想オブジェクトは、２次元画像に存在しない１つ又は複数の実オブジェクトに対応している。

【0027】

一実施形態では、プロセッサ１５０は、ディスプレイ上に３次元モデルを表示することができるため、ユーザは、変更される仮想オブジェクトを選択することができる。例えば、ユーザは。入力デバイス（マウス、キーボード、タッチパネル等）を使用して、３次元モデルの仮想オブジェクトを丸で囲むことができる。別の例として、ユーザは、マウスを使用して仮想オブジェクトの位置をクリックすることができる。

【0028】

別の実施形態では、プロセッサ１５０は、ディスプレイ１２０上にオブジェクトメニューを表示することができ、オブジェクトメニューは、複数のオブジェクトタイプを含む。ユーザは、オブジェクトメニューから１つ又は複数のオブジェクトタイプを選択することができる。

【0029】

プロセッサ１５０は、２次元画像における実オブジェクトの識別結果及び実オブジェクトの深度情報に基づいて、変更操作を２次元画像にマッピングして、変更された画像を生成することができる（ステップＳ２５０）。具体的には、変更操作に関して、プロセッサ１５０は、変更エリア及び対応する画像平面に基づいて２次元画像レイヤ関係を確立することができる。なお、複数の仮想オブジェクトの深度は、特定のビューで異なる場合がある。１つの仮想オブジェクトの変更操作が、３次元モデルの特定のビューで他の仮想オブジェクトの完全性に影響を与え得る。２次元の画像レイヤ関係は、他の仮想オブジェクトの完全性を維持することを補助し得る。

【0030】

一実施形態において、プロセッサ１５０は、変更操作の変更領域を２次元画像の画像レイヤにマッピングすることができる。画像レイヤは、３次元モデルの変更操作のビューに対応する。変更操作は、特定のビューに適用されることが想定されている。図３Ａを例とし、ユーザは、３次元モデルを図面に示されているようにビューに向け、それにより、ユーザは、変更操作のために仮想テーブルＶＴを選択することができる。変更領域は、変更される仮想オブジェクトの輪郭に対応する。これは、１つ又は複数の仮想オブジェクトが変更領域で追加又は削除され得ることを意味する。従って、変更領域に対応する深度情報は、追加された仮想オブジェクト又は削除された仮想オブジェクトに対して変更されるべきである。

【0031】

例えば、図３Ｂは、本開示の一例示的実施形態による仮想オブジェクトの削除操作を示す概略図である。図３Ｂを参照し、仮想テーブルＶＴに対して削除操作が選択され、仮想テーブルＶＴは、変更領域ＭＡ１により囲まれている。

【0032】

別の例として、図４は、本開示の一例示的実施形態による仮想オブジェクトの追加動作を示す概略図である。図４を参照し、仮想フロアランプＶＬに対して追加操作が選択され、仮想フロアランプＶＬは、変更領域ＭＡ２で囲まれている。

【0033】

変更領域は、１つの画像レイヤにマッピングされる。画像レイヤは、画像キャプチャデバイス１３０又は別のスキャナによってキャプチャされた実オブジェクトの深度情報を記録する。従って、プロセッサ１５０は、変更領域に対応する深度を判定することができる。

【0034】

プロセッサ１５０は、実オブジェクトの識別結果に基づいて、画像レイヤの変更領域内にある実オブジェクトを選択することができる。実オブジェクトの識別結果に基づいて、プロセッサ１５０は、３次元モデルの変更エリアに、変更されない他の実オブジェクトを更に含むか否かを認識することができる。識別結果がない場合、変更領域内に仮想オブジェクトが１つしかないため、仮想オブジェクトが不完全であるということになる。従って、画像レイヤの変更領域内にある全ての実オブジェクトを選択して、選択された実オブジェクトのカバー状況を更に確認すべきである。

【0035】

例えば、図３Ｂにおいて、仮想椅子ＶＣの部分ＯＶ１は、変更領域ＭＡ１内にある。更に、図４Ａにおいて、仮想椅子ＶＣの部分ＯＶ２は、変更領域ＭＡ２内にある。

【0036】

プロセッサ１５０は、選択された実オブジェクトの深度情報に基づいて、変更された画像を生成することができる。変更された画像では、変更操作によって選択された仮想オブジェクトに対応しない実オブジェクト全体が、同じ位置に残る。

【0037】

一実施形態では、変更操作は、３次元モデルから仮想オブジェクトを削除すること、すなわち、削除操作である。変更操作の仮想オブジェクトは、変更領域内にある選択された実オブジェクトの１つ又は複数の第１実オブジェクトに対応する。プロセッサ１５０は、選択された実オブジェクトの深度情報に基づいて、選択された実オブジェクトの１つ又は複数の第２実オブジェクトが画像レイヤの変更領域内に位置するか否かを判定することができる。第２実オブジェクトは、変更操作で選択されていない１つ又は複数の仮想オブジェクトに対応する。図３Ｂを例にとし、仮想テーブルＶＴは、実環境における実際のテーブルである第１実オブジェクトに属する。仮想椅子ＶＣは、実環境における実際の椅子である第２実オブジェクトに属する。識別結果に基づいて、プロセッサ１５０は、２つのオブジェクトを区別することができる。更に、深度情報に基づいて、プロセッサ１５０は、図面に示すように、ビューで実際の椅子が実際のテーブルをカバーしていることを認識することができる。

【0038】

プロセッサ１５０は、第２実オブジェクトの判定結果に基づいて、画像レイヤから変更領域を削除することができる。一実施形態では、判定結果は、第２の実オブジェクトの決定が変更領域内にあるということである。図３Ｂを例とし、仮想椅子ＶＣに対応する実際の椅子は、変更領域ＭＡ１内にある。但し、状況によっては、ユーザが３次元モデルから仮想テーブルＶＴを削除しようとするだけである。

【0039】

プロセッサ１５０は、変更された画像内の第２実オブジェクト全体を更に維持することができる。これは、変更領域の部分が画像レイヤから削除され、第２実オブジェクトによって占有されている他の部分が維持されることを意味する。第１実オブジェクトの深度情報は、削除操作のために破棄される。但し、変更領域内にある第２実オブジェクトの部分の深度情報は、第２実オブジェクトに対応する仮想オブジェクトの完全性のために維持される。

【0040】

一部の実施形態では、変更領域が画像レイヤから削除された後、プロセッサ１５０は、隣接するオブジェクトの深度情報に基づいて、変更領域に対応する削除されたエリアをパディングすることができる。隣接オブジェクトは、削除操作に対応する仮想オブジェクトと同じ深度に配置される。例えば、床に配置されたテーブルが削除操作に選択され、削除されたテーブルに対応する削除されたエリアの深度は、床と同じになる。

【0041】

別の実施形態では、判定結果は、第２実オブジェクトが変更領域内に配置されていないと判定するものである。これは、第１実オブジェクトが、変更操作のビューにおいて、第２実オブジェクトによってカバーされていないことを意味する。プロセッサ１５０は、画像レイヤから変更領域全体を更に削除することができる。従って、第１実オブジェクトの深度情報のみが破棄される。

【0042】

一実施形態では、変更操作は、１つ又は複数の仮想オブジェクトを３次元モデルに追加することである。同様に、プロセッサ１５０は、選択された実オブジェクトの深度情報に基づいて、選択された実オブジェクトの第３実オブジェクトが画像レイヤの変更領域内に位置するか否かを判定することができる。第３実オブジェクトは、変更操作で選択されていない１つ又は複数の仮想オブジェクトに対応する。図４を例とし、仮想椅子ＶＣは、実環境の実際の椅子である第３実オブジェクトに属する。

【0043】

プロセッサ１５０は、第２実オブジェクトの決定結果に基づいて、追加操作に対応する仮想オブジェクトの深度情報を生成することができる。一実施形態では、判定結果は、第３実オブジェクトが変更領域内にあると判定するものである。図４を例とし、仮想椅子ＶＣに対応する実際の椅子は変更領域ＭＡ２内にある。但し、ユーザは、仮想椅子ＶＣの後ろに仮想フロアランプＶＬを追加しようとする。

【0044】

プロセッサ１５０は、変更された画像における第２実オブジェクト全体を更に維持することができる。これは、変更領域の部分が画像レイヤに追加されるが、第３実オブジェクトによって占有されている他の部分は維持されることを意味する。新たに追加された仮想オブジェクトの深度情報は、追加操作のために生成される。但し、変更領域内に位置する第３実オブジェクトの部分の深度情報は、第３実オブジェクトに対応する仮想オブジェクトの完全性のために維持される。

【0045】

別の実施形態では、判定結果は、第３実オブジェクトが変更領域内に配置されていないと判定するものである。これは、新しく追加された仮想オブジェクトが変更操作のビューにおいて、如何なる仮想オブジェクトにもカバーされないことを意味する。従って、新たに追加された仮想オブジェクト全体の深度情報が生成される。

【0046】

プロセッサ１５０は、変更された画像に基づいて変更された３次元モデルを生成することができる（ステップＳ２６０）。具体的には、変更された画像では、変更領域内にあるオブジェクト間のカバー状況が考慮される。変更操作で選択されていないが変更領域内に位置する他のオブジェクトの深度情報は同じままである。更に、変更操作によって選択された仮想オブジェクトの深度情報のみが、変更操作のタイプに基づいて削除又は追加される。プロセッサ１５０は、変更された深度情報及び２次元画像を使用して３次元モデルを再生成することができ、変更された３次元モデルが得られる。

【0047】

例えば、図３Ｂ及び３Ｃを参照し、図３Ｂと比較して、図３Ｃにおいて、３次元モデルから仮想テーブルＶＴが削除されているのみである。仮想椅子ＶＣ全体は、３次元モデルに維持される。

【0048】

別の例として、図４を参照し、仮想椅子ＶＣ全体は、３次元モデルに維持される。図に示すように、仮想椅子ＶＣは、ビューで仮想フロアランプＶＬを更にカバーする。

【0049】

要約すると、上記の例示的実施形態は、３次元モデルを変更する方法及び電子装置を示した。複数のオブジェクト間のカバー状況は、変更操作を２次元画像にマッピングすることにより、識別結果と２次元画像レイヤの深度情報に基づいて判定される。マッピング結果に基づいて、変更操作に対する変更された３次元モデルを生成できる。従って、変更操作後の仮想オブジェクトの完全性が維持されることができる。

【0050】

当業者であれば明らかであるように、本開示の範囲又は精神から逸脱することなく、本開示の構造に対して様々な変更及び変形を行うことができる。前述の観点において、本開示は、それらが後述の特許請求の範囲及びそれらの均等の範囲内にあるという条件で、本開示の変更及び変形を含むことが意図される。

【産業上の利用可能性】

【0051】

３次元モデルを変更する方法及び電子装置は、３次元モデルの生成に適用することができる。

【符号の説明】

【0052】

１００ 電子装置
１１０ メモリ
１２０ ディスプレイ
１３０ 画像キャプチャデバイス
１５０ プロセッサ
Ｓ２１０～Ｓ２６０ ステップ
ＶＴ 仮想テーブル
ＶＣ 仮想椅子
ＭＡ１ 変更領域
ＯＶ１ 部分
ＶＬ フロアランプ
ＭＡ２ 変更領域
ＯＶ２ 部分

【図1】

【図2】

【図3A】

【図3B】

【図3C】

【図4】

【外国語明細書】