(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2023-02-01
(54)【発明の名称】拡張現実に基づいた表示方法及び装置、並びに記憶媒体
(51)【国際特許分類】
G06T 19/00 20110101AFI20230125BHJP
【ＦＩ】
G06T19/00 600
【審査請求】有
【予備審査請求】未請求
(21)【出願番号】P 2022530864
(86)(22)【出願日】2021-08-20
(85)【翻訳文提出日】2022-05-26
(86)【国際出願番号】 SG2021050488
(87)【国際公開番号】W WO2022055418
(87)【国際公開日】2022-03-17
(31)【優先権主張番号】202010937921.6
(32)【優先日】2020-09-09
(33)【優先権主張国・地域又は機関】CN
(81)【指定国・地域】
(71)【出願人】
【識別番号】521431088
【氏名又は名称】北京字跳▲網▼絡技▲術▼有限公司
【氏名又は名称原語表記】Ｂｅｉｊｉｎｇ Ｚｉｔｉａｏ Ｎｅｔｗｏｒｋ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．， Ｌｔｄ．
【住所又は居所原語表記】０２０７， ２／Ｆ， Ｂｕｉｌｄｉｎｇ ４， Ｚｉｊｉｎ Ｄｉｇｉｔａｌ Ｐａｒｋ， Ｈａｉｄｉａｎ Ｄｉｓｔｒｉｃｔ， Ｂｅｉｊｉｎｇ，Ｐ． Ｒ． Ｃｈｉｎａ
(74)【代理人】
【識別番号】100107766
【弁理士】
【氏名又は名称】伊東 忠重
(74)【代理人】
【識別番号】100070150
【弁理士】
【氏名又は名称】伊東 忠彦
(74)【代理人】
【識別番号】100135079
【弁理士】
【氏名又は名称】宮崎 修
(72)【発明者】
【氏名】ルゥ，ジション
(72)【発明者】
【氏名】チェン，ジリ
(72)【発明者】
【氏名】ジャン，ジンツォン
(72)【発明者】
【氏名】チェン，ズハオ
【テーマコード（参考）】
5B050
【Ｆターム（参考）】
5B050BA09
5B050CA07
5B050DA04
5B050EA12
5B050EA19
5B050FA05
(57)【要約】
拡張現実に基づいた表示方法及び装置、並びに記憶媒体。方法は、ユーザの第１指示に応答して、実時間シーン画像において画像収集ユニットによって捕捉されたターゲットオブジェクト画像を取得するステップと、ターゲットオブジェクト画像に従って、ターゲットオブジェクトに対応するアバターを生成するステップと、拡張現実技術に基づき実時間シーン画像においてターゲットオブジェクトのアバターを表示するステップとを有する。ターゲットオブジェクト画像が取得され、ターゲットオブジェクトに対応するアバターはこのようにしてターゲットオブジェクト画像に基づき生成される。アバターは、拡張現実技術に基づき実時間シーン画像に表示される。様々なアバターがユーザの要求に従って生成可能であり、それにより、ユーザの様々な要求は満足され、ＡＲ技術を使用するユーザのユーザ経験は改善される。
【特許請求の範囲】
【請求項1】
拡張現実に基づいた表示方法であって、ユーザからの第１指示に応答して、画像収集ユニットによって捕捉された実時間シーン画像においてターゲットオブジェクト画像を取得するステップと、
前記ターゲットオブジェクト画像に基づきターゲットオブジェクトに対応する仮想画像を生成するステップと、
拡張現実表示技術に基づき前記実時間シーン画像において前記ターゲットオブジェクトの前記仮想画像を表示するステップと
を有する方法。
【請求項2】
画像収集ユニットによって捕捉された実時間シーン画像においてターゲットオブジェクト画像を取得する前記ステップは、前記実時間シーン画像内の前記ターゲットオブジェクトに対してオブジェクトセグメンテーションを実行して前記ターゲットオブジェクト画像を取得し、該ターゲットオブジェクト画像にタグ付けするステップを有する、
請求項１に記載の方法。
【請求項3】
前記ユーザからのトリガ指示に応答して、前記実時間シーン画像内の前記ターゲットオブジェクトに対してオブジェクトセグメンテーションを実行するために、プレロードされているオブジェクトセグメンテーションアルゴリズムを実行するステップと、前記第１指示に応答して前記オブジェクトセグメンテーションアルゴリズムの実行を止めるステップと
を更に有する、請求項２に記載の方法。
【請求項4】
前記ターゲットオブジェクト画像に基づきターゲットオブジェクトに対応する仮想画像を生成する前記ステップは、前記ターゲットオブジェクトに対応する前記仮想画像を生成するよう前記ターゲットオブジェクト画像をアニメーション素材と合成するステップを有し、
前記アニメーション素材は、前記仮想画像の手足－身体アニメーション素材及び／又は表情アニメーション素材を含む、
請求項１乃至３のうちいずれか一項に記載の方法。
【請求項5】
前記ターゲットオブジェクト画像をアニメーション素材と合成する前記ステップは、前記手足－身体アニメーション素材及び／又は前記表情アニメーション素材を取得するステップと、
前記ターゲットオブジェクト画像上の複数の接続点を決定するステップと、
前記複数の接続点を用いて前記手足－身体アニメーション素材及び／又は前記表情アニメーション素材を前記ターゲットオブジェクト画像と合成して、前記ターゲットオブジェクトに対応する前記仮想画像を生成するステップと
を有する、
請求項４に記載の方法。
【請求項6】
前記仮想画像に対して動き及び／又は表情制御を行うために前記アニメーション素材を再生するステップを更に有する、請求項４又は５に記載の方法。
【請求項7】
前記仮想画像に対して動き及び／又は表情制御を行うために前記アニメーション素材を再生する前記ステップは、前記アニメーション素材の前もってセットされたアニメーションフレームに従って前記アニメーション素材を再生して、前記仮想画像に対して動き及び／又は表情制御を行うステップ、及び／又は
前記ユーザの手足－身体動作及び／又は表情に基づき前記アニメーション素材のアニメーションフレームを生成及び再生して、前記仮想画像に対して動き及び／又は表情制御を行うステップ
を有する、
請求項６に記載の方法。
【請求項8】
前記ユーザからの前記仮想画像に対する制御指示に応答して前記仮想画像を相応に制御するステップを更に有し、前記制御指示は、回転制御指示、ズームアウト制御指示、移動制御指示、及びズームイン制御指示、のうちの少なくとも１つを含む、
請求項１乃至７のうちいずれか一項に記載の方法。
【請求項9】
拡張現実表示技術に基づき前記実時間シーン画像において前記ターゲットオブジェクトの前記仮想画像を表示する前記ステップは、前記実時間シーン画像内に仮想平面を生成するステップと、
前記仮想平面で３次元空間を生成するステップと、
前記拡張現実表示技術に基づき、生成された前記３次元空間において、前記ターゲットオブジェクトの前記仮想画像を表示するステップと
を有する、
請求項１乃至８のうちいずれか一項に記載の方法。
【請求項10】
前記実時間シーン画像内に仮想平面を生成する前記ステップは、ターゲット平面領域が前記実時間シーン画像に存在することを検出する場合に、該ターゲット平面領域に基づき前記仮想平面を生成するステップであり、前記ターゲット平面領域は、第１の前もってセットされた距離範囲内の前記画像収集ユニットまでの距離を有する平面領域、及び／又は前記実時間シーン画像の中央領域に位置している平面領域である、ステップ、又は
前記実時間シーン画像内の特定の位置で前記仮想平面を生成するステップ
を有する、
請求項９に記載の方法。
【請求項11】
前記拡張現実表示技術に基づき、生成された前記３次元空間において、前記ターゲットオブジェクトの前記仮想画像を表示する前記ステップは、前記３次元空間においてターゲット位置を決定するステップと、
前記拡張現実表示技術に基づき前記３次元空間内の前記ターゲット位置で前記ターゲットオブジェクトの前記仮想画像を表示するステップと
を有する、
請求項９又は１０に記載の方法。
【請求項12】
前記３次元空間においてターゲット位置を決定する前記ステップは、前記ユーザから位置指定指示を受け取るステップと、
前記ユーザからの前記位置指定指示によってトリガされた位置ポイントに基づき前記３次元空間において３次元アンカーポイントを定め、該３次元アンカーポイントを前記ターゲット位置として使用するステップと
を有する、
請求項１１に記載の方法。
【請求項13】
前記ターゲットオブジェクト画像に基づき前記ターゲットオブジェクトに対応する前記仮想画像を生成した後、前記拡張現実表示技術に基づき前記実時間シーン画像において前記ターゲットオブジェクトの前記仮想画像を表示する前に、前記画像収集ユニットの前の所定の位置で前記仮想画像をサスペンドするステップを更に有する、
請求項１乃至１２のうちいずれか一項に記載の方法。
【請求項14】
少なくとも１つの仮想画像が前記実時間シーン画像に既に存在し、既に存在している前記少なくとも１つの仮想画像の位置と前記ターゲットオブジェクトに対応する前記仮想画像との間の距離が第２の前もってセットされた距離範囲を越える場合に、既に存在している前記少なくとも１つの仮想画像を、前記ターゲットオブジェクトに対応する前記仮想画像の第２の所定の範囲内に動かし、前記少なくとも１つの仮想画像を表示するステップを更に有する、請求項１乃至１３のうちいずれか一項に記載の方法。
【請求項15】
複数の仮想画像が前記実時間シーン画像において既に存在する場合に、前記複数の仮想画像の間で衝突判定を実行するステップと、いずれか２つの仮想画像間で衝突が起きていると決定する場合に、互いに衝突している当該２つの仮想画像のうちのいずれか１つを動かすステップと
を更に有する、請求項１乃至１３のうちいずれか一項に記載の方法。
【請求項16】
前記拡張現実表示技術に基づき前記実時間シーン画像において前記ターゲットオブジェクトの前記仮想画像を表示する場合に、前記仮想画像の周りの特定の位置に前記仮想画像の影を表示するステップを更に有する、
請求項１乃至１５のうちいずれか一項に記載の方法。
【請求項17】
前記拡張現実表示技術に基づき前記実時間シーン画像において前記ターゲットオブジェクトの前記仮想画像を動的に表示するステップを更に有する、請求項１乃至１６のうちいずれか一項に記載の方法。
【請求項18】
拡張現実に基づいた表示装置であって、ユーザからの第１指示に応答して、画像収集ユニットによって捕捉された実時間シーン画像においてターゲットオブジェクト画像を取得するよう構成されるターゲットオブジェクト決定ユニットと、
前記ターゲットオブジェクト画像に基づきターゲットオブジェクトに対応する仮想画像を生成するよう構成される生成ユニットと、
拡張現実表示技術に基づき前記実時間シーン画像において前記ターゲットオブジェクトの前記仮想画像を表示するよう構成される表示ユニットと
を有する表示装置。
【請求項19】
少なくとも１つのプロセッサと、メモリと
を有し、
前記メモリは、コンピュータ実行可能命令を記憶し、
前記少なくとも１つのプロセッサは、該少なくとも１つのプロセッサに請求項１乃至１７のうちいずれか一項に記載の方法を実行させるように、前記メモリに記憶されている前記コンピュータ実行可能命令を実行する、
電子機器。
【請求項20】
コンピュータ実行可能命令を記憶し、該コンピュータ実行可能命令がプロセッサによって実行される場合に、請求項１乃至１７のうちいずれか一項に記載の方法が実装されるコンピュータ可読記憶媒体。
【発明の詳細な説明】
【技術分野】
【0001】
本開示の実施形態は、拡張現実に基づいた表示方法及び装置、並びに記憶媒体に関する。
【背景技術】
【0002】
拡張現実（ＡＲ）技術は、仮想情報を現実世界と統合する技術であり、様々な技術手段、例えば、マルチメディア、３次元モデリング、実時間トラッキング及びレジストレーション、インテリジェントインタラクション、及びセンシングを広く使用して、テキスト、画像、３次元モデル、音楽、及び映像などの、コンピュータにより生成された仮想情報をシミュレートし、かつ、コンピュータにより生成された仮想情報を現実世界に適用する。２種類の情報は相互補完的であり、これによって、現実世界の「拡張」（augmentation）が実装される。ＡＲ技術の発展とともに、それは様々な産業で広範囲にわたって使用されている。
【0003】
先行技術でのＡＲ技術の応用は、仮想モデル（例えば、カートゥーンキャラクタモデル、動物モデル、など）を現実世界の上に重ね合わせることである。しかし、先行技術の仮想モデルは、通常は固定されており、開発者によって予め設計された仮想モデル画像である。結果として、ユーザの様々なニーズを満足することができない比較的に単一の仮想モデル画像となり、ＡＲ技術を使用しようとするユーザの意欲及びユーザ経験に影響を及ぼす。
【発明の概要】
【0004】
本開示の実施形態は、仮想モデル画像が比較的に単一であり、ユーザの様々なニーズを満足することができない、という問題を解決するように、拡張現実に基づいた表示方法及び装置、並びに記憶媒体を提供する。
【0005】
第１の態様では、本開示の実施形態は、拡張現実に基づいた表示方法であって、ユーザからの第１指示に応答して、画像収集ユニットによって捕捉された実時間シーン画像においてターゲットオブジェクト画像を取得するステップと、ターゲットオブジェクト画像に基づきターゲットオブジェクトに対応する仮想画像を生成するステップと、拡張現実表示技術に基づき実時間シーン画像においてターゲットオブジェクトの仮想画像を表示するステップとを有する方法を提供する。
【0006】
第２の態様では、本開示の実施形態は、拡張現実に基づいた表示装置であって、ユーザからの第１指示に応答して、画像収集ユニットによって捕捉された実時間シーン画像においてターゲットオブジェクト画像を取得するよう構成されるターゲットオブジェクト決定ユニットと、ターゲットオブジェクト画像に基づきターゲットオブジェクトに対応する仮想画像を生成するよう構成される生成ユニットと、拡張現実表示技術に基づき実時間シーン画像においてターゲットオブジェクトの仮想画像を表示するよう構成される表示ユニットとを有する表示装置を提供する。
【0007】
第３の態様では、本開示の実施形態は、少なくとも１つのプロセッサと、メモリとを有し、メモリは、コンピュータ実行可能命令を記憶し、少なくとも１つのプロセッサは、少なくとも１つのプロセッサに、上記の第１の態様及び第１の態様の様々な可能な設計で記載される方法を実行させるように、メモリに記憶されているコンピュータ実行可能命令を実行する、電子機器を提供する。
【0008】
第４の態様では、本開示の実施形態は、コンピュータ実行可能命令を記憶し、コンピュータ実行可能命令がプロセッサによって実行される場合に、上記の第１の態様及び第１の態様の様々な可能な設計で記載される方法が実装されるコンピュータ可読記憶媒体を提供する。
【0009】
本開示の実施形態は、拡張現実に基づいた表示方法及び装置、並びに記憶媒体を提供する。方法は、ユーザからの第１指示に応答して、画像収集ユニットによって捕捉された実時間シーン画像においてターゲットオブジェクト画像を取得し、ターゲットオブジェクト画像に基づきターゲットオブジェクトに対応する仮想画像を生成し、拡張現実表示技術に基づき実時間シーン画像においてターゲットオブジェクトの仮想画像を表示する。ターゲットオブジェクト画像を取得し、ターゲットオブジェクト画像に基づきターゲットオブジェクトに対応する仮想画像を生成することによって、仮想画像が予め設計される必要があり、画像が単一であって固定されているという問題は、回避可能である。本開示の実施形態では、様々な仮想画像がユーザ要求に応じて生成可能であり、ユーザの様々なニーズが満足され得る。仮想画像は、拡張現実技術を使用することによって実時間シーン画像内のターゲット位置で表示され得る。それにより、ＡＲ技術を使用しようとするユーザの意欲及びユーザ経験は高められ得る。
【0010】
本開示の実施形態における技術的解決法又は既知の技術における技術的解決法についてより明りょうに説明するために、以下は、実施形態又は既知の技術の記載において使用される必要がある添付の図面を簡潔に紹介する。当業者にとっては当然ながら、以下で説明される添付の図面は、本開示の一部の実施形態であり、他の図面も、創造的な作業を前提とせずに、これらの図面に従って得られる。
【図面の簡単な説明】
【0011】
【図1】本開示の実施形態に従う拡張現実に基づいた表示方法の略フローチャートである。
【図2A】本開示の実施形態に従う、ターゲットオブジェクト画像の輪郭を表示する例を表す図である。
【図2B】本開示の実施形態に従う、ユーザが第１指示を発すること、及びターゲットオブジェクト画像を表示することの例を表す図である。
【図3】本開示の実施形態に従う、ターゲットオブジェクト画像に対応する仮想画像の例を表す図である。
【図4】本開示の実施形態に従う、実時間シーン画像において仮想画像を表示する例を表す図である。
【図5】本開示の実施形態に従う拡張現実に基づいた表示方法の略フローチャートである。
【図6】本開示の実施形態に従う拡張現実に基づいた表示方法の略フローチャートである。
【図7】本開示の実施形態に従う、ターゲットオブジェクトに対応する仮想画像を取得するプロセスの例を表す図である。
【図8】本開示の実施形態に従う拡張現実に基づいた表示装置の構造ブロック図である。
【図9】本開示の実施形態に従う電子装置のハードウェア構造を表す概略図である。
【発明を実施するための形態】
【0012】
本開示の実施形態の目的、技術的解決法、及び利点をより明らかにするために、本開示の実施形態の技術的解決法は、本開示の実施形態における添付の図面を参照して以下で明りょうにかつ完全に記載される。明らかに、記載されている実施形態は、本開示の実施形態のほんの一部であり、全部ではない。本開示中の実施形態に基づき、当業者は、如何なる創造的な作業もなしで、他の実施形態を得ることができ、そのような他の実施形態は、本開示の保護範囲内にあるべきである。
【0013】
本開示の実施形態は、スマートフォン、タブレットコンピュータ、及びウェアラブルデバイス、などのような、ＡＲ機能を備えているあらゆる電子機器に適用可能であり、本開示の実施形態の適用シナリオは、例えば、電子機器がその画像収集ユニットを通じて実時間シーン画像を捕捉し、実時間シーン内のターゲットオブジェクトに従って、対応する仮想画像を生成し、最後に、本開示の様々な実施形態に従う拡張現実に基づいた表示方法により、実時間シーンでのターゲットオブジェクトに対応する仮想画像の拡張表示を実行する、ことを含んでよい。拡張表示は、拡張現実に基づき仮想オブジェクトを表示することを含む。例えば、実時間シーン画像内のターゲットオブジェクトは、マンゴー（mango）であり、ターゲットオブジェクト‘マンゴー’に対応する仮想画像は、本開示の実施形態における仮想画像生成方法を使用することによって、生成される。ターゲットオブジェクト‘マンゴー’に対応する仮想画像は、強調されて、実時間シーン画像において表示され、更には、仮想画像が本開示の様々な実施形態に従う拡張現実に基づいた表示方法によって処理された後で、アニメーションの形で動的に表示され得る。更に、マンゴーに対応する仮想画像は、手足及び／又は表情を有してもよく、手足及び／又は表情は、マンゴーに対応する仮想画像が実時間シーン内で動くように、特定の動作を有してもよい。
【0014】
図１を参照すると、図１は、本開示の実施形態に従う拡張現実に基づいた表示方法の略フローチャートである。実施形態の方法は、ＡＲ機能を備えている電子機器に適用されてよい。拡張現実に基づいた表示方法は、以下で記載されるステップを含み得る。
【0015】
Ｓ１０１，ユーザからの第１指示に応答して、画像収集ユニットによって捕捉された実時間シーン画像においてターゲットオブジェクト画像を取得する。
【0016】
実施形態において、電子機器の、カメラなどの画像収集ユニットは、実時間シーン画像を捕捉し、電子機器の表示ユニットで実時間シーン画像を表示し得る。ユーザが実時間シーン画像内の特定のターゲットオブジェクト画像に対応する仮想画像を取得したい場合に、ユーザは第１指示を与えてよく、それにより、電子機器は、第１指示に従って、実時間シーン画像においてターゲットオブジェクト画像を取得する。一実施形態では、電子機器は、第１指示に従って、画像収集ユニットによって捕捉された実時間シーン画像内のターゲットオブジェクト画像に基づき、取得されたターゲットオブジェクト画像と同じターゲットオブジェクト画像を複製し、複製されたターゲットオブジェクト画像に基づき仮想画像を生成し得る。
【0017】
特に、電子機器は、ターゲットオブジェクト画像を取得するよう実時間シーン画像からターゲットオブジェクトをセグメント化し得る。更に、電子機器は、ターゲットオブジェクトがセグメント化された後で得られたターゲットオブジェクト画像にタグ付けし得る。具体的に、電子機器は、実時間シーン画像からターゲットオブジェクトをセグメント化してターゲットオブジェクト画像を取得するために、プレロードされているオブジェクトセグメンテーションアルゴリズムを実行し得る。本開示の実施形態で使用されるオブジェクトセグメンテーションアルゴリズムは、サリエントオブジェクト（salient object）セグメンテーションアルゴリズムを含んでもよく、セグメント化中に、実時間シーン画像内の顕著な（salient）オブジェクトがターゲットオブジェクトとして使用され、ターゲットオブジェクト画像を取得するようセグメント化され得る。顕著なオブジェクトは、実時間シーン画像内の背景色とは有意な相違を有しているオブジェクトであってよく、また、実時間シーン画像の中央領域にあるオブジェクト、又は実時間シーン画像内で最大面積を占有しているオブジェクトであってもよい。例えば、図２Ａに示されるように、実時間シーン画像内のマンゴーは、実時間シーン画像の中央領域に位置し、最大面積を占有しているので、ターゲットオブジェクトと見なされ得る。その上、ひと組のイヤホンは、実時間シーン画像の中央領域に位置しておらず、マンゴーよりもずっと占有面積が小さいので、ターゲットオブジェクトと見なされない。
【0018】
更に、電子機器がターゲットオブジェクト画像を取得し、ターゲットオブジェクト画像にタグ付けする場合に、電子機器は、ターゲットオブジェクト画像を強調表示し得る。例えば、図２Ａに示されるように、ターゲットオブジェクト画像の輪郭が強調表示されてもよく、あるいは、ターゲットオブジェクト画像も強調表示されてもよく、あるいは、ターゲットオブジェクト画像以外の画像領域がより低い輝度で表示されてもよい、など。それによって、ユーザは、電子機器によって目下セグメント化されているターゲットオブジェクトが、ユーザによって要求されているターゲットオブジェクトと一致しているかどうかを確かめることができる。ターゲットオブジェクトがユーザによって要求されているターゲットオブジェクトと一致することをユーザが確認すると、ユーザは第１指示を発し得る。ここで、第１指示は、タグ付けされたターゲットオブジェクト画像に対するクリック操作指示、ドラッグ操作指示、音声操作指示、表情認識によって取得された操作指示、などを含むが、これらに限られない。本開示は、第１指示の具体的な形式を特に限定するものではない。図２Ｂに示されるように、ユーザは、ターゲットオブジェクト画像の輪郭領域内をドラッグすることによって、上記のドラッグ操作指示を与えることができる。ターゲットオブジェクトがユーザによって要求されているターゲットオブジェクトと一致しないことをユーザが確認する場合に、ユーザは電子機器を動かしてよく、それにより、電子機器の画像収集ユニットは、実時間シーン画像を捕捉し直すよう角度を変え、それからオブジェクトセグメンテーションアルゴリズムを再び実行して、実時間シーン画像内の顕著なオブジェクトをターゲットオブジェクトとしてセグメント化し、取得されたターゲットオブジェクト画像にタグ付けする。よって、ユーザは、電子機器によって決定された現在のターゲットオブジェクトがユーザによって要求されているターゲットオブジェクトと一致するかどうかを、そして、セグメンテーション効果がユーザの期待を満足するかどうかを再確認することができる。
【0019】
任意に、電子機器がターゲットオブジェクト画像を取得し、ターゲットオブジェクト画像にタグ付けする場合に、プロンプトメッセージが表示ユニットで表示されてもよく、例えば、「スキャンするオブジェクトに焦点を合わせ、ドラッグして下さい」といったプロンプトワードが表示されてもよく、あるいは、指でターゲットオブジェクト画像をドラッグしてターゲットオブジェクト画像を平面に配置する動的プロンプト図のような、動的プロンプト図が表示されてもよく、それによって、ターゲットオブジェクト画像を確認及び操作する方法をユーザに促す。
【0020】
Ｓ１０２，ターゲットオブジェクト画像に基づきターゲットオブジェクトに対応する仮想画像を生成する。
【0021】
実施形態において、ターゲットオブジェクト画像（例えば、オリジナルのターゲットオブジェクト画像から複製した後に取得されたターゲットオブジェクト画像）を取得した後、電子機器は、ターゲットオブジェクト画像に基づき、ターゲットオブジェクトに対応する仮想画像を生成し得る。ここで、仮想画像は、手足－身体（limb-body）動作及び／又は表情動作を有してよい。例えば、ターゲットオブジェクト画像がマンゴーの画像である場合に、対応する仮想画像は、図３に示されるように、マンゴーの画像に手足及び顔の表情を有してもよい。更に、手足及び表情は、電子機器の画面上で動くようにマンゴーの仮想画像を駆動するための特定の動作を有してもよい。
【0022】
代替的に、ターゲットオブジェクト画像に基づきターゲットオブジェクトに対応する仮想画像を生成する場合に、ターゲットオブジェクト画像は、ターゲットオブジェクトに対応する仮想画像を生成するようアニメーション素材と合成されてもよい。ここで、アニメーション素材は、仮想画像の手足－身体アニメーション素材及び／又は表情アニメーション素材を含む。言い換えると、実施形態において、ターゲットオブジェクトに対応する仮想画像の手足－身体動作及び／又は表情動作は、その後の合成プロセスで使用される対応する手足－身体アニメーション素材及び／又は表情アニメーション素材を生成するよう前もってセットされてもよい。すなわち、身体アニメーション素材及び／又は表情アニメーション素材が、ターゲットオブジェクトに対応する仮想画像を取得するためにターゲットオブジェクト画像に加えられてもよく、仮想画像の手足及び／又は表情は、手足－身体アニメーション素材及び／又は表情アニメーション素材の再生に従って特定の動作を実行し得る。
【0023】
Ｓ１０３，拡張現実表示技術に基づき実時間シーン画像においてターゲットオブジェクトの仮想画像を表示する。
【0024】
実施形態において、ターゲットオブジェクトの仮想画像を取得した後、電子機器は、拡張現実表示技術によって実時間シーン画像においてターゲットオブジェクトの仮想画像を表示し得る。すなわち、仮想画像は、図４に示されるように、拡張表示の効果を達成するために拡張現実表示技術によって現実の実時間シーン画像の上に重ね合わされ得る。特に、仮想画像は、実時間シーン画像内の任意の位置で、例えば、実時間シーン画像において検出された任意の平面領域に、又は実時間シーン画像においてユーザによって指定されたターゲット位置で、表示され得る。これは、実施形態において制限されない。
【0025】
代替の実施形態では、ユーザは、取得された複製ターゲットオブジェクト画像をオリジナルのターゲットオブジェクト画像の初期位置から実時間シーン画像内の位置へドラッグしてもよい。更に、ターゲットオブジェクトの仮想画像は、拡張現実表示技術に基づきこの位置で表示される。代替的に、複製ターゲットオブジェクト画像に基づき生成されたターゲットオブジェクトの仮想画像は、最初に表示されてもよく、それから、仮想画像は、ユーザのドラッグ操作に基づき実時間シーン画像内の位置で表示され得る。
【0026】
一実施形態では、ユーザは、表示されている仮想画像を回転させ、ズームイン若しくはズームアウトし、又は移動してもよい。例えば、ユーザは、電子機器の表示インターフェースで仮想画像に対する制御指示を与えることができる。制御指示は、回転制御指示、ズームアウト制御指示、移動制御指示、及びズームイン制御指示を含み得るが、これらに限られず、電子機器は、仮想画像に対するユーザの制御指示に応答して、対応する制御を仮想画像に対して実行し得る。留意されるべきは、実施形態における回転は、任意の場合の下での仮想画像の角度の変化を含んでもよく、移動は、任意の場合の下での仮想画像の位置の変化を含んでもよい点である。ズームイン又はズームアウト（スケーリング）は、任意の場合の下での仮想画像のサイズの変化を含んでもよい。当然のこととして、実施形態において、ユーザは、仮想画像との更なる他のインタラクションプロセスを実行してもよいが、これは、簡潔さのために、ここで１つずつ冗長的に記載されない。
【0027】
実施形態で提供される拡張現実に基づいた表示方法において、ユーザからの第１指示に応答して、画像収集ユニットによって捕捉された実時間シーン画像においてターゲットオブジェクト画像を取得し、ターゲットオブジェクト画像に基づきターゲットオブジェクトに対応する仮想画像を生成し、拡張現実表示技術に基づき、実時間シーン画像において仮想画像を表示するよう拡張する。ターゲットオブジェクト画像を取得し、ターゲットオブジェクト画像に基づきターゲットオブジェクトに対応する仮想画像を生成することによって、仮想画像が前もって設計される必要があり、画像が単一であって固定されているという問題は、回避され得る。実施形態において、様々な仮想画像がユーザ要求に応じて生成可能であり、ユーザの様々なニーズが満足され得る。仮想画像は、拡張現実技術を使用することによって実時間シーン画像内のターゲット位置で表示可能であり、それにより、ＡＲ技術を使用しようとするユーザの意欲及びユーザ経験は、高められ得る。
【0028】
本開示の一実施形態では、任意に、画像収集ユニットによって捕捉された実時間シーン画像においてターゲットオブジェクト画像を取得するときに、オブジェクトセグメンテーションアルゴリズムについて、オブジェクトセグメンテーションアルゴリズムが長時間実行されて、電子機器の計算資源を占有することを防ぐために、オブジェクトセグメンテーションアルゴリズムは、タイムリーに実行されて、実行を止めるよう制御され得る。図５に示されるように、具体的なプロセスは、次のステップを含み得る。
【0029】
Ｓ２０１，ユーザからのトリガ指示に応答して、実時間シーン画像内のターゲットオブジェクトに対してオブジェクトセグメンテーションを実行するために、プレロードされているオブジェクトセグメンテーションアルゴリズムを実行する。
【0030】
Ｓ２０２，第１指示に応答して、オブジェクトセグメンテーションアルゴリズムの実行を止める。
【0031】
実施形態において、オブジェクトセグメンテーションアルゴリズムが実行される必要がある場合に、ユーザはトリガ指示を与えることができる。トリガ指示は、画像収集ユニットをオンするトリガ指示、又は画像収集ユニットが実時間シーン画像を捕捉する過程でユーザがインターフェース内の開始ボタンをトリガする場合にユーザによって発せられるトリガ指示であってよい。電子機器は、ユーザからのトリガ指示に応答してオブジェクトセグメンテーションアルゴリズムを開始及び実行し、それによって、実時間シーン画像からターゲットオブジェクトをセグメント化することを開始する。更に、ユーザが第１指示を与え、電子機器が第１指示に応じて実時間シーン画像においてターゲットオブジェクト画像を取得した後、オブジェクトセグメンテーションアルゴリズムの実行はこの時点で停止され得る。
【0032】
当然のこととして、ユーザは、他の方法で、例えば、画像収集ユニットを閉じること、又はインターフェース内の停止ボタンをトリガすることによって、実行を止めるようにオブジェクトセグメンテーションアルゴリズムを制御してもよいが、これは、ここで制限されるものではない。
【0033】
例えば、電子機器は、アルゴリズムモジュールでオブジェクトセグメンテーションアルゴリズムを実行する。第１トリガ指示（実行するようにアルゴリズムをトリガするための指示に対応）が受け取られると、オブジェクトセグメンテーションアルゴリズムの実行が開始される。第２トリガ指示（実行を停止するようにアルゴリズムをトリガするための指示に対応）が受け取られると、オブジェクトセグメンテーションアルゴリズムの実行が停止される。
【0034】
一実施形態では、ユーザはまた、長押し操作によりオブジェクトセグメンテーションアルゴリズムの開始を制御することもできる。オブジェクトセグメンテーションアルゴリズムは、長押し操作の過程で実行し続けてよい。長押し操作が終わると、オブジェクトセグメンテーションアルゴリズムの実行は終了し得る。
【0035】
オブジェクトセグメンテーションアルゴリズムは、上記のように適宜実行されて実行を停止するよう制御され、従って、オブジェクトセグメンテーションアルゴリズムが電子機器で長時間作動することは回避され得、電子機器の計算資源は節約され得る。
【0036】
上記のいずれかの実施形態に基づき、ターゲットオブジェクト画像に基づきターゲットオブジェクトに対応する仮想画像を生成する場合に、ターゲットオブジェクト画像は、ターゲットオブジェクトに対応する仮想画像を生成するようアニメーション素材と合成されてよく、アニメーション素材は、仮想画像の手足－身体アニメーション素材及び／又は表情アニメーション素材を含む。
【0037】
一実施形態では、図６に示されるように、ターゲットオブジェクト画像をアニメーション素材と合成するステップは、具体的に、次のステップを含み得る。
【0038】
Ｓ３０１，手足－身体アニメーション素材及び／又は表情アニメーション素材を取得する。
【0039】
Ｓ３０２，ターゲットオブジェクト画像上の複数の接続点を決定する。
【0040】
Ｓ３０３，複数の接続点を用いて手足－身体アニメーション素材及び／又は表情アニメーション素材をターゲットオブジェクト画像と合成して、ターゲットオブジェクトに対応する仮想画像を生成する。
【0041】
実施形態において、電子機器は、最初に、仮想画像の手足－身体アニメーション素材及び／又は表情アニメーション素材を取得してよく、手足－身体アニメーション素材及び／又は表情アニメーション素材は、電子機器で事前設定され記憶されてよい。合成が必要とされる場合に、電子機器は、手足－身体アニメーション素材及び／又は表情アニメーション素材を取り出し、それから、ターゲットオブジェクト画像の特性（例えば、形状、サイズ、テクスチャ）に基づきターゲットオブジェクト画像上の複数の接続点を決定してよく、接続点は、手足－身体アニメーション素材及び／又は表情アニメーション素材がターゲットオブジェクト画像と結合される位置である。例えば、電子機器は、ターゲットオブジェクト画像を仮想画像の身体の胴体として、及びターゲット画像上で決定された複数の接続点を手足接続点としてセットし得る。よって、接続点は、身体の胴体との手足の接続点を含み得る。次いで、電子機器は、ターゲットオブジェクト画像が手足を有するように、接続点を用いて手足－身体アニメーション素材をターゲットオブジェクト画像と合成し得る。更に、電子機器はまた、ターゲットオブジェクト画像に従って、ターゲットオブジェクト画像上でターゲットオブジェクトに対応する仮想画像の身体の胴体での表情の配置位置を決定し、ターゲットオブジェクト画像が表情を有するように表情アニメーション素材をターゲットオブジェクト画像と合成してもよい。更に、手足及び／又は表情はまた、特定のアニメーション効果を有してもよく、これによって、アニメーション効果を有しているターゲットオブジェクトに対応する仮想画像が、図７で詳細に示されるように、更に取得される。
【0042】
更に、電子機器はまた、手足－身体アニメーション素材及び／又は表情アニメーション素材を再生することを含め、アニメーション素材を再生してもよく、よって、仮想画像に対して動き及び／又は表情制御を実行する、すなわち、ターゲットオブジェクトに対応する仮想画像の手足及び／又は表情が対応する動きを示すことを可能にする。
【0043】
具体的に、電子機器は、仮想画像に対して動き及び／又は表情制御を実行するようアニメーション素材の前もってセットされたアニメーションフレームに従ってアニメーション素材を再生しても、かつ／あるいは、ターゲットオブジェクトに対応する仮想画像に対して動き及び／又は表情制御を実行するようユーザの手足－身体動作及び／又は表情に基づきアニメーション素材のアニメーションフレームを生成及び再生してもよい。言い換えると、上記のアニメーション素材は、前もってセットされたアニメーションフレームを含んでよく、どのような具体的なアニメーションが手足及び／又は表情について示されるかが、前もってセットされたアニメーションフレームにおいて、前もってセットされてよい。一実施形態では、電子機器はまた、実時間でユーザの画像を捕捉し、ユーザの手足－身体動作及び／又は表情動作に従って手足－身体アニメーション素材及び／又は表情アニメーション素材のアニメーションフレームを生成してもよく、そのようにして、ユーザが、ユーザの動作により、ターゲットオブジェクトに対応する仮想画像の動きを制御することができることを達成する。例えば、ユーザが特定の手足－身体動作を行う場合に、仮想画像はそれに応じて同じ手足－身体動作を示し、かつ／あるいは、ユーザが特定の表情をする場合に、仮想画像はそれに応じて同じ表情を示す。ユーザの操作経験及び満足は、ユーザの動作を用いてターゲットオブジェクトに対応する仮想画像の動作を駆動及び制御することによって、高められ得る。
【0044】
上記のいずれかの実施形態に基づき、拡張現実表示技術に基づき実時間シーン画像内のターゲット位置でターゲットオブジェクトの仮想画像を表示するステップは、次の動作を含む。
【0045】
実時間シーン画像内に仮想平面を生成し、仮想平面で３次元（３Ｄ）空間を生成し、拡張現実表示技術に基づき、生成された３次元空間において、ターゲットオブジェクトの仮想画像を表示する。
【0046】
実施形態において、ターゲットオブジェクトの仮想画像の拡張表示を実行する場合に、実時間シーン画像内の仮想画像の動きがより現実的かつ３次元であることを確かにするために、仮想３Ｄ空間が実時間シーン画像において作られ得る。具体的に、仮想平面が最初に実時間シーン画像において作られ、次いで、３Ｄ空間が、仮想平面に基づき仮想平面上に生成され、更には、仮想画像が、拡張現実表示技術に基づき３Ｄ空間において強調及び表示される。
【0047】
上記の実施形態に基づき、実時間シーン画像内に仮想平面を生成することは、具体的に次の動作を含み得る。
【0048】
ターゲット平面領域が実時間シーン画像に存在することを検出する場合に、ターゲット平面領域に基づき仮想平面を生成し、ターゲット平面領域は、第１の前もってセットされた距離範囲内の画像収集ユニットまでの距離を有する平面領域、及び／又は実時間シーン画像の中央領域に位置している平面領域である。あるいは、実時間シーン画像内の特定の位置で仮想平面を生成する。
【0049】
実施形態において、電子機器は、例えば、自己位置推定及びマッピングの同時実行（simultaneous localization and mapping）（ＳＬＡＭ）アルゴリズムにより、実時間シーン画像に基づき、実時間シーン画像に含まれている平面領域を検出し、第１の前もってセットされた距離範囲内の画像収集ユニットまでの距離を有する平面領域、及び／又は実時間シーン画像の中央領域に位置している平面領域が存在するかどうかを決定し得る。そのような平面領域が存在する場合には、検出された平面領域がターゲット平面領域として使用され得る。更に、仮想平面は、ターゲット平面領域に基づき作られ、仮想平面は、ターゲット平面領域に近くても、あるいは、ターゲット平面領域に平行であり、ターゲット平面領域まである一定距離を保ってもよい。電子機器によってターゲット平面領域が検出されない場合には、仮想平面は、実時間シーン画像内の特定の位置で作られてもよい。代替的に、電子機器はターゲット平面領域を検出せず、仮想平面は、実時間シーン画像内の特定の位置で直接に作られ、このとき、実時間シーン画像内の特定の位置は、実時間シーン画像の中央領域又は左上隅のような領域を含んでもよく、特定の位置が実時間シーン画像において具体的に位置している位置は、実際には必要に応じてセットされてよい。
【0050】
上記の実施形態に基づき、生成された３Ｄ空間においてターゲットオブジェクトの仮想画像を表示する場合に、３Ｄ空間は比較的に大きい可能性があるので、仮想画像が３Ｄ空間のターゲット位置で特に表示されることが決定される必要がある。すなわち、ターゲット位置が最初に３Ｄ空間において決定されてよく、ターゲットオブジェクトの仮想画像は、拡張現実表示技術に基づき３Ｄ空間のターゲット位置で表示され得る。
【0051】
上記の実施形態に基づき、３次元空間においてターゲット位置を決定することは、具体的に次の動作を含み得る。
【0052】
ユーザから位置指定指示を受け取り、ユーザからの位置指定指示によってトリガされた位置ポイントに基づき３次元空間において３次元アンカーポイントを定め、その３次元アンカーポイントをターゲット位置として使用する。
【0053】
実施形態において、ユーザは位置指定指示を発してよく、電子機器は、ユーザから位置指定指示を受け取った後、ユーザからの位置指定指示によってトリガされた位置ポイントを決定してよい。直線が、その直線と３Ｄ空間との間の交点を形成するように位置ポイントから３Ｄ空間へ延在し、そして、３Ｄアンカーポイントが、交点に基づき３Ｄ空間において作られる。３Ｄアンカーポイントは、３Ｄ空間において仮想画像を表示するためのターゲット位置であり、次いで、電子機器は、３Ｄ空間内の３Ｄアンカーポイントでのターゲットオブジェクトの仮想画像の拡張表示を実行し得る。
【0054】
任意に、ユーザからの位置指定指示は、仮想画像上でのユーザのドラッグ操作の終了指示であってもよく、ドラッグ終了指示によってトリガされた位置（つまり、ユーザのドラッグが終了した位置）が、ユーザからの位置指定指示によってトリガされた位置ポイントである。更に、位置指定指示は、仮想画像上でのユーザのドラッグ操作の終了指示に限られず、ユーザからのクリック操作指示であってもよく、クリック操作指示によってトリガされた位置ポイント（つまり、ユーザがクリックした位置）が、ユーザからの位置指定指示によってトリガされた位置ポイントである。
【0055】
当然、電子機器はまた、実時間シーン画像内の如何なる位置でも仮想モデルを表示してもよく、例えば、実時間シーン画像において電子機器によって特定された任意の平面領域に表示してもよい。電子機器は、他の方法で仮想モデルの表示位置を決定してもよく、これは、ここで制限されない。
【0056】
上記のいずれかの実施形態に基づき、ターゲットオブジェクト画像に基づきターゲットオブジェクトの仮想画像を生成した後、実時間シーン画像内のターゲット位置でターゲットオブジェクトの仮想画像の拡張表示を実行する前に、事前配置段が更に含まれる。すなわち、ターゲットオブジェクトに対応する仮想画像は、画像収集ユニットの前の所定の位置でサスペンドされてもよく、それから、仮想画像は、実時間シーン画像内のターゲット位置が確認された後で、ターゲット位置に表示され得る。
【0057】
上記のいずれかの実施形態に基づき、ステップＳ１０１～Ｓ１０３はまた、複数の仮想画像が実時間シーン画像に配置されるように、実施形態において、複数回実行されてもよい。
【0058】
任意に、少なくとも１つの仮想画像が実時間シーン画像に既に存在し、既に存在している少なくとも１つの仮想画像の位置とターゲットオブジェクトに対応する仮想画像との間の距離が第２の前もってセットされた距離範囲を越える場合に、既に存在している少なくとも１つの仮想画像は、ターゲットオブジェクトに対応する仮想画像の第２の所定の範囲内に動かされて、表示される。言い換えると、実施形態において、実時間シーン画像内の既存の仮想画像が、ターゲットオブジェクトに対応する仮想画像の現在の配置位置から離れすぎており、第２の前もってセットされた距離範囲を越える場合には、既存の仮想画像も、ターゲットオブジェクトに対応する仮想画像の近傍範囲内に、すなわち、第２の前もってセットされた距離範囲内に動かされてもよく、それより、複数の仮想画像がより良くかつより明りょうに表示され得る。更に、実時間シーン画像において最大で可能である仮想画像の数の上限が、セットされてもよい。実時間シーン画像に存在する仮想画像の数が上限に達する場合には、新しい仮想画像が加えられるときに、先に表示されている仮想画像がその新しい仮想画像で置換されてもよい。
【0059】
任意に、複数の仮想画像が実時間シーン画像に既に存在する場合には、実時間シーン画像に既に存在している複数の仮想画像が互いに交わる現象を回避するために、すなわち、モデルが互いを通らないようにするために、衝突判定が仮想画像の間で実行されてもよい。いずれか２つの仮想画像間で衝突が起きていると決定される場合に、電子機器は、互いに衝突している２つの仮想画像のうちのどちらか１つを動かす。特に、衝突判定は、空間内のいずれか２つの仮想画像が互いに交わるか又は互いに干渉するかどうかを検出することを主に対象とする。例えば、第１仮想画像及び第２仮想画像の手足又は胴体が３Ｄ空間内の同じ空間位置に現れる場合に、それは、第１仮想画像及び第２仮想画像が互いに干渉していることを示す。従って、第１仮想画像及び第２仮想画像が互いに干渉しなくなるまで、第１仮想画像が離されても、かつ／あるいは、第２仮想画像が離されてもよい。
【0060】
上記のいずれかの実施形態に基づき、実時間シーン画像内のターゲットオブジェクトの仮想画像が拡張現実表示技術に基づき強調及び表示される場合に、仮想画像の影も、仮想画像の周りの特定の位置に表示されてもよい。
【0061】
実施形態において、仮想画像の影が取得され、次いで、仮想画像の周りの特定の位置に配置されてもよく、影の配置位置は、実時間シーン内の光源の位置に基づき決定されてよい。例えば、光源が仮想画像の左にある場合に、影は仮想画像の右に配置され、光源の位置は、実時間シーン画像に基づき決定され得る。例えば、光源の位置は、実時間シーン画像内のターゲットオブジェクトの影がどちらの方向に向けられているかを決定することによって、決定され得る。代替的に、仮想画像の影の配置位置は、実時間シーン画像内の光源の位置を検出することによって決定されてもよい。代替的に、仮想画像の影の配置位置は、直接に決定されてもよい。当然のこととして、仮想画像の影が配置される位置は、他の方法でも決定されてよい。例えば、影は、ランダムな方向で又は固定の位置に配置されてもよい。更に、任意に、仮想画像の影は、仮想画像の動きに従ってそれに応じて調整されてもよく、それにより、仮想画像の影は、より現実的な効果を達成するよう仮想画像の動きに従って調整される。
【0062】
上記の実施形態では、実時間シーン画像内のターゲット位置でターゲットオブジェクトの仮想画像を強調及び表示することは、仮想画像を動的に表示することを更に含んでもよい。例えば、仮想画像のアニメーションが動的に表示されてもよい。よって、仮想画像の動き及び表情アニメーションは、ユーザの操作経験及び満足を高めるようインターフェース上で提示され得る。
【0063】
上記の実施形態における拡張現実に基づいた表示方法に対応して、図８は、本開示の実施形態に従う拡張現実に基づいた表示装置の構造ブロック図である。記載を簡単にするために、本開示の実施形態に関係がある部分のみが説明される。図８を参照して、拡張現実に基づいた表示装置８０は、ターゲットオブジェクト決定ユニット８０１、生成ユニット８０２、及び表示ユニット８０３を含む。
【0064】
ターゲットオブジェクト決定ユニット８０１は、ユーザからの第１指示に応答して、画像収集ユニットによって捕捉された実時間シーン画像においてターゲットオブジェクト画像を取得するよう構成される。
【0065】
生成ユニット８０２は、ターゲットオブジェクト画像に基づきターゲットオブジェクトに対応する仮想画像を生成するよう構成される。
【0066】
表示ユニット８０３は、拡張現実表示技術に基づき実時間シーン画像においてターゲットオブジェクトの仮想画像を表示するよう構成される。
【0067】
本開示の１つ以上の実施形態に従って、ターゲットオブジェクト決定ユニット８０１は、画像収集ユニットによって捕捉された実時間シーン画像においてターゲットオブジェクト画像を取得するときに、実時間シーン画像内のターゲットオブジェクトに対してオブジェクトセグメンテーションを実行してターゲットオブジェクト画像を取得し、ターゲットオブジェクト画像にタグ付けするよう構成される。
【0068】
本開示の１つ以上の実施形態に従って、ターゲットオブジェクト決定ユニット８０１は、ユーザからのトリガ指示に応答して、実時間シーン画像内のターゲットオブジェクトに対してオブジェクトセグメンテーションを実行するために、プレロードされているオブジェクトセグメンテーションアルゴリズムを実行し、第１指示に応答してオブジェクトセグメンテーションアルゴリズムの実行を止めるよう更に構成される。
【0069】
本開示の１つ以上の実施形態に従って、生成ユニット８０２は、ターゲットオブジェクト画像に基づきターゲットオブジェクトに対応する仮想画像を生成するときに、ターゲットオブジェクト画像をアニメーション素材と合成して、ターゲットオブジェクトに対応する仮想画像を生成するよう構成される。
【0070】
ここて、アニメーション素材は、仮想画像の手足－身体アニメーション素材及び／又は表情アニメーション素材を含む。
【0071】
本開示の１つ以上の実施形態に従って、生成ユニット８０２は、ターゲットオブジェクト画像をアニメーション素材と合成するときに、手足－身体アニメーション素材及び／又は表情アニメーション素材を取得し、ターゲットオブジェクト画像上の複数の接続点を決定し、複数の接続点を用いて手足－身体アニメーション素材及び／又は表情アニメーション素材をターゲットオブジェクト画像と合成して、ターゲットオブジェクトに対応する仮想画像を生成するよう構成される。
【0072】
本開示の１つ以上の実施形態に従って、表示ユニット８０３は、仮想画像に対して動き及び／又は表情制御を実行するためにアニメーション素材を再生するよう更に構成される。
【0073】
本開示の１つ以上の実施形態に従って、表示ユニット８０３は、仮想画像に対して動き及び／又は表情制御を実行するためにアニメーション素材を再生するときに、アニメーション素材の前もってセットされたアニメーションフレームに従ってアニメーション素材を再生して、仮想画像に対して動き及び／又は表情制御を実行するよう、かつ／あるいは、ユーザの手足－身体動作及び／又は表情に基づきアニメーション素材のアニメーションフレームを生成及び再生して、仮想画像に対して動き及び／又は表情制御を実行するよう構成される。
【0074】
本開示の１つ以上の実施形態に従って、表示ユニット８０３は、ユーザからの仮想画像に対する制御指示に応答して仮想画像を相応に制御するよう更に構成され、制御指示は、回転制御指示、ズームアウト制御指示、移動制御指示、及びズームイン制御指示、から成るグループから選択された少なくとも１つを有する。
【0075】
本開示の１つ以上の実施形態に従って、表示ユニット８０３は、拡張現実表示技術に基づき実時間シーン画像においてターゲットオブジェクトの仮想画像を表示するときに、実時間シーン画像内に仮想平面を生成し、仮想平面で３次元空間を生成し、拡張現実表示技術に基づき、生成された３次元空間において、ターゲットオブジェクトの仮想画像を表示するよう構成される。
【0076】
本開示の１つ以上の実施形態に従って、表示ユニット８０３は、実時間シーン画像内に仮想平面を生成するときに、ターゲット平面領域が実時間シーン画像に存在することを検出する場合に、ターゲット平面領域に基づき仮想平面を生成し、ターゲット平面領域が、第１の前もってセットされた距離範囲内の画像収集ユニットまでの距離を有する平面領域、及び／又は実時間シーン画像の中央領域に位置している平面領域である、よう、あるいは、実時間シーン画像内の特定の位置で仮想平面を生成するよう構成される。
【0077】
本開示の１つ以上の実施形態に従って、表示ユニット８０３は、拡張現実表示技術に基づき、生成された３次元空間において、ターゲットオブジェクトの仮想画像を表示するときに、３次元空間においてターゲット位置を決定し、拡張現実表示技術に基づき３次元空間内のターゲット位置でターゲットオブジェクトの仮想画像を表示するよう構成される。
【0078】
本開示の１つ以上の実施形態に従って、表示ユニット８０３は、３次元空間においてターゲット位置を決定するとき、ユーザから位置指定指示を受け取り、ユーザからの位置指定指示によってトリガされた位置ポイントに基づき３次元空間において３次元アンカーポイントを設置し、３次元アンカーポイントをターゲット位置として使用するよう構成される。
【0079】
本開示の１つ以上の実施形態に従って、表示ユニット８０３は、ターゲットオブジェクト画像に基づきターゲットオブジェクトに対応する仮想画像を生成した後、拡張現実表示技術に基づき実時間シーン画像においてターゲットオブジェクトの仮想画像を表示する前に、画像収集ユニットの前の所定の位置で仮想画像をサスペンドするよう更に構成される。
【0080】
本開示の１つ以上の実施形態に従って、表示ユニット８０３は、少なくとも１つの仮想画像が実時間シーン画像に既に存在し、既に存在している少なくとも１つの仮想画像の位置とターゲットオブジェクトに対応する仮想画像との間の距離が第２の前もってセットされた距離範囲を越える場合に、既に存在している少なくとも１つの仮想画像を、ターゲットオブジェクトに対応する仮想画像の第２の所定の範囲内に動かし、少なくとも１つの仮想画像を表示するよう更に構成される。
【0081】
本開示の１つ以上の実施形態に従って、表示ユニット８０３は、複数の仮想画像が実時間シーン画像において既に存在する場合に、複数の仮想画像の間で衝突判定を実行し、いずれか２つの仮想画像間で衝突が起きていると決定される場合に、互いに衝突している２つの仮想画像のうちのいずれか１つを動かすよう更に構成される。
【0082】
本開示の１つ以上の実施形態に従って、表示ユニット８０３は、実時間シーン画像内のターゲット位置でのターゲットオブジェクトの仮想画像の拡張表示を実行するときに、仮想画像の周りの特定の位置に仮想画像の影を表示するよう更に構成される。
【0083】
本開示の１つ以上の実施形態に従って、表示ユニット８０３は、拡張現実表示技術に基づき実時間シーン画像においてターゲットオブジェクトの仮想画像を動的に表示するよう更に構成される。
【0084】
実施形態で提供される拡張現実に基づいた表示装置は、上記の方法実施形態の拡張現実に基づいた表示方法の技術的解決法を実行するために使用されてもよく、拡張現実に基づいた表示装置の実施原理及び技術的効果は、方法実施形態のそれらと同様であり、詳細は、実施形態において再びここで記載されない。
【0085】
本開示の実施形態に従う電子機器９００を実装するのに適した構造を表す概略図である図９を参照する。電子機器９００は、端末デバイス又はサーバであってよく、上記の方法実施形態における拡張現実に基づいた表示方法を実行するために使用されてもよい。特に、端末デバイスは、携帯電話機、ノートブックコンピュータ、デジタル放送受信機、パーソナルデジタルアシスタント（ＰＤＡ）、ポータブルアンドロイド（登録商標）デバイス（ＰＡＤ）、ポータブルメディアプレイヤー（ＰＭＰ）、車載端末（例えば、車載ナビゲーション端末）、ウェアラブル電子機器、などのような移動端末、及びデジタルＴＶ、デスクトップコンピュータ、などのような固定端末を含み得るが、これらに限られない。図９に示される電子機器は一例にすぎず、本開示の実施形態の使用の範囲及び機能に対して如何なる制限も課すべきではない。
【0086】
図９に示されるように、電子機器９００は、リードオンリーメモリ（ＲＯＭ）９０２に記憶されているプログラム、又は記憶デバイス９０８からランダムアクセスメモリ（ＲＡＭ）９０３にロードされたプログラムに従って様々な適切な動作及び処理を実行することができる処理デバイス（例えば、中央演算処理装置、グラフィクス処理ユニット、など）９０１を含み得る。ＲＡＭ９０３は、電子機器９００の動作に必要な様々なプログラム及びデータを更に記憶する。処理デバイス９０１、ＲＯＭ９０２、及びＲＡＭ９０３は、バス９０４を通じて互いに接続され、入出力（Ｉ／Ｏ）インターフェース９０５もバス９０４に接続されている。
【0087】
通常、Ｉ／Ｏインターフェース９０５には、次のデバイス：例えば、タッチスクリーン、タッチパッド、キーボード、マウス、カメラ、マイクロホン、加速度計、ジャイロスコープ、などを含む入力デバイス９０６；例えば、液晶ディスプレイ（ＬＣＤ）、ラウドスピーカ、バイブレータ、などを含む出力デバイス９０７；例えば、磁気テープ、ハードディスク、などを含む記憶デバイス９０８；及び通信デバイス９０９が接続され得る。通信ユニット９０９は、電子機器９００が無線により又は有線で他のデバイスと通信してデータを交換することを可能にする。図９は、様々なデバイスを備えている電子機器９００を表すが、理解されるべきは、表されている全てのデバイスが必ずしも実装又は包含されるわけではない点である。より多くの又はより少ないデバイスが代替的に実装又は包含されてもよい。
【0088】
特に、本開示の実施形態に従って、フローチャートを参照して上述されたプロセスは、コンピュータソフトウェアプログラムとして実装され得る。例えば、本開示の実施形態は、コンピュータ可読媒体で運ばれるコンピュータプログラムを含むコンピュータプログラム製品を含む。コンピュータプログラムは、フローチャートに示されている方法を実行するためのプログラムコードを含み、上記の方法実施形態における拡張現実に基づいた表示方法を実行するために使用され得る。そのような実施形態では、コンピュータプログラムは、通信デバイス９０９を通じてオンラインでダウンロードされてインストールされても、あるいは、記憶デバイス９０８からインストールされても、あるいは、ＲＯＭ９０２からインストールされてもよい。コンピュータプログラムが処理デバイス９０１によって実行されると、本開示の実施形態で提供される方法で定義されている上記の機能が実行される。
【0089】
留意されるべきは、本開示において上述されたコンピュータ可読媒体は、コンピュータ可読信号媒体若しくはコンピュータ可読記憶媒体又はそれらの任意の組み合わせであってよい点である。例えば、コンピュータ可読記憶媒体は、電気、磁気、光学、電磁気、赤外線、若しくは半導体システム、装置、若しくはデバイス、又はそれらの任意の組み合わせであってよいが、それらに限られない。コンピュータ可読記憶媒体のより具体的な例は、１つ以上の配線を有する電気接続、ポータブルコンピュータディスク、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、リードオンリーメモリ（ＲＯＭ）、消去可能なプログラム可能リードオンリーメモリ（ＥＰＲＯＭ又はフラッシュメモリ）、光ファイバ、ポータブルコンパクトディスクリードオンリーメモリ（ＣＤ－ＲＯＭ）、光学記憶デバイス、磁気記憶デバイス、又はそれらの任意の適切な組み合わせを含み得るが、それらに限られない。本開示において、コンピュータ可読記憶媒体は、命令実行システム、装置、若しくはデバイスによって又はそれと組み合わせて使用され得るプログラムを収容又は記憶する如何なる有形媒体であってもよい。本開示において、コンピュータ可読信号媒体は、ベースバンドで又は搬送波の一部として伝播し、コンピュータ可読プログラムコードを運ぶデータ信号を含み得る。そのようにして伝播するデータ信号は、電磁気信号、光信号、又はそれらの任意の適切な組み合わせを含むが、それらに限られない様々な形を取り得る。コンピュータ可読信号媒体はまた、コンピュータ可読記憶媒体以外のあらゆるコンピュータ可読媒体であってもよい。コンピュータ可読信号媒体は、命令実行システム、装置、若しくはデバイスによって又はそれと組み合わせて使用されるプログラムを送信、伝搬、又は伝送し得る。コンピュータ可読媒体に含まれるプログラムコードは、電気配線、光ファイバケーブル、無線周波数（ＲＦ）、など、又はそれらの任意の適切な組み合わせを含むが、それらに限られない如何なる適切な媒体も使用することによって、伝送されてよい。
【0090】
上記のコンピュータ可読媒体は、上記の電子機器に含まれてよく、あるいは、電子機器内に組み立てられずに単独で存在してもよい。
【0091】
上記のコンピュータ可読媒体は、１つ以上のプログラムを運んでよく、１つ以上のプログラムが電子機器によって実行されると、電子機器は、上記の実施形態で説明された方法を実行させられる。
【0092】
本開示における動作を実行するためのコンピュータプログラムコードは、１つ以上のプログラミング言語又はそれらの組み合わせで記述されてよい。プログラミング言語は、Ｊａｖａ（登録商標）、Ｓｍａｌｌｔａｌｋ（登録商標）、及びＣ＋＋のようなオブジェクト指向のプログラミング言語を含み、また、“Ｃ”言語又は同様のプログラミング言語のような従来の手続き型プログラミング言語も含む。プログラムコードは、完全にユーザのコンピュータで実行されるか、部分的にユーザのコンピュータで実行されるか、独立したソフトウェアパッケージとして実行されるか、部分的にユーザのコンピュータで及び部分的に遠隔のコンピュータで実行されるか、あるいは、完全に遠隔のコンピュータ又はサーバで実行され得る。遠隔のコンピュータを伴うシナリオでは、遠隔のコンピュータは、ローカルエリアネットワーク（ＬＡＮ）又はワイドエリアネットワーク（ＷＡＮ）を含む如何なるタイプのネットワークによってもユーザのコンピュータへ接続されてよく、あるいは、外部のコンピュータへ接続されても（例えば、インターネットサービスプロバイダからインターネットを通じて接続されても）よい。
【0093】
添付の図面のフローチャート及びブロック図は、本開示の様々な実施形態に従うシステム、方法、及びコンピュータプログラム製品によって実装され得るシステムアーキテクチャ、機能、及び動作を表す。これに関連して、フローチャート又はブロック図の各ブロックは、モジュール、プログラムセグメント、又はコードの部分を表すことができ、モジュール、プログラムセグメント、又はコードの部分は、特定のロジック機能を実装するための１つ以上の実行可能命令を含む。また、留意されるべきは、いくつかの代替の実施において、ブロックでマークされた機能は、添付の図面に示されている順序とは異なる順序でも起こり得る点である。例えば、２つの連続したブロックは、実際には略同時に実行可能であり、それらは、ときどき、関連する機能によっては逆の順序で実行されてもよい。また、留意されるべきは、フローチャート及び／又はブロック図の各ブロック並びにフローチャート及び／又はブロック図のブロックの組み合わせは、特定の機能又は動作を実行するための専用のハードウェアベースシステムによって実装されてもよく、あるいは、専用のハードウェアとコンピュータ命令との組み合わせによって実行されてもよい点である。
【0094】
本開示の実施形態で記載されている関連ユニットは、ソフトウェアによって実装されてもよく、あるいは、ハードウェアによって実装されてもよい。ユニットの名称は、ユニット自体に対する制限を構成しない。例えば、第１収集ユニットは、「少なくとも２つのインターネットプロトコルアドレスを取得するユニット」とも記載され得る。
【0095】
本開示における上記の機能は、少なくとも部分的に１つ以上のハードウェアロジックコンポーネントによって実行されてもよい。例えば、制限なしに、使用され得るハードウェアロジックコンポーネントの例示的なタイプは、フィールド・プログラマブル・ゲート・アレイ（ＦＰＧＡ）、特定用途向け集積回路（ＡＳＩＣ）、特定用途向け標準製品（application specific standard product）（ＡＳＳＰ）、システム・オン・チップ（ＳＯＣ）、結合プログラム可能ロジックデバイス（complex programmable logic device）（ＣＰＬＤ）、などを含む。
【0096】
本開示の文脈中、マシン可読媒体は、命令実行システム、装置、若しくはデバイスによって又はそれと組み合わせて使用されるプログラムを収容又は記憶し得る有形媒体であってよい。マシン可読媒体は、マシン可読信号媒体又はマシン可読記憶媒体であってよい。マシン可読媒体は、電子、磁気、光学、電磁気、赤外線、若しくは半導体システム、装置、若しくはデバイス、又はそれらの任意の適切な組み合わせを含み得るが、それらに限られない。マシン可読記憶媒体のより具体的な例は、１つ以上の配線に基づいた電気接続、ポータブルコンピュータディスク、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、リードオンリーメモリ（ＲＯＭ）、消去可能なプログラム可能リードオンリーメモリ（ＥＰＲＯＭ又はフラッシュメモリ）、光ファイバ、ポータブルコンパクトディスクリードオンリーメモリ（ＣＤ－ＲＯＭ）、光学記憶デバイス、磁気記憶デバイス、又はそれらの任意の適切な組み合わせを含み得る。
【0097】
第１の態様で、本開示の１つ以上の実施形態に従って、拡張現実に基づいた表示方法が提供され、ユーザからの第１指示に応答して、画像収集ユニットによって捕捉された実時間シーン画像においてターゲットオブジェクト画像を取得するステップと、ターゲットオブジェクト画像に基づきターゲットオブジェクトに対応する仮想画像を生成するステップと、拡張現実表示技術に基づき実時間シーン画像においてターゲットオブジェクトの仮想画像を表示するステップとを含む。
【0098】
本開示の１つ以上の実施形態に従って、画像収集ユニットによって捕捉された実時間シーン画像においてターゲットオブジェクト画像を取得するステップは、実時間シーン画像内のターゲットオブジェクトに対してオブジェクトセグメンテーションを実行してターゲットオブジェクト画像を取得し、ターゲットオブジェクト画像にタグ付けするステップを有する。
【0099】
本開示の１つ以上の実施形態に従って、方法は、ユーザからのトリガ指示に応答して、実時間シーン画像内のターゲットオブジェクトに対してオブジェクトセグメンテーションを実行するために、プレロードされているオブジェクトセグメンテーションアルゴリズムを実行するステップと、第１指示に応答してオブジェクトセグメンテーションアルゴリズムの実行を止めるステップとを更に含む。
【0100】
本開示の１つ以上の実施形態に従って、ターゲットオブジェクト画像に基づきターゲットオブジェクトに対応する仮想画像を生成するステップは、ターゲットオブジェクトに対応する仮想画像を生成するようターゲットオブジェクト画像をアニメーション素材と合成するステップを有する。アニメーション素材は、仮想画像の手足－身体アニメーション素材及び／又は表情アニメーション素材を有する。
【0101】
本開示の１つ以上の実施形態に従って、ターゲットオブジェクト画像をアニメーション素材と合成するステップは、手足－身体アニメーション素材及び／又は表情アニメーション素材を取得するステップと、ターゲットオブジェクト画像上の複数の接続点を決定するステップと、複数の接続点を用いて手足－身体アニメーション素材及び／又は表情アニメーション素材をターゲットオブジェクト画像と合成して、ターゲットオブジェクトに対応する仮想画像を生成するステップとを有する。
【0102】
本開示の１つ以上の実施形態に従って、方法は、仮想画像に対して動き及び／又は表情制御を行うためにアニメーション素材を再生するステップを更に含む。
【0103】
本開示の１つ以上の実施形態に従って、仮想画像に対して動き及び／又は表情制御を行うためにアニメーション素材を再生するステップは、アニメーション素材の前もってセットされたアニメーションフレームに従ってアニメーション素材を再生して、仮想画像に対して動き及び／又は表情制御を行うステップ、及び／又はユーザの手足－身体動作及び／又は表情に基づきアニメーション素材のアニメーションフレームを生成及び再生して、仮想画像に対して動き及び／又は表情制御を行うステップを有する。
【0104】
本開示の１つ以上の実施形態に従って、方法は、ユーザからの仮想画像に対する制御指示に応答して仮想画像を相応に制御するステップを更に含む。制御指示は、回転制御指示、ズームアウト制御指示、移動制御指示、及びズームイン制御指示、のうちの少なくとも１つを有する。
【0105】
本開示の１つ以上の実施形態に従って、拡張現実表示技術に基づき実時間シーン画像においてターゲットオブジェクトの仮想画像を表示するステップは、実時間シーン画像内に仮想平面を生成するステップと、仮想平面で３次元空間を生成するステップと、拡張現実表示技術に基づき、生成された３次元空間において、ターゲットオブジェクトの仮想画像を表示するステップとを有する。
【0106】
本開示の１つ以上の実施形態に従って、実時間シーン画像内に仮想平面を生成するステップは、ターゲット平面領域が実時間シーン画像に存在することを検出する場合に、ターゲット平面領域に基づき仮想平面を生成するステップであり、ターゲット平面領域は、第１の前もってセットされた距離範囲内の画像収集ユニットまでの距離を有する平面領域、及び／又は実時間シーン画像の中央領域に位置している平面領域である、ステップ、あるいは、実時間シーン画像内の特定の位置で仮想平面を生成するステップを有する。
【0107】
本開示の１つ以上の実施形態に従って、拡張現実表示技術に基づき、生成された３次元空間において、ターゲットオブジェクトの仮想画像を表示するステップは、３次元空間においてターゲット位置を決定するステップと、拡張現実表示技術に基づき３次元空間内のターゲット位置でターゲットオブジェクトの仮想画像を表示するステップとを有する。
【0108】
本開示の１つ以上の実施形態に従って、３次元空間においてターゲット位置を決定するステップは、ユーザから位置指定指示を受け取るステップと、ユーザからの位置指定指示によってトリガされた位置ポイントに基づき３次元空間において３次元アンカーポイントを定め、３次元アンカーポイントをターゲット位置として使用するステップとを有する。
【0109】
本開示の１つ以上の実施形態に従って、ターゲットオブジェクト画像に基づきターゲットオブジェクトに対応する仮想画像を生成した後、拡張現実表示技術に基づき実時間シーン画像においてターゲットオブジェクトの仮想画像を表示する前に、方法は、画像収集ユニットの前の所定の位置で仮想画像をサスペンドするステップを更に有する。
【0110】
本開示の１つ以上の実施形態に従って、方法は、少なくとも１つの仮想画像が実時間シーン画像に既に存在し、既に存在している少なくとも１つの仮想画像の位置とターゲットオブジェクトに対応する仮想画像との間の距離が第２の前もってセットされた距離範囲を越える場合に、既に存在している少なくとも１つの仮想画像を、ターゲットオブジェクトに対応する仮想画像の第２の所定の範囲内に動かし、少なくとも１つの仮想画像を表示するステップを更に有する。
【0111】
本開示の１つ以上の実施形態に従って、方法は、複数の仮想画像が実時間シーン画像において既に存在する場合に、複数の仮想画像の間で衝突判定を実行するステップと、いずれか２つの仮想画像間で衝突が起きていると決定される場合に、互いに衝突している２つの仮想画像のうちのいずれか１つを動かすステップとを更に有する。
【0112】
本開示の１つ以上の実施形態に従って、拡張現実表示技術に基づき実時間シーン画像においてターゲットオブジェクトの仮想画像を表示する場合に、方法は、仮想画像の周りの特定の位置に仮想画像の影を表示するステップを更に有する
【0113】
本開示の１つ以上の実施形態に従って、方法は、拡張現実表示技術に基づき実時間シーン画像においてターゲットオブジェクトの仮想画像を動的に表示するステップを更に有する。
【0114】
第２の態様で、本開示の１つ以上の実施形態に従って、拡張現実に基づいた表示装置が提供され、ユーザからの第１指示に応答して、画像収集ユニットによって捕捉された実時間シーン画像においてターゲットオブジェクト画像を取得するよう構成されるターゲットオブジェクト決定ユニットと、ターゲットオブジェクト画像に基づきターゲットオブジェクトに対応する仮想画像を生成するよう構成される生成ユニットと、拡張現実表示技術に基づき実時間シーン画像においてターゲットオブジェクトの仮想画像を表示するよう構成される表示ユニットとを含む。
【0115】
本開示の１つ以上の実施形態に従って、画像収集ユニットによって捕捉された実時間シーン画像においてターゲットオブジェクト画像を取得するときに、ターゲットオブジェクト決定ユニットは、実時間シーン画像内のターゲットオブジェクトに対してオブジェクトセグメンテーションを実行してターゲットオブジェクト画像を取得し、ターゲットオブジェクト画像にタグ付けするよう構成される。
【0116】
本開示の１つ以上の実施形態に従って、ターゲットオブジェクト決定ユニットは、ユーザからのトリガ指示に応答して、実時間シーン画像内のターゲットオブジェクトに対してオブジェクトセグメンテーションを実行するために、プレロードされているオブジェクトセグメンテーションアルゴリズムを実行し、第１指示に応答してオブジェクトセグメンテーションアルゴリズムの実行を止めるよう更に構成される。
【0117】
本開示の１つ以上の実施形態に従って、生成ユニットは、ターゲットオブジェクト画像に基づきターゲットオブジェクトに対応する仮想画像を生成するときに、ターゲットオブジェクト画像をアニメーション素材と合成して、ターゲットオブジェクトに対応する仮想画像を生成するよう構成される。アニメーション素材は、仮想画像の手足－身体アニメーション素材及び／又は表情アニメーション素材を含む。
【0118】
本開示の１つ以上の実施形態に従って、生成ユニットは、ターゲットオブジェクト画像をアニメーション素材と合成するときに、手足－身体アニメーション素材及び／又は表情アニメーション素材を取得し、ターゲットオブジェクト画像上の複数の接続点を決定し、複数の接続点を用いて手足－身体アニメーション素材及び／又は表情アニメーション素材をターゲットオブジェクト画像と合成して、ターゲットオブジェクトに対応する仮想画像を生成するよう構成される。
【0119】
本開示の１つ以上の実施形態に従って、表示ユニットは、仮想画像に対して動き及び／又は表情制御を実行するためにアニメーション素材を再生するよう更に構成される。
【0120】
本開示の１つ以上の実施形態に従って、表示ユニットは、仮想画像に対して動き及び／又は表情制御を実行するためにアニメーション素材を再生するときに、アニメーション素材の前もってセットされたアニメーションフレームに従ってアニメーション素材を再生して、仮想画像に対して動き及び／又は表情制御を実行するよう、かつ／あるいは、ユーザの手足－身体動作及び／又は表情に基づきアニメーション素材のアニメーションフレームを生成及び再生して、仮想画像に対して動き及び／又は表情制御を実行するよう構成される。
【0121】
本開示の１つ以上の実施形態に従って、表示ユニットは、ユーザからの仮想画像に対する制御指示に応答して仮想画像を相応に制御するよう更に構成され、制御指示は、回転制御指示、ズームアウト制御指示、移動制御指示、及びズームイン制御指示、から成るグループから選択された少なくとも１つを有する。
【0122】
本開示の１つ以上の実施形態に従って、表示ユニットは、拡張現実表示技術に基づき実時間シーン画像においてターゲットオブジェクトの仮想画像を表示するときに、実時間シーン画像内に仮想平面を生成し、仮想平面で３次元空間を生成し、拡張現実表示技術に基づき、生成された３次元空間において、ターゲットオブジェクトの仮想画像を表示するよう構成される。
【0123】
本開示の１つ以上の実施形態に従って、表示ユニットは、実時間シーン画像内に仮想平面を生成するときに、ターゲット平面領域が実時間シーン画像に存在することを検出する場合に、ターゲット平面領域に基づき仮想平面を生成し、ターゲット平面領域が、第１の前もってセットされた距離範囲内の画像収集ユニットまでの距離を有する平面領域、及び／又は実時間シーン画像の中央領域に位置している平面領域である、よう、あるいは、実時間シーン画像内の特定の位置で仮想平面を生成するよう構成される。
【0124】
本開示の１つ以上の実施形態に従って、表示ユニットは、拡張現実表示技術に基づき、生成された３次元空間において、ターゲットオブジェクトの仮想画像を表示するときに、３次元空間においてターゲット位置を決定し、拡張現実表示技術に基づき３次元空間内のターゲット位置でターゲットオブジェクトの仮想画像を表示するよう構成される。
【0125】
本開示の１つ以上の実施形態に従って、表示ユニットは、３次元空間においてターゲット位置を決定するとき、ユーザから位置指定指示を受け取り、ユーザからの位置指定指示によってトリガされた位置ポイントに基づき３次元空間において３次元アンカーポイントを設置し、３次元アンカーポイントをターゲット位置として使用するよう構成される。
【0126】
本開示の１つ以上の実施形態に従って、表示ユニットは、ターゲットオブジェクト画像に基づきターゲットオブジェクトに対応する仮想画像を生成した後、拡張現実表示技術に基づき実時間シーン画像においてターゲットオブジェクトの仮想画像を表示する前に、画像収集ユニットの前の所定の位置で仮想画像をサスペンドするよう更に構成される。
【0127】
本開示の１つ以上の実施形態に従って、表示ユニットは、少なくとも１つの仮想画像が実時間シーン画像に既に存在し、既に存在している少なくとも１つの仮想画像の位置とターゲットオブジェクトに対応する仮想画像との間の距離が第２の前もってセットされた距離範囲を越える場合に、既に存在している少なくとも１つの仮想画像を、ターゲットオブジェクトに対応する仮想画像の第２の所定の範囲内に動かし、少なくとも１つの仮想画像を表示するよう更に構成される。
【0128】
本開示の１つ以上の実施形態に従って、表示ユニットは、複数の仮想画像が実時間シーン画像において既に存在する場合に、複数の仮想画像の間で衝突判定を実行し、いずれか２つの仮想画像間で衝突が起きていると決定される場合に、互いに衝突している２つの仮想画像のうちのいずれか１つを動かすよう更に構成される。
【0129】
本開示の１つ以上の実施形態に従って、表示ユニットは、実時間シーン画像内のターゲット位置でのターゲットオブジェクトの仮想画像の拡張表示を実行するときに、仮想画像の周りの特定の位置に仮想画像の影を表示するよう更に構成される。
【0130】
本開示の１つ以上の実施形態に従って、表示ユニットは、拡張現実表示技術に基づき実時間シーン画像においてターゲットオブジェクトの仮想画像を動的に表示するよう更に構成される。
【0131】
第３の態様で、本開示の１つ以上の実施形態に従って、電子機器が提供され、少なくとも１つのプロセッサと、メモリとを含み、メモリはコンピュータ実行可能命令を記憶し、少なくとも１つのプロセッサは、少なくとも１つのプロセッサに、上記の第１の態様及び第１の態様の様々な可能な設計で記載される方法を実行させるように、メモリに記憶されているコンピュータ実行可能命令を実行する。
【0132】
第４の態様で、本開示の１つ以上の実施形態に従って、コンピュータ可読記憶媒体が提供され、コンピュータ可読信号媒体はコンピュータ実行可能命令を記憶し、コンピュータ実行可能命令がプロセッサによって実行される場合に、上記の第１の態様及び第１の態様の様々な可能な設計で記載される方法が実装される。
【0133】
以上の記載は、本開示の代替の実施形態の例示及び関連する技術的原理の説明にすぎない。当業者は、本開示に関連する開示の範囲が上記の技術的特徴の特定の組み合わせによって形成される技術的解決法に限られず、本開示の概念から逸脱せずに上記の技術的特徴又はその同等の特徴の任意の組み合わせによって形成される他の技術的解決法もカバーすべきであることを理解するはずである。例えば、上記の技術的特徴は、新しい技術的解決法を形成するように、ここで開示されている（しかし、限られない）同様の機能を有している技術的特徴と相互に置換されてもよい。
【0134】
更に、動作は特定の順序で記載されているが、そのような動作が、述べられている特定の順序で、又は連続した順序で実行されることを要求していると解釈されるべきではない。特定の状況の下で、マルチタスク及び並列処理は有利であり得る。同様に、いくつかの具体的な実施詳細が上記の議論に含まれているが、それらは、本開示の範囲に対する制限と解釈されるべきではない。別個の実施形態に関連して記載されているいくつかの特徴は、単一の実施形態にまとめられてもよい。反対に、単一の実施形態に関連して記載されている様々な特徴は、個別的に様々な実施形態で、又は任意の適切なサブコンビネーションで複数の実施形態で、実装されてもよい。
【0135】
本主題は、構造的な特徴及び／又は論理的な方法動作に特有の言語で記載されているが、添付の特許請求の範囲で定義される主題は、必ずしも上記の特定の特徴又は動作に制限されないことが理解されよう。むしろ、上記の特定の特徴又は動作は、特許請求の範囲を実施するための例示的な形態にすぎない。
【0136】
本願は、２０２０年９月９日付けで出願された中国特許出願第２０２０１０９３７９２１．６号の優先権を主張するものである。この中国特許出願によって開示されている全内容は、本願の部分として参照により本願に援用される。
【図1】
【図2A】
【図2B】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【国際調査報告】