特表 2024-502407 拡張現実に基づく表示方法、装置、機器及び記憶媒体

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2024-01-19

(54)【発明の名称】拡張現実に基づく表示方法、装置、機器及び記憶媒体

(51)【国際特許分類】

   H04N 5/272 20060101AFI20240112BHJP

   G06F 3/04815 20220101ALI20240112BHJP

   G06T 19/00 20110101ALI20240112BHJP

【ＦＩ】

H04N5/272

G06F3/04815

G06T19/00 600

【審査請求】有

【予備審査請求】未請求

(21)【出願番号】P 2023535769

(86)(22)【出願日】2021-11-24

(85)【翻訳文提出日】2023-06-15

(86)【国際出願番号】 SG2021050721

(87)【国際公開番号】W WO2022132033

(87)【国際公開日】2022-06-23

(31)【優先権主張番号】202011508594.9

(32)【優先日】2020-12-18

(33)【優先権主張国・地域又は機関】CN

(81)【指定国・地域】

【公序良俗違反の表示】

（特許庁注：以下のものは登録商標）

１．ＡＮＤＲＯＩＤ

２．ＳＭＡＬＬＴＡＬＫ

(71)【出願人】

【識別番号】521388058

【氏名又は名称】レモン インコーポレイテッド

【氏名又は名称原語表記】Ｌｅｍｏｎ Ｉｎｃ．

(74)【代理人】

【識別番号】100107766

【弁理士】

【氏名又は名称】伊東 忠重

(74)【代理人】

【識別番号】100070150

【弁理士】

【氏名又は名称】伊東 忠彦

(74)【代理人】

【識別番号】100135079

【弁理士】

【氏名又は名称】宮崎 修

(72)【発明者】

【氏名】ガオ，ヤーシー

(72)【発明者】

【氏名】スン，チェンユー

(72)【発明者】

【氏名】ヤン，シァオ

(72)【発明者】

【氏名】チェン，ヂーリー

(72)【発明者】

【氏名】ルオ，リンジェ

(72)【発明者】

【氏名】リウ，ジン

(72)【発明者】

【氏名】グオ，ホンカイ

(72)【発明者】

【氏名】リ，ファシァ

(72)【発明者】

【氏名】キム，ファンギュ ショーン

(72)【発明者】

【氏名】ヤン，ジェンチャオ

【テーマコード（参考）】

5B050

5C023

5E555

【Ｆターム（参考）】

5B050AA03

5B050BA06

5B050BA09

5B050BA11

5B050BA12

5B050BA13

5B050BA20

5B050CA07

5B050DA01

5B050EA05

5B050EA06

5B050EA07

5B050EA19

5B050EA26

5B050FA02

5B050FA06

5B050FA13

5B050FA14

5C023AA16

5C023BA11

5C023CA01

5C023DA01

5C023DA08

5E555AA13

5E555AA27

5E555AA76

5E555BA06

5E555BB06

5E555BC18

5E555BE17

5E555CA12

5E555CA42

5E555CB45

5E555CB47

5E555CC05

5E555CC06

5E555CC12

5E555DB53

5E555DB57

5E555DC09

5E555EA22

5E555FA00

(57)【要約】

本開示の実施例は、拡張現実に基づく表示方法、装置、機器及び記憶媒体を提供し、当該方法は、第１のビデオを受信し、第１のビデオの中の目標物体をセグメンテーションし、ビデオ素材を取得し、画像収集装置によって収集される実景画像を取得して表示し、ビデオ素材を実景画像の目標位置に拡張表示してビデオ素材を再生する。ビデオ素材は、第１のビデオを受信し、第１のビデオの中の目標物体をセグメンテーションして取得されるものであるため、ビデオ素材はユーザの需要に応じて設定されることができ、このようにして、ユーザがビデオ素材をカスタマイズしてロードし表示する目的を満たし、カスタマイズしたビデオ素材を拡張現実の手段を用いて実景画像に表示し、ユーザの構想に合致するビデオ特殊効果となり、ビデオ制作の柔軟性を強め、ビデオ表現力を向上させる。
【選択図】図２

【特許請求の範囲】

【請求項1】

拡張現実に基づく表示方法であって、
第１のビデオを受信するステップと、
前記第１のビデオの中の目標物体をセグメンテーションし、ビデオ素材を取得するステップと、
画像収集装置によって収集される実景画像を取得して表示するステップと、
前記ビデオ素材を前記実景画像の目標位置に拡張表示して前記ビデオ素材を再生するステップと、を含む、ことを特徴とする拡張現実に基づく表示方法。

【請求項2】

前記ビデオ素材は、前記第１のビデオに対してビデオ人物画像セグメンテーションを行って得られる人物画像ビデオ素材を含む、ことを特徴とする請求項１に記載の方法。

【請求項3】

スクリーン座標情報を含む第２のユーザ命令を受信するステップと、
現在の実景画像の中に前記スクリーン座標情報に対応する実景座標点を決定するステップと、
前記実景座標点に基づいて前記実景画像における前記ビデオ素材の前記目標位置を決定するステップと、をさらに含む、ことを特徴とする請求項１に記載の方法。

【請求項4】

前記第２のユーザ命令には、さらに、寸法情報及び角度情報のうちの少なくとも一方が含まれ、
前記寸法情報は、前記ビデオ素材の表示寸法を指示するために用いられ、
前記角度情報は、前記画像収集装置が位置する平面である画像収集平面に対する前記ビデオ素材の表示角度を指示するために用いられる、ことを特徴とする請求項３に記載の方法。

【請求項5】

前記ビデオ素材を再生するステップは、
前記角度情報に基づいて前記角度情報に対応する表示角度で前記ビデオ素材を再生するステップを含む、ことを特徴とする請求項４に記載の方法。

【請求項6】

前記実景座標点に基づいて前記実景画像における前記ビデオ素材の前記目標位置を決定するステップは、
同時ローカリゼーションとマッピングアルゴリズムに基づき、前記実景画像に対応する同時ローカリゼーションとマッピング平面を獲得するステップであって、前記同時ローカリゼーションとマッピング平面は前記実景画像における実景のローカリゼーションモデルを特徴付けるために用いられるステップと、
前記同時ローカリゼーションとマッピング平面により特徴付けられる実景画像における実景のローカリゼーションモデルに基づき、前記実景座標点に対応する同時ローカリゼーションとマッピング平面座標点を決定するステップと、
前記同時ローカリゼーションとマッピング平面座標点に基づいて前記目標位置を決定するステップと、を含む、ことを特徴とする請求項３に記載の方法。

【請求項7】

当該方法は、さらに、
前記ビデオ素材に対応するオーディオ素材を取得するステップと、
前記ビデオ素材を前記実景画像の中の目標位置に表示するとともに、前記ビデオ素材の再生タイムスタンプに従って前記オーディオ素材を同期して再生するステップと、を含む、ことを特徴とする請求項１～６のいずれか１項に記載の方法。

【請求項8】

当該方法は、さらに、
前記ビデオ素材の再生進捗状況を特徴付けるために用いられる前記ビデオ素材の再生情報を取得するステップと、
前記再生情報に基づいて前記ビデオ素材が再生完了したと判断する場合、前記目標位置において前記ビデオ素材を重複して再生するステップと、を含む、ことを特徴とする請求項１～６のいずれか１項に記載の方法。

【請求項9】

拡張現実に基づく表示装置であって、
第１のビデオを受信するための受信ユニットと、
前記第１のビデオの中の目標物体をセグメンテーションし、ビデオ素材を取得するための取得ユニットと、
画像収集装置によって収集される実景画像を取得して表示すること、及び前記ビデオ素材を前記実景画像の目標位置に拡張表示して前記ビデオ素材を再生すること、に用いられる表示ユニットと、を含む、ことを特徴とする拡張現実に基づく表示装置。

【請求項10】

少なくとも１つのプロセッサとメモリとを含む電子機器であって、
前記メモリはコンピュータ実行命令を記憶し、
前記少なくとも１つのプロセッサは前記メモリに記憶されているコンピュータ実行命令を実行すると、前記少なくとも１つのプロセッサは請求項１～８のいずれか１項に記載の拡張現実に基づく表示方法を実行する、ことを特徴とする電子機器。

【請求項11】

コンピュータ可読記憶媒体であって、前記コンピュータ可読記憶媒体にはコンピュータ実行命令が記憶されており、プロセッサが前記コンピュータ実行命令を実行するとき、請求項１～８のいずれか１項に記載の拡張現実に基づく表示方法が実現される、ことを特徴とするコンピュータ可読記憶媒体。

【請求項12】

コンピュータプログラムを含むコンピュータプログラム製品であって、当該コンピュータプログラムがプロセッサにより実行されるとき、請求項１～８のいずれか１項に記載の拡張現実に基づく表示方法が実現される、コンピュータプログラム製品。

【請求項13】

コンピュータプログラムであって、前記コンピュータプログラムがプロセッサにより実行されるとき、請求項１～８のいずれか１項に記載の拡張現実に基づく表示方法が実現される、ことを特徴とするコンピュータプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示の実施例は、コンピュータ及びネットワーク通信の技術分野に関し、特に、拡張現実に基づく表示方法、装置、機器及び記憶媒体に関する。

【背景技術】

【0002】

ビデオ系ソフトウェアやプラットフォームについて、ビデオ制作機能はビデオ系ソフトウェアのコアとなる機能の１つである。ビデオ制作機能の豊富さ、多様性及び面白さは、当該ビデオ系ソフトウェアを利用するようにユーザやビデオ制作者を引き寄せる重要な要素である。

【0003】

現在、ユーザはビデオ制作機能を利用するとき、撮影環境にビデオ特殊効果を追加する必要がある場合、プラットフォームにより提供されている固定の画像やビデオ素材しか選択することができない。

【0004】

しかしながら、画像やビデオ素材の数が限られており、ユーザはビデオ制作をするとき、撮影環境の実景画像に対してはすべてが予想通りに特殊効果を設定することができないため、ビデオ制作の柔軟性が劣っており、ビデオの表現力にも影響を及ぼす。

【発明の概要】

【発明が解決しようとする課題】

【0005】

本開示の実施例は、ビデオ制作の柔軟性が劣っており、ビデオの表現力にも影響を及ぼすという問題を解消するために、拡張現実に基づく表示方法、装置、機器及び記憶媒体を提供する。

【課題を解決するための手段】

【0006】

第１の態様では、本開示の実施例は、拡張現実に基づく表示方法を提供し、前記方法は、
第１のビデオを受信するステップと、
前記第１のビデオの中の目標物体をセグメンテーションし、ビデオ素材を取得するステップと、
画像収集装置によって収集される実景画像を取得して表示するステップと、
前記ビデオ素材を前記実景画像の目標位置に拡張表示して前記ビデオ素材を再生するステップと、を含む。

【0007】

第２の態様では、本開示の実施例は、拡張現実に基づく表示装置を提供し、前記装置は、
第１のビデオを受信するための受信ユニットと、
前記第１のビデオの中の目標物体をセグメンテーションし、ビデオ素材を取得するための取得ユニットと、
画像収集装置によって収集される実景画像を取得して表示すること、及び前記ビデオ素材を前記実景画像の目標位置に拡張表示して前記ビデオ素材を再生することに用いられる表示ユニットと、を含む。

【0008】

第３の態様では、本開示の実施例は、少なくとも１つのプロセッサとメモリとを含む電子機器を提供し、
前記メモリはコンピュータ実行命令を記憶し、
前記少なくとも１つのプロセッサは前記メモリに記憶されているコンピュータ実行命令を実行すると、前記少なくとも１つのプロセッサは第１の態様及び第１の態様の様々な可能な設計に記載されている拡張現実に基づく表示方法を実行する。

【0009】

第４の態様では、本開示の実施例は、コンピュータ可読記憶媒体を提供し、前記コンピュータ可読記憶媒体にはコンピュータ実行命令が記憶されており、プロセッサが前記コンピュータ実行命令を実行するとき、上記の第１の態様及び第１の態様の様々な可能な設計に記載されている拡張現実に基づく表示方法が実現される。

【0010】

第５の態様では、本開示の実施例は、コンピュータプログラムを含むコンピュータプログラム製品を提供し、当該コンピュータプログラムがプロセッサにより実行されるとき、上記の第１の態様及び第１の態様の様々な可能な設計に記載されている拡張現実に基づく表示方法が実現される。

【0011】

第６の態様では、本開示の実施例は、コンピュータプログラムを提供し、前記コンピュータプログラムがプロセッサにより実行されるとき、上記の第１の態様及び第１の態様の様々な可能な設計に記載されている拡張現実に基づく表示方法が実現される。

【発明の効果】

【0012】

本開示の実施例により提供される拡張現実に基づく表示方法、装置、機器及び記憶媒体によれば、当該方法は、第１のビデオを受信し、前記第１のビデオの中の目標物体をセグメンテーションし、ビデオ素材を取得し、画像収集装置によって収集される実景画像を取得して表示し、前記ビデオ素材を前記実景画像の目標位置に拡張表示して前記ビデオ素材を再生する。これにより、ビデオ素材は、第１のビデオを受信し、第１のビデオの中の目標物体をセグメンテーションして取得されるものであるため、ビデオ素材はユーザの需要に応じて設定されることができ、このようにして、ユーザがビデオ素材をカスタマイズしてロードし表示する目的を満たし、カスタマイズしたビデオ素材を拡張現実の手段を用いて実景画像に表示し、ユーザの構想に合致するビデオ特殊効果となり、ビデオ制作の柔軟性を強め、ビデオ表現力を向上させる。

【図面の簡単な説明】

【0013】

以下、本開示の実施例や従来の技術における解決手段をより明瞭に説明するために、実施例又は従来の技術の記述において使用する必要がある図面を簡単に説明する。当然ながら、以下、記載する図面は本開示のいくつかの実施例であり、当業者であれば、創造的な労力を要することなく、これらの図面に基づいて他の図面を想到しうる。

【図1】従来の技術におけるビデオ撮影プロセスの一例を示す図である。

【図2】本開示の実施例により提供される拡張現実に基づく表示方法のフローチャート１である。

【図3】本開示の実施例により提供される第１のビデオを受信する一概略図である。

【図4】本開示の実施例により提供される第１のビデオを受信する他の概略図である。

【図5】本開示の実施例により提供されるビデオの中の目標物体をセグメンテーションする概略図である。

【図6】本開示の実施例により提供される実景画像の目標位置においてビデオ素材を再生する概略図である。

【図7】本開示の実施例により提供される拡張現実に基づく表示方法のフローチャート２である。

【図8】本開示の実施例により提供される、ユーザが第２のユーザ命令を入力する概略図である。

【図9】図７に示される実施例におけるステップＳ２０６のフローチャートである。

【図10】本開示の実施例により提供される１つの異なる表示角度でビデオ素材を再生する概略図である。

【図11】本開示の実施例により提供される他の異なる表示角度でビデオ素材を再生する概略図である。

【図12】本開示の実施例により提供される拡張現実に基づく表示装置の構造ブロック図である。

【図13】本開示の実施例により提供される電子機器のハードウェア構造概略図である。

【発明を実施するための形態】

【0014】

以下、本開示の実施例の目的、技術的解決手段及び利点をより明瞭にするために、本開示の実施例に係る図面を参照しながら、その技術的解決手段について明瞭、且つ完全に説明し、当然ながら、記載される実施例は本開示の実施例の一部にすぎず、そのすべての実施例ではない。当業者が本開示における実施例に基づいて創造的な労働をすることなく獲得されたその他のすべての実施例は、いずれも本開示の保護範囲に属する。

【0015】

図１を参照すると、図１は、従来の技術におけるビデオ撮影プロセスの一例を示す図である。従来の技術において、ユーザは、スマートフォンなどの端末機器を利用してビデオ撮影をするとき、撮影環境の実景画像にビデオ特殊効果を追加する必要がある場合、１つの可能な実現形態として、ビデオ系ソフトウェアにより提供されるビデオ特殊効果ライブラリの中で、ビデオ系ソフトウェアにより提供されるいくつかのビデオ素材１１を選択し、端末機器が表示する実景画像１２に当該ビデオ素材１１を追加し、ビデオ特殊効果を有する撮影環境画像を生成し、ビデオを制作し、創造性と表現力に富むビデオを得る。

【0016】

しかしながら、従来の技術において、ビデオ系ソフトウェアの中の予め設定された固定の数種のビデオ素材しかユーザは使用できないので、ユーザは複雑なシーンのビデオを撮影するとき、素材ライブラリにより提供されるビデオ素材はユーザの使用ニーズに満足できないことが多いため、ユーザが固定の素材を使用して撮影するビデオは、ユーザの構想を完全に実現することができず、ビデオの表現力が低下する。本開示の実施例は、上記の問題を解決するために、拡張現実に基づく表示方法を提供する。

【0017】

図２を参照すると、図２は、本開示の実施例により提供される拡張現実に基づく表示方法のフローチャート１である。本実施例に係る方法はスマートフォンなどの端末機器に適用されることができる。当該拡張現実に基づく表示方法は、以下のステップを含む。

【0018】

Ｓ１０１では、第１のビデオを受信する。

【0019】

具体的には、第１のビデオには、ユーザが関心を持っているビデオ素材が含まれたビデオが含まれ得る。例えば、ダンスパフォーマンスのビデオ、歌唱パフォーマンスのビデオ、動画のビデオなどが挙げられる。１つの可能な実現形態では、ビデオ素材は人物画像ビデオ素材であってもよい。また、他の可能な実現形態では、ビデオ素材は物体ビデオ素材であってもよく、例えば、第１のビデオはレーシングカーのビデオである場合、運動しているレーシングカーはビデオ素材となる。さらに、他の可能な実現形態では、ビデオ素材はカートゥーンアニメーションのビデオ素材、動物のビデオ素材などであってもよく、本明細書では、第１のビデオの具体的な実現形式について繰り返して説明しない。

【0020】

さらに、１つの可能な実現形態では、第１のビデオ素材は、ユーザが予め撮影して端末機器内に記憶したビデオであってもよいし、ユーザが記憶媒体を介してアップロードするか若しくはネットワークを介してダウンロードするような手段を用いて直接に端末機器内に記憶したビデオであってもよい。図３は、本開示の実施例により提供される第１のビデオを受信する一概略図であり、図３に示すように、第１のビデオを受信する方法は、ユーザが端末機器のユーザインタフェース（Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ、ＵＩと略称）をクリックして、端末機器のローカルに記憶しているビデオを選択することを含み、図３中に示すように、ローカルに記憶しているビデオ１、ビデオ２、ビデオ３、ビデオ４から、ビデオ１を第１のビデオとして選択してアップロードすることにより、端末機器が第１のビデオを受信するプロセスは実現される。

【0021】

図４は、本開示の実施例により提供される第１のビデオを受信する他の概略図である。図４に示すように、第１のビデオはサーバに記憶されており、端末機器はサーバ側から送信された第１のビデオ情報を受信して表示する。より具体的には、例えば、第１のビデオのタイトル及びプレビュー図が挙げられ、ユーザは端末機器に表示されている第１のビデオのタイトル又はプレビュー図をクリックし、当該第１のビデオをサーバからダウンロードすることにより、端末機器は当該第１のビデオを受信することを実現する。

【0022】

Ｓ１０２では、第１のビデオの中の目標物体をセグメンテーションし、ビデオ素材を取得する。

【0023】

具体的には、図５は、本開示の実施例により提供されるビデオの中の目標物体をセグメンテーションする概略図である。図５に示すように、端末機器は、第１のビデオを獲得した後、ビデオセグメンテーション技術を用いて、目標ビデオに対して特徴識別を行い、すなわち、目標ビデオの中の目標物体の輪郭を決定し、そして、当該目標物体の輪郭に従ってビデオセグメンテーションを行い、当該目標物体のビデオ素材を得る。例示的に、当該ビデオ素材は動的ビデオ画像又は静的ビデオ画像であってもよく、本明細書ではそれを具体的に限定しない。ビデオ素材の具体的な実現形式は、ステップＳ１０１の例を参照することができ、ここで繰り返して説明しない。

【0024】

１つの可能な実現形態では、第１のビデオの中の目標物体は人物画像であり、端末機器は第１のビデオの中の人物画像をセグメンテーションし、対応する人物画像ビデオ素材を獲得することができる。具体的には、当該プロセスでは、ビデオポートレートセグメンテーション（Ｖｉｄｅｏ Ｐｏｒｔｒａｉｔ Ｓｅｇｍｅｎｔａｔｉｏｎ）技術を用いて、第１のビデオの中の人物画像の輪郭に対して特徴識別を行い、人物画像の輪郭を決定し、人物画像の輪郭に基づいて第１のビデオの中の人物画像部分を保留し、第１のビデオの中の人物画像以外の部分を除去することで、人物画像ビデオ素材を得ることができる。ビデオポートレートセグメンテーションの具体的な実現プロセスは、様々な可能な実現手段を利用して実現することができ、本明細書では説明を省略する。また、第１のビデオの中の目標物体は、物体などを含むものであってもよく、端末機器は第１のビデオの中の目標物体をセグメンテーションすることで、対応する目標物体のビデオ素材を獲得することができる。

【0025】

Ｓ１０３では、画像収集装置によって収集される実景画像を取得して表示する。

【0026】

例示的に、画像収集装置は、例えば、端末機器に配置されたフロントカメラ又はバックカメラ、もしくは、端末機器の外部に配置され端末機器と通信可能な他のカメラである。端末機器はカメラを用いて当該端末機器が置かれている撮影環境を撮影し、撮影環境の対応する実景画像をリアルタイムに獲得することができ、当該実景画像は撮影環境のリアルな表現となる。

【0027】

さらに、端末機器は、当該実景画像を獲得した後、当該実景画像を端末機器のＵＩにリアルタイムに表示することができる。ユーザは、撮影環境のリアルな表現を端末機器のＵＩによってリアルタイムに観察することができる。当該実景画像を取得して表示するプロセスは、ユーザがビデオ撮影をする前の準備プロセスであり、ユーザは撮影環境を観察し、具体的な撮影位置や撮影角度を決定した後、画像収集装置を利用してこの後のビデオ撮影プロセスを進めることができる。

【0028】

Ｓ１０４では、ビデオ素材を実景画像の目標位置に拡張表示してビデオ素材を再生する。

【0029】

例示的に、端末機器は、ビデオ素材を決定した後、ビデオ素材を実景画像の目標位置に表示することができ、当該目標位置は、ユーザにより設定された、ユーザ命令に従ってさらに調整できる位置であってもよいし、システムのデフォルトの位置であってもよい。１つの可能な実現形態では、ビデオ素材を実景画像の目標位置に表示するステップは、まず、デフォルトの位置、例えばＵＩに表示されている実景画像の幾何学的中心にビデオ素材を表示し、次に、ユーザから入力された命令に従って当該目標位置を調整し、調整の結果に応じてビデオ素材を対応する目標位置に表示するステップを含み、このようにして、ユーザによるビデオ素材表示位置の設定及び調整を実現する。

【0030】

さらに、ビデオ素材は、拡張現実（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ、ＡＲと略称）の手段を用いて実景画像の目標位置に表示される。具体的には、例えば、ビデオ素材が、人物画像のビデオ素材であり且つ内容が踊っている人物画像である場合、実景画像（例えば、ユーザの居間の画像）の目標位置、例えば実景画像の中のソファの横に当該ビデオ素材を表示すると、当該ビデオ素材と実景画像との位置関係は固定されており、すなわち、新たなユーザ命令による目標位置の変更がなければ、当該踊っている人物画像はいつまでもソファの横に固定されており、たとえ端末機器が移動や回転するようにユーザは操作したとしても、端末機器のＵＩに表示されている視野内の実景画像は変化するが、当該ビデオ素材は移動せずに実景画像の中の固定位置に固定して表示されており、すなわち、実景画像にＡＲで表示されている。

【0031】

さらに、図６は、本開示の実施例により提供される実景画像の目標位置においてビデオ素材を再生する概略図であり、図６に示すように、ビデオ素材を実景画像の目標位置に拡張表示した後、当該ビデオ素材を再生し、例えばビデオ素材は人物画像ビデオ素材であり内容が踊っている人物画像である場合、当該人物画像が踊るビデオ内容を再生する。ビデオ素材は実景画像にＡＲで表示されており、すなわち、当該ビデオ素材は視覚的に撮影環境の一部となるため、仮想の撮影環境を構築する目的を達成することができる。また、ユーザは当該仮想の撮影環境に基づいてビデオを撮影すると、カスタマイズした撮影内容を実現することができ、ユーザに創作上の想像力を十分に発揮させることができ、ビデオ素材が固定であるため必要な仮想の撮影環境を生成することができないことで制限されず、これによりビデオ制作の豊富さ及び表現力を大幅に向上させる。

【0032】

当該方法は、第１のビデオを受信し、第１のビデオの中の目標物体をセグメンテーションし、ビデオ素材を取得し、画像収集装置によって収集される実景画像を取得して表示し、ビデオ素材を実景画像の目標位置に拡張表示してビデオ素材を再生する。ビデオ素材は、第１のビデオを受信し、第１のビデオの中の目標物体をセグメンテーションして取得されるものであるため、ビデオ素材はユーザの需要に応じて設定されることができ、このようにして、ユーザビデオ素材をカスタマイズしてロードし表示する目的を満たし、カスタマイズしたビデオ素材を拡張現実の手段を用いて実景画像に表示し、ユーザの構想に合致するビデオ特殊効果となり、ビデオ制作の柔軟性を強め、ビデオ表現力を向上させる。

【0033】

図７は、本開示の実施例により提供される拡張現実に基づく表示方法のフローチャート２である。本実施例では、ユーザ命令に従ってビデオ素材を調整するステップが追加されており、当該方法は、以下のステップを含む。

【0034】

Ｓ２０１では、第１のビデオを受信する。

【0035】

Ｓ２０２では、第１のビデオの中の目標物体をセグメンテーションし、ビデオ素材を取得する。

【0036】

Ｓ２０３では、画像収集装置によって収集される実景画像を取得して表示する。

【0037】

Ｓ２０４では、スクリーン座標情報を含む第２のユーザ命令を受信する。

【0038】

具体的には、第２のユーザ命令は、ユーザによって端末機器のＵＩを介して入力されるものであり、ビデオ素材を指定された位置に表示させるための命令である。図８は、本開示の実施例により提供される、ユーザが第２のユーザ命令を入力する概略図であり、図８に示すように、当該第２のユーザ命令は、ユーザのドラッグジェスチャーやクリックジェスチャーによって実現されることができ、第２のユーザ命令における平面座標情報は、端末機器のスクリーンにジェスチャー操作が作用する座標、例えばスクリーンでのクリックジェスチャーの座標、スクリーンを横切るドラッグジェスチャーの座標を特徴付ける。端末機器は、当該第２のユーザ命令を受信した後、スクリーン座標情報に基づいて第２のユーザ命令に対応する目標位置を決定し、ビデオ素材を当該目標位置に表示する。

【0039】

選択的に、第２のユーザ命令には、さらに、寸法情報及び角度情報のうちの少なくとも一方が含まれる。寸法情報は、ビデオ素材の表示寸法を指示するために用いられ、角度情報は、画像収集装置が位置する平面である画像収集平面に対するビデオ素材の表示角度を指示するために用いられる。

【0040】

選択的に、第２のユーザ命令は、異なる操作ジェスチャーによって実現され得る。例えば、ユーザは、指（例えば、２本の指）の相対的移動によって、寸法情報を特徴付けて、ビデオ素材の表示寸法を調整することができ、もちろん、ビデオ素材の表示角度を制御する情報である角度情報を操作ジェスチャーによって特徴付けることもできる。ビデオ素材が二次元平面ビデオである場合、角度情報は、画像収集平面に対する当該二次元平面ビデオの表示角度を特徴付けるために用いられるが、ビデオ素材は三次元立体ビデオである場合、角度情報は、三次元空間における当該三次元立体ビデオの表示角度を特徴付けるために用いられる。操作ジェスチャーの実現形態は、例えば、１本の指の回転やクリックなどが挙げられるが、具体的なジェスチャー操作は必要に応じて設定されることができ、本明細書では説明を省略する。

【0041】

Ｓ２０５では、現在の実景画像の中でスクリーン座標情報に対応する実景座標点を決定する。

【0042】

第２のユーザ命令に従ってスクリーン座標情報を獲得した後、当該スクリーン座標情報に対応する、スクリーン上に表示されている実景画像の実景座標点を決定する。当該実景座標点は、撮影環境において実景の位置を特徴付けるために用いられる。

【0043】

Ｓ２０６では、実景座標点に基づいて実景画像におけるビデオ素材の目標位置を決定する。

【0044】

選択的に、図９に示すように、ステップＳ２０６は、Ｓ２０６１、Ｓ２０６２、Ｓ２０６３という３つの具体的な実現ステップを含む。

【0045】

Ｓ２０６１では、同時ローカリゼーションとマッピング（Ｓｉｍｕｌｔａｎｅｏｕｓ Ｌｏｃａｌｉｚａｔｉｏｎ Ａｎｄ Ｍａｐｐｉｎｇ、Ｓｌａｍと略称）アルゴリズムに基づき、実景画像に対応する同時ローカリゼーションとマッピング平面を獲得し、同時ローカリゼーションとマッピング平面は、実景画像における実景のローカリゼーションモデルを特徴付けるために用いられる。

【0046】

具体的には、Ｓｌａｍアルゴリズムは、未知環境における位置決めナビゲーションと地図構築の問題を解決するための方法であり、本実施例では、Ｓｌａｍアルゴリズムを用いて撮影環境に対応する実景画像情報を処理し、撮影環境における異なる実景物体間の位置決めを実現し、Ｓｌａｍ平面を得て、当該Ｓｌａｍ平面は、実景画像と撮影環境における実景物体との位置関係、すなわち、実景物体における実景のローカリゼーションモデルを特徴付けるために用いられる。Ｓｌａｍアルゴリズム及びＳｌａｍアルゴリズムを用いてＳｌａｍ平面を生成する具体的な実現形態は従来の技術であり、本明細書では説明を省略する。

【0047】

Ｓ２０６２では、同時ローカリゼーションとマッピング平面により特徴付けられる実景画像における実景のローカリゼーションモデルに基づき、実景座標点に対応する同時ローカリゼーションとマッピング平面座標点を決定する。

【0048】

Ｓ２０６３では、同時ローカリゼーションとマッピング平面座標点に基づいて目標位置を決定する。

【0049】

具体的には、Ｓｌａｍ平面により特徴付けられるローカリゼーションモデルに基づき、当該Ｓｌａｍ平面での実景座標点の位置、すなわち、Ｓｌａｍ座標点を決定することができ、ビデオ素材の目標位置を決定する際、当該Ｓｌａｍ座標点を目標位置とすれば、ビデオ素材の実景画像における表示を実現することができる。

【0050】

Ｓ２０７では、角度情報に基づいて角度情報に対応する表示角度でビデオ素材を再生する。

【0051】

具体的には、角度情報は、画像収集装置が位置する平面である画像収集平面に対するビデオ素材の表示角度を指示するために用いられる。端末機器により収集される実景画像は端末機器の位置及び撮影角度にしたがってリアルタイムに変化するため、例えば、端末機器は移動したり、三次元空間で一定の角度を回転したりすると、撮影及び表示する実景画像の表示角度にも角度変化が生じ、それに応じて、実景画像に表示されているビデオ素材の表示角度もそれにしたがって変化し、対応する表示角度で当該ビデオ素材を再生する。

【0052】

図１０は、本開示の実施例により提供される１つの異なる表示角度でビデオ素材を再生する概略図であり、図１０を参照すると、ビデオ素材は二次元平面ビデオである場合、角度情報に基づいてビデオ素材の表示角度を決定することができ、図１０に示すように、角度情報に変化が生じると、二次元平面ビデオ素材の表示角度もそれにしたがって変化し、すなわち、図１０の表示角度１から表示角度２に変化するようになり、このようにして、二次元平面ビデオ素材の表示角度の調整を実現する。

【0053】

図１１は、本開示の実施例により提供される他の異なる表示角度でビデオ素材を再生する概略図であり、図１１を参照すると、ビデオ素材は三次元立体ビデオである場合、角度情報に基づいてビデオ素材の表示角度を決定することができ、図１１に示すように、角度情報に変化が生じると、三次元立体ビデオ素材の表示角度もそれにしたがって変化し、すなわち、図１１の表示角度１から表示角度２に変化するようになり、このようにして、三次元立体ビデオ素材の表示角度の調整を実現する。

【0054】

Ｓ２０８では、ビデオ素材に対応するオーディオ素材を取得し、ビデオ素材を実景画像の中の目標位置に表示するとともに、ビデオ素材の再生タイムスタンプに従ってオーディオ素材を同期して再生する。

【0055】

例示的に、ビデオ素材は第１のビデオから取得されるものであり、ビデオ素材には、第１のビデオの中にビデオ素材の再生タイムスタンプに対応し再生時間が同じであるオーディオ素材が含まれている。当該オーディオ素材は、ビデオ素材の再生タイムスタンプに従ってビデオ素材と同期して再生されることができ、このようにして、第１のビデオでのビデオ素材の効果をより大きく復元することができる。

【0056】

Ｓ２０９では、ビデオ素材の再生進捗状況を特徴付けるために用いられるビデオ素材の再生情報を取得し、再生情報に基づいてビデオ素材が再生完了したと判断する場合、目標位置においてビデオ素材を重複して再生する。

【0057】

例示的に、ビデオ素材再生中に、ビデオ素材の再生情報、例えばビデオ素材の現在の再生時間、又は現在の再生タイムスタンプ、又はビデオ素材再生完了の識別情報に基づき、ビデオ素材が再生終了したかどうかを判定し、ビデオ素材が再生終了した場合、ビデオ素材の再生停止がビデオの全体的な表現効果に影響を与えないように、当該ビデオ素材を改めて再生するようにしている。

【0058】

本実施例では、ステップＳ２０１～Ｓ２０３は、前述した実施例におけるステップＳ１０１～Ｓ１０３と一致するため、その詳細な説明はステップＳ１０１～Ｓ１０３に関する記述を参照することができ、ここで繰り返して説明しない。

【0059】

上記の実施例に係る拡張現実に基づく表示方法に対応するように、図１２は、本開示の実施例により提供される拡張現実に基づく表示装置の構造ブロック図である。説明の便宜上、本開示の実施例に関連する部分しか示されていない。図１２を参照すると、拡張現実に基づく表示装置３は、
第１のビデオを受信するための受信ユニット３１と、
第１のビデオの中の目標物体をセグメンテーションし、ビデオ素材を取得するための取得ユニット３２と、
画像収集装置によって収集される実景画像を取得して表示すること、及びビデオ素材を実景画像の目標位置に拡張表示してビデオ素材を再生することに用いられる表示ユニット３３と、を含む。

【0060】

本開示の１つの実施例では、ビデオ素材は、第１のビデオに対してビデオ人物画像セグメンテーションを行って得られる人物画像ビデオ素材を含む。

【0061】

本開示の１つの実施例では、受信ユニット３１は、さらに、スクリーン座標情報を含む第２のユーザ命令を受信すること、現在の実景画像の中にスクリーン座標情報に対応する実景座標点を決定すること、及び実景座標点に基づいて実景画像におけるビデオ素材の目標位置を決定すること、に用いられる。

【0062】

本開示の１つの実施例では、第２のユーザ命令には、さらに、寸法情報及び角度情報のうちの少なくとも一方が含まれ、寸法情報は、ビデオ素材の表示寸法を指示するために用いられ、角度情報は、画像収集装置が位置する平面である画像収集平面に対するビデオ素材の表示角度を指示するために用いられる。

【0063】

本開示の１つの実施例では、表示ユニット３３は、ビデオ素材を再生するとき、具体的に、角度情報に基づいて角度情報に対応する表示角度でビデオ素材を再生するために用いられる。

【0064】

本開示の１つの実施例では、受信ユニット３１は、実景座標点に基づいて実景画像におけるビデオ素材の目標位置を決定するとき、具体的に、同時ローカリゼーションとマッピングアルゴリズムに基づき、実景画像に対応する同時ローカリゼーションとマッピング平面を獲得し、同時ローカリゼーションとマッピング平面は、実景画像における実景のローカリゼーションモデルを特徴付けるために用いられること、同時ローカリゼーションとマッピング平面により特徴付けられる実景画像における実景のローカリゼーションモデルに基づき、実景座標点に対応する同時ローカリゼーションとマッピング平面座標点を決定すること、及び同時ローカリゼーションとマッピング平面座標点に基づいて目標位置を決定すること、に用いられる。

【0065】

本開示の１つの実施例では、取得ユニット３２は、さらに、ビデオ素材に対応するオーディオ素材を取得すること、及びビデオ素材を実景画像の中の目標位置に表示するとともに、ビデオ素材の再生タイムスタンプに従ってオーディオ素材を同期して再生すること、に用いられる。

【0066】

本開示の１つの実施例では、取得ユニット３２は、さらに、ビデオ素材の再生進捗状況を特徴付けるために用いられるビデオ素材の再生情報を取得すること、及び再生情報に基づいてビデオ素材が再生完了したと判断する場合、目標位置においてビデオ素材を重複して再生すること、に用いられる。

【0067】

本実施例により提供される機器は、上記の方法の実施例に係る解決手段を実現することができ、その実現原理及び技術的効果は類似するため、本実施例はここで繰り返して説明しない。

【0068】

図１３を参照すると、図１３は、本開示の実施例を実現するために適した電子機器９００の構造概略図を示しており、当該電子機器９００は端末機器やサーバにすることができる。端末機器は、携帯電話、ノートブックコンピュータ、デジタル放送受信機、パーソナルデジタルアシスタント（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ、ＰＤＡと略称）、タブレットコンピュータ（Ｐｏｒｔａｂｌｅ Ａｎｄｒｏｉｄ Ｄｅｖｉｃｅ、ＰＡＤと略称）、携帯型マルチメディアプレーヤー（Ｐｏｒｔａｂｌｅ Ｍｅｄｉａ Ｐｌａｙｅｒ、ＰＭＰと略称）、車載端末（例えば、車載ナビゲーション端末）、ウェアラブル電子デバイスなどのモバイル端末、及びデジタルＴＶ（Ｔｅｌｅｖｉｓｉｏｎ）、デスクトップコンピュータ、スマートホームデバイスなどの固定端末を含むことができるが、それらに限定されない。図１３に示される電子機器は単なる一例であり、本開示の実施例の機能及び使用範囲にいかなる制限も課すべきでない。

【0069】

図１３に示すように、電子機器９００は、処理装置（中央処理装置やグラフィックプロセッサなど）９０１を含むことができ、当該処理装置は、読み取り専用メモリ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ、ＲＯＭと略称）９０２に記憶されたプログラムまたは記憶装置９０８からランダムアクセスメモリ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ、ＲＡＭと略称）９０３にロードされたプログラムに従って、フローチャートに示される方法を実行するためのプログラムコードなどさまざまな適切な動作及び処理を実行することができ、本開示の実施例に係る方法で限定されている上記機能を実現する。ＲＡＭ９０３には、電子機器９００の操作に必要なさまざまなプログラム及びデータも記憶されている。処理装置９０１、ＲＯＭ９０２及びＲＡＭ９０３は、バス９０４を介して互いに接続されている。入力／出力（Ｉｎｐｕｔ／Ｏｕｔｐｕｔ、Ｉ／Ｏと略称）インタフェース９０５もバス９０４に接続されている。

【0070】

通常、タッチスクリーン、タッチパッド、キーボード、マウス、カメラ、マイクロフォン、加速度計、ジャイロスコープなどを含む入力装置９０６と、液晶ディスプレイ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ、ＬＣＤと略称）、スピーカー、バイブレータなどを含む出力装置９０７と、磁気テープやハードディスクなどを含む記憶装置９０８と、通信装置９０９とは、Ｉ／Ｏインタフェース９０５に接続されることができる。通信装置９０９は、電子機器９００が他のデバイスと無線又は有線で通信してデータを交換することを可能にし得る。図１３は、さまざまなデバイスを備える電子機器９００を示すが、図示されたデバイスのすべてが実施又は配置される必要があるわけではないことを理解すべきである。代替的に、より多くの又は少ないデバイスが実施又は配置され得る。

【0071】

特に、本開示の実施例によれば、フローチャートを参照して説明されている上記のプロセスは、コンピュータソフトウェアプログラムとして実施されることができる。例えば、本開示の実施例は、コンピュータ可読媒体に搭載されているコンピュータプログラムを含むコンピュータプログラム製品を含み、当該コンピュータプログラムがフローチャートに示される方法を実行するためのプログラムコードを含む。このような実施例では、当該コンピュータプログラムは、通信装置９０９を介してネットワークからダウンロード及びインストールされるか、または記憶装置９０８からインストールされるか、またはＲＯＭ９０２からインストールされることができる。当該コンピュータプログラムは、処理装置９０１により実行されると、本開示の実施例に係る方法で限定されている上記機能が実行される。

【0072】

本開示の実施例は、さらに、可読記憶媒体に記憶されているコンピュータプログラムを提供し、電子機器の１つ又は複数のプロセッサは、前記可読記憶媒体から前記コンピュータプログラムを読み取ることができ、前記１つ又は複数のプロセッサは前記コンピュータプログラムを実行すると、前記電子機器は上記いずれの実施例により提供される解決手段を実行する。

【0073】

なお、本開示に記載されたコンピュータ可読媒体は、コンピュータ可読信号媒体又はコンピュータ可読記憶媒体又は上記２つの任意の組み合わせであり得る。コンピュータ可読記憶媒体は、例えば、電気的、磁気的、光学的、電磁的、赤外線、又は半導体のシステム、装置又はデバイス、あるいは上記の任意の組み合わせにすることができるが、それらに限定されない。コンピュータ可読記憶媒体のより具体的な例として、１本又は複数のワイヤを有する電気的接続、ポータブルコンピュータディスク、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、読み取り専用メモリ（ＲＯＭ）、消去可能プログラマブル読み取り専用メモリ（Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ、ＥＰＲＯＭ又はフラッシュメモリと略称）、光ファイバ、ポータブルコンパクトディスク読み取り専用メモリ（Ｐｏｒｔａｂｌｅ Ｃｏｍｐａｃｔ Ｄｉｓｃ Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ、ＣＤ－ＲＯＭと略称）、光ストレージデバイス、磁気メモリコンポーネント、または上記の任意の適切な組み合わせを含み得るが、それらに限定されない。本開示では、コンピュータ可読記憶媒体は、命令実行システム、装置、またはデバイスによって使用されるか、またはそれらに組み合わせて使用できるプログラムを含む又は記憶する任意の有形媒体であり得る。本開示では、コンピュータ可読信号媒体は、ベースバンドで、または搬送波の一部として伝播されるデータ信号を含むことができ、その中にコンピュータ可読プログラムコードが搭載されている。このような伝播されたデータ信号は、電磁信号、光信号、または上記の任意の適切な組み合わせを含むがそれらに限定されない多くの形をとることができる。コンピュータ可読信号媒体は、さらに、コンピュータ可読記憶媒体以外の任意のコンピュータ可読媒体にすることができ、当該コンピュータ可読信号媒体は、命令実行システム、装置、またはデバイスによって使用されるか、またはそれらに組み合わせて使用するためのプログラムを送信、伝播、または伝送することができる。コンピュータ可読媒体に含まれたプログラムコードは、電線、光ファイバケーブル、ＲＦ（Ｒａｄｉｏ Ｆｒｅｑｕｅｎｃｙ、無線周波数）などを含むがそれらに限定されない任意の適切な媒体、または上記の任意の適切な組み合わせを使用して伝送されることができる。

【0074】

上記のコンピュータ可読媒体は、上記の電子機器に含まれていてもよく、または当該電子機器に組み立てられずに単独で存在していてもよい。

【0075】

上記のコンピュータ可読媒体には、１つ又は複数のプログラムが搭載されており、上記の１つ又は複数のプログラムは当該電子機器により実行されると、当該電子機器は上記の実施例に示される方法を実行する。

【0076】

本開示の操作を実行するためのコンピュータプログラムコードは、Ｊａｖａ（登録商標）、Ｓｍａｌｌｔａｌｋ、Ｃ＋＋などのオブジェクト指向プログラミング言語と、「Ｃ」言語又はそれに類似するプログラミング言語などの従来の手続き型プログラミング言語と、を含む１つ又は複数のプログラミング言語、あるいはそれらの組み合わせで書くことができる。プログラムコードは、完全にユーザのコンピュータ上で、一部はユーザのコンピュータ上で、スタンドアロンソフトウェアパッケージとして、一部はユーザのコンピュータ上で、一部はリモートコンピュータ上で、または完全にリモートコンピュータ又はサーバ上で実行できる。リモートコンピュータの場合、リモートコンピュータは、ローカルエリアネットワーク(Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ、ＬＡＮと略称)やワイドエリアネットワーク（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ、ＷＡＮと略称)など、あらゆる種類のネットワークを介してユーザのコンピュータに接続されることができ、もしくは、外部コンピュータに接続されることもできる（例えば、インターネットサービスプロバイダーを使用してインターネット経由で接続する）。

【0077】

図面のフローチャート及びブロック図は、本開示の様々な実施例によるシステム、方法、及びコンピュータプログラム製品によって実現可能なアーキテクチャ、機能、及び操作を示している。これに関して、フローチャート又はブロック図の各ブロックは、指定される論理的機能を実現するための１つ又は複数の実行可能な命令を含むモジュール、プログラムセグメント、又はコードの一部を表すことができる。いくつかの代替の実現では、ブロックに示されている機能が、図に示されている順序と異なる順序で実行できることにも注意すべきである。例えば、連結して表示される２つのブロックは、実際には、基本的に並行して実行できるが、または、関連する機能に応じて、ブロックが逆の順序で実行される場合もある。なお、ブロック図及び／又はフローチャートの各ブロック、及びブロック図及び／又はフローチャートのブロックの組み合わせは、指定される機能又は操作を実行する専用のハードウェアベースのシステムを使用して実現することができ、または、専用のハードウェアとコンピュータ命令の組み合わせを使用して実現することもできる。

【0078】

本開示の実施例に記載されたユニットは、ソフトウェアで実現することができ、またはハードウェアで実現することもできる。これらのユニットの名称は、特定の状況下でのユニット自体を制限する目的ではない場合があり、例えば、第１の取得ユニットは、「少なくとも２つのインターネットプロトコルアドレスを取得するユニット」と記載してもよい。

【0079】

本明細書で上記に説明された機能は、少なくとも部分的に、１つ又は複数のハードウェアロジックコンポーネントによって実行され得る。例えば、使用できるハードウェアロジックコンポーネントの例示的なタイプとして、フィールドプログラマブルゲートアレイ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ、ＦＰＧＡと略称）、特定用途向け集積回路（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ、ＡＳＩＣと略称）、特定用途向け標準部品（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｓｔａｎｄａｒｄ Ｐｒｏｄｕｃｔ、ＡＳＳＰと略称）、システムオンチップ（Ｓｙｓｔｅｍ－ｏｎ－ａ－ｃｈｉｐ、ＳＯＣと略称）、複雑なプログラマブルロジックデバイス（Ｃｏｍｐｌｅｘ Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ、ＣＰＬＤと略称）などを含むことができるが、それらに限定されない。

【0080】

本開示のコンテキストでは、機械可読媒体は、命令実行システム、装置、またはデバイスによって使用されるか、またはそれらに組み合わせて使用できるプログラムを含む又は記憶する有形媒体であり得る。機械可読媒体は、機械可読信号媒体又は機械可読記憶媒体であり得る。機械可読媒体は、電気的、磁気的、光学的、電磁的、赤外線、又は半導体のシステム、装置又はデバイス、あるいは上記の任意の組み合わせにすることができるが、それらに限定されない。機械可読記憶媒体のより具体的な例として、１本又は複数のワイヤに基づく電気的接続、ポータブルコンピュータディスク、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、読み取り専用メモリ（ＲＯＭ）、消去可能プログラマブル読み取り専用メモリ（ＥＰＲＯＭ又はフラッシュメモリ）、光ファイバ、ポータブルコンパクトディスク読み取り専用メモリ（ＣＤ－ＲＯＭ）、光ストレージデバイス、磁気メモリコンポーネント、または上記の任意の適切な組み合わせを含み得る。

【0081】

第１の態様では、本開示の１つ又は複数の実施例によれば、拡張現実に基づく表示方法を提供し、前記方法は、
第１のビデオを受信するステップと、前記第１のビデオの中の目標物体をセグメンテーションし、ビデオ素材を取得するステップと、画像収集装置によって収集される実景画像を取得して表示するステップと、前記ビデオ素材を前記実景画像の目標位置に拡張表示して前記ビデオ素材を再生するステップと、を含む。

【0082】

本開示の１つ又は複数の実施例によれば、前記ビデオ素材は、前記第１のビデオに対してビデオ人物画像セグメンテーションを行って得られる人物画像ビデオ素材を含む。

【0083】

本開示の１つ又は複数の実施例によれば、前記方法は、さらに、スクリーン座標情報を含む第２のユーザ命令を受信するステップと、現在の実景画像の中に前記スクリーン座標情報に対応する実景座標点を決定するステップと、前記実景座標点に基づいて前記実景画像における前記ビデオ素材の前記目標位置を決定するステップと、を含む。

【0084】

本開示の１つ又は複数の実施例によれば、前記第２のユーザ命令には、さらに、寸法情報及び角度情報のうちの少なくとも一方が含まれ、前記寸法情報は、前記ビデオ素材の表示寸法を指示するために用いられ、前記角度情報は、前記画像収集装置が位置する平面である画像収集平面に対する前記ビデオ素材の表示角度を指示するために用いられる。

【0085】

本開示の１つ又は複数の実施例によれば、前記ビデオ素材を再生するステップは、前記角度情報に基づいて前記角度情報に対応する表示角度で前記ビデオ素材を再生するステップを含む。

【0086】

本開示の１つ又は複数の実施例によれば、前記実景座標点に基づいて前記実景画像における前記ビデオ素材の前記目標位置を決定するステップは、同時ローカリゼーションとマッピングアルゴリズムに基づき、前記実景画像に対応する同時ローカリゼーションとマッピング平面を獲得するステップであって、前記同時ローカリゼーションとマッピング平面は前記実景画像における実景のローカリゼーションモデルを特徴付けるために用いられるステップと、前記同時ローカリゼーションとマッピング平面により特徴付けられる実景画像における実景のローカリゼーションモデルに基づき、前記実景座標点に対応する同時ローカリゼーションとマッピング平面座標点を決定するステップと、前記同時ローカリゼーションとマッピング平面座標点に基づいて前記目標位置を決定するステップと、を含む。

【0087】

本開示の１つ又は複数の実施例によれば、前記方法は、さらに、前記ビデオ素材に対応するオーディオ素材を取得するステップと、前記ビデオ素材を前記実景画像の中の目標位置に表示するとともに、前記ビデオ素材の再生タイムスタンプに従って前記オーディオ素材を同期して再生するステップと、を含む。

【0088】

本開示の１つ又は複数の実施例によれば、前記方法は、さらに、前記ビデオ素材の再生進捗状況を特徴付けるために用いられる前記ビデオ素材の再生情報を取得するステップと、前記再生情報に基づいて前記ビデオ素材が再生完了したと判断する場合、前記目標位置において前記ビデオ素材を重複して再生するステップと、を含む。

【0089】

第２の態様では、本開示の１つ又は複数の実施例によれば、拡張現実に基づく表示装置を提供し、前記装置は、
第１のビデオを受信するための受信ユニットと、
前記第１のビデオの中の目標物体をセグメンテーションし、ビデオ素材を取得するための取得ユニットと、
画像収集装置によって収集される実景画像を取得して表示すること、及び前記ビデオ素材を前記実景画像の目標位置に拡張表示して前記ビデオ素材を再生すること、に用いられる表示ユニットと、を含む。

【0090】

本開示の１つ又は複数の実施例によれば、前記ビデオ素材は、前記第１のビデオに対してビデオ人物画像セグメンテーションを行って得られる人物画像ビデオ素材を含む。

【0091】

本開示の１つ又は複数の実施例によれば、受信ユニットは、さらに、スクリーン座標情報を含む第２のユーザ命令を受信すること、現在の実景画像の中に前記スクリーン座標情報に対応する実景座標点を決定すること、及び前記実景座標点に基づいて前記実景画像における前記ビデオ素材の前記目標位置を決定すること、に用いられる。

【0092】

本開示の１つ又は複数の実施例によれば、前記第２のユーザ命令には、さらに、寸法情報及び角度情報のうちの少なくとも一方が含まれ、前記寸法情報は、前記ビデオ素材の表示寸法を指示するために用いられ、前記角度情報は、前記画像収集装置が位置する平面である画像収集平面に対する前記ビデオ素材の表示角度を指示するために用いられる。

【0093】

本開示の１つ又は複数の実施例によれば、表示ユニットは、前記ビデオ素材を再生するとき、具体的に、前記角度情報に基づいて前記角度情報に対応する表示角度で前記ビデオ素材を再生するために用いられる。

【0094】

本開示の１つ又は複数の実施例によれば、受信ユニットは、前記実景座標点に基づいて前記実景画像における前記ビデオ素材の前記目標位置を決定するとき、具体的に、同時ローカリゼーションとマッピングアルゴリズムに基づき、前記実景画像に対応する同時ローカリゼーションとマッピング平面を獲得し、前記同時ローカリゼーションとマッピング平面は前記実景画像における実景のローカリゼーションモデルを特徴付けるために用いられること、前記同時ローカリゼーションとマッピング平面により特徴付けられる実景画像における実景のローカリゼーションモデルに基づき、前記実景座標点に対応する同時ローカリゼーションとマッピング平面座標点を決定すること、及び前記同時ローカリゼーションとマッピング平面座標点に基づいて前記目標位置を決定すること、に用いられる。

【0095】

本開示の１つ又は複数の実施例によれば、取得ユニットは、さらに、前記ビデオ素材に対応するオーディオ素材を取得すること、及び前記ビデオ素材を前記実景画像の中の目標位置に表示するとともに、前記ビデオ素材の再生タイムスタンプに従って前記オーディオ素材を同期して再生すること、に用いられる。

【0096】

本開示の１つ又は複数の実施例によれば、取得ユニットは、さらに、前記ビデオ素材の再生進捗状況を特徴付けるために用いられる前記ビデオ素材の再生情報を取得すること、及び前記再生情報に基づいて前記ビデオ素材が再生完了したと判断する場合、前記目標位置において前記ビデオ素材を重複して再生すること、に用いられる。

【0097】

第３の態様では、本開示の１つ又は複数の実施例によれば、少なくとも１つのプロセッサとメモリとを含む電子機器を提供し、
前記メモリはコンピュータ実行命令を記憶し、
前記少なくとも１つのプロセッサは前記メモリに記憶されているコンピュータ実行命令を実行すると、前記少なくとも１つのプロセッサは上記の第１の態様及び第１の態様の様々な可能な設計に記載されている拡張現実に基づく表示方法を実行する。

【0098】

第４の態様では、本開示の１つ又は複数の実施例によれば、コンピュータ可読記憶媒体を提供し、前記コンピュータ可読記憶媒体にはコンピュータ実行命令が記憶されており、プロセッサが前記コンピュータ実行命令を実行するとき、上記の第１の態様及び第１の態様の様々な可能な設計に記載されている拡張現実に基づく表示方法が実現される。

【0099】

第５の態様では、本開示の１つ又は複数の実施例によれば、コンピュータプログラムを含むコンピュータプログラム製品を提供し、当該コンピュータプログラムがプロセッサにより実行されるとき、上記の第１の態様及び第１の態様の様々な可能な設計に記載されている拡張現実に基づく表示方法が実現される。

【0100】

第６の態様では、本開示の１つ又は複数の実施例によれば、コンピュータプログラムを提供し、当該コンピュータプログラムがプロセッサにより実行されるとき、上記の第１の態様及び第１の態様の様々な可能な設計に記載されている拡張現実に基づく表示方法が実現される。

【0101】

上記した説明は、本開示のいくつかの好ましい実施例に関する説明、及び適用される技術的原理に関する説明にすぎない。当業者は、本開示の実施例に係る発明範囲が、上記技術的特徴の特定の組み合わせによって形成される解決手段に限定されず、上記発明構想から逸脱することなく、上記技術的特徴又はそれらの同等の特徴の任意の組み合わせによって形成される他の解決手段、例えば、上記特徴を、本開示で開示される（ただしこれに限定されない）同様の機能を有する技術的特徴に置き換えることによって形成される解決手段もカバーすべきであることを理解すべきである。

【0102】

なお、特定の順序で各操作について説明したが、これらの操作は示されている特定の順序又は順番に実行されることを要求するものと理解されるべきではない。マルチタスクや並列処理は、一定の環境下では有利である場合がある。同様に、上述の説明にはいくつかの具体的な実現の詳細が含まれているが、これらは本開示の範囲を限定するものとして解釈されるべきではない。個々の実施例のコンテキストにおいて説明される特定の特徴は、単一の実施例において組み合わせて実現されてもよい。逆に、単一の実施例のコンテキストにおいて説明される様々な特徴は、複数の実施例において、単独で又は任意の適切なサブ組合せで実現されてもよい。

【0103】

本主題は、構造的特徴及び／又は方法的論理動作に固有の言語を用いて説明されてきたが、添付の特許請求の範囲に限定される主題は、必ずしも上述の特定の特徴又は動作に限定されないことが理解されるべきである。逆に、上述の特定の特徴及び動作は、特許請求の範囲を実施するための例示的な形態にすぎない。

【0104】

本願は、２０２０年１２月１８日に中国国家知識産権局に出願された、出願番号第２０２０１１５０８５９４．９号で、発明の名称が「拡張現実に基づく表示方法、装置、機器及び記憶媒体」という中国特許出願の優先権を主張し、その全ての内容は援用によって本願に組み込まれる。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【手続補正書】

【提出日】2023-06-15

【手続補正1】

【補正対象書類名】特許請求の範囲

【補正対象項目名】全文

【補正方法】変更

【補正の内容】

【特許請求の範囲】

【請求項1】

拡張現実に基づく表示方法であって、
第１のビデオを受信するステップと、
前記第１のビデオの中の目標物体をセグメンテーションし、ビデオ素材を取得するステップと、
画像収集装置によって収集される実景画像を取得して表示するステップと、
前記ビデオ素材を前記実景画像の目標位置に拡張表示して前記ビデオ素材を再生するステップと、を含む、ことを特徴とする拡張現実に基づく表示方法。

【請求項2】

前記ビデオ素材は、前記第１のビデオに対してビデオ人物画像セグメンテーションを行って得られる人物画像ビデオ素材を含む、ことを特徴とする請求項１に記載の方法。

【請求項3】

スクリーン座標情報を含む第２のユーザ命令を受信するステップと、
現在の実景画像の中に前記スクリーン座標情報に対応する実景座標点を決定するステップと、
前記実景座標点に基づいて前記実景画像における前記ビデオ素材の前記目標位置を決定するステップと、をさらに含む、ことを特徴とする請求項１に記載の方法。

【請求項4】

前記第２のユーザ命令には、さらに、寸法情報及び角度情報のうちの少なくとも一方が含まれ、
前記寸法情報は、前記ビデオ素材の表示寸法を指示するために用いられ、
前記角度情報は、前記画像収集装置が位置する平面である画像収集平面に対する前記ビデオ素材の表示角度を指示するために用いられる、ことを特徴とする請求項３に記載の方法。

【請求項5】

前記ビデオ素材を再生するステップは、
前記角度情報に基づいて前記角度情報に対応する表示角度で前記ビデオ素材を再生するステップを含む、ことを特徴とする請求項４に記載の方法。

【請求項6】

前記実景座標点に基づいて前記実景画像における前記ビデオ素材の前記目標位置を決定するステップは、
同時ローカリゼーションとマッピングアルゴリズムに基づき、前記実景画像に対応する同時ローカリゼーションとマッピング平面を獲得するステップであって、前記同時ローカリゼーションとマッピング平面は前記実景画像における実景のローカリゼーションモデルを特徴付けるために用いられるステップと、
前記同時ローカリゼーションとマッピング平面により特徴付けられる実景画像における実景のローカリゼーションモデルに基づき、前記実景座標点に対応する同時ローカリゼーションとマッピング平面座標点を決定するステップと、
前記同時ローカリゼーションとマッピング平面座標点に基づいて前記目標位置を決定するステップと、を含む、ことを特徴とする請求項３に記載の方法。

【請求項7】

当該方法は、さらに、
前記ビデオ素材に対応するオーディオ素材を取得するステップと、
前記ビデオ素材を前記実景画像の中の目標位置に表示するとともに、前記ビデオ素材の再生タイムスタンプに従って前記オーディオ素材を同期して再生するステップと、を含む、ことを特徴とする請求項１～６のいずれか１項に記載の方法。

【請求項8】

当該方法は、さらに、
前記ビデオ素材の再生進捗状況を特徴付けるために用いられる前記ビデオ素材の再生情報を取得するステップと、
前記再生情報に基づいて前記ビデオ素材が再生完了したと判断する場合、前記目標位置において前記ビデオ素材を重複して再生するステップと、を含む、ことを特徴とする請求項１～６のいずれか１項に記載の方法。

【請求項9】

拡張現実に基づく表示装置であって、
第１のビデオを受信するための受信ユニットと、
前記第１のビデオの中の目標物体をセグメンテーションし、ビデオ素材を取得するための取得ユニットと、
画像収集装置によって収集される実景画像を取得して表示すること、及び前記ビデオ素材を前記実景画像の目標位置に拡張表示して前記ビデオ素材を再生すること、に用いられる表示ユニットと、を含む、ことを特徴とする拡張現実に基づく表示装置。

【請求項10】

少なくとも１つのプロセッサとメモリとを含む電子機器であって、
前記メモリはコンピュータ実行命令を記憶し、
前記少なくとも１つのプロセッサは前記メモリに記憶されているコンピュータ実行命令を実行すると、前記少なくとも１つのプロセッサは請求項１～８のいずれか１項に記載の拡張現実に基づく表示方法を実行する、ことを特徴とする電子機器。

【請求項11】

コンピュータ可読記憶媒体であって、前記コンピュータ可読記憶媒体にはコンピュータ実行命令が記憶されており、プロセッサが前記コンピュータ実行命令を実行するとき、請求項１～８のいずれか１項に記載の拡張現実に基づく表示方法が実現される、ことを特徴とするコンピュータ可読記憶媒体。

【請求項12】

コンピュータプログラムであって、前記コンピュータプログラムがプロセッサにより実行されるとき、請求項１～８のいずれか１項に記載の拡張現実に基づく表示方法が実現される、ことを特徴とするコンピュータプログラム。

【手続補正2】

【補正対象書類名】明細書

【補正対象項目名】００１３

【補正方法】変更

【補正の内容】

【0013】

以下、本開示の実施例や従来の技術における解決手段をより明瞭に説明するために、実施例又は従来の技術の記述において使用する必要がある図面を簡単に説明する。当然ながら、以下、記載する図面は本開示のいくつかの実施例であり、当業者であれば、創造的な労力を要することなく、これらの図面に基づいて他の図面を想到しうる。

【図1】従来の技術におけるビデオ撮影プロセスの一例を示す図である。

【図2】本開示の実施例により提供される拡張現実に基づく表示方法のフローチャート１である。

【図3】本開示の実施例により提供される第１のビデオを受信する一手段の概略図である。

【図4】本開示の実施例により提供される第１のビデオを受信する他の手段の概略図である。

【図5】本開示の実施例により提供されるビデオの中の目標物体をセグメンテーションする概略図である。

【図6】本開示の実施例により提供される実景画像の目標位置においてビデオ素材を再生する概略図である。

【図7】本開示の実施例により提供される拡張現実に基づく表示方法のフローチャート２である。

【図8】本開示の実施例により提供される、ユーザが第２のユーザ命令を入力する概略図である。

【図9】図７に示される実施例におけるステップＳ２０６のフローチャートである。

【図10】本開示の実施例により提供される１つの異なる表示角度でビデオ素材を再生する概略図である。

【図11】本開示の実施例により提供される他の異なる表示角度でビデオ素材を再生する概略図である。

【図12】本開示の実施例により提供される拡張現実に基づく表示装置の構造ブロック図である。

【図13】本開示の実施例により提供される電子機器のハードウェア構造概略図である。

【手続補正3】

【補正対象書類名】明細書

【補正対象項目名】００２０

【補正方法】変更

【補正の内容】

【0020】

さらに、１つの可能な実現形態では、第１のビデオは、ユーザが予め撮影して端末機器内に記憶したビデオであってもよいし、ユーザが記憶媒体を介してアップロードするか若しくはネットワークを介してダウンロードするような手段を用いて直接に端末機器内に記憶したビデオであってもよい。図３は、本開示の実施例により提供される第１のビデオを受信する一概略図であり、図３に示すように、第１のビデオを受信する方法は、ユーザが端末機器のユーザインタフェース（Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ、ＵＩと略称）をクリックして、端末機器のローカルに記憶しているビデオを選択することを含み、図３中に示すように、ローカルに記憶しているビデオ１、ビデオ２、ビデオ３、ビデオ４から、ビデオ１を第１のビデオとして選択してアップロードすることにより、端末機器が第１のビデオを受信するプロセスは実現される。

【手続補正4】

【補正対象書類名】明細書

【補正対象項目名】００３８

【補正方法】変更

【補正の内容】

【0038】

具体的には、第２のユーザ命令は、ユーザによって端末機器のＵＩを介して入力されるものであり、ビデオ素材を指定された位置に表示させるための命令である。図８は、本開示の実施例により提供される、ユーザが第２のユーザ命令を入力する概略図であり、図８に示すように、当該第２のユーザ命令は、ユーザのドラッグジェスチャーやクリックジェスチャーによって実現されることができ、第２のユーザ命令におけるスクリーン座標情報は、端末機器のスクリーンにジェスチャー操作が作用する座標、例えばスクリーンでのクリックジェスチャーの座標、スクリーンを横切るドラッグジェスチャーの座標を特徴付ける。端末機器は、当該第２のユーザ命令を受信した後、スクリーン座標情報に基づいて第２のユーザ命令に対応する目標位置を決定し、ビデオ素材を当該目標位置に表示する。

【手続補正5】

【補正対象書類名】明細書

【補正対象項目名】００４６

【補正方法】変更

【補正の内容】

【0046】

具体的には、Ｓｌａｍアルゴリズムは、未知環境における位置決めナビゲーションと地図構築の問題を解決するための方法であり、本実施例では、Ｓｌａｍアルゴリズムを用いて撮影環境に対応する実景画像情報を処理し、撮影環境における異なる実景物体間の位置決めを実現し、Ｓｌａｍ平面を得て、当該Ｓｌａｍ平面は、実景画像と撮影環境における実景物体との位置関係、すなわち、実景における実景物体のローカリゼーションモデルを特徴付けるために用いられる。Ｓｌａｍアルゴリズム及びＳｌａｍアルゴリズムを用いてＳｌａｍ平面を生成する具体的な実現形態は従来の技術であり、本明細書では説明を省略する。

【手続補正6】

【補正対象書類名】明細書

【補正対象項目名】００７９

【補正方法】変更

【補正の内容】

【0079】

本明細書で上記に説明された機能は、少なくとも部分的に、１つ又は複数のハードウェアロジックコンポーネントによって実行され得る。例えば、使用できるハードウェアロジックコンポーネントの例示的なタイプとして、フィールドプログラマブルゲートアレイ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ、ＦＰＧＡと略称）、特定用途向け集積回路（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ、ＡＳＩＣと略称）、特定用途向け標準部品（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｓｔａｎｄａｒｄ Ｐｒｏｄｕｃｔ、ＡＳＳＰと略称）、システムオンチップ（Ｓｙｓｔｅｍ－ｏｎ－ａ－ｃｈｉｐ、ＳＯＣと略称）、複雑なプログラマブルロジックデバイス（Ｃｏｍｐｌｅｘ Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ、ＣＰＬＤと略称）などを含むことができるが、それらに限定されない。

【国際調査報告】