特表2023-516238拡張現実に基づく表示方法、機器、記憶媒体及びプログラム製品
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2023-04-19
(54)【発明の名称】拡張現実に基づく表示方法、機器、記憶媒体及びプログラム製品
(51)【国際特許分類】
G06T 19/00 20110101AFI20230412BHJP
G06F 3/0481 20220101ALI20230412BHJP
G06T 1/00 20060101ALI20230412BHJP
【ＦＩ】
G06T19/00 600
G06F3/0481
G06T1/00 340A
【審査請求】有
【予備審査請求】未請求
(21)【出願番号】P 2022532805
(86)(22)【出願日】2022-01-24
(85)【翻訳文提出日】2022-06-01
(86)【国際出願番号】 CN2022073593
(87)【国際公開番号】W WO2022170958
(87)【国際公開日】2022-08-18
(31)【優先権主張番号】202110182060.X
(32)【優先日】2021-02-09
(33)【優先権主張国・地域又は機関】CN
(81)【指定国・地域】
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．ＡＮＤＲＯＩＤ
(71)【出願人】
【識別番号】521431088
【氏名又は名称】北京字跳▲網▼絡技▲術▼有限公司
【氏名又は名称原語表記】Ｂｅｉｊｉｎｇ Ｚｉｔｉａｏ Ｎｅｔｗｏｒｋ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．， Ｌｔｄ．
【住所又は居所原語表記】０２０７， ２／Ｆ， Ｂｕｉｌｄｉｎｇ ４， Ｚｉｊｉｎ Ｄｉｇｉｔａｌ Ｐａｒｋ， Ｈａｉｄｉａｎ Ｄｉｓｔｒｉｃｔ， Ｂｅｉｊｉｎｇ，Ｐ． Ｒ． Ｃｈｉｎａ
(74)【代理人】
【識別番号】100107766
【弁理士】
【氏名又は名称】伊東 忠重
(74)【代理人】
【識別番号】100070150
【弁理士】
【氏名又は名称】伊東 忠彦
(74)【代理人】
【識別番号】100135079
【弁理士】
【氏名又は名称】宮崎 修
(72)【発明者】
【氏名】ルゥ，ジション
(72)【発明者】
【氏名】チェン，ズハオ
【テーマコード（参考）】
5B050
5B057
5E555
【Ｆターム（参考）】
5B050BA08
5B050BA12
5B050DA04
5B050EA06
5B050EA19
5B050FA02
5B057CA08
5B057CA12
5B057CA16
5B057CB08
5B057CB12
5B057CB16
5B057CE08
5B057DB02
5B057DB09
5B057DC30
5E555AA27
5E555BA04
5E555BA73
5E555BA87
5E555BB04
5E555BC18
5E555BE17
5E555CA42
5E555DB32
5E555DB57
5E555DC09
5E555EA22
5E555FA00
(57)【要約】
本開示の実施例は拡張現実に基づく表示方法、機器、記憶媒体及びプログラム製品を提供し、リアルタイムシーン画像を取得し、リアルタイムシーン画像に対象者の顔画像が含まれる場合、リアルタイムシーン画像から対象者の顔画像を含む対象者の頭部画像を取得し、頭部画像に基づいて、対象者のアバターを生成し、拡張現実表示技術に基づいて、リアルタイムシーン画像に対象者のアバターを表示する。本実施例は、対象者の頭部画像を取得して対象者のアバターを生成することで、アバターを予め設計する必要があり、かつアバターが単一に固定されるという問題を回避することができ、ユーザの多様化のニーズを満たし、拡張現実技術によってアバターをリアルタイムシーン画像中の目標位置に表示し、拡張現実技術に対するユーザの使用意欲と使用体験を向上させる。
【選択図】図１
【選択図】図１
【特許請求の範囲】
【請求項1】
リアルタイムシーン画像を取得することと、前記リアルタイムシーン画像に対象者の顔画像が含まれる場合、前記リアルタイムシーン画像から前記対象者の頭部画像を取得することであって、前記対象者の前記頭部画像が前記対象者の前記顔画像を含むことと、
前記頭部画像に基づいて、前記対象者のアバターを生成することと、
拡張現実表示技術に基づいて、前記リアルタイムシーン画像に前記対象者の前記アバターを表示することと、を含む
拡張現実に基づく表示方法。
【請求項2】
前記頭部画像に基づいて、前記対象者のアバターを生成することは、前記頭部画像を予め設定された動画素材と合成して、前記対象者の前記アバターを生成することを含む、請求項１に記載の方法。
【請求項3】
前記頭部画像を予め設定された動画素材と合成して、前記対象者の前記アバターを生成することは、前記頭部画像に対して顔画像分割を行い、前記頭部画像に含まれる前記顔画像の境界を決定することと、
前記顔画像の前記境界及び前記動画素材に基づいて、前記顔画像の前記境界上又は前記顔画像の前記境界付近に予め設定された領域に位置する、前記動画素材と前記頭部画像との接続点を決定することと、
前記接続点により、前記頭部画像を前記予め設定された動画素材と合成して、前記対象者の前記アバターを生成することと、を含む、請求項２に記載の方法。
【請求項4】
前記頭部画像を前記予め設定された動画素材と合成する前に、前記頭部画像に基づいて、前記対象者の属性情報を取得することと、
前記属性情報に基づいて、予め設定された動画素材集から前記属性情報に一致する動画素材を選択することと、をさらに含む、請求項２又は請求項３に記載の方法。
【請求項5】
前記頭部画像を前記予め設定された動画素材と合成する前に、前記顔画像の前記境界の寸法情報を取得することと、
前記寸法情報に基づいて、予め設定された動画素材集から前記寸法情報に一致する動画素材を選択することと、をさらに含む、請求項３に記載の方法。
【請求項6】
前記頭部画像を前記予め設定された動画素材と合成することは、前記頭部画像に基づいて、前記動画素材を調整し、前記頭部画像を調整後の動画素材と合成することを含む、請求項２～５のいずれか一項に記載の方法。
【請求項7】
前記頭部画像を前記予め設定された動画素材と合成して、前記対象者の前記アバターを生成する前に、横方向軸線及び／又は縦方向軸線を含む前記頭部画像の軸線を取得することと、
前記横方向軸線が水平に保たれ及び／又は前記縦方向軸線が垂直に保たれるように、前記頭部画像の前記軸線に基づいて前記頭部画像の角度を調整することと、をさらに含む、請求項２～６のいずれか一項に記載の方法。
【請求項8】
前記リアルタイムシーン画像に対象者の顔画像が含まれる場合、前記リアルタイムシーン画像から前記対象者の頭部画像を取得することは、前記リアルタイムシーン画像に前記対象者の前記顔画像が含まれ、かつ第１の予め設定された条件を満たす場合、前記リアルタイムシーン画像から前記対象者の前記頭部画像を取得することを含み、前記第１の予め設定された条件は、
前記リアルタイムシーン画像に占める前記顔画像の面積割合が予め設定された割合閾値を超えること、又は
前記顔画像が前記リアルタイムシーン画像の中心領域に位置すること、又は
ユーザによる前記対象者の選択命令を受信すること、の少なくとも１つを含む、請求項１～７のいずれか一項に記載の方法。
【請求項9】
第２の予め設定された条件を満たすならば、前記リアルタイムシーン画像から対象物の画像を取得し、前記対象物の前記画像に基づいて前記対象物のアバターを生成して、拡張現実表示技術に基づいて、前記リアルタイムシーン画像に前記対象物の前記アバターを表示することをさらに含み、前記第２の予め設定された条件は、前記リアルタイムシーン画像に前記顔画像が含まれないこと、又は
前記リアルタイムシーン画像において、前記リアルタイムシーン画像に占める前記顔画像の面積割合が予め設定された割合閾値を超えていないこと、又は
前記リアルタイムシーン画像において、前記顔画像が前記リアルタイムシーン画像の中心領域に位置しないこと、又は
前記リアルタイムシーン画像における前記顔画像が前記対象者の横顔であり、かつ前記対象者の横顔の振れ角度が予め設定された角度閾値を超えること、又は
ユーザによる前記リアルタイムシーン画像における前記対象物の選択命令を受信すること、の少なくとも１つを含む、請求項８に記載の方法。
【請求項10】
前記動画素材を再生して、前記対象者の前記アバターに対して動作制御を行うことをさらに含む、請求項２～９のいずれか一項に記載の方法。
【請求項11】
前記動画素材を再生して、前記対象者の前記アバターに対して動作制御を行うことは、前記動画素材の予め設定された動画フレームに基づいて、前記動画素材を再生して、前記対象者の前記アバターに対して動作制御を行うことを含む、請求項１０に記載の方法。
【請求項12】
ユーザによる前記対象者の前記アバターの制御命令に応答して、前記対象者の前記アバターに対して対応する制御を行うことをさらに含み、前記制御命令は、回転制御命令、縮小制御命令、移動制御命令及び拡大制御命令の少なくとも１つを含む、請求項１～１１のいずれか一項に記載の方法。
【請求項13】
リアルタイムシーン画像を取得するための取得ユニットと、前記リアルタイムシーン画像に対象者の顔画像が含まれる場合、前記リアルタイムシーン画像から前記対象者の前記顔画像を含む前記対象者の頭部画像を取得するための画像分割ユニットと、
前記頭部画像に基づいて、前記対象者のアバターを生成するための生成ユニットと、
拡張現実表示技術に基づいて、前記リアルタイムシーン画像に前記対象者の前記アバターを表示するための表示ユニットと、を含む
拡張現実に基づく表示機器。
【請求項14】
少なくとも１つのプロセッサとメモリを含む電子機器であって、前記メモリにはコンピュータ実行命令が記憶されており、
前記少なくとも１つのプロセッサが前記メモリに記憶されているコンピュータ実行命令を実行することにより、前記少なくとも１つのプロセッサに、請求項１～１２のいずれか１項に記載の方法を実行させる、電子機器。
【請求項15】
プロセッサによって実行されるときに請求項１～１２のいずれか１項に記載の方法を実現させるコンピュータ実行命令が記憶されているコンピュータ可読記憶媒体。
【請求項16】
コンピュータ命令が含まれるコンピュータプログラム製品であって、前記コンピュータ命令がプロセッサによって実行されるときに請求項１～１２のいずれか１項に記載の方法が実現されるコンピュータプログラム製品。
【請求項17】
プロセッサによって実行されるときに請求項１～１２のいずれか１項に記載の方法が実現されるコンピュータプログラム。【発明の詳細な説明】
【技術分野】
【0001】
本開示の実施例は、コンピュータとネットワーク通信技術分野に関し、特に拡張現実に基づく表示方法、機器、記憶媒体及びプログラム製品に関する。
【背景技術】
【0002】
拡張現実技術（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ、ＡＲと略称する）は、仮想情報を現実世界と融合させる技術であり、マルチメディア、３次元モデリング、リアルタイム追跡と登録、知能インタラクション、センシングなどの多種の技術手段を広く運用し、コンピュータが生成した文字、画像、３次元モデル、音楽、ビデオなどの仮想情報をシミュレーションした後、現実世界に応用する。２種類の情報は補完し合い、現実世界に対する「拡張」を実現する。拡張現実技術の発展に伴い、各業界で広く応用されている。
【0003】
従来技術におけるＡＲ技術の１つの応用は、キャラクターモデル、動物モデルなどの仮想モデルを現実世界に重ね合わせることである。ただし、従来技術における仮想モデルは通常固定されており、開発者が予め設計した仮想モデルイメージであるため、仮想モデルイメージが単一で、ユーザの多様化のニーズを満たすことができず、さらにＡＲ技術に対するユーザの使用意欲と使用体験に影響を与える。
【発明の概要】
【発明が解決しようとする課題】
【0004】
本開示の実施例は、仮想モデルイメージが単一で、ユーザの多様化のニーズを満たすことができない問題を解決するために、拡張現実に基づく表示方法、機器、記憶媒体及びプログラム製品を提供する、拡張現実に基づく表示方法、機器及び記憶媒体。
【課題を解決するための手段】
【0005】
第１の態様によれば、本開示の実施例は、拡張現実に基づく表示方法を提供し、
リアルタイムシーン画像を取得することと、
前記リアルタイムシーン画像に対象者の顔画像が含まれる場合、前記リアルタイムシーン画像から前記対象者の前記顔画像を含む前記対象者の頭部画像を取得することと、
前記頭部画像に基づいて、前記対象者のアバターを生成することと、
拡張現実表示技術に基づいて、前記リアルタイムシーン画像に前記対象者の前記アバターを表示することと、を含む。
リアルタイムシーン画像を取得することと、
前記リアルタイムシーン画像に対象者の顔画像が含まれる場合、前記リアルタイムシーン画像から前記対象者の前記顔画像を含む前記対象者の頭部画像を取得することと、
前記頭部画像に基づいて、前記対象者のアバターを生成することと、
拡張現実表示技術に基づいて、前記リアルタイムシーン画像に前記対象者の前記アバターを表示することと、を含む。
【0006】
第２の態様によれば、本開示の実施例は、拡張現実に基づく表示機器を提供し、
リアルタイムシーン画像を取得するための取得ユニットと、
前記リアルタイムシーン画像に対象者の顔画像が含まれる場合、前記リアルタイムシーン画像から前記対象者の前記顔画像を含む前記対象者の頭部画像を取得するための画像分割ユニットと、
前記頭部画像に基づいて、前記対象者のアバターを生成するための生成ユニットと、
拡張現実表示技術に基づいて、前記リアルタイムシーン画像に前記対象者の前記アバターを表示するための表示ユニットと、を含む。
リアルタイムシーン画像を取得するための取得ユニットと、
前記リアルタイムシーン画像に対象者の顔画像が含まれる場合、前記リアルタイムシーン画像から前記対象者の前記顔画像を含む前記対象者の頭部画像を取得するための画像分割ユニットと、
前記頭部画像に基づいて、前記対象者のアバターを生成するための生成ユニットと、
拡張現実表示技術に基づいて、前記リアルタイムシーン画像に前記対象者の前記アバターを表示するための表示ユニットと、を含む。
【0007】
第３の態様によれば、本開示の実施例は、電子機器を提供し、少なくとも１つのプロセッサ及びメモリを含み、
前記メモリには、コンピュータ実行命令が記憶されており、
前記少なくとも１つのプロセッサは、前記メモリに記憶されているコンピュータ実行命令を実行することにより、前記少なくとも１つのプロセッサに、第１の態様及び第１の態様の様々な可能な設計に記載の拡張現実に基づく表示方法を実行させる。
前記メモリには、コンピュータ実行命令が記憶されており、
前記少なくとも１つのプロセッサは、前記メモリに記憶されているコンピュータ実行命令を実行することにより、前記少なくとも１つのプロセッサに、第１の態様及び第１の態様の様々な可能な設計に記載の拡張現実に基づく表示方法を実行させる。
【0008】
第４の態様によれば、本開示の実施例は、コンピュータ実行命令を記憶しているコンピュータ可読記憶媒体を提供し、プロセッサが前記コンピュータ実行命令を実行するとき、第１の態様及び第１の態様の様々な可能な設計に記載の拡張現実に基づく表示方法を実現させる。
【0009】
第５の態様によれば、本開示の実施例は、コンピュータ命令を含むコンピュータプログラム製品を提供し、このコンピュータ命令がプロセッサにより実行されるとき、第１の態様及び第１の態様の様々な可能な設計に記載の拡張現実に基づく表示方法を実現させる。
【0010】
第６の態様によれば、本開示の実施例は、コンピュータプログラムを提供し、このコンピュータプログラムがプロセッサにより実行されるとき、第１の態様及び第１の態様の様々な可能な設計に記載の拡張現実に基づく表示方法を実現させる。
【発明の効果】
【0011】
本実施例に係る拡張現実に基づく表示方法、機器、記憶媒体及びプログラム製品は、リアルタイムシーン画像を取得し、リアルタイムシーン画像に対象者の顔画像が含まれる場合、リアルタイムシーン画像から対象者の顔画像を含む対象者の頭部画像を取得し、頭部画像に基づいて、対象者のアバターを生成し、拡張現実表示技術に基づいて、リアルタイムシーン画像に対象者のアバターを表示する。本実施例は、対象者の頭部画像を取得して対象者のアバターを生成することで、アバターを予め設計する必要があり、かつアバターが単一に固定されるという問題を回避することができ、ユーザの多様化のニーズを満たし、拡張現実技術によってアバターをリアルタイムシーン画像中の目標位置に表示し、拡張現実技術に対するユーザの使用意欲と使用体験を向上させる。
【0012】
本開示の実施例又は先行技術の技術案をより明確に説明するために、以下は、実施例又は先行技術の説明に必要な添付の図面を簡単に紹介する。明らかに、以下の説明における添付の図面は、本開示のいくつかの実施例である。当業者にとって、これらの図面に基づいて、他の図面も、創造的な努力なしに得ることができる。
【図面の簡単な説明】
【0013】
【図1】本開示の実施例に係る拡張現実に基づく表示方法のフローチャートである。
【図2】本開示の他の実施例に係る拡張現実に基づく表示方法のフローチャートである。
【図3a】本開示の実施例に係る対象者の顔画像を含むリアルタイムシーン画像の例示的な図である。
【図3b】本開示の実施例に係る顔画像の境界を決定する例示的な図である。
【図3c】本開示の実施例に係る対象者のアバターを生成する例示的な図である。
【図3d】本開示の実施例に係るリアルタイムシーン画像に対象者のアバターを表示する例示的な図である。
【図4】本開示の他の実施例に係る拡張現実に基づく表示方法のフローチャートである。
【図5】本開示の他の実施例に係る拡張現実に基づく表示方法のフローチャートである。
【図6】本開示の他の実施例に係る拡張現実に基づく表示方法のフローチャートである。
【図7】本開示の実施例に係る拡張現実に基づく表示機器の構造ブロック図である。
【図8】本開示の実施例に係る電子機器のハードウェア構成の概略図である。
【発明を実施するための形態】
【0014】
本開示の実施例の目的、技術案及び利点をより明確にするために、本開示の実施例における技術案を、本開示の実施例における図面を参照して以下に明確かつ完全に説明するが、明らかに、説明される実施例は本開示の一部の実施例であり、すべての実施例ではない。本開示の実施例に基づいて、当業者が創造的な努力なしに得る他の全ての実施例は、本開示の範囲内にある。
【0015】
従来技術におけるＡＲ技術の１つの応用は、キャラクターモデル、動物モデルなどの仮想モデルを現実世界に重ね合わせ、ユーザは、ジェスチャーなどの方式を介して仮想モデルと対話することができ、仮想モデルは、特定の応答を行うことができる。
【0016】
従来技術におけるＡＲ仮想モデルは通常固定されており、開発者により仮想モデルのイメージを予め設計するので、仮想モデルイメージが単一で、ユーザの多様化のニーズを満たすことができず、ＡＲに対するユーザの使用意欲と使用体験に影響を与える。
【0017】
上記技術的問題を解決するために、本開示において、顔画像に基づいてＡＲアバターを生成する方法をユーザのために提供することができる。ユーザは、電子機器の画像収集ユニットを介してリアルタイムシーン画像を収集することができ、リアルタイムシーン画像に対象者の顔画像が含まれる場合、リアルタイムシーン画像から対象者の頭部画像を取得する。ここで、対象者の頭部画像が対象者の顔画像を含み、対象者は人であってもよいし、代わりに猫、犬など動物であってもよい。また前記頭部画像に基づいて、対象者のアバターを生成し、例えば、頭部画像に肢体を加え、肢体は様々なプリセット動作を行うことができる。さらに、拡張現実表示技術に基づいて、リアルタイムシーン画像に対象者のアバターを表示する。ＡＲアバターを予め設計する必要があり、かつアバターが単一に固定されるという問題を回避することができ、ユーザのニーズに応じて様々な人や動物などの対象者のＡＲアバターの生成を実現し、ユーザの多様化のニーズを満たすことができ、ＡＲに対するユーザの使用意欲と使用体験を高める。
【0018】
本開示の実施例は、任意のＡＲ機能を備える電子機器に適用可能であり、例えばスマートフォン、タブレット、ウェアラブルデバイスなどが挙げられる。本開示の実施例の適用シーンは後述するシーンを含んでもよい。例えば、電子機器は、その画像収集ユニットによりリアルタイムシーン画像を収集し、シーン画像における対象者の頭部画像に基づいて対象者のアバターを生成し、本開示の各実施例の拡張現実の表示方法により、最終的に、対象物に対応するアバターをリアルタイムシーンで拡張表示する。ここで、拡張表示は、拡張現実表示技術に基づく対象者のアバター表示を含む。例えば、リアルタイムシーン画像に人物Ａの顔画像が含まれると、本開示の実施例におけるアバター生成方法を用いて人物Ａのアバターを生成し、様々なプリセット動作を行うことができる肢体を人物Ａの頭部画像に加え、本開示の各実施例の拡張現実の表示方法により、人物Ａのアバターをリアルタイムシーン画像で拡張表示してさらに動画形式でダイナミックに表示することで、人物Ａのアバターをリアルタイムシーンで動かせる。
【0019】
図１を参照する。図１は、本開示の実施例に係る拡張現実に基づく表示方法のフローチャート１である。本実施例の方法はＡＲ機能を備える電子機器に適用可能であり、この拡張現実に基づく表示方法は、Ｓ１０１～Ｓ１０４を含む。
【0020】
Ｓ１０１では、リアルタイムシーン画像を取得する。
【0021】
本実施例において、電子機器の画像収集ユニット、例えばカメラなどは、リアルタイムシーン画像を収集し、電子機器の表示ユニットに表示することで、ユーザが電子機器の表示ユニットで、画像収集ユニットが収集したリアルタイムシーン画像をリアルタイムで見ることができる。ここで、電子機器は、スマートフォン、タブレット、ウェアラブルデバイスなどを含むが、これらに限定されるものではない。
【0022】
Ｓ１０２では、前記リアルタイムシーン画像に対象者の顔画像が含まれる場合、前記リアルタイムシーン画像から前記対象者の前記顔画像を含む対象者の頭部画像を取得する。
【0023】
本実施例において、リアルタイムシーン画像には対象者の顔画像が含まれる可能性があり、対象者は人の顔画像であってもよいし、代わりに猫、犬などの動物の顔画像であってもよい。電子機器は、リアルタイムシーン画像に対して顔検出を行い、リアルタイムシーン画像に対象者の顔画像が含まれると決定する場合、リアルタイムシーン画像から対象者の頭部画像を取得する。対象者の頭部画像は対象者の顔画像を含み、即ち、対象者の頭部画像は、対象者の顔画像に加えて、対象者の顔以外の髪画像、頭飾り画像などを含んでもよい。ここで、リアルタイムシーン画像から対象者の頭部画像を取得する過程は特に限定されず、リアルタイムシーン画像から対象者の頭部画像を分割できれば、人頭部画像分割アルゴリズムなどの従来技術における任意の画像分割方法を用いてもよい。１つの代替的な実施例において、対象者の頭部画像は、予め撮影された写真から取得されてもよく、又は他の方法で取得されてもよい。
【0024】
Ｓ１０３では、前記頭部画像に基づいて、前記対象者のアバターを生成する。
【0025】
本実施例において、対象者の頭部画像を取得した後、電子機器は、対象者の頭部画像に基づいて対象者のアバターを生成することができる。ここで、アバターは、肢体及び／又は着用物を有してもよく、肢体及び／又は着用物は特定の動作を行うことができ、例えば対象者の頭部画像に四肢を加え、四肢は、走る、跳ぶ、手を振る、物体を振るなどの特定の動作を行うことができ、また例えば、対象者の頭部画像に頭飾りを追加し、頭飾りは、風に揺れるなどの特定の動作を示すことができる。
【0026】
代替的に、前記頭部画像に基づいて、前記対象者のアバターを生成するとき、頭部画像を予め設定された動画素材と合成して、前記対象者のアバターを生成することができる。
【0027】
つまり、本実施例において、アバターの肢体動作、着用物の動作を予め設定しておき、後続の合成プロセスのための対応する動画素材を生成することができ、即ち、頭部画像にこれらの動画素材を追加し、対象者のアバターを得、かつこのアバターが動画素材の再生に応じて特定の動作を行うことができる。
【0028】
Ｓ１０４では、拡張現実表示技術に基づいて、前記リアルタイムシーン画像に前記対象者のアバターを表示する。
【0029】
本実施例において、対象者のアバターを得た後、電子機器は、拡張現実技術により、対象者のアバターをリアルタイムシーン画像に表示でき、即ち、アバターを拡張現実技術により現実のリアルタイムシーン画像に重ね合わせ、拡張表示の効果を実現する。ここで、アバターをリアルタイムシーン画像における任意の位置、例えば、リアルタイムシーン画像において検出された任意の平面領域、又はユーザがリアルタイムシーン画像において指定した目標位置に表示してもよく、本実施例に限定されない。
【0030】
１つの代替的な実施例において、ユーザは、取得した対象者の頭部画像を初期位置からリアルタイムシーン画像中のある位置にドラッグし、さらに、拡張現実表示技術に基づいて、この位置に対象者のアバターを表示することができ、或いは、コピーされた対象者の頭部画像に基づいて生成された対象者のアバターを表示した後、ユーザのドラッグ操作に基づいてこのアバターをリアルタイムシーン画像のある位置に表示することができる。
【0031】
一実施例において、ユーザは表示されたアバターを回転、ズーム、移動などすることができる。例えば、ユーザは、回転制御命令、縮小制御命令、移動制御命令、拡大制御命令を含むがこれらに限定されない、アバターに対する制御命令を電子機器の表示インターフェースで送信することができ、電子機器は、ユーザによるアバターに対する制御命令に応答して、このアバターを相応に制御する。説明すべきものとして、本実施例において、回転は任意の状況におけるアバターの角度変化を含んでもよく、移動は任意の状況におけるアバターの位置変化を含んでもよく、ズームは任意の状況におけるアバターの大きさの変化を含んでもよい。もちろん、本実施例では、ユーザは、このアバターとより多くの他の対話プロセスを行うこともできるが、ここでは簡明のために１つずつ説明しない。
【0032】
本実施例に係る拡張現実に基づく表示方法は、リアルタイムシーン画像を取得し、リアルタイムシーン画像に対象者の顔画像が含まれる場合、リアルタイムシーン画像から対象者の顔画像を含む対象者の頭部画像を取得し、頭部画像に基づいて、対象者のアバターを生成し、拡張現実表示技術に基づいて、リアルタイムシーン画像に対象者のアバターを表示する。本実施例は、対象者の頭部画像を取得して対象者のアバターを生成することで、アバターを予め設計する必要があり、かつアバターが単一に固定されるという問題を回避することができ、ユーザの多様化のニーズを満たし、拡張現実技術によってアバターをリアルタイムシーン画像中の目標位置に表示し、拡張現実技術に対するユーザの使用意欲と使用体験を向上させる。
【0033】
上述の任意の実施例に基づき、Ｓ１０３に記載の、前記頭部画像に基づいて前記対象者のアバターを生成することは、具体的には、前記頭部画像を予め設定された動画素材と合成して、前記対象者のアバターを生成する。ここで、選択的に、アバターは、肢体及び／又は着用物を有し、かつ肢体及び／又は着用物は特定の動作を行うことができる。
【0034】
図２に示すように、前記頭部画像を予め設定された動画素材と合成して、前記対象者のアバターを生成するとき、具体的には、
前記頭部画像に対して顔画像分割を行い、前記頭部画像に含まれる顔画像の境界を決定するＳ２０１と、
前記顔画像の境界及び前記動画素材に基づいて、前記顔画像の境界上又は前記顔画像の境界付近に予め設定された領域に位置する、前記動画素材と前記頭部画像との接続点を決定するＳ２０２と、
前記接続点により、前記頭部画像を予め設定された動画素材と合成して、前記対象者のアバターを生成するＳ２０３と、を含んでもよい。
前記頭部画像に対して顔画像分割を行い、前記頭部画像に含まれる顔画像の境界を決定するＳ２０１と、
前記顔画像の境界及び前記動画素材に基づいて、前記顔画像の境界上又は前記顔画像の境界付近に予め設定された領域に位置する、前記動画素材と前記頭部画像との接続点を決定するＳ２０２と、
前記接続点により、前記頭部画像を予め設定された動画素材と合成して、前記対象者のアバターを生成するＳ２０３と、を含んでもよい。
【0035】
本実施例において、対象者の頭部に長い髪や頭飾りがある可能性があることを考慮して、頭部画像の境界に肢体及び／又は着用物を直接加えると、対象者のアバターにおける肢体及び／又は着用物の位置が不合理になり、対象者のアバターの表示効果が不自然になる可能性があるため、本実施例において、頭部画像に対して顔画像分割を行うことができ、頭部画像に含まれる顔画像の境界を決定し、顔画像の境界上又は顔画像の境界付近に予め設定された領域において動画素材と頭部画像との接続点を決定し、即ち、最終的に動画素材に加えられる肢体及び／又は着用物は、対象者の顔境界上又は顔境界付近にある。
【0036】
本実施例において、頭部画像に対して顔画像分割を行うことは特に限定されず、任意の顔画像分割アルゴリズムを用いてもよい。ここで、分割された顔画像の境界は、例えば矩形境界枠、円形境界枠、楕円形境界枠などの境界枠とすることができ、顔画像を境界枠内に収める。或いは、顔画像の境界は直接顔画像の輪郭線とすることもできる。
【0037】
本実施例において、動画素材と頭部画像との接続点を決定するとき、顔画像の境界及び動画素材という要因を考慮することができる。ここで、接続点は、動画素材が頭部画像と結合する位置、例えば頭部画像に四肢を加える位置、頭飾り（帽子など）を加える位置である。具体的には、動画素材に肢体動画素材が含まれると、接続点は、顔画像の境界の左右両側であってもよく、動画素材に着用物が含まれると、顔画像における着用物の境界に基づいて適切な接続点を決定し、例えば帽子の接続点は顔画像の境界の上方にある。また、顔画像の境界の寸法やアスペクト比などに応じて接続点を決定してもよく、例えば、肢体動画素材の場合、顔画像の境界が痩せて高ければ、上肢の接続点と下肢の接続点との間隔を相対的に大きくしてもよく、顔画像の境界が低くて太ければ、上肢の接続点と下肢の接続点との間隔を相対的に小さくしてもよく、接続点の位置が相対的にコンパクトになる。
【0038】
例として、図３ａに示すように、リアルタイムシーン画像に対象者の顔画像が含まれると決定するとき、対象者の頭部画像を取得することができる。頭部画像に対して顔画像分割を行い、頭部画像に含まれる顔画像の境界を決定し、図３ｂに示すように、ここでの矩形枠は顔画像の境界３１である。さらに図３ｂの顔画像の境界３１に基づき、動画素材と頭部画像との接続点３２を決定し、接続点３２が顔画像の境界３１上にあり、図３ｃに示すように、接続点３２により頭部画像を予め設定された動画素材と合成して、対象者のアバター３３を生成する。最後に、図３ｄに示すように、対象者のアバター３３をリアルタイムシーン画像に表示する。説明すべきものとして、図３ａ～図３ｄにおける人顔は仮想顔であり、真実の顔ではない。
【0039】
上述の任意の実施例に基づき、多種の異なる動画素材を予め配置してもよく、合成を行う必要がある前に、適切な動画素材を選択することができ、具体的には、ユーザが自主的に選択してもよいし、以下のような過程で選択してもよい。１つの代替的な実施例において、図４に示すように、前記頭部画像を予め設定された動画素材と合成する前に、
前記頭部画像に基づいて、前記対象者の属性情報を取得するＳ４０１と、
前記属性情報に基づいて、予め設定された動画素材集から前記属性情報に一致する動画素材を選択するＳ４０２と、をさらに含む。
前記頭部画像に基づいて、前記対象者の属性情報を取得するＳ４０１と、
前記属性情報に基づいて、予め設定された動画素材集から前記属性情報に一致する動画素材を選択するＳ４０２と、をさらに含む。
【0040】
本実施例において、頭部画像に基づいて対象者の属性情報を取得し、異なる属性情報に対して異なる肢体動画素材及び／又は頭飾り動画素材を選択し、合成した後、属性情報に一致するアバターを得ることができ、アバターをより多様化させ、より豊富な表示効果を示させ、ユーザ体験を改善する。
【0041】
１つの代替的な実施例において、同じ対象者の頭部画像に対して、複数の異なる動画素材を順次合成して、この対象者の複数の異なるアバターをそれぞれ生成することができる。ここで、異なる動画素材は異なる動作タイプであってもよく、この対象者の複数の異なるアバターにそれぞれ異なる動作を実行させ、例えば、第１のアバターはジャンプしているアバターであり、第２のアバターは手招きしているアバターであり、それに応じて、再生時に異なるアバターを順次に示し、さらに異なる動作を示すことができる。或いは、異なる動画素材に異なる服飾、着用物などを配置することもできる。
【0042】
１つの代替的な実施例において、アプリケーションプログラムインタフェースに複数の異なる動画素材を示し、ユーザは１つ又は複数の動画素材を選択することができ、電子機器はユーザの動画素材に対する選択命令を受信し、動画素材に対する選択命令に基づいて動画素材を決定し、対象者の頭部画像に順次合成し、この対象者の複数の異なるアバターをそれぞれ生成することができる。代替的に、リアルタイムシーン画像に前記対象者のアバターを表示するとき、生成された複数の異なるアバターを同時にリアルタイムシーン画像に表示してもよいし、一定の順序で順次にリアルタイムシーン画像に表示してもよいし、或いは他の表示方策に従って表示してもよい。
【0043】
さらに、リアルタイムシーン画像に前記対象者のアバターを表示する前に、複数のアバターを生成した場合、電子機器は、ユーザのアバターに対する選択命令を受信して、アバターに対する選択命令に基づいて、表示する必要がある対象者の１つ又は複数のアバターを選択することができる。ユーザが複数のアバターを選択する場合、これらのアバターを同時にリアルタイムシーン画像に表示してもよいし、一定の順序で順次にリアルタイムシーン画像に表示してもよい。例えば、ユーザにより複数のアバターの表示順序を設定してもよいし、ユーザがアバターを選択する順序を複数のアバターの表示順序としてもよいし、他の表示方策に従って表示してもよく、ここでは１つずつ説明しない。
【0044】
或いは、ユーザは、リアルタイムシーン画像にアバターを表示する過程において、表示されたアバターを切り替えることができる。例えば、現在リアルタイムシーン画像に表示されているものが対象者の第１のアバターであるが、切り替え命令を受信した後に対象者の第２のアバターを表示する。
【0045】
或いは、ユーザは、リアルタイムシーン画像にアバターを表示する過程において、リアルタイムシーン画像に他のアバターを追加することもできる。例えば、現在リアルタイムシーン画像に表示されているものが対象者の第１のアバターであるが、追加命令を受信した後、リアルタイムシーン画像に対象者の第２のアバターを追加し、即ち、リアルタイムシーン画像に対象者の第１のアバターと第２のアバターとを同時に表示してもよい。もちろん、リアルタイムシーン画像に対象者の複数のアバターを同時に表示するとき、ユーザの削除命令に従ってその中のあるアバターを削除することもできる。説明すべきものとして、追加すべきアバターが既に予め生成されている場合、追加命令を受信した後、直接に、アプリケーションプログラムインタフェースに代替のアバターを表示する。追加すべきアバターが予め生成されていなければ、ユーザにより動画素材を再選択して、必要なアバターを生成してもよい。
【0046】
上述のプロセスを通じて、ユーザが選択できるようにユーザにより豊富なアバターを提供し、かつアバターを表示するとき、ユーザがアバターに対して切り替えや増減を行うことができ、ユーザと電子機器との対話興味を高め、ユーザ体験を向上させることができる。
【0047】
他の代替的な実施例において、図５に示すように、前記頭部画像を予め設定された動画素材と合成する前に、
前記顔画像の境界の寸法情報を取得するＳ４１１と、
前記寸法情報に基づいて、予め設定された動画素材集から前記寸法情報に一致する動画素材を選択するＳ４１２と、をさらに含む。
前記顔画像の境界の寸法情報を取得するＳ４１１と、
前記寸法情報に基づいて、予め設定された動画素材集から前記寸法情報に一致する動画素材を選択するＳ４１２と、をさらに含む。
【0048】
本実施例において、顔画像の境界に基づいて顔画像の境界の寸法情報、例えばアスペクト比、形状情報などを取得することができ、顔画像の境界の異なるアスペクト比、形状情報に応じて異なる肢体動画素材及び／又は頭飾り動画素材を選択することができる。例えば、ドラゴンダンスの動画素材では両手で竹竿を持つ必要があり、或いは、バナーを持ち上げる動画素材では両手でバナーを持ち上げる必要がある。顔画像の境界がずんぐりしすぎると、動画素材を横に引き伸ばす必要があるため、縮尺がずれたり画像が歪んだりする可能性があり、この場合、動画素材と顔画像が一致しない。したがって、本実施例では、顔画像の境界の寸法情報に一致する動画素材を選択でき、上記のような事態を回避する。
【0049】
上述の任意の実施例に基づき、前記頭部画像を予め設定された動画素材と合成することは、具体的に、
前記頭部画像に基づいて、前記動画素材を調整して、前記頭部画像を調整後の動画素材と合成することをさらに含む。
前記頭部画像に基づいて、前記動画素材を調整して、前記頭部画像を調整後の動画素材と合成することをさらに含む。
【0050】
本実施例において、頭部画像を動画素材と合成するとき、寸法やアスペクト比が一致しない場合があり、動画素材を調整することで、調整後の動画素材を頭部画像の寸法やアスペクト比に一致させることができる。例えば、帽子の動画素材については、帽子の幅と頭部の幅とが同じになるように動画素材の幅を調整することができる。これにより、表示効果を向上させ、ユーザ体験を改善する。
【0051】
上述の任意の実施例に基づき、図６に示すように、前記頭部画像を予め設定された動画素材と合成して、前記対象者のアバターを生成する前に、
横方向軸線及び／又は縦方向軸線を含む前記頭部画像の軸線を取得するＳ５０１と、
前記横方向軸線が水平に保たれ及び／又は前記縦方向軸線が垂直に保たれるように、前記頭部画像の軸線に基づいて前記頭部画像の角度を調整するＳ５０２と、をさらに含んでもよい。
横方向軸線及び／又は縦方向軸線を含む前記頭部画像の軸線を取得するＳ５０１と、
前記横方向軸線が水平に保たれ及び／又は前記縦方向軸線が垂直に保たれるように、前記頭部画像の軸線に基づいて前記頭部画像の角度を調整するＳ５０２と、をさらに含んでもよい。
【0052】
本実施例において、頭部画像において頭部が上向きであることを保証するために、頭部画像の角度を調整することができる。具体的には、頭部画像の軸線を取得し、例えば、両眼の位置により横方向軸線を決定し、両眼と鼻の位置とにより縦方向軸線を決定する。もちろん、頭部画像の軸線の決定は上述の方法に限定されるものではなく、ここでは説明を省略する。さらに、頭部画像の軸線に基づいて頭部画像の角度を調整し、横方向軸線が水平に保たれ、及び／又は、縦方向軸線が垂直に保たれるようにする。
【0053】
さらに、上述の任意の実施例に基づき、電子機器はまた、動画素材を再生して、前記対象者のアバターに対して動作制御を行い、即ち、対象者のアバターの肢体及び／又は着用物に、対応する動作を示させる。
【0054】
具体的には、電子機器は、前記動画素材の予め設定された動画フレームに基づいて前記動画素材を再生し、前記対象者のアバターに対して動作制御を行うことができる。即ち、上述の動画素材は予め設定された動画フレームを含んでもよく、予め設定された動画フレームでは、肢体及び／又は着用物がどのような動画を具体的に示すかを予め設定することができる。頭部画像を動画素材と合成するとき、頭部画像を動画素材の各予め設定された動画フレームと合成して、得られる各フレームはいずれも対象者のアバターであり、さらに対象者のアバターを表示するとき、動画素材を再生し、即ち、合成された各フレームの対象者のアバターを順次再生し、対象者のアバターに対して動作制御を行う表示効果を表示する。
【0055】
上述の任意の実施例に基づき、Ｓ１０２に記載の、前記リアルタイムシーン画像に対象者の顔画像が含まれる場合、前記リアルタイムシーン画像から対象者の頭部画像を取得することは、具体的に、
前記リアルタイムシーン画像に対象者の顔画像が含まれ、かつ第１の予め設定された条件を満たす場合、前記リアルタイムシーン画像から対象者の頭部画像を取得することを含んでもよく、ここで、前記第１の予め設定された条件は、
前記リアルタイムシーン画像に占める前記顔画像の面積割合が予め設定された割合閾値を超えること、又は
前記顔画像が前記リアルタイムシーン画像の中心領域に位置すること、又は
ユーザによる前記対象者の選択命令を受信すること、の少なくとも１つを含む。
前記リアルタイムシーン画像に対象者の顔画像が含まれ、かつ第１の予め設定された条件を満たす場合、前記リアルタイムシーン画像から対象者の頭部画像を取得することを含んでもよく、ここで、前記第１の予め設定された条件は、
前記リアルタイムシーン画像に占める前記顔画像の面積割合が予め設定された割合閾値を超えること、又は
前記顔画像が前記リアルタイムシーン画像の中心領域に位置すること、又は
ユーザによる前記対象者の選択命令を受信すること、の少なくとも１つを含む。
【0056】
本実施例において、第１の予め設定された条件を満たす場合にのみ、リアルタイムシーン画像から対象者の頭部画像を取得する。
【0057】
具体的には、１つの代替的な場合、リアルタイムシーン画像に占める顔画像の面積割合を取得でき、リアルタイムシーン画像に占める顔画像の面積割合が予め設定された割合閾値を超えると、リアルタイムシーン画像から対象者の頭部画像を取得する。
【0058】
１つの代替的な場合、顔画像がリアルタイムシーン画像の中心領域に位置するかどうかを判断でき、顔画像がリアルタイムシーン画像の中心領域に位置すると判断すると、リアルタイムシーン画像から対象者の頭部画像を取得する。
【0059】
１つの代替的な場合、ユーザによって選択されてもよく、ユーザがリアルタイムシーン画像で対象者を選択した後、リアルタイムシーン画像から対象者の頭部画像を取得することができる。もちろん、本実施例は上述の条件に限定されず、他の条件であってもよいが、ここでは１つずつ説明しない。
【0060】
説明すべきものとして、リアルタイムシーン画像に複数のオブジェクトの顔画像が含まれる場合、上述の条件を用いてその中の少なくとも１つのオブジェクトを対象者として選択してもよく、例えば、複数のオブジェクトから、前記リアルタイムシーン画像に占める顔画像の面積割合が予め設定された割合閾値を超えるオブジェクトを対象画像として選択し、又は顔画像が前記リアルタイムシーン画像の中心領域に位置するオブジェクトを対象画像として選択し、又はユーザによっていずれのオブジェクトを対象画像とするかを指定し、さらに、リアルタイムシーン画像から対象者の頭部画像を取得する。
【0061】
なお、上述の実施例では、リアルタイムシーン画像に複数の対象者のアバターを表示し、各対象者に対して上述の拡張現実に基づく表示方法を用いて実現することができ、ここでは繰り返さない。
【0062】
上述の実施例に基づき、第２の予め設定された条件を満たすならば、前記リアルタイムシーン画像から対象物の画像を取得し、前記対象物の前記画像に基づいて前記対象物のアバターを生成して、拡張現実表示技術に基づいて、前記リアルタイムシーン画像に前記対象物のアバターを表示する。ここで、前記第２の予め設定された条件は、
前記リアルタイムシーン画像に前記顔画像が含まれないこと、又は
前記リアルタイムシーン画像において、前記リアルタイムシーン画像に占める前記顔画像の面積割合が予め設定された割合閾値を超えていないこと、又は
前記リアルタイムシーン画像において、前記顔画像が前記リアルタイムシーン画像の中心領域に位置しないこと、又は
前記リアルタイムシーン画像における前記顔画像が対象者の横顔であり、かつ対象者の横顔の振れ角度が予め設定された角度閾値を超えること、又は
ユーザによる前記リアルタイムシーン画像における対象物の選択命令を受信すること、の少なくとも１つを含む。
前記リアルタイムシーン画像に前記顔画像が含まれないこと、又は
前記リアルタイムシーン画像において、前記リアルタイムシーン画像に占める前記顔画像の面積割合が予め設定された割合閾値を超えていないこと、又は
前記リアルタイムシーン画像において、前記顔画像が前記リアルタイムシーン画像の中心領域に位置しないこと、又は
前記リアルタイムシーン画像における前記顔画像が対象者の横顔であり、かつ対象者の横顔の振れ角度が予め設定された角度閾値を超えること、又は
ユーザによる前記リアルタイムシーン画像における対象物の選択命令を受信すること、の少なくとも１つを含む。
【0063】
本実施例において、第２の予め設定された条件を満たす場合、リアルタイムシーン画像から対象物の画像を取得し、前記対象物の前記画像に基づいて前記対象物のアバターを生成でき、アバターは肢体動作及び／又は表情動作を有してもよい。例えば、対象物の画像がマンゴーの画像である場合、対応するアバターはマンゴーの画像上に四肢と顔表情を形成することができ、その四肢と表情とは特定の動作を行うことができる。さらに、拡張現実表示技術に基づいて、前記リアルタイムシーン画像に前記対象物のアバターを表示する。
【0064】
具体的には、１つの代替的な場合、対象者の顔画像の優先度が対象物よりも高いと設定することができ、即ち、リアルタイムシーン画像に対象者の顔画像が含まれれば、対象者のアバターが生成され、そうでなければ、対象物のアバターが生成される。ここで、対象物は、リアルタイムシーン画像において背景色と大きく異なる物体であってもよいし、リアルタイムシーン画像の中心領域における物体であってもよいし、リアルタイムシーン画像において占める面積が最大となる物体であってもよいし、ユーザが指定した物体であってもよい。
【0065】
１つの代替的な場合、リアルタイムシーン画像に顔画像があるが、リアルタイムシーン画像に占める顔画像の面積割合が予め設定された割合閾値を超えていないとき、対象物のアバターを生成してもよい。
【0066】
１つの代替的な場合、リアルタイムシーン画像に顔画像があるが、顔画像がリアルタイムシーン画像の中心領域に位置していないとき、対象物のアバターを生成してもよい。
【0067】
１つの代替的な場合、リアルタイムシーン画像に顔画像があるが、リアルタイムシーン画像における前記顔画像が対象者の横顔であり、かつ対象者の横顔の振れ角度が予め設定された角度閾値を超え、即ち、この際の画像における顔画像が不完全に表示される可能性があるとき、対象者のアバターを生成せずに、対象物のアバターを生成してもよい。もちろん、この場合、横顔に適したいくつかの動画素材を予め配置して、横顔の場合に対象者のアバターを生成することもできる。
【0068】
説明すべきものとして、上述の実施例では、リアルタイムシーン画像に複数の対象物のアバターを表示することができ、又は対象物のアバターと対象者のアバターとを同時に表示することができる。
【0069】
上述の各実施例に係る拡張現実に基づく表示方法は、アバターを生成することにより、アバターを予め設計する必要があり、かつアバターが単一に固定されるという問題を回避することができ、ユーザの多様化のニーズを満たし、拡張現実技術によってアバターをリアルタイムシーン画像中の目標位置に表示し、拡張現実技術に対するユーザの使用意欲と使用体験を向上させる。
【0070】
上記実施例の拡張現実に基づく表示方法に応じて、図７は本開示の実施例に係る拡張現実に基づく表示機器の構造ブロック図である。説明の便宜のために、本開示の実施例に関する部分のみが示されている。図７を参照して、前記拡張現実に基づく表示機器６００は、取得ユニット６０１、画像分割ユニット６０２、生成ユニット６０３、及び表示ユニット６０４を含む。
【0071】
取得ユニット６０１は、リアルタイムシーン画像を取得するために用いられる。
画像分割ユニット６０２は、前記リアルタイムシーン画像に対象者の顔画像が含まれる場合、前記リアルタイムシーン画像から対象者の頭部画像を取得するために用いられ、前記対象者の頭部画像は前記対象者の顔画像を含む。
生成ユニット６０３は、前記頭部画像に基づいて、前記対象者のアバターを生成するために用いられる。
表示ユニット６０４は、拡張現実表示技術に基づいて、前記リアルタイムシーン画像に前記対象者のアバターを表示するために用いられる。
画像分割ユニット６０２は、前記リアルタイムシーン画像に対象者の顔画像が含まれる場合、前記リアルタイムシーン画像から対象者の頭部画像を取得するために用いられ、前記対象者の頭部画像は前記対象者の顔画像を含む。
生成ユニット６０３は、前記頭部画像に基づいて、前記対象者のアバターを生成するために用いられる。
表示ユニット６０４は、拡張現実表示技術に基づいて、前記リアルタイムシーン画像に前記対象者のアバターを表示するために用いられる。
【0072】
本開示の一実施例において、前記生成ユニット６０３は、前記頭部画像に基づいて、前記対象者のアバターを生成するとき、
前記頭部画像を予め設定された動画素材と合成して、前記対象者のアバターを生成するために用いられる。
前記頭部画像を予め設定された動画素材と合成して、前記対象者のアバターを生成するために用いられる。
【0073】
本開示の一実施例において、前記生成ユニット６０３は、前記頭部画像を予め設定された動画素材と合成して、前記対象者のアバターを生成するとき、
前記頭部画像に対して顔画像分割を行い、前記頭部画像に含まれる顔画像の境界を決定することと、
前記顔画像の境界及び前記動画素材に基づいて、前記顔画像の境界上又は前記顔画像の境界付近に予め設定された領域に位置する、前記動画素材と前記頭部画像との接続点を決定することと、
前記接続点により、前記頭部画像を予め設定された動画素材と合成して、前記対象者のアバターを生成することとのために用いられる。
前記頭部画像に対して顔画像分割を行い、前記頭部画像に含まれる顔画像の境界を決定することと、
前記顔画像の境界及び前記動画素材に基づいて、前記顔画像の境界上又は前記顔画像の境界付近に予め設定された領域に位置する、前記動画素材と前記頭部画像との接続点を決定することと、
前記接続点により、前記頭部画像を予め設定された動画素材と合成して、前記対象者のアバターを生成することとのために用いられる。
【0074】
本開示の一実施例において、前記生成ユニット６０３は、前記頭部画像を予め設定された動画素材と合成する前に、さらに、
前記頭部画像に基づいて、前記対象者の属性情報を取得することと、
前記属性情報に基づいて、予め設定された動画素材集から前記属性情報に一致する動画素材を選択することとのために用いられる。
前記頭部画像に基づいて、前記対象者の属性情報を取得することと、
前記属性情報に基づいて、予め設定された動画素材集から前記属性情報に一致する動画素材を選択することとのために用いられる。
【0075】
本開示の一実施例において、前記生成ユニット６０３は、前記頭部画像を予め設定された動画素材と合成する前に、さらに、
前記顔画像の境界の寸法情報を取得することと、
前記寸法情報に基づいて、予め設定された動画素材集から前記寸法情報に一致する動画素材を選択することとのために用いられる。
前記顔画像の境界の寸法情報を取得することと、
前記寸法情報に基づいて、予め設定された動画素材集から前記寸法情報に一致する動画素材を選択することとのために用いられる。
【0076】
本開示の一実施例において、前記生成ユニット６０３は、前記頭部画像を予め設定された動画素材と合成するとき、
前記頭部画像に基づいて、前記動画素材を調整し、前記頭部画像を調整後の動画素材と合成するために用いられる。
前記頭部画像に基づいて、前記動画素材を調整し、前記頭部画像を調整後の動画素材と合成するために用いられる。
【0077】
本開示の一実施例において、前記生成ユニット６０３は、前記頭部画像を予め設定された動画素材と合成して、前記対象者のアバターを生成する前に、さらに、
横方向軸線及び／又は縦方向軸線を含む前記頭部画像の軸線を取得することと、
前記横方向軸線が水平に保たれ及び／又は前記縦方向軸線が垂直に保たれるように、前記頭部画像の軸線に基づいて前記頭部画像の角度を調整することとのために用いられる。
横方向軸線及び／又は縦方向軸線を含む前記頭部画像の軸線を取得することと、
前記横方向軸線が水平に保たれ及び／又は前記縦方向軸線が垂直に保たれるように、前記頭部画像の軸線に基づいて前記頭部画像の角度を調整することとのために用いられる。
【0078】
本開示の一実施例において、前記画像分割ユニット６０２は、前記リアルタイムシーン画像に対象者の顔画像が含まれる場合、前記リアルタイムシーン画像から対象者の頭部画像を取得するとき、
前記リアルタイムシーン画像に対象者の顔画像が含まれ、かつ第１の予め設定された条件を満たす場合、前記リアルタイムシーン画像から対象者の頭部画像を取得するために用いられる。ここで、前記第１の予め設定された条件は、
前記リアルタイムシーン画像に占める前記顔画像の面積割合が予め設定された割合閾値を超えること、又は
前記顔画像が前記リアルタイムシーン画像の中心領域に位置すること、又は
ユーザによる前記対象者の選択命令を受信すること、の少なくとも１つを含む。
前記リアルタイムシーン画像に対象者の顔画像が含まれ、かつ第１の予め設定された条件を満たす場合、前記リアルタイムシーン画像から対象者の頭部画像を取得するために用いられる。ここで、前記第１の予め設定された条件は、
前記リアルタイムシーン画像に占める前記顔画像の面積割合が予め設定された割合閾値を超えること、又は
前記顔画像が前記リアルタイムシーン画像の中心領域に位置すること、又は
ユーザによる前記対象者の選択命令を受信すること、の少なくとも１つを含む。
【0079】
本開示の一実施例において、前記画像分割ユニット６０２はまた、第２の予め設定された条件を満たす場合、前記リアルタイムシーン画像から対象物の画像を取得するために用いられる。
前記生成ユニット６０３はまた、前記対象物の前記画像に基づいて前記対象物のアバターを生成するために用いられる。
前記表示ユニット６０４はまた、拡張現実表示技術に基づいて、前記リアルタイムシーン画像に前記対象物のアバターを表示するために用いられる。
前記生成ユニット６０３はまた、前記対象物の前記画像に基づいて前記対象物のアバターを生成するために用いられる。
前記表示ユニット６０４はまた、拡張現実表示技術に基づいて、前記リアルタイムシーン画像に前記対象物のアバターを表示するために用いられる。
【0080】
ここで、前記第２の予め設定された条件は、
前記リアルタイムシーン画像に前記顔画像が含まれないこと、又は
前記リアルタイムシーン画像において、前記リアルタイムシーン画像に占める前記顔画像の面積割合が予め設定された割合閾値を超えていないこと、又は
前記リアルタイムシーン画像において、前記顔画像が前記リアルタイムシーン画像の中心領域に位置しないこと、又は
前記リアルタイムシーン画像における前記顔画像が対象者の横顔であり、かつ対象者の横顔の振れ角度が予め設定された角度閾値を超えること、又は
ユーザによる前記リアルタイムシーン画像における対象物の選択命令を受信すること、の少なくとも１つを含む。
前記リアルタイムシーン画像に前記顔画像が含まれないこと、又は
前記リアルタイムシーン画像において、前記リアルタイムシーン画像に占める前記顔画像の面積割合が予め設定された割合閾値を超えていないこと、又は
前記リアルタイムシーン画像において、前記顔画像が前記リアルタイムシーン画像の中心領域に位置しないこと、又は
前記リアルタイムシーン画像における前記顔画像が対象者の横顔であり、かつ対象者の横顔の振れ角度が予め設定された角度閾値を超えること、又は
ユーザによる前記リアルタイムシーン画像における対象物の選択命令を受信すること、の少なくとも１つを含む。
【0081】
本開示の一実施例において、前記表示ユニット６０４はさらに、
前記動画素材を再生して、前記対象者のアバターに対して動作制御を行うために用いられる。
前記動画素材を再生して、前記対象者のアバターに対して動作制御を行うために用いられる。
【0082】
本開示の一実施例において、前記表示ユニット６０４は、前記動画素材を再生して、前記対象者のアバターに対して動作制御を行うとき、
前記動画素材の予め設定された動画フレームに基づいて、前記動画素材を再生し、前記対象者のアバターに対して動作制御を行うために用いられる。
前記動画素材の予め設定された動画フレームに基づいて、前記動画素材を再生し、前記対象者のアバターに対して動作制御を行うために用いられる。
【0083】
本開示の一実施例において、前記表示ユニット６０４はさらに、
ユーザによる前記対象者のアバターの制御命令に応答して、前記対象者のアバターに対して対応する制御を行うために用いられ、前記制御命令は、
回転制御命令、縮小制御命令、移動制御命令及び拡大制御命令の少なくとも１つを含む。
ユーザによる前記対象者のアバターの制御命令に応答して、前記対象者のアバターに対して対応する制御を行うために用いられ、前記制御命令は、
回転制御命令、縮小制御命令、移動制御命令及び拡大制御命令の少なくとも１つを含む。
【0084】
本実施例に係る拡張現実に基づく表示機器は、上述の方法の実施例の技術案を実行するために用いられることができ、その実現原理及び技術効果が類似するものであるため、本実施例では繰り返さない。
【0085】
図８を参照して、本開示の実施例を実現するのに好適な電子機器７００の構造概略図を示し、この電子機器７００は端末機器又はサーバであってもよい。ここで、端末機器は、携帯電話、ノートブックコンピュータ、デジタル放送受信機、パーソナルデジタルアシスタント（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ、ＰＤＡと略称する）、タブレットコンピュータ（Ｐｏｒｔａｂｌｅ Ａｎｄｒｏｉｄ Ｄｅｖｉｃｅ、ＰＡＤと略称する）、携帯型マルチメディアプレーヤー（Ｐｏｒｔａｂｌｅ Ｍｅｄｉａ Ｐｌａｙｅｒ、ＰＭＰと略称する）、車載端末（例えば車載ナビゲーション端末）などの移動端末、及びデジタルＴＶ、デスクトップコンピュータなどの固定端末を含むが、これらに限定されない。図８に示す端末機器は、一例にすぎず、本開示の実施例の機能及び使用範囲を限定するものではない。
【0086】
図８に示すように、電子機器７００は、読み取り専用メモリ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ、ＲＯＭと略称する）７０２に記憶されているプログラム又は記憶装置７０８からランダムアクセスメモリ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ、ＲＡＭと略称する）７０３にロードされたプログラムに従って、様々な適切な動作及び処理を実行することができる処理装置（例えば中央プロセッサ、グラフィックプロセッサなど）７０１を含んでもよい。ＲＡＭ７０３には、電子機器７００の操作に必要な様々なプログラム及びデータがさらに記憶される。処理装置７０１、ＲＯＭ７０２及びＲＡＭ７０３は、バス７０４を介して互いに接続されている。入力／出力（Ｉｎｐｕｔ／Ｏｕｔｐｕｔ、Ｉ／Ｏと略称する）インターフェース７０５もバス７０４に接続されている。
【0087】
通常、Ｉ／Ｏインターフェース７０５に接続可能な装置は、例えばタッチスクリーン、タッチパッド、キーボード、マウス、カメラ、マイクロホン、加速度計、ジャイロスコープなどの入力装置７０６、例えば液晶ディスプレイ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ、ＬＣＤと略称する）、スピーカ、バイブレータなどの出力装置７０７、例えばテープ、ハードドライブなどの記憶装置７０８、及び通信装置７０９を含む。通信装置７０９は、電子機器７００が、データを交換するために他の機器と無線又は有線通信することを可能にする。図８は様々な装置を有する電子機器７００を示しているが、図示された装置の全てを実施又は備える必要がないことが理解されるべきである。代わりに、より多くの又はより少ない装置を実施又は備えることができる。
【0088】
特に、本開示のいくつかの実施例によれば、フローチャートを参照して上述したプロセスは、コンピュータソフトウェアプログラムとして実現されることができる。例えば、本開示の実施例は、コンピュータ可読媒体に搭載されたコンピュータプログラムを含むコンピュータプログラム製品を含み、当該コンピュータプログラムは、フローチャートに示される方法を実行するためのプログラムコードを含む。このような実施例において、当該コンピュータプログラムは、通信装置７０９を介してネットワークからダウンロードされてインストールされてもよいし、記憶装置７０８からインストールされてもよいし、ＲＯＭ７０２からインストールされてもよい。当該コンピュータプログラムが処理装置７０１によって実行されると、本開示の実施例の方法に限定された前記機能が実行される。
【0089】
説明すべきものとして、本開示に記載のコンピュータ可読媒体は、コンピュータ可読信号媒体又はコンピュータ可読記憶媒体又は前記両者の任意の組み合わせであってもよい。コンピュータ可読記憶媒体は、例えば、電気、磁気、光、電磁気、赤外線、若しくは半導体のシステム、装置又はデバイス、又はそれらの任意の組み合わせであることができるが、これらに限定されない。コンピュータ可読記憶媒体のより具体的な例は、１つまたは複数のワイヤを有する電気接続、携帯型コンピュータディスケット、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、読み取り専用メモリ（ＲＯＭ）、消去可能プログラマブル読み取り専用メモリ（Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ、ＥＰＲＯＭ又はフラッシュメモリと略称する）、光ファイバ、携帯型コンパクトディスク読み取り専用メモリ（Ｃｏｍｐａｃｔ Ｄｉｓｃ Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ、ＣＤ－ＲＯＭと略称する）、光記憶デバイス、磁気記憶デバイス、又はこれらの任意の適切な組み合わせを含むが、これらに限定されない。本開示において、コンピュータ可読記憶媒体は、プログラムを含むか又は記憶する任意の有形媒体であってもよく、当該プログラムは、命令実行システム、装置若しくはデバイスによって、又はそれらと組み合わせて使用されることができる。本開示において、コンピュータ可読信号媒体は、コンピュータ可読プログラムコードを搭載する、ベースバンドにおける又は搬送波の一部として伝播されるデータ信号を含むことができる。このような伝播されるデータ信号は、電磁信号、光信号、又はこれらの任意の適切な組み合わせを含むがこれらに限定されない様々な形態をとることができる。コンピュータ可読信号媒体はまた、コンピュータ可読記憶媒体以外の任意のコンピュータ可読媒体であってもよく、当該コンピュータ可読信号媒体は、命令実行システム、装置若しくはデバイスによって、又はそれらと組み合わせて使用するためのプログラムを送信、伝播又は伝送することができる。コンピュータ可読媒体に含まれるプログラムコードは、ワイヤ、光ケーブル、無線周波数（Ｒａｄｉｏ Ｆｒｅｑｕｅｎｃｙ、ＲＦと略称する）など、又はこれらの任意の適切な組み合わせを含むがこれらに限定されない任意の適切な媒体を使用して伝送されることができる。
【0090】
前記コンピュータ可読媒体は、前記電子機器に含まれていてもよいし、単独で存在し、当該電子機器に組み込まれていなくてもよい。
【0091】
前記コンピュータ可読媒体は、１つ又は複数のプログラムを搭載し、前記１つ又は複数のプログラムが当該電子機器によって実行されたとき、当該電子機器に上記実施例に示す方法を実行させる。
【0092】
本開示の操作を実行するためのコンピュータプログラムコードは、１つ又は複数のプログラミング言語、あるいは、それらの組み合わせでプログラミングされることができる。前記プログラミング言語は、Ｊａｖａ（登録商標）、Ｓｍａｌｌｔａｌｋ（登録商標）、Ｃ＋＋などのオブジェクト指向プログラミング言語を含み、「Ｃ」言語などの従来の手続き型プログラミング言語や類似のプログラミング言語をも含む。プログラムコードは、完全にユーザコンピュータ上で実行されても、部分的にユーザコンピュータ上で実行されても、独立したソフトウェアパッケージとして実行されても、部分的にユーザコンピュータでかつ部分的にリモートコンピュータ上で実行されても、あるいは、完全にリモートコンピュータ又はサーバ上で実行されてもよい。リモートコンピュータが関与する場合、リモートコンピュータは、ローカルエリアネットワーク（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ、ＬＡＮと略称する）やワイドエリアネットワーク（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ、ＷＡＮと略称する）を含む任意のネットワークを介してユーザコンピュータに接続されることができ、あるいは、外部コンピュータに接続されることができる（例えば、インターネットサービスプロバイダを利用してインターネットを介して接続される）。
【0093】
図面におけるフローチャートとブロック図は、本開示の様々な実施例のシステム、方法及びコンピュータプログラム製品による実現可能なアーキテクチャ、機能及び動作を示す。この点について、フローチャートやブロック図における各ブロックは、所定の論理機能を実現するための実行可能な命令を１つまたは複数含むモジュール、プログラムセグメント、又はコードの一部を表すことができる。なお、注意すべきものとして、いくつかの代替実現では、ブロックに示された機能は、図面に示された順序とは異なる順序で行われてもよい。例えば、２つの連続して示されたブロックは、実際には、ほぼ並行して実行されてもよく、場合によっては、関連する機能に応じて、逆の順序で実行されてもよい。また、注意すべきものとして、ブロック図及び／又はフローチャートにおける各ブロック、並びにブロック図及び／又はフローチャートにおけるブロックの組み合わせは、特定の機能又は操作動作を実行する専用のハードウェアベースのシステムによって実現されてもよく、専用のハードウェアとコンピュータ命令との組み合わせによって実現されてもよい。
【0094】
本開示の実施例において記載されるユニットは、ソフトウェアの形態で実現されてもよいし、ハードウェアの形態で実現されてもよい。ここで、ユニットの名称は、ある場合には、当該ユニット自体を限定するものではなく、例えば、第１の取得ユニットは、「少なくとも２つのインターネットプロトコルアドレスを取得するユニット」と記載されてもよい。
【0095】
本明細書で上述した機能は、１つ又は複数のハードウェア論理コンポーネントによって少なくとも部分的に実行されてもよい。例えば、非限定的に、使用可能な例示的なタイプのハードウェア論理コンポーネントは、フィールドプログラマブルゲートアレイ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ、ＦＰＧＡと略称する）、特定用途向け集積回路（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ、ＡＳＩＣと略称する）、特定用途向け標準製品（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｓｔａｎｄａｒｄ Ｐａｒｔｓ、ＡＳＳＰと略称する）、システムオンチップ（Ｓｙｓｔｅｍ ｏｎ Ｃｈｉｐ、ＳＯＣと略称する）、複合プログラム可能ロジックデバイス（Ｃｏｍｐｌｅｘ Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ、ＣＰＬＤと略称する）などを含む。
【0096】
本開示の明細書において、コンピュータ可読媒体は、命令実行システム、装置若しくはデバイスによって、又はそれらと組み合わせて使用されることができるプログラムを含むか又は記憶する有形の媒体であってもよい。コンピュータ可読媒体は、コンピュータ可読信号媒体又はコンピュータ可読記憶媒体であってもよい。コンピュータ可読媒体は、電気、磁気、光、電磁気、赤外線、又は半導体のシステム、装置又はデバイス、あるいは、それらの任意の適合な組み合わせであることができるが、これらに限定されない。コンピュータ可読記憶媒体のより具体的な例は、１つまたは複数のワイヤを有する電気接続、携帯型コンピュータディスケット、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、読み取り専用メモリ（ＲＯＭ）、消去可能プログラマブル読み取り専用メモリ（ＥＰＲＯＭ又はフラッシュメモリ）、光ファイバ、携帯型コンパクトディスク読み取り専用メモリ（ＣＤ－ＲＯＭ）、光記憶デバイス、磁気記憶デバイス、又はこれらの任意の適切な組み合わせを含むことができる。
【0097】
第１の態様では、本開示の１つ又は複数の実施例によれば、拡張現実に基づく表示方法を提供し、
リアルタイムシーン画像を取得することと、
前記リアルタイムシーン画像に対象者の顔画像が含まれる場合、前記リアルタイムシーン画像から前記対象者の前記顔画像を含む対象者の頭部画像を取得することと、
前記頭部画像に基づいて、前記対象者のアバターを生成することと、
拡張現実表示技術に基づいて、前記リアルタイムシーン画像に前記対象者の前記アバターを表示することと、を含む。
リアルタイムシーン画像を取得することと、
前記リアルタイムシーン画像に対象者の顔画像が含まれる場合、前記リアルタイムシーン画像から前記対象者の前記顔画像を含む対象者の頭部画像を取得することと、
前記頭部画像に基づいて、前記対象者のアバターを生成することと、
拡張現実表示技術に基づいて、前記リアルタイムシーン画像に前記対象者の前記アバターを表示することと、を含む。
【0098】
本開示の１つ又は複数の実施例によれば、前記頭部画像に基づいて、前記対象者のアバターを生成することは、
前記頭部画像を予め設定された動画素材と合成して、前記対象者の前記アバターを生成することを含む。
前記頭部画像を予め設定された動画素材と合成して、前記対象者の前記アバターを生成することを含む。
【0099】
本開示の１つ又は複数の実施例によれば、前記頭部画像を予め設定された動画素材と合成して、前記対象者の前記アバターを生成することは、
前記頭部画像に対して顔画像分割を行い、前記頭部画像に含まれる顔画像の境界を決定することと、
前記顔画像の前記境界及び前記動画素材に基づいて、前記顔画像の前記境界上又は前記顔画像の前記境界付近に予め設定された領域に位置する、前記動画素材と前記頭部画像との接続点を決定することと、
前記接続点により、前記頭部画像を前記予め設定された動画素材と合成して、前記対象者の前記アバターを生成することと、を含む。
前記頭部画像に対して顔画像分割を行い、前記頭部画像に含まれる顔画像の境界を決定することと、
前記顔画像の前記境界及び前記動画素材に基づいて、前記顔画像の前記境界上又は前記顔画像の前記境界付近に予め設定された領域に位置する、前記動画素材と前記頭部画像との接続点を決定することと、
前記接続点により、前記頭部画像を前記予め設定された動画素材と合成して、前記対象者の前記アバターを生成することと、を含む。
【0100】
本開示の１つ又は複数の実施例によれば、前記頭部画像を前記予め設定された動画素材と合成する前に、
前記頭部画像に基づいて、前記対象者の属性情報を取得することと、
前記属性情報に基づいて、予め設定された動画素材集から前記属性情報に一致する動画素材を選択することと、をさらに含む。
前記頭部画像に基づいて、前記対象者の属性情報を取得することと、
前記属性情報に基づいて、予め設定された動画素材集から前記属性情報に一致する動画素材を選択することと、をさらに含む。
【0101】
本開示の１つ又は複数の実施例によれば、前記頭部画像を前記予め設定された動画素材と合成する前に、
前記顔画像の境界の寸法情報を取得することと、
前記寸法情報に基づいて、予め設定された動画素材集から前記寸法情報に一致する動画素材を選択することと、をさらに含む。
前記顔画像の境界の寸法情報を取得することと、
前記寸法情報に基づいて、予め設定された動画素材集から前記寸法情報に一致する動画素材を選択することと、をさらに含む。
【0102】
本開示の１つ又は複数の実施例によれば、前記頭部画像を前記予め設定された動画素材と合成することは、
前記頭部画像に基づいて、前記動画素材を調整し、前記頭部画像を調整後の動画素材と合成することを含む。
前記頭部画像に基づいて、前記動画素材を調整し、前記頭部画像を調整後の動画素材と合成することを含む。
【0103】
本開示の１つ又は複数の実施例によれば、前記頭部画像を前記予め設定された動画素材と合成して、前記対象者の前記アバターを生成する前に、
横方向軸線及び／又は縦方向軸線を含む前記頭部画像の軸線を取得することと、
前記横方向軸線が水平に保たれ及び／又は前記縦方向軸線が垂直に保たれるように、前記頭部画像の前記軸線に基づいて前記頭部画像の角度を調整することと、をさらに含む。
横方向軸線及び／又は縦方向軸線を含む前記頭部画像の軸線を取得することと、
前記横方向軸線が水平に保たれ及び／又は前記縦方向軸線が垂直に保たれるように、前記頭部画像の前記軸線に基づいて前記頭部画像の角度を調整することと、をさらに含む。
【0104】
本開示の１つ又は複数の実施例によれば、前記リアルタイムシーン画像に対象者の顔画像が含まれる場合、前記リアルタイムシーン画像から前記対象者の頭部画像を取得することは、
前記リアルタイムシーン画像に前記対象者の前記顔画像が含まれ、かつ第１の予め設定された条件を満たす場合、前記リアルタイムシーン画像から前記対象者の前記頭部画像を取得することを含む。ここで、前記第１の予め設定された条件は、
前記リアルタイムシーン画像に占める前記顔画像の面積割合が予め設定された割合閾値を超えること、又は
前記顔画像が前記リアルタイムシーン画像の中心領域に位置すること、又は
ユーザによる前記対象者の選択命令を受信すること、の少なくとも１つを含む。
前記リアルタイムシーン画像に前記対象者の前記顔画像が含まれ、かつ第１の予め設定された条件を満たす場合、前記リアルタイムシーン画像から前記対象者の前記頭部画像を取得することを含む。ここで、前記第１の予め設定された条件は、
前記リアルタイムシーン画像に占める前記顔画像の面積割合が予め設定された割合閾値を超えること、又は
前記顔画像が前記リアルタイムシーン画像の中心領域に位置すること、又は
ユーザによる前記対象者の選択命令を受信すること、の少なくとも１つを含む。
【0105】
本開示の１つ又は複数の実施例によれば、前記方法はさらに、
第２の予め設定された条件を満たすならば、前記リアルタイムシーン画像から対象物の画像を取得し、前記対象物の前記画像に基づいて前記対象物のアバターを生成して、拡張現実表示技術に基づいて、前記リアルタイムシーン画像に前記対象物の前記アバターを表示することを含む。
ここで、前記第２の予め設定された条件は、
前記リアルタイムシーン画像に前記顔画像が含まれないこと、又は
前記リアルタイムシーン画像において、前記リアルタイムシーン画像に占める前記顔画像の面積割合が予め設定された割合閾値を超えていないこと、又は
前記リアルタイムシーン画像において、前記顔画像が前記リアルタイムシーン画像の中心領域に位置しないこと、又は
前記リアルタイムシーン画像における前記顔画像が前記対象者の横顔であり、かつ前記対象者の横顔の振れ角度が予め設定された角度閾値を超えること、又は
ユーザによる前記リアルタイムシーン画像における前記対象物の選択命令を受信すること、の少なくとも１つを含む。
第２の予め設定された条件を満たすならば、前記リアルタイムシーン画像から対象物の画像を取得し、前記対象物の前記画像に基づいて前記対象物のアバターを生成して、拡張現実表示技術に基づいて、前記リアルタイムシーン画像に前記対象物の前記アバターを表示することを含む。
ここで、前記第２の予め設定された条件は、
前記リアルタイムシーン画像に前記顔画像が含まれないこと、又は
前記リアルタイムシーン画像において、前記リアルタイムシーン画像に占める前記顔画像の面積割合が予め設定された割合閾値を超えていないこと、又は
前記リアルタイムシーン画像において、前記顔画像が前記リアルタイムシーン画像の中心領域に位置しないこと、又は
前記リアルタイムシーン画像における前記顔画像が前記対象者の横顔であり、かつ前記対象者の横顔の振れ角度が予め設定された角度閾値を超えること、又は
ユーザによる前記リアルタイムシーン画像における前記対象物の選択命令を受信すること、の少なくとも１つを含む。
【0106】
本開示の１つ又は複数の実施例によれば、前記方法はさらに、
前記動画素材を再生して、前記対象者の前記アバターに対して動作制御を行うことを含む。
前記動画素材を再生して、前記対象者の前記アバターに対して動作制御を行うことを含む。
【0107】
本開示の１つ又は複数の実施例によれば、前記動画素材を再生して、前記対象者の前記アバターに対して動作制御を行うことは、
前記動画素材の予め設定された動画フレームに基づいて、前記動画素材を再生して、前記対象者の前記アバターに対して動作制御を行うことを含む。
前記動画素材の予め設定された動画フレームに基づいて、前記動画素材を再生して、前記対象者の前記アバターに対して動作制御を行うことを含む。
【0108】
本開示の１つ又は複数の実施例によれば、前記方法はさらに、
ユーザによる前記対象者の前記アバターの制御命令に応答して、前記対象者の前記アバターに対して対応する制御を行うことを含む。前記制御命令は、
回転制御命令、縮小制御命令、移動制御命令及び拡大制御命令の少なくとも１つを含む。
ユーザによる前記対象者の前記アバターの制御命令に応答して、前記対象者の前記アバターに対して対応する制御を行うことを含む。前記制御命令は、
回転制御命令、縮小制御命令、移動制御命令及び拡大制御命令の少なくとも１つを含む。
【0109】
第２の態様では、本開示の１つ又は複数の実施例によれば、拡張現実に基づく表示機器を提供し、
リアルタイムシーン画像を取得するための取得ユニットと、
前記リアルタイムシーン画像に対象者の顔画像が含まれる場合、前記リアルタイムシーン画像から前記対象者の頭部画像を取得するための画像分割ユニットであって、前記対象者の前記頭部画像が前記対象者の前記顔画像を含む画像分割ユニットと、
前記頭部画像に基づいて、前記対象者のアバターを生成するための生成ユニットと、
拡張現実表示技術に基づいて、前記リアルタイムシーン画像に前記対象者の前記アバターを表示するための表示ユニットと、を含む。
リアルタイムシーン画像を取得するための取得ユニットと、
前記リアルタイムシーン画像に対象者の顔画像が含まれる場合、前記リアルタイムシーン画像から前記対象者の頭部画像を取得するための画像分割ユニットであって、前記対象者の前記頭部画像が前記対象者の前記顔画像を含む画像分割ユニットと、
前記頭部画像に基づいて、前記対象者のアバターを生成するための生成ユニットと、
拡張現実表示技術に基づいて、前記リアルタイムシーン画像に前記対象者の前記アバターを表示するための表示ユニットと、を含む。
【0110】
本開示の１つ又は複数の実施例によれば、前記生成ユニットは、前記頭部画像に基づいて、前記対象者の前記アバターを生成するとき、
前記頭部画像を予め設定された動画素材と合成して、前記対象者のアバターを前記生成するために用いられる。
前記頭部画像を予め設定された動画素材と合成して、前記対象者のアバターを前記生成するために用いられる。
【0111】
本開示の１つ又は複数の実施例によれば、前記生成ユニットは、前記頭部画像を前記予め設定された動画素材と合成して、前記対象者の前記アバターを生成するとき、
前記頭部画像に対して顔画像分割を行い、前記頭部画像に含まれる前記顔画像の境界を決定することと、
前記顔画像の前記境界及び前記動画素材に基づいて、前記顔画像の前記境界上又は前記顔画像の前記境界付近に予め設定された領域に位置する、前記動画素材と前記頭部画像との接続点を決定することと、
前記接続点により、前記頭部画像を前記予め設定された動画素材と合成して、前記対象者の前記アバターを生成することとのために用いられる。
前記頭部画像に対して顔画像分割を行い、前記頭部画像に含まれる前記顔画像の境界を決定することと、
前記顔画像の前記境界及び前記動画素材に基づいて、前記顔画像の前記境界上又は前記顔画像の前記境界付近に予め設定された領域に位置する、前記動画素材と前記頭部画像との接続点を決定することと、
前記接続点により、前記頭部画像を前記予め設定された動画素材と合成して、前記対象者の前記アバターを生成することとのために用いられる。
【0112】
本開示の１つ又は複数の実施例によれば、前記生成ユニットは、前記頭部画像を前記予め設定された動画素材と合成する前に、さらに、
前記頭部画像に基づいて、前記対象者の属性情報を取得することと、
前記属性情報に基づいて、予め設定された動画素材集から前記属性情報に一致する動画素材を選択することとのために用いられる。
前記頭部画像に基づいて、前記対象者の属性情報を取得することと、
前記属性情報に基づいて、予め設定された動画素材集から前記属性情報に一致する動画素材を選択することとのために用いられる。
【0113】
本開示の１つ又は複数の実施例によれば、前記生成ユニットは、前記頭部画像を前記予め設定された動画素材と合成する前に、さらに、
前記顔画像の境界の寸法情報を取得することと、
前記寸法情報に基づいて、予め設定された動画素材集から前記寸法情報に一致する動画素材を選択することとのために用いられる。
前記顔画像の境界の寸法情報を取得することと、
前記寸法情報に基づいて、予め設定された動画素材集から前記寸法情報に一致する動画素材を選択することとのために用いられる。
【0114】
本開示の１つ又は複数の実施例によれば、前記生成ユニットは、前記頭部画像を前記予め設定された動画素材と合成するとき、
前記頭部画像に基づいて、前記動画素材を調整し、前記頭部画像を調整後の動画素材と合成するために用いられる。
前記頭部画像に基づいて、前記動画素材を調整し、前記頭部画像を調整後の動画素材と合成するために用いられる。
【0115】
本開示の１つ又は複数の実施例によれば、前記生成ユニットは、前記頭部画像を前記予め設定された動画素材と合成して、前記対象者の前記アバターを生成する前に、さらに、
横方向軸線及び／又は縦方向軸線を含む前記頭部画像の軸線を取得することと、
前記横方向軸線が水平に保たれ及び／又は前記縦方向軸線が垂直に保たれるように、前記頭部画像の前記軸線に基づいて前記頭部画像の角度を調整することとのために用いられる。
横方向軸線及び／又は縦方向軸線を含む前記頭部画像の軸線を取得することと、
前記横方向軸線が水平に保たれ及び／又は前記縦方向軸線が垂直に保たれるように、前記頭部画像の前記軸線に基づいて前記頭部画像の角度を調整することとのために用いられる。
【0116】
本開示の１つ又は複数の実施例によれば、前記画像分割ユニットは、前記リアルタイムシーン画像に前記対象者の前記顔画像が含まれる場合、前記リアルタイムシーン画像から前記対象者の前記頭部画像を取得するとき、
前記リアルタイムシーン画像に前記対象者の前記顔画像が含まれ、かつ第１の予め設定された条件を満たす場合、前記リアルタイムシーン画像から前記対象者の前記頭部画像を取得するために用いられる。ここで、前記第１の予め設定された条件は、
前記リアルタイムシーン画像に占める前記顔画像の面積割合が予め設定された割合閾値を超えること、又は
前記顔画像が前記リアルタイムシーン画像の中心領域に位置すること、又は
ユーザによる前記対象者の選択命令を受信すること、の少なくとも１つを含む。
前記リアルタイムシーン画像に前記対象者の前記顔画像が含まれ、かつ第１の予め設定された条件を満たす場合、前記リアルタイムシーン画像から前記対象者の前記頭部画像を取得するために用いられる。ここで、前記第１の予め設定された条件は、
前記リアルタイムシーン画像に占める前記顔画像の面積割合が予め設定された割合閾値を超えること、又は
前記顔画像が前記リアルタイムシーン画像の中心領域に位置すること、又は
ユーザによる前記対象者の選択命令を受信すること、の少なくとも１つを含む。
【0117】
本開示の１つ又は複数の実施例によれば、前記画像分割ユニットはまた、第２の予め設定された条件を満たす場合、前記リアルタイムシーン画像から対象物の画像を取得するために用いられる。
前記生成ユニットはまた、前記対象物の画像に基づいて前記対象物のアバターを生成するために用いられる。
前記表示ユニットはまた、拡張現実表示技術に基づいて、前記リアルタイムシーン画像に前記対象物の前記アバターを表示するために用いられる。
ここで、前記第２の予め設定された条件は、
前記リアルタイムシーン画像に前記顔画像が含まれないこと、又は
前記リアルタイムシーン画像において、前記リアルタイムシーン画像に占める前記顔画像の面積割合が予め設定された割合閾値を超えていないこと、又は
前記リアルタイムシーン画像において、前記顔画像が前記リアルタイムシーン画像の中心領域に位置しないこと、又は
前記リアルタイムシーン画像における前記顔画像が前記対象者の横顔であり、かつ前記対象者の横顔の振れ角度が予め設定された角度閾値を超えること、又は
ユーザによる前記リアルタイムシーン画像における前記対象物の選択命令を受信すること、の少なくとも１つを含む。
前記生成ユニットはまた、前記対象物の画像に基づいて前記対象物のアバターを生成するために用いられる。
前記表示ユニットはまた、拡張現実表示技術に基づいて、前記リアルタイムシーン画像に前記対象物の前記アバターを表示するために用いられる。
ここで、前記第２の予め設定された条件は、
前記リアルタイムシーン画像に前記顔画像が含まれないこと、又は
前記リアルタイムシーン画像において、前記リアルタイムシーン画像に占める前記顔画像の面積割合が予め設定された割合閾値を超えていないこと、又は
前記リアルタイムシーン画像において、前記顔画像が前記リアルタイムシーン画像の中心領域に位置しないこと、又は
前記リアルタイムシーン画像における前記顔画像が前記対象者の横顔であり、かつ前記対象者の横顔の振れ角度が予め設定された角度閾値を超えること、又は
ユーザによる前記リアルタイムシーン画像における前記対象物の選択命令を受信すること、の少なくとも１つを含む。
【0118】
本開示の１つ又は複数の実施例によれば、前記表示ユニットはさらに、
前記動画素材を再生して、前記対象者の前記アバターに対して動作制御を行うために用いられる。
前記動画素材を再生して、前記対象者の前記アバターに対して動作制御を行うために用いられる。
【0119】
本開示の１つ又は複数の実施例によれば、前記表示ユニットは、前記動画素材を再生して、前記対象者の前記アバターに対して動作制御を行うとき、
前記動画素材の予め設定された動画フレームに基づいて、前記動画素材を再生して、前記対象者の前記アバターに対して動作制御を行うために用いられる。
前記動画素材の予め設定された動画フレームに基づいて、前記動画素材を再生して、前記対象者の前記アバターに対して動作制御を行うために用いられる。
【0120】
本開示の１つ又は複数の実施例によれば、前記表示ユニットはさらに、
ユーザによる前記対象者の前記アバターの制御命令に応答して、前記対象者の前記アバターに対して対応する制御を行うために用いられる。前記制御命令は、
回転制御命令、縮小制御命令、移動制御命令及び拡大制御命令の少なくとも１つを含む。
ユーザによる前記対象者の前記アバターの制御命令に応答して、前記対象者の前記アバターに対して対応する制御を行うために用いられる。前記制御命令は、
回転制御命令、縮小制御命令、移動制御命令及び拡大制御命令の少なくとも１つを含む。
【0121】
第３の態様では、本開示の１つ又は複数の実施例によれば、電子機器を提供し、少なくとも１つのプロセッサとメモリを含み、
前記メモリにはコンピュータ実行命令が記憶されており、
前記少なくとも１つのプロセッサは、前記メモリに記憶されているコンピュータ実行命令を実行することにより、前記少なくとも１つのプロセッサに、第１の態様及び第１の態様の様々な可能な設計に記載の拡張現実に基づく方法を実行させる。
前記メモリにはコンピュータ実行命令が記憶されており、
前記少なくとも１つのプロセッサは、前記メモリに記憶されているコンピュータ実行命令を実行することにより、前記少なくとも１つのプロセッサに、第１の態様及び第１の態様の様々な可能な設計に記載の拡張現実に基づく方法を実行させる。
【0122】
第４の態様では、本開示の１つ又は複数の実施例によれば、コンピュータ実行命令を記憶しているコンピュータ可読記憶媒体を提供し、プロセッサが前記コンピュータ実行命令を実行するとき、第１の態様及び第１の態様の様々な可能な設計に記載の拡張現実に基づく方法を実現させる。
【0123】
第５の態様では、本開示の１つ又は複数の実施例によれば、コンピュータ命令を含むコンピュータプログラム製品を提供し、このコンピュータ命令がプロセッサにより実行されるとき、第１の態様及び第１の態様の様々な可能な設計に記載の拡張現実に基づく表示方法を実現させる。
【0124】
第６の態様では、本開示の１つ又は複数の実施例によれば、コンピュータプログラムを提供し、このコンピュータプログラムがプロセッサにより実行されるとき、第１の態様及び第１の態様の様々な可能な設計に記載の拡張現実に基づく表示方法を実現させる。
【0125】
上記の記載は、本開示の好ましい実施例及び使用される技術的原理の説明に過ぎない。本開示に係る開示範囲は、前記技術的特徴の特定の組み合わせによる技術案に限定されるものではなく、前記技術的特徴又はその同等の特徴の任意の組み合わせによる他の技術案であっても、前記開示の要旨から逸脱しない範囲で含まれることは、当業者に理解されるべきである。例えば、前記特徴と本開示に開示される（が、これに限定されない）類似の機能を有する技術的特徴とを入れ替えて形成する技術案である。
【0126】
また、各操作は特定の順序で示されているが、これは、これらの操作が示された特定の順序又は順次順序で実行されることを必要とするものとして理解されるべきではない。特定の環境では、マルチタスクと及び並列処理が有利である場合がある。同様に、いくつかの具体的な実現の詳細が上記の説明に含まれているが、これらは、本開示の範囲を限定するものと解釈されるべきではない。個々の実施例の説明に記載のいくつかの特徴は、単一の実施例において組み合わせて実装することもできる。むしろ、単一の実施例の説明に記載の様々な特徴は、単独で、又は任意の適切なサブコンビネーションで、複数の実施例において実装されてもよい。
【0127】
本発明は、構造的特徴及び／又は方法論理動作に特有の言語で説明されてきたが、特許請求の範囲において限定される発明は、必ずしも上述の特定の特徴又は動作に限定されないことを理解されたい。むしろ、上記の特定の特徴及び動作は、特許請求の範囲を実現するための例示的な形態にすぎない。
【0128】
本願は、２０２１年０２月０９日に中国特許庁に提出された、出願番号が２０２１１０１８２０６０.Ｘで、発明の名称が「拡張現実に基づく表示方法、装置、記憶媒体及びプログラム製品」である中国特許出願の優先権を主張する。その内容は、すべて援用により本願に組み込まれる。
【図1】
【図2】
【図3a】
【図3b】
【図3c】
【図3d】
【図4】
【図5】
【図6】
【図7】
【図8】
【手続補正書】
【提出日】2022-06-01
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
リアルタイムシーン画像を取得することと、前記リアルタイムシーン画像に対象者の顔画像が含まれる場合、前記リアルタイムシーン画像から前記対象者の頭部画像を取得することであって、前記対象者の前記頭部画像が前記対象者の前記顔画像を含むことと、
前記頭部画像に基づいて、前記対象者のアバターを生成することと、
拡張現実表示技術に基づいて、前記リアルタイムシーン画像に前記対象者の前記アバターを表示することと、を含む
拡張現実に基づく表示方法。
【請求項2】
前記頭部画像に基づいて、前記対象者のアバターを生成することは、前記頭部画像を予め設定された動画素材と合成して、前記対象者の前記アバターを生成することを含む、請求項１に記載の方法。
【請求項3】
前記頭部画像を予め設定された動画素材と合成して、前記対象者の前記アバターを生成することは、前記頭部画像に対して顔画像分割を行い、前記頭部画像に含まれる前記顔画像の境界を決定することと、
前記顔画像の前記境界及び前記動画素材に基づいて、前記顔画像の前記境界上又は前記顔画像の前記境界付近に予め設定された領域に位置する、前記動画素材と前記頭部画像との接続点を決定することと、
前記接続点により、前記頭部画像を前記予め設定された動画素材と合成して、前記対象者の前記アバターを生成することと、を含む、請求項２に記載の方法。
【請求項4】
前記頭部画像を前記予め設定された動画素材と合成する前に、前記頭部画像に基づいて、前記対象者の属性情報を取得することと、
前記属性情報に基づいて、予め設定された動画素材集から前記属性情報に一致する動画素材を選択することと、をさらに含む、請求項２又は請求項３に記載の方法。
【請求項5】
前記頭部画像を前記予め設定された動画素材と合成する前に、前記顔画像の前記境界の寸法情報を取得することと、
前記寸法情報に基づいて、予め設定された動画素材集から前記寸法情報に一致する動画素材を選択することと、をさらに含む、請求項３に記載の方法。
【請求項6】
前記頭部画像を前記予め設定された動画素材と合成することは、前記頭部画像に基づいて、前記動画素材を調整し、前記頭部画像を調整後の動画素材と合成することを含む、請求項２～５のいずれか一項に記載の方法。
【請求項7】
前記頭部画像を前記予め設定された動画素材と合成して、前記対象者の前記アバターを生成する前に、横方向軸線及び／又は縦方向軸線を含む前記頭部画像の軸線を取得することと、
前記横方向軸線が水平に保たれ及び／又は前記縦方向軸線が垂直に保たれるように、前記頭部画像の前記軸線に基づいて前記頭部画像の角度を調整することと、をさらに含む、請求項２～６のいずれか一項に記載の方法。
【請求項8】
前記リアルタイムシーン画像に対象者の顔画像が含まれる場合、前記リアルタイムシーン画像から前記対象者の頭部画像を取得することは、前記リアルタイムシーン画像に前記対象者の前記顔画像が含まれ、かつ第１の予め設定された条件を満たす場合、前記リアルタイムシーン画像から前記対象者の前記頭部画像を取得することを含み、前記第１の予め設定された条件は、
前記リアルタイムシーン画像に占める前記顔画像の面積割合が予め設定された割合閾値を超えること、又は
前記顔画像が前記リアルタイムシーン画像の中心領域に位置すること、又は
ユーザによる前記対象者の選択命令を受信すること、の少なくとも１つを含む、請求項１～７のいずれか一項に記載の方法。
【請求項9】
第２の予め設定された条件を満たすならば、前記リアルタイムシーン画像から対象物の画像を取得し、前記対象物の前記画像に基づいて前記対象物のアバターを生成して、拡張現実表示技術に基づいて、前記リアルタイムシーン画像に前記対象物の前記アバターを表示することをさらに含み、前記第２の予め設定された条件は、前記リアルタイムシーン画像に前記顔画像が含まれないこと、又は
前記リアルタイムシーン画像において、前記リアルタイムシーン画像に占める前記顔画像の面積割合が予め設定された割合閾値を超えていないこと、又は
前記リアルタイムシーン画像において、前記顔画像が前記リアルタイムシーン画像の中心領域に位置しないこと、又は
前記リアルタイムシーン画像における前記顔画像が前記対象者の横顔であり、かつ前記対象者の横顔の振れ角度が予め設定された角度閾値を超えること、又は
ユーザによる前記リアルタイムシーン画像における前記対象物の選択命令を受信すること、の少なくとも１つを含む、請求項８に記載の方法。
【請求項10】
前記頭部画像と合成される動画素材を再生して、前記対象者の前記アバターに対して動作制御を行うことをさらに含む、請求項２～９のいずれか一項に記載の方法。
【請求項11】
前記動画素材を再生して、前記対象者の前記アバターに対して動作制御を行うことは、前記動画素材の予め設定された動画フレームに基づいて、前記動画素材を再生して、前記対象者の前記アバターに対して動作制御を行うことを含む、請求項１０に記載の方法。
【請求項12】
ユーザによる前記対象者の前記アバターの制御命令に応答して、前記対象者の前記アバターに対して対応する制御を行うことをさらに含み、前記制御命令は、回転制御命令、縮小制御命令、移動制御命令及び拡大制御命令の少なくとも１つを含む、請求項１～１１のいずれか一項に記載の方法。
【請求項13】
リアルタイムシーン画像を取得するための取得ユニットと、前記リアルタイムシーン画像に対象者の顔画像が含まれる場合、前記リアルタイムシーン画像から前記対象者の前記顔画像を含む前記対象者の頭部画像を取得するための画像分割ユニットと、
前記頭部画像に基づいて、前記対象者のアバターを生成するための生成ユニットと、
拡張現実表示技術に基づいて、前記リアルタイムシーン画像に前記対象者の前記アバターを表示するための表示ユニットと、を含む
拡張現実に基づく表示機器。
【請求項14】
少なくとも１つのプロセッサとメモリを含む電子機器であって、前記メモリにはコンピュータ実行命令が記憶されており、
前記少なくとも１つのプロセッサが前記メモリに記憶されているコンピュータ実行命令を実行することにより、前記少なくとも１つのプロセッサに、請求項１～１２のいずれか１項に記載の方法を実行させる、電子機器。
【請求項15】
プロセッサによって実行されるときに請求項１～１２のいずれか１項に記載の方法を実現させるコンピュータ実行命令が記憶されているコンピュータ可読記憶媒体。
【請求項16】
プロセッサによって実行されるときに請求項１～１２のいずれか１項に記載の方法が実現されるコンピュータプログラム。
【手続補正2】
【補正対象書類名】明細書
【補正対象項目名】０００４
【補正方法】変更
【補正の内容】
【0004】
本開示の実施例は、仮想モデルイメージが単一で、ユーザの多様化のニーズを満たすことができない問題を解決するために、拡張現実に基づく表示方法、機器、記憶媒体及びプログラム製品を提供する。
【手続補正3】
【補正対象書類名】明細書
【補正対象項目名】００１８
【補正方法】変更
【補正の内容】
【0018】
本開示の実施例は、任意のＡＲ機能を備える電子機器に適用可能であり、例えばスマートフォン、タブレット、ウェアラブルデバイスなどが挙げられる。本開示の実施例の適用シーンは後述するシーンを含んでもよい。例えば、電子機器は、その画像収集ユニットによりリアルタイムシーン画像を収集し、シーン画像における対象者の頭部画像に基づいて対象者のアバターを生成し、本開示の各実施例の拡張現実の表示方法により、最終的に、対象者に対応するアバターをリアルタイムシーンで拡張表示する。ここで、拡張表示は、拡張現実表示技術に基づく対象者のアバター表示を含む。例えば、リアルタイムシーン画像に人物Ａの顔画像が含まれると、本開示の実施例におけるアバター生成方法を用いて人物Ａのアバターを生成し、様々なプリセット動作を行うことができる肢体を人物Ａの頭部画像に加え、本開示の各実施例の拡張現実の表示方法により、人物Ａのアバターをリアルタイムシーン画像で拡張表示してさらに動画形式でダイナミックに表示することで、人物Ａのアバターをリアルタイムシーンで動かせる。
【手続補正4】
【補正対象書類名】明細書
【補正対象項目名】００２３
【補正方法】変更
【補正の内容】
【0023】
本実施例において、リアルタイムシーン画像には対象者の顔画像が含まれる可能性があり、対象者の顔画像は人の顔画像であってもよいし、代わりに猫、犬などの動物の顔画像であってもよい。電子機器は、リアルタイムシーン画像に対して顔検出を行い、リアルタイムシーン画像に対象者の顔画像が含まれると決定する場合、リアルタイムシーン画像から対象者の頭部画像を取得する。対象者の頭部画像は対象者の顔画像を含み、即ち、対象者の頭部画像は、対象者の顔画像に加えて、対象者の顔以外の髪画像、頭飾り画像などを含んでもよい。ここで、リアルタイムシーン画像から対象者の頭部画像を取得する過程は特に限定されず、リアルタイムシーン画像から対象者の頭部画像を分割できれば、人頭部画像分割アルゴリズムなどの従来技術における任意の画像分割方法を用いてもよい。１つの代替的な実施例において、対象者の頭部画像は、予め撮影された写真から取得されてもよく、又は他の方法で取得されてもよい。
【手続補正5】
【補正対象書類名】明細書
【補正対象項目名】００６０
【補正方法】変更
【補正の内容】
【0060】
説明すべきものとして、リアルタイムシーン画像に複数のオブジェクトの顔画像が含まれる場合、上述の条件を用いてその中の少なくとも１つのオブジェクトを対象者として選択してもよく、例えば、複数のオブジェクトから、前記リアルタイムシーン画像に占める顔画像の面積割合が予め設定された割合閾値を超えるオブジェクトを対象者として選択し、又は顔画像が前記リアルタイムシーン画像の中心領域に位置するオブジェクトを対象者として選択し、又はユーザによっていずれのオブジェクトを対象者とするかを指定し、さらに、リアルタイムシーン画像から対象者の頭部画像を取得する。
【手続補正6】
【補正対象書類名】明細書
【補正対象項目名】００９４
【補正方法】変更
【補正の内容】
【0094】
本開示の実施例において記載されるユニットは、ソフトウェアの形態で実現されてもよいし、ハードウェアの形態で実現されてもよい。ここで、ユニットの名称は、ある場合には、当該ユニット自体を限定するものではない。
【国際調査報告】