知財求人 - 知財ポータルサイト「IP Force」
▶ シェンチェン テトラス．エーアイ テクノロジー カンパニー リミテッドの特許一覧
特表2023-533022集合写真の画像生成方法、装置、機器、記憶媒体、コンピュータプログラム及び製品
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2023-08-01
(54)【発明の名称】集合写真の画像生成方法、装置、機器、記憶媒体、コンピュータプログラム及び製品
(51)【国際特許分類】
G06T 19/00 20110101AFI20230725BHJP
【ＦＩ】
G06T19/00 600
【審査請求】有
【予備審査請求】未請求
(21)【出願番号】P 2023501067
(86)(22)【出願日】2021-07-16
(85)【翻訳文提出日】2023-01-06
(86)【国際出願番号】 CN2021106939
(87)【国際公開番号】W WO2022151687
(87)【国際公開日】2022-07-21
(31)【優先権主張番号】202110056318.1
(32)【優先日】2021-01-15
(33)【優先権主張国・地域又は機関】CN
(81)【指定国・地域】
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．ＳＭＡＬＬＴＡＬＫ
(71)【出願人】
【識別番号】522208900
【氏名又は名称】シェンチェン テトラス．エーアイ テクノロジー カンパニー リミテッド
(74)【代理人】
【識別番号】100078282
【弁理士】
【氏名又は名称】山本 秀策
(74)【代理人】
【識別番号】100113413
【弁理士】
【氏名又は名称】森下 夏樹
(74)【代理人】
【識別番号】100181674
【弁理士】
【氏名又は名称】飯田 貴敏
(74)【代理人】
【識別番号】100181641
【弁理士】
【氏名又は名称】石川 大輔
(74)【代理人】
【識別番号】230113332
【弁護士】
【氏名又は名称】山本 健策
(72)【発明者】
【氏名】薛地
(72)【発明者】
【氏名】王▲權▼
【テーマコード（参考）】
5B050
【Ｆターム（参考）】
5B050BA09
5B050BA12
5B050CA07
5B050DA04
5B050DA05
5B050EA06
5B050EA07
5B050EA13
5B050EA19
5B050FA05
5B050FA10
(57)【要約】
本願は、集合写真の画像生成方法、装置、機器、記憶媒体、コンピュータプログラム及び製品に関する。前記方法は、実景画像を取得することと、実景画像に対して識別を行い、実景画像における目標対象及び拡張現実ＡＲ場面における目標対象の第１位置を決定することと、第１位置とＡＲ場面におけるＡＲ対象の第２位置とに基づいて、ＡＲプレビュー画像を表示することと、ＡＲプレビュー画像に対する集合写真生成操作に応答して、目標対象とＡＲ対象のＡＲ集合写真画像を生成することと、を含む。
【特許請求の範囲】
【請求項1】
集合写真の画像生成方法であって、実景画像を取得することと、
前記実景画像に対して識別を行い、前記実景画像における目標対象と拡張現実（ＡＲ）場面における前記目標対象の第１位置とを決定することと、
前記第１位置と前記ＡＲ場面におけるＡＲ対象の第２位置とに基づいて、ＡＲプレビュー画像を表示することと、
前記ＡＲプレビュー画像に対する集合写真生成操作に応答して、前記目標対象と前記ＡＲ対象のＡＲ集合写真画像を生成することと、を含む、集合写真の画像生成方法。
【請求項2】
前記実景画像に対して識別を行い、前記実景画像における目標対象と拡張現実（ＡＲ）場面における前記目標対象の第１位置とを決定することは、前記実景画像に対して人体識別を行い、前記実景画像における目標対象の所在する人体領域を決定することと、
前記人体領域に基づいて、前記ＡＲ場面における前記目標対象の第１深度を決定することであって、前記第１位置は前記第１深度を含む、ことと、を含むことを特徴とする
請求項１に記載の方法。
【請求項3】
前記ＡＲ対象の第２位置は、前記ＡＲ場面における前記ＡＲ対象の第２深度を含み、前記第１位置と前記ＡＲ場面におけるＡＲ対象の第２位置とに基づいて、ＡＲプレビュー画像を表示することは、
前記第１深度と前記第２深度との相対的関係に基づいて、前記実景画像において、前記ＡＲ対象をレンダリングし、ＡＲプレビュー画像を生成して表示することを含むことを特徴とする
請求項１又は２に記載の方法。
【請求項4】
前記方法は、前記実景画像に対して人体キーポイント検出を行い、前記実景画像における目標対象の人体姿勢を決定することを更に含み、
前記第１位置と前記ＡＲ場面におけるＡＲ対象の第２位置とに基づいて、ＡＲプレビュー画像を表示することは、
前記第１位置、前記第２位置及び前記目標対象の人体姿勢に基づいて、ＡＲプレビュー画像を表示することを含むことを特徴とする
請求項１から３のいずれか一項に記載の方法。
【請求項5】
前記第１位置、前記第２位置及び前記目標対象の人体姿勢に基づいて、ＡＲプレビュー画像を表示することは、前記目標対象の人体姿勢に基づいて、前記ＡＲ対象の第１姿勢を決定することであって、前記ＡＲ対象の第１姿勢と前記目標対象の人体姿勢とが対称である、ことと、
前記第１姿勢、前記第１位置及び前記第２位置に基づいて、第１ＡＲプレビュー画像を生成して表示することであって、前記第１ＡＲプレビュー画像は、前記第１姿勢を有するＡＲ対象を含む、ことと、を含むことを特徴とする
請求項４に記載の方法。
【請求項6】
前記第１位置、前記第２位置及び前記目標対象の人体姿勢に基づいて、ＡＲプレビュー画像を表示することは、前記目標対象の人体姿勢に基づいて、前記目標対象の人体姿勢に対応する動作種別を決定することと、
前記動作種別に基づいて、前記ＡＲ対象の第２姿勢を決定することであって、前記ＡＲ対象の第２姿勢は前記動作種別とマッチングしている、ことと、
前記第２姿勢、前記第１位置及び前記第２位置に基づいて、第２ＡＲプレビュー画像を生成して表示することであって、前記第２ＡＲプレビュー画像は前記第２姿勢を有するＡＲ対象を含む、ことと、を含むことを特徴とする
請求項４又は５に記載の方法。
【請求項7】
前記ＡＲプレビュー画像は、複数フレームのＡＲプレビュー画像を含み、前記ＡＲプレビュー画像に対する集合写真生成操作に応答して、前記目標対象と前記ＡＲ対象のＡＲ集合写真画像を生成することは、前記複数フレームのＡＲプレビュー画像に対する集合写真生成操作に応答して、前記目標対象と前記ＡＲ対象のＡＲ集合写真ビデオを生成することを含むことを特徴とする
請求項１から６のいずれか一項に記載の方法。
【請求項8】
集合写真の画像生成装置であって、実景画像を取得ように構成される取得モジュールと、
前記実景画像に対して識別を行い、前記実景画像における目標対象と拡張現実（ＡＲ）場面における前記目標対象の第１位置とを決定するように構成される決定モジュールと、
前記第１位置と前記ＡＲ場面におけるＡＲ対象の第２位置とに基づいて、ＡＲプレビュー画像を表示するように構成される表示モジュールと、
前記ＡＲプレビュー画像に対する集合写真生成操作に応答して、前記目標対象と前記ＡＲ対象のＡＲ集合写真画像を生成するように構成される生成モジュールと、を備える、集合写真の画像生成装置。
【請求項9】
前記決定モジュールは、前記実景画像に対して人体識別を行い、前記実景画像における目標対象の所在する人体領域を決定するように構成される人体領域決定サブモジュールと、
前記人体領域に基づいて、前記ＡＲ場面における前記目標対象の第１深度を決定するように構成される第１深度決定サブモジュールであって、前記第１位置は前記第１深度を含む、第１深度決定サブモジュールと、を備えることを特徴とする
請求項８に記載の装置。
【請求項10】
前記ＡＲ対象の第２位置は、前記ＡＲ場面における前記ＡＲ対象の第２深度を含み、前記表示モジュールは、前記第１深度と前記第２深度との相対的関係に基づいて、前記実景画像において、前記ＡＲ対象をレンダリングし、ＡＲプレビュー画像を生成して表示するように構成される第１表示サブモジュールを備えることを特徴とする
請求項８又は９に記載の装置。
【請求項11】
前記装置は、前記実景画像に対して人体キーポイント検出を行い、前記実景画像における目標対象の人体姿勢を決定するように構成される姿勢決定モジュールを更に備え、
前記表示モジュールは、前記第１位置、前記第２位置及び前記目標対象の人体姿勢に基づいて、ＡＲプレビュー画像を表示するように構成される第２表示サブモジュールを備えることを特徴とする
請求項８から１０のいずれか一項に記載の装置。
【請求項12】
前記第２表示サブモジュールは、前記目標対象の人体姿勢に基づいて、前記ＡＲ対象の第１姿勢を決定するように構成される第１姿勢決定ユニットであって、前記ＡＲ対象の第１姿勢と前記目標対象の人体姿勢とが対称である、第１姿勢決定ユニットと、
前記第１姿勢、前記第１位置及び前記第２位置に基づいて、第１ＡＲプレビュー画像を生成して表示するように構成される第１画像表示ユニットであって、前記第１ＡＲプレビュー画像は、前記第１姿勢を有するＡＲ対象を含む、第１画像表示ユニットと、を備えることを特徴とする
請求項１１に記載の装置。
【請求項13】
前記第２表示サブモジュールは、前記目標対象の人体姿勢に基づいて、前記目標対象の人体姿勢に対応する動作種別を決定するように構成される動作種別決定ユニットと、
前記動作種別に基づいて、前記ＡＲ対象の第２姿勢を決定するように構成される第２姿勢決定ユニットであって、前記ＡＲ対象の第２姿勢は前記動作種別とマッチングしている、第２姿勢決定ユニットと、
前記第２姿勢、前記第１位置及び前記第２位置に基づいて、第２ＡＲプレビュー画像を生成して表示するように構成される第２画像表示ユニットであって、前記第２ＡＲプレビュー画像は前記第２姿勢を有するＡＲ対象を含む、第２画像表示ユニットと、を備えることを特徴とする
請求項１１又は１２に記載の装置。
【請求項14】
前記ＡＲプレビュー画像は、複数フレームのＡＲプレビュー画像を含み、前記生成モジュールは、前記複数フレームのＡＲプレビュー画像に対する集合写真生成操作に応答して、前記目標対象と前記ＡＲ対象のＡＲ集合写真ビデオを生成するように構成される集合写真ビデオ生成サブモジュールを備えることを特徴とする
請求項８から１３のいずれか一項に記載の装置。
【請求項15】
電子機器であって、プロセッサと、
プロセッサによる実行可能な命令を記憶するように構成されるメモリと、を備え、
前記プロセッサは、前記メモリに記憶されている命令を呼び出し、請求項１から７のいずれか一項に記載の方法を実行するように構成される、電子機器。
【請求項16】
コンピュータ可読記憶媒体であって、前記コンピュータ可読記憶媒体に、コンピュータプログラム命令が記憶されており、前記コンピュータプログラム命令がプロセッサにより実行される時、請求項１から７のいずれか一項に記載の方法を実現する、コンピュータ可読記憶媒体。
【請求項17】
コンピュータプログラムであって、コンピュータ可読コードを含み、前記コンピュータ可読コードが電子機器において実行される時、前記電子機器におけるプロセッサは、請求項１から７のいずれか一項に記載の方法を実行する、コンピュータプログラム。
【請求項18】
コンピュータプログラム製品であって、前記コンピュータプログラム製品は、１つ又は複数の命令を含み、前記１つ又は複数の命令は、プロセッサによってロードされて請求項１から７のいずれか一項に記載の方法におけるステップを実行することに適する、コンピュータプログラム製品。
【発明の詳細な説明】
【技術分野】
【0001】
（関連出願の相互参照）
本願は、２０２１年０１月１５日に提出された、出願番号が２０２１１００５６３１８．１であり、出願名称が「集合写真の画像生成方法及び装置、電子機器並びに記憶媒体」である中国特許出願に基づいて提出され、当該中国特許出願に基づく優先権を主張し、その全内容が参照として本願に組み込まれる。
本願は、２０２１年０１月１５日に提出された、出願番号が２０２１１００５６３１８．１であり、出願名称が「集合写真の画像生成方法及び装置、電子機器並びに記憶媒体」である中国特許出願に基づいて提出され、当該中国特許出願に基づく優先権を主張し、その全内容が参照として本願に組み込まれる。
【0002】
本願は、コンピュータ技術分野に関し、特に集合写真の画像生成方法、装置、機器、記憶媒体、コンピュータプログラム及び製品に関する。
【背景技術】
【0003】
拡張現実（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ：ＡＲ）は、マンマシンインタラクション技術であり、この技術を利用することで、実場面をシミュレートすることができる。ＡＲ集合写真の生成は、ＡＲ技術の重要な応用であり、関連技術におけるＡＲ集合写真の生成方式には、没入感とリアリティが比較的に悪いという問題がある。
【発明の概要】
【課題を解決するための手段】
【0004】
本願は、集合写真の画像生成方案を提供する。
【0005】
本願の一態様によれば、集合写真の画像生成方法を提供する。前記方法は、実景画像を取得することと、前記実景画像に対して識別を行い、前記実景画像における目標対象及び拡張現実ＡＲ場面における前記目標対象の第１位置を決定することと、前記第１位置と前記ＡＲ場面におけるＡＲ対象の第２位置とに基づいて、ＡＲプレビュー画像を表示することと、前記ＡＲプレビュー画像に対する集合写真生成操作に応答して、前記目標対象と前記ＡＲ対象のＡＲ集合写真画像を生成することと、を含む。本願の実施例によれば、ＡＲ集合写真における仮想物体と実人物との相対的位置関係に基づき、仮想物体と実人物との遮蔽効果を実現し、ＡＲ集合写真場面における没入感とリアリティを向上させることができる。
【0006】
可能な実現形態において、前記実景画像に対して識別を行い、前記実景画像における目標対象及び拡張現実ＡＲ場面における前記目標対象の第１位置を決定することは、前記実景画像に対して人体識別を行い、前記実景画像における目標対象の所在する人体領域を決定することと、前記人体領域に基づいて、前記ＡＲ場面における前記目標対象の第１深度を決定することであって、前記第１位置は前記第１深度を含む、ことと、を含む。本願の実施例によれば、人体領域に基づいて、ＡＲ場面における目標対象の第１深度を正確に決定することができ、それによってＡＲプレビュー画像を生成する時、第１深度に基づいて、ＡＲ対象の前後位置を正確にレンダリングし、遮蔽効果を実現することができる。
【0007】
可能な実現形態において、前記ＡＲ対象の第２位置は、前記ＡＲ場面における前記ＡＲ対象の第２深度を含み、前記第１位置と前記ＡＲ場面におけるＡＲ対象の第２位置とに基づいて、ＡＲプレビュー画像を表示することは、前記第１深度と前記第２深度との相対的関係に基づいて、前記実景画像において、前記ＡＲ対象をレンダリングし、ＡＲプレビュー画像を生成して表示することを含む。本願の実施例によれば、第１深度と第２深度との相対的関係に基づいて、目標対象とＡＲ対象との前後位置関係を示すことによって、前後位置関係に基づいて生成されたＡＲプレビュー画像を表示する時、ＡＲ集合写真における没入感とリアリティを向上させることができる。
【0008】
可能な実現形態において、前記方法は、前記実景画像に対して人体キーポイント検出を行い、前記実景画像における目標対象の人体姿勢を決定することを更に含み、前記第１位置と前記ＡＲ場面におけるＡＲ対象の第２位置とに基づいて、ＡＲプレビュー画像を表示することは、前記第１位置、前記第２位置及び前記目標対象の人体姿勢に基づいて、ＡＲプレビュー画像を表示することを含む。本願の実施例によれば、目標対象の人体姿勢、第１位置及び第２位置に基づいて、ＡＲプレビュー画像を表示することができ、それによってＡＲ集合写真におけるＡＲ対象と目標対象とのインタラクティブ効果を向上させる。
【0009】
可能な実現形態において、前記第１位置、前記第２位置及び前記目標対象の人体姿勢に基づいて、ＡＲプレビュー画像を表示することは、前記目標対象の人体姿勢に基づいて、前記ＡＲ対象の第１姿勢を決定することであって、前記ＡＲ対象の第１姿勢と前記目標対象の人体姿勢とが対称である、ことと、前記第１姿勢、前記第１位置及び前記第２位置に基づいて、第１ＡＲプレビュー画像を生成して表示することであって、前記第１ＡＲプレビュー画像は、前記第１姿勢を有するＡＲ対象を含む、ことと、を含む。本願の実施例によれば、目標対象の姿勢に基づいて、ＡＲ対象を、目標対象に対称な動作を行うように駆動し、そして、ＡＲ対象と目標対象との遮蔽効果を表現し、ＡＲ集合写真生成プロセスにおけるインタラクティブ感覚、リアリティ及び没入感を向上させることができる。
【0010】
可能な実現形態において、前記第１位置、前記第２位置及び前記目標対象の人体姿勢に基づいて、ＡＲプレビュー画像を表示することは、前記目標対象の人体姿勢に基づいて、前記目標対象の人体姿勢に対応する動作種別を決定することと、前記動作種別に基づいて、前記ＡＲ対象の第２姿勢を決定することであって、前記ＡＲ対象の第２姿勢は前記動作種別とマッチングしている、ことと、前記第２姿勢、前記第１位置及び前記第２位置に基づいて、第２ＡＲプレビュー画像を生成して表示することであって、前記第２ＡＲプレビュー画像は前記第２姿勢を有するＡＲ対象を含む、ことと、を含む。本願の実施例によれば、目標対象の動作に基づいて、ＡＲ対象を、目標対象の動作にマッチングする姿勢を呈するように駆動し、そして、ＡＲ対象と目標対象との遮蔽効果を表現し、ＡＲ集合写真撮影プロセスにおけるインタラクティブ感覚、リアリティ及び没入感を向上させることができる。
【0011】
可能な実現形態において、前記ＡＲプレビュー画像は、複数フレームのＡＲプレビュー画像を含み、前記ＡＲプレビュー画像に対する集合写真生成操作に応答して、前記目標対象と前記ＡＲ対象のＡＲ集合写真画像を生成することは、前記複数フレームのＡＲプレビュー画像に対する集合写真生成操作に応答して、前記目標対象と前記ＡＲ対象のＡＲ集合写真ビデオを生成することを含む。本願の実施例によれば、ＡＲ集合写真ビデオを生成し、目標対象とＡＲ対象との位置関係と姿勢を動的に表示し、インタラクティブ感覚と没入感を向上させることができる。
【0012】
本願の一態様によれば、集合写真の画像生成装置を提供する。前記装置は、実景画像を取得ように構成される取得モジュールと、前記実景画像に対して識別を行い、前記実景画像における目標対象及び拡張現実ＡＲ場面における前記目標対象の第１位置を決定するように構成される決定モジュールと、前記第１位置と前記ＡＲ場面におけるＡＲ対象の第２位置とに基づいて、ＡＲプレビュー画像を表示するように構成される表示モジュールと、前記ＡＲプレビュー画像に対する集合写真生成操作に応答して、前記目標対象と前記ＡＲ対象のＡＲ集合写真画像を生成するように構成される生成モジュールと、を備える。
【0013】
本願の一態様によれば、電子機器を提供する。前記電子機器は、プロセッサと、プロセッサによる実行可能な命令を記憶するように構成されるメモリと、を備え、ここで、前記プロセッサは、前記メモリに記憶されている命令を呼び出し、上記方法を実行するように構成される。
【0014】
本願の一態様によれば、コンピュータ可読記憶媒体を提供する。前記コンピュータ可読記憶媒体には、コンピュータプログラム命令が記憶されており、前記コンピュータプログラム命令がプロセッサにより実行される時、上記方法を実現する。
【0015】
本願の一態様によれば、コンピュータプログラムを提供する。前記コンピュータプログラムは、コンピュータ可読コードを含み、前記コンピュータ可読コードが電子機器において実行される時、前記電子機器におけるプロセッサは、上記方法を実行する。
【0016】
本願の一態様によれば、コンピュータプログラム製品を提供する。前記コンピュータプログラム製品は、１つ又は複数の命令を含み、前記１つ又は複数の命令は、プロセッサによってロードされて上記方法におけるステップを実行することに適する。
【0017】
本願の実施例において、ＡＲ場面における目標対象の第１位置及びＡＲ対象の第２位置に基づいて、ＡＲプレビュー画像を表示し、ＡＲプレビュー画像に対する集合写真生成操作に応答して、ＡＲ集合写真画像を生成することができ、それによってＡＲ集合写真における仮想物体と実人物との相対的位置に基づき、仮想物体と実人物との遮蔽効果を実現し、ＡＲ集合写真場面におけるリアリティと没入感を向上させることができる。
【0018】
上記の一般的な説明及び後述する細部に関する説明は、例示及び説明のためのものに過ぎず、本願を限定するものではないことが理解されるべきである。本願の他の特徴及び態様は、下記の図面に基づく例示的な実施例の詳細な説明を参照すれば明らかになる。
【図面の簡単な説明】
【0019】
【図1】本願の実施例による集合写真の画像生成方法のフローチャートを示す。
【図2a】本願の実施例による深度の概略図を示す。
【図2b】本願の実施例によるＡＲプレビュー画像の概略図を示す。
【図3a】本願の実施例による別の深度の概略図を示す。
【図3b】本願の実施例によるＡＲプレビュー画像の概略図を示す。
【図4】本願の実施例によるＡＲプレビュー画像の概略図を示す。
【図5】本願の実施例によるＡＲプレビュー画像の生成方法のフローチャートを示す。
【図6a】関連技術によるＡＲプレビュー画像の概略図を示す。
【図6b】本願の実施例によるＡＲプレビュー画像の概略図を示す。
【図7】本願の実施例による集合写真の画像生成装置のブロック図を示す。
【図8】本願の実施例による電子機器のブロック図を示す。
【発明を実施するための形態】
【0020】
上記の図面は、明細書に組み込んで本明細書の一部分を構成し、これらの図面は、本願の実施例を示し、明細書とともに本願の技術的解決手段を解釈することに用いられる。
【0021】
以下、図面を参照しながら本願の種々の例示的な実施例、特徴及び態様を詳しく説明する。図面における同一の符号は、同一又は類似する機能を有する要素を示す。図面は、実施例の種々の態様を示しているが、明記されない限り、比例通りに図面を描くわけではない。
【0022】
ここで「例示的」という用語は、「例、実施例として用いられるか、又は説明のためのものである」ことを意味する。ここで、「例示的なもの」として記載される如何なる実施例は、他の実施例より好適又は有利であると解釈されるべきではない。
【0023】
本明細書において、用語「及び／又は」は、関連対象の関連関係を説明するためのものであり、３つの関係が存在することを表す。例えば、Ａ及び／又はＢは、Ａのみが存在する場合、ＡとＢが同時に存在する場合、Ｂのみが存在する場合という３つのケースを表す。また、本明細書において、用語「少なくとも１つ」は、複数のうちのいずれか１つ又は複数のうちの少なくとも２つの任意の組み合わせを表す。例えば、Ａ、Ｂ、Ｃのうちの少なくとも１つを含むことは、Ａ、Ｂ及びＣからなる集合から選ばれるいずれか１つ又は複数の要素を含むことを表す。
【0024】
なお、本願の実施例をより良く説明するために、以下の実施形態において具体的な細部を多く記載しているが、幾つかの具体的な詳細が記載されてなくても、本開示が同様に実施可能であると当業者が理解すべきである。本願の実施例の主旨を強調するために、幾つかの実例において、当業者に熟知されている方法、手段、素子及び回路について詳しく記載されていない。
【0025】
【0026】
ステップＳ１０において、実景画像を取得する。
【0027】
ステップＳ１１において、実景画像に対して識別を行い、実景画像における目標対象とＡＲ場面における目標対象の第１位置とを決定する。
【0028】
ステップＳ１２において、第１位置とＡＲ場面におけるＡＲ対象の第２位置とに基づいて、ＡＲプレビュー画像を表示する。
【0029】
ステップＳ１３において、ＡＲプレビュー画像に対する集合写真生成操作に応答して、目標対象とＡＲ対象のＡＲ集合写真画像を生成する。
【0030】
可能な実現形態において、前記集合写真の画像生成方法は、ＡＲ技術をサポートするＡＲ集合写真生成機器によって実行されてもよく、該ＡＲ集合写真生成機器は、例えば、端末機器を含んでもよく、端末機器は、ユーザ装置（Ｕｓｅｒ Ｅｑｕｉｐｍｅｎｔ：ＵＥ）、携帯機器、ユーザ端末、セルラ電話、コードレス電話、パーソナルデジタルアシスタント（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ：ＰＤＡ）、ハンドヘルドデバイス、コンピューティングデバイス、車載機器、ウェアブル機器などを含んでもよい。前記方法は、端末機器のプロセッサによりメモリに記憶されているコンピュータ可読命令を呼び出すことで実現することができる。
【0031】
可能な実現形態において、ステップＳ１０では、実景画像は、例えば、ＡＲ集合写真生成機器に設けられる画像収集装置によってリアルタイムに収集されたものであってもよい。他の機器からＡＲ集合写真生成機器に伝送されたものであってもよく、ＡＲ集合写真生成機器によってローカルアルバムから取得されたものであってもよく、本願の実施例で、これを限定しない。幾つかの場合において、生成される目標対象とＡＲ対象のＡＲ集合写真画像は、例えば、実景画像にＡＲ対象のエフェクトをかけることで生成される画像であってもよい。
【0032】
可能な実現形態において、ステップＳ１０では、取得された実景画像は、１枚であってもよく、複数枚であってもよい。ここで、複数枚の実景画像は、例えば、ビデオストリームにおける連続した複数フレームの実景画像であってもよく、間欠サンプリングを行うことで得られた複数フレームの実景画像であってもよく、本願の実施例で、これを限定しない。
【0033】
可能な実現形態において、上記のように、ＡＲ集合写真生成機器に画像収集装置が設けられており、該画像収集装置は、撮影視野範囲内の実景画像をリアルタイムに捕捉して撮影し、リアルタイムに捕捉された実景画像をビデオストリームとして、ＡＲ集合写真生成機器のプロセッサに伝送することができる。ＡＲ集合写真生成機器のプロセッサは、取得したビデオストリームにおける各フレームの実景画像に基づき、目標対象とＡＲ対象のＡＲプレビュー画像を生成し、ＡＲプレビュー画像をＡＲ集合写真生成機器の表示インタフェースに表示し、それによって、表示インタフェースに目標対象とＡＲ対象のＡＲプレビュー画像をリアルタイムに表示する。ここで、複数フレームの実景画像の目標対象の位置姿勢が変化することに伴い、異なる実景画像に対応するＡＲ対象の位置姿勢も対応的に変化してもよく、それによって、動的な表示効果を示す。
【0034】
可能な実現形態において、実景画像に対して識別を行うことで、対象を含む実景画像を決定することができる。対象を含む実景画像を決定した後、実景画像における目標対象を更に決定することができる。理解できるように、目標対象は、実際の必要に応じて設定されてもよく、例えば、実景画像における全ての対象が目標対象であるように設定すること、又は、実景画像における中間領域にある対象が目標対象であるように設定すること、又は、実景画像における対象を識別した後、ユーザによって目標対象を自ら選択するように設定することなどを含んでもよいが、それらに限らず、本願の実施例で、これを限定しない。
【0035】
可能な実現形態において、画像収集装置は、ＲＧＢ（Ｒｅｄ Ｇｒｅｅｎ Ｂｌｕｅ：赤緑青）カメラ、又はＴＯＦ（Ｔｉｍｅ ｏｆ ｆｌｉｇｈｔ：飛行時間）カメラなどを含んでもよいが、それらに限らない。
【0036】
可能な実現形態において、ステップＳ１１では、実景画像に対して識別を行うことは、任意の既知の人体識別技術を用いて、実景画像に対して人体識別を行い、実景画像における対象を決定することであってもよい。ここで、人体識別技術は、例えば、人間のセグメンテーション、人体キーポイント検出などの技術を含むが、それらに限らない。理解できるように、当業者は、１つ又は複数の人体識別技術を選択してもよく、実景画像における対象の識別を実現できればよい。本願の実施例で、これを限定しない。
【0037】
可能な実現形態において、ＡＲ場面は、実際の必要に応じて予め構築された仮想場面を含んでもよい。ＡＲ場面に、仮想人物、仮想動物などのＡＲ対象が含まれてもよい。ＡＲ場面は、画像収集装置のカメラ座標系に基づいて構築されたものであってもよく、ＡＲ場面におけるＡＲ対象の位置は、３Ｄレジストレーション技術に基づいて予め設定されたものであってもよい。本願の実施例は、ＡＲ場面の内容を限定しない。
【0038】
可能な実現形態において、ＡＲ集合写真生成機器に、様々なＡＲ場面に対応するデータパケットが記憶されてもよい。他の機器（例えば、クラウドサーバ）によって様々なＡＲ場面に対応するデータパケットをＡＲ集合写真生成機器に伝送してもよい。様々なデータパケットを用いることで、ＡＲ集合写真生成機器に、様々なＡＲ場面を表示することができる。
【0039】
可能な実現形態において、ユーザからのＡＲ場面の選択操作に応答して、ＡＲ場面を決定してもよい。例えば、ＡＲ集合写真生成機器の表示インタフェースに、ユーザに選択させるためのＡＲ場面を表示してもよく、それによってユーザがクリック選択などの操作によって、ＡＲ場面の選択をトリガーすることを容易にする。本願の実施例は、ＡＲ場面の決定方式を限定しない。
【0040】
可能な実現形態において、上記のように、ＡＲ場面は、画像収集装置のカメラ座標系に基づいて構築されたものであってもよい。ステップＳ１１において、実景画像における目標対象を決定した後、画像収集機器の結像原理に基づき、実景画像における目標対象の位置に基づいて、該カメラ座標系における目標対象の位置を決定することができ、即ち、ＡＲ場面における目標対象の第１位置を決定することができる。
【0041】
可能な実現形態において、ステップＳ１２では、上記のように、ＡＲ場面におけるＡＲ対象の位置は、予め設定されたものであり、ＡＲ場面におけるＡＲ対象の第２位置は、前記カメラ座標系におけるＡＲ対象の位置であってもよく、即ち、ＡＲ場面におけるＡＲ対象の第２位置は、既知のものであってもよい。
【0042】
可能な実現形態において、ステップＳ１２では、目標対象の第１位置とＡＲ対象の第２位置に基づいて、実景画像において、ＡＲ対象と目標対象との遮蔽効果をレンダリングし、ＡＲプレビュー画像を生成し、ＡＲ集合写真生成機器に該ＡＲプレビュー画像を表示することができる。
【0043】
可能な実現形態において、ＡＲプレビュー画像に対する集合写真生成操作は、ＡＲ集合写真生成機器によって提供されたタッチボタン又は物理ボタンに基づいてトリガーされた集合写真生成操作（例えば、ユーザが表示インタフェースに表示されている写真撮影ボタンをクリックすることで、集合写真生成操作をトリガーする）、又は、リモート制御方式に基づいてトリガーされた集合写真生成操作（例えば、ユーザのジェスチャーを識別することで、集合写真生成操作をリモートでトリガーすることを実現する）を含んでもよく、それらに限らない。集合写真生成操作の実現形式について、本願の実施例は限定しない。
【0044】
可能な実現形態において、目標対象とＡＲ対象のＡＲ集合写真画像を生成することは、表示インタフェースに表示されているＡＲプレビュー画像をキャプチャして保存するという方式で実現してもよい。例えば、ユーザが表示インタフェースに表示されている写真撮影ボタンをクリックする場合、キャプチャを行い、キャプチャされた画像は、ＡＲ集合写真画像であり、そして、ユーザが抽出するために、キャプチャされた画像をローカルに保存する。
【0045】
本願の実施例において、ＡＲ場面における目標対象の第１位置及びＡＲ対象の第２位置に基づいて、ＡＲプレビュー画像を表示し、ＡＲプレビュー画像に対する集合写真生成操作に応答して、ＡＲ集合写真画像を生成することができ、それによってＡＲ集合写真における仮想物体と実人物との相対的位置に基づき、仮想物体と実人物との遮蔽効果を実現し、ＡＲ集合写真場面におけるリアリティと没入感を向上させることができる。
【0046】
可能な実現形態において、ステップＳ１１では、実景画像に対して識別を行い、実景画像における目標対象とＡＲ場面における目標対象の第１位置とを決定することは、
実景画像に対して人体識別を行い、実景画像における目標対象の所在する人体領域を決定することと、
人体領域に基づいて、ＡＲ場面における目標対象の第１深度を決定することであって、第１位置は、第１深度を含む、ことと、を含んでもよい。
実景画像に対して人体識別を行い、実景画像における目標対象の所在する人体領域を決定することと、
人体領域に基づいて、ＡＲ場面における目標対象の第１深度を決定することであって、第１位置は、第１深度を含む、ことと、を含んでもよい。
【0047】
可能な実現形態において、実景画像に対して人体識別を行い、実景画像における目標対象の所在する人体領域を決定することは、人間のセグメンテーション技術に基づき、目標対象の所在する人体領域を分割によって得ることであってもよく、更に、人体キーポイント検出技術に基づき、人体輪郭キーポイントを検出し、人体輪郭キーポイントに基づいて、人体輪郭を決定し、人体輪郭で構成される領域を人体領域とすることであってもよく、本願の実施例で、これを限定しない。
【0048】
可能な実現形態において、上記のように、実景画像における目標対象を決定した後、実景画像における目標対象の位置に基づき、該カメラ座標系における目標対象の位置を決定することができ、即ち、ＡＲ場面における目標対象の第１位置を決定することができる。ここで、該カメラ座標系における目標対象の位置は、カメラ座標系における目標対象の深度を含んでもよい。カメラ座標系における目標対象の深度は、実景における目標対象と画像収集装置との距離と理解されてもよく、距離が大きいほど、深度が大きくなり、逆に、深度が小さくなる。
【0049】
可能な実現形態において、目標対象の人体領域を決定した後、実景画像における人体領域のキーポイントの画素座標に基づき、画像収集装置の結像原理（例えば、ピンホール結像原理）と組み合わせ、目標対象と画像収集装置との距離を決定することができる。目標対象と画像収集装置との距離をカメラ座標系における目標対象の深度とし、即ち、ＡＲ場面における目標対象の第１深度とする。
【0050】
上記のように、画像収集装置は、ＴＯＦカメラを含んでもよい。可能な実現形態において、画像収集装置がＴＯＦカメラである場合、ＴＯＦカメラによって収集された画像データに、実景における目標対象とＴＯＦカメラとの距離情報が含まれているため、画像における目標対象の人体領域を決定した後、目標対象とＴＯＦカメラとの距離を得ることができ、即ち、ＡＲ場面における目標対象の第１深度を得ることができる。
【0051】
可能な実現形態において、目標対象の第１深度は、カメラ座標系における人体輪郭のキーポイントの深度であってもよく、更に、カメラ座標系における人体関節部位のキーポイントの深度であってもよく、更に、カメラ座標系における人体領域内の全てのキーポイントの深度であってもよい。キーポイントの数は、実際の需要、プロセッサの演算性能などに応じて決定されてもよく、本願の実施例で、これを限定しない。
【0052】
可能な実現形態において、複数のキーポイントの深度の平均値を第１深度としてもよく、又は、複数のキーポイントの深度のうちの最小値及び／又は最大値を第１深度としてもよく、又は、人体領域内の全てのキーポイントの深度を第１深度としてもよい。実施プロセスにおいて、実際の応用場面、プロセッサの演算性能などに応じて決定されてもよく、本願の実施例で、これを限定しない。
【0053】
本願の実施例において、人体領域に基づいて、ＡＲ場面における目標対象の第１深度を正確に決定することができ、それによってＡＲプレビュー画像を生成する時、第１深度に基づいて、ＡＲ対象の前後位置を正確にレンダリングし、遮蔽効果を実現することができる。
【0054】
上記のように、ＡＲ場面は、画像収集装置のカメラ座標系に基づいて構築されたものであってもよく、ＡＲ場面におけるＡＲ対象の位置は、予め設定されたものであってもよく、第１位置は、第１深度を含む。可能な実現形態において、ＡＲ対象の第２位置は、ＡＲ場面におけるＡＲ対象の第２深度、即ち、前記カメラ座標系におけるＡＲ対象の深度を含んでもよく、第１位置とＡＲ場面におけるＡＲ対象の第２位置とに基づいて、ＡＲプレビュー画像を表示することは、
第１深度と第２深度との相対的関係に基づいて、実景画像において、ＡＲ対象をレンダリングし、ＡＲプレビュー画像を生成して表示することを含んでもよい。
第１深度と第２深度との相対的関係に基づいて、実景画像において、ＡＲ対象をレンダリングし、ＡＲプレビュー画像を生成して表示することを含んでもよい。
【0055】
可能な実現形態において、第１深度と第２深度との相対的関係は、第１深度が第２深度よりも大きいこと、又は、第１深度が第２深度よりも小さいことを含んでもよい。
【0056】
可能な実現形態において、ＡＲ対象は、ＡＲ場面において、立体的であってもよい。この場合、ＡＲ対象の第２深度は、複数であってもよく、つまり、ＡＲ対象の第２深度は、深度区間であってもよい。理解できるように、ＡＲ対象は、ＡＲ場面において、平面であってもよい。この場合、ＡＲ対象の第２深度は、１つであってもよい。
【0057】
可能な実現形態において、上記のように、目標対象の第１深度は、１つ又は複数であってもよい。ＡＲ対象の第２深度が複数である場合、目標対象の全ての第１深度がいずれもＡＲ対象の第２深度のうちの最小値よりも小さい時、第１深度が第２深度よりも小さいと決定することができ、ＡＲ対象の第１深度が１つである場合、目標対象の全ての第１深度がいずれも該１つの第２深度よりも小さい時、第１深度が第２深度よりも小さいと決定することができる。
【0058】
可能な実現形態において、第１深度が第２深度よりも小さい場合について、この場合には、ＡＲ対象に比べて、目標対象から画像収集機器までの距離が小さいと言える。つまり、画像収集機器に対して、ＡＲ対象は、目標対象の後側に位置する。第１深度が第２深度よりも小さい場合、実景画像において、ＡＲ対象を、目標対象に対する後側にレンダリングし、ＡＲプレビュー画像を生成して表示することができる。
【0059】
図２ａは、本願の実施例による深度の概略図を示す。図２ｂは、本願の実施例によるＡＲプレビュー画像の概略図を示す。図２ａに記載のように、目標対象ａの第１深度の平均値ａ１は、ＡＲ対象ｂの第２深度のうちの最小値ｂ１よりも小さく、実景画像において、ＡＲ対象ｂを目標対象ａの後側にレンダリングすることで、図２ｂに示すＡＲプレビュー画像を生成することができる。図２ｂに示すように、目標対象ａは、ＡＲ対象ｂを遮蔽する。
【0060】
可能な実現形態において、上記のように、目標対象の第１深度は、１つ又は複数であってもよい。ＡＲ対象の第２深度が複数である場合、目標対象の全ての第１深度がいずれもＡＲ対象の第２深度のうちの最大値よりも大きい時、第１深度が第２深度よりも大きいと決定することができ、ＡＲ対象の第１深度が１つである場合、目標対象の全ての第１深度がいずれも該１つの第２深度よりも大きい時、第１深度が第２深度よりも大きいと決定することができる。
【0061】
可能な実現形態において、第１深度が第２深度よりも大きい場合について、この場合には、ＡＲ対象に比べて、目標対象から画像収集機器までの距離が大きいと言える。つまり、画像収集機器に対して、ＡＲ対象は、目標対象の前側に位置する。第１深度が第２深度よりも大きい場合、実景画像において、ＡＲ対象を、目標対象に対する前側にレンダリングし、ＡＲプレビュー画像を生成して表示することができる。
【0062】
図３ａは、本願の実施例による深度の概略図のその二を示す。図３ｂは、本願の実施例によるＡＲプレビュー画像の概略図のその二を示す。図３ａに記載のように、目標対象ａの第１深度の平均値ａ２は、ＡＲ対象ｂの第２深度の最大値ｂ２よりも大きく、実景画像において、ＡＲ対象ｂを目標対象ａの前側にレンダリングすることで、図３ｂに示すＡＲプレビュー画像を生成することができる。図３ｂに示すように、ＡＲ対象ｂは、目標対象ａを遮蔽する。
【0063】
説明すべきこととして、本願の実施例における前側と後側は、相対性を有し、例えば、画像収集機器に近い対象は、画像収集機器に遠い対象の前側に位置してもよい。当業者は理解することができ、又は少なくとも本願の実施例を読んだ後で前側と後側の意味を理解することができる。
【0064】
上記のように、実景画像フレームに対する識別は、人間のセグメンテーション技術を用いてもよい。可能な実現形態において、人間のセグメンテーション技術に基づき、実景画像における人体領域と背景領域を分割することができ、更に、分割した人体領域と背景領域に基づき、ＡＲ対象を目標対象の後側又は前側にレンダリングし、ＡＲプレビュー画像を生成することができる。
【0065】
可能な実現形態において、ＡＲプレビュー画像を表示することは、ＡＲプレビュー画像をＡＲ集合写真生成機器の表示インタフェースに描画して表示することであってもよい。
【0066】
本願の実施例において、第１深度と第２深度との相対的関係に基づいて、目標対象とＡＲ対象との前後位置関係を表すことによって、前後位置関係に基づいて生成されたＡＲプレビュー画像を表示する時、ＡＲ集合写真におけるリアリティと没入感を向上させることができる。
【0067】
可能な実現形態において、ＡＲ集合写真生成プロセスにおけるインタラクティブ感覚を向上させるために、前記ＡＲ集合写真の画像生成方法は、前記実景画像に対して人体キーポイント検出を行い、前記実景画像における目標対象の人体姿勢を決定することを更に含んでもよく、第１位置とＡＲ場面におけるＡＲ対象の第２位置とに基づいて、ＡＲプレビュー画像を表示することは、第１位置、第２位置及び目標対象の人体姿勢に基づいて、ＡＲプレビュー画像を表示することを含んでもよい。
【0068】
可能な実現形態において、任意の既知の人体キーポイント検出方式を用いて、実景画像に対して人体キーポイント検出を行ってもよく、例えば、人体キーポイント検出方式は、実景画像における人体関節部位のキーポイント（例えば、１３個の関節部位の人体キーポイント）を抽出することを含んでもよく、ここで、人体キーポイントの数及び位置は、実際の必要に応じて決定されてもよく、本願の実施例で、これを限定しない。
【0069】
可能な実現形態において、検出した人体キーポイントに基づいて、目標対象の姿勢情報を決定することができる。姿勢情報が二次元姿勢情報である時、二次元姿勢情報は、実景画像における目標対象の複数の人体キーポイントの二次元座標値を含んでもよい。更に、二次元座標値に基づき、複数の人体キーポイントを人体の構造に基づいて連結した後、目標対象の二次元姿勢を得ることができる。
【0070】
可能な実現形態において、姿勢情報が三次元姿勢情報である時、三次元姿勢情報は、カメラ座標系における目標対象の複数の人体キーポイントの三次元座標値を含んでもよい。更に、三次元座標値に基づいて、複数の人体キーポイントを人体の構造に基づいて連結した後、目標対象の三次元姿勢を得ることができる。
【0071】
可能な実現形態において、ステップＳ１１で実景画像に対して識別を行うプロセスにおいて、実景画像に対する人体キーポイント検出を含んでもよい。人体識別と人体キーポイント検出は、同時に実行されてもよく、まず、人体識別を行い、実景画像における人体領域を決定した後、更に、人体領域内の人体関節部位のキーポイントに対して検出を行ってもよい。実施プロセスにおいて、識別機能を実現する機器の処理能力、該機器のリソース占有状況、応用プロセスにおける遅延に対する制限などの、識別検出順番に影響を及ぼす可能性がある要因に応じて設定してもよく、本願の実施例で、これを限定しない。
【0072】
本願の実施例において、目標対象の人体姿勢、第１位置及び第２位置に基づいて、ＡＲプレビュー画像を表示することができ、それによってＡＲ集合写真におけるＡＲ対象と目標対象とのインタラクティブ効果を向上させる。
【0073】
可能な実現形態において、第１位置、第２位置及び目標対象の人体姿勢に基づいて、ＡＲプレビュー画像を表示することは、
目標対象の人体姿勢に基づいて、ＡＲ対象の第１姿勢を決定することであって、ＡＲ対象の第１姿勢と目標対象の人体姿勢とが対称である、ことと、
第１姿勢、第１位置及び第２位置に基づいて、第１ＡＲプレビュー画像を生成して表示することであって、第１ＡＲプレビュー画像は、第１姿勢を有するＡＲ対象を含む、ことと、を含んでもよい。
目標対象の人体姿勢に基づいて、ＡＲ対象の第１姿勢を決定することであって、ＡＲ対象の第１姿勢と目標対象の人体姿勢とが対称である、ことと、
第１姿勢、第１位置及び第２位置に基づいて、第１ＡＲプレビュー画像を生成して表示することであって、第１ＡＲプレビュー画像は、第１姿勢を有するＡＲ対象を含む、ことと、を含んでもよい。
【0074】
可能な実現形態において、目標対象の人体姿勢を決定した後、目標対象の人体姿勢に基づき、目標対象の人体姿勢に対称な第１姿勢を決定することができる。図４は、本願の実施例によるＡＲプレビュー画像の概略図を示す。図４に示すように、目標対象４１とＡＲ対象４２は、「ハートポーズ」という対称動作を行い、即ち、目標対象４１とＡＲ対象４２の人体姿勢が対称である。このように、人間のセグメンテーション、人体骨格検出などの機能を利用することで、ＡＲ人物キャラクタが実人物の動作に応じて相応の応答をすることができ、全体的なインタラクションにインタラクティブ感覚を持たせる。
【0075】
可能な実現形態において、ＡＲ対象の第１姿勢は、目標対象の人体姿勢と同じ姿勢又は反対の姿勢であってもよい。例えば、人体姿勢が「左手を持ち上げること」であれば、同じ第１姿勢は、「左手を持ち上げること」であってもよく、反対の第１姿勢は、「右手を持ち上げること」であってもよい。
【0076】
可能な実現形態において、目標対象の第１位置とＡＲ対象の第２位置に基づき、第１姿勢を有するＡＲ対象を目標対象に対する後側又は前側にレンダリングし、第１ＡＲプレビュー画像を生成し、生成した第１ＡＲプレビュー画像をＡＲ集合写真生成機器の表示インタフェースに描画して表示することができる。
【0077】
可能な実現形態において、上記のように、目標対象は、実際の必要に応じて設定された１つ又は複数であってもよい。目標対象が１つである場合、ＡＲ対象の第１姿勢は、該目標対象の人体姿勢に基づいて決定されてもよい。目標対象が複数である場合、ＡＲ対象の第１姿勢は、ユーザによって選択された目標対象の人体姿勢に基づいて決定されてもよく、又は、実景画像の中間領域にある目標対象の人体姿勢に基づいて決定されてもよく、本願の実施例で、これを限定しない。
【0078】
本願の実施例において、目標対象の姿勢に基づいて、ＡＲ対象を、目標対象に対称な動作を行うように駆動し、ＡＲ対象と目標対象との遮蔽効果を表現し、ＡＲ集合写真生成プロセスにおけるインタラクティブ感覚、リアリティ及び没入感を向上させることができる。
【0079】
可能な実現形態において、第１位置、第２位置及び目標対象の人体姿勢に基づいて、ＡＲプレビュー画像を表示することは、
目標対象の人体姿勢に基づいて、目標対象の人体姿勢に対応する動作種別を決定することと、
動作種別に基づいて、ＡＲ対象の第２姿勢を決定することであって、ＡＲ対象の第２姿勢は、動作種別にマッチングする、ことと、
第２姿勢、第１位置及び第２位置に基づいて、第２ＡＲプレビュー画像を生成して表示することであって、第２ＡＲプレビュー画像は、第２人体姿勢を有するＡＲ対象を含む、ことと、を更に含んでもよい。
目標対象の人体姿勢に基づいて、目標対象の人体姿勢に対応する動作種別を決定することと、
動作種別に基づいて、ＡＲ対象の第２姿勢を決定することであって、ＡＲ対象の第２姿勢は、動作種別にマッチングする、ことと、
第２姿勢、第１位置及び第２位置に基づいて、第２ＡＲプレビュー画像を生成して表示することであって、第２ＡＲプレビュー画像は、第２人体姿勢を有するＡＲ対象を含む、ことと、を更に含んでもよい。
【0080】
可能な実現形態において、動作種別は、予め設定された、ＡＲ対象の姿勢を決定するための種別であってもよく、即ち、様々な動作種別に対応する様々な第２姿勢を設定してもよい。例えば、「腕を伸すこと」という動作種別が「肘を抱き合うこと」という第２姿勢に対応し、「手を持ち上げること」という動作種別が「脚を上げること」という第２姿勢に対応するように設定してもよい。動作種別の種類、数、及び動作種別に対応する第２姿勢について、実際の必要に応じて設定してもよく、本願の実施例で、これを限定しない。
【0081】
可能な実現形態において、目標対象の人体姿勢に基づいて、目標対象の動作を決定することができる。目標対象の動作が所定の動作種別に属する場合、動作種別に対応する第２姿勢を得ることができる。例えば、上記例を援用して、目標対象の人体姿勢に基づいて、目標対象が「手を持ち上げている」と決定し、即ち、動作種別が「手を持ち上げること」であり、ＡＲ対象の第２姿勢が「脚を上げること」であってもよいと決定する。
【0082】
可能な実現形態において、ＡＲ対象に対して、デフォルト姿勢を更に設定してもよい。目標対象の動作が所定の動作種別に属しない場合、ＡＲ対象の第２姿勢がデフォルト姿勢であると決定する。
【0083】
可能な実現形態において、目標対象の姿勢が変わった時、ＡＲ対象の姿勢も変わる。例えば、目標対象は、所定の動作種別に属しない動作から、所定の動作種別に属する動作に変わる。これに応じて、ＡＲ対象を、デフォルト姿勢から所定の動作種別にマッチングする姿勢に変わるように駆動することができる。
【0084】
可能な実現形態において、目標対象の第１位置とＡＲ対象の第２位置に基づき、第２姿勢を有するＡＲ対象を目標対象の後側又は前側にレンダリングし、第２ＡＲプレビュー画像を生成し、生成した第２ＡＲプレビュー画像をＡＲ集合写真生成機器の表示インタフェースに描画して表示することができる。
【0085】
可能な実現形態において、様々なＡＲ場面において、複数の動作種別、及び動作種別にマッチングする第２姿勢を設定してもよく、それによって目標対象の姿勢の変化に伴い、ＡＲ対象の第２姿勢を調整し、更に、ＡＲ集合写真の趣味性とインタラクティブ感覚を増加させることができる。
【0086】
可能な実現形態において、上記のように、目標対象は、実際の必要に応じて設定された１つ又は複数であってもよい。目標対象が１つである場合、ＡＲ対象の第２姿勢は、該目標対象の人体姿勢に基づいて決定されてもよい。目標対象が複数である場合、ＡＲ対象の第２姿勢は、ユーザによって選択された目標対象の人体姿勢に基づいて決定されてもよく、又は、実景画像の中間領域にある目標対象の人体姿勢に基づいて決定されてもよく、又は、ある目標対象の動作が所定の動作種別に属することを検出した場合、該目標対象の人体姿勢に対応する動作種別に基づいて決定されてもよく、本願の実施例で、これを限定しない。
【0087】
本願の実施例において、目標対象の動作に基づいて、ＡＲ対象を、目標対象の動作にマッチングする姿勢を呈するように駆動し、ＡＲ対象と目標対象との遮蔽効果を表現し、ＡＲ集合写真生成プロセスにおけるインタラクティブ感覚、リアリティ及び没入感を向上させることができる。
【0088】
上記のように、画像収集装置は、撮影視野範囲内の実景画像をリアルタイムに捕捉して撮影し、リアルタイムに捕捉された実景画像をビデオストリームとして、ＡＲ集合写真生成機器のプロセッサに伝送することができる。ＡＲ集合写真生成機器のプロセッサは、取得したビデオストリームにおける各フレームの実景画像に基づき、目標対象とＡＲ対象のＡＲプレビュー画像を生成し、ＡＲプレビュー画像をＡＲ集合写真生成機器の表示インタフェースに表示し、更に、表示インタフェースに目標対象とＡＲ対象のＡＲプレビュー画像をリアルタイムに表示する。
【0089】
理解できるように、生成したＡＲプレビュー画像は、複数フレームのＡＲプレビュー画像を含んでもよい。可能な実現形態において、複数フレームのＡＲプレビュー画像に対する集合写真生成操作に応答して、目標対象とＡＲ対象のＡＲ集合写真ビデオを生成することができる。
【0090】
可能な実現形態において、複数フレームのＡＲプレビュー画像に対する集合写真生成操作は、ＡＲ集合写真生成機器によって提供されたタッチボタン又は物理ボタンに基づいてトリガーされた集合写真生成操作（例えば、ユーザが表示インタフェースに表示されている写真撮影ボタンをクリックすることで、集合写真生成操作をトリガーする）、又は、リモート制御方式に基づいてトリガーされた集合写真生成操作（例えば、ユーザのジェスチャーを識別することで、集合写真生成操作をリモートでトリガーすることを実現する）を含んでもよく、それらに限らない。集合写真生成操作の実現形式について、本願の実施例は限定しない。
【0091】
理解できるように、複数フレームのＡＲプレビュー画像に対する集合写真生成操作は少なくとも、集合写真生成開始及び集合写真生成終了操作、又は、集合写真生成開始、集合写真生成一時停止及び集合写真生成終了などの操作を含んでもよい。実施プロセスにおいて、実際の必要、ＡＲ集合写真生成機器によってサポートされる機能などに応じて設定してもよく、本願の実施例で、これを限定しない。
【0092】
可能な実現形態において、目標対象とＡＲ対象のＡＲ集合写真ビデオを生成することは、画面録画して保存を行うという方式で実現してもよい。例えば、ユーザは、集合写真生成開始をクリックすると、画面録画を行う。集合写真生成終了を行うと、画面録画を終了する。画面録画に対応するビデオは、ＡＲ集合写真ビデオである。画面録画操作に対応するビデオをローカルに保存し、ユーザによる抽出に供することができる。
【0093】
本願の実施例において、ＡＲ集合写真ビデオを生成し、目標対象とＡＲ対象との位置関係と姿勢を動的に表示し、インタラクティブ感覚と没入感を向上させることができる。
【0094】
図５は、本願の実施例によるＡＲプレビュー画像の生成方法のフローチャートを示す。図５に示すように、前記ＡＲプレビュー画像の生成方法は、
ビデオストリームデータを取得するステップＳ５１と、
ビデオストリームデータ内の各フレームの画像に対して人体識別を行うステップＳ５２と、
実人物の位置情報と姿勢情報を出力するステップＳ５３と、
実人物の姿勢情報に基づいて、所定のＡＲ人物の動作を決定するステップＳ５４と、
ＡＲ人物を、対応する動作を行うように駆動するステップＳ５５と、
実人物とＡＲ人物との相対的位置をレンダリングするステップＳ５６と、
ＡＲプレビュー画像を生成するステップＳ５７と、を含んでもよい。
ビデオストリームデータを取得するステップＳ５１と、
ビデオストリームデータ内の各フレームの画像に対して人体識別を行うステップＳ５２と、
実人物の位置情報と姿勢情報を出力するステップＳ５３と、
実人物の姿勢情報に基づいて、所定のＡＲ人物の動作を決定するステップＳ５４と、
ＡＲ人物を、対応する動作を行うように駆動するステップＳ５５と、
実人物とＡＲ人物との相対的位置をレンダリングするステップＳ５６と、
ＡＲプレビュー画像を生成するステップＳ５７と、を含んでもよい。
【0095】
可能な実現形態において、ＲＧＢ又はＴＯＦカメラに基づき、ビデオストリームデータを収集してもよい。人体識別技術に基づき、ＡＲ場面内の実人物の位置情報、ＡＲ人物の位置情報、実人物の人体骨格及び姿勢データなどのデータを決定し、これらのデータをデジタル信号に変換してＡＲ集合写真生成機器（例えば、携帯端末）に返信してもよい。ＡＲ集合写真生成機器は、データを取得した後に、実人物とＡＲ人物との位置関係を分析し、可視的に示すとともに、実人物の人体骨格及び姿勢を分析し、ＡＲ人物を、動作を行うように駆動し、面白い集合写真を形成する。
【0096】
可能な実現形態において、所定のＡＲ人物の動作を決定する時、以下の方式で決定してもよい。
【0097】
対称動作：人体姿勢を分析し、ＡＲ人物キャラクタを、動作を行うように鏡像的に駆動し、ＡＲ集合写真生成を行い、例えば、現在では流行しているハートポーズ動作などを行う。
【0098】
二人動作：実人物の人体姿勢と動作種別を分析し、ＡＲ人物キャラクタを、対応する動作を行うように駆動し、二人動作姿勢を行い、実人物とＡＲ人物との慣習的なインタラクションを形成する。
【0099】
可能な実現形態において、本願の実施例におけるＡＲ集合写真の画像生成方法は、インターネットアプリケーションプログラム（Ａｐｐｌｉｃａｔｉｏｎ：ＡＰＰ）、例えば、地図アプリケーション、又は、知的財産権（Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ：ＩＰ）キャラクタ、スポークスマンなどを有するアプリケーション製品に用いられてもよく、機能性ＡＰＰ、例えば、ＡＲマーケティングの大部分の製品に用いられてもよい。
【0100】
可能な実現形態において、実人物の人体姿勢と動作検出に基づいて、ＡＲ人物キャラクタの動作の変換をリアルタイムに駆動し、インタラクティブ効果を呈する。即ち、人体骨格検出などの技術と組み合わせ、リアルタイムな人物の肢体動作によって、ＡＲ人物キャラクタを、フィードバックを行うようにトリガーし、インタラクションを形成する。
【0101】
関連技術において、人間のセグメンテーション機能が欠けているため、実人物と仮想素材との前後位置関係を知ることができない。ＡＲ場面全体において、仮想物体は、前面に位置し、十分なリアリティと没入感がない。図６ａは、関連技術によるＡＲプレビュー画像の概略図を示す。図６ａに示すように、人間のセグメンテーション機能が欠けているため、仮想物体６１が前面に位置し、仮想物体６１と実人物６２との位置関係を反映することができないことによって、集合写真全体が非常に硬くなっている。本願の実施例において、人間のセグメンテーション機能と組み合わせ、ＡＲ場面において、実人物６２と仮想物体６１との前後位置関係を強調し、ＡＲ場面全体をよりリアルにする。図６ｂは、本願の実施例によるＡＲプレビュー画像の概略図を示す。図６ｂに記載のように、実人物６２が仮想物体６１の前側に位置し、実人物６２と仮想物体６１との位置関係を体現し、遮蔽効果を形成する。
【0102】
関連技術において、ＡＲ人物が殆ど静止状態にあるため、ＡＲ集合写真が比較的に硬く、これは、以下の２つのケースを含む。ａ）骨格との関連付けがないため、肢体動作がなく、インタラクションの拡張の可能性が欠けている。ｂ）所定の肢体動作に基づき、骨格との関連付けが行われているが、ユーザ動作とのインタラクティブ性が欠けており、珍しさと面白さが不十分である。本願の実施例において、人体骨格検出（人体キーポイント検出）機能と組み合わせ、ＡＲ集合写真場面において、実人物の骨格、動作姿勢情報を検出することで、ＡＲ人物キャラクタを、対応する動作、例えば、対称動作を行うように駆動し、インタラクション全体を更に生き生きとする。
【0103】
本願の実施例において、ＡＲ場面において、ユーザに全く新しいインタラクション体験をもたらし、より面白く、現実的であり、楽しみがある。画像データに基づき、対応する位置情報を同時に解析し、実人物とＡＲ人物キャラクタとの前後位置関係をリアルタイムに表示する。ＡＲシリーズのアプリケーションソフトウェア形式により、ユーザはカメラの前で歩き回ったり、動作を行ったりすることができ、三次元仮想キャラクタを、応答動作を行うとともにリアルな物理的位置関係を感じるようにリアルタイムにトリガーすることができる。
【0104】
本願の実施例において、ＡＲ場面において、インタラクティブ集合写真を体験する方案を提供し、ユーザは、画面において前後に歩き、仮想人物とのリアルな前後位置関係を体験することができ、それとともに、動作を行うことをサポートし、ＡＲ人物キャラクタを、応答するようにトリガーすることができる。ユーザは、ソーシャルシェアリングなどの用途に用いられる写真、インタラクティブビデオを迅速かつ簡単に出力することができる。
【0105】
本願の実施例において、ＡＲ場面内部には、仮想素材が常に前面に位置するという問題を解決した。人物像の遮蔽機能を追加することで、ＡＲ場面における仮想物体とリアルな物体との位置関係を強調し、遮蔽効果を実現し、ＡＲ体験に対して、現実的な大きい飛躍をもたらす。
【0106】
本願の実施例において、ＡＲ場面では、ＡＲ人物キャラクタとのインタラクションが固いという問題を解決し、骨格との関連付け、人体キーポイント検出及び姿勢検出などの技術によって、実人物の動作の変化に基づき、ＡＲ人物キャラクタを移行して、鏡像動作のようなフィードバックを行うように駆動することができる。
【0107】
本願の実施例で言及した上記各方法の実施例は、原理や論理から逸脱しない限り、互いに組み合わせることで組み合わせた実施例を構成することができることが理解されるべきである。具体的な実施形態の上記方法において、各ステップの実行順番はその機能及び可能な内在的論理により決まることは、当業者であれば理解すべきである。
【0108】
なお、本願の実施例は、集合写真の画像生成装置、電子機器、コンピュータ可読記憶媒体、コンピュータプログラム及びコンピュータプログラム製品を更に提供する。上記はいずれも、本願の実施例で提供されるいずれか１つの集合写真の画像生成方法を実現するためのものである。対応する技術的解決手段及び説明は、方法に関連する記述を参照されたい。
【0109】
図７は、本願の実施例による集合写真の画像生成装置のブロック図を示す。図７に示すように、前記装置は、
実景画像を取得ように構成される取得モジュール２１と、
前記実景画像に対して識別を行い、前記実景画像における目標対象及び拡張現実ＡＲ場面における前記目標対象の第１位置を決定するように構成される決定モジュール２２と、
前記第１位置と前記ＡＲ場面におけるＡＲ対象の第２位置とに基づいて、ＡＲプレビュー画像を表示するように構成される表示モジュール２３と、
前記ＡＲプレビュー画像に対する集合写真生成操作に応答して、前記目標対象と前記ＡＲ対象のＡＲ集合写真画像を生成するように構成される生成モジュール２４と、を備える。
実景画像を取得ように構成される取得モジュール２１と、
前記実景画像に対して識別を行い、前記実景画像における目標対象及び拡張現実ＡＲ場面における前記目標対象の第１位置を決定するように構成される決定モジュール２２と、
前記第１位置と前記ＡＲ場面におけるＡＲ対象の第２位置とに基づいて、ＡＲプレビュー画像を表示するように構成される表示モジュール２３と、
前記ＡＲプレビュー画像に対する集合写真生成操作に応答して、前記目標対象と前記ＡＲ対象のＡＲ集合写真画像を生成するように構成される生成モジュール２４と、を備える。
【0110】
可能な実現形態において、前記決定モジュール２２は、前記実景画像に対して人体識別を行い、前記実景画像における目標対象の所在する人体領域を決定するように構成される人体領域決定サブモジュールと、前記人体領域に基づいて、前記ＡＲ場面における前記目標対象の第１深度を決定するように構成される第１深度決定サブモジュールであって、前記第１位置は前記第１深度を含む、第１深度決定サブモジュールと、を備える。
【0111】
可能な実現形態において、前記ＡＲ対象の第２位置は、前記ＡＲ場面における前記ＡＲ対象の第２深度を含み、前記表示モジュール２３は、前記第１深度と前記第２深度との相対的関係に基づいて、前記実景画像において、前記ＡＲ対象をレンダリングし、ＡＲプレビュー画像を生成して表示するように構成される第１表示サブモジュールを備える。
【0112】
可能な実現形態において、前記装置は、前記実景画像に対して人体キーポイント検出を行い、前記実景画像における目標対象の人体姿勢を決定するように構成される姿勢決定モジュールを更に備え、前記表示モジュール２３は、前記第１位置、前記第２位置及び前記目標対象の人体姿勢に基づいて、ＡＲプレビュー画像を表示するように構成される第２表示サブモジュールを備える。
【0113】
可能な実現形態において、前記第２表示サブモジュールは、前記目標対象の人体姿勢に基づいて、前記ＡＲ対象の第１姿勢を決定するように構成される第１姿勢決定ユニットであって、前記ＡＲ対象の第１姿勢と前記目標対象の人体姿勢とが対称である、第１姿勢決定ユニットと、前記第１姿勢、前記第１位置及び前記第２位置に基づいて、第１ＡＲプレビュー画像を生成して表示するように構成される第１画像表示ユニットであって、前記第１ＡＲプレビュー画像は、前記第１姿勢を有するＡＲ対象を含む、第１画像表示ユニットと、を備える。
【0114】
可能な実現形態において、前記第２表示サブモジュールは、前記目標対象の人体姿勢に基づいて、前記目標対象の人体姿勢に対応する動作種別を決定するように構成される動作種別決定ユニットと、前記動作種別に基づいて、前記ＡＲ対象の第２姿勢を決定するように構成される第２姿勢決定ユニットであって、前記ＡＲ対象の第２姿勢は前記動作種別とマッチングしている、第２姿勢決定ユニットと、前記第２姿勢、前記第１位置及び前記第２位置に基づいて、第２ＡＲプレビュー画像を生成して表示するように構成される第２画像表示ユニットであって、前記第２ＡＲプレビュー画像は前記第２姿勢を有するＡＲ対象を含む、第２画像表示ユニットと、を備える。
【0115】
可能な実現形態において、前記ＡＲプレビュー画像は、複数フレームのＡＲプレビュー画像を含み、前記生成モジュール２４は、前記複数フレームのＡＲプレビュー画像に対する集合写真生成操作に応答して、前記目標対象と前記ＡＲ対象のＡＲ集合写真ビデオを生成するように構成される集合写真ビデオ生成サブモジュールを備える。
【0116】
本願の実施例において、ＡＲ場面における目標対象の第１位置及びＡＲ対象の第２位置に基づいて、ＡＲプレビュー画像を表示し、ＡＲプレビュー画像に対する集合写真生成操作に応答して、ＡＲ集合写真画像を生成することができ、それによってＡＲ集合写真における仮想物体と実人物との相対的位置に基づき、仮想物体と実人物との遮蔽効果を実現し、リアリティと没入感を向上させることができる。
【0117】
幾つかの実施例において、本願の実施例で提供される装置が持つ機能又は備えるモジュールは、上記方法の実施例に記載の方法を実行するように構成されてもよく、その具体的な実現は、上記方法の実施例の記述を参照することができる。
【0118】
本願の実施例は、コンピュータ可読記憶媒体を更に提供する。該コンピュータ可読記憶媒体にはコンピュータプログラム命令が記憶されており、前記コンピュータプログラム命令がプロセッサにより実行される時、上記方法を実現する。コンピュータ可読記憶媒体は不揮発性コンピュータ可読記憶媒体であってもよい。
【0119】
本願の実施例は電子機器を更に提供する。該電子機器は、プロセッサと、プロセッサによる実行可能な命令を記憶するように構成されるメモリと、を備え、前記プロセッサは、前記メモリに記憶されている命令を呼び出し、上記方法を実行するように構成される。
【0120】
本願の実施例は、コンピュータプログラム製品を更に提供する。前記コンピュータプログラム製品は、コンピュータ可読コードを含み、コンピュータ可読コードが機器で実行される時、機器におけるプロセッサは、上記いずれか１つの実施例による画像処理方法を実現する命令を実行する。本願の実施例は、別のコンピュータプログラム製品を更に提供する。前記コンピュータプログラム製品は、コンピュータ可読命令を記憶するように構成され、命令が実行される時、コンピュータに、上記いずれか１つの実施例による画像処理方法の操作を実行させる。
【0121】
電子機器は、端末、サーバ又は他の形態の機器として提供されてもよい。
【0122】
図８は、本願の実施例による電子機器８００のブロック図を示す。例えば、電子機器８００は、携帯電話、コンピュータ、デジタル放送端末、メッセージング装置、ゲームコンソール、タブレットデバイス、医療機器、フィットネス機器、パーソナルデジタルアシスタントなどの端末であってもよい。
【0123】
図８を参照すると、電子機器８００は、処理ユニット８０２、メモリ８０４、電源ユニット８０６、マルチメディアユニット８０８、オーディオユニット８１０、入力／出力（Ｉｎｐｕｔ／Ｏｕｔｐｕｔ：Ｉ／Ｏ）インタフェース８１２、センサユニット８１４及び通信ユニット８１６のうちの１つ又は複数を備えてもよい。
【0124】
処理ユニット８０２は一般的には、電子機器８００の全体操作を制御する。例えば、表示、通話呼、データ通信、カメラ操作及び記録操作に関連する操作を制御する。処理ユニット８０２は、指令を実行するための１つ又は複数のプロセッサ８２０を備えてもよい。それにより上記方法の全て又は一部のステップを実行する。なお、処理ユニット８０２は、他のユニットとのインタラクションのために、１つ又は複数のモジュールを備えてもよい。例えば、処理ユニット８０２はマルチメディアモジュールを備えることで、マルチメディアユニット８０８と処理ユニット８０２とのインタラクションに寄与する。
【0125】
メモリ８０４は、各種のデータを記憶することで電子機器８００における操作をサポートするように構成される。これらのデータの例として、電子機器８００上で操作れる如何なるアプリケーション又は方法の命令、連絡先データ、電話帳データ、メッセージ、イメージ、ビデオ等を含む。メモリ８０４は任意のタイプの揮発性又は不揮発性記憶装置、あるいはこれらの組み合わせにより実現される。例えば、スタティックランダムアクセスメモリ（ＳＲＡＭ：Ｓｔａｔｉｃ Ｒａｎｄｏｍ－Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、電気的消去可能なプログラマブル読み出し専用メモリ（ＥＥＰＲＯＭ：Ｓｔａｔｉｃ Ｒａｎｄｏｍ－Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、消去可能なプログラマブル読出し専用メモリ（ＥＰＲＯＭ：Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ）、プログラマブル読出し専用メモリ（ＰＲＯＭ：Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ）、読出し専用メモリ（ＲＯＭ：Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、磁気メモリ、フラッシュメモリ、磁気もしくは光ディスクを含む。
【0126】
電源ユニット８０６は電子機器８００の様々なユニットに電力を提供する。電源ユニット８０６は、電源管理システム、１つ又は複数の電源、及び電子機器８００のための電力生成、管理、分配に関連する他のユニットを備えてもよい。
【0127】
マルチメディアユニット８０８は、上記電子機器８００とユーザとの間に出力インタフェースを提供するためのスクリーンを備える。幾つかの実施例において、スクリーンは、液晶ディスプレイ（ＬＣＤ：Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）及びタッチパネル（ＴＰ：Ｔｏｕｃｈ Ｐａｎｅｌ）を含む。スクリーンは、タッチパネルを含むと、タッチパネルとして実現され、ユーザからの入力信号を受信する。タッチパネルは、タッチ、スライド及びパネル上のジェスチャーを感知する１つ又は複数のタッチセンサを備える。上記タッチセンサは、タッチ又はスライド動作の境界を感知するだけでなく、上記タッチ又はスライド操作に関連する持続時間及び圧力を検出することもできる。幾つかの実施例において、マルチメディアユニット８０８は、フロントカメラ及び／又はリアカメラを備える。電子機器８００が、撮影モード又はビデオモードのような操作モードであれば、フロントカメラ及び／又はリアカメラは外部からのマルチメディアデータを受信することができる。各フロントカメラ及びリアカメラは固定した光学レンズシステム又は焦点及び光学ズーム能力を持つものであってもよい。
【0128】
オーディオユニット８１０は、オーディオ信号を出力／入力するように構成される。例えば、オーディオユニット８１０は、マイクロホン（ＭＩＣ：Ｍｉｃｒｏｐｈｏｎｅ）を備える。電子機器８００が、通話モード、記録モード及び音声識別モードのような操作モードであれば、マイクロホンは、外部からのオーディオ信号を受信するように構成される。受信したオーディオ信号を更にメモリ８０４に記憶するか、又は通信ユニット８１６を経由して送信することができる。幾つかの実施例において、オーディオユニット８１０は、オーディオ信号を出力するように構成されるスピーカーを更に備える。
【0129】
Ｉ／Ｏインタフェース８１２は、処理ユニット８０２と周辺インタフェースモジュールとの間のインタフェースを提供する。上記周辺インタフェースモジュールは、キーボード、クリックホイール、ボタン等であってもよい。これらのボタンは、ホームボダン、ボリュームボタン、スタートボタン及びロックボタンを含むが、これらに限定されない。
【0130】
センサユニット８１４は、１つ又は複数のセンサを備え、電子機器８００のために様々な状態の評価を行うように構成される。例えば、センサユニット８１４は、電子機器８００のオン／オフ状態、ユニットの相対的な位置決めを検出することができる。例えば、上記ユニットが電子機器８００のディスプレイ及びキーパッドである。センサユニット８１４は電子機器８００又は電子機器８００における１つのユニットの位置の変化、ユーザと電子機器８００との接触の有無、電子機器８００の方位又は加速／減速及び電子機器８００の温度の変動を検出することもできる。センサユニット８１４は近接センサを備えてもよく、いかなる物理的接触もない場合に周囲の物体の存在を検出するように構成される。センサユニット８１４は、相補型金属酸化膜半導体（ＣＭＯＳ：Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ－Ｏｘｉｄｅ－Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）又は荷電結合素子（ＣＣＤ：Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）画像センサのような光センサを備えてもよく、結像に適用されるように構成される。幾つかの実施例において、該センサユニット８１４は、加速度センサ、ジャイロセンサ、磁気センサ、圧力センサ又は温度センサを更に備えてもよい。
【0131】
通信ユニット８１６は、電子機器８００と他の機器との有線又は無線方式の通信に寄与するように構成される。電子機器８００は、無線ネットワーク（ＷｉＦｉ：Ｗｉｒｅｌｅｓｓ Ｆｉｄｅｌｉｔｙ）、第２世代移動通信技術（２Ｇ：Ｔｈｅ ２ｎｄ Ｇｅｎｅｒａｔｉｏｎ）又は第３世代移動通信技術（３Ｇ：Ｔｈｅ ３ｎｄ Ｇｅｎｅｒａｔｉｏｎ）、又はそれらの組み合わせのような通信規格に基づいた無線ネットワークにアクセスできる。一例示的な実施例において、通信ユニット８１６は放送チャネルを経由して外部放送チャネル管理システムからの放送信号又は放送関連する情報を受信する。一例示的な実施例において、上記通信ユニット８１６は、近接場通信（ＮＦＣ：Ｎｅａｒ Ｆｉｅｌｄ Ｃｏｍｍｕｎｉｃａｔｉｏｎ）モジュールを更に備えることで近距離通信を促進する。例えば、ＮＦＣモジュールは、無線周波数識別（ＲＦＩＤ：Ｒａｄｉｏ Ｆｒｅｑｕｅｎｃｙ Ｉｄｅｎｔｉｆｉｃａｔｉｏｎ）技術、赤外線データ協会（ＩｒＤＡ：Ｉｎｆｒａｒｅｄ Ｄａｔａ Ａｓｓｏｃｉａｔｉｏｎ）技術、超広帯域（ＵＷＢ：Ｕｌｔｒａ Ｗｉｄｅ Ｂａｎｄ）技術、ブルートゥース（登録商標）（ＢＴ：Ｂｌｕｅ Ｔｏｏｔｈ（登録商標））技術及び他の技術に基づいて実現される。
【0132】
例示的な実施例において、電子機器８００は、１つ又は複数の特定用途向け集積回路（ＡＳＩＣ：Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、デジタル信号プロセッサ（ＤＳＰ：Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）、デジタル信号処理機器（ＤＳＰＤ：Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｄｅｖｉｃｅ）、プログラマブルロジックデバイス（ＰＬＤ：Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ：Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）、コントローラ、マイクロコントローラ、マイクロプロセッサ又は他の電子素子により実現され、上記方法を実行するように構成されてもよい。
【0133】
例示的な実施例において、コンピュータプログラム命令を記憶したメモリ８０４のような不揮発性コンピュータ可読記憶媒体を更に提供する。上記コンピュータプログラム命令は、電子機器８００のプロセッサ８２０により実行され上記方法を完了する。
【0134】
本願の実施例は、システム、方法及び／又はコンピュータプログラム製品であってもよい。コンピュータプログラム製品は、コンピュータ可読記憶媒体を備えてもよく、プロセッサに本願の各態様を実現するためのコンピュータ可読プログラム命令がそれに記憶されている。
【0135】
コンピュータ可読記憶媒体は、命令実行装置に用いられる命令を保持又は記憶することができる有形装置であってもよい。コンピュータ可読記憶媒体は、例えば、電気記憶装置、磁気記憶装置、光記憶装置、電磁記憶装置、半導体記憶装置又は上記の任意の組み合わせであってもよいが、これらに限定されない。コンピュータ可読記憶媒体は、ポータブルコンピュータディスク、ハードディスク、ランダムアクセスメモリ（ＲＡＭ：Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、読み出し専用メモリ、消去可能なプログラマブル読み出し専用メモリ（ＥＰＲＯＭ又はフラッシュ）、スタティックランダムアクセスメモリ、ポータブルコンパクトディスク読み出し専用メモリ（ＣＤ－ＲＯＭ：Ｃｏｍｐａｃｔ Ｄｉｓｃ Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ）、デジタル多目的ディスク（ＤＶＤ：Ｄｉｇｉｔａｌ Ｖｉｄｅｏ Ｄｉｓｃ）、メモリスティック、フレキシブルディスク、命令が記憶されているパンチカード又は凹溝内における突起構造のような機械的符号化装置、及び上記任意の適切な組み合わせを含む。ここで用いられるコンピュータ可読記憶媒体は、電波もしくは他の自由に伝搬する電磁波、導波路もしくは他の伝送媒体を通って伝搬する電磁波（例えば、光ファイバケーブルを通過する光パルス）、又は、電線を通して伝送される電気信号などの、一時的な信号それ自体であると解釈されるべきではない。
【0136】
ここで説明されるコンピュータ可読プログラム命令を、コンピュータ可読記憶媒体から各コンピューティング／処理機器にダウンロードすることができるか、又は、インターネット、ローカルエリアネットワーク、ワイドエリアネットワーク及び／又は無線ネットワークのようなネットワークを経由して外部コンピュータ又は外部記憶装置にダウンロードすることができる。ネットワークは、伝送用銅線ケーブル、光ファイバー伝送、無線伝送、ルータ、ファイアウォール、交換機、ゲートウェイコンピュータ及び／又はエッジサーバを含んでもよい。各コンピューティング／処理機器におけるネットワークインターフェースカード又はネットワークインタフェースは、ネットワークからコンピュータ可読プログラム命令を受信し、該コンピュータ可読プログラム命令を転送し、各コンピューティング／処理機器におけるコンピュータ可読記憶媒体に記憶する。
【0137】
本願の操作を実行するためのコンピュータ可読プログラム命令は、アセンブラ命令、命令セットアーキテクチャ（ＩＳＡ：Ｉｎｄｕｓｔｒｙ Ｓｔａｎｄａｒｄ Ａｒｃｈｉｔｅｃｔｕｒｅ）命令、マシン命令、マシン依存命令、マイクロコード、ファームウェア命令、状態設定データ、又は１つ又は複数のプログラミング言語で記述されたソースコード又はターゲットコードであってもよい。前記プログラミング言語は、Ｓｍａｌｌｔａｌｋ、Ｃ＋＋などのようなオブジェクト指向プログラミング言語と、「Ｃ」プログラミング言語又は類似したプログラミング言語などの従来の手続型プログラミング言語とを含む。コンピュータ可読プログラム命令は、ユーザコンピュータ上で完全に実行してもよいし、ユーザコンピュータ上で部分的に実行してもよいし、独立したソフトウェアパッケージとして実行してもよいし、ユーザコンピュータ上で部分的に実行してリモートコンピュータ上で部分的に実行してもよいし、又はリモートコンピュータ又はサーバ上で完全に実行してもよい。リモートコンピュータの場合に、リモートコンピュータは、ローカルエリアネットワーク（ＬＡＮ：Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）やワイドエリアネットワーク（ＷＡＮ：Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）を含む任意の種類のネットワークを通じてユーザのコンピュータに接続するか、又は、外部のコンピュータに接続することができる（例えばインターネットサービスプロバイダを用いてインターネットを通じて接続する）。幾つかの実施例において、コンピュータ可読プログラム命令の状態情報を利用して、プログラマブル論理回路、フィールドプログラマブルゲートアレイ又はプログラマブル論理アレイのような電子回路をカスタマイズする。該電子回路は、コンピュータ可読プログラム命令を実行することで、本出願の各態様を実現することができる。
【0138】
ここで、本出願の実施例の方法、装置（システム）及びコンピュータプログラム製品のフローチャート及び／又はブロック図を参照しながら、本出願の各態様を説明する。フローチャート及び／又はブロック図の各ブロック及びフローチャート及び／又はブロック図における各ブロックの組み合わせは、いずれもコンピュータ可読プログラム命令により実現できる。
【0139】
これらのコンピュータ可読プログラム命令は、汎用コンピュータ、専用コンピュータ又はその他プログラマブルデータ処理機器のプロセッサに提供でき、それによって機器を生み出し、これら命令はコンピュータ又はその他プログラマブルデータ処理機器のプロセッサにより実行される時、フローチャート及び／又はブロック図における１つ又は複数のブロック中で規定している機能／操作を実現する装置を生み出した。これらのコンピュータ可読プログラム命令をコンピュータ可読記憶媒体に記憶してもよい。これらの命令によれば、コンピュータ、プログラマブルデータ処理機器及び／又は他の装置は特定の方式で動作する。従って、命令が記憶されているコンピュータ可読記憶媒体は、フローチャート及び／又はブロック図おける１つ又は複数のブロック中で規定している機能／操作を実現する各態様の命令を含む製品を備える。
【0140】
コンピュータ可読プログラム命令をコンピュータ、他のプログラマブルデータ処理機器又は他の装置にロードしてもよい。これにより、コンピュータ、他のプログラマブルデータ処理機器又は他の装置で一連の操作の工程を実行して、コンピュータで実施されるプロセスを生成する。従って、コンピュータ、他のプログラマブルデータ処理機器又は他の装置で実行される命令により、フローチャート及び／又はブロック図における１つ又は複数のブロック中で規定している機能／操作を実現する。
【0141】
図面におけるフローチャート及びブック図は、本出願の複数の実施例によるシステム、方法及びコンピュータプログラム製品の実現可能なアーキテクチャ、機能および操作を例示するものである。この点で、フローチャート又はブロック図における各ブロックは、１つのモジュール、プログラムセグメント又は命令の一部を表すことができる。前記モジュール、プログラムセグメント又は命令の一部は、１つ又は複数の所定の論理機能を実現するための実行可能な命令を含む。幾つかの取り替えとしての実現中に、ブロックに表記される機能は図面中に表記される順序と異なる順序で発生することができる。例えば、二つの連続するブロックは実際には基本的に並行して実行でき、場合によっては反対の順序で実行することもでき、これは関係する機能から確定する。ブロック図及び／又はフローチャートにおける各ブロック、及びブロック図及び／又はフローチャートにおけるブロックの組み合わせは、所定の機能又は操作を実行するための専用ハードウェアベースシステムにより実現するか、又は専用ハードウェアとコンピュータ命令の組み合わせにより実現することができる。該コンピュータプログラム製品は、ハードウェア、ソフトウェア又はその組み合わせにより実現してもよい。１つの選択的な実施例において、前記コンピュータプログラム製品は、コンピュータ記憶媒体として具現化されてもよく、別の選択的な実施例において、コンピュータプログラム製品は、例えば、ソフトウェア開発キット（Ｓｏｆｔｗａｒｅ Ｄｅｖｅｌｏｐｍｅｎｔ Ｋｉｔ：ＳＤＫ）等のようなソフトウェア製品として具現化されてもよい。
【0142】
以上は本発明の各実施例を説明したが、前記説明は例示的なものであり、網羅するものではなく、且つ開示した各実施例に限定されない。説明した各実施例の範囲と趣旨から脱逸しない場合、当業者にとって、多くの修正及び変更は容易に想到しえるものである。本明細書に用いられる用語の選択は、各実施例の原理、実際の応用、或いは市場における技術への改善を最もよく解釈すること、或いは他の当業者が本明細書に開示された各実施例を理解できることを目的とする。
【産業上の利用可能性】
【0143】
本願の実施例において、実景画像を取得し、実景画像に対して識別を行い、実景画像における目標対象及び拡張現実ＡＲ場面における目標対象の第１位置を決定し、第１位置とＡＲ場面におけるＡＲ対象の第２位置とに基づいて、ＡＲプレビュー画像を表示し、ＡＲプレビュー画像に対する集合写真生成操作に応答して、目標対象とＡＲ対象のＡＲ集合写真画像を生成する。本願の実施例は、ＡＲ集合写真場面におけるリアリティと没入感の向上を実現することができる。
【図1】
【図2a】
【図2b】
【図3a】
【図3b】
【図4】
【図5】
【図6a】
【図6b】
【図7】
【図8】
【手続補正書】
【提出日】2023-01-06
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
集合写真の画像生成方法であって、実景画像を取得することと、
前記実景画像に対して識別を行い、前記実景画像における目標対象と拡張現実（ＡＲ）場面における前記目標対象の第１位置とを決定することと、
前記第１位置と前記ＡＲ場面におけるＡＲ対象の第２位置とに基づいて、ＡＲプレビュー画像を表示することと、
前記ＡＲプレビュー画像に対する集合写真生成操作に応答して、前記目標対象と前記ＡＲ対象のＡＲ集合写真画像を生成することと、を含む、集合写真の画像生成方法。
【請求項2】
前記実景画像に対して識別を行い、前記実景画像における目標対象と拡張現実（ＡＲ）場面における前記目標対象の第１位置とを決定することは、前記実景画像に対して人体識別を行い、前記実景画像における目標対象の所在する人体領域を決定することと、
前記人体領域に基づいて、前記ＡＲ場面における前記目標対象の第１深度を決定することであって、前記第１位置は前記第１深度を含む、ことと、を含むことを特徴とする
請求項１に記載の方法。
【請求項3】
前記ＡＲ対象の第２位置は、前記ＡＲ場面における前記ＡＲ対象の第２深度を含み、前記第１位置と前記ＡＲ場面におけるＡＲ対象の第２位置とに基づいて、ＡＲプレビュー画像を表示することは、
前記第１深度と前記第２深度との相対的関係に基づいて、前記実景画像において、前記ＡＲ対象をレンダリングし、ＡＲプレビュー画像を生成して表示することを含むことを特徴とする
請求項１又は２に記載の方法。
【請求項4】
前記方法は、前記実景画像に対して人体キーポイント検出を行い、前記実景画像における目標対象の人体姿勢を決定することを更に含み、
前記第１位置と前記ＡＲ場面におけるＡＲ対象の第２位置とに基づいて、ＡＲプレビュー画像を表示することは、
前記第１位置、前記第２位置及び前記目標対象の人体姿勢に基づいて、ＡＲプレビュー画像を表示することを含むことを特徴とする
請求項１から３のいずれか一項に記載の方法。
【請求項5】
前記第１位置、前記第２位置及び前記目標対象の人体姿勢に基づいて、ＡＲプレビュー画像を表示することは、前記目標対象の人体姿勢に基づいて、前記ＡＲ対象の第１姿勢を決定することであって、前記ＡＲ対象の第１姿勢と前記目標対象の人体姿勢とが対称である、ことと、
前記第１姿勢、前記第１位置及び前記第２位置に基づいて、第１ＡＲプレビュー画像を生成して表示することであって、前記第１ＡＲプレビュー画像は、前記第１姿勢を有するＡＲ対象を含む、ことと、を含むことを特徴とする
請求項４に記載の方法。
【請求項6】
前記第１位置、前記第２位置及び前記目標対象の人体姿勢に基づいて、ＡＲプレビュー画像を表示することは、前記目標対象の人体姿勢に基づいて、前記目標対象の人体姿勢に対応する動作種別を決定することと、
前記動作種別に基づいて、前記ＡＲ対象の第２姿勢を決定することであって、前記ＡＲ対象の第２姿勢は前記動作種別とマッチングしている、ことと、
前記第２姿勢、前記第１位置及び前記第２位置に基づいて、第２ＡＲプレビュー画像を生成して表示することであって、前記第２ＡＲプレビュー画像は前記第２姿勢を有するＡＲ対象を含む、ことと、を含むことを特徴とする
請求項４又は５に記載の方法。
【請求項7】
前記ＡＲプレビュー画像は、複数フレームのＡＲプレビュー画像を含み、前記ＡＲプレビュー画像に対する集合写真生成操作に応答して、前記目標対象と前記ＡＲ対象のＡＲ集合写真画像を生成することは、前記複数フレームのＡＲプレビュー画像に対する集合写真生成操作に応答して、前記目標対象と前記ＡＲ対象のＡＲ集合写真ビデオを生成することを含むことを特徴とする
請求項１から６のいずれか一項に記載の方法。
【請求項8】
集合写真の画像生成装置であって、実景画像を取得ように構成される取得モジュールと、
前記実景画像に対して識別を行い、前記実景画像における目標対象と拡張現実（ＡＲ）場面における前記目標対象の第１位置とを決定するように構成される決定モジュールと、
前記第１位置と前記ＡＲ場面におけるＡＲ対象の第２位置とに基づいて、ＡＲプレビュー画像を表示するように構成される表示モジュールと、
前記ＡＲプレビュー画像に対する集合写真生成操作に応答して、前記目標対象と前記ＡＲ対象のＡＲ集合写真画像を生成するように構成される生成モジュールと、を備える、集合写真の画像生成装置。
【請求項9】
電子機器であって、プロセッサと、
プロセッサによる実行可能な命令を記憶するように構成されるメモリと、を備え、
前記プロセッサは、前記メモリに記憶されている命令を呼び出し、請求項１から７のいずれか一項に記載の方法を実行するように構成される、電子機器。
【請求項10】
コンピュータ可読記憶媒体であって、前記コンピュータ可読記憶媒体に、コンピュータプログラム命令が記憶されており、前記コンピュータプログラム命令がプロセッサに、請求項１から７のいずれか一項に記載の方法を実行させる、コンピュータ可読記憶媒体。
【請求項11】
コンピュータプログラムであって、コンピュータ可読コードを含み、前記コンピュータ可読コードが電子機器において実行される時、前記電子機器におけるプロセッサに、請求項１から７のいずれか一項に記載の方法を実行させる、コンピュータプログラム。【手続補正2】
【補正対象書類名】明細書
【補正対象項目名】００１７
【補正方法】変更
【補正の内容】
【0017】
本願の実施例において、ＡＲ場面における目標対象の第１位置及びＡＲ対象の第２位置に基づいて、ＡＲプレビュー画像を表示し、ＡＲプレビュー画像に対する集合写真生成操作に応答して、ＡＲ集合写真画像を生成することができ、それによってＡＲ集合写真における仮想物体と実人物との相対的位置に基づき、仮想物体と実人物との遮蔽効果を実現し、ＡＲ集合写真場面におけるリアリティと没入感を向上させることができる。
例えば、本願は以下の項目を提供する。
（項目１）
集合写真の画像生成方法であって、
実景画像を取得することと、
前記実景画像に対して識別を行い、前記実景画像における目標対象と拡張現実（ＡＲ）場面における前記目標対象の第１位置とを決定することと、
前記第１位置と前記ＡＲ場面におけるＡＲ対象の第２位置とに基づいて、ＡＲプレビュー画像を表示することと、
前記ＡＲプレビュー画像に対する集合写真生成操作に応答して、前記目標対象と前記ＡＲ対象のＡＲ集合写真画像を生成することと、を含む、集合写真の画像生成方法。
（項目２）
前記実景画像に対して識別を行い、前記実景画像における目標対象と拡張現実（ＡＲ）場面における前記目標対象の第１位置とを決定することは、
前記実景画像に対して人体識別を行い、前記実景画像における目標対象の所在する人体領域を決定することと、
前記人体領域に基づいて、前記ＡＲ場面における前記目標対象の第１深度を決定することであって、前記第１位置は前記第１深度を含む、ことと、を含むことを特徴とする
項目１に記載の方法。
（項目３）
前記ＡＲ対象の第２位置は、前記ＡＲ場面における前記ＡＲ対象の第２深度を含み、
前記第１位置と前記ＡＲ場面におけるＡＲ対象の第２位置とに基づいて、ＡＲプレビュー画像を表示することは、
前記第１深度と前記第２深度との相対的関係に基づいて、前記実景画像において、前記ＡＲ対象をレンダリングし、ＡＲプレビュー画像を生成して表示することを含むことを特徴とする
項目１又は２に記載の方法。
（項目４）
前記方法は、
前記実景画像に対して人体キーポイント検出を行い、前記実景画像における目標対象の人体姿勢を決定することを更に含み、
前記第１位置と前記ＡＲ場面におけるＡＲ対象の第２位置とに基づいて、ＡＲプレビュー画像を表示することは、
前記第１位置、前記第２位置及び前記目標対象の人体姿勢に基づいて、ＡＲプレビュー画像を表示することを含むことを特徴とする
項目１から３のいずれか一項に記載の方法。
（項目５）
前記第１位置、前記第２位置及び前記目標対象の人体姿勢に基づいて、ＡＲプレビュー画像を表示することは、
前記目標対象の人体姿勢に基づいて、前記ＡＲ対象の第１姿勢を決定することであって、前記ＡＲ対象の第１姿勢と前記目標対象の人体姿勢とが対称である、ことと、
前記第１姿勢、前記第１位置及び前記第２位置に基づいて、第１ＡＲプレビュー画像を生成して表示することであって、前記第１ＡＲプレビュー画像は、前記第１姿勢を有するＡＲ対象を含む、ことと、を含むことを特徴とする
項目４に記載の方法。
（項目６）
前記第１位置、前記第２位置及び前記目標対象の人体姿勢に基づいて、ＡＲプレビュー画像を表示することは、
前記目標対象の人体姿勢に基づいて、前記目標対象の人体姿勢に対応する動作種別を決定することと、
前記動作種別に基づいて、前記ＡＲ対象の第２姿勢を決定することであって、前記ＡＲ対象の第２姿勢は前記動作種別とマッチングしている、ことと、
前記第２姿勢、前記第１位置及び前記第２位置に基づいて、第２ＡＲプレビュー画像を生成して表示することであって、前記第２ＡＲプレビュー画像は前記第２姿勢を有するＡＲ対象を含む、ことと、を含むことを特徴とする
項目４又は５に記載の方法。
（項目７）
前記ＡＲプレビュー画像は、複数フレームのＡＲプレビュー画像を含み、前記ＡＲプレビュー画像に対する集合写真生成操作に応答して、前記目標対象と前記ＡＲ対象のＡＲ集合写真画像を生成することは、
前記複数フレームのＡＲプレビュー画像に対する集合写真生成操作に応答して、前記目標対象と前記ＡＲ対象のＡＲ集合写真ビデオを生成することを含むことを特徴とする
項目１から６のいずれか一項に記載の方法。
（項目８）
集合写真の画像生成装置であって、
実景画像を取得ように構成される取得モジュールと、
前記実景画像に対して識別を行い、前記実景画像における目標対象と拡張現実（ＡＲ）場面における前記目標対象の第１位置とを決定するように構成される決定モジュールと、
前記第１位置と前記ＡＲ場面におけるＡＲ対象の第２位置とに基づいて、ＡＲプレビュー画像を表示するように構成される表示モジュールと、
前記ＡＲプレビュー画像に対する集合写真生成操作に応答して、前記目標対象と前記ＡＲ対象のＡＲ集合写真画像を生成するように構成される生成モジュールと、を備える、集合写真の画像生成装置。
（項目９）
前記決定モジュールは、
前記実景画像に対して人体識別を行い、前記実景画像における目標対象の所在する人体領域を決定するように構成される人体領域決定サブモジュールと、
前記人体領域に基づいて、前記ＡＲ場面における前記目標対象の第１深度を決定するように構成される第１深度決定サブモジュールであって、前記第１位置は前記第１深度を含む、第１深度決定サブモジュールと、を備えることを特徴とする
項目８に記載の装置。
（項目１０）
前記ＡＲ対象の第２位置は、前記ＡＲ場面における前記ＡＲ対象の第２深度を含み、前記表示モジュールは、
前記第１深度と前記第２深度との相対的関係に基づいて、前記実景画像において、前記ＡＲ対象をレンダリングし、ＡＲプレビュー画像を生成して表示するように構成される第１表示サブモジュールを備えることを特徴とする
項目８又は９に記載の装置。
（項目１１）
前記装置は、
前記実景画像に対して人体キーポイント検出を行い、前記実景画像における目標対象の人体姿勢を決定するように構成される姿勢決定モジュールを更に備え、
前記表示モジュールは、前記第１位置、前記第２位置及び前記目標対象の人体姿勢に基づいて、ＡＲプレビュー画像を表示するように構成される第２表示サブモジュールを備えることを特徴とする
項目８から１０のいずれか一項に記載の装置。
（項目１２）
前記第２表示サブモジュールは、
前記目標対象の人体姿勢に基づいて、前記ＡＲ対象の第１姿勢を決定するように構成される第１姿勢決定ユニットであって、前記ＡＲ対象の第１姿勢と前記目標対象の人体姿勢とが対称である、第１姿勢決定ユニットと、
前記第１姿勢、前記第１位置及び前記第２位置に基づいて、第１ＡＲプレビュー画像を生成して表示するように構成される第１画像表示ユニットであって、前記第１ＡＲプレビュー画像は、前記第１姿勢を有するＡＲ対象を含む、第１画像表示ユニットと、を備えることを特徴とする
項目１１に記載の装置。
（項目１３）
前記第２表示サブモジュールは、
前記目標対象の人体姿勢に基づいて、前記目標対象の人体姿勢に対応する動作種別を決定するように構成される動作種別決定ユニットと、
前記動作種別に基づいて、前記ＡＲ対象の第２姿勢を決定するように構成される第２姿勢決定ユニットであって、前記ＡＲ対象の第２姿勢は前記動作種別とマッチングしている、第２姿勢決定ユニットと、
前記第２姿勢、前記第１位置及び前記第２位置に基づいて、第２ＡＲプレビュー画像を生成して表示するように構成される第２画像表示ユニットであって、前記第２ＡＲプレビュー画像は前記第２姿勢を有するＡＲ対象を含む、第２画像表示ユニットと、を備えることを特徴とする
項目１１又は１２に記載の装置。
（項目１４）
前記ＡＲプレビュー画像は、複数フレームのＡＲプレビュー画像を含み、前記生成モジュールは、
前記複数フレームのＡＲプレビュー画像に対する集合写真生成操作に応答して、前記目標対象と前記ＡＲ対象のＡＲ集合写真ビデオを生成するように構成される集合写真ビデオ生成サブモジュールを備えることを特徴とする
項目８から１３のいずれか一項に記載の装置。
（項目１５）
電子機器であって、
プロセッサと、
プロセッサによる実行可能な命令を記憶するように構成されるメモリと、を備え、
前記プロセッサは、前記メモリに記憶されている命令を呼び出し、項目１から７のいずれか一項に記載の方法を実行するように構成される、電子機器。
（項目１６）
コンピュータ可読記憶媒体であって、前記コンピュータ可読記憶媒体に、コンピュータプログラム命令が記憶されており、前記コンピュータプログラム命令がプロセッサにより実行される時、項目１から７のいずれか一項に記載の方法を実現する、コンピュータ可読記憶媒体。
（項目１７）
コンピュータプログラムであって、コンピュータ可読コードを含み、前記コンピュータ可読コードが電子機器において実行される時、前記電子機器におけるプロセッサは、項目１から７のいずれか一項に記載の方法を実行する、コンピュータプログラム。
（項目１８）
コンピュータプログラム製品であって、前記コンピュータプログラム製品は、１つ又は複数の命令を含み、前記１つ又は複数の命令は、プロセッサによってロードされて項目１から７のいずれか一項に記載の方法におけるステップを実行することに適する、コンピュータプログラム製品。
例えば、本願は以下の項目を提供する。
（項目１）
集合写真の画像生成方法であって、
実景画像を取得することと、
前記実景画像に対して識別を行い、前記実景画像における目標対象と拡張現実（ＡＲ）場面における前記目標対象の第１位置とを決定することと、
前記第１位置と前記ＡＲ場面におけるＡＲ対象の第２位置とに基づいて、ＡＲプレビュー画像を表示することと、
前記ＡＲプレビュー画像に対する集合写真生成操作に応答して、前記目標対象と前記ＡＲ対象のＡＲ集合写真画像を生成することと、を含む、集合写真の画像生成方法。
（項目２）
前記実景画像に対して識別を行い、前記実景画像における目標対象と拡張現実（ＡＲ）場面における前記目標対象の第１位置とを決定することは、
前記実景画像に対して人体識別を行い、前記実景画像における目標対象の所在する人体領域を決定することと、
前記人体領域に基づいて、前記ＡＲ場面における前記目標対象の第１深度を決定することであって、前記第１位置は前記第１深度を含む、ことと、を含むことを特徴とする
項目１に記載の方法。
（項目３）
前記ＡＲ対象の第２位置は、前記ＡＲ場面における前記ＡＲ対象の第２深度を含み、
前記第１位置と前記ＡＲ場面におけるＡＲ対象の第２位置とに基づいて、ＡＲプレビュー画像を表示することは、
前記第１深度と前記第２深度との相対的関係に基づいて、前記実景画像において、前記ＡＲ対象をレンダリングし、ＡＲプレビュー画像を生成して表示することを含むことを特徴とする
項目１又は２に記載の方法。
（項目４）
前記方法は、
前記実景画像に対して人体キーポイント検出を行い、前記実景画像における目標対象の人体姿勢を決定することを更に含み、
前記第１位置と前記ＡＲ場面におけるＡＲ対象の第２位置とに基づいて、ＡＲプレビュー画像を表示することは、
前記第１位置、前記第２位置及び前記目標対象の人体姿勢に基づいて、ＡＲプレビュー画像を表示することを含むことを特徴とする
項目１から３のいずれか一項に記載の方法。
（項目５）
前記第１位置、前記第２位置及び前記目標対象の人体姿勢に基づいて、ＡＲプレビュー画像を表示することは、
前記目標対象の人体姿勢に基づいて、前記ＡＲ対象の第１姿勢を決定することであって、前記ＡＲ対象の第１姿勢と前記目標対象の人体姿勢とが対称である、ことと、
前記第１姿勢、前記第１位置及び前記第２位置に基づいて、第１ＡＲプレビュー画像を生成して表示することであって、前記第１ＡＲプレビュー画像は、前記第１姿勢を有するＡＲ対象を含む、ことと、を含むことを特徴とする
項目４に記載の方法。
（項目６）
前記第１位置、前記第２位置及び前記目標対象の人体姿勢に基づいて、ＡＲプレビュー画像を表示することは、
前記目標対象の人体姿勢に基づいて、前記目標対象の人体姿勢に対応する動作種別を決定することと、
前記動作種別に基づいて、前記ＡＲ対象の第２姿勢を決定することであって、前記ＡＲ対象の第２姿勢は前記動作種別とマッチングしている、ことと、
前記第２姿勢、前記第１位置及び前記第２位置に基づいて、第２ＡＲプレビュー画像を生成して表示することであって、前記第２ＡＲプレビュー画像は前記第２姿勢を有するＡＲ対象を含む、ことと、を含むことを特徴とする
項目４又は５に記載の方法。
（項目７）
前記ＡＲプレビュー画像は、複数フレームのＡＲプレビュー画像を含み、前記ＡＲプレビュー画像に対する集合写真生成操作に応答して、前記目標対象と前記ＡＲ対象のＡＲ集合写真画像を生成することは、
前記複数フレームのＡＲプレビュー画像に対する集合写真生成操作に応答して、前記目標対象と前記ＡＲ対象のＡＲ集合写真ビデオを生成することを含むことを特徴とする
項目１から６のいずれか一項に記載の方法。
（項目８）
集合写真の画像生成装置であって、
実景画像を取得ように構成される取得モジュールと、
前記実景画像に対して識別を行い、前記実景画像における目標対象と拡張現実（ＡＲ）場面における前記目標対象の第１位置とを決定するように構成される決定モジュールと、
前記第１位置と前記ＡＲ場面におけるＡＲ対象の第２位置とに基づいて、ＡＲプレビュー画像を表示するように構成される表示モジュールと、
前記ＡＲプレビュー画像に対する集合写真生成操作に応答して、前記目標対象と前記ＡＲ対象のＡＲ集合写真画像を生成するように構成される生成モジュールと、を備える、集合写真の画像生成装置。
（項目９）
前記決定モジュールは、
前記実景画像に対して人体識別を行い、前記実景画像における目標対象の所在する人体領域を決定するように構成される人体領域決定サブモジュールと、
前記人体領域に基づいて、前記ＡＲ場面における前記目標対象の第１深度を決定するように構成される第１深度決定サブモジュールであって、前記第１位置は前記第１深度を含む、第１深度決定サブモジュールと、を備えることを特徴とする
項目８に記載の装置。
（項目１０）
前記ＡＲ対象の第２位置は、前記ＡＲ場面における前記ＡＲ対象の第２深度を含み、前記表示モジュールは、
前記第１深度と前記第２深度との相対的関係に基づいて、前記実景画像において、前記ＡＲ対象をレンダリングし、ＡＲプレビュー画像を生成して表示するように構成される第１表示サブモジュールを備えることを特徴とする
項目８又は９に記載の装置。
（項目１１）
前記装置は、
前記実景画像に対して人体キーポイント検出を行い、前記実景画像における目標対象の人体姿勢を決定するように構成される姿勢決定モジュールを更に備え、
前記表示モジュールは、前記第１位置、前記第２位置及び前記目標対象の人体姿勢に基づいて、ＡＲプレビュー画像を表示するように構成される第２表示サブモジュールを備えることを特徴とする
項目８から１０のいずれか一項に記載の装置。
（項目１２）
前記第２表示サブモジュールは、
前記目標対象の人体姿勢に基づいて、前記ＡＲ対象の第１姿勢を決定するように構成される第１姿勢決定ユニットであって、前記ＡＲ対象の第１姿勢と前記目標対象の人体姿勢とが対称である、第１姿勢決定ユニットと、
前記第１姿勢、前記第１位置及び前記第２位置に基づいて、第１ＡＲプレビュー画像を生成して表示するように構成される第１画像表示ユニットであって、前記第１ＡＲプレビュー画像は、前記第１姿勢を有するＡＲ対象を含む、第１画像表示ユニットと、を備えることを特徴とする
項目１１に記載の装置。
（項目１３）
前記第２表示サブモジュールは、
前記目標対象の人体姿勢に基づいて、前記目標対象の人体姿勢に対応する動作種別を決定するように構成される動作種別決定ユニットと、
前記動作種別に基づいて、前記ＡＲ対象の第２姿勢を決定するように構成される第２姿勢決定ユニットであって、前記ＡＲ対象の第２姿勢は前記動作種別とマッチングしている、第２姿勢決定ユニットと、
前記第２姿勢、前記第１位置及び前記第２位置に基づいて、第２ＡＲプレビュー画像を生成して表示するように構成される第２画像表示ユニットであって、前記第２ＡＲプレビュー画像は前記第２姿勢を有するＡＲ対象を含む、第２画像表示ユニットと、を備えることを特徴とする
項目１１又は１２に記載の装置。
（項目１４）
前記ＡＲプレビュー画像は、複数フレームのＡＲプレビュー画像を含み、前記生成モジュールは、
前記複数フレームのＡＲプレビュー画像に対する集合写真生成操作に応答して、前記目標対象と前記ＡＲ対象のＡＲ集合写真ビデオを生成するように構成される集合写真ビデオ生成サブモジュールを備えることを特徴とする
項目８から１３のいずれか一項に記載の装置。
（項目１５）
電子機器であって、
プロセッサと、
プロセッサによる実行可能な命令を記憶するように構成されるメモリと、を備え、
前記プロセッサは、前記メモリに記憶されている命令を呼び出し、項目１から７のいずれか一項に記載の方法を実行するように構成される、電子機器。
（項目１６）
コンピュータ可読記憶媒体であって、前記コンピュータ可読記憶媒体に、コンピュータプログラム命令が記憶されており、前記コンピュータプログラム命令がプロセッサにより実行される時、項目１から７のいずれか一項に記載の方法を実現する、コンピュータ可読記憶媒体。
（項目１７）
コンピュータプログラムであって、コンピュータ可読コードを含み、前記コンピュータ可読コードが電子機器において実行される時、前記電子機器におけるプロセッサは、項目１から７のいずれか一項に記載の方法を実行する、コンピュータプログラム。
（項目１８）
コンピュータプログラム製品であって、前記コンピュータプログラム製品は、１つ又は複数の命令を含み、前記１つ又は複数の命令は、プロセッサによってロードされて項目１から７のいずれか一項に記載の方法におけるステップを実行することに適する、コンピュータプログラム製品。
【国際調査報告】