特表 2023-533295 拡張現実の画像処理方法、装置、電子機器及び記憶媒体

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2023-08-02

(54)【発明の名称】拡張現実の画像処理方法、装置、電子機器及び記憶媒体

(51)【国際特許分類】

   G06T 19/00 20110101AFI20230726BHJP

   G06F 3/0484 20220101ALI20230726BHJP

【ＦＩ】

G06T19/00 600

G06F3/0484

【審査請求】有

【予備審査請求】未請求

(21)【出願番号】P 2023501106

(86)(22)【出願日】2021-06-04

(85)【翻訳文提出日】2023-03-06

(86)【国際出願番号】 CN2021098456

(87)【国際公開番号】W WO2022007565

(87)【国際公開日】2022-01-13

(31)【優先権主張番号】202010662819.X

(32)【優先日】2020-07-10

(33)【優先権主張国・地域又は機関】CN

(81)【指定国・地域】

【公序良俗違反の表示】

（特許庁注：以下のものは登録商標）

１．ＡＮＤＲＯＩＤ

２．ＪＡＶＡ

３．ＳＭＡＬＬＴＡＬＫ

(71)【出願人】

【識別番号】520476341

【氏名又は名称】北京字節跳動網絡技術有限公司

【氏名又は名称原語表記】Ｂｅｉｊｉｎｇ Ｂｙｔｅｄａｎｃｅ Ｎｅｔｗｏｒｋ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．， Ｌｔｄ．

【住所又は居所原語表記】Ｒｏｏｍ Ｂ－００３５， ２／Ｆ， Ｎｏ．３ Ｂｕｉｌｄｉｎｇ， Ｎｏ．３０， Ｓｈｉｘｉｎｇ Ｒｏａｄ， Ｓｈｉｊｉｎｇｓｈａｎ Ｄｉｓｔｒｉｃｔ Ｂｅｉｊｉｎｇ １０００４１ Ｃｈｉｎａ

(71)【出願人】

【識別番号】520477474

【氏名又は名称】バイトダンス インコーポレイテッド

【氏名又は名称原語表記】ＢＹＴＥＤＡＮＣＥ ＩＮＣ．

【住所又は居所原語表記】１２６５５ Ｗｅｓｔ Ｊｅｆｆｅｒｓｏｎ Ｂｏｕｌｅｖａｒｄ， Ｓｉｘｔｈ Ｆｌｏｏｒ， Ｓｕｉｔｅ Ｎｏ． １３７ Ｌｏｓ Ａｎｇｅｌｅｓ， Ｃａｌｉｆｏｒｎｉａ ９００６６ Ｕｎｉｔｅｄ Ｓｔａｔｅｓ ｏｆ Ａｍｅｒｉｃａ

(74)【代理人】

【識別番号】100107766

【弁理士】

【氏名又は名称】伊東 忠重

(74)【代理人】

【識別番号】100070150

【弁理士】

【氏名又は名称】伊東 忠彦

(74)【代理人】

【識別番号】100135079

【弁理士】

【氏名又は名称】宮崎 修

(72)【発明者】

【氏名】リ，ユンヂュ

(72)【発明者】

【氏名】ヂャン，ジンツォン

(72)【発明者】

【氏名】ソン，シュチェン

(72)【発明者】

【氏名】ヤン，ジェンチャオ

(72)【発明者】

【氏名】ワン，グオフゥイ

(72)【発明者】

【氏名】チェン，ヂーリー

(72)【発明者】

【氏名】ルオ，リンジェ

(72)【発明者】

【氏名】ヤン，シァオ

(72)【発明者】

【氏名】リ，ハオゼァ

(72)【発明者】

【氏名】リウ，ジン

【テーマコード（参考）】

5B050

5E555

【Ｆターム（参考）】

5B050BA09

5B050BA13

5B050CA07

5B050DA10

5B050EA07

5B050EA09

5B050EA18

5B050EA19

5B050EA28

5B050FA02

5B050FA05

5B050FA10

5B050GA08

5E555AA22

5E555AA48

5E555BA02

5E555BA04

5E555BB02

5E555BB04

5E555BC04

5E555BE17

5E555CA02

5E555CA12

5E555CA15

5E555CA18

5E555CA42

5E555CA44

5E555CA45

5E555CA47

5E555CB66

5E555CB67

5E555DA21

5E555DC10

5E555DC30

5E555DC35

5E555DC84

5E555FA00

(57)【要約】

拡張現実の画像処理方法、装置、電子機器及び記憶媒体である。ユーザによりトリガされた画像取得命令に応答して、目標物体を含む目標画像を取得するステップと、目標物体の拡張現実モデルを取得し、目標物体と組み合わせて拡張現実モデルを出力するステップと、ユーザにより選択された目標オーディオデータを取得し、目標オーディオデータに基づいて時系列性を有するオーディオ特性を決定するステップと、目標オーディオデータが出力される場合、目標オーディオデータの再生進捗状況及びオーディオ特性に応じて拡張現実モデルを駆動するステップと、を含む。拡張現実モデルが出力される場合、ユーザにより選択された目標オーディオデータのオーディオ特性と組み合わせて、拡張表示モデルの出力を駆動することができ、ユーザが拡張表示モデルの表示過程に参加できるようにし、異なる目標オーディオデータを選択することで、拡張現実モデルが目標オーディオデータのオーディオ特性に応じて表示するように駆動し、使い勝手を向上させる。
【選択図】図１

【特許請求の範囲】

【請求項1】

ユーザによりトリガされた画像取得命令に応答して、目標物体を含む目標画像を取得するステップと、
前記目標物体の拡張現実モデルを取得し、前記目標物体と組み合わせて前記拡張現実モデルを出力するステップと、
前記ユーザにより選択された目標オーディオデータを取得し、前記目標オーディオデータに基づいて時系列性を有するオーディオ特性を決定するステップと、
前記目標オーディオデータが出力される場合、前記目標オーディオデータの再生進捗状況及び前記オーディオ特性に応じて前記拡張現実モデルを駆動するステップと、を含む、
ことを特徴とする拡張現実の画像処理方法。

【請求項2】

前記目標オーディオデータに基づいて時系列性を有するオーディオ特性を決定するステップは、
前記目標オーディオデータに対してオーディオ特性検出を行い、アクセント、強拍又は拍子の１つ又は複数の組み合わせを含む、前記目標オーディオデータの前記時系列性を有するオーディオ特性を取得するステップを含む、
ことを特徴とする請求項１に記載の方法。

【請求項3】

前記拡張現実モデルは、複数のモデルユニットを含み、
前記目標オーディオデータの再生進捗状況及び前記オーディオ特性に応じて前記拡張現実モデルを駆動するステップは、
前記目標オーディオデータの再生進捗状況及び前記オーディオ特性に応じて前記拡張現実モデルにおけるモデルユニットを駆動するステップを含む、
ことを特徴とする請求項１又は２に記載の方法。

【請求項4】

前記目標オーディオデータの再生進捗状況及び前記オーディオ特性に応じて前記拡張現実モデルにおけるモデルユニットを駆動するステップは、
前記時系列性を有するオーディオ特性に応じて前記モデルユニットが形態変化を行う目標時間及び目標幅を決定するステップと、
前記目標オーディオデータの再生進捗状況が前記目標時間であれば、前記目標幅に応じて前記拡張現実モデルにおけるモデルユニットを駆動するステップと、を含む、
ことを特徴とする請求項３に記載の方法。

【請求項5】

前記目標幅に応じて前記拡張現実モデルにおけるモデルユニットを駆動するステップは、
前記拡張現実モデルにおけるプリセットモデルユニットが突起動作を行うように駆動するステップ、又は、
前記拡張現実モデルにおける複数のモデルユニットが色変化を実行するように駆動するステップ、又は、
前記拡張現実モデルにおける複数のモデルユニットが透明度変化を実行するように駆動するステップを含む、
ことを特徴とする請求項４に記載の方法。

【請求項6】

前記ユーザにより選択された目標オーディオデータを取得した後、
前記目標オーディオデータの感情特徴を取得するステップと、
前記感情特徴に基づいて前記拡張現実モデルの第１の変形特徴を決定するステップであって、前記第１の変形特徴は、前記拡張現実モデルの形状を前記感情特徴によって表現された感情と一致させるように駆動するために用いられるステップと、
前記目標オーディオデータが出力される場合、前記第１の変形特徴に基づいて前記拡張現実モデルを駆動するステップと、をさらに含む、
ことを特徴とする請求項１～５のいずれか１項に記載の方法。

【請求項7】

前記ユーザにより選択された目標オーディオデータを取得した後、
前記ユーザの肢体動作又は表情を取得するステップと、
前記肢体動作又は表情に応じて前記拡張現実モデルの第２の変形特徴を決定するステップであって、前記第２の変形特徴は、前記拡張現実モデルの形状を前記肢体動作又は表情と一致させるように駆動するために用いられるステップと、
前記目標オーディオデータが出力される場合、前記第２の変形特徴に基づいて前記拡張現実モデルを駆動するステップと、をさらに含む、
ことを特徴とする請求項１～５のいずれか１項に記載の方法。

【請求項8】

ユーザによりトリガされた画像取得命令に応答して、目標物体を含む目標画像を取得するための目標画像取得モジュールと、
前記目標物体の拡張現実モデルを取得し、前記目標物体と組み合わせて前記拡張現実モデルを出力するための拡張現実モデル取得モジュールと、
前記ユーザにより選択された目標オーディオデータを取得するための目標オーディオ取得モジュールと、
前記目標オーディオデータに基づいて時系列性を有するオーディオ特性を決定するためのオーディオ特性決定モジュールと、
前記目標オーディオデータが出力される場合、前記目標オーディオデータの再生進捗状況及び前記オーディオ特性に応じて前記拡張現実モデルを駆動するための出力モジュールと、を含む、
ことを特徴とする拡張現実の画像処理装置。

【請求項9】

１つ又は複数のプロセッサと、
１つ又は複数のプログラムを記憶するための記憶装置と、を含み、
前記１つ又は複数のプログラムが前記１つ又は複数のプロセッサにより実行されると、前記１つ又は複数のプロセッサに請求項１～７のいずれか１項に記載の拡張現実の画像処理方法を実現させる、
ことを特徴とする電子機器。

【請求項10】

コンピュータ実行可能命令を含む記憶媒体であって、前記コンピュータ実行可能命令がコンピュータプロセッサにより実行されると、請求項１～７のいずれか１項に記載の拡張現実の画像処理方法を実行するために用いられる、
記憶媒体。

【請求項11】

コンピュータに請求項１～７のいずれか１項に記載の拡張現実の画像処理方法を実行させるコンピュータプログラム命令を含む、
ことを特徴とするコンピュータプログラム製品。

【請求項12】

コンピュータに請求項１～７のいずれか１項に記載の拡張現実の画像処理方法を実行させる、
ことを特徴とするコンピュータプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明の実施例は、仮想現実の技術に関し、特に拡張現実の画像処理方法、装置、電子機器及び記憶媒体に関する。

【背景技術】

【0002】

拡張現実（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ、ＡＲと略称される）は、現実情報と仮想情報を重畳する技術である。まず、コンピュータシステムが現実情報を処理し、現実情報に基づいてマッチングし且つ仮想物体、音又は文字などの形式を含む仮想情報を生成し、次いで、現実情報を表示するマンマシンインタラクションインタフェースに仮想情報を重畳することで、ユーザの現実世界への知覚を向上させる。

【0003】

現在、拡張現実モデルは、予め設定された所定の方式でしか表示できず、表示方式が単一で、インタラクティブ性に欠け、使い勝手が悪い。

【発明の概要】

【発明が解決しようとする課題】

【0004】

本発明は、拡張現実モデルのインタラクティブ性を向上させ、使い勝手を向上させることを実現するために、拡張現実の画像処理方法、装置、電子機器及び記憶媒体を提供する。

【課題を解決するための手段】

【0005】

第１の態様において、本発明の実施例にて提供される拡張現実の画像処理方法は、
ユーザによりトリガされた画像取得命令に応答して、目標物体を含む目標画像を取得するステップと、
目標物体の拡張現実モデルを取得し、目標物体と組み合わせて拡張現実モデルを出力するステップと、
ユーザにより選択された目標オーディオデータを取得し、目標オーディオデータに基づいて時系列性を有するオーディオ特性を決定するステップと、
目標オーディオデータが出力される場合、目標オーディオデータの再生進捗状況及びオーディオ特性に応じて拡張現実モデルを駆動するステップと、を含む。

【0006】

第２の態様において、本発明の実施例にてさらに提供される拡張現実の画像処理装置は、
ユーザによりトリガされた画像取得命令に応答して、目標物体を含む目標画像を取得するための目標画像取得モジュールと、
目標物体の拡張現実モデルを取得し、目標物体と組み合わせて拡張現実モデルを出力するための拡張現実モデル取得モジュールと、
ユーザにより選択された目標オーディオデータを取得するための目標オーディオ取得モジュールと、
目標オーディオデータに基づいて時系列性を有するオーディオ特性を決定するためのオーディオ特性決定モジュールと、
目標オーディオデータが出力される場合、目標オーディオデータの再生進捗状況及びオーディオ特性に応じて拡張現実モデルを駆動するための出力モジュールと、を含む。

【0007】

第３の態様において、本発明の実施例にてさらに提供される電子機器は、
１つ又は複数のプロセッサと、
１つ又は複数のプログラムを記憶するための記憶装置と、を含み、
１つ又は複数のプログラムが１つ又は複数のプロセッサにより実行されると、１つ又は複数のプロセッサに本開示の実施例に示された拡張現実の画像処理方法を実現させる。

【0008】

第４の態様において、本発明の実施例は、コンピュータ実行可能命令を含む記憶媒体をさらに提供し、コンピュータ実行可能命令がコンピュータプロセッサにより実行されると、本開示の実施例に示された拡張現実の画像処理方法を実行するために用いられる。

【0009】

第５の態様において、本発明の実施例は、コンピュータプログラム製品をさらに提供し、前記コンピュータプログラム製品は、読み取り可能な記憶媒体に記憶されたコンピュータプログラムを含み、電子機器の１つ又は複数のプロセッサが前記読み取り可能な記憶媒体から前記コンピュータプログラムを読み取り可能であり、前記１つ又は複数のプロセッサが前記コンピュータプログラムを実行して、前記電子機器に、本開示の実施例に示された拡張現実の画像処理方法を実行させる。

【0010】

第６の態様において、本開示の実施例は、読み取り可能な記憶媒体に記憶されたコンピュータプログラムをさらに提供し、機器の１つ又は複数のプロセッサが前記読み取り可能な記憶媒体から前記コンピュータプログラムを読み取り可能であり、前記１つ又は複数のプロセッサが前記コンピュータプログラムを実行して、前記電子機器に、本開示の実施例に示された拡張現実の画像処理方法を実行させる。

【発明の効果】

【0011】

本開示の実施例にて開示される拡張現実の画像処理手段は、ユーザによりトリガされた画像取得命令に応答して、目標物体を含む目標画像を取得し、目標物体の拡張現実モデルを取得し、目標物体と組み合わせて拡張現実モデルを出力し、ユーザにより選択された目標オーディオデータを取得し、目標オーディオデータに基づいて時系列性を有するオーディオ特性を決定し、目標オーディオデータが出力される場合、目標オーディオデータの再生進捗状況及びオーディオ特性に応じて拡張現実モデルを駆動することができる。現在、拡張現実モデルは、インタラクティブ性に欠け、使い勝手が悪いことに対して、本開示の実施例にて開示される拡張現実の画像処理手段は、拡張現実モデルが出力される場合、ユーザにより選択された目標オーディオデータのオーディオ特性と組み合わせて、拡張表示モデルの出力を駆動することができ、ユーザが拡張表示モデルの表示過程に参加できるようにし、異なる目標オーディオデータを選択することで、拡張現実モデルが目標オーディオデータのオーディオ特性に応じて表示するように駆動し、使い勝手を向上させる。

【図面の簡単な説明】

【0012】

【図1】本発明の実施例１における拡張現実の画像処理方法のフローチャートである。

【図2】本発明の実施例２における拡張現実の画像処理装置の構造概略図である。

【図3】本発明の実施例３における電子機器の構造概略図である。

【発明を実施するための形態】

【0013】

以下、図面及び実施例を参照して、本発明をさらに詳細に説明する。理解されるように、ここで説明された具体的な実施例は、本発明を解釈するためのものだけで、本発明を限定するものではない。なお、説明の便宜上、図面は、本発明に関連する部分のみを示しており、全ての構造を示していない。
実施例１

【0014】

図１は、本発明の実施例１にて提供される拡張現実の画像処理方法のフローチャートであり、本実施例は、拡張現実モデルを表示する場合に適用でき、当該方法は、拡張現実を実現する電子機器により実行されてもよく、当該電子機器は、スマートフォン、タブレットなどであってもよく、具体的には、以下のステップを含む。

【0015】

ステップ１１０において、ユーザによりトリガされた画像取得命令に応答して、目標物体を含む目標画像を取得する。

【0016】

ユーザは、プリセットアプリケーションで画像取得命令を発することができ、ユーザが画像取得命令を発する場合、電子機器は、カメラで目標画像を取得する。ユーザは、拡張現実モデルを使用するという意図の上に、プリセットアプリケーションを起動することができる。目標物体の画面を電子機器で撮影する。目標物体は、ランドマーク建物などの拡張現実モデルを備える物体であってもよい。ランドマーク建物は、ある領域に独特なデザインスタイルを有する建物であってもよい。

【0017】

プリセットアプリケーションは、電子機器の写真撮影アプリケーション、又は拡張現実機能を有するアプリケーションであってもよい。電子機器のカメラは、目標画像を取得し、電子機器は、取得した目標画像をプレビューページに表示させる。プレビューページは、カメラにより取得されたリアルタイム画像をユーザに提供することができる。

【0018】

ステップ１２０において、目標物体の拡張現実モデルを取得し、目標物体と組み合わせて拡張現実モデルを出力する。

【0019】

現在画像における被写体に対応する拡張現実モデルが存在することを認識すれば、拡張現実モデルを目標画像における目標物体にマッピングし、目標物体と組み合わせて拡張現実モデルを出力することを実現する。

【0020】

さらに、手動で拡張現実モデルの大きさを調整するインタフェースをユーザに提供することができ、機械の組み合わせ効果が不十分で、例えば拡張現実モデルと目標物体とを正確に組み合わせることができない場合、当該インタフェースにより拡張現実モデルの大きさを調整することができ、ユーザにより拡張現実モデルの大きさを調整することをさらに実現し、使い勝手を向上させる。

【0021】

さらに、一実現形態において、目標物体がランドマーク建物である場合、目標物体の拡張現実モデルを取得することは、下記の方式で実施することができる。

【0022】

アイコン画像に建物が含まれることが監視される場合、電子機器の現在位置情報及び撮影角度に基づいて目標物体識別子を決定し、目標物体識別子が示す拡張現実モデルを目標物体の拡張現実モデルとして決定する。

【0023】

電子機器の全地球測位システム（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ、ＧＰＳ）の測位情報を取得する。電子機器の向きをジャイロスコープで取得し、当該向きを撮影角度とする。測位情報及び撮影角度に基づいて、所定の撮影範囲内にランドマーク建物があるか否かを決定する。ランドマーク建物があれば、当該ランドマーク建物の拡張現実モデルを目標物体の拡張現実モデルとする。

【0024】

さらに、別の実現形態において、目標物体の拡張現実モデルを取得することは、下記の方式で実施することができる。

【0025】

目標画像から目標物体の基礎画像を決定し、当該基礎画像に基づいて目標物体の拡張現実モデルを決定する。基礎画像は、目標画像における目標物体の画像であってもよい。ネットワーク側サーバで基礎画像に対して画像解析を行い、当該基礎画像における目標物体が具体的に何であるかをさらに決定することができる。目標物体は、建物、車両、服装、履物・キャップなどの物体であってもよい。

【0026】

上記２つの実現形態は、目標物体の拡張現実モデルを検索するために用いられてもよく、目標物体の拡張現実モデルが正確であるか否かを検証するために用いられてもよい。

【0027】

ステップ１３０において、ユーザにより選択された目標オーディオデータを取得し、目標オーディオデータに基づいて時系列性を有するオーディオ特性を決定する。

【0028】

目標オーディオデータは、ユーザにより選択された曲や録音などのオーディオデータであってもよい。上記オーディオデータは、ローカルに記憶されたオーディオデータであってもよい。サーバにより提供された曲のリストからユーザが選択したオーディオデータであってもよい。目標オーディオデータは、ユーザがリアルタイムに入力したオーディオデータであってもよい。

【0029】

選択可能に、目標オーディオデータに対してオーディオ特性検出を行い、アクセント、強拍又は拍子の１つ又は複数の組み合わせを含む、目標オーディオデータの時系列性を有するオーディオ特性を取得する。

【0030】

オーディオ特性検出は、目標オーディオデータにおける拍子の規則性、アクセント、強拍の出現位置や規則性などを解析するために用いられる。拍子は、目標オーディオデータのリズムを表す単位である。目標オーディオデータには、所定の強弱のある一連の拍子が所定の時間毎に繰り返し現れる。例えば２／４拍子（４分の２拍子）、４／４拍子（４分の４拍子）、３／４拍子（４分の３拍子）などがある。拍子は、時間的に周期的に変化する。アクセントは、目標オーディオのうちの音量が大きい音符である。強拍とは、拍子のうちの強勢のある拍を指す。

【0031】

ステップ１４０において、目標オーディオデータが出力される場合、目標オーディオデータの再生進捗状況及びオーディオ特性に応じて拡張現実モデルを駆動する。

【0032】

ユーザが目標オーディオデータを選択した後、電子機器のオーディオ出力モジュールにより目標オーディオデータを出力する。目標オーディオデータを出力すると同時に、現在の再生進捗状況及び目標オーディオ特性に応じて拡張現実モデルを駆動する。

【0033】

例示的に、アクセント、弱拍、又は強拍の現れにつれて、拡張現実モデル全体の色を変化させるように駆動してもよい。強拍、弱拍、又はアクセントに対応する色変化が異なる。

【0034】

選択可能に、拡張現実モデルは、複数のモデルユニットを含む。目標オーディオデータの再生進捗状況及びオーディオ特性に応じて拡張現実モデルを駆動するステップは、目標オーディオデータの再生進捗状況及びオーディオ特性に応じて拡張現実モデルにおけるモデルユニットを駆動するステップを含む。

【0035】

拡張現実モデルは、複数のモデルユニットから構成されてもよく、各モデルユニットは、１つの立方体ユニットであってもよい。複数の立方体ユニットを繋ぎ合わせて目標物体の拡張現実モデルを形成する。複数の立方体をシェーダで並列に処理してもよい。目標オーディオデータの再生進捗状況及びオーディオ特性に応じて、拡張現実モデルにおけるモデルユニットを駆動する。

【0036】

選択可能に、目標オーディオデータの再生進捗状況及びオーディオ特性に応じて、拡張現実モデルにおけるモデルユニットを駆動するステップは、以下のステップを含む。

【0037】

ステップ１において、時系列性を有するオーディオ特性に応じてモデルユニットが形態変化を行う目標時間及び目標幅を決定する。

【0038】

拍子のうちの弱拍、強拍及びアクセントが存在する時間を目標時間とし、弱拍、強拍及びアクセントの度合いに応じて目標幅を決定してもよい。

【0039】

ステップ２において、目標オーディオデータの再生進捗状況が目標時間であれば、目標幅に応じて拡張現実モデルにおけるモデルユニットを駆動する。

【0040】

モデルユニットの駆動方式は、突起動作、色変化又は透明度変化などを含むことができる。

【0041】

例示的に、目標幅に応じて拡張現実モデルにおけるモデルユニットを駆動するステップは、
拡張現実モデルにおけるプリセットモデルユニットが突起動作を行うように駆動するステップ、又は、拡張現実モデルにおける複数のモデルユニットが色変化を実行するように駆動するステップ、又は、拡張現実モデルにおける複数のモデルユニットが透明度変化を実行するように駆動するステップを含む。

【0042】

拡張現実モデルにおけるプリセットモデルユニットが突起動作を行うように駆動する場合、プリセットモデルは、ランダムに選択されたモデルユニットであってもよい。目標幅に応じて突起動作の突起幅を決定する。拡張現実モデルにおける複数のモデルユニットが色変化を実行するように駆動する場合、全てのモデルユニットから複数のモデルユニットをランダムに選択して色変化を実行するか、又は全てのモデルユニットに対して色変化を実行することができる。透明度とは、モデルユニットのテクスチャパターンの透明度を指す。テクスチャ画像は、純色であってもよいし、目標物体の実際のテクスチャパターンであってもよい。

【0043】

さらに、ユーザにより選択された目標オーディオデータを取得した後、
目標オーディオデータの感情特徴を取得するステップと、感情特徴に基づいて拡張現実モデルの第１の変形特徴を決定するステップであって、第１の変形特徴は、拡張現実モデルの形状を感情特徴によって表現された感情と一致させるように駆動するために用いられるステップと、目標オーディオデータが出力される場合、第１の変形特徴に基づいて拡張現実モデルを駆動するステップと、をさらに含む。

【0044】

目標オーディオデータの曲名に基づいて感情特徴を決定することができる。又は、目標オーディオにおける、ユーザにより入力されたテキストの内容に基づいて感情特徴を決定することができる。感情特徴は、目標オーディオデータのオーディオ内容の感情の動き、例えば、明るい、憂うつなどを表すために用いられる。異なる感情特徴に対応する変形特徴を予め配置してもよい。例えば、明るい感情特徴に対応する第１の変形特徴における、モデルユニットの突起幅が高く、突起の頻度が速い。例えば、憂うつの感情特徴に対応する第１の変形特徴における、モデルユニットの突出幅が低く、突出の頻度が遅い。例示的に、テレビ塔を撮影した後、感情特徴が傷心であれば、テレビ塔モデルは屈んだ形を呈する。建物モデルに変形があれば、建物の原画像をトリミング方式により削除し、原画像領域をモデルでカバーする。

【0045】

さらに、ユーザにより選択された目標オーディオデータを取得した後、
ユーザの肢体動作又は表情を取得するステップと、肢体動作又は表情に応じて拡張現実モデルの第２の変形特徴を決定するステップであって、第２の変形特徴は、拡張現実モデルの形状を肢体動作又は表情と一致させるように駆動するために用いられるステップと、目標オーディオデータが出力される場合、第２の変形特徴に基づいて拡張現実モデルを駆動するステップと、をさらに含む。

【0046】

ユーザの肢体動作を肢体検出により取得することができる。ユーザの表情を顔認識により取得することができる。肢体動作又は表情に基づいて第２の変形特徴を生成する。例示的に、テレビ塔を撮影した後、顔の表情が悲しみであれば、第２の変形特徴は屈んだ形であり、このとき、テレビ塔モデルは屈んだ形を呈する。建物モデルに変形があれば、建物の原画像をトリミング方式により削除し、原画像領域をモデルでカバーする。

【0047】

本開示の実施例にて開示される拡張現実の画像処理方法は、ユーザによりトリガされた画像取得命令に応答して、目標物体を含む目標画像を取得し、目標物体の拡張現実モデルを取得し、目標物体と組み合わせて拡張現実モデルを出力し、ユーザにより選択された目標オーディオデータを取得し、目標オーディオデータに基づいて時系列性を有するオーディオ特性を決定し、目標オーディオデータが出力される場合、目標オーディオデータの再生進捗状況及びオーディオ特性に応じて拡張現実モデルを駆動することができる。現在、拡張現実モデルは、インタラクティブ性に欠け、使い勝手が悪いことに対して、本開示の実施例にて開示される拡張現実の画像処理方法は、拡張現実モデルが出力される場合、ユーザにより選択された目標オーディオデータのオーディオ特性と組み合わせて、拡張表示モデルの出力を駆動することができ、ユーザが拡張表示モデルの表示過程に参加できるようにし、異なる目標オーディオデータを選択することで、拡張現実モデルが目標オーディオデータのオーディオ特性に応じて表示するように駆動し、使い勝手を向上させる。
実施例２

【0048】

図２は、本開示の実施例２にて提供される拡張現実の画像処理装置の構造概略図であり、本実施例は、拡張現実モデルを表示する場合に適用でき、当該方法は、拡張現実を実現する電子機器により実行されてもよく、当該電子機器は、スマートフォン、タブレットなどであってもよく、当該装置は、目標画像取得モジュール２１０、拡張現実モデル取得モジュール２２０、目標オーディオ取得モジュール２３０、オーディオ特性決定モジュール２４０又は出力モジュール２５０を含む。

【0049】

目標画像取得モジュール２１０は、ユーザによりトリガされた画像取得命令に応答して、目標物体を含む目標画像を取得するために用いられ、
拡張現実モデル取得モジュール２２０は、目標物体の拡張現実モデルを取得し、目標物体と組み合わせて拡張現実モデルを出力するために用いられ、
目標オーディオ取得モジュール２３０は、ユーザにより選択された目標オーディオデータを取得するために用いられ、
オーディオ特性決定モジュール２４０は、目標オーディオデータに基づいて時系列性を有するオーディオ特性を決定するために用いられ、
出力モジュール２５０は、目標オーディオデータが出力される場合、目標オーディオデータの再生進捗状況及びオーディオ特性に応じて拡張現実モデルを駆動するために用いられる。

【0050】

さらに、オーディオ特性決定モジュール２４０は、
目標オーディオデータに対してオーディオ特性検出を行い、アクセント、強拍又は拍子の１つ又は複数の組み合わせを含む、目標オーディオデータの時系列性を有するオーディオ特性を取得するために用いられる。

【0051】

さらに、拡張現実モデルは、複数のモデルユニットを含み、出力モジュール２５０は、
目標オーディオデータの再生進捗状況及びオーディオ特性に応じて、拡張現実モデルにおけるモデルユニットを駆動するために用いられる。

【0052】

さらに、出力モジュール２５０は、
時系列性を有するオーディオ特性に応じてモデルユニットが形態変化を行う目標時間及び目標幅を決定し、
目標オーディオデータの再生進捗状況が目標時間であれば、目標幅に応じて拡張現実モデルにおけるモデルユニットを駆動するために用いられる。

【0053】

さらに、出力モジュール２５０は、
拡張現実モデルにおけるプリセットモデルユニットが突起動作を行うように駆動するか、又は、
拡張現実モデルにおける複数のモデルユニットが色変化を実行するように駆動するか、又は、
拡張現実モデルにおける複数のモデルユニットが透明度変化を実行するように駆動するために用いられる。

【0054】

さらに、第１の変形特徴取得モジュールをさらに含む。第１の変形特徴取得モジュールは、
目標オーディオデータの感情特徴を取得すること、
感情特徴に基づいて拡張現実モデルの第１の変形特徴を決定することであって、第１の変形特徴は、拡張現実モデルの形状を感情特徴によって表現された感情と一致させるように駆動するために用いられること、及び
目標オーディオデータが出力される場合、第１の変形特徴に基づいて拡張現実モデルを駆動すること、に用いられる。

【0055】

さらに、第２の変形特徴取得モジュールをさらに含む。第２の変形特徴取得モジュールは、
ユーザの肢体動作又は表情を取得すること、
肢体動作又は表情に応じて拡張現実モデルの第２の変形特徴を決定することであって、第２の変形特徴は、拡張現実モデルの形状を肢体動作又は表情と一致させるように駆動するために用いられること、及び
目標オーディオデータが出力される場合、第２の変形特徴に基づいて拡張現実モデルを駆動すること、に用いられる。

【0056】

本開示の実施例にて開示される拡張現実の画像処理装置において、目標画像取得モジュール２１０は、ユーザによりトリガされた画像取得命令に応答して、目標物体を含む目標画像を取得し、拡張現実モデル取得モジュール２２０は、目標物体の拡張現実モデルを取得し、目標物体と組み合わせて拡張現実モデルを出力し、目標オーディオ取得モジュール２３０は、ユーザにより選択された目標オーディオデータを取得し、オーディオ特性決定モジュール２４０は、目標オーディオデータに基づいて時系列性を有するオーディオ特性を決定し、出力モジュール２５０は、目標オーディオデータが出力される場合、目標オーディオデータの再生進捗状況及びオーディオ特性に応じて拡張現実モデルを駆動する。現在、拡張現実モデルは、インタラクティブ性に欠け、使い勝手が悪いことに対して、本開示の実施例にて開示される拡張現実の画像処理装置は、拡張現実モデルが出力される場合、ユーザにより選択された目標オーディオデータのオーディオ特性と組み合わせて、拡張表示モデルの出力を駆動することができ、ユーザが拡張表示モデルの表示過程に参加できるようにし、異なる目標オーディオデータを選択することで、拡張現実モデルが目標オーディオデータのオーディオ特性に応じて表示するように駆動し、使い勝手を向上させる。

【0057】

本発明の実施例にて提供される拡張現実の画像処理装置は、本発明の任意の実施例にて提供される拡張現実の画像処理方法を実行することができ、方法を実行することに応じた機能モジュール及び有益な効果を備える。
実施例３

【0058】

以下、図３を参照すると、本開示の実施例３を実現することに適した電子機器８００の構造概略図が示される。本開示の実施例における端末機器は、携帯電話、ノートパソコン、デジタル放送受信機、Ｐｅｒｓｏｎａｌ ｄｉｇｉｔａｌ ａｓｓｉｓｔａｎｔ（ＰＤＡ、パーソナルデジタルアシスタント）、Ｐｏｒｔａｂｌｅ ａｎｄｒｏｉｄ ｄｅｖｉｃｅ（ＰＡＤ、ポータブルデバイス）、Ｐｏｒｔａｂｌｅ ｍｅｄｉａ ｐｌａｙｅｒ（ＰＭＰ、ポータブルメディアプレーヤー）、車載端末（例えば、車載ナビゲーション端末）などの携帯端末、及びデジタルＴＶ（Ｔｅｌｅｖｉｓｉｏｎ）やデスクトップコンピュータなどの固定端末を含んでもよいが、これらに限定されない。図３に示された電子機器は、一例だけで、本開示の実施例の機能及び使用範囲に何ら制限を課すものではない。

【0059】

図３に示すように、電子機器８００は、処理装置（例えば、中央処理装置、グラフィックプロセッサなど）８０１を含んでもよく、これは、読み取り専用メモリ（Ｒｅａｄ ｏｎｌｙ ｍｅｍｏｒｙ、ＲＯＭ）８０２に記憶されたプログラム、又は記憶装置８０８からランダムアクセスメモリ（Ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｙ、ＲＡＭ）８０３にロードされたプログラムにより、様々な適切な動作及び処理を実行することができる。ＲＡＭ８０３には、電子機器８００の操作に必要な様々なプログラム及びデータがさらに記憶される。処理装置８０１、ＲＯＭ８０２及びＲＡＭ８０３は、バス８０４を介して相互に接続される。入力／出力（Ｉｎｐｕｔ／ｏｕｔｐｕｔ、Ｉ／Ｏ）インタフェース８０５がバス８０４にも接続される。

【0060】

一般に、Ｉ／Ｏインタフェース８０５には、タッチスクリーン、タッチパッド、キーボード、マウス、カメラ、マイクロフォン、加速度計、ジャイロスコープなどを含む入力装置８０６と、液晶ディスプレイ（Ｌｉｑｕｉｄ ｃｒｙｓｔａｌ ｄｉｓｐｌａｙ、ＬＣＤ）、スピーカ、バイブレータなどを含む出力装置８０７と、磁気テープ、ハードディスクなどを含む記憶装置８０８と、通信装置８０９とが接続されることができる。通信装置８０９は、電子機器８００が他の機器と無線又は有線で通信してデータを交換することを可能にする。図３には、様々な装置を有する電子機器８００が示されるが、示された装置の全てを実施するか、又は備えることが要求されないことが理解されるべきである。これに代えて、より多く又はより少ない装置を実施するか、又は備えてもよい。

【0061】

特に、本開示の実施例によれば、フローチャートを参照して説明した上記プロセスは、コンピュータソフトウェアプログラムとして実現されてもよい。例えば、本開示の実施例は、フローチャートに示された方法を実行するためのプログラムコードを含む、コンピュータ読み取り可能な記憶媒体に担持されたコンピュータプログラムを含むコンピュータプログラム製品を含む。このような実施例では、当該コンピュータプログラムは、通信装置８０９によりネットワークからダウンロードされてインストールされてもよく、又は記憶装置８０８から又はＲＯＭ８０２からインストールされてもよい。当該コンピュータプログラムが処理装置８０１により実行されると、本開示の実施例の方法におけるステップを実行し、その限定された上記機能を実現する。

【0062】

本開示の１つ又は複数の実施例にて提供されるコンピュータプログラム製品は、読み取り可能な記憶媒体に記憶されたコンピュータプログラムを含み、電子機器の１つ又は複数のプロセッサにより前記読み取り可能な記憶媒体から前記コンピュータプログラムを読み取り可能であり、前記１つ又は複数のプロセッサは、前記コンピュータプログラムを実行して、前記電子機器に、上記実施例のいずれかにて提供される手段を実行させる。

【0063】

本開示の１つ又は複数の実施例にて提供されるコンピュータプログラムは、読み取り可能な記憶媒体に記憶され、電子機器の１つ又は複数のプロセッサは、前記読み取り可能な記憶媒体から前記コンピュータプログラムを読み取り可能であり、前記１つ又は複数のプロセッサは、前記コンピュータプログラムを実行して、前記電子機器に、上記実施例のいずれかにて提供される手段を実行させる。

【0064】

なお、本開示の上記コンピュータ読み取り可能な媒体は、コンピュータ読み取り可能な信号媒体、又はコンピュータ読み取り可能な記憶媒体、又は上記の２つの任意の組み合わせであってもよい。コンピュータ読み取り可能な記憶媒体は、例えば、電気、磁気、光、電磁、赤外線、又は半導体のシステム、装置、又はデバイス、又はそれらの任意の組み合わせであってもよいが、これらに限定されない。コンピュータ読み取り可能な記憶媒体のより具体的な例は、１つ又は複数の導線を有する電気接続、ポータブルコンピュータディスク、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、読み取り専用メモリ（ＲＯＭ）、消去可能なプログラマブル読み取り専用メモリ（Ｅｌｅｃｔｒｉｃａｌ ｐｒｏｇｒａｍｍａｂｌｅ ｒｅａｄ ｏｎｌｙ ｍｅｍｏｒｙ、ＥＰＲＯＭ又はフラッシュメモリ）、光ファイバ、コンパクトディスク読み取り専用メモリ（Ｃｏｍｐａｃｔ ｄｉｓｃ ｒｅａｄ ｏｎｌｙ ｍｅｍｏｒｙ、ＣＤ－ＲＯＭ）、光記憶デバイス、磁気記憶デバイス、又は上記の任意の適切な組み合わせを含んでもよいが、これらに限定されない。本開示では、コンピュータ読み取り可能な記憶媒体は、命令実行システム、装置、又はデバイスにより使用され得るか、又はそれらと関連して使用され得るプログラムを含む、又は記憶する、任意の有形媒体であってもよい。本開示では、コンピュータ読み取り可能な信号媒体は、ベースバンドで又は搬送波の一部として伝搬されるデータ信号を含んでもよく、コンピュータ読み取り可能なプログラムコードを担持する。このような伝搬されたデータ信号は、電磁信号、光信号、又は上記の任意の適切な組み合わせを含むが、これらに限定されない様々な形態をとることができる。コンピュータ読み取り可能な信号媒体は、コンピュータ読み取り可能な記憶媒体以外の任意のコンピュータ読み取り可能な媒体であってもよく、当該コンピュータ読み取り可能な信号媒体は、命令実行システム、装置、又はデバイスにより使用されるか、又はそれらと関連して使用されるプログラムを送信、伝搬、又は伝送することができる。コンピュータ読み取り可能な媒体に含まれるプログラムコードは、電線、光ケーブル、無線周波数（Ｒａｄｉｏ Ｆｒｅｑｕｅｎｃｙ、ＲＦ）など、又は上記任意の適切な組み合わせを含んでもよいがこれらに限定されない任意の適切な媒体で伝送されてもよい。

【0065】

上記コンピュータ読み取り可能な媒体は、上記電子機器に含まれたものであってもよく、当該電子機器に組み込まれずに単独で存在してもよい。

【0066】

上記コンピュータ読み取り可能な媒体は、１つ又は複数のプログラムを担持し、上記１つ又は複数のプログラムが当該電子機器により実行されると、当該電子機器に、少なくとも２つのインターネットプロトコルアドレスを取得させ、前記少なくとも２つのインターネットプロトコルアドレスを含むノード評価要求をノード評価機器に送信させ、ここで、前記ノード評価機器は、前記少なくとも２つのインターネットプロトコルアドレスからインターネットプロトコルアドレスを選択して返信し、前記ノード評価機器により返信されたインターネットプロトコルアドレスを受信させ、ここで、取得したインターネットプロトコルアドレスは、内容配信ネットワークにおけるエッジノードを指示する。

【0067】

又は、上記コンピュータ読み取り可能な媒体は、１つ又は複数のプログラムを担持し、上記１つ又は複数のプログラムが当該電子機器により実行されると、当該電子機器に、少なくとも２つのインターネットプロトコルアドレスを含むノード評価要求を受信させ、前記少なくとも２つのインターネットプロトコルアドレスからインターネットプロトコルアドレスを選択させ、選択したインターネットプロトコルアドレスを返信させ、ここで、受信したインターネットプロトコルアドレスは、内容配信ネットワークにおけるエッジノードを指示する。

【0068】

本開示の操作を実行するためのコンピュータプログラムコードは、Ｊａｖａ、Ｓｍａｌｌｔａｌｋ、Ｃ＋＋などのオブジェクト指向プログラミング言語を含み、「Ｃ」言語又は類似のプログラミング言語などの従来の手続き型プログラミング言語を含む１つ又は複数のプログラミング言語、又はこれらの組み合わせで書かれてもよい。プログラムコードは、完全にユーザのコンピュータで、部分的にユーザのコンピュータで、独立したソフトウェアパッケージとして、部分的にユーザのコンピュータで、部分的にリモートコンピュータで、又は完全にリモートコンピュータ又はサーバで、実行されてもよい。リモートコンピュータに関連する場合、リモートコンピュータは、ローカルエリアネットワーク（Ｌｏｃａｌ ａｒｅａ ｎｅｔｗｏｒｋ、ＬＡＮ）又はワイドエリアネットワーク（Ｗｉｄｅ ａｒｅａ ｎｅｔｗｏｒｋ、ＷＡＮ）を含む任意の種類のネットワークにより、ユーザのコンピュータに接続されてもよく、又は、外部のコンピュータに接続されてもよい（例えば、インターネットサービスプロバイダを利用してインターネットにより接続する）。

【0069】

図面におけるフローチャート及びブロック図は、本開示の様々な実施例による、システム、方法、及びコンピュータプログラム製品の実現可能なアーキテクチャ、機能、及び操作を図示する。この点に関して、フローチャート又はブロック図における各ブロックは、指定された論理機能を実現するための１つ又は複数の実行可能な命令を含むモジュール、プログラムセグメント、又はコードの一部を表すことができる。いくつかの置き換えの実現形態では、ブロックに記された機能は、図面に記された順序とは異なる順序で生じ得ることにも留意されたい。例えば、連続して示された２つのブロックは、実際には、関連する機能に応じて、基本的に並列に実行されてもよく、時には、逆順に実行されてもよい。ブロック図及び／又はフローチャートにおける各ブロック、並びにブロック図及び／又はフローチャートにおけるブロックの組み合わせは、指定された機能又は操作を実行するハードウェアによる専用システムで実現されてもよく、又は専用ハードウェアとコンピュータ命令との組み合わせで実現されてもよいことにも留意されたい。

【0070】

本開示の実施例に説明されたユニットは、ソフトウェアの方式で実現されてもよく、ハードウェアの方式で実現されてもよい。ここで、ユニットの名称は、当該ユニット自体を限定するものではない場合があり、例えば、第１の取得ユニットは、「少なくとも２つのインターネットプロトコルアドレスを取得するユニット」と説明されてもよい。

【0071】

以上の説明は、本開示の好適な実施例及びその応用技術の原理の説明に過ぎない。本開示に係る開示範囲は、上記技術的特徴の特定の組み合わせによる技術的解決手段に限定されず、上記開示の考えを逸脱しない場合、上記技術的特徴又はその同等特徴の任意の組み合わせによる他の技術的解決手段も含むことが当業者には理解されるであろう。例えば、上記特徴は、本開示にて開示された（しかし限定されない）類似機能を有する技術的特徴と相互に置き換えて形成された技術的解決手段である。

【0072】

本願は、２０２０年７月１０日に中国特許局に提出された、出願番号が２０２０１０６６２８１９．Ｘで、発明の名称が「拡張現実の画像処理方法、装置、電子機器及び記憶媒体」の中国特許出願の優先権を主張し、その全ての内容は、引用により本明細書に組み込まれる。

【図1】

【図2】

【図3】

【手続補正書】

【提出日】2023-03-06

【手続補正1】

【補正対象書類名】特許請求の範囲

【補正対象項目名】全文

【補正方法】変更

【補正の内容】

【特許請求の範囲】

【請求項1】

ユーザによりトリガされた画像取得命令に応答して、目標物体を含む目標画像を取得するステップと、
前記目標物体の拡張現実モデルを取得し、前記目標物体と組み合わせて前記拡張現実モデルを出力するステップと、
前記ユーザにより選択された目標オーディオデータを取得し、前記目標オーディオデータに基づいて時系列性を有するオーディオ特性を決定するステップと、
前記目標オーディオデータが出力される場合、前記目標オーディオデータの再生進捗状況及び前記オーディオ特性に応じて前記拡張現実モデルを駆動するステップと、を含む、
ことを特徴とする拡張現実の画像処理方法。

【請求項2】

前記目標オーディオデータに基づいて時系列性を有するオーディオ特性を決定するステップは、
前記目標オーディオデータに対してオーディオ特性検出を行い、アクセント、強拍又は拍子の１つ又は複数の組み合わせを含む、前記目標オーディオデータの前記時系列性を有するオーディオ特性を取得するステップを含む、
ことを特徴とする請求項１に記載の方法。

【請求項3】

前記拡張現実モデルは、複数のモデルユニットを含み、
前記目標オーディオデータの再生進捗状況及び前記オーディオ特性に応じて前記拡張現実モデルを駆動するステップは、
前記目標オーディオデータの再生進捗状況及び前記オーディオ特性に応じて前記拡張現実モデルにおけるモデルユニットを駆動するステップを含む、
ことを特徴とする請求項１又は２に記載の方法。

【請求項4】

前記目標オーディオデータの再生進捗状況及び前記オーディオ特性に応じて前記拡張現実モデルにおけるモデルユニットを駆動するステップは、
前記時系列性を有するオーディオ特性に応じて前記モデルユニットが形態変化を行う目標時間及び目標幅を決定するステップと、
前記目標オーディオデータの再生進捗状況が前記目標時間であれば、前記目標幅に応じて前記拡張現実モデルにおけるモデルユニットを駆動するステップと、を含む、
ことを特徴とする請求項３に記載の方法。

【請求項5】

前記目標幅に応じて前記拡張現実モデルにおけるモデルユニットを駆動するステップは、
前記拡張現実モデルにおけるプリセットモデルユニットが突起動作を行うように駆動するステップ、又は、
前記拡張現実モデルにおける複数のモデルユニットが色変化を実行するように駆動するステップ、又は、
前記拡張現実モデルにおける複数のモデルユニットが透明度変化を実行するように駆動するステップを含む、
ことを特徴とする請求項４に記載の方法。

【請求項6】

前記ユーザにより選択された目標オーディオデータを取得した後、
前記目標オーディオデータの感情特徴を取得するステップと、
前記感情特徴に基づいて前記拡張現実モデルの第１の変形特徴を決定するステップであって、前記第１の変形特徴は、前記拡張現実モデルの形状を前記感情特徴によって表現された感情と一致させるように駆動するために用いられるステップと、
前記目標オーディオデータが出力される場合、前記第１の変形特徴に基づいて前記拡張現実モデルを駆動するステップと、をさらに含む、
ことを特徴とする請求項１～５のいずれか１項に記載の方法。

【請求項7】

前記ユーザにより選択された目標オーディオデータを取得した後、
前記ユーザの肢体動作又は表情を取得するステップと、
前記肢体動作又は表情に応じて前記拡張現実モデルの第２の変形特徴を決定するステップであって、前記第２の変形特徴は、前記拡張現実モデルの形状を前記肢体動作又は表情と一致させるように駆動するために用いられるステップと、
前記目標オーディオデータが出力される場合、前記第２の変形特徴に基づいて前記拡張現実モデルを駆動するステップと、をさらに含む、
ことを特徴とする請求項１～５のいずれか１項に記載の方法。

【請求項8】

ユーザによりトリガされた画像取得命令に応答して、目標物体を含む目標画像を取得するための目標画像取得モジュールと、
前記目標物体の拡張現実モデルを取得し、前記目標物体と組み合わせて前記拡張現実モデルを出力するための拡張現実モデル取得モジュールと、
前記ユーザにより選択された目標オーディオデータを取得するための目標オーディオ取得モジュールと、
前記目標オーディオデータに基づいて時系列性を有するオーディオ特性を決定するためのオーディオ特性決定モジュールと、
前記目標オーディオデータが出力される場合、前記目標オーディオデータの再生進捗状況及び前記オーディオ特性に応じて前記拡張現実モデルを駆動するための出力モジュールと、を含む、
ことを特徴とする拡張現実の画像処理装置。

【請求項9】

１つ又は複数のプロセッサと、
１つ又は複数のプログラムを記憶するための記憶装置と、を含み、
前記１つ又は複数のプログラムが前記１つ又は複数のプロセッサにより実行されると、前記１つ又は複数のプロセッサに請求項１～７のいずれか１項に記載の拡張現実の画像処理方法を実現させる、
ことを特徴とする電子機器。

【請求項10】

コンピュータ実行可能命令を含む記憶媒体であって、前記コンピュータ実行可能命令がコンピュータプロセッサにより実行されると、前記コンピュータプロセッサに請求項１～７のいずれか１項に記載の拡張現実の画像処理方法を実行させる、
記憶媒体。

【請求項11】

コンピュータに請求項１～７のいずれか１項に記載の拡張現実の画像処理方法を実行させる、
ことを特徴とするコンピュータプログラム。

【手続補正2】

【補正対象書類名】明細書

【補正対象項目名】全文

【補正方法】変更

【補正の内容】

【発明の詳細な説明】

【技術分野】

【0001】

本発明の実施例は、仮想現実の技術に関し、特に拡張現実の画像処理方法、装置、電子機器及び記憶媒体に関する。

【背景技術】

【0002】

拡張現実（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ、ＡＲと略称される）は、現実情報と仮想情報を重畳する技術である。まず、コンピュータシステムが現実情報を処理し、現実情報に基づいてマッチングし且つ仮想物体、音又は文字などの形式を含む仮想情報を生成し、次いで、現実情報を表示するマンマシンインタラクションインタフェースに仮想情報を重畳することで、ユーザの現実世界への知覚を向上させる。

【0003】

現在、拡張現実モデルは、予め設定された所定の方式でしか表示できず、表示方式が単一で、インタラクティブ性に欠け、使い勝手が悪い。

【発明の概要】

【発明が解決しようとする課題】

【0004】

本発明は、拡張現実モデルのインタラクティブ性を向上させ、使い勝手を向上させることを実現するために、拡張現実の画像処理方法、装置、電子機器及び記憶媒体を提供する。

【課題を解決するための手段】

【0005】

第１の態様において、本発明の実施例にて提供される拡張現実の画像処理方法は、
ユーザによりトリガされた画像取得命令に応答して、目標物体を含む目標画像を取得するステップと、
目標物体の拡張現実モデルを取得し、目標物体と組み合わせて拡張現実モデルを出力するステップと、
ユーザにより選択された目標オーディオデータを取得し、目標オーディオデータに基づいて時系列性を有するオーディオ特性を決定するステップと、
目標オーディオデータが出力される場合、目標オーディオデータの再生進捗状況及びオーディオ特性に応じて拡張現実モデルを駆動するステップと、を含む。

【0006】

第２の態様において、本発明の実施例にてさらに提供される拡張現実の画像処理装置は、
ユーザによりトリガされた画像取得命令に応答して、目標物体を含む目標画像を取得するための目標画像取得モジュールと、
目標物体の拡張現実モデルを取得し、目標物体と組み合わせて拡張現実モデルを出力するための拡張現実モデル取得モジュールと、
ユーザにより選択された目標オーディオデータを取得するための目標オーディオ取得モジュールと、
目標オーディオデータに基づいて時系列性を有するオーディオ特性を決定するためのオーディオ特性決定モジュールと、
目標オーディオデータが出力される場合、目標オーディオデータの再生進捗状況及びオーディオ特性に応じて拡張現実モデルを駆動するための出力モジュールと、を含む。

【0007】

第３の態様において、本発明の実施例にてさらに提供される電子機器は、
１つ又は複数のプロセッサと、
１つ又は複数のプログラムを記憶するための記憶装置と、を含み、
１つ又は複数のプログラムが１つ又は複数のプロセッサにより実行されると、１つ又は複数のプロセッサに本開示の実施例に示された拡張現実の画像処理方法を実現させる。

【0008】

第４の態様において、本発明の実施例は、コンピュータ実行可能命令を含む記憶媒体をさらに提供し、コンピュータ実行可能命令がコンピュータプロセッサにより実行されると、本開示の実施例に示された拡張現実の画像処理方法を実行するために用いられる。

【0009】

第５の態様において、本発明の実施例は、コンピュータプログラム製品をさらに提供し、前記コンピュータプログラム製品は、読み取り可能な記憶媒体に記憶されたコンピュータプログラムを含み、電子機器の１つ又は複数のプロセッサが前記読み取り可能な記憶媒体から前記コンピュータプログラムを読み取り可能であり、前記１つ又は複数のプロセッサが前記コンピュータプログラムを実行して、前記電子機器に、本開示の実施例に示された拡張現実の画像処理方法を実行させる。

【0010】

第６の態様において、本開示の実施例は、読み取り可能な記憶媒体に記憶されたコンピュータプログラムをさらに提供し、機器の１つ又は複数のプロセッサが前記読み取り可能な記憶媒体から前記コンピュータプログラムを読み取り可能であり、前記１つ又は複数のプロセッサが前記コンピュータプログラムを実行して、前記電子機器に、本開示の実施例に示された拡張現実の画像処理方法を実行させる。

【発明の効果】

【0011】

本開示の実施例にて開示される拡張現実の画像処理手段は、ユーザによりトリガされた画像取得命令に応答して、目標物体を含む目標画像を取得し、目標物体の拡張現実モデルを取得し、目標物体と組み合わせて拡張現実モデルを出力し、ユーザにより選択された目標オーディオデータを取得し、目標オーディオデータに基づいて時系列性を有するオーディオ特性を決定し、目標オーディオデータが出力される場合、目標オーディオデータの再生進捗状況及びオーディオ特性に応じて拡張現実モデルを駆動することができる。現在、拡張現実モデルは、インタラクティブ性に欠け、使い勝手が悪いことに対して、本開示の実施例にて開示される拡張現実の画像処理手段は、拡張現実モデルが出力される場合、ユーザにより選択された目標オーディオデータのオーディオ特性と組み合わせて、拡張現実モデルの出力を駆動することができ、ユーザが拡張現実モデルの表示過程に参加できるようにし、異なる目標オーディオデータを選択することで、拡張現実モデルが目標オーディオデータのオーディオ特性に応じて表示するように駆動し、使い勝手を向上させる。

【図面の簡単な説明】

【0012】

【図1】本発明の実施例１における拡張現実の画像処理方法のフローチャートである。

【図2】本発明の実施例２における拡張現実の画像処理装置の構造概略図である。

【図3】本発明の実施例３における電子機器の構造概略図である。

【発明を実施するための形態】

【0013】

以下、図面及び実施例を参照して、本発明をさらに詳細に説明する。理解されるように、ここで説明された具体的な実施例は、本発明を解釈するためのものだけで、本発明を限定するものではない。なお、説明の便宜上、図面は、本発明に関連する部分のみを示しており、全ての構造を示していない。
実施例１

【0014】

図１は、本発明の実施例１にて提供される拡張現実の画像処理方法のフローチャートであり、本実施例は、拡張現実モデルを表示する場合に適用でき、当該方法は、拡張現実を実現する電子機器により実行されてもよく、当該電子機器は、スマートフォン、タブレットなどであってもよく、該方法は、以下のステップを含む。

【0015】

ステップ１１０において、ユーザによりトリガされた画像取得命令に応答して、目標物体を含む目標画像を取得する。

【0016】

ユーザは、プリセットアプリケーションで画像取得命令を発することができ、ユーザが画像取得命令を発する場合、電子機器は、カメラで目標画像を取得する。ユーザは、拡張現実モデルを使用するという意図の上に、プリセットアプリケーションを起動することができる。目標物体の画面を電子機器で撮影する。目標物体は、ランドマーク建物などの拡張現実モデルを備える物体であってもよい。ランドマーク建物は、ある領域に独特なデザインスタイルを有する建物であってもよい。

【0017】

プリセットアプリケーションは、電子機器の写真撮影アプリケーション、又は拡張現実機能を有するアプリケーションであってもよい。電子機器のカメラは、目標画像を取得し、電子機器は、取得した目標画像をプレビューページに表示させる。プレビューページは、カメラにより取得されたリアルタイム画像をユーザに提供することができる。

【0018】

ステップ１２０において、目標物体の拡張現実モデルを取得し、目標物体と組み合わせて拡張現実モデルを出力する。

【0019】

現在画像における被写体に対応する拡張現実モデルが存在することを認識すれば、拡張現実モデルを目標画像における目標物体にマッピングし、目標物体と組み合わせて拡張現実モデルを出力することを実現する。

【0020】

さらに、手動で拡張現実モデルの大きさを調整するインタフェースをユーザに提供することができ、機械の組み合わせ効果が不十分で、例えば拡張現実モデルと目標物体とを正確に組み合わせることができない場合、当該インタフェースにより拡張現実モデルの大きさを調整することができ、ユーザにより拡張現実モデルの大きさを調整することをさらに実現し、使い勝手を向上させる。

【0021】

さらに、一実現形態において、目標物体がランドマーク建物である場合、目標物体の拡張現実モデルを取得することは、下記の方式で実施することができる。

【0022】

目標画像に建物が含まれることが監視される場合、電子機器の現在位置情報及び撮影角度に基づいて目標物体識別子を決定し、目標物体識別子が示す拡張現実モデルを目標物体の拡張現実モデルとして決定する。

【0023】

電子機器の全地球測位システム（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ、ＧＰＳ）の測位情報を取得する。電子機器の向きをジャイロスコープで取得し、当該向きを撮影角度とする。測位情報及び撮影角度に基づいて、所定の撮影範囲内にランドマーク建物があるか否かを決定する。ランドマーク建物があれば、当該ランドマーク建物の拡張現実モデルを目標物体の拡張現実モデルとする。

【0024】

さらに、別の実現形態において、目標物体の拡張現実モデルを取得することは、下記の方式で実施することができる。

【0025】

目標画像から目標物体の基礎画像を決定し、当該基礎画像に基づいて目標物体の拡張現実モデルを決定する。基礎画像は、目標画像における目標物体の画像であってもよい。ネットワーク側サーバで基礎画像に対して画像解析を行い、当該基礎画像における目標物体が具体的に何であるかをさらに決定することができる。目標物体は、建物、車両、服装、履物・キャップなどの物体であってもよい。

【0026】

上記２つの実現形態は、目標物体の拡張現実モデルを検索するために用いられてもよく、目標物体の拡張現実モデルが正確であるか否かを検証するために用いられてもよい。

【0027】

ステップ１３０において、ユーザにより選択された目標オーディオデータを取得し、目標オーディオデータに基づいて時系列性を有するオーディオ特性を決定する。

【0028】

目標オーディオデータは、ユーザにより選択された曲や録音などのオーディオデータであってもよい。上記オーディオデータは、ローカルに記憶されたオーディオデータであってもよい。サーバにより提供された曲のリストからユーザが選択したオーディオデータであってもよい。目標オーディオデータは、ユーザがリアルタイムに入力したオーディオデータであってもよい。

【0029】

一実施形態において、目標オーディオデータに対してオーディオ特性検出を行い、アクセント、強拍又は拍子の１つ又は複数の組み合わせを含む、目標オーディオデータの時系列性を有するオーディオ特性を取得する。

【0030】

オーディオ特性検出は、目標オーディオデータにおける拍子の規則性、アクセント、強拍の出現位置や規則性などを解析するために用いられる。拍子は、目標オーディオデータのリズムを表す単位である。目標オーディオデータには、所定の強弱のある一連の拍子が所定の時間毎に繰り返し現れる。例えば２／４拍子（４分の２拍子）、４／４拍子（４分の４拍子）、３／４拍子（４分の３拍子）などがある。拍子は、時間的に周期的に変化する。アクセントは、目標オーディオのうちの音量が大きい音符である。強拍とは、拍子のうちの強勢のある拍を指す。

【0031】

ステップ１４０において、目標オーディオデータが出力される場合、目標オーディオデータの再生進捗状況及びオーディオ特性に応じて拡張現実モデルを駆動する。

【0032】

ユーザが目標オーディオデータを選択した後、電子機器のオーディオ出力モジュールにより目標オーディオデータを出力する。目標オーディオデータを出力すると同時に、現在の再生進捗状況及びオーディオ特性に応じて拡張現実モデルを駆動する。

【0033】

例示的に、アクセント、弱拍、又は強拍の現れにつれて、拡張現実モデル全体の色を変化させるように駆動してもよい。強拍、弱拍、又はアクセントに対応する色変化が異なる。

【0034】

一実施形態において、拡張現実モデルは、複数のモデルユニットを含む。目標オーディオデータの再生進捗状況及びオーディオ特性に応じて拡張現実モデルを駆動するステップは、目標オーディオデータの再生進捗状況及びオーディオ特性に応じて拡張現実モデルにおけるモデルユニットを駆動するステップを含む。

【0035】

拡張現実モデルは、複数のモデルユニットから構成されてもよく、各モデルユニットは、１つの立方体ユニットであってもよい。複数の立方体ユニットを繋ぎ合わせて目標物体の拡張現実モデルを形成する。複数の立方体ユニットをシェーダで並列に処理してもよい。目標オーディオデータの再生進捗状況及びオーディオ特性に応じて、拡張現実モデルにおけるモデルユニットを駆動する。

【0036】

一実施形態において、目標オーディオデータの再生進捗状況及びオーディオ特性に応じて、拡張現実モデルにおけるモデルユニットを駆動するステップは、以下のステップを含む。

【0037】

ステップ１において、時系列性を有するオーディオ特性に応じてモデルユニットが形態変化を行う目標時間及び目標幅を決定する。

【0038】

拍子のうちの弱拍、強拍及びアクセントが存在する時間を目標時間とし、弱拍、強拍及びアクセントの度合いに応じて目標幅を決定してもよい。

【0039】

ステップ２において、目標オーディオデータの再生進捗状況が目標時間であれば、目標幅に応じて拡張現実モデルにおけるモデルユニットを駆動する。

【0040】

モデルユニットの駆動方式は、突起動作、色変化又は透明度変化などを含むことができる。

【0041】

例示的に、目標幅に応じて拡張現実モデルにおけるモデルユニットを駆動するステップは、
拡張現実モデルにおけるプリセットモデルユニットが突起動作を行うように駆動するステップ、又は、拡張現実モデルにおける複数のモデルユニットが色変化を実行するように駆動するステップ、又は、拡張現実モデルにおける複数のモデルユニットが透明度変化を実行するように駆動するステップを含む。

【0042】

拡張現実モデルにおけるプリセットモデルユニットが突起動作を行うように駆動する場合、プリセットモデルは、ランダムに選択されたモデルユニットであってもよい。目標幅に応じて突起動作の突起幅を決定する。拡張現実モデルにおける複数のモデルユニットが色変化を実行するように駆動する場合、全てのモデルユニットから複数のモデルユニットをランダムに選択して色変化を実行するか、又は全てのモデルユニットに対して色変化を実行することができる。透明度とは、モデルユニットのテクスチャパターンの透明度を指す。テクスチャ画像は、純色であってもよいし、目標物体の実際のテクスチャパターンであってもよい。

【0043】

さらに、ユーザにより選択された目標オーディオデータを取得した後、該方法は、
目標オーディオデータの感情特徴を取得するステップと、感情特徴に基づいて拡張現実モデルの第１の変形特徴を決定するステップであって、第１の変形特徴は、拡張現実モデルの形状を感情特徴によって表現された感情と一致させるように駆動するために用いられるステップと、目標オーディオデータが出力される場合、第１の変形特徴に基づいて拡張現実モデルを駆動するステップと、をさらに含む。

【0044】

目標オーディオデータの曲名に基づいて感情特徴を決定することができる。又は、目標オーディオにおける、ユーザにより入力されたテキストの内容に基づいて感情特徴を決定することができる。感情特徴は、目標オーディオデータのオーディオ内容の感情の動き、例えば、明るい、憂うつなどを表すために用いられる。異なる感情特徴に対応する変形特徴を予め配置してもよい。例えば、明るい感情特徴に対応する第１の変形特徴における、モデルユニットの突起幅が高く、突起の頻度が速い。例えば、憂うつの感情特徴に対応する第１の変形特徴における、モデルユニットの突出幅が低く、突出の頻度が遅い。例示的に、テレビ塔を撮影した後、感情特徴が傷心であれば、テレビ塔モデルは屈んだ形を呈する。建物モデルに変形があれば、建物の原画像をトリミング方式により削除し、原画像領域をモデルでカバーする。

【0045】

さらに、ユーザにより選択された目標オーディオデータを取得した後、
ユーザの肢体動作又は表情を取得するステップと、肢体動作又は表情に応じて拡張現実モデルの第２の変形特徴を決定するステップであって、第２の変形特徴は、拡張現実モデルの形状を肢体動作又は表情と一致させるように駆動するために用いられるステップと、目標オーディオデータが出力される場合、第２の変形特徴に基づいて拡張現実モデルを駆動するステップと、をさらに含む。

【0046】

ユーザの肢体動作を肢体検出により取得することができる。ユーザの表情を顔認識により取得することができる。肢体動作又は表情に基づいて第２の変形特徴を生成する。例示的に、テレビ塔を撮影した後、顔の表情が悲しみであれば、第２の変形特徴は屈んだ形であり、このとき、テレビ塔モデルは屈んだ形を呈する。建物モデルに変形があれば、建物の原画像をトリミング方式により削除し、原画像領域をモデルでカバーする。

【0047】

本開示の実施例にて開示される拡張現実の画像処理方法は、ユーザによりトリガされた画像取得命令に応答して、目標物体を含む目標画像を取得し、目標物体の拡張現実モデルを取得し、目標物体と組み合わせて拡張現実モデルを出力し、ユーザにより選択された目標オーディオデータを取得し、目標オーディオデータに基づいて時系列性を有するオーディオ特性を決定し、目標オーディオデータが出力される場合、目標オーディオデータの再生進捗状況及びオーディオ特性に応じて拡張現実モデルを駆動することができる。現在、拡張現実モデルは、インタラクティブ性に欠け、使い勝手が悪いことに対して、本開示の実施例にて開示される拡張現実の画像処理方法は、拡張現実モデルが出力される場合、ユーザにより選択された目標オーディオデータのオーディオ特性と組み合わせて、拡張現実モデルの出力を駆動することができ、ユーザが拡張現実モデルの表示過程に参加できるようにし、異なる目標オーディオデータを選択することで、拡張現実モデルが目標オーディオデータのオーディオ特性に応じて表示するように駆動し、使い勝手を向上させる。
実施例２

【0048】

図２は、本開示の実施例２にて提供される拡張現実の画像処理装置の構造概略図であり、本実施例は、拡張現実モデルを表示する場合に適用でき、当該装置は、目標画像取得モジュール２１０、拡張現実モデル取得モジュール２２０、目標オーディオ取得モジュール２３０、オーディオ特性決定モジュール２４０又は出力モジュール２５０を含む。

【0049】

目標画像取得モジュール２１０は、ユーザによりトリガされた画像取得命令に応答して、目標物体を含む目標画像を取得するために用いられ、
拡張現実モデル取得モジュール２２０は、目標物体の拡張現実モデルを取得し、目標物体と組み合わせて拡張現実モデルを出力するために用いられ、
目標オーディオ取得モジュール２３０は、ユーザにより選択された目標オーディオデータを取得するために用いられ、
オーディオ特性決定モジュール２４０は、目標オーディオデータに基づいて時系列性を有するオーディオ特性を決定するために用いられ、
出力モジュール２５０は、目標オーディオデータが出力される場合、目標オーディオデータの再生進捗状況及びオーディオ特性に応じて拡張現実モデルを駆動するために用いられる。

【0050】

さらに、オーディオ特性決定モジュール２４０は、
目標オーディオデータに対してオーディオ特性検出を行い、アクセント、強拍又は拍子の１つ又は複数の組み合わせを含む、目標オーディオデータの時系列性を有するオーディオ特性を取得するために用いられる。

【0051】

さらに、拡張現実モデルは、複数のモデルユニットを含み、出力モジュール２５０は、
目標オーディオデータの再生進捗状況及びオーディオ特性に応じて、拡張現実モデルにおけるモデルユニットを駆動するために用いられる。

【0052】

さらに、出力モジュール２５０は、
時系列性を有するオーディオ特性に応じてモデルユニットが形態変化を行う目標時間及び目標幅を決定し、
目標オーディオデータの再生進捗状況が目標時間であれば、目標幅に応じて拡張現実モデルにおけるモデルユニットを駆動するために用いられる。

【0053】

さらに、出力モジュール２５０は、
拡張現実モデルにおけるプリセットモデルユニットが突起動作を行うように駆動するか、又は、
拡張現実モデルにおける複数のモデルユニットが色変化を実行するように駆動するか、又は、
拡張現実モデルにおける複数のモデルユニットが透明度変化を実行するように駆動するために用いられる。

【0054】

さらに、該装置は、第１の変形特徴取得モジュールをさらに含む。第１の変形特徴取得モジュールは、
目標オーディオデータの感情特徴を取得すること、
感情特徴に基づいて拡張現実モデルの第１の変形特徴を決定することであって、第１の変形特徴は、拡張現実モデルの形状を感情特徴によって表現された感情と一致させるように駆動するために用いられること、及び
目標オーディオデータが出力される場合、第１の変形特徴に基づいて拡張現実モデルを駆動すること、に用いられる。

【0055】

さらに、該装置は、第２の変形特徴取得モジュールをさらに含む。第２の変形特徴取得モジュールは、
ユーザの肢体動作又は表情を取得すること、
肢体動作又は表情に応じて拡張現実モデルの第２の変形特徴を決定することであって、第２の変形特徴は、拡張現実モデルの形状を肢体動作又は表情と一致させるように駆動するために用いられること、及び
目標オーディオデータが出力される場合、第２の変形特徴に基づいて拡張現実モデルを駆動すること、に用いられる。

【0056】

本開示の実施例にて開示される拡張現実の画像処理装置において、目標画像取得モジュール２１０は、ユーザによりトリガされた画像取得命令に応答して、目標物体を含む目標画像を取得し、拡張現実モデル取得モジュール２２０は、目標物体の拡張現実モデルを取得し、目標物体と組み合わせて拡張現実モデルを出力し、目標オーディオ取得モジュール２３０は、ユーザにより選択された目標オーディオデータを取得し、オーディオ特性決定モジュール２４０は、目標オーディオデータに基づいて時系列性を有するオーディオ特性を決定し、出力モジュール２５０は、目標オーディオデータが出力される場合、目標オーディオデータの再生進捗状況及びオーディオ特性に応じて拡張現実モデルを駆動する。現在、拡張現実モデルは、インタラクティブ性に欠け、使い勝手が悪いことに対して、本開示の実施例にて開示される拡張現実の画像処理装置は、拡張現実モデルが出力される場合、ユーザにより選択された目標オーディオデータのオーディオ特性と組み合わせて、拡張現実モデルの出力を駆動することができ、ユーザが拡張現実モデルの表示過程に参加できるようにし、異なる目標オーディオデータを選択することで、拡張現実モデルが目標オーディオデータのオーディオ特性に応じて表示するように駆動し、使い勝手を向上させる。

【0057】

本発明の実施例にて提供される拡張現実の画像処理装置は、本発明の任意の実施例にて提供される拡張現実の画像処理方法を実行することができ、方法を実行することに応じた機能モジュール及び有益な効果を備える。
実施例３

【0058】

以下、図３を参照すると、本開示の実施例３を実現することに適した電子機器８００の構造概略図が示される。本開示の実施例における端末機器は、携帯電話、ノートパソコン、デジタル放送受信機、Ｐｅｒｓｏｎａｌ ｄｉｇｉｔａｌ ａｓｓｉｓｔａｎｔ（ＰＤＡ、パーソナルデジタルアシスタント）、Ｐｏｒｔａｂｌｅ ａｎｄｒｏｉｄ ｄｅｖｉｃｅ（ＰＡＤ、ポータブルデバイス）、Ｐｏｒｔａｂｌｅ ｍｅｄｉａ ｐｌａｙｅｒ（ＰＭＰ、ポータブルメディアプレーヤー）、車載端末（例えば、車載ナビゲーション端末）などの携帯端末、及びデジタルＴＶ（Ｔｅｌｅｖｉｓｉｏｎ）やデスクトップコンピュータなどの固定端末を含んでもよいが、これらに限定されない。図３に示された電子機器は、一例だけで、本開示の実施例の機能及び使用範囲に何ら制限を課すものではない。

【0059】

図３に示すように、電子機器８００は、処理装置（例えば、中央処理装置、グラフィックプロセッサなど）８０１を含んでもよく、これは、読み取り専用メモリ（Ｒｅａｄ ｏｎｌｙ ｍｅｍｏｒｙ、ＲＯＭ）８０２に記憶されたプログラム、又は記憶装置８０８からランダムアクセスメモリ（Ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｙ、ＲＡＭ）８０３にロードされたプログラムにより、様々な適切な動作及び処理を実行することができる。ＲＡＭ８０３には、電子機器８００の操作に必要な様々なプログラム及びデータがさらに記憶される。処理装置８０１、ＲＯＭ８０２及びＲＡＭ８０３は、バス８０４を介して相互に接続される。入力／出力（Ｉｎｐｕｔ／ｏｕｔｐｕｔ、Ｉ／Ｏ）インタフェース８０５がバス８０４にも接続される。

【0060】

一般に、Ｉ／Ｏインタフェース８０５には、タッチスクリーン、タッチパッド、キーボード、マウス、カメラ、マイクロフォン、加速度計、ジャイロスコープなどを含む入力装置８０６と、液晶ディスプレイ（Ｌｉｑｕｉｄ ｃｒｙｓｔａｌ ｄｉｓｐｌａｙ、ＬＣＤ）、スピーカ、バイブレータなどを含む出力装置８０７と、磁気テープ、ハードディスクなどを含む記憶装置８０８と、通信装置８０９とが接続されることができる。通信装置８０９は、電子機器８００が他の機器と無線又は有線で通信してデータを交換することを可能にする。図３には、様々な装置を有する電子機器８００が示されるが、示された装置の全てを実施するか、又は備えることが要求されないことが理解されるべきである。これに代えて、より多く又はより少ない装置を実施するか、又は備えてもよい。

【0061】

特に、本開示の実施例によれば、フローチャートを参照して説明した上記プロセスは、コンピュータソフトウェアプログラムとして実現されてもよい。例えば、本開示の実施例は、フローチャートに示された方法を実行するためのプログラムコードを含む、コンピュータ読み取り可能な記憶媒体に担持されたコンピュータプログラムを含むコンピュータプログラム製品を含む。このような実施例では、当該コンピュータプログラムは、通信装置８０９によりネットワークからダウンロードされてインストールされてもよく、又は記憶装置８０８から又はＲＯＭ８０２からインストールされてもよい。当該コンピュータプログラムが処理装置８０１により実行されると、本開示の実施例の方法におけるステップを実行し、その限定された上記機能を実現する。

【0062】

本開示の１つ又は複数の実施例にて提供されるコンピュータプログラム製品は、読み取り可能な記憶媒体に記憶されたコンピュータプログラムを含み、電子機器の１つ又は複数のプロセッサにより前記読み取り可能な記憶媒体から前記コンピュータプログラムを読み取り可能であり、前記１つ又は複数のプロセッサは、前記コンピュータプログラムを実行して、前記電子機器に、上記実施例のいずれかにて提供される手段を実行させる。

【0063】

本開示の１つ又は複数の実施例にて提供されるコンピュータプログラムは、読み取り可能な記憶媒体に記憶され、電子機器の１つ又は複数のプロセッサは、前記読み取り可能な記憶媒体から前記コンピュータプログラムを読み取り可能であり、前記１つ又は複数のプロセッサは、前記コンピュータプログラムを実行して、前記電子機器に、上記実施例のいずれかにて提供される手段を実行させる。

【0064】

なお、本開示の上記コンピュータ読み取り可能な媒体は、コンピュータ読み取り可能な信号媒体、又はコンピュータ読み取り可能な記憶媒体、又は上記の２つの任意の組み合わせであってもよい。コンピュータ読み取り可能な記憶媒体は、例えば、電気、磁気、光、電磁、赤外線、又は半導体のシステム、装置、又はデバイス、又はそれらの任意の組み合わせであってもよいが、これらに限定されない。コンピュータ読み取り可能な記憶媒体のより具体的な例は、１つ又は複数の導線を有する電気接続、ポータブルコンピュータディスク、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、読み取り専用メモリ（ＲＯＭ）、消去可能なプログラマブル読み取り専用メモリ（Ｅｌｅｃｔｒｉｃａｌ ｐｒｏｇｒａｍｍａｂｌｅ ｒｅａｄ ｏｎｌｙ ｍｅｍｏｒｙ、ＥＰＲＯＭ又はフラッシュメモリ）、光ファイバ、コンパクトディスク読み取り専用メモリ（Ｃｏｍｐａｃｔ ｄｉｓｃ ｒｅａｄ ｏｎｌｙ ｍｅｍｏｒｙ、ＣＤ－ＲＯＭ）、光記憶デバイス、磁気記憶デバイス、又は上記の任意の適切な組み合わせを含んでもよいが、これらに限定されない。本開示では、コンピュータ読み取り可能な記憶媒体は、命令実行システム、装置、又はデバイスにより使用され得るか、又はそれらと関連して使用され得るプログラムを含む、又は記憶する、任意の有形媒体であってもよい。本開示では、コンピュータ読み取り可能な信号媒体は、ベースバンドで又は搬送波の一部として伝搬されるデータ信号を含んでもよく、コンピュータ読み取り可能なプログラムコードを担持する。このような伝搬されたデータ信号は、電磁信号、光信号、又は上記の任意の適切な組み合わせを含むが、これらに限定されない様々な形態をとることができる。コンピュータ読み取り可能な信号媒体は、コンピュータ読み取り可能な記憶媒体以外の任意のコンピュータ読み取り可能な媒体であってもよく、当該コンピュータ読み取り可能な信号媒体は、命令実行システム、装置、又はデバイスにより使用されるか、又はそれらと関連して使用されるプログラムを送信、伝搬、又は伝送することができる。コンピュータ読み取り可能な媒体に含まれるプログラムコードは、電線、光ケーブル、無線周波数（Ｒａｄｉｏ Ｆｒｅｑｕｅｎｃｙ、ＲＦ）など、又は上記任意の適切な組み合わせを含んでもよいがこれらに限定されない任意の適切な媒体で伝送されてもよい。

【0065】

上記コンピュータ読み取り可能な媒体は、上記電子機器に含まれたものであってもよく、当該電子機器に組み込まれずに単独で存在してもよい。

【0066】

上記コンピュータ読み取り可能な媒体は、１つ又は複数のプログラムを担持し、上記１つ又は複数のプログラムが当該電子機器により実行されると、当該電子機器に、少なくとも２つのインターネットプロトコルアドレスを取得させ、前記少なくとも２つのインターネットプロトコルアドレスを含むノード評価要求をノード評価機器に送信させ、ここで、前記ノード評価機器は、前記少なくとも２つのインターネットプロトコルアドレスからインターネットプロトコルアドレスを選択して返信し、前記ノード評価機器により返信されたインターネットプロトコルアドレスを受信させ、ここで、取得したインターネットプロトコルアドレスは、内容配信ネットワークにおけるエッジノードを指示する。

【0067】

又は、上記コンピュータ読み取り可能な媒体は、１つ又は複数のプログラムを担持し、上記１つ又は複数のプログラムが当該電子機器により実行されると、当該電子機器に、少なくとも２つのインターネットプロトコルアドレスを含むノード評価要求を受信させ、前記少なくとも２つのインターネットプロトコルアドレスからインターネットプロトコルアドレスを選択させ、選択したインターネットプロトコルアドレスを返信させ、ここで、受信したインターネットプロトコルアドレスは、内容配信ネットワークにおけるエッジノードを指示する。

【0068】

本開示の操作を実行するためのコンピュータプログラムコードは、Ｊａｖａ、Ｓｍａｌｌｔａｌｋ、Ｃ＋＋などのオブジェクト指向プログラミング言語を含み、「Ｃ」言語又は類似のプログラミング言語などの従来の手続き型プログラミング言語を含む１つ又は複数のプログラミング言語、又はこれらの組み合わせで書かれてもよい。プログラムコードは、完全にユーザのコンピュータで、部分的にユーザのコンピュータで、独立したソフトウェアパッケージとして、部分的にユーザのコンピュータで、部分的にリモートコンピュータで、又は完全にリモートコンピュータ又はサーバで、実行されてもよい。リモートコンピュータに関連する場合、リモートコンピュータは、ローカルエリアネットワーク（Ｌｏｃａｌ ａｒｅａ ｎｅｔｗｏｒｋ、ＬＡＮ）又はワイドエリアネットワーク（Ｗｉｄｅ ａｒｅａ ｎｅｔｗｏｒｋ、ＷＡＮ）を含む任意の種類のネットワークにより、ユーザのコンピュータに接続されてもよく、又は、外部のコンピュータに接続されてもよい（例えば、インターネットサービスプロバイダを利用してインターネットにより接続する）。

【0069】

図面におけるフローチャート及びブロック図は、本開示の様々な実施例による、システム、方法、及びコンピュータプログラム製品の実現可能なアーキテクチャ、機能、及び操作を図示する。この点に関して、フローチャート又はブロック図における各ブロックは、指定された論理機能を実現するための１つ又は複数の実行可能な命令を含むモジュール、プログラムセグメント、又はコードの一部を表すことができる。いくつかの置き換えの実現形態では、ブロックに記された機能は、図面に記された順序とは異なる順序で生じ得ることにも留意されたい。例えば、連続して示された２つのブロックは、実際には、関連する機能に応じて、基本的に並列に実行されてもよく、時には、逆順に実行されてもよい。ブロック図及び／又はフローチャートにおける各ブロック、並びにブロック図及び／又はフローチャートにおけるブロックの組み合わせは、指定された機能又は操作を実行するハードウェアによる専用システムで実現されてもよく、又は専用ハードウェアとコンピュータ命令との組み合わせで実現されてもよいことにも留意されたい。

【0070】

本開示の実施例に説明されたユニットは、ソフトウェアの方式で実現されてもよく、ハードウェアの方式で実現されてもよい。ここで、ユニットの名称は、当該ユニット自体を限定するものではない場合があり、例えば、第１の取得ユニットは、「少なくとも２つのインターネットプロトコルアドレスを取得するユニット」と説明されてもよい。

【0071】

以上の説明は、本開示の好適な実施例及びその応用技術の原理の説明に過ぎない。本開示に係る開示範囲は、上記技術的特徴の特定の組み合わせによる技術的解決手段に限定されず、上記開示の考えを逸脱しない場合、上記技術的特徴又はその同等特徴の任意の組み合わせによる他の技術的解決手段も含むことが当業者には理解されるであろう。例えば、上記特徴は、本開示にて開示された（しかし限定されない）類似機能を有する技術的特徴と相互に置き換えて形成された技術的解決手段である。

【0072】

本願は、２０２０年７月１０日に中国特許局に提出された、出願番号が２０２０１０６６２８１９．Ｘで、発明の名称が「拡張現実の画像処理方法、装置、電子機器及び記憶媒体」の中国特許出願の優先権を主張し、その全ての内容は、引用により本明細書に組み込まれる。

【国際調査報告】