特表 2023-504608 拡張現実場面における表示方法、装置、機器、媒体及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2023-02-06

(54)【発明の名称】拡張現実場面における表示方法、装置、機器、媒体及びプログラム

(51)【国際特許分類】

   G06T 7/70 20170101AFI20230130BHJP

   G06T 7/00 20170101ALI20230130BHJP

   G06V 10/74 20220101ALI20230130BHJP

   G06T 19/00 20110101ALI20230130BHJP

【ＦＩ】

G06T7/70 Z

G06T7/00 300F

G06V10/74

G06T19/00 600

【審査請求】有

【予備審査請求】未請求

(21)【出願番号】P 2022530223

(86)(22)【出願日】2021-06-24

(85)【翻訳文提出日】2022-05-24

(86)【国際出願番号】 CN2021102206

(87)【国際公開番号】W WO2022095468

(87)【国際公開日】2022-05-12

(31)【優先権主張番号】202011232913.8

(32)【優先日】2020-11-06

(33)【優先権主張国・地域又は機関】CN

(81)【指定国・地域】

【公序良俗違反の表示】

（特許庁注：以下のものは登録商標）

１．ＳＭＡＬＬＴＡＬＫ

(71)【出願人】

【識別番号】321006888

【氏名又は名称】ベイジン・センスタイム・テクノロジー・デベロップメント・カンパニー・リミテッド

(74)【代理人】

【識別番号】100078282

【弁理士】

【氏名又は名称】山本 秀策

(74)【代理人】

【識別番号】100113413

【弁理士】

【氏名又は名称】森下 夏樹

(74)【代理人】

【識別番号】100181674

【弁理士】

【氏名又は名称】飯田 貴敏

(74)【代理人】

【識別番号】100181641

【弁理士】

【氏名又は名称】石川 大輔

(74)【代理人】

【識別番号】230113332

【弁護士】

【氏名又は名称】山本 健策

(72)【発明者】

【氏名】▲劉▼旭

(72)【発明者】

【氏名】▲欒▼青

(72)【発明者】

【氏名】李斌

【テーマコード（参考）】

5B050

5L096

【Ｆターム（参考）】

5B050AA00

5B050BA06

5B050BA09

5B050BA13

5B050CA01

5B050DA04

5B050EA19

5B050EA26

5B050FA02

5B050FA05

5L096AA02

5L096AA06

5L096BA18

5L096CA02

5L096DA01

5L096FA67

5L096FA69

5L096GA40

5L096GA51

5L096HA09

5L096JA05

5L096JA11

(57)【要約】

本願の実施例は、拡張現実場面における表示方法、装置、機器、媒体及びプログラムを提供する。前記方法は、電子機器によって実行され、該表示方法は、ＡＲ機器によって撮られた現在場面画像を取得することと、前記現在場面画像に目標実体対象が含まれることが識別された場合、前記目標実体対象とマッチングするＡＲ特別効果の第１表示位置データを決定し、前記第１表示位置データに基づいて、前記ＡＲ特別効果を表示するように前記ＡＲ機器を制御することと、前記ＡＲ特別効果を表示するプロセスにおいて、前記現在場面画像において前記目標実体対象が識別されていないことに応答して、前記ＡＲ特別効果の第２表示位置データを決定し、前記第２表示位置データに基づいて、前記ＡＲ特別効果の表示済み進捗に従って前記ＡＲ特別効果を表示し続けるように前記ＡＲ機器を制御することと、を含む。

【特許請求の範囲】

【請求項1】

電子機器によって実行される拡張現実場面における表示方法であって、
拡張現実（ＡＲ）機器によって撮られた現在場面画像を取得することと、
前記現在場面画像に目標実体対象が含まれることが識別された場合、前記目標実体対象とマッチングするＡＲ特別効果の第１表示位置データを決定し、前記第１表示位置データに基づいて、前記ＡＲ特別効果を表示するように前記ＡＲ機器を制御することと、
前記ＡＲ特別効果を表示するプロセスにおいて、前記現在場面画像において前記目標実体対象が識別されていないことに応答して、前記ＡＲ特別効果の第２表示位置データを決定し、前記第２表示位置データに基づいて、前記ＡＲ特別効果の表示済み進捗に従って前記ＡＲ特別効果を表示し続けるように前記ＡＲ機器を制御することと、を含む、拡張現実場面における表示方法。

【請求項2】

前記現在場面画像に目標実体対象が含まれることが識別された場合、前記目標実体対象とマッチングするＡＲ特別効果の第１表示位置データを決定する前に、
前記現在場面画像に対して特徴点抽出を行い、前記現在場面画像に含まれる複数の特徴点のそれぞれに対応する特徴情報を得て、前記複数の特徴点は、前記現在場面画像における目標検出領域に位置し、
前記複数の特徴点のそれぞれに対応する特徴情報と予め記憶された前記目標実体対象に含まれる複数の特徴点のそれぞれに対応する特徴情報に基づいて比較を行い、前記現在場面画像に前記目標実体対象が含まれるかどうかを決定するという方式で、
前記現在場面画像に前記目標実体対象が含まれるかどうかを識別することを特徴とする
請求項１に記載の方法。

【請求項3】

前記目標実体対象とマッチングするＡＲ特別効果の第１表示位置データを決定することは、
前記現在場面画像における前記目標実体対象の位置情報を取得することと、
前記位置情報に基づいて、予め確立されたワールド座標系における前記目標実体対象の位置データを決定し、前記現在場面画像に基づいて、前記ワールド座標系における前記ＡＲ機器の位置データを決定することと、
前記ワールド座標系における前記目標実体対象の位置データと前記ワールド座標系における前記ＡＲ機器の位置データに基づいて、前記第１表示位置データを決定することと、を含むことを特徴とする
請求項１又は２に記載の方法。

【請求項4】

前記位置情報に基づいて、予め確立されたワールド座標系における前記目標実体対象の位置データを決定することは、
前記位置情報、画像座標系とＡＲ機器に対応するカメラ座標系との変換関係、及びＡＲ機器に対応するカメラ座標系と前記ワールド座標系との変換関係に基づいて、前記ワールド座標系における前記目標実体対象の位置データを決定することを含み、
前記ワールド座標系における前記目標実体対象の位置データと前記ワールド座標系における前記ＡＲ機器の位置データに基づいて、前記第１表示位置データを決定することは、
前記ワールド座標系における前記目標実体対象の位置データに基づいて、前記ワールド座標系における前記ＡＲ特別効果の位置データを決定することと、
前記ワールド座標系における前記ＡＲ特別効果の位置データ及び前記ワールド座標系における前記ＡＲ機器の位置データに基づいて、前記第１表示位置データを決定することと、を含むことを特徴とする
請求項３に記載の方法。

【請求項5】

前記ＡＲ特別効果の第２表示位置データを決定することは、
前記現在場面画像、過去場面画像及び前記過去場面画像を撮る時の予め確立されたワールド座標系における前記ＡＲ機器と前記目標実体対象との相対的位置データに基づいて、現在場面画像を撮る時の前記ＡＲ機器と前記目標実体対象との相対的位置データを決定することと、
前記相対的位置データに基づいて、前記ＡＲ特別効果の第２表示位置データを決定することと、を含むことを特徴とする
請求項１～４のうちいずれか一項に記載の方法。

【請求項6】

前記ＡＲ特別効果はＡＲ画面と前記ＡＲ画面とマッチングするオーディオ内容とを含み、前記第２表示位置データに基づいて、前記ＡＲ特別効果の表示済み進捗に従って前記ＡＲ特別効果を表示し続けるように前記ＡＲ機器を制御することは、
前記現在場面画像において前記目標実体対象が識別されておらず、且つ前記ＡＲ画面の表示が完了していない場合、前記第２表示位置データに基づいて、前記ＡＲ画面の表示済み進捗に従って、表示されていない前記ＡＲ画面とマッチングするオーディオ内容を表示し続けるように前記ＡＲ機器を制御することを含むことを特徴とする
請求項１～５のうちいずれか一項に記載の方法。

【請求項7】

前記ＡＲ特別効果を表示するプロセスにおいて、前記現在場面画像において前記目標実体対象が識別されていないことに応答して、前記ＡＲ特別効果の第２表示位置データを決定し、前記第２表示位置データに基づいて、前記ＡＲ特別効果の表示済み進捗に従って前記ＡＲ特別効果を表示し続けるように前記ＡＲ機器を制御した後、前記方法は、
前記現在場面画像において前記目標実体対象が再識別された場合、改めて、決定された前記第１表示位置データに基づいて、前記ＡＲ特別効果の表示済み進捗に従って前記ＡＲ特別効果を表示し続けるように前記ＡＲ機器を制御することを更に含むことを特徴とする
請求項１～６のうちいずれか一項に記載の方法。

【請求項8】

前記ＡＲ特別効果を表示するように前記ＡＲ機器を制御する前に、前記方法は、
前記目標実体対象とマッチングするＡＲ特別効果を取得することであって、前記ＡＲ特別効果に複数の仮想対象のそれぞれに対応する特別効果データが含まれる、ことを更に含み、
前記ＡＲ特別効果を表示するように前記ＡＲ機器を制御することは、
前記複数の仮想対象のそれぞれに対応する特別効果データの表示順序に従って、前記複数の仮想対象のそれぞれに対応する特別効果データを順次表示するように前記ＡＲ機器を制御することを含むことを特徴とする
請求項１～７のうちいずれか一項に記載の方法。

【請求項9】

前記目標実体対象はカレンダーを含み、前記ＡＲ特別効果を表示するように前記ＡＲ機器を制御する前に、前記方法は、
前記カレンダーとマッチングするＡＲ特別効果を取得することであって、前記ＡＲ特別効果に前記カレンダーの表紙内容に基づいて生成された第１特別効果データが含まれる、ことを更に含み、
前記ＡＲ特別効果を表示するように前記ＡＲ機器を制御することは、
前記カレンダーの表紙内容が識別された場合、前記第１特別効果データに基づいて、前記カレンダーの表紙内容とマッチングする前記ＡＲ特別効果を表示するように前記ＡＲ機器を制御することを含むことを特徴とする
請求項１～８のうちいずれか一項に記載の方法。

【請求項10】

前記目標実体対象はカレンダーを含み、前記ＡＲ特別効果を表示するように前記ＡＲ機器を制御する前に、前記方法は、
前記カレンダーとマッチングするＡＲ特別効果を取得することであって、前記ＡＲ特別効果に、前記カレンダーにおける少なくとも１つの所定の日付の過去の同一時期でのマークイベントに基づいて生成された第２特別効果データが含まれる、ことを更に含み、
前記ＡＲ特別効果を表示するように前記ＡＲ機器を制御することは、
前記カレンダーにおける少なくとも１つの所定の日付が識別された場合、前記第２特別効果データに基づいて、前記カレンダーにおける少なくとも１つの所定の日付とマッチングする前記ＡＲ特別効果を表示するように前記ＡＲ機器を制御することを含むことを特徴とする
請求項１～９のうちいずれか一項に記載の方法。

【請求項11】

拡張現実場面における表示装置であって、
拡張現実（ＡＲ）機器によって撮られた現在場面画像を取得するように構成される取得モジュールと、
前記現在場面画像に目標実体対象が含まれることが識別された場合、前記目標実体対象とマッチングするＡＲ特別効果の第１表示位置データを決定し、前記第１表示位置データに基づいて、前記ＡＲ特別効果を表示するように前記ＡＲ機器を制御するように構成される第１制御モジュールと、
前記ＡＲ特別効果を表示するプロセスにおいて、前記現在場面画像において前記目標実体対象が識別されていないことに応答して、前記ＡＲ特別効果の第２表示位置データを決定し、前記第２表示位置データに基づいて、前記ＡＲ特別効果の表示済み進捗に従って前記ＡＲ特別効果を表示し続けるように前記ＡＲ機器を制御するように構成される第２制御モジュールと、を備える、拡張現実場面における表示装置。

【請求項12】

電子機器であって、前記電子機器は、プロセッサと、メモリと、バスと、を備え、前記メモリに、前記プロセッサによる実行可能な機器可読命令が記憶されており、電子機器が動作する場合、前記プロセッサと前記メモリとは、バスを介して通信し、前記機器可読命令が前記プロセッサにより実行される場合、請求項１～１０のうちいずれか一項に記載の拡張現実場面における表示方法を実行する、電子機器。

【請求項13】

コンピュータ可読記憶媒体であって、該コンピュータ可読記憶媒体に、コンピュータプログラムが記憶されており、該コンピュータプログラムがプロセッサに、請求項１～１０のうちいずれか一項に記載の拡張現実場面における表示方法を実行させる、コンピュータ可読記憶媒体。

【請求項14】

コンピュータプログラムであって、前記コンピュータプログラムは、電子機器のプロセッサに、請求項１～１０のうちいずれか一項に記載の拡張現実場面における表示方法を実行させる、コンピュータプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

（関連出願の相互参照）
本願は、２０２０年１１月０６日に提出された、出願番号が２０２０１１２３２９１３．８であり、出願人が「ベイジン センスタイム テクノロジー デベロップメント カンパニー，リミテッド」であり、発明名称が「拡張現実場面における表示方法、装置、電子機器及び記憶媒体」である中国特許出願に基づく優先権を主張し、該中国特許出願の全内容が参照として本願に組み込まれる。

【0002】

本願は、拡張現実技術分野に関し、特に、拡張現実場面における表示方法、装置、機器、媒体及びプログラムに関する。

【背景技術】

【0003】

拡張現実（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ：ＡＲ）技術は、実体情報（ビジョン情報、音声、触覚など）をシミュレーションした後、現実世界に重ね合わせることによって、リアルな環境と仮想物体を同一の画面又は空間にリアルタイムに呈する。

【0004】

関連技術において、ＡＲ技術の発展に伴い、ＡＲ機器の応用領域は、ますます広くなってきた。ＡＲ機器によって、実体対象に重ね合わせるＡＲ特別効果を表示することができる。ＡＲ特別効果の表示プロセスにおいて、一般的には、ＡＲ特別効果の表示位置を決定する必要がある。いくつかの場合には、実体対象又はＡＲ機器が移動する可能性がある。移動プロセスにおいて、実体対象の位置が変わると、如何にＡＲ特別効果の表示位置を決定し続けることで、ＡＲ特別効果を一貫して表示して、よりリアルな表示効果を提供することを実現させるかは、研究価値のある課題となっている。

【発明の概要】

【課題を解決するための手段】

【0005】

本願の実施例は、拡張現実場面における表示方案を提供する。

【0006】

本願の実施例は、拡張現実場面における表示方法を提供する。前記方法は、電子機器によって実行され、前記方法は、
ＡＲ機器によって撮られた現在場面画像を取得することと、
前記現在場面画像に目標実体対象が含まれることが識別された場合、前記目標実体対象とマッチングするＡＲ特別効果の第１表示位置データを決定し、前記第１表示位置データに基づいて、前記ＡＲ特別効果を表示するように前記ＡＲ機器を制御することと、
前記ＡＲ特別効果を表示するプロセスにおいて、前記現在場面画像において前記目標実体対象が識別されていないことに応答して、前記ＡＲ特別効果の第２表示位置データを決定し、前記第２表示位置データに基づいて、前記ＡＲ特別効果の表示済み進捗に従って前記ＡＲ特別効果を表示し続けるように前記ＡＲ機器を制御することと、を含む。

【0007】

このように、目標実体対象の識別結果によって、マッチングする特別効果データを表示することをトリガーすることができ、その表示効果が目標実体対象と緊密に関連付けられ、特別効果データが目標実体対象とより関連的に表示することができる。そして、目標実体対象の識別結果に基づいて、異なる位置決め方式で、ＡＲ特別効果を表示するようにＡＲ機器を制御することで、表示プロセスにおけるＡＲ特別効果の一貫性と安定性を向上させ、ＡＲ特別効果の表示をよりリアルにすることができる。

【0008】

本願のいくつかの実施例において、前記現在場面画像に目標実体対象が含まれることが識別された場合、前記目標実体対象とマッチングするＡＲ特別効果の第１表示位置データを決定する前に、前記現在場面画像に対して特徴点抽出を行い、前記現在場面画像に含まれる複数の特徴点のそれぞれに対応する特徴情報を得て、前記複数の特徴点は、前記現在場面画像における目標検出領域に位置し、前記複数の特徴点のそれぞれに対応する特徴情報と予め記憶された前記目標実体対象に含まれる複数の特徴点のそれぞれに対応する特徴情報に基づいて比較を行い、前記現在場面画像に前記目標実体対象が含まれるかどうかを決定するという方式で、前記現在場面画像に前記目標実体対象が含まれるかどうかを識別する。このように、目標検出領域に含まれる複数の特徴点を抽出することによって、現在場面画像に目標実体対象が含まれるかどうかを識別し、特徴点比較の方式によれば、現在場面画像に目標実体対象が含まれるかどうかを迅速かつ正確に決定することができる。

【0009】

本願のいくつかの実施例において、前記目標実体対象とマッチングするＡＲ特別効果の第１表示位置データを決定することは、前記現在場面画像における前記目標実体対象の位置情報を取得することと、前記位置情報に基づいて、予め確立されたワールド座標系における前記目標実体対象の位置データを決定し、前記現在場面画像に基づいて、前記ワールド座標系における前記ＡＲ機器の位置データを決定することと、前記ワールド座標系における前記目標実体対象の位置データと前記ワールド座標系における前記ＡＲ機器の位置データに基づいて、前記第１表示位置データを決定することと、を含む。このように、同一のワールド座標系における目標実体対象、ＡＲ機器の位置データを決定することによって、同一のワールド座標系におけるＡＲ特別効果のＡＲ機器に対する第１表示位置データをより正確に決定することができ、このように、ＡＲ機器によって表示される拡張現実場面をよりリアルにする。

【0010】

本願のいくつかの実施例において、前記位置情報に基づいて、予め確立されたワールド座標系における前記目標実体対象の位置データを決定することは、前記位置情報、画像座標系とＡＲ機器に対応するカメラ座標系との変換関係、及びＡＲ機器に対応するカメラ座標系と前記ワールド座標系との変換関係に基づいて、前記ワールド座標系における前記目標実体対象の位置データを決定することを含み、前記ワールド座標系における前記目標実体対象の位置データと前記ワールド座標系における前記ＡＲ機器の位置データに基づいて、前記第１表示位置データを決定することは、前記ワールド座標系における前記目標実体対象の位置データに基づいて、前記ワールド座標系における前記ＡＲ特別効果の位置データを決定することと、前記ワールド座標系における前記ＡＲ特別効果の位置データ及び前記ワールド座標系における前記ＡＲ機器の位置データに基づいて、前記第１表示位置データを決定することと、を含む。このように、現在場面画像に目標実体対象が含まれることが識別された場合、現在場面画像に基づいて、ワールド座標系における目標実体対象とＡＲ機器の位置データを正確に決定することができ、それによってＡＲ特別効果の第１表示位置データを正確かつ迅速に得ることができる。

【0011】

本願のいくつかの実施例において、前記ＡＲ特別効果の第２表示位置データを決定することは、前記現在場面画像、過去場面画像及び前記過去場面画像を撮る時の予め確立されたワールド座標系における前記ＡＲ機器と前記目標実体対象との相対的位置データに基づいて、現在場面画像を撮る時の前記ＡＲ機器と前記目標実体対象との相対的位置データを決定することと、前記相対的位置データに基づいて、前記ＡＲ特別効果の第２表示位置データを決定することと、を含む。このように、現在場面画像、過去場面画像及び過去場面画像を撮る時のワールド座標系におけるＡＲ機器と目標実体対象との相対的位置データを利用して、現在場面画像を撮る時のＡＲ機器と目標実体対象との相対的位置データを比較的正確に決定することができ、このように、正確な相対的位置データに基づいて、ＡＲ特別効果の第２表示位置データを決定することができ、目標実体対象が識別されていない場合にも、ＡＲ特別効果を表示できることを実現させることができる。

【0012】

本願のいくつかの実施例において、前記ＡＲ特別効果はＡＲ画面と前記ＡＲ画面とマッチングするオーディオ内容とを含み、前記第２表示位置データに基づいて、前記ＡＲ特別効果の表示済み進捗に従って前記ＡＲ特別効果を表示し続けるように前記ＡＲ機器を制御することは、前記現在場面画像において前記目標実体対象が識別されておらず、且つ前記ＡＲ画面の表示が完了していない場合、前記第２表示位置データに基づいて、前記ＡＲ画面の表示済み進捗に従って、表示されていない前記ＡＲ画面とマッチングするオーディオ内容を表示し続けるように前記ＡＲ機器を制御することを含む。このように、目標実体対象が識別されていない場合、ＡＲ画面の表示が完了していないと、ＡＲ画面とマッチングするオーディオ内容を表示し続けることもでき、ＡＲ特別効果表示の一貫性を向上させ、ＡＲ特別効果をよりリアルに表示することができる。

【0013】

本願のいくつかの実施例において、前記ＡＲ特別効果を表示するプロセスにおいて、前記現在場面画像において前記目標実体対象が識別されていないことに応答して、前記ＡＲ特別効果の第２表示位置データを決定し、前記第２表示位置データに基づいて、前記ＡＲ特別効果の表示済み進捗に従って前記ＡＲ特別効果を表示し続けるように前記ＡＲ機器を制御した後、前記方法は、前記現在場面画像において前記目標実体対象が再識別された場合、改めて、決定された前記第１表示位置データに基づいて、前記ＡＲ特別効果の表示済み進捗に従って前記ＡＲ特別効果を表示し続けるようにＡＲ機器を制御することを更に含む。このように、目標実体対象が再識別された後、改めて、正確度が比較的高い第１表示位置データに基づいて、ＡＲ特別効果を表示し続けることによって、表示プロセスにおけるＡＲ特別効果の一貫性と安定性を向上させ、ＡＲ特別効果の表示をよりリアルにすることができる。

【0014】

本願のいくつかの実施例において、前記ＡＲ特別効果を表示するように前記ＡＲ機器を制御する前に、前記方法は、前記目標実体対象とマッチングするＡＲ特別効果を取得することであって、前記ＡＲ特別効果に複数の仮想対象のそれぞれに対応する特別効果データが含まれる、ことを更に含み、前記ＡＲ特別効果を表示するように前記ＡＲ機器を制御することは、前記複数の仮想対象のそれぞれに対応する特別効果データの表示順序に従って、前記複数の仮想対象のそれぞれに対応する特別効果データを順次表示するように前記ＡＲ機器を制御することを含む。このように、ユーザに対して、複数の仮想対象で構成されるＡＲ特別効果を表示し、ＡＲ特別効果の表示をより生き生きとしていることができる。

【0015】

本願のいくつかの実施例において、前記目標実体対象はカレンダーを含み、前記ＡＲ特別効果を表示するように前記ＡＲ機器を制御する前に、前記方法は、前記カレンダーとマッチングするＡＲ特別効果を取得することであって、前記ＡＲ特別効果に前記カレンダーの表紙内容に基づいて生成された第１特別効果データが含まれる、ことを更に含み、前記ＡＲ特別効果を表示するように前記ＡＲ機器を制御することは、前記カレンダーの表紙内容が識別された場合、前記第１特別効果データに基づいて、前記カレンダーの表紙内容とマッチングする前記ＡＲ特別効果を表示するように前記ＡＲ機器を制御することを含む。このように、カレンダー表紙が識別された場合、カレンダー表紙に、カレンダーを紹介するＡＲ特別効果を表示し、カレンダーの表示内容を豊かにし、カレンダーに対するユーザの鑑賞興味を向上させることができる。

【0016】

本願のいくつかの実施例において、前記目標実体対象はカレンダーを含み、前記ＡＲ特別効果を表示するように前記ＡＲ機器を制御する前に、前記方法は、前記カレンダーとマッチングするＡＲ特別効果を取得することであって、前記ＡＲ特別効果に、前記カレンダーにおける少なくとも１つの所定の日付の過去の同一時期でのマークイベントに基づいて生成された第２特別効果データが含まれる、ことを更に含み、前記ＡＲ特別効果を表示するように前記ＡＲ機器を制御することは、前記カレンダーにおける少なくとも１つの所定の日付が識別された場合、前記第２特別効果データに基づいて、前記カレンダーにおける少なくとも１つの所定の日付とマッチングする前記ＡＲ特別効果を表示するように前記ＡＲ機器を制御することを含む。このように、ユーザに対してカレンダーを表示すると同時に、カレンダーにおける所定の日付を取得した場合、ユーザに対して、所定の日付に対応するＡＲ特別効果を表示し、カレンダーの表示内容を豊かにすることもできる。

【0017】

以下の装置、電子機器などの効果に関する記述は、上記拡張現実場面における表示方法の説明を参照する。

【0018】

本願の実施例は、拡張現実場面における表示装置を提供する。前記装置は、
ＡＲ機器によって撮られた現在場面画像を取得するように構成される取得モジュールと、
前記現在場面画像に目標実体対象が含まれることが識別された場合、前記目標実体対象とマッチングするＡＲ特別効果の第１表示位置データを決定し、前記第１表示位置データに基づいて、前記ＡＲ特別効果を表示するように前記ＡＲ機器を制御するように構成される第１制御モジュールと、
前記ＡＲ特別効果を表示するプロセスにおいて、前記現在場面画像において前記目標実体対象が識別されていないことに応答して、前記ＡＲ特別効果の第２表示位置データを決定し、前記第２表示位置データに基づいて、前記ＡＲ特別効果の表示済み進捗に従って前記ＡＲ特別効果を表示し続けるように前記ＡＲ機器を制御するように構成される第２制御モジュールと、を備える。

【0019】

本願のいくつかの実施例において、前記取得モジュールは、前記現在場面画像に対して特徴点抽出を行い、前記現在場面画像に含まれる複数の特徴点のそれぞれに対応する特徴情報を得て、前記複数の特徴点は、前記現在場面画像における目標検出領域に位置し、前記複数の特徴点のそれぞれに対応する特徴情報と予め記憶された前記目標実体対象に含まれる複数の特徴点のそれぞれに対応する特徴情報に基づいて比較を行い、前記現在場面画像に前記目標実体対象が含まれるかどうかを決定するという方式で、前記現在場面画像に前記目標実体対象が含まれるかどうかを識別するように構成される。

【0020】

本願のいくつかの実施例において、前記第１制御モジュールは、前記現在場面画像における前記目標実体対象の位置情報を取得し、前記位置情報に基づいて、予め確立されたワールド座標系における前記目標実体対象の位置データを決定し、前記現在場面画像に基づいて、前記ワールド座標系における前記ＡＲ機器の位置データを決定し、前記ワールド座標系における前記目標実体対象の位置データと前記ワールド座標系における前記ＡＲ機器の位置データに基づいて、前記第１表示位置データを決定するように構成される。

【0021】

本願のいくつかの実施例において、前記第１制御モジュールは、前記位置情報、画像座標系とＡＲ機器に対応するカメラ座標系との変換関係、及びＡＲ機器に対応するカメラ座標系と前記ワールド座標系との変換関係に基づいて、前記ワールド座標系における前記目標実体対象の位置データを決定するように構成され、前記第１制御モジュールは、前記ワールド座標系における前記目標実体対象の位置データに基づいて、前記ワールド座標系における前記ＡＲ特別効果の位置データを決定し、前記ワールド座標系における前記ＡＲ特別効果の位置データ及び前記ワールド座標系における前記ＡＲ機器の位置データに基づいて、前記第１表示位置データを決定するように構成される。

【0022】

本願のいくつかの実施例において、前記第２制御モジュールは、前記現在場面画像、過去場面画像及び前記過去場面画像を撮る時の予め確立されたワールド座標系における前記ＡＲ機器と前記目標実体対象との相対的位置データに基づいて、現在場面画像を撮る時の前記ＡＲ機器と前記目標実体対象との相対的位置データを決定し、前記相対的位置データに基づいて、前記ＡＲ特別効果の第２表示位置データを決定するように構成される。

【0023】

本願のいくつかの実施例において、前記ＡＲ特別効果はＡＲ画面と前記ＡＲ画面とマッチングするオーディオ内容とを含み、前記第２制御モジュールは、前記現在場面画像において前記目標実体対象が識別されておらず、且つ前記ＡＲ画面の表示が完了していない場合、前記第２表示位置データに基づいて、前記ＡＲ画面の表示済み進捗に従って、表示されていない前記ＡＲ画面とマッチングするオーディオ内容を表示し続けるように前記ＡＲ機器を制御するように構成される。

【0024】

本願のいくつかの実施例において、前記第１制御モジュールは、前記現在場面画像において前記目標実体対象が再識別された場合、改めて、決定された前記第１表示位置データに基づいて、前記ＡＲ特別効果の表示済み進捗に従って前記ＡＲ特別効果を表示し続けるようにＡＲ機器を制御するように構成される。

【0025】

本願のいくつかの実施例において、前記第１制御モジュールが、前記ＡＲ特別効果を表示するように前記ＡＲ機器を制御するように構成される前に、前記取得モジュールは、前記目標実体対象とマッチングするＡＲ特別効果を取得するように構成され、前記ＡＲ特別効果に複数の仮想対象のそれぞれに対応する特別効果データが含まれ、前記第１制御モジュールは、前記複数の仮想対象のそれぞれに対応する特別効果データの表示順序に従って、前記複数の仮想対象のそれぞれに対応する特別効果データを順次表示するように前記ＡＲ機器を制御するように構成される。

【0026】

本願のいくつかの実施例において、前記目標実体対象はカレンダーを含み、前記第１制御モジュールが、前記ＡＲ特別効果を表示するように前記ＡＲ機器を制御するように構成される前に、前記取得モジュールは、前記カレンダーとマッチングするＡＲ特別効果を取得するように構成され、前記ＡＲ特別効果に前記カレンダーの表紙内容に基づいて生成された第１特別効果データが含まれ、前記第１制御モジュールは、前記カレンダーの表紙内容が識別された場合、前記第１特別効果データに基づいて、前記カレンダーの表紙内容とマッチングする前記ＡＲ特別効果を表示するように前記ＡＲ機器を制御するように構成される。

【0027】

本願のいくつかの実施例において、前記目標実体対象はカレンダーを含み、前記第１制御モジュールが、前記ＡＲ特別効果を表示するように前記ＡＲ機器を制御するように構成される前に、前記取得モジュールは、前記カレンダーとマッチングするＡＲ特別効果を取得するように構成され、前記ＡＲ特別効果に、前記カレンダーにおける少なくとも１つの所定の日付の過去の同一時期でのマークイベントに基づいて生成された第２特別効果データが含まれ、前記第１制御モジュールは、前記カレンダーにおける少なくとも１つの所定の日付が識別された場合、前記第２特別効果データに基づいて、前記カレンダーにおける少なくとも１つの所定の日付とマッチングする前記ＡＲ特別効果を表示するように前記ＡＲ機器を制御するように構成される。

【0028】

本願の実施例は、電子機器を更に提供する。前記電子機器は、プロセッサと、メモリと、バスと、を備え、前記メモリに、前記プロセッサによる実行可能な機器可読命令が記憶されており、電子機器が動作する場合、前記プロセッサと前記メモリとは、バスを介して通信し、前記機器可読命令が前記プロセッサにより実行される場合、いずれか１つの実施例に記載の拡張現実場面における表示方法を実行する。

【0029】

本願の実施例は、コンピュータ可読記憶媒体を更に提供する。該コンピュータ可読記憶媒体に、コンピュータプログラムが記憶されており、該コンピュータプログラムがプロセッサに、いずれか１つの実施例に記載の拡張現実場面における表示方法を実行させる。

【0030】

本願の実施例は、コンピュータプログラムを更に提供する。前記コンピュータプログラムはコンピュータ可読コードを含み、前記コンピュータ可読コードが電子機器のプロセッサに、上記いずれか１つの実施例に記載の拡張現実場面における表示方法を実行させる。

【0031】

本願の実施例は少なくとも拡張現実場面における表示方法、装置、機器、媒体及びプログラムを提供し、目標実体対象の識別結果によって、マッチングする特別効果データを表示することをトリガーすることができ、その表示効果が目標実体対象と緊密に関連付けられ、特別効果データが目標実体対象とより関連的に表示することができる。そして、目標実体対象の識別結果に基づいて、異なる位置決め方式で、ＡＲ特別効果を表示するようにＡＲ機器を制御することで、表示プロセスにおけるＡＲ特別効果の一貫性と安定性を向上させ、ＡＲ特別効果の表示をよりリアルにすることができる。

【0032】

本願の上記目的、特徴及び利点をより明確かつ分かりやすくするために、以下、好適な実施例を挙げて、添付図面を参照しながら、以下のように、詳しく説明する。

【図面の簡単な説明】

【0033】

【図1】本願の実施例による拡張現実場面における表示方法のフローチャートを示す。

【図2】本願の実施例の拡張現実場面における表示方法を応用できるシステムアーキテクチャの概略図を示す。

【図3】本願の実施例による現在場面画像に目標実体対象が含まれるかどうかを決定する方法のフローチャートを示す。

【図4】本願の実施例によるＡＲ特別効果の表示位置データを決定する方法のフローチャートを示す。

【図5】本願の実施例によるＡＲ特別効果の表示位置データを決定する別の方法のフローチャートを示す。

【図6】本願の実施例によるＡＲ特別効果の表示位置データを決定する別の方法のフローチャートを示す。

【図7】本願の実施例によるＡＲ特別効果の表示画面の概略図を示す。

【図8】本願の実施例による拡張現実場面における表示装置８００の構造概略図を示す。

【図9】本願の実施例による電子機器９００の構造概略図を示す。

【発明を実施するための形態】

【0034】

本願の実施例の技術的解決手段をより明確に説明するために、以下、実施例に必要な図面を簡単に説明する。ここで添付した図面は、明細書に引き入れて本明細書の一部を構成し、これらの図面は、本願に適合する実施例を示し、かつ、明細書とともに本願の技術的解決手段を解釈することに用いられる。下記図面は、説明のみの目的で本願の幾つかの実施例を図示しており、範囲を制限するものと見なされるべきではないことが理解されるべきである。当業者は、創造的労働を行うことなく、これらの図面に基づいてその他の関連する図面を得ることもできる。

【0035】

本願の実施例の目的、技術的解決手段及び利点をより明確にするために、以下、本願の実施例における図面を参照しながら、本願の実施例における技術的解決手段を明瞭かつ完全に説明する。勿論、記述される実施例は、全ての実施例ではなく、ただ本出願の一部の実施例である。一般的には、ここの図面に説明されて示されている本願の実施例のコンポーネントは、多岐にわたる異なる構成で配置及び設計することができる。従って、図面で提供される本願の実施例に対する下記詳細な説明は、特許請求されている本願の範囲を限定するものではなく、本願の選択された実施例を示すためのものに過ぎない。本願の実施例に基づいて、当業者が創造的な労力なしに得られる他の実施例の全ては、本願の保護の範囲に含まれる。

【0036】

下記図面において、類似した符号及び文字は、類似した要素を表すため、１つの要素が１つの図面において定義されていると、後続の図面において、これに対して定義及び説明を行う必要がないことに留意されたい。

【0037】

本明細書において、用語「及び／又は」は、関連関係を説明するためのものであり、３通りの関係が存在することを表す。例えば、Ａ及び／又はＢは、Ａのみが存在すること、ＡとＢが同時に存在すること、Ｂのみが存在することという３つのケースを表す。また、本明細書において、用語「少なくとも１つ」は、複数のうちのいずれか１つ又は複数のうちの少なくとも２つの任意の組み合わせを表す。例えば、Ａ、Ｂ、Ｃのうちの少なくとも１つを含むことは、Ａ、Ｂ及びＣからなる集合から選ばれるいずれか１つ又は複数の要素を含むことを表す。

【0038】

本願の実施例における複数又は複数種は、それぞれ、少なくとも２つ又は少なくとも２種を指してもよい。

【0039】

ＡＲ技術の発展に伴い、ＡＲ技術は、次第に複数種の分野に用いられてきた。例えば、実体対象にＡＲ特別効果を重ね合わせ、ＡＲ特別効果によって、ユーザに対して、実体対象を生き生きと紹介することができる。ＡＲ特別効果の表示プロセスにおいて、一般的には、ＡＲ特別効果の表示位置を決定する必要がある。ユーザに対してＡＲ特別効果を表示するプロセスにおいて、関連技術では、実体対象又はＡＲ機器が移動する可能性がある。移動プロセスにおいて、実体対象の位置が変わると、如何にＡＲ特別効果の表示位置を決定し続けることで、ＡＲ特別効果を一貫して表示して、よりリアルな表示効果を提供することを実現させるかは、研究価値のある課題となっている。

【0040】

上記研究によれば、本願の実施例は拡張現実場面における表示方法、装置、機器、媒体及びプログラムを提供し、目標実体対象の識別結果によって、マッチングする特別効果データを表示することをトリガーすることができ、その表示効果が目標実体対象と緊密に関連付けられ、特別効果データが目標実体対象とより関連的に表示することができる。そして、目標実体対象の識別結果に基づいて、異なる位置決め方式で、ＡＲ特別効果を表示するようにＡＲ機器を制御することで、表示プロセスにおけるＡＲ特別効果の一貫性と安定性を向上させ、ＡＲ特別効果の表示をよりリアルにすることができる。

【0041】

本願の実施例を理解しやすくするために、まず、本願の実施例が開示する拡張現実場面における表示方法を詳しく説明する。本願の実施例による拡張現実場面における表示方法の実行主体は、一般的には、一定のコンピューティング能力を持つコンピュータ機器である。該コンピュータ機器は、例えば、端末機器、サーバ又は他の処理機器を含む。端末機器は、ＡＲ機能を有するＡＲ機器であってもよく、例えば、ＡＲメガネ、タブレット、スマートフォン、スマートウェアラブル機器などの、表示機能及びデータ処理能力を持つ機器を含んでもよく、本願の実施例において限定しない。本願の幾つかの実施例において、該拡張現実場面における表示方法は、プロセッサによりメモリに記憶されたコンピュータ可読命令を呼び出すことで実現してもよい。

【0042】

図１を参照すると、図１は、本願の実施例による拡張現実場面における表示方法のフローチャートでる。該表示方法は、以下のＳ１０１～Ｓ１０３を含む。

【0043】

Ｓ１０１において、ＡＲ機器によって撮られた現在場面画像を取得する。

【0044】

例示的に、ＡＲ機器は、ＡＲメガネ、タブレット、スマートフォン、スマートウェアラブル機器などの、表示機能及びデータ処理能力を持つ機器を含んでもよく、それらに限らない。これらのＡＲ機器に、ＡＲ場面内容を表示するためのアプリケーションプログラムがインストールされてもよく、ユーザは、該アプリケーションプログラムにおいてＡＲ場面内容を体験することができる。

【0045】

例示的に、ＡＲ機器は、画像を撮るための画像収集部材、例えば、３原色（Ｒｅｄ Ｇｒｅｅｎ Ｂｌｕｅ：ＲＧＢ）カメラを含んでもよい。ＡＲ機器によって撮られた現在場面画像を取得した後、該現在場面画像に対して識別を行い、特別効果データの表示をトリガーする目標実体対象が含まれるかどうかを識別することができる。

【0046】

Ｓ１０２において、現在場面画像に目標実体対象が含まれることが識別された場合、目標実体対象とマッチングするＡＲ特別効果の第１表示位置データを決定し、第１表示位置データに基づいて、ＡＲ特別効果を表示するようにＡＲ機器を制御する。

【0047】

例示的に、異なる応用場面に対して、目標実体対象は、特定の形態を有する物体であってもよく、例えば、書物、書画、建築物などの実体物体であってもよい。異なる応用場面において、目標実体対象は、該応用場面における実体物体であってもよい。ＡＲ特別効果によって、該実体物体に対して紹介を行い、実体物体に対するユーザの理解を進めることができる
例示的に、目標実体対象とマッチングするＡＲ特別効果は、目標実体対象と所定の相対的位置関係を有するＡＲ特別効果と、目標実体対象の内容と関連関係を有するＡＲ特別効果と、のうちの少なくとも１つを含む。

【0048】

例示的に、目標実体対象と所定の相対的位置関係を有するＡＲ特別効果は、ＡＲ特別効果と目標実体対象とが同一の座標系において所定の相対的位置関係を有することを表すことができる。本願のいくつかの実施例において、ＡＲ特別効果は、三次元ＡＲ画面とオーディオ内容を含んでもよい。ここで、三次元ＡＲ画面は、予め構築された三次元場面モデルにおいて生成されてもよい。該三次元場面モデルにおいて、三次元ＡＲ画面の形態、サイズ、位置、姿勢などのデータ、及びＡＲ画面と目標実体対象との位置関係、相対的姿勢関係、該三次元場面モデルに対応する三次元座標系と目標実体対象の位置するワールド座標系との所定の変換関係を予め設定してもよい。このように、ワールド座標系における目標実体対象の位置データを決定した後、ワールド座標系における目標実体対象の位置データに基づいて、ワールド座標系におけるＡＲ画面の位置データを決定することができる。また、ワールド座標系における目標実体対象の姿勢データに基づいて、ワールド座標系におけるＡＲ画面の姿勢データを同時に決定することもできる。

【0049】

本願のいくつかの実施例において、目標実体対象とＡＲ特別効果の三次元画面との位置関係と姿勢関係を更に予め設定してもよく、例えば、ＡＲ画面と目標実体対象の、同一の座標系（予め確立されたワールド座標系であってもよい）における位置関係と姿勢関係を設定してもよい。このように、ワールド座標系における目標実体対象の位置データを得た後、ワールド座標系におけるＡＲ画面の位置データを決定することができ、ワールド座標系における目標実体対象の姿勢データを得た後、ワールド座標系におけるＡＲ画面の姿勢データ（ＡＲ画面における指定方向のそれぞれとワールド座標系のＸ軸、Ｙ軸及びＺ軸とのなす角）を決定するもできる。該プロセスにおいて、三次元場面モデルを構築する必要がなく、ＡＲ特別効果に対する表示プロセスにおいて、より便利で迅速である。

【0050】

例示的に、目標実体対象がカレンダーである場合について、カレンダーの中心を原点とし、カレンダーの中心を通過する長辺をＸ軸とし、カレンダーの中心を通過する短辺をＹ軸とし、カレンダーの中心を通過し且つカレンダー表紙に垂直である直線をＺ軸としてワールド座標系を確立してもよい。ＡＲ画面と目標実体対象との位置関係が、ＡＲ画面がカレンダーの上表面における、カレンダーの中心点との距離が所定の距離である箇所で表示されることを含むと、ワールド座標系におけるカレンダーの位置データを決定した後、これに基づいて、ＡＲ画面の表示位置を決定することができる。また、ワールド座標系におけるカレンダーの姿勢データ、及び予め設定されたＡＲ画面とカレンダーとの姿勢関係に基づいて、ワールド座標系におけるＡＲ画面の姿勢データを決定することもできる。

【0051】

例示的に、目標実体対象の内容と関連関係を有するＡＲ特別効果は、ＡＲ特別効果の表示内容が目標実体対象の内容、目標実体対象の有する役割又は目標実体対象に対するユーザの了解を引き付けるＡＲ画面を含むことを指してもよい。本願のいくつかの実施例において、目標実体対象がカレンダーである場合について、ＡＲ特別効果の表示内容は、該カレンダーに対応する年度に関わるＡＲ画面、及び該カレンダーに含まれる内容を紹介するオーディオ内容などを含んでもよい。

【0052】

例示的に、現在場面画像に目標実体対象が含まれることが識別された場合、第１位置決め方式で、現在場面画像における目標実体対象の位置情報を決定し、更に、現在場面画像における目標実体対象の位置情報に基づいて、ＡＲ特別効果の第１表示位置データを決定することができる。ここで、第１位置決め方式は、マーカー（ｍａｒｋｅｒ）を利用して位置決めを行う方式であり、即ち、目標実体対象の画像をｍａｒｋｅｒとして利用し、現在場面画像における目標実体対象の画像位置情報を決定することである。いくつかの実施例において、現在場面画像における目標実体対象の位置情報に基づいて、ＡＲ特別効果の第１表示姿勢データを決定することもできる。画像識別技術に基づいて、現在場面画像における目標実体対象の位置情報を比較的正確に決定することができる。従って、ここで、目標実体対象の位置情報に基づいて、ＡＲ特別効果の第１表示位置データと第１表示姿勢データを比較的正確に得ることができ、それによりＡＲ特別効果の正確な表示のためにサポートを提供する。

【0053】

例示的に、ＡＲ特別効果の第１表示姿勢データを決定することもできる。現在場面画像に目標実体対象が含まれることが識別された場合、第１位置決め方式によって、目標実体対象とマッチングするＡＲ特別効果の第１表示位置データと第１表示姿勢データを決定し、第１表示位置データと第１表示姿勢データに基づいて、ＡＲ特別効果を表示するようにＡＲ機器を制御する。

【0054】

Ｓ１０３において、ＡＲ特別効果を表示するプロセスにおいて、現在場面画像において目標実体対象が識別されていないことに応答して、ＡＲ特別効果の第２表示位置データを決定し、第２表示位置データに基づいて、ＡＲ特別効果の表示済み進捗に従ってＡＲ特別効果を表示し続けるようにＡＲ機器を制御する。

【0055】

ＡＲ特別効果を表示するようにＡＲ機器を制御するプロセスにおいて、目標実体対象とＡＲ機器とのうちの少なくとも１つが移動すると、以下の２つのケースのうちの少なくとも１つを引き起こす可能性がある。即ち、ケース１において、目標実体対象とＡＲ機器との相対的位置データが変化する。ケース２において、目標実体対象とＡＲ機器との相対的姿勢データが変化する。この場合、ＡＲ機器は、現在場面画像を撮る時、目標実体対象を撮ることができないか又は完全な目標実体対象を撮ることができない可能性がある。このように、現在場面画像を識別する時、目標実体対象を識別できないというケースが存在する可能性がある。

【0056】

本願のいくつかの実施例において、目標実体対象を識別できないというケースは２つを含んでもよく、１つのケースは、現在場面画像に目標実体対象が含まれないことであり、もう１つのケースは、現在場面画像に一部の目標実体対象が含まれることであり、例えば、目標実体対象がカレンダーである場合、現在場面画像にカレンダーの１つの隅部のみが含まれる。この場合、目標実体対象に含まれる十分な特徴点を検出できない可能性があるため、目標実体対象を識別できない。

【0057】

現在場面画像に目標実体対象が含まれる場合、第１位置決め方式で目標第１表示位置データを決定することが、現在場面画像における目標実体対象の位置情報に基づいて、ＡＲ特別効果の第１表示位置データを決定することであることを考慮して、第１位置決め方式に基づいて、目標実体対象を位置決めるプロセスにおいて、各場面画像を撮る時のＡＲ機器と目標実体対象との相対的位置データを同時に決定し、該相対的位置データを保存することができる。このように、現在場面画像において目標実体対象が識別されていない場合、保存されたＡＲ機器と目標実体対象との相対的位置データ、及び同時位置決め地図作成（Ｓｉｍｕｌｔａｎｅｏｕｓ Ｌｏｃａｌｉｚａｔｉｏｎ Ａｎｄ Ｍａｐｐｉｎｇ：ＳＬＡＭ）技術を組み合わせながら、現在場面画像を撮る時のＡＲ機器と目標実体対象との相対的位置データを決定することができる。本願のいくつかの実施例において、該相対的位置データ及びＡＲ特別効果と目標実体対象との相対的位置関係に基づいて、ＡＲ特別効果の第２表示位置データを決定することができる。該プロセスは、後に詳しく説明される。

【0058】

また、ＡＲ特別効果を表示するプロセスにおいて、現在場面画像において目標実体対象が識別されていないことに応答して、第２位置決め方式でＡＲ特別効果の第２表示姿勢データを決定することもできる。ここで、第２位置決め方式は、ＳＬＡＭ位置決め方式である。そして、第２表示位置データと第２表示姿勢データに基づいて、ＡＲ特別効果の表示済み進捗に従ってＡＲ特別効果を表示し続けるようにＡＲ機器を制御する。ここで、第２表示姿勢データの決定プロセスは、第２表示位置データの決定プロセスと類似する。

【0059】

例示的に、目標実体対象はカレンダーであり、ＡＲ特別効果は動的に表示される総時間長が３０ｓであるＡＲ画面を含む。該ＡＲ画面が１０ｓ目まで表示された場合、ＡＲ機器によって撮られた現在場面画像において目標実体対象が識別されていないと、この時、第２位置決め方式で決定されたＡＲ特別効果の第２表示位置データに基づいて、又は第２表示位置データと第２表示姿勢データに基づいて、ＡＲ画面の表示済み進捗に従って表示し続ける（１０ｓ目から表示し続ける）ようにＡＲ機器を制御することができる。表示し続けるプロセスにおいて、第２表示位置データが、ＡＲ機器がＡＲ画面の表示位置範囲から完全に離れ、例えば、ＡＲ機器とカレンダーとの相対的距離が所定の閾値以上であることを指示し、又は、第２表示姿勢データが、ＡＲ機器の撮影角度がカレンダーから完全に離れることを指示すると、この場合、ＡＲ特別効果を表示し続けているが、ユーザは、ＡＲ機器によって、ＡＲ特別効果のＡＲ画面を鑑賞できない。表示し続けるプロセスにおいて、第２表示位置データに基づいて、ＡＲ機器とカレンダーとの相対的距離が所定の閾値よりも小さく、且つＡＲ機器の撮影角度によりカレンダーの一部の領域を撮影できると決定した場合、ユーザは、ＡＲ機器によって、表示されている一部のＡＲ画面を鑑賞でき、例えば、カレンダーの一部の領域とマッチングするＡＲ画面を鑑賞できる。

【0060】

本願の実施例において、現在場面画像において目標実体対象が含まれることが識別された場合、決定された第１表示位置データに基づいて、ＡＲ特別効果を表示するようにＡＲ機器を制御する。ユーザに対してＡＲ特別効果を表示するプロセスにおいて、現在場面画像において目標実体対象が識別されていない場合、ＡＲ特別効果の第２表示位置データを決定し、第２表示位置データに基づいて、表示されていないＡＲ特別効果を表示し続けるようにＡＲ機器を制御することもでき、表示プロセスにおけるＡＲ特別効果の一貫性と安定性を向上させ、ＡＲ特別効果の表示をよりリアルにすることができる。

【0061】

図２は、本願の実施例の拡張現実場面における表示方法を応用できるシステムアーキテクチャの概略図を示す。図２に示すように、該システムアーキテクチャに、現在場面画像取得端末２０１と、ネットワーク２０２と、制御端末２０３とが含まれる。１つの例示的な応用へのサポートを実現させるために、現在場面画像取得端末２０１と制御端末２０３とは、ネットワーク２０２を介して通信接続を確立し、現在場面画像取得端末２０１は、ネットワーク２０２を介して制御端末２０３に現在場面画像を報告し、制御端末２０３は、現在場面画像において目標実体対象が含まれることが識別された場合、目標実体対象とマッチングするＡＲ特別効果の第１表示位置データを決定し、第１表示位置データに基づいて、ＡＲ特別効果を表示するようにＡＲ機器を制御し、ＡＲ特別効果を表示するプロセスにおいて、現在場面画像において目標実体対象が識別されていないことに応答して、ＡＲ特別効果の第２表示位置データを決定し、第２表示位置データに基づいて、ＡＲ特別効果の表示済み進捗に従ってＡＲ特別効果を表示し続けるようにＡＲ機器を制御する。最後に、制御端末２０３は、表示位置情報とＡＲ特別効果をネットワーク２０２にアップロードし、ネットワーク２０２を介して現在場面画像取得端末２０１に送信する。

【0062】

例として、現在場面画像取得端末２０１は、画像収集機器を含んでもよく、制御端末２０３は、ビジョン情報処理能力を有するビジョン処理機器又はリモートサーバを含んでもよい。ネットワーク２０２は、有線又は無線接続方式を用いてもよい。ここで、制御端末２０３がビジョン処理機器である場合、現在場面画像取得端末２０１は、有線接続の方式で、ビジョン処理機器と通信接続してもよく、例えば、バスを介してデータ通信を行う。制御端末２０３がリモートサーバである場合、現在場面画像取得端末２０１は、無線ネットワークを介してリモートサーバとデータインタラクションを行うことができる。

【0063】

又は、いくつかの場面において、現在場面画像取得端末２０１は、ビデオ収集モジュールを持つビジョン処理機器であってもよく、カメラを持つホストであってもよい。この場合、本願の実施例の拡張現実場面における表示方法は、現在場面画像取得端末２０１によって実行されてもよく、上記システムアーキテクチャは、ネットワーク２０２と制御端末２０３を含まなくてもよい。

【0064】

本願のいくつかの実施例において、現在場面画像に目標実体対象が含まれることが識別された場合、目標実体対象とマッチングするＡＲ特別効果の第１表示位置データを決定する前に、以下の方式で現在場面画像に目標実体対象が含まれるかどうかを識別することができる。図３に示すように、以下のＳ２０１～Ｓ２０２を含む。

【0065】

Ｓ２０１において、現在場面画像に対して特徴点抽出を行い、現在場面画像に含まれる複数の特徴点のそれぞれに対応する特徴情報を得て、複数の特徴点は、現在場面画像における目標検出領域に位置する。

【0066】

例示的に、現在場面画像に対して識別を行うプロセスにおいて、まず、画像検出アルゴリズムによって、現在場面画像における、実体対象を含む目標検出領域を位置決めることができる。続いて、目標検出領域において、特徴点抽出を行い、例えば、目標検出領域における、実体対象の輪郭に位置する特徴点、標識パターン領域に位置する特徴点及び文字領域に位置する特徴点などを抽出してもよい。例示的に、抽出された特徴点が目標実体対象を完全に表すことができるために、特徴点は、現在場面画像における、目標実体対象に対応する位置領域に基づいて均一に抽出されてもよく、例えば、目標実体対象がカレンダーである場合、現在場面画像における、カレンダー表紙に対応する矩形領域において均一に抽出されてもよい。

【0067】

例示的に、ここで抽出された特徴点に含まれる特徴情報は、特徴点に対応するテクスチャ特徴値、ＲＧＢ特徴値、グレースケール値などの、該特徴点の特徴を表すことができる情報を含んでもよい。

【0068】

Ｓ２０２において、複数の特徴点のそれぞれに対応する特徴情報と予め記憶された目標実体対象に含まれる複数の特徴点のそれぞれに対応する特徴情報に基づいて比較を行い、現在場面画像に目標実体対象が含まれるかどうかを決定する。

【0069】

例示的に、同じ方式で、目標実体対象を予め撮影し、目標実体対象に含まれる複数の特徴点のそれぞれに対応する特徴情報を得て保存してもよい。

【0070】

例示的に、複数の特徴点のそれぞれに対応する特徴情報と予め記憶された目標実体対象に含まれる複数の特徴点のそれぞれに対応する特徴情報に基づいて比較を行う時、まず、現在場面画像において抽出された複数の特徴点のそれぞれに対応する特徴情報に基づいて、現在場面画像における目標検出領域に対応する第１特徴ベクトルを決定し、目標実体対象に含まれる複数の特徴点のそれぞれに対応する特徴情報に基づいて、目標実体対象に対応する第２特徴ベクトルを決定してもよい。続いて、第１特徴ベクトルと第２特徴ベクトルによって、目標検出領域と目標実体対象との類似度を決定してもよく、例えば、コサインの式で決定してもよい。

【0071】

例示的に、第１特徴ベクトルと第２特徴ベクトルとの類似度が所定の類似度閾値以上であると決定した場合、現在場面画像に目標実体対象が含まれると決定する。逆に、第１特徴ベクトルと第２特徴ベクトルとの類似度が所定の類似度閾値よりも小さいと決定した場合、現在場面画像に目標実体対象が含まれないと決定する。

【0072】

本願の実施例において、目標検出領域に含まれる複数の特徴点を抽出することによって、現在場面画像に目標実体対象が含まれるかどうかを識別し、特徴点比較の方式により、現在場面画像に目標実体対象が含まれるかどうかを迅速かつ正確に決定することができる。

【0073】

上記Ｓ１０２について、目標実体対象とマッチングするＡＲ特別効果の第１表示位置データを決定することは、図４に示すように、以下のＳ３０１～Ｓ３０３を含んでもよい。

【0074】

Ｓ３０１において、現在場面画像における目標実体対象の位置情報を取得する。

【0075】

例示的に、現在場面画像によって画像座標系を確立し、目標実体対象に含まれる複数の特徴点の、画像座標系における画像座標値を取得し、現在場面画像における目標実体対象の位置情報を得ることができる。

【0076】

Ｓ３０２において、位置情報に基づいて、予め確立されたワールド座標系における目標実体対象の位置データを決定し、現在場面画像に基づいて、ワールド座標系におけるＡＲ機器の位置データを決定する。

【0077】

本願のいくかの実施例において、位置情報、画像座標系とＡＲ機器に対応するカメラ座標系との変換関係、及びＡＲ機器に対応するカメラ座標系とワールド座標系との変換関係に基づいて、ワールド座標系における目標実体対象の位置データを決定することができる。

【0078】

例示的に、ＡＲ機器に対応するカメラ座標系は、ＡＲ機器に含まれる画像収集部材の焦点中心を原点として光軸をＺ軸として確立された三次元直交座標系であってもよい。ＡＲ機器が現在場面画像を撮った後、画像座標系とカメラ座標系との変換関係に基づいて、カメラ座標系における目標実体対象の位置データを決定することができる。

【0079】

例示的に、予め確立されたワールド座標系は、目標実体対象の中心点を原点として確立されてもよい。例えば、上記言及された、目標実体対象がカレンダーである場合に、カレンダーの中心を原点とし、カレンダーの中心を通過する長辺をＸ軸とし、カレンダーの中心を通過する短辺をＹ軸とし、カレンダーの中心を通過し且つカレンダー表紙に垂直である直線をＺ軸として確立されてもよい。

【0080】

ここで、カメラ座標系とワールド座標系との変換は剛体変換であり、即ち、カメラ座標系を回転、並進によってワールド座標系と重なり合うことができる変換方式である。カメラ座標系とワールド座標系との変換関係は、目標実体対象における複数の位置点の、ワールド座標系における位置座標及びカメラ座標系における対応する位置座標によって決定されてもよい。ここで、カメラ座標系における目標実体対象の位置情報を得た後、ＡＲ機器に対応するカメラ座標系とワールド座標系との変換関係に基づいて、ワールド座標系における目標実体対象の位置データを決定することができる。

【0081】

例示的に、ワールド座標系におけるＡＲ機器の位置データは、ＡＲ機器によって撮られた現在場面画像によって決定されてもよい。例えば、現在場面画像において特徴点を選択し、目標実体対象によって確立されたワールド座標系における選択された特徴点の位置座標、及び、ＡＲ機器に対応するカメラ座標系における選択された特徴点の位置座標を決定することによって、現在場面画像を撮る時の、ワールド座標系におけるＡＲ機器の位置データを決定することができる。

【0082】

Ｓ３０３において、ワールド座標系における目標実体対象の位置データとワールド座標系におけるＡＲ機器の位置データに基づいて、第１表示位置データを決定する。

【0083】

ＡＲ特別効果と目標実体対象とが同じ座標系において所定の位置関係を有することを考慮して、ここで、同じ座標系における目標実体対象とＡＲ機器の位置データに基づいて、ＡＲ機器に対するＡＲ特別効果の第１表示位置データを決定することができる。

【0084】

例示的に、目標実体対象とＡＲ機器とのうちの少なくとも１つの移動に伴い、該第１表示位置データの変化、例えば、ワールド座標系における目標実体対象の位置データの変化を引き起こす。ＡＲ機器によって、目標実体対象の位置データの変化に伴って変化するＡＲ特別効果を表示することができる。又は、ワールド座標系におけるＡＲ機器の位置データが変化した後、ＡＲ機器によって、ＡＲ機器の位置データの変化に伴って変化するＡＲ特別効果を表示することもできる。目標実体対象とＡＲ機器の同時移動により相対的位置データの変化を引き起こした後、同様に、ＡＲ特別効果の第１表示位置データの変化を引き起こし、それによってＡＲ特別効果の表示を変化させる。このような方式で、よりリアルなＡＲ体験をユーザに提供することできる。例えば、ＡＲ機器の向きが目標実体対象の左側から目標実体対象の右側へ移動すると、ユーザは、ＡＲ機器によって、ＡＲ特別効果の表示も対応する変換が発生したことを視認できる。

【0085】

本願のいくつかの実施例において、第１表示姿勢データの決定プロセスは、第１表示位置データの決定と類似する。

【0086】

本願の実施例において、同一のワールド座標系における目標実体対象、ＡＲ機器の位置データを決定することによって、同一のワールド座標系におけるＡＲ特別効果のＡＲ機器に対する第１表示位置データをより正確に決定することができ、このように、ＡＲ機器によって表示される拡張現実場面をよりリアルにする。

【0087】

本願の実施例において、Ｓ３０３について、ワールド座標系における目標実体対象の位置データとワールド座標系におけるＡＲ機器の位置データに基づいて、第１表示位置データを決定することは、図５に示すように、以下のＳ３０３１～Ｓ３０３２を含んでもよい。

【0088】

Ｓ３０３１において、ワールド座標系における目標実体対象の位置データに基づいて、ワールド座標系におけるＡＲ特別効果の位置データを決定する。

【0089】

例示的に、ワールド座標系における目標実体対象の位置データ、及び予め設定された、同一の座標系におけるＡＲ特別効果と目標実体対象の位置関係（詳細は上記の記述を参照する）によって、ワールド座標系におけるＡＲ特別効果の位置データを決定することができる。

【0090】

Ｓ３０３２において、ワールド座標系におけるＡＲ特別効果の位置データ及びワールド座標系におけるＡＲ機器の位置データに基づいて、第１表示位置データを決定する。

【0091】

例示的に、ＡＲ特別効果がＡＲ画面を含む場合、ワールド座標系におけるＡＲ特別効果の位置データは、ワールド座標系におけるＡＲ画面の位置を含んでもよい。ここで、ワールド座標系におけるＡＲ画面の位置は、ワールド座標系におけるＡＲ画面の中心点の座標値で表されてもよい
本願のいくつかの実施例において、上記言及した第１表示姿勢データを決定する場合、決定された、ワールド座標系におけるＡＲ画面の姿勢は、ＡＲ画面の指定方向とワールド座標系の各座標軸とのなす角で表されてもよい。

【0092】

本願のいくつかの実施例において、ワールド座標系におけるＡＲ機器の位置データは、ワールド座標系におけるＡＲ機器における画像収集部材の位置を含んでもよい。ここで、ワールド座標系における画像収集部材の位置は、ワールド座標系における画像収集部材の所定の位置点の座標値で表されてもよい。

【0093】

本願の実施例において、上記言及した第１表示姿勢データを決定する場合、ワールド座標系における画像収集部材の姿勢は、画像収集部材におけるカメラの向き方向とワールド座標系の各座標軸とのなす角で表されてもよい。

【0094】

例示的に、第１表示位置データは、ワールド座標系におけるＡＲ特別効果の位置とワールド座標系におけるＡＲ機器の位置によって決定されてもよい。第１表示姿勢データは、ワールド座標系におけるＡＲ特別効果の姿勢とワールド座標系におけるＡＲ機器の姿勢によって決定されてもよい
本願の実施例において、現在場面画像に目標実体対象が含まれることが識別された場合、現在場面画像に基づいて、ワールド座標系における目標実体対象とＡＲ機器の位置データを正確に決定することができ、それによってＡＲ特別効果の第１表示位置データを正確かつ迅速に得ることができる。

【0095】

上記Ｓ１０３において、ＡＲ特別効果の第２表示位置データを決定することは、図６に示すように、以下のＳ４０１～Ｓ４０２を含んでもよい。

【0096】

Ｓ４０１において、現在場面画像、過去場面画像及び過去場面画像を撮る時の予め確立されたワールド座標系におけるＡＲ機器と目標実体対象との相対的位置データに基づいて、現在場面画像を撮る時のＡＲ機器と目標実体対象との相対的位置データを決定する。

【0097】

例示的に、以下、現在場面画像がＡＲ機器によって撮られた３フレーム目の場面画像であることを例として、ＳＬＡＭ技術に基づいて、現在場面画像を撮る時、ＡＲ機器と目標実体対象との相対的位置データを如何に決定するかを簡単に説明する。

【0098】

ＡＲ機器が１フレーム目に目標実体対象を含む場面画像を撮る時から、目標実体対象の中心点を原点として確立されたワールド座標系、及びＡＲ機器によって撮られた１フレーム目の場面画像から選択された特徴点のそれぞれの、ワールド座標系とＡＲ機器に対応するカメラ座標系における位置座標に基づいて、１フレーム目の場面画像を撮る時の、ワールド座標系におけるＡＲ機器の位置情報を決定することができ、同時に決定されたものは、ＡＲ機器が１フレーム目の場面画像を撮る時の、ワールド座標系における目標実体対象の位置情報を更に含む。１フレーム目の場面画像を撮る時の、ワールド座標系におけるＡＲ機器の位置情報、及びＡＲ機器が１フレーム目の場面画像を撮る時の、ワールド座標系における目標実体対象の位置情報に基づいて、１フレーム目の場面画像を撮る時の予め確立されたワールド座標系におけるＡＲ機器と目標実体対象との相対的位置データを決定することができる。

【0099】

本願のいくつかの実施例において、ＡＲ機器が２フレーム目の場面画像を撮る時、２フレーム目の場面画像において１フレーム目の場面画像に含まれる目標特徴点を見出し、ＡＲ機器がこれら２フレームの場面画像をそれぞれ撮る時の、カメラ座標系における目標特徴点の位置情報に基づいて、１フレーム目の場面画像を撮る時に対する２フレーム目の場面画像を撮る時のＡＲ機器の位置オフセット量を決定することができる。続いて、該位置オフセット量、及び１フレーム目の場面画像を撮る時の予め確立されたワールド座標系におけるＡＲ機器と目標実体対象との相対的位置データに基づいて、２フレーム目の場面画像を撮る時の予め確立されたワールド座標系におけるＡＲ機器と目標実体対象との相対的位置データを決定する。

【0100】

本願のいくつかの実施例において、同じ方式で、２フレーム目の場面画像を撮る時に対する現在場面画像を撮る時のＡＲ機器の位置オフセット量を決定することができる。このように、２フレーム目の場面画像を撮る時に対する現在場面画像を撮る時のＡＲ機器の位置オフセット量、及び２フレーム目の場面画像を撮る時の予め確立されたワールド座標系におけるＡＲ機器と目標実体対象との相対的位置データを組み合わせ、現在場面画像を撮る時の、予め確立されたワールド座標系におけるＡＲ機器と目標実体対象との相対的位置データを決定することができる。

【0101】

また、現在場面画像、過去場面画像及び過去場面画像を撮る時の、予め確立されたワールド座標系におけるＡＲ機器と目標実体対象との相対的姿勢データに基づいて、現在場面画像を撮る時のＡＲ機器と目標実体対象との相対的姿勢データを決定することもできる。ここで、相対的姿勢データの決定プロセスは、上記相対的位置データの決定プロセスと類似する。

【0102】

Ｓ４０２において、相対的位置データに基づいて、ＡＲ特別効果の第２表示位置データを決定する。

【0103】

例示的に、ＡＲ特別効果と目標実体対象が同じ座標系において所定の位置関係を有することを考慮して、ここで、同様に、現在場面画像を撮る時のＡＲ機器と目標実体対象との相対的位置データに基づいて、ＡＲ機器に対するＡＲ特別効果の第２表示位置データを決定することができる。

【0104】

本願の実施例において、現在場面画像、過去場面画像及び過去場面画像を撮る時のワールド座標系におけるＡＲ機器と目標実体対象との相対的位置データを利用して、現在場面画像を撮る時のＡＲ機器と目標実体対象との相対的位置データを比較的正確に決定することができ、このように、正確な相対的位置データに基づいて、ＡＲ特別効果の第２表示位置データを決定することができ、目標実体対象が識別されていない場合にも、ＡＲ特別効果を表示できることを実現させることができる。

【0105】

本願のいくつかの実施例において、ＡＲ特別効果は、ＡＲ画面と、ＡＲ画面とマッチングするオーディオ内容とを更に含んでもよく、上記Ｓ１０３について、第２表示位置データに基づいて、ＡＲ特別効果の表示済み進捗に従ってＡＲ特別効果を表示し続けるようにＡＲ機器を制御することは、
現在場面画像において目標実体対象が識別されておらず、且つＡＲ画面の表示が完了していない場合、第２表示位置データに基づいて、ＡＲ画面の表示済み進捗に従って、表示されていないＡＲ画面とマッチングするオーディオ内容を表示し続けるようにＡＲ機器を制御することを含んでもよい。

【0106】

例示的に、ＡＲ機器がＡＲ画面の表示位置範囲から離れる場合、この時のＡＲ画面の表示進捗が終了していないと、この時のＡＲ画面の進捗は続けることができるが、ユーザは、ＡＲ機器によってＡＲ画面を鑑賞できず、ＡＲ画面とマッチングするオーディオ内容のみが聞こえる。これは、依然として、ＡＲ特別効果体験をユーザに与える。ＡＲ機器がＡＲ画面の表示位置範囲内に再び戻る場合、ＡＲ画面の表示が依然として完了していないと、ユーザに対して、表示されていないＡＲ画面と該ＡＲ画面とマッチングするオーディオ内容を表示し続け、一貫するＡＲ体験をユーザに与えることができる。

【0107】

本願の実施例において、現在場面画像において目標実体対象が識別されていない場合、ＡＲ画面の表示が完了していないと、ＡＲ画面とマッチングするオーディオ内容を表示し続けることもでき、ＡＲ特別効果表示の一貫性を向上させ、ＡＲ特別効果をよりリアルに表示することができる。

【0108】

本願のいくつかの実施例において、ＡＲ特別効果を表示するプロセスにおいて、現在場面画像において目標実体対象が識別されていないことに応答して、ＡＲ特別効果の第２表示位置データを決定し、第２表示位置データに基づいて、ＡＲ特別効果の表示済み進捗に従ってＡＲ特別効果を表示し続けるようにＡＲ機器を制御した後、本願の実施例による方法は、
現在場面画像において目標実体対象が再識別された場合、改めて、決定された第１表示位置データに基づいて、ＡＲ特別効果の表示済み進捗に従ってＡＲ特別効果を表示し続けるようにＡＲ機器を制御することを更に含む。

【0109】

例示的に、第２表示位置データに基づいて、ＡＲ特別効果の表示済み進捗に従ってＡＲ特別効果を表示し続けるようにＡＲ機器を制御するプロセスにおいて、ＡＲ機器によって撮られた現在場面画像に対して、画像識別を実行し続け、現在場面画像に目標実体対象が含まれるかどうかを識別することができる。現在場面画像において目標実体対象が含まれることが再識別された場合、依然として引き続き、第１位置決め方式で決定された第１表示位置データによって、ＡＲ特別効果の表示済み進捗に従ってＡＲ特別効果を表示し続けるようにＡＲ機器を制御する。

【0110】

本願の実施例において、目標実体対象が再識別された後、改めて、正確度が比較的高い第１表示位置データに基づいて、ＡＲ特別効果を表示し続けることによって、表示プロセスにおけるＡＲ特別効果の一貫性と安定性を向上させ、ＡＲ特別効果の表示をよりリアルにすることができる。

【0111】

本願のいくつかの実施例において、ＡＲ特別効果を表示するようにＡＲ機器を制御する前に、
目標実体対象とマッチングするＡＲ特別効果を取得し、ＡＲ特別効果に複数の仮想対象のそれぞれに対応する特別効果データが含まれる、ことを実行してもよい。

【0112】

例示的に、目標実体対象が初めて識別された場合、該目標実体対象とマッチングするＡＲ特別効果を取得することができる。

【0113】

ＡＲ特別効果における各仮想対象に対応する特別効果データは、該仮想対象の、ＡＲ機器によって表示される時の形態、色、及び対応するオーディオ内容などのデータを含んでもよい。

【0114】

ＡＲ特別効果を表示するようにＡＲ機器を制御する時、
複数の仮想対象のそれぞれに対応する特別効果データの表示順序に従って、複数の仮想対象のそれぞれに対応する特別効果データを順次表示するようにＡＲ機器を制御することを含む。

【0115】

例示的に、ＡＲ特別効果が複数の仮想対象を含む場合、各仮想対象の、ＡＲ機器において表示される時の表示順序を予め設定してもよい。各仮想対象の属性情報、及び予め設定された異なる属性の表示順序に基づいて、複数の仮想対象のそれぞれに対応する特別効果データの表示データを決定してもよい。ここで、属性情報は、静止物体、動的物体及び動的人物などを含んでもよい。

【0116】

本願の実施例において、ユーザに対して、複数の仮想対象で構成されるＡＲ特別効果を表示し、ＡＲ特別効果の表示をより生き生きとしていることができる。

【0117】

本願のいくつかの実施例において、目標実体対象はカレンダーを含み、ＡＲ特別効果を表示するようにＡＲ機器を制御する前に、本願の実施例による表示方法は、
カレンダーとマッチングするＡＲ特別効果を取得し、ＡＲ特別効果に、カレンダーの表紙内容に基づいて生成された第１特別効果データが含まれる、ことを更に含む。

【0118】

ここの第１特別効果データは、カレンダーの表紙内容に対応する複数の仮想対象のそれぞれに対応する第１特別効果データであってもよい。

【0119】

例示的に、ＡＲ特別効果に、仮想対象である漫画キャラクター竜、漫画キャラクターリス、カレンダー表紙を包む仮想カレンダー表紙、仮想文字、瑞雲などが含まれ、各仮想対象の、ＡＲによって表示される時の表示順序がさらに含んでもよい。

【0120】

ＡＲ特別効果を表示するようにＡＲ機器を制御する時、
カレンダーの表紙内容が識別された場合、第１特別効果データに基づいて、カレンダーの表紙内容とマッチングするＡＲ特別効果を表示するようにＡＲ機器を制御することを含んでもよい。

【0121】

例示的に、カレンダーの表紙内容が識別された場合、第１特別効果データ、及び設定された表示順序に基づいて、まず、カレンダー表紙を包む仮想カレンダー表紙をトリガーして表示し、次に、動的形式でカレンダーの仮想タイトルを表示し、続いて、瑞雲を出現させ、その後、漫画キャラクター竜と漫画キャラクターリスを仮想カレンダー表紙に表示し、対話の形式でカレンダーを詳しく紹介し、紹介が完了した後、ＡＲ特別効果の表示を終了する。

【0122】

図７は、カレンダー表紙内容とマッチングするＡＲ特別効果を表示するようにＡＲ機器を制御するプロセスにおいて表示されるＡＲ画面を示す。ユーザは、ＡＲ画面を鑑賞し、対応するオーディオ内容を聴取することによって、該カレンダーを了解することができる。

【0123】

本願の実施例において、カレンダー表紙が識別された場合、カレンダー表紙に、カレンダーを紹介するＡＲ特別効果を表示し、カレンダーの表示内容を豊かにし、カレンダーに対するユーザの鑑賞興味を向上させることができる。

【0124】

本願の実施例において、目標実体対象はカレンダーを含み、ＡＲ特別効果を表示するようにＡＲ機器を制御する前に、本願の実施例による表示方法は、
カレンダーとマッチングするＡＲ特別効果を取得し、ＡＲ特別効果に、カレンダーにおける少なくとも１つの所定の日付の過去の同一時期でのマークイベントに基づいて生成された第２特別効果データが含まれる、ことを更に含む。

【0125】

例示的に、カレンダーに、過去の同一時期で特定のイベントが発生したいくつかの所定の日付が含まれる。例えば、１月１日は、元日であり、過去の元日に発生したイベントに基づいて、ＡＲ特別効果を生成することができる。該ＡＲ特別効果における第２特別効果データは、過去の同一時期で発生したイベントに基づいて生成された仮想文字、オーディオ内容及び仮想画面などを含んでもよく、それと同時に、各第２特別効果データ間の表示順序をさらに含んでもよい。

【0126】

ＡＲ特別効果を表示するようにＡＲ機器を制御する時、
カレンダーにおける少なくとも１つの所定の日付が識別された場合、第２特別効果データに基づいて、カレンダーにおける少なくとも１つの所定の日付とマッチングするＡＲ特別効果を表示するようにＡＲ機器を制御することを含んでもよい。

【0127】

例示的に、ＡＲ機器によって撮られた現在場面画像に所定の日付が含まれる時、第２特別効果データに従って、所定の日付の過去の同一時期で発生したイベントを表示して紹介するようにＡＲ機器を制御することができる。

【0128】

本願の実施例において、ユーザに対してカレンダーを表示すると同時に、カレンダーにおける所定の日付を取得した場合、ユーザに対して、所定の日付に対応するＡＲ特別効果を表示し、カレンダーの表示内容を豊かにすることもできる。

【0129】

上記方法の実施例において、各ステップの記述順番は、厳しい実行順番を意味して実施プロセスを何ら限定するものではなく、各ステップの具体的な実行順番はその機能及び可能な内在的論理により決まることは、当業者であれば理解すべきである。

【0130】

同一の技術的思想によれば、本願の実施例は、拡張現実場面における表示方法に対応する拡張現実場面における表示装置を更に提供する。本願の実施例における装置による課題を解決するための原理は、本願の実施例における上記表示方法と類似するため、装置の実施は、方法の実施を参照することができる。

【0131】

図８を参照すると、図８は、本願の実施例による拡張現実場面における表示装置８００の構造概略図である。該表示装置は、
ＡＲ機器によって撮られた現在場面画像を取得するように構成される取得モジュール８０１と、
現在場面画像に目標実体対象が含まれることが識別された場合、目標実体対象とマッチングするＡＲ特別効果の第１表示位置データを決定し、第１表示位置データに基づいて、ＡＲ特別効果を表示するようにＡＲ機器を制御するように構成される第１制御モジュール８０２と、
ＡＲ特別効果を表示するプロセスにおいて、現在場面画像において目標実体対象が識別されていないことに応答して、ＡＲ特別効果の第２表示位置データを決定し、第２表示位置データに基づいて、ＡＲ特別効果の表示済み進捗に従ってＡＲ特別効果を表示し続けるようにＡＲ機器を制御するように構成される第２制御モジュール８０３と、を備える。

【0132】

本願のいくつかの実施例において、取得モジュール８０１は、現在場面画像に対して特徴点抽出を行い、現在場面画像に含まれる複数の特徴点のそれぞれに対応する特徴情報を得て、複数の特徴点は、現在場面画像における目標検出領域に位置し、複数の特徴点のそれぞれに対応する特徴情報と予め記憶された目標実体対象に含まれる複数の特徴点のそれぞれに対応する特徴情報に基づいて比較を行い、現在場面画像に目標実体対象が含まれるかどうかを決定するという方式で、現在場面画像に目標実体対象が含まれるかどうかを識別するように構成される。

【0133】

本願のいくつかの実施例において、第１制御モジュール８０２は、現在場面画像における目標実体対象の位置情報を取得し、位置情報に基づいて、予め確立されたワールド座標系における目標実体対象の位置データを決定し、現在場面画像に基づいて、ワールド座標系におけるＡＲ機器の位置データを決定し、ワールド座標系における目標実体対象の位置データとワールド座標系におけるＡＲ機器の位置データに基づいて、第１表示位置データを決定するように構成される。

【0134】

本願のいくつかの実施例において、第１制御モジュール８０２は、位置情報、画像座標系とＡＲ機器に対応するカメラ座標系との変換関係、及びＡＲ機器に対応するカメラ座標系とワールド座標系との変換関係に基づいて、ワールド座標系における目標実体対象の位置データを決定するように構成され、第１制御モジュール８０２は、ワールド座標系における目標実体対象の位置データに基づいて、ワールド座標系におけるＡＲ特別効果の位置データを決定し、ワールド座標系におけるＡＲ特別効果の位置データ及びワールド座標系におけるＡＲ機器の位置データに基づいて、第１表示位置データを決定するように構成される。

【0135】

本願のいくつかの実施例において、第２制御モジュール８０３は、現在場面画像、過去場面画像及び過去場面画像を撮る時のＡＲ機器と目標実体対象との予め確立されたワールド座標系における相対的位置データに基づいて、現在場面画像を撮る時のＡＲ機器と目標実体対象との相対的位置データを決定し、相対的位置データに基づいて、ＡＲ特別効果の第２表示位置データを決定するように構成される。

【0136】

本願のいくつかの実施例において、ＡＲ特別効果はＡＲ画面と、ＡＲ画面とマッチングするオーディオ内容とを含み、第２制御モジュール８０３は、現在場面画像において目標実体対象が識別されておらず、且つＡＲ画面の表示が完了していない場合、第２表示位置データに基づいて、ＡＲ画面の表示済み進捗に従って、表示されていないＡＲ画面とマッチングするオーディオ内容を表示し続けるようにＡＲ機器を制御するように構成される。

【0137】

本願のいくつかの実施例において、第１制御モジュール８０２は、現在場面画像において目標実体対象が再識別された場合、改めて、第１位置決め方式で決定された第１表示位置データに基づいて、ＡＲ特別効果の表示済み進捗に従ってＡＲ特別効果を表示し続けるようにＡＲ機器を制御するように構成される。

【0138】

本願のいくつかの実施例において、第１制御モジュール８０２が、ＡＲ特別効果を表示するようにＡＲ機器を制御するように構成される前に、取得モジュール８０１は、目標実体対象とマッチングするＡＲ特別効果を取得するように構成され、ＡＲ特別効果に複数の仮想対象のそれぞれに対応する特別効果データが含まれ、第１制御モジュール８０２は、複数の仮想対象のそれぞれに対応する特別効果データの表示順序に従って、複数の仮想対象のそれぞれに対応する特別効果データを順次表示するようにＡＲ機器を制御するように構成される。

【0139】

本願のいくつかの実施例において、目標実体対象はカレンダーを含み、第１制御モジュール８０２が、ＡＲ特別効果を表示するようにＡＲ機器を制御するように構成される前に、取得モジュール８０１は、カレンダーとマッチングするＡＲ特別効果を取得するように構成され、ＡＲ特別効果に、カレンダーの表紙内容に基づいて生成された第１特別効果データが含まれ、第１制御モジュール８０２は、カレンダーの表紙内容が識別された場合、第１特別効果データに基づいて、カレンダーの表紙内容とマッチングするＡＲ特別効果を表示するようにＡＲ機器を制御するように構成される。

【0140】

本願のいくつかの実施例において、目標実体対象はカレンダーを含み、第１制御モジュール８０２が、ＡＲ特別効果を表示するようにＡＲ機器を制御するように構成される前に、取得モジュール８０１は、カレンダーとマッチングするＡＲ特別効果を取得するように構成され、ＡＲ特別効果に、カレンダーにおける少なくとも１つの所定の日付の過去の同一時期でのマークイベントに基づいて生成された第２特別効果データが含まれ、第１制御モジュール８０２は、カレンダーにおける少なくとも１つの所定の日付が識別された場合、第２特別効果データに基づいて、カレンダーにおける少なくとも１つの所定の日付とマッチングするＡＲ特別効果を表示するようにＡＲ機器を制御するように構成される。

【0141】

装置における各モジュールの処理フロー及び各モジュール間のインタラクションフローに関する説明は、上記方法の実施例における関連説明を参照してもよく、ここで詳細な説明を省略する。

【0142】

図１における拡張現実場面における表示方法に対応して、本願の実施例は、電子機器９００を更に提供する。図９を参照すると、図９は、本願の実施例による電子機器９００の構造概略図である。該電子機器は、
プロセッサ９１と、メモリ９２と、バス９３と、を備え、メモリ９２にプロセッサ９１による実行可能な機器可読命令が記憶されており、電子機器９００が動作する時、プロセッサ９１とメモリ９２とは、バス９３を介して通信し、機器可読命令がプロセッサ９１により実行される場合、上記いずれか１つの実施例における拡張現実場面における表示方法を実行する
メモリ９２は、実行命令を記憶するように構成され、内部メモリ９２１と、外部メモリ９２２とを含み、ここの内部メモリ９２１は、内メモリとも呼ばれ、プロセッサ９１における演算データ及びハードディスクなどの外部メモリ９２２と交換されるデータを一時的に記憶するように構成され、プロセッサ９１は、内部メモリ９２１を介して、外部メモリ９２２とデータ交換を行い、電子機器９００が動作する時、プロセッサ９１とメモリ９２とは、バス９３を介して通信し、プロセッサ９１に、
拡張現実ＡＲ機器によって撮られた現在場面画像を取得し、現在場面画像に目標実体対象が含まれることが識別された場合、目標実体対象とマッチングするＡＲ特別効果の第１表示位置データを決定し、第１表示位置データに基づいて、ＡＲ特別効果を表示するようにＡＲ機器を制御し、ＡＲ特別効果を表示するプロセスにおいて、現在場面画像において目標実体対象が識別されていないことに応答して、ＡＲ特別効果の第２表示位置データを決定し、第２表示位置データに基づいて、ＡＲ特別効果の表示済み進捗に従ってＡＲ特別効果を表示し続けるようにＡＲ機器を制御するという命令を実行させる。

【0143】

本願の実施例は、コンピュータ可読記憶媒体を更に提供する。該コンピュータ可読記憶媒体に、コンピュータプログラムが記憶されており、該コンピュータプログラムがプロセッサにより実行される場合、上記方法の実施例に記載の拡張現実場面における表示方法を実行する。そのうち、該記憶媒体は、揮発性又は不揮発性コンピュータ可読記憶媒体であってもよい。

【0144】

本願の実施例は、コンピュータプログラムを更に提供する。コンピュータプログラムは、コンピュータ可読コードを含み、コンピュータ可読コードが電子機器において実行される場合、電子機器のプロセッサは、上記いずれか１つの実施例に記載の拡張現実場面における表示方法を実行する。

【0145】

本願の実施例は、コンピュータプログラム製品を更に提供する。該コンピュータプログラム製品にプログラムコードが含まれており、プログラムコードに含まれる命令は、上記方法の実施例に記載の拡張現実場面における表示方法を実行するように構成されてもよく、具体的に上記方法の実施例を参照してもよい。

【0146】

そのうち、上記コンピュータプログラム製品は、ハードウェア、ソフトウェア又はその組み合わせにより実現してもよい。いくつかの実施例において、前記コンピュータプログラム製品は、コンピュータ記憶媒体として具現化されてもよく、別のいくつかの実施例において、コンピュータプログラム製品は、例えば、ソフトウェア開発キット（Ｓｏｆｔｗａｒｅ Ｄｅｖｅｌｏｐｍｅｎｔ Ｋｉｔ：ＳＤＫ）等のようなソフトウェア製品として具現化されてもよい。

【0147】

本願の実施例において係る機器は、システム、方法及びコンピュータプログラム製品のうちの少なくとも１つであってもよい。コンピュータプログラム製品は、コンピュータ可読記憶媒体を備えてもよく、プロセッサに本願の各態様を実現させるためのコンピュータ可読プログラム命令がそれに記憶されている。

【0148】

コンピュータ可読記憶媒体は、命令実行装置に用いられる命令を保持又は記憶することができる有形装置であってもよい。コンピュータ可読記憶媒体は、例えば、電気記憶装置、磁気記憶装置、光記憶装置、電磁記憶装置、半導体記憶装置又は上記の任意の組み合わせであってもよいが、これらに限定されない。コンピュータ可読記憶媒体の例（非網羅的なリスト）は、ポータブルコンピュータディスク、ハードディスク、ランダムアクセスメモリ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ：ＲＡＭ）、読み出し専用メモリ（Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ：ＲＯＭ）、消去可能なプログラマブル読み出し専用メモリ（Ｅｌｅｃｔｒｉｃａｌ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ：ＥＰＲＯＭ）又はフラッシュ、スタティックランダムアクセスメモリ（Ｓｔａｔｉｃ Ｒａｎｄｏｍ－Ａｃｃｅｓｓ Ｍｅｍｏｒｙ：ＳＲＡＭ）、ポータブルコンパクトディスク読み出し専用メモリ（Ｃｏｍｐａｃｔ Ｄｉｓｃ Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ：ＣＤ－ＲＯＭ）、デジタル多目的ディスク（Ｄｉｇｉｔａｌ Ｖｉｄｅｏ Ｄｉｓｃ：ＤＶＤ）、メモリスティック、フレキシブルディスク、命令が記憶されているパンチカード又は凹溝内における突起構造のような機械的符号化装置、及び上記任意の適切な組み合わせを含む。ここで用いられるコンピュータ可読記憶媒体は、電波もしくは他の自由に伝搬する電磁波、導波路もしくは他の伝送媒体を通って伝搬する電磁波（例えば、光ファイバケーブルを通過する光パルス）、または、電線を通して伝送される電気信号などの、一時的な信号それ自体であると解釈されるべきではない。

【0149】

ここで説明されるコンピュータ可読プログラム命令を、コンピュータ可読記憶媒体から各コンピューティング／処理機器にダウンロードすることができるか、又は、インターネット、ローカルエリアネットワーク、ワイドエリアネットワーク及び／又は無線ネットワークのうちの少なくとも１つのようなネットワークを経由して外部コンピュータ又は外部記憶機器にダウンロードすることができる。ネットワークは、伝送用銅線ケーブル、光ファイバー伝送、無線伝送、ルータ、ファイアウォール、交換機、ゲートウェイコンピュータ及びエッジサーバのうちの少なくとも１つを含んでもよい。各コンピューティング／処理機器におけるネットワークインターフェースカード又はネットワークインタフェースは、ネットワークからコンピュータ可読プログラム命令を受信し、該コンピュータ可読プログラム命令を転送し、各コンピューティング／処理機器におけるコンピュータ可読記憶媒体に記憶する。

【0150】

本願の操作を実行するためのコンピュータプログラム命令は、アセンブラ命令、命令セットアーキテクチャ（Ｉｎｄｕｓｔｒｙ Ｓｔａｎｄａｒｄ Ａｒｃｈｉｔｅｃｔｕｒｅ：ＩＳＡ）命令、マシン命令、マシン依存命令、マイクロコード、ファームウェア命令、状態設定データ、又は１つ又は複数のプログラミング言語の任意の組み合わせで記述されたソースコード又はターゲットコードであってもよい。前記プログラミング言語は、Ｓｍａｌｌｔａｌｋ、Ｃ＋＋などのようなオブジェクト指向プログラミング言語と、「Ｃ」プログラミング言語又は類似したプログラミング言語などの従来の手続型プログラミング言語とを含む。コンピュータ可読プログラム命令は、ユーザコンピュータ上で完全に実行してもよいし、ユーザコンピュータ上で部分的に実行してもよいし、独立したソフトウェアパッケージとして実行してもよいし、ユーザコンピュータ上で部分的に実行してリモートコンピュータ上で部分的に実行してもよいし、又はリモートコンピュータ又はサーバ上で完全に実行してもよい。リモートコンピュータに係る場合に、リモートコンピュータは、ローカルエリアネットワーク（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ：ＬＡＮ）やワイドエリアネットワーク（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ：ＷＡＮ）を含む任意の種類のネットワークを通じてユーザのコンピュータに接続するか、または、外部のコンピュータに接続することができる（例えばインターネットサービスプロバイダを用いてインターネットを通じて接続する）。いくつかの実施例において、コンピュータ可読プログラム命令の状態情報を利用して、例えばプログラマブル論理回路、ＦＰＧＡ又はプログラマブル論理アレイ（Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ａｒｒａｙｓ：ＰＬＡ）のような電子回路をカスタマイズする。該電子回路は、コンピュータ可読プログラム命令を実行することで、本願の各態様を実現させることができる。

【0151】

説明上の便宜及び簡素化を図るために、上記説明されたシステム及び装置の具体的な作動過程は、前記方法の実施例における対応した過程を参照することができることは、当業者にはっきり理解されるべきである。本発明で提供するいくつかの実施例で開示したシステム、装置及び方法は、他の方式によって実現できることを理解すべきである。以上に記載した装置の実施例はただ例示的なものであり、例えば、前記ユニットの分割はただロジック機能の分割で、実際に実現する時は他の分割方式によってもよい。また例えば、複数のユニット又はコンポーネントを組み合わせてもよいし、別のシステムに組み込んでもよい。又は若干の特徴を無視してもよいし、実行しなくてもよい。また、示したか或いは検討した相互間の結合又は直接的な結合又は通信接続は、いくつかの通信インタフェース、装置又はユニットによる間接的な結合又は通信接続であってもよく、電気的、機械的または他の形態であってもよい。

【0152】

分離部材として説明した前記ユニットは、物理的に別個のものであってもよいし、そうでなくてもよい。ユニットとして示された部材は、物理的ユニットであってもよいし、そうでなくてもよい。即ち、同一の位置に位置してもよいし、複数のネットワークユニットに分布してもよい。実際の需要に応じてそのうちの一部又は全てのユニットを選択して本実施例の方策の目的を実現することができる。

【0153】

また、本願の各実施例における各機能ユニットは１つの処理ユニットに集積されてもよいし、各ユニットが物理的に別個のものとして存在してもよいし、２つ又は２つ以上のユニットが１つのユニットに集積されてもよい。

【0154】

前記機能はソフトウェア機能ユニットの形で実現され、かつ独立した製品として販売または使用されるとき、プロセッサによる実行可能な不揮発性コンピュータ可読記憶媒体に記憶されてもよい。このような理解のもと、本願の技術的解決手段は、本質的に、又は、従来技術に対して貢献をもたらした部分又は該技術的解決手段の一部は、ソフトウェア製品の形式で具現化することができ、該コンピュータソフトウェア製品は、１つの記憶媒体に記憶してもよく、また、１台のコンピュータ機器（パソコン、サーバ、又はネットワーク機器など）に、本願の各実施例に記載の方法の全部又は一部のステップを実行させるための若干の命令を含む。上述した記憶媒体は、ＵＳＢメモリ、リムーバブルハードディスク、ＲＯＭ、ＲＡＭ、磁気ディスク、又は光ディスクなど、プログラムコードを記憶可能な各種の媒体を含む。

【0155】

最後に説明しておきたいこととして、上記実施例は本願の具体的な実施形態に過ぎず、本願の技術的解決手段を説明するためのものであり、これを限定するものではなく、本願の保護範囲はこれに制限されるものではない。前記実施例を参照しながら、本願を詳細に説明したが、本技術分野を周知するいかなる当業者であれば、本願で開示された技術的範囲内で、前記実施例に記載の技術的解決手段に対して修正を行うことができるか又は変更を容易に思いつくことができ、又は一部の技術的特徴に対して均等物による置換を行うこともでき、これらの修正、変更又は置換は、対応する技術的解決手段の本質を本願の実施例の技術的解決手段の精神及び範囲から離脱させるものではなく、本願の保護範囲内に含まれるものとすることは、理解すべきである。従って、本願の保護範囲は特許請求の範囲の保護範囲を基準とするべきである。

【産業上の利用可能性】

【0156】

本願の実施例は、拡張現実場面における表示方法、装置、機器、媒体及びプログラムを提供する。前記方法は、電子機器によって実行され、該表示方法は、ＡＲ機器によって撮られた現在場面画像を取得することと、前記現在場面画像に目標実体対象が含まれることが識別された場合、前記目標実体対象とマッチングするＡＲ特別効果の第１表示位置データを決定し、前記第１表示位置データに基づいて、前記ＡＲ特別効果を表示するように前記ＡＲ機器を制御することと、前記ＡＲ特別効果を表示するプロセスにおいて、前記現在場面画像において前記目標実体対象が識別されていないことに応答して、前記ＡＲ特別効果の第２表示位置データを決定し、前記第２表示位置データに基づいて、前記ＡＲ特別効果の表示済み進捗に従って前記ＡＲ特別効果を表示し続けるように前記ＡＲ機器を制御することと、を含む。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【国際調査報告】