特許 7407929 情報再生方法、装置、コンピュータ読み取り可能な記憶媒体及び電子機器

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-12-21

(45)【発行日】2024-01-04

(54)【発明の名称】情報再生方法、装置、コンピュータ読み取り可能な記憶媒体及び電子機器

(51)【国際特許分類】

   G06T 7/00 20170101AFI20231222BHJP

   G06T 19/00 20110101ALI20231222BHJP

【ＦＩ】

G06T7/00 350C

G06T19/00 600

【請求項の数】 13

(21)【出願番号】P 2022527210

(86)(22)【出願日】2020-08-28

(65)【公表番号】

(43)【公表日】2023-01-18

(86)【国際出願番号】 CN2020112004

(87)【国際公開番号】W WO2021093416

(87)【国際公開日】2021-05-20

【審査請求日】2022-07-08

(31)【優先権主張番号】201911096607.3

(32)【優先日】2019-11-11

(33)【優先権主張国・地域又は機関】CN

(31)【優先権主張番号】201911310220.3

(32)【優先日】2019-12-18

(33)【優先権主張国・地域又は機関】CN

(73)【特許権者】

【識別番号】522019454

【氏名又は名称】リアルシー・（ベイジン）・テクノロジー・カンパニー・リミテッド

【氏名又は名称原語表記】ＲＥＡＬＳＥＥ（ＢＥＩＪＩＮＧ）ＴＥＣＨＮＯＬＯＧＹ ＣＯ．，ＬＴＤ．

(74)【代理人】

【識別番号】100108453

【弁理士】

【氏名又は名称】村山 靖彦

(74)【代理人】

【識別番号】100110364

【弁理士】

【氏名又は名称】実広 信哉

(74)【代理人】

【識別番号】100133400

【弁理士】

【氏名又は名称】阿部 達彦

(72)【発明者】

【氏名】白 ▲傑▼

(72)【発明者】

【氏名】肖 ▲敏▼

(72)【発明者】

【氏名】朱 毅

(72)【発明者】

【氏名】李 ▲陽▼

【審査官】大塚 俊範

(56)【参考文献】

【文献】特開平０９－０７００３０（ＪＰ，Ａ）

【文献】特表２０１４－５０４４１３（ＪＰ，Ａ）

【文献】特開２０１２－１５０７９６（ＪＰ，Ａ）

【文献】特開２００８－０５２６４１（ＪＰ，Ａ）

【文献】堀内 隆志、他２名，教示例の人工的拡張を用いた，深層学習による距離画像からの物体認識，情報処理学会 研究報告 コンピュータビジョンとイメージメディア（ＣＶＩＭ） ２０１７－ＣＶＩＭ－２０７ ［ｏｎｌｉｎｅ］ ，日本，情報処理学会，2017年05月03日，第１－７頁，ISSN 2188-8701

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／００－７／９０

Ｇ０６Ｔ １９／００

(57)【特許請求の範囲】

【請求項1】

３次元モデルにおける空間画像を認識処理して、前記空間画像中の情報表示機器及び前記情報表示機器の表示領域を取得するステップと、
前記表示領域に対応する表示位置情報を決定するステップと、
情報再生層において表示情報を再生するために、前記表示位置情報に基づいて、前記表示領域内に前記情報再生層を重畳させるステップとを含み、
情報再生層において表示情報を再生するために、前記表示位置情報に基づいて、前記表示領域内に前記情報再生層を重畳させる前記ステップは、
現在の仮想ユーザの視野情報を取得するステップであって、前記視野情報は、前記仮想ユーザの現在の位置情報及び前記仮想ユーザの視角範囲情報を含むステップと、
前記情報表示機器が前記仮想ユーザの視野範囲内にあるか否かを判断するステップと、
前記情報表示機器が前記仮想ユーザの視野範囲内にあると、前記情報再生層に前記表示情報をロードして自動再生を行う、又はユーザによる再生命令に応答して再生を行うステップとを含み、
前記情報表示機器が前記仮想ユーザの視野範囲内にあるか否かを判断する前記ステップは、
前記情報表示機器の端点の前記３次元モデルでの空間座標を取得するステップと、
前記仮想ユーザの視野内にある前記端点の空間座標の数が予め設定された閾値を上回ると、前記情報表示機器が前記仮想ユーザの視野範囲内にあると決定するステップとを含む、情報再生方法。

【請求項2】

前記３次元モデルにおける空間画像を認識処理して、前記空間画像中の情報表示機器及び前記情報表示機器の表示領域を取得する前記ステップは、
前記３次元モデルを画像認識モデルに入力し、前記画像認識モデルを利用して前記空間画像における前記情報表示機器及び前記情報表示機器の前記表示領域を認識し、前記情報表示機器及び前記表示領域の前記３次元モデルでの位置を決定するステップを含む、請求項１に記載の方法。

【請求項3】

３次元モデルサンプルに基づいて訓練サンプルを生成し、前記３次元モデルサンプルにおいて、前記情報表示機器の３次元空間情報が標識づけられ、前記情報表示機器の３次元空間情報に前記情報表示機器の表示領域が標識づけられているステップと、
深層学習方法によって前記訓練サンプルに基づいて予め設定された深層学習モデルを訓練し、前記画像認識モデルを得るステップとをさらに含む、請求項２に記載の方法。

【請求項4】

前記表示領域に対応する表示位置情報を決定する前記ステップは、
前記３次元モデルに対応する３次元点群情報を取得するステップと、
前記３次元点群情報及び前記表示領域の前記３次元モデルでの位置に基づいて、前記表示位置情報を決定するステップとを含み、
前記表示位置情報は前記表示領域の端点の前記３次元モデルでの空間座標を含む、請求項１に記載の方法。

【請求項5】

ユーザによる再生制御命令に応答して、前記情報再生層において再生された前記表示情報に対して、対応するインタラクション操作を行うステップをさらに含む、請求項１に記載の方法。

【請求項6】

ユーザによる再生制御命令に応答して、前記情報再生層において再生された前記表示情報に対して、対応するインタラクション操作を行う前記ステップは、
前記情報再生層にインタラクションボタンを設け、ユーザが前記インタラクションボタンを通じて入力した再生制御命令に応答して、前記表示情報に対して、対応するインタラクション操作を行うステップを含み、
前記インタラクション操作は、一時停止、再生、切り替え、及び再生速度変換のうちの１つ又は複数を含む、請求項５に記載の方法。

【請求項7】

認識された前記表示領域が複数の表示領域を含む場合、各表示領域の情報再生層において再生された表示情報をそれぞれ制御するステップをさらに含み、
各表示領域の情報再生層において再生された表示情報をそれぞれ制御する前記ステップは、各表示領域の情報再生層において異なる表示情報を再生するように制御を行うステップを含む、請求項１に記載の方法。

【請求項8】

ユーザが複数の３次元モデルをブラウズした場合、前記複数の３次元モデルに対応する、表示情報の再生を必要とするターゲット表示領域を決定し、各ターゲット表示領域の情報再生層において再生された表示情報をそれぞれ制御するステップをさらに含み、
各ターゲット表示領域の情報再生層において再生された表示情報をそれぞれ制御するステップは、各ターゲット表示領域の情報再生層において異なる表示情報を再生するように制御を行うステップを含む、請求項１に記載の方法。

【請求項9】

前記表示情報は、静止画、ストリーミングメディア情報又はヒューマンコンピュータインタラクションインタフェースのうちの１種又は複数種を含む、請求項１～８のいずれか１項に記載の方法。

【請求項10】

前記表示位置情報は前記表示領域の端点の前記３次元モデルでの空間座標を含み、
前記端点の空間座標に基づいて決定された表示領域を複数のサブ表示領域に分割する前記ステップと、
前記表示領域において再生するための表示情報を、表示位置で前記複数のサブ表示領域に１対１で対応する複数のサブ表示情報に分割するステップと、
各サブ表示領域において対応するサブ表示情報を表示するように制御を行うステップとをさらに含む、請求項１に記載の方法。

【請求項11】

請求項１～１０のいずれか１項に記載の方法を実施するように構成される情報再生装置。

【請求項12】

請求項１～１０のいずれか１項に記載の方法をコンピュータに実行させるように構成されたコンピュータプログラム。

【請求項13】

プロセッサと、
前記プロセッサが実行可能なコンピュータプログラムを記憶するメモリとを含み、
前記プロセッサは、前記メモリから前記コンピュータプログラムを読み取り、前記コンピュータプログラムを実行して前記請求項１～１０のいずれか１項に記載の方法を実現するように構成される、電子機器。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、コンピュータの技術分野に関し、特に情報再生方法、装置、コンピュータ読み取り可能な記憶媒体及び電子機器に関する。

【背景技術】

【0002】

現在、インターネット技術は人々の生活に多くの利便性をもたらしている。３次元再構成技術を利用すれば、人々は外出することなく、買い物、旅行、見学、住宅見学などのことを体験できる。また、再構成された３次元モデルでは、実際のシーンとほぼ同様のユーザエクスペリエンスをユーザに提供することができる。しかし、ますます多くの３次元再構成シーンが使用されるに伴い、３次元シーンにおけるインタラクションへの要件はますます高くなって、現在の技術では、ユーザがブラウズする時のインタラクションが不足して、３次元シーンに基づくより多種多様なインタラクションをユーザに提供することができず、ユーザエクスペリエンスは悪い。

【発明の概要】

【発明が解決しようとする課題】

【0003】

上記の技術的課題を解決するために、本開示を提案している。本開示の実施例は、情報再生方法、装置、コンピュータ読み取り可能な記憶媒体及び電子機器を提供する。

【課題を解決するための手段】

【0004】

本開示の実施例は、３次元モデルにおける空間画像を認識処理して、前記空間画像中の情報表示機器及び表示領域を取得するステップと、前記表示領域に対応する表示位置情報を決定するステップと、前記情報再生層において表示情報を再生するために、前記表示位置情報に基づいて、前記表示領域内に情報再生層を重畳させるステップとを含む、情報再生方法を提供する。

【0005】

任意に、３次元モデルにおける空間画像を認識処理して、前記空間画像中の情報表示機器及び表示領域を取得する前記ステップは、前記３次元モデルを画像認識モデルに入力し、前記画像認識モデルを利用して前記空間画像において前記情報表示機器及び前記表示領域を認識し、前記情報表示機器及び前記表示領域の前記３次元モデルでの位置を決定するステップとを含む。

【0006】

任意に、前記情報表示機器の３次元空間情報が標識された３次元モデルサンプルに基づいて訓練サンプルを生成するステップであって、前記情報表示機器の３次元空間情報に表示領域が標識されているステップと、深層学習方法によって前記訓練サンプルに基づいて予め設定された深層学習モデルを訓練し、前記画像認識モデルを得るステップとを含む。

【0007】

任意に、前記表示領域に対応する表示位置情報を決定する前記ステップは、前記３次元モデルに対応する３次元点群情報を取得するステップと、前記３次元点群情報及び前記表示領域の前記３次元モデルでの位置に基づいて、前記表示位置情報を決定するステップとを含み、前記表示位置情報は、前記３次元モデルでの空間座標を含む。

【0008】

任意に、前記情報再生層において表示情報を再生する前記ステップは、現在の仮想ユーザの視野情報を取得するステップであって、前記視野情報は、前記仮想ユーザの現在の位置情報及び前記仮想ユーザの視角範囲情報を含むステップと、前記情報表示機器が前記仮想ユーザの視野範囲内にあるか否かを判断するステップと、前記情報表示機器が前記仮想ユーザの視野範囲内にあると、前記情報再生層に前記表示情報をロードして自動再生を行う、又はユーザによる再生命令に応答して再生を行うステップとを含む。

【0009】

任意に、前記情報表示機器が前記仮想ユーザの視野範囲内にあるか否かを判断する前記ステップは、前記情報表示機器の端点の前記３次元モデルでの空間座標を取得するステップと、前記仮想ユーザの視野内にある前記端点の空間座標の数が予め設定された閾値を上回ると、前記情報表示機器が前記仮想ユーザの視野範囲内にあると決定するステップとを含む。

【0010】

任意に、ユーザによる再生制御命令に応答して、前記情報再生層において再生された前記表示情報に対して、対応するインタラクション操作を行う。任意に、ユーザによる再生制御命令に応答して、前記情報再生層において再生された表示情報に対して、対応するインタラクション操作を行う前記ステップは、前記情報再生層にインタラクションボタンを設け、ユーザが前記インタラクションボタンを通じて送信した再生制御命令に応答して、前記表示情報に対して、対応するインタラクション操作を行うステップを含み、前記インタラクション操作は、一時停止、再生、切り替え、及び再生速度変換のうちの１つ又は複数を含む。

【0011】

任意に、前記３次元モデルにおいて複数の前記表示領域が認識されると、各前記表示領域内の情報再生層において再生された前記表示情報が全て異なるように制御を行う。

【0012】

任意に、ユーザが予め設定された時間区間内で複数の３次元モデルをブラウズすると、前記複数の３次元モデルに対応する、表示情報の再生を必要とするターゲット表示領域を決定し、各前記ターゲット表示領域内の情報再生層において再生された前記表示情報が全て異なるように制御を行う。

【0013】

任意に、前記表示情報は、静止画、ストリーミングメディ情報又はヒューマンコンピュータインタラクションインタフェースを含む。

【0014】

任意に、前記表示位置情報は前記表示領域の端点の前記３次元モデルでの空間座標を含み、前記端点の空間座標に基づいて決定された表示領域を複数のサブ表示領域に分割するステップと、前記表示領域において再生するための表示情報を、表示位置で複数のサブ表示領域に１対１で対応する複数のサブ表示情報に分割するステップと、各サブ表示領域において対応するサブ表示情報を表示するように制御を行うステップとをさらに含む。

【0015】

本開示の実施例の別の態様では、３次元モデルにおける空間画像を認識処理して、前記空間画像中の情報表示機器及び表示領域を取得する表示領域認識モジュールと、前記表示領域に対応する表示位置情報を決定する表示位置決定モジュールと、前記情報再生層において表示情報を再生するために、前記表示位置情報に基づいて、前記表示領域内に情報再生層を重畳させる表示情報再生モジュールとを含む、情報再生装置を提供する。

【0016】

任意に、前記表示領域認識モジュールは、前記３次元モデルを画像認識モデルに入力し、前記画像認識モデルを利用して前記空間画像において前記情報表示機器及び前記表示領域を認識し、前記情報表示機器及び前記表示領域の前記３次元モデルでの位置を決定するように構成される。

【0017】

任意に、前記表示領域認識モジュールは、前記情報表示機器の３次元空間情報が標識された３次元モデルサンプルに基づいて訓練サンプルを生成し、前記情報表示機器の３次元空間情報に表示領域が標識されており、深層学習方法によって前記訓練サンプルに基づいて予め設定された深層学習モデルを訓練し、前記画像認識モデルを得るように構成される。

【0018】

任意に、前記表示位置決定モジュールは、前記３次元モデルに対応する３次元点群情報を取得し、前記３次元点群情報及び前記表示領域の前記３次元モデルでの位置に基づいて、前記表示位置情報を決定するように構成され、前記表示位置情報は、前記３次元モデルでの空間座標を含む。

【0019】

任意に、前記表示情報再生モジュールは、現在の仮想ユーザの視野情報を取得し、前記視野情報は、前記仮想ユーザの現在の位置情報及び前記仮想ユーザの視角範囲情報を含み、前記情報表示機器が前記仮想ユーザの視野範囲内にあるか否かを判断し、前記情報表示機器が前記仮想ユーザの視野範囲内にあると、前記情報再生層に前記表示情報をロードして自動再生を行う、又はユーザによる再生命令に応答して再生を行うように構成される。

【0020】

任意に、前記表示情報再生モジュールは、さらに、前記情報表示機器の端点の前記３次元モデルでの空間座標を取得し、前記仮想ユーザの視野内にある前記端点の空間座標の数が予め設定された閾値を上回ると、前記情報表示機器が前記仮想ユーザの視野範囲内にあると決定するように構成される。

【0021】

任意に、表示情報インタラクションモジュールは、ユーザによる再生制御命令に応答して、前記情報再生層において再生された前記表示情報に対して、対応するインタラクション操作を行うように構成される。

【0022】

任意に、前記表示情報インタラクションモジュールは、前記情報再生層にインタラクションボタンを設け、ユーザが前記インタラクションボタンを通じて送信した再生制御命令に応答して、前記表示情報に対して、対応するインタラクション操作を行うように構成され、前記インタラクション操作は、一時停止、再生、切り替え、及び再生速度変換のうちの１つ又は複数を含む。

【0023】

任意に、前記表示情報再生モジュールは、前記３次元モデルにおいて複数の前記表示領域が認識されると、各前記表示領域内の情報再生層において再生された前記表示情報が全て異なるように制御を行うために使用される。

【0024】

任意に、前記表示情報再生モジュールは、ユーザが予め設定された時間区間内で複数の３次元モデルをブラウズすると、前記複数の３次元モデルに対応する、表示情報の再生を必要とするターゲット表示領域を決定し、各前記ターゲット表示領域内の情報再生層において再生された前記表示情報が全て異なるように制御を行うように構成される。

【0025】

任意に、前記表示位置情報は前記表示領域の端点の前記３次元モデルでの空間座標を含み、前記装置は、表示情報制御モジュールをさらに含み、前記表示情報制御モジュールは、前記端点の空間座標に基づいて決定された表示領域を複数のサブ表示領域に分割し、前記表示領域において再生するための表示情報を、表示位置で複数のサブ表示領域に１対１で対応する複数のサブ表示情報に分割し、各サブ表示領域において対応するサブ表示情報を表示するように制御を行うように構成される。

【0026】

本開示の実施例のさらに別の態様によれば、上記の情報再生方法を実行するためのコンピュータプログラムが記憶されているコンピュータ読み取り可能な記憶媒体を提供する。

【0027】

本開示の実施例のさらなる態様によれば、プロセッサと、プロセッサ実行可能命令を記憶するメモリとを含み、プロセッサは、メモリから実行可能命令を読み取り、命令を実行して上記の情報再生方法を実現するように構成される電子機器を提供する。

【0028】

本開示の実施例のさらなる態様によれば、実行されると上記の情報再生方法を機器に実行させる実行可能命令を含む読み取り可能な媒体を含むコンピュータプログラム製品を提供する。

【発明の効果】

【0029】

本開示の上記の実施例で提供される情報再生方法、装置、コンピュータ読み取り可能な記憶媒体及び電子機器では、３次元モデルにおける空間画像を認識処理して、空間画像中の情報表示機器及び表示領域を取得し、表示領域に対応する表示位置情報を決定し、表示領域内に情報再生層を重畳させて表示情報を再生し、情報再生層において再生された表示情報に対して、対応するインタラクション操作を行うものであり、３次元モデルにおける情報表示機器に情報再生層を重畳させることによって、３次元モデルにおけるさらなる情報インタラクションを実現し、ユーザが３次元モデルにおいてよりリアルなシーンを経験することを可能とし、ユーザエクスペリエンスを向上させる。

【0030】

以下、図面及び実施例によって、本開示の技術的解決手段をさらに詳細に説明する。

【図面の簡単な説明】

【0031】

本開示の上記の及び他の目的、特徴及びメリットは、図面を参照しながら本開示の実施例をより詳細に説明することによって、より明らかになる。図面は本開示の実施例をさらに理解するために提供され、明細書の一部となり、本開示の実施例とともに本開示を解釈するものであり、本開示を限定するものではない。図面においては、同一の符号は通常、同一の部材又はステップを表す。

【図1】本開示が適用され得るシステム図である。

【図2】本開示の情報再生方法の一実施例のフローチャートである。

【図3】本開示の情報再生方法の一実施例における表示位置の決定のフローチャートである。

【図4】本開示の情報再生方法の一実施例における、情報表示機器が視野範囲にあるか否かの判断のフローチャートである。

【図5A】本開示の情報再生装置の一実施例の構造模式図である。

【図5B】本開示の情報再生装置の別の実施例の構造模式図である。

【図6】本開示の電子機器の一実施例の構造図である。

【発明を実施するための形態】

【0032】

以下、図面を参照しながら、本開示に係る例示的な実施例について詳細に説明する。明らかに、説明される実施例は、本開示のすべての実施例ではなく、本開示の一部の実施例にすぎず、本開示は本明細書で説明される例示的な実施例に限定されないことが理解されるべきである。

【0033】

なお、これらの実施例で説明される部材及びステップの相対的な配置、数値式、及び数値は、特に具体的に示されない限り、本開示の範囲を制限しない。

【0034】

当業者であれば、本開示の実施例における「第１」、「第２」などの用語は、異なるステップ、機器、又はモジュールなどを区別するためにのみ使用され、特定の技術的意味を表すものでも、それらの間の必然的な論理的順序を表すものでもないことが理解される。

【0035】

また、本開示の実施例では、「複数」は２つまたは２つ以上を意味し、「１つ以上」は１つ、２つまたは２つ以上を意味できることが理解されるべきである。

【0036】

また、本開示の実施例において言及されている任意の部材、データ、又は構造は、明示的に限定される、又は後述する逆の示唆を与えることがない限り、一般に１つ又は複数として理解できることが理解されるべきである。

【0037】

また、本開示における用語「及び／又は」は、関連オブジェクトを記述する関連関係にすぎず、３つの関係が存在し得ることを意味し、例えば、Ａ及び／又はＢは、Ａが単独で存在し、Ａ及びＢが同時に存在し、Ｂが単独で存在するという３つの状況を表すことができる。また、本開示における符号「／」は、一般的に前後の関連オブジェクトが「又は」の関係であることを意味する。

【0038】

また、本開示の様々な実施例の説明は、様々な実施例間の相違点に重点を置いており、それらの同一又は類似点は相互に参照してもよく、簡潔さのために、それらをいちいち言及しないことが理解されるべきである。

【0039】

当時に、図面に示された各部分の寸法は、説明を容易にするために、実際の比例関係では描かれていないことが理解されるべきである。

【0040】

例示的な実施例の以下の説明は、実際には単に例示的なものであり、本開示及びその適用又は使用のいかなる制限としても決して用いられない。

【0041】

当業者に知られている技術、方法及び機器については、詳細な検討は行われないかもしれないが、適切な場合には、前記技術、方法及び機器は、明細書の一部とみなされるべきである。

【0042】

なお、以下の図面では、類似の符号及び文字が類似の項目を示している。したがって、ある項目が１つの図面で定義されれば、それ以降の図面ではそれについてさらに検討する必要はない。

【0043】

本開示の実施例は、コンピュータシステム、サーバなどの電子機器に適用することができ、これらの電子機器は、多数の他の汎用又は専用のコンピュータシステム環境又は配置とともに動作することができる。端末機器、コンピュータシステム、サーバなどの電子機器と共に使用するのに適した公知のコンピューティングシステム、環境、及び／又は配置の例には、パーソナルコンピュータシステム、サーバコンピュータシステム、シンクライアント、シッククライアント、ハンドヘルド又はラップトップデバイス、マイクロプロセッサベースシステム、セットトップボックス、プログラマブル家電製品、ネットワークパソコン、小型コンピュータシステム、大型コンピュータシステム、及びこれらのいずれかのシステムを含む分散型クラウドコンピューティング技術環境などが含まれるが、これらに限定されない。

【0044】

コンピュータシステム、サーバなどの電子機器は、コンピュータシステムによって実行されるコンピュータシステム実行可能命令（例えばプログラムモジュール）の一般的な文脈で記述することができる。通常、プログラムモジュールは、特定のタスクを実行する又は特定の抽象データ型を実装するルーチン、プログラム、ターゲットプログラム、コンポーネント、論理、データ構造などを含んでもよい。コンピュータシステム／サーバは、通信ネットワークを介してリンクされた遠隔処理機器によってタスクが実行される分散型クラウドコンピューティング環境に実装されてもよい。分散型クラウドコンピューティング環境において、プログラムモジュールは、記憶機器を含むローカル又はリモートのコンピューティングシステム記憶媒体に配置されてもよい。

【0045】

現在、インターネット技術は人々の生活に多くの利便性をもたらしている。３次元再構成技術を利用すれば、人々は外出することなく、買い物、旅行、見学、住宅見学などのことを体験できる。また、再構成された３次元モデルでは、実際のシーンとほぼ同様のユーザエクスペリエンスをユーザに提供することができる。しかし、ますます多くの３次元再構成シーンが使用されるに伴い、３次元シーンにおけるインタラクションへの要件はますます高くなる。現在、ユーザがブラウズする時のインタラクションが不足して、３次元シーンに基づくより多種多様なインタラクションをユーザに提供することができず、ユーザエクスペリエンスは悪い。

【0046】

本開示で提供される情報再生方法は、３次元モデルにおける空間画像を認識処理して、空間画像中の情報表示機器及び表示領域を取得し、表示領域に対応する表示位置情報を決定し、表示領域内に情報再生層を重畳させて表示情報を再生し、情報再生層において再生された表示情報に対して、対応するインタラクション操作を行うものであり、３次元モデルにおける情報表示機器に情報再生層を重畳させることによって、３次元モデルにおけるさらなる情報インタラクションを実現し、ユーザが３次元モデルにおいてよりリアルなシーンを経験することを可能とし、ユーザエクスペリエンスを向上させる

【0047】

［例示的なシステム］
図１は本開示の実施例の情報再生方法又は情報再生装置が適用され得る例示的なシステムアーキテクチャ１００を示す。

【0048】

図１に示すように、システムアーキテクチャ１００は、端末機器１０１、ネットワーク１０２、及びサーバ１０３を含んでもよい。ネットワーク１０２は、端末機器１０１とサーバ１０３との間に通信リンクを提供する媒体として使用される。ネットワーク１０２は、有線、無線通信リンク又は光ファイバケーブルなどの様々な接続タイプを含んでもよい。

【0049】

ユーザは、端末機器１０１を用いて、ネットワーク１０２を介してサーバ１０３とインタラクションし、メッセージなどを受送信することができる。端末機器１０１には、ショッピング用アプリケーション、検索用アプリケーション、ウェブブラウザアプリケーション、インスタントメッセンジャーなどの各種コミュニケーションクライアントアプリケーションをインストールすることができる。

【0050】

端末機器１０１は、様々な電子機器であってもよく、携帯電話、ノートパソコン、デジタル放送受信機、ＰＤＡ（パーソナルデジタルアシスタント）、ＰＡＤ（タブレットコンピュータ）、ＰＭＰ（ポータブルマルチメディアプレーヤー）、車載端末（例えば、カーナビゲーション端末）などの携帯端末、及びデジタルＴＶ、デスクトップコンピュータなどの固定端末を含むが、これに限定されない。

【0051】

サーバ１０３は、例えば、端末機器１０１がアップロードした画像を処理するバックグラウンド画像処理サーバなど、様々なサービスを提供するサーバであってもよい。バックグラウンド画像処理サーバは、受信した画像を処理し、処理結果（例えば、物体の提案情報）を得て端末機器にフィードバックすることができる。

【0052】

なお、本開示の実施例で提供される情報再生方法は、サーバ１０３によって実行されてもよいし、端末機器１０１によって実行されてもよいので、相応的に、情報再生装置は、サーバ１０３に配置されてもよいし、端末機器１０１に配置されてもよい。例えば、図１の端末機器１０１の数は複数であってもよく、これらのうち、１台の端末機器は他の端末機器から空間画像を取得して情報再生方法を実行する。

【0053】

図１の端末機器、ネットワーク、及びサーバの数は概略にすぎないことが理解されるべきである。実装ニーズに応じて、端末機器、ネットワーク、及びサーバを任意の数有してもよい。

【0054】

［例示的な方法］
図２は本開示の情報再生方法の一実施例のフローチャートである。本実施例は電子機器（例えば図１に示すサーバ又は端末機器）に適用されてもよく、図２に示すように、下記のステップを含む。

【0055】

ステップ２０１、３次元モデルにおける空間画像を認識処理して、空間画像中の情報表示機器及び情報表示機器の表示領域を取得する。

【0056】

一実施例では、３次元モデルは部屋の３次元モデルなどであってもよく、電子機器はターゲットユーザ端末（例えば図１に示す端末機器）に表示された３次元モデルにおける空間画像を認識処理してもよい。ここで、ターゲットユーザ端末はターゲットユーザが使用する端末であり、ターゲットユーザは３次元空間をブラウズするユーザである。空間画像は部屋などの３次元空間について予め撮影された画像であり、一般的な２次元画像であってもよいし、パノラマ画像であってもよい。空間画像は様々な物体の画像を含んでもよい。例えば、空間画像がルームの内部を撮影した画像である場合、空間画像には、さまざまな家具の画像、例えば、ソファー、コーヒーテーブル、テレビ、ダイニングテーブルなどの画像が含まれていてもよい。

【0057】

さまざまな家具を有する空間画像の場合、電子機器はさまざまな方法を利用して空間画像中の物体情報を決定し得る。例えば、電子機器は従来のターゲット検出方法（例えばニューラルネットワークに基づくターゲット検出方法）を利用して、空間画像を認識し、空間画像中の情報表示機器及び表示領域を取得してもよい。情報表示機器は予め設定された表示操作が可能な機器、例えばテレビ、ディスプレイ、プロジェクタカーテンなどであってもよく、表示領域はテレビ、ディスプレイ、カーテンなどの表示領域、例えばテレビのスクリーン領域などであってもよい。さらに、情報表示機器には、平坦な表面を有する特定の領域、例えば壁のいくつかの特定の領域、例えば壁において特定された領域；鏡又はガラスの表面の全部、又は一部の特定の領域が含まれてもよい。情報表示機器は、実物理世界において表示界面として利用される任意の物体の３次元モデル表面を含んでもよい。

【0058】

ステップ２０２、表示領域に対応する表示位置情報を決定する。

【0059】

一実施例では、表示領域に対応する表示位置情報は、当該表示領域の４つの端点（頂点）の３次元モデルでの空間座標などを含んでもよい。

【0060】

ステップ２０３、情報再生層において表示情報を再生するために、表示位置情報に基づいて表示領域内に情報再生層を重畳させる。

【0061】

一実施例では、表示領域内に情報再生層を重畳させ、この情報再生層は表示情報を再生するためのものである。表示情報は、所定の解像度を有する静止画、ストリーミングメディ情報又はヒューマンコンピュータインタラクションインタフェースのうちの１つ又は複数を含んでもよく、本開示では、これについて限定しない。例えば、テレビの表示領域の表示位置情報からビデオを貼り付けるべき位置を判断し、次に、３次元モデルにおけるテレビの表示領域にビデオを貼り付けることによって、３次元モデルにおける仮想テレビにビデオ再生機能を持たせ、本格的なテレビとする。

【0062】

一実施例では、ユーザによる再生制御命令に応答して、情報再生層において再生された表示情報に対して、対応するインタラクション操作を行う。ユーザによる再生制御命令は一時停止、再生、切り替え、及び再生速度変換などであってもよく、ユーザによる再生制御命令に応答して、情報再生層において再生された表示情報に対して、対応する一時停止、再生、切り替え、及び再生速度変換などのインタラクション操作が行われる。例えば、３次元空間におけるテレビにビデオを再生させるとともに、インタラクション操作を追加し、これによって、ユーザはテレビで再生されたビデオとインタラクティブにやり取り、より臨場感を感じることができる。

【0063】

情報再生層にインタラクションボタンを設け、ユーザがインタラクションボタンを介して送信した再生制御命令に応答して、表示情報に対して、対応するインタラクション操作を行ってもよく、このインタラクション操作は、一時停止、再生、切り替え、及び再生速度変換のうちの１つ又は複数を含む。

【0064】

いくつかの選択的な実現形態では、図３は本開示の情報再生方法の一実施例における表示位置の決定のフローチャートであり、図３に示すように、下記のステップを含む。

【0065】

ステップ２０１１、３次元モデルを画像認識モデルに入力し、画像認識モデルを利用して空間画像で情報表示機器及び表示領域を認識し、情報表示機器及び表示領域の３次元モデルでの位置を決定する。

【0066】

一実施例では、画像認識モデルは深層学習モデルであってもよく、深層学習モデルは複数種類あり、例えば深層学習モデルは、ＣＮＮ、ＤＢＮ、ＲＮＮ、ＲＮＴＮ、オートエンコーダ、ＧＡＮなどを含む。予め設定された深層学習モデルは３層ニューロンモデルを含み、３層ニューロンモデルは、入力層ニューロンモデル、中間層ニューロンモデル、及び出力層ニューロンモデルを含み、各層のニューロンモデルの出力は次の層のニューロンモデルの入力となる。３層ニューロンモデルは完全接続構造の複数のニューラルネットワーク層を有するサブネットワーク構造であってもよく、中間層ニューロンモデルは完全接続層である。

【0067】

情報表示機器が標識された３次元空間情報（深度情報を含む）の３次元モデルサンプルに基づいて訓練サンプルを生成し、情報表示機器の３次元空間情報に表示領域を標識し、３次元空間情報を、深層学習方法によって訓練サンプルに基づいて予め設定された深層学習モデルを訓練し、画像認識モデルを得る。例えば、テレビ、ディスプレイなどの情報表示機器が標識された３次元空間情報の３次元モデルサンプルを取得し、情報表示機器の３次元空間情報に表示領域を標識し、３次元モデルサンプルに基づいて訓練サンプルを生成し、訓練サンプルに基づいて画像認識モデルを十分に訓練した後に、このモデルは、いずれの３次元モデルについても情報表示機器及び表示領域を認識し、情報表示機器及び表示領域の３次元モデルでの位置を決定することができる。

【0068】

一実施例では、情報表示機器画像の位置が標識されたパノラマ図サンプルに基づいて訓練サンプルを生成し、情報表示機器画像に表示領域を標識し、深層学習方法によって訓練サンプルに基づいて予め設定された深層学習モデルを訓練し、画像認識モデルを得るようにしてもよい。例えば、テレビ、ディスプレイなどの画像の位置が標識されたパノラマ図サンプルを取得し、情報表示機器の画像に表示領域を標識し、パノラマ図サンプルに基づいて訓練サンプルを生成し、訓練サンプルに基づいて画像認識モデルを十分に訓練した後に、このモデルは、いずれのパノラマ図に対しても情報表示機器及び表示領域を認識し、情報表示機器及び表示領域のパノラマ図における位置を決定することができる。

【0069】

一実施例では、画像認識モデルを訓練するための実行主体は、機械学習方法を利用して、予め設定された訓練サンプル集合中の訓練サンプルに含まれるサンプル空間画像を入力とし、入力したサンプル空間画像に対応する注釈物体の特性情報（物体特性情報は物体の外観の特性、例えば物体のカテゴリー、スタイルなどの特性を表す）を期待出力として、初期モデル（例えばさまざまな構造の畳み込みニューラルネットワーク）を訓練してもよく、入力したサンプル空間画像を訓練するたびに、実際出力が得られる。ここで、実際出力は初期モデルの実際出力のデータであり、物体特性情報を表すものである。次に、上記の実行主体は、勾配降下法及び逆伝播法を用いて、実際出力及び期待出力に基づいて、初期モデルのパラメータを調整し、パラメータを調整するたびに得られたモデルを次回の訓練の初期モデルとし、予め設定された訓練終了条件を満たしている場合、訓練を終了し、このように、訓練によって画像認識モデルが得られる。なお、ここで予め設定された訓練終了条件は、訓練時間が予め設定された持続時間を上回ること、訓練回数が予め設定された回数を上回ること、予め設定された損失関数（例えばクロスエントロピー損失関数）によって算出された損失値が予め設定された損失値閾値を下回ることのうちの少なくとも１つを含むが、これらに限定されるものではない。

【0070】

ステップ２０１２、３次元モデルに対応する３次元点群情報を取得する。

【0071】

一実施例では、リモート又はローカルに３次元点群情報を取得してもよい。３次元点群情報は、３次元モデルにおける画素点に対応する３次元座標値を含んでもよい。例えば、３次元モデルを作成する際に、深度カメラを用いて部屋などの３次元空間について画像を撮影し、空間画像を得、空間画像を深度画像として、空間画像に対応する深度情報を得る。深度情報は空間画像における物体画像とカメラの結像面との間の距離を表すものである。深度画像における画素点はそれぞれ１つの深度値に対応し、深度値は画素点に示される位置とカメラの結像面との間の距離を表すものである。電子機器は、深度情報により示される距離に応じて、３次元点群情報を決定してもよい。

【0072】

ステップ２０１３、３次元点群情報及び表示領域の３次元モデルでの位置に基づいて、表示位置情報を決定し、表示位置情報は、３次元モデルでの空間座標を含む。

【0073】

一実施例では、空間画像における物体画像はそれぞれ、１つの３次元点群集合に対応し、この３次元点群集合中の３次元点群はそれぞれ物体上の１つの点を表すものである。３次元点群情報及び表示領域の３次元モデルでの位置から、情報表示機器の表示領域の各頂点の、３次元モデルでの空間座標を決定してもい。例えば、画像認識モデルによってテレビ及びテレビの表示画面を認識し、表示画面の位置情報を決定し、３次元点群情報及び表示画面の３次元モデルでの位置から、この表示画面の４つの頂点の３次元モデルでの空間座標を決定し、４つの空間座標によってテレビの表示画面の３次元モデルにおける具体的な位置を決定する。図４は、本開示の情報再生方法の一実施例における、情報表示機器が視野範囲にあるか否かの判断のフローチャートであり、図４に示すように、下記のステップを含む。

【0074】

ステップ２０３１、現在の仮想ユーザの視野情報を取得し、視野情報は、仮想ユーザの現在の位置情報及び仮想ユーザの視角範囲情報を含む。

【0075】

一実施例では、電子機器は、仮想ユーザの位置及び仮想ユーザの視野範囲から、仮想ユーザの視野情報を決定してもよい。３次元モデルにおけるユーザのブラウズにわたって、仮想ユーザが３次元モデルにおいてユーザの実際の位置をシミュレーションし、人眼の視角範囲が一般に６０°～１２０°の間にある固定されている角度であり、位置によってユーザが見えられる３次元モデルが異なるので、仮想ユーザの視野情報を決定するには、仮想ユーザの位置及び視角範囲が必要とされる。

【0076】

ステップ２０３２、情報表示機器が仮想ユーザの視野範囲内にあるか否かを判断する。

【0077】

本実施例では、電子機器は物体の座標情報を得ることができ、ステップ２０３１において仮想ユーザの視野情報を取得し、仮想ユーザの視野情報と３次元モデルとを交差処理すると、仮想ユーザの視野範囲内にある物体の情報を得る。

【0078】

一実施例では、電子機器は、情報表示機器の端点の３次元モデルでの空間座標を取得し、仮想ユーザの視野内にある端点の空間座標の数が予め設定された閾値を上回ると、情報表示機器が仮想ユーザの視野範囲内にあると決定する。例えば、情報表示機器の端点のうち２つが仮想ユーザの視野範囲内にあると、この情報表示機器が仮想ユーザの視野範囲にあると決定するように設定してもよい。即ち、閾値は２に設置され、もちろん、実際の状況に応じて、３、４などの自然数に設定してもよい。

【0079】

仮想ユーザの視野内にある端点の空間座標の数が予め設定された閾値以下であると、情報表示機器が仮想ユーザの視野範囲内にいないと決定することが理解される。このような場合、一時的に表示情報を再生しないように設定してもよく、例えば、一旦情報表示機器が仮想ユーザの視野範囲内にいないと決定したら、表示情報の再生を一時的に停止し、仮想ユーザの視野範囲で表示領域が見えられるときに再生を再開する。このような場合、まだ表示情報を再生するように設定してもく、ただし、仮想ユーザは視野範囲が制限されるので見られない。

【0080】

情報再生層において表示情報を再生するには、複数種の方法が使用されてもよい。例えば、現在の仮想ユーザの視野情報を取得し、情報表示機器が仮想ユーザの視野範囲内にあるか否かを判断し、情報表示機器が仮想ユーザの視野範囲内にあると、情報再生層に表示情報をロードして自動再生を行う、又はユーザによる再生命令に応答して再生を行う。再生表示情報は、自動再生、手動トリガーの２つの再生形態を利用してもよい。自動再生の場合、例えば、ユーザが３次元モデルにおいてブラウズを行う際に、３次元モデルにおけるテレビがユーザの視認範囲内にある場合、テレビのビデオが自動再生され、又は、テレビがユーザの視認範囲内にあり、かつユーザが３次元モデルにてテレビをクリックする場合、テレビの再生がトリガーされる。

【0081】

情報再生層上に再生ボタンをレンダリングし、再生ボタンがトリガーされたことに応答して、対応する再生操作を行う。実際の再生器を模倣するために、情報再生層上にさらにインタラクションボタンをレンダリングしてもよく、ユーザはこの再生ボタンをクリックするなどの操作を行ってもよく、これによって、実空間でのユーザインタラクションが達成される。例えば、一時停止、再生、切り替え、又は再生速度変換などのインタラクションボタンをレンダリングにより形成してもよく、ユーザがピクチャ、ストリーミングメディ又はヒューマンコンピュータインタラクションインタフェースを再生する場合、ユーザとインタラクション操作を行ってビデオを一時的に停止することができる。自動一時停止、手動一時停止があり。自動一時停止では、具体的なポリシーによりビデオ再生時間がカスタマイズ可能である。所定の時間達すると、ビデオは自動的に一時停止する。手動一時停止では、ユーザは手動クリックを通じてテレビの再生を一時停止する。ユーザが手動でテレビをクリックしないと、ビデオはループされる。

【0082】

一実施例では、３次元モデルにおいて複数の表示領域が認識されると、各表示領域内の情報再生層において再生された表示情報が異なるように制御を行う。表示領域内の情報再生層において再生されたこれらの表示情報は全て同じであってもよいし、全て異なってもよいし、部分的に同じであってもよい。

【0083】

３次元モデルにおいて複数の表示領域が認識されている場合、以下のケースが考えられる。（１）３次元モデルには１つの表示機器が含まれており、この表示機器は複数の表示領域を含む（例えば、この表示機器は多画面表示機器である）。（２）３次元モデルには複数の表示機器が含まれており（例えば、３次元モデルには、テレビ、コンピュータモニタ、ホームシアターのような複数の表示機器が含まれている）、各表示機器は１つ又は複数の表示領域を含む。例えば、同一の３次元モデルにおいて複数のテレビがあり、各テレビは異なるビデオを再生するように制御される。

【0084】

ユーザが予め設定された時間区間内で複数の３次元モデルをブラウズすると、複数の３次元モデルに対応する、表示情報の再生を必要とするターゲット表示領域を決定し、各ターゲット表示領域内の情報再生層において再生された表示情報が全て異なるように制御を行う。例えば、ユーザが３０分間内で複数の３次元モデル（部屋の３次元モデル）をブラウズすると、ユーザがブラウズしたそれぞれの３次元モデルにおけるテレビによって再生されたビデオが全て異なる。

【0085】

一実施例では、表示位置情報は、表示領域の端点（例えば、４つの端点）の３次元モデルでの空間座標を含む。端点（４つの端点）に基づいて、表示情報を再生するための表示平面（即ち、表示領域）を決定することができるが、決定された表示平面は傾斜したものである可能性があり、これはユーザの視聴体験が損なわれる。ユーザが見られた表示情報（例えば、１枚の画像）の傾斜度を低下させるために、以下の方法が利用可能である。

【0086】

まず、端点の空間座標に基づいて決定された表示領域を複数のサブ表示領域に分割する。例えば、４つの端点に基づいて矩形の表示領域を決定し、この矩形表示領域を複数のサブ表示領域に分割し、これらのサブ表示領域は複数の長尺状サブ領域又は複数の三角形サブ領域又は複数のブロック状サブ領域として実装されてもよい。これらのサブ領域のサイズは同じであってもよく、完全に同じではなくてもよく、例えば、具体的な表示のニーズに応じて、数の少ない疎なサブ領域と数の多い密なサブ領域が含まれている。

【0087】

次に、表示領域において再生される表示情報を、表示位置で複数のサブ表示領域に１対１で対応する複数のサブ表示情報に分割する。例えば、以上のステップでは、表示領域は長尺状の複数のサブ領域に分割されると、表示対象の画像は長尺状の複数のサブ領域とは位置が１対１で対応する長尺状の複数のサブ画像に分割される。

【0088】

次に、各サブ表示領域において対応するサブ表示情報を表示するように制御を行う。例えば、最左のサブ表示領域には最左のサブ画像、中間のサブ表示領域には中間のサブ画像、最右のサブ表示領域には最右のサブ画像を表示する。

【0089】

このようにして、決定された表示領域（表示平面）が傾斜する可能性がある場合、領域を分割して表示することによって、仮想ユーザが見えられた表示情報の傾斜度を大幅に低下させ、ユーザの視聴体験を向上させ、ユーザエクスペリエンスを向上させる。

【0090】

［例示的な装置］
一実施例では、図５Ａに示すように、本開示は、表示領域認識モジュール５０１、表示位置決定モジュール５０２、表示情報再生モジュール５０３、及び表示情報インタラクションモジュール５０４を含む情報再生装置を提供する。

【0091】

表示領域認識モジュール５０１は、３次元モデルにおける空間画像を認識処理して、空間画像中の情報表示機器及び表示領域を取得する。表示位置決定モジュール５０２は、表示領域に対応する表示位置情報を決定する。表示情報再生モジュール５０３は、情報再生層において表示情報を再生するために、表示位置情報に基づいて表示領域内に情報再生層を重畳させる。

【0092】

図５Ｂに示すように、情報再生装置は、さらに、ユーザによる再生制御命令に応答して、情報再生層において再生された表示情報に対して、対応するインタラクション操作を行う表示情報インタラクションモジュール５０４をさらに含む。

【0093】

一実施例では、表示領域認識モジュール５０１は、３次元モデルを画像認識モデルに入力し、画像認識モデルを利用して空間画像中の情報表示機器及び表示領域を認識し、情報表示機器及び表示領域の３次元モデルでの位置を決定する。表示領域認識モジュール５０１は、情報表示機器が標識されている３次元モデルサンプルに基づいて訓練サンプルを生成し、情報表示機器には表示領域が標識されている。表示領域認識モジュール５０１は、深層学習方法によって訓練サンプルに基づいて予め設定された深層学習モデルを訓練し、画像認識モデルを得る。

【0094】

表示位置決定モジュール５０２は、３次元モデルに対応する３次元点群情報を取得し、３次元点群情報及び表示領域の３次元モデルでの位置に基づいて、表示位置情報を決定し、表示位置情報は、３次元モデルでの空間座標を含む。

【0095】

表示情報再生モジュール５０３は、現在の仮想ユーザの視野情報を取得し、視野情報は、仮想ユーザの現在の位置情報及び仮想ユーザの視角範囲情報を含む。表示情報再生モジュール５０３は、情報表示機器が仮想ユーザの視野範囲内にあるか否かを判断し、情報表示機器が仮想ユーザの視野範囲内にあると、情報再生層に表示情報をロードして自動再生を行う、又はユーザによる再生命令に応答して再生を行う。

【0096】

表示情報再生モジュール５０３は、情報表示機器の端点の３次元モデルでの空間座標を取得し、仮想ユーザの視野内にある端点の空間座標の数が予め設定された閾値を上回ると、情報表示機器が仮想ユーザの視野範囲内にあると決定する。

【0097】

一実施例では、表示情報インタラクションモジュール５０４は、情報再生層にインタラクションボタンを設け、ユーザがインタラクションボタンを介して送信した再生制御命令に応答して、表示情報に対して対応するインタラクション操作を行い、インタラクション操作は、一時停止、再生、切り替え、及び再生速度変換のうちの１つ又は複数を含む。

【0098】

３次元モデルにおいて複数の表示領域が認識されると、表示情報再生モジュール５０３は、各表示領域内の情報再生層において再生された表示情報が異なるように制御を行う。ユーザが予め設定された時間区間内で複数の３次元モデルをブラウズすると、表示情報再生モジュール５０３は、複数の３次元モデルに対応する、表示情報の再生を必要とするターゲット表示領域を決定し、各ターゲット表示領域内の情報再生層において再生された表示情報が異なるように制御を行う。

【0099】

情報再生装置は、表示制御ポリシーを有する表示情報制御モジュールをさらに含んでもよい。いくつかの場合、端点（例えば、４つの端点）に基づいて表示情報を再生するための表示平面（即ち、表示領域）を決定することができるが、決定された表示平面は傾斜したものである可能性があり、これはユーザの視聴体験が損なわれる。表示情報制御モジュールに含まれる表示制御ポリシーは、ユーザが見えられた表示情報（例えば、１枚の画像）の傾斜度を低下させる。

【0100】

表示情報制御モジュールは、端点の空間座標に基づいて決定された表示領域を複数のサブ表示領域に分割し、表示領域において再生される表示情報を、表示位置で複数のサブ表示領域に１対１で対応する複数のサブ表示情報に分割し、各サブ表示領域において対応するサブ表示情報を表示するように制御を行うように構成される。このようにして、決定された表示領域（表示平面）が傾斜する可能性がある場合、表示情報制御モジュールは領域を分割して表示することによって、仮想ユーザが見えられた表示情報の傾斜度を大幅に低下させ、ユーザの視聴体験を向上させ、ユーザエクスペリエンスを向上させる。

【0101】

図６は本開示の電子機器の一実施例の構造図であり、図６に示すように、電子機器６１は、１つ又は複数のプロセッサ６１１と、メモリ６１２とを含む。

【0102】

プロセッサ６１１は、中央処理装置（ＣＰＵ）、又はデータ処理能力及び／又は命令実行能力を有する他の形態の処理装置であることができ、所望の機能を実行するように電子機器６１の他のコンポーネントを制御することができる。

【0103】

メモリ６１２は、揮発性メモリ及び／又は不揮発性メモリなどの様々な形態のコンピュータ読み取り可能な記憶媒体を含むことができる１つ又は複数のコンピュータプログラム製品を含んでもよい。揮発性メモリは、例えば、ランダムアクセスメモリ（ＲＡＭ）及び／又はキャッシュメモリ（ｃａｃｈｅ）などを含んでもよい。不揮発性メモリは、例えば、読み出し専用メモリ（ＲＯＭ）、ハードディスク、及びフラッシュメモリなどを含んでもよい。コンピュータ読み取り可能な記憶媒体には１つ又は複数のコンピュータプログラム命令が記憶されていてもよく、プロセッサ６１１は、上記した本開示の様々な実施例の情報再生方法及び／又は他の所望の機能を実現するためにプログラム命令を実行することができる。コンピュータ読み取り可能な記憶媒体には、入力信号、信号成分、ノイズ成分などの様々なコンテンツも記憶されてもよい。

【0104】

一例では、電子機器６１は、バスシステム及び／又は他の形態の接続機構（図示せず）を介して相互接続された入力装置６１３及び出力装置６１４などをさらに含んでもよい。さらに、該入力装置６１３は、例えば、キーボード、マウスなどを含んでもよい。該出力装置６１４は、各種情報を外部に出力することができる。該出力装置６１４は、例えば、ディスプレイ、スピーカ、プリンタ、及び通信ネットワークやそれに接続された遠隔出力装置などを含んでもよい。

【0105】

もちろん、簡略化のために、図６には、本開示に関連する電子機器６１のコンポーネントの一部のみが示されており、バス、入力／出力インターフェースなどのコンポーネントは省略されている。これに加えて、特定の用途に応じて、電子機器６１は、他の任意の適切なコンポーネントを含んでもよい。

【0106】

上記の方法及び機器に加えて、本開示の実施例は、上記の情報再生方法の様々な動作を機械に実行させるコンピュータプログラム命令（コード）を含む機械読み取り可能な媒体を含むコンピュータプログラム製品を提供する。例えば、コンピュータプログラム命令は、プロセッサによって実行されると、本明細書の上記の「例示的な方法」セクションに記載された、本開示の様々な実施例に係る情報再生方法のステップをプロセッサに実行させる。

【0107】

コンピュータプログラム製品は、１つ又は複数のプログラミング言語の任意の組み合わせで、本開示の実施例の動作を実行するためのプログラムコードを記述することができ、前記プログラミング言語は、Ｊａｖａ、Ｃ＋＋などのオブジェクト指向プログラミング言語や「Ｃ」言語などの従来の手続き型プログラミング言語を含む。プログラムコードは、完全にユーザ計算機器上で実行されてもよく、部分的にユーザ計算機器上で実行されてもよく、独立したソフトウェアパッケージとして実行されてもよく、一部がユーザ計算機器上で実行され、もう一部が遠隔計算機器上で実行されてもよく、完全に遠隔計算機器又はサーバ上で実行されてもよい。

【0108】

さらに、本開示の実施例は、プロセッサによって実行されると、本明細書の上記の「例示的な方法」セクションに記載された、本開示の様々な実施例に係る情報再生方法のステップをプロセッサに実行させるコンピュータプログラム命令が記憶されているコンピュータ読み取り可能な記憶媒体であってもよい。

【0109】

前記コンピュータ読み取り可能な記憶媒体は、１つ又は複数の読み取り可能な媒体の任意の組み合わせを採用してもよい。読み取り可能な媒体は、読み取り可能な信号媒体又は読み取り可能な記憶媒体であることができる。読み取り可能な記憶媒体は、例えば、電気的、磁気的、光的、電磁的、赤外線的、又は半導体的なシステム、装置又はデバイス、又は以上の任意の複数の組み合わせを含んでもよいが、これらに限定されない。読み取り可能な記憶媒体のより具体的な例（非網羅的な例）は、１つ又は複数のワイヤを有する電気的接続、携帯用ディスク、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、読み取り専用メモリ（ＲＯＭ）、消去可能プログラマブル読み取り専用メモリ（ＥＰＲＯＭ又はフラッシュメモリ）、光ファイバ、携帯用コンパクトディスク読み取り専用メモリ（ＣＤ－ＲＯＭ）、光学メモリデバイス、磁気メモリデバイス、又は上記の任意の適切な組み合わせを含んでもよい。

【0110】

以上、具体的な実施例を参照しながら本開示の基本原理を説明したが、本開示で言及された利点、メリット、効果などは、限定されるものではなく、例に過ぎず、これらの利点、メリット、及び効果などが本開示の様々な実施例に必須であるとは考えられない。また、上記開示の具体的な詳細は、例示的な役割及び理解しやすくする役割のために過ぎず、限定するものではなく、上記の詳細は、本開示が上記の具体的な詳細を使用して実施されなければならないことを限定するものではない。

【0111】

上記の実施例における情報再生方法、装置及び電子機器、記憶媒体では、３次元モデルにおいて情報表示機器及び表示領域を認識し、表示領域の位置情報に基づいて表示領域内に情報再生層を重畳させて表示情報を再生し、情報再生層において再生された表示情報に対して対応するインタラクティブ操作を行うものであり、３次元モデルにおける情報表示機器に情報再生層を重畳させることによって、３次元モデルにおける情報インタラクションを実現し、ユーザが３次元モデルにおいてよりリアルなシーンを経験することを可能とし、ユーザエクスペリエンスを向上させる。

【0112】

本明細書の様々な実施例は、漸進的に説明されており、各実施例は、他の実施例との相違点に焦点を当てて説明されており、様々な実施例間の同一又は類似の部分は、相互に参照することができる。システムの実施例については、方法の実施例と基本的に対応しているので、説明は比較的簡単であり、関連点については、方法の実施例の関連部分を参照すればよい。

【0113】

本開示に係るデバイス、装置、機器、システムのブロック図は、例示的な例としてのみ使用され、ブロック図に示されるように接続、配置、構成されることを要求、又は示唆することを意図していない。当業者が理解できるように、これらのデバイス、装置、機器、及びシステムは、任意の方法で接続、配置、構成されてもよい。「含む」、「含有」、「有する」などのような用語は、「含むが、限定されない」を意味するオープンな語であり、また、交換して使用されてもよい。ここで使用される用語「又は」及び「及び」は表現「及び／又は」を意味し、文脈がそうでないことを明示的に示していない限り、交換して使用されてもよい。ここで使用される用語「例えば」は、「例えば、限定されない」というフレーズを意味し、交換して使用されてもよい。

【0114】

本開示の方法及び装置は、多くの方法で実現され得る。例えば、本開示の方法及び装置は、ソフトウェア、ハードウェア、ファームウェア、又はソフトウェア、ハードウェア、ファームウェアの任意の組み合わせによって実装されてもよい。前記方法のステップの順序は単に説明のためのものであり、本開示の方法のステップは、他の方式で特に説明されない限り、上記の具体的に説明された順序に限定されない。さらに、いくつかの実施例では、本開示は、本開示に係る方法を実施するための機械読み取り可能な命令を含む、記録媒体に記録されたプログラムとして実施されてもよい。したがって、本開示は、本開示に係る方法を実行するためのプログラムが記憶されている記録媒体も含む。

【0115】

なお、本開示の装置、機器、及び方法では、各部材又は各ステップは分解及び／又は再結合されてもよい。これらの分解及び／又は再結合は、本開示の同等のものとみなされるべきである。

【0116】

開示された態様の上記の説明は、当業者であれば本開示を考案又は使用することを可能にするために提供される。これらの態様の様々な修正などは当業者にとって非常に明らかなことであり、本明細書で定義される一般的な原理は、本開示の範囲を逸脱することなく、他の態様に適用されてもよい。したがって、本開示は、本明細書に示された態様に限定されることを意図しておらず、本明細書に開示された原理及び新規な特徴に一致する最も広い範囲に従ったものである。

【0117】

以上の説明は、例示及び説明の目的のためになされた。さらに、この説明は、本開示の実施例を本開示の形態に限定することを意図していない。複数の例示的な態様及び実施例について検討したが、当業者は、それらのいくつかの変形、修正、変更、追加、及びサブ組み合わせを加えることができる。

【符号の説明】

【0118】

６１ 電子機器
１０１ 端末機器
１０２ ネットワーク
１０３ サーバ
５０１ 表示領域認識モジュール
５０２ 表示位置決定モジュール
５０３ 表示情報再生モジュール
５０４ 表示情報インタラクションモジュール
６１１ プロセッサ
６１２ メモリ
６１３ 入力装置
６１４ 出力装置

【図1】

【図2】

【図3】

【図4】

【図5A】

【図5B】

【図6】