特許 7160887 画像表示方法及び装置、電子機器、コンピュータ読み取り可能な記憶媒体

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-10-17

(45)【発行日】2022-10-25

(54)【発明の名称】画像表示方法及び装置、電子機器、コンピュータ読み取り可能な記憶媒体

(51)【国際特許分類】

   G06T 19/00 20110101AFI20221018BHJP

【ＦＩ】

G06T19/00 600

【請求項の数】 10

(21)【出願番号】P 2020205035

(22)【出願日】2020-12-10

(65)【公開番号】P2021190076

(43)【公開日】2021-12-13

【審査請求日】2020-12-10

(31)【優先権主張番号】202010478138.8

(32)【優先日】2020-05-29

(33)【優先権主張国・地域又は機関】CN

(73)【特許権者】

【識別番号】516180667

【氏名又は名称】北京小米移動軟件有限公司

【氏名又は名称原語表記】Ｂｅｉｊｉｎｇ Ｘｉａｏｍｉ Ｍｏｂｉｌｅ Ｓｏｆｔｗａｒｅ Ｃｏ．，Ｌｔｄ．

【住所又は居所原語表記】Ｎｏ．０１８， Ｆｌｏｏｒ ８， Ｂｕｉｌｄｉｎｇ ６， Ｙａｒｄ ３３， Ｍｉｄｄｌｅ Ｘｉｅｒｑｉ Ｒｏａｄ， Ｈａｉｄｉａｎ Ｄｉｓｔｒｉｃｔ， Ｂｅｉｊｉｎｇ １０００８５， Ｃｈｉｎａ

(74)【代理人】

【識別番号】110002734

【氏名又は名称】特許業務法人藤本パートナーズ

(72)【発明者】

【氏名】呉 慧霞

(72)【発明者】

【氏名】王 倩

【審査官】永野 志保

(56)【参考文献】

【文献】米国特許出願公開第２００９／０２４４２９６（ＵＳ，Ａ１）

【文献】米国特許出願公開第２００７／００６４８１３（ＵＳ，Ａ１）

【文献】特表２０１６－５２１８８１（ＪＰ，Ａ）

【文献】Angjoo Kanazawa, Michael J. Black, David W. Jacobs, Jitendra Malik，"End-to-endRecovery of Human Shape and Pose"，Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR)，米国，IEEE，2018年08月30日，pp.7122-7131，[検索日2022年6月9日], インターネット<URL:https://openaccess.thecvf.com/content_cvpr_2018/papers/Kanazawa_End-to-End_Recovery_of_CVPR_2018_paper.pdf>

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ １９／００

(57)【特許請求の範囲】

【請求項1】

画像表示方法であって、電子機器に適用され、前記電子機器は第１のカメラ及び第２のカメラを含み、前記方法は、
前記第１のカメラによって収集された第１のリアルタイム画像及び前記第２のカメラによって収集された第２のリアルタイム画像を取得するステップであって、前記第１のリアルタイム画像及び前記第２のリアルタイム画像が異なるステップと、
前記第１のリアルタイム画像内の対象物体を特定するステップと、
前記対象物体に対応するリアルタイム仮想画像を生成するステップであって、前記リアルタイム仮想画像は、三次元画像であり、かつ前記対象物体に従って動作を実行するステップと、
前記第２のリアルタイム画像に前記リアルタイム仮想画像を重畳表示するステップと、
前記対象物体が前記電子機器のユーザである場合、前記対象物体の肢体関節を特定でき、前記肢体関節にアンカーを追加し、前記アンカーの動作に基づいて前記対象物体の前記リアルタイム仮想画像を生成するステップと、を含む、
ことを特徴とする画像表示方法。

【請求項2】

前記第２のリアルタイム画像に前記リアルタイム仮想画像を重畳表示する前に、前記方法は、
各前記第１のリアルタイム画像を収集するタイムスタンプ及び各前記第２のリアルタイム画像を収集するタイムスタンプを記録するステップと、
前記対象物体が所属する第１のリアルタイム画像のタイムスタンプに基づき、前記リアルタイム仮想画像のタイムスタンプを設定するステップと、をさらに含み、
前記第２のリアルタイム画像に前記リアルタイム仮想画像を重畳表示する前記ステップは、
前記リアルタイム仮想画像と同じタイムスタンプを有する第２のリアルタイム画像において、前記リアルタイム仮想画像を重畳表示するステップを含む、
ことを特徴とする請求項１に記載の方法。

【請求項3】

前記方法は、
前記リアルタイム仮想画像が表示される前記第２のリアルタイム画像を記録するステップをさらに含む、
ことを特徴とする請求項１に記載の方法。

【請求項4】

前記第１のカメラはフロントカメラであり、前記第２のカメラはリアカメラであり、または、
前記第１のカメラはフロントカメラまたはリアカメラであり、前記第２のカメラは回転式カメラである、
ことを特徴とする請求項１に記載の方法。

【請求項5】

画像表示装置であって、電子機器に適用され、前記電子機器は第１のカメラ及び第２のカメラを含み、前記装置は、
前記第１のカメラによって収集された第１のリアルタイム画像及び前記第２のカメラによって収集された第２のリアルタイム画像を取得するように構成され、前記第１のリアルタイム画像及び前記第２のリアルタイム画像が異なる画像収集モジュールと、
前記第１のリアルタイム画像内の対象物体を特定するように構成される対象特定モジュールと、
前記対象物体に対応するリアルタイム仮想画像を生成するように構成される仮想生成モジュールであって、前記リアルタイム仮想画像は、三次元画像であり、かつ前記対象物体に従って動作を実行する仮想生成モジュールと、
前記第２のリアルタイム画像に前記リアルタイム仮想画像を重畳表示するように構成される画像表示モジュールと、を含み、
前記対象物体が前記電子機器のユーザである場合、前記対象物体の肢体関節を特定でき、前記肢体関節にアンカーを追加し、前記アンカーの動作に基づいて前記対象物体の前記リアルタイム仮想画像を生成するように構成される、
ことを特徴とする画像表示装置。

【請求項6】

前記装置は、
各前記第１のリアルタイム画像を収集するタイムスタンプ及び各前記第２のリアルタイム画像を収集するタイムスタンプを記録するように構成される時間記録モジュールと、
前記対象物体が所属する第１のリアルタイム画像のタイムスタンプに基づき、前記リアルタイム仮想画像のタイムスタンプを設定するように構成される時間設定モジュールと、をさらに含み、
前記画像表示モジュールは、前記リアルタイム仮想画像と同じタイムスタンプを有する第２のリアルタイム画像において、前記リアルタイム仮想画像を重畳表示するように構成される、
ことを特徴とする請求項５に記載の装置。

【請求項7】

前記装置は、
前記リアルタイム仮想画像が表示される前記第２のリアルタイム画像を記録するように構成されるビデオ記録モジュールをさらに含む、
ことを特徴とする請求項５に記載の装置。

【請求項8】

前記第１のカメラはフロントカメラであり、前記第２のカメラはリアカメラであり、または、
前記第１のカメラはフロントカメラまたはリアカメラであり、前記第２のカメラは回転式カメラである、
ことを特徴とする請求項５に記載の装置。

【請求項9】

請求項１～４のいずれか１項に記載の方法を実現するように構成されるプロセッサを含む、
ことを特徴とする電子機器。

【請求項10】

プロセッサによって実行される際に、請求項１～４のいずれか１項に記載の方法のステップを実行するコンピュータプログラムが記憶されている、
ことを特徴とするコンピュータ読み取り可能な記憶媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は表示技術分野に関し、特に画像表示方法、画像表示方法の装置、電子機器及びコンピュータ読み取り可能な記憶媒体に関する。

【背景技術】

【0002】

現在、ＡＲ（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ、拡張現実）技術は、仮想画像を実際のシーンの画像に表示することができる。携帯電話などの電子機器と連携して使用する場合に、電子機器のカメラにより実際のシーンの画像を撮影した後、予め電子機器に記憶された仮想画像を撮影された実際のシーンの画像に表示することができる。

【0003】

このような表示方式では、電子機器が仮想画像を予め記憶する必要があり、電子機器を利用するユーザが仮想画像を実際のシーンに表示することに不便をかける。

【発明の概要】

【発明が解決しようとする課題】

【0004】

本開示は画像表示方法、画像表示方法の装置、電子機器及びコンピュータ読み取り可能な記憶媒体を提供することによって、関連技術の欠陥を解決する。

【課題を解決するための手段】

【0005】

本開示の実施例の第１態様によれば、電子機器に適用される画像表示方法が提供され、前記電子機器は第１のカメラ及び第２のカメラを含み、前記方法は、
前記第１のカメラによって収集された第１のリアルタイム画像及び前記第２のカメラによって収集された第２のリアルタイム画像を取得するステップであって、前記第１のリアルタイム画像及び前記第２のリアルタイム画像が異なるステップと、
前記第１のリアルタイム画像内の対象物体を特定するステップと、
前記対象物体に対応するリアルタイム仮想画像を生成するステップと、
前記第２のリアルタイム画像に前記リアルタイム仮想画像を重畳表示するステップと、を含む。

【0006】

選択的に、前記第２のリアルタイム画像に前記リアルタイム仮想画像を重畳表示する前に、前記方法は、
各前記第１のリアルタイム画像を収集するタイムスタンプ及び各前記第２のリアルタイム画像を収集するタイムスタンプを記録するステップと、
前記対象物体が所属する第１のリアルタイム画像のタイムスタンプに基づき、前記リアルタイム仮想画像のタイムスタンプを設定するステップと、をさらに含み、
前記第２のリアルタイム画像に前記リアルタイム仮想画像を重畳表示する前記ステップは、
前記リアルタイム仮想画像と同じタイムスタンプを有する第２のリアルタイム画像において、前記リアルタイム仮想画像を重畳表示するステップを含む。

【0007】

選択的に、前記方法はさらに、
前記リアルタイム仮想画像が表示される前記第２のリアルタイム画像を記録するステップを含む。

【0008】

選択的に、前記リアルタイム仮想画像は三次元画像または二次元画像である。

【0009】

選択的に、前記第１のカメラはフロントカメラであり、前記第２のカメラはリアカメラであり、
または、前記第１のカメラはフロントカメラまたはリアカメラであり、前記第２のカメラは回転式カメラである。

【0010】

本開示の実施例の第１態様によれば、電子機器に適用される画像表示装置が提供され、前記電子機器は第１のカメラ及び第２のカメラを含み、前記装置は、
前記第１のカメラによって収集された第１のリアルタイム画像及び前記第２のカメラによって収集された第２のリアルタイム画像を取得するように構成され、前記第１のリアルタイム画像及び前記第２のリアルタイム画像が異なる画像収集モジュールと、
前記第１のリアルタイム画像内の対象物体を特定するように構成される対象特定モジュールと、
前記対象物体に対応するリアルタイム仮想画像を生成するように構成される仮想生成モジュールと、
前記第２のリアルタイム画像に前記リアルタイム仮想画像を重畳表示するように構成される画像表示モジュールと、を含む。

【0011】

選択的に、前記装置は、
各前記第１のリアルタイム画像を収集するタイムスタンプ及び各前記第２のリアルタイム画像を収集するタイムスタンプを記録するように構成される時間記録モジュールと、
前記対象物体が所属する第１のリアルタイム画像のタイムスタンプに基づき、前記リアルタイム仮想画像のタイムスタンプを設定するように構成される時間設定モジュールと、をさらに含み、
前記画像表示モジュールは、前記リアルタイム仮想画像と同じタイムスタンプを有する第２のリアルタイム画像において、前記リアルタイム仮想画像を重畳表示するように構成される。

【0012】

選択的に、前記装置は、
前記リアルタイム仮想画像が表示される前記第２のリアルタイム画像を記録するように構成されるビデオ記録モジュールをさらに含む。

【0013】

選択的に、前記リアルタイム仮想画像は三次元画像または二次元画像である。

【0014】

選択的に、前記第１のカメラはフロントカメラであり、前記第２のカメラはリアカメラであり、または、
前記第１のカメラはフロントカメラまたはリアカメラであり、前記第２のカメラは回転式カメラである。

【0015】

本開示の実施例の第３態様によれば、プロセッサを含む電子機器が提供され、前記プロセッサは、上記実施例に記載の方法を実現するように構成される。

【0016】

本開示の実施例の第４態様によれば、コンピュータ読み取り可能な記憶媒体が提供され、前記プログラムはプロセッサによって実行される際に上記実施例のいずれかに記載の方法のステップを実現する。

【発明の効果】

【0017】

本開示の実施例により提供される技術案は以下の有益な効果を含んでもよい。

【0018】

本開示の実施例によれば、第１のカメラ及び第２のカメラを介して画像を同時に収集し、第１のカメラにより収集された対象物体のリアルタイム仮想画像を第２のカメラにより収集された第２のリアルタイム画像に表示する。リアルタイム仮想画像が第１のリアルタイム画像内の対象物体に基づいてリアルタイムに生成されるものであることに対し、第２のリアルタイム画像が実際のシーンであってもよいため、リアルタイム仮想画像を第２のリアルタイム画像に表示するには、実際のシーンに表示する必要のある仮想画像を予め記憶する必要がなく、ユーザが必要に応じて、必要な対象物体をリアルタイムに撮影して、対応するリアルタイム仮想画像を生成することができ、実際のシーンに仮想画像を柔軟に表示することに便利である。

【0019】

なお、以上の一般的な説明及び以下の詳細な説明は例示的及び説明的なものに過ぎず、本開示を限定するものではないことを理解されたい。

【図面の簡単な説明】

【0020】

ここでの図面は明細書に組み込まれて本明細書の一部となり、本開示と一致する実施例を示しており、明細書とともに本開示の原理を説明することに用いられる。

【0021】

【図1】本開示の実施例により示される画像表示方法の概略フローチャートである。

【図2】本開示の実施例により示される他の画像表示方法の概略フローチャートである。

【図3】本開示の実施例により示される更なる画像表示方法の概略フローチャートである。

【図4】本開示の実施例により示される画像表示装置の概略ブロック図である。

【図5】本開示の実施例により示される他の画像表示装置の概略ブロック図である。

【図6】本開示の実施例により示される更なる画像表示装置の概略ブロック図である。

【図7】本開示の実施例により示される画像表示用の装置の概略ブロック図である。

【発明を実施するための形態】

【0022】

ここで例示的な実施例を詳しく説明するが、それの例は図面に示される。以下の説明が図面に関連する場合、特に明記されていない限り、異なる図面における同じ数字は、同じまたは類似する要素を表す。以下の提示的な実施例において説明される実施形態は、本開示と一致するすべての実施形態を表すものではない。むしろ、それらは添付の特許請求の範囲で詳しく説明された、本開示の一部の態様と一致する装置及び方法の例に過ぎない。

【0023】

図１は本開示の実施例により示される画像表示方法の概略フローチャートである。本実施例に示す画像表示方法は電子機器に適用でき、前記電子機器は第１のカメラ及び第２のカメラを含んでもよく、第１のカメラ及び第２のカメラを除いて、前記電子機器はさらに他のカメラを含んでもよい。前記第１のカメラ及び第２のカメラは一般的に電子機器内の任意の２つの異なるカメラを指し、電子機器内の特定の２つのカメラを指すものではない。

【0024】

前記電子機器は携帯電話、タブレット、ウェアラブルデバイスなどの電子機器を含むが、これらに限定されない。電子機器が携帯電話である場合を例として挙げると、前記第１のカメラは携帯電話スクリーンの外のフレーム領域に配置することができる。携帯電話スクリーンの下に配置することもでき、携帯電話のスクリーンを介して画像を収集することによって、フルスクリーンの実現に便利である。

【0025】

前記第１のカメラは１つのカメラであってもよく、複数のカメラからなるカメラ群であってもよく、以下の実施例において収集された第１のリアルタイム画像は、１つのカメラによって収集されたものであってもよく、カメラ群によって収集されたものであってもよい。前記第２のカメラは１つのカメラであってもよく、複数のカメラからなるカメラ群であってもよく、以下の実施例において収集された第２のリアルタイム画像は、１つのカメラによって収集されたものであってもよく、カメラ群によって収集されたものであってもよい。

【0026】

図１に示すように、前記画像表示方法は以下のステップを含んでもよい。

【0027】

ステップＳ１０１では、前記第１のカメラによって収集された第１のリアルタイム画像及び前記第２のカメラによって収集された第２のリアルタイム画像を取得し、前記第１のリアルタイム画像及び前記第２のリアルタイム画像は異なる。

【0028】

ステップＳ１０２では、前記第１のリアルタイム画像内の対象物体を特定する。

【0029】

ステップＳ１０３では、前記対象物体に対応するリアルタイム仮想画像を生成する。

【0030】

ステップＳ１０４では、前記第２のリアルタイム画像に前記リアルタイム仮想画像を重畳表示する。

【0031】

なお、第１のリアルタイム画像及び第２のリアルタイム画像を収集する上記主体は、必要に応じて交換することができ、即ち、第２のカメラを介して第１のリアルタイム画像を収集し、第１のカメラを介して第２のリアルタイム画像を収集することができ、具体的には必要に応じて設定することができる。

【0032】

一実施例において、第１のカメラ及び第２のカメラは撮影方向が異なってもよい。例えば、第１のカメラがフロントカメラであり、第２のカメラがリアカメラであり、第１のカメラは電子機器の正面の画像を収集して第１のリアルタイム画像とすることができ、第２のカメラは電子機器の背面の画像を収集して第２のリアルタイム画像とすることができる。従って、異なる方向の画像を収集することによって、異なる第１のリアルタイム画像及び第２のリアルタイム画像を得ることができる。

【0033】

一実施例において、第１のカメラ及び第２のカメラは撮影方向が同じであるが、撮影範囲が異なってもよい。例えば、第１のカメラ及び第２のカメラがいずれも電子機器のリアカメラであり、第１のカメラが電子機器の裏蓋の左上隅に位置し、第２のカメラが電子機器の裏蓋の右上隅に位置する場合、第１のカメラは電子機器の裏面の左上寄りの画像を収集して第１のリアルタイム画像とし、第２のカメラは電子機器の裏面の右上寄りの画像を収集して第２のリアルタイム画像とするため、異なる第１のリアルタイム画像及び第２のリアルタイム画像を得る。

【0034】

以下の実施例は主に、第１のカメラがフロントカメラであり、第２のカメラがリアカメラである場合に例示的な説明を行う。

【0035】

一実施例において、フロントカメラ及びリアカメラを同時に起動することができる。まず、電子機器メーカーはハードウェアに基づいて、フロントカメラ及びリアカメラで同時に画像を収集できるように、電子機器の基礎論理を調整する。従って、２つのカメラで同時に画像を収集することにより、フロントカメラを介してスクリーンの光出射方向の側（即ち電子機器の表面）の画像を収集し、リアカメラを介してスクリーンの光出射方向の反対側（即ち電子機器の裏面）の画像を収集することができる。

【0036】

第１のリアルタイム画像が収集された後、第１のリアルタイム画像において対象物体を特定でき、対象物体のタイプは必要に応じて設定することができ、例えば人間であってもよく、物体であってもよく、対象物体が人である場合を例とすると、具体的には人体の部分、例えば腕、足などであってもよく、完全な人体であってもよい。

【0037】

機械学習によってトレーニングして特定のタイプの物体を識別するためのモデルを予め取得して、第１のリアルタイム画像を該モデルに入力することによって、第１のリアルタイム画像内の特定のタイプに属する対象物体を識別することができる。

【0038】

従って、対象物体に対応するリアルタイム仮想画像を生成し、二次元画像であってもよく、三次元画像であってもよく、具体的には、必要に応じて設定することができる。

【0039】

リアルタイム仮想画像が三次元画像である場合を例とすると、ユーザの二次元画像を三次元画像に変換できるモデルを構築するために、動作追跡アルゴリズムに基づいてユーザの動作に対して機械学習を行うことができ、さらに、構築されたモデルに基づいて第１のリアルタイム画像内の対象物体を変換することができ、具体的に対象物体の肢体関節を特定でき、その後に肢体関節にアンカーを追加し、さらにアンカーの動作に基づいて対象物体の二次元画像を仮想の三次元画像に変換することにより対象物体のリアルタイムの仮想画像を生成し、即ち、仮想三次元画像は対象物体に従って動作を実行する。

【0040】

対象物体がユーザの顔を含む場合、さらに顔特徴認識技術により対象物体の顔特徴を識別し、かつ識別された顔特徴に基づき、顔に対応する仮想画像を生成してリアルタイム仮想画像の顔部分とすることができる。

【0041】

また、仮想画像が二次元画像である場合、機械学習によって得られたモデルにより対象物体に対応するリアルタイム仮想画像を生成することができる。

【0042】

上記動作追跡アルゴリズム以外にも、他の方式によって対象物体の二次元画像を仮想三次元画像に変換することができ、例えば、ＤＩＢ－Ｒのレンダリングフレームワーク（微分可能な内挿ベースのレンダラー）を構築することができ、ＤＩＢ－Ｒはエンコーダ－デコーダシステム構造（入力を特徴図またはベクトルに変換するためのニューラルネットワークであって、形状、色、模様及び照明などの特定の情報を予測することに用いられるもの）を構築することによって三次元画像を生成することにより、対象物体の二次元画像を該レンダリングフレームワークに入力して対応する仮想三次元画像を出力することができる。

【0043】

一実施例において、第１のカメラ及び第２のカメラを介して画像を同時に収集し、第１のカメラにより収集された対象物体のリアルタイム仮想画像を第２のカメラにより収集された第２のリアルタイム画像に表示し、リアルタイム仮想画像が第１のリアルタイム画像内の対象物体によってリアルタイムに生成されるものであることに対し、第２のリアルタイム画像が実際のシーンであってもよいため、リアルタイム仮想画像を第２のリアルタイム画像に重畳表示するには、実際のシーンに表示する必要のある仮想画像を予め記憶する必要がなく、ユーザが必要に応じて、必要な対象物体をリアルタイムに撮影して、対応するリアルタイム仮想画像を生成することができ、実際のシーンに仮想画像を柔軟に表示することに便利である。

【0044】

なお、リアルタイム仮想画像を第２のリアルタイム画像に重畳表示する奥行きは、必要に応じて設定することができる。

【0045】

例えば、対象物体がユーザ自身である場合、ユーザはフロントカメラを介して自身を撮影して、リアカメラを介して実際のシーンを撮影することができることによって、自身の仮想画像を生成することができ、生成された仮想画像が実際のシーンのユーザに従って動作を実行できることによって、自身の仮想画像を実際のシーンに表示するため、リアルタイムに撮影された自身の仮想画像をリアルタイムに撮影された実際のシーンに適用することができ、複数フレームのリアルタイム仮想画像を対応する複数フレームの第２のリアルタイム画像に重畳表示すると、仮想画像を実際の画像に表示するビデオを表示することができ、さらに表示される仮想画像の動作は実際のシーンにおけるユーザの動作と一致しており、一方では、仮想画像によってユーザと一致する動作を表し、他方では、ユーザの所在環境を背景として仮想画像を表し、ＡＲ表示を柔軟に実現し、例えば、これに基づいてｖｌｏｇ、ＡＲ仮想画像教育を行うことができ、ユーザ自身の動作が仮想画像によって示され、かつＡＲの形式で視聴者に提供する。

【0046】

選択的に、前記リアルタイム仮想画像は三次元画像または二次元画像である。

【0047】

一実施例において、対象物体により生成された仮想画像は三次元画像であってもよく、二次元画像であってもよく、具体的には必要に応じて設定することができる。

【0048】

図２は本開示の実施例により示される他の画像表示方法の概略フローチャートである。図２に示すように、前記第２のリアルタイム画像に前記リアルタイム仮想画像を重畳表示する前に、前記方法は、以下のステップをさらに含む。

【0049】

ステップＳ１０５では、各前記第１のリアルタイム画像を収集するタイムスタンプ及び各前記第２のリアルタイム画像を収集するタイムスタンプを記録する。

【0050】

ステップＳ１０６では、前記対象物体が所属する第１のリアルタイム画像のタイムスタンプに基づき、前記リアルタイム仮想画像のタイムスタンプを設定する。

【0051】

前記第２のリアルタイム画像に前記リアルタイム仮想画像を重畳表示することは、以下のステップを含む。

【0052】

ステップＳ１０４１では、前記リアルタイム仮想画像と同じタイムスタンプを有する第２のリアルタイム画像において、前記リアルタイム仮想画像を重畳表示する。

【0053】

一実施例において、各前記第１のリアルタイム画像を収集するタイムスタンプ及び各前記第２のリアルタイム画像を収集するタイムスタンプを記録することができ、前記対象物体が所属する第１のリアルタイム画像のタイムスタンプに基づき、前記リアルタイム仮想画像のタイムスタンプを設定することができ、リアルタイム仮想画像と対応する物体の所属する第１のリアルタイム画像のタイムスタンプとが同じであることを確保し、その後、前記リアルタイム仮想画像と同じタイムスタンプを有する第２のリアルタイム画像において、前記リアルタイム仮想画像を重畳表示することができ、第２のリアルタイム画像に表示されるリアルタイム仮想画像が、第２のリアルタイム画像と同時に撮影された第１のリアルタイム画像内の対象物体に対応することを確保する。

【0054】

図３は本開示の実施例により示される更なる画像表示方法の概略フローチャートである。図３に示すように、前記方法は、以下のステップをさらに含む。

【0055】

ステップＳ１０７では、前記リアルタイム仮想画像が表示される前記第２のリアルタイム画像を記録する。

【0056】

一実施例において、第２のリアルタイム画像が実際の画像として、リアルタイム仮想画像が仮想画像として第２の画像に実現することができるため、前記リアルタイム仮想画像が表示される複数フレームの前記第２のリアルタイム画像はＡＲビデオを構成でき、前記リアルタイム仮想画像が表示される前記第２のリアルタイム画像を記録してＡＲビデオとし（リアルタイム仮想画像が表示される第２のリアルタイム画像の幾つかのフレームを記録してＡＲ画像とすることができる）、かつユーザが後で利用しやすくなるように該ＡＲビデオを記憶することができ、例えば、ｖｌｏｇ、ＡＲ仮想画像教育のビデオとして行うことができる。

【0057】

選択的に、前記第１のカメラはフロントカメラであり、前記第２のカメラはリアカメラである。

【0058】

一実施例において、第１のカメラがフロントカメラであってもよく、第２のカメラがリアカメラであってもよいため、フロントカメラを介してスクリーンの光出射方向の側（即ち電子機器の表面）の画像を収集し、リアカメラを介してスクリーンの光出射方向の反対側（即ち電子機器の裏面）の画像を収集し、異なる第１のリアルタイム画像及び第２のリアルタイム画像を得ることができる。

【0059】

選択的に、前記第１のカメラはフロントカメラ又はリアカメラであり、前記第２のカメラは回転式カメラである。

【0060】

一実施例において、第１のカメラはフロントカメラまたはリアカメラであってもよく、第２のカメラは回転式カメラである。例えば、第２のカメラは伸縮式カメラであってもよく、電子機器のフレームから伸縮することができ、カメラが延出する場合、伸縮方向を軸として回転することができ、例えば、電子機器に回転可能な構造が設けられ、第２のカメラは該構造に位置することができ、例えば該構造は携帯電話のフロントカバーであり、フロントカバーが反転可能であるため、第２のカメラは該フロントカバーに位置して、フロントカバーとともに反転することができる。

【0061】

具体的には、第１のカメラがフロントカメラである場合、第２のカメラは電子機器の裏面に向かって回転することによって電子機器の裏面の画像を撮影することができ、または第２のカメラは電子機器の側面（該側面は、電子機器の表面及び電子機器の裏面に接続される任意の側面である）に向かって回転することによって電子機器の対応する側面の画像を撮影することができ、第１のカメラがリアカメラである場合、第２のカメラは電子機器の表面に向かって回転することによって電子機器の表面の画像を撮影することができ、または第２のカメラは電子機器の側面（該側面は、電子機器の表面及び電子機器の裏面に接続される任意の側面である）に向かって回転することによって電子機器の対応する画像を撮影することができる。

【0062】

前記画像表示方法の実施例に対応して、本開示は画像表示装置の実施例をさらに提供する。

【0063】

図４は本開示の実施例により示される画像表示装置の概略ブロック図である。本実施例に示される画像表示装置は電子機器に適用でき、前記電子機器は第１のカメラ及び第２のカメラを含んでもよく、第１のカメラ及び第２のカメラ以外にも、前記電子機器は他のカメラを含んでも良い。前記第１のカメラ及び第２のカメラは一般的に電子機器内の任意２つの異なるカメラを指し、電子機器内の特定の２つのカメラを指すものではない。前記電子機器は携帯電話、タブレット、ウェアラブルデバイスなどの電子機器を含むが、これらに限定されない。電子機器が携帯電話である場合を例として挙げると、前記第１のカメラは携帯電話スクリーンの外のフレーム領域に配置することができる。携帯電話スクリーンの下に配置することもでき、携帯電話のスクリーンを介して画像を収集することによって、フルスクリーンの実現に便利である。

【0064】

前記第１のカメラは１つのカメラであってもよく、複数のカメラであってもよく、以下の実施例において収集された第１のリアルタイム画像は、１つのカメラによって収集されたものであってもよく、複数のカメラによって収集されたものであってもよい。前記第２のカメラは１つのカメラであってもよく、複数のカメラであってもよく、以下の実施例において収集された第２のリアルタイム画像は、１つのカメラによって収集されたものであってもよく、複数のカメラによって収集されたものであってもよい。

【0065】

図４に示すように、前記画像表示装置は、
前記第１のカメラによって収集された第１のリアルタイム画像及び前記第２のカメラによって収集された第２のリアルタイム画像を取得するように構成され、前記第１のリアルタイム画像及び前記第２のリアルタイム画像が異なる画像収集モジュール１０１と、
前記第１のリアルタイム画像内の対象物体を特定するように構成される対象特定モジュールと１０２と、
前記対象物体に対応するリアルタイム仮想画像を生成するように構成される仮想生成モジュール１０３と、
前記第２のリアルタイム画像に前記リアルタイム仮想画像を重畳表示するように構成される画像表示モジュールと１０４とを含んでもよい。

【0066】

選択的に、前記リアルタイム仮想画像は三次元画像または二次元画像である。

【0067】

図５は本開示の実施例により示される他の画像表示装置の概略ブロック図である。図５に示すように、前記装置はさらに、
各前記第１のリアルタイム画像を収集するタイムスタンプ及び各前記第２のリアルタイム画像を収集するタイムスタンプを記録するように構成される時間記録モジュール１０５と、
前記対象物体が所属する第１のリアルタイム画像のタイムスタンプに基づき、前記リアルタイム仮想画像のタイムスタンプを設定するように構成される時間設定モジュール１０６と、を含み、
前記画像表示モジュール１０４は、前記リアルタイム仮想画像と同じタイムスタンプを有する第２のリアルタイム画像において、前記リアルタイム仮想画像を重畳表示するように構成される。

【0068】

図６は本開示の実施例により示される更なる画像表示装置の概略ブロック図である。図６に示すように、前記装置は、
前記リアルタイム仮想画像が表示される前記第２のリアルタイム画像を記録するように構成されるビデオ記録モジュール１０７をさらに含む。

【0069】

選択的に、前記第１のカメラはフロントカメラであり、前記第２のカメラはリアカメラである。

【0070】

選択的に、前記第１のカメラはフロントカメラ又はリアカメラであり、前記第２のカメラは回転式カメラである。

【0071】

上記実施例の装置に関しては、各モジュールの実行操作の具体的な形態はすでに関連する方法の実施例において詳しく説明したが、ここで詳しい説明は省略する。

【0072】

装置の実施例に対しては、基本的に方法の実施例に対応するので、関連する箇所は方法の実施例の一部の説明を参照すればよい。上記で説明された装置の実施例は例示的なものに過ぎず、分離した部品として説明されたモジュールは物理的に分離しているものか、又は物理的に分離しているものでなくてもよく、モジュールとして表示された部品は物理的なモジュールであるか、物理的なモジュールでなくても良く、即ち一箇所に位置してもよく、あるいは複数のネットワークモジュールに分布してもよい。実際の需要に応じて、そのうちの一部又はすべてのモジュールを選択して本開示の目的を実現することができる。当業者は創造的な労力なしに、理解及び実施することができる。

【0073】

本開示の実施例はさらに電子機器を提供し、上記実施例のいずれかに記載の方法を実現するように構成されるプロセッサを含む。

【0074】

本開示の実施例はさらに、コンピュータプログラムが記憶されるコンピュータ読み取り可能な記憶媒体を提供し、前記プログラムは、プロセッサによって実行される際に上記実施例のいずれかに記載の方法のステップを実現する。

【0075】

図７は本開示の実施例により示される画像表示用の装置７００の概略ブロック図である。例えば、装置７００は携帯電話、コンピュータ、デジタル放送端末、送受信機、ゲーム機、タブレットデバイス、医療機器、フィットネス機器、携帯情報端末などであってもよい。

【0076】

図７を参照すると、装置７００は、処理コンポーネント７０２、メモリ７０４、電源コンポーネント７０６、マルチメディアコンポーネント７０８、オーディオコンポーネント７１０、入力／出力（Ｉ／Ｏ）インターフェース７１２、センサコンポーネント７１４、及び通信コンポーネント７１６のうちの１つ又は複数の部品を含んでも良い。

【0077】

処理コンポーネント７０２は通常、装置７００全般の操作、例えば表示、電話の呼び出し、データ通信、カメラ操作及び記録操作に関連する操作を制御する。処理コンポーネント７０２は、上記方法の全部又は一部のステップを完成するように命令を実行する１つ又は複数のプロセッサ７２０を含んでも良い。また、処理コンポーネント７０２は、他のモジュールとの間のインタラクションを容易にするように、１つ又は複数のモジュールを含んでも良い。例えば、処理コンポーネント７０２は、マルチメディアコンポーネント７０８との間のインタラクションを容易にするように、マルチメディアモジュールを含んでも良い。

【0078】

メモリ７０４は、装置７００での操作をサポートするために、様々な種類のデータを記憶するように設定されている。これらのデータの例は、装置７００で操作されるあらゆるアプリケーション又は方法の命令、連絡先データ、電話帳データ、メッセージ、画像、ビデオなどを含む。メモリ７０４は、スタティックランダムアクセスメモリ（ＳＲＡＭ）、電気的消去可能プログラマブル読み取り専用メモリ（ＥＥＰＲＯＭ）、消去可能プログラマブル読み取り専用メモリ（ＥＰＲＯＭ）、プログラマブル読み取り専用メモリ（ＰＲＯＭ）、読み取り専用メモリ（ＲＯＭ）、磁気メモリ、フラッシュメモリ、磁気ディスク又は光ディスクのようなあらゆる種類の揮発性メモリ又は不揮発性メモリ又はそれらの組み合わせで実現することができる。

【0079】

電源コンポーネント７０６は装置７００の様々な部品に電力を供給する。電源コンポーネント７０６は、電源管理システム、１つ又は複数の電源、及び装置７００のために電力を生成、管理及び分配することに関連する他の部品を含んでも良い。

【0080】

マルチメディアコンポーネント７０８は、前記装置７００とユーザとの間に１つの出力インターフェースを提供するスクリーンを含む。一部の実施例では、スクリーンは液晶ディスプレイ（ＬＣＤ）とタッチパネル（ＴＰ）を含んでも良い。スクリーンは、タッチパネルを含む場合、ユーザからの入力信号を受信するために、タッチスクリーンとして具現化することができる。タッチパネルは、タッチ、スライド、及びタッチパネルにおけるジェスチャーを検出するように、１つ又は複数のタッチセンサを含む。前記タッチセンサは、タッチ操作又はスライド操作の境界を検出できるうえ、前記タッチ操作又はスライド操作に関連する持続時間と圧力を検出することもできる。一部の実施例では、マルチメディアコンポーネント７０８は１つの第１のカメラ及び／又は第２のカメラを含む。装置７００が撮影モード又はビデオモードのような動作モードにある場合、各第１のカメラ及び／又は第２のカメラは外部からのマルチメディアデータを受信することができる。各第１のカメラ及び第２のカメラは、１つの固定された光学レンズシステムであるか、又は焦点距離と光学ズーム能力を有するシステムであってもよい。

【0081】

オーディオコンポーネント７１０は、オーディオ信号を出力及び／又は入力するように構成される。例えば、オーディオコンポーネント７１０は１つのマイクロフォン（ＭＩＣ）を含み、装置７００が通話モード、記録モード及び音声認識モードのような操作モードにある場合、マイクロフォンは、外部のオーディオ信号を受信するように構成される。受信されたオーディオ信号は、さらにメモリ７０４に記憶するか、又は通信コンポーネント７１６を介して送信することができる。一部の実施例では、オーディオコンポーネント７１０は、オーディオ信号を出力するための１つのスピーカをさらに含む。

【0082】

Ｉ／Ｏインターフェース７１２は、処理コンポーネント７０２と周辺インターフェースモジュールとの間にインターフェースを提供し、上記周辺インターフェースモジュールはキーボード、クリックホイール、ボタンなどであってもよい。これらのボタンは、ホームボタン、音量ボタン、電源ボタン及びロックボタンを含むが、これらに限定されない。

【0083】

センサコンポーネント７１４は、装置７００のために各側面の状態評価を提供するために、１つ又は複数のセンサを含む。例えば、センサコンポーネント７１４は、装置７００のオン／オフ状態と、装置７００のディスプレイ及びキーパッドのような部品の相対位置とを検出できるうえ、装置７００又は装置７００の１つの部品の位置の変化、ユーザと装置７００との接触が存在するか否か、装置７００の向きと位置又は加速／減速及び装置７００の温度変化を検出することもできる。センサコンポーネント７１４は、如何なる物理的接触もない時に周辺物体の存在を検出するように構成される近接センサを含んでも良い。センサコンポーネント７１４は、画像形成用途で用いられている、ＣＭＯＳ又はＣＣＤ画像センサのような光センサをさらに含んでも良い。一部の実施例では、該センサコンポーネント７１４は加速度センサ、ジャイロセンサ、磁気センサ、圧力センサ又は温度センサをさらに含んでも良い。

【0084】

通信コンポーネント７１６は、装置７００と他のデバイスとの間の有線又は無線通信を容易にするように設定されるように構成される。装置７００は、通信規格に基づく無線ネットワーク、例えばＷｉＦｉ、２Ｇ又は３Ｇ、４Ｇ ＬＴＥ、５Ｇ ＮＲ又はそれらの組み合わせにアクセスすることができる。例示的な一実施例では、通信コンポーネント７１６はブロードキャストチャネルを介して外部ブロードキャスト管理システムからのブロードキャスト信号又はブロードキャスト関連情報を受信する。例示的な一実施例では、前記通信コンポーネント７１６は、近距離通信を促進するように、近距離無線通信（ＮＦＣ）モジュールをさらに含む。例えば、ＮＦＣモジュールにおいて、無線周波数識別（ＲＦＩＤ）技術、赤外線データ協会（ＩｒＤＡ）技術、超広帯域無線（ＵＷＢ）技術、ブルートゥース（ＢＴ）技術及び他の技術に基づいて実現することができる。

【0085】

例示的な実施例では、装置７００は、上記いずれかの実施例に記載の方法を実行するために、１つ又は複数の特定用途向け集積回路（ＡＳＩＣ）、デジタル信号プロセッサ（ＤＳＰ）、デジタル信号処理装置（ＤＳＰＤ）、プログラマブルロジックデバイス（ＰＬＤ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、コントローラ、マイクロコントローラ、マイクロプロセッサ又はその他の電子部品で具現化することができる。

【0086】

例示的な実施例では、命令を含む非一時的なコンピュータ読み取り可能な記録媒体、例えば命令を含むメモリ７０４がさらに提供される。上記命令は、上記方法を実現するように、装置７００のプロセッサ７２０によって実行されてもよく、前記非一時的なコンピュータ読み取り可能な記録媒体はＲＯＭ、ランダムアクセスメモリ（ＲＡＭ）、ＣＤ－ＲＯＭ、テープ、フロッピーディスク及び光学データ記憶装置などであっても良い。

【0087】

当業者は明細書を考慮し、本開示を実施すると、本開示の他の実施形態に想到しやすい。本出願は本開示のあらゆる変形、用途または適応的な変化を包含することを意図しており、これらの変形、用途または適応的な変化は本開示の一般的な原理に従い、本開示で開示されていない本技術分野の技術常識または通常の技術手段を含む。明細書及び実施例は、例示的なものとしてのみ見なされるべきであり、本開示の真の範囲と精神は以下の特許請求の範囲によって示される。

【0088】

なお、本開示は、以上の説明及び図面に示される正確な構造に限定されず、かつその範囲から逸脱しない限り、様々な修正や変更を行うことができる。本開示の範囲は、添付の特許請求の範囲のみに限定される。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】