特許 6782812 仮想現実機器及び仮想現実機器を制御する方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6782812

(24)【登録日】2020年10月22日

(45)【発行日】2020年11月11日

(54)【発明の名称】仮想現実機器及び仮想現実機器を制御する方法

(51)【国際特許分類】

   H04N 5/222 20060101AFI20201102BHJP

   H04N 5/232 20060101ALI20201102BHJP

   G06T 19/00 20110101ALI20201102BHJP

【ＦＩ】

   H04N5/222 400

   H04N5/232 290

   G06T19/00 300A

【請求項の数】7

【全頁数】13

(21)【出願番号】特願2019-91079(P2019-91079)

(22)【出願日】2019年5月14日

(65)【公開番号】特開2020-184736(P2020-184736A)

(43)【公開日】2020年11月12日

【審査請求日】2019年5月14日

(31)【優先権主張番号】16/402,246

(32)【優先日】2019年5月3日

(33)【優先権主張国】US

(73)【特許権者】

【識別番号】518427524

【氏名又は名称】未來市股▲ふん▼有限公司

(74)【代理人】

【識別番号】100107766

【弁理士】

【氏名又は名称】伊東 忠重

(74)【代理人】

【識別番号】100070150

【弁理士】

【氏名又は名称】伊東 忠彦

(74)【代理人】

【識別番号】100091214

【弁理士】

【氏名又は名称】大貫 進介

(72)【発明者】

【氏名】▲黄▼ 繼養

【審査官】 ▲徳▼田 賢二

(56)【参考文献】

【文献】 米国特許出願公開第２００７／０２４２０６６（ＵＳ，Ａ１）

【文献】 中国特許出願公開第１０５３０２５３４（ＣＮ，Ａ）

【文献】 特開２０１０−２１３２５６（ＪＰ，Ａ）

【文献】 米国特許出願公開第２０１０／０１２２１６５（ＵＳ，Ａ１）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ ５／２２２−２５７

Ｇ０６Ｔ １９／００

(57)【特許請求の範囲】

【請求項1】

仮想現実機器を制御する方法であって、
第１のアプリケーションが、画像関連データの要求を送信するステップと、
カメラフレームワークレイヤが、前記第１のアプリケーションからの前記要求に応答してカメラ制御の命令を送信するステップと、
カメラハードウェア抽象化レイヤが、前記カメラフレームワークレイヤからの前記命令に応答するステップと、
制御レイヤが、前記要求に基づいて、
画像関連データのために制御コマンドを第２のアプリケーションに送信するように前記カメラハードウェア抽象化レイヤを制御すること、及び
画像関連データのために制御コマンドを第２のアプリケーションに、及び別の制御コマンドを前記仮想現実機器の物理カメラに送信するように前記カメラハードウェア抽象化レイヤを制御すること
のうち１つを実行するステップと、
前記第２のアプリケーションが、前記画像関連データとして前記仮想現実機器の仮想カメラにより捕捉された仮想現実データを提供するステップであり、前記仮想現実データは、仮想世界においてユーザのアバターを捕捉したデータである、ステップと、
前記第２のアプリケーションへの前記制御コマンドのみが前記カメラハードウェア抽象化レイヤから送信された場合、
前記第１のアプリケーションが、前記カメラハードウェア抽象化レイヤから前記仮想現実データを受信するステップと、
前記第１のアプリケーションが、前記物理カメラにより捕捉された現実シーンデータの代わりに前記仮想現実データを使用することによって前記仮想現実データにより生成された画像を前記仮想現実機器でユーザに対して表示するステップと、
前記制御コマンド及び前記別の制御コマンドの双方が前記カメラハードウェア抽象化レイヤから送信された場合、
前記仮想現実機器の前記物理カメラが、前記画像関連データとして現実環境において前記物理カメラにより捕捉された現実シーンデータを提供するステップと、
前記第１のアプリケーションが、前記カメラハードウェア抽象化レイヤから前記仮想現実データ及び前記現実シーンデータを受信するステップと、
前記第１のアプリケーションが、前記仮想現実データの環境に前記現実シーンデータのオブジェクトを重ね合わせることによって前記仮想現実データ及び前記現実シーンデータにより生成された画像を前記仮想現実機器でユーザに対して表示するステップと、
を含む方法。

【請求項2】

前記画像関連データは、画像データ、ビデオデータ、カメラ位置データ、及びカメラ時間データのうち、少なくとも１つを含む、請求項１に記載の方法。

【請求項3】

仮想現実機器であって、第１のアプリケーション、カメラフレームワークレイヤ、カメラハードウェア抽象化レイヤ、第２のアプリケーション、及び制御レイヤを含み、請求項１又は２に記載の方法を実行するように構成される、仮想現実機器。

【請求項4】

第１のモバイル装置及び第２のモバイル装置を制御する方法であって、
前記第１のモバイル装置及び前記第２のモバイル装置で起動された第１のアプリケーションが、前記第１のモバイル装置と前記第２のモバイル装置との間の通信チャネルを構築し、画像関連データの要求を送信するステップと、
前記第１のモバイル装置のカメラフレームワークレイヤが、前記第１のアプリケーションからの前記要求に応答してカメラ制御の命令を送信するステップと、
前記第１のモバイル装置のカメラハードウェア抽象化レイヤが、前記第１のモバイル装置の前記カメラフレームワークレイヤからの前記命令に応答するステップと、
前記第１のモバイル装置の制御レイヤが、前記要求に基づいて、
前記画像関連データのために制御コマンドを第２のアプリケーションに送信するように前記第１のモバイル装置の前記カメラハードウェア抽象化レイヤを制御すること、及び、
前記画像関連データのために制御コマンドを第２のアプリケーションに、及び別の制御コマンドを前記第１のモバイル装置の物理カメラに送信するように前記カメラハードウェア抽象化レイヤを制御すること
のうち１つを実行するステップと、
前記第２のアプリケーションが、前記画像関連データとして前記第１のモバイル装置の仮想カメラにより捕捉された仮想現実データを提供するステップであり、前記仮想現実データは、仮想世界においてユーザのアバターを捕捉したデータである、ステップと、
前記第２のアプリケーションへの前記制御コマンドのみが前記カメラハードウェア抽象化レイヤから送信された場合、
前記第１のアプリケーションが、前記カメラハードウェア抽象化レイヤから前記仮想現実データを受信するステップと、
前記第１のアプリケーションが、前記物理カメラにより捕捉された現実シーンデータの代わりに前記仮想現実データを使用することによって前記仮想現実データにより生成された画像を前記第１のモバイル装置でユーザに対して表示するステップと、
前記制御コマンド及び前記別の制御コマンドの双方が前記カメラハードウェア抽象化レイヤから送信された場合、
前記第１のモバイル装置の前記物理カメラが、前記画像関連データとして現実環境において前記物理カメラにより捕捉された現実シーンデータを提供するステップと、
前記第１のアプリケーションが、前記カメラハードウェア抽象化レイヤから前記仮想現実データ及び前記現実シーンデータを受信するステップと、
前記第１のアプリケーションが、前記仮想現実データの環境に前記現実シーンデータのオブジェクトを重ね合わせることによって前記仮想現実データ及び前記現実シーンデータにより生成された画像を前記第１のモバイル装置でユーザに対して表示するステップと、
を含む方法。

【請求項5】

前記第１のモバイル装置は仮想現実機器であり、前記第２のモバイル装置は仮想現実機器でない、請求項４に記載の方法。

【請求項6】

前記第２のモバイル装置のカメラフレームワークレイヤが、前記第１のアプリケーションからの前記要求に応答してカメラ制御の命令を送信するステップと、
前記第２のモバイル装置のカメラハードウェア抽象化レイヤが、前記第２のモバイル装置の前記カメラフレームワークレイヤからの前記命令に応答し、制御コマンドを前記第２のモバイル装置の物理カメラに送信するステップと、
前記第２のモバイル装置の前記物理カメラが、前記画像関連データとして前記物理カメラにより捕捉された現実シーンデータを提供するステップと、
前記第１のアプリケーションが、前記第２のモバイル装置の前記カメラハードウェア抽象化レイヤを介して前記第２のモバイル装置の前記物理カメラから前記現実シーンデータを受信するステップと、
前記第１のモバイル装置及び前記第２のモバイル装置のうち少なくとも１つが、前記仮想現実データ及び前記現実シーンデータにより生成された画像を表示するステップと、
をさらに含む請求項５に記載の方法。

【請求項7】

前記現実シーンデータ及び前記仮想現実データの双方が、画像データ、ビデオデータ、カメラ位置データ、及びカメラ時間データのうち、少なくとも１つを含む、請求項６に記載の方法。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は仮想現実機器に関し、より詳細には置換機能及び／又は重ね合わせ機能を実現できる仮想現実機器に関する。

【背景技術】

【0002】

仮想現実（Virtual reality、ＶＲ）は、仮想オブジェクト（３Ｄモデル、２Ｄテクスチャ等）を有する没入型の仮想環境を提供するＶＲ機器により、ユーザの体験を豊かにする。しかし、現在の仮想現実システムは、ユーザが自分のＶＲ画像を共有することが困難であるという問題を被っている。例えば、ＶＲユーザが自分の友人にマルチメディアコールを行い、現実環境において物理カメラにより捕捉された現実シーン画像の代わりにＶＲ世界において仮想カメラにより捕捉された自分のＶＲ画像を共有したいとき、マルチメディアアプリケーションにおいて現実シーン画像をＶＲ画像で置換することは容易でない。

【0003】

別の問題は、現在、異なるブランドの仮想現実機器間でＶＲデータを共有するのが困難なことである。ユーザがＶＲ世界における自分のＶＲ画像を互いに共有したい場合、ユーザは同じブランドのＶＲシステムを使用する必要があり得る。この問題は、人々が自分のＶＲ体験を互いに共有する可能性を制限する。

【0004】

さらに、これらＶＲユーザは、多くのカメラ及びセンサを有する複雑なシステムであるヘッドマウントディスプレイのようなＶＲ機器を装着する必要がある。ＶＲ機器を有さない人々、例えば、スマートフォン、ノートブック、タブレット、又はパーソナルコンピュータのみ有する人々は、ＶＲ世界を体験できない。したがって、ＶＲユーザは、ＶＲ世界における自分の達成をＶＲ機器を有さない別のユーザに対して共有できない。

【発明の概要】

【0005】

したがって、本開示の目的は、前述の問題を解決するために仮想現実機器と該仮想現実機器を制御するためのコンピュータにより実現される方法とを提供することである。

【0006】

前述の目的又は他の目的を達成するために、本開示は、仮想現実機器を制御するための、コンピュータにより実現される方法を開示する。コンピュータにより実現される方法は、５つのステップを含む。最初、第１のアプリケーションが、画像関連データの要求を送信する。次いで、カメラフレームワークレイヤが、第１のアプリケーションからの要求に応答してカメラ制御の命令を送信する。次いで、カメラハードウェア抽象化レイヤが、カメラフレームワークレイヤからの命令に応答する。次いで、制御レイヤが、画像関連データのために制御コマンドを第２のアプリケーションに送信するようにカメラハードウェア抽象化レイヤを制御する。次いで、第２のアプリケーションが、画像関連データとして仮想世界において仮想カメラにより捕捉された仮想現実データを提供する。

【0007】

前述の目的及び他の目的を達成するために、本開示は、仮想現実機器を提供する。仮想現実機器は、第１のアプリケーション、カメラフレームワークレイヤ、カメラハードウェア抽象化レイヤ、及び第２のアプリケーションを含む。第１のアプリケーションは、画像関連データの要求を送信するように構成される。カメラフレームワークレイヤは、第１のアプリケーションからの要求に応答し、カメラ制御の命令を送信するように構成される。カメラハードウェア抽象化レイヤは、カメラフレームワークレイヤからの命令に応答し、画像関連データを提供するために制御コマンドを第２のアプリケーションに送信するように構成される。第２のアプリケーションは、仮想現実世界において仮想カメラにより捕捉された仮想現実データを提供するように構成される。カメラハードウェア抽象化レイヤは、画像関連データのために制御コマンドを第２のアプリケーションに送信するようにカメラハードウェア抽象化レイヤを制御するように構成された制御レイヤを含む。

【0008】

前述の目的及び他の目的を達成するために、本開示は、第１のモバイル装置及び第２のモバイル装置を制御するための、コンピュータにより実現される方法を開示する。コンピュータにより実現される方法は６つのステップを含む。最初、第１のアプリケーションが、第１のモバイル装置及び第２のモバイル装置で起動され、第１のモバイル装置と第２のモバイル装置との間に通信チャネルを確立し、画像関連データの要求を送信する。次いで、第１のモバイル装置のカメラフレームワークレイヤが、第１のアプリケーションからの要求に応答してカメラ制御の命令を送信する。次いで、第１のモバイル装置のカメラハードウェア抽象化レイヤが、第１のモバイル装置のカメラフレームワークレイヤからの命令に応答する。次いで、第１のモバイル装置の制御レイヤが、画像関連データのために制御コマンドを第２のアプリケーションに送信するように第１のモバイル装置のカメラハードウェア抽象化レイヤを制御する。次いで、第２のアプリケーションが、画像関連データとして仮想現実世界において仮想カメラにより捕捉された仮想現実データを提供する。次いで、第１のアプリケーションが、第１のモバイル装置のカメラハードウェア抽象化レイヤを介して第２のアプリケーションから仮想現実データを受信する。

【0009】

要約すると、本開示は制御レイヤを有する仮想現実機器を開示し、それにより、仮想現実機器は置換機能及び／又は重ね合わせ機能を実現できる。

【0010】

本発明の上記及び他の目的が、様々な図表及び図面に例示される好適な実施例の下記詳細な説明を読んだ当業者に疑いなく明らかになるであろう。

【図面の簡単な説明】

【0011】

【図1】本開示の実施例による仮想現実機器を示す。

【図2】本開示の実施例による図１に示される仮想現実機器を制御する方法のフローチャートである。

【図3】本開示の実施例による２つの異なるモバイル装置の表示画面を示す。

【図4】本開示の実施例による仮想現実機器及びモバイル装置を示す。

【図5】本開示の実施例によるスマートフォンに表示された画像を示す。

【図6】本開示の実施例による第１のモバイル装置及び第２のモバイル装置を示す。

【図7A】図７Ａ及び７Ｂは、本開示の実施例による図６に係る方法のフローチャートである。

【図7B】図７Ａ及び７Ｂは、本開示の実施例による図６に係る方法のフローチャートである。

【発明を実施するための形態】

【0012】

図１は、本開示の実施例による仮想現実機器（virtual reality equipment）１００を示す。仮想現実機器１００は、オペレーティングシステム（ＯＳ）１０３上で動作するアプリケーション１０１及びアプリケーション１０２を含む。仮想現実機器１００は、物理カメラを含む。この実施例において、物理カメラは、現実シーン画像を捕捉するための少なくとも１つのフロントカメラ１１０と少なくとも１つのリアカメラ１２０とを含む。オペレーティングシステム１０３は、制御レイヤ１０４、カメラフレームワークレイヤ１０５、及びカメラハードウェア抽象化レイヤ１０６を含む。

【0013】

アプリケーション１０１は、Ｗｈａｔｓａｐｐ（登録商標）、Ｆａｃｅｂｏｏｋ（登録商標）、Ｓｋｙｐｅ（登録商標）等などのマルチメディアアプリケーションであり得る。アプリケーション１０２は、仮想現実世界において仮想カメラにより捕捉された仮想現実データを提供する。オペレーティングシステム１１３は、コンピュータハードウェア及びソフトウェアリソースを管理し、コンピュータプログラムに共通サービスを提供するシステムソフトウェアである。制御レイヤ１０４、カメラフレームワークレイヤ１０５、及びカメラハードウェア抽象化レイヤ１０６は、オペレーティングシステム１１３に組み込まれたプログラムコードであり、必要とされたときに起動できる。

【0014】

詳細には、カメラフレームワークレイヤ１０５は、カメラ制御のために命令をカメラハードウェア抽象化レイヤ１０６に提供できる。カメラハードウェア抽象化レイヤ１０６はハードウェアを制御し、命令に応答して複数のカメラ１１０乃至１２０を動作させることができる。制御レイヤ１０４は、アプリケーション１０１及びアプリケーション１０２にインターフェースを提供できる。さらに、制御レイヤ１０４は、アプリケーション１０１及びアプリケーション１０２に対してデータを伝送又は収集するようにカメラハードウェア抽象化レイヤ１０６を制御できる。制御レイヤ１０４は、オペレーティングシステム１０３のカーネル内にあり得る。

【0015】

制御レイヤ１０４により、画像置換機能が実現できる。例えば、制御レイヤ１０４は、アプリケーション１０１から要求された画像関連データとして、物理カメラからの現実シーンデータの代わりにアプリケーション１０２から仮想現実データを収集するようにカメラハードウェア抽象化レイヤ１０６を制御できる。この場合、仮想現実データは、仮想世界においてユーザのアバターを捕捉した写真であり得る。

【0016】

さらに、制御レイヤ１０４により、画像重ね合わせ（superimposition）機能が実現できる。例えば、制御レイヤ１０４は、アプリケーション１０２から仮想現実データを、及び物理カメラから現実シーンデータを収集するようにカメラハードウェア抽象化レイヤ１０６を制御できる。次いで、アプリケーション１０１は、仮想現実データのオブジェクトを現実シーンデータの環境に重ね合わせて画像関連データを生成でき、あるいは、アプリケーション１０１は、現実シーンデータのオブジェクトを仮想現実データの環境に重ね合わせて画像関連データを生成できる。

【0017】

図２は、仮想現実機器１００に係る方法２００のフローチャートである。方法２００は以下のステップを含む。

【0018】

Ｓ２０２：アプリケーション１０１が、画像関連データの要求を送信する。

【0019】

Ｓ２０４：カメラフレームワークレイヤ１０５が、アプリケーション１０１からの要求に応答してカメラ制御の命令を送信する。

【0020】

Ｓ２０６：カメラハードウェア抽象化レイヤ１０６が、カメラフレームワークレイヤ１０５からの命令に応答する。

【0021】

Ｓ２０８：制御レイヤ１０４が、画像関連データのために第１の制御コマンドをアプリケーション１０２に送信するようにカメラハードウェア抽象化レイヤ１０６を制御する。

【0022】

Ｓ２１０：アプリケーション１０２が、画像関連データとして仮想世界において仮想カメラにより捕捉された仮想現実データを提供する。

【0023】

Ｓ２１２：制御レイヤ１０４が、画像関連データのために第２の制御コマンドを仮想現実機器１００の物理カメラに送信するようにカメラハードウェア抽象化レイヤ１０６を制御する。

【0024】

Ｓ２１４：仮想現実機器１００の物理カメラが、画像関連データとして現実環境において物理カメラにより捕捉された現実シーンデータを提供する。

【0025】

Ｓ２１６：アプリケーション１０１が、カメラハードウェア抽象化レイヤ１０６から仮想現実データ及び／又は現実シーンデータを受信する。

【0026】

ステップＳ２０２において、アプリケーション１０１は、画像関連データの要求を送信する。一実施例において、要求の送信は、１つ以上のユーザ操作によりトリガされる。画像関連データは、画像データ、ビデオデータ、カメラポーズ（pose）データ、及びカメラ時間データのうち、少なくとも１つを含むことができ、カメラポーズデータ及びカメラ時間データは、写真撮影のポーズ及び時間を記録する。

【0027】

ステップＳ２０４において、カメラフレームワークレイヤ１０５は、アプリケーション１０１からの要求に応答してカメラ制御の命令を送信する。次いで、ステップＳ２０６において、カメラハードウェア抽象化レイヤ１０６は、カメラフレームワークレイヤ１０５からの命令に応答する。

【0028】

ステップＳ２０８及びＳ２１２において、方法２００は、制御レイヤ１０４の機能を開示している。すなわち、制御レイヤ１０４は、カメラハードウェア抽象化レイヤ１０６の制御を行うことができ、それにより、カメラハードウェア抽象化レイヤ１０６は、画像関連データを獲得するために制御コマンドを少なくとも１つのターゲットデータリソースに送信するように制御される。

【0029】

この実施例において、ターゲットデータリソースの数は２であり、すなわち、制御レイヤ１０４は、２つの制御コマンドをアプリケーション１０２及び物理カメラに送信するようにカメラハードウェア抽象化レイヤ１０６を制御する。本開示はこのことに限定されない。例えば、制御レイヤ１０４は、１つのみの制御コマンドをアプリケーション１０２又は物理カメラに送信するようにカメラハードウェア抽象化レイヤ１０６を制御できる。この場合、ステップＳ２０８、Ｓ２１０、又はステップＳ２１２、Ｓ２１４が省略されることになり、ステップＳ２１６において、アプリケーション１０１は、カメラハードウェア抽象化レイヤ１０６から仮想現実データと現実シーンデータとのうち１つのみを受信する。制御レイヤ１０４が１つのみの制御コマンドをアプリケーション１０２に送信する場合、アプリケーション１０２が仮想現実データのみ受信及び表示するため置換機能が実現され、それにより、現実シーンデータは仮想現実データで置換される。

【0030】

ステップＳ２１０及びＳ２１４において、アプリケーション１０２及び物理カメラは、画像関連データとして仮想現実データ及び現実シーンデータを提供し、仮想現実データは仮想世界において仮想カメラにより捕捉され、現実シーンデータは現実環境において物理カメラにより捕捉される。同様に、仮想現実データ及び現実シーンデータの双方が、画像データ、ビデオデータ、カメラ位置データ、及びカメラ時間データのうち、少なくとも１つを含むことができ、仮想現実データのカメラポーズデータ及びカメラ時間データは、仮想世界における仮想カメラによる写真撮影のポーズ及び時間を記録する。

【0031】

ステップＳ２１６において、アプリケーション１０１は、カメラハードウェア抽象化レイヤ１０６から仮想現実データ及び／又は現実シーンデータを受信する。したがって、仮想現実データ及び現実シーンデータの双方を使用したとき、重ね合わせ機能が実行できる。

【0032】

図３は、本開示の実施例による２つの異なるモバイル装置の表示画面を示す。２つの異なるモバイル装置は同じアプリケーションを起動し、互いに通信する。図３の上半分に示される表示画面は、第１のユーザの仮想現実データ及び／又は現実シーンデータにより生成された画像を表示する。図３の下半分に示されるもう１つの表示画面は、第２のユーザの仮想現実データ及び／又は現実シーンデータにより生成された画像を表示する。

【0033】

図３において、表示画面の各々は、ピクチャ・イン・ピクチャ（picture-in-picture）モードで画像を示す。画像のメインピクチャ３０２、３０６は他の人を示し、画像のさらなるピクチャ３０４、３０８はユーザ自身を示す。メインピクチャ３０２、３０６、及びさらなるピクチャ３０４、３０８を含む画像は、仮想現実データ及び／又は現実シーンデータにより生成できる。

【0034】

この実施例において、２つのモバイル装置は同じブランドの又は異なるブランドの仮想現実機器であり、本開示はこのことに限定されない。例えば、モバイル装置のうち１つが仮想現実機器でよく、モバイル装置のうち別の１つが仮想現実機器でない。例えば、モバイル装置のうち別の１つはスマートフォン、ノートブック、タブレット、又はパーソナルコンピュータである。

【0035】

図４は、本開示の実施例による仮想現実機器１００及びモバイル装置４０６である。仮想現実機器１００及びモバイル装置４０６は同じマルチメディアアプリケーション４０８を起動し、互いに通信する。モバイル装置４０６は仮想現実機器でもそうでなくてもよい。

【0036】

仮想現実機器１００及びモバイル装置４０６が同じマルチメディアアプリケーション４０８を起動し、互いに通信するため、モバイル装置４０６が仮想現実機器でないとき、制御レイヤ１０４を有する仮想現実機器１００はモバイル装置４０６に対して仮想現実データを共有できる。したがって、モバイル装置４０６のユーザが仮想現実世界を体験できるということが可能である。例えば、仮想現実データはリアルタイムでモバイル装置４０６に伝送でき、仮想現実データにより生成された画像は、仮想現実世界を体験するモバイル装置４０６のユーザに対して３６０度視野を示す。

【0037】

図５は、画像５００を表示するモバイル装置４０６の表示画面を示す。図３の画像と異なり、図５の画像５００はピクチャ・イン・ピクチャモードで示されていない。図５の画像５００は２つのピクチャ５０４、５０６を別個に示し、ピクチャ５０４、５０６の双方が仮想現実データにより生成される。他の実施例において、複数ピクチャのうちのピクチャが仮想現実データにより生成され、複数ピクチャのうち別のピクチャが現実シーンデータにより生成される。図３の画像及び図５の画像５００の双方が、仮想現実データ及び／又は現実シーンデータが提供されたとき、仮想現実機器１００及びモバイル装置４０６により表示できる。

【0038】

図６は、本開示の実施例による第１のモバイル装置６００及び第２のモバイル装置６２０を示す。第１のモバイル装置６００は仮想現実機器である。第２のモバイル装置は仮想現実機器でない。

【0039】

図７Ａ及び７Ｂは、本開示の実施例による図６に係る方法７００のフローチャートである。方法７００は以下のステップを含む。

【0040】

Ｓ７０２：第１のモバイル装置６００及び第２のモバイル装置６２０で起動された第１のアプリケーション６０２が、第１のモバイル装置６００と第２のモバイル装置６２０との間の通信チャネルを構築し、画像関連データの要求を送信する。

【0041】

Ｓ７０４：第１のモバイル装置６００のカメラフレームワークレイヤ６０６が、第１のアプリケーション６０２からの要求に応答してカメラ制御の命令を送信する。

【0042】

Ｓ７０６：第１のモバイル装置６００のカメラハードウェア抽象化レイヤ６０８が、第１のモバイル装置６００のカメラフレームワークレイヤ６０６からの命令に応答する。

【0043】

Ｓ７０８：第１のモバイル装置６００の制御レイヤ６１０が、画像関連データのために制御コマンドを第２のアプリケーション６０４に送信するように第１のモバイル装置６００のカメラハードウェア抽象化レイヤ６０８を制御する。

【0044】

Ｓ７１０：第２のアプリケーション６０４が、画像関連データとして仮想現実世界において仮想カメラにより捕捉された仮想現実データを提供する。

【0045】

Ｓ７１２：第２のモバイル装置６２０のカメラフレームワークレイヤ６２６が、第１のアプリケーション６０２からの要求に応答してカメラ制御の命令を送信する。

【0046】

Ｓ７１４：第２のモバイル装置６２０のカメラハードウェア抽象化レイヤ６２８が、第２のモバイル装置６２０のカメラフレームワークレイヤ６２６からの命令に応答し、制御コマンドを第２のモバイル装置６２０の物理カメラ６３２に送信する。

【0047】

Ｓ７１６：第２のモバイル装置６２０の物理カメラ６３２が、画像関連データとして物理カメラ６３２により捕捉された現実シーンデータを提供する。

【0048】

Ｓ７１８：第１のアプリケーション６０２が、第１のモバイル装置６００のカメラハードウェア抽象化レイヤ６０８を介して第２のアプリケーション６０４から仮想現実データを、及び／又は第２のモバイル装置６２０のカメラハードウェア抽象化レイヤ６２８を介して第２のモバイル装置６２０の物理カメラ６３２から現実シーンデータを受信する。

【0049】

Ｓ７２０：第１のモバイル装置６００及び第２のモバイル装置６２０のうち少なくとも１つが、仮想現実データ及び／又は現実シーンデータにより生成された画像をユーザに対して表示する。

【0050】

ステップＳ７０２において、アプリケーション６０２は画像関連データの要求を送信する。一実施例において、要求の送信は、第１のモバイル装置６００及び／又は第２のモバイル装置６２０の１つ以上のユーザ操作によりトリガされる。例えば、ユーザ操作は、第１のモバイル装置６００のユーザが電話を行うために第１のモバイル装置６００の表示画面上で仮想ボタンを押し、次いで、第２のモバイル装置６２０の別のユーザが電話に応答するために第２のモバイル装置６２０の表示画面上で物理ボタンを押すことである。

【0051】

ステップＳ７０４及びＳ７１２において、カメラフレームワークレイヤ６０６及びカメラフレームワークレイヤ６２６は、それぞれ、アプリケーション６０２からの要求に応答してカメラ制御の命令を送信する。次いで、ステップＳ７０６及びＳ７１４において、カメラハードウェア抽象化レイヤ６０８及びカメラハードウェア抽象化レイヤ６２８が、それぞれ、カメラフレームワークレイヤ６０６からの命令に応答する。

【0052】

ステップＳ７０８において、方法２００のステップＳ２０８と同様に、制御レイヤ６１０はカメラハードウェア抽象化レイヤ６０８の制御を行うことができ、それにより、カメラハードウェア抽象化レイヤ６０８は、画像関連データを獲得するために制御コマンドを少なくとも１つのターゲットデータリソースに送信するように制御される。この実施例において、カメラハードウェア抽象化レイヤ６０８は、画像関連データとして仮想現実データを獲得するために１つのみの制御コマンドをアプリケーション６０４に送信するように制御される。１つ以上のカメラ６１４、６１６を含む第１のモバイル装置６００の物理カメラ６１２は、制御コマンドを受信されない。

【0053】

ステップＳ７１０及びＳ７１６において、第２のアプリケーション６０４と物理カメラ６３２とは、それぞれ、仮想現実世界において仮想カメラにより捕捉された仮想現実データと物理カメラ６３２により捕捉された現実シーンデータとを提供する。物理カメラ６３２は１つ以上のカメラ６３４、６３６を含む。

【0054】

ステップＳ７１８において、アプリケーション６０２は、カメラハードウェア抽象化レイヤ６０６及びカメラハードウェア抽象化レイヤ６２６から仮想現実データ及び／又は現実シーンデータを受信する。次いで、ステップＳ７１８において、第１のモバイル装置６００及び第２のモバイル装置６２０のうち少なくとも１つが、仮想現実データ及び／又は現実シーンデータにより生成された画像をユーザに対して表示する。

【0055】

カメラハードウェア抽象化レイヤ６０８が１つのみの制御コマンドをアプリケーション６０４に送信するように制御されるため、置換機能が実現されることに留意する。

【0056】

さらに、他の実施例において、ステップＳ７１０、Ｓ７１２、Ｓ７１６は省略でき、第１のモバイル装置６００及び／又は第２のモバイル装置６２０は、仮想現実データにより生成された画像のみ表示できる。

【0057】

要約すると、本開示は制御レイヤを有する仮想現実機器を開示し、それにより、仮想現実機器は置換機能及び／又は重ね合わせ機能を実現できる。

【0058】

当業者は、本発明の教示を保有する間、装置及び方法についての多数の修正及び変更がなされ得ることを容易に観察するであろう。したがって、上記開示は、別記の請求項の範囲及び境界によってのみ限定されるとみなされるべきである。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7A】

【図7B】