特許 7191853 ヘッドマウントディスプレイおよび方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-12-09

(45)【発行日】2022-12-19

(54)【発明の名称】ヘッドマウントディスプレイおよび方法

(51)【国際特許分類】

   G06T 19/00 20110101AFI20221212BHJP

   G06F 3/0346 20130101ALI20221212BHJP

   G06F 3/01 20060101ALI20221212BHJP

   H04N 5/66 20060101ALI20221212BHJP

   G09G 5/00 20060101ALI20221212BHJP

   G09G 5/36 20060101ALI20221212BHJP

【ＦＩ】

G06T19/00 600

G06F3/0346 422

G06F3/01 570

H04N5/66 D

G09G5/00 510A

G09G5/00 550C

G09G5/36 520P

G09G5/00 530M

【請求項の数】 14

(21)【出願番号】P 2019558509

(86)(22)【出願日】2018-04-26

(65)【公表番号】

(43)【公表日】2020-07-09

(86)【国際出願番号】 GB2018051092

(87)【国際公開番号】W WO2018203037

(87)【国際公開日】2018-11-08

【審査請求日】2021-03-26

(31)【優先権主張番号】1707133.3

(32)【優先日】2017-05-04

(33)【優先権主張国・地域又は機関】GB

(73)【特許権者】

【識別番号】310021766

【氏名又は名称】株式会社ソニー・インタラクティブエンタテインメント

(74)【代理人】

【識別番号】100105924

【弁理士】

【氏名又は名称】森下 賢樹

(72)【発明者】

【氏名】ラゴーバーダヤル、シャーウィン ウィネシュ

(72)【発明者】

【氏名】ベンソン、サイモン マーク

【審査官】梅本 章子

(56)【参考文献】

【文献】国際公開第２０１６／０２１２５２（ＷＯ，Ａ１）

【文献】国際公開第２０１６／１９４８４４（ＷＯ，Ａ１）

【文献】国際公開第２０１５／１１１２８３（ＷＯ，Ａ１）

【文献】欧州特許出願公開第０２９９６０１７（ＥＰ，Ａ１）

【文献】特許第５９９６８１４（ＪＰ，Ｂ１）

【文献】特表２０１６－５２６２３７（ＪＰ，Ａ）

【文献】特表２０１６－５０６５３０（ＪＰ，Ａ）

【文献】国際公開第２０１２／１２４２５０（ＷＯ，Ａ１）

【文献】国際公開第２０１５／１２５６２６（ＷＯ，Ａ１）

【文献】国際公開第２０１７／０４８５１９（ＷＯ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ １１／００－１９／２０

Ｇ０６Ｆ ３／０１

Ｇ０６Ｆ ３／０３３－３／０３９

Ｇ０６Ｆ ３／０４８－３／０４８９５

Ｈ０４Ｎ ５／６４－５／７４

Ｇ０９Ｇ ５／００－５／４２

(57)【特許請求の範囲】

【請求項1】

モバイルデバイス画面を表示するシステムであって、
ユーザに第１コンテンツを表示するためのヘッドマウントディスプレイと、
前記ヘッドマウントディスプレイに搭載されたビデオカメラであって、前記ユーザの前のシーンのビデオ画像をキャプチャするように機能するビデオカメラと、
モバイルデバイス画面を含む前記キャプチャされたビデオ画像の画面領域を検出するように機能する領域検出プロセッサと、
前記ヘッドマウントディスプレイにおける前記表示された第１コンテンツの対応する領域を、前記モバイルデバイス画面を含む前記キャプチャされたビデオ画像の前記検出された画面領域で置き換えるように機能する画像プロセッサと、
前記ヘッドマウントディスプレイに対する前記キャプチャされたビデオ画像内の複数の光源の相対位置を第１所定期間記録し、後続のキャプチャされたビデオ画像内の候補画面領域として前記複数の光源を無視するように構成された較正プロセッサとを含む、システム。

【請求項2】

前記領域検出プロセッサは、前記キャプチャされた画像における候補画面領域の明度に応じて、モバイルデバイス画面を含む前記キャプチャされたビデオ画像の前記画面領域を検出するように機能する、請求項１のシステム。

【請求項3】

距離検出プロセッサをさらに含み、前記領域検出プロセッサは、前記ビデオカメラからの候補画面領域の距離に応じて、前記モバイルデバイス画面を含む前記キャプチャされたビデオ画像の前記画面領域を検出するように機能する、請求項１または２のシステム。

【請求項4】

前記第１コンテンツのソースによって補助ディスプレイに現在出力されている画像に対応する前記キャプチャされたビデオ画像内の候補画面領域を無視するように構成された画像相関器をさらに含む、請求項１から３のいずれかのシステム。

【請求項5】

前記第１コンテンツのソースに現在関連付けられている発光制御デバイスに対応する
ｉ．色、および
ｉｉ．位置
からなるリストから選択された１つ以上を有する光源を候補画面領域として無視するように構成された制御相関器をさらに含む、請求項１から４のいずれかのシステム。

【請求項6】

方向検出器をさらに含み、前記領域検出プロセッサは、前記ヘッドマウントディスプレイが水平線に関して所定の角度よりも下を向いているときだけ、モバイルデバイス画面を含む前記キャプチャされたビデオ画像の画面領域を検出するように機能する、請求項１から５のいずれかのシステム。

【請求項7】

前記画像プロセッサは、前記キャプチャされたビデオ画像内の前記モバイルデバイス画面の位置を前記ヘッドマウントディスプレイのディスプレイ内の対応する位置に移すことによって、前記キャプチャされたビデオ画像の前記対応する画面領域で置換されるべき前記ヘッドマウントディスプレイにおける前記表示された第１コンテンツの前記領域を選択するように機能する、請求項１から６のいずれかのシステム。

【請求項8】

前記ヘッドマウントディスプレイが立体視ディスプレイのペアを含む場合、前記画像プロセッサは、所定の視差を生成するように相対的オフセットをもつ各ディスプレイに対する領域を選択するように適合される、請求項７のシステム。

【請求項9】

前記相対的オフセットは、
ｉ．通常使用の間、ユーザがモバイルデバイスを前記ビデオカメラから離してもつ平均距離に対する所定のオフセット；および
ｉｉ．距離検出プロセッサによって取得された距離値
を含むリストから選択された１つである、請求項８のシステム。

【請求項10】

前記ビデオカメラは立体画像をキャプチャするように機能する立体ビデオカメラであり、
前記相対的オフセットは、前記立体画像内の前記モバイルデバイス画面の前記ビデオカメラからの相対的オフセットの関数である、請求項８のシステム。

【請求項11】

モバイルデバイス画面を表示する方法であって、
ヘッドマウントディスプレイを通してユーザに第１コンテンツを表示するステップと、
前記ヘッドマウントディスプレイに搭載されたビデオカメラから前記ユーザの前のシーンをキャプチャするステップと、
モバイルデバイス画面を含む前記キャプチャされたビデオ画像の画面領域を検出するステップと、
前記ヘッドマウントディスプレイに前記表示された第１コンテンツの対応領域を、前記モバイルデバイス画面を含む前記キャプチャされたビデオ画像の前記検出された画面領域で置換するステップと、
前記ヘッドマウントディスプレイに対する前記キャプチャされたビデオ画像内の複数の光源の相対位置を第１所定期間記録し、後続のキャプチャされたビデオ画像内の候補画面領域として前記複数の光源を無視するステップとを含む、方法。

【請求項12】

前記検出するステップは、
ｉ．前記ビデオ画像の背景領域に対する画像の相対的明度に応じて、前記ビデオ画像の候補画面領域を選択すること；
ｉｉ．前記ビデオカメラからの領域の検出された距離に応じて、前記ビデオ画像の候補画面領域を選択すること；
ｉｉｉ．前記第１コンテンツのソースからの既知の出力と相関する前記ビデオ画像の候補画面領域を無視すること；
ｉｖ．前記第１コンテンツに現在関連付けられている既知の発光制御デバイスに対応する色および／または位置を有する前記ビデオ画像の候補画面領域を無視すること；および
ｖ．較正ステップの間に特定された光源に対する位置を有する前記ビデオ画像の候補画面領域を無視すること
からなるリストから選択された１つ以上を含む、請求項１１の方法。

【請求項13】

前記ヘッドマウントディスプレイの向きを検出するステップをさらに含み、
モバイルデバイス画面を含む前記キャプチャされたビデオ画像の画面領域を検出するステップは、前記ヘッドマウントディスプレイが水平線に関して所定の角度より下を向いているかどうかに応じてなされる、請求項１１の方法。

【請求項14】

コンピュータシステムに請求項１１～１３のいずれかの方法を実行させるように適合されたコンピュータ実行可能な命令を含むコンピュータ読み取り可能媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、ヘッドマウントディスプレイおよび方法に関する。

【背景技術】

【0002】

最新のビデオゲームは非常に没入感のある体験を提供できるが、最近、これはソニー（登録商標）ヘッドマウントディスプレイ（ＨＭＤ）などのバーチャルリアリティシステムの登場により強化されている。ＨＭＤは、立体視コンテンツを提示するために立体ディスプレイ（たとえば左目用および右目用ディスプレイ画面）をユーザの目の正面に配置し、ＨＭＤの現在の向きを（ソニープレイステーション４（登録商標）などの）コンテンツソースにリレーすることによって、表示された視点を変更してユーザの頭の動きを追跡できるようにする。主観的な体験は、ユーザがコンテンツに没頭し、自由に見回せることである。コンテンツは典型的にはビデオゲームの仮想環境であるが、パノラマ写真やビデオ、または仮想環境と仮想映画などの事前に記録されたコンテンツの組み合わせでも同様である。

【0003】

これを実現するために、ユーザはＨＭＤを頭に装着し、ローカル環境の通常のビューをブロックしなければならない。また、オプションとして、ディスプレイを目の位置に適切に合わせて快適に頭の上に置くためのさらなる調整が必要である。結果として、プレイ中に不必要にＨＭＤを取り外して再配置することを避けることが望ましい。

【0004】

もっともユーザは、通常ＨＭＤを取り外す必要がある実世界のアクティビティを実行したい場合がある。そのようなアクティビティは、電話、タブレット、または他のモバイルデバイスで通話、テキスト、およびその他のコンテンツを確認することである。

【0005】

一つの解決策は、モバイルデバイスを（たとえばブルートゥース（登録商標）またはＷｉＦｉ（登録商標）ダイレクト（登録商標）を介して）プレイステーション（登録商標）と同期することにより、通知をプレイステーション（登録商標）に中継し、その上でＨＭＤに中継できるようにすることである。ただし、これには、この目的のために電話のコンテンツに幅広くアクセスできるアプリを電話にインストールする必要があり、これは望ましくないと見なされる場合がある。さらに、通信により、モバイルデバイスの電力消費が増加する場合がある。

【0006】

したがって、代替解決策が必要である。

【0007】

本発明は、上記の問題に対処または軽減することを目的とする。

【発明の概要】

【0008】

第１の態様では、モバイルデバイス画面を表示するためのシステムが請求項１に従って提供される。

【0009】

別の態様では、モバイルデバイス画面を表示するための方法が請求項１２に従って提供される。

【0010】

本発明のさらなるそれぞれの態様および特徴は、添付の特許請求の範囲に定義されている。

【図面の簡単な説明】

【0011】

次に、本発明の実施の形態を、添付図面を参照して例として説明する。

【図1】本発明の一実施の形態によるヘッドマウントディスプレイおよびビデオゲームコンソールの概略図である。

【図2】本発明の一実施の形態によるモバイルデバイス画面を表示する方法のフロー図である。

【発明を実施するための形態】

【0012】

ヘッドマウントディスプレイおよび対応する方法が開示される。以下の説明では、本発明の実施形態の完全な理解を提供するために、いくつかの特定の詳細が提示されている。しかし、これらの特定の詳細を使用して本発明を実施する必要がないことは、当業者には明らかであろう。逆に、当業者に知られている特定の詳細は、明確にするために必要に応じて省略されている。

【0013】

図１は、Ｓｏｎｙ（登録商標）ＰｌａｙＳｔａｔｉｏｎ ４（登録商標）娯楽装置のシステム全体のアーキテクチャを概略的に示す。システムユニット１０には、システムユニットに接続可能な様々な周辺装置が設けられている。

【0014】

システムユニット１０は、中央処理装置（ＣＰＵ）２０Ａおよびグラフィック処理装置（ＧＰＵ）２０Ｂを含む単一チップである加速処理装置（ＡＰＵ）２０を含む。ＡＰＵ２０は、ランダムアクセスメモリ（ＲＡＭ）ユニット２２にアクセスする。

【0015】

ＡＰＵ２０は、任意選択でＩ／Ｏブリッジ２４を介して、バス４０と通信し、Ｉ／Ｏブリッジ２４は、ＡＰＵ２０の別個の構成要素またはその一部であってもよい。

【0016】

バス４０に接続されているのは、ハードディスクドライブ３７、および互換性のある光ディスク３６Ａ上のデータにアクセスするように動作可能なブルーレイ（登録商標）ドライブ３６などのデータ記憶構成要素である。さらに、ＲＡＭユニット２２はバス４０と通信することができる。

【0017】

任意選択でバス４０には補助プロセッサ３８も接続されている。補助プロセッサ３８は、オペレーティングシステムを実行またはサポートするために提供されてもよい。

【0018】

システムユニット１０は、オーディオ／ビジュアル入力ポート３１、イーサネット（登録商標）ポート３２、ブルートゥース（登録商標）無線リンク３３、Ｗｉ－Ｆｉ（登録商標）無線リンク３４、あるいは１つまたは複数のユニバーサルシリアルバス（ＵＳＢ）ポート３５を介して周辺装置と適宜通信する。オーディオおよびビデオは、ＨＤＭＩ（登録商標）ポートなどのＡＶ出力３９を介して出力されてもよい。

【0019】

周辺装置は、ＰｌａｙＳｔａｔｉｏｎ Ｅｙｅ（登録商標）などの単眼または立体ビデオカメラ４１、ＰｌａｙＳｔａｔｉｏｎ Ｍｏｖｅ（登録商標）などのワンドスタイルのビデオゲームコントローラ４２およびＤｕａｌＳｈｏｃｋ４（登録商標）などの従来のハンドヘルドビデオゲームコントローラ４３、ＰｌａｙＳｔａｔｉｏｎ Ｐｏｒｔａｂｌｅ（登録商標）およびＰｌａｙＳｔａｔｉｏｎ Ｖｉｔａ（登録商標）などの携帯娯楽装置４４、キーボード４５および／またはマウス４６、例えばリモコンの形態のメディアコントローラ４７、ならびにヘッドセット４８を含んでもよい。プリンタ、または３Ｄプリンタ（図示せず）などの他の周辺装置も同様に考慮することができる。

【0020】

ＧＰＵ２０Ｂは、任意選択でＣＰＵ２０Ａと連携して、ＡＶ出力３９を介して出力するためのビデオ画像およびオーディオを生成する。任意選択で、オーディオは、オーディオプロセッサ（図示せず）と共に、または代わりにそれによって生成されてもよい。

【0021】

ビデオおよび任意選択的にオーディオはテレビ５１に提示されてもよい。テレビによってサポートされている場合、ビデオは立体的であってもよい。オーディオは、ステレオ、５．１サラウンドサウンドまたは７．１サラウンドサウンドなどのいくつかのフォーマットのうちの１つでホームシネマシステム５２に提示されてもよい。ビデオおよびオーディオも同様に、ユーザ６０が装着しているヘッドマウントディスプレイユニット５３に提示されてもよい。

【0022】

出力に関して、ＧＰＵは、典型的には、１０８０ｐの高解像度画像をＡＶ出力３９に生成する。これらの画像のフレームレートは、さまざまであってよい。画像は、典型的には、標準のＨＤＭＩ接続を介し、随意によりＡＶレシーバ（図示せず）を介して、テレビ受像機５１へと伝えられる。テレビ受像機が立体表示をサポートする場合、随意によりユーザからのコマンドに応答して、１０８０ｐ高解像度を、例えば左右並列フォーマットを使用して立体画像としてフォーマットすることができる。次いで、テレビ受像機は、画像を２つに分割し、各々を全幅へと補間して、特別に構成された眼鏡の使用または裸眼立体ディスプレイからの指向性の光路の使用のいずれかによって、ユーザの左右の目にそれぞれ提示する。

【0023】

随意により、補助オーディオプロセッサ（図示せず）と連携して、ＡＰＵ２０は、ＡＶ出力３９を介して出力されるオーディオを生成する。オーディオ信号は、典型的には、ステレオ形式またはいくつかのサラウンドサウンド形式のうちの１つである。やはりこれも、典型的には、ＨＤＭＩ規格の接続を介してテレビ受像機５１に伝えられる。これに代え、あるいはこれに加えて、オーディオ信号を、オーディオ信号フォーマットを復号してホームシネマシステム５２に提示するＡＶレシーバ（図示せず）に伝えてもよい。オーディオを、無線リンクを介してヘッドセット４８または手持ち型のコントローラ４３へともたらしてもよい。次いで、手持ち型のコントローラは、ヘッドフォンまたはヘッドセットの接続を可能にするためのオーディオジャックを備えることができる。

【0024】

最後に、ビデオおよび随意によるオーディオを、Ｓｏｎｙ ＰｌａｙＳｔａｔｉｏｎ ＶＲ（登録商標）ディスプレイなどのヘッドマウントディスプレイ（ＨＭＤ）５３に伝えることができる。ヘッドマウントディスプレイは、典型的には、ユーザの目の前方にそれぞれ取り付けられた２つの小型の表示ユニットを備え、随意により、これらの表示ユニットには、ユーザが表示ユニットに焦点を合わせることを可能にするための適切な光学系が組み合わせられる。あるいは、１つ以上の表示源をユーザの頭部の側方に取り付け、表示画像または各々の表示画像をユーザの目にそれぞれ提示するように導光体に動作可能に組み合わせることができる。あるいは、１つ以上の表示源をユーザの目の上方に取り付け、ミラーまたはハーフミラーを介してユーザに提示することができる。この後者の場合において、表示源は、画面の左側および右側部分がユーザの左右の目のためのそれぞれの画像を表示する分割画面出力を随意により表示する携帯電話機または携帯型エンターテイメント機器４４であってよい。それらのヘッドマウントディスプレイは、一体のヘッドフォンを備えることができ、あるいはヘッドフォンへの接続が可能であってよい。同様に、ヘッドマウントディスプレイは、一体のマイクロフォンを備えることができ、あるいはマイクロフォンへの接続が可能であってよい。

【0025】

動作中、娯楽装置はデフォルトでＦｒｅｅＢＳＤ ９．０の変種などのオペレーティングシステムになる。オペレーティングシステムは、ＣＰＵ２０Ａ、補助プロセッサ３８、またはこれら２つの混合物上で動作することができる。オペレーティングシステムは、ＰｌａｙＳｔａｔｉｏｎ Ｄｙｎａｍｉｃ Ｍｅｎｕなどのグラフィカルユーザインターフェースをユーザに提供する。このメニューにより、ユーザはオペレーティングシステムの機能にアクセスし、ゲームや任意選択的に他のコンテンツを選択することができる。

【0026】

Ｓｏｎｙ ＰｌａｙＳｔａｔｉｏｎ ＶＲユニットおよびＳｏｎｙ ＰｌａｙＳｔａｔｉｏｎ ４は、本発明の実施の形態に関して本明細書で説明されるＨＭＤおよびコンソールの非限定的な例を示す。

【0027】

したがって、再び図１を参照すると、本発明の一実施の形態では、モバイルデバイス画面を表示するためのシステムが提供される。このシステムは、第１コンテンツをユーザに表示するためのヘッドマウントディスプレイを備える。第１のコンテンツは、ビデオゲーム、ライブまたは事前に記録されたビデオ、ビデオ会議またはテレプレゼンスフィード、または仮想書籍などのＨＭＤによる表示に適した他のコンテンツであってもよい。モバイルデバイスは、典型的には、たとえば、電話、タブレット、ラップトップ、またはいくつかの種類のＡＶリモートコントロールなど、画面を持つ任意のハンドヘルドデバイスである。このシステムは、それ自身で（統合ユニットとして、または別個のモバイルコンピューティングデバイスの挿入／取り付けによって）コンテンツを生成または受信するように機能するヘッドマウントディスプレイを備える、および／または、このシステムは、何らかの形でコンテンツをＨＭＤに中継する前にコンテンツを生成または受信するビデオゲームコンソール、パーソナルコンピュータ、またはクラウドサービスを含んでもよい。したがって、システム（またはシステムの使用モード）に応じて、ＨＭＤまたはビデオゲームコンソールやサーバなどのリモートデバイスが第１コンテンツのソースになり得る。

【0028】

このシステムは、ヘッドマウントディスプレイに取り付けられたビデオカメラをさらに備え、ビデオカメラは、ユーザの前のシーンのビデオ画像をキャプチャするように動作可能である。ビデオカメラは、モノスコピックでもステレオでもよく、および／または超音波または赤外線巻尺を使用して、または構造化された光（典型的には近赤外における所定のパターンであり、キャプチャされたシーンの表面に投影されたパターンの大きさがカメラからその表面までの距離を示す）の投影を通して深度検出を実装してもよい。カメラは任意の適切な解像度であり得る。カメラは、デフォルトでＨＭＤに水平に取り付けられるか、または、通常の使用時にモバイルデバイスを保持しているときにユーザの手が予想される領域に向かって下向きになるように取り付けられる。カメラはまた、上下または左右に旋回可能である。オプションとして、ピボットの量を示す信号がセンサによって生成されてもよい。

【0029】

カメラの出力は、オプションで圧縮または他の符号化をした後、モバイルデバイス画面を含むキャプチャされたビデオ画像の領域を検出するように動作可能な領域検出プロセッサに供給される。

【0030】

領域検出プロセッサは、適切なソフトウェア命令の下で動作するＨＭＤのＣＰＵ、または（たとえば、これが第１コンテンツのソースである場合）ビデオゲームコンソール、ＰＣ、サーバなどのリモートデバイスのＣＰＵ、またはそのようなＣＰＵの組み合わせであってもよい。

【0031】

モバイルデバイス画面を含むキャプチャされたビデオ画像の領域を検出するための技術は、本明細書で後述される。

【0032】

そのような領域が検出された場合、画像プロセッサは、ヘッドマウントディスプレイに表示された第１コンテンツの対応する領域を、モバイルデバイス画面を含むキャプチャされたビデオ画像の検出領域で置き換えるように動作可能である。

【0033】

再び、画像プロセッサは、ＨＭＤのＣＰＵおよび／またはグラフィックプロセッサ、または適切なソフトウェア命令の下で動作する第１のコンテンツの他のソースであってもよい。

【0034】

置換は、（たとえば、ソースがビデオゲームコンソールであり画像プロセッサがＨＭＤ内にある場合にそうであるように、画像プロセッサをホストするデバイスとは別のソースデバイスから第１コンテンツが受信される場合）第１コンテンツを既存の領域に重畳させることを含んでもよい。あるいは、（たとえば、第１コンテンツのソースが画像プロセッサをホストするデバイスである場合、この場合は重畳または挿入のいずれも可能であることが理解されるであろうが）第１コンテンツの元の領域がレンダリングまたは再レンダリングされないように、たとえばスプライトまたはテクスチャとしてレンダリングまたはリプロジェクション処理に挿入してもよい。

【0035】

いずれにしても、その効果は、モバイルデバイス画面に対応するキャプチャされたビデオ画像の領域がＨＭＤに表示された画像に組み込まれることである。

【0036】

したがって、有利なことには、ユーザは単に自分のデバイスを「見る」（すなわち、ビデオカメラの視野がモバイルデバイスのディスプレイを含むように頭を向ける）だけでモバイルデバイスの画面に表示されている情報を見ることができる。その結果、画面のコンテンツを見るために、ＨＭＤを外したり、何らかの方法でモバイルデバイスをＨＭＤまたは第１コンテンツのリモートソースと同期させる必要はない。

【0037】

本明細書で前述したように、領域検出プロセッサは、モバイルデバイス画面を含むキャプチャされたビデオ画像の領域を検出するために適切に１つまたは複数の手法を逐次的または並列に使用してもよい。

【0038】

第１の手法では、領域検出プロセッサは、キャプチャされた画像内の画面の明るさに応じて、モバイルデバイス画面を含むキャプチャされたビデオ画像の領域を検出する。

【0039】

したがって、例えば、取り込まれたビデオ画像の平均輝度を決定し、その平均を超える所定の量または割合の輝度値を有する画像ピクセルを選択してもよい。その代わりにまたはそれに加えて、絶対輝度しきい値を使用してもよい。隣接する領域を形成するピクセルのみが選択されるという制約もまた適用してもよく、最小ピクセル面積のしきい値もまた適用してもよい。モバイルデバイスの表示テキストが黒であり、そのためキャプチャされた画像の対応ピクセルが適切な輝度値を持たない可能性があるという事実を説明するために、このような領域内の選択ギャップを埋めるための手法（たとえばブルーム）を使用してもよい。その代わりに、明るい領域が特定された場合、その領域を近似するピクセルの四角形を選択してもよく、それにより明るい領域内のすべての潜在的なコンテンツを包含してもよい。

【0040】

いずれにしても、オプションとして、検出された領域を１以上の方向に明るい領域を超えて所定量だけ拡大してもよい。これにより、ユーザは画面に近づくにつれて自分の手または指を少なくとも部分的に見ることができ、テキストメッセージやその他のタッチベースの操作が容易になる。オプションとして、ユーザが１以上の方向に所定の量を設定できるようにしてもよく、その結果、たとえばデバイスのディスプレイの下に配置された物理キーボード（たとえば、Ｂｌａｃｋｂｅｒｒｙ（登録商標）デバイスまたは一部のフィーチャーフォンの場合）も検出された領域内にキャプチャされる。

【0041】

別の手法では、当該システムは距離検出プロセッサを含む。ここでもこれはＨＭＤのＣＰＵまたは適切なソフトウェア命令の下で動作するリモートデバイスであってもよい。このプロセッサは、備えられているものによるが、カメラに関連付けられたＩＲまたは超音波テープ測定から距離測定を受信する、または構造化光パターンのスケールを既知の距離で参照テンプレートと比較する、またはカメラからの立体画像ペア上の視差検出を実行することにより、シーン内のオブジェクトのカメラからの距離を検出する。オプションの制約は、検出された領域がしきい値の許容範囲内で平坦であることである。

【0042】

第１の手法と連携して動作する場合、このような分析は画像の明るい（オプションとして、より制限の少ない輝度基準、たとえばより低い相対／絶対輝度しきい値で識別される）領域に制限してもよい。

【0043】

次いで、距離検出プロセッサの結果に基づいて、領域検出プロセッサは、ビデオカメラからの候補領域の距離に応じて、画面を含むキャプチャされたビデオ画像の領域を検出するように動作可能である。

【0044】

したがって、たとえば、カメラから１メートル（または代表的な人々の腕の長さを表すように選択された距離）以上離れていると判断された明るい領域は、モバイルデバイスの画面に対応する領域として考慮から除外されることがある。

【0045】

これは、キャプチャされたビデオ画像内に存在する可能性のあるテレビ、窓、電球などの潜在的な誤判定を排除するのに役立つ。

【0046】

これらの技術のいずれかと併せて、任意選択で、当該システムは、さもなければキャプチャされたビデオ画像内の候補画面領域と見なされる可能性のある画像の誤判定領域を除去することを目的とした機能を備えてもよい。

【0047】

したがって、オプションとして、当該システムは画像相関器を備えてもよい。ここでもこれは、ＨＭＤのＣＰＵおよび／またはグラフィックプロセッサ、または適切なソフトウェア命令の下で動作する第１コンテンツのリモートソースであってもよい。

【0048】

画像相関器は、第１コンテンツのソースによって補助ディスプレイに現在出力されている画像に対応するキャプチャされたビデオ画像内の候補画面領域を無視するように構成される。

【0049】

したがって、たとえば、ビデオゲームコンソールが第１コンテンツをＨＭＤに出力するとともに、たとえば友人がＨＭＤのユーザが見ているものを見ることができるように、またはさもなければ彼らの進行状況／活動を監視することができるように、潜在的に第１コンテンツ（または他の典型的には補完的なコンテンツ）もテレビに出力する場合、画面のコンテンツは第１コンテンツのソースに知られている。したがって、画像相関器が第１コンテンツのソースデバイスにある場合、画像相関器は、キャプチャされた画像の候補画面領域をテレビの既知の出力と比較することができ、所定のしきい値を超える相関がある場合、その候補領域を無視することができる。

【0050】

一方、画像相関器がＨＭＤにあり、これがテレビに表示される画像のソースではない場合、オプションとして、テレビに表示される画像の低解像度プロキシ画像を、たとえば同様の相関、しきい値、およびＨＭＤによって実行される条件付き無視プロセスに対するメタデータとして、ＨＭＤに中継することができる。

【0051】

画像相関器と同様に、オプションとして、制御相関器を配置して、第１コンテンツのソースに現在関連付けられている発光制御デバイスに対応する色および位置からなるリストから選択された１つまたは複数を含む光源を候補画面領域として無視するようにしてもよい。

【0052】

したがって、上記の手法のいずれかと組み合わせて操作する場合、（たとえば、明るさおよび／または位置によって選択された）候補領域がコントローラのライトの既知の色（たとえば、ＰＳ４で設定されたＰｌａｙＳｔａｔｉｏｎ Ｍｏｖｅ（登録商標）コントローラまたはＤｕａｌＳｈｏｃｋ４（登録商標）コントローラ上のライトの色）と相関する場合、また、特に球状のＭｏｖｅコントローラの場合の潜在的には既知のライトの形状と相関する場合、その領域を無視してもよい。その代わりにまたはそれに加えて、オプションとして、キャプチャされた画像の領域が、（たとえばＨＭＤおよびコントローラからの動き検出テレメトリ、および／またはリモートカメラの画像分析に基づいて）そのようなコントローラの計算された位置に対応するように計算される場合、その領域を無視してもよい。

【0053】

再びオプションとして、当該システムは較正プロセッサを備えてもよい。ここでもこれは、ＨＭＤのＣＰＵおよび／またはグラフィックプロセッサ、または適切なソフトウェア命令の下で動作する第１コンテンツのリモートソースであってもよい。

【0054】

オプションとして、較正プロセッサは、キャプチャされたビデオ画像内の光源のヘッドマウントディスプレイに対する相対位置を少なくとも第１所定期間記録し、これらの光源を後続のキャプチャされたビデオ画像内の候補画面領域として無視するように構成される。

【0055】

したがって、例えば、ユーザにとってローカルな環境の光マップが、較正ステップに対応する第１所定期間中に生成されてもよい。これは、ユーザに通知し、自分の周りまたは所定の領域内をユーザに見るように求め、明るい領域をＨＭＤからの動きテレメトリおよび／またはリモートカメラフィードの画像分析と相関させることに基づいて、明るい領域がＨＭＤに関してどこで見つかるかを保存するという意味での正式なキャリブレーションプロセスである。あるいは、第１所定期間は、ユーザがその画面を見ることを目的としてモバイルデバイスを保持していないと仮定することが合理的である時であってもよい。したがって、たとえば、２つのハンドヘルドコントローラ（左右のＭｏｖｅコントローラなど）の使用が検出されるか、両手持ちのコントローラ（ＤｕａｌＳｈｏｃｋ４など）の使用が検出される時である。このようにして、潜在的に連続した期間にわたって、光マップが構築されてもよい。オプションとして、可能な場合、対応する距離マップも作成してもよい。

【0056】

その後、キャプチャされたビデオ画像内の候補の明るい領域は、光マップの領域と一致する場合は無視することができる。ただし、オプションとしてキャプチャされたビデオ画像内の候補領域の距離が光マップの明るい領域よりも近い場合を除く。この情報が利用できる場合、これは、モバイルデバイスが背景の明るい領域の前に置かれていることを示している可能性があるからである。

【0057】

再びオプションとして、当該システムは方向検出器を備えてもよい。典型的には、これは、ＨＭＤの加速度計および／またはジャイロセンサであるか、または、ＨＭＤのＣＰＵおよび／またはグラフィックプロセッサ、またはオプティカルフロー技術または類似技術を用いてキャプチャされたビデオ画像から向きを決定するために適切なソフトウェア命令の下で動作する第１コンテンツのリモートソースを含んでもよい。

【0058】

いずれにせよ、この場合、オプションとして、領域検出プロセッサは、ヘッドマウントディスプレイが水平に対して所定の角度より下を向いている場合にだけ、モバイルデバイス画面を含むキャプチャされたビデオ画像の領域を検出するように動作可能である。

【0059】

したがって、これは、ユーザが画面を頭の高さまで持ち上げず、むしろ立っているときは典型的には胸と腰の高さの間、座っているときは典型的には首と腰の高さの間で画面を見下ろすことを前提としている。

【0060】

有利なことに、これにより、たとえば天井灯やほとんどの窓など、多数の光源を考慮から除外することができる。

【0061】

同様に、領域検出プロセッサは、ＨＭＤが中央位置のしきい値角度内（つまり、真正面を向いたデフォルト位置の左右に＋／－Ｎ度以内）にある場合にのみ、キャプチャされたビデオ画像の領域を検出してもよい。これは同様に、ユーザが画面を顔の左または右に持たず、代わりに一般的には顔の正面に持っていることを前提としている。

【0062】

水平からのしきい値角度と横方向のしきい値角度の組み合わせにより、その中で領域検出を実行する（または同様にその外側で候補領域を無視する）ためのユーザの環境内の直線領域を形成することができ、モバイルデバイス画面以外のすべてではないが多くの光源を有利に除外するであろう。

【0063】

本明細書で前述した検出技術と拒絶／無視／除外方法の任意の適切な組み合わせを使用して、キャプチャされた画像の候補領域をＨＭＤへの表示用に選択してもよい。

【0064】

ＨＭＤ画像に組み込まれる画面の画像もまた、ユーザの頭の動きを追跡することが望ましいことは明らかである。ユーザが頭や手を動かすと、ＨＭＤのカメラがモバイルデバイスの画面に対して移動するため、これはキャプチャされたビデオ画像内で自動的に起きることが理解される。

【0065】

したがって、本発明の実施の形態では、画像プロセッサは、キャプチャされたビデオ画像内の選択された画面領域の位置をヘッドマウントディスプレイのディスプレイ内の対応位置に置き換えることにより、キャプチャされたビデオ画像の対応領域により重畳される／置換されるべきヘッドマウントディスプレイに表示された第１コンテンツの領域を選択するように動作可能である。

【0066】

オプションとして、カメラの位置ではなくユーザの目の位置と一致するように、逆投影処理を実行して、キャプチャされたビデオ画像を横切る画面領域の任意の移動をマッピングしてもよい。ただし、ユーザの頭が比較的静止している場合、そのような補正の効果はわずかである。

【0067】

ＨＭＤは典型的には、立体視ディスプレイペアを有することが理解されよう。その結果、画像プロセッサは、所定の視差を生成するために相対的なオフセットを有する各ディスプレイの領域を選択するように適合されてもよい。

【0068】

好ましくは、視差はＨＭＤカメラ（または上記のように逆投影を使用する場合は特にユーザの目）からデバイス画面までの距離に対応する。これは、画面およびユーザの手が頭／体に関連しているというユーザの固有受容と運動感覚に役立つからである。

【0069】

したがって、相対オフセットは、本明細書で前述した距離検出プロセッサによって取得された距離値、および、これが利用できない場合、ユーザが通常の使用中はビデオカメラから離してモバイルデバイスを保持する平均距離に対応する所定のオフセットから成るリストから選択された１つであってもよい。

【0070】

ビデオカメラが立体ビデオカメラである場合、相対オフセットは、ビデオカメラからの立体画像内の画面の相対オフセットの関数になり得ることが理解されよう。

【0071】

図２を参照して、モバイルデバイス画面を表示する方法は、
第１ステップｓ２１０において、ヘッドマウントディスプレイを通してユーザに第１コンテンツを表示することと；
第２ステップｓ２２０において、ヘッドマウントディスプレイに搭載されたビデオカメラからユーザの前のシーンをキャプチャすることと；
第３ステップｓ２３０において、モバイルデバイス画面を含むキャプチャされたビデオ画像の領域を検出することと；
第４ステップｓ２４０において、ヘッドマウントディスプレイに表示された第１コンテンツの対応領域を、モバイルデバイス画面を含むキャプチャされたビデオ画像の検出領域で置換することとを含む。

【0072】

上記の方法の詳細な実装は、任意の適当な組み合わせで上述の開示された技術および方法に適切に対応してもよい。

【0073】

したがって検出するステップｓ２３０は、
ビデオ画像の背景領域に対する画像の相対的明度に応じて、ビデオ画像の候補領域を選択すること、
ビデオカメラからの領域の検出された距離に応じて、ビデオ画像の候補領域を選択すること、
第１コンテンツのソースからの既知の出力と相関するビデオ画像の候補領域を無視すること、
第１コンテンツに現在関連付けられている既知の発光制御デバイスに対応する色および／または位置を有するビデオ画像の候補領域を無視すること、および
較正ステップの間に特定された光源に対する位置を有するビデオ画像の候補領域を無視すること
からなるリストから選択された１つ以上を含んでもよい。

【0074】

同様に、当該方法は、ヘッドマウントディスプレイの向きを検出するステップｓ２２５を含んでもよく、モバイルデバイス画面を含むキャプチャされたビデオ画像の領域を検出するステップ２３０は、ヘッドマウントディスプレイが水平線に関して所定の角度より下を向いているかどうかに応じてなされてもよい。

【0075】

当然のことながら、上記の方法は、ソフトウェア命令によって、または専用ハードウェアの包含または置換によって適用可能な場合は適切に適合された従来のハードウェア上で実行することができる。

【0076】

したがって、従来の同等の装置の既存の部分への必要な適応は、フロッピー（登録商標）ディスク、光ディスク、ハードディスク、ＰＲＯＭ、ＲＡＭ、フラッシュメモリ、またはこれらもしくは他の記憶媒体の任意の組み合わせなどの非一時的機械可読媒体に格納された、プロセッサ実装可能命令を含むコンピュータプログラム製品の形で実装されてもよく、あるいは、ＡＳＩＣ（特定用途向け集積回路）またはＦＰＧＡ（フィールドプログラマブルゲートアレイ）または従来の同等の装置を適合させるのに使用するのに適した他の構成可能な回路としてハードウェアで実現されてもよい。別に、そのようなコンピュータプログラムは、イーサネット、無線ネットワーク、インターネット、またはこれらもしくは他のネットワークの任意の組み合わせなどのネットワーク上のデータ信号を介して送信されてもよい。

【図1】

【図2】