特開 2022-186326 情報処理装置および画像生成方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022186326

(43)【公開日】2022-12-15

(54)【発明の名称】情報処理装置および画像生成方法

(51)【国際特許分類】

   G06F 3/01 20060101AFI20221208BHJP

   A63F 13/213 20140101ALI20221208BHJP

   A63F 13/26 20140101ALI20221208BHJP

   G06F 3/0346 20130101ALI20221208BHJP

【ＦＩ】

G06F3/01 510

A63F13/213

A63F13/26

G06F3/0346 426

【審査請求】未請求

【請求項の数】11

【出願形態】ＯＬ

(21)【出願番号】P 2021094484

(22)【出願日】2021-06-04

(71)【出願人】

【識別番号】310021766

【氏名又は名称】株式会社ソニー・インタラクティブエンタテインメント

(74)【代理人】

【識別番号】100105924

【弁理士】

【氏名又は名称】森下 賢樹

(74)【代理人】

【識別番号】100109047

【弁理士】

【氏名又は名称】村田 雄祐

(74)【代理人】

【識別番号】100109081

【弁理士】

【氏名又は名称】三木 友由

(74)【代理人】

【識別番号】100134256

【弁理士】

【氏名又は名称】青木 武司

(72)【発明者】

【氏名】南野 孝範

(72)【発明者】

【氏名】内田 真樹

【テーマコード（参考）】

5B087

5E555

【Ｆターム（参考）】

5B087AA02

5B087BC05

5B087BC32

5E555AA64

5E555BA02

5E555BA20

5E555BB02

5E555BB20

5E555BC04

5E555BE17

5E555CA42

5E555CB45

5E555CB47

5E555CC05

5E555DA05

5E555DA08

5E555DB53

5E555DC09

5E555EA22

5E555FA00

(57)【要約】

【課題】撮影画像にもとづいて、ヘッドマウントディスプレイの位置または姿勢の少なくとも一方を高精度に推定するための技術を提供する。
【解決手段】推定処理部２２２は、ヘッドマウントディスプレイの周囲を撮影した画像にもとづいて、ヘッドマウントディスプレイの位置または姿勢の少なくとも一方を推定する処理を実施する。画像生成部２３０は、ヘッドマウントディスプレイとは異なるディスプレイ装置に表示する表示画像を生成する。画像生成部２３０は、静止画である絵柄を少なくとも一部に含む表示画像を生成する。
【選択図】図４

【特許請求の範囲】

【請求項1】

ヘッドマウントディスプレイの周囲を撮影した画像にもとづいて、前記ヘッドマウントディスプレイの位置または姿勢の少なくとも一方を推定する処理を実施する推定処理部と、
前記ヘッドマウントディスプレイとは異なるディスプレイ装置に表示する表示画像を生成する画像生成部と、を備えた情報処理装置であって、
前記画像生成部は、静止画である絵柄を少なくとも一部に含む表示画像を生成する、
ことを特徴とする情報処理装置。

【請求項2】

前記画像生成部は、枠を構成する前記絵柄と、当該枠の内側に動画を含む表示画像を生成する、
ことを特徴とする請求項１に記載の情報処理装置。

【請求項3】

前記画像生成部は、静止画である前記絵柄を全面に含む表示画像を生成する、
ことを特徴とする請求項１に記載の情報処理装置。

【請求項4】

前記画像生成部は、静止画である前記絵柄をブロック画像として隅に含む表示画像を生成する、
ことを特徴とする請求項１に記載の情報処理装置。

【請求項5】

前記画像生成部は、静止画である前記絵柄を上下左右のいずれか一つの側、または複数の側に含む表示画像を生成する、
ことを特徴とする請求項１に記載の情報処理装置。

【請求項6】

前記推定処理部が推定処理を実施しているとき、前記画像生成部は、前記絵柄を含む表示画像を生成し、
前記推定処理部が推定処理を実施していないとき、前記画像生成部は、前記絵柄を含む表示画像を生成しない、
ことを特徴とする請求項１から５のいずれかに記載の情報処理装置。

【請求項7】

ユーザが頭部にヘッドマウントディスプレイを装着しているとき、前記画像生成部は、前記絵柄を含む表示画像を生成し、
ユーザが頭部にヘッドマウントディスプレイを装着していないとき、前記画像生成部は、前記絵柄を含む表示画像を生成しない、
ことを特徴とする請求項１から６のいずれかに記載の情報処理装置。

【請求項8】

前記画像生成部による絵柄表示機能の有効または無効を設定する設定部を、さらに備える、
ことを特徴とする請求項１から７のいずれかに記載の情報処理装置。

【請求項9】

前記推定処理部が推定処理に失敗したとき、前記設定部が、前記画像生成部による絵柄表示機能を有効にし、または前記画像生成部が、ヘッドマウントディスプレイに表示する表示画像であって、絵柄表示機能を有効にする選択肢を含む表示画像を生成する、
ことを特徴とする請求項８に記載の情報処理装置。

【請求項10】

ヘッドマウントディスプレイの周囲を撮影した画像にもとづいて、前記ヘッドマウントディスプレイの位置または姿勢の少なくとも一方を推定する処理を実施するステップと、
前記ヘッドマウントディスプレイとは異なるディスプレイ装置に表示する表示画像であって、静止画である絵柄を少なくとも一部に含む表示画像を生成するステップと、
を含む画像生成方法。

【請求項11】

コンピュータに、
ヘッドマウントディスプレイの周囲を撮影した画像にもとづいて、前記ヘッドマウントディスプレイの位置または姿勢の少なくとも一方を推定する処理を実施する機能と、
前記ヘッドマウントディスプレイとは異なるディスプレイ装置に表示する表示画像であって、静止画である絵柄を少なくとも一部に含む表示画像を生成する機能と、
を実現させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、ヘッドマウントディスプレイの周囲を撮影した画像にもとづいて、ヘッドマウントディスプレイの位置または姿勢の少なくとも一方を推定する技術に関する。

【背景技術】

【0002】

近年、ユーザがヘッドマウントディスプレイ（以下「ＨＭＤ」と呼ぶ。）を頭部に装着し、ＨＭＤに表示されたゲーム画像を見ながら、ゲームコントローラを操作してゲームをプレイすることが行われている。ＨＭＤのトラッキング処理を実施して、ユーザの頭部の動きにＨＭＤに表示されるゲーム空間の映像を連動させることで、映像への没入感が向上し、ゲームのエンタテインメント性を高めることができる。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１５－９５０４５号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

ＨＭＤの位置および／または姿勢を推定する技術として、ＳＬＡＭ（Simultaneous Localization And Mapping）が知られている。ＳＬＡＭは、自己位置推定と環境地図作成とを同時に行う技術であり、ＨＭＤに搭載されたカメラで撮影された画像を用いて特徴点のトラッキングを行うことで、ＨＭＤの位置および／または姿勢を推定することが可能となる。

【0005】

特徴点のトラッキング処理において、ＨＭＤの近くに動画を表示しているテレビが存在し、且つカメラが撮影する画像にテレビが大きく含まれる場合、有効な特徴点を抽出することができないために、トラッキングロストが生じることがある。特に、ＨＭＤにゲーム画像を表示しつつ、テレビにもゲーム画像を表示するゲームシステムでは、ＨＭＤに搭載されたカメラが、テレビに表示されるゲーム画像を撮影することで、トラッキング精度が悪化することがある。

【0006】

そこで本発明は、ＨＭＤとは異なるディスプレイ装置が存在する環境下において、ＨＭＤの位置または姿勢の少なくとも一方を高精度に推定するための技術を提供することを目的とする。

【課題を解決するための手段】

【0007】

上記課題を解決するために、本発明のある態様の情報処理装置は、ヘッドマウントディスプレイの周囲を撮影した画像にもとづいて、ヘッドマウントディスプレイの位置または姿勢の少なくとも一方を推定する処理を実施する推定処理部と、ヘッドマウントディスプレイとは異なるディスプレイ装置に表示する表示画像を生成する画像生成部とを備える。画像生成部は、静止画である絵柄を少なくとも一部に含む表示画像を生成する。

【0008】

本発明の別の態様の画像生成方法は、ヘッドマウントディスプレイの周囲を撮影した画像にもとづいて、ヘッドマウントディスプレイの位置または姿勢の少なくとも一方を推定する処理を実施するステップと、ヘッドマウントディスプレイとは異なるディスプレイ装置に表示する表示画像であって、静止画である絵柄を少なくとも一部に含む表示画像を生成するステップと、を含む。

【図面の簡単な説明】

【0009】

【図1】実施例における情報処理システムの構成例を示す図である。

【図2】ＨＭＤの外観形状の例を示す図である。

【図3】ＨＭＤの機能ブロックを示す図である。

【図4】情報処理装置の機能ブロックを示す図である。

【図5】表示パネルに表示される表示画像の例を示す図である。

【図6】（ａ）および（ｂ）は撮像装置が撮影した画像の例を示す図である。

【図7】出力装置に表示される画像の例を示す図である。

【図8】絵柄表示機能のオンオフの設定画面の例を示す図である。

【図9】表示パネルに表示される設定画面の例を示す図である。

【発明を実施するための形態】

【0010】

図１は、実施例における情報処理システム１の構成例を示す。情報処理システム１は情報処理装置１０と、記録装置１１と、ヘッドマウントディスプレイ（ＨＭＤ）１００と、ユーザが手指で操作する入力デバイス１６と、画像および音声を出力する出力装置１５とを備える。出力装置１５は、ＨＭＤ１００とは異なるディスプレイ装置であって、据置型のテレビであってよい。情報処理装置１０は、アクセスポイント（ＡＰ）１７を介して、インターネットなどの外部のネットワーク２に接続される。ＡＰ１７は無線アクセスポイントおよびルータの機能を有し、情報処理装置１０はＡＰ１７とケーブルで接続してもよく、既知の無線通信プロトコルで接続してもよい。

【0011】

記録装置１１は、システムソフトウェアや、ゲームソフトウェアなどのアプリケーションを記録する。情報処理装置１０は、コンテンツサーバからネットワーク２経由で、ゲームソフトウェアを記録装置１１にダウンロードしてよい。情報処理装置１０はゲームプログラムを実行して、ゲームの画像データおよび音声データをＨＭＤ１００に供給する。情報処理装置１０とＨＭＤ１００とは既知の無線通信プロトコルで接続されてもよく、またケーブルで接続されてもよい。

【0012】

ＨＭＤ１００は、ユーザが頭部に装着することによりその眼前に位置する表示パネルに画像を表示する表示装置である。ＨＭＤ１００は、左目用表示パネルに左目用の画像を、右目用表示パネルに右目用の画像を、それぞれ別個に表示する。これらの画像は左右の視点から見た視差画像を構成し、立体視を実現する。ユーザは光学レンズを通して表示パネルを見るため、情報処理装置１０は、レンズによる光学歪みを補正した視差画像データをＨＭＤ１００に供給する。

【0013】

ＨＭＤ１００を装着したユーザにとって出力装置１５は必要ないが、出力装置１５を用意することで、別のユーザが出力装置１５の表示画像を見ることができる。情報処理装置１０は、ＨＭＤ１００を装着したユーザが見ている画像と同じ画像を出力装置１５に表示してもよいが、別の画像を表示してもよい。たとえばＨＭＤを装着したユーザと、別のユーザとが一緒にゲームをプレイするような場合、出力装置１５からは、当該別のユーザのキャラクタ視点からのゲーム画像が表示されてもよい。

【0014】

情報処理装置１０と入力デバイス１６とは既知の無線通信プロトコルで接続されてよく、またケーブルで接続されてもよい。入力デバイス１６は操作ボタンなどの複数の操作部材を備え、ユーザは入力デバイス１６を把持しながら、手指で操作部材を操作する。情報処理装置１０がゲームプログラムを実行する際、入力デバイス１６はゲームコントローラとして利用される。

【0015】

ＨＭＤ１００には、複数の撮像装置１４が搭載される。複数の撮像装置１４は、ＨＭＤ１００の前面の異なる位置に取り付けられる。撮像装置１４はＣＣＤ（Charge Coupled Device）センサやＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサなど、一般的なデジタルビデオカメラで利用されている可視光センサを有してよい。複数の撮像装置１４は同期したタイミングで、ユーザの前方を所定の周期（たとえば６０フレーム／秒）で撮影し、撮影画像を情報処理装置１０に送信する。

【0016】

情報処理装置１０は、ＨＭＤ１００の周囲を撮影した画像にもとづいて、ＨＭＤ１００の位置または姿勢の少なくとも一方を推定する機能を有する。以下では、情報処理装置１０が、ＨＭＤ１００の位置および姿勢の双方を推定する機能を有するものとして説明するが、位置または姿勢の少なくとも一方の推定機能を有していればよい。

【0017】

情報処理装置１０は、時系列で撮影した撮影画像を用いて、任意の時刻（ｔ）におけるＨＭＤ１００の位置および姿勢を、時刻（ｔ）の直前の時刻（ｔ－１）におけるＨＭＤ１００の位置および姿勢から推定する。情報処理装置１０は、ＨＭＤ１００の位置を、実空間に定義した座標系における位置座標として導出し、ＨＭＤ１００の姿勢を、実空間に定義した座標系における姿勢情報として導出してよい。なお情報処理装置１０は、ＨＭＤ１００に設けられた姿勢センサが検出したセンサデータをさらに利用して、ＨＭＤ１００の位置情報および姿勢情報を高精度に導出してよい。

【0018】

図２は、ＨＭＤ１００の外観形状の例を示す。ＨＭＤ１００は、出力機構部１０２および装着機構部１０４から構成される。装着機構部１０４は、ユーザが被ることにより頭部を一周してＨＭＤ１００を頭部に固定する装着バンド１０６を含む。装着バンド１０６はユーザの頭囲に合わせて長さの調節が可能な素材または構造をもつ。

【0019】

出力機構部１０２は、ＨＭＤ１００を装着したユーザの左右の目を覆う形状の筐体１０８を含み、内部には装着時に目に正対する表示パネルを備える。表示パネルは液晶パネルや有機ＥＬパネルなどであってよい。筐体１０８内部にはさらに、表示パネルとユーザの目との間に位置し、ユーザの視野角を拡大する左右一対の光学レンズが備えられる。ＨＭＤ１００はさらに、ユーザの耳に対応する位置にスピーカーやイヤホンを備えてよく、外付けのヘッドホンが接続されるように構成されてもよい。

【0020】

筐体１０８の前方側外面には、複数の撮像装置１４ａ、１４ｂ、１４ｃ、１４ｄが備えられる。筐体１０８の正面方向を基準として、撮像装置１４ａは、カメラ光軸が右斜め上を向くように前方側外面の右上隅に取り付けられ、撮像装置１４ｂは、カメラ光軸が左斜め上を向くように前方側外面の左上隅に取り付けられる。撮像装置１４ｃは、カメラ光軸が正面方向を向くように前方側外面の右下隅に取り付けられ、撮像装置１４ｄは、カメラ光軸が正面方向を向くように前方側外面の左下隅に取り付けられ、撮像装置１４ｃと撮像装置１４ｄは、ステレオカメラを構成する。

【0021】

ＨＭＤ１００は、撮像装置１４が撮影した撮影画像、姿勢センサが検出したセンサデータを情報処理装置１０に送信し、また情報処理装置１０で生成されたゲーム画像データおよびゲーム音声データを受信する。

【0022】

図３は、ＨＭＤ１００の機能ブロックを示す。制御部１２０は、画像データ、音声データ、センサデータなどの各種データや、命令を処理して出力するメインプロセッサである。記憶部１２２は、制御部１２０が処理するデータや命令などを一時的に記憶する。姿勢センサ１２４は、ＨＭＤ１００の動きに関するセンサデータを取得する。姿勢センサ１２４は、少なくとも３軸の加速度センサおよび３軸のジャイロセンサを含み、所定の周期（たとえば１６００Ｈｚ）で各軸成分の値（センサデータ）を検出する。

【0023】

通信制御部１２８は、ネットワークアダプタまたはアンテナを介して、有線または無線通信により、制御部１２０から出力されるデータを外部の情報処理装置１０に送信する。また通信制御部１２８は、情報処理装置１０からデータを受信し、制御部１２０に出力する。

【0024】

制御部１２０は、ゲーム画像データやゲーム音声データを情報処理装置１０から受け取ると、表示パネル１３０に供給して表示させ、また音声出力部１３２に供給して音声出力させる。表示パネル１３０は、左目用表示パネル１３０ａと右目用表示パネル１３０ｂから構成され、各表示パネルに一対の視差画像が表示される。また制御部１２０は、姿勢センサ１２４が取得したセンサデータ、マイク１２６が取得した音声データ、撮像装置１４が取得した撮影画像を、通信制御部１２８から情報処理装置１０に送信させる。

【0025】

図４は、情報処理装置１０の機能ブロックを示す。情報処理装置１０は、処理部２００および通信部２０２を備え、処理部２００は、取得部２１０、設定部２２０、推定処理部２２２、ゲーム実行部２２４および画像生成部２３０を有する。取得部２１０は、撮影画像取得部２１２、センサデータ取得部２１４および操作情報取得部２１６を有し、画像生成部２３０は、ＨＭＤ１００に表示する表示画像を生成するＨＭＤ画像生成部２３２と、出力装置１５に表示する表示画像を生成するＴＶ画像生成部２３４とを有する。

【0026】

通信部２０２は、入力デバイス１６から送信される操作情報を受信し、取得部２１０に供給する。また通信部２０２は、ＨＭＤ１００から送信される撮影画像およびセンサデータを受信し、取得部２１０に供給する。

【0027】

これらの構成はハードウェア的には、任意のプロセッサ、メモリ、その他のＬＳＩで実現でき、ソフトウエア的にはメモリにロードされたプログラムなどによって実現されるが、ここではそれらの連携によって実現される機能ブロックを描いている。したがって、これらの機能ブロックがハードウェアのみ、ソフトウェアのみ、またはそれらの組合せによっていろいろな形で実現できることは、当業者には理解されるところである

【0028】

撮影画像取得部２１２は、ＨＭＤ１００の周囲を撮影した画像を取得し、推定処理部２２２に供給する。推定処理部２２２は、撮影画像にもとづいて、ＨＭＤ１００の位置および姿勢を推定する処理を実施し、推定結果である位置情報および姿勢情報をゲーム実行部２２４に供給する。センサデータ取得部２１４は、ＨＭＤ１００の姿勢センサ１２４が検出したセンサデータを取得し、推定処理部２２２に供給する。推定処理部２２２はセンサデータを利用して、ＨＭＤ１００の位置情報および姿勢情報の推定精度を高めることが好ましい。

【0029】

ゲームプレイの開始前、ＨＭＤ１００を装着したユーザは、自身の周囲の環境を撮像装置１４で撮影して登録する初期設定を実施する。初期設定時、ユーザは、プレイ中の安全を確保するために、自身がプレイするエリア（ユーザが動くことのできるエリア）を画定する。ゲームプレイ中、ユーザがプレイエリアから出そうになると、情報処理装置１０は、ユーザに対して、プレイエリアから出そうであることを警告する。ゲームプレイ中、初期設定時に登録された周囲環境の画像は定期的に更新されて、最新の環境地図が作成されてよい。

【0030】

推定処理部２２２は、ＨＭＤ１００の撮像装置１４によって撮影された画像を時系列で取得し、各画像をグリッド分割して区間ごとに特徴点を検出する。推定処理部２２２は、時刻（ｔ－１）に撮影された画像と、時刻（ｔ）に撮影された画像との間で特徴点の対応付けを行い、２つの画像における特徴点の移動量（ｄｘ，ｄｙ）を抽出する。たとえば推定処理部２２２は、特徴点の動きを予測しつつ、周辺検索で特徴点のブロックマッチングを行って、特徴点のトラッキング（追跡）処理を実施してよい。なお推定処理部２２２は、この手法以外にも、既知の手法を用いて特徴点のトラッキング処理を実施してよい。推定処理部２２２は、トラッキング処理を高精度に実施することで、ＨＭＤ１００の位置および姿勢を高精度に推定することが可能となる。ＨＭＤ１００の位置情報および姿勢情報はゲーム実行部２２４に供給されて、ゲームに対する入力として利用される。

【0031】

操作情報取得部２１６は、入力デバイス１６から送信される操作情報を取得し、ゲーム実行部２２４に供給する。ゲーム実行部２２４は、入力デバイス１６の操作情報、ＨＭＤ１００の位置情報および姿勢情報にもとづいて、ゲームプログラムを実行して、仮想空間においてゲームキャラクタを動かす演算処理を行う。画像生成部２３０は、レンダリング処理などを実行するＧＰＵ（Graphics Processing Unit）を含み、ゲーム画像を生成する。

【0032】

画像生成部２３０において、ＨＭＤ画像生成部２３２は、ＨＭＤ１００の表示パネル１３０に表示する表示画像を生成し、ＴＶ画像生成部２３４は、出力装置１５に表示する表示画像を生成する。なお図示していないが、情報処理装置１０は、ゲーム音声を生成する音声生成部を備えて構成される。

【0033】

図５は、表示パネル１３０に表示される表示画像の例を示す。ＨＭＤ画像生成部２３２は、ゲーム画像を生成して、ＨＭＤ１００の表示パネル１３０に供給する。上記したように表示パネル１３０は、左目用表示パネル１３０ａと右目用表示パネル１３０ｂを有しており、ＨＭＤ画像生成部２３２は、左目用のゲーム画像と右目用のゲーム画像をそれぞれ生成して、左目用表示パネル１３０ａと右目用表示パネル１３０ｂに供給する。左目用表示パネル１３０ａおよび右目用表示パネル１３０ｂは、それぞれゲーム画像を表示する。

【0034】

ＴＶ画像生成部２３４は、ＨＭＤ画像生成部２３２が生成する画像と同じゲーム画像を生成して、出力装置１５に供給する。なお情報処理システム１において、ＨＭＤ１００を装着したユーザは、出力装置１５に表示されるゲーム画像を見ないため、ＴＶ画像生成部２３４は、別のユーザのために、異なるゲーム画像を生成して、出力装置１５に供給してもよい。

【0035】

ＨＭＤ１００を頭部に装着したユーザが、出力装置１５が設置されている方向を向いてゲームをプレイしている場合、出力装置１５の画面サイズが大きく、且つユーザと出力装置１５との距離が近ければ、撮像装置１４が撮影する画像に含まれる出力装置１５の領域は大きくなる。このとき推定処理部２２２は、出力装置１５に表示されているゲーム画像から多くの特徴点を抽出することになり、過去に抽出した特徴点と対応付けができないために、トラッキングロストが生じる可能性が高くなる。

【0036】

図６（ａ）は、撮像装置１４ｃが撮影した画像の例を示し、図６（ｂ）は、撮像装置１４ｄが撮影した画像の例を示す。撮像装置１４ｃと撮像装置１４ｄとはステレオカメラを構成しているため、両者の撮影画像は水平方向に僅かにずれた画像となる。図６に示されるように、撮影画像には、出力装置１５に表示されたゲーム画像が大きく含まれている。

【0037】

図６（ａ）および（ｂ）に示す撮影画像において、出力装置１５に表示されているゲーム画像の占める割合は非常に大きい。ゲーム画像は刻々と変化するため、推定処理部２２２は、撮影画像から、有効な特徴点を抽出することが困難となり、ＨＭＤ１００の位置および姿勢の推定処理を失敗することがある。

【0038】

そこで実施例の情報処理装置１０において、ＴＶ画像生成部２３４が、静止画である絵柄を少なくとも一部に含む表示画像を生成して、推定処理部２２２が、トラッキングに有効な特徴点を抽出できるようにする。

【0039】

図７は、出力装置１５に表示される画像の例を示す。ＴＶ画像生成部２３４は、静止画である絵柄７０を一部に含む表示画像を生成する。この例でＴＶ画像生成部２３４は、枠を構成する絵柄７０と、枠の内側にゲーム動画７２を含む表示画像を生成し、出力装置１５に表示する。矩形の枠を構成する絵柄７０が静止画として表示されることで、推定処理部２２２は、出力装置１５を撮影した画像に含まれる絵柄７０から、トラッキングに有効な特徴点を抽出することが可能となる。

【0040】

ＴＶ画像生成部２３４は、絵柄７０により構成される枠の内側に、画像サイズを縮小したゲーム動画７２を表示してよいが、画像サイズを縮小せずに、絵柄７０により構成される矩形の枠をゲーム動画７２に重畳した表示画像を生成してもよい。なおゲーム動画７２の視認性を損なわないために、枠が占める領域は、出力装置１５の画面サイズの５０％以下となるように定められることが好ましい。なおＴＶ画像生成部２３４は、絵柄７０を、枠として表示するのではなく、たとえば出力装置１５の画面４隅に、ブロックとして表示してもよい。つまりＴＶ画像生成部２３４は、絵柄７０をブロック画像として隅に含む表示画像を生成してもよい。またＴＶ画像生成部２３４は、絵柄７０を上下左右のいずれか一つの側、または複数の側に含む表示画像を生成して、絵柄７０が、出力装置１５の画面の上下左右のいずれか一つの側、または複数の側に表示されてもよい。いずれの場合においても、絵柄７０は、推定処理部２２２によるトラッキング処理をサポートするために、静止画として表示される。なおＴＶ画像生成部２３４は、表示画像にゲーム動画７２を含めなくてもよく、たとえば静止画である絵柄７０を全面に含む表示画像を生成してもよい。

【0041】

推定処理部２２２は、撮影画像に含まれるコーナー部（角部）を特徴点として抽出するため、絵柄７０は、コーナーを多く含む模様で構成されることが好ましい。なおトラッキング精度を高めるために、絵柄７０は、近い位置で同じパターンを繰り返さないように構成されることが好ましい。

【0042】

設定部２２０は、ＴＶ画像生成部２３４による絵柄表示機能のオンまたはオフを設定し、絵柄表示機能がオン設定されている場合の当該機能の有効または無効を設定する。設定部２２０が絵柄表示機能の有効を設定すると、ＴＶ画像生成部２３４は、静止画である絵柄７０を少なくとも一部に含む表示画像を生成し、出力装置１５に表示する。設定部２２０が絵柄表示機能の無効を設定すると、ＴＶ画像生成部２３４は、絵柄７０を含む表示画像を生成しない。

【0043】

設定部２２０は、推定処理部２２２がＨＭＤ１００の位置および姿勢の推定処理を実施しているとき、ＴＶ画像生成部２３４による絵柄表示機能の有効を設定し、推定処理を実施していないとき、ＴＶ画像生成部２３４による絵柄表示機能の無効を設定してよい。したがって推定処理部２２２が推定処理を実施しているとき、ＴＶ画像生成部２３４は、絵柄７０を含む表示画像を生成して、推定処理部２２２によるトラッキング処理をサポートする。一方、推定処理部２２２が推定処理を実施していないとき、推定処理部２２２によるトラッキング処理をサポートする必要がないため、ＴＶ画像生成部２３４は、絵柄７０を含む表示画像を生成しない。このときＴＶ画像生成部２３４は、ゲーム動画７２を全面に含む表示画像を生成して、出力装置１５に表示してよい。

【0044】

設定部２２０は、ユーザが頭部にＨＭＤ１００を装着しているとき、ＴＶ画像生成部２３４による絵柄表示機能の有効を設定し、ユーザが頭部にＨＭＤ１００を装着していないとき、ＴＶ画像生成部２３４による絵柄表示機能の無効を設定してよい。装着の有無は、たとえばＨＭＤ１００に設けられた近接センサ（図示せず）の検出結果により判断される。したがってユーザが頭部にＨＭＤ１００を装着しているとき、ＴＶ画像生成部２３４は、絵柄７０を含む表示画像を生成して、推定処理部２２２によるトラッキング処理をサポートする。一方、ユーザが頭部にＨＭＤ１００を装着していないとき、推定処理部２２２によるトラッキング処理をサポートする必要がないため、ＴＶ画像生成部２３４は、絵柄７０を含む表示画像を生成しない。このときＴＶ画像生成部２３４は、ゲーム動画７２を全面に含む表示画像を生成して、出力装置１５に表示してよい。

【0045】

なお設定部２２０は、推定処理部２２２がＨＭＤ１００の位置および姿勢の推定処理を実施しており、且つユーザが頭部にＨＭＤ１００を装着していることを条件として、ＴＶ画像生成部２３４による絵柄表示機能の有効を設定してよい。

【0046】

推定処理部２２２は、撮影画像において絵柄７０で構成される枠を認識すると、当該枠の内側に配置されるゲーム動画７２から特徴点を抽出しないように、トラッキング処理を制御してよい。なお初期設定時に、出力装置１５に絵柄７０で構成される枠を表示し、枠の画像を登録している場合には、推定処理部２２２は、ゲームプレイ中に、当該枠の位置における特徴点を使わないように、トラッキング処理を制御してよい。

【0047】

ＴＶ画像生成部２３４による絵柄表示機能のオンまたはオフは、初期設定時に、ユーザにより設定されてよい。
図８は、絵柄表示機能のオンオフの設定画面の例を示す。この設定画面は、初期設定時に表示パネル１３０に表示される。ユーザが絵柄表示機能をオン設定すると、設定部２２０は、推定処理部２２２がＨＭＤ１００の位置および姿勢の推定処理を実施しており、且つユーザが頭部にＨＭＤ１００を装着していることを条件として、ＴＶ画像生成部２３４による絵柄表示機能を有効とする。これによりＴＶ画像生成部２３４は、絵柄７０を含む表示画像を生成するようになる。一方、ユーザが絵柄表示機能をオフ設定すると、設定部２２０は、ＴＶ画像生成部２３４による絵柄表示機能を無効とする。

【0048】

なお絵柄表示機能がオフ設定されている場合、推定処理部２２２は、出力装置１５の全面に表示されたゲーム画像を撮影した画像を用いてトラッキング処理することで、ＨＭＤ１００の位置および姿勢の推定処理に失敗することがある。推定処理に失敗したとき、設定部２２０は、ＴＶ画像生成部２３４による絵柄表示機能をオン設定に自動で変更し、絵柄表示機能を有効としてもよい。

【0049】

なお設定部２２０が絵柄表示機能を自動でオン設定に変更するのではなく、ＨＭＤ画像生成部２３２が、絵柄表示機能を有効にする選択肢を含む表示画像を生成して、表示パネル１３０に表示してよい。

【0050】

図９は、ゲームプレイ中に表示パネル１３０に表示される設定画面の例を示す。ユーザが「補助表示機能をＯＮする」の項目を選択すると、設定部２２０は、ＴＶ画像生成部２３４による絵柄表示機能をオン設定に変更し、絵柄表示機能を有効とする。これによりトラッキング精度が改善されることになる。

【0051】

以上、本発明を実施例をもとに説明した。上記実施例は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。実施例では推定処理を情報処理装置１０が実施したが、情報処理装置１０の一部または全ての機能がＨＭＤ１００に設けられて、ＨＭＤ１００が推定処理を実施してもよい。このときＨＭＤ１００は、情報処理装置として機能する。

【0052】

実施例では撮像装置１４がＨＭＤ１００に取り付けられているが、撮像装置１４は、ＨＭＤ１００の周囲の空間を撮影できればよく、ＨＭＤ１００以外の別の位置に取り付けられてもよい。

【0053】

変形例では、設定部２２０が、絵柄表示機能の有効または無効を、動的に設定してもよい。たとえば設定部２２０は、出力装置１５とＨＭＤ１００の距離にもとづいて、絵柄表示機能の有効または無効を設定する。具体的に設定部２２０は、出力装置１５とＨＭＤ１００の距離が所定長以下であれば、絵柄表示機能の有効を設定し、所定長より長ければ、絵柄表示機能の無効を設定してもよい。

【0054】

設定部２２０は、撮影画像に含まれる出力装置１５の領域が占める割合にもとづいて、絵柄表示機能の有効または無効を設定してもよい。具体的に設定部２２０は、出力装置１５の領域が占める割合が所定値以上であれば、絵柄表示機能の有効を設定し、所定値未満であれば、絵柄表示機能の無効を設定してもよい。

【0055】

なおプレイエリアを設定する際、出力装置１５の画面サイズと、出力装置１５とＨＭＤ１００との距離を検出して、画面サイズが大きく、且つ距離が近ければ、設定部２２０は、絵柄表示機能をオン設定することをユーザに勧めてもよい。画面サイズは、ＨＤＭＩ（登録商標）によって検出してもよい。画面サイズが大きく且つ距離が近いことは、撮像装置１４の撮影画像に含まれる出力装置１５の領域が占める割合によって判断してもよい。

【0056】

また設定部２２０は、出力装置１５の画面サイズに応じて、表示する絵柄７０を選択してもよい。具体的に、画面サイズが小さければ、大きい模様が含まれる絵柄７０が選択され、画面サイズが大きければ、小さな模様が含まれる絵柄７０が選択されてよい。なお設定部２２０は、撮影画像に含まれる出力装置１５の領域が占める割合にもとづいて、絵柄７０を選択してもよい。

【符号の説明】

【0057】

１・・・情報処理システム、１０・・・情報処理装置、１４・・・撮像装置、１５・・・出力装置、７０・・・絵柄、７２・・・ゲーム動画、１００・・・ＨＭＤ、２００・・・処理部、２０２・・・通信部、２１０・・・取得部、２１２・・・撮影画像取得部、２１４・・・センサデータ取得部、２１６・・・操作情報取得部、２２０・・・設定部、２２２・・・推定処理部、２２４・・・ゲーム実行部、２３０・・・画像生成部、２３２・・・ＨＭＤ画像生成部、２３４・・・ＴＶ画像生成部。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】