IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 株式会社ソニー・コンピュータエンタテインメントの特許一覧

<>
  • 特開-情報処理装置および画像生成方法 図1
  • 特開-情報処理装置および画像生成方法 図2
  • 特開-情報処理装置および画像生成方法 図3
  • 特開-情報処理装置および画像生成方法 図4
  • 特開-情報処理装置および画像生成方法 図5
  • 特開-情報処理装置および画像生成方法 図6
  • 特開-情報処理装置および画像生成方法 図7
  • 特開-情報処理装置および画像生成方法 図8
  • 特開-情報処理装置および画像生成方法 図9
  • 特開-情報処理装置および画像生成方法 図10
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024031113
(43)【公開日】2024-03-07
(54)【発明の名称】情報処理装置および画像生成方法
(51)【国際特許分類】
   G09G 5/377 20060101AFI20240229BHJP
   A63F 13/25 20140101ALI20240229BHJP
   A63F 13/52 20140101ALI20240229BHJP
   A63F 13/533 20140101ALI20240229BHJP
   G09G 5/00 20060101ALI20240229BHJP
   H04N 5/64 20060101ALI20240229BHJP
   A63F 13/86 20140101ALN20240229BHJP
【FI】
G09G5/36 520L
A63F13/25
A63F13/52
A63F13/533
G09G5/00 510A
G09G5/00 530T
G09G5/00 530M
G09G5/00 510V
H04N5/64 511A
A63F13/86
【審査請求】未請求
【請求項の数】7
【出願形態】OL
(21)【出願番号】P 2022134457
(22)【出願日】2022-08-25
(71)【出願人】
【識別番号】310021766
【氏名又は名称】株式会社ソニー・インタラクティブエンタテインメント
(74)【代理人】
【識別番号】100105924
【弁理士】
【氏名又は名称】森下 賢樹
(74)【代理人】
【識別番号】100109047
【弁理士】
【氏名又は名称】村田 雄祐
(74)【代理人】
【識別番号】100109081
【弁理士】
【氏名又は名称】三木 友由
(74)【代理人】
【識別番号】100134256
【弁理士】
【氏名又は名称】青木 武司
(72)【発明者】
【氏名】徳永 陽
(72)【発明者】
【氏名】松永 圭史
(72)【発明者】
【氏名】藤原 雅宏
【テーマコード(参考)】
5C182
【Fターム(参考)】
5C182AA26
5C182AB01
5C182AB08
5C182AB14
5C182AB33
5C182AC43
5C182AC46
5C182BA01
5C182BA03
5C182BA14
5C182BA29
5C182BA35
5C182BA46
5C182BA47
5C182BA56
5C182BA65
5C182BA75
5C182BB01
5C182BC22
5C182BC25
5C182BC26
5C182CB54
5C182CC21
5C182DA44
5C182DA62
5C182DA65
(57)【要約】
【課題】ユーザがアップロードまたは配信するコンテンツを容易に生成できる技術を実現する。
【解決手段】HMD表示画像生成部244は、ヘッドマウントディスプレイに表示される3次元仮想現実空間の第1コンテンツ画像を生成する。TV表示画像生成部246は、平板型ディスプレイに表示される第2コンテンツ画像を生成する。コンテンツ画像生成部248は、第1コンテンツ画像および/または第2コンテンツ画像から、第3コンテンツ画像を生成する。
【選択図】図4
【特許請求の範囲】
【請求項1】
情報処理装置であって、ハードウェアを有する1つ以上のプロセッサを備え、
前記1つ以上のプロセッサは、
ヘッドマウントディスプレイに表示される3次元仮想現実空間の第1コンテンツ画像を生成し、
平板型ディスプレイに表示される第2コンテンツ画像を生成し、
第1コンテンツ画像および/または第2コンテンツ画像から、第3コンテンツ画像を生成する、
情報処理装置。
【請求項2】
前記1つ以上のプロセッサは、
第1コンテンツ画像と第2コンテンツ画像とを途中で切り替えた第3コンテンツ画像を生成する、
請求項1に記載の情報処理装置。
【請求項3】
前記1つ以上のプロセッサは、
第1コンテンツ画像と第2コンテンツ画像とを合成した第3コンテンツ画像を生成する、
請求項1に記載の情報処理装置。
【請求項4】
前記1つ以上のプロセッサは、
生成する第3コンテンツ画像の複数の選択肢を提示する、
請求項1に記載の情報処理装置。
【請求項5】
前記1つ以上のプロセッサは、
複数の画像を含む第3コンテンツ画像を生成する、
請求項1に記載の情報処理装置。
【請求項6】
ヘッドマウントディスプレイに表示される3次元仮想現実空間の第1コンテンツ画像を生成し、
平板型ディスプレイに表示される第2コンテンツ画像を生成し、
第1コンテンツ画像および/または第2コンテンツ画像から、第3コンテンツ画像を生成する、
画像生成方法。
【請求項7】
コンピュータに、
ヘッドマウントディスプレイに表示される3次元仮想現実空間の第1コンテンツ画像を生成する機能と、
平板型ディスプレイに表示される第2コンテンツ画像を生成する機能と、
第1コンテンツ画像および/または第2コンテンツ画像から、第3コンテンツ画像を生成する機能と、
を実現させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、画像を生成する技術に関する。
【背景技術】
【0002】
ユーザがヘッドマウントディスプレイ(以下「HMD」とも呼ぶ)を頭部に装着し、ゲームコントローラを操作して、HMDに表示されたゲーム画像を見ながらゲームをプレイすることが行われている。HMDに3次元仮想現実(Virtual Reality)空間の映像を表示し、HMDのトラッキング処理を実施して、ユーザの頭部の動きに仮想現実空間の映像を連動させることで、映像世界への没入感を高められるだけでなく、ゲームのエンタテインメント性を高めることができる。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2018-94086号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
近年、ゲーム動画をキャプチャしてSNS(ソーシャルネットワーキングサービス)にアップロードしたり、プレイ中のゲーム動画をストリーミング配信することが一般的になっている。
【0005】
そこで本開示は、ユーザがアップロードまたは配信するコンテンツを容易に生成できる技術を実現することを目的とする。
【課題を解決するための手段】
【0006】
上記課題を解決するために、本開示のある態様の情報処理装置は、ヘッドマウントディスプレイに表示される3次元仮想現実空間の第1コンテンツ画像を生成する第1画像生成部と、平板型ディスプレイに表示される第2コンテンツ画像を生成する第2画像生成部と、第1コンテンツ画像および/または第2コンテンツ画像から、第3コンテンツ画像を生成する第3画像生成部とを備える。
【0007】
本開示の別の態様の画像生成方法は、ヘッドマウントディスプレイに表示される3次元仮想現実空間の第1コンテンツ画像を生成し、平板型ディスプレイに表示される第2コンテンツ画像を生成し、第1コンテンツ画像および/または第2コンテンツ画像から、第3コンテンツ画像を生成する。
【0008】
なお、以上の任意の組み合わせや、本開示の構成要素や表現を方法、装置、プログラム、プログラムを記録した一時的なまたは一時的でない記憶媒体、システムなどの間で相互に置換したものもまた、本開示の態様として有効である。
【図面の簡単な説明】
【0009】
図1】実施例における情報処理システムの構成例を示す図である。
図2】HMDの外観形状の例を示す図である。
図3】HMDの機能ブロックを示す図である。
図4】情報処理装置の機能ブロックを示す図である。
図5】表示パネルに表示されるゲーム画像の例を示す図である。
図6】出力装置に表示されるゲーム画像の例を示す図である。
図7】表示パネルに表示されるシステム画像の例を示す図である。
図8】表示パネルに表示されるシステム画像の例を示す図である。
図9】第1コンテンツ画像と第2コンテンツ画像とを合成した第3コンテンツ画像の例を示す図である。
図10】表示パネルに表示されるシステム画像の例を示す図である。
【発明を実施するための形態】
【0010】
図1は、実施例における情報処理システム1の構成例を示す。情報処理システム1は情報処理装置10と、記録装置11と、ユーザの頭部に装着されたヘッドマウントディスプレイ(HMD)100と、ユーザが手指で操作する入力デバイス16と、画像および音声を出力する出力装置15とを備える。出力装置15は平板型ディスプレイであり、据置型のテレビであってよいが、映像をスクリーンや壁などに投影するプロジェクタであってもよく、タブレット端末や携帯端末のディスプレイであってもよい。
【0011】
情報処理装置10はアクセスポイント(AP)17を介して、インターネットなどの外部のネットワーク2に接続する。AP17は無線アクセスポイントおよびルータの機能を有し、情報処理装置10はAP17とケーブルで接続してもよく、既知の無線通信プロトコルで接続してもよい。情報処理装置10は、ネットワーク2経由でSNSを提供するサーバ装置に接続し、キャプチャしたゲーム動画をアップロードしたり、プレイ中のゲーム動画をストリーミング配信できる。
【0012】
記録装置11は、システムソフトウェアや、ゲームソフトウェアなどのアプリケーションを記録する。情報処理装置10は、ゲーム提供サーバ(図示せず)からネットワーク2経由で、ゲームソフトウェアを記録装置11にダウンロードしてよい。情報処理装置10はゲームプログラムを実行して、ゲームの画像データおよび音声データをHMD100および出力装置15に提供する。情報処理装置10とHMD100とは既知の無線通信プロトコルで接続されてよく、またケーブルで接続されてもよい。
【0013】
HMD100は、ユーザが頭部に装着することによりその眼前に位置する表示パネルに画像を表示する表示装置である。HMD100は、左目用表示パネルに左目用の画像を、右目用表示パネルに右目用の画像を、それぞれ別個に表示する。これらの画像は左右の視点から見た視差画像を構成し、立体視を実現する。ユーザは光学レンズを通して表示パネルを見るため、情報処理装置10は、レンズによる光学歪みを補正した左目用画像データおよび右目用画像データをHMD100に提供する。
【0014】
HMD100を装着したユーザにとって出力装置15は必要ないが、出力装置15から画像を出力することで、別のユーザが出力装置15の表示画像を見ることができる。情報処理装置10は、HMD100を装着したユーザが見ている画像とは異なる画像を出力装置15に表示してよいが、同じ画像を表示してもよい。
【0015】
実施例において、HMD100の表示画像と異なる画像を出力装置15に表示するモードを「セパレートモード」と呼び、HMD100の表示画像と同じ画像を出力装置15に表示するモードを「ミラーリングモード」と呼ぶ。実施例のゲームソフトウェアは、HMD100用の画像と、出力装置15用の画像とを別個に生成する機能を有する。出力装置15用の画像がセパレートモードまたはミラーリングモードのいずれで生成されるかはゲームソフトウェア次第であり、ゲーム開発者に任されている。実施例においては、出力装置15用の画像がセパレートモードで生成されるものとする。
【0016】
情報処理装置10と入力デバイス16とは既知の無線通信プロトコルで接続されてよく、またケーブルで接続されてもよい。入力デバイス16は操作ボタン、方向キーなどの複数の操作部材を備え、ユーザは入力デバイス16を把持しながら、手指で操作部材を操作する。情報処理装置10がゲームプログラムを実行する際、入力デバイス16はゲームコントローラとして利用される。
【0017】
HMD100には、複数の撮像装置14が搭載される。複数の撮像装置14は、HMD100の前面の異なる位置に取り付けられる。撮像装置14はCCD(Charge Coupled Device)センサやCMOS(Complementary Metal Oxide Semiconductor)センサなど、一般的なデジタルビデオカメラで利用されている可視光センサを有してよい。複数の撮像装置14は同期したタイミングで、ユーザの前方を所定の周期(たとえば60フレーム/秒)で撮影し、撮影画像を情報処理装置10に送信する。
【0018】
情報処理装置10は、HMD100の周囲を撮影した画像にもとづいて、HMD100の位置または姿勢の少なくとも一方を推定する機能を有する。情報処理装置10は、自己位置推定と環境地図作成とを同時に行うSLAM(Simultaneous Localization And Mapping)により、HMD100の位置および/または姿勢を推定してよい。以下では、情報処理装置10が、HMD100の位置および姿勢の双方を推定する機能を有するものとして説明する。
【0019】
情報処理装置10は、連続した撮影時刻である時刻(t-1)と時刻(t)に複数の撮像装置14が撮影した撮影画像を用いて、時刻(t-1)と時刻(t)の間のHMD100の移動量を推定する。情報処理装置10は、時刻(t)におけるHMD100の位置および姿勢を、時刻(t-1)におけるHMD100の位置および姿勢と、時刻(t-1)と時刻(t)の間のHMD100の移動量とを用いて推定する。情報処理装置10は、HMD100の位置を示す位置情報を、実空間に定義した座標系における位置座標として導出し、HMD100の姿勢を示す姿勢情報を、実空間に定義した座標系における方向として導出してよい。なお情報処理装置10は、HMD100に搭載された姿勢センサが時刻(t-1)から時刻(t)の間に取得したセンサデータをさらに利用して、HMD100の位置情報および姿勢情報を高精度に導出してよい。
【0020】
図2は、HMD100の外観形状の例を示す。HMD100は、出力機構部102および装着機構部104から構成される。装着機構部104は、ユーザが被ることにより頭部を一周してHMD100を頭部に固定する装着バンド106を含む。装着バンド106はユーザの頭囲に合わせて長さの調節が可能な素材または構造をもつ。
【0021】
出力機構部102は、HMD100を装着したユーザの左右の目を覆う形状の筐体108を含み、内部には装着時に目に正対する表示パネルを備える。表示パネルは液晶パネルや有機ELパネルなどであってよい。筐体108内部にはさらに、表示パネルとユーザの目との間に位置し、ユーザの視野角を拡大する左右一対の光学レンズが備えられる。HMD100はさらに、ユーザの耳に対応する位置にスピーカーやイヤホンを備えてよく、外付けのヘッドホンが接続されるように構成されてもよい。
【0022】
筐体108の前方側外面には、複数の撮像装置14a、14b、14c、14dが備えられる。筐体108の正面方向を基準として、撮像装置14aは、カメラ光軸が右斜め上を向くように前方側外面の右上隅に取り付けられ、撮像装置14bは、カメラ光軸が左斜め上を向くように前方側外面の左上隅に取り付けられる。撮像装置14cは、カメラ光軸が正面方向を向くように前方側外面の右下隅に取り付けられ、撮像装置14dは、カメラ光軸が正面方向を向くように前方側外面の左下隅に取り付けられ、撮像装置14cと撮像装置14dは、ステレオカメラを構成する。
【0023】
HMD100は、撮像装置14が撮影した撮影画像、姿勢センサが取得したセンサデータを情報処理装置10に送信し、また情報処理装置10で生成されたゲーム画像データおよびゲーム音声データを受信する。
【0024】
図3は、HMD100の機能ブロックを示す。制御部120は、画像データ、音声データ、センサデータなどの各種データや、命令を処理して出力するメインプロセッサである。記憶部122は、制御部120が処理するデータや命令などを一時的に記憶する。姿勢センサ124は、HMD100の動きに関するセンサデータを取得する。姿勢センサ124は、IMU(慣性計測装置)であってよく、少なくとも3軸の加速度センサおよび3軸のジャイロセンサを含み、所定の周期(たとえば1600Hz)で各軸成分の値(センサデータ)を検出する。
【0025】
通信制御部128は、ネットワークアダプタまたはアンテナを介して、有線または無線通信により、制御部120から出力されるデータを外部の情報処理装置10に送信する。また通信制御部128は、情報処理装置10からデータを受信し、制御部120に出力する。
【0026】
制御部120は、ゲーム画像データやゲーム音声データを情報処理装置10から受け取ると、表示パネル130に提供して表示させ、また音声出力部132に提供して音声出力させる。表示パネル130は、左目用表示パネル130aと右目用表示パネル130bから構成され、各表示パネルに一対の視差画像が表示される。また制御部120は、姿勢センサ124が取得したセンサデータ、マイク126が取得した音声データ、撮像装置14が取得した撮影画像を、通信制御部128から情報処理装置10に送信させる。
【0027】
図4は、情報処理装置10の機能ブロックを示す。情報処理装置10は、処理部200および通信部202を備え、処理部200は、取得部210、推定処理部220、ゲーム実行部222、ゲーム画像生成部230、システム画像生成部240、表示画像生成部242およびコンテンツ画像生成部248を備える。取得部210は、撮影画像取得部212、センサデータ取得部214および操作情報取得部216を有し、ゲーム画像生成部230は、HMD100に表示される3次元仮想現実空間のゲーム画像を生成するHMDゲーム画像生成部232と、出力装置15に表示される2次元ゲーム画像を生成するTVゲーム画像生成部234とを有する。表示画像生成部242は、HMD100に表示される3次元仮想現実空間の画像を生成するHMD表示画像生成部244と、出力装置15に表示される2次元画像を生成するTV表示画像生成部246を有する。動画記録部250は記録装置11の記録領域の一部に構成されて、ユーザが生成したコンテンツ画像を記録する。
【0028】
通信部202は、入力デバイス16から送信される操作情報を受信し、取得部210に提供する。また通信部202は、HMD100から送信される撮影画像およびセンサデータを受信し、取得部210に提供する。
【0029】
情報処理装置10はコンピュータを備え、コンピュータがプログラムを実行することによって、図4に示す様々な機能が実現される。コンピュータは、プログラムをロードするメモリ、ロードされたプログラムを実行する1つ以上のプロセッサ、補助記憶装置、その他のLSIなどをハードウェアとして備える。プロセッサは、半導体集積回路やLSIを含む複数の電子回路により構成され、複数の電子回路は、1つのチップ上に搭載されてよく、または複数のチップ上に搭載されてもよい。図4に示す機能ブロックは、ハードウェアとソフトウェアとの連携によって実現され、したがって、これらの機能ブロックがハードウェアのみ、ソフトウェアのみ、またはそれらの組合せによっていろいろな形で実現できることは、当業者には理解されるところである。
【0030】
撮影画像取得部212は、複数の撮像装置14が撮影した画像を取得し、推定処理部220に提供する。推定処理部220は撮影画像にもとづいて、HMD100の位置および姿勢を推定する処理を実施し、推定結果である位置情報および姿勢情報を導出する。センサデータ取得部214は、HMD100の姿勢センサ124が検出したセンサデータを取得し、推定処理部220に提供する。推定処理部220はセンサデータを利用して、HMD100の位置情報および姿勢情報の推定精度を高めることが好ましい。
【0031】
ゲームプレイの開始前、HMD100を装着したユーザは、自身の周囲の環境を撮像装置14で撮影して登録する初期設定を実施する。初期設定において情報処理装置10は、プレイ中のユーザの安全を確保するために、ユーザがプレイするエリア(ユーザが動くことのできるエリア)を画定する。ゲームプレイ中、ユーザがプレイエリアから出そうになると、情報処理装置10は、ユーザに対して、プレイエリアから出そうであることを警告する。ゲームプレイ中、初期設定時に登録された周囲環境の画像はSLAMにより定期的に更新されて、最新の環境地図が作成されてよい。
【0032】
推定処理部220は、撮像装置14により撮影された画像を時系列で取得し、各画像をグリッド分割して特徴点を検出する。推定処理部220は、時刻(t-1)に撮影された画像と、時刻(t)に撮影された画像との間で特徴点の対応付けを行い、異なる時刻に撮影した画像間における特徴点の移動量を推定する。推定処理部220は特徴点の移動量から、時刻(t-1)と時刻(t)の間のHMD100の移動量を推定し、推定した移動量を時刻(t-1)におけるHMD100の位置および姿勢に加えることで、時刻(t)におけるHMD100の位置情報および姿勢情報を推定する。推定されたHMD100の位置情報および姿勢情報はゲーム画像生成部230またはゲーム実行部222に提供される。
【0033】
操作情報取得部216は、入力デバイス16から送信される操作情報を取得し、ゲーム実行部222に提供する。ゲーム実行部222は、入力デバイス16の操作情報をもとにゲームプログラムを実行して、3次元仮想現実空間においてユーザが操作するプレイヤキャラクタおよびNPC(ノンプレイヤキャラクタ)を動かす演算処理を行う。
【0034】
ゲーム画像生成部230は、レンダリング処理などを実行するGPU(Graphics Processing Unit)を含み、仮想現実空間における演算処理結果を受けて、仮想現実空間内の仮想カメラ位置からのゲーム画像を生成する。なお図示していないが、情報処理装置10は、ゲーム音声を生成する音声生成部を備える。
【0035】
HMDゲーム画像生成部232は、HMD100の位置情報および姿勢情報にもとづいて、HMD100に表示される3次元仮想現実空間のゲーム画像を生成する。HMDゲーム画像生成部232は、推定処理部220から提供される位置情報および姿勢情報をユーザの視点位置および視線方向として取り扱い、ユーザの視点位置および視線方向を、ユーザが操作するプレイヤキャラクタの視点位置および視線方向に変換してよい。このときHMDゲーム画像生成部232は、ユーザの視線方向をプレイヤキャラクタの視線方向に一致させてよい。HMDゲーム画像生成部232は3次元仮想現実(VR)画像を生成し、具体的には左目用ゲーム画像および右目用ゲーム画像からなる一対の視差画像を生成する。
【0036】
HMD100では、ユーザの眼前と周囲に視野角の広い映像を表示させるために、曲率の高い光学レンズを採用しており、ユーザがレンズを介して表示パネル130を覗き込む構成になっている。曲率の高いレンズを用いるとレンズの歪曲収差によって映像が歪むため、曲率の高いレンズを通して見たときに正しく見えるように、HMDゲーム画像生成部232は、レンダリングされた画像に対して歪み補正処理を施す。つまりHMDゲーム画像生成部232は、レンズによる光学歪みを補正した左目用ゲーム画像および右目用ゲーム画像を生成する。
【0037】
一方、TVゲーム画像生成部234は、テレビなどの平板型ディスプレイに表示される2次元のゲーム画像を生成する。実施例のTVゲーム画像生成部234は、セパレートモードで、HMDゲーム画像生成部232が生成したゲーム画像とは異なるゲーム画像を生成する。具体的にHMDゲーム画像生成部232は、ユーザの視点位置および視線方向に合わせた仮想カメラを用いてゲーム画像を撮影するが、TVゲーム画像生成部234は、ユーザの視点位置および視線方向に依存しない仮想カメラを用いてゲーム画像を撮影してよい。つまりTVゲーム画像生成部234は、HMDゲーム画像生成部232が使用する仮想カメラとは別の仮想カメラで撮影した2次元ゲーム画像を生成する。したがってTVゲーム画像生成部234が生成する2次元ゲーム画像の画角は、HMDゲーム画像生成部232が生成するゲーム画像の画角と異なる。
【0038】
システム画像生成部240は、ゲーム画像に重畳されるシステム画像、またはゲーム画像に替わって表示されるシステム画像を生成する。ユーザによるゲームプレイ中、操作情報取得部216が、ユーザからシステム画像を表示するための操作情報を取得すると、システム画像生成部240は、ゲーム画像に重畳されるシステム画像を生成する。
【0039】
表示画像生成部242は、ゲーム画像生成部230で生成されるゲーム画像およびシステム画像生成部240で生成されるシステム画像を受け取り、HMD100に表示される画像および出力装置15に表示される画像を生成する。表示画像生成部242において、HMD表示画像生成部244は、HMDゲーム画像生成部232で生成されるゲーム画像(以下、「HMD用ゲーム画像」と呼ぶこともある)とシステム画像から、HMD100に表示される3次元仮想現実空間の画像を生成する。TV表示画像生成部246は、TVゲーム画像生成部234で生成されるゲーム画像(以下、「TV用ゲーム画像」と呼ぶこともある)とシステム画像から、出力装置15に表示される画像を生成する。
【0040】
ゲームプレイ中、ユーザがシステム画像を表示するための操作を入力しなければ、システム画像生成部240はシステム画像を生成しない。システム画像生成部240がシステム画像を生成しない場合、HMD表示画像生成部244は、HMD100の表示画像として、HMD用ゲーム画像(一対の視差画像)をHMD100に出力し、TV表示画像生成部246は、出力装置15の表示画像として、TV用ゲーム画像を出力装置15に出力する。
【0041】
図5は、HMD100の表示パネル130に表示されるゲーム画像の例を示す。上記したように表示パネル130は、左目用表示パネル130aと右目用表示パネル130bを有しており、制御部120は、左目用のゲーム画像と右目用のゲーム画像をそれぞれ左目用表示パネル130aと右目用表示パネル130bに表示する。
【0042】
図6は、出力装置15に表示されるゲーム画像の例を示す。セパレートモードにおいて出力装置15には、表示パネル130に表示されるゲーム画像(図5参照)とは異なるゲーム画像が表示される。
【0043】
ゲームプレイ中、ユーザが入力デバイス16の所定のボタン(クリエイトボタン)を押下すると、操作情報取得部216は、システム画像を表示するための操作情報を取得し、システム画像生成部240は、ゲーム画像のキャプチャおよび共有に関する複数のメニュー項目を含むシステム画像を生成する。HMD表示画像生成部244は、HMD用ゲーム画像にシステム画像を重畳し、TV表示画像生成部246は、TV用ゲーム画像にシステム画像を重畳する。
【0044】
図7は、表示パネル130に表示されるシステム画像300の例を示す。システム画像300は、画像のキャプチャおよび共有に関する複数のメニュー項目を含む。以下、各メニュー項目について説明する。
・ メニュー項目302
「直近のゲームプレイを保存」するためのメニュー項目。デフォルトではリングバッファに記録している最大60分の直近のゲームプレイを保存する。ユーザは保存時間を設定することで、たとえば直近15秒、直近30秒などのゲームプレイを保存できる。
・ メニュー項目304
「スクリーンショットを撮影」するためのメニュー項目。
・ メニュー項目306
「新しく録画を開始」するためのメニュー項目。動画収録中は、画面上部に赤丸マークと収録開始からの計測時間が表示される。
・ メニュー項目308
「ブロードキャスト」を開始するためのメニュー項目。
・ メニュー項目310
「シェアスクリーン」を開始するためのメニュー項目。ユーザは、パーティのメンバとゲームプレイをシェアできる。
【0045】
ユーザは、選択枠320を所望のメニュー項目の位置に動かすことで、メニュー項目を選択する。図7に示す例では選択枠320がメニュー項目306上に配置され、「新しく録画を開始」するためのメニュー項目が選択されている。ユーザが、入力デバイス16の決定ボタンを押下すると、操作情報取得部216は、メニュー項目306を選択する操作情報を取得する。メニュー項目306を選択する操作情報は、ゲーム動画を録画するための操作情報であり、メニュー項目306が選択されると、システム画像生成部240は、録画対象を選択するためのシステム画像を生成する。
【0046】
図8は、表示パネル130に表示されるシステム画像330の例を示す。操作情報取得部216が、システム画像300に含まれるゲームプレイ録画の項目(メニュー項目306)を選択する操作情報を取得すると、システム画像生成部240は、録画対象の複数の選択肢を提示するためのシステム画像330を生成し、HMD表示画像生成部244は、HMD用ゲーム画像にシステム画像330を重畳して、複数の選択肢を提示する。システム画像330は、以下の複数の選択肢(メニュー項目)を含む。
【0047】
・ メニュー項目334
TV用ゲーム画像の録画を選択するためのメニュー項目。
・ メニュー項目336
HMD用ゲーム画像の録画を選択するためのメニュー項目。
・ メニュー項目338
HMD用ゲーム画像とTV用ゲーム画像を切り替えながら録画することを選択するためのメニュー項目。
・ メニュー項目340
HMD用ゲーム画像とTV用ゲーム画像を合成して録画することを選択するためのメニュー項目。
・ メニュー項目344
HMD用ゲーム画像とTV用ゲーム画像の両方を録画することを選択するためのメニュー項目。
【0048】
ユーザは、選択枠342を所望のメニュー項目の位置に動かして録画対象を選択する。図8に示す例では選択枠342がメニュー項目338上に配置され、「HMD用ゲーム画像とTV用ゲーム画像を切り替えながら録画」することが選択されている。実施例の情報処理装置10においてユーザは、HMD100を装着したまま録画対象を選択できる。ユーザが録画開始ボタン332を操作すると、操作情報取得部216は、録画開始ボタン332を操作した操作情報を取得し、コンテンツ画像生成部248が、選択された録画対象を録画する。
【0049】
実施例のコンテンツ画像生成部248は、HMD表示画像生成部244が生成する画像および/またはTV表示画像生成部246が生成する画像から、コンテンツ画像を生成して、動画記録部250に記録する。以下、各メニュー項目が選択されたときに生成されるコンテンツ画像について説明する。
【0050】
<メニュー項目334が選択された場合>
メニュー項目334が選択された状態で録画開始ボタン332が操作されると、コンテンツ画像生成部248は、TV表示画像生成部246が生成する画像を、コンテンツ画像として録画する。HMD用ゲーム画像は光学歪み補正を施されている一方で、TV用ゲーム画像は、そのような補正を施されていないため、TV用ゲーム画像を録画対象とすることで、高品質なコンテンツ画像を記録できる。なお、この場合、コンテンツ画像生成部248は、TV表示画像生成部246が生成する画像と全く同じ画像ではなく、例えばアスペクト比等を変えた種々のフォーマットの画像をコンテンツ画像として録画してもよい。
【0051】
<メニュー項目336が選択された場合>
メニュー項目336が選択された状態で録画開始ボタン332が操作されると、コンテンツ画像生成部248は、HMD表示画像生成部244が生成する画像を、コンテンツ画像として録画する。HMD用ゲーム画像は、ユーザが実際にプレイしたゲーム画像であるため、HMD用ゲーム画像を録画して、SNSを提供するサーバ装置にアップロードすることで、ユーザと同じゲーム体験を視聴ユーザに提供できるようになる。HMDが視聴ユーザに普及することで、HMD用ゲーム画像に対する視聴ニーズは高まる。なお、この場合、コンテンツ画像生成部248は、HMD表示画像生成部244が生成する画像と全く同じ画像ではなく、例えばアスペクト比、歪み補正処理、色収差補正処理等を変えた種々のフォーマットの画像をコンテンツ画像として録画してもよい。
【0052】
<メニュー項目338が選択された場合>
メニュー項目338が選択された状態で録画開始ボタン332が操作されると、コンテンツ画像生成部248は、HMD表示画像生成部244が生成する画像(以下、「第1コンテンツ画像」ともよぶ)とTV表示画像生成部246が生成する画像(以下、「第2コンテンツ画像」ともよぶ)とを途中で切り替えて、1つのコンテンツ画像(以下、「第3コンテンツ画像」とも呼ぶ)として録画する。コンテンツ画像生成部248は、第1コンテンツ画像と第2コンテンツ画像とを所定時間ごとに切り替えて、第3コンテンツ画像を生成してもよい。たとえばコンテンツ画像生成部248は、30秒ごとに、第1コンテンツ画像と第2コンテンツ画像を切り替えて、1つの動画(第3コンテンツ画像)として録画してよい。
【0053】
<メニュー項目340が選択された場合>
メニュー項目340が選択された状態で録画開始ボタン332が操作されると、コンテンツ画像生成部248は、HMD表示画像生成部244が生成する画像(第1コンテンツ画像)とTV表示画像生成部246が生成する画像(第2コンテンツ画像)とを合成して、1つの動画(第3コンテンツ画像)として録画する。
【0054】
<メニュー項目344が選択された場合>
メニュー項目344が選択された状態で録画開始ボタン332が操作されると、コンテンツ画像生成部248は、HMD表示画像生成部244が生成する画像(第1コンテンツ画像)とTV表示画像生成部246が生成する画像(第2コンテンツ画像)の両方を、それぞれ別個のコンテンツ画像(第3コンテンツ画像)として録画する。
【0055】
図9は、第1コンテンツ画像と第2コンテンツ画像とを合成した第3コンテンツ画像の例を示す。この例で、右側に配置された第1コンテンツ画像は、HMD用ゲーム画像であり、左側に配置された第2コンテンツ画像は、TV用ゲーム画像である。コンテンツ画像生成部248は、HMD用ゲーム画像とTV用ゲーム画像を、1つの動画(第3コンテンツ画像)として録画する。実施例においてHMD用ゲーム画像は光学歪み補正を施されているため、コンテンツ画像生成部248は、HMD用ゲーム画像を補正前の状態に戻して録画してもよい。
【0056】
なおメニュー項目334またはメニュー項目336が選択された状態で録画開始ボタン332が操作された場合、ユーザは、録画中に入力デバイス16の所定のボタンを操作して、録画対象を切り替えることができる。ユーザは好きなタイミングで録画対象を切り替えることで、HMD用ゲーム画像とTV用ゲーム画像とをゲームシーンに応じて切り替えたコンテンツ画像を生成できる。
【0057】
図7に示すシステム画像300において、ユーザが、選択枠320をメニュー項目308上に配置して、入力デバイス16の決定ボタンを押下すると、操作情報取得部216は、メニュー項目308を選択する操作情報を取得する。メニュー項目308を選択する操作情報は、ゲーム画像を配信するための操作情報であり、メニュー項目308が選択されると、システム画像生成部240は、配信対象を選択するためのシステム画像を生成する。
【0058】
図10は、表示パネル130に表示されるシステム画像350の例を示す。操作情報取得部216が、システム画像300に含まれるゲーム画像配信の項目(メニュー項目308)を選択する操作情報を取得すると、システム画像生成部240は、配信対象の複数の選択肢を提示するためのシステム画像350を生成し、HMD表示画像生成部244は、HMD用ゲーム画像にシステム画像350を重畳して、複数の選択肢を提示する。システム画像350は、以下の複数の選択肢(メニュー項目)を含む。
【0059】
・ メニュー項目354
TV用ゲーム画像の配信を選択するためのメニュー項目。
・ メニュー項目356
HMD用ゲーム画像の配信を選択するためのメニュー項目。
・ メニュー項目358
HMD用ゲーム画像とTV用ゲーム画像を切り替えながら配信することを選択するためのメニュー項目。
・ メニュー項目360
HMD用ゲーム画像とTV用ゲーム画像を合成して配信することを選択するためのメニュー項目。
・ メニュー項目362
HMD用ゲーム画像とTV用ゲーム画像の両方を配信することを選択するためのメニュー項目。
【0060】
ユーザは、選択枠342を所望のメニュー項目の位置に動かして配信対象を選択する。図10に示す例では選択枠342がメニュー項目358上に配置され、「HMD用ゲーム画像とTV用ゲーム画像を切り替えながら配信」することが選択されている。実施例の情報処理装置10においてユーザは、HMD100を装着したまま配信対象を選択できる。ユーザが配信開始ボタン352を操作すると、操作情報取得部216は、配信開始ボタン352を操作した操作情報を取得し、コンテンツ画像生成部248が、選択された配信対象を通信部202から、SNSを提供するサーバ装置に配信する。
【0061】
実施例のコンテンツ画像生成部248は、HMD表示画像生成部244が生成する画像および/またはTV表示画像生成部246が生成する画像から、コンテンツ画像を生成して、サーバ装置に配信する。以下、各メニュー項目が選択されたときに生成されるコンテンツ画像について説明する。
【0062】
<メニュー項目354が選択された場合>
メニュー項目354が選択された状態で配信開始ボタン352が操作されると、コンテンツ画像生成部248は、TV表示画像生成部246が生成する画像を、コンテンツ画像として配信する。HMD用ゲーム画像は光学歪み補正を施されている一方で、TV用ゲーム画像は、そのような補正を施されていないため、TV用ゲーム画像を配信対象とすることで、高品質なコンテンツ画像を配信できる。なお、この場合、コンテンツ画像生成部248は、TV表示画像生成部246が生成する画像と全く同じ画像ではなく、例えばアスペクト比等を変えた種々のフォーマットの画像をコンテンツ画像として配信してもよい。
【0063】
<メニュー項目356が選択された場合>
メニュー項目356が選択された状態で配信開始ボタン352が操作されると、コンテンツ画像生成部248は、HMD表示画像生成部244が生成する画像を、コンテンツ画像として配信する。HMD用ゲーム画像は、ユーザが実際にプレイしたゲーム画像であるため、HMD用ゲーム画像を配信対象とすることで、ユーザと同じゲーム体験を視聴ユーザに提供できるようになる。なお、この場合、コンテンツ画像生成部248は、HMD表示画像生成部244が生成する画像と全く同じ画像ではなく、例えばアスペクト比、歪み補正処理、色収差補正処理等を変えた種々のフォーマットの画像をコンテンツ画像として配信してもよい。
【0064】
<メニュー項目358が選択された場合>
メニュー項目358が選択された状態で配信開始ボタン352が操作されると、コンテンツ画像生成部248は、HMD表示画像生成部244が生成する画像(第1コンテンツ画像)とTV表示画像生成部246が生成する画像(第2コンテンツ画像)とを途中で切り替えて、1つのコンテンツ画像(以下、「第3コンテンツ画像」とも呼ぶ)として配信する。コンテンツ画像生成部248は、第1コンテンツ画像と第2コンテンツ画像とを所定時間ごとに切り替えて、第3コンテンツ画像を生成してもよい。たとえばコンテンツ画像生成部248は、30秒ごとに、第1コンテンツ画像と第2コンテンツ画像を切り替えて、1つの動画(第3コンテンツ画像)として配信してよい。
【0065】
<メニュー項目360が選択された場合>
メニュー項目360が選択された状態で配信開始ボタン352が操作されると、コンテンツ画像生成部248は、HMD表示画像生成部244が生成する画像(第1コンテンツ画像)とTV表示画像生成部246が生成する画像(第2コンテンツ画像)とを合成して、1つの動画(第3コンテンツ画像)として配信する。
【0066】
<メニュー項目362が選択された場合>
メニュー項目362が選択された状態で配信開始ボタン352が操作されると、コンテンツ画像生成部248は、HMD表示画像生成部244が生成する画像(第1コンテンツ画像)とTV表示画像生成部246が生成する画像(第2コンテンツ画像)の両方を、それぞれ別個のコンテンツ画像(第3コンテンツ画像)として配信する。
【0067】
なおメニュー項目354またはメニュー項目356が選択された状態で配信開始ボタン352が操作された場合、ユーザは、配信中に入力デバイス16の所定のボタンを操作して、配信対象を切り替えることができる。ユーザは好きなタイミングで配信対象を切り替えることで、HMD用ゲーム画像とTV用ゲーム画像とをゲームシーンに応じて切り替えたコンテンツ画像を生成して配信できる。
【0068】
以上、本開示を実施例をもとに説明した。上記実施例は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本開示の範囲にあることは当業者に理解されるところである。実施例では、ゲーム画像を録画または配信する処理について説明したが、本開示は、ゲーム画像以外のコンテンツ画像を録画または配信する処理にも適用できる。
【0069】
実施例では、HMDゲーム画像生成部232が、ユーザの視点位置および視線方向にもとづいてHMD用ゲーム画像を生成するが、ユーザの視線方向のみにもとづいてHMD用ゲーム画像を生成してもよい。
【0070】
実施例では、ユーザがシステム画像300を表示させ、メニュー項目を選択することで録画対象や配信対象を選択できることを説明した。たとえば入力デバイス16がキーボードである場合、録画対象や配信対象の選択肢ごとにキーボードショートカットが提供されてよい。たとえば「TV用ゲーム画像を録画」の選択肢に対して “PrintScreen”+“T”の組み合わせが割り当てられ、「HMD用ゲーム画像を録画」の選択肢に対して “PrintScreen”+“H”の組み合わせが割り当てられ、「HMD用ゲーム画像とTV用ゲーム画像を切り替えながら録画」の選択肢に対して “PrintScreen”+“B”の組み合わせが割り当てられ、「HMD用ゲーム画像とTV用ゲーム画像を合成して録画」の選択肢に対して “PrintScreen”+“Y”の組み合わせが割り当てられ、「HMD用ゲーム画像とTV用ゲーム画像の両方を録画」の選択肢に対して “PrintScreen”+“J”の組み合わせが割り当てられてよい。ユーザはゲームプレイ中にキーボードの組み合わせを入力することで、対応する録画対象を録画できる。なお配信対象についても同様にキーボードショートカットが提供されてよい。
【0071】
また実施例では、ユーザがゲームプレイ中に録画対象や配信対象を選択できることを説明したが、変形例でユーザは、ゲームプレイに関係なく、情報処理装置10に関する設定メニューを表示パネル130に表示させて、録画対象や配信対象を選択できてもよい。コンテンツ画像生成部248は、選択された録画対象や配信対象を記憶しておき、録画や配信する際の設定値として利用してよい。この場合、ユーザは、ゲームプレイ中に録画対象や配信対象を毎回選択する必要なく、事前に設定した録画対象や配信対象が自動的に選択されて、録画処理および/または配信処理が実施されてよい。なお録画対象を事前に設定しておくことで、ユーザがゲームプレイ中にメニュー項目302(直近のゲームプレイを保存)を選択した場合に、リングバッファに記録している所定時間分の録画対象を保存できるようになる。
【符号の説明】
【0072】
1・・・情報処理システム、10・・・情報処理装置、15・・・出力装置、16・・・入力デバイス、100・・・HMD、130・・・表示パネル、130a・・・左目用表示パネル、130b・・・右目用表示パネル、200・・・処理部、202・・・通信部、210・・・取得部、212・・・撮影画像取得部、214・・・センサデータ取得部、216・・・操作情報取得部、220・・・推定処理部、222・・・ゲーム実行部、230・・・ゲーム画像生成部、232・・・HMDゲーム画像生成部、234・・・TVゲーム画像生成部、240・・・システム画像生成部、242・・・表示画像生成部、244・・・HMD表示画像生成部、246・・・TV表示画像生成部、248・・・コンテンツ画像生成部、250・・・動画記録部。
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10