特許 6921204 情報処理装置および画像出力方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6921204

(24)【登録日】2021年7月29日

(45)【発行日】2021年8月18日

(54)【発明の名称】情報処理装置および画像出力方法

(51)【国際特許分類】

   H04N 21/431 20110101AFI20210805BHJP

   H04N 7/18 20060101ALI20210805BHJP

   H04N 13/383 20180101ALI20210805BHJP

   G09G 5/00 20060101ALI20210805BHJP

【ＦＩ】

   H04N21/431

   H04N7/18 F

   H04N13/383

   G09G5/00 510X

   G09G5/00 550C

   G09G5/00 510A

【請求項の数】8

【全頁数】13

(21)【出願番号】特願2019-537504(P2019-537504)

(86)(22)【出願日】2017年8月24日

(86)【国際出願番号】JP2017030335

(87)【国際公開番号】WO2019038885

(87)【国際公開日】20190228

【審査請求日】2019年9月25日

(73)【特許権者】

【識別番号】310021766

【氏名又は名称】株式会社ソニー・インタラクティブエンタテインメント

(74)【代理人】

【識別番号】100105924

【弁理士】

【氏名又は名称】森下 賢樹

(74)【代理人】

【識別番号】100109047

【弁理士】

【氏名又は名称】村田 雄祐

(74)【代理人】

【識別番号】100109081

【弁理士】

【氏名又は名称】三木 友由

(74)【代理人】

【識別番号】100134256

【弁理士】

【氏名又は名称】青木 武司

(72)【発明者】

【氏名】山口 晋平

(72)【発明者】

【氏名】篠原 隆之

(72)【発明者】

【氏名】又吉 智

(72)【発明者】

【氏名】森貞 英彦

【審査官】 富樫 明

(56)【参考文献】

【文献】 特開２０１５−０１５５８３（ＪＰ，Ａ）

【文献】 特開２００２−３４４９２９（ＪＰ，Ａ）

【文献】 特開２０１３−２４２６１０（ＪＰ，Ａ）

【文献】 特開２０１７−１１８３４７（ＪＰ，Ａ）

【文献】 国際公開第２０１７／１１０６３２（ＷＯ，Ａ１）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ ２１／００−２１／８５８

Ｇ０９Ｇ ５／００

Ｈ０４Ｎ ７／１８

Ｈ０４Ｎ １３／３８３

(57)【特許請求の範囲】

【請求項1】

ユーザ操作を受け付ける受付部と、
前記受付部が受け付けたユーザ操作にもとづいて、複数のカメラで撮影した撮影画像をそれぞれ縮小した複数の低解像度の縮小画像を取得する画像取得部と、
ユーザの頭部に装着されたヘッドマウントディスプレイの姿勢情報および／または位置情報を取得するＨＭＤ情報取得部と、
ヘッドマウントディスプレイの姿勢情報および／または位置情報に応じて、視線方向および／または視点位置を定める視線情報決定部と、
ヘッドマウントディスプレイの視線方向および／または視点位置にもとづいて、複数の低解像度の縮小画像のそれぞれを、撮影したカメラの位置に対応する位置に配置した表示画像を生成する表示制御部と、を備え、
前記表示制御部は、複数のカメラが配置された会場を模した仮想会場を画像内に配置して、当該仮想会場におけるカメラ位置に対応する位置に縮小画像を配置し、
前記受付部が、縮小画像の選択操作を受け付けると、前記表示制御部は、複数の縮小画像の配置はそのままに、選択された縮小画像を引き伸ばして背景画像とした表示画像を生成し、
前記受付部が、縮小画像の決定操作を受け付けると、前記画像取得部は、決定された縮小画像に対応する高解像度の撮影画像を取得し、前記表示制御部は、取得した高解像度の撮影画像を用いて、ヘッドマウントディスプレイの視線方向および／または視点位置に応じた表示画像を生成する、
ことを特徴とする情報処理装置。

【請求項2】

前記表示制御部は、選択操作された縮小画像に対して、選択されたことを示すマークを付加する、
ことを特徴とする請求項１に記載の情報処理装置。

【請求項3】

前記受付部が、縮小画像の決定操作を受け付けると、前記表示制御部は、仮想会場に配置した複数の縮小画像を非表示とする、
ことを特徴とする請求項１または２に記載の情報処理装置。

【請求項4】

前記画像取得部は、ストリーミング配信される画像を取得する、
ことを特徴とする請求項１から３のいずれかに記載の情報処理装置。

【請求項5】

前記表示制御部は、カメラに関する情報を、縮小画像に関連づけて配置する、
ことを特徴とする請求項１から４のいずれかに記載の情報処理装置。

【請求項6】

前記表示制御部は、カメラに関する情報として、カメラの撮影形式に関する情報、カメラの撮影方向に関する情報、撮影対象に関する情報の少なくとも１つを、縮小画像に関連づけて配置する、
ことを特徴とする請求項５に記載の情報処理装置。

【請求項7】

複数のカメラで撮影した撮影画像をそれぞれ縮小した複数の低解像度の縮小画像を取得するステップと、
ユーザの頭部に装着されたヘッドマウントディスプレイの姿勢情報および／または位置情報を取得するステップと、
ヘッドマウントディスプレイの姿勢情報および／または位置情報に応じて、視線方向および／または視点位置を定めるステップと、
ヘッドマウントディスプレイの視線方向および／または視点位置にもとづいて、複数のカメラが配置された会場を模した仮想会場を画像内に配置し、複数の低解像度の縮小画像のそれぞれを、複数のカメラのそれぞれの位置に対応する位置に配置した表示画像を生成するステップと、
縮小画像の選択操作を受け付けるステップと、
選択操作にもとづいて、複数の縮小画像の配置はそのままに、選択された縮小画像を引き伸ばして背景画像とした表示画像を生成するステップと、
縮小画像の決定操作を受け付けるステップと、
決定操作にもとづいて、決定された縮小画像に対応する高解像度の撮影画像を取得するステップと、
取得した高解像度の撮影画像を用いて、ヘッドマウントディスプレイの視線方向および／または視点位置に応じた表示画像を生成するステップと、
を有することを特徴とする画像出力方法。

【請求項8】

コンピュータに、
複数のカメラで撮影した撮影画像をそれぞれ縮小した複数の低解像度の縮小画像を取得する機能と、
ユーザの頭部に装着されたヘッドマウントディスプレイの姿勢情報および／または位置情報を取得する機能と、
ヘッドマウントディスプレイの姿勢情報および／または位置情報に応じて、視線方向および／または視点位置を定める機能と、
ヘッドマウントディスプレイの視線方向および／または視点位置にもとづいて、複数のカメラが配置された会場を模した仮想会場を画像内に配置し、複数の低解像度の縮小画像のそれぞれを、複数のカメラのそれぞれの位置に対応する位置に配置した表示画像を生成する機能と、
縮小画像の選択操作を受け付ける機能と、
選択操作にもとづいて、複数の縮小画像の配置はそのままに、選択された縮小画像を引き伸ばして背景画像とした表示画像を生成する機能と、
縮小画像の決定操作を受け付ける機能と、
決定操作にもとづいて、決定された縮小画像に対応する高解像度の撮影画像を取得する機能と、
取得した高解像度の撮影画像を用いて、ヘッドマウントディスプレイの視線方向および／または視点位置に応じた表示画像を生成する機能と、
を実現させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、カメラで撮影した画像を出力する技術に関する。

【背景技術】

【0002】

ヘッドマウントディスプレイ（ＨＭＤ）はユーザの視野全体に画像を提供し、ユーザの映像世界への没入感を高める。ＨＭＤにヘッドトラッキング機能をもたせ、ユーザの頭部の姿勢や位置と連動して３次元空間の画像を提供することで、映像世界への没入感をさらに高められるようになる。

【発明の概要】

【発明が解決しようとする課題】

【0003】

たとえばコンサート会場を撮影したカメラ映像をＨＭＤにライブ配信することで、会場にいるかのような臨場感をユーザに与えられることが期待される。コンサート会場に複数のカメラが設置されている場合、ユーザは、視聴したいカメラ映像を自由に選択できることが好ましい。なおＨＭＤを利用する場合に限らず、テレビなどの出力装置にカメラ映像をライブ配信する場合であっても、ユーザがカメラ映像を自由に選択できるように、選択肢を効果的にユーザに提示するユーザインタフェースが提供されることが好ましい。

【0004】

本発明はこうした課題に鑑みてなされたものであり、その目的は、複数のカメラで撮影した撮影画像の選択肢を効果的にユーザに提示する技術を提供することにある。

【課題を解決するための手段】

【0005】

上記課題を解決するために、本発明のある態様の情報処理装置は、ユーザ操作を受け付ける受付部と、受付部が受け付けたユーザ操作にもとづいて、複数のカメラで撮影した撮影画像をそれぞれ縮小した複数の縮小画像を取得する画像取得部と、複数の縮小画像のそれぞれを、撮影したカメラの位置に対応する位置に配置した表示画像を出力する表示制御部と、を備える。

【0006】

本発明の別の態様は、画像出力方法であって、ユーザ操作を受け付けるステップと、ユーザ操作にもとづいて、複数のカメラで撮影した撮影画像をそれぞれ縮小した複数の縮小画像を取得するステップと、複数の縮小画像のそれぞれを、撮影したカメラの位置に対応する位置に配置した表示画像を出力するステップとを有する。

【0007】

なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、コンピュータプログラム、コンピュータプログラムを読み取り可能に記録した記録媒体、データ構造などの間で変換したものもまた、本発明の態様として有効である。

【発明の効果】

【0008】

本発明によれば、複数のカメラで撮影した撮影画像の選択肢をユーザに提示する技術を提供できる。

【図面の簡単な説明】

【0009】

【図1】実施例における情報処理システムの構成例を示す図である。

【図2】ＨＭＤの外観形状の例を示す図である。

【図3】ＨＭＤの機能ブロックを示す図である。

【図4】情報処理装置の機能ブロックを示す図である。

【図5】ＨＭＤに表示されるライブ映像の一例を示す図である。

【図6】表示する撮影画像をユーザが決定するためのユーザインタフェースを示す図である。

【図7】縮小画像の選択が変更された状態を示す図である。

【図8】ユーザインタフェースを拡大表示した例を示す図である。

【発明を実施するための形態】

【0010】

図１は、実施例における情報処理システム１の構成例を示す。情報処理システム１は、情報処理装置１０と、ヘッドマウントディスプレイ（ＨＭＤ）１００と、ユーザが手指で操作する入力装置１６と、ＨＭＤ１００を装着したユーザを撮影する撮像装置１４と、画像を表示する出力装置１５とを備える。出力装置１５はテレビであってよい。情報処理装置１０は、アクセスポイント（ＡＰ）１７を介して、インターネットなどの外部のネットワーク２に接続される。ＡＰ１７は無線アクセスポイントおよびルータの機能を有し、情報処理装置１０はＡＰ１７とケーブルで接続してもよく、既知の無線通信プロトコルで接続してもよい。

【0011】

情報処理装置１０は、ネットワーク２経由で、配信サーバ１８と接続する。配信サーバ１８は、コンサートホールやサッカー場などのイベント会場で、複数のカメラで撮影した撮影画像をライブ中継するストリーミング配信装置である。実施例においてイベント会場では、６台のカメラＡ〜Ｆがそれぞれ異なる位置で、ステージに向けられて設置されている。

【0012】

このイベント会場は、２階席のあるコンサートホールであってよい。ここでカメラＢは、ステージ正面近くの客席に配置されており、カメラＡ、Ｃは、ステージの両脇に配置されている。またカメラＤ〜Ｆは、会場の２階席にそれぞれ配置され、ステージに向かってカメラＤは２階席の左側、カメラＥは２階席の中央、カメラＦは２階席の右側にそれぞれ配置されている。各カメラの撮影形式はライブ中継の演出用途に応じて異なってよく、カメラＡ、Ｃ、Ｅは魚眼カメラ、カメラＢ、Ｄ、Ｆは通常のカメラであってよい。なお各カメラの撮影方向は固定されていてもよいが、特定の対象者の動きに合わせて動かされてもよい。

【0013】

ＨＭＤ１００はユーザの頭部に装着されて映像世界をユーザに提供する。実施例でＨＭＤ１００は、配信サーバ１８から提供されるカメラ映像をユーザに提供する。ＨＭＤ１００にヘッドトラッキング機能をもたせ、ユーザの頭部の動きに連動して表示画像を更新することで、イベント会場の臨場感を与えられるようになる。実施例でユーザは頭部の姿勢や位置を動かすことで、所望の視線方向、視点位置で、ライブ映像を見ることができる。

【0014】

情報処理装置１０は、処理装置１１、出力制御装置１２および記憶装置１３を備える。処理装置１１は、ユーザにより入力装置１６に入力された操作情報を受け付けて、配信サーバ１８から配信されるカメラ映像をＨＭＤ１００に提供する端末装置である。処理装置１１と入力装置１６とはケーブルで接続されてよく、また既知の無線通信プロトコルで接続されてもよい。なお実施例の処理装置１１は、ＨＭＤ１００の位置情報および姿勢情報を、視線位置および視線方向を変更するためのユーザの操作情報として受け付けて、ＨＭＤ１００に表示する画像を更新する機能をもつ。出力制御装置１２は、処理装置１１で生成された画像データをＨＭＤ１００に出力する処理ユニットであり、出力制御装置１２とＨＭＤ１００とはケーブルで接続されてよく、また既知の無線通信プロトコルで接続されてもよい。

【0015】

撮像装置１４はステレオカメラであって、ＨＭＤ１００を装着したユーザを所定の周期で撮影し、撮影画像を処理装置１１に供給する。後述するがＨＭＤ１００にはユーザ頭部をトラッキングするためのマーカ（トラッキング用ＬＥＤ）が設けられ、処理装置１１は、撮影画像に含まれるマーカの位置にもとづいてＨＭＤ１００の動きを検出する。なおＨＭＤ１００には姿勢センサ（加速度センサおよびジャイロセンサ）が搭載され、処理装置１１は、姿勢センサで検出されたセンサデータをＨＭＤ１００から取得することで、マーカの撮影画像の利用とあわせて、高精度のトラッキング処理を実施する。なおトラッキング処理については従来より様々な手法が提案されており、処理装置１１はＨＭＤ１００の動きを検出できるのであれば、どのようなトラッキング手法を採用してもよい。

【0016】

ユーザはＨＭＤ１００で画像を見るため、ＨＭＤ１００を装着したユーザにとって出力装置１５は必ずしも必要ではないが、出力装置１５を用意することで、別のユーザが出力装置１５の表示画像を見ることができる。出力制御装置１２または処理装置１１は、ＨＭＤ１００を装着したユーザが見ている画像と同じ画像を出力装置１５に表示させてよい。

【0017】

ＨＭＤ１００は、ユーザが頭部に装着することによりその眼前に位置する表示パネルに画像を表示する表示装置である。ＨＭＤ１００は、左目用表示パネルに左目用の画像を、右目用表示パネルに右目用の画像を、それぞれ別個に表示する。これらの画像は左右の視点から見た視差画像を構成し、立体視を実現する。なおユーザは光学レンズを通して表示パネルを見るため、情報処理装置１０は、レンズによる光学歪みを補正した視差画像データをＨＭＤ１００に供給する。この光学歪みの補正処理は、処理装置１１、出力制御装置１２のいずれが行ってもよい。

【0018】

出力制御装置１２による機能は、処理装置１１に組み込まれてよい。情報処理装置１０の処理ユニットは、１台の処理装置１１から構成されても、また処理装置１１および出力制御装置１２から構成されてもよい。以下、画像をＨＭＤ１００に提供する機能を、まとめて情報処理装置１０の機能として説明する。

【0019】

情報処理装置１０は、ユーザのヘッドトラッキング処理を行うことで、ユーザ頭部（実際にはＨＭＤ１００）の位置座標および姿勢を検出する。ここでＨＭＤ１００の位置座標とは、基準位置を原点とした３次元空間における位置座標であり、基準位置はＨＭＤ１００の電源がオンされたときの位置座標（緯度、経度）であってよい。またＨＭＤ１００の姿勢とは、３次元空間における基準姿勢に対する３軸方向の傾きである。なお基準姿勢は、ユーザの視線方向が水平方向となる姿勢であり、ＨＭＤ１００の電源がオンされたときに基準姿勢が設定されてよい。

【0020】

情報処理装置１０は、ＨＭＤ１００の姿勢センサが検出したセンサデータのみから、ＨＭＤ１００の位置座標および姿勢を検出でき、さらに撮像装置１４で撮影したＨＭＤ１００のマーカ（トラッキング用ＬＥＤ）を画像解析することで、高精度にＨＭＤ１００の位置座標および姿勢を検出できる。

【0021】

図２は、ＨＭＤ１００の外観形状の例を示す。ＨＭＤ１００は、出力機構部１０２および装着機構部１０４から構成される。装着機構部１０４は、ユーザが被ることにより頭部を一周してＨＭＤ１００を頭部に固定する装着バンド１０６を含む。装着バンド１０６はユーザの頭囲に合わせて長さの調節が可能な素材または構造をもつ。

【0022】

出力機構部１０２は、ＨＭＤ１００をユーザが装着した状態において左右の目を覆う形状の筐体１０８を含み、内部には装着時に目に正対する表示パネルを備える。表示パネルは液晶パネルや有機ＥＬパネルなどであってよい。筐体１０８内部にはさらに、表示パネルとユーザの目との間に位置し、ユーザの視野角を拡大する左右一対の光学レンズが備えられる。ＨＭＤ１００はさらに、ユーザの耳に対応する位置にスピーカーやイヤホンを備えてよく、外付けのヘッドホンが接続されるように構成されてもよい。

【0023】

筐体１０８の外面には、発光マーカ１１０ａ、１１０ｂ、１１０ｃ、１１０ｄが備えられる。この例ではトラッキング用ＬＥＤが発光マーカ１１０を構成するが、その他の種類のマーカであってよく、いずれにしても撮像装置１４により撮影されて、情報処理装置１０がマーカ位置を画像解析できるものであればよい。発光マーカ１１０の数や配置は特に限定されないが、ＨＭＤ１００の姿勢や位置を検出できるための数および配置である必要があり、図示した例では筐体１０８の前面の４隅に設けている。さらにユーザが撮像装置１４に対して背を向けたときにも撮影できるように、発光マーカ１１０は装着バンド１０６の側部や後部に設けられてもよい。

【0024】

ＨＭＤ１００は、情報処理装置１０にケーブルで接続されても、既知の無線通信プロトコルで接続されてもよい。ＨＭＤ１００は、姿勢センサが検出したセンサデータを情報処理装置１０に送信し、また情報処理装置１０から出力された画像データを受信して、左目用表示パネルおよび右目用表示パネルに表示する。

【0025】

図３は、ＨＭＤ１００の機能ブロックを示す。制御部１２０は、画像データ、音声データ、センサデータなどの各種データや、命令を処理して出力するメインプロセッサである。記憶部１２２は、制御部１２０が処理するデータや命令などを一時的に記憶する。姿勢センサ１２４は、ＨＭＤ１００の姿勢情報を検出する。姿勢センサ１２４は、少なくとも３軸の加速度センサおよび３軸のジャイロセンサを含む。

【0026】

通信制御部１２８は、ネットワークアダプタまたはアンテナを介して、有線または無線通信により、制御部１２０から出力されるデータを外部の情報処理装置１０に送信する。また通信制御部１２８は、ネットワークアダプタまたはアンテナを介して、有線または無線通信により、情報処理装置１０からデータを受信し、制御部１２０に出力する。

【0027】

制御部１２０は、画像データや音声データを情報処理装置１０から受け取ると、表示パネル１３０に供給して表示させ、また音声出力部１３２に供給して音声出力させる。表示パネル１３０は、左目用表示パネル１３０ａと右目用表示パネル１３０ｂから構成され、各表示パネルに一対の視差画像が表示される。また制御部１２０は、姿勢センサ１２４からのセンサデータや、マイク１２６からの音声データを、通信制御部１２８から情報処理装置１０に送信させる。

【0028】

図４は、情報処理装置１０の機能ブロックを示す。情報処理装置１０は、外部との入出力インタフェースとして、センサデータ受信部２０、カメラ画像受信部２２、入力データ受信部２４、画像取得部４０および画像提供部５２を備える。情報処理装置１０は、さらにＨＭＤ情報取得部３０、視線情報決定部３２、受付部３４および表示制御部５０を備える。

【0029】

図４において、さまざまな処理を行う機能ブロックとして記載される各要素は、ハードウェア的には、回路ブロック、メモリ、その他のＬＳＩで構成することができ、ソフトウェア的には、メモリにロードされたプログラムなどによって実現される。したがって、これらの機能ブロックがハードウェアのみ、ソフトウェアのみ、またはそれらの組合せによっていろいろな形で実現できることは当業者には理解されるところであり、いずれかに限定されるものではない。

【0030】

センサデータ受信部２０は、ユーザが装着したＨＭＤ１００の姿勢センサ１２４から所定の周期でセンサデータを受信して、ＨＭＤ情報取得部３０に供給する。カメラ画像受信部２２は、撮像装置１４から所定の周期でＨＭＤ１００を撮影した画像を受信して、ＨＭＤ情報取得部３０に供給する。たとえば撮像装置１４は（１／６０）秒ごとに前方の空間を撮影し、カメラ画像受信部２２は（１／６０）秒ごとにカメラ画像を受信する。実施例においてＨＭＤ情報取得部３０は、センサデータおよび撮影画像から、ユーザの頭部に装着されたＨＭＤ１００の姿勢を示す姿勢情報および位置を示す位置情報を導出する。ＨＭＤ情報取得部３０は、導出した姿勢情報および位置情報を、視線情報決定部３２に供給する。

【0031】

ＨＭＤ情報取得部３０は、姿勢センサ１２４のセンサデータから、ＨＭＤ１００の姿勢および位置の変化を検出する。このときＨＭＤ情報取得部３０は３軸ジャイロセンサのセンサデータから、ＨＭＤ１００の姿勢変化を特定し、３軸加速度センサのセンサデータから位置変化を特定してよい。なおＨＭＤ情報取得部３０は、トラッキング用の発光マーカ１１０の撮影結果をさらに利用して、姿勢変化および位置変化の検出精度を高めることが好ましい。視線情報決定部３２は、ＨＭＤ１００の姿勢情報および位置情報に応じてユーザの視線方向および視点位置を定める。視線情報決定部３２は、決定した視線方向および視点位置を、表示制御部５０に提供する。なお視線情報決定部３２は、視線方向および視点位置の双方ではなく、いずれか一方だけを決定して、表示制御部５０に提供してもよい。

【0032】

入力データ受信部２４は入力装置１６から、ユーザが入力したキーデータを受信して、受付部３４に供給する。受付部３４は、入力装置１６に入力されたユーザ操作を受け付ける。

【0033】

情報処理装置１０は、イベント会場で開催されているライブイベントの撮影映像を配信サーバ１８から取得して、ＨＭＤ１００に提供する機能をもつ。この映像提供機能は、配信サーバ１８にアクセスして撮影映像を取得し、ＨＭＤ１００に提供するライブ中継アプリケーションにより実現される。ユーザはコンテンツサーバからライブ中継アプリケーションを情報処理装置１０にダウンロードすることで、ライブ中継アプリケーションを利用できるようになる。

【0034】

ユーザがライブ中継アプリケーションを起動すると、画像取得部４０が、カメラ画像の配信要求を配信サーバ１８に送信する。配信サーバ１８は、情報処理装置１０からの配信要求を受けて、配信用にデフォルト設定されているカメラ（たとえばカメラＢ）の撮影画像を、情報処理装置１０にストリーミング配信する。画像取得部４０は、ストリーミング配信されるカメラ撮影画像を取得し、表示制御部５０に提供する。後述するが、このとき画像取得部４０は、高解像度のカメラ撮影画像を取得している。

【0035】

図５は、ＨＭＤ１００に表示されるライブ映像の一例を示す。ここで＜画像Ｂ＞は、カメラＢにより撮影されているライブ画像であることを示す。表示制御部５０は、画像取得部４０が取得した高解像度のカメラ撮影画像を用いて、ＨＭＤ１００の視線方向および視点位置に応じた表示画像を生成して、画像提供部５２に出力する。このとき表示制御部５０は、左目用の表示画像と右目用の表示画像を生成する。画像提供部５２が、左目用表示画像と右目用表示画像をＨＭＤ１００に提供し、ＨＭＤ１００が、表示パネル１３０に表示する。これによりユーザは、イベント会場で配信用にデフォルト設定されているカメラＢの撮影画像を視聴できる。この状態でユーザは、入力装置１６の所定のボタンを操作すると、視聴しているカメラ撮影画像を切り替えるためのユーザインタフェースを表示パネル１３０に表示させられる。

【0036】

受付部３４が、表示する撮影画像をユーザが決定するためのユーザインタフェースを表示させるユーザ操作を受け付ける。このユーザ操作は、たとえば入力装置１６の所定のボタンの押下操作であってよい。この所定ボタンは、ユーザインタフェースの表示、非表示を決定するためのボタンである。高解像度のカメラ撮影画像が表示されている状態で、所定ボタンが押下操作されると、カメラ撮影画像が低解像度で表示されるとともに、表示画像を決定するためのユーザインタフェースが重畳表示される。一方、ユーザインタフェースが重畳表示された状態で、所定ボタンが押下操作されると、ユーザインタフェースが非表示とされて、高解像度のカメラ撮影画像が表示されるようになる。

【0037】

ユーザインタフェースが非表示の状態で、受付部３４が、所定ボタンの押下操作を受け付けると、画像取得部４０が、複数のカメラ画像の配信要求を配信サーバ１８に送信する。配信サーバ１８は、情報処理装置１０からの配信要求を受けて、複数のカメラＡ〜Ｆで撮影した撮影画像をそれぞれ縮小した（低解像度化した）複数の縮小画像をまとめて、情報処理装置１０にストリーミング配信する。画像取得部４０は、配信される複数のカメラＡ〜Ｆの縮小画像を取得し、表示制御部５０に提供する。それぞれの縮小画像は、カメラ撮影画像の低解像度版となる。

【0038】

表示制御部５０は、ＨＭＤ１００の視線方向および視点位置にもとづいて、複数の縮小画像のそれぞれを、撮影したカメラの位置に対応する位置に配置した表示画像を生成して画像提供部５２に出力する。

【0039】

図６は、表示する撮影画像をユーザが決定するためのユーザインタフェースを示す。表示制御部５０は、バックグランドにカメラ撮影画像を表示させつつ、ユーザインタフェース２００を背景画像に重畳させた表示画像を生成する。表示制御部５０は、複数の縮小画像をユーザインタフェース２００に配置する。ユーザインタフェース２００は、複数のカメラＡ〜Ｆが配置された会場を模した仮想会場を表現する形状を有し、仮想会場において、カメラＡ〜Ｆの位置に対応する位置に、各カメラ撮影画像の縮小画像が配置される。

【0040】

具体的に表示制御部５０は、実際の会場に配置されたカメラ位置に対応するユーザインタフェース２００における位置に、表示ウィンドウ２１０を配置し、表示ウィンドウ２１０内で縮小画像を表示する。上記したように実際の会場で、カメラＢは、ステージ正面近くの客席に、カメラＡ、Ｃは、ステージの両脇に配置されている。またステージに向かってカメラＤは２階席の左側、カメラＥは２階席の中央、カメラＦは２階席の右側にそれぞれ配置されている。

【0041】

そこで表示制御部５０は、ユーザインタフェース２００で表現される仮想会場において、カメラＡの撮影画像を表示する表示ウィンドウ２１０ａを左前方の位置に、カメラＢの撮影画像を表示する表示ウィンドウ２１０ｂを中央前方の位置に、カメラＣの撮影画像を表示する表示ウィンドウ２１０ｃを右前方の位置に、それぞれ配置する。また表示制御部５０は、カメラＤの撮影画像を表示する表示ウィンドウ２１０ｄを左後方の位置に、カメラＥの撮影画像を表示する表示ウィンドウ２１０ｅを中央後方の位置に、カメラＦの撮影画像を表示する表示ウィンドウ２１０ｆを右後方の位置に、それぞれ配置する。

【0042】

このように表示制御部５０が、仮想会場を表現したユーザインタフェース２００を画面中に配置して、ユーザインタフェース２００に複数の縮小画像を、実際の会場のカメラ位置に対応する位置に配置する。これによりユーザは、会場におけるカメラ位置を感覚的に理解するとともに、各表示ウィンドウ２１０に表示される縮小画像を確認することで、各カメラがどのような映像を撮影しているのかを知ることができる。

【0043】

表示制御部５０は、カメラＡ〜Ｆに関する情報を、各縮小画像に関連づけて配置する。ここでは表示制御部５０が、カメラに関する情報として、カメラの撮影形式に関する情報を表示ウィンドウ２１０の下方に配置している。なお（１６：９）は撮影画像のアスペクト比を、（魚眼）は魚眼レンズでの撮影であることを、それぞれ表現している。なお表示制御部５０は、カメラに関する情報として、カメラの撮影方向に関する情報、撮影対象に関する情報などを、縮小画像に関連づけて配置してもよい。

【0044】

また表示制御部５０は、ユーザインタフェース２００のバックグランドに、１つの縮小画像を引き伸ばした画像を表示させる。図６に示す例では、図５に示す状態で、ユーザインタフェース２００の表示要求が生成されたために、カメラＢの撮影画像がユーザインタフェース２００の背景画像として、そのまま表示されている。なお図５に示す画面では、表示制御部５０が、高解像度のカメラＢの撮影画像を用いて表示画像を生成していたが、図６に示す画面では、表示制御部５０が、低解像度のカメラＢの縮小画像を引き伸ばして、背景画像を生成している。

【0045】

表示制御部５０は、バックグランド表示されている縮小画像の表示ウィンドウ２１０に、選択されていることを示す選択マーク２２０を付加する。ここでは表示ウィンドウ２１０ｂに選択マーク２２０が付加されており、ユーザは、バックグランド表示されている画像が、どのカメラによって撮影されたものであるか容易に知ることができる。

【0046】

ユーザは入力装置１６の矢印ボタンを操作して、バックグランド表示させる縮小画像を選択できる。受付部３４が、ユーザによる縮小画像の選択操作として、矢印ボタン操作を受け付けると、表示制御部５０は、矢印ボタン操作にしたがって、選択マーク２２０を、選択された表示ウィンドウ２１０の上方に配置するように動かす。このとき表示制御部５０は、ユーザインタフェース２００における複数の縮小画像の配置はそのままに、選択マーク２２０が上方に配置された表示ウィンドウ２１０の縮小画像を引き伸ばして背景画像とした表示画像を生成する。

【0047】

図７は、縮小画像の選択が変更された状態を示す。図７に示す例では、選択マーク２２０が表示ウィンドウ２１０ｆの上方に付加されており、表示制御部５０が、ユーザインタフェース２００における複数の縮小画像の配置に変更を加えることなく、カメラＦの縮小画像を引き伸ばして背景画像とした表示画像を生成している。バックグランド画像として表示されるカメラＦの画像は低解像度であるが、ユーザは、プレビュー画面としてカメラＦの画像を視聴することで、カメラＦの撮影画像を表示画像として決定するべきか判断できる。

【0048】

なお実施例において、表示画像はＨＭＤ１００の姿勢情報、位置情報に連動し、ユーザは、ＨＭＤ１００を動かすことで、表示画像を変更できる。たとえばユーザは、撮像装置１４に対して前方に移動することで、表示画像を拡大できる。

【0049】

図８は、ユーザインタフェース２００を拡大表示した例を示す。図８に示す例では、表示ウィンドウ２１０ｄが画面に拡大表示され、ユーザは、表示ウィンドウ２１０ｄ内に表示されるカメラＤの画像を確認しやすくなっている。このようにユーザインタフェース２００は、複数の表示ウィンドウ２１０のそれぞれに縮小画像を表示した形態を有しているため、ユーザは、選択マーク２２０を動かさなくても、各表示ウィンドウ２１０を拡大表示することで、各カメラ画像の内容を容易に確認できるようになる。

【0050】

ユーザインタフェース２００が表示された状態で、ユーザが入力装置１６の所定のボタンを操作すると、受付部３４が、ユーザインタフェース２００における縮小画像の決定操作として受け付ける。このとき画像取得部４０は、選択マーク２２０が配置されているカメラ画像の配信要求を配信サーバ１８に送信する。配信サーバ１８は、情報処理装置１０からの配信要求を受けて、指定されたカメラで撮影した高解像度の撮影画像を、情報処理装置１０にストリーミング配信する。画像取得部４０は、決定された縮小画像に対応する高解像度の撮影画像を取得し、表示制御部５０は、取得した撮影画像を画像提供部５２に出力する。このとき表示制御部５０は、ＨＭＤ１００の視線方向および視点位置に応じた表示画像を生成して、画像提供部５２に出力する。画像提供部５２は、表示画像をＨＭＤ１００に提供し、これによりユーザは、選択したカメラからのライブ映像を見ることができる。

【0051】

以上、本発明を実施例をもとに説明した。実施例は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。実施例では、ユーザが自由にカメラ撮影画像を選択できるものとしたが、所定の表示モードを選択することで、配信サーバ１８側で選択されたカメラ撮影画像が表示されるようにしてもよい。

【0052】

変形例では、複数のスクリーンを仮想３次元空間に配置して、各スクリーンにおいて、カメラ撮影画像を表示させるようにしてもよい。このときユーザが複数のスクリーンの配置を自由に設定できるようにしてもよく、また各スクリーンに表示するカメラ撮影画像をユーザが自由に設定できるようにしてもよい。

【0053】

実施例では、ライブ画像を配信することを説明したが、配信する画像はライブ画像でなくてよく、撮影済のものであってもよい。この場合、情報処理装置１０は、配信サーバ１８からカメラ撮影画像の提供を受けてもよく、またＤＶＤなどの記録媒体からカメラ撮影画像を提供されてもよい。

【符号の説明】

【0054】

１・・・情報処理システム、１０・・・情報処理装置、１８・・・配信サーバ、２０・・・センサデータ受信部、２２・・・カメラ画像受信部、２４・・・入力データ受信部、３０・・・ＨＭＤ情報取得部、３２・・・視線情報決定部、３４・・・受付部、４０・・・画像取得部、５０・・・表示制御部、５２・・・画像提供部、１００・・・ＨＭＤ。

【産業上の利用可能性】

【0055】

本発明は、カメラ撮影画像を出力する技術に関する。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】