ホーム > 特許ランキング > ソニーグループ株式会社
知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-12-02
(45)【発行日】2024-12-10
(54)【発明の名称】情報処理装置、表示範囲決定方法、プログラム
(51)【国際特許分類】
G06F 3/01 20060101AFI20241203BHJP
G06F 3/04815 20220101ALI20241203BHJP
G06T 19/00 20110101ALI20241203BHJP
H04N 7/18 20060101ALI20241203BHJP
【ＦＩ】
G06F3/01 510
G06F3/04815
G06T19/00 A
H04N7/18 U
【請求項の数】
14
(21)【出願番号】P 2022532386
(86)(22)【出願日】2021-05-12
(86)【国際出願番号】 JP2021018045
(87)【国際公開番号】W WO2021261099
(87)【国際公開日】2021-12-30
【審査請求日】2024-03-15
(31)【優先権主張番号】P 2020107995
(32)【優先日】2020-06-23
(33)【優先権主張国・地域又は機関】JP
(73)【特許権者】
【識別番号】000002185
【氏名又は名称】ソニーグループ株式会社
(74)【代理人】
【識別番号】110003410
【氏名又は名称】弁理士法人テクノピア国際特許事務所
(72)【発明者】
【氏名】小倉 翔
【審査官】岩橋 龍太郎
(56)【参考文献】
【文献】国際公開第２０１７／１５９０６３（ＷＯ，Ａ１）
【文献】特開２０１９－０８６５７８（ＪＰ，Ａ）
【文献】特開２０１９－１４９１２２（ＪＰ，Ａ）
【文献】特開２０１５－０９５８０１（ＪＰ，Ａ）
【文献】特開２０１０－１２４０２３（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｆ ３／０１
Ｇ０６Ｆ ３／０４８１
Ｇ０６Ｔ １／００
Ｇ０６Ｔ １１／６０－１３／８０
Ｇ０６Ｔ １７／０５
Ｇ０６Ｔ １９／００－１９／２０
Ｈ０４Ｎ ７／１８
(57)【特許請求の範囲】
【請求項1】
表示対象を複数の視点から表示可能な複数視点画像について、切替元視点に対応する切替元視点画像から切替先視点に対応する切替先視点画像へと表示画像を切り替える際に、前記切替先視点の視点位置情報と、前記表示対象中の特定対象に係る情報である特定対象情報と、前記表示画像に対するユーザの視線の向きを推定した視線方向情報とに基づき、前記切替先視点画像についての表示範囲を決定する表示範囲決定部を備えた情報処理装置。
【請求項2】
前記特定対象情報は、前記特定対象の位置を含む情報である請求項１に記載の情報処理装置。
【請求項3】
前記特定対象の位置を画像解析により検出する請求項２に記載の情報処理装置。
【請求項4】
前記特定対象の位置を前記特定対象に取り付けたセンサの検出信号に基づき検出する請求項２に記載の情報処理装置。
【請求項5】
前記表示範囲決定部は、前記表示範囲の決定において、前記切替先視点からの視線の方向の情報を用いる請求項１に記載の情報処理装置。
【請求項6】
前記表示範囲決定部は、前記特定対象が前記ユーザの視線方向の所定方向に表示されるように前記表示範囲を決定する請求項１に記載の情報処理装置。
【請求項7】
前記表示範囲決定部は、前記特定対象が前記ユーザの視線方向の正面方向に表示されるように前記表示範囲を決定する請求項５に記載の情報処理装置。
【請求項8】
前記特定対象は、前記表示対象中の特定空間である請求項６に記載の情報処理装置。
【請求項9】
前記表示範囲決定部は、前記特定対象が視点切替時における前記ユーザの視線方向に表示されるように前記表示範囲を決定する請求項１に記載の情報処理装置。
【請求項10】
前記特定対象は、前記切替元視点の表示画像においてユーザが見ていたと判定された物体である請求項１に記載の情報処理装置。
【請求項11】
前記表示範囲決定部は、前記表示範囲の決定として前記視点位置情報と前記特定対象情報と前記視線方向情報とを用いた決定を行うか否かを、前記ユーザが前記切替元視点の表示画像において見ていた対象の種類に基づいて判定する請求項１に記載の情報処理装置。
【請求項12】
前記表示範囲決定部は、前記ユーザが前記切替元視点の表示画像において特定物体を見ていたと判定した場合に前記視点位置情報と前記特定対象情報と前記視線方向情報とを用いた前記表示範囲の決定を行う請求項１１に記載の情報処理装置。
【請求項13】
情報処理装置が、表示対象を複数の視点から表示可能な複数視点画像について、切替元視点に対応する切替元視点画像から切替先視点に対応する切替先視点画像へと表示画像を切り替える際に、前記切替先視点の視点位置情報と、前記表示対象中の特定対象に係る情報である特定対象情報と、前記表示画像に対するユーザの視線の向きを推定した視線方向情報とに基づき、前記切替先視点画像についての表示範囲を決定する
表示範囲決定方法。
【請求項14】
コンピュータ装置が読み取り可能なプログラムであって、表示対象を複数の視点から表示可能な複数視点画像について、切替元視点に対応する切替元視点画像から切替先視点に対応する切替先視点画像へと表示画像を切り替える際に、前記切替先視点の視点位置情報と、前記表示対象中の特定対象に係る情報である特定対象情報と、前記表示画像に対するユーザの視線の向きを推定した視線方向情報とに基づき、前記切替先視点画像についての表示範囲を決定する処理を前記コンピュータ装置に実行させる
プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本技術は、表示対象を表示する画像中からユーザに対して表示する画像範囲である表示範囲の決定を行う情報処理装置、及び表示範囲決定方法と、プログラムとに関するものである。
【背景技術】
【0002】
例えば、ＨＭＤ（Head Mounted Display：ヘッドマウントディスプレイ）等の表示デバイスでは、ユーザの頭部の向き等から推定されるユーザの視線方向に応じて、画像の表示範囲を制御するということが行われている。例えば、パノラマ画像等の広角画像を表示する際、ユーザの視線方向の変化に追従させて広角画像中の表示範囲を変化させる等である。
【0003】
また、表示デバイスとしては、画像の視点切替機能を有するものがある。すなわち、複数の視点それぞれから見える画像をユーザに切り替えて表示するものである。
【0004】
なお、関連する従来技術については下記特許文献１を挙げることができる。下記特許文献１には、仮想視点画像における仮想視点の切り替え技術が開示されている。
【先行技術文献】
【特許文献】
【0005】
【文献】特開２０１８－９２４９１号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
ここで、ＨＭＤのようにユーザの視線方向に応じて画像の表示範囲を制御する表示デバイスが視点切替機能を有する場合を考える。視線方向に応じた表示範囲の制御と視点切替とを組み合わせ行う場合には、視点切替後の画像表示範囲の制御が適切に行われなければ、視点切替に伴う違和感をユーザに与えてしまう虞がある。
【0007】
本技術は上記事情に鑑み為されたものであり、視点切替に伴うユーザの違和感緩和を図ることを目的とする。
【課題を解決するための手段】
【0008】
本技術に係る情報処理装置は、表示対象を複数の視点から表示可能な複数視点画像について、切替元視点に対応する切替元視点画像から切替先視点に対応する切替先視点画像へと表示画像を切り替える際に、前記切替先視点の視点位置情報と、前記表示対象中の特定対象に係る情報である特定対象情報と、前記表示画像に対するユーザの視線の向きを推定した視線方向情報とに基づき、前記切替先視点画像についての表示範囲を決定する表示範囲決定部を備えたものである。
ここで、表示対象に対する視点は、例えば、表示対象が実空間における対象であれば、該対象を撮像するカメラの視点となる。或いは、表示対象が仮想空間における対象であれば、仮想空間上に定められた表示対象に対する視点となる。また、特定対象情報は、表示対象中の特定対象に係る情報であり、例えば表示対象が実空間における音楽ライブ等であれば、ステージ上のアーティスト等の特定物体の位置、姿勢、向きの情報や、ステージ中央等の表示対象中の特定空間の位置の情報等を例示することができる。
上記構成によれば、ユーザの視線方向に応じて画像の表示範囲が制御される場合において、切替先視点の位置と、表示対象中の特定対象の位置等との関係に基づいて、切替先視点画像の表示範囲を決定することが可能となる。
ここで、表示対象に対する視点は、例えば、表示対象が実空間における対象であれば、該対象を撮像するカメラの視点となる。或いは、表示対象が仮想空間における対象であれば、仮想空間上に定められた表示対象に対する視点となる。また、特定対象情報は、表示対象中の特定対象に係る情報であり、例えば表示対象が実空間における音楽ライブ等であれば、ステージ上のアーティスト等の特定物体の位置、姿勢、向きの情報や、ステージ中央等の表示対象中の特定空間の位置の情報等を例示することができる。
上記構成によれば、ユーザの視線方向に応じて画像の表示範囲が制御される場合において、切替先視点の位置と、表示対象中の特定対象の位置等との関係に基づいて、切替先視点画像の表示範囲を決定することが可能となる。
【0009】
上記した本技術に係る情報処理装置においては、前記特定対象情報は、前記特定対象の位置を含む情報である構成とすることが可能である。
これにより、切替先視点の位置と特定対象の位置との関係に基づいて切替先視点画像についての表示範囲を決定することが可能となる。
これにより、切替先視点の位置と特定対象の位置との関係に基づいて切替先視点画像についての表示範囲を決定することが可能となる。
【0010】
上記した本技術に係る情報処理装置においては、前記特定対象の位置を画像解析により検出する構成とすることが可能である。
これにより、特定対象の位置の検出にあたり特定対象に位置検出のためのセンサを取り付ける必要をなくすことが可能となる。
これにより、特定対象の位置の検出にあたり特定対象に位置検出のためのセンサを取り付ける必要をなくすことが可能となる。
【0011】
上記した本技術に係る情報処理装置においては、前記特定対象の位置を前記特定対象に取り付けたセンサの検出信号に基づき検出する構成とすることが可能である。
これにより、特定対象の位置検出のための画像解析処理を行う必要をなくすことが可能となる。
これにより、特定対象の位置検出のための画像解析処理を行う必要をなくすことが可能となる。
【0012】
上記した本技術に係る情報処理装置においては、前記表示範囲決定部は、前記表示範囲の決定において、前記切替先視点からの視線の方向の情報を用いる構成とすることが可能である。
これにより、表示対象を撮像するカメラの向きを可変とする等、視点からの観察方向を可変とする場合に対応可能となる。
これにより、表示対象を撮像するカメラの向きを可変とする等、視点からの観察方向を可変とする場合に対応可能となる。
【0013】
上記した本技術に係る情報処理装置においては、前記表示範囲決定部は、前記特定対象が前記ユーザの視線方向の所定方向に表示されるように前記表示範囲を決定する構成とすることが可能である。
これにより、視点切替後、ユーザは視線方向を所定方向に向ければ、所定方向に特定対象を見ることができる。
これにより、視点切替後、ユーザは視線方向を所定方向に向ければ、所定方向に特定対象を見ることができる。
【0014】
上記した本技術に係る情報処理装置においては、前記表示範囲決定部は、前記特定対象が前記ユーザの視線方向の正面方向に表示されるように前記表示範囲を決定する構成とすることが可能である。
これにより、視点切替後、ユーザは視線方向を正面方向に向ければ、正面に特定対象を見ることができる。
これにより、視点切替後、ユーザは視線方向を正面方向に向ければ、正面に特定対象を見ることができる。
【0015】
上記した本技術に係る情報処理装置においては、前記特定対象は、前記表示対象中の特定空間である構成とすることが可能である。
これにより、例えばステージの中央等、表示対象中の目安となる空間を基準として切替先視点画像の表示範囲を決定することが可能となる。
これにより、例えばステージの中央等、表示対象中の目安となる空間を基準として切替先視点画像の表示範囲を決定することが可能となる。
【0016】
上記した本技術に係る情報処理装置においては、前記表示範囲決定部は、前記特定対象が視点切替時における前記ユーザの視線方向に表示されるように前記表示範囲を決定する構成とすることが可能である。
これにより、視点切替後、ユーザは視点切替時の視線方向を維持したままの状態で特定対象を正面に見ることができる。
これにより、視点切替後、ユーザは視点切替時の視線方向を維持したままの状態で特定対象を正面に見ることができる。
【0017】
上記した本技術に係る情報処理装置においては、前記特定対象は、前記切替元視点の表示画像においてユーザが見ていたと判定された物体である構成とすることが可能である。
これにより、切替元視点の表示画像においてユーザが見ていた物体を基準として切替先視点画像の表示範囲を決定することが可能となる。
これにより、切替元視点の表示画像においてユーザが見ていた物体を基準として切替先視点画像の表示範囲を決定することが可能となる。
【0018】
上記した本技術に係る情報処理装置においては、前記表示範囲決定部は、前記表示範囲の決定として前記視点位置情報と前記特定対象情報と前記視線方向情報とを用いた決定を行うか否かを、前記ユーザが前記切替元視点の表示画像において見ていた対象の種類に基づいて判定する構成とすることが可能である。
これにより、例えばユーザが観客席部分等のステージ外の対象を見ていたときは視点位置情報と特定対象情報と視線方向情報とを用いた表示範囲の決定を行わないと判定する等、ユーザが見ていた対象の種類に基づき、上記の三情報を用いた表示範囲決定を行うか否かの適切な判定を行うことが可能となる。
これにより、例えばユーザが観客席部分等のステージ外の対象を見ていたときは視点位置情報と特定対象情報と視線方向情報とを用いた表示範囲の決定を行わないと判定する等、ユーザが見ていた対象の種類に基づき、上記の三情報を用いた表示範囲決定を行うか否かの適切な判定を行うことが可能となる。
【0019】
上記した本技術に係る情報処理装置においては、前記表示範囲決定部は、前記ユーザが前記切替元視点の表示画像において特定物体を見ていたと判定した場合に前記視点位置情報と前記特定対象情報と前記視線方向情報とを用いた前記表示範囲の決定を行う構成とすることが可能である。
これにより、ユーザが例えば観客席部分等の特定物体以外の対象を見ていた場合には三情報を用いた表示範囲決定を行わないようにすることが可能となる。
これにより、ユーザが例えば観客席部分等の特定物体以外の対象を見ていた場合には三情報を用いた表示範囲決定を行わないようにすることが可能となる。
【0020】
また、本技術に係る表示範囲決定方法は、情報処理装置が、表示対象を複数の視点から表示可能な複数視点画像について、切替元視点に対応する切替元視点画像から切替先視点に対応する切替先視点画像へと表示画像を切り替える際に、前記切替先視点の視点位置情報と、前記表示対象中の特定対象に係る情報である特定対象情報と、前記表示画像に対するユーザの視線の向きを推定した視線方向情報とに基づき、前記切替先視点画像についての表示範囲を決定する表示範囲決定方法である。
【0021】
このような表示範囲決定方法によっても、上記した本技術に係る情報処理装置と同様の作用が得られる。
【0022】
さらに、本技術に係るプログラムは、コンピュータ装置が読み取り可能なプログラムであって、表示対象を複数の視点から表示可能な複数視点画像について、切替元視点に対応する切替元視点画像から切替先視点に対応する切替先視点画像へと表示画像を切り替える際に、前記切替先視点の視点位置情報と、前記表示対象中の特定対象に係る情報である特定対象情報と、前記表示画像に対するユーザの視線の向きを推定した視線方向情報とに基づき、前記切替先視点画像についての表示範囲を決定する処理を前記コンピュータ装置に実行させるプログラムである。
【0023】
このようなプログラムにより、上記した本技術に係る情報処理装置が実現される。
【図面の簡単な説明】
【0024】
【図1】本技術に係る実施形態としての情報処理装置を含んで構成される表示システムの構成例を示した図である。
【図2】実施形態におけるカメラの配置例を示した図である。
【図3】視線方向に応じた表示範囲の制御についての説明図である。
【図4】視点切替後の表示範囲の決定手法についての考察図である。
【図5】実施形態におけるパターン１としての表示範囲決定手法についての説明図である。
【図6】実施形態におけるパターン２としての表示範囲決定手法についての説明図である。
【図7】実施形態におけるパターン３としての表示範囲決定手法についての説明図である。
【図8】実施形態におけるパターン１、３の場合の視点追従制御についての考察図である。
【図9】実施形態におけるパターン２の場合の視点追従制御についての考察図である。
【図10】実施形態としての表示範囲決定手法を実現するために実行すべき具体的な処理手順の例を示したフローチャートである。
【図11】変形例としての処理を示したフローチャートである。
【発明を実施するための形態】
【0025】
以下、添付図面を参照し、本技術に係る実施形態を次の順序で説明する。
＜１．実施形態としての表示システム＞
＜２．実施形態としての表示範囲決定手法＞
＜３．処理手順＞
＜４．変形例＞
＜５．プログラム＞
＜６．実施形態のまとめ＞
＜７．本技術＞
＜１．実施形態としての表示システム＞
＜２．実施形態としての表示範囲決定手法＞
＜３．処理手順＞
＜４．変形例＞
＜５．プログラム＞
＜６．実施形態のまとめ＞
＜７．本技術＞
【0026】
＜１．実施形態としての表示システム＞
図１は、本技術に係る情報処理装置の一実施形態である再生装置１を含んで構成される表示システムの構成例を示している。
図示のように表示システムは、再生装置１と、複数のカメラ２と、通信装置３と、サーバ装置４とを備えている。
図１は、本技術に係る情報処理装置の一実施形態である再生装置１を含んで構成される表示システムの構成例を示している。
図示のように表示システムは、再生装置１と、複数のカメラ２と、通信装置３と、サーバ装置４とを備えている。
【0027】
本例の表示システムでは、実空間で実施される音楽ライブをカメラ２で撮像した画像が表示コンテンツとして再生装置１に配信される。特に、本例では、表示コンテンツとしての画像はライブ配信されるものとする。再生装置１は、例えばＨＭＤ（Head Mounted Display：ヘッドマウントディスプレイ）とされ、ユーザの頭部に装着された状態で使用される。
表示コンテンツとしての撮像画像は、カメラ２から通信装置３に取り込まれた後、サーバ装置４にアップロードされ、サーバ装置４から再生装置１に配信される。
表示コンテンツとしての撮像画像は、カメラ２から通信装置３に取り込まれた後、サーバ装置４にアップロードされ、サーバ装置４から再生装置１に配信される。
【0028】
ここで、本例の表示システムにおいて、各カメラ２が撮像対象とする音楽ライブは、ユーザに表示コンテンツとして表示される対象であると換言することができる。本明細書では、このようにユーザに表示コンテンツとして表示される対象のことを「表示対象」と呼ぶ。
【0029】
各カメラ２は、例えばＣＣＤ（Charge Coupled Device）イメージセンサやＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサ等の撮像素子を有して撮像を行う撮像装置である。各カメラ２は、ライブ会場におけるそれぞれ異なる位置に配置され、異なる視点からの撮像画像を得る。
【0030】
図２は、各カメラ２の配置例を示している。
本例では表示対象が音楽ライブとされており、図示のように各カメラ２はステージをそれぞれ異なる位置から撮像するように配置される。本例では、ステージを正面から観察する位置、左側から観察する位置、右側から観察する位置のそれぞれにカメラ２が配置されているとする。
図中では、各カメラ２の位置と共に、各カメラ２の視野Ｆｖを模式的に示している。本例において、各カメラ２の視野Ｆｖは例えば１８０度とされ、比較的広範囲とされる。つまり、カメラ撮像画像は広角画像であると言うことができる。
なお、ここではカメラ２の数が３である場合を例示しているが、カメラ２の数は少なくとも２以上であればよい。
本例では表示対象が音楽ライブとされており、図示のように各カメラ２はステージをそれぞれ異なる位置から撮像するように配置される。本例では、ステージを正面から観察する位置、左側から観察する位置、右側から観察する位置のそれぞれにカメラ２が配置されているとする。
図中では、各カメラ２の位置と共に、各カメラ２の視野Ｆｖを模式的に示している。本例において、各カメラ２の視野Ｆｖは例えば１８０度とされ、比較的広範囲とされる。つまり、カメラ撮像画像は広角画像であると言うことができる。
なお、ここではカメラ２の数が３である場合を例示しているが、カメラ２の数は少なくとも２以上であればよい。
【0031】
通信装置３は、物体位置検出部３１、制御部３２、及び通信部３３を備えている。
物体位置検出部３１は、表示対象中における特定物体の位置を検出する。具体的に、本例では、音楽ライブを行うアーティストとしての人物の位置を検出する。
アーティストとしての特定物体の位置検出は、各種のセンサにより行うことができる。例えば、会場内に設置され特定物体を撮像する一又は複数のカメラ（画像センサ）による撮像画像の画像解析により、特定物体の位置検出を行うことができる。また、デプスセンサを用いて特定物体の位置検出を行うこともできる。或いは、アーティストとしての特定物体に装着させた加速度センサやジャイロセンサ、ＧＮＳＳ（Global Navigation Satellite System）センサ等の物理センサによる検出信号に基づいて特定物体の位置検出を行うこともできる。なお、特定物体の位置は、上記の画像解析と物理センサによる検出信号の双方に基づいて検出することもできる。
物体位置検出部３１が検出した特定物体の位置の情報を以下「物体位置情報」と表記する。
物体位置検出部３１は、表示対象中における特定物体の位置を検出する。具体的に、本例では、音楽ライブを行うアーティストとしての人物の位置を検出する。
アーティストとしての特定物体の位置検出は、各種のセンサにより行うことができる。例えば、会場内に設置され特定物体を撮像する一又は複数のカメラ（画像センサ）による撮像画像の画像解析により、特定物体の位置検出を行うことができる。また、デプスセンサを用いて特定物体の位置検出を行うこともできる。或いは、アーティストとしての特定物体に装着させた加速度センサやジャイロセンサ、ＧＮＳＳ（Global Navigation Satellite System）センサ等の物理センサによる検出信号に基づいて特定物体の位置検出を行うこともできる。なお、特定物体の位置は、上記の画像解析と物理センサによる検出信号の双方に基づいて検出することもできる。
物体位置検出部３１が検出した特定物体の位置の情報を以下「物体位置情報」と表記する。
【0032】
通信部３３は、外部機器との間で有線又は無線によるデータ通信を行う。本例の通信部３３は、ネットワークＮＴを介してサーバ装置４との間でデータ通信を行う。
【0033】
ここで、ネットワークＮＴの構成は多様な例が想定される。例えば、インターネットを始めとして、イントラネット、エキストラネット、ＬＡＮ（Local Area Network）、ＣＡＴＶ（Community Antenna TeleVision）通信網、仮想専用網（Virtual Private Network）、電話回線網、移動体通信網、衛星通信網等が想定される。また、ネットワークＮＴの全部又は一部を構成する伝送媒体についても多様な例が想定される。例えばＩＥＥＥ（Institute of Electrical and Electronics Engineers）１３９４、ＵＳＢ（Universal Serial Bus）、電力線搬送、電話線等の有線でも、ＩｒＤＡ（Infrared Data Association）のような赤外線、ブルートゥース（登録商標）、８０２．１１無線、携帯電話網、衛星回線、地上波デジタル網等の無線でも利用可能である。
【0034】
制御部３２は、ＣＰＵ（Central Processing Unit）やＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）等のメモリ装置を有して構成されたマイクロコンピュータを備えて構成され、通信装置３の全体制御を行う。特に、制御部３２は、各カメラ２による撮像画像（カメラ撮像画像）と、物体位置検出部３１が検出した物体位置情報とを通信部３３を介してサーバ装置４にアップロードするための制御を行う。
また、制御部３２は、これらカメラ撮像画像と物体位置情報と共に、各カメラ２の配置位置を示す情報であるカメラ位置情報をサーバ装置４にアップロードするための制御を行う。
また、制御部３２は、これらカメラ撮像画像と物体位置情報と共に、各カメラ２の配置位置を示す情報であるカメラ位置情報をサーバ装置４にアップロードするための制御を行う。
【0035】
再生装置１は、通信部１１、制御部１２、表示部１３、視線方向推定部１４、及び操作部１５を備えている。
通信部１１は、外部機器との間で有線又は無線によるデータ通信を行い、特に本例では、ネットワークＮＴを介してサーバ装置４との間でデータ通信を行う。
通信部１１は、外部機器との間で有線又は無線によるデータ通信を行い、特に本例では、ネットワークＮＴを介してサーバ装置４との間でデータ通信を行う。
【0036】
表示部１３は、例えばＬＣＤ（Liquid Crystal Display）や有機ＥＬ（Electroluminescence）ディスプレイ等、画像表示が可能なディスプレイを有して構成され、制御部１２からの指示に基づきユーザに対して各種情報の表示を行う。
【0037】
視線方向推定部１４は、ユーザの視線方向の推定を行う。
具体的に、本例の視線方向推定部１４は、加速度センサやジャイロセンサ等、ユーザの頭部の動きを検出する物理センサを有し、ユーザの頭部の動き量から視線方向を推定する。
ここで、ＨＭＤとしての再生装置１を装着したユーザの頭部が正面方向として定義された方向（０度（deg）の方向）から例えば右方向に回転された場合には、ユーザの視線の向きは右方向に変化したものとみなすことができる。従って、頭部の動き量からユーザの視線方向を推定することができる。
本明細書において、ユーザの「視線方向」とは、厳密に眼球の向き（瞳の向き）のみを表すものではなく、上記のようにユーザの頭部の向き等から間接的に推定されたものも広く含むものである。
具体的に、本例の視線方向推定部１４は、加速度センサやジャイロセンサ等、ユーザの頭部の動きを検出する物理センサを有し、ユーザの頭部の動き量から視線方向を推定する。
ここで、ＨＭＤとしての再生装置１を装着したユーザの頭部が正面方向として定義された方向（０度（deg）の方向）から例えば右方向に回転された場合には、ユーザの視線の向きは右方向に変化したものとみなすことができる。従って、頭部の動き量からユーザの視線方向を推定することができる。
本明細書において、ユーザの「視線方向」とは、厳密に眼球の向き（瞳の向き）のみを表すものではなく、上記のようにユーザの頭部の向き等から間接的に推定されたものも広く含むものである。
【0038】
操作部１５は、例えば各種のハードウェアキー、操作ダイヤル、タッチパネルなどの入力デバイスを備え、ユーザの入力操作を検出し、制御部１２に伝達する。制御部１２は、ユーザの入力操作に応じて再生装置１の動作を決定し、各部が必要な動作を行うように制御する。
【0039】
制御部１２は、ＣＰＵやＲＯＭ（Read Only Memory）ＲＡＭ（Random Access Memory）等のメモリ装置を有して構成されたマイクロコンピュータを備えて構成され、通信装置３の全体制御を行う。特に、制御部１２は、サーバ装置４より配信されるカメラ撮像画像の表示に係る処理を行う。
具体的に、制御部１２は、カメラ撮像画像の表示に係る処理として、カメラ撮像画像の全範囲のうち表示部１３を介してユーザに表示する画像範囲である表示範囲を、視線方向推定部１４が推定した視線方向に応じて制御する処理を行う。
具体的に、制御部１２は、カメラ撮像画像の表示に係る処理として、カメラ撮像画像の全範囲のうち表示部１３を介してユーザに表示する画像範囲である表示範囲を、視線方向推定部１４が推定した視線方向に応じて制御する処理を行う。
【0040】
図３は、このような視線方向に応じた表示範囲の制御についての説明図である。
視線方向に応じた表示範囲の制御では、ユーザの視線方向について定義した正面方向と、カメラ２の視野Ｆｖにおける正面方向とを基準とする。ここで、図３Ａに示すように、視線方向における正面方向、視野Ｆｖにおける正面方向はそれぞれ０度の方向とする。
図３Ａのように視線方向が０度の方向であるときは、視野Ｆｖにおける０度の方向を中心とした所定の範囲を、表示部１３で表示する画像範囲としてカメラ撮像画像から切り出す。このように表示の対象画像範囲として切り出す範囲のことを「切出範囲Ｒｃ」と表記する。
また、切出範囲Ｒｃにおける正面方向（画角の中心方向）を図示のように「切出方向Ｄｃ」と表記する。切出方向Ｄｃは、切出範囲Ｒｃの画像、すなわち表示画像の中心を指す方向であると換言できる。
視線方向に応じた表示範囲の制御では、ユーザの視線方向について定義した正面方向と、カメラ２の視野Ｆｖにおける正面方向とを基準とする。ここで、図３Ａに示すように、視線方向における正面方向、視野Ｆｖにおける正面方向はそれぞれ０度の方向とする。
図３Ａのように視線方向が０度の方向であるときは、視野Ｆｖにおける０度の方向を中心とした所定の範囲を、表示部１３で表示する画像範囲としてカメラ撮像画像から切り出す。このように表示の対象画像範囲として切り出す範囲のことを「切出範囲Ｒｃ」と表記する。
また、切出範囲Ｒｃにおける正面方向（画角の中心方向）を図示のように「切出方向Ｄｃ」と表記する。切出方向Ｄｃは、切出範囲Ｒｃの画像、すなわち表示画像の中心を指す方向であると換言できる。
【0041】
視線方向に応じた表示範囲の制御では、上記のように視線方向が０度の方向であるときに、視野Ｆｖにおける０度の方向を中心した所定の範囲を表示範囲とすることを基準する。これは、ユーザが視線方向を正面方向から逸らした状態で表示画像を長時間見続けることは考え難く、多くの場合、正面方向を向いていると想定できるためである。
そして、図３Ｂに例示するように、ユーザの視線方向が変化した場合には、切出方向Ｄｃを、視線方向の変化に追従させて変化させる。図３Ｂでは、視線方向が０度の方向から右方向に角度ａだけ変化した例を示しているが、この場合は切出方向Ｄｃを同様に０度の方向から右方向に角度ａだけ変化させる。
このように切出方向Ｄｃを視線方向の変化に追従させて変化させる制御、換言すれば、切出範囲Ｒｃ（表示範囲）を視線方向の変化に追従させて変化させる制御のことを、表示範囲の「視線追従制御」と表記する。
ここで、表示範囲の視線追従制御のうち、特に図３の例のように視線方向が０度の方向であるときの切出方向Ｄｃを視野Ｆｖにおける０度の方向とする制御のことを「通常の視線追従制御」と呼ぶこととする。
そして、図３Ｂに例示するように、ユーザの視線方向が変化した場合には、切出方向Ｄｃを、視線方向の変化に追従させて変化させる。図３Ｂでは、視線方向が０度の方向から右方向に角度ａだけ変化した例を示しているが、この場合は切出方向Ｄｃを同様に０度の方向から右方向に角度ａだけ変化させる。
このように切出方向Ｄｃを視線方向の変化に追従させて変化させる制御、換言すれば、切出範囲Ｒｃ（表示範囲）を視線方向の変化に追従させて変化させる制御のことを、表示範囲の「視線追従制御」と表記する。
ここで、表示範囲の視線追従制御のうち、特に図３の例のように視線方向が０度の方向であるときの切出方向Ｄｃを視野Ｆｖにおける０度の方向とする制御のことを「通常の視線追従制御」と呼ぶこととする。
【0042】
図１において、制御部１２は、カメラ撮像画像の表示に係る制御として、上記のような表示範囲の視線追従制御と共に、表示画像の視点切替制御も行う。視点切替制御は、各カメラ２によるカメラ撮像画像のうち、表示部１３に表示する画像を切り替える制御と換言できる。なお、視点切替制御において、制御部１２は、サーバ装置４より各カメラ撮像画像を受信してそれらのうちから表示部１３に表示する画像を選択してもよいし、切替先視点としてのカメラ２によるカメラ撮像画像のみをサーバ装置４から選択的に受信して表示部１３に表示させるようにしてもよい。
【0043】
また、制御部１２は、視点切替に応じて、切替先視点のカメラ撮像画像についての視点追従制御として通常の視点追従制御とは異なる制御を行う場合があるが、これについては以降で改めて説明する。
【0044】
＜２．実施形態としての表示範囲決定手法＞
先ずは、図４を参照し、視点切替後の表示範囲の決定手法について考察してみる。
ここでは、表示範囲の視線追従制御として、通常の視線追従制御が行われる前提とする。
例えば、図４中の正面のカメラ２による撮像画像が表示部１３に表示されていたとする。このとき、ユーザは、ステージ上の右寄りの位置に存在する特定物体（本例ではアーティスト）を視界の正面（つまり表示画像の中心部）に捉えるために、図示のように視線方向を正面方向（０度の方向）から右方向にずらしていたとする。この際の視線方向の正面方向からのずれ量をｘ度とする。
なお以下、ステージ上の特定物体の位置を図示のように位置Ｐｏと表記する。
先ずは、図４を参照し、視点切替後の表示範囲の決定手法について考察してみる。
ここでは、表示範囲の視線追従制御として、通常の視線追従制御が行われる前提とする。
例えば、図４中の正面のカメラ２による撮像画像が表示部１３に表示されていたとする。このとき、ユーザは、ステージ上の右寄りの位置に存在する特定物体（本例ではアーティスト）を視界の正面（つまり表示画像の中心部）に捉えるために、図示のように視線方向を正面方向（０度の方向）から右方向にずらしていたとする。この際の視線方向の正面方向からのずれ量をｘ度とする。
なお以下、ステージ上の特定物体の位置を図示のように位置Ｐｏと表記する。
【0045】
上記の状態から、例えば左側のカメラ２に視点切替が行われたとする。ユーザの視線方向は正面方向から右側にｘ度ずれているため、視点切替後の表示画像は、左側のカメラ２の視野Ｆｖにおける正面方向から右側にｘ度ずれた方向を切出方向Ｄｃとして切り出された画像となる。
【0046】
一方、右側のカメラ２に視点切替が行われたとすると、視点切替前におけるユーザの視線方向は同様に正面方向から右側にｘ度ずれているため、視点切替後の表示画像は、右側のカメラ２の視野Ｆｖにおける正面方向から右側にｘ度ずれた方向を切出方向Ｄｃとして切り出された画像となる。
【0047】
これら左側のカメラ２、右側のカメラ２それぞれについての切出方向Ｄｃを参照して分かるように、通常の視線追従制御が行われる下では、視点切替後において、視点切替前に見ていた対象とは異なる対象が見えてしまうことがあり、視点切替の前後で表示画像中に捉えられる対象が大きく異なってしまう虞がある。このため、視点切替時にユーザに違和感を与える虞がある。
【0048】
そこで、本実施形態では、視点切替の際の表示範囲の決定手法として、通常の視線追従制御のようにユーザの視線方向の情報のみに基づいた表示範囲の決定を行うのではなく、特定物体の物体位置情報とカメラ位置情報とを用いた以下のような決定手法を提案する。
【0049】
図５は、パターン１としての表示範囲決定手法についての説明図である。
パターン１は、切替先視点のカメラ撮像画像の表示範囲について、ユーザの視線方向が正面方向である状態において特定物体がユーザの視線方向に表示されるように表示範囲を決定するものである。すなわち、視点切替後、ユーザの視線方向が正面方向に向けられれば視界の正面（つまり表示画像の中心部）に特定物体を見ることができるようにするものである。
このようなパターン１は、特定物体がユーザの視線方向の正面方向に表示されるように切替先視点画像の表示範囲を決定するものであると表現できる。ここで言う「ユーザの視線方向の正面方向」とは、ユーザの視線方向について定義された正面方向と換言できるものである。
なお、ここでは特定物体がユーザの視線方向の正面方向に表示されるように表示範囲を決定する例としているが、特定物体を表示する位置はユーザの視線方向の正面方向に厳密に一致させることは必須ではなく、正面方向とみなすことのできるものであればよい。或いは、特定物体を表示する位置は、ユーザの視線方向の正面方向に限定されるものではなく、例えば正面方向から所定角度ずれた方向等、所定方向とされればよい。これにより、視点切替後、ユーザは視線方向を所定方向に向ければ、視点切替前に見ていた物体を正面に見ることができる。つまり、視線方向を予め定められた所定方向に向けた状態とすることで、視点切替前に見ていた物体を正面に見ることができる。従って、視点切替に伴うユーザの違和感緩和を図ることができる。
パターン１は、切替先視点のカメラ撮像画像の表示範囲について、ユーザの視線方向が正面方向である状態において特定物体がユーザの視線方向に表示されるように表示範囲を決定するものである。すなわち、視点切替後、ユーザの視線方向が正面方向に向けられれば視界の正面（つまり表示画像の中心部）に特定物体を見ることができるようにするものである。
このようなパターン１は、特定物体がユーザの視線方向の正面方向に表示されるように切替先視点画像の表示範囲を決定するものであると表現できる。ここで言う「ユーザの視線方向の正面方向」とは、ユーザの視線方向について定義された正面方向と換言できるものである。
なお、ここでは特定物体がユーザの視線方向の正面方向に表示されるように表示範囲を決定する例としているが、特定物体を表示する位置はユーザの視線方向の正面方向に厳密に一致させることは必須ではなく、正面方向とみなすことのできるものであればよい。或いは、特定物体を表示する位置は、ユーザの視線方向の正面方向に限定されるものではなく、例えば正面方向から所定角度ずれた方向等、所定方向とされればよい。これにより、視点切替後、ユーザは視線方向を所定方向に向ければ、視点切替前に見ていた物体を正面に見ることができる。つまり、視線方向を予め定められた所定方向に向けた状態とすることで、視点切替前に見ていた物体を正面に見ることができる。従って、視点切替に伴うユーザの違和感緩和を図ることができる。
【0050】
ここで、本例において位置Ｐｏに存在する特定物体は、切替元視点の表示画像においてユーザが見ていた物体である。本例のパターン１（以降で説明するパターン２も同様）では、このように切替元視点の表示画像においてユーザが見ていた特定物体を基準として、切替先視点のカメラ撮像画像の表示範囲を決定する。
【0051】
図６は、パターン２としての表示範囲決定手法についての説明図である。
パターン２は、切替先視点のカメラ撮像画像の表示範囲について、ユーザの視線方向が視点切替時の視線方向と一致する状態において特定物体がユーザの視線方向の先に表示されるように表示範囲を決定するものである。すなわち、視点切替後、ユーザが視点切替時の視線方向を維持したままの状態で視界の正面に特定物体を見ることができるようにするものである。このようなパターン２は、特定対象が視点切替時におけるユーザの視線方向に表示されるように切替先視点画像の表示範囲を決定するものであると表現できる。
パターン２は、切替先視点のカメラ撮像画像の表示範囲について、ユーザの視線方向が視点切替時の視線方向と一致する状態において特定物体がユーザの視線方向の先に表示されるように表示範囲を決定するものである。すなわち、視点切替後、ユーザが視点切替時の視線方向を維持したままの状態で視界の正面に特定物体を見ることができるようにするものである。このようなパターン２は、特定対象が視点切替時におけるユーザの視線方向に表示されるように切替先視点画像の表示範囲を決定するものであると表現できる。
【0052】
図７は、パターン３としての表示範囲決定手法についての説明図である。
パターン３は、パターン１と似た手法であり、切替先視点のカメラ撮像画像の表示範囲について、ユーザの視線方向が正面方向である状態において表示対象中の特定空間がユーザの視線方向の先に表示されるように表示範囲を決定するものである。ここで、本例では、特定空間はステージの中央である。図中では、ステージの中央の位置を位置Ｐｃと示している。
ここで、位置Ｐｃの情報は、制御部１２が例えばサーバ装置４経由で通信装置３から取得することが考えられる。
パターン３は、パターン１と似た手法であり、切替先視点のカメラ撮像画像の表示範囲について、ユーザの視線方向が正面方向である状態において表示対象中の特定空間がユーザの視線方向の先に表示されるように表示範囲を決定するものである。ここで、本例では、特定空間はステージの中央である。図中では、ステージの中央の位置を位置Ｐｃと示している。
ここで、位置Ｐｃの情報は、制御部１２が例えばサーバ装置４経由で通信装置３から取得することが考えられる。
【0053】
上記のパターン１からパターン３のように、実施形態の表示範囲決定手法では、表示対象中の特定物体や特定空間の位置を基準とした表示範囲の決定を行う。このため、実施形態の表示範囲決定では、特定物体の物体位置情報を用いる。
また、切替先視点のカメラ２について、特定物体や特定空間の位置を基準とした表示範囲決定を行うにあたっては、切替先視点のカメラ２の視野Ｆｖ内の何れの方向に特定物体や特定空間が存在するかを把握する必要がある。このため、実施形態の表示範囲決定では、切替先視点のカメラ２についてのカメラ位置情報を用いることになる。
また、切替先視点のカメラ２について、特定物体や特定空間の位置を基準とした表示範囲決定を行うにあたっては、切替先視点のカメラ２の視野Ｆｖ内の何れの方向に特定物体や特定空間が存在するかを把握する必要がある。このため、実施形態の表示範囲決定では、切替先視点のカメラ２についてのカメラ位置情報を用いることになる。
【0054】
続いて、上記したパターン１からパターン３の表示範囲決定を行う場合の視点追従制御について考察する。
図８は、パターン１、３の場合の視点追従制御についての考察図である。
上述のように、特定物体や特定空間の位置を基準とした表示範囲決定を行うにあたっては、切替先視点のカメラ２の視野Ｆｖ内の何れの方向に特定物体や特定空間が存在するかを把握する必要がある。図８では、切替先視点のカメラ２の視野Ｆｖ内において、特定物体（位置Ｐｏ）や特定空間（位置Ｐｃ）が存在する方向の角度を「角度α」と示している。
この角度αは、切替先視点のカメラ２についてのカメラ位置情報と、特定物体の物体位置情報又は特定空間の位置情報とに基づいて求めることができる。
図８は、パターン１、３の場合の視点追従制御についての考察図である。
上述のように、特定物体や特定空間の位置を基準とした表示範囲決定を行うにあたっては、切替先視点のカメラ２の視野Ｆｖ内の何れの方向に特定物体や特定空間が存在するかを把握する必要がある。図８では、切替先視点のカメラ２の視野Ｆｖ内において、特定物体（位置Ｐｏ）や特定空間（位置Ｐｃ）が存在する方向の角度を「角度α」と示している。
この角度αは、切替先視点のカメラ２についてのカメラ位置情報と、特定物体の物体位置情報又は特定空間の位置情報とに基づいて求めることができる。
【0055】
パターン１、３では、視線方向が０度の方向である状態で表示画像の中心部に特定物体や特定空間が表示されればよい。換言すれば、視線方向が０度の方向である状態において、α度の方向が切出方向Ｄｃとされればよい。このため、パターン１、３の場合における視線追従制御では、視線方向推定部１４で推定される視線方向の角度に対して、角度αによるオフセットを加算した角度で特定される方向を切出方向Ｄｃとして決定すればよい。
【0056】
図９は、パターン２の場合の視点追従制御についての考察図である。
パターン２では、特定物体の位置を基準とした表示範囲決定を行うので、図９Ａに示すように、切替先視点のカメラ２の視野Ｆｖ内において特定物体（位置Ｐｏ）が存在する方向の角度である角度αを用いる。また、パターン２は、ユーザの視線方向が視点切替時の視線方向と一致する状態において特定物体がユーザの視線方向の先に表示されるように表示範囲を決定するものであるため、視点追従制御にあたっては、図９Ｂに示す視点切替時の視線方向を示す角度ｘも用いる。
パターン２では、ユーザの視線方向が角度ｘの方向である状態において、α度の方向が切出方向Ｄｃとされればよい。このため、パターン２の場合における視線追従制御では、視線方向推定部１４で推定される視線方向の角度に対して、「α－ｘ」で表されるオフセットを加算した角度で特定される方向を切出方向Ｄｃとして決定すればよい。
パターン２では、特定物体の位置を基準とした表示範囲決定を行うので、図９Ａに示すように、切替先視点のカメラ２の視野Ｆｖ内において特定物体（位置Ｐｏ）が存在する方向の角度である角度αを用いる。また、パターン２は、ユーザの視線方向が視点切替時の視線方向と一致する状態において特定物体がユーザの視線方向の先に表示されるように表示範囲を決定するものであるため、視点追従制御にあたっては、図９Ｂに示す視点切替時の視線方向を示す角度ｘも用いる。
パターン２では、ユーザの視線方向が角度ｘの方向である状態において、α度の方向が切出方向Ｄｃとされればよい。このため、パターン２の場合における視線追従制御では、視線方向推定部１４で推定される視線方向の角度に対して、「α－ｘ」で表されるオフセットを加算した角度で特定される方向を切出方向Ｄｃとして決定すればよい。
【0057】
＜３．処理手順＞
続いて、上記により説明した実施形態としての表示範囲決定手法を実現するための具体的な処理手順を図１０のフローチャートを参照して説明する。
本例において、図１０に示す処理は、制御部１２が例えばＲＯＭ等の所定の記憶装置に記憶されたプログラムに基づき実行する。
続いて、上記により説明した実施形態としての表示範囲決定手法を実現するための具体的な処理手順を図１０のフローチャートを参照して説明する。
本例において、図１０に示す処理は、制御部１２が例えばＲＯＭ等の所定の記憶装置に記憶されたプログラムに基づき実行する。
【0058】
先ず、制御部１２はステップＳ１０１で、視点切替指示を待機する。この視点切替指示としては、例えば操作部１５に対する操作によりユーザが再生装置１に対して行う視点切替指示を待機する。この視点切替指示には、切替先視点の情報も含まれるものとする。
なお、視点切替は、ユーザ操作に基づいて実行することに限らず、例えばカメラ撮像画像に付加された切替指示情報に基づいて実行したり、カメラ撮像画像のシーン解析結果に基づき特定のシーン切替時に実行する等、操作以外の所定の条件の成立に応じて実行することも考えられる。
なお、視点切替は、ユーザ操作に基づいて実行することに限らず、例えばカメラ撮像画像に付加された切替指示情報に基づいて実行したり、カメラ撮像画像のシーン解析結果に基づき特定のシーン切替時に実行する等、操作以外の所定の条件の成立に応じて実行することも考えられる。
【0059】
視点切替指示があった場合、制御部１２はステップＳ１０２に進んで切替先視点の視野Ｆｖ内において特定対象が存在する方向の角度αを計算する。
パターン１、２の表示範囲決定手法を採用する場合、ステップＳ１０２では、切替先視点のカメラ２の視野Ｆｖ内において特定物体が存在する方向の角度αを計算する。パターン３の表示範囲決定手法を採用する場合、ステップＳ１０２では、切替先視点のカメラ２の視野Ｆｖ内において特定空間が存在する方向の角度αを計算する。
この角度αの計算にあたり、制御部１２は切替先視点のカメラ位置情報と、特定物体の物体位置情報又は特定空間の位置情報とを用いる。
パターン１、２の表示範囲決定手法を採用する場合、ステップＳ１０２では、切替先視点のカメラ２の視野Ｆｖ内において特定物体が存在する方向の角度αを計算する。パターン３の表示範囲決定手法を採用する場合、ステップＳ１０２では、切替先視点のカメラ２の視野Ｆｖ内において特定空間が存在する方向の角度αを計算する。
この角度αの計算にあたり、制御部１２は切替先視点のカメラ位置情報と、特定物体の物体位置情報又は特定空間の位置情報とを用いる。
【0060】
ステップＳ１０２に続くステップＳ１０３で制御部１２は、角度αに基づき視点方向に対するオフセットを計算する。パターン１、３の表示範囲決定手法を採用する場合、ステップＳ１０３では、角度αを視線方向推定部１４が推定した視線方向の角度に加算するオフセットとする。一方、パターン２の表示範囲決定手法を採用する場合、ステップＳ１０３では、視点切替時における視線方向の角度ｘと角度αとに基づき「α－ｘ」で表されるオフセットを計算する。
【0061】
ステップＳ１０３に続くステップＳ１０４で制御部１２は、切出画像の出力処理を行う。すなわち、視線方向推定部１４で推定される視線方向の角度に対して、ステップＳ１０２で得られたオフセットを加算した角度により特定される方向を切出方向Ｄｃとして決定し、切替先視点のカメラ撮像画像から該切出方向Ｄｃを中心とした所定範囲の画像を切り出す。そして、切り出した画像を表示部１３に出力する。
【0062】
制御部１２は、ステップＳ１０４の処理を実行したことに応じて図１０に示す一連の処理を終える。
【0063】
なお、パターン１、２を採用する場合において、特定物体の位置が動く場合には、特定物体の物体位置情報に基づき角度αを逐次計算し直して、視線方向の角度に加算するオフセットの値を逐次更新する。
【0064】
＜４．変形例＞
実施形態としては上記した具体例に限定されず、多様な変形例としての構成を採ることができる。
例えば、パターン１、２、３として例示した実施形態としての表示範囲決定を行うか否かを、ユーザが切替元視点の表示画像において見ていた対象の種類に基づいて判定することもできる。
実施形態としては上記した具体例に限定されず、多様な変形例としての構成を採ることができる。
例えば、パターン１、２、３として例示した実施形態としての表示範囲決定を行うか否かを、ユーザが切替元視点の表示画像において見ていた対象の種類に基づいて判定することもできる。
【0065】
図１１は、このように実施形態としての表示範囲決定を行うか否かの判定を行う変形例としての処理を示したフローチャートである。
なお、図１０で説明した処理と同様となる処理については同一符号を付して説明を省略する。
なお、図１０で説明した処理と同様となる処理については同一符号を付して説明を省略する。
【0066】
この場合、制御部１２は、ステップＳ１０１で視点切替指示があったと判定した場合に、ステップＳ２０１に進んで視線オフセット制御を行うか否かを判定する。具体的には、パターン１、２、３として例示したような切替先視点のカメラ位置情報、特定対象の位置情報、及び視線方向推定部１４が推定した視線方向の情報の三情報を用いた表示範囲決定を行うか否かの判定である。このステップＳ２０１の判定処理として制御部１２は、ユーザが切替元視点の表示画像において見ていた対象の種類に基づく判定を行う。具体的に、本例では、ユーザが切替元視点の表示画像において見ていた対象が特定物体（本例ではアーティスト）であるか否かを判定する。
ここで、ユーザが切替元視点の表示画像において特定物体を見ていたか否かは、該表示画像の画像解析を行うことで判定できる。或いは、切替元視点のカメラ位置情報と特定物体の物体位置情報とに基づき、切替元視点のカメラ２の視野Ｆｖ内に特定物体が位置するか否かを判定してもよい。このとき、単に切替元視点画像内に特定物体が位置することや切替元の視野Ｆｖ内に特定物体が位置することのみを条件とするだけでなく、さらに、特定物体の画サイズが所定サイズ以上となっているとの条件や視野Ｆｖ内の或る範囲（例えば視野Ｆｖの中心範囲）にあるとの条件を課して、特定物体を見ていたか否かを判定することができる。
ここで、ユーザが切替元視点の表示画像において特定物体を見ていたか否かは、該表示画像の画像解析を行うことで判定できる。或いは、切替元視点のカメラ位置情報と特定物体の物体位置情報とに基づき、切替元視点のカメラ２の視野Ｆｖ内に特定物体が位置するか否かを判定してもよい。このとき、単に切替元視点画像内に特定物体が位置することや切替元の視野Ｆｖ内に特定物体が位置することのみを条件とするだけでなく、さらに、特定物体の画サイズが所定サイズ以上となっているとの条件や視野Ｆｖ内の或る範囲（例えば視野Ｆｖの中心範囲）にあるとの条件を課して、特定物体を見ていたか否かを判定することができる。
【0067】
ステップＳ２０１において、ユーザが切替元視点の表示画像を通じて見ていた対象が特定物体である場合、制御部１２は視線オフセット制御を行うとの判定結果を得る。その場合、制御部１２はステップＳ１０２に処理を進める。これにより、パターン１、２、３として例示した実施形態としての表示範囲決定のための処理が行われる。
【0068】
一方、ステップＳ２０１において、ユーザが切替元視点の表示画像を通じて見ていた対象が特定物体ではなかった場合、制御部１２は視線オフセット制御を行わないとの判定結果を得る。この場合、制御部１２はステップＳ２０２に処理を進めて通常の視線追従制御を選択する。
【0069】
上記のような処理により、三情報を用いた表示範囲決定が無闇に行われることで却ってユーザに視点切替に伴う違和感を与えてしまうことの防止を図ることができる。
【0070】
なお、実施形態としての表示範囲決定を行うか否かを、ユーザが切替元視点の表示画像を通じて見ていた対象の種類に基づいて判定する手法としては、上記のようにユーザが特定物体を見ていたか否かを判定する手法に限定されない。例えば、ユーザが観客席部分等のステージ外の対象を見ていたときは実施形態としての表示範囲決定を行わないと判定する等の手法を採ることもできる。
【0071】
ここで、これまでの説明では、再生装置１の例としてＨＭＤを挙げたが、再生装置１の装置形態としてはＨＭＤに限定されない。例えば、スマートフォンやタブレット端末、ＴＶ（Television）受像機等の大型のディスプレイ装置等の装置形態も考えられる。例えば、スマートフォンやタブレット端末等の可搬性を有する装置形態の場合、ユーザの視線方向は、装置の向きとして推定することができる。装置の向きは、例えば加速度センサやジャイロセンサ等の物理センサにより検出できる。
また、ＴＶ（Television）受像機等の大型のディスプレイ装置のような据え置き型の装置形態の場合、ユーザの視線方向は、アイトラッキングにより推定することができる。
また、ＴＶ（Television）受像機等の大型のディスプレイ装置のような据え置き型の装置形態の場合、ユーザの視線方向は、アイトラッキングにより推定することができる。
【0072】
また、これまでの説明では、カメラ２の向きが固定である前提としたが、カメラの向きの変化を許容する場合、切替先視点画像についての表示範囲決定は、切替先視点としてのカメラ２の位置情報のみでなく、該カメラ２の向きの情報（パン、チルト、ロール方向）も用いる。カメラ２の向き情報は、例えばカメラ２に設けられた加速度センサやジャイロセンサ等により検出できる。或いは、カメラ２の向きの情報は所定の図形が描かれたボードを用いたキャリブレーションにより検出することもできる。ここで、カメラ２の向きの情報は、視点からの視線の方向と換言できるものである。
【0073】
また、これまでの説明では、主にパン方向（左右方向）の視点切替や表示範囲の決定について述べたが、チルト方向についても同様の手法で視点切替及び表示範囲の決定を行うことができる。チルト方向の場合、特定物体の位置情報のみでなく、特定物体の姿勢や向きの情報を使用することも考えられる。例えば、特定物体であるアーティストの顔の正面を捉えたい場合、表示範囲の決定には、特定物体の姿勢や向きの情報を用いる。
【0074】
また、これまでの説明では、特定物体の位置をセンサにより検出する例を挙げたが、例えば表示対象がクラシックコンサート等でアーティストの着座位置が予め定められた固定位置であるような場合には、該予め定められた固定位置の情報を用いることもできる。
【0075】
また、再生装置１の装置種類により、表示範囲決定の手法を切り替えるということも考えられる。例えば、再生装置１がＨＭＤかそれ以外の表示デバイス（タブレット端末やＴＶ受像機）であるかにより、視点切替後の表示範囲を変えることが考えられる。具体的に、切替先視点からの画像の端部付近に特定物体が位置しているとき、ＨＭＤの場合には特定物体が表示画像中心部に位置するようにすると見やすいが、タブレット端末等では、端部が無画像部分となって黒色等の所定色で塗りつぶされるのは望ましくないので、表示画枠の端が切替先視点からの画像の端と一致するように表示範囲を決定することが考えられる。
【0076】
また、これまでの説明では、特定物体や特定空間が実空間上の物体や空間である例を挙げたが、実施形態としての表示範囲決定手法は、表示対象がＶＲ（Virtual Reality：仮想現実）空間やＡＲ（Augmented Reality：拡張現実）空間等の仮想空間における物体や空間とされる場合にも好適に適用できる。
【0077】
＜５．プログラム＞
以上、実施形態としての情報処理装置（再生装置１）を説明してきたが、実施形態のプログラムは、再生装置１としての処理をＣＰＵ等のコンピュータ装置に実行させるプログラムである。
以上、実施形態としての情報処理装置（再生装置１）を説明してきたが、実施形態のプログラムは、再生装置１としての処理をＣＰＵ等のコンピュータ装置に実行させるプログラムである。
【0078】
実施形態のプログラムは、コンピュータ装置が読み取り可能なプログラムであって、表示対象を複数の視点から表示可能な複数視点画像について、切替元視点に対応する切替元視点画像から切替先視点に対応する切替先視点画像へと表示画像を切り替える際に、切替先視点の視点位置情報と、表示対象中の特定対象に係る情報である特定対象情報と、表示画像に対するユーザの視線の向きを推定した視線方向情報とに基づき、切替先視点画像についての表示範囲を決定する処理をコンピュータ装置に実行させるプログラムである。
すなわち、このプログラムは、例えばコンピュータ装置に図１０や図１１等で説明した処理を実行させるプログラムに相当する。
すなわち、このプログラムは、例えばコンピュータ装置に図１０や図１１等で説明した処理を実行させるプログラムに相当する。
【0079】
このようなプログラムは、コンピュータ装置が読み取り可能な記憶媒体、例えばＲＯＭやＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）等に予め記憶しておくことができる。或いはまた、半導体メモリ、メモリーカード、光ディスク、光磁気ディスク、磁気ディスク等のリムーバブル記憶媒体に、一時的又は永続的に格納（記憶）しておくことができる。またこのようなリムーバブル記憶媒体は、いわゆるパッケージソフトウェアとして提供することができる。
また、このようなプログラムは、リムーバブル記憶媒体からパーソナルコンピュータ等にインストールする他、ダウンロードサイトから、ＬＡＮ、インターネット等のネットワークを介してスマートフォン等の所要の情報処理装置にダウンロードすることもできる。
また、このようなプログラムは、リムーバブル記憶媒体からパーソナルコンピュータ等にインストールする他、ダウンロードサイトから、ＬＡＮ、インターネット等のネットワークを介してスマートフォン等の所要の情報処理装置にダウンロードすることもできる。
【0080】
＜６．実施形態のまとめ＞
上記のように実施形態としての情報処理装置（再生装置１）は、表示対象を複数の視点から表示可能な複数視点画像について、切替元視点に対応する切替元視点画像から切替先視点に対応する切替先視点画像へと表示画像を切り替える際に、切替先視点の視点位置情報と、表示対象中の特定対象に係る情報である特定対象情報と、表示画像に対するユーザの視線の向きを推定した視線方向情報とに基づき、切替先視点画像についての表示範囲を決定する表示範囲決定部（制御部１２）を備えたものである。
ここで、表示対象に対する視点は、例えば、表示対象が実空間における対象であれば、該対象を撮像するカメラの視点となる。或いは、表示対象が仮想空間における対象であれば、仮想空間上に定められた表示対象に対する視点となる。また、特定対象情報は、表示対象中の特定対象に係る情報であり、例えば表示対象が実空間における音楽ライブ等であれば、ステージ上のアーティスト等の特定物体の位置、姿勢、向きの情報や、ステージ中央等の表示対象中の特定空間の位置の情報等を例示することができる。
上記構成によれば、ユーザの視線方向に応じて画像の表示範囲が制御される場合において、切替先視点の位置と、表示対象中の特定対象の位置等との関係に基づいて、切替先視点画像の表示範囲を決定することが可能となる。
従って、視点切替の前後で表示画像中に捉えられる対象が大きく異なってしまうことの防止を図ることができ、視点切替に伴うユーザの違和感緩和を図ることができる。
上記のように実施形態としての情報処理装置（再生装置１）は、表示対象を複数の視点から表示可能な複数視点画像について、切替元視点に対応する切替元視点画像から切替先視点に対応する切替先視点画像へと表示画像を切り替える際に、切替先視点の視点位置情報と、表示対象中の特定対象に係る情報である特定対象情報と、表示画像に対するユーザの視線の向きを推定した視線方向情報とに基づき、切替先視点画像についての表示範囲を決定する表示範囲決定部（制御部１２）を備えたものである。
ここで、表示対象に対する視点は、例えば、表示対象が実空間における対象であれば、該対象を撮像するカメラの視点となる。或いは、表示対象が仮想空間における対象であれば、仮想空間上に定められた表示対象に対する視点となる。また、特定対象情報は、表示対象中の特定対象に係る情報であり、例えば表示対象が実空間における音楽ライブ等であれば、ステージ上のアーティスト等の特定物体の位置、姿勢、向きの情報や、ステージ中央等の表示対象中の特定空間の位置の情報等を例示することができる。
上記構成によれば、ユーザの視線方向に応じて画像の表示範囲が制御される場合において、切替先視点の位置と、表示対象中の特定対象の位置等との関係に基づいて、切替先視点画像の表示範囲を決定することが可能となる。
従って、視点切替の前後で表示画像中に捉えられる対象が大きく異なってしまうことの防止を図ることができ、視点切替に伴うユーザの違和感緩和を図ることができる。
【0081】
また、実施形態としての情報処理装置においては、特定対象情報は、特定対象の位置を含む情報である。
これにより、切替先視点の位置と特定対象の位置との関係に基づいて切替先視点画像についての表示範囲を決定することが可能となる。
従って、視点切替の前後で表示画像中に捉えられる対象が大きく異なってしまうことの防止を図ることができ、視点切替に伴うユーザの違和感緩和を図ることができる。
これにより、切替先視点の位置と特定対象の位置との関係に基づいて切替先視点画像についての表示範囲を決定することが可能となる。
従って、視点切替の前後で表示画像中に捉えられる対象が大きく異なってしまうことの防止を図ることができ、視点切替に伴うユーザの違和感緩和を図ることができる。
【0082】
また、実施形態としての情報処理装置においては、特定対象の位置を画像解析により検出している。
これにより、特定対象の位置の検出にあたり特定対象に位置検出のためのセンサを取り付ける必要をなくすことが可能となる。
従って、例えば特定対象がステージ上のアーティスト等の特定物体である場合において、特定物体にセンサを取り付ける手間を省略することができる。
これにより、特定対象の位置の検出にあたり特定対象に位置検出のためのセンサを取り付ける必要をなくすことが可能となる。
従って、例えば特定対象がステージ上のアーティスト等の特定物体である場合において、特定物体にセンサを取り付ける手間を省略することができる。
【0083】
また、実施形態としての情報処理装置においては、特定対象の位置を前記特定対象に取り付けたセンサの検出信号に基づき検出している。
これにより、特定対象の位置検出のための画像解析処理を行う必要をなくすことが可能となる。
従って、特定対象の位置検出に係る処理負担の軽減を図ることができる。
これにより、特定対象の位置検出のための画像解析処理を行う必要をなくすことが可能となる。
従って、特定対象の位置検出に係る処理負担の軽減を図ることができる。
【0084】
さらにまた、実施形態としての情報処理装置においては、表示範囲決定部は、表示範囲の決定において、切替先視点からの視線の方向の情報を用いている。
これにより、表示対象を撮像するカメラの向きを可変とする等、視点からの視線の方向を可変とする場合に対応可能となる。
従って、視点から表示対象を見るアングルを変化させることを許容でき、ユーザに表示する画像コンテンツの自由度向上を図ることができる。
これにより、表示対象を撮像するカメラの向きを可変とする等、視点からの視線の方向を可変とする場合に対応可能となる。
従って、視点から表示対象を見るアングルを変化させることを許容でき、ユーザに表示する画像コンテンツの自由度向上を図ることができる。
【0085】
また、実施形態としての情報処理装置においては、表示範囲決定部は、特定対象がユーザの視線方向の所定方向に表示されるように表示範囲を決定している（パターン１、３参照）。
これにより、視点切替後、ユーザは視線方向を所定方向に向ければ、所定方向に特定対象に見ることができる。
従って、視点切替に伴うユーザの違和感緩和を図ることができる。
これにより、視点切替後、ユーザは視線方向を所定方向に向ければ、所定方向に特定対象に見ることができる。
従って、視点切替に伴うユーザの違和感緩和を図ることができる。
【0086】
また、実施形態としての情報処理装置においては、表示範囲決定部は、特定対象がユーザの視線方向の正面方向に表示されるように表示範囲を決定している（パターン１、３参照）。
これにより、視点切替後、ユーザは視線方向を正面方向に向ければ、正面に特定対象を見ることができる。
従って、視点切替に伴うユーザの違和感緩和を図ることができる。
これにより、視点切替後、ユーザは視線方向を正面方向に向ければ、正面に特定対象を見ることができる。
従って、視点切替に伴うユーザの違和感緩和を図ることができる。
【0087】
さらにまた、実施形態としての情報処理装置においては、特定対象は、表示対象中の特定空間である（パターン３参照）。
これにより、例えばステージの中央等、表示対象中の目安となる空間を基準として切替先視点画像の表示範囲を決定することが可能となる。
従って、視点の切替後に表示対象中の何れの位置が見えているかが不明となってしまうことの防止を図ることができ、視点切替に伴うユーザの違和感緩和を図ることができる。
これにより、例えばステージの中央等、表示対象中の目安となる空間を基準として切替先視点画像の表示範囲を決定することが可能となる。
従って、視点の切替後に表示対象中の何れの位置が見えているかが不明となってしまうことの防止を図ることができ、視点切替に伴うユーザの違和感緩和を図ることができる。
【0088】
また、実施形態としての情報処理装置においては、表示範囲決定部は、特定対象が視点切替時におけるユーザの視線方向に表示されるように表示範囲を決定している（パターン２参照）。
これにより、視点切替後、ユーザは視点切替時の視線方向を維持したままの状態で特定対象を正面に見ることができる。
従って、視点の切替後に表示対象中の何れの位置が見えているかが不明となってしまうことの防止を図ることができ、視点切替に伴うユーザの違和感緩和を図ることができる。
これにより、視点切替後、ユーザは視点切替時の視線方向を維持したままの状態で特定対象を正面に見ることができる。
従って、視点の切替後に表示対象中の何れの位置が見えているかが不明となってしまうことの防止を図ることができ、視点切替に伴うユーザの違和感緩和を図ることができる。
【0089】
さらに、実施形態としての情報処理装置においては、特定対象は、切替元視点の表示画像においてユーザが見ていたと判定された物体である。
これにより、切替元視点の表示画像においてユーザが見ていた物体を基準として切替先視点画像の表示範囲を決定することが可能となる。
従って、視点切替後も引き続きユーザが見ていた物体が表示画像中に捉えられるように図ることができ、視点切替に伴うユーザの違和感緩和を図ることができる。
これにより、切替元視点の表示画像においてユーザが見ていた物体を基準として切替先視点画像の表示範囲を決定することが可能となる。
従って、視点切替後も引き続きユーザが見ていた物体が表示画像中に捉えられるように図ることができ、視点切替に伴うユーザの違和感緩和を図ることができる。
【0090】
さらにまた、実施形態としての情報処理装置においては、表示範囲決定部は、表示範囲の決定として視点位置情報と特定対象情報と視線方向情報とを用いた決定を行うか否かを、ユーザが切替元視点の表示画像において見ていた対象の種類に基づいて判定している。
これにより、例えばユーザが観客席部分等のステージ外の対象を見ていたときは視点位置情報と特定対象情報と視線方向情報とを用いた表示範囲の決定を行わないと判定する等、ユーザが見ていた対象の種類に基づき、上記の三情報を用いた表示範囲決定を行うか否かの適切な判定を行うことが可能となる。
従って、三情報を用いた表示範囲の決定が無闇に行われることで却ってユーザに視点切替に伴う違和感を与えてしまうことの防止を図ることができる。
これにより、例えばユーザが観客席部分等のステージ外の対象を見ていたときは視点位置情報と特定対象情報と視線方向情報とを用いた表示範囲の決定を行わないと判定する等、ユーザが見ていた対象の種類に基づき、上記の三情報を用いた表示範囲決定を行うか否かの適切な判定を行うことが可能となる。
従って、三情報を用いた表示範囲の決定が無闇に行われることで却ってユーザに視点切替に伴う違和感を与えてしまうことの防止を図ることができる。
【0091】
また、実施形態としての情報処理装置においては、表示範囲決定部は、ユーザが切替元視点の表示画像において特定物体を見ていたと判定した場合に視点位置情報と特定対象情報と視線方向情報とを用いた表示範囲の決定を行っている（図１１参照）。
これにより、ユーザが例えば観客席部分等の特定物体以外の対象を見ていた場合には三情報を用いた表示範囲決定を行わないようにすることが可能となる。
従って、三情報を用いた表示範囲の決定が無闇に行われることで却ってユーザに視点切替に伴う違和感を与えてしまうことの防止を図ることができる。
これにより、ユーザが例えば観客席部分等の特定物体以外の対象を見ていた場合には三情報を用いた表示範囲決定を行わないようにすることが可能となる。
従って、三情報を用いた表示範囲の決定が無闇に行われることで却ってユーザに視点切替に伴う違和感を与えてしまうことの防止を図ることができる。
【0092】
また、実施形態としての表示範囲決定方法は、情報処理装置が、表示対象を複数の視点から表示可能な複数視点画像について、切替元視点に対応する切替元視点画像から切替先視点に対応する切替先視点画像へと表示画像を切り替える際に、切替先視点の視点位置情報と、表示対象中の特定対象に係る情報である特定対象情報と、表示画像に対するユーザの視線の向きを推定した視線方向情報とに基づき、切替先視点画像についての表示範囲を決定する表示範囲決定方法である。
このような表示範囲決定方法によっても、上記した実施形態としての情報処理装置と同様の作用及び効果を得ることができる。
このような表示範囲決定方法によっても、上記した実施形態としての情報処理装置と同様の作用及び効果を得ることができる。
【0093】
なお、本明細書に記載された効果はあくまでも例示であって限定されるものではなく、また他の効果があってもよい。
【0094】
＜７．本技術＞
なお本技術は以下のような構成も採ることができる。
（１）
表示対象を複数の視点から表示可能な複数視点画像について、切替元視点に対応する切替元視点画像から切替先視点に対応する切替先視点画像へと表示画像を切り替える際に、前記切替先視点の視点位置情報と、前記表示対象中の特定対象に係る情報である特定対象情報と、前記表示画像に対するユーザの視線の向きを推定した視線方向情報とに基づき、前記切替先視点画像についての表示範囲を決定する表示範囲決定部を備えた
情報処理装置。
（２）
前記特定対象情報は、前記特定対象の位置を含む情報である
前記（１）に記載の情報処理装置。
（３）
前記特定対象の位置を画像解析により検出する
前記（２）に記載の情報処理装置。
（４）
前記特定対象の位置を前記特定対象に取り付けたセンサの検出信号に基づき検出する
前記（２）又は（３）に記載の情報処理装置。
（５）
前記表示範囲決定部は、前記表示範囲の決定において、前記切替先視点からの視線の方向の情報を用いる
前記（１）から（４）の何れかに記載の情報処理装置。
（６）
前記表示範囲決定部は、前記特定対象が前記ユーザの視線方向の所定方向に表示されるように前記表示範囲を決定する
前記（１）から（５）の何れかに記載の情報処理装置。
（７）
前記表示範囲決定部は、前記特定対象が前記ユーザの視線方向の正面方向に表示されるように前記表示範囲を決定する
前記（５）に記載の情報処理装置。
（８）
前記特定対象は、前記表示対象中の特定空間である
前記（６）又は（７）に記載の情報処理装置。
（９）
前記表示範囲決定部は、前記特定対象が視点切替時における前記ユーザの視線方向に表示されるように前記表示範囲を決定する
前記（１）から（５）の何れかに記載の情報処理装置。
（１０）
前記特定対象は、前記切替元視点の表示画像においてユーザが見ていたと判定された物体である
前記（１）から（７）、（９）の何れかに記載の情報処理装置。
（１１）
前記表示範囲決定部は、前記表示範囲の決定として前記視点位置情報と前記特定対象情報と前記視線方向情報とを用いた決定を行うか否かを、前記ユーザが前記切替元視点の表示画像において見ていた対象の種類に基づいて判定する
前記（１）から（１０）の何れかに記載の情報処理装置。
（１２）
前記表示範囲決定部は、前記ユーザが前記切替元視点の表示画像において特定物体を見ていたと判定した場合に前記視点位置情報と前記特定対象情報と前記視線方向情報とを用いた前記表示範囲の決定を行う
前記（１１）に記載の情報処理装置。
（１３）
情報処理装置が、
表示対象を複数の視点から表示可能な複数視点画像について、切替元視点に対応する切替元視点画像から切替先視点に対応する切替先視点画像へと表示画像を切り替える際に、前記切替先視点の視点位置情報と、前記表示対象中の特定対象に係る情報である特定対象情報と、前記表示画像に対するユーザの視線の向きを推定した視線方向情報とに基づき、前記切替先視点画像についての表示範囲を決定する
表示範囲決定方法。
（１４）
コンピュータ装置が読み取り可能なプログラムであって、
表示対象を複数の視点から表示可能な複数視点画像について、切替元視点に対応する切替元視点画像から切替先視点に対応する切替先視点画像へと表示画像を切り替える際に、前記切替先視点の視点位置情報と、前記表示対象中の特定対象に係る情報である特定対象情報と、前記表示画像に対するユーザの視線の向きを推定した視線方向情報とに基づき、前記切替先視点画像についての表示範囲を決定する処理を前記コンピュータ装置に実行させる
プログラム。
なお本技術は以下のような構成も採ることができる。
（１）
表示対象を複数の視点から表示可能な複数視点画像について、切替元視点に対応する切替元視点画像から切替先視点に対応する切替先視点画像へと表示画像を切り替える際に、前記切替先視点の視点位置情報と、前記表示対象中の特定対象に係る情報である特定対象情報と、前記表示画像に対するユーザの視線の向きを推定した視線方向情報とに基づき、前記切替先視点画像についての表示範囲を決定する表示範囲決定部を備えた
情報処理装置。
（２）
前記特定対象情報は、前記特定対象の位置を含む情報である
前記（１）に記載の情報処理装置。
（３）
前記特定対象の位置を画像解析により検出する
前記（２）に記載の情報処理装置。
（４）
前記特定対象の位置を前記特定対象に取り付けたセンサの検出信号に基づき検出する
前記（２）又は（３）に記載の情報処理装置。
（５）
前記表示範囲決定部は、前記表示範囲の決定において、前記切替先視点からの視線の方向の情報を用いる
前記（１）から（４）の何れかに記載の情報処理装置。
（６）
前記表示範囲決定部は、前記特定対象が前記ユーザの視線方向の所定方向に表示されるように前記表示範囲を決定する
前記（１）から（５）の何れかに記載の情報処理装置。
（７）
前記表示範囲決定部は、前記特定対象が前記ユーザの視線方向の正面方向に表示されるように前記表示範囲を決定する
前記（５）に記載の情報処理装置。
（８）
前記特定対象は、前記表示対象中の特定空間である
前記（６）又は（７）に記載の情報処理装置。
（９）
前記表示範囲決定部は、前記特定対象が視点切替時における前記ユーザの視線方向に表示されるように前記表示範囲を決定する
前記（１）から（５）の何れかに記載の情報処理装置。
（１０）
前記特定対象は、前記切替元視点の表示画像においてユーザが見ていたと判定された物体である
前記（１）から（７）、（９）の何れかに記載の情報処理装置。
（１１）
前記表示範囲決定部は、前記表示範囲の決定として前記視点位置情報と前記特定対象情報と前記視線方向情報とを用いた決定を行うか否かを、前記ユーザが前記切替元視点の表示画像において見ていた対象の種類に基づいて判定する
前記（１）から（１０）の何れかに記載の情報処理装置。
（１２）
前記表示範囲決定部は、前記ユーザが前記切替元視点の表示画像において特定物体を見ていたと判定した場合に前記視点位置情報と前記特定対象情報と前記視線方向情報とを用いた前記表示範囲の決定を行う
前記（１１）に記載の情報処理装置。
（１３）
情報処理装置が、
表示対象を複数の視点から表示可能な複数視点画像について、切替元視点に対応する切替元視点画像から切替先視点に対応する切替先視点画像へと表示画像を切り替える際に、前記切替先視点の視点位置情報と、前記表示対象中の特定対象に係る情報である特定対象情報と、前記表示画像に対するユーザの視線の向きを推定した視線方向情報とに基づき、前記切替先視点画像についての表示範囲を決定する
表示範囲決定方法。
（１４）
コンピュータ装置が読み取り可能なプログラムであって、
表示対象を複数の視点から表示可能な複数視点画像について、切替元視点に対応する切替元視点画像から切替先視点に対応する切替先視点画像へと表示画像を切り替える際に、前記切替先視点の視点位置情報と、前記表示対象中の特定対象に係る情報である特定対象情報と、前記表示画像に対するユーザの視線の向きを推定した視線方向情報とに基づき、前記切替先視点画像についての表示範囲を決定する処理を前記コンピュータ装置に実行させる
プログラム。
【符号の説明】
【0095】
１ 再生装置
２ カメラ
３ 通信装置
４ サーバ装置
ＮＴ ネットワーク
１１ 通信部
１２ 制御部
１３ 表示部
１４ 視線方向推定部
１５ 操作部
３１ 物体位置検出部
３２ 制御部
３３ 通信部
Ｆｖ 視野
Ｒｃ 切出範囲
Ｄｃ 切出方向
２ カメラ
３ 通信装置
４ サーバ装置
ＮＴ ネットワーク
１１ 通信部
１２ 制御部
１３ 表示部
１４ 視線方向推定部
１５ 操作部
３１ 物体位置検出部
３２ 制御部
３３ 通信部
Ｆｖ 視野
Ｒｃ 切出範囲
Ｄｃ 切出方向
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】