(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-05-10
(45)【発行日】2023-05-18
(54)【発明の名称】拡大表示システム及び表示装置
(51)【国際特許分類】
H04N 21/431 20110101AFI20230511BHJP
G09G 5/00 20060101ALI20230511BHJP
G02B 27/02 20060101ALI20230511BHJP
G06F 3/01 20060101ALI20230511BHJP
G06F 3/0346 20130101ALI20230511BHJP
H04N 21/442 20110101ALI20230511BHJP
【FI】
H04N21/431
G09G5/00 555D
G09G5/00 550C
G09G5/00 550B
G02B27/02 Z
G06F3/01 510
G06F3/0346 425
G06F3/0346 421
H04N21/442
(21)【出願番号】P 2019018531
(22)【出願日】2019-02-05
【審査請求日】2021-12-22
(73)【特許権者】
【識別番号】599008148
【氏名又は名称】株式会社ピクセラ
(74)【代理人】
【識別番号】100115381
【氏名又は名称】小谷 昌崇
(74)【代理人】
【識別番号】100127797
【氏名又は名称】平田 晴洋
(72)【発明者】
【氏名】鬼頭 和秀
(72)【発明者】
【氏名】荻 猛
【審査官】富樫 明
(56)【参考文献】
【文献】特開2017-021560(JP,A)
【文献】特開2000-010722(JP,A)
【文献】特開2005-322969(JP,A)
【文献】特開2016-057947(JP,A)
【文献】特開平10-320109(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
H04N 21/00-21/858
G09G 5/00
G02B 27/02
G06F 3/01
G06F 3/0346
(57)【特許請求の範囲】
【請求項1】
視聴者の頭部に装着可能な表示装置と、所定の撮影視点で撮影されたVR映像を前記表示装置に配信する配信サーバと、を備えた拡大表示システムであって、
前記表示装置は、
所定の表示領域に映像を表示する表示部と、
仮想空間における前記撮影視点を中心とする球面状の映像投影面に前記VR映像を投影し、前記表示部を制御して、前記映像投影面に投影された投影映像に含まれる、前記表示領域に対応する表示映像を、前記表示領域に表示させる表示制御部と、
前記視聴者が前記表示領域の一部を注視している注視状態であるか否かを判定する状態判定部と、
を備え、
前記表示制御部は、前記状態判定部によって前記視聴者が前記注視状態であると判定された場合、前記表示部を制御して、前記投影映像に含まれる、前記視聴者が注視している注視領域に対応する注視映像を、前記表示領域に所定の拡大率で拡大表示させ
、
前記配信サーバは、前記拡大率を示す拡大率情報を前記VR映像とともに前記表示装置に配信し、
前記表示制御部は、前記拡大率情報が示す前記拡大率を用いる、
拡大表示システム。
【請求項2】
前記表示装置は、
前記表示領域の姿勢を検出する姿勢検出部を更に備え、
前記状態判定部は、前記姿勢検出部によって検出された前記姿勢の変化量が所定量未満である状態が、所定の注視時間以上連続している場合、前記視聴者が前記注視状態であると判定する、
請求項1に記載の拡大表示システム。
【請求項3】
前記表示装置は、
前記表示領域における前記視聴者の視点を検出する視点検出部を更に備え、
前記状態判定部は、前記視点検出部によって検出された前記視点の変化量が所定量未満である状態が、所定の注視時間以上連続している場合、前記視聴者が前記注視状態であると判定する、
請求項1に記載の拡大表示システム。
【請求項4】
前記配信サーバは、前記注視時間を示す注視時間情報を前記VR映像とともに前記表示装置に配信し、
前記状態判定部は、前記注視時間情報が示す前記注視時間を用いる、
請求項2又は3に記載の拡大表示システム。
【請求項5】
前記状態判定部は、前記注視映像が拡大表示された後、更に、前記視聴者が前記注視状態を継続しなくなったか否かを判定し、
前記表示制御部は、前記状態判定部によって、前記視聴者が前記注視状態を継続しなくなったと判定された場合、前記表示部を制御して、前記注視映像の拡大表示を終了し、前記投影映像に含まれる前記表示領域に対応する表示映像を前記表示領域に表示させる、
請求項1から4の何れか一項に記載の拡大表示システム。
【請求項6】
前記拡大率は、定数である、
請求項1から5の何れか一項に記載の拡大表示システム。
【請求項7】
前記拡大率は、前記状態判定部によって前記視聴者が前記注視状態であると判定された時点からの経過時間に応じて変化する関数である、
請求項1から5の何れか一項に記載の拡大表示システム。
【請求項8】
前記表示制御部は、前記注視映像が前記映像投影面における所定の拡大可能領域内に投影された映像でない場合、前記注視映像を拡大表示しない
請求項1から7の何れか一項に記載の拡大表示システム。
【請求項9】
前記表示制御部は、前記視聴者が前記注視状態であるときの前記表示領域における視点に対応する前記映像投影面上の点である注視点が、前記映像投影面における所定の拡大可能領域内に存在しない場合、前記注視映像を拡大表示しない
請求項1から7の何れか一項に記載の拡大表示システム。
【請求項10】
前記表示制御部は、前記注視映像が前記映像投影面における第一の拡大可能領域内に投影された映像である場合、前記注視映像を第一の拡大率で拡大表示し、前記注視映像が前記映像投影面における前記第一の拡大可能領域と重複しない第二の拡大可能領域内に投影された映像である場合、前記注視映像を第二の拡大率で拡大表示する、
請求項8に記載の拡大表示システム。
【請求項11】
前記表示制御部は、前記注視点が前記映像投影面における第一の拡大可能領域内に存在する場合、前記注視映像を第一の拡大率で拡大表示し、前記注視点が前記映像投影面における前記第一の拡大可能領域と重複しない第二の拡大可能領域内に存在する場合、前記注視映像を第二の拡大率で拡大表示する、
請求項9に記載の拡大表示システム。
【請求項12】
前記配信サーバは、前記拡大可能領域を特定するための領域特定情報を前記VR映像とともに前記表示装置に配信し、
前記表示制御部は、前記領域特定情報によって特定される前記拡大可能領域を用いる、
請求項8から11の何れか一項に記載の拡大表示システム。
【請求項13】
前記表示装置は、
前記注視映像の拡大表示を許可するか否かを設定する設定部を更に備え、
前記表示制御部は、前記設定部によって前記注視映像の拡大表示を許可しないことが設定されている場合、前記注視映像を拡大表示しない、
請求項1から
12の何れか一項に記載の拡大表示システム。
【請求項14】
視聴者の頭部に装着可能な表示装置であって、
所定の撮影視点で撮影されたVR映像を記憶する記憶部と、
所定の表示領域に映像を表示する表示部と、
仮想空間における前記撮影視点を中心とする球面状の映像投影面に前記VR映像を投影し、前記表示部を制御して、前記映像投影面に投影された投影映像に含まれる、前記表示領域に対応する表示映像を、前記表示領域に表示させる表示制御部と、
前記視聴者が前記表示領域の一部を注視している注視状態であるか否かを判定する状態判定部と、
を備え、
前記表示制御部は、前記状態判定部によって前記視聴者が前記注視状態であると判定された場合、前記表示部を制御して、前記投影映像に含まれる、前記視聴者が注視している注視領域に対応する注視映像を、前記表示領域に所定の拡大率で拡大表示させ
、
前記表示制御部は、前記VR映像と対応付けられた、前記拡大率を示す拡大率情報を取得し、前記拡大率情報が示す前記拡大率を用いる、
表示装置。
【請求項15】
視聴者の頭部に装着可能な表示装置と、所定の撮影視点で撮影されたVR映像を前記表示装置に配信する配信サーバと、を備えた拡大表示システムであって、
前記表示装置は、
所定の表示領域に映像を表示する表示部と、
仮想空間における前記撮影視点を中心とする球面状の映像投影面に前記VR映像を投影し、前記表示部を制御して、前記映像投影面に投影された投影映像に含まれる、前記表示領域に対応する表示映像を、前記表示領域に表示させる表示制御部と、
前記視聴者が前記表示領域の一部を注視している注視状態であるか否かを判定する状態判定部と、
を備え、
前記表示制御部は、前記状態判定部によって前記視聴者が前記注視状態であると判定された場合、前記表示部を制御して、前記投影映像に含まれる、前記視聴者が注視している注視領域に対応する注視映像を、前記表示領域に所定の拡大率で拡大表示させ、
前記表示領域の姿勢を検出する姿勢検出部を更に備え、
前記状態判定部は、前記姿勢検出部によって検出された前記姿勢の変化量が所定量未満である状態が、所定の注視時間以上連続している場合、前記視聴者が前記注視状態であると判定し、
前記配信サーバは、前記注視時間を示す注視時間情報を前記VR映像とともに前記表示装置に配信し、
前記状態判定部は、前記注視時間情報が示す前記注視時間を用いる、
拡大表示システム。
【請求項16】
視聴者の頭部に装着可能な表示装置と、所定の撮影視点で撮影されたVR映像を前記表示装置に配信する配信サーバと、を備えた拡大表示システムであって、
前記表示装置は、
所定の表示領域に映像を表示する表示部と、
仮想空間における前記撮影視点を中心とする球面状の映像投影面に前記VR映像を投影し、前記表示部を制御して、前記映像投影面に投影された投影映像に含まれる、前記表示領域に対応する表示映像を、前記表示領域に表示させる表示制御部と、
前記視聴者が前記表示領域の一部を注視している注視状態であるか否かを判定する状態判定部と、
を備え、
前記表示制御部は、前記状態判定部によって前記視聴者が前記注視状態であると判定された場合、前記表示部を制御して、前記投影映像に含まれる、前記視聴者が注視している注視領域に対応する注視映像を、前記表示領域に所定の拡大率で拡大表示させ、
前記表示領域における前記視聴者の視点を検出する視点検出部を更に備え、
前記状態判定部は、前記視点検出部によって検出された前記視点の変化量が所定量未満である状態が、所定の注視時間以上連続している場合、前記視聴者が前記注視状態であると判定し、
前記配信サーバは、前記注視時間を示す注視時間情報を前記VR映像とともに前記表示装置に配信し、
前記状態判定部は、前記注視時間情報が示す前記注視時間を用いる、
拡大表示システム。
【請求項17】
視聴者の頭部に装着可能な表示装置と、所定の撮影視点で撮影されたVR映像を前記表示装置に配信する配信サーバと、を備えた拡大表示システムであって、
前記表示装置は、
所定の表示領域に映像を表示する表示部と、
仮想空間における前記撮影視点を中心とする球面状の映像投影面に前記VR映像を投影し、前記表示部を制御して、前記映像投影面に投影された投影映像に含まれる、前記表示領域に対応する表示映像を、前記表示領域に表示させる表示制御部と、
前記視聴者が前記表示領域の一部を注視している注視状態であるか否かを判定する状態判定部と、
を備え、
前記表示制御部は、前記状態判定部によって前記視聴者が前記注視状態であると判定された場合、前記表示部を制御して、前記投影映像に含まれる、前記視聴者が注視している注視領域に対応する注視映像を、前記表示領域に所定の拡大率で拡大表示させ、
前記表示制御部は、前記注視映像が前記映像投影面における所定の拡大可能領域内に投影された映像でない場合、前記注視映像を拡大表示せず、
前記表示制御部は、前記注視映像が前記映像投影面における第一の拡大可能領域内に投影された映像である場合、前記注視映像を第一の拡大率で拡大表示し、前記注視映像が前記映像投影面における前記第一の拡大可能領域と重複しない第二の拡大可能領域内に投影された映像である場合、前記注視映像を第二の拡大率で拡大表示する、
拡大表示システム。
【請求項18】
視聴者の頭部に装着可能な表示装置と、所定の撮影視点で撮影されたVR映像を前記表示装置に配信する配信サーバと、を備えた拡大表示システムであって、
前記表示装置は、
所定の表示領域に映像を表示する表示部と、
仮想空間における前記撮影視点を中心とする球面状の映像投影面に前記VR映像を投影し、前記表示部を制御して、前記映像投影面に投影された投影映像に含まれる、前記表示領域に対応する表示映像を、前記表示領域に表示させる表示制御部と、
前記視聴者が前記表示領域の一部を注視している注視状態であるか否かを判定する状態判定部と、
を備え、
前記表示制御部は、前記状態判定部によって前記視聴者が前記注視状態であると判定された場合、前記表示部を制御して、前記投影映像に含まれる、前記視聴者が注視している注視領域に対応する注視映像を、前記表示領域に所定の拡大率で拡大表示させ、
前記表示制御部は、前記視聴者が前記注視状態であるときの前記表示領域における視点に対応する前記映像投影面上の点である注視点が、前記映像投影面における所定の拡大可能領域内に存在しない場合、前記注視映像を拡大表示せず、
前記表示制御部は、前記注視点が前記映像投影面における第一の拡大可能領域内に存在する場合、前記注視映像を第一の拡大率で拡大表示し、前記注視点が前記映像投影面における前記第一の拡大可能領域と重複しない第二の拡大可能領域内に存在する場合、前記注視映像を第二の拡大率で拡大表示する、
拡大表示システム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、視聴者の頭部に装着可能な表示装置の表示領域にVR映像を表示する拡大表示システム及び表示装置に関する。
【背景技術】
【0002】
従来から、特許文献1等に記載のように、所定の撮影視点から360度等の広い画角で撮影して得られた所謂VR映像を、ヘッドマウントディスプレイ(以降、HMD)等の、視聴者の頭部に装着可能な表示装置の表示領域に表示する技術が知られている。
【0003】
具体的には、
図7に示すように、前記表示装置は、仮想空間における前記撮影視点を中心とする球面状の映像投影面にVR映像を投影し、前記映像投影面に投影された映像から、前記表示領域の姿勢及び視野角に対応する領域の映像(以降、表示映像)を切り出し、当該切り出した表示映像を前記表示領域に表示する。
【先行技術文献】
【特許文献】
【0004】
【発明の概要】
【発明が解決しようとする課題】
【0005】
上記従来技術を用いて、例えば
図8のセクション(A)に示すように、同じ形状の三つの被写体SB1~SB3を撮影して得られたVR映像を前記表示領域VDAに表示するとする。この場合、
図8のセクション(B)に示すように、前記表示領域VDAに表示された表示映像では、撮影視点の近傍に存在する被写体SB2の映像よりも遠方に存在する被写体SB1、SB3の映像が小さくなる。
【0006】
したがって、撮影視点の遠方に存在する被写体SB1、SB3を視聴者に注視させるためには、被写体SB1、SB3を拡大表示する操作を視聴者に行わせる必要があった。また、前記表示装置を頭部に装着した視聴者に前記操作を行わせるためには、前記表示装置の側部にハードキーを設けたり、前記表示装置と通信可能なリモコンを設ける等して、操作装置を別途設ける必要があった。
【0007】
本発明は、上記事情に鑑みてなされた発明であり、視聴者の頭部に装着可能な表示装置の表示領域にVR映像が表示されている場合に、視聴者が注視している映像を別途操作装置を設ける必要なく、容易に拡大表示することができる安価な拡大表示システム及び表示装置を提供することを目的とする。
【課題を解決するための手段】
【0008】
本発明による拡大表示システムは、視聴者の頭部に装着可能な表示装置と、所定の撮影視点で撮影されたVR映像を前記表示装置に配信する配信サーバと、を備えた拡大表示システムであって、前記表示装置は、所定の表示領域に映像を表示する表示部と、仮想空間における前記撮影視点を中心とする球面状の映像投影面に前記VR映像を投影し、前記表示部を制御して、前記映像投影面に投影された投影映像に含まれる、前記表示領域に対応する表示映像を、前記表示領域に表示させる表示制御部と、前記視聴者が前記表示領域の一部を注視している注視状態であるか否かを判定する状態判定部と、を備え、前記表示制御部は、前記状態判定部によって前記視聴者が前記注視状態であると判定された場合、前記表示部を制御して、前記投影映像に含まれる、前記視聴者が注視している注視領域に対応する注視映像を、前記表示領域に所定の拡大率で拡大表示させる。
【0009】
本発明による表示装置は、視聴者の頭部に装着可能な表示装置であって、所定の撮影視点で撮影されたVR映像を記憶する記憶部と、所定の表示領域に映像を表示する表示部と、仮想空間における前記撮影視点を中心とする球面状の映像投影面に前記VR映像を投影し、前記表示部を制御して、前記映像投影面に投影された投影映像に含まれる、前記表示領域に対応する表示映像を、前記表示領域に表示させる表示制御部と、前記視聴者が前記表示領域の一部を注視している注視状態であるか否かを判定する状態判定部と、を備え、前記表示制御部は、前記状態判定部によって前記視聴者が前記注視状態であると判定された場合、前記表示部を制御して、前記投影映像に含まれる、前記視聴者が注視している注視領域に対応する注視映像を、前記表示領域に所定の拡大率で拡大表示させる。
【0010】
これらの構成によれば、視聴者の頭部に装着可能な表示装置の表示領域に、映像投影面に投影された投影映像に含まれる、表示領域に対応する表示映像が表示されている場合に、視聴者が表示領域の一部を注視している注視状態であるか否かが判定される。そして、視聴者が注視状態と判定された場合、視聴者が注視している注視領域に対応する注視映像が、視聴者の操作を必要とすることなく、表示領域に所定の拡大率で自動的に拡大表示される。
【0011】
このため、本構成によれば、視聴者の頭部に装着可能な表示装置に、注視映像を拡大表示する操作を行うための操作装置を別途設ける必要なく、安価に、視聴者が注視している注視映像を表示装置の表示領域に拡大表示することができる。
【0012】
また、前記表示装置は、前記表示領域の姿勢を検出する姿勢検出部を更に備え、前記状態判定部は、前記姿勢検出部によって検出された前記姿勢の変化量が所定量未満である状態が、所定の注視時間以上連続している場合、前記視聴者が前記注視状態であると判定してもよい。
【0013】
本構成によれば、視聴者が表示領域の一部を注視することで、姿勢検出部によって検出された表示領域の姿勢の変化量が所定量未満である状態が、所定の注視時間以上連続している場合に、視聴者が注視状態であると適切に判定することができる。
【0014】
また、前記表示装置は、前記表示領域における前記視聴者の視点を検出する視点検出部を更に備え、前記状態判定部は、前記視点検出部によって検出された前記視点の変化量が所定量未満である状態が、所定の注視時間以上連続している場合、前記視聴者が前記注視状態であると判定してもよい。
【0015】
本構成によれば、視聴者が表示領域の一部を注視することで、視点検出部によって検出された視聴者の視点の変化量が所定量未満である状態が、所定の注視時間以上連続している場合に、視聴者が注視状態であると適切に判定することができる。
【0016】
また、前記配信サーバは、前記注視時間を示す注視時間情報を前記VR映像とともに前記表示装置に配信し、前記状態判定部は、前記注視時間情報が示す前記注視時間を用いてもよい。
【0017】
本構成によれば、配信サーバからVR映像とともに配信された注視時間情報が示す注視時間を用いて、視聴者が注視状態であるか否かが判定される。したがって、本構成によれば、視聴者が注視状態であるか否かを、配信サーバから配信されるVR映像の内容に応じて個別に判定することができる。
【0018】
また、前記状態判定部は、前記注視映像が拡大表示された後、更に、前記視聴者が前記注視状態を継続しなくなったか否かを判定し、前記表示制御部は、前記状態判定部によって、前記視聴者が前記注視状態を継続しなくなったと判定された場合、前記表示部を制御して、前記注視映像の拡大表示を終了し、前記投影映像に含まれる前記表示領域に対応する表示映像を前記表示領域に表示させてもよい。
【0019】
本構成によれば、注視映像が拡大表示された後、状態判定部によって、視聴者が注視状態を継続しなくなったと判定された場合、注視映像の拡大表示が終了し、投影映像に含まれる表示領域に対応する表示映像が表示領域に表示される。
【0020】
このため、視聴者は、表示領域における注視領域とは異なる位置に視点を移動させる等して、注視領域を注視することを止めるだけで、表示領域に対応する表示映像を容易に表示領域に表示することができる。
【0021】
また、前記拡大率は、定数であってもよい。
【0022】
本構成によれば、状態判定部によって視聴者が注視状態であると判定された場合に、注視映像を一定の拡大率で拡大表示することができる。
【0023】
また、前記拡大率は、前記状態判定部によって前記視聴者が前記注視状態であると判定された時点からの経過時間に応じて変化する関数であってもよい。
【0024】
本構成によれば、状態判定部によって視聴者が注視状態であると判定された場合に、当該判定がなされた時点からの経過時間に応じて注視映像の大きさを変化させながら拡大表示することができる。
【0025】
また、前記表示制御部は、前記注視映像が前記映像投影面における所定の拡大可能領域内に投影された映像でない場合、前記注視映像を拡大表示しないようにしてもよい。
【0026】
本構成によれば、状態判定部によって視聴者が注視状態であると判定された場合に、注視映像が映像投影面における拡大可能領域内に投影された映像でないときは、注視映像を拡大表示することを回避することができる。
【0027】
また、前記表示制御部は、前記視聴者が前記注視状態であるときの前記表示領域における視点に対応する前記映像投影面上の点である注視点が、前記映像投影面における所定の拡大可能領域内に存在しない場合、前記注視映像を拡大表示しないようにしてもよい。
【0028】
本構成によれば、状態判定部によって視聴者が注視状態であると判定された場合に、視聴者が注視状態であるときの表示領域における視点に対応する映像投影面上の注視点が、映像投影面における拡大可能領域内に存在しないときは、注視映像を拡大表示することを回避することができる。
【0029】
また、前記表示制御部は、前記注視映像が前記映像投影面における第一の拡大可能領域内に投影された映像である場合、前記注視映像を第一の拡大率で拡大表示し、前記注視映像が前記映像投影面における前記第一の拡大可能領域と重複しない第二の拡大可能領域内に投影された映像である場合、前記注視映像を第二の拡大率で拡大表示してもよい。
【0030】
本構成によれば、状態判定部によって視聴者が注視状態であると判定された場合に、映像投影面における注視映像の位置に応じた拡大率で、注視映像を拡大表示することができる。
【0031】
また、前記表示制御部は、前記注視点が前記映像投影面における第一の拡大可能領域内に存在する場合、前記注視映像を第一の拡大率で拡大表示し、前記注視点が前記映像投影面における前記第一の拡大可能領域と重複しない第二の拡大可能領域内に存在する場合、前記注視映像を第二の拡大率で拡大表示するようにしてもよい。
【0032】
本構成によれば、状態判定部によって視聴者が注視状態であると判定された場合に、映像投影面における前記注視点の位置に応じた拡大率で、注視映像を拡大表示することができる。
【0033】
また、前記配信サーバは、前記拡大可能領域を特定するための領域特定情報を前記VR映像とともに前記表示装置に配信し、前記表示制御部は、前記領域特定情報によって特定される前記拡大可能領域を用いてもよい。
【0034】
本構成によれば、配信サーバから当該VR映像とともに配信された領域特定情報によって特定される拡大可能領域内に注視映像又は前記注視点が含まれる場合に注視映像が拡大表示される。一方、当該拡大可能領域内に注視映像又は前記注視点が含まれない場合、注視映像は拡大表示されない。したがって、本構成によれば、注視映像を拡大表示させるか否かを、配信サーバから配信されるVR映像の内容に応じて個別に判定することができる。
【0035】
また、前記配信サーバは、前記拡大率を示す拡大率情報を前記VR映像とともに前記表示装置に配信し、前記表示制御部は、前記拡大率情報が示す前記拡大率を用いてもよい。
【0036】
本構成によれば、配信サーバから当該VR映像とともに配信された拡大率情報が示す拡大率で注視映像が拡大表示される。したがって、本構成によれば、配信サーバから配信されるVR映像の内容に応じた拡大率で注視映像を拡大表示することができる。
【0037】
また、前記表示装置は、前記注視映像の拡大表示を許可するか否かを設定する設定部を更に備え、前記表示制御部は、前記設定部によって前記注視映像の拡大表示を許可しないことが設定されている場合、前記注視映像を拡大表示しなくてもよい。
【0038】
本構成によれば、設定部によって注視映像の拡大表示を許可しないことを設定することで、状態判定部によって視聴者が注視状態であると判定されたときに、注視映像が拡大表示されることを回避することができる。
【発明の効果】
【0039】
本発明によれば、視聴者の頭部に装着可能な表示装置の表示領域にVR映像が表示されている場合に、視聴者が注視している映像を別途操作装置を設ける必要なく、容易に拡大表示することができる安価な拡大表示システム及び表示装置を提供することができる。
【図面の簡単な説明】
【0040】
【
図1】本発明の一実施形態に係る拡大表示システムの機能構成の一例を示すブロック図である。
【
図2】表示制御部によるVR映像の表示制御の一例を示す図である。
【
図3】表示制御部による注視映像の拡大表示制御の一例を示す図である。
【
図4】表示領域に表示された注視映像及び注視映像を拡大表示した映像の一例を示す図である。
【
図5】本発明の一実施形態に係る拡大表示システムの動作の一例を示すフローチャートである。
【
図7】従来技術によるVR映像の表示制御の一例を示す図である。
【
図8】従来技術によるVR映像の撮影及び表示の一例を示す図である。
【発明を実施するための形態】
【0041】
以下、本発明の一実施形態に係る拡大表示システムについて図面に基づいて説明する。
図1は、本発明の一実施形態に係る拡大表示システム100の機能構成の一例を示すブロック図である。
【0042】
(拡大表示システム100の構成)
図1に示すように、拡大表示システム100は、配信サーバ1と表示装置2とを備えている。配信サーバ1と表示装置2とは、LANやインターネットや放送データ網等の不図示のネットワークを介して通信可能に接続されている。
【0043】
(配信サーバ1の構成)
配信サーバ1は、所定の撮影視点で撮影されたVR映像を表示装置2に配信する。具体的には、配信サーバ1は、記憶部11と配信部12とを備えている。
【0044】
記憶部11は、HDD(Hard Disk Drive)やSSD(Solid State Drive)等の記憶装置で構成されている。記憶部11は、配信する対象のVR映像を示す映像データを記憶する。VR映像とは、全方位カメラ(360度カメラ)等によって、所定の撮影視点から広い画角(例えば360度)で撮影して得られた静止画や動画等の映像を示す。以降、VR映像を示す映像データをVR映像と略記する。
【0045】
また、記憶部11は、配信する対象のVR映像と対応付けて、当該VR映像に関連する配信情報を記憶する。配信情報には、配信するVR映像の識別情報、タイトル及びURLが含まれる。配信情報には、更に、後述する注視時間情報、拡大率情報及び拡大表示許可情報等が含まれる。
【0046】
配信部12は、エンコーダーと前記ネットワークを介して表示装置2との間で通信を行う通信インターフェイス回路とによって構成されている。配信部12は、記憶部11に記憶されているVR映像を所定の方式(例:MPEG-4、HLS(HTTP Live Streaming)等)で符号化し、当該VR映像及び記憶部11において当該VR映像に対応付けられている配信情報を、前記ネットワークを介して表示装置2に配信する。
【0047】
ここで、VR映像及び配信情報を配信するとは、所謂オンデマンド配信とライブ配信の二態様を含む。つまり、オンデマンド配信では、配信部12は、配信対象のVR映像の表示が許可された表示装置2に、前記ネットワークを介して配信情報を送信する。その後、当該表示装置2において、配信情報に含まれている当該VR映像のURLへのアクセスがあった場合に、配信部12は、当該VR映像を表示装置2に返信する。
【0048】
一方、ライブ配信では、配信部12は、テレビ番組の映像データの放送等と同様、所定時刻になると、配信対象のVR映像及び記憶部11において当該VR映像に対応付けられている配信情報を、前記ネットワークに含まれる放送データ網を用いて放送する。
【0049】
記憶部11及び配信部12は、一台のサーバ装置に備えてもよいし、互いに通信可能に接続された複数台のサーバ装置に適宜分散して備えるようにしてもよい。また、配信部12は、VR映像を配信する配信部12と、当該VR映像に対応付けられた配信情報を配信する配信部12と、を互いに異なるサーバ装置に分散して備えるようにしてもよい。
【0050】
(表示装置2の構成)
表示装置2は、ヘッドマウントディスプレイ(以降、HMD)等の視聴者の頭部に装着可能な装置によって構成されている。具体的には、表示装置2は、CPU、RAM及びROM等を備えたマイクロコンピューター、前記ネットワークを介して配信サーバ1との間で通信を行う通信インターフェイス回路、符号化された映像を復号化するデコーダー、平面状の表示領域に映像を表示する液晶ディスプレイ等の表示器、及びこれらを収容する筐体を支持し、且つ、視聴者の頭部に装着されるヘッドバンド等を備えている。また、表示装置2は、表示領域の姿勢を検出する角速度(ジャイロ)センサーを備えている。
【0051】
尚、HMDは、このような構成に限らず、前記ヘッドバンドが、前記マイクロコンピューター、前記通信インターフェイス回路、前記デコーダー、前記表示器を備えたスマートフォンを脱着可能に支持する構成であってもよい。
【0052】
表示装置2は、配信サーバ1からVR映像及び当該VR映像に関連する配信情報を取得し、取得した配信情報に基づき、取得したVR映像を前記表示領域に表示する。具体的には、表示装置2は、
図1の実線部に示すように、姿勢検出部91、表示部21、取得部22、表示制御部23、状態判定部24及び設定部25として機能する。
【0053】
姿勢検出部91は、定期的に前記表示領域の姿勢を検出する。具体的には、姿勢検出部91は、前記角速度(ジャイロ)センサーによって構成される。尚、これに限らず、姿勢検出部91は、前記表示領域に平行な板材に複数配置され、重心移動を検出する圧力センサーによって構成してもよい。または、姿勢検出部91は、部屋の四隅等に配置され、且つ、赤外線を用いて表示装置2の装着者の頭部の姿勢を検出する赤外線センサーと無線通信を行うことで、前記表示領域の姿勢を検出するものであってもよい。または、姿勢検出部91は、部屋の四隅等に配置され、且つ、表示装置2の装着者の周囲を撮影するカメラと無線通信を行い、当該カメラによる撮像画像から表示装置2の装着者の頭部の姿勢を画像認識するものであってもよい。
【0054】
表示部21は、前記表示器によって構成され、前記マイクロコンピューターによる制御の下、前記表示領域に映像を表示する。
【0055】
取得部22は、前記マイクロコンピューター及び前記通信インターフェイス回路によって構成され、配信サーバ1と通信を行うことにより、VR映像及び当該VR映像に関連する配信情報を取得する。
【0056】
具体的には、配信部12がVR映像及び当該VR映像に関連する配信情報を上述のオンデマンド配信の態様で配信する場合、取得部22は、先ず、配信部12が送信した配信情報を受信する。取得部22は、当該受信した配信情報を前記マイクロコンピューターが備えるRAMやROM等に記憶しておく。その後、視聴者がVR映像の表示操作を行った場合、取得部22は、RAMやROM等に記憶した配信情報に含まれるVR映像のURLにアクセスし、配信部12から返信されたVR映像を取得する。
【0057】
一方、配信部12がVR映像及び配信情報を上述のライブ配信の態様で配信する場合、取得部22は、所定時刻以降に、配信部12によって前記放送データ網を用いて放送されるVR映像及び当該VR映像に関連する配信情報を取得する。
【0058】
表示制御部23は、前記デコーダー及び前記マイクロコンピューターによって構成され、取得部22が取得したVR映像を復号化する。
図2は、表示制御部23によるVR映像の表示制御の一例を示す図である。そして、表示制御部23は、公知のVR映像投影処理を実行することにより、
図2に示すように、仮想空間における当該VR映像の撮影視点SVPを中心とする球面状の映像投影面VSPに、復号化したVR映像を投影する。そして、表示制御部23は、映像投影面VSPに投影された投影映像から、表示領域VDAに対応する領域VDAaに投影された表示映像を切り出す。そして、表示制御部23は、表示部21を制御して、当該切り出した表示映像を表示領域VDAに表示させる。
【0059】
また、表示装置2を装着した視聴者が頭部の姿勢を変化させたことで、表示領域VDAの姿勢が変化した場合に、姿勢検出部91によって表示領域VDAの変化後の姿勢が検出されたとする。この場合、表示制御部23は、投影映像から表示映像を切り出す対象の領域を、
図2の一点鎖線部に示すように、表示領域VDAの姿勢の変化に応じて移動させる。そして、表示制御部23は、姿勢が変化した後の表示領域VDAに対応する領域に投影された表示映像を切り出し、表示部21を制御して、当該切り出した表示映像を表示領域VDAに表示させる。
【0060】
図1に参照を戻す。状態判定部24は、前記マイクロコンピューターによって構成され、視聴者が表示領域VDAの一部を注視している注視状態であるか否かを判定する。
【0061】
具体的には、状態判定部24は、取得部22が取得した配信情報に含まれる注視時間情報を取得する。注視時間情報は、視聴者が表示領域VDAの一部を視認し始めたときから、視聴者が当該表示領域VDAの一部を注視する状態になるまでに要すると考えられる時間(以降、注視時間)を示す情報である。そして、状態判定部24は、姿勢検出部91によって検出された表示領域VDAの姿勢の変化量が所定量未満である状態が、前記注視時間情報が示す注視時間以上連続している場合に、視聴者が注視状態であると判定する。
【0062】
これにより、視聴者が表示領域VDAの一部を注視することで、姿勢検出部91によって検出された表示領域VDAの姿勢の変化量が所定量未満である状態が、所定の注視時間以上連続している場合に、視聴者が注視状態であると適切に判定することができる。また、配信サーバ1からVR映像とともに配信された注視時間情報が示す注視時間を用いて、視聴者が注視状態であるか否かが判定される。したがって、視聴者が注視状態であるか否かを、配信サーバ1から配信されるVR映像の内容に応じて個別に判定することができる。
【0063】
尚、注視時間情報は、表示装置2が備えるRAMやROM等に予め記憶されていてもよい。この場合、状態判定部24が、配信情報に含まれる注視時間情報を取得せずに、RAMやROM等に予め記憶されている注視時間情報が示す注視時間を用いて、視聴者が注視状態であるか否かを判定するようにしてもよい。
【0064】
また、状態判定部24によって視聴者が注視状態であると判定された場合、表示制御部23は、表示部21を制御して、前記投影映像に含まれる、視聴者が注視している注視領域に対応する注視映像を、表示領域VDAに所定の拡大率で拡大表示させる。
【0065】
図3は、表示制御部23による注視映像FDの拡大表示制御の一例を示す図である。
図4は、表示領域VDAに表示された注視映像FD及び注視映像FDを拡大表示した映像EFDの一例を示す図である。具体的には、表示制御部23は、先ず、取得部22が取得した配信情報に含まれる拡大率情報を取得する。拡大率情報は、注視映像FDを表示領域VDAに拡大表示するときの拡大率を示す情報である。
【0066】
拡大率は、例えば、定数(例:2)に定められる。この場合、状態判定部24によって視聴者が注視状態であると判定されたときに、注視映像FDを一定の拡大率で拡大表示することができる。また、拡大率は、例えば、状態判定部24によって視聴者が注視状態であると判定された時点からの経過時間tに応じて変化する関数F(t)(例:2×t(0秒<t<1秒)、2(t>1秒))に定められてもよい。この場合、状態判定部24によって視聴者が注視状態であると判定された場合に、当該判定がなされた時点からの経過時間tに応じて注視映像FDの大きさを変化させながら拡大表示することができる。
【0067】
そして、表示制御部23は、
図3及び
図4のセクション(A)に示すように、前記仮想空間において、VR映像が投影された映像投影面VSPにおける表示領域VDAに対応する領域VDAaの中央部CVDAを、前記撮影視点SVPから所定の画角で撮影する仮想カメラVCが配置されているものとする。そして、表示制御部23は、仮想カメラVCによって撮影可能な映像投影面VSP上の領域FAを、視聴者が注視している注視領域(以降、注視領域FA)として特定する。
【0068】
次に、表示制御部23は、
図3のセクション(B)に示すように、仮想カメラVCを、撮影視点SVPから前記中央部CVDAに向かう方向(点線矢印の方向)に、前記拡大率情報が示す拡大率に対応する距離だけ移動させる。尚、表示制御部23は、例えば、所定係数と拡大率との積を、拡大率に対応する距離として用いる。
【0069】
そして、表示制御部23は、
図3及び
図4のセクション(B)に示すように、移動後の仮想カメラVCによって撮影可能な映像投影面VSP上の領域EFAに投影されている映像を取得する。そして、表示制御部23は、
図4のセクション(D)に示すように、当該取得した映像を表示領域VDAの大きさに拡大し、当該拡大した映像EFDを表示領域VDAに表示させる。これにより、
図4のセクション(C)に示すように表示領域VDAに表示されていた注視映像FDが、
図4のセクション(D)に示すように拡大表示される。
【0070】
上記構成によれば、配信サーバ1から当該VR映像とともに配信された拡大率情報が示す拡大率で注視映像FDが拡大表示される。したがって、配信サーバ1から配信されるVR映像の内容に応じた拡大率で注視映像FDを拡大表示することができる。
【0071】
尚、拡大率情報は、表示装置2が備えるRAMやROM等に予め記憶されていてもよい。この場合、表示制御部23が、配信情報に含まれる拡大率情報を取得せずに、RAMやROM等に予め記憶されている拡大率情報が示す拡大率を用いて、注視映像FDを拡大表示するようにしてもよい。
【0072】
図1に参照を戻す。設定部25は、前記マイクロコンピューターによって構成され、表示制御部23による注視映像FDの拡大表示を許可するか否かを設定する。具体的には、取得部22が取得した配信情報には、注視映像FDの拡大表示を許可するか否かを示す拡大表示許可情報が含まれている。設定部25は、先ず、取得部22が取得した配信情報に含まれている拡大表示許可情報を取得する。
【0073】
尚、拡大表示許可情報は、表示装置2が備えるRAMやROM等に予め記憶されていてもよい。この場合、表示制御部23が、取得部22が取得した配信情報から拡大表示許可情報を取得せずに、RAMやROM等に予め記憶されている拡大表示許可情報を取得するようにしてもよい。
【0074】
そして、設定部25は、取得した拡大表示許可情報が注視映像FDの拡大表示を許可することを示す場合、注視映像FDの拡大表示を許可することを設定する。一方、設定部25は、取得した拡大表示許可情報が注視映像FDの拡大表示を許可しないことを示す場合、注視映像FDの拡大表示を許可しないことを設定する。具体的には、設定部25は、注視映像FDの拡大表示を許可することを示すデータ(例えば、「1」)をRAMやROM等に記憶することで、注視映像FDの拡大表示を許可することを設定する。これと同様に、設定部25は、注視映像FDの拡大表示を許可しないことを示すデータ(例えば、「0」)をRAMやROM等に記憶することで、注視映像FDの拡大表示を許可しないことを設定する。
【0075】
(動作フロー)
以下、拡大表示システム100の動作について説明する。
図5は、本発明の一実施形態に係る拡大表示システム100の動作の一例を示すフローチャートである。
【0076】
図5に示すように、配信サーバ1において、配信部12が記憶部11に記憶されているVR映像及び当該VR映像に対応付けられている配信情報を前記ネットワークを介して表示装置2に配信したとする(ステップS10)。この場合、表示装置2では、取得部22が、配信部12によって配信された、VR映像に関連する配信情報を取得し(ステップS11)、また、配信部12によって配信されたVR映像を取得する(ステップS12)。
【0077】
次に、表示制御部23は、ステップS12で取得されたVR映像を復号化し(ステップS13)、当該復号化したVR映像を前記映像投影面VSP(
図2)に投影する(ステップS14)。そして、姿勢検出部91によって表示領域VDAの姿勢が検出されると(ステップS15)、表示制御部23は、ステップS16を行う。
【0078】
ステップS16において、表示制御部23は、ステップS14で前記映像投影面VSPに投影した投影映像から、ステップS15で検出された姿勢の表示領域VDAに対応する領域VDAaに投影された表示映像を切り出す。そして、表示制御部23は、表示部21を制御して、当該切り出した表示映像を表示領域VDAに表示させる(ステップS16)。
【0079】
ステップS16の後、状態判定部24によって視聴者が注視状態であると判定されたとする(ステップS17でYES)。この場合、設定部25は、上述のように、ステップS11で取得された配信情報又はROMやRAM等から拡大表示許可情報を取得し、当該取得した拡大表示許可情報を用いて、表示制御部23による注視映像FDの拡大表示を許可するか否かを設定する(ステップS18)。
【0080】
ステップS18において、設定部25が注視映像FDの拡大表示を許可することを設定したとする(ステップS18でYES)。この場合、表示制御部23は、上述のように、表示部21を制御して、ステップS14で映像投影面VSPに投影された投影映像に含まれる、注視領域FAに対応する注視映像FDを所定の拡大率で表示領域VDAに拡大表示させる(ステップS19)。ステップS19の後は、再びステップS17が行われる。
【0081】
当該ステップS17において、視聴者が注視状態ではないと判定されたものとする(ステップS17でNO)。又は、ステップS18において、設定部25が注視映像FDの拡大表示を許可しないことを設定したものとする(ステップS18でNO)。これらの場合に(ステップS17でNO又はステップS18でNO)、VR映像の視聴を終了する所定の操作が行われると(ステップS20でYES)、拡大表示システム100における
図5に示す動作は終了する。一方、VR映像の視聴を終了する所定の操作が行われなかったときは(ステップS20でNO)、ステップS15以降の処理が行われる。
【0082】
つまり、状態判定部24は、ステップS19で注視映像FDが拡大表示された後のステップS17において、視聴者が注視状態を継続しなくなったか否かを判定する。当該ステップS17において、視聴者が注視状態を継続しなくなったと判定され(ステップS17でNO)、VR映像の視聴を終了する所定の操作が行われなかった場合(ステップS20でNO)、ステップS15以降の処理が行われる。これにより、表示制御部23は、表示部21を制御して、注視映像FDの拡大表示を終了し、投影映像に含まれる表示領域VDAに対応する表示映像を表示領域VDAに表示させる(ステップS15~S16)。その結果、視聴者は、表示領域VDAにおける注視領域FAとは異なる位置に視点を移動させる等して、注視領域FAを注視することを止めるだけで、表示領域VDAに対応する表示映像を容易に表示領域VDAに表示することができる。
【0083】
このように、上記実施形態の構成によれば、視聴者の頭部に装着可能な表示装置2の表示領域VDAに、映像投影面VSPに投影された投影映像に含まれる、表示領域VDAに対応する表示映像が表示されている場合に、視聴者が表示領域VDAの一部を注視している注視状態であるか否かが判定される。そして、視聴者が注視状態と判定された場合、視聴者が注視している注視領域FAに対応する注視映像FDが、視聴者の操作を必要とすることなく、表示領域VDAに所定の拡大率で自動的に拡大表示される。このため、視聴者の頭部に装着可能な表示装置2に、注視映像FDを拡大表示する操作を行うための操作装置を別途設ける必要なく、安価に、視聴者が注視している注視映像FDを表示装置2の表示領域VDAに拡大表示することができる。
【0084】
また、設定部25によって注視映像FDの拡大表示を許可しないことを設定することで、状態判定部24によって視聴者が注視状態であると判定されたときに、注視映像FDが拡大表示されることを回避することができる。
【0085】
(変形実施形態)
尚、上記実施形態は、本発明に係る実施形態の例示に過ぎず、本発明を上記実施形態に限定する趣旨ではない。例えば、以下に示す変形実施形態であってもよい。
【0086】
(1)表示装置2が、表示領域VDAにおける視聴者の視点を赤外線等を用いて検出する視線追跡センサーを更に備え、
図1の破線部に示すように、更に、視点検出部92として機能するようにしてもよい。視点検出部92は、前記視線追跡センサーによって構成され、定期的に前記表示領域VDAにおける視聴者の視点を検出するものである。
【0087】
これに合わせて、状態判定部24が、視点検出部92によって検出された視点の変化量が所定量未満である状態が、前記注視時間以上連続している場合に、視聴者が注視状態であると判定するようにしてもよい。この場合、視聴者が表示領域VDAの一部を注視することで、視点検出部92によって検出された視聴者の視点の変化量が所定量未満である状態が、前記注視時間以上連続している場合に、視聴者が注視状態であると適切に判定することができる。
【0088】
この場合、表示制御部23は、注視映像FDを拡大表示するとき、前記中央部CVDAに代えて、状態判定部24が注視状態であると判定したときに視点検出部92によって検出された視点(以降、注視視点)を用いればよい。つまり、表示制御部23は、前記仮想空間において、仮想カメラVC(
図3)が前記注視視点を前記撮影視点SVPから所定の画角で撮影するものとして、当該仮想カメラVCによって撮影可能な映像投影面VSP上の領域を注視領域FAとして特定すればよい。そして、表示制御部23は、仮想カメラVCを、撮影視点SVPから注視視点に向かう方向に、所定の拡大率に応じた距離だけ移動させることで、当該注視領域FA内に投影されている注視映像FDを拡大表示すればよい。
【0089】
(2)
図6は、拡大可能領域EPA1~EPA3の一例を示す図である。表示制御部23は、ステップS19(
図5)において、
図6に示すように、注視映像FDが映像投影面VSPにおける所定の拡大可能領域EPA1~EPA3内に投影された映像ではない場合は、注視映像FDを拡大表示せず、ステップS20以降の処理を行うようにしてもよい。
【0090】
本構成によれば、状態判定部24によって視聴者が注視状態であると判定された場合に、注視映像FDが映像投影面VSPにおける拡大可能領域EPA1~EPA3内に投影された映像でないときは、注視映像FDを拡大表示することを回避することができる。
【0091】
又は、表示制御部23は、VR映像が投影された映像投影面VSPにおける表示領域VDAに対応する領域VDAaの中央部CVDA(
図3及び
図4のセクション(A))を、視聴者が注視状態であるときの表示領域VDAにおける視点に対応する映像投影面VSP上の点(以降、注視点)であるとしてもよい。そして、表示制御部23は、ステップS19(
図5)において、当該注視点が映像投影面VSPにおける所定の拡大可能領域EPA1~EPA3(
図6)内に存在しない場合は、注視映像FDを拡大表示せず、ステップS20以降の処理を行うようにしてもよい。
【0092】
同様に、前記変形実施形態(1)では、表示制御部23は、状態判定部24が注視状態であると判定したときに視点検出部92によって検出された前記注視視点に対応する映像投影面VSP上の点を前記注視点としてもよい。そして、表示制御部23は、ステップS19(
図5)において、当該注視点が、映像投影面VSPにおける所定の拡大可能領域EPA1~EPA3(
図6)内に存在しない場合は、注視映像FDを拡大表示せず、ステップS20以降の処理を行うようにしてもよい。
【0093】
これらの構成によれば、状態判定部24によって視聴者が注視状態であると判定された場合に、視聴者が注視状態であるときの表示領域VDAにおける視点に対応する映像投影面VSP上の注視点が、映像投影面VSPにおける拡大可能領域EPA1~EPA3内に存在しないときは、注視映像FDを拡大表示することを回避することができる。
【0094】
また、これらに合わせて、表示制御部23は、ステップS19(
図5)において、
図6に示すように、注視映像FD又は前記注視点が映像投影面VSPにおける第一の拡大可能領域EPA1内に投影された映像である場合、注視映像FDを第一の拡大率で拡大表示するようにしてもよい。同様に、表示制御部23は、ステップS19(
図5)において、注視映像FD又は前記注視点が映像投影面VSPにおける第一の拡大可能領域EPA1と重複しない第二の拡大可能領域EPA2内に投影された映像である場合、注視映像FDを第二の拡大率で拡大表示するようにしてもよい。また、表示制御部23は、ステップS19(
図5)において、注視映像FD又は前記注視点が映像投影面VSPにおける第一の拡大可能領域EPA1及び第二の拡大可能領域EPA2と重複しない第三の拡大可能領域EPA3内に投影された映像である場合、注視映像FDを第三の拡大率で拡大表示するようにしてもよい。
【0095】
本構成によれば、状態判定部24によって視聴者が注視状態であると判定された場合に、映像投影面VSPにおける注視映像FD又は前記注視点の位置に応じた拡大率で、注視映像FDを拡大表示することができる。
【0096】
具体的には、映像投影面VSPにおける各拡大可能領域EPA1~EPA3を特定するための領域特定情報を、配信サーバ1から配信されるVR映像に関連する配信情報に含めればよい。例えば、拡大可能領域が多角形の場合、領域特定情報は、映像投影面VSPにおける当該拡大可能領域の各頂点の位置の座標を示す情報とすればよい。又は、例えば、拡大可能領域が円形の場合、領域特定情報は、映像投影面VSPにおける当該拡大可能領域の中心の位置を示す座標と、半径と、を示す情報とすればよい。
【0097】
また、各拡大可能領域EPA1~EPA3内に注視映像FD又は前記注視点が含まれている場合に注視映像FDを拡大表示するときに用いる各拡大率(第一乃至第三の拡大率)を示す拡大率情報を、配信サーバ1から配信されるVR映像に関連する配信情報に含めればよい。
【0098】
そして、表示制御部23が、ステップS19(
図5)において、ステップS11で取得した配信情報から、領域特定情報及び拡大率情報を取得するように構成すればよい。そして、表示制御部23が、当該取得した領域特定情報が示す各拡大可能領域EPA1~EPA3と、当該取得した拡大率情報が示す各拡大率(第一乃至第三の拡大率)と、を用いるように構成すればよい。
【0099】
これらの場合、配信サーバ1から当該VR映像とともに配信された領域特定情報によって特定される拡大可能領域内に注視映像FD又は前記注視点が含まれる場合に注視映像FDが拡大表示される。一方、当該拡大可能領域内に注視映像FD又は前記注視点が含まれない場合、注視映像FDは拡大表示されない。したがって、注視映像FDを拡大表示させるか否かを、配信サーバ1から配信されるVR映像の内容に応じて個別に判定することができる。また、配信サーバ1から当該VR映像とともに配信された拡大率情報が示す拡大率で注視映像FDが拡大表示される。したがって、配信サーバ1から配信されるVR映像の内容に応じた拡大率で注視映像FDを拡大表示することができる。
【0100】
尚、領域特定情報及び拡大率情報のうちの少なくとも一方の情報を表示装置2が備えるRAMやROM等に予め記憶するようにし、表示制御部23が、ステップS19(
図5)において、当該少なくとも一方の情報をRAMやROM等から取得するようにしてもよい。
【0101】
(3)表示装置2が、設定部25として機能しないようにし、ステップS18(
図5)を省略してもよい。
【0102】
(4)配信サーバ1と表示装置2とが前記ネットワークを介して通信しないようにしてもよい。これに合わせて、配信部12を、エンコーダーとDVDやBD(ブルーレイディスク)等の記録媒体にデータ及び情報を記録する記録装置とによって構成し、配信部12が、ステップS10(
図5)において、VR映像及び配信情報を記録媒体に記録するようにしてもよい。そして、VR映像の提供者が、当該記録媒体を郵送等で表示装置2を所有する視聴者に提供するようにしてもよい。これにより、VR映像及び配信情報が記録媒体によって配信されるようにしてもよい。
【0103】
この場合、取得部22は、前記マイクロコンピューターとDVDやBD(ブルーレイディスク)等の記録媒体からデータ及び情報を取得する取得装置とによって構成すればよい。そして、当該取得部22が、ステップS11及びステップS12(
図5)において、前記提供者から提供された記録媒体から、VR映像及び配信情報を取得するように構成すればよい。
【0104】
(5)表示装置2に記憶部11と同様の記憶部を備えるようにしてもよい。この場合、ステップS10(
図5)を省略し、取得部22が、ステップS11及びステップS12(
図5)において、当該記憶部からVR映像及び配信情報を、配信部12を介さずに取得するようにしてもよい。
【符号の説明】
【0105】
1 :配信サーバ
11 :記憶部
12 :配信部
100 :拡大表示システム
2 :表示装置
21 :表示部
22 :取得部
23 :表示制御部
24 :状態判定部
25 :設定部
91 :姿勢検出部
92 :視点検出部
CVDA :VR映像が投影された映像投影面における表示領域に対応する領域の中央部
EFA :移動後の仮想カメラによって撮影可能な映像投影面上の領域
EFD :注視映像を拡大表示した映像
EPA1~EPA3:拡大可能領域
FA :注視領域
FD :注視映像
SB1~SB3:被写体
SVP :撮影視点
VC :仮想カメラ
VDA :表示領域
VSP :映像投影面
t :経過時間