特開 2023-124647 映像表示システムおよび映像表示方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023124647

(43)【公開日】2023-09-06

(54)【発明の名称】映像表示システムおよび映像表示方法

(51)【国際特許分類】

   H04N 7/18 20060101AFI20230830BHJP

   H04N 23/698 20230101ALI20230830BHJP

   H04N 23/63 20230101ALI20230830BHJP

   H04N 23/695 20230101ALI20230830BHJP

   H04N 23/66 20230101ALI20230830BHJP

   H04N 23/60 20230101ALI20230830BHJP

   H04N 21/258 20110101ALI20230830BHJP

   H04N 21/24 20110101ALI20230830BHJP

   H04N 21/2668 20110101ALI20230830BHJP

   G03B 15/00 20210101ALI20230830BHJP

   G03B 19/06 20210101ALI20230830BHJP

   G03B 37/00 20210101ALI20230830BHJP

【ＦＩ】

H04N7/18 U

H04N5/232 380

H04N5/232 930

H04N5/232 990

H04N5/232 030

H04N5/232 300

H04N21/258

H04N21/24

H04N21/2668

G03B15/00 H

G03B19/06

G03B37/00 A

【審査請求】未請求

【請求項の数】11

【出願形態】ＯＬ

(21)【出願番号】P 2022028537

(22)【出願日】2022-02-25

(71)【出願人】

【識別番号】314012076

【氏名又は名称】パナソニックＩＰマネジメント株式会社

(74)【代理人】

【識別番号】110002000

【氏名又は名称】弁理士法人栄光事務所

(72)【発明者】

【氏名】越智 健敏

(72)【発明者】

【氏名】星田 昌昭

(72)【発明者】

【氏名】杉山 博一

(72)【発明者】

【氏名】熊澤 雅之

【テーマコード（参考）】

2H054

2H059

5C054

5C122

5C164

【Ｆターム（参考）】

2H054BB07

2H059BA11

5C054AA02

5C054CA04

5C054CC02

5C054DA07

5C054FD03

5C054FE24

5C122EA12

5C122EA63

5C122EA66

5C122FA01

5C122FA03

5C122FA18

5C122FB06

5C122FK09

5C122FK12

5C122FK24

5C122GC53

5C122HA75

5C122HA89

5C122HB01

5C122HB05

5C122HB06

5C122HB09

5C164FA07

5C164SA26S

5C164SB29S

5C164SB41P

5C164SC03S

5C164SC05P

5C164SC11P

5C164YA12

5C164YA24

(57)【要約】

【課題】リアルタイムの通信帯域の推定結果を考慮してユーザの視野方向内および視野方向外の映像の画質を適切に決定し、通信環境に応じた映像を提供する。
【解決手段】映像表示システムは、複数のカメラにより撮像された複数の撮像データを保持する映像処理装置と、映像処理装置と通信可能に接続された映像表示装置と、を備え、映像処理装置は、複数の撮像データを用いて、複数のカメラの設置エリアの第１の映像データを生成し、映像表示装置との通信帯域を推定し、映像表示装置からユーザが見ている方向を取得し、第１の映像データから、方向と前記通信帯域の推定結果とに応じた第２の映像データを生成し、生成された第２の映像データを映像表示装置に送信する。
【選択図】図７

【特許請求の範囲】

【請求項1】

複数のカメラにより撮像された複数の撮像データを保持する映像処理装置と、
前記映像処理装置と通信可能に接続された映像表示装置と、を備え、
前記映像処理装置は、
前記複数の撮像データを用いて、前記複数のカメラの設置エリアの第１の映像データを生成し、
前記映像表示装置との通信帯域を推定し、
前記映像表示装置からユーザが見ている方向を取得し、
前記第１の映像データから、前記方向と前記通信帯域の推定結果とに応じた第２の映像データを生成し、
生成された前記第２の映像データを前記映像表示装置に送信する、
映像表示システム。

【請求項2】

前記映像処理装置は、
前記映像表示装置から取得した前記ユーザが見ている前記方向を基に、前記第２の映像データに高画質エリアと前記高画質エリア外である低画質エリアとを指定し、
前記通信帯域の推定結果を基に、前記高画質エリアおよび前記低画質エリアの画質を制御する、
請求項１に記載の映像表示システム。

【請求項3】

前記映像処理装置は、前記通信帯域の推定結果が第１の所定値より広い広帯域である場合、前記高画質エリアおよび前記低画質エリアの両方もしくはどちらか一方の画質を向上させる、
請求項２に記載の映像表示システム。

【請求項4】

前記映像処理装置は、前記通信帯域の推定結果が第１の所定値より広い広帯域であり、かつ前記ユーザの見ている前記方向の変化量が第２の所定値以下の場合、前記高画質エリアおよび前記低画質エリアの両方もしくはどちらか一方の画質を向上させる、
請求項２に記載の映像表示システム。

【請求項5】

前記映像処理装置は、
前記映像表示装置から取得した前記ユーザが見ている前記方向を基に、前記第２の映像データに高画質エリアと前記高画質エリア外である低画質エリアとを指定し、
前記通信帯域の推定結果を基に、前記高画質エリアの面積を制御する、
請求項１に記載の映像表示システム。

【請求項6】

前記映像処理装置は、前記通信帯域の推定結果が第１の所定値より広い広帯域である場合、前記高画質エリアの前記面積を拡張する、
請求項５に記載の映像表示システム。

【請求項7】

前記映像処理装置は、前記通信帯域の推定結果が第１の所定値より広い広帯域であり、かつ前記ユーザの見ている前記方向の変化量が第２の所定値より大きい場合、前記高画質エリアの面積を拡張する、
請求項５に記載の映像表示システム。

【請求項8】

前記第１の映像データは、複数の異なる視野方向を撮像可能な前記複数のカメラの設置エリアの周囲の３６０度の範囲を有する全天球映像データである、
請求項１から請求項５のうちいずれか１項に記載の映像表示システム。

【請求項9】

前記第１の映像データは、同一の被写体がその被写体を囲んで複数の異なる場所に設置された前記複数のカメラを用いて撮像され、前記複数のカメラのそれぞれの視野範囲に対応する視点からみた前記同一の被写体の映像を有する全周囲映像データである、
請求項１から請求項５のうちいずれか１項に記載の映像表示システム。

【請求項10】

前記画質とは、解像度、フレームレートおよび誤り訂正符号化量のうち少なくとも１つである、
請求項２から請求項４のうちいずれか１項に記載の映像表示システム。

【請求項11】

映像表示装置と通信可能に接続され、複数のカメラにより撮像された複数の撮像データを保持する映像処理装置により行われる映像表示方法であって、
前記複数の撮像データを用いて、前記複数のカメラの設置エリアの第１の映像データを生成し、
前記映像表示装置との通信帯域を推定し、
前記映像表示装置からユーザが見ている方向を取得し、
前記第１の映像データから、前記方向と前記通信帯域の推定結果とに応じた第２の映像データを生成し、
生成された前記第２の映像データを前記映像表示装置に送信する、
映像表示方法。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、映像表示システムおよび映像表示方法に関する。

【背景技術】

【0002】

特許文献１には、撮影手段と、撮影手段により撮影された撮影データの解像度を変更する画質変更手段と、を有する移動体と、操作者が移動体を遠隔操作するための操作手段と、操作手段を操作する操作者が装着し、移動体の画質変更手段から送信された撮影データの画像のうち、操作者の向きに応じた所定範囲を切出し、切出した所定範囲の画像を操作者に対して表示する表示手段と、を備える、遠隔操作システムが開示されている。遠隔操作システムの画質変更手段は、移動体の移動速度が高くなる場合、および、操作手段を介して撮影手段により撮影された撮影データのフレームレートを増加させる設定変更が行われた場合、のうちの少なくとも一方の場合、撮影データのフレームレートを増加させ、フレームレートの増加に応じて、撮影手段の撮影データの解像度を低下させる。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１９－１３４３８３号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

近年、ユーザの周囲を上下前後左右といった全方位（つまり、３６０度の全天球の範囲）の映像（以下、全天球映像と称する。）を撮像可能なカメラ（以下、全天球カメラと称する。）が登場し始めている。また、特定の被写体をその被写体を囲むように全周囲方向（つまり、３６０度の範囲からその被写体を見る方向）の映像（以下、全周囲映像と称する。）を撮像可能な複数のカメラを用いた撮像システムが登場し始めている。全天球映像および全周囲映像のいずれからも、所定の画像処理を経ることで、ユーザが見たい方向（視野方向）の映像を切り出して表示することが可能である。

【0005】

特許文献１では、全天球映像とヘッドマウントディスプレイとを用いた移動体を遠隔的に操作するための遠隔操作システムが開示されている。遠隔操作システムは、移動体の移動速度に応じてフレームレートと撮像データの解像度を調整することで、移動体が高速移動している際の没入感維持と通信負荷低減とを両立する。しかしながら、特許文献１では、移動体から送信される撮像データの通信帯域の考慮がなされていない。このため、例えば移動体から操作者が装着する表示手段までが不安定な無線環境では、設定した解像度に対し、所望のフレームレートが得られない場合があり、あるいは、利用可能な通信帯域が十分に活用されない（例えば、設定した解像度よりも高解像度な撮像データの送信が可能であるが、そのような設定がなされない）場合がある。

【0006】

本開示は、上述した従来の状況に鑑みて案出され、リアルタイムの通信帯域の推定結果を考慮してユーザの視野方向内および視野方向外の映像の画質を適切に決定し、通信環境に応じた映像を提供する映像表示システムおよび映像表示方法を提供することを目的とする。

【課題を解決するための手段】

【0007】

本開示は、複数のカメラにより撮像された複数の撮像データを保持する映像処理装置と、前記映像処理装置と通信可能に接続された映像表示装置と、を備え、前記映像処理装置は、前記複数の撮像データを用いて、前記複数のカメラの設置エリアの第１の映像データを生成し、前記映像表示装置との通信帯域を推定し、前記映像表示装置からユーザが見ている方向を取得し、前記第１の映像データから、前記方向と前記通信帯域の推定結果とに応じた第２の映像データを生成し、生成された前記第２の映像データを前記映像表示装置に送信する、映像表示システムを提供する。

【0008】

また、本開示は、映像表示装置と通信可能に接続され、複数のカメラにより撮像された複数の撮像データを保持する映像処理装置により行われる映像表示方法であって、前記複数の撮像データを用いて、前記複数のカメラの設置エリアの第１の映像データを生成し、前記映像表示装置との通信帯域を推定し、前記映像表示装置からユーザが見ている方向を取得し、前記第１の映像データから、前記方向と前記通信帯域の推定結果とに応じた第２の映像データを生成し、生成された前記第２の映像データを前記映像表示装置に送信する、映像表示方法を提供する。

【0009】

なお、これらの包括的または具体的な態様は、システム、装置、方法、集積回路、コンピュータプログラム、または、記録媒体で実現されてもよく、システム、装置、方法、集積回路、コンピュータプログラムおよび記録媒体の任意な組み合わせで実現されてもよい。

【発明の効果】

【0010】

本開示によれば、リアルタイムの通信帯域の推定結果を考慮してユーザの視野方向内および視野方向外の映像の画質を適切に決定し、通信環境に応じた映像を提供することができる。

【図面の簡単な説明】

【0011】

【図1】本実施の形態の全天球カメラを用いた映像表示システムのシステム構成の一例を示す図

【図2】本実施の形態の全天球映像の概念を示す図

【図3】本実施の形態の全周囲カメラを用いた映像表示システムのシステム構成の一例を示す図

【図4】本実施の形態の全周囲映像の概念を示す図

【図5】本実施の形態の映像表示システムのブロック図

【図6】本実施の形態の映像処理装置の動作手順の一例を説明するフローチャート

【図7】本実施の形態の映像処理装置と映像表示装置との動作手順の一例を説明するシーケンス図

【図8】利用可能な通信帯域と高画質エリアの面積もしくは視点の数との関係を表した図

【図9】利用可能な通信帯域と高画質エリアの画質との関係を表した図

【図10】利用可能な通信帯域と低画質エリアの画質との関係を表した図

【図11】通信帯域が広くなった場合の映像コンテンツ解析による制御例を表した図

【図12】通信帯域が広くなった場合の、視聴側の視線移動もしくは視点切替解析による制御例を表した図

【図13】全天球映像の高画質エリアと低画質エリアとを表した図

【図14】全周囲映像の各視点の高画質エリアと低画質エリアとを表した図

【発明を実施するための形態】

【0012】

以下、図面を適宜参照して、本開示に映像表示システムおよび映像表示方法を具体的に開示した実施の形態について、詳細に説明する。ただし、必要以上に詳細な説明は省略する場合がある。例えば、すでによく知られた事項の詳細説明及び実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。なお、添付図面及び以下の説明は、当業者が本開示を十分に理解するために提供されるのであって、これらにより特許請求の記載の主題を限定することは意図されていない。

【0013】

図１は、本実施の形態の全天球カメラを用いた映像表示システムのシステム構成の一例を示す図である。図１に示すように、映像表示システム１は、カメラ２３（ここでは全天球カメラ２３Ａ）とプロセッサ２２とを少なくとも含む映像処理装置２と、携帯端末３００とヘッドマウントディスプレイ３０１とのうち少なくとも１つを含む映像表示装置３と、を含む。

【0014】

カメラ２３は、例えば図１では、複数の異なる方向を光軸としたレンズ２００ａ、２００ｂを含む全天球カメラ２３Ａである。全天球カメラ２３Ａは、複数のレンズ２００ａ、２００ｂによって複数の異なる視野方向を撮像可能なカメラである。なお、カメラ２３は、全天球カメラ２３Ａに限られず、全周囲カメラ２３Ｂ（図３参照）でもよい。また、カメラ２３は、複数のカメラが一体的に構成される全天球カメラでもよい。全天球カメラ２３Ａは、広角な画角（例えば１２０度）を有する複数のレンズ２００ａおよび複数のイメージセンサ（不図示）により構成可能な撮像部を有する。なお、撮像部の画角は広角に限られるものではなく画角に応じて撮像部の数を増やすこともある。全天球カメラ２３Ａは、撮像部から得られたデータ（つまり、画像の電気信号）を用いて、人が認識可能なＲＧＢ（Ｒｅｄ Ｇｒｅｅｎ Ｂｌｕｅ）形式の画像データまたはＹＵＶ（輝度、色差）形式の画像データを生成して記憶する。

【0015】

全天球カメラ２３Ａは、複数のレンズ２００ａの光軸が略水平方向の放射状となるように周方向に等間隔をおいて配置される。レンズ２００ｂは天頂方向を撮像するために光軸が略垂直方向上向きとなるように配置されている。レンズ２００ａは、隣り合う２つのレンズの撮像エリアが一部重複するように配置されている。全天球カメラ２３Ａは、所定の位置に設置されてもよいし、移動体（例えば、ドローンまたは車など）に設置されてもよい。移動体に設置された場合は、移動体が移動したそれぞれの位置での映像を撮像することができる。

【0016】

プロセッサ２２は、有線もしくは無線によって全天球カメラ２３Ａに通信可能に接続される（図３参照）。プロセッサ２２は、全天球カメラ２３Ａによって撮像された複数の画像データもしくは映像データ（以下、映像データと称する。）を合成処理して１つのパノラマ合成映像である全天球映像を生成する処理（つまり、スティッチング処理）をフレームごとに行う。プロセッサ２２は、映像表示装置３から取得したユーザの視線方向に基づき、全天球映像の所定の範囲の映像データを切り出した映像データ（以下、視聴映像データと称する）を生成する。視聴映像データの詳しい生成の処理方法については図６で後述する。また、プロセッサ２２の、ハードウェア構成および有する機能に関しては図５で後述する。

【0017】

映像処理装置２は、無線通信を用いたネットワーク（例えば、無線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ））を介してフレームごとの視聴映像データを映像表示装置３に送信する。映像処理装置２から映像表示装置３へのデータ送信には、無線通信を用いた
ネットワークを介した通信でもよいし、有線通信を用いたネットワークを介した通信でもよい。

【0018】

映像表示装置３は、携帯端末３００もしくはヘッドマウントディスプレイ３０１の少なくとも１つを含む。また、携帯端末３００もしくはヘッドマウントディスプレイ３０１の代わりにパソコンあるいは視線方向を切り替えられるディスプレイを用いることもできる。映像表示装置３は、携帯端末３００とヘッドマウントディスプレイ３０１とをどちらも含み無線通信３０２を用いて通信可能に接続されてもよい。この無線通信３０２には有線通信を用いることもできる。

【0019】

携帯端末３００は、ユーザによって携帯されるタブレットまたはスマートフォン等の端末装置である。携帯端末３００は、例えばジャイロセンサを有し、携帯端末３００の向き（つまり、どの方角を向いているか）をジャイロセンサにより検出して映像処理装置２に送信してもよい。映像処理装置２は、取得した携帯端末３００の向きの情報に基づいた視聴映像データを携帯端末３００に表示させる。

【0020】

ヘッドマウントディスプレイ３０１は、例えばメガネのように左右一対に延伸した筐体フレームの一部がユーザの耳元付近にかけられた状態で装着されて使用される。言い換えると、ヘッドマウントディスプレイ３０１は、ユーザに装着された状態で使用される。ヘッドマウントディスプレイ３０１は、例えばジャイロセンサを有し、装着しているユーザの視線方向をジャイロセンサにより検出し映像処理装置２に送信する。映像処理装置２は、取得したユーザの視線方向の情報に基づき、ユーザの視線方向を中心方向として含む所定の範囲の視聴映像データをヘッドマウントディスプレイ３０１にリアルタイムに表示させる。

【0021】

次に、図２を参照して、本実施の形態の全天球映像の概念を説明する。図２は、本実施の形態の全天球映像の概念を示す図である。

【0022】

合成映像４０は、全天球カメラ２３Ａにより撮像された映像データがスティッチング処理された全天球映像である。合成映像４０は、球の中心位置を視点（つまりカメラ２３の位置）としたときの全天球カメラ２３Ａの設置エリアの周囲の３６０度の範囲を有する映像データである。

【0023】

人物ｈｍ１は、ヘッドマウントディスプレイ３０１を装着し、ヘッドマウントディスプレイ３０１の筐体フレーム上に表示される視聴映像データを視聴している。人物ｈｍ１は、合成映像４０の中心から視線方向に応じた視聴映像データを視聴することができるため、合成映像４０に対応する実空間上の中心に自身の視点があると仮定した場合の映像を視聴することができる。実際は、合成映像４０に対応する実空間上の中心には全天球カメラ２３Ａが存在し、人物ｈｍ１は任意の位置に存在してよい。

【0024】

部分映像４１は、人物ｈｍ１の視線方向に応じて切り出された視聴映像データである。部分風景４３は、人物ｈｍ１が視聴している部分映像４１の具体例である。なお、図２に係る部分風景４３は、一例でありこれに限定されない。

【0025】

図３は、本実施の形態の全周囲カメラを用いた映像表示システムのシステム構成の一例を示す図である。図３に示すように、映像表示システム１は、カメラ２３（ここでは全周囲カメラ２３Ｂ）とプロセッサ２２とを少なくとも含む映像処理装置２と、携帯端末３００とヘッドマウントディスプレイ３０１とのうち少なくとも１つを含む映像表示装置３と、を含む。また、携帯端末３００もしくはヘッドマウントディスプレイ３０１の代わりにパソコンあるいは視線方向を切り替えられるディスプレイを用いることもできる。図１と同一の構成要素に関しては説明を一部省略する。

【0026】

カメラ２３は、例えば図３では、複数のカメラ２０２を含む全周囲カメラである。全周囲カメラ２３Ｂを構成する複数のカメラ２０２は、広角な画角（例えば１２０度）を有するレンズ２０２ａおよびイメージセンサ（不図示）により構成可能な撮像部を有する。なお、撮像部の画角は広角に限られるものではなく画角に応じて撮像部の数を増やすこともある。全周囲カメラ２３Ｂは、複数のカメラ２０２のそれぞれの撮像部から得られたデータ（つまり、画像の電気信号）を用いて、人が認識可能なＲＧＢ（Ｒｅｄ Ｇｒｅｅｎ Ｂｌｕｅ）形式の画像データまたはＹＵＶ（輝度、色差）形式の画像データを生成して記憶する。

【0027】

全周囲カメラ２３Ｂは、複数のカメラ２０２が所定の空間内における同一の場面または人物等を撮影する。全周囲カメラ２３Ｂは、例えば、スポーツイベント等で用いられ、全周囲カメラ２３Ｂが設置された場所で行われる試合等を撮像する。なお、これは一例であり監視カメラを用いて監視される空間等であってもよい。

【0028】

複数のカメラ２０２のそれぞれは、所定の空間内において同一の場面を互いに異なる位置から撮像する。複数のカメラ２０２は、所定の間隔をあけて被写体（ここでは人物ｈｍ２）を囲んで複数の異なる場所に配置される。複数のカメラ２０２は、異なる位置から見た人物ｈｍ２を撮像することができる。なお、複数のカメラの配置はこれに限定されず例えば人物ｈｍ２の上方に配置されてもよい。カメラ２０２のレンズ２０２ａは上下左右に回転可能であってもよい。カメラ２０２は、撮像対象の動きに合わせて向きを変えることができる。また、２つのカメラ２０２の間を視点とした映像は両脇のカメラ２０２の撮像映像を合成して作成される。これにより、撮像対象に対して３６０度の全周囲の位置を視点とした映像データを生成することができる。これら全ての映像データを合わせて全周囲映像と称する。全周囲映像とは、複数のカメラ２０２のそれぞれの視野範囲に対応する視点からみた同一の被写体の映像を有する。

【0029】

プロセッサ２２は、全周囲映像の中で、映像表示装置３から取得した視点位置および視線方向の情報に基づき視聴映像データを生成する。プロセッサ２２は、生成した視聴映像データを映像表示装置３に送信する。なお、視点の情報は、映像処理装置２によって自動で設定されてもよいし（例えば、予め決められた時間間隔での変更）、映像処理装置２が管理者（例えば、コンサートの運営者など）による指示を取得し取得した指示に基づき変更を行ってもよい。

【0030】

映像処理装置２は、無線通信を用いたネットワーク（例えば無線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ））を介してフレームごとの視聴映像データを映像表示装置３に送信する。映像処理装置２から映像表示装置３へのデータ送信には、無線通信を用いたネットワークを介した通信でもよいし、有線通信を用いたネットワークを介した通信でもよい。

【0031】

映像表示装置３は、携帯端末３００もしくはヘッドマウントディスプレイ３０１の少なくとも１つを含む。また、携帯端末３００もしくはヘッドマウントディスプレイ３０１の代わりにパソコンあるいはディスプレイを用いることもできる。映像表示装置３は、携帯端末３００とヘッドマウントディスプレイ３０１とをどちらも含み無線通信または有線通信を用いて通信可能に接続されてもよい。

【0032】

携帯端末３００は、例えばジャイロセンサを有し、携帯端末３００の向き（どの方角を向いているか）をジャイロセンサにより検出して映像処理装置２に送信してもよい。携帯端末３００は、ユーザによって視点の変更に係る入力を受け付けてもよい。また、携帯端末３００の代わりにパソコンあるいはディスプレイを用い、ユーザによって視点 の変更に係る入力を受け付けてもよい。映像処理装置２は、取得した携帯端末３００の向きおよび視点の情報に基づいた視聴映像データを携帯端末３００に表示させる。

【0033】

ヘッドマウントディスプレイ３０１は、例えばジャイロセンサを有し、装着しているユーザの視線方向をジャイロセンサにより検出し映像処理装置２に送信する。またヘッドマウントディスプレイ３０１は、ユーザによって視点の変更に係る入力を受け付けてもよい。映像処理装置２は、取得したユーザの視線方向および視点の情報に基づき、ユーザの視線方向を中心方向として含む所定の範囲の視聴映像データをヘッドマウントディスプレイ３０１にリアルタイムに表示させる。

【0034】

次に図４を参照して、本実施の形態の全周囲映像の概念を説明する。図４は、本実施の形態の全周囲映像の概念を示す図である。

【0035】

合成映像５０は、帯状に３６０度方向の映像データを有する。合成映像５０は、全周囲映像の中で選択された視点の位置に基づく映像データである。

【0036】

人物ｈｍ１は、ヘッドマウントディスプレイ３０１を装着し、ヘッドマウントディスプレイ３０１の筐体フレーム上に表示される視聴映像データを視聴している。人物ｈｍ１は、合成映像５０の側面の所定の位置に応じた視聴映像データを視聴することができる。人物ｈｍ１は、帯状の合成映像５０の端に自身の視点があると仮定した場合の視聴映像データを視聴することができる。実際は、人物ｈｍ１は任意の場所に存在してよい。

【0037】

部分映像５１は、人物ｈｍ１の視点および視線に応じて切り出された視聴映像データである。部分映像５１は、ヘッドマウントディスプレイ３０１の筐体に映し出される。

【0038】

次に、図５を参照して本実施の形態の映像表示システムのハードウェア構成を説明する。図５は、本実施の形態の映像表示システムのブロック図である。映像表示システム１は、映像処理装置２と映像表示装置３とが通信可能に接続されて構成される。

【0039】

映像処理装置２は、通信Ｉ／Ｆ２１、プロセッサ２２、カメラ２３およびメモリ２４を少なくとも備えるＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）である。なお、映像処理装置２としては、ＰＣに限らず、同様の機能を果たす他の映像処理装置（例えばサーバ、スマートフォン、タブレット端末等）を用いることもできる。また、映像処理装置２の機能の少なくとも一部を他の公知のハードウェアやネットワーク上のサーバによる処理によって代替してもよい。映像処理装置２は、カメラ２３により撮像された複数の撮像データを保持する。

【0040】

通信Ｉ／Ｆ２１は、映像表示装置３の通信Ｉ／Ｆ３１との間で無線または有線で通信を行うネットワークインターフェース回路である。ここでＩ／Ｆは、インターフェースのことを表す。通信Ｉ／Ｆ２１は、通信Ｉ／Ｆ３１と無線通信を行う場合にネットワーク（不図示）、ネットワーク上に構成されたサーバ（不図示）、または基地局（不図示）を介してもよい。通信Ｉ／Ｆ２１は、カメラ２３により撮像されプロセッサ２２で処理された映像データを通信Ｉ／Ｆ３１に送信する。

【0041】

プロセッサ２２は、映像処理装置２を統括的に制御し、例えばＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）、ＧＰＵ（Ｇｒａｐｈｉｃａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）もしくはＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）である。プロセッサ２２は、映像処理部２２Ａ、帯域推定部２２Ｂおよび画質制御部２２Ｃのそれぞれの機能を実現する。プロセッサ２２は、動作中にメモリ２４のＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）を使用し、プロセッサ２２および各部が生成あるいは取得したデータもしくは情報をメモリ２４のＲＡＭに一時的に保存する。

【0042】

処理部の一例としての映像処理部２２Ａは、カメラ２３で撮像された映像データを取得し全天球映像データもしくは全周囲映像データを生成する。映像処理部２２Ａは、映像表示装置３の視線方向検出部３２Ｂによって検出された視線に係る情報を通信Ｉ／Ｆ２１、３１を介して取得し、この情報に基づき視聴映像データを生成してもよい。映像処理部２２Ａは、全天球映像データもしくは全周囲映像データをメモリ２４に記憶する。映像処理部２２Ａは全天球映像データ、全周囲映像データまたは視聴映像データを通信Ｉ／Ｆ２１に出力する。

【0043】

算出部の一例としての帯域推定部２２Ｂは、通信環境４の通信帯域を推定する。通信帯域とは、例えばデジタル通信においては１秒間に何ビット転送できるかを表し「ｂｐｓ」という単位を用いて表し、例えば電波状況やそのチャネルを共有する他のトラフィックの状況によって変動する。通信帯域が広いと、一度に送信できる情報が多くなり、通信帯域が狭いと一度に送信できる情報が少なくなる。このため通信帯域が広い場合には通信速度が速く、通信帯域が狭い場合には通信速度が遅くなる。帯域推定部２２Ｂは、例えば、容量の大きい信号（例えば、１Ｍｂｐｓの信号）を映像表示装置３に送信し、送信できた量の信号を測定することで通信帯域を推定する。なお、これは一例であり限られない。帯域推定部２２Ｂは、推定した通信帯域の結果を画質制御部に出力する。なお、帯域推定部２２Ｂは、通信帯域の結果をメモリ２４に出力し一時的に保存してもよい。

【0044】

制御部の一例としての画質制御部２２Ｃは、映像データの画質を調整する。ここで画質とは、解像度、フレームレートおよび誤り訂正符号化量のうち少なくとも１つを表す。なお、これらは一例であり限定されない。画質制御部２２Ｃは、映像表示装置３から取得したユーザが見ている方向を基に映像データに高画質のエリアと低画質のエリア（以下、高画質エリアおよび低画質エリアと称する。）との領域の設定を行ってもよい。ここでユーザが見ている方向とは、視聴側ユーザの視点位置および視線の方向で決定されるユーザが見ている方向のことである。なお、この領域の設定をするのは、画質制御部２２Ｃに限られずプロセッサ２２の他の機能で行われてもよいし、ユーザによって予め設定されメモリ２４に記録されていてもよい。画質制御部２２Ｃは、帯域推定部２２Ｂから取得した通信帯域の結果より各領域の画質の設定を行う。

【0045】

カメラ２３は、設置場所を撮像するカメラである。カメラ２３は、例えば全天球カメラ２３Ａまたは全周囲カメラ２３Ｂである。カメラ２３は、通信Ｉ／Ｆ（不図示）、メモリ（不図示）、撮像部（不図示）およびプロセッサ（不図示）を備える。撮像部は、少なくとも光学素子としてのレンズ（不図示）とイメージセンサ（不図示）とを有して構成され映像データを生成する。イメージセンサは、例えばＣＣＤ（Ｃｈａｒｇｅｄ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）あるいはＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）などの固体撮像素子である。カメラ２３は撮像された複数の映像データをプロセッサ２２に出力する。

【0046】

メモリ２４は、例えばＲＡＭとＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）とを用いて構成され、映像処理装置２の動作に必要なプログラム、さらには動作中に生成されたデータを一時的に保持する。ＲＡＭは、例えばプロセッサ２２の動作中に使用されるワークメモリである。ＲＯＭは、例えば、プロセッサ２２を制御するためのプログラムを予め記憶して保持する。また、メモリ２４は、ＲＡＭおよびＲＯＭ以外にフラッシュメモリをさらに有してもよく、映像データを記憶してよい。

【0047】

通信環境４は、映像処理装置２と映像表示装置３と間の無線通信または有線通信の環境を概念的に示す。通信環境４での通信に使用される通信方式は、例えば、ＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、ＬＴＥ（Ｌｏｎｇ Ｔｅｒｍ Ｅｖｏｌｕｔｉｏｎ）、５Ｇ等の移動体通信、電力線通信、近距離無線通信（例えばＢｌｏｏｔｏｏｔｈ（登録商標）通信）、携帯電話用の通信等である。

【0048】

映像表示装置３は、映像処理装置２によって生成された映像データを表示する端末装置である。例えば、携帯端末３００またはヘッドマウントディスプレイ３０１などである。

【0049】

通信Ｉ／Ｆ３１は、映像処理装置２の通信Ｉ／Ｆ２１との間で無線または有線で通信を行うネットワークインターフェース回路である。通信Ｉ／Ｆ３１は、映像処理装置２の指示を取得するまたは視線方向検出部３２Ｂで検出されたユーザの視線の方向に係る情報を送信する等を行う。

【0050】

プロセッサ３２は、映像表示装置３を統括的に制御し、例えばＣＰＵ、ＤＳＰ、ＧＰＵもしくはＦＰＧＡである。プロセッサ３２は、映像表示部３２Ａおよび視線方向検出部３２Ｂのそれぞれの機能を実現する。プロセッサ３２は、動作中にメモリ３４のＲＡＭを使用し、プロセッサ３２および各部が生成あるいは取得したデータもしくは情報をメモリ３４のＲＡＭに一時的に保存する。

【0051】

制御部の一例としての映像表示部３２Ａは、映像処理装置２から通信Ｉ／Ｆ２１および通信Ｉ／Ｆ３１を介して映像データを取得しディスプレイ３３に表示させる制御を行う。映像データは、視聴映像データである。映像表示部３２Ａは、取得した映像データを基にディスプレイ３３に表示させる映像を生成する。例えば、映像表示部３２Ａは、全天球映像データを取得した場合、ユーザの視線の方向の情報に基づいた視聴映像データを生成する。ユーザの視線の方向の情報は、視線方向検出部３２Ｂから取得する。

【0052】

検出部の一例としての視線方向検出部３２Ｂは、ユーザの視線の向きを検出する。例えば、ユーザがヘッドマウントディスプレイ３０１を装着している場合は、視線方向検出部３２Ｂは、ユーザの視線の方向の角度を検出する。この場合、一例としてジャイロセンサを用いる。ジャイロセンサは、ロール、ピッチ、ヨーの３軸に対応する値を検出し、ヘッドマウントディスプレイ３０１が向いている方向を算出する。なお、映像表示装置３は撮像部を更に備えユーザの目の周辺を撮像し、視線方向検出部３２Ｂは撮像された画像データ（もしくは映像データ）からユーザの視線の方向を検出してもよい。また、例えば、ユーザが携帯端末３００を使用している場合は、視線方向検出部３２Ｂは携帯端末３００の向きを取得する。携帯端末３００の向きは、携帯端末３００に内蔵されているジャイロセンサまたは磁気センサ等によって検出される。視線方向検出部３２Ｂは、検出した視線の方向に係る情報を通信Ｉ／Ｆ３１に出力する。なお、視線方向検出部３２Ｂは、検出した視線の方向に係る情報を映像表示部３２Ａに出力してもよいし、メモリ３４に一時的に保存してもよい。

【0053】

ディスプレイ３３は、映像表示部３２Ａから取得した映像データを表示する。ディスプレイ３３は、例えば、ヘッドマウントディスプレイ３０１の筐体である。また、ディスプレイ３３は、例えば、携帯端末３００の画面である。

【0054】

メモリ３４は、例えばＲＡＭとＲＯＭとを用いて構成され、映像表示装置３の動作に必要なプログラム、さらには動作中に生成されたデータを一時的に保持する。ＲＡＭは、例えばプロセッサ３２の動作中に使用されるワークメモリである。ＲＯＭは、例えば、プロセッサ３２を制御するためのプログラムを予め記憶して保持する。また、メモリ３４は、ＲＡＭおよびＲＯＭ以外にフラッシュメモリをさらに有してもよく、映像データを記憶してよい。

【0055】

次に、図６を参照して、本実施の形態の映像処理装置の動作手順を説明する。図６は、本実施の形態の映像処理装置の動作手順の一例を説明するフローチャートである。図６に係るフローチャートの各処理は、主に映像処理装置２により実行され、一部の処理によっては映像処理装置２の処理に起因して映像表示装置３により実行されても構わない。

【0056】

映像処理装置２は、利用可能な通信帯域に応じた高画質エリアおよび低画質エリアの指定および各エリアの画質の設定をメモリ２４から取得する（ステップＳ２０１）。高画質エリア、低画質エリアおよび各エリアの画質の設定はユーザによって予め設定されメモリ２４に保存されている。例えば、予め撮像対象がわかっている場合、撮像対象の動き方または動きの速さ等からユーザが初期値として高画質エリア、低画質エリアおよび各エリアの画質を設定しておく。なお、これらの設定は、カメラ２３によって撮像された複数の映像データをプロセッサ２２によって解析することで自動設定されてもよい。また、映像表示装置３の視線方向検出部３２Ｂによって検出された視線の移動または視点の切り替えをプロセッサ２２によって解析することで自動設定されてもよい。

【0057】

映像処理装置２は、映像表示装置３との通信を開始する（ステップＳ２０２）。

【0058】

カメラ２３は、設置場所の周辺映像を撮像する（ステップＳ２０３）。カメラ２３は、撮像した映像データを映像処理部２２Ａに出力する。映像処理部２２Ａは、複数の撮像データを用いて、複数のカメラ２３の設置エリアの第１の映像データを生成する。映像処理部２２Ａは、第１の映像データを画質制御部２２Ｃに出力する。

【0059】

帯域推定部２２Ｂは、映像表示装置３との間の通信環境４における通信帯域を推定する（ステップＳ２０４）。帯域推定部２２Ｂは、推定した通信帯域の結果を画質制御部２２Ｃに出力する。

【0060】

映像表示装置３の視線方向検出部３２Ｂは、ユーザの視線の方向を検出する。視線方向検出部３２Ｂは、検出した視線の方向に係る情報を通信Ｉ／Ｆ３１に出力する。通信Ｉ／Ｆ３１は、視線の方向に係る情報を通信Ｉ／Ｆ２１に送信する。通信Ｉ／Ｆ２１は、画質制御部２２Ｃに視線の方向に係る情報を送信する。画質制御部２２Ｃは、視線の方向に係る情報を取得する（ステップＳ２０５）。なお、映像表示装置３は、ディスプレイ３３からユーザの入力に基づいた視点に係る情報を取得してもよい。この場合、通信Ｉ／Ｆ３１は、視点に係る情報を通信Ｉ／Ｆ２１に送信する。通信Ｉ／Ｆ２１は、画質制御部２２Ｃに視点に係る情報を送信する。画質制御部２２Ｃは、視点に係る情報を取得する。なお、映像表示装置３は、ディスプレイ３３にユーザに視点を選択することを促す画面を表示させ、視点に関する情報を取得してもよい。この場合、映像表示装置３は、画質制御部２２Ｃに視点に関する情報を送信し、画質制御部２２Ｃは、視点に関する情報を取得する。

【0061】

画質制御部２２Ｃは、取得した視線の方向に係る情報と推定された通信帯域の結果に基づき、視線を中心とした各エリア（高画質エリアおよび低画質エリア）の面積および画質を設定する（ステップＳ２０６）。画質制御部２２Ｃは、映像処理部２２Ａから取得した第１の映像データから、設定された各エリア（高画質エリアおよび低画質エリア）の面積および画質を用いて、高画質エリアの映像（言い換えると、ユーザが見ている方向に応じて第１の映像データから切り出した第２の映像データ）と低画質エリアの映像とを生成する。

【0062】

画質制御部２２Ｃは、ステップＳ２０６の処理で行った設定に応じて生成した各映像（高画質エリアの映像および低画質エリアの映像）を通信Ｉ／Ｆ２１に出力する。通信Ｉ／Ｆ２１は、画質制御部２２Ｃから取得した各映像を通信Ｉ／Ｆ３１に送信する。通信Ｉ／Ｆ３１は、通信Ｉ／Ｆ２１から取得した各映像を映像表示部３２Ａに送信する（ステップＳ２０７）。

【0063】

画質制御部２２Ｃは、送信した各映像に基づき視線方向を中心とした領域の映像を表示させる信号を映像表示装置３に出力する（ステップＳ２０８）。

【0064】

映像処理装置２は、映像表示装置３と通信を継続するか否かを判定する（ステップＳ２０９）。映像処理装置２が映像表示装置３と通信を継続すると判定した場合（ステップＳ２０９，ＹＥＳ）、映像処理装置２の処理はステップＳ２０３の処理に戻る。

【0065】

映像処理装置２は、映像表示装置３と通信を継続しないと判定した場合（ステップＳ２０９，ＮＯ）、通信を終了する（ステップＳ２１０）。

【0066】

カメラ２３は、撮像を終了する（ステップＳ２１１）。

【0067】

次に、図７を参照して、本実施の形態の映像処理装置と映像表示装置との動作手順について説明する。図７は、本実施の形態の映像処理装置と映像表示装置との動作手順の一例を説明するシーケンス図である。

【0068】

映像処理装置２は、利用可能な通信帯域に応じた高画質エリアおよび低画質エリアの指定および各エリアの画質の設定をメモリ２４から取得し（ステップＳ３０１）、映像表示装置３に通信開始を要求する（ステップＳ３０２１）。映像表示装置３は、映像処理装置２にステップＳ３０２１の処理に基づく通信開始の要求に応答を送信する（ステップＳ３０２２）。映像処理装置２は、映像表示装置３から、ステップＳ３０２１の処理に基づく通信開始の要求に応じた旨の信号を取得する。なお、ステップＳ３０２１の通信開始の要求を映像表示装置３から映像処理装置２に要求し、ステップＳ３０２２の通信開始の要求に応答を映像処理装置２が映像表示装置３に送信しても良い。

【0069】

映像処理装置２のカメラ２３は、設置場所の周辺映像を撮像する（ステップＳ３０３）。カメラ２３は、撮像した映像データを映像処理部２２Ａに出力する。映像処理部２２Ａは、複数の撮像データを用いて、複数のカメラ２３の設置エリアの第１の映像データを生成する。映像処理部２２Ａは、撮像した映像データを画質制御部２２Ｃに出力する。

【0070】

映像処理装置２の帯域推定部２２Ｂは、容量の大きい信号（例えば、１Ｍｂｐｓの信号）を映像表示装置３に送信する（ステップＳ３０３１）。映像表示装置３は、ステップＳ３０３１の処理で送信された信号を測定し映像処理装置２に送信する（ステップＳ３０３２）。映像処理装置２の帯域推定部２２Ｂは、ステップＳ３０３２の処理で取得した信号を基に通信帯域を推定する（ステップＳ３０４）なお、通信帯域の推定方法は一例でありこれに限られない。帯域推定部２２Ｂは、推定した通信帯域の結果を画質制御部２２Ｃに出力する。

【0071】

映像処理装置２は、映像表示装置３にユーザの視線の方向を検出することを要求する（ステップＳ３０５１）。映像表示装置３の視線方向検出部３２Ｂは、ユーザの視線の方向を検出する（ステップＳ３０５）。映像表示装置３は、ステップＳ３０５の処理で検出された視線の方向の検出結果を映像処理装置２に送信する（ステップＳ３０５２）。映像処理装置２は、映像表示装置３から視線の方向の検出結果を取得する。なお、映像表示装置３は、ディスプレイ３３にユーザに視点を選択することを促す画面を表示させ、視点に関する情報を取得してもよい。この場合、映像表示装置３は、画質制御部２２Ｃに視点に関する情報を送信し、画質制御部２２Ｃは、視点に関する情報を取得する。

【0072】

画質制御部２２Ｃは、取得した視線の方向に係る情報と推定された通信帯域の結果に基づき、視線を中心とした各エリア（高画質エリアおよび低画質エリア）の面積および画質を設定する（ステップＳ３０６）。画質制御部２２Ｃは、映像処理部２２Ａから取得した第１の映像データから、設定された各エリア（高画質エリアおよび低画質エリア）の面積および画質を用いて、高画質エリアの映像（言い換えると、ユーザが見ている方向に応じて第１の映像データから切り出した第２の映像データ）と低画質エリアの映像とを生成する。

【0073】

映像処理装置２の画質制御部２２Ｃは、ステップＳ３０６の処理で行った設定に応じた各映像（高画質エリアの映像および低画質エリアの映像）を映像表示装置３の映像表示部３２Ａに送信する（ステップＳ３０７２）。映像表示装置３の映像表示部３２Ａは、取得した各映像（視線方向を中心とした領域の映像）をディスプレイ３３に表示させる。映像表示装置３のディスプレイ３３は、視線方向を中心とした領域の映像を表示する（ステップＳ３０８）。

【0074】

映像表示システム１は、ステップＳ３０８の処理が終わると、映像処理装置２が映像表示装置３との通信を終了すると判定するまで、ステップＳ３０３の処理からステップＳ３０８までの処理を繰り替えし行う。

【0075】

映像処理装置２は、映像表示装置３との通信を終了すると判定すると、映像表示装置３に通信終了を要求する（ステップＳ３１０１）。映像表示装置３は、ステップＳ３１０１の処理に基づく通信終了の要求に応答する旨の信号を映像処理装置２に送信する（ステップＳ３１０２）。なお、ステップＳ３１０１の通信を終了する判定、映像処理装置２への通信終了の要求を映像表示装置３が行い、ステップＳ３１０２の通信終了の要求に応答する旨の信号を映像処理装置２が映像表示装置３に送信してもよい。

【0076】

映像処理装置２のカメラ２３は、撮像を終了する（ステップＳ３１１）。

【0077】

次に、図８を参照して、利用可能な通信帯域と高画質エリアの面積もしくは視点の数との関係を説明する。図８は、利用可能な通信帯域と高画質エリアの面積もしくは視点の数との関係を表した図である。なお、図８、９および１０に示された（１）および（２）は同一のケースを表し、同じ符合は同じ値を表している。

【0078】

図８に示したグラフの縦軸は、高画質エリアの面積もしくは視点の数を表す。縦軸に示されたａは、縦軸に示されたｂよりも小さい値となる。図８に示したグラフの横軸は、利用可能な通信帯域を表す。横軸に示されたＸは、横軸に示されたＹよりも小さい値となる。

【0079】

まず（１）の場合の波形ＷＶ１について説明する。波形ＷＶ１において、利用可能な通信帯域が増加した場合Ｘまでは高画質エリアの面積または視点の数は一定値ａとなる。利用可能な通信帯域がＸとなると、高画質エリアの面積または視点の数は、階段状に増加しａとｂの間の値となる。利用可能な通信帯域がＸからＹまでの間は、高画質エリアの面積または視点の数はａとｂの間の値で一定値となる。利用可能な通信帯域Ｙとなると、高画質エリアの面積または視点の数は階段状に増加しｂとなる。

【0080】

一方（２）の場合の波形ＷＶ２では、利用可能な通信帯域が増加しても、高画質エリアの面積または視点の数は一定の値となる。

【0081】

次に図９を参照して、利用可能な通信帯域と高画質エリアの画質との関係を説明する。図９は、利用可能な通信帯域と高画質エリアの画質との関係を表した図である。

【0082】

図９に示したグラフの縦軸は、高画質エリアの画質を表す。図９に示したグラフの横軸は、利用可能な通信帯域を表す。縦軸に示されたｃは、縦軸に示されたｄよりも小さい値となる。

【0083】

まず（２）の場合の波形ＷＶ３について説明する。波形ＷＶ３おいて、利用可能な通信帯域が増加した場合Ｘまでは高画質エリアの画質は一定値ｃとなる。利用可能な通信帯域がＸとなると、高画質エリアの画質は、階段状に増加しｃとｄの間の値となる。利用可能な通信帯域がＸからＹまでの間は、高画質エリアの画質はｃとｄの間の値で一定値となる。利用可能な通信帯域Ｙとなると、高画質エリアの画質は階段状に増加しｄとなる。

【0084】

一方（１）の場合の波形ＷＶ４では、利用可能な通信帯域が増加しても、高画質エリアの画質は一定の値となる。

【0085】

次に、図１０を参照して、利用可能な通信帯域と低画質エリアの画質との関係を説明する。図１０は、利用可能な通信帯域と低画質エリアの画質との関係を表した図である。

【0086】

図１０に示したグラフの縦軸は、低画質エリアの画質を表す。図１０に示したグラフの横軸は、利用可能な通信帯域を表す。縦軸に示されたｃ’、ｃ、ｄ’およびｄの値の大きさの関係は、ｃ’が一番小さく、ｃがｃ’より大きく、ｄが一番大きくｄ’がｄより小さい値となる。なお、図１０ではｃよりｄ’が大きな値となっているがｃよりｄ’が小さな値となることもある。つまり、高画質エリアの画質ｃより低画質エリアのｄ’を小さな値とすることもある。

【0087】

まず（２）の場合の波形ＷＶ５について説明する。波形ＷＶ５おいて、利用可能な通信帯域が増加した場合Ｘまでは低画質エリアの画質は一定値ｃ’となる。利用可能な通信帯域がＸとなると、低画質エリアの画質は、階段状に増加しｃ’とｄ’の間の値となる。利用可能な通信帯域がＸからＹまでの間は、低画質エリアの画質はｃ’とｄ’の間の値で一定値となる。利用可能な通信帯域Ｙとなると、高画質エリアの画質は階段状に増加しｄ’となる。なお、低画質エリアは画質を小さな値とする以外にも静止画像や無画像とすることもできる。

【0088】

一方（１）の場合の波形ＷＶ６では、利用可能な通信帯域が増加しても、低画質エリアの画質は一定の値となる。

【0089】

図８から図１０に示された（１）のケースについて説明する。（１）のケースでは、利用可能な通信帯域が増加し通信帯域の結果が第１の所定値より広い広帯域となった場合に、高画質エリアおよび低画質エリアの画質は変更しない（図９および図１０参照）。一方、高画質エリアの面積を広げるもしくは視点の数を増やす（図８参照）。

【0090】

これはユーザの視線の変更量が大きい場合に用いられ、映像表示システム１はより広いエリア画質を高画質とすることができる。また、これはユーザの視点の変更量が大きい場合に用いられ、映像表示システム１は多くの視点に対応する映像を高画質とすることができる。

【0091】

図８から図１０に示された（２）のケースについて説明する。（２）のケースでは、利用可能な通信帯域が増加し通信帯域の結果が第１の所定値より広い広帯域となった場合に、高画質エリアの面積または視点の数は変更しない（図８参照）。一方、高画質エリアおよび低画質エリアの両方もしくはどちらか一方の画質を向上させていく（図９および図１０参照）。

【0092】

これはユーザの視線の変更量が小さい場合に用いられ、映像表示システム１は現在ユーザが視聴している映像の画質を向上させることができる。また、これはユーザの視点の変更量が小さい場合に用いられ、映像表示システム１は現在のユーザの視点に基づいた映像の画質を向上させることができる。

【0093】

このように、映像表示システム１は、ユーザの視線の動き、または視点の変化量に応じてユーザにとって最適と推測される画質の制御を行うことができる。

【0094】

なお、映像表示システム１は、高画質エリアの面積および低画質エリアの面積は変更せず高画質エリアの画質だけを向上させてもよい。

【0095】

また、映像表示システム１は、低画質エリアの画質は変更せず、高画質エリアの面積を広くし、高画質エリアの画質を向上させてもよい。

【0096】

また、映像表示システム１は、高画質エリアの画質（または面積）に予め上限を設けておき、上限に到達するまでは画質（または面積）を向上させていき、上限に到達した後は他の条件を改善させていってもよい。

【0097】

また、映像表示システム１は、図８、図９および図１０に係るグラフを階段状ではなく直線的に変化させてもよい。

【0098】

次に、図１１を参照して、通信帯域が広くなった場合の映像コンテンツ解析による制御例を説明する。図１１は、通信帯域が広くなった場合の映像コンテンツ解析による制御例を表す図である。なお、図１１および図１２のパターン（１）は図８、９および１０の（１）と紐づけられている。また、図１１および図１２のパターン（２）は図８、９および１０の（２）と紐づけられている。

【0099】

パターン（１）は、注目される被写体の動きが速いケースである。パターン（１）では、視線の変更量または視点の切替頻度が大きいと想定される。そのため、利用可能な通信帯域が広くなった場合、映像表示システム１は高画質エリアの面積は広げて、高画質エリアおよび低画質エリアの画質は変更しない。つまり、映像処理装置２は、通信帯域の結果が第１の所定値より広い広帯域であり、かつユーザの見ている方向の変化量が第２の所定値より大きい場合、高画質エリアの面積を拡張する。

【0100】

パターン（２）は、注目される被写体の動きが遅いケースである。パターン（２）は、視線の変更量または視点の切替頻度が大きいと想定される。そのため、利用可能な通信帯域が広くなった場合、映像表示システム１は高画質エリアの面積は変更せず、高画質エリアおよび低画質エリアの画質を向上させる。つまり、映像処理装置２は、通信帯域の結果が第１の所定値より広い広帯域であり、かつユーザの見ている方向の変化量が第２の所定値以下の場合、高画質エリアおよび低画質エリアの両方もしくはどちらか一方の画質を向上させる。

【0101】

このように、映像表示システム１は注目される被写体の動きに対応して、高画質エリアの設定および画質の制御を行うことができる。

【0102】

次に、図１２を参照して、通信帯域が広くなった場合の、視聴側の視線移動もしくは視点切替解析による制御例を説明する。図１２は、通信帯域が広くなった場合の、視聴側の視線移動もしくは視点切替解析による制御例を表した図である。

【0103】

パターン（１）は、視聴側の視線の移動量が大きいまたは視点の切替の頻度が多い場合のケースである。パターン（１）では、高画質エリアの面積を広げて、高画質エリアおよび低画質エリアの画質は変更しない。

【0104】

パターン（２）は、視聴側の視線の移動量が小さいまたは視点の切替の頻度が少ない場合のケースである。パターン（２）では、高画質エリアの面積は変更せず、高画質エリアの画質および低画質エリアの画質は向上させる。

【0105】

次に、図１３を参照して、全天球映像の高画質エリアと低画質エリアとの概念を説明する。図１３は、全天球映像の高画質エリアと低画質エリアとを表した図である。

【0106】

図１３は、図２に係る合成映像４０を天頂方向から見た場合の断面図を表している。

【0107】

人物ｈｍ１は、例えばヘッドマウントディスプレイを装着し合成映像４０を視聴している人物である。人物ｈｍ１から伸びる点線の矢印は、人物ｈｍ１の視線の方向を表す。

【0108】

エリアＲＥ１は、合成映像４０の中で、高画質で表示されるエリア（つまり、高画質エリア）である。エリアＲＥ１は、人物ｈｍ１の視線の方向に基づきプロセッサ２２によって自動で設定される。例えば、プロセッサ２２は、人間の視野に対する部分を高画質エリアにしてもよいし、人間の視野に所定の角度加えた角度で人物ｈｍ１の視線を中心とした部分を高画質エリアにしてもよい。上述した所定の角度とは、例えば６０度などである。なお、これは一例であり限定されない。

【0109】

エリアＲＥ２は、合成映像４０の中で、低画質で表示されるエリア（つまり、低画質エリア）である。エリアＲＥ２は、人物ｈｍ１の視線の方向に基づきプロセッサ２２によって自動で設定される。

【0110】

図１３に示した合成映像４０は、人物ｈｍ１の視線を中心としておよそ２４０度の範囲が高画質エリアのエリアＲＥ１となっている。合成映像４０の中で、高画質エリア以外のおよそ１２０度の範囲が低画質エリアとなっている。人物ｈｍ１の視野よりも広いエリアが高画質エリアとなっているため、人物ｈｍ１が視線を多少動かしたとしても（例えば、左右にそれぞれ５０度程度）、人物ｈｍ１は高画質な映像を見ることができる。

【0111】

図１３に示したエリアＲＥ１の面積および画質と、エリアＲＥ２の面積および画質とは、図１１および図１２で示したパターン（１）および（２）のようにプロセッサ２２によって制御されてもよい。

【0112】

次に、図１４を参照して、全周囲映像の各視点の高画質エリアと低画質エリアとの概念を説明する。図１４は、全周囲映像の各視点の高画質エリアと低画質エリアとを表した図である。

【0113】

図１４は、図４に係る合成映像５０を人物ｈｍ３の頭上から見た場合の断面図を表している。

【0114】

人物ｈｍ３は、複数存在する視点の中でｎ番目の視点（以下、ｎ番目の視点のことを視点ｎと称する。なお、ｎ－１番目およびｎ＋１番目の視点についても同様である。）からの映像を視聴している。人物ｈｍ３から伸びる直線は、人物ｈｍ３の視野を表す。

【0115】

エリアＲＥ３は、視点ｎに係る映像を人物ｈｍ３が視聴する場合の、人物ｈｍ３の視野に対応するエリアである。

【0116】

エリアＲＥ４は、視点ｎ＋１に係る映像を人物ｈｍ３が視聴する場合の、人物ｈｍ３の視野に対するエリアである。

【0117】

エリアＲＥ５は、視点ｎ－１に係る映像を人物ｈｍ３が視聴する場合の、人物ｈｍ３の視野に対するエリアである。

【0118】

人物ｈｍ３が視点ｎに係る映像を視聴する場合、エリアＲＥ３を高画質エリアとする。通信帯域が所定の値より小さい場合には、視点ｎの隣の視点である視点ｎ＋１のエリアＲＥ４と視点ｎ－１のエリアＲＥ５とは低画質エリアとする。この場合、人物ｈｍ３が視点を隣の視点に変更をした後に低画質エリアの画質を高画質に変更するので処理に時間がかかってしまう。

【0119】

一方、通信帯域が所定の値より大きい場合には、視点ｎの隣の視点である視点ｎ＋１のエリアＲＥ４と視点ｎ－１のエリアＲＥ５とも高画質エリアとする。この場合、人物ｈｍ３が視点を隣の視点に変更しても、隣の視点に係る視聴エリア（エリアＲＥ４またはエリアＲＥ５）は既に高画質であるため、人物ｈｍ３はスムーズな視点移動が可能となる。

【0120】

また、通信帯域がさらに広い場合に、視点ｎ＋１および視点ｎ－１の視点のさらに外側の複数の視点に係る映像を高画質で送信することができる。この場合、人物ｈｍ３は、より多くの視点にスムーズに変更することが可能となる。

【0121】

高画質とする視点の数と高画質エリアおよび低画質エリアの画質とは、図１１および図１２で示したパターン（１）および（２）のようにプロセッサ２２によって制御されてもよい。ここで、図１１および図１２の高画質エリアの面積を拡げることは、高画質で送信する視点の数を増やすことに対応する。

【0122】

以上により、映像表示システム１は、複数のカメラにより撮像された複数の撮像データを保持する映像処理装置２と、映像処理装置２と通信可能に接続された映像表示装置３と、を備える。映像処理装置２は、複数の撮像データを用いて、複数のカメラの設置エリアの第１の映像データを生成する。映像処理装置２は、映像表示装置３との通信帯域を推定し、映像表示装置３からユーザが見ている方向を取得する。映像処理装置２は、第１の映像データから、ユーザが見ている方向と通信帯域の推定結果とに応じた第２の映像データを生成し、生成された第２の映像データを映像表示装置３に送信する。

【0123】

これにより、映像表示システム１は、リアルタイムの通信帯域の推定結果を考慮してユーザの視野方向内および視野方向外の映像の画質を適切に決定し、通信環境に応じた映像を提供することができる。

【0124】

また、映像処理装置２は、映像表示装置３から取得したユーザが見ている方向を基に、第２の映像データに高画質エリアと高画質エリア外である低画質エリアとを指定し、通信帯域の推定結果を基に、高画質エリアおよび低画質エリアの画質を制御する。これにより、映像表示システム１は、リアルタイムの通信帯域の推定結果を考慮してユーザの視野方向内および視野方向外の映像の画質を適切に決定し、通信環境に応じた映像を提供することができる

【0125】

また、映像処理装置２は、通信帯域の推定結果が第１の所定値より広い広帯域である場合、高画質エリアおよび前記低画質エリアの両方もしくはどちらか一方の画質を向上させる。これにより、映像表示システム１は、リアルタイムの通信帯域が広帯域であると推定される場合、より高画質の映像を提供することができる。

【0126】

また、映像処理装置２は、前記通信帯域の推定結果が第１の所定値より広い広帯域であり、かつ前記ユーザの見ている前記方向の変化量が第２の所定値以下の場合、前記高画質エリアおよび前記低画質エリアの両方もしくはどちらか一方の画質を向上させる。これにより、映像表示システム１は、ユーザの見ている方向の変化量が少ない場合には、映像データの画質を向上させることでユーザの映像に対する没入感を向上させることができる。

【0127】

また、映像処理装置２は、映像表示装置３から取得したユーザが見ている方向を基に、第２の映像データに高画質エリアと高画質エリア外である低画質エリアとを指定し、通信帯域の推定結果を基に、高画質エリアの面積を制御する。これにより、映像表示システム１は、通信帯域がより広帯域になった場合には、より広い面積のエリアを高画質エリアとすることができる。これにより、映像表示システム１は、ユーザが見ている方向の変化量に応じて高画質エリアの面積を制御することができる。

【0128】

また、映像処理装置２は、通信帯域の推定結果が第１の所定値より広い広帯域である場合、高画質エリアの面積を拡張する。これにより、映像表示システム１は、通信帯域の変化に対応して高画質エリアの面積を広げるように制御することができ、ユーザの見ている方向の変化量に応じた最適と推測される画質の映像を映像表示装置３に表示させることができる。

【0129】

また、映像処理装置２は、通信帯域の推定結果が第１の所定値より広い広帯域であり、かつユーザの見ている方向の変化量が第２の所定値より大きい場合、高画質エリアの面積を拡張する。これにより、映像表示システム１は、ユーザの見ている方向の変化量の多い場合には、高画質エリアの面積を拡張することで、ユーザの映像に対する没入感を向上させることができる。

【0130】

また、本実施の形態に係る第１の映像データは、複数の異なる視野方向を撮像可能な前記複数のカメラの設置エリアの周囲の３６０度の範囲を有する全天球映像データである。これにより、映像表示システム１は、全天球映像データを生成することでユーザが実世界と見る風景と同じような映像を映像表示装置３に表示することができる。

【0131】

また、本実施の形態に係る第１の映像データは、同一の被写体がその被写体を囲んで複数の異なる場所に設置された複数のカメラを用いて撮像され、複数のカメラのそれぞれの視野範囲に対応する視点からみた同一の被写体の映像を有する全周囲映像データである。これにより、映像表示システム１は、全周囲映像データを生成することで様々な視点から同一の場面を見た場合の映像を映像表示装置３に表示することができる。

【0132】

また、本実施の形態に係る画質とは、解像度、フレームレートおよび誤り訂正符号化量のうち少なくとも１つである。これにより、映像表示システム１は、解像度、フレームレートまたは誤り訂正符号化量を制御することで画質を制御することができる。

【0133】

以上、添付図面を参照しながら実施の形態について説明したが、本開示はかかる例に限定されない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例、修正例、置換例、付加例、削除例、均等例に想到し得ることは明らかであり、それらについても本開示の技術的範囲に属すると了解される。また、発明の趣旨を逸脱しない範囲において、上述した実施の形態における各構成要素を任意に組み合わせてもよい。

【産業上の利用可能性】

【0134】

本開示の技術は、リアルタイムの通信帯域の推定結果を考慮してユーザの視野方向内および視野方向外の映像の画質を適切に決定し、通信環境に応じた映像を提供する映像表示システムおよび映像表示方法として有用である。

【符号の説明】

【0135】

１ 映像表示システム
２ 映像処理装置
３ 映像表示装置
４ 通信環境
２１，３１ 通信Ｉ／Ｆ
２２，３２ プロセッサ
映像処理部 ２２Ａ
帯域推定部 ２２Ｂ
画質制御部 ２２Ｃ
２３，２０２ カメラ
２３Ａ 全天球カメラ
２３Ｂ 全周囲カメラ
２４，３４ メモリ
３２Ａ 映像表示部
３２Ｂ 視線方向検出部３２Ｂ
３３ ディスプレイ
４０，５０ 合成映像
４１，５１ 部分映像
４３ 部分風景
２００ａ，２００ｂ，２０２ａ レンズ
３００ 携帯端末
３０１ ヘッドマウントディスプレイ
３０２ 無線通信
ｈｍ１，ｈｍ２，ｈｍ３ 人物
ＷＶ１，ＷＶ２，ＷＶ３，ＷＶ４，ＷＶ５，ＷＶ６ 波形
ＲＥ１，ＲＥ２，ＲＥ３，ＲＥ４，ＲＥ５ エリア

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】