特許 7586416 画像領域生成システム及びプログラム、画像領域表示装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-11-11

(45)【発行日】2024-11-19

(54)【発明の名称】画像領域生成システム及びプログラム、画像領域表示装置

(51)【国際特許分類】

   H04N 7/18 20060101AFI20241112BHJP

   H04N 21/431 20110101ALI20241112BHJP

   H04N 21/231 20110101ALI20241112BHJP

   G09G 5/00 20060101ALI20241112BHJP

   G09G 5/37 20060101ALI20241112BHJP

   G09G 5/36 20060101ALI20241112BHJP

   G09G 5/373 20060101ALI20241112BHJP

【ＦＩ】

H04N7/18 U

H04N21/431

H04N21/231

G09G5/00 550C

G09G5/37 320

G09G5/00 510B

G09G5/00 510Q

G09G5/00 510V

G09G5/00 555D

G09G5/36 400

G09G5/373

【請求項の数】 9

(21)【出願番号】P 2023541929

(86)(22)【出願日】2023-06-20

(86)【国際出願番号】 JP2023022776

(87)【国際公開番号】W WO2023249015

(87)【国際公開日】2023-12-28

【審査請求日】2024-04-02

(31)【優先権主張番号】P 2022102239

(32)【優先日】2022-06-24

(33)【優先権主張国・地域又は機関】JP

【早期審査対象出願】

(73)【特許権者】

【識別番号】515244276

【氏名又は名称】株式会社 映像システム

(74)【代理人】

【識別番号】100120868

【弁理士】

【氏名又は名称】安彦 元

(72)【発明者】

【氏名】高野 隆児

(72)【発明者】

【氏名】坂本 和彦

(72)【発明者】

【氏名】友末 治

【審査官】秦野 孝一郎

(56)【参考文献】

【文献】国際公開第２０１７／１８７８２１（ＷＯ，Ａ１）

【文献】特開２０１３－２５０４５１（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ７／１８

Ｈ０４Ｎ ２１／００－２１／８５８

Ｇ０９Ｇ ５／００－５／４２

(57)【特許請求の範囲】

【請求項1】

空間を包囲する矩形状の各面に表示する画像領域を生成する画像領域生成システムにおいて、
動画像を取得する動画像取得手段と、
上記空間内に設置された撮像装置により撮像された各面の画像に基づいて、上記各面間の縦横のサイズ比率を判別する判別手段と、
上記動画像取得手段により取得された動画像を構成する各静止画像について、上記各面の配置関係、及び上記判別手段により判別された上記各面間の縦横のサイズ比率に基づいて、当該各面に割り当てるべき複数の画像領域に切り出す画像領域切出手段と、
上記画像領域切出手段により切り出された各画像領域を上記各面に対して割り当てる割当手段と、
上記各面に画像領域を表示するための各表示装置に対して、上記割当手段により割り当てられた各画像領域を含むデータを互いに異なるチャネルで送信するデータ送信手段とを備え、
上記データ送信手段は、送信するデータの上記各画像領域間において互いに時系列的な同期を取るための調整を行うこと
を特徴とする画像領域生成システム。

【請求項2】

上記データ送信手段により送信された上記データに含まれる上記画像領域を各面に表示する表示装置を更に備えること
を特徴とする請求項１記載の画像領域生成システム。

【請求項3】

上記動画像取得手段は、全方向撮像装置により撮像された上記動画像を取得すること
を特徴とする請求項１又は２記載の画像領域生成システム。

【請求項4】

上記画像領域切出手段は、上記各面間の縦横のサイズ比率に基づいて、当該各面に割り当てるべき画像領域を切り出すこと
を特徴とする請求項１記載の画像領域生成システム。

【請求項5】

上記画像領域切出手段は、上記切り出された各画像領域が矩形状となるように調整すること
を特徴とする請求項４記載の画像領域生成システム。

【請求項6】

上記画像領域切出手段は、静止画像から切り出した各画像領域に対して時系列識別情報を順次付与し、
上記割当手段は、各画像領域に対して付与された時系列識別情報に基づいて同期を取るための調整を行うこと
を特徴とする請求項１記載の画像領域生成システム。

【請求項7】

上記表示装置は、上記各画像領域を上記各面に投影表示する投影表示装置からなり、
上記画像領域切出手段は、更に上記投影表示装置の配置関係、又は各面に対する上記各投影表示装置の投影方向及び画角に基づいて、当該各面に割り当てるべき画像領域を切り出すこと
を特徴とする請求項２記載の画像領域生成システム。

【請求項8】

空間を包囲する矩形状の各面に画像領域を表示する画像領域表示空間において、
空間を包囲する矩形状の各面と、
動画像を取得する動画像取得手段と、
上記空間内に設置された撮像装置により撮像された各面の画像に基づいて上記各面間の縦横のサイズ比率を判別する判別手段と、
上記動画像取得手段により取得された動画像を構成する各静止画像について、上記各面の配置関係、及び上記判別手段により判別された上記各面間の縦横のサイズ比率に基づいて、当該各面に割り当てるべき複数の画像領域に切り出す画像領域切出手段と、
上記画像領域切出手段により切り出された各画像領域を上記各面に対して割り当てる割当手段と、
上記各面に画像領域を表示するための各表示装置に対して、上記割当手段により割り当てられた各画像領域を含むデータを互いに異なるチャネルで送信するデータ送信手段とを備え、
上記データ送信手段は、送信するデータの上記各画像領域間において互いに時系列的な同期を取るための調整を行うこと
を特徴とする画像領域表示装置。

【請求項9】

空間を包囲する矩形状の各面に表示する画像領域を生成する画像領域生成プログラムにおいて、
動画像を取得する動画像取得ステップと、
上記空間内に設置された撮像装置により撮像された各面の画像に基づいて、上記各面間の縦横のサイズ比率を判別する判別ステップと、
上記動画像取得ステップにより取得された動画像を構成する各静止画像について、上記各面の配置関係、及び上記判別ステップにより判別された上記各面間の縦横のサイズ比率に基づいて、当該各面に割り当てるべき複数の画像領域に切り出す画像領域切出ステップと、
上記画像領域切出ステップにおいて切り出した各画像領域を上記各面に対して割り当てる割当ステップと、
上記各面に画像領域を表示するための各表示装置に対して、上記割当ステップにおいて割り当てた各画像領域を含むデータを互いに異なるチャネルで送信するデータ送信ステップとを有し、
上記データ送信ステップでは、送信するデータの上記各画像領域間において互いに時系列的な同期を取るための調整を行うこと
を特徴とする画像領域生成プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、空間を包囲する矩形状の各面に表示する画像領域を生成する画像領域生成システム及びプログラム、画像領域表示装置に関するものである。

【背景技術】

【0002】

近年において、オンライン上に構築された三次元の仮想空間内に、ユーザ自らが操作する操作キャラクター（アバター）が自由に活動できるようにしたサービスが普及しつつある。このサービスでは、ゲームや観光等の娯楽、商品やサービスの売買等のような経済活動も行うことができ、仮想空間を一つの生活空間として様々な活動を行うことが可能となっている。中でもＶＲ（Virtual Reality）、ＡＲ（Augmented Reality）の技術の向上に伴い、ユーザはより現実に近い仮想空間を体験できるようになっており、今後のサービス需要は急激に増加するものと想定されている。

【0003】

仮想空間を利用したサービスを利用する上で、ユーザは、眼鏡型又はゴーグル型の頭部装着型映像表示装置を頭部に装着する。このような頭部装着型映像表示装置には、動きセンサーやマイク等が内蔵されており、ユーザの動きや音声に応じて、表示する映像を自在に切り替えることができるようになっている。これにより、ユーザは、この頭部装着型映像表示装置を介して仮想空間におけるアバターを自由に移動させ、自由に視線を動かすことができ、様々なサービスを楽しむことができる。

【0004】

しかしながら、上述した従来の仮想空間を利用したサービスは、ユーザは頭部装着型映像表示装置を都度装着する必要があり、その装着に伴う圧迫感や煩わしさ、装着の手間の軽減要請に応える必要があった。また頭部装着型映像表示装置を介して視覚から得る情報と現実の体が受け取る情報のズレから生じる、いわゆるＶＲ酔い等のような身体に与える影響に関する問題点もあった。これに加えて、各ユーザに対して個別に頭部装着型映像表示装置を装着させて独立して映像を視聴するのではなく、一つの仮想空間内において全方向の映像を多人数で同時に共有して視聴したいという要望も高まっていた。

【0005】

従来においては、例えば特許文献１に示すように頭部装着型映像表示装置を装着することなく、仮想空間内に全方向の映像を表示する方法も提案されている。しかしながら、実際に様々な動画像のコンテンツや、全方向撮像装置により撮像された動画像を、具体的にいかなる方法で仮想空間内に向けて高速に伝送し、いかにして臨場感を持たせて表示をするかについて言及が無い。また、提供可能な仮想空間を構成する各面は、様々な縦横のサイズ比率を以って構成されるが、このような様々なサイズ比率から面で構成される仮想空間の形状に応じて、臨場感を持たせた画像領域を臨機応変に作り出す技術自体も未だ提案されていないのが現状であった。

【先行技術文献】

【特許文献】

【0006】

【文献】特開２０２１－１７７５８７号公報

【発明の概要】

【発明が解決しようとする課題】

【0007】

そこで、本発明は、上述した問題点に鑑みて案出されたものであり、その目的とするところは、空間を包囲する矩形状の各面に表示する画像領域を生成する上で、ユーザに対して頭部装着型映像表示装置を都度装着させることなく、仮想空間内であたかもユーザ自身がその場に現実に居るような臨場感を体感することができ、しかも複数人が一つの仮想空間内において全方向の映像を多人数で同時に共有して視聴することでき、更には全方向撮像装置により撮像された動画像を、仮想空間内に向けて高速に伝送して臨場感を持たせて表示することが可能な画像領域生成システム及びプログラム、画像領域表示装置を提供することにある。また、本発明は、様々なサイズ比率から面で構成される仮想空間の形状に応じて、臨場感を持たせた画像領域を臨機応変に作り出すことができる画像領域生成システム及びプログラム、画像領域表示装置を提供することにある。

【課題を解決するための手段】

【0008】

本発明者らは、上述した課題を解決するために、取得した動画像を構成する各静止画像について、上記各面の配置関係に応じて複数の画像領域に切り出し、切り出した各画像領域を上記各面に対して割り当て、各面に画像領域を表示するための各表示装置に対して、割り当てた各画像領域を含むデータを互いに異なるチャネルで送信する上で、送信するデータの上記各画像領域間において互いに時系列的な同期を取るための調整を行う画像領域生成システム及びプログラムを発明した。

【0009】

第１発明に係る画像領域生成システムは、空間を包囲する矩形状の各面に表示する画像領域を生成する画像領域生成システムにおいて、動画像を取得する動画像取得手段と、上記空間内に設置された撮像装置により撮像された各面の画像に基づいて、上記各面間の縦横のサイズ比率を判別する判別手段と、上記動画像取得手段により取得された動画像を構成する各静止画像について、上記各面の配置関係、及び上記判別手段により判別された上記各面間の縦横のサイズ比率に基づいて、当該各面に割り当てるべき複数の画像領域に切り出す画像領域切出手段と、上記画像領域切出手段により切り出された各画像領域を上記各面に対して割り当てる割当手段と、上記各面に画像領域を表示するための各表示装置に対して、上記割当手段により割り当てられた各画像領域を含むデータを互いに異なるチャネルで送信するデータ送信手段とを備え、上記データ送信手段は、送信するデータの上記各画像領域間において互いに時系列的な同期を取るための調整を行うことを特徴とする。

【0010】

第２発明に係る画像領域生成システムは、第１発明において、上記データ送信手段により送信された上記データに含まれる上記画像領域を各面に表示する表示装置を更に備えることを特徴とする。

【0011】

第３発明に係る画像領域生成システムは、第１発明又は第２発明において、上記動画像取得手段は、全方向撮像装置により撮像された上記動画像を取得することを特徴とする。

【0012】

第４発明に係る画像領域生成システムは、第１発明において、上記画像領域切出手段は、上記各面間の縦横のサイズ比率に基づいて、当該各面に割り当てるべき画像領域を切り出すことを特徴とする。

【0013】

第５発明に係る画像領域生成システムは、第４発明において、上記画像領域切出手段は、上記切り出された各画像領域が矩形状となるように調整することを特徴とする。

【0015】

第６発明に係る画像領域生成システムは、第１発明において、上記画像領域切出手段は、静止画像から切り出した各画像領域に対して時系列識別情報を順次付与し、上記割当手段は、各画像領域に対して付与された時系列識別情報に基づいて同期を取るための調整を行うことを特徴とする。

【0016】

第７発明に係る画像領域生成システムは、第２発明において、上記表示装置は、上記各画像領域を上記各面に投影表示する投影表示装置からなり、上記画像領域切出手段は、更に上記投影表示装置の配置関係、又は各面に対する上記各投影表示装置の投影方向及び画角に基づいて、当該各面に割り当てるべき画像領域を切り出すことを特徴とする。

【0017】

第８発明に係る画像領域表示装置は、空間を包囲する矩形状の各面に画像領域を表示する画像領域表示空間において、空間を包囲する矩形状の各面と、動画像を取得する動画像取得手段と、上記動画像取得手段により取得された動画像を構成する各静止画像について、上記各面の配置関係に応じて複数の画像領域に切り出す画像領域切出手段と、上記画像領域切出手段により切り出された各画像領域を上記各面に対して割り当てる割当手段と、上記各面に画像領域を表示するための各表示装置に対して、上記割当手段により割り当てられた各画像領域を含むデータを互いに異なるチャネルで送信するデータ送信手段とを備え、上記データ送信手段は、送信するデータの上記各画像領域間において互いに時系列的な同期を取るための調整を行うことを特徴とする。

【0019】

第９発明に係る画像領域生成プログラムは、空間を包囲する矩形状の各面に表示する画像領域を生成する画像領域生成プログラムにおいて、動画像を取得する動画像取得ステップと、上記空間内に設置された撮像装置により撮像された各面の画像に基づいて、上記各面間の縦横のサイズ比率を判別する判別ステップと、上記動画像取得ステップにより取得された動画像を構成する各静止画像について、上記各面の配置関係、及び上記判別ステップにより判別された上記各面間の縦横のサイズ比率に基づいて、当該各面に割り当てるべき複数の画像領域に切り出す画像領域切出ステップと、上記画像領域切出ステップにおいて切り出した各画像領域を上記各面に対して割り当てる割当ステップと、上記各面に画像領域を表示するための各表示装置に対して、上記割当ステップにおいて割り当てた各画像領域を含むデータを互いに異なるチャネルで送信するデータ送信ステップとを有し、上記データ送信ステップでは、送信するデータの上記各画像領域間において互いに時系列的な同期を取るための調整を行うことを特徴とする。

【発明の効果】

【0026】

上述した構成からなる本発明によれば、空間内に観客が入ることにより、各面に表示されている画像領域を鑑賞することができる。この画像領域は、元々全方向動画を６つの面に切り出したものであることから、この空間内の観客は、各面に表示されている画像領域を視認することで、あたかも全方向動画の中心に立っている感覚を楽しむことができる。観客は、各面を視認すると、その視認した面に表示されている画像領域が目に入る。即ち、視認した方向に応じた画像領域が目に入ることから、ＶＲと同様の感覚を得ることができる。しかも、ＶＲを体験する際に必要となる眼鏡型又はゴーグル型の頭部装着型映像表示装置を装着せずに、空間内であたかも観客自身がその場に現実に居るような臨場感を体感することができる。従って、頭部装着型映像表示装置の装着に伴う圧迫感や煩わしさ、装着の手間を無くすことができる。また頭部装着型映像表示装置を介して視覚から得る情報と現実の体が受け取る情報のズレから生じる、いわゆるＶＲ酔い等のような身体に与える影響が及ぶことも無くなる。

【0027】

更に本発明によれば、空間内に同時に複数の観客が入り、共通の画像領域を視認することができ、従来のＶＲでは実現できなかった、一つの仮想空間内において全方向の映像の多人数による同時共有が実現できる。

【0028】

また本発明によれば、各画像領域を互いに異なる通信経路で独立して表示装置に対して伝送することでき、空間に対して高速かつ低コストでコンテンツを提供することが可能となる。しかも各画像領域を互いに異なる通信経路で独立して伝送することにより生じえる、各画像領域間の時系列的な不整合を、同期の調整処理を通じて解消させることができる。

【0029】

更に本発明によれば、ライブ動画、及びアーカイブ動画の少なくとも何れかの動画像と、動画像に対応する音響情報と、動画像及び音響情報の配信を行なう配信先情報と、を取得する。このため、配信先情報に基づいて、複数の画像領域に切り出された各画像領域の特徴、及び空間の特徴を判別し、各面と音響情報を割り当てることができる。これにより、各面に画像領域、音響情報を再生するための各再生装置に対して、各画像領域、音響情報の少なくとも何れかを含むデータを互いに異なるチャネルで送信することができ、一つの仮想空間内において全方向の映像の多人数による動画像と音響情報の同時共有が実現できる。

【0030】

更に本発明によれば、各画像領域の特徴と、空間内の観客の位置、視線、頭部の向き、観客の発する音声の何れか１以上からなる観客情報を抽出する。このため、ライブ動画に対する観客の状態からインタラクティブに各面に対して音響情報を割り当てることができる。これにより、各面に画像領域、音響情報を再生するための各再生装置に対して、各画像領域、音響情報の少なくとも何れかを含むデータを互いに異なるチャネルで送信することができ、一つの仮想空間内において全方向の映像の多人数による動画像と音響情報の同時共有が実現できる。

【図面の簡単な説明】

【0031】

【図1】図１は、本発明を適用した画像領域生成システムの全体構成図を示す図である。

【図2】図２は、矩形状の６つの面により囲まれた空間の斜視図である。

【図3】図３は、複数の表示装置により、互いに共通の面に対して画像を投影表示する例を示す図である。

【図4】図４は、制御装置の詳細なブロック構成図である。

【図5】図５は、画像領域生成システムの各動作を示すフロー図である。

【図6】図６は、全方向動画を構成する静止画像のうち一枚の画像を矩形状の平面に図示した例を示す図である。

【図7】図７は、全方向撮像装置により撮像された全方向動画を構成する各球面画像領域の例を示す図である。

【図8】図８は、全方向動画を構成する構成する静止画像を複数の画像領域に分割する例を示す図である。

【図9】図９は、各面に割り当てられる画像領域について矩形状となるように調整する例を示す図である。

【図10】図１０は、各画像領域のデータが時系列的に連続して表示装置へ送信するイメージを示す図である。

【図11】図１１は、全方向動画から切り出された各画像領域が、各表示装置を介して各面に表示される例を示す図である。

【図12】図１２は、表示装置が画像領域を面に投影表示する投影表示装置からなる場合における画像領域の切り出し方法の例を示す図である。

【発明を実施するための形態】

【0032】

図１は、本発明を適用した画像領域生成システム１の全体構成図を示している。この画像領域生成システム１は、制御装置２を中心とし、これに接続される録画モジュール３を備え、更に制御装置２から通信網５を介して接続される再生装置として映像を表示する表示装置７及び音響を再生する音響装置８と、各種の映像コンテンツや音響ファイル等を記憶する動画像蓄積部９とを備えている。また、この画像領域生成システム１は、更にこの表示装置７及び音響装置８が設けられる空間６も含めるようにしてもよい。空間６は、例えば複数拠点に各々が個別に、あるいは連携するように設置されてもよい。

【0033】

制御装置２は、この画像領域生成システム１の全体を制御する、いわゆる中央制御機器としての役割を担う。この制御装置２は、例えばパーソナルコンピュータ（ＰＣ）として具現化されるが、これに限定されるものではなく、サーバや専用の機器に具現化される場合もあれば、携帯情報端末、或いはタブレット型端末等に具現化されるものであってもよい。

【0034】

録画モジュール３は、現実の事象とは別に、過去の事象に基づく代替映像を予め録画するために使用されるものであり、全方向撮像装置３１とマイク３２とを備えている。

【0035】

全方向撮像装置３１は、撮像装置本体を中心に全ての方向（水平方向に３６０°、鉛直方向に３６０°）を洩れなく同時に撮像可能となるように構成されている。この全方向撮像装置３１により動画を録画することで、全ての方向における動画（以下、全方向動画という。）を漏れなく同時に撮像することができる。このため、例えば、都市空間を撮像する際において、車両や人が移動した場合には、その移動する車両や人を動画像にて時系列的に全方向に亘り録画することができる。また、この全方向撮像装置３１は一か所に固定して全方向動画を連続的に撮像するようにしてもよいが、全方向撮像装置３１自体を無人航空機や車両、ヘリコプター等を始めとする移動体に搭載して全方向動画を録画し続けるようにしてもよい。

【0036】

これにより、あたかもこのような移動体に搭乗しながら全方向を視認している動画像を得ることも可能となる。全方向撮像装置３１により撮像された全方向動画は、制御装置２へと出力される。なお、この全方向撮像装置３１は、制御装置２に対して直接的に接続される場合のみならず、インターネット網やＬＡＮ（Local Area Network）等で構成される図示しない通信網を介して接続されるものであってもよい。

【0037】

マイク３２は、周辺の音声を集音し、音声信号に変換する。このマイク３２は、変換したこの音声信号をインターフェースを介して制御装置２へと送信する。マイク３２は、ライブ映像再生を実現する際に必要となるが、特段必須の構成要素ではなく、省略するようにしてもよい。

【0038】

通信網５は、制御装置２、表示装置７及び映像装置８を通信回線を介して接続されるインターネット網等である。ちなみにこの録画モジュール３、制御装置２、表示装置７及び音響装置８に至るまでを一定の狭いエリア内で運用する場合には、この通信網５を、ＬＡＮで構成してもよい。この通信網５は、有線通信網に限定されるものではなく、無線通信網で実現するようにしてもよい。

【0039】

空間６は、図２に示すように、矩形状の６つの面６１ａ～６１ｆにより囲まれた空間で構成される。この空間６は、例えば部屋等のように４方向の壁面と、天井及び床に相当する各面６１ａ～６１ｆからなる。このとき、空間６は、内部に人が出入りすることができるように図示しない扉が設けられていてもよい。また、空間６は、全てが６つの面６１ａ～６１ｆにより囲まれた完全な閉空間で構成される場合に限定されるものではなく、何れか１以上の面６１を省略した開空間で構成されるものであってもよいし、何れか１以上の面６の更にその一部のみが開放された開空間で構成されるものであってもよい。また空間６の内部は、面６１ａ～６１ｆ以外の様々な形状や凹凸、突起や備品等、様々な構造が施されるものであってもよい。

【0040】

画像領域生成システム１は、生成した動画像と、動画像に対応する音響情報を再生装置により再生する。再生装置は、例えば表示装置７と音響装置８により構成される。表示装置７は、いわゆるプロジェクターのように、画像領域を面に投影表示する投影表示装置で構成されている。この表示装置７は、投影表示装置で構成される場合に限定されるものではなく、例えば液晶ディスプレイ、有機ＥＬディスプレイ、更にはＬＥＤディスプレイ等のように、画像領域を面に表示するためのディスプレイで構成されていてもよい。

【0041】

表示装置７が、例えば音声や音楽等を出力するスピーカー等を備える場合は、音響を再生する装置として機能するようにしてもよい。表示装置７は、各種のスピーカーを備えるほか、例えば表示装置７とは別の音響装置８と連動されてもよい。音響装置８は、例えば音を録音再生する際に、３次元的な音の方向や距離、拡がりなどに基づいて再生する。

【0042】

音響装置８は、例えば音を構成する複数の要素によって、臨場感、立体感ある３Ｄ音響として再生する。複数の要素は、例えば音響装置８と対象（対象者）、あるいは空間内の距離による音量の減衰や両耳間強度差により音源の音像定位などを再現する「音量差」、音波が対象に到達する時間差などにより音源の音像定位などを再現する「時間差」、音波の伝達や遮蔽による周波数特性の変化により音源の音像定位などを再現する「周波数特性の変化」、音波の伝達や遮蔽による位相の変化により音源の音像定位などを再現する「位相の変化」、さらに残響特性により周辺環境の音場などを再現する「残響の変化」等がある。

【0043】

音響装置８は、例えばライブ動画、及びアーカイブ動画などの動画像の種別、撮影情報として、例えば各画像領域の特徴、及び空間内の観客Ｍの位置、視線、頭部の向き、観客Ｍの発する音声などの観客情報などの複数の要素に基づいて、空間６の３次元の空間上の音場を制御するための立体音響（３Ｄ音響）のレンダリング処理を行う。音響装置８は、立体音響のレンダリングの処理では、例えば公知の「特徴予測技術」、「音線法/幾何音響モデリング技術」、「適応矩形分解」等の各種の処理や技術により、例えば公知の特徴予測方式とレイトレース方式により処理を行う。

【0044】

表示装置７及び音響装置８は、それぞれ動画像と音響情報を再生する再生装置として機能する。制御装置２は、制御装置２によって生成された画像領域を、図２に示すように空間６を構成する各面６１ａ～６１ｆに表示装置７を介して表示する。この図２の例での場合には、表示装置７ａ～７ｆについて、例えばプロジェクターとしての投影表示装置で構成し、表示装置７ｇについては、ＬＥＤディスプレイで構成している場合を例にとり説明をする。また、音響装置８について、例えば３Ｄ音響、立体音響を再生する複数のスピーカーユニットとして構成し、空間６の各面の裏（例えば面６１ｂの背面等）に設置される場合を例にとり説明をする。なお、音響装置８は、表示装置７ａ～７ｆにスピーカー等が備わる場合は、それらと合わせて再生されるように構成されてもよい。

【0045】

表示装置７ａは、面６１ａの上端近傍に取り付けられ、この面６１ａに対面する面６１ｃに対して画像を投影表示する。表示装置７ｂは、面６１ｂの上端近傍に取り付けられ、この面６１ｂに対面する面６１ｄに対して画像を投影表示する。表示装置７ｃは、面６１ｂの中段に取り付けられ、また表示装置７ｅは、面６１ｄの中段に取り付けられ、互いに共通の面６１ｅに対して画像を投影表示する。表示装置７ｄは、面６１ｄの上端近傍に取り付けられ、この面６１ｄに対面する面６１ｂに対して画像を投影表示する。表示装置７ｆは、面６１ｃの上端近傍に取り付けられ、この面６１ｃに対面する面６１ａに対して画像を投影表示する。ＬＥＤディスプレイからなる表示装置７ｇは、面６１ｆに画像を表示する。

【0046】

なお、空間６を構成するいかなる面６１に、いかなる表示装置７により画像を表示するかは、上述した例以外のいかなる組み合わせも含まれる。各面６１に対して、一の表示装置７により画像を表示する場合のみならず、複数の表示装置７を組み合わせて表示するようにしてもよい。図３の例では、表示装置７ｃ、表示装置７ｅにより、互いに共通の面６１ｅに対して画像を投影表示する例を示している。即ち、一つの面６１ｅについて領域を半分に区切り、一方の領域を表示装置７ｃにより画像を投影表示し、他方の領域を表示装置７ｅにより画像を投影表示する。他の面６１も同様に領域を区切り、複数の表示装置７に分散させて画像を投影表示するようにしてもよい。この場合、音響装置８は、半分に区切られた面ごとの領域を判別し、それぞれの領域に分散されて表示される画像に応じて、音響情報を再生するようにしてもよい。

【0047】

また音響装置８は、取得した動画像に対応する音響情報を再生する。音響装置８は、例えば切り出された各画像領域の特徴の判別結果に応じて、判別された特徴の音響情報を再生するようにしてもよい。これにより、音響装置８は、例えば各再生装置に対して割り当てられ、互いに異なるチャネルで送信された音響情報を含むデータを３Ｄ音響として再生することができる。

【0048】

音響装置８は、例えば１つが面６１ｂの背面に取り付けられ、矩形状の６つの面６１ａ～６１ｆにより囲まれた空間６に対する音響を３Ｄ音響として再生する。音響装置８は、例えば複数の音響装置８が、６つの面６１ａ～６１ｆに複数設置される構成であってもよい（図示せず）。これにより、６つの面６１ａ～６１ｆで囲まれた空間６で表示される動画像に対応して、３次元的な音の方向や距離、拡がりなどを再生することができる。

【0049】

動画像蓄積部９は、表示装置７を介して表示すべきライブ動画、及びアーカイブ動画の少なくとも何れかの動画像と、それら動画像と関連付けられる音響情報を蓄積しておくためのデータベースである。この動画像蓄積部９は、上述した全方向撮像装置３１以外の他の図示しない撮像装置により既に撮像された音響情報を含む全方向動画を予め蓄積しておく。この動画像蓄積部９に蓄積される音響情報を含む各種の動画像は、上述した全方向動画、音響情報のみならず、通常の二次元的な動画、音響情報であってもよい。この動画像蓄積部９に蓄積された全方向動画は、通信網５を介して制御装置２へと送られる。

【0050】

次に、制御装置２の詳細なブロック構成について説明をする。制御装置２は、図４に示すように、第１動画像取得部２１と、第２動画像取得部２３と、空間情報取得部２６と、音声データ取得部３５と、操作部２５とを備え、更にこれら第１動画像取得部２１、第２動画像取得部２３、空間情報取得部２６、音声データ取得部３５、操作部２５がそれぞれ接続される制御部２８とを備えている。更にこの制御部２８には、出力される各画像領域Ｐ１、Ｐ２、Ｐ３、・・・Ｐｎのデータを送信するためのＩ／Ｆ（インターフェース）２９－１、２９－２、９２－３、・・・２９－ｎが接続されている。更にこの制御部２８には、出力される音響情報Ｓ１のデータを送信するためのＩ／Ｆ３０－１が接続されている。なお、音響情報Ｓ１は、例えば複数の表示装置７ａ、・・・、～７ｎ、複数の音響装置８と接続されるように構成されてもよい（図示せず）。

【0051】

制御装置２は、ＰＣ等で構成されることから、これらの構成に加えて各構成要素を制御するためのいわゆる中央演算ユニットとしてのＣＰＵ（Central Processing Unit）、制御装置２全体のハードウェア資源を制御するためのプログラムが格納されているＲＯＭ（Read Only Memory）、データの蓄積や展開等に使用する作業領域として用いられるＲＡＭ（Random Access Memory）に加え、全方位動画について各種画像処理を施したり、各画像領域Ｐ１～Ｐｎに切り出す処理を行うための画像処理部等を別途有している。

【0052】

第１動画像取得部２１は、動画像蓄積部９において蓄積された全方向動画を通信網５を介して取得する。第１動画像取得部２１は、例えば動画像蓄積部９にアーカイブ動画などとして蓄積された動画像を取得するようにしてもよい。アーカイブ動画は、例えばＷｅｂやクラウド上の公知の動画像提供サービスとして、各々の動画像サーバに蓄積された過去の動画像であってもよい。動画像には、例えば音声や撮影時の背景、周囲の音、撮影者によって付加された音楽データ、あるいは音響情報（２Ｄ・３Ｄ音響情報、音源情報、音響設備情報、効果音情報、設定値、パラメータ等）が含まれ、音響情報には各種の音楽データや情報が個別に、あるいは共通に対応づけられていてもよい。

【0053】

第２動画像取得部２３は、全方向撮像装置３１により撮像された全方向動画を取得する。第２動画像取得部２３は、例えば各地に設置される全方向撮像装置３１（例えば定点カメラ、固定カメラなど）により、各地の全方向動画像をリアルタイムにライブ動画として取得するようにしてもよい。第２動画像取得部２３は、例えば空間６の中に設置された全方向撮像装置３１、あるいは他の撮像装置やセンサー等、観客が保持するセンサー等（図示せず）により空間６の内部の動画像（内部の人の映像や人の部位の位置や動きを示すモーションセンサー情報など）を取得してもよい。

【0054】

全方向撮像装置３１は、例えば複数の空間６に複数が設置され、内部の人（観客Ｍ）の位置、視線、頭部の向き、観客の発する音声などの各種の情報を観客情報として個別に、または合わせて取得するようにしてもよい。

【0055】

第２動画像取得部２３は、例えば全方向撮像装置３１が設置される場所の位置情報、周辺の環境情報、撮像日時、天候などの各種の情報やデータを合わせて取得するようにしてもよい。第２動画像取得部２３で取得された動画像は、例えば制御部２８により通信網５を介して動画像蓄積部９に蓄積されるようにしてもよい。

【0056】

空間情報取得部２６は、実際に画像領域Ｐ１～Ｐｎを表示する空間６及び空間６に関する様々な情報を取得する。この空間情報取得部２６は、空間６の各面６１間の縦横のサイズ比率等、空間６の形状に関する様々な情報を取得する。この空間情報取得部２６が取得する情報としては、空間６の各面６１に設置される表示装置７の配置に関する情報や、上述したように各面６１に対して、一の表示装置７により画像を表示する場合のみならず、各面６１に対していかなる表示装置７により画像の表示を行うのかに関する情報、各面６１に対して複数の表示装置７を組み合わせて表示する場合には、その割り当てに関する情報も含まれる。

【0057】

さらに空間情報取得部２６は、実際に音響情報Ｓ１を流す空間６に関する様々な情報を取得する。この空間情報取得部２６は、空間６の各面６１間の縦横のサイズ比率等、空間６の形状、材質、反響物など関する様々な情報を取得する。この空間情報取得部２６が取得する情報としては、空間６の各面６１に設置される音響装置８の配置に関する情報や、上述したように各面６１に対して、一の音響装置８により音響情報を流す場合のみならず、空間６の観客に対していかなる音響装置８により音響情報を流すのかに関する情報、音響装置８を構成する個々の音響モジュール（音響ユニット）、各面６１に対して複数の表示装置７と組み合わせて流す場合には、その割り当て、タイミングや指向性などに関する各種の情報も含まれる。

【0058】

空間情報取得部２６は、表示装置７を投影表示装置や音響装置８と合わせた再生装置として構成する場合には、その配置関係、又は面６１に対する各投影表示装置や再生装置としての投影方向及び画角等の情報も取得するようにしてもよい。空間情報取得部２６は、取得した空間６に関する情報を制御部２８へ送信する。

【0059】

さらに空間情報取得部２６は、一のまたは複数の音響装置８、表示装置７と合わせた再生装置として構成する場合には、その配置関係、又は空間６や面６１や観客に対する音響装置８の指向性及び３Ｄ音響の強さ等の情報も取得するようにしてもよい。空間情報取得部２６は、取得した空間６、面６１、観客等に関する情報を制御部２８へ送信する。観客等に関する情報は、予め設定された、想定された観客情報が制御部２８へ送信されてもよい。

【0060】

音声データ取得部３５は、マイク３２等から音声を取得し、これを蓄積する。マイク３２からの音声の取得方法としては、例えば公衆通信網から有線、無線を介して取得するようにしてもよいし、記録媒体に記録された音声データを読み出してこれを記録するようにしてもよい。音声データ取得部３５は、例えば音声のほか、各種の音楽やＢＧＭ、あるいはマイク３２が設置される場所における音情報や音響データを取得するようにしてもよい。音声データ取得部３５は、複数のマイク３２等を介して、複数音源の音声データを取得するようにしてもよい。

【0061】

音声データ取得部３５は、例えば空間６の中に設置された全方向撮像装置３１に備わるマイク、あるいは他のマイク３２、観客が保持するマイク等（図示せず）により空間６の内部の動画像（内部の人の映像や人の部位の位置や動きを示すモーションセンサー情報など）を取得してもよい。全方向撮像装置３１は、例えば複数の空間６に複数が設置され、内部の人（観客Ｍ）の位置、視線、頭部の向き、観客の発する音声などの各種の情報を観客情報として個別に、または合わせて取得するようにしてもよい。

【0062】

操作部２５は、キーボードやタッチパネルにより具現化され、プログラムを実行するための実行命令がユーザから入力される。この操作部２５は、上記実行命令がユーザから入力された場合には、これを制御部２８に通知する。この通知を受けた制御部２８は、判断部２７を始め、各構成要素と協調させて所望の処理動作を実行していくこととなる。

【0063】

制御部２８は、内部バスを介して制御信号を送信することにより、制御装置２内に実装された各構成要素を制御するためのいわゆる中央制御ユニットである。また、この制御部２８は、操作部２５を介した操作に応じて各種制御用の指令を内部バスを介して伝達する。制御部２８は、第１動画像取得部２１、第２動画像取得部２３から、それぞれ動画像、音響情報の各種のデータの入力を受け付ける。

【0064】

制御部２８は、後述するように、入力を受け付けた動画像を構成する各静止画像について、複数の画像領域Ｐ１、Ｐ２、・・・、Ｐｎに切り出す。この切り出した画像領域Ｐ１、Ｐ２、・・・、Ｐｎを含む動画像のデータは、それぞれＩ／Ｆ２９－１、２９－２、・・・、２９－ｎを介して互いに異なるチャネルで送信する。制御部２８は、後述するように、入力を受け付けた動画像を構成する各静止画像について、複数の画像領域Ｐ１、Ｐ２、・・・、Ｐｎに切り出す。この切り出した画像領域Ｐ１、Ｐ２、・・・、Ｐｎを含む動画像のデータは、それぞれＩ／Ｆ２９－１、２９－２、・・・、２９－ｎを介して互いに異なるチャネルで送信する。さらに制御部２８は、後述するように、入力を受け付けた音響情報を構成する各音響データについて、音響情報Ｓ１をＩ／Ｆ３０－１を介して異なる動画像のデータとは異なるチャネルで送信する。

【0065】

Ｉ／Ｆ２９－１、２９－２、・・・、２９－ｎ、及びＩ／Ｆ３０－１の各々は、制御装置２と表示装置７、音響装置８との間で再生装置として通信リンクを確立するためのインターフェースとしての役割を担う。Ｉ／Ｆ２９－１、２９－２、・・・、２９－ｎは、制御部２８によって切り出された複数の画像領域Ｐ１、Ｐ２、・・・、Ｐｎ、及びＩ／Ｆ３０－１は、制御部２８によって切り出された複数の音響情報Ｓ１に対して個別に設けられている場合に限定されるものではなく、互いに共通のインターフェースユニットで構成されるものであってもよい。

【0066】

次に、上述した構成からなる本発明を適用した画像領域生成システム１の動作について説明をする。

【0067】

図５は、画像領域生成システム１の各動作を示すフロー図である。先ずステップＳ１１において、制御装置２は、動画像を取得する。この制御装置２における動画像の取得は、上述した第１動画像取得部２１、第２動画像取得部２３を介して行う。即ち、動画像蓄積部９に蓄積されている全方向動画が通信網５を介して送られてきた場合、第１動画像取得部２１を介してこれを取得する。また全方向撮像装置３１を介して全方向動画が撮像された場合には、第２動画像取得部２３を介してこれを取得する。

【0068】

なおステップＳ１１においては、制御装置２は、全方向動画の他に全方位動画に関する音響情報と配信先情報を取得する。制御装置２は、例えば動画像に関する音響情報と、動画像と音響情報の配信を行なう配信先情報とを個別に、あるいは全方位動画に含んで一括して取得するようにしてもよい。

【0069】

制御装置２における全方位動画（動画像）、音響情報、および配信先情報の取得は、上述した第１動画像取得部２１、第２動画像取得部２３を介して行う。制御装置２は、例えば動画像蓄積部９に蓄積されている全方向動画が通信網５を介して送られてきた場合、第１動画像取得部２１を介してこれを取得し、また全方向撮像装置３１を介して全方向動画が撮像された場合には、第２動画像取得部２３を介してこれを取得する。

【0070】

第１動画像取得部２１、第２動画像取得部２３において取得した全方向動画、全方位動画に音響情報、配信先情報等の各種の情報が含まれる場合は、それらの情報も合わせて、制御部２８へと送られるようにしてもよい。なお、配信先情報には、例えば全方位動画の配信に関する各種の情報が含まれる。配信先情報は、例えば配信可能な契約情報（配信条件、課金情報、ポイント情報等）、配信可能な設備情報（空間６情報、投影設備情報、音響設備情報、照明情報等）、配信可能な観客に関する顧客情報（会員情報、性別、年齢、身長、趣味情報、グループ等の情報、空間６内の全方位動画をリアルタイムで取得した顧客の目線や姿勢、動き等を示す動作情報等を含んでもよい。

【0071】

制御部２８は、これら第１動画像取得部２１、第２動画像取得部２３から送られてきた全方向動画につき、これを構成する各静止画像について以下に説明する画像領域の切り出しを行う（ステップＳ１２）。

【0072】

図６は、全方向動画を構成する静止画像のうち一枚の画像を矩形状の平面に図示したものである。全方向撮像装置３１により撮像された全方向動画を構成する各静止画像は、図７に示すように、全体的に球面を構成する各球面画像領域Ｑ１－ａ、Ｑ１－ｂ、Ｑ２－ａ、Ｑ２－ｂ、Ｑ３－ａ、Ｑ３－ｂ、Ｑ４－ａ、Ｑ４－ｂ、Ｑ５、Ｑ６に分割することができる。この球面画像領域Ｑ１－ａ、Ｑ１－ｂ、Ｑ２－ａ、Ｑ２－ｂ、Ｑ３－ａ、Ｑ３－ｂ、Ｑ４－ａ、Ｑ４－ｂ、Ｑ５、Ｑ６を平面的に描画し直したものが、図６に示す全方向動画を構成する各静止画像となる。

【0073】

制御部２８は、このような全方向動画を構成する各静止画像に対して、図中の画像領域Ｐ１、Ｐ２、・・・、Ｐｎを切り出す。図６の例では、画像領域Ｐ１～Ｐ６の６枚を切り出す。制御部２８は、例えば画像領域Ｐ１、Ｐ２、・・・、Ｐｎを切り出す際に、配信先情報、音響情報含まれる各種の情報、動画像を構成する各静止画像を各面の配置関係に応じて複数の画像領域に切り出すようにしてもよい。

【0074】

制御部２８は、例えば抽出部をさらに備える。抽出部は、例えば切り出された各画像領域から表示されている動画像の特徴を判別し、判別した各画像領域の特徴と、空間６内のリアルタイムの観客の位置、視線、頭部の向き、観客の発する音声の何れか１以上からなる観客情報を抽出する。抽出部は、例えば空間６内の観客の位置、視線、頭部の向き、観客Ｍの発する音声などの各種の情報（観客情報）の特徴を示す動作情報を、第２動画像取得部２３、その他の公知のセンサーを用いて取得し、画像判別や音声判別等の処理により特定し、各々の観客のリアルタイムの目線や姿勢、動きを示す動作情報を抽出する。抽出部は、例えば空間６内の各画像領域（静止画、または動画）と観客のリアルタイムの動作情報とを紐づけて動画像蓄積部９に格納する。

【0075】

この画像領域Ｐ１～Ｐ６の切り出し処理と同時に、或いはその切り出し処理の終了後、その切り出した各画像領域Ｐ１～Ｐ６を各面６１ａ～６１ｆに対して割り当てる（ステップＳ１３）。画像領域Ｐ１は、図２に示す面６１ａに割り当て、画像領域Ｐ２は、面６１ｂに割り当て、画像領域Ｐ３は、面６１ｃに割り当て、画像領域Ｐ４は、面６１ｄに割り当て、画像領域Ｐ５は、面６１ｅに割り当て、画像領域Ｐ６は、面６１ｆに割り当てる。即ち、この切り出しの例では、各面６１に対してそれぞれ画像領域Ｐを割り当てる。仮に一の面６１に対して複数の画像領域Ｐを組み合わせて表示する場合も同様に、その一の面６１に対して表示すべき複数の画像領域Ｐをそれぞれ割り当てる。

【0076】

さらに、この各画像領域Ｐ１～Ｐ６の各面６１ａ～６１ｆに対する割り当てと同時に、音響情報Ｓ１を、図２に示す音響装置８に割り当てる。制御部２８は、例えば音響装置８の他に各表示装置７ａ～７ｎのスピーカー、その他の音響の再生装置（図示せず）が設定されている場合は、音響情報Ｓ１を画像領域Ｐ１～Ｐ６の切り出し処理に合せて分割する等し、複数の各音響装置を割り当てる。

【0077】

また制御部２８は、例えば各画像領域を、その抽出した各画像領域や音響情報の特徴、及び空間６等の特徴等（広さ、材質、観覧者の人数、特徴等）の情報に基づいて、各面に対して割り当てるようにしてもよく、さらに空間６で再生する音響情報の全体（大勢向け）、あるいは一部（特定者向け、子供、大人、課金別など）を、空間６全体、あるいは各面に個別に割り当てるようにしてもよい。

【0078】

制御部２８は、例えば取得した音響情報の長さや効果に応じて、動画像を構成する各静止画像を、各面の配置関係に応じて複数の画像領域に切り出し、切り出した各画像領域Ｐ１～Ｐ６を各面６１ａ～６１ｆに対して割り当てるようにしてもよい。さらに制御部２８は、例えば割り当てた各面６１ａ～６１ｆに対して、取得した音響情報の指向性を求め、空間６で再生できるよう音響情報の再生タイミング、再生パターン、効果音等を割り合てるようにしてもよい。これにより、空間６内の観客Ｍに対して、動画像と共に確実にピンポイントで音響情報を再生させることが可能となる。

【0079】

さらに制御部２８は、例えば抽出部で抽出した各画像領域の特徴、及び空間６内の観客の位置、視線、頭部の向き、観客の発する音声の何れか１以上からなる観客情報（動作情報）に基づいて、新たに動画像を構成する各静止画像を、各面の配置関係に応じて複数の画像領域に切り出し、切り出した各画像領域Ｐ１～Ｐ６を各面６１ａ～６１ｆに対して割り当てるようにしてもよい。これにより、空間６内に配信されるライブ動画に対する観客の動作からインタラクティブに各面に対して全方位画像と音響情報とを割り当てることができる。

【0080】

全方向動画を構成する構成する静止画像は、このようにして残部を残すことなく複数の画像領域Ｐに分割される。この画像領域Ｐ間の境界の形状は、各面６１間の縦横のサイズ比率に基づいて決定される。同様に静止画像に対応する音響情報も、分割された複数の画像領域Ｐに基づいて割り当てられることになる。

【0081】

例えば、図８（ａ）に示す画像領域Ｐ１～Ｐ６の境界は、ある一の空間６の面６１ａ～６１ｆの縦横のサイズ比率に応じたものと仮定する。このとき、他の空間６は、一の空間６に対して面積が小さく、面６１ａ～６１ｄの縦横のサイズ比率も一の空間６のものと異なる場合には、例えば図８（ｂ）に示すように、画像領域Ｐ１～Ｐ４の境界が上下方向に拡張され、画像領域Ｐ５、Ｐ６の境界が上下方向において圧縮された形状となるように調整される。

【0082】

音響情報は、例えばこれら調整された画像領域の形状、動きに応じて音響情報Ｓ１として空間６に流される音響情報として調整され、音響装置８により再生される。なお音響情報は、例えば各表示装置７ａ～７ｎにスピーカー等が備わる場合には、それらスピーカーから再生するようにしてもよい。さらに、音響装置８と各表示装置７ａ～７ｎのスピーカー、その他の音響の再生装置（図示せず）が空間６内に複数備わる場合は、制御部８により各面６１ａ～６１ｆに対する音響情報として制御され、再生されることとなる。

【0083】

なお、このステップＳ１３において、各面６１に割り当てられる画像領域Ｐ１～Ｐ６について、当該各画像領域Ｐ１～Ｐ６が矩形状となるように調整するようにしてもよい。かかる場合には、図９（ａ）に示すように、画像領域Ｐ２を例に挙げた場合、図中の点線方向に向けてその上下端を矢印方向に引き延ばす画像処理を施すことにより、図９（ｂ）に示すような矩形状に加工された画像領域Ｐ２を得ることが可能となる。

【0084】

次にステップＳ１４に移行し、制御部２８は、このようにして生成した画像領域Ｐ１～ＰｎについてＩ／Ｆ２９、音響情報Ｓ１を介して互いに異なるチャネルでそれぞれ送信する。ここでいうチャネルとは、通信回線を意図するものである。即ち、異なるチャネルで送信するということは、画像領域Ｐ１～Ｐｎ、音響情報Ｓ１の各データを、互いに異なる通信回線に分けて送信するという意味である。そして、このようにして各通信回線に切り分けられた画像領域Ｐ１～Ｐｎ、音響情報Ｓ１の各データは、そのまま互いに独立してそれぞれ表示装置７、音響装置８（あるいは音響装置８を構成する個々の音響モジュール）である再生装置にそれぞれ送られる。

【0085】

図４の例では、画像領域Ｐ１は、表示装置７ａに向けて独立して送信され、画像領域Ｐ２は、表示装置７ｂに向けて独立して送信され、画像領域Ｐ３は、表示装置７ｃに向けて独立して送信され、画像領域Ｐｎは、表示装置７ｎに向けて独立して送信される。この間、各画像領域Ｐ１～Ｐｎの各データは、互いに１箇所に集められることなく、互いに独立した通信経路で表示装置７へと送信される。さらに音響情報Ｓ１は、音響装置８に向けて独立して送信される。なお各々の表示装置７ａ～７ｎに向けて独立して送信される各画像領域Ｐ１～Ｐｎには、例えば音響情報Ｓ１、あるいは音響情報Ｓ１を構成する個々に細分化された音響情報が含まれて送信されてもよい。

【0086】

元になる全方向動画は、予め設定されたフレームレート（２４ｆｐｓ、３０ｆｐｓ、６０ｆｐｓ等）の下、１秒間に亘り大量の静止画像を以って構成されている。このような大量の静止画像を分割した画像領域Ｐ１～Ｐｎを時系列的に連続的して送信し続けるのは相当の通信量を要することとなる。このような画像領域Ｐ１～Ｐｎの連続的な送信を一つの通信経路で行うことになれば、相当の通信時間を要し、また通信コストも過大となる。このため、本発明においては、互いに異なる通信経路を介して画像領域Ｐ１～Ｐｎを表示装置７、および音響情報Ｓ１を流す音響装置８、もしくは表示装置７と音響装置８により構成構成される再生装置に向けて伝送することにより、個々の通信経路における画像領域Ｐの伝送レートを下げることができ、その結果、高速でしかも安価に表示装置７に向けて画像領域Ｐのデータを送信することができる。

【0087】

なお、画像領域Ｐ１～Ｐｎ、音響情報Ｓ１は、通信経路を異ならせる以外に、更に使用する周波数チャネルを異ならせた状態で表示装置７、および音響装置８、もしくは再生装置に向けて送信するようにしてもよい。これにより、画像領域Ｐ１～Ｐｎを表示装置７及び音響装置８、もしくは再生装置に向けて異なる周波数チャネルを利用することで、互いに干渉することなく高い通信品質を以って伝送することが可能となる。

【0088】

次にステップＳ１５に移行し、表示装置７及び音響装置８に向けて送信するデータの各画像領域間において互いに時系列的な同期を取るための調整を行う。

【0089】

図１０は、各画像領域Ｐ１～Ｐｎのデータが時系列的に連続して表示装置７へ送信するイメージを示している。全方向動画を構成する静止画像から切り出された各画像領域Ｐ１～Ｐｎのデータは、表示装置７へ順次送信される。全方向動画を構成する次の静止画像についても同様に画像領域Ｐ１～Ｐｎを切り出し、表示装置７へと送られる。これを繰り返し実行すると、ちょうど図１０に示すように時間ｔの軸に対して、各画像領域Ｐ１～Ｐｎがフレームの先頭から伝送される形態となる。

【0090】

このようにして時間ｔの軸に応じて伝送される各画像領域Ｐ１～Ｐｎのデータストリームについては、時系列識別情報を順次付与するようにしてもよい。この時系列識別情報は、いわゆるタイムスタンプのようなものであってもよく、画像領域Ｐ１～Ｐｎが生成される時刻に対応させて付与するものであってもよい。また、時系列識別情報は、全方向動画を構成する静止画像に対してそれぞれ時系列的に順に付与されるフレーム番号に対応されるものであってもよい。つまり、同じ静止画像のフレームから切り出された画像領域Ｐ１～Ｐｎについては同じフレーム番号に応じた時系列識別情報を付与するようにしてもよい。

【0091】

これにより、同じフレーム番号に応じた時系列識別情報が付与された画像領域Ｐ１～Ｐｎは互いに時系列的に同期を取ることで、互いに画像領域Ｐ１～Ｐｎ間でズレの無い状態で表示することが可能となる。

【0092】

図１０において、簡単のためＰｎ－＃における“＃”を時系列識別情報とする。この時系列的識別情報は、古い順から１、２、３、・・・、＃、・・と付与されるものとする。

【0093】

図１０に示すように、例えば、画像領域Ｐ１、Ｐ３、Ｐ４間で同期を取るためには、最初に送られてくる画像領域Ｐ１―１、Ｐ３－１、Ｐ４－１との間でこの時系列識別情報を識別することにより、互いに時系列的に整合が取れているか否かを確認する。

【0094】

例えば、時系列識別情報が、全方向動画を構成する静止画像に対して順次付与されるフレーム番号に応じたものであれば、そのフレーム番号に応じた時系列識別情報が共通していれば、互いに時系列的に同期が取れたものと判断することができる。また、時系列識別情報が、画像領域Ｐ１～Ｐｎが生成される時刻に対応しているものであり、かつ画像領域Ｐ１～Ｐｎ間の生成時刻は互いにズレることなく常に同時であると仮定できる前提の下、その時系列識別情報が共通していれば、互いに時系列的に同期が取れたものと判断することができる。

【0095】

最初に送られてくる画像領域Ｐ１―１、Ｐ３－１、Ｐ４－１との間でこの末尾に付与された時系列識別情報を識別した結果、時系列識別情報は、互いに同一であることから互いに時系列的に同期が取れたものと判断することができる。次のタイミングにおいて、画像領域Ｐ３―２、Ｐ４－２間においては、時系列的識別情報が互いに共通していたが、画像領域Ｐ１については、抜けている状態であったものとする。このようなケースでは、画像領域Ｐ間において互いに同期が取れていないものと判別することができる。さらに次のタイミングにおいて、画像領域Ｐ３－３に対して、Ｐ１－２、Ｐ４－４と、この末尾に付与された時系列識別情報が不一致の場合も画像領域Ｐ間において互いに同期が取れていないものと判別することができる。

【0096】

このようにして時系列識別情報を介した判別の結果、互いに同期が取れていないものと判別した場合、各画像領域Ｐ１～Ｐｎ間において互いに時系列的な同期を取るための調整を行う。例えば、上述したように、画像領域Ｐ３―２、Ｐ４－２間においては、時系列的識別情報が互いに共通していたが、同じタイミングにおいて画像領域Ｐ１が欠落しており、これより後のタイミングにおける画像領域Ｐ３－３に対して画像領域Ｐ１－２が紐付けられていた場合、この画像領域Ｐ１－２と時系列的識別情報が整合する画像領域Ｐ３―２、Ｐ４－２に紐付ける調整を行うことで同期を取る。或いは、画像領域Ｐ３―２、Ｐ４－２と同じタイミングとなる画像領域Ｐ１－２自体が完全に欠落してしまっている場合、画像領域Ｐ１－２自体を新たに生成するようにしてもよい。かかる場合には、この欠落している画像領域Ｐ１－２をその前後の画像領域Ｐ１－１、Ｐ１－３に基づいて画素を周知の技術を利用して補間することで生成するようにもよいし、前後の画像領域Ｐ１－１、Ｐ１－３の何れかをそのまま挿入するようにしてもよい。

【0097】

ステップＳ１５におけるこのような時系列識別情報を利用した同期を取るための調整自体は、通信網５に設けられた図示しないサーバを介して行うようにしてもよいし、実際にこれらの画像領域Ｐ１～Ｐｎのデータを受信する表示装置７同士で行うようにしてもよい。表示装置７同士で同期をとるための調整を行う場合には、表示装置７間で互いに通信を行うことで実現するようにしてもよい。また、時系列識別情報を利用した同期を取るための調整自体を制御装置２内で行うようにしてもよい。何れの場合においても、この画像領域Ｐ１～Ｐｎのデータは、互いに異なるチャネルを介して伝送されるものであることから、伝送される前の制御装置２内、又は伝送された後の各表示装置７間、或いは通信網５内においてこれらの同期の調整を行うこととなる。

【0098】

なおステップＳ１５においては、調整された各画像領域Ｐ１～Ｐｎのデータ、各データの表示装置７への送信に合せて、音響情報Ｓ１が音響装置８に送信される。音響情報Ｓ１は、例えばある時間ごと、空間特性、音響種別、観客情報等に応じて時間ごと、効果ごとに切り出され、音響装置８へと送られる。音響情報Ｓ１についても、これらを繰り返し実行することで、図１０に示すように時間ｔの軸に対して、音響情報Ｓ１が各画像領域Ｐ１～Ｐｎのフレームの先頭に合せて伝送される形態となる。

【0099】

各画像領域Ｐ１～Ｐｎ、および音響情報Ｓ１において、このような時系列識別情報を利用した同期を取るための調整自体は、通信網５に設けられた図示しないサーバを介して行うようにしてもよいし、実際にこれらの画像領域Ｐ１～Ｐｎ、音響情報Ｓ１の各データを受信する表示装置７、及び音響装置８、もしくは再生装置で行うようにしてもよい。

【0100】

このようにして、互いに時系列的に同期が取られた画像領域Ｐ、音響情報Ｓ１のデータは、その割り当てられた面６１を表示する各表示装置７、及び音響装置８、もしくは再生装置に送られる。

【0101】

各表示装置７は、画像領域Ｐを各面６１に対して表示する（ステップＳ１６）。各面６１ａ～６１ｆに対していかなる表示装置７ａ～７ｇを介して画像を表示するかは既に決められている。このため、各面６１ａ～６１ｆに割り当てられた画像領域Ｐ１～Ｐｎを、当該面６１を表示する表示装置７ａ～７ｇへ送信してこれを表示する。これにより、図１１に示すように、全方向動画から切り出された各画像領域Ｐ１～Ｐｎが、各表示装置７ａ～７ｇを介して各面６１ａ～６１ｆに表示される。

【0102】

さらに音響装置８は、音響情報Ｓ１を空間６、各面６１に対して流すように、各表示装置７ａ～７ｇの各面６１ａ～６１ｆの裏などに設置される。空間６、各面６１ａ～６１ｆのいかなる表示装置７ａ～７ｇに対して、音響装置８を介して音響情報を流すかは既に決められていてもよく、これにより、空間６、各面６１ａ～６１ｆに割り当てられた画像領域Ｐ１～Ｐｎに適した音響情報を、当該面６１を表示する表示装置７ａ～７ｇに合せて流すことができる。これにより、図１１に示すように、全方向動画から切り出された各画像領域Ｐ１～Ｐｎに合せて、音響装置８を介して空間６、各面６１ａ～６１ｆと同期した音響情報を再生させることができる。

【0103】

空間６内に観客Ｍが入ることにより、各面６１ａ～６１ｇに表示されている画像領域Ｐ１～Ｐｎを鑑賞することができる。この画像領域Ｐ１～Ｐｎは、元々全方向動画を６つの面に切り出したものであることから、この空間６内の観客Ｍは、各面６１ａ～６１ｇに表示されている画像領域Ｐ１～Ｐｎを視認することで、あたかも全方向動画の中心に立っている感覚を楽しむことができる。観客Ｍは、各面６１ａ～６１ｇを視認すると、その視認した面６１に表示されている画像領域Ｐが目に入る。即ち、視認した方向に応じた画像領域Ｐが目に入ることから、ＶＲと同様の感覚を得ることができる。しかも、ＶＲを体験する際に必要となる眼鏡型又はゴーグル型の頭部装着型映像表示装置を装着せずに、空間６内であたかも観客Ｍ自身がその場に現実に居るような臨場感を体感することができる。従って、頭部装着型映像表示装置の装着に伴う圧迫感や煩わしさ、装着の手間を無くすことができる。また頭部装着型映像表示装置を介して視覚から得る情報と現実の体が受け取る情報のズレから生じる、いわゆるＶＲ酔い等のような身体に与える影響が及ぶことも無くなる。

【0104】

さらに空間６内の観客Ｍは、各面６１ａ～６１ｇに表示されている画像領域Ｐ１～Ｐｎを音響情報Ｓ１と共に体験することで、あたかも全方向動画の中心に立っている感覚を映像と音響（立体音響、３Ｄ音響）で楽しむことができる。観客Ｍは、各面６１ａ～６１ｇと音響情報を合わせて視聴することで、その視聴した面６１の表示である画像領域Ｐと音響情報Ｓ１を体験することができる。即ち、視認した方向に応じた画像領域Ｐと音響情報を視聴することから、実体験と同様の感覚を空間６において得ることができる。しかも、ＶＲを体験する際に必要となる眼鏡型又はゴーグル型の頭部装着型映像表示装置を装着せずに、音響装置８による３Ｄ音響により空間６内であたかも観客Ｍ自身がその場に現実に居るような臨場感を体感することができる。従って、頭部装着型映像表示装置の装着に伴う圧迫感や煩わしさ、装着の手間を無くすことができる。また頭部装着型映像表示装置を介して視覚から得る情報と現実の体が受け取る情報のズレから生じる、いわゆるＶＲ酔い等のような身体に与える影響が及ぶことも無くなる。

【0105】

更に本発明によれば、空間６内に同時に複数の観客Ｍが入り、共通の画像領域Ｐと音響情報Ｓ１を視聴することができ、従来のＶＲでは実現できなかった、一つの仮想空間内において全方向の映像と音響とを多人数による同時共有が実現できる。さらに、例えば共通の画像領域Ｐと音響情報Ｓ１は、通信網５を介して他の拠点に送信することも可能なため、同時に、複数の多拠点で共通の画像領域Ｐと音響情報Ｓ１を視聴することで、各々の空間６において楽しむことが可能となる。

【0106】

また本発明によれば、各画像領域Ｐ１～Ｐｎを互いに異なる通信経路で独立して表示装置７ａ～７ｆに対して伝送することでき、空間６に対して高速かつ低コストでコンテンツを提供することが可能となる。しかも各画像領域Ｐ１～Ｐｎを互いに異なる通信経路で独立して伝送することにより生じえる、各画像領域Ｐ１～Ｐｎ間の時系列的な不整合を、ステップＳ１５における同期の調整処理を通じて解消させることができる。

【0107】

なお、各面６１により囲まれる空間６は、実際の現場の状況に応じて、その形状やサイズは様々であり、その空間６に応じて最適な画像領域Ｐの切り出しを臨機応変かつ自在に実現する必要が出てくる。本発明によれば、各面６１間の縦横のサイズ比率に基づいて、各面６１に割り当てるべき画像領域Ｐを切り出すことができることから、このような空間６の形状の多様性にも対応することができる。

【0108】

かかる場合において、新たに画像領域Ｐを表示する予定の空間６があるとき、空間６内に撮像装置を設置する。この撮像装置は、撮像装置本体を中心に全ての方向（水平方向に３６０°、鉛直方向に３６０°）を洩れなく同時に撮像可能な、いわゆる全方向撮像装置で構成されるものであってもよい。また、通常の平面画像を撮像する撮像装置を複数に亘り空間６内に設置し、全ての各面６１を複数の撮像装置間で分担して撮像するようにしてもよい。

【0109】

このような撮像装置により、新たに表示予定の空間６の各面６１の画像を撮像し、周知の画像解析技術を利用して各面６１間の縦横のサイズ比率を判別する。制御部２８は、この判別された各面６１間の縦横のサイズ比率に基づいて、上述と同様に各面６１に割り当てるべき画像領域Ｐを切り出す。

【0110】

なお、表示装置７が画像領域Ｐを面６１に投影表示する投影表示装置からなる場合には、以下の方法により画像領域を切り出すようにしてもよい。

【0111】

図１２（ａ）は、ある空間６の側断面図であり、図１２（ｂ）はその平面図である。空間６の側面を構成する面６１ｂ、６１ｄに、それぞれ投影表示装置からなる表示装置７ｍ、７ｗ、および音響装置８が設けられている。表示装置７ｍ、７ｎは、天井を構成する面６１ｅに向けて画像領域Ｐを投影表示するが、その際の表示装置７の投影方向及び画角θを取得する。表示装置７ｗは、天井を構成する面６１ｅに設けられており、側面を構成する４方向の面６１ａ～６１ｄに向けて４方向に画像領域Ｐを投影表示するが、その際の投影方向及び画角φを取得する。また、この表示装置７ｍ、７ｎ、７ｗ、音響装置８の配置関係に関する情報も取得する。

【0112】

この投影方向及び画角、配置関係の取得は、例えば操作部２５を介した入力以外に、上述したように空間６内に設置された撮像装置による撮像を通じて自動判別するようにしてもよい。

【0113】

そして取得した投影方向及び画角又は配置関係に基づいて、当該各面に割り当てるべき画像領域を切り出し、音響装置８で再生する音響情報を割り当てるようにしてもよい。なお、音響装置８は、図１２（ａ）、（ｂ）では、面６１ａの背面に設置しているが、例えば他の面の背面に設置する、空間６内に設置されるようにしてもよい。さらに音響装置８は、例えば複数の音響モジュール（音響部品など）が組み合わせることで、１つの音響装置８を構成するようにしてもよい。

【0114】

また本発明によれば、第１動画像取得部２１と第２動画像取得部２３は、ライブ動画、及びアーカイブ動画の撮影情報を含む動画像を取得し、音声データ取得部３５は動画像に対応する音響情報を取得する。配信先情報は、撮影情報の他に、例えば各動画、または音響情報の管理情報、配信リクエスト情報、ランキング情報、過去の再生履歴情報、観客情報等に基づいて、適宜に取得され、最も適した配信先情報が取得されるようにしてもよい。配信先情報は、例えば撮影情報に予め指定されて取得されるほか、動画像蓄積部９に格納されてもよい。

【0115】

また本発明によれば、第１動画像取得部２１と第２動画像取得部２３は、ライブ動画、及びアーカイブ動画の撮影情報を含む動画像を取得し、音声データ取得部３５は動画像に対応する音響情報を取得する。配信先情報は、撮影情報の他に、例えば各動画、または音響情報の管理情報、配信リクエスト情報、ランキング情報、過去の再生履歴情報、観客情報等に基づいて、適宜に取得され、最も適した配信先情報が取得されるようにしてもよい。配信先情報は、例えば撮影情報に予め指定されて取得されるほか、動画像蓄積部９に格納されてもよい。

【0116】

本発明の実施形態を説明したが、この実施形態は例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

【符号の説明】

【0117】

１ 画像領域生成システム
２ 制御装置
３ 録画モジュール
５ 通信網
６ 空間
７ 表示装置（再生装置）
８ 音響装置（再生装置）
９ 動画像蓄積部
２１ 第１動画像取得部
２３ 第２動画像取得部
２５ 操作部
２６ 空間情報取得部
２７ 判断部
２８ 制御部
３１ 全方向撮像装置
３２ マイク
３５ 音声データ取得部
６１ 面

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】