特許 6427300 全天球カメラ撮像画像表示システム、方法及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6427300

(24)【登録日】2018年11月2日

(45)【発行日】2018年11月21日

(54)【発明の名称】全天球カメラ撮像画像表示システム、方法及びプログラム

(51)【国際特許分類】

   H04N 21/2343 20110101AFI20181112BHJP

   H04N 21/2187 20110101ALI20181112BHJP

【ＦＩ】

   H04N21/2343

   H04N21/2187

【請求項の数】10

【全頁数】14

(21)【出願番号】特願2018-524677(P2018-524677)

(86)(22)【出願日】2016年6月30日

(86)【国際出願番号】JP2016069506

(87)【国際公開番号】WO2018003081

(87)【国際公開日】20180104

【審査請求日】2018年8月27日

【早期審査対象出願】

(73)【特許権者】

【識別番号】500521522

【氏名又は名称】株式会社オプティム

(74)【代理人】

【識別番号】100177220

【弁理士】

【氏名又は名称】小木 智彦

(72)【発明者】

【氏名】菅谷 俊二

【審査官】 富樫 明

(56)【参考文献】

【文献】 特開２０１５−２２０５９５（ＪＰ，Ａ）

【文献】 特開２０１６−１００２１（ＪＰ，Ａ）

【文献】 特開２０１１−２４９８６５（ＪＰ，Ａ）

【文献】 特開２０１５−１７０８６６（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ ２１／００−２１／８５８

(57)【特許請求の範囲】

【請求項1】

全天球カメラで撮像された３６０度の撮像画像を、複数のユーザ端末に表示する全天球カメラ撮像画像表示システムであって、
前記全天球カメラで撮像された３６０度の撮像画像を取得する撮像画像取得手段と、
前記取得された撮像画像を複数のユーザ端末に配信する撮像画像配信手段と、
前記複数のユーザ端末のそれぞれのユーザから、操作入力を受け付ける操作入力受付手段と、
前記受け付けたそれぞれのユーザからの操作入力に基づいて、前記配信された撮像画像の３６０度の内の任意の一部分を、それぞれユーザ端末に表示する撮像画像表示手段と、
全天球カメラの周囲の音を集音する複数の集音手段と、
前記表示させた任意の一部分の中心が、他の位置に移動した場合、当該移動にあわせて段階的に合成した音を、集音した音として出力する音出力手段と、
を備えることを特徴とする全天球カメラ撮像画像表示システム。

【請求項2】

前記操作入力受付手段が、前記受け付けた操作入力とは異なる操作入力を受け付けた場合に、
前記撮像画像表示手段は、前記表示された撮像画像の３６０度の内の任意の一部分以外の部分を表示することを特徴とする請求項１に記載の全天球カメラ撮像画像表示システム。

【請求項3】

前記それぞれのユーザから要求を受け付ける要求受付手段と、
前記受け付けた要求に基づく要求画像を、前記それぞれのユーザが操作するユーザ端末に配信する要求画像配信手段と、を備え、
前記撮像画像表示手段は、前記配信された要求画像を、前記それぞれのユーザが操作するユーザ端末に表示することを特徴とする請求項１に記載の全天球カメラ撮像画像表示システム。

【請求項4】

前記表示された撮像画像の３６０度の内の任意の一部分の方向に応じて、前記音出力手段で出力する音を調整する音調整手段と、
を備えることを特徴とする請求項１に記載の全天球カメラ撮像画像表示システム。

【請求項5】

前記音調整手段は、前記複数の集音手段によって集音された音を合成して音を調整することを特徴とする請求項４に記載の全天球カメラ撮像画像表示システム。

【請求項6】

前記取得された撮像画像のキャッシュを作成するキャッシュ作成手段と、を備え、
前記撮像画像配信手段は、前記作成された撮像画像のキャッシュを複数のユーザ端末に配信することを特徴とする請求項１に記載の全天球カメラ撮像画像表示システム。

【請求項7】

前記撮像画像配信手段は、前記複数のユーザ端末に順次配信することを特徴とする請求項１に記載の全天球カメラ撮像画像表示システム。

【請求項8】

前記撮像画像配信手段は、前記複数のユーザ端末に均等になるように配信することを特徴とする請求項１に記載の全天球カメラ撮像画像表示システム。

【請求項9】

全天球カメラで撮像された３６０度の撮像画像を、複数のユーザ端末に表示する全天球カメラ撮像画像表示システムが実行する方法であって、
前記全天球カメラで撮像された３６０度の撮像画像を取得するステップと、
前記取得された撮像画像を複数のユーザ端末に配信するステップと、
前記複数のユーザ端末のそれぞれのユーザから、操作入力を受け付けるステップと、
前記受け付けたそれぞれのユーザからの操作入力に基づいて、前記配信された撮像画像の３６０度の内の任意の一部分を、それぞれユーザ端末に表示するステップと、
全天球カメラの周囲の音を集音するステップと、
前記表示させた任意の一部分の中心が、他の位置に移動した場合、当該移動にあわせて段階的に合成した音を、集音した音として出力するステップと、
を備えることを特徴とする方法。

【請求項10】

全天球カメラで撮像された３６０度の撮像画像を、複数のユーザ端末に表示する全天球カメラ撮像画像表示システムに、
前記全天球カメラで撮像された３６０度の撮像画像を取得するステップ、
前記取得された撮像画像を複数のユーザ端末に配信するステップ、
前記複数のユーザ端末のそれぞれのユーザから、操作入力を受け付けるステップ、
前記受け付けたそれぞれのユーザからの操作入力に基づいて、前記配信された撮像画像の３６０度の内の任意の一部分を、それぞれユーザ端末に表示するステップ、
全天球カメラの周囲の音を集音するステップ、
前記表示させた任意の一部分の中心が、他の位置に移動した場合、当該移動にあわせて段階的に合成した音を、集音した音として出力するステップ、
を実行させるためのコンピュータ読み取り可能なプログラム

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、全天球カメラで撮像された３６０度の撮像画像を、複数のユーザ端末に表示する全天球カメラ撮像画像表示システム、方法及びプログラムに関する。

【背景技術】

【0002】

近年、レンズの位置を中心に３６０度の範囲を撮像可能な全天球カメラが普及している。このような全天球カメラは、広範囲の撮像が可能なため、様々な状況で利用されている。

【0003】

例えば、構造物の点検装置は、無線操縦式の回転翼機に、構造物表面の画像を連続的に撮影する全天球カメラが搭載され、全天球カメラで撮影された画像が、管理端末に送信され、処理部で画像を画像解析して、構造物に不良があるか否かを判定する構造物の点検装置が提案されている（特許文献１参照）。特許文献１の点検装置によれば、全天球カメラを用いることで、構造物表面を、より広範囲に撮像できる。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２０１５−１９４０６９号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、特許文献１の点検装置では、全天球カメラで撮影された画像は限られた端末にだけ送信するが、全天球カメラの利用状況によっては、この全天球カメラで撮影された画像を、多数の端末に送信したい場合がある。例えば、コンサートやスポーツ競技の様子を全天球カメラで撮像し、この全天球カメラで撮像された３６０度の画像を多数の端末に配信することで、コンサート開場やスポーツ競技場等にいない者も、コンサート開場やスポーツ競技場等の様子を、多様な角度から視ることができる。

【0006】

本発明は、これらの課題に鑑み、全天球カメラで撮影した同一の３６０度の画像を複数人の複数の独立した視点で見ることが可能となる全天球カメラ撮像画像表示システム、方法及びプログラムを提供することを目的とする。

【課題を解決するための手段】

【0007】

本発明では、以下のような解決手段を提供する。

【0008】

第１の特徴に係る発明は、
全天球カメラで撮像された３６０度の撮像画像を、複数のユーザ端末に表示する全天球カメラ撮像画像表示システムであって、
前記全天球カメラで撮像された３６０度の撮像画像を取得する撮像画像取得手段と、
前記取得された撮像画像を複数のユーザ端末に配信する撮像画像配信手段と、
前記複数のユーザ端末のそれぞれのユーザから、操作入力を受け付ける操作入力受付手段と、
前記受付けたそれぞれのユーザからの操作入力に基づいて、前記配信された撮像画像の３６０度の内の任意の一部分を、それぞれユーザ端末に表示する撮像画像表示手段と、
を備えることを特徴とする全天球カメラ撮像画像表示システムを提供する。

【0009】

第１の特徴に係る発明によれば、複数のユーザ端末のそれぞれのユーザからの操作入力に基づいて、全天球カメラで撮像された撮像画像の内の任意の一部分を、それぞれユーザ端末に表示できる。したがって、全天球カメラで撮影した同一の３６０度の画像を複数人の複数の独立した視点で見ることが可能となる全天球カメラ撮像画像表示システムを提供できる。

【0010】

第１の特徴に係る発明は、システムのカテゴリであるが、方法及びプログラムであっても同様の作用、効果を奏する。

【0011】

第２の特徴に係る発明は、第１の特徴に係る発明に加え、
前記操作入力受付手段が、前記受付けた操作入力とは異なる操作入力を受付けた場合に、
前記撮像画像表示手段は、前記表示された撮像画像の３６０度の内の任意の一部分以外の部分を表示することを特徴とする全天球カメラ撮像画像表示システムを提供する。

【0012】

第２の特徴に係る発明によれば、異なる操作入力を行うことで、撮像画像の３６０度の内の表示する部分を動かすことができる。したがって、全天球カメラで撮影した同一の３６０度の画像を複数人の複数の独立した視点を動かして見ることが可能となる全天球カメラ撮像画像表示システムを提供できる。

【0013】

第３の特徴に係る発明は、第１の特徴に係る発明に加え、
前記それぞれのユーザから要求を受付ける要求受付手段と、
前記受付けた要求に基づく要求画像を、前記それぞれのユーザが操作するユーザ端末に配信する要求画像配信手段と、を備え、
前記撮像画像表示手段は、前記配信された要求画像を、前記それぞれのユーザが操作するユーザ端末に表示することを特徴とする全天球カメラ撮像画像表示システムを提供する。

【0014】

第３の特徴に係る発明によれば、それぞれのユーザからの要求に基づく要求画像を、それぞれのユーザが操作するユーザ端末に表示することできる。したがって、全天球カメラで撮影した同一の３６０度の画像を複数人の複数の独立した要求に基づく視点で見ることが可能となる全天球カメラ撮像画像表示システムを提供できる。

【0015】

第４の特徴に係る発明は、第１の特徴に係る発明に加え、
全天球カメラの周囲の音を集音する複数の集音手段と、
前記集音された音を出力する音出力手段と、
前記表示された撮像画像の３６０度の内の任意の一部分の方向に応じて、前記音出力手段で出力する音を調整する音調整手段と、
を備えることを特徴とする全天球カメラ撮像画像表示システムを提供する。

【0016】

第４の特徴に係る発明によれば、それぞれのユーザからの操作入力に基づく、撮像画像の３６０度の内の任意の一部分の方向に応じて、出力する音を調整できる。したがって、全天球カメラで撮影した同一の３６０度の画像を複数人の複数の独立した視点で見ることが可能であるとともに、この独立した視点に応じた音を聞くことが可能となる全天球カメラ撮像画像表示システムを提供できる。

【0017】

第５の特徴に係る発明は、第４の特徴に係る発明に加え、
前記音調整手段は、前記複数の集音手段によって集音された音を合成して音を調整することを特徴とする全天球カメラ撮像画像表示システムを提供する。

【0018】

第５の特徴に係る発明によれば、それぞれのユーザからの操作入力に基づく、撮像画像の３６０度の内の任意の一部分の方向に応じて、出力する音を、集音された音を合成して調整できる。したがって、全天球カメラで撮影した同一の３６０度の画像を複数人の複数の独立した視点で見ることが可能であるとともに、集音するマイクが３６０度に亘って配置されていなくとも、この独立した視点に応じた音を聞くことが可能となる全天球カメラ撮像画像表示システムを提供できる。

【0019】

第６の特徴に係る発明は、第１の特徴に係る発明に加え、
前記取得された撮像画像のキャッシュを作成するキャッシュ作成手段と、
前記撮像画像配信手段は、前記作成された撮像画像のキャッシュを複数のユーザ端末に配信することを特徴とする全天球カメラ撮像画像表示システムを提供する。

【0020】

第６の特徴に係る発明によれば、撮像画像のキャッシュを作成し、このキャッシュを複数のユーザ端末に配信するので、取得した撮像画像を、直接、複数のユーザ端末に配信する場合に比べ、全天球カメラ撮像画像表示システムの負荷が分散され、より多くのユーザ端末に安定して撮像画像を配信可能となる。

【0021】

第７の特徴に係る発明は、第１の特徴に係る発明に加え、
前記撮像画像配信手段は、前記複数のユーザ端末に順次配信することを特徴とする全天球カメラ撮像画像表示システムを提供する。

【0022】

第７の特徴に係る発明によれば、複数のユーザ端末に、撮像画像を順次配信するので、取得した撮像画像を、複数のユーザ端末に同一のタイミングで配信する場合に比べ、全天球カメラ撮像画像表示システムの負荷が分散され、より多くのユーザ端末に安定して撮像画像を配信可能となる。

【0023】

第８の特徴に係る発明は、第１の特徴に係る発明に加え、
前記撮像画像配信手段は、前記複数のユーザ端末に均等になるように配信することを特徴とする全天球カメラ撮像画像表示システムを提供する。

【0024】

第８の特徴に係る発明によれば、複数のユーザ端末に、撮像画像を均等になるように配信するので、複数のユーザ端末のそれぞれに同様のスピードで、撮像画像を配信可能となる。

【発明の効果】

【0025】

本発明によれば、全天球カメラで撮影した同一の３６０度の画像を複数人の複数の独立した視点で見ることが可能となる全天球カメラ撮像画像表示システム、方法及びプログラムを提供することが可能となる。

【図面の簡単な説明】

【0026】

【図1】図１は、本発明の好適な実施形態である全天球カメラ撮像画像表示システム１の概要を説明するための図である。

【図2】図２は、全天球カメラ撮像画像表示システム１の機能ブロックと各機能の関係を示す図である。

【図3】図３は、全天球カメラ撮像画像表示システム１の機能ブロックと各機能の関係を示す図である。

【図4】図４は、全天球カメラ撮像画像表示システム１が実行する撮像画像表示処理のフローチャートである。

【図5】図５は、端末３０の音調整モジュール４０による音調整の一例を説明する図である。

【図6】図６は、本発明の好適な実施形態である全天球カメラ撮像画像表示システム１Ａの概要を説明するための図である。

【図7】図７は、全天球カメラ撮像画像表示システム１Ａの画像作成サーバ５０の機能ブロックと各機能の関係を示す図である。

【図8】図８は、全天球カメラ撮像画像表示システム１Ａの画像作成サーバ５０が実行する要求画像作成処理のフローチャートである。

【発明を実施するための形態】

【0027】

以下、本発明を実施するための最良の形態について図を参照しながら説明する。なお、これはあくまでも一例であって、本発明の技術的範囲はこれに限られるものではない。

【0028】

［全天球カメラ撮像画像表示システムの概要］
図１は、本発明の好適な実施形態である全天球カメラ撮像画像表示システム１の概要を説明するための図である。この図１に基づいて、全天球カメラ撮像画像表示システム１の概要を説明する。全天球カメラ撮像画像表示システム１は、撮像画像取得サーバ１０と、キャッシュサーバ２０と、端末３０と、を備え、全天球カメラ５で撮像された３６０度の撮像画像を、複数の端末３０に表示する。

【0029】

全天球カメラ撮像画像表示システム１において、全天球カメラ５は、例えば、複数の人に見られる特定の被写体を、正面で撮像可能な位置に配置される。具体的には、全天球カメラ５は、コンサート会場の略中央や奏者を正面で撮像可能な位置や、競技場の略中央や選手を正面で撮像可能な位置に配置される。

【0030】

詳細には、撮像画像取得サーバ１０は、全天球カメラ５で撮像された３６０度の撮像画像を取得し、取得した撮像画像を複数のキャッシュサーバ２０に送信する。キャッシュサーバ２０は、受信した撮像画像のキャッシュを作成し、作成した撮像画像のキャッシュを複数の端末３０に配信する。

【0031】

複数の端末３０は、３６０度の撮像画像を受信し、それぞれ、端末３０を操作するユーザから、操作入力を受け付け、ユーザからの操作入力に基づいて、配信された撮像画像の３６０度の内の任意の一部分を、表示する。

【0032】

また、複数の端末３０は、ユーザから受付けた操作入力とは異なる操作入力を受付けた場合に、表示された撮像画像の３６０度の内の任意の一部分以外の部分を表示する。即ち、端末３０は、ユーザからの操作入力の態様に応じて、表示する撮像画像の３６０度の内の任意の一部分を変化させる。

【0033】

このような全天球カメラ撮像画像表示システム１によれば、複数の端末３０のそれぞれのユーザからの操作入力に基づいて、全天球カメラ５で撮像された撮像画像の内の任意の一部分を、それぞれ端末３０に表示できる。したがって、全天球カメラ５で撮影した同一の３６０度の画像を複数人の複数の独立した視点で見ることが可能となる。

【0034】

また、全天球カメラ撮像画像表示システム１によれば、ユーザが異なる操作入力を行うことで、撮像画像の３６０度の内の表示する部分を動かすことができる。したがって、全天球カメラで撮影した同一の３６０度の画像を複数人の複数の独立した視点を動かして見ることが可能となる。

【0035】

また、全天球カメラ撮像画像表示システム１によれば、キャッシュサーバ２０により、撮像画像のキャッシュを作成し、このキャッシュを複数の端末３０に配信するので、取得した撮像画像を、直接、撮像画像取得サーバ１０から複数の端末３０に配信する場合に比べ、全天球カメラ撮像画像表示システム１の負荷が分散され、より多くの端末３０に安定して撮像画像を配信可能となる。

【0036】

［各機能の説明］
図２及び図３は、全天球カメラ撮像画像表示システム１の機能ブロックと各機能の関係を示す図である。図２に示すように、全天球カメラ撮像画像表示システム１において、全天球カメラ５及び複数のマイク６Ｌ，６Ｒ，６Ｆ，６Ｂは、撮像画像取得サーバ１０と有線又は無線により接続されている。撮像画像取得サーバ１０と複数のキャッシュサーバ２０は、互いに公衆回線網を介してそれぞれ通信可能に接続されている。また、キャッシュサーバ２０と複数の端末３０は、互いに公衆回線網を介してそれぞれ通信可能に接続されている。

【0037】

全天球カメラ５は、複数のレンズと撮像素子を備え、複数のレンズをその光軸が放射状に配置し、上下左右全方位の３６０度の範囲を、複数の撮像素子に結像し、各撮像素子で結像した画像データを、撮像画像取得サーバ１０に送信する。

【0038】

マイク６Ｌ，６Ｒ，６Ｆ，６Ｂは、マイクロフォンで構成され、集音した音を電気信号に変換する。例えば、全天球カメラ５の中心を通る前後方向と、全天球カメラ５の中心で交差し、前後方向と直交する左右方向を設定した場合に、マイク６Ｌは、左右方向において、前方に向いて全天球カメラ５の左側近傍に設けられ、マイク６Ｒは、左右方向において、前方に向いて全天球カメラ５の右側近傍に設けられ、マイク６Ｆは、前後方向において、全天球カメラ５の前側近傍に設けられ、マイク６Ｂは、前後方向において、全天球カメラ５の後側近傍に設けられている。マイク６Ｌ，６Ｒ，６Ｆ，６Ｂは、それぞれ集音した音データを、撮像画像取得サーバ１０に送信する。このようなマイク６Ｌ，６Ｒ，６Ｆ，６Ｂは、全天球カメラの周囲の音を集音する複数の集音手段として機能する。

【0039】

撮像画像取得サーバ１０は、後述の機能を備えた一般的なサーバであり、制御部１１として、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ），ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ），ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）等を備え、記憶部１２として、ハードディスクや半導体メモリによる、データのストレージ部を備え、通信部１３として、例えば、ＩＥＥＥ８０２．１１に準拠したＷｉＦｉ（Ｗｉｒｅｌｅｓｓ Ｆｉｄｅｌｉｔｙ）対応デバイス又は、第３世代、第４世代移動通信システム等のＩＭＴ−２０００規格に準拠した無線デバイス等を備える。記憶部１２は、撮像画像取得プログラム１００、全天球カメラ５から取得した複数の画像データやこれら複数の画像データを合成した３６０度の撮像画像データ、マイク６Ｌ，６Ｒ，６Ｆ，６Ｂで取得した音データやこれらの音データ、その他、撮像画像取得サーバ１０の制御に必要なデータを記憶する。

【0040】

なお、本実施形態において、全天球カメラ５は、１つであるが、これに限らず、複数設け、例えば、特定の被写体を囲むように配置してもよい。この場合、複数の全天球カメラ５でそれぞれ撮像された画像データに基づく、それぞれの３６０度の撮像画像データを、撮像画像取得サーバ１０や端末３０において、選択可能としてもよい。

【0041】

撮像画像取得サーバ１０において、制御部１１が撮像画像取得プログラム１００を読み込むことで、記憶部１２及び通信部１３と協働して、撮像画像取得モジュール１４及び撮像画像送信モジュール１５を実現する。

【0042】

キャッシュサーバ２０は、後述の機能を備えた一般的なサーバであり、撮像画像取得サーバ１０と同様に、制御部２１として、ＣＰＵ，ＲＡＭ，ＲＯＭ等を備え、記憶部２２として、ハードディスクや半導体メモリによる、データのストレージ部を備え、通信部２３として、例えば、ＩＥＥＥ８０２．１１に準拠したＷｉＦｉ対応デバイス又は、第３世代、第４世代移動通信システム等のＩＭＴ−２０００規格に準拠した無線デバイス等を備える。記憶部２２は、撮像画像配信プログラム２００、撮像画像取得サーバ１０から受信した３６０度の撮像画像データや出力用音データ、その他、キャッシュサーバ２０の制御に必要なデータを記憶する。

【0043】

キャッシュサーバ２０において、制御部２１が撮像画像配信プログラム２００を読み込むことで、記憶部２２及び通信部２３と協働して、撮像画像受信モジュール２４、撮像画像配信モジュール２５を実現する。

【0044】

端末３０は、通信部を備えた一般的な情報端末であってよく、後述する機能を備える情報機器であり、例えば、携帯電話、スマートフォン、ネットブック端末、スレート端末、電子書籍端末、電子辞書端末、携帯型音楽プレーヤ、携帯型コンテンツ再生・録画プレーヤといった携帯型端末であってもよいし、パーソナルコンピュータといった据え置き型の端末であってもよい。

【0045】

図３に示すように、端末３０は、撮像画像取得サーバ１０と同様に、制御部３１として、ＣＰＵ，ＲＡＭ，ＲＯＭ等を備え、記憶部３２として、データのストレージ部を備え、通信部３３として、例えば、ＩＥＥＥ８０２．１１に準拠したＷｉＦｉ対応デバイスを備え（有線であってもよい）、入力部３４として、タッチパネルやキーボードマウス等による入力手段を備え、表示部３５として、タッチパネルやディスプレイ等による表示手段を備え、集音された音を出力する音出力手段である音出力部３６として、スピーカ等を備える。記憶部３２は、撮像画像表示プログラム３００、キャッシュサーバ２０から配信された３６０度の撮像画像データや出力用音データ、その他、端末３０の制御に必要なデータを記憶する。

【0046】

端末３０において、制御部３１が撮像画像表示プログラム３００を読み込むことで、記憶部３２及び通信部３３と協働して、撮像画像受信モジュール３７を実現し、入力部３４と協働して、操作入力受付モジュール３８を実現し、表示部３５と協働して、撮像画像表示モジュール３９を実現し、音出力部３６と協働して、音調整モジュール４０を実現する。

【0047】

［撮像画像表示処理］
図４は、全天球カメラ撮像画像表示システム１が実行する撮像画像表示処理のフローチャートである。上述した各モジュールが行う処理について、本処理にて併せて説明する。まず、撮像画像取得サーバ１０は、全天球カメラ５を制御し、複数のレンズを通して撮像された画像データ及びマイク６Ｌ，６Ｒ，６Ｆ，６Ｂで集音した音データを受信する。

【0048】

ステップＳ１において、撮像画像取得サーバ１０の撮像画像取得モジュール１４は、全天球カメラ５で撮像された３６０度の撮像画像を取得する。詳細には、撮像画像取得モジュール１４は、全天球カメラ５から受信した複数のレンズを通して撮像された画像データを合成して、３６０度の撮像画像データを作成し、作成した３６０度の撮像画像データと、受信した音データと、を対応付けて、記憶部１２に記憶する。

【0049】

ステップＳ２において、撮像画像取得サーバ１０の撮像画像送信モジュール１５は、記憶部１２に記憶された、３６０度の撮像画像データ及び音データを、複数のキャッシュサーバ２０に送信する。各キャッシュサーバ２０の撮像画像受信モジュール２４は、撮像画像取得サーバ１０から３６０度の撮像画像データ及び音データを受信する。そして、各キャッシュサーバ２０の撮像画像配信モジュール２５は、撮像画像受信モジュール２４が受信した３６０度の撮像画像データ及び音データを、複数の端末３０に、順次又は均等に配信する。各端末３０の撮像画像受信モジュール３７は、キャッシュサーバ２０から３６０度の撮像画像データ及び音データを受信する。

【0050】

ステップＳ３において、各端末３０の撮像画像表示モジュール３９は、配信された撮像画像の３６０度の内の任意の一部分を表示する。詳細には、撮像画像表示モジュール３９は、ステップＳ２で撮像画像受信モジュール３７が受信した３６０度の撮像画像データに基づき、３６０度の内の任意の一部分の撮像画像（例えば、予め設定された正面を中心とする撮像画像）を表示部３５に表示する。また、本ステップにおいて、各端末３０の音調整モジュール４０は、ステップＳ２で撮像画像受信モジュール３７が受信した音データに基づき、複数のマイク６Ｌ，６Ｒ，６Ｆ，６Ｂで集音した音データの内の任意の一部分（例えば、予め設定された正面を中心とする撮像画像に対応付けられたマイク６Ｌ，６Ｒで集音した音データ）を、音出力部３６から出力する。

【0051】

ステップＳ４において、複数の端末３０の操作入力受付モジュール３８は、それぞれのユーザから、入力部３４の操作入力（例えば、表示部３５に表示された撮像画像に対する入力部３４によるドラッグ操作等）を受け付ける。

【0052】

ステップＳ５において、端末３０の撮像画像表示モジュール３９は、ステップＳ４で操作入力受付モジュール３８が受け付けた入力部３４の操作入力に応じて、表示部３５に、表示された撮像画像の３６０度の内の任意の一部分以外の部分を表示する。例えば、撮像画像表示モジュール３９は、入力部３４の操作入力が、表示部３５に表示された撮像画像に対する入力部３４による所定方向へのドラッグ操作であった場合、３６０度の撮像画像データの内、ステップＳ３で表示部３５に表示する範囲を、所定方向へ移動する。

【0053】

また、本ステップにおいて、各端末３０の音調整モジュール４０は、ステップＳ４で操作入力受付モジュール３８が受け付けた入力部３４の操作入力に応じて、音出力部３６から出力している音データの内の任意の一部分以外の部分を出力する。

【0054】

図５は、端末３０の音調整モジュール４０による音調整の一例を説明する図である。音調整モジュール４０は、３６０度の撮像画像データの内、ステップＳ３で表示部３５に表示する範囲３５ａの中心が、全天球カメラの予め設定された正面方向に対して左側９０度の位置であれば、マイク６Ｆ，６Ｂで集音した音データを、合成して音出力部３６から出力する。

【0055】

その後、ユーザの入力部３４の操作入力により、３６０度の撮像画像データの内、ステップＳ３で表示部３５に表示する範囲の中心が、全天球カメラ５の予め設定された正面方向に対して左側９０度の位置から、当該正面方向を通って、正面方向に対して右側６０度の位置（範囲３５ｂ）に移動した場合について説明する。この場合、音調整モジュール４０は、音出力部３６から出力する音データを、マイク６Ｆ，６Ｂで集音した音データから徐々にマイク６Ｌ，６Ｒで集音した音データに移行させ、その後、マイク６Ｌで集音した音データの音量を下げ、マイク６Ｒで集音した音データの音量を上げて合成して、音出力部３６から出力する。例えば、表示部３５に表示された範囲３５ｂの場合、音調整モジュール４０は、マイク６Ｌ，６Ｒで集音した音データの音量の割合を、１：３で合成して、音出力部３６から出力する。

【0056】

なお、本実施形態では、マイクを全天球カメラ５を中心とする円上に沿って、９０度毎に４つ配置しているが、これに限らず、例えば、より狭い間隔でマイクを配置し、ユーザによる入力部３４の操作入力に応じて、音出力部３６から出力する音データを集音するマイクを切り替えてもよい。

【0057】

［応用例］
次に、本実施形態の応用例に係る全天球カメラ撮像画像表示システム１Ａについて説明する。図６は、本発明の好適な実施形態である全天球カメラ撮像画像表示システム１Ａの概要を説明するための図である。

【0058】

全天球カメラ撮像画像表示システム１Ａは、更に、画像作成サーバ５０を備える点が、全天球カメラ撮像画像表示システム１（図１等参照）と異なる。全天球カメラ撮像画像表示システム１Ａは、全天球カメラ撮像画像表示システム１の機能に加え、ユーザの要望に応じた撮像画像を作成し、端末３０に配信する。

【0059】

［応用例に係る全天球カメラ撮像画像表示システムの概要］
全天球カメラ撮像画像表示システム１Ａは、画像作成サーバ５０において、３６０度の撮像画像データに基づき、特定の被写体や特定のシーンのみの作成撮像画像データを作成する。例えば、全天球カメラ撮像画像表示システム１Ａをスポーツ競技大会で用いた場合、画像作成サーバ５０は、撮像画像取得サーバ１０から受信した３６０度の撮像画像データに基づき、１００ｍ走の競技のみの作成撮像画像データや、特定の選手を追い続けた作成撮像画像データや、開場全体の作成撮像画像データや、観客席の作成撮像画像データ等を作成する。

【0060】

そして、ユーザは、端末３０から、このような画像作成サーバ５０が作成した作成撮像画像データのうち、見たい作成撮像画像データを要求する。画像作成サーバ５０は、端末３０からの要求に応じた作成撮像画像データを、当該端末３０に配信する。

【0061】

［画像作成サーバ５０の機能の説明］
図７は、全天球カメラ撮像画像表示システム１Ａの画像作成サーバ５０の機能ブロックと各機能の関係を示す図である。画像作成サーバ５０は、後述の機能を備えた一般的なサーバであり、撮像画像取得サーバ１０（図２参照）と同様に、制御部５１として、ＣＰＵ，ＲＡＭ，ＲＯＭ等を備え、記憶部５２として、ハードディスクや半導体メモリによる、データのストレージ部を備え、通信部５３として、例えば、ＩＥＥＥ８０２．１１に準拠したＷｉＦｉ対応デバイス又は、第３世代、第４世代移動通信システム等のＩＭＴ−２０００規格に準拠した無線デバイス等を備える。記憶部５２は、画像作成プログラム５００、撮像画像取得サーバ１０から受信した３６０度の撮像画像データや出力用音データ、３６０度の撮像画像データや出力用音データに基づき作成した作成撮像画像データや作成出力用音データ、その他、画像作成サーバ５０の制御に必要なデータを記憶する。

【0062】

画像作成サーバ５０において、制御部５１が画像作成プログラム５００を読み込むことで、記憶部５２及び通信部５３と協働して、撮像画像受信モジュール５４、要求受付モジュール５５、要求画像配信モジュール５７を実現し、記憶部５２と協働して、要求画像作成モジュール５６を実現する。

【0063】

［要求画像作成処理］
図８は、全天球カメラ撮像画像表示システム１Ａの画像作成サーバ５０が実行する要求画像作成処理のフローチャートである。上述した各モジュールが行う処理について、本処理にて併せて説明する。

【0064】

ステップＳ１１において、撮像画像受信モジュール５４は、撮像画像取得サーバ１０から３６０度の撮像画像データ及び音データを受信し、記憶部５２に記憶する。

【0065】

ステップＳ１２において、要求受付モジュール５５は、複数の端末３０それぞれから、ユーザから見たい被写体（例えば、特定の競技、人物、シーン等）についての要求を示す要求情報を受付ける。

【0066】

ステップＳ１３において、要求画像作成モジュール５６は、ステップＳ１２で受信した要求情報に基づく要求画像である作成撮像画像データを、ステップＳ１１で受信した３６０度の撮像画像データ及び音データから切り出して作成する。

【0067】

ステップＳ１４において、要求画像配信モジュール５７は、ステップＳ１３で作成した作成撮像画像データを、要求情報を送信した端末３０に配信する。

【0068】

そして、端末３０は、撮像画像受信モジュール３７（図３参照）により作成撮像画像データを受信し、受信した作成撮像画像データを、撮像画像表示モジュール３９（図３参照）により表示部３５（図３参照）に表示し、作成撮像画像データに含まれる音データを、音調整モジュール４０（図３参照）により音出力部３６（図３参照）から出力する。

【0069】

上述した手段、機能は、コンピュータ（ＣＰＵ，情報処理装置，各種端末を含む）が、所定のプログラムを読み込んで、実行することによって実現される。プログラムは、例えば、フレキシブルディスク、ＣＤ（ＣＤ−ＲＯＭなど）、ＤＶＤ（ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭなど）等のコンピュータ読取可能な記録媒体に記録された形態で提供される。この場合、コンピュータはその記録媒体からプログラムを読み取って内部記憶装置又は外部記憶装置に転送し記憶して実行する。また、そのプログラムを、例えば、磁気ディスク、光ディスク、光磁気ディスク等の記憶装置（記録媒体）に予め記録しておき、その記憶装置から通信回線を介してコンピュータに提供するようにしてもよい。

【0070】

以上、本発明の実施形態について説明したが、本発明は上述したこれらの実施形態に限るものではない。また、本発明の実施形態に記載された効果は、本発明から生じる最も好適な効果を列挙したに過ぎず、本発明による効果は、本発明の実施形態に記載されたものに限定されるものではない。

【符号の説明】

【0071】

１ 全天球カメラ撮像画像表示システム、５ 全天球カメラ、１４ 撮像画像取得モジュール、２５ 撮像画像配信モジュール、３８ 操作入力受付モジュール、３９ 撮像画像表示モジュール

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】