特許 6178524 パノラマ動画再生装置、パノラマ動画編集装置、パノラマ動画再生方法、パノラマ動画再生プログラム、パノラマ動画再生システム及びパノラマ動画送信装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6178524

(24)【登録日】2017年7月21日

(45)【発行日】2017年8月9日

(54)【発明の名称】パノラマ動画再生装置、パノラマ動画編集装置、パノラマ動画再生方法、パノラマ動画再生プログラム、パノラマ動画再生システム及びパノラマ動画送信装置

(51)【国際特許分類】

   H04N 5/93 20060101AFI20170731BHJP

   H04N 21/4728 20110101ALI20170731BHJP

   H04N 21/2187 20110101ALI20170731BHJP

   H04N 5/225 20060101ALI20170731BHJP

【ＦＩ】

   H04N5/93

   H04N21/4728

   H04N21/2187

   H04N5/225

【請求項の数】14

【全頁数】33

(21)【出願番号】特願2016-575237(P2016-575237)

(86)(22)【出願日】2016年7月28日

(86)【国際出願番号】JP2016072228

(87)【国際公開番号】WO2017022641

(87)【国際公開日】20170209

【審査請求日】2016年12月28日

(31)【優先権主張番号】特願2015-152269(P2015-152269)

(32)【優先日】2015年7月31日

(33)【優先権主張国】JP

【早期審査対象出願】

(73)【特許権者】

【識別番号】514202871

【氏名又は名称】カディンチェ株式会社

(74)【代理人】

【識別番号】100154634

【弁理士】

【氏名又は名称】吉田 みさ子

(72)【発明者】

【氏名】青木 崇行

(72)【発明者】

【氏名】内田 和隆

(72)【発明者】

【氏名】福本 駿

【審査官】 堀 洋介

(56)【参考文献】

【文献】 特開２０１３−２５０４７０（ＪＰ，Ａ）

【文献】 特開２０１４−１６５７６３（ＪＰ，Ａ）

【文献】 特開平１０−１９１２６１（ＪＰ，Ａ）

【文献】 特開２０１３−２５０８２９（ＪＰ，Ａ）

【文献】 特開２０１３−１８３２０９（ＪＰ，Ａ）

【文献】 特開２０１２−１４２８６０（ＪＰ，Ａ）

【文献】 国際公開第２０１２／０４３３５７（ＷＯ，Ａ１）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ ５／９３

Ｈ０４Ｎ ５／２２５

Ｈ０４Ｎ ２１／２１８７

Ｈ０４Ｎ ２１／４７２８

(57)【特許請求の範囲】

【請求項1】

同時に撮影され、所定の時間情報によって関連づけて記憶された複数のパノラマ画像データを取得する取得手段と、
前記複数のパノラマ画像データのうち、選択された一のパノラマ画像データを再生対象として、当該再生対象の一部を切り出して表示画像とし、表示装置に表示させる再生制御手段と、
前記再生対象における所定の再生時点を再生している際、ユーザの切替要求に応じて、前記時間情報に基づき前記再生時点における他のパノラマ画像データへ再生対象を切り替える切替制御手段とを有し、
前記再生制御手段は、
前記複数のパノラマ画像データに共通する共通指標に基づいて設定された中心座標から前記表示画像の中心となる視点座標を決定する
ことを特徴とするパノラマ動画再生装置。

【請求項2】

前記再生制御手段は、
ユーザの切替要求に応じて前記他のパノラマ画像データへ再生対象を切り替える際、共通指標設定処理において設定された共通指標座標に基づいて前記他のパノラマ画像データにおける表示画像を前記表示装置に表示させる
ことを特徴とする請求項１に記載のパノラマ動画再生装置。

【請求項3】

前記ユーザの切替要求は、
撮影されることにより前記表示画像内に表示され、前記複数のパノラマ画像データが撮影されたカメラ若しくは当該カメラが搭載されたオブジェクトを指定することにより実行される
ことを特徴とする請求項１又は請求項２に記載のパノラマ動画再生装置。

【請求項4】

前記複数のパノラマ画像データが撮影されたカメラ若しくは当該カメラが搭載されたオブジェクトの座標情報を記憶する記憶手段を有し、
前記切替制御手段は、
前記座標情報に基づいて、前記複数のパノラマ画像データが撮影されたカメラ若しくは当該カメラが搭載されたオブジェクトが指定されたことを認識する
ことを特徴とする請求項３に記載のパノラマ動画再生装置。

【請求項5】

前記再生制御手段は、
切替前の前記複数のパノラマ画像データが撮影されたカメラ若しくは当該カメラが搭載されたオブジェクトが映っている表示画像を、切替直後に前記表示装置に表示させる
ことを特徴とする請求項３又は請求項４に記載のパノラマ動画再生装置。

【請求項6】

前記再生制御手段は、
切替前と同じ視点座標の表示画像を、切替直後に前記表示装置に表示させる
ことを特徴とする請求項３〜５のいずれかに記載のパノラマ動画再生装置。

【請求項7】

前記複数のパノラマ画像データから、予め設定された検出対象を検出する検出手段と、
所定の優先順位に従って前記検出対象が検出されたパノラマ画像データから一のパノラマ画像データを選択し、当該選択された一のパノラマ画像データを前記再生対象に切り替える切替制御手段と
を有することを特徴とする請求項１に記載のパノラマ動画再生装置。

【請求項8】

前記検出対象は、
予め設定されたオブジェクト又はイベントである
ことを特徴とする請求項７に記載のパノラマ動画再生装置。

【請求項9】

同時に撮影され、所定の時間情報によって関連づけて記憶された複数のパノラマ画像データのうち、選択された一のパノラマ画像データを再生対象として、当該再生対象の一部を切り出して表示画像とし、表示手段に表示させる際、中心座標に基づいて視点座標を決定する再生制御手段と、前記再生対象における所定の再生時点を再生している際、ユーザの切替要求に応じて、前記時間情報に基づき前記再生時点における他のパノラマ画像データへ再生対象を切り替える切替制御手段とを有する動画再生装置において再生される複数のパノラマ画像データに対し、
該複数のパノラマ画像データに共通する共通指標に基づいてパノラマ画像ごとに前記中心座標を設定する設定手段
を有することを特徴とするパノラマ動画編集装置。

【請求項10】

同時に撮影され、所定の時間情報によって関連づけて記憶された複数のパノラマ画像データを取得する取得手段と、
前記複数のパノラマ画像データに対し、前記複数のパノラマ画像データに共通する共通指標に基づいてパノラマ画像ごとに中心座標を設定する設定手段と、
前記複数のパノラマ画像データ及び前記中心座標を送信する送信手段と、
送信された前記複数のパノラマ画像データのうち、選択された一のパノラマ画像データを再生対象として、当該再生対象の一部を切り出して表示画像とし、表示手段に表示させる際、前記中心座標に基づいて視点座標を決定する再生制御手段と、前記再生対象における所定の再生時点を再生している際、ユーザの切替要求に応じて、前記時間情報に基づき前記再生時点における他のパノラマ画像データへ再生対象を切り替える切替制御手段とを有する動画再生装置と
を有することを特徴とするパノラマ動画再生システム。

【請求項11】

前記共通指標は、
撮影時において取得された測定情報に基づいて生成された方角、又は前記複数のパノラマ画像データにおいて共通して撮影された風景やオブジェクトなどの被撮影対象を撮影した共通画像領域である
ことを特徴とする請求項１０に記載のパノラマ動画再生システム。

【請求項12】

同時に撮影された複数のパノラマ画像データを所定の時間情報によって関連づけて記憶する記憶ステップと、
前記複数のパノラマ画像データのうち、選択された一のパノラマ画像データを再生対象として、当該再生対象の一部を切り出して表示画像とし、表示装置に表示させる再生制御ステップと、
前記再生対象における所定の再生時点を再生している際、ユーザの切替要求に応じて、前記時間情報に基づき前記再生時点における他のパノラマ画像データへ再生対象を切り替える切替制御ステップとを有し、
前記再生制御ステップでは、
前記複数のパノラマ画像データに共通する共通指標に基づいて前記表示画像の中心となる視点座標を決定する
を有することを特徴とするパノラマ動画再生方法。

【請求項13】

同時に撮影された複数のパノラマ画像データを所定の時間情報によって関連づけて記憶する記憶ステップと、
前記複数のパノラマ画像データのうち、選択された一のパノラマ画像データを再生対象として、当該再生対象の一部を切り出して表示画像とし、表示装置に表示させる再生制御ステップと、
前記再生対象における所定の再生時点を再生している際、ユーザの切替要求に応じて、前記時間情報に基づき前記再生時点における他のパノラマ画像データへ再生対象を切り替える切替制御ステップとを有し、
前記再生制御ステップでは、
前記複数のパノラマ画像データに共通する共通指標に基づいて前記表示画像の中心となる視点座標を決定する
ことを特徴とするパノラマ動画再生プログラム。

【請求項14】

同時に撮影され、所定の時間情報によって関連づけて記憶された複数のパノラマ画像データのうち、選択された一のパノラマ画像データを再生対象として、当該再生対象の一部を切り出して表示画像とし、表示手段に表示させる際、中心座標に基づいて視点座標を決定する再生制御手段と、前記再生対象における所定の再生時点を再生している際、ユーザの切替要求に応じて、前記時間情報に基づき前記再生時点における他のパノラマ画像データへ再生対象を切り替える切替制御手段とを有する動画再生装置において再生される複数のパノラマ画像データに対し、
該複数のパノラマ画像データに共通する共通指標に基づいてパノラマ画像ごとに設定された前記中心座標を送信する送信手段
を有することを特徴とするパノラマ動画送信装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、動画再生装置、動画再生方法及び動画再生プログラムに関し、特に広い画角の画像を再生する際に好適なものである。

【背景技術】

【0002】

従来、画角の広い画像はパノラマ画像と呼ばれており、監視カメラやテレビ会議の用途において、広く使用されている。このパノラマ画像の中には、全天球や半天球と呼ばれるような３６０°の画角で撮影されたものがある。

【0003】

このような超広画角のパノラマ画像では、人間の目に自然に感じるように一度に表示するのは困難であり、撮影されたパノラマ画像から、ユーザの視点に応じた箇所の画像を切り出して表示装置に表示させるようになされている。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２０１４−１６５７６３号

【発明の概要】

【発明が解決しようとする課題】

【0005】

ところで、かかるパノラマ画像では、一段と娯楽性を高めたいという要望があった。

【0006】

本発明はこのような問題を解決するためになされたもので、その目的は、娯楽性を高めることができる動画再生装置、動画再生方法、動画再生プログラム、動画再生システム及び動画送信装置を提供するものである。

【課題を解決するための手段】

【0007】

かかる課題を解決するため、本発明の動画再生装置は、
同時に撮影され、所定の時間情報によって関連づけて記憶された複数のパノラマ画像データを取得する取得手段と、
前記複数のパノラマ画像データのうち、選択された一のパノラマ画像データを再生対象として、当該再生対象の一部を切り出して表示画像とし、表示装置に表示させる再生制御手段と、
前記再生対象における所定の再生時点を再生している際、ユーザの切替要求に応じて、前記時間情報に基づき前記再生時点における他のパノラマ画像データへ再生対象を切り替える切替制御手段とを有し、
前記再生制御手段は、
前記複数のパノラマ画像データに共通する共通指標に基づいて前記表示画像の中心となる視点座標を決定することを特徴とする。

【0008】

これにより、同時に撮影された複数のパノラマ画像データを違和感なく切り替えて視聴ユーザを楽しませることができ、パノラマ画像データの娯楽性を高めることができる。

【0009】

また、本発明のパノラマ動画編集装置は、同時に撮影された複数のパノラマ画像データのうち、選択された一のパノラマ画像データを再生対象として、当該再生対象の一部を切り出して表示画像とし、表示手段に表示させる際、前記前記中心座標に基づいて視点座標を決定する再生制御手段と、前記再生対象における所定の再生時点を再生している際、ユーザの切替要求に応じて、前記時間情報に基づき前記再生時点における他のパノラマ画像データへ再生対象を切り替える切替制御手段とを有する動画再生装置において再生される複数のパノラマ画像データに対し、
該複数のパノラマ画像データに共通する共通指標に基づいてパノラマ画像ごとに中心座標を設定する設定手段を有することを特徴とする。
さらに本発明のパノラマ動画再生システムでは、同時に撮影され、所定の時間情報によって関連づけて記憶された複数のパノラマ画像データを取得する取得手段と、
前記複数のパノラマ画像データに対し、前記複数のパノラマ画像データに共通する共通指標に基づいてパノラマ画像ごとに中心座標を設定する設定手段と、
前記複数のパノラマ画像データ及び前記中心座標を送信する送信手段と、
送信された前記複数のパノラマ画像データのうち、選択された一のパノラマ画像データを再生対象として、当該再生対象の一部を切り出して表示画像とし、表示手段に表示させる際、前記前記中心座標に基づいて視点座標を決定する再生制御手段と、前記再生対象における所定の再生時点を再生している際、ユーザの切替要求に応じて、前記時間情報に基づき前記再生時点における他のパノラマ画像データへ再生対象を切り替える切替制御手段とを有する動画再生装置と
を有することを特徴とする請求項１に記載のパノラマ動画再生システム。

【0010】

これにより、同時に撮影された複数のパノラマ画像データを違和感なく切り替えて視聴ユーザを楽しませることができ、パノラマ画像データの娯楽性を高めることができる。

【0011】

さらに、本発明のパノラマ動画再生方法は、同時に撮影された複数のパノラマ画像データを所定の時間情報によって関連づけて記憶する記憶ステップと、
前記複数のパノラマ画像データのうち、選択された一のパノラマ画像データを再生対象として、当該再生対象の一部を切り出して表示画像とし、表示装置に表示させる再生制御ステップと、
前記再生対象における所定の再生時点を再生している際、ユーザの切替要求に応じて、前記時間情報に基づき前記再生時点における他のパノラマ画像データへ再生対象を切り替える切替制御ステップとを有し、
前記再生制御ステップでは、
前記複数のパノラマ画像データに共通する共通指標に基づいて前記表示画像の中心となる視点座標を決定することを特徴とする。

【0012】

これにより、同時に撮影された複数のパノラマ画像データを違和感なく切り替えて視聴ユーザを楽しませることができ、パノラマ画像データの娯楽性を高めることができる。

【0013】

また、本発明の動画再生プログラムは、同時に撮影された複数のパノラマ画像データを所定の時間情報によって関連づけて記憶する記憶ステップと、
前記複数のパノラマ画像データのうち、選択された一のパノラマ画像データを再生対象として、当該再生対象の一部を切り出して表示画像とし、表示装置に表示させる再生制御ステップと、
前記再生対象における所定の再生時点を再生している際、ユーザの切替要求に応じて、前記時間情報に基づき前記再生時点における他のパノラマ画像データへ再生対象を切り替える切替制御ステップとを有し、
前記再生制御ステップでは、
前記複数のパノラマ画像データに共通する共通指標に基づいて前記表示画像の中心となる視点座標を決定することを特徴とする。

【0014】

これにより、同時に撮影された複数のパノラマ画像データを違和感なく切り替えて視聴ユーザを楽しませることができ、パノラマ画像データの娯楽性を高めることができる。

【0015】

さらに、本発明の動画送信装置は、同時に撮影され、所定の時間情報によって関連づけて記憶された複数のパノラマ画像データのうち、選択された一のパノラマ画像データを再生対象として、当該再生対象の一部を切り出して表示画像とし、表示手段に表示させる際、前記前記中心座標に基づいて視点座標を決定する再生制御手段と、前記再生対象における所定の再生時点を再生している際、ユーザの切替要求に応じて、前記時間情報に基づき前記再生時点における他のパノラマ画像データへ再生対象を切り替える切替制御手段とを有する動画再生装置において再生される複数のパノラマ画像データに対し、
該複数のパノラマ画像データに共通する共通指標に基づいてパノラマ画像ごとに設定された前記中心座標を送信する送信手段を有することを特徴とする。

【0016】

これにより、再生装置に対して送信するデータの総量を低減でき、複数のパノラマ画像データをスムーズに切り替えさせることができ、パノラマ画像データの娯楽性を高めることができる。

【0017】

また、本発明の動画再生システムは、同時に撮影された複数のパノラマ画像データを取得する取得手段と、
前記複数のパノラマ画像データのうち、選択された一のパノラマ画像データを再生対象として、当該再生対象の一部を切り出して表示画像とし、表示装置に表示させる再生制御手段と、
前記複数のパノラマ画像データから、予め設定された検出対象を検出する検出手段と、
所定の優先順位に従って前記検出対象が検出されたパノラマ画像データから一のパノラマ画像データを選択し、当該選択された一のパノラマ画像データを前記再生対象に切り替える切替制御手段とを有することを特徴とする。

【0018】

これにより、視聴ユーザが何ら操作しなくても自動的にパノラマ画像データを切り替えることができ、パノラマ画像データの娯楽性を高めることができる。

【0019】

さらに、本発明の動画再生装置は、同時に撮影された複数のパノラマ画像データを取得する取得手段と、
前記複数のパノラマ画像データのうち、選択された一のパノラマ画像データを再生対象として、当該再生対象の一部を切り出して表示画像とし、表示装置に表示させる再生制御手段と、
前記複数のパノラマ画像データから、予め設定された検出対象を検出する検出手段と、
所定の優先順位に従って前記検出対象が検出されたパノラマ画像データから一のパノラマ画像データを選択し、当該選択された一のパノラマ画像データを前記再生対象に切り替える切替制御手段とを有することを特徴とする。

【0020】

これにより、視聴ユーザが何ら操作しなくても自動的にパノラマ画像データを切り替えることができ、パノラマ画像データの娯楽性を高めることができる。

【発明の効果】

【0021】

本発明は、パノラマ画像データの娯楽性を高めることができるパノラマ動画再生装置、パノラマ動画編集装置、パノラマ動画再生方法、パノラマ動画再生プログラム、パノラマ動画再生システム及びパノラマ動画送信装置を提供できる。

【図面の簡単な説明】

【0022】

【図1】第１の実施の形態における動画再生システムシステムの構成を示す略線図である。

【図2】第１の実施の形態における撮影の説明に供する略線図である。

【図3】第１の実施の形態における編集装置の構成を示すブロック図である。

【図4】オブジェクト指定画面を示す略線図である。

【図5】追尾対象指定画面を示す略線図である。

【図6】第１の実施の形態におけるサーバの構成を示すブロック図である。

【図7】第１の実施の形態における再生装置の構成を示すブロック図である。

【図8】パノラマ画像データの切替（１）の説明に供する略線図である。

【図9】パノラマ画像データの切替（２）の説明に供する略線図である。

【図10】パノラマ画像データの切替（３）の説明に供する略線図である。

【図11】付加情報の表示の説明に供する略線図である。

【図12】第２の実施の形態における動画再生システムシステムの構成を示す略線図である。

【図13】第２の実施の形態における撮影の説明に供する略線図である。

【図14】第２の実施の形態におけるサーバの構成を示すブロック図である。

【図15】第２の実施の形態におけるパケットデータの生成（１）の説明に供する略線図である。

【図16】第２実施の形態による再生装置の構成を示すブロック図である。

【図17】第２の実施の形態におけるパケットデータの生成（２）の説明に供する略線図である。

【図18】パノラマ画像データの切替（１）の説明に供する略線図である。

【図19】パノラマ画像データの切替（２）の説明に供する略線図である。

【図20】パノラマ画像データの切替（３）の説明に供する略線図である。

【図21】付加情報の表示の説明に供する略線図である。

【図22】第２の実施の形態における動画再生システムシステムの構成を示す略線図である。

【図23】第２の実施の形態における撮影の説明に供する略線図である。

【図24】第２の実施の形態におけるサーバの構成を示すブロック図である。

【図25】第２の実施の形態におけるパケットデータの生成（１）の説明に供する略線図である。

【図26】第２実施の形態による再生装置の構成を示すブロック図である。

【発明を実施するための形態】

【0023】

次に本発明を実施するための形態について図面を参照して説明する。

【0024】

＜第１の実施の形態＞
図１は全体として動画再生システム１０を示しており、カメラセット１、編集装置２、サーバ３及び再生装置５を有している。本明細書では、１つのレンズに基づいて撮影された通常の動画像データをシングル画像データ、シングル画像データが組み合わされることにより、若しくは魚眼レンズなどを使用することにより、通常よりも画角が広い状態で生成された動画像データをパノラマ画像データと呼ぶ。パノラマ画像データは、そのまま表示すると人間の目には画角が大きすぎて不自然なため、人間の視野範囲を考慮した画角分だけが切り出されて表示されるのが一般的である。

【0025】

カメラセット１によって撮影されたシングル画像データは、編集装置２によって編集処理が実行されてパノラマ画像データとなり、同時に撮影されたパノラマ画像データ同士が関連付けられた状態で、サーバ３に記憶される。なお、編集装置２がサーバを兼ねることもできる。

【0026】

サーバ３及び再生装置５は、無線または有線でインターネットなどのネットワークＮＴに接続されている。サーバ３に記憶されたパノラマ画像データは、ネットワークＮＴを介して配信され、再生装置５（５Ａ〜５Ｄ）によって再生される。

【0027】

図２に示すように、本実施の形態では、複数のカメラセット１を用いて撮影が行われる。カメラセット１の数に制限はないが、本実施の形態では、３つのカメラセット１Ａ〜１Ｃが３台の自動車に搭載されてそれぞれ撮影が行われている場合について説明する。

【0028】

カメラセット１は、例えば複数のカメラや複数のレンズが組み合わされることにより、１つのカメラセット１で３６０°の画角で動画撮影が可能な全天球又は半天球のカメラセットである。ここでは、一例として６つのカメラが組み合わされたカメラセット１について説明する。

【0029】

各カメラは、それぞれに内部時計が内蔵されており、この内蔵時計はカメラセット１内及びカメラセット１間において予め同期されている。この時計の同期は、例えば電波時計を用いことにより実行される。各カメラは、動画像データに対し、時間情報を埋め込むと共に、適宜エンコード処理を実施して動画像データを所定の方式で圧縮し、カメラ内に記憶する。

【0030】

各カメラには、それぞれにおいて撮影されたシングル画像データが記憶されている。これらの動画像データは、有線又は無線によって編集装置２に転送されて記憶される。

【0031】

図３に示すように、編集装置２は、コンピュータ構成でなり、図示しないＣＰＵ（Central Processing Unit ）、ＲＯＭ（Read Only Memory）及びＲＡＭ（Random Access Memory）から構成されるシステムコントローラ２１が編集装置２の全体を統括的に制御するようになされている。システムコントローラ２１は、フラッシュメモリ、ＲＯＭ又はハードディスクドライブ等の記憶部２２に格納されている基本プログラムや編集プログラム、補助情報設定プログラム等をＲＡＭに展開することによって、これらのプログラムに基づいて各種処理や後述する編集処理を実行するようになされている。

【0032】

編集装置２のシステムコントローラ２１は、編集処理を実行する旨の編集ユーザからの要求が操作入力部２５を介して供給されると、編集処理を開始する。編集装置２は、各カメラから有線または無線によって接続されることにより供給された動画像データ及び装置ＩＤ（identification）を、記憶部２２の画像記憶部２２Ａに記憶している。なお以下、各カメラによって撮影された動画像データをシングル画像データと呼ぶ。

【0033】

システムコントローラ２１の画像編集部２１Ａは、シングル画像データ及び装置ＩＤから、シングル画像データの組み合わせを認識すると共に、シングル画像データをデコードし、時間情報を用いて同期させながらカメラセット１ごとにシングル画像データを組み合わせ、全天球のパノラマ画像データＤを合成する。なお、カメラセット１ごとの装置ＩＤは、予め編集者によって登録されている。

【0034】

カメラセット１によって撮影された６つのシングル画像データは、撮影箇所を中心に球状に撮影されたような画像となるが、例えばメルカトル図法や正距方位図法などの図法を応用して展開されて平面画像として記憶部２２の画像記憶部２２Ａに記憶される。この結果、カメラセット１Ａ〜１Ｃごとに、それぞれパノラマ画像データＤａ〜Ｄｃが生成される。なお、合成されたパノラマ画像データＤａ〜Ｄｃ（図ではＰ画像Ｄａ〜Ｄｃと記載）は、エンコードした状態で画像記憶部２２Ａに記憶される。

【0035】

編集装置２は、このパノラマ画像データＤａ〜Ｄｃを紐付けすると共に、パノラマ画像データＤａ〜Ｄｃ間の切り替えやオブジェクトの追尾を容易にする補助情報設定処理を実行する。この補助情報設定処理は、画像記憶部２２Ａに記憶されたパノラマ画像データＤａ〜Ｄｃを適宜デコードすることにより実行される。

【0036】

システムコントローラ２１の補助情報設定部２１Ｂは、操作入力部２５に対する編集ユーザの操作に応じて操作入力部２５から操作要求信号が供給されると、補助情報設定プログラムに従って補助情報設定処理を実行し、設定された補助情報を記憶部２２の補助情報記憶部２２Ｂに登録する。なお、ここでは、パノラマ画像データＤｃについて説明するが、パノラマ画像データＤａ及びＤｂについても同様に処理が行われる。

【0037】

また、断続的に撮影が行われた場合には、連続して撮影されたパノラマ画像データＤｃごとに補助情報設定処理が実行される。この補助情報設定処理は、追尾対象となるオブジェクトごとに実行される。

【0038】

図４に示すように、補助情報設定部２１Ｂは、オブジェクト指定画面を表示し、オブジェクトの設定を編集ユーザに実行させる。例えば自動車８Ｃから自動車８Ａを撮影したパノラマ画像データにおいて、一枚の画像を表示すると共に、オブジェクトの輪郭を複数の点からなる輪郭座標として編集ユーザに指定させる。

【0039】

さらに、補助情報設定部２１Ｂは、表示部２４への表示により、編集ユーザにオブジェクトの名称及びオブジェクトに関する付加情報（例えば搭乗者や自動車の情報など）を入力させ、補助情報として補助情報記憶部２２Ｂに登録する。

【0040】

補助情報設定部２１Ｂは、各画像から動きベクトル及び輪郭抽出を用いて輪郭座標を決定し、補助情報として補助情報記憶部２２Ｂに記憶する。なお、輪郭座標の抽出は、必ずしもすべての画像について行う必要はなく、例えば１／６秒に１枚（すなわち１秒に６枚程度）の間隔で行えば良い。

【0041】

また、補助情報設定部２１Ｂは、動きベクトルによって算出された輪郭座標と輪郭抽出によって算出された輪郭座標が大きく相違する場合には、自動車８Ａが撮影された画像に対して、動きベクトル及び輪郭抽出によって算出した輪郭座標をそれぞれ重畳した２つの画像を表示し、編集ユーザに一の画像を選択させる。

【0042】

補助情報設定部２１Ｂは、選択された画像で使用されていた手法に基づく輪郭座標を優先して使用する。このように、複数の手法でオブジェクトの輪郭座標を抽出すると共に、複数の輪郭座標の相違が大きくなった場合には、編集ユーザにいずれか一つを選択させることにより、輪郭座標の信頼性を高めることができる。

【0043】

特に、撮影時の自動車同士の位置関係が変わったことによりパノラマ画像データＤｃ中における自動車８Ａの側面が変化した場合であっても、正しい輪郭座標を設定することができ、有効である。

【0044】

補助情報設定部２１Ｂは、付加情報及び時間情報に関連付けた状態で、補助情報として輪郭座標を補助情報記憶部２２Ｂ登録する。また、補助情報設定部２１Ｂは、優先的に再生される一のパノラマ画像データＤ（以下、これを優先再生画像データと呼ぶ）を編集ユーザに選択させる補助情報として補助情報記憶部２２Ｂ登録する。

【0045】

このように、編集装置２のシステムコントローラ２１は、パノラマ画像データＤａ〜Ｄｃに対して、予め補助情報を設定しておく。そしてシステムコントローラ２１は、編集ユーザの要求に応じて、パノラマ画像データＤａ〜Ｄｃ及び補助情報をサーバ３の記憶部（図示せず）に登録する。サーバ３は、再生装置５の要求に応じてダウンロード処理を実行する。同時に再生装置５では、再生処理が実行される。

【0046】

図５に示すように、サーバ３は、コンピュータ構成でなり、図示しないＣＰＵ（Central Processing Unit ）、ＲＯＭ（Read Only Memory）及びＲＡＭ（Random Access Memory）から構成されるシステムコントローラ３１がサーバ３の全体を統括的に制御するようになされている。システムコントローラ３１は、フラッシュメモリ、ＲＯＭ又はハードディスクドライブ等の記憶部３２に格納されている基本プログラムやストリーミング配信プログラム等をＲＡＭに展開することによって、これらのプログラムに基づいて各種処理や後述するダウンロード処理を実行するようになされている。

【0047】

図６に示すように、再生装置５（５Ａ〜５Ｄ）は、コンピュータ構成でなり、図示しないＣＰＵ（Central Processing Unit ）、ＲＯＭ（Read Only Memory）及びＲＡＭ（Random Access Memory）から構成されるシステムコントローラ５１が再生装置５の全体を統括的に制御するようになされている。システムコントローラ５１は、フラッシュメモリ、ＲＯＭ又はハードディスクドライブ等の記憶部５２に格納されている基本プログラムや再生プログラム等をＲＡＭに展開することによって、これらのプログラムに基づいて各種処理や後述する再生処理を実行するようになされている。再生装置５としては、デスクトップパソコンやノートパソコンの他、タブレット端末及びスマートフォン端末など、パソコン機能を搭載した各種の端末を使用することができる。操作入力部５５としては、マウスやキーボードの他にタッチパネルなどを使用することができる。

【0048】

サーバ３は、記憶部３２の画像記憶部３２Ａにおいて、上述したパノラマ画像データＤａ〜Ｄｃ及び補助情報を一つの画像グループＰＤＧとして、複数の画像グループＰＤＧ（ＰＤＧａ、ＰＤＧα、ＰＤＧｗ）を記憶している。さらに、記憶部３２のＰＦ（プラットフォーム）情報記憶部には、パノラマ画像が再生されるプラットフォームのウェブページのデータが記憶されている。

【0049】

再生装置５を保有する視聴ユーザは、ネットワークＮＴを介してプラットフォームのウェブページにアクセスすると、サーバ３からプラットフォームのウェブページのデータが供給される。このプラットフォームにおける所定のウェブページには、画像グループＰＤＧごとに、パノラマ画像データの一覧が表示される。このパノラマ画像データの一覧は、例えば画像グループＰＤＧにおけるパノラマ画像データのうち、予め編集ユーザによって選択された代表的な１枚の画像が表示される。

【0050】

再生装置５の視聴ユーザが、例えば表示された画像をクリックすることにより、視聴したい画像グループＰＤＧを選択すると、パノラマ画像データＤの再生が開始される。以下、一例として画像データを一時的にダウンロードしながら再生する、いわゆるプログレッシブダウンロードによってダウンロードが実行される場合について説明する。

【0051】

具体的に、サーバ３はダウンロード処理を実行する一方、再生装置５は再生処理を実行する。この再生処理において、再生装置５は、パノラマ画像データＤのうち、表示される画像のサイズに応じた領域のみを切り出して画像データを生成する。以下、このときの表示される画像の中心を視点座標と呼ぶ。

【0052】

そして再生装置５は、視聴ユーザの操作入力部５５に対する操作に応じて、視点座標を移動させたり、表示するパノラマ画像データＤを切り替えることにより、視聴ユーザがあたかも撮影現場に存在するかのような体感を経験させることができるようになされている。

【0053】

サーバ３のシステムコントローラ３１は、選択された画像グループＰＤＧに属するパノラマ画像データＤ及び補助情報を再生装置５に供給する。以下、一例として、画像グループＰＤＧａがダウンロードされる場合について説明する。

【0054】

システムコントローラ３１のパケット生成部３１Ａは、画像グループＰＤＧａに属するパノラマ画像データＤａ〜Ｄｃ及び補助情報を時系列ごとにパケット化してパケットデータを生成すると、外部インターフェース３３を介してパケットデータを再生装置５に供給する。

【0055】

再生装置５のシステムコントローラ５１は、外部インターフェース５３を介してパケットデータが供給されると、記憶部５２に記憶すると共に、通常モードにおいて再生処理を開始する。

【0056】

具体的に、システムコントローラ５１は、画像グループＰＤＧａに属するパノラマ画像データＤａ〜Ｄｃのすべてについてのデコード処理を行うと共に、補助情報において指定されている優先再生画像データを表示対象とし、当該優先再生画像データの中心座標を視点座標とした画像データを生成し、表示部５４に表示させる。

【0057】

視聴ユーザの操作入力部５５に対する操作入力により、視点を右方向にずらすよう要求されると、システムコントローラ５１は、優先再生画像データの中心座標から操作入力に応じた座標だけ右に移動した視点座標を中心として表示画像データを生成し、表示部５４に表示させる。

【0058】

例えば、図１のように３台の自動車８Ａ〜８Ｃが併走している場合において、優先再生画像データがパノラマ画像データＤｃだった（すなわち自動車８Ｃから撮影された画像であった）場合、視点を右に移動させることにより、図７に示すように、自動車８Ａを後ろ斜め左方向から撮影した表示画像が表示される。なお、左右のカーソルボタン９３を操作することにより視点座標が移動する。再生装置５がタッチパネルを有する場合には、スライド動作などによって視点座標を移動させることが可能である。

【0059】

上述したように、補助情報には、オブジェクトの輪郭座標が登録されている。システムコントローラ５１は、この輪郭座標を用い、オブジェクトを追尾対象として追尾処理を実行することができる。

【0060】

例えば、画面上に表示された設定ボタン（図示せず）をクリックすることにより、追尾設定を行う旨の要求信号が供給されると、図８に示すように、システムコントローラ５１は、追尾指定画面を表示する。この追尾指定画面では、通常の再生時と同様、表示画像データが表示されると共に、追尾対象指定ボタン９５と、キャンセルボタン９６とが表示される。この状態において、輪郭座標が登録されているオブジェクト上に視聴ユーザがカーソル９９を載せると、システムコントローラ５１は、オブジェクトの部分の色を変色させて表示する。なお、オブジェクトか否かの認識は、補助情報における輪郭座標から判断する。

【0061】

ここで視聴ユーザが決定ボタン（図示せず）をクリックすることにより、追尾対象を決定する旨の要求信号が供給されると、システムコントローラ５１は、追尾モードに遷移し、自動車８Ｃを追尾対象に設定する。

【0062】

そしてシステムコントローラ５１は、輪郭座標の中心点を中心として画像データを生成し、表示部５４に表示させる。システムコントローラ５１は、追尾設定が解除されるまでの間に亘って、自動車８Ｃの輪郭座標の中心点を中心として表示画像データを生成し、表示部５４に表示させる。

【0063】

この結果、図９に示すように、表示部５４には、パノラマ画像データＤｃにおいて、自動車８Ａが中心となった表示画像が表示される。

【0064】

また、視聴ユーザが自動車８Ａをクリックすると、自動車８Ａから撮影したパノラマ画像データＤａへの切替が実行される。

【0065】

システムコントローラ５１は、通常モードにおいて、自動車８Ａがクリックされたことを認識すると、表示対象をパノラマ画像データＤａに変更すると共に、切替前の表示対象であったパノラマ画像データＤｃが撮影されていた自動車８Ｃに視点座標を設定し、表示画像データを生成する。

【0066】

これにより、視聴ユーザは、切替前の自分の視点を認識することができ、ああ、あそこにいたんだというように、切替前後において視聴ユーザがあたかもジャンプしたかのような感覚を再認識することができる。

【0067】

視聴ユーザが視点座標を左方向へ移動させると、図１０に示すように、自動車８Ｃが表示される。そして図１１に示すように、視聴ユーザがカーソル９９を自動車８Ｃ上に載せると、システムコントローラ５１は、自動車８Ｃに関する補助情報における付加情報を読み出し、画像に表示する。

【0068】

具体的に、システムコントローラ５１は、カーソル９９の位置を監視し、カーソル９９の先端部の座標が輪郭座標の内部に入った場合に、画像記憶部３２Ａから補助情報における付加情報を読み出すと共に、付加情報を重畳して表示画像データを生成する。

【0069】

これにより、視聴ユーザは、自動車の車種や撮影時間、走行距離やエピソードなど、オブジェクトにまつわる情報を取得することができる。

【0070】

このように、複数のパノラマ画像データＤを関連付け、画像グループＰＤＧとして取り扱うと共に、所定の操作に応じてパノラマ画像データＤを切り替えることにより、同時に撮影された複数のパノラマ画像データＤを自在に視聴できるため、パノラマ画像データＤとしての娯楽性を高めることができる。

【0071】

また、予め設定されたオブジェクトを指定することにより、指定されたオブジェクトから撮影されたパノラマ画像データＤへ表示画像を切り替えるようにした。これにより、視聴ユーザに撮影ポイント間をワープしたかのような体感をさせることができ、視聴ユーザの楽しみを増大させることができる。

【0072】

＜第２の実施の形態＞
図１２〜１７に示す第２の実施の形態においては、図１〜図１１に示す第１の実施の形態と対応する箇所に１００を足した符号を附して示し、同一部分についての説明を省略する。第２の実施の形態では、広い会場でより多くのカメラセットを使用する点と、ライブでパノラマ画像データが配信される点が第１の実施の形態と異なっている。

【0073】

図１２に示すように、第２の実施の形態では、７つのカメラセット１０１（１０１Ａ〜１０１Ｇ）によって撮影されたサーバ１０３に送信され、編集処理されると共に、サーバ１０３からそのままネットワークＮＴを介してストリーミング配信される。

【0074】

従って、図１４及び図１５に示すように、サーバ１０３のシステムコントローラ１３１は、シングル画像データが供給されると、画像編集部１３１Ａによってシングル画像データを組み合わせ、パノラマ画像データＤ（Ｄａ〜Ｄｇ）を生成する。

【0075】

ところで、パノラマ画像データＤは、元々６枚のシングル画像データが組み合わされたものであり、平面画像であるものの、画角が広い分、そのデータ量は通常の画像データよりも大きくなる。

【0076】

サーバ１０３は、このようなデータ量の大きいパノラマ画像データＤａ〜Ｄｇのすべてをそのまま配信するのでは、通信負荷が大きくなってしまう。そこで、サーバ１０３は、各モードに応じた組み合わせのパケットを生成し、再生装置１０５へ配信するようになされている。

【0077】

サーバ１０３から供給されるパケットＰＫは、再生装置１０５のシステムコントローラ１５１内のＲＡＭに一時記憶されて再生に使用された後、記憶部１５２に記憶されることなく消去される。

【0078】

一例として、図１３に示すように、コンサート会場で撮影が行われると共に、撮影された画像がライブで配信される場合について説明する。

【0079】

本実施の形態では、各視聴ユーザが自分の視聴したいパノラマ画像データＤ及び視点座標を自身で選択するマニュアルモード、パノラマ画像データＤは自身で選択するものの、追尾機能を用いて視点座標を設定するセミマニュアルモード、パノラマ画像データＤ及び視点座標を自動選択するオートモードの３種類を有している。

【0080】

視聴ユーザは、再生装置１０５によっていずれのモードで視聴を行うかを選択して設定する。サーバ１０３は、設定されたモードに対応するパケットを再生装置１０５に送信する。

【0081】

まず、マニュアルモードについて説明する。

【0082】

マニュアルモードでは、ユーザ視聴者が自身で何を見るのかを選択できるモードである。表示画像データの脇に、カメラの配置を示す小画面又はサムネイル画面が表示されており、カメラをクリックすると、対応するカメラで撮影されたパノラマ画像データＤを視聴することができると共に、視点座標も自身で設定する。

【0083】

このカメラの配置を示す小画面又はサムネイル画面には、カメラセットを模してカメラの図が記載されている。このカメラの図が指す方向は、パノラマ画像データＤが切り替えられた直後の視点座標の方向を示している。この画面において、視点座標の方向と図上のカメラの方向とを対応付け、視点座標の移動に伴って図上のカメラの方向を変化させて表示することも可能である。これにより、視聴ユーザが現在どの方向を向いているかをわかりやすくできる。

【0084】

１つの場所で３６０度周りを見渡せるので、視聴ユーザはあたかもコンサートに参加しているかのような体感が得られると共に、状況に応じてステージ近くのカメラで撮影されたパノラマ画像データＤを視聴することもできる。

【0085】

このマニュアルモードでは、いつ視聴ユーザがカメラを切り替えて視聴するパノラマ画像データＤを変更するか不明である。通常、デコードにはわずかであるが時間を要するため、視聴ユーザが切替を要求してから対応するパノラマ画像データＤを供給すると、タイムラグが発生してしまう。一方、すべてのカメラに対応するパノラマ画像データＤを供給するのでは、通信負荷が大きくなってしまう。

【0086】

そこで、本実施の形態のサーバ１０３では、現在視聴中のパノラマ画像データＤを再生用のレートで供給すると共に、視聴していないパノラマ画像データＤのレートを低下させた（例えば１／１０〜１／３程度に低下）低レートパノラマ画像データＤｌ（Ｄｌａ〜Ｄｌｇ）を同時に供給するようにした。

【0087】

再生装置１０５は、現在再生中のパノラマ画像データＤについての再生識別情報をサーバ１０３に対して常に送信することにより、当該再生識別情報が示すパノラマ画像データＤを中心としたパケットＰＫの供給をサーバ１０３に対して要求する。

【0088】

図１５に示すように、システムコントローラ１３１のパケット生成部１３１Ｂは、パノラマ画像データＤａと、低レートパノラマ画像データ（図ではＬＰ画像と記載）Ｄｌｂ〜Ｄｌｇを組み合わせ、パケットＰＫ１を生成する。このパケットＰＫ１は、現在、パノラマ画像データＤａを再生している再生装置１０５に対して供給される。

【0089】

同様に、パケット生成部１３１Ｂは、パノラマ画像データＤｂと、低レートパノラマ画像データ（図ではＬＰ画像と記載）Ｄｌａ、Ｄｌｃ〜Ｄｌｇを組み合わせ、パケットＰＫ２を生成する。このパケットＰＫ２は、現在、パノラマ画像データＤｂを再生している再生装置１０５に対して供給される。

【0090】

以下、パケット生成部１３１Ｂは、同様にしてパケットＰＫ３〜ＰＫ７を生成する。そしてシステムコントローラ１３１は、再生装置１０５の再生状況に応じたパケットＰＫを供給する。

【0091】

再生装置１０５は、視聴ユーザがカメラを切り替えた場合、低レートパノラマ画像データＤｌに基づく画像を表示すると共に、現在再生中のパノラマ画像データＤに対応するパケットＰＫの供給をサーバ１０３に要求する。

【0092】

サーバ１０３は、要求信号が供給されると、再生装置１０５に対して供給するパケットＰＫを即座に変更し、現在再生中のカメラに対応するパケットＰＫを供給する。

【0093】

これにより、サーバ１０３は、供給するデータ量が大きいことによって生じるトラブルを未然に回避すると共に、視聴ユーザに遅延なく切替後のパノラマ画像データＤに基づく画像を表示させることができる。

【0094】

このように、マニュアルモードでは、再生中のパノラマ画像データＤのみ再生用のレートとし、非再生中のパノラマ画像データについてはレートを低下させた状態で再生装置１０５に供給するようにした。

【0095】

次に、セミマニュアルモードについて説明する。セミマニュアルモードでは、カメラ（パノラマ画像データＤ）については、視聴ユーザが自身で設定するものの、視点座標については自動で変化するモードである。

【0096】

視聴ユーザは、再生装置１０５を介して、追尾対象を設定する。この追尾対象の設定は、サーバ１０３ではなく、再生装置１０５のシステムコントローラ１５１において行われる。パケットＰＫは、マニュアルモードと同様、視聴ユーザが設定したカメラに対応するパノラマ画像データＤ及び低レートパノラマ画像データＤｌが組み合わされて供給される。

【0097】

システムコントローラ１５１の追尾部１５１Ａは、パノラマ画像データＤをデコードすると共に平面画像または３Ｄポリゴンを用いた顔認証や動きベクトルなどを用いて追尾対象を検出する。そしてシステムコントローラ１５１は、検出された追尾対象の中心近傍を視点座標とするように表示画像データを生成する。

【0098】

このように、固定されたカメラからのパノラマ画像データＤを用いつつ追尾対象を自動的に追尾することにより、コンサートの体感をそのままに体験しつつ、追尾対象を追いかける操作を省略することができ、表示画像に集中させて視聴ユーザにコンサートを楽しませることができる。

【0099】

次に、オートモードについて説明する。オートモードでは、視聴ユーザの追尾対象の設定に応じて、サーバ１０３が適したパノラマ画像データＤ及び視点座標の情報を表す追尾情報をパケットＰＫとして供給するモードである。このオートモードにおいて、視聴ユーザは、視点座標の移動やズームなどの処理はできるものの、カメラの切替を行うことができない。もちろん、マニュアルモード又はセミマニュアルモードへの切替を実行すれば、カメラを切り替えることは可能である。

【0100】

具体的に、視聴ユーザは、再生装置１０５を介して、追尾対象を設定する。この追尾対象の設定は、サーバ１０３におけるシステムコントローラ１３１において行われる。ここでは、一例として、追尾対象を一人のアイドルに設定した場合について説明する。

【0101】

図１７に示すように、システムコントローラ１３１の追尾部１３１Ｃは、パノラマ画像データＤから追尾対象を検出すると共に、追尾対象の情報を追尾情報としてパケット生成部１３１Ｂに供給する。

【0102】

パケット生成部１３１Ｂは、追尾対象の領域面積や、動きの大きさ、顔の大きさ、明るさなどから、一のパノラマ画像データＤを選択すると共に、当該選択されたパノラマ画像データＤにおける追尾対象の座標情報を追尾情報としてパケットＰＫを生成する。パケットＰＫの途中で選択されたパノラマ画像データＤが切り替わった場合には、２つ（もしくはそれ以上）のパノラマ画像データＤと追尾情報とをパケットＰＫ（例えばパケットＰＫａ）として生成する。

【0103】

再生装置１０５のシステムコントローラ１５１は、供給されたパケットＰＫを順次デコードすると共に、追尾情報が示す座標情報を視点座標として表示画像データを生成する。

【0104】

また、このオートモードでは、追尾対象を一人に限定するのではなく全体を優先する全体追尾対象を設定することも可能である。例えば、複数人のアイドルグループのコンサートにおいて、特定のお気に入りが存在しないような場合に使用される。

【0105】

この場合、サーバ１０３のシステムコントローラ１３１は、なるべくアイドル全員が大きく映っている（すなわち面積比率が大きい）パノラマ画像データＤを選択する。また、花火・ゴンドラ・炎など、追尾対象以外で動くものや大きな音がある場合には、そちらが大きく映っているパノラマ画像データＤを選択する。

【0106】

また、システムコントローラ１３１は、スポットライトが用いられている場合には、スポットライトの照射先を検出し、スポットライトを追尾する。スポットライトの追尾は、エッジ検出及び動きベクトルの検出により実行可能である。

【0107】

パノラマ画像データＤ間において、面積比率の差異が小さい場合や、アイドルたちが分散している場合には、時分割でパノラマ画像データＤを順次表示（ループ）したり、カメラを回転させているように視点座標を一定速度で移動させながら表示画像データを変化させても良い。

【0108】

また、マニュアルモード及びセミマニュアルモードにおいて、オートモードにおいて選択されたパノラマ画像データＤについては、レートを高く設定することも可能である。すなわち、次に切り替えられるであろうパノラマ画像データＤを予め予測しておき、例えば追尾対象が大きく映っている場合には、切り替えられる可能性が高いと判断し、該当するパノラマ画像データＤのレートを高く設定する。逆に、追尾対象が映っていない、又は非常に小さい場合などには、切り替えられる可能性が低いため、該当するパノラマ画像データＤのレートを低く設定する。

【0109】

また、マニュアルモード及びセミマニュアルモードにおいて、オートモードにおいて選択されたパノラマ画像データＤに対応するカメラセット１０１を変色又は点滅表示などさせ、追尾対象が大きく映っていることを視聴ユーザに知らせることもできる。

【0110】

このように、再生対象のパノラマ画像データＤ以外のパノラマ画像データＤについては、データ量が小さくなるようにパケットデータＰＫを生成することにより、通信付加を大幅に軽減できる。

【0111】

＜動作及び効果＞
特徴Ａ１：本発明の動画再生装置（再生装置５）又は動画再生システム（動画再生システム１０）では、同時に撮影された複数のパノラマ画像データ（パノラマ画像データＤ）を所定の時間情報によって関連づけて記憶する記憶手段（記憶部５２）と、
前記複数のパノラマ画像データのうち、選択された一のパノラマ画像データを再生対象として、当該再生対象の一部を切り出して表示画像とし、表示装置（表示部５４）に表示させる再生制御手段（システムコントローラ５１）と、
前記再生対象における所定の再生時点を再生している際、ユーザの切替要求に応じて、前記時間情報に基づき前記再生時点における他のパノラマ画像データへ再生対象を切り替える切替制御手段（システムコントローラ５１）とを有することを特徴とする。

【0112】

特徴Ａ１に記載の発明であれば、同時に撮影されたパノラマ画像データを、ユーザの切替要求に応じて、まるでジャンプするかのように自在に他のパノラマ画像データへと切り替えることができるため、パノラマ画像データを再生する楽しみを一層向上させることができる。

【0113】

特徴Ａ２：特徴Ａ１に記載の発明において、前記ユーザの切替要求は、
前記複数のパノラマ画像データが撮影されたカメラ若しくは当該カメラが搭載されたオブジェクトを指定することにより実行されることを特徴とする。

【0114】

なお、前記複数のパノラマ画像データが撮影されたカメラ若しくは当該カメラが搭載されたオブジェクトとは、パノラマ画像データに実写で映り込んでいるカメラ若しくは当該カメラが搭載されたオブジェクトや、サブ小画面やサムネイル画面に表示されたカメラの配置図に表示されたカメラを含む。カメラの配置図のように、実物ではないカメラの図を表示する場合には、切り替えられた直後に表示されるパノラマ画像データの視点座標の方向と、カメラの方向とが一致することが好ましい。

【0115】

特徴Ａ２に記載の発明であれば、簡単な操作で視聴ユーザにパノラマ画像データの切替を行わせることができると共に、直感的にどのカメラで撮影された画像かを視聴ユーザに認識させることができ、パノラマ画像データの視聴を一段と楽しませることができる。

【0116】

特徴Ａ３：特徴Ａ１又はＡ２に記載の発明において、前記記憶手段は、
前記複数のパノラマ画像データが撮影されたカメラ若しくは当該カメラが搭載されたオブジェクトの座標情報（輪郭座標）を記憶しており、
前記切替制御手段は、
前記座標情報に基づいて、前記複数のパノラマ画像データが撮影されたカメラ若しくは当該カメラが搭載されたオブジェクトが指定されたことを認識することを特徴とする。

【0117】

特徴Ａ３に記載の発明によれば、予めリンク領域を示す座標情報を有しているため、リンク領域を特定するための処理を必要とせず、再生装置の処理負荷を軽減することができる。

【0118】

なお、パノラマ画像データに実写で映り込んでいるカメラ若しくは当該カメラが搭載されたオブジェクトをリンク領域に指定する場合には、再生装置が当該カメラ若しくはオブジェクトを切り出しによってその場で特定することも可能である。これにより、編集作業を容易にすることができる。

【0119】

特徴Ａ３に記載の発明であれば、カメラ又はオブジェクトの形状の内部領域が切替のためのリンク領域に予め設定されており、視聴ユーザがこれらの内部領域を指定することにより、パノラマ画像データ間の切替が行われるため、視聴ユーザに操作方法を直感的に理解させることができる。

【0120】

特徴Ａ４：特徴Ａ１〜Ａ３のいずれかに記載の発明において、
前記再生制御手段は、
切替前の前記複数のパノラマ画像データが撮影されたカメラ若しくは当該カメラが搭載されたオブジェクトが映っている表示画像を、切替直後に前記表示装置に表示させることを特徴とする。

【0121】

特徴Ａ４に記載の発明であれば、切替直後の表示画像に、直前まで見ていた視点が映し出されるため、現在及び直前の位置関係を視聴ユーザに理解させやすくできると共に、パノラマ画像データの切替を一層楽しませることができる。

【0122】

特徴Ａ５：特徴Ａ１〜Ａ３のいずれかに記載の発明において、
前記再生制御手段は、
切替前と同じ視点座標の表示画像を、切替直後に前記表示装置に表示させる
ことを特徴とする。

【0123】

特徴Ａ５に記載の発明であれば、例えば複数の撮影者がいる場合において、位置の相違による見え方の違いなどを比較しながら体感することができ、パノラマ画像データの楽しみ方を増やすことができる。

【0124】

特徴Ａ６：動画再生方法及び動画再生プログラムでは、同時に撮影された複数のパノラマ画像データを所定の時間情報によって関連づけて記憶する記憶ステップと、
前記複数のパノラマ画像データのうち、選択された一のパノラマ画像データを再生対象として、当該再生対象の一部を切り出して表示画像とし、表示装置に表示させる再生制御ステップと、
前記再生対象における所定の再生時点を再生している際、ユーザの切替要求に応じて、前記時間情報に基づき前記再生時点における他のパノラマ画像データへ再生対象を切り替える切替制御ステップとを有することを特徴とする。

【0125】

特徴Ａ６に記載の発明によれば、同時に撮影された複数のパノラマ画像データを、再生時点を合わせた状態で違和感なく切り替えることができるため、視聴ユーザにあたかも人間が入れ替わったかのような不思議な体感をさせることができ、パノラマ画像データの視聴により得られる体感の楽しみを一段と高めることができる。

【0126】

特徴Ｂ１：本発明の動画送信装置（サーバ１０３）は、同時に撮影された複数のパノラマ画像データのうち、選択された一のパノラマ画像データを再生する再生手段（再生装置１０５）から、前記選択された一のパノラマ画像データの識別情報（再生識別情報）を取得する取得手段（システムコントローラ１３１）と、
他のパノラマ画像データの単位データ量が、前記一のパノラマ画像データよりも低くなるよう送信データを生成するデータ生成手段（パケット生成部１３１Ｂ）と、
前記生成された送信データを前記再生手段に送信する送信手段（外部インターフェース１３３）と
を有することを特徴とする。

【0127】

特徴Ｂ１に記載の発明であれば、現在再生中以外のパノラマ画像データに関してのデータ量を低減できるため、視聴ユーザの要望に応じて速やかにパノラマ画像データの切替をおこないつつ、再生装置におけるデコードの処理負荷及び通信負荷を低減することができる。

【0128】

特徴Ｂ２：特徴Ｂ１に記載の発明において、前記データ生成手段は、前記他のパノラマ画像データのレートを、前記一のパノラマ画像データよりも低くする
ことを特徴とする。

【0129】

特徴Ｂ２に記載の発明であれば、同一のパノラマ画像データを再生中の再生装置に対して一律的なデータを送信することができるため、生成するデータの種類を減少させることができ、データ生成のための処理負荷を軽減できる。

【0130】

なお、他のパノラマ画像データのレートを低下させるだけでなく、他のパノラマ画像データの画像圧縮率を高める（画質を低下させる）ことによっても同様の効果を得ることが可能である。

【0131】

特徴Ｂ３：特徴Ｂ１に記載の発明において、前記データ生成手段は、前記他のパノラマ画像データについては、一部のみを前記送信データとすることを特徴とする。
なお、この場合取得手段は、識別情報として、再生中のパノラマ画像データを表す情報に加えて、現在再生中のパノラマ画像データの視点座標など、表示画像の表示位置に関する情報を再生装置から取得する。そして、他のパノラマ画像データに関しては、当該表示位置の周囲のデータのみを送信する。例えば、予めパノラマ画像データを複数に分割しておき、視点座標を含む領域、さらには当該領域と隣接する領域のみのパノラマ画像データを送信することにより、生成するデータの種類を低減することができ、データ生成手段の処理負荷を軽減できる。

【0132】

特徴Ｂ４：特徴Ｂ４に記載の動画再生システムでは、
特徴Ａ１に記載の動画再生装置と、
前記動画再生装置から前記選択された一のパノラマ画像データの識別情報を取得する取得手段と、
他のパノラマ画像データの単位データ量が、前記一のパノラマ画像データよりも低くなるよう送信データを生成するデータ生成手段と、
前記生成された送信データを前記再生手段に送信する送信手段とを有する動画送信装置とを有するようにした。

【0133】

特徴Ｃ１：本発明の動画再生システム（動画再生システム１１０）では、では、同時に撮影された複数のパノラマ画像データを取得する取得手段（外部インターフェース１３３）と、
前記複数のパノラマ画像データのうち、選択された一のパノラマ画像データを再生対象として、当該再生対象の一部を切り出して表示画像とし、表示装置に表示させる再生制御手段（システムコントローラ１５１）と、
前記複数のパノラマ画像データから、予め設定された検出対象を検出する検出手段と、
所定の優先順位に従って前記検出対象が検出されたパノラマ画像データから一のパノラマ画像データを選択し、当該選択された一のパノラマ画像データを前記再生対象に切り替える切替制御手段（システムコントローラ１３１）と
を有することを特徴とする。

【0134】

特徴Ｃ１に記載の発明であれば、設定された検出画像が映っているパノラマ画像データを自動的に選択して表示することができるため、視聴ユーザが何ら操作しなくても、複数のパノラマ画像データを存分に楽しむことができる。

【0135】

なお、再生制御手段は、再生対象となるパノラマ画像データにおいて、検出対象の内部を視点座標とすることが好ましい。これにより、検出対象を常に表示画像の中心又は中心近傍とする表示画像を表示することができ、視聴ユーザを一層楽しませることができる。

【0136】

特徴Ｃ２：特徴Ｃ１に記載の発明において、前記検出対象は、予め設定されたオブジェクト又はイベントである。

【0137】

これにより、動画再生システムでは、特定のオブジェクトやイベントを検出して表示することができるため、ユーザの要望に応じた画像を視認させることが可能である。

【0138】

特徴Ｃ３：本発明の動画再生装置（動画再生システム１０）では、同時に撮影された複数のパノラマ画像データを取得する取得手段（外部インターフェース５３）と、
前記複数のパノラマ画像データのうち、選択された一のパノラマ画像データを再生対象として、当該再生対象の一部を切り出して表示画像とし、表示装置に表示させる再生制御手段（システムコントローラ５１）と、
前記複数のパノラマ画像データから、予め設定された検出対象を検出する検出手段と、
所定の優先順位に従って前記検出対象が検出されたパノラマ画像データから一のパノラマ画像データを選択し、当該選択された一のパノラマ画像データを前記再生対象に切り替える切替制御手段（システムコントローラ５１）と
を有することを特徴とする。

【0139】

特徴Ｃ３に記載の発明であれば、設定された検出画像が映っているパノラマ画像データを自動的に選択して表示することができるため、視聴ユーザが何ら操作しなくても、複数のパノラマ画像データを存分に楽しむことができる。

【0140】

特徴Ｃ４：本発明の動画再生方法及び動画再生プログラムでは、同時に撮影された複数のパノラマ画像データを取得する取得ステップと、
前記複数のパノラマ画像データのうち、選択された一のパノラマ画像データを再生対象として、当該再生対象の一部を切り出して表示画像とし、表示装置に表示させる再生制御ステップと、
前記複数のパノラマ画像データから、予め設定された検出対象を検出する検出ステップと、
所定の優先順位に従って前記検出対象が検出されたパノラマ画像データから一のパノラマ画像データを選択し、当該選択された一のパノラマ画像データを前記再生対象に切り替える切替制御ステップとを有することを特徴とする。

【0141】

特徴Ｃ４に記載の発明であれば、設定された検出画像が映っているパノラマ画像データを自動的に選択して表示することができるため、視聴ユーザが何ら操作しなくても、複数のパノラマ画像データを存分に楽しむことができる。

【0142】

＜第３の実施の形態＞
次に、図１８〜図２６に示す第３の実施の形態について説明する。第３の実施の形態における動画再生システム２１０においては、同時に撮影された各パノラマ画像データＤに対し、共通の指標に基づく基準指標座標を設定する点が、上述した第１の実施の形態と相違している。なお、第３の実施の形態では、第１の実施の形態と対応する箇所に２００を付して示し、同一箇所についての説明を省略する。

【0143】

図１８に示すように、３人の撮影者ＣＭ１〜ＣＭ３が３台のカメラセット２０１Ａ〜２０１Ｃを用いて頭上で撮影を行う場合について説明する。図１９に示すように、撮影者ＣＭ１が撮影者ＣＭ２の方向を見ており、撮影者ＣＭ２及びＣＭ３がオブジェクトＯＪを見ていたと仮定する。

【0144】

仮に、編集装置２０２が、撮影者ＣＭが見ている目線近傍をパノラマ画像Ｄにおける中心座標（以下、これをパノラマ中心座標と呼ぶ）として一律にパノラマ画像Ｄを作成することによりパノラマ動画像Ｄ１ｐ〜Ｄ３ｐを作成した場合を考える。図１９に示すように、撮影者ＣＭ１が撮影者ＣＭ２を見ており、撮影者ＣＭ２及びＣＭ３がオブジェクトＯＪを見ていた場合、パノラマ中心座標はばらばらとなる。

【0145】

例えば、図２０に示すように、視聴ユーザがパノラマ中心座標を視点座標として撮影者ＣＭ１が撮影したパノラマ動画像Ｄ１ｐを視聴している場合、パノラマ動画像Ｄ１ｐに基づく表示画像２５１の視点座標近傍には、撮影者ＣＭ２及びＣＭ３が映し出されている。ここで視聴ユーザがパノラマ画像Ｄ２ｐに切り替えると、パノラマ画像Ｄ２ｐに基づく表示画像２５２が表示される。表示画像２５２の視点座標近傍には、オブジェクトＯＪが映し出されている。さらに、視聴ユーザがパノラマ画像Ｄ３ｐに切り替えると、パノラマ画像Ｄ３ｐに基づく表示画像２５３が表示される。表示画像２５３の視点座標近傍には、何も映し出されない。

【0146】

このように、撮影者ＣＭ１〜ＣＭ３によって撮影されたパノラマ画像Ｄ１ｐ〜Ｄ３ｐは、撮影者ＣＭ１〜ＣＭ３の視点に応じてパノラマ中心座標が変化してしまうため、同じ場所で撮影したにも拘わらず同じ座標を基準として各パノラマ画像Ｄ１ｐ〜Ｄ３ｐから表示画像を切り出すと、それぞれ相違する方向を示す画像が切り出されてしまい、視聴ユーザを混乱させてしまうおそれがある。

【0147】

そこで、本願発明では、表示画像がどちらの方向を向いているのか視聴ユーザに理解し易くするため、共通指標に基づいて表示画像を切り出せるよう、パノラマ画像Ｄに対して共通指標設定処理を実行する。

【0148】

具体的に、共通指標設定処理として、図２１に示すように、同一の方角を共通指標とする。方角は、例えばカメラセット２０１（２０１Ａ〜２０１Ｃ）に方位磁針や垂直（重力）検知器などの方角検出器を設置しておく。編集装置２０２のシステムコントローラ２２１（図示せず）は、シングル画像データ及び時間情報と共に方角情報を取得し、方角が同一又はほぼ同一になるようにパノラマ画像データＤにおけるパノラマ中心座標を設定する。この場合、パノラマ中心座標が共通指標座標となる。

【0149】

具体的に、システムコントローラ２２１の画像編集部２２１Ａは、シングル画像データ及び装置ＩＤから、シングル画像データの組み合わせを認識すると共に、シングル画像データをデコードし、時間情報を用いて同期させながらカメラセット２０１ごとにシングル画像データを組み合わせ、全天球の天球状の画像データを合成し、これをパノラマ中心座標を中心に展開するようにしてパノラマ画像データＤを生成する。なお、実際にはこれらの処理は計算により実行される。

【0150】

このとき、画像編集部２２１Ａは、共通指標設定処理として、各カメラセットごとに取得された方角情報ＣＰ（ＣＰ１〜ＣＰ３）に基づき、全てのカメラセットがほぼ同一方角（同一方向から上下左右±１０°）を向いて撮影したかのように、パノラマ画像データＤを作成する。

【0151】

具体的に、画像編集部２２１Ａは、予め設定された一のカメラセットに対応するパノラマ画像データＤを生成する。なお、ここではカメラセット２０１Ａに対応するパノラマ画像データＤ１が設定されているものとして説明する。画像編集部２２１Ａは、パノラマ画像データＤ１に対応する方角情報ＣＰ１〜ＣＰ３を照らし合わせ、方角情報が示す方角に差違がある場合には、当該差違を相殺するように、パノラマ中心座標をずらしながら残りのパノラマ画像データＤ２及びＤ３を生成する。

【0152】

これにより、同一時刻に撮影されたパノラマ画像データＤ１〜Ｄ３間についてほぼ同一方角にパノラマ中心座標を配置させることができるため、図２１に示すように、全てのカメラセット２０１Ａ〜２０１Ｃでほぼ同一方角で撮影したかのようなパノラマ画像データＤ１〜Ｄ３を生成することができる。

【0153】

このように、共通指標に基づいてパノラマ中心座標を設定する場合、図２２に示すように、共通指標としての方角がほぼ同一であるパノラマ画像データＤ１〜Ｄ３が生成されることになる。このため、再生装置２０５では、視聴ユーザの切替指示に従って単純に同じ視点座標で画像を切り出すことにより、表示画像２５１〜２５３を生成することができる。

【0154】

この結果、図２２に示すように、比較的近い箇所を撮影した画像が表示画像２５１〜２５３として表示されるため、パノラマ画像データＤ１〜Ｄ３間の相違を視聴ユーザに楽しませることができる。

【0155】

なお、共通画像領域が複数存在する場合には、人間の注目度が高い画像領域が共通画像領域として優先的に選択されることが好ましい。人間の注目度の高さは、顕著性マップ（Saligency Map）と呼ばれる画像の特徴量から自動で注目領域を抽出する手法を適用することができる。これらの詳細については、以下のＵＲＬ１及びＵＲＬ２に記載されており、例えば輝度の高さや、輝度のパターン、画像の大きさなどにより人間の注目度が高い注目領域が抽出される。

【0156】

ＵＲＬ１：http://www.slideshare.net/akisatokimura/ss-10694017
ＵＲＬ２：http://www.slideshare.net/takao-y/20150619-49592895

【0157】

また、オブジェクトや風景のような共通の被撮影対象を撮影した画像領域である共通画像領域を共通指標として設定することも可能である。なお、共通画像領域の切り出しは、全フレームで行われても良く、定期的（例えば０．１〜１秒ごとに１回の割合）に行うようにしても良い。

【0158】

具体的に、システムコントローラ２２１の画像編集部２２１Ａは、シングル画像データ及び装置ＩＤから、シングル画像データの組み合わせを認識すると共に、シングル画像データをデコードし、時間情報を用いて同期させながらカメラセット２０１ごとにシングル画像データを組み合わせ、パノラマ画像データＤ１〜Ｄ３を生成する。

【0159】

この後、画像編集部２２１は、パノラマ画像データＤ１〜Ｄ３に共通するオブジェクトや風景などの被撮影対象を共通画像領域として検索し、例えば共通画像領域の中心を共通指標座標として当該共通指標座標をパノラマ画像データＤ１〜Ｄ３に関連付けて記憶する。

【0160】

共通画像領域の検出手法に制限はなく、輝度差による画像領域の切り出し及びマッチング、動きベクトルを用いた共通画像領域の追いかけなど、種々の公知の技術を用いることによって実行される。

【0161】

例え
ば図２４に示すように、画像編集部２２１は、オブジェクトＯＪが共通画像領域として検出された場合、オブジェクトＯＪの中心を共通指標座標として、パノラマ画像データＤ１〜Ｄ３に紐付け、記憶部２２２に記憶する。

【0162】

再生装置２０５では、視聴ユーザの切替指示に従って、共通指標座標の相違を相殺して視点座標を決定することにより、共通指標座標に基づいて画像を切り出すことにより、図２５に示すように表示画像２６１〜２６３を生成することができる。表示画像２６１〜２６３では、切替前と近い視点が表示されるため、視聴ユーザを混乱させないようにできる。

【0163】

すなわち、図２６に示すように、共通画像領域を共通指標とすることにより、撮影者ＣＭ１〜ＣＭ３が同一の被撮影対象を撮影したようなパノラマ画像データＤ１〜Ｄ３を生成することができる。

【0164】

このように、画像編集装置２０３では、共通指標に基づいて表示画像の中心となる視点座標を決定させるための共通指標設定処理を実行することにより、視聴ユーザの切替支持に応じて表示画像の基になるパノラマ画像データＤを切り替えた場合であっても、表示画像における撮影領域を同一又は近い位置に設定することができ、全く相違する撮影領域が表示されることによりどこが表示されているか分からず、視聴ユーザが混乱することを未然に防止できる。

【0165】

＜第４の実施の形態＞
次に、第４の実施の形態について説明する。第４の実施の形態では、定点撮影を行う点及びステレオ録音を行う点が上述した第３の実施の形態と相違している。なお、第４の実施の形態では、第３の実施の形態と対応する箇所に１００を付して示し、同一箇所についての説明を省略する。

【0166】

第４の実施の形態においては、図１３に示した第２の実施の形態と同様に、定点撮影が実行される。このため、第３の実施の形態と同様、共通指標の設定が行われるが、撮影開始後、連続して撮影されたパノラマ動画像データＤのうち、少なくとも１フレームで共通指標設定処理が行われればよい。

【0167】

共通指標としては、例えば特定のマークなどを撮影したり、コンサート会場の風景やスタッフ及びタレントなどの人物などの被撮影対象に設定しても良く、方角を設定しても良い。

【0168】

また、第４の実施の形態においては、カメラセット３０１の一部として、４チャンネルの録音手段を有し、再生時には、視点方向の情報から、４チャンネルの音をミックスすることでヘッドホンで再生されるべき２チャンネルの音を再合成する３６０°ステレオマイク（例えばAmbisonicsマイク）が使用される。

【0169】

これにより、パノラマ画像データＤの切替に伴い、表示画像の視野に応じた、場所に応じて相違する音声を提供できるため、視聴ユーザが感じる臨場感を高める、パノラマ画像の娯楽性を一層高めることができる。

【0170】

＜動作及び効果（２）＞
以下、上記した実施形態から抽出される発明群の特徴について、必要に応じて課題及び効果等を示しつつ説明する。なお以下においては、理解の容易のため、上記各実施形態において対応する構成を括弧書き等で適宜示すが、この括弧書き等で示した具体的構成に限定されるものではない。また、各特徴に記載した用語の意味や例示等は、同一の文言にて記載した他の特徴に記載した用語の意味や例示として適用しても良い。

【0171】

従来、３６０°の視野角度を有する全天球又は半天球と呼ばれる動画像データを撮影し、ユーザの要望に応じて一部を切り出して表示するパノラマ画像再生技術が提案されている（例えば特許文献１参照）。

【0172】

かかる構成のパノラマ画像再生技術では、１台のカメラセットによる１つのパノラマ画像データを再生することを前提にしている。仮に、複数台のカメラセットによって複数のパノラマ画像データを切替ながら再生できるならば、パノラマ画像データの娯楽性を向上させることができると考えられる。

【0173】

特徴Ｄ１：本発明の動画再生装置（再生装置２０５）又は動画再生システム（動画再生システム２１０）では、同時に撮影された複数のパノラマ画像データ（パノラマ画像データＤ）を所定の時間情報によって関連づけて記憶する記憶手段（記憶部２５２）と、
前記複数のパノラマ画像データのうち、選択された一のパノラマ画像データを再生対象として、当該再生対象の一部を切り出して表示画像とし、表示装置（表示部５４）に表示させる再生制御手段（システムコントローラ２５１）と、
前記再生対象における所定の再生時点を再生している際、ユーザの切替要求に応じて、前記時間情報に基づき前記再生時点における他のパノラマ画像データへ再生対象を切り替える切替制御手段（システムコントローラ２５１）と、
前記複数のパノラマ画像データに共通する共通指標に基づいて上記表示画像の中心となる視点座標を決定させるための共通指標設定処理を実行する共通指標設定手段（画像編集部２２１Ａ）とを有することを特徴とする。

【0174】

特徴Ｄ１に記載の発明によれば、共通指標に基づいて決定された表示画像を再生装置に表示させることができるため、パノラマ画像データを切り替えた場合であっても、同一又は近い場所が撮影された部分を常に表示することができ、視聴ユーザに表示画像の位置を簡単に理解させることができる。

【0175】

特徴Ｄ２：前記再生制御手段は、
ユーザの切替要求に応じて前記他のパノラマ画像データへ再生対象を切り替える際、共通指標設定処理において設定された共通指標座標に基づいて前記他のパノラマ画像データにおける表示画像を前記表示装置に表示させることを特徴とする。

【0176】

特徴Ｄ２に記載の発明によれば、共通指標に基づいて同じ又は近しい場所が撮影された共通の位置を共通指標座標に設定できるため、共通指標座標を用いて簡単に同じ又は近しい場所が撮影された画像を表示画像として生成することが可能となる。

【0177】

特徴Ｄ３：特徴Ｄ１又は特徴Ｄ２に記載の発明において、
前記共通指標は、
撮影時において取得された測定情報に基づいて生成された方角であることを特徴とする。

【0178】

特徴Ｄ３に記載の発明によれば、同一方角の領域を表示画像として切り出すことができるため、視聴ユーザに違和感を感じさせずに済む。

【0179】

特徴Ｄ４：特徴Ｄ１に記載の発明において、
前記共通指標は、
前記複数のパノラマ画像データにおいて共通して撮影された風景やオブジェクトなどの被撮影対象を撮影した共通画像領域であることを特徴とする。

【0180】

特徴Ｄ４に記載の発明によれば、同一の箇所を撮影した領域を表示画像にすることができるため、視聴ユーザに現在の視界の位置を認識さ易くできる。

【0181】

特徴Ｄ５：特徴Ｄ１に記載の発明によれば、
音声を出力する音声出力手段を有し、
前記記憶手段は、
２以上のチャンネルを有するマイクロフォンを用いてステレオ録音された立体音声を記憶し、
前記再生制御手段は、
前記ユーザの指示に応じた方角の音声を前記音声を前記音声出力手段に出力させることを特徴とする。
好ましくは、前記記憶手段は、４以上のチャンネルを有するマイクロフォンを用いて録音された立体音声を記憶する。
さらに好ましくは、前記再生制御手段は、４以上のチャンネルを有するマイクロフォンを用いて録音された音声を左右両耳に対応する２チャンネルの音声として出力する。

【0182】

特徴Ｄ５に記載の発明によれば、視聴ユーザの視野に合わせた３６０°のパノラマ画像に加えて、視聴ユーザの視野（顔の向き）に合わせた音声の出力を行うことができるため、パノラマ画像の臨場感をより高めることができる。

【0183】

特徴Ｄ６：ユーザの要求に応じた視点座標を中心とする表示画像を表示装置に表示させるためのパノラマ画像を編集するパノラマ動画編集装置であって、
同時に撮影された複数のパノラマ画像データ（パノラマ画像データＤ）を記憶する記憶手段と、
前記複数のパノラマ画像データに対し、前記撮影された時間関係を示す時間情報を設定する時間情報設定手段とを有することを特徴とする。

【0184】

特徴Ｄ６に記載の発明によれば、共通指標に基づいて決定された表示画像を再生装置に表示させることができるため、パノラマ画像データを切り替えた場合であっても、同一又は近い場所が撮影された部分を常に表示することができ、視聴ユーザに表示画像の位置を簡単に理解させることができる。

【0185】

特徴Ｄ７：特徴Ｄ６に記載のパノラマ動画編集装置は、
前記複数のパノラマ画像データに共通する共通指標に基づいて上記視点座標を決定させるための共通指標設定処理を実行する共通指標設定手段
をさらに有することを特徴とする。

【0186】

特徴Ｄ７に記載の発明によれば、共通指標に基づいて同じ又は近しい場所が撮影された共通の位置を共通指標座標に設定できるため、共通指標座標を用いて簡単に同じ又は近しい場所が撮影された画像を表示画像として再生装置に生成させることが可能となる。

【0187】

特徴Ｄ８：特徴Ｄ７に記載の発明において、
前記共通指標設定手段は、
前記共通指標に基づく共通指標座標を前記複数のパノラマ画像データに設定することにより、前記共通指標設定処理を実行する
ことを特徴とする。

【0188】

特徴Ｄ８に記載の発明によれば、共通指標座標を紐付けるだけで済むため、編集装置の処理負荷を軽減できる。

【0189】

特徴Ｄ９：特徴Ｄ７に記載の発明において、
前記共通指標は、
方角であり、
前記共通指標設定手段は、
前記複数のパノラマ画像データ間で前記方角がほぼ一致するように前記複数のパノラマ画像データを作り替えることにより、前記共通指標設定処理を実行する
ことを特徴とする。

【0190】

特徴Ｄ９に記載の発明によれば、共通指標座標をパノラマ中心座標とできるため、複数のパノラマ画像データ間で同一の視点座標で切り出すだけの処理によって再生装置にほぼ同一視点の表示画像を表示させることができる。

【0191】

特徴Ｄ１０：特徴Ｄ７に記載の発明において、
前記共通指標は、
風景やオブジェクトなどの被撮影対象を表す共通画像領域であり、
前記共通指標設定手段は、
前記複数のパノラマ画像データ間で前記共通画像領域の位置がほぼ一致するように前記複数のパノラマ画像データを作り替えることにより、前記共通指標設定処理を実行する
ことを特徴とする。

【0192】

特徴Ｄ１０に記載の発明によれば、パノラマ画像データ間で同一座標を視点座標とすればよいため、パノラマ画像データを切り替える際の再生装置の処理負荷を軽減できる。

【0193】

特徴Ｄ１１：特徴Ｄ８に記載の発明において、
前記共通指標設定手段は、
共通する画像領域が複数抽出された場合には、
人間の注目度の高い画像領域を優先的に前記共通画像領域として設定する
ことを特徴とする。

【0194】

特徴Ｄ１１に記載の発明によれば、注目度の高い画像領域を共通画像領域とできるため、撮影時の位置の誤差が最も小さい共通画像領域に注目度の高い画像領域を設定することにより、撮影場所の誤差を視聴ユーザに感じさせずに済む。
再生装置における再生制御手段は、
前記複数のパノラマ画像データに共通する共通指標に基づいて上記表示画像の中心となる視点座標を決定することを特徴とする。
再生装置における再生制御手段は、
ユーザの切替要求に応じて前記他のパノラマ画像データへ再生対象を切り替える際、共通指標設定処理において設定された共通指標座標に基づいて前記他のパノラマ画像データにおける表示画像を前記表示装置に表示させることを特徴とする。

【0195】

＜他の実施の形態＞
なお上述した第２の実施の形態において、追尾対処のアイドルを顔認証や動きベクトルで追尾するようにした場合について述べた。本発明はこれに限らず、例えば首掛けのネックレスやバンドなどのように、検出が容易な特殊なマークを追尾対象に身につけてもらい、当該マークを検出するようにしても良い。これにより、一段と確実に追尾対象を追尾することができる。

【0196】

また上述した第１の実施の形態において、電波時計を用いて同期するようにした場合について述べた。本発明は是に限らず、音や光など同時撮影して同期するための同期情報を埋め込み、この同期情報に基づいて後から（編集処理の段階において）同期させることにより、時間情報を生成するようにしても良い。この場合であっても上述した実施の形態と同様の効果を得ることができる。

【0197】

さらに上述した第１の実施の形態においては、撮影者がカメラ１を持って撮影する構成を有している。第２の実施の形態においては、カメラが固定されているため、問題はないが、カメラが人や動物に搭載されたり、人手を使って撮影を行う場合には、撮影角度にばらつきが生じてしまい、同一の座標を視点座標として切替を行った場合であっても、撮影角度が異なってしまう場合が生じてしまう。このため、予めカメラ１にジャイロセンサを搭載し、パノラマ画像Ｄにおける中心座標を調整しておくことも可能である。具体的に、例えばカメラ１Ａを角度基準カメラとして設定し、カメラ１Ａの角度移動をジャイロセンサで検出する。カメラ１Ｂ及び１Ｃにおける角度移動も同様にジャイロセンサで検出する。編集装置２のシステムコントローラ２は、カメラ１Ａを基準とし、パノラマ画像Ｄａにおける中心座標の視点移動とパノラマ画像Ｄｂ及びＤｃにおける中心座標の視点移動が同一になるよう、ジャイロセンサによって検出された角速度の差分値分だけパノラマ画像Ｄｂ及びＤｃにおける中心座標を調整する。これにより、パノラマ画像Ｄａ〜Ｄｃ切替時において、中心座標の視点を統一しておくことができる。また、例えば人間の頭上にカメラを搭載する場合、撮影者が横を向いたりすることで視点が大きく変わってしまう。このような場合には、常に一方向（東西南北の角度）が中心座標となるようにパノラマ画像Ｄａ〜Ｄｃの中心座標を調整することも可能である。これにより、視聴ユーザの視点が最優先されることになり、３６０°の撮影を最大限活かすことができる。

【0198】

また上述した第１及び２の実施の形態においては、パノラマ画像Ｄのみを撮影して切替可能に再生するようにした場合について述べた。本発明はこれに限らず、一般的な撮影カメラで撮影した通常画像と組み合わせることも可能である。例えば第２の実施の形態において、アイドルのズームを専門に撮影するズーム用カメラを設置し、視聴ユーザの要望に応じて、又はシチュエーションに応じて（例えば撮影者が指定したとき）などにズーム用カメラで撮影されたズーム画像へ切り替えるようにすることができる。これにより、アイドルの顔をアップで見たいという視聴ユーザの要望に応じることができる。

【0199】

さらに、上述した実施の形態においては、編集プログラム及び再生プログラム等をＲＯＭ又はハードディスクドライブなどに予め格納した場合について述べた。本発明はこれに限らず、メモリカードなどの外部記憶媒体からコンピュータ内部のフラッシュメモリやハードディスクドライブなどにインストールするようにしても良い。また、データベース作成プログラムなどをＵＳＢ（Universal Serial Bus）やＥｔｈｅｒｎｅｔ（登録商標）（Institute of Electrical and Electronics Engineers）８０２．１１ａ／ｂ／ｇなどの無線ＬＡＮ（Local Area Network）を介して外部から取得し、さらに、は地上ディジタルテレビジョン放送やＢＳディジタルテレビジョン放送により配信されるようにしても良い。

【産業上の利用可能性】

【0200】

本発明は、例えば体感型のエンターテインメントに適用することができる。

【符号の説明】

【0201】

１、１０１ ：カメラセット
２、１０２ ：編集装置
３、１０３ ：サーバ
５、１０５ ：再生装置
１０、１１０ ：動画再生システム
２１ ：システムコントローラ
２２ ：記憶部
２４ ：表示部
２５ ：操作入力部
３１、１３１ ：システムコントローラ
３１Ａ、１３１Ａ ：パケット生成部
３２、１３２ ：記憶部
３３、１３３ ：外部インターフェース
５１、１５１ ：システムコントローラ
５２、１５２ ：記憶部
５３、１５３ ：外部インターフェース
５４、１５４ ：表示部
５５、１５５ ：操作入力部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】

【図22】

【図23】

【図24】

【図25】

【図26】