特許 6656605 撮影システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6656605

(24)【登録日】2020年2月7日

(45)【発行日】2020年3月4日

(54)【発明の名称】撮影システム

(51)【国際特許分類】

   H04N 5/232 20060101AFI20200220BHJP

   G03B 15/00 20060101ALI20200220BHJP

   G03B 37/00 20060101ALI20200220BHJP

   H04N 5/92 20060101ALI20200220BHJP

   H04N 5/225 20060101ALI20200220BHJP

【ＦＩ】

   H04N5/232 380

   G03B15/00 W

   G03B37/00 A

   H04N5/92 010

   H04N5/225 800

【請求項の数】9

【全頁数】15

(21)【出願番号】特願2019-18348(P2019-18348)

(22)【出願日】2019年2月5日

(62)【分割の表示】特願2015-124404(P2015-124404)の分割

【原出願日】2015年6月22日

(65)【公開番号】特開2019-110546(P2019-110546A)

(43)【公開日】2019年7月4日

【審査請求日】2019年2月5日

(73)【特許権者】

【識別番号】311015207

【氏名又は名称】リコーイメージング株式会社

(74)【代理人】

【識別番号】100078880

【弁理士】

【氏名又は名称】松岡 修平

(72)【発明者】

【氏名】松浦篤

【審査官】 大西 宏

(56)【参考文献】

【文献】 特開２０１０−２３３１８５（ＪＰ，Ａ）

【文献】 特開２０１３−０３０８５１（ＪＰ，Ａ）

【文献】 特開２０１３−２４７５４３（ＪＰ，Ａ）

【文献】 特開２０１４−１６５７６３（ＪＰ，Ａ）

【文献】 特開２０１４−１７９８７０（ＪＰ，Ａ）

【文献】 特開２０１５−０１４６７２（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ ５／２２２− ５／２５７

Ｇ０３Ｂ １５／００ −１５／０３５

Ｇ０３Ｂ １５／０６ −１５／１６

Ｇ０３Ｂ ３５／００ −３７／０６

Ｈ０４Ｎ ５／９１ − ５／９５６

Ｈ０４Ｎ ７／１８

(57)【特許請求の範囲】

【請求項1】

第一の画角で画像を撮影し、第一のセンサを備える第一の撮影装置と、
前記第一の画角よりも広い第二の画角で画像を撮影し、第二のセンサを備える第二の撮影装置と、
前記第一のセンサ及び前記第二のセンサからのセンサ情報に基づいて前記第二の画角内における前記第一の撮影装置の撮影方向を演算する撮影方向演算手段と、
演算された撮影方向を前記第二の画角の画像と関連付けて記録する記録手段と、
前記記録手段により記録された撮影方向に基づいて前記第二の画角内における前記第一の撮影装置の注視点を演算する注視点演算手段と、
演算された注視点及び前記第一の画角に基づいて前記第二の画角内の注視領域を演算する注視領域演算手段と、
を備える、
撮影システム。

【請求項2】

前記記録手段は、
前記第一の撮影装置のレンズの画角の情報を記録する、
請求項１に記載の撮影システム。

【請求項3】

前記撮影方向は、
前記第二の画角の画像内における水平方向の角度と垂直方向の角度で示される、
請求項１又は請求項２に記載の撮影システム。

【請求項4】

前記第一の撮影装置は、
撮影の操作を受け付けると、前記第二の撮影装置で画像の撮影が開始されるタイミングに合わせて前記第一の画角の画像の撮影を開始する、
請求項１から請求項３の何れか一項に記載の撮影システム。

【請求項5】

前記注視領域演算手段により演算された注視領域を前記第二の画角の画像から切り出し、切り出された画像を再生する再生手段
を更に備える、
請求項１から請求項４の何れか一項に記載の撮影システム。

【請求項6】

前記第一の撮影装置の注視点が前記第二の画角の画像の死角に入るか否かを判定する死角判定手段
を更に備え、
前記死角判定手段により前記死角に入ると判定される場合、前記注視点演算手段により演算された注視点に対応する撮影方向がそのまま適用され、又はこれに代えて、前記第二の画角内の規定の方向が前記撮影方向として再設定される、
請求項１から請求項５の何れか一項に記載の撮影システム。

【請求項7】

前記第一の撮影装置により撮影される第一の画角の画像は、
前記第二の画角内の前記注視領域の画像よりも高画素である、
請求項１から請求項６の何れか一項に記載の撮影システム。

【請求項8】

前記第二の画角の画像は、
全天球パノラマ画像である、
請求項１から請求項７の何れか一項に記載の撮影システム。

【請求項9】

所定のネットワークを介して互いに接続された第一の撮影装置及び第二の撮影装置であって、第一の画角で画像を撮影し、第一のセンサを備える第一の撮影装置と、前記第一の画角よりも広い第二の画角で画像を撮影し、第二のセンサを備える第二の撮影装置と、を備える撮影システムにおいて、
前記第一のセンサ及び前記第二のセンサからのセンサ情報に基づいて前記第二の画角内における前記第一の撮影装置の撮影方向を演算する撮影方向演算手段と、
演算された撮影方向を前記第二の画角の画像と関連付けて記録する記録手段と、
前記記録手段により記録された撮影方向に基づいて前記第二の画角内における前記第一の撮影装置の注視点を演算する注視点演算手段と、
演算された注視点及び前記第一の画角に基づいて前記第二の画角内の注視領域を演算する注視領域演算手段と、
を備える、
撮影システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像を撮影する撮影システムに関する。

【背景技術】

【0002】

パノラマ動画像を撮影することが可能な撮影装置が知られている。例えば、特許文献１に、この種の撮影装置の具体的構成が記載されている。

【0003】

特許文献１に記載の撮影装置は、いわゆる全天球パノラマ動画像を撮影することができる。全天球パノラマ動画像は、撮影装置の全周に及ぶ範囲を撮影し記録したものとなっている。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２０１４−３０１０４号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

特許文献１に記載の構成において、全天球パノラマ動画像を単純に出力するだけでは、定点観測のような抑揚の無い動画像が再生されることになる。ユーザが視聴したい注視領域の動画像を再生するためには、表示位置や範囲等を逐次指示操作する必要がある。しかし、このような逐次の指示操作はユーザにとって煩雑であるという問題が指摘される。

【0006】

本発明は上記の事情に鑑みてなされたものであり、その目的とするところは、煩雑な操作が不要でありつつも、パノラマ画像内の注視領域の画像を再生するのに好適な撮影システムを提供することである。

【課題を解決するための手段】

【0007】

本発明の一実施形態に係る撮影システムは、第一の画角で画像を撮影し、第一のセンサを備える第一の撮影装置と、第一の画角よりも広い第二の画角で画像を撮影し、第二のセンサを備える第二の撮影装置と、第一のセンサ及び第二のセンサからのセンサ情報に基づいて第二の画角内における第一の撮影装置の撮影方向を演算する撮影方向演算手段と、演算された撮影方向を第二の画角の画像と関連付けて記録する記録手段とを備える。

【0008】

記録手段は、例えば第二の撮影装置のレンズの情報を記録する。

【0009】

撮影方向は、第二の画角の画像内における水平方向の角度と垂直方向の角度で示されるものとしてもよい。

【0010】

第一の撮影装置は、撮影の操作を受け付けると、第二の撮影装置で画像の撮影が開始されるタイミングに合わせて第一の画角の画像の撮影を開始する構成としてもよい。

【0011】

本発明の一実施形態に係る撮影システムは、記録手段により記録された撮影方向に基づいて第二の画角内における第一の撮影装置の注視点を演算する注視点演算手段と、演算された注視点及び第一の画角に基づいて第二の画角内の注視領域を演算する注視領域演算手段とを更に備える構成としてもよい。また、本発明の一実施形態に係る撮影システムは、注視領域演算手段により演算された注視領域を第二の画角の画像から切り出し、切り出された画像を再生する再生手段を更に備える構成としてもよい。また、本発明の一実施形態に係る撮影システムは、第一の撮影装置の注視点が第二の画角の画像の死角に入るか否かを判定する死角判定手段を更に備え、死角判定手段により死角に入ると判定される場合、注視点演算手段により演算された注視点に対応する撮影方向がそのまま適用され、又はこれに代えて、第二の画角内の規定の方向が撮影方向として再設定される構成としてもよい。

【0012】

第一の撮影装置により撮影される第一の画角の画像は、例えば第二の画角内の注視領域の画像よりも高画素である。

【0013】

第二の画角の画像は、例えば全天球パノラマ画像である。

【0014】

本発明の一実施形態に係る撮影システムは、所定のネットワークを介して互いに接続された第一の撮影装置及び第二の撮影装置であって、第一の画角で画像を撮影し、第一のセンサを備える第一の撮影装置と、第一の画角よりも広い第二の画角で画像を撮影し、第二のセンサを備える第二の撮影装置と、を備え、更に、第一のセンサ及び第二のセンサからのセンサ情報に基づいて第二の画角内における第一の撮影装置の撮影方向を演算する撮影方向演算手段と、演算された撮影方向を第二の画角の画像と関連付けて記録する記録手段とを備える。

【発明の効果】

【0015】

本発明の一実施形態によれば、煩雑な操作が不要でありつつも、パノラマ画像内の注視領域の画像を再生するのに好適な撮影システムが提供される。

【図面の簡単な説明】

【0016】

【図1】本発明の一実施形態に係る撮影システムの概略構成を示す図である。

【図2】本発明の一実施形態に係る撮影システムに備えられる撮影装置（通常画角の動画像を撮影するタイプ）の概略構成を示すブロック図である。

【図3】本発明の一実施形態に係る撮影システムに備えられる撮影装置（全天球パノラマ動画像を撮影するタイプ）の模式的な外観図である。

【図4】本発明の一実施形態に係る撮影装置（全天球パノラマ動画像を撮影するタイプ）の概略構成を示すブロック図である。

【図5】本発明の一実施形態において撮影装置（全天球パノラマ動画像を撮影するタイプ）を使用したときの状況を例示する図である。

【図6】本発明の一実施形態において撮影装置（全天球パノラマ動画像を撮影するタイプ）により撮影された画像を説明する図である。

【図7】本発明の一実施形態に係る各撮影装置と画角との関係を示す図である。

【図8】本発明の一実施形態において２つの撮影装置間の協働により実行される動画撮影リンク処理のフローチャートを示す図である。

【図9】図８に示される動画撮影リンク処理を説明するための図である。

【図10】本発明の一実施形態において再生装置により実行される注視動画像再生処理のフローチャートを示す図である。

【発明を実施するための形態】

【0017】

以下、本発明の一実施形態に係る撮影システムについて図面を参照しながら説明する。

【0018】

［撮影システム１の構成］
図１は、本発明の一実施形態に係る撮影システム１の概略構成を示す図である。図１に示されるように、本実施形態に係る撮影システム１は、互いに通信可能な撮影装置１０及び撮影装置２０を備えている。

【0019】

・撮影装置１０の構成
本実施形態において、撮影装置１０はデジタル一眼レフカメラである。なお、図１では、便宜上、交換レンズを取り外した状態を図示している。なお、撮影装置１０はデジタル一眼レフカメラに限らず、例えば、ミラーレス一眼カメラ、コンパクトデジタルカメラ、ビデオカメラ、カムコーダ、タブレット端末、ＰＨＳ（Personal Handy phone System）、スマートフォン、フィーチャフォン、携帯ゲーム機など、撮影機能を有する別の形態の装置に置き換えてもよい。

【0020】

図２は、撮影装置１０の概略構成を示すブロック図である。図２に示されるように、撮影装置１０は、撮像ユニット１０２、画像処理ユニット１０４、撮像制御ユニット１０６、ＣＰＵ（Central Processing Unit）１０８、ＲＯＭ（Read Only Memory）１１０、ＳＲＡＭ（Static Random Access Memory）１１２、ＤＲＡＭ（Dynamic Random Access Memory）１１４、操作部１１６、ネットワークＩ／Ｆ１１８、通信部１２０、センサユニット１２２及びバス１２４を備えている。

【0021】

ＣＰＵ１０８は、撮影装置１０の全体の動作を制御すると共に必要な処理を実行する。ＲＯＭ１１０は、各種プログラムを記憶している。ＳＲＡＭ１１２及びＤＲＡＭ１１４はワークメモリであり、ＣＰＵ１０８により実行されるプログラムや処理途中のデータ等を一時的に保持する。

【0022】

操作部１１６は、各種操作ボタンや電源スイッチ、レリーズボタン、録画ボタン、表示と操作の機能を兼ねたタッチパネル等の総称である。ユーザは操作部１１６を操作することにより、各種撮影モードや撮影条件等を指定することができる。

【0023】

撮像ユニット１０２は、レンズ１０２ａ及び撮像素子１０２ｂを備えている。レンズ１０２ａは、例えば、アスペクト比が３：２や４：３の画像を撮影するのに適した光学性能を有しており、広角レンズと望遠レンズとの中間に位置する典型的な標準レンズである。以下、説明の便宜上、レンズ１０２ａの画角を「通常画角」と記す。図７（Ａ）に、通常画角（符号１０ａ）を例示する。

【0024】

撮像素子１０２ｂは、例えばベイヤー配列のカラーフィルタを有する単板式カラーＣＣＤ（Charge Coupled Device）イメージセンサである。撮像素子１０２ｂは、レンズ１０２ａを介してその受光面上に結像した光学像を撮像データに変換して出力する。なお、撮像素子１０２ｂには、ＣＣＤイメージセンサに限らず、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサやその他の種類のイメージセンサを使用してもよい。また、撮像素子１０２ｂには、ベイヤー配列以外のカラーフィルタ配列を採用してもよい。

【0025】

撮像素子１０２ｂは、画像処理ユニット１０４とパラレルＩ／Ｆバスで接続されており、撮像制御ユニット１０６とシリアルＩ／Ｆバス（Ｉ２Ｃバス等）で接続されている。画像処理ユニット１０４及び撮像制御ユニット１０６は、バス１２４を介してＣＰＵ１０８と接続されている。バス１２４には、更に、ＲＯＭ１１０、ＳＲＡＭ１１２、ＤＲＡＭ１１４、操作部１１６、ネットワークＩ／Ｆ１１８、通信部１２０、センサユニット１２２も接続されている。

【0026】

撮像制御ユニット１０６は、自身をマスタデバイス、撮像素子１０２ｂをスレーブデバイスとして、Ｉ２Ｃバスを介して撮像素子１０２ｂのレジスタ群にコマンド等を設定する。ここで必要なコマンド等は、ＣＰＵ１０８から受け取ったものである。また、撮像制御ユニット１０６は、同じくＩ２Ｃバスを介して撮像素子１０２ｂのレジスタ群のステータスデータ等を取り込み、ＣＰＵ１０８に送る。

【0027】

撮像制御ユニット１０６は、操作部１１６の録画ボタンが押されると、各フレームの撮像データの出力を撮像素子１０２ｂに指示する。画像処理ユニット１０４は、撮像素子１０２ｂより順次出力される各フレームの撮像データをパラレルＩ／Ｆバスを通して取り込み、所定の処理を施して動画像ファイルを作成する。以下、説明の便宜上、撮影装置１０により作成される動画像を「通常画角動画像」と記す。

【0028】

ネットワークＩ／Ｆ１１８は、例えば、ＳＤカード等の外付けのメディアやパーソナルコンピュータ等とのインタフェース回路（ＵＳＢＩ／Ｆ等）の総称である。画像処理ユニット１０４により作成された動画像ファイルは、ネットワークＩ／Ｆ１１６を介して外付けのメディア（又は撮影装置１０の内蔵メモリ）に記録される。

【0029】

通信部１２０は、Bluetooth（登録商標）やＷｉＦｉ（Wireless Fidelity）等の短距離無線技術等により撮影装置２０等の外部装置と通信することができる。この種の通信は、無線に限らず有線で行うことができるようにしてもよい。

【0030】

センサユニット１２２は、例えばジャイロセンサ、加速度センサ、地磁気センサ等を含む複合センサである。ＣＰＵ１０８は、例えば録画処理中、センサユニット１２２の出力に基づいて撮影装置１０の姿勢を逐次検出する。

【0031】

・撮影装置２０の構成
撮影装置２０は、全天球パノラマ動画像を撮影可能な装置である。全天球パノラマ動画像とは、４πラジアンの立体角内の像を得て、全天球の範囲の撮影によって得られるパノラマ動画像である。

【0032】

図３は、撮影装置２０の模式的な外観図である。図３（Ａ）は、撮影装置２０の側面図であり、図３（Ｂ）は、図３（Ａ）とは反対側の、撮影装置２０の側面図であり、図３（Ｃ）は、撮影装置２０の平面図である。

【0033】

図４は、撮影装置２０の概略構成を示すブロック図である。図４に示されるように、撮影装置２０は、撮像ユニット２０２、画像処理ユニット２０４、撮像制御ユニット２０６、ＣＰＵ２０８、ＲＯＭ２１０、ＳＲＡＭ２１２、ＤＲＡＭ２１４、操作部２１６、ネットワークＩ／Ｆ２１８、通信部２２０、センサユニット２２２及びバス２２４を備えている。

【0034】

ＣＰＵ２０８は、撮影装置２０の全体の動作を制御すると共に必要な処理を実行する。ＲＯＭ２１０は、各種プログラムを記憶している。ＳＲＡＭ２１２及びＤＲＡＭ２１４はワークメモリであり、ＣＰＵ２０８により実行されるプログラムや処理途中のデータ等を一時的に保持する。

【0035】

操作部２１６は、各種操作ボタンや電源スイッチ、レリーズボタン、録画ボタン、表示と操作の機能を兼ねたタッチパネル等の総称である。ユーザは操作部２１６を操作することにより、各種撮影モードや撮影条件等を指定することができる。

【0036】

撮像ユニット２０２は、レンズ２０２Ａａ及び撮像素子２０２Ａｂを備えており、更に、レンズ２０２Ｂａ及び撮像素子２０２Ｂｂを備えている。レンズ２０２Ａａ、レンズ２０２Ｂａは、各々半球画像を結像するための１８０°以上の画角を有する広角レンズ（いわゆる魚眼レンズ）である。図３に示されるように、レンズ２０２Ａａは、撮影装置２０の上部正面側（一方の面側）に設けられており、レンズ２０２Ｂａは、撮影装置２０の上部背面側（他方の面側）に設けられている。以下、説明の便宜上、レンズ２０２Ａａ及びレンズ２０２Ｂａを合わせた画角を「全天球画角」と記す。図７（Ｂ）に、全天球画角（符号２０ａ）を例示する。

【0037】

撮像素子２０２Ａｂ及び撮像素子２０２Ｂｂは、例えばベイヤー配列のカラーフィルタを有する単板式カラーＣＣＤイメージセンサである。撮像素子２０２Ａｂ、撮像素子２０２Ｂｂはそれぞれ、レンズ２０２Ａａ、レンズ２０２Ｂａを介してその受光面上に結像した光学像を撮像データに変換して出力する。なお、撮像素子２０２Ａｂ、撮像素子２０２Ｂｂには、ＣＣＤイメージセンサに限らず、ＣＭＯＳイメージセンサやその他の種類のイメージセンサを使用してもよい。また、撮像素子２０２Ａｂ、撮像素子２０２Ｂｂには、ベイヤー配列以外のカラーフィルタ配列を採用してもよい。

【0038】

撮像素子２０２Ａｂ、撮像素子２０２Ｂｂは、画像処理ユニット２０４とパラレルＩ／Ｆバスで接続されており、撮像制御ユニット２０６とシリアルＩ／Ｆバス（Ｉ２Ｃバス等）で接続されている。画像処理ユニット２０４及び撮像制御ユニット２０６は、バス２２４を介してＣＰＵ２０８と接続されている。バス２２４には、更に、ＲＯＭ２１０、ＳＲＡＭ２１２、ＤＲＡＭ２１４、操作部２１６、ネットワークＩ／Ｆ２１８、通信部２２０、センサユニット２２２も接続されている。

【0039】

撮像制御ユニット２０６は、自身をマスタデバイス、撮像素子２０２Ａｂ、撮像素子２０２Ｂｂをスレーブデバイスとして、Ｉ２Ｃバスを介して撮像素子２０２Ａｂ、撮像素子２０２Ｂｂのレジスタ群にコマンド等を設定する。ここで必要なコマンド等は、ＣＰＵ２０８から受け取ったものである。また、撮像制御ユニット２０６は、同じくＩ２Ｃバスを介して撮像素子２０２Ａｂ、撮像素子２０２Ｂｂのレジスタ群のステータスデータ等を取り込み、ＣＰＵ２０８に送る。

【0040】

撮像制御ユニット２０６は、操作部２１６の録画ボタン（図３（Ｂ）中符号２１６ａ）が押されると、各フレームの撮像データの出力を撮像素子２０２Ａｂ、撮像素子２０２Ｂｂに指示する。画像処理ユニット２０４は、撮像素子２０２Ａｂ、撮像素子２０２Ｂｂより順次出力される各フレームの撮像データをパラレルＩ／Ｆバスを通して取り込み、フレーム毎に、双方の撮像データに対して所定の処理を施して画像データを作成し、作成された双方の画像データを合成処理してメルカトル画像（詳しくは後述）を作成する。画像処理ユニット２０４は、連続する複数のフレームのメルカトル画像をファイル化することにより、全天球パノラマ動画像ファイルを作成する。

【0041】

ネットワークＩ／Ｆ２１８は、例えば、ＳＤカード等の外付けのメディアやパーソナルコンピュータ等とのインタフェース回路（ＵＳＢＩ／Ｆ等）の総称である。画像処理ユニット２０４により作成された全天球パノラマ動画像ファイルは、ネットワークＩ／Ｆ２１６を介して外付けのメディア（又は撮影装置２０の内蔵メモリ）に記録される。

【0042】

通信部２２０は、Bluetooth（登録商標）やＷｉＦｉ等の短距離無線技術等により撮影装置１０等の外部装置と通信することができる。この種の通信は、無線に限らず有線で行うことができるようにしてもよい。

【0043】

センサユニット２２２は、例えばジャイロセンサ、加速度センサ、地磁気センサ等を含む複合センサである。ＣＰＵ２０８は、例えば録画処理中、センサユニット２２２の出力に基づいて撮影装置２０の姿勢を逐次検出する。

【0044】

図５は、撮影装置２０の使用状況を例示する図である。図５に示されるように、撮影装置２０は、ユーザが手に持ってユーザの周囲の被写体を撮影するために用いられる。この場合、ユーザの周囲の被写体が各々の撮像素子２０２Ａｂ、撮像素子２０２Ｂｂによって撮像されて、２つの半球画像が得られ、４πラジアンの立体角内の像が得られる。

【0045】

図６は、撮影装置２０により撮影された画像の説明図である。図６（Ａ）は、レンズ２０２Ａａを介して撮影された半球画像（前側）を示し、図６（Ｂ）は、レンズ２０２Ｂａを介して撮影された半球画像（後側）を示し、図６（Ｃ）は、メルカトル図法により表されたメルカトル画像を示す。

【0046】

魚眼レンズであるレンズ２０２Ａａを介して撮影された画像は、図６（Ａ）に示されるように、湾曲した半球画像（前側）となる。同じく魚眼レンズであるレンズ２０２Ｂａを介して撮影された画像は、図６（Ｂ）に示されるように、湾曲した半球画像（後側）となる。撮影装置２０において半球画像（前側）と半球画像（後側）とが合成されると、メルカトル画像が作成される（図６（Ｃ）参照）。

【0047】

［動画撮影リンク処理］
次に、撮影装置１０と撮影装置２０との協働により実行される動画撮影リンク処理について説明する。図８に、動画撮影リンク処理のフローチャートを示す。図８に示される動画撮影リンク処理は、例えば撮影装置１０と撮影装置２０の双方で当該処理を実行するモードに設定された時点で実行が開始される。

【0048】

［図８のＳ１１（通信状態の判定）］
本処理ステップＳ１１では、撮影装置１０及び撮影装置２０が互いに通信可能か否かを判定する。通常は、動画撮影リンク処理を実行するモードが双方で設定されると、撮影装置１０と撮影装置２０との通信が速やかに確立する。本処理ステップＳ１１にて互いに通信可能でないと判定される場合（Ｓ１１：ＮＯ）は、例えば通信関係で何らかのエラーが発生している可能性がある。この場合、動画撮影リンク処理を実行することができない。そのため、撮影装置１０及び撮影装置２０が通常の撮影モードに戻り、図８に示される動画撮影リンク処理が終了する。

【0049】

［図８のＳ１２（動画撮影開始の通知）］
本処理ステップＳ１２は、処理ステップＳ１１（通信状態の判定）にて撮影装置１０及び撮影装置２０が互いに通信可能であると判定される場合（Ｓ１１：ＹＥＳ）に実行される。本処理ステップＳ１２では、撮影装置１０において、録画ボタンが押されると、動画撮影の開始を通知する通知信号が短距離無線通信等により撮影装置２０に送信されると共に、ＣＰＵ１０８により検出された撮影装置１０の姿勢及びレンズ１０２ａの画角の情報が撮影装置２０に送信される。

【0050】

［図８のＳ１３（動画撮影の開始）］
本処理ステップＳ１３では、撮影装置２０において、処理ステップＳ１２（動画撮影開始の通知）にて送信された通知信号が受信されると、全天球パノラマ動画像の撮影が開始される。

【0051】

一方、撮影装置１０は、録画ボタンが押されてから直ぐには通常画角動画像の撮影を開始していない。撮影装置１０は、撮影装置２０で全天球パノラマ動画像の撮影が開始されるタイミングに合わせて（具体的には、録画ボタンが押されてから予め決められた時間待機した後に）通常画角動画像の撮影を開始する。このような遅延時間を撮影装置１０に対して設定することにより、撮影装置１０と撮影装置２０の動画撮影の開始タイミングを同期させることができる。

【0052】

［図８のＳ１４（姿勢差の検出判定）］
図９は、図８に示される動画撮影リンク処理を説明するための図である。図９中、符合Ｏ_１は、全天球画角２０ａの中心点（別の観点によれば、撮影装置２０に備えられるレンズ２０２Ａａの主点とレンズ２０２Ｂａの主点とを結ぶ線分の中点）を示し、符合ＡＸは、撮影装置１０に備えられるレンズ１０２ａの光軸の延長線（及び光軸）を示す。本実施形態では、説明の便宜上、撮影装置２０は、レンズ２０２Ａａの光軸の前方側に延びる延長線が＋Ｙ軸と一致する姿勢であり、且つ撮影装置１０と撮影装置２０は、レンズ１０２ａの光軸の延長線ＡＸと全天球画角２０ａの中心点Ｏ_１とが交差すると共に所定距離離れた位置関係にあるものとする。図９中、水平面（ＸＹ面）内において＋Ｙ軸と延長線ＡＸとがなす角度を水平方向角度（方位角）θと定義し、水平面（ＸＹ面）と延長線ＡＸとがなす角度を垂直方向角度（仰角）φと定義する。

【0053】

本処理ステップＳ１４では、撮影装置２０において、現フレームにおける撮影装置１０との姿勢差の検出が試行され、姿勢差の検出が成功したか否かが判定される。姿勢差は、処理ステップＳ１２（動画撮影開始の通知）にて送信された撮影装置１０の姿勢の情報と、ＣＰＵ２０８により検出された撮影装置２０の姿勢の情報に基づいて検出される。撮影装置１０と撮影装置２０との姿勢差は、水平方向角度（方位角）θ及び垂直方向角度（仰角）φで定義される（図９参照）。

【0054】

［図８のＳ１５（撮影装置１０の注視方向の演算）］
本処理ステップＳ１５は、処理ステップＳ１４（姿勢差の検出判定）にて撮影装置１０と撮影装置２０との姿勢差の検出が成功したと判定された場合（Ｓ１４：ＹＥＳ）に実行される。本処理ステップＳ１５では、撮影装置２０において、処理ステップＳ１４（姿勢差の検出判定）にて検出された姿勢差（θ，φ）に基づいて全天球画角２０ａ内における撮影装置１０の現フレームの注視方向が演算される。ここでは、＋Ｙ軸を基準として水平方向角度（方位角）がθで且つ垂直方向角度（仰角）がφとなる方向Ｄ（図９参照）が撮影装置１０の注視方向として演算される。

【0055】

［図８のＳ１６（注視方向の記録）］
本処理ステップＳ１６は、処理ステップＳ１５（撮影装置１０の注視方向の演算）にて全天球画角２０ａ内における撮影装置１０の現フレームの注視方向が演算された後、又は処理ステップＳ１４（姿勢差の検出判定）にて撮影装置１０と撮影装置２０との現フレームの姿勢差の検出が成功しなかったと判定された場合（Ｓ１４：ＮＯ）に実行される。前者の場合、撮影装置２０は、処理ステップＳ１５（撮影装置１０の注視方向の演算）にて演算された注視方向の情報、及び撮影装置１０より受信したレンズ１０２ａの画角の情報を現フレームのメルカトル画像と関連付けて、外付けのメディア（又は撮影装置２０の内蔵メモリ）に記録する。後者の場合、撮影装置２０は、予め決められた全天球画角２０ａ内の方向を注視方向として、レンズ１０２ａの画角の情報と共に現フレームのメルカトル画像と関連付けて、外付けのメディア（又は撮影装置２０の内蔵メモリ）に記録する。

【0056】

［図８のＳ１７（動画撮影終了通知の受信判定）］
撮影装置１０は、録画ボタンがもう一度押されると、動画撮影の終了を通知する通知信号を撮影装置２０に送信する。本処理ステップＳ１７では、撮影装置２０において、動画撮影の終了を通知する通知信号を撮影装置１０より受信したか否かが判定される。本処理ステップＳ１７にて該通知信号を撮影装置１０より受信していないと判定される場合（Ｓ１７：ＮＯ）、図８に示される動画撮影リンク処理は、処理ステップＳ１４（姿勢差の検出判定）に戻り、該通知信号を撮影装置１０より受信するまで、各フレームについて処理ステップＳ１４〜Ｓ１７を実行する。これにより、各フレームのメルカトル画像及びこれに関連付けられた注視方向及びレンズ１０２ａの画角の情報が得られる。

【0057】

［図８のＳ１８（動画撮影の終了）］
本処理ステップＳ１８は、処理ステップＳ１７（動画撮影終了通知の受信判定）にて動画撮影の終了を通知する通知信号を撮影装置１０より受信したと判定される場合（Ｓ１７：ＹＥＳ）に実行される。本処理ステップＳ１８では、撮影装置２０が全天球パノラマ動画像の撮影を終了する。

【0058】

一方、撮影装置１０は、録画ボタンが押されてから直ぐには通常画角動画像の撮影を終了していない。撮影装置１０は、撮影装置２０で全天球パノラマ動画像の撮影が終了されるタイミングに合わせて（具体的には、録画ボタンが押されてから予め決められた時間待機した後に）通常画角動画像の撮影を終了する。このような遅延時間を撮影装置１０に対して設定することにより、撮影装置１０と撮影装置２０の動画撮影の終了タイミングを同期させることができる。

【0059】

［注視動画像再生処理］
図１に示されるように、本実施形態に係る撮影システム１は、再生装置３０を備えている。再生装置３０は、例えば、デスクトップＰＣやノートＰＣ、タブレットＰＣ、スマートフォン等の情報処理端末であり、図８に示される動画撮影リンク処理にて作成された全天球パノラマ動画像（注視方向及びレンズ１０２ａの画角の情報がフレーム毎に関連付けられたもの）のファイルが有線通信又は無線通信を介して保存されている。

【0060】

図１０に、再生装置３０にインストールされたプログラムにより実行される注視動画像再生処理のフローチャートを示す。図９に示される注視動画像再生処理は、例えばユーザが再生装置３０に対して注視動画像の再生指示操作を行うと開始される。

【0061】

［図１０のＳ２１（撮影装置１０の注視点の演算）］
本処理ステップＳ２１では、処理対象フレームについて、全天球パノラマ動画像ファイル内の注視方向の情報に基づき、全天球画角２０ａ内における撮影装置１０の注視点が演算される。具体的には、注視方向（方向Ｄ）の直線と全天球との交点Ｏ_２（図９参照）が撮影装置１０の注視点として演算される。

【0062】

［図１０のＳ２２（全天球画角２０ａ内の注視領域の演算）］
本処理ステップＳ２２では、処理対象フレームについて、処理ステップＳ２１（撮影装置１０の注視点の演算）にて演算された注視点、及び全天球パノラマ動画像ファイル内のレンズ１０２ａの画角の情報に基づき、全天球画角２０ａ内の注視領域Ｒ（図９参照）が演算される。

【0063】

［図１０のＳ２３（注視領域画像の切り出し）］
本処理ステップＳ２３では、処理対象フレームについて、処理ステップＳ２２（全天球画角２０ａ内の注視領域の演算）にて演算された注視領域Ｒの画像（注視領域画像）がメルカトル画像から切り出される。

【0064】

［図１０のＳ２４（注視領域画像の再生）］
処理ステップＳ２１〜Ｓ２３のループによって所定フレーム数の注視領域画像が得られると、再生装置３０は、以降のフレームについても処理ステップＳ２１〜Ｓ２３のループを実行しつつ、既に得られたフレームの注視領域画像を順次再生する。これにより、注視領域の動画像が再生される。

【0065】

本実施形態によれば、ユーザは、撮影装置１０をパンやチルトしたりレンズ１０２ａのズーム倍率を変えたりすることで、全天球パノラマ動画像の中で注視領域や画角の変更がダイレクトに反映された動画像を逐次の指示操作を行うことなく再生装置３０で再生させることができる。また、撮影装置１０による通常画角動画像は、全天球画角内の一部を切り取った注視領域の動画像よりも高画素である。そのため、別の観点によれば、ユーザは、注視領域の動画像を得つつも、それと同じ内容の動画像であって、より高画質な通常画角動画像も同時に得ることができる。

【0066】

以上が本発明の例示的な実施形態の説明である。本発明の実施形態は、上記に説明したものに限定されず、本発明の技術的思想の範囲において様々な変形が可能である。例えば明細書中に例示的に明示される実施形態等又は自明な実施形態等を適宜組み合わせた内容も本発明の実施形態に含まれる。

【0067】

例えば、図１０の処理ステップＳ２１（撮影装置１０の注視点の演算）にて演算された注視点が撮影装置２０にて撮影された全天球パノラマ動画像では死角となっている場合が考えられる。全天球パノラマ動画像で死角となっているか否かは、例えば、撮影装置１０の注視点周辺の画像と、全天球画角２０ａ内の注視方向（方向Ｄ）に写る画像との差分に基づいて判定することができる。例示的には、双方の画像の差分が所定の閾値以上ある場合は、全天球パノラマ動画像で死角となっていると判定される。この場合、処理対象フレームについて、天球パノラマ動画像ファイル内の注視方向の情報が書き換えられることなくそのまま適用されてもよいが、天球パノラマ動画像ファイル内の注視方向の情報が全天球画角２０ａ内の規定の方向に再設定されても（書き換えられても）よい。

【符号の説明】

【0068】

１ 撮影システム
１０ 撮影装置
２０ 撮影装置
３０ 再生装置
１０２ 撮像ユニット
１０２ａ レンズ
１０２ｂ 撮像素子
１０４ 画像処理ユニット
１０６ 撮像制御ユニット
１０８ ＣＰＵ
１１０ ＲＯＭ
１１２ ＳＲＡＭ
１１４ ＤＲＡＭ
１１６ 操作部
１１８ ネットワークＩ／Ｆ
１２０ 通信部
１２２ センサユニット
１２４ バス
２０２ 撮像ユニット
２０２Ａａ、２０２Ｂａ レンズ
２０２Ａｂ、２０２Ｂｂ 撮像素子
２０４ 画像処理ユニット
２０６ 撮像制御ユニット
２０８ ＣＰＵ
２１０ ＲＯＭ
２１２ ＳＲＡＭ
２１４ ＤＲＡＭ
２１６ 操作部
２１６ａ 録画ボタン
２１８ ネットワークＩ／Ｆ
２２０ 通信部
２２２ センサユニット
２２４ バス

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】