特許 7516755 撮像装置、方法およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-07-08

(45)【発行日】2024-07-17

(54)【発明の名称】撮像装置、方法およびプログラム

(51)【国際特許分類】

   H04N 23/698 20230101AFI20240709BHJP

   G03B 15/00 20210101ALI20240709BHJP

   G03B 17/38 20210101ALI20240709BHJP

   G03B 19/07 20210101ALI20240709BHJP

   G03B 37/00 20210101ALI20240709BHJP

   G06T 3/4038 20240101ALI20240709BHJP

   H04N 23/45 20230101ALI20240709BHJP

   H04N 23/60 20230101ALI20240709BHJP

   H04N 23/63 20230101ALI20240709BHJP

【ＦＩ】

H04N23/698

G03B15/00 Q

G03B15/00 R

G03B15/00 W

G03B17/38 B

G03B19/07

G03B37/00 A

G06T3/4038

H04N23/45

H04N23/60 100

H04N23/60 500

H04N23/63 300

【請求項の数】 10

(21)【出願番号】P 2019231788

(22)【出願日】2019-12-23

(65)【公開番号】P2020113974

(43)【公開日】2020-07-27

【審査請求日】2022-10-17

(31)【優先権主張番号】P 2019003576

(32)【優先日】2019-01-11

(33)【優先権主張国・地域又は機関】JP

(73)【特許権者】

【識別番号】000006747

【氏名又は名称】株式会社リコー

(72)【発明者】

【氏名】渡部 剛史

【審査官】淀川 滉也

(56)【参考文献】

【文献】特開２０１６－１１９６９３（ＪＰ，Ａ）

【文献】国際公開第２０１６／１３６８３８（ＷＯ，Ａ１）

【文献】国際公開第２０１８／０２５８２５（ＷＯ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ２３／６９８

Ｈ０４Ｎ ２３／４５

Ｈ０４Ｎ ２３／６０

Ｈ０４Ｎ ２３／６３

Ｇ０６Ｔ ３／４０３８

Ｇ０３Ｂ １５／００

Ｇ０３Ｂ １７／３８

Ｇ０３Ｂ １９／０７

Ｇ０３Ｂ ３７／００

(57)【特許請求の範囲】

【請求項1】

それぞれが光学系および撮像素子を備える複数の撮像部と、
前記複数の撮像部のうちの第１の撮像部に対して第１の撮像処理を行わせた後、前記複数の撮像部のうちの第２の撮像部に対して第２の撮像処理を行わせる制御部と、
前記第１の撮像処理によって撮像された第１の画像と、前記第２の撮像処理によって撮像された第２の画像とに基づき、合成画像を生成する生成部と
を含み、
前記制御部は、前記第１の撮像部での撮像からの経過時間に基づいて、前記第２の撮像部での前記第２の撮像処理を実行することを特徴とする、撮像装置。

【請求項2】

それぞれが光学系および撮像素子を備える複数の撮像部と、
前記複数の撮像部それぞれで画像を撮像するよう制御する制御部と、
前記複数の撮像部によって異なる時間に撮像された複数の画像に基づき、合成画像を生成する生成部と
前記複数の撮像部のうちの第１の撮像部での第１の撮像処理後、前記複数の撮像部のうちの第２の撮像部で取得している画像に基づいて該画像内で所定の被写体の消失を検知する消失検知部と
を含み、
前記制御部は、前記消失検知部が前記消失を検知したことに応答して、前記第２の撮像部での第２の撮像処理を完了させることを特徴とする、撮像装置。

【請求項3】

それぞれが光学系および撮像素子を備える複数の撮像部と、
前記複数の撮像部それぞれで画像を撮像するよう制御する制御部と、
前記複数の撮像部によって異なる時間に撮像された複数の画像に基づき、合成画像を生成する生成部と
前記複数の撮像部のうちの第１の撮像部での第１の撮像処理後、該第１の撮像部で取得している画像に基づいて該画像内で所定の被写体の出現を検知する出現検知部
を含み、
前記制御部は、前記出現検知部が前記出現を検知したことに応答して、前記複数の撮像部のうちの第２の撮像部での第２の撮像処理を実行することを特徴とする、撮像装置。

【請求項4】

前記制御部は、前記第１の撮像部と前記第２の撮像部とは、同時に撮像を実行することを特徴とする、請求項１～３のいずれか１項に記載の撮像装置。

【請求項5】

前記制御部は、前記第１の撮像部での撮像からの経過時間に基づいて、前記第２の撮像部での前記第２の撮像処理を実行することを特徴とする、請求項２または３に記載の撮像装置。

【請求項6】

前記撮像装置は、前記経過時間に基づく前記第２の撮像部での前記第２の撮像処理に関し、音声または光での通知、または表示装置上での表示により案内を行う案内部をさらに含む、請求項５に記載の撮像装置。

【請求項7】

前記撮像装置は、前記第１の撮像部での前記第１の撮像処理後、前記第２の撮像部で前記第２の撮像処理を行う指示を受け付ける受付部をさらに含み、前記制御部は、前記第２の撮像処理を、前記指示を受け付けたことに応答して実行することを特徴とする、請求項１～３のいずれか１項に記載の撮像装置。

【請求項8】

前記複数の撮像部それぞれで撮像される画像は、魚眼画像であり、前記合成画像は、複数の魚眼画像を座標変換して合成して得られる全天球画像、または、複数の魚眼画像を接合して得られる画像であり、前記撮像装置は、全天球撮像装置である、請求項１～７のいずれか１項に記載の撮像装置。

【請求項9】

撮像装置が実行する方法であって、
それぞれが光学系および撮像素子を備える複数の撮像部のうちの第１の撮像部で画像を撮像する第１撮像ステップと、
前記第１撮像ステップが実行された後、前記複数の撮像部のうちの第２の撮像部で画像を撮像する第２撮像ステップと、
前記第１撮像ステップおよび前記第２撮像ステップで撮像された複数の画像に基づいて合成画像を生成するステップと
を含み、
前記第２撮像ステップを、
（１）前記第１撮像ステップでの撮像からの経過時間に基づいて実行するか、
（２）前記第１撮像ステップでの撮像後、前記第２の撮像部で撮像を行う指示を受け付けたことに応答して、実行するか、
（３）前記第１撮像ステップでの撮像後、前記第２の撮像部で取得している画像に基づいて該画像内で所定の被写体の消失を検知したことに応答して、完了させるか、または
（４）前記第１撮像ステップでの撮像後、前記第１の撮像部で取得している画像に基づいて該画像内で所定の被写体の出現を検知したことに応答して、実行する、
ことを特徴とする、方法。

【請求項10】

撮像装置を実現するためのプログラムであって、コンピュータを
それぞれが光学系および撮像素子を備える複数の撮像部のうちの第１の撮像部に対して第１の撮像処理を行わせた後、前記複数の撮像部のうちの第２の撮像部に対して第２の撮像処理を行わせる制御部、および、
前記第１の撮像処理によって撮像された第１の画像と、前記第２の撮像処理によって撮像された第２の画像とに基づいて合成画像を生成する生成部
として機能させ、
前記制御部は、前記第１の撮像部での撮像からの経過時間に基づいて、前記第２の撮像部での前記第２の撮像処理を実行することを特徴とする、プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、撮像装置、方法およびプログラムに関する。

【背景技術】

【0002】

従来、レンズ光学系および撮像素子を含む撮像部を複数有し、複数の撮像部を用いて同時に撮像して得られた複数の画像を合成し、一枚の画像を生成する撮像装置が知られている。このような撮像装置としては、例えば、一度の撮影指示によって周囲３６０°全方位の画像を取得できる全天球撮像装置が知られている。

【0003】

上記撮像装置では、複数の撮像部を用いて広い視野を一度に撮影することになるため、その撮影範囲内に、撮影者自身などの所定の被写体が写りこんでしまう場合がある。これは、撮影者自身を含め周囲の雰囲気を撮影したいという場合には適うものである。しかしながら、撮影者自身が被写体となることが望まれない場合もあるところ、従来技術は、そのような要望に応えることができなかった。

【0004】

複数の撮像部を用いた画像の合成に関連して、特許第６０６５４７４号明細書（特許文献１）が知られている。特許文献１の従来技術は、複数の撮像光学系による複数の撮像画像を合成した際につなぎ目で生じ得る不連続性を軽減することを目的としたものである。特許文献１は、複数の撮像光学系各々に対する撮像条件を与えることができる撮像制御装置、撮像制御方法およびプログラムを開示する。しかしながら、特許文献１の技術では、撮影者自身が被写体として撮像画像に写りこんでしまうことに対し対処できるものではなかった。

【発明の概要】

【発明が解決しようとする課題】

【0005】

本開示は、上記点に鑑みてなされたものであり、複数の撮像部を併せて用いて撮影する際に、所定の被写体が写り込むことを回避することが可能な撮像装置を提供することを目的とする。

【課題を解決するための手段】

【0006】

本開示では、上記課題を解決するために、下記特徴を有する撮像装置を提供する。本撮像装置は、それぞれが光学系および撮像素子を備える複数の撮像部と、前記複数の撮像部のうちの第１の撮像部に対して第１の撮像処理を行わせた後、前記複数の撮像部のうちの第２の撮像部に対して第２の撮像処理を行わせる制御部と、前記第１の撮像処理によって撮像された第１の画像と、前記第２の撮像処理によって撮像された第２の画像とに基づき、合成画像を生成する生成部とを含み、前記制御部は、前記第１の撮像部での撮像からの経過時間に基づいて、前記第２の撮像部での前記第２の撮像処理を実行することを特徴とする。

【発明の効果】

【0007】

上記構成により、複数の撮像部を併せて用いて撮影する際に、所定の被写体が写り込むことを回避することが可能となる。

【図面の簡単な説明】

【0008】

【図1】本実施形態による全天球撮像装置の断面図。

【図2】本実施形態による全天球撮像装置のハードウェア構成図。

【図3】本実施形態による全天球撮像装置上に実現される全天球撮像機能に関連する主要な機能ブロック図。

【図4】（Ａ）全天球画像の生成における画像データフロー図、および、全天球画像のデータ構造を（Ｂ）平面で表した場合および（Ｃ）球面で表した場合について説明する図。

【図5】本実施形態による全天球撮像装置と、撮影者を含む被写体との位置関係（Ａ）、撮像される２つの魚眼画像（Ｂ）並びに合成される全天球画像（Ｃ）を説明する図。

【図6】本実施形態による全天球撮像装置が実行する全天球撮像処理を示すフローチャート。

【図7】本実施形態による時間差露光モードでの第１撮像処理および第２撮像処理で撮像され得る魚眼画像（Ａ，Ｂ）並びに合成される合成画像（Ｃ）を説明する図。

【図8】他の実施形態による全天球撮像装置が実行する全天球撮像処理を示すフローチャート。

【図9】さらに他の実施形態による全天球撮像装置が実行する全天球撮像処理を示すフローチャート。

【図10】所定の被写体の消失を検出する特定の実施形態において各時点で得られる魚眼画像を示す図。

【図11】所定の被写体の出現を検出する他の特定の実施形態において各時点で得られる魚眼画像を示す図。

【発明を実施するための形態】

【0009】

以下、本実施形態について説明するが、実施形態は、以下に説明する実施形態に限定されるものではない。なお、以下の実施形態では、撮像装置の一例として、全天球撮像装置１１０を用いて説明するが、これに限定されるものではない。

【0010】

以下、図１および図２を参照しながら、本実施形態による全天球撮像装置１１０の基本構成について説明する。

【0011】

図１は、本実施形態による全天球撮像装置１１０の断面図である。図１に示す全天球撮像装置１１０は、撮像体１２と、上記撮像体１２およびコントローラやバッテリなどの部品を保持する筐体１４と、上記筐体１４に設けられたシャッター・ボタン１８とを備える。

【0012】

図１に示す撮像体１２は、それぞれが結像光学系２０と撮像素子２２とを含む２つの鏡胴ユニットを含んで構成される。撮像素子２２は、ＣＣＤ（Charge Coupled Device）センサやＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサなどであり、後述するＣＰＵからの制御指令によって制御される。結像光学系２０各々は、例えば６群７枚の魚眼レンズとして構成されている。上記魚眼レンズは、図１に示す実施形態では、１８０度（＝３６０度／ｎ；光学系数ｎ＝２）より大きい全画角を有し、好適には、１８５度以上の画角を有し、より好適には、１９０度以上の画角を有する。このような広角な結像光学系２０と撮像素子２２とを１個ずつ組み合わせたものが、本実施形態における撮像部を構成する。なお、説明する実施形態では、光学系（撮像部）の数が２である場合を一例として説明するが、光学系（撮像部）の数は、３以上であってもよい。

【0013】

２つの結像光学系２０Ａ，２０Ｂの光学素子（レンズ、プリズム、フィルタおよび開口絞り）は、撮像素子２２Ａ，２２Ｂに対して位置関係が定められる。より具体的には、結像光学系２０Ａ，２０Ｂの光学素子の光軸が、対応する撮像素子２２の受光領域の中心部に直交して位置するように、かつ、受光領域が、対応する魚眼レンズの結像面となるように位置決めが行われる。

【0014】

図１に示す実施形態では、結像光学系２０Ａ，２０Ｂは、同一仕様のものであり、それぞれの光軸が合致するようにして、互いに逆向きに組み合わせられる。撮像素子２２Ａ，２２Ｂは、受光した光分布を画像信号に変換し、コントローラ上の画像処理手段に順次、画像フレームを出力する。詳細は後述するが、撮像素子２２Ａ，２２Ｂでそれぞれ撮像された画像は、合成処理されて、これにより、立体角４πステラジアンの画像（以下「全天球画像」と参照する。）が生成される。全天球画像は、撮影地点から見渡すことのできる全ての方向を撮影したものとなる。ここで、説明する実施形態では、全天球画像を生成するものとして説明するが、全天周画像、並びに水平面のみ３６０度を撮影した、いわゆるパノラマ画像であってもよい。

【0015】

図２は、本実施形態による全天球撮像装置１１０のハードウェア構成を示す。全天球撮像装置１１０は、説明する実施形態における撮像装置に対応する。

【0016】

全天球撮像装置１１０は、ＣＰＵ（Central Processing Unit）１１２と、ＲＯＭ（Read Only Memory）１１４と、画像処理ブロック１１６と、静止画圧縮ブロック１１７と、動画圧縮ブロック１１８と、リサイズブロック１１９と、ＤＲＡＭ（Dynamic Random Access Memory）インタフェース１２０を介して接続されるＤＲＡＭ１３２と、外部センサインタフェース１２４を介して接続されるモーションセンサ１３６とを含み構成される。

【0017】

ＣＰＵ１１２は、全天球撮像装置１１０の各部の動作および全体動作を制御する。ＲＯＭ１１４は、ＣＰＵ１１２が解読可能なコードで記述された制御プログラムや各種パラメータを格納する。ＲＯＭ１１４として、書き換え可能なフラッシュＲＯＭを用いる場合、制御プログラムや制御するためのパラメータを変更することが可能となり、ひいては機能のバージョンアップが容易となる。ＲＯＭ１１４に加えて、またはＲＯＭ１１４とともに、制御プログラムを格納するためのＳＳＤなどのストレージを備えてもよい。画像処理ブロック１１６は、２つの撮像素子１３０Ａ，１３０Ｂ（図１における撮像素子２２Ａ，２２Ｂである。）と接続され、それぞれで撮像された画像の画像信号が入力される。画像処理ブロック１１６は、ＩＳＰ（Image Signal Processor）などを含み構成され、撮像素子１３０から入力された画像信号に対し、シェーディング補正、ベイヤー補間、ホワイトバランス補正、ガンマ補正などを行う。

【0018】

静止画圧縮ブロック１１７は、ＪＰＥＧ（Joint Photographic Experts Group）などの静止画圧縮および伸張を行うコーデック・ブロックである。動画圧縮ブロック１１８は、ＭＰＥＧ（Moving Picture Experts Group）－４ ＡＶＣ（Advanced Video Coding）／Ｈ．２６４などの動画圧縮および伸張を行うコーデック・ブロックである。なお、ここではＪＰＥＧおよびＨ.２６４をそれぞれ静止画および動画のコーデックの一例として説明しているが、静止画および動画のコーデックは特に限定されるものではない。コーデックには、他にも様々なバリエーションがあるので、他のコーデックを使用してもよいし、複数搭載しても良い。リサイズブロック１１９は、画像データのサイズを補間処理により拡大または縮小するブロックである。

【0019】

ＤＲＡＭ１３２は、各種信号処理および画像処理を施す際にデータを一時的に保存する記憶領域を提供する。保存される画像データとしては、例えば、信号処理でホワイトバランス設定およびガンマ設定が行われた状態のＲＡＷ－ＲＧＢ画像データ、信号処理で輝度データおよび色差データ変換が行われた状態のＹＵＶ画像データ、および静止画圧縮ブロック１１７で例えばＪＰＥＧ圧縮されたＪＰＥＧ画像データなどがある。

【0020】

モーションセンサ１３６は、例えば、３軸の加速度成分および３軸の角速度成分を検出するセンサである。検出された加速度成分および角速度成分は、重力方向（基準方向）への全天球画像の天頂補正や重力方向周りの回転補正を施すために用いられる。モーションセンサ１３６は、さらに、方位角などを求めるための地磁気センサなど他のセンサを備えてもよい。モーションセンサ１３６は、ここでは３軸センサを用いているが、例えば６軸の加速度センサや角速度センサであってもよい。

【0021】

全天球撮像装置１１０は、さらに、外部ストレージインタフェース１２２と、ＵＳＢ（Universal Serial Bus）インタフェース１２６と、シリアルブロック１２８とを含み構成される。外部ストレージインタフェース１２２には、外部ストレージ１３４が接続される。外部ストレージインタフェース１２２は、メモリカードスロットに挿入されたメモリカードなどの外部ストレージ１３４に対する読み書きを制御する。ＵＳＢインタフェース１２６には、ＵＳＢコネクタ１３８が接続される。ＵＳＢインタフェース１２６は、ＵＳＢコネクタ１３８を介して接続されるスマートフォンなどの外部装置とのＵＳＢ通信を制御する。シリアルブロック１２８は、スマートフォンなどの外部装置とのシリアル通信を制御し、無線ＮＩＣ（Network Interface Card）１４０が接続される。

【0022】

図２に示す全天球撮像装置１１０は、さらに、顔検出ブロック１４４を含み構成される。顔検出ブロック１４４は、例えば魚眼画像や天頂補正等された画像を用いて顔検出を行い、人の顔の位置を特定する。顔検出ブロック１４４は、特定の実施形態では、詳細を後述するように、例えば撮影者などの所定の被写体の消失または出現を検出するために用いることができる。

【0023】

図２に示す全天球撮像装置１１０は、さらに、音声ユニット１４６を含み構成される。音声ユニット１４６には、音声信号を入力するマイクロフォン１４８および音声信号を出力するスピーカ１５０が接続される。音声ユニット１４６は、一般的には、マイクロフォン１４８を介して入力された音声信号を増幅するマイクロフォンアンプと、増幅された音声信号を記録する音声記録回路と、記録された音声信号をスピーカ１５０から出力できる信号に変換する音声再生回路と、変換された音声信号を増幅し、スピーカ１５０を駆動するためのオーディオアンプとが含まれ得る。音声ユニット１４６は、ＣＰＵ１１２の制御下で動作する。

【0024】

図２に示す全天球撮像装置１１０は、さらに、ＬＣＤ（Liquid Crystal Display）ドライバ１５２を含み構成され、ＬＣＤドライバ１５２にはＬＣＤモニタ１５４が接続される。ＬＣＤドライバ１５２は、ＬＣＤモニタ１５４を駆動するドライブ回路であり、各種状態をＬＣＤモニタ１５４に表示するための信号に変換する機能を有する。ＬＣＤモニタ１５４に代えて、ＯＬＥＤ（Organic Light Emitting Diode）ディスプレイを搭載しもよい。

【0025】

上述したコンポーネント１１２～１２８，１４４，１４６，１５２は、バス１６０を介して相互に接続されている。電源スイッチの操作によって電源がオン状態になると、制御プログラムがメインメモリ（ＤＲＡＭ１３２や他のＲＡＭ）にロードされる。ＣＰＵ１１２は、メインメモリに読み込まれたプログラムに従って、装置各部の動作を制御するとともに、制御に必要なデータをメモリ上に一時的に保存する。これにより、全天球撮像装置１１０の後述する各機能部および処理が実現される。制御プログラムには、ファームウェア、オペレーティング・システム（ＯＳ）、プラグイン・アプリケーションなどが含まれ得る。

【0026】

以下、図３～図７を参照しながら、本実施形態による全天球撮像装置１１０が備える全天球撮像機能について説明する。

【0027】

図３は、本実施形態による全天球撮像装置１１０上で実現される全天球撮像機能に関連する主要な機能ブロック２００を示す。全天球撮像装置１１０の機能ブロック２００は、図３に示すように、制御部２１０と、複数の撮像部と、複数の画像信号処理部と、歪曲補正・画像合成部２４０とを含み構成される。図３に示す実施形態では、図１を参照して説明したように、光学系（撮像部）の数が２であり、第１撮像部２２０および第２撮像部２３０と、第１画像信号処理部２２２および第２画像信号処理部２３２とが設けられている。光学系（撮像部）の数が３以上の場合も、光学系の数に応じた撮像部および画像信号処理部を備えればよい。

【0028】

制御部２１０は、図２に示すＣＰＵ１１２などを含み構成される。制御部２１０は、撮像部２２０，２３０を制御し、全天球画像の撮像動作の全体制御を行う。

【0029】

第１撮像部２２０および第２撮像部２３０は、それぞれが図１や図２に示した結像光学系２０および撮像素子２２（１３０）を含み構成される。撮像部２２０，２３０の撮像素子２２（１３０）は、ＣＰＵ１１２を含む制御部２１０からの制御指令により制御される。２つの撮像部２２０，２３０の撮像素子２２Ａ，２２Ｂ（１３０Ａ，１３０Ｂ）は、通常の全天球撮影処理（同時露光モード）においては、制御部２１０の制御の下、同時に露光を開始し、データ取り込みを行う。

【0030】

第１画像信号処理部２２２および第２画像信号処理部２３２は、それぞれ第１撮像部２２０および第２撮像部２３０から入力された画像データに対しホワイトバランス設定およびガンマ設定を行う。第１画像信号処理部２２２および第２画像信号処理部２３２は、さらに、画像データをフィルタリング処理によって輝度データおよび色差データへの変換を行い、ＹＵＶ形式の魚眼画像２２４，２３４を出力する。ＹＵＶ形式の魚眼画像２２４，２３４のデータは、ＤＲＡＭ１３２に書き出されてもよく、外部ストレージインタフェース１２２を経由して外部ストレージ１３４に出力されてもよい。

【0031】

歪曲補正・画像合成部２４０は、複数の撮像部２２０，２３０から得られた魚眼画像２２４，２３４を合成するために用いられ、より具体的には、歪曲補正処理および画像合成処理を実行する。

【0032】

以下、図４を参照しながら、全天球画像の生成および生成される全天球画像について説明する。図４（Ａ）は、全天球画像生成における各画像のデータ構造および画像のデータフローを説明する。まず、撮像素子１３０各々で直接撮像される画像は、概ね全天球のうちの半球を視野に収めた画像である。結像光学系に入射した光は、所定の射影方式に従って撮像素子１３０の受光領域に結像される。ここで撮像される画像は、受光領域が平面エリアを成す２次元の撮像素子で撮像されたものであり、平面座標系で表現された画像データとなる。また、典型的には、得られる画像は、図４（Ａ）において「魚眼画像Ａ」および「魚眼画像Ｂ」で示されるように、各撮影範囲が投影されたイメージサークル全体を含む魚眼画像として構成される。なお、説明する実施形態では、魚眼レンズを用いて撮像された魚眼画像により説明するが、この魚眼画像には、魚眼レンズ以外の広角レンズを用いて撮像された広角画像も含まれるものとする。

【0033】

この複数の撮像素子１３０で撮像された複数の魚眼画像が、歪み補正処理および画像合成処理されて、１つの全天球画像が構成される。画像合成処理では、平面画像として構成される各魚眼画像から、まず、相補的な各半球部分を含む各全天球画像が生成される。そして、各半球部分を含む２つの全天球画像が、重複領域のマッチングに基づいて位置合わせされ、画像合成され、全天球全体を含む全天球画像が生成される。

【0034】

図４（Ｂ）は、本実施形態で用いられる全天球画像の画像データのデータ構造を平面で表して説明する図である。図４（Ｃ）は、全天球画像の画像データのデータ構造を球面で表して説明する図である。図４（Ｂ）に示すように、全天球画像の画像データは、所定の軸に対してなされる垂直角度φと、所定の軸周りの回転角に対応する水平角度θとを座標とした画素値の配列として表現される。垂直角度φは、０度～１８０度（あるいは－９０度～＋９０度）の範囲となり、水平角度θは、０度～３６０度（あるいは－１８０度～＋１８０度）の範囲となる。

【0035】

全天球フォーマットの各座標値（θ，φ）は、図４（Ｃ）に示すように、撮影地点を中心とした全方位を表す球面上の各点と対応付けられており、全方位が全天球画像上に対応付けられる。魚眼レンズで撮像された魚眼画像の平面座標と、全天球画像の球面上の座標とは、所定の変換テーブルにて対応付けされる。変換テーブルは、それぞれのレンズ光学系の設計データ等に基づいて、所定の投影モデルに従い製造元等で予め作成されたデータであり、歪みを考慮して魚眼画像を全天球画像へ座標変換するデータである。歪曲補正および画像合成の処理を施す際には、ＤＲＡＭ１３２にデータが一時的に保存されてもよい。

【0036】

なお、歪曲補正・画像合成部２４０による歪曲補正処理および画像合成処理は、モーションセンサ１３６からの情報を利用して、歪曲補正と同時に天地補正を行い、天地補正した合成画像を生成することができる。一般に天地補正と歪曲補正はそれぞれ非可逆変換処理となるので、ここでは同時に処理を行うように記載しているが、これらは別々に処理してもよい。また、天地補正とは、実際には基準方向（例えば重力方向）に対して全天球撮像装置１１０の中心軸（図１に示す。）が傾いている状態で撮像された画像を、あたかも中心軸が重力方向Ｚに一致した状態で撮影されたかのような画像に補正する処理をいう。特定の実施形態では、天頂補正に加えて、上記基準方向まわり角度変化を打ち消すような回転補正が行われてもよい。

【0037】

歪曲補正・画像合成部２４０による歪曲補正処理および画像合成処理により、ＹＵＶ形式の全天球画像（エクイレクタンギュラー形式）２４２が出力される。この画像の出力先についても、前述のように、例えばＤＲＡＭ１３２であってよいし、外部ストレージ１３４であってもよい。歪曲補正・画像合成部２４０は、本実施形態における、複数の撮像部２２０，２３０によって撮像された複数の魚眼画像に基づき、合成画像を生成する生成部を構成する。

【0038】

ここで、歪曲補正・画像合成部２４０が、合成画像として、座標変換して得られたＹＵＶ形式の全天球画像２４２を出力するものとして説明する。しかしながら、合成画像は、必ずしも図４に示すような合成後の全天球画像として出力されることを要するものではない。閲覧時に全天球画像が構成可能であれば、いかなる形態で出力されていてもよい。例えば、閲覧時に魚眼画像から歪み補正および合成を行って全天球画像を生成することを前提として、撮像素子１３０Ａ，１３０Ｂで直接撮像される２つの魚眼画像の静止画データ（図４（Ａ）に示す魚眼画像Ａおよび魚眼画像Ｂそれぞれに対応する静止画）を並べて接合して１つの画像とした場合の静止画（ＹＵＶ形式の接合画像（デュアルフィッシュアイ形式）２４４）が出力されていてもよい。また、合成画像は、１つファイルに合成される必要はなく、撮像素子１３０Ａ，１３０Ｂで直接撮像される２つの魚眼画像を関連付けて、別々のファイルとしてもよい。また、合成画像は、全天球画像に限定されるものではなく、水平方向３６０度のパノラマ画像であってもよいし、全天球画像またはパノラマ画像の一部が欠けた画像などであってもよい。

【0039】

全天球撮像装置１１０の機能ブロック２００は、図３に示すように、さらに、コーデック処理部２５０を含み構成されてもよい。コーデック処理部２５０は、図２に示した静止画圧縮ブロック１１７を含み構成される。歪曲補正・画像合成部２４０から出力されたＹＵＶ形式の全天球画像２４２または接合画像２４４は、コーデック処理部２５０により、所定の静止画フォーマットに変換されて、所定静止画フォーマット（例えばＪＰＥＧ）の全天球静止画２５４または接合静止画２５２として出力される。出力先は、外部ストレージ１３４であってもよいし、ＵＳＢコネクタ１３８や無線ＮＩＣ１４０を介して接続される外部の情報端末のストレージ内であってもよい。なお、静止画は、静止画が再生可能であればいなかる形式で記録されてよい。静止画の形式としては、ＪＰＥＧのほか、ＰＮＧ（Portable Network Graphics）、ＢＭＰ（Bitmap）形式などを挙げることができる。

【0040】

上述した全天球撮像装置１１０によれば、２つの撮像部２２０，２３０それぞれの撮影範囲を合算することで、撮影地点を中心とした全方位を一度に撮像することができる。

【0041】

図５（Ａ）は、本実施形態による全天球撮像装置１１０と、撮影者Ｐを含む被写体の位置関係を一例として説明する。図５（Ｂ）は、図５（Ａ）に示す位置関係にて撮像された２つの魚眼画像（魚眼画像Ａ，魚眼画像Ｂ）を例示する。図５（Ｃ）は、図５（Ａ）に示す位置関係にて撮像された図５（Ｂ）で示すような２つの魚眼画像を合成して得られる全天球画像を例示する。

【0042】

図５（Ａ）には、撮影者Ｐ、被写体Ｏ１および被写体Ｏ２が全天球撮像装置１１０の周辺に配置されている。図５（Ａ）に示すように、全天球撮像装置１１０には、表裏の位置に光学系２０Ａ（フロント）と光学系２０Ｂ（リア）が設けられている。それぞれの光学系２０Ａ，２０Ｂを通して撮像された魚眼画像には、図５（Ｂ）に示すように、それぞれの側にある被写体（魚眼画像Ａでは撮影者Ｐおよび被写体Ｏ１，魚眼画像Ｂでは、被写体Ｏ２）が写り込んでいる。そして、合成された全天球画像においても、撮影者Ｐ、被写体Ｏ１，Ｏ２を含めて被写体全体が写り込むことになる。

【0043】

このような全天球画像は、撮影者Ｐ自身を含めて周囲の雰囲気を撮影したいという要望に適うものといえる。一方で、全方位にわたる広い視野を一度に撮影することになるため、その合算された撮影範囲内には撮影者Ｐが写り込むことになるが、撮影者Ｐ自身が被写体として写り込むこと自体が望まれない場合もある。

【0044】

そこで、本実施形態による全天球撮像装置１１０では、複数の撮像部２２０，２３０を併せて用いて撮影する際に、上記同時露光モードに加えて、所定の被写体が写り込むことを回避することが可能な撮影モード（以下、時間差露光モードと参照する。）が提供される。以下、写り込み回避の対象となる被写体が撮影者である場合を一例として説明するが、撮影者以外の被写体を対象とすることもできることは言うまでもない。

【0045】

本実施形態による制御部２１０は、当該時間差露光モードにおいて、複数の撮像部２２０，２３０を制御し、複数の撮像部２２０，２３０それぞれで異なる時間に画像を撮像するようにする。制御部２１０は、また、撮像された異なる時間での複数の画像を歪曲補正・画像合成部２４０に画像合成させる。

【0046】

一つの魚眼画像を撮像する場合にも、露光時間、ローリングシャッターの場合のライン毎の露光タイミングおよび読み出し時間のずれなどに起因して撮像処理には一定の時間幅が存在する。ここで、複数の撮像部２２０，２３０での撮像に関して「異なる時間」とは、各撮像部２２０，２３０での撮影処理（露光開始からデータ取り込み完了まで）のタイミングが少なくとも重ならない程度に意図的に離間されていること意味する。同期の精度に起因して生じうる程度の時間差を有する場合は、「異なる時間」とは言わないものとする。好ましくは、「異なる時間」は、被写体を一方の撮影範囲からその撮影範囲外へ移動させることが可能な程度に充分に間隔されているものとする。

【0047】

また、上述した同時露光モードにおける「同時」とは、グローバルシャッターの場合のような全画素同時タイミングで映像を取得するという程度まで同時であることを意味するものではなく、ローリングシャッターの場合のライン毎の露光タイミングおよび読み出し時間のずれや同期の精度に起因して生じうる程度の時間差があっても、「同時」というものとする。

【0048】

複数の撮像部２２０，２３０の撮像動作を異なるタイミングで実施することにより、撮影者Ｐが、一方での撮影が終わった後、次に撮像を行わない撮像部側の撮影範囲または次に撮像を行う撮像部側の撮影範囲外に移動することが可能となる。

【0049】

特定の実施形態では、制御部２１０は、第１撮像部２２０での撮影からの経過時間を計時し、経過時間が所定の規定時間に到達したことに応答して、第２撮像部２３０での撮像を実行することができる。ここで、第１撮像部２２０の撮影後に第２撮像部２３０での撮像を行うものとして説明するが、当然に、反対であってもよく、どちらの撮影を先行して行うかは、固定されていてもよいし、ユーザにより設定可能であってもよい。さらに、上述した一方の撮影からの経過時間は、撮影処理に関連した任意の基準からの経過時間とすることができる。例えば、経過時間は、撮影処理終了時を基準とした経過時間であってもよいし、撮影処理開始時を基準とした経過時間であってもよいし、撮影処理後の画像信号処理部２２２，２３２からの画像出力完了時を基準とした経過時間であってもよく、特に限定されるものではない。

【0050】

上述したように、時間差露光モードでは、一方の撮像部（例えば２２０）での撮影からの経過時間に基づいて他方の撮像部（例えば２３０）での撮像が行われる。撮影者Ｐは、この所定の時間内に、後続する他方の撮像部（例えば２３０）での撮影の撮影範囲外へ移動することになる。このため、撮影者Ｐが、経過時間や残り時間を把握し、後続する撮影のタイミングを予期できるようにすることが好ましい。

【0051】

図３は、そのような場合に有効な特定の実施形態も図示しており、そのような特定の実施形態では、全天球撮像装置１１０の機能ブロック２００は、さらに、点線で表した案内部２１２を含み構成される。案内部２１２は、制御部２１０からの制御の下、上述した経過時間に基づいた後続の撮像に関し、音声または光での通知、または表示装置上での表示により案内を行うことができる。ここで、撮像に関し行われる案内としては、計時を開始したことを示す案内、経過時間の案内、残り時間の案内などを挙げることができる。

【0052】

音声による通知としては、例えば、スピーカ１５０からの、計時を開始したことを示すビープ音、経過時間や残り時間の読み上げ、経過時間や残り時間に応じた周期や音階でのビープ音の出力などを例示することができる。光での通知としては、例えば、計時を開始したことを示すＬＥＤの点灯や、経過時間や残り時間の電光表示、経過時間や残り時間に応じた周期や色、明るさでのＬＥＤなどの点灯や点滅などを挙げることができる。表示装置上での表示としては、当該全天球撮像装置１１０が備えるＬＣＤモニタ１５４や、ＵＳＢ、Ｗｉｆｉ（登録商標）やＢｌｕｅｔｏｏｔｈ（登録商標）や他の有線または無線プロトコルで接続される外部の情報端末のアプリケーション画面における経過時間や残り時間の表示などを挙げることができる。しかしながら、案内部２１２による案内の態様としては特に限定されるものではない。

【0053】

以下、図６を参照しながら、本実施形態による全天球撮像処理について、より詳細に説明する。図６は、本実施形態による全天球撮像装置１１０が実行する全天球撮像処理を示すフローチャートである。図６に示す処理は、制御部２１０が主に実行する。

【0054】

図６に示す制御は、撮影者からの撮影要求に応答して、ステップＳ１００から開始される。ステップＳ１０１では、制御部２１０は、現在選択中の撮影モードを取得する。撮影モードは、特に限定されるものではないが、ここでは、「同時露光モード」や、複数の撮像部で異なる時間に撮像を行うことを指定する「時間差露光モード」の２つの選択肢の中から選択されているものとする。しかしながら、これら以外のモードがあることを妨げるものではない。

【0055】

ステップＳ１０２では、制御部２１０は、現在選択中の撮影モードが同時露光モードであるか否かを判定する。ステップＳ１０２で、同時露光モードであると判定された場合（ＹＥＳ）は、ステップＳ１０３へ処理を分岐させる。

【0056】

ステップＳ１０３では、制御部２１０は、撮像部２２０，２３０および画像信号処理部２２２，２３２に対し、第１撮像処理および第２撮像処理を同時に実行させて、ステップＳ１０７へ処理を進める。ここで、第１撮像処理は、図３における第１撮像部２２０の撮像素子１３０の露光開始から第１画像信号処理部２２２によるＹＵＶ形式の魚眼画像の出力までに相当する。これに対し、第２撮像処理は、図３における第２撮像部２３０の撮像素子１３０の露光開始から第２画像信号処理部２３２によるＹＵＶ形式の魚眼画像の出力までに相当する。

【0057】

一方、ステップＳ１０２で、同時露光モードではないと判定（「時間差露光モード」であると判定）された場合（ＮＯ）は、ステップＳ１０４へ処理が分岐される。

【0058】

ステップＳ１０４では、制御部２１０は、第１撮像部２２０および第１画像信号処理部２２２に対し、まず第１撮像処理を行わせて、魚眼画像Ａを撮像し、以降の経過時間の計測を開始する。ステップＳ１０５では、制御部２１０は、経過時間を参照して、次の撮像開始時間となったか否かを判定する。ステップＳ１０５で、次の撮像開始時間となるまで（ＮＯの間）、ステップＳ１０５をループさせる。ステップＳ１０５で、次の撮像開始時間となったと判定された場合（ＹＥＳ）は、ステップＳ１０６へ処理が進められる。ステップＳ１０６では、制御部２１０は、第２撮像部２３０および第２画像信号処理部２３２に対し、第２撮像処理を行わせ、ステップＳ１０４とは異なる時間の魚眼画像Ｂを撮像する。

【0059】

例えば、経過時間計測開始タイミングを第１撮像処理の終了時とし、規定時間を１０秒とした場合、第１撮像処理終了後１０秒経過したタイミングで第２撮像処理が開始されることになる。これ以外にも、規定時間計測開始タイミングを第１撮像処理開始時としたり、第１撮像処理にかかるＹＵＶ画像出力完了時としたりすることも可能であることは上述した通りである。また、規定時間を、ユーザの選択または入力により任意の時間に設定可能としてもよい。

【0060】

全天球画像に写り込みたくない撮影者Ｐ（所定の被写体）は、上述した規定時間内に、後続する第２撮影処理での撮影範囲外へ移動することになる。あるいは、全天球画像に写り込ませたくない被写体を、上述した規定時間内に、後続する第２撮影処理での撮影範囲外へ移動させることになる。

【0061】

図７（Ａ）は、本実施形態による時間差露光モードでの第１撮像処理で撮像され得る２つの魚眼画像を示す。図７（Ｂ）は、本実施形態による時間差露光モードでの第２撮像処理で撮像され得る２つの魚眼画像を示す。

【0062】

第１撮像処理が、図５（Ａ）に示すフロント側（２０Ａ）の処理であるとした場合、全天球画像に写りこみたくない撮影者Ｐは、第１撮像処理の第１時点では、図７（Ａ）に描いているように、第２撮像処理側（リア側，魚眼画像Ｂ側）にいる必要がある。そして、後続する第２撮像処理が行われる第２時点までの規定時間内に、撮影者Ｐは、図７（Ｂ）に示すように、第１撮像処理側（フロント側，魚眼画像Ａ側）に移動する必要がある。なお、図７（Ａ）および（Ｂ）において、主に撮像処理を行う側の反対側の魚眼画像も同時に撮像する場合を示しているが、主に撮像処理を行う側の反対側ついては魚眼画像の撮像が行われなくともよい。

【0063】

また、説明する実施形態では、上述したように、第１撮像処理をフロント側、第２撮像処理をリア側としているが、第１撮像処理および第２撮像処理の関係が反対であってもよい。つまり、撮影者Ｐがフロント側にいるときに、第１撮像処理をリア側で行い、撮影者Ｐがリア側に移動した後に第２撮像処理をフロント側で行う態様としてもよい。

【0064】

また、図６に示すステップＳ１０５の判定がＮＯである間のループにおいて、時間計測開始時にスピーカから計測開始音を発したり、経過時間や残り時間に応じてスピーカから音声出力したり、全天球撮像装置１１０が備えるＬＥＤを点灯・点滅させたり、ＬＣＤモニタ１５４に経過時間や残り時間を表示させたりすることで、案内を行うことができる。これにより、撮影者に移動するために使える時間を容易に把握させることができる。

【0065】

ステップＳ１０７では、制御部２１０は、歪曲補正・画像合成部２４０により、第１撮像処理および第２撮像処理で得られた魚眼画像Ａ（第１時点）および魚眼画像Ｂ（第２時点）に基づき合成処理を実行させて、合成画像を生成し、ステップＳ１０８で本処理を終了する。

【0066】

ステップＳ１０４～ステップＳ１０６の処理により、第１撮像処理および第２撮像処理が行われることで、複数のＹＵＶ形式の魚眼画像２２４，２３４が得られる。そして、ステップＳ１０７で、この２つのＹＵＶ形式の魚眼画像２２４，２３４に対して歪曲補正および画像合成を行うことにより、ＹＵＶ形式の全天球画像２４２または接合画像２４４が生成される。なお、ＹＵＶ形式の全天球画像２４２とするか、ＹＵＶ形式の接合画像２４４とするかは、任意に決定することができる。図７（Ｃ）は、図７（Ａ）および図７（Ｂ）で異なる時間に撮像された２つの魚眼画像２２４，２３４から合成された接合画像２４４を合成画像として示す。図７（Ｃ）に示すように、接合画像２４４中には、撮影者Ｐは、被写体として写り込んでいないことが理解される。

【0067】

上述した実施形態では、一方の撮像部で撮像してからの経過時間に基づいて他方の撮像部での撮像を行うものであった。一方、他の実施形態では、一方の撮像部での撮像後、後続する撮像部で撮像を行わせる契機となる明示的な指示を受け付けたことに応答して、後続する撮像部での撮像を行うこともできる。図３は、そのような特定の実施形態も示している。この他の実施形態においては、全天球撮像装置１１０の機能ブロック２００は、図３に示すように、さらに、破線で示した指示受付部２１４を含み構成される。

【0068】

指示受付部２１４は、一方の撮像部（例えば２２０）での撮像後、他方の撮像部（例えば２３０）で撮像を行う契機とする、撮影者Ｐからの明示的な指示を待ち受ける。この明示的な指示は、全天球撮像装置１１０に有線または無線（Ｗｉｆｉ（登録商標）やＢｌｕｅｔｏｏｔｈ（登録商標））で接続されたリモートコントローラ（専用のリモートコントローラであってもよいし、スマートフォンなどの汎用端末に制御アプリケーションをインストールした形態であってもよい。）を用いて行われる。汎用端末と接続している場合、第１撮像処理および第２撮像処理のプレビュー画像を撮影者に実際に見せることも可能である。このため、例えば、撮影者は、プレビュー画像を見ながら、自身が被写体として写りこまない位置に移動できた段階で、次の撮影開始を明示的に指示することができる。

【0069】

この他の実施形態では、制御部２１０は、上述した経過時間に応じた制御に代えて、明示的な指示を受け付けたことに応答して、後続する撮像部（例えば２３０）での撮像を実行する制御を行うことができる。また、経過時間に応じた制御とするか、撮影者からの明示的な指示を契機とした制御とするかは、ユーザにより選択可能であってもよい。また、指示は、他方の撮像部（例えば２３０）で撮像を行えることを意味する指示（準備ができた段階でボタンを押すなど）であってもよいし、他方の撮像部（例えば２３０）で撮像を行えないことを意味する指示（準備中はボタンを押し続け、準備が完了した段階でボタンを離すなど）であってもよい。

【0070】

以下、図８を参照しながら、他の実施形態による全天球撮像処理について、より詳細に説明する。図８は、他の実施形態による全天球撮像装置１１０が実行する全天球撮像処理を示すフローチャートである。図８に示す処理は、図６に示す実施形態と同様に、ＣＰＵ１１２を含む制御部２１０が主に実行する処理である。

【0071】

図８に示す制御は、撮影者からの撮影要求に応答して、ステップＳ２００から開始される。ステップＳ２０１～Ｓ２０３の処理は、図６に示したステップＳ１０１～Ｓ１０３の処理と同様であるため、説明を割愛する。

【0072】

ステップＳ２０２で、同時露光モードではないと判定された場合（ＮＯ）は、ステップＳ２０４へ処理が分岐される。ステップＳ２０４では、制御部２１０は、第１撮像部２２０および第１画像信号処理部２２２に対し、まず第１撮像処理を行わせ、以後、ステップＳ２０５で次の撮影開始指示を待ち受ける。全天球画像に写り込みたくない撮影者Ｐ（所定の被写体）は、次の撮影開始指示を行うまでに、後続する第２撮影処理での撮影範囲外へ移動することになる。ステップＳ２０５で、制御部２１０が、次の撮像開始指示を受け付けたと判定された場合（ＹＥＳ）は、ステップＳ２０６へ処理が進められる。ステップＳ２０６では、制御部２１０は、第２撮像部２３０および第２画像信号処理部２３２に対し、第２撮像処理を行わせる。

【0073】

ステップＳ２０７では、制御部２１０は、歪曲補正・画像合成部２４０により、第１撮像処理および第２撮像処理で得られた複数の魚眼画像に基づき合成処理を実行させて、合成画像を生成し、ステップＳ２０８で本処理を終了させる。

【0074】

なお、上述までの実施形態では、２つの撮像部２２０，２３０で異なる時間に露光およびデータ取り込みを行って、２つの撮像部２２０，２３０に対応する２つの魚眼画像を撮像するものとして説明した。しかしながら、歪曲補正・画像合成部２４０で処理するまでは、２つの撮像部２２０，２３０で同期して順次露光およびデータの取り込みを行っておき、異なる時間に撮像された２つの魚眼画像を歪曲補正・画像合成部２４０での合成のために取得する態様としてもよい。この場合、選択されたもの以外の画像は破棄される。すなわち、異なる時間に画像を撮像するとは、２つの撮像部２２０，２３０を同期させず、異なる時間に露光および取り込みを行う場合のほか、２つの撮像部２２０，２３０を同期して露光および取り込みを常時行いつつ、その後に、異なる時間に露光および取り込みを行った２つの魚眼画像を選択することを含む。

【0075】

以下、図３および図９～図１１を参照しながら、次撮影開始を行う契機を全天球撮像装置１１０自身が判定するさらに他の実施形態について説明する。図３には、そのような全天球撮像装置１１０自身で次撮影開始のタイミングを判定する実施形態も図示されている。この実施形態では、図３に示すように、全天球撮像装置１１０の制御部２１０は、さらに、１点鎖線で示す被写体検知部２１６を含み構成されている。

【0076】

特定の実施形態では、被写体検知部２１６は、一方の撮像部（例えば２２０）での撮像後、他方の撮像部（例えば２３０）で順次画像を取得（露光および取り込み）している。そして、被写体検知部２１６は、取得している画像に基づいて該画像内で所定の被写体の消失を検知するよう構成されている。被写体検知部２１６は、特定の実施形態における消失検知部を構成する。制御部２１０は、他方の撮像部（例えば２３０）で取得している画像内で所定の被写体の消失を検知したことに応答して、他方の撮像部（例えば２３０）での撮影を完了させる。ここでは、所定被写体の消失を検知した後に、他方の撮像部（例えば２３０）で改めて撮影を行ってもよいし、所定の被写体の消失を検知する際に用いた画像を、合成に用いるものとして選択してもよい。

【0077】

なお、所定の被写体が消失したかどうかは、例えば顔検出ブロック１４４での魚眼画像からの検出結果を利用することができる。例えば、簡便には、検知対象である側の魚眼画像中の顔の数が減少しことを所定の被写体の消失とみなすことができる。あるいは、予め検知対象となる顔を登録しておき、この検知対象の顔が消失したことを所定の被写体の消失とみなすことができる。あるいは、このような顔認識技術を用いずに、被写体が消失すると輝度が上がる傾向にあることから、対象となる撮像処理範囲内の全面平均輝度が一定値以上変化した場合に、所定の被写体の消失とみなすこともできる。

【0078】

また、他の特定の実施形態では、被写体検知部２１６は、一方の撮像部（例えば２２０）での撮像後、継続してこの撮像部（例えば２２０）で順次画像を取得（露光および取り込み）している。そして、被写体検知部２１６は、この一方の撮像部（例えば２２０）で取得している画像に基づいて該画像内で所定の被写体の出現を検知するよう構成される。被写体検知部２１６は、他の特定の実施形態における出現検知部を構成する。例えば、撮影者の顔を所定の被写体として登録しておき、制御部２１０は、一方の撮像部（例えば２２０）で取得している画像内でその出現を検知したことに応答して、他方の撮像部（例えば２３０）での撮影を実行する。

【0079】

図９は、さらに他の実施形態による全天球撮像装置１１０が実行する全天球撮像処理を示すフローチャートである。図９に示す処理は、ＣＰＵ１１２を含む制御部２１０が主に実行する処理である。なお、図９に示す処理は、所定の被写体の消失を検知する場合および所定の被写体の出現を検知する場合に共通のフローチャートである。

【0080】

図９に示す制御は、撮影者からの撮影要求に応答して、ステップＳ３００から開始される。ステップＳ３０１～Ｓ３０３の処理は、図６に示したステップＳ１０１～Ｓ１０３の処理と同様であるため、説明を割愛する。

【0081】

ステップＳ３０２で、同時露光モードではないと判定された場合（ＮＯ）は、ステップＳ３０４へ処理が分岐される。ステップＳ３０４では、制御部２１０は、第１撮像部２２０および第１画像信号処理部２２２に対し、まず第１撮像処理を行わせる。ステップＳ３０５では、制御部２１０は、被写体の消失または出現の検知処理を実行し、ステップＳ３０６では、所定の被写体の消失または出現が検知されたか否かを判定する。ステップＳ３０６で、制御部２１０が、所定の被写体の消失または出現を検知しなかったと判定した場合（ＮＯ）は、ステップＳ３０５へ処理をループさせ、被写体の消失または出現の検知処理を継続する。ステップＳ３０６で、制御部２１０が、所定の被写体の消失または出現を検知したと判定された場合（ＹＥＳ）は、ステップＳ３０７へ処理が進められる。ステップＳ３０７では、制御部２１０は、第２撮像部２３０および第２画像信号処理部２３２に対し、第２撮像処理を行わせる。

【0082】

図１０は、所定の被写体の消失を検出する特定の実施形態において各時点で得られる魚眼画像を示す図である。図１０（Ａ）に示すように、フロント側の第１撮像処理を行う第１時点では、撮影者Ｐは、撮影を行わない方の第２撮像処理側（リア側，魚眼画像Ｂ側）にいる。撮影者Ｐの顔Ｆは、被写体検知部２１６により魚眼画像Ｂ中で検出されている。フロント側の第１撮像処理を行った後の所定の時点で、図１０（Ｂ）に示すように、魚眼画像Ｂ中で検出されていた撮影者Ｐの顔の消失Ｌが被写体検知部２１６により検出される。すると、これに応答して、第２時点で、図１０（Ｃ）に示すように、リア側の撮影を行う第２撮像処理を行う。この場合、撮影者Ｐは、例えば、撮影を行わない方の第１撮像処理側（フロント側，魚眼画像Ａ側）にいることになる。

【0083】

これに対して、図１１は、所定の被写体の出現を検出する他の特定の実施形態において各時点で得られる魚眼画像を示す図である。図１１（Ａ）に示すように、フロント側の第１撮像処理を行う第１時点では、撮影者Ｐは、撮影を行わない方の第２撮像処理側（リア側，魚眼画像Ｂ側）にいる。魚眼画像Ａ中、撮影者Ｐの顔は未検出である。フロント側の第１撮像処理を行った後の所定の時点で、図１１（Ｂ）に示すように、撮影者Ｐの顔の出現が、被写体検知部２１６により魚眼画像Ａ中で検出される。これに応答して、第２時点では、図１１（Ｃ）に示すように、リア側の第２撮像処理を行う。この場合、撮影者Ｐは、撮影を行わない方の第１撮像処理側（フロント側，魚眼画像Ａ側）にいるが、魚眼画像Ａ中で撮影者Ｐの顔が検出されることになる。

【0084】

再び図９を参照すると、ステップＳ３０７およびステップＳ３０３の後は、ステップＳ３０８へ処理が進められる。ステップＳ３０８では、制御部２１０は、歪曲補正・画像合成部２４０により、第１撮像処理および第２撮像処理で得られた複数の魚眼画像に基づき合成処理を実行させて、合成画像を生成し、ステップＳ３０９で本処理を終了させる。

【0085】

以上説明したように、上述した実施形態によれば、複数の撮像部を併せて用いて撮影する際に、所定の被写体が写り込むことを回避することが可能な撮像装置、方法およびプログラムを提供することができる。

【0086】

一方の撮像からの経過時間に基づいて、後続の撮像を実行する特定の実施形態では、撮影者は、経過時間というわかりやすい指標を参考に、容易にその間に後続の撮影範囲外へ移動することができる。また、その際に、音声または光での通知、または表示装置上での表示により案内が行われると、撮影者は、移動するために使える時間を容易に把握することができるようになる。

【0087】

さらに、後続の撮像を行う契機となる指示を受け付ける特定の実施形態では、撮影者は、後続の撮影範囲外へ移動するための時間を充分に確保することができるようになり、また、時間を気にする必要もなくなる。

【0088】

また、さらに、取得している画像に基づいて該画像内で所定の被写体の消失または出現を検知する特定の実施形態では、全天球撮像装置が自らの判断で後続の撮像部での撮像を実行するので、撮影者は、経過時間を気にしたり、明示的な指示を行う必要がない。

【0089】

なお、上記機能部は、アセンブラ、Ｃ、Ｃ＋＋、Ｃ＃、Ｊａｖａ（登録商標）などのレガシープログラミング言語やオブジェクト指向プログラミング言語などで記述されたコンピュータ実行可能なプログラムにより実現でき、ＲＯＭ、ＥＥＰＲＯＭ、ＥＰＲＯＭ、フラッシュメモリ、フレキシブルディスク、ＣＤ－ＲＯＭ、ＣＤ－ＲＷ、ＤＶＤ－ＲＯＭ、ＤＶＤ－ＲＡＭ、ＤＶＤ－ＲＷ、ブルーレイディスク、ＳＤカード、ＭＯなど装置可読な記録媒体に格納して、あるいは電気通信回線を通じて頒布することができる。また、上記機能部の一部または全部は、例えばフィールド・プログラマブル・ゲート・アレイ（ＦＰＧＡ）などのプログラマブル・デバイス（ＰＤ）上に実装することができ、あるいはＡＳＩＣ（特定用途向集積）として実装することができ、上記機能部をＰＤ上に実現するためにＰＤにダウンロードする回路構成データ（ビットストリームデータ）、回路構成データを生成するためのＨＤＬ（Hardware Description Language）、ＶＨＤＬ（Very High Speed Integrated Circuits Hardware Description Language）、Ｖｅｒｉｌｏｇ－ＨＤＬなどにより記述されたデータとして記録媒体により配布することができる。

【0090】

これまで本発明の実施形態について説明してきたが、本発明の実施形態は上述した実施形態に限定されるものではなく、他の実施形態、追加、変更、削除など、当業者が想到することができる範囲内で変更することができ、いずれの態様においても本発明の作用・効果を奏する限り、本発明の範囲に含まれるものである。

【符号の説明】

【0091】

１２…撮像体、１４…筐体、１８…シャッター・ボタン、２０…結像光学系、２２，１３０…撮像素子、１１０…全天球カメラ、１１２…ＣＰＵ、１１４…ＲＯＭ、１１６…画像処理ブロック、１１７…静止画圧縮ブロック、１１８…動画圧縮ブロック、１１９…リサイズブロック、１２０，１２６…インタフェース、１２２…外部ストレージインタフェース、１２４…外部センサインタフェース、１２６…ＵＳＢインタフェース、１２８…シリアルブロック、１３２…ＤＲＡＭ、１３４…外部ストレージ、１３６…モーションセンサ、１３８…ＵＳＢコネクタ、１４４…顔検出ブロック、１４６…音声ユニット、１４８…マイクロフォン、１５０…スピーカ、１５２…ＬＣＤドライバ、１５４…ＬＣＤモニタ、２００…機能ブロック、２１０…制御部、２２０…第１撮像部、２２２…第１画像信号処理部、２３０…第２撮像部、２３２…第２画像信号処理部、２４０…歪曲補正・画像合成部、２５０…コーデック処理部

【先行技術文献】

【特許文献】

【0092】

【文献】特許第６０６５４７４号明細書

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】