特許 7451888 撮像装置、撮像システム、方法およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-03-11

(45)【発行日】2024-03-19

(54)【発明の名称】撮像装置、撮像システム、方法およびプログラム

(51)【国際特許分類】

   H04N 23/695 20230101AFI20240312BHJP

   H04N 23/698 20230101ALI20240312BHJP

   G03B 7/091 20210101ALI20240312BHJP

   G03B 15/00 20210101ALI20240312BHJP

   G03B 37/00 20210101ALI20240312BHJP

   H04N 23/45 20230101ALI20240312BHJP

   H04N 23/71 20230101ALI20240312BHJP

【ＦＩ】

H04N23/698

G03B7/091

G03B15/00 W

G03B37/00 A

H04N23/45

H04N23/71

【請求項の数】 9

(21)【出願番号】P 2019119644

(22)【出願日】2019-06-27

(65)【公開番号】P2021005828

(43)【公開日】2021-01-14

【審査請求日】2022-04-14

(73)【特許権者】

【識別番号】000006747

【氏名又は名称】株式会社リコー

(74)【代理人】

【識別番号】110000420

【氏名又は名称】弁理士法人ＭＩＰ

(74)【代理人】

【識別番号】100110607

【弁理士】

【氏名又は名称】間山 進也

(72)【発明者】

【氏名】北條 大輔

(72)【発明者】

【氏名】福井 良

【審査官】淀川 滉也

(56)【参考文献】

【文献】特開２００８－１１６７９０（ＪＰ，Ａ）

【文献】特開２００５－１９７９５２（ＪＰ，Ａ）

【文献】特開２０１６－１１９６９３（ＪＰ，Ａ）

【文献】特開２０１９－０４７２１３（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ２３／６９８

Ｈ０４Ｎ ２３／４５

Ｈ０４Ｎ ２３／７１

Ｇ０３Ｂ ３７／００

Ｇ０３Ｂ １５／００

Ｇ０３Ｂ ７／０９１

(57)【特許請求の範囲】

【請求項1】

複数の撮像手段と、
前記複数の撮像手段ごとに独立して取得した測光値に基づいて、画像内の明暗差を算出し、所定の閾値よりも大きいか否かを判断する判断手段と、
前記明暗差が前記所定の閾値よりも小さい場合に、前記複数の撮像手段によって撮像された各画像について、各撮像手段の光軸回りの回転に対する天頂補正をする補正手段と、
前記補正手段が補正した各画像を繋ぎ合わせた全天球画像を出力する全天球画像出力手段と、
前記明暗差が所定の閾値よりも大きい場合に、前記複数の撮像手段によって撮像された各画像を一方向に並べて配置する左右並列配置型画像を出力する左右並列配置型画像出力手段と
を含む、撮像装置。

【請求項2】

前記明暗差が所定の閾値よりも大きい場合に、前記複数の撮像手段ごとに独立して取得した前記測光値に基づいて、前記複数の撮像手段ごとにおいて適正となる撮像条件を設定し、前記複数の撮像手段それぞれが撮像する第１のモードと、
前記明暗差が所定の位置値よりも小さい場合に、前記複数の撮像手段から取得した複数の測光値に基づいて、前記複数の撮像手段において共通する撮像条件を設定し、前記複数の撮像手段が撮像するとする第２のモードと
を選択する選択手段をさらに含む、請求項１に記載の撮像装置。

【請求項3】

前記選択手段が、前記第２のモードから前記第１のモードに切り替えた場合に、
切り替え時点における前記第２のモードにおいて設定されていた撮像条件を、前記第１のモードにおいて設定される撮像条件の初期値として設定する設定手段をさらに含む、請求項２に記載の撮像装置。

【請求項4】

前記撮像手段は、シャッタスピード、ＩＳＯ感度および絞り値のうち少なくとも１つを含む前記撮像条件を設定し、撮像することを特徴とする、請求項２または３に記載の撮像装置。

【請求項5】

前記複数の撮像手段が撮像する前記画像は、広角レンズ画像または魚眼レンズ画像である、請求項１～４のいずれか１項に記載の撮像装置。

【請求項6】

前記複数の撮像手段はそれぞれ撮像光学系を有し、
前記複数の撮像手段の撮像面は相反して配置されており、かつ、前記撮像光学系の光軸は合致している、請求項１～５のいずれか１項に記載の撮像装置。

【請求項7】

複数の撮像手段と、
前記複数の撮像手段ごとに独立して取得した測光値に基づいて、画像内の明暗差を算出し、所定の閾値よりも大きいか否かを判断する判断手段と、
前記明暗差が前記所定の閾値よりも小さい場合に、前記複数の撮像手段によって撮像された各画像について、各撮像手段の光軸回りの回転に対する天頂補正をする補正手段と、
前記補正手段が補正した各画像を繋ぎ合わせた全天球画像を出力する全天球画像出力手段と、
前記明暗差が所定の閾値よりも大きい場合に、前記複数の撮像手段によって撮像された各画像を一方向に並べて配置する左右並列配置型画像を出力する左右並列配置型画像出力手段と
を含む、撮像システム。

【請求項8】

複数の撮像手段が撮像した画像を繋ぎ合わせて、出力画像を出力する方法であって、
前記複数の撮像手段ごとに独立して取得した測光値に基づいて、画像内の明暗差を算出し、所定の閾値よりも大きいか否かを判断する判断ステップと、
前記複数の撮像手段が画像を撮像する撮像ステップと、
前記明暗差が前記所定の閾値よりも小さい場合に、前記撮像ステップにおいて撮像された各画像について、各撮像手段の光軸回りの回転に対する天頂補正をする補正ステップと、
前記補正ステップにおいて補正された各画像を繋ぎ合わせた全天球画像を出力する全天球画像出力ステップと、
前記明暗差が所定の閾値よりも大きい場合に、前記複数の撮像手段によって撮像された各画像を一方向に並べて配置する左右並列配置型画像を出力する左右並列配置型画像出力ステップと
を含む、方法。

【請求項9】

複数の撮像手段が撮像した画像を繋ぎ合わせて、出力画像を出力する撮像装置が実行するプログラムであって、前記撮像装置を、
前記複数の撮像手段ごとに独立して取得した測光値に基づいて、画像内の明暗差を算出し、所定の閾値よりも大きいか否かを判断する判断手段、
前記明暗差が前記所定の閾値よりも小さい場合に、前記複数の撮像手段によって撮像された各画像について、各撮像手段の光軸回りの回転に対する天頂補正をする補正手段、
前記補正手段が補正した各画像を繋ぎ合わせた全天球画像を出力する全天球画像出力手段、
前記明暗差が所定の閾値よりも大きい場合に、前記複数の撮像手段によって撮像された各画像を一方向に並べて配置する左右並列配置型画像を出力する左右並列配置型画像出力手段
として機能させる、プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、全天球画像を出力する撮像装置、撮像システム、方法およびプログラムに関する。

【背景技術】

【0002】

複数の広角レンズまたは魚眼レンズと、複数の撮像素子とを用いて、いわゆる全天球画像を撮像する撮像装置（以下、「全天球撮像装置」として参照する）が知られている。全天球画像は複数の光学系が撮像した画像を結合して生成される。この点につき、各画像が重複する領域を違和感がないように結合する技術が提案されている（例えば、特許文献１参照）。

【0003】

しかしながら、１つの画像に含まれる被写体の明るさの差が大きい場合や、異なる光源が含まれる場合など、（各光学系が捉える被写体や周囲の条件によっては）全天球撮像装置は複数の光学系によって画像を撮像することから、各画像を結合して生成された全天球画像が却って不自然なものとなる場合があった。また、白飛びや黒つぶれが発生しないようにするため、ＨＤＲ（High Dynamic Range）処理を行う技術が知られているが、被写体に動きがある場合などには画質の低下を招くこととなっていた。

【発明の概要】

【発明が解決しようとする課題】

【0004】

本発明は、上記従来技術における課題に鑑みてなされたものであり、被写体やシーンを問わず、全天球画像の違和感を低減し、かつ、画質を向上する撮像装置、撮像システム、方法およびプログラムを提供することを目的とする。

【課題を解決するための手段】

【0005】

すなわち、本発明によれば、
複数の撮像手段と、
前記複数の撮像手段ごとに独立して取得した測光値に基づいて、各々の撮像条件を設定する設定手段と、
前記複数の撮像手段が各々の撮像条件に基づいて撮像した画像について、各撮像手段の光軸回りの回転に対する天頂補正をする補正手段と、
前記補正手段が補正した各画像を繋ぎ合わせて、出力画像を出力する出力手段と
を含む、撮像装置が提供される。

【発明の効果】

【0006】

上述したように、本発明によれば、被写体やシーンを問わず、全天球画像の違和感を低減し、かつ、画質を向上する撮像装置、撮像システム、方法およびプログラムが提供できる。

【図面の簡単な説明】

【0007】

【図1】本実施形態による全天球撮像システムの構成図。

【図2】本実施形態による全天球撮像システムを構成する全天球撮像装置の断面図。

【図3】本実施形態による全天球撮像システムを構成する全天球撮像装置のハードウェアブロック図。

【図4】本実施形態による全天球撮像システムを構成する情報処理装置のハードウェアブロック図。

【図5】本実施形態による全天球撮像装置における画像処理全体の流れを説明する図。

【図6】全天球画像の生成および生成された全天球画像を説明する図。

【図7】本実施形態における全天球撮像装置の姿勢の定義を説明する図。

【図8】本実施形態による全天球画像の天頂補正および回転補正について説明する図。

【図9】明るさに差のある全天球画像の具体的な例を示す図。

【図10】本実施形態による全天球撮像システムを構成する全天球撮像装置の機能手段を説明する図。

【図11】本実施形態の撮像装置が行う処理を示すフローチャート。

【図12】本実施形態の明暗差撮影モードによって撮影された全天球画像の例を示す図。

【図13】本実施形態において天頂補正された全天球画像を説明する図。

【発明を実施するための形態】

【0008】

以下、本実施形態について説明するが、実施形態は、以下に説明する実施形態に限定されるものではない。なお、以下の実施形態では、撮像システムの一例として、２つの魚眼レンズを備える全天球撮像装置１０と、全天球撮像装置１０と通信する情報処理装置５０とを備える全天球撮像システム１を用いて説明する。

【0009】

全天球撮像システムの基本構成
以下、図１～図４を参照しながら、本実施形態による全天球撮像システム１の全体構成について説明する。図１は、本実施形態による全天球撮像システム１の構成図である。本実施形態による全天球撮像システム１には、全天球撮像装置１０と、情報処理装置５０とが含まれる。全天球撮像装置１０は、複数の広角レンズ画像や魚眼レンズ画像などを撮像し、当該全天球撮像装置１０を中心とした全天球画像を撮像する装置である。情報処理装置５０は、全天球撮像装置１０と通信し、全天球撮像値１０の操作や、撮像した画像の受信などを行う端末である。図１では、情報処理装置５０の例としてスマートフォン端末を示しているが、特に実施形態を限定するものではない。なお、全天球撮像装置１０および情報処理装置５０の詳細については、後述する。

【0010】

図２は、本実施形態による全天球撮像システム１を構成する、全天球撮像装置１０の断面図である。図２に示す全天球撮像装置１０は、撮像体１２と、上記撮像体１２およびコントローラやバッテリなどの部品を保持する筐体１４と、上記筐体１４に設けられた撮影ボタン１８とを備える。

【0011】

図２に示す撮像体１２は、２つのレンズ光学系２０Ａ，２０Ｂと、２つの撮像素子２２Ａ，２２Ｂとを含み構成される。撮像素子２２Ａ，２２Ｂは、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサやＣＣＤ（Charge Coupled Device）センサなどである。撮像素子２２Ａ、２２Ｂは、各撮像面が相反するように配置される。なお、説明する実施形態では、２つのレンズ光学系２０Ａ，２０Ｂに対し２つの撮像素子２２Ａ，２２Ｂが複数の撮像部として設けられるものとして説明するが、これに限定されるものではない。他の実施形態では、１つの撮像素子における異なる部分それぞれを撮像部として、複数のレンズ光学系２０Ａ，２０Ｂを通して１つの撮像素子の各部分上で結像することもできる。レンズ光学系２０は、例えば６群７枚や１０群１４枚の魚眼レンズとして構成される。魚眼レンズは、図２に示す実施形態では、１８０度（＝３６０度／ｎ；光学系数ｎ＝２）より大きい全画角を有し、好適には、１９０度以上の画角を有する。なお、説明する実施形態では、１８０度以上の全画角を有する２つの魚眼レンズを用いるものとして説明するが、全体として所定の画角が得られる限り、３つ以上のレンズ光学系および撮像素子を含んでいてもよい。また、説明する実施形態では、魚眼レンズを用いるものとして説明するが、全体として所定の画角が得られる限り、魚眼レンズに代えて、他の広角レンズや超広角レンズを用いることは妨げられない。

【0012】

２つのレンズ光学系２０Ａ，２０Ｂの光学素子（レンズ、プリズム、フィルタおよび開口絞り）は、撮像素子２２Ａ，２２Ｂに対して位置関係が定められる。レンズ光学系２０Ａ，２０Ｂの光学素子の光軸が、対応する撮像素子２２の受光領域の中心部に直交して位置するように、かつ、受光領域が、対応する魚眼レンズの結像面となるように位置決めが行われる。なお、説明する実施形態では、視差を低減するために、２つのレンズ光学系２０Ａ，２０Ｂにより集光された光を、２つの９０度プリズムによって２つの撮像素子２２Ａ，２２Ｂに振り割ける屈曲光学系を採用するものとするが、これに限定されるものではく、視差をより低減するために３回屈折構造としてもよいし、コストを低減するべくストレート光学系であってもよい。

【0013】

図２に示す実施形態では、レンズ光学系２０Ａ，２０Ｂは、同一仕様のものであり、それぞれの光軸が合致するようにして、互いに逆向きに組み合わせられる。撮像素子２２Ａ，２２Ｂは、受光した光分布を画像信号に変換し、コントローラ上の画像処理ブロックに順次、画像を出力する。詳細は後述するが、撮像素子２２Ａ，２２Ｂでそれぞれ撮像された画像は、合成処理されて、これにより、立体角４πステラジアンの画像（以下「全天球画像」と参照する。）が生成される。全天球画像は、撮影地点から見渡すことのできる全ての方向を撮影したものとなる。なお、説明する実施形態では、全天球画像を生成するものとして説明するが、水平面のみ３６０度を撮影した全周画像、いわゆる３６０度パノラマ画像であってもよく、全天球または水平面３６０度の全景のうちの一部を撮影した画像（例えば、水平３６０度、水平線から垂直９０度を撮影した全天周（ドーム）画像）であってもよい。また、全天球画像は、静止画として取得することもできるし、動画として取得することもできる。

【0014】

図３、本実施形態による全天球撮像システム１を構成する全天球撮像装置１０のハードウェア構成を示す。全天球撮像装置１０は、デジタル・スチルカメラ・プロセッサ（以下、単にプロセッサと称する）１００と、鏡胴ユニット１０２と、プロセッサ１００に接続される種々のコンポーネントから構成されている。鏡胴ユニット１０２は、上述した２組のレンズ光学系２０Ａ，２０Ｂと、撮像素子２２Ａ，２２Ｂとを有している。撮像素子２２は、プロセッサ１００内のＣＰＵ（Central Processing Unit）１３０からの制御指令により制御される。ＣＰＵ１３０の詳細については後述する。

【0015】

プロセッサ１００は、ＩＳＰ（Image Signal Processor）１０８と、ＤＭＡＣ（Direct Memory Access Controller）１１０と、メモリアクセスの調停のためのアービタ（ＡＲＢＭＥＭＣ）１１２とを含む。さらにプロセッサ１００は、メモリアクセスを制御するＭＥＭＣ（Memory Controller）１１４と、歪曲補正・画像合成ブロック１１８と、顔検出ブロック１１９とを含んでいる。ＩＳＰ１０８Ａ，１０８Ｂは、それぞれ、撮像素子２２Ａ，２２Ｂの信号処理を経て入力された画像に対し、自動露出（ＡＥ：Automatic Exposure）制御、自動ホワイトバランス（ＡＷＢ：Auto White Balance）設定やガンマ設定を行う。なお、図３では、２つの撮像素子２２Ａ，２２Ｂに対応して２つのＩＳＰ１０８Ａ，１０８Ｂが設けられているが、特に限定されるものではなく、２つの撮像素子２２Ａ，２２Ｂに対し１つのＩＳＰが設けられてもよい。

【0016】

ＭＥＭＣ１１４には、ＳＤＲＡＭ（Synchronous Dynamic Random Access Memory）１１６が接続されている。そして、ＳＤＲＡＭ１１６には、ＩＳＰ１０８Ａ，１０８Ｂおよび歪曲補正・画像合成ブロック１１８において処理を施す際に、データが一時的に保存される。歪曲補正・画像合成ブロック１１８は、レンズ光学系２０および撮像素子２２の２つの組から得られた２つの撮影画像に対し、モーションセンサ１２０からの情報を利用して歪曲補正とともに天頂補正などを施しながら画像合成する。モーションセンサ１２０は、３軸加速度センサ、３軸角速度センサおよび地磁気センサなどを含み得る。顔検出ブロック１１９は、画像から顔検出を行い、人物の顔の位置を特定する。なお、顔検出ブロック１１９とともに、これに代えて、人物の全身像、猫や犬など動物の顔、車や花などの他の被写体を認識する物体認識ブロックが設けられてもよい。

【0017】

プロセッサ１００は、さらに、ＤＭＡＣ１２２と、画像処理ブロック１２４と、ＣＰＵ１３０と、画像データ転送部１２６と、ＳＤＲＡＭＣ（SDRAM Controller）１２８と、メモリカード制御ブロック１４０と、ＵＳＢ（Universal Serial Bus）ブロック１４６と、ペリフェラル・ブロック１５０と、音声ユニット１５２と、シリアルブロック１５８と、ＬＣＤドライバ１６２と、ブリッジ１６８とを含む。

【0018】

ＣＰＵ１３０は、全天球撮像装置１０の各部の動作を制御する。画像処理ブロック１２４は、画像データに対し各種画像処理を施す。プロセッサ１００には、リサイズブロック１３２が設けられ、リサイズブロック１３２は、画像データのサイズを補間処理により拡大または縮小するためのブロックである。プロセッサ１００には、また、静止画圧縮ブロック１３４が設けられ、静止画圧縮ブロック１３４は、ＪＰＥＧ（Joint Photographic Experts Group）、ＴＩＦＦ（Tagged Image File Format）などの静止画圧縮および伸張を行うコーデック・ブロックである。静止画圧縮ブロック１３４は、生成された全天球画像の静止画データを生成するために用いられる。プロセッサ１００には、さらに、動画圧縮ブロック１３６が設けられ、動画圧縮ブロック１３６は、ＭＰＥＧ（Moving Picture Experts Group）－４ ＡＶＣ（Advanced Video Coding）／Ｈ．２６４などの動画圧縮および伸張を行うコーデック・ブロックである。動画圧縮ブロック１３６は、生成された全天球画像の動画データを生成するために用いられる。また、プロセッサ１００には、パワーコントローラ１３７が設けられている。

【0019】

画像データ転送部１２６は、画像処理ブロック１２４で画像処理された画像を転送する。ＳＤＲＡＭＣ１２８は、プロセッサ１００に接続されるＳＤＲＡＭ１３８を制御し、ＳＤＲＡＭ１３８には、プロセッサ１００内で画像データに各種処理を施す際に、画像データが一時的に保存される。メモリカード制御ブロック１４０は、メモリカードスロット１４２に挿入されたメモリカードおよびフラッシュＲＯＭ（Read Only Memory）１４４に対する読み書きを制御する。メモリカードスロット１４２は、全天球撮像装置１０にメモリカードを着脱可能に装着するためのスロットである。ＵＳＢブロック１４６は、ＵＳＢコネクタ１４８を介して接続されるパーソナル・コンピュータなどの外部機器とのＵＳＢ通信を制御する。ペリフェラル・ブロック１５０には、電源スイッチ１６６が接続される。

【0020】

音声ユニット１５２は、ユーザが音声信号を入力するマイク１５６と、記録された音声信号を出力するスピーカ１５４とに接続され、音声入出力を制御する。シリアルブロック１５８は、パーソナル・コンピュータなどの外部機器とのシリアル通信を制御し、無線ＮＩＣ（Network Interface Card）１６０が接続される。ＬＣＤ（Liquid Crystal Display）ドライバ１６２は、ＬＣＤモニタ１６４を駆動するドライブ回路であり、ＬＣＤモニタ１６４に各種状態を表示するための信号に変換する。図３に示すもののほか、ＨＤＭＩ（High-Definition Multimedia Interface、登録商標）などの映像インタフェースが設けられていてもよい。

【0021】

フラッシュＲＯＭ１４４には、ＣＰＵ１３０が解読可能なコードで記述された制御プログラムや各種パラメータが格納される。電源スイッチ１６６の操作によって電源がオン状態になると、上記制御プログラムがメインメモリにロードされ、ＣＰＵ１３０は、メインメモリに読み込まれたプログラムに従って、装置各部の動作を制御する。また同時に、制御に必要なデータがＳＤＲＡＭ１３８と、図示しないローカルＳＲＡＭ（Static Random Access Memory）とに一時的に保存される。なお、書き換え可能なフラッシュＲＯＭ１４４を使用することで、制御プログラムや制御するためのパラメータを変更することが可能となり、機能のバージョンアップを容易に行うことができる。

【0022】

図４は、本実施形態による全天球撮像システム１を構成する情報処理装置５０のハードウェア構成を示す。情報処理装置５０は、スマートフォンやタブレットコンピュータなどのモバイル端末、パーソナル・コンピュータ、ワークステーション、サーバ・コンピュータなどのコンピュータ・システムである。図４に示す情報処理装置５０は、ＣＰＵ５２と、ＲＡＭ５４と、ＨＤＤ（Hard Disk Drive）５６とを含み構成される。ＣＰＵ５２は、情報処理装置５０の各部の動作および全体動作を制御する。ＲＡＭ５４は、ＣＰＵ５２の作業領域を提供する。ＨＤＤ５６は、ＣＰＵ５２が解読可能なコードで記述された、オペレーティング・システム、本実施形態による情報処理装置５０側の処理を担うアプリケーションなどのプログラムを格納する。ＨＤＤに代えて、ＳＳＤ（Solid State Drive）が設けられてもよい。

【0023】

情報処理装置５０は、さらに、入力装置５８と、外部ストレージ６０と、ディスプレイ６２と、無線ＮＩＣ６４と、ＵＳＢコネクタ６６とを含み構成されてもよい。入力装置５８は、マウス、キーボード、タッチパッド、タッチスクリーンなどの入力装置であり、ユーザ・インタフェースを提供する。外部ストレージ６０は、メモリカードスロットなどに装着された着脱可能な記録媒体であり、動画形式の画像データや静止画データなどの各種データを記録する。

【0024】

ディスプレイ６２は、ユーザが操作するための操作画面の表示、撮影前または撮影中の全天球撮像装置１０による撮像画像のモニタ画像の表示、保存された動画や静止画の再生、閲覧のための表示を行うことができる。ディスプレイ６２および入力装置５８により、ユーザは、操作画面を介して全天球撮像装置１０に対する撮影指示や各種設定変更を行うことが可能となる。

【0025】

無線ＮＩＣ６４は、全天球撮像装置１０などの外部機器との無線ＬＡＮ通信の接続を確立する。ＵＳＢコネクタ６６は、全天球撮像装置１０などの外部機器とのＵＳＢ接続を確立する。なお、一例として、無線ＮＩＣ６４およびＵＳＢコネクタ６６を示すが、特定の規格に限定されるものではなく、Ｂｌｕｅｔｏｏｔｈ（登録商標）やワイヤレスＵＳＢなどの他の無線通信、有線ＬＡＮ（Local Area Network）などの有線通信で外部機器と接続されてもよい。

【0026】

情報処理装置５０に電源が投入され電源がオン状態になると、ＲＯＭやＨＤＤ５６からプログラムが読み出され、ＲＡＭ５４にロードされる。ＣＰＵ５２は、ＲＡＭ５４に読み込まれたプログラムに従って、装置各部の動作を制御するとともに、制御に必要なデータをメモリ上に一時的に保存する。これにより、情報処理装置５０の後述する各機能部および処理が実現される。上記プログラムとしては、接続する全天球撮像装置１０に対し各種指示を行ったり、画像を要求したりするためのアプリケーションを挙げることができる。

【0027】

全体画像処理
図５は、本実施形態における全天球撮像装置１０における画像処理全体の流れを説明する図であり、主要な機能ブロックが示されている。図５に示すように、撮像素子２２Ａおよび撮像素子２２Ｂの各々によって、所定の露出条件パラメータのもとで画像が撮像される。続いて、撮像素子２２Ａおよび撮像素子２２Ｂの各々から出力された画像に対し、図３に示したＩＳＰ１０８Ａ，１０８Ｂにより、第１画像信号処理（処理１）の処理が行われる。第１画像信号処理の処理としては、オプティカル・ブラック（ＯＢ）補正処理、欠陥画素補正処理、リニア補正処理、シェーディング補正処理および領域分割平均処理が実行され、その結果はメモリに保存される。

【0028】

領域分割平均処理は、撮像画像を構成する画像領域を複数領域に分割し、分割領域毎に輝度の積算値（または積算平均値）を算出する処理を行う。この処理結果はＡＥ処理に用いることができる。

【0029】

第１画像信号処理（ＩＳＰ１）の処理が完了すると、続いて、ＩＳＰ１０８Ａ，１０８Ｂにより、第２画像信号処理（処理２）が行われる。第２画像信号処理として、ホワイトバランス（WB (White Balance)ゲイン）処理１７６、ベイヤー補間処理、色補正処理、ガンマ（γ）補正処理、ＹＵＶ変換処理およびエッジ強調（ＹＣＦＬＴ）処理が実行され、その結果はメモリに保存される。

【0030】

被写体からの光量を蓄積する撮像素子２２上のフォトダイオードには１画素毎にＲ（赤）、Ｇ（緑）およびＢ（青）のいずれか１色のカラーフィルタが貼付されている。そして、フィルタの色によって透過する光量が変わってくるため、フォトダイオードに蓄積される電荷量が異なっている。最も感度が高いのはＧで、ＲとＢはＧと比較すると感度が低く、約半分程度である。ホワイトバランス（ＷＢ）処理１７６では、これらの感度差を補い、撮影画像の中の白色を白く見せるために、ＲとＢにゲインを掛ける処理を行う。また、物の色は光源色（例えば、太陽光、蛍光灯など）によって変わってくるため、光源が変わっても白色を白く見せるようにＲとＢのゲインを変更し、制御する機能を有している。なお、上記領域分割平均処理により計算された分割領域毎のＲＧＢの積算値に基づき、ホワイトバランス処理のパラメータが計算される。

【0031】

撮像素子２２Ａから出力されたベイヤーＲＡＷの画像に対して、ＩＳＰ１０８Ａにより第１画像信号処理が行われ、その画像がメモリに保存される。撮像素子２２Ｂから出力されたベイヤーＲＡＷの画像に対しても同様に、ＩＳＰ１０８Ｂにより第１画像信号処理が行われ、その画像がメモリに保存される。

【0032】

自動露出制御部１７０は、両眼の画像の画像境界部分の明るさが合うように、領域分割平均処理によって得られたエリア積算値を用いて、各撮像素子２２Ａ，２２Ｂを適正露出に設定する（複眼ＡＥ）。なお、撮像素子２２が、独立な簡易ＡＥ処理機能を有し、撮像素子２２Ａおよび撮像素子２２Ｂの各々が単独で適正露出に設定できるようになっていてもよい。その場合、撮像素子２２Ａ，２２Ｂの各々の露出条件の変化が小さくなり安定した場合に、両眼の画像の考慮した複眼ＡＥ制御に移行する。なお、自動露出制御部１７０は、１つのＩＳＰ１０８上で実行されてもよいし、ＩＳＰ１０８Ａ，１０８Ｂの両方に分散実装されて、お互いに情報交換しながら、相手方の情報を踏まえて自身の撮像素子２２の露出条件パラメータを決定することとしてもよい。

【0033】

なお、露出条件パラメータとしては、シャッタスピード、ＩＳＯ感度および絞り値を用いることができるが、絞り値は、固定であってもよい。また、複眼ＡＥにおいては、撮像素子２２Ａと撮像素子２２Ｂとのシャッタスピードを同じにすることで、複数の撮像素子２２にまたがる動被写体に対しても良好に繋ぎ合わせることができる。撮像素子２２Ａ，２２Ｂに対する露出条件パラメータは、自動露出制御部１７０から、各撮像素子２２Ａ、２２ＢのＡＥレジスタ１７２Ａ，１７２Ｂに設定される。

【0034】

第１画像信号処理が終了した撮像素子２２Ａ側のデータに対しては、ホワイトバランス処理１７６Ａを含む第２画像信号処理が実行され、実行後のデータがメモリに保存される。同様に、第１画像信号処理が終了した撮像素子２２Ｂ側のデータに対しても、ホワイトバランス処理１７６Ｂを含む第２画像信号処理が実行され、実行後のデータがメモリに保存される。各撮像素子２２Ａ，２２Ｂでのホワイトバランス処理のパラメータは、上記領域分割平均処理により計算された分割領域毎のＲＧＢの積算値に基づき、ホワイトバランス計算部１７４により計算される。

【0035】

第２画像信号処理が終了したデータは、歪曲補正・画像合成ブロック１１８により歪曲補正・合成処理が行われ、全天球画像が生成される。歪曲補正・合成処理の過程で、適宜、モーションセンサ１２０からの情報を得て天頂補正および回転補正が行われる。画像は、静止画であれば、例えば図３に示した静止画圧縮ブロック１３４で適宜ＪＰＥＧ圧縮され、メモリに保存され、ファイル保存（タグ付け）が行われる。動画であれば、画像は、図３に示した動画圧縮ブロック１３６で適宜ＭＰＥＧ－４ ＡＶＣ／Ｈ．２６４などの動画フォーマットへ圧縮され、メモリに保存され、ファイル保存（タグ付け）が行われる。さらに、データがＳＤカードなどのメディアに保存されてもよい。スマートフォンなどの情報処理装置５０に転送する際には、無線ＬＡＮ（Ｗｉ－Ｆｉ）やＢｌｕｅｔｏｏｔｈ（登録商標）などを使用して転送が行われる。

【0036】

歪曲補正・画像合成
以下、図６を参照しながら、全天球画像の生成および生成される全天球画像について説明する。図６（Ａ）は、全天球画像生成における各画像のデータ構造および画像のデータフローを説明する。まず、撮像素子２２Ａ，２２Ｂ各々で直接撮像される画像は、全天球のうちの概ね半球を視野に収めた画像である。レンズ光学系２０に入射した光は、所定の射影方式に従って撮像素子２２の受光領域に結像される。ここで撮像される画像は、受光領域が平面エリアを成す２次元の撮像素子で撮像されたものであり、平面座標系で表現された画像データとなる。また、典型的には、得られる画像は、図６（Ａ）において「部分画像Ａ」および「部分画像Ｂ」で示されるように、各撮影範囲が投影されたイメージサークル全体を含む魚眼レンズ画像として構成される。

【0037】

これら複数の撮像素子２２Ａ，２２Ｂで撮像された複数の部分画像が、歪み補正および合成処理されて、１つの全天球画像が構成される。合成処理では、平面画像として構成される各部分画像から、まず、相補的な各半球部分を含む各画像が生成される。そして、各半球部分を含む２つの画像が、重複領域のマッチングに基づいて位置合わせ（スティッチング処理）され、画像合成され、全天球全体を含む全天球画像が生成される。各半球部分の画像には他の画像との重複領域が含まれるが、画像合成においては、自然な繋ぎ目となるように重複領域についてブレンディング処理が行われる。

【0038】

図６（Ｂ）は、本実施形態で用いられる全天球画像の画像データのデータ構造を平面で表して説明する図である。図６（Ｃ）は、全天球画像の画像データのデータ構造を球面で表して説明する図である。図６（Ｂ）に示すように、全天球画像の画像データは、所定の軸に対してなされる垂直角度φと、所定の軸周りの回転角に対応する水平角度θとを座標とした画素値の配列として表現される。垂直角度φは、０度～１８０度（あるいは－９０度～＋９０度）の範囲となり、水平角度θは、０度～３６０度（あるいは－１８０度～＋１８０度）の範囲となる。

【0039】

全天球フォーマットの各座標値（θ，φ）は、図６（Ｃ）に示すように、撮影地点を中心とした全方位を表す球面上の各点と対応付けられており、全方位が全天球画像上に対応付けられる。魚眼レンズで撮影された部分画像の平面座標と、全天球画像の球面上の座標とは、所定の変換テーブルにて対応付けされる。変換テーブルは、それぞれのレンズ光学系の設計データ等に基づいて、所定の投影モデルに従い製造元等で予め作成されたデータであり、部分画像を全天球画像へ変換するデータである。

【0040】

なお、図６（Ａ）の説明では、レンズＡによる画像Ａが中央に、レンズＢによる画像Ｂが左右に分離して並べられた形で展開されている。しかしながら、後述するように、レンズＡによる画像Ａが左側に、レンズＢによる画像Ｂが右側に並べられた形で展開されてもよい。

【0041】

天頂補正（ロール、ピッチ補正）および回転補正（ヨー補正）
ここで、図７および図８を参照しながら、モーションセンサ１２０からの情報を利用して行われる天頂補正および回転補正について説明する。

【0042】

図７は、本実施形態における全天球撮像装置１０の姿勢の定義を説明する図である。図７（Ａ）は、全天球撮像装置１０の側面から見た姿勢の定義を示し、図７（Ｂ）は、全天球撮像装置１０の正面から見た姿勢の定義を示す。

【0043】

図７に示すように、全天球撮像装置１０の姿勢角としては、全天球撮像装置１０の２つのレンズ中央を通る光軸方向を前後方向として、前後方向を軸とした軸周りの回転角（ロール）、全天球撮像装置１０の左右方向を軸とした該軸周りの回転角（ピッチ）、および、上下方向を軸とした回転角（ヨー）が定義される。一方のレンズ（例えばシャッター１８がある側の反対のレンズ）を前面として全天球撮像装置１０をおじぎさせるような回転がピッチで表される。全天球撮像装置１０のレンズ光軸周りの側方回転がロールで表され、全天球撮像装置１０の筐体中心軸周りの回転がヨーで表される。

【0044】

なお、説明する実施形態では、以下のように便宜的に全天球撮像装置１０の前後を定義する。すなわち、撮影ボタン１８とは反対側のレンズ光学系２０Ａをフロントレンズとし、フロントレンズで撮影する側をフロント（Ｆ）側とする。また、撮影ボタン１８がある側のレンズ光学系２０Ｂをリアレンズとし、リアレンズで撮影する側をリア（Ｒ）側とする。

【0045】

図８は、本実施形態において行われる全天球画像の天頂補正および回転補正を説明する図である。図８は、本実施形態において行われる全天球画像の天頂補正および回転補正によって得られる全天球画像を説明する図である。図８（Ａ）および図８（Ｃ）は、天頂補正前の全天球画像の定義およびその画像を示し、図８（Ｂ）および図８（Ｄ）は、天頂補正後の全天球画像の定義およびその画像を示す。

【0046】

上述したように、全天球画像フォーマットの画像データは、所定の軸に対してなす垂直角度φと、上記所定の軸周りの回転角に対応する水平角度θとを座標とした画素値の配列として表現される。ここで、所定の軸は、なんら補正がなされない場合は、全天球撮像装置１０を基準として定義される軸となる。例えば、図２に示す全天球撮像装置１０の撮像体１２側を頭部としてその反対側を底部として、底部から頭部へ筐体の中心を通る中心軸を、水平角度θおよび垂直角度φを定義する所定の軸として全天球画像を定義することができる。また、例えば２つのレンズ光学系２０Ａ，２０Ｂのうちの一方の光軸方向が水平角度θで中心に位置するように、全天球画像の水平角度θを定義することができる。

【0047】

天頂補正とは、図８（Ａ）のように実際には重力方向に対し中心軸が傾いている状態で撮像された全天球画像（図８（Ｃ））を、図８（Ｂ）のようにあたかも中心軸が重力方向に一致した状態で撮影されたかのような全天球画像（図８（Ｄ））に補正する処理（ロール方向およびピッチ方向の補正）をいう。これに対して、回転補正とは、天頂補正により重力方向に中心軸が一致するように補正された全天球画像（図８（Ｄ））において、さらに、重力方向周りの基準から回転をかける処理（ヨー方向の補正）をいう。回転補正は、行われなくてもよく、例えば、全天球画像を特定の方向に固定したい場合に適用される。例えば、動画において、最初に向いていた方位が常に全天球画像の中心にくるよう補正したり、常に磁北が全天球画像の中心にくるようにしたりする場合に好適に用いることができる。

【0048】

なお、説明する実施形態では、部分画像から各半球部分を含む画像に変換し、得られた画像を合成して全天球画像を生成し、生成された全天球画像に対して天頂・回転処理を施す流れとして説明した。しかしながら、変換処理、合成処理および天頂・回転処理の順序は、特に限定されるものではない。部分画像Ａと部分画像Ｂ（それを変換した相補的な各半球部分を含む２つの全天球画像）それぞれに対して天頂・回転補正を施した後に合成処理する流れとしてもよい。また、全天球フォーマットの画像に対して回転座標変換を施すほか、部分画像を全天球画像に変換するための変換テーブルに対し天頂・回転補正を反映し、天頂・回転補正が反映された変換テーブルに基づいて、部分画像Ａおよび部分画像Ｂから補正後の全天球画像を直接得ることもできる。

【0049】

次に、平面に表示された全天球画像の例について説明する。図９は、明るさに差のある全天球画像の具体的な例を示す図である。ここで、全天球画像を平面上に表示する投影法の一つとして正距円筒図法（Equirectangular）がある。正距円筒図法は、球面の画像の各画素の３次元方向を緯度と経度に分解し、正方格子状に対応する画素値を並べる画像形式である。すなわち地球を例に正距円筒図法を説明すると、緯線、経線が直角かつ等間隔に交差するように投影したものとなる。

【0050】

図９（Ａ）は、全天球画像の配置を示した例であり、ここでは、撮像素子２２Ａによって撮影された部分画像Ａが中央部に配置され、撮像素子２２Ｂによって撮影された部分画像Ｂが２つに分割され、部分画像Ａの左右に配置された全天球画像の例を示している。

【0051】

図９（Ｂ）は、撮像素子２２Ａ，２２Ｂについて複眼ＡＥ制御で撮影された全天球画像の例である。図９（Ｂ）の部分画像Ｂは、撮像素子２２Ｂが主に車内の画像を撮影したものであり、全体的に暗めの画像である。一方で、図９（Ｂ）の部分画像Ａは、撮像素子２２Ａが主に屋外の画像を撮影したものであり、全体的に明るめの画像である。このように画像内における明暗差が大きい場合、複眼ＡＥ制御で撮影すると、画像に白飛びや黒つぶれが発生する。例えば、図９（Ｂ）では、破線で示した領域のように屋外の建物の一部が白飛びし、画質の低下を招いている。

【0052】

ここで、１つの画像内の明暗差が大きい場合において画質を改善する方法として、ＨＤＲ処理をして撮影する方法が挙げられる。ＨＤＲ処理は、１つの画像内における明暗差が大きい場合に、露出を変えて撮影した複数枚の画像を合成する処理を行うことで、画像の画質を向上することができる。

【0053】

図９（Ｃ）は、撮像素子２２Ａ，２２Ｂについて複眼ＡＥ制御し、ＨＤＲ処理をして撮影された全天球画像である。図９（Ｃ）は、図９（Ｂ）と同様のシーンを撮影したものであるが、ＨＤＲ処理をして撮影している。したがって、図９（Ｃ）の破線で示した領域の建物は、図９（Ｂ）のものよりも明瞭に撮影され、全天球画像の画質が向上している。

【0054】

一方で、図９（Ｃ）のように複眼ＡＥ制御とＨＤＲ処理とを組み合わせて撮影する場合であっても、被写体に動きがある場合などには、却って画質が低下することとなる。そのため、各撮像素子の各々が単独で適正露出に設定する（独立ＡＥ制御）ことが好ましい。すなわち、独立ＡＥ制御では、撮像素子２２Ａが独立して取得した測光値に基づいて撮像素子２２Ａの撮像条件を決定し、撮像素子２２Ｂが独立して取得した測光値に基づいて撮像素子２２Ｂの撮像条件を決定する。特に、各撮像素子が撮像する被写体の明暗差が所定の閾値よりも大きい場合に、複眼ＡＥ制御による通常撮影モードから、独立ＡＥ制御による撮影モード（以下、「明暗差場面モード」として参照する）に切り替えて撮像を行う。なお、ここでいう「通常撮影モード」とは、複眼ＡＥ制御によって、各撮像素子に共通する撮像条件を設定する撮影モードをいうものとする。

【0055】

図１０は、本実施形態による全天球撮像システム１を構成する全天球撮像装置１０の機能手段を説明する図である。撮影モード切替部２０１は、通常撮影モードと明暗差場面モードとを切り替える手段である。撮影モード切替部２０１は、各撮像素子２２Ａ，２２Ｂが取得する部分画像の明暗差に基づいて撮影モードを切り替える。

【0056】

明暗差場面モードが選択された場合には、自動露出制御部１７０は、各撮像素子２２Ａ，２２Ｂの各々が取得した測光値に基づいて、それぞれ撮像素子について適正露出となる撮像条件を設定する。なお、測光値の取得は、必ずしも撮像素子２２が行わなくともよく、測光センサなどが行うこととしてもよい。この場合、全天球撮像装置１０は、各撮像素子２２に対応した測光センサ、すなわち、撮像素子２２Ａの撮像条件を設定するための測光値を測定する測光センサと、撮像素子２２Ｂの撮像条件を設定するための測光値を測定する測光センサとを備える。また、設定される撮像条件は、シャッタスピード、ＩＳＯ感度、絞り値など、種々のパラメータを設定することができる。

【0057】

また、各撮影モードは、ユーザが、全天球撮像装置１０や情報処理装置５０のアプリケーションなどを手動で操作することによって選択することができるが、特に実施形態を限定するものではない。例えば、全天球撮像装置１０や情報処理装置５０が、撮像素子２２や測光センサなどが取得した各測光値を比較し、その差分が所定の閾値よりも大きい場合に、自動的に明暗差場面モードに切り替える構成としてもよい。

【0058】

また、ホワイトバランス値計算部１７４についても同様に、明暗差場面モードでは、各撮像素子２２Ａ，２２Ｂの各々が撮影時点に取得した情報に基づいて、それぞれの撮像素子のホワイトバランス値を計算し、ホワイトバランス処理を行う。

【0059】

なお、通常撮影モードから明暗差場面モードに切り替えた場合には、明暗差場面モードにおいて設定される各撮像素子の撮像条件の初期値を、切り替え時点の通常撮影モードにおいて設定されていた撮像条件とすることができる。これによって、フィードバック制御による撮像条件の収束を早めることができる。

【0060】

次に、撮影モードを選択する処理について説明する。図１１は、本実施形態の全天球撮像装置１０が行う処理を示すフローチャートである。全天球撮像装置１０は、ステップＳ１０１から処理を開始する。ステップＳ１０２では、撮影モード切替部２０１は、各撮像素子が撮影する画像の明るさの情報を取得する。

【0061】

その後、ステップＳ１０３で撮影モード切替部２０１は、ステップＳ１０２において取得した情報に基づいて、明暗差を算出し、所定の閾値よりも大きいか否かによって処理を分岐する。明暗差が閾値よりも大きい場合には（ＹＥＳ）、ステップＳ１０４に進み、撮影モード切替部２０１は、明暗差撮影モードを選択して撮影を行う。明暗差が閾値以下である場合には（ＮＯ）、ステップＳ１０５に進み、撮影モード切替部２０１は、通常撮影モードを選択して撮影を行う。その後、ステップＳ１０６において処理を終了する。

【0062】

次に、明暗差撮影モードによって撮影された全天球画像について説明する。図１２は、本実施形態の明暗差撮影モードによって撮影された全天球画像の例を示す図である。明暗差撮影モードで撮影された場合、図１２（Ａ）に示すような、各部分画像を一方向に並べて配置するような全天球画像（以下、「左右並列配置型画像」として参照する）を出力することが好ましい。図１２（Ａ）では、撮像素子２２Ａによって撮影された部分画像Ａが左側に配置され、撮像素子２２Ｂによって撮影された部分画像Ｂが右側に配置された全天球画像の例を示している。

【0063】

このような配置とすることで、全体の画像としての収まりがよく、また、明暗差の大きい境界部の数を少なくすることができるため、画像を見たユーザが感じる違和感を低減することができる。また、横長の全天球画像に対して、部分画像を横方向に並列に配置することで、部分画像の境界の長さを、全天球画像の短辺方向の長さとすることができる。すなわち、境界の長さを短くすることができるため、ユーザの違和感を低減できる。

【0064】

図１２（Ｂ）は、明暗差撮影モードで撮影された全天球画像の具体例を示す画像である。各撮像素子の撮像条件を独立ＡＥ制御によって設定して撮影することで、例えば図１２（Ｂ）のように一方の撮像素子が主に車内の人物を撮影し、他方の撮像素子が主に車外の風景を撮制するような場合であっても、明暗差による白飛びや黒つぶれなどを低減できる。

【0065】

また、このように明暗差撮影モードで撮影された全天球画像にあっては、歪曲補正・画像合成ブロック１１８の繋ぎ位置検出処理機能を無効にする制御を行い、部分画像の重複領域について繋ぎ位置検出処理を行わないことしてもよい。明暗差撮影モードで撮影された部分画像は明暗差が大きいため、繋ぎ位置検出処理をして接合すると、繋ぎ部分の不自然さ目立つこととなり、却って画質の低下を招くこととなる。そのため、各部分画像の繋ぎ位置検出処理を行わないことで、より見やすい全天球画像を生成することができる。

【0066】

さらに、明暗差撮影モードにおいて明暗差が特に顕著である場合には、左右並列配置型画像を出力する際に、図１２（Ｃ）のように、部分画像の境界部に境界線を挿入する構成としてもよい。例えば、部分画像の差異が顕著である場合などには、図１２（Ｃ）に示すような境界線を挿入した左右並列配置型画像を出力することで境界近傍の差異を目立ちにくくして、当該画像を見たユーザに対して、別個の画像が並んで表示されているものと認識させることができる。なお、部分画像の境界部には、境界線以外のその他の画像が挿入されてもよい。

【0067】

また、明暗差撮影モードにおいて全天球画像を出力する場合には、装置の回転方向によっては、天頂補正を行うことで、左右並列配置型画像とならず、見やすさが損なわれる場合がある。そのため、ピッチ方向に対する回転に対しては天頂補正をせず、ロール方向に対する回転に対して天頂補正をすることが好ましい。図１３は、本実施形態において天頂補正された全天球画像を説明する図である。

【0068】

図１３（Ａ）左図は、本実施形態の全天球撮像装置１０が撮像する例を示す図であり、撮像素子２２Ａはフロント側の車を撮像し、撮像素子２２Ｂはリア側の人物を撮像する例を示している。図１３（Ａ）左図では、全天球撮像装置１０は、ヨー方向、ロール方向、ピッチ方向のいずれにも回転せず、正立した姿勢で撮像を行っている。このようにして撮像された場合、生成される左右並列配置型画像は、図１３（Ａ）右図に示すような全天球画像となる。すなわち、全天球画像の左側の部分画像Ａには車の画像が含まれ、右側の部分画像Ｂには人物の画像が含まれる。このような場合、全天球撮像装置１０は正立姿勢で撮像をしているため、天頂補正は行わなくてよい。

【0069】

次に、全天球撮像装置１０をロール方向に回転して撮像した場合について考える。図１３（Ｂ）左図に示すように、全天球撮像装置１０をロール方向、すなわちレンズ光軸回りに９０°回転して撮像すると、左右並列配置型画像の各部分画像は、図１３（Ｂ）中央に示すように、部分画像中の被写体（人物や車など）が回転する。かかる場合に天頂補正を行うと、図１２（Ｂ）右図のように、図１３（Ａ）右図と同様の左右並列配置型の全天球画像を生成することができる。また、このような場合、車や人物などの被写体は光軸に近い位置にあるため、部分画像内での歪み量は小さい。したがって、天頂補正に伴って歪み補正をした場合であっても、被写体の歪みは小さく、画質の低下も起こりにくい。

【0070】

一方で、全天球撮像装置１０をピッチ方向に回転して撮像した場合について考える。図１３（Ｃ）左図に示すように、全天球撮像装置１０をピッチ方向、すなわちレンズ光軸が上下方向に向くように回転して撮像すると、図１３（Ｃ）中央に示すように、左右並列配置型画像の部分画像Ａには、車と人物の上部が含まれ、部分画像Ｂには、車と人物の下部が含まれる。

【0071】

このようにして撮像された全天球画像について天頂補正を行うと、図１３（Ｃ）右図のように、全天球画像の左側に車が含まれ、右側に人物が含まれる画像となる。しかしながら、図１３（Ｃ）のように天頂補正された画像は、左右並列配置型画像とはならず、部分画像の境界が画像の長辺に沿う方向に生じる。そのため、境界の長い不自然な画像となる。また、天頂補正に伴って歪み補正を行うと、車や人物などの被写体がレンズ光軸から離れた位置（部分画像の端部近傍）に写っているため、歪み量が大きくなり、画質の低下を招くこととなる。

【0072】

したがって、本実施形態の全天球撮像システム１は、ロール方向の回転に対する天頂補正を行い、ピッチ方向の回転に対する天頂補正を行わない構成とすることが好ましい。なお、ヨー方向の回転に対しては、回転補正を行ってもよいし、行なわなくてもよい。

【0073】

なお、ここまで説明した実施形態では、主に静止画を例に説明をしたが、特に実施形態を限定するものではない。したがって、静止画のみならず動画についても説明した実施形態を適用して実施してもよい。

【0074】

以上説明したように、上述した実施形態によれば、被写体やシーンを問わず、全天球画像の違和感を低減し、かつ、画質を向上する撮像装置、撮像システム、方法およびプログラムを提供することができる。

【0075】

なお、上述までの実施形態では、全天球撮像装置１０と、全天球撮像装置１０と通信する情報処理装置５０とを備える全天球撮像装置１０を一例として、全天球撮像システム１について説明した。しかしながら、全天球撮像システム１の構成は、上述した構成に限定されるものではない。したがって実施形態において説明した各機能手段は、必ずしも全てが全天球撮像装置１０に含まれていなくてもよく、例えば他の実施形態では、全天球撮像装置１０と情報処理装置５０との協働によって実現されるものであってもよい。また、上記の実施形態のシステムは、外部の撮像手段が撮像した画像を処理する画像処理システムであってもよい。

【0076】

なお、上記機能部は、アセンブラ、Ｃ、Ｃ＋＋、Ｃ＃、Ｊａｖａ（登録商標）などのレガシープログラミング言語やオブジェクト指向プログラミング言語などで記述されたコンピュータ実行可能なプログラムにより実現でき、ＲＯＭ、ＥＥＰＲＯＭ、ＥＰＲＯＭ、フラッシュメモリ、フレキシブルディスク、ＣＤ－ＲＯＭ、ＣＤ－ＲＷ、ＤＶＤ－ＲＯＭ、ＤＶＤ－ＲＡＭ、ＤＶＤ－ＲＷ、ブルーレイディスク、ＳＤカード、ＭＯなど装置可読な記録媒体に格納して、あるいは電気通信回線を通じて頒布することができる。また、上記機能部の一部または全部は、例えばフィールド・プログラマブル・ゲート・アレイ（ＦＰＧＡ）などのプログラマブル・デバイス（ＰＤ）上に実装することができ、あるいはＡＳＩＣ（特定用途向集積回路）として実装することができ、上記機能部をＰＤ上に実現するためにＰＤにダウンロードする回路構成データ（ビットストリームデータ）、回路構成データを生成するためのＨＤＬ（Hardware Description Language）、ＶＨＤＬ（Very High Speed Integrated Circuits Hardware Description Language）、Ｖｅｒｉｌｏｇ－ＨＤＬなどにより記述されたデータとして記録媒体により配布することができる。

【0077】

これまで本発明の実施形態について説明してきたが、本発明の実施形態は上述した実施形態に限定されるものではなく、他の実施形態、追加、変更、削除など、当業者が想到することができる範囲内で変更することができ、いずれの態様においても本発明の作用・効果を奏する限り、本発明の範囲に含まれるものである。

【符号の説明】

【0078】

１…全天球撮像システム、１０…全天球撮像装置、１２…撮像体、１４…筐体、１８…撮影ボタン、２０…レンズ光学系、２２…撮像素子、５０…情報処理装置、５２…ＣＰＵ、５４…ＲＡＭ、５６…ＨＤＤ、５８…入力装置、６０…外部ストレージ、６２…ディスプレイ、６４…無線ＮＩＣ、６６…ＵＳＢコネクタ、６８…バス、１００…プロセッサ、１０２…鏡胴ユニット，１０８…ＩＳＰ、１１０，１２２…ＤＭＡＣ、１１２…アービタ（ＡＲＢＭＥＭＣ）、１１４…ＭＥＭＣ、１１６，１３８…ＳＤＲＡＭ、１１８…歪曲補正・画像合成ブロック、１２０…モーションセンサ、１２４…画像処理ブロック、１２６…画像データ転送部、１２８…ＳＤＲＡＭＣ、１３０…ＣＰＵ、１３２…リサイズブロック、１３４…静止画圧縮ブロック、１３６…動画圧縮ブロック、１４０…メモリカード制御ブロック、１４２…メモリカードスロット、１４４…フラッシュＲＯＭ、１４６…ＵＳＢブロック、１４８…ＵＳＢコネクタ、１５０…ペリフェラル・ブロック、１５２…音声ユニット、１５４…スピーカ、１５６…マイク、１５８…シリアルブロック、１６０…無線ＮＩＣ、１６２…ＬＣＤドライバ、１６４…ＬＣＤモニタ、１６６…電源スイッチ、１６８…ブリッジ、１７０…自動露出制御、１７２…ＡＥレジスタ、１７４…ホワイトバランス値計算部、１７６…ホワイトバランス処理、２０１…撮影モード切替部

【先行技術文献】

【特許文献】

【0079】

【文献】特許第６４６７７８７号公報

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】