特許 7586162 撮像装置、撮像システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-11-11

(45)【発行日】2024-11-19

(54)【発明の名称】撮像装置、撮像システム

(51)【国際特許分類】

   H04N 23/50 20230101AFI20241112BHJP

   H04N 23/51 20230101ALI20241112BHJP

   H04R 1/40 20060101ALI20241112BHJP

   G03B 15/00 20210101ALI20241112BHJP

   G03B 19/07 20210101ALI20241112BHJP

   G03B 37/00 20210101ALI20241112BHJP

【ＦＩ】

H04N23/50

H04N23/51

H04R1/40 320A

G03B15/00 W

G03B19/07

G03B37/00 Z

【請求項の数】 12

(21)【出願番号】P 2022199877

(22)【出願日】2022-12-15

(62)【分割の表示】P 2021075475の分割

【原出願日】2017-03-16

(65)【公開番号】P2023026477

(43)【公開日】2023-02-24

【審査請求日】2023-01-16

(73)【特許権者】

【識別番号】000006747

【氏名又は名称】株式会社リコー

(74)【代理人】

【識別番号】110000420

【氏名又は名称】弁理士法人ＭＩＰ

(72)【発明者】

【氏名】加賀 良太

【審査官】藏田 敦之

(56)【参考文献】

【文献】特開２０１６－０２７３３５（ＪＰ，Ａ）

【文献】特開２０１６－０４６６９９（ＪＰ，Ａ）

【文献】特開２０１０－１４５５２４（ＪＰ，Ａ）

【文献】特開２０１２－１９５９２２（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ２３／５０

Ｈ０４Ｎ ２３／５１

Ｈ０４Ｒ １／４０

Ｈ０４Ｒ ５／０２７

Ｇ０３Ｂ １５／００

Ｇ０３Ｂ １９／０７

Ｇ０３Ｂ ３７／００

(57)【特許請求の範囲】

【請求項1】

全天球画像を構成する画像を撮像する、結像光学系と撮像素子を有する撮像光学系と、４つの収音装置とを筐体内に備える撮像装置であって、
前記筐体は、６つの面を有し、前記６つの面のうち向かい合う２つの面は、前記結像光学系の一部が露出する開口が設けられ、
前記４つの収音装置が、前記結像光学系の下端位置より下方に配置される２つの収音装置と、前記２つの収音装置より上方に配置される２つの収音装置と、を含み、
一方の対の２つの収音装置は、前記結像光学系の光軸と平行な軸に沿って、前記開口が設けられた２つの面それぞれの側に配置され、
他方の対の２つの収音装置は、前記一方の対の２つの収音装置の配置方向と交差する方向に向かい合う面それぞれの側に配置される、
撮像装置。

【請求項2】

前記４つの収音装置は、前記結像光学系の光軸の上方および下方のそれぞれに１対ずつ配置される、請求項１に記載の撮像装置。

【請求項3】

前記４つの収音装置のうち前記結像光学系の下端位置より下方に配置される１対の収音装置に対して上方に配置される１対の収音装置は、前記結像光学系の上端位置より上方に配置される、請求項１または２に記載の撮像装置。

【請求項4】

前記開口が設けられた２つの面に配置された前記一方の対の２つの収音装置は、前記結像光学系の光軸と平行な軸に沿って配置される、請求項１～３のいずれか１項に記載の撮像装置。

【請求項5】

前記一方の対の２つの収音装置の配置方向と交差する方向に向かい合う面に配置された前記他方の対の２つの収音装置は、前記結像光学系の光軸と直交する軸に平行な軸に沿って配置される、請求項１～４のいずれか１項に記載の撮像装置。

【請求項6】

前記４つの収音装置は、前記結像光学系の前記筐体から突出している部分より内側に配置される、請求項１～５のいずれか１項に記載の撮像装置。

【請求項7】

前記開口が設けられた２つの面のうち１つの面の側に撮影指示手段を有し、
前記開口が設けられた２つの面に配置された前記一方の対の２つの収音装置は、前記結像光学系の光軸の下方であって前記結像光学系と前記撮影指示手段の間となる位置に配置され、
前記一方の対の２つの収音装置の配置方向と交差する方向に向かう合う面に配置された前記他方の対の２つの収音装置は、前記結像光学系の光軸の上方に配置される、
請求項１～６のいずれか１項に記載の撮像装置。

【請求項8】

全天球画像を構成する画像を撮像する、結像光学系と撮像素子を有する撮像光学系と、４つの収音装置とを筐体内に備える撮像システムであって、
前記筐体は、６つの面を有し、前記６つの面のうち向かい合う２つの面は、前記結像光学系の一部が露出する開口が設けられ、
前記４つの収音装置が、前記結像光学系の下端位置より下方に配置される２つの収音装置と、前記２つの収音装置より上方に配置される２つの収音装置と、を含み、
一方の対の２つの収音装置は、前記結像光学系の光軸と平行な軸に沿って、前記開口が設けられた２つの面それぞれの側に配置され、
他方の対の２つの収音装置は、前記一方の対の２つの収音装置の配置方向と交差する方向に向かい合う面それぞれの側に配置される、
撮像システム。

【請求項9】

前記４つの収音装置は、前記結像光学系の光軸の上方および下方のそれぞれに１対ずつ配置される、請求項８に記載の撮像システム。

【請求項10】

前記４つの収音装置のうち前記結像光学系の下端位置より下方に配置される１対の収音装置に対して上方に配置される１対の収音装置は、前記結像光学系の上端位置より上方に配置される、請求項８または９に記載の撮像システム。

【請求項11】

前記開口が設けられた２つの面に配置された前記一方の対の２つの収音装置は、前記結像光学系の光軸と平行な軸に沿って配置される、請求項８～１０のいずれか１項に記載の撮像システム。

【請求項12】

前記一方の対の２つの収音装置の配置方向と交差する方向に向かい合う面に配置された前記他方の対の２つの収音装置は、前記結像光学系の光軸と直交する軸に平行な軸に沿って配置される、請求項８～１１のいずれか１項に記載の撮像システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、撮像装置、撮像システムに関する。

【背景技術】

【0002】

近年、カメラで撮影した画像に基づいて、全天球画像や全天球動画を生成する技術が知られている。

【0003】

特に全天球動画を再生する場合、臨場感を再現することが望まれている。

【0004】

例えば、特開２００１－２９８７３３号公報（特許文献１）では、レンズで半天球および全天球を平面変換したものを、カメラで撮影し、投影機でスクリーンに投影すると共に、音響に関しては立体配置の少なくとも５個のマイクロフォン１１で収音する技術が開示されている。

【0005】

しかしながら、特許文献１では、カメラに対するマイクロフォンの具体的な配置が開示されていないので、臨場感を再現するために簡便な構成が明らかになっていなかった。

【発明の概要】

【発明が解決しようとする課題】

【0006】

本発明は、上記従来技術における課題に鑑みてなされたものであり、簡便に臨場感を再現可能な撮像装置、撮像システムを提供することを目的とする。

【課題を解決するための手段】

【0007】

すなわち、本発明によれば、
全天球画像を構成する画像を撮像する、結像光学系と撮像素子を有する撮像光学系と、４つの収音装置とを筐体内に備える撮像装置であって、
前記筐体は、６つの面を有し、前記６つの面のうち向かい合う２つの面は、前記結像光学系の一部が露出する開口が設けられ、
前記４つの収音装置が、前記結像光学系の下端位置より下方に配置される２つの収音装置と、前記２つの収音装置より上方に配置される２つの収音装置と、を含み、
一方の対の２つの収音装置は、前記結像光学系の光軸と平行な軸に沿って、前記開口が設けられた２つの面それぞれの側に配置され、
他方の対の２つの収音装置は、前記一方の対の２つの収音装置の配置方向と交差する方向に向かい合う面それぞれの側に配置されることを特徴とする撮像装置が提供される。

【発明の効果】

【0008】

上述したように、本発明によれば、簡便に臨場感を再現可能な撮像装置、撮像システムが提供される。

【図面の簡単な説明】

【0009】

【図1】本実施形態の全天球カメラの内部構造を例示する断面図。

【図2】本実施形態の全天球カメラによって撮影される画像の例を示す図。

【図3】本実施形態の全天球カメラのハードウェア構成図。

【図4】マイクロフォンの数と配置を説明する図。

【図5】本実施形態の全天球カメラのマイクロフォンの配置の例を示す図。

【図6】第１の実施例において立体音響を取得するマイクロフォンの配置の例を示す図。

【図7】第２の実施例において立体音響を取得するマイクロフォンの配置の例を示す図。

【図8】５つのマイクロフォンで立体音響を取得する配置例を説明する図。

【発明を実施するための形態】

【0010】

以下、本発明を、実施形態をもって説明するが、本発明は後述する実施形態に限定されるものではない。なお、以下に参照する各図においては、共通する要素について同じ符号を用い、適宜その説明を省略するものとする。また、以下の明細書において、音声とは、人が発する声に限らず、音楽、機械音、動作音、その他空気の振動によって伝搬する音を総称したものとして参照する。

【0011】

図１は本実施形態の撮像装置の一例として全天球カメラ１００の内部構造を例示する断面図である。図１に示す全天球カメラ１００は、少なくとも撮像体１２と、筐体１４と、シャッター・ボタン１６およびマイクロフォン１４２Ａ～Ｄを備える。

【0012】

撮像体１２は、少なくとも２つの結像光学系２０Ａ，２０Ｂと、２つの撮像素子２２Ａ，２２Ｂを含み構成される。結像光学系２０Ａ，２０Ｂは、光学素子として、前群レンズ、プリズム、後群レンズ、フィルタおよび開口絞りなどが含まれる。例えば、光学素子として構成される広角レンズや魚眼レンズは、１８０度（＝３６０度／ｎ；光学系数ｎ＝２）より大きい全画角を有し、好適には、１８５度以上の画角を有し、より好適には、１９０度以上の画角を有する。撮像素子２２Ａ，２２Ｂは、結像光学系２０Ａ，２０Ｂにより集光された光を画像信号に変換する。撮像素子２２Ａ，２２Ｂは、例えばＣＣＤ（Charge Coupled Device）センサ、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサを含む。広角な結像光学系と撮像素子とを１個ずつ組み合わせたものを広角撮像光学系と参照する。

【0013】

結像光学系２０Ａ，２０Ｂの光学素子は、撮像素子２２Ａ，２２Ｂに対して位置関係が定められる。より具体的には、結像光学系２０Ａ，２０Ｂの光学素子の光軸が、対応する撮像素子２２の受光領域の中心部に直交して位置するように、かつ、受光領域が、対応する魚眼レンズの結像面となるように位置決めが行われる。

【0014】

結像光学系２０Ａ，２０Ｂは、同一仕様のものであり、それぞれの光軸が合致するようにして、互いに逆向きに組み合わせられる。撮像素子２２Ａ，２２Ｂは、結像光学系２０Ａ，２０Ｂからそれぞれ受光した光分布を画像信号に変換し、コントローラ上の画像処理手段に順次、画像フレームを出力する。

【0015】

結像光学系２０Ａ，２０Ｂにより撮像される画像は、それぞれ撮像素子２２Ａ，２２Ｂの受光領域上に結像する。撮像素子２２Ａ，２２Ｂでそれぞれ撮像された画像を合成処理することにより、全天球画像が生成される。例えば図２に示す半球画像を合成することにより、全天球画像が生成される。全天球画像は、全天球カメラ１００の全周囲の立体角４πステラジアンの画像を撮影した画像である。また、全天球画像の連続するフレームに基づいて、全天球動画が生成される。

【0016】

筐体１４は、撮像体１２、コントローラおよびバッテリなどの部品を保持する。筐体１４は、結像光学系２０Ａ，２０Ｂのレンズを露出する開口が設けられ、筐体１４の一部の面から結像光学系２０Ａ，２０Ｂのレンズが突出している。また、筐体１４は、シャッター・ボタン１６が備えられている。シャッター・ボタン１６は、全天球カメラ１００に撮影開始を指示するボタンである。

【0017】

マイクロフォン１４２Ａ～Ｄは、全天球カメラ１００の周囲の音を取得し、音の信号を出力する。マイクロフォン１４２Ａ～Ｄは、指向性マイクロフォンであってもよいし、無指向性マイクロフォンであってもよい。指向性マイクロフォンを用いた場合には、特定の方向の音を取得することができる。無指向性マイクロフォンを用いた場合には、各マイクロフォンのキャリブレーションを容易に行うことができる。さらに、マイクロフォン１４２Ａ～Ｄは、指向性マイクロフォンと無指向性マイクロフォンとを組み合わせて用いてもよい。マイクロフォン１４２Ａ～Ｄのうち少なくとも１つが無指向性であると、キャリブレーションを容易に行うことができると共に、安価で、個体ばらつきが少なくなる。

【0018】

次に、全天球カメラ１００のハードウェア構成について説明する。図３は、本実施形態の全天球カメラ１００のハードウェア構成図である。全天球カメラ１００は、ＣＰＵ（Central Processing Unit）１１２と、ＲＯＭ（Read Only Memory）１１４と、動画圧縮ブロック１１６と、画像処理ブロック１２０と、音声信号処理ブロック１２２と、ＤＲＡＭ（Dynamic Random Access Memory）インタフェース１２４とを含み構成される。

【0019】

ＣＰＵ１１２は、全天球カメラ１００の各部の動作および全体動作を制御する。ＲＯＭ１１４は、ＣＰＵ１１２が解読可能なコードで記述された制御プログラムや各種パラメータを格納する。動画圧縮ブロック１１６は、ＭＰＥＧ－４ ＡＶＣ／Ｈ．２６４などの動画圧縮および伸張を行うコーデック・ブロックである。

【0020】

画像処理ブロック１２０は、２つの撮像素子１４０Ａ，１４０Ｂ（図１における撮像素子２２Ａ，２２Ｂに対応する。）と接続され、それぞれで撮像された画像の画像信号が入力される。画像処理ブロック１２０は、ＩＳＰ（Image Signal Processor）などを含み構成され、２つの撮像素子１４０Ａ，１４０Ｂから入力された画像信号に対し、シェーディング補正、ベイヤー補間、ホワイト・バランス補正、ガンマ補正などを行う。

【0021】

音声信号処理ブロック１２２は、マイクロフォンなどの収音装置が取得する音声信号に対して各種処理を行う。音声信号処理ブロック１２２は、筐体１４内に収められた少なくとも４つのマイクロフォン１４２Ａ～Ｄと接続され、マイクロフォン１４２Ａ～Ｄが取得した音声信号がそれぞれ入力される。音声信号処理ブロック１２２は、プリアンプ、ＡＤＣ（Analog to Digital Converter）、各種フィルタ、コンプレッサなどを含み構成され、マイクロフォン１４２Ａ～Ｄから入力された音声信号に対して、信号増幅、ＡＤ変換、周波数分離などの各種処理を行う。また、音声信号処理ブロック１２２では、取得した音声を立体音響として再生可能なデータを出力できる。立体音響は、４以上のマイクロフォンで取得した音声を、音源に対する３次元的な方向を反映した音声として複数のスピーカから再生でき、視聴者に臨場感を与えることができる。

【0022】

ＤＲＡＭ（Dynamic Random Access Memory）インタフェース１２４には、ＤＲＡＭ１４４が接続される。ＤＲＡＭ１４４は、各種信号処理および画像処理を施す際にデータを一時的に保存する記憶領域を提供する。

【0023】

全天球カメラ１００は、さらに、外部ストレージインタフェース１２６と、外部センサインタフェース１２８と、ＵＳＢ（Universal Serial Bus）インタフェース１３０と、シリアルブロック１３２とを含み構成されてもよい。

【0024】

外部ストレージインタフェース１２６は、外部ストレージ１４６が接続される。外部ストレージインタフェース１２６は、メモリカードスロットに挿入されたメモリカードなどの外部ストレージ１４６に対する読み書きを制御する。外部センサインタフェース１２８には、加速度センサ１４８が接続される。加速度センサ１４８は、３軸の加速度成分を検出し、検出された加速度成分は、鉛直方向を検出して全天球画像の天頂補正を施すために用いられる。

【0025】

ＵＳＢインタフェース１３０は、ＵＳＢコネクタ１５０が接続される。ＵＳＢインタフェース１３０は、ＵＳＢコネクタ１５０を介して接続されるパーソナル・コンピュータなどの外部機器とのＵＳＢ通信を制御する。シリアルブロック１３２は、パーソナル・コンピュータなどの外部機器とのシリアル通信を制御し、無線ＮＩＣ（Network Interface Card）１５４が接続される。

【0026】

電源スイッチの操作によって電源がオン状態になると、ＲＯＭ１１４に格納されている制御プログラムがメインメモリにロードされる。ＣＰＵ１１２は、メインメモリに読み込まれたプログラムに従って、装置各部の動作を制御すると共に、制御に必要なデータをメモリ上に一時的に保存する。その後、シャッター・ボタン１６の押下によって、２つの撮像素子１４０Ａ，１４０Ｂおよびマイクロフォン１４２Ａ～Ｄを制御し、画像および音声を取得する。各種ハードウェアが、取得した画像および音声を合わせる処理を行うことで、立体音響の再生が可能な全天球動画を生成する。全天球動画は、映像出力インタフェース１１８を介して、再生装置に出力される。なお、全天球動画は、ＵＳＢコネクタ１５０や無線ＮＩＣ１５４などを介して接続される外部機器に出力されてもよい。

【0027】

ここまで、本実施形態の少なくとも４つのマイクロフォンが含まれる全天球カメラ１００の構成について説明した。もちろん、撮像装置、マイクロフォンおよび各種処理部がそれぞれ分離した撮像システムであってもよい。

【0028】

次に、マイクロフォンの数に応じた音響について説明する。図４（ａ）～（ｄ）は、マイクロフォンの数と配置を説明する図である。図４（ａ）～（ｄ）に示される黒丸は、マイクロフォンを示す。図４（ａ）～（ｄ）は、それぞれマイクロフォンの数が１～４つの場合について、それぞれ示している。

【0029】

まず、図４（ａ）について説明する。マイクロフォンが１つの場合、全周囲からの音声または特定の方向の音源からの音声を取得することができる。しかしながら、マイクロフォンが１つの場合では、音源の方向を反映して音声を再生することはできず、モノラル再生となる。

【0030】

次に、図４（ｂ）について説明する。マイクロフォンが２つの場合、１次元の差異を反映した音声を取得でき、音源の方向を判別できる音声として再生できる。すなわち、各マイクロフォンが取得した音声を、各マイクロフォンに対応する２つのスピーカで再生することで、音源の方向を再現したステレオ音声として再生できる。

【0031】

次に、図４（ｃ）について説明する。３つのマイクロフォン全てが同一直線上にないように配置されている場合には、３つのマイクロフォンによって平面を定義できる。例えば、図４（ｃ）では、３つのマイクロフォンによってｘ－ｙ平面を定義でき、３つのマイクロフォンがそれぞれ三角形の各頂点に配置されている。このように配置されている場合には、２次元の差異を反映した音声を取得でき、ｘ－ｙ平面上における音源に対する方向を判別できる音声として再生できる。例えば、２つのスピーカで再生する場合には、音量の強弱が加味され、平面上における音源に対する方向を再現した音声を合成できる。

【0032】

最後に、図４（ｄ）について説明する。４つのマイクロフォンがｘｙｚ空間内に配置されている場合には、４つのマイクロフォンによって空間を定義できる。例えば、図４（ｄ）では、４つのマイクロフォン全てが同一平面上になく、４つのマイクロフォンが三角錐の各頂点に配置されている。このように配置されている場合には、３次元の差異を反映した音声を取得でき、空間内における音源に対する方向を判別できる音声として再生できる。したがって、立体音響として再生できる。例えば、ヘッドマウントディスプレイのような装置で映像を再生する場合には、ユーザの視線の方向に合わせた音声を再生できる。

【0033】

なお、本実施形態の全天球カメラ１００は、臨場感を再現するために、マイクロフォンを５つ以上含んでいてもよい。マイクロフォンが５つ以上ある場合でも、マイクロフォンが４つの場合と同様に、臨場感を再現できる。

【0034】

次に、図４（ｄ）に関するマイクロフォン１４２Ａ～Ｄの具体的な配置について、図５～７を以て説明する。図５は、本実施形態の全天球カメラ１００のマイクロフォン１４２Ａ～Ｄの配置の例を示す図である。図５（ａ）は、全天球カメラ１００の軸の定義を説明する図である。ｘ軸は、全天球カメラ１００の結像光学系２０Ａ，２０Ｂの光学素子の前群の光軸と平行な軸とする。ｚ軸は、全天球カメラ１００の結像光学系２０Ａ，２０Ｂの光学素子の後群の光軸と平行な軸とする。ｙ軸は、ｘ軸およびｚ軸に垂直な軸とする。

【0035】

図５（ｂ）には、４つのマイクロフォン１４２Ａ～Ｄが、座標ａ，ｂ，ｃ，ｄに配置されている。一例として、各座標は次のように示される。
座標ａ＝（α，０，０）
座標ｂ＝（－α，０，０）
座標ｃ＝（０，α，β）
座標ｄ＝（０，－α，β）
但し、αおよびβは０より大きい実数。
座標ａおよびｂは、ｘ軸上の点であり、座標ｃおよびｄは、ｙ－ｚ平面上のｙ軸に平行となる位置に配置された点である。したがって、座標ａ，ｂ，ｃ，ｄの４つは全てが同一平面上には存在せず、三角錐形状を形成する。

【0036】

すなわち、図５（ｂ）に示す座標ａ，ｂ，ｃ，ｄにマイクロフォン１４２を配置することで空間を定義できる。これによって、３次元の差異を反映した立体音響を取得し、再生することができる。

【0037】

図５（ｃ）には、４つのマイクロフォン１４２Ａ～Ｄが、座標ｅ，ｆ，ｇ，ｈに配置されている。一例として、各座標は次のように示される。
座標ｅ＝（０，０，α）
座標ｆ＝（－β，－γ，０）
座標ｇ＝（α’，０，０）
座標ｈ＝（－β’，γ’，０）
但し、α、β、γ、α’、β’およびγ’は０より大きい実数。
座標ｅは、ｚ軸上の点である。座標ｆ，ｇ，ｈの３つは、ｘ－ｙ平面上において全てが同一直線上にならない位置に配置された点である。したがって、座標ｅ，ｆ，ｇ，ｈも、図５（ｂ）の配置と同様に、三角錐形状を形成する。

【0038】

すなわち、図５（ｃ）に示す座標ｅ，ｆ，ｇ，ｈにマイクロフォン１４２を配置することで空間を定義できる。これによって、３次元の差異を反映した立体音響を取得し、再生することができる。

【0039】

次に、各マイクロフォン間の距離については特に制限はないが、隣接するマイクロフォン間の距離が与える影響について説明する。

【0040】

例えば、マイクロフォン間の距離が極端に小さい場合には、各マイクロフォンが取得する低域の音声信号に差異が出にくいため、立体音響の合成時に低域のノイズが発生する場合がある。また、マイクロフォン間の距離が極端に大きい場合には、高域側で位相が回り、音声信号に差異が出ないことから、立体音響の指向性を好適に形成できない。

【0041】

さらに、マイクロフォンの特性の個体差を考慮して配置する場合には、隣接するマイクロフォン間の距離は等距離であることが好ましい。したがって、４つのマイクロフォン１４２Ａ～Ｄの理想的な配置は、４つのマイクロフォン１４２Ａ～Ｄを頂点とした正四面体形状となる。

【0042】

次に、全天球カメラ１００に含まれる撮像体１２とマイクロフォン１４２Ａ～Ｄの配置の例を説明する。第１の実施例として、図５（ｂ）の座標ａ，ｂ，ｃ，ｄのようにマイクロフォンが配置される構成について、図６を用いて説明する。図６（ａ）、（ｂ）、（ｃ）には、撮像体１２とマイクロフォン１４２Ａ～Ｄの配置の斜視図、正面図、側面図がそれぞれ示されている。

【0043】

図６（ａ）、（ｂ）、（ｃ）では、撮像体１２を構成する結像光学系２０Ａ，２０Ｂの上下に、４つのマイクロフォン１４２Ａ～Ｄが基板に配置されている。なお、基板だけでなく、筐体１４に固定させる、筐体１４にケーブルを接続させるなどの配置がある。より具体的には、結像光学系２０Ａ，２０Ｂの下部に、それぞれ２つのマイクロフォン１４２Ａ，１４２Ｂがそれぞれ全天球カメラ１００のｘ軸に沿って配置されている。マイクロフォン１４２Ａ及び１４２Ｂは、結像光学系２０Ａ，２０Ｂの光学素子の前群の光軸と平行になるように配置されている。また、結像光学系２０Ａ，２０Ｂの上部には、２つのマイクロフォン１４２Ｃ，１４２Ｄがそれぞれ全天球カメラ１００のｙ軸に沿って配置されている。マイクロフォン１４２Ｃ及び１４２Ｄは、結像光学系２０Ａ，２０Ｂの光学素子の前群の光軸及び後群の光軸に対して垂直になるように配置されている。すなわち、マイクロフォン１４２Ａ～Ｄは４つ全てが同一平面上には存在していない。マイクロフォン１４２Ａ～Ｄは、三角錐形状の各頂点に対応する位置にそれぞれ配置されている。

【0044】

なお、マイクロフォン１４２Ａと１４２Ｃの間の距離、マイクロフォン１４２Ａと１４２Ｄの間の距離、マイクロフォン１４２Ｂと１４２Ｃの間の距離およびマイクロフォン１４２Ｂと１４２Ｄの間の距離は、それぞれ等しいことが好ましい。また、マイクロフォン１４２Ａと１４２Ｂの間の距離およびマイクロフォン１４２Ｃと１４２Ｄの間の距離は等しいことが好ましい。

【0045】

図６（ｂ）に示されるようにマイクロフォン１４２Ａは、結像光学系２０Ａの後群の光軸を通るｚ軸と平行な軸上に配置されていることが好ましい。同様に、マイクロフォン１４２Ｂは、結像光学系２０Ｂの後群の光軸を通るｚ軸と平行な軸上に配置されていることが好ましい。さらに、マイクロフォン１４２Ｃおよびマイクロフォン１４２Ｄは、結像光学系２０Ａ、２０Ｂの前群の光軸を通るｚ軸上を境とした場合のｙ軸方向の距離が等距離になるように配置されていることが好ましい。

【0046】

図６（ｃ）に示されるようにマイクロフォン１４２Ａ～Ｄは、レンズを露出するための筐体１４の開口面上の直線Ａ－Ａ’、直線Ｂ－Ｂ’よりも内側に配置されていることが好ましい。マイクロフォン１４２Ａ～Ｄは、結像光学系２０Ａ，２０Ｂよりも内側である基板の側面上に配置されていることが好ましい。マイクロフォン１４２Ａ～Ｄは、結像光学系２０Ａ，２０Ｂの筐体１４から突出している部分より内側に配置されていることが好ましい。マイクロフォン１４２Ａ～Ｄは、結像光学系２０Ａ，２０Ｂの筐体１４から突出している部分より外側に配置されている場合、１４２Ａ～Ｄが画像に映りこんでしまうからである。

【0047】

次に、第２の実施例として、図５（ｃ）の座標ｅ，ｆ，ｇ，ｈのようにマイクロフォンが配置される構成について、図７を用いて説明する。図７（ａ）、（ｂ）、（ｃ）は、撮像体１２とマイクロフォン１４２Ａ～Ｄの配置の斜視図、正面図、側面図がそれぞれ示されている。

【0048】

図７（ａ）、（ｂ）、（ｃ）では、撮像体１２を構成する結像光学系２０Ａ，２０Ｂの上部に４つのマイクロフォン１４２Ａ～Ｄが配置されている。より具体的には、２つのマイクロフォン１４２Ａ，１４２Ｂは、全天球カメラ１００のｘ軸に沿って結像光学系２０Ａ，２０Ｂの上部に配置されている。２つのマイクロフォン１４２Ｃ，１４２Ｄは、全天球カメラ１００のｙ軸に沿って結像光学系２０Ａ，２０Ｂの上部に配置されている。すなわち、マイクロフォン１４２Ａ～Ｄは４つ全てが同一平面上には存在していない。マイクロフォン１４２Ａ～Ｄは、三角錐形状の各頂点に対応する位置にそれぞれ配置されている。また、第２の実施例では、マイクロフォン１４２Ａ～Ｄの各マイクロフォン間の距離は、等距離で配置されている。したがって、マイクロフォン１４２Ａ～Ｄは正四面体形状を形成している。

【0049】

第１の実施例と同様に、第２の実施例もマイクロフォン１４２Ａ～Ｄは、結像光学系２０Ａ，２０Ｂの筐体１４から突出している部分より内側に配置されていることが好ましい。マイクロフォン１４２Ａ～Ｄは、結像光学系２０Ａ，２０Ｂの筐体１４から突出している部分より外側に配置されている場合、１４２Ａ～Ｄが画像に映りこんでしまうからである。

【0050】

次にマイクロフォン数が５以上の場合について説明する。図８は、５つのマイクロフォンが配置される例を説明する図である。図８（ａ）は、四角錐形状（いわゆるピラミッド形状）にマイクロフォンが配置された例である。図８（ｂ）は、双三角錐形状にマイクロフォンが配置された例である。なお、マイクロフォンの数が５より多い場合であっても同様である。

【0051】

図８（ａ）では、ｘ－ｙ平面上の座標ａ，ｂ，ｃ，ｄと、ｚ軸上の座標ｅにそれぞれマイクロフォンが配置されている。座標ａ～ｄに配置されたマイクロフォンは、同一平面上に配置されている。

【0052】

図８（ｂ）では、ｘ－ｙ平面上の座標ａ，ｂ，ｃと、ｚ軸上の座標ｄ，ｅにそれぞれマイクロフォンが配置されている。図８（ｂ）に示す配置では、５つのマイクロフォンのうち、４つを任意に選択した場合には、いずれの組み合わせであっても同一平面上の配置にはなっていない。

【0053】

また、マイクロフォン数が４の場合では、隣接するマイクロフォン間の距離を等距離として、正四面体形状の各頂点に対応する位置にそれぞれ配置することで、４つのマイクロフォンからの音を処理することが単純化できる。

【0054】

本実施形態では、各マイクロフォンの特性の個体差の影響をさらに軽減するために、マイクロフォンを仮想的な球体の表面に配置することができる。具体的には、マイクロフォンが成す多面体が外接球を持つように配置することで、個体差による影響を軽減できる。なお、マイクロフォン数が４の場合には、マイクロフォン間の距離が等距離であれば正四面体形状となることから、必然的に外接球を持つ多面体となる。マイクロフォン数が５以上の場合には、外接球を持つ多面体形状であって、各辺の長さが等しくなるように配置することで、個体差による影響を効果的に軽減できる。

【0055】

以上、説明した本発明の実施形態によれば、臨場感を再現可能な撮像装置、撮像システムを提供することができる。

【0056】

以上、本発明について実施形態をもって説明してきたが、本発明は上述した実施形態に限定されるものではなく、当業者が推考しうる実施態様の範囲内において、本発明の作用・効果を奏する限り、本発明の範囲に含まれるものである。

【符号の説明】

【0057】

１２…撮像体、１４…筐体、１６…シャッター・ボタン、２０…結像光学系、２２…撮像素子、１００…全天球カメラ、１１２…ＣＰＵ、１１４…ＲＯＭ、１１６…動画圧縮ブロック、１１８…映像出力インタフェース、１２０…画像処理ブロック、１２２…音声信号処理ブロック、１２４…ＤＲＡＭインタフェース、１２６…外部ストレージインタフェース、１２８…外部センサインタフェース、１３０…ＵＳＢインタフェース、１３２…シリアルブロック、１４０…撮像素子、１４２…マイクロフォン、１４４…ＤＲＡＭ、１４６…外部ストレージ、１４８…加速度センサ、１５０…ＵＳＢコネクタ、１５２…無線ＮＩＣ

【先行技術文献】

【特許文献】

【0058】

【文献】特開２００１－２９８７３３号公報

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】