7771752 撮像装置、情報処理方法、およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2025-11-10

(45)【発行日】2025-11-18

(54)【発明の名称】撮像装置、情報処理方法、およびプログラム

(51)【国際特許分類】

   H04N 23/63 20230101AFI20251111BHJP

   G03B 15/00 20210101ALI20251111BHJP

   G03B 19/07 20210101ALI20251111BHJP

   H04N 23/55 20230101ALI20251111BHJP

   H04N 23/60 20230101ALI20251111BHJP

   G03B 17/18 20210101ALI20251111BHJP

【ＦＩ】

H04N23/63

G03B15/00 H

G03B19/07

H04N23/55

H04N23/60 500

G03B17/18

【請求項の数】 17

(21)【出願番号】P 2021565478

(86)(22)【出願日】2020-12-07

(86)【国際出願番号】 JP2020045370

(87)【国際公開番号】W WO2021124942

(87)【国際公開日】2021-06-24

【審査請求日】2023-10-13

(31)【優先権主張番号】P 2019230034

(32)【優先日】2019-12-20

(33)【優先権主張国・地域又は機関】JP

(73)【特許権者】

【識別番号】000002185

【氏名又は名称】ソニーグループ株式会社

(74)【代理人】

【識別番号】100121131

【弁理士】

【氏名又は名称】西川 孝

(74)【代理人】

【氏名又は名称】稲本 義雄

(74)【代理人】

【識別番号】100168686

【弁理士】

【氏名又は名称】三浦 勇介

(72)【発明者】

【氏名】櫛田 英功

【審査官】小西 隆

(56)【参考文献】

【文献】米国特許出願公開第２０１０／０００７７１４（ＵＳ，Ａ１）

【文献】特開２０１０－１７７９２１（ＪＰ，Ａ）

【文献】特開２００６－１１９８４３（ＪＰ，Ａ）

【文献】特開平０４－３４５３７８（ＪＰ，Ａ）

【文献】国際公開第２００９／１５０８９５（ＷＯ，Ａ１）

【文献】特開２００７－０４９４８４（ＪＰ，Ａ）

【文献】特開２０１５－１８１２１４（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１５／０２５６７４５（ＵＳ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ５／２２２ － ５／２５７

２３／００

２３／４０ － ２３／７６

２３／９０ － ２３／９５９

(57)【特許請求の範囲】

【請求項1】

光路が互いに独立している５以上の個眼光学系を視点とする５以上の画像の一部または全部を、前記５以上の画像の各視点の相対的な位置関係において走査の軌跡が線対称または回転対称となる順に、１つずつ選択して動的に切り替えながら表示部で表示させる表示制御部
を備える撮像装置。

【請求項2】

前記表示制御部は、前記５以上の画像のうち、前記画像同士の視差が他の画像同士の視差より大きくなる複数の画像を選択し、選択した複数の画像を、１つずつ選択して表示させる
請求項１に記載の撮像装置。

【請求項3】

前記表示制御部は、前記５以上の画像の各視点の相対的な位置関係において外周部に位置する前記画像の一部または全部を、１つずつ選択して表示させる
請求項１に記載の撮像装置。

【請求項4】

前記画像の選択順を指定する選択順指定部をさらに備え、
前記表示制御部は、前記５以上の画像の一部または全部を、前記選択順指定部により指定された選択順に、１つずつ選択して表示させる
請求項１に記載の撮像装置。

【請求項5】

前記表示制御部は、選択する前記画像を所定の周期毎に切り替える
請求項１に記載の撮像装置。

【請求項6】

前記周期は、単数フレームまたは複数フレームである
請求項５に記載の撮像装置。

【請求項7】

前記周期を指定する周期指定部をさらに備え、
前記表示制御部は、選択する前記画像を、前記周期指定部により指定された前記周期毎に切り替える
請求項５に記載の撮像装置。

【請求項8】

前記表示制御部により選択された前記画像と同一の前記個眼光学系を視点とする個眼画像から、前記画像を切り出す切り出し部をさらに備える
請求項１に記載の撮像装置。

【請求項9】

前記個眼画像から切り出す領域を設定する領域設定部をさらに備え、
前記切り出し部は、前記個眼画像の、前記領域設定部により設定された前記領域を前記画像として切り出す
請求項８に記載の撮像装置。

【請求項10】

前記領域の位置のシフト量を制御するシフト量制御部をさらに備え、
前記領域設定部は、前記シフト量制御部により制御された前記シフト量を用いて、前記領域を設定する
請求項９に記載の撮像装置。

【請求項11】

前記５以上の個眼光学系のそれぞれの光軸が互いに異なる位置に対応する撮像部をさらに備え、
前記表示制御部は、前記撮像部により生成される画像に含まれる、前記５以上の個眼光学系のそれぞれを視点とする前記５以上の画像の一部または全部を、前記５以上の画像の各視点の相対的な位置関係において走査の軌跡が線対称または回転対称となる順に、１つずつ選択して動的に切り替えながら表示させる
請求項１に記載の撮像装置。

【請求項12】

前記表示制御部は、前記撮像部により生成される取り込み画像の各フレームにおいて、前記５以上の画像一部または全部を、１つずつ選択して動的に切り替えながら表示させる
請求項１１に記載の撮像装置。

【請求項13】

前記表示制御部は、前記撮像部により生成される撮像画像に含まれる前記５以上の画像の一部または全部を、１つずつ選択して動的に切り替えながら表示させる
請求項１１に記載の撮像装置。

【請求項14】

前記５以上の個眼光学系のそれぞれの光軸に対応する５以上の撮像部をさらに備え、
前記表示制御部は、前記５以上の撮像部により生成される前記５以上の個眼光学系のそれぞれを視点とする前記５以上の画像の一部または全部を、前記５以上の画像の各視点の相対的な位置関係において走査の軌跡が線対称または回転対称となる順に、１つずつ選択して動的に切り替えながら表示させる
請求項１に記載の撮像装置。

【請求項15】

前記表示制御部は、前記５以上の個眼光学系の内、選択した画像に対応する前記個眼光学系のみを駆動させる
請求項１４に記載の撮像装置。

【請求項16】

光路が互いに独立している５以上の個眼光学系を視点とする５以上の画像の一部または全部を、前記５以上の画像の各視点の相対的な位置関係において走査の軌跡が線対称または回転対称となる順に、１つずつ選択して動的に切り替えながら表示部で表示させる
情報処理方法。

【請求項17】

コンピュータを、
光路が互いに独立している５以上の個眼光学系を視点とする５以上の画像の一部または全部を、前記５以上の画像の各視点の相対的な位置関係において走査の軌跡が線対称または回転対称となる順に、１つずつ選択して動的に切り替えながら表示部で表示させる表示制御部
として機能させるプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、撮像装置、情報処理方法、およびプログラムに関し、特に、互いに異なる個眼光学系を視点とする複数の画像同士の視差をより容易に把握することができるようにした撮像装置、情報処理方法、およびプログラムに関する。

【背景技術】

【0002】

従来、光路が互いに独立している複数の個眼光学系を用いて撮像を行う撮像装置等において、撮像画像の全領域を表示したり、個眼光学系を視点とする個眼画像を表示したりする方法が考えられた（例えば、特許文献１参照）。

【先行技術文献】

【特許文献】

【0003】

【文献】国際公開第２０１９／０６５２６０号

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、特許文献１に記載の方法の場合、被写体がどの程度の視差をもって撮像されるのかが直感的に把握し難くかった。

【0005】

本開示は、このような状況に鑑みてなされたものであり、互いに異なる個眼光学系を視点とする複数の画像同士の視差をより容易に把握することができるようにするものである。

【課題を解決するための手段】

【0006】

本技術の一側面の撮像装置は、光路が互いに独立している５以上の個眼光学系を視点とする５以上の画像の一部または全部を、前記５以上の画像の各視点の相対的な位置関係において走査の軌跡が線対称または回転対称となる順に、１つずつ選択して動的に切り替えながら表示部で表示させる表示制御部を備える撮像装置である。

【0007】

本技術の一側面の情報処理方法は、光路が互いに独立している５以上の個眼光学系を視点とする５以上の画像の一部または全部を、前記５以上の画像の各視点の相対的な位置関係において走査の軌跡が線対称または回転対称となる順に、１つずつ選択して動的に切り替えながら表示部で表示させる情報処理方法である。

【0008】

本技術の一側面のプログラムは、コンピュータを、光路が互いに独立している５以上の個眼光学系を視点とする５以上の画像の一部または全部を、前記５以上の画像の各視点の相対的な位置関係において走査の軌跡が線対称または回転対称となる順に、１つずつ選択して動的に切り替えながら表示部で表示させる表示制御部として機能させるプログラムである。

【0009】

本技術の一側面の撮像装置、情報処理方法、およびプログラムにおいては、光路が互いに独立している５以上の個眼光学系を視点とする５以上の画像の一部または全部が、その５以上の画像の各視点の相対的な位置関係において走査の軌跡が線対称または回転対称となる順に、１つずつ選択されて動的に切り替えられながら表示部で表示される。

【図面の簡単な説明】

【0010】

【図1】本技術を適用したカメラの一実施の形態の構成例を示す斜視図である。

【図2】本技術を適用したカメラの一実施の形態の構成例を示す図である。

【図3】カメラの電気的構成例を示すブロック図である。

【図4】３板式のイメージセンサの例を示す図である。

【図5】全体画像の例を示す図である。

【図6】個眼画像の例を示す図である。

【図7】合成画像の例を示す図である。

【図8】カメラと被写体との位置関係の例を説明する図である。

【図9】全体画像における個眼切り出し画像の例を示す図である。

【図10】個眼切り出し画像の表示順の例を説明する図である。

【図11】表示された画像の例を説明する図である。

【図12】シフトの例について説明する図である。

【図13】全体画像における個眼切り出し画像の例を示す図である。

【図14】表示された画像の例を説明する図である。

【図15】個眼切り出し画像の表示順の例を説明する図である。

【図16】個眼切り出し画像の表示順の例を説明する図である。

【図17】個眼切り出し画像の表示順の例を説明する図である。

【図18】表示用画像生成部の主な構成例を示すブロック図である。

【図19】撮像処理の流れの例を説明するフローチャートである。

【図20】表示用画像表示処理の流れの例を説明するフローチャートである。

【図21】表示個眼選択処理の流れの例を説明するフローチャートである。

【図22】表示された画像の例を説明する図である。

【図23】表示された画像の例を説明する図である。

【図24】本技術を適用したカメラの一実施の形態の構成例を示す斜視図である。

【図25】カメラシステムの電気的構成例を示すブロック図である。

【図26】カメラの電気的構成例を示すブロック図である。

【図27】表示用画像生成部の主な構成例を示すブロック図である。

【図28】表示用画像表示処理の流れの例を説明するフローチャートである。

【図29】表示用画像生成部の主な構成例を示すブロック図である。

【図30】表示用画像表示処理の流れの例を説明するフローチャートである。

【図31】コンピュータの主な構成例を示すブロック図である。

【発明を実施するための形態】

【0011】

以下、本開示を実施するための形態（以下実施の形態とする）について説明する。なお、説明は以下の順序で行う。
１．第１の実施の形態（カメラ）
２．第２の実施の形態（カメラシステム）
３．第３の実施の形態（カメラ）
４．付記

【0012】

＜１．第１の実施の形態＞
＜カメラ外観＞
図１は、本技術を適用したカメラの一実施の形態の構成例を示す斜視図である。

【0013】

カメラ１０は、イメージセンサを内蔵し、レンズによって集光される光線を受光して光電変換を行うことにより被写体を撮像する。以下において、このような撮像により得られる画像を、撮像画像ともいう。

【0014】

カメラ１０は、そのイメージセンサの正面側（光が入射する側）に鏡筒２０が設けられており、その鏡筒２０に、複数としての５個の個眼光学系３１₀，３１₁，３１₂，３１₃、および、３１₄を有する。以下においては、個眼光学系３１₀乃至個眼光学系３１₄を互いに区別して説明する必要がない場合、個眼光学系３１（または個眼光学系３１_ｉ）と称する。

【0015】

複数の個眼光学系３１は、それぞれを通過する光の光路が互いに独立するように構成される。つまり、鏡筒２０の各個眼光学系３１を通過した光は、他の個眼光学系３１に入射せずにイメージセンサの受光面（例えば有効画素領域）の互いに異なる位置に照射する。少なくとも、各個眼光学系３１の光軸は、イメージセンサの受光面の互いに異なる場所に位置しており、各個眼光学系３１を通過した光の少なくとも一部が、イメージセンサの受光面の互いに異なる位置に照射する。

【0016】

したがって、イメージセンサにより生成される撮像画像（イメージセンサの出力する画像全体）には、各個眼光学系３１を介して結像された被写体の画像が互いに異なる位置に形成される。換言するに、その撮像画像から、各個眼光学系３１を視点とする撮像画像（視点画像とも称する）が得られる。つまり、カメラ１０は、被写体を撮像することにより、複数の視点画像を得ることができる。この複数の視点画像は、例えば、奥行情報の生成や、その奥行情報を用いたリフォーカス等の処理に利用することができる。

【0017】

なお、以下においては、カメラ１０が５個の個眼光学系３１を有する例を用いて説明するが、この個眼光学系３１の数は２以上であれば任意である。

【0018】

５個の個眼光学系３１は、鏡筒２０の光軸に直交する（イメージセンサの受光面（撮像面）に平行な）２次元平面上において、個眼光学系３１₀を中心（重心）として、他の４個の個眼光学系３１₁乃至個眼光学系３１₄が、長方形の頂点を構成するように配置される形で設けられている。もちろん、図１に示される配置は一例であり、各個眼光学系３１の位置関係は、光路が互いに独立している限り任意である。

【0019】

また、カメラ１０については、被写体からの光が入射する側の面を、正面とする。図２は、カメラ１０を背面側から見た図である。図２に示されるように、カメラ１０の筐体の背面側には、表示パネル部３３、ビューファインダー部３４、ダイヤル３５、およびボタン３６が設けられている。

【0020】

表示パネル部３３やビューファインダー部３４は、例えば液晶ディスプレイや有機ELディスプレイ（OELD（Organic Electro Luminescence Display））等の表示デバイスよりなり、撮像前にスルー画像を表示したり、撮像後に確認のために撮像画像を表示したりすることができる。ダイヤル３５やボタン３６は、入力デバイスの一例であり、ユーザがこれらを操作することにより、ユーザの操作を受け付けることができる。

【0021】

＜カメラの電気的構成例＞
図３は、カメラ１０の電気的構成例を示すブロック図である。カメラ１０は、多眼光学系３０、イメージセンサ５１、RAW信号処理部５２、領域抽出部５３、カメラ信号処理部５４、表示用画像生成部５５、領域特定部５６、画像再構成処理部５７、バス６０、表示部６１、記憶部６２、通信部６４、ファイル化部６５、制御部８１、記憶部８２、および光学系制御部８４を有する。

【0022】

＜多眼光学系＞
多眼光学系３０は、上述の個眼光学系３１（例えば個眼光学系３１₀乃至個眼光学系３１₄）からなる。多眼光学系３０の各個眼光学系３１は、被写体からの光線をカメラ１０のイメージセンサ５１に集光させる。各個眼光学系３１の仕様は互いに同一であるものとする。

【0023】

個眼光学系３１は、例えば、鏡筒光軸の光軸方向に並べられた複数のレンズや、遮蔽物の開き度合いを制御することによりその複数のレンズを介してイメージセンサ５１に入射する光の量（F値）を調整する機構である絞り等の光学系素子を有する。なお、個眼光学系３１が、レンズの位置を制御することにより、ズーム倍率を制御することができるようにしてもよい。

【0024】

＜イメージセンサ＞
イメージセンサ５１は、例えば、CMOS（Complementary Metal Oxide Semiconductor）イメージセンサであり、被写体を撮像し、撮像画像を生成する。イメージセンサ５１の受光面には、個眼光学系３１₀乃至３１₄それぞれにより集光される光線が照射される。撮像画像における、１つの個眼光学系３１を介してイメージセンサ５１に照射される照射光が入力された領域に対応する画像を個眼画像とも称する。つまり、イメージセンサ５１は、それらの光線（照射光）を受光して光電変換を行うことにより、各個眼光学系３１を視点とする個眼画像を含む撮像画像を生成する。

【0025】

なお、各個眼光学系３１のそれぞれの光軸は、イメージセンサ５１の互いに異なる位置に対応する。したがって、イメージセンサ５１が生成する撮像画像（または取り込み画像）において、各個眼画像は少なくともその一部が互いに異なる位置に生成される（全個眼画像が完全に同一の位置に生成されることはない）。また、個眼画像は、周辺に画像としては有効でない部分を有する。また、全ての個眼画像を含む撮像画像（つまり、イメージセンサ５１により生成された撮像画像全体や、その撮像画像から、その撮像画像に含まれる全ての個眼画像よりも外側の領域の一部または全部を削除した画像）のことを全体画像とも称する。

【0026】

なお、イメージセンサ５１は、単色（所謂モノクロ）のイメージセンサであってもよいし、画素群に例えばベイヤ配列のカラーフィルタが配置されたカラーイメージセンサであってもよい。つまり、イメージセンサ５１が出力する撮像画像は、モノクロ画像であってもよいし、カラー画像であってもよい。以下においては、イメージセンサ５１が、カラーイメージセンサであって、RAWフォーマットの撮像画像を生成し、出力するものとして説明する。

【0027】

なお、本実施の形態においてRAWフォーマットとは、イメージセンサ５１のカラーフィルタの配置の位置関係を維持した状態の画像を意味し、イメージセンサ５１から出力された画像に対して画サイズの変換処理、ノイズリダクション処理、イメージセンサ５１の欠陥補正処理等の信号処理や圧縮符号化がなされた画像も含み得るものとする。また、RAWフォーマットの撮像画像は、モノクロの画像は含まないものとする。

【0028】

イメージセンサ５１は、照射光を光電変換して生成したRAWフォーマットの撮像画像（全体画像）を出力することができる。例えば、イメージセンサ５１は、そのRAWフォーマットの撮像画像（全体画像）を、バス６０、RAW信号処理部５２、領域抽出部５３、および領域特定部５６の内の、少なくともいずれか１つに供給することができる。

【0029】

例えば、イメージセンサ５１は、そのRAWフォーマットの撮像画像（全体画像）を、バス６０を介して記憶部６２に供給し、記憶媒体６３に記憶させることができる。また、イメージセンサ５１は、そのRAWフォーマットの撮像画像（全体画像）を、バス６０を介して通信部６４に供給し、カメラ１０の外部へ送信させることができる。さらに、イメージセンサ５１は、そのRAWフォーマットの撮像画像（全体画像）を、バス６０を介してファイル化部６５に供給し、ファイル化させることができる。また、イメージセンサ５１は、そのRAWフォーマットの撮像画像（全体画像）を、バス６０を介して画像再構成処理部５７に供給し、画像再構成処理を行わせることができる。

【0030】

なお、イメージセンサ５１は、単板式のイメージセンサであってもよいし、例えば３板式のイメージセンサ等、複数のイメージセンサからなる１組のイメージセンサ（複数板式イメージセンサとも称する）であってもよい。

【0031】

例えば、３板式のイメージセンサとしては、図４に示されるような、RGB（Red, Green, Blue）それぞれのための３つのイメージセンサ（イメージセンサ５１－１乃至イメージセンサ５１－３）を有するものがある。この場合、被写体からの光線は、プリズムなどの光学系（光路分離部）を利用して波長域毎に分離され、各イメージセンサに入射する。イメージセンサ５１－１乃至イメージセンサ５１－３は、それぞれ入射された光を光電変換する。つまり、イメージセンサ５１－１乃至イメージセンサ５１－３は、互いに異なる波長域の光を互いに略同一のタイミングで光電変換する。したがって、複数板式のイメージセンサの場合、各イメージセンサにおいて、互いに略同時刻に略同一の画角で撮像された撮像画像（つまり、波長域が互いに異なるだけで略同一の絵柄の画像）が得られる。したがって、各イメージセンサで得られる撮像画像における視点画像領域（後述する）の位置や大きさは、互いに略同一となる。この場合、R画像、G画像、B画像を合わせたものを、RAWフォーマットの撮像画像と捉えることができる。

【0032】

なお、複数板式のイメージセンサの場合、各イメージセンサはRGBそれぞれのためのものに限らず全てモノクロであっても良いし、全てがベイヤ配列等のカラーフィルタを備えたものであっても良い。なお、全てがベイヤ配列等のカラーフィルタとする場合、全ての配列を同じものとし、互いの画素の位置関係を合わせておけば例えばノイズリダクションを行うことができ、RGBの各イメージセンサの位置関係をずらしておけば所為空間画素ずらしによる効果を用いて高画質化することも可能である。

【0033】

このような複数板式撮像装置の場合も各イメージセンサ、すなわち１つのイメージセンサから出力された撮像画像内に、複数の個眼画像や複数の視点画像が含まれることになる。

【0034】

＜RAW信号処理部＞
RAW信号処理部５２は、RAWフォーマットの画像に対する信号処理に関する処理を行う。例えば、RAW信号処理部５２は、イメージセンサ５１から供給されるRAWフォーマットの撮像画像（全体画像）を取得することができる。また、RAW信号処理部５２は、その取得した撮像画像に対して、所定の信号処理を施すことができる。この信号処理の内容は任意である。例えば、欠陥補正、ノイズリダクション、または圧縮（符号化）等であってもよいし、それら以外の信号処理であってもよい。勿論、RAW信号処理部５２は、撮像画像に対して複数の信号処理を行うこともできる。なお、RAWフォーマットの画像に対して様々な信号処理は、信号処理後の画像が、上述したようにイメージセンサ５１のカラーフィルタの配置の位置関係を維持した状態の画像（複数板式撮像装置の場合はR画像、G画像、B画像の状態のままの画像）であるものに限定される。

【0035】

RAW信号処理部５２は、信号処理を施したRAWフォーマットの撮像画像（RAW'）または圧縮（符号化）した撮像画像（圧縮RAW）を、バス６０を介して記憶部６２に供給し、記憶媒体６３に記憶させることができる。また、RAW信号処理部５２は、信号処理を施したRAWフォーマットの撮像画像（RAW'）または圧縮（符号化）した撮像画像（圧縮RAW）を、バス６０を介して通信部６４に供給し、送信させることができる。さらに、RAW信号処理部５２は、信号処理を施したRAWフォーマットの撮像画像（RAW'）または圧縮（符号化）した撮像画像（圧縮RAW）を、バス６０を介してファイル化部６５に供給し、ファイル化させることができる。また、RAW信号処理部５２は、信号処理を施したRAWフォーマットの撮像画像（RAW'）または圧縮（符号化）した撮像画像（圧縮RAW）を、バス６０を介して画像再構成処理部５７に供給し、画像再構成処理を行わせることができる。なお、これらの、RAW、RAW'、および圧縮RAW（いずれも図３）を互いに区別して説明する必要が無い場合、RAW画像と称する。

【0036】

＜領域抽出部＞
領域抽出部５３は、RAWフォーマットの撮像画像からの一部の領域の抽出（部分画像の切り出し）に関する処理を行う。例えば、領域抽出部５３は、イメージセンサ５１から供給されるRAWフォーマットの撮像画像（全体画像）を取得することができる。また、領域抽出部５３は、領域特定部５６から供給される、撮像画像から抽出する領域を示す情報（抽出領域情報とも称する）を取得することができる。そして、領域抽出部５３は、その抽出領域情報に基づいて、撮像画像から一部の領域を抽出する（部分画像を切り出す）ことができる。

【0037】

例えば、領域抽出部５３は、撮像画像（全体画像）から、各個眼光学系３１を視点とする画像を切り出すことができる。つまり、領域抽出部５３は、各個眼光学系３１を視点とする画像として、撮像画像に含まれる各個眼画像の領域から有効な部分を切り出すことができる。この切り出された有効な部分の画像（個眼画像の一部）を視点画像とも称する。また、撮像画像におけるその切り出される領域（視点画像に対応する領域）を視点画像領域とも称する。例えば、領域抽出部５３は、領域特定部５６から供給される、視点画像領域を特定するために用いられる情報である視点関連情報を、抽出領域情報として取得し、撮像画像から、その視点関連情報において示される各視点画像領域を抽出する（各視点画像を切り出す）ことができる。そして、領域抽出部５３は、その切り出した各視点画像（RAWフォーマット）をカメラ信号処理部５４に供給することができる。

【0038】

また、例えば、領域抽出部５３は、撮像画像（全体画像）から切り出した各視点画像を合成し、合成画像を生成することができる。合成画像は、各視点画像が合成されて、１データ化、または、１枚の画像とされたものである。例えば、領域抽出部５３は、各視点画像を平面状に並べた１枚の画像（合成画像）を生成することができる。領域抽出部５３は、その生成した合成画像（RAWフォーマット）をカメラ信号処理部５４に供給することができる。

【0039】

また、例えば、領域抽出部５３は、全体画像をカメラ信号処理部５４に供給することができる。例えば、領域抽出部５３は、取得した撮像画像から、全ての個眼画像を含む一部の領域を抽出し（つまり、全ての個眼画像を含む部分画像を切り出し）、その切り出した部分画像（つまり、撮像画像に含まれる全ての個眼画像よりも外側の領域の一部または全部を削除した画像）を、RAWフォーマットの全体画像としてカメラ信号処理部５４に供給することができる。この場合の抽出する領域の場所（範囲）は、領域抽出部５３において予め定められていてもよいし、領域特定部５６から供給される視点関連情報により指定されるようにしてもよい。

【0040】

また、領域抽出部５３は、取得した撮像画像を（すなわち、切り出された全ての個眼画像を含む部分画像ではなく撮像画像全体を）、RAWフォーマットの全体画像としてカメラ信号処理部５４に供給することもできる。

【0041】

なお、領域抽出部５３は、上述のように撮像画像から切り出したRAWフォーマットの部分画像（全体画像、視点画像、または合成画像）を、イメージセンサ５１の場合と同様に、バス６０を介して記憶部６２、通信部６４、ファイル化部６５、または画像再構成処理部５７等に供給することができる。

【0042】

また、領域抽出部５３は、そのRAWフォーマットの部分画像（全体画像、視点画像、または合成画像）を、RAW信号処理部５２に供給し、所定の信号処理を施させたり、圧縮（符号化）させたりすることもできる。この場合も、RAW信号処理部５２は、信号処理を施したRAWフォーマットの撮像画像（RAW'）または圧縮（符号化）した撮像画像（圧縮RAW）を、バス６０を介して記憶部６２、通信部６４、ファイル化部６５、または画像再構成処理部５７等に供給することができる。

【0043】

つまり、撮像画像（または全体画像）、視点画像、および合成画像の内の少なくともいずれか１つは、RAW画像であるようにしてもよい。

【0044】

＜カメラ信号処理部＞
カメラ信号処理部５４は、画像に対するカメラ信号処理に関する処理を行う。例えば、カメラ信号処理部５４は、領域抽出部５３から供給される画像（全体画像、視点画像、または合成画像）を取得することができる。また、カメラ信号処理部５４は、その取得した画像に対して、カメラ信号処理（カメラプロセス）を施すことができる。例えば、カメラ信号処理部５４は、処理対象の画像に対して、RGBの各色を分離してそれぞれ処理対象の画像と同じ画素数のＲ画像、Ｇ画像、およびＢ画像を生成する色分離処理（ベイヤ配列等のモザイクカラーフィルタを用いた場合はデモザイク処理）や、その色分離後の画像の色空間をRGBからYC（輝度・色差）に変換するYC変換処理等を行うことができる。また、カメラ信号処理部５４は、処理対象の画像に対して、欠陥補正、ノイズリダクション、AWB（Automatic White Balance）、またはガンマ補正等の処理を行うことができる。さらに、カメラ信号処理部５４は、処理対象の画像を圧縮（符号化）することもできる。勿論、カメラ信号処理部５４は、処理対象の画像に対して複数のカメラ信号処理を行うこともできるし、上述した例以外のカメラ信号処理を行うこともできる。

【0045】

なお、以下においては、カメラ信号処理部５４が、RAWフォーマットの画像を取得し、その画像に対して色分離処理やYC変換を行い、YCフォーマットの画像（YC）を出力するものとする。この画像は、全体画像であってもよいし、各視点画像であってもよいし、合成画像であってもよい。また、このYCフォーマットの画像（YC）は、符号化されていてもよいし、符号化されていなくてもよい。つまり、カメラ信号処理部５４から出力されるデータは、符号化データであってもよいし、符号化されていない画像データであってもよい。

【0046】

つまり、撮像画像（または全体画像）、視点画像、および合成画像の内の少なくともいずれか１つは、そのYCフォーマットの画像（YC画像とも称する）であるようにしてもよい。

【0047】

また、カメラ信号処理部５４が出力する画像は、完全な現像処理をするものではなく、YCフォーマットの画像（YC）として、ガンマ補正やカラーマトリクス等の非可逆的な画質調整（色調整）に関する処理の一部または全部を施していないものであっても良い。この場合、後段や再生時等において、YCフォーマットの画像（YC）をほぼ劣化なくRAWフォーマットの画像に戻すことができる。

【0048】

カメラ信号処理部５４は、例えば、カメラ信号処理を施したYCフォーマットの画像（YC）を、バス６０を介して表示部６１に供給し、表示させることができる。また、カメラ信号処理部５４は、カメラ信号処理を施したYCフォーマットの画像（YC）を、バス６０を介して記憶部６２に供給し、記憶媒体６３に記憶させることができる。さらに、カメラ信号処理部５４は、カメラ信号処理を施したYCフォーマットの画像（YC）を、バス６０を介して通信部６４に供給し、外部に送信させることができる。また、カメラ信号処理部５４は、カメラ信号処理を施したYCフォーマットの画像（YC）を、バス６０を介してファイル化部６５に供給し、ファイル化させることができる。さらに、カメラ信号処理部５４は、カメラ信号処理を施したYCフォーマットの画像（YC）を、バス６０を介して画像再構成処理部５７に供給し、画像再構成処理を行わせることができる。

【0049】

また、例えば、カメラ信号処理部５４は、そのYCフォーマットの画像（YC）を表示用画像生成部５５に供給することもできる。

【0050】

なお、RAWフォーマットの画像（全体画像、視点画像、または部分画像）が記憶媒体６３に記憶されている場合、カメラ信号処理部５４は、そのRAWフォーマットの画像を記憶媒体６３から読み出し、信号処理を施すことができるようにしてもよい。この場合も、カメラ信号処理部５４は、カメラ信号処理を施したYCフォーマットの画像（YC）を、バス６０を介して表示部６１、記憶部６２、通信部６４、ファイル化部６５、または画像再構成処理部５７等に供給することができる。

【0051】

また、イメージセンサ５１から出力されるRAWフォーマットの撮像画像（全体画像）に対してカメラ信号処理部５４がカメラ信号処理を施し、そのカメラ信号処理後の撮像画像（全体画像）から、領域抽出部５３が一部の領域を抽出するようにしてもよい。

【0052】

＜表示用画像生成部＞
表示用画像生成部５５は、表示部６１において表示される表示用画像の生成に関する処理を行う。例えば、表示用画像生成部５５は、スルー画像を生成することができる。スルー画像は、撮影時または撮影準備時（非記録時）にユーザが撮影準備中の画像を確認するために表示される画像である。つまり、スルー画像は、イメージセンサ５１により生成される表示用の画像（取り込み画像とも称する）を用いて生成される。なお、スルー画像は、ライブビュー画像やEE（Electronic to Electronic）画とも称する。なお、静止画撮影時は撮影前の画像であるが、動画撮影時は、撮影準備中だけでなく撮影（記録）中の画像に対応するスルー画像も表示される。

【0053】

取り込み画像は、イメージセンサ５１において生成される撮像画像以外の画像である。つまり、取り込み画像は、撮像画像が生成されるタイミング以外のタイミングにおいて生成され得る。また、取り込み画像は、撮像画像の場合と同様に、イメージセンサ５１が受光した光を光電変換することにより生成される画像である。ただし、取り込み画像の用途は撮像画像の用途と異なる。撮像画像が記録用（保存用）の画像であるのに対して、取り込み画像は表示部６１（表示パネル部３３やビューファインダー部３４）によりスルー画像等として表示されるための画像である。さらに、撮像画像が静止画像（動画像でもよい）であるのに対して、取り込み画像（スルー画像）は基本的に動画像（複数フレームからなる画像）として表示される。なお、取り込み画像の仕様（例えば、解像度、アスペクト比、色等）は任意であり、撮像画像と同一であってもよいし、撮像画像と異なっていてもよい。例えば、取り込み画像が撮像画像よりも低解像度であってもよい。

【0054】

この取り込み画像は、撮像画像の場合と同様に、領域抽出部５３により一部の領域が抽出されたり、カメラ信号処理部５４によりカメラ信号処理が施されたりし得る。つまり、取り込み画像は、撮像画像の場合と同様に、例えば、YCフォーマットの画像（全体画像、視点画像、または合成画像）として、表示用画像生成部５５に供給され得る。

【0055】

この場合、表示用画像生成部５５は、カメラ信号処理部５４から供給される取り込み画像（例えば全体画像、視点画像、または合成画像）を取得することができる。また、表示用画像生成部５５は、その取得した取り込み画像を用いて、例えば表示部６１の解像度に応じた画サイズに変換する画サイズ（解像度）変換を行うことで、表示用画像を生成することができる。さらに、表示用画像生成部５５は、その生成した表示用画像を、バス６０を介して表示部６１に供給し、スルー画像として表示させることができる。なお、この表示用画像の仕様は任意であり、撮像画像と同一であってもよいし、撮像画像と異なっていてもよい。

【0056】

また、例えば、表示用画像生成部５５は、撮像画像の確認用画像を生成することもできる。例えばユーザがシャッタボタンを押下する等して撮像を指示すると、カメラ１０は、イメージセンサ５１等を用いて被写体を撮像して記録用（保存用）の撮像画像を生成する。その際、カメラ１０は、その生成した撮像画像（つまり撮像結果）をユーザに確認させるために、その撮像画像を用いて確認用画像（つまり表示用画像）を生成し、それを表示部６１（表示パネル部３３やビューファインダー部３４）に表示させる。表示用画像生成部５５は、この確認用画像の生成を行うことができる。

【0057】

つまり、この場合、表示用画像生成部５５は、例えばカメラ信号処理部５４から供給される撮像画像（例えば全体画像、視点画像、または合成画像）を取得することができる。また、表示用画像生成部５５は、その取得した撮像画像を用いて表示用画像を生成することができる。さらに、表示用画像生成部５５は、その生成した表示用画像を、バス６０を介して表示部６１に供給し、確認用画像として表示させることができる。なお、この確認用画像の仕様は、上述の表示用画像の場合と同様、任意である。

【0058】

さらに、例えば、表示用画像生成部５５は、記録済み（保存済み）の撮像画像の表示用画像を生成することもできる。例えば、カメラ１０は、記憶媒体６３から読み出したり通信部６４を介して他の装置から取得したりした撮像画像を、表示部６１に表示させることができる。表示用画像生成部５５は、この撮像画像の表示用画像の生成を行うことができる。

【0059】

つまり、この場合、表示用画像生成部５５は、記憶部６２により記憶媒体６３から読み出された撮像画像や、通信部６４を介して他の装置から取得した撮像画像（例えば全体画像、視点画像、または合成画像）を取得し得る。また、表示用画像生成部５５は、その取得した撮像画像を用いて表示用画像を生成することができる。さらに、表示用画像生成部５５は、その生成した表示用画像を、バス６０を介して表示部６１に供給して表示させることができる。なお、この表示用画像の仕様は任意である。

【0060】

なお、表示用画像生成部５５は、領域特定部５６から供給される視点関連情報（VIまたはVI'）を取得し、その取得した視点関連情報を用いて、これらの表示用画像生成を行うことができる。また、表示用画像生成部５５は、制御部８１から供給される制御情報を取得し、その制御情報を用いて、これらの表示用画像生成を行うことができる。

【0061】

＜領域特定部＞
領域特定部５６は、領域抽出部５３が撮像画像から抽出する領域の特定（設定）に関する処理を行う。例えば、領域特定部５６は、視点関連情報（VI）を特定し、領域抽出部５３に視点画像領域を供給する。

【0062】

視点関連情報（VI）は、例えば、撮像画像における視点画像領域を示す視点領域情報を含む。視点領域情報は、視点画像領域をどのように表してもよい。例えば、撮像画像における個眼光学系３１の光軸に対応する位置を示す座標（視点画像領域の中心座標とも称する）と視点画像（視点画像領域）の解像度（画素数）とにより、視点画像領域が表されるようにしてもよい。つまり、視点領域情報が、撮像画像における視点画像領域の中心座標と視点画像領域の解像度とを含むようにしてもよい。この場合、視点画像領域の中心座標とその視点画像領域の解像度（画素数）から、全体画像の内の視点画像領域の場所の特定が可能になる。

【0063】

なお、視点領域情報は、視点画像領域毎に設定される。つまり、撮像画像に複数の視点画像が含まれる場合、視点関連情報（VI）は、各視点画像（各視点画像領域）について、視点画像（領域）を識別するための視点識別情報（例えば識別番号）と視点領域情報とを含み得る。

【0064】

また、視点関連情報（VI）は、その他の任意の情報を含み得る。例えば、視点関連情報（VI）が、視点画像が抽出される撮像画像が撮像された時刻を示す視点時刻情報を含むようにしてもよい。また、視点関連情報（VI）が、個眼画像から切り出す領域であって、視点画像領域を内包する視点画像包含領域を示す視点画像包含領域情報を含むようにしてもよい。さらに、視点関連情報（VI）が、撮像画像の視点画像領域でも個眼画像の領域でもない領域に形成されるスポット光の画像に関する情報であるスポット光情報（SI）を含むようにしてもよい。

【0065】

領域特定部５６が、このような視点関連情報（VI）を、特定した視点画像領域を示す情報として領域抽出部５３に供給することにより、領域抽出部５３は、その視点関連情報（VI）に基づいて、領域特定部５６により特定された視点画像領域を抽出する（視点画像を切り出す）ことができる。

【0066】

また、領域特定部５６は、視点関連情報（VI）をバス６０に供給することができる。例えば、領域特定部５６は、視点関連情報（VI）を、バス６０を介して記憶部６２に供給し、記憶媒体６３に記憶させることができる。また、領域特定部５６は、視点関連情報（VI）を、バス６０を介して通信部６４に供給し、送信させることができる。さらに、領域特定部５６は、視点関連情報（VI）を、バス６０を介してファイル化部６５に供給し、ファイル化させることができる。また、領域特定部５６は、視点関連情報（VI）を、バス６０を介して画像再構成処理部５７に供給し、画像再構成処理に利用させることができる。

【0067】

例えば、領域特定部５６は、このような視点関連情報（VI）を制御部８１から取得し、その取得した視点関連情報（VI）を領域抽出部５３やバス６０に供給してもよい。この場合、制御部８１は、記憶媒体８３に記憶されている視点関連情報（VI）を、記憶部８２を介して読み出し、領域特定部５６に供給する。領域特定部５６は、その視点関連情報（VI）を領域抽出部５３やバス６０に供給する。なお、この視点関連情報（VI）には、スポット光情報（SI）が含まれていてもよい。

【0068】

このようにバス６０を介して記憶部６２、通信部６４、またはファイル化部６５に供給された視点関連情報（VI）は、そこにおいて画像（全体画像、視点画像、または合成画像）と関連付けられる。例えば、記憶部６２は、供給された視点関連情報（VI）を画像（全体画像、視点画像、または合成画像）と関連付け、記憶媒体６３に記憶させることができる。また、通信部６４は、供給された視点関連情報（VI）を画像（全体画像、視点画像、または合成画像）と関連付け、外部に送信することができる。さらに、ファイル化部６５は、供給された視点関連情報（VI）を画像（全体画像、視点画像、または合成画像）と関連付け、それらを含む１つのファイルを生成することができる。

【0069】

また、領域特定部５６は、イメージセンサ５１から供給されるRAWフォーマットの撮像画像を取得し、その撮像画像に基づいて視点関連情報（VI’）を生成し、その生成した視点関連情報（VI’）を領域抽出部５３やバス６０に供給してもよい。この場合、領域特定部５６は、撮像画像から各視点画像領域を特定し、その視点画像領域を示す（例えば、撮像画像における視点画像領域の中心座標と視点画像領域の解像度等により視点画像領域を示す）視点関連情報（VI’）を生成する。そして、領域特定部５６は、その生成した視点関連情報（VI’）を領域抽出部５３やバス６０に供給する。なお、この視点関連情報（VI’）には、領域特定部５６が撮像画像に基づいて生成したスポット光情報（SI’）が含まれていてもよい。

【0070】

さらに、領域特定部５６は、視点関連情報（VI）を制御部８１から取得し、イメージセンサ５１から供給されるRAWフォーマットの撮像画像を取得し、その撮像画像に基づいてスポット光情報（SI’）を生成し、視点関連情報（VI）にそのスポット光情報（SI’）を付加し、領域抽出部５３やバス６０に供給してもよい。この場合、制御部８１は、記憶媒体８３に記憶されている視点関連情報（VI）を、記憶部８２を介して読み出し、領域特定部５６に供給する。領域特定部５６は、その視点関連情報（VI）にスポット光情報（SI’）を付加して視点関連情報（VI’）を生成する。領域特定部５６は、その視点関連情報（VI’）を領域抽出部５３やバス６０に供給する。

【0071】

また、領域特定部５６は、視点関連情報（VI）を制御部８１から取得し、イメージセンサ５１から供給されるRAWフォーマットの撮像画像を取得し、その撮像画像に基づいてスポット光情報（SI’）を生成し、そのスポット光情報（SI’）を用いて視点関連情報（VI）を補正し、補正後の視点関連情報（VI’）を領域抽出部５３やバス６０に供給してもよい。この場合、制御部８１は、記憶媒体８３に記憶されている視点関連情報（VI）を、記憶部８２を介して読み出し、領域特定部５６に供給する。領域特定部５６は、その視点関連情報（VI）を、スポット光情報（SI’）を用いて補正し、視点関連情報（VI’）を生成する。領域特定部５６は、その視点関連情報（VI’）を領域抽出部５３やバス６０に供給する。

【0072】

なお、領域特定部５６は、視点関連情報（VIまたはVI'）を表示用画像生成部５５に供給することもできる。

【0073】

＜画像再構成処理部＞
画像再構成処理部５７は、画像の再構成に関する処理を行う。例えば、画像再構成処理部５７は、バス６０を介してカメラ信号処理部５４や記憶部６２からYCフォーマットの画像（全体画像、視点画像、または合成画像）を取得することができる。また、画像再構成処理部５７は、バス６０を介して領域特定部５６や記憶部６２から視点関連情報を取得することができる。

【0074】

さらに、画像再構成処理部５７は、その取得した画像と取得した画像に関連付けられた視点関連情報とを用いて、例えば、奥行情報の生成や、任意の被写体にフォーカスを合わせた画像を生成（再構成）するリフォーカス等の画像処理を行うことができる。例えば、視点画像を処理対象とする場合、画像再構成処理部５７は、その各視点画像を用いて奥行情報の生成やリフォーカス等の処理を行う。また、撮像画像や合成画像を処理対象とする場合、画像再構成処理部５７は、その撮像画像や合成画像から各視点画像を抽出し、抽出した視点画像を用いて奥行情報の生成やリフォーカス等の処理を行う。

【0075】

画像再構成処理部５７は、生成した奥行情報やリフォーカスされた画像を処理結果として、バス６０を介して記憶部６２に供給し、外部に記憶媒体６３に記憶させることができる。また、画像再構成処理部５７は、生成した奥行情報やリフォーカスされた画像を処理結果として、バス６０を介して通信部６４に供給し、送信させることができる。さらに、画像再構成処理部５７は、生成した奥行情報やリフォーカスされた画像を処理結果として、バス６０を介してファイル化部６５に供給し、ファイル化させることができる。

【0076】

＜バス＞
バス６０には、イメージセンサ５１、RAW信号処理部５２、領域抽出部５３、カメラ信号処理部５４、表示用画像生成部５５、領域特定部５６、画像再構成処理部５７、表示部６１、記憶部６２、通信部６４、およびファイル化部６５が接続される。バス６０は、これらのブロック間で授受される各種データの伝送媒体（伝送路）として機能する。なお、このバス６０は、有線により実現されてもよいし、無線通信により実現されてもよい。

【0077】

＜表示部＞
表示部６１は、例えば、表示パネル部３３やビューファインダー部３４を有する。表示部６１は、画像の表示に関する処理を行う。例えば、表示部６１は、表示用画像生成部５５から供給されるYCフォーマットである取り込み画像の表示用画像を取得し、それをRGBフォーマットに変換してスルー画像として表示パネル部３３やビューファインダー部３４に表示させることができる。その他、表示部６１は、例えば、メニュー、カメラ１０の設定等の情報を表示することもできる。

【0078】

また、表示部６１は、表示用画像生成部５５から供給される撮像画像の確認用画像を取得し、表示パネル部３３やビューファインダー部３４に表示させることができる。さらに、表示部６１は、表示用画像生成部５５から供給される、記録済み（保存済み）の撮像画像の表示用画像を取得し、表示パネル部３３やビューファインダー部３４に表示させることができる。なお、表示部６１が撮像画像のサムネイル画像を表示することができるようにしてもよい。

【0079】

＜記憶部＞
記憶部６２は、例えば、半導体メモリ等よりなる記憶媒体６３の記憶を制御する。この記憶媒体６３は、リムーバブルな記憶媒体であってもよいし、カメラ１０に内蔵される記憶媒体であってもよい。

【0080】

記憶部６２は、制御部８１やユーザの操作等に応じて、バス６０を介して供給される画像（撮像画像、視点画像、または合成画像）を記憶媒体６３に記憶させることができる。

【0081】

例えば、記憶部６２は、イメージセンサ５１または領域抽出部５３から供給されるRAWフォーマットの画像（全体画像、視点画像、または合成画像）を取得し、それを記憶媒体６３に記憶させることができる。また、記憶部６２は、RAW信号処理部５２から供給される信号処理を施したRAWフォーマットの画像（全体画像、視点画像、または合成画像）を取得し、それを記憶媒体６３に記憶させることができる。さらに、記憶部６２は、RAW信号処理部５２から供給される圧縮（符号化）したRAWフォーマットの画像（全体画像、視点画像、または合成画像）を取得し、記憶媒体６３に記憶させることができる。また、記憶部６２は、カメラ信号処理部５４から供給されるYCフォーマットの画像（全体画像、視点画像、または合成画像）を取得し、それを記憶媒体６３に記憶させることができる。

【0082】

その際、画像（全体画像、視点画像、または合成画像）と視点関連情報を互いに関連付けて、記憶媒体６３に記憶させることができる。例えば、記憶部６２は、領域特定部５６から供給される視点関連情報を取得し、上述の画像（全体画像、視点画像、または合成画像）に関連付けて、記憶媒体６３に記憶させることができる。つまり、記憶部６２は、つまり、記憶部６２は、全体画像、視点画像、および合成画像の内の少なくとも１つと視点関連情報とを関連付ける関連付け部として機能することになる。

【0083】

その他、記憶部６２は、画像再構成処理部５７から供給される奥行情報やリフォーカスされた画像を取得し、記憶媒体６３に記憶させることができる。また、記憶部６２は、ファイル化部６５から供給されるファイルを取得し、記憶媒体６３に記憶させることができる。このファイルは、画像（全体画像、視点画像、または合成画像）および視点関連情報を含む。つまり、このファイルにおいて、画像（全体画像、視点画像、または合成画像）および視点関連情報が互いに関連付けられている。

【0084】

また、記憶部６２は、制御部８１やユーザの操作等に応じて、記憶媒体６３に記憶されているデータやファイル等を読み出すことができる。

【0085】

例えば、記憶部６２は、記憶媒体６３からYCフォーマットの撮像画像（全体画像、視点画像、または合成画像）を読み出し、表示用画像生成部５５に供給し、その表示用画像を生成させることができる。また、記憶部６２は、記憶媒体６３からRAWフォーマットの画像（全体画像、視点画像、または合成画像）を読み出し、カメラ信号処理部５４に供給し、カメラ信号処理を施させることができる。

【0086】

さらに、記憶部６２は、画像（全体画像、視点画像、または合成画像）とともにその画像に関連付けられている視点関連情報も読み出すことができる。例えば、記憶部６２は、記憶媒体６３から、互いに関連付けられた画像（全体画像、視点画像、または合成画像）および視点関連情報のデータを読み出し、それらを画像再構成処理部５７に供給し、奥行情報の生成やリフォーカス等の処理を行わせることができる。また、記憶部６２は、記憶媒体６３から、互いに関連付けられた画像（全体画像、視点画像、または合成画像）および視点関連情報を含むファイルを読み出し、そのファイルを画像再構成処理部５７に供給し、奥行情報の生成やリフォーカス等の処理を行わせることができる。

【0087】

さらに、記憶部６２は、記憶媒体６３から、互いに関連付けられた画像（全体画像、視点画像、または合成画像）および視点関連情報のデータやファイルを読み出し、それらを通信部６４に供給し、送信させることができる。また、記憶部６２は、記憶媒体６３から、互いに関連付けられた画像（全体画像、視点画像、または合成画像）および視点関連情報のデータを読み出し、それらをファイル化部６５に供給し、ファイル化させることができる。

【0088】

なお、記憶媒体６３は、ROM（Read Only Memory）であってもよいし、RAM（Random Access Memory）やフラッシュメモリ等のような書き換え可能なメモリであってもよい。書き換え可能なメモリの場合、記憶媒体６３は、任意の情報を記憶することができる。

【0089】

＜通信部＞
通信部６４は、任意の通信方式により、インターネット上のサーバや、有線または無線LAN上のPC、その他の外部のデバイス等との間で通信を行う。通信部６４は、制御部８１の制御やユーザの操作等に応じて、その通信により、画像（撮像画像、視点画像、または合成画像）や視点関連情報等のデータやファイルを、ストリーミング方式やアップロード方式等により、通信相手（外部のデバイス）に送信することができる。

【0090】

例えば、通信部６４は、イメージセンサ５１や領域抽出部５３から供給されるRAWフォーマットの画像（撮像画像、視点画像、または合成画像）を取得し、送信することができる。また、通信部６４は、RAW信号処理部５２から供給される信号処理を施したRAWフォーマットの画像（撮像画像、視点画像、または合成画像）や圧縮（符号化）した画像（撮像画像、視点画像、または合成画像）を取得し、送信することができる。さらに、通信部６４は、カメラ信号処理部５４から供給されるYCフォーマットの画像（撮像画像、視点画像、または合成画像）を取得し、送信することができる。

【0091】

その際、通信部６４は、領域特定部５６から供給される視点関連情報を取得し、上述の画像（全体画像、視点画像、または合成画像）に関連付けることができる。つまり、通信部６４は、画像（全体画像、視点画像、または合成画像）と視点関連情報を互いに関連付けて、送信することができる。例えば、画像をストリーミング方式で送信する場合、通信部６４は、送信する画像（全体画像、視点画像、または合成画像）を、その画像を供給する処理部から取得し、その画像に領域特定部５６から供給される視点関連情報を関連付けて送信する処理を繰り返す。つまり、通信部６４は、全体画像、視点画像、および合成画像の内の少なくとも１つと視点関連情報とを関連付ける関連付け部として機能することになる。

【0092】

また、例えば、通信部６４は、画像再構成処理部５７から供給される奥行情報やリフォーカスされた画像を取得し、送信することができる。さらに、通信部６４は、ファイル化部６５から供給されるファイルを取得し、送信することができる。このファイルは、例えば、画像（全体画像、視点画像、または合成画像）および視点関連情報を含む。つまり、このファイルにおいて、画像（全体画像、視点画像、または合成画像）および視点関連情報が互いに関連付けられている。

【0093】

なお、通信部６４は、カメラ１０の外部の装置（通信相手）から、画像（全体画像、視点画像、または合成画像）や視点関連情報のデータやファイルを取得することもできる。

【0094】

＜ファイル化部＞
ファイル化部６５は、ファイルの生成に関する処理を行う。例えば、ファイル化部６５は、イメージセンサ５１または領域抽出部５３から供給されるRAWフォーマットの画像（全体画像、視点画像、または合成画像）を取得することができる。また、ファイル化部６５は、RAW信号処理部５２から供給される信号処理を施したRAWフォーマットの画像（全体画像、視点画像、または合成画像）または圧縮（符号化）したRAWフォーマットの画像（全体画像、視点画像、または合成画像）を取得することができる。さらに、ファイル化部６５は、カメラ信号処理部５４から供給されるYCフォーマットの画像（全体画像、視点画像、または合成画像）を取得することができる。また、例えば、ファイル化部６５は、領域特定部５６から供給される視点関連情報を取得することができる。

【0095】

ファイル化部６５は、取得した複数のデータをファイル化して、その複数のデータを含む１つのファイルを生成することにより、その複数のデータを互いに関連付けることができる。例えば、ファイル化部６５は、上述の画像（全体画像、視点画像、または合成画像）および視点関連情報から１つのファイルを生成することにより、それらを互いに関連付けることができる。つまり、ファイル化部６５は、全体画像、視点画像、および合成画像の内の少なくとも１つと視点関連情報とを関連付ける関連付け部として機能することになる。

【0096】

また、例えば、ファイル化部６５は、画像再構成処理部５７から供給される奥行情報やリフォーカスされた画像を取得し、ファイル化することができる。さらに、ファイル化部６５は、記憶部６２から供給される、互いに関連付けられた画像（全体画像、視点画像、または合成画像）および視点関連情報から１つのファイルを生成することができる。

【0097】

なお、ファイル化部６５は、ファイル化する画像（例えば視点画像）のサムネイル画像を生成し、それを生成したファイルに含めることができる。つまり、ファイル化部６５は、ファイル化することにより、このサムネイル画像を、画像（全体画像、視点画像、または合成画像）や視点関連情報に関連付けることができる。

【0098】

ファイル化部６５は、生成したファイル（互いに関連付けられた画像および視点関連情報）を、例えば、バス６０を介して記憶部６２に供給し、記憶媒体６３に記憶させることができる。また、ファイル化部６５は、生成したファイル（互いに関連付けられた画像および視点関連情報）を、例えば、バス６０を介して通信部６４に供給し、送信させることができる。

【0099】

＜関連付け部＞
これらの記憶部６２、通信部６４、およびファイル化部６５を関連付け部７０とも称する。関連付け部７０は、画像（全体画像、視点画像、または合成画像）と、視点関連情報とを関連付ける。例えば、記憶部６２は、全体画像、視点画像、および合成画像の内の少なくとも１つと視点関連情報とを関連付けて記憶媒体６３に記憶させることができる。また、通信部６４は、全体画像、視点画像、および合成画像の内の少なくとも１つと視点関連情報とを関連付けて送信することができる。さらに、ファイル化部６５は、全体画像、視点画像、および合成画像の内の少なくとも１つと視点関連情報とから１つのファイルを生成することにより、それらを関連付けることができる。

【0100】

＜制御部＞
制御部８１は、カメラ１０に関する制御処理を行う。つまり、制御部８１は、カメラ１０の各部を制御し、処理を実行させることができる。例えば、制御部８１は、光学系制御部８４を介して多眼光学系３０（各個眼光学系３１）を制御し、絞りやフォーカス位置等の撮像に関する光学系の設定を行わせることができる。また、制御部８１は、イメージセンサ５１を制御し、イメージセンサ５１に撮像（光電変換）を行わせ、撮像画像を生成させることができる。

【0101】

さらに、制御部８１は、視点関連情報（VI）を領域特定部５６に供給し、撮像画像から抽出する領域を特定させることができる。なお、この視点関連情報（VI）には、スポット光情報（SI）が含まれていてもよい。また、制御部８１は、記憶媒体８３に記憶されている視点関連情報（VI）を、記憶部８２を介して読み出し、領域特定部５６に供給してもよい。

【0102】

また、制御部８１は、表示用画像の生成に関する制御情報を表示用画像生成部５５に供給してもよい。例えば、制御部８１は、ダイヤル３５やボタン３６等の入力デバイスを介してユーザの操作を受け付け、その受け付けた操作に応じて制御情報を生成し、それを表示用画像生成部５５に供給してもよい。また、制御部８１は、記憶部８２が記憶媒体８３から読み出した制御情報を取得し、それを表示用画像生成部５５に供給してもよい。さらに、制御部８１は、記憶部８２が記憶媒体８３から読み出した制御情報を取得し、ダイヤル３５やボタン３６等の入力デバイスを介してユーザの操作を受け付け、その受け付けた操作に応じて制御情報を更新し、それを表示用画像生成部５５に供給してもよい。

【0103】

また、制御部８１は、バス６０を介して画像を取得し、その画像の明るさに基づいて、光学系制御部８４を介して絞りを制御することができる。さらに、制御部８１は、その画像の鮮鋭度に基づいて、光学系制御部８４を介してフォーカスを制御することができる。また、制御部８１は、その画像のRGB比率に基づいてカメラ信号処理部５４を制御し、ホワイトバランスゲインを制御することができる。

【0104】

＜記憶部＞
記憶部８２は、例えば、半導体メモリ等よりなる記憶媒体８３の記憶を制御する。この記憶媒体８３は、リムーバブルな記憶媒体であってもよいし、内蔵メモリであってもよい。この記憶媒体８３には、例えば、視点関連情報（VI）が記憶されている。この視点関連情報（VI）は、多眼光学系３０（の各個眼光学系３１）およびイメージセンサ５１に対応する情報である。つまり、視点関連情報（VI）は、この多眼光学系３０の各個眼光学系３１を視点とする視点画像に関する情報であり、その視点画像領域を特定するために用いられる情報である。例えば、この視点関連情報（VI）には、スポット光情報（SI）が含まれていてもよい。

【0105】

例えば、記憶部８２は、制御部８１からの要求やユーザの操作等に応じて、記憶媒体８３に記憶されている視点関連情報（VI）を読み出し、制御部８１に供給することができる。

【0106】

なお、記憶媒体８３は、ROMであってもよいし、RAMやフラッシュメモリ等のような書き換え可能なメモリであってもよい。書き換え可能なメモリの場合、記憶媒体８３は、任意の情報を記憶することができる。

【0107】

また、記憶媒体８３が、表示用画像の生成に関する制御情報を記憶し、記憶部８２が、制御部８１からの要求やユーザの操作等に応じて、その制御情報を読み出し、制御部８１に供給してもよい。

【0108】

また、記憶部８２および記憶媒体８３を記憶部６２および記憶媒体６３により代用してもよい。つまり、上述した記憶媒体８３に記憶させる情報（視点関連情報（VI）等）を記憶媒体６３に記憶させてもよい。その場合、記憶部８２および記憶媒体８３は、省略してもよい。

【0109】

＜光学系制御部＞
光学系制御部８４は、制御部８１の制御に従って、多眼光学系３０（の各個眼光学系３１）を制御する。例えば、光学系制御部８４は、各個眼光学系３１のレンズ群や絞りを制御し、各個眼光学系３１の焦点距離若しくはF値、またはその両方を制御することができる。なお、カメラ１０が電動フォーカス調整機能を有する場合、光学系制御部８４は、多眼光学系３０（の各個眼光学系３１の）フォーカス（焦点距離）を制御することができる。また、光学系制御部８４が、各個眼光学系３１の絞り（F値）を制御することができるようにしてもよい。

【0110】

なお、カメラ１０が、このような電動フォーカス調整機能を備える代わりに、鏡筒に設けられたフォーカスリングを手動により操作することにより、焦点距離を調整する機構（物理的構成）を備えるようにしてもよい。その場合、この光学系制御部８４は、省略することができる。

【0111】

＜視点関連情報の関連付け＞
カメラ１０は、撮像画像から、各個眼光学系３１を視点とする視点画像を抽出し得る。１枚の撮像画像から抽出された複数の視点画像は互いに異なる視点の画像であるので、これらの視点画像を用いて、例えば多眼マッチングによる奥行推定や多眼レンズの取り付け誤差抑制のための補正等の処理を行うことができる。ただし、これらの処理を行うためには、各視点画像間の相対位置等の情報が必要である。

【0112】

そこで、カメラ１０は、出力する全体画像、視点画像、または、合成画像に対して、撮像画像における複数の視点画像の領域を特定するために用いられる情報である視点関連情報を関連付ける。

【0113】

ここで、「関連付ける」という用語は、例えば、一方のデータを処理する際に他方のデータを利用し得る（リンクさせ得る）ようにすることを意味する。つまり、撮像画像と視点関連情報のデータ（ファイル）としての形態は任意である。例えば、撮像画像と視点関連情報とが、１つのデータ（ファイル）としてまとめられてもよいし、それぞれ個別のデータ（ファイル）としてもよい。例えば、撮像画像に関連付けられた視点関連情報は、その撮像画像とは別の伝送路上で伝送されるようにしてもよい。また、例えば、撮像画像に関連付けられた視点関連情報は、その撮像画像とは別の記録媒体（または同一の記録媒体の別の記録エリア）に記録されるようにしてもよい。勿論、撮像画像と視点関連情報とをまとめて、１つのストリームデータにしたり、１つのファイルにしたりしてもよい。

【0114】

なお、視点関連情報を関連付ける画像は、静止画像でもよいし動画像でもよい。動画像の場合、各フレーム画像において、静止画像の場合と同様に領域抽出や視点関連情報の関連付け等を行うことができる。

【0115】

また、この「関連付け」は、データ全体でなく、データ（ファイル）の一部であってもよい。例えば、撮像画像が複数フレームからなる動画像である場合、視点関連情報が、撮像画像の、複数フレーム、１フレーム、またはフレーム内の一部分などの任意の単位に対して関連付けられるようにしてもよい。

【0116】

なお、撮像画像と視点関連情報とが個別のデータ（ファイル）とされる場合は、その撮像画像と視点関連情報の双方に同じ識別番号を付与することなどで、両者を関連付けることができる。また、撮像画像と視点関連情報とが１つのファイルにまとめられる場合、例えば、撮像画像のヘッダ等に視点関連情報が付与されるようにしてもよい。なお、視点関連情報が関連付けられる対象は、撮像画像（全体画像）であってもよいし、視点画像であってもよいし、視点画像の合成画像であってもよい。

【0117】

＜全体画像の出力＞
全体画像を出力する場合について説明する。全体画像の例を図５に示す。図５に示されるように、全体画像１３０には、各個眼光学系３１に対応する個眼画像（各個眼光学系３１を介して入射された被写体からの光を光電変換した画像）が含まれる。例えば、全体画像１３０の中央の画像が個眼光学系３１₀に対応する個眼画像である。また、全体画像１３０の右上の画像が個眼光学系３１₁に対応する個眼画像である。さらに、全体画像１３０の左上の画像が個眼光学系３１₂に対応する個眼画像である。また、全体画像１３０の左下の画像が個眼光学系３１₃に対応する個眼画像である。さらに、全体画像１３０の右下の画像が個眼光学系３１₄に対応する個眼画像である。

【0118】

なお、この全体画像１３０は、イメージセンサ５１により生成される撮像画像全体であってもよいし、その撮像画像より切り出された部分画像（ただし、全ての個眼画像を含む）であってもよい。また、この全体画像１３０は、RAWフォーマットの画像であってもよいし、YCフォーマットの画像であってもよい。

【0119】

視点領域情報により、全体画像１３０に対して各個眼画像の一部（有効な部分）が視点画像領域として指定される。例えば図５の場合、全体画像１３０の、点線枠で囲まれた領域が視点画像領域である。つまり、個眼光学系３１₀に対応する個眼画像の一部（有効な部分）が視点画像領域１３１₀として指定される。同様に、個眼光学系３１₁に対応する個眼画像の一部（有効な部分）が視点画像領域１３１₁として指定される。また、個眼光学系３１₂に対応する個眼画像の一部（有効な部分）が視点画像領域１３１₂として指定される。さらに、個眼光学系３１₃に対応する個眼画像の一部（有効な部分）が視点画像領域１３１₃として指定される。また、個眼光学系３１₄に対応する個眼画像の一部（有効な部分）が視点画像領域１３１₄として指定される。なお、以下において、視点画像領域１３１₀乃至視点画像領域１３１₄を互いに区別して説明する必要がない場合、視点画像領域１３１と称する。

【0120】

このような全体画像１３０を出力する場合、関連付け部７０は、イメージセンサ５１、RAW信号処理部５２、または、カメラ信号処理部５４からこの全体画像１３０を取得し、領域特定部５６から供給される多眼光学系３０に対応する視点関連情報を、その全体画像１３０に関連付ける。そして、関連付け部７０は、その互いに関連付けた全体画像および視点関連情報を出力する。出力の例としては、例えば、記憶部６２が、その互いに関連付けた全体画像および視点関連情報を記憶媒体６３に記憶させてもよい。また、通信部６４が、その互いに関連付けた全体画像および視点関連情報を送信してもよい。さらに、ファイル化部６５が、その互いに関連付けた全体画像および視点関連情報をファイル化してもよい。

【0121】

なお、全体画像と視点関連情報との関連付けは、領域抽出部５３において行われるようにしてもよい。つまり、領域抽出部５３が、出力する全体画像に対して領域特定部５６から供給された視点関連情報を関連付け、その互いに関連付けた全体画像および視点関連情報をバス６０、RAW信号処理部５２、またはカメラ信号処理部５４に供給するようにしてもよい。

【0122】

この場合の視点関連情報は、撮像画像における複数の視点画像領域を示す視点領域情報を含む。視点領域情報は、視点画像領域をどのように表してもよい。例えば、撮像画像における個眼光学系３１の光軸に対応する位置を示す座標（視点画像領域の中心座標）と視点画像（視点画像領域）の解像度（画素数）とにより、視点画像領域が表されるようにしてもよい。つまり、視点領域情報が、撮像画像における視点画像領域の中心座標と視点画像領域の解像度とを含むようにしてもよい。この場合、視点画像領域の中心座標とその視点画像領域の解像度（画素数）から、全体画像１３０の内の視点画像領域の場所を特定することができる。

【0123】

撮像画像にこのような視点関連情報を関連付けることにより、多眼マッチングによる奥行推定や、多眼光学系３０の取り付け（設置）の際に生じる誤差の抑制のための処理等の後段処理のための事前処理としての視点画像の抽出において、この視点関連情報を用いることができる。例えば、画像再構成処理部５７は、この視点関連情報に含まれる視点領域情報に基づいて各視点画像を抽出したうえで、多眼マッチングによる奥行推定や、リフォーカス処理、多眼光学系３０の取り付け（設置）の際に生じる誤差の抑制のための処理等の後段処理を行うことができる。

【0124】

なお、全体画像１３０に視点関連情報が関連付けられていなくても、例えば画像再構成処理部５７は、画像処理により、全体画像１３０に含まれる視点画像領域を特定することができる可能性があるが、撮像条件などによって撮像画像の内の視点画像領域を正確に特定することは困難な可能性がある。そこで、上述のように視点関連情報を全体画像１３０に関連付けることにより、画像再構成処理部５７は、その視点関連情報に基づいて、より容易かつより正確に上述の全体画像１３０から視点画像領域を抽出することができる。

【0125】

＜視点画像の出力＞
次に、視点画像を出力する場合について説明する。図６は、切り出された視点画像の例を示す図である。図６において、視点画像１３２₀は、全体画像１３０（図５）から視点画像領域１３１₀を抽出した画像である。視点画像１３２₁は、全体画像１３０から視点画像領域１３１₁を抽出した画像である。視点画像１３２₂は、全体画像１３０から視点画像領域１３１₂を抽出した画像である。視点画像１３２₃は、全体画像１３０から視点画像領域１３１₃を抽出した画像である。視点画像１３２₄は、全体画像１３０から視点画像領域１３１₄を抽出した画像である。以下において、視点画像１３２₀乃至視点画像１３２₄を互いに区別して説明する必要がない場合、視点画像１３２と称する。

【0126】

このような視点画像を出力する場合、領域抽出部５３は、この図６の例のように切り出した各視点画像１３２を、それぞれ独立したデータ（またはファイル）として出力する。

【0127】

例えば、領域抽出部５３は、領域特定部５６から供給された視点関連情報に従って撮像画像（全体画像）から視点画像を切り出す。領域抽出部５３は、その切り出した各視点画像に、各視点を識別するための視点識別情報（例えば、識別番号）を割り当てる。領域抽出部５３は、その視点識別情報を割り当てた各視点画像をカメラ信号処理部５４に供給する。カメラ信号処理部５４は、そのRAWフォーマットの各視点画像にカメラ信号処理を施し、YCフォーマットの各視点画像を生成する。カメラ信号処理部５４は、そのYCフォーマットの各視点画像を関連付け部７０に供給する。また、領域特定部５６は、領域抽出部５３に供給した視点関連情報を関連付け部７０に供給する。

【0128】

関連付け部７０は、各視点画像に対して、その視点画像に対応する視点関連情報を関連付ける。視点関連情報は、各視点を識別するための視点識別情報（例えば、視点識別番号）を含み得る。関連付け部７０は、この視点識別情報に基づいて、各視点画像に対して、その視点画像に対応する視点関連情報を関連付ける。この視点識別情報を参照することにより、関連付け部７０は、どの視点関連情報がどの視点画像に対応するかを容易に把握することができる。つまり、関連付け部７０は、この視点識別情報を用いることにより、より容易に、各視点画像および視点関連情報を正しく関連付けることができる。

【0129】

そして、関連付け部７０は、その互いに関連付けた各視点画像および視点関連情報を出力する。例えば、記憶部６２が、その互いに関連付けた各視点画像および視点関連情報を記憶媒体６３に記憶させてもよい。また、通信部６４が、その互いに関連付けた各視点画像および視点関連情報を送信してもよい。さらに、ファイル化部６５が、その互いに関連付けた各視点画像および視点関連情報をファイル化してもよい。

【0130】

なお、各視点画像と視点関連情報との関連付けは、領域抽出部５３において行われるようにしてもよい。つまり、領域抽出部５３が、出力する各視点画像に対して領域特定部５６から供給された視点関連情報を関連付け、その互いに関連付けた各視点画像および視点関連情報をバス６０、RAW信号処理部５２、またはカメラ信号処理部５４に供給するようにしてもよい。

【0131】

また、視点関連情報に、視点画像が抽出される撮像画像が撮像された時刻や順番を示す視点時刻情報が含まれるようにしてもよい。複数の撮像画像から抽出された視点画像が混在する場合や動画像や連写画像である場合、どの視点画像がどの撮像画像から抽出されたものであるかの識別が困難になるおそれがある。撮像画像の生成時刻や順番を示す視点時刻情報を視点画像に関連付けることにより、各視点画像に対応する撮像画像（各視点画像が抽出された撮像画像）の識別をより容易に行うことができる。換言するに、互いに同一の撮像画像から抽出された複数の視点画像をより容易に特定することができる。付言するに、記録されたファイルが一括管理されていない場合においても、同時刻の各視点画像を特定することができる。

【0132】

なお、視点画像の場合と同様に個眼画像を撮像画像から切り出し、処理したり記録したりしてもよい。

【0133】

＜合成画像の出力＞
次に、合成画像を出力する場合について説明する。図７は、各視点画像を合成した合成画像の例を示す図である。図７の例の場合、図６の例において抽出された視点画像１３２₀乃至視点画像１３２₄が1枚の画像内に並んで表示されるように合成されてなる１枚の合成画像１３３が生成されている。つまり、合成画像１３３は、各視点画像１３２が合成されて、１データ化（１フレーム化）、または、１ファイル化されたものである。

【0134】

なお、図７においては、合成画像１３３の視点画像１３２₀乃至視点画像１３２₄の周囲に余白領域が示されているが、合成画像１３３がこの余白領域を有していてもよいし、有していなくてもよい。また、合成画像１３３の形状は、矩形であればよく、各視点画像１３２の配置方法（並べ方）は任意である。図７の例のように、５枚の視点画像１３２を２行３列に並べる場合に生ずる空白領域（６枚目の視点画像１３２に相当する領域）は、null dataや固定値で表すようにしてもよい。

【0135】

例えば、領域抽出部５３は、領域特定部５６から供給された視点関連情報に従って撮像画像（全体画像）から視点画像を切り出す。領域抽出部５３は、その切り出した各視点画像を1枚の画像内に並んで表示されるように合成して合成画像を生成する。その際、各視点画像の並び順（位置）を予め定めておくことにより、合成画像に含まれる各視点画像がどの視点の画像であるかを容易に把握することができる。

【0136】

また、各視点画像に視点識別情報（例えば、識別番号）を割り当ててから合成するようにしてもよい。この場合も同様に、合成画像に含まれる各視点画像がどの視点の画像であるかを容易に把握することができる。以下においては、合成画像における各視点画像の並び順が予め定められているものとする。

【0137】

領域抽出部５３は、視点識別情報を割り当てた合成画像をカメラ信号処理部５４に供給する。カメラ信号処理部５４は、そのRAWフォーマットの合成画像にカメラ信号処理を施し、YCフォーマットの合成画像を生成する。カメラ信号処理部５４は、そのYCフォーマットの合成画像を関連付け部７０に供給する。また、領域特定部５６は、領域抽出部５３に供給した視点関連情報を関連付け部７０に供給する。

【0138】

関連付け部７０は、合成画像に対して視点関連情報を関連付ける。合成画像に含まれる各視点画像の視点は、合成画像におけるその視点画像の位置により明らかである。つまり、各視点画像が視点関連情報のどの視点領域情報に対応するかは、容易に把握することができる。

【0139】

そして、関連付け部７０は、その互いに関連付けた合成画像および視点関連情報を出力する。例えば、記憶部６２が、その互いに関連付けた合成画像および視点関連情報を記憶媒体６３に記憶させてもよい。また、通信部６４が、その互いに関連付けた合成画像および視点関連情報を送信してもよい。さらに、ファイル化部６５が、その互いに関連付けた画像および視点関連情報をファイル化してもよい。

【0140】

なお、合成画像と視点関連情報との関連付けは、領域抽出部５３において行われるようにしてもよい。つまり、領域抽出部５３が、出力する合成画像に対して領域特定部５６から供給された視点関連情報を関連付け、その互いに関連付けた合成画像および視点関連情報をバス６０、RAW信号処理部５２、またはカメラ信号処理部５４に供給するようにしてもよい。

【0141】

＜被写体の撮像＞
例えば、図８の例のように、カメラ１０を用いて被写体１４１および被写体１４２を撮像するとする。図８に示されるように、カメラ１０から見て、被写体１４１の方が被写体１４２よりも近くに（手前側に）位置するものとする。

【0142】

図９に示される全体画像１３０は、その場合の、カメラ１０において取り込み画像または撮像画像として得られる全体画像の一例である。図５の例の場合と同様に、この全体画像１３０には、各個眼光学系３１に対応する（つまり各個眼光学系３１を視点とする）個眼画像が含まれる。

【0143】

例えば、全体画像１３０の被写体１４１₀および被写体１４２₀は、イメージセンサ５１が個眼光学系３１₀を介して受光した光を光電変換して生成した被写体１４１および被写体１４２の画像である。つまり、被写体１４１₀および被写体１４２₀は、個眼光学系３１₀を視点とする（個眼光学系３１₀に対応する）被写体１４１および被写体１４２の画像である。また、全体画像１３０の被写体１４１₁および被写体１４２₁は、イメージセンサ５１が個眼光学系３１₁を介して受光した光を光電変換して生成した被写体１４１および被写体１４２の画像である。つまり、被写体１４１₁および被写体１４２₁は、個眼光学系３１₁を視点とする（個眼光学系３１₁に対応する）被写体１４１および被写体１４２の画像である。

【0144】

同様に、全体画像１３０の被写体１４１₂および被写体１４２₂は、イメージセンサ５１が個眼光学系３１₂を介して受光した光を光電変換して生成した被写体１４１および被写体１４２の画像である。つまり、被写体１４１₂および被写体１４２₂は、個眼光学系３１₂を視点とする（個眼光学系３１₂に対応する）被写体１４１および被写体１４２の画像である。また、全体画像１３０の被写体１４１₃および被写体１４２₃は、イメージセンサ５１が個眼光学系３１₃を介して受光した光を光電変換して生成した被写体１４１および被写体１４２の画像である。つまり、被写体１４１₃および被写体１４２₃は、個眼光学系３１₃を視点とする（個眼光学系３１₃に対応する）被写体１４１および被写体１４２の画像である。さらに、全体画像１３０の被写体１４１₄および被写体１４２₄は、イメージセンサ５１が個眼光学系３１₄を介して受光した光を光電変換して生成した被写体１４１および被写体１４２の画像である。つまり、被写体１４１₄および被写体１４２₄は、個眼光学系３１₄を視点とする（個眼光学系３１₄に対応する）被写体１４１および被写体１４２の画像である。

【0145】

＜画像表示＞
カメラ１０は、画像を例えば表示パネル部３３やビューファインダー部３４に表示させることができる。例えば、ユーザがシャッタボタンを押下する等して被写体を撮像する前に構図の確認等を行うことができるように、カメラ１０は、取り込み画像から表示用画像を生成し、その表示用画像をスルー画像として表示させることができる。カメラ１０は、このような表示をイメージセンサ５１が取り込んだ取り込み画像の毎フレームについて行う。ユーザは、このように表示された画像（表示画像とも称する）を確認しながらフレーミング（画角の調整）等を行うことにより、より容易にユーザの意図に応じた撮像を行うことができる。

【0146】

また、例えば、ユーザがシャッタボタンを押下する等して被写体を撮像した直後にその撮像結果（つまり、撮像画像）の確認を行うことができるように、カメラ１０は、撮像画像から表示用画像を生成し、その表示用画像を確認用画像として表示させることができる。さらに、例えば、ユーザが過去に撮像し保存した撮像画像の確認を行うことができるように、カメラ１０は、記憶媒体８３等に保存された画像から表示用画像を生成し、その表示用画像を表示させることができる。

【0147】

一般的に、単眼の光学系を用いて撮像する場合、イメージセンサ５１に結像される像全体がスルー画像として表示される。しかしながら、複数の個眼光学系３１を用いて撮像された全体画像１３０（図９）の場合、各個眼光学系３１を視点とする個眼画像が全体画像１３０に含まれるため、この全体画像１３０をスルー画像等として表示部６１（表示パネル部３３やビューファインダー部３４等）に表示させると、単眼の光学系を用いて撮像する場合に比べて各個眼画像が非常に小さくなり、その表示された画像においてユーザによる被写体の視認が困難になるおそれがあった。そのため、例えば、その表示された画像に基づいて、ユーザが、画角（構図）の調整（フレーミング）等を行うことが困難になるおそれがあった。

【0148】

撮像画像の確認用画像や保存済みの画像の表示用画像を表示させる場合も同様であり、全体画像１３０では、その表示された画像においてユーザによる被写体の視認が困難になるおそれがあった。

【0149】

そこで、１つの個眼画像を切り出して表示する方法が考えられた。例えば図９の場合、被写体１４１₀および被写体１４２₀を含む領域を切り出し、その領域の画像をスルー画像等として表示部６１（表示パネル部３３やビューファインダー部３４等）に表示させる。このようにすることにより、表示部６１において、被写体を大きく表示させることができ、ユーザがより容易に被写体を視認することができる。

【0150】

しかしながら、この方法の場合、１つの個眼画像しか表示されないため、ユーザがその表示された画像に基づいて各個眼画像がどの程度の視差を持つかを確認することが困難であった。

【0151】

＜複数個眼画像のローテーション表示＞
そこで、表示する個眼画像を動的に切り替えるようにする。例えば、図９の全体画像１３０の場合、個眼切り出し画像１５１₀、個眼切り出し画像１５１₁、個眼切り出し画像１５１₂、個眼切り出し画像１５１₃、および個眼切り出し画像１５１₄を切り出す。

【0152】

個眼切り出し画像１５１₀は、個眼光学系３１₀に対応する個眼画像の一部または全部であり、被写体１４１₀および被写体１４２₀を含む。個眼切り出し画像１５１₁は、個眼光学系３１₁に対応する個眼画像の一部または全部であり、被写体１４１₁および被写体１４２₁を含む。個眼切り出し画像１５１₂は、個眼光学系３１₂に対応する個眼画像の一部または全部であり、被写体１４１₂および被写体１４２₂を含む。個眼切り出し画像１５１₃は、個眼光学系３１₃に対応する個眼画像の一部または全部であり、被写体１４１₃および被写体１４２₃を含む。個眼切り出し画像１５１₄は、個眼光学系３１₄に対応する個眼画像の一部または全部であり、被写体１４１₄および被写体１４２₄を含む。

【0153】

以下において、個眼切り出し画像１５１₄乃至個眼切り出し画像１５１₄を互いに区別して説明する必要がない場合、個眼切り出し画像１５１と称する。また、切り出し前の画像（例えば全体画像１３０）における個眼切り出し画像１５１の領域を個眼切り出し領域とも称する。

【0154】

そして、このような各個眼切り出し画像１５１の一部または全部を、所定の順に動的に切り替えながら表示させる。例えば、図１０に示されるように、各個眼切り出し画像１５１を、個眼切り出し画像１５１₀、個眼切り出し画像１５１₃、個眼切り出し画像１５１₂、個眼切り出し画像１５１₁、個眼切り出し画像１５１₄の順に、繰り返し表示させる。

【0155】

各個眼切り出し画像１５１は、視点位置が異なるので、画像間で視差が生じる。したがって、図１１に示されるように、個眼切り出し画像１５１₀乃至個眼切り出し画像１５１₄を互いに同じ位置に重畳させると、被写体１４２₀乃至被写体１４２₄の位置が互いにズレる。つまり、各個眼切り出し画像１５１を連続して表示すると、ユーザには、図１１に示されるように、被写体１４２がブレているように見える。ユーザはこのブレの大きさにより、被写体がどの程度の視差をもって撮像されるのかを直感的に把握することができる。

【0156】

また、この場合、全体画像１３０を表示させる場合よりも、各個眼切り出し画像１５１を大きく表示させることができるので、視認性の低減を抑制することができる。したがって、この表示された画像に基づいて画角（構図）の調整（フレーミング）等をより容易に行うことができる。つまり、被写体の視認のしやすさとフレーミングのしやすさを実現するとともに、各個眼による画像の視差の把握の容易化を実現することができる。

【0157】

以上のように、光路が互いに独立している複数の個眼光学系を視点とする複数の画像の内のいずれか１つを選択的、かつ、動的に切り替えながら表示部で表示させる。

【0158】

例えば、情報処理装置において、光路が互いに独立している複数の個眼光学系を視点とする複数の画像の内のいずれか１つを選択的、かつ、動的に切り替えながら表示部で表示させる表示制御部を備えるようにする。

【0159】

また、例えば、プログラムにより、コンピュータを、光路が互いに独立している複数の個眼光学系を視点とする複数の画像の内のいずれか１つを選択的、かつ、動的に切り替えながら表示部で表示させる表示制御部として機能させるようにする。

【0160】

このようにすることにより、互いに異なる個眼光学系を視点とする複数の画像同士の視差をより容易に把握することができる。

【0161】

例えば、図１０の例のように、その複数の画像の一部または全部を、所定の順に１つずつ選択して表示させるようにしてもよい。

【0162】

例えば、スルー画像を表示する場合、カメラ１０（表示用画像生成部５５）は、動画像である取り込み画像の各フレームから個眼切り出し画像１５１を１つずつ抽出し、表示させる。

【0163】

また、撮像画像が静止画像であるとするとその撮像画像の確認用画像を表示する場合、カメラ１０（表示用画像生成部５５）は、静止画像である撮像画像から複数の個眼切り出し画像１５１を抽出し、順次表示させる。保存済みの撮像画像を表示させる場合も同様である。なお、撮像画像が動画像である場合、カメラ１０（表示用画像生成部５５）は、スルー画像の場合と同様に、各フレームから個眼切り出し画像１５１を１つずつ抽出し、表示させる。

【0164】

＜個眼切り出し領域＞
次に、以上のように切り出す個眼切り出し領域について説明する。全体画像１３０において、各個眼画像の一部または全部の領域が、それぞれ個眼切り出し領域として設定される。つまり、全体画像１３０に設定される個眼切り出し領域の数と大まかな位置は、個眼画像と同様になる。

【0165】

個眼切り出し領域の大きさは、個眼画像を超えない範囲で任意である。例えば、個眼切り出し領域の大きさを視点画像領域と同一としてもよい。また、個眼切り出し領域の大きさは、可変としてもよい（例えばユーザが設定できるようにしてもよい）が、ここでは固定として説明する。さらに、表示画像の見やすさから、各個眼切り出し領域の大きさは互いに同一であることが望ましい。

【0166】

個眼切り出し領域の形状は任意である。ここでは矩形であるとして説明する。また、表示画像の見やすさから、各個眼切り出し領域の形状は互いに同一であることが望ましい。

【0167】

＜個眼切り出し領域のシフト＞
ところで、図９の例の場合、各個眼切り出し画像１５１において被写体１４１の位置が互いに同一である（中央に位置する）。したがって、これらの個眼切り出し画像１５１を連続して表示させた場合、図１０の例のように、被写体１４１はブレない。つまり、所望の被写体の各個眼切り出し画像１５１における位置を互いに同一にすることにより、その被写体をブレないように表示させることができる。

【0168】

上述したように各個眼画像は視差を有しており、被写体の各個眼画像における位置は、その視差の方向にシフトする。つまり、各個眼切り出し領域の個眼画像における位置を、その視差の方向にシフトさせ、所望の被写体の各個眼切り出し画像１５１における位置を互いに同一にすることにより、その被写体をブレないように表示させることができる。

【0169】

このシフトの方向（視差の方向）は、個眼切り出し画像１５１（または個眼画像）の配置パタン、つまり、多眼光学系３０における個眼光学系３１のレイアウト（数や位置等）に依存する。

【0170】

ここで個眼画像の視差について説明する。一般的に、個眼画像間において、カメラ１０に近い被写体程その視差は大きくなり、カメラ１０から遠い被写体程その視差は小さくなる。例えば、図９の場合、各個眼画像の被写体１４１の位置ズレの方が、被写体１４２の位置ズレより大きい。

【0171】

したがって、個眼切り出し領域のシフト量を大きくする程、カメラ１０により近い被写体のブレ幅を低減させることができ、個眼切り出し領域のシフト量を小さくする程、カメラ１０からより遠い被写体のブレ幅を低減させることができる。つまり、個眼切り出し領域のシフト量は、ブレ幅を低減させる（典型的にはブレないように表示させる）被写体とカメラ１０との距離に依存する。

【0172】

このシフト量をユーザやアプリケーション等が制御することができるようにしてもよい。上述のように、シフト量は、カメラ１０から、表示画面においてブレ幅を低減させる被写体までの距離によって定まるので、ユーザやアプリケーションがこのシフト量を指定することにより、カメラ１０からそのシフト量に対応する距離にある被写体のブレ幅を低減させることができる。

【0173】

例えば、図１２に示されるように、このシフト量をベクトル情報（方向および大きさ）として指定するようにしてもよい。図１２の例の場合、個眼切り出し画像１５１₁の領域のシフトの方向および大きさが、ベクトル情報であるシフト量１６１₁により指定される。同様に、個眼切り出し画像１５１₂の領域のシフトの方向および大きさが、シフト量１６１₂により指定され、個眼切り出し画像１５１₃の領域のシフトの方向および大きさが、シフト量１６１₃により指定され、個眼切り出し画像１５１₄の領域のシフトの方向および大きさが、シフト量１６１₄により指定される。以下において、シフト量１６１₁乃至シフト量１６１₄を互いに区別して説明する必要がない場合、シフト量１６１と称する。なお、個眼切り出し画像１５１₀の領域は、全体画像１３０の中央に位置するので基準とし、シフトさせない（固定である）。

【0174】

例えば、ユーザやアプリケーションは、所望の被写体とカメラ１０との距離に対応するシフト量１６１を設定する。例えば、ユーザやアプリケーションが距離を指定すると、その指定された距離に対応するシフト量１６１が設定されるようにしてもよい。この設定に応じて個眼切り出し領域がシフトされ、表示画像においてその所望の被写体のブレ幅が抑制される（典型的にはブレないようにすることができる）。つまり、カメラ１０は、表示画像において、そのカメラ１０から任意の距離にある被写体のブレ幅を低減させることができる。

【0175】

被写体１４２のブレ幅を低減させるように、個眼切り出し領域をシフトさせた場合の例を、図１３に示す。図１３の例の場合、個眼切り出し画像１５１₀における被写体１４２₀の位置、個眼切り出し画像１５１₁における被写体１４２₁の位置、個眼切り出し画像１５１₂における被写体１４２₂の位置、個眼切り出し画像１５１₃における被写体１４２₃の位置、並びに、個眼切り出し画像１５１₄における被写体１４２₄の位置が互いに同一である。つまり、各個眼切り出し画像１５１における被写体１４２の位置が互いに同一である。

【0176】

したがって、これらの個眼切り出し画像１５１を順次表示させた場合、その表示画像は、図１４のようになる。つまり、カメラ１０は、図１４に示されるように、ユーザに、被写体１４２がブレずに見え、被写体１４１がブレて見えるように、個眼切り出し画像１５１を表示することができる。

【0177】

なお、カメラ１０と被写体との距離の計測方法は、任意である。例えば、ユーザが目視でカメラ１０と被写体との距離を計測し、指定してもよいし、距離計測センサ等によりカメラ１０と被写体との距離を計測するようにしてもよい。

【0178】

なお、このシフト量は固定としてもよい。例えば、シフト量を、個眼光学系３１（レンズ）の光学特性に応じた推奨撮影距離に対応した値等に固定してもよい。その場合、撮影者は、被写体の視差（つまり、表示画像における被写体の動き）が小さくなるように、カメラ１０と被写体との距離を調整することで、推奨撮影距離に合致した距離で撮影を行うことができる。つまり、ユーザは、この表示機能を用いて、被写体との距離を簡易的に計測することができる。

【0179】

＜切り替えの周期＞
なお、以上のように表示させる個眼切り出し画像１５１を動的に切り替える場合に、その表示させる個眼切り出し画像１５１を所定の周期毎に切り替えるようにしてもよい。

【0180】

この切り替えの周期は任意である。例えば、毎フレーム（単数フレーム）であってもよいし、複数フレームであってもよい。

【0181】

また、この切り替えの周期をユーザ（撮影者）が切り替えることができるようにしてもよい。例えば、ユーザがカメラ１０のダイヤル３５やボタン３６等の入力デバイスを操作することにより、その切り替え周期を設定することができるようにしてもよい。例えば、このように入力されたユーザにより切り替え周期の指定を制御部８１が受け付け、その切り替え周期を示す制御情報を表示用画像生成部５５に供給するようにしてもよい。

【0182】

＜個眼切り出し画像の表示順＞
なお、このような個眼切り出し画像１５１を動的に切り替えて表示させる場合の、個眼切り出し画像１５１の選択順（表示順）の例を図１０に示したが、この選択順は任意であり、図１０の例に限定されない。図１０の例のように、カメラ１０が全ての個眼切り出し画像１５１を順次表示するようにしてもよいし、図１５の例のように、カメラ１０が一部の個眼切り出し画像１５１を所定の順に表示するようにしてもよい。

【0183】

図１５の例の場合、表示用画像生成部５５は、個眼切り出し画像１５１₀を抽出せず、表示させない。表示用画像生成部５５は、個眼切り出し画像１５１₃、個眼切り出し画像１５１₂、個眼切り出し画像１５１₁、個眼切り出し画像１５１₄の順に、それらの個眼切り出し画像１５１を取り込み画像（または撮像画像）から抽出し、表示部６１に表示させる。

【0184】

つまり、この場合、表示用画像生成部５５は、複数の個眼切り出し画像１５１の内、それらの相対的な位置関係において外周部に位置する個眼切り出し画像１５１（の一部または全部）を、所定の順に１つずつ抽出し、表示部６１に表示させている。

【0185】

このようにすることにより、表示部６１により表示された表示画像において、被写体１４２が四角形を描くように移動するように見える。したがって、ユーザがこの被写体１４２の動きを追う場合、ユーザの視線の移動方向が上下方向および左右方向に限定され、かつ、その向きも限定される。つまり、ユーザの視線の動きは四角形を描くような動きに単純化される。そのため、ユーザは、被写体１４２の位置がランダムに変化する場合に比べて、より容易に被写体１４２の動きを追うことができる。つまり、被写体１４２の見え方がよりスムーズになる。

【0186】

また、図１５の例の場合、外周部の個眼切り出し画像１５１が表示されるので、この表示により、ブレて見える被写体１４２の位置が変化する範囲の全体が表現することができる。例えば、個眼切り出し画像１５１₀および個眼切り出し画像１５１₃のみを表示させても被写体１４２の位置が変化する範囲の一部しか表現することができない。例えば個眼切り出し画像１５１₁における被写体１４２の位置は表現することができない。そのため、実際の視差がどの程度であるかを把握することが困難になるおそれがある。これに対して図１５の例のように表示を行うことにより、ユーザは視差の大きさをより正確に把握することができる。

【0187】

また、図１０や図１５に示されるような個眼切り出し画像１５１の表示の１周期の間に、１つの個眼切り出し画像１５１を複数回表示してもよい。例えば、図１６や図１７に示されるような順で個眼切り出し画像１５１を抽出し、表示させるようにしてもよい。図１６や図１７の例の場合、個眼切り出し画像１５１の表示の１周期の間に、個眼切り出し画像１５１₀が２回表示される。

【0188】

また、複数の個眼切り出し画像１５１の一部または全部を、その複数の個眼切り出し画像１５１（の各視点）の相対的な位置関係において走査の軌跡が線対称となる順に、１つずつ選択して表示させるようにしてもよい。例えば図１６に示されるように、表示用画像生成部５５が、個眼切り出し画像１５１₀、個眼切り出し画像１５１₃、個眼切り出し画像１５１₂、個眼切り出し画像１５１₀、個眼切り出し画像１５１₁、個眼切り出し画像１５１₄の順に、それらの個眼切り出し画像１５１を取り込み画像（または撮像画像）から抽出し、表示部６１に表示させるようにしてもよい。

【0189】

このようにすることにより、表示画像において被写体１４２の動きが左右方向および上下方向に線対称に見える。したがって、ユーザがこの被写体１４２の動きを追う場合、ユーザの視線の動きも線対称となり、視点移動の連続性が向上する。そのため、ユーザは、被写体１４２の位置がランダムに変化する場合に比べて、より容易に被写体１４２の動きを追うことができる。つまり、被写体１４２の見え方がよりスムーズになる。

【0190】

また、複数の個眼切り出し画像１５１の一部または全部を、その複数の個眼切り出し画像１５１（の各視点）の相対的な位置関係において走査の軌跡が回転対称となる順に、１つずつ選択して表示させるようにしてもよい。例えば図１７に示されるように、表示用画像生成部５５が、個眼切り出し画像１５１₀、個眼切り出し画像１５１₃、個眼切り出し画像１５１₂、個眼切り出し画像１５１₀、個眼切り出し画像１５１₄、個眼切り出し画像１５１₁の順に、それらの個眼切り出し画像１５１を取り込み画像（または撮像画像）から抽出し、表示部６１に表示させるようにしてもよい。

【0191】

このようにすることにより、表示画像において被写体１４２の動きが回転対称（この場合点対称）に見える。したがって、ユーザがこの被写体１４２の動きを追う場合、ユーザの視線の動きも回転対称（点対象）となり視点移動の連続性が向上する。そのため、ユーザは、被写体１４２の位置がランダムに変化する場合に比べて、より容易に被写体１４２の動きを追うことができる。つまり、被写体１４２の見え方がよりスムーズになる。

【0192】

なお、図１６や図１７の例の場合、全ての個眼切り出し画像１５１が表示されるので、ユーザは、例えばいずれか１つの個眼光学系３１の異常（例えばレンズにゴミが付着している等）を確認することができる。

【0193】

また、個眼切り出し画像１５１の選択順（表示順）は、上述した例以外であってもよい。例えば、１周期の開始位置（最初の個眼切り出し画像１５１）が上述した例と異なっていてもよい。つまり、図１０、図１５乃至図１７の各例において、「０」以外の表示シーケンス番号から１周期を開始してもよい。

【0194】

また、上述の各例の選択順（表示順）のパタンを回転させてもよい。例えば、表示用画像生成部５５が、図１０の例のパタンを回転させ、個眼切り出し画像１５１₀、個眼切り出し画像１５１₁、個眼切り出し画像１５１₄、個眼切り出し画像１５１₃、個眼切り出し画像１５１₂の順に、それらの個眼切り出し画像１５１を取り込み画像（または撮像画像）から抽出し、表示部６１に表示させてもよい。また、例えば、表示用画像生成部５５が、図１６の例のパタンを回転させ、個眼切り出し画像１５１₀、個眼切り出し画像１５１₂、個眼切り出し画像１５１₁、個眼切り出し画像１５１₀、個眼切り出し画像１５１₄、個眼切り出し画像１５１₃の順に、それらの個眼切り出し画像１５１を取り込み画像（または撮像画像）から抽出し、表示部６１に表示させてもよい。この場合も、表示画像において被写体１４２の動きは左右方向および上下方向に線対称に見える。さらに、例えば、表示用画像生成部５５が、図１７の例のパタンを回転させ、個眼切り出し画像１５１₀、個眼切り出し画像１５１₂、個眼切り出し画像１５１₁、個眼切り出し画像１５１₀、個眼切り出し画像１５１₃、個眼切り出し画像１５１₄の順に、それらの個眼切り出し画像１５１を取り込み画像（または撮像画像）から抽出し、表示部６１に表示させてもよい。この場合、表示画像において被写体１４２の動きは、回転対称（点対称）に見える。

【0195】

さらに、上述の各例の選択順（表示順）のパタンを上下反転させてもよい。例えば、表示用画像生成部５５が、図１０の例のパタンを上下反転させ、個眼切り出し画像１５１₀、個眼切り出し画像１５１₂、個眼切り出し画像１５１₃、個眼切り出し画像１５１₄、個眼切り出し画像１５１₁の順に、それらの個眼切り出し画像１５１を取り込み画像（または撮像画像）から抽出し、表示部６１に表示させてもよい。また、例えば、表示用画像生成部５５が、図１５の例のパタンを上下反転させ、個眼切り出し画像１５１₂、個眼切り出し画像１５１₃、個眼切り出し画像１５１₄、個眼切り出し画像１５１₁の順に、それらの個眼切り出し画像１５１を取り込み画像（または撮像画像）から抽出し、表示部６１に表示させてもよい。さらに、例えば、表示用画像生成部５５が、図１６の例のパタンを上下反転させ、個眼切り出し画像１５１₀、個眼切り出し画像１５１₂、個眼切り出し画像１５１₃、個眼切り出し画像１５１₀、個眼切り出し画像１５１₄、個眼切り出し画像１５１₁の順に、それらの個眼切り出し画像１５１を取り込み画像（または撮像画像）から抽出し、表示部６１に表示させてもよい。また、例えば、表示用画像生成部５５が、図１７の例のパタンを上下反転させ、個眼切り出し画像１５１₀、個眼切り出し画像１５１₂、個眼切り出し画像１５１₃、個眼切り出し画像１５１₀、個眼切り出し画像１５１₁、個眼切り出し画像１５１₄の順に、それらの個眼切り出し画像１５１を取り込み画像（または撮像画像）から抽出し、表示部６１に表示させてもよい。

【0196】

また、上述の各例の選択順（表示順）のパタンを左右反転させてもよい。例えば、表示用画像生成部５５が、図１０の例のパタンを左右反転させ、個眼切り出し画像１５１₀、個眼切り出し画像１５１₄、個眼切り出し画像１５１₁、個眼切り出し画像１５１₂、個眼切り出し画像１５１₃の順に、それらの個眼切り出し画像１５１を取り込み画像（または撮像画像）から抽出し、表示部６１に表示させてもよい。また、例えば、表示用画像生成部５５が、図１５の例のパタンを左右反転させ、個眼切り出し画像１５１₄、個眼切り出し画像１５１₁、個眼切り出し画像１５１₂、個眼切り出し画像１５１₃の順に、それらの個眼切り出し画像１５１を取り込み画像（または撮像画像）から抽出し、表示部６１に表示させてもよい。さらに、例えば、表示用画像生成部５５が、図１６の例のパタンを左右反転させ、個眼切り出し画像１５１₀、個眼切り出し画像１５１₄、個眼切り出し画像１５１₁、個眼切り出し画像１５１₀、個眼切り出し画像１５１₂、個眼切り出し画像１５１₃の順に、それらの個眼切り出し画像１５１を取り込み画像（または撮像画像）から抽出し、表示部６１に表示させてもよい。また、例えば、表示用画像生成部５５が、図１７の例のパタンを左右反転させ、個眼切り出し画像１５１₀、個眼切り出し画像１５１₄、個眼切り出し画像１５１₁、個眼切り出し画像１５１₀、個眼切り出し画像１５１₃、個眼切り出し画像１５１₂の順に、それらの個眼切り出し画像１５１を取り込み画像（または撮像画像）から抽出し、表示部６１に表示させてもよい。

【0197】

もちろん、反転方向は任意であり、上述の上下方向および左右方向以外の方向（つまり斜め方向）であってもよい。

【0198】

さらに、上述の各例の選択順（表示順）の逆順に選択（表示）させてもよい。例えば、表示用画像生成部５５が、図１０の例のパタンの順序を逆転させ、個眼切り出し画像１５１₄、個眼切り出し画像１５１₁、個眼切り出し画像１５１₂、個眼切り出し画像１５１₃、個眼切り出し画像１５１₀の順に、それらの個眼切り出し画像１５１を取り込み画像（または撮像画像）から抽出し、表示部６１に表示させてもよい。また、例えば、表示用画像生成部５５が、図１５の例のパタンの順序を逆転させ、個眼切り出し画像１５１₄、個眼切り出し画像１５１₁、個眼切り出し画像１５１₂、個眼切り出し画像１５１₃の順に、それらの個眼切り出し画像１５１を取り込み画像（または撮像画像）から抽出し、表示部６１に表示させてもよい。さらに、例えば、表示用画像生成部５５が、図１６の例のパタンの順序を逆転させ、個眼切り出し画像１５１₄、個眼切り出し画像１５１₁、個眼切り出し画像１５１₀、個眼切り出し画像１５１₂、個眼切り出し画像１５１₃、個眼切り出し画像１５１₀の順に、それらの個眼切り出し画像１５１を取り込み画像（または撮像画像）から抽出し、表示部６１に表示させてもよい。また、例えば、表示用画像生成部５５が、図１７の例のパタンの順序を逆転させ、個眼切り出し画像１５１₁、個眼切り出し画像１５１₄、個眼切り出し画像１５１₀、個眼切り出し画像１５１₂、個眼切り出し画像１５１₃、個眼切り出し画像１５１₀の順に、それらの個眼切り出し画像１５１を取り込み画像（または撮像画像）から抽出し、表示部６１に表示させてもよい。

【0199】

また、上述のようなパタンの回転や反転、順序の逆転等の各手法を適宜組み合わせてもよい。

【0200】

なお、以上のような個眼切り出し画像１５１の選択順（表示順）は、ユーザやアプリケーションが指定することができるようにしてもよい。例えば、ユーザがダイヤル３５やボタン３６を操作して、個眼切り出し画像１５１の選択順（表示順）を指定するようにしてもよい。また、例えば、アプリケーションがカメラ１０の動作モード等に応じて、個眼切り出し画像１５１の選択順（表示順）を指定するようにしてもよい。例えば、個眼切り出し画像１５１の選択順（表示順）の候補が予め複数用意され、ユーザやアプリケーションがその中から適用する順を指定するようにしてもよい。また、ユーザやアプリケーションが任意の順の１周期を設定することができるようにしてもよい。

【0201】

＜表示用画像生成部＞
図１８は、表示用画像生成部５５（図３）の主な構成例を示すブロック図である。図１８に示されるように、表示用画像生成部５５は、表示個眼選択部２０１、シフト量決定部２０２、個眼切り出し領域設定部２０３、および切り出し処理部２０４を有する。

【0202】

表示個眼選択部２０１は、個眼画像の選択に関する処理を行う。つまり、表示個眼選択部２０１は、個眼光学系３１の選択に関する処理を行う。つまり、表示個眼選択部２０１は、視点の選択に関する処理を行う。

【0203】

例えば、表示個眼選択部２０１は、領域特定部５６から供給される視点関連情報（VIまたはVI'）を取得することができる。この視点関連情報には、各個眼画像の領域（座標）を示す情報と、各個眼画像の識別情報とが含まれる。この識別情報はどのような情報であってもよいが、例えば、個眼画像を識別するための識別番号（個眼番号とも称する）であってもよい。以下においては、この識別情報として個眼番号が視点関連情報に含まれるものとして説明する。

【0204】

表示個眼選択部２０１は、この視点関連情報に基づいて、全体画像に含まれる個眼画像の数、並びに、各個眼画像の領域および個眼番号を把握することができる。したがって、表示個眼選択部２０１は、その視点関連情報に基づいて、表示用画像として表示させる個眼切り出し画像１５１を抽出する個眼画像を選択することができる。つまり、表示個眼選択部２０１は、この視点関連情報に基づいて、表示用画像が得られる個眼光学系３１を選択することができる。つまり、表示個眼選択部２０１は、この視点関連情報に基づいて、表示用画像の視点を選択することができる。

【0205】

例えば、表示個眼選択部２０１は、この視点関連情報に基づいて、予め定められた所定の順、または、ユーザやアプリケーションにより指定された順に、個眼画像（、個眼光学系３１、または視点）を選択する。例えば、表示個眼選択部２０１は、ユーザやアプリケーション等による指定を示す制御情報を制御部８１から取得することができ、その制御情報に基づいて個眼画像の選択を行うようにしてもよい。例えば、表示個眼選択部２０１は、個眼画像の切り替えのパタン（選択順）や切り替え周期等に関する制御情報を制御部８１から取得し、その制御情報に基づいて個眼画像の選択を行うようにしてもよい。

【0206】

表示個眼選択部２０１は、その選択した個眼画像を示す個眼番号を、シフト量決定部２０２および個眼切り出し領域設定部２０３に供給する。

【0207】

つまり、表示個眼選択部２０１は、光路が互いに独立している複数の個眼光学系を視点とする複数の個眼切り出し画像の内のいずれか１つを選択的、かつ、動的に切り替えながら表示部で表示させる。つまり、表示個眼選択部２０１は、表示用画像の表示制御を行う。

【0208】

シフト量決定部２０２は、個眼切り出し領域のシフト量（方向および大きさ）の決定に関する処理を行う。例えば、シフト量決定部２０２は、表示個眼選択部２０１から供給される個眼番号を取得することができる。この個眼番号は、表示させる個眼画像（すなわち個眼切り出し画像１５１を抽出する個眼画像）を指定する識別情報である。また、シフト量決定部２０２は、領域特定部５６から供給される視点関連情報（VIまたはVI'）を取得することができる。この視点関連情報には、各個眼画像の領域（座標）を示す情報と、各個眼画像の個眼番号とが含まれる。

【0209】

さらに、シフト量決定部２０２は、制御部８１から供給されるシフト量制御情報を取得することができる。このシフト量制御情報は、シフト量の決定のために用いられる情報を含む。例えば、ユーザやアプリケーション等により指定された距離（カメラ１０と被写体との距離）を示す情報が含まれていてもよい。また、例えば、シフト量を可変にするか固定にするか等、ユーザやアプリケーション等により指定された動作モードに関する情報が含まれていてもよい。例えば、制御部８１は、ユーザやアプリケーションからシフト量に関する指定を受け付けると、その情報を含むシフト量制御情報を生成し、シフト量決定部２０２に供給する。

【0210】

シフト量決定部２０２は、供給された視点関連情報に基づいて各個眼画像の配置を把握し、供給された個眼番号に基づいて、そのうちのいずれの個眼画像が選択されたかを把握する。これにより、シフト量決定部２０２は、個眼切り出し領域のシフトの方向を決定することができる。また、シフト量決定部２０２は、シフト量制御情報に基づいて、個眼切り出し領域のシフトの大きさを決定することができる。例えば、シフト量決定部２０２は、シフト量の大きさを、シフト量制御情報において指定された距離に応じた大きさに決定することができる。

【0211】

シフト量決定部２０２は、以上のように個眼切り出し領域のシフトの方向おおよび大きさを決定し、シフト量（ベクトル情報）を生成することができる。シフト量決定部２０２は、そのシフト量を個眼切り出し領域設定部２０３に供給することができる。

【0212】

つまり、シフト量決定部２０２は、個眼切り出し領域の位置のシフト量（方向および大きさ）を制御することができる。

【0213】

個眼切り出し領域設定部２０３は、個眼切り出し領域の設定に関する処理を行う。例えば、個眼切り出し領域設定部２０３は、領域特定部５６から供給される視点関連情報（VIまたはVI'）を取得することができる。この視点関連情報には、各個眼画像の領域（座標）を示す情報と、各個眼画像の個眼番号とが含まれる。

【0214】

また、個眼切り出し領域設定部２０３は、表示個眼選択部２０１から供給される個眼番号を取得することができる。この個眼番号は、表示させる個眼画像（すなわち個眼切り出し画像１５１を抽出する個眼画像）を指定する識別情報である。

【0215】

さらに、個眼切り出し領域設定部２０３は、シフト量決定部２０２から供給されるシフト量（ベクトル情報）を取得することができる。このシフト量は、個眼切り出し領域のシフトの方向および大きさを示す情報である。

【0216】

個眼切り出し領域設定部２０３は、視点関連情報に基づいて、供給された個眼番号に対応する個眼画像の領域（例えば領域の中心座標と範囲（解像度））を特定することができる。そして、個眼切り出し領域設定部２０３は、その個眼画像に対応する画像切り出し領域（例えば領域の中心座標と範囲（解像度））の初期値を設定することができる。さらに、個眼切り出し領域設定部２０３は、シフト量に基づいて、その画像切り出し領域をシフトさせ、画像切り出し領域の位置を更新することができる。

【0217】

個眼切り出し領域設定部２０３は、このように設定した画像切り出し領域を示す座標情報である切り出し座標を切り出し処理部２０４に供給することができる。

【0218】

切り出し処理部２０４は、個眼切り出し画像の抽出に関する処理を行う。例えば、切り出し処理部２０４は、カメラ信号処理部５４から供給される取り込み画像の全体画像を取得することができる。また、切り出し処理部２０４は、個眼切り出し領域設定部２０３から供給される切り出し座標を取得することができる。

【0219】

切り出し処理部２０４は、取得した取り込み画像（全体画像）から、切り出し座標により指定される領域を抽出することができる。切り出し処理部２０４は、その抽出した個眼切り出し画像を表示用画像（スルー画像）として、表示部６１に供給することができる。

【0220】

つまり、切り出し処理部２０４は、表示個眼選択部２０１により選択された個眼画像と同一の個眼光学系を視点とする個眼画像から、個眼切り出し画像を切り出す。

【0221】

なお、切り出し処理部２０４は、視点画像や合成画像から個眼切り出し画像を抽出することもできる。その場合、切り出し処理部２０４は、視点画像や合成画像を取得する。

【0222】

また、表示用画像生成部５５は、撮像画像の確認用画像や、保存済みの撮像画像の表示用画像を生成することもできる。その場合、切り出し処理部２０４は、カメラ信号処理部５４や記憶部６２から撮像画像を取得し、その撮像画像から個眼切り出し画像を抽出することができる。この撮像画像には、撮像画像から生成される全体画像、視点画像、および合成画像を含み得る。

【0223】

以上のような構成を備えることにより、表示用画像生成部５５は、表示させる個眼画像を動的に切り替えることができる。これにより、ユーザはその表示画像を確認することにより、互いに異なる個眼光学系を視点とする複数の画像同士の視差をより容易に把握することができる。

【0224】

なお、切り出し処理部２０４が、RAWフォーマットの画像の個眼切り出し領域を切り出してRAWフォーマットの個眼切り出し画像を生成するようにしてもよい。その場合、そのRAWフォーマットの個眼切り出し画像に対して色分離処理やYC変換が行われ、YCフォーマットの個眼切り出し画像が生成されるようにし、そのYCフォーマットの個眼切り出し画像が表示部６１に供給されるようにすればよい。例えば、切り出し処理部２０４が切り出したRAWフォーマットの個眼切り出し画像をカメラ信号処理部５４に戻し、色分離処理やYC変換を行うようにしてもよい。

【0225】

＜撮像処理の流れ＞
次に、このようなカメラ１０による画像表示に関する処理の流れについて説明する。なお、以下においては、スルー画像の表示を例に説明する。例えば、ユーザ等によりカメラ１０の電源がオンにされたり、カメラ１０の動作モードが撮像を行う撮像モードに切り替えられたりすると、撮像処理が開始される。図１９は、この撮像処理の流れの例を説明するフローチャートである。

【0226】

撮像処理が開始されると、表示用画像生成部５５の表示個眼選択部２０１、シフト量決定部２０２、および個眼切り出し領域設定部２０３は、ステップＳ１０１において、領域特定部５６から供給される視点関連情報を取得し、セットする。

【0227】

ステップＳ１０２において、シフト量決定部２０２は、制御部８１から供給されるシフト量制御情報を取得し、セットする。

【0228】

ステップＳ１０３において、表示用画像生成部５５および表示部６１は、スルー画像表示処理を実行し、スルー画像を生成し、表示する。このスルー画像表示処理の詳細については後述する。

【0229】

ステップＳ１０４において、制御部８１は、撮像の準備を行うか否かを判定する。例えば、ユーザやアプリケーション等により、例えばフォーカス、絞り、撮像モードの制御等、撮像に関する制御が行われると、制御部８１は、その制御に応じた撮像のための準備処理（撮像準備処理とも称する）を行うと判定する。その場合、処理はステップＳ１０５に進む。

【0230】

ステップＳ１０５において、制御部８１は、光学系制御部８４等、各処理部を適宜制御して撮像準備処理を行う。この撮像準備処理は、撮像に関する処理であればどのような処理であってもよい。例えば、フォーカスや絞りの調整、撮像モードの設定、フラッシュ等の設定、画質の設定等の内の少なくとも１つが含まれていてもよいし、これら以外の処理が含まれていてもよい。

【0231】

ステップＳ１０５の処理が終了すると処理はステップＳ１０６に進む。また、ステップＳ１０４において、撮像準備処理を行わないと判定された場合、処理はステップＳ１０６に進む。

【0232】

ステップＳ１０６において、制御部８１は、撮像を行うか否かを判定する。例えば、ユーザにシャッタボタンを押下される等して、撮像を行うと判定された場合、処理はステップＳ１０７に進む。

【0233】

ステップＳ１０７において、イメージセンサ５１、領域抽出部５３、およびカメラ信号処理部５４等は、被写体を撮像して撮像画像を生成し、その撮像画像から全体画像、視点画像、または合成画像を生成する。

【0234】

ステップＳ１０８において、記憶部６２および通信部６４は、ステップＳ１０７において生成された全体画像、視点画像、または合成画像を出力する。例えば、記憶部６２は、その画像（全体画像、視点画像、合成画像）を記憶媒体６３に記憶させる。また、通信部６４は、その画像（全体画像、視点画像、合成画像）をカメラ１０の外部のデバイスに供給する。なお、この画像は、ファイル化部６５がファイル化してから出力されるようにしてもよい。

【0235】

ステップＳ１０８の処理が終了すると、処理はステップＳ１０９に進む。また、ステップＳ１０６において撮像を行わないと判定された場合、処理はステップＳ１０９に進む。

【0236】

ステップＳ１０９において、制御部８１は、撮像処理を終了するか否かを判定する。撮像処理を終了しないと判定された場合、処理はステップＳ１０３に戻り、それ以降の処理が繰り返される。

【0237】

つまり、ステップＳ１０３乃至ステップＳ１０９の各処理が、フレーム毎に実行される。そして、ステップＳ１０９において、撮像処理を終了すると判定された場合、撮像処理が終了する。

【0238】

＜スルー画像表示処理の流れ＞
次に、図２０のフローチャートを参照して、図１９のステップＳ１０３において実行されるスルー画像表示処理の流れの例を説明する。なお、ここでは、取り込み画像の全体画像から個眼切り出し画像を抽出する場合について説明する。

【0239】

スルー画像表示処理が開始されると、表示個眼選択部２０１は、ステップＳ１２１において、表示個眼選択処理を実行し、視点関連情報等に基づいて、表示する個眼画像を選択する。

【0240】

ステップＳ１２２において、シフト量決定部２０２は、視点関連情報およびシフト量制御情報等に基づいて、ステップＳ１２１において選択された個眼画像から抽出する個眼切り出し領域のシフト量（方向および大きさ）を決定する。

【0241】

ステップＳ１２３において、個眼切り出し領域設定部２０３は、視点関連情報や、ステップＳ１２２において設定されたシフト量等に基づいて、ステップＳ１２１において選択された個眼画像から抽出する個眼切り出し領域（切り出し座標）を設定する。

【0242】

ステップＳ１２４において、切り出し処理部２０４は、領域抽出部５３により生成される取り込み画像の全体画像を取得する。

【0243】

ステップＳ１２５において、切り出し処理部２０４は、ステップＳ１２４において取得した全体画像からステップＳ１２３において設定された個眼切り出し領域を切り出し、個眼切り出し画像を生成する。

【0244】

ステップＳ１２６において、表示部６１は、以上のように抽出された個眼切り出し画像をスルー画像として表示する。

【0245】

ステップＳ１２６の処理が終了すると、スルー画像表示処理が終了し、処理は図１９に戻る。

【0246】

＜表示個眼選択処理の流れ＞
次に、図２０のステップＳ１２１において実行される表示個眼選択処理の流れの例を、図２１のフローチャートを参照して説明する。

【0247】

表示個眼選択処理が開始されると、表示個眼選択部２０１は、ステップＳ１４１において、表示済みフレーム数が個眼切り替え周期に達したか否かを判定する。ここで表示済みフレーム数は、同一の個眼切り出し画像を何フレーム表示したかを示す変数である。また、個眼切り替え周期は、同一の個眼切り出し画像を何フレーム表示させるかを指定する設定値である。この個眼切り替え周期は、予め定められている固定値であってもよいし、ユーザやアプリケーション等により設定することができてもよい。

【0248】

表示済みフレーム数が個眼切り替え周期に達したと判定された場合、すなわち、表示する個眼切り出し画像を切り替えるタイミング（フレーム）になったと判定された場合、処理はステップＳ１４２に進む。

【0249】

ステップＳ１４２において、表示個眼選択部２０１は、表示済みフレーム数（変数）を初期値（例えば「１」）に設定する。なお、この初期値は任意であり、例えば「０」等、「１」以外であってもよい。

【0250】

ステップＳ１４３において、表示個眼選択部２０１は、表示シーケンス番号を更新する。表示シーケンス番号は、個眼切り出し画像の切り替えパタンにおける表示順を示す番号（変数）であり、以下の式（１）のように更新される。

【0251】

表示シーケンス番号＝（表示シーケンス番号＋１） mod 表示シーケンス数
・・・（１）

【0252】

ここで、表示シーケンス数は、個眼切り出し画像の切り替えパタンの１周期を構成する個眼切り出し画像の数である。表示シーケンス番号は、その１周期のシーケンスの内の、現在の処理対象となる順番を示す番号である。

【0253】

例えば、図１０の場合、個眼切り出し画像１５１の切り替えパタンの１周期は、５枚の個眼切り出し画像１５１により構成される。したがって、この場合の表示シーケンス数は「５」であり、表示シーケンス番号は「０」乃至「４」のいずれか（つまり５つの値の内のいずれか）となる。図１５の例の場合、個眼切り出し画像１５１の切り替えパタンの１周期は、４枚の個眼切り出し画像１５１により構成される。したがって、この場合の表示シーケンス数は「４」であり、表示シーケンス番号は「０」乃至「３」のいずれか（つまり４つの値の内のいずれか）となる。図１６および図１７の例の場合、個眼切り出し画像１５１の切り替えパタンの１周期は、６枚の個眼切り出し画像１５１により構成される。したがって、この場合の表示シーケンス数は「６」であり、表示シーケンス番号は「０」乃至「５」のいずれか（つまり６つの値の内のいずれか）となる。

【0254】

式（１）において、関数modは、除算の余りを示す。つまり、ステップＳ１４３の処理により表示シーケンス数の値は、１ずつインクリメントされ、表示シーケンス数に達すると「０」に戻される。つまり、例えば図１０の場合、表示シーケンス番号は、「０」→「１」→「２」→「３」→「４」→「０」→・・・のように、「０」乃至「４」の値を繰り返す。

【0255】

ステップＳ１４４において、表示個眼選択部２０１は、ステップＳ１４３の処理により更新された表示シーケンス番号に対応する個眼番号をテーブル情報から取得する。表示個眼選択部２０１は、個眼切り出し画像の切り替えパタンの１周期を示すテーブル情報を有している。このテーブル情報は、どの個眼画像（個眼切り出し画像）をどの順で表示させるかを示す情報であり、各表示シーケンス番号と個眼番号との対応関係を示す。表示個眼選択部２０１は、そのテーブル情報に基づいて、更新後の表示シーケンス番号に対応する個眼番号を特定する。

【0256】

なお、個眼切り出し画像の切り替えパタンが可変である場合、つまり、ユーザやアプリケーション等により適用するパタンを設定することができる場合、表示個眼選択部２０１は、その適用されたパタンに対応するテーブル情報に基づいて個眼番号を特定するようにしてもよい。例えば、表示個眼選択部２０１は、予め複数種類のテーブル情報を候補として有しており、制御部８１からの指示（ユーザやアプリケーション等によるパタンの指定）に対応するテーブル情報をその候補の中から選択するようにしてもよい。

【0257】

また、制御部８１からの情報に基づいて、表示個眼選択部２０１は、適用されたパタンに対応するテーブル情報を生成するようにしてもよい。例えば、表示個眼選択部２０１が、縦方向最大の座標を持つ個眼、横向最大の座標を持つ個眼、縦方向最小の座標を持つ個眼、横向最小の座標を持つ個眼、のような基準で、テーブル情報を生成してもよい。

【0258】

ステップＳ１４５において、表示個眼選択部２０１は、その個眼番号を表示個眼番号とする。表示個眼番号は、表示させる個眼画像を示す個眼番号である。つまり、表示個眼選択部２０１は、この表示個眼番号を、シフト量決定部２０２や個眼切り出し領域設定部２０３に供給する。

【0259】

ステップＳ１４５の処理が終了すると、表示個眼選択処理が終了し、処理は図２０に戻る。

【0260】

また、ステップＳ１４１において、表示済みフレーム数が個眼切り替え周期に達していないと判定された場合、すなわち、表示する個眼切り出し画像を切り替えるタイミング（フレーム）でないと判定された場合、処理はステップＳ１４６に進む。

【0261】

ステップＳ１４６において、表示個眼選択部２０１は、個眼切り出し画像を切り替えずに（更新せずに）、表示済みフレーム数（変数）を「＋１」インクリメントする。

【0262】

ステップＳ１４７において、表示個眼選択部２０１は、前回（１つ前のフレーム）の表示個眼番号を今回の表示個眼番号とする。つまり、表示個眼番号を更新しない。これにより、表示個眼選択部２０１は、１つ前のフレームと同じ表示個眼番号を、シフト量決定部２０２や個眼切り出し領域設定部２０３に供給する。

【0263】

ステップＳ１４７の処理が終了すると、表示個眼選択処理が終了し、処理は図２０に戻る。

【0264】

以上のように各処理を実行することにより、表示用画像生成部５５は、表示させる個眼画像を動的に切り替えることができる。これにより、ユーザはその表示画像を確認することにより、互いに異なる個眼光学系を視点とする複数の画像同士の視差をより容易に把握することができる。

【0265】

なお、撮像画像の確認用画像や、保存済みの撮像画像を表示させる場合は、撮像画像に対して、上述したスルー画像表示処理と同様の処理を行えば良い。

【0266】

＜個眼数＞
なお、多眼光学系３０を構成する個眼光学系３１の数（個眼数）は、複数であればよく、上述の５眼（５つの個眼光学系３１）に限定されない。個眼数は、奇数であってもよいし、偶数であってもよい。また、各個眼光学系３１の配置パタン（相対位置関係）も任意である。

【0267】

＜７眼＞
例えば、個眼数が７眼（７つの個眼光学系３１）であってもよい。その場合のカメラ１０により生成される取り込み画像（または撮像画像）の全体画像の例を図２２に示す。

【0268】

図２２に示されるように、この場合の全体画像１３０には、被写体１４１および被写体１４２が７つずつ含まれる。つまり、この全体画像１３０には、７つの個眼画像が含まれる。つまりこの全体画像１３０の場合、図２２に示される個眼切り出し画像１５１₀乃至個眼切り出し画像１５１₆のように、７種類の個眼切り出し画像１５１を抽出することができる。

【0269】

この場合も、個眼切り出し画像の切り替えパタンは、５眼の場合と同様、任意である。例えば、全個眼光学系３１を１回ずつ選択する切り替えパタンとしてもよい。例えば、個眼切り出し画像１５１₀ → 個眼切り出し画像１５１₁ → 個眼切り出し画像１５１₂ → 個眼切り出し画像１５１₃ → 個眼切り出し画像１５１₄ → 個眼切り出し画像１５１₅ → 個眼切り出し画像１５１₆（ → 個眼切り出し画像１５１₀）の順に切り替えるパタンを１周期としてもよい。

【0270】

また、例えば、これらの個眼切り出し画像１５１の内、それらの相対的な位置関係において外周部に位置する個眼切り出し画像１５１（の一部または全部）を選択する切り替えパタンとしてもよい。例えば、個眼切り出し画像１５１₁ → 個眼切り出し画像１５１₂ → 個眼切り出し画像１５１₃ → 個眼切り出し画像１５１₄ → 個眼切り出し画像１５１₅ → 個眼切り出し画像１５１₆（ → 個眼切り出し画像１５１₁）の順に切り替えるパタンを１周期としてもよい。

【0271】

さらに、例えば、これらの個眼切り出し画像１５１の一部または全部を、それらの相対的な位置関係において走査の軌跡が任意の方向に対して線対称となる順に、１つずつ選択する切り替えパタンとしてもよい。例えば、上下方向に線対称であってもよいし、左右方向に線対称であってもよいし、斜め方向に線対称であってもよい。例えば、個眼切り出し画像１５１₀ → 個眼切り出し画像１５１₁ → 個眼切り出し画像１５１₂ → 個眼切り出し画像１５１₃ → 個眼切り出し画像１５１₀ → 個眼切り出し画像１５１₄ → 個眼切り出し画像１５１₅ → 個眼切り出し画像１５１₆ → （ → 個眼切り出し画像１５１₀）の順に切り替えるパタンを１周期としてもよい。

【0272】

また、例えば、これらの個眼切り出し画像１５１の一部または全部を、それらの相対的な位置関係において走査の軌跡が回転対称（例えば点対称）となる順に、１つずつ選択する切り替えパタンとしてもよい。例えば、個眼切り出し画像１５１₀ → 個眼切り出し画像１５１₁ → 個眼切り出し画像１５１₂ → 個眼切り出し画像１５１₃ → 個眼切り出し画像１５１₀ → 個眼切り出し画像１５１₆ → 個眼切り出し画像１５１₅ → 個眼切り出し画像１５１₄ → （ → 個眼切り出し画像１５１₀）の順に切り替えるパタンを１周期としてもよい。また、例えば、個眼切り出し画像１５１₀ → 個眼切り出し画像１５１₁ → 個眼切り出し画像１５１₂ → 個眼切り出し画像１５１₀ → 個眼切り出し画像１５１₃ → 個眼切り出し画像１５１₄ → 個眼切り出し画像１５１₀ → 個眼切り出し画像１５１₅ → 個眼切り出し画像１５１₆（ → 個眼切り出し画像１５１₀）の順に切り替えるパタンを１周期としてもよい。

【0273】

さらに、例えば、これらの個眼切り出し画像１５１の一部または全部を、上下方向の最大視差を把握することができ、かつ、左右方向の最大視差を把握することができるように選択する最小構成の切り替えパタンとしてもよい。例えば、個眼切り出し画像１５１₁ → 個眼切り出し画像１５１₂ → 個眼切り出し画像１５１₄ → 個眼切り出し画像１５１₅（ → 個眼切り出し画像１５１₁）の順に切り替えるパタンを１周期としてもよい。つまり、複数の個眼切り出し画像のうち、個眼切り出し画像同士の視差が他の画像同士の視差より大きくなる複数の画像を選択し、選択した複数の画像を、１つずつ選択して表示させるようにしてもよい。

【0274】

５眼の場合と同様に、上述の各例の選択順（表示順）のパタンを回転させてもよい。また、上述の各例の選択順（表示順）のパタンを任意の方向（上下方向、左右方向、または斜め方向）に反転させてもよい。さらに、上述の各例の選択順（表示順）の逆順に選択（表示）させてもよい。また、上述のようなパタンの回転や反転、順序の逆転等の各手法を適宜組み合わせてもよい。そして、上述の各例のパタンは、ユーザやアプリケーションが指定することができるようにしてもよい。

【0275】

＜９眼＞
例えば、個眼数が９眼（９つの個眼光学系３１）であってもよい。その場合のカメラ１０により生成される取り込み画像（または撮像画像）の全体画像の例を図２３に示す。

【0276】

図２３に示されるように、この場合の全体画像１３０には、被写体１４１および被写体１４２が９つずつ含まれる。つまり、この全体画像１３０には、９つの個眼画像が含まれる。つまりこの全体画像１３０の場合、図２３に示される個眼切り出し画像１５１₀乃至個眼切り出し画像１５１₈のように、９種類の個眼切り出し画像１５１を抽出することができる。

【0277】

この場合も、個眼切り出し画像の切り替えパタンは、５眼の場合と同様、任意である。例えば、全個眼光学系３１を１回ずつ選択する切り替えパタンとしてもよい。例えば、個眼切り出し画像１５１₀ → 個眼切り出し画像１５１₁ → 個眼切り出し画像１５１₂ → 個眼切り出し画像１５１₃ → 個眼切り出し画像１５１₄ → 個眼切り出し画像１５１₅ → 個眼切り出し画像１５１₆ → 個眼切り出し画像１５１₇ → 個眼切り出し画像１５１₈ （ → 個眼切り出し画像１５１₀）の順に切り替えるパタンを１周期としてもよい。

【0278】

また、例えば、これらの個眼切り出し画像１５１の内、それらの相対的な位置関係において外周部に位置する個眼切り出し画像１５１（の一部または全部）を選択する切り替えパタンとしてもよい。例えば、個眼切り出し画像１５１₁ → 個眼切り出し画像１５１₂ → 個眼切り出し画像１５１₃ → 個眼切り出し画像１５１₄ → 個眼切り出し画像１５１₅ → 個眼切り出し画像１５１₆ → 個眼切り出し画像１５１₇ → 個眼切り出し画像１５１₈（ → 個眼切り出し画像１５１₁）の順に切り替えるパタンを１周期としてもよい。

【0279】

さらに、例えば、これらの個眼切り出し画像１５１の一部または全部を、それらの相対的な位置関係において走査の軌跡が任意の方向に対して線対称となる順に、１つずつ選択する切り替えパタンとしてもよい。例えば、上下方向に線対称であってもよいし、左右方向に線対称であってもよいし、斜め方向に線対称であってもよい。例えば、個眼切り出し画像１５１₀ → 個眼切り出し画像１５１₈ → 個眼切り出し画像１５１₁ → 個眼切り出し画像１５１₂ → 個眼切り出し画像１５１₃ → 個眼切り出し画像１５１₄ → 個眼切り出し画像１５１₀ → 個眼切り出し画像１５１₄ → 個眼切り出し画像１５１₅ → 個眼切り出し画像１５１₆ → 個眼切り出し画像１５１₇ → 個眼切り出し画像１５１₈（ → 個眼切り出し画像１５１₀）の順に切り替えるパタンを１周期としてもよい。

【0280】

また、例えば、これらの個眼切り出し画像１５１の一部または全部を、それらの相対的な位置関係において走査の軌跡が回転対称（例えば点対称）となる順に、１つずつ選択する切り替えパタンとしてもよい。例えば、個眼切り出し画像１５１₀ → 個眼切り出し画像１５１₈ → 個眼切り出し画像１５１₁ → 個眼切り出し画像１５１₂ → 個眼切り出し画像１５１₃ → 個眼切り出し画像１５１₄ → 個眼切り出し画像１５１₀ → 個眼切り出し画像１５１₈ → 個眼切り出し画像１５１₇ → 個眼切り出し画像１５１₆ → 個眼切り出し画像１５１₅ → 個眼切り出し画像１５１₄（ → 個眼切り出し画像１５１₀）の順に切り替えるパタンを１周期としてもよい。また、例えば、個眼切り出し画像１５１₀ → 個眼切り出し画像１５１₁ → 個眼切り出し画像１５１₂ → 個眼切り出し画像１５１₀ → 個眼切り出し画像１５１₃ → 個眼切り出し画像１５１₄ → 個眼切り出し画像１５１₀ → 個眼切り出し画像１５１₅ → 個眼切り出し画像１５１₆ → 個眼切り出し画像１５１₀ → 個眼切り出し画像１５１₇ → 個眼切り出し画像１５１₈（ → 個眼切り出し画像１５１₀）の順に切り替えるパタンを１周期としてもよい。

【0281】

さらに、例えば、これらの個眼切り出し画像１５１の一部または全部を、上下方向の最大視差を把握することができ、かつ、左右方向の最大視差を把握することができるように選択する切り替えパタンとしてもよい。例えば、個眼切り出し画像１５１₁ → 個眼切り出し画像１５１₃ → 個眼切り出し画像１５１₅ → 個眼切り出し画像１５１₇（ → 個眼切り出し画像１５１₁）の順に切り替えるパタンを１周期としてもよい。

【0282】

さらに、例えば、これらの個眼切り出し画像１５１の一部または全部を、上下方向の最大視差を把握することができ、かつ、左右方向の最大視差を把握することができるように選択する横８の字の切り替えパタンとしてもよい。例えば、個眼切り出し画像１５１₁ → 個眼切り出し画像１５１₃ → 個眼切り出し画像１５１₇ → 個眼切り出し画像１５１₅（ → 個眼切り出し画像１５１₁）の順に切り替えるパタンを１周期としてもよい。

【0283】

さらに、例えば、これらの個眼切り出し画像１５１の一部または全部を、上下方向の最大視差を把握することができ、かつ、左右方向の最大視差を把握することができるように選択する最小構成の切り替えパタンとしてもよい。例えば、個眼切り出し画像１５１₁ → 個眼切り出し画像１５１₅（ → 個眼切り出し画像１５１₁）の順に切り替えるパタンを１周期としてもよい。

【0284】

５眼の場合と同様に、上述の各例の選択順（表示順）のパタンを回転させてもよい。また、上述の各例の選択順（表示順）のパタンを任意の方向（上下方向、左右方向、または斜め方向）に反転させてもよい。さらに、上述の各例の選択順（表示順）の逆順に選択（表示）させてもよい。また、上述のようなパタンの回転や反転、順序の逆転等の各手法を適宜組み合わせてもよい。そして、上述の各例のパタンは、ユーザやアプリケーションが指定することができるようにしてもよい。

【0285】

＜２．第２の実施の形態＞
＜カメラシステム＞
第１の実施の形態においては、多眼光学系３０を備えるカメラ１０を例に本技術を説明したが、本技術はその他の構成にも適用することができる。例えば、多眼光学系３０を含む光学系を交換可能としてもよい。つまり、多眼光学系３０は、カメラ１０から着脱可能に構成されるようにしてもよい。

【0286】

＜カメラシステムの外観＞
図２４は、本技術を適用したカメラシステムの一実施の形態の構成例を示す斜視図である。図２４に示されるカメラシステム３０１は、カメラ本体３１０と多眼交換レンズ３２０（レンズ部）とで構成される。多眼交換レンズ３２０がカメラ本体３１０に装着された状態においてカメラシステム３０１は、カメラ１０と同様の構成となり、基本的に同様の処理を行う。つまり、カメラシステム３０１は、カメラ１０と同様の、被写体を撮像して撮像画像の画像データを生成する撮像装置として機能する。

【0287】

カメラ本体３１０は、多眼交換レンズ３２０が着脱可能なようになっている。すなわち、カメラ本体３１０は、カメラマウント３１１を有し、そのカメラマウント３１１に対して、多眼交換レンズ３２０（のレンズマウント３２２）が取り付けられることで、カメラ本体３１０に、多眼交換レンズ３２０が装着される。なお、カメラ本体３１０に対しては、多眼交換レンズ３２０以外の一般的な交換レンズも着脱することができるようにされてもよい。

【0288】

カメラ本体３１０は、イメージセンサ５１を内蔵する。イメージセンサ５１は、カメラ本体３１０（のカメラマウント３１１）に装着された多眼交換レンズ３２０その他の交換レンズによって集光される光線を受光して光電変換を行うことにより被写体を撮像する。

【0289】

多眼交換レンズ３２０は、鏡筒３２１およびレンズマウント３２２を有する。また、多眼交換レンズ３２０は、複数としての５個の個眼光学系３１₀，３１₁，３１₂，３１₃、および、３１₄を有する。

【0290】

カメラ１０の場合と同様に、この場合の複数の個眼光学系３１は、それぞれを通過する光の光路が互いに独立するように構成される。つまり、各個眼光学系３１を通過した光は、他の個眼光学系３１に入射せずにイメージセンサ５１の受光面（例えば有効画素領域）の互いに異なる位置に照射する。少なくとも、各個眼光学系３１の光軸は、イメージセンサ５１の受光面の互いに異なる場所に位置しており、各個眼光学系３１を通過した光の少なくとも一部が、イメージセンサ５１の受光面の互いに異なる位置に照射する。

【0291】

したがって、カメラ１０の場合と同様に、イメージセンサ５１により生成される撮像画像（イメージセンサ５１の出力する画像全体）には、各個眼光学系３１を介して結像された被写体の画像が互いに異なる位置に形成される。換言するに、その撮像画像から、各個眼光学系３１を視点とする撮像画像（視点画像とも称する）が得られる。つまり、多眼交換レンズ３２０をカメラ本体３１０に装着して被写体を撮像することにより、複数の視点画像を得ることができる。

【0292】

鏡筒３２１は、略円筒状をしており、その円筒状の１つの底面側に、レンズマウント３２２が形成されている。レンズマウント３２２は、多眼交換レンズ３２０がカメラ本体３１０に装着されるときに、カメラ本体３１０のカメラマウント３１１に取り付けられる。

【0293】

５個の個眼光学系３１は、鏡筒光軸に直交する（イメージセンサ５１の受光面（撮像面）に平行な）２次元平面上において、個眼光学系３１₀を中心（重心）として、他の４個の個眼光学系３１₁乃至個眼光学系３１₄が、長方形の頂点を構成するように配置される形で、多眼交換レンズ３２０に設けられている。もちろん、図２４に示される配置は一例であり、各個眼光学系３１の位置関係は、光路が互いに独立している限り任意である。

【0294】

＜カメラシステムの電気的構成例＞
図２５は、図２４のカメラシステム３０１の電気的構成例を示すブロック図である。

【0295】

＜カメラ本体＞
カメラシステム３０１において、カメラ本体３１０は、イメージセンサ５１、RAW信号処理部５２、領域抽出部５３、カメラ信号処理部５４、表示用画像生成部５５、領域特定部５６、画像再構成処理部５７、バス６０、表示部６１、記憶部６２、通信部６４、ファイル化部６５、制御部８１、および記憶部８２を有する。つまり、カメラ本体３１０は、カメラ１０の鏡筒２０の部分に設けられる多眼光学系３０および光学系制御部８４以外の構成を有する。

【0296】

なお、カメラ本体３１０は、上述の構成に加え、通信部３４１を有する。この通信部３４１は、カメラ本体３１０に正しく装着された状態の多眼交換レンズ３２０（の通信部３５１）と通信を行い、情報の授受等を行う処理部である。通信部３４１は、任意の通信方式で多眼交換レンズ３２０と通信を行うことができる。その通信は、有線通信であってもよいし、無線通信であってもよい。

【0297】

例えば、通信部３４１は、制御部８１により制御され、その通信を行い、多眼交換レンズ３２０から供給される情報を取得する。また、例えば、通信部３４１は、その通信により、制御部８１から供給される情報を多眼交換レンズ３２０に供給する。この多眼交換レンズ３２０と授受する情報は任意である。例えば、データであってもよいし、コマンドや制御パラメータ等の制御情報であってもよい。

【0298】

＜多眼交換レンズ＞
カメラシステム３０１において、多眼交換レンズ３２０は、多眼光学系３０および光学系制御部８４の他に、通信部３５１および記憶部３５２を有する。通信部３５１は、カメラ本体３１０に正しく装着された状態の多眼交換レンズ３２０において、通信部３４１と通信を行う。この通信により、カメラ本体３１０と多眼交換レンズ３２０との間の情報の授受を実現する。通信部３５１の通信方式は、任意であり、有線通信であってもよいし、無線通信であってもよい。また、この通信により授受される情報は、データであってもよいし、コマンドや制御パラメータ等の制御情報であってもよい。

【0299】

例えば、通信部３５１は、通信部３４１を介してカメラ本体３１０から送信される制御情報を取得する。通信部３５１は、このように取得した情報を、必要に応じて、光学系制御部８４に供給し、多眼光学系３０の制御に利用させることができる。

【0300】

また、通信部３５１は、その取得した情報を記憶部３５２に供給し、記憶媒体３５３に記憶させることができる。また、通信部３５１は、記憶媒体３５３に記憶されている情報を、記憶部３５２を介して読み出し、それをカメラ本体３１０（通信部３４１）に送信することができる。

【0301】

なお、記憶媒体３５３は、ROMであってもよいし、RAMやフラッシュメモリ等のような書き換え可能なメモリであってもよい。書き換え可能なメモリの場合、記憶媒体３５３は、任意の情報を記憶することができる。

【0302】

＜視点関連情報の記憶１＞
このような構成のカメラシステム３０１において、多眼交換レンズ３２０（すなわち、多眼光学系３０）に対応する視点関連情報の記憶場所は任意である。例えば、多眼交換レンズ３２０の記憶媒体３５３に記憶されていてもよい。そして、例えば、カメラ本体３１０の制御部８１が、通信部３５１および通信部３４１を介して記憶部３５２にアクセスし、その記憶媒体３５３からその視点関連情報を読み出させてもよい。そして、その視点関連情報が制御部８１を介して領域特定部５６にセットされ、さらに、表示用画像生成部５５にセットされるようにしてもよい。

【0303】

例えば、多眼交換レンズ３２０をカメラ本体３１０に正しく装着した際、カメラシステム３０１に電源を投入した際、または、カメラシステム３０１の駆動モードが、被写体の撮像を行い得る撮像モードに移行した際等の、撮像より時間的に前の任意のタイミングまたはきっかけにおいて、このような処理が行われてもよい。

【0304】

このようにすることにより、カメラ本体３１０は、多眼交換レンズ３２０（すなわち、多眼光学系３０）に対応する視点関連情報を用いて、視点画像を利用した画像処理を行うことができる。つまり、表示用画像生成部５５は、カメラ本体３１０に装着された多眼交換レンズ３２０に対応し、正しく個眼画像を選択したり、適切に個眼切り出し領域のシフト量をセットしたりすることができる。つまり、このカメラシステム３０１の場合も、カメラ１０の場合と同様に、表示用画像生成部５５は、表示させる個眼画像を動的に切り替えることができる。これにより、カメラ５００は、カメラ１０の場合と同様の表示を行うことができる。したがって、ユーザはその表示画像を確認することにより、互いに異なる個眼光学系を視点とする複数の画像同士の視差をより容易に把握することができる。

【0305】

＜視点関連情報の記憶２＞
また、制御部８１が、多眼交換レンズ３２０から取得したその多眼交換レンズ３２０の視点関連情報を、その多眼交換レンズ３２０の識別情報（以下、IDと称する）とともに記憶部８２に供給し、記憶させてもよい。その場合、記憶部８２は、供給された識別情報と視点関連情報とを対応付けて記憶媒体８３に記憶させる。つまり、カメラ本体３１０において、多眼交換レンズ３２０の視点関連情報とIDとを管理することができる。したがって、カメラ本体３１０は、複数の多眼交換レンズ３２０の視点関連情報を管理することができる。

【0306】

このようにすることにより、制御部８１は、次回からは多眼交換レンズ３２０のIDを取得することにより、記憶部８２（記憶媒体８３）からそのIDに対応する視点関連情報を読み出すことができる。つまり、制御部８１は、多眼交換レンズ３２０に対応する視点関連情報を容易に取得することができる。

【0307】

＜視点関連情報の記憶３＞
また、記憶媒体８３が、予め、複数の多眼交換レンズ３２０の視点関連情報を、その多眼交換レンズ３２０のIDに関連付けて記憶していてもよい。つまり、この場合、カメラ本体３１０が、予め、複数の多眼交換レンズ３２０の視点関連情報を管理している。

【0308】

このようにすることにより、制御部８１は、カメラ本体３１０に正しく装着された多眼交換レンズ３２０のIDを用いて、記憶部８２（記憶媒体８３）からそのIDに対応する視点関連情報を容易に読み出すことができる。

【0309】

＜３．第３の実施の形態＞
＜複数イメージセンサ＞
なお、以上においては、複数の個眼光学系３１を通過した光を１つのイメージセンサ５１が受光し、光電変換を行って撮像画像を生成するように説明したが、これに限らず、各個眼光学系３１を通過した光を互いに異なるイメージセンサが受光するようにしてもよい。その場合の構成例を図２６に示す。

【0310】

図２６において、カメラ５００は、本技術を適用した撮像装置の一実施の形態である。カメラ５００は、基本的に、カメラ１０と同様の装置であり、カメラ１０と同様の構成を有し、同様の処理を行う。ただし、カメラ５００は、カメラ１０の多眼光学系３０およびイメージセンサ５１の代わりに、個眼撮像部５１１₀乃至個眼撮像部５１１₄を有する。個眼撮像部５１１₀は、個眼光学系３１₀およびイメージセンサ５１₀を有する。個眼撮像部５１１₁は、個眼光学系３１₁およびイメージセンサ５１₁を有する。個眼撮像部５１１₂は、個眼光学系３１₂およびイメージセンサ５１₂を有する。個眼撮像部５１１₃は、個眼光学系３１₃およびイメージセンサ５１₃を有する。個眼撮像部５１１₄は、個眼光学系３１₄およびイメージセンサ５１₄を有する。なお、以下において、個眼撮像部５１１₀乃至個眼撮像部５１１₄を互いに区別して説明する必要が無い場合、個眼撮像部５１１と称する。

【0311】

つまり、カメラ５００は、複数の個眼撮像部５１１を有する。各個眼撮像部５１１の個眼光学系３１を通過した光は、その個眼撮像部５１１のイメージセンサ５１に入射し、光電変換され、撮像画像が生成される。つまり、各個眼撮像部５１１において、個眼画像の撮像画像が生成される。各個眼撮像部５１１のイメージセンサ５１において生成された撮像画像（個眼画像）は、それぞれ、図３の場合と同様に、RAW信号処理部５２、領域抽出部５３、領域特定部５６、バス６０等に供給される。

【0312】

また、この場合、光学系制御部８４は、図３の場合と同様に、各個眼撮像部５１１の個眼光学系３１のレンズ群や絞り等を制御する。また、制御部８１は、各個眼撮像部５１１（のイメージセンサ５１）を制御し、被写体を撮像させる。

【0313】

このような構成の場合、カメラ信号処理部５４は、個眼画像を表示用画像生成部５５に供給する。表示用画像生成部５５は、その個眼画像から表示用画像を生成する。この場合も、表示用画像生成部５５は、表示用画像とする個眼画像を動的に切り替える。これにより、カメラ５００は、カメラ１０の場合と同様の表示を行うことができる。したがって、ユーザはその表示画像を確認することにより、互いに異なる個眼光学系を視点とする複数の画像同士の視差をより容易に把握することができる。

【0314】

＜表示用画像生成部＞
図２７は、この場合の表示用画像生成部５５の主な構成例を示すブロック図である。図２７に示されるように、この場合、表示用画像生成部５５は、図１８に示したカメラ１０の場合の構成に加え、画像選択部５２１を有する。

【0315】

画像選択部５２１は、カメラ信号処理部５４から供給される各個眼画像（各個眼撮像部５１１において生成された撮像画像）を取得し、保持する。そして、画像選択部５２１は、表示個眼選択部２０１から供給される個眼番号（表示個眼選択部２０１により選択された個眼画像を示す個眼番号）を取得すると、その個眼番号に対応する個眼画像を切り出し処理部２０４に供給する。

【0316】

なお、この場合、表示個眼選択部２０１は、選択した個眼画像の個眼番号をシフト量決定部２０２、個眼切り出し領域設定部２０３、および画像選択部５２１に供給する。

【0317】

切り出し処理部２０４は、そのお画像選択部５２１から供給される個眼画像を取得すると、その個眼画像から、個眼切り出し領域設定部２０３から供給される切り出し座標により示される個眼切り出し領域を抽出する。なおこの場合、切り出し処理部２０４は、個眼画像における座標と全体画像における座標とをいずれか一方に換算して、適切に画像の抽出を行う。切り出し処理部２０４は、切り出した個眼切り出し画像を表示部６１に供給し、表示させる。

【0318】

＜スルー画像表示処理の流れ＞
この場合のスルー画像表示処理の流れの例を図２８のフローチャートを参照して説明する。スルー画像表示処理が開始されると、ステップＳ５０１乃至ステップＳ５０３の各処理が、図２０のステップＳ１２１乃至ステップＳ１２３の各処理と同様に実行される。

【0319】

ステップＳ５０４において、画像選択部５２１は、ステップＳ５０１の表示個眼選択処理（図２１）により選択された個眼画像を示す個眼番号（表示個眼番号）に対応する個眼画像を選択する。

【0320】

ステップＳ５０５において、切り出し処理部２０４は、ステップＳ５０４において選択された個眼画像から、ステップＳ５０３において設定された個眼切り出し領域を抽出し、個眼切り出し画像を生成する。

【0321】

ステップＳ５０６の処理は、ステップＳ１２６（図２０）の処理と同様に実行される。ステップＳ５０６の処理が終了すると処理は図１９に戻る。

【0322】

このようにすることにより、表示用画像生成部５５は、表示用画像とする個眼画像を動的に切り替えることができる。これにより、表示部６１は、カメラ１０の場合と同様の表示を行うことができる。したがって、ユーザはその表示画像を確認することにより、互いに異なる個眼光学系を視点とする複数の画像同士の視差をより容易に把握することができる。

【0323】

もちろんこの場合も、撮像画像の確認用画像や保存済みの撮像画像の表示においても、上述したスルー画像の表示と同様に、本技術を適用することができる。なお、撮像画像の確認用画像や、保存済みの撮像画像を表示させる場合は、撮像画像に対して、上述したスルー画像表示処理と同様の処理を行えば良い。

【0324】

また、多眼光学系３０の場合と同様に、個眼撮像部５１１の数（個眼数）は任意であり、奇数であってもよいし、偶数であってもよい。

【0325】

＜個眼撮像部の駆動制御＞
またカメラ５００の場合、各個眼撮像部５１１の駆動を個別に制御することができる。そこで、例えばスルー画像の表示において、駆動させる個眼撮像部５１１を制御する（選択する）ことにより、個眼画像の選択を行うようにしてもよい。換言するに、表示用画像として選択しない個眼画像を生成する個眼撮像部５１１の駆動を停止させる（つまり、その個眼画像を生成させない）ようにしてもよい。また、その際、制御部８１による、駆動を停止させる個眼撮像部５１１の絞りやフォーカスの制御を停止してもよい。さらに、制御部８１による、駆動を停止させる個眼撮像部５１１により得られる撮像画像に対するホワイトバランスゲインの制御を停止してもよい。このようにすることにより、駆動する個眼撮像部５１１の数を低減させることができ、消費電力の増大を抑制することができる。

【0326】

＜表示用画像生成部＞
図２９は、この場合の表示用画像生成部５５の主な構成例を示すブロック図である。図２９に示されるように、この場合、表示用画像生成部５５は、図１８に示したカメラ１０の場合と同様の構成を有する。

【0327】

ただし、この場合の表示個眼選択部２０１は、選択した個眼画像の個眼番号を、電力制御情報として制御部８１に供給する。制御部８１は、その電力制御情報に基づいて光学系制御部８４を制御し、表示個眼選択部２０１により選択されていない個眼画像に対応する個眼撮像部５１１の駆動を停止させる。

【0328】

光学系制御部８４は、その制御部８１の制御に従って、表示個眼選択部２０１により選択されていない個眼画像に対応する個眼撮像部５１１の駆動を停止させる。これにより、表示個眼選択部２０１により選択された個眼画像を生成する個眼撮像部５１１のみが駆動し、その表示個眼選択部２０１により選択された個眼画像のみが生成される。つまり、表示用画像生成部５５には、その表示個眼選択部２０１により選択された個眼画像が供給される。

【0329】

切り出し処理部２０４は、その供給された個眼画像（表示個眼選択部２０１により選択された個眼画像）から個眼切り出し領域を抽出し、個眼切り出し画像を生成し、それを表示部６１に供給し、表示させる。

【0330】

＜スルー画像表示処理の流れ＞
この場合のスルー画像表示処理の流れの例を図３０のフローチャートを参照して説明する。スルー画像表示処理が開始されると、ステップＳ５２１乃至ステップＳ５２３の各処理が、図２８のステップＳ５０１乃至ステップＳ５０３の各処理と同様に実行される。

【0331】

ステップＳ５２４において、表示個眼選択部２０１は、ステップＳ５０１の表示個眼選択処理（図２１）により選択された個眼画像を示す個眼番号（表示個眼番号）に対応する個眼撮像部５１１を駆動させる。切り出し処理部２０４は、このようにして供給される、ステップＳ５０１の表示個眼選択処理（図２１）により選択された個眼画像を取得する。

【0332】

ステップＳ５２５およびステップＳ５２６の各処理は、図２８のステップＳ５０５およびステップＳ５０６の各処理と同様に実行される。ステップＳ５２６の処理が終了すると処理は図１９に戻る。

【0333】

このようにすることにより、表示用画像生成部５５は、表示用画像とする個眼画像を動的に切り替えることができる。これにより、表示部６１は、カメラ１０の場合と同様の表示を行うことができる。したがって、ユーザはその表示画像を確認することにより、互いに異なる個眼光学系を視点とする複数の画像同士の視差をより容易に把握することができる。

【0334】

＜４．付記＞
＜コンピュータ＞
上述した一連の処理は、ハードウエアにより実行させることもできるし、ソフトウエアにより実行させることもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここでコンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータ等が含まれる。

【0335】

図３１は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。

【0336】

図３１に示されるコンピュータ９００において、CPU（Central Processing Unit）９０１、ROM（Read Only Memory）９０２、RAM（Random Access Memory）９０３は、バス９０４を介して相互に接続されている。

【0337】

バス９０４にはまた、入出力インタフェース９１０も接続されている。入出力インタフェース９１０には、入力部９１１、出力部９１２、記憶部９１３、通信部９１４、およびドライブ９１５が接続されている。

【0338】

入力部９１１は、例えば、キーボード、マウス、マイクロホン、タッチパネル、入力端子などよりなる。出力部９１２は、例えば、ディスプレイ、スピーカ、出力端子などよりなる。記憶部９１３は、例えば、ハードディスク、RAMディスク、不揮発性のメモリなどよりなる。通信部９１４は、例えば、ネットワークインタフェースよりなる。ドライブ９１５は、磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリなどのリムーバブルメディア９２１を駆動する。

【0339】

以上のように構成されるコンピュータでは、CPU９０１が、例えば、記憶部９１３に記憶されているプログラムを、入出力インタフェース９１０およびバス９０４を介して、RAM９０３にロードして実行することにより、上述した一連の処理が行われる。RAM９０３にはまた、CPU９０１が各種の処理を実行する上において必要なデータなども適宜記憶される。

【0340】

コンピュータが実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア９２１に記録して適用することができる。その場合、プログラムは、リムーバブルメディア９２１をドライブ９１５に装着することにより、入出力インタフェース９１０を介して、記憶部９１３にインストールすることができる。

【0341】

また、このプログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することもできる。その場合、プログラムは、通信部９１４で受信し、記憶部９１３にインストールすることができる。

【0342】

その他、このプログラムは、ROM９０２や記憶部９１３に、あらかじめインストールしておくこともできる。

【0343】

＜本技術の適用対象＞
本技術は、任意の構成に適用することができる。例えば、本技術は、システムLSI（Large Scale Integration）等としてのプロセッサ、複数のプロセッサ等を用いるモジュール、複数のモジュール等を用いるユニット、または、ユニットにさらにその他の機能を付加したセット等、装置の一部の構成として実施することもできる。

【0344】

また、例えば、本技術は、複数の装置により構成されるネットワークシステムにも適用することもできる。例えば、本技術を、ネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングとして実施するようにしてもよい。例えば、コンピュータ、携帯型情報処理端末、IoT（Internet of Things）デバイス等の任意の端末に対してサービスを提供するクラウドサービスにおいて本技術を実施するようにしてもよい。

【0345】

なお、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、全ての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、および、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。

【0346】

＜本技術を適用可能な分野・用途＞
本技術を適用したシステム、装置、処理部等は、例えば、交通、医療、防犯、農業、畜産業、鉱業、美容、工場、家電、気象、自然監視等、任意の分野に利用することができる。また、その用途も任意である。

【0347】

＜その他＞
本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。

【0348】

例えば、１つの装置（または処理部）として説明した構成を分割し、複数の装置（または処理部）として構成するようにしてもよい。逆に、以上において複数の装置（または処理部）として説明した構成をまとめて１つの装置（または処理部）として構成されるようにしてもよい。また、各装置（または各処理部）の構成に上述した以外の構成を付加するようにしてももちろんよい。さらに、システム全体としての構成や動作が実質的に同じであれば、ある装置（または処理部）の構成の一部を他の装置（または他の処理部）の構成に含めるようにしてもよい。

【0349】

また、例えば、上述したプログラムは、任意の装置において実行されるようにしてもよい。その場合、その装置が、必要な機能（機能ブロック等）を有し、必要な情報を得ることができるようにすればよい。

【0350】

また、例えば、１つのフローチャートの各ステップを、１つの装置が実行するようにしてもよいし、複数の装置が分担して実行するようにしてもよい。さらに、１つのステップに複数の処理が含まれる場合、その複数の処理を、１つの装置が実行するようにしてもよいし、複数の装置が分担して実行するようにしてもよい。換言するに、１つのステップに含まれる複数の処理を、複数のステップの処理として実行することもできる。逆に、複数のステップとして説明した処理を１つのステップとしてまとめて実行することもできる。

【0351】

また、例えば、コンピュータが実行するプログラムは、プログラムを記述するステップの処理が、本明細書で説明する順序に沿って時系列に実行されるようにしても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで個別に実行されるようにしても良い。つまり、矛盾が生じない限り、各ステップの処理が上述した順序と異なる順序で実行されるようにしてもよい。さらに、このプログラムを記述するステップの処理が、他のプログラムの処理と並列に実行されるようにしても良いし、他のプログラムの処理と組み合わせて実行されるようにしても良い。

【0352】

また、例えば、本技術に関する複数の技術は、矛盾が生じない限り、それぞれ独立に単体で実施することができる。もちろん、任意の複数の本技術を併用して実施することもできる。例えば、いずれかの実施の形態において説明した本技術の一部または全部を、他の実施の形態において説明した本技術の一部または全部と組み合わせて実施することもできる。また、上述した任意の本技術の一部または全部を、上述していない他の技術と併用して実施することもできる。

【0353】

なお、本技術は以下のような構成も取ることができる。
（１） 光路が互いに独立している複数の個眼光学系を視点とする複数の画像の内のいずれか１つを選択的、かつ、動的に切り替えながら表示部で表示させる表示制御部
を備える撮像装置。
（２） 前記表示制御部は、前記複数の画像の一部または全部を、所定の順に１つずつ選択して表示させる
（１）に記載の撮像装置。
（３） 前記表示制御部は、前記複数の画像の一部または全部を、前記複数の画像の視点の相対的な位置関係において走査の軌跡が線対称となる順に、１つずつ選択して表示させる
（２）に記載の撮像装置。
（４） 前記表示制御部は、前記複数の画像の一部または全部を、前記複数の画像の視点の相対的な位置関係において走査の軌跡が回転対称となる順に、１つずつ選択して表示させる
（２）または（３）に記載の撮像装置。
（５） 前記表示制御部は、前記複数の画像のうち、前記画像同士の視差が他の画像同士の視差より大きくなる複数の画像を選択し、選択した複数の画像を、１つずつ選択して表示させる
（２）乃至（４）のいずれかに記載の撮像装置。
（６） 前記表示制御部は、前記複数の画像の視点の相対的な位置関係において外周部に位置する前記画像の一部または全部を、前記所定の順に１つずつ選択して表示させる
（２）乃至（５）のいずれかに記載の撮像装置。
（７） 前記画像の選択順を指定する選択順指定部をさらに備え、
前記表示制御部は、前記複数の画像の一部または全部を、前記選択順指定部により指定された選択順に、１つずつ選択して表示させる
（１）乃至（６）のいずれかに記載の撮像装置。
（８） 前記表示制御部は、選択する前記画像を所定の周期毎に切り替える
（１）乃至（７）のいずれかに記載の撮像装置。
（９） 前記周期は、単数フレームまたは複数フレームである
（８）に記載の撮像装置。
（１０） 前記周期を指定する周期指定部をさらに備え、
前記表示制御部は、選択する前記画像を、前記周期指定部により指定された前記周期毎に切り替える
（８）または（９）に記載の撮像装置。
（１１） 前記表示制御部により選択された前記画像と同一の前記個眼光学系を視点とする個眼画像から、前記画像を切り出す切り出し部をさらに備える
（１）乃至（１０）のいずれかに記載の撮像装置。
（１２） 前記個眼画像から切り出す領域を設定する領域設定部をさらに備え、
前記切り出し部は、前記個眼画像の、前記領域設定部により設定された前記領域を前記画像として切り出す
（１１）に記載の撮像装置。
（１３） 前記領域の位置のシフト量を制御するシフト量制御部をさらに備え、
前記領域設定部は、前記シフト量制御部により制御された前記シフト量を用いて、前記領域を設定する
（１２）に記載の撮像装置。
（１４） 前記複数の個眼光学系のそれぞれの光軸が互いに異なる位置に対応する撮像部をさらに備え、
前記表示制御部は、前記撮像部により生成される画像に含まれる、前記複数の個眼光学系のそれぞれを視点とする前記複数の画像の内のいずれか１つを、表示させる前記画像を動的に切り替えるように、選択して表示させる
（１）乃至（１３）のいずれかに記載の撮像装置。
（１５） 前記表示制御部は、前記撮像部により生成される取り込み画像の各フレームにおいて、前記複数の画像の内のいずれか１つを選択して表示させる
（１４）に記載の撮像装置。
（１６） 前記表示制御部は、前記撮像部により生成される撮像画像に含まれる前記複数の画像の一部または全部を、１つずつ選択し、動的に切り替えるように表示させる
（１４）または（１５）に記載の撮像装置。
（１７） 前記複数の個眼光学系のそれぞれの光軸に対応する複数の撮像部をさらに備え、
前記表示制御部は、前記複数の撮像部により生成される前記複数の個眼光学系のそれぞれを視点とする前記複数の画像の内のいずれか１つを、表示させる前記画像を動的に切り替えるように、選択して表示させる
（１）乃至（１６）のいずれかに記載の撮像装置。
（１８） 前記表示制御部は、前記複数の個眼光学系の内、選択した画像に対応する前記個眼光学系のみを駆動させる
（１７）に記載の撮像装置。
（１９） 光路が互いに独立している複数の個眼光学系を視点とする複数の画像の内のいずれか１つを選択的、かつ、動的に切り替えながら表示部で表示させる
情報処理方法。
（２０） コンピュータを、
光路が互いに独立している複数の個眼光学系を視点とする複数の画像の内のいずれか１つを選択的、かつ、動的に切り替えながら表示部で表示させる表示制御部
として機能させるプログラム。

【符号の説明】

【0354】

１０ カメラ， ３０ 多眼光学系， ３１ 個眼光学系， ３３ 表示パネル部， ３４ ビューファインダー部， ３５ ダイヤル， ３６ ボタン， ５１ イメージセンサ， ５２ RAW信号処理部， ５３ 領域抽出部， ５４ カメラ信号処理部， ５５ 表示用画像生成部， ５６ 領域特定部， ５７ 画像再構成処理部， ６０ バス， ６１ 表示部， ６２ 記憶部， ６３ 記憶媒体， ６４ 通信部， ６５ ファイル化部， ７０ 関連付け部， ８１ 制御部， ８２ 記憶部， ８３ 記憶媒体， ８４ 光学系制御部， １４１および１４２ 被写体， １５１ 個眼切り出し画像， ２０１ 表示個眼選択部， ２０２シフト量決定部， ２０３ 個眼切り出し領域設定部， ２０４ 切り出し処理部， ３０１ カメラシステム， ３１０ カメラ本体， ３２０ 多眼交換レンズ， ３４１ 通信部， ３５１ 通信部， ３５２ 記憶部， ３５３ 記憶媒体， ５００ カメラ， ５２１ 画像選択部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】

【図22】

【図23】

【図24】

【図25】

【図26】

【図27】

【図28】

【図29】

【図30】

【図31】