(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2022189536
(43)【公開日】2022-12-22
(54)【発明の名称】撮像装置および方法
(51)【国際特許分類】
G02B 7/28 20210101AFI20221215BHJP
G02B 7/34 20210101ALI20221215BHJP
G03B 35/10 20210101ALI20221215BHJP
G03B 17/14 20210101ALI20221215BHJP
H04N 5/232 20060101ALI20221215BHJP
H04N 5/225 20060101ALI20221215BHJP
G03B 15/00 20210101ALN20221215BHJP
G03B 13/36 20210101ALN20221215BHJP
G03B 37/00 20210101ALN20221215BHJP
【ＦＩ】
G02B7/28 N
G02B7/34
G03B35/10
G03B17/14
H04N5/232 120
H04N5/225 800
H04N5/225 300
G03B15/00 W
G03B13/36
G03B37/00 Z
【審査請求】未請求
【請求項の数】14
【出願形態】ＯＬ
(21)【出願番号】P 2021098165
(22)【出願日】2021-06-11
(71)【出願人】
【識別番号】000001007
【氏名又は名称】キヤノン株式会社
(74)【代理人】
【識別番号】110003281
【氏名又は名称】弁理士法人大塚国際特許事務所
(72)【発明者】
【氏名】水野 信貴
(72)【発明者】
【氏名】今宮 淳一
(72)【発明者】
【氏名】高尾 友美
【テーマコード（参考）】
2H011
2H059
2H101
2H151
5C122
【Ｆターム（参考）】
2H011AA01
2H011BA23
2H011BB04
2H011DA00
2H059AA08
2H059BA02
2H101EE08
2H151AA06
2H151BA06
2H151CB09
2H151CB26
2H151CD08
2H151CD09
2H151CE24
2H151CE33
2H151DB01
2H151EB12
2H151EC05
2H151FA68
2H151GA13
2H151GA14
2H151GA15
2H151GA17
2H151GB11
5C122FA04
5C122FA18
5C122FB05
5C122FC06
5C122FD01
5C122FD07
5C122FH06
5C122FH23
5C122FK09
5C122FK33
5C122FK37
5C122FK41
5C122HA13
5C122HA35
5C122HA88
5C122HB01
5C122HB05
5C122HB06
5C122HB10
(57)【要約】 （修正有）
【課題】複数の光軸を有するレンズユニットが装着された場合でも精度のよい撮像面位相差検出方式の焦点検出が可能な撮像装置を提供すること。
【解決手段】位相差検出方式の焦点検出に用いる信号対を生成可能な撮像素子と、信号対を用いて得られるデフォーカス量に基づいて、装着されているレンズユニットの合焦距離を算出する算出手段と、合焦距離に基づいてレンズユニットの合焦距離を調整する調整手段と、を有し、レンズユニットが光軸の異なる複数の結像光学系を有する多眼レンズユニットである場合、算出手段は、多眼レンズユニットの光軸が通る撮像素子上の位置である光軸位置に基づいて得られる調整値を用いて、合焦距離を算出する。
【選択図】図１１
【解決手段】位相差検出方式の焦点検出に用いる信号対を生成可能な撮像素子と、信号対を用いて得られるデフォーカス量に基づいて、装着されているレンズユニットの合焦距離を算出する算出手段と、合焦距離に基づいてレンズユニットの合焦距離を調整する調整手段と、を有し、レンズユニットが光軸の異なる複数の結像光学系を有する多眼レンズユニットである場合、算出手段は、多眼レンズユニットの光軸が通る撮像素子上の位置である光軸位置に基づいて得られる調整値を用いて、合焦距離を算出する。
【選択図】図１１
【特許請求の範囲】
【請求項1】
位相差検出方式の焦点検出に用いる信号対を生成可能な撮像素子と、
前記信号対を用いて得られるデフォーカス量に基づいて、装着されているレンズユニットの合焦距離を算出する算出手段と、
前記合焦距離に基づいて前記レンズユニットの合焦距離を調整する調整手段と、を有し、
前記レンズユニットが光軸の異なる複数の結像光学系を有する多眼レンズユニットである場合、前記算出手段は、前記多眼レンズユニットの光軸が通る前記撮像素子上の位置である光軸位置に基づいて得られる調整値を用いて、前記合焦距離を算出する、
ことを特徴とする撮像装置。
前記信号対を用いて得られるデフォーカス量に基づいて、装着されているレンズユニットの合焦距離を算出する算出手段と、
前記合焦距離に基づいて前記レンズユニットの合焦距離を調整する調整手段と、を有し、
前記レンズユニットが光軸の異なる複数の結像光学系を有する多眼レンズユニットである場合、前記算出手段は、前記多眼レンズユニットの光軸が通る前記撮像素子上の位置である光軸位置に基づいて得られる調整値を用いて、前記合焦距離を算出する、
ことを特徴とする撮像装置。
【請求項2】
前記調整値が、前記信号対の強度をそろえるために用いられるシェーディング補正値であることを特徴とする請求項１に記載の撮像装置。
【請求項3】
前記調整値が、前記信号対のずれ量をデフォーカス量に変換する変換係数であることを特徴とする請求項１または２に記載の撮像装置。
【請求項4】
前記変換係数が、前記複数の結像光学系の光軸のうち、焦点検出領域に最も近い光軸の位置に基づくことを特徴とする請求項３に記載の撮像装置。
【請求項5】
前記調整値が、前記デフォーカス量に基づく合焦距離を補正するための補正値であることを特徴とする請求項１から４のいずれか１項に記載の撮像装置。
【請求項6】
前記レンズユニットが１つの光軸を有する場合、前記算出手段は、前記光軸が前記撮像素子の中心を通るものとして得られる前記調整値を用いて、前記合焦距離を算出する、ことを特徴とする請求項１から５のいずれか１項に記載の撮像装置。
【請求項7】
前記レンズユニットが前記多眼レンズユニットか否かを判定する判定手段をさらに有することを特徴とする請求項１から６のいずれか１項に記載の撮像装置。
【請求項8】
前記多眼レンズユニットから、前記光軸位置を取得する取得手段をさらに有することを特徴とする請求項１から７のいずれか１項に記載の撮像装置。
【請求項9】
前記多眼レンズユニットの光軸位置を記憶する記憶手段をさらに有することを特徴とする請求項１から７のいずれか１項に記載の撮像装置。
【請求項10】
前記多眼レンズユニットは、１つの鏡筒内に前記複数の結像光学系が設けられたレンズユニットであることを特徴とする請求項１から８のいずれか１項に記載の撮像装置。
【請求項11】
前記撮像素子が有する複数の画素の少なくとも一部が、画素に設けられたマイクロレンズを共有する複数のフォトダイオードを有し、前記信号対が、前記複数のフォトダイオードを有する画素の信号から生成されることを特徴とする請求項１から１０のいずれか１項に記載の撮像装置。
【請求項12】
前記撮像素子が複数の画素を有し、前記複数の画素の少なくとも一部が、前記信号対を生成するための専用の画素であることを特徴とする請求項１から１０のいずれか１項に記載の撮像装置。
【請求項13】
位相差検出方式の焦点検出に用いる信号対を生成可能な撮像素子を有する撮像装置が実行する方法であって、
前記信号対を用いて得られるデフォーカス量に基づいて、装着されているレンズユニットの合焦距離を算出する算出工程と、
前記合焦距離に基づいて前記レンズユニットの合焦距離を調整する調整工程と、を有し、
前記レンズユニットが光軸の異なる複数の結像光学系を有する多眼レンズユニットである場合、前記算出工程は、前記多眼レンズユニットの光軸が通る前記撮像素子上の位置である光軸位置に基づいて得られる調整値を用いて、前記合焦距離を算出する、
ことを特徴とする方法。
前記信号対を用いて得られるデフォーカス量に基づいて、装着されているレンズユニットの合焦距離を算出する算出工程と、
前記合焦距離に基づいて前記レンズユニットの合焦距離を調整する調整工程と、を有し、
前記レンズユニットが光軸の異なる複数の結像光学系を有する多眼レンズユニットである場合、前記算出工程は、前記多眼レンズユニットの光軸が通る前記撮像素子上の位置である光軸位置に基づいて得られる調整値を用いて、前記合焦距離を算出する、
ことを特徴とする方法。
【請求項14】
位相差検出方式の焦点検出に用いる信号対を生成可能な撮像素子を有する撮像装置が有するコンピュータを、請求項１から８のいずれか１項に記載の撮像装置が有する各手段として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は撮像装置および方法に関し、特には複数の光軸を有するレンズユニットを使用可能な撮像装置および方法に関する。
【背景技術】
【0002】
従来、複数の結像光学系を備え、１つの撮像素子でステレオ画像を撮影可能な立体カメラが知られている（特許文献１）。一方、近年では、ＶＲゴーグルの低価格化などにより、より手軽な立体像の撮影手法が求められている。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開２０１１－２０５５５８号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
例えば、１つの鏡筒に２つの結像光学系を組み込み、交換可能なレンズユニットとして用意することにより、一般的なレンズ交換式の撮像装置で立体像を撮影することが考えられる。
【0005】
しかし、現在、主にミラーレスカメラで用いられている撮像面位相差検出方式の焦点検出は、レンズユニットの光軸が１つであることを前提としている。そのため、１つの鏡筒に２つの結像光学系が組み込まれたレンズユニットのように、複数の光軸を有するレンズユニットが装着された場合、焦点検出の精度が低下しうる。
【0006】
本発明は、複数の光軸を有するレンズユニットが装着された場合でも精度のよい撮像面位相差検出方式の焦点検出が可能な撮像装置および方法を提供することをその目的の１つとする。
【課題を解決するための手段】
【0007】
上述の目的は、位相差検出方式の焦点検出に用いる信号対を生成可能な撮像素子と、信号対を用いて得られるデフォーカス量に基づいて、装着されているレンズユニットの合焦距離を算出する算出手段と、合焦距離に基づいてレンズユニットの合焦距離を調整する調整手段と、を有し、レンズユニットが光軸の異なる複数の結像光学系を有する多眼レンズユニットである場合、算出手段は、多眼レンズユニットの光軸が通る撮像素子上の位置である光軸位置に基づいて得られる調整値を用いて、合焦距離を算出する、ことを特徴とする撮像装置によって達成される。
【発明の効果】
【0008】
本発明によれば、複数の光軸を有するレンズユニットが装着された場合でも精度のよい撮像面位相差検出方式の焦点検出が可能な撮像装置および方法を提供することができる。
【図面の簡単な説明】
【0009】
【図1】実施形態に係る撮像装置の一例であるカメラ１００の外観例を示す斜視図
【図2】カメラシステムの機能構成例を示すブロック図
【図3】カメラシステムの別の機能構成例を示すブロック図
【図4】カメラ１００の撮像素子の画素配列の一例を示す図
【図5】一対の焦点検出信号によるデフォーカス量と像ずれ量の概略関係図
【図6】第１実施形態における焦点検出処理に関するフローチャート
【図7】撮像素子と複数の光軸を有する光学系の概略断面図
【図8】複数の光軸を有する光学系を装着した際の焦点検出用信号の光量変化の例を示す図
【図9】第２実施形態におけるライブビュー画像の表示例を示す図
【図10】フォーカスガイドの表示形態の一例を示す図
【図11】フォーカスガイド表示処理に関するフローチャート
【図12】第２実施形態におけるライブビュー表示動作に関するフローチャート
【図13】第３実施形態における左右像の合焦度合いの差を提示する指標の表示形態例を示す図
【図14】第３実施形態における指標の表示制御処理に関するフローチャート
【図15】第３実施形態におけるライブビュー表示動作に関するフローチャート
【図16】第３実施形態におけるライブビュー画像の表示例を示す図
【図17】第４実施形態における左右像の合焦度合いの差を提示する指標の表示形態例を示す図
【図18】第４実施形態におけるライブビュー画像の表示例を示す図
【図19】第５実施形態におけるずれ調整処理に関するフローチャート
【図20】第６実施形態に対応する第４実施形態の指標の表示形態例を示す図
【図21】第６実施形態におけるキャリブレーションガイドの表示形態例を示す図
【図22】第６実施形態におけるキャリブレーション方法を説明するための図
【図23】第７実施形態で用いるＸＲゴーグルに関する図
【図24】第７実施形態における記録画像の一例を示す図
【図25】第７実施形態における記録画像の合焦被写体変更操作の例を示す図
【図26】第７実施形態を実施可能なコンピュータの構成例を示すブロック図
【図27】第７実施形態におけるキャリブレーション方法を説明する図
【発明を実施するための形態】
【0010】
以下、添付図面を参照して本発明をその例示的な実施形態に基づいて詳細に説明する。なお、以下の実施形態は特許請求の範囲に係る発明を限定しない。また、実施形態には複数の特徴が記載されているが、その全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。
【0011】
なお、以下の実施形態では、本発明をレンズ交換式デジタルカメラで実施する場合に関して説明する。しかし、本発明は撮像面位相差検出方式の焦点検出機能を備えたカメラを有しうる任意の電子機器でも実施可能である。このような電子機器には、以下のものが含まれる。撮像装置全般（ビデオカメラ、監視カメラなど）、コンピュータ機器（パーソナルコンピュータ、タブレット、メディアプレーヤ、ＰＤＡなど）、通信機器（携帯電話機、スマートフォン、ＩｏＴ機器など）、ゲーム機、ロボット、ドローン、ドライブレコーダ。これらは例示であり、本発明は他の電子機器でも実施可能である。
【0012】
●（第１実施形態）
［全体構成］
図１は、本発明の第１実施形態に係る撮像装置の一例としてのレンズ交換式ミラーレスデジタルカメラの本体１００（以下、カメラ１００という）の外観例を示す斜視図である。図１（ａ）はカメラ１００を正面斜め上方向から、図１（ｂ）はカメラ１００を背面斜め上方向から見た斜視図である。
［全体構成］
図１は、本発明の第１実施形態に係る撮像装置の一例としてのレンズ交換式ミラーレスデジタルカメラの本体１００（以下、カメラ１００という）の外観例を示す斜視図である。図１（ａ）はカメラ１００を正面斜め上方向から、図１（ｂ）はカメラ１００を背面斜め上方向から見た斜視図である。
【0013】
カメラ１００は、上面に、シャッターボタン１０１、電源スイッチ１０２、モード切替スイッチ１０３、メイン電子ダイヤル１０４、サブ電子ダイヤル１０５、動画ボタン１０６、ファインダ外表示部１０７を有する。シャッターボタン１０１は、撮影準備あるいは撮影指示を行うための操作部である。電源スイッチ１０２は、カメラ１００の電源のオンとオフとを切り替える操作部である。モード切替スイッチ１０３は、各種モードを切り替えるための操作部である。メイン電子ダイヤル１０４は、シャッター速度や絞り等の設定値を変更するための回転式の操作部である。サブ電子ダイヤル１０５は、選択枠（カーソル）の移動や画像送り等を行うための回転式の操作部である。動画ボタン１０６は、動画撮影（記録）の開始や停止の指示を行うための操作部である。ファインダ外表示部１０７は、シャッター速度や絞り等の様々な設定値を表示する。
【0014】
カメラ１００は、背面に、表示部１０８、タッチパネル１０９、方向キー１１０、ＳＥＴボタン１１１、ＡＥロックボタン１１２、拡大ボタン１１３、再生ボタン１１４、メニューボタン１１５、接眼部１１６、接眼検知部１１８、タッチバー１１９を有する。表示部１０８は、画像や各種情報を表示する。タッチパネル１０９は、表示部１０８の表示面（タッチ操作面）に対するタッチ操作を検出する操作部である。
【0015】
方向キー１１０は、上下左右にそれぞれ押下可能なキー（４方向キー）から構成される操作部である。方向キー１１０の押下した位置に応じた操作が可能である。ＳＥＴボタン１１１は、主に選択項目を決定するときに押下される操作部である。ＡＥロックボタン１１２は、撮影待機状態で露出状態を固定するときに押下される操作部である。拡大ボタン１１３は、撮影モードのライブビュー表示（ＬＶ表示）において拡大モードのオンとオフとを切り替えるための操作部である。拡大モードがオンである場合にはメイン電子ダイヤル１０４を操作することにより、ライブビュー画像（ＬＶ画像）が拡大または縮小する。また、拡大ボタン１１３は、再生モードにおいて再生画像を拡大させたり、拡大率を大きくさせたりするときに用いられる。
【0016】
再生ボタン１１４は、撮影モードと再生モードとを切り替えるための操作部である。撮影モードの場合に再生ボタン１１４を押下することで再生モードに移行し、後述する記録媒体２２８に記録された画像のうち最新の画像を表示部１０８に表示させることができる。メニューボタン１１５は、各種設定が可能なメニュー画面を表示部１０８に表示させるときに押下される操作部である。ユーザは、表示部１０８に表示されたメニュー画面を、方向キー１１０とＳＥＴボタン１１１を用いて操作することにより、カメラ１００の各種設定を行うことができる。なお、ボタンを用いる代わりに、あるいはボタンと併用してタッチパネル１０９を用いてメニュー画面を操作可能としてもよい。
【0017】
接眼部１１６は、接眼ファインダ（覗き込み型のファインダ）１１７を覗くための窓である。ユーザは接眼部１１６を介して内部の後述するＥＶＦ（Electronic View Finder）２１７に表示された画像を視認することができる。接眼検知部１１８は、接眼部１１６に物体が近接しているか否かを検知するセンサである。
【0018】
タッチバー１１９は、タッチ操作を受け付けることが可能なライン状のタッチ操作部（ラインタッチセンサ）である。タッチバー１１９は、右手の人差し指でシャッターボタン１０１を押下可能なようにグリップ部１２０を右手で握った状態（右手の小指、薬指、中指で握った状態）で、右手の親指でタッチ操作可能（タッチ可能）な位置に配置される。すなわち、タッチバー１１９は接眼部１１６を通じて接眼ファインダ１１７を覗き、いつでもシャッターボタン１０１を押下できるように構えた状態（撮影姿勢）で操作可能である。タッチバー１１９は、タッチバー１１９に対するタップ操作（タッチして所定期間以内にタッチ位置を移動せずに離す操作）、左右へのスライド操作（タッチしたままタッチ位置を移動する操作）等を受け付け可能である。タッチバー１１９は、タッチパネル１０９とは異なる操作部であり、表示機能を備えていない。本実施形態のタッチバー１１９は、マルチファンクションバー（Ｍ－Ｆｎバー）として機能する。
【0019】
また、カメラ１００は、グリップ部１２０、サムレスト部１２１、端子カバー１２２、蓋１２３、通信端子１２４等を有する。グリップ部１２０は、ユーザがカメラ１００を構える際に右手で握りやすい形状に形成された保持部である。グリップ部１２０を右手の小指、薬指、中指で握ってカメラ１００を保持した状態で、右手の人差指で操作可能な位置にシャッターボタン１０１とメイン電子ダイヤル１０４が配置される。また、同様な状態で、右手の親指で操作可能な位置にサブ電子ダイヤル１０５とタッチバー１１９が配置される。
【0020】
サムレスト部１２１（親指待機位置）は、カメラ１００の背面側の、どの操作部も操作しない状態でグリップ部１２０を握った右手の親指を置きやすい箇所に設けられたグリップ部である。サムレスト部１２１は、保持力（グリップ感）を高めるためのラバー部材等で構成される。端子カバー１２２は、カメラ１００を外部機器に接続する接続ケーブル等のコネクタを保護する。蓋１２３は、後述する記録媒体２２８を格納するためのスロットを閉塞することで記録媒体２２８およびスロットを保護する。通信端子１２４は、カメラ１００が着脱可能な後述するレンズユニット２００側と通信を行うための端子である。
【0021】
＜カメラ１００の内部構成＞
図２は、カメラ１００に交換可能なレンズユニット２００が装着されたカメラシステムの内部構成（機能構成）例を示すブロック図である。なお、図２において、図１に示した構成には図１と同一符号を付してある。図１に関して既に説明した構成については説明を適宜、省略する。
図２は、カメラ１００に交換可能なレンズユニット２００が装着されたカメラシステムの内部構成（機能構成）例を示すブロック図である。なお、図２において、図１に示した構成には図１と同一符号を付してある。図１に関して既に説明した構成については説明を適宜、省略する。
【0022】
まず、レンズユニット２００について説明する。
レンズユニット２００は、カメラ１００に着脱可能な交換レンズの一例である。レンズユニット２００は一般的な１眼レンズ（光軸が１つのレンズ）である。レンズユニット２００は、絞り２０１、レンズ２０２、絞り駆動回路２０３、ＡＦ（オートフォーカス）駆動回路２０４、レンズシステム制御回路２０５、通信端子２０６等を有する。
レンズユニット２００は、カメラ１００に着脱可能な交換レンズの一例である。レンズユニット２００は一般的な１眼レンズ（光軸が１つのレンズ）である。レンズユニット２００は、絞り２０１、レンズ２０２、絞り駆動回路２０３、ＡＦ（オートフォーカス）駆動回路２０４、レンズシステム制御回路２０５、通信端子２０６等を有する。
【0023】
絞り２０１は、開口径が調整可能に構成される。レンズ２０２は、複数枚のレンズから構成される。絞り駆動回路２０３は、絞り２０１の開口径を制御することで光量を調整する。ＡＦ駆動回路２０４は、レンズ２０２に含まれるフォーカスレンズを駆動し、レンズユニット２００が合焦する距離を調節する。
【0024】
レンズシステム制御回路２０５は、例えばＣＰＵ、ＲＯＭ、およびＲＡＭを有し、ＲＯＭに記憶されたプログラムをＲＡＭに読み込んでＣＰＵが実行することにより、レンズユニット２００の各部の動作を制御する。レンズユニット２００とカメラ１００とは通信端子２０６および１２４を通じて電気的に接続され、レンズシステム制御回路２０５とカメラ１００が有するシステム制御部２１８とは相互に通信可能である。レンズシステム制御回路２０５は、システム制御部２１８の指示に基づいて、絞り駆動回路２０３、ＡＦ駆動回路２０４等を制御する。
【0025】
次に、カメラ１００について説明する。
カメラ１００は、シャッター２１０、撮像部２１１、Ａ／Ｄ変換器２１２、メモリ制御部２１３、画像処理部２１４、メモリ２１５、Ｄ／Ａ変換器２１６、ＥＶＦ２１７、表示部１０８、システム制御部２１８を有する。
カメラ１００は、シャッター２１０、撮像部２１１、Ａ／Ｄ変換器２１２、メモリ制御部２１３、画像処理部２１４、メモリ２１５、Ｄ／Ａ変換器２１６、ＥＶＦ２１７、表示部１０８、システム制御部２１８を有する。
【0026】
シャッター２１０は、システム制御部２１８の指示に基づいて動作し、撮像部２１１の露光時間を制御するフォーカルプレーンシャッターである。撮像部２１１は、光学像を電気信号に変換するＣＣＤやＣＭＯＳ素子等で構成される撮像素子（イメージセンサ）である。本実施形態において、撮像部２１１は、撮像面位相差検出方式の焦点検出に対応した撮像素子である。具体的には、撮像部２１１は、位相差検出方式の焦点検出を実現するための焦点検出用信号対を出力可能である。
【0027】
Ａ／Ｄ変換器２１２は、撮像部２１１から出力されるアナログ信号をデジタル信号（画像データ）に変換する。画像処理部２１４は、Ａ／Ｄ変換器２１２またはメモリ制御部２１３を通じて入力されるデータに対し所定の処理（画素補間、縮小等のリサイズ処理、色変換処理等）を行う。また、画像処理部２１４は、撮影した画像データを用いて所定の演算処理を行い、ＡＦやＡＥに用いる評価値などを算出する。得られた演算結果に基づいてシステム制御部２１８が露光制御や焦点検出制御を行う。撮像部２１１から得られる焦点検出用信号対に基づくデフォーカス量も、評価値の１つとして画像処理部２１４が算出する。さらに、画像処理部２１４は、撮影した画像データを用いて所定の演算処理を行い、得られた演算結果に基づいて画像データに対するＡＷＢ（オートホワイトバランス）処理を行う。
【0028】
Ａ／Ｄ変換器２１２からの画像データは、画像処理部２１４およびメモリ制御部２１３を介してメモリ２１５に書き込まれる。あるいは、Ａ／Ｄ変換器２１２からの画像データは、画像処理部２１４を介さずにメモリ制御部２１３を介してメモリ２１５に書き込まれる。メモリ２１５は、Ａ／Ｄ変換器２１２が出力する画像データや、画像処理部２１４が生成した画像データなどを格納する。画像処理部２１４が生成する画像データには、表示部１０８やＥＶＦ２１７に表示するための表示用画像データおよび、記録媒体２２８に記録するための記録用画像データが含まれる。メモリ２１５は、所定枚数分の静止画像データや、所定時間分の動画像データおよび音声データを格納するのに十分な記憶容量を備えている。また、メモリ２１５の一部領域は表示部１０８用のビデオメモリとして用いられる。
【0029】
Ｄ／Ａ変換器２１６は、メモリ２１５に格納されている画像データを表示部１０８やＥＶＦ２１７で表示するのに適したアナログ信号に変換する。したがって、メモリ２１５に書き込まれた表示用画像データは、Ｄ／Ａ変換器２１６を介して表示部１０８やＥＶＦ２１７に表示される。表示部１０８やＥＶＦ２１７は、Ｄ／Ａ変換器２１６からのアナログ信号に応じた表示を行う。表示部１０８やＥＶＦ２１７は、例えば、ＬＣＤや有機ＥＬ等のディスプレイである。
【0030】
撮像部２１１で動画撮影を行いながら、Ａ／Ｄ変換器２１２を通じてメモリ２１５に格納された画像データをＤ／Ａ変換器２１６でアナログ信号に変換し、表示部１０８やＥＶＦ２１７に逐次転送して表示する。これにより、表示部１０８やＥＶＦ２１７におけるライブビュー表示を行うことができる。
【0031】
システム制御部２１８は、少なくとも１つのプロセッサ（ＣＰＵ）および／または少なくとも１つの回路からなる制御部である。すなわち、システム制御部２１８は、プロセッサ（ＣＰＵ）であってもよく、回路であってもよく、プロセッサと回路の組み合わせであってもよい。例えばシステム制御部２１８がプロセッサ（ＣＰＵ）を有する場合、不揮発性メモリ２２０に記憶されたプログラムをシステムメモリ２１９に読み込んでプロセッサで実行することにより、システム制御部２１８は、カメラ１００全体を制御する。また、システム制御部２１８は、メモリ２１５、Ｄ／Ａ変換器２１６、表示部１０８、ＥＶＦ２１７等を制御することにより表示制御も行う。
【0032】
また、カメラ１００は、システムメモリ２１９、不揮発性メモリ２２０、システムタイマ２２１、通信部２２２、姿勢検知部２２３、接眼検知部１１８を有する。
システムメモリ２１９は、例えばＲＡＭが用いられる。システムメモリ２１９には、システム制御部２１８の動作用の定数、変数、不揮発性メモリ２２０から読み出したプログラム等が展開される。
不揮発性メモリ２２０は、例えば電気的に消去・記録可能なＥＥＰＲＯＭであってよい。不揮発性メモリ２２０には、システム制御部２１８の動作用の定数、プログラム等が記録される。
システムメモリ２１９は、例えばＲＡＭが用いられる。システムメモリ２１９には、システム制御部２１８の動作用の定数、変数、不揮発性メモリ２２０から読み出したプログラム等が展開される。
不揮発性メモリ２２０は、例えば電気的に消去・記録可能なＥＥＰＲＯＭであってよい。不揮発性メモリ２２０には、システム制御部２１８の動作用の定数、プログラム等が記録される。
【0033】
システムタイマ２２１は、各種制御に用いる時間や、内蔵された時計の時間を計測する計時部である。通信部２２２は、無線または有線ケーブルによって接続された外部機器との間で、画像信号や音声信号の送受信を行う。通信部２２２は無線ＬＡＮ（Local Area Network）に準拠した外部機器や、インターネット上の機器とも通信可能である。また、通信部２２２は、Bluetooth（登録商標）に準拠した外部機器と通信可能である。通信部２２２は撮像部２１１で撮影した画像（ライブ画像を含む）や、記録媒体２２８に記録された画像を送信可能であり、外部機器から画像データやその他の各種情報を受信することができる。
【0034】
姿勢検知部２２３は、重力方向に対するカメラ１００の姿勢を表す信号を出力する。姿勢検知部２２３が出力する信号に基づいて、撮像部２１１で撮影された画像が、カメラ１００を横に構えて撮影された画像であるか、縦に構えて撮影された画像であるかを判別可能である。システム制御部２１８は、姿勢検知部２２３の出力する信号に応じた向き情報を撮像部２１１で撮影された画像の画像ファイルに付加したり、画像を回転して記録したりすることが可能である。姿勢検知部２２３は、例えば、加速度センサやジャイロセンサ等を用いることができる。システム制御部２１８は、姿勢検知部２２３の出力信号に基づいて、カメラ１００の動き（パン、チルト、持ち上げ、静止しているか否か等）を検知することも可能である。
【0035】
接眼検知部１１８は、ＥＶＦ２１７を内蔵する接眼ファインダ１１７の接眼部１１６に対する何らかの物体の接近を検知することができる。接眼検知部１１８は、例えば、赤外線近接センサを用いることができる。物体が接近した場合、接眼検知部１１８の投光部から投光した赤外線が物体で反射して赤外線近接センサの受光部で受光される。受光された赤外線の量によって接眼部１１６に近接した物体の有無を判別することができる。
【0036】
システム制御部２１８は、接眼検知部１１８で検知された近接物体の有無に応じて、表示部１０８とＥＶＦ２１７の表示（表示状態）／非表示（非表示状態）を切り替える。具体的には、少なくとも撮影待機状態であって、かつ、表示先の切替設定が自動切替である場合、接近物体が検出されていなければ表示部１０８の表示をオンとし、ＥＶＦ２１７の表示はオフとする。また、接近物体が検出されていればＥＶＦ２１７の表示をオンとし、表示部１０８の表示はオフとする。なお、接眼検知部１１８は、赤外線近接センサである場合に限られず、接眼とみなせる状態を検知できるものであれば他のセンサを用いてもよい。
【0037】
カメラ１００はまた、ファインダ外表示部１０７、ファインダ外表示駆動回路２２４、電源制御部２２５、電源部２２６、記録媒体Ｉ／Ｆ２２７、操作部２２９等を有する。
ファインダ外表示部１０７は、ファインダ外表示駆動回路２２４を介して、シャッター速度や絞り等のカメラ１００の様々な設定値を表示する。電源制御部２２５は、電池検出回路、ＤＣ－ＤＣコンバータ、通電するブロックを切り替えるスイッチ回路等により構成され、電池の装着の有無、電池の種類、電池残量の検出等を行う。また、電源制御部２２５は、その検出結果およびシステム制御部２１８の指示に基づいてＤＣ－ＤＣコンバータを制御し、必要な電圧を必要な期間、記録媒体２２８を含む各部へ供給する。電源部２２６は、アルカリ電池およびリチウム電池等の一次電池、ＮｉＣｄ電池、ＮｉＭＨ電池およびＬｉ電池等の二次電池、ＡＣアダプター等である。記録媒体Ｉ／Ｆ２２７は、メモリカードやハードディスク等の記録媒体２２８とのインターフェースである。記録媒体２２８は、撮影された画像を記録するためのメモリカード等であり、半導体メモリや磁気ディスク等から構成される。記録媒体２２８は、着脱可能であってもよく、内蔵されていてもよい。
ファインダ外表示部１０７は、ファインダ外表示駆動回路２２４を介して、シャッター速度や絞り等のカメラ１００の様々な設定値を表示する。電源制御部２２５は、電池検出回路、ＤＣ－ＤＣコンバータ、通電するブロックを切り替えるスイッチ回路等により構成され、電池の装着の有無、電池の種類、電池残量の検出等を行う。また、電源制御部２２５は、その検出結果およびシステム制御部２１８の指示に基づいてＤＣ－ＤＣコンバータを制御し、必要な電圧を必要な期間、記録媒体２２８を含む各部へ供給する。電源部２２６は、アルカリ電池およびリチウム電池等の一次電池、ＮｉＣｄ電池、ＮｉＭＨ電池およびＬｉ電池等の二次電池、ＡＣアダプター等である。記録媒体Ｉ／Ｆ２２７は、メモリカードやハードディスク等の記録媒体２２８とのインターフェースである。記録媒体２２８は、撮影された画像を記録するためのメモリカード等であり、半導体メモリや磁気ディスク等から構成される。記録媒体２２８は、着脱可能であってもよく、内蔵されていてもよい。
【0038】
操作部２２９は、ユーザからの操作（ユーザ操作）を受け付ける入力部であり、システム制御部２１８に各種の指示を入力するために用いられる。操作部２２９は、シャッターボタン１０１、電源スイッチ１０２、モード切替スイッチ１０３、タッチパネル１０９、他の操作部材２３０等が含まれる。他の操作部材２３０には、メイン電子ダイヤル１０４、サブ電子ダイヤル１０５、動画ボタン１０６、方向キー１１０、ＳＥＴボタン１１１、ＡＥロックボタン１１２、拡大ボタン１１３、再生ボタン１１４、メニューボタン１１５、タッチバー１１９等が含まれる。
【0039】
シャッターボタン１０１は、第１シャッタースイッチ２３１と第２シャッタースイッチ２３２を有する。第１シャッタースイッチ２３１は、シャッターボタン１０１の操作途中、いわゆる半押しでオンとなり、第１シャッタースイッチ信号ＳＷ１を発生させる。システム制御部２１８は、第１シャッタースイッチ信号ＳＷ１を撮影準備指示と解釈し、撮影準備処理を開始させる。撮影準備処理には、ＡＦ処理、ＡＥ処理、ＡＷＢ処理、フラッシュプリ発光処理などが含まれる。
【0040】
第２シャッタースイッチ２３２は、シャッターボタン１０１の操作完了、いわゆる全押しでオンとなり、第２シャッタースイッチ信号ＳＷ２を発生する。システム制御部２１８は、第２シャッタースイッチ信号ＳＷ２を静止画の撮影指示と解釈し、ＡＥ処理で決定した露出条件に基づく静止画撮影動作を開始する。そして、撮像部２１１からの信号読み出しから、撮影で得られた制止画像データを含む画像ファイルを生成して記録媒体２２８に書き込むまでの一連の撮影処理を実行するように各部を制御する。
【0041】
モード切替スイッチ１０３は、システム制御部２１８の動作モードを静止画撮影モード、動画撮影モード、再生モード等の何れかに切り替える。静止画撮影モードに含まれるモードには、オート撮影モード、オートシーン判別モード、マニュアルモード、絞り優先モード（Ａｖモード）、シャッター速度優先モード（Ｔｖモード）、プログラムＡＥモード（Ｐモード）がある。また、撮影シーン別の撮影設定となる各種シーンモード、カスタムモード等がある。ユーザは、モード切替スイッチ１０３により、上述した撮影モードの何れかに直接、切り替えることができる。あるいは、ユーザは、モード切替スイッチ１０３により撮影モードの一覧画面に一旦切り替えた後に、表示された複数のモードの何れかに操作部２２９を用いて選択的に切り替えることができる。同様に、動画撮影モードにも複数のモードが含まれていてもよい。
【0042】
タッチパネル１０９は、表示部１０８の表示面（タッチパネル１０９の操作面）への各種タッチ操作を検出するタッチセンサである。タッチパネル１０９と表示部１０８とは一体的に構成することができる。例えば、タッチパネル１０９は表示部１０８の表示面の上層に取り付けられる。そして、タッチパネル１０９における入力座標と、表示部１０８の表示面上の表示座標とを対応付けることで、あたかもユーザが表示部１０８上に表示された画面を直接的に操作可能であるかのようなＧＵＩを構成できる。ＧＵＩはGraphical User Interfaceの略である。タッチパネル１０９には、抵抗膜方式や静電容量方式、表面弾性波方式、赤外線方式、電磁誘導方式、画像認識方式、光センサ方式等の様々な方式のうち何れかの方式を用いることができる。方式によって、タッチパネル１０９に対する接触があったことでタッチがあったと検知する方式や、タッチパネル１０９に対する指やペンの接近があったことでタッチがあったと検知する方式があるが、何れの方式であってもよい。
【0043】
システム制御部２１８は、タッチパネル１０９に対する以下の操作あるいは状態を検出できる。
・タッチパネル１０９にタッチしていなかった指やペンが新たにタッチパネル１０９にタッチしたこと、すなわちタッチの開始（以下、タッチダウン（Ｔｏｕｃｈ－Ｄｏｗｎ）という）。
・タッチパネル１０９を指やペンでタッチしている状態（以下、タッチオン（Ｔｏｕｃｈ－Ｏｎ）という）。
・タッチパネル１０９を指やペンがタッチしたまま移動していること（以下、タッチムーブ（Ｔｏｕｃｈ－Ｍｏｖｅ）という）。
・タッチパネル１０９へタッチしていた指やペンがタッチパネル１０９から離れた（リリースされた）こと、すなわちタッチの終了（以下、タッチアップ（Ｔｏｕｃｈ－Ｕｐ）という）。
・タッチパネル１０９に何もタッチしていない状態（以下、タッチオフ（Ｔｏｕｃｈ－Ｏｆｆ）という）。
・タッチパネル１０９にタッチしていなかった指やペンが新たにタッチパネル１０９にタッチしたこと、すなわちタッチの開始（以下、タッチダウン（Ｔｏｕｃｈ－Ｄｏｗｎ）という）。
・タッチパネル１０９を指やペンでタッチしている状態（以下、タッチオン（Ｔｏｕｃｈ－Ｏｎ）という）。
・タッチパネル１０９を指やペンがタッチしたまま移動していること（以下、タッチムーブ（Ｔｏｕｃｈ－Ｍｏｖｅ）という）。
・タッチパネル１０９へタッチしていた指やペンがタッチパネル１０９から離れた（リリースされた）こと、すなわちタッチの終了（以下、タッチアップ（Ｔｏｕｃｈ－Ｕｐ）という）。
・タッチパネル１０９に何もタッチしていない状態（以下、タッチオフ（Ｔｏｕｃｈ－Ｏｆｆ）という）。
【0044】
タッチダウンが検出されると、同時にタッチオンも検出される。タッチダウンの後、タッチアップが検出されない限りは、通常はタッチオンが検出され続ける。タッチムーブが検出された場合も、同時にタッチオンが検出される。タッチオンが検出されていても、タッチ位置が移動していなければタッチムーブは検出されない。タッチしていた全ての指やペンがタッチアップしたことが検出された後は、タッチオフとなる。
【0045】
これらの操作・状態や、タッチパネル１０９上に指やペンがタッチしている位置座標はシステム制御部２１８に通知される。システム制御部２１８は通知された情報に基づいてタッチパネル１０９上にどのような操作（タッチ操作）が行なわれたかを判定する。タッチムーブについてはタッチパネル１０９上で移動する指やペンの移動方向についても、位置座標の変化に基づいて、タッチパネル１０９上の垂直成分・水平成分毎に判定できる。所定距離以上をタッチムーブしたことが検出された場合はスライド操作が行なわれたと判定される。タッチパネル１０９上に指をタッチしたままある程度の距離だけ素早く動かして、そのまま離すといった操作をフリックという。フリックは、言い換えればタッチパネル１０９上を指ではじくように素早くなぞる操作である。所定距離以上を、所定速度以上でタッチムーブしたことが検出され、そのままタッチアップが検出されるとフリックが行なわれたと判定される（スライド操作に続いてフリックがあったものと判定できる）。更に、複数箇所（例えば２点）を共にタッチして（マルチタッチして）、互いのタッチ位置を近づけるタッチ操作をピンチイン、互いのタッチ位置を遠ざけるタッチ操作をピンチアウトという。ピンチアウトとピンチインを総称してピンチ操作（あるいは単にピンチ）という。
【0046】
＜多眼レンズユニットの構成＞
図３は、多眼レンズユニットの一例としての２眼レンズユニット３００の構成例を示す模式図である。なお、本明細書において「多眼レンズ」とは、１つのレンズマウント（または鏡筒）内に複数の結像光学系が設けられた構成のレンズユニットであり、光軸を複数有する。図３では、２眼レンズユニット３００をカメラ１００に装着した状態を示している。なお、図３では図２に示したカメラ１００の構成の一部のみを示している。
図３は、多眼レンズユニットの一例としての２眼レンズユニット３００の構成例を示す模式図である。なお、本明細書において「多眼レンズ」とは、１つのレンズマウント（または鏡筒）内に複数の結像光学系が設けられた構成のレンズユニットであり、光軸を複数有する。図３では、２眼レンズユニット３００をカメラ１００に装着した状態を示している。なお、図３では図２に示したカメラ１００の構成の一部のみを示している。
【0047】
２眼レンズユニット３００は、カメラ１００に着脱可能な交換レンズの一種である。２眼レンズユニット３００は、１つの鏡筒内に２つの結像光学系３０１Ｌおよび３０１Ｒを有し、したがって、光軸を２つ有する。
【0048】
ここでは、２眼レンズユニット３００をカメラ１００に装着した際、２つの光軸が水平直線上に並ぶように２つの２つの結像光学系３０１Ｌおよび３０１Ｒが配置されているものとする。２つの結像光学系３０１Ｌおよび３０１Ｒは略１８０度の視野角を有し、前方半球の範囲を撮影できる。具体的には、２つの結像光学系３０１Ｌおよび３０１Ｒはそれぞれ、左右方向（水平角度、方位角、ヨー角）１８０度、上下方向（垂直角度、仰俯角、ピッチ角）１８０度の視野を撮影できる。２つの結像光学系３０１Ｌおよび３０１Ｒは
左右に視差を有する１対の視差画像を撮像部２１１の撮像面に結像する。以下の説明では結像光学系３０１Ｌを左眼光学系３０１Ｌ、結像光学系３０１Ｒを右眼光学系３０１Ｒと呼ぶ。
左右に視差を有する１対の視差画像を撮像部２１１の撮像面に結像する。以下の説明では結像光学系３０１Ｌを左眼光学系３０１Ｌ、結像光学系３０１Ｒを右眼光学系３０１Ｒと呼ぶ。
【0049】
右眼光学系３０１Ｒおよび左眼光学系３０１Ｌはそれぞれ、複数のレンズと反射ミラー等を有する。複数のレンズには少なくとも、合焦距離を調整するためのフォーカスレンズが含まれる。２眼レンズユニット３００はまた、レンズシステム制御回路３０３を有する。右眼光学系３０１Ｒは第１の光学系の一例であり、左眼光学系３０１Ｌは第２の光学系の一例である。右眼光学系３０１Ｒおよび左眼光学系３０１Ｌはそれぞれ被写体側に位置する各レンズ３０２Ｒ、３０２Ｌが同じ方向を向いており、各光軸が略平行である。
【0050】
なお、図３には示していないが、２眼レンズユニット３００は、ＡＦ駆動回路２０４と同様の構成を有する。この場合、右眼光学系３０１Ｒおよび左眼光学系３０１Ｌのフォーカスレンズを連動して駆動するＡＦ駆動回路と、右眼光学系３０１Ｒおよび左眼光学系３０１Ｌの少なくとも一方のフォーカスレンズを独立して駆動するＡＦ駆動回路との１つ以上を有しうる。フォーカスレンズの駆動は、システム制御部２１８（調整手段）の制御に基づいてレンズシステム制御回路３０３が実施する。
【0051】
また、２眼レンズユニット３００は、鏡筒に設けられたフォーカスリングの回転量および回転方向を検知するエンコーダをさらに有する。レンズシステム制御回路３０３は、エンコーダが検出したフォーカスレンズ操作に応じてＡＦ駆動回路を制御することにより、いわゆるバイワイヤ方式によるマニュアルフォーカス機能を提供する。この場合、２眼レンズユニット３００は、フォーカスリング操作によって駆動するフォーカスレンズをユーザが切り替え可能なスイッチを有してもよい。
【0052】
２眼レンズユニット３００は、２眼立体視が可能なＶＲ画像のフォーマットであるＶＲ１８０フォーマットの画像をカメラ１００で撮影するためのＶＲ１８０用レンズである。ＶＲ１８０用レンズは、右眼光学系３０１Ｒおよび左眼光学系３０１Ｌがそれぞれ略１８０度の視野角を有する魚眼レンズを有する。なお、右眼光学系３０１Ｒおよび左眼光学系３０１ＬはＶＲ１８０としての２眼ＶＲ表示が可能な画像が取得できればよく、視野角は１６０度程度であってもよい。ＶＲ１８０用レンズは、右眼光学系３０１Ｒにより右像（第一像）を、左眼光学系３０１Ｌにより左像（第二像）を、同一撮像面上に形成することができる。ここではカメラ１００の撮像部２１１が１つの撮像素子を有し、２眼レンズユニット３００が１つの撮像素子の撮像面に右像および左像を形成するものとする。しかしながら、カメラ１００が並列配置された２つの撮像素子を有し、２眼レンズユニット３００が一方の撮像素子の撮像面に右像を、他方の撮像素子の撮像面に左像を形成してもよい。
【0053】
２眼レンズユニット３００は、右眼光学系３０１Ｒのフォーカス調整を行うフォーカスリングと、左眼光学系３０１Ｌのフォーカス調整を行うフォーカスリングとを備える。もしくは、右眼光学系３０１Ｒおよび左眼光学系３０１Ｌのフォーカス調整を同時に行うフォーカスリングと、右眼光学系３０１Ｒと左眼光学系３０１Ｌの一方のフォーカス調整を行うフォーカスリングとを備える。これらのフォーカスリングを操作することで、ユーザは右眼光学系３０１Ｒおよび左眼光学系３０１Ｌの合焦距離を手動で調整することができる。これらのフォーカスリングは個別に設けられてもよいし、バイワイヤ方式の場合には１つのフォーカスリングの機能を切り替えることで実現されてもよい。
【0054】
２眼レンズユニット３００は、（１眼）レンズユニット２００と同様、マウント部を介してカメラ１００に装着される。マウント部は、レンズマウント部３０４とカメラマウント部３０５とから構成される。２眼レンズユニット３００がカメラ１００に装着されると、カメラ１００の通信端子１２４と、２眼レンズユニット３００の通信端子３０６とが電気的に接続される。これにより、カメラ１００のシステム制御部２１８と２眼レンズユニット３００のレンズシステム制御回路３０３とは互いに通信可能となる。
【0055】
本実施形態では、右像と左像とは、左右方向に離間して撮像部２１１の撮像面に形成される。すなわち、右眼光学系３０１Ｒおよび左眼光学系３０１Ｌにより形成される２つの光学像が１つの撮像素子上に形成される。撮像部２１１は、結像された被写体像（光信号）をアナログ電気信号に変換する。このように、２眼レンズユニット３００を装着することにより、右眼光学系３０１Ｒと左眼光学系３０１Ｌが形成する視差画像対（右像および左像）を１回の撮影で取得することができる。また、取得された右像と左像とを右眼用の画像と左眼用の画像としてＶＲ表示することにより、ユーザは略１８０度の範囲の立体的なＶＲ画像、いわゆるＶＲ１８０画像を観察することができる。
【0056】
ここで、ＶＲ画像とは、後述するＶＲ表示することができる画像である。ＶＲ画像には、全方位カメラ（全天球カメラ）で撮影した全方位画像（全天球画像）や、表示部に一度で表示できる表示範囲より広い画像範囲（有効画像範囲）を持つパノラマ画像等が含まれる。また、ＶＲ画像は、静止画および動画のいずれであってもよい。動画は記録済みの動画であってもライブ画像（カメラからほぼリアルタイムで取得した画像）であってもよい。
【0057】
ＶＲ画像は、最大で、左右方向３６０度、上下方向３６０度の視野分の画像範囲（有効画像範囲）を持つ。また、ＶＲ画像には、左右方向３６０度未満、上下方向３６０度未満であっても、通常のカメラで撮影可能な画角よりも広範な画角、あるいは、表示部に一度で表示できる表示範囲より広い画像範囲を持つ画像も含まれる。上述した２眼レンズユニット３００を用いてカメラ１００で撮影される画像は、ＶＲ画像の一種である。ＶＲ画像は、例えば、表示装置（ＶＲ画像を表示できる表示装置）の表示モードを「ＶＲビュー」に設定することでＶＲ表示することができる。３６０度の画角を有するＶＲ画像をＶＲ表示させて、ユーザが表示装置の姿勢を左右方向（水平回転方向）に変化させることで、左右方向に継ぎ目のない全方位の画像を観賞することができる。
【0058】
ここで、ＶＲ表示（ＶＲビュー）とは、ＶＲ画像に撮影されている視野のうち、表示装置の姿勢に応じた所定範囲の視野の画像を表示する表示モードである。ＶＲ表示には、ＶＲ画像を仮想球体にマッピングする変形（歪曲補正が施される変形）を行って１つの画像を表示する「１眼ＶＲ表示（１眼ＶＲビュー）」がある。また、ＶＲ表示には、左眼用のＶＲ画像と右眼用のＶＲ画像とをそれぞれ仮想球体にマッピングする変形を行って左右の領域に並べて表示する「２眼ＶＲ表示（２眼ＶＲビュー）」がある。
【0059】
互いに視差のある左眼用のＶＲ画像と右眼用のＶＲ画像を用いて「２眼ＶＲ表示」を行うことで立体視することが可能である。何れのＶＲ表示であっても、例えば、ユーザがＨＭＤ（ヘッドマウントディスプレイ）等の表示装置を装着した場合、ユーザの顔の向きに応じた視野範囲の画像が表示される。例えば、ＶＲ画像のうち、ある時点で左右方向に０度（特定の方位、例えば北）、上下方向に９０度（天頂から９０度、すなわち水平）を中心とした視野範囲の画像を表示しているとする。この状態から表示装置の姿勢を表裏反転させる（例えば、表示面を南向きから北向きに変更する）と、同じＶＲ画像のうち、左右方向に１８０度（逆の方位、例えば南）、上下方向に９０度を中心とした視野範囲の画像に、表示範囲が変更される。すなわち、ユーザがＨＭＤを装着した状態で、顔を北から南に向く（すなわち後ろを向く）ことで、ＨＭＤに表示される画像も北の画像から南の画像に変更される。
【0060】
なお、本実施形態の２眼レンズユニット３００を用いて撮影したＶＲ画像は、前方略１８０度の範囲を撮影したＶＲ１８０フォーマットの画像であり、後方略１８０度の範囲の画像は存在しない。このようなＶＲ１８０フォーマットの画像をＶＲ表示させて、画像が存在しない側に表示装置の姿勢を変更した場合には例えばブランク領域が表示される。
【0061】
このようにＶＲ画像をＶＲ表示することによって、ユーザは視覚的にあたかもＶＲ画像内（ＶＲ空間内）にいるような感覚になる。なお、ＶＲ画像の表示方法は表示装置の姿勢を変更する方法に限られない。例えば、タッチパネルや方向ボタン等を介したユーザ操作に応じて、表示範囲を移動（スクロール）させてもよい。また、ＶＲ表示時（表示モード「ＶＲビュー」時）において、姿勢変化による表示範囲の変更に加え、タッチパネルでのタッチムーブ、マウス等でのドラッグ操作、方向ボタンの押下等に応じて表示範囲を変更してもよい。なお、ＶＲゴーグル（ヘッドマウントアダプタ）にスマートフォンなどの表示装置を装着した構成は、ＨＭＤの一種である。
【0062】
＜撮像部２１１（撮像素子）の構成＞
図４は、本実施形態における撮像部２１１（撮像素子）の画素配列例を模式的に示す図である。本実施形態で撮像部２１１を構成する撮像素子は位相差検出方式の焦点検出に用いる信号対を生成可能である。図４には、撮像素子（２次元ＣＭＯＳセンサ）の画素配列を、撮像画素の４列×４行の範囲で（焦点検出画素の配列としては８列×４行の範囲）で示したものである。以下、単に「画素」と記載した場合、撮像画素を意味する。
図４は、本実施形態における撮像部２１１（撮像素子）の画素配列例を模式的に示す図である。本実施形態で撮像部２１１を構成する撮像素子は位相差検出方式の焦点検出に用いる信号対を生成可能である。図４には、撮像素子（２次元ＣＭＯＳセンサ）の画素配列を、撮像画素の４列×４行の範囲で（焦点検出画素の配列としては８列×４行の範囲）で示したものである。以下、単に「画素」と記載した場合、撮像画素を意味する。
【0063】
撮像部２１１には原色ベイヤ配列のカラーフィルタが設けられているものとする。画素群４００はカラーフィルタの繰り返し単位である２列×２行の画素を示している。画素群４００には、Ｒ（赤）の分光感度を有する画素４００Ｒと、Ｇ（緑）の分光感度を有する画素４００Ｇｒおよび４００Ｇｂと、Ｂ（青）の分光感度を有する画素４００Ｂとを有する。また、各画素に１つずつ、マイクロレンズ４０１が設けられている。
【0064】
撮像部２１１は、撮像面位相差方式の焦点検出を可能にするため、撮像部２１１に２次元配置された複数の画素のそれぞれに、マイクロレンズ４０１を共有する２つのフォトダイオード（光電変換部）４０２および４０３が設けられている。第１フォトダイオード４０２および第２フォトダイオード４０３はそれぞれが副画素もしくは焦点検出画素として機能する。つまり、１つの画素は２つの焦点検出画素として機能する。また、第１フォトダイオード４０２および第２フォトダイオード４０３をまとめて１つのフォトダイオードとして取り扱うことにより、１つの画素は１つの撮像画素として機能する。以下、第１フォトダイオード４０２によって得られる信号をＡ信号、第２フォトダイオード４０３によって得られる信号をＢ信号、同じ画素で得られるＡ信号とＢ信号とを加算した信号をＡ＋Ｂ信号と呼ぶ。また、Ａ信号およびＢ信号を焦点検出用信号、Ａ＋Ｂ信号を撮像信号と呼ぶ。なお、Ａ信号（Ｂ信号）は、Ａ＋Ｂ信号からＢ信号（Ａ信号）を減じることによって取得してもよい。
【0065】
なお、本実施形態では各画素にマイクロレンズ４０１を共有するフォトダイオードを２つ設けた構成としているが、各画素に設けるフォトダイオードの数は３つ以上であってもよい。また、実質的にＡ信号またはＢ信号のみを出力可能な焦点検出専用の画素を設ける構成であってもよい。位相差検出方式の焦点検出を実現可能な信号を出力可能であれば、撮像素子に設けられる画素の構成に制限はない。また、本実施形態では、全ての画素が複数のフォトダイオードを有する構成であるが、一部の画素だけが複数のフォトダイオードを有する構成であってもよい。
【0066】
＜デフォーカス量と像ずれ量の関係＞
図５を用いて、図４に示した撮像素子により取得可能なＡ信号およびＢ信号から得られるデフォーカス量と像ずれ量の関係について説明する。なお、デフォーカス量は、複数のＡ信号を連結して得られるＡ像信号と、複数のＢ信号を連結して得られるＢ像信号とからなる１対の像信号を用いて算出される。Ａ像信号およびＢ像信号のそれぞれも焦点検出用信号と呼ぶ。ここでは、撮像中心（撮像素子において撮像に用いる画素領域の中心）と光軸中心とが一致しているものとする。
図５を用いて、図４に示した撮像素子により取得可能なＡ信号およびＢ信号から得られるデフォーカス量と像ずれ量の関係について説明する。なお、デフォーカス量は、複数のＡ信号を連結して得られるＡ像信号と、複数のＢ信号を連結して得られるＢ像信号とからなる１対の像信号を用いて算出される。Ａ像信号およびＢ像信号のそれぞれも焦点検出用信号と呼ぶ。ここでは、撮像中心（撮像素子において撮像に用いる画素領域の中心）と光軸中心とが一致しているものとする。
【0067】
図５は、デフォーカス量ｄと一対の焦点検出用信号（Ａ像信号およびＢ像信号）間の像ずれ量との関係を模式的に示している。１３００は撮像素子の撮像面である。そして、１つのマイクロレンズを共有する第１フォトダイオード４０２および第２フォトダイオード４０３により、結像光学系の射出瞳が第１瞳部分領域１３０３と第２瞳部分領域１３０４に２分割されている。
【0068】
デフォーカス量ｄは、その大きさ｜ｄ｜が被写体像の結像位置から撮像面１３００までの距離を表す。被写体像の結像位置が撮像面１３００よりも被写体側にある前ピン状態では、負符号（ｄ＜０）とし、これとは反対の後ピン状態では正符号（ｄ＞０）として向きを定義する。被写体像の結像位置が撮像面１３００（すなわち合焦位置）にある合焦状態では、ｄ＝０である。例えば、被写体１３０１は合焦状態（ｄ＝０）に結像されているため合焦状態である。また、被写体１３０２の結像位置は撮像面１３００より被写体側（ｄ＜０）であるため、前ピン状態である。以下では、前ピン状態（ｄ＜０）と後ピン状態（ｄ＞０）とを併せて、デフォーカス状態（｜ｄ｜＞０）という。
【0069】
前ピン状態（ｄ＜０）では、被写体１３０２から受光した光束のうち、第１瞳部分領域１３０３（または第２瞳部分領域１３０４）を通過した光束は、集光した後、光束の重心位置Ｇ１（またはＧ２）を中心として幅Γ１（またはΓ２）に広がる。この場合、撮像面１３００上で被写体１３０２の像はボケた状態となる。ボケた像は、撮像素子に配列された各画素に設けられた第１フォトダイオード４０２（または第２フォトダイオード４０３）により受光され、Ａ信号（またはＢ信号）が生成される。
【0070】
よって、一対の焦点検出用信号（Ａ像信号およびＢ像信号）は、撮像面１３００上の重心位置Ｇ１（またはＧ２）で、幅Γ１（またはΓ２）をもった（ボケた）被写体像の画像データとしてメモリに記憶される。被写体像の幅Γ１（またはΓ２）は、デフォーカス量ｄの大きさ｜ｄ｜が増加するのに伴い、概ね比例して増加する。同様に、第１の焦点検出用信号と第２の焦点検出用信号との間の像ずれ量を「ｐ」とすると、像ずれ量の大きさ｜ｐ｜はデフォーカス量ｄの大きさ｜ｄ｜の増加に伴って増加する。
【0071】
例えば、図５に示すように、像ずれ量ｐは光束の重心位置の差「Ｇ１－Ｇ２」として定義することができ、その大きさ｜ｐ｜は、デフォーカス量の大きさ｜ｄ｜の増加に概ね比例して増加する。なお、後ピン状態（ｄ＞０）では、一対の焦点検出用信号（Ａ像信号およびＢ像信号）間の像ずれ方向が前ピン状態とは反対となるが、デフォーカス量の大きさ｜ｐ｜がデフォーカス量の大きさ｜ｄ｜に比例する。
【0072】
したがって、一対の焦点検出用信号（Ａ像信号およびＢ像信号）間の像ずれ量ｐを検出し、像ずれ量ｐを換算係数Ｋを用いてデフォーカス量に変換することにより、位相差ＡＦを実現できる。一対の焦点検出用信号（Ａ像信号およびＢ像信号）間の像ずれ量ｐは、Ａ像信号とＢ像信号とを相対的にシフトさせて相関量を計算し、良好な相関（信号の一致度）が得られるシフト量から求めることができる。なお、換算係数Ｋは結像光学系の入射角度、Ｆ値、光軸位置に依存する値を有する。したがって、レンズユニットに応じた換算係数Ｋを用いる。
【0073】
換算係数Ｋは例えばレンズユニットのレンズシステム制御回路２０５が有する不揮発性メモリに記憶されており、システム制御部２１８は装着されたレンズユニットから取得することができる。もちろん、不揮発性メモリ２２０にレンズユニットの識別情報と関連付けて変換係数Ｋを記憶しておき、装着されたレンズユニットの識別情報に基づいて不揮発性メモリ２２０から変換係数Ｋを取得するなど、他の方法で変換係数Ｋを取得してもよい。
一対の焦点検出検出用信号は、通常、焦点検出領域内の画素の信号に基づいて生成される。したがって、結像光学系ごとに焦点検出領域が設定されている場合、個々の焦点検出領域についてデフォーカス量が算出される。結像光学系のフォーカスレンズを個別に駆動可能な場合、結像光学系ごとに合焦距離を調整することができる。なお、焦点検出領域ごとに算出されたデフォーカス量をに基づく１つのデフォーカス量を複数の結像光学系の合焦距離の調整に用いてもよい。１つのデフォーカス量は、例えば平均値や代表値などであってよい。
一対の焦点検出検出用信号は、通常、焦点検出領域内の画素の信号に基づいて生成される。したがって、結像光学系ごとに焦点検出領域が設定されている場合、個々の焦点検出領域についてデフォーカス量が算出される。結像光学系のフォーカスレンズを個別に駆動可能な場合、結像光学系ごとに合焦距離を調整することができる。なお、焦点検出領域ごとに算出されたデフォーカス量をに基づく１つのデフォーカス量を複数の結像光学系の合焦距離の調整に用いてもよい。１つのデフォーカス量は、例えば平均値や代表値などであってよい。
【0074】
＜デフォーカス量算出処理＞
図６に示すフローチャートを用いて、デフォーカス量算出処理に関して説明する。
本実施形態で画像処理部２１４は、撮像素子における複数の画素の第１フォトダイオード４０２で得られるＡ信号を連結して第１焦点検出用信号（Ａ像信号）を生成する。また、Ａ像信号の生成に用いられる各画素の第２フォトダイオード４０３で得られるＢ信号を連結して第２焦点検出信号（Ｂ像信号）を生成する。
図６に示すフローチャートを用いて、デフォーカス量算出処理に関して説明する。
本実施形態で画像処理部２１４は、撮像素子における複数の画素の第１フォトダイオード４０２で得られるＡ信号を連結して第１焦点検出用信号（Ａ像信号）を生成する。また、Ａ像信号の生成に用いられる各画素の第２フォトダイオード４０３で得られるＢ信号を連結して第２焦点検出信号（Ｂ像信号）を生成する。
【0075】
Ｓ１４０１で画像処理部２１４（算出手段）は、撮像素子の、焦点検出領域に対応する領域に含まれる複数の画素のそれぞれから、Ａ信号とＢ信号とを取得する。上述したように、Ａ信号（またはＢ信号）はＡ＋Ｂ信号からＢ信号（またはＡ信号）を減じることによって取得してもよい。
【0076】
Ｓ１４０２で画像処理部２１４は、Ａ像信号とＢ像信号のデータ量を抑制するため、水平方向（行方向）における位置が等しい同色画素のＡ信号を垂直方向（列方向）に加算する。これにより、信号が２行分に圧縮される。さらに、画像処理部２１４は、列方向に加算したＡ信号について、緑（Ｇｒ）、赤（Ｒ）、青（Ｂ）、緑（Ｇｂ）の信号を加算することにより、輝度信号Ｙを生成する。この、行方向に並んだ複数の輝度信号ＹをＡ像信号とする。画像処理部２１４はＢ信号についても同様の加算処理を適用してＢ像信号を生成する。信号を加算することにより、加算方向のナイキスト周波数は非加算時の１／ｎとなる。ｎは加算画素数である。
【0077】
Ｓ１４０３で画像処理部２１４は、Ａ像信号とＢ像信号に、信号強度をそろえる（信号強度の差を抑制する）ための、シェーディング補正処理（光学補正処理）を適用する。シェーディング補正値は結像光学系の入射角度、Ｆ値、光軸位置に依存する値を有する。変換係数Ｋと同様、シェーディング補正値もレンズユニットや不揮発性メモリ２２０から取得することができる。
【0078】
Ｓ１４０４で画像処理部２１４は、Ａ像信号とＢ像信号の相関（信号の一致度）を良くして焦点検出精度を向上するために、Ａ像信号とＢ像信号に、特定の通過周波数帯域を有する空間バンドパスフィルタ処理を適用する。バンドパスフィルターの例としては、ＤＣ成分をカットしてエッジを抽出する｛１、４、４、４、０、－４、－４、－４、－１｝などの差分型フィルターや、高周波ノイズ成分を抑制する｛１、２、１｝などの加算型フィルターがある。
【0079】
Ｓ１４０５で画像処理部２１４は、フィルタ処理適用後のＡ像信号およびＢ像信号との相関量を算出する。相関量は、Ａ像信号およびＢ像信号を瞳分割方向における相対的なシフト量を変化させながら、シフト量ごとに算出する。
【0080】
バンドパスフィルタ処理後のＡ像信号およびＢ像信号を構成する信号数がＷ（＞２）であり、ｋ番目（1≦ｋ≦Ｗ）の信号をＡ（ｋ）、Ｂ（ｋ）とする。シフト量をｓ、シフト量ｓの範囲をΓとすると、相関量ＣＯＲは、式（１）により算出される。
ＣＯＲ（ｓ）＝Σ(k∈Ｗ)｜Ａ（ｋ）－Ｂ（ｋ－ｓ）｜， ｓ∈Γ （１）
ＣＯＲ（ｓ）＝Σ(k∈Ｗ)｜Ａ（ｋ）－Ｂ（ｋ－ｓ）｜， ｓ∈Γ （１）
【0081】
ｋ番目のＡ像信号Ａ（ｋ）とｋ－ｓ番目のＢ像信号Ｂ（ｋ－ｓ）との差分絶対値を信号数Ｗの範囲のｋについて累積し、シフト量ｓに対する相関量ＣＯＲ（ｓ）を算出する。シフト量は例えば１画素単位である。Ａ像信号およびＢ像信号が垂直方向に複数存在する場合、同じシフト量についてそれぞれのＡ像信号とＢ像信号の対について算出された相関量を加算してもよい。
【0082】
Ｓ１４０６で画像処理部２１４は、１画素単位のシフト量に対して算出された相関量ＣＯＲ（ｓ）に基づいて、相関量が最小値となるシフト量を１画素未満の単位で算出する。そして、画像処理部２１４は算出したシフト量を、Ａ像信号とＢ像信号との像ずれ量ｐとする。さらに、画像処理部２１４は、像ずれ量ｐに上述した変換係数Ｋを適用して（例えば乗算して）、デフォーカス量ｄに変換する。以上の処理により、デフォーカス量ｄが算出される。
【0083】
このように、デフォーカス量ｄを算出する過程において行われる信号補正に用いられる補正値や、像ずれ量ｐをデフォーカス量ｄに変換する変換係数Ｋは、レンズユニットの特性に依存した値を有する。そして、通常、焦点検出調整値は、光軸が１つで、かつ撮像素子の中心を通るレンズユニットを想定して算出されている。なお、ここで光軸が撮像素子の中心を通るとは設計上もしくは理想的な状態を示しており、製造誤差などによるズレがあってもよい。例えばレンズ枠による入射光のケラレは、レンズ枠の口径が同じであっても、光軸が１つの場合と複数の場合とで異なる。そのため、光軸が２つのレンズユニットに対して光軸が１つのレンズユニット同様にレンズ情報から焦点検出調整値を算出しても、適切な焦点検出調整値とはならず、結果としてデフォーカス量の精度が低下しうる。
【0084】
本実施形態では、１つの撮像素子を有する本体に対して複数の光軸を有する結像光学系が装着された場合においても、適切な焦点検出調整値を用いることにより、デフォーカス量の精度低下を抑制する。本実施形態においては、複数の光軸を有するレンズユニットに対する焦点検出調整値の例として、
・一対の焦点検出信号の強度をそろえるためのシェーディング補正係数
・像ずれ量ｐをデフォーカス量ｄに変換する変換係数Ｋ
・デフォーカス量に基づく合焦距離を補正するベストピント補正値
に関して説明する。しかし、本実施形態の概念は他の焦点検出調整値に対しても同様に適用できる。焦点検出調整値は基本的に焦点検出領域ごと、すなわち結像光学系ごとに用いられる。
・一対の焦点検出信号の強度をそろえるためのシェーディング補正係数
・像ずれ量ｐをデフォーカス量ｄに変換する変換係数Ｋ
・デフォーカス量に基づく合焦距離を補正するベストピント補正値
に関して説明する。しかし、本実施形態の概念は他の焦点検出調整値に対しても同様に適用できる。焦点検出調整値は基本的に焦点検出領域ごと、すなわち結像光学系ごとに用いられる。
【0085】
＜シェーディング補正係数＞
図７に１つの撮像素子を有するカメラ１００に、２つの光軸を有する２眼レンズユニット３００が装着された場合の光学系の概略断面図を示す。本実施形態における２眼レンズユニット３００は２つの結像光学系を有し、それぞれの結像光学系の光軸は、撮像素子の中心（撮像中心）を通る水平方向（撮像素子の長辺に平行な方向）の直線上かつ撮像中心から等距離の位置を通るものとする。したがって、図７は、撮像素子の中心と２つの光軸とを含む水平断面を示している。
図７に１つの撮像素子を有するカメラ１００に、２つの光軸を有する２眼レンズユニット３００が装着された場合の光学系の概略断面図を示す。本実施形態における２眼レンズユニット３００は２つの結像光学系を有し、それぞれの結像光学系の光軸は、撮像素子の中心（撮像中心）を通る水平方向（撮像素子の長辺に平行な方向）の直線上かつ撮像中心から等距離の位置を通るものとする。したがって、図７は、撮像素子の中心と２つの光軸とを含む水平断面を示している。
【0086】
各結像光学系のイメージサークルの直径は、撮像素子の有効画素領域の長辺の長さの約１／２であるものとする。図８（ａ）は、２眼レンズユニット３００を装着した状態で得られるＡ像信号とＢ像信号の信号強度の一例を示す。図８に示すように、撮像素子の中心を挟んで左右にそれぞれ光軸があるため、信号強度は撮像素子の中心で不連続な変化を示す。撮像素子の中心を通る１つの光軸を有する結像光学系が装着された場合、Ａ像信号およびＢ像信号の強度変化は連続的である。したがって、Ａ像信号およびＢ像信号の不連続な強度変化は１つの撮像素子に複数の光軸を有する結像光学系が装着された際の特徴的な事象である。
【0087】
図８（ｂ）は、図８（ａ）の強度変化を有するＡ像信号とＢ像信号の強度をそろえるためのシェーディング補正値の一例を示す。信号強度が不連続に変化するＡ像信号およびＢ像信号を補正するため、シェーディング補正値も２つのイメージサークルの境界において不連続に変化する。
【0088】
本実施形態において、２つの光軸を有する２眼レンズユニット３００に対するシェーディング補正値は、１つの光軸を有するレンズユニット２００に対するシェーディング補正値と同様、カメラ１００の例えば不揮発性メモリ２２０に予め記憶されている。システム制御部２１８は、装着されたレンズユニットが有する光軸の数に応じて、シェーディング補正に用いる補正値を選択する。なお、シェーディング補正値は、レンズユニットの機種ごとに予め算出し、レンズユニットの識別情報と関連付けて不揮発性メモリ２２０に記憶しておいてもよい。また、光軸の数に応じた補正値の算出式を不揮発性メモリ２２０に記憶しておき、シェーディング補正値の算出に必要な情報を（例えば装着されたレンズユニットから）取得し、算出式に適用してシェーディング補正値を算出してもよい。
【0089】
シェーディング補正値を算出する場合には、光軸の数および、光軸が通る撮像素子上の位置（以下、光軸位置という）が必要である。光軸中心を原点とした光学情報は、光軸位置を原点として取り扱う必要がある。そのため、複数の光軸を有する２眼レンズユニット３００のように、光軸が撮像素子の中心を通らないレンズユニットについては、光軸位置がシェーディング補正値を算出する上で重要となる。
【0090】
本実施形態では、光軸位置（Ｌｘ，Ｌｙ）を例えば２眼レンズユニット３００から取得し、光軸を原点として表現される結像光学系の光学情報を、撮像素子の座標系の情報に換算する。例えば表１に示すように、１つの結像光学系の光学情報として、光軸から１０ｍｍ離れた位置における光の入射角度が（光軸に対して）５度であり、光軸位置（Ｌｘ，Ｌｙ）＝（５ｍｍ，０ｍｍ）が得られたとする。
【0091】
光軸位置（５ｍｍ，０ｍｍ）は、撮像素子の中心を原点とした直交座標系において、ｘ＝５ｍｍ，ｙ＝０ｍｍの位置を光軸が通ることを示している。したがって、光学情報から、光軸から１０ｍｍ離れた撮像装置上の点（例えば（１５ｍｍ，０ｍｍ）や（－５ｍｍ，０ｍｍ））における光の入射角度が５度であることがわかる。
【0092】
このように。撮像素子の座標系で表された光軸位置（Ｌｘ，Ｌｙ）を取得することで、光軸を原点として表現される光学情報を撮像素子の座標系における光学情報に換算することができる。そして、撮像素子の座標系における光学情報を用いることにより、適切なシェーディング補正値を算出することができる。
【表1】
【0093】
像ずれ量をデフォーカス量に変換する変換係数に関してもシェーディング補正値と同様に、２つの光軸を有する２眼レンズユニット３００と、１つの光軸を有するレンズユニット２００とについて、カメラ１００の例えば不揮発性メモリ２２０に予め記憶されている。なお、光軸が複数あるレンズユニットについては、補正を適用する座標（または焦点検出領域）に最も近い光軸位置に関する変換係数を用いると変換精度の点で有利である。
【0094】
＜ベストピント補正値＞
撮像面位相差方式の焦点検出によって得られたデフォーカス量に基づく合焦距離に結像光学系を焦点調節して撮影された画像が、人間が観察した際に最も合焦度合いが高いと感じる画像と一致しない場合がある。これは、デフォーカス量の算出に用いられる空間周波数帯域と、人間の目で観察する際の空間周波数帯域とが一致しないことが一因と考えられる。そのため、撮像装置において検出された合焦距離を、人間が最良の合焦状態と感じる画像が得られる合焦距離に補正することが知られている。この合焦距離の補正に用いられる補正値をベストピント補正値と呼ぶ。
撮像面位相差方式の焦点検出によって得られたデフォーカス量に基づく合焦距離に結像光学系を焦点調節して撮影された画像が、人間が観察した際に最も合焦度合いが高いと感じる画像と一致しない場合がある。これは、デフォーカス量の算出に用いられる空間周波数帯域と、人間の目で観察する際の空間周波数帯域とが一致しないことが一因と考えられる。そのため、撮像装置において検出された合焦距離を、人間が最良の合焦状態と感じる画像が得られる合焦距離に補正することが知られている。この合焦距離の補正に用いられる補正値をベストピント補正値と呼ぶ。
【0095】
そして、ベストピント補正値が光軸位置からの距離に応じた値を有する場合がある。例えば、ベストピント補正値が、光軸位置を原点とした相対座標（ｘ，ｙ）に応じて以下の式で表される場合である。
ベストピント補正値＝ａ００＋ａ１０＊ｘ＋ａ０１＊ｙ＋ａ１１＊ｘｙ
ここで、ａ００，ａ１０，ａ０１，ａ１１は係数である。光軸位置が撮像素子の中心と一致している場合、上式で撮像素子上の任意の相対座標（ｘ，ｙ）におけるベストピント補正値を算出できる。焦点検出領域についてベストピント補正値を求め、その焦点検出領域について検出された合焦距離をベストピント補正値によって補正する。補正後の合焦距離に基づいて結像光学系の合焦距離を調整することにより、人間が最良の合焦状態と感じる画像が得られるようになる。
ベストピント補正値＝ａ００＋ａ１０＊ｘ＋ａ０１＊ｙ＋ａ１１＊ｘｙ
ここで、ａ００，ａ１０，ａ０１，ａ１１は係数である。光軸位置が撮像素子の中心と一致している場合、上式で撮像素子上の任意の相対座標（ｘ，ｙ）におけるベストピント補正値を算出できる。焦点検出領域についてベストピント補正値を求め、その焦点検出領域について検出された合焦距離をベストピント補正値によって補正する。補正後の合焦距離に基づいて結像光学系の合焦距離を調整することにより、人間が最良の合焦状態と感じる画像が得られるようになる。
【0096】
しかしながら、光軸位置が撮像素子の中心と一致していない場合、上式ではベストピント補正値を表現できない。本実施形態では、上述した光軸位置（Ｌｘ，Ｌｙ）に基づいて上式を修正することにより、光軸位置が撮像素子の中心と一致しない結像光学系についても、撮像素子の中心を原点とする任意の相対座標（ｘ，ｙ）におけるベストピント補正値を算出可能にする。
【0097】
具体的には、上式を光軸位置（Ｌｘ，Ｌｙ）を用いて以下の様に修正することで、光軸位置（Ｌｘ，Ｌｙ）の結像光学系について、撮像素子の中心を原点とする任意の相対座標（ｘ，ｙ）におけるベストピント補正値を算出可能となる。
ベストピント補正値＝ａ００＋ａ１０（ｘ－Ｌｘ）＋ａ０１（ｙ－Ｌｙ）＋ａ１１（ｘ－Ｌｘ）（ｙ－Ｌｙ）
ベストピント補正値＝ａ００＋ａ１０（ｘ－Ｌｘ）＋ａ０１（ｙ－Ｌｙ）＋ａ１１（ｘ－Ｌｘ）（ｙ－Ｌｙ）
【0098】
光軸を原点とした座標を用いた関数で表されるベストピント補正値を、光軸位置に基づいて補正することにより、光軸を複数有するレンズユニットのように光軸位置が撮像素子の中心と異なる結像光学系を有するレンズユニットに対して適切な補正値が算出できる。なお、撮像素子の座標系で表される光軸位置（Ｌｘ，Ｌｙ）はレンズユニットから通信を通じて取得することができる。あるいは、撮像装置にレンズユニットの識別情報と関連付けて予め記憶された光軸位置（Ｌｘ，Ｌｙ）を、装着されたレンズユニットの識別情報に基づいて参照することによって取得してもよい。光軸を複数有するレンズユニットについては、補正する座標（ｘ，ｙ）に最も近い光軸位置を用いて補正したベストピント補正値を用いると、精度の良い補正が可能である。
【0099】
なお、本実施形態では光軸位置が撮像素子の中心であることを前提とした焦点検出調整値として、シェーディング補正値、変換係数、およびベストピント補正値に関して説明した。しかし、本実施形態の技術思想は、光軸位置が撮像素子の中心であることを前提とした焦点検出調整値を光軸位置の情報に基づいて補正することであり、光軸位置が撮像素子の中心であることを前提とした任意の焦点検出調整値に適用可能である。
【0100】
なお、光軸が異なる結像光学系を複数有するレンズユニットについては、原則として結像光学系ごとの光学情報（光軸位置、入射角度など）を取得もしくは記憶しておく必要がある。しかし、光軸位置以外の光学情報が共通する結像光学系については光軸位置以外の光学情報を１つの結像光学系についてのみ取得もしくは記憶することにより、レンズユニットや撮像装置本体の記憶容量を削減することができる。
【0101】
以上の通り、本実施形態によれば、１つの撮像素子を有する撮像装置に、光軸を複数有するレンズユニットが装着された場合、撮像素子においてそれぞれの光軸が通る位置情報を用いて、デフォーカス量の算出処理に用いる補正値を算出するようにした。そのため、撮像素子の中心を通る１つの光軸を有する一般的なレンズユニットを想定した算出方法では適切な値が得られない補正値についても、適切な値を得ることができる。その結果、１つの撮像素子を有する撮像装置に、光軸を複数有するレンズユニットが装着された場合であっても精度のよい撮像面位相差検出方式の焦点検出が実現できる。
【0102】
●（第２実施形態）
次に、本発明の第２実施形態について説明する。第１実施形態により、１つの撮像素子を有する撮像装置に、光軸を複数有するレンズユニットが装着された場合であっても精度のよい撮像面位相差検出方式の焦点検出が実現できることを説明した。本実施形態は、１つの撮像素子を有する撮像装置に、光軸を複数有するレンズユニットが装着された場合におけるマニュアルフォーカス操作を支援する構成（フォーカスガイド機能）に関する。
次に、本発明の第２実施形態について説明する。第１実施形態により、１つの撮像素子を有する撮像装置に、光軸を複数有するレンズユニットが装着された場合であっても精度のよい撮像面位相差検出方式の焦点検出が実現できることを説明した。本実施形態は、１つの撮像素子を有する撮像装置に、光軸を複数有するレンズユニットが装着された場合におけるマニュアルフォーカス操作を支援する構成（フォーカスガイド機能）に関する。
【0103】
フォーカスガイド機能は、焦点検出領域の位置と、焦点検出領域の合焦度合いとをユーザに提示する機能である。例えばライブビュー表示に焦点検出領域の位置および合焦度合いを表す指標やマークなどのＧＵＩを重畳表示することによって、焦点検出領域の位置と合焦度合いをユーザに提示することができる。
【0104】
撮像素子の中心を通る１つの光軸を有することが想定されている通常のレンズユニット２００が装着されている場合、撮像素子上に形成される像は１つである。したがって、フォーカスガイド機能も、１つの像について提供すればよい。しかしながら、光軸を複数有するレンズユニットが装着された場合、撮像素子上に複数の像が形成される。例えば２眼レンズユニット３００がカメラ１００に装着された場合、撮像素子（撮像部２１１）上には２つの像が形成される。
【0105】
この場合、１つの像についてのみフォーカスガイド機能を提供すると、フォーカスガイドを提供しない像のマニュアルフォーカスを精度よく行うことが困難になる。また、個々の像の合焦度合いをまとめて把握することができない。したがって、１つの撮像素子上に複数の像が形成される場合に適したフォーカスガイド機能を提供する必要がある。
【0106】
本実施形態で提供するフォーカスガイド機能の例を、図９に示す。図９は、右眼光学系３０１Ｒと左眼光学系３０１Ｌを用いて撮影されたライブビュー画像の右像８００Ｒおよび左像８００Ｌのそれぞれに、フォーカスガイド機能を提供している。具体的には、右像８００Ｒおよび左像８００Ｌに、焦点検出領域の位置および合焦度合いに関する情報を示す指標８０１Ｒおよび８０１Ｌがそれぞれ重畳表示されている。指標８０１Ｒおよび８０１Ｌは、同じ像高を有する位置に表示される。図９では、指標８０１Ｒおよび８０１Ｌがそれぞれの結像光学系の光軸位置を原点とした同一相対座標に表示されている例を示している。
【0107】
本実施形態においてフォーカスガイド機能は、システム制御部２１８の制御にしたがって画像処理部２１４が提供する。具体的には、ライブビュー表示処理と並行して、画像処理部２１４は、システム制御部２１８から通知された焦点検出領域について結像光学系のデフォーカス量を算出し、信頼度とともにシステム制御部２１８に出力する。そして、システム制御部２１８から指示される表示形態に基づいて指標の画像を生成し、システムメモリ２１９内のビデオメモリ領域の、焦点検出領域に対応するアドレス領域に指標の画像を書き込む。これにより、ライブビュー画像に指標が重畳され、ユーザに焦点検出領域の位置や合焦度合いに関する情報を提供することができる。なお、焦点検出領域についてデフォーカス量を算出するとは、焦点検出領域内の画素から得られるＡ像信号およびＢ像信号に基づいてデフォーカス量を算出することである。
【0108】
次に、図１０（Ａ）～図１０（Ｄ）を用いて、フォーカスガイド機能が提供する指標の具体例について説明する。
指標は、焦点検出領域の外周に表示される枠状の第１の指標５００と、焦点検出領域を包含し、焦点検出領域と共通の中心を有する仮想円５１０に接する位置に表示される第３の指標５０２を有する。また、指標は、仮想円５１０より半径が第３の指標５０２の長さ分大きな仮想円５１１に接する位置に表示される第２の指標５０１とを有する。
指標は、焦点検出領域の外周に表示される枠状の第１の指標５００と、焦点検出領域を包含し、焦点検出領域と共通の中心を有する仮想円５１０に接する位置に表示される第３の指標５０２を有する。また、指標は、仮想円５１０より半径が第３の指標５０２の長さ分大きな仮想円５１１に接する位置に表示される第２の指標５０１とを有する。
【0109】
また、第１の指標５００は、焦点検出領域の位置と大きさを示すとともに、表示形態によって焦点検出領域が合焦状態であるか非合焦状態であるかを示す。
第２の指標５０１および第３の指標５０２は、両者の表示形態および位置関係によって、焦点検出領域の合焦度合いを示す。具体的には、合焦状態および非合焦状態に加え、非合焦状態については、被写体より至近側に合焦している状態（前ピン）、被写体より無限遠側に合焦している状態（後ピン）の区別と、合焦状態からのズレ量を提示する。
第２の指標５０１および第３の指標５０２は、両者の表示形態および位置関係によって、焦点検出領域の合焦度合いを示す。具体的には、合焦状態および非合焦状態に加え、非合焦状態については、被写体より至近側に合焦している状態（前ピン）、被写体より無限遠側に合焦している状態（後ピン）の区別と、合焦状態からのズレ量を提示する。
【0110】
図１０（Ａ）は、焦点検出領域が合焦状態にある場合の指標の表示形態の一例を示している。合焦状態において、第１の指標５００は切れ目のない枠として表示される。また、第２の指標５０１は下向きに尖ったくさび状、第３の指標５０２は上向き尖ったくさび状である。また、第２の指標５０１および第３の指標５０２は、第１の指標５００の中心を通る垂直線上に、かつ先端が接するように対向して表示される。また、合焦状態では第２の指標５０１および第３の指標５０２は内部が塗りつぶされた表示形態を有する。第１～第３の指標５００～５０２の表示形態は、合焦状態と非合焦状態とが視覚的に識別できれば、色、明るさ、点滅の有無など、形状や塗りつぶしの有無以外の属性を異ならせてもよい。例えば、第２の指標５０１および第３の指標５０２を、合焦状態では緑色、非合焦状態では白色で表示することができる。
【0111】
図１０（Ｂ）および図１０（Ｃ）は、非合焦状態でデフォーカス量の信頼度が高い場合の指標の表示形態の例を示している。
図１０（Ｂ）は、前ピン状態の指標の表示形態の例を示す。非合焦状態において、第１の指標５００は切れ目のある枠として表示される。また、第２指標５０１の表示位置は合焦状態と変わらないが、表示形態が異なる。ここでは、合焦状態では塗りつぶされた状態であったが、非合焦状態では中空状態とする例を示している。一方、第３の指標５０２は、２つの指標５０２Ａおよび５０２Ｂとなり、デフォーカス量の大きさに応じた距離だけ合焦状態での表示位置から左（右）に離れた位置にそれぞれ表示される。第２の指標５０１は、下向きであることにより被写体より近くに合焦していることを示し、また合焦状態と同じ表示位置であることにより、指標５０２Ａ（または指標５０２Ｂ）が示すデフォーカス量の大きさを把握しやすくしている。
図１０（Ｂ）は、前ピン状態の指標の表示形態の例を示す。非合焦状態において、第１の指標５００は切れ目のある枠として表示される。また、第２指標５０１の表示位置は合焦状態と変わらないが、表示形態が異なる。ここでは、合焦状態では塗りつぶされた状態であったが、非合焦状態では中空状態とする例を示している。一方、第３の指標５０２は、２つの指標５０２Ａおよび５０２Ｂとなり、デフォーカス量の大きさに応じた距離だけ合焦状態での表示位置から左（右）に離れた位置にそれぞれ表示される。第２の指標５０１は、下向きであることにより被写体より近くに合焦していることを示し、また合焦状態と同じ表示位置であることにより、指標５０２Ａ（または指標５０２Ｂ）が示すデフォーカス量の大きさを把握しやすくしている。
【0112】
図１０（Ｃ）は、後ピン状態の指標の表示形態の例を示す。非合焦状態であるため、第１の指標５００は切れ目のある枠として表示される。また、第３指標５０２の表示位置は合焦状態と変わらないが、表示形態が異なる。ここでは、合焦状態では塗りつぶされた状態であったが、非合焦状態では中空状態とする例を示している。一方、第２の指標５０１は、２つの指標５０１Ａおよび５０１Ｂとなり、デフォーカス量の大きさに応じた距離だけ合焦状態での表示位置から左右に離れた位置にそれぞれ表示される。第３の指標５０２は、上向きであることにより被写体より遠くに合焦していることを示し、また合焦状態と同じ表示位置であることにより、指標５０１Ａ（または指標５０１Ｂ）が示すデフォーカス量の大きさを把握しやすくしている。
【0113】
なお、ここでは前ピン状態の場合に第３の指標５０２を２つにするものとしたが、数を増やさなくてもよい。単に、図１０（Ｂ）における指標５０２Ａまたは指標５０２Ｂの一方を表示してもよい（すなわち、第３の指標５０２の表示形態と表示位置を変更してもよい）。同様に、後ピン状態の場合に、図１０（Ｃ）における指標５０１Ａまたは指標５０１Ｂの一方を表示してもよい（すなわち、第２の指標５０２の表示形態と表示位置を変更してもよい）。
【0114】
図１０（Ｄ）は、デフォーカス量が大きく、焦点検出結果の信頼性が低い場合（例えば像のぼけが大きい場合）の指標の表示形態の例を示す。この場合、前ピン／後ピン状態（デフォーカス方向）も、デフォーカス量の大きさも提示しない。フォーカスガイド機能を提供できるに足りる焦点検出ができないことをユーザに報知する形態で指標を表示する。
【0115】
ここでは、第１の指標５００は非合焦状態の表示形態とし、第２の指標５０１および第３の指標５０２を、合焦状態とも、デフォーカス方向およびデフォーカス量を提示可能な非合焦状態とも異なる表示形態とする。具体的には、第２の指標５０１および第３の指標５０２の形状をくさび状から太さが一定の棒状または線状に変更するとともに、他の合焦状態とは異なる色（例えばグレー）で表示する。また、第２の指標５０１および第３の指標５０２の表示位置をあらかじめ定められた固定位置とする。図１０（Ｄ）に示す例では前ピン状態と同様に第３の指標５０２を２つの指標５０２Ａおよび５０２Ｂに分けているが、必ずしも指標の数を増やす必要はない。なお、デフォーカス量の信頼度は、公知の任意の手法により画像処理部２１４が算出することができる。例えば相関度の最大値が閾値に満たない場合にはデフォーカス量の信頼度が低いと見なしてもよい。
【0116】
なお、本実施形態においては、撮像面位相差方式の焦点検出用の構成を利用して得られたデフォーカス量および方向に基づいてフォーカスガイド機能を提供するものとした。しかし、本実施形態の基本的な技術思想は、焦点検出領域の合焦度合いを取得する手法に依存しない。したがって、例えばコントラスト評価値など、個々の結像光学系が形成する像の合焦度合いに依存する他の評価値に基づいて、結像光学系ごとにフォーカスガイド機能を提供してもよい。
【0117】
＜フォーカスガイドの表示制御処理＞
次に、図１１に示すフローチャートを用いて、システム制御部２１８が実行するフォーカスガイドの表示制御処理について説明する。この処理は、不揮発性メモリ２２０に記録されたプログラムをシステムメモリ２１９に展開してシステム制御部２１８が実行することで実現する。なお、フォーカスガイドの表示制御処理は、ライブビュー表示処理と並行して実行される。
次に、図１１に示すフローチャートを用いて、システム制御部２１８が実行するフォーカスガイドの表示制御処理について説明する。この処理は、不揮発性メモリ２２０に記録されたプログラムをシステムメモリ２１９に展開してシステム制御部２１８が実行することで実現する。なお、フォーカスガイドの表示制御処理は、ライブビュー表示処理と並行して実行される。
【0118】
ここで説明するフォーカスガイドの表示制御処理は、装着されているレンズユニットが有する光軸の数（結像光学系の数）に依存しない。結像光学系が形成する像ごとにフォーカスガイドの表示制御処理を実行すればよい。
【0119】
Ｓ６０１でシステム制御部２１８は、焦点検出領域の位置および大きさを画像処理部２１４に通知する。光軸を複数有する２眼レンズユニット３００が装着されている際の焦点検出領域の位置および大きさの決定方法に特に制限はない。光軸が１つのレンズユニット２００が装着されている場合と同様、ユーザが指定してもよいし、顔などの特徴領域に基づいて設定されてもよいし、予め定められた位置と大きさで設定されてもよい。ただし、個々の結像光学系が形成する像について、同じ位置と大きさの焦点検出領域が設定されるものとする。画像処理部２１４は、システム制御部２１８から通知された焦点検出領域について、第１実施形態で説明したようにしてデフォーカス量を算出する。
【0120】
Ｓ６０２でシステム制御部２１８は、画像処理部２１４から、焦点検出領域における結像光学系のデフォーカス量およびその信頼度を取得する。信頼度は例えばデフォーカス量に対応する相関量であってよい。
【0121】
Ｓ６０４でシステム制御部２１８は、Ｓ６０２で取得したデフォーカス量の信頼度が高いか否かを判定する。システム制御部２１８は、例えば、取得した信頼度が予め定められた閾値以上であれば、デフォーカス量の信頼度が高いと判定することができる。
【0122】
システム制御部２１８は、デフォーカス量の信頼度が高いと判定されればＳ６０５を、判定されなければＳ６１０を実行する。
Ｓ６１０でシステム制御部２１８は、指標を大ボケ状態の表示形態（第４の表示形態）で表示することを決定し、Ｓ６１１を実行する。第４の表示形態は図１０（Ｄ）に示した表示形態である。
Ｓ６１０でシステム制御部２１８は、指標を大ボケ状態の表示形態（第４の表示形態）で表示することを決定し、Ｓ６１１を実行する。第４の表示形態は図１０（Ｄ）に示した表示形態である。
【0123】
Ｓ６０５でシステム制御部２１８は、焦点検出領域が合焦状態か非合焦状態かを判定する。システム制御部２１８は、デフォーカス量の絶対値が閾値以下である焦点検出領域は合焦状態、デフォーカス量の絶対値が閾値を超える焦点検出領域は非合焦状態と判定することができる。システム制御部２１８は、合焦状態と判定されればＳ６０７を、非合焦状態と判定されればＳ６０６を実行する。
【0124】
Ｓ６０７でシステム制御部２１８は、指標を合焦状態の表示形態（第１の表示形態）で表示することを決定し、Ｓ６１１を実行する。第１の表示形態は図１０（Ａ）に示した表示形態である。
【0125】
Ｓ６０６でシステム制御部２１８は、前ピン状態であるか後ピン状態であるかを判定する。システム制御部２１８は、デフォーカス量の符号（デフォーカス方向）に基づいて、前ピン状態であるか後ピン状態であるかを判定することができる。システム制御部２１８は、前ピン状態と判定されればＳ６０８を、後ピン状態と判定されればＳ６０９を実行する。
【0126】
Ｓ６０８でシステム制御部２１８は、指標を前ピン状態の表示形態（第２の表示形態）で表示することを決定し、Ｓ６１１を実行する。第２の表示形態は図１０（Ｂ）に示した表示形態である。
Ｓ６０９でシステム制御部２１８は、指標を後ピン状態の表示形態（第３の表示形態）で表示することを決定し、Ｓ６１１を実行する。第３の表示形態は図１０（Ｃ）に示した表示形態である。
Ｓ６０９でシステム制御部２１８は、指標を後ピン状態の表示形態（第３の表示形態）で表示することを決定し、Ｓ６１１を実行する。第３の表示形態は図１０（Ｃ）に示した表示形態である。
【0127】
Ｓ６１１でシステム制御部２１８は、指標の表示位置を決定し、表示形態とともに画像処理部２１４に通知する。画像処理部２１４は、通知に従って、表示形態に応じた指標の画像を生成し、表示位置に応じたビデオメモリ領域のアドレスに指標の画像を書き込む。これにより、ライブビュー画像に指標が重畳されてＥＶＦ２１７または表示部１０８に表示される。
【0128】
次に、図１２に示すフローチャートを用いて、ライブビュー表示動作について説明する。この処理は、不揮発性メモリ２２０に記録されたプログラムをシステムメモリ２１９に展開してシステム制御部２１８が実行することで実現する。この処理は、例えば撮影スタンバイ状態や動画撮影時など、ライブビュー表示を行う場合に実行することができる。
【0129】
Ｓ７０１でシステム制御部２１８は、ＥＶＦ２１７または表示部１０８へのライブビュー表示を開始する。具体的には、システム制御部２１８は、撮像部２１１で動画の撮影を継続して実行しながら、画像処理部２１４で表示用画像を生成し、システムメモリ２１９のビデオメモリ領域に順次書き込むように制御する。これにより、ＥＶＦ２１７または表示部１０８にライブビュー画像が表示される。Ｓ７０２以降の処理は、ライブビュー表示と並行して実行される。
【0130】
Ｓ７０２でシステム制御部２１８は、装着されているレンズユニットの種別（光軸数）を確認する。システム制御部２１８は、通信端子１２４および、通信端子２０６または３０６を介して、レンズシステム制御回路２０５または３０３と通信し、レンズ種別情報を確認する。レンズ種別情報はレンズユニットの機種を特定可能な情報と、光軸数とを含むものとする。なお、レンズ種別情報はカメラ１００の電源投入時や、レンズユニットが交換された際などにレンズユニットからカメラ１００に送信されるレンズ情報に含まれる。したがって、Ｓ７０２でシステム制御部は、レンズユニットと通信せずに、既に取得済みのレンズ情報を参照してもよい。
【0131】
システム制御部２１８は、光軸が１つのレンズユニットが装着されていると判定されればＳ７０３を、光軸が複数（ここでは２つ）のレンズユニットが装着されていると判定されればＳ７０４を実行する。
【0132】
Ｓ７０３でシステム制御部２１８は、光軸が１つのレンズユニット（通常のレンズユニット）用のフォーカスガイド表示処理を実行する。フォーカスガイド表示処理は、図１１のフローチャートを用いて説明したフォーカスガイド表示制御処理であってよい。これにより、１つの結像光学系が形成するライブビュー画像に１つのフォーカスガイドが表示される。
【0133】
Ｓ７０４およびＳ７０５でシステム制御部２１８は、２つの結像光学系が形成する像（左像および右像）のそれぞれについて、フォーカスガイド表示処理を行う。具体的には、Ｓ７０４でシステム制御部２１８は、左像についてのフォーカスガイド表示処理、Ｓ７０５で右像についてのフォーカスガイド表示処理を行う。個々の像に対するフォーカスガイド表示処理は、図１１のフローチャートを用いて説明したフォーカスガイド表示制御処理であってよい。これにより、図９に示したライブビュー画像８００の左像８００Ｌに指標８０１Ｌが、右像８００Ｒに指標８０１Ｒが、それぞれ表示される。指標８０１Ｌおよび８０１Ｒは像内の同じ位置に表示される。
【0134】
Ｓ７０６でシステム制御部２１８は、ライブビュー表示の終了操作を検出したか否かを判定する。システム制御部２１８は、終了操作を検出したと判定されればライブビュー表示を終了し、終了操作を検出したと判定されなければＳ７０２からの処理を繰り返し、ライブビュー表示を継続させる。なお、ここではＳ７０２からの処理を繰り返すものとしたが、Ｓ７０２を１度処理した後は、レンズユニットが取り外されるまで、Ｓ７０２の判定結果に従ってＳ７０３およびＳ７０６、もしくはＳ７０４からＳ７０６を繰り返し実行してもよい。
【0135】
以上説明したように、本実施形態では、装着されたレンズユニットの光軸数に応じて、結像光学系が形成するライブビュー画像ごとにフォーカスガイドを表示する。したがって、光軸（結像光学系）を２つ有する２眼レンズユニット３００が装着された場合には、ライブビュー画像の左像と右像のそれぞれフォーカスガイドが表示される。
【0136】
本実施形態によれば、例えばＶＲ１８０用の画像を撮影するための２眼レンズユニット３００をカメラ１００に装着した場合、画面内の２つのライブビュー画像のそれぞれにフォーカスガイドが表示される。そのため、個々のライブビュー画像の合焦度合いを容易に把握することができる。また、結像光学系の合焦距離を調整する際、すべての結像光学系の合焦距離が連動して調整される場合には優先して合焦させる像を選択できる。また、結像光学系ごとに合焦距離を調整可能な場合には、結像光学系ごとに正確に合焦距離を調整することができる。いずれの場合も、多眼レンズ装着時のマニュアルフォーカス操作を有効に支援することができる。
【0137】
なお、本実施形態では焦点検出の結果得られたデフォーカス量をフォーカスガイドの表示に使っているが、このデフォーカス量の算出のために、第１の実施形態で説明した補正値を用いてデフォーカス量を算出するようにしても良い。これにより、より精度の高く合焦状態を示したフォーカスガイド表示を実現することが可能である。
【0138】
●（第３実施形態）
次に、本発明の第３実施形態について説明する。本実施形態は、結像光学系間の合焦度合いの差をマニュアル操作で調整するためのガイド機能に関する。
次に、本発明の第３実施形態について説明する。本実施形態は、結像光学系間の合焦度合いの差をマニュアル操作で調整するためのガイド機能に関する。
【0139】
図１３は、本実施形態で２眼レンズユニット３００が装着された際のライブビュー表示時にフォーカスガイド機能が提供する指標の例を示す図である。本実施形態では、左像と右像の焦点検出領域における合焦度合いの差を示す指標を提供する。
【0140】
具体的には、図１２のＳ７０４およびＳ７０５におけるフォーカスガイド表示処理において取得される左眼光学系３０１Ｌおよび右眼光学系３０１Ｒのデフォーカス量に基づいて、合焦度合いの差を示す指標を表示する。図１３に示すように、指標は、軸９００と、原点（差＝０）を示すインジケータ９０１と、差の方向を示す正負のインジケータ９０２および９０３と、実際の合焦度合いの差を示すマーク９０４とを有する。
【0141】
合焦度合いの差は、一方の結像光学系に対するデフォーカス量を基準とした相対的な値および方向で示される。例えば、左眼光学系３０１Ｌのデフォーカス量を基準とした場合、合焦度合いの差は以下の式によって得ることができる。
合焦度合いの差 ＝ 右眼光学系３０１Ｒのデフォーカス量 － 左眼光学系３０１Ｌのデフォーカス量
なお、合焦度合いの差の符号は、前ピンを正、後ピンを負とする。したがって、合焦度合いの差は、基準画像（左像）よりも他方の画像（右像）が前ピンであれば正の値、後ピンであれば負の値となる。
合焦度合いの差 ＝ 右眼光学系３０１Ｒのデフォーカス量 － 左眼光学系３０１Ｌのデフォーカス量
なお、合焦度合いの差の符号は、前ピンを正、後ピンを負とする。したがって、合焦度合いの差は、基準画像（左像）よりも他方の画像（右像）が前ピンであれば正の値、後ピンであれば負の値となる。
【0142】
図１３（Ａ）は、左像と右像の合焦度合い（左眼光学系３０１Ｌと右眼光学系３０１Ｒのデフォーカス量）が同一である（差分なし）と判定された際の指標の第１の表示形態の一例である。合焦度合いの差が０と判定された場合、マーク９０４は軸９００においてインジケータ９０１が示す位置（基準位置）を指すように配置される。また、合焦度合いの差が０と判定された場合は、他の場合と指標の色や視覚効果（点滅の有無など）を異ならせてもよい。例えば、合焦度合いの差が０と判定された場合は指標を緑、それ以外の場合は指標を白とすることができる。
【0143】
図１３（Ｂ）、図１３（Ｃ）は、それぞれ第２の表示形態と第３の表示形態の一例を示す図である。これらの表示形態は、合焦度合いの差が０ではないが、デフォーカス量の信頼度が高い場合に、デフォーカス量の差に基づいて合焦度合いの差の大きさと方向を示すために用いられる。
【0144】
図１３（Ｂ）は、基準画像（左像）に対し、もう一方の画像（右像）の合焦距離が至近側（正方向）にずれている場合、つまり、左像に対して右像が前ピン状態である場合における指標の第２の表示形態の例を示す。この場合、マーク９０４はインジケータ９０１よりも右側（正方向）に、合焦度合いの差に応じた距離だけ移動した位置を指すように配置される。
【0145】
図１３（Ｃ）は、基準画像（左像）に対し、もう一方の画像（右像）の合焦距離が無限遠側（負方向）にずれている場合、つまり、左像に対して右像が後ピン状態である場合における指標の第３の表示形態の例を示す。この場合、マーク９０４はインジケータ９０１よりも左側（負方向）に、合焦度合いの差に応じた距離だけ移動した位置を指すように配置される。
【0146】
第２の表示形態と第３の表示形態では、マーク９０４の位置によって、左像と右像の相対的な合焦度合いの差の大きさと方向をユーザに示すことができる。具体的には、差分が０である基準点を示すインジケータ９０１が指す軸９００上の位置からマーク９０４の距離によって合焦度合いの差の大きさを示すことができる。また、インジケータ９０１が指す軸９００上の位置に対してマーク９０４が右側に位置するか左側に位置するかによって、基準画像に対して他方の画像の合焦距離が至近側もしくは無限遠側のどちらにずれているのかを示すことができる。
【0147】
図１３（Ｄ）は、左像、右像、またはその両方が大きくボケている場合など、少なくとも一方の結像光学系についてのデフォーカス量の信頼度が低い場合における指標の第４の表示形態の例を示す。この場合、上述の式で得られる合焦度合いの差の信頼度も低くなるため、合焦度合いの差の大きさおよび方向を示すマーク９０４は表示しない。また、指標のうち、常時表示される軸９００およびインジケータ９０１～９０３について、第４の表示形態では第１～第３の表示形態とは色や視覚効果（点滅の有無など）を異ならせてもよい。例えば、表示色をグレーにすることができる。
【0148】
なお、図１３（Ａ）～図１３（Ｄ）に示した表示形態は単なる例示であり、合焦度合いの差を数値を用いて表示したり、異なる形状のマークやインジケータを用いたりするなど、他の形態の指標を用いて合焦度合いの差を示してもよい。
【0149】
次に、図１４に示すフローチャートを用いて、システム制御部２１８が実行する、左右像の合焦度合いの差分の表示制御処理について説明する。この処理は、２眼レンズユニット３００がカメラ１００に装着されている場合に実行される。また、この処理は、不揮発性メモリ２２０に記録されたプログラムをシステムメモリ２１９に展開してシステム制御部２１８が実行することで実現する。なお、左右像の合焦度合いの差分の表示制御処理は、ライブビュー表示処理と並行して実行される。また、第２実施形態で説明したフォーカスガイドの表示制御処理とも並行して実行することができる。
【0150】
Ｓ１００１でシステム制御部２１８は、右眼光学系３０１Ｒおよび左眼光学系３０１Ｌのデフォーカス量と信頼度を画像処理部２１４から取得する。フォーカスガイドの表示制御処理を実行している場合、図１１のＳ６０２で取得したデフォーカス量と信頼度を参照してもよい。そして、システム制御部２１８は、少なくとも一方のデフォーカス量の信頼度が低いか否かを判定する。システム制御部２１８は、少なくとも一方のデフォーカス量の信頼度が低いと判定されればＳ１００８を実行し、判定されなければＳ１００２を実行する。
【0151】
Ｓ１００２でシステム制御部２１８は、左右像の一方を基準とした合焦度合いの差を算出する。左像を基準とする場合、システム制御部２１８は上述した算出式を用いて合焦度合いの差を算出することができる。合焦度合いの差を算出すると、システム制御部２１８はＳ１００３を実行する。
【0152】
Ｓ１００３でシステム制御部２１８は、Ｓ１００２で算出した合焦度合いの差が０であるか否かを判定し、差分が０であると判定されればＳ１００５を、差分が０であると判定されなければＳ１００４を実行する。
【0153】
Ｓ１００４でシステム制御部２１８は、Ｓ１００２で算出した合焦度合いの差の符号が正であるか負であるかを判定する。システム制御部２１８は、差の符号が正であると判定されればＳ１００６を、差の符号が負であると判定されればＳ１００７を実行する。
【0154】
Ｓ１００５でシステム制御部２１８は、指標を第１の表示形態（図１３（Ａ））で表示することを決定し、Ｓ１００９を実行する。
Ｓ１００６でシステム制御部２１８は、指標を第２の表示形態（図１３（Ｂ））で表示することを決定し、Ｓ１００９を実行する。
Ｓ１００７でシステム制御部２１８は、指標を第３の表示形態（図１３（Ｃ））で表示することを決定し、Ｓ１００９を実行する。
Ｓ１００８でシステム制御部２１８は、指標を第４の表示形態（図１３（Ｄ））で表示することを決定し、Ｓ１００９を実行する。
Ｓ１００６でシステム制御部２１８は、指標を第２の表示形態（図１３（Ｂ））で表示することを決定し、Ｓ１００９を実行する。
Ｓ１００７でシステム制御部２１８は、指標を第３の表示形態（図１３（Ｃ））で表示することを決定し、Ｓ１００９を実行する。
Ｓ１００８でシステム制御部２１８は、指標を第４の表示形態（図１３（Ｄ））で表示することを決定し、Ｓ１００９を実行する。
【0155】
Ｓ１００９でシステム制御部２１８は、Ｓ１００５からＳ１００８で決定した指標の表示形態と、合焦度合いの差に応じたマーク９０４の表示位置とを画像処理部２１４に通知する。画像処理部２１４は、通知に従って、表示形態に応じた指標の画像を生成し、予め定められた指標の表示位置に応じたビデオメモリ領域のアドレスに指標の画像を書き込む。これにより、ライブビュー画像に左右像の合焦度合いの差を示す指標が重畳されてＥＶＦ２１７または表示部１０８に表示される。
【0156】
次に、図１５に示すフローチャートを用いて、本実施形態におけるライブビュー表示動作について説明する。図１５において、第２実施形態と同様の動作については図１２と同じ参照数字を付してある。この処理は、不揮発性メモリ２２０に記録されたプログラムをシステムメモリ２１９に展開してシステム制御部２１８が実行することで実現する。この処理は、例えば撮影スタンバイ状態や動画撮影時など、ライブビュー表示を行う場合に実行することができる。
【0157】
Ｓ７０１～Ｓ７０５における処理は、第２実施形態と同一のため説明を省略する。Ｓ７０５の右像に対するフォーカスガイド表示処理が終了すると、Ｓ１１０６でシステム制御部２１８は、左右像の合焦度合いの差を表示するか否かを判定する。
【0158】
左右像の合焦度合いの差を表示するか否かは、例えばユーザ設定項目の１つであってもよいし、カメラ１００の動作モードに応じてシステム制御部２１８が判定してもよい。例えば、カメラ１００の動画モードが、２眼レンズユニット３００の結像光学系間の合焦度合いの差をユーザが調整するための調整モードに設定されている場合、システム制御部２１８は左右像の合焦度合いの差を表示すると判定する。調整モードではユーザが右眼光学系３０１Ｒと左眼光学系３０１Ｌの合焦距離を例えば個別のフォーカスリングを操作して、右眼光学系３０１Ｒと左眼光学系３０１Ｌの合焦距離の差が無くなるように調整することができる。
【0159】
システム制御部２１８は、左右像の合焦度合いの差を表示すると判定されればＳ１１０７を、判定されなければＳ７０６を実行する。
Ｓ１１０７でシステム制御部２１８は、図１４のフローチャートを用いて説明した表示制御処理を実行する。ユーザは表示される指標を見ながら、基準画像ではない画像を形成している結像光学系（ここでは右眼光学系３０１Ｒ）の合焦距離を、合焦度合いの差が無くなるように調整することができる。
Ｓ１１０７でシステム制御部２１８は、図１４のフローチャートを用いて説明した表示制御処理を実行する。ユーザは表示される指標を見ながら、基準画像ではない画像を形成している結像光学系（ここでは右眼光学系３０１Ｒ）の合焦距離を、合焦度合いの差が無くなるように調整することができる。
【0160】
図１６は、Ｓ１１０７におけるライブビュー表示の例を示す図である。第２実施形態と同様に、撮像部２１１を構成する撮像素子で得られる１フレームのライブビュー画像１２００内の左像１２００Ｌと右像１２００Ｒの１つのフォーカスガイド１２０１Ｌおよび１２０１Ｒが表示される。本実施形態ではさらに、左右像の合焦度合いの差を示す指標１２０２が、左像１２００Ｌと右像１２００Ｒの間に表示される。
【0161】
Ｓ７０６の処理は第２実施形態と同様であるため、説明を省略する。本実施形態では、２眼レンズユニット３００がカメラ１００に装着されている場合に、２つの結像光学系もしくは像の合焦度合いの差の大きさと方向とを示す指標を表示するようにした。そのため、経年変化などによって生じた結像光学系の合焦距離のずれをユーザは容易に把握することができる。ユーザは、指標を見ながら結像光学系間の合焦距離のずれが０となるように調整することが可能になる。
【0162】
なお、第２および第３実施形態では、フォーカスガイドを表示することでマニュアルフォーカス操作を支援することについて説明した。しかし、多眼レンズユニットが装着されている際に、個々の結像光学系が形成する画像について撮影を支援する何らかの表示を行うことが基本的な技術思想であり、表示内容は合焦度合いを示すフォーカスガイドに限定されない。例えば、露出オーバーや露出アンダーの領域を示すピーキングパターンをライブビュー画像に重畳表示してもよい。
【0163】
本実施形態に関しても、フォーカスガイドの表示に用いるデフォーカス量の算出を、第１の実施形態で説明した補正値を用いて行うようにしても良い。これにより、より精度の高く合焦状態を示したフォーカスガイド表示を実現することが可能である。
【0164】
●（第４実施形態）
次に、本発明の第４実施形態について説明する。本実施形態は、個々の像に対する合焦度合いと合焦度合いの差をまとめて示す指標に関する。
次に、本発明の第４実施形態について説明する。本実施形態は、個々の像に対する合焦度合いと合焦度合いの差をまとめて示す指標に関する。
【0165】
図１７（Ａ）～図１７（Ｄ）は、本実施形態に係る指標の第１～第４の表示形態の例を示している。
指標は、軸１７００と、軸１７００の中央近傍に配置され、合焦位置を示すインジケータ１７０１と、軸１７００の両端近傍に配置された後ピン状態を示すインジケータ１７０２および前ピン状態を示すインジケータ１７０３とを有する。また、指標は、軸１７００上の位置を示すように軸１７００の上下近傍に配置された、右像の合焦度合いを示すマーク１７０４と、左像の合焦度合いを示すマーク１７０５とをさらに有する。
指標は、軸１７００と、軸１７００の中央近傍に配置され、合焦位置を示すインジケータ１７０１と、軸１７００の両端近傍に配置された後ピン状態を示すインジケータ１７０２および前ピン状態を示すインジケータ１７０３とを有する。また、指標は、軸１７００上の位置を示すように軸１７００の上下近傍に配置された、右像の合焦度合いを示すマーク１７０４と、左像の合焦度合いを示すマーク１７０５とをさらに有する。
【0166】
図１７（Ａ）は、右像および左像とも合焦状態（右眼光学系３０１Ｒおよび左眼光学系３０１Ｌともデフォーカス量が０）である場合の第１の表示形態の一例である。この場合、右像および左像の合焦度合いに差はないため、マーク１７０４および１７０５は軸１７００上の同一位置を指すように配置される。また、デフォーカス量が０であるため、マーク１７０４および１７０５はインジケータ１７０１が示す軸１７００上の位置を指すように配置される。この場合、第２実施形態において合焦時に用いられる第１の表示形態と同様に、指標の少なくとも一部を他の表示形態とは異なる色や視覚効果を用いて表示してもよい。
【0167】
図１７（Ｂ）は、右像および左像の合焦度合いに差はないが、前ピン状態である場合の第２の表示形態の一例である。この場合、右像および左像の合焦度合いに差はないため、マーク１７０４および１７０５は第１の表示形態と同様、軸１７００上の同一位置を指すように配置される。また、前ピン状態であるため、マーク１７０４および１７０５は、インジケータ１７０１が指す軸１７００上の位置よりも、デフォーカス量の大きさに応じた距離だけインジケータ１７０３側の端部に移動した軸１７００上の位置を指すように配置される。左右像の合焦度合いの差がない状態のまま左右像を合焦状態にするために、右眼光学系３０１Ｒと左眼光学系３０１Ｌの合焦距離を同時に調整するフォーカスリングの駆動をユーザに促す表示を行ってもよい。
【0168】
図１７（Ｃ）は、右像および左像の合焦度合いに差があり、かついずれも合焦状態でない場合の第３の表示形態の一例である。ここでは、右像および左像とも前ピン状態であるものとする。この場合、マーク１７０４は、インジケータ１７０１が指す軸１７００上の位置よりも、右眼光学系３０１Ｒのデフォーカス量の大きさに応じた距離だけインジケータ１７０３側の端部に移動した軸１７００上の位置を指すように配置される。また、マーク１７０５は、インジケータ１７０１が指す軸１７００上の位置よりも、左眼光学系３０１Ｌのデフォーカス量の大きさに応じた距離だけインジケータ１７０３側の端部に移動した軸１７００上の位置を指すように配置される。図１７（Ｃ）に示す例では、左眼光学系３０１Ｌの方がデフォーカス量が大きいため、マーク１７０５がマーク１７０４よりも軸１７００上でインジケータ１７０３側の端部により近い位置を指すように配置されている。
【0169】
ユーザは、指標を見ながらマーク１７０４と１７０５が軸１７００上の同じ位置を指すように左眼光学系３０１Ｌの合焦距離を調整する。その後、右眼光学系３０１Ｒと左眼光学系３０１Ｌの合焦距離を同時に調整することにより、左右像を合焦させることができる。
【0170】
本実施形態では、マーク１７０４および１７０５が指す軸１７００上の位置により、右像および左像の合焦度合いとその差、ならびに合焦状態に対して前ピン状態なのか後ピン状態なのかをユーザに提示することができる。
【0171】
本実施形態では、マーク１７０４と１７０５により、右眼光学系３０１Ｒおよび左眼光学系３０１Ｌのデフォーカス量の大きさと方向を独立して提示するため、先の実施形態で算出した合焦度合いの差を算出する必要はない。システム制御部２１８は、右眼光学系３０１Ｒおよび左眼光学系３０１Ｌのデフォーカス量とその符号に基づいて、マーク１７０４および１７０５が指すべき、軸１７００上の位置（すなわち、マーク１７０４および１７０５の表示位置）を決定することができる。
【0172】
図１７（Ｄ）は、右像および左像の両方が大きくボケている場合など、右眼光学系３０１Ｒおよび左眼光学系３０１Ｌのデフォーカス量の信頼度が低い場合における指標の第４の表示形態の例を示す。この場合、デフォーカス量の信頼度が低いため、マーク１７０４および１７０５は表示されない。また、指標のうち、常時表示される軸１７００およびインジケータ１７０１～１７０３について、第４の表示形態では第１～第３の表示形態とは色や視覚効果（点滅の有無など）を異ならせてもよい。例えば、表示色をグレーにすることができる。
【0173】
なお、ここでは示さなかったが、右眼光学系３０１Ｒおよび左眼光学系３０１Ｌの一方のデフォーカス量の信頼度が低く、他方のデフォーカス量の信頼度が高い場合には、信頼度が高いデフォーカス量に基づくマーク１７０４または１７０５を表示してもよい。
【0174】
なお、図１７（Ａ）～図１７（Ｄ）に示した表示形態は単なる例示である。右眼光学系３０１Ｒおよび左眼光学系３０１Ｌのデフォーカス量の大きさおよび方向を値で示したり、異なる形状のマークやインジケータを用いたりするなど、他の形態の指標を用いても合焦度合いとその差を示してもよい。
【0175】
システム制御部２１８は、本実施形態の指標を、例えば第３実施形態で説明した図１５のフローチャートからＳ７０４およびＳ７０５の処理を削除したライブビュー表示動作において、Ｓ１１０７で表示することができる。この場合、Ｓ１１０７でシステム制御部２１８は画像処理部２１４から各結像光学系についてのデフォーカス量とその信頼度を取得する。そして、信頼度がいずれも低ければ第４の表示形態を決定する。デフォーカス量の信頼度がいずれも高い場合、システム制御部２１８は、デフォーカス量がいずれも０であれば第１の表示形態を、デフォーカス量がいずれも０でなく差がなければ第２の表示形態を、デフォーカス量に差があれば第３の表示形態を決定する。また、第１～第３の表示形態を決定した場合、システム制御部２１８はマーク１７０４および１７０５の表示位置についても決定する。そして、システム制御部２１８は、決定した表示形態と、マーク１７０４および１７０５を表示する場合にはその表示位置とを画像処理部２１４に通知する。
【0176】
図１８は、本実施形態におけるライブビュー表示の例を示す図である。撮像部２１１を構成する撮像素子で得られる１フレームのライブビュー画像１８００内の左像１８００Ｌと右像１８００Ｒのそれぞれにフォーカスガイド１８０１Ｌおよび１８０１Ｒが表示される。本実施形態ではさらに、左右像の合焦度合いの差、並びに各結像光学系についてのデフォーカス量の大きさと方向を示す指標１８０２が、左像１８００Ｌと右像１８００Ｒの間に表示される。
【0177】
本実施形態では、第３実施形態の効果に加え、各結像光学系についてのデフォーカス量の大きさおよび方向を第２実施形態とは別の表現で提示するので、ユーザは自分が理解しやすい指標を参照して、必要な情報を得ることができる。
【0178】
本実施形態においても、多眼レンズユニットが装着されている際に、個々の結像光学系が形成する画像について撮影を支援する何らかの表示を行うことが基本的な技術思想であり、表示内容は合焦度合いやその差に限定されない。例えば、露出オーバーや露出アンダーの領域を示すピーキングパターンをライブビュー画像に重畳表示してもよい。
【0179】
●（第５実施形態）
次に、本発明の第５実施形態について説明する。本実施形態では多眼レンズユニットが装着されている場合の、結像光学系間の合焦度合いの差を自動的に調整する技術に関する。
次に、本発明の第５実施形態について説明する。本実施形態では多眼レンズユニットが装着されている場合の、結像光学系間の合焦度合いの差を自動的に調整する技術に関する。
【0180】
第３実施形態において、右眼光学系３０１Ｒおよび左眼光学系３０１Ｌの合焦度合いの差（右像および左像それぞれについて取得したデフォーカス量の差）を取得した。この差を用いて、右眼光学系３０１Ｒまたは左眼光学系３０１Ｌのフォーカスレンズを駆動することにより、結像光学系間の合焦度合いの差（合焦距離ずれ）を自動的に調整することができる。
【0181】
図１９は、システム制御部２１８が実行する、結像光学系間のずれ調整処理に関するフローチャートである。この処理は、不揮発性メモリ２２０に記録されたプログラムをシステムメモリ２１９に展開してシステム制御部２１８が実行することで実現する。ずれ調整処理は、ユーザの指示に応じて実行されてもよいし、予め定められたタイミングで自動的に実行されてもよい。予め定められたタイミングの例としては、装着されているレンズユニットが多眼レンズユニットであるとシステム制御部２１８が判定した際（例えばレンズユニットの交換時、カメラ１００の起動時など）であってよい。
【0182】
カメラ１００の動作モードが第３実施形態で説明した調整モードの場合は、ユーザがマニュアル操作によって結像光学系間のずれを調整する。したがって、本実施形態においてシステム制御部２１８が自動的に実行するずれ調整処理は、動作モードが調整モードでない場合に実行するようにしてもよい。なお、ずれ調整処理は、ライブビュー表示動作と並行して実行される。
【0183】
Ｓ１９０１でシステム制御部２１８は、２眼レンズユニット３００が有する右眼光学系３０１Ｒおよび左眼光学系３０１Ｌの一方を、基準とする結像光学系として設定する。例えば、２眼レンズユニット３００が、フォーカスリング操作により、右眼光学系３０１Ｒおよび左眼光学系３０１Ｌを連動させて駆動することと、左眼光学系３０１Ｌのみを駆動することが可能であるものとする。この場合、システム制御部２１８は、独立して駆動できない右眼光学系３０１Ｒを基準とするように設定する。
【0184】
また、システム制御部２１８は、ユーザの利き目として事前に設定されている目に対応するの結像光学系を、基準とする結像光学系として設定してもよい。あるいは、右眼光学系３０１Ｒおよび左眼光学系３０１Ｌの被写体検出精度や焦点検出精度に差がある場合には、精度のよい方の結像光学系を基準とするように設定してもよい。
【0185】
Ｓ１９０２でシステム制御部２１８は、システムメモリ２１９に保持された、右眼光学系３０１Ｒおよび左眼光学系３０１Ｌのそれぞれについての現在の焦点検出領域の情報を取得する。なお、右眼光学系３０１Ｒおよび左眼光学系３０１Ｌについての焦点検出領域が、光軸を基準として同じ位置に設定される場合、いずれか一方の焦点検出領域の情報を読み出せばよい。システム制御部２１８は、焦点検出領域の情報を画像処理部２１４に通知し、デフォーカス量を算出するように指示する。画像処理部２１４は、上述したように右像および左像のそれぞれについて焦点検出領域の信号に基づいてデフォーカス量とその信頼度を算出する。
【0186】
Ｓ１９０３でシステム制御部２１８は、画像処理部２１４から左眼光学系３０１Ｌのデフォーカス量ＤＥＦ＿Ｌと右眼光学系３０１Ｒのデフォーカス量ＤＥＦ＿Ｒとを取得する。
【0187】
Ｓ１９０４でシステム制御部２１８は、Ｓ１９０１で基準として設定した結像光学系のデフォーカス量に対する、他の結像光学系のデフォーカス量の差を算出する。例えば、Ｓ１９０１で右眼光学系３０１Ｒが基準として設定されている場合、システム制御部２１８は、以下の式によってデフォーカス量の差ＤＥＦ＿ｄｉｆを算出する。
ＤＥＦ＿ｄｉｆ ＝ ＤＥＦ＿Ｌ － ＤＥＦ＿Ｒ
ＤＥＦ＿ｄｉｆ ＝ ＤＥＦ＿Ｌ － ＤＥＦ＿Ｒ
【0188】
次に、Ｓ１９０５でシステム制御部２１８は、基準でない結像光学系（ここでは左眼光学系３０１Ｌ）のフォーカスレンズを、Ｓ１９０４で検出されたＤＥＦ＿ｄｉｆに対応する駆動量および駆動方向であるＰＬＳ＿ｄｉｆだけ光軸方向に駆動させる。レンズ駆動量ＰＬＳ＿ｄｉｆは、例えば、
ＰＬＳ＿ｄｉｆ ＝ ＤＥＦ＿ｄｉｆ ／ ＳＥＮＳ＿Ｌ
より求める。
ＰＬＳ＿ｄｉｆ ＝ ＤＥＦ＿ｄｉｆ ／ ＳＥＮＳ＿Ｌ
より求める。
【0189】
ここで、ＳＥＮＳ＿Ｌは基準でない（すなわち、調整対象である）結像光学系（ここでは左眼光学系３０１Ｌ）のデフォーカス量をレンズ駆動量に変換する換算係数であり、あらかじめレンズユニットに記憶されている。２眼レンズユニット３００は、右眼光学系３０１Ｒおよび左眼光学系３０１Ｌのそれぞれについてのフォーカス敏感度をレンズシステム制御回路３０３内部の不揮発性メモリに保持している。なお、２眼レンズユニット３００のように同じ構成の結像光学系を複数有する場合には、１つのフォーカス敏感度を個々の結像光学系に共通して用いてもよい。
【0190】
以上の処理により、結像光学系間の合焦度合いの差（合焦距離のずれ）がなくなるように自動的に調整することができる。本実施形態によれば、第３実施形態において手動で調整した結像光学系間の合焦度合いの差（合焦距離のずれ）を、自動的に調整することができるので、調整に係るユーザの手間を省き、使い勝手を向上することができる。
【0191】
●（第６実施形態）
次に、本発明の第６実施形態について説明する。本実施形態では多眼レンズユニットが装着されている場合の、合焦キャリブレーション機能を提供する。
次に、本発明の第６実施形態について説明する。本実施形態では多眼レンズユニットが装着されている場合の、合焦キャリブレーション機能を提供する。
【0192】
図２０は、第４実施形態において図１７を用いて説明した指標を示している。図２０（Ａ）は第３の表示形態であり、マーク１７０４および１７０５により、右像は合焦状態であるが、左像は前ピン状態であることが示されている。この状態から、左像の合焦度合いを示すマーク１７０４がインジケータ１７０１が指す位置に来るように（指標が図２０（Ｂ）に示す状態になるように）ユーザがフォーカスリングを操作して左眼光学系３０１Ｌの合焦距離を調整したものとする。
【0193】
これにより、例えば図１８で表示されるライブビュー画像１８００の右像１８００Ｒと左像１８００Ｌとはいずれも合焦状態となるはずである。しかし、右眼光学系３０１Ｒおよび左眼光学系３０１Ｌそれぞれに含まれる複数のレンズや反射ミラーなどの構成要素の製造誤差や経年劣化、環境等の要因により、算出されるデフォーカス量と像の合焦度合いとにずれが生じ得る。
【0194】
そのため、マーク１７０４や１７０５が合焦状態を示していても、表示部１０８やＥＶＦ２１７を通じて観察される右像および／または左像が合焦状態でないとユーザが感じる場合が起こりうる。特に、一方の像の合焦度合いが他方の像の合焦度合いより低い場合、両者が隣接表示されるため、ユーザが合焦度合いの差に気づきやすい。そのため、本実施形態では、ユーザが合焦状態と感じる像が得られる状態と、カメラ１００が合焦状態と判定する状態との差を補正するための機能（合焦キャリブレーション機能）を提供する。
【0195】
本実施形態において、本実施形態では、ユーザが合焦状態と感じる像が得られる状態と、カメラ１００が合焦状態と判定する状態との差を補正するための補正値を、キャリブレーション値と呼ぶ。キャリブレーション値は右眼光学系３０１Ｒと左眼光学系３０１Ｌとのそれぞれに独立して設定、保持することができる。
【0196】
図２１は、合焦キャリブレーション機能の実行時に表示部１０８やＥＶＦ２１７に表示させるキャリブレーンガイドの例を示す図である。ここでは、説明および理解を容易にするため、左眼光学系３０１Ｌのフォーカスレンズと右眼光学系３０１Ｒのフォーカスレンズとを独立して駆動可能であるものとする。しかし、両方の結像光学系のフォーカスレンズを連動して駆動することと、一方の結像光学系のフォーカスレンズを独立して駆動可能な構成であっても合焦キャリブレーション機能は実現できる。この場合、フォーカスレンズを独立して駆動できない結像光学系のキャリブレーションを先に行ってから、残りの結像光学系についてキャリブレーションを行えばよい。
【0197】
図２１（Ａ）は、キャリブレーションガイド２１１０の第１の表示形態の一例を示す。キャリブレーションガイド２１１０はキャリブレーション値の範囲に対応する軸２１００を有する。軸２１００には目盛りが付され、いくつかの目盛りには値が示されている。ここでは、キャリブレーション値０を示すインジケータ２１０１、負の最大値（ここでは－２０）を示すインジケータ２１０２、正の最大値（ここでは＋２０）を示すインジケータ２１０３が軸２１００の下方の近傍に表示されている。キャリブレーション値の符号は、マークと基準との位置関係が図１７と同等になるよう、正が前ピン方向、負が後ピン方向とする。なお、これら以外の値を示すインジケータを付加してもよい。図２１（Ａ）の例では、－１０および＋１０を示すインジケータが付加されている。
【0198】
また、軸２１００の近傍には、右眼光学系３０１Ｒのキャリブレーション値を示すマーク２１０４と、左眼光学系３０１Ｌのキャリブレーション値を示すマーク２１０５がそれぞれ配置される。さらに、右眼光学系３０１Ｒおよび左眼光学系３０１Ｌの合焦度合いを示すマーク１７０４および１７０５が軸２１００上に配置されている。ここでは、キャリブレーション値０の位置をデフォーカス量０としてマーク１７０４および１７０５の表示位置が決定されている。また、軸２１００の左端近傍には、右眼光学系３０１Ｒおよび左眼光学系３０１Ｌのキャリブレーション値の差を数値で示すインジケータ２１０６が配置されている。ここでは、左眼光学系３０１Ｌのキャリブレーション値を０とした際の右眼光学系３０１Ｒのキャリブレーション値の相対値を、キャリブレーション値の差として示している。
【0199】
図２１（Ａ）は、右眼光学系３０１Ｒおよび左眼光学系３０１Ｌのデフォーカス量がいずれも０であるが、フォーカスレンズ位置がキャリブレーション値で補正された状態であることを示している。具体的には、デフォーカス量０に対応するフォーカスレンズ位置を、右眼光学系３０１Ｒでは前ピン方向（＋）に２、左眼光学系３０１Ｌでは後ピン方向（－）に４だけ補正された状態であることを示している。ここで、キャリブレーション値の単位はカメラ１００によって予め定められている。例えばフォーカスレンズを駆動する際のパルス数であってよい。
【0200】
ユーザは、マーク１７０４および１７０５が合焦状態を示す状態で、例えばライブビュー画像１８００の右像１８００Ｒおよび左像１８００Ｌを観察しながら、右眼光学系３０１Ｒおよび左眼光学系３０１Ｌのフォーカスレンズ位置をそれぞれ調整する。そして、右像１８００Ｒおよび左像１８００Ｌの焦点検出領域における合焦度合いが最も高くなると感じる状態になると、操作部材２３０を通じてカメラ１００に指示を与える。システム制御部２１８は、この指示を検出すると、その時点における右眼光学系３０１Ｒおよび左眼光学系３０１Ｌのキャリブレーション値を不揮発性メモリ２２０に保存する。
【0201】
システム制御部２１８は、デフォーカス量に基づくレンズ駆動量を、不揮発性メモリ２２０に保存されているキャリブレーション値に基づいて補正した後、レンズシステム制御回路３０３に送信する。これにより、デフォーカス量０のときに、ユーザが最も合焦度合いが高いと感じる像を得ることができる。つまり、ユーザの感じる合焦度合いと、カメラ１００が判定する合焦度合いとのずれを補正することができる。
【0202】
図２１（Ｂ）は、キャリブレーションガイド２１１０の第２の表示形態の一例を示す。第２の表示形態では、第１の表示形態で提示した情報を、結像光学系ごとに示す。具体的には、結像光学系ごとに軸２１００Ｒ、２１００Ｌを設け、合焦度合いを示すマーク１７０４（１７０５）と、キャリブレーション値を示すマーク２１０４（２１０５）を、対応する軸に配置している。また、キャリブレーション値の差を示すインジケータ２１０６の代わりに、結像光学系ごとのキャリブレーション値を示すインジケータ２１０６Ｒ、２１０６Ｌを、対応する軸２１００Ｒ、２１００Ｌに配置している。第２の表示形態では、結像光学系ごとに情報を提示するため、表示面積が大きいが、ユーザが情報を把握しやすい。なお、ユーザの指示に応じた１つの結像光学系に関する情報を表示するようにしてもよい。
【0203】
図２１（Ｃ）は、キャリブレーションガイド２１１０の第３の表示形態の一例を示す。図２１（Ａ）に示した第１の表示形態と同様の表示形態であるが、マーク１７０４および１７０５がいずれも＋４の位置にあり、前ピン状態である。キャリブレーション値を示すマーク２１０４および２１０５は、マーク１７０４および１７０５がデフォーカス量０の位置にある（図２１（Ａ））ときの位置で、キャリブレーション値を示す。マーク１７０４および１７０５がデフォーカス量０の位置にない場合、マーク２１０４および２１０５はマーク１７０４および１７０５との位置の差によってキャリブレーション値を示す。したがって、図２１（Ｃ）において、右眼光学系３０１Ｒのキャリブレーション値は－２、左眼光学系３０１Ｌのキャリブレーション値は０である。なお、右眼光学系３０１Ｒおよび左眼光学系３０１Ｌのデフォーカス量にかかわらず、マーク２１０４および２１０５の表示位置によってキャリブレーション値を示すようにしてもよい。
【0204】
右眼光学系３０１Ｒおよび左眼光学系３０１Ｌのデフォーカス量が０でない状態における合焦キャリブレーションの方法を図２２を用いて説明する。
図２２（Ａ）は図２１（Ｃ）の合焦度合いに対応するサンプル画像の例を示したものである。デフォーカス量が０でない状態で合焦キャリブレーションを行う場合、システム制御部２１８は、現在の合焦度合いに対応するサンプル画像と、ライブビュー画像（図２２（Ｂ））とを表示部１０８またはＥＶＦ２１７に表示する。
図２２（Ａ）は図２１（Ｃ）の合焦度合いに対応するサンプル画像の例を示したものである。デフォーカス量が０でない状態で合焦キャリブレーションを行う場合、システム制御部２１８は、現在の合焦度合いに対応するサンプル画像と、ライブビュー画像（図２２（Ｂ））とを表示部１０８またはＥＶＦ２１７に表示する。
【0205】
図２１（Ａ）のように合焦状態のキャリブレーションを行う際には、図２２（Ａ）のサンプル画像は不要である。図２２（Ａ）のサンプル画像は例えば、結像光学系の設計状態から、あらかじめ不揮発性メモリ２２０に記録された記憶された線像を使うことで予測される、現在の合焦度合いに相当する画像である。
【0206】
ユーザは、図２２（Ａ）の画像と、図２２（Ｂ）のライブビュー画像（左像２２０１Ｌおよび右像２２０１Ｒ）とを比較する。例えば、図２２（Ｂ）のライブビュー画像の右像２２０１Ｒのボケ量のみが大きいように見える場合、ユーザは、右像２２０１Ｒが左像２２０１Ｌと同様の合焦度合いと感じる位置に、右眼光学系３０１Ｒのフォーカスレンズ位置を調整する。これにより、右眼光学系３０１Ｒのキャリブレーション値が設定される。
【0207】
図２１（Ｃ）は、このようにして右眼光学系３０１Ｒのキャリブレーション値が設定された後のキャリブレーションガイドの表示例に相当する。右眼光学系３０１Ｒのキャリブレーション量を元の値（０）から－２とすることで、左右像のボケ状態が一致し、所望の画像を得ることができる。なお、サンプル画像を表示せずに、ライブビュー画像における左像および右像のうち合焦度合いが高いと感じられる一方と同等の合焦度合いとなるように、他方の像を形成する結像光学系のフォーカスレンズ位置を調整してもよい。
【0208】
また、キャリブレーション値はカメラ１００および２眼レンズユニット３００の少なくとも一方に保存されるようにしてもよい。これにより、２眼レンズユニット３００をキャリブレーションを実行したカメラとは別のカメラにおいても、キャリブレーション値を２眼レンズユニット３００から取得して利用することができる。
【0209】
本実施形態によれば、２眼レンズユニットの結像光学系について、フォーカスレンズ位置を補正するキャリブレーション値を設定可能である。そのため、２眼レンズユニットについて、カメラが判定する合焦状態と、ユーザが感じる合焦状態との差を補正することが可能になる。
【0210】
●（第７実施形態）
次に、本発明の第７実施形態について説明する。本実施形態は、２眼レンズユニット３００で撮影される左像および右像のような視差画像対が、リフォーカス可能な係止ｋで記録されている場合の合焦キャリブレーション機能に関する。リフォーカス可能な画像とは撮影後（記録後）に画像が合焦する被写体距離を変更することが可能な画像である。例えばライトフィールドカメラで撮影された画像や、同一シーンについて合焦距離を変更して撮影された画像群が関連付けて記録された画像などであってよい。
次に、本発明の第７実施形態について説明する。本実施形態は、２眼レンズユニット３００で撮影される左像および右像のような視差画像対が、リフォーカス可能な係止ｋで記録されている場合の合焦キャリブレーション機能に関する。リフォーカス可能な画像とは撮影後（記録後）に画像が合焦する被写体距離を変更することが可能な画像である。例えばライトフィールドカメラで撮影された画像や、同一シーンについて合焦距離を変更して撮影された画像群が関連付けて記録された画像などであってよい。
【0211】
本実施形態が提供する合焦キャリブレーション機能は、例えば、記録済みの視差画像対をユーザが鑑賞する際に、右像と左像の合焦度合い（焦点状態）の差を補正するためのキャリブレーション値を設定するために用いることができる。ここでは、ユーザが、左眼用の表示部および右眼用の表示部を有する表示装置であるＸＲゴーグルを装着して視差画像対を鑑賞するものとする。ここで、ＸＲはＶＲ（仮想現実）、ＡＲ（拡張現実）、ＭＲ（複合現実）の総称である。
【0212】
図２３（ａ）の左図はＸＲゴーグル２３００の外観例を示す斜視図である。ＸＲゴーグル２３００は、図２３（ａ）の右図に示すように、頭部の眼領域ＳＯに装着することが一般的である。図２３（ｂ）は、ＸＲゴーグル２３００を装着面側から見た外観例を示す斜視図である。また、図２３（ｃ）はＸＲゴーグル２３００装着時の、接眼レンズ２３０１Ｒおよび２３０１Ｌ、右眼用表示部２３０８Ｒおよび左眼用表示部２３０８Ｌ、ユーザの右眼５０１Ｒおよび左眼５０１Ｌの位置関係を模式的に示す図である。
【0213】
ＸＲゴーグル２３００は、例えば２眼レンズユニット３００で得られる右像を右眼用表示部２３０８Ｒに、左像を左眼用表示部２３０８Ｌに表示する。右像および左像は視差画像対であるため、ユーザは接眼レンズ３０２Ｒを通じて右像を右眼５０１Ｒで視認し、接眼レンズ３０２Ｌを通じて左像を左眼５０１Ｌで視認することで、右像および左像を３Ｄ画像として認識する。なお、ＸＲゴーグル２３００に表示する視差画像対は２眼レンズユニット３００で撮影されたものに限らない。例えば、ステレオカメラで撮影された右像と左像をＸＲゴーグル２３００の右眼用表示部２３０８Ｒと左眼用表示部２３０８Ｌに表示しても立体視が可能である。
【0214】
本実施形態は、ＸＲゴーグル２３００に表示される視差画像対を構成する右像および左像の合焦距離を独立して変更可能である場合を想定している。例えば、リフォーカス可能な形式で右像および左像を記録した動画データをコンピューティングデバイスで再生し、コンピューティングデバイスに接続されたＸＲゴーグル２３００で観察している状態であってもよい。
【0215】
図２４は、リフォーカス処理による合焦被写体の変更を模式的に示した図である。図２４（ａ）は、被写体２４０３が合焦しているが、被写体２４０２および２４０４には合焦していない状態を示している。なお、被写体２４０２および２４０４の像は被写体ブレがなく、被写界深度外に位置するために合焦していないものとする。
【0216】
図２４（ａ）に示す画像（静止画もしくは動画の１フレーム）が、リフォーカス可能な形式で記録されている場合、被写体２４０２にもしくは２４０４が合焦するように変更することができる。図２４（ｂ）および図２４（ｃ）は、それぞれ被写体２４０２および２４０４が合焦するように変更された画像を示している。
【0217】
システム制御部２１８は、例えばユーザから合焦させたい位置が指定されると、指定された位置が合焦するように画像を変更する。リフォーカス処理による合焦被写体の変更は公知の任意の方法を用いることができる。リフォーカス可能な画像をカメラ１００で撮影する場合、マイクロレンズ４０１を共有するフォトダイオードの数を、水平及び垂直方向の両方で増加させればよい。
【0218】
図２５は、図２４（ａ）に示す画像に対応する右眼用画像２５０１Ｒと左眼用画像２５０１Ｌの例を示している。右眼用画像２５０１Ｒと左眼用画像２５０１ＬをＸＲゴーグル２３００の右眼用表示部２３０８Ｒおよび左眼用表示部２３０８Ｌに表示することで、ＸＲゴーグル２３００を装着したユーザは、図２４（ａ）に示すシーン内に存在するような感覚を得ることができる。ユーザの手の動きを検出して画像内の位置と対応付けることにより、ユーザは被写体２４０３を仮想的にタッチすることで、被写体２４０３を合焦させる被写体として指定することができる。
【0219】
図２６は本実施形態におけるコンピューティングデバイスとして利用可能なコンピュータ２６００の機能構成例を示すブロック図である。
【0220】
ディスプレイ２７０１はアプリケーションプログラムによって処理中のデータの情報、各種メッセージメニューなどを表示し、ＬＣＤ(Liquid Crystal Display)等から構成される。ディスプレイ２７０１はタッチディスプレイであってもよい。ディスプレイコントローラ２７０２は、ディスプレイ２７０１への画面表示制御を行う。キーボード２７０３及びポインティングデバイス２７０４は、文字などを入力したり、ＧＵＩ（Graphical User Interface）におけるアイコンやボタンなどを指し示すためなどに用いられる。ＣＰＵ２７０５はコンピュータ２６００全体の制御を司る。
【0221】
ＲＯＭ２７０６（Read Only Memory）はＣＰＵ２７０５が実行するプログラムやパラメータ等を記憶している。ＲＡＭ（Random Access Memory）２７０７は各種プログラムをＣＰＵ２７０５が実行する時のワークエリア、エラー処理時の一時退避エリア等として用いられる。
【0222】
ハードディスクドライプ（ＨＤＤ）２７０８、リムーバブルメディアドライプ（ＲＭＤ）２７０９は、外部記憶装置として機能する。リムーバブルメディアドライブは、着脱可能な記録媒体の読み書き又は読み出しを行う装置であり、フレキシブルディスクドライブ、光ディスクドライブ、光磁気ディスクドライブ、メモリカードリーダはもとより、着脱式ＨＤＤなどであってもよい。また、ＨＤＤ２７０８に加えて、あるいは代えて、ＳＳＤ(Solid State Drive)を有してもよい。
【0223】
なお、本実施形態において説明するコンピュータ２６００の各種機能を実現するプログラム、ＯＳや、ブラウザ等のアプリケーションプログラム、データ、ライプラリなどは、ＲＯＭ２７０６、ＨＤＤ２７０８、ＲＭＤ２７０９の１つ以上に記憶されている。
【0224】
拡張スロット２７１０は、例えばＰＣＩ(Periferal Component Interconnect)バス規格に準拠した拡張カード装着用スロットである。拡張スロット２７１０にはビデオキャプチャボードや、サウンドボード、ＧＰＩＢボードなど、様々な拡張ボードを装着することが可能である。
【0225】
外部ＩＦ２７１１はコンピュータ２６００と外部機器とを通信可能に接続するためのインタフェースであり、有線および／または無線通信規格の１つ以上に準拠している。外部ＩＦ２７１１は例えば無線ＬＡＮ、ＵＳＢ(Universal Serial Bus)、ＨＤＭＩ（登録商標）、Bluetooth（登録商標）、４Ｇ（ＬＴＥ）、５Ｇなどの１つ以上に準拠したインタフェースを有しうる。
【0226】
バス２７１２はアドレスバス、データバスおよび制御バスからなり、上述した各ユニット間を接続する。
【0227】
次に、本実施形態における合焦キャリブレーション機能について説明する。ここでは、ＸＲゴーグル２３００に表示する視差画像対に対する合焦キャリブレーション機能を、上述したコンピュータ２６００において、合焦キャリブレーション機能を提供するアプリケーションプログラムを実行することによって提供するものとする。しかし、カメラ１００のシステム制御部２１８が同様のプログラムを実行することによって合焦キャリブレーション機能を提供することもできる。
【0228】
ここでは、コンピュータ２６００の記憶装置（例えばＨＤＤ２７０８）に、リフォーカス可能な形式で視差画像対（右像および左像）のデータが記録されているものとする。右像および左像のデータは、外部ＩＦ２７１１を通じてカメラ１００や他の外部機器から取得したものであってよい。また、図２７（ａ）に示すように、コンピュータ２６００の外部ＩＦ２７１１には、ＸＲゴーグル２３００が接続され、右像および左像を表示することができる。
【0229】
コンピュータ２６００が提供する合焦キャリブレーション機能は、ディスプレイ２７０１に、視差画像対２６０２と、キャリブレーションガイド２６０１とを表示する。
【0230】
図２７（ｂ）は、キャリブレーションガイド２６０１の一例を示す。キャリブレーションガイド２６０１は、至近端から無限遠までの距離範囲を示す軸２６１０を有する。軸２６１０には目盛りが付され、いくつかの目盛りには値が示されている。ここでは、最小値（至近端）を示すインジケータ２６１１、最大値（無限遠）を示すインジケータ２６１２、が軸２６１０の下方の近傍に表示されている。また、最小値と最大値の間のいくつかの距離についても値を示すインジケータが表示されている。
【0231】
また、マーク２６１３は、現在表示されている視差画像対を撮影した際の合焦距離に対応する軸２６１０の位置を示す。撮影時の合焦距離は、撮影時の情報の１つとして画像データとともに記録されている。
【0232】
図２７（ｂ）に示す例では、マーク２６１３は１ｍを示している。この時の画像は例えば、図２４（ａ）に示す被写体２４０３に合焦した画像であるものとする。マーク２６１３を移動させることにより、マーク２６１３が示す距離を変更することにより、ユーザは変更後の合焦距離をＣＰＵ２７０５に指示することができる。ユーザは、キーボード２７０３もしくはポインティングデバイス２７０４の操作、あるいはディスプレイ２７０１に対するタッチ操作などにより、マーク２６１３を所望の位置に移動させることができる。
【0233】
例えば、図２７（ｃ）に示すように、ユーザがマーク２６１３を、軸２６１０を、２ｍを指す位置に移動させたとする。ＣＰＵ２７０５は、マーク２６１３の変更後の位置に応じて画像データの合焦距離を変更する。ＣＰＵ２７０５は、記録方式に応じた方法で合焦距離を変更することができる。ライトフィールド画像が記録されている場合にはシフト演算により合焦距離を変更することができる。また、合焦距離の異なる画像群が記録されている場合には、指定された距離に合焦している画像（指定された距離を被写界深度に含む画像）を抽出すればよい。ここでは、図２４（ｂ）に示した画像が合焦距離２ｍの画像であり、図２４（ｃ）に示した画像が合焦距離３ｍの画像であるものとする。
【0234】
右像および左像は、マーク２６１３が示す距離に合焦した画像であるため、右像と左像との合焦度合いに差は無いはずである。右像および左像を形成する２つの結像光学系それぞれに含まれる複数のレンズや反射ミラーなどの構成要素の製造誤差や経年劣化、環境等の要因により、右像と左像の合焦度合いにずれが生じ得る。
【0235】
そのため、ディスプレイ２７０１やＸＲゴーグル２３００を通じて観察される右像および左像の合焦度合いが異なるとユーザが感じる場合が起こりうる。特に、一方の像の合焦度合いが他方の像の合焦度合いより低い場合、両者が隣接表示されるため、ユーザが合焦度合いの差に気づきやすい。そのため、本実施形態では、ユーザが指定した距離に対して期待する合焦状態と、表示されている画像の合焦度合いとのずれを補正するための合焦キャリブレーション機能を提供する。
【0236】
図２７（ｄ）は、キャリブレーション値を設定する際のキャリブレーションガイド２６０１の表示形態例を示す図である。本実施形態では、図２７（ａ）に示すように、ディスプレイ２７０１に表示される視差画像対２６０２の合焦度合いを確認しながら合焦距離を微調整することで左像と右像のキャリブレーション値を設定する。
【0237】
図２７（ｄ）は、図２７（ｃ）の状態から、キャリブレーション値を設定するモード（キャリブレーションモード）への遷移がユーザから指示されたことに応じて、ＣＰＵ２７０５がキャリブレーションガイド２６０１の表示形態を変更した状態を示している。したがって、現在表示されている視差画像対２６０２は、被写体距離２ｍに合焦している画像としてＣＰＵ２７０５が提示している画像である。
【0238】
ここでは、キャリブレーションモードに遷移すると、軸２６１０の目盛りに付与されるインジケータを、距離を示す状態から、現在の設定値を０とした数値を表示する状態に変更している。これは、キャリブレーション値の大きさおよび方向を把握しやすくするためである。なお、図２６（ｃ）に示すように、距離を示す状態を維持してもよい。
【0239】
また、ＣＰＵ２７０５は、キャリブレーションモードに遷移すると、現在のキャリブレーション値を数値で示すインジケータ２６２４を表示する。さらに、ＣＰＵ２７０５は、右像のキャリブレーション値を設定するためのマーク２６２３と、左像のキャリブレーション値を設定するためのマーク２６２２を表示する。ユーザは、キーボード２７０３、ポインティングデバイス２７０４、ディスプレイ２７０１へのタッチ操作などにより、マーク２６２２および２６２３を移動させることができる。
【0240】
ＣＰＵ２７０５は、マーク２６２３の移動操作が検出されると、初期位置（０）からの移動方向および移動量に応じて、視差画像対２６０２のうち右像の合焦距離を変更する。例えば、ＣＰＵ２７０５は、マーク２６２３の＋方向への移動が検出された場合には合焦距離を無限遠方向に変更し、マーク２６２３の－方向への移動が検出された場合には合焦距離を至近端方向に変更する。なお、１目盛りあたりの距離の変化量は予め定められた一定値であってよい。ＣＰＵ２７０５は、マーク２６２２の移動操作が検出された場合には左像の合焦距離を右像と同様に変更する。ユーザは、右像および左像が指定した距離に合焦した状態と感じられるようにマーク２６２２および２６２３を操作する。
【0241】
図２７（ｄ）は、左像のキャリブレーション値が０、右像のキャリブレーション値がー４の状態を示している。これは、左像は設定距離を補正する必要がなく、右像は設定距離を至近端側にキャリブレーション値－４調整することで、右像の合焦領域が左像の合焦領域と同様に感じられるようになったことを示している。
【0242】
ユーザは、キャリブレーションが終了したら、キーボード２７０３、ポインティングデバイス２７０４、ディスプレイ２７０１へのタッチ操作などにより、キャリブレーションの終了をコンピュータ２６００に指示する。
【0243】
ＣＰＵ２７０５はこの指示を検出すると、その時点で設定されているキャリブレーション値をアプリケーションの設定値として例えばＨＤＤ２７０８に記憶する。また、ＣＰＵ２７０５は、視差画像対２６０２を更新する際には、距離の設定値にキャリブレーション値を反映させる。なお、キャリブレーション値は設定に用いられた画像データの再生時に限らず、当該画像データを撮影した装置と同じ装置で撮影された他の画像データに対しても適用することができる。また、動画データの１フレームについてキャリブレーション値が設定された場合、キャリブレーションを他のフレームに対しても適用することができる。設定済のキャリブレーション値は、自動的に適用してもよいし、ユーザが適用を指示した場合に適用するようにしてもよい。
【0244】
本実施形態によれば、リフォーカス可能な形式で記録されている視差画像対に対して合焦距離のキャリブレーション機能を提供することが可能になる。
【0245】
（変形例）
キャリブレーションガイド２６０１に過焦点距離を示すインジケータを追加してもよい。これによりユーザは、パンフォーカス画像を容易に得ることができる。過焦点距離は撮影時の情報として画像データとともに記録されているレンズユニットの焦点距離およびＦ値と、例えば撮像素子の画素ピッチである許容錯乱円径とから求めることができる。
キャリブレーションガイド２６０１に過焦点距離を示すインジケータを追加してもよい。これによりユーザは、パンフォーカス画像を容易に得ることができる。過焦点距離は撮影時の情報として画像データとともに記録されているレンズユニットの焦点距離およびＦ値と、例えば撮像素子の画素ピッチである許容錯乱円径とから求めることができる。
【0246】
（その他の実施形態）
上述の実施形態において、右像および左像に関するマークまたはインジケータの表示位置を逆にしてもよい。また、各種の指標やガイドを構成するＧＵＩ(Graphical User Interface)の形態は図示したものに限定されない。実施形態で例示した指標やガイドと同様の情報をユーザに提示可能な任意の形態のＧＵＩを用いうる。
上述の実施形態において、右像および左像に関するマークまたはインジケータの表示位置を逆にしてもよい。また、各種の指標やガイドを構成するＧＵＩ(Graphical User Interface)の形態は図示したものに限定されない。実施形態で例示した指標やガイドと同様の情報をユーザに提示可能な任意の形態のＧＵＩを用いうる。
【0247】
また、システム制御部２１８が行うものとして説明した上述の各種制御は１つのハードウェアが行ってもよいし、複数のハードウェア（例えば、複数のプロセッサーや回路）が処理を分担することで、装置全体の制御を行ってもよい。
【0248】
また、本発明をその例示的な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。さらに、上述した各実施形態は本発明の一実施形態を示すものにすぎず、各実施形態を適宜組み合わせることも可能である。
【0249】
また、上述した実施形態においては、本発明をデジタルカメラ（撮像装置）に適用した場合を例にして説明したが、これはこの例に限定されず、フォーカスに関する表示アイテムを表示できる表示制御装置であれば適用可能である。すなわち、本発明はパーソナルコンピュータやＰＤＡ、携帯電話端末や携帯型の画像ビューワ、ディスプレイを備えるプリンタ装置、デジタルフォトフレーム、音楽プレーヤー、ゲーム機、電子ブックリーダーなどに適用可能である。
【0250】
また、撮像装置本体に限らず、有線または無線通信を介して撮像装置（ネットワークカメラを含む）と通信し、撮像装置を遠隔で制御する制御装置にも本発明を適用可能である。撮像装置を遠隔で制御する装置としては、例えば、スマートフォンやタブレットＰＣ、デスクトップＰＣなどの装置がある。御装置側で行われた操作や制御装置側で行われた処理に基づいて、制御装置側から撮像装置に各種動作や設定を行わせるコマンドを通知することにより、撮像装置を遠隔から制御可能である。また、撮像装置で撮影したライブビュー画像を有線または無線通信を介して受信して制御装置側で表示できる。
【0251】
本明細書に開示される実施態様の例を以下に列挙する。
［実施態様１］
結像光学系の異なる瞳部分領域をそれぞれ通過する光束を受光する複数の焦点検出画素を有する撮像素子と、
前記焦点検出画素からの一対の信号に基づき、前記結像光学系のデフォーカス量を取得する焦点検出手段と、
前記デフォーカス量を取得する際に用いる焦点検出調整値と、
を有する撮像装置において、
前記結像光学系は複数の光軸を有し、前記焦点検出調整値は前記複数の光軸に対応しており、前記結像光学系の各光軸における光学情報を、前記撮像装置上における各光軸の位置に基づいて変換し、前記変換した光学情報から、前記結像光学系における焦点検出調整値を算出することを特徴とする撮像装置。
［実施態様２］
前記焦点検出調整値は、デフォーカス量を算出するための変換係数、もしくは、一対の焦点検出信号の強度の差を抑制する補正手段に用いる補正値、の少なくとも１つを含むことを特徴とする実施態様１に記載の撮像装置。
［実施態様３］
前記撮像装置は、撮像素子の中心に１つの光軸を有する結像光学系が装着された場合の焦点検出調整値と、撮像素子の中心とは異なる位置に複数の光軸を有する結像光学系が装着された場合の焦点検出調整値を有することを特徴とする実施態様１または２に記載の撮像装置。
［実施態様４］
前記結像光学系が、撮像素子の中心に１つの光軸を有する結像光学系か、撮像素子の中心とは異なる位置に複数の光軸を有する結像光学系か、を判別する情報をもとに、用いる焦点検出調整値を切り替えることを特徴とする実施態様３に記載の撮像装置。
［実施態様５］
前記情報は結像光学系に記憶されており、撮像装置に装着された際に、通信を介して、撮像装置が前記情報を取得することを特徴とする実施態様４に記載の撮像装置。
［実施態様６］
前記情報には、撮像素子上の光軸位置を含むことを特徴とする実施態様５に記載の撮像装置。
［実施態様７］
結像光学系の異なる瞳部分領域をそれぞれ通過する光束を受光する複数の焦点検出画素を有する撮像素子と、
前記焦点検出画素からの一対の信号に基づき、前記結像光学系のデフォーカス量を取得する焦点検出手段と、
前記デフォーカス量を補正する補正値の算出手段と、
を有する撮像装置において、
前記補正値は、前記結像光学系の光軸を中心とした係数からなり、前記結像光学系は複数の光軸を有し、前記算出手段において、各光軸の撮像素子上における光軸位置の座標と、前記係数を用いることで補正値を算出することを特徴とする撮像装置。
［実施態様８］
前記補正値は、焦点検出結果を、撮像としてより好適な合焦位置へ補正する補正値であることを特徴とする実施態様７に記載の撮像装置
［実施態様９］
前記光軸位置の座標は結像光学系に記憶されており、撮像装置に装着された際に、通信を介して、撮像装置が前記光軸位置の情報を取得することを特徴とする実施態様７または８に記載の撮像装置。
［実施態様１０］
撮影された画像をライブビュー表示する電子機器であって、
第１の光学系を介して撮影される第１のライブビュー画像と、前記第１の光学系と同じ向きの第２の光学系を介して撮影され、前記第１のライブビュー画像に対して視差のある第２のライブビュー画像とを取得する取得手段と、
フォーカスに関する情報を示す表示アイテムを前記第１のライブビュー画像と前記第２のライブビュー画像とに重畳して第１の表示アイテムと第２の表示アイテムを同じ像高に表示するように制御する表示制御手段と、
を有することを特徴とする電子機器。
［実施態様１１］
撮影された画像をライブビュー表示する電子機器であって、
第１の光学系を介して撮影される第１のライブビュー画像と、
前記第１の光学系と同じ向きの第２の光学系を介して撮影され、前記第１のライブビュー画像に対して視差のある第２のライブビュー画像とを取得する取得手段と、
前記第１のライブビュー画像と前記第２のライブビュー画像のフォーカスに関する情報の差を示す第３の表示アイテムをライブビュー画像に重畳して表示するように制御する表示制御手段と、
を有することを特徴とする電子機器。
［実施態様１２］
前記フォーカスに関する情報は、表示位置に基づく焦点検出領域についてのフォーカスに関する情報であることを特徴とする実施態様１０または１１に記載の電子機器。
［実施態様１３］
前記表示制御手段は、前記第１のライブビュー画像と前記第２のライブビュー画像に重畳して表示する、フォーカスに関する情報を示す表示アイテムの位置を連動して移動することを特徴とする実施態様１０に記載の電子機器。
［実施態様１４］
前記表示制御手段は、前記第１の表示アイテムと前記第２の表示アイテムの表示位置を前記第１の光学系の光軸位置と前記第２の光学系の光軸位置のそれぞれの位置を基準とした同じ像高に表示することを特徴とする実施態様１０または１３に記載の電子機器。
［実施態様１５］
前記表示制御手段は、フォーカスに関する情報を示す表示アイテムを前記第１のライブビュー画像と前記第２のライブビュー画像、前記第１のライブビュー画像のみ、前記第２のライブビュー画像のみのいずれかに、選択的に表示することを特徴とする実施態様１０に記載の電子機器。
［実施態様１６］
前記表示制御手段は、前記第１のライブビュー画像をフォーカス調整する前記第１のフォーカスリングと前記第２のライブビュー画像をフォーカス調整する前記第２のフォーカスリングを有するレンズを装着したときに制御することを特徴とする実施態様１０または１１に記載の電子機器。
［実施態様１７］
前記第１の表示アイテムの表示色は第１のフォーカスリングの色、前記第２の表示アイテムの表示色は第２のフォーカスリングの色と同色として、前記第１の表示アイテムと前記第２の表示アイテムの表示色を異ならせることを特徴とする実施態様１６に記載の電子機器。
［実施態様１８］
前記表示制御手段は、前記第１のライブビュー画像と前記第２のライブビュー画像とを同時にフォーカス調整する第３のフォーカスリングと前記第１のライブビュー画像、または、前記第２のライブビュー画像のどちらかをフォーカス調整する第４のフォーカスリングを有するレンズを装着したときに制御することを特徴とする実施態様１０または１１に記載の電子機器。
［実施態様１９］
前記第３のフォーカスリングのみでフォーカス調整できる表示アイテムの表示色と前記第３および前記第４のフォーカスリングでフォーカス調整できる表示アイテムの表示色とを異ならせることを特徴とする実施態様１８に記載の電子機器。
［実施態様２０］
前記表示制御手段は、第３の表示アイテムを表示するときに、第１の表示アイテムと第２の表示アイテムを表示することを特徴とする実施態様１０または１１に記載の電子機器。
［実施態様２１］
前記表示制御手段は、前記第１の表示アイテムに表示する前記第１のフォーカスに関する情報と前記第２の表示アイテムに表示する前記第２のフォーカスに関する情報との差を、前記第１のフォーカスに関する情報を基準、または、前記第２のフォーカスに関する情報を基準とした差分の情報として示す前記第３の表示アイテムを表示することを特徴とする実施態様１０または１１に記載の電子機器。
［実施態様２２］
前記表示制御手段は、前記第１の表示アイテムに表示する前記第１のフォーカスに関する情報と前記第２の表示アイテムに表示する前記第２のフォーカスに関する情報との差を調整する調整モードを行うときのみ前記第３の表示アイテムを表示することを特徴とする実施態様１０または１１に記載の電子機器。
［実施態様２３］
第１の光学系を介して撮影される第１のライブビュー画像と、前記第１の光学系と同じ向きの第２の光学系を介して撮影され、前記第１のライブビュー画像に対して視差のある第２のライブビュー画像とを取得する取得ステップと、
フォーカスに関する情報を示す表示アイテムを前記第１のライブビュー画像と前記第２のライブビュー画像とに重畳して第１の表示アイテムと第２の表示アイテムを同じ像高に表示するように制御する表示制御ステップと
を有することを特徴とする電子機器の制御方法。
［実施態様２４］
第１の光学系を介して撮影される第１のライブビュー画像と、前記第１の光学系と同じ向きの第２の光学系を介して撮影され、前記第１のライブビュー画像に対して視差のある第２のライブビュー画像とを取得する取得ステップと、
前記第１のライブビュー画像と前記第２のライブビュー画像のフォーカスに関する情報の差を示す第３の表示アイテムをライブビュー画像に重畳して表示するように制御する表示制御ステップと、
を有することを特徴とする電子機器の制御方法。
［実施態様２５］
コンピュータを、実施態様１０から２２のいずれか１項に記載された電子機器の各手段として機能させるためのプログラム。
［実施態様２６］
コンピュータを、実施態様１０から２２のいずれか１項に記載された電子機器の各手段として機能させるためのプログラムを格納したコンピュータが読み取り可能な記憶媒体。
［実施態様２７］
撮影された画像をライブビュー表示する電子機器であって、
第１の光学系を介して撮影される第１のライブビュー画像と、前記第１の光学系と同じ向きの第２の光学系を介して撮影され、前記第１のライブビュー画像に対して視差のある第２のライブビュー画像とを取得する取得手段と、
前記第１のライブビュー画像のフォーカスに関する情報を示す第１の表示アイテムと、前記第２のライブビュー画像のフォーカスに関する情報を示す第２の表示アイテムと、
を前記ライブビュー表示に重畳させて表示するように制御する表示制御手段と、
を有することを特徴とする電子機器。
［実施態様２８］
前記表示制御手段は、複数の前記第１の表示アイテムと前記第２の表示アイテムを前記ライブビュー表示に重畳させて表示することを特徴とする実施態様２７に記載の電子機器。
［実施態様２９］
前記第１の表示アイテムと前記第２の表示アイテムは、前記第１の光学系と前記第２の光学系の光軸位置に基づく位置に表示されることを特徴とする実施態様２７に記載の電子機器。
［実施態様３０］
前記第１または第２の表示アイテムの前記ライブビュー表示における表示位置が変更された場合には、前記第１または第２の表示アイテムも、前記第１の光学系と前記第２の光学系の光軸位置に応じて移動することを特徴とする実施態様２７または２９に記載の電子機器。
［実施態様３１］
第１のフォーカスリングを含む前記第１の光学系の異なる射出瞳を通過した一対の光束を用いて位相差検出した前記第１のデフォーカス量と、第２のフォーカスリングを含む前記第２の光学系の異なる射出瞳を通過した一対の光束を用いて位相差検出した前記第２のデフォーカス量とを取得する取得手段と、
前記第１のフォーカスリングまたは前記第２のフォーカスリングの駆動量を、前記第１のデフォーカス量と前記第２のデフォーカス量との差分によって自動的に調整する調整手段と、
を有することを特徴とする撮像装置。
［実施態様３２］
撮影された画像をライブビュー表示する撮像装置であって、
第１の光学系を介して撮影される第１のライブビュー画像と、前記第１の光学系と同じ向きの第２の光学系を介して撮影され、前記第１のライブビュー画像に対して視差のある第２のライブビュー画像とを取得する取得手段と、
前記第１、前記第２のライブビュー画像の焦点状態を同様に調整する調整手段と、
前記調整手段によって設定されたキャリブレーション値を記憶する記憶手段と、を有し、
前記キャリブレーション値を任意のタイミングで適用可能とすることを特徴とする、撮像装置。
［実施態様３３］
第１の画像および第２画像を含む視差画像対を表示する表示装置であって、
前記第１の画像と前記第２の画像の焦点状態を同様に調整する調整手段と、
前記調整手段によって設定されたキャリブレーション値を記憶する記憶手段と、
を有し、
前記キャリブレーション値を画像に適用することで焦点状態の変更を可能とすることを特徴とする表示装置。
［実施態様３４］
前記調整手段による焦点状態の変更は、焦点状態の異なる複数の画像から選択する、ことで行われることを特徴とする実施態様３３に記載の表示装置。
［実施態様３５］
前記調整手段による焦点状態の変更は、リフォーカス処理によってで行われることを特徴とする実施態様３４に記載の表示装置
［実施態様３６］
前記キャリブレーション値は前記画像が動画である場合に、１つのフレームで設定され、他のフレームにも適用されることを特徴とする実施態様３３から３５のいずれか１項に記載の表示装置。
［実施態様１］
結像光学系の異なる瞳部分領域をそれぞれ通過する光束を受光する複数の焦点検出画素を有する撮像素子と、
前記焦点検出画素からの一対の信号に基づき、前記結像光学系のデフォーカス量を取得する焦点検出手段と、
前記デフォーカス量を取得する際に用いる焦点検出調整値と、
を有する撮像装置において、
前記結像光学系は複数の光軸を有し、前記焦点検出調整値は前記複数の光軸に対応しており、前記結像光学系の各光軸における光学情報を、前記撮像装置上における各光軸の位置に基づいて変換し、前記変換した光学情報から、前記結像光学系における焦点検出調整値を算出することを特徴とする撮像装置。
［実施態様２］
前記焦点検出調整値は、デフォーカス量を算出するための変換係数、もしくは、一対の焦点検出信号の強度の差を抑制する補正手段に用いる補正値、の少なくとも１つを含むことを特徴とする実施態様１に記載の撮像装置。
［実施態様３］
前記撮像装置は、撮像素子の中心に１つの光軸を有する結像光学系が装着された場合の焦点検出調整値と、撮像素子の中心とは異なる位置に複数の光軸を有する結像光学系が装着された場合の焦点検出調整値を有することを特徴とする実施態様１または２に記載の撮像装置。
［実施態様４］
前記結像光学系が、撮像素子の中心に１つの光軸を有する結像光学系か、撮像素子の中心とは異なる位置に複数の光軸を有する結像光学系か、を判別する情報をもとに、用いる焦点検出調整値を切り替えることを特徴とする実施態様３に記載の撮像装置。
［実施態様５］
前記情報は結像光学系に記憶されており、撮像装置に装着された際に、通信を介して、撮像装置が前記情報を取得することを特徴とする実施態様４に記載の撮像装置。
［実施態様６］
前記情報には、撮像素子上の光軸位置を含むことを特徴とする実施態様５に記載の撮像装置。
［実施態様７］
結像光学系の異なる瞳部分領域をそれぞれ通過する光束を受光する複数の焦点検出画素を有する撮像素子と、
前記焦点検出画素からの一対の信号に基づき、前記結像光学系のデフォーカス量を取得する焦点検出手段と、
前記デフォーカス量を補正する補正値の算出手段と、
を有する撮像装置において、
前記補正値は、前記結像光学系の光軸を中心とした係数からなり、前記結像光学系は複数の光軸を有し、前記算出手段において、各光軸の撮像素子上における光軸位置の座標と、前記係数を用いることで補正値を算出することを特徴とする撮像装置。
［実施態様８］
前記補正値は、焦点検出結果を、撮像としてより好適な合焦位置へ補正する補正値であることを特徴とする実施態様７に記載の撮像装置
［実施態様９］
前記光軸位置の座標は結像光学系に記憶されており、撮像装置に装着された際に、通信を介して、撮像装置が前記光軸位置の情報を取得することを特徴とする実施態様７または８に記載の撮像装置。
［実施態様１０］
撮影された画像をライブビュー表示する電子機器であって、
第１の光学系を介して撮影される第１のライブビュー画像と、前記第１の光学系と同じ向きの第２の光学系を介して撮影され、前記第１のライブビュー画像に対して視差のある第２のライブビュー画像とを取得する取得手段と、
フォーカスに関する情報を示す表示アイテムを前記第１のライブビュー画像と前記第２のライブビュー画像とに重畳して第１の表示アイテムと第２の表示アイテムを同じ像高に表示するように制御する表示制御手段と、
を有することを特徴とする電子機器。
［実施態様１１］
撮影された画像をライブビュー表示する電子機器であって、
第１の光学系を介して撮影される第１のライブビュー画像と、
前記第１の光学系と同じ向きの第２の光学系を介して撮影され、前記第１のライブビュー画像に対して視差のある第２のライブビュー画像とを取得する取得手段と、
前記第１のライブビュー画像と前記第２のライブビュー画像のフォーカスに関する情報の差を示す第３の表示アイテムをライブビュー画像に重畳して表示するように制御する表示制御手段と、
を有することを特徴とする電子機器。
［実施態様１２］
前記フォーカスに関する情報は、表示位置に基づく焦点検出領域についてのフォーカスに関する情報であることを特徴とする実施態様１０または１１に記載の電子機器。
［実施態様１３］
前記表示制御手段は、前記第１のライブビュー画像と前記第２のライブビュー画像に重畳して表示する、フォーカスに関する情報を示す表示アイテムの位置を連動して移動することを特徴とする実施態様１０に記載の電子機器。
［実施態様１４］
前記表示制御手段は、前記第１の表示アイテムと前記第２の表示アイテムの表示位置を前記第１の光学系の光軸位置と前記第２の光学系の光軸位置のそれぞれの位置を基準とした同じ像高に表示することを特徴とする実施態様１０または１３に記載の電子機器。
［実施態様１５］
前記表示制御手段は、フォーカスに関する情報を示す表示アイテムを前記第１のライブビュー画像と前記第２のライブビュー画像、前記第１のライブビュー画像のみ、前記第２のライブビュー画像のみのいずれかに、選択的に表示することを特徴とする実施態様１０に記載の電子機器。
［実施態様１６］
前記表示制御手段は、前記第１のライブビュー画像をフォーカス調整する前記第１のフォーカスリングと前記第２のライブビュー画像をフォーカス調整する前記第２のフォーカスリングを有するレンズを装着したときに制御することを特徴とする実施態様１０または１１に記載の電子機器。
［実施態様１７］
前記第１の表示アイテムの表示色は第１のフォーカスリングの色、前記第２の表示アイテムの表示色は第２のフォーカスリングの色と同色として、前記第１の表示アイテムと前記第２の表示アイテムの表示色を異ならせることを特徴とする実施態様１６に記載の電子機器。
［実施態様１８］
前記表示制御手段は、前記第１のライブビュー画像と前記第２のライブビュー画像とを同時にフォーカス調整する第３のフォーカスリングと前記第１のライブビュー画像、または、前記第２のライブビュー画像のどちらかをフォーカス調整する第４のフォーカスリングを有するレンズを装着したときに制御することを特徴とする実施態様１０または１１に記載の電子機器。
［実施態様１９］
前記第３のフォーカスリングのみでフォーカス調整できる表示アイテムの表示色と前記第３および前記第４のフォーカスリングでフォーカス調整できる表示アイテムの表示色とを異ならせることを特徴とする実施態様１８に記載の電子機器。
［実施態様２０］
前記表示制御手段は、第３の表示アイテムを表示するときに、第１の表示アイテムと第２の表示アイテムを表示することを特徴とする実施態様１０または１１に記載の電子機器。
［実施態様２１］
前記表示制御手段は、前記第１の表示アイテムに表示する前記第１のフォーカスに関する情報と前記第２の表示アイテムに表示する前記第２のフォーカスに関する情報との差を、前記第１のフォーカスに関する情報を基準、または、前記第２のフォーカスに関する情報を基準とした差分の情報として示す前記第３の表示アイテムを表示することを特徴とする実施態様１０または１１に記載の電子機器。
［実施態様２２］
前記表示制御手段は、前記第１の表示アイテムに表示する前記第１のフォーカスに関する情報と前記第２の表示アイテムに表示する前記第２のフォーカスに関する情報との差を調整する調整モードを行うときのみ前記第３の表示アイテムを表示することを特徴とする実施態様１０または１１に記載の電子機器。
［実施態様２３］
第１の光学系を介して撮影される第１のライブビュー画像と、前記第１の光学系と同じ向きの第２の光学系を介して撮影され、前記第１のライブビュー画像に対して視差のある第２のライブビュー画像とを取得する取得ステップと、
フォーカスに関する情報を示す表示アイテムを前記第１のライブビュー画像と前記第２のライブビュー画像とに重畳して第１の表示アイテムと第２の表示アイテムを同じ像高に表示するように制御する表示制御ステップと
を有することを特徴とする電子機器の制御方法。
［実施態様２４］
第１の光学系を介して撮影される第１のライブビュー画像と、前記第１の光学系と同じ向きの第２の光学系を介して撮影され、前記第１のライブビュー画像に対して視差のある第２のライブビュー画像とを取得する取得ステップと、
前記第１のライブビュー画像と前記第２のライブビュー画像のフォーカスに関する情報の差を示す第３の表示アイテムをライブビュー画像に重畳して表示するように制御する表示制御ステップと、
を有することを特徴とする電子機器の制御方法。
［実施態様２５］
コンピュータを、実施態様１０から２２のいずれか１項に記載された電子機器の各手段として機能させるためのプログラム。
［実施態様２６］
コンピュータを、実施態様１０から２２のいずれか１項に記載された電子機器の各手段として機能させるためのプログラムを格納したコンピュータが読み取り可能な記憶媒体。
［実施態様２７］
撮影された画像をライブビュー表示する電子機器であって、
第１の光学系を介して撮影される第１のライブビュー画像と、前記第１の光学系と同じ向きの第２の光学系を介して撮影され、前記第１のライブビュー画像に対して視差のある第２のライブビュー画像とを取得する取得手段と、
前記第１のライブビュー画像のフォーカスに関する情報を示す第１の表示アイテムと、前記第２のライブビュー画像のフォーカスに関する情報を示す第２の表示アイテムと、
を前記ライブビュー表示に重畳させて表示するように制御する表示制御手段と、
を有することを特徴とする電子機器。
［実施態様２８］
前記表示制御手段は、複数の前記第１の表示アイテムと前記第２の表示アイテムを前記ライブビュー表示に重畳させて表示することを特徴とする実施態様２７に記載の電子機器。
［実施態様２９］
前記第１の表示アイテムと前記第２の表示アイテムは、前記第１の光学系と前記第２の光学系の光軸位置に基づく位置に表示されることを特徴とする実施態様２７に記載の電子機器。
［実施態様３０］
前記第１または第２の表示アイテムの前記ライブビュー表示における表示位置が変更された場合には、前記第１または第２の表示アイテムも、前記第１の光学系と前記第２の光学系の光軸位置に応じて移動することを特徴とする実施態様２７または２９に記載の電子機器。
［実施態様３１］
第１のフォーカスリングを含む前記第１の光学系の異なる射出瞳を通過した一対の光束を用いて位相差検出した前記第１のデフォーカス量と、第２のフォーカスリングを含む前記第２の光学系の異なる射出瞳を通過した一対の光束を用いて位相差検出した前記第２のデフォーカス量とを取得する取得手段と、
前記第１のフォーカスリングまたは前記第２のフォーカスリングの駆動量を、前記第１のデフォーカス量と前記第２のデフォーカス量との差分によって自動的に調整する調整手段と、
を有することを特徴とする撮像装置。
［実施態様３２］
撮影された画像をライブビュー表示する撮像装置であって、
第１の光学系を介して撮影される第１のライブビュー画像と、前記第１の光学系と同じ向きの第２の光学系を介して撮影され、前記第１のライブビュー画像に対して視差のある第２のライブビュー画像とを取得する取得手段と、
前記第１、前記第２のライブビュー画像の焦点状態を同様に調整する調整手段と、
前記調整手段によって設定されたキャリブレーション値を記憶する記憶手段と、を有し、
前記キャリブレーション値を任意のタイミングで適用可能とすることを特徴とする、撮像装置。
［実施態様３３］
第１の画像および第２画像を含む視差画像対を表示する表示装置であって、
前記第１の画像と前記第２の画像の焦点状態を同様に調整する調整手段と、
前記調整手段によって設定されたキャリブレーション値を記憶する記憶手段と、
を有し、
前記キャリブレーション値を画像に適用することで焦点状態の変更を可能とすることを特徴とする表示装置。
［実施態様３４］
前記調整手段による焦点状態の変更は、焦点状態の異なる複数の画像から選択する、ことで行われることを特徴とする実施態様３３に記載の表示装置。
［実施態様３５］
前記調整手段による焦点状態の変更は、リフォーカス処理によってで行われることを特徴とする実施態様３４に記載の表示装置
［実施態様３６］
前記キャリブレーション値は前記画像が動画である場合に、１つのフレームで設定され、他のフレームにも適用されることを特徴とする実施態様３３から３５のいずれか１項に記載の表示装置。
【0252】
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【0253】
本発明は上述した実施形態の内容に制限されず、発明の精神および範囲から離脱することなく様々な変更及び変形が可能である。したがって、発明の範囲を公にするために請求項を添付する。
【符号の説明】
【0254】
１００…カメラ本体、１０８…表示部、２００…１眼レンズユニット、２１１…撮像部、２１４…画像処理部、２１８…システム制御部、３００…２眼レンズユニット
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】
【図25】
【図26】
【図27】
