特開 2024-176479 画像処理装置、撮像装置、画像処理方法、プログラム、および記憶媒体

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024176479

(43)【公開日】2024-12-19

(54)【発明の名称】画像処理装置、撮像装置、画像処理方法、プログラム、および記憶媒体

(51)【国際特許分類】

   H04N 23/60 20230101AFI20241212BHJP

   G03B 35/08 20210101ALI20241212BHJP

   G02B 7/28 20210101ALI20241212BHJP

【ＦＩ】

H04N23/60 500

G03B35/08

G02B7/28 N

【審査請求】未請求

【請求項の数】19

【出願形態】ＯＬ

(21)【出願番号】P 2023095033

(22)【出願日】2023-06-08

(71)【出願人】

【識別番号】000001007

【氏名又は名称】キヤノン株式会社

(74)【代理人】

【識別番号】100110412

【弁理士】

【氏名又は名称】藤元 亮輔

(74)【代理人】

【識別番号】100104628

【弁理士】

【氏名又は名称】水本 敦也

(74)【代理人】

【識別番号】100121614

【弁理士】

【氏名又は名称】平山 倫也

(72)【発明者】

【氏名】橘内 健浩

【テーマコード（参考）】

2H059

2H151

5C122

【Ｆターム（参考）】

2H059AA08

2H059AA12

2H059AA24

2H059AA35

2H151AA00

2H151CD19

2H151CE07

5C122EA37

5C122FD01

5C122FH03

5C122FK08

5C122FK37

5C122FK41

5C122GA01

5C122GA23

5C122HA01

5C122HA13

5C122HB01

5C122HB05

(57)【要約】

【課題】撮像後に視差を有する２つの画像のピントずれを調整することが可能な画像処理装置を提供する。
【解決手段】画像処理装置（９００）は、第１光学系（３０１Ｒ）を介した撮像により得られた第１画像データと、第２光学系（３０１Ｌ）を介した撮像により得られた第２画像データとを取得する画像取得手段（１０００）と、第１画像データおよび第２画像データのそれぞれに対して独立してリフォーカス処理を行うことが可能なリフォーカス手段（１００４）と、第１画像データまたは第２画像データの少なくとも一方に対してリフォーカス手段でリフォーカス処理を行うことで、第１画像データと第２画像データとの合焦度合いの差を調整するピント調整手段（１００３）とを有する。
【選択図】図９

【特許請求の範囲】

【請求項1】

第１光学系を介した撮像により得られた第１画像データと、第２光学系を介した撮像により得られた第２画像データとを取得する画像取得手段と、
前記第１画像データおよび前記第２画像データのそれぞれに対して独立してリフォーカス処理を行うことが可能なリフォーカス手段と、
前記第１画像データまたは前記第２画像データの少なくとも一方に対して前記リフォーカス手段で前記リフォーカス処理を行うことで、前記第１画像データと前記第２画像データとの合焦度合いの差を調整するピント調整手段とを有することを特徴とする画像処理装置。

【請求項2】

前記第１画像データまたは前記第２画像データの一方を基準画像データとして決定する基準画像決定手段を更に有し、
前記ピント調整手段は、前記第１画像データまたは前記第２画像データの他方に対して、前記リフォーカス手段で前記リフォーカス処理を行うことを特徴とする請求項１に記載の画像処理装置。

【請求項3】

前記第１画像データおよび前記第２画像データのそれぞれに対応する付帯情報を取得する付帯情報取得手段を更に有することを特徴とする請求項２に記載の画像処理装置。

【請求項4】

前記基準画像決定手段は、前記付帯情報を用いて前記基準画像データを決定することを特徴とする請求項３に記載の画像処理装置。

【請求項5】

前記ピント調整手段は、前記付帯情報により決定される所定の位置において、前記第１画像データと前記第２画像データとの前記合焦度合いの差を調整することを特徴とする請求項３に記載の画像処理装置。

【請求項6】

前記基準画像決定手段は、前記第１画像データおよび前記第２画像データのそれぞれの前記合焦度合いに基づいて、前記基準画像データを決定することを特徴とする請求項２に記載の画像処理装置。

【請求項7】

前記ピント調整手段は、前記合焦度合いの差を調整することができないと判定した場合、警告表示を行うことを特徴とする請求項１に記載の画像処理装置。

【請求項8】

前記第１画像データは、第１画像と、互いに視差を有する第１視差画像および第２視差画像とを含み、
前記第１画像は、前記第１視差画像と前記第２視差画像とを合算して得られた画像であり、
前記第２画像データは、前記第１画像に対して視差を有する第２画像と、互いに視差を有する第３視差画像および第４視差画像とを含み、
前記第２画像は、前記第３視差画像と前記第４視差画像とを合算して得られた画像であり、
前記リフォーカス手段は、
前記第１視差画像および前記第２視差画像を用いて前記第１画像に対する前記リフォーカス処理を行うことが可能であり、
前記第３視差画像および前記第４視差画像を用いて前記第２画像に対する前記リフォーカス処理を行うことが可能であることを特徴とする請求項１に記載の画像処理装置。

【請求項9】

前記第１視差画像と前記第２視差画像は、前記第１光学系の互いに異なる瞳領域を通過する光束に対応する画像であり、
前記第３視差画像と前記第４視差画像は、前記第２光学系の互いに異なる瞳領域を通過する光束に対応する画像であることを特徴とする請求項８に記載の画像処理装置。

【請求項10】

第１光学系を介した撮像により得られた第１画像データと、第２光学系を介した撮像により得られた第２画像データとを取得する画像取得手段と、
前記第１画像データおよび前記第２画像データのそれぞれに対して独立してリフォーカス処理を行うことが可能なリフォーカス手段と、
前記第１画像データまたは前記第２画像データの少なくとも一方に対して前記リフォーカス手段による前記リフォーカス処理を調整することが可能なリフォーカス調整手段とを有することを特徴とする画像処理装置。

【請求項11】

前記リフォーカス調整手段は、前記第１画像データおよび前記第２画像データのそれぞれに対して独立して前記リフォーカス処理を調整することを特徴とする請求項１０に記載の画像処理装置。

【請求項12】

前記リフォーカス調整手段は、前記第１画像データおよび前記第２画像データに対して連動して前記リフォーカス処理を調整することを特徴とする請求項１０に記載の画像処理装置。

【請求項13】

前記リフォーカス調整手段は、前記第１画像データおよび前記第２画像データのそれぞれに対して独立して前記リフォーカス処理を調整するか、または、前記第１画像データおよび前記第２画像データに対して連動して前記リフォーカス処理を調整するかを切り替える切り替え手段を有することを特徴とする請求項１０に記載の画像処理装置。

【請求項14】

前記リフォーカス調整手段は、前記第１画像データと前記第２画像データとの合焦度合いを示す指標を表示するピント指標表示手段を有することを特徴とする請求項１０に記載の画像処理装置。

【請求項15】

撮像素子と、
請求項１乃至１４のいずれか一項に記載の画像処理装置とを有することを特徴とする撮像装置。

【請求項16】

第１光学系を介した撮像により得られた第１画像データと、第２光学系を介した撮像により得られた第２画像データとを取得するステップと、
前記第１画像データまたは前記第２画像データの少なくとも一方に対してリフォーカス処理を行うことで、前記第１画像データと前記第２画像データとの合焦度合いの差を調整するステップとを有することを特徴とする画像処理方法。

【請求項17】

第１光学系を介した撮像により得られた第１画像データと、第２光学系を介した撮像により得られた第２画像データとを取得するステップと、
前記第１画像データまたは前記第２画像データの少なくとも一方に対するリフォーカス処理を調整するための表示を行うステップとを有することを特徴とする画像処理方法。

【請求項18】

請求項１６または１７に記載の画像処理方法をコンピュータに実行させることを特徴とするプログラム。

【請求項19】

請求項１８に記載のプログラムを記憶していることを特徴とするコンピュータ読み取り可能な記憶媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像処理装置、撮像装置、画像処理方法、プログラム、および記憶媒体に関する。

【背景技術】

【0002】

２つの光学系を介した撮像により互いに視差を有する２つの画像を取得し、２つの画像を立体視可能に表示する技術が知られている。立体視に使用する２つの画像の間にピントずれが生じると、立体視においてユーザに違和感を与えてしまう。

【0003】

特許文献１および特許文献２には、撮像時の自動焦点調整（オートフォーカス：ＡＦ）に際して、互いに視差を有する２つの画像（視差画像）のピントずれを調整する方法が開示されている

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開平０８－１９４２７４号公報

【特許文献2】特開２０１２－１３３２３２号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

特許文献１および特許文献２に開示された方法では、撮像後の２つの画像のピントずれを調整することはできない。

【0006】

そこで本発明は、撮像後に視差を有する２つの画像のピントずれを調整することが可能な画像処理装置を提供することを目的とする。

【課題を解決するための手段】

【0007】

本発明の一側面としての画像処理装置は、第１光学系を介した撮像により得られた第１画像データと、第２光学系を介した撮像により得られた第２画像データとを取得する画像取得手段と、前記第１画像データおよび前記第２画像データのそれぞれに対して独立してリフォーカス処理を行うことが可能なリフォーカス手段と、前記第１画像データまたは前記第２画像データの少なくとも一方に対して前記リフォーカス手段で前記リフォーカス処理を行うことで、前記第１画像データと前記第２画像データとの合焦度合いの差を調整するピント調整手段とを有する。

【0008】

本発明の他の目的及び特徴は、以下の実施形態において説明される。

【発明の効果】

【0009】

本発明によれば、撮像後に視差を有する２つの画像のピントずれを調整することが可能な画像処理装置を提供することができる。

【図面の簡単な説明】

【0010】

【図1】各実施形態に係るシステムの全体構成の一例を示す模式図である。

【図2】各実施形態に係るカメラの外観図である。

【図3】各実施形態に係るカメラのブロック図である。

【図4】各実施形態に係るレンズユニットの構成図である。

【図5】各実施形態に係る撮像画像の特徴を示す模式図である。

【図6】各実施形態に係る画素配列図である。

【図7】各実施形態に係る多視点撮影モードでの撮像画像に含まれる画像を示す模式図である。

【図8】各実施形態に係るＰＣのブロック図である。

【図9】第１実施形態に係るＰＣの処理手段のブロック図である。

【図10】第１実施形態に係る動作手順を示すフローチャートである。

【図11】第２実施形態に係るＰＣの処理手段のブロック図である。

【図12】第２実施形態に係るＵＩ画面の一例である。

【図13】第２実施形態に係る動作手順を示すフローチャートである。

【発明を実施するための形態】

【0011】

以下、本発明の実施形態について、図面を参照しながら詳細に説明する。

【0012】

＜システム構成＞
まず、図１（ａ）、（ｂ）を参照して、本実施形態に係るシステム１０について説明する。図１（ａ），（ｂ）は、システム１０の全体構成の一例を示す模式図である。システム１０は、カメラ（撮像装置）１００とパーソナルコンピュータ（ＰＣ）６００とを含む。カメラ１００にはレンズユニット（レンズ装置）３００が装着（接続）されている。レンズユニット３００の詳細は後述するが、レンズユニット３００を装着することで、カメラ１００は、所定の視差を有する２つの画像（静止画または動画）を一度に撮像可能である。ＰＣ６００は、カメラ１００などの撮像装置で撮像された画像を処理する情報処理装置である。

【0013】

図１（ａ）は、無線や有線などでカメラ１００とＰＣ６００とが互いに通信可能に接続された構成を示す。図１（ｂ）は、カメラ１００で撮影した画像などを、ファイルベースで、外部記憶装置７００を介してＰＣ６００に入力する構成を示す。外部記憶装置７００は、カメラ１００とＰＣ６００の一方または両方に接続される。例えば、外部記憶装置７００をカメラ１００に接続して、カメラ１００で撮影した画像のファイルを外部記憶装置７００に格納してもよい。その後、外部記憶装置７００をカメラ１００から取り外してＰＣ６００に接続し、外部記憶装置７００に格納されたファイルをＰＣ６００が取り込んでもよい。

【0014】

次に、図２（ａ）、（ｂ）を参照して、カメラ１００の外観構成について説明する。図２（ａ）、（ｂ）は、カメラ１００の外観図である。図２（ａ）はカメラ１００を前面側から見た斜視図、図２（ｂ）はカメラ１００を背面側から見た斜視図をそれぞれ示す。

【0015】

カメラ１００は、上面に、シャッターボタン１０１、電源スイッチ１０２、モード切替スイッチ１０３、メイン電子ダイヤル１０４、サブ電子ダイヤル１０５、動画ボタン１０６、ファインダ外表示部１０７を有する。シャッターボタン１０１は、撮影準備指示あるいは撮影指示を行うための操作部材である。電源スイッチ１０２は、カメラ１００の電源のオンとオフとを切り替える操作部材である。

【0016】

モード切替スイッチ１０３は、各種モードを切り替えるための操作部材である。メイン電子ダイヤル１０４は、シャッター速度や絞り等の設定値を変更するための回転式の操作部材である。サブ電子ダイヤル１０５は、選択枠（カーソル）の移動や画像送り等を行うための回転式の操作部材である。動画ボタン１０６は、動画撮影（記録）の開始や停止の指示を行うための操作部材である。ファインダ外表示部１０７は、シャッター速度や絞り等の様々な設定値を表示する。

【0017】

カメラ１００は、背面に、表示部１０８、タッチパネル１０９、方向キー１１０、ＳＥＴボタン１１１、ＡＥロックボタン１１２、拡大ボタン１１３、再生ボタン１１４、メニューボタン１１５、接眼部１１６、接眼検知部１１８、タッチバー１１９を有する。表示部１０８は、画像や各種情報を表示する。タッチパネル１０９は、表示部１０８の表示面（タッチ操作面）に対するタッチ操作を検出する操作部材である。

【0018】

方向キー１１０は、上下左右にそれぞれ押下可能なキー（４方向キー）から構成される操作部である。方向キー１１０の押下した位置に応じた処理が可能である。ＳＥＴボタン１１１は、主に選択項目を決定するときに押下される操作部材である。ＡＥロックボタン１１２は、撮影待機状態で露出状態を固定するときに押下される操作部材である。

【0019】

拡大ボタン１１３は、撮影モードのライブビュー表示（ＬＶ表示）において拡大モードのオンとオフとを切り替えるための操作部材である。拡大モードがオンである場合にはメイン電子ダイヤル１０４を操作することにより、ライブビュー画像（ＬＶ画像）が拡大または縮小する。また、拡大ボタン１１３は、再生モードにおいて再生画像を拡大したり、拡大率を大きくしたりするときに用いられる。

【0020】

再生ボタン１１４は、撮影モードと再生モードとを切り替えるための操作部材である。撮影モードの場合に再生ボタン１１４を押下することで再生モードに移行し、後述する記録媒体２２７に記録された画像のうち最新の画像を表示部１０８に表示することができる。

【0021】

メニューボタン１１５は、各種設定が可能なメニュー画面を表示部１０８に表示するために押下される操作部材である。ユーザは、表示部１０８に表示されたメニュー画面と、方向キー１１０やＳＥＴボタン１１１とを用いて、直感的に各種設定を行うことができる。

【0022】

接眼部１１６は、接眼ファインダ（覗き込み型のファインダ）１１７に対して接眼して覗き込む部位である。ユーザは接眼部１１６を介して、カメラ１００内部の後述するＥＶＦ（Ｅｌｅｃｔｒｏｎｉｃ Ｖｉｅｗ Ｆｉｎｄｅｒ）２１７に表示された映像を視認することができる。接眼検知部１１８は、接眼部１１６（接眼ファインダ１１７）にユーザが接眼しているか否かを検知するセンサである。

【0023】

タッチバー１１９は、タッチ操作を受け付けることが可能なライン状のタッチ操作部材（ラインタッチセンサ）である。タッチバー１１９は、右手の人差し指でシャッターボタン１０１を押下可能なようにグリップ部１２０を右手で握った状態（右手の小指、薬指、中指で握った状態）で、右手の親指でタッチ操作可能（タッチ可能）な位置に配置される。すなわち、タッチバー１１９は、接眼ファインダ１１７に接眼して接眼部１１６を覗き、いつでもシャッターボタン１０１を押下できるように構えた状態（撮影姿勢）で操作可能である。

【0024】

タッチバー１１９は、タッチバー１１９に対するタップ操作（タッチして所定期間以内にタッチ位置を移動せずに離す操作）、左右へのスライド操作（タッチした後、タッチしたままタッチ位置を移動する操作）等を受け付け可能である。タッチバー１１９は、タッチパネル１０９とは異なる操作部材であり、表示機能を備えていない。タッチバー１１９は、例えば各種機能を割当可能なマルチファンクションバー（Ｍ－Ｆｎバー）として機能する。

【0025】

また、カメラ１００は、グリップ部１２０、サムレスト部１２１、端子カバー１２２、蓋１２３、通信端子１２４等を有する。グリップ部１２０は、ユーザがカメラ１００を構える際に右手で握りやすい形状に形成された保持部である。グリップ部１２０を右手の小指、薬指、中指で握ってカメラ１００を保持した状態で、右手の人差指で操作可能な位置にシャッターボタン１０１とメイン電子ダイヤル１０４が配置される。また、同様な状態で、右手の親指で操作可能な位置にサブ電子ダイヤル１０５とタッチバー１１９が配置される。

【0026】

サムレスト部１２１（親指待機位置）は、カメラ１００の背面側の、どの操作部材も操作しない状態でグリップ部１２０を握った右手の親指を置きやすい箇所に設けられたグリップ部である。サムレスト部１２１は、保持力（グリップ感）を高めるためのラバー部材等で構成される。

【0027】

端子カバー１２２は、カメラ１００を外部機器（外部装置）に接続する接続ケーブル等のコネクタを保護する。蓋１２３は、後述する記録媒体２２７を格納するためのスロットを閉塞することで記録媒体２２７およびスロットを保護する。通信端子１２４は、カメラ１００に対して着脱可能なレンズユニット（後述するレンズユニット２００、または図１（ａ）、（ｂ）に示されるレンズユニット３００など）側と通信を行うための端子である。

【0028】

次に、図３を参照して、カメラ１００の内部構成について説明する。図３は、カメラ１００のブロック図である。なお図３において、図２（ａ）、（ｂ）と同一の構成要素には図２（ａ）、（ｂ）と同一の符号を付し、その構成要素の説明は適宜、省略する。図３では、カメラ１００にレンズユニット（レンズ装置）２００が装着されている。

【0029】

まず、レンズユニット２００について説明する。レンズユニット２００は、カメラ１００に対して着脱可能な交換レンズである。レンズユニット２００は、１眼レンズであり、通常のレンズの一例である。レンズユニット２００は、絞り（開口絞り）２０１、レンズ２０２、絞り駆動回路２０３、ＡＦ（オートフォーカス）駆動回路２０４、レンズシステム制御回路２０５、通信端子２０６等を有する。

【0030】

絞り２０１は、開口径が調整可能に構成されている。レンズ２０２は、複数枚のレンズから構成される。絞り駆動回路２０３は、絞り２０１の開口径を制御することで光量を調整する。ＡＦ駆動回路２０４は、レンズ２０２を駆動して焦点を合わせる。

【0031】

レンズシステム制御回路２０５は、後述するシステム制御部５０の指示に基づいて、絞り駆動回路２０３、ＡＦ駆動回路２０４等を制御する。レンズシステム制御回路２０５は、絞り駆動回路２０３を介して絞り２０１の制御を行い、ＡＦ駆動回路２０４を介してレンズ２０２の位置を変えることで焦点を合わせる。

【0032】

レンズシステム制御回路２０５は、カメラ１００との間で通信可能である。具体的には、レンズユニット２００の通信端子２０６と、カメラ１００の通信端子１２４とを介して通信が行われる。通信端子２０６は、レンズユニット２００がカメラ１００側と通信を行うための端子である。

【0033】

次に、カメラ１００について説明する。カメラ１００は、シャッター２１０、撮像部２１１、Ａ／Ｄ変換器２１２、メモリ制御部２１３、画像処理部２１４、メモリ２１５、Ｄ／Ａ変換器２１６、ＥＶＦ２１７、表示部１０８、システム制御部５０を有する。

【0034】

シャッター２１０は、システム制御部５０の指示に基づいて撮像部２１１の露光時間を自由に制御できるフォーカルプレーンシャッターである。撮像部２１１は、光学像を電気信号に変換するＣＣＤやＣＭＯＳ素子等で構成される撮像素子（イメージセンサ）である。撮像部２１１は、システム制御部５０にデフォーカス量情報を出力する撮像面位相差センサを有していてもよい。Ａ／Ｄ変換器２１２は、撮像部２１１から出力されるアナログ信号をデジタル信号に変換する。なお、Ａ／Ｄ変換器２１２は、撮像部２１１に内蔵されてもよい。

【0035】

画像処理部２１４は、Ａ／Ｄ変換器２１２からのデータまたはメモリ制御部２１３からのデータに対し所定の処理（画素補間、縮小等のリサイズ処理、色変換処理等）を行う。また、画像処理部２１４は、撮像した画像データを用いて所定の演算処理を行い、得られた演算結果に基づいてシステム制御部５０が露光制御や測距制御を行う。この処理により、ＴＴＬ（スルー・ザ・レンズ）方式のＡＦ処理、ＡＥ（自動露出）処理、ＥＦ（フラッシュプリ発光）処理等が行われる。更に、画像処理部２１４は、撮像した画像データを用いて所定の演算処理を行い、得られた演算結果に基づいてシステム制御部５０がＴＴＬ方式のＡＷＢ（オートホワイトバランス）処理を行う。

【0036】

Ａ／Ｄ変換器２１２からの画像データは、画像処理部２１４およびメモリ制御部２１３を介してメモリ２１５に書き込まれる。あるいは、Ａ／Ｄ変換器２１２からの画像データは、画像処理部２１４を介さずにメモリ制御部２１３を介してメモリ２１５に書き込まれる。メモリ２１５は、撮像部２１１によって得られＡ／Ｄ変換器２１２によりデジタルデータに変換された画像データや、表示部１０８やＥＶＦ２１７に表示するための画像データを格納する。メモリ２１５は、所定枚数の静止画像や所定時間の動画像および音声を格納するのに十分な記憶容量を備えている。また、メモリ２１５は画像表示用のメモリ（ビデオメモリ）を兼ねている。

【0037】

Ｄ／Ａ変換器２１６は、メモリ２１５に格納されている表示用の画像データをアナログ信号に変換して表示部１０８やＥＶＦ２１７に供給する。したがって、メモリ２１５に書き込まれた表示用の画像データは、Ｄ／Ａ変換器２１６を介して表示部１０８やＥＶＦ２１７に表示される。

【0038】

表示部１０８やＥＶＦ２１７は、Ｄ／Ａ変換器２１６からのアナログ信号に応じた表示を行う。表示部１０８やＥＶＦ２１７は、例えば、ＬＣＤや有機ＥＬ等のディスプレイである。Ａ／Ｄ変換器２１２によってＡ／Ｄ変換されメモリ２１５に蓄積されたデジタル信号をＤ／Ａ変換器２１６でアナログ信号に変換し、表示部１０８やＥＶＦ２１７に逐次転送して表示することで、ライブビュー表示が行われる。

【0039】

システム制御部５０は、少なくとも１つのプロセッサおよび／または少なくとも１つの回路からなる制御部である。すなわち、システム制御部５０は、プロセッサであってもよく、回路であってもよく、プロセッサと回路の組み合わせであってもよい。システム制御部５０は、カメラ１００全体を制御する。

【0040】

システム制御部５０は、不揮発性メモリ２１９に記録されたプログラムを実行することで、後述するフローチャートの各処理を実現する。また、システム制御部５０は、メモリ２１５、Ｄ／Ａ変換器２１６、表示部１０８、ＥＶＦ２１７等を制御することにより表示制御も行う。

【0041】

また、カメラ１００は、システムメモリ２１８、不揮発性メモリ２１９、システムタイマ２２０、通信部２２１、姿勢検知部２２２、接眼検知部１１８を有する。

【0042】

システムメモリ２１８として、例えばＲＡＭが用いられる。システムメモリ２１８には、システム制御部５０の動作用の定数、変数、不揮発性メモリ２１９から読み出したプログラ等が展開される。不揮発性メモリ２１９は電気的に消去・記録可能なメモリであり、不揮発性メモリ２１９として、例えばＥＥＰＲＯＭが用いられる。

【0043】

不揮発性メモリ２１９には、システム制御部５０の動作用の定数、プログラム等が記録される。ここでのプログラムとは、後述するフローチャートを実行するためのプログラムである。システムタイマ２２０は、各種制御に用いる時間や、内蔵された時計の時間を計測する計時部である。

【0044】

通信部２２１は、無線または有線ケーブルによって接続された外部機器との間で、映像信号や音声信号の送受信を行う。通信部２２１は、無線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）やインターネットとも接続可能である。また通信部２２１は、Ｂｌｕｅｔｏｏｔｈ（登録商標）やＢｌｕｅｔｏｏｔｈ（登録商標） Ｌｏｗ Ｅｎｅｒｇｙでも外部機器と通信可能である。通信部２２１は、撮像部２１１で撮像した画像（ライブ画像を含む）や、記録媒体２２７に記録された画像を送信可能であり、外部機器から画像やその他の各種情報を受信することができる。

【0045】

姿勢検知部２２２は、重力方向に対するカメラ１００の姿勢を検知する。姿勢検知部２２２で検知された姿勢に基づいて、撮像部２１１で撮影された画像が、カメラ１００を横に構えて撮影された画像であるか、縦に構えて撮影された画像であるかを判別可能である。システム制御部５０は、姿勢検知部２２２で検知された姿勢に応じた向き情報を撮像部２１１で撮影された画像の画像ファイルに付加したり、検知された姿勢に応じて画像を回転したりすることが可能である。姿勢検知部２２２には、例えば、加速度センサやジャイロセンサ等を用いることができる。姿勢検知部２２２を用いて、カメラ１００の動き（パン、チルト、持ち上げ、静止しているか否か等）を検知することも可能である。

【0046】

接眼検知部１１８は、接眼部１１６（接眼ファインダ１１７）に対する何らかの物体の接近を検知することができる。接眼検知部１１８には、例えば、赤外線近接センサを用いることができる。物体が接近した場合、接眼検知部１１８の投光部から投光した赤外線が物体で反射して赤外線近接センサの受光部で受光される。受光された赤外線の量によって接眼部１１６から物体までの距離を判別することができる。

【0047】

このように接眼検知部１１８は、接眼部１１６に対する物体の近接距離を検知する接眼検知を行う。接眼検知部１１８は、接眼部１１６に対する眼（物体）の接近（接眼）および離反（離眼）を検知する接眼検知センサである。非接眼状態（非接近状態）から、接眼部１１６に対して所定距離以内に近づく物体が検知された場合に、接眼されたと検知する。一方、接眼状態（接近状態）から、接近を検知していた物体が所定距離以上離れた場合に、離眼されたと検知する。接眼を検知する閾値と、離眼を検知する閾値とは例えばヒステリシスを設ける等して異なっていてもよい。また、接眼を検知した後は、離眼を検知するまでは接眼状態であるものとする。離眼を検知した後は、接眼を検知するまでは非接眼状態であるものとする。

【0048】

システム制御部５０は、接眼検知部１１８で検知された状態に応じて、表示部１０８とＥＶＦ２１７の表示（表示状態）／非表示（非表示状態）を切り替える。具体的には、少なくとも撮影待機状態であって、かつ、表示先の切替設定が自動切替である場合、非接眼中は表示先を表示部１０８として表示をオンとし、ＥＶＦ２１７は非表示とする。また、接眼中は表示先をＥＶＦ２１７として表示をオンとし、表示部１０８は非表示とする。なお、接眼検知部１１８は赤外線近接センサに限られず、接眼検知部１１８には、接眼とみなせる状態を検知できるものであれば他のセンサを用いてもよい。

【0049】

またカメラ１００は、ファインダ外表示部１０７、ファインダ外表示駆動回路２２３、電源制御部２２４、電源部２２５、記録媒体Ｉ／Ｆ２２６、操作部２２８等を有する。

【0050】

ファインダ外表示部１０７は、ファインダ外表示駆動回路２２３によって駆動され、シャッター速度や絞り等のカメラ１００の様々な設定値を表示する。電源制御部２２４は、電池検出回路、ＤＣ－ＤＣコンバータ、通電するブロックを切り替えるスイッチ回路等により構成され、電池の装着の有無、電池の種類、電池残量の検出等を行う。また、電源制御部２２４は、その検出結果およびシステム制御部５０の指示に基づいてＤＣ－ＤＣコンバータを制御し、必要な電圧を必要な期間、記録媒体２２７を含む各部へ供給する。

【0051】

電源部２２５は、アルカリ電池およびリチウム電池等の一次電池、ＮｉＣｄ電池、ＮｉＭＨ電池およびＬｉ電池等の二次電池、ＡＣアダプター等である。記録媒体Ｉ／Ｆ２２６は、メモリカードやハードディスク等の記録媒体２２７とのインターフェースである。記録媒体２２７は、撮影された画像を記録するためのメモリカード等であり、半導体メモリや磁気ディスク等から構成される。記録媒体２２７は、カメラ１００に対して着脱可能であってもよいし、カメラ１００に内蔵されていてもよい。

【0052】

操作部２２８は、ユーザからの操作（ユーザ操作）を受け付ける入力部であり、システム制御部５０に各種の指示を入力するために用いられる。操作部２２８は、シャッターボタン１０１、電源スイッチ１０２、モード切替スイッチ１０３、タッチパネル１０９、他の操作部２２９等が含まれる。他の操作部２２９には、メイン電子ダイヤル１０４、サブ電子ダイヤル１０５、動画ボタン１０６、方向キー１１０、ＳＥＴボタン１１１、ＡＥロックボタン１１２、拡大ボタン１１３、再生ボタン１１４、メニューボタン１１５、タッチバー１１９等が含まれる。

【0053】

シャッターボタン１０１は、第１シャッタースイッチ２３０と第２シャッタースイッチ２３１を有する。

【0054】

第１シャッタースイッチ２３０は、シャッターボタン１０１の操作途中、いわゆる半押し（撮影準備指示）でオンとなり、第１シャッタースイッチ信号ＳＷ１を出力する。システム制御部５０は、第１シャッタースイッチ信号ＳＷ１に応じて、ＡＦ処理、ＡＥ処理、ＡＷＢ処理、ＥＦ処理等の撮影準備処理を開始する。

【0055】

第２シャッタースイッチ２３１は、シャッターボタン１０１の操作完了、いわゆる全押し（撮影指示）でオンとなり、第２シャッタースイッチ信号ＳＷ２を出力する。システム制御部５０は、第２シャッタースイッチ信号ＳＷ２に応じて、撮像部２１１からの信号読み出しから、撮影された画像を含む画像ファイルを生成して記録媒体２２７に書き込むまでの一連の撮影処理を開始する。

【0056】

モード切替スイッチ１０３は、システム制御部５０の動作モードを静止画撮影モード、動画撮影モード、再生モード等の何れかに切り替える。静止画撮影モードに含まれるモードには、オート撮影モード、オートシーン判別モード、マニュアルモード、絞り優先モード（Ａｖモード）、シャッター速度優先モード（Ｔｖモード）、プログラムＡＥモード（Ｐモード）がある。

【0057】

また、撮影シーン別の撮影設定となる各種シーンモード、カスタムモード等がある。ユーザは、モード切替スイッチ１０３により、上述した撮影モードの何れかに直接、切り替えることができる。あるいは、ユーザは、モード切替スイッチ１０３により撮影モードの一覧画面に一旦切り替えた後に、表示された複数のモードの何れかに操作部２２８を用いて選択的に切り替えることができる。同様に、動画撮影モードにも複数のモードが含まれていてもよい。

【0058】

タッチパネル１０９は、表示部１０８の表示面（タッチパネル１０９の操作面）への各種タッチ操作を検出するタッチセンサである。タッチパネル１０９と表示部１０８とは一体的に構成することができる。例えば、タッチパネル１０９は、光の透過率が表示部１０８の表示を妨げないように、表示部１０８の表示面の上層に取り付けられる。そして、タッチパネル１０９における入力座標と、表示部１０８の表示面上の表示座標とを対応付けることで、あたかもユーザが表示部１０８上に表示された画面を直接的に操作可能であるかのようなＧＵＩ（グラフィカルユーザインターフェース）を構成できる。

【0059】

タッチパネル１０９には、抵抗膜方式や静電容量方式、表面弾性波方式、赤外線方式、電磁誘導方式、画像認識方式、光センサ方式等の様々な方式のうち何れかの方式を用いることができる。方式によって、タッチパネル１０９に対する接触があったことでタッチがあったと検知する方式や、タッチパネル１０９に対する指やペンの接近があったことでタッチがあったと検知する方式があるが、いずれの方式であってもよい。

【0060】

システム制御部５０は、タッチパネル１０９に対する以下の操作あるいは状態を検出できる。

【0061】

・タッチパネル１０９にタッチしていなかった指やペンが新たにタッチパネル１０９にタッチしたこと、すなわちタッチの開始（以下、タッチダウン（Ｔｏｕｃｈ－Ｄｏｗｎ）という）。

【0062】

・タッチパネル１０９を指やペンでタッチしている状態（以下、タッチオン（Ｔｏｕｃｈ－Ｏｎ）という）。

【0063】

・タッチパネル１０９を指やペンがタッチしたまま移動していること（以下、タッチムーブ（Ｔｏｕｃｈ－Ｍｏｖｅ）という）。

【0064】

・タッチパネル１０９へタッチしていた指やペンがタッチパネル１０９から離れた（リリースされた）こと、すなわちタッチの終了（以下、タッチアップ（Ｔｏｕｃｈ－Ｕｐ）という）。

【0065】

・タッチパネル１０９に何もタッチしていない状態（以下、タッチオフ（Ｔｏｕｃｈ－Ｏｆｆ）という）。

【0066】

タッチダウンが検出されると、同時にタッチオンも検出される。タッチダウンの後、タッチアップが検出されない限りは、通常はタッチオンが検出され続ける。タッチムーブが検出された場合も、同時にタッチオンが検出される。タッチオンが検出されていても、タッチ位置が移動していなければタッチムーブは検出されない。タッチしていた全ての指やペンがタッチアップしたことが検出された後は、タッチオフとなる。

【0067】

これらの操作・状態や、タッチパネル１０９上に指やペンがタッチしている位置座標は内部バスを通じてシステム制御部５０に通知される。システム制御部５０は通知された情報に基づいてタッチパネル１０９上にどのような操作（タッチ操作）が行われたかを判定する。タッチムーブについてはタッチパネル１０９上で移動する指やペンの移動方向についても、位置座標の変化に基づいて、タッチパネル１０９上の垂直成分・水平成分毎に判定できる。所定距離以上をタッチムーブしたことが検出された場合はスライド操作が行われたと判定される。

【0068】

タッチパネル１０９上に指をタッチしたままある程度の距離だけ素早く動かして、そのまま離すといった操作をフリックという。フリックは、言い換えればタッチパネル１０９上を指ではじくように素早くなぞる操作である。所定距離以上を、所定速度以上でタッチムーブしたことが検出され、そのままタッチアップが検出されるとフリックが行われたと判定される（スライド操作に続いてフリックがあったものと判定できる）。

【0069】

更に、複数箇所（例えば２点）を共にタッチして（マルチタッチして）、互いのタッチ位置を近づけるタッチ操作をピンチイン、互いのタッチ位置を遠ざけるタッチ操作をピンチアウトという。ピンチアウトとピンチインを総称してピンチ操作（あるいは単にピンチ）という。

【0070】

次に、図４を参照して、レンズユニット３００について説明する。図４は、レンズユニット３００の構成図である。図４では、レンズユニット３００をカメラ１００に装着した状態を示している。なお、図４に示されるカメラ１００のうち、図３を参照して説明した構成要素と同一の構成要素には、図３と同一の符号を付し、その構成要素の説明は適宜、省略する。

【0071】

レンズユニット３００は、カメラ１００に対して着脱可能な交換レンズである。レンズユニット３００は、視差のある右像および左像を撮像可能な２眼レンズである。本実施形態では、レンズユニット３００は２つの光学系を有し、２つの光学系それぞれで、略１８０度の広視野角の範囲を撮像できる。具体的に、レンズユニット３００の２つの光学系それぞれで、左右方向（水平角度、方位角、ヨー角）１８０度、上下方向（垂直角度、仰俯角、ピッチ角）１８０度の視野分（画角分）の被写体を撮像できる。つまり、２つの光学系それぞれで、前方半球の範囲を撮像できる。

【0072】

レンズユニット３００は、複数のレンズと反射ミラー等を有する右眼光学系３０１Ｒ、複数のレンズと反射ミラー等を有する左眼光学系３０１Ｌ、レンズシステム制御回路３０３、ＡＦ駆動回路３０４を有する。右眼光学系３０１Ｒは第１光学系の一例であり、左眼光学系３０１Ｌは第２光学系の一例である。右眼光学系３０１Ｒは被写体側に配置されるレンズ３０２Ｒを有し、左眼光学系３０１Ｌは被写体側に配置されるレンズ３０２Ｌを有する。レンズ３０２Ｒとレンズ３０２Ｌは同じ方向を向いており、それらの光軸は略平行である。

【0073】

レンズシステム制御回路３０３は、ＡＦ駆動回路３０４等を制御する。レンズシステム制御回路３０３は、ＡＦ駆動回路３０４を介して右眼光学系３０１Ｒおよび左眼光学系３０１Ｌの位置を変えることで被写体に焦点を合わせる。各実施形態では、ＡＦ駆動回路３０４は右眼光学系３０１Ｒおよび左眼光学系３０１Ｌが連動して動作するように制御する。すなわち焦点調整はレンズユニット３００全体として調整されるようになっており、焦点調整によって右像と左像との焦点ずれは発生しない。なお、右像と左像との焦点ずれについては図４に不図示の調整部で微調整することが可能であり、撮影開始前に事前に調整することができる。

【0074】

レンズユニット３００は、２眼立体視が可能なＶＲ（Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ）画像のフォーマットの１つであるＶＲ１８０の画像を得るための２眼レンズ（ＶＲ１８０レンズ）である。本実施形態では、レンズユニット３００は、右眼光学系３０１Ｒおよび左眼光学系３０１Ｌのそれぞれに、略１８０度の範囲を捉えることが可能な魚眼レンズを有する。なお、右眼光学系３０１Ｒおよび左眼光学系３０１Ｌのそれぞれが有するレンズで捉えることが可能な範囲は、１８０度の範囲よりも狭い１６０度程度であってもよい。

【0075】

レンズユニット３００は、右眼光学系３０１Ｒを介して形成される右像（第１画像）と、左眼光学系３０１Ｌを介して形成される左像（第２画像）とを、レンズユニット３００が装着されたカメラの１つまたは２つの撮像素子上に結像することができる。

【0076】

レンズユニット３００は、レンズマウント部３０５と、カメラ１００のカメラマウント部３０６とを介して、カメラ１００に装着される。こうすることで、カメラ１００の通信端子１２４と、レンズユニット３００の通信端子３０７とを介して、カメラ１００のシステム制御部５０とレンズユニット３００のレンズシステム制御回路３０３とが電気的に接続される。

【0077】

次に、図５を参照して、各実施形態のカメラ１００で撮像される画像（撮像画像）５００の特徴について説明する。図５は、画像５００の特徴を示す模式図である。本実施形態では、右眼光学系３０１Ｒを介して形成される右像と、左眼光学系３０１Ｌを介して形成される左像とが、同時に（セットで）カメラ１００の撮像部２１１に結像される。すなわち、右眼光学系３０１Ｒおよび左眼光学系３０１Ｌにより形成される２つの光学像（第１画像）５０１Ｒおよび光学像（第２画像）５０１Ｌが１つの撮像素子５０２上に形成される。

【0078】

撮像部２１１は、結像された被写体像（光信号）をアナログ電気信号に変換する。このようにレンズユニット３００を用いることで、右眼光学系３０１Ｒと左眼光学系３０１Ｌとの２つの箇所（光学系）から、視差がある２つの画像（第１画像および第２画像）を同時に（セットで）取得することができる。取得された画像を左眼用の画像と右眼用の画像とに分けてＶＲ表示することで、ユーザは略１８０度の範囲の立体的なＶＲ画像を視聴することができる。

【0079】

次に、図６を参照して、撮像素子５０２の画素の配置例について説明する。図６は、撮像素子５０２の画素配列図であり、画素が横４画素×縦４画素配列された領域を代表的に示している。撮像素子５０２は、撮像光学系の瞳領域を瞳分割方向に分割して、互いに異なる瞳領域（瞳部分領域）を通過した光束に基づく信号から複数の画像信号（視差画像）を生成可能に構成されている。具体的には、各画素の光電変換領域が水平方向（瞳分割方向）に２分割されており、各光電変換領域が副画素として機能する。従って、図６は、副画素が横８画素×縦４画素配列された領域とも言うことができる。

【0080】

本実施形態において、図６の左上の２×２の画素群５１０は、撮像素子５０２に設けられた原色ベイヤー配列のカラーフィルタの繰り返し単位に対応している。従って、Ｒ（赤）の分光感度を有する画素５１０Ｒが左上に、Ｇ（緑）の分光感度を有する画素５１０Ｇが右上と左下に、Ｂ（青）の分光感度を有する画素５１０Ｂが右下に配置されている。

【0081】

また、図６の右上の画素に代表的に示すように、各画素は、横２×縦１に等分割された光電変換部を有しており、左半分の光電変換部が第１副画素５１１、右半分の光電変換部が第２副画素５１２として利用可能である。副画素５１１の出力を取得して得られる１つの画像と、副画素５１２の出力を取得して得られる１つの画像とが、１組の視点画像を構成する。したがって、カメラ１００は１回の撮影によって２つの視点画像を生成することができる。

【0082】

また、各画素の第１副画素５１１と第２副画素５１２で得られる信号を加算（合算）することで、瞳分割がなされていない１つの通常画素の画素信号として利用することができる。すなわち、後述の第１画像は第１視差画像と第２視差画像とを合算して得られた画像であり、後述の第２画像は第３視差画像と第４視差画像とを合算して得られた画像である。

【0083】

本実施形態では、各マイクロレンズに対応する各画素の回路が、瞳分割された複数の光電変換部で共通の電荷蓄積部（フローティングデフュージョン部：ＦＤ部）を有して構成されている。このため、該ＦＤ部への電荷の転送と、ＦＤ部の電荷のリセットを制御することにより、各副画素からの電荷に基づく画素信号および各副画素からの電荷が混合されて出力された画素信号とが出力可能である。

【0084】

ここで各副画素に入射される異なる瞳部分領域を通過した光束に基づく光学像をＡ像、Ｂ像、各光学像に基づく信号（電荷）をＡ像信号、Ｂ像信号、各副画素からの信号が混合された信号を（Ａ＋Ｂ）像信号と便宜上呼ぶ。

【0085】

本実施形態では、通常の撮影モードとして、撮像時に（Ａ＋Ｂ）像信号のみを読み出し、多視点撮影モードとして（Ａ＋Ｂ）像信号に加えてＡ像信号を読み出し、各撮影モードでの記録では、読み出された各画像信号に対応する画像データを記録する。

【0086】

次に、図７を参照して、多視点撮影モードで撮影した際に画像５００に追加で含まれる画像について説明する。図７は、多視点撮影モードで撮影した際に画像５００に追加で含まれる画像の模式図である。画像５００は、図５に示されるＡ＋Ｂ像（画像５００）に追加して、Ａ像５００ＡおよびＢ像５００Ｂを有する。

【0087】

Ａ像５００Ａにおいては、右眼光学系による画像（第１視差画像）５００ＡＲおよび左眼光学系による画像（第３視差画像）５００ＡＬが含まれる。同様に、Ｂ像５００Ｂにおいては右眼光学系による画像（第２視差画像）５００ＢＲおよび左眼光学系による画像（第４視差画像）５００ＢＬが含まれる。画像５００ＡＲと画像５００ＢＲは互いに視差を有し、画像５００ＡＬと画像５００ＢＬは互いに視差を有する。後述の第１実施形態および第２実施形態においては、多視点撮影モードで撮影することを前提として説明を行う。

【0088】

次に、図８を参照して、ＰＣ６００の内部構成について説明する。図８は、ＰＣ６００のブロック図である。制御部６０１は、例えばＣｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ（ＣＰＵ）であり、ＰＣ６００全体を制御する。Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ（ＲＯＭ）６０２は、プログラムやパラメータを非一時的に記憶する。Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ（ＲＡＭ）６０３は、外部機器などから供給されるプログラムやデータを一時的に記憶する。記録媒体６０４は、ＰＣ６００に固定して設置されたハードディスクやフラッシュメモリ、あるいはＰＣ６００に対して着脱可能な光ディスク、磁気カード、光カード、ＩＣカード、メモリカードなどである。カメラ１００が撮影した画像のファイルは、記録媒体６０４から読み出される。

【0089】

操作部６０５は、ＰＣ６００に対するユーザの操作を受け付ける。ユーザが操作を行う際に用いる操作部材は、ＰＣ６００に設けられたボタンやタッチパネルなどであってもよく、またはＰＣ６００に対して着脱可能なキーボードやマウスなどでもよい。表示部６０６は、ＰＣ６００が保持するデータや外部から供給されたデータなどを表示する。表示部６０６はＰＣ６００の一部であってもよいし、ＰＣ６００とは別体の表示装置であってもよい。通信部６０７は、カメラ１００などの外部機器との通信を行う。システムバス６０８はＰＣ６００の構成要素間を通信可能に接続する。

【0090】

後述の各実施形態におけるＰＣ６００の処理手段（画像処理装置）は、制御部６０１がＲＯＭ６０２に記憶された所定のプログラムなどを作業用ＲＡＭ６０３に展開、実行し、各部が制御部６０１からの指令に基づいて所定の動作を行うことにより実現される。なお各実施形態では、ＰＣ６００において処理を行うものとして説明するが、カメラ１００がＰＣ６００と同様の構成要素を有し、カメラ１００で同様の処理を行うことも可能である。以下、各実施形態について説明する。

【0091】

＜第１実施形態＞
まず、図９を参照して、本発明の第１実施形態に係るＰＣ６００が備える処理手段（画像処理装置）９００について説明する。図９は、処理手段（画像処理装置）９００のブロック図である。

【0092】

画像取得手段１０００は、記録媒体６０４に記憶された画像ファイルを取得する。すなわち画像取得手段１０００は、第１光学系（例えば右眼光学系）を介した撮像により得られた第１画像データと、第２光学系（例えば左眼光学系）を介した撮像により得られた第２画像データとを取得する。本実施形態において、画像取得手段１０００は、多視点撮影モードで撮像された画像ファイル（第１画像データおよび第２画像データ）から、以下の６つの画像を取得することができる。

【0093】

・右眼光学系で撮像された（Ａ＋Ｂ）像（第１画像）、Ａ像（第１視差画像）、Ｂ像（第２視差画像）の３つ
・左眼光学系で撮像された（Ａ＋Ｂ）像（第２画像）、Ａ像（第３視差画像）、Ｂ像（第４視差画像）の３つ
付帯情報取得手段１００１は、画像ファイルに対応して記録された付帯情報を取得する。付帯情報は、撮影時のシャッタースピードや絞りなどの撮影情報、撮影時のカメラの姿勢情報、およびオートフォーカス情報（ＡＦ情報）などを含む。本実施形態において、ＡＦ情報とは、右眼光学系、左眼光学系のどちらでＡＦを行ったかを示すＡＦ光学系情報、ＡＦを行った座標位置情報を含む。なお、付帯情報が同一の画像ファイル内に記録される例を説明したが、付帯情報は画像ファイルと関連付けられた別のファイルに記録されていてもよい。

【0094】

基準画像決定手段１００２は、後述のピント調整手段１００３において基準とする画像（基準画像、基準画像データ）を決定する。本実施形態において、基準画像決定部１００２は、付帯情報に含まれるＡＦ光学系情報に基づいてＡＦを行った光学系の画像を基準画像として決定する。ＡＦを行った光学系の画像は、ＡＦを行っていない光学系と比較して、ピントが合っている可能性が高いため、ＡＦを行った光学系の画像を基準画像として選択することが好ましい。

【0095】

なお、基準画像の決定方法としては、前述の方法に限定されるものではない。例えば、右眼光学系の（Ａ＋Ｂ）像、左眼光学系の（Ａ＋Ｂ）像のＡＦ座標（所定の位置）におけるピントの合っている度合い（合焦度合い）を公知な手法で算出し、よりピントの合っている光学系の画像を基準画像として決定してもよい。以降、基準画像（第１画像データまたは第２画像データの一方）として選択されなかった光学系の画像（第１画像データまたは第２画像データの他方）を調整画像と呼ぶ。

【0096】

ピント調整手段１００３は、調整画像に対して後述のリフォーカス手段１００４を用いてリフォーカス処理を行う。すなわちピント調整手段１００３は、第１画像データまたは第２画像データの少なくとも一方に対してリフォーカス処理を行うことで、第１画像データと第２画像データとの合焦度合いの差を調整する。

【0097】

より具体的には、ピント調整手段１００３は、ＡＦ座標において、基準画像および調整画像のそれぞれの合焦度合いを算出する。そしてピント調整手段１００３は、調整画像の合焦度合いが基準画像に対して所定の範囲内に収まるように（基準画像と調整画像の合焦度合いの差を調整するように）リフォーカス処理を行う。リフォーカス手段１００４は、調整画像の光学系（第１光学系または第２光学系）における視差画像であるＡ像（第１視差画像または第３視差画像）およびＢ像（第２視差画像または第４視差画像）を用いてリフォーカス処理を行う。

【0098】

リフォーカス手段１００４は、第１視差画像および第２視差画像を用いて第１画像に対するリフォーカス処理を行うことが可能であり、第３視差画像および第４視差画像を用いて第２画像に対するリフォーカス処理を行うことが可能である。なお、第１視差画像と第２視差画像は、第１光学系の互いに異なる瞳領域を通過する光束に対応する画像であり、第３視差画像と第４視差画像は、第２光学系の互いに異なる瞳領域を通過する光束に対応する画像である。

【0099】

このようにリフォーカス手段１００４は、第１画像データおよび第２画像データのそれぞれに対して独立してリフォーカス処理を行うことが可能である。なお、リフォーカス処理の方法は特に限定されるものではなく、公知な方法を用いることができる。警告手段１００５は、表示部６０６に警告表示を行う。

【0100】

次に、図１０を参照して、本実施形態に係る処理手段９００の動作（画像処理方法）について説明する。図１０は、処理手段９００の動作手順を示すフローチャートである。

【0101】

ステップＳ１００１において、画像取得手段１０００は、例えば記録媒体６０４から画像を取得する（画像を読み込む）。

【0102】

ステップＳ１００２において、付帯情報取得手段１００１は、付帯情報を取得する。

【0103】

ステップＳ１００３において、基準画像決定手段１００２は、基準画像および調整画像を決定する。

【0104】

ステップＳ１００４において、ピント調整手段１００３は、調整画像のピントを調整し、基準画像と調整画像のピント（合焦度合い）が合うように調整する。

【0105】

ステップＳ１００５において、ピント調整手段１００３は、基準画像と調整画像のピントが所定の範囲内に収まり、調整に成功したか否かを判定する。

【0106】

調整が失敗したと判定された場合（ピント調整手段１００３が第１画像データと第２画像データの合焦度合いの差を調整することができないと判定した場合）、ステップＳ１００６に進む。一方、調整が成功したと判定された場合、本フローチャートの処理を終了する。

【0107】

ステップＳ１００６において、警告手段１００５は、調整に失敗した旨を表示部６００に表示する（警告表示を行う）。その後、本フローチャートの処理を終了する。

【0108】

なお本実施形態において、ステップＳ１００６にて警告表示を行うが、これに限定されるものではなく、例えば、後述の第２実施形態に処理を切り替えるなどしてもよい。また本実施形態において、第１画像データまたは第２画像データの一方を調整画像データとしてリフォーカス処理を行うと説明したが、これに限定されるものではなく、第１画像データおよび第２画像データの両方をリフォーカス処理してもよい。

【0109】

本実施形態によれば、多視点撮影モードで撮影された画像において、右眼光学系の画像と左眼光学系の画像のピントずれを低減することができる。

【0110】

＜第２実施形態＞
次に、図１１および図１２を参照して、本発明の第２実施形態に係るＰＣ６００が備える処理手段（画像処理装置）１１００について説明する。図１１は、処理手段（画像処理装置）１１００のブロック図である。図１２は、図１２はユーザに表示されるＵＩ画面（画面１２００）の一例である。なお本実施形態において、第１実施形態と共通の説明は省略する。

【0111】

画像取得手段２０００は、記録媒体６０４に記憶された画像ファイルを取得する。すなわち画像取得手段２０００は、第１光学系（例えば右眼光学系）を介した撮像により得られた第１画像データと、第２光学系（例えば左眼光学系）を介した撮像により得られた第２画像データとを取得する。

【0112】

本実施形態において、画像取得手段２０００は、多視点撮影モードで撮像された画像ファイル（第１画像データおよび第２画像データ）から、以下の６つの画像を取得することができる。

【0113】

・右眼光学系で撮像された（Ａ＋Ｂ）像（第１画像）、Ａ像（第１視差画像）、Ｂ像（第２視差画像）の３つ
・左眼光学系で撮像された（Ａ＋Ｂ）像（第２画像）、Ａ像（第３視差画像）、Ｂ像（第４視差画像）の３つ
付帯情報取得手段２００１は、画像ファイルに対応して記録された付帯情報を取得する。付帯情報は、撮影時のシャッタースピードや絞りなどの撮影情報、撮影時のカメラの姿勢情報、およびオートフォーカス情報（ＡＦ情報）などを含む。

【0114】

本実施形態において、ＡＦ情報とは、右眼光学系または左眼光学系のどちらでＡＦを行ったかを示すＡＦ光学系情報、およびＡＦを行った座標位置情報を含む。なお本実施形態では、付帯情報が同一の画像ファイル内に記録される例を説明したが、付帯情報は画像ファイルと関連付けられた別のファイルに記録されていてもよい。

【0115】

基準画像決定手段２００２は、後述のピント調整手段２００３において基準とする画像を決定する。本実施形態において、基準画像決定手段２００２は、付帯情報に含まれるＡＦ光学系情報に基づいてＡＦを行った光学系の画像を基準画像として決定する。ＡＦを行った光学系の画像は、ＡＦを行っていない光学系と比較して、ピントが合っている可能性が高いため、ＡＦを行った光学系の画像を選択することが好ましい。

【0116】

なお、基準画像の決定方法としては、前述の方法に限定されるものではない。例えば、右眼光学系の（Ａ＋Ｂ）像、左眼光学系の（Ａ＋Ｂ）像のＡＦ座標（図１２のＡＦ枠１２０４）におけるピントの合っている度合い（合焦度合い）を公知な手法で算出し、よりピントの合っている光学系の画像を基準画像として決定してもよい。以降、基準画像として選択されなかった光学系の画像を調整画像と呼ぶ。

【0117】

ピント調整手段２００３は、図１２の調整スライダー１２０１の調整値に従い、リフォーカス手段２００４を用いてリフォーカス処理を行う。リフォーカス手段２００４は、各光学系の視差画像であるＡ像（第１視差画像または第３視差画像）およびＢ像（第２視差画像または第４視差画像）を用いてリフォーカス処理を行う。リフォーカス処理の方法は、特に限定されるものではなく、公知な方法を用いることができる。

【0118】

ピント指標表示手段２００５は、ピント調整手段２００３による調整画像において、ピントの合っている度合い（合焦度合い）を公知な方法によって算出し、合焦度合いに応じて表示部６０６に表示を行う。すなわちピント指標表示手段２００５は、第１画像データと第２画像データとの合焦度合いを示す指標を表示する。本実施形態において、例えば図１２のピント指標表示１２０２を表示する。ピント指標表示１２０２において、左右２つのバーが中央のバーに近いほどピントが合っていることを示す。

【0119】

連動調整切り替え手段２００６は、図１２の調整スライダー１２０１の調整の際に左右の画像の調整を連動して動かすか否かを切り替える。本実施形態では、左右の画像を連動して調整するか否かを、図１２の連動設定１２０３により設定可能である。また本実施形態において、ＵＩを表示し、左右の画像を連動して調整するか否かをユーザが手動で切り替えることとしたが、自動で切り替えてもよい。

【0120】

例えば、自動的に切り替える場合、以下のように調整することができる。すなわち、基準画像を調整した場合、全体としてピントが甘いと考えらえるため連動して調整を行う。一方、調整画像を調整した場合、基準画像に対するピントずれがあると考えられるため、連動せずに個別で調整を行う。画像表示手段２００７は、表示部６０６に右眼光学系の画像および左眼光学系の画像をそれぞれ表示する。

【0121】

このように本実施形態において、処理手段１１００は、第１画像データまたは第２画像データの少なくとも一方に対してリフォーカス手段２００４によるリフォーカス処理を調整することが可能なリフォーカス調整手段を有する。リフォーカス調整手段は、ピント指標表示手段２００５、連動調整切り替え手段２００６、または画像常時手段２００７の少なくとも一つに相当する。

【0122】

次に、図１３を参照して、本実施形態に係る処理手段１１００の動作（画像処理方法）について説明する。図１３は、処理手段１１００の動作手順を示すフローチャートである。

【0123】

ステップＳ２００１において、画像取得手段２０００は、例えば記録媒体６０４から画像を取得する（画像を読み込む）。

【0124】

ステップＳ２００２において、付帯情報取得手段２００１は、付帯情報を取得する。

【0125】

ステップＳ２００３において、基準画像決定手段２００２は、基準画像および調整画像を決定する。

【0126】

ステップＳ２００４において、画像表示手段２００７は、右眼光学系の画像および左眼光学系の画像を表示部６０６に表示する。

【0127】

ステップＳ２００５において、ピント調整手段２００３は、右眼光学系の画像および左眼光学系の画像のピントを調整し、画像を更新する。

【0128】

ステップＳ２００６において、ユーザが調整を継続する場合、ステップＳ２００４に戻り、表示画像を更新して、継続してピント調整を行う。一方、ユーザが調整を終了する場合、本フローチャートを終了する。

【0129】

本実施形態によれば、多視点撮影モードで撮影された画像において、右眼光学系の画像と左眼光学系の画像のピントをそれぞれ調整可能であり、これらの画像のピントずれを低減することができる。

【0130】

＜その他の実施形態＞
本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）をネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ等）がプログラムコードを読み出して実行する処理である。この場合、そのプログラム、及び該プログラムを記憶した記憶媒体は本発明を構成することになる。

【0131】

各実施形態によれば、撮像後に視差を有する２つの画像のピントずれを調整することが可能な画像処理装置、撮像装置、画像処理方法、およびプログラムを提供することができる。

【0132】

各実施形態の開示は、以下の構成および方法を含む。
（構成１）
第１光学系を介した撮像により得られた第１画像データと、第２光学系を介した撮像により得られた第２画像データとを取得する画像取得手段と、
前記第１画像データおよび前記第２画像データのそれぞれに対して独立してリフォーカス処理を行うことが可能なリフォーカス手段と、
前記第１画像データまたは前記第２画像データの少なくとも一方に対して前記リフォーカス手段で前記リフォーカス処理を行うことで、前記第１画像データと前記第２画像データとの合焦度合いの差を調整するピント調整手段とを有することを特徴とする画像処理装置。
（構成２）
前記第１画像データまたは前記第２画像データの一方を基準画像データとして決定する基準画像決定手段を更に有し、
前記ピント調整手段は、前記第１画像データまたは前記第２画像データの他方に対して、前記リフォーカス手段で前記リフォーカス処理を行うことを特徴とする構成１に記載の画像処理装置。
（構成３）
前記第１画像データおよび前記第２画像データのそれぞれに対応する付帯情報を取得する付帯情報取得手段を更に有することを特徴とする構成２に記載の画像処理装置。
（構成４）
前記基準画像決定手段は、前記付帯情報を用いて前記基準画像データを決定することを特徴とする構成３に記載の画像処理装置。
（構成５）
前記ピント調整手段は、前記付帯情報により決定される所定の位置において、前記第１画像データと前記第２画像データとの前記合焦度合いの差を調整することを特徴とする構成３または４に記載の画像処理装置。
（構成６）
前記基準画像決定手段は、前記第１画像データおよび前記第２画像データのそれぞれの前記合焦度合いに基づいて、前記基準画像データを決定することを特徴とする構成２乃至５のいずれかに記載の画像処理装置。
（構成７）
前記ピント調整手段は、前記合焦度合いの差を調整することができないと判定した場合、警告表示を行うことを特徴とする構成１乃至６のいずれかに記載の画像処理装置。
（構成８）
前記第１画像データは、第１画像と、互いに視差を有する第１視差画像および第２視差画像とを含み、
前記第１画像は、前記第１視差画像と前記第２視差画像とを合算して得られた画像であり、
前記第２画像データは、前記第１画像に対して視差を有する第２画像と、互いに視差を有する第３視差画像および第４視差画像とを含み、
前記第２画像は、前記第３視差画像と前記第４視差画像とを合算して得られた画像であり、
前記リフォーカス手段は、
前記第１視差画像および前記第２視差画像を用いて前記第１画像に対する前記リフォーカス処理を行うことが可能であり、
前記第３視差画像および前記第４視差画像を用いて前記第２画像に対する前記リフォーカス処理を行うことが可能であることを特徴とする構成１乃至７のいずれかに記載の画像処理装置。
（構成９）
前記第１視差画像と前記第２視差画像は、前記第１光学系の互いに異なる瞳領域を通過する光束に対応する画像であり、
前記第３視差画像と前記第４視差画像は、前記第２光学系の互いに異なる瞳領域を通過する光束に対応する画像であることを特徴とする構成８に記載の画像処理装置。
（構成１０）
第１光学系を介した撮像により得られた第１画像データと、第２光学系を介した撮像により得られた第２画像データとを取得する画像取得手段と、
前記第１画像データおよび前記第２画像データのそれぞれに対して独立してリフォーカス処理を行うことが可能なリフォーカス手段と、
前記第１画像データまたは前記第２画像データの少なくとも一方に対して前記リフォーカス手段による前記リフォーカス処理を調整することが可能なリフォーカス調整手段とを有することを特徴とする画像処理装置。
（構成１１）
前記リフォーカス調整手段は、前記第１画像データおよび前記第２画像データのそれぞれに対して独立して前記リフォーカス処理を調整することを特徴とする構成１０に記載の画像処理装置。
（構成１２）
前記リフォーカス調整手段は、前記第１画像データおよび前記第２画像データに対して連動して前記リフォーカス処理を調整することを特徴とする構成１０に記載の画像処理装置。
（構成１３）
前記リフォーカス調整手段は、前記第１画像データおよび前記第２画像データのそれぞれに対して独立して前記リフォーカス処理を調整するか、または、前記第１画像データおよび前記第２画像データに対して連動して前記リフォーカス処理を調整するかを切り替える切り替え手段を有することを特徴とする構成１０に記載の画像処理装置。
（構成１４）
前記リフォーカス調整手段は、前記第１画像データと前記第２画像データとの合焦度合いを示す指標を表示するピント指標表示手段を有することを特徴とする構成１０乃至１３のいずれかに記載の画像処理装置。
（構成１５）
撮像素子と、
構成１乃至１４のいずれかに記載の画像処理装置とを有することを特徴とする撮像装置。
（方法１）
第１光学系を介した撮像により得られた第１画像データと、第２光学系を介した撮像により得られた第２画像データとを取得するステップと、
前記第１画像データまたは前記第２画像データの少なくとも一方に対してリフォーカス処理を行うことで、前記第１画像データと前記第２画像データとの合焦度合いの差を調整するステップとを有することを特徴とする画像処理方法。
（方法２）
第１光学系を介した撮像により得られた第１画像データと、第２光学系を介した撮像により得られた第２画像データとを取得するステップと、
前記第１画像データまたは前記第２画像データの少なくとも一方に対するリフォーカス処理を調整するための表示を行うステップとを有することを特徴とする画像処理方法。
（構成１６）
方法１または２に記載の画像処理方法をコンピュータに実行させることを特徴とするプログラム。
（構成１７）
構成１６に記載のプログラムを記憶していることを特徴とするコンピュータ読み取り可能な記憶媒体。

【0133】

以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。さらに、上述した各実施形態は本発明の一実施形態を示すものにすぎず、各実施形態を適宜組み合わせることも可能である。

【符号の説明】

【0134】

３０１Ｒ 右眼光学系（第１光学系）
３０１Ｌ 左眼光学系（第２光学系）
９００、１１００ 処理手段（画像処理装置）
１０００ 画像取得手段
１００３ ピント調整手段
１００４ リフォーカス手段

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】