特許 5982601 撮像装置及び合焦制御方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】5982601

(24)【登録日】2016年8月5日

(45)【発行日】2016年8月31日

(54)【発明の名称】撮像装置及び合焦制御方法

(51)【国際特許分類】

   G02B 7/28 20060101AFI20160818BHJP

   G02B 7/34 20060101ALI20160818BHJP

   G03B 13/36 20060101ALI20160818BHJP

   H04N 5/232 20060101ALI20160818BHJP

【ＦＩ】

   G02B7/28 N

   G02B7/34

   G03B13/36

   H04N5/232 H

【請求項の数】6

【全頁数】21

(21)【出願番号】特願2016-508455(P2016-508455)

(86)(22)【出願日】2014年12月17日

(86)【国際出願番号】JP2014083356

(87)【国際公開番号】WO2015141084

(87)【国際公開日】20150924

【審査請求日】2016年5月11日

(31)【優先権主張番号】特願2014-54992(P2014-54992)

(32)【優先日】2014年3月18日

(33)【優先権主張国】JP

【早期審査対象出願】

(73)【特許権者】

【識別番号】306037311

【氏名又は名称】富士フイルム株式会社

(74)【代理人】

【識別番号】100115107

【弁理士】

【氏名又は名称】高松 猛

(74)【代理人】

【識別番号】100151194

【弁理士】

【氏名又は名称】尾澤 俊之

(72)【発明者】

【氏名】青木 貴嗣

(72)【発明者】

【氏名】大槻 康夫

【審査官】 荒井 良子

(56)【参考文献】

【文献】 特開２０１１−１３５１９１（ＪＰ，Ａ）

【文献】 特開２０１０−１５２１６１（ＪＰ，Ａ）

【文献】 特開２０１３−１８６１８７（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０２Ｂ ７／２８

Ｇ０２Ｂ ７／３４

Ｇ０３Ｂ １３／３６

Ｈ０４Ｎ ５／２３２

(57)【特許請求の範囲】

【請求項1】

一方向に分割される撮像光学系の瞳領域のうちの一方の分割領域を通過した光束に応じた信号を検出する第１の信号検出部、及び、他方の分割領域を通過した光束に応じた信号を検出する第２の信号検出部のペアを前記一方向に複数配列したペア行を有し、前記ペア行が前記一方向に直交する方向に複数配列された撮像素子と、
複数の前記ペア行が配置されたエリアにある任意の前記ペア行における複数の前記第１の信号検出部の検出信号と、前記複数の第１の信号検出部の各々に対して前記一方向と交差する交差方向にある前記エリアの他の前記ペア行の前記第１の信号検出部の検出信号とを加算して得られる複数の検出信号と、前記任意のペア行の前記複数の第１の信号検出部の各々とペアを構成する前記第２の信号検出部の検出信号と、前記第２の信号検出部に対して前記交差方向にある前記エリアの他の前記ペア行の前記第２の信号検出部の検出信号とを加算して得られる複数の検出信号との相関演算の結果からデフォーカス量を生成するデフォーカス量生成部と、
前記交差方向として、複数の方向のうち前記相関演算の結果の信頼度が最大になる方向を判定する方向判定部と、
前記方向判定部によって判定された方向を前記交差方向とした前記相関演算の結果から前記デフォーカス量生成部によって生成されたデフォーカス量に基づいて前記撮像光学系の合焦制御を行う合焦制御部と、を備える撮像装置。

【請求項2】

請求項１記載の撮像装置であって、
前記方向判定部は、前記交差方向を前記複数の方向のそれぞれに設定して前記相関演算を行い、前記複数の方向のそれぞれについての前記相関演算の結果の比較により、前記信頼度が最大になる方向を判定する撮像装置。

【請求項3】

請求項１記載の撮像装置であって、
前記方向判定部は、前記エリアに結像する被写体像のコントラストが最小となる方向を、前記信頼度が最大になる方向と判定する撮像装置。

【請求項4】

請求項３記載の撮像装置であって、
前記方向判定部は、前記任意のペア行の前記複数の第１の信号検出部又は前記複数の第２の信号検出部の各々と、前記複数の第１の信号検出部又は前記複数の第２の信号検出部の各々に対し前記複数の方向のそれぞれにある前記エリア内の他の前記ペア行の前記第１の信号検出部又は前記第２の信号検出部とで、隣り合う信号検出部同士の検出信号の差分を積算して前記コントラストを算出する撮像装置。

【請求項5】

請求項１記載の撮像装置であって、
前記方向判定部は、前記複数の方向のうち重力の方向と最も近い方向を、前記信頼度が最大になる方向と判定する撮像装置。

【請求項6】

一方向に分割される撮像光学系の瞳領域のうちの一方の分割領域を通過した光束に応じた信号を検出する第１の信号検出部、及び、他方の分割領域を通過した光束に応じた信号を検出する第２の信号検出部のペアを前記一方向に複数配列したペア行を有し、前記ペア行が前記一方向に直交する方向に複数配列された撮像素子から出力される、複数の前記ペア行が配置されたエリアにある任意の前記ペア行における複数の前記第１の信号検出部の検出信号と、前記複数の第１の信号検出部の各々に対して前記一方向と交差する交差方向にある前記エリアの他の前記ペア行の前記第１の信号検出部の検出信号とを加算して得られる複数の検出信号と、前記任意のペア行の前記複数の第１の信号検出部の各々とペアを構成する前記第２の信号検出部の検出信号と、前記第２の信号検出部に対して前記交差方向にある前記エリアの他の前記ペア行の前記第２の信号検出部の検出信号とを加算して得られる複数の検出信号との相関演算の結果からデフォーカス量を生成するデフォーカス量生成ステップと、
前記交差方向として、複数の方向のうち前記相関演算の結果の信頼度が最大になる方向を判定する方向判定ステップと、
前記方向判定ステップによって判定された方向を前記交差方向とした前記相関演算の結果から前記デフォーカス量生成ステップによって生成されたデフォーカス量にしたがって前記撮像光学系の合焦制御を行う合焦制御ステップと、を備える合焦制御方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、撮像装置及び合焦制御方法に関する。

【背景技術】

【0002】

近年、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）イメージセンサ、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサ等の撮像素子の高解像度化に伴い、デジタルスチルカメラ、デジタルビデオカメラ、スマートフォン等の携帯電話機、ＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ，携帯情報端末）等の撮影機能を有する情報機器の需要が急増している。なお、以上のような撮像機能を有する情報機器を撮像装置と称する。

【0003】

これら撮像装置では、主要な被写体に焦点を合わせる合焦制御方法として、位相差ＡＦ（Ａｕｔｏ Ｆｏｃｕｓ）方式（例えば特許文献１〜３参照）が採用されている。

【0004】

位相差ＡＦ方式により合焦制御を行う撮像装置に搭載される固体撮像素子には、例えば、遮光膜開口が互いに逆方向に偏心した位相差検出用画素のペアを撮像面の全面に離散的に設けたものが使用される。

【0005】

この位相差検出用画素は、遮光膜開口が光電変換部に対して偏心していない通常の撮像用画素と比べて感度が低い。そのため、被写体が低照度の場合には、位相差検出用画素の検出信号レベルが低下してしまう。

【0006】

このような検出信号レベルの低下を補うべく、単純にゲインアップ処理をして相関演算を行うと、相関演算結果において誤差が生じてしまう。そこで、位相差検出用画素の検出信号同士を加算することによって信号量を増やすことが行われている。

【0007】

特許文献１には、斜め方向に並ぶ複数の位相差検出用画素の検出信号を加算し、加算後の検出信号を用いて相関演算してデフォーカス量を算出する構成が記載されている。

【0008】

また、特許文献２，３には、水平方向位置が同じである複数の相差検出用画素の検出信号を加算し、加算後の検出信号に基づいてデフォーカス量を算出する構成が開示されている。

【先行技術文献】

【特許文献】

【0009】

【特許文献1】特開２０１１−１３５１９１号公報

【特許文献2】特開２０１０−１５２１６１号公報

【特許文献3】特開２０１３−２１８１３７号公報

【発明の概要】

【発明が解決しようとする課題】

【0010】

特許文献１〜３に記載の撮像装置は、いずれも、特定の方向に並ぶ複数の位相差検出用画素の検出信号を加算し、加算後の検出信号を用いて相関演算を行うものである。

【0011】

しかし、これらの複数の位相差検出用画素の一部には明るい被写体部分が結像し、これらの複数の位相差検出用画素の残りの部分には暗い被写体部分が結像しているような場合、つまり、特定の方向に交差して被写体のエッジが存在している場合がある。この場合、検出信号の加算によってエッジがぼやけることになるため、加算後の検出信号の相関演算結果には誤差が生じることになる。

【0012】

本発明は、上記事情に鑑みてなされたものであり、位相差検出用画素の検出信号レベルが低くなる場合でも、被写体によらずに、合焦制御の精度を向上させることができる撮像装置及び合焦制御方法を提供することを目的とする。

【課題を解決するための手段】

【0013】

本発明の撮像装置は、一方向に分割される撮像光学系の瞳領域のうちの一方の分割領域を通過した光束に応じた信号を検出する第１の信号検出部、及び、他方の分割領域を通過した光束に応じた信号を検出する第２の信号検出部のペアを上記一方向に複数配列したペア行を有し、上記ペア行が上記一方向に直交する方向に複数配列された撮像素子と、複数の上記ペア行が配置されたエリアにある任意の上記ペア行における複数の上記第１の信号検出部の検出信号と、上記複数の第１の信号検出部の各々に対して上記一方向と交差する交差方向にある上記エリアの他の上記ペア行の上記第１の信号検出部の検出信号とを加算して得られる複数の検出信号と、上記任意のペア行の上記複数の第１の信号検出部の各々とペアを構成する上記第２の信号検出部の検出信号と、上記第２の信号検出部に対して上記交差方向にある上記エリアの他の上記ペア行の上記第２の信号検出部の検出信号とを加算して得られる複数の検出信号との相関演算の結果からデフォーカス量を生成するデフォーカス量生成部と、上記交差方向として、複数の方向のうち上記相関演算の結果の信頼度が最大になる方向を判定する方向判定部と、上記方向判定部によって判定された方向を上記交差方向とした上記相関演算の結果から上記デフォーカス量生成部によって生成されたデフォーカス量に基づいて上記撮像光学系の合焦制御を行う合焦制御部と、を備える。

【0014】

本発明の合焦制御方法は、一方向に分割される撮像光学系の瞳領域のうちの一方の分割領域を通過した光束に応じた信号を検出する第１の信号検出部、及び、他方の分割領域を通過した光束に応じた信号を検出する第２の信号検出部のペアを上記一方向に複数配列したペア行を有し、上記ペア行が上記一方向に直交する方向に複数配列された撮像素子から出力される、複数の上記ペア行が配置されたエリアにある任意の上記ペア行における複数の上記第１の信号検出部の検出信号と、上記複数の第１の信号検出部の各々に対して上記一方向と交差する交差方向にある上記エリアの他の上記ペア行の上記第１の信号検出部の検出信号とを加算して得られる複数の検出信号と、上記任意のペア行の上記複数の第１の信号検出部の各々とペアを構成する上記第２の信号検出部の検出信号と、上記第２の信号検出部に対して上記交差方向にある上記エリアの他の上記ペア行の上記第２の信号検出部の検出信号とを加算して得られる複数の検出信号との相関演算の結果からデフォーカス量を生成するデフォーカス量生成ステップと、上記交差方向として、複数の方向のうち上記相関演算の結果の信頼度が最大になる方向を判定する方向判定ステップと、上記方向判定ステップによって判定された方向を上記交差方向とした上記相関演算の結果から上記デフォーカス量生成ステップによって生成されたデフォーカス量にしたがって上記撮像光学系の合焦制御を行う合焦制御ステップと、を備えるものである。

【発明の効果】

【0015】

本発明によれば、位相差検出用画素の検出信号レベルが低くなる場合でも、被写体によらずに、合焦制御の精度を向上させることができる撮像装置及び合焦制御方法を提供することができる。

【図面の簡単な説明】

【0016】

【図1】本発明の一実施形態を説明するための撮像装置の一例としてのデジタルカメラの概略構成を示す図である。

【図2】図１に示すデジタルカメラに搭載される撮像素子５の全体構成を示す平面模式図である。

【図3】図２に示す１つのＡＦエリア５３の部分拡大図である。

【図4】図３に示す１つのペア行の位相差検出用画素５２Ａ，５２Ｂのみを示した図である。

【図5】加算後の相関演算の信頼度が最大となる方向を判定する方法を説明するための図である。

【図6】加算後の相関演算の信頼度が最大となる方向を判定する方法を説明するための図である。

【図7】図１に示すデジタルカメラのオートフォーカス動作を説明するためのフローチャートである。

【図8】図１に示すデジタルカメラの撮像素子５の変形例を示す図である。

【図9】撮像装置としてスマートフォンを説明する図である。

【図10】図１２のスマートフォンの内部ブロック図である。

【発明を実施するための形態】

【0017】

以下、本発明の実施形態について図面を参照して説明する。

【0018】

図１は、本発明の一実施形態を説明するための撮像装置の一例としてのデジタルカメラの概略構成を示す図である。

【0019】

図１に示すデジタルカメラは、焦点調節のためのフォーカスレンズ、及び、ズームレンズ等を含む撮像レンズ１と、絞り２とを有するレンズ装置を備える。レンズ装置は撮像光学系を構成する。

【0020】

図１に示すレンズ装置はカメラ本体に固定されているが、別のレンズ装置に交換可能であってもよい。撮像レンズ１は少なくともフォーカスレンズを含んでいればよい。フォーカスレンズは、レンズ系全体を移動させることで焦点調節を行う単焦点レンズでもよい。

【0021】

デジタルカメラは、レンズ装置を通して被写体を撮像するＣＣＤ型やＣＭＯＳ型等の撮像素子５と、撮像素子５の出力に接続された相関二重サンプリング処理等のアナログ信号処理を行うアナログ信号処理部６と、アナログ信号処理部６から出力されるアナログ信号をデジタル信号に変換するＡ／Ｄ変換回路７とを備える。

【0022】

アナログ信号処理部６及びＡ／Ｄ変換回路７は、システム制御部１１によって制御される。アナログ信号処理部６及びＡ／Ｄ変換回路７は撮像素子５に内蔵されることもある。

【0023】

デジタルカメラの電気制御系全体を統括制御するシステム制御部１１は、レンズ駆動部８を制御し撮像レンズ１に含まれるフォーカスレンズを駆動して主要被写体に合焦させる合焦制御を行ったり、撮像レンズ１に含まれるズームレンズの位置の調整を行ったりする。更に、システム制御部１１は、絞り駆動部９を介して絞り２の開口量を制御することにより、露光量の調整を行う。

【0024】

また、システム制御部１１は、撮像素子駆動部１０を介して撮像素子５を駆動し、撮像レンズ１を通して撮像した被写体像を撮像画像信号として出力させる。システム制御部１１には、操作部１４を通してユーザからの指示信号が入力される。この指示信号には、撮像光学系の合焦制御の実行を指示する指示信号が含まれる。

【0025】

更に、このデジタルカメラの電気制御系は、メインメモリ１６と、メインメモリ１６に接続されたメモリ制御部１５と、Ａ／Ｄ変換回路７から出力される撮像画像信号に対し、補間演算、ガンマ補正演算、及びＲＧＢ／ＹＣ変換処理等を行って撮影画像データを生成するデジタル信号処理部１７と、位相差ＡＦ処理部１９と、着脱自在の記録媒体２１が接続される外部メモリ制御部２０と、カメラ背面等に搭載された表示部２３が接続される表示制御部２２と、を備える。

【0026】

メモリ制御部１５、デジタル信号処理部１７、位相差ＡＦ処理部１９、外部メモリ制御部２０、及び表示制御部２２は、制御バス２４及びデータバス２５によって相互に接続され、システム制御部１１からの指令によって制御される。

【0027】

図２は、図１に示すデジタルカメラに搭載される撮像素子５の全体構成を示す平面模式図である。

【0028】

撮像素子５は、Ｘ方向及びこれに直交するＹ方向に二次元状に配列された多数の画素が配置された撮像面５０を有する。この撮像面５０には、フォーカスを合わせる対象となるエリアであるＡＦエリア５３が図２の例では９つ設定されている。

【0029】

ＡＦエリア５３は、画素として撮像用画素と位相差検出用画素とを含むエリアである。

【0030】

撮像面５０のうちＡＦエリア５３を除く部分には、撮像用画素だけが配置される。なお、ＡＦエリア５３は、撮像面５０に隙間無く設けてあってもよい。

【0031】

図３は、図２に示す１つのＡＦエリア５３の拡大図である。

【0032】

ＡＦエリア５３には、画素５１（図中正方形のブロック）が二次元状に配列されている。各画素５１は、フォトダイオード等の光電変換部と、この光電変換部上方に形成されたカラーフィルタとを含む。

【0033】

図３では、赤色光を透過するカラーフィルタ（Ｒフィルタ）を含む画素５１（Ｒ画素５１ともいう）には“Ｒ”の文字を付し、緑色光を透過するカラーフィルタ（Ｇフィルタ）を含む画素５１（Ｇ画素５１ともいう）には“Ｇ”の文字を付し、青色光を透過するカラーフィルタ（Ｂフィルタ）を含む画素５１（Ｂ画素５１ともいう）には“Ｂ”の文字を付している。カラーフィルタの配列は撮像面５０全体でベイヤ配列となっている。

【0034】

ＡＦエリア５３では、Ｇ画素５１の一部（図３中の網掛けを付した画素）が位相差検出用画素５２Ａ，５２Ｂとなっている。図３の例では、上から３行目、７行目、１１行目の画素行における各Ｇ画素５１が位相差検出用画素５２Ａとなっている。また、この各位相差検出用画素５２Ａに対して列方向Ｙに最も近い同色のＧ画素５１が位相差検出用画素５２Ｂとなっている。

【0035】

任意の行にある全ての位相差検出用画素５２Ａと、この全ての位相差検出用画素５２Ａの各々に対して列方向Ｙに最も近い同色の位相差検出用画素５２Ｂとでペア行が構成される。図３では、ＡＦエリア５３にペア行ＰＬ１，ＰＬ２，ＰＬ３がＹ方向に配列されているが、ＡＦエリア５３にはペア行が複数あればよい。

【0036】

図４は、図３に示す１つのペア行における位相差検出用画素５２Ａ，５２Ｂのみを示した図である。

【0037】

位相差検出用画素５２Ａは、一方向（図３の例ではＸ方向）に分割された撮像レンズ１の瞳領域の一方の分割領域を通過した光束を受光し受光量に応じた信号を検出する第１の信号検出部である。

【0038】

位相差検出用画素５２Ｂは、撮像レンズ１の瞳領域の他方の分割領域を通過した光束を受光し受光量に応じた信号を検出する第２の信号検出部である。

【0039】

なお、ＡＦエリア５３において、位相差検出用画素５２Ａ，５２Ｂ以外の複数の画素５１は撮像用画素である。この撮像用画素は、撮像レンズ１の瞳領域の上記２つの分割領域の双方を通過した光束を受光し受光量に応じた信号を検出する。

【0040】

各画素５１の光電変換部上方には遮光膜が設けられ、この遮光膜には、光電変換部の受光面積を規定する開口が形成されている。

【0041】

撮像用画素５１の開口の中心は、撮像用画素５１の光電変換部の中心と一致している。これに対し、位相差検出用画素５２Ａの開口（図４の白抜き部分）の中心は、位相差検出用画素５２Ａの光電変換部の中心に対し右側に偏心している。

【0042】

また、位相差検出用画素５２Ｂの開口（図４の白抜き部分）の中心は、位相差検出用画素５２Ｂの光電変換部の中心に対して左側に偏心している。ここでいう右方向は、図３で示すＸ方向の一方の方向であり、左方向はＸ方向のもう一方の方向である。

【0043】

図５は、位相差検出用画素５２ＡのＸ方向での断面構成を示す図である。図５に示すように、位相差検出用画素５２Ａは、開口ｃが光電変換部（ＰＤ）に対して右に偏心している。

【0044】

図５に示すように、光電変換部の片側を遮光膜によって覆う事によって、遮光膜で覆った方向と逆の方向から入射した光を選択的に遮光することができる。

【0045】

この構成により、任意の行にある位相差検出用画素５２Ａからなる画素群と、この画素群の各位相差検出用画素５２Ａに対して一方向に同一距離で配置された位相差検出用画素５２Ｂからなる画素群とによって、これら２つの画素群の各々によって撮像される像における行方向Ｘの位相差を検出することができる。

【0046】

図１に示す位相差ＡＦ処理部１９は、被写体の明るさに応じて、以下の２つの方法のいずれかでデフォーカス量を生成する。位相差ＡＦ処理部１９は、デフォーカス量生成部として機能する。

【0047】

（第１の方法）
位相差ＡＦ処理部１９は、９つのＡＦエリア５３の中からユーザ操作等により選択されたＡＦエリア５３において、ペア行毎に、位相差検出用画素５２Ａ及び位相差検出用画素５２Ｂの検出信号群同士の相関演算を行い、位相差検出用画素５２Ａによって撮像される像と位相差検出用画素５２Ｂによって撮像される像の相対的な位置ずれ量である位相差を演算する。

【0048】

位相差ＡＦ処理部１９は、この位相差に基づいて、撮像レンズ１による主要被写体の結像面と撮像素子５の撮像面５０とを一致させるために必要なフォーカスレンズの移動量であるデフォーカス量Ｄｆｒを生成する。位相差ＡＦ処理部１９は、各ペア行について算出したデフォーカス量Ｄｆｒを平均し、平均して得たデフォーカス量Ｄｆをシステム制御部１１に通知する。

【0049】

（第２の方法）
位相差ＡＦ処理部１９は、選択されたＡＦエリア５３（複数のペア行が配置されたエリアに対応）において、任意のペア行にあるＸ方向に並ぶ複数の位相差検出用画素５２Ａ（第１の加算基準画素群ともいう）の検出信号と、この複数の位相差検出用画素５２Ａの各々に対してＸ方向と交差する交差方向にある他のペア行の位相差検出用画素５２Ａの検出信号とを加算する第１の加算処理を行う。

【0050】

また、位相差ＡＦ処理部１９は、上記任意のペア行の加算基準画素群の各位相差検出用画素５２Ａとペアを組む位相差検出用画素５２Ｂ（第２の加算基準画素群ともいう）の検出信号と、この位相差検出用画素５２Ｂに対して上記交差方向にある他のペア行の位相差検出用画素５２Ｂの検出信号とを加算する第２の加算処理を行う。

【0051】

位相差ＡＦ処理部１９は、第１の加算処理で得た位相差検出用画素５２Ａの検出信号群と、第２の加算処理で得た位相差検出用画素５２Ｂの検出信号群とで相関演算（加算相関演算という）を行い、加算相関演算の結果からデフォーカス量Ｄｆ１を生成し、生成したデフォーカス量Ｄｆ１をシステム制御部１１に通知する。

【0052】

なお、位相差ＡＦ処理部１９は、選択されたＡＦエリア５３をＹ方向にブロック分割し、ブロック毎に、ブロックにある複数のペア行で位相差検出用画素５２Ａ，５２Ｂの検出信号を加算し、加算相関演算を行い、この加算相関演算の結果からデフォーカス量Ｄｆ１を生成してもよい。

【0053】

この場合、位相差ＡＦ処理部１９は、複数のブロックについて生成したデフォーカス量Ｄｆ１を用いて（例えば複数のデフォーカス量Ｄｆ１を平均して）デフォーカス量Ｄｆ２を生成し、このデフォーカス量Ｄｆ２をシステム制御部１１に通知すればよい。

【0054】

位相差ＡＦ処理部１９は、デフォーカス量Ｄｆ１を生成するにあたり、上記交差方向として、設定可能な複数の方向の中から１つを選択して設定する。

【0055】

設定可能な複数の方向とは、第１の加算基準画素群のいずれかの位相差検出用画素５２Ａを通り、かつ、ＡＦエリア５３にある他の各ペア行の位相差検出用画素５２Ａを通る直線の伸びる方向である。

【0056】

位相差ＡＦ処理部１９は、設定可能な複数の方向の各々を上記交差方向にして加算相関演算を行った場合に、加算相関演算の結果の信頼度が最大になる方向（信頼度最大方向ともいう）を、上記複数の方向の中から判定し、判定した方向を選択して設定する。位相差ＡＦ処理部１９は、方向判定部として機能する。

【0057】

位相差ＡＦ処理部１９は、信頼度最大方向を上記交差方向に設定して加算相関演算を行った結果から、デフォーカス量Ｄｆ１を算出する。

【0058】

以下、信頼度最大方向の判定方法について説明する。

【0059】

図６は、加算相関演算の信頼度が最大となる方向を判定する方法を説明するための図である。図６には、図３に示したＡＦエリア５３が図示されている。

【0060】

図６において一番上にあるペア行ＰＬ１にあるＸ方向に並ぶ複数の位相差検出用画素５２Ａ（図中太枠で囲った画素）を第１の加算基準画素群とし、この複数の位相差検出用画素５２Ａの各々とペアを組む位相差検出用画素５２Ｂ（図中太枠で囲った画素）を第２の加算基準画素群とする。

【0061】

図６の例では、第１の加算基準画素群の各位相差検出用画素５２Ａの検出信号に対し、ペア行ＰＬ２，ＰＬ３のそれぞれにおいて検出信号を加算するためには、交差方向として、Ｙ方向と同じ方向である方向Ｄ１、Ｘ方向及びＹ方向のいずれとも交差する方向Ｄ２，Ｄ３の３つの方向が設定可能である。

【0062】

位相差ＡＦ処理部１９は、第１の加算基準画素群の各位相差検出用画素５２Ａの検出信号と、この各位相差検出用画素５２Ａに対して方向Ｄ１にあるペア行ＰＬ２の位相差検出用画素５２Ａの検出信号と、方向Ｄ１にあるペア行ＰＬ３の位相差検出用画素５２Ａの検出信号とを加算する。加算後の位相差検出用画素５２Ａの検出信号群をＳＡｄ１とする。

【0063】

また、位相差ＡＦ処理部１９は、第２の加算基準画素群の各位相差検出用画素５２Ｂの検出信号と、この各位相差検出用画素５２Ｂに対して方向Ｄ１にあるペア行ＰＬ２の位相差検出用画素５２Ｂの検出信号と、方向Ｄ１にあるペア行ＰＬ３の位相差検出用画素５２Ｂの検出信号とを加算する。加算後の位相差検出用画素５２Ｂの検出信号群をＳＢｄ１とする。

【0064】

次に、位相差ＡＦ処理部１９は、第１の加算基準画素群の各位相差検出用画素５２Ａの検出信号と、この各位相差検出用画素５２Ａに対して方向Ｄ２にあるペア行ＰＬ２の位相差検出用画素５２Ａの検出信号と、方向Ｄ２にあるペア行ＰＬ３の位相差検出用画素５２Ａの検出信号とを加算する。加算後の位相差検出用画素５２Ａの検出信号群をＳＡｄ２とする。

【0065】

また、位相差ＡＦ処理部１９は、第２の加算基準画素群の各位相差検出用画素５２Ｂの検出信号と、この各位相差検出用画素５２Ｂに対して方向Ｄ２にあるペア行ＰＬ２の位相差検出用画素５２Ｂの検出信号と、方向Ｄ２にあるペア行ＰＬ３の位相差検出用画素５２Ｂの検出信号とを加算する。加算後の位相差検出用画素５２Ｂの検出信号群をＳＢｄ２とする。

【0066】

次に、位相差ＡＦ処理部１９は、第１の加算基準画素群の各位相差検出用画素５２Ａの検出信号と、この各位相差検出用画素５２Ａに対して方向Ｄ３にあるペア行ＰＬ２の位相差検出用画素５２Ａの検出信号と、方向Ｄ３にあるペア行ＰＬ３の位相差検出用画素５２Ａの検出信号とを加算する。加算後の位相差検出用画素５２Ａの検出信号群をＳＡｄ３とする。

【0067】

また、位相差ＡＦ処理部１９は、第２の加算基準画素群の各位相差検出用画素５２Ｂの検出信号と、この各位相差検出用画素５２Ｂに対して方向Ｄ３にあるペア行ＰＬ２の位相差検出用画素５２Ｂの検出信号と、方向Ｄ３にあるペア行ＰＬ３の位相差検出用画素５２Ｂの検出信号とを加算する。加算後の位相差検出用画素５２Ｂの検出信号群をＳＢｄ３とする。

【0068】

位相差ＡＦ処理部１９は、検出信号群ＳＡｄ１と検出信号群ＳＢｄ１で相関演算を行い、検出信号群ＳＡｄ２と検出信号群ＳＢｄ２で相関演算を行い、検出信号群ＳＡｄ３と検出信号群ＳＢｄ３で相関演算を行う。

【0069】

相関演算は、一方の検出信号群をＡ［１］…Ａ［ｋ］とし、他方の検出信号をＢ［１］…Ｂ［ｋ］とし、これら２つのデータを“ｄ”ずらしたときの以下の式（１）によって求まる２つのデータ波形によって囲まれる面積Ｓ［ｄ］を求めることをいう。面積Ｓ［ｄ］は、２つの検出信号群の相関量を示しており、面積Ｓ［ｄ］が小さいほど、２つの検出信号群の一致度が高いことを意味する。

【0070】

【数1】

【0071】

位相差ＡＦ処理部１９は、検出信号群ＳＡｄ１と検出信号群ＳＢｄ１の相関演算の結果であるＳ［ｄ］のうちの最小値と、検出信号群ＳＡｄ２と検出信号群ＳＢｄ２の相関演算の結果であるＳ［ｄ］のうちの最小値と、検出信号群ＳＡｄ３と検出信号群ＳＢｄ３の相関演算の結果であるＳ［ｄ］のうちの最小値と、を比較する。そして、方向Ｄ１，Ｄ２，Ｄ３のうち、Ｓ［ｄ］の最小値が最も小さくなる結果が得られた方向を、加算相関演算の結果の信頼度が最も高い方向として判定する。

【0072】

なお、上記説明では方向Ｄ１，Ｄ２，Ｄ３の３つの方向についてそれぞれ加算相関演算を行うものとしたが、設定する方向は複数であればよい。Ｘ方向を重力方向に垂直にした状態をデジタルカメラの標準姿勢とすると、被写体としてはＹ方向に伸びるエッジが多いことから、少なくとも方向Ｄ１と方向Ｄ１に交差する方向とを含む複数の方向を設定するのがよい。

【0073】

次に、図１に示すデジタルカメラのオートフォーカス動作について説明する。

【0074】

図７は、図１に示すデジタルカメラのオートフォーカス動作を説明するためのフローチャートである。

【0075】

デジタルカメラが撮像モードに設定されると、システム制御部１１は、ライブビュー画像の表示を開始させる（ステップＳ１）。

【0076】

具体的には、システム制御部１１は、撮像素子５により被写体を撮像し、撮像して得られる撮像画像データに基づく画像を表示部２３に表示させる制御を繰り返し行う。

【0077】

ライブビュー画像の表示が開始された後、操作部１４に含まれるシャッタボタンの半押し操作等によって撮像光学系の合焦制御の実行指示（以下、オートフォーカスの実行指示と称し、図面ではＡＦ指示と称する）がなされると（ステップＳ２：ＹＥＳ）、システム制御部１１は、このオートフォーカスの実行指示がなされた時点で得られている撮像画像信号のうち最新の画像信号（以下、撮像画像信号Ｇａと称する）を用いて、撮像素子５によって撮像されている被写体の明るさを判定する。例えば、システム制御部１１は、撮像画像信号Ｇａの輝度値の平均又は積算値を明るさとして求める。

【0078】

システム制御部１１は、求めた明るさが閾値以下であれば（ステップＳ３：ＹＥＳ）、位相差ＡＦ処理部１９にステップＳ４の処理を行わせ、求めた明るさが閾値を超えていれば（ステップＳ３：ＮＯ）、位相差ＡＦ処理部１９にステップＳ９の処理を行わせる。

【0079】

ステップＳ９において、位相差ＡＦ処理部１９は、撮像画像信号Ｇａのうち、選択されているＡＦエリア５３のペア行ＰＬ１，ＰＬ２，ＰＬ３の各々にある位相差検出用画素５２Ａと位相差検出用画素５２Ｂの検出信号群同士で相関演算を行って、ペア行ＰＬ１，ＰＬ２，ＰＬ３の各々についてデフォーカス量Ｄｆｒを算出する。更に、位相差ＡＦ処理部１９は、このデフォーカス量Ｄｆｒの平均値を最終的なデフォーカス量Ｄｆとして算出し、デフォーカス量Ｄｆをシステム制御部１１に通知する。

【0080】

システム制御部１１は、位相差ＡＦ処理部１９から通知されたデフォーカス量Ｄｆに基づき、フォーカスレンズをデフォーカス量Ｄｆに相当する分だけ移動させて（ステップＳ１０）、オートフォーカスを完了する。

【0081】

ステップＳ４において、位相差ＡＦ処理部１９は、図６で説明した方法により、加算相関演算の結果の信頼度が最大となる方向を判定する。そして、位相差ＡＦ処理部１９は、選択されたＡＦエリア５３の任意のペア行に含まれる複数の位相差検出用画素５２Ａを第１の加算基準画素群とし、この複数の位相差検出用画素５２Ａの各々の検出信号と、この各々の位相差検出用画素５２Ａに対してステップＳ４で判定した方向にある他のペア行の位相差検出用画素５２Ａの検出信号とを加算する（ステップＳ５）。

【0082】

また、位相差ＡＦ処理部１９は、第１の加算基準画素群の各位相差検出用画素５２Ａとペアを組む位相差検出用画素５２Ｂを第２の加算基準画素群とし、この位相差検出用画素５２Ｂの検出信号と、この位相差検出用画素５２Ｂに対してステップＳ４で判定した方向にある他のペア行の位相差検出用画素５２Ｂの検出信号とを加算する（ステップＳ６）。

【0083】

位相差ＡＦ処理部１９は、ステップＳ５で加算して得た位相差検出用画素５２Ａの検出信号群と、ステップＳ６で加算して得た位相差検出用画素５２Ａの検出信号群とで相関演算を行い、この相関演算の結果からデフォーカス量Ｄｆ１を算出する（ステップＳ７）。

【0084】

なお、ステップＳ７の相関演算の結果は、ステップＳ４で方向を判定するときにも得られている。このため、ステップＳ５，Ｓ６は省略し、ステップＳ７において、ステップＳ４で求めていた加算相関演算の結果から、デフォーカス量Ｄｆ１を算出してもよい。

【0085】

ステップＳ７でデフォーカス量Ｄｆ１が算出されると、これがシステム制御部１１に通知される。システム制御部１１は、このデフォーカス量Ｄｆ１に基づき、フォーカスレンズをデフォーカス量Ｄｆ１に相当する分だけ移動させて（ステップＳ８）、オートフォーカスが完了する。システム制御部１１は、合焦制御部として機能する。

【0086】

以上のように、図１のデジタルカメラによれば、被写体が暗い場合であっても、位相差検出用画素５２Ａ（５２Ｂ）の検出信号を複数行で加算してから相関演算を行うため、デフォーカス量の算出精度低下を防ぐことができる。また、加算相関演算の結果の信頼度が最大となる方向にある位相差検出用画素同士で検出信号を加算するため、常に同じ方向にある位相差検出用画素同士で検出信号を加算する場合と比較して、デフォーカス量の算出精度を向上させることができる。

【0087】

図７のステップＳ４では、位相差ＡＦ処理部１９が、交差方向を複数の方向のそれぞれに設定して加算相関演算を行い、この複数の方向のそれぞれについての加算相関演算の結果の比較により、加算相関演算の信頼度が最大になる方向を判定している。

【0088】

位相差ＡＦ処理部１９は、選択されているＡＦエリア５３に結像する被写体像のコントラストが最小となる方向を信頼度最大方向と判定してもよい。ある方向におけるコントラストが小さいということは、その方向と交差するエッジが少ない又は無いことを意味する。このため、その方向で加算相関演算を行った結果の信頼度も高くなる。

【0089】

例えば、ＡＦエリア５３において、ペア行ＰＬ１の各位相差検出用画素５２Ａに対して斜め左下にある撮像用画素５１からなる第１の撮像用画素群と、ペア行ＰＬ２の各位相差検出用画素５２Ａに対して斜め左下にある撮像用画素５１からなる第２の撮像用画素群と、ペア行ＰＬ３の各位相差検出用画素５２Ａに対して斜め左下にある撮像用画素５１からなる第３の撮像用画素群と、に着目する。

【0090】

位相差ＡＦ処理部１９は、第１の撮像用画素群の各撮像用画素５１と、この各撮像用画素５１に対し方向Ｄ１にある第２の撮像用画素群の撮像用画素５１及び第３の撮像用画素群の撮像用画素５１とで、隣り合う撮像用画素５１同士で検出信号の差分を算出する。そして、この差分の積算値を、ＡＦエリア５３に結像する被写体像の方向Ｄ１におけるコントラストとして算出する。位相差ＡＦ処理部１９は、方向Ｄ１を方向Ｄ２，Ｄ３に変更して同様にコントラストを算出し、最もコントラストが小さくなる方向を信頼度最大方向とすればよい。

【0091】

または、位相差ＡＦ処理部１９は、ＡＦエリア５３のペア行ＰＬ１にある各位相差検出用画素５２Ａ（又は５２Ｂ）と、この各位相差検出用画素５２Ａ（又は５２Ｂ）に対し、方向Ｄ１にあるペア行ＰＬ２，ＰＬ３の位相差検出用画素５２Ａ（又は５２Ｂ）とで、隣り合う位相差検出用画素５２Ａ（又は５２Ｂ）同士で検出信号の差分を算出する。そして、この差分の積算値を、ＡＦエリア５３に結像する被写体像の方向Ｄ１におけるコントラストとして算出する。位相差ＡＦ処理部１９は、方向Ｄ１を方向Ｄ２，Ｄ３に変更して同様にコントラストを算出し、最もコントラストが小さくなる方向を信頼度最大方向としてもよい。

【0092】

この構成によれば、コントラストの算出に位相差検出用画素５２Ａ又は位相差検出用画素５２Ｂの検出信号を用いているため、コントラストの算出に撮像用画素５１の検出信号を用いる方法と比較して、信頼度最大方向の判定精度を高めることができる。

【0093】

位相差ＡＦ処理部１９は、設定可能な複数の方向のうち重力の方向と最も近い方向を、信頼度最大方向と判定してもよい。

【0094】

自然界に存在する被写体には、重力方向と平行なエッジが多く存在する。このため、ペア行ＰＬ１の位相差検出用画素５２Ａ，５２Ｂと、これに対し重力方向と同じ方向にあるペア行Ｌ２，Ｌ３の位相差検出用画素５２Ａ，５２Ｂとで検出信号の加算を行うと、エッジに沿った加算が行われることになる。したがって、この場合は加算相関演算の信頼度は高くなる可能性が高い。

【0095】

そこで、図１のデジタルカメラに電子水準器等の重力方向を検出するための重力方向検出部を設けておく。そして、位相差ＡＦ処理部１９は、図７のステップＳ４において、重力方向検出部で検出した重力方向を、加算相関演算の信頼度が最大となる方向として判定する。このようにすることで、演算量を減らすことができ、省エネルギーが可能になる。

【0096】

デジタルカメラによって撮像する被写体によって、どの方向に伸びるエッジが多いかは予め分かる場合がある。例えば、人間の顔や樹木等は縦方向成分が多い。そこで、デジタルカメラのメインメモリ１６に、撮像シーンと、信頼度が最大となる方向の情報とを関連付けて記憶しておく。

【0097】

そして、位相差ＡＦ処理部１９は、図７のステップＳ４において、設定されている撮像シーンから、この撮像シーンに関連付けられた方向の情報を取得し、この方向を加算相関演算の信頼度が最大となる方向として判定する。このようにすることでも、演算量を減らすことができ、省エネルギーが可能になる。

【0098】

なお、図７の動作例では、被写体が暗いときにステップＳ４以降の処理を行うものとした。しかし、位相差検出用画素の検出信号の加算が必要となるのは、位相差検出用画素５２Ａ，５２Ｂの検出信号レベルが低くなるような撮像状況であり、被写体が暗いときだけに限らない。

【0099】

例えば、撮像素子５に入射する光線角度が大きくなって位相差検出用画素５２Ａ，５２Ｂに入射する光が少なくなるような場合（広角撮像時）にステップＳ４以降の処理を行ってもよい。または、位相差検出用画素５２Ａ，５２Ｂの検出信号レベルが小さい場合にステップＳ４以降の処理を行ってもよい。

【0100】

また、撮像素子５は、第１の信号検出部と第２の信号検出部のペアを複数有する構成であればよく、図２〜５に示した構成に限らない。

【0101】

例えば、撮像素子５に含まれる全ての画素を撮像用画素５１とし、各撮像用画素５１を２つに分割して、一方の分割エリアを位相差検出用画素５２Ａとし、他方の分割エリアを位相差検出用画素５２Ｂとした構成であってもよい。

【0102】

図８は、撮像素子５に含まれる全ての画素を撮像用画素５１とし、各撮像用画素５１を２つに分割した構成を示す図である。

【0103】

図８の構成では、撮像素子５においてＲを付した撮像用画素５１を２つに分割し、分割した２つをそれぞれ位相差検出用画素ｒ１と位相差検出用画素ｒ２としている。

【0104】

また、撮像素子５においてＧを付した撮像用画素５１を２つに分割し、分割した２つをそれぞれ位相差検出用画素ｇ１と位相差検出用画素ｇ２としている。

【0105】

また、撮像素子５においてＢを付した撮像用画素５１を２つに分割し、分割した２つをそれぞれ位相差検出用画素ｂ１と位相差検出用画素ｂ２としている。

【0106】

この構成では、位相差検出用画素ｒ１，ｇ１，ｂ１がそれぞれ第１の信号検出部となり、位相差検出用画素ｒ２，ｇ２，ｂ２がそれぞれ第２の信号検出部となる。第１の信号検出部と第２の信号検出部からは独立に信号を読み出すことができる。

【0107】

そして、第１の信号検出部と第２の信号検出部の信号を加算すると、位相差のない通常の撮像用信号を得られる。このように、図６の構成では、全ての画素を、位相差検出用画素と撮像用画素との両方として用いることができる。

【0108】

図８の構成では、例えば、１行目にある位相差検出用画素ｇ１，ｇ２によってペア行が構成され、３行目にある位相差検出用画素ｇ１，ｇ２によってペア行が構成され、５行目にある位相差検出用画素ｇ１，ｇ２によってペア行が構成され７行目にある位相差検出用画素ｇ１，ｇ２によってペア行が構成される。

【0109】

本明細書では撮像装置としてデジタルカメラを例にしたが、以下では、撮像装置としてカメラ付のスマートフォンの実施形態について説明する。

【0110】

図９は、本発明の撮像装置の一実施形態であるスマートフォン２００の外観を示すものである。図９に示すスマートフォン２００は、平板状の筐体２０１を有し、筐体２０１の一方の面に表示部としての表示パネル２０２と、入力部としての操作パネル２０３とが一体となった表示入力部２０４を備えている。また、この様な筐体２０１は、スピーカ２０５と、マイクロホン２０６と、操作部２０７と、カメラ部２０８とを備えている。なお、筐体２０１の構成はこれに限定されず、例えば、表示部と入力部とが独立した構成を採用したり、折り畳み構造やスライド機構を有する構成を採用したりすることもできる。

【0111】

図１０は、図９に示すスマートフォン２００の構成を示すブロック図である。図１０に示すように、スマートフォンの主たる構成要素として、無線通信部２１０と、表示入力部２０４と、通話部２１１と、操作部２０７と、カメラ部２０８と、記憶部２１２と、外部入出力部２１３と、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）受信部２１４と、モーションセンサ部２１５と、電源部２１６と、主制御部２２０とを備える。また、スマートフォン２００の主たる機能として、図示省略の基地局装置ＢＳと図示省略の移動通信網ＮＷとを介した移動無線通信を行う無線通信機能を備える。

【0112】

無線通信部２１０は、主制御部２２０の指示にしたがって、移動通信網ＮＷに収容された基地局装置ＢＳに対し無線通信を行うものである。この無線通信を使用して、音声データ、画像データ等の各種ファイルデータ、電子メールデータなどの送受信や、Ｗｅｂデータやストリーミングデータなどの受信を行う。

【0113】

表示入力部２０４は、主制御部２２０の制御により、画像（静止画像および動画像）や文字情報などを表示して視覚的にユーザに情報を伝達するとともに、表示した情報に対するユーザ操作を検出する、いわゆるタッチパネルであって、表示パネル２０２と、操作パネル２０３とを備える。

【0114】

表示パネル２０２は、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）、ＯＥＬＤ（Ｏｒｇａｎｉｃ Ｅｌｅｃｔｒｏ−Ｌｕｍｉｎｅｓｃｅｎｃｅ Ｄｉｓｐｌａｙ）などを表示デバイスとして用いたものである。

【0115】

操作パネル２０３は、表示パネル２０２の表示面上に表示される画像を視認可能に載置され、ユーザの指や尖筆によって操作される一又は複数の座標を検出するデバイスである。このデバイスをユーザの指や尖筆によって操作すると、操作に起因して発生する検出信号を主制御部２２０に出力する。次いで、主制御部２２０は、受信した検出信号に基づいて、表示パネル２０２上の操作位置（座標）を検出する。

【0116】

図９に示すように、本発明の撮像装置の一実施形態として例示しているスマートフォン２００の表示パネル２０２と操作パネル２０３とは一体となって表示入力部２０４を構成しているが、操作パネル２０３が表示パネル２０２を完全に覆うような配置となっている。

【0117】

係る配置を採用した場合、操作パネル２０３は、表示パネル２０２外の領域についても、ユーザ操作を検出する機能を備えてもよい。換言すると、操作パネル２０３は、表示パネル２０２に重なる重畳部分についての検出領域（以下、表示領域と称する）と、それ以外の表示パネル２０２に重ならない外縁部分についての検出領域（以下、非表示領域と称する）とを備えていてもよい。

【0118】

なお、表示領域の大きさと表示パネル２０２の大きさとを完全に一致させても良いが、両者を必ずしも一致させる必要は無い。また、操作パネル２０３が、外縁部分と、それ以外の内側部分の２つの感応領域を備えていてもよい。更に、外縁部分の幅は、筐体２０１の大きさなどに応じて適宜設計されるものである。更にまた、操作パネル２０３で採用される位置検出方式としては、マトリクススイッチ方式、抵抗膜方式、表面弾性波方式、赤外線方式、電磁誘導方式、静電容量方式などが挙げられ、いずれの方式を採用することもできる。

【0119】

通話部２１１は、スピーカ２０５やマイクロホン２０６を備え、マイクロホン２０６を通じて入力されたユーザの音声を主制御部２２０にて処理可能な音声データに変換して主制御部２２０に出力したり、無線通信部２１０あるいは外部入出力部２１３により受信された音声データを復号してスピーカ２０５から出力させたりするものである。また、図９に示すように、例えば、スピーカ２０５を表示入力部２０４が設けられた面と同じ面に搭載し、マイクロホン２０６を筐体２０１の側面に搭載することができる。

【0120】

操作部２０７は、キースイッチなどを用いたハードウェアキーであって、ユーザからの指示を受け付けるものである。例えば、図９に示すように、操作部２０７は、スマートフォン２００の筐体２０１の側面に搭載され、指などで押下されるとオンとなり、指を離すとバネなどの復元力によってオフ状態となる押しボタン式のスイッチである。

【0121】

記憶部２１２は、主制御部２２０の制御プログラムや制御データ、アプリケーションソフトウェア、通信相手の名称や電話番号などを対応づけたアドレスデータ、送受信した電子メールのデータ、ＷｅｂブラウジングによりダウンロードしたＷｅｂデータや、ダウンロードしたコンテンツデータを記憶し、またストリーミングデータなどを一時的に記憶するものである。また、記憶部２１２は、スマートフォン内蔵の内部記憶部２１７と着脱自在な外部メモリスロットを有する外部記憶部２１８により構成される。なお、記憶部２１２を構成するそれぞれの内部記憶部２１７と外部記憶部２１８は、フラッシュメモリタイプ（ｆｌａｓｈ ｍｅｍｏｒｙ ｔｙｐｅ）、ハードディスクタイプ（ｈａｒｄ ｄｉｓｋ ｔｙｐｅ）、マルチメディアカードマイクロタイプ（ｍｕｌｔｉｍｅｄｉａ ｃａｒｄ ｍｉｃｒｏ ｔｙｐｅ）、カードタイプのメモリ（例えば、ＭｉｃｒｏＳＤ（登録商標）メモリ等）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）などの格納媒体を用いて実現される。

【0122】

外部入出力部２１３は、スマートフォン２００に連結される全ての外部機器とのインターフェースの役割を果たすものであり、他の外部機器に通信等（例えば、ユニバーサルシリアルバス（ＵＳＢ）、ＩＥＥＥ１３９４など）又はネットワーク（例えば、インターネット、無線ＬＡＮ、ブルートゥース（Ｂｌｕｅｔｏｏｔｈ）（登録商標）、ＲＦＩＤ（Ｒａｄｉｏ Ｆｒｅｑｕｅｎｃｙ Ｉｄｅｎｔｉｆｉｃａｔｉｏｎ）、赤外線通信（Ｉｎｆｒａｒｅｄ Ｄａｔａ Ａｓｓｏｃｉａｔｉｏｎ：ＩｒＤＡ）（登録商標）、ＵＷＢ（Ｕｌｔｒａ Ｗｉｄｅｂａｎｄ）（登録商標）、ジグビー（ＺｉｇＢｅｅ）（登録商標）など）により直接的又は間接的に接続するためのものである。

【0123】

スマートフォン２００に連結される外部機器としては、例えば、有／無線ヘッドセット、有／無線外部充電器、有／無線データポート、カードソケットを介して接続されるメモリカード（Ｍｅｍｏｒｙ ｃａｒｄ）やＳＩＭ（Ｓｕｂｓｃｒｉｂｅｒ Ｉｄｅｎｔｉｔｙ Ｍｏｄｕｌｅ Ｃａｒｄ）／ＵＩＭ（Ｕｓｅｒ Ｉｄｅｎｔｉｔｙ Ｍｏｄｕｌｅ Ｃａｒｄ）カード、オーディオ・ビデオＩ／Ｏ（Ｉｎｐｕｔ／Ｏｕｔｐｕｔ）端子を介して接続される外部オーディオ・ビデオ機器、無線接続される外部オーディオ・ビデオ機器、有／無線接続されるスマートフォン、有／無線接続されるパーソナルコンピュータ、有／無線接続されるＰＤＡ、有／無線接続されるパーソナルコンピュータ、イヤホンなどがある。外部入出力部２１３は、このような外部機器から伝送を受けたデータをスマートフォン２００の内部の各構成要素に伝達することや、スマートフォン２００の内部のデータが外部機器に伝送されるようにすることができる。

【0124】

ＧＰＳ受信部２１４は、主制御部２２０の指示にしたがって、ＧＰＳ衛星ＳＴ１〜ＳＴｎから送信されるＧＰＳ信号を受信し、受信した複数のＧＰＳ信号に基づく測位演算処理を実行し、当該スマートフォン２００の緯度、経度、高度からなる位置を検出する。ＧＰＳ受信部２１４は、無線通信部２１０や外部入出力部２１３（例えば、無線ＬＡＮ）から位置情報を取得できる時には、その位置情報を用いて位置を検出することもできる。

【0125】

モーションセンサ部２１５は、例えば、３軸の加速度センサなどを備え、主制御部２２０の指示にしたがって、スマートフォン２００の物理的な動きを検出する。スマートフォン２００の物理的な動きを検出することにより、スマートフォン２００の動く方向や加速度が検出される。係る検出結果は、主制御部２２０に出力されるものである。

【0126】

電源部２１６は、主制御部２２０の指示にしたがって、スマートフォン２００の各部に、バッテリ（図示しない）に蓄えられる電力を供給するものである。

【0127】

主制御部２２０は、マイクロプロセッサを備え、記憶部２１２が記憶する制御プログラムや制御データにしたがって動作し、スマートフォン２００の各部を統括して制御するものである。また、主制御部２２０は、無線通信部２１０を通じて、音声通信やデータ通信を行うために、通信系の各部を制御する移動通信制御機能と、アプリケーション処理機能を備える。

【0128】

アプリケーション処理機能は、記憶部２１２が記憶するアプリケーションソフトウェアにしたがって主制御部２２０が動作することにより実現するものである。アプリケーション処理機能としては、例えば、外部入出力部２１３を制御して対向機器とデータ通信を行う赤外線通信機能や、電子メールの送受信を行う電子メール機能、Ｗｅｂページを閲覧するＷｅｂブラウジング機能などがある。

【0129】

また、主制御部２２０は、受信データやダウンロードしたストリーミングデータなどの画像データ（静止画像や動画像のデータ）に基づいて、映像を表示入力部２０４に表示する等の画像処理機能を備える。画像処理機能とは、主制御部２２０が、上記画像データを復号し、この復号結果に画像処理を施して、画像を表示入力部２０４に表示する機能のことをいう。

【0130】

更に、主制御部２２０は、表示パネル２０２に対する表示制御と、操作部２０７、操作パネル２０３を通じたユーザ操作を検出する操作検出制御を実行する。表示制御の実行により、主制御部２２０は、アプリケーションソフトウェアを起動するためのアイコンや、スクロールバーなどのソフトウェアキーを表示したり、あるいは電子メールを作成したりするためのウィンドウを表示する。なお、スクロールバーとは、表示パネル２０２の表示領域に収まりきれない大きな画像などについて、画像の表示部分を移動する指示を受け付けるためのソフトウェアキーのことをいう。

【0131】

また、操作検出制御の実行により、主制御部２２０は、操作部２０７を通じたユーザ操作を検出したり、操作パネル２０３を通じて、上記アイコンに対する操作や、上記ウィンドウの入力欄に対する文字列の入力を受け付けたり、あるいは、スクロールバーを通じた表示画像のスクロール要求を受け付ける。

【0132】

更に、操作検出制御の実行により主制御部２２０は、操作パネル２０３に対する操作位置が、表示パネル２０２に重なる重畳部分（表示領域）か、それ以外の表示パネル２０２に重ならない外縁部分（非表示領域）かを判定し、操作パネル２０３の感応領域や、ソフトウェアキーの表示位置を制御するタッチパネル制御機能を備える。

【0133】

また、主制御部２２０は、操作パネル２０３に対するジェスチャ操作を検出し、検出したジェスチャ操作に応じて、予め設定された機能を実行することもできる。ジェスチャ操作とは、従来の単純なタッチ操作ではなく、指などによって軌跡を描いたり、複数の位置を同時に指定したり、あるいはこれらを組み合わせて、複数の位置から少なくとも１つについて軌跡を描く操作を意味する。

【0134】

カメラ部２０８は、図１に示したデジタルカメラにおける外部メモリ制御部２０、記録媒体２１、表示制御部２２、表示部２３、及び操作部１４以外の構成を含む。カメラ部２０８によって生成された撮像画像データは、記憶部２１２に記録したり、入出力部２１３や無線通信部２１０を通じて出力したりすることができる。図９に示すスマートフォン２００において、カメラ部２０８は表示入力部２０４と同じ面に搭載されているが、カメラ部２０８の搭載位置はこれに限らず、表示入力部２０４の背面に搭載されてもよい。

【0135】

また、カメラ部２０８はスマートフォン２００の各種機能に利用することができる。例えば、表示パネル２０２にカメラ部２０８で取得した画像を表示することや、操作パネル２０３の操作入力のひとつとして、カメラ部２０８の画像を利用することができる。また、ＧＰＳ受信部２１４が位置を検出する際に、カメラ部２０８からの画像を参照して位置を検出することもできる。更には、カメラ部２０８からの画像を参照して、３軸の加速度センサを用いずに、或いは、３軸の加速度センサと併用して、スマートフォン２００のカメラ部２０８の光軸方向を判断することや、現在の使用環境を判断することもできる。勿論、カメラ部２０８からの画像をアプリケーションソフトウェア内で利用することもできる。

【0136】

その他、静止画又は動画の画像データにＧＰＳ受信部２１４により取得した位置情報、マイクロホン２０６により取得した音声情報（主制御部等により、音声テキスト変換を行ってテキスト情報となっていてもよい）、モーションセンサ部２１５により取得した姿勢情報等などを付加して記憶部２１２に記録したり、入出力部２１３や無線通信部２１０を通じて出力したりすることもできる。

【0137】

以上のような構成のスマートフォン２００においても、カメラ部２０８の撮像素子として撮像素子５を用い、主制御部２２０において図７で説明した処理を行うことで、位相差検出用画素の検出信号レベルが低い場合でも、被写体によらずに、精度の高い合焦制御が可能になる。

【0138】

以上説明してきたように、本明細書には以下の事項が開示されている。

【0139】

開示された撮像装置は、一方向に分割される撮像光学系の瞳領域のうちの一方の分割領域を通過した光束に応じた信号を検出する第１の信号検出部、及び、他方の分割領域を通過した光束に応じた信号を検出する第２の信号検出部のペアを上記一方向に複数配列したペア行を有し、上記ペア行が上記一方向に直交する方向に複数配列された撮像素子と、複数の上記ペア行が配置されたエリアにある任意の上記ペア行における複数の上記第１の信号検出部の検出信号と、上記複数の第１の信号検出部の各々に対して上記一方向と交差する交差方向にある上記エリアの他の上記ペア行の上記第１の信号検出部の検出信号とを加算して得られる複数の検出信号と、上記任意のペア行の上記複数の第１の信号検出部の各々とペアを構成する上記第２の信号検出部の検出信号と、上記第２の信号検出部に対して上記交差方向にある上記エリアの他の上記ペア行の上記第２の信号検出部の検出信号とを加算して得られる複数の検出信号との相関演算の結果からデフォーカス量を生成するデフォーカス量生成部と、上記交差方向として、複数の方向のうち上記相関演算の結果の信頼度が最大になる方向を判定する方向判定部と、上記方向判定部によって判定された方向を上記交差方向とした上記相関演算の結果から上記デフォーカス量生成部によって生成されたデフォーカス量に基づいて上記撮像光学系の合焦制御を行う合焦制御部と、を備える。

【0140】

開示された撮像装置において、上記方向判定部は、上記交差方向を上記複数の方向のそれぞれに設定して上記相関演算を行い、上記複数の方向のそれぞれについての上記相関演算の結果の比較により、上記信頼度が最大になる方向を判定してもよい。

【0141】

開示された撮像装置において、上記方向判定部は、上記エリアに結像する被写体像のコントラストが最小となる方向を、上記信頼度が最大になる方向と判定してもよい。

【0142】

開示された撮像装置において、上記方向判定部は、上記任意のペア行の上記複数の第１の信号検出部又は上記複数の第２の信号検出部の各々と、上記複数の第１の信号検出部又は上記複数の第２の信号検出部の各々に対し上記複数の方向のそれぞれにある上記エリア内の他の上記ペア行の上記第１の信号検出部又は上記第２の信号検出部とで、隣り合う信号検出部同士の検出信号の差分を積算して上記コントラストを算出してもよい。

【0143】

開示された撮像装置において、上記方向判定部は、上記複数の方向のうち重力の方向と最も近い方向を上記信頼度が最大になる方向と判定してもよい。

【0144】

開示された撮像装置の合焦制御方法は、一方向に分割される撮像光学系の瞳領域のうちの一方の分割領域を通過した光束に応じた信号を検出する第１の信号検出部、及び、他方の分割領域を通過した光束に応じた信号を検出する第２の信号検出部のペアを上記一方向に複数配列したペア行を有し、上記ペア行が上記一方向に直交する方向に複数配列された撮像素子から出力される、複数の上記ペア行が配置されたエリアにある任意の上記ペア行における複数の上記第１の信号検出部の検出信号と、上記複数の第１の信号検出部の各々に対して上記一方向と交差する交差方向にある上記エリアの他の上記ペア行の上記第１の信号検出部の検出信号とを加算して得られる複数の検出信号と、上記任意のペア行の上記複数の第１の信号検出部の各々とペアを構成する上記第２の信号検出部の検出信号と、上記第２の信号検出部に対して上記交差方向にある上記エリアの他の上記ペア行の上記第２の信号検出部の検出信号とを加算して得られる複数の検出信号との相関演算の結果からデフォーカス量を生成するデフォーカス量生成ステップと、上記交差方向として、複数の方向のうち上記相関演算の結果の信頼度が最大になる方向を判定する方向判定ステップと、上記方向判定ステップによって判定された方向を上記交差方向とした上記相関演算の結果から上記デフォーカス量生成ステップによって生成されたデフォーカス量にしたがって上記撮像光学系の合焦制御を行う合焦制御ステップと、を備える。

【産業上の利用可能性】

【0145】

本発明は、デジタルカメラ等に適用して利便性が高く、有効である。

【符号の説明】

【0146】

１ 撮像レンズ
２ 絞り
５ 撮像素子
１１ システム制御部（合焦制御部）
１９ 位相差ＡＦ処理部（デフォーカス量生成部、方向判定部）
５０ 撮像面
５１ 画素
５２Ａ，５２Ｂ 位相差検出用画素
５３ ＡＦエリア

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】