(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2024-06-21
(54)【発明の名称】撮像装置およびフォーカス制御プログラム
(51)【国際特許分類】
H04N 23/67 20230101AFI20240614BHJP
H04N 23/54 20230101ALI20240614BHJP
H04N 23/45 20230101ALI20240614BHJP
G02B 7/34 20210101ALI20240614BHJP
G02B 7/36 20210101ALI20240614BHJP
G02B 7/04 20210101ALI20240614BHJP
G02B 7/08 20210101ALI20240614BHJP
G03B 19/07 20210101ALI20240614BHJP
G02B 3/12 20060101ALI20240614BHJP
【ＦＩ】
H04N23/67
H04N23/54
H04N23/45
G02B7/34
G02B7/36
G02B7/04 Z
G02B7/08 C
G03B19/07
G02B3/12
【審査請求】有
【予備審査請求】未請求
(21)【出願番号】P 2022538156
(86)(22)【出願日】2022-05-20
(85)【翻訳文提出日】2022-07-25
(86)【国際出願番号】 CN2022094276
(87)【国際公開番号】W WO2023221141
(87)【国際公開日】2023-11-23
(81)【指定国・地域】
(71)【出願人】
【識別番号】516180667
【氏名又は名称】北京小米移動軟件有限公司
【氏名又は名称原語表記】Ｂｅｉｊｉｎｇ Ｘｉａｏｍｉ Ｍｏｂｉｌｅ Ｓｏｆｔｗａｒｅ Ｃｏ．，Ｌｔｄ．
【住所又は居所原語表記】Ｎｏ．０１８， Ｆｌｏｏｒ ８， Ｂｕｉｌｄｉｎｇ ６， Ｙａｒｄ ３３， Ｍｉｄｄｌｅ Ｘｉｅｒｑｉ Ｒｏａｄ， Ｈａｉｄｉａｎ Ｄｉｓｔｒｉｃｔ， Ｂｅｉｊｉｎｇ １０００８５， Ｃｈｉｎａ
(74)【代理人】
【識別番号】100079108
【弁理士】
【氏名又は名称】稲葉 良幸
(74)【代理人】
【識別番号】100109346
【弁理士】
【氏名又は名称】大貫 敏史
(74)【代理人】
【識別番号】100117189
【弁理士】
【氏名又は名称】江口 昭彦
(74)【代理人】
【識別番号】100134120
【弁理士】
【氏名又は名称】内藤 和彦
(74)【代理人】
【識別番号】100108213
【弁理士】
【氏名又は名称】阿部 豊隆
(72)【発明者】
【氏名】小黒 裕介
【テーマコード（参考）】
2H044
2H054
2H151
5C122
【Ｆターム（参考）】
2H044BF00
2H044BF07
2H044BF10
2H044DC10
2H054BB05
2H054BB07
2H151BA06
2H151BA45
2H151CB22
2H151CB26
2H151CE32
2H151CE33
5C122EA37
5C122EA67
5C122FA18
5C122FC01
5C122FC02
5C122FC06
5C122FD07
5C122HA13
5C122HA35
5C122HB01
5C122HB05
(57)【要約】
撮像装置は、第１光学系を有する第１カメラユニットと、第１カメラユニットと同一方向へ向けて配置される第２カメラユニットと、第１カメラユニットおよび第２カメラユニットのフォーカス制御を実行するフォーカス制御部とを備え、第１カメラユニットおよび第２カメラユニットは、画像を形成するための画像信号を出力する通常画素と、通常画素に囲まれて離散的に配置された、焦点を検出するための位相差信号を出力する位相画素とが二次元的に配列された撮像素子をそれぞれ有し、フォーカス制御部は、第１カメラユニットの撮像素子から出力される画像信号を用いて画像を形成する場合に、第２カメラユニットの撮像素子から出力される位相差信号から取得される第２デフォーカス情報を参照して、第１光学系のフォーカス制御を実行する。
【特許請求の範囲】
【請求項1】
第１光学系を有する第１カメラユニットと、前記第１カメラユニットと同一方向へ向けて配置される第２カメラユニットと、
前記第１カメラユニットおよび前記第２カメラユニットのフォーカス制御を実行するフォーカス制御部と
を備え、
前記第１カメラユニットおよび前記第２カメラユニットは、画像を形成するための画像信号を出力する通常画素と、前記通常画素に囲まれて離散的に配置された、焦点を検出するための位相差信号を出力する位相画素とが二次元的に配列された撮像素子をそれぞれ有し、
前記フォーカス制御部は、前記第１カメラユニットの前記撮像素子から出力される前記画像信号を用いて前記画像を形成する場合に、前記第２カメラユニットの前記撮像素子から出力される前記位相差信号から取得される第２デフォーカス情報を参照して、前記第１光学系のフォーカス制御を実行する撮像装置。
【請求項2】
前記フォーカス制御部は、前記第１カメラユニットと前記第２カメラユニットの配置によって定まる基線長に基づいて前記第１光学系のフォーカス制御における合焦領域を決定する請求項１に記載の撮像装置。
【請求項3】
前記フォーカス制御部は、第２デフォーカス情報で前記第１光学系のフォーカス制御を支援する必要があると決定する場合に、前記第２デフォーカス情報に基づいて、前記第１光学系のフォーカス制御を実行する請求項１または２に記載の撮像装置。
【請求項4】
前記フォーカス制御部は、前記第１デフォーカス情報と前記第２デフォーカス情報とをに並行的に取得する請求項３に記載の撮像装置。
【請求項5】
前記フォーカス制御部は、前記第１デフォーカス情報と前記第２デフォーカス情報を比較することにより、前記第１光学系のフォーカス制御を実行することが困難であるか否かを判断する請求項４に記載の撮像装置。
【請求項6】
前記フォーカス制御部は、前記第２デフォーカス情報を参照して前記第１光学系のフォーカスレンズを駆動した後に、前記第１カメラユニットの前記撮像素子から出力される前記画像信号を用いて算出されるコントラスト情報に基づいて前記フォーカスレンズの位置を修正する請求項１から５のいずれか１項に記載の撮像装置。
【請求項7】
前記第１光学系は、電気信号に応じてフォーカス可能な液体レンズを含み、前記フォーカス制御部は、第１デフォーカス情報及び／または第２デフォーカス情報により決定される前記電気信号に基づいて第１光学系を制御してフォーカスする請求項１から６のいずれか１項に記載の撮像装置。
【請求項8】
第１光学系を有する第１カメラユニットと、前記第１カメラユニットと同一方向へ向けて配置される第２光学系を有する第２カメラユニットとを備え、前記第１カメラユニットおよび前記第２カメラユニットが、画像を形成するための画像信号を出力する通常画素と、前記通常画素に囲まれて離散的に配置された、焦点を検出するための位相差信号を出力する位相画素とが二次元的に配列された撮像素子をそれぞれ有する撮像装置の、前記第１カメラユニットおよび前記第２カメラユニットのフォーカス制御を行うフォーカス制御プログラムであって、
前記第１カメラユニットの前記撮像素子から出力される前記画像信号を用いて前記画像を形成する場合に、
前記第２カメラユニットの前記撮像素子から出力される前記位相差信号に基づいて第２デフォーカス情報を取得する取得ステップと、
前記第２デフォーカス情報を参照して前記第１光学系のフォーカスレンズを駆動する駆動ステップと
をコンピュータに実行させるフォーカス制御プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、撮像装置およびフォーカス制御プログラムに関する。
【背景技術】
【0002】
撮像素子の像面で得られる位相差信号を用いてオートフォーカス制御を行う撮像装置が知られている。そのような位相差信号を出力する撮像素子の例として、専ら画像を生成するための画像信号を出力する通常画素と、専らオートフォーカスのための位相差信号を出力する位相画素とが二次元的に配列された撮像素子が挙げられる（例えば、特許文献１参照）。このような撮像素子は、すべての画素が各々のマイクロレンズに対して瞳分割された２つの光電変換部を備え画像信号の出力と位相差信号の出力を切り替えられる撮像素子よりも安価に製造できるなどの点において有利である。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開２０１６－９０７８５号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
専ら位相差信号を出力する位相画素は、画像を生成するための画像信号を出力しないため、画像を生成する場合には、位相画素が配置されたアドレスにおける画素値は、周辺画素の画素値から補間処理によって生成される。したがって、撮像素子を形成する画素のうち位相画素の割合を大きくすると、生成される画像の質を低下させる原因となる。特に、複数の位相画素を隣接して連続的に配列すると、生成される画像に視認可能なノイズとなって現れる場合がある。したがって、位相画素は、それぞれが通常画素に囲まれるように離散的に配置されることが望ましく、また、その割合も小さくすることが望ましい。しかし、そのように位相画素が配置されると、撮像素子が捉える像の全体に対して相対的に小さく写り込む被写体に対する位相差信号の検出が難しくなり、当該被写体に対して合焦させることができなくなってしまう場合がある。例えば、高周波成分の多い背景の手前に細長い主被写体が存在するようなシーンにおいては、主被写体に合焦できず、背景側に合焦してしまうという不都合が生じる。
【0005】
本発明は、このような問題を解決するためになされたものであり、主被写体が相対的に小さく写り込む広角画像を生成する場合であっても、当該主被写体に精度よくオートフォーカスすることができる撮像装置等を提供するものである。
【課題を解決するための手段】
【0006】
本発明の第１の態様における撮像装置は、第１光学系を有する第１カメラユニットと、第１カメラユニットと同一方向へ向けて配置される第２カメラユニットと、第１カメラユニットおよび第２カメラユニットのフォーカス制御を実行するフォーカス制御部とを備え、第１カメラユニットおよび第２カメラユニットは、画像を形成するための画像信号を出力する通常画素と、通常画素に囲まれて離散的に配置された、焦点を検出するための位相差信号を出力する位相画素とが二次元的に配列された撮像素子をそれぞれ有し、フォーカス制御部は、第１カメラユニットの撮像素子から出力される画像信号を用いて画像を形成する場合に、第２カメラユニットの撮像素子から出力される位相差信号から取得される第２デフォーカス情報を参照して、第１光学系のフォーカス制御を実行する。
【0007】
本発明の第２の態様におけるフォーカス制御プログラムは、第１光学系を有する第１カメラユニットと、第１カメラユニットと同一方向へ向けて配置される第２カメラユニットとを備え、第１カメラユニットおよび第２カメラユニットが、画像を形成するための画像信号を出力する通常画素と、通常画素に囲まれて離散的に配置された、焦点を検出するための位相差信号を出力する位相画素とが二次元的に配列された撮像素子をそれぞれ有する撮像装置の、第１カメラユニットおよび第２カメラユニットのフォーカス制御を行うフォーカス制御プログラムであって、第１カメラユニットの撮像素子から出力される画像信号を用いて画像を形成する場合に、第２カメラユニットの撮像素子から出力される位相差信号に基づいて第２デフォーカス情報を取得する取得ステップと、第２デフォーカス情報を参照して第１光学系のフォーカスレンズを駆動する駆動ステップとをコンピュータに実行させる。
【発明の効果】
【0008】
本発明により、主被写体が相対的に小さく写り込む広角画像を生成する場合であっても、当該主被写体に精度よくオートフォーカスすることができる撮像装置等を提供することができる。
【図面の簡単な説明】
【0009】
【図1】本実施形態に係る撮像装置の外観を示す図である。
【図2】撮像装置の主なハードウェア構成を示す図である。
【図3】撮像素子の画素配列を説明する図である。
【図4】撮像対象となるシーンの一例を示す図である。
【図5】第１カメラユニットからの位相差信号でオートフォーカス制御を行った場合に第１カメラユニットから得られる画像の例を示す図である。
【図6】同一シーンを第２カメラユニットからの位相差信号でオートフォーカス制御を行った場合に第２カメラユニットから得られる画像の例を示す図である。
【図7】第２デフォーカス情報を参照して第１光学系のオートフォーカス制御を行った場合に第１カメラユニットから得られる画像の例を示す図である。
【図8】２つの合焦領域の対応について説明する図である。
【図9】広角画像を生成するまでの処理手順を示す図である。
【発明を実施するための形態】
【0010】
以下、発明の実施の形態を通じて本発明を説明するが、特許請求の範囲に係る発明を以下の実施形態に限定するものではない。また、実施形態で説明する構成の全てが課題を解決するための手段として必須であるとは限らない。なお、各図において、同一又は同様の構成を有する構造物が複数存在する場合には、煩雑となることを回避するため、一部に符号を付し、他に同一符号を付すことを省く場合がある。
【0011】
図１は、本実施形態に係る撮像装置１００の外観を示す図である。特に、図１（Ａ）は、撮像装置１００の第１面側を主に示す図であり、図１（Ｂ）は、第１面側とは反対の第２面側を主に示す図である。本実施形態に係る撮像装置１００は、いわゆるスマートフォンであり、換言すれば、撮像装置としても機能するスマートフォンである。以下においては、スマートフォンの機能のうち本発明に関する撮像機能について説明するものとし、撮像によって生成された画像データの利用などの、スマートフォンとしての他の機能の説明については省略する。なお、本実施形態においてはスマートフォンを例として撮像装置１００を説明するが、もちろん単体カメラとしての撮像装置であってもよく、また、タブレット端末等に組み込まれて撮像機能を備えた装置であっても構わない。
【0012】
撮像装置１００は、第１面側において同一方向へ向けて配置された第１カメラユニット１１０と第２カメラユニット１２０を備える。第１カメラユニット１１０は、広角画像を生成するためのカメラユニットである。第２カメラユニット１２０は、望遠画像を生成するためのカメラユニットである。ユーザは、広角画像を得たい場合には第１カメラユニットを指定して撮像を行い、望遠画像を得たい場合には第２カメラユニットを指定して撮像を行う。第１カメラユニット１１０と第２カメラユニット１２０は、図においては撮像装置１００の長辺に対して平行となるように配置されているが、２つのカメラユニットの配置はこれに限らず、例えば当該長辺に斜交する直線に沿って配置されていても構わない。また、第１カメラユニット１１０と第２カメラユニット１２０の配置は、互いに図の位置とは逆であってもよい。
【0013】
撮像装置１００は、第２面側においてディスプレイ１３０を備える。ディスプレイ１３０は、例えば有機ＥＬ（Electro Luminescence）パネルを採用した表示デバイスであり、撮像前に被写体のリアルタイム画像を表示（ライブビュー表示）したり、撮像後の画像を表示したりする。なお、第１カメラユニット１１０および第２カメラユニット１２０とは独立した自撮り用のカメラユニットが第２面側に設けられていても構わない。
【0014】
撮像装置１００の側方部にはシャッタボタン１６１が設けられている。ユーザは、シャッタボタン１６１を押下することにより撮像装置１００へ撮像の指示を与えることができる。また、ディスプレイ１３０に重畳してタッチパネル１６２が設けられている。ユーザは、シャッタボタン１６１を押下する代わりに、ディスプレイ１３０に表示されたシャッタボタンをタップすることにより撮像装置１００へ撮像の指示を与えることもできる。また、ユーザは、ライブビュー表示された被写体像の任意の箇所をタップすることにより、当該箇所を含む一定領域を合焦領域に指定することもできる。その他にも、ユーザは、タップ等の接触動作により、第１カメラユニット１１０と第２カメラユニット１２０の切換えを行ったり、表示されたメニュー項目の選択を行ったりすることができる。
【0015】
図２は、撮像装置１００の主なハードウェア構成を示す図である。撮像装置１００は、上述の第１カメラユニット１１０、第２カメラユニット１２０、ディスプレイ１３０に加え、これらを制御するシステム制御部１５０、システム制御部１５０と連携する周辺要素によって構成される。
【0016】
第１カメラユニット１１０は、上述のように広角画像を生成するためのカメラユニットであり、主に、第１光学系１１１、第１駆動機構１１２、第１撮像素子１１３、第１アナログフロントエンド（ＡＦＥ）１１４を備える。第１光学系１１１は、入射する被写体光束を第１撮像素子１１３の撮像面に結像させるための光学系である。図では１枚のレンズで表しているが、一般的には複数枚のレンズで構成され、少なくともその一部は光軸方向に沿って進退可能なフォーカスレンズである。第１駆動機構１１２は、第１光学系１１１のフォーカスレンズを光軸方向に沿って移動させるための駆動機構であり、システム制御部１５０の指示に従って作動するアクチュエータを含む。
【0017】
第１撮像素子１１３は、例えばＣＭＯＳイメージセンサである。第１撮像素子１１３については後に詳述する。第１撮像素子１１３は、システム制御部１５０の指示に従って、出力信号である画素信号（後述する画像信号および位相差信号）を第１アナログフロントエンド１１４へ引き渡す。第１アナログフロントエンド１１４は、画素信号をシステム制御部１５０から指示されるゲインに応じてレベル調整してデジタルデータへＡ／Ｄ変換し、ワークメモリ１５１へ引き渡す。
【0018】
第２カメラユニット１２０は、上述のように望遠画像を生成するためのカメラユニットであり、主に、第２光学系１２１、第２駆動機構１２２、第２撮像素子１２３、第２アナログフロントエンド（ＡＦＥ）１２４を備える。第２光学系１２１は、入射する被写体光束を第２撮像素子１２３の撮像面に結像させるための光学系である。図では１枚のレンズで表しているが、第２光学系１２１も第１光学系１１１と同様に一般的には複数枚のレンズで構成され、少なくともその一部は光軸方向に沿って進退可能なフォーカスレンズである。第２駆動機構１２２は、第２光学系１２１のフォーカスレンズを光軸方向に沿って移動させるための駆動機構であり、システム制御部１５０の指示に従って作動するアクチュエータを含む。
【0019】
第２撮像素子１２３は、例えばＣＭＯＳイメージセンサである。第２撮像素子１２３については第１撮像素子１１３と共に後に詳述する。第２撮像素子１２３は、システム制御部１５０の指示に従って、出力信号である画素信号を第２アナログフロントエンド１２４へ引き渡す。第２アナログフロントエンド１２４は、画素信号をシステム制御部１５０から指示されるゲインに応じてレベル調整してデジタルデータへＡ／Ｄ変換し、ワークメモリ１５１へ引き渡す。
【0020】
本実施形態においては、第１光学系１１１も第２光学系１２１も焦点距離が固定である単焦点光学系を想定しているが、少なくともいずれかが焦点距離を変えられる可変焦点光学系（ズームレンズ）であっても構わない。可変焦点光学系を採用する場合であっても、第１光学系１１１の焦点距離は、第２光学系１２１の焦点距離よりも短くなるように設定される。別言すれば、第２光学系１２１の画角は、第１光学系１１１の画角よりも望遠画角に設定される。
【0021】
システム制御部１５０は、撮像装置１００を構成する各要素を直接的または間接的に制御するプロセッサ（ＣＰＵ：Central Processing Unit）である。システム制御部１５０は、実行する制御プログラムに応じて様々な機能制御部としての役割を担い、例えば、第１カメラユニット１１０および第２カメラユニット１２０のフォーカス制御を実行するときにはフォーカス制御部として機能し、撮像した画像をディスプレイ１３０に表示するときには表示制御部として機能する。
【0022】
撮像装置１００は、システム制御部１５０と連携する周辺要素として、主に、ワークメモリ１５１、画像処理部１５２、操作部１６０、記録部１７０、通信インタフェース１８０を備える。ワークメモリ１５１は、揮発性の高速メモリであり、例えばＳＲＡＭ（Static Random Access Memory）によって構成される。ワークメモリ１５１は、第１アナログフロントエンド１１４および第２アナログフロントエンド１２４からそれぞれ順次変換された画素データを受け取り、当該画素データが画像信号から変換されたデータであれば１フレーム分のフレームデータに纏めて記憶する。また、当該データが位相差信号から変換されたデータであれば２つの波形データに纏めて記憶する。ワークメモリ１５１は、フレームデータを画像処理部１５３へ引き渡し、波形データをシステム制御部１５０へ引き渡す。また、ワークメモリ１５１は、画像処理部１５３が画像処理する処理段階やシステム制御部１５０が合焦処理する処理段階においても一時的な記憶領域として適宜利用される。
【0023】
画像処理部１５３は、例えば専ら画像処理を実行するＡＳＩＣ（Application Specific Integrated Circuit）によって構成され、受け取ったフレームデータに対して補間処理等の各種の画像処理を施し、予め定められたフォーマットに即した画像データを生成する。生成された画像データが記録用であれば記録部１７０に記録され、表示用であればディスプレイ１３０に表示される。
【0024】
操作部１６０は、シャッタボタン１６１やタッチパネル１６２を含む入力デバイスであり、ユーザが撮像装置１００へ指示を与える場合に操作する部材である。撮像装置１００が音声入力を受け付ける場合には、マイクも操作部１６０に含み得る。記録部１７０は、不揮発性のメモリであり、例えばＳＳＤ（Solid State Drive）によって構成される。記録部１７０は、撮像によって生成された画像データを記録する他にも、撮像装置１００の動作時に必要な定数、変数、設定値、制御プログラム等を保持する。通信インタフェース１８０は、５Ｇ回線や無線ＬＡＮの通信ユニットを含み得る。通信インタフェース１８０は、生成された画像データを外部機器へ転送する場合などに用いられる。
【0025】
図３は、第１撮像素子１１３の画素配列を説明する図である。本実施形態においては、第２撮像素子１１４も第１撮像素子１１３と同じものであるので、ここでは第１撮像素子１１３について説明する。
【0026】
第１撮像素子１１３は、専ら画像を生成するための画像信号を出力する通常画素２１０と、専ら焦点を検出するための位相差信号を出力する位相画素２２０とが二次元的に配列された撮像素子である。通常画素２１０は、一つのマイクロレンズに対して略正方形の一つの光電変換部が偏位なく配置された画素である。通常画素２１０は、マイクロレンズと光電変換部の間にＲＧＢのいずれかのカラーフィルターが配置されている。
【0027】
位相画素２２０は、１つのマイクロレンズに対して通常画素の光電変換部を二分割したうちの一方の形状に類似する略長方形の１つの光電変換部が当該マイクロレンズの光軸に対して偏位して配置された画素である。位相画素２２０は、マイクロレンズと光電変換部の間にカラーフィルターは配置されていない。位相画素２２０は、隣接する画素が全て通常画素２１０であり、換言すれば、それぞれの位相画素２２０は、通常画素２１０に囲まれて互いに離散的に配置されている。なお、位相画素２２０の構成は、光電変換部の構成を通常画素２１０と同様にして、代わりに、光電変換部を上述のように偏位させた場合と同様の効果を生じさせる偏位開口を有する遮光マスクをマイクロレンズと光電変換部の間に配置するようにしてもよい。
【0028】
位相画素２２０は、光電変換部が第１の方向（図においては下側）へ偏位された第１位相画素２２１と、光電変換部が第１の方向とは反対方向（図においては上側）へ偏位された第２位相画素２２２の２種類が存在する。第１位相画素２２１および第２位相画素２２２は、それぞれ決まったパターンによって配列されている。具体的には、偏位画素の偏位方向（図においては上下方向）に沿って検出ラインが複数設定され、それぞれの検出ラインの一方側（図においては右側）に第１位相画素２２１が周期的に配列され、他方側（図においては左側）に第２位相画素２２２が同一周期であって位相をずらして配列されている。
【0029】
第１位相画素２２１の出力信号である位相差信号から第１位相波形が形成され、第２位相画素２２２の出力信号である位相差信号から第２位相波形が形成される。そして、システム制御部１５０は、フォーカス制御において、第１位相波形と第２位相波形の相対的なずれ量であるデフォーカス量とずれ方向であるデフォーカス方向、および両波形の一致度から得られる合焦評価値などを算出してデフォーカス情報を取得する。システム制御部１５０は、取得したデフォーカス情報に基づいて、特定の被写体に焦点が合うように合焦処理を行う。合焦処理については、後に詳述する。
【0030】
なお、第１撮像素子１１３と第２撮像素子１２３は、それぞれが通常画素と、通常画素に囲まれて離散的に配置された位相画素とが二次元的に配列された撮像素子であれば、互いに同一の撮像素子でなくてもよい。それぞれの撮像素子は、例えば、互いに全体の画素数や位相画素の配列パターンが異なっていてもよい。
【0031】
また、図の例では上下方向である１軸方向に沿って検出ラインを設定したが、さらに直交する方向（図の例では左右方向）にも検出ラインを設定し、それに適した位相画素（図の例では右側に偏位した位相画素と左側に偏位した位相画素）を配列してもよい。その場合でも、それぞれの位相画素は、通常画素に囲まれていることが好ましい。このように直交する２軸方向に検出ラインを設定すれば、合焦精度を高めることができる。
【0032】
さて、専ら位相差信号を出力する位相画素は画像を生成するための画像信号を出力しないため、通常画素が出力する画像信号から画像を生成する場合には、位相画素が配置されたアドレスの画素の画素値は、一般的には周辺画素の画素値から補間処理によって生成される。したがって、撮像素子を形成する画素のうち位相画素の割合を大きくすると、生成される画像の質を低下させる原因となり得る。特に、複数の位相画素を隣接して連続的に配列すると、生成される画像に視認可能なノイズとなって現れる場合がある。したがって、位相画素は、本実施形態における第１撮像素子１１３および第２撮像素子１２３のように、それぞれが通常画素に囲まれるように離散的に配置されることが望ましく、また、その割合も小さくすることが望ましい。本実施形態における第１撮像素子１１３および第２撮像素子１２３は、位相画素２２０の総数が全画素数の５％未満である。
【0033】
しかし、そのように少数かつ離散的に位相画素が配置されると、フォーカス制御部は、撮像素子が捉える像の全体に対して相対的に小さく写り込む被写体の精確なデフォーカス情報を取得できなくなり、その結果として当該被写体に対して合焦させることができなくなってしまうことがある。例えば、高周波成分の多い背景の手前に細長い主被写体が存在するようなシーンにおいては、当該主被写体に合焦できず、背景側に合焦してしまうという不都合が生じやすい。このような不都合は、広角画角の光学系を用いて撮像する場合ほど生じやすい。そこで、本実施形態における撮像装置１００は、第１カメラユニット１１０の第１撮像素子１１３から出力される画像信号を用いて広角画像を形成する場合に、第２カメラユニット１２０の第２撮像素子１２３から出力される位相差信号から取得される第２デフォーカス情報を参照して、第１光学系１１１のフォーカス制御を実行する。当該フォーカス制御について、具体的なシーンを交えて以下に順に説明する。
【0034】
図４は、撮像対象となるシーンの一例を示す図である。具体的には、主被写体となる人物９１０の背後に森９２０が広がるシーンを、ユーザが撮像装置１００を構えて撮像しようとする様子を表している。ここでは、ユーザは、人物９１０にピントを合わせたいと考えているものとする。ユーザは、第１カメラユニット１１０または第２カメラユニット１２０によって連続的に取得されてディスプレイ１３０に表示されるライブビュー映像を確認しながら構図を決定することができる。
【0035】
図５は、第１カメラユニット１１０からの位相差信号のみで第１光学系１１１のオートフォーカス制御を行った場合に、第１カメラユニット１１０から得られる画像の例を示す図である。シーンの背景である森９２０は木々の集合であるので、第１カメラユニット１１０が捉える画角内において森９２０の像領域（背景領域）は、空間周波数の高い領域となる。一方、主被写体である人物９１０の像領域（主要領域）は、第１カメラユニット１１０が捉える画角内のごく一部を占有するに留まり、相対的に空間周波数の低い領域となる。
【0036】
検出ラインが空間周波数の高い背景領域と空間周波数の低い主要領域を跨ぐと、いわゆる遠近競合が生じ、フォーカス制御部は、空間周波数の高い背景領域に対するデフォーカス情報を算出してしまう。このように算出されたデフォーカス情報に基づいて第１光学系１１１のフォーカスレンズを駆動すると、第１光学系１１１は背景である森９２０に合焦し、その合焦後に生成される広角画像３０１は、図示するように、主被写体である人物９１０がぼけた画像となる。特に、検出ラインに沿って配置された位相画素２２０が離散的であると、小さな主要領域に含まれる位相画素２２０の数はより少なくなり、フォーカス制御部は、当該主要領域に含まれる位相画素２２０が出力する位相差信号から形成される波形を基準にデフォーカス情報を算出することが増々難しくなる。
【0037】
すなわち、図４のシーンにおいて、第１撮像素子１１３が出力する位相差信号から取得される第１デフォーカス情報のみでオートフォーカス制御を行う場合には、ユーザが合焦させたい人物９１０に合焦させることは難しいといえる。
【0038】
図６は、同一シーンを第２カメラユニット１２０からの位相差信号で第２光学系１２１のオートフォーカス制御を行った場合に第２カメラユニット１２０から得られる画像の例を示す図である。第２カメラユニット１２０の第２光学系１２１は、第１光学系１１１よりも望遠画角であるので、人物９１０の像領域（主要領域）が全体領域に対して占有する割合は、図５の場合に比べて大きくなる。すると、主要領域に含まれる位相画素２２０の数も多くなり、人物９１０のより細部まで解像するので、その空間周波数は高くなる。
【0039】
検出ラインが主要領域と背景領域を跨ぐ場合であっても、主要領域の割合が大きく、主要領域内の位相画素２２０が出力する位相差信号から形成される波形が支配的になると、遠近競合は生じにくい。したがって、フォーカス制御部は、主要領域に対するデフォーカス情報を算出することができる。このように算出されたデフォーカス情報に基づいて第２光学系１２１のフォーカスレンズを駆動すると、第２光学系１２１は主被写体である人物９１０に合焦し、その合焦後に生成される望遠画像３０２は、図示するように、人物９１０にピントが合った画像となる。
【0040】
すなわち、図４のシーンにおいて、第２撮像素子１２３が出力する位相差信号から取得される第２デフォーカス情報に基づいてオートフォーカス制御を行えば、ユーザが合焦させたい人物９１０に合焦させやすいと言える。したがって、ユーザが第１カメラユニット１１０を選択して広角画像を得ようとしている場合でも、第２撮像素子１２３が出力する位相差信号から取得される第２デフォーカス情報を参照すれば、第１光学系１１１でも人物９１０に合焦させる可能性を高めることができる。
【0041】
そのようなフォーカス制御を実行するために、フォーカス制御部は、ユーザが第１カメラユニット１１０を選択している場合であっても、第２撮像素子１２３を駆動して位相画素２２０に位相差信号を出力させ、第２デフォーカス情報を取得する。フォーカス制御部は、第２デフォーカス情報を参照することにより、第１光学系１１１のフォーカスレンズを移動させ人物９１０に合焦させる。第２デフォーカス情報は、具体的には、第２撮像素子１２３において合焦評価を行った領域である第２合焦領域３２０の領域情報と、当該第２合焦領域におけるデフォーカス量、デフォーカス方向、合焦評価値を含む。
【0042】
図７は、第２デフォーカス情報を参照して第１光学系１１１のオートフォーカス制御を行った場合に、第１カメラユニット１１０から得られる画像の例を示す図である。フォーカス制御部は、第２デフォーカス情報に含まれる第２合焦領域３２０の領域情報から、第１カメラユニット１１０における合焦領域である第１合焦領域３１０を決定する。第１カメラユニット１１０と第２カメラユニット１２０は互いに近接して配置されており、また第１光学系１１１の光軸と第２光学系１２１の光軸は互いに平行であることから、簡易的には被写体の奥行きを考慮せず、それぞれの画角を踏まえて予め一対一に対応せる換算式や参照テーブルを用意することができる。フォーカス制御部は、このような換算式や参照テーブルを利用して、第２合焦領域３２０の領域情報から第１合焦領域３１０を決定する。
【0043】
第１合焦領域３１０が決まると、フォーカス制御部は、この領域に主被写体が存在することを前提に第１光学系１１１のフォーカス制御を実行する。具体的には、第１撮像素子１１３が出力する位相差信号のうち第１合焦領域３１０に含まれるものに限定して位相波形を生成する。そして、第２デフォーカス情報のデフォーカス量とデフォーカス方向を参照することにより合焦レンジ（すなわち、主被写体が存在すると想定する奥行き範囲）を限定し、背景領域の影響を受けないようにする。このように限定された条件から、第１デフォーカス情報としてのデフォーカス量とデフォーカス方向を決定する。フォーカス制御部は、決定したデフォーカス量とデフォーカス方向から第１光学系１１１のフォーカスレンズの移動方向と移動量を決定し、そのように移動させることで、主被写体である人物９１０に合焦させる。
【0044】
フォーカス制御部は、フォーカスレンズの移動後に再度第１撮像素子１１３に位相差信号を出力させ、その位相波形を評価して合焦状態であるか否かを判断する。合焦状態にあると判断した場合には、撮像処理を実行し、広角画像３０１を生成する。合焦状態に到達していないと判断した場合には、再度第１デフォーカス情報を取得してフォーカスレンズの位置を修正することができる。あるいは、フォーカスレンズをウォブリングさせつつ、第１合焦領域３１０に含まれる通常画素が出力する画像信号から生成される部分画像のコントラストが最も高くなるようにフォーカスレンズの位置を修正してもよい。後者は、いわゆるコントラストＡＦである。また、より簡易的には、フォーカス制御部は、第２合焦領域３２０に基づいて第１合焦領域３１０を決定したら、第１撮像素子１１３から第１デフォーカス情報を取得することなく、第１合焦領域３１０を対象として直ちにコントラストＡＦを実行してもよい。
【0045】
なお、フォーカス制御部は、第１デフォーカス情報に基づいて第１光学系１１１のフォーカス制御を実行することが困難であると判断した場合に、第２デフォーカス情報を参照して第１光学系のフォーカス制御を実行するようにしてもよい。すなわち、第１デフォーカス情報に基づいて第１光学系１１１のフォーカス制御を実行することが可能であると判断した場合には、第２デフォーカス情報を参照することなく、第１光学系のフォーカス制御を実行すればよい。第１デフォーカス情報に基づいて第１光学系１１１のフォーカス制御を実行することが困難であるか否かは、例えば、第１デフォーカス情報における合焦評価値が閾値未満であるか以上であるかによって判断することができる。あるいは、第１デフォーカス情報の取得に並行して第２デフォーカス情報も取得し、それぞれのデフォーカス量とデフォーカス方向を比較することによっても判断することができる。具体的には、第１デフォーカス情報に含まれるデフォーカス量とデフォーカス方向から算出される被写体の奥行きと、第２デフォーカス情報に含まれるデフォーカス量とデフォーカス方向から算出される被写体の奥行きとが一定範囲内であれば、それぞれが同一の被写体を捉えていると想定されるので、第１デフォーカス情報に基づいて第１光学系１１１のフォーカス制御を実行することが可能であると判断する。一定範囲内になく、それぞれが別々の被写体を捉えていると想定される場合には、第１デフォーカス情報に基づいて第１光学系１１１のフォーカス制御を実行することが困難であると判断する。
【0046】
以上においては、第２合焦領域３２０から第１合焦領域３１０を決定する場合に、簡易的に換算式等を用いる例を説明したが、実際には、被写体の奥行き（被写体までの距離）によって、第２合焦領域３２０に対応する第１合焦領域３１０は変化し得る。図８は、２つの合焦領域の対応について説明する図である。具体的には、撮像装置１００から距離ｄ１に存在する人物と距離ｄ２に存在する人物を、第１カメラユニット１１０と第２カメラユニット１２０がそれぞれ捉える様子と、そのように撮像された望遠画像３０２と広角画像３０１を表す図である。
【0047】
図示するように、近い距離ｄ１に存在する人物も遠い距離ｄ２に存在する人物も第２カメラユニット１２０側に寄っている場合を想定する。このような場合、第２カメラユニット１２０から生成される望遠画像３０２と第１カメラユニットから生成される広角画像３０１を比較すると、遠い距離ｄ２に存在する人物を撮像した場合のその人物を捉える第２合焦領域３２０と第１合焦領域３１０の間隔より、近い距離ｄ１に存在する人物を撮像した場合のその人物を捉える第２合焦領域３２０と第１合焦領域３１０の間隔の方が大きい。また、同じ広角画像３０１で比較すると、人物が距離ｄ２に存在するときよりも距離ｄ１に存在するときの方が第１合焦領域３１０はより右側に偏位する。
【0048】
このような対応関係は、三角測量の手法により算出することができる。具体的には、望遠画像３０２において第２合焦領域３２０と主被写体である人物までの距離が算出されると、２つの光学系の光軸間距離である基線長、２つの光学系の画角比を用いて広角画像３０１における第１合焦領域３１０を決定することができる。なお、人物までの距離は、第２デフォーカス情報におけるデフォーカス量とデフォーカス方向、およびそのときのフォーカスレンズ位置から算出し得る。
【0049】
フォーカス制御部は、第２合焦領域３２０に対応する第１合焦領域３１０をこのようにより精確に決定すれば、第１光学系１１１のフォーカス制御の精度をより向上させることができる。
【0050】
なお、ユーザから合焦領域を特に指定されていない場合には、フォーカス制御部は、一般的な近点優先（撮像装置から近い被写体を優先）や中央優先（画角の中央付近の被写体を優先）といったアルゴリズムに従って合焦すべき主被写体を決定すればよい。この場合、第１デフォーカス情報に含まれるデフォーカス量とデフォーカス方向から算出される被写体が、第２デフォーカス情報に含まれるデフォーカス量とデフォーカス方向から算出される被写体よりも遠い位置に存在する場合や中央から離れた位置に存在する場合に、第１デフォーカス情報に基づいて第１光学系１１１のフォーカス制御を実行することが困難であると判断してもよい。
【0051】
また、ユーザから特定の領域を指定された場合には、当該領域を第１合焦領域３１０とすればよい。また、顔領域認識プログラム等により特定の領域が指定された場合には、当該領域を第１合焦領域３１０とすればよい。そのような場合でも、第１デフォーカス情報に基づいて第１光学系１１１のフォーカス制御を実行することが困難であると判断したら、第２合焦領域３２０を決定して当該領域における第２デフォーカス情報を参照することにより、第１光学系１１１のフォーカス制御を実行すればよい。
【0052】
次に、ユーザが第１カメラユニット１１０を選択して広角画像を撮像する場合において、システム制御部１５０が主にフォーカス制御部として機能する一連の処理の一例について説明する。図９は、システム制御部１５０が広角画像を生成するまでの主な処理手順を示すフロー図である。フローは、例えばシャッタボタン１６１がユーザに押下された時点から開始する。
【0053】
フォーカス制御部は、ステップＳ１０１で、第１デフォーカス情報を取得する。具体的には、上述したように、第１撮像素子１１３を駆動して位相画素２２０に位相差信号を出力させ、種々の演算を行って第１デフォーカス情報を得る。フォーカス制御部は、ステップＳ１０２で、第１デフォーカス情報の取得と同様に、第２デフォーカス情報を取得する。ステップＳ１０２の処理は、ステップＳ１０１と並行して行ってもよい。
【0054】
フォーカス制御部は、ステップＳ１０３で、第１デフォーカス情報に基づいて第１光学系１１１のフォーカス制御を実行することが可能であるか否かを判断する。可能であると判断したらステップＳ１０４をスキップしてステップＳ１０５へ進み、可能でないと判断したらステップＳ１０４へ進む。
【0055】
ステップＳ１０４へ進んだ場合には、フォーカス制御部は、ステップＳ１０２で取得した第２デフォーカス情報を参照して第１撮像素子１１３における第１合焦領域３１０を決定し、ステップＳ１０５へ進む。
【0056】
ステップＳ１０５へ進むと、フォーカス制御部は、ステップＳ１０４をスキップした場合には、第１デフォーカス情報に基づいて第１光学系１１１のフォーカスレンズを移動させ、主被写体に合焦させる。ステップＳ１０４を経由した場合には、決定された第１合焦領域３１０において、上述のように例えば限定条件を課して再度第１デフォーカス情報を取得し、当該第１デフォーカス情報に基づいて第１光学系１１１のフォーカスレンズを移動させ、主被写体に合焦させる。
【0057】
フォーカス制御部は、ステップＳ１０６へ進み、再度第１撮像素子１１３に位相差信号を出力させ、その位相波形を評価して合焦状態であるか否かを判断する。合焦状態であると判断したらステップＳ１０７をスキップしてステップＳ１０８へ進み、合焦状態でないと判断したらステップＳ１０７へ進む。
【0058】
ステップＳ１０７へ進んだ場合には、フォーカス制御部は、上述のようにコントラストＡＦを実行してフォーカスレンズの位置を修正し、主被写体に合焦させる。その後、ステップＳ１０８へ進む。
【0059】
ステップＳ１０８へ進むと、システム制御部１５０は、第１撮像素子１１３を駆動して通常画素に画像信号を出力させ、画像処理部１５３に画像データを生成させる。システム制御部１５０は、生成された画像データを、予め設定された指示に従って記録部１７０に記録したり、ディスプレイ１３０に表示したり、通信インタフェース１８０を介して外部機器へ送信したりして、一連の処理を終了する。
【0060】
以上で説明した本実施形態においては、第１カメラユニット１１０で静止画像を撮像する場合を想定したが、動画像を撮像する場合であっても同様のフォーカス制御を実行し得る。例えば、第１撮像素子１１３が出力する画素信号のうち画像信号からはフレーム画像を継続して生成し、位相差信号から第１デフォーカス情報を生成するようにすれば、動画像の撮像においても、並行して生成される第２デフォーカス情報を参照しつつ、上述と同様のフォーカス制御を実行することができる。
【0061】
また、以上で説明した本実施形態においては、撮像装置１００が２つのカメラユニットを備える場合について説明したが、３つ以上のカメラユニットを備える撮像装置においても同様のフォーカス制御を実行し得る。例えば、３つのカメラユニットがそれぞれ望遠画角、標準画角、広角画角の光学系を備えるのであれば、広角画角のカメラユニットのフォーカス制御は、標準画角のカメラユニットおよび望遠画角のカメラユニットのそれぞれから取得されるデフォーカス情報を参照し得る。また、標準画角のカメラユニットのフォーカス制御は、望遠画角のカメラユニットから取得されるデフォーカス情報を参照し得る。
【0062】
また、以上で説明した本実施形態においては、第１光学系１１１および第２光学系１２１のそれぞれのフォーカスレンズが任意の状態で取得される一つのデフォーカス情報に基づいてフォーカス制御を行う例を説明したが、フォーカスレンズの位置を変化させつつ複数のデフォーカス情報を取得してフォーカス制御を行ってもよい。例えば、開放Ｆ値が小さい光学系を採用する場合や焦点距離の長い光学系を採用する場合は、その特性に応じてフォーカスレンズの位置を複数回に分けて変化させ、その都度デフォーカス情報を取得するようにしてもよい。このとき、望遠画角のカメラユニットが電気信号に応じて焦点距離を変更可能な液体レンズを採用するような場合には、その電気信号に基づいてフォーカスレンズの移動範囲を決定するとよい。すなわち、そのような液体レンズは高倍率のズームレンズとなり得るので、例えば望遠領域では１．５ｍより遠方の被写体に合焦させることを前提として、その範囲に限ってフォーカスレンズの移動を許容すれば、デフォーカス情報の取得時間を短縮することができる。
【0063】
もう一つの可能な実施形態において、液体レンズは広角レンズまたは望遠レンズでもよい。液体レンズがフォーカスする時に、モータにより液体ユニットの厚さを変更する必要があるため、フォーカスする時に必要とされる変位が長く、または、モータの移動スピードが遅いので、フォーカス速度を影響する懸念がある。このときに、他の光学系のデフォーカス情報で液体レンズが備えられる該光学系を支援してフォーカス制御を行う。例えば、複数のフォーカス距離の区間を決定することにより、フォーカス距離の小さい範囲にフォーカスする必要があるだけであるため、フォーカス速度を向上させることができる。
【符号の説明】
【0064】
１００…撮像装置、１１０…第１カメラユニット、１１１…第１光学系、１１２…第１駆動機構、１１３…第１撮像素子、１１４…第１アナログフロントエンド（ＡＦＥ）、１２０…第２カメラユニット、１２１…第２光学系、１２２…第２駆動機構、１２３…第２撮像素子、１２４…第２アナログフロントエンド（ＡＦＥ）、１３０…ディスプレイ、１５０…システム制御部、１５１…ワークメモリ、１５２…画像処理部、１６０…操作部、１６１…シャッタボタン、１６２…タッチパネル、１７０…記録部、１８０…通信インタフェース、２１０…通常画素、２２０…位相画素、２２１…第１位相画素、２２２…第２位相画素、３０１…広角画像、３０２…望遠画像、３１０…第１合焦領域、３２０…第２合焦領域、９１０…人物、９２０…森
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【国際調査報告】