(58)【調査した分野】(Int.Cl.,DB名)
【発明を実施するための形態】
【0008】
(第1の実施の形態)
図1は、本発明の第1の実施の形態による撮像装置の構成を示す図である。撮像装置1は、カメラボディ20と、カメラボディ20に着脱可能なレンズ鏡筒10とから成る。レンズ鏡筒10には、被写体像を所定の予定焦点面に結像させる結像光学系11が内蔵されている。なお、
図1において結像光学系11は1枚のレンズとして模式的に示しているが、実際には、結像光学系11の焦点状態を調節するフォーカシングレンズを含む複数のレンズで構成されている。
【0009】
カメラボディ20内の、結像光学系11の光軸上には、結像光学系11を通過した被写体光を二方向に分岐させるペリクルミラー21が設けられている。カメラボディ20内には更に、例えばCMOSやCCD等の主撮像素子22と、マイクロレンズアレイ31および副撮像素子32を有する撮像ユニット30とが設けられている。ペリクルミラー21は、分岐させた被写体光の一方を主撮像素子22に、他方を撮像ユニット30に向かわせる。
【0010】
主撮像素子22は、その撮像面が結像光学系11の第1予定焦点面5aに位置するよう配置されている。他方、撮像ユニット30が有するマイクロレンズアレイ31は、結像光学系11の第2予定焦点面5b(第1予定焦点面5aとペリクルミラー21に対して共役な面)の近傍に配置されている。なお、
図1では図示を省略しているが、主撮像素子22および副撮像素子32の撮像面には、光学的ローパスフィルターや赤外線カットフィルター等が設けられている。
【0011】
カメラボディ20は更に、いわゆる電子ビューファインダー(EVF)を構成する電子ファインダーユニット40を有している。電子ファインダーユニット40は、液晶ディスプレイ41と、接眼レンズ42とを備えており、主撮像素子22や副撮像素子32により撮像された画像等を液晶ディスプレイ41に表示させることが可能である。ユーザは接眼レンズ42を通して液晶ディスプレイ41の表示画面を視認する。以下の説明では、電子ファインダーユニット40の液晶ディスプレイ41に画像や文字等を表示することを、「ファインダーに表示する」と述べることがある。
【0012】
カメラボディ20は以上で述べた各部を制御する制御回路23を更に備えている。制御回路23はマイクロプロセッサやその周辺回路等から構成されており、図示しない記憶媒体(例えばフラッシュメモリなど)に予め記憶されている制御プログラムを読み込んで実行することにより、上述した各部を制御する。例えば制御回路23は、主撮像素子22または副撮像素子32のいずれかの撮像素子の出力に基づいて、被写体像の画像データ(いわゆるスルー画)をファインダーに表示する。なお制御回路23を、この制御プログラムと同等の機能を有する電子回路により構成することも可能である。
【0013】
図2は、撮像ユニット30の詳細を示す模式図であり、
図2(a)に撮像ユニット30の断面図を、
図2(b)に撮像ユニット30の斜視図をそれぞれ模式的に示す。
図2に示すように、マイクロレンズアレイ31は、正レンズであるマイクロレンズ33を複数有している。これら複数のマイクロレンズ33は、二次元状に稠密に(ハニカム状に)配列されている。本実施形態のマイクロレンズ33は、レンズ面の形状が、円形状マイクロレンズを正六角形に切り出した形状とされており、円形状マイクロレンズと同一の機能を有する。このように正六角形のマイクロレンズ33をハニカム状に配列することにより、円形状マイクロレンズを配列させた場合に生じるレンズ間の焦点検出の不感帯を回避することができる。なお、正六角形のマイクロレンズ33をハニカム状に配列することに代えて、円形のマイクロレンズを正方配列することもできる。
【0014】
副撮像素子32は、撮像面がマイクロレンズアレイ31に相対するように配置されている。副撮像素子32の撮像面には、正方形の受光素子34(光電変換素子)が正方配列されており、その撮像面の大きさは、少なくとも主撮像素子22による撮像範囲の全域をカバーする大きさである。一つの受光素子34は一つのマイクロレンズ33より小さく形成され、一つのマイクロレンズ33を垂直に投影した範囲には複数の受光素子34が含まれている。なお、
図2(b)に示すマイクロレンズアレイ31は、便宜上23個のマイクロレンズ33を有するかのように描写されているが、実際にはより多くのマイクロレンズ33を有している。同様に、副撮像素子32が有する受光素子34も、実際には
図2(b)に示す数より多い。
【0015】
通常、マイクロレンズアレイ31と副撮像素子32との間隔は、おおよそマイクロレンズアレイ31を構成する各マイクロレンズ33の焦点位置近傍に副撮像素子32の撮像面があるように定められるが、
図1および
図2では説明のため実際よりも広く描いている。
【0016】
なお、マイクロレンズアレイ31は、その前側主面が第2予定焦点面5bに一致するように配置してもよい。ただし、マイクロレンズアレイ31の前側主面を第2予定焦点面5bに一致させると、マイクロレンズ33間に被写体像のコントラストがあるような場合にその部分が不感帯となってしまう。本実施形態では、マイクロレンズアレイ31の前側主面と第2予定焦点面5bとをずらして配置することにより、そのような不感帯の発生を回避させている。
【0017】
(焦点調節方法の説明)
本実施形態の撮像装置1は、排他的に設定される自動焦点調節モードと手動焦点調節モードとを有している。ユーザは不図示の操作部材を操作することにより、これらのモードを切り替えることができる。自動焦点調節モードが設定されているとき、ユーザは主撮像素子22の撮像範囲内に設けられた複数のフォーカスエリアから、焦点調節の対象とするフォーカスエリアを操作部材等により1つ選択する。その後、ユーザが自動焦点調節操作(例えば自動焦点調節ボタンの押下等)を行うと、制御回路23は撮像ユニット30を制御して選択されたフォーカスエリアにおける結像光学系11の焦点調節状態を検出し、検出結果に応じた方向および駆動量でフォーカシングレンズを駆動する。これにより、結像光学系11は選択されたフォーカスエリアに対応する被写体部分に合焦した状態となる。
【0018】
他方、手動焦点調節モードが設定されているとき、ユーザは不図示の操作部材(例えばレンズ鏡筒に設けられたピント環等)を操作することにより、手動でフォーカシングレンズを駆動させることができる。つまり、ユーザは結像光学系11の焦点調節状態を手動で調節する。手動焦点調節モードが設定されているとき、制御回路23は特定のフォーカスエリア(後に詳述する)において、自動焦点調節モードの場合と同様に焦点調節状態を検出し、検出結果を液晶ディスプレイ41に表示させることにより、ユーザによる手動焦点調節を支援する、いわゆるフォーカスエイド機能を発揮する。
【0019】
以下では、まず撮像ユニット30を用いた焦点調節状態の検出方法について説明し、その後、手動焦点調節モードにおけるフォーカスエイド機能について説明する。
【0020】
(焦点調節状態の検出方法の説明)
図3は、主撮像素子22の撮像範囲内に設けられた複数のフォーカスエリアを示す図であり、撮像範囲100に重畳して全てのフォーカスエリア101を図示したものである。撮像範囲100には、全体に渡って複数のフォーカスエリア101が二次元状に稠密に配列されている。本実施形態のフォーカスエリア101は、マイクロレンズ33と同様に正六角形の形状を有している。
【0021】
図4は、フォーカスエリアとマイクロレンズとの対応を示す図であり、マイクロレンズアレイ31の一部を副撮像素子32の方向から見た平面図に、
図3に示した複数のフォーカスエリア101の一部を重畳して示した図である。
図4では、横方向に並んだ3つのフォーカスエリア101a、101b、101cを相対的に太い実線および破線で示している。また、複数のマイクロレンズ33は相対的に細い実線で示している。制御回路23は、あるフォーカスエリアについて焦点調節状態を検出する際、まず複数のマイクロレンズ33から当該フォーカスエリアに対応するマイクロレンズ33を選択する。そして、それらの選択されたマイクロレンズ33を通過した光束が入射する受光素子34の出力を用いて後述する焦点検出演算を行う。
【0022】
図5は、焦点調節状態を検出する際のマイクロレンズ33の選択方法を示す平面図であり、
図4の中央に図示したフォーカスエリア101bを例に、焦点調節状態を検出する際のマイクロレンズ33の選択方法を図示したものである。制御回路23は、フォーカスエリア101bについて焦点調節状態を検出する際、当該フォーカスエリア101bに対応する複数のマイクロレンズ33から、所定の3方向に沿って配列されている3つのマイクロレンズ列を選択し、それら3列の各々について、当該列に含まれる各マイクロレンズ33に対応する受光素子34の出力に基づいて、デフォーカス量を算出する。そして、それら3列の各々におけるデフォーカス量の算出結果を総合して、当該フォーカスエリア101bのデフォーカス量を算出する。
【0023】
本実施形態の制御回路23は、水平方向に並んだマイクロレンズ33(
図5(a))、プラス60度方向に並んだマイクロレンズ33(
図5(b))、マイナス60度方向に並んだマイクロレンズ33(
図5(c))の各々について、デフォーカス量を算出する。つまり、3つのマイクロレンズ列とは、
図5(a)に示すマイクロレンズ列AA1と、
図5(b)に示すマイクロレンズ列AA2と、
図5(c)に示すマイクロレンズ列AA3である。
【0024】
次に、上述のようにして選択された3つのマイクロレンズ列のうち、特に
図5(a)に示す水平方向に並んだマイクロレンズ列AA1におけるデフォーカス量の算出の詳細について説明する。なお、他のマイクロレンズ列AA2、AA3についてはマイクロレンズ列AA1と同様にデフォーカス量を算出することができるため、説明を省略する。
【0025】
図6は、撮像ユニット30による焦点調節状態の検出方式を説明するための模式図である。
図6は、被写体光がマイクロレンズアレイ31および副撮像素子32に入射する様子を模式的に示した図であり、
図2に示したマイクロレンズアレイ31および副撮像素子32を、
図2(b)に示したX断面で切断した断面図となっている。
図6に示す通り、マイクロレンズアレイ31および副撮像素子32は、各受光素子34のマイクロレンズ33による像が、各マイクロレンズ33の頂点より被写体側の第2予定焦点面5bに結ぶように配置されている。各受光素子34の像の位置は結像光学系11の射出瞳と一致するのが理想的であるが、この位置からずれていても、射出瞳面上におけるボケ像が分離十分に小さければよい。制御回路23は、このように構成された副撮像素子32から出力される受光信号に対して以下に説明する演算を行い、被写体像の像ずれ量を検出する。
【0026】
以下の説明では、マイクロレンズ列AA1に含まれる各々のマイクロレンズ33に、左から順に1ずつ増加する自然数の番号(例えば1、2、…)が割り当てられているものとする。
図5(a)および
図6において、マイクロレンズ列AA1の左端のマイクロレンズ33にはpL0という番号が、右端のマイクロレンズ33にはqL0という番号が割り当てられている。上述の前提から、pL0はqL0よりも小さい。
【0027】
このとき、制御回路23は、pL0からqL0までの(qL0−pL0+1)個のマイクロレンズ33について、各々のマイクロレンズ33を通過した光束が入射する受光素子34から相対的に同じ位置の受光素子34を選択した第1受光素子列を規定する。例えば、各マイクロレンズ33について、当該マイクロレンズ33の透過光が入射する範囲のうち左端から3番目の受光素子aを選択した第1受光素子列Aを考える。同様に、これとは異なる位置の受光素子34を、各マイクロレンズ33の透過光が入射する受光素子34から選択した第2受光素子列を規定する。例えば、各マイクロレンズ33について、当該マイクロレンズ33の透過光が入射する範囲のうち左端から6番目の受光素子bを選択した第2受光素子列Bを考える。第1受光素子列Aから出力される信号列と、第2受光素子列Bから出力される信号列とは、互いに結像光学系11の異なる瞳を通った光束に由来する信号列である。
【0028】
制御回路23は、第1受光素子列Aの出力と第2受光素子列Bの出力とのずれ量を検出することにより、デフォーカス量を算出する。以下、第1受光素子列Aを構成する各受光素子の出力をA/D変換したデータである第1信号列をa(i)と、第2受光素子列Bを構成する各受光素子の出力をA/D変換したデータである第2信号列をb(i)と表記する。例えばa(pL0)は、pL0という番号が割り当てられたマイクロレンズ33(つまり、
図5(a)および
図6におけるマイクロレンズ列AA1の左端のマイクロレンズ33)を通過した光束に由来するデータを表す。
【0029】
制御回路23は像ずれ量の検出に際し、まず上述した第1信号列{a(i)}=a(pL0),a(pL0+1),…,a(qL0)を作成する。次に、上述した第2信号列{b(i)}=b(pL0),b(pL0+1),…,b(qL0)を作成する。これらの各信号列は、副撮像素子32から出力された受光信号により得ることができる。次に、このようにして得られた第1信号列{a(i)}と第2信号列{b(i)}に対して周知の方法(いわゆる瞳分割型の位相差検出方式)で像ずれ演算を行い、この演算結果に基づいてデフォーカス量を算出する。
【0030】
2つの信号列からデフォーカス量を算出する方法はよく知られており、例えば特開昭60−37513号公報および特開昭61−243416号公報に記載の方法を用いることができる。より具体的には、第1信号列{a(i)}と第2信号列{b(i)}(i=pL0,pL0+1,…,qL0)とから、これらの信号列の相関量C(N)を次式(1)により求める。
【0032】
ここでNは第1信号列{a(i)}と第2信号列{b(i)}とのずれ量を表す数であり、シフト数と呼ぶ。また、pLおよびqLは、N=0の場合はそれぞれ前述のpL0およびqL0であり、それ以外の場合は次式(2)および(3)により定める。
【0033】
pL=pL0−Floor(N/2) …(2)
qL=qL0−Floor(N/2) …(3)
【0034】
なお、上式(2)および(3)において、関数Floorはいわゆる床関数である。つまり、Floor(x)はx以下の最大の整数を表す。制御回路23は、上述の式(1)を用いてシフト数Nを一定範囲(例えば−10〜+10)において(例えば1ずつ)変化させながら、各シフト数に対応する相関量C(N)を求め、この一定範囲における相関量C(N)の極小値をC0、また極小値を与えるシフト数をN0とする。次に、こうして得られた大ざっぱなシフト数N0から、より精緻なシフト数Naを、次式(4)〜(8)により求める。
【0035】
Cr=C(N0−1) …(4)
Cf=C(N0+1) …(5)
DL=(Cr−Cf)/2 …(6)
E=MAX{Cf−C0,Cr−C0} …(7)
Na=N0+DL/E …(8)
【0036】
制御回路23は、このようにして算出されたNaに焦点検出面の位置に応じた補正量(定数const)を加えることにより、焦点検出面上での像ずれ量Δn=Na+constを算出する。最終的なデフォーカス量Dfは、この像ずれ量Δnと検出開角に依存した定数Kfとを用いた次式(9)により算出することができる。
【0038】
以上のような演算を行うことにより、特定のフォーカスエリア101において選択された1つのマイクロレンズ列(範囲i=pL0からi=qL0のマイクロレンズ33)の被写体像に対するデフォーカス量を算出することができる。制御回路23は、3つのマイクロレンズ列AA1、AA2、AA3について上述した演算を行い、3つのデフォーカス量を得る。その後、それら3つのデフォーカス量に基づいて、当該フォーカスエリア101の最終的なデフォーカス量を得る。例えば、3つのマイクロレンズ列AA1、AA2、AA3にそれぞれ対応する3つのデフォーカス量の単純平均を、最終的なデフォーカス量とすることができる。
【0039】
(手動焦点調節モードの説明)
手動焦点調節モードが設定されている場合の制御回路23の処理内容を説明する。撮像装置1に手動焦点調節モードが設定されているときに、ユーザにより前述の自動焦点調節操作と同様の操作(例えば自動焦点調節ボタンの押下等)が為されると、制御回路23は、ユーザに対してフォーカスエリアの選択を要求する。
【0040】
より具体的には、以下のようになる。まず制御回路23は、副撮像素子32による撮像を行い、副撮像素子32の出力に基づいてパンフォーカス画像を合成する。ここでパンフォーカス画像とは、被写界深度が所定のしきい値よりも深い画像のことである。焦点面近傍に配置された複数の正レンズと、それら複数の正レンズの各々に対応して当該正レンズの後側に配置された複数の受光素子があるとき、例えば特開2009−198771号公報に記載された技術等を用いる事により、それら複数の受光素子の出力に基づいてパンフォーカス画像を合成することが可能である。
【0041】
制御回路23はここで合成したパンフォーカス画像に、
図3で示した複数のフォーカスエリア101を重畳してファインダーに表示し、ユーザに撮影対象(焦点調節対象)の被写体部分と重なっているフォーカスエリアを1つ選択させる。つまり、ユーザに操作部材の操作(例えばキー操作等)により、いずれか1つのフォーカスエリアを特定する特定操作を行わせる。そして制御回路23は、入力された特定操作に応じて1つのフォーカスエリアを選択する。以下の説明では、ここで制御回路23により選択されたフォーカスエリアを主要エリアと称する。
【0042】
次に制御回路23は、パンフォーカス画像に対してエッジ抽出処理を実行する。例えば画像に対してラプラシアンフィルタを適用し、絶対値が所定値以上の画素をエッジ部と判定する。なお、その他任意のエッジ検出アルゴリズムを適用することも可能である。続いて制御回路23は、前述した複数のフォーカスエリア101のうち、抽出したエッジ部を含み且つ主要エリアでないフォーカスエリア101から、所定のアルゴリズムにより、所定数(例えば3つ)のフォーカスエリア101を選択する。以下、ここで選択される所定数のフォーカスエリア101をそれぞれ補助エリアと称する。
【0043】
補助エリアを選択するアルゴリズムについて説明すると、まず主要エリアとエッジ部を含む各フォーカスエリア101について、焦点調節状態を検出する。次に、それらのフォーカスエリア101について、撮像面における主要エリアとの距離が短いほど高い得点を付ける。つまり、
図3に示した面において、主要エリアに近いほど高い得点が付けられることとなる。これと相前後して、それらのフォーカスエリア101に、焦点調節状態の検出結果が主要エリアのそれに近いほど高い得点を付ける。つまり、各フォーカスエリア101で算出されたデフォーカス量が主要エリアのデフォーカス量に近いほど、高い得点が付けられることとなる。そして、各フォーカスエリア101について、このような2つの評価基準により付けられた2つの得点の加重平均を演算し、加重平均値が高いものから順に所定数(例えば3つ)のフォーカスエリアを補助エリアとして選択する。
【0044】
なお、主要エリアにおいて焦点調節状態を検出できなかった場合には、制御回路23はファインダーに当該主要エリアを点滅させる等の表示を行い、ユーザに対して焦点調節状態を検出できなかったことを報知する。
【0045】
この後、制御回路23は、ユーザがフォーカシングレンズを駆動させる度(あるいは所定時間毎)に、上述の主要エリアおよび補助エリアにおいて焦点調節状態を検出し、検出された焦点調節状態をファインダーの当該フォーカスエリアに相当する位置に被写体像に重畳して表示する。
【0046】
図7は、補助エリアの選択の一例を示す図である。
図7(a)は説明のため、被写体のパンフォーカス画像からのエッジ検出結果を示した画像110に、全てのフォーカスエリア101と、ユーザにより選択指示が為された主要エリア102と、制御回路23が選択した3つの補助エリア103とを重畳して示した図である。上述したアルゴリズムにより、主要エリア102に近く、またエッジを含んでいるので焦点調節状態を検出しやすい補助エリア103が選択されていることがわかる。
【0047】
また、
図7(b)は制御回路23による電子ビューファインダーの表示内容を示す図である。制御回路23は手動焦点調節モードにおいて電子ビューファインダーに、
図7(b)に示すように、撮像対象の被写体像(スルー画)に重畳して、主要エリア102および補助エリア103を表す指標を表示する。なお、
図7(b)では全てのフォーカスエリア101を図示しているが、実際には主要エリア102および補助エリア103a、103b、103c以外のフォーカスエリア101は表示されない。
【0048】
制御回路23は、主要エリア102と補助エリア103とを互いに区別できるような態様で表示する。例えば、異なる色で表示したり、異なる線種(実線と破線等)で表示したり、線の太さを変えたり、一方の角に丸みを付けたりする。
図7(b)では一例として、主要エリア102の枠線を一本の太線で、補助エリア103を相対的に細い二重線でそれぞれ表示している。
【0049】
制御回路23は補助エリア103の選択後、
図7(b)に示すように主要エリア102および補助エリア103の各々をスルー画に重畳して表示する。その後、所定時間(例えば5秒)が経過するか、あるいはユーザによる撮影予備操作(例えば、レリーズスイッチの半押し操作等)が検出されるかすると、補助エリア103のみ表示を消去する。
【0050】
その後、制御回路23は、主要エリア102および補助エリア103の各々において焦点調節状態を繰り返し検出し、ファインダーの主要エリア102および補助エリア103に対応する位置に、検出された焦点調節状態に応じた表示をそれぞれ行う。例えば、主要エリア102において算出されたデフォーカス量が所定のしきい値以下になったとき、主要エリア102において合焦したことを表すため、主要エリア102の表示内容を変化させる(例えば線の色を変化させる)。また、補助エリア103において算出されたデフォーカス量が所定のしきい値以下になったときには、当該補助エリア103において合焦したことを表すため、補助エリア103を表す指標を、主要エリア102とは異なる態様で表示する。
【0051】
図8は、手動焦点調節モード時に制御回路23が実行する処理のフローチャートである。制御回路23が不図示の記憶媒体(例えばフラッシュメモリ等)に格納されている所定の制御プログラムを実行することにより、
図8の処理が実行される。以下の
図8の処理の説明において、個々のステップは特に記載がない限り、制御回路23により実行されるものとする。
【0052】
まずステップS100では、副撮像素子32により被写体像を撮像する。ステップS110では、ステップS100における副撮像素子32の出力に基づいてパンフォーカス画像を合成する。ステップS120では、ユーザによる操作部材の操作に応じて、複数のフォーカスエリア101から主要エリア102を選択する。ステップS130では、ステップS110で合成したパンフォーカス画像に、ステップS120で選択された主要エリア102の指標(例えば六角形のマーク等)を重畳して表示する。ステップS140では、ユーザが操作部材を用いた決定操作(例えばAFボタンの押下等)を行ったか否かを判定する。ユーザにより決定操作が行われていなかった場合にはステップS100に戻り、ステップS130までの処理を再度繰り返す。ユーザが決定操作を行っていた場合にはステップS150に進む。
【0053】
ステップS150では、最新のパンフォーカス画像に対してエッジ検出を行う。ステップS160では、複数のフォーカスエリア101から、ステップS150で検出されたエッジを含む、主要エリア102以外のフォーカスエリア101を抽出する。以下の説明ではここで抽出されたフォーカスエリア101を候補エリア(補助エリアの候補の意)と呼ぶ。ステップS170では、後述する補助エリア選択処理を実行し、候補エリアから所定数(例えば3つ)の補助エリアを選択する。ステップS180では、ファインダーに被写体像と重畳して、ステップS170で選択された全ての補助エリアを表示する。前述の通り、ここで表示された補助エリアは、所定時間が経過する等のきっかけで表示されなくなる。
【0054】
ステップS190では、スルー画を表示するための被写体像が撮像される。スルー画のための被写体像は主撮像素子22と副撮像素子32のどちらで撮像してもよい。本実施形態では主撮像素子22により撮像される。ステップS200では、ステップS190で撮像された被写体像の画像データがファインダーに表示される。つまり、ファインダーには被写体像が表示される。ステップS210では副撮像素子32の出力に基づいて、主要エリア102および補助エリア103における焦点調節状態を検出する。ステップS220では、ステップS210で検出された主要エリア102および補助エリア103の焦点調節状態を被写体像に重畳してファインダーに表示する。前述の通り、例えば主要エリア102のデフォーカス量が所定のしきい値以下であれば、主要エリア102を表す指標(例えば
図7(b)に六角形で示すマーク)の枠線が通常とは異なる色で表示され、補助エリア103のデフォーカス量が所定のしきい値以下であれば、通常は表示されない当該補助エリア103の指標(例えば
図7(b)に示す、枠線が二重線の六角形)がファインダーに表示される。
【0055】
ステップS230では、ユーザによりレリーズ操作(例えばレリーズスイッチの押下)が為されたか否かを判定する。レリーズ操作がなされていない場合にはステップS190に戻り、ステップS190〜ステップS220の処理を繰り返し実行する。他方、レリーズ操作が為されていた場合にはステップS240に進み、主撮像素子22による本撮像および不図示の記憶媒体への画像データの記憶等が実行される。
【0056】
図9は、
図8のステップS170で呼び出される補助エリア選択処理のフローチャートである。まずステップS250では、撮像範囲内の位置に基づき各候補エリアの得点を決定する。撮像範囲内の位置に基づく得点とは、前述の通り、主要エリア102に近い候補エリアほど高くなるような得点である。ステップS260では、副撮像素子32の出力を用いて主要エリア102および各候補エリアにおける焦点調節状態を検出する。ステップS270では、ステップS260で検出した焦点調節状態に基づき各候補エリアの得点を決定する。焦点調節状態に基づく得点とは、前述の通り、主要エリア102のデフォーカス量に近いデフォーカス量の候補エリアほど高くなるような得点である。ステップS280では、ステップS250で決定した各候補エリアの得点と、ステップS270で決定した各候補エリアの得点との加重平均を演算し、加重平均値が高いものから順に所定数(例えば3つ)のフォーカスエリアを補助エリアとして選択する。
【0057】
上述した第1の実施の形態による撮像装置によれば、次の作用効果が得られる。
(1)制御回路23は、まず撮像範囲に設けられた複数のフォーカスエリア101から主要エリア102を選択する。また、被写界深度が所定のしきい値より深いパンフォーカス画像を作成し、そのパンフォーカス画像のエッジを検出する。そして、複数のフォーカスエリア101のうち、検出されたエッジを含む、主要エリア102以外のフォーカスエリア101から、3つの補助エリア103を選択する。その後、撮像対象の被写体像を表示する電子ビューファインダーに、被写体像に重畳して、主要エリア102および補助エリア103に対応する位置に、主要エリア102と補助エリア103との各々において検出した焦点調節状態をそれぞれ表示する。このようにしたので、焦点調節状態の検出結果を撮影の妨げになることなく表示することができる。また、補助エリア103においての焦点調節状態の検出は被写体のエッジ部がエリア内にあるため安定して行うことが可能なので、フォーカシングレンズを高速に駆動させた場合であっても確実に合焦を検出することが可能となる。
【0058】
(2)撮像ユニット30は、結像光学系11により被写体像が結像される所定の焦点面の近傍に二次元状に配置された複数のマイクロレンズ33と、複数のマイクロレンズ33の各々に対応して当該マイクロレンズ33の後側に配置された複数の受光素子34を有する副撮像素子32とを有する。制御回路23は、複数の受光素子34の出力を用いてパンフォーカス画像を合成すると共に、結像光学系11の異なる一対の領域をそれぞれ通過した一対の光束に基づく複数の受光素子34の出力の相関演算を行うことにより、結像光学系11の焦点調節状態を検出する。このようにしたので、パンフォーカス画像の合成と焦点調節状態の検出とを1つの撮像ユニット30で行うことが可能となり、部品点数を削減することができる。
【0059】
(3)制御回路23は、検出したエッジを含む、主要エリア102以外のフォーカスエリア101の各々について、主要エリア102からの距離が短いものほど高い得点を付す。また、そのフォーカスエリア101において検出されたデフォーカス量と、主要エリア102において検出されたデフォーカス量とが近い(すなわち両被写体部分間の距離が短い)ものほど高い得点を付す。そして、最も得点の高い3つのフォーカスエリア101を補助エリア103として選択する。このようにしたので、主要エリア102から大きく離れた位置のフォーカスエリア101が補助エリア103として選択されず、手動焦点調節時に被写体への集中を阻害しない。
【0060】
(4)液晶ディスプレイ41には、主要エリア102が選択される以前には、被写体のパンフォーカス画像が表示される。このようにしたので、主要エリア102の選択を的確に行うことが可能となる。
【0061】
(5)補助エリア103の決定後、所定時間の間だけファインダーに選択された補助エリア103を表す指標が表示される。このようにしたので、ユーザは予め補助エリア103の位置を把握できるので、その後の手動焦点調節時に当該補助エリア103の合焦表示が為された場合にも、そのような表示への意外性がなく、被写体への集中を妨害する度合いが低くなる。
【0062】
(6)手動焦点調節モードにおいて、画面内位置および前後位置の観点から目標被写体に近い被写体に合焦した際に、補助エリア103の表示からユーザがそのような被写体に合焦したことを読み取ることができる。そのような表示を目安にゆっくりと焦点調節を行うことが可能となるので、主要エリア102が焦点調節状態を検出しにくい被写体に合わせてある場合であっても的確に合焦させることが可能となる。また、補助エリア103が主要エリア102に近くなるので、主要エリア102において焦点調節状態を検出できなかった場合であっても、他の補助エリア103を新たな主要エリア102に設定し直すことで、迅速な焦点調節が可能となる。
【0063】
(第2の実施の形態)
本発明を適用した第2の実施の形態の撮像装置は、第1の実施の形態の撮像装置と同様の構成を有するが、主要エリア102の選択時におけるファインダーの表示内容が第1の実施の形態とは異なる。なお、以下の説明において、第1の実施の形態と同様の各部については、第1の実施の形態と同一の符号を付し説明を省略する。
【0064】
本実施形態の制御回路23は、主要エリア102の選択時、ファインダーにパンフォーカス画像を表示するが、パンフォーカス画像に重畳して全てのフォーカスエリア101を表示するのではなく、エッジが存在すると認識したフォーカスエリア101のみを表示する。つまり、本実施形態の制御回路23は、パンフォーカス画像の合成後、主要エリア102の選択前にエッジ検出を行い、検出されたエッジを含むフォーカスエリア101(すなわち候補エリア)のみをパンフォーカス画像に重畳して表示する。ただし、表示されていないフォーカスエリア101(エッジを含まないフォーカスエリア101)を必ずしも選択できないというわけではない。以下、本実施形態の撮像装置1における主要エリア102の選択方法について説明する。
【0065】
図10は、第2の実施の形態における主要エリア102の選択に用いられる操作部材を示す図である。本実施形態のカメラボディ20の背面には、
図10に示す操作部60が設けられている。操作部60の中央には決定ボタン61が設けられ、この決定ボタン61の周囲には、フォーカスエリア101の形状に合わせた6方向に、6つの粗動用キー62a〜62fがそれぞれ設置されている。また、粗動用キー62a〜62fの周囲には、上下左右の4方向に、微動用キー63a〜63dがそれぞれ設置されている。
【0066】
ユーザが粗動用キー62a〜62fのいずれかを押下すると、主要エリア102の選択のためにファインダーに表示されているカーソル(いずれか1つのフォーカスエリア101を指し示している)が、当該粗動用キーの方向に位置する最至近の候補エリアに移動する。その一方で、ユーザが微動用キー63a〜63dのいずれかを押下すると、カーソルは当該微動用キーの方向に位置する最至近のフォーカスエリア101に、候補エリアであるか否かを問わずに移動する。ユーザが決定ボタン61を押下すると、制御回路23は現在カーソルにより指し示されているフォーカスエリア101を、主要エリア102として選択する。主要エリア102の選択後の動作は第1の実施の形態と同様である。
【0067】
なお、上記の主要エリア102の選択操作時、候補エリアの指標は常に表示されているが、それ以外のフォーカスエリア101については当該フォーカスエリア101をカーソルが指し示している場合のみ表示される。
【0068】
上述した第2の実施の形態による撮像装置によれば、次の作用効果が得られる。
(1)液晶ディスプレイ41には、主要エリア102が選択される以前には、被写体像に重畳して、検出されたエッジを含むフォーカスエリア101に対応する位置の各々に、当該フォーカスエリア101を表す指標を表示する。このようにしたので、エッジを含む、すなわち焦点調節状態が確実に検出されるフォーカスエリア101を主要エリア102として選択することが可能となる。すなわち、初めから焦点調節状態を検出不能となるようなフォーカスエリア101を選択する可能性が減じるので、より迅速な焦点調節が可能となる。
【0069】
(2)操作部60の操作により、候補エリア以外のフォーカスエリア101を選択することができる。このようにしたので、ユーザの意思によりエッジのあるフォーカスエリア101を放棄してでも目標となる被写体に主要エリア102を合わせることが可能となり、利便性が向上する。
【0070】
(第3の実施の形態)
本発明を適用した第3の実施の形態の撮像装置は、第2の実施の形態の撮像装置と同様に、主要エリア102の選択時におけるファインダーの表示内容が第1の実施の形態とは異なる。本実施形態の制御回路23は、主要エリア102の選択時、ファインダーにパンフォーカス画像を表示するが、このとき、エッジ検出の結果を重畳して表示する。つまり、本実施形態の制御回路23は、パンフォーカス画像の合成後、主要エリア102の選択前にエッジ検出を行い、エッジが検出されたピクセルを強調してファインダーに表示する。例えば、エッジと判定されたピクセルを黒、それ以外のピクセルを白とした画像を作成し、コントラストを落としたパンフォーカス画像に重畳してファインダーに表示する。
【0071】
上述した第3の実施の形態による撮像装置によれば、次の作用効果が得られる。
(1)液晶ディスプレイ41には、主要エリア102が選択される以前には、被写体像に重畳して、制御回路23により検出されたエッジが表示される。このようにしたので、第2の実施形態と同様に、初めから焦点調節状態を検出不能なフォーカスエリア101を主要エリア102として選択する可能性が減じるので、より迅速な焦点調節が可能となる。また、あるフォーカスエリア101を主要エリア102として選択したときに、実質的に画像のどの部分の焦点が検出されるのかがより細かく推定可能となるので、より確実で迅速な焦点調節が可能となる。
【0072】
次のような変形も本発明の範囲内であり、変形例の一つ、もしくは複数を上述の実施形態と組み合わせることも可能である。
【0073】
(変形例1)
各実施の形態において、スルー画は主撮像素子22と副撮像素子32のどちらの出力に基づくものであってもよい。つまり、電子ファインダーユニット40の液晶ディスプレイ41には、主撮像素子22により撮像された被写体像と、副撮像素子32の出力に基づく合成画像と、のいずれを表示してもよいし、両者を切り替えて表示可能に撮像装置1を構成してもよい。
【0074】
(変形例2)
上述した各実施の形態において、撮像装置1は2種類の撮像素子(主撮像素子22と副撮像素子32)を有していた。本発明は、このような構成に限定されず、必ずしもこれら2種類の撮像素子を必要としない。例えば主撮像素子22のみを有する撮像装置1に本発明を適用することも可能である。この場合、制御回路23は、絞りを絞った状態で主撮像素子22による撮像を行うことにより、被写界深度が深いパンフォーカス画像を得ることができる。また、焦点調節状態の検出には、別途位相差方式の焦点検出装置を用意しそれを用いる事としてもよいし、主撮像素子22上に焦点検出用の受光素子を設けそれを用いる事としてもよい。
【0075】
その他の例として、副撮像素子32を有する撮像ユニット30のみを備えた撮像装置に本発明を適用することもできる。この場合、本撮像を副撮像素子32により行うこととすればよい。なお、上述した各実施の形態に示した構成やこの変形例の構成において、副撮像素子32の出力から合成した画像を本撮像の結果として不図示の記憶媒体に記憶させるのではなく、副撮像素子32の出力そのものを記憶媒体に記憶させるようにしてもよい。
【0076】
(変形例3)
主要エリア102および補助エリア103の個数は、上述した各実施例で述べたものに限定されない。例えば主要エリア102を複数選択してもよい。また、補助エリア103の数は3つではない所定数としてもよいし、状況に応じて補助エリア103の数が動的に変化するようにしてもよい。例えば、付された得点が所定のしきい値以上となる全てのフォーカスエリア101を補助エリア103として選択するようにしてもよい。
【0077】
(変形例4)
補助エリア103を選択するアルゴリズムには、撮像範囲内の位置と焦点調節状態のいずれか一方のみを用いてもよい。また、主要エリア102との距離やデフォーカス量の差だけではなく、その方向を考慮してもよい。例えば主要エリア102から補助エリア103までのベクトルの角度が互いに−60度〜+60度の範囲に入らないように補助エリア103が選択されるようにしてもよい。このようにすることで、補助エリア103が密集してしまうことを防ぐことができる。また、上述したアルゴリズムは一例であり、他の要因に基づいて補助エリア103を選択するようにしてもよい。
【0078】
(変形例5)
焦点調節状態を検出する際に抽出するマイクロレンズ列は、必ずしもあるフォーカスエリア101の内側に含まれるマイクロレンズ33のみから成るとは限らない。例えば、隣接するフォーカスエリア101の内側に含まれるマイクロレンズ33が、マイクロレンズ列に含まれていてもよい。
【0079】
図11は、マイクロレンズ列を構成するマイクロレンズ33が他のフォーカスエリア101とオーバーラップする例を示す模式図である。
図11に示すように、フォーカスエリア101bにおける焦点調節状態を検出するために選択されるマイクロレンズ列が、
図5(a)に示すマイクロレンズ列AA1ではなく、
図11に示す、隣接するフォーカスエリア101aやフォーカスエリア101cの内側のマイクロレンズ33を含むマイクロレンズ列AA1eであってもよい。このようにマイクロレンズ列を構成するマイクロレンズ33を他のフォーカスエリア101とオーバーラップさせることにより、撮像範囲全体で漏れなく焦点調節状態を検出することが可能となり、焦点調節状態の検出精度が向上する。
【0080】
なお、
図11のようにマイクロレンズ列を構成するマイクロレンズ33をオーバーラップさせた場合に、フォーカスエリア101自体を他のフォーカスエリア101とオーバーラップするように設けてもよい。
図11の例で説明すると、フォーカスエリア101bがマイクロレンズ列AA1eを含む正六角形であってもよい。
【0081】
(変形例6)
エッジ検出を実行した後、検出したエッジ部に対して輝点排除処理を実行するようにしてもよい。輝点排除処理とは、エッジ検出の基となるパンフォーカス画像を参照して、所定の面積以下の範囲だけ周囲に比べ極端に輝度が高い、という箇所を排除する処理である。このようにすることで、曲面による強い光の反射(いわゆるテカり)や点光源等、焦点調節状態の検出が困難な部分が予め排除され、焦点調節状態の検出が確実に行えるようになる。
【0082】
(変形例7)
焦点調節状態の表示として、デフォーカス量が所定のしきい値以下になった場合(すなわち合焦状態になった場合)に表示内容を変化させるだけではなく、前ピンや後ピンであることを表す表示を行ってもよい。例えば上記の合焦評価に用いるしきい値を第1のしきい値としたとき、より大きい第2のしきい値を設け、第1のしきい値より大きいが第2のしきい値以下のデフォーカス量である主要エリア102および補助エリア103があった場合には、当該フォーカスエリア101の表示を変化させてもよい。表示態様の例としては、フォーカスエリア101を表す六角形を右半分と左半分に分割し、前ピンの場合には右半分だけを、後ピンの場合には左半分だけをそれぞれ表示することが考えられる。また、合焦状態からのずれ量に応じて枠線の太さを変更することもできる。このように、合焦状態からある程度の範囲までについてのみ焦点調節状態に応じた表示を行うのは、フォーカスエリア101の表示が目障りに感じられるのを防ぐためである。
【0083】
(変形例8)
一旦選択された補助エリア103を、ユーザ操作により切り替え可能にしてもよい。例えば、自動的に選択された補助エリア103が表示されている間に、ユーザが複数の補助エリア103からいずれか1つを選択可能としておく。ユーザがいずれか1つの補助エリア103を選択し、決定ボタン等を押下すると、その補助エリア103が、ユーザがキー等により指し示す方向に存在する最も近い候補エリアに切り替わる(つまり、その候補エリアが新たな補助エリア103となり、元の補助エリア103は補助エリアでなくなる)ように構成することができる。このようにすることで、接写等の撮像装置1を移動させることができない場合にも最適な補助エリア103が用いられるようになり、撮像装置1の利便性が向上する。
【0084】
本発明の特徴を損なわない限り、本発明は上記実施の形態に限定されるものではなく、本発明の技術的思想の範囲内で考えられるその他の形態についても、本発明の範囲内に含まれる。