(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-01-12
(45)【発行日】2024-01-22
(54)【発明の名称】撮像装置およびその制御方法
(51)【国際特許分類】
G03B 5/08 20210101AFI20240115BHJP
G02B 7/36 20210101ALI20240115BHJP
G03B 7/095 20210101ALI20240115BHJP
G03B 13/36 20210101ALI20240115BHJP
G03B 15/00 20210101ALI20240115BHJP
H04N 23/50 20230101ALI20240115BHJP
H04N 23/67 20230101ALI20240115BHJP
【FI】
G03B5/08
G02B7/36
G03B7/095
G03B13/36
G03B15/00 S
H04N23/50
H04N23/67 100
(21)【出願番号】P 2022069042
(22)【出願日】2022-04-19
【審査請求日】2022-06-23
(31)【優先権主張番号】P 2021132724
(32)【優先日】2021-08-17
(33)【優先権主張国・地域又は機関】JP
【前置審査】
(73)【特許権者】
【識別番号】000001007
【氏名又は名称】キヤノン株式会社
(74)【代理人】
【識別番号】100110412
【氏名又は名称】藤元 亮輔
(74)【代理人】
【識別番号】100104628
【氏名又は名称】水本 敦也
(74)【代理人】
【識別番号】100121614
【氏名又は名称】平山 倫也
(72)【発明者】
【氏名】佐藤 夏子
(72)【発明者】
【氏名】千野 俊介
(72)【発明者】
【氏名】川崎 諒
【審査官】殿岡 雅仁
(56)【参考文献】
【文献】特開2020-194125(JP,A)
【文献】特開2020-144158(JP,A)
【文献】特開2021-005860(JP,A)
【文献】特開2021-113909(JP,A)
【文献】特開2020-106630(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
G03B 5/08
G02B 7/36
G03B 7/095
G03B 13/36
G03B 15/00
H04N 23/50
H04N 23/67
(57)【特許請求の範囲】
【請求項1】
撮像光学系により形成される光学像を撮像する撮像素子と、
前記撮像素子の撮像面と前記撮像光学系の光軸に直交する面との間のあおり角を変更するあおり撮像において、前記撮像光学系に含まれるフォーカスレンズの位置および前記あおり角のうち少なくとも一方を制御して、ピント面を前記光軸に対する該ピント面の角度が異なるいずれかの位置に設定する制御手段とを有し、
前記制御手段は、
前記ピント面が地面である第1の位置にあるときに前記第1の位置よりも下側に被写界深度が存在する場合に、前記フォーカスレンズの位置および前記あおり角のうち少なくとも一方を制御して、前記被写界深度の一端が前記第1の位置に位置するように第2の位置に前記ピント面の位置を設定す
ることを特徴とする撮像装置。
【請求項2】
前記制御手段は、前記ピント面が前記第1の位置に設定されるときの前記
フォーカスレンズの位置および前記あおり角の少なくとも一方を、前記ピント面が前記第2の位置に設定されるように補正することを特徴とする請求項1に記載の撮像装置。
【請求項3】
前記制御手段は、前記フォーカスレンズの位置および前記あおり角を前記ピント面が前記第1の位置に設定されるように制御した後に、前記少なくとも一方を前記ピント面が前記第2の位置に設定されるように制御することを特徴とする請求項1に記載の撮像装置。
【請求項4】
前記制御手段は、撮像により生成された撮像画像において、前記第1の位置を設定する領域を検出し、該領域に設定した前記第1の位置を基準として前記第2の位置を設定することを特徴とする請求項1に記載の撮像装置。
【請求項5】
前記制御手段は、ユーザにより入力された前記第1の位置を基準として前記第2の位置を設定することを特徴とする請求項1に記載の撮像装置。
【請求項6】
前記制御手段は、
前記ピント面の位置を前記光軸に対して該ピント面がなす角度がより大きくなる位置に設定する際には前記フォーカスレンズを至近側に移動させ、
前記ピント面の位置を前記光軸に対して該ピント面がなす角度がより小さくなる位置に設定する際には前記フォーカスレンズを無限遠側に移動させることを特徴とする請求項1に記載の撮像装置。
【請求項7】
撮像光学系により形成される光学像を撮像する撮像素子を有する撮像装置の制御方法であって、
前記撮像素子の撮像面と前記撮像光学系の光軸に直交する面との間のあおり角を変更するあおり撮像において、前記撮像光学系に含まれるフォーカスレンズの位置および前記あおり角のうち少なくとも一方を制御して、ピント面を前記光軸に対して該ピント面がなす角度が異なるいずれかの位置に設定するステップを有し、
前記ステップにおいて、
前記ピント面が地面である第1の位置にあるときに前記第1の位置よりも下側に被写界深度が存在する場合に、前記フォーカスレンズの位置および前記あおり角の少なくとも一方を制御して、前記被写界深度の一端が前記第1の位置に位置するように第2の位置に前記ピント面の位置を設定す
ることを特徴とする制御方法。
【請求項8】
撮像光学系により形成される光学像を撮像する撮像素子を有する撮像装置のコンピュータに、請求項
7に記載の制御方法に従う処理を実行させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、あおり撮像が可能な撮像装置に関する。
【背景技術】
【0002】
ピントが合う面(ピント面)を傾けること等を目的として、撮像光学系の光軸に直交する面と撮像面とを相対的に傾けることで、あおり(ティルト)撮像が可能である。あおり撮像を行うことで、絞りを絞らずに被写界深度を増やすことができ、光量が少ないシーンにおいても水平奥行き方向の広い範囲の被写体にピントを合わせた撮像を行うことができる。
【0003】
特許文献1には、撮像により生成された撮像画像内の水平面を検出し、検出された水平面に対してピントが合うように、あおり制御を行う撮像装置が開示されている。特許文献2には、撮像画像内の2つの領域における合焦度を取得し、これら合焦度の差に基づいて奥行き方向にあるそれら2つの領域にピントが合うようにあおり動作とフォーカス動作を制御する撮像装置が開示されている。
【先行技術文献】
【特許文献】
【0004】
【文献】特開2020-76960号公報
【文献】特開2021-33189号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら、特許文献1および特許文献2に開示された撮像装置では、あおり撮像に特有のぼけである、ピント面に対する高さの違いにより発生するぼけ(上下ぼけと称されることが多い)については考慮されていない。具体的には、特許文献1の撮像装置のように検出された水平面に対してピントを合わせるあおり制御を行うと、水平面とは高さが異なる被写体に対してぼけが生じるおそれがある。また、特許文献2の撮像装置において、撮像画像内の3つ以上の領域に被写体が存在し、あおり動作とフォーカス動作の制御に使用される2つの領域の被写体に対してそれ以外の領域の被写体の高さが異なっていると、該高さが異なる被写体に対してぼけが生じるおそれがある。
【0006】
本発明は、ピント面に対して位置(高さ等)が異なる被写体に対して発生するぼけを低減したあおり撮像が可能な撮像装置およびその制御方法等を提供する。
【課題を解決するための手段】
【0007】
本発明の一側面としての撮像装置は、撮像光学系により形成される光学像を撮像する撮像素子と、該撮像素子の撮像面と撮像光学系の光軸に直交する面との間のあおり角を変更するあおり撮像において、撮像光学系に含まれるフォーカスレンズの位置およびあおり角 のうち少なくとも一方を制御して、ピント面を光軸に対して該ピント面がなす角度が異なるいずれかの位置に設定する制御手段とを有する。制御手段は、ピント面が地面である第1の位置にあるときに第1の位置よりも下側に被写界深度が存在する場合に、フォーカスレンズの位置およびあおり角のうち少なくとも一方を制御して、被写界深度の一端が第1の位置に位置するように第2の位置にピント面の位置を設定することを特徴とする。
【0008】
また、本発明の他の一側面としての制御方法は、撮像光学系により形成される光学像を撮像する撮像素子を有する撮像装置に適用される。該制御方法は、撮像素子の撮像面と撮像光学系の光軸に直交する面との間にあおり角が設けられた撮像において、撮像光学系に含まれるフォーカスレンズの位置およびあおり角のうち少なくとも一方を制御して、ピント面を光軸に対して該ピント面がなす角度が異なるいずれかの位置に設定するステップを有する。該ステップにおいて、ピント面が地面である第1の位置にあるときに第1の位置よりも下側に被写界深度が存在する場合に、フォーカスレンズの位置およびあおり角の少なくとも一方を制御して、被写界深度の一端が第1の位置に位置するように第2の位置にピント面の位置を設定するように上記少なくとも一方を制御することを特徴とする。なお、撮像装置のコンピュータに、上記制御方法に従う処理を実行させるプログラムも本発明の他の一側面を構成する。
【発明の効果】
【0009】
本発明によれば、あおり撮像において、ピント面と異なる位置で発生するぼけを低減することができる。
【図面の簡単な説明】
【0010】
【
図1】実施例1、2の撮像装置の構成を示すブロック図。
【
図4】下深度端を地面の高さに設定する場合の計算を説明する図。
【
図5】実施例1において撮像されるシーンの例を示す図。
【
図6】実施例1の撮像装置が実行する処理を示すフローチャート。
【
図7】実施例1におけるあおりピント位置の制御前後を示す図。
【
図8】実施例2の撮像装置が実行する処理を示すフローチャート。
【
図9】実施例2おいて撮像されるシーンの例を示す図。
【
図10】実施例2におけるフォーカスサーチを説明する図。
【
図11】実施例2におけるあおりピント面の制御前後を示す図。
【
図12】実施例2におけるフォーカス位置を合焦評価値の変化を示す図。
【
図13】実施例2における絞りを絞ることによる合焦評価値の変化を示す図。
【
図14】実施例2における絞り制御を考慮したフローチャート。
【
図15】実施例2における合焦評価値の高低による被写体のイメージ図。
【発明を実施するための形態】
【0011】
以下、本発明の実施例について図面を参照しながら説明する。
【0012】
図1は、本発明の実施例である撮像装置100の構成を示している。撮像光学系は、光軸方向に移動して焦点距離を変更するズームレンズ101と、光軸方向に移動して焦点調節を行うフォーカスレンズ102と、光量を調整する絞りユニット103とを有する。なお、撮像光学系は、撮像装置100に一体に設けられてもよいし、撮像装置100に対して着脱可能であってもよい。撮像光学系を通過した光は、バンドパスフィルタ(BPF)104およびカラーフィルタ105を介して撮像素子106上に光学像としての被写体像を形成する。BPF104は、撮像光学系の光路に対して出入り可能なものでもよい。被写体像は、撮像素子106により光電変換される。
【0013】
本実施例では、撮像光学系の光軸に直交する主面(以下、レンズ主面という)に対して撮像素子106の撮像面を傾けて、ピント面をレンズ主面に対して傾けるあおり撮像が可能である。以下の説明において、レンズ主面に対して傾いたピント面を「あおりピント面」という。さらに本実施例では、あおりピント面の上下方向(高さ方向)での位置を、光軸に対してあおりピント面がなす角度が異なるいずれかの位置に設定することが可能である。あおりピント面の高さ方向での位置を、以下の説明では、あおりピント面の高さという。
【0014】
撮像素子106から出力されたアナログ撮像信号(出力信号)は、AGC107によりゲイン調整され、AD変換器108によりデジタル撮像信号に変換された後、カメラ信号処理部(画像生成手段)109に入力される。カメラ信号処理部109は、デジタル撮像信号に対して各種画像処理を行って映像信号(撮像画像)を生成する。
【0015】
映像信号は、通信部110を介して撮像装置100に有線または無線通信により接続された監視モニタ装置111に出力される。監視モニタ装置111は、撮像装置100から入力された撮像画像を表示したり記録したりする。また、監視モニタ装置111は、ユーザによる指示に応じて、通信部110を介して撮像装置100内のあおり制御部117、フォーカス制御部118およびズーム制御部119にコマンド等の制御信号を出力する。
【0016】
対象物検出部112は、入力された撮像画像から撮像対象である対象物を検出するための画像処理を行う。対象物検出部により検出された対象物の位置情報を含む対象物情報は、通信部110を介して合焦度取得部114に送られる。合焦度取得部114は、対象物情報に基づいて後述する合焦評価値を算出(取得)する。なお、
図1では対象物検出部112が撮像装置100の外部に設けられている場合を示しているが、対象物検出部112を撮像装置100の内部に設けてもよい。
【0017】
あおりピント面検出部113は、撮像画像のうち、あおりピント面を設定可能な領域(手前から奥にかけての合焦可能な領域)を検出する。具体的には、撮像画像を複数の領域に分割してフォーカスレンズ102を駆動しながら領域ごとに被写体距離を取得する。そして、被写体距離が短い領域から長い領域に順に被写体距離を比較し、隣り合う2つの領域の被写体距離の差が所定値以上である複数の領域(例えば水平領域)をあおりピント面を設定可能な領域として検出する。隣り合う2つの領域の被写体距離の差が所定値未満(例えば0)となる場合は、水平面上に立体物が存在するものとして、あおりピント面を設定可能な領域としては検出しない。
【0018】
なお、
図1ではあおりピント面検出部113が撮像装置100の外部(例えばパーソナルコンピュータ)に設けられている場合を示しているが、あおりピント面検出部113を撮像装置100の内部に設けてもよい。また、対象物検出部112とあおりピント面検出部113の両方を撮像装置100の内部に設けてもよい。
【0019】
また、あおりピント面検出部113は、ユーザからの指示に応じて、該ユーザがあおりピント面を設定する意図を有する領域を検出してもよい。すなわち、ユーザが入力した領域をあおりピント面として設定することも可能である。
【0020】
合焦度取得部114は、対象物検出部112から受け取った対象物情報のうち位置情報に基づいて合焦度を取得する評価領域(評価枠)を設定する。そして、設定した評価枠ごとに、AD変換器108から受け取ったデジタル撮像信号またはカメラ信号処理部109から受け取った映像信号におけるRGBの画素値または輝度値を用いて特定周波数のコントラスト、つまりは合焦度を示す合焦評価値を算出(取得)する。
【0021】
あおり角/フォーカス量算出部115は、あおりピント面の高さを変化させる際のフォーカスレンズ102の駆動量としてのフォーカス量と撮像素子106のあおり駆動量としてのあおり角を算出する。フォーカス補正量算出部116は、あおりピント面に対する高さの違いより発生する上下ぼけを低減するためのフォーカスレンズ102の駆動量(または位置)の補正量であるフォーカス補正量を算出する。
【0022】
あおり制御部117は、あおり角/フォーカス量算出部115で算出されたあおり角または通信部110を介した監視モニタ装置111からのユーザによる指示に応じてあおり駆動部120に対してあおり設定位置を指示する。あおり駆動部120は、撮像素子106をあおり制御部117により指示されたあおり設定位置に回転させるように撮像素子106をあおり駆動する。これにより、あおりピント面がその高さが変化するように移動する。
【0023】
フォーカス制御部118は、あおり角/フォーカス量算出部115で算出されたフォーカス量、フォーカス補正量算出部116で算出されたフォーカス補正量または通信部110を介した監視モニタ装置111からの指示に応じて、フォーカス駆動部121にフォーカス設定位置を指示する。フォーカス駆動部121は、フォーカス制御部118から指示されたフォーカス設定位置にフォーカスレンズ102を駆動する。このようにして、あおり角/フォーカス量算出部115、フォーカス補正量算出部116、あおり制御部117およびフォーカス制御部118により構成される制御手段としてのコントローラ150が、あおり駆動部120およびフォーカス駆動部121を介してあおり制御を行う。
【0024】
ズーム制御部119は、通信部110を介した監視モニタ装置111からの指示に応じて、ズーム駆動部122に対してズーム設定位置を指示する。ズーム駆動部122は、ズーム制御部119から指示されたズーム設定位置にズームレンズ101を駆動する。
【0025】
次に、あおり制御の概要について、
図2を用いて説明する。
図2は、撮像装置100からの距離が互いに異なる2つの対象物A、Bとしての人の顔の高さにあおりピント面が位置するようにあおり制御を行った例を示している。あおり制御は、シャインプルーフの原理に基づいて行われる。シャインプルーフの原理は、レンズ主面201と撮像面202とがある1点(シャインプルーフポイント204)で交わるとき、あおりピント面203もその点で交わるというものである。撮像光学系の焦点距離をf、光軸上での被写体距離をL、光軸が水平面に対してなす角度である俯角θとすると、あおり角αはシャインプルーフの原理より、次式(1)で算出される。
【0026】
【0027】
これにより、あおりピント面203上における近距離から遠距離までの対象物にピントを合わせることが可能となる。
【0028】
図3を用いて、あおり被写界深度を説明する。あおり制御を行わない(レンズ主面と撮像面が平行である)場合の通常の被写界深度は、合焦位置P0よりも手前側においてピントが合って見える範囲である前方被写界深度d1と、合焦位置P0よりも奥側のピントが合って見える範囲である後方被写界深度d2からなる。前方被写界深度d1と後方被写界深度d2は、焦点距離をf、光軸上での被写体距離をL、F値をFno 、許容錯乱円径をδとするとき次式(2)、(3)で算出される。許容錯乱円径δは、撮像素子106の画素ピッチに相当する。
【0029】
【0030】
一方、あおり被写界深度は、
図3に示すように、該あおり被写界深度の上側の端である上深度端301と下側の端である下深度端302との間の合焦範囲を意味する。基準となる合焦位置P0から光軸上において前方被写界距離d1だけ手前側の点をP1とし、シャインプルーフポイントPsと点P1を通る直線により上深度端301が定義される。また、合焦位置P0から光軸上において後方被写界距離d2だけ奥側の点をP2とするとき、シャインプルーフポイントPsと点P2を通る直線により下深度端302が定義される。
図3から分かるように、あおり被写界深度は、撮像装置100からの距離が近い程、合焦範囲の上下方向の幅が狭くなっており、対象物のうち合焦範囲に入らない上部と下部の光学像がぼける「上下ぼけ」が生じやすい。
【0031】
ここで、あおり被写界深度の一端である下深度端302に着目する。
図3に示すように、あおりピント面203を地面に対応する(理想的には一致する)位置に設定した場合、あおりピント面203から下深度端302までの合焦範囲は地面よりも下側に存在することになる。撮像画像において、地面より低い対象物は写らないため、あおりピント面203から下深度端302までの合焦範囲は無駄となる。このように、あおり被写界深度のうち撮像画像に写る対象物が存在しない領域(以下、無効深度領域という)401がある場合には、無効深度領域401を小さくする(望ましくは無くする)ようにあおりピント面203の高さを変化させる。これにより、あおり被写界深度を有効利用して上下ぼけを低減することが可能である。
【0032】
図4(a)、(b)を用いて、あおりピント面203の高さを変化させる制御について説明する。
図4(a)は、無効深度領域401を小さくするようにあおりピント面203の高さを制御する前の状態を示し、この状態では、
図3と同様にあおりピント面203が地面(第1の対象物)の高さとなっており、下深度端302が地面より低くなっている。このときに光軸に対してあおりピント面203がなす角度をβとする。
図4(a)では、βは
図3に示した俯角θと同じである。
【0033】
図4(b)は無効深度領域401を小さくするようにあおりピント面203の高さを制御した後の状態を示す。制御後では、
図4(a)の状態に比べて、下深度端302が地面に近い(望ましくは一致する)位置となるようにあおりピント面203が上に移動している。このとき、光軸に対してあおりピント面203がなす角度β′は、βよりも大きくなっている。
【0034】
このようにあおりピント面203の高さを制御するためには、フォーカスレンズ102を至近側(Near側)または無限遠側(Far側)に移動させるレンズ制御を行う。例えば、
図4(a)に示す制御前の状態から
図4(b)に示すようにあおりピント面203を上に移動させる(光軸に対してあおりピント面203がなす角度を大きくする)。このためには、
図4(a)における光軸上の点P2を光軸とあおりピント面203との交点P0に一致させるようにフォーカスレンズ102をNear側に移動させる。このとき、制御前における光軸上での被写体距離をL、制御後における光軸上での被写体距離をL′、制御後における後方被写界深度をd2′とするとき、以下の式(4)、(5)の関係が成り立つ。
【0035】
【0036】
式(4)、(5)の連立方程式により、
図4(b)に示すように下深度端302を地面の高さに設定するために合焦すべき被写体距離L′は、以下の式(6)により求めることができる。この被写体距離L′に合焦する位置にフォーカスレンズ102を移動させることで、
図4(b)に示すあおりピント面203が得られる。
【0037】
【0038】
こうして無効深度領域401を小さくしてあおり被写体深度領域のほとんどを地面より
上に位置させることで、上下ぼけが生じにくくすることができる。
【0039】
一方、あおりピント面203から上深度端301までの間が無効深度領域となる場合は、フォーカスレンズ102をFar側に移動させてあおりピント面203を下に移動させる(光軸に対してあおりピント面203がなす角度を小さくする)。このときの合焦すべき被写体距離L′は、以下の式(7)により求めることができる。この被写体距離L′に合焦する位置にフォーカスレンズ102を移動させることで、無効深度領域を小さくすることができる。
【0040】
【0041】
以上のようにあおりピント面203の高さ(光軸に対してあおりピント面203がなす角度)を変化させるようにフォーカスレンズ102の位置を制御することで、上下ぼけを低減したあおり撮像が可能となる。すなわち、通常のあおり撮像に比べて広い範囲でピントが合った撮像画像が得られる。
【0042】
以下、具体的なあおりピント面の制御を示す実施例について説明する。
【実施例1】
【0043】
実施例1では、撮像画像に含まれるあおりピント面を検出し、検出されたあおりピント面203の高さを変化させる。
図5は、例として、電気製品の工場で様々な電子部品が実装された基板503の検査において取得される撮像画像501を示している。ここでは、水平な検査台502の上に置かれた基板503から近距離の位置で撮像光学系のズーム状態を望遠状態としてあおり撮像が行われている。このあおり撮像では、基板503に対して撮像光学系の被写界深度が浅く、上下ぼけが発生しやすい。このため、無効深度領域を小さくして上下ぼけの発生を低減するようにあおりピント面203の高さを制御することが望ましい。
【0044】
図6のフローチャートは、あおりピント面を制御するためにコントローラ150が実行する処理(制御方法)を示している。コンピュータであるコントローラ150は、コンピュータプログラムに従って本処理を実行する。図中のSは、ステップを意味する。
【0045】
ステップ601では、コントローラ150(あおりピント面検出部113)は、基準となるあおりピント面を設定する領域(以下、基準あおりピント領域という)を検出する。
図5に示した撮像画像501では、基板503が置かれている水平な検査台(第1の対象物)502の領域が基準あおりピント領域として検出される。
【0046】
次にステップ602では、コントローラ150(あおり角/フォーカス量算出部115 )は、ステップ601で検出された基準あおりピント領域に合焦させる(つまりは、あおりピント面を基準あおりピント領域の高さに対応する高さ(第1の位置)に設定する)ためのあおり角とフォーカス量を算出する。
【0047】
この際、あおり角/フォーカス量算出部115は、撮像条件(撮像面から被写体までの光軸上での被写体距離、焦点距離、俯角および撮像装置100の設置高さ等)を示す情報を各レンズの位置情報、外部センサまたはユーザにより入力された指示等から取得する。そして、これら取得した撮像条件の情報を用いてあおり角とフォーカス量を算出する。
【0048】
なお、撮像素子106を基準あおりピント領域に合焦するようにフォーカスレンズ102を駆動した上で、撮像素子106のあおり角を所定量ずつ変化させ、合焦度取得部114により基準あおりピント領域で取得された合焦度(合焦評価値)が最大となるあおり角を求めてもよい。
【0049】
次にステップ603では、コントローラ150(フォーカス補正量算出部116)は、ステップ602で算出されたフォーカス量を、無効被写界深度を小さくするために実際のあおりピント面を基準あおりピント領域よりも高い位置(目標位置としての第2の位置)に移動させるように補正するためのフォーカス補正量を算出する。
図4(a)を用いて前述したようにあおりピント面203と下深度端302との間の合焦範囲が無効深度領域401となる場合に、フォーカスレンズ102をNear側へ移動させることで無効深度領域401を小さく(または無くする)ことができる。このときのフォーカスレンズ102の移動量がフォーカス補正量に相当し、フォーカス補正量算出部116は前述した式(6)によりフォーカス補正量を算出する。
【0050】
次にステップ604では、コントローラ150(あおり制御部117)は、あおり駆動部120を介して、撮像素子106のあおり角がステップ602で算出されたあおり角となるように撮像素子106をあおり駆動する。また、コントローラ150(フォーカス制御部118)は、フォーカス駆動部121を介して、ステップ602で算出されたフォーカス量をステップ603で算出されたフォーカス補正量により補正して得られる補正フォーカス量だけフォーカスレンズ102を駆動する。
【0051】
このように本実施例では、あおりピント面203が第1の対象物(検査台502)の位置に対応する第1の位置に設定されるときのフォーカスレンズ102の位置を、あおりピント面203が第1の位置とは異なる位置であって第1の対象物の位置が被写界深度内に含まれる第2の位置に設定されるフォーカスレンズ102の位置に補正する。
【0052】
図7(a)は、ステップ602で算出されたあおり角で撮像素子106(撮像面202)をレンズ主面201に対してあおり駆動し、同ステップで算出されたフォーカス量でフォーカスレンズ102を駆動したときのあおりピント面203を示している。あおりピント面203は、検査台502の高さに対応する高さに設定されており、あおりピント面203から下深度端302までの合焦範囲は検査台502よりも下側の無効深度領域401となっている。これにより、実際の合焦範囲は、あおりピント面203から上深度端301までの狭い範囲となっており、撮像装置100からの距離が近い電子部品の上部があおり被写界深度から外れて、上ぼけが生じている。
【0053】
これに対して、
図7(b)は、ステップ602で算出されたあおり角で撮像素子106をあおり駆動し、ステップ604で得られた補正フォーカス量でフォーカスレンズ102を駆動したときのあおりピント面203を示している。あおりピント面203は、下深度端302が検査台502の高さに近づく(望ましくは対応する又は一致する)ように検査台502よりも上に位置している。このため、無効深度領域401がほぼ無くなっている。これにより、撮像装置100からの距離が近い電子部品の上部も概ねあおり被写界深度内に入り、
図7(a)よりも上ぼけが低減された撮像画像が得られる。
【0054】
以上説明したように、本実施例によれば、あおりピント面を第1の位置よりも無効深度領域を小さくなる第2の位置に設定するように制御することで、あおり被写界深度を有効利用して上下ぼけの発生を低減することができる。
【0055】
なお、本実施例では、あおりピント面を実際に第1の位置に設定することなく(第1の位置に設定するときのフォーカスレンズの位置を算出するのみで)、あおりピント面を第2の位置に設定する場合について説明した。しかし、あおりピント面を第1の位置に設定した後に第2の位置に設定してもよい。
【実施例2】
【0056】
実施例2では、撮像されるシーン内の対象物の検出結果を用いて、そのシーンに適切なあおりピント面が得られるように動的に制御する。本実施例における撮像装置の構成は、後述する判定部を有する以外は実施例1(
図1)の撮像装置100と同じである。
【0057】
図9(a)、(b)はそれぞれ、あおりピント面の動的制御を行うべきシーン901、902の例を示している。シーン901では、対象物としての多くの大人や子供が歩道を歩いており、実線枠で囲まれた大人の顔(第1の対象物)に対して合焦が得られるようにあおりピント面903が設定されている。この場合、大人の顔の高さより低い位置において点線枠で囲まれた子供の顔(第2の対象物)に対する合焦が得られず、下ぼけが生じる。
【0058】
また、シーン902は、電車の駅のホームに設置された撮像装置により撮像されるシーンであり、実線枠で囲まれたホーム上の人の顔(第1の対象物)に対して合焦が得られるようにあおりピント面904が設定されている。この場合、ホームより下の線路に人が立ち入った異常時に点線枠で囲まれた線路内の人の顔(第2の対象物)に対する合焦が得られず、下ぼけが生じる。
【0059】
本実施例では、これらのシーンにおいてあおりピント面の高さを適切に設定することにより、上記のような下ぼけを含む上下ぼけを低減する。なお、対象物は、人やその顔以外でもよく、車両やそのナンバープレート等でもよい。
【0060】
図8のフローチャートは、あおりピント面を制御するためにコントローラ150が実行する処理(制御方法)を示している。コンピュータであるコントローラ150は、コンピュータプログラムに従って本処理を実行する。なお、本実施例では、
図1に括弧書きで示すように、コントローラ150内に判定部130が設けられている。
【0061】
ステップ801では、コントローラ150(あおり制御部117およびフォーカス制御部118)は、あおりピント面が撮像画像に含まれる第1の対象物の高さに対応する基準となる高さ(第1の位置)となるように撮像素子106のあおり駆動およびフォーカスレンズ102の駆動を制御する。第1の対象物の高さは、監視モニタ装置111を通じてユーザが入力して指定してもよいし、対象物検出部112による対象物(歩道上やホーム上の人)の検出結果に基づいて設定された、複数の第1の対象物が存在する高さとしてもよい。
【0062】
また、あおりピント面を第1の対象物の高さに対応する高さに設定するための撮像素子106のあおり角とフォーカスレンズ102の移動量であるフォーカス量は、実施例1でも説明したように撮像条件に基づいて算出することができる。さらに、あおり角とフォーカス量を、第1の対象物の像高とデフォーカス量とに基づいて算出したり、複数の第1の対象物のうち合焦度が最大となるあおり角とフォーカス量をサーチして取得したりしてもよい。
【0063】
図9(a)、(b)に示したシーン901、902においてそれぞれ、あおりピント面903、904が設定されると、手前から奥までの人の実線枠で囲まれた顔に合焦した撮像画像が得られる。
【0064】
次にステップ802では、コントローラ150(判定部130)は、対象物検出部112により撮像画像における現在のフレーム内において対象物が検出されているか否かを判定する。
図9(a)、(b)のシーン901、902では対象物は人の顔である。コントローラ150は、現在のフレーム内に人の顔が検出されている場合はステップ803に進み、検出されていない場合は次のフレーム内における対象物の検出の有無の判定を繰り返す。
【0065】
ステップ803では、コントローラ150(判定部130)は、撮像画像において検出された対象物に対する合焦度(合焦評価値)を合焦度取得部114から取得する。対象物が複数検出された場合には、個々の対象物に対する合焦度を取得する。
【0066】
次にステップ804では、コントローラ150(判定部130)は、ステップ803で取得した対象物に対する合焦度を所定値である閾値と比較し、合焦度が閾値より低い対象物が存在するか否かを判定する。合焦度が閾値より低い対象物が存在する場合は、撮像画像内にぼけた対象物が存在しており、ステップ801においてあおりピント面が適切なあおり被写界深度を与えるように設定されなかったことを意味している。例えば、
図9(a)、(b)のシーン901、902において、点線枠により囲まれた顔が合焦度が閾値より低いと判定された対象物である。これら点線枠で囲まれた対象物はあおりピント面903、904に対して高さ(あおりピント面203の位置が設定される方向での位置)が低いために、該対象物に対する下ぼけが生じる。合焦度が閾値より低い対象物が存在する場合はステップ805に進み、存在しない場合はステップ802に戻る。
【0067】
ステップ805では、コントローラ150は(判定部130)は、ステップ803で取得された対象物ごとの合焦度を全て加算して合焦度の合計値(以下、合計合焦度という)を算出する。そして、フォーカス制御部118およびフォーカス駆動部121を介してフォーカスレンズ102をステップ801で駆動した位置から所定量ずつ移動させながら合計合焦度が最大となるフォーカスレンズ102の位置(以下、ピークフォーカス位置という)を探索するフォーカスサーチを行う。この際、ステップ804で合焦度が閾値より低いと判定された対象物の高さを推定することで、該対象物とあおりピント面との高さの関係に基づいてフォーカスサーチにおけるフォーカスレンズ102の駆動方向を決定することができる。
【0068】
図10(a)、(b)は、フォーカスサーチにおけるフォーカスレンズ102の駆動方向の決定方法を示す。
図10(a)、(b)では、3つの対象物(顔)A、B、CのうちA、C(第1の対象物)があおりピント面203の高さに位置し、B(第2の対象物)がそれよりも高い位置または低い位置にあってあおり被写界深度から外れている。これらの場合、対象物Bに対する合焦度が閾値より低いと判定される。このとき、フォーカスレンズ102をFar側に駆動するとあおりピント面203は下に移動し、フォーカスレンズ102をNear側に駆動するとあおりピント面203は上に移動する。
図10(a)では、あおりピント面203を適度に上に移動させることで、対象物A、B、Cのすべてがあおり被写界深度内に入る。また
図10(b)では、あおりピント面203を適度に下に移動させることで、対象物A、B、Cのすべてがあおり被写界深度内に入る。
【0069】
この関係を用いることで、無駄なフォーカスレンズ102の駆動を行うことなくフォーカスサーチを行うことができ、あおりピント面203を適切なあおり被写界深度を与える高さに素早く制御することができる。
【0070】
また、フォーカスサーチにおけるフォーカスレンズ102の駆動範囲を、移動するあおりピント面203に対する上深度端301と下深度端302がそれぞれ移動前のあおりピント面に対応する位置となるフォーカスレンズ102の位置を両端とする範囲内とすることが望ましい。言い換えれば、あおりピント面203が対象物A、Bの高さに対応する高さにあるときの被写界深度の範囲内であおりピント面203が移動するようにフォーカスレンズ102の駆動範囲を制限することが望ましい。これにより、さらに無駄なフォーカスレンズ102の駆動を含まないフォーカスサーチを行うことができる。
【0071】
次にステップ806では、コントローラ150(フォーカス制御部118)は、フォーカス駆動部121を介して、ステップ805で探索されたピークフォーカス位置にフォーカスレンズ102を駆動する。
【0072】
このように本実施例では、あおりピント面203を第1の対象物(ホーム上の人)の位置に対応する第1の位置に設定し、その後に第1および第2の対象物に対する合焦度を取得する。そして、取得した合焦度に基づいて第1の対象物と第2の対象物(線路内の人)の位置がともに被写界深度内に含まれる目標位置としての第2の位置にあおりピント面203を設定するようにフォーカスレンズ102の位置を制御する。
【0073】
図11(a)は、
図9(b)のシーンにおいて、ステップ801で制御されたあおりピント面203、あおり被写界深度(上下深度端30
1、30
2)および対象物(ホーム上の人と線路内の人)の関係を示している。このとき、あおり被写界深度内に入っているホーム上の人に対しては合焦した撮像画像が得られるが、あおり被写界深度から外れた線路内の人についてはぼけた撮像画像しか得られない。
【0074】
図11(b)は、
図9(b)のシーンにおいて、ステップ805でフォーカスレンズ102がピークフォーカス位置に制御された後のあおりピント面203、あおり被写界深度および対象物の関係を示している。この図では、
図11(a)のようにあおりピント面203がホーム上の人の顔(第1の対象物)の高さに対応する高さにある場合に比べて、被写界深度の一端である上深度端302がホーム上の人の顔の高さに近くなるようにあおりピント面203の高さが設定されている。これにより、ホーム上の人も線路内の人もあおり被写界深度(上下深度端30
1、30
2)内に入り、これら全ての人に対して合焦した撮像画像が得られる。
【0075】
以上説明したように、本実施例では、対象物の検出結果を応じてあおりピント面の高さを動的に設定するように制御することで、対象物の高さが変化する場合でもそれらの対象物に対する上下ぼけの発生を低減することができる。
【0076】
なお、本実施例のように合焦度を用いた第1および第2の対象物がともに被写界深度内に含まれるようにするあおりピント面の位置の制御を、実施例1で説明した検査台(第1の対象物)502と基板(第2の対象物)503のあおり撮像に適用してもよい。この場合、検査台502と基板503のそれぞれに対する合焦度の合計値が最大となるようにあおりピント面を設定することで、結果的に下深度端が検査台502に近づいた位置又は対応する位置になるようにしてもよい。
【0077】
また、
図9(b)に示したように複数の対象物が存在する場合に、全ての対象物を認識し易くするために、これら対象物のそれぞれに対する合焦評価値の最小値が最大になるようなピント面の位置の設定を行ってもよい。
図12は、
図9(b)におけるホーム上の奥側の対象物、手前側の対象物および線路上の対象物のそれぞれに対するフォーカスレンズの位置ごとの合焦評価値905A、905B、905Cを示している。
図12に示すように、これら3つの対象物に対する合焦評価値905A、905B、905Cの最小値が最大になるようにピント面の位置の設定を行うことで、全ての対象物を認識し易くすることができる。
【0078】
さらに
図9(b)に示したようにホーム上ではなく線路上に対象物が存在する場合のように、通常の検出領域とは異なる検出領域、すなわち通常は対象物が存在しない領域に対象物の存在を検出した場合には、特別な状況が発生しているとみなす。そして、その対象物に対する合焦評価値905Cを高くするようなフォーカスレンズまたはあおり角の制御を行ってもよい。
【0079】
フォーカスレンズの位置の変化によって合焦評価値が変化した場合の制御方法について説明を追加する。
図13(a)は、
図9(b)に示したホーム上の奥前の対象物と手前側の対象物に対する合焦評価値905A、905Bを示している。例えば、フォーカスレンズが至近(Near)側から無限遠(Far)側に移動すると、手前側の対象物に対する合焦評価値905Bが合焦度の閾値(合焦閾値)を下回って手前側の対象物がぼける場合がある。この場合には、絞りユニット103を絞ることで、
図13(b)に示すように手前側の対象物に対する合焦評価値905Bを合焦閾値を上回るように増加させて、手前側の対象物にピントを合わせることができる。奥側の対象物に対する合焦評価値905Aについても同様により増加させることができる。
【0080】
図14のフローチャートは、あおりピント面を制御するためにコントローラ150が実行する、
図8の処理に対する変形例としての処理(制御方法)を示している。この処理を実行するコントローラ150も、
図1に括弧書きで示すように判定部130を有する。
図14中のステップ1401~
1406は、
図8中のステップ801~806と同じである。
【0081】
ステップ1406において、ステップ1405で探索されたピークフォーカス位置にフォーカスレンズ102を駆動したコントローラ150は、ステップ1407に進む。ステップ1407では、コントローラ150(判定部130)は、ステップ1404と同様に、合焦度が閾値より低い対象物が存在するか否かを判定する。合焦度が閾値より低い対象物が存在する場合はステップ1408に進み、存在しない場合は本処理を終了する。
【0082】
ステップ1408では、コントローラ150は、絞りユニット103を撮像条件(被写体距離、焦点距離等)に基づいて調整する。そして本処理を終了する。
【0083】
なお、本実施例において、対象物の検出と顔認証等の認証系技術とを併せ用してもよい。認証系技術には、認証評価値が所定の認証閾値以上である場合にその対象物が特定の対象物と認証するものがある。この場合に、
図15に示すように合焦評価値が低い対象物については認証もし難い。このため、コントローラ150は、合焦評価値(合焦度)に応じて認証閾値を変更する(下げる)ことにより、合焦評価値が低い対象物に対しても特定の対象物との認証率を高めることができる。
【0084】
また、上記各実施例では、固定されたレンズ主面(つまりは撮像光学系)に対して撮像素子(撮像面)をあおり駆動する場合について説明したが、固定された撮像面に対して撮像光学系をあおり駆動したり、両方をあおり駆動したりしてもよい。すなわち、撮像面と撮像光学系のうち少なくとも一方をあおり駆動すればよい。撮像光学系をあおり駆動する場合において、該撮像光学系が交換タイプである場合は、そのあおり駆動は撮像装置(コントローラ)により制御することが望ましい。
【0085】
また、上記各実施例では、上下方向において傾きを有するあおりピント面の高さを適切に設定する場合について説明したが、各実施例と同様の制御により水平方向において傾きを有するあおりピント面の水平方向での位置を設定するようしてしてもよい。(その他の実施例) 本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
【0086】
以上説明した実施の形態は、以下の構成を含む。
(構成1)
撮像光学系により形成される光学像を撮像する撮像素子と、
前記撮像素子の撮像面と前記撮像光学系の光軸に直交する面との間のあおり角を変更するあおり撮像において、前記撮像光学系に含まれるフォーカスレンズの位置および前記あおり角のうち少なくとも一方を制御して、ピント面を前記光軸に対する該ピント面の角度が異なるいずれかの位置に設定する制御手段とを有し、
前記制御手段は、前記ピント面を撮像対象である第1の対象物の位置に対応する第1の位置とは異なる位置であって前記第1の対象物の位置が被写界深度内に含まれる第2の位置に設定するように前記少なくとも一方を制御することを特徴とする撮像装置。
(構成2)
前記制御手段は、前記ピント面が前記第1の位置に設定されるときの前記少なくとも一方を、前記ピント面が前記第2の位置に設定されるように補正することを特徴とする構成1に記載の撮像装置。
(構成3)
前記制御手段は、前記フォーカスレンズの位置および前記あおり角を前記ピント面が前記第1の位置に設定されるように制御した後に、前記少なくとも一方を前記ピント面が前記第2の位置に設定されるように制御することを特徴とする構成1に記載の撮像装置。
(構成4)
前記第2の位置は、前記被写界深度の一端が、前記ピント面が前記第1の位置に設定されるときよりも前記第1の対象物の位置に近くなる又は前記第1の対象物の位置に対応する位置となる前記ピント面の位置であることを特徴とする構成1から3のいずれか1つに記載の撮像装置。
(構成5)
前記第2の位置は、前記第1の対象物と、前記ピント面の位置が設定される方向において前記第1の対象物とは位置が異なる撮像対象である第2の対象物とがともに前記被写界深度内に含まれる前記ピント面の位置であることを特徴とする構成1から4のいずれか1つに記載の撮像装置。
(構成6)
前記制御手段は、前記第1の対象物および前記第2の対象物のそれぞれに対する合焦度を取得し、該合焦度に基づいて前記少なくとも一方を制御することを特徴とする構成5に記載の撮像装置。
(構成7)
前記第2の位置は、前記第1の対象物と前記第2の対象物のそれぞれに対して取得された合焦度の合計値が最大となる前記ピント面の位置であることを特徴とする構成6に記載の撮像装置。
(構成8)
前記第2の位置は、複数の対象物とそれぞれに対して取得された合焦度の最小値が最大となる前記ピント面の位置であることを特徴とする構成6に記載の撮像装置。
(構成9)
前記制御手段は、前記ピント面が前記第1の位置に設定されたときの前記第2の対象物に対する前記合焦度が所定値より低い場合に、前記ピント面を前記第2の位置に設定するように前記少なくとも一方を制御することを特徴とする構成6から8のいずれか1つに記載の撮像装置。
(構成10)
前記制御手段は、
前記フォーカスレンズを所定量ずつ移動させながら前記合焦度を取得し、
前記ピント面の位置と前記第2の対象物の位置とから前記フォーカスレンズを前記所定量ずつ移動させる方向を決定することを特徴とする構成6から8のいずれか1つに記載の撮像装置。
(構成11)
前記制御手段は、前記ピント面が前記第1の位置に設定されているときの被写界深度の範囲内で前記ピント面が移動するように前記フォーカスレンズを前記所定量ずつ移動させることを特徴とする構成10に記載の撮像装置。
(構成12)
前記制御手段は、撮像により生成された撮像画像において検出された前記第1の対象物
の位置に基づいて、前記第1の位置を設定することを特徴とする構成1から11のいずれか1つに記載の撮像装置。
(構成13)
前記制御手段は、ユーザにより入力された前記第1の対象物の位置に基づいて、前記第1の位置を設定することを特徴とする構成1から12のいずれか1つに記載の撮像装置。
(構成14)
前記制御手段は、前記フォーカスレンズを所定量ずつ移動させながら前記合焦度を取得し、
前記ピント面の位置と前記第2の対象物の位置とから前記フォーカスレンズを前記所定量ずつ移動させ、対象被写体の合焦度が所定値より低い場合に前記撮像光学系に含まれる絞りを絞ることを特徴とする構成1から13のいずれか1つに記載の撮像装置
(構成15)
前記制御手段は、前記フォーカスレンズを所定量ずつ移動させながら前記合焦度を取得し、
通常の検出領域とは異なる検出領域において対象物の存在を検出した場合に、該対象物の合焦度が高くなるように前記少なくとも一方を制御することを特徴とする構成1から14のいずれか1つに記載の撮像装置。
(構成16)
前記制御手段は、
前記ピント面の位置を前記光軸に対して該ピント面がなす角度がより大きくなる位置に設定する際には前記フォーカスレンズを至近側に移動させ、
前記ピント面の位置を前記光軸に対して該ピント面がなす角度がより小さくなる位置に設定する際には前記フォーカスレンズを無限遠側に移動させることを特徴とする構成1から15のいずれか1つに記載の撮像装置。
(構成17)
前記制御手段は、
特定の対象物を認証するための評価値が認証閾値以上である対象物を前記特定の被写体と認証し、
前記合焦度に応じて前記認証閾値を変更することを特徴とする構成1から16のいずれか1つに記載の撮像装置。
(他の実施例)
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
【0087】
以上説明した各実施例は代表的な例にすぎず、本発明の実施に際しては、各実施例に対して種々の変形や変更が可能である。
【符号の説明】
【0088】
102 フォーカスレンズ
106 撮像素子
113 あおりピント面検出部
115 あおり角/フォーカス量算出部
116 フォーカス補正量算出部
117 あおり制御部
118 フォーカス制御部