特許 7433848 撮像装置、コンピュータプログラム、記憶媒体および撮像制御方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-02-09

(45)【発行日】2024-02-20

(54)【発明の名称】撮像装置、コンピュータプログラム、記憶媒体および撮像制御方法

(51)【国際特許分類】

   G02B 7/28 20210101AFI20240213BHJP

   G03B 5/00 20210101ALI20240213BHJP

   G02B 7/02 20210101ALI20240213BHJP

   G02B 7/04 20210101ALI20240213BHJP

   G02B 7/08 20210101ALI20240213BHJP

   G03B 13/36 20210101ALI20240213BHJP

   H04N 23/67 20230101ALI20240213BHJP

   H04N 23/667 20230101ALI20240213BHJP

【ＦＩ】

G02B7/28 N

G03B5/00 C

G02B7/02 C

G02B7/04 E

G02B7/08 C

G03B13/36

H04N23/67

H04N23/667

【請求項の数】 16

(21)【出願番号】P 2019204141

(22)【出願日】2019-11-11

(65)【公開番号】P2020154283

(43)【公開日】2020-09-24

【審査請求日】2022-11-09

(31)【優先権主張番号】P 2019048401

(32)【優先日】2019-03-15

(33)【優先権主張国・地域又は機関】JP

(73)【特許権者】

【識別番号】000001007

【氏名又は名称】キヤノン株式会社

(74)【代理人】

【識別番号】100114775

【弁理士】

【氏名又は名称】高岡 亮一

(74)【代理人】

【識別番号】100121511

【弁理士】

【氏名又は名称】小田 直

(74)【代理人】

【識別番号】100208580

【弁理士】

【氏名又は名称】三好 玲奈

(72)【発明者】

【氏名】丸山 直樹

(72)【発明者】

【氏名】千野 俊介

(72)【発明者】

【氏名】川崎 諒

(72)【発明者】

【氏名】佐藤 夏子

【審査官】登丸 久寿

(56)【参考文献】

【文献】特開２０１８－０５６８１０（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１５／０１３８３８３（ＵＳ，Ａ１）

【文献】特開２００９－０１５８２８（ＪＰ，Ａ）

【文献】特開２０１７－０９８６１３（ＪＰ，Ａ）

【文献】特開２０１５－０３１７５４（ＪＰ，Ａ）

【文献】特開２０１７－１３４３２２（ＪＰ，Ａ）

【文献】特開２００８－２０５５６９（ＪＰ，Ａ）

【文献】特開２０１７－１７３８０２（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１７／０２７２６５８（ＵＳ，Ａ１）

【文献】特開平０４－３２４８４３（ＪＰ，Ａ）

【文献】特開２０１５－１０２６９４（ＪＰ，Ａ）

【文献】特開２０１４－１５５０６３（ＪＰ，Ａ）

【文献】特開平１１－１９０８６４（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０２Ｂ ７／２８

Ｇ０３Ｂ ５／００

Ｇ０２Ｂ ７／０２

Ｇ０２Ｂ ７／０４

Ｇ０２Ｂ ７／０８

Ｇ０３Ｂ １３／３６

Ｈ０４Ｎ ２３／６７

Ｈ０４Ｎ ２３／６６７

(57)【特許請求の範囲】

【請求項1】

撮像素子または撮像光学系の少なくとも一つを駆動し、あおり制御を行うあおり制御手段と、
フォーカスレンズを駆動するフォーカスレンズ駆動手段と、
前記あおり制御手段と前記フォーカスレンズ駆動手段のどちらかひとつを用いてフォーカス補正を行う第１の制御モードと、前記あおり制御手段と前記フォーカスレンズ駆動手段の両方を用いてフォーカス補正を行うための第２の制御モードを有するとともに、撮影画像内の被写体領域の数に応じて、前記第１の制御モードと前記第２の制御モードの一つを選択する制御手段と、を有し、
前記制御手段は、前記被写体領域に対する前記撮像光学系の結像面からのフォーカス補正量を算出すると共に、前記あおり制御手段を用いて前記フォーカス補正を行う場合において、撮影画像における、前記被写体領域とあおり軸との距離に基づき前記フォーカス補正量を算出することを特徴とする撮像装置。

【請求項2】

前記制御手段は、前記撮影画像内の被写体領域の数が２つ以上の場合には、前記あおり制御手段と前記フォーカスレンズ駆動手段を用いて被写体にフォーカス補正を行う第２の制御モードを選択することを特徴とする請求項１に記載の撮像装置。

【請求項3】

前記制御手段は、前記撮影画像内の被写体領域の数が１つの場合には、前記あおり制御手段またはフォーカスレンズ駆動手段のどちらかひとつを用いてフォーカス補正を行う第１の制御モードを選択することを特徴とする請求項１又は２に記載の撮像装置。

【請求項4】

前記制御手段は、前記撮影画像内の被写体領域の数が２つ以上の場合には、前記あおり制御手段と前記フォーカスレンズ駆動手段を用いて被写体にフォーカス補正を行う第２の制御モードを選択することを特徴とする請求項１～３のいずれか１項に記載の撮像装置。

【請求項5】

前記制御手段は、前記撮影画像内に被写体領域がない場合には、予め設定したフォーカス補正量となるように制御する第３の制御モードを選択することを特徴とする請求項１～４のいずれか１項に記載の撮像装置。

【請求項6】

前記予め設定したフォーカス補正量は過去の履歴に基づき設定されることを特徴とする請求項５に記載の撮像装置。

【請求項7】

前記制御手段は、前記撮影画像内の被写体領域の数が所定数以上の場合には、複数の被写体に対するフォーカス補正量の最大値が最も小さくなるように前記あおり制御手段または前記フォーカスレンズ駆動手段を制御することを特徴とする請求項１に記載の撮像装置。

【請求項8】

前記制御手段は、前記撮影画像内の被写体領域の数が所定数以上の場合には、複数の被写体に対するフォーカス補正量がそれぞれ被写界深度に入るように前記あおり制御手段または前記フォーカスレンズ駆動手段を制御することを特徴とする請求項１に記載の撮像装置。

【請求項9】

被写体の距離を算出する測距手段を有し、
前記制御手段は、前記撮影画像内の被写体領域の数が所定数以上の場合には、前記撮像素子に相対的に近い被写体を優先して前記あおり制御手段または前記フォーカスレンズ駆動手段を制御することを特徴とする請求項１に記載の撮像装置。

【請求項10】

前記所定数は３であることを特徴とする請求項７～９のいずれか１項に記載の撮像装置。

【請求項11】

更に、前記制御手段とネットを介して通信するための外部制御装置を有することを特徴とする請求項１～１０のいずれか１項に記載の撮像装置。

【請求項12】

前記制御手段は、前記撮影画像内の被写体領域を自動的に判別することを特徴とする請求項１～１１のいずれか１項に記載の撮像装置。

【請求項13】

ユーザーが指定した前記撮影画像内の被写体領域を取得する取得手段を有することを特徴とする請求項１～１１のいずれか１項に記載の撮像装置。

【請求項14】

請求項１～１３のいずれか１項に記載の撮像装置の各手段としてコンピュータを機能させるためのコンピュータプログラム。

【請求項15】

請求項１４に記載のコンピュータプログラムを記憶したコンピュータで読み取り可能な記憶媒体。

【請求項16】

撮像素子または撮像光学系の少なくとも一つを駆動し、あおり制御を行うあおり制御ステップと、
フォーカスレンズを駆動するフォーカスレンズ駆動ステップと
前記あおり制御ステップと前記フォーカスレンズ駆動ステップのどちらかひとつを用いてフォーカス補正を行う第１の制御モードと、前記あおり制御ステップと前記フォーカスレンズ駆動ステップの両方を用いてフォーカス補正を行うための第２の制御モードを有するとともに、撮影画像内の被写体領域の数に応じて、前記第１の制御モードと前記第２の制御モードの一つを選択する制御ステップと、を有し、
前記制御ステップは、前記被写体領域に対する前記撮像光学系の結像面からのフォーカス補正量を算出すると共に、前記あおり制御ステップを用いて前記フォーカス補正を行う場合において、撮影画像における、前記被写体領域とあおり軸との距離に基づき前記フォーカス補正量を算出することを特徴とする撮像装置の制御方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、あおり制御の可能な撮像装置等に関するものである。

【背景技術】

【0002】

従来、監視カメラを天井などの高所に設置し、カメラの光軸を斜め下側に向け、道路を通行する人を監視したり、車やそのナンバープレートを撮影したりすることがある。この場合、カメラの光軸が斜め下向きとなるため、撮像を行う際のピントが合うピント面は光軸に垂直な面であり、実際に撮像を行う対象となる被写体の撮像面とは合致しない場合が多い。
そのため、ピントが合う領域は画面の一部となり、その他の領域はピントが合っていない状態となる。
このような課題に対し、レンズもしくは撮像素子を相対的に傾ける制御（以下、あおり制御）によって被写界深度範囲を広げる、シャインプルーフの定理を適用した撮像装置が一般的に知られている。

【0003】

しかし、近距離の被写体から遠距離の被写体まで一定の角度であおり制御を行っても被写体の存在する位置の高低差や被写体自体の高さの違いなどがあり、近距離、遠距離でピントの合ったあおり角度が複数存在する場合がある。そのため、一種類のあおり角度では近距離から遠距離の被写体までピントの合った状態にあおり制御することができない。ただ、監視カメラとしては近距離から遠距離まで被写体を認識できることが重要となる。
また、被写体が変化することが考えられ、その時々に応じて適切なあおり制御を行うことが必要となる。その場合にあおり角度だけ制御すると、複数の被写体のうち一つの被写体には合わせることができるが、複数の領域の被写体に合わせることができない。そのため、あおり角度を変更するだけでなく、同時にフォーカスレンズを制御することが必要となる。

【0004】

特許文献１には、撮影エリア内で複数の領域のフォーカス情報を取得し、所定の期間内にフォーカス情報を使用し、オートフォーカスを行い、あおり制御とオートフォーカスは別のタイミングで行う技術が記載されている。

【先行技術文献】

【特許文献】

【0005】

【文献】特開平１１－２４２１５４号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

しかしながら、特許文献１に記載された撮像装置では、あおり制御とオートフォーカスを同時に制御することはできない。従って、オートフォーカスでピントが合わせた後にその状態であおり制御を行っているため、オートフォーカス、あおり制御と時間がかかり、被写体の変化に対してリアルタイムで追従するのが困難であるという課題がある。
そこで本発明の目的は、被写体が変化した場合などでも、フォーカスレンズ駆動とあおり制御を最適化することができ、高速で最適なあおり制御が可能な撮像装置を提供することにある。

【課題を解決するための手段】

【0007】

上記目的を達成するために、本発明の撮像装置は、
撮像素子または撮像光学系の少なくとも一つを駆動し、あおり制御を行うあおり制御手段と、
フォーカスレンズを駆動するフォーカスレンズ駆動手段と、
前記あおり制御手段と前記フォーカスレンズ駆動手段のどちらかひとつを用いてフォーカス補正を行う第１の制御モードと、前記あおり制御手段と前記フォーカスレンズ駆動手段の両方を用いてフォーカス補正を行うための第２の制御モードを有するとともに、撮影画像内の被写体領域の数に応じて、前記第１の制御モードと前記第２の制御モードの一つを選択する制御手段と、を有し、
前記制御手段は、前記被写体領域に対する前記撮像光学系の結像面からのフォーカス補正量を算出すると共に、前記あおり制御手段を用いて前記フォーカス補正を行う場合において、撮影画像における、前記被写体領域とあおり軸との距離に基づき前記フォーカス補正量を算出することを特徴とする。

【発明の効果】

【0008】

本発明によれば、被写体が変化した場合などでも、フォーカスレンズ駆動とあおり制御を最適化することができ、高速で最適なあおり制御が可能な撮像装置を得ることができる。

【図面の簡単な説明】

【0009】

【図1】本発明の実施例１の撮像装置の構成例を示すブロック図である。

【図2】あおり制御を行うシーンの例を示す図である。

【図3】あおり制御方法を説明する図である。

【図4】複数のあおり角度が存在する例１を示した図である。

【図5】複数のあおり角度が存在する例２を示した図である。

【図6】撮影シーンの例を示す図である。

【図7】撮影シーンの他の例を示す図である。

【図8】本発明の実施例１に係るフォーカスレンズ駆動とあおり制御を説明する図である。

【図9】被写体が３つ以上ある場合のフォーカスレンズ駆動とあおり制御を説明する図である。

【図10】被写体がいない場合などの合わせたい代表的な平面例を示す図である。

【図11】本発明の実施例１に係る複数の制御モードを説明するフローチャートである。

【図12】実施例２における撮影シーンの一例を示した図である。

【図13】実施例３の処理フローの一例を示したフローチャートである。

【発明を実施するための形態】

【0010】

以下に、本発明の好ましい実施の形態を、添付の図面に基づき実施例を用いて詳細に説明する。
＜実施例１＞
図１は、本発明の実施例１にかかわる撮像装置の構成を示すブロック図である。
本実施例の撮像光学系としてのレンズユニットは、光軸方向に移動して焦点距離を変更するズームレンズ１０１と、光軸方向に移動してピントの制御を行うフォーカスレンズ１０２と、光量を調整する絞りユニット１０３とを有する。図１における撮像光学系は、その一例を示したものであり、ズームレンズ１０１、フォーカスレンズ１０２、絞りユニット１０３のうちの一部がなくても良い。

【0011】

撮像光学系を通過した光は、バンドパスフィルタ（以下、ＢＰＦ）１０４およびカラーフィルタ１０５を介して撮像素子１０６上に光学像としての被写体像を形成する。
ＢＰＦ１０４は撮像光学系の光路に対し進退可能なものもある。被写体像は、撮像素子１０６により光電変換され撮像信号を形成する。
撮像素子１０６から出力されたアナログの撮像信号は、ＡＧＣ（Ａｕｔｏ Ｇａｉｎ Ｃｏｎｔｒｏｌ）１０７によりゲイン調整され、ＡＤ変換器１０８によりデジタル信号に変換された後、カメラ信号処理部１０９に入力される。

【0012】

カメラ信号処理部１０９では、デジタル撮像信号に対して各種画像処理（例えばガンマ変換やホワイトバランス調整など）を行って映像信号を生成する。この映像信号を不図示の表示部に画像として表示することによって撮影画面を表示することができる。
映像信号は、通信部１１０を介して、有線または無線通信によりネットワークを介して監視モニタ装置１１１に出力される。また通信部１１０は、外部ＰＣ等の外部制御装置からのコマンドを受けて撮像装置内のあおり／フォーカス制御部１１５にコマンドなどの制御信号を渡す。

【0013】

本実施例では監視モニタ装置１１１等まで含めたシステムを撮像装置と呼ぶ。一方図１において監視モニタ装置１１１以外は一つの筐体に収納されており監視カメラを構成している。
フォーカス評価値算出部１１２はＡＤ変換器１０８やカメラ信号処理部１０９からＲＧＢの画素値や輝度値を受け取り、あおり制御やオートフォーカス（以下、ＡＦ）で使用するためのフォーカス評価値を算出する。フォーカス評価値は例えば監視モニタ装置１１１の不図示の表示部に表示される撮影画面を複数の被写体領域に分割し、被写体領域ごとに画像のコントラストや高周波成分を基に算出される。フォーカス評価値としては、フォーカス調整に用いることができる評価値であれば位相差ＡＦ方式や赤外光ＡＦ方式など、どのような方式によって取得しても構わない。

【0014】

なお、撮影画面を表示するための不図示の表示部を例えばカメラ信号処理部１０９の出力側に選択的に接続し監視カメラ側でも撮影画面をモニタできるようにしても良い。
被写体判定部１１３はカメラ信号処理部１０９からの映像信号を画像認識して、撮影画面内から特定の被写体の検出を行う。特定の被写体としては、ユーザーにより任意に指定された、もしくは予めデフォルトとして設定された被写体（例えば人、顔、車など）であるが、これらの例に限らない。

【0015】

あおり／フォーカスレンズ駆動量算出部１１４は、フォーカス評価値算出部１１２からのフォーカス評価値と被写体判定部１１３からの被写体認識結果が入力される。また、フォーカス評価値、被写体認識結果、あおり／フォーカス制御部１１５からのあおり角度情報とフォーカス位置情報を用いて、シーンに応じた最適なあおり角度とフォーカス位置の算出を行う。算出されたあおり角度とフォーカス位置をあおり／フォーカス制御部１１５に伝えて、あおり角度とフォーカス位置が制御される。

【0016】

あおり／フォーカス制御部１１５は、コンピュータとしてのＣＰＵが内蔵されており、不図示のメモリに記憶されたコンピュータプログラムに基づき装置全体の各種動作を制御手段として実行する。あおり／フォーカス制御部１１５は、通信部１１０を介して外部ＰＣなどの外部制御装置からの指示に基づき、ＡＦやマニュアルフォーカス（以下、ＭＦ）でのフォーカスレンズ駆動を行う。また、撮像素子駆動部１１６やフォーカス駆動部１１７から現在のレンズ位置情報を受け取り、あおり／フォーカスレンズ駆動量算出部１１４に現在の位置を伝える。また、あおり／フォーカスレンズ駆動量算出部１１４で算出されたあおり角度、フォーカス位置を撮像素子駆動部１１６、フォーカス駆動部１１７に対して送り駆動制御する。

【0017】

撮像素子駆動部１１６はあおり制御手段（あおり角制御手段）として機能し、あおり／フォーカス制御部１１５から指示されたあおり角度に基づいて撮像素子１０６をチルトする。即ち、撮像素子１０６を傾けて、撮像素子１０６と撮像光学系の光軸と直交する面との間の角度であるあおり角（チルト角）を変更する。
本実施例では、撮像素子１０６をチルトするための回転軸は撮影画面の中心を通る水平方向の（撮像素子の長手方向に沿った）軸であり、この回転軸を中心に撮像素子１０６は撮像光学系に対して相対的にチルト制御される。

【0018】

なお、あおり制御をするためには撮像素子側ではなく撮像光学系の一部のレンズを撮像素子に対して相対的にチルト制御しても良い。
フォーカス駆動部１１７はあおり／フォーカス制御部１１５から指示されたフォーカスの設定位置に基づいてフォーカスレンズ１０２の位置を制御する。
あおり制御を行うシーンの例として図２のようなシーンを想定する。図２はあおり制御を行うシーンの例を示す図である。

【0019】

近距離、遠距離に被写体がいる場合である。あおり制御を行わずＡＦやＭＦでのピント合わせでは近距離か遠距離のどちらかの被写体にピントを合わせることになってしまう。
一方、図３はあおり制御方法を説明する図であり、あおり制御とは図３に示すように例えば撮像素子１０６をチルトすることによって、ピントの合った面を地面などの水平面に平行にする制御である。これにより地面と平行な面に関して、近距離から遠距離の被写体まで被写界深度内に入り、ピントの合った状態を維持することができる。
あおり角度ｂはシャインプルーフの定理より、次式（１）で算出される。

【0020】

ｂ＝ａｒｃｔａｎ（ｆ／（Ｌｔａｎα）） （式１）
なお、ｆは焦点距離、Ｌは被写体距離、αは光軸とピント面の角度である。

【0021】

図４、図５は複数の最適なあおり角度が存在する例１、例２を示した図である。図４のように被写体が歩いている面の高さが変化する場合や、図５のように高さの異なる被写体が複数存在する場合などには被写体ごとに最適なあおり角度が異なってしまう。同様に、撮像素子１０６のあおり用の回転軸が通る撮像素子の撮影画面の中央の被写体にＡＦやＭＦでピントが合っていない場合などにも、被写体ごとに最適なあおり角度が異なってしまう。つまり、撮影画面内で被写体により複数の最適なあおり角度が存在することになる。図６、図７はそれぞれ撮影シーンの例を示す図であるが、図６、図７のように高さの異なる複数の被写体が異なる距離にそれぞれ存在する場合などにはピントが合わなくなる場合がある。

【0022】

更には各被写体が時間とともにそれぞれ移動したりいなくなったりする場合にも、そのシーン変化に応じてそれまでのあおり制御ではピントが合わなくなる場合がある。
また、高さの異なる被写体が複数存在する場合には、あおり制御だけでは最適な制御ができない場合が多い。
その一例を、図８を用いて説明する。図８はフォーカスレンズ駆動とあおり制御を説明する図である。

【0023】

対象とする被写体として、画面内に被写体人８０１（第１領域）と被写体車８０２（第２領域）が存在する場合を想定する。現在のあおり角度とフォーカスレンズ１０２の位置が図８の上部の位置関係になっている。ｘが被写体人８０１に対してピントを合わせるために必要な、撮像光学系の結像面からのフォーカス補正量（デフォーカス量）となっている。また、ｙが被写体車８０２に対してピントを合わせるために必要な撮像光学系の結像面からのフォーカス補正量（デフォーカス量）となっている。あおり制御だけでは被写体人８０１、被写体車８０２両方にピントを合わせることは困難な場合が多い。

【0024】

そのため、本実施例ではフォーカスレンズによるフォーカス補正とあおり制御によるフォーカス補正をともに行う。その場合の各々の駆動量の算出方法例を説明する。図８の上部のように撮像素子１０６の撮像面の中心を通るあおり軸から被写体までの距離（像高）を被写体人８０１に対してｋ１［ｕｍ］、被写体車８０２に対してｋ２［ｕｍ］とする。ここで、ｋ１、ｋ２はそれぞれ撮影画面の第１領域の位置情報および撮影画面の第２領域の位置情報に相当する。また、フォーカスレンズ１０２の移動による結像面上でのフォーカス補正量をβとする。

【0025】

βの算出例としては、フォーカスレンズ１０２の敏感度とフォーカスレンズ１０２の駆動量の積から算出することが挙げられる。一方、あおり角度によるフォーカス補正量は、あおり角度をθ［°］とすると、α＝ｔａｎθと、あおり軸から被写体までの距離ｋ１、ｋ２の積となる。

【0026】

以上から、
ｘ＝ｋ１×α＋β （式２）
ｙ＝ｋ２×α－β （式３）
となり、連立方程式を解くと、
β＝（ｋ２×ｘ－ｋ１×ｙ）／（ｋ１＋ｋ２） （式４）
α＝（ｘ＋ｙ）／（ｋ１＋ｋ２） （式５）

【0027】

よって、あおり角度θは
θ＝ａｒｃｔａｎ（（ｘ＋ｙ）／（ｋ１＋ｋ２）） （式６）
により算出できる。また、フォーカスレンズの駆動量（フォーカスレンズ駆動量）γを近似的に算出するには、例えばγ＝β／（フォーカスレンズの敏感度）で算出できる。なお、正確に算出するためには敏感度に応じた高次方程式や多項式を解くようにしても良い。
なお、フォーカスレンズ駆動量γの算出方法に関しては種々の変形及び近似等が可能であり、それらの変形や近似等を用いた算出方法であっても良い。

【0028】

さらに被写体が３つ以上ある場合について説明する。図９は被写体が３つ以上ある場合のフォーカスレンズ駆動とあおり制御を説明する図である。図９のように近距離から遠距離まで被写体がいる場合、あおり制御とフォーカスレンズ駆動だけでは全ての被写体にピントを合わせることができない。
遠距離の被写体人９０１、被写体人９０２、近距離の被写体人９０３それぞれに対する撮像光学系の結像面からのフォーカス補正量（ずれ量、ボケ量）をａ［ｕｍ］、ｂ［ｕｍ］、ｃ［ｕｍ］とする。

【0029】

この場合の制御方法の例を説明する。まず、第一の方法としては、ａ［ｕｍ］、ｂ［ｕｍ］、ｃ［ｕｍ］などのフォーカス補正量の最大値が最小になるように制御する方法である。フォーカスレンズ駆動とあおり制御を行い、ａ［ｕｍ］、ｂ［ｕｍ］、ｃ［ｕｍ］の最大値が最小になるように制御する。この方法により、図９のようなシーンにおいて被写体のボケを最小に抑えることができる。第二の方法としては、ピントが合っていると判断（許容）される量、つまり被写界深度を算出して、ａ［ｕｍ］、ｂ［ｕｍ］、ｃ［ｕｍ］などのフォーカス補正量が被写界深度に収まるように制御する方法である。

【0030】

被写界深度は、撮像素子１０６の１画素あたりのセルピッチと絞り値によって決められる値である。被写界深度をＦΔとすると、下記式のように解くことにより計算できる。
ＦΔ≧ｋ１’×α＋β （式６）
ＦΔ≧ｋ２’×α＋β （式７）
ＦΔ≧ｋ３’×α－β （式８）

【0031】

上記の式６～式８を解いてα、βを算出し、更にα、βからあおり角θ、フォーカスレンズ駆動量γを算出すればよい。
ａ［ｕｍ］、ｂ［ｕｍ］、ｃ［ｕｍ］が被写界深度に収まるとユーザーからはピントのボケが分からないし、第一の方法のようにａ［ｕｍ］、ｂ［ｕｍ］、ｃ［ｕｍ］の最大値が最小になるように追い込む必要がない。第二の方法で制御を行い、撮影したい被写体が被写界深度に入らない場合に、第一の方法で追い込む制御も考えられる。

【0032】

一般的に近距離と遠距離では遠距離側の方があおり制御に対する被写界深度が深くなるため、近距離の被写体を優先してあおり制御またはフォーカスレンズ駆動を行うことも有効である。そのためには、被写体までの距離を測定する測距手段を備え、複数の被写体の距離をそれぞれ測定し、その中で撮像素子に相対的に近い被写体を優先してあおり制御またはフォーカスレンズ駆動を行う。
また、被写体が変わるということは、いなくなることも考えられる。その場合には、地面などの平面にピントが合ってしまう可能性がある。また、本来、ピントを合わせたい平面から離れてしまう場合もあるため、固定のフォーカスレンズの位置、あおり角度に制御する方法が考えらえる。

【0033】

図１０は被写体がいない場合などの合わせたい代表的な平面例を示す図である。図１０のようにカメラの設置されたシーン、主とする被写体によって、合わせたい平面を例えば地面から１．６ｍ上に平行に移動した平面とする、などと設定することが可能となる。前記平面に合うように制御することで、ピントの合った部分の画面内の割合を増やしたりできる。あるいは大きくボケてしまうことを防止できる。ピントを合わせたい平面に関しては、ユーザーが決める方法でも構わないし、予め決められた平面でも構わない。その他にも過去に停止していた頻度の高いフォーカスレンズの位置、あおり角度の履歴を不図示のメモリから読み出して、重み付けして設定することでそのシーンに応じて有効な平面に対してフォーカスレンズ駆動を実現する方法も考えられる。

【0034】

次に図１１のフローチャートを参照して実施例１に係る複数の制御モードの選択の例を説明する。
本実施例においては、あおり制御手段と前記フォーカスレンズ駆動手段の少なくとも一つを用いてフォーカス補正を行うための複数の制御モードを有する。さらに、撮影画面内の被写体領域の数に応じて、前記複数の制御モードの一つを選択する点に特徴を有する。
Ｓ１１０１でスキャンを行う。スキャンとは撮像素子１０６のあおり角度またはフォーカスレンズ１０２を一方向に徐々に変化させるように駆動する制御である。Ｓ１１０２でスキャン中にフォーカス評価値算出部１１２にて画面内の複数の領域に対して領域ごとに評価値を算出する。

【0035】

Ｓ１１０３で被写体判定部１１３にて被写体のいる領域を判別する。被写体のいる領域とはＳ１１０２で算出された領域ごとの評価値の高い領域または、画像認識に基づく被写体判別によって、人物や車など注目すべき被写体が存在すると判別された領域である。
Ｓ１１０４で、被写体のいる領域数（被写体領域の数）を判定する。Ｓ１１０４で１つであると判定された場合、Ｓ１１０５にて、被写体のいる領域にピントが合うようにあおり制御かフォーカスレンズ駆動のいずれかを用いてフォーカス補正を行う第１の制御モードを選択する。

【0036】

具体的には、例えば被写体が画面上下中央付近にいない場合にはあおり制御によってフォーカス補正を行う。すなわち被写体の画面内の上下の中央からの距離（像高）が所定値より大きい場合にはあおり制御を行い、被写体の画面内の上下の中央からの距離（像高）が前記所定値より小さい場合にはフォーカスレンズ駆動によってフォーカス補正を行う。
Ｓ１１０４で被写体のいる領域数が２つである場合には、Ｓ１１０６にて第２の制御モードを選択する。即ち、あおり制御とフォーカスレンズ駆動の両方を用いてフォーカス補正を行う。具体的には、例えば式２～式５を用いて前述の通り被写体のいる領域にピントが合うように、被写体のいる領域のフォーカス補正量を算出する。

【0037】

即ち、Ｓ１１０２で算出された領域ごとの評価値を使用し、領域毎の評価値がピーク値となるフォーカスレンズの位置を例えば式２、式３におけるｘ、ｙとして取得する。画面内の領域の位置に基づき式２、式３におけるｋ１、ｋ２を取得する。更に式４、式５によりあおり角度θ、フォーカスレンズ駆動量γを算出する。
そして、上記のあおり角度θ、フォーカスレンズ駆動量γになるようにあおり制御とフォーカスレンズ駆動を行う。
なお、領域ごとのフォーカス補正量の計算としては、前述の方法に限ったものでなく、外測センサや、各画素が視差を有する複数の光電変換部から構成された撮像素子を用いた、いわゆる撮像面位相差方式によって被写体距離を取得するものであっても構わない。

【0038】

上記Ｓ１１０４で被写体のいる領域の数が３つ以上であると判定された場合、Ｓ１１０７にてＳ１１０６と同様、第２の制御モードを選択する。即ち、あおり制御とフォーカスレンズ駆動の両方を用いてフォーカス補正を行う。ただし同じ第２の制御モードを選択しているが、具体的な演算方法（演算アルゴリズム）がＳ１１０６とは異なる。前述のように被写体のいる領域のフォーカス補正量（ボケ量）の最大値が最小になるように例えば式６～式８などを用いてあおり角度θ、フォーカスレンズ駆動量γを算出する。そして算出されたあおり角度θ、フォーカスレンズ駆動量γになるようにあおり制御とフォーカスレンズ駆動を行う。

【0039】

この場合、被写体のいる領域が許容錯乱円径に収まるように制御する。なお、本実施例では被写体のいる領域の数が所定数以上の場合に、Ｓ１１０７のステップに進み、所定数として３と設定しているが、前記所定数はたとえば４以上の数であっても良い。その場合、被写体のいる領域の数が２または３の場合にはＳ１１０６に進むことになる。また、被写体のいる領域の数が２以上の場合に、Ｓ１１０７のステップに進むようにし、Ｓ１１０６のステップは使わないようにしても良い。

【0040】

上記Ｓ１１０４で、被写体のいる領域がない場合、すなわち被写体が画面内に存在しないと判別された場合には、Ｓ１１０８にて、予め設定したフォーカス補正量となるように制御する第３の制御モードを選択する。即ち、スキャンなどの制御開始直前の過去のフォーカスレンズ駆動位置やあおり角度に戻す。あるいは過去のフォーカスレンズ駆動、あおり制御で最も多く停止していた位置を記憶しておいて、最も多く停止していた位置をデフォルトとしてフォーカスレンズ駆動、あおり制御を行っても良い。即ち、不図示のメモリに過去のフォーカスレンズ駆動位置やあおり角度や、過去のフォーカス補正量の履歴を記憶しておき、その履歴情報に基づきフォーカス位置やあおり角度を制御する。

【0041】

なお、被写体の領域に変化がない場合も被写体のいる領域がない場合と同様の制御を行っても構わない。
以上説明したように、実施例１においては、Ｓ１１０３によって撮影画面内の被写体領域の数を自動的に判別している。そして、その数に応じて、あおり制御手段とフォーカスレンズ駆動手段の少なくとも一方を用いた複数のフォーカス補正のための制御モードのうちの一つを選択している。従って、被写体の変化によってピントがずれてしまったりせず、状況に応じた最適なあおり制御とフォーカスレンズ駆動を実現することができる。
＜実施例２＞

【0042】

次に、本発明の実施例２を、図１２に基づいて説明する。実施例２は、ユーザーにより撮像画像の任意の領域を指定して、フォーカス位置とあおり角度を制御するものである。
図１２は、実施例２における撮影シーンの一例を示した図である。図１２中に映っている被写体Ａ１２０１、被写体Ｂ１２０２に対して、この２つの領域をユーザーが領域指定手段（タッチパネルやマウス等）を用いて領域指定する。本実施例では、ユーザーが領域指定手段を用いて領域の原点やコーナー、幅、高さ等を指定することで指定領域の設定を行う。

【0043】

また、位置の指定方法としては、あらかじめ指定枠幅を決めておいて、その枠を任意の位置へ移動させるようにしても良い。上記のような方法により例えば１つ目の指定領域１２０３を設定し、続いて２つ目の指定領域１２０４の設定を同様に行う。
このように図１１のステップＳ１１０１～Ｓ１１０３における、撮影画面内の被写体領域の自動判別を実行する代わりに、ユーザーによって撮影画面内の被写体領域を手動で指定するようにしても良い。その場合には、ユーザーが指定した撮影画面内の被写体領域の数が、ステップＳ１１０４において、被写体のいる領域の数に相当することになる。
＜実施例３＞

【0044】

実施例２ではユーザーによって撮影画面内の被写体領域を手動で指定した後、ステップＳ１１０４で被写体のいる領域の数を判別するようにしているが、実施例３では、領域の数を判別せずにあおり角とフォーカス位置を制御する。
図１３は実施例３の処理フローの一例を示したフローチャートである。
まずＳ１３０１において上記で述べたようにユーザーが図１２に示すような任意の２つの指定領域Ａ（第１領域）（１２０３）、指定領域Ｂ（第２領域）（１２０４）を設定する。ここで指定領域Ａを評価枠Ａ、指定領域Ｂを評価枠Ｂと呼ぶ。

【0045】

次にＳ１３０２で、２つの指定領域（評価枠）それぞれの像高から実施例１に記載のｋ１、ｋ２を取得する。即ち、撮像素子１０６の撮像面の中心を通るあおり軸から評価枠Ａの中心までの距離（像高）をｋ１［ｕｍ］、評価枠Ｂの中心までの距離（像高）をｋ２［ｕｍ］とする。即ち、Ｓ１３０２は撮影画面の第１領域の位置情報および撮影画面の第２領域の位置情報を取得する位置情報取得手段として機能している。

【0046】

そしてＳ１３０３では初期フォーカス位置を記憶し、Ｓ１３０４で評価枠Ａのピント面上での補正量（デフォーカス量）ｘを算出し、続いてＳ１３０５にて評価枠Ｂのピント面上での補正量（デフォーカス量）ｙを算出する。即ち、Ｓ１３０３は第１領域および第２領域のそれぞれにおいてデフォーカス量を検出するデフォーカス量検出手段として機能している。
算出方法は実施例１に記載の通りである。

【0047】

Ｓ１３０６ではあおり角（チルト角）θとフォーカス補正量βを算出する。
あおり角θは実施例１に記載したように、式６から、
θ＝ａｒｃｔａｎ（（ｘ＋ｙ）／（ｋ１＋ｋ２））
で求められる。
以上の算出結果の値に基づいて、Ｓ１３０７であおり角とフォーカス位置を制御することであおり制御が可能となる。

【0048】

本実施例３では、被写体が２つの場合を示したが複数の被写体の中から任意の被写体を選ぶことで、ユーザーが注目したい被写体に対してピントを合わせる事も可能である。
また、本実施例で説明しなかった２つよりも多い領域もしくは２つよりも少ない領域を選択した場合の処理に関しては、実施例１に記載の複数ピント位置での処理と同様の対応で対処することが可能である。
さらに指定領域の設定に関しても、本実施例では矩形で説明を行ったが領域を指定するうえで、その目的が果たせるものであれば指定の方法、形状はどのようなものでも構わない。

【0049】

以上の実施例１～３において、あおり制御は例えば撮像素子のあおり角（チルト角度）を変えたがレンズのチルト角度を変えるのでも構わない。また、水平方向のあおり制御だけでなく、垂直方向を加えた２軸のあおり制御についても同様の制御することで２平面において被写体の認識性を維持したあおり制御を実現することが可能となる。
なお以上の実施例１～３において、式を用いてＣＰＵ等で演算を行うことによって演算結果を導出する例を説明した。しかし、式を用いた演算の代わりに、予め不図示のメモリにこれらの式に対応したテーブルを記憶しておき、そのテーブルを用いて式に基づく演算結果と同様の結果を直接導出しても良い。

【0050】

また、本発明は上記実施形態に限定されるものではなく、本発明の主旨に基づき種々の変形が可能であり、それらを本発明の範囲から除外するものではない。
また、本実施例における制御の一部または全部を上述した実施例の機能を実現するコンピュータプログラムをネットワーク又は各種記憶媒体を介して撮像装置や撮像制御装置に供給するようにしてもよい。そしてその撮像装置や撮像制御装置におけるコンピュータ（又はＣＰＵやＭＰＵ等）がプログラムを読み出して実行するようにしてもよい。その場合、そのプログラム、及び該プログラムを記憶した記憶媒体は本発明を構成することとなる。

【符号の説明】

【0051】

１０１ ズームレンズ
１０２ フォーカスレンズ
１０３ 絞りユニット
１０４ バンドパスフィルタ
１０５ カラーフィルタ
１０６ 撮像素子
１０７ ＡＧＣ
１０８ ＡＤ変換機
１０９ カメラ信号処理部
１１０ 通信部
１１１ 監視モニタ装置
１１２ フォーカス評価値算出部
１１３ 被写体判定部
１１４ あおり／フォーカスレンズ駆動量算出部
１１５ あおり／フォーカス制御部
１１６ 撮像素子駆動部
１１７ フォーカス駆動部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】