特許 7467084 撮像装置、撮像装置の制御方法及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-04-05

(45)【発行日】2024-04-15

(54)【発明の名称】撮像装置、撮像装置の制御方法及びプログラム

(51)【国際特許分類】

   G02B 7/28 20210101AFI20240408BHJP

   G02B 7/34 20210101ALI20240408BHJP

   G03B 13/36 20210101ALI20240408BHJP

   H04N 23/67 20230101ALI20240408BHJP

【ＦＩ】

G02B7/28 N

G02B7/34

G03B13/36

H04N23/67

【請求項の数】 13

(21)【出願番号】P 2019213416

(22)【出願日】2019-11-26

(65)【公開番号】P2021085936

(43)【公開日】2021-06-03

【審査請求日】2022-11-08

(73)【特許権者】

【識別番号】000001007

【氏名又は名称】キヤノン株式会社

(74)【代理人】

【識別番号】100090273

【弁理士】

【氏名又は名称】國分 孝悦

(72)【発明者】

【氏名】土橋 俊之

【審査官】越河 勉

(56)【参考文献】

【文献】特開２０１１－０４４９７０（ＪＰ，Ａ）

【文献】特開平０５－０８８０７５（ＪＰ，Ａ）

【文献】特開昭６２－０４７６１２（ＪＰ，Ａ）

【文献】米国特許出願公開第２００８／０２９７６４９（ＵＳ，Ａ１）

【文献】米国特許出願公開第２０１７／０２５７５５５（ＵＳ，Ａ１）

【文献】国際公開第２０１９／１８７６４８（ＷＯ，Ａ１）

【文献】特開２０１５－２１５３７２（ＪＰ，Ａ）

【文献】特開２００９－１２８４３７（ＪＰ，Ａ）

【文献】特開２０１８－１６３３００（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１７／００１９５８９（ＵＳ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０２Ｂ ７／２８－７／４０

Ｇ０３Ｂ １３／３６

Ｈ０４Ｎ ２３／６７

(57)【特許請求の範囲】

【請求項1】

撮像した映像中の所定の領域毎に被写体までの距離情報を取得する取得手段と、
映像中の固定被写体を検出する検出手段と、
ピント位置を調整する制御手段と、
前記制御手段によりピント位置が調整された時に前記取得手段により取得された第１の距離情報を記憶する記憶手段とを有し、
前記制御手段は、前記記憶手段に記憶した、前記検出手段により検出した固定被写体に対応する領域の前記第１の距離情報と、前記取得手段により取得した第２の距離情報とに基づいて、ピント位置を再調整することを特徴とする撮像装置。

【請求項2】

撮像した映像中の所定の領域毎に被写体までの距離情報を取得する取得手段と、
温度を検出する検出手段と、
前記検出手段により検出した温度の変化量と前記取得手段により取得した距離情報との相関を算出する算出手段と、
ピント位置を調整する制御手段と、
前記制御手段によりピント位置が調整された時に前記取得手段により取得された第１の距離情報を記憶する記憶手段とを有し、
前記制御手段は、前記記憶手段に記憶した、前記算出手段により算出された相関の高い領域の前記第１の距離情報と、前記取得手段により取得した第２の距離情報とに基づいて、ピント位置を再調整することを特徴とする撮像装置。

【請求項3】

前記制御手段は、映像中の選択した領域の前記第１の距離情報と前記第２の距離情報とに基づいて、前記ピント位置を再調整することを特徴とする請求項１又は２に記載の撮像装置。

【請求項4】

前記制御手段は、前記第１の距離情報と前記第２の距離情報とが略一致するように前記ピント位置を再調整することを特徴とする請求項１～３の何れか１項に記載の撮像装置。

【請求項5】

前記制御手段は、前記第１の距離情報と前記第２の距離情報との一致度が最も高くなるように繰り返し前記ピント位置を再調整することを特徴とする請求項１～４の何れか１項に記載の撮像装置。

【請求項6】

前記制御手段は、前記第１の距離情報を基準として前記第２の距離情報が変化した方向を領域毎に検出し、変化した方向の領域が最も多い方向に前記第２の距離情報が変化した領域の前記第１の距離情報と前記第２の距離情報とに基づいて、前記ピント位置を再調整することを特徴とする請求項１～５の何れか１項に記載の撮像装置。

【請求項7】

前記制御手段は、前記第１の距離情報を基準として前記第２の距離情報が変化した方向を領域毎に検出し、変化した方向の領域が最も多い方向に前記ピント位置の再調整を開始することを特徴とする請求項１～６の何れか１項に記載の撮像装置。

【請求項8】

前記制御手段は、前記第１の距離情報と前記第２の距離情報との変化量に基づいて前記ピント位置を再調整することを特徴とする請求項１～７の何れか１項に記載の撮像装置。

【請求項9】

ピント位置を再調整した時のピント位置の補正量とピント位置の変動要因との関係を記憶しておき、前記取得手段により距離情報が取得できない場合には、記憶したピント位置の補正量とピント位置の変動要因とに基づいてピント位置の再調整を行うことを特徴とする請求項１～８の何れか１項に記載の撮像装置。

【請求項10】

前記制御手段は、前記ピント位置に影響する環境変動があった場合に、前記第１の距離情報と前記第２の距離情報とに基づいて前記ピント位置を再調整することを特徴とする請求項１～９の何れか１項に記載の撮像装置。

【請求項11】

前記取得手段は、位相差センサであることを特徴とする請求項１～１０の何れか１項に記載の撮像装置。

【請求項12】

撮像した映像中の所定の領域毎に被写体までの距離情報を取得する取得工程と、
映像中の固定被写体を検出する検出工程と、
ピント位置を調整する第１の制御工程と、
前記第１の制御工程にてピント位置が調整された時に取得された第１の距離情報を記憶手段に記憶する記憶工程と、
前記記憶手段に記憶した、前記検出工程にて検出した固定被写体に対応する領域の前記第１の距離情報と、取得した第２の距離情報とに基づいて、ピント位置を再調整する第２の制御工程とを有することを特徴とする撮像装置の制御方法。

【請求項13】

撮像装置のコンピュータに、
撮像した映像中の所定の領域毎に被写体までの距離情報を取得する取得ステップと、
映像中の固定被写体を検出する検出ステップと、
ピント位置を調整する第１の制御ステップと、
前記第１の制御ステップにてピント位置が調整された時に取得された第１の距離情報を記憶手段に記憶する記憶ステップと、
前記記憶手段に記憶した、前記検出ステップにて検出した固定被写体に対応する領域の前記第１の距離情報と、取得した第２の距離情報とに基づいて、ピント位置を再調整する第２の制御ステップとを実行させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、撮像装置におけるピントずれ補正技術に関する。

【背景技術】

【0002】

撮像装置には、被写体に対して撮像光学系のピントが合うフォーカスレンズの位置を制御するＡＦ（オートフォーカス）制御を行うものがある。また、撮像装置には、ズーム（変倍）が可能な撮像光学系のズーム位置毎に複数の被写体距離のそれぞれに対してピントが合うフォーカスレンズの位置を示す電子カムデータを記憶したメモリを有するものがある。この撮像装置では、ズームが行われた際に電子カムデータを用いてフォーカスレンズの位置を制御するズームトラッキングを行うことで、ズーム位置が変わっても同じ距離の被写体に対してピントを合わせ続け、ピント位置を固定することができる。

【0003】

ただし、前述のようにしてピント位置を固定しても、温度変化による撮像光学系又は撮像装置の膨張や収縮等によってフォーカスレンズの位置が変化してぼけ（ピントずれ）が発生することがある。これらのぼけを補正するためには、ぼけの量に応じてフォーカスレンズの位置を補正する必要がある。温度変化によるぼけ量は撮像光学系や撮像装置の個体ごとに異なるため、一律の補正量を用いてフォーカスレンズの位置を補正してもぼけを良好に補正することができないことがある。

【0004】

特許文献１には、温度センサにより検出した温度の変化に起因するぼけを補正するためにＡＦ制御を行う撮像装置が開示されている。

【先行技術文献】

【特許文献】

【0005】

【文献】特開２０１２－１２８３１４号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

しかしながら、特許文献１に記載の撮像装置では、ＡＦ制御の対象となる被写体が移動してしまうなどした場合、補正が十分に行われない場合があった。本発明は、撮像光学系の環境変化に起因するピントずれを簡易な構成で良好に補正できるようにすることを目的とする。

【課題を解決するための手段】

【0007】

本発明に係る撮像装置は、撮像した映像中の所定の領域毎に被写体までの距離情報を取得する取得手段と、映像中の固定被写体を検出する検出手段と、ピント位置を調整する制御手段と、前記制御手段によりピント位置が調整された時に前記取得手段により取得された第１の距離情報を記憶する記憶手段とを有し、前記制御手段は、前記記憶手段に記憶した、前記検出手段により検出した固定被写体に対応する領域の前記第１の距離情報と、前記取得手段により取得した第２の距離情報とに基づいて、ピント位置を再調整することを特徴とする。

【発明の効果】

【0008】

本発明によれば、撮像光学系の環境変化に起因するピントずれを簡易な構成で良好に補正することができる。

【図面の簡単な説明】

【0009】

【図1】第１の実施形態における撮像装置の構成例を示す図である。

【図2】第１の実施形態における撮像素子の構成を説明する図である。

【図3】第１の実施形態における撮像素子の構成を説明する図である。

【図4】第１の実施形態におけるピント制御処理の例を示すフローチャートである。

【図5】第１の実施形態における領域分割を説明する図である。

【図6】第２の実施形態におけるピント制御処理の例を示すフローチャートである。

【図7】第３の実施形態におけるピント制御処理の例を示すフローチャートである。

【図8】第４の実施形態における撮像装置の構成例を示す図である。

【図9】第４の実施形態におけるピント制御処理の例を示すフローチャートである。

【図10】第４の実施形態における領域選択の例を示す図である。

【図11】第５の実施形態における撮像装置の構成例を示す図である。

【図12】第５の実施形態におけるピント制御処理の例を示すフローチャートである。

【図13】第５の実施形態における温度と距離の関係の例を示す図である。

【図14】第５の実施形態におけるピント制御処理の他の例を示すフローチャートである。

【発明を実施するための形態】

【0010】

以下、本発明の実施形態を図面に基づいて説明する。

【0011】

（第１の実施形態）
本発明の第１の実施形態について説明する。図１は、第１の実施形態における撮像装置の構成例を示すブロック図である。本実施形態における撮像装置の撮像光学系は、光軸方向に移動して焦点距離を変更するズームレンズ１０１と、光軸方向に移動して焦点調節を行うフォーカスレンズ１０２と、光量を調整する絞りユニット１０３とを有する。撮像光学系を通過した光は、バンドパスフィルタ１０４及びカラーフィルタ１０５を介して撮像素子１０６上に光学像としての被写体像を形成する。バンドパスフィルタ１０４は、撮像光学系の光路に対して進退可能である。

【0012】

撮像素子１０６上に形成された被写体像は、撮像素子１０６により光電変換され、アナログ電気信号（撮像信号）に変換される。撮像素子１０６から出力されるアナログ電気信号（撮像信号）は、ＡＧＣ１０７によりゲイン調整され、Ａ／Ｄ変換器１０８によりデジタル撮像信号に変換された後、カメラ信号処理部１０９に入力される。カメラ信号処理部１０９は、デジタル撮像信号に対して各種の画像処理を行って映像信号を生成する。この映像信号は、通信部１１０を介して撮像装置に有線又は無線通信により接続されたモニタ装置１１８に出力されるとともに、撮像装置内の制御部１１３に出力される。

【0013】

ピント固定データ記憶部１１１は、合焦被写体距離であるピント位置を固定するモードであるピント位置固定モードのオン／オフ及びピント位置固定モードにおいて選択されたモードを示すモード情報を記憶する。これらモード情報は、ユーザ（監視者）が操作するモニタ装置１１８からの通信によって通信部１１０及び制御部１１３を介してピント固定データ記憶部１１１に書き込まれる。モード情報は、ユーザの操作に起因するマニュアルフォーカス（ＭＦ）処理やオートフォーカス（ＡＦ）処理の完了時に、自動的にピント位置固定モードに遷移する。

【0014】

距離情報取得部１１２は、カメラ信号処理部１０９より取得した映像信号に基づいて、評価領域設定部１１８により設定された映像中の各領域の距離情報を取得する。距離情報取得部１１２は、例えば位相差センサである。ここで、距離情報の算出について図２を参照して説明する。図２は、撮像素子１０６における１画素の構成を概略的に示した図である。図２に示すように、１つの画素２０１は、マイクロレンズ２０２を有する。また、１つの画素２０１は、複数の光電変換領域としての複数のフォトダイオード（ＰＤ）２０３、２０４を有する。図２には、１つの画素２０１が２つのＰＤ２０３、２０４を有する例を示しているが、２つ以上であればよく個数に限定はない。

【0015】

図３は、フォーカスレンズ１０２の射出瞳３０３から出射した光束が撮像素子１０６に入射する様子を概念的に示した図である。図３において、３０１は画素アレイの断面、２０２は図２に示したマイクロレンズ、３０２はカラーフィルタ、２０３、２０４は図２に示したＰＤである。ここでは、マイクロレンズ２０２を有する画素に対して、フォーカスレンズ１０２の射出瞳３０３から出射した光束の中心を光軸３０４とする。射出瞳３０３から出射した光は、光軸３０４を中心として撮像素子１０６に入射される。３０５、３０６は、フォーカスレンズ１０２の射出瞳の一部領域を示す。射出瞳３０３の一部領域３０５を通過する光の最外周の光線を３０７、３０８で示し、射出瞳３０３の一部領域３０６を通過する光の最外周の光線を３０９、３１０で示す。

【0016】

図３からわかるように、射出瞳３０３から出射する光束のうち、光軸３０４を境にして、上側の光束はＰＤ２０４に入射し、下側の光束はＰＤ２０３に入射する。つまり、ＰＤ２０３、２０４は、それぞれフォーカスレンズ１０２の射出瞳３０３の異なる領域の光を受光している。ここで、ＰＤ２０３で受光した信号をＡ像とし、ＰＤ２０４で受光した信号をＢ像とすると、Ａ像とＢ像の対の信号の視差に基づいてデフォーカス量を算出でき、そこから距離情報を取得することができる。温度変化等の要因によってレンズ鏡筒に伸び縮みが発生すると、Ａ像とＢ像との視差が温度変化前とは異なるものとなるため、取得される距離情報にも変化が生じる。

【0017】

制御部１１３は、映像信号から算出したその映像信号のコントラスト状態を示すコントラスト評価値や、距離情報取得部１１２から取得した距離情報を用いてオートフォーカス（ＡＦ）制御を行う。フォーカス駆動部１１４は、制御部１１３からの制御に従ってフォーカスレンズ１０２を駆動する。ズーム駆動部１１５は、制御部１１３からの制御に従ってズームレンズ１０１を駆動する。距離情報記憶部１１６は、距離情報取得部１１２が取得した距離情報を、制御部１１３を介して取得して記憶する。

【0018】

次に、本実施形態における制御部１１３が行うピント制御処理（フォーカス制御方法）について説明する。図４は、本実施形態における制御部１１３が行うピント制御処理の例を示すフローチャートである。コンピュータである制御部１１３は、コンピュータプログラムとしてのフォーカス制御プログラムに従ってピント制御処理を実行する。本処理は、一定時間ごとに呼び出されて実行される。

【0019】

ステップＳ４０１では、制御部１１３は、ピント位置固定モードが設定されているか否かを判定する。ピント位置固定モードが設定されていると判定すれば（Ｙｅｓ）、制御部１１３はステップＳ４０５に進む。一方、ピント位置固定モードが設定されていないと判定すれば（Ｎｏ）、制御部１１３はステップＳ４０２に進み、ピント位置固定モードが設定されるまでステップＳ４０１に戻る。

【0020】

ステップＳ４０２においてピント位置固定モードの設定が指示されると（Ｙｅｓ）、制御部１１３はステップＳ４０３に進む。ステップＳ４０３では、制御部１１３は、距離情報取得部１１２によって算出された映像中の各領域の距離情報を取得する。ここで、図５を参照して映像の領域について説明する。図５において、破線で囲まれた領域５０１が距離情報を取得する一領域を示しており、本実施形態ではすべての領域についてそれぞれ平均値を取得するものとする。なお、領域は必ずしもすべて使用する必要はなく、一部の領域のみを用いてもよい。ステップＳ４０４では、制御部１１３は、ステップＳ４０３において取得した距離情報を、基準距離情報として距離情報記憶部１１６に保存する。

【0021】

ステップＳ４０５では、制御部１１３は、ピントに影響する環境変動があったか否かを判定する。制御部１１３は、ピントに影響する環境変動があったと判定した場合（Ｙｅｓ）にはステップＳ４０６に進み、ピントに影響する環境変動がないと判定した場合（Ｎｏ）には本処理を終了する。なお、ピントに影響する環境変動とは、例えば、バンドパスフィルタの挿抜、レンズ鏡筒の温度変化、振動、光源の変化等である。

【0022】

ステップＳ４０６では、制御部１１３は、距離情報取得部１１２によって算出された映像中の各領域の距離情報を取得する。ステップＳ４０７では、制御部１１３は、ステップＳ４０４において保存した基準距離情報と、ステップＳ４０６において取得した距離情報との差分を各領域で算出することで、距離変化量を求める。

【0023】

続いて、ステップＳ４０８では、制御部１１３は、ステップＳ４０７において計算した距離変化量に基づいて、距離情報に変化があったか否かを判定する。例えば、距離変化量の絶対値が０より大きいか否かで判定してもよいし、ある閾値以上であれば距離情報に変化があったと判定してもよい。ここで、閾値は、例えば距離情報の変化量に対するピントボケの具合をあらかじめ測定するなどして決定された値である。制御部１１３は、距離情報に変化があったと判定した場合（Ｙｅｓ）にはステップＳ４０９に進み、そうでないと判定した場合（Ｎｏ）には本処理を終了する。

【0024】

ステップＳ４０９では、制御部１１３は、現在の距離情報とステップＳ４０４において保存した基準距離情報との一致度が最も高くなるようにフォーカスレンズ駆動部１１４により繰り返しフォーカスレンズ１０２を駆動させる。現在の距離情報と基準距離情報との一致度の尺度としては、例えば平均誤差などを用いる（この場合、値が小さいほど一致度が高い）。フォーカスレンズの駆動方法としては、例えば既知のコントラストＡＦと同様の方式を用いることができる。駆動後、制御部１１３は、現在の距離情報と基準距離情報との一致度が最も高くなる位置でフォーカスレンズ１０２を停止させ、本処理を終了する。

【0025】

第１の実施形態によれば、映像から取得された距離情報に基づいて、現在の距離情報と基準距離情報とが略一致するようにピント位置を補正することができ、撮像光学系の環境変化に起因するピントずれを簡易な構成で補正することができる。

【0026】

（第２の実施形態）
次に、本発明の第２の実施形態について説明する。前述した第１の実施形態では、現在の距離情報と基準距離情報との一致度に基づいてピント補正を実行する例を示した。しかし、現在の距離情報と基準距離情報との一致度が高い位置に至るまで繰り返しフォーカスレンズを駆動させるため、補正動作に要する時間が長くなり、ピント位置の再調整に係る動作が目立ってしまうおそれがある。

【0027】

第２の実施形態では、処理開始時の距離情報と基準距離情報との差分からピント補正量を算出し、その補正量だけフォーカスレンズを駆動させることで、より短い補正動作で補正を行う。なお、第２の実施形態における撮像装置の構成は、第１の実施形態における撮像装置と同様であるので、説明を省略する。

【0028】

図６は、第２の実施形態における制御部１１３が行うピント制御処理（フォーカス制御方法）の例を示すフローチャートである。ステップＳ６０１～Ｓ６０７では、制御部１１３は、図４に示した第１の実施形態でのステップＳ４０１～Ｓ４０７と同様の処理を行う。

【0029】

ステップＳ６０８では、制御部１１３は、ステップＳ６０７において算出した各領域の距離変化量の平均値を算出する。ステップＳ６０９では、制御部１１３は、ステップＳ６０８において計算した距離変化量の平均値に基づいて、距離情報に変化があったか否かを判定する。例えば、距離変化量の平均値が０より大きいか否かで判定してもよいし、ある閾値以上であれば距離情報に変化があったと判定してもよい。ここで、閾値は、例えば距離情報の変化量に対するピントボケの具合をあらかじめ測定するなどして決定された値である。制御部１１３は、距離情報に変化があったと判定した場合（Ｙｅｓ）にはステップＳ６１０に進み、そうでないと判定した場合（Ｎｏ）には本処理を終了する。

【0030】

ステップＳ６１０では、制御部１１３は、ステップＳ６０８において計算した距離変化量の平均値に基づいてピント補正量を計算する。本実施形態では、制御部１１３は、例えばピント補正量＝（－１）×距離変化量の平均値（デフォーカス量の平均値）として計算する。

【0031】

次に、ステップＳ６１１では、制御部１１３は、ステップＳ６１０において算出したピント補正量をフォーカスレンズ駆動量に変換する。続くステップＳ６１２では、制御部１１３は、フォーカスレンズ駆動部１１４によりフォーカスレンズ駆動量の分だけフォーカスレンズ１０２を駆動させ、本処理を終了する。

【0032】

（第３の実施形態）
次に、本発明の第３の実施形態について説明する。前述した第１の実施形態では、全領域の距離情報の変化量に基づいてピント補正を実行する例を示した。第１の実施形態では、シンプルな処理で補正の効果を得ることができる。しかし、ピント位置固定モードに遷移した後に、被写体が移動するなどの変化があった場合、その領域の距離情報も変化するため、補正に誤差が生じることがある。

【0033】

温度や光源の変化・振動等の外的要因によってピントズレが発生した場合、被写体に変化がなければ、距離情報はすべての領域が同一方向に変化すると考えられる。そこで、第３の実施形態では、領域毎に距離情報が変化した方向を抽出し、その多数決によって外的要因によるピントズレの方向を推定する。そして、推定された方向に距離情報の変化が発生している領域の距離情報のみを利用して補正処理を行うことで、前記課題を改善する。なお、第３の実施形態における撮像装置の構成は、第１の実施形態における撮像装置と同様であるので、説明を省略する。

【0034】

図７は、第３の実施形態における制御部１１３が行うピント制御処理（フォーカス制御方法）の例を示すフローチャートである。ステップＳ７０１～Ｓ７０８では、制御部１１３は、図４に示した第１の実施形態でのステップＳ４０１～Ｓ４０８と同様の処理を行う。

【0035】

ステップＳ７０９では、制御部１１３は、ステップＳ７０７において算出した距離変化量に基づいて、各領域の距離変化の方向を抽出する。抽出される距離変化の方向は、「遠」、「近」、「変化なし」の３パターンとする。ステップＳ７０７において算出した距離変化量の符号が負である領域は「遠」、正である領域は「近」、０である領域は「変化なし」として抽出される。ステップＳ７１０では、制御部１１３は、距離場が変化した方向を多数決により決定する。制御部１１３は、ステップＳ７０９において抽出した距離変化の方向のうち、最も多いものを抽出する。

【0036】

次に、ステップＳ７１１では、制御部１１３は、ステップＳ７１０において抽出した方向と同一方向に距離情報が変化した領域を選択する。続いて、ステップＳ７１２では、制御部１１３は、ステップＳ７１１において選択した領域を対象にして、図４に示した第１の実施形態でのステップＳ４０９と同様にしてフォーカスレンズ１０２の駆動を行い、処理を終了する。

【0037】

なお、第３の実施形態において、ステップＳ７１２における初回のフォーカスレンズ１０２の駆動方向を、ステップＳ７１０において抽出した距離変化の方向と一致させるようにしてもよい。このようにすることで、補正動作に要する時間を短縮することができる。また、本実施形態では、基準距離情報と現在の距離情報との一致度が最も高くなるようにフォーカスレンズを繰り返し駆動させているが、第２の実施形態のように距離変化量の平均値に基づいて補正量を算出してフォーカスレンズを駆動させてもよい。

【0038】

（第４の実施形態）
次に、本発明の第４の実施形態について説明する。前述した第１の実施形態では、全領域の距離情報の変化量に基づいてピント補正を実行する例を示した。第１の実施形態では、ピント位置固定モードに遷移した後に、被写体が移動するなどの変化があった場合、その領域の距離情報も変化するため、補正量に誤差が生じることがある。第４の実施形態では、映像から固定被写体を抽出し、その領域の距離情報のみを利用して補正処理を行うことで、前記課題を改善する。

【0039】

図８は、第４の実施形態における撮像装置の構成例を示すブロック図である。図８において、図１に示した構成要素と同一の機能を有する構成要素には同一の符号を付し、重複する説明は省略する。固定被写体抽出部８０１は、制御部１１３を介して映像信号を受け取り、映像に含まれる固定被写体の抽出を行う。固定被写体の抽出は、機械学習を用いたオブジェクト検出や、意味的領域分割技術を用いて行われる。固定被写体抽出部８０１による抽出結果は、座標情報と被写体種別と抽出の信頼度とが対応付けられて制御部１１３に通知される。

【0040】

次に、本実施形態における制御部１１３が行うピント制御処理（フォーカス制御方法）について説明する。図９は、第４の実施形態における制御部１１３が行うピント制御処理の例を示すフローチャートである。ステップＳ９０１～Ｓ９０２では、制御部１１３は、図４に示した第１の実施形態でのステップＳ４０１～Ｓ４０２と同様の処理を行う。

【0041】

ステップＳ９０３では、制御部１１３は、固定被写体抽出部８０１により映像信号中の固定被写体を抽出させる。ここで抽出する固定被写体とは、例えば、ビルや鉄塔等の不動な物体である。ステップＳ９０４では、制御部１１３は、ステップＳ９０３において固定被写体抽出部８０１により抽出された固定被写体の領域に含まれる領域を距離情報取得用の領域として設定する。図１０は、ステップＳ９０４において設定された距離情報取得用領域の例を示す図である。図１０において、１００１が固定被写体抽出領域であり、本例ではビルが固定被写体として抽出されている。１００２は距離情報取得領域を示しており、固定被写体抽出領域１００１の内部に設定される。

【0042】

ステップＳ９０５～Ｓ９１１では、制御部１１３は、図４に示した第１の実施形態でのステップＳ４０３～Ｓ４０９と同様の処理を行い、一連の処理を終了する。

【0043】

第４の実施形態によれば、距離情報を取得する領域を、ビルや鉄塔等の固定被写体に対応する領域に設定している。このようにすることで、被写体移動による距離情報の変化の影響を抑制し、ピント変動による距離情報の変化をより精度よく抽出できるため、補正量の誤差を低減することができる。

【0044】

なお、ステップＳ９０４では、固定被写体の領域に含まれる領域のみを距離情報取得用の領域として設定しているが、これに限定されるものではない。例えば、ステップＳ９１１における一致度算出の際、各領域に重みづけを行い、固定被写体の領域に含まれる領域に高い重みを付与するようにしてもよい。このようにすることで、固定被写体が抽出できなかった場合においても補正を行うことが可能となる。さらに、ステップＳ９０３において固定被写体毎の抽出信頼度も同時に取得し、その値に基づいた重みづけを行ってもよい。このようにすることで、より正確に抽出された固定被写体領域の距離情報を優先的に補正処理に用いることができるため、補正の精度を向上させることができる。また、本実施形態では、基準距離情報と現在の距離情報との一致度が最も高くなるようにフォーカスレンズを繰り返し駆動させているが、第２の実施形態のように距離変化量の平均値に基づいて補正量を算出してフォーカスレンズを駆動させてもよい。

【0045】

（第５の実施形態）
次に、本発明の第５の実施形態について説明する。第５の実施形態では、温度変化と距離変化の相関を算出し、相関の高い領域の距離情報のみを補正処理に利用することで、補正量に誤差が生じることを改善する。

【0046】

図１１は、第５の実施形態における撮像装置の構成例を示すブロック図である。図１１において、図１に示した構成要素と同一の機能を有する構成要素には同一の符号を付し、重複する説明は省略する。温度検出部１１０１は、撮像装置のレンズ鏡筒（撮像光学系）の温度を検出する。温度検出部１１０１としては、サーミスタ等の温度センサが用いられる。制御部１１３は、所定時間ごとに温度検出部１１０１を通じて温度の情報を取得し、温度の変化を監視する。

【0047】

図１２は、第５の実施形態における制御部１１３が行うピント制御処理（フォーカス制御方法）の例を示すフローチャートである。ステップＳ１２０１～Ｓ１２０３では、制御部１１３は、図４に示した第１の実施形態でのステップＳ４０１～Ｓ４０３と同様の処理を行う。

【0048】

ステップＳ１２０４では、制御部１１３は、ステップＳ１２０３において取得した距離情報を、基準距離情報として距離情報記憶部１１６に保存する。このとき、本処理において過去に保存した距離情報がある場合には、その情報を消去する。ステップＳ１２０５では、制御部１１３は、温度検出部１１０１を通じて温度情報を取得する。ステップＳ１２０６では、制御部１１３は、ステップＳ１２０５において取得した温度情報を基準温度情報として保存する。このとき、本処理において過去に保存した温度情報がある場合には、その情報を消去する。

【0049】

ステップＳ１２０７では、制御部１１３は、温度検出部１１０１を通じて温度情報を取得する。ステップＳ１２０８では、制御部１１３は、図４に示した第１の実施形態におけるステップＳ４０６と同様にして、映像中の各領域の距離情報を取得する。ステップＳ１２０９では、制御部１１３は、ステップＳ１２０７において取得した温度情報と、ステップＳ１２０８において取得した各領域の距離情報とを対応付けて保存する。

【0050】

ステップＳ１２１０では、制御部１１３は、ステップＳ１２０９において保存した温度情報と距離情報との相関係数を算出する。このとき、ステップＳ１２０４において保存した基準距離情報とステップＳ１２０６において保存した基準温度情報も併せて用いる。相関係数ｒは、下記式（１）により求めることができる。
ｒ＝温度と距離との共分散／（温度の標準偏差×距離の標準偏差）・・・式（１）
相関係数ｒは（－１）～１の値となり、値が負であれば負の相関、値が正であれば正の相関を持つ。値の絶対値が大きいほど相関が高いことを示す。

【0051】

図１３（ａ）～図１３（ｃ）は、それぞれ異なる領域Ａ、Ｂ、Ｃにおける温度と距離との関係を示した例である。図１３（ｄ）には、それぞれの具体的数値例を示している。図１３（ｄ）において、網掛け部分は基準距離情報と基準温度情報とを示している。式（１）を用いて相関係数を算出すると、それぞれ０．９９、０．９７、－０．３６となる。

【0052】

ステップＳ１２１１では、制御部１１３は、ステップＳ１２１０において算出した相関係数の絶対値が大きい（閾値を超えた）領域を距離変化量算出用の領域として設定する。ここで、閾値は、精度を重視する場合には大きい値を設定し、ノイズ等の外乱を許容する場合には値を小さく調整する。本実施形態では、一例として０．５とする。図１３に示した例では、領域Ａ、Ｂが距離変化量算出用の領域として設定される。

【0053】

ステップＳ１２１２では、制御部１１３は、ステップＳ１２１１において設定された領域の距離変化量を算出する。なお、ステップＳ１２１１において領域が設定されなかった場合には、距離変化量は０とする。

【0054】

ステップＳ１２１３では、制御部１１３は、図４に示した第１の実施形態におけるステップＳ４０８と同様にして、距離情報に変化があったか否かを判定する。最後に、ステップＳ１２１４では、制御部１１３は、ステップＳ１２１１において設定された領域について、図４に示した第１の実施形態におけるステップＳ４０９と同様の処理を行い、一連の処理を終了する。

【0055】

なお、本実施形態では、基準距離情報と現在の距離情報との一致度が最も高くなるようにフォーカスレンズを繰り返し駆動させているが、第２の実施形態のように距離変化量の平均値に基づいて補正量を算出してフォーカスレンズを駆動させてもよい。

【0056】

図１４は、第５の実施形態における制御部１１３が行うピント制御処理の例を示すフローチャートであり、距離変化量の平均値に基づいて補正量を算出してフォーカスレンズを駆動させる例を示している。ステップＳ１４０１～Ｓ１４１２では、制御部１１３は、図１２に示したステップＳ１２０１～Ｓ１２１２と同様の処理を行う。

【0057】

ステップＳ１４１３では、制御部１１３は、ステップＳ１４１１において設定された領域について、図６に示した第２の実施形態におけるステップＳ６０８と同様にして、ステップＳ１４１２において算出した距離変化量の平均値を算出する。ステップＳ１４１３では、制御部１１３は、図６に示した第２の実施形態におけるステップＳ６０９と同様にして、ステップＳ１４１３において計算した距離変化量の平均値に基づいて、距離情報に変化があったか否かを判定する。

【0058】

ステップＳ１４１５では、制御部１１３は、図６に示した第２の実施形態におけるステップＳ６１０と同様にして、ステップＳ１４１３において計算した距離変化量の平均値に基づいてピント補正量を計算する。次に、ステップＳ１４１６では、制御部１１３は、図６に示した第２の実施形態におけるステップＳ６１１と同様にして、ステップＳ１４１５において算出したピント補正量をフォーカスレンズ駆動量に変換する。続くステップＳ１４１７では、制御部１１３は、図６に示した第２の実施形態におけるステップＳ６１２と同様にして、フォーカスレンズ駆動量の分だけフォーカスレンズ１０２を駆動させ、本処理を終了する。

【0059】

なお、各実施形態において、処理実行時の補正量又は駆動量をピント位置の変動要因毎に保存しておき、低照度など何らかの要因で距離情報が取得できなくなった場合には、ピント変動要因に応じて保存した補正量又は駆動量を用いて補正処理を行ってもよい。

【0060】

（本発明の他の実施形態）
本発明は、前述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読み出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

【0061】

なお、前記実施形態は、何れも本発明を実施するにあたっての具体化のほんの一例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。

【符号の説明】

【0062】

１０１：ズームレンズ １０２：フォーカスレンズ １１１：ピント固定データ記憶部 １１２：距離情報取得部 １１３：制御部 １１４：フォーカス駆動部 １１５：ズーム駆動部 １１６：距離情報記憶部 １１７：評価領域設定部 ８０１：固定被写体抽出部 １１０１：温度検出部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】