知財求人 - 知財ポータルサイト「IP Force」
特開2025-139945画像処理装置、撮像装置、画像処理方法、およびプログラム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2025139945
(43)【公開日】2025-09-29
(54)【発明の名称】画像処理装置、撮像装置、画像処理方法、およびプログラム
(51)【国際特許分類】
H04N 23/60 20230101AFI20250919BHJP
H04N 23/12 20230101ALI20250919BHJP
【ＦＩ】
H04N23/60 500
H04N23/12
【審査請求】未請求
【請求項の数】16
【出願形態】ＯＬ
(21)【出願番号】P 2024039048
(22)【出願日】2024-03-13
(71)【出願人】
【識別番号】000001007
【氏名又は名称】キヤノン株式会社
(74)【代理人】
【識別番号】100110412
【弁理士】
【氏名又は名称】藤元 亮輔
(74)【代理人】
【識別番号】100104628
【弁理士】
【氏名又は名称】水本 敦也
(74)【代理人】
【識別番号】100121614
【弁理士】
【氏名又は名称】平山 倫也
(72)【発明者】
【氏名】杉山 慶
【テーマコード（参考）】
5C122
【Ｆターム（参考）】
5C122EA12
5C122FD04
5C122FH02
5C122FH06
5C122FH11
5C122FH14
5C122HA13
5C122HA35
5C122HA75
5C122HA81
5C122HB01
5C122HB06
5C122HB10
(57)【要約】
【課題】光学系により劣化した画像を高精度に補正するための光学補正情報を決定することが可能な画像処理装置を提供する。
【解決手段】光学系（１００）により劣化した画像を補正する画像処理装置（５００）であって、画像における被写体を判定する判定手段（１１２）と、被写体までの距離に関する被写体距離情報を取得する距離取得手段（１１１）と、光学系におけるレンズ群の位置に関するレンズ位置情報を取得する位置取得手段（１０７）と、被写体距離情報とレンズ位置情報とを用いて、画像の劣化を補正するための光学補正情報を決定する処理手段（１０４）とを有する。
【選択図】図５
【解決手段】光学系（１００）により劣化した画像を補正する画像処理装置（５００）であって、画像における被写体を判定する判定手段（１１２）と、被写体までの距離に関する被写体距離情報を取得する距離取得手段（１１１）と、光学系におけるレンズ群の位置に関するレンズ位置情報を取得する位置取得手段（１０７）と、被写体距離情報とレンズ位置情報とを用いて、画像の劣化を補正するための光学補正情報を決定する処理手段（１０４）とを有する。
【選択図】図５
【特許請求の範囲】
【請求項1】
光学系により劣化した画像を補正する画像処理装置であって、
前記画像における被写体を判定する判定手段と、
前記被写体までの距離に関する被写体距離情報を取得する距離取得手段と、
前記光学系におけるレンズ群の位置に関するレンズ位置情報を取得する位置取得手段と、
前記被写体距離情報と前記レンズ位置情報とを用いて、前記画像を補正するための光学補正情報を決定する処理手段とを有することを特徴とする画像処理装置。
前記画像における被写体を判定する判定手段と、
前記被写体までの距離に関する被写体距離情報を取得する距離取得手段と、
前記光学系におけるレンズ群の位置に関するレンズ位置情報を取得する位置取得手段と、
前記被写体距離情報と前記レンズ位置情報とを用いて、前記画像を補正するための光学補正情報を決定する処理手段とを有することを特徴とする画像処理装置。
【請求項2】
前記処理手段は、前記光学補正情報を用いて前記画像を補正することを特徴とする請求項１に記載の画像処理装置。
【請求項3】
前記被写体距離情報は、前記被写体までの絶対距離に関する情報であることを特徴とする請求項１に記載の画像処理装置。
【請求項4】
バックフォーカスずれ情報または光学フィルタ情報ごとに前記光学補正情報を記憶する記憶手段を更に有することを特徴とする請求項１に記載の画像処理装置。
【請求項5】
前記処理手段は、
前記被写体距離情報と前記レンズ位置情報とを用いてバックフォーカスずれ情報を取得し、
前記バックフォーカスずれ情報に対応する前記光学補正情報を決定することを特徴とする請求項１に記載の画像処理装置。
前記被写体距離情報と前記レンズ位置情報とを用いてバックフォーカスずれ情報を取得し、
前記バックフォーカスずれ情報に対応する前記光学補正情報を決定することを特徴とする請求項１に記載の画像処理装置。
【請求項6】
前記処理手段は、
前記被写体距離情報と前記レンズ位置情報とを用いて光学フィルタ情報を取得し、
前記光学フィルタ情報に対応する前記光学補正情報を決定することを特徴とする請求項１に記載の画像処理装置。
前記被写体距離情報と前記レンズ位置情報とを用いて光学フィルタ情報を取得し、
前記光学フィルタ情報に対応する前記光学補正情報を決定することを特徴とする請求項１に記載の画像処理装置。
【請求項7】
前記距離取得手段は、アバランシェフォトダイオードセンサであることを特徴とする請求項１乃至６のいずれか一項に記載の画像処理装置。
【請求項8】
前記距離取得手段は、
発光手段と受光手段とを有し、
前記発光手段は、前記被写体へ向けて光を発し、
前記受光手段は、前記被写体からの反射光を受光することを特徴とする請求項１乃至６のいずれか一項に記載の画像処理装置。
発光手段と受光手段とを有し、
前記発光手段は、前記被写体へ向けて光を発し、
前記受光手段は、前記被写体からの反射光を受光することを特徴とする請求項１乃至６のいずれか一項に記載の画像処理装置。
【請求項9】
前記光学補正情報は、歪曲収差または倍率色収差に関する補正情報であり、
前記処理手段は、前記画像の光学中心に関して回転対称な画像補正処理を行うことを特徴とする請求項１乃至６のいずれか一項に記載の画像処理装置。
前記処理手段は、前記画像の光学中心に関して回転対称な画像補正処理を行うことを特徴とする請求項１乃至６のいずれか一項に記載の画像処理装置。
【請求項10】
前記光学補正情報は、軸上色収差または像面湾曲収差に関する補正情報であり、
前記処理手段は、前記画像に対して画像回復処理を行うことを特徴とする請求項１乃至６のいずれか一項に記載の画像処理装置。
前記処理手段は、前記画像に対して画像回復処理を行うことを特徴とする請求項１乃至６のいずれか一項に記載の画像処理装置。
【請求項11】
前記光学補正情報は、前記画像における前記被写体の周波数に応じた焦点位置の変動に関する情報であることを特徴とする請求項１乃至６のいずれか一項に記載の画像処理装置。
【請求項12】
温度情報を取得する温度検出手段を更に有し、
前記処理手段は、前記被写体距離情報と前記レンズ位置情報と前記温度情報とを用いて前記光学補正情報を決定することを特徴とする請求項１乃至６のいずれか一項に記載の画像処理装置。
前記処理手段は、前記被写体距離情報と前記レンズ位置情報と前記温度情報とを用いて前記光学補正情報を決定することを特徴とする請求項１乃至６のいずれか一項に記載の画像処理装置。
【請求項13】
請求項１乃至６のいずれか一項に記載の画像処理装置と、撮像素子とを有することを特徴とする撮像装置。
【請求項14】
前記撮像素子と前記距離取得手段は、共通化されていることを特徴とする請求項１３に記載の撮像装置。
【請求項15】
光学系により劣化した画像を補正する画像処理方法であって、
前記画像における被写体を判定するステップと、
前記被写体までの距離に関する被写体距離情報を取得するステップと、
前記光学系におけるレンズ群の位置に関するレンズ位置情報を取得するステップと、
前記被写体距離情報と前記レンズ位置情報とを用いて、前記画像を補正するための光学補正情報を決定するステップとを有することを特徴とする画像処理方法。
前記画像における被写体を判定するステップと、
前記被写体までの距離に関する被写体距離情報を取得するステップと、
前記光学系におけるレンズ群の位置に関するレンズ位置情報を取得するステップと、
前記被写体距離情報と前記レンズ位置情報とを用いて、前記画像を補正するための光学補正情報を決定するステップとを有することを特徴とする画像処理方法。
【請求項16】
請求項１５に記載の画像処理方法をコンピュータに実行させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像処理装置、撮像装置、画像処理方法、およびプログラムに関する。
【背景技術】
【0002】
従来、光学系のレンズ位置情報を用いて被写体距離を推定し、推定した被写体距離に基づいて光学系により劣化した画像を補正する方法が知られている。特許文献１には、被写体距離に対応する光学系の結像特性に基づいて、撮影画像のぼけ補正を行う撮像装置が開示されている。特許文献２には、撮像装置から主要被写体領域までの距離に応じた回復フィルタを用いて、光学レンズ系に起因する撮像画像の劣化を補正する画像処理装置が開示されている。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開２０１２－４９７７３号公報
【特許文献2】特開２０１１－４４８２５号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかし、実際の被写体距離は、製造誤差や環境変化によるバックフォーカスずれ、光学フィルタの有無、および温度変化などに応じて変化する。このため、レンズ位置情報から推定された被写体距離を用いる場合、特許文献１に開示されているぼけ補正、および特許文献２に開示されている撮像画像の補正を高精度に行うことができない可能性がある。
【0005】
そこで本発明は、光学系により劣化した画像を高精度に補正するための光学補正情報を決定することが可能な画像処理装置を提供することを目的とする。
【課題を解決するための手段】
【0006】
本発明の一側面としての画像処理装置は、光学系により劣化した画像を補正する画像処理装置であって、前記画像における被写体を判定する判定手段と、前記被写体までの距離に関する被写体距離情報を取得する距離取得手段と、前記光学系におけるレンズ群の位置に関するレンズ位置情報を取得する位置取得手段と、前記被写体距離情報と前記レンズ位置情報とを用いて、前記画像を補正するための光学補正情報を決定する処理手段とを有する。
【0007】
本発明の他の目的及び特徴は、以下の実施形態において説明される。
【発明の効果】
【0008】
本発明によれば、光学系により劣化した画像を高精度に補正するための光学補正情報を決定することが可能な画像処理装置を提供することができる。
【図面の簡単な説明】
【0009】
【図1】本実施形態における撮像光学系の断面図である。
【図2】本実施形態における撮像光学系の収差図である。
【図3】本実施形態における撮像光学系の点像を示す図である。
【図4】本実施形態における撮像光学系の歪曲マップを示す図である。
【図5】本実施形態における撮像装置のブロック図である。
【図6】本実施形態における画像処理部の処理を示すフローチャートである。
【発明を実施するための形態】
【0010】
以下、本発明の実施形態について、図面を参照しながら詳細に説明する。
【0011】
まず、図１を参照して、本実施形態における光学系（撮像光学系）１００について説明する。図１は、光学系１００の断面図である。なお、図１に示される光学系１００は、画像を取得するための撮像光学系の一例であり、光学系１００の諸量は数値実施例として後述する。
【0012】
光学系１００は、絞り（開口絞り）ＳＰと、フォーカス群（レンズ群）１０１を含む複数のレンズ群とを有する。光学系１００において、フォーカス群１０１は、物体側から平行平板を含めて数えて８番目の光学素子（第８レンズ）である。なお本実施形態において、フォーカス群１０１の構成は、これに限定されるものではなく、フロントフォーカス、リアフォーカス、全体繰り出し、フローティングなどの種々のフォーカス方式を採用することができる。本実施形態において、無限遠から至近にフォーカスさせる際に、フォーカス群１０１は物体側へ繰り出す。像面ＩＰは、光学系１００の近軸像面を表し、撮像装置５００の撮像素子１０２（図５参照）が配置される。ただし実際には、撮像素子１０２の位置と近軸像面の位置は必ずしも一致しない。
【0013】
次に、図２（ａ）～（ｃ）、図３（ａ）、（ｂ）、および図４（ａ）、（ｂ）を参照して、光学系１００の収差について説明する。図２（ａ）～（ｃ）は、光学系１００の収差図である。図２（ａ）は、被写体距離∞の場合の収差図を示す。フォーカスに際し、収差は変化する。図２（ｂ）は、被写体距離－２７０ｍｍの場合の収差図を示す。被写体距離は、像面ＩＰからの距離である。被写体距離－２７０ｍｍにフォーカスするためのフォーカス群１０１の移動量は－０．３３ｍｍである。このように、フォーカスに際して収差が変化するが、被写体距離、もしくはそれに対応するフォーカス群１０１の移動量に応じて収差補正値または画像回復フィルタを与え、画像処理を行う方法が既に知られている。
【0014】
しかしながら、バックフォーカスの長さ、すなわち光学系１００を構成するレンズの最終面（光学系１００のうち像側のレンズ面）から撮像素子までの距離は、種々の要因により変動する。例えば、レンズ交換式カメラシステムにおける撮像装置とレンズ装置のマウント部に関する製造誤差や、レンズ交換を可能にするための摺動余裕により、バックフォーカスは変化する。また、レンズ交換式カメラではない場合でも、環境温度の変化に伴うレンズのバックフォーカスずれが生じる。
【0015】
図２（ｂ）は、これらの要因により、近軸像面から撮像素子が－０．１ｍｍずれた状態の収差図を示す。このとき、被写体距離は∞である。被写体距離が∞であるにも関わらず、近軸像面よりも物体側に結像する必要があるため、フォーカス群１０１を繰り出す必要がある。図２（ｂ）は、バックフォーカスずれ－０．１ｍｍに対応し、フォーカス群１０１の移動量－０．３３ｍｍの収差図を示す。
【0016】
ここで、一般に、フォーカス群を有するレンズ装置を装着した撮像装置（またはフォーカス群を備える撮像装置）は、フォーカス群の移動量から被写体距離を推定する。このため撮像装置は、図２（ｂ）の収差図に示されるように、バックフォーカスずれ－０．１ｍｍをフォーカス群の移動で吸収するためのフォーカス群の移動量－０．３３ｍｍから、被写体距離が－２７０ｍｍであると決定する。そして撮像装置は、フォーカス群の移動量から決定された被写体距離に対応する収差補正値または画像回復フィルタなどの光学補正情報を選択する。
【0017】
しかし、図３（ａ）、（ｂ）に示される、ｄ線における光学系１００の点像を示す図からわかるように、図２（ｂ）の点像と、図２（ｃ）の点像とは互いに異なる。すなわちフォーカス群１０１の移動量が同じであっても、被写体距離が異なれば、点像は変化する。なお図３（ａ）、（ｂ）では、像高０ｍｍと像高７ｍｍのそれぞれのｄ線における点像を±０．０５ｍｍのスケールで示している。
【0018】
図４（ａ）、（ｂ）は、ｄ線における光学系１００の歪曲マップを示す図である。図４（ａ）、（ｂ）は、図２（ａ）、（ｂ）に対応する歪曲マップをそれぞれ示す。なお歪曲マップとは、物体側の正方格子像が像側において歪曲収差によってどのように変動するか示す図である。図４（ａ）、（ｂ）の下部は、歪曲を１０倍に強調して表示した歪曲マップを示す。このように、被写体距離の変化により、点像のみならず、歪曲収差、および各ＲＧＢチャンネルの歪曲を与える倍率色収差も変動する。
【0019】
このように、フォーカス群１０１の移動量（または位置情報）から被写体距離を推定する方法では、バックフォーカスずれにより収差補正量または画像回復フィルタなどの光学補正情報が誤差を含むため、高精度な光学補正情報を取得することができない。
【0020】
次に、図５を参照して、本実施形態における撮像装置５００について説明する。図５は、撮像装置５００のブロック図である。撮像装置５００は、カメラ本体と、カメラ本体に着脱可能なレンズ装置（光学系１００）とを備えて構成される。ただし本実施形態は、これに限定されるものではなく、光学系１００とカメラ本体とが一体的に構成されていてもよい。
【0021】
撮像装置５００は、光学系（撮像光学系）１００により劣化した画像（撮像画像）を補正する画像処理装置である。なお撮像装置５００は、光軸ＯＡに沿って配置された複数のレンズを備えた一つの光学系１００を有するカメラであって、互いに並列に配置された複数の光学系を備えたステレオカメラとは異なる。
【0022】
撮像素子１０２は、アバランシェフォトダイオード（ＡＰＤ）を有するイメージセンサ（アバランシェフォトダイオードセンサ）であり、好ましくは、シングルフォトンアバランシェダイオード（ＳＰＡＤ）センサである。ただし本実施形態は、これに限定されるものではなく、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ－Ｏｘｉｄｅ－Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサまたはＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）イメージセンサであってもよい。撮像素子１０２は、撮像光学系１００により形成される光学像を光電変換して電気信号（アナログ信号）を取得する。撮像素子１０２で取得された電気信号は、デジタル信号に変換され、画像処理部１０４に入力される。
【0023】
システムコントローラ１１０は、ＣＰＵ、ＲＯＭ、ＲＡＭなどを有する制御部であり、ＲＯＭに記憶されたコンピュータプログラムを実行することで撮像装置５００を制御する。
【0024】
画像処理部１０４は、状態検知部１０７から撮像装置５００の状態（撮像状態）に関する情報を取得する。状態検知部１０７は、システムコントローラ１１０から撮像装置５００の撮像状態に関する情報を取得してもよく、または、光学系制御部１０６から取得してもよい。
【0025】
ここで撮像状態に関する情報は、光学系１００の種類、フォーカス群の駆動量、フォーカス群の位置、ズーム群の駆動量、ズーム群の位置、ズームに伴うコンペンセータ群の駆動量、コンペンセータ群の位置、または開口絞りＳＰの駆動量に関する情報を含む。特に本実施形態において、状態検知部１０７は、光学系１００におけるレンズ群（フォーカス群１０１）の位置に関するレンズ位置情報を取得する位置取得手段として機能する。また撮像状態に関する情報は、光学系１００に内蔵された温度センサ（温度検出手段）１１３の値（温度情報）、光学系１００が内蔵しているＲＯＭ（記憶手段）に関する情報を含んでいてもよい。なお本実施形態において、撮像状態に関する情報は、上述の情報の少なくとも一つを含んでいればよく、または他の情報を含んでいてもよい。
【0026】
距離取得部（距離取得手段）１１１は、ＳＰＡＤセンサなどのアバランシェフォトダイオードセンサ（受光手段）を有し、被写体までの距離（絶対距離）に関する被写体距離情報を取得する。被写体距離情報とは、距離取得部１１１（または撮像素子１０２）から被写体までの距離、もしくは光学系１００から被写体までの距離である。なお本実施形態において、距離取得部１１１としての機能および撮像素子１０２としての機能とを同一の素子で実現してもよい（距離取得部１１１と撮像素子１０２とを共通化してもよい）。換言すると、撮像素子１０２は、距離取得部１１１としての機能を実現するように構成してもよい。
【0027】
本実施形態において、被写体までの距離に関する被写体距離情報は、距離取得部１１１により実測して取得された情報であり、光学系制御部１０６から取得される光学系１００のフォーカス位置およびズーム位置などのレンズ位置情報から推定される情報とは異なる。距離取得部１１１は、光学系１００の全画界に対する距離情報を取得してもよく、または、フォーカスしている被写体のみの距離情報を取得してもよい。画像処理部（処理手段）１０４は、距離取得部１１１で取得された距離情報に基づいて、被写体距離に応じた領域分割（撮像画像を複数の領域に分割する処理）を行ってもよい。
【0028】
被写体判定部（判定手段）１１２は、撮像画像（撮像画像データ）における被写体（主要被写体）の領域、または主要被写体と同じピント（同じ焦点状態）の被写体領域を判定して抽出することができる。
【0029】
画像処理部１０４は、距離取得部１１１により取得された被写体距離情報と、状態検知部１０７により取得された光学系１００の撮像状態に関する情報とを用いて、最適な収差補正量または画像回復フィルタなどの光学補正情報を、記憶部１０８から取得する。すなわち画像処理部１０４は、被写体距離情報と撮像状態に関する情報とを用いて、画像を補正するための光学補正情報を決定する。ここで光学系１００の撮像状態に関する情報は、例えばフォーカス群１０１の駆動量または位置に関する情報（レンズ位置情報）を含むが、これらに限定されるものではない。
【0030】
本実施形態において、記憶部１０８は、フォーカス群１０１の駆動量および被写体距離ごとに最適な収差補正量および画像回復フィルタなどの光学補正情報が登録されたデータベースを記憶している記憶手段である。記憶部１０８は、例えば、バックフォーカスずれ情報または光学フィルタ情報（光学フィルタの厚みに関する情報）ごとに光学補正情報を記憶している。
【0031】
本実施形態において、画像処理部１０４は、例えば、被写体距離情報とレンズ位置情報とを用いてバックフォーカスずれ情報を取得し、バックフォーカスずれ情報に対応する光学補正情報を決定することができる。また本実施形態において、画像処理部１０４は、例えば、被写体距離情報とレンズ位置情報とを用いて光学フィルタ情報を取得し、光学フィルタ情報に対応する光学補正情報を決定することができる。
【0032】
画像処理部１０４により補正された画像データは、表示部１０５に表示してもよい。本実施形態において、回復フィルタは、光学系１００の設計データを用いて作成され、製造誤差による変動データをさらに用いて作成されてもよい。本実施形態において、記憶部１０８はカメラ本体に設けられているが、これに限定されるものではなく、記憶部１０８がレンズ装置に設けられていてもよい。また本実施形態において、回復フィルタは、点像分布関数（ＰＳＦ）の逆フィルタ、またはそれに補正を加えたフィルタ、またはウィーナーフィルタなどのフィルタなどでもよい。
【0033】
【0034】
まずステップＳ１０１において、画像処理部１０４は、撮像素子１０２から撮像画像データを取得する。続いてステップＳ１０２において、被写体判定部１１２は、撮像画像データに基づいて主要被写体領域を選択（判定）する。続いてステップＳ１０３において、画像処理部１０４は、主要被写体領域の距離情報を取得する。続いてステップＳ１０４において、状態検知部１０７は、フォーカス群１０１を含むレンズ群の位置情報を取得する。
【0035】
続いてステップＳ１０５において、画像処理部１０４は、主要被写体領域の距離情報と、レンズ群の位置情報とに基づいて、画像補正に用いられる収差補正量または画像回復フィルタなどの光学補正情報（補正係数）を記憶部１０８から取得（選択）する。なお本実施形態において、記憶部１０８は撮像装置５００に設けられているが、これに限定されるものではない。記憶部１０８は、例えば、撮像装置５００に接続された外部装置に設けられていてもよく、またはクラウド上に設けられていてもよい。
【0036】
続いてステップＳ１０６において、画像処理部１０４は、ステップＳ１０５にて取得した光学補正情報（補正係数）を用いて、撮像画像における特定の画像成分に対して、光学系１００およびバックフォーカスずれにより劣化した画像（劣化画像）を補正する。ここで、この補正は、主要被写体に対してのみ、または主要被写体と同じピントの被写体領域に対してのみ行うことができる。または、撮像画像の全領域に対して、距離や像高ごとに補正を行ってもよい。
【0037】
次に、本実施形態における画像処理部１０４が満足することが好ましい条件について述べる。
【0038】
撮像素子１０２は、ＡＰＤを有するイメージセンサであることが好ましい。ＡＰＤを用いることで、撮像素子１０２と距離取得部１１１とを兼ねることができる。また本実施形態において、距離取得部１１１または撮像素子１０２、ＡＰＤにより距離情報を取得するための補助光投光手段（発光手段）を有することが好ましい。距離取得部１１１は、発光手段を用いて被写体へ向けて光を発し、受光手段を用いて被写体からの反射光を受光する。
【0039】
本実施形態において、撮像素子１０２は、ＳＰＡＤセンサであることがより好ましい。ＳＰＡＤセンサを用いることにより、夜間やＦ値の大きな暗いレンズ装置であっても、高感度撮影に対応し、より鮮明な画像を得ることが可能になる。
【0040】
本実施形態において、光学補正情報は、歪曲収差または倍率色収差の補正情報を含み、少なくとも被写体距離情報およびレンズ位置情報に応じた補正値を有し、画像の光学中心に対して回転対称な画像補正処理を行うことが好ましい。
【0041】
図４（ａ）、（ｂ）を参照して説明したように、本実施形態では、被写体距離のみならず、バックフォーカスずれに伴うフォーカス群駆動によって変動する歪曲収差や倍率色収差の補正を行うことができる。また、光学補正情報は、軸上色収差または像面湾曲収差の補正情報であり、少なくとも被写体距離情報およびレンズ位置情報に応じた補正フィルタを有し、撮像画像に対し畳み込み処理（画像回復処理）を行うことが好ましい。
【0042】
図３（ａ）、（ｂ）を参照して説明したように、本実施形態では、被写体距離のみならず、バックフォーカスずれに伴うフォーカス群駆動によって変動するＰＳＦに対応する収差補正を行うことができる。
【0043】
本実施形態において、光学補正情報は、周波数によるピント位置（焦点位置）の変動に応じた情報を含むことが好ましい。ここで周波数とは、像面上の周波数（ラインペア―本／ｍｍ）である。被写体距離の変動とフォーカス群位置とにより、光学系１００のデフォーカス方向のＭＴＦ（変調伝達関数）は変化する。これにより、周波数ごとの最良ピント位置が変化する。この補正値を光学系制御部１０６に与えることで、さらに高精度なフォーカスが可能になり、画質が向上する。
【0044】
記憶部１０８は、レンズ装置（光学系１００）に取り付けられたＮＤフィルタなどの光学フィルタの厚みなどの光学フィルタ情報に応じて異なる光学補正情報を記憶していることが好ましい。また画像処理部１０４は、ユーザにより入力された光学フィルタ情報、またはシステムコントローラ１１０により算出された光学フィルタ情報に応じて、最適な光学補正情報を選択することができる。
【0045】
光学フィルタの厚みは、次のように算出することができる。まず、ある被写体距離に置いて、光学フィルタの無い状態でのフォーカス群位置ｄ１を記憶する。次に、光学フィルタを挿入し、フォーカス動作を行った後のフォーカス群の位置ｄ２を記憶する。システムコントローラにおいて、ｄ１とｄ２を比較することで、フォーカス群の駆動量が分かる。屈折率ｎの光学フィルタを挿入したとき、バックフォーカスは、（ｎ－１）εだけ長くなる。ここで、εは光学フィルタの厚みである。また、フォーカス敏感度、すなわちフォーカス群を１ｍｍ駆動した際の像面の移動量は、（１－β１＾２）β２＾２で表される。ここで、β１はフォーカス群の横倍率、β２はフォーカス群以後の全レンズの横倍率である。
【0046】
ε＝（ｄ２－ｄ１）（１－β１＾２）β２＾２／（ｎ－１）により、光学フィルタの厚みを求めることができる。光学フィルタの厚みの差により光学系１００の像面湾曲や軸上色収差、球面収差が変動する。したがって、被写体距離およびフォーカス群移動量に応じた光学補正情報を、さらに様々な厚みεごとに記憶しておくことで、光学フィルタによる画像劣化を補正することができる。ここで、必ずしも厚みεを算出するだけでなく、フォーカス群１０１の移動量自体から光学フィルタの差に相当する光学補正情報を選択してもよい。
【0047】
また光学補正情報は、温度ごとに異なっていてもよい。レンズ装置または撮像装置５００に内蔵された温度センサ１１３によって温度（温度情報）を取得してもよい。または、ユーザが撮像装置５００に温度を入力してもよい。これにより、温度によるバックフォーカスずれ量変化を含んだ画像補正処理を行うことができる。
【0048】
次に、光学系１００の数値実施例を示す。数値実施例は、無限遠合焦状態を表している。数値実施例において、面番号は物体側から数えた光学面の番号を示す。ｒは物体側から数えて第ｉ番目（ｉは自然数）の光学面（第ｉ面）の曲率半径、ｄは第ｉ面と第（ｉ＋１）面とのの間の間隔（光軸上での距離）である。ｎｄ、νｄはそれぞれｄ線に対する屈折率、アッベ数である。なお、ある材料のアッベ数νｄは、フラウンホーファ線のｄ線（５８７．６ｎｍ）、Ｆ線（４８６．１ｎｍ）、Ｃ線（６５６．３ｎｍ）における屈折率をＮｄ、ＮＦ、ＮＣとするとき、
νｄ＝（Ｎｄ－１）／（ＮＦ－ＮＣ）
で表される。
νｄ＝（Ｎｄ－１）／（ＮＦ－ＮＣ）
で表される。
【0049】
また、数値実施例において、非球面形状のレンズ面については、面番号の後に「＊」（アスタリスク）の符号を付加している。また、非球面係数における「ｅ±Ｐ」は「×１０±Ｐ」を意味している。光学面の非球面形状は、光軸方向における面頂点からの変位量をｘ、光軸方向に垂直な方向における光軸からの高さをｈ、近軸曲率半径をＲ、円錐定数をｋ、非球面係数をＡ４、Ａ６、Ａ８、Ａ１０とするとき、以下の式（Ａ）で表される。
【0050】
ｘ＝（ｈ２／Ｒ）／［１＋｛１－（１＋ｋ）（ｈ／Ｒ）２｝１／２］＋Ａ４×ｈ４＋Ａ６×ｈ６＋Ａ８×ｈ８＋Ａ１０×ｈ１０
[数値実施例]
単位 mm
面データ
面番号 r d nd νd
1 29.003 1.75 2.00100 29.1
2 10.353 9.81
3 27.827 0.95 2.00100 29.1
4 10.911 5.58
5 -14.687 1.00 1.92250 36.0
6 20.939 0.65
7 29.084 2.26 1.89286 20.4
8 -16.390 3.71
9 ∞ 8.50 1.88300 40.8
10 ∞ 2.21
11(絞り) ∞ 0.60
12 571.710 1.69 1.52310 50.8
13 -20.256 2.00
14 ∞ 8.50 1.88300 40.8
15 ∞ 1.42
16* -56.169 1.71 1.43875 94.7
17 -12.502 0.98
18 -176.273 2.63 1.43875 94.9
19 -13.451 0.50
20 -31.094 1.20 2.00540 27.7
21 26.939 0.50
22 25.291 4.73 1.43875 94.9
23 -9.963 20.00
像面 ∞
非球面データ
第16面
K = 0.00000e+00 A 4=-3.70913e-04 A 6=-1.45620e-08 A 8=-7.58114e-08
各種データ
焦点距離 4.40
Fナンバー 4.00
半画角（度） 57.85
像高 7.00
レンズ全長 82.89
BF 20.00
レンズ群データ
群 始面 焦点距離
1 1 -6.77
2 9 ∞
3 11 ∞
4 12 37.43
5 14 ∞
6 16 36.22
7 18 37.92
フォーカス群 6群
（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
[数値実施例]
単位 mm
面データ
面番号 r d nd νd
1 29.003 1.75 2.00100 29.1
2 10.353 9.81
3 27.827 0.95 2.00100 29.1
4 10.911 5.58
5 -14.687 1.00 1.92250 36.0
6 20.939 0.65
7 29.084 2.26 1.89286 20.4
8 -16.390 3.71
9 ∞ 8.50 1.88300 40.8
10 ∞ 2.21
11(絞り) ∞ 0.60
12 571.710 1.69 1.52310 50.8
13 -20.256 2.00
14 ∞ 8.50 1.88300 40.8
15 ∞ 1.42
16* -56.169 1.71 1.43875 94.7
17 -12.502 0.98
18 -176.273 2.63 1.43875 94.9
19 -13.451 0.50
20 -31.094 1.20 2.00540 27.7
21 26.939 0.50
22 25.291 4.73 1.43875 94.9
23 -9.963 20.00
像面 ∞
非球面データ
第16面
K = 0.00000e+00 A 4=-3.70913e-04 A 6=-1.45620e-08 A 8=-7.58114e-08
各種データ
焦点距離 4.40
Fナンバー 4.00
半画角（度） 57.85
像高 7.00
レンズ全長 82.89
BF 20.00
レンズ群データ
群 始面 焦点距離
1 1 -6.77
2 9 ∞
3 11 ∞
4 12 37.43
5 14 ∞
6 16 36.22
7 18 37.92
フォーカス群 6群
（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【0051】
各実施形態によれば、光学系により劣化した画像を高精度に補正するための光学補正情報を決定することが可能な画像処理装置、撮像装置、画像処理方法、およびプログラムを提供することができる。
【0052】
各実施形態の開示は、以下の構成および方法を含む。
（構成１）
光学系により劣化した画像を補正する画像処理装置であって、
前記画像における被写体を判定する判定手段と、
前記被写体までの距離に関する被写体距離情報を取得する距離取得手段と、
前記光学系におけるレンズ群の位置に関するレンズ位置情報を取得する位置取得手段と、
前記被写体距離情報と前記レンズ位置情報とを用いて、前記画像を補正するための光学補正情報を決定する処理手段とを有することを特徴とする画像処理装置。
（構成２）
前記処理手段は、前記光学補正情報を用いて前記画像を補正することを特徴とする構成１に記載の画像処理装置。
（構成３）
前記被写体距離情報は、前記被写体までの絶対距離に関する情報であることを特徴とする構成１または２に記載の画像処理装置。
（構成４）
バックフォーカスずれ情報または光学フィルタ情報ごとに前記光学補正情報を記憶する記憶手段を更に有することを特徴とする構成１乃至３のいずれかに記載の画像処理装置。
（構成５）
前記処理手段は、
前記被写体距離情報と前記レンズ位置情報とを用いてバックフォーカスずれ情報を取得し、
前記バックフォーカスずれ情報に対応する前記光学補正情報を決定することを特徴とする構成１乃至４のいずれかに記載の画像処理装置。
（構成６）
前記処理手段は、
前記被写体距離情報と前記レンズ位置情報とを用いて光学フィルタ情報を取得し、
前記光学フィルタ情報に対応する前記光学補正情報を決定することを特徴とする構成１乃至４のいずれかに記載の画像処理装置。
（構成７）
前記距離取得手段は、アバランシェフォトダイオードセンサであることを特徴とする構成１乃至６のいずれかに記載の画像処理装置。
（構成８）
前記距離取得手段は、
発光手段と受光手段とを有し、
前記発光手段は、前記被写体へ向けて光を発し、
前記受光手段は、前記被写体からの反射光を受光することを特徴とする構成１乃至７のいずれかに記載の画像処理装置。
（構成９）
前記光学補正情報は、歪曲収差または倍率色収差に関する補正情報であり、
前記処理手段は、前記画像の光学中心に関して回転対称な画像補正処理を行うことを特徴とする構成１乃至８のいずれかに記載の画像処理装置。
（構成１０）
前記光学補正情報は、軸上色収差または像面湾曲収差に関する補正情報であり、
前記処理手段は、前記画像に対して画像回復処理を行うことを特徴とする構成１乃至８のいずれかに記載の画像処理装置。
（構成１１）
前記光学補正情報は、前記画像における前記被写体の周波数に応じた焦点位置の変動に関する情報であることを特徴とする構成１乃至８のいずれかに記載の画像処理装置。
（構成１２）
温度情報を取得する温度検出手段を更に有し、
前記処理手段は、前記被写体距離情報と前記レンズ位置情報と前記温度情報とを用いて前記光学補正情報を決定することを特徴とする構成１乃至１１のいずれかに記載の画像処理装置。
（構成１３）
構成１乃至１２のいずれか一項に記載の画像処理装置と、撮像素子とを有することを特徴とする撮像装置。
（構成１４）
前記撮像素子と前記距離取得手段は、共通化されていることを特徴とする構成１３に記載の撮像装置。
（方法１）
光学系により劣化した画像を補正する画像処理方法であって、
前記画像における被写体を判定するステップと、
前記被写体までの距離に関する被写体距離情報を取得するステップと、
前記光学系におけるレンズ群の位置に関するレンズ位置情報を取得するステップと、
前記被写体距離情報と前記レンズ位置情報とを用いて、前記画像を補正するための光学補正情報を決定するステップとを有することを特徴とする画像処理方法。
（構成１５）
方法１に記載の画像処理方法をコンピュータに実行させることを特徴とするプログラム。
（構成１）
光学系により劣化した画像を補正する画像処理装置であって、
前記画像における被写体を判定する判定手段と、
前記被写体までの距離に関する被写体距離情報を取得する距離取得手段と、
前記光学系におけるレンズ群の位置に関するレンズ位置情報を取得する位置取得手段と、
前記被写体距離情報と前記レンズ位置情報とを用いて、前記画像を補正するための光学補正情報を決定する処理手段とを有することを特徴とする画像処理装置。
（構成２）
前記処理手段は、前記光学補正情報を用いて前記画像を補正することを特徴とする構成１に記載の画像処理装置。
（構成３）
前記被写体距離情報は、前記被写体までの絶対距離に関する情報であることを特徴とする構成１または２に記載の画像処理装置。
（構成４）
バックフォーカスずれ情報または光学フィルタ情報ごとに前記光学補正情報を記憶する記憶手段を更に有することを特徴とする構成１乃至３のいずれかに記載の画像処理装置。
（構成５）
前記処理手段は、
前記被写体距離情報と前記レンズ位置情報とを用いてバックフォーカスずれ情報を取得し、
前記バックフォーカスずれ情報に対応する前記光学補正情報を決定することを特徴とする構成１乃至４のいずれかに記載の画像処理装置。
（構成６）
前記処理手段は、
前記被写体距離情報と前記レンズ位置情報とを用いて光学フィルタ情報を取得し、
前記光学フィルタ情報に対応する前記光学補正情報を決定することを特徴とする構成１乃至４のいずれかに記載の画像処理装置。
（構成７）
前記距離取得手段は、アバランシェフォトダイオードセンサであることを特徴とする構成１乃至６のいずれかに記載の画像処理装置。
（構成８）
前記距離取得手段は、
発光手段と受光手段とを有し、
前記発光手段は、前記被写体へ向けて光を発し、
前記受光手段は、前記被写体からの反射光を受光することを特徴とする構成１乃至７のいずれかに記載の画像処理装置。
（構成９）
前記光学補正情報は、歪曲収差または倍率色収差に関する補正情報であり、
前記処理手段は、前記画像の光学中心に関して回転対称な画像補正処理を行うことを特徴とする構成１乃至８のいずれかに記載の画像処理装置。
（構成１０）
前記光学補正情報は、軸上色収差または像面湾曲収差に関する補正情報であり、
前記処理手段は、前記画像に対して画像回復処理を行うことを特徴とする構成１乃至８のいずれかに記載の画像処理装置。
（構成１１）
前記光学補正情報は、前記画像における前記被写体の周波数に応じた焦点位置の変動に関する情報であることを特徴とする構成１乃至８のいずれかに記載の画像処理装置。
（構成１２）
温度情報を取得する温度検出手段を更に有し、
前記処理手段は、前記被写体距離情報と前記レンズ位置情報と前記温度情報とを用いて前記光学補正情報を決定することを特徴とする構成１乃至１１のいずれかに記載の画像処理装置。
（構成１３）
構成１乃至１２のいずれか一項に記載の画像処理装置と、撮像素子とを有することを特徴とする撮像装置。
（構成１４）
前記撮像素子と前記距離取得手段は、共通化されていることを特徴とする構成１３に記載の撮像装置。
（方法１）
光学系により劣化した画像を補正する画像処理方法であって、
前記画像における被写体を判定するステップと、
前記被写体までの距離に関する被写体距離情報を取得するステップと、
前記光学系におけるレンズ群の位置に関するレンズ位置情報を取得するステップと、
前記被写体距離情報と前記レンズ位置情報とを用いて、前記画像を補正するための光学補正情報を決定するステップとを有することを特徴とする画像処理方法。
（構成１５）
方法１に記載の画像処理方法をコンピュータに実行させることを特徴とするプログラム。
【0053】
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。
【符号の説明】
【0054】
１００ 光学系
１０１ フォーカス群（レンズ群）
１０４ 画像処理部（処理手段）
１０７ 状態検知部（位置取得手段）
１１１ 距離取得部（距離取得手段）
１１２ 被写体判定部（判定手段）
１０１ フォーカス群（レンズ群）
１０４ 画像処理部（処理手段）
１０７ 状態検知部（位置取得手段）
１１１ 距離取得部（距離取得手段）
１１２ 被写体判定部（判定手段）
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
