ホーム > 特許ランキング > 富士フイルム株式会社
知財求人 - 知財ポータルサイト「IP Force」
特許6240811撮像装置、画像処理装置、画像処理方法、プログラム及び記録媒体
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】6240811
(24)【登録日】2017年11月10日
(45)【発行日】2017年11月29日
(54)【発明の名称】撮像装置、画像処理装置、画像処理方法、プログラム及び記録媒体
(51)【国際特許分類】
H04N 5/232 20060101AFI20171120BHJP
G06T 5/00 20060101ALI20171120BHJP
【ＦＩ】
H04N5/232 290
G06T5/00 710
【請求項の数】17
【全頁数】50
(21)【出願番号】特願2017-512512(P2017-512512)
(86)(22)【出願日】2016年4月8日
(86)【国際出願番号】JP2016061512
(87)【国際公開番号】WO2016167189
(87)【国際公開日】20161020
【審査請求日】2017年9月29日
(31)【優先権主張番号】特願2015-84393(P2015-84393)
(32)【優先日】2015年4月16日
(33)【優先権主張国】JP
【早期審査対象出願】
(73)【特許権者】
【識別番号】306037311
【氏名又は名称】富士フイルム株式会社
(74)【代理人】
【識別番号】100083116
【弁理士】
【氏名又は名称】松浦 憲三
(72)【発明者】
【氏名】田中 琢也
(72)【発明者】
【氏名】成瀬 洋介
【審査官】
▲徳▼田 賢二
(56)【参考文献】
【文献】
特開２００９−２１３１２９（ＪＰ，Ａ）
【文献】
特開２０１２−５０５６（ＪＰ，Ａ）
【文献】
特開２０１４−２１３１２（ＪＰ，Ａ）
【文献】
国際公開第２０１５／０１５９３５（ＷＯ，Ａ１）
(58)【調査した分野】（Int.Cl.，ＤＢ名）
Ｈ０４Ｎ ５／２３２
Ｇ０６Ｔ ５／００
(57)【特許請求の範囲】
【請求項1】
光学系と、
前記光学系を介して撮影光を受光して対象画像を出力する撮像素子と、
前記光学系の光学伝達関数に基づく復元処理を前記対象画像に対して行う復元処理部とを備え、
前記光学系は全画角が９０度を超え、
前記光学系の光量評価領域は、前記光学系の結像面において前記結像面の中心からの距離が前記撮像素子の撮像面の対角線の２分の１の長さの８０％以上を示す前記光学系の領域であり、
５４６．１ｎｍの波長成分を含む第１の評価波長を使った場合に、前記結像面の中心に対応する前記光学系の領域における光量に対する前記光量評価領域における光量の比が２５％以上を示し、
４０６．０ｎｍの波長成分、４３０．５ｎｍの波長成分、４７１．２ｎｍの波長成分、５２２．５ｎｍの波長成分、５７７．５ｎｍの波長成分、６２８．８ｎｍの波長成分、６６９．５ｎｍの波長成分及び６９４．０ｎｍの波長成分を含む第２の評価波長を使った場合に、前記撮像素子のナイキスト周波数の１／２に関して取得される前記光学系のＭＴＦの値が１５％以上を示す撮像装置。
前記光学系を介して撮影光を受光して対象画像を出力する撮像素子と、
前記光学系の光学伝達関数に基づく復元処理を前記対象画像に対して行う復元処理部とを備え、
前記光学系は全画角が９０度を超え、
前記光学系の光量評価領域は、前記光学系の結像面において前記結像面の中心からの距離が前記撮像素子の撮像面の対角線の２分の１の長さの８０％以上を示す前記光学系の領域であり、
５４６．１ｎｍの波長成分を含む第１の評価波長を使った場合に、前記結像面の中心に対応する前記光学系の領域における光量に対する前記光量評価領域における光量の比が２５％以上を示し、
４０６．０ｎｍの波長成分、４３０．５ｎｍの波長成分、４７１．２ｎｍの波長成分、５２２．５ｎｍの波長成分、５７７．５ｎｍの波長成分、６２８．８ｎｍの波長成分、６６９．５ｎｍの波長成分及び６９４．０ｎｍの波長成分を含む第２の評価波長を使った場合に、前記撮像素子のナイキスト周波数の１／２に関して取得される前記光学系のＭＴＦの値が１５％以上を示す撮像装置。
【請求項2】
光学系と、
前記光学系を介して撮影光を受光して対象画像を出力する撮像素子と、
前記光学系の光学伝達関数に基づく復元処理を前記対象画像に対して行う復元処理部とを備え、
前記光学系は全画角が９０度を超え、かつ
ここで、
ｆは、前記対象画像の空間周波数を表し、
ｈは、前記対象画像の中心からの距離を表し、
Ｈ（ｆ，ｈ）は、前記光学系のＯＴＦを表し、
Ｒ（ｈ）は、前記光学系の光量評価領域が、前記光学系の結像面において前記結像面の中心からの距離が前記撮像素子の撮像面の対角線の２分の１の長さの８０％以上を示す前記光学系の領域であり、５４６．１ｎｍの波長成分を含む第１の評価波長を使った場合に、前記結像面の中心に対応する前記光学系の領域における光量に対する前記光量評価領域における光量の比を表し、０≦Ｒ（ｈ）≦１を満たし、
ＳＮＲ（ｆ）は、ＳＮＲ（ｆ）＝Ｓ（ｆ）／Ｎ（ｆ）によって表され、
Ｓ（ｆ）は、想定される撮影条件において期待される前記対象画像の中心における信号量の二乗平均値を表し、
Ｎ（ｆ）は、想定される撮影条件において期待されるノイズ量の二乗平均値を表す、
を満たす撮像装置。
前記光学系を介して撮影光を受光して対象画像を出力する撮像素子と、
前記光学系の光学伝達関数に基づく復元処理を前記対象画像に対して行う復元処理部とを備え、
前記光学系は全画角が９０度を超え、かつ
【数1】
ｆは、前記対象画像の空間周波数を表し、
ｈは、前記対象画像の中心からの距離を表し、
Ｈ（ｆ，ｈ）は、前記光学系のＯＴＦを表し、
Ｒ（ｈ）は、前記光学系の光量評価領域が、前記光学系の結像面において前記結像面の中心からの距離が前記撮像素子の撮像面の対角線の２分の１の長さの８０％以上を示す前記光学系の領域であり、５４６．１ｎｍの波長成分を含む第１の評価波長を使った場合に、前記結像面の中心に対応する前記光学系の領域における光量に対する前記光量評価領域における光量の比を表し、０≦Ｒ（ｈ）≦１を満たし、
ＳＮＲ（ｆ）は、ＳＮＲ（ｆ）＝Ｓ（ｆ）／Ｎ（ｆ）によって表され、
Ｓ（ｆ）は、想定される撮影条件において期待される前記対象画像の中心における信号量の二乗平均値を表し、
Ｎ（ｆ）は、想定される撮影条件において期待されるノイズ量の二乗平均値を表す、
を満たす撮像装置。
【請求項3】
対象画像を取得する画像取得部と、
前記対象画像を撮影した際の光学系及び撮像素子の情報を示す撮影デバイス条件を取得する条件取得部と、
前記撮影デバイス条件が、
（１）前記光学系の全画角が９０度を超えること、
（２）前記光学系の光量評価領域が、前記光学系の結像面において前記結像面の中心からの距離が前記撮像素子の撮像面の対角線の２分の１の長さの８０％以上を示す前記光学系の領域であり、５４６．１ｎｍの波長成分を含む第１の評価波長を使った場合に、前記結像面の中心に対応する前記光学系の領域における光量に対する前記光量評価領域における光量の比が２５％以上を示すこと、及び
（３）４０６．０ｎｍの波長成分、４３０．５ｎｍの波長成分、４７１．２ｎｍの波長成分、５２２．５ｎｍの波長成分、５７７．５ｎｍの波長成分、６２８．８ｎｍの波長成分、６６９．５ｎｍの波長成分及び６９４．０ｎｍの波長成分を含む第２の評価波長を使った場合に、前記撮像素子のナイキスト周波数の１／２に関して取得される前記光学系のＭＴＦの値が１５％以上を示すこと、
を満たす場合に、前記光学系の光学伝達関数に基づく復元処理を前記対象画像に対して行う復元処理部とを備える画像処理装置。
前記対象画像を撮影した際の光学系及び撮像素子の情報を示す撮影デバイス条件を取得する条件取得部と、
前記撮影デバイス条件が、
（１）前記光学系の全画角が９０度を超えること、
（２）前記光学系の光量評価領域が、前記光学系の結像面において前記結像面の中心からの距離が前記撮像素子の撮像面の対角線の２分の１の長さの８０％以上を示す前記光学系の領域であり、５４６．１ｎｍの波長成分を含む第１の評価波長を使った場合に、前記結像面の中心に対応する前記光学系の領域における光量に対する前記光量評価領域における光量の比が２５％以上を示すこと、及び
（３）４０６．０ｎｍの波長成分、４３０．５ｎｍの波長成分、４７１．２ｎｍの波長成分、５２２．５ｎｍの波長成分、５７７．５ｎｍの波長成分、６２８．８ｎｍの波長成分、６６９．５ｎｍの波長成分及び６９４．０ｎｍの波長成分を含む第２の評価波長を使った場合に、前記撮像素子のナイキスト周波数の１／２に関して取得される前記光学系のＭＴＦの値が１５％以上を示すこと、
を満たす場合に、前記光学系の光学伝達関数に基づく復元処理を前記対象画像に対して行う復元処理部とを備える画像処理装置。
【請求項4】
前記ＭＴＦの値は、前記光学系のサジタル方向のＭＴＦの値及びタンジェンシャル方向のＭＴＦの値のうち値が小さい方のＭＴＦの値である請求項３に記載の画像処理装置。
【請求項5】
前記復元処理部は、前記撮影デバイス条件が更に、
（４）前記第１の評価波長を使った場合に、前記結像面の中心に対応する前記光学系の領域における光量に対する前記光量評価領域における光量の比が３０％以上を示すこと、及び
（５）前記第２の評価波長を使った場合に、前記撮像素子のナイキスト周波数の１／２に関して取得される前記ＭＴＦの値が２０％以上を示すこと、
を満たす場合に、前記復元処理を行う請求項３又は４に記載の画像処理装置。
（４）前記第１の評価波長を使った場合に、前記結像面の中心に対応する前記光学系の領域における光量に対する前記光量評価領域における光量の比が３０％以上を示すこと、及び
（５）前記第２の評価波長を使った場合に、前記撮像素子のナイキスト周波数の１／２に関して取得される前記ＭＴＦの値が２０％以上を示すこと、
を満たす場合に、前記復元処理を行う請求項３又は４に記載の画像処理装置。
【請求項6】
前記復元処理部は、前記撮影デバイス条件が更に、
（６）前記第１の評価波長を使った場合に、前記結像面の中心に対応する前記光学系の領域における光量に対する前記光量評価領域における光量の比が３５％以上を示すこと、及び
（７）前記第２の評価波長を使った場合に、前記撮像素子のナイキスト周波数の１／２に関して取得される前記ＭＴＦの値が２５％以上を示すこと、
を満たす場合に、前記復元処理を行う請求項３又は４に記載の画像処理装置。
（６）前記第１の評価波長を使った場合に、前記結像面の中心に対応する前記光学系の領域における光量に対する前記光量評価領域における光量の比が３５％以上を示すこと、及び
（７）前記第２の評価波長を使った場合に、前記撮像素子のナイキスト周波数の１／２に関して取得される前記ＭＴＦの値が２５％以上を示すこと、
を満たす場合に、前記復元処理を行う請求項３又は４に記載の画像処理装置。
【請求項7】
対象画像を取得する画像取得部と、
前記対象画像を撮影した際の光学系及び撮像素子の情報を示す撮影デバイス条件を取得する条件取得部と、
前記撮影デバイス条件が、
（８） 前記光学系の全画角が９０度を超えること、及び
ここで、
ｆは、前記対象画像の空間周波数を表し、
ｈは、前記対象画像の中心からの距離を表し、
Ｈ（ｆ，ｈ）は、前記光学系のＯＴＦを表し、
Ｒ（ｈ）は、前記光学系の光量評価領域が、前記光学系の結像面において前記結像面の中心からの距離が前記撮像素子の撮像面の対角線の２分の１の長さの８０％以上を示す前記光学系の領域であり、５４６．１ｎｍの波長成分を含む第１の評価波長を使った場合に、前記結像面の中心に対応する前記光学系の領域における光量に対する前記光量評価領域における光量の比を表し、０≦Ｒ（ｈ）≦１を満たし、
ＳＮＲ（ｆ）は、ＳＮＲ（ｆ）＝Ｓ（ｆ）／Ｎ（ｆ）によって表され、
Ｓ（ｆ）は、想定される撮影条件において期待される前記対象画像の中心における信号量の二乗平均値を表し、
Ｎ（ｆ）は、想定される撮影条件において期待されるノイズ量の二乗平均値を表す、
を満たす場合に、前記光学系の光学伝達関数に基づく復元処理を前記対象画像に対して行う復元処理部とを備える画像処理装置。
前記対象画像を撮影した際の光学系及び撮像素子の情報を示す撮影デバイス条件を取得する条件取得部と、
前記撮影デバイス条件が、
（８） 前記光学系の全画角が９０度を超えること、及び
【数2】
ｆは、前記対象画像の空間周波数を表し、
ｈは、前記対象画像の中心からの距離を表し、
Ｈ（ｆ，ｈ）は、前記光学系のＯＴＦを表し、
Ｒ（ｈ）は、前記光学系の光量評価領域が、前記光学系の結像面において前記結像面の中心からの距離が前記撮像素子の撮像面の対角線の２分の１の長さの８０％以上を示す前記光学系の領域であり、５４６．１ｎｍの波長成分を含む第１の評価波長を使った場合に、前記結像面の中心に対応する前記光学系の領域における光量に対する前記光量評価領域における光量の比を表し、０≦Ｒ（ｈ）≦１を満たし、
ＳＮＲ（ｆ）は、ＳＮＲ（ｆ）＝Ｓ（ｆ）／Ｎ（ｆ）によって表され、
Ｓ（ｆ）は、想定される撮影条件において期待される前記対象画像の中心における信号量の二乗平均値を表し、
Ｎ（ｆ）は、想定される撮影条件において期待されるノイズ量の二乗平均値を表す、
を満たす場合に、前記光学系の光学伝達関数に基づく復元処理を前記対象画像に対して行う復元処理部とを備える画像処理装置。
【請求項8】
前記復元処理部は、
４０６．０ｎｍの波長成分、４３０．５ｎｍの波長成分、４７１．２ｎｍの波長成分、５２２．５ｎｍの波長成分、５７７．５ｎｍの波長成分、６２８．８ｎｍの波長成分、６６９．５ｎｍの波長成分及び６９４．０ｎｍの波長成分を含む第２の評価波長を使った場合に、前記撮像素子のナイキスト周波数の１／２に関して取得される前記光学系のＭＴＦの値がＡ％として表され、５４６．１ｎｍの波長成分を含む第１の評価波長を使った場合に、前記結像面の中心に対応する前記光学系の領域における光量に対する前記光量評価領域における光量の比がＢ％として表される場合に、
（１０） Ａ％≧０．７５×Ｂ％−４０％
を前記撮影デバイス条件が更に満たす場合に、前記復元処理を行う請求項３〜７のいずれか一項に記載の画像処理装置。
４０６．０ｎｍの波長成分、４３０．５ｎｍの波長成分、４７１．２ｎｍの波長成分、５２２．５ｎｍの波長成分、５７７．５ｎｍの波長成分、６２８．８ｎｍの波長成分、６６９．５ｎｍの波長成分及び６９４．０ｎｍの波長成分を含む第２の評価波長を使った場合に、前記撮像素子のナイキスト周波数の１／２に関して取得される前記光学系のＭＴＦの値がＡ％として表され、５４６．１ｎｍの波長成分を含む第１の評価波長を使った場合に、前記結像面の中心に対応する前記光学系の領域における光量に対する前記光量評価領域における光量の比がＢ％として表される場合に、
（１０） Ａ％≧０．７５×Ｂ％−４０％
を前記撮影デバイス条件が更に満たす場合に、前記復元処理を行う請求項３〜７のいずれか一項に記載の画像処理装置。
【請求項9】
前記光量評価領域は、前記結像面において前記結像面の中心からの距離が前記撮像素子の撮像面の対角線の２分の１の長さの６０％以上を示す前記光学系の領域である請求項３〜８のいずれか一項に記載の画像処理装置。
【請求項10】
光学系が着脱可能に取り付けられる光学系装着部と、
前記光学系装着部に装着された前記光学系を介して撮影光を受光して画像を出力する撮像素子と、
請求項３〜９のいずれか一項に記載の画像処理装置とを備え、
前記撮像素子から出力される前記画像を前記対象画像とする撮像装置。
前記光学系装着部に装着された前記光学系を介して撮影光を受光して画像を出力する撮像素子と、
請求項３〜９のいずれか一項に記載の画像処理装置とを備え、
前記撮像素子から出力される前記画像を前記対象画像とする撮像装置。
【請求項11】
光学系と、当該光学系を介して撮影光を受光して画像を出力する撮像素子と、当該撮像素子に接続されるカメラ側制御処理部と、当該カメラ側制御処理部に接続されるカメラ側通信部とを有するカメラデバイスと、
前記カメラ側通信部と通信可能な端末側通信部と、当該端末側通信部に接続される端末側制御処理部と、当該端末側制御処理部に接続されるユーザインターフェースとを有する制御端末とを備え、
前記カメラ側制御処理部及び前記端末側制御処理部のうち少なくともいずれか一方は、請求項３〜９のいずれか一項に記載の画像処理装置を有し、
前記撮像素子から出力される前記画像を前記対象画像とする撮像装置。
前記カメラ側通信部と通信可能な端末側通信部と、当該端末側通信部に接続される端末側制御処理部と、当該端末側制御処理部に接続されるユーザインターフェースとを有する制御端末とを備え、
前記カメラ側制御処理部及び前記端末側制御処理部のうち少なくともいずれか一方は、請求項３〜９のいずれか一項に記載の画像処理装置を有し、
前記撮像素子から出力される前記画像を前記対象画像とする撮像装置。
【請求項12】
対象画像を取得するステップと、
前記対象画像を撮影した際の光学系及び撮像素子の情報を示す撮影デバイス条件を取得するステップと、
前記撮影デバイス条件が、
（１）前記光学系の全画角が９０度を超えること、
（２）前記光学系の光量評価領域が、前記光学系の結像面において前記結像面の中心からの距離が前記撮像素子の撮像面の対角線の２分の１の長さの８０％以上を示す前記光学系の領域であり、５４６．１ｎｍの波長成分を含む第１の評価波長を使った場合に、前記結像面の中心に対応する前記光学系の領域における光量に対する前記光量評価領域における光量の比が２５％以上を示すこと、及び
（３）４０６．０ｎｍの波長成分、４３０．５ｎｍの波長成分、４７１．２ｎｍの波長成分、５２２．５ｎｍの波長成分、５７７．５ｎｍの波長成分、６２８．８ｎｍの波長成分、６６９．５ｎｍの波長成分及び６９４．０ｎｍの波長成分を含む第２の評価波長を使った場合に、前記撮像素子のナイキスト周波数の１／２に関して取得される前記光学系のＭＴＦの値が１５％以上を示すこと、
を満たす場合に、前記光学系の光学伝達関数に基づく復元処理を前記対象画像に対して行うステップとを備える画像処理方法。
前記対象画像を撮影した際の光学系及び撮像素子の情報を示す撮影デバイス条件を取得するステップと、
前記撮影デバイス条件が、
（１）前記光学系の全画角が９０度を超えること、
（２）前記光学系の光量評価領域が、前記光学系の結像面において前記結像面の中心からの距離が前記撮像素子の撮像面の対角線の２分の１の長さの８０％以上を示す前記光学系の領域であり、５４６．１ｎｍの波長成分を含む第１の評価波長を使った場合に、前記結像面の中心に対応する前記光学系の領域における光量に対する前記光量評価領域における光量の比が２５％以上を示すこと、及び
（３）４０６．０ｎｍの波長成分、４３０．５ｎｍの波長成分、４７１．２ｎｍの波長成分、５２２．５ｎｍの波長成分、５７７．５ｎｍの波長成分、６２８．８ｎｍの波長成分、６６９．５ｎｍの波長成分及び６９４．０ｎｍの波長成分を含む第２の評価波長を使った場合に、前記撮像素子のナイキスト周波数の１／２に関して取得される前記光学系のＭＴＦの値が１５％以上を示すこと、
を満たす場合に、前記光学系の光学伝達関数に基づく復元処理を前記対象画像に対して行うステップとを備える画像処理方法。
【請求項13】
対象画像を取得するステップと、
前記対象画像を撮影した際の光学系及び撮像素子の情報を示す撮影デバイス条件を取得するステップと、
前記撮影デバイス条件が、
（８） 前記光学系の全画角が９０度を超えること、及び
ここで、
ｆは、前記対象画像の空間周波数を表し、
ｈは、前記対象画像の中心からの距離を表し、
Ｈ（ｆ，ｈ）は、前記光学系のＯＴＦを表し、
Ｒ（ｈ）は、前記光学系の光量評価領域が、前記光学系の結像面において前記結像面の中心からの距離が前記撮像素子の撮像面の対角線の２分の１の長さの８０％以上を示す前記光学系の領域であり、５４６．１ｎｍの波長成分を含む第１の評価波長を使った場合に、前記結像面の中心に対応する前記光学系の領域における光量に対する前記光量評価領域における光量の比を表し、０≦Ｒ（ｈ）≦１を満たし、
ＳＮＲ（ｆ）は、ＳＮＲ（ｆ）＝Ｓ（ｆ）／Ｎ（ｆ）によって表され、
Ｓ（ｆ）は、想定される撮影条件において期待される前記対象画像の中心における信号量の二乗平均値を表し、
Ｎ（ｆ）は、想定される撮影条件において期待されるノイズ量の二乗平均値を表す、
を満たす場合に、前記光学系の光学伝達関数に基づく復元処理を前記対象画像に対して行うステップとを備える画像処理方法。
前記対象画像を撮影した際の光学系及び撮像素子の情報を示す撮影デバイス条件を取得するステップと、
前記撮影デバイス条件が、
（８） 前記光学系の全画角が９０度を超えること、及び
【数3】
ｆは、前記対象画像の空間周波数を表し、
ｈは、前記対象画像の中心からの距離を表し、
Ｈ（ｆ，ｈ）は、前記光学系のＯＴＦを表し、
Ｒ（ｈ）は、前記光学系の光量評価領域が、前記光学系の結像面において前記結像面の中心からの距離が前記撮像素子の撮像面の対角線の２分の１の長さの８０％以上を示す前記光学系の領域であり、５４６．１ｎｍの波長成分を含む第１の評価波長を使った場合に、前記結像面の中心に対応する前記光学系の領域における光量に対する前記光量評価領域における光量の比を表し、０≦Ｒ（ｈ）≦１を満たし、
ＳＮＲ（ｆ）は、ＳＮＲ（ｆ）＝Ｓ（ｆ）／Ｎ（ｆ）によって表され、
Ｓ（ｆ）は、想定される撮影条件において期待される前記対象画像の中心における信号量の二乗平均値を表し、
Ｎ（ｆ）は、想定される撮影条件において期待されるノイズ量の二乗平均値を表す、
を満たす場合に、前記光学系の光学伝達関数に基づく復元処理を前記対象画像に対して行うステップとを備える画像処理方法。
【請求項14】
対象画像を取得する手順と、
前記対象画像を撮影した際の光学系及び撮像素子の情報を示す撮影デバイス条件を取得する手順と、
前記撮影デバイス条件が、
（１）前記光学系の全画角が９０度を超えること、
（２）前記光学系の光量評価領域が、前記光学系の結像面において前記結像面の中心からの距離が前記撮像素子の撮像面の対角線の２分の１の長さの８０％以上を示す前記光学系の領域であり、５４６．１ｎｍの波長成分を含む第１の評価波長を使った場合に、前記結像面の中心に対応する前記光学系の領域における光量に対する前記光量評価領域における光量の比が２５％以上を示すこと、及び
（３）４０６．０ｎｍの波長成分、４３０．５ｎｍの波長成分、４７１．２ｎｍの波長成分、５２２．５ｎｍの波長成分、５７７．５ｎｍの波長成分、６２８．８ｎｍの波長成分、６６９．５ｎｍの波長成分及び６９４．０ｎｍの波長成分を含む第２の評価波長を使った場合に前記撮像素子のナイキスト周波数の１／２に関して取得される前記光学系のＭＴＦの値が１５％以上を示すこと、
を満たす場合に、前記光学系の光学伝達関数に基づく復元処理を前記対象画像に対して行う手順とをコンピュータに実行させるためのプログラム。
前記対象画像を撮影した際の光学系及び撮像素子の情報を示す撮影デバイス条件を取得する手順と、
前記撮影デバイス条件が、
（１）前記光学系の全画角が９０度を超えること、
（２）前記光学系の光量評価領域が、前記光学系の結像面において前記結像面の中心からの距離が前記撮像素子の撮像面の対角線の２分の１の長さの８０％以上を示す前記光学系の領域であり、５４６．１ｎｍの波長成分を含む第１の評価波長を使った場合に、前記結像面の中心に対応する前記光学系の領域における光量に対する前記光量評価領域における光量の比が２５％以上を示すこと、及び
（３）４０６．０ｎｍの波長成分、４３０．５ｎｍの波長成分、４７１．２ｎｍの波長成分、５２２．５ｎｍの波長成分、５７７．５ｎｍの波長成分、６２８．８ｎｍの波長成分、６６９．５ｎｍの波長成分及び６９４．０ｎｍの波長成分を含む第２の評価波長を使った場合に前記撮像素子のナイキスト周波数の１／２に関して取得される前記光学系のＭＴＦの値が１５％以上を示すこと、
を満たす場合に、前記光学系の光学伝達関数に基づく復元処理を前記対象画像に対して行う手順とをコンピュータに実行させるためのプログラム。
【請求項15】
対象画像を取得する手順と、
前記対象画像を撮影した際の光学系及び撮像素子の情報を示す撮影デバイス条件を取得する手順と、
前記撮影デバイス条件が、
（８） 前記光学系の全画角が９０度を超えること、及び
ここで、
ｆは、前記対象画像の空間周波数を表し、
ｈは、前記対象画像の中心からの距離を表し、
Ｈ（ｆ，ｈ）は、前記光学系のＯＴＦを表し、
Ｒ（ｈ）は、前記光学系の光量評価領域が、前記光学系の結像面において前記結像面の中心からの距離が前記撮像素子の撮像面の対角線の２分の１の長さの８０％以上を示す前記光学系の領域であり、５４６．１ｎｍの波長成分を含む第１の評価波長を使った場合に、前記結像面の中心に対応する前記光学系の領域における光量に対する前記光量評価領域における光量の比を表し、０≦Ｒ（ｈ）≦１を満たし、
ＳＮＲ（ｆ）は、ＳＮＲ（ｆ）＝Ｓ（ｆ）／Ｎ（ｆ）によって表され、
Ｓ（ｆ）は、想定される撮影条件において期待される前記対象画像の中心における信号量の二乗平均値を表し、
Ｎ（ｆ）は、想定される撮影条件において期待されるノイズ量の二乗平均値を表す、
を満たす場合に、前記光学系の光学伝達関数に基づく復元処理を前記対象画像に対して行う手順とをコンピュータに実行させるためのプログラム。
前記対象画像を撮影した際の光学系及び撮像素子の情報を示す撮影デバイス条件を取得する手順と、
前記撮影デバイス条件が、
（８） 前記光学系の全画角が９０度を超えること、及び
【数4】
ｆは、前記対象画像の空間周波数を表し、
ｈは、前記対象画像の中心からの距離を表し、
Ｈ（ｆ，ｈ）は、前記光学系のＯＴＦを表し、
Ｒ（ｈ）は、前記光学系の光量評価領域が、前記光学系の結像面において前記結像面の中心からの距離が前記撮像素子の撮像面の対角線の２分の１の長さの８０％以上を示す前記光学系の領域であり、５４６．１ｎｍの波長成分を含む第１の評価波長を使った場合に、前記結像面の中心に対応する前記光学系の領域における光量に対する前記光量評価領域における光量の比を表し、０≦Ｒ（ｈ）≦１を満たし、
ＳＮＲ（ｆ）は、ＳＮＲ（ｆ）＝Ｓ（ｆ）／Ｎ（ｆ）によって表され、
Ｓ（ｆ）は、想定される撮影条件において期待される前記対象画像の中心における信号量の二乗平均値を表し、
Ｎ（ｆ）は、想定される撮影条件において期待されるノイズ量の二乗平均値を表す、
を満たす場合に、前記光学系の光学伝達関数に基づく復元処理を前記対象画像に対して行う手順とをコンピュータに実行させるためのプログラム。
【請求項16】
対象画像を取得する手順と、
前記対象画像を撮影した際の光学系及び撮像素子の情報を示す撮影デバイス条件を取得する手順と、
前記撮影デバイス条件が、
（１）前記光学系の全画角が９０度を超えること、
（２）前記光学系の光量評価領域が、前記光学系の結像面において前記結像面の中心からの距離が前記撮像素子の撮像面の対角線の２分の１の長さの８０％以上を示す前記光学系の領域であり、５４６．１ｎｍの波長成分を含む第１の評価波長を使った場合に、前記結像面の中心に対応する前記光学系の領域における光量に対する前記光量評価領域における光量の比が２５％以上を示すこと、及び
（３）４０６．０ｎｍの波長成分、４３０．５ｎｍの波長成分、４７１．２ｎｍの波長成分、５２２．５ｎｍの波長成分、５７７．５ｎｍの波長成分、６２８．８ｎｍの波長成分、６６９．５ｎｍの波長成分及び６９４．０ｎｍの波長成分を含む第２の評価波長を使った場合に、前記撮像素子のナイキスト周波数の１／２に関して取得される前記光学系のＭＴＦの値が１５％以上を示すこと、
を満たす場合に、前記光学系の光学伝達関数に基づく復元処理を前記対象画像に対して行う手順とをコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な非一時的有形記録媒体。
前記対象画像を撮影した際の光学系及び撮像素子の情報を示す撮影デバイス条件を取得する手順と、
前記撮影デバイス条件が、
（１）前記光学系の全画角が９０度を超えること、
（２）前記光学系の光量評価領域が、前記光学系の結像面において前記結像面の中心からの距離が前記撮像素子の撮像面の対角線の２分の１の長さの８０％以上を示す前記光学系の領域であり、５４６．１ｎｍの波長成分を含む第１の評価波長を使った場合に、前記結像面の中心に対応する前記光学系の領域における光量に対する前記光量評価領域における光量の比が２５％以上を示すこと、及び
（３）４０６．０ｎｍの波長成分、４３０．５ｎｍの波長成分、４７１．２ｎｍの波長成分、５２２．５ｎｍの波長成分、５７７．５ｎｍの波長成分、６２８．８ｎｍの波長成分、６６９．５ｎｍの波長成分及び６９４．０ｎｍの波長成分を含む第２の評価波長を使った場合に、前記撮像素子のナイキスト周波数の１／２に関して取得される前記光学系のＭＴＦの値が１５％以上を示すこと、
を満たす場合に、前記光学系の光学伝達関数に基づく復元処理を前記対象画像に対して行う手順とをコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な非一時的有形記録媒体。
【請求項17】
対象画像を取得する手順と、
前記対象画像を撮影した際の光学系及び撮像素子の情報を示す撮影デバイス条件を取得する手順と、
前記撮影デバイス条件が、
（８） 前記光学系の全画角が９０度を超えること、及び
ここで、
ｆは、前記対象画像の空間周波数を表し、
ｈは、前記対象画像の中心からの距離を表し、
Ｈ（ｆ，ｈ）は、前記光学系のＯＴＦを表し、
Ｒ（ｈ）は、前記光学系の光量評価領域が、前記光学系の結像面において前記結像面の中心からの距離が前記撮像素子の撮像面の対角線の２分の１の長さの８０％以上を示す前記光学系の領域であり、５４６．１ｎｍの波長成分を含む第１の評価波長を使った場合に、前記結像面の中心に対応する前記光学系の領域における光量に対する前記光量評価領域における光量の比を表し、０≦Ｒ（ｈ）≦１を満たし、
ＳＮＲ（ｆ）は、ＳＮＲ（ｆ）＝Ｓ（ｆ）／Ｎ（ｆ）によって表され、
Ｓ（ｆ）は、想定される撮影条件において期待される前記対象画像の中心における信号量の二乗平均値を表し、
Ｎ（ｆ）は、想定される撮影条件において期待されるノイズ量の二乗平均値を表す、
を満たす場合に、前記光学系の光学伝達関数に基づく復元処理を前記対象画像に対して行う手順とをコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な非一時的有形記録媒体。
前記対象画像を撮影した際の光学系及び撮像素子の情報を示す撮影デバイス条件を取得する手順と、
前記撮影デバイス条件が、
（８） 前記光学系の全画角が９０度を超えること、及び
【数5】
ｆは、前記対象画像の空間周波数を表し、
ｈは、前記対象画像の中心からの距離を表し、
Ｈ（ｆ，ｈ）は、前記光学系のＯＴＦを表し、
Ｒ（ｈ）は、前記光学系の光量評価領域が、前記光学系の結像面において前記結像面の中心からの距離が前記撮像素子の撮像面の対角線の２分の１の長さの８０％以上を示す前記光学系の領域であり、５４６．１ｎｍの波長成分を含む第１の評価波長を使った場合に、前記結像面の中心に対応する前記光学系の領域における光量に対する前記光量評価領域における光量の比を表し、０≦Ｒ（ｈ）≦１を満たし、
ＳＮＲ（ｆ）は、ＳＮＲ（ｆ）＝Ｓ（ｆ）／Ｎ（ｆ）によって表され、
Ｓ（ｆ）は、想定される撮影条件において期待される前記対象画像の中心における信号量の二乗平均値を表し、
Ｎ（ｆ）は、想定される撮影条件において期待されるノイズ量の二乗平均値を表す、
を満たす場合に、前記光学系の光学伝達関数に基づく復元処理を前記対象画像に対して行う手順とをコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な非一時的有形記録媒体。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、撮像装置、画像処理装置、画像処理方法、プログラム及び記録媒体に係り、特に、広角撮影画像の復元処理技術に関する。【背景技術】
【0002】
デジタルカメラ等の撮像装置によって得られる撮影画像は、光学系の収差等に起因するボケや歪み等の劣化成分を含む。良画質の画像を得るためには、収差が小さい光学系を用いて撮影を行うことが望ましいが、サイズ及びコスト等のために実際に使用可能な光学系は制限され、性能の高い光学系を必ずしも使用することができない。【0003】
そのため、撮影後の画像処理により劣化成分の影響を低減する方法が提案されている。【0004】
特許文献１は、元の画像を復元する撮像装置を開示する。この撮像装置では、点拡がり関数（ＰＳＦ：Ｐｏｉｎｔ Ｓｐｒｅａｄ Ｆｕｎｃｔｉｏｎ）に応じて作成されるボケ低減化フィルタを用いたデコンボリューション処理により、水平画角が１８０°以上の光学系を使って撮影された画像のボケが低減される。【先行技術文献】
【特許文献】
【0005】
【特許文献1】特開２０１３−０９００６６号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
防犯目的や記録目的のために使用される監視カメラの場合には、広範囲の画像を取得するために広角撮影が可能であることが求められ、特に広角画像の周辺部の画質が重視される傾向がある。【0007】
一方、撮像装置において使用可能な光学系は使用環境やユーザのニーズに応じてサイズ及びコストが制限され、特に監視用途に使われる監視カメラの場合には小型且つ安価な光学系が求められる。例えば監視カメラの場合、少なくとも光学系の部分の全長が例えば約１００ｍｍ以下であり、また光学系の径が約７０ｍｍ以下であるものが一般的に望まれる。【0008】
大型且つ高価な光学系を使う場合には広角画像の周辺部の画質を良好にすることも比較的容易であるが、実際には、上述のような制限があるため解像性能が高くない光学系が使われることも多い。特に広角レンズは一般的に周辺光量を低下させ易く、サイズ及びコスト等の制限下で周辺光量の低下を抑制しようとすると、収差の影響を十分に抑制することができずに撮影画像の解像度が低下してしまう。【0009】
このように、広角画像を撮影可能な高性能な光学系を小型且つ安価に製造することは難しい。特に周辺光量と収差との間にはトレードオフの関係があるため、良好な周辺光量を確保しつつ高解像性能を持つ広角撮影用の光学系を小型且つ安価に製造することは非常に困難である。【0010】
そこで画像処理として光学伝達関数に基づく復元処理を行うことで、広角撮影画像の解像度を向上させることが考えられる。【0011】
ただし光学伝達関数に基づく復元処理は万能ではなく、光学系の光学性能や撮像系のＳＮ比（Ｓｉｇｎａｌ−Ｎｏｉｓｅ ｒａｔｉｏ）に応じて復元処理により得られる効果は大きく変動し、場合によっては復元処理により画質を悪化させてしまう。例えば復元処理で汎用されているＷｉｅｎｅｒフィルタはノイズ増幅による画質劣化を抑えるように働くため、撮像系のＳＮ比が低い場合には復元処理によって画像の解像度を悪化させてしまう虞がある。【0012】
本発明の発明者は、鋭意研究の結果、広角撮影に使用される光学系に関し、光学伝達関数に基づく復元処理によって画像解像度の向上という効果を得るための「光学系の光学性能の最適なバランス」、とりわけ「光学系の周辺光量と解像性能との最適なバランス」を決めることは非常に難しいという技術課題を新たに見いだした。【0013】
従来、そのような技術課題は注目されておらず、「広角撮影に使用される光学系の周辺光量と解像性能との最適なバランス」に関する有効な提言はなされていなかった。例えば特許文献１は、水平画角が１８０°以上という広角撮影画像に対して復元処理を行うことを開示するが、復元処理に最適な光学系の周辺光量と解像性能とのバランスについては開示も示唆もない。【0014】
本発明は上述の事情に鑑みてなされたものであり、光学系の光学伝達関数に基づく復元処理が、周辺光量及び解像性能に関して良好なバランスを有する光学系を使って撮影された広角撮影画像に対して行われるようにするための技術を提供することを目的とする。【課題を解決するための手段】
【0015】
本発明の一態様は、光学系と、光学系を介して撮影光を受光して対象画像を出力する撮像素子と、光学系の光学伝達関数に基づく復元処理を対象画像に対して行う復元処理部とを備え、光学系は全画角が９０度を超え、光学系の光量評価領域は、光学系の結像面において結像面の中心からの距離が撮像素子の撮像面の対角線の２分の１の長さの８０％以上を示す光学系の領域であり、５４６．１ｎｍの波長成分を含む第１の評価波長を使った場合に、結像面の中心に対応する光学系の領域における光量に対する光量評価領域における光量の比が２５％以上を示し、４０６．０ｎｍの波長成分、４３０．５ｎｍの波長成分、４７１．２ｎｍの波長成分、５２２．５ｎｍの波長成分、５７７．５ｎｍの波長成分、６２８．８ｎｍの波長成分、６６９．５ｎｍの波長成分及び６９４．０ｎｍの波長成分を含む第２の評価波長を使った場合に、撮像素子のナイキスト周波数の１／２に関して取得される光学系のＭＴＦの値が１５％以上を示す撮像装置に関する。【0016】
本態様によれば、光学系の光学伝達関数に基づく復元処理が、周辺光量及び解像性能に関して良好なバランスを有する光学系を使って撮影された広角撮影画像に対して行われ、復元処理によって対象画像の画質を向上させることができる。【0017】
本発明の他の態様は、光学系と、光学系を介して撮影光を受光して対象画像を出力する撮像素子と、光学系の光学伝達関数に基づく復元処理を対象画像に対して行う復元処理部とを備え、光学系は全画角が９０度を超え、以下の式を満たす撮像装置に関する。【0018】
【数1】
【0019】
ただし、ｆは、対象画像の空間周波数を表し、ｈは、対象画像の中心からの距離を表し、Ｈ（ｆ，ｈ）は、光学系のＯＴＦを表し、Ｒ（ｈ）は、光学系の光量評価領域が、光学系の結像面において結像面の中心からの距離が撮像素子の撮像面の対角線の２分の１の長さの８０％以上を示す光学系の領域であり、５４６．１ｎｍの波長成分を含む第１の評価波長を使った場合に、結像面の中心に対応する光学系の領域における光量に対する光量評価領域における光量の比を表し、０≦Ｒ（ｈ）≦１を満たし、ＳＮＲ（ｆ）は、ＳＮＲ（ｆ）＝Ｓ（ｆ）／Ｎ（ｆ）によって表され、Ｓ（ｆ）は、想定される撮影条件において期待される対象画像の中心における信号量の二乗平均値を表し、Ｎ（ｆ）は、想定される撮影条件において期待されるノイズ量の二乗平均値を表す。【0020】
本態様によれば、光学系の光学伝達関数に基づく復元処理が、周辺光量及び解像性能に関して良好なバランスを有する光学系を使って撮影された広角撮影画像に対して行われ、復元処理によって対象画像の画質を向上させることができる。【0021】
本発明の他の態様は、対象画像を取得する画像取得部と、対象画像を撮影した際の光学系及び撮像素子の情報を示す撮影デバイス条件を取得する条件取得部と、撮影デバイス条件が以下の条件（１）、（２）及び（３）：（１）光学系の全画角が９０度を超えること、
（２）光学系の光量評価領域が、光学系の結像面において結像面の中心からの距離が撮像素子の撮像面の対角線の２分の１の長さの８０％以上を示す光学系の領域であり、５４６．１ｎｍの波長成分を含む第１の評価波長を使った場合に、結像面の中心に対応する光学系の領域における光量に対する光量評価領域における光量の比が２５％以上を示すこと、
（３）４０６．０ｎｍの波長成分、４３０．５ｎｍの波長成分、４７１．２ｎｍの波長成分、５２２．５ｎｍの波長成分、５７７．５ｎｍの波長成分、６２８．８ｎｍの波長成分、６６９．５ｎｍの波長成分及び６９４．０ｎｍの波長成分を含む第２の評価波長を使った場合に、撮像素子のナイキスト周波数の１／２に関して取得される光学系のＭＴＦの値が１５％以上を示すこと、
を満たす場合に、光学系の光学伝達関数に基づく復元処理を対象画像に対して行う復元処理部とを備える画像処理装置に関する。
【0022】
本態様によれば、光学系の光学伝達関数に基づく復元処理が、周辺光量及び解像性能に関して良好なバランスを有する光学系を使って撮影された広角撮影画像に対して行われ、復元処理によって対象画像の画質を向上させることができる。【0023】
望ましくは、条件（３）におけるＭＴＦの値は、光学系のサジタル方向のＭＴＦの値及びタンジェンシャル方向のＭＴＦの値のうち値が小さい方のＭＴＦの値である。【0024】
本態様によれば、条件（３）が満たされるか否かを簡便に判定することができる。【0025】
望ましくは、復元処理部は、撮影デバイス条件が更に以下の条件（４）及び（５）：（４）第１の評価波長を使った場合に、結像面の中心に対応する光学系の領域における光量に対する光量評価領域における光量の比が３０％以上を示すこと、
（５）第２の評価波長を使った場合に、撮像素子のナイキスト周波数の１／２に関して取得されるＭＴＦの値が２０％以上を示すこと、
を満たす場合に、復元処理を行う。
【0026】
本態様によれば、復元処理によって画像解像度を効果的に向上させることができる。【0027】
望ましくは、復元処理部は、撮影デバイス条件が更に以下の条件（６）及び（７）：（６）第１の評価波長を使った場合に、結像面の中心に対応する光学系の領域における光量に対する光量評価領域における光量の比が３５％以上を示すこと、
（７）第２の評価波長を使った場合に、撮像素子のナイキスト周波数の１／２に関して取得されるＭＴＦの値が２５％以上を示すこと、
を満たす場合に、復元処理を行う。
【0028】
本態様によれば、復元処理によって画像解像度を効果的に向上させることができる。【0029】
本発明の他の態様は、対象画像を取得する画像取得部と、対象画像を撮影した際の光学系及び撮像素子の情報を示す撮影デバイス条件を取得する条件取得部と、撮影デバイス条件が以下の条件（８）及び条件（９）に表される式を満たす場合に、光学系の光学伝達関数に基づく復元処理を対象画像に対して行う復元処理部とを備える画像処理装置に関する。（８）光学系の全画角が９０度を超える。
【0030】
【数2】
【0031】
ただし、ｆは、対象画像の空間周波数を表し、ｈは、対象画像の中心からの距離を表し、Ｈ（ｆ，ｈ）は、光学系のＯＴＦを表し、Ｒ（ｈ）は、光学系の光量評価領域が、光学系の結像面において結像面の中心からの距離が撮像素子の撮像面の対角線の２分の１の長さの８０％以上を示す光学系の領域であり、５４６．１ｎｍの波長成分を含む第１の評価波長を使った場合に、結像面の中心に対応する光学系の領域における光量に対する光量評価領域における光量の比を表し、０≦Ｒ（ｈ）≦１を満たし、ＳＮＲ（ｆ）は、ＳＮＲ（ｆ）＝Ｓ（ｆ）／Ｎ（ｆ）によって表され、Ｓ（ｆ）は、想定される撮影条件において期待される対象画像の中心における信号量の二乗平均値を表し、Ｎ（ｆ）は、想定される撮影条件において期待されるノイズ量の二乗平均値を表す。【0032】
本態様によれば、光学系の光学伝達関数に基づく復元処理が、周辺光量及び解像性能に関して良好なバランスを有する光学系を使って撮影された広角撮影画像に対して行われ、復元処理によって対象画像の画質を向上させることができる。【0033】
望ましくは、復元処理部は、４０６．０ｎｍの波長成分、４３０．５ｎｍの波長成分、４７１．２ｎｍの波長成分、５２２．５ｎｍの波長成分、５７７．５ｎｍの波長成分、６２８．８ｎｍの波長成分、６６９．５ｎｍの波長成分及び６９４．０ｎｍの波長成分を含む第２の評価波長を使った場合に、撮像素子のナイキスト周波数の１／２に関して取得される光学系のＭＴＦの値がＡ％として表され、５４６．１ｎｍの波長成分を含む第１の評価波長を使った場合に、結像面の中心に対応する光学系の領域における光量に対する光量評価領域における光量の比がＢ％として表される場合に、以下の条件（１０）に表される式：（１０）Ａ％≧０．７５×Ｂ％−４０％を撮影デバイス条件が更に満たす場合に、復元処理を行う。【0034】
本態様によれば、復元処理によって画像のＭＴＦの値が大幅に向上することでもたらされうる解像感の違和感を効果的に防ぐことができる。【0035】
望ましくは、光量評価領域は、結像面において結像面の中心からの距離が撮像素子の撮像面の対角線の２分の１の長さの６０％以上を示す光学系の領域である。【0036】
本態様によれば、より効果的に、復元処理によって対象画像の画質を向上させることができる。【0037】
本発明の他の態様は、光学系が着脱可能に取り付けられる光学系装着部と、光学系装着部に装着された光学系を介して撮影光を受光して画像を出力する撮像素子と、上記の画像処理装置とを備え、撮像素子から出力される画像を対象画像とする撮像装置に関する。【0038】
本態様によれば、光学系の光学伝達関数に基づく復元処理が、周辺光量及び解像性能に関して良好なバランスを有する光学系を使って撮影された広角撮影画像に対して行われ、復元処理によって対象画像の画質を向上させることができる。【0039】
本発明の他の態様は、光学系と、光学系を介して撮影光を受光して画像を出力する撮像素子と、撮像素子に接続されるカメラ側制御処理部と、カメラ側制御処理部に接続されるカメラ側通信部とを有するカメラデバイスと、カメラ側通信部と通信可能な端末側通信部と、端末側通信部に接続される端末側制御処理部と、端末側制御処理部に接続されるユーザインターフェースとを有する制御端末とを備え、カメラ側制御処理部及び端末側制御処理部のうち少なくともいずれか一方は、上記の画像処理装置を有し、撮像素子から出力される画像を対象画像とする撮像装置に関する。【0040】
本態様によれば、光学系の光学伝達関数に基づく復元処理が、周辺光量及び解像性能に関して良好なバランスを有する光学系を使って撮影された広角撮影画像に対して行われ、復元処理によって対象画像の画質を向上させることができる。【0041】
本発明の他の態様は、対象画像を取得するステップと、対象画像を撮影した際の光学系及び撮像素子の情報を示す撮影デバイス条件を取得するステップと、撮影デバイス条件が以下の条件（１）、（２）及び（３）：（１）光学系の全画角が９０度を超えること、
（２）光学系の光量評価領域が、光学系の結像面において結像面の中心からの距離が撮像素子の撮像面の対角線の２分の１の長さの８０％以上を示す光学系の領域であり、５４６．１ｎｍの波長成分を含む第１の評価波長を使った場合に、結像面の中心に対応する光学系の領域における光量に対する光量評価領域における光量の比が２５％以上を示すこと、
（３）４０６．０ｎｍの波長成分、４３０．５ｎｍの波長成分、４７１．２ｎｍの波長成分、５２２．５ｎｍの波長成分、５７７．５ｎｍの波長成分、６２８．８ｎｍの波長成分、６６９．５ｎｍの波長成分及び６９４．０ｎｍの波長成分を含む第２の評価波長を使った場合に、撮像素子のナイキスト周波数の１／２に関して取得される光学系のＭＴＦの値が１５％以上を示すこと、
を満たす場合に、光学系の光学伝達関数に基づく復元処理を対象画像に対して行うステップとを備える画像処理方法に関する。
【0042】
本発明の他の態様は、対象画像を取得するステップと、対象画像を撮影した際の光学系及び撮像素子の情報を示す撮影デバイス条件を取得するステップと、撮影デバイス条件が以下の条件（８）及び条件（９）に表される式を満たす場合に、光学系の光学伝達関数に基づく復元処理を対象画像に対して行うステップとを備える画像処理方法に関する。（８）光学系の全画角が９０度を超える。
【0043】
【数3】
【0044】
ただし、ｆは、対象画像の空間周波数を表し、ｈは、対象画像の中心からの距離を表し、Ｈ（ｆ，ｈ）は、光学系のＯＴＦを表し、Ｒ（ｈ）は、光学系の光量評価領域が、光学系の結像面において結像面の中心からの距離が撮像素子の撮像面の対角線の２分の１の長さの８０％以上を示す光学系の領域であり、５４６．１ｎｍの波長成分を含む第１の評価波長を使った場合に、結像面の中心に対応する光学系の領域における光量に対する光量評価領域における光量の比を表し、０≦Ｒ（ｈ）≦１を満たし、ＳＮＲ（ｆ）は、ＳＮＲ（ｆ）＝Ｓ（ｆ）／Ｎ（ｆ）によって表され、Ｓ（ｆ）は、想定される撮影条件において期待される対象画像の中心における信号量の二乗平均値を表し、Ｎ（ｆ）は、想定される撮影条件において期待されるノイズ量の二乗平均値を表す。【0045】
本発明の他の態様は、対象画像を取得する手順と、対象画像を撮影した際の光学系及び撮像素子の情報を示す撮影デバイス条件を取得する手順と、撮影デバイス条件が以下の条件（１）、（２）及び（３）：（１）光学系の全画角が９０度を超えること、
（２）光学系の光量評価領域が、光学系の結像面において結像面の中心からの距離が撮像素子の撮像面の対角線の２分の１の長さの８０％以上を示す光学系の領域であり、５４６．１ｎｍの波長成分を含む第１の評価波長を使った場合に、結像面の中心に対応する光学系の領域における光量に対する光量評価領域における光量の比が２５％以上を示すこと、
（３）４０６．０ｎｍの波長成分、４３０．５ｎｍの波長成分、４７１．２ｎｍの波長成分、５２２．５ｎｍの波長成分、５７７．５ｎｍの波長成分、６２８．８ｎｍの波長成分、６６９．５ｎｍの波長成分及び６９４．０ｎｍの波長成分を含む第２の評価波長を使った場合に撮像素子のナイキスト周波数の１／２に関して取得される光学系のＭＴＦの値が１５％以上を示すこと、
を満たす場合に、光学系の光学伝達関数に基づく復元処理を対象画像に対して行う手順とをコンピュータに実行させるためのプログラムに関する。
【0046】
本発明の他の態様は、対象画像を取得する手順と、対象画像を撮影した際の光学系及び撮像素子の情報を示す撮影デバイス条件を取得する手順と、撮影デバイス条件が以下の条件（８）及び条件（９）に表される式を満たす場合に、光学系の光学伝達関数に基づく復元処理を対象画像に対して行う手順とをコンピュータに実行させるためのプログラムに関する。（８）光学系の全画角が９０度を超える。
【0047】
【数4】
【0048】
ただし、ｆは、対象画像の空間周波数を表し、ｈは、対象画像の中心からの距離を表し、Ｈ（ｆ，ｈ）は、光学系のＯＴＦを表し、Ｒ（ｈ）は、光学系の光量評価領域が、光学系の結像面において結像面の中心からの距離が撮像素子の撮像面の対角線の２分の１の長さの８０％以上を示す光学系の領域であり、５４６．１ｎｍの波長成分を含む第１の評価波長を使った場合に、結像面の中心に対応する光学系の領域における光量に対する光量評価領域における光量の比を表し、０≦Ｒ（ｈ）≦１を満たし、ＳＮＲ（ｆ）は、ＳＮＲ（ｆ）＝Ｓ（ｆ）／Ｎ（ｆ）によって表され、Ｓ（ｆ）は、想定される撮影条件において期待される対象画像の中心における信号量の二乗平均値を表し、Ｎ（ｆ）は、想定される撮影条件において期待されるノイズ量の二乗平均値を表す。【0049】
本発明の他の態様は、対象画像を取得する手順と、対象画像を撮影した際の光学系及び撮像素子の情報を示す撮影デバイス条件を取得する手順と、撮影デバイス条件が以下の条件（１）、（２）及び（３）：（１）光学系の全画角が９０度を超えること、
（２）光学系の光量評価領域が、光学系の結像面において結像面の中心からの距離が撮像素子の撮像面の対角線の２分の１の長さの８０％以上を示す光学系の領域であり、５４６．１ｎｍの波長成分を含む第１の評価波長を使った場合に、結像面の中心に対応する光学系の領域における光量に対する光量評価領域における光量の比が２５％以上を示すこと、
（３）４０６．０ｎｍの波長成分、４３０．５ｎｍの波長成分、４７１．２ｎｍの波長成分、５２２．５ｎｍの波長成分、５７７．５ｎｍの波長成分、６２８．８ｎｍの波長成分、６６９．５ｎｍの波長成分及び６９４．０ｎｍの波長成分を含む第２の評価波長を使った場合に、撮像素子のナイキスト周波数の１／２に関して取得される光学系のＭＴＦの値が１５％以上を示すこと、
を満たす場合に、光学系の光学伝達関数に基づく復元処理を対象画像に対して行う手順とをコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な非一時的有形記録媒体(a non-transitory computer-readable tangible medium)に関する。
【0050】
本発明の他の態様は、対象画像を取得する手順と、対象画像を撮影した際の光学系及び撮像素子の情報を示す撮影デバイス条件を取得する手順と、撮影デバイス条件が以下の条件（８）及び条件（９）に表される式を満たす場合に、光学系の光学伝達関数に基づく復元処理を対象画像に対して行う手順とをコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な非一時的有形記録媒体に関する。（８）光学系の全画角が９０度を超える。
【0051】
【数5】
【0052】
ただし、ｆは、対象画像の空間周波数を表し、ｈは、対象画像の中心からの距離を表し、Ｈ（ｆ，ｈ）は、光学系のＯＴＦを表し、Ｒ（ｈ）は、光学系の光量評価領域が、光学系の結像面において結像面の中心からの距離が撮像素子の撮像面の対角線の２分の１の長さの８０％以上を示す光学系の領域であり、５４６．１ｎｍの波長成分を含む第１の評価波長を使った場合に、結像面の中心に対応する光学系の領域における光量に対する光量評価領域における光量の比を表し、０≦Ｒ（ｈ）≦１を満たし、ＳＮＲ（ｆ）は、ＳＮＲ（ｆ）＝Ｓ（ｆ）／Ｎ（ｆ）によって表され、Ｓ（ｆ）は、想定される撮影条件において期待される対象画像の中心における信号量の二乗平均値を表し、Ｎ（ｆ）は、想定される撮影条件において期待されるノイズ量の二乗平均値を表す。【発明の効果】
【0053】
本発明によれば、光学系の光学伝達関数に基づく復元処理が、周辺光量及び解像性能に関して良好なバランスを有する光学系を使って撮影された広角撮影画像に対して行われ、復元処理によって対象画像の画質を向上させることができる。【図面の簡単な説明】
【0054】
【図22】図２２は、実施例２に係る光学系の非球面に関するコーニック定数「ＫＡ」及び非球面係数「Ａ３〜Ａ２０」を示す表であり、（ａ）（表８）は「面番号１の面」のデータを示し、（ｂ）（表９）は「面番号２の面」のデータを示す。
【発明を実施するための形態】
【0055】
図面を参照して本発明の実施形態について説明する。以下の実施形態では、監視カメラシステムに本発明を適用する例について説明する。ただし、本発明の適用対象はこれに限定されず、監視カメラシステム以外の撮像装置、画像処理装置、画像処理方法、プログラム及び記録媒体にも本発明を適用することが可能である。【0056】
以下の実施形態で用いられる光学系は広角撮影に使用されること及び光学伝達関数に基づく復元処理を活用することを前提として設計され、光学系の光学性能（特に周辺光量及び解像性能）の最適なバランス条件が明らかにされる。そのような最適なバランス条件を満たす光学系によって撮影される画像に対して光学伝達関数に基づく復元処理を適用することで、良好な画質を有する画像がユーザに提供される。【0057】
光学系の解像性能はＭＴＦ（Ｍｏｄｕｌａｔｉｏｎ Ｔｒａｎｓｆｅｒ Ｆｕｎｃｔｉｏｎ）等の光学伝達関数によって表現可能であり、光学系のＭＴＦが低くても、光学伝達関数に基づく復元処理を撮影画像に適用することで解像度の良好な画像を取得することができる。【0058】
そのため復元処理後の画像の周辺解像度を規定するために光学系の周辺光量及び解像性能に関して満たすべき関係を規定し、そのような関係に基づいて光学系（レンズ）の最適設計を行うことができる。すなわち光学伝達関数に基づく復元処理を行うことを前提として、復元処理後の画像に基づいて求められる解像性能（ＭＴＦ性能）が、ユーザによって必要とされる光学性能諸元（例えば収差及び光量）を満たすように光学系の設計が行われる。このように画像処理技術と光学系設計技術とを適切に組み合わせることで、トレードオフの関係にあり最適化することが難しかった光学性能諸元を最適化してトータルで性能を最大化するように、光学系を設計することができる。【0059】
以下、具体的な実施形態について例示する。【0060】
図１は、監視カメラシステムで用いられるカメラデバイス１０の一例を示す外観図である。【0061】
本例のカメラデバイス１０は、パン機能及びチルト機能を備え、後述の制御端末（図２参照）のコントロール下で撮影を行うことができる。すなわちカメラデバイス１０は、被写体を撮像する撮像部１２と、撮像部１２をパン及びチルト可能に支持する支持部１４と、を具備する。【0062】
撮像部１２は、撮像支持部１２Ａに支持される光学系１６を有する。光学系１６は、図示しないレンズ駆動部に駆動され、フォーカス、ズーム及び絞り開度が調節される。【0063】
支持部１４は、支持フレーム１４Ａ及び架台１４Ｂを含み、パン軸Ｐを中心に支持フレーム１４Ａが回転することができるように架台１４Ｂが支持フレーム１４Ａを支持する。架台１４Ｂには制御パネル１８が設けられ、この制御パネル１８に含まれる電源ボタン等の各種操作ボタン類をユーザが操作することによってもカメラデバイス１０をコントロールすることができる。支持フレーム１４Ａは、撮像部１２が配置される溝状のスペースを有し、パン軸Ｐと直交するチルト軸Ｔを中心に撮像部１２が回転することができるように撮像部１２を支持する。支持フレーム１４Ａには、撮像部１２をチルト軸Ｔまわりに回転させるチルト駆動部（図示省略）が設けられ、架台１４Ｂには、支持フレーム１４Ａをパン軸Ｐまわりに回転させるパン駆動部（図示省略）が設けられている。このようにパンチルト可能に支持される光学系１６の光軸Ｌは、パン軸Ｐ及びチルト軸Ｔと直交する。【0064】
なお図１にはパンチルト動作可能なカメラデバイス１０が示されているが、カメラデバイス１０はパンチルト機構を必ずしも必要とせず、撮像部１２が支持部１４に固定的に据え付けられていてもよい。【0065】
図２は、撮像装置の機能構成の一例を示すブロック図であり、特に監視カメラシステム２０に好適な機能構成例を示す。説明の便宜上、図２には撮影及び通信の主たる機能構成のみが図示されており、例えば上述のパン駆動部やチルト駆動部などの図示は省略されている。【0066】
本例の監視カメラシステム２０は、カメラデバイス１０と、カメラデバイス１０をコントロール可能な制御端末３０とを備える。【0067】
カメラデバイス１０は、光学系１６と、光学系１６を介して撮影光を受光して画像（対象画像）を出力する撮像素子２２と、光学系１６及び撮像素子２２に接続されるカメラ側制御処理部２３と、カメラ側制御処理部２３に接続されるカメラ側通信部２４とを有する。一方、制御端末３０は、カメラ側通信部２４と通信可能（図２中の符号「Ｃ」参照）な端末側通信部３３と、端末側通信部３３に接続される端末側制御処理部３２と、端末側制御処理部３２に接続されるユーザインターフェース３１とを有する。【0068】
光学系１６は、複数のレンズ及び絞りを含み、被写体からの撮影光を撮像素子２２に導く。撮像素子２２は、ＣＣＤ（ＣＣＤ：Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）又はＣＭＯＳ（ＣＭＯＳ：Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）などのイメージセンサによって構成される。制御端末３０のユーザインターフェース３１は、ユーザによって直接的に操作可能なボタン類やタッチパネル等の操作部に加え、ユーザに各種の情報を提示可能な表示部を含む。【0069】
カメラ側制御処理部２３は、光学系１６、撮像素子２２及びカメラ側通信部２４を制御し、例えば撮像素子２２から出力される画像を対象画像として画像処理を行う。一方、端末側制御処理部３２は、ユーザインターフェース３１及び端末側通信部３３を制御し、例えばユーザインターフェース３１を介してユーザにより入力されるデータやコマンドを受信し、各種の処理に反映させる。また端末側制御処理部３２は、カメラデバイス１０（カメラ側通信部２４）から送られてくるデータやコマンドを、端末側通信部３３を介して受信して各種の処理に反映させる。【0070】
カメラ側制御処理部２３及び端末側制御処理部３２は、カメラ側通信部２４と端末側通信部３３との間の通信Ｃを介し、例えば画像データやその他のデータの送受信を行うことができる。したがってユーザは、制御端末３０のユーザインターフェース３１を介して各種のデータ及びコマンドを端末側制御処理部３２に入力することで、カメラデバイス１０を制御することができる。すなわちカメラ側制御処理部２３をコントロールするためのデータやコマンドが端末側制御処理部３２から端末側通信部３３及びカメラ側通信部２４を介してカメラ側制御処理部２３に送信され、カメラ側制御処理部２３を介して光学系１６及び撮像素子２２を制御することができる。【0071】
なお撮像素子２２から出力される画像の処理はカメラ側制御処理部２３で行われてもよいし、端末側制御処理部３２で行われてもよいし、カメラ側制御処理部２３及び端末側制御処理部３２の両者において行われてもよい。すなわち撮像素子２２から出力される画像は、カメラ側制御処理部２３において処理を受けた後にカメラ側通信部２４及び端末側通信部３３を介して端末側制御処理部３２に送られてもよいし、端末側制御処理部３２において処理を受けてもよい。【0072】
したがって本例の監視カメラシステム２０では、下述の画像処理装置を、カメラ側制御処理部２３及び端末側制御処理部３２のうち少なくともいずれか一方に設けることができる。【0073】
図３は、画像処理装置４０の機能構成の一例を示すブロック図である。本例の画像処理装置４０は復元処理部４１を有し、対象画像及び撮影デバイス条件のデータが復元処理部４１に入力される。【0074】
対象画像は撮像素子２２から出力される画像であり、撮像素子２２から直接的又は間接的に復元処理部４１（画像処理装置４０）に入力される。撮影デバイス条件は、対象画像を撮影した際の光学系１６及び撮像素子２２の情報を示す。そして復元処理部４１は、対象画像及び撮影デバイス条件を使って、光学系の光学伝達関数に基づく復元処理を対象画像に対して行う。【0075】
復元処理部４１が対象画像及び撮影デバイス条件のデータを取得する手法は特に限定されず、監視カメラシステム２０を構成する各部から復元処理部４１に対して対象画像及び撮影デバイス条件のデータが入力可能である。例えば画像処理装置４０がカメラデバイス１０のカメラ側制御処理部２３に設けられる場合、画像処理装置４０は、撮像素子２２から出力される画像を対象画像として取得し、またカメラ側制御処理部２３が光学系１６及び撮像素子２２を制御するために使ったデータから撮影デバイス条件を取得してもよい。一方、画像処理装置４０が制御端末３０の端末側制御処理部３２に設けられる場合、画像処理装置４０は、撮像素子２２からカメラ側制御処理部２３、カメラ側通信部２４及び端末側通信部３３を介して対象画像を取得し、またカメラ側制御処理部２３又は端末側制御処理部３２が保持する「光学系１６及び撮像素子２２を制御するために使ったデータ」から撮影デバイス条件を取得してもよい。【0076】
またＥｘｉｆ（Ｅｘｃｈａｎｇｅａｂｌｅ ｉｍａｇｅ ｆｉｌｅ ｆｏｒｍａｔ）などのフォーマットに従ってメタデータが対象画像のデータに付加されている場合、画像処理装置４０は対象画像のデータに付加されているメタデータを読み込んで撮影デバイス条件を取得してもよい。【0077】
監視カメラシステム２０（カメラ側制御処理部２３及び／又は端末側制御処理部３２）が図３に示す画像処理装置４０を具備する場合において、光学系１６は例えば以下の第１処理条件〜第３処理条件（条件（１）（条件（８））、条件（２）及び条件（３））の全てを満たす（第１実施形態）。【0078】
＜第１処理条件＞光学系１６は全画角が９０度を超える。
【0079】
＜第２処理条件＞光学系１６の光量評価領域は、光学系１６の結像面において結像面の中心からの距離が撮像素子２２の撮像面の対角線の２分の１の長さの８０％以上を示す光学系１６の領域であり、５４６．１ｎｍの波長成分を含む第１の評価波長を使った場合に、結像面の中心に対応する光学系１６の領域における光量に対する光量評価領域における光量の比が２５％以上を示す。
【0080】
＜第３処理条件＞４０６．０ｎｍの波長成分、４３０．５ｎｍの波長成分、４７１．２ｎｍの波長成分、５２２．５ｎｍの波長成分、５７７．５ｎｍの波長成分、６２８．８ｎｍの波長成分、６６９．５ｎｍの波長成分及び６９４．０ｎｍの波長成分を含む第２の評価波長を使った場合に、撮像素子２２のナイキスト周波数の１／２に関して取得される光学系１６のＭＴＦの値が１５％以上を示す。
【0081】
したがって復元処理部４１によって行われる復元処理は、上記の第１処理条件〜第３処理条件を満たす光学系１６を使用して撮影された対象画像に適用されることとなる。後述のように、上記の第１処理条件〜第３処理条件を満たす光学系１６を使用して撮影された対象画像に光学伝達関数に基づく復元処理を行うと、対象画像の解像性能が復元処理によって１０％以上向上する。【0082】
また他の例として、光学系１６は、上記の第１処理条件及び下記の第４処理条件の全てを満たす（第２実施形態）。この場合、復元処理部４１によって行われる復元処理は、上記の第１処理条件（条件（８））及び下記の第４処理条件（条件（９））を満たす光学系１６を使用して撮影された対象画像に適用される。【0083】
＜第４処理条件＞【0084】
【数6】
【0085】
ただし、「ｆ」は、対象画像の空間周波数を表し、
「ｈ」は、対象画像の中心からの距離を表し、
「Ｈ（ｆ，ｈ）」は、光学系１６のＯＴＦ（Ｏｐｔｉｃａｌ Ｔｒａｎｓｆｅｒ Ｆｕｎｃｔｉｏｎ）を表し、
「Ｒ（ｈ）」は、光学系１６の光量評価領域が、光学系１６の結像面において結像面の中心からの距離が撮像素子２２の撮像面の対角線の２分の１の長さの８０％以上を示す光学系１６の領域であり、５４６．１ｎｍの波長成分を含む第１の評価波長を使った場合に、結像面の中心に対応する光学系１６の領域における光量に対する光量評価領域における光量の比を表し、「０≦Ｒ（ｈ）≦１」を満たし、
「ＳＮＲ（ｆ）」は、「ＳＮＲ（ｆ）＝Ｓ（ｆ）／Ｎ（ｆ）」によって表され、
「Ｓ（ｆ）」は、想定される撮影条件において期待される対象画像の中心における信号量の二乗平均値を表し、
「Ｎ（ｆ）」は、想定される撮影条件において期待されるノイズ量の二乗平均値を表す。
【0086】
上述の第１処理条件は、光学伝達関数に基づく復元処理が適用される対象画像が広角画像であることを意味する。例えば室内監視用途を想定した場合、死角を作らずに部屋の隅部から部屋全体を監視するには最低でも９０度の画角が必要となるため、監視用途等を想定した場合には光学系１６の全画角が９０度を超えることが望ましい。【0087】
なお撮像装置の大きさを考慮すると、撮像装置を部屋の隅部に配置しても、部屋の隅部から少し部屋の内側に光学系１６の頂点が配置されることになる。そのため、光学系１６の全画角が９０度より広い画角（例えば１００度程度）であることが望ましい。さらに、撮像装置の配置の自由度を向上させる観点からは、光学系１６の全画角が１００度よりも大きいことが好ましい。したがって、光学系１６の全画角が１００度を超えることがより好ましく、１１０度を超えることが更に好ましく、１２０度を超えることが更に好ましい。【0088】
上述の第２処理条件は、光学系１６の「光量評価領域」に関して「第１の評価波長」を使って取得される「周辺光量比」が「２５％以上」であることを示す。【0089】
ここでいう「周辺光量比」は、「結像面の中心に対応する光学系１６の領域における光量」に対する「光量評価領域における光量」の比であり、光学系１６の中心部分と周辺部分との間の光量の相違を示す。【0090】
「光量評価領域」は、周辺光量比を取得するための基準領域であり、上記の第２処理条件では撮像素子２２の撮像面を基準に定められている。【0091】
図４は、撮像素子２２の撮像面を示す平面図であり、光学系１６の光量評価領域を定めるために用いられる撮像面の範囲を説明するための図である。矩形状の撮像素子２２の撮像面において対角線Ｊの２分の１の長さは、対角線Ｊ同士の交点によって表される撮像面中心Ｉｏから撮像面の頂点までの距離に相当する。図４において、撮像面中心Ｉｏからの距離が「対角線Ｊの２分の１の長さの８０％の長さ」に相当する位置が「Ｂ８０（８０％像高線）」によって表されている。【0092】
本例では、結像面の中心からの距離が「撮像素子２２の撮像面の対角線Ｊの２分の１の長さの８０％以上」を示す光学系１６の領域が「光量評価領域」に設定されている。なお「光量評価領域」は、光学系１６のこの領域に限定されず、より広い領域であってもよい。例えば光量評価領域は、結像面において結像面の中心からの距離が撮像素子２２の撮像面の対角線の２分の１の長さの「６０％以上」を示す光学系１６の領域であってもよい（撮像面中心Ｉｏからの距離が「対角線Ｊの２分の１の長さの６０％の長さ」に相当する位置を示す図４の「Ｂ６０（６０％像高線）」参照）。【0093】
また上記の第２処理条件では光量評価領域の周辺光量比が「２５％以上」である必要があるが、光量評価領域の周辺光量比をより厳しく制限してもよく、例えば光量評価領域の周辺光量比が「３０％以上」を示すことを光学系１６の条件としてもよいし、光量評価領域の周辺光量比が「３５％以上」を示すことを光学系１６の条件としてもよい。【0094】
上記の第３処理条件は、光学系１６が満たすべきＭＴＦの値を示す。この第３処理条件における光学系１６のＭＴＦの評価に使用される第２評価波長は、「４０６．０ｎｍの波長成分：４３０．５ｎｍの波長成分：４７１．２ｎｍの波長成分：５２２．５ｎｍの波長成分：５７７．５ｎｍの波長成分：６２８．８ｎｍの波長成分：６６９．５ｎｍの波長成分：６９４．０ｎｍの波長成分＝１：３：１１：２１：２６：２２：１２：４」のウエイト比で各波長成分を含む（図５（表１）参照）。この第２の評価波長を使った場合に、撮像素子２２の画素ピッチによって規定されるナイキスト周波数の１／２に関する光学系１６のＭＴＦの値が１５％以上を示す。【0095】
なお上記の第３処理条件では光学系１６のＭＴＦの値が「１５％以上」である必要があるが、ＭＴＦの値をより厳しく制限してもよく、例えばＭＴＦの値が「２０％以上」を示すことを光学系１６の条件としてもよいし、ＭＴＦの値が「２５％以上」を示すことを光学系１６の条件としてもよい。【0096】
また上記の第３処理条件におけるＭＴＦの値の方向性については特に問われない。例えば光学系１６のサジタル方向のＭＴＦの値及びタンジェンシャル方向のＭＴＦの値のうち値が小さい方のＭＴＦの値が、第３処理条件において規定される条件（例えば「１５％以上」）を満たせばよい。なお、サジタル方向は光学系１６の円周方向に相当し、タンジェンシャル方向は光学系１６の径方向に相当する。【0097】
また上記の第３処理条件は、光学系１６の全体領域で満たされていてもよいし、光学系１６の一部領域で満たされていてもよいが、復元処理部４１による復元処理は、少なくとも上記の第３処理条件を満たす光学系１６の領域に対応する画像部分にのみ適用されることが好ましい。或いは、ズームポジションや絞りが変動して上記の第３処理条件が光学系１６の少なくとも一部の領域で満たされなくなった場合には、復元処理部４１による復元処理は行われなくてもよい。【0098】
図６は、第１実施形態に係る光学系１６の光学性能の一例を示す図である。図６の横軸は「周辺光量比（％）」を示し、縦軸は「ＭＴＦの値（％）」を示し、ＳＮ比として「２４デシベル（ｄＢ）」が想定されている。また図６において、符号「Ｍ５」、「Ｍ１０」、「Ｍ２０」、「Ｍ３０」、「Ｍ４０」、「Ｍ５０」、「Ｍ６０」、「Ｍ７０」、「Ｍ８０」、「Ｍ９０」、「Ｍ９５」及び「Ｍ９９」によって示されるラインは、光学伝達関数に基づく復元処理によって回復可能なＭＴＦの値を示し、それぞれ復元処理により「５％」、「１０％」、「２０％」、「３０％」、「４０％」、「５０％」、「６０％」、「７０％」、「８０％」、「９０％」、「９５％」及び「９９％」までＭＴＦの値を回復することができる領域を示す。【0099】
例えば「Ｍ９９」のラインによって囲まれる領域（図６の右隅部）に「周辺光量比（％）」及び「ＭＴＦの値（％）」が存在する光学系１６を使って撮影された画像は、光学伝達関数に基づく復元処理によってＭＴＦを少なくとも９９％まで回復することが可能である。同様に、「Ｍ９９」のラインと「Ｍ９５」のラインとで囲まれる領域に「周辺光量比（％）」及び「ＭＴＦの値（％）」が存在する光学系１６を使って撮影された画像は、光学伝達関数に基づく復元処理によってＭＴＦを少なくとも９５％まで回復することが可能である。【0100】
例えば上記の第２処理条件において規定される周辺光量比（結像面の中心に対応する光学系１６の領域における光量に対する光量評価領域における光量の比）が「２５％以上」とは、図６のラインＢ１よりも右側の領域（ラインＢ１を含む）を意味する。また上記の第３処理条件において規定される光学系１６のＭＴＦの値が「１５％以上」とは、図６のラインＢ２よりも上側の領域（ラインＢ２を含む）を意味する。【0101】
したがって、上記の第２処理条件及び第３処理条件を満たす光学系１６は、図６のラインＢ１及びラインＢ２によって囲まれる右上の領域に含まれることとなる。【0102】
なお光学系１６は、上記の第２処理条件及び第３処理条件よりも厳しい条件を満たしていてもよい。復元率を高める観点からは、例えば下記の「第５処理条件及び第６処理条件（条件（４）及び条件（５））」を満たす光学系１６であることが好ましく、また下記の「第７処理条件及び第８処理条件（条件（６）及び条件（７））」を満たす光学系１６であることがより好ましい。この場合、復元処理部４１によって行われる復元処理は、例えば下記の「第５処理条件及び第６処理条件」或いは「第７処理条件及び第８処理条件」を満たす光学系１６を使用して撮影された対象画像に適用されることとなる。【0103】
＜第５処理条件＞第１の評価波長を使った場合に、結像面の中心に対応する光学系１６の領域における光量に対する光量評価領域における光量の比が３０％以上を示す。
【0104】
＜第６処理条件＞第２の評価波長を使った場合に、撮像素子２２のナイキスト周波数の１／２に関して取得される光学系１６のＭＴＦの値が２０％以上を示す。
【0105】
＜第７処理条件＞第１の評価波長を使った場合に、結像面の中心に対応する光学系１６の領域における光量に対する光量評価領域における光量の比が３５％以上を示す。
【0106】
＜第８処理条件＞第２の評価波長を使った場合に、撮像素子２２のナイキスト周波数の１／２に関して取得される光学系１６のＭＴＦの値が２５％以上を示す。
【0107】
後述の図７からも明らかなように、上記の第５処理条件及び第６処理条件を満たす光学系１６を使用して撮影された対象画像に光学伝達関数に基づく復元処理を行うと、対象画像の解像性能が復元処理によって概ね２５％以上向上する。また上記の第７処理条件及び第８処理条件を満たす光学系１６を使用して撮影された対象画像に光学伝達関数に基づく復元処理を行うと、対象画像の解像性能が復元処理によって概ね４０％以上向上する。【0108】
また光学系１６は、上述の条件に加えて他の条件を満たしていてもよい。【0109】
例えば、光学系１６のＭＴＦの値が小さく周辺光量比が非常に大きい場合、光学伝達関数に基づく復元処理によってＭＴＦの値が６０％以上と大幅に持ち上げられることがある。この場合、飽和画素でのリンギング及びデモザイク処理による偽色成分の増幅等のアーティファクトが強調され過ぎてしまい画質が悪化してしまうことがある。また、デフォーカス画像とフォーカス画像との間で解像感の差が大きくなり過ぎてしまい画像を観察する際に視覚上大きな違和感がもたらされうる。【0110】
このようなアーティファクトの強調による画質悪化や画像間の解像感の不自然な相違を回避するために、光学伝達関数に基づく復元処理を行うための条件として上述の第１処理条件〜第８処理条件以外の条件が課されてもよい。例えば、上述の第２の評価波長を使った場合に、撮像素子２２のナイキスト周波数の１／２に関して取得される光学系１６のＭＴＦの値が「Ａ％」として表され、上述の第１の評価波長を使った場合に、結像面の中心に対応する光学系１６の領域における光量に対する光量評価領域における光量の比が「Ｂ％」として表される場合に、以下の第９処理条件（条件（１０））に表される式を満たすものであってもよい。【0111】
＜第９処理条件＞Ａ％≧０．７５×Ｂ％−４０％
この第９処理条件は図６及び図７のラインＢ３によって規定され、第９処理条件を満たす光学系１６は、図６及び図７のラインＢ３の上側の領域（ラインＢ３を含む）に含まれる。この場合、復元処理部４１によって行われる復元処理は、上記の第９処理条件を満たす光学系１６を使用して撮影された対象画像に適用されることとなる。
【0112】
図７は、第２実施形態に係る光学系１６の光学性能の一例を示す図である。図７の横軸は「周辺光量比（％）」を示し、縦軸は「ＭＴＦの値（％）」を示し、ＳＮ比として「２４デシベル（ｄＢ）」が想定されている。また図７において、符号「ＭＤ−２０」、「ＭＤ−１０」、「ＭＤ０」、「ＭＤ１０」、「ＭＤ２０」、「ＭＤ３０」、「ＭＤ４０」、「ＭＤ５０」、「ＭＤ６０」及び「ＭＤ７０」によって示されるラインは、光学伝達関数に基づく復元処理前後のＭＴＦの差（％）を示し、それぞれ「復元処理後の画像のＭＴＦの値（％）−復元処理前の画像のＭＴＦの値（％）」が「−２０％」、「−１０％」、「０％」、「１０％」、「２０％」、「３０％」、「４０％」、「５０％」、「６０％」及び「７０％」となる領域を示す。【0113】
例えば「ＭＤ０」のラインよりも正の側の領域（図７のラインＭＤ０よりも右側の領域）に「周辺光量比（％）」及び「ＭＴＦの値（％）」が存在する光学系１６を使って撮影された画像については、「復元処理後の画像のＭＴＦの値（％）−復元処理前の画像のＭＴＦの値（％）」が０％よりも大きくなり、復元処理による画像復元効果（解像度向上効果）が見込める。同様に、「ＭＤ２０」のラインよりも正の側の領域（図７のラインＭＤ２０よりも右側の領域）に「周辺光量比（％）」及び「ＭＴＦの値（％）」が存在する光学系１６を使って撮影された画像については、光学伝達関数に基づく復元処理によってＭＴＦの値を少なくとも２０％向上させることが可能である。【0114】
例えば上記の第２処理条件において規定される周辺光量比（結像面の中心に対応する光学系１６の領域における光量に対する光量評価領域における光量の比）が「２５％以上」とは、図７のラインＢ１よりも右側の領域（ラインＢ１を含む）を意味する。また上記の第３処理条件において規定される光学系１６のＭＴＦの値が「１５％以上」とは、図７のラインＢ２よりも上側の領域（ラインＢ２を含む）を意味する。したがって、上記の第２処理条件及び第３処理条件を満たす光学系１６は、図７のラインＢ１及びラインＢ２によって囲まれる右上の領域に含まれることとなる。【0115】
したがって図７からも明らかなように、上記の第２処理条件及び第３処理条件を満たす光学系１６を使用して撮影された対象画像に光学伝達関数に基づく復元処理を行うと、対象画像のＭＴＦを概ね１０％以上向上させることができる。なお光学系１６が上記の第２処理条件及び第３処理条件を満たす場合であっても、光学系１６のＭＴＦの値が非常に高く（概ねＭＴＦが９０％以上の範囲）周辺光量比が比較的低い（概ね周辺光量比が６０％以下の範囲）ケースにおいて、復元処理により対象画像のＭＴＦの値が小さくなる場合もありうる。これは、名目上のＭＴＦ値が高いことよりも、図２に示した撮像素子２２のＳＮ比の低さを改善するために、その周波数成分を逆に低減させたほうが、平均二乗誤差を最小化する画像復元において有利に働くことに起因する現象である。ただし、そのようなケースであっても、光学系１６が本来的に有するＭＴＦの値が十分に高く、復元処理によるＭＴＦの低下が十分に小さい場合には、復元処理による視覚上の影響は無視できる程度に小さい。したがって、そのような無視できる程度の復元処理によるＭＴＦの低下は、本発明の目的を考慮した場合には、本発明によってもたらされる効果に実質的な影響を及ぼすものではない。【0116】
また上記の第４処理条件は、後述のように、光学伝達関数に基づく復元処理前後のＭＴＦの差（すなわち「復元処理後の画像のＭＴＦの値（％）−復元処理前の画像のＭＴＦの値（％）」）が０％よりも大きくなることを意味する。したがって上記の第４処理条件を満たす光学系１６は、図７のラインＭＤ０よりも正の側の領域（図７のラインＭＤ０よりも右側の領域）に含まれることとなる。【0117】
なお上述の図３に示す画像処理装置４０は、光学系１６と撮像素子２２とが一体的に設けられ、「第１処理条件〜第３処理条件」及び／又は「第１処理条件及び第４処理条件」を満たす特定の光学系１６が固定的に使用されて撮影が行われるケースにおいて好適であるが、光学系１６は交換可能であってもよい。【0118】
図８は、画像処理装置４０の機能構成の他の例を示すブロック図である。本例の画像処理装置４０は、復元処理部４１に加え、対象画像を取得する画像取得部４２と、対象画像を撮影した際の光学系１６の情報を示す撮影デバイス条件を取得する条件取得部４３と、を含む。【0119】
例えば上述の第１実施形態に本例の画像処理装置４０を応用すれば、復元処理部４１は、条件取得部４３によって取得される撮影デバイス条件が上記の第１処理条件〜第３処理条件を満たす場合に、光学系１６の光学伝達関数に基づく復元処理を対象画像に対して行うことができる。すなわち、上記の第１処理条件〜第３処理条件が満たされるか否かが復元処理部４１において判定され、その判定結果に応じて復元処理が行われる。【0120】
同様に上述の第２実施形態に本例の画像処理装置４０を応用すれば、復元処理部４１は、条件取得部４３によって取得される撮影デバイス条件が上記の第１処理条件及び第４処理条件を満たす場合に、光学系１６の光学伝達関数に基づく復元処理を対象画像に対して行うことができる。すなわち、上記の第１処理条件及び第４処理条件が満たされるか否かが復元処理部４１において判定され、その判定結果に応じて復元処理が行われる。【0121】
このように図８に示す画像処理装置４０は、条件判定結果に応じて復元処理の実行の有無を決めるため、光学系１６が交換可能であり、撮影に使用される光学系１６が変わりうるケースであっても好適に用いられる。【0122】
なお、上述の画像処理装置４０（図３及び図８参照）の適用対象は監視カメラシステム２０に限定されない。光学系１６及び撮像素子２２が一体的に設けられるデジタルカメラ、撮像素子２２が設けられる本体部に光学系１６が着脱可能に装着されるデジタルカメラ、及び画像処理を行うことができるコンピュータ等の他の機器類に対し、画像処理装置４０が適用されてもよい。【0123】
図９は、撮像装置の機能構成の他の例を示すブロック図であり、特に光学系１６及び撮像素子２２が一体的に設けられるコンパクトデジタルカメラ等のデジタルカメラ５０に好適な機能構成例を示す。本例のデジタルカメラ５０は、光学系１６、撮像素子２２、撮像制御処理部５１、通信部５２及び撮像ユーザインターフェース５３が一体的に設けられており、撮像制御処理部５１が、光学系１６、撮像素子２２、通信部５２及び撮像ユーザインターフェース５３を統括的に制御する。ユーザが撮像ユーザインターフェース５３を介して入力する各種のデータ及びコマンドに応じて撮像制御処理部５１が光学系１６及び撮像素子２２を制御することで撮影が行われる。撮像制御処理部５１は、撮像素子２２から出力される画像を対象画像として各種の処理を行うことができ、通信部５２を介して処理前後の画像を外部機器類に送信できる。【0124】
したがって上述の画像処理装置４０（特に図３参照）は、図９に示すデジタルカメラ５０の撮像制御処理部５１に設けられてもよい。撮像制御処理部５１（画像処理装置４０の復元処理部４１）は、撮影デバイス条件が上述の「第１処理条件〜第３処理条件」、「第１処理条件及び第４処理条件」、「第１処理条件、第５処理条件及び第６処理条件」、「第１処理条件、第７処理条件及び第８処理条件」又は「これらの各条件群及び第９処理条件」を満たす場合に、光学系１６の光学伝達関数に基づく復元処理を行うことができる。【0125】
図１０は、撮像装置の機能構成の他の例を示すブロック図であり、特に本体部５４に光学系１６が着脱可能に装着されるレンズ交換式カメラ等のデジタルカメラ５０に好適な機能構成例を示す。本例のデジタルカメラ５０は光学系１６及び本体部５４を具備する。光学系１６は、光学系制御部５５及び光学系入出力部５６と一体的に設けられ、本体部５４の光学系装着部５８に嵌合することで本体部５４に装着される。本体部５４は、撮像素子２２、光学系装着部５８、本体制御部５７、本体入出力部５９、通信部５２及び撮像ユーザインターフェース５３を有する。光学系装着部５８は光学系１６が着脱可能に取り付けられ、撮像素子２２は光学系装着部５８に装着された光学系１６を介して撮影光を受光して画像を出力する。本体入出力部５９は、光学系１６が光学系装着部５８に嵌合した際に光学系入出力部５６と接続してデータの送受信を行うことができる。光学系制御部５５及び本体制御部５７は、光学系入出力部５６及び本体入出力部５９を介してデータの送受信を行うことができる。【0126】
ユーザが撮像ユーザインターフェース５３を介して入力する各種のデータ及びコマンドに応じて本体制御部５７が光学系制御部５５に制御信号を送信し、この制御信号に応じて光学系制御部５５が光学系１６を制御する。その一方で、本体制御部５７が撮像素子２２を制御することで、撮影を行うことができる。本体制御部５７は、撮像素子２２から出力される画像を対象画像として各種の処理を行うことができ、通信部５２を介して処理前後の画像を外部機器類に送信できる。【0127】
したがって上述の画像処理装置４０（特に図８参照）は、図１０に示すデジタルカメラ５０の本体制御部５７に設けられてもよい。本体制御部５７（画像処理装置４０の復元処理部４１）は、撮影デバイス条件が上述の「第１処理条件〜第３処理条件」、「第１処理条件及び第４処理条件」、「第１処理条件、第５処理条件及び第６処理条件」、「第１処理条件、第７処理条件及び第８処理条件」又は「これらの各条件群及び第９処理条件」を満たす場合に、光学系１６の光学伝達関数に基づく復元処理を行うことができる。【0128】
図１１は、コンピュータ６０の機能構成の一例を示すブロック図であり、特に上述の画像処理装置４０（特に図８参照）を適用可能な機能構成例を示す。本例のコンピュータ６０は、コンピュータ制御処理部６１、コンピュータ入出力部６２及びコンピュータユーザインターフェース６３を有する。コンピュータ入出力部６２は、上述のデジタルカメラ５０等の外部機器類に接続され、その外部機器類との間でデータの送受信を行う。コンピュータユーザインターフェース６３は、ユーザによって直接的に操作可能なマウス等のポインティングデバイス及びキーボード等の操作部に加え、ユーザに各種の情報を提示可能な表示部を含む。コンピュータ制御処理部６１は、コンピュータ入出力部６２及びコンピュータユーザインターフェース６３に接続され、コンピュータ入出力部６２を介して画像データ等のデータを受信し、またコンピュータユーザインターフェース６３を介してユーザにより入力される各種のデータ及びコマンドに応じて各種の処理を行う。【0129】
したがって上述の画像処理装置４０（特に図８参照）は、図１１に示すコンピュータ６０のコンピュータ制御処理部６１に設けられてもよい。コンピュータ制御処理部６１（画像処理装置４０）は、撮影デバイス条件が上述の「第１処理条件〜第３処理条件」、「第１処理条件及び第４処理条件」、「第１処理条件、第５処理条件及び第６処理条件」、「第１処理条件、第７処理条件及び第８処理条件」又は「これらの各条件群及び第９処理条件」を満たす場合に、光学系１６の光学伝達関数に基づく復元処理を行うことができる。【0130】
なおここでいう「光学伝達関数に基づく復元処理」は、光学系１６の点拡がり関数（ＰＳＦ）の二次元フーリエ変換によって得られる光学伝達関数（ＯＴＦ）から導かれる画像回復処理を意味し、点像復元処理とも呼ばれる。この「光学伝達関数に基づく復元処理」は、ＯＴＦに基づいて作成されるフィルタを使った処理であってもよいし、ＯＴＦの絶対値成分であるＭＴＦ及び／又は位相のずれを表すＰＴＦ（Ｐｈａｓｅ Ｔｒａｎｓｆｅｒ Ｆｕｎｃｔｉｏｎ）に基づいて作成されるフィルタを使った処理であってもよいし、ＰＳＦに基づいて作成されるフィルタを使った処理であってもよい。以下に説明する「光学伝達関数」は、ＯＴＦだけではなく、これらのＭＴＦ、ＰＴＦ及びＰＳＦを含みうる概念である。【0131】
光学伝達関数に基づく復元処理は、光学系１６の光学伝達関数に応じて劣化した像を、光学伝達関数から直接的又は間接的に求められる復元フィルタ（逆フィルタ）を使って補正することで、像劣化をキャンセルして本来の像を復元する処理である。しかしながら、単純に減衰特性の逆数から求められるゲインを劣化像に適用しただけでは、撮像素子２２等の撮像系に起因するノイズ成分も増幅されてしまう。そのため大きな増幅率を持つ復元フィルタがノイズ成分を含む画像に適用されると、復元処理後の画像において無視できない像劣化がもたらされる。【0132】
撮像系に起因するノイズを考慮して作成される復元フィルタとして、Ｗｉｅｎｅｒフィルタが広い分野で用いられている。Ｗｉｅｎｅｒフィルタを使った復元処理によれば、光学系１６の光学伝達関数に起因するボケの影響が大き過ぎて撮像系に起因するノイズ量と比べて画像の周波数特性が極端に減衰している場合には、大きなゲインが画像に適用されるのが避けられ、撮像系に起因するノイズ量を低減することを優先するような減衰ゲインが画像に適用されることもある。【0133】
このＷｉｅｎｅｒフィルタは本実施形態の撮像装置においても有効に活用することができる。Ｗｉｅｎｅｒフィルタを用いた復元処理の適用を前提として光学系１６の設計を行うことで、光学性能の一部の劣化を許容する代わりに他の性能を向上させることができる。【0134】
以下、光学伝達関数に基づく復元処理の実施を前提とした光学系１６の最適設計に関する具体例について説明する。【0135】
＜復元処理の実施を前提とした光学系の最適設計＞Ｗｉｅｎｅｒフィルタは、画質劣化が線形で既知な場合において復元画像と元画像との間の平均二乗誤差を最小とすることを目的として作成されるフィルタであって、線形フィルタ設計基準の一つとして利用されている。Ｗｉｅｎｅｒフィルタの周波数特性Ｆ（ｆ，ｈ）は、下記式により表される。
【0136】
【数7】
【0137】
ここで、さらに光学系１６の周辺光量の低下を考慮すると、Ｗｉｅｎｅｒフィルタの周波数特性Ｆ（ｆ，ｈ）は、下記式により表される。【0138】
【数8】
【0139】
上記式で表される周波数特性を持つＷｉｅｎｅｒフィルタ（復元フィルタ）を撮影画像に適用して得られる復元画像のレスポンスＸ（ｆ，ｈ）は、下記式によって表される。【0140】
【数9】
【0141】
光学伝達関数に基づく復元処理を行うことを前提とする場合、光学系１６自体のＭＴＦの値（上記式の「｜｜Ｈ（ｆ，ｈ）｜｜」参照）を最大化するのではなく、復元処理後のＭＴＦの値（上記式の「Ｘ（ｆ，ｈ）」参照）を最大化するように光学系１６の設計を行うことが望ましい。このようにして光学系１６を設計することで、トレードオフの関係にあるＭＴＦ及び周辺光量比をバランス良く最適に決定することができる。なおユーザが「ＭＴＦを向上させること」と「周辺光量比を向上させること」とのどちらかをおおざっぱに選択したい場合には、下記式のどちらが値として大きいのかを選択することができる。【0142】
【数10】
【0143】
ＭＴＦと周辺光量比との間に存在すトレードオフの関係を復元フィルタに正確に反映するためには、光学系１６の設計パラメータを「ｐ」と表記した場合に、周波数ｆ及び像高ｈに依存する重み付けパラメータＷ（ｆ，ｈ）を「Ｗ（ｆ，ｈ）≧０」として、下記式によって最適パラメータを求めることができる。【0144】
【数11】
【0145】
＜ＭＴＦの向上判定＞Ｗｉｅｎｅｒフィルタを使った復元処理では、対象画像中のノイズ成分が大きくＭＴＦ成分が小さい場合には、ＭＴＦを増幅させることなく減衰させることによって、ノイズの抑制を重視するケースが存在する。このようなケースを生じさせないための条件は下記式によって表される。
【0146】
【数12】
【0147】
また上記式から下記式を導き出すことができる。【0148】
【数13】
【0149】
さらに上記式から下記式を導き出すことができる。【0150】
【数14】
【0151】
ＭＴＦ及び周辺光量比が、想定されたＳＮ比に対して、少なくとも上記式の関係を満たしている場合には、光学伝達関数に基づく復元処理によってＭＴＦの向上を期待することができる。【0152】
ここで、復元処理前の画像解像度の指標となる「光学系１６の光学伝達関数Ｈ（ｆ，ｈ）」及び復元処理前の画像解像度の指標となる「レスポンスＸ（ｆ，ｈ）」が下記条件式を満たす境界について考える。【0153】
【数15】
【0154】
復元処理後の画像解像度が復元処理前の画像解像度以上となるようにするには、下記式で表される条件を満たす必要がある。【0155】
【数16】
【0156】
したがって、上述の第４処理条件を満たす場合にはＭＴＦの向上を見込むことができる。【0157】
＜ＳＮ比の定義＞ＳＮ比は、画像の信号成分とノイズ成分との比である。撮影画像Ｉが画像の信号成分Ｘ及びノイズ成分Ｙによって下記式で表されるように構成されるケースについて考える。
【0158】
【数17】
【0159】
ここで、「ｉ，ｊ」は画素（ピクセル）のインデックスであり、撮影画像中の二次元的な画素位置を示す。上記式を踏まえるとＳＮ比（ＳＮＲ）は下記式で定義される。【0160】
【数18】
【0161】
また上記式の代わりに下記式で定義されるＰＳＮＲ（Ｐｅａｋ ｓｉｇｎａｌ−ｔｏ−ｎｏｉｓｅ ｒａｔｉｏ）が用いられることもある。【0162】
【数19】
【0163】
一般に国際標準化機構（ＩＳＯ：Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｏｒｇａｎｉｚａｔｉｏｎ ｆｏｒ Ｓｔａｎｄａｒｄｉｚａｔｉｏｎ）が策定するＩＳＯ感度が高くなるほど、適正露出における受光量（信号成分）は減るがノイズ量は変わらないため、ＳＮ比は低くなる傾向がある。また撮影画像Ｉを信号成分Ｘとノイズ成分Ｙに分解するには様々な手法が存在する。また画像処理中の非線形なノイズリダクション処理の影響を受けないために、多くの測定チャートが考案されている。【0164】
＜復元処理適用後の最低ＭＴＦを保証するための条件＞光学伝達関数に基づく復元処理適用後のＭＴＦの値が「α（ただし「０≦α≦１」）」を超える（下記式参照）ために満たすべき条件を求める。
【0165】
【数20】
【0166】
上記式を変形すると、下記式を導出することができる。【0167】
【数21】
【0168】
復元処理適用前の元画像のＭＴＦと周辺光量比との積が、ＳＮ比及び「α」に基づいて決められる定数よりも大きいことを示す上記式が、復元処理適用後の最低ＭＴＦを保証する条件を表す。【0169】
次に、光学系１６の具体的な構成例について説明する。【0171】
本例の光学系１６は、物体側から順に配置される「第１光学要素Ｌ１、第２光学要素Ｌ２、第３光学要素Ｌ３、第４光学要素Ｌ４及び第５光学要素Ｌ５」、「絞りＳｔ」及び「第６光学要素Ｌ６、第７光学要素Ｌ７、第８光学要素Ｌ８、第９光学要素Ｌ９及び第１０光学要素Ｌ１０」を含む。【0172】
本例の光学系１６では、絞りＳｔは「第１光学要素Ｌ１、第２光学要素Ｌ２、第３光学要素Ｌ３、第４光学要素Ｌ４及び第５光学要素Ｌ５」と「第６光学要素Ｌ６、第７光学要素Ｌ７、第８光学要素Ｌ８、第９光学要素Ｌ９及び第１０光学要素Ｌ１０」との間に固定配置されている。また像面Ｓｉｍは、光学系１６の結像面を表し、撮影の際には、撮像素子２２の撮像面が像面Ｓｉｍの位置に配置される。なお図１２に示す絞りＳｔは大きさや形状を表すものではなく、光軸Ｌ上での位置を示す。また図１２において、光学系１６の結像面の中心に対応する箇所が符号「Ｓ０」によって表される。【0173】
図１３は、実施例１に係る光学系１６の基本データを示す表（表２）である。図１３において「面番号Ｒ」の欄（「１」〜「１９」）は、最も物体側の構成要素の面を１番目として像側に向かうに従い順次増加するｉ番目（ｉ＝１、２、３、…、１９）の面番号を示す（図１２の「Ｒ１」〜「Ｒ１９」参照）。【0174】
図１３の「曲率半径ｒ」の欄は、各面番号の曲率半径（ｍｍ：ミリメートル）を示す。曲率半径の符号は、面形状が物体側に凸の場合を正、像側に凸の場合を負としている。また面番号「１４」、「１７」、「１８」及び「１９」の曲率半径は無限大を意味し、面形状が光軸Ｌに直交して法線方向が光軸Ｌの方向と一致する平面であることを意味する。また図１３における絞りＳｔに相当する面（面番号「１０」）の曲率半径の欄には無限大を示す記号を記載する。【0176】
図１３の「有効半径ｅｒ」は、各面番号によって示される光学面のうち撮影の際に光学系として有効に働く領域（有効撮像領域）の半径（ｍｍ）を示す。【0180】
図１４は、実施例１に係る光学系１６の諸元を示す表（表３）である。図１４には、ｄ線を基準とした光学系１６の特性が示されており、具体的には「ズーム倍率」、光学系１６の全系の焦点距離「ｆ（ｍｍ）」、バックフォーカス長（空気換算値）「Ｂｆ（ｍｍ）」、Ｆナンバー「Ｆｎｏ」、全画角「２ω（°）」及び最大像高（ｙ）の２倍「２ｙ」（ｍｍ）、光学系１６の「全長（ｍｍ）」及び光学系１６の「最大径φ（ｍｍ）」が示されている。【0181】
図１５は、実施例１に係る光学系１６のＭＴＦの値を示す表（表４）である。図１５には、光学系１６における位置を示す指標として「半画角（°）」と、タンジェンシャル方向のＭＴＦの値（％）（図１５の「タンジェンシャル」の欄参照）及びサジタル方向のＭＴＦの値（％）（図１５の「サジタル」の欄参照）と、タンジェンシャル方向のＭＴＦの値及びサジタル方向の値のうち小さい方の値（％）（図１５の「ｍｉｎ」の欄参照）とが示されている。図１５に示されるＭＴＦの値は、上述の第２の評価波長（図５参照）が使われ、また評価周波数として８０ＬＰ／ｍｍ（Ｌｉｎｅ Ｐａｉｒｓ／ｍｍ）を使って得られる値であり、この評価周波数は撮像素子２２のナイキスト周波数の１／２に対応する。【0182】
図１６は、実施例１に係る光学系１６の周辺光量比を示す表（表５）である。図１６には、光学系１６における位置を示す指標として「半画角（°）」と、「周辺光量比（％）」とが示されている。図１６に示される周辺光量比は、光学系１６の結像面において結像面の中心からの距離が撮像素子２２の撮像面の対角線の２分の１の長さの８０％を示す光学系１６の領域（光量評価領域）の光量に基づく。また図１６に示される周辺光量比は、評価波長として５４６．１ｎｍの波長（上述の第１の評価波長）を使って得られる値である。【0183】
図１７は、実施例１に係る光学系１６のＭＴＦを示すグラフである。図１７の横軸は光学系１６における位置を示す指標として使われる「半画角（°）」を示し、縦軸は「ＭＴＦの値（％）」を示す。図１８は、実施例１に係る光学系１６の周辺光量比を示すグラフである。図１８の横軸は光学系１６における位置を示す指標として使われる「半画角（°）」を示し、縦軸は「周辺光量比（％）」を示す。【0184】
なお図６及び図７においても、実施例１に係る光学系１６のＭＴＦの値及び周辺光量比がプロットされている（図６及び図７における「実施例１」の表示参照）。図６及び図７における「実施例１」及び後述の「実施例２」、「実施例３」及び「実施例４」のプロットは、光学系１６の結像面において結像面の中心からの距離が撮像素子２２の撮像面の対角線の２分の１の長さの「１００％」、「９０％」、「８０％」、「７０％」、「６０％」、「５０％」、「４０％」、「３０％」、「２０％」、「１０％」及び「０％」を示す光学系１６の領域に関するものである。【0185】
上述のように実施例１に係る光学系１６は、上記の第１処理条件を満たし（図１４の「２ω（°）」の欄参照）、上記の第２処理条件及び第３処理条件を満たす（図６〜７及び図１５〜１８参照）。したがって、実施例１に係る光学系１６及び撮像素子２２を使って撮影される画像を対象画像として「光学伝達関数に基づく復元処理」を行うことで、収差を抑制しつつ画像解像度を効果的に向上させることができる。【0186】
＜実施例２＞本実施例において、上述の実施例１と同一の要素には同一の符号を付し、その詳細な説明は省略する。
【0187】
図１９は、実施例２に係る光学系１６の断面図を示す。【0188】
本例の光学系１６は、物体側から順に配置される「第１光学要素Ｌ１、第２光学要素Ｌ２、第３光学要素Ｌ３、第４光学要素Ｌ４、第５光学要素Ｌ５、第６光学要素Ｌ６、第７光学要素Ｌ７及び第８光学要素Ｌ８」、「絞りＳｔ」及び「第９光学要素Ｌ９、第１０光学要素Ｌ１０、第１１光学要素Ｌ１１、第１２光学要素Ｌ１２、第１３光学要素Ｌ１３及び第１４光学要素Ｌ１４」を含む。【0189】
図２０は、実施例２に係る光学系１６の基本データを示す表（表６）である。図２０には面番号１〜２５（図１９の「Ｒ１」〜「Ｒ２５」参照）に関し、上述の図１３と同様に、「面番号Ｒ」、「曲率半径ｒ」（ｍｍ）、「面間隔ｄ」（ｍｍ）、「有効半径ｅｒ」（ｍｍ）、「屈折率ｎｄ」及び「アッベ数νｄ」が示されている。【0190】
なお本実施例２に係る光学系１６において第１光学要素Ｌ１は非球面レンズによって構成され、「面番号１の面」及び「面番号２の面」は非球面となっている。【0191】
図２１は、実施例２に係る光学系１６の諸元を示す表（表７）である。図２１には、上述の図１４と同様に、ｄ線を基準とした「ズーム倍率」、光学系１６の全系の焦点距離「ｆ（ｍｍ）」、バックフォーカス長（空気換算値）「Ｂｆ（ｍｍ）」、Ｆナンバー「Ｆｎｏ」、全画角「２ω（°）」及び最大像高（ｙ）の２倍「２ｙ」（ｍｍ）、光学系１６の「全長（ｍｍ）」及び光学系１６の「最大径φ（ｍｍ）」が示されている。【0192】
図２２は、実施例２に係る光学系１６の非球面に関するコーニック定数「ＫＡ」及び非球面係数「Ａ３〜Ａ２０」を示す表であり、（ａ）（表８）は「面番号１の面」のデータを示し、（ｂ）（表９）は「面番号２の面」のデータを示す。【0193】
図２２に示すコーニック定数「ＫＡ」及び非球面係数「Ａ３〜Ａ２０」は、下記式によって定められる。【0194】
【数22】
【0195】
なお図２２において、「Ｅ」は指数表記を表し、例えば「Ｅ−０３」は１０の「−３」乗（すなわち「１０−３」）を意味する。【0196】
図２３は、実施例２に係る光学系１６のＭＴＦの値を示す表（表１０）である。図２３には、光学系１６における位置を示す指標として「半画角（°）」と、タンジェンシャル方向のＭＴＦの値（％）（図２３の「タンジェンシャル」の欄参照）及びサジタル方向のＭＴＦの値（％）（図２３の「サジタル」の欄参照）と、タンジェンシャル方向のＭＴＦの値及びサジタル方向の値のうち小さい方の値（％）（図２３の「ｍｉｎ」の欄参照）とが示されている。図２３に示されるＭＴＦの値は、上述の第２の評価波長（図５参照）が使われ、また評価周波数として１５５ＬＰ／ｍｍを使って得られる値であり、この評価周波数は撮像素子２２のナイキスト周波数の１／２に対応する。【0197】
図２４は、実施例２に係る光学系１６の周辺光量比を示す表（表１１）である。図２４には、光学系１６における位置を示す指標として「半画角（°）」と、「周辺光量比（％）」とが示されている。図２４に示される周辺光量比は、光学系１６の結像面において結像面の中心からの距離が撮像素子２２の撮像面の対角線の２分の１の長さの８０％を示す光学系１６の領域（光量評価領域）の光量に基づく。また図２４に示される周辺光量比は、評価波長として５４６．１ｎｍの波長（上述の第１の評価波長）を使って得られる値である。【0198】
図２５は、実施例２に係る光学系１６のＭＴＦを示すグラフである。図２５の横軸は光学系１６における位置を示す指標として使われる「半画角（°）」を示し、縦軸は「ＭＴＦの値（％）」を示す。図２６は、実施例２に係る光学系１６の周辺光量比を示すグラフである。図２６の横軸は光学系１６における位置を示す指標として使われる「半画角（°）」を示し、縦軸は「周辺光量比（％）」を示す。なお図６及び図７においても、実施例２に係る光学系１６のＭＴＦの値及び周辺光量比がプロットされている（図６及び図７における「実施例２」の表示参照）。【0199】
上述のように実施例２に係る光学系１６は、上記の第１処理条件を満たし（図２１の「２ω（°）」の欄参照）、上記の第２処理条件及び第３処理条件を満たす（図６〜７及び図２３〜２６参照）。したがって、実施例２に係る光学系１６及び撮像素子２２を使って撮影される画像を対象画像として「光学伝達関数に基づく復元処理」を行うことで、収差を抑制しつつ画像解像度を効果的に向上させることができる。【0200】
＜実施例３＞本実施例において、上述の実施例１と同一の要素には同一の符号を付し、その詳細な説明は省略する。
【0201】
図２７は、実施例３に係る光学系１６の断面図を示す。【0202】
本例の光学系１６は、物体側から順に配置される「第１光学要素Ｌ１、第２光学要素Ｌ２、第３光学要素Ｌ３、第４光学要素Ｌ４、第５光学要素Ｌ５及び第６光学要素Ｌ６」、「絞りＳｔ」及び「第７光学要素Ｌ７、第８光学要素Ｌ８、第９光学要素Ｌ９、第１０光学要素Ｌ１０、第１１光学要素Ｌ１１及び第１２光学要素Ｌ１２」を含む。【0203】
図２８は、実施例３に係る光学系１６の基本データを示す表（表１２）である。図２８には面番号１〜２３（図２７の「Ｒ１」〜「Ｒ２３」参照）に関し、上述の図１３と同様に、「面番号Ｒ」、「曲率半径ｒ」（ｍｍ）、「面間隔ｄ」（ｍｍ）、「有効半径ｅｒ」（ｍｍ）、「屈折率ｎｄ」及び「アッベ数νｄ」が示されている。【0204】
図２９は、実施例３に係る光学系１６の諸元を示す表（表１３）である。図２９には、上述の図１４と同様に、ｄ線を基準とした「ズーム倍率」、光学系１６の全系の焦点距離「ｆ（ｍｍ）」、バックフォーカス長（空気換算値）「Ｂｆ（ｍｍ）」、Ｆナンバー「Ｆｎｏ」、全画角「２ω（°）」及び最大像高（ｙ）の２倍「２ｙ」（ｍｍ）、光学系１６の「全長（ｍｍ）」及び光学系１６の「最大径φ（ｍｍ）」が示されている。【0205】
図３０は、実施例３に係る光学系１６のＭＴＦの値を示す表（表１４）である。図３０には、光学系１６における位置を示す指標として「半画角（°）」と、タンジェンシャル方向のＭＴＦの値（％）（図３０の「タンジェンシャル」の欄参照）及びサジタル方向のＭＴＦの値（％）（図３０の「サジタル」の欄参照）と、タンジェンシャル方向のＭＴＦの値及びサジタル方向の値のうち小さい方の値（％）（図３０の「ｍｉｎ」の欄参照）とが示されている。図３０に示されるＭＴＦの値は、上述の第２の評価波長（図５参照）が使われ、また評価周波数として１１２ＬＰ／ｍｍを使って得られる値であり、この評価周波数は撮像素子２２のナイキスト周波数の１／２に対応する。【0206】
図３１は、実施例３に係る光学系１６の周辺光量比を示す表（表１５）である。図３１には、光学系１６における位置を示す指標として「半画角（°）」と、「周辺光量比（％）」とが示されている。図３１に示される周辺光量比は、光学系１６の結像面において結像面の中心からの距離が撮像素子２２の撮像面の対角線の２分の１の長さの８０％を示す光学系１６の領域（光量評価領域）の光量に基づく。また図３１に示される周辺光量比は、評価波長として５４６．１ｎｍの波長（上述の第１の評価波長）を使って得られる値である。【0207】
図３２は、実施例３に係る光学系１６のＭＴＦを示すグラフである。図３２の横軸は光学系１６における位置を示す指標として使われる「半画角（°）」を示し、縦軸は「ＭＴＦの値（％）」を示す。図３３は、実施例３に係る光学系１６の周辺光量比を示すグラフである。図３３の横軸は光学系１６における位置を示す指標として使われる「半画角（°）」を示し、縦軸は「周辺光量比（％）」を示す。なお図６及び図７においても、実施例３に係る光学系１６のＭＴＦの値及び周辺光量比がプロットされている（図６及び図７における「実施例３」の表示参照）。【0208】
上述のように実施例３に係る光学系１６は、上記の第１処理条件を満たし（図２９の「２ω（°）」の欄参照）、上記の第２処理条件及び第３処理条件を満たす（図６〜７及び図３０〜３３参照）。したがって、実施例３に係る光学系１６及び撮像素子２２を使って撮影される画像を対象画像として「光学伝達関数に基づく復元処理」を行うことで、収差を抑制しつつ画像解像度を効果的に向上させることができる。【0209】
＜実施例４＞本実施例において、上述の実施例２と同一の要素には同一の符号を付し、その詳細な説明は省略する。
【0210】
図３４は、実施例４に係る光学系１６の断面図を示す。【0211】
本例の光学系１６は、物体側から順に配置される「第１光学要素Ｌ１、第２光学要素Ｌ２、第３光学要素Ｌ３、第４光学要素Ｌ４及び第５光学要素Ｌ５」、「絞りＳｔ」及び「第６光学要素Ｌ６、第７光学要素Ｌ７、第８光学要素Ｌ８、第９光学要素Ｌ９、第１０光学要素Ｌ１０及び第１１光学要素Ｌ１１」を含む。【0212】
図３５は、実施例４に係る光学系１６の基本データを示す表（表１６）である。図３５には面番号１〜２０（図３４の「Ｒ１」〜「Ｒ２０」参照）に関し、上述の図１３と同様に、「面番号Ｒ」、「曲率半径ｒ」（ｍｍ）、「面間隔ｄ」（ｍｍ）、「有効半径ｅｒ」（ｍｍ）、「屈折率ｎｄ」及び「アッベ数νｄ」が示されている。【0213】
図３６は、実施例４に係る光学系１６の諸元を示す表（表１７）である。図３６には、上述の図１４と同様に、ｄ線を基準とした「ズーム倍率」、光学系１６の全系の焦点距離「ｆ（ｍｍ）」、バックフォーカス長（空気換算値）「Ｂｆ（ｍｍ）」、Ｆナンバー「Ｆｎｏ」、全画角「２ω（°）」及び最大像高（ｙ）の２倍「２ｙ」（ｍｍ）、光学系１６の「全長（ｍｍ）」及び光学系１６の「最大径φ（ｍｍ）」が示されている。【0214】
なお本実施例４に係る光学系１６において第６光学要素Ｌ６は非球面レンズによって構成され、「面番号１１の面」及び「面番号１２の面」は非球面となっている。【0215】
図３７は、実施例４に係る光学系１６の非球面に関するコーニック定数「ＫＡ」及び非球面係数「Ａ３〜Ａ１０」を示す表であり、（ａ）（表１８）は「面番号１１の面」のデータを示し、（ｂ）（表１９）は「面番号１２の面」のデータを示す。
【0217】
図３８は、実施例４に係る光学系１６のＭＴＦの値を示す表（表２０）である。図３８には、光学系１６における位置を示す指標として「半画角（°）」と、タンジェンシャル方向のＭＴＦの値（％）（図３８の「タンジェンシャル」の欄参照）及びサジタル方向のＭＴＦの値（％）（図３８の「サジタル」の欄参照）と、タンジェンシャル方向のＭＴＦの値及びサジタル方向の値のうち小さい方の値（％）（図３８の「ｍｉｎ」の欄参照）とが示されている。図３８に示されるＭＴＦの値は、上述の第２の評価波長（図５参照）が使われ、また評価周波数として９９ＬＰ／ｍｍを使って得られる値であり、この評価周波数は撮像素子２２のナイキスト周波数の１／２に対応する。【0218】
図３９は、実施例４に係る光学系１６の周辺光量比を示す表（表２１）である。図３９には、光学系１６における位置を示す指標として「半画角（°）」と、「周辺光量比（％）」とが示されている。図３９に示される周辺光量比は、光学系１６の結像面において結像面の中心からの距離が撮像素子２２の撮像面の対角線の２分の１の長さの８０％を示す光学系１６の領域（光量評価領域）の光量に基づく。また図３９に示される周辺光量比は、評価波長として５４６．１ｎｍの波長（上述の第１の評価波長）を使って得られる値である。【0219】
図４０は、実施例４に係る光学系１６のＭＴＦを示すグラフである。図４０の横軸は光学系１６における位置を示す指標として使われる「半画角（°）」を示し、縦軸は「ＭＴＦの値（％）」を示す。図４１は、実施例４に係る光学系１６の周辺光量比を示すグラフである。図４１の横軸は光学系１６における位置を示す指標として使われる「半画角（°）」を示し、縦軸は「周辺光量比（％）」を示す。なお図６及び図７においても、実施例４に係る光学系１６のＭＴＦの値及び周辺光量比がプロットされている（図６及び図７における「実施例４」の表示参照）。【0220】
上述のように実施例４に係る光学系１６は、上記の第１処理条件を満たし（図３６の「２ω（°）」の欄参照）、上記の第２処理条件及び第３処理条件を満たす（図６〜７及び図３８〜４１参照）。したがって、実施例４に係る光学系１６及び撮像素子２２を使って撮影される画像を対象画像として「光学伝達関数に基づく復元処理」を行うことで、収差を抑制しつつ画像解像度を効果的に向上させることができる。【0221】
次に、条件判定フローについて説明する。【0222】
図３に示す画像処理装置４０は、光学伝達関数に基づく復元処理を実施するための上述の条件（第１処理条件〜第９処理条件参照）を本来的に満たす光学系１６を使って取得された撮影画像を対象画像としている。そのため、図３に示す画像処理装置４０によって復元処理を行う場合には、復元処理の実行の有無を判定する必要はなく、画像処理装置４０（復元処理部４１）に入力される対象画像の全てに対して光学伝達関数に基づく復元処理を行うことができる。【0223】
一方、図８に示す画像処理装置４０は、様々な光学系１６を使って取得された撮影画像を対象画像としており、光学伝達関数に基づく復元処理を実施するための上述の条件（第１処理条件〜第９処理条件参照）が満たされるか否かを判定し、復元処理の実行の有無が決められる。【0225】
まず復元処理部４１は、画像取得部４２を介して対象画像を取得し、条件取得部４３を介して撮影デバイス条件を取得する（図４２のＳ１１）。【0226】
そして復元処理部４１は、光学伝達関数に基づく復元処理を実施するための上述の条件（第１処理条件〜第９処理条件参照）が満たされるか否かを判定する（Ｓ１２）。例えば、撮影デバイス条件が上述の「第１処理条件〜第３処理条件」、「第１処理条件及び第４処理条件」、「第１処理条件、第５処理条件及び第６処理条件」、「第１処理条件、第７処理条件及び第８処理条件」又は「これらの各条件群及び第９処理条件」を満たすか否かが復元処理部４１によって判定される。【0227】
光学伝達関数に基づく復元処理を実施するための上述の条件（第１処理条件〜第９処理条件参照）が満たされると判定される場合（Ｓ１２のＹＥＳ）、復元処理部４１は対象画像の復元処理を行う（Ｓ１３）。一方、光学伝達関数に基づく復元処理を実施するための上述の条件（第１処理条件〜第９処理条件参照）が満たされないと判定される場合（Ｓ１２のＮＯ）、復元処理部４１は復元処理（Ｓ１３参照）をスキップする。【0228】
なお図４２に示す例では、対象画像及び撮影デバイス条件が同じ処理ステップで取得されるが、対象画像及び撮影デバイス条件の各々は別タイミングで取得されてもよい。例えば、上述の処理ステップＳ１１では撮影デバイス条件のみが取得され、上述の処理ステップＳ１２と処理ステップＳ１３との間において復元処理部４１により対象画像が取得されてもよい。【0229】
図４３は、光学系１６が交換可能な撮像装置（例えば図１０の「デジタルカメラ５０」参照）における条件判定フローの一例を示すフローチャートである。本例の画像処理装置４０は、復元処理を実施するための上述の条件（第１処理条件〜第９処理条件参照）が満たされるか否かを判定し、判定結果に応じて「復元処理を実行するモード（復元処理実行モード）」及び「復元処理を実行しないモード（復元処理不実行モード）」のうちのいずれを採用するか決定する。
【0230】
すなわち撮像装置の電源がオンにされたら（図４３のＳ２１）、画像処理装置４０（例えば復元処理部４１）は、撮像素子２２の画素ピッチを直接的又は間接的に示す画素ピッチ情報を取得し、注目周波数を決定する（Ｓ２２）。ここでいう注目周波数とは、撮像素子２２の画素ピッチによって規定されるナイキスト周波数の１／２に相当する。【0231】
そして画像処理装置４０は、光学系１６の周辺光量比を直接的又は間接的に示す周辺光量情報と、注目周波数に関して取得される光学系１６のＭＴＦの値を直接的又は間接的に示すＭＴＦ情報とを取得する（Ｓ２３）。例えば図１０に示す例において、周辺光量情報及び／又はＭＴＦ情報を光学系制御部５５が保持する一方で、画像処理装置４０が本体制御部５７に設けられる場合、本体制御部５７（画像処理装置４０）は、本体入出力部５９及び光学系入出力部５６を介して光学系制御部５５から周辺光量情報及び／又はＭＴＦ情報を取得する。【0232】
そして周辺光量情報及びＭＴＦ情報が「復元処理を実施するための上述の条件（第１処理条件〜第９処理条件参照）」を満たすか否かが画像処理装置４０によって判定される（Ｓ２４）。「復元処理を実施するための上述の条件（第１処理条件〜第９処理条件参照）」が満たされる場合（Ｓ２４のＹＥＳ）、画像処理装置４０は復元処理実行モードを採用し（Ｓ２５）、撮像素子２２から出力される撮影画像（対象画像）に対して復元処理部４１による復元処理が行われる。一方、「復元処理を実施するための上述の条件（第１処理条件〜第９処理条件参照）」が満たされない場合（Ｓ２４のＮＯ）、画像処理装置４０は復元処理不実行モードを採用し（Ｓ２６）、撮像素子２２から出力される撮影画像（対象画像）の復元処理は行われない。【0233】
なお図４３に示す上述の条件判定フローの適用対象は特に限定されず、図１０に示すデジタルカメラ５０だけではなく、例えば図２に示す監視カメラシステム２０にも図４３に示す条件判定フローを適用することができる。例えば、監視カメラシステム２０のカメラ側制御処理部２３が周辺光量情報及びＭＴＦ情報を保持する一方で、端末側制御処理部３２に画像処理装置４０が設けられるケースにも図４３に示す条件判定フローを適用することができる。この場合、画像処理装置４０は、端末側通信部３３及びカメラ側通信部２４を介してカメラ側制御処理部２３と通信を行って周辺光量情報及びＭＴＦ情報を取得し（図４３の処理ステップＳ２１〜２３）、復元処理を実施するための上述の条件（第１処理条件〜第９処理条件参照）が満たされるか否かを判定し（処理ステップＳ２４参照）、判定結果に応じて「復元処理を実行するモード（復元処理実行モード）」及び「復元処理を実行しないモード（復元処理不実行モード）」のうちのいずれかを採用する（処理ステップＳ２５及びＳ２６参照）。
【0234】
＜他の変形例＞本発明の応用は上述の実施形態に限定されるものではなく、上述の実施形態に各種の変形が加えられてもよい。
【0235】
例えば光学伝達関数に基づく復元処理を行うための条件として、上述の「第１処理条件〜第３処理条件」、「第１処理条件及び第４処理条件」、「第１処理条件、第５処理条件及び第６処理条件」、「第１処理条件、第７処理条件及び第８処理条件」又は「これらの各条件群及び第９処理条件」に対して、他の条件が加えられてもよい。例えば、撮影デバイス条件が「光学系１６は全画角が１００度を超える」、「光学系１６は全画角が１１０度を超える」又は「光学系１６は全画角が１２０度を超える」という条件を満たす場合に、光学伝達関数に基づく復元処理が行われてもよい。【0236】
また上述の第２処理条件、第５処理条件及び第７処理条件において規定される光量評価領域は、上述の「撮像素子２２の撮像面の対角線の２分の１の長さの８０％以上」を基準とするものには限定されない。例えば、監視カメラ分野では光学系１６のＭＴＦが落ち出す領域は、撮像面の対角線の２分の１の長さの６０％（垂直端部（Ｖ端）位置）以上であることが多い。また撮像装置の用途によっては撮像面の対角線の２分の１の長さの６０％以上の位置における画像解像度を向上させることが求められる場合がある。これらのケースにも適切に対応する観点からは、光学系１６の光量評価領域は、光学系１６の結像面において結像面の中心からの距離が撮像素子２２の撮像面の対角線の２分の１の長さの６０％以上を示す光学系１６の領域として、画像周辺部の解像度及び画質を向上させることが好ましい。【0237】
また上述の各機能構成は、任意のハードウェア、ソフトウェア、或いは両者の組み合わせによって実現可能であり、例えばＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、揮発性のＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ−Ｏｎｌｙ Ｍｅｍｏｒｙ）等の不揮発性のメモリ、及び／又はＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）やアプリケーションプログラム等の各種の動作プログラムが適宜組み合わされることで実現することができる。また上述の撮像装置（画像処理装置４０）の各部における画像処理方法及び撮像方法に関する各種処理の手順をコンピュータに実行させるプログラム、そのプログラムを記録したコンピュータ読み取り可能な記録媒体（非一時的有形記録媒体）、或いはそのプログラムをインストール可能なコンピュータに対しても本発明を適用することができる。【0239】
例えば撮像を主たる機能とするカメラ類の他に、撮像機能に加えて撮像以外の他の機能（通話機能、通信機能、或いはその他のコンピュータ機能）を備えるモバイル機器に対しても本発明を適用することが可能である。本発明を適用可能な他の態様としては、例えば、カメラ機能を有する携帯電話機やスマートフォン、ＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔｓ）及び携帯型ゲーム機が挙げられる。以下、本発明を適用可能なスマートフォンの一例について説明する。【0240】
＜スマートフォンの構成＞図４４は、本発明の撮像装置の一実施形態であるスマートフォン１０１の外観を示す図である。図４４に示すスマートフォン１０１は、平板状の筐体１０２を有し、筐体１０２の一方の面に表示部としての表示パネル１２１と、入力部としての操作パネル１２２とが一体となって形成される表示入力部１２０が設けられる。また、その筐体１０２は、スピーカ１３１と、マイクロホン１３２と、操作部１４０と、カメラ部１４１とを備える。なお、筐体１０２の構成はこれに限定されず、例えば、表示部と入力部とが独立して設けられる構成を採用したり、折り畳み構造やスライド機構を有する構成を採用することもできる。
【0241】
図４５は、図４４に示すスマートフォン１０１の構成を示すブロック図である。図４５に示すように、スマートフォン１０１の主たる構成要素として、無線通信部１１０と、表示入力部１２０と、通話部１３０と、操作部１４０と、カメラ部１４１と、記憶部１５０と、外部入出力部１６０と、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）受信部１７０と、モーションセンサ部１８０と、電源部１９０と、主制御部１００とを備える。また、スマートフォン１０１の主たる機能として、基地局装置と移動通信網とを介した移動無線通信を行う無線通信機能を備える。【0242】
無線通信部１１０は、主制御部１００の指示に従って、移動通信網に接続された基地局装置との間で無線通信を行う。その無線通信が使用されて、音声データ及び画像データ等の各種ファイルデータや電子メールデータなどの送受信、及びＷｅｂデータやストリーミングデータなどの受信が行われる。【0243】
表示入力部１２０は、表示パネル１２１及び操作パネル１２２を備える所謂タッチパネルであり、主制御部１００の制御により、画像（静止画像及び動画像）や文字情報などを表示して視覚的にユーザに情報を伝達し、また表示した情報に対するユーザ操作を検出する。【0244】
表示パネル１２１は、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）又はＯＥＬＤ（Ｏｒｇａｎｉｃ Ｅｌｅｃｔｒｏ−Ｌｕｍｉｎｅｓｃｅｎｃｅ Ｄｉｓｐｌａｙ）などを表示デバイスとして用いる。操作パネル１２２は、表示パネル１２１の表示面上に表示される画像が視認可能な状態で設けられ、ユーザの指や尖筆によって操作される一又は複数の座標を検出するデバイスである。そのデバイスがユーザの指や尖筆によって操作されると、操作パネル１２２は、操作に起因して発生する検出信号を主制御部１００に出力する。次いで、主制御部１００は、受信した検出信号に基づいて、表示パネル１２１上の操作位置（座標）を検出する。【0245】
本発明の撮像装置の一実施形態として図４４に例示されるスマートフォン１０１の表示パネル１２１と操作パネル１２２とは一体となって表示入力部１２０を構成し、操作パネル１２２が表示パネル１２１を完全に覆うような配置となっている。その配置を採用した場合、操作パネル１２２は、表示パネル１２１外の領域についても、ユーザ操作を検出する機能を備えてもよい。換言すると、操作パネル１２２は、表示パネル１２１に重なる重畳部分についての検出領域（以下、「表示領域」と称する）と、それ以外の表示パネル１２１に重ならない外縁部分についての検出領域（以下、「非表示領域」と称する）とを備えていてもよい。【0246】
なお、表示領域の大きさと表示パネル１２１の大きさとを完全に一致させてもよいが、両者を必ずしも一致させる必要はない。また、操作パネル１２２が、外縁部分及びそれ以外の内側部分の２つの感応領域を備えていてもよい。さらに、その外縁部分の幅は、筐体１０２の大きさなどに応じて適宜設計されるものである。更にまた、操作パネル１２２で採用される位置検出方式としては、マトリクススイッチ方式、抵抗膜方式、表面弾性波方式、赤外線方式、電磁誘導方式、及び静電容量方式などが挙げられ、いずれの方式が採用されてもよい。【0247】
通話部１３０は、スピーカ１３１及びマイクロホン１３２を備え、マイクロホン１３２を通じて入力されたユーザの音声を主制御部１００にて処理可能な音声データに変換して主制御部１００に出力したり、無線通信部１１０或いは外部入出力部１６０により受信された音声データを復号してスピーカ１３１から出力したりする。また、図４４に示すように、例えば、スピーカ１３１を表示入力部１２０が設けられた面と同じ面に搭載し、マイクロホン１３２を筐体１０２の側面に搭載することができる。【0248】
操作部１４０は、キースイッチなどを用いたハードウェアキーであって、ユーザからの指示を受け付ける。例えば、図４４に示すように、操作部１４０は、スマートフォン１０１の筐体１０２の側面に搭載され、指などで押下されるとスイッチオン状態となり、指を離すとバネなどの復元力によってスイッチオフ状態となる押しボタン式のスイッチである。【0249】
記憶部１５０は、主制御部１００の制御プログラムや制御データ、アプリケーションソフトウェア、通信相手の名称や電話番号などを対応づけたアドレスデータ、送受信した電子メールのデータ、ＷｅｂブラウジングによりダウンロードしたＷｅｂデータ、及びダウンロードしたコンテンツデータ等を記憶し、またストリーミングデータなどを一時的に記憶する。また、記憶部１５０は、スマートフォン内蔵の内部記憶部１５１と着脱自在な外部メモリスロットを有する外部記憶部１５２とにより構成される。なお、記憶部１５０を構成する内部記憶部１５１及び外部記憶部１５２のそれぞれは、フラッシュメモリタイプ（ｆｌａｓｈ ｍｅｍｏｒｙ ｔｙｐｅ）、ハードディスクタイプ（ｈａｒｄ ｄｉｓｋ ｔｙｐｅ）、マルチメディアカードマイクロタイプ（ｍｕｌｔｉｍｅｄｉａ ｃａｒｄ ｍｉｃｒｏ ｔｙｐｅ）、カードタイプのメモリ（例えば、ＭｉｃｒｏＳＤ（登録商標）メモリ等）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、或いはＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）などの格納媒体を用いて実現される。【0250】
外部入出力部１６０は、スマートフォン１０１に連結される全ての外部機器とのインターフェースの役割を果たし、通信等（例えば、ユニバーサルシリアルバス（ＵＳＢ：Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）、ＩＥＥＥ（Ｔｈｅ Ｉｎｓｔｉｔｕｔｅ ｏｆ Ｅｌｅｃｔｒｉｃａｌ ａｎｄ Ｅｌｅｃｔｒｏｎｉｃｓ Ｅｎｇｉｎｅｅｒｓ， Ｉｎｃ．）が定めるＩＥＥＥ１３９４など）又はネットワーク（例えば、インターネット、無線ＬＡＮ、ブルートゥース（Ｂｌｕｅｔｏｏｔｈ）（登録商標）、ＲＦＩＤ（Ｒａｄｉｏ Ｆｒｅｑｕｅｎｃｙ Ｉｄｅｎｔｉｆｉｃａｔｉｏｎ）、赤外線通信（Ｉｎｆｒａｒｅｄ Ｄａｔａ Ａｓｓｏｃｉａｔｉｏｎ：ＩｒＤＡ）（登録商標）、ＵＷＢ（Ｕｌｔｒａ Ｗｉｄｅｂａｎｄ）（登録商標）、ジグビー（ＺｉｇＢｅｅ）（登録商標）など）により他の外部機器に直接的又は間接的に接続する。【0251】
スマートフォン１０１に連結される外部機器としては、例えば、有線／無線ヘッドセット、有線／無線外部充電器、有線／無線データポート、カードソケットを介して接続されるメモリカード（Ｍｅｍｏｒｙ ｃａｒｄ）やＳＩＭ（Ｓｕｂｓｃｒｉｂｅｒ Ｉｄｅｎｔｉｔｙ Ｍｏｄｕｌｅ Ｃａｒｄ）／ＵＩＭ（Ｕｓｅｒ Ｉｄｅｎｔｉｔｙ Ｍｏｄｕｌｅ Ｃａｒｄ）カード、オーディオ・ビデオＩ／Ｏ（Ｉｎｐｕｔ／Ｏｕｔｐｕｔ）端子を介して接続される外部オーディオ・ビデオ機器、無線接続される外部オーディオ・ビデオ機器、有線／無線接続されるスマートフォン、有線／無線接続されるパーソナルコンピュータ、有線／無線接続されるＰＤＡ、及び有線／無線接続されるイヤホンなどがある。外部入出力部１６０は、このような外部機器から伝送を受けたデータをスマートフォン１０１の内部の各構成要素に伝達したり、スマートフォン１０１の内部のデータが外部機器に伝送されたりするように構成されてもよい。【0252】
ＧＰＳ受信部１７０は、主制御部１００の指示に従って、ＧＰＳ衛星ＳＴ１、ＳＴ２〜ＳＴｎから送信されるＧＰＳ信号を受信し、受信した複数のＧＰＳ信号に基づく測位演算処理を実行し、スマートフォン１０１の緯度、経度及び高度によって特定される位置を検出する。ＧＰＳ受信部１７０は、無線通信部１１０及び／又は外部入出力部１６０（例えば、無線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ））から位置情報を取得できる場合には、その位置情報を用いて位置を検出することもできる。【0253】
モーションセンサ部１８０は、例えば、３軸の加速度センサなどを備え、主制御部１００の指示に従って、スマートフォン１０１の物理的な動きを検出する。スマートフォン１０１の物理的な動きを検出することにより、スマートフォン１０１の動く方向や加速度が検出される。その検出の結果は、主制御部１００に出力される。【0254】
電源部１９０は、主制御部１００の指示に従って、スマートフォン１０１の各部に、バッテリ（図示しない）に蓄えられる電力を供給する。【0255】
主制御部１００は、マイクロプロセッサを備え、記憶部１５０が記憶する制御プログラムや制御データに従って動作し、スマートフォン１０１の各部を統括して制御する。また、主制御部１００は、無線通信部１１０を通じて音声通信及びデータ通信を行うために、通信系の各部を制御する移動通信制御機能と、アプリケーション処理機能とを備える。【0256】
アプリケーション処理機能は、記憶部１５０が記憶するアプリケーションソフトウェアに従って主制御部１００が動作することにより実現される。アプリケーション処理機能としては、例えば、外部入出力部１６０を制御することで対向機器とデータ通信を行う赤外線通信機能や、電子メールの送受信を行う電子メール機能、及びＷｅｂページを閲覧するＷｅｂブラウジング機能などがある。【0257】
また、主制御部１００は、受信データやダウンロードしたストリーミングデータなどの画像データ（静止画像や動画像のデータ）に基づいて、映像を表示入力部１２０に表示する等の画像処理機能を備える。画像処理機能とは、主制御部１００が、上記画像データを復号し、その復号結果に画像処理を施して、その画像処理を経て得られる画像を表示入力部１２０に表示する機能のことをいう。【0258】
さらに、主制御部１００は、表示パネル１２１に対する表示制御と、操作部１４０や操作パネル１２２を通じたユーザ操作を検出する操作検出制御とを実行する。【0259】
表示制御の実行により、主制御部１００は、アプリケーションソフトウェアを起動するためのアイコンや、スクロールバーなどのソフトウェアキーを表示したり、或いは電子メールを作成するためのウィンドウを表示する。なお、スクロールバーとは、表示パネル１２１の表示領域に収まりきれない大きな画像などについて、画像の表示部分を移動する指示を受け付けるためのソフトウェアキーのことをいう。【0260】
また、操作検出制御の実行により、主制御部１００は、操作部１４０を通じたユーザ操作を検出したり、操作パネル１２２を通じて、上記アイコンに対する操作や、上記ウィンドウの入力欄に対する文字列の入力を受け付けたり、或いは、スクロールバーを通じた表示画像のスクロール要求を受け付ける。【0261】
さらに、操作検出制御の実行により主制御部１００は、操作パネル１２２に対する操作位置が、表示パネル１２１に重なる重畳部分（表示領域）に該当するか、或いはそれ以外の表示パネル１２１に重ならない外縁部分（非表示領域）に該当するかを判定し、操作パネル１２２の感応領域やソフトウェアキーの表示位置を制御するタッチパネル制御機能を備える。【0262】
また、主制御部１００は、操作パネル１２２に対するジェスチャ操作を検出し、検出したジェスチャ操作に応じて、予め設定された機能を実行することもできる。ジェスチャ操作とは、従来の単純なタッチ操作ではなく、指などによって軌跡を描いたり、複数の位置を同時に指定したり、或いはこれらを組み合わせて、複数の位置から少なくとも１つについて軌跡を描く操作を意味する。【0263】
カメラ部１４１は、ＣＭＯＳなどの撮像素子２２を用いて電子撮影するデジタルカメラである。また、カメラ部１４１は、主制御部１００の制御により、撮像によって得た画像データを例えばＪＰＥＧなどの圧縮した画像データに変換し、その画像データを記憶部１５０に記録したり、外部入出力部１６０や無線通信部１１０を通じて出力したりすることができる。図４４に示すようにスマートフォン１０１において、カメラ部１４１は表示入力部１２０と同じ面に搭載されているが、カメラ部１４１の搭載位置はこれに限らず、表示入力部１２０が設けられる筐体１０２の表面ではなく筐体１０２の背面にカメラ部１４１が搭載されてもよいし、或いは複数のカメラ部１４１が筐体１０２に搭載されてもよい。なお、複数のカメラ部１４１が搭載されている場合には、撮影に供するカメラ部１４１を切り替えて単独のカメラ部１４１によって撮影が行われてもよいし、或いは、複数のカメラ部１４１を同時に使用して撮影が行われてもよい。【0264】
また、カメラ部１４１はスマートフォン１０１の各種機能に利用することができる。例えば、カメラ部１４１で取得した画像が表示パネル１２１に表示さてもよいし、操作パネル１２２の操作入力手法の１つとして、カメラ部１４１で撮影取得される画像が利用さてもよい。また、ＧＰＳ受信部１７０が位置を検出する際に、カメラ部１４１からの画像が参照されて位置が検出されてもよい。さらには、カメラ部１４１からの画像が参照されて、３軸の加速度センサを用いずに、或いは、３軸の加速度センサと併用して、スマートフォン１０１のカメラ部１４１の光軸方向を判断することや、現在の使用環境を判断することもできる。勿論、カメラ部１４１からの画像をアプリケーションソフトウェア内で利用することもできる。【0265】
その他、ＧＰＳ受信部１７０により取得された位置情報、マイクロホン１３２により取得された音声情報（主制御部等により、音声テキスト変換を行ってテキスト情報となっていてもよい）、及びモーションセンサ部１８０により取得された姿勢情報等などを静止画像又は動画像のデータに付加して得られるデータを、記憶部１５０に記録したり、外部入出力部１６０や無線通信部１１０を通じて出力したりすることもできる。【0266】
なお上述の画像処理装置４０（特に復元処理部４１）は、例えば主制御部１００によって実現可能である。【符号の説明】
【0267】
１０…カメラデバイス、１２…撮像部、１２Ａ…撮像支持部、１４Ａ…支持フレーム、１４Ｂ…架台、１４…支持部、１６…光学系、１８…制御パネル、２０…監視カメラシステム、２２…撮像素子、２３…カメラ側制御処理部、２４…カメラ側通信部、３０…制御端末、３１…ユーザインターフェース、３２…端末側制御処理部、３３…端末側通信部、４０…画像処理装置、４１…復元処理部、４２…画像取得部、４３…条件取得部、５０…デジタルカメラ、５１…撮像制御処理部、５２…通信部、５３…撮像ユーザインターフェース、５４…本体部、５５…光学系制御部、５６…光学系入出力部、５７…本体制御部、５８…光学系装着部、５９…本体入出力部、６０…コンピュータ、６１…コンピュータ制御処理部、６２…コンピュータ入出力部、６３…コンピュータユーザインターフェース、１００…主制御部、１０１…スマートフォン、１０２…筐体、１１０…無線通信部、１２０…表示入力部、１２１…表示パネル、１２２…操作パネル、１３０…通話部、１３１…スピーカ、１３２…マイクロホン、１４０…操作部、１４１…カメラ部、１５０…記憶部、１５１…内部記憶部、１５２…外部記憶部、１６０…外部入出力部、１７０…ＧＰＳ受信部、１８０…モーションセンサ部、１９０…電源部