特開 2020-177352 画像処理装置及び画像処理方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】特開2020-177352(P2020-177352A)

(43)【公開日】2020年10月29日

(54)【発明の名称】画像処理装置及び画像処理方法

(51)【国際特許分類】

   G06T 5/00 20060101AFI20201002BHJP

   H04N 5/232 20060101ALI20201002BHJP

【ＦＩ】

   G06T5/00 710

   H04N5/232 290

【審査請求】未請求

【請求項の数】7

【出願形態】ＯＬ

【全頁数】14

(21)【出願番号】特願2019-77967(P2019-77967)

(22)【出願日】2019年4月16日

(71)【出願人】

【識別番号】000001487

【氏名又は名称】クラリオン株式会社

(74)【代理人】

【識別番号】240000327

【弁護士】

【氏名又は名称】弁護士法人クレオ国際法律特許事務所

(72)【発明者】

【氏名】根岸 孝行

(72)【発明者】

【氏名】中野 憲彦

【テーマコード（参考）】

5B057

5C122

【Ｆターム（参考）】

5B057BA02

5B057BA15

5B057CA01

5B057CA08

5B057CA12

5B057CA16

5B057CB01

5B057CB08

5B057CB12

5B057CB16

5B057CD18

5B057CE03

5B057CH09

5B057CH18

5B057DA17

5B057DB02

5B057DB09

5B057DC16

5C122EA12

5C122FH23

5C122HA88

5C122HB01

5C122HB06

5C122HB10

(57)【要約】

【課題】画像処理装置において、レンズのサジタル方向のＭＴＦ特性とタンジェンシャル方向のＭＴＦ特性という２方向のＭＴＦ特性に応じた補正処理を行う。
【解決手段】画像処理装置１０は、レンズを通して撮像素子に投影された画像情報である処理前データＩ（ｘ，ｙ）に対して信号処理を施す画像処理装置であって、レンズのＭＴＦ特性とレンズのＭＴＦ特性とは異なる所望のＭＴＦ特性とに基づいて算出されるＭＴＦ補正ゲイン（補正係数）を出力する補正量出力部３０（補正係数出力部）と、処理前データＩ（ｘ，ｙ）に対して、補正量出力部３０から出力されたＭＴＦ補正ゲインに基づく補正処理を行って処理後データＯ（ｘ，ｙ）を出力する補正部２０と、を備える。
【選択図】図１

【特許請求の範囲】

【請求項1】

レンズを通して撮像素子に投影された画像情報に対して信号処理を施す画像処理装置であって、
前記レンズのＭＴＦ特性と前記レンズのＭＴＦ特性とは異なる所定のＭＴＦ特性とを用いて、前記撮像素子の各画素に対応した補正係数を出力する補正係数出力部と、
前記画像情報に対して、前記補正係数出力部から出力された前記補正係数に基づく補正処理を行って出力する補正部と、を備えた画像処理装置。

【請求項2】

前記補正係数出力部は、
前記レンズのＭＴＦ特性を記憶した第１記憶部と、
前記所定のＭＴＦ特性を記憶した第２記憶部と、
前記第１記憶部に記憶された前記レンズのＭＴＦ特性及び前記第２記憶部に記憶された前記所定のＭＴＦ特性に基づいて、前記補正係数を算出する補正係数算出部と、を備え、
前記補正係数算出部により算出された前記補正係数を出力する請求項１に記載の画像処理装置。

【請求項3】

前記所定のＭＴＦ特性は、サジタル方向とタンジェンシャル方向とのそれぞれのＭＴＦ特性である請求項１又は２に記載の画像処理装置。

【請求項4】

前記補正係数は、
サジタル方向についての前記レンズのＭＴＦ特性とサジタル方向についての前記所定のＭＴＦ特性とによって算出されたサジタル方向についての補正係数を、前記撮像素子における水平方向成分と垂直方向成分とに分解し、タンジェンシャル方向についての前記レンズのＭＴＦ特性とタンジェンシャル方向についての前記所定のＭＴＦ特性とによって算出されたタンジェンシャル方向についての補正係数を、前記撮像素子における水平方向成分と垂直方向成分とに分解し、前記サジタル方向についての補正係数の水平方向成分と前記タンジェンシャル方向についての補正係数の水平方向成分とを合成して得られた補正係数水平方向成分と、前記サジタル方向についての補正係数の垂直方向成分と、前記タンジェンシャル方向についての補正係数の垂直方向成分とを合成して得られた補正係数垂直方向成分と、である請求項１から３のうちいずれか１項に記載の画像処理装置。

【請求項5】

前記補正部は、前記撮像素子の各画素における水平方向に沿った信号値変化率情報に対して、前記補正係数水平方向成分により補正処理を行い、前記撮像素子の各画素における垂直方向に沿った信号値変化率情報に対して、前記補正係数垂直方向成分により補正処理を行い、補正して得られた水平方向に沿った信号値変化率と補正して得られた垂直方向に沿った信号値変化率と、を合成して出力する請求項４に記載の画像処理装置。

【請求項6】

レンズを通して撮像素子に投影された画像情報に対して信号処理を施す画像処理方法であって、
前記レンズのＭＴＦ特性と前記レンズのＭＴＦ特性とは異なる所定のＭＴＦ特性とを用いて、前記撮像素子の各画素に対応した補正係数を出力し、
前記画像情報に対して、出力された前記補正係数に基づく補正処理を行って出力する画像処理方法。

【請求項7】

サジタル方向についての前記レンズのＭＴＦ特性とサジタル方向についての前記所定のＭＴＦ特性とによって算出されたサジタル方向についての補正係数を、前記撮像素子における水平方向成分と垂直方向成分とに分解し、
タンジェンシャル方向についての前記レンズのＭＴＦ特性とタンジェンシャル方向についての前記所定のＭＴＦ特性とによって算出されたタンジェンシャル方向についての補正係数を、前記撮像素子における水平方向成分と垂直方向成分とに分解し、
前記サジタル方向についての補正係数の水平方向成分と前記タンジェンシャル方向についての補正係数の水平方向成分とを合成して得られた補正係数水平方向成分と、前記サジタル方向についての補正係数の垂直方向成分と前記タンジェンシャル方向についての補正係数の垂直方向成分とを合成して得られた補正係数垂直方向成分と、を出力される前記補正係数とする請求項６に記載の画像処理方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像処理装置及び画像処理方法に関する。

【背景技術】

【0002】

レンズを通して撮像素子に投影された画像情報に対して、その後の処理に適した各種の信号処理を施すことが行われている。例えば、レンズを通した画像は、そのレンズのＭＴＦ特性（Modulation Transfer Function）特性に応じて、その解像力が劣化したものとなるが、撮像素子に投影された画像情報に対して、レンズのＭＴＦ特性に応じた補正処理を施すことにより、劣化した解像力を、疑似的に復元する技術が提案されている（例えば、特許文献１参照）。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１３−３８５６２号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

ところで、レンズのＭＴＦ特性は、サジタル方向とタンジェンシャル方向（メリジオナル方向）との２方向にそれぞれ対応しているが、上述した先行技術文献の技術は、サジタル方向とタンジェンシャル方向とについて区別せずに補正処理を行っている。

【0005】

しかし、比較的安価なレンズは、サジタル方向のＭＴＦ特性とタンジェンシャル方向のＭＴＦ特性とに大きな差を有することがある。

【0006】

このため、被写体が、例えば放射方向及び周方向にそれぞれ延びたもの（例えば、樹木の枝など）であると、上述した補正処理を行っても、画像における放射方向（タンジェンシャル方向のＭＴＦ特性に対応）と周方向（サジタル方向のＭＴＦ特性に対応）とにそれぞれ延びている被写体のボケ具合に大きな差が出て、肉眼での見た目に対して違和感のある画像になってしまう、という問題がある。

【0007】

本発明は上記事情に鑑みなされたものであり、レンズのサジタル方向のＭＴＦ特性とタンジェンシャル方向のＭＴＦ特性という２方向のＭＴＦ特性に応じた補正処理を行うことができる画像処理装置及び画像処理方法を提供することを目的とする。

【課題を解決するための手段】

【0008】

本発明の第１は、レンズを通して撮像素子に投影された画像情報に対して信号処理を施す画像処理装置であって、前記レンズのＭＴＦ特性と前記レンズのＭＴＦ特性とは異なる所定のＭＴＦ特性とを用いて、前記撮像素子の各画素に対応した補正係数を出力する補正係数出力部と、前記画像情報に対して、前記補正係数出力部から出力された前記補正係数に基づく補正処理を行って出力する補正部と、を備えた画像処理装置である。

【0009】

本発明の第２は、レンズを通して撮像素子に投影された画像情報に対して信号処理を施す画像処理方法であって、前記レンズのＭＴＦ特性と前記レンズのＭＴＦ特性とは異なる所定のＭＴＦ特性とを用いて、前記撮像素子の各画素に対応した補正係数を出力し、前記画像情報に対して、出力された前記補正係数に基づく補正処理を行って出力する画像処理方法である。

【発明の効果】

【0010】

本発明に係る画像処理装置及び画像処理方法によれば、レンズのサジタル方向のＭＴＦ特性とタンジェンシャル方向のＭＴＦ特性という２方向のＭＴＦ特性に応じた補正処理を行うことができ、肉眼での見た目に対する違和感を抑えた画像を生成することができる。したがって、サジタル方向のＭＴＦ特性とタンジェンシャル方向のＭＴＦ特性とで大きな差を有するレンズを用いることができる。

【図面の簡単な説明】

【0011】

【図1】本発明の一実施形態である画像処理装置を示すブロック図である。

【図2】画像処理装置における補正量出力部を示すブロック図である。

【図3】画像処理装置における補正部を示すブロック図である。

【図4】撮像装置が有するレンズのサジタル方向のＭＴＦ特性（横軸の像高［％］における縦軸のコントラスト［％］を対応させた特性曲線）を示す図である。

【図5】撮像装置が有するレンズのタンジェンシャル方向のＭＴＦ特性（横軸の像高［％］における縦軸のコントラスト［％］を対応させた特性曲線）を示す図である。

【図6】撮像素子の直交するｘｙ座標平面における各画素を、撮像素子の中心Ｏからの像高ｒ［％］と、ｘ軸（水平方向に延びた軸）とのなす角度θ（反時計回り方向）とによって特定する極座標ｆ（ｒ，θ）で表現した模式図である。

【図7】レンズのサジタル方向の所望とするＭＴＦ特性（破線）と現実のＭＴＦ特性（実線；図４に示したものと同一）を示す図である。

【図8】レンズのタンジェンシャル方向の所望とするＭＴＦ特性（破線）と現実のＭＴＦ特性（実線；図５に示したものと同一）を示す図である。

【図9】画素ごとのサジタル方向のＭＴＦ補正ゲインを画像の垂直方向に沿った成分（ｙ方向成分）と水平方向に沿った成分（ｘ方向成分）とに分解することを示す模式図である。

【図10】画素ごとのタンジェンシャル方向のＭＴＦ補正ゲインを画像の垂直方向に沿った成分（ｙ方向成分）と水平方向に沿った成分（ｘ方向成分）とに分解することを示す模式図である。

【図11】画素ごとのｙ方向のＭＴＦ補正ゲインとｘ方向のＭＴＦ補正ゲインとを示す模式図である。

【図12】補正量出力部の処理の流れを示すフローチャートである。

【図13】補正部の処理の流れを示すフローチャートである。

【発明を実施するための形態】

【0012】

以下、本発明に係る画像処理装置及び画像処理方法の具体的な実施の形態について、図面を参照して説明する。

【0013】

＜構成＞
図１は本発明の一実施形態である画像処理装置１０を示すブロック図、図２は画像処理装置１０における補正量出力部３０を示すブロック図、図３は画像処理装置１０における補正部２０を示すブロック図である。

【0014】

本発明の一実施形態である画像処理装置１０は、図１に示すように、例えば車載カメラ等の撮像装置から出力された画像信号の一例であるＲＡＷデータを処理前データＩ（ｘ，ｙ）として入力し、所定の信号処理を施し、処理後データＯ（ｘ，ｙ）として出力する。画像処理装置１０は、補正量出力部３０と補正部２０とを備えている。

【0015】

（補正量出力部）
補正量出力部３０（補正係数出力部の一例）は、補正係数の一例であるＭＴＦ補正ゲインを算出して、算出したＭＴＦ補正ゲインを補正部２０に出力する。

【0016】

補正量出力部３０は、図２に示すように、レンズＭＴＦ特性データ記憶部３１（第１記憶部の一例）と、目標ＭＴＦ特性データ記憶部３２（第２記憶部の一例）と、ＭＴＦ補正ゲイン算出部３３（補正係数算出部の一例）と、を備えている。

【0017】

補正量出力部３０は、上述した撮像装置におけるレンズが有する、撮像装置が有する撮像素子の各画素に対応した現実のＭＴＦ特性と、この現実のＭＴＦ特性とは異なる目標とする仮想のＭＴＦ特性（所定のＭＴＦ特性の一例）とに基づいて算出されるＭＴＦ補正ゲイン（補正係数の一例）を出力する。

【0018】

図４は撮像装置が有するレンズのサジタル方向のＭＴＦ特性（横軸の像高［％］における縦軸のコントラスト［％］を対応させた特性曲線）を示す図、図５は撮像装置が有するレンズのタンジェンシャル方向のＭＴＦ特性（横軸の像高［％］における縦軸のコントラスト［％］を対応させた特性曲線）を示す図である。なお、図４，５に示したＭＴＦ特性は、１［ｍｍ］に５０ラインペア（５０［ＬＰ／ｍｍ］）相当の解像度に対応した一例である。

【0019】

図６は、撮像素子の直交するｘｙ座標平面における各画素を、撮像素子の中心Ｏからの像高ｒ［％］と、ｘ軸（水平方向に延びた軸）とのなす角度θ（反時計回り方向）とによって特定する極座標ｆ（ｒ，θ）で表現した模式図である。

【0020】

レンズＭＴＦ特性データ記憶部３１は、上述した撮像装置が有するレンズの、図６に示した各画素に対応したＭＴＦ特性（現実のＭＴＦ特性）のデータを記憶している。このレンズＭＴＦ特性データ記憶部３１に記憶されている現実のＭＴＦ特性のデータは、例えば、図４に示すサジタル方向のＭＴＦ特性データｆ_s（ｒ，θ）と、図５に示すタンジェンシャル方向のＭＴＦ特性データｆ_t（ｒ，θ）である。

【0021】

レンズの現実のＭＴＦ特性のデータは、レンズの仕様としてレンズの製造者から提供されているものであってもよいし、所定の図柄の被写体を、そのレンズを用いて撮影した結果に基づいて取得したものであってもよい。

【0022】

図７はレンズのサジタル方向の所望とするＭＴＦ特性（破線）と現実のＭＴＦ特性（実線；図４に示したものと同一）を示す図、図８はレンズのタンジェンシャル方向の所望とするＭＴＦ特性（破線）と現実のＭＴＦ特性（実線；図５に示したものと同一）を示す図である。

【0023】

目標ＭＴＦ特性データ記憶部３２は、上述した撮像装置が有するレンズについて、所望とするＭＴＦ特性（目標とする仮想のＭＴＦ特性）のデータを記憶している。所望とするＭＴＦ特性のデータは、例えば、図７の破線で示すサジタル方向のＭＴＦ特性データｄ_s（ｒ，θ）と、図８の破線で示すタンジェンシャル方向のＭＴＦ特性データｄ_t（ｒ，θ）である。

【0024】

所望とするＭＴＦ特性は、例えば、各画素（ｒ，θ）におけるサジタル方向のＭＴＦ特性とタンジェンシャル方向のＭＴＦ特性とが同一となるようなＭＴＦ特性である。つまり、本実施形態においては、図７の破線で示した所望とするＭＴＦ特性の曲線と図８の破線で示した所望とするＭＴＦ特性の曲線とは一致している。

【0025】

なお、所望とするＭＴＦ特性は、この実施形態で例示したものに限定されない。すなわち、所望とするＭＴＦ特性は、サジタル方向のＭＴＦ特性とタンジェンシャル方向のＭＴＦ特性とが同一でなくてもよく、例えば、像高２０［％］において、コントラストが９０［％］以上、かつ像高８０［％］でコントラストが８０［％］以上、というように、特定の像高［％］におけるコントラスト［％］の最小値を規定したものであってもよい。所望とするＭＴＦ特性は、現実のＭＴＦ特性よりも良好なＭＴＦ特性となるものであればよい。

【0026】

ＭＴＦ補正ゲイン算出部３３は、レンズＭＴＦ特性データ記憶部３１に記憶された現実のＭＴＦ特性のデータ及び目標ＭＴＦ特性データ記憶部３２に記憶された所望のＭＴＦ特性のデータに基づいて、補正係数の一例であるＭＴＦ補正ゲインを算出し、算出したＭＴＦ補正ゲインを補正部２０に出力する。

【0027】

ＭＴＦ補正ゲイン算出部３３は、具体的には、サジタル方向の画素ごとのＭＴＦ補正ゲインｇ_s（ｒ，θ）、タンジェンシャル方向の画素ごとのＭＴＦ補正ゲインｇ_t（ｒ，θ）を下記演算式に従って算出する。

【0028】

ｇ_s（ｒ，θ）＝ｄ_s（ｒ，θ）／ｆ_s（ｒ，θ）

【0029】

ｇ_t（ｒ，θ）＝ｄ_t（ｒ，θ）／ｆ_t（ｒ，θ）

【0030】

本実施形態においては、ＭＴＦ補正ゲインｇ_s（ｒ，θ），ｇ_t（ｒ，θ）は、現実のＭＴＦ特性ｆ_s（ｒ，θ），ｆ_t（ｒ，θ）に対する所望のＭＴＦ特性ｄ_s（ｒ，θ），ｄ_t（ｒ，θ）の比であるが、本発明に係る画像処理装置及び画像処理方法における補正係数は、現実のＭＴＦ特性に対する所望のＭＴＦ特性の比に限定されず、現実のＭＴＦ特性に対する所望のＭＴＦ特性の差であってもよいし、その他、現実のＭＴＦ特性と所望のＭＴＦ特性とを用いた演算により算出された値であってもよい。

【0031】

図９は画素ごとのサジタル方向のＭＴＦ補正ゲインｇ_s（ｒ，θ）を画像の垂直方向に沿った成分（ｙ方向成分）ｇ_s（ｒ，θ）sin（90−θ）と水平方向に沿った成分（ｘ方向成分）ｇ_s（ｒ，θ）cos（90−θ）とに分解することを示す模式図、図１０は画素ごとのタンジェンシャル方向のＭＴＦ補正ゲインｇ_t（ｒ，θ）を画像の垂直方向に沿った成分（ｙ方向成分）ｇ_t（ｒ，θ）sinθと水平方向に沿った成分（ｘ方向成分）ｇ_t（ｒ，θ）cosθとに分解することを示す模式図である。なお、図９，１０においては座標を特定する（ｒ，θ）の記載を省略している。

【0032】

続いて、ＭＴＦ補正ゲイン算出部３３は、図９に示すように、画素ごとのサジタル方向のＭＴＦ補正ゲインｇ_s（ｒ，θ）を、画像の垂直方向に沿った成分（ｙ方向成分）ｇ_s（ｒ，θ）sin（90−θ）と水平方向に沿った成分（ｘ方向成分）ｇ_s（ｒ，θ）cos（90−θ）とに分解する。なお、図９においては座標を特定する（ｒ，θ）の記載を省略している。

【0033】

同様に、ＭＴＦ補正ゲイン算出部３３は、図１０に示すように、画素ごとのタンジェンシャル方向のＭＴＦ補正ゲインｇ_t（ｒ，θ）を、画像のｙ方向成分ｇ_t（ｒ，θ）sinθとｘ方向成分ｇ_t（ｒ，θ）cosθとに分解する。図１０においても、座標を特定する（ｒ，θ）の記載を省略している。

【0034】

図１１は、画素ごとのｙ方向のＭＴＦ補正ゲインＧ_v（ｒ，θ）とｘ方向のＭＴＦ補正ゲインＧ_h（ｒ，θ）とを示す模式図である。

【0035】

続いて、ＭＴＦ補正ゲイン算出部３３は、下記演算式に従って、画素ごとのサジタル方向のＭＴＦ補正ゲインｇ_s（ｒ，θ）のｙ方向成分ｇ_s（ｒ，θ）sin（90−θ）とタンジェンシャル方向のＭＴＦ補正ゲインｇ_t（ｒ，θ）のｙ方向成分ｇ_t（ｒ，θ）sinθとの二乗平均平方根を算出し、この算出された結果を画素ごとのｙ方向のＭＴＦ補正ゲイン（補正係数垂直方向成分の一例）Ｇ_v（ｒ，θ）とする。

【0036】

Ｇ_v（ｒ，θ）＝√［｛（ｇ_s（ｒ，θ）sin（90−θ））^２＋（ｇ_t（ｒ，θ）sinθ）^２｝／２］

【0037】

同様に、ＭＴＦ補正ゲイン算出部３３は、下記演算式に従って、画素ごとのサジタル方向のＭＴＦ補正ゲインｇ_s（ｒ，θ）のｘ方向成分ｇ_s（ｒ，θ）cos（90−θ）とタンジェンシャル方向のＭＴＦ補正ゲインｇ_t（ｒ，θ）のｘ方向成分ｇ_t（ｒ，θ）cosθとの二乗平均平方根を算出し、この算出された結果を画素ごとのｘ方向のＭＴＦ補正ゲイン（補正係数水平方向成分の一例）Ｇ_h（ｒ，θ）とする。

【0038】

Ｇ_h（ｒ，θ）＝√［｛（ｇ_s（ｒ，θ）cos（90−θ））^２＋（ｇ_t（ｒ，θ）cosθ）^２｝／２］

【0039】

画素（ｒ，θ）ごとのｙ方向のＭＴＦ補正ゲインＧ_v（ｒ，θ）とｘ方向のＭＴＦ補正ゲインＧ_h（ｒ，θ）とを図示すると、図１１に示すような関係となる。

【0040】

なお、画素ごとのｙ方向のＭＴＦ補正ゲインＧ_v（ｒ，θ）としては、上述した二乗平均平方根ではなく、画素ごとのサジタル方向のＭＴＦ補正ゲインｇ_s（ｒ，θ）のｙ方向成分ｇ_s（ｒ，θ）sin（90−θ）とタンジェンシャル方向のＭＴＦ補正ゲインｇ_t（ｒ，θ）のｙ方向成分ｇ_t（ｒ，θ）sinθとの単純平均や、両者の積の１／２などを適用することもできる。

【0041】

同様に、画素ごとのｘ方向のＭＴＦ補正ゲインＧ_h（ｒ，θ）としては、上述した二乗平均平方根ではなく、画素ごとのサジタル方向のＭＴＦ補正ゲインｇ_s（ｒ，θ）のｘ方向成分ｇ_s（ｒ，θ）cos（90−θ）とタンジェンシャル方向のＭＴＦ補正ゲインｇ_t（ｒ，θ）のｘ方向成分ｇ_t（ｒ，θ）cosθとの単純平均や、両者の積の１／２などを適用することもできる。

【0042】

ただし、両者の積を含む演算の場合、一方がゼロであると、演算結果がゼロになるが、両者の二乗平均平方根は、一方がゼロであっても演算結果がゼロにならないので好ましい。

【0043】

次に、ＭＴＦ補正ゲイン算出部３３は、ｘ＝ｒcosθ，ｙ＝rsinθの関係により、極座標表現されたＭＴＦ補正ゲインＧ_v（ｒ，θ），Ｇ_h（ｒ，θ）を、直交座標系で表現されたＭＴＦ補正ゲインＧ_v（ｘ，ｙ），Ｇ_h（ｘ，ｙ）に変換する。

【0044】

Ｇ_v（ｒ，θ）→Ｇ_v（ｘ，ｙ）

【0045】

Ｇ_h（ｒ，θ）→Ｇ_h（ｘ，ｙ）

【0046】

そして、補正量出力部３０は、ＭＴＦ補正ゲイン算出部３３により算出された、垂直方向成分（ｙ方向）のＭＴＦ補正ゲインＧ_v（ｘ，ｙ）と、水平方向成分（ｘ方向）のＭＴＦ補正ゲインＧ_h（ｘ，ｙ）とを、補正部２０に出力する。

【0047】

なお、撮像装置のレンズが特定されることで現実のＭＴＦ特性が一意に定まり、所望とするＭＴＦ特性が予め定められ、ＭＴＦ補正ゲイン算出部３３による上述した演算式が予め定められた場合、補正量出力部３０は、常に一定のＭＴＦ補正ゲインＧ_v（ｘ，ｙ），Ｇ_h（ｘ，ｙ）を算出して出力することになる。

【0048】

したがって、この場合は、ＭＴＦ補正ゲイン算出部３３は、処理の都度、ＭＴＦ補正ゲインＧ_v（ｘ，ｙ），Ｇ_h（ｘ，ｙ）を算出する必要はない。よって、補正量出力部３０は、予め定められたレンズに対応した現実のＭＴＦ特性、所望とするＭＴＦ特性及び演算式に基づいて予め算出された一定のＭＴＦ補正ゲインＧ_v（ｘ，ｙ），Ｇ_h（ｘ，ｙ）を記憶した記憶部であってもよい。

【0049】

つまり、補正量出力部３０は、ＭＴＦ補正ゲインＧ_v（ｘ，ｙ），Ｇ_h（ｘ，ｙ）を算出する機能を有していなくてもよい。

【0050】

なお、撮像装置のレンズを変えて現実のＭＴＦ特性を変えたり、所望のＭＴＦ特性を変えたり、又は演算式を変えたりするなど、条件を適宜変更して補正係数を出力することを可能にするために、補正量出力部３０を単なる記憶部とするのではなく、上述したレンズＭＴＦ特性データ記憶部３１、目標ＭＴＦ特性データ記憶部３２及びＭＴＦ補正ゲイン算出部３３という構成とするのが好ましい。

【0051】

また、レンズＭＴＦ特性データ記憶部３１と目標ＭＴＦ特性データ記憶部３２とは、物理的には単一の記憶部で構成されていてもよい。

【0052】

（補正部）
補正部２０は、図３に示すように、上述したレンズを有する撮像装置から出力された実際に撮影された画像信号の一例であるＲＡＷデータを処理前データＩ（ｘ，ｙ）に対して、補正量出力部３０から出力されたＭＴＦ補正ゲインＧ_v（ｘ，ｙ），Ｇ_h（ｘ，ｙ）を用い補正処理を行って、その補正処理後の処理後データＯ（ｘ，ｙ）を出力する。

【0053】

補正部２０は、水平方向２次微分フィルタ２３と、垂直方向２次微分フィルタ２４と、補正演算部２５と、を備えている。

【0054】

水平方向２次微分フィルタ２３は、入力されたＲＡＷデータ（処理前データＩ（ｘ，ｙ））を、画像の水平方向に２階微分して、水平方向信号値変化率情報Ｅ_h（ｘ，ｙ）（＝Ｉ″_h（ｘ，ｙ））を出力する。垂直方向２次微分フィルタ２４は、上述したレンズを有する撮像装置から入力されたＲＡＷデータ（処理前データＩ（ｘ，ｙ））について、画像の垂直方向に２階微分して、垂直方向信号値変化率情報Ｅ_v（ｘ，ｙ）（＝Ｉ″_v（ｘ，ｙ））を出力する。

【0055】

補正演算部２５は、水平方向信号値変化率情報Ｅ_h（ｘ，ｙ）に対して、補正量出力部３０から出力された水平方向のＭＴＦ補正ゲインＧ_h（ｘ，ｙ）を乗じて、水平方向信号値変化率Ｍ_h（ｘ，ｙ）を算出するとともに、垂直方向信号値変化率情報Ｅ_v（ｘ，ｙ）に対して、補正量出力部３０から出力された垂直方向のＭＴＦ補正ゲインＧ_v（ｘ，ｙ）を乗じて、垂直方向信号値変化率Ｍ_v（ｘ，ｙ）を算出する。

【0056】

Ｍ_h（ｘ，ｙ）＝Ｇ_h（ｘ，ｙ）×Ｅ_h（ｘ，ｙ）

【0057】

Ｍ_v（ｘ，ｙ）＝Ｇ_v（ｘ，ｙ）×Ｅ_v（ｘ，ｙ）

【0058】

そして、補正演算部２５は、水平方向信号値変化率Ｍ_h（ｘ，ｙ）と垂直方向信号値変化率Ｍ_v（ｘ，ｙ）との二乗平均平方根により、水平方向信号値変化率Ｍ_h（ｘ，ｙ）と垂直方向信号値変化率Ｍ_v（ｘ，ｙ）とを１つの値に合成し、入力された処理前データＩ（ｘ，ｙ）から減算処理して、処理後データＯ（ｘ，ｙ）を出力する。

【0059】

Ｏ（ｘ，ｙ）＝Ｉ（ｘ，ｙ）−√［｛（Ｍ_ｈ（ｘ，ｙ））^２＋（Ｍ_ｖ（ｘ，ｙ））^２｝／２］

【0060】

＜作用＞
図１２は補正量出力部３０の処理の流れを示すフローチャート、図１３は補正部２０の処理の流れを示すフローチャートである。

【0061】

以上のように構成された画像処理装置１０によれば、以下の画像処理方法（本発明に係る画像処理方法の一実施形態）が実行される。

【0062】

すなわち、図１２に示すように、画像処理装置１０の補正量出力部３０が、レンズＭＴＦ特性データ記憶部３１から、撮像装置のレンズが有する、撮像素子の各画素に対応したサジタル方向の現実のＭＴＦ特性データｆ_s（ｒ，θ）とタンジェンシャル方向の現実のＭＴＦ特性データｆ_t（ｒ，θ）とを読み出すとともに、目標ＭＴＦ特性データ記憶部３２から、各画素に対応したサジタル方向の所望のＭＴＦ特性データｄ_s（ｒ，θ）とタンジェンシャル方向の所望のＭＴＦ特性データｄ_t（ｒ，θ）とを読み出す（ステップ１（Ｓ１））。

【0063】

次いで、補正量出力部３０は、読み出したサジタル方向の現実のＭＴＦ特性データｆ_s（ｒ，θ）とサジタル方向の所望のＭＴＦ特性データｄ_s（ｒ，θ）とに基づいて、サジタル方向の画素ごとのＭＴＦ補正ゲインｇ_s（ｒ，θ）を算出するとともに、読み出したタンジェンシャル方向の現実のＭＴＦ特性データｆ_ｔ（ｒ，θ）とタンジェンシャル方向の所望のＭＴＦ特性データｄ_ｔ（ｒ，θ）とに基づいて、タンジェンシャル方向の画素ごとのＭＴＦ補正ゲインｇ_t（ｒ，θ）を算出する（ステップ２（Ｓ２））。

【0064】

次いで、補正量出力部３０は、サジタル方向の画素ごとのＭＴＦ補正ゲインｇ_s（ｒ，θ）を、画像（撮像素子）の垂直方向に沿った成分（ｙ方向成分）ｇ_s（ｒ，θ）sin（90−θ）と水平方向に沿った成分（ｘ方向成分）ｇ_s（ｒ，θ）cos（90−θ）とに分解し、タンジェンシャル方向の画素ごとのＭＴＦ補正ゲインｇ_t（ｒ，θ）を、画像のｙ方向成分ｇ_t（ｒ，θ）sinθとｘ方向成分ｇ_t（ｒ，θ）cosθとに分解する（ステップ３（Ｓ３））。

【0065】

次いで、補正量出力部３０は、画素ごとのサジタル方向のＭＴＦ補正ゲインｇ_s（ｒ，θ）のｙ方向成分ｇ_s（ｒ，θ）sin（90−θ）とタンジェンシャル方向のＭＴＦ補正ゲインｇ_t（ｒ，θ）のｙ方向成分ｇ_t（ｒ，θ）sinθとに基づいて、画素ごとのｙ方向のＭＴＦ補正ゲインＧ_v（ｒ，θ）を算出し、さらに、直交座標系のｙ方向のＭＴＦ補正ゲインＧ_v（ｘ，ｙ）に変換する（ステップ４（Ｓ４））。

【0066】

同様に、補正量出力部３０は、画素ごとのサジタル方向のＭＴＦ補正ゲインｇ_s（ｒ，θ）のｘ方向成分ｇ_s（ｒ，θ）cos（90−θ）とタンジェンシャル方向のＭＴＦ補正ゲインｇ_t（ｒ，θ）のｘ方向成分ｇ_t（ｒ，θ）cosθとに基づいて、画素ごとのｘ方向のＭＴＦ補正ゲインＧ_h（ｒ，θ）を算出し、さらに、直交座標系のｘ方向のＭＴＦ補正ゲインＧ_h（ｘ，ｙ）に変換する（ステップ４（Ｓ４））。

【0067】

なお、ステップ４におけるｙ方向のＭＴＦ補正ゲインＧ_v（ｘ，ｙ）の算出と、ｘ方向のＭＴＦ補正ゲインＧ_h（ｘ，ｙ）の算出とは、同時並行的に行われてもよいし、いずれか一方が先行して行われたのちに、他方が後続して行われてもよく、処理の順序は問わない。

【0068】

次に、上述した撮像装置による実際の撮影が行われた際の、画像処理装置１０の補正部２０による補正処理について、図１３を参照して説明する。

【0069】

補正部２０には、撮像装置から、処理前データＩ（ｘ，ｙ）が入力される（ステップ１１（Ｓ１１））。

【0070】

次いで、補正部２０の水平方向２次微分フィルタ２３が、処理前データＩ（ｘ，ｙ）を、画像の水平方向に２階微分して、水平方向信号値変化率情報Ｅ_h（ｘ，ｙ）（＝Ｉ″_h（ｘ，ｙ））を出力し、垂直方向２次微分フィルタ２４が、処理前データＩ（ｘ，ｙ）を、画像の垂直方向に２階微分して、垂直方向信号値変化率情報Ｅ_v（ｘ，ｙ）（＝Ｉ′_v（ｘ，ｙ））を出力する（ステップ１３（Ｓ１３））。

【0071】

次いで、補正部２０の補正演算部２５が、水平方向信号値変化率情報Ｅ_h（ｘ，ｙ）に対して、補正量出力部３０から出力された水平方向のＭＴＦ補正ゲインＧ_h（ｘ，ｙ）を乗じて、水平方向信号値変化率Ｍ_h（ｘ，ｙ）を算出するとともに、垂直方向信号値変化率情報Ｅ_v（ｘ，ｙ）に対して、補正量出力部３０から出力された垂直方向のＭＴＦ補正ゲインＧ_v（ｘ，ｙ）を乗じて、垂直方向信号値変化率Ｍ_v（ｘ，ｙ）を算出する。

【0072】

さらに、補正演算部２５は、水平方向信号値変化率Ｍ_h（ｘ，ｙ）と垂直方向信号値変化率Ｍ_v（ｘ，ｙ）との二乗平均平方根により、水平方向信号値変化率Ｍ_h（ｘ，ｙ）と垂直方向信号値変化率Ｍ_v（ｘ，ｙ）とを合成して１つの値である信号値変化率Ｍ（ｘ，ｙ）を算出し、この信号値変化率Ｍ（ｘ，ｙ）を、撮像装置から入力された処理前データＩ（ｘ，ｙ）から減算して、処理後データＯ（ｘ，ｙ）を出力する（ステップ１３（Ｓ１３））。

【0073】

このように、画像処理装置１０による画像処理で出力された処理後データＯ（ｘ，ｙ）は、サジタル方向とタンジェンシャル方向のそれぞれの現実のＭＴＦ特性を有するレンズを備えた撮像装置から入力された処理前データＩ（ｘ，ｙ）に対して、所望のＭＴＦ特性となるような補正処理を施したものとなるため、レンズの現実のＭＴＦ特性より優れたＭＴＦ特性（所望のＭＴＦ特性）のレンズで撮像された画像とすることができる。

【0074】

しかも、ＭＴＦ特性の補正は、レンズのサジタル方向とタンジェンシャル方向のそれぞれの現実のＭＴＦ特性に依存した補正処理となるため、処理後データＯ（ｘ，ｙ）は、コントラストや解像度がサジタル方向とタンジェンシャル方向とで大きな差のないものとすることができる。

【0075】

これにより、サジタル方向のＭＴＦ特性とタンジェンシャル方向のＭＴＦ特性とで大きな差を有するレンズを用いた撮像装置で得られた画像に対しても、サジタル方向のＭＴＦ特性とタンジェンシャル方向のＭＴＦ特性とで大きな差の無いレンズを用いた撮像装置で得られた画像と同等の画像を出力することができる。

【0076】

本実施形態の画像処理装置１０は、補正部２０が、処理前データＩ（ｘ，ｙ）から、この処理前データＩ（ｘ，ｙ）を２次微分して得られた信号値変化率Ｍ（ｘ，ｙ）を減算することにより、処理後データＯ（ｘ，ｙ）を算出しているため、処理前データＩ（ｘ，ｙ）から、画像のエッジとなる部分の信号変化率データを減算する一般的なエッジ強調処理と同様の処理となる。したがって、補正部２０において、エッジ強調処理と併せて行うことで、演算処理のコストを抑制することができる。

【0077】

本実施形態の画像処理方法は、図１２，１３に示した一連のステップ（Ｓ１〜Ｓ４、Ｓ１１〜Ｓ１４）を実行するものであるが、本発明に係る画像処理方法は、ＭＴＦ補正ゲインンを予め算出して記憶しているものであれば、図１３に示した実際の補正処理のステップ（Ｓ１１〜Ｓ１４）のみを実行するものであってもよい。

【符号の説明】

【0078】

１０ 画像処理装置
２０ 補正部
２３ 水平方向２次微分フィルタ
２４ 垂直方向２次微分フィルタ
２５ 補正演算部
３０ 補正量出力部
３１ レンズＭＴＦ特性データ記憶部
３２ 目標ＭＴＦ特性データ記憶部
３３ ＭＴＦ補正ゲイン算出部
ｒ 像高［％］
θ 角度

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】