(58)【調査した分野】(Int.Cl.,DB名)
前記処理部は、前記画像に含まれる像高点における前記光軸点からの距離と、前記像高点における光量と前記光軸上における光量との比である像高光量比とに基づいて前記像高点における前記光量の変化量を算出する請求項1に記載の撮像装置。
前記処理部は、前記光軸点から第1の距離だけ離れた第1の像高点と、前記第1の距離よりも長い第2の距離だけ前記光軸点から離れた第2の像高点と、前記第2の距離よりも長い第3の距離だけ前記光軸点から離れた第3の像高点とを設け、
前記第1の像高点における光量と光軸上における光量との比である第1の像高光量比と、前記第2の像高点における光量と前記光軸点における光量との比である第2の像高光量比と、前記第3の像高点における光量と前記光軸点における光量との比である第3の像高光量比とを算出し、
前記第1の像高光量比と前記第2の像高光量比との差である第1の像高光量比差と、前記第2の像高光量比と前記第3の像高光量比との差である第2の像高光量比差とを算出し、
前記第1の距離と前記第2の距離との差である第1の距離差と、前記第2の距離と前記第3の距離との差である第2の距離差とを算出し、
前記第1の像高光量比差と前記第1の距離差との比である第1の光量比変化率と、前記第2の像高光量比差と前記第2の距離差との比である第2の光量比変化率とを算出し、
前記第1の光量比変化率と前記第2の光量比変化率とに基づいて、前記第2の像高点における前記変化量を算出する請求項2に記載の撮像装置。
前記処理部は、前記第1の光量比変化率及び前記第2の光量比変化率に基づいて前記変曲点から前記近位像高点側に第1の調節点を設け、前記第1の光量比変化率及び前記第2の光量比変化率に基づいて前記変曲点から前記遠位像高点側に第2の調節点を設け、前記第1の調節点及び前記第2の調節点を用いて前記変曲点の変化量を調節する請求項4に記載の撮像装置。
前記処理部は、前記変化量に基づいて補正割合を算出し、前記補正割合と前記第1の光量比変化率と前記第2の光量比変化率とに基づいて前記変曲点から前記近位像高点側に第1の調節点を設け、前記補正割合と前記第1の光量比変化率と前記第2の光量比変化率とに基づいて前記変曲点から前記遠位像高点側に第2の調節点を設け、前記第1の調節点と前記第2の調節点を用いて前記変曲点の変化量を調節する請求項4に記載の撮像装置。
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかし、画像の周辺部、すなわち画像において中心から離れた部分に近づくと、急に画像における光量低下が大きくなることがある。光量低下が急に大きくなる領域に前述の補正ゲインを適用して補正しても、補正ゲインが適切でないため、補正された画像に補正ムラが生じるおそれがある。
【0005】
本発明はこれらの問題に鑑みてなされたものであり、精度よくレンズの光量低下を補正可能な撮像装置、画像補正装置、ソフトウェア、及び画像補正方法を得ることを目的とする。
【課題を解決するための手段】
【0006】
本願第1の発明による撮像装置は、撮像レンズを介して被写体像を撮像して画像を出力する撮像素子と、画像を処理する処理部とを備え、画像は、画像上において撮像レンズの光軸と一致する光軸点を有し、処理部は、撮像レンズの設計データに基づいて、像高と光量の変化量との関係を算出し、変化量が所定の割合以上である変曲点を算出し、変曲点の変化量を調節し、調節された変化量を用いて画像の光量低下を補正することを特徴とする。
【0007】
処理部は、画像に含まれる像高点における光軸点からの距離と、像高点における光量と光軸上における光量との比である像高光量比とに基づいて像高点における光量の変化量を算出することが好ましい。
【0008】
処理部は、光軸点から第1の距離だけ離れた第1の像高点と、第1の距離よりも長い第2の距離だけ光軸点から離れた第2の像高点と、第2の距離よりも長い第3の距離だけ光軸点から離れた第3の像高点とを設け、第1の像高点における光量と光軸上における光量との比である第1の像高光量比と、第2の像高点における光量と光軸点における光量との比である第2の像高光量比と、第3の像高点における光量と光軸点における光量との比である第3の像高光量比とを算出し、第1の像高光量比と第2の像高光量比との差である第1の像高光量比差と、第2の像高光量比と第3の像高光量比との差である第2の像高光量比差とを算出し、第1の距離と第2の距離との差である第1の距離差と、第2の距離と第3の距離との差である第2の距離差とを算出し、第1の像高光量比差と第1の距離差との比である第1の光量比変化率と、第2の像高光量比差と第2の距離差との比である第2の光量比変化率とを算出し、第1の光量比変化率と第2の光量比変化率とに基づいて、第2の像高点における変化量を算出することが好ましい。
【0009】
処理部は、光軸点からの距離が異なる複数の像高点を設け、像高点における光量と光軸上における光量との比である像高光量比を全ての像高点について算出し、所定の像高点よりも光軸点に近い近位像高点における像高光量比である近位像高光量比と所定の像高点における像高光量比である所定像高光量比との差である第1の像高光量比差と、所定の像高点よりも光軸点から遠い遠位像高点における像高光量比である遠位像高光量比と所定像高光量比との差である第2の像高光量比差とを算出し、所定の像高点と近位像高点距離との差である第1の距離差と、所定の像高点と遠位像高点との差である第2の距離差とを算出し、第1の像高光量比差と第1の距離差との比である第1の光量比変化率と、第2の像高光量比差と第2の距離差との比である第2の光量比変化率とを算出し、第1の光量比変化率と第2の光量比変化率とに基づいて、所定の像高点における変化量を算出し、変化量を全ての像高点において算出し、最も変化量が大きく、かつ変化量が所定の割合以上である像高点を変曲点とすることが好ましい。
【0010】
処理部は、変化量に基づいて補正割合を算出し、補正割合に基づいて変曲点の変化量を調節することが好ましい。
【0011】
処理部は、第1の光量比変化率及び第2の光量比変化率に基づいて変曲点から近位像高点側に第1の調節点を設け、第1の光量比変化率及び第2の光量比変化率に基づいて変曲点から遠位像高点側に第2の調節点を設け、第1の調節点及び第2の調節点を用いて変曲点の変化量を調節することが好ましい。
【0012】
処理部は、変化量に基づいて補正割合を算出し、補正割合と第1の光量比変化率と第2の光量比変化率とに基づいて変曲点から近位像高点側に第1の調節点を設け、補正割合と第1の光量比変化率と第2の光量比変化率とに基づいて変曲点から遠位像高点側に第2の調節点を設け、第1の調節点と第2の調節点を用いて変曲点の変化量を調節することが好ましい。
【0013】
本願第2の発明による画像補正装置は、撮像レンズを介して撮像された画像を処理する処理部を備え、処理部は、撮像レンズの設計データに基づいて、光量の変化量と像高との関係を算出し、変化量が所定の割合以上である変曲点を算出し、変曲点の変化量を調節することを特徴とする。
【0014】
本願第3の発明によるソフトウェアは、撮像レンズを介して撮像された画像を処理するソフトウェアであって、撮像レンズの設計データに基づいて、光量の変化量と像高との関係を算出するステップと、変化量が所定の割合以上である変曲点を算出するステップと、変曲点の変化量を調節するステップとを備えることを特徴とする。
【0015】
本願第4の発明による画像補正方法は、撮像レンズを介して撮像された画像を処理する画像補正方法であって、撮像レンズの設計データに基づいて、光量の変化量と像高との関係を算出するステップと、変化量が所定の割合以上である変曲点を算出するステップと、変曲点の変化量を調節するステップとを備えることを特徴とする。
【発明の効果】
【0016】
本発明によれば、精度よくレンズの光量低下を補正可能な撮像装置、画像補正装置、ソフトウェア、及び画像補正方法を得る。
【発明を実施するための形態】
【0018】
以下、本願発明の一実施形態によるレンズ、撮像装置、及び光量低下補正方法について図を用いて説明する。
図1は、撮像装置の一実施形態であるデジタルカメラ100を示す。まず、
図1を用いてデジタルカメラ100の構成について説明する。
【0019】
デジタルカメラ100は、処理部を成すDSP101、撮像素子であるCCD111、着脱自在に設けられる撮像レンズ102、タイミングジェネレータ(TG)120、AFE130と、カメラメモリ103と、操作部材104と、記録媒体105と、表示媒体106とを主に備える。
【0020】
撮像レンズ102は、複数のレンズ107と、記憶部を成すレンズメモリ108とを備え、被写体像をCCD111に結像させる。DSP101、CCD111、タイミングジェネレータ120、AFE130、カメラメモリ103、操作部材104、記録媒体105、及び表示媒体106は、カメラボディ110に格納される。CCD111は、タイミングジェネレータ120からの露光信号に応じて、撮像レンズ102から被写体像を受光して撮像し、画像信号を出力する。AFE130は、画像信号を処理して、水平同期信号を画像信号に付加した後、DSP101に送信する。DSP101は、画像信号をさらに処理して、画像及び画像ファイルを生成し、表示媒体106又は記録媒体105に送信する。DSP101は、後述する変曲点検出処理、補正割合算出処理、及び変曲点調節処理を実行して、撮像レンズ102の光量低下を補正可能である。
【0021】
記録媒体105は、デジタルカメラ100に着脱自在に接続される、例えばSDカードであって、画像ファイルを記録する。
【0022】
表示媒体106は、デジタルカメラ100の背面に設けられる、例えば液晶モニタであって、画像を表示する。
【0023】
カメラメモリ103は、DSP101のファームウェア、及び画像ファイル等を記録、及びDSP101が各種処理を実行する際の一時メモリとして使用される。
【0024】
操作部材104は、例えば二段式スイッチであるシャッターレリーズボタンや、十字キーや、押し下げ式スイッチ等であって、ユーザの操作に応じてDSP101に信号を送信する。DSP101は、操作部材104から受信した信号に応じて動作する。
【0025】
CCD111が出力した画像は、画像上において撮像レンズ102の光軸と一致する光軸点を有する。光軸点から所定の距離だけ離れた点を像高点といい、光軸点から像高点までの距離を像高といい、像高点における光量と光軸点における光量との光量比を像高光量比という。
【0026】
次に
図2を用いて、像高光量比と像高との関係について説明する。レンズメモリ108には撮像レンズ102の設計値として、撮像レンズ102の絞りの状態に応じた像高光量比と像高との関係をしめすデータが保存されている。
図2は説明の為、絞りが開放されている場合の像高光量比と像高との関係をグラフ化したものである。ここでは、光軸点及び7つの像高点n(
図2に示す例では、nは1から7の整数)に関して像高光量比Ynを求める。そして、隣り合う像高点n−1における像高光量比Yn−1との差を求めて像高光量比差ΔYnとし、隣り合う像高点n−1との距離を求めて像高差ΔXnとする。
図2では、像高光量比差ΔYnは、ΔY1からΔY7まで7つの値をとる。像高光量比差ΔYnは、光軸点からn番目の像高点における像高光量比差である。像高差ΔXはΔX1からΔX7まで7つの値をとる。像高差ΔXnは、光軸点からn−1番目の像高点とn番目の像高点との像高差である。なお、光軸点から0番目の像高点は光軸点に相当する。像高光量比差ΔYn/像高差ΔXnを傾きAnとする。傾きAn−1と傾きAnとが成す角度を像高点n−1における変化量という。
【0027】
図2に示す実線は、撮像レンズ102の設計値を用いて求められた絞りが開放されている場合での像高と像高光量比との関係を示す。
【0028】
実線に示される関係を用いて撮影画像を補正する場合、実線に示される像高光量比の逆数が対応する像高点における補正ゲインとなる。そして、得られた補正ゲインを撮影画像の各画素の光量に乗じて、撮影画像の光量低下、特に周辺光量不足が補正される。
【0029】
他方、
図2では、像高点4において実線の傾きが急激に変化している。このような場合に、撮影画像を実線の傾きAnに基づいて補正すると、傾きの変化が大きい傾きA4と傾きA5の間の像高点4付近に補正ムラ(補正痕)が出る可能性が高い。そこで、本発明は次のように傾きの変化が大きい像高点、すなわち変曲点を検出して、傾きの変化を調節しようとするものである。
【0030】
図3を用いて、変曲点を検出する変曲点検出処理について説明する。
図3は、
図2に示す実線の一部を拡大して示す。
【0031】
像高点3と像高点4とを繋ぐ線分14は、像高を示すX軸に対して角度θ4を成し、像高点4と像高点5とを繋ぐ線分15は、像高を示すX軸に対して角度θ5を成す。これにより、像高点4を挟む2つの線分が成す角度α4は、以下の式により求められる。
α4=(θ4+90+(90−θ5))
ここで、線分14の傾きA4及び線分15の傾きA5は、以下の式により求められる。
A4=tanθ4
A5=tanθ5
前述のように、傾きA4及び傾きA5は、像高光量比差ΔYn及び像高差ΔXnを用いて求めることができるため、これらの式を用いて角度θ4及び角度θ5を求めることができる。そして、角度θ4及び角度θ5を用いて角度α4を求める。この角度α4は、変曲点の変化量である。さらに、角度αnを全ての像高点nについて求め、最も小さい角度αnを有し、かつ角度αnが所定の閾値以下である像高点nを変曲点とする。閾値は、実験等によりあらかじめ求められる。
【0032】
次に、
図4を用いて、変化量の補正割合を決定する補正割合算出処理について説明する。
【0033】
図4に示す実線は、
図2に示す実線と同じものである。破線は、像高点3と変曲点である像高点4との間の線分14の傾きA4を維持したままで、像高点5、6、及び7に相当する像高まで線分を延ばしたものである。像高点5、6、及び7の像高光量比を破線まで移動する場合の補正割合を0%とし、実線に示した像高光量比のまま維持する場合の補正割合を100%とする。変曲点における変化量に応じて、補正割合を0%から100%までの範囲で変化させる。
【0034】
破線上の像高点7’の像高光量比をY7’、像高点7の像高光量比をY7、補正割合をR%、撮影画像において像高点7と同じ像高である像高点bの像高光量比をYbとすると、補正割合を反映した点cの像高光量比Ycは以下の式により求められる。
(Yb・Y7’/Y7−Yb)・R/100=Yb・Y7’/Yc−Yb
これをYcについて変形すると、
Yc=(Y7’・Y7・100)/(100・Y7−Y7・R+Y7’・R)
となる。
【0035】
すなわち、補正割合Rが0の場合、補正割合Rを反映した点の像高光量比Ycは像高点7’の像高光量比Y7’となり、補正割合Rが100の場合、補正割合を反映した点の像高光量比Ycは像高点7’の像高光量比Y7となる。像高光量比Ycの逆数が点cにおける補正ゲインとなる。そして、得られた補正ゲインを撮影画像の光量に乗じれば、各画素の光量が補正される。
【0036】
図5及び
図6に、補正割合算出処理に基づいて得られた補正ゲインを用いて補正された補正画像を示す。なお説明のため、
図5及び
図6に示す補正画像には、補正ムラ(補正痕)がわかりやすくなるように処理を施している。
【0037】
図5は、補正割合Rが100%であるとき、すなわち変曲点における変化量を調節しないで得られた像高光量比に基づいて画像を補正した場合の補正画像を示す。この場合、補正画像の四隅に補正ムラ(補正痕)が現れる。
【0038】
図6は、補正割合Rが60%であるとき、すなわち変曲点における変化量を調節して得られた像高光量比に基づいて画像を補正した場合の補正画像を示す。この場合、
図5に示す補正画像と比較して、四隅に補正ムラ(補正痕)が目立たなくなっている。
【0039】
次に、
図7を用いて変曲点の変化量を調節する変曲点調節処理について説明する。
【0040】
まず、変曲点検出処理によって検出された変曲点A4の両側の線分14及び線分15において、点d及び点eを決定する。点d及び点eは、線分14及び線分15において、各線分の長さに対して所定の割合の長さだけ変曲点A4から距離を置いた点である。
【0041】
そして、点dの像高光量比Yd及び点eの像高光量比Yeに補正値を加え、調節点fの像高光量比Yf及び調節点gの像高光量比Ygを求める。像高光量比Yf及び像高光量比Ygは、以下の式により求められる。
Yf=Yd+(A5−A4)・Q・A4/(A4+A5)
Yg=Ye+(A5−A4)・Q・A5/(A4+A5)
ここで、Qは、実験等により求められる割合であって、例えば0.01等の値をとる。また、像高光量比Yfの式では、(A5−A4)・Q・A4/(A4+A5)が補正値を成し、像高光量比Ygの式では、(A5−A4)・Q・A5/(A4+A5)が補正値を成す。
【0042】
補正値における式(A5−A4)・Qにより、変曲点A4に接続する線分14及び線分15の傾きの差に応じて、調節点の像高光量比を決定し、かつ像高光量比Yf及び像高光量比Ygを適切な値にすることができる。
【0043】
そして、像高点nに加えて、調節点f及び調節点gをさらに用いて光量を補正する。すなわち、光軸点、像高点1−3、調節点f、像高点4、調節点g、及び像高点5−7の順に接続されて成る曲線を用いるとともに、各点の間に位置する像高点に関しては線形補間を行うことにより像高光量比を求める。そして、得られた像高光量比の逆数を補正ゲインとして、撮影画像の光量に乗じれば、各画素の光量が補正される。
【0044】
像高点nに加えて、調節点f及び調節点gをさらに用いて光量を補正することにより、変曲点A4における変化量を緩やかにできる。
【0045】
図8及び
図9に、変曲点調節処理に基づいて得られた補正ゲインを用いて補正された補正画像を示す。なお説明のため、
図8及び
図9に示す補正画像には、補正ムラ(補正痕)がわかりやすくなるように処理を施している。
【0046】
図8は、変曲点調節処理を実行せずに、すなわち調節点を追加せずに得られた像高光量比に基づいて画像を補正した場合の補正画像を示す。この場合、補正画像の四隅に補正ムラ(補正痕)が現れる。
【0047】
図9は、変曲点調節処理を実行して、すなわち調節点を追加して得られた像高光量比に基づいて画像を補正した場合の補正画像を示す。この場合、
図8に示す補正画像と比較して、四隅に補正ムラ(補正痕)が目立たなくなっている。
【0048】
図10及び
図11に、補正割合算出処理及び変曲点調節処理の双方を実行して得られた補正ゲインを用いて補正された補正画像を示す。なお説明のため、
図10及び
図11に示す補正画像には、補正ムラ(補正痕)がわかりやすくなるように処理を施している。
【0049】
図10は、変曲点調節処理を実行せず、かつ補正割合Rが100%であるとき、すなわち変曲点に関して何らの補正も行わないで得られた像高光量比に基づいて画像を補正した場合の補正画像を示す。この場合、補正画像の四隅に補正ムラ(補正痕)が現れる。
【0050】
図11は、変曲点調節処理を実行し、かつ補正割合Rが60%であるとき、すなわち変曲点を調節して得られた像高光量比に基づいて画像を補正した場合の補正画像を示す。この場合、
図10に示す補正画像と比較して、四隅に補正ムラ(補正痕)が目立たなくなっている。
【0051】
次に、
図12を用いて変曲点検出処理について説明する。変曲点検出処理は、撮影された画像に対して「光量低下補正処理を実行する」モードをオンにした状態においてシャッターレリーズボタンが押し込まれて撮影がなされ、画像データが取得されたことをきっかけにスタートされる。または過去に撮影されRAW形式で記録媒体105に保存されていた画像データに対して、「光量低下補正処理付きRAW現像開始」の操作がなされたことをきっかけにスタートさせることも可能である。なお撮影時の「光量低下補正処理を実行する」モードのオン/オフに関わらず、RAW形式の画像データには撮影時点で画像が撮影された条件(絞り値、焦点距離、フォーカシングレンズ位置等)に応じた撮像レンズ102の設計値(光量低下補正用のデータ)をレンズメモリ108から読み出し、保存してある。いずれの場合もDSP101により、撮像レンズ102の設計データを用いて実行される。
【0052】
始めのステップS121では、処理する画像が撮影された条件(絞り値、焦点距離、フォーカシングレンズ位置等)に応じて、レンズメモリ108に保存された(または、RAW形式データに保存された)撮像レンズ102の設計値を取得し、
図2に示す、像高と像高光量比との関係が取得(算出)される。
【0053】
次のステップS122では、各像高点nを挟む2つの線分が成す角度αnを算出する(
図3参照)。
【0054】
次のステップS123では、角度αnを比較して、最も小さい角度αnを決定する。
【0055】
次のステップS124では、最も小さい角度αnが所定の閾値以下であるか否かを判断する。閾値以下である場合、処理はステップS125に進み、閾値よりも大きい場合には、変曲点が存在しないとして、変曲点検出処理を終了する。変曲点が存在しない場合には、実線(設計値)を用いて光量を補正しても、ムラ(補正痕)なく撮影画像を補正できる。
【0056】
ステップS125では、最も小さい角度αnに対応する像高点nが変曲点であるとして、後述する補正割合算出処理(
図13)及び変曲点調節処理(
図14)を実行する。
【0057】
次に、
図13を用いて補正割合算出処理について説明する。補正割合算出処理は、DSP101により撮像レンズ102の設計データを用いて実行される。
【0058】
始めのステップS132では、
図4における像高点bの像高光量比Ybを算出する。
【0059】
次のステップS133では、補正割合を反映した点cの像高光量比Ycを算出する。そして、
図14の変曲点調節処理を実行する。
【0060】
次に、
図14を用いて変曲点調節処理について説明する。変曲点調節処理は、DSP101により撮像レンズ102の設計データを用いて実行される。
【0061】
始めのステップS141では、
図2に示す像高と像高光量比との関係において、変曲点の位置を取得する。すなわち、変曲点の像高を取得する。
【0062】
次のステップS142では、変曲点に接続される2本の線分の傾きを取得し、2本の線分の傾きの差を算出する。これにより、
図5に示す(A5−A4)が求められる。
【0063】
次のステップS143では、変曲点に接続される2本の線分の傾きの比を各線分に関して算出する。これにより、
図5に示すA4/(A4+A5)及びA5/(A4+A5)が求められる。
【0064】
次のステップS144では、既定の割合Qを用いて、2つの調節点に関する補正値をそれぞれ算出する。これにより、
図5に示す調節点fの補正値(A5−A4)・Q・A4/(A4+A5)と、調節点gの補正値(A5−A4)・Q・A5/(A4+A5)が求められる。
【0065】
次のステップS145では、2つの調節点の像高光量比をそれぞれ算出する。これにより、
図5に示す調節点fの像高光量比Yf及び調節点gの像高光量比Ygが求められる。
【0066】
次のステップS146では、像高点nに加えて、2つの調節点を加えて成る曲線を作成するとともに、各点の間に位置する像高点に関しては線形補間を行う。これにより、
図5に示す光軸点、像高点1−3、調節点f、像高点4、調節点g、及び像高点5−7の順に接続されて成る曲線を作成するとともに、各点の間に位置する像高点に関して線形補間される。そして処理を終了する。
【0067】
本実施形態によれば、撮影画像に含まれる光量低下を適切に補正できる。
【0068】
なお、変曲点検出処理は、図示しない計算装置、例えばコンピュータによって実行されてもよい。
【0069】
また、補正割合算出処理は、図示しない計算装置、例えばコンピュータにより実行されてもよい。
【0070】
変曲点調節処理は、図示しない計算装置、例えばコンピュータにより実行されてもよい。
【0071】
補正割合算出処理及び変曲点調節処理は、いずれか一方のみが実行されてもよく、また、両方が実行されてもよい。
【0072】
撮像レンズ102はデジタルカメラ100に着脱自在に設けられず、デジタルカメラ100から取り外しできなくてもよい。またデジタルカメラ100は携帯電話、スマートフォン等に内蔵されたデジタルカメラであってもよい。
【0073】
光軸点からの距離である像高に応じて光量低下を補正する構成について説明したが、光軸点でなく、画像上における任意の点からの距離に基づいて光量低下を補正してもよい。
【0074】
光軸点からの距離である像高に応じて光量低下を補正する構成について説明したが、光軸からの距離でなく、光軸あるいは他の任意の軸からの角度に応じて光量低下を補正してもよい。