特許 6651916 画像処理方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6651916

(24)【登録日】2020年1月27日

(45)【発行日】2020年2月19日

(54)【発明の名称】画像処理方法

(51)【国際特許分類】

   H04N 9/07 20060101AFI20200210BHJP

   H04N 5/243 20060101ALI20200210BHJP

【ＦＩ】

   H04N9/07 C

   H04N5/243

【請求項の数】7

【全頁数】14

(21)【出願番号】特願2016-45408(P2016-45408)

(22)【出願日】2016年3月9日

(65)【公開番号】特開2017-163315(P2017-163315A)

(43)【公開日】2017年9月14日

【審査請求日】2018年10月10日

(73)【特許権者】

【識別番号】000131326

【氏名又は名称】株式会社シグマ

(72)【発明者】

【氏名】荒尾 考洋

【審査官】 大室 秀明

(56)【参考文献】

【文献】 国際公開第２０１３／０９９６１３（ＷＯ，Ａ１）

【文献】 特開２０１１−０４９６３８（ＪＰ，Ａ）

【文献】 特開２００４−０８８４０９（ＪＰ，Ａ）

【文献】 特開２０１０−１１７６７９（ＪＰ，Ａ）

【文献】 特開２０１３−２４７４３５（ＪＰ，Ａ）

【文献】 米国特許出願公開第２０１３／０２５８１３５（ＵＳ，Ａ１）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０２Ｂ ９／００−１７／０８

Ｇ０２Ｂ２１／０２−２１／０４

Ｇ０２Ｂ２５／００−２５／０４

Ｇ０３Ｂ ７／００−７／３０

Ｇ０３Ｂ１１／００−１１／０６

Ｇ０３Ｂ１７／０４−１７／１７

Ｈ０４Ｎ ５／２２２−５／２５７

Ｈ０４Ｎ ９／０４−９／１１

(57)【特許請求の範囲】

【請求項1】

光束中心光線角度及び光束面積を算出する光束情報算出工程と、
算出した前記光束中心光線角度及び前記光束面積に基づいてそれぞれ第１の補正係数及び第２の補正係数を算出する補正係数算出工程と、
前記第１及び第２の補正係数を用いて画像信号に補正処理を行う補正処理工程と、
を含み、
前記光束中心光線角度は、撮影レンズを透過し受光面に結像した結像光束の任意の像高における上光線及び下光線と前記受光面の法線とが成す角度であり以下の条件式で表せ、
前記光束面積は、前記結像光束の前記受光面上の任意の像高における面積であることを特徴とする画像処理方法。
尚、前記光束中心光線角度をθｃとすると、
θｃは以下の式で求められる。
θｃ＝（θｌｏｗｅｒ（ｈ）＋θｕｐｐｅｒ（ｈ））／２
−θＳＴＤｌｏｗｅｒ（ｈ）＋θＳＴＤｕｐｐｅｒ（ｈ））／２
ここで、
θｌｏｗｅｒ（ｈ）は像高ｈにおける下光線角度、
θｕｐｐｅｒ（ｈ）は像高ｈにおける上光線角度、
θＳＴＤｌｏｗｅｒ（ｈ）は像高ｈにおける基準レンズの下光線角度、
θＳＴＤｕｐｐｅｒ（ｈ）は像高ｈにおける基準レンズの上光線角度
である。

【請求項2】

前記光束情報算出工程は、
前記結像光束の光線角度に関する光線角度情報に基づいて、前記受光面に対応する光束中心光線角度のマップを作成する光束中心光線角度マップ作成工程を含み、
前記光線角度情報は少なくとも、前記上光線角度及び前記下光線角度を有する
ことを特徴とする請求項１に記載の画像処理方法。

【請求項3】

前記光束情報算出工程は、
前記光線角度情報から前記結像光束の前記受光面の光軸中心における中心光束面積を算出する中心光束面積算出工程と、
周辺光量落ちに関する周辺光量落ち情報と前記中心光束面積とに基づいて、前記受光面に対応する光束面積のマップを作成する光束面積マップ作成工程とを含む
ことを特徴とする請求項２に記載の画像処理方法。

【請求項4】

光束中心光線角度及び光束面積を算出する光束情報算出工程と、
算出した前記光束中心光線角度及び前記光束面積に基づいてそれぞれ第１の補正係数及び第２の補正係数を算出する補正係数算出工程と、
前記第１及び第２の補正係数を用いて画像信号に補正処理を行う補正処理工程と、
を含み、
前記光束中心光線角度は、撮影レンズを透過し受光面に結像した結像光束の任意の像高における上光線及び下光線と前記受光面の法線とが成す角度である上光線角度と下光線角度との平均値であり、
前記光束面積は、前記結像光束の前記受光面上の任意の像高における面積であり、
前記光束情報算出工程は、
前記結像光束の光線角度に関する光線角度情報に基づいて、前記受光面に対応する光束中心光線角度のマップを作成する光束中心光線角度マップ作成工程を含み、
前記光線角度情報は少なくとも、前記上光線角度及び前記下光線角度を有し、
前記光線角度情報はさらに、前記結像光束のサジタル光線と前記受光面の法線とが成す角度であるサジタル光線角度を有し、
光束情報算出工程は、
前記光線角度情報に基づいて前記結像光束に内接する四角形の面積を算出し、前記受光面に対応する光束面積のマップを作成する光束面積マップ作成工程を含む
ことを特徴とする画像処理方法。

【請求項5】

前記補正係数算出工程は、
前記光束中心光線角度と、前記受光面を所定の数に分割して得られる複数のブロック内にそれぞれ設けられた代表点における前記光束中心光線角度に係る第１の補正項とから、前記代表点における前記第１の補正係数を算出する第１の補正係数算出工程と、
前記光束面積と、前記代表点における前記光束面積に係る第２の補正項とから、前記代表点における前記第２の補正係数を算出する第２の補正係数算出工程とを含む
ことを特徴とする請求項１乃至４のいずれか１項に記載の画像処理方法。

【請求項6】

前記第１及び第２の補正係数に基づいて、全ての前記受光面に対する前記第１及び第２の補正係数を線形補間により算出する補正係数補間工程をさらに含み、
前記補正処理工程において、前記補正係数補間工程により算出された前記第１及び第２の補正係数を用いて補正処理を行う
ことを特徴とする請求項５に記載の画像処理方法。

【請求項7】

前記補正処理工程において、
前記第１及び第２の補正係数を前記代表点と対応する前記ブロック内に一律に適用して補正処理を行う
ことを特徴とする請求項５に記載の画像処理方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像信号に対して適切な補正処理を行う画像処理方法に関する。

【背景技術】

【0002】

ＣＭＯＳ、ＣＣＤ等の撮像素子では、撮影レンズを透過して受光面に結像した被写体像が光電変換されることで画像データに変換され、出力される。これにより得られる画像データにおいては、様々な影響によって偽色や色ムラが発生してしまう。

【0003】

特に色ムラの原因は複数考えられるが、主な要因としては撮像素子の各画素に入射する光線の入射角が挙げられる。すなわち、入射する光線の入射角が大きくなり斜めからの入射になるほど、色ムラによる画質の劣化が大きくなる。

【0004】

このような問題点を解決するために、従来より色ムラの補正に関する種々の技術が提案されている。

【0005】

例えば、特許文献１に開示の発明では、撮像装置を、撮影画像データの信号値のむらを補正するための補正項を撮影条件に対応させて記憶する第１記憶手段と、前記第１記憶手段に記憶されている補正項のうち撮影画像データを取得した際の撮影条件と近い補正項を用いて撮影画像データの補正項を補間計算する第２記憶手段と、第１計算手段が計算した撮影画像データの補正項を用いて撮影画像データの信号値のむらを補正する補正手段とを有する構成としている。

【0006】

また、特許文献２に開示の発明では、撮像装置は、撮像画像信号を、設定された補正量に応じて画質補正する補正部を備える。集光レンズ光学系を通して固体撮像素子に入射してくる入射光線束は、集光レンズの集光作用により固体撮像素子の受光面の一点に結像するように円錐形状に収束される。補正量は、入射光線束の円錐形状の周壁面と固体撮像素子の受光面中心を通りその受光面に垂直な平面とが交差して得られる２本の光線が成す角度幅である像光方向角度幅と、像光方向角度幅を二等分する中心線の受光面の法線との成す角である入射角度とに応じて規定される構成としている。

【先行技術文献】

【特許文献】

【0007】

【特許文献1】特開２０１２−２４４２３９号公報

【特許文献2】特許５５９７７７６号公報

【発明の概要】

【発明が解決しようとする課題】

【0008】

しかしながら、上記の従来技術では以下のような問題点があった。すなわち、特許文献１に開示の発明では、最大像高入射時の各光線角により得られる中心光線角とＦ値を用いて補正項の補間計算を行っていた。この場合、画像中心からの像高に対して光線角が単調増加するレンズであれば問題ないが、一部のレンズでは口径食（ケラレ）等の影響により光線角が単調増加とならないものがあり、そのようなレンズに対しては補正項の補間が不適切に行われてしまう可能性があった。

【0009】

また、特許文献２に開示の発明では、記憶部に格納された像高毎にグループ分けされた補正量に対し、像高毎にグループ分けされた光線入射角情報に基づいて補正量を選択していた。この場合、像高（入射光線角度）に応じて変化する入射光線角度に基づいて発生する色ムラに対しては有効であるが、像高に依存せず、画像中心に対して点対称とならないような非対称性の色ムラに対しては補間が不適切に行われてしまう可能性があった。

【0010】

本発明はこのような状況に鑑みてなされたものであり、撮影条件（入射光線の状態）に応じて変化する画像位置毎の色ムラを適切に補正可能な画像処理方法を提供することを目的とする。

【課題を解決するための手段】

【0011】

上記目的を達成するために、本発明を実施の画像処理方法は、光束中心光線角度及び光束面積を算出する光束情報算出工程と、算出した光束中心光線角度及び光束面積に基づいてそれぞれ第１の補正係数及び第２の補正係数を算出する補正係数算出工程と、第１及び第２の補正係数を用いて画像信号に補正処理を行う補正処理工程と、を含み、光束中心光線角度は撮影レンズを透過し受光面に結像した結像光束の任意の像高における上光線及び下光線と受光面の法線とが成す角度であり以下の条件で表せ、光束面積は結像光束の受光面上の任意の像高における面積であることを特徴とする。
尚、光束中心光線角度をθｃとすると、
この光束中心光線角度θｃは以下の式で求められる。
θｃ＝（θｌｏｗｅｒ（ｈ）＋θｕｐｐｅｒ（ｈ））／２
−θＳＴＤｌｏｗｅｒ（ｈ）＋θＳＴＤｕｐｐｅｒ（ｈ））／２
ここで、
θｌｏｗｅｒ（ｈ）は像高ｈにおける下光線角度、
θｕｐｐｅｒ（ｈ）は像高ｈにおける上光線角度、
θＳＴＤｌｏｗｅｒ（ｈ）は像高ｈにおける基準レンズの下光線角度、
θＳＴＤｕｐｐｅｒ（ｈ）は像高ｈにおける基準レンズの上光線角度

【0012】

さらに本発明を実施の画像処理方法は、光束情報算出工程が、結像光束の光線角度に関する光線角度情報に基づいて、受光面に対応する光束中心光線角度のマップを作成する光束中心光線角度マップ作成工程を含み、光線角度情報は少なくとも、上光線角度及び下光線角度を有することを特徴とする。

【0013】

さらに本発明を実施の画像処理方法は、光束情報算出工程が、光線角度情報から結像光束の受光面の光軸中心における中心光束面積を算出する中心光束面積算出工程と、周辺光量落ちに関する周辺光量落ち情報と中心光束面積とに基づいて、受光面に対応する光束面積のマップを作成する光束面積マップ作成工程とを含むことを特徴とする。

【0014】

さらに本発明を実施の画像処理方法は、光束中心光線角度及び光束面積を算出する光束情報算出工程と、算出した光束中心光線角度及び光束面積に基づいてそれぞれ第１の補正係数及び第２の補正係数を算出する補正係数算出工程と、第１及び第２の補正係数を用いて画像信号に補正処理を行う補正処理工程と、を含み、光束中心光線角度は撮影レンズを透過し受光面に結像した結像光束の任意の像高における上光線及び下光線と受光面の法線とが成す角度である上光線角度と下光線角度との平均値であり、光束面積は結像光束の受光面上の任意の像高における面積であり、光束情報算出工程が、結像光束の光線角度に関する光線角度情報に基づいて、受光面に対応する光束中心光線角度のマップを作成する光束中心光線角度マップ作成工程を含み、光線角度情報は少なくとも、上光線角度及び下光線角度を有し、光線角度情報がさらに、結像光束のサジタル光線と受光面の法線とが成す角度であるサジタル光線角度を有し、光束情報算出工程は、光線角度情報に基づいて結像光束に内接する四角形の面積を算出し、受光面に対応する光束面積のマップを作成する光束面積マップ作成工程を含むことを特徴とする。

【0015】

さらに本発明を実施の画像処理方法は、補正係数算出工程が、光束中心光線角度と受光面を所定の数に分割して得られる複数のブロック内にそれぞれ設けられた代表点における光束中心光線角度に係る第１の補正項とから、代表点における第１の補正係数を算出する第１の補正係数算出工程と、光束面積と代表点における光束面積に係る第２の補正項とから、代表点における第２の補正係数を算出する第２の補正係数算出工程とを含むことを特徴とする。

【0016】

さらに本発明を実施の画像処理方法は、第１及び第２の補正係数に基づいて、全ての受光面に対する第１及び第２の補正係数を線形補間により算出する補正係数補間工程をさらに含み、補正処理工程において、補正係数補間工程により算出された第１及び第２の補正係数を用いて補正処理を行うことを特徴とする。

【0017】

さらに本発明を実施の画像処理方法は、補正処理工程において、第１及び第２の補正係数を代表点と対応するブロック内に一律に適用して補正処理を行うことを特徴とする。

【発明の効果】

【0018】

本発明を実施の画像処理方法によれば、撮影条件（入射光線の状態）に応じて変化する画像位置毎の色ムラを適切に補正可能な画像処理方法を提供することができる。

【図面の簡単な説明】

【0019】

【図1】本発明の一実施形態である画像処理方法を実装した撮像装置の主要な構成を示したブロック図である。

【図2】画素中の受光面に形成された結像光束の形状（面積）を説明する模式図である。

【図3】図１に示した撮像装置において色ムラ補正を行うための主要な構成を示したブロック図である。

【図4】ＲＯＭ１７１に格納されている光線角度情報及び周辺光量落ち情報を含むデータテーブルの一例である。

【図5】上下光線角度と主光線角度を説明する模式図である。

【図6】ＲＯＭ１７１に格納されている代表点情報を含むデータテーブルの一例である。

【図7】バイリニア補間の原理を説明する模式図である。

【図8】ＲＯＭ１７１に格納されている光線角度情報を含むデータテーブルの一例である。

【図9】結像光束の内接四角形の面積を求める式を説明するための概念図である。

【発明を実施するための形態】

【0020】

以下、添付の図面に従って、本発明を実施するための最良の形態について説明する。なお、この実施の形態により本発明が限定されるものではない。

【0021】

図１に示すブロック図には、本発明の一実施形態である画像処理方法を実装した撮像装置の主要な構成が示されている。

【0022】

１００は撮影レンズであり、詳しくは、カメラ本体２００に着脱可能な交換レンズである。撮影レンズ１００内には、ズームレンズ１１０とフォーカスレンズ１２０とを有している。これらは図中においてそれぞれ１枚のレンズで描写しているが、これに限らない。また、これら以外のレンズを有していてもよい。ズームレンズ１１０とフォーカスレンズ１２０はズーム制御部１４０とフォーカス制御部１５０とにそれぞれ接続されており、レンズの駆動や位置検出等の制御が行われる。

【0023】

１３０は撮影レンズ１００内に設けられた絞りユニットであり、絞り制御部１６０に接続されている。絞り制御部１６０は絞りユニット１３０の絞り値（Ｆ値）を制御する。

【0024】

１７０はレンズＣＰＵであり、後述するメインＣＰＵ２４０と協働して上述した各種制御部の制御内容を決定し、指示を出す。また、レンズＣＰＵ１７０は撮影レンズ１００のズーム位置、フォーカス位置、Ｆ値等の撮影条件を各種制御部から取得し、メインＣＰＵ２４０に出力する。また、不図示のメモリ部に格納されたレンズＩＤを必要に応じてメインＣＰＵ２４０に出力する。

【0025】

２００はカメラ本体であり、不図示の機構により撮影レンズ１００を装着可能となっている。２１０は撮像素子であり、撮影レンズ１００により集光された光線を受光して光電変換し、画像信号として出力する。本実施形態の撮像素子２１０はＣＭＯＳイメージセンサが用いられている。

【0026】

この撮像素子２１０の受光面は多数の画素から構成されている。これらの画素は、その内部において、入射光の波長により光電変換される深さの違いを用いることで、単一画素からＲＧＢの各色信号値からなる画像信号を出力可能な垂直色分離型のイメージセンサである。本実施形態の撮像素子２１０には、画素から読み出した色信号値を増幅するゲイン可変アンプやゲイン値を補正するためのゲイン補正回路、アナログ画像信号をデジタル変換するＡ／Ｄコンバータが内蔵されている。

【0027】

２２０は色ムラ補正部であり、撮像素子２１０から出力された画像信号に対して色ムラ補正に係る画像処理を行う。色ムラ補正部２２０における色ムラ補正について詳しくは後述する。

【0028】

２３０は画像処理部であり、色ムラ補正部２２０から出力された画像信号に対して各種の一般的な画像処理を施す。ここで施される処理としては、例えば、画像信号から所定の形式のＲＡＷデータを生成する処理や、ホワイトバランス処理、色再現処理がある。ＪＰＥＧ形式やＴＩＦＦ形式の画像データへの現像処理も画像処理部２３０で行われる。

【0029】

２４０はメインＣＰＵであり、撮像装置３００全体の包括的な制御を行う。また、メインＣＰＵ２４０はレンズＣＰＵ１７０と電気的に接続されており、協働して撮影レンズ１００の制御を行う。

【0030】

２５０は記録媒体Ｉ／Ｆであり、不図示の記録媒体との間でＲＡＷデータや現像後の画像データの記録又は読み出しを行う。この記録媒体は、半導体メモリ等の着脱可能な記録媒体である。

【0031】

２６０はユーザＩ／Ｆであり、例えば、レリーズボタン、電源ボタン、コマンドダイヤル、十字キー等の操作部材を有している。ユーザがこれらの操作部材を操作すると、メインＣＰＵ２４０は所定の動作を行う指示を出す。

【0032】

２７０は画像表示部であり、画像処理部２３０で処理された画像データや、不図示の記録媒体から読み出された画像データ等を表示する。

【0033】

なお、上述したゲイン可変アンプ、ゲイン補正回路、Ａ／Ｄコンバータを内蔵していない撮像素子２１０を採用する場合には、これらのデバイスを個別に搭載すればよい。

【0034】

次に、補正の対象となる色ムラの発生原因について考察する。

【0035】

従来から、入射光線角度とＦ値が色ムラに影響を与えることが知られている。入射光線角度が大きいほど画素への入射光が斜めになり、結像光束が画素から外れたり隣接画素へ漏れ込んだりすることで色ムラが起きる。

【0036】

また、結像光束の形状は撮影レンズ１００のＦ値に応じて変化する。すなわち、撮影レンズ１００のＦ値が大きく（暗く）なると結像光束の面積が小さくなり、Ｆ値が小さく（明るく）なると結像光束の面積が大きくなる。結像光束の面積が大きいと、それだけ隣接画素への漏れ込みが発生しやすくなり色ムラが起きる。この特性が維持されている範囲においては、色ムラは結像光束の入射角度とＦ値に依存する。

【0037】

しかしながら、使用する撮影レンズ１００によっては、この結像光束に口径食が発生する場合がある。図２は画素中の受光面に形成された結像光束の形状（面積）を説明する模式図であり、口径食が発生した状態を示したものである。口径食が発生すると、結像光束の形状（面積）の変化特性に影響が生じ、結像光束は楕円形若しくは欠けた円形に近い形状となる。

【0038】

すなわち、本図に示すように、結像光束のサジタル方向の長さは依然としてＦ値に応じて変化するが、メリジオナル方向の長さは口径食によって制限されるため、Ｆ値がある値（本図の場合にはＦ２．０）より小さくなると変化しなくなる。結像光束のメリジオナル方向の長さは結像光束の上下光線の入射角から算出が可能であるが、上記の面積特性の変化により、色ムラ特性を精度よく評価するためには従来技術のような上下光線の入射角のみでは不十分であり、光束の面積を考慮することが必要となる。

【0039】

色ムラに影響を及ぼす入射光線角度は同じ像高ごとでは同じ値となる。そのため、色ムラは像高、すなわち画像中心からの距離に依存することが知られている。しかしながら、この色ムラが画像中心に対して非対称性を有している場合があり、より精度よく評価するためには像高にのみ依存する形での補正は望ましくない。

【0040】

この色ムラの非対称性は主に、撮像素子２１０を構成する画素構造の中心非対称性に因るものと考えることができる。近年の撮像素子は高画素化、画素ピッチ微細化が進み画素構造が高度に複雑化しており、その結果、画素内部では配線層や遮光層が複雑に入り組んでいる。そのような画素に対して結像光束の入射角度と入射方向が変化すると、画素内部構造により生じるケラレの特性も複雑に変化する。このケラレが各像高、各画素構造で様々に発生する結果、中心非対称の色ムラが生じると考えられる。

【0041】

これに加えて、画素構造やマイクロレンズアレイの製造誤差も色ムラに影響を与える要素となり得る。

【0042】

このような像高に依存しない色ムラに対しては、従来技術のように像高毎にグループ分けされた補正量を用いることでは不十分であり、画像信号を所定の数に分割して得られる複数のブロック毎に補正量を求めることが必要となる。

【0043】

（第１実施例）
次に、上述した非対称性を有する色ムラに対する補正処理を行うための画像処理の流れを説明する。図３は第１実施例において色ムラ補正に係る画像処理を行うための主要な構成を示したブロック図である。

【0044】

レンズＣＰＵ１７０は、内部にＲＯＭ１７１とＲＡＭ１７２を有している。このＲＯＭ１７１には予め撮影レンズ１００に固有の光線角度情報及び周辺光量落ち情報が格納されている。これらの情報について詳しくは後述する。また、ＲＡＭ１７２にはズーム制御部１４０等から得られた各種撮影条件が記憶されている。

【0045】

色ムラ補正部２２０は、内部に光束情報算出部２２１と補正係数算出部２２２とＲＯＭ２２３と補正係数補間部２２４と補正処理部２２５とを有している。このＲＯＭ２２３には、画像信号を所定の数に分割して得られる複数のブロック内に予め設けられた代表点に関する情報が格納されている。この代表点情報について詳しくは後述する。

【0046】

光束情報算出部２２１は、ＲＯＭ１７１から入力される光線角度情報及び周辺光量落ち情報、ＲＡＭ１７２から入力される撮影条件、並びにＲＯＭ２２３から入力される代表点情報を用いて光束中心光線角度及び光束面積を上述した全ての代表点の位置に対して算出し、光束中心光線角度マップ及び光束面積マップを作成する。

【0047】

次に補正係数算出部２２２は、作成した光束中心光線角度マップ及び光束面積マップ、並びにＲＯＭ２２３に格納されている代表点情報を用いて各代表点における補正係数を算出する。この補正係数には、光束中心光線角度に基づく第１の補正係数と光束面積に基づく第２の補正係数とが含まれる。

【0048】

次に補正係数補間部２２４は、補正係数算出部２２２にて得られた各代表点における補正係数から画像信号全体の補正係数を補間計算により算出する。これにより、全ての画像信号に対応する補正係数が得られる。

【0049】

次に補正処理部２２５は、補正係数補間部２２４にて得られた補正係数を画像信号の信号値に適用することで色ムラ補正に係る画像処理が完了する。色ムラ補正が施された画像信号は色ムラ補正部２２０から画像処理部２３０へ送られる。

【0050】

以上の構成を用いた色ムラ補正に係る画像処理について具体的に説明する。

【0051】

図４はＲＯＭ１７１に格納されている光線角度情報及び周辺光量落ち情報の一例であり、一部数値を省略している。ＲＯＭ１７１には光線角度情報として上下光線角度と主光線角度が含まれている。本図に示すように、光線角度情報と周辺光量落ち情報は像高と対応させたデータテーブルの形でＲＯＭ１７１に格納されている。周辺光量落ち情報は、像高０（画像中心）における光量を１とした場合の各像高における光量の割合を表したものである。これらの情報は撮影レンズ１００に固有のものであり、レンズ光学系の設計データから得られたものである。

【0052】

図５は上下光線角度と主光線角度を説明する模式図である。本図に示すように、射出瞳を通過して撮像素子に入射した結像光束の上光線と結像点の法線（点線）との成す角度を上光線角度θｕｐｐｅｒ、結像光束の下光線と結像点の法線との成す角度を下光線角度θｌｏｗｅｒ、射出瞳の中心を通る主光線と結像点の法線との成す角度を主光線角度θｃｈｉｅｆとし、それぞれ本図中に実線で記載してある。本実施形態では、結像点の法線より下側で成る角度をプラス、法線より上側で成る角度をマイナスと定義している。

【0053】

また、光線角度情報及び周辺光量落ち情報と像高との関係は撮影条件に応じても変化するので、ＲＯＭ１７１内には撮影条件毎に異なるデータテーブルが複数格納されていることになる。どの条件におけるデータテーブルを格納するかは任意に選択可能であり、補正精度とＲＯＭ１７１の容量等に応じて適宜選択すればよい。

【0054】

光束情報算出部２２１は、上述した光線角度情報及び周辺光量落ち情報と撮影時の撮影条件とを用いて光束中心光線角度及び光束面積を算出する。ここで光束中心光線角度は、ある像高における上下光線角度の平均値として得られる角度であり、光束中心光線は本図中に破線で記載したものである。

【0055】

この光束中心光線角度θｃは以下の式１で求められる。
θｃ＝（θｌｏｗｅｒ（ｈ）＋θｕｐｐｅｒ（ｈ））／２
−θＳＴＤｌｏｗｅｒ（ｈ）＋θＳＴＤｕｐｐｅｒ（ｈ））／２ ・・・（１）
ここで、
θｌｏｗｅｒ（ｈ）は像高ｈにおける下光線角度、
θｕｐｐｅｒ（ｈ）は像高ｈにおける上光線角度、
θＳＴＤｌｏｗｅｒ（ｈ）は像高ｈにおける基準レンズの下光線角度、
θＳＴＤｕｐｐｅｒ（ｈ）は像高ｈにおける基準レンズの上光線角度
である。

【0056】

また本実施形態において光束面積Ｓは、画素位置や波長によりそれぞれ異なる画素内の吸収深さの取り扱いを簡便にするために、光束面積を所定の深さにおける面積として正規化したものである。以後の説明では、光束面積と記載した場合には基本的にこの正規化された光束面積のことを指すものとする。

【0057】

レンズの透過率を考慮しない場合、周辺光量落ちは画像中心と任意像高との光束面積比に相当する。このため、各像高における光束面積は画像中心における光束面積Ｓ０と対応する周辺光量落ち情報とを乗算することで求められる。すなわち、以下の式２に示すように、
像高ｈにおける光束面積Ｓ
＝中心光束面積Ｓ０×像高ｈにおける周辺光量落ち情報 ・・・（２）
となる。

【0058】

中心光束面積Ｓ０は以下の式３で求められる。
Ｓ０＝π×ｔａｎ（θｌｏｗｅｒ（０））＾２ ・・・（３）
ここで、θｌｏｗｅｒ（０）は像高０、すなわち画像中心における下光線角度である。なお、像高０であれば下光線角度と上光線角度は絶対値が等しくなるので、正負の符号を考慮しさえすればいずれの値を用いてもよい。

【0059】

図４に示したデータテーブルの例では、各情報は像高１割刻みで格納されている。従って、まず光束情報算出部２２１はこの１割刻みの像高に対応した光束中心光線角度及び光束面積を算出する。

【0060】

図６はＲＯＭ２２３に格納されている代表点情報の一例であり、一部数値を省略している。代表点情報は、各代表点の位置（ｉ，ｊ）とそれに対応する像高ｈを有している。代表点とは上述したように、画像信号を所定の数に分割して得られる複数のブロック内に設定した点である。本実施形態では、画像信号を６０×４０個（合計２４００個）のブロックに分割し、最も左上のブロックを（１，１）、一つ下のブロックを（１，２）と順番に番号を振り、最後に最も右下のブロックを（６０，４０）としている。

【0061】

また、代表点は各ブロックの中央画素としている。各ブロックの大きさは均等であるので、代表点の位置座標は一義的に決定される。

【0062】

光束情報算出部２２１はＲＯＭ２２３から上述した代表点情報を取得すると、各代表点の像高に対応する光束中心光線角度及び光束面積を補間計算により算出し、光束中心光線角度マップ及び光束面積マップを作成する。

【0063】

代表点情報にはさらに第１及び第２の補正項が各代表点と対応する形で格納されている。第１の補正項とは光束中心光線角度に係る補正項であり、予め光束中心光線角度と基準レンズで得られた画像信号との関係を例えば３次関数で多項式近似することで、それらの係数ａ１乃至ｄ１として求められる。すなわち、３次の項の係数をａ１、２次の項の係数をｂ１、１次の項の係数をｃ１、そして０次の項の係数をｄ１としている。第２の補正項とは光束面積に係る補正項であり、第１の補正項と同様に、光束面積と画像信号との関係を３次元多項式に近似することで係数ａ２乃至ｄ２として求められる。すなわち、３次の項の係数をａ２、２次の項の係数をｂ２、１次の項の係数をｃ２、そして０次の項の係数をｄ２としている。

【0064】

これらの補正項を各ブロックにおいてそれぞれ算出することで、本図に示した代表点情報のデータテーブルが得られる。なお、これらの補正項は各色情報について算出されるべきもので、例えば赤（Ｒ）、緑（Ｇ）、青（Ｂ）に対応した３種類、色比（Ｒ／Ｇ）、（Ｂ／Ｇ）に対応した２種類等となるが、図中のデータテーブルでは省略して１種類のみ記載している。

【0065】

光束中心光線角度及び光束面積と色付き（色ムラ特性）との関係を算出することによって、撮影レンズ及び撮影条件が異なることで生じる色ムラ特性への影響を減じることが可能となる。また、上記を画像位置（代表点）毎に算出することによって、入射光束と撮像素子構造との関係により生じる色ムラ特性を捉えることが可能となる。

【0066】

補正係数算出部２２２は、光束情報算出部２２１で得られた光束中心光線角度θｃと第１の補正項ａ１乃至ｄ１とから以下の式４に従って第１の補正係数ｋ１を算出する。
ｋ１＝ａ１×θｃ＾３＋ｂ１×θｃ＾２＋ｃ１×θｃ＋ｄ１ ・・・（４）
同様に第２の補正係数ｋ２も、光束面積Ｓと第２の補正項ａ２乃至ｄ２とから以下の式５に従って算出する。
ｋ２＝ａ２×Ｓ＾３＋ｂ２×Ｓ＾２＋ｃ２×Ｓ＋ｄ２ ・・・（５）
これにより、各ブロックの代表点位置における色ムラ補正の補正係数が得られる。

【0067】

続いて補正係数補間部２２４は、代表点に対して得られた各補正係数から画像信号全体に対応する補正係数を線形補間（バイリニア補間）により算出する。このバイリニア補間は、図７に示すように、４点の既知の値から未知の１点の値を求める補間法である。

【0068】

４点（ｘ１，ｙ１）、（ｘ１，ｙ２）、（ｘ２，ｙ１）及び（ｘ２，ｙ２）における値がそれぞれＩ１１、Ｉ１２、Ｉ２１及びＩ２２である場合を考える。このとき、バイリニア補間によれば、４点に囲まれる領域内の１点（ｘ’，ｙ’）における値Ｉ（ｘ’，ｙ’）は式６により求められることが知られている。

【0069】

上述したバイリニア補間により画像信号全体に対応する第１及び第２の補正係数が得られると、補正処理部２２５はそれらの補正係数を撮像素子２１０から得られた画像信号に乗算して適用することで色ムラ補正に係る画像処理が完了する。なお、補正項がＲＧＢ毎に取得してある場合には、得られた補正係数を対応するＲＧＢ信号値にそれぞれ適用することで補正処理が行われ、また、補正項が例えば色比Ｒ／Ｇ、Ｂ／Ｇ毎に取得してある場合には、対応する色比信号値にそれぞれ適用することで補正処理が行われる。

【0070】

補正処理が完了した画像信号は、上述したように後段の画像処理部２３０に送られ、各種の一般的な画像処理が施される。

【0071】

以上、本発明を実施の画像処理方法の第１実施例によれば、場所により異なる色ムラを光束中心光線角度と光束面積の関数であるとし、色ムラを補正するための補正量を光束中心光線角度と光束面積の３次関数と仮定している。そして、それら３次関数の係数（第１及び第２の補正項）として、基準レンズで得られた画像信号をそれぞれ光束中心光線角度と光束面積の３次関数で多項式近似した際に得られる係数を用いることとしている。

【0072】

これにより、色ムラを光束面積の関数としても捉えているので、メリジオナル方向（光束中心光線角度）だけでは捉えられない変化もサジタルを考慮した光束面積で捉えることが可能となり、色ムラ補正の精度が向上する。

【0073】

本出願人は、当初、メリジオナル方向の光線角や光線角幅だけでは説明できない色変化の挙動を捉えた際に、サジタル光線角の変化に注目したが、メリジオナル光線角幅とサジタル光線角幅の比では色変化との相関が得られなかった。さらに検討を重ねた結果、メリジオナル光線角幅とサジタル光線角幅の積、つまり光束の面積であれば色変化との相関を得ることを見出した。これはＦ値によって画像の色付きが変化する現象に相当すると解釈でき、Ｆ値を像高毎の光束面積に置き換えることで像高毎の色付きの変化を取り扱うことが可能になる。さらに、光束面積が大きいほど（Ｆ値が小さく明るいレンズほど）画素内部構造に起因するケラレや隣接画素への斜入射が起きやすく、画素構造が中心非対称であることによる色付きの方向依存性を扱ううえで有用な情報となる。

【0074】

また、光束中心光線角度及び光束面積は像高に依存するが、第１及び第２の補正項は代表点毎に作成するので像高に非依存で変化させることができるため、像高に非依存の現象に由来する色ムラまでも適切に補正することが可能となる。

【0075】

また、線形補間を利用して、得られた補正係数を画像信号全体に対して補間算出することで、必要とする第１及び第２の補正項のブロック数を抑えつつブロック境界での変化が滑らかになるように補正を行うことができる。

【0076】

（第２実施例）
次に第２実施例について説明する。上述した第１実施例において光束面積は、式２に示したように画像中心における中心光束面積Ｓ０と周辺光量落ち情報を用いて算出していた。そしてこの周辺光量落ち情報は図４に示したように像高に対応したデータテーブルの形式でＲＯＭ１７１に格納されていた。第２実施例においては光束面積を、結像光束に内接する四角形により近似することで算出する。光束面積の算出に係る部分以外は上述した第１実施例と同様であるので説明は省略する。

【0077】

図８は第２実施例においてＲＯＭ１７１に格納されている光線角度情報の一例であり、一部数値を省略している。上下光線角度及び主光線角度は上述した第１実施例と同義であるので説明を省略する。サジタル光線角度とは結像光束のサジタル光線と受光面の法線とがなす角度であり、他の光線角度情報と同様にレンズ光学系の設計データから得られる。これらの光線角度情報と像高との関係は撮影条件に応じても変化するので、ＲＯＭ１７１内には撮影条件毎に異なるデータテーブルが複数格納される。

【0078】

図９は上述した結像光束の内接四角形の面積を求める式を説明するための概念図である。本図に示したように、結像光束の周縁には各種の光線が入射している。すなわち、像高（メリジオナル）方向では画像中心に近い側には下光線、画像中心から遠い側には上光線が入射する。また、像高方向と垂直に交わるサジタル方向にはサジタル光線が入射する。さらに、結像光束内部の一点には主光線が入射する。

【0079】

このとき図中の結像光束に内接する三角形の面積Ｓｔを求めるには、像高方向を底辺、サジタル方向を高さと考えれば、それぞれ
底辺の長さ：（ｔａｎ（θｌｏｗｅｒ（ｈ）−θｃｈｉｅｆ（ｈ））
−ｔａｎ（θｕｐｐｅｒ（ｈ）−θｃｈｉｅｆ（ｈ）））
高さ：ｔａｎ（θｓａｇｉｔｔａｌ（ｈ））
と表すことができる。
ここで、
θｌｏｗｅｒ（ｈ）は像高ｈにおける下光線角度、
θｕｐｐｅｒ（ｈ）は像高ｈにおける上光線角度、
θｃｈｉｅｆ（ｈ）は像高ｈにおける主光線角度、
θｓａｇｉｔｔａｌ（ｈ）は像高ｈにおけるサジタル光線角度幅
である。

【0080】

結像光束の形状はメリジオナル光線に対して概ね線対称であると考えれば、結像光束の内接四角形の面積は三角形の面積を２倍すればよく、内接四角形の面積Ｓは以下の式７で求められる。
Ｓ＝（ｔａｎ（θｌｏｗｅｒ（ｈ）−θｃｈｉｅｆ（ｈ））
−ｔａｎ（θｕｐｐｅｒ（ｈ）−θｃｈｉｅｆ（ｈ）））
×ｔａｎ（θｓａｇｉｔｔａｌ（ｈ）） ・・・（７）

【0081】

上述した演算を光束情報算出部２２１が全ての代表点について行い、光束面積マップを作成する。これ以降の処理の流れは第１実施例と同様であるので説明は省略する。

【0082】

以上、本発明を実施の画像処理方法の第２実施例によれば、周辺光量落ち情報を用いず、結像光束の内接四角形の面積をもって光束面積を近似している。周辺光量落ち情報には撮影レンズ１００の透過率による光量減少分が含まれており、撮影レンズ１００によっては誤差が大きくなる可能性がある。その一方で、上述した第２実施例であれば撮影レンズ１００の透過率による影響を受けることがないという利点がある。

【0083】

変形例として、光束面積を内接四角形ではなく楕円形に近似してもよい。その場合であれば、楕円面積を求める公式を用いることで光束面積が得られる。その他にも適切な近似を用いることで光束面積を算出することが可能である。

【0084】

なお、上述してきた実施形態の画像処理方法では、代表点に対して算出した補正係数を補正係数補間部２２４において線形補間（バイリニア補間）することにより全画像信号に対する補正係数を得ていたが、補間方法はこれに限らない。例えば、代表点に対する補正係数をその代表点が属するブロック内に一様に適用することで全画像信号に対する補正係数を得るようにしてもよい。この場合、色ムラの補正精度は低下することになるが、演算の負荷を低減することができる。また、補正係数補間部２２４は不要であるので、補正係数算出部２２２にて算出された補正係数は補正処理部２２５に直接送られることになる。

【0085】

以上で説明したように、本発明に記載の画像処理方法によれば、撮影条件（入射光線の状態）に応じて変化する画像位置ごとの色ムラを適切に補正可能な画像処理方法を提供することが可能となる。

【符号の説明】

【0086】

１００ 撮影レンズ、１１０ ズームレンズ、１２０ フォーカスレンズ、１３０ 絞りユニット、１４０ ズーム制御部、１５０ フォーカス制御部、１６０ 絞り制御部、１７０ レンズＣＰＵ、１７１ ＲＯＭ、１７２ ＲＡＭ、２００ カメラ本体、２１０ 撮像素子、２２０ 色ムラ補正部、２２１ 光束情報算出部、２２２ 補正係数算出部、２２３ ＲＯＭ、２２４ 補正係数補間部、２２５ 補正処理部、２３０ 画像処理部、２４０ メインＣＰＵ、２５０ 記憶媒体Ｉ／Ｆ、２６０ ユーザＩ／Ｆ、２７０ 画像表示部、３００ 撮像装置

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】