特許 7542999 処理装置、撮像装置、撮像システム、及び処理方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-08-23

(45)【発行日】2024-09-02

(54)【発明の名称】処理装置、撮像装置、撮像システム、及び処理方法

(51)【国際特許分類】

   H04N 23/60 20230101AFI20240826BHJP

   G03B 11/00 20210101ALI20240826BHJP

   G03B 15/00 20210101ALI20240826BHJP

   G03B 35/08 20210101ALI20240826BHJP

   G06T 5/50 20060101ALI20240826BHJP

   H04N 23/55 20230101ALI20240826BHJP

【ＦＩ】

H04N23/60 500

G03B11/00

G03B15/00 B

G03B35/08

G06T5/50

H04N23/55

【請求項の数】 10

(21)【出願番号】P 2020097907

(22)【出願日】2020-06-04

(65)【公開番号】P2021190967

(43)【公開日】2021-12-13

【審査請求日】2023-05-30

(73)【特許権者】

【識別番号】000001007

【氏名又は名称】キヤノン株式会社

(74)【代理人】

【識別番号】100110412

【弁理士】

【氏名又は名称】藤元 亮輔

(74)【代理人】

【識別番号】100104628

【弁理士】

【氏名又は名称】水本 敦也

(74)【代理人】

【識別番号】100121614

【弁理士】

【氏名又は名称】平山 倫也

(72)【発明者】

【氏名】中村 翼

【審査官】彦田 克文

(56)【参考文献】

【文献】特許第５９１０７３９（ＪＰ，Ｂ２）

【文献】特開２００４－３４４５８３（ＪＰ，Ａ）

【文献】特表２０１５－５０２５２３（ＪＰ，Ａ）

【文献】特開２００９－０３３２２２（ＪＰ，Ａ）

【文献】特開２０１９－０２０９５１（ＪＰ，Ａ）

【文献】特開２０２０－０６４１６４（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ２３／６０

Ｇ０３Ｂ １５／００

Ｇ０３Ｂ ３５／０８

Ｇ０３Ｂ １１／００

Ｇ０６Ｔ ５／５０

Ｈ０４Ｎ ２３／５５

(57)【特許請求の範囲】

【請求項1】

複数のレンズ部により撮像素子の撮像面に形成された複数の被写体像に基づく複数の画像を合成することで合成画像を生成する処理装置であって、
前記撮像面内の第一座標系を前記合成画像内の第二座標系に変換するための変換情報を取得する取得部と、
前記変換情報を用いて前記合成画像を生成する処理部とを有し、
前記変換情報は、前記複数の被写体像の夫々の前記第一座標系における位置に関する情報、該位置と前記複数の画像の夫々の前記第二座標系における位置との対応関係に関する情報、及び前記複数の被写体像を補正するための補正関数に基づいて生成されることを特徴とする処理装置。

【請求項2】

前記取得部は、前記複数の画像の夫々における輝度分布を補正するための補正情報を取得し、
前記処理部は、前記補正情報を用いて前記複数の画像の夫々を補正することを特徴とする請求項１に記載の処理装置。

【請求項3】

前記変換情報を保持する記録部を更に有することを特徴とする請求項１又は２に記載の処理装置。

【請求項4】

請求項１乃至３の何れか一項に記載の処理装置と、
前記複数の画像を生成する撮像素子とを有することを特徴とする撮像装置。

【請求項5】

請求項４に記載の撮像装置と、
複数のレンズ部を備える光学系とを有することを特徴とする撮像システム。

【請求項6】

前記光学系は、夫々が前記複数のレンズ部の光軸上に配置され、互いに異なる透過特性を有する複数のフィルタを備えることを特徴とする請求項５に記載の撮像システム。

【請求項7】

前記補正関数は、前記複数の被写体像の夫々の倍率色収差による変形成分を含む関数、及び基準波長における前記複数の被写体像の夫々の歪曲成分を含む関数を備えることを特徴とする請求項６に記載の撮像システム。

【請求項8】

前記光学系は、前記複数のレンズ部の被写体側に配置された主光学系を備えることを特徴とする請求項５乃至７の何れか一項に記載の撮像システム。

【請求項9】

前記補正関数は、前記複数の被写体像の夫々の画角成分を含む関数、及び前記主光学系の光軸と前記複数のレンズ部の夫々の光軸とのずれ量の成分を含む関数を備えることを特徴とする請求項８に記載の撮像システム。

【請求項10】

複数のレンズ部により撮像素子の撮像面に形成された複数の被写体像に基づく複数の画像を合成することで合成画像を生成する処理装置の処理方法であって、
前記撮像面内の第一座標系を前記合成画像内の第二座標系に変換するための変換情報を取得するステップと、
前記変換情報を用いて前記合成画像を生成するステップとを有し、
前記変換情報は、前記複数の被写体像の夫々の前記第一座標系における位置に関する情報、該位置と前記複数の画像の夫々の前記第二座標系における位置との対応関係に関する情報、及び前記複数の被写体像を補正するための補正関数に基づいて生成されることを特徴とする処理方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、処理装置、撮像装置、撮像システム、及び処理方法に関する。

【背景技術】

【0002】

従来、複数のレンズによって同一の物体（被写体）の複数の像を形成する光学系を用いて互いに異なる複数の画像を一回の撮影で取得すると共に、取得した複数の画像を積層する（重ねる）ことで合成画像を生成する方法が知られている。特許文献１には、対物レンズの後段にフィルタアレイとレンズアレイを配置し、マルチバンド画像を生成するための複数の画像を、共通の撮像素子で同時に取得可能な撮像装置が開示されている。

【先行技術文献】

【特許文献】

【0003】

【文献】特許第５９１０７３９号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、特許文献１の撮像装置では、レンズアレイ内の複数のレンズ部は互いに異なる波長の光を結像するため、複数の分光像に基づく複数の分光画像には歪みが発生し、結果として複数の分光画像間には位置情報のずれが生じる。位置情報のずれが生じている複数の分光画像を積層することで生成されるマルチバンド画像を用いて分光解析を行っても適切な結果を得ることはできない。

【0005】

本発明は、良好な合成画像を生成可能な処理装置、撮像装置、撮像システム、及び処理方法を提供することを目的とする。

【課題を解決するための手段】

【0006】

本発明の一側面としての処理装置は、複数のレンズ部により撮像素子の撮像面に形成された複数の被写体像に基づく複数の画像を合成することで合成画像を生成する処理装置であって、撮像面内の第一座標系を合成画像内の第二座標系に変換するための変換情報を取得する取得部と、変換情報を用いて合成画像を生成する処理部とを有し、変換情報は、複数の被写体像の夫々の第一座標系における位置に関する情報、該位置と複数の画像の夫々の第二座標系における位置との対応関係に関する情報、及び複数の被写体像を補正するための補正関数に基づいて生成されることを特徴とする。

【0007】

また、本発明の他の側面としての処理方法は、複数のレンズ部により撮像素子の撮像面に形成された複数の被写体像に基づく複数の画像を合成することで合成画像を生成する処理装置の処理方法であって、撮像面内の第一座標系を合成画像内の第二座標系に変換するための変換情報を取得するステップと、変換情報を用いて合成画像を生成するステップとを有し、変換情報は、複数の被写体像の夫々の第一座標系における位置に関する情報、該位置と複数の画像の夫々の第二座標系における位置との対応関係に関する情報、及び複数の被写体像を補正するための補正関数に基づいて生成されることを特徴とする。

【発明の効果】

【0008】

本発明によれば、良好な合成画像を生成可能な処理装置、撮像装置、撮像システム、及び処理方法を提供することができる。

【図面の簡単な説明】

【0009】

【図1】実施例１の撮像システムの模式図である。

【図2】実施例１の歪曲補正方法の説明図である。

【図3】マルチバンド画像のデータ構造を示す模式図である。

【図4】実施例１の取得した画像をマルチバンド画像に変換する方法を示すフローチャートである。

【図5】実施例３の撮像システムの模式図である。

【図6】偏心歪曲収差の説明図である。

【発明を実施するための形態】

【0010】

以下、本発明の好ましい実施形態について図面を参照しながら説明する。各図面において、同一の部材については同一の参照番号を付し、重複する説明を省略する。なお、各図は、便宜的に実際とは異なる縮尺で描かれている場合がある。

【実施例1】

【0011】

図１は、本実施例の撮像システムの模式図である。図１（ａ）は撮像システムの側面図、図１（ｂ）は被写体側から見た撮像システムの正面図を示している。撮像システムは、光学系、撮像センサ（撮像素子）ＳＳ、及び処理手段１００を有する。光学系は、フィルタアレイＦＡ（図１（ｂ）では省略されている）、及びレンズアレイＬＡを備える。なお、撮像システムは、光学系を備える光学装置、及び撮像センサＳＳと処理手段１００とを備え、光学装置が装着される撮像装置から構成されてもよい。

【0012】

処理手段１００は、図１（ｃ）に示されるように、取得部１００ａと処理部１００ｂとを備える。また、処理部１００は、取得部１００ａが取得した情報や、処理部１００ｂによって生成（処理）された情報を保持するための記録部（不図示）を備えていてもよい。処理手段１００は、本実施例では撮像システム内に搭載されているが、撮像システムとは別の処理装置として構成されていてもよい。また、処理部１００は、撮像装置内に搭載されていてもよいし、光学装置内に搭載されていてもよい。

【0013】

レンズアレイＬＡは、２×２配列のレンズ部（結像部）ＭＬ１１，ＭＬ１２，ＭＬ２１，ＭＬ２２を備える。本実施例では、説明を簡単にするためにレンズアレイＬＡ内のレンズ部の配列を２×２としているが、本発明はこれに限定されない。また、複数のレンズがアレイ状に配置されていてもレンズアレイＬＡと同様の機能を有する。

【0014】

各レンズ部は撮像センサＳＳに焦点が合うように配置されているので、撮像センサＳＳの撮像面にはレンズ部の数だけ同一の被写体の像が結像（形成）される。複数の被写体像はレンズ部の配置にならってタイル状に結像されるため、以下の説明ではレンズ部により結像される像を「タイル像」と呼ぶ。タイル像は、対応するレンズ部の光軸と撮像センサＳＳとの交点を中心位置として展開されている。

【0015】

フィルタアレイＦＡは、夫々が対応するレンズ部の光軸上に配置され、互いに異なる透過特性を有する複数のバンドパスフィルタを備える。複数のバンドパスフィルタの透過特性を互いに異ならせることで、撮像面上には同一の被写体の、互いに異なる波長の光からなる複数のタイル像が展開される。すなわち、本実施例の撮像システムは、一括で（同時に）複数の分光像を取得可能である。タイル像の数（バンド数）はバンドパスフィルタ及びレンズ部の数に比例するため、必要なバンド数に合わせてバンドパスフィルタ及びレンズ部の数を増減させればよい。

【0016】

処理部１００は、撮像センサＳＳから取得した複数のタイル像に基づく複数の画像（分光画像）を仮想的に積層する（重ねる、合成する）ことでマルチバンド画像（合成画像）を生成する。通常のカメラで取得されるカラー画像は、異なる色（分光波長）情報を含む３層（Ｒ，Ｇ，Ｂ）の分光画像（２次元輝度マップ）を積層することで生成される。一方、マルチバンド画像は、３層より多い層の分光画像を積層することで生成される。層方向（波長方向）の間隔（分光波長の刻み）が波長分解能、層の数（波長の全幅）が波長レンジに相当する。データ構造にもよるが、分光波長の刻みが等間隔で、分光画像が分光波長の降順又は昇順に配置されているほうが解析時に利用しやすい。なお、重要な分光波長の分光画像をデータの前方に配置して解析を高速化してもよいし、分光波長の刻みが不等間隔であってもよい。

【0017】

タイル像の中心位置に関する情報（中心位置情報）と分光波長情報（マルチバンド画像における分光画像の層位置）との対応関係に関する情報があれば、波長順に積層されたマルチバンド画像を生成できる。本実施例では、中心位置情報と分光波長情報との対応関係に関する情報が積層情報として保持される。

【0018】

なお、図１（ａ）の構成では、被写体距離によってはレンズアレイＬＡのフォーカスが必要になる場合がある。図１（ｄ）は、撮像システムの変形例を示している。図１（ｃ）では、レンズアレイＬＡより被写体側にフォーカス用の口径の大きいレンズＬ１が配置されている。レンズＬ１の射出瞳がレンズアレイＬＡの全レンズ部の入射瞳を含んでいれば、光学系の結像関係は保たれる。このような条件が満たされていれば、特に至近物体を撮像する場合にレンズアレイＬＡを撮像センサＳＳに対して固定した状態で焦点距離の短いレンズを配置するだけで合焦できる。

【0019】

ここで、レンズ部の歪曲収差について説明する。複数のレンズ部が同一設計である場合、複数のレンズ部が互いに異なるバンドパスフィルタを透過した光を結像すると、各像に色収差が発生する。色収差のうち特に倍率色収差は、夫々のタイル像で比較した場合に、像高が伸縮したように観測される。すなわち、タイル像で見たときの倍率色収差は歪曲収差のように観測され、画像処理（画像補正）では倍率色収差と歪曲収差を区別できないため、（２次元の）分光撮像における倍率色収差は歪曲収差と合わせて単に歪曲として取り扱われる。撮像センサＳＳで取得した複数の分光画像を単純に積層するだけでもマルチバンド画像を生成することはできるが、タイル像ごとの歪曲が存在することで、分光画像間には位置情報のずれが生じている。このずれはマルチバンド画像の上で色ずれのように見え、マルチバンド画像の画質の低下の原因となる。そのため、マルチバンド画像を分光解析に使用しても適切な結果を得ることはできない。

【0020】

以下、歪曲収差を補正する方法について説明する。図２は、本実施例の歪曲補正方法の説明図である。図２（ａ）は、格子状に格子点（円）が配置された歪曲補正用のチャート（以下、格子チャート）を示している。図２（ｂ）は、本実施例の撮像システムで格子チャートを撮影した場合に撮像面上に結像されるタイル像の模式図である。

【0021】

図２（ｂ）に示されるように、レンズ部ＭＬ１１，ＭＬ１２，ＭＬ２１，ＭＬ２２に対応するタイル像は夫々、撮像面上の破線で示される区画Ｔ１１，Ｔ１２，Ｔ２１，Ｔ２２に結像されている。わかりやすくするため、歪曲量は大き目に表現され、格子チャート像内の格子点を線で結んでいる。また、タイル像の中心位置を記号Ｘで示している。格子チャートを用いた歪曲補正は、格子チャート像内の格子点の位置が直交に戻る補正関数と係数の組を探すことで実現される。本実施例では、タイル像の歪曲を補正するために、撮像センサＳＳで取得される全体像からタイル像を分割し、タイル像の中心位置を基準とした座標系で補正関数と係数の組を生成する。補正関数と係数の組はタイル像の数だけ生成される。補正関数と係数によって得られる情報（配列）は、歪曲を含むタイル像内の元の座標がどの座標に補正されるべきかを表している。タイル像の番号（タイル番号）をｔ、撮像面内のセンサ座標系（第一座標系）におけるタイル像の位置に関する情報をＸ_ｔ、センサ座標系におけるタイル像の中心位置に関する情報をＸ_ｃｔ、タイル像を補正するための補正関数（係数を含む）をＦ_ｔとするとき、タイル像内のタイル座標系における補正後のタイル像の位置に関する情報Ｙ_ｔは以下の式（１）で表される。

【0022】

Ｙ_ｔ＝Ｆ_ｔ（Ｘ_ｔ－Ｘ_ｃｔ） （１）
事前のキャリブレーションによってタイル像の中心位置に関する情報Ｘ_ｃｔと補正関数Ｆ_ｔが得られれば、補正後のタイル像の位置に関する情報Ｙ_ｔを取得できる。以降の撮影では、補正後のタイル像の位置に関する情報Ｙ_ｔを基に、タイル像ごとに歪曲補正を実施し、補正後のタイル像に基づく画像を積層することでマルチバンド画像が生成される。しかしながら、タイル像の数に比例してタイル像の分割及び歪曲補正の演算回数が増加するため、マルチバンド画像の生成速度が低下してしまう。マルチバンド画像を用いて動画を生成する場合に１枚のマルチバンド画像（１フレーム）の生成速度が低下すると、フレームレートが低下してしまう。

【0023】

以下、タイル像の数が増加してもマルチバンド画像の生成速度の低下を抑制する歪曲補正方法について説明する。図３は、マルチバンド画像のデータ構造を示す模式図である。２次元のタイル像に基づく画像を波長順に積層すると、マルチバンド画像は図３（ａ）に示されるように分光画像を表すためのｘ軸とｙ軸に、波長を表すためのλ軸を加えた３次元データ構造で表現できる。以降、このような３次元データ構造を「データキューブ」と呼ぶ。図３（ａ）は、理想的なデータキューブを示している。図３（ａ）のデータキューブでは、歪曲などが充分補正され、位置情報がそろっている。マルチバンド画像の各ピクセル値（輝度）は、３次元座標格子点上に離散的に存在する。これはｘ軸、ｙ軸、λ軸のいずれでも同様であり、分割数（解像度）だけが異なっていると解釈できる。

【0024】

前述した式（１）は、センサ座標系におけるタイル像の位置に関する情報Ｘ_ｔをタイル座標系における補正後のタイル像の位置に関する情報Ｙ_ｔに変換するための演算式である。式（１）において、補正関数Ｆ_ｔは補正係数に相当し、センサ座標系におけるタイル像の中心位置の位置に関する情報Ｘ_ｃｔはオフセットに相当する。図３（ｂ）及び図３（ｃ）は夫々、補正前及び補正後のタイル像を示している。補正後のタイル像に基づく画像が波長順に積層されることで、マルチバンド画像が生成される。内部処理としては補正後のタイル像に基づく画像上の全ピクセルを３次元画像上にマッピングしていることに相当する。このマッピングは、式（１）におけるタイル番号ｔとλ軸上の座標（層位置）との対応情報があれば実現できる。これらを総合すると、補正関数が決定した段階で撮像面上の各ピクセル値の行先（データキューブ上のアドレス）は決定していることになる。このとき、センサ座標系におけるタイル像の位置に関する情報をＸ、センサ座標系におけるタイル像の中心位置に関する情報をＸ_ｃ、タイル像の歪曲補正（座標変換）を表す行列をＦ、タイル座標系をマルチバンド画像内のデータキューブ座標系（第二座標系）に変換するための行列をＧとするとき、データキューブ座標系における位置に関する情報Ｚは以下の式（２）で表される。

【0025】

Ｚ＝ＧＦ（Ｘ－Ｘ_ｃ） （２）
式（２）により、タイル番号ｔを使用せずに、センサ座標系におけるタイル像の位置に関する情報Ｘを、データキューブ座標系における位置に関する情報Ｚに変換可能である。また、行列Ｆ，Ｇは線形変換行列であるので、これらをまとめて一つのセンサ座標系をデータキューブ座標系に変換するための行列Ｈ（変換情報）とすれば、式（２）を以下の式（３）で表すことができる。

【0026】

Ｚ＝Ｈ（Ｘ－Ｘ_ｃ） （３）
式（３）を用いることで、一回の演算で取得した画像をタイル像に分割してデータキューブ上に展開することができる。また、センサ座標系に対する演算だけが必要となるため、タイル像の増減に影響されずに計算量が一定である。キャリブレーション時に生成された行列Ｈと情報Ｘｃを取得する、又は情報Ｘ，Ｚを取得することで、取得された画像を高速にマルチバンド画像に変換可能である。なお、上記演算は線形変換であるので、並列計算器（ＧＰＵやＦＰＧＡ）への組み込みも容易である。

【0027】

図４は、本実施例の取得した画像をマルチバンド画像に変換する方法を示すフローチャートである。

【0028】

ステップＳ１０１では、処理手段１００（取得部１００ａ）は、撮像センサＳＳから格子チャート像を撮像した画像を取得する。本実施例では、図２（ａ）の格子チャートを使用する。

【0029】

ステップＳ１０２では、処理部１００（取得部１００ａ）は、センサ座標系における格子チャートの格子点の位置に関する情報を取得する。格子点の位置に関する情報は、歪曲情報である。本実施例では、格子点に円が配置されているが、歪曲情報が取得できればその種類は問わない。ハフ変換などを用いれば比較的高速に円の座標を取得することができる。

【0030】

ステップＳ１０３では、処理部１００（取得部１００ａ）は、センサ座標系におけるタイル像の中心位置に関する情報を取得する。処理部１００は、タイル像の中心位置に関する情報を区分ごとの格子点の位置に関する情報を用いて算出してもよいし、別の手段から取得してもよい。また、格子チャートを各タイル像の画角一杯になるように撮影しておき、格子チャートの中心の座標をタイル像の中心位置に関する情報として代用してもよい。本実施例では、９×９の格子点からなる格子チャートを用いているので、中心の格子点の座標を利用する。

【0031】

ステップＳ１０４では、処理部１００（取得部１００ａ）は、センサ座標系におけるタイル像の中心位置に関する情報と分光波長情報（マルチバンド画像における分光画像の層位置）との対応関係に関する情報である積層情報を取得する。

【0032】

ステップＳ１０５では、処理部１００（取得部１００ａ）は、タイル像を補正するための補正関数（係数を含む）を取得する。

【0033】

ステップＳ１０６では、処理部１００（取得部１００ａ）は、センサ座標系におけるタイル像の中心位置に関する情報、積層情報、及び補正関数に基づいて生成された、センサ座標系をデータキューブ座標系に変換するための変換情報である行列Ｈを取得する。なお、処理部１００ｂが行列Ｈを生成してもよい。

【0034】

ステップＳ１０７では、処理部１００（処理部１００ｂ）は、撮像素子ＳＳから取得した被写体像、及び行列Ｈを用いてマルチバンド画像を生成する。

【0035】

光学系の歪曲情報は、本実施例では格子チャートを実機で撮影することで取得されるが、シミュレーションや設計値を用いて取得してもよい。また、光学系の製造誤差を充分低減できる場合、タイル像ごとに計算された歪曲マップをタイル像ごとの格子点の位置に関する情報として使用してもよい。また、センサ座標系におけるタイル像の中心位置に関する情報を精度よく取得できているのであれば、レンズ部の光学設計値から生成した情報を、タイル座標系における格子点の位置に関する情報として使用してもよい。

【0036】

以上説明したように、本実施例の構成によれば、良好な合成画像（マルチバンド画像）を高速に取得することができる。

【実施例2】

【0037】

本実施例の撮像システムの基本構成は、実施例１と同様である。本実施例では、実施例１と差分のみについて説明する。

【0038】

本実施例の構成では、被写体像周辺の輝度低下に対する補正、所謂、シェーディング補正も同時に実施される。本実施例では、光学系のヴィネッティングや、撮像センサＳＳの光線入射角に対する感度特性だけでなく、バンドパスフィルタへの入射角に対する透過特性なども総合してシェーディング補正が行われる。

【0039】

最も簡単なシェーディング補正は、全面で白色の被写体を撮影し、各タイル像の面内輝度分布が一定になるように逆算された輝度補正マップ（補正情報）を生成する方法である。本実施例では、異なる種類のバンドパスフィルタからなるフィルタアレイＦＡを用いているので、ここでの白色とは、使用波長全域にわたって白色（反射率が使用波長内で一定）であることが望ましい。輝度補正マップはタイル像ごとに分割せず、センサ座標系のまま使用してもよい。式（３）を用いて、ピクセル値を座標変換する際に、輝度補正マップも同時に座標変換することで、シェーディング補正も同時に実施できる。なお、歪曲補正（座標変換）を実施する前に、あらかじめ撮像センサＳＳから取得した全体画像に対して輝度補正マップを用いてシェーディング補正を実施してもよい。この方法では単純な掛け算が行われるだけであるため、計算負荷は小さく、またタイル像の増減にも影響されない。

【0040】

以上説明したように、本実施例の構成によれば、実施例１の効果に加え、高速にシェーディング補正を実施することができる。

【実施例3】

【0041】

実施例１ではレンズアレイで発生する色収差を補正する方法について説明したが、本実施例では異なる収差を補正する方法について説明する。

【0042】

図６は、本実施例の撮像システムの模式図である。撮像システムは、光学系、撮像センサＳＳ、及び処理部１００を有する。光学系は、レンズＬ１、フィルタアレイＦＡ（図５では説明を簡単にするために省略されている）、及びレンズアレイＬＡを備える。

【0043】

レンズアレイＬＡの被写体側にレンズＬ１のような共通の光学系（以降、「主光学系」と呼ぶ）を配置した場合、レンズアレイＬＡ内のレンズ部の各光軸（図５ではＡＸ１，ＡＸ２で記載）は主光学系の光軸（主光軸）ＡＸ０に対し相対的にずれている。このため、レンズアレイＬＡ内の多くのレンズ部には、主光軸ＡＸ０からの距離と方向に応じて夫々異なる偏心歪曲収差が発生する。タイル像ごとに異なる偏心歪曲を補正しようとすると、タイル像内全ての位置に関する情報において変位を計算しないといけないので計算負荷も大きくなり、更に歪曲後の位置に関する情報を保持しないといけないのでメモリも多く消費する。

【0044】

本実施例では、幾何光学の観点から、データ量の削減を実現する。レンズ部の主光軸ＡＸ０からの垂直方向のずれ量（偏心成分）をベクトルと考え「偏心量ε」とする。偏心量εが０であるとき、つまりレンズ部の光軸が主光軸ＡＸ０上にあるとき、レンズ部により結像されるタイル像の歪曲は光軸対称となるので補正関数を画角ωの１変数だけで記述できる。偏心量εが０であるときのレンズ部により結像されるタイル像の歪曲を「基準歪曲」と呼ぶ。

【0045】

偏心歪曲収差は、偏心量εと画角ωの二乗との積に比例することが知られている。図６は、偏心歪曲収差の説明図である。図６では、変位量が誇張されて描かれている。偏心量εによって決まる量と方位で像が変形（偏心歪曲）する。変形量の大きさは、係数で表現できる。これらを総合すると、偏心位置に配置されたレンズ部により結像されるタイル像のトータルの歪曲は、基準歪曲の成分と偏心歪曲の成分との掛け合わせで近似することができる。タイル番号をｉ、センサ座標系におけるタイル像内の補正後の位置に関する情報をｘ_ｉ，ｙ_ｉ、タイル像内の画角をω_ｉ、タイル像に対応するレンズ部の主光軸からの偏心量をε_ｉ、基準歪曲成分（画角成分）を含む関数をｆ_１、偏心歪曲成分（ずれ量の成分）を含む関数をｆ_２とするとき、タイル像の補正関数ｆ_ｄｉは以下の式（４）で表される。

【0046】

ｆ_ｄｉ（ｘ_ｉ，ｙ_ｉ）＝ｆ_１（ω_ｉ）×ｆ_２（ε_ｉ） （４）
関数ｆ１，ｆ２に適した係数を逆算して割り当てれば、タイル像の偏心歪曲に対する補正関数を生成することができる。このように、基準歪曲の補正量を画角ωの１次元データとしてあらかじめ計算、保持しておき、タイル像の歪曲補正量については簡単な演算で生成可能である。

【0047】

以上説明したように、本実施例の構成によれば、少ないデータ量で偏心歪曲を補正することができる。

【実施例4】

【0048】

実施例１で説明したように、レンズアレイＬＡ内のレンズ部で発生する倍率色収差は、画像処理上、歪曲としてまとめて扱うことが可能であるので、歪曲補正と同様の関数で補正可能である。倍率色収差は一般に、基準波長の像高との差分で表現される。これに倣い、任意のタイル像が基準波長で結像する場合の、タイル像の基準波長における歪曲成分を表す関数ｆ_ｃｉを基準として、分光波長の倍率色収差による歪曲成分を表す関数ｆ_３として分解してやればよい。センサ座標系におけるタイル像内の補正後の位置に関する情報をｘ_０ｉ，ｙ_０ｉ、基準波長をλ_０、タイル像の結像波長をλ_ｉ、分光波長の倍率色収差による歪曲成分（変形成分）を含む関数をｆ_３とするとき、タイル像の補正関数ｆ_ｄｉは以下の式（５）で表される。

【0049】

ｆ_ｉ（ｘ_ｉ，ｙ_ｉ）＝ｆ_ｃｉ（ｘ_０ｉ，ｙ_０ｉ，λ_０）×ｆ_３（λ_ｉ） （５）
倍率色収差による歪曲成分は実施例３の偏心歪曲収差とは独立して取り扱うことができるので、実施例３と組み合わせてタイル像の補正関数ｆ_ｄｉは以下の式（６）で表される。

【0050】

ｆ_ｉ（ｘ_ｉ，ｙ_ｉ）＝ｆ_１（ω_ｉ）×ｆ_２（ε_ｉ）×ｆ_３（λ_ｉ） （６）
以上説明したように、本実施例の構成によれば、少ないデータ量で倍率色収差を補正すことができる。

【0051】

なお、各実施例ではフィルタアレイＦＡを設置することで発生する歪曲収差を補正する場合について説明したが、本発明はレンズアレイＬＡを設置することで発生する歪曲収差を補正する場合にも適用可能である。例えば、レンズアレイＬＡ内のレンズ部が夫々異なる設計で作製されている場合、複数のタイル像で発生する歪曲収差も夫々異なる。
［その他の実施例］
本発明は、上述の実施例の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

【0052】

以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

【符号の説明】

【0053】

ＭＬ１１，ＭＬ１２，ＭＬ２１，ＭＬ２２ レンズ部
ＳＳ 撮像センサ（撮像素子）
１００ 処理部（処理装置）
１００ａ 取得部
１００ｂ 処理部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】