特許 7375746 撮像素子、撮像装置、並びに、情報処理方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-10-30

(45)【発行日】2023-11-08

(54)【発明の名称】撮像素子、撮像装置、並びに、情報処理方法

(51)【国際特許分類】

   H04N 25/70 20230101AFI20231031BHJP

   G02B 5/20 20060101ALI20231031BHJP

   H01L 27/146 20060101ALI20231031BHJP

【ＦＩ】

H04N25/70

G02B5/20 101

H01L27/146 A

H01L27/146 D

【請求項の数】 25

(21)【出願番号】P 2020510867

(86)(22)【出願日】2019-03-26

(86)【国際出願番号】 JP2019012722

(87)【国際公開番号】W WO2019189099

(87)【国際公開日】2019-10-03

【審査請求日】2022-02-04

(31)【優先権主張番号】P 2018057581

(32)【優先日】2018-03-26

(33)【優先権主張国・地域又は機関】JP

(73)【特許権者】

【識別番号】000002185

【氏名又は名称】ソニーグループ株式会社

(74)【代理人】

【識別番号】100121131

【弁理士】

【氏名又は名称】西川 孝

(74)【代理人】

【識別番号】100082131

【弁理士】

【氏名又は名称】稲本 義雄

(74)【代理人】

【識別番号】100168686

【弁理士】

【氏名又は名称】三浦 勇介

(72)【発明者】

【氏名】宮谷 佳孝

【審査官】橘 高志

(56)【参考文献】

【文献】国際公開第２０１８／０１２４９２（ＷＯ，Ａ１）

【文献】特開２０１４－０２６０６２（ＪＰ，Ａ）

【文献】米国特許出願公開第２００４／０２１８７１４（ＵＳ，Ａ１）

【文献】米国特許出願公開第２０１４／０２６７８１８（ＵＳ，Ａ１）

【文献】米国特許出願公開第２０１５／０２１９８０８（ＵＳ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ２５／７０

Ｇ０２Ｂ ５／２０

Ｈ０１Ｌ ２７／１４６

(57)【特許請求の範囲】

【請求項1】

撮像レンズおよびピンホールのいずれも介さずに入射する入射光に対する入射角指向性を独立に設定可能な構成を有する複数の画素出力単位を備え、
前記複数の画素出力単位は、
行列状に配置され、少なくとも１部の画素出力単位が、前記行列の行方向及び列方向の双方に前記入射角指向性を有する複数の画像復元用画素出力単位と、
前記行列の行方向にのみまたは前記行列の列方向にのみ前記入射角指向性を有し、前記画像復元用画素出力単位が形成される領域である有効画素領域以外の領域に形成される一方向指向性画素出力単位と
を含む撮像素子。

【請求項2】

前記一方向指向性画素出力単位は、前記有効画素領域の外側にある外部領域に形成される
請求項１に記載の撮像素子。

【請求項3】

長方形状の前記有効画素領域の前記行列の行方向の外側にある前記外部領域に、前記行列の列方向にのみ前記入射角指向性を有する前記一方向指向性画素出力単位が形成される
請求項２に記載の撮像素子。

【請求項4】

長方形状の前記有効画素領域の前記行列の列方向の外側にある前記外部領域に、前記行列の行方向にのみ前記入射角指向性を有する前記一方向指向性画素出力単位が形成される
請求項２に記載の撮像素子。

【請求項5】

前記有効画素領域に形成される複数の前記画像復元用画素出力単位の少なくとも１つは、前記行列の行方向および列方向のそれぞれについて、前記外部領域に形成される複数の前記一方向指向性画素出力単位の少なくとも１つと同一の前記入射角指向性を有する
請求項２に記載の撮像素子。

【請求項6】

前記行列の各行の少なくとも１つの前記画像復元用画素出力単位は、前記外部領域の、その行と同一の行に設けられた少なくとも１つの前記一方向指向性画素出力単位と同一の、前記行列の列方向の前記入射角指向性を有する
請求項５に記載の撮像素子。

【請求項7】

前記行列の各列の少なくとも１つの前記画像復元用画素出力単位は、前記外部領域の、その列と同一の列に設けられた少なくとも１つの前記一方向指向性画素出力単位と同一の、前記行列の行方向の前記入射角指向性を有する
請求項５に記載の撮像素子。

【請求項8】

前記行列の各行の少なくとも１つの前記画像復元用画素出力単位は、前記外部領域の、その行と異なる他の行に設けられた少なくとも１つの前記一方向指向性画素出力単位と同一の、前記行列の列方向の前記入射角指向性を有する
請求項５に記載の撮像素子。

【請求項9】

前記行列の各列の少なくとも１つの前記画像復元用画素出力単位は、前記外部領域の、その列と異なる他の列に設けられた少なくとも１つの前記一方向指向性画素出力単位と同一の、前記行列の行方向の前記入射角指向性を有する
請求項５に記載の撮像素子。

【請求項10】

前記有効画素領域に形成される全ての前記画像復元用画素出力単位は、前記行列の行方向および列方向のそれぞれについて、前記外部領域に形成される複数の前記一方向指向性画素出力単位の少なくとも１つと同一の前記入射角指向性を有する
請求項５に記載の撮像素子。

【請求項11】

前記有効画素領域に形成される複数の前記画像復元用画素出力単位の内の一部の前記画像復元用画素出力単位は、前記行列の行方向および列方向のそれぞれについて、前記外部領域に形成される複数の前記一方向指向性画素出力単位の少なくとも１つと同一の前記入射角指向性を有する
請求項５に記載の撮像素子。

【請求項12】

前記有効画素領域に形成される前記一部の画像復元用画素出力単位以外の他の画像復元用画素出力単位の、前記行列の行方向および列方向のそれぞれの前記入射角指向性は、前記外部領域に形成される前記一方向指向性画素出力単位の入射角指向性に基づいて推定し得る
請求項１１に記載の撮像素子。

【請求項13】

前記一方向指向性画素出力単位および前記画像復元用画素出力単位の少なくともいずれか一方は、前記入射角指向性の所定の規則性に基づく並び順で配置される
請求項２に記載の撮像素子。

【請求項14】

前記入射角指向性を前記画素出力単位毎に独立に設定可能な構成は、遮光膜によって構成される
請求項１に記載の撮像素子。

【請求項15】

前記一方向指向性画素出力単位を用いて生成される前記画像復元用画素出力単位の前記入射角指向性の較正に関する情報である較正情報を用いて、前記画像復元用画素出力単位において得られる検出画像から復元画像を生成する際に用いられる復元行列を生成する生成部をさらに備える
請求項１に記載の撮像素子。

【請求項16】

前記生成部により生成された前記復元行列を記憶する復元行列記憶部をさらに備える
請求項１５に記載の撮像素子。

【請求項17】

撮像レンズおよびピンホールのいずれも介さずに入射する入射光に対する入射角指向性を独立に設定可能な構成を有する複数の画素出力単位を備え、
前記複数の画素出力単位は、
行列状に配置され、少なくとも１部の画素出力単位が、前記行列の行方向及び列方向の双方に前記入射角指向性を有する複数の画像復元用画素出力単位と、
前記行列の行方向にのみまたは前記行列の列方向にのみ前記入射角指向性を有する一方向指向性画素出力単位と
を含む撮像素子と、
前記一方向指向性画素出力単位の出力を用いて、前記複数の画像復元用画素出力単位の出力である検出画像から復元画像を生成する際に用いられる復元行列を生成する生成部と
を備える撮像装置。

【請求項18】

前記生成部は、前記一方向指向性画素出力単位の出力を用いて生成される情報であって、前記画像復元用画素出力単位の前記入射角指向性の較正に関する情報である較正情報を用いて、前記復元行列を生成する
請求項１７に記載の撮像装置。

【請求項19】

撮像レンズおよびピンホールのいずれも介さずに入射する入射光に対する入射角指向性を独立に設定可能な構成を有する複数の画素出力単位を備え、
前記複数の画素出力単位は、
行列状に配置され、少なくとも１部の画素出力単位が、前記行列の行方向及び列方向の双方に前記入射角指向性を有する複数の画像復元用画素出力単位と、
前記行列の行方向にのみまたは前記行列の列方向にのみ前記入射角指向性を有する一方向指向性画素出力単位と
を含む撮像素子の、
前記一方向指向性画素出力単位からの出力を用いて、前記複数の画像復元用画素出力単位の出力である検出画像から復元画像を生成する際に用いられる復元行列を生成する
情報処理方法。

【請求項20】

前記復元行列を生成する工程では、前記一方向指向性画素出力単位からの出力を用いて生成される較正情報を用いて、前記復元行列を生成する
請求項１９に記載の情報処理方法。

【請求項21】

前記撮像素子の前記入射角指向性を前記画素出力単位毎に独立に設定可能な構成である遮光膜の位置ずれを計測し、前記遮光膜の位置ずれに関する情報を含む前記較正情報を生成する
請求項２０に記載の情報処理方法。

【請求項22】

前記撮像素子のオンチップレンズの高さのずれを計測し、前記オンチップレンズの高さのずれに関する情報を含む前記較正情報を生成する
請求項２０に記載の情報処理方法。

【請求項23】

前記一方向指向性画素出力単位において、前記入射光の互いに異なる複数の入射角のそれぞれについて検出信号値を計測し、各計測結果を用いて前記較正情報を生成する
請求項２０に記載の情報処理方法。

【請求項24】

前記一方向指向性画素出力単位において、前記入射光の所定の入射角について検出信号値を計測し、その計測の結果と基準値とを用いて前記較正情報を生成する
請求項２０に記載の情報処理方法。

【請求項25】

複数の前記一方向指向性画素出力単位のそれぞれの検出信号値を計測し、その計測の結果の統計値を用いて前記較正情報を生成する
請求項２０に記載の情報処理方法。

【発明の詳細な説明】

【技術分野】

【0001】

本技術は、撮像素子、撮像装置、並びに、情報処理方法に関し、特に、より正確な復元画像を生成することができるようにした撮像素子、撮像装置、並びに、情報処理方法に関する。

【背景技術】

【0002】

従来、撮像素子は、撮像素子に集光する撮像レンズと組み合わせて用いることが一般的である。撮像レンズによって、被写体面からの光を、被写体面の光強度分布を再現するように、撮像素子の各画素に導くことにより、撮像素子は、各画素においてその光強度分布に応じたレベルの検出信号を得ることができ、全体として被写体の撮像画像を得ることができる。

【0003】

しかしながら、この場合、物理的なサイズが大きくなってしまう。そこで、撮像レンズを用いない撮像素子が考えられた（例えば特許文献１乃至特許文献３、並びに非特許文献１参照）。このような撮像素子においては検出画像が生成される。その検出画像と、その撮像素子の特性に応じた復元行列とを用いて、多元１次連立方程式を解く（行列演算を行う）ことにより復元画像が復元される。この復元行列は、例えば撮像素子の設計値等に基づいて生成される。理想的には、正しい復元行列を用いることにより、正しい復元画像を復元することができる。

【先行技術文献】

【特許文献】

【0004】

【文献】国際公開第２０１６／１２３５２９号

【文献】特表２０１６-５１０９１０号公報

【文献】国際公開第２０１８／０１２４９２号

【非特許文献】

【0005】

【文献】M. Salman Asif、他４名、"Flatcam: Replacing lenses with masks and computation"、"2015 IEEE International Conference on Computer Vision Workshop (ICCVW)"、2015年、663-666ページ

【発明の概要】

【発明が解決しようとする課題】

【0006】

しかしながら、実際には、撮像素子の特性は、製造の際に個体差が生じ、設計値とずれるおそれがある。つまり実際の特性に対応しない（ずれた）復元行列を用いて復元画像を復元することにより、正しい復元画像を得ることができないおそれがあった。

【0007】

本開示は、このような状況に鑑みてなされたものであり、より正確な復元画像を生成することができるようにするものである。

【課題を解決するための手段】

【0008】

本技術の一側面の撮像素子は、撮像レンズおよびピンホールのいずれも介さずに入射する入射光に対する入射角指向性を独立に設定可能な構成を有する複数の画素出力単位を備え、前記複数の画素出力単位は、行列状に配置され、少なくとも１部の画素出力単位が、前記行列の行方向及び列方向の双方に前記入射角指向性を有する複数の画像復元用画素出力単位と、前記行列の行方向にのみまたは前記行列の列方向にのみ前記入射角指向性を有し、前記画像復元用画素出力単位が形成される領域である有効画素領域以外の領域に形成される一方向指向性画素出力単位とを含む撮像素子である。

【0009】

本技術の他の側面の撮像装置は、撮像レンズおよびピンホールのいずれも介さずに入射する入射光に対する入射角指向性を独立に設定可能な構成を有する複数の画素出力単位を備え、前記複数の画素出力単位は、行列状に配置され、少なくとも１部の画素出力単位が、前記行列の行方向及び列方向の双方に前記入射角指向性を有する複数の画像復元用画素出力単位と、前記行列の行方向にのみまたは前記行列の列方向にのみ前記入射角指向性を有する一方向指向性画素出力単位とを含む撮像素子と、前記一方向指向性画素出力単位の出力を用いて、前記複数の画像復元用画素出力単位の出力である検出画像から復元画像を生成する際に用いられる復元行列を生成する生成部とを備える撮像装置である。

【0010】

本技術のさらに他の側面の情報処理方法は、撮像レンズおよびピンホールのいずれも介さずに入射する入射光に対する入射角指向性を独立に設定可能な構成を有する複数の画素出力単位を備え、前記複数の画素出力単位は、行列状に配置され、少なくとも１部の画素出力単位が、前記行列の行方向及び列方向の双方に前記入射角指向性を有する複数の画像復元用画素出力単位と、前記行列の行方向にのみまたは前記行列の列方向にのみ前記入射角指向性を有する一方向指向性画素出力単位とを含む撮像素子の、前記一方向指向性画素出力単位からの出力を用いて、前記複数の画像復元用画素出力単位の出力である検出画像から復元画像を生成する際に用いられる復元行列を生成する情報処理方法である。

【0011】

本技術の一側面の撮像素子においては、撮像レンズおよびピンホールのいずれも介さずに入射する入射光に対する入射角指向性を独立に設定可能な構成を有する複数の画素出力単位が備えられ、その複数の画素出力単位は、行列状に配置され、少なくとも１部の画素出力単位には、その行列の行方向及び列方向の双方に入射角指向性を有する複数の画像復元用画素出力単位と、その行列の行方向にのみまたはその行列の列方向にのみ入射角指向性を有し、画像復元用画素出力単位が形成される領域である有効画素領域以外の領域に形成される一方向指向性画素出力単位とが含まれる。

【0012】

本技術の他の側面の撮像装置においては、撮像レンズおよびピンホールのいずれも介さずに入射する入射光に対する入射角指向性を独立に設定可能な構成を有する複数の画素出力単位が備えられ、その複数の画素出力単位に、行列状に配置され、少なくとも１部の画素出力単位が、その行列の行方向及び列方向の双方に入射角指向性を有する複数の画像復元用画素出力単位と、その行列の行方向にのみまたはその行列の列方向にのみ入射角指向性を有する一方向指向性画素出力単位とが含まれる撮像素子と、その一方向指向性画素出力単位の出力を用いて、その複数の画像復元用画素出力単位の出力である検出画像から復元画像を生成する際に用いられる復元行列を生成する生成部とが備えられる。

【0013】

本技術のさらに他の側面の情報処理方法においては、撮像レンズおよびピンホールのいずれも介さずに入射する入射光に対する入射角指向性を独立に設定可能な構成を有する複数の画素出力単位が備えられ、その複数の画素出力単位には、行列状に配置され、少なくとも１部の画素出力単位が、その行列の行方向及び列方向の双方に入射角指向性を有する複数の画像復元用画素出力単位と、その行列の行方向にのみまたはその行列の列方向にのみ入射角指向性を有する一方向指向性画素出力単位とが含まれる撮像素子と、その一方向指向性画素出力単位の出力が用いられて、その複数の画像復元用画素出力単位の出力である検出画像から復元画像を生成する際に用いられる復元行列が生成される。

【発明の効果】

【0014】

本技術によれば、被写体を撮像する、または、情報を処理することができる。また本技術によれば、より正確な復元画像を生成することができる。

【図面の簡単な説明】

【0015】

【図1】本開示の技術を適用した撮像装置における撮像の原理を説明する図である。

【図2】従来の撮像素子と本開示の撮像素子との構成の違いを説明する図である。

【図3】撮像素子の第１の構成例を説明する図である。

【図4】撮像素子の第１の構成例を説明する図である。

【図5】入射角指向性の発生の原理を説明する図である。

【図6】オンチップレンズを利用した入射角指向性の変化を説明する図である。

【図7】入射角指向性の設計を説明する図である。

【図8】被写体距離と入射角指向性を表現する係数との関係を説明する図である。

【図9】狭画角画素と広画角画素との関係を説明する図である。

【図10】狭画角画素と広画角画素との関係を説明する図である。

【図11】狭画角画素と広画角画素との関係を説明する図である。

【図12】変形例を説明する図である。

【図13】変形例を説明する図である。

【図14】変形例を説明する図である。

【図15】変形例を応用して画角を変化させる例を説明する図である。

【図16】変形例を応用して画角を変化させるとき、複数の画角の画素を組み合わせる例を説明する図である。

【図17】変形例を説明する図である。

【図18】変形例を説明する図である。

【図19】変形例を説明する図である。

【図20】遮光膜によるマスクパターンの例を示す図である。

【図21】遮光膜の位置ずれにより生じる誤差の例を説明するための図である。

【図22】オンチップレンズの高さずれにより生じる誤差の例を説明するための図である。

【図23】オンチップレンズの高さずれにより生じる誤差の例を説明するための図である。

【図24】受光部の主な構成例を示す図である。

【図25】生成処理の流れの例を説明するフローチャートである。

【図26】撮像処理の流れの例を説明するフローチャートである。

【図27】本開示の技術を適用した較正装置の主な構成例を示す図である。

【図28】較正の様子の例を示す図である。

【図29】較正の様子の例を示す図である。

【図30】較正の様子の例を示す図である。

【図31】較正の様子の例を示す図である。

【図32】較正の様子の例を示す図である。

【図33】較正処理の流れの例を説明するフローチャートである。

【図34】本開示の技術を適用した撮像装置の主な構成例を示す図である。

【図35】撮像素子の主な構成例を示すブロック図である。

【図36】アタッチメントの例を示す図である。

【図37】本開示の技術を適用した撮像装置の主な構成例を示す図である。

【図38】本開示の技術を適用した撮像システムの主な構成例を示す図である。

【図39】コンピュータの主な構成例を示すブロック図である。

【発明を実施するための形態】

【0016】

以下、本開示を実施するための形態（以下実施の形態とする）について説明する。なお、説明は以下の順序で行う。
１．撮像素子の較正
２．第１の実施の形態（撮像素子）
３．第２の実施の形態（撮像装置）
４．第３の実施の形態（撮像装置）
５．第４の実施の形態（較正システム）
６．付記

【0017】

＜１．撮像素子の較正＞
＜撮像素子の較正＞
従来、撮像素子は、撮像素子に集光する撮像レンズと組み合わせて用いることが一般的である。撮像レンズによって、被写体面からの光を、被写体面の光強度分布を再現するように、撮像素子の各画素に導くことにより、撮像素子は、各画素においてその光強度分布に応じたレベルの検出信号を得ることができ、全体として被写体の撮像画像を得ることができる。しかしながら、この場合、物理的なサイズが大きくなってしまう。

【0018】

そこで、例えば特許文献１、特許文献２、および非特許文献１に記載のような、撮像レンズを用いない撮像素子（撮像レンズフリーの撮像素子とも称する）が考えられた。このような撮像レンズフリーの撮像素子においては検出画像が生成される。その検出画像と、その撮像素子の特性に応じた復元行列とを用いて、多元１次連立方程式を解く（行列演算を行う）ことにより復元画像が復元される。この復元行列は、例えば撮像素子の設計値等に基づいて生成される。理想的には、正しい復元行列を用いることにより、正しい復元画像を復元することができる。

【0019】

しかしながら、実際には、撮像素子の特性（入射角指向性等）は、製造の際に個体差が生じ、設計値とずれるおそれがある。つまり実際の特性に対応しない（ずれた）復元行列を用いて復元画像を復元することにより、正しい復元画像を得ることができないおそれがあった。

【0020】

そこで、撮像レンズおよびピンホールのいずれも介さずに入射する入射光に対する入射角指向性を独立に設定可能な構成を有する複数の画素出力単位を備え、その複数の画素出力単位は、行列状に配置され、少なくとも１部の画素出力単位が、その行列の行方向及び列方向の双方に入射角指向性を有する複数の画像復元用画素出力単位と、その行列の行方向にのみまたはその行列の列方向にのみ入射角指向性を有する一方向指向性画素出力単位とを含む撮像素子を用いるようにする。

【0021】

このようにすることにより、より正確かつより容易にその復元行列の特性を較正することができる。つまり、実際の撮像素子の特性と復元行列が対応する特性との差が低減するように較正を行うことができる。換言するに、実際の撮像素子の特性により対応する復元行列を生成し、その復元行列を用いて復元画像を生成することができる。したがって、より正確な復元画像を生成することができる。

【0022】

＜２．第１の実施の形態＞
＜撮像素子＞
図１は、以上のような本技術を適用した撮像素子の主な構成例を示すブロック図である。図１に示される撮像素子１２１は、被写体の撮像に関する処理を行うように構成される。例えば、撮像素子１２１は、被写体を撮像し、その撮像画像に関するデータ（電子データ）を得る。その際、撮像素子１２１は、撮像レンズ、回折格子等の光学フィルタ等やピンホール等を介さずに被写体を撮像し、その撮像画像に関するデータを得ることができる。例えば、撮像素子１２１は、被写体を撮像し、所定の演算によりその撮像画像のデータを得ることができるデータ（検出信号等）を得る。

【0023】

なお、本明細書において、撮像画像は、被写体の像が結像された画素値により構成される、ユーザが目視して画像として認識できる画像のことである。これに対して撮像素子１２１の画素単位出力における入射光の検出結果である検出信号により構成される画像（検出画像と称する）は、被写体の像が結像されていないことにより、ユーザが目視しても画像として認識することができない（つまり、被写体を視認不可能な）画像である。つまり、検出画像は撮像画像とは異なる画像である。ただし、上述のように、この検出画像のデータに対して所定の演算を行うことにより、撮像画像、すなわち、被写体の像が結像された、ユーザが目視して画像として認識できる（つまり、被写体を視認可能な）画像を復元することができる。この復元された撮像画像を復元画像と称する。つまり、検出画像は復元画像とは異なる画像である。

【0024】

また、本明細書において、この復元画像を構成する画像であって、同時化処理や色分離処理等（例えば、デモザイク処理等）の前の画像をRaw画像とも称する。このRaw画像も、撮像画像と同様に、ユーザが目視して画像として認識することができる（つまり、被写体を視認可能な）画像である。換言するに、検出画像は、色フィルタの配列に従った画像ではあるが、Raw画像とは異なる画像である。

【0025】

ただし、撮像素子１２１が、例えば赤外光や紫外光等のような不可視光のみに感度を有する場合、復元画像（Raw画像や撮像画像）も、ユーザが目視して画像として認識することはできない（被写体を視認することができない）画像となる場合もある。ただし、これは検出した光の波長域によるものであるので、復元画像は、波長域を可視光域に変換することにより被写体を視認可能な画像とすることができる。これに対して検出画像は、被写体の像が結像されていないので、波長域を変換するだけでは被写体を視認可能な画像とすることはできない。したがって、撮像素子１２１が不可視光のみに感度を有する場合であっても、上述したように検出画像に対して所定の演算を行うことにより得られる画像を復元画像と称する。なお、以下において、特に言及しない限り、基本的に撮像素子１２１が可視光を受光する場合を例に用いて本技術を説明する。

【0026】

つまり、撮像素子１２１は、被写体を撮像し、検出画像に関するデータを得ることができる。

【0027】

このような撮像素子１２１において、撮像レンズおよびピンホールのいずれも介さずに入射する入射光に対する入射角指向性を独立に設定可能な構成を有する複数の画素出力単位を備え、その複数の画素出力単位は、行列状に配置され、少なくとも１部の画素出力単位が、その行列の行方向及び列方向の双方に入射角指向性を有する複数の画像復元用画素出力単位と、その行列の行方向にのみまたはその行列の列方向にのみ入射角指向性を有する一方向指向性画素出力単位とを含むようにする。

【0028】

このような撮像素子１２１を用いることにより、復元行列の較正が可能になり、より正確な復元画像を生成することができる。

【0029】

図１に示されるように、この撮像素子１２１は、受光部１１１およびその他の処理部１１２を有する。受光部１１１とその他の処理部１１２は、同一の半導体基板に形成されるようにしてもよいし、互いに異なる半導体基板に形成されるようにしてもよい。例えば、受光部１１１が形成される半導体基板と、その他の処理部１１２が形成される半導体基板とが積層されるようにしてもよい。

【0030】

受光部１１１は、複数の画素（画素出力単位）からなる画素行列を有し、各画素において、被写体からの光を受光して光電変換し、その入射光に応じた電荷を蓄積し、所定のタイミングにおいてその電荷を検出信号として出力する（アナログ信号の検出画像を出力する）。

【0031】

図１に示されるように、その他の処理部１１２は、A/D変換部１０１、復元行列生成部１０２、復元行列記憶部１０３、復元部１０４、関連付け部１０５、および出力部１０６を有する。

【0032】

A/D変換部１０１は、信号のA/D変換に関する処理を行うように構成される。例えば、A/D変換部１０１は、受光部１１１から出力されたアナログ信号の検出信号（検出画像）をA/D変換し、デジタルデータの検出信号（検出画像）として復元部１０４および関連付け部１０５に供給する。

【0033】

なお、このA/D変換部１０１の構成は任意である。例えばA/D変換部１０１が１つのA/D変換部により構成され、受光部１１１の全画素の検出信号をその１つのA/D変換部によりA/D変換するようにしてもよい。また、例えばA/D変換部１０１が、受光部１１１の画素行列の列毎または行毎にA/D変換部を有し、各列または各行の画素から読み出される検出信号をその列または行のA/D変換部を用いてA/D変換するようにしてもよい。また、例えばA/D変換部１０１が、受光部１１１の画素行列のエリア毎にA/D変換部を有し、各エリアの画素から読み出される検出信号をそのエリアのA/D変換部を用いてA/D変換するようにしてもよい。また、例えばA/D変換部１０１が、受光部１１１の画素毎にA/D変換部を有し、各画素から読み出される検出信号をその画素のA/D変換部を用いてA/D変換するようにしてもよい。

【0034】

復元行列生成部１０２は、復元行列の生成（較正）に関する処理を行うように構成される。例えば、復元行列生成部１０２は、撮像素子１２１の各画素の入射角指向性の較正に関する情報（以下、較正情報とも称する）を用いて、復元行列の生成（較正）を行う。復元行列生成部１０２は、生成した復元行列を復元行列記憶部１０３に供給する。

【0035】

なお、この較正情報は、例えば撮像素子１２１の外部から供給される。また、この較正情報には、例えば、撮像素子１２１の実際の入射角指向性とその設計値との間のずれを直接的または間接的に示す情報が含まれる。

【0036】

さらに、復元行列の生成方法は任意である。例えば、復元行列生成部１０２は、撮像素子１２１の各画素の実際の入射角指向性（入射光の入射角に応じた検出信号レベル）を示す較正情報を取得し、その較正情報に基づいて、撮像素子１２１の実際の入射角指向性に対応する復元行列を生成するようにしてもよい。また、例えば、復元行列生成部１０２は、撮像素子１２１の各画素の実際の入射角指向性（入射光の入射角に応じた検出信号レベル）と設計値との間のずれを示す較正情報を取得し、その較正情報に基づいて、設計値に対応する復元行列を較正することにより、撮像素子１２１の実際の入射角指向性に対応する復元行列を生成するようにしてもよい。

【0037】

また、復元行列生成部１０２は、復元行列記憶部１０３に記憶されている復元行列を読み出し、較正情報に基づいて、読み出した復元行列で較正（更新）するようにしてもよい。その場合、復元行列生成部１０２は、更新した復元行列を復元行列記憶部１０３に供給する。

【0038】

復元行列記憶部１０３は、記憶媒体（図示せず）を有し、復元行列の記憶に関する処理を行う。この記憶媒体は任意であり、例えば、ハードディスクや半導体メモリ等であってもよい。復元行列記憶部１０３は、復元行列生成部１０２から供給される復元行列を取得し、それをその記憶媒体に記憶（保持）する。なお、復元行列記憶部１０３は、既に復元行列を記憶媒体に記憶している場合、復元行列生成部１０２から供給される復元行列でその記憶している復元行列を上書き（更新）するようにしてもよい。また、復元行列記憶部１０３は、必要に応じて（例えば、所定のタイミングにおいてまたは要求に応じて）、その記憶媒体に記憶されている復元行列を読み出し、復元部１０４若しくは関連付け部１０５、またはその両方に供給する。

【0039】

復元部１０４は、復元画像の生成に関する処理を行うように構成される。例えば、復元部１０４は、復元行列記憶部１０３から供給される復元行列を取得し、A/D変換部１０１から供給される検出画像（検出信号）に対して、その復元行列を用いて所定の演算を行うことにより、復元画像を生成する。つまり、復元部１０４は、実際の入射角指向性に対応するように較正された復元行列を用いて、復元画像を生成する。復元部１０４は、生成した復元画像（正しく復元された復元画像）を出力データとして出力部１０６に供給する。なお、復元部１０４が、復元画像に対して、例えばガンマ補正（γ補正）やホワイトバランス制御等の任意の画像処理を施すようにしてもよい。また、復元部１０４が、復元画像のデータのフォーマットを変換したり、例えばJPEG（Joint Photographic Experts Group）、TIFF（Tagged Image File Format）、GIF（Graphics Interchange Format）等の所定の圧縮方式で圧縮したりするようにしてもよい。

【0040】

関連付け部１０５は、データの関連付けに関する処理を行うように構成される。例えば、関連付け部１０５は、A/D変換部１０１から供給される検出画像（検出信号）を取得する。また関連付け部１０５は、復元行列記憶部１０３から供給される復元行列を取得する。さらに関連付け部１０５は、その検出画像と復元行列とを関連付ける。関連付け部１０５は、関連付けたデータ（検出画像および復元行列）を、出力データとして出力部１０６に供給する。

【0041】

ここで、「関連付ける」という用語は、例えば、一方の情報（データ、コマンド、プログラム等）を処理する際に他方の情報を利用し得る（リンクさせ得る）ようにすることを意味する。つまり、互いに関連付けられた情報は、１つのファイル等としてまとめられてもよいし、それぞれ個別の情報としてもよい。例えば、情報Ａに関連付けられた情報Ｂは、その情報Ａとは別の伝送路上で伝送されるようにしてもよい。また、例えば、情報Ａに関連付けられた情報Ｂは、その情報Ａとは別の記録媒体（または同一の記録媒体の別の記録エリア）に記録されるようにしてもよい。なお、この「関連付け」は、情報全体でなく、情報の一部であってもよい。例えば、画像とその画像に対応する情報とが、複数フレーム、１フレーム、またはフレーム内の一部分などの任意の単位で互いに関連付けられるようにしてもよい。

【0042】

より具体的には、例えば、複数の情報に同一のID（識別情報）を付与すること、複数の情報を同一の記録媒体に記録すること、複数の情報を同一のフォルダに格納すること、複数の情報を同一のファイルに格納すること（一方を他方にメタデータとして付与すること）、複数の情報を同一のストリームに埋め込むこと、例えば電子透かしのように画像にメタを埋め込むこと等の行為が、「関連付ける」に含まれる。

【0043】

出力部１０６は、復元部１０４から供給される出力データ（復元画像）、または、関連付け部１０５から供給される出力データ（検出画像および復元行列）を撮像素子１２１の外部に出力する。

【0044】

なお、復元部１０４および関連付け部１０５の内、いずれか一方を省略するようにしてもよい。つまり、復元部１０４および関連付け部１０５の内の一方のみが、撮像素子１２１に形成されるようにしてもよい。

【0045】

＜撮像素子について＞
次に、撮像素子１２１について図２乃至図２０を参照して説明する。

【0046】

＜画素と画素出力単位＞
本明細書においては、「画素」（または「画素出力単位」）という用語を用いて、本技術を説明する。本明細書において「画素」（または「画素出力単位」）とは、撮像素子１２１の入射光を受光するための物理構成が形成される領域（画素領域とも称する）の、他の画素とは独立して受光することができる物理構成を少なくとも１つ含む分割単位を指すものとする。受光することができる物理構成とは、例えば光電変換素子であり、例えばフォトダイオード（PD（Photo Diode））である。１画素に形成されるこの物理構成（例えばフォトダイオード）の数は任意であり、単数であってもよいし、複数であってもよい。その種類、大きさ、形状等も任意である。

【0047】

また、この「画素」単位の物理構成には、上述の「受光することができる物理構成」だけでなく、例えば、オンチップレンズ、遮光膜、カラーフィルタ、平坦化膜、反射防止膜等、入射光の受光に関する全ての物理構成を含む。さらに、読み出し回路等の構成も含まれる場合もある。つまり、この画素単位の物理構成はどのような構成であってもよい。

【0048】

また、「画素」（つまり画素単位の物理構成）から読み出された検出信号を「画素単位（または画素出力単位）の検出信号」等と称する場合もある。さらに、この画素単位（または画素出力単位）の検出信号は、「画素単位検出信号（または画素出力単位検出信号）」とも称する。また、この画素単位検出信号は「画素出力」とも称する。さらに、その値を「出力画素値」とも称する。

【0049】

撮像素子１２１は、撮像レンズおよびピンホールのいずれも介さずに入射する入射光を受光し、その入射光の入射角によって変調された出力画素値を示す検出信号をそれぞれ１つ出力する複数の画素出力単位を備える。したがって、この撮像素子１２１の画素単位の検出信号の値（出力画素値）は、他と独立して被写体からの入射光の入射角に対する指向性を示す入射角指向性を有することができる。例えば、撮像素子１２１の各画素単位（画素出力単位）は、その出力画素値の、被写体からの入射光の入射角に対する指向性を示す入射角指向性を独立に設定可能な構成を有するようにしてもよい。換言するに、撮像素子１２１において、少なくとも２つの画素単位の出力画素値の入射角指向性が互いに異なるようにすることができる。

【0050】

なお、上述したように「画素（または画素出力単位）」が有する「受光することができる物理構成」の数は任意であるので、画素単位検出信号は、単数の「受光することができる物理構成」により得られた検出信号であってもよいし、複数の「受光することができる物理構成」により得られた検出信号であってもよい。

【0051】

また、この画素単位検出信号（出力画素値）は、任意の段階で複数をまとめて１つにすることもできる。例えば、複数の画素の出力画素値を、アナログ信号の状態において加算するようにしてもよいし、デジタル信号に変換してから加算するようにしてもよい。

【0052】

また、この検出信号は、撮像素子１２１から読み出された後、すなわち、検出画像において、複数の検出信号をまとめて単数化したり、単数の検出信号を複数化したりすることもできる。つまり、検出画像の解像度（データ数）は可変である。例えば、感度向上のために、同一の入射角指向性を有する複数画素の検出信号同士を加算することができる。

【0053】

ところで、以下においては説明の便宜上、特に言及しない限り、撮像素子１２１が複数の画素が行列状に配置される（画素アレイが形成される）画素領域を有するものとして説明する。なお、撮像素子１２１の画素（または画素出力単位）の配列パタンは任意であり、この例に限定されない。例えば、画素（または画素出力単位）がハニカム構造状に配置されるようにしてもよい。また、例えば、画素（または画素出力単位）が１行（または１列）状に配置されるようにしてもよい。つまり、撮像素子１２１がラインセンサであってもよい。

【0054】

なお、撮像素子１２１（の画素）が感度を有する波長域は任意である。例えば、撮像素子１２１（の画素）が、可視光に対して感度を有するようにしてもよいし、赤外光や紫外光のような不可視光に対して感度を有するようにしてもよいし、可視光と不可視光の両方に対して感度を有するようにしてもよい。例えば、撮像素子が不可視光である遠赤外光を検出する場合、その撮像素子において得られる撮像画像を用いてサーモグラフ（熱分布を表す画像）を生成することができる。ただし、撮像レンズを伴う撮像素子の場合、ガラスは遠赤外光を透過することが困難であるため、高価な特殊素材の撮像レンズが必要になり、製造コストが増大するおそれがある。撮像素子１２１は、撮像レンズ等を介さずに被写体を撮像し、その撮像画像に関するデータを得ることができるので、その画素が遠赤外光を検出可能とすることにより、製造コストの増大を抑制することができる。つまり、より安価に遠赤外光の撮像を行うことができる（より安価にサーモグラフを得ることができる）。換言するに、復元画像は、可視光の画像であってもよいし、不可視光（例えば、（遠）赤外光や紫外光等）の画像であってもよい。

【0055】

＜入射角指向性＞
上述のように、撮像素子１２１は、複数画素出力単位分の検出信号（複数の画素出力単位検出信号）を得ることができる。そして、その内の少なくとも２つの画素出力単位検出信号の入射角指向性が互いに異なるようにすることもできる。

【0056】

ここで「入射角指向性」とは、入射光の入射角度に応じた受光感度特性、すなわち、入射光の入射角度に対する検出感度を指す。例えば、同じ光強度の入射光であってもその入射角度によって検出感度が変化する場合がある。このような検出感度の偏り（偏りがない場合も含む）を「入射角指向性」と称する。

【0057】

例えば、互いに同一の光強度の入射光が、互いに同一の入射角でその２つの画素出力単位の物理構成に入射すると、各画素出力単位の検出信号の信号レベル（検出信号レベル）は、それぞれの入射角指向性によって、互いに異なる値となり得る。撮像素子１２１（の各画素出力単位）は、このような特徴を持つ物理構成を有する。

【0058】

この入射角指向性は、どのような方法により実現されるようにしてもよい。例えば、一般の、例えば、CMOS（Complementary Metal Oxide Semiconductor）イメージセンサなどの撮像素子からなるものと同様の基本的な構造を有する撮像素子の光電変換素子（フォトダイオード等）の手前（光入射側）に遮光膜を設ける等して入射角指向性を実現するようにしてもよい。

【0059】

一般的な入射角指向性が互いに同一の画素よりなる撮像素子のみで撮像を行うと、撮像素子の全画素に略同一の光強度の光が入射することになり、結像された被写体の画像を得ることができない。そこで、一般的には、撮像素子の前（光入射側）に撮像レンズやピンホールを設ける。例えば撮像レンズを設けることにより、被写体面からの光を撮像素子の撮像面に結像させることができる。したがって、撮像素子は、各画素においてその結像された被写体の画像に応じたレベルの検出信号を得ることができる（つまり、結像された被写体の撮像画像を得ることができる）。しかしながら、この場合、物理的にサイズが大きくなり、装置の小型化が困難になるおそれがあった。また、ピンホールを設ける場合、撮像レンズを設ける場合よりも小型化が可能になるが、撮像素子に入射する光量が低減するため、露光時間を長くする、または、ゲインを上げる等の対策が必須となり、高速な被写体の撮像においてはボケが生じ易くなる、または、自然な色表現ではなくなるおそれがあった。

【0060】

これに対して撮像素子１２１は、撮像レンズおよびピンホールのいずれも介さずに入射する入射光を受光し、その入射光の入射角によって変調された出力画素値を示す検出信号をそれぞれ１つ出力する複数の画素出力単位を備える。なお、各画素出力単位の入射角指向性が互いに異なる（入射光の入射角度に応じた受光感度特性が画素出力単位毎に異なる）ようにしてもよいし、一部の画素に同一の受光感度特性を持つものが含まれているようにしてもよいし、一部の画素が異なる受光感度特性を持つようにしてもよい。

【0061】

例えば、図２において、被写体面１３１を構成する光源が点光源であることを前提とした場合、撮像素子１２１においては、同一の点光源より発せられた同一の光強度の光線が、全ての画素に入射されることになるが、画素毎にそれぞれ異なる入射角度で入射される。そして、撮像素子１２１の各画素は、互いに異なる入射角指向性を有しているので、その同一の光強度の光線を互いに異なる感度で検出する。つまり、画素毎に異なる信号レベルの検出信号が検出される。

【0062】

より詳細には、撮像素子１２１の各画素において受光される入射光の入射角度に応じた感度特性、すなわち、各画素における入射角度に応じた入射角指向性は、入射角度に応じた受光感度を表す係数で表現するものとし、各画素における入射光に応じた検出信号の信号レベル（検出信号レベルとも称する）は、入射光の入射角度に応じた受光感度に対応して設定される係数を乗じることで求められるものとなる。

【0063】

より具体的には、図２の上段左部で示されるように、位置Ｐａ，Ｐｂ，Ｐｃにおける検出信号レベルＤＡ，ＤＢ，ＤＣは、それぞれ以下の式（１）乃至式（３）で表される。

【0064】

【数1】

【0065】

ここで、α１は、撮像素子１２１上の位置Ｐａにおける復元する被写体面１３１上の点光源ＰＡからの光線の入射角度に応じて設定される係数である。また、β１は、撮像素子１２１上の位置Ｐａにおける復元する被写体面１３１上の点光源ＰＢからの光線の入射角度に応じて設定される係数である。さらに、γ１は、撮像素子１２１上の位置Ｐａにおける復元する被写体面１３１上の点光源ＰＣからの光線の入射角度に応じて設定される係数である。

【0066】

式（１）に示されるように、位置Ｐａにおける検出信号レベルＤＡは、位置Ｐａにおける点光源ＰＡからの光線の光強度”ａ”と係数α１との積と、位置Ｐａにおける点光源ＰＢからの光線の光強度”ｂ”と係数β１との積と、位置Ｐａにおける点光源ＰＣからの光線の光強度”ｃ”と係数γ１との積との和（合成値）により表現される。以下において、係数αｘ、βｘ、γｘ（ｘは自然数）を合わせて係数セットと称する。

【0067】

同様に、式（２）の係数セットα２，β２，γ２は、撮像素子１２１上の位置Ｐｂにおける復元する被写体面１３１上の点光源ＰＡ，ＰＢ，ＰＣからの光線の入射角度に応じて設定される係数セットである。つまり、位置Ｐｂにおける検出信号レベルＤＢは、上述の式（２）のように、位置Ｐｂにおける点光源ＰＡからの光線の光強度”ａ”と係数α２との積と、位置Ｐｂにおける点光源ＰＢからの光線の光強度”ｂ”と係数β２との積と、位置Ｐｂにおける点光源ＰＣからの光線の光強度”ｃ”と係数γ２との積との和（合成値）により表現される。また、式（３）の係数α３，β３，γ３は、撮像素子１２１上の位置Ｐｃにおける復元する被写体面１３１上の点光源ＰＡ，ＰＢ，ＰＣからの光線の入射角度に応じて設定される係数セットである。つまり、位置Ｐｃにおける検出信号レベルＤＣは、上述の式（３）のように、位置Ｐｃにおける点光源ＰＡからの光線の光強度”ａ”と係数α３との積と、位置Ｐｃにおける点光源ＰＢからの光線の光強度”ｂ”と係数β３との積と、位置Ｐｃにおける点光源ＰＣからの光線の光強度”ｃ”と係数γ３との積との和（合成値）により表現される。

【0068】

以上のように、これらの検出信号レベルは、点光源ＰＡ，ＰＢ，ＰＣのそれぞれより発せられた光線の光強度が入り交じったものとなるので、被写体の像が結像されたものとは異なるものである。つまり、図２の上段右部で示される検出信号レベルは、被写体の像が結像された画像（撮像画像）に対応する検出信号レベルではないので、図２の下部右部に示される画素値とは異なるものである（一般的に両者は一致しない）。

【0069】

ただし、この係数セットα１，β１，γ１、係数セットα２，β２，γ２、係数セットα３，β３，γ３と、検出信号レベルＤＡ，ＤＢ，ＤＣを用いた連立方程式を構成し、ａ，ｂ，ｃを変数として上述の式（１）乃至式（３）の連立方程式を解くことにより、図２の下段右部で示されるような各位置Ｐａ，Ｐｂ，Ｐｃの画素値を求めることができる。これにより画素値の集合である復元画像（被写体の像が結像された画像）が復元される。

【0070】

撮像素子１２１は、このような構成により、撮像レンズ、回折格子等からなる光学フィルタや、ピンホール等を必要とせずに、各画素において、入射光の入射角によって変調された出力画素値を示す検出信号をそれぞれ１つ出力することができる。結果として、撮像レンズ、回折格子等からなる光学フィルタや、ピンホール等が必須構成とならないので、撮像装置の低背化、すなわち、撮像機能を実現する構成における光の入射方向に対する厚さを薄くすることが可能になる。

【0071】

＜入射角指向性の形成＞
図３の左部は、一般的な撮像素子の画素アレイ部の一部の正面図を示しており、図３の右部は、撮像素子１２１の画素アレイ部の一部の正面図を示している。なお、図３においては、画素アレイ部が水平方向×垂直方向のそれぞれの画素数が６画素×６画素の構成である場合の例を示しているが、画素数の構成は、これに限るものではない。

【0072】

入射角指向性は、例えば遮光膜により形成することができる。一般的な撮像素子１２１は、図３の左部の例のように、入射角指向性が同一の画素１２１ａがアレイ状に配置されていることが示されている。これに対して図３の右部の例の撮像素子１２１は、画素１２１ａ毎に、そのフォトダイオードの受光領域の一部を覆うように変調素子の１つである遮光膜１２１ｂが設けられており、各画素１２１ａに入射する入射光が、入射角度に応じて光学的に変調される。そして、例えば、画素１２１ａ毎に異なる範囲に遮光膜１２１ｂを設けることにより、画素１２１ａ毎に入射光の入射角度に対する受光感度が異なるものとなり、各画素１２１ａが異なる入射角指向性を有するようになる。

【0073】

例えば、画素１２１ａ－１と画素１２１ａ－２とでは、設けられている遮光膜１２１ｂ－１と遮光膜１２１ｂ－２とにより画素を遮光する範囲が異なる（遮光する領域（位置）、および遮光する面積の少なくともいずれかが異なる）。すなわち、画素１２１ａ－１においては、フォトダイオードの受光領域における左側の一部を所定の幅だけ遮光するように遮光膜１２１ｂ－１が設けられており、画素１２１ａ－２においては、受光領域における右側の一部を、遮光膜１２１ｂ－１よりも水平方向に広い幅だけ遮光するように遮光膜１２１ｂ－２が設けられている。その他の画素１２１ａにおいても、同様に、遮光膜１２１ｂが、画素毎に受光領域における異なる範囲が遮光されるように設けられており、画素アレイ内でランダムに配置されている。

【0074】

なお、遮光膜１２１ｂの範囲は、各画素の受光領域を覆い隠す割合が大きくなるほど、受光できる光量が少ない状態となるため、所望の光量が確保できる程度の面積とすることが望ましく、遮光膜１２１ｂの面積を、例えば、最大で受光可能な範囲の全体の３／４程度までといった制限を加えて構成するようにしてもよい。このようにすることで、所望量以上の光量を確保することが可能となる。ただし、各画素について、受光する光の波長に相当する幅の遮光されていない範囲が設けられていれば、最小限の光量を受光することは可能である。すなわち、例えば、B画素（青色画素）の場合、波長は500nm程度となるが、この波長に相当する幅以上に遮光されていなければ、最小限の光量を受光することは可能である。

【0075】

＜撮像素子の構成例＞
図４を参照して、この場合の撮像素子１２１の構成例について説明する。図４の上段は、撮像素子１２１の側面断面図であり、図４の中段は、撮像素子１２１の上面図である。また、図４の上段の側面断面図は、図４の中段におけるＡＢ断面となる。さらに、図４の下段は、撮像素子１２１の回路構成例である。

【0076】

図４に示される構成の撮像素子１２１は、撮像レンズおよびピンホールのいずれも介さずに入射する入射光を受光し、その入射光の入射角によって変調された出力画素値を示す検出信号をそれぞれ１つ出力する複数の画素出力単位を備える。例えば、この撮像素子１２１は、その複数の画素出力単位のうちの少なくとも２つの画素出力単位の出力画素値の、被写体からの入射光の入射角に対する指向性を示す入射角指向性が、互いに異なる特性となるようにするための構成を有する。また、この場合の撮像素子１２１は、その複数の画素出力単位が、被写体からの入射光の入射角に対する指向性を示す入射角指向性を画素出力単位毎に独立に設定可能な構成を有する。

【0077】

図４の上段の撮像素子１２１においては、図中の上方から下方に向けて入射光が入射する。隣接する画素１２１ａ－１５，１２１ａ－１６は、それぞれ図中の最下層に配線層Ｚ１２が設けられており、その上に光電変換層Ｚ１１が設けられている、いわゆる、裏面照射型である。

【0078】

なお、画素１２１ａ－１５，１２１ａ－１６を区別する必要がない場合、単に、画素１２１ａと称し、他の構成についても、同様に称する。また、図４においては、撮像素子１２１の画素アレイを構成する２画素分の側面図および上面図となっているが、いうまでもなく、これ以上の数の画素１２１ａが配置されているが図示が省略されている。

【0079】

さらに、画素１２１ａ－１５，１２１ａ－１６は、それぞれ光電変換層Ｚ１１にフォトダイオード１２１ｅ－１５，１２１ｅ－１６を備えている。また、フォトダイオード１２１ｅ－１５，１２１ｅ－１６の上には、それぞれ上からオンチップレンズ１２１ｃ－１５，１２１ｃ－１６、およびカラーフィルタ１２１ｄ－１５，１２１ｄ－１６が構成されている。

【0080】

オンチップレンズ１２１ｃ－１５，１２１ｃ－１６は、入射光をフォトダイオード１２１ｅ―１５，１２１ｅ―１６上に集光させる。

【0081】

カラーフィルタ１２１ｄ－１５，１２１ｄ－１６は、例えば、赤色、緑色、青色、赤外および白色等の特定の波長の光を透過させる光学フィルタである。なお、白色の場合、カラーフィルタ１２１ｄ－１５，１２１ｄ－１６は、透明のフィルタでもよいし、無くてもよい。

【0082】

画素１２１ａ－１５，１２１ａ－１６の光電変換層Ｚ１１における、それぞれ画素間の境界には、遮光膜１２１ｐ－１５乃至１２１ｐ－１７が形成されており、隣接する画素間のクロストークを抑制する。なお、遮光膜１２１ｐ－１５乃至１２１ｐ－１７は省略してもよい。

【0083】

また、変調素子の１つである遮光膜１２１ｂ－１５，１２１ｂ－１６は、図４の上段および中段で示されるように、受光面Ｓの一部を遮光している。遮光膜１２１ｂにより受光面Ｓの一部が遮光されることにより、画素１２１ａに入射する入射光が入射角度に応じて光学的に変調される。画素１２１ａは、その光学的に変調された入射光を検出するので、入射角指向性を有するようになる。画素１２１ａ－１５，１２１ａ－１６におけるフォトダイオード１２１ｅ－１５，１２１ｅ－１６の受光面Ｓにおいては、遮光膜１２１ｂ－１５，１２１ｂ－１６により、それぞれ異なる範囲が遮光されており、これにより画素ごとに異なる入射角指向性が設定される。ただし、遮光される範囲は、撮像素子１２１の全画素１２１ａのそれぞれにおいて異なることが場合に限らず、一部で同一の範囲が遮光される画素１２１ａが存在していてもよい。

【0084】

図４の上段で示されるような構成により、遮光膜１２１ｐ－１５の右端部と、遮光膜１２１ｂ－１５の上方端部とが接続されるとともに、遮光膜１２１ｂ－１６の左端部と遮光膜１２１ｐ－１６の上方端部とが接続され、側面からみてＬ字型に構成されている。

【0085】

さらに、遮光膜１２１ｂ－１５乃至１２１ｂ－１７、および遮光膜１２１ｐ－１５乃至１２１ｐ－１７は、金属により構成されており、例えば、タングステン（W）、アルミニウム（Al）、またはAlと銅（Cu）との合金より構成される。また、遮光膜１２１ｂ－１５乃至１２１ｂ－１７、および遮光膜１２１ｐ－１５乃至１２１ｐ－１７は、半導体プロセスにおける配線が形成されるプロセスと同一のプロセスで、配線と同一の金属により同時に形成されるようにしてもよい。なお、遮光膜１２１ｂ－１５乃至１２１ｂ－１７、および遮光膜１２１ｐ－１５乃至１２１ｐ－１７の膜厚は、位置に応じて同一の厚さにしなくてもよい。

【0086】

また、図４の下段で示されるように、画素１２１ａは、フォトダイオード１６１（フォトダイオード１２１ｅに対応する）、転送トランジスタ１６２、ＦＤ（Floating Diffusion：フローティングディフュージョン）部１６３、選択トランジスタ１６４、増幅トランジスタ１６５、およびリセットトランジスタ１６６を備えて構成され、垂直信号線１６７を介して電流源１６８に接続されている。

【0087】

フォトダイオード１６１は、アノード電極がそれぞれ接地され、カソード電極が、転送トランジスタ１６２を介して増幅トランジスタ１６５のゲート電極にそれぞれ接続される構成となっている。

【0088】

転送トランジスタ１６２は、転送信号ＴＧに従ってそれぞれ駆動する。例えば、転送トランジスタ１６２のゲート電極に供給される転送信号ＴＧがハイレベルになると、転送トランジスタ１６２はオンとなる。これにより、フォトダイオード１６１に蓄積されている電荷が転送トランジスタ１６２を介してＦＤ部１６３に転送される。

【0089】

増幅トランジスタ１６５は、フォトダイオード１６１での光電変換によって得られる信号を読み出す読出し回路であるソースフォロワの入力部となり、ＦＤ部１６３に蓄積されている電荷に応じたレベルの画素信号を垂直信号線２３に出力する。すなわち、増幅トランジスタ１６５は、ドレイン端子が電源電圧ＶＤＤに接続され、ソース端子が選択トランジスタ１６４を介して垂直信号線１６７に接続されることで、垂直信号線１６７の一端に接続される電流源１６８とソースフォロワを構成する。

【0090】

ＦＤ（Floating Diffusion：フローティングディフュージョン）部１６３は、転送トランジスタ１６２と増幅トランジスタ１６５との間に設けられる電荷容量Ｃ１を有する浮遊拡散領域であり、転送トランジスタ１６２を介してフォトダイオード１６１から転送される電荷を一時的に蓄積する。ＦＤ部１６３は、電荷を電圧に変換する電荷検出部であって、ＦＤ部１６３に蓄積されている電荷が増幅トランジスタ１６５において電圧に変換される。

【0091】

選択トランジスタ１６４は、選択信号ＳＥＬに従って駆動し、ゲート電極に供給される選択信号ＳＥＬがハイレベルになるとオンとなって、増幅トランジスタ１６５と垂直信号線１６７とを接続する。

【0092】

リセットトランジスタ１６６は、リセット信号ＲＳＴに従って駆動する。例えば、リセットトランジスタ１６６は、ゲート電極に供給されるリセット信号ＲＳＴがハイレベルになるとオンとなり、ＦＤ部１６３に蓄積されている電荷を電源電圧ＶＤＤに排出して、ＦＤ部１６３をリセットする。

【0093】

以上のような回路構成により、図４の下段で示される画素回路は以下のように動作する。

【0094】

すなわち、第１動作として、リセットトランジスタ１６６および転送トランジスタ１６２がオンにされ、ＦＤ部１６３に蓄積されている電荷を電源電圧ＶＤＤに排出して、ＦＤ部１６３をリセットする。

【0095】

第２動作として、リセットトランジスタ１６６および転送トランジスタ１６２がオフにされ、露光期間となり、フォトダイオード１６１により、入射光の光量に応じた電荷が蓄積される。

【0096】

第３動作として、リセットトランジスタ１６６がオンにされて、ＦＤ部１６３がリセットされた後、リセットトランジスタ１６６がオフにされる。この動作により、ＦＤ部１６３がリセットされて、基準電位に設定される。

【0097】

第４動作として、リセットされた状態のＦＤ部１６３の電位が、基準電位として増幅トランジスタ１６５より出力される。

【0098】

第５動作として、転送トランジスタ１６２がオンにされて、フォトダイオード１６１に蓄積された電荷がＦＤ部１６３に転送される。

【0099】

第６動作として、フォトダイオードの電荷が転送されたＦＤ部１６３の電位が、信号電位として増幅トランジスタ１６５より出力される。

【0100】

以上の処理により、信号電位から基準電位が減算されて、ＣＤＳ（相関二重サンプリング）により検出信号として出力される。この検出信号の値（出力画素値）は、被写体からの入射光の入射角に応じて変調されており、入射角により特性（指向性）が異なる（入射角指向性を有する）。

【0101】

このように、図４の場合の画素１２１ａは、１個についてフォトダイオード１２１ｅが１個設けられており、画素１２１ａ毎に異なる範囲が遮光膜１２１ｂにより遮光されており、遮光膜１２１ｂを用いた光学的な変調により、１個の画素１２１ａで入射角指向性を備えた検出画像の１画素分の検出信号を表現することができる。

【0102】

＜撮像素子の他の構成例＞
また、入射角指向性は、例えば受光素子（例えばフォトダイオード）の画素内における位置、大きさ、形状等により形成することができる。これらのパラメータが異なる画素同士では、同一方向からの同一の光強度の入射光に対する感度が異なる。つまり、これらのパラメータを画素毎に設定することにより、画素毎に入射角指向性を設定することができる。

【0103】

例えば、画素内に複数の受光素子（例えばフォトダイオード）を設け、それらが選択的に用いられるようにしてもよい。このようにすることにより、その受光素子の選択によって画素毎に入射角指向性を設定することができるようになる。

【0104】

図５は、撮像素子１２１の他の構成例を示す図である。図５の上段には、撮像素子１２１の画素１２１ａの側面断面図が示されており、図５の中段には、撮像素子１２１の上面図が示されている。また、図５の上段の側面断面図は、図５の中段におけるＡＢ断面となる。さらに、図５の下段は、撮像素子１２１の回路構成例である。

【0105】

図５に示される構成の撮像素子１２１は、撮像レンズおよびピンホールのいずれも介さずに入射する入射光を受光し、その入射光の入射角によって変調された出力画素値を示す検出信号をそれぞれ１つ出力する複数の画素出力単位を備える。例えば、この撮像素子１２１は、その複数の画素出力単位のうちの少なくとも２つの画素出力単位の出力画素値の、被写体からの入射光の入射角に対する指向性を示す入射角指向性が、互いに異なる特性となるようにするための構成を有する。また、この場合の撮像素子１２１は、その複数の画素出力単位が、出力に寄与するPD（Photo Diode）を互いに異ならせることで、その出力画素値の、被写体からの入射光の入射角に対する指向性を示す入射角指向性を画素出力単位毎に独立に設定し得る。

【0106】

図５に示されるように、撮像素子１２１は、画素１２１ａにおいて、４つのフォトダイオード１２１ｆ－１乃至１２１ｆ－４が形成され、遮光膜１２１ｐが、フォトダイオード１２１ｆ－１乃至１２１ｆ－４同士を分離する領域に形成されている点で、図５の撮像素子１２１と異なる構成となっている。即ち、図５の撮像素子１２１では、遮光膜１２１ｐは、上面から見て「＋」形状に形成されている。なお、それらの共通の構成については同一の符号を付し、詳細な説明は省略する。

【0107】

図５のように構成された撮像素子１２１では、遮光膜１２１ｐによりフォトダイオード１２１ｆ－１乃至１２１ｆ－４に分離することによって、フォトダイオード１２１ｆ－１乃至１２１ｆ－４間の電気的および光学的なクロストークを防止することができる。即ち、図５の遮光膜１２１ｐは、図４の撮像素子１２１の遮光膜１２１ｐと同様にクロストークを防止するためのものであって、入射角指向性を与えるためのものではない。

【0108】

詳細については後述するが、フォトダイオード１２１ｆ－１乃至１２１ｆ－４は、受光感度特性が高くなる入射角が互いに異なる。つまり、フォトダイオード１２１ｆ－１乃至１２１ｆ－４のいずれから電荷を読み出すかによって、画素１２１ａの出力画素値に所望の入射角指向性を持たせることができる。つまり、画素１２１ａの出力画素値の入射角指向性を制御することができる。

【0109】

図５の撮像素子１２１の構成例においては、１個のＦＤ部１６３を４個のフォトダイオード１２１ｆ－１乃至１２１ｆ－４で共有する。図５の下段は、１個のＦＤ部１６３を４個のフォトダイオード１２１ｆ－１乃至１２１ｆ－４で共有するようにした回路構成例を示している。なお、図５の下段において、図４の下段と同一の構成については、その説明を省略する。

【0110】

図５の下段において、図４の下段の回路構成と異なる点は、フォトダイオード１６１および転送トランジスタ１６２に代えて、フォトダイオード１６１－１乃至１６１－４（図５の上段におけるフォトダイオード１２１ｆ－１乃至１２１ｆ－４に対応する）および転送トランジスタ１６２－１乃至１６２－４を設け、ＦＤ部１６３を共有する構成としている点である。

【0111】

図５の下段に示される回路において、フォトダイオード１６１－１乃至１６１－４を互いに区別して説明する必要がない場合、フォトダイオード１６１と称する。また、転送トランジスタ１６２－１乃至１６２－４を互いに区別して説明する必要がない場合、転送トランジスタ１６２と称する。

【0112】

図５の下段に示される回路において、いずれかの転送トランジスタ１６２がオンされると、その転送トランジスタ１６２に対応するフォトダイオード１６１の電荷が読み出され、共通のＦＤ部１６３に転送される。そして、ＦＤ部１６３に保持されている電荷のレベルに応じた信号が画素出力単位の検出信号として読み出される。つまり、各フォトダイオード１６１の電荷は互いに独立に読み出すことができ、どの転送トランジスタ１６２をオンにするかによって、どのフォトダイオード１６１から電荷を読み出すかを制御することができる。換言するに、どの転送トランジスタ１６２をオンにするかによって、各フォトダイオード１６１による出力画素値への寄与の度合いを制御することができる。例えば、少なくとも２つの画素間において、電荷を読み出すフォトダイオード１６１を互いに異なるものとすることにより、出力画素値に寄与するフォトダイオード１６１を互いに異ならせることができる。つまり、電荷を読み出すフォトダイオード１６１の選択により、画素１２１ａの出力画素値に所望の入射角指向性を持たせることができる。つまり、各画素１２１ａから出力される検出信号を、被写体からの入射光の入射角に応じて変調された値（出力画素値）とすることができる。

【0113】

例えば、図５において、フォトダイオード１２１ｆ－１およびフォトダイオード１２１ｆ－３の電荷をＦＤ部１６３に転送し、それぞれを読み出して得られる信号を加算するようにすることにより、画素１２１ａの出力画素値に図中左右方向の入射角指向性を持たせることができる。同様に、フォトダイオード１２１ｆ－１およびフォトダイオード１２１ｆ－２の電荷をＦＤ部１６３に転送し、それぞれを読み出して得られる信号を加算するようにすることにより、画素１２１ａの出力画素値に図中上下方向の入射角指向性を持たせることができる。

【0114】

なお、図５の画素１２１ａの各フォトダイオード１２１ｆのそれぞれの電荷に基づいて得られる信号は、画素から読み出された後に加算するようにしてもよいし、画素内（例えばＦＤ部１６３）において加算するようにしてもよい。

【0115】

また、電荷（またはその電荷に対応する信号）を加算するフォトダイオード１２１ｆの組み合わせは任意であり、上述の例に限定されない。例えば、３つ以上のフォトダイオード１２１ｆの電荷（またはその電荷に対応する信号）を加算するようにしてもよい。また、例えば、加算を行わずに、１つのフォトダイオード１２１ｆの電荷を読み出すようにしてもよい。

【0116】

なお、電子シャッタ機能を用いて電荷のＦＤ部１６３への読み出しの前にフォトダイオード１６１（フォトダイオード１２１ｆ）に蓄積された検出値（電荷）をリセットすること等で、画素１２１ａ（の検出感度）に所望の入射角指向性を持たせるようにしてもよい。

【0117】

例えば、電子シャッタ機能を用いる場合、フォトダイオード１２１ｆの電荷のＦＤ部１６３への読み出しの直前にリセットをすれば、そのフォトダイオード１２１ｆは画素１２１ａの検出信号レベルへの寄与が無い状態とすることができ、リセットとＦＤ部１６３への読み出しの間の時間を持たせれば、部分的に寄与をさせることもできる。

【0118】

以上のように、図５の画素１２１ａは、１個について４個のフォトダイオード１２１ｆが設けられており、受光面に対して遮光膜１２１ｂが形成されていないが、遮光膜１２１ｐにより、複数の領域に分割され、４個のフォトダイオード１２１ｆ－１乃至１２１ｆ－４が形成されており、入射角指向性を備えた検出画像の１画素分の検出信号を表現している。換言するに、例えば、フォトダイオード１２１ｆ－１乃至１２１ｆ－４のうち出力に寄与しない範囲が遮光された領域と同様に機能して、入射角指向性を備えた、検出画像の１画素分の検出信号を表現している。なお、フォトダイオード１２１ｆ－１乃至１２１ｆ－４を用いて、１画素分の検出信号を表現する場合、遮光膜１２１ｂは用いられていないので、検出信号は、光学的な変調により得られる信号ではない。

【0119】

以上においては画素内に４個のフォトダイオードを配置する例について説明したが、画素内に配置するフォトダイオードの数は任意であり、上述の例に限定されない。つまり、画素内におけるフォトダイオードを配置する部分領域の数も任意である。

【0120】

また、以上においては、画素内を４等分した４つの部分領域にフォトダイオードを配置するように説明したが、この部分領域は等分割されたものでなくてもよい。つまり、各部分領域の大きさや形状が全て統一されていなくてもよい（大きさや形状が他と異なる部分領域が含まれていてもよい）。または、各部分領域内に配置されるフォトダイオードの位置（部分領域内における位置）、大きさ、形状等が、フォトダイオード毎（部分領域毎）に異なるようにしてもよい。その際、各部分領域の大きさや形状は、全て統一されていてもよいし、統一されていなくてもよい。

【0121】

さらに、撮像素子１２１の全画素において、これらのパラメータが統一されていなくてもよい。つまり、撮像素子１２１の１画素以上において、これらのパラメータの内の１つ以上のパラメータが、他の画素と異なっていてもよい。

【0122】

例えば、画素内におけるフォトダイオードを配置する部分領域を形成するための分割位置が他の画素と異なる画素が、撮像素子１２１の画素群に含まれるようにしてもよい。つまり、撮像素子１２１が、部分領域の大きさや形状が他の画素と異なる画素を１画素以上有するようにしてもよい。例えば、画素毎にこの分割位置を異ならせるようにすることにより、複数の画素で左上のフォトダイオードのみを用いるようにしたとしても、その複数の画素のそれぞれにおいて検出される検出信号の入射角指向性を互いに異なるものとすることができる。

【0123】

また例えば、画素内に配置される複数のフォトダイオードの位置、大きさ、形状等が他の画素と異なる画素が、撮像素子１２１の画素群に含まれるようにしてもよい。つまり、撮像素子１２１が、配置される複数のフォトダイオードの位置、大きさ、形状の内の少なくともいずれか１つが他の画素と異なる画素を１画素以上有するようにしてもよい。例えば、画素毎にフォトダイオードの位置、大きさ、形状等を異ならせるようにすることにより、複数の画素で左上のフォトダイオードのみを用いるようにしたとしても、その複数の画素のそれぞれにおいて検出される検出信号の入射角指向性を互いに異なるものとすることができる。

【0124】

さらに例えば、部分領域のパラメータ（大きさ、形状）と、フォトダイオードのパラメータ（位置、大きさ、形状）との両方が他の画素と異なる画素を１画素以上有するようにしてもよい。

【0125】

また例えば、画素内におけるフォトダイオードを配置する部分領域を形成するための分割数が他の画素と異なる画素が、撮像素子１２１の画素群に含まれるようにしてもよい。つまり、撮像素子１２１が、配置されるフォトダイオードの数が他の画素と異なる画素を１画素以上有するようにしてもよい。例えば、画素毎に分割数（フォトダイオードの数）を異ならせるようにすることにより、より自由に入射角指向性を設定することができる。

【0126】

なお、図４の例のような、遮光膜を用いて入射角指向性を形成する画素と、図５の例のような、複数の受光素子を用いて入射角指向性を形成する画素とを、１つの撮像素子内に混在させてもよい。

【0127】

＜入射角指向性を生じさせる原理について＞
撮像素子１２１における各画素の入射角指向性は、例えば、図６で示されるような原理により発生する。なお、図６の左上部および右上部は、図４の撮像素子１２１における入射角指向性の発生原理を説明する図であり、図６の左下部および右下部は、図５の撮像素子１２１における入射角指向性の発生原理を説明する図である。

【0128】

また、図６の左上部および右上部における１画素は、いずれも１個のフォトダイオード１２１ｅにより構成される。これに対して、図６の左下部および右下部における１画素は、いずれも２個のフォトダイオード１２１ｆにより構成される。なお、ここでは、１画素が２個のフォトダイオード１２１ｆにより構成される例について説明しているが、これは説明の便宜上であり、１画素を構成するフォトダイオード１２１ｆの数は、その他の個数であってもよい。

【0129】

図６の左上部においては、図中の上方から下方に向けて入射光が入射するとき、フォトダイオード１２１ｅ－１１の受光面の右半分を遮光するように遮光膜１２１ｂ－１１が形成されている。また、図６の右上部においては、フォトダイオード１２１ｅ－１２の受光面の左半分を遮光するように遮光膜１２１ｂ－１２が形成されている。なお、図中の一点鎖線は、フォトダイオード１２１ｅの受光面の図中の水平方向の中心位置であって、受光面に対して垂直方向であることを表している。

【0130】

例えば、図６の左上部のような構成の場合、図中の一点鎖線に対して入射角θ１を成す矢印で示される、図中の右上方向からの入射光は、フォトダイオード１２１ｅ－１１の遮光膜１２１ｂ－１１により遮光されていない左半分の範囲では受光し易いが、図中の一点鎖線に対して入射角θ２を成す矢印で示される、図中の左上方向からの入射光は、フォトダイオード１２１ｅ－１１の遮光膜１２１ｂ－１１により遮光されていない左半分の範囲では受光し難い。したがって、図６の左上部のような構成の場合、図中の右上方からの入射光に対して受光感度特性が高く、左上方からの入射光に対して受光感度特性が低いといった入射角指向性を備えることになる。

【0131】

これに対して、例えば、図６の右上部のような構成の場合、図中の一点鎖線に対して入射角θ１１を成す矢印で示される、図中の右上方向からの入射光は、フォトダイオード１２１ｅ－１２の遮光膜１２１ｂ－１２により遮光されている左半分の範囲では受光し難いが、図中の一点鎖線に対して入射角θ１２を成す矢印で示される、図中の左上方向からの入射光は、フォトダイオード１２１ｅ－１２の遮光膜１２１ｂ－１２により遮光されていない右半分の範囲で受光し易い。したがって、図６の右上部のような構成の場合、図中の右上方からの入射光に対して受光感度特性が低く、左上方からの入射光に対して受光感度特性が高いといった入射角指向性を備えることになる。

【0132】

また、図６の左下部の場合、図中の左右にフォトダイオード１２１ｆ－１，１２１ｆ－２が設けられており、いずれかの一方の検出信号を読み出すようにすることで、遮光膜１２１ｂを設けることなく入射角指向性を有する構成とされている。

【0133】

すなわち、図６の左下部で示されるように、画素１２１ａに２個のフォトダイオード１２１ｆ－１，１２１ｆ－２が形成されている場合、図中の左側に設けられたフォトダイオード１２１ｆ－１の検出信号がこの画素１２１ａの検出信号レベルに寄与するようにすることで、図６の左上部における構成と同様の入射角指向性を備えるようにすることができる。すなわち、図中の一点鎖線に対して入射角θ２１を成す矢印で示される、図中の右上方向からの入射光は、フォトダイオード１２１ｆ－１に入射して受光され、その検出信号が読み出され、この画素１２１ａの検出信号レベルに寄与する。これに対して、図中の一点鎖線に対して入射角θ２２を成す矢印で示される、図中の左上方向からの入射光は、フォトダイオード１２１ｆ－２に入射するが、その検出信号は読み出されず、この画素１２１ａの検出信号レベルに寄与しない。

【0134】

同様に、図６の右下部で示されるように、画素１２１ａに２個のフォトダイオード１２１ｆ－１１，１２１ｆ－１２が形成されている場合、図中の左側に設けられたフォトダイオード１２１ｆ－１２の検出信号がこの画素１２１ａの検出信号レベルに寄与するようにすることで、図６の右上部における構成と同様の入射角指向性を備えるようにすることができる。すなわち、図中の一点鎖線に対して入射角θ３１を成す矢印で示される、図中の右上方向からの入射光は、フォトダイオード１２１ｆ－１１に入射するが、その検出信号は読み出されず、この画素１２１ａの検出信号レベルに寄与しない。これに対して、図中の一点鎖線に対して入射角θ３２を成す矢印で示される、図中の左上方向からの入射光は、フォトダイオード１２１ｆ－１２に入射して受光され、その検出信号が読み出され、この画素１２１ａの検出信号レベルに寄与する。

【0135】

なお、図６においては、垂直方向の一点鎖線が、フォトダイオード１２１ｅの受光面の図中の水平方向の中心位置である例について説明してきたが、説明の便宜上であり、その他の位置であってもよい。垂直方向の一点鎖線で示される遮光膜１２１ｂの水平方向の位置が異なることにより、異なる入射角指向性を生じさせることができる。

【0136】

＜オンチップレンズを含む構成における入射角指向性について＞
以上においては、入射角指向性の発生原理について説明してきたが、ここでは、オンチップレンズ１２１ｃを含めた構成における入射角指向性について説明する。

【0137】

すなわち、撮像素子１２１における各画素の入射角指向性は、上述した遮光膜１２１ｂによるものに加えて、オンチップレンズ１２１ｃを用いることにより、例えば、図７で示されるように設定される。すなわち、図７の中段左部においては、図中上方の入射方向より入射光を集光するオンチップレンズ１２１ｃ－１１、所定の波長の光を透過させるカラーフィルタ１２１ｄ－１１、および光電変換により画素信号を生成するフォトダイオード１２１ｅ－１１の順に積層され、図７の中段右部においては、図中上方の入射方向よりオンチップレンズ１２１ｃ－１２、カラーフィルタ１２１ｄ－１２、およびフォトダイオード１２１ｅ－１２の順に構成されている。

【0138】

なお、オンチップレンズ１２１ｃ－１１，１２１ｃ－１２、カラーフィルタ１２１ｄ－１１，１２１ｄ－１２、およびフォトダイオード１２１ｅ－１１，１２１ｅ－１２の、それぞれを区別する必要がない場合、単に、オンチップレンズ１２１ｃ、カラーフィルタ１２１ｄ、およびフォトダイオード１２１ｅと称する。

【0139】

撮像素子１２１においては、さらに、図７の中段左部、および中段右部のそれぞれに示されるように、入射光を受光する領域の一部を遮光する遮光膜１２１ｂ－１１，１２１ｂ－１２が設けられている。

【0140】

図７の中段左部で示されるように、図中のフォトダイオード１２１ｅ－１１の右側半分を遮光するような遮光膜１２１ｂ－１１が設けられている場合、図７の上段の実線の波形で示されるように、入射光の入射角度θに応じてフォトダイオード１２１ｅ－１１の検出信号レベルが変化する。

【0141】

すなわち、フォトダイオード１２１ｅおよびオンチップレンズ１２１ｃの中心位置であって、それぞれに対して垂直となる一点鎖線に対して、入射光のなす角である入射角度θが大きくなると（入射角度θが正の方向に大きくなると（図中の右方向に傾くと））、遮光膜１２１ｂ－１１が設けられていない範囲に光が集光されることで、フォトダイオード１２１ｅ－１１の検出信号レベルが大きくなる。逆に、入射角度θが小さいほど（入射角度θが負の方向に大きいほど（図中の左方向に傾くと））、遮光膜１２１ｂ－１１が設けられている範囲に光が集光されることで、フォトダイオード１２１ｅ－１１の検出信号レベルが小さくなる。

【0142】

なお、ここでいう入射角度θは、入射光の方向が一点鎖線と一致する場合を０度とし、図中の右上方からの入射光が入射する、図７の中段左側の入射角度θ２１側の入射角度θを正の値とし、図７の中段右側の入射角度θ２２側の入射角度θを負の値とする。したがって、図７においては、オンチップレンズ１２１ｃに対して、右上方より入射する入射光については、左上方より入射する入射光よりも入射角度が大きくなる。すなわち入射角度θは、図７において、入射光の進行方向が右に傾くほど大きくなり（正の方向に大きくなり）、左に傾くほど小さくなる（負の方向に大きくなる）ものとする。

【0143】

また、図７の中段右部で示されるように、図中のフォトダイオード１２１ｅ－１２の左側半分を遮光するような遮光膜１２１ｂ－１２が設けられている場合、図７の上段の点線の波形で示されるように、入射光の入射角度θに応じてフォトダイオード１２１ｅ－１２の検出信号レベルが変化する。

【0144】

すなわち、図７の上段における点線の波形で示されるように、フォトダイオード１２１ｅおよびオンチップレンズ１２１ｃの中心位置であって、それぞれに対して垂直となる一点鎖線に対して、入射光のなす角である入射角度θが大きいほど（入射角度θが正の方向に大きいほど）、遮光膜１２１ｂ－１２が設けられている範囲に光が集光されることで、フォトダイオード１２１ｅ－１２の検出信号レベルが小さくなる。逆に、入射角度θが小さいほど（入射角度θが負の方向に大きいほど）、遮光膜１２１ｂ－１２が設けられていない範囲に光が入射することで、フォトダイオード１２１ｅ－１２の検出信号レベルが大きくなる。

【0145】

なお、図７の上段においては、横軸が入射角度θであり、縦軸がフォトダイオード１２１ｅにおける検出信号レベルを示している。

【0146】

この図７の上段で示される入射角度θに応じた検出信号レベルを示す実線および点線で示される波形は、遮光膜１２１ｂの範囲に応じて変化させることができるので、これにより画素単位で相互に異なる入射角指向性を持たせる（設定する）ことが可能となる。なお、図７の上段における実線の波形は、図７の中段左部、および下段左部における入射光が、入射角度θを変化させて集光される様子を示す実線の矢印に対応している。また、図７の上段における点線の波形は、図７の中段右部、および下段右部における入射光が、入射角度θを変化させて集光される様子を示す点線の矢印に対応している。

【0147】

ここでいう入射角指向性とは、入射角度θに応じた各画素の検出信号レベルの特性（受光感度特性）であるが、図７の中段の例の場合、これは入射角度θに応じた遮光値の特性であるともいえる。すなわち、遮光膜１２１ｂは、特定の方向の入射光は高いレベルで遮光するが、特定の方向以外の方向からの入射光は十分に遮光できない。この遮光できるレベルの変化が、図７の上段で示されるような入射角度θに応じた異なる検出信号レベルを生じさせる。したがって、各画素において最も高いレベルで遮光可能な方向を各画素の遮光方向と定義すると、画素単位で相互に異なる入射角指向性を持つということは、換言すれば、画素単位で相互に異なる遮光方向を持つということになる。

【0148】

さらに、図７の下段左部で示されるように、１個のオンチップレンズ１２１ｃ－１１に対して２個のフォトダイオード１２１ｆ－１，１２１ｆ－２が設けられる構成とする（画素出力単位が２個のフォトダイオード１２１ｆ－１，１２１ｆ－２から構成される）ことにより、図中左部のフォトダイオード１２１ｆ－１のみの検出信号を用いるようにすることで、図７の中段左部におけるフォトダイオード１２１ｅ－１１の右側を遮光した状態と同じ検出信号レベルを求めるようにすることができる。

【0149】

すなわち、オンチップレンズ１２１ｃの中心位置であって、それぞれに対して垂直となる一点鎖線に対して、入射光のなす角である入射角度θが大きくなると（入射角度θが正の方向に大きくなると）、検出信号が読み出されるフォトダイオード１２１ｆ－１の範囲に光が集光されることで、検出信号レベルが大きくなる。逆に、入射角度θが小さいほど（入射角度θが負の方向に大きいほど）、検出値が読み出されないフォトダイオード１２１ｆ－２の範囲に光が集光されることで、検出信号レベルが小さくなる。

【0150】

また、同様に、図７の下段右部で示されるように、１個のオンチップレンズ１２１ｃ－１２に対して２個のフォトダイオード１２１ｆ－１１，１２１ｆ－１２が設けられる構成とすることにより、図中右部のフォトダイオード１２１ｆ－１２のみの検出信号を用いるようにすることで、図７の中段右部におけるフォトダイオード１２１ｅ－１２の左側を遮光した状態と同じ検出信号レベルの出力画素単位の検出信号を得るようにすることができる。

【0151】

すなわち、オンチップレンズ１２１ｃの中心位置であって、それぞれに対して垂直となる一点鎖線に対して、入射光のなす角である入射角度θが大きくなると（入射角度θが正の方向に大きくなると）、検出信号が出力画素単位の検出信号に寄与しないフォトダイオード１２１ｆ－１１の範囲に光が集光されることで、出力画素単位の検出信号の検出信号レベルが小さくなる。逆に、入射角度θが小さいほど（入射角度θが負の方向に大きいほど）、検出信号が出力画素単位の検出信号に寄与するフォトダイオード１２１ｆ－１２の範囲に光が集光されることで、出力画素単位の検出信号の検出信号レベルが大きくなる。

【0152】

なお、入射角指向性については、ランダム性が高い方が望ましい。例えば、隣り合う画素間で同一の入射角指向性を持つと、上述した式（１）乃至式（３）または、後述する式（４）乃至式（６）が相互に同一の式となる恐れがあり、連立方程式の解となる未知数と式の数の関係が満たせなくなり、復元画像を構成する画素値を求められなくなる恐れがあるためである。また、図７の中段で示される構成においては、画素１２１ａに、１個のフォトダイオード１２１ｅ－１１およびフォトダイオード１２１ｅ－１２が形成されている。これに対して、図７の下段で示される構成においては、画素１２１ａに、２個のフォトダイオード１２１ｆ－１および１２１ｆ－２、並びに、フォトダイオード１２１ｆ－１１および１２１ｆ－１２が形成されている。したがって、例えば、図７の下段においては、フォトダイオード１２１ｆの単体では、１画素は構成されない。

【0153】

また、図７の下段で示されるように、複数のフォトダイオード１２１ｆから１画素出力単位が構成される場合、入射角度に応じて、画素出力単位の出力画素値が変調されているとみなすことができる。したがって、出力画素値の特性（入射角指向性）を画素出力単位で異ならせることが可能となり、１画素出力単位での入射角指向性が設定される。さらに、複数のフォトダイオード１２１ｆから１画素出力単位が構成される場合、１画素出力単位での入射角指向性を生じさせる上で、１画素出力単位に対して１個のオンチップレンズ１２１ｃが必須構成となる。

【0154】

また、図７の上段で示されるように、１個のフォトダイオード１２１ｅ－１１またはフォトダイオード１２１ｅ－１２のそれぞれが１画素出力単位を構成する場合、入射角度に応じて、１画素出力単位を構成する１個のフォトダイオード１２１ｅ－１１またはフォトダイオード１２１ｅ－１２への入射光が変調されることにより、結果として出力画素値が変調される。したがって、出力画素値の特性（入射角指向性）が異ならせることが可能となり、１画素出力単位での入射角指向性が設定される。さらに、１個のフォトダイオード１２１ｅ－１１またはフォトダイオード１２１ｅ－１２のそれぞれが１画素出力単位を構成する場合、入射角指向性は、１画素出力単位毎に設けられる遮光膜１２１ｂにより独立して製造時に設定される。

【0155】

また、図７の下段で示されるように、複数のフォトダイオード１２１ｆから１画素出力単位が構成される場合、１画素出力単位毎の入射角指向性を設定するための複数のフォトダイオード１２１ｆの数（１画素出力単位を構成するフォトダイオード１２１ｆの分割数）や位置については、１画素出力単位で独立して製造時に設定され、さらに、このうち、どのフォトダイオード１２１ｆを用いて入射角指向性を設定するかについては、撮像時に切り替えるようにすることができる。

【0156】

＜入射角指向性の設定＞
例えば、図８の上段で示されるように、遮光膜１２１ｂの設定範囲が、画素１２１ａにおける水平方向について、左端部から位置Ａまでの範囲とし、垂直方向について、上端部から位置Ｂまでの範囲とする。

【0157】

この場合、各画素の水平方向の中心位置からの入射角度θｘ（ｄｅｇ）に応じた、入射角指向性の指標となる水平方向の０乃至１の重みＷｘを設定する。より詳細には、位置Ａに対応する入射角度θｘ＝θａにおいて、重みＷｘが０．５になると仮定した場合、入射角度θｘ＜θａ－αにおいて重みＷｘが１となり、θａ－α≦入射角度θｘ≦θａ＋αにおいて、重みＷｘが（－（θｘ－θａ）／２α＋１／２）となり、入射角度θｘ＞θａ＋αにおいて重みＷｘが０となるように重みＷｈを設定する。なお、ここでは、重みＷｈが０，０．５，１である例について説明するが、重みＷｈが０，０．５，１となるのは、理想的な条件が満たされるときとなる。

【0158】

同様に、各画素の垂直方向の中心位置からの入射角度θｙ（ｄｅｇ）に応じた、入射角指向性の指標となる垂直方向の０乃至１の重みＷｙを設定する。より詳細には、位置Ｂに対応する入射角度θｙ＝θｂにおいて、重みＷｖが０．５になると仮定した場合、入射角度θｙ＜θｂ－αにおいて重みＷｙが０となり、θｂ－α≦入射角度θｙ≦θｂ＋αにおいて、重みＷｙが（（θｙ－θｂ）／２α＋１／２）となり、入射角度θｙ＞θｂ＋αにおいて重みＷｙが１となるように重みＷｙを設定する。

【0159】

そして、このようにして求められた重みＷｘ，Ｗｙを用いることにより、それぞれの画素１２１ａの入射角指向性、すなわち、受光感度特性に対応する係数（係数セット）を求めることができる。

【0160】

また、このとき、水平方向の重みＷｘおよび垂直方向の重みＷｙが０．５の前後となる範囲における重みの変化を示す傾き（１／２α）は、焦点距離の異なるオンチップレンズ１２１ｃを用いることで設定することができる。

【0161】

すなわち、曲率の異なるオンチップレンズ１２１ｃを用いることで異なる焦点距離とすることができる。

【0162】

例えば、曲率の異なるオンチップレンズ１２１ｃを用いることで、図８の下段における実線で示されるように、焦点距離が、遮光膜１２１ｂ上になるように集光されるとき、傾き（１／２α）は、急峻になる。すなわち、図８の上段における、水平方向の重みＷｘおよび垂直方向の重みＷｙは、０．５付近となる水平方向の入射角度θｘ＝θａ、および、垂直方向の入射角度θｙ＝θｂの境界付近において、急激に０または１に変化する。

【0163】

また、例えば、曲率の異なるオンチップレンズ１２１ｃを用いることで、図８の下段における点線で示されるように、焦点距離が、フォトダイオード１２１ｅ上に集光されるとき、傾き（１／２α）は、緩くなる。すなわち、図８の上部における、水平方向の重みＷｘおよび垂直方向の重みＷｙが０．５付近となる水平方向の入射角度θｘ＝θａ、および、垂直方向の入射角度θｙ＝θｂの境界付近において、緩やかに０または１に変化する。

【0164】

以上のように、曲率の異なるオンチップレンズ１２１ｃを用いて、異なる焦点距離にすることで異なる入射角指向性、すなわち、異なる受光感度特性を得ることができる。

【0165】

したがって、画素１２１ａの入射角指向性は、遮光膜１２１ｂによりフォトダイオード１２１ｅが遮光される範囲と、オンチップレンズ１２１ｃの曲率とが異なるようにすることで異なる値に設定することができる。なお、オンチップレンズの曲率は、撮像素子１２１における全ての画素で同一でもよいし、一部の画素において異なる曲率であってもよい。

【0166】

＜オンチップレンズと撮像レンズとの違い＞
上述のように、撮像素子１２１は撮像レンズを必要としない。ただし、オンチップレンズ１２１ｃは、少なくとも、図５を参照して説明したような画素内の複数のフォトダイオードを用いて入射角指向性を実現する場合には必要である。オンチップレンズ１２１ｃと撮像レンズとは、物理的作用が異なるものである。

【0167】

撮像レンズは、同じ方向から入射した入射光を、互いに隣接する複数の画素へ入射させるための集光機能を持つ。これに対して、オンチップレンズ１２１ｃを通る光は、対応する１画素を構成するフォトダイオード１２１ｅまたは１２１ｆの受光面のみに入射される。換言するに、オンチップレンズ１２１ｃは、画素出力単位毎に設けられ、自身に入射する被写体光を対応する画素出力単位のみに集光する。すなわち、オンチップレンズ１２１ｃは、仮想点光源から出射した拡散光を、互いに隣接する複数の画素へ入射させるための集光機能を持たない。

【0168】

＜被写体面と撮像素子との距離の関係＞
次に、図９を参照して、被写体面と撮像素子１２１との距離の関係について説明する。

【0169】

図９の上段左部で示されるように、撮像素子１２１と被写体面１３１までの被写体距離が距離ｄ１である場合、例えば、被写体面１３１上の点光源ＰＡ，ＰＢ，ＰＣを設定するとき、対応する撮像素子１２１上の位置Ｐａ，Ｐｂ，Ｐｃにおける検出信号レベルＤＡ，ＤＢ，ＤＣが、上述した式（１）乃至式（３）と同一の式で表現できるものとする。

【0170】

ＤＡ＝α１×ａ＋β１×ｂ＋γ１×ｃ
・・・（１）
ＤＢ＝α２×ａ＋β２×ｂ＋γ２×ｃ
・・・（２）
ＤＣ＝α３×ａ＋β３×ｂ＋γ３×ｃ
・・・（３）

【0171】

これに対して、図９の下段左部で示されるように、撮像素子１２１との被写体距離が距離ｄ１よりもｄだけ大きな距離ｄ２である被写体面１３１'である場合、すなわち、撮像素子１２１から見て、被写体面１３１よりも奥の被写体面１３１'の場合、検出信号レベルは、図９の上段中央部、および下段中央部で示されるように、検出信号レベルＤＡ，ＤＢ，ＤＣいずれも同様である。

【0172】

しかしながら、この場合被写体面１３１'上の点光源ＰＡ'，ＰＢ'，ＰＣ'からの光強度がａ'，ｂ'，ｃ'の光線が撮像素子１２１の各画素において受光される。この際、撮像素子１２１上で受光される、光強度がａ'，ｂ'，ｃ'の光線の入射角度は異なる（変化する）ので、それぞれ異なる係数セットが必要となり、各位置Ｐａ，Ｐｂ，Ｐｃにおける検出信号レベルＤＡ，ＤＢ，ＤＣは、例えば、以下の式（４）乃至式（６）で示されるように表現されることになる。

【0173】

【数2】

【0174】

ここで、係数セットα１１，β１１，γ１１、係数セットα１２，β１２，γ１２、係数セットα１３，β１３，γ１３からなる係数セット群は、それぞれ被写体面１３１における係数セットα１，β１，γ１、係数セットα２，β２，γ２、係数セットα３，β３，γ３に対応する被写体面１３１'の係数セット群である。

【0175】

したがって、式（４）乃至式（６）を、予め設定された係数セット群α１１，β１１，γ１１，α１２，β１２，γ１２，α１３，β１３，γ１３を用いて解くことで、図９の上段右部で示される被写体面１３１における場合の点光源ＰＡ，ＰＢ，ＰＣにおける光線の光強度（ａ，ｂ，ｃ）を求めた手法と同様の手法で、図９の下段右部で示されるように、点光源ＰＡ'，ＰＢ'，ＰＣ'からの光線の光強度（ａ'，ｂ'，ｃ'）として求めることが可能となり、結果として、被写体面１３１'の被写体の復元画像を求めることが可能となる。

【0176】

すなわち、図１の撮像装置１００においては、撮像素子１２１からの被写体面までの距離毎の係数セット群を予め記憶しておき、係数セット群を切り替えて連立方程式を構成し、構成した連立方程式を解くことで、１個の検出画像に基づいて、様々な被写体距離の被写体面の復元画像を得ることが可能となる。

【0177】

つまり、検出画像を１回撮像するだけで、その後の処理で、被写体面までの距離に応じて係数セット群を切り替えて、復元画像を求めるようにすることで、任意の距離の復元画像を生成することも可能である。

【0178】

また、画像認識や可視画像や可視画像以外の被写体の特性を得たい場合は、復元画像を得てから復元画像を基に画像認識などを行わなくとも、撮像素子の検出信号に対し、ディープラーニング等の機械学習を適用し、検出信号自体を用いて画像認識などを行うことも可能である。

【0179】

また、被写体距離や画角が特定できるような場合については、全ての画素を用いずに、特定された被写体距離や画角に対応した被写体面の撮像に適した入射角指向性を有する画素の検出信号からなる検出画像を用いて、復元画像を生成するようにしてもよい。このようにすることで、特定された被写体距離や画角に対応した被写体面の撮像に適した画素の検出信号を用いて復元画像を求めることができる。

【0180】

例えば、図１０の上段で示されるように、４辺のそれぞれの端部から幅ｄ１だけ遮光膜１２１ｂにより遮光されている画素１２１ａと、図１０の下段で示されるように、４辺のそれぞれの端部から幅ｄ２（＞ｄ１）だけ遮光膜１２１ｂにより遮光されている画素１２１ａ'とを考える。

【0181】

画素１２１ａは、例えば、図１１の上段で示されるような、被写体となる人物Ｈ１０１の全体を含む画角ＳＱ１に対応する、図１０の画像Ｉ１を復元するために用いられる。これに対して、画素１２１ａ'は、例えば、図１１の上段で示されるような、被写体となる人物Ｈ１０１の顔の周辺がズームアップされた画角ＳＱ２に対応する、図１０の画像Ｉ２を復元するために用いられる。

【0182】

これは、図１０の画素１２１ａが、図１２の左部で示されるように、撮像素子１２１に対して入射光の入射可能角度範囲Ａとなるため、被写体面１３１上において、水平方向に被写体幅Ｗ１分の入射光を受光することができるからである。

【0183】

これに対して、図１０の画素１２１ａ'は、図１０の画素１２１ａよりも遮光される範囲が広いため、図１２の左部で示されるように、撮像素子１２１に対して入射光の入射可能角度範囲Ｂ（＜Ａ）となるため、被写体面１３１上において、水平方向に被写体幅Ｗ２（＜Ｗ１）分の入射光を受光するからである。

【0184】

つまり、遮光範囲が狭い図１０の画素１２１ａは、被写体面１３１上の広い範囲を撮像するのに適した広画角画素であるのに対して、遮光範囲が広い図１０の画素１２１ａ'は、被写体面１３１上の狭い範囲を撮像するのに適した狭画角画素である。なお、ここでいう広画角画素および狭画角画素は、図１０の画素１２１ａ，１２１ａ'の両者を比較する表現であって、その他の画角の画素を比較する上ではこの限りではない。

【0185】

なお、図１２は、撮像素子１２１の中心位置Ｃ１に対する、被写体面１３１上の位置と、それぞれの位置からの入射光の入射角度との関係を示している。また、図１２においては、被写体面１３１上の位置と、被写体面１３１上のそれぞれの位置からの入射光の入射角度との水平方向に対する関係が示されているが、垂直方向についても同様の関係となる。さらに、図１２の右部には、図１０における画素１２１ａ，１２１ａ'が示されている。

【0186】

このような構成により、図１１の下段で示されるように、撮像素子１２１における、点線で囲まれた範囲ＺＡに図１０の画素１２１ａを、一点鎖線で囲まれた範囲ＺＢに図１０の画素１２１ａ'を、それぞれ所定画素数ずつ集めて構成する場合、被写体幅Ｗ１に対応する画角ＳＱ１の画像を復元しようとするときには、画角ＳＱ１を撮像する図１０の画素１２１ａを用いるようにすることで、適切に被写体面１３１の被写体幅Ｗ１の画像を復元することができる。

【0187】

同様に、被写体幅Ｗ２に対応する画角ＳＱ２の画像を復元しようとするときには、画角ＳＱ２を撮像する図１０の画素１２１ａ'の検出信号レベルを用いるようにすることで、適切に被写体幅Ｗ２の画像を復元することができる。

【0188】

なお、図１１の下段においては、図中の左側に画素１２１ａ'が所定画素数だけ設けられ、右側に画素１２１ａが所定画素数だけ設けられた構成として示されているが、これは説明を簡単にするための例として示されたものであり、画素１２１ａと画素１２１ａ'とは、ランダムに混在して配置されることが望ましい。

【0189】

このように、画角ＳＱ２は、画角ＳＱ１よりも画角が狭いので、画角ＳＱ２と画角ＳＱ１の画像を同一の所定画素数で復元する場合、画角ＳＱ１の画像よりも、より狭い画角となる画角ＳＱ２の画像を復元する方が、より高画質な復元画像を得ることができる。

【0190】

つまり、同一画素数を用いて復元画像を得ることを考えた場合、より画角の狭い画像を復元する方が、より高画質な復元画像を得ることができる。

【0191】

なお、画角の広い画像を復元画像として得る場合、広画角画素の全画素を用いるようにしてもよいし、広画角画素の一部を用いるようにしてもよい。また、画角の狭い画像を復元画像として得る場合、狭画角画素の全画素を用いるようにしてもよいし、狭画角画素の一部を用いるようにしてもよい。

【0192】

以上のような撮像素子１２１を用いることにより、結果として、撮像レンズ、回折格子等からなる光学素子や、ピンホールなどが不要となるため（撮像レンズフリーとなるので）、装置の設計の自由度を高めることが可能になるとともに、入射光の入射方向に対する装置の小型化を実現することが可能となり、製造コストを低減することが可能となる。また、フォーカスレンズなどのような、光学像を結像させるための撮像レンズに相当するレンズも不要となる。

【0193】

さらに、撮像素子１２１を用いることにより、検出画像を取得するのみで、その後において、被写体距離や画角に応じた係数セット群を選択的に用いて構成した連立方程式を解いて復元画像を求めることで、様々な被写体距離や画角の復元画像を生成することが可能となる。

【0194】

さらに、撮像素子１２１は、画素単位で入射角指向性を持つことができるので、回折格子からなる光学フィルタと従来の撮像素子等と比較して、多画素化を実現することができ、また、高解像度で、かつ、高角度分解能の復元画像を得ることができる。一方、光学フィルタと従来の撮像素子とからなる撮像装置では、画素を微細化しても、光学フィルタの微細化による光回折の影響を受けるため、復元画像の高解像度化等の実現が難しい。

【0195】

また、撮像素子１２１は、回折格子からなる光学フィルタ等を必要としないので、使用環境が高温になって光学フィルタが熱で歪むといったことがない。したがって、このような撮像素子１２１を用いることにより、環境耐性の高い装置を実現することが可能となる。

【0196】

＜第１の変形例＞
図３の右部においては、撮像素子１２１の各画素１２１ａにおける遮光膜１２１ｂの構成として、垂直方向に対しては全体を遮光し、かつ、水平方向に対しての遮光幅や位置を変化させることにより、水平方向の入射角指向性の違いを持たせる例を示したが、遮光膜１２１ｂの構成はこの例に限定されない。例えば、水平方向に対して全体として遮光し、垂直方向の幅（高さ）や位置を変化させるようにして、垂直方向の入射角指向性の違いを持たせるようにしてもよい。

【0197】

なお、図３の右部で示される例のように、垂直方向に対しては画素１２１ａ全体を遮光し、かつ、水平方向に対して所定の幅で画素１２１ａを遮光する遮光膜１２１ｂは、横帯タイプの遮光膜１２１ｂと称する。これに対して、水平方向に対しては画素１２１ａ全体を遮光し、かつ、垂直方向に対して所定の高さで画素１２１ａを遮光する遮光膜１２１ｂは、縦帯タイプの遮光膜１２１ｂと称する。

【0198】

また、図１３の左部に示される例のように、縦帯タイプと横帯タイプの遮光膜１２１ｂを組み合わせて、画素１２１ａをＬ字型の遮光膜１２１ｂを設けるようにしてもよい。図１３の左部において、黒色で示される部分が遮光膜１２１ｂである。つまり、遮光膜１２１ｂ－２１乃至遮光膜１２１ｂ－２４は、それぞれ、画素１２１ａ－２１乃至画素１２１ａ－２４の遮光膜である。

【0199】

これらの各画素（画素１２１ａ－２１乃至画素１２１ａ－２４）は、図１３の右部に示されるような入射角指向性を有することになる。図１３の右部に示されるグラフは、各画素における受光感度を示している。横軸が入射光の水平方向（ｘ方向）の入射角度θｘを表し、縦軸が入射光の垂直方向（ｙ方向）の入射角度θｙを表している。そして、範囲Ｃ４内の受光感度が、範囲Ｃ４の外よりも高く、範囲Ｃ３内の受光感度が、範囲Ｃ３の外よりも高く、範囲Ｃ２内の受光感度が、範囲Ｃ２の外よりも高く、範囲Ｃ１内の受光感度が、範囲Ｃ１の外よりも高い。

【0200】

したがって、各画素について、範囲Ｃ１内となる、水平方向（ｘ方向）の入射角度θｘと、垂直方向（ｙ方向）の入射角度θｙとの条件を満たす入射光の検出信号レベルが最も高くなり、範囲Ｃ２内，範囲Ｃ３内，範囲Ｃ４内、および、範囲Ｃ４以外の範囲の条件の順に検出信号レベルが低くなることが示されている。このような受光感度の強度は、遮光膜１２１ｂにより遮光される範囲により決定される。

【0201】

また、図１３の左部において、各画素１２１ａ内のアルファベットは、カラーフィルタの色を示している（説明の便宜上記載したものであり、実際に表記されているものではない）。画素１２１ａ－２１は緑色のカラーフィルタが配置されるＧ画素であり、画素１２１ａ－２２は赤色のカラーフィルタが配置されるＲ画素であり、画素１２１ａ－２３は青色のカラーフィルタが配置されるＢ画素であり、画素１２１ａ－２４は緑色のカラーフィルタが配置されるＧ画素である。つまり、これらの画素は、ベイヤ配列を形成している。もちろん、これは一例であり、カラーフィルタの配列パタンは任意である。遮光膜１２１ｂの配置とカラーフィルタとは無関係である。例えば、一部または全部の画素において、カラーフィルタ以外のフィルタが設けられるようにしてもよいし、フィルタが設けられないようにしてもよい。

【0202】

図１３の左部においては、「Ｌ字型」の遮光膜１２１ｂが、画素１２１ａの図中左辺と下辺の側を遮光する例が示されているが、この「Ｌ字型」の遮光膜１２１ｂの向きは任意であり、図１３の例に限定されない。例えば、「Ｌ字型」の遮光膜１２１ｂが、画素１２１ａの図中下辺と右辺の側を遮光するようにしてもよいし、画素１２１ａの図中右辺と上辺の側を遮光するようにしてもよいし、画素１２１ａの図中上辺と左辺の側を遮光するようにしてもよい。もちろん、この遮光膜１２１ｂの向きは、画素毎に独立に設定することができる。なお、この「Ｌ字型」の遮光膜１２１ｂを「Ｌ字タイプの遮光膜１２１ｂ」とも総称する。

【0203】

以上においては遮光膜について説明したが、この例の説明は、画素内に配置した複数のフォトダイオードを選択的に用いることにより入射角指向性を持たせる場合にも適用することができる。つまり、例えば、分割位置（各部分領域の大きさや形状）や、各フォトダイオードの位置、大きさ、形状等を適切に設定したり、フォトダイオードを適切に選択したりすることにより、上述のＬ字タイプの遮光膜１２１ｂによる入射角指向性と同等の入射角指向性を実現することができる。

【0204】

＜第２の変形例＞
以上においては、横帯タイプ、縦帯タイプ、およびＬ字タイプの遮光膜について、遮光されている範囲がランダムに変化するように各画素に配置される例について説明してきたが、例えば、図１４の撮像素子１２１'で示されるように、矩形開口を設けた場合に、個々の画素において光線が受光する位置の近傍の範囲以外を遮光する遮光膜１２１ｂ（図中、黒色で示された範囲）を構成するようにしてもよい。

【0205】

すなわち、各画素について、矩形開口を設けた場合に、所定の被写体距離の被写体面を構成する点光源より出射される光線のうち、矩形開口を透過して受光される光線のみを受光するような入射角指向性を有するように遮光膜１２１ｂを設けるようにしてもよい。

【0206】

なお、図１４においては、例えば、水平方向の画素配列に対して、遮光膜１２１ｂの水平方向の幅が幅ｄｘ１，ｄｘ２，・・・ｄｘｎと変化しており、これが、ｄｘ１＜ｄｘ２＜・・・＜ｄｘｎの関係となる。同様に、垂直方向の画素配列に対して、遮光膜１２１ｂの垂直方向の高さが高さｄｙ１，ｄｙ２，・・・ｄｙｍと変化しており、これが、ｄｙ１＜ｄｙ２＜・・・＜ｄｘｍの関係となる。また、遮光膜１２１ｂの水平方向の幅、および垂直方向の幅の、それぞれの変化の間隔は、復元する被写体分解能（角度分解能）に依るものである。

【0207】

換言すれば、図１４の撮像素子１２１'における各画素１２１ａの構成は、水平方向および垂直方向に対して撮像素子１２１'内の画素配置に対応するように、遮光する範囲を変化させるような入射角指向性を持たせているといえる。

【0208】

より詳細には、図１４の各画素１２１ａの遮光範囲は、例えば、図１５の左部で示される画素１２１ａを用いて説明される規則に従って決定される。

【0209】

なお、図１５の右部は、図１４と同一の撮像素子１２１'の構成を示している。また、図１５の左部は、図１５（図１４と同一）の右部における撮像素子１２１'の画素１２１ａの構成を示している。

【0210】

図１５の左部で示されるように、画素１２１ａの上辺および下辺の端部から画素１２１ａ内に向かって、それぞれ幅ｄｘ１だけ遮光膜１２１ｂにより遮光し、左辺および右辺の端部から画素１２１ａ内に向かって、それぞれ高さｄｙ１だけ遮光膜１２１ｂにより遮光する。なお、図１５，図１６において、遮光膜１２１ｂは黒色で示された範囲である。

【0211】

図１５の左部において、遮光膜１２１ｂが、このように形成されることで遮光される範囲を、以降において、画素１２１ａの主遮光部Ｚ１０１（図１５左部の黒色部）と称し、それ以外の方形状の範囲を範囲Ｚ１０２と称する。

【0212】

画素１２１ａにおける、範囲Ｚ１０２内に、遮光膜１２１ｂにより遮光されない矩形開口部Ｚ１１１が設けられるものとする。したがって、範囲Ｚ１０２において、矩形開口部Ｚ１１１以外の範囲は、遮光膜１２１ｂにより遮光される。

【0213】

図１４の撮像素子１２１'内の画素配列は、図１５の右部（図１４と同一）で示されるように、左端部で、かつ、上端部の画素１２１ａ－１は、矩形開口部Ｚ１１１を、その左辺が画素１２１ａの左辺から幅ｄｘ１であって、その上辺が画素１２１ａの上辺からｄｙ１の距離に配置する構成とする。

【0214】

同様に、画素１２１ａ－１の右隣の画素１２１ａ－２は、矩形開口部Ｚ１１１を、その左辺が画素１２１ａの左辺から幅ｄｘ２であって、その上辺が画素１２１ａの上辺から高さｄｙ１の距離に配置して、矩形開口部Ｚ１１１以外の範囲を遮光膜１２１ｂにより遮光する構成とする。

【0215】

以下同様に、水平方向に隣接する画素１２１ａは、配置が図中の右側に進むに従って、矩形開口部Ｚ１１１の右辺が、画素１２１ａの右辺から幅ｄｘ１，ｄｘ２・・・ｄｘｎと移動する。なお、図１５の範囲Ｚ１０２における右上部の点線の方形部分が、矩形開口部Ｚ１１１を、その左辺が画素１２１ａの左辺から幅ｄｘｎであって、その上辺が画素１２１ａの上辺から高さｄｙ１の距離に配置したときの状態を示している。また、幅ｄｘ１，ｄｘ２・・・ｄｘｎのそれぞれの間隔は、範囲Ｚ１０２の水平方向の幅から矩形開口部Ｚ１１１の幅を引いた幅を水平方向の画素数ｎで割った値となる。すなわち、水平方向の画素数ｎで割ることにより水平方向の変化の間隔が決定される。

【0216】

また、撮像素子１２１'における画素１２１ａ内の矩形開口部Ｚ１１１の水平方向の位置は、撮像素子１２１'内における水平方向の位置が同一の画素１２１ａ（同一の列の画素１２１ａ）内において同一になる。

【0217】

さらに、画素１２１ａ－１の直下に隣接する画素１２１ａ－３は、矩形開口部Ｚ１１１を、その左辺が画素１２１ａの左辺から幅ｄｘ１であって、その上辺が画素１２１ａの上辺から高さｄｙ２の距離に配置して、矩形開口部Ｚ１１１以外の範囲を遮光膜１２１ｂにより遮光する構成とする。

【0218】

以下同様に、垂直方向に隣接する画素１２１ａは、配置が図中の下側に進むに従って、矩形開口部Ｚ１１１の上辺が、画素１２１ａの上辺から高さｄｙ１，ｄｙ２・・・ｄｙｎと移動する。なお、図１５の範囲Ｚ１０２における左下部の点線の方形部分が、矩形開口部Ｚ１１１を、その左辺が画素１２１ａの左辺から幅ｄｘ１であって、その上辺が画素１２１ａの上辺から高さｄｙｍの距離に配置したときの状態を示している。また、高さｄｙ１，ｄｙ２・・・ｄｙｍのそれぞれの間隔は、範囲Ｚ１０２の垂直方向の高さから矩形開口部Ｚ１１１の高さを引いた高さを垂直方向の画素数ｍで割った値となる。すなわち、垂直方向の画素数ｍで割ることにより垂直方向の変化の間隔が決定される。

【0219】

また、撮像素子１２１'における画素１２１ａ内の矩形開口部Ｚ１１１の垂直方向の位置は、撮像素子１２１'内における垂直方向の位置が同一の画素１２１ａ（同一の行の画素１２１ａ）内において同一になる。

【0220】

さらに、図１５（図１４）で示される撮像素子１２１'を構成する各画素１２１ａの主遮光部Ｚ１０１、および矩形開口部Ｚ１１１を変化させることで、画角を変化させることができる。

【0221】

図１６の右部は、図１５（図１４）の撮像素子１２１'に対して画角を広くする場合の撮像素子１２１'の構成を示している。また、図１６の左部は、図１６の右部における撮像素子１２１'の画素１２１ａの構成を示している。

【0222】

すなわち、図１６の左部で示されるように、例えば、画素１２１ａ内に、図１５における主遮光部Ｚ１０１よりも遮光範囲が狭い主遮光部Ｚ１５１（図１６左部の黒色部）を設定し、それ以外の範囲を範囲Ｚ１５２に設定する。さらに、範囲Ｚ１５２内に、矩形開口部Ｚ１１１よりも開口面積が広い矩形開口部Ｚ１６１を設定する。

【0223】

より詳細には、図１６の左部で示されるように、画素１２１ａの上辺および下辺の端部から画素１２１ａ内に向かって、それぞれ幅ｄｘ１'（＜ｄｘ１）だけ遮光膜１２１ｂにより遮光され、左辺および右辺の端部から画素１２１ａ内に向かって、それぞれ高さｄｙ１'（＜ｄｙ１）だけ遮光膜１２１ｂにより遮光されることで、矩形開口部Ｚ１６１が形成される。

【0224】

ここで、図１６の右部で示されるように、左端部で、かつ、上端部の画素１２１ａ－１は、矩形開口部Ｚ１６１を、その左辺が画素１２１ａの左辺から幅ｄｘ１'であって、その上辺が画素１２１ａの上辺から高さｄｙ１'の距離に配置して、矩形開口部Ｚ１６１以外の範囲を遮光膜１２１ｂにより遮光する構成とする。

【0225】

同様に、画素１２１ａ－１の右隣の画素１２１ａ－２は、矩形開口部Ｚ１６１を、その左辺が画素１２１ａの左辺から幅ｄｘ２'であって、その上辺が画素１２１ａの上辺から高さｄｙ１'に配置して、矩形開口部Ｚ１６１以外の範囲を遮光膜１２１ｂにより遮光する構成とする。

【0226】

以下同様に、水平方向に隣接する画素１２１ａは、配置が図中の右側に進むに従って、矩形開口部Ｚ１６１の右辺が、画素１２１ａの右辺から幅ｄｘ１'、ｄｘ２'・・・ｄｘｎ'と移動する。ここで、幅ｄｘ１'、ｄｘ２'・・・ｄｘｎ'のそれぞれの間隔は、範囲Ｚ１５２の水平方向の幅から矩形開口部Ｚ１６１の水平方向の幅を引いた幅を、水平方向の画素数ｎで割った値となる。すなわち、水平方向の画素数ｎで割ることにより垂直方向の変化の間隔が決定される。したがって、幅ｄｘ１'、ｄｘ２'・・・ｄｘｎ'の変化の間隔は、幅ｄｘ１、ｄｘ２・・・ｄｘｎの変化の間隔より大きくなる。

【0227】

また、図１６の撮像素子１２１'における画素１２１ａ内の矩形開口部Ｚ１６１の水平方向の位置は、撮像素子１２１'内における水平方向の位置が同一の画素１２１ａ（同一の列の画素１２１ａ）内において同一になる。

【0228】

さらに、画素１２１ａ－１の直下に隣接する画素１２１ａ－３は、矩形開口部Ｚ１６１を、その左辺が画素１２１ａの左辺から幅ｄｘ１'であって、その上辺が画素１２１ａの上辺から高さｄｙ２'に配置して、矩形開口部Ｚ１６１以外の範囲を遮光膜１２１ｂにより遮光する構成とする。

【0229】

以下同様に、垂直方向に隣接する画素１２１ａは、配置が図中の下側に進むに従って、矩形開口部Ｚ１６１の上辺が、画素１２１ａの上辺から高さｄｙ１'、ｄｙ２'・・・ｄｙｍ'と変化する。ここで、高さｄｙ１'、ｄｙ２'・・・ｄｙｍ'の変化の間隔は、範囲Ｚ１５２の垂直方向の高さから矩形開口部Ｚ１６１の高さを引いた高さを垂直方向の画素数ｍで割った値となる。すなわち、垂直方向の画素数ｍで割ることにより垂直方向の変化の間隔が決定される。したがって、高さｄｙ１'、ｄｙ２'・・・ｄｙｍ'の変化の間隔は、幅高さｄｙ１、ｄｙ２・・・ｄｙｍの変化の間隔より大きくなる。

【0230】

また、図１６の撮像素子１２１'における画素１２１ａ内の矩形開口部Ｚ１６１の垂直方向の位置は、撮像素子１２１'内における垂直方向の位置が同一の画素１２１ａ（同一の行の画素１２１ａ）内において同一になる。

【0231】

このように、主遮光部の遮光範囲と開口部の開口範囲との組み合わせを変化させることで、様々な画角の（様々な入射角指向性を持った）画素１２１ａからなる撮像素子１２１'を実現することが可能となる。

【0232】

さらに、同一の画角の画素１２１ａのみならず、様々な画角の画素１２１ａを組み合わせて撮像素子１２１を実現させるようにしてもよい。

【0233】

例えば、図１７で示されるように、点線で示される２画素×２画素からなる４画素を１個の単位Ｕとして、それぞれの単位Ｕが、広画角の画素１２１ａ－Ｗ、中画角の画素１２１ａ－Ｍ、狭画角の画素１２１ａ－Ｎ、極狭画角の画素１２１ａ－ＡＮの４画素から構成されるようにする。

【0234】

この場合、例えば、全画素１２１ａの画素数がXである場合、４種類の画角ごとにX/4画素ずつの検出画像を用いて復元画像を復元することが可能となる。この際、画角毎に異なる４種類の係数セットが使用されて、４種類の異なる連立方程式により、それぞれ異なる画角の復元画像が復元される。

【0235】

このため、復元する画角の復元画像を、復元する画角の撮像に適した画素から得られる検出画像を用いて復元することで、４種類の画角に応じた適切な復元画像を復元することが可能となる。

【0236】

また、４種類の画角の中間の画角や、その前後の画角の画像を、４種類の画角の画像から補間生成するようにしてもよく、様々な画角の画像をシームレスに生成することで、疑似的な光学ズームを実現するようにしてもよい。

【0237】

以上においては遮光膜について説明したが、この例の説明は、画素内に配置した複数のフォトダイオードを選択的に用いることにより入射角指向性を持たせる場合にも適用することができる。つまり、例えば、分割位置（各部分領域の大きさや形状）や、各フォトダイオードの位置、大きさ、形状等を適切に設定したり、フォトダイオードを適切に選択したりすることにより、上述した矩形開口を有する遮光膜１２１ｂによる入射角指向性と同等の入射角指向性を実現することができる。勿論、この場合も、様々な画角の画素１２１ａを組み合わせて撮像素子１２１を実現させることもできる。また、中間の画角や、その前後の画角の画像を、複数種類の画角の画像から補間生成するようにしてもよく、様々な画角の画像をシームレスに生成することで、疑似的な光学ズームを実現するようにしてもよい。

【0238】

＜第３の変形例＞
ところで、撮像素子１２１における画素１２１ａの遮光膜１２１ｂの遮光している範囲にランダム性を持たせている場合、遮光膜１２１ｂの遮光している範囲の違いの乱雑さが大きいほど、復元部１２４等による処理の負荷は大きなものとなる。そこで、画素１２１ａの遮光膜１２１ｂの遮光している範囲の違いの一部を規則的なものとして、この違いの乱雑さを低減させることで、処理負荷を低減させるようにしてもよい。

【0239】

例えば、縦帯タイプと横帯タイプとを組み合わせたＬ字タイプの遮光膜１２１ｂを構成するようにして、所定の列方向に対しては、同一幅の横帯タイプの遮光膜１２１ｂを組み合わせ、所定の行方向に対しては、同一の高さの縦帯タイプの遮光膜１２１ｂを組み合わせるようにする。このようにすることにより、各画素１２１ａの遮光膜１２１ｂの遮光範囲が、列方向および行方向で規則性を持たせつつ、画素単位ではランダムに異なる値に設定されるようになる。その結果、各画素１２１ａの遮光膜１２１ｂの遮光範囲の違い、すなわち、各画素の入射角指向性の違いの乱雑さを低減させ、復元部１２４等の撮像素子１２１の外部の処理負荷を低減させることができる。

【0240】

例えば、図１８の撮像素子１２１''の場合、範囲Ｚ１３０で示される同一列の画素については、いずれも同一の幅Ｘ０の横帯タイプの遮光膜１２１ｂが用いられ、範囲Ｚ１５０で示される同一行の画素については、同一の高さＹ０の縦帯タイプの遮光膜１２１ｂが用いられ、各行列で特定される画素１２１ａについては、これらが組み合わされたＬ字タイプの遮光膜１２１ｂが設定されている。

【0241】

同様に、範囲Ｚ１３０に隣接する範囲Ｚ１３１で示される同一列の画素については、いずれも同一の幅Ｘ１の横帯タイプの遮光膜１２１ｂが用いられ、範囲Ｚ１５０に隣接する範囲Ｚ１５１で示される同一行の画素については、同一の高さＹ１の縦帯タイプの遮光膜１２１ｂが用いられ、各行列で特定される画素１２１ａについては、これらが組み合わされたＬ字タイプの遮光膜１２１ｂが設定されている。

【0242】

さらに、範囲Ｚ１３１に隣接する範囲Ｚ１３２で示される同一列の画素については、いずれも同一の幅Ｘ２の横帯タイプの遮光膜が用いられ、範囲Ｚ１５１に隣接する範囲Ｚ１５２で示される同一行の画素については、同一の高さＹ２の縦帯タイプの遮光膜が用いられ、各行列で特定される画素１２１ａについては、これらが組み合わされたＬ字タイプの遮光膜１２１ｂが設定されている。

【0243】

このようにすることで、遮光膜１２１ｂの水平方向の幅および位置、並びに、垂直方向の高さおよび位置に規則性を持たせつつ、画素単位で遮光膜の範囲を異なる値に設定することができるので、入射角指向性の違いの乱雑さを抑え込むことができる。結果として、係数セットのパタンを低減させることが可能となり、後段（例えば、復元部１２４等）における演算処理の処理負荷を低減させることが可能となる。

【0244】

＜第４の変形例＞
画素単位の遮光膜１２１ｂの形状のバリエーションは、任意であり、上述した各例に限定されない。例えば、遮光膜１２１ｂを三角形に設定し、その範囲を異なるものとすることで異なる入射角指向性を持たせる（設定する）ようにしてもよいし、遮光膜１２１ｂを円形に設定し、その範囲を異なるものとすることで異なる入射角指向性を持たせるようにしてもよい。また、例えば、斜め方向の線状の遮光膜などでも良い。

【0245】

また、所定数の複数の画素からなるパターンユニットを構成する複数の画素単位で遮光膜１２１ｂのバリエーション（パターン）を設定するようにしてもよい。この１パターンユニットはどのような画素により構成されるようにしてもよい。例えば、撮像素子１２１がカラーフィルタを備えるものとし、そのカラーフィルタの色配列の単位を構成する画素により構成されるようにしてもよい。また、露光時間の異なる画素を組み合わせた画素グループをパターンユニットとするようにしてもよい。なお、パターンユニットを構成する各画素における遮光膜１２１ｂが遮光する範囲のパタンのランダム性が高い方が、すなわち、パターンユニットを構成する画素がそれぞれに異なる入射角指向性を備えている方が望ましい。

【0246】

また、パターンユニット間で遮光膜１２１ｂの配置パタンを設定するようにしてもよい。例えば、パターンユニット毎に、遮光膜の幅や位置を変えるようにしてもよい。さらに、異なるカテゴリで分類される複数の画素からなるパターンユニット内やパターンユニット間で遮光膜１２１ｂが遮光する範囲のパタンを設定するようにしてもよい。

【0247】

以上においては遮光膜について説明したが、この例の説明は、画素内に配置した複数のフォトダイオードを選択的に用いることにより入射角指向性を持たせる場合にも適用することができる。つまり、例えば、分割位置（各部分領域の大きさや形状）や、各フォトダイオードの位置、大きさ、形状等を適切に設定したり、フォトダイオードを適切に選択したりすることにより、上述した画素１２１ａの遮光膜１２１ｂの遮光している範囲の変化の一部を規則的なものとした場合の入射角指向性と同等の入射角指向性を実現することができる。このようにすることにより、各画素の入射角指向性における乱雑さを低減させ、復元部１２４等の撮像素子１２１の外部の処理負荷を低減させることができる。

【0248】

以上においては遮光膜について説明したが、この例の説明は、画素内に配置した複数のフォトダイオードを選択的に用いることにより入射角指向性を持たせる場合にも適用することができる。つまり、分割位置（各部分領域の大きさや形状）や、各フォトダイオードの位置、大きさ、形状等を適切に設定したり、フォトダイオードを適切に選択したりすることにより、例えば、三角形、円形、斜め方向の線状等の、任意の形状の遮光膜による入射角指向性と同等の入射角指向性を実現することができる。

【0249】

また、例えば、分割位置（各部分領域の大きさや形状）の設定、各フォトダイオードの位置、大きさ、形状等の設定、およびフォトダイオードの選択等を、上述した遮光膜１２１ｂの場合と同様に、パターンユニット毎に設定するようにしてもよい。

【0250】

＜フォトダイオードの制御＞
図５を参照して上述したような画素内に配置した複数のフォトダイオードを選択的に用いる場合、複数のフォトダイオード１２１ｆのそれぞれの画素出力単位の出力画素値への寄与の有無や程度を切り替えることにより画素出力単位の出力画素値の入射角指向性を様々に変化させることができるようにしてもよい。

【0251】

例えば、図１９に示されるように、画素１２１ａに、フォトダイオード１２１ｆ－１１１乃至１２１ｆ－１１９の９個（縦３個×横３個）のフォトダイオード１２１ｆが配置されているとする。この場合、この画素１２１ａを、フォトダイオード１２１ｆ－１１１乃至１２１ｆ－１１９を有する画素１２１ａ－ｂとして用いるようにしてもよいし、フォトダイオード１２１ｆ－１１１、１２１ｆ－１１２、１２１ｆ－１１４、および１２１ｆ－１１５を有する画素１２１ａ－ｓとして用いるようにしてもよい。

【0252】

例えば、画素１２１ａを画素１２１ａ－ｂとする場合、フォトダイオード１２１ｆ－１１１乃至１２１ｆ－１１９の当該画素１２１ａの出力画素値への寄与の有無や度合いを制御することによって出力画素値の入射角指向性が制御される。これに対して、画素１２１ａを画素１２１ａ－ｓとする場合、フォトダイオード１２１ｆ－１１１、１２１ｆ－１１２、１２１ｆ－１１４、および１２１ｆ－１１５の当該画素１２１ａの出力画素値への寄与の有無や度合を制御することによって出力画素値の入射角指向性が制御される。この場合、その他のフォトダイオード１２１ｆ（フォトダイオード１２１ｆ－１１３、１２１ｆ－１１６、１２１ｆ－１１７乃至１２１ｆ－１１９）は、出力画素値に寄与しないように制御される。

【0253】

つまり、例えば複数の画素１２１ａ－ｂ間で出力画素値の入射角指向性が互いに異なる場合、フォトダイオード１２１ｆ－１１１乃至１２１ｆ－１１９の内の少なくともいずれか１つの出力画素値への寄与の有無や度合いが異なる。これに対して、例えば複数の画素１２１ａ－ｓ間で出力画素値の入射角指向性が互いに異なる場合、フォトダイオード１２１ｆ－１１１、１２１ｆ－１１２、１２１ｆ－１１４、および１２１ｆ－１１５の内の少なくともいずれか１つの出力画素値への寄与の有無や度合いが異なり、その他のフォトダイオード１２１ｆ－１１３、１２１ｆ－１１６、１２１ｆ－１１７乃至１２１ｆ－１１９は、これらの画素間で共通して、出力画素値に寄与しない。

【0254】

なお、画素１２１ａを画素１２１ａ－ｂとするか画素１２１ａ－ｓとするかは、画素毎に設定することができる。また、この設定をパターンユニット（複数画素）毎に行うことができるようにしてもよい。

【0255】

また、上述したように撮像素子１２１の各画素（各画素出力単位）にはオンチップレンズが１つ形成される。つまり、画素１２１ａが図１９に示される例のような構成の場合、図２０に示されるように、そのフォトダイオード１２１ｆ－１１１乃至１２１ｆ－１１９に対して１つのオンチップレンズ１２１ｃが設けられる。したがって、図１９を参照して説明したように画素１２１ａを画素１２１ａ－ｂとする場合も、画素１２１ａ－ｓとする場合も、１画素（１画素出力単位）と１つのオンチップレンズ１２１ｃとが１対１に対応する。

【0256】

＜入射角指向性のずれ＞
図８を参照して説明したように、遮光膜を用いて画素の入射角指向性を設定する場合、遮光膜の位置（設定範囲）によって、重み（Wx,Wy）が半値（0.5）となる角度（θx,θy）が決まる。

【0257】

例えば、図２１のＡに示されるように、画素に入射する入射光３０１は、オンチップレンズ１２１ｃにより集光され、遮光膜１２１ｂに照射される部分はその遮光膜１２１ｂにより遮光され、それ以外の部分はフォトダイオード１２１ｅにより受光される。

【0258】

この入射光３０１の入射角度（θxまたはθy）が変化すると、遮光膜１２１ｂ付近における、集光された入射光３０１（スポット光）の位置（フォトダイオード１２１ｅと平行な平面方向の位置）が変化する。つまり、フォトダイオード１２１ｅに受光される光量が変化するので、図８の重み（WxまたはWy）がグラフのように変化する。

【0259】

例えば、設計値では、図２１のＡのように、遮光膜１２１ｂがフォトダイオード１２１ｅの半分を覆っているものとする。この場合、入射光３０１の入射角度（θxまたはθy）が垂直のときに、フォトダイオード１２１ｅが受光する光量がオンチップレンズ１２１ｃに入射した時の２分の１となる。つまり、重み（WxまたはWy）が半値（0.5）となる。

【0260】

例えば製造時において、図２１のＢの矢印３１１のように遮光膜１２１ｂの位置がずれると、この重み（WxまたはWy）が半値（0.5）となる入射角度（θxまたはθy）が垂直から変化し、図２１のＢの例のように図中斜め方向となる。つまり、図８に示される重み（Wx,Wy）のグラフが、角度（θx,θy）方向にシフトする。

【0261】

また、オンチップレンズ１２１ｃの高さ（フォトダイオード１２１ｅからの距離）によって、図８に示される重み（Wx,Wy）のグラフの傾きが決まる。

【0262】

例えば、図２２のＡに示されるように、オンチップレンズ１２１ｃとフォトダイオード１２１ｅ（遮光膜１２１ｂ）との距離が遠くなる程、遮光膜１２１ｂ上のスポット光の半径ｓがより小さくなる。逆に、例えば、図２２のＢに示されるように、オンチップレンズ１２１ｃとフォトダイオード１２１ｅ（遮光膜１２１ｂ）との距離が近づく程（両矢印３２１）、遮光膜１２１ｂ上のスポット光の半径ｓが大きくなる。

【0263】

図２３において、画素３３０の白地の領域は遮光膜１２１ｂにより遮光されていない開口部３３１であり、グレー地の領域は遮光膜１２１ｂにより遮光されている遮光部３３２であるとする。例えば、図２３のＡのスポット光３４１（または図２３のＢのスポット光３４２）が図中両矢印の方向に移動すると、入射光３０１の全部がフォトダイオード１２１ｅに届くようになったり、一部が届くようになったり、全く届かなくなったりする。

【0264】

その際、スポット光３４１は、その半径ｓがスポット光３４２に比べて小さいので、スポット光３４２の場合に比べて僅かの移動量により、スポット光３４１の全体が開口部３３１から遮光部３３２まで移動する。つまり、同一の移動量に対するフォトダイオード１２１ｅに届く光量の変化が大きい。つまり、入射光３０１の入射角度（θxまたはθy）の変化に対するフォトダイオード１２１ｅの感度の変化が大きい。つまり、図８に示される重み（Wx,Wy）のグラフの傾きが大きい。

【0265】

これに対して、スポット光３４２は、スポット光３４１に比べてスポット径が大きいので、スポット光３４２の全体が開口部３３１から遮光部３３２に移るまでの移動量が、スポット光３４１の場合よりも大きい。

【0266】

つまり、図８に示される重み（Wx,Wy）のグラフの傾きがオンチップレンズ１２１ｃの高さに依存する。

【0267】

したがって、例えば、設計値では図２２のＡのような高さであったオンチップレンズ１２１ｃが、製造時において、図２２のＢの高さにずれると、その高さの変化（両矢印３２１）の分、重み（Wx,Wy）のグラフの傾きが変化する（緩やかになる）。

【0268】

以上のように、遮光膜１２１ｂの位置やオンチップレンズ１２１ｃの高さが設計値から変化することにより入射角指向性が変化すると、同一の光量および入射角度の入射光に対して、その画素で検出される検出信号の値が変化する。すなわち、検出信号（検出画像）に誤差（個体差）が生じる。

【0269】

復元画像は、検出信号に対して復元行列を用いて所定の演算が行うことにより復元される。この復元行列は、例えば撮像素子１２１の設計値等の既知の情報に基づいて設定され、撮像素子１２１の特性（設計値）に適した係数を有する。つまり、実際の撮像素子１２１の特性がその設計値通りであるならば、その撮像素子１２１において得られる検出信号の特性と復元行列の特性とが一致し、正確な復元画像を復元することができる。

【0270】

しかしながら、製造時等において上述のように入射角指向性が変化することにより検出信号に誤差が生じると、復元行列が対応する撮像素子１２１の特性（例えば設計値）と、検出信号が対応する撮像素子１２１の特性（実際の値）とが一致せず、生成される復元画像が不正確なものとなるおそれがあった。

【0271】

そこでこの入射角指向性の較正を行うことが考えられる。より具体的には、復元行列の特性を、撮像素子１２１の実際の特性に合わせる（または、より近似させる）ように較正することが考えられる。なお、撮像素子１２１の実際の特性（すなわち検出信号（検出画像））を、復元行列の特性に合わせる（または、より近似させる）ように較正してもよい。

【0272】

検出信号を生成する画素の遮光は、図８の例のようにＸ方向とＹ方向の両方向に行われるので、図８に示される重み（Wx,Wy）のグラフもＸ方向とＹ方向の両方向に形成される。なお、このX方向およびY方向は、受光面と平行な面の互いに直角な2方向を示す。つまり、検出信号を生成する画素出力単位である画像復元用画素出力単位は、少なくともその１部の画素出力単位が、受光面に沿った互いに直角なＸ方向とＹ方向の両方向（例えば画素出力単位の行列の行方向および列方向の双方）に入射角指向性を有する。換言するに、画像復元用画素出力単位は、受光面に沿って複数方向（平面方向または多方向とも称する）に入射角指向性を有する。したがって、このような画像復元用画素出力単位（平面方向指向性画素出力単位、複数方向指向性画素出力単位、または多方向指向性画素出力単位とも称する）の入射角指向性の較正は、このようなＸ方向とＹ方向のそれぞれについて行う必要がある。

【0273】

ただし、このような画像復元用画素出力単位の検出信号は、画素の重み、すなわち、Ｘ方向の重みとＹ方向の重みとの乗算結果に対応するものとなる。そのため、そのような検出信号からでは、Ｘ方向の重みとＹ方向の重みとをそれぞれ求めることが困難であり、入射角指向性の較正を行うことが困難であった。

【0274】

＜較正用画素の利用＞
そこで、撮像素子１２１において、撮像レンズおよびピンホールのいずれも介さずに入射する入射光に対する入射角指向性を独立に設定可能な構成を有する複数の画素出力単位を備え、その複数の画素出力単位は、行列状に配置され、少なくとも１部の画素出力単位が、その行列の行方向及び列方向の双方に入射角指向性を有する複数の画像復元用画素出力単位（複数方向指向性画素出力単位）と、その行列の行方向にのみまたはその行列の列方向にのみ入射角指向性を有する一方向指向性画素出力単位（単一方向指向性画素出力単位）とを含むようにする。

【0275】

このように撮像素子１２１を用いることにより、復元行列の較正を、より容易に行うことができる。つまり、復元行列の特性を、撮像素子１２１の各画素の実際の入射角指向性に合わせる（または、より近似させる）ように較正することができる。したがって、より正確な復元画像を生成することができる。

【0276】

＜受光部＞
＜構成＞
図２４は、その場合の、撮像素子１２１の受光部１１１の主な構成例を示す図である。図２４において、受光部１１１の白地の有効画素領域４０１は、検出信号が生成される有効画素（画像復元用画素出力単位）が配置される領域である。画素１２１ａは、受光部１１１に形成される画素行列の内の有効画素領域４０１内に形成される画素（画像復元用画素出力単位）である。なお、図２４においては、１つの画素１２１ａについてのみ符号を付し、その他については省略しているが、有効画素領域４０１内の画素は全て画素１２１ａである。

【0277】

この画素１２１ａは、有効画素領域４０１内に行列状に配置される。また、画素１２１ａは、撮像レンズおよびピンホールのいずれも介さずに入射する入射光を受光する。さらに、画素１２１ａは、入射角指向性を有し、入射光の入射角によって変調された出力画素値を示す検出信号を１つ出力する。また、画素１２１ａは、被写体からの入射光に対する入射角指向性を画素出力単位毎に独立に設定可能な構成を有する。図２４の例の場合、画素１２１ａは、その入射角指向性を画素出力単位毎に独立に設定可能な構成として、遮光膜を有する。

【0278】

遮光膜１２１ｂは、その画素１２１ａに形成される遮光膜を示す。図２４に示されるように、遮光膜１２１ｂは、受光面に沿った互いに直角なＸ方向（画素行列の行方向（すなわち、図中横方向））とＹ方向（画素行列の列方向（すなわち、図中縦方向））との両方に一部を遮光するＬ字型である。つまり、画素１２１ａ（画像復元用画素出力単位）は、このＸ方向とＹ方向の両方向（画素行列の行方向および列方向）に入射角指向性を有する（平面方向指向性画素出力単位である）。

【0279】

また、受光部１１１のグレー地の較正用画素領域４０２は、較正のために用いられる較正用画素が配置される領域である。

【0280】

較正用画素４１１－１は、受光部１１１に形成される画素行列の内の較正用画素領域４０２内に形成される画素であり、画素１２１ａ群のＹ方向（画素行列の列方向（すなわち、図中上側と下側））に形成される画素である。なお、図２４においては、１つの較正用画素４１１－１についてのみ符号を付し、その他については省略しているが、較正用画素領域４０２の、画素１２１ａ群のＹ方向に形成される画素は全て較正用画素４１１－１である。

【0281】

較正用画素４１１－２は、受光部１１１に形成される画素行列の内の較正用画素領域４０２内に形成される画素であり、画素１２１ａ群のＸ方向（画素行列の行方向（すなわち、図中右側と左側））に形成される画素である。なお、図２４においては、１つの較正用画素４１１－２についてのみ符号を付し、その他については省略しているが、較正用画素領域４０２の、画素１２１ａ群のＸ方向に形成される画素は全て較正用画素４１１－２である。

【0282】

較正用画素４１１－１および較正用画素４１１－２を互いに区別して説明する必要がない場合、較正用画素４１１と称する。

【0283】

較正用画素４１１－１は、横帯タイプの遮光膜４１２－１を有する。すなわち、較正用画素４１１－１は、Ｘ方向（画素行列の行方向）にのみ入射角指向性を有する（一方向指向性画素出力単位である）。また、較正用画素４１１－２は、縦帯タイプの遮光膜４１２－２を有する。すなわち、較正用画素４１１－２は、Ｙ方向（画素行列の列方向）にのみ入射角指向性を有する（一方向指向性画素出力単位である）。つまり、較正用画素４１１は、画素行列の行方向にのみ、または、列方向にのみ、入射角指向性を有する。

【0284】

遮光膜４１２－１および遮光膜４１２－２を互いに区別して説明する必要がない場合、遮光膜４１２と称する。

【0285】

以上のように、受光部１１１には、受光面に平行な複数方向に入射角指向性を有する画素１２１ａ（画像復元用画素出力単位）と、受光面に平行な単一方向にのみ入射角指向性を有する較正用画素４１１（一方向指向性画素出力単位）とが設けられている。このような較正用画素４１１を用いて較正を行うようにすることにより、画素１２１ａのＸ方向の入射角指向性とＹ方向の入射角指向性とをそれぞれ独立に求めることができる。したがって、撮像素子１２１の各画素１２１ａの入射角指向性の較正をより容易に行うことができる。

【0286】

図１の例において、復元行列生成部１０２は、このように較正用画素４１１（一方向指向性画素出力単位）を用いて導出される画素１２１ａのＸ方向の入射角指向性とＹ方向の入射角指向性とを用いて（これらの情報を含む較正情報を用いて）、画素１２１ａ（画像復元用画素出力単位）の実際の特性に合わせるように（より近似させるように）、復元行列の生成（較正）を行う。したがって、復元行列生成部１０２は、画素１２１ａの実際の特性に合った（より近似させた）復元行列を生成することができる。復元行列記憶部１０３は、その生成された復元行列を記憶する。

【0287】

また、復元部１０４は、その復元行列を復元行列記憶部１０３から読み出して用い、復元画像を生成する。したがって、復元部１０４は、より正確な復元画像を生成することができる。

【0288】

また、関連付け部１０５は、その復元行列を復元行列記憶部１０３から読み出して検出画像に関連付ける。これにより、後段の処理部や他の装置に、その復元行列を用いて復元画像を生成させることができる。したがって、その後段の処理部や他の装置は、より正確な復元画像を生成することができる。

【0289】

なお、このような較正用画素４１１の位置（または較正用画素領域４０２の位置）は任意である。例えば、有効画素領域４０１内に較正用画素４１１を形成することも可能である。しかしながら、較正用画素４１１は、一方向にしか入射角指向性を有していないため、検出画像を構成する検出信号の生成を行う画素として利用することは困難である。したがって、そのような較正用画素４１１を有効画素領域４０１内に形成すると、その較正用画素４１１で生成される検出信号を除去して検出画像を生成するか、復元画像を復元するための演算にその検出信号を利用しないようにしなければならず、検出画像や復元画像を矩形とするために工夫が必要になる。

【0290】

また、被写体の撮像に使用されない較正用画素４１１を、画素行列の周縁部よりも入射光の光量が大きくなりやすい画素行列の中央側に設けるのは、非効率である。

【0291】

上述のように較正用画素４１１（一方向指向性画素出力単位）を、画像復元用画素出力単位が形成される有効画素領域４０１以外の領域に形成することにより、より容易に矩形の検出画像や復元画像を得ることができる。また、有効画素領域４０１をより効率よく利用することができる。すなわち、撮像素子１２１の設計や開発をより容易化することができる。

【0292】

また、図２４に示される例のように、その較正用画素４１１を形成する較正用画素領域４０２を、有効画素領域４０１の外側にある外部領域とすることにより、画素行列の周縁部よりも入射光の光量が大きくなりやすい画素行列の中央側を有効画素領域とすることができ、有効画素領域４０１の入射光の光量の低減を抑制することができる。

【0293】

もちろん、有効画素領域４０１および較正用画素領域４０２の位置、大きさ、形状等は、任意であり、上述の例に限定されない。例えば、較正用画素領域４０２を有効画素領域４０１の内側に設ける（有効画素領域４０１を、較正用画素領域４０２の外側にある外部領域とする）ようにしてもよいし、有効画素領域４０１および較正用画素領域４０２を画素行列のＸ方向またはＹ方向に並べるようにしてもよい。

【0294】

また、図２４に示される例のように、較正用画素４１１－２が、画素１２１ａ群のＸ方向（有効画素領域４０１の図中右側若しくは左側、またはその両方）に形成されるようにしてもよい。すなわち、有効画素領域４０１のＸ方向の外側にある外部領域（画素行列の行方向の外側にある外部領域）に、Ｙ方向（画素行列の列方向）にのみ入射角指向性を有する一方向指向性画素出力単位（つまり較正用画素４１１－２）が形成されるようにしてもよい。

【0295】

また、図２４に示される例のように、較正用画素４１１－１が、画素１２１ａ群のＹ方向（有効画素領域４０１の図中上側若しくは下側、またはその両方）に形成されるようにしてもよい。すなわち、有効画素領域４０１のＹ方向の外側にある外部領域（画素行列の列方向の外側にある外部領域）に、Ｘ方向（画素行列の行方向）にのみ入射角指向性を有する一方向指向性画素出力単位（つまり較正用画素４１１－１）が形成されるようにしてもよい。

【0296】

＜入射角指向性＞
有効画素領域に形成される複数の画素１２１ａ（画像復元用画素出力単位）の少なくとも１つが、画素行列の行方向および列方向のそれぞれについて、外部領域に形成される複数の較正用画素４１１（一方向指向性画素出力単位）の少なくとも１つと同一の入射角指向性を有するようにしてもよい。例えば、Ｘ方向（画素行列の行方向）の入射角指向性について、画素１２１ａの少なくとも１つと同一の入射角指向性を有する較正用画素４１１－１が少なくとも１つ存在するようにしてもよい。つまり、遮光膜１２１ｂのＸ方向の幅が画素１２１ａの少なくとも１つと同一の、較正用画素４１１－１が少なくとも１つ存在するようにしてもよい。また、例えば、Ｙ方向（画素行列の列方向）の入射角指向性について、画素１２１ａの少なくとも１つと同一の入射角指向性を有する較正用画素４１１－２が少なくとも１つ存在するようにしてもよい。つまり、遮光膜１２１ｂのＹ方向の幅が画素１２１ａの少なくとも１つと同一の、較正用画素４１１－２が少なくとも１つ存在するようにしてもよい。

【0297】

このようにすることにより、較正用画素４１１において求めた実際の入射角指向性を、容易に画素１２１ａ（画像復元用画素出力単位）の入射角指向性に適用することができる。つまり、平面方向指向性画素出力単位である画素１２１ａの実際の入射角指向性をより容易に求めることができる。したがって、より正確な（実際の撮像素子１２１の特性により対応した）復元行列をより容易に生成することができる。つまり、より正確な復元行列を用いて復元画像を生成することができる。したがって、より正確な復元画像を生成することができる。

【0298】

例えば、図２４に示される例のように、画素行列の同一の行の画素は、Ｙ方向の入射角指向性が互いに同一であるようにしてもよい。図２４の例の場合、画素行列の、互いに同一の行に属する画素１２１ａおよび較正用画素４１１－２は、Ｙ方向について互いに同一の入射角指向性（例えば、dy11,dy12,dy13）を有する。

【0299】

つまり、画素行列の各行の少なくとも１つの画素１２１ａ（画像復元用画素出力単位）は、外部領域の、その行と同一の行に設けられた少なくとも１つの較正用画素４１１－２（一方向指向性画素出力単位）と同一の、画素行列の列方向の入射角指向性を有するようにしてもよい。このようにすることにより、較正用画素４１１－２において求めた実際のＹ方向の入射角指向性を、容易にその較正用画素４１１－２と同一の行の画素１２１ａのＹ方向の入射角指向性に適用することができる。つまり、画素１２１ａの実際のＹ方向の入射角指向性をより容易に求めることができる。

【0300】

例えば、図２４に示される例のように、画素行列の同一の列の画素は、Ｘ方向の入射角指向性が互いに同一であるようにしてもよい。図２４の例の場合、画素行列の、互いに同一の列に属する画素１２１ａおよび較正用画素４１１－１は、Ｘ方向について互いに同一の入射角指向性（例えば、dx11,dx21,dx31）を有する。

【0301】

つまり、画素行列の各列の少なくとも１つの画素１２１ａ（画像復元用画素出力単位）は、外部領域の、その列と同一の列に設けられた少なくとも１つの較正用画素４１１－１（一方向指向性画素出力単位）と同一の、画素行列の行方向の入射角指向性を有するようにしてもよい。このようにすることにより、較正用画素４１１－１において求めた実際のＸ方向の入射角指向性を、容易にその較正用画素４１１－１と同一の列の画素１２１ａのＸ方向の入射角指向性に適用することができる。つまり、画素１２１ａの実際のＸ方向の入射角指向性をより容易に求めることができる。

【0302】

付言するに、図２４に示される例の場合、複数の画素出力単位の行列における互いに同一の行の画像復元用画素出力単位および一方向指向性画素出力単位がその列方向の入射角指向性が互いに同一であり、かつ、その行列における互いに同一の列の画像復元用画素出力単位および一方向指向性画素出力単位がその行方向の入射角指向性が互いに同一である。したがって、この場合、画素１２１ａのＸ方向の入射角指向性は、同一の列の較正用画素４１１－１において求めた実際のＸ方向の入射角指向性を適用し、画素１２１ａのＹ方向の入射角指向性は、同一の列の較正用画素４１１－２において求めた実際のＸ方向の入射角指向性を適用することができる。つまり、画素１２１ａの実際の各方向の入射角指向性を容易に求めることができる。

【0303】

例えば、図２４に示される例のように、画素１２１ａ群が有するＸ方向の入射角指向性の全パタン、並びに、Ｙ方向の入射角指向性の全パタンを、較正用画素４１１群が有するようにしてもよい。つまり、有効画素領域４０１に形成される全ての画素１２１ａ（画像復元用画素出力単位）が、画素行列の行方向および列方向のそれぞれについて、較正用画素領域４０２に形成される複数の較正用画素４１１（一方向指向性画素出力単位）の少なくとも１つと同一の入射角指向性を有するようにしてもよい。このようにすることにより、全画素１２１ａが有する実際のＸ方向およびＹ方向の入射角指向性を、いずれかの較正用画素４１１により求めることができる。つまり、画素１２１ａの実際の各方向の入射角指向性を容易に求めることができる。

【0304】

もちろん、較正用画素４１１群により求めることができる入射角指向性が、全画素１２１ａが有する各方向の入射角指向性の一部のみであってもよい。つまり、有効画素領域４０１に形成される複数の画素１２１ａ（画像復元用画素出力単位）の内の一部の画素１２１ａ（画像復元用画素出力単位）は、画素行列の行方向および列方向のそれぞれについて、較正用画素領域４０２に形成される複数の較正用画素４１１（一方向指向性画素出力単位）の少なくとも１つと同一の入射角指向性を有するようにしてもよい。

【0305】

その場合、較正用画素４１１群により直接求めることができない入射角指向性は、較正用画素４１１群が有する入射角指向性を用いて補間することにより求めるようにしてもよい。つまり、有効画素領域４０１に形成される、上述した一部の画素１２１ａ（画像復元用画素出力単位）以外の他の画素１２１ａ（画像復元用画素出力単位）の、画素行列の行方向および列方向のそれぞれの入射角指向性は、較正用画素領域４０２に形成される較正用画素４１１（一方向指向性画素出力単位）の入射角指向性に基づいて推定し得るようにしてもよい。このようにすることにより、較正用画素４１１群が有していない入射角指向性パタンも求めることができる。

【0306】

もちろん、較正用画素４１１や画素１２１ａの配置パタンは、図２４の例に限定されない。例えば、較正用画素４１１－１（一方向指向性画素出力単位）のＸ方向の入射角指向性が、同列の画素１２１ａ（画像復元用画素出力単位）のＸ方向の入射角指向性と異なる（遮光膜４１２－１のＸ方向の幅が同列の遮光膜１２１ｂのＸ方向の幅と異なる）ようにしてもよい。例えば、画素行列の各列の少なくとも１つの画素１２１ａ（画像復元用画素出力単位）は、較正用画素領域４０２の、その列と異なる他の列に設けられた少なくとも１つの較正用画素４１１－１（一方向指向性画素出力単位）と同一の、画素行列の行方向の入射角指向性を有する（遮光膜４１２－１のＸ方向の幅が他の列の遮光膜１２１ｂのＸ方向の幅と同一である）ようにしてもよい。

【0307】

また例えば、較正用画素４１１－２（一方向指向性画素出力単位）のＹ方向の入射角指向性が、同行の画素１２１ａ（画像復元用画素出力単位）のＹ方向の入射角指向性と異なる（遮光膜４１２－２のＹ方向の幅が同行の遮光膜１２１ｂのＹ方向の幅と異なる）ようにしてもよい。例えば、画素行列の各行の少なくとも１つの画素１２１ａ（画像復元用画素出力単位）は、較正用画素領域４０２の、その行と異なる他の行に設けられた少なくとも１つの較正用画素４１１－１（一方向指向性画素出力単位）と同一の、画素行列の列方向の入射角指向性を有する（遮光膜４１２－２のＹ方向の幅が他の行の遮光膜１２１ｂのＹ方向の幅と同一である）ようにしてもよい。

【0308】

また、互いに同列の画素１２１ａ（画像復元用画素出力単位）のＸ方向入射角指向性が互いに異なる（互いに同列の遮光膜１２１ｂのＸ方向の幅が異なる）ようにしてもよい。同様に、互いに同行の画素１２１ａ（画像復元用画素出力単位）のＹ方向入射角指向性が互いに異なる（互いに同行の遮光膜１２１ｂのＹ方向の幅が異なる）ようにしてもよい。

【0309】

さらに、較正用画素４１１－１が、画素１２１ａ群のＸ方向（例えば、有効画素領域４０１の図中右側若しくは左側、またはその両方）に形成されるようにしてもよい。同様に、較正用画素４１１－１が、画素１２１ａ群のＹ方向（例えば、有効画素領域４０１の図中上側若しくは下側、またはその両方）に形成されるようにしてもよい。また、画素１２１ａ群のＸ方向若しくはＹ方向、またはその両方において、較正用画素４１１－１と較正用画素４１１－２とが混在するようにしてもよい。

【0310】

また、較正用画素４１１および画素１２１ａの内少なくともいずれか一方は、それらが有する入射角指向性のパタン（つまり遮光膜の幅の大きさ）に基づいて所定の規則性を有するような並び順に配置されるようにしてもよい。つまり、一方向指向性画素出力単位および画像復元用画素出力単位の少なくともいずれか一方は、その入射角指向性の所定の規則性に基づく並び順で配置されるようにしてもよい。例えば、Ｘ方向（例えば右から左に向かって）またはＹ方向（例えば上から下に向かって）、遮光膜の幅が徐々に広くなるような順に、較正用画素４１１および画素１２１ａが配置されるようにしてもよい。このように入射角指向性のパタンについて規則性を持つように各画素を配置することにより、例えば入射角指向性の補間等の演算をより容易に行うことができる。

【0311】

また、検出信号の較正は、一部の画素１２１ａに対してのみ行われるようにしてもよい。

【0312】

＜生成処理の流れ＞
以上のような構成の受光部１１１を有する撮像素子１２１（図１）は、生成処理を実行することにより、入射角指向性の較正、すなわち、撮像素子１２１の実際の特性に合わせた（または、より近似させた）復元行列の生成を行う。この生成処理の流れの例を、図２５のフローチャートを参照して説明する。

【0313】

生成処理が開始されると、撮像素子１２１の復元行列生成部１０２は、ステップＳ１０１において、撮像素子１２１の一方向指向性画素出力単位からの出力を用いて生成される情報であって、撮像素子１２１（受光部１１１）の各画素（画像復元用画素出力単位）の入射角指向性の較正に関する情報であって、撮像素子１２１（受光部１１１）の実際の入射角指向性とその設計値との間のずれを直接的または間接的に示す情報が含まれる較正情報を取得する。この較正情報は例えば撮像素子１２１の外部から供給される。

【0314】

ステップＳ１０２において、復元行列生成部１０２は、ステップＳ１０１において取得した較正情報を用いて、撮像素子１２１（受光部１１１）の実際の入射角指向性に対応する復元行列を生成する。

【0315】

ステップＳ１０３において、復元行列生成部１０２は、ステップＳ１０２の処理により生成した復元行列を、復元行列記憶部１０３に供給し、記憶させる。

【0316】

ステップＳ１０３の処理が終了すると、生成処理が終了する。このように生成処理を行うことにより、撮像素子１２１は、撮像素子１２１（受光部１１１）の実際の入射角指向性に対応する復元行列を、より容易に生成することができる。

【0317】

＜撮像処理の流れ＞
また、撮像素子１２１（図１）は、撮像処理を実行することにより、上述した生成処理により生成された復元行列を用いて検出画像から復元画像を生成する。この撮像処理の流れの例を、図２６のフローチャートを参照して説明する。

【0318】

撮像処理が開始されると、撮像素子１２１は、ステップＳ１２１において、被写体を撮像し、検出画像を生成する。例えば、受光部１１１は、被写体からの光を受光し、その受光量を表す電荷を検出信号（検出画像）として出力する。A/D変換部１０１は、その出力されたアナログ信号の検出信号（検出画像）をA/D変換する。

【0319】

ステップＳ１２２において、復元部１０４は、復元行列記憶部１０３から復元行列を読み出し、取得する。この復元行列は例えば生成処理により生成された、撮像素子１２１（受光部１１１）の実際の入射角指向性に対応する復元行列である。また、復元部１０４は、ステップＳ１２１において生成されたデジタルデータの検出信号（検出画像）を取得する。復元部１０４は、取得したその復元行列および検出画像を用いて、復元画像を生成する。

【0320】

ステップＳ１２３において、出力部１０６は、ステップＳ１２２において生成された復元画像を、撮像素子１２１の外部に出力する。

【0321】

ステップＳ１２４において、関連付け部１０５は、復元行列記憶部１０３から復元行列を読み出し、取得する。また、関連付け部１０５は、ステップＳ１２１において生成された検出画像に、その復元行列を関連付ける。

【0322】

ステップＳ１２５において、出力部１０６は、ステップＳ１２４において関連付けたデータ（検出画像および復元行列）を、撮像素子１２１の外部に出力する。

【0323】

ステップＳ１２５の処理が終了すると撮像処理が終了する。このように撮像処理を行うことにより、撮像素子１２１は、より正確な復元画像を生成することができる。

【0324】

なお、ステップＳ１２２およびステップＳ１２３の各処理、または、ステップＳ１２４およびステップＳ１２５の各処理のいずれか一方を省略するようにしてもよい。また、ステップＳ１２２およびステップＳ１２３の各処理と、ステップＳ１２４およびステップＳ１２５の各処理との処理順は任意である。例えば、ステップＳ１２４およびステップＳ１２５の各処理を行ってから、ステップＳ１２２およびステップＳ１２３の各処理を行うようにしてもよいし、ステップＳ１２２およびステップＳ１２３の各処理と、ステップＳ１２４およびステップＳ１２５の各処理とを、並行して実行するようにしてもよい。

【0325】

＜較正装置＞
次に、以上のような撮像素子１２１の較正について説明する。この較正においては、撮像レンズおよびピンホールのいずれも介さずに入射する入射光に対する入射角指向性を独立に設定可能な構成を有する複数の画素出力単位を備え、その複数の画素出力単位は、行列状に配置され、少なくとも１部の画素出力単位が、その行列の行方向及び列方向の双方に入射角指向性を有する複数の画像復元用画素出力単位と、その行列の行方向にのみまたはその行列の列方向にのみ入射角指向性を有する一方向指向性画素出力単位とを含む撮像素子の、その一方向指向性画素出力単位からの出力を用いて生成される較正情報を用いて、その複数の画像復元用画素出力単位の出力である検出画像から復元画像を生成する際に用いられる復元行列を生成するようにしてもよい。

【0326】

例えば、情報処理装置において、撮像レンズおよびピンホールのいずれも介さずに入射する入射光に対する入射角指向性を独立に設定可能な構成を有する複数の画素出力単位を備え、その複数の画素出力単位は、行列状に配置され、少なくとも１部の画素出力単位が、その行列の行方向及び列方向の双方に入射角指向性を有する複数の画像復元用画素出力単位と、その行列の行方向にのみまたはその行列の列方向にのみ入射角指向性を有する一方向指向性画素出力単位とを含む撮像素子と、その一方向指向性画素出力単位からの出力を用いて生成される較正情報を用いて、その複数の画像復元用画素出力単位の出力である検出画像から復元画像を生成する際に用いられる復元行列を生成する生成部とを備えるようにしてもよい。

【0327】

図２７は、本開示の技術を適用した情報処理装置の一実施の形態である較正装置の主な構成例を示す図である。図２７に示される較正装置５００は、所定の位置に設置された撮像素子１２１の較正を行う装置である。

【0328】

図２７に示されるように、較正装置５００は、光照射部５０１、較正部５０２、および較正情報書き込み部５０３を有する。

【0329】

光照射部５０１は、所定の位置に設置された撮像素子１２１に対して光を照射し、その光を撮像素子１２１に検出させる（点線矢印）。光照射部５０１と撮像素子１２１とは十分な距離が離れており、光照射部５０１から照射され、撮像素子１２１に届く光は、図２８のＡに示されるように平行光となる（みなせる）。

【0330】

また、光照射部５０１は、図２８のＡに示されるように、互いに異なる位置に複数の光源５１１（図中光源５１１－１乃至光源５１１－３）を有している。より具体的には、例えば図２８のＢに示されるように、複数の光源５１１が撮像素子１２１に対して光照射部５０１の光照射面に沿って互いに直角な２方向（Ｘ方向およびＹ方向）に所定の間隔で並べて配置されている。

【0331】

各光源５１１が点灯することにより撮像素子１２１に届く光は上述のように平行光となるので、それらは互いに異なる入射角となる。つまり、光照射部５０１は、各光源５１１を順次点灯させることにより、互いに異なる入射角で撮像素子１２１に光を照射することができる。つまり、図２８のＢにおいて、図中横方向（Ｘ方向）に並ぶ複数の光源５１１は、そのＸ方向の角度（ｘ角度）の調整用の光源群である。このＸ方向は図８のＸ方向（すなわち図２４における画素行列の行方向）に対応する。光照射部５０１は、図８のＸ方向についての重みのグラフを生成する際に（図８のＸ方向についての重みのグラフの生成のために）、このＸ方向に並ぶ複数の光源５１１のそれぞれを順次点灯させる。また、図２８のＢにおいて、図中縦方向（Ｙ方向）に並ぶ複数の光源５１１は、そのＹ方向の角度（ｙ角度）の調整用の光源群である。このＹ方向は図８のＹ方向（すなわち図２４における画素行列の列方向）に対応する。光照射部５０１は、図８のＹ方向についての重みのグラフを生成する際に（図８のＹ方向についての重みのグラフの生成のために）、このＹ方向に並ぶ複数の光源５１１のそれぞれを順次点灯させる。

【0332】

なお、光照射部５０１が、可動式の光源を備え、その可動式の光源を移動させながら点灯させる（発光させる）ことにより、平行光の撮像素子１２１への入射角を可変とするようにしてもよい。例えば、光照射部５０１が、この可動式の光源を、図２８のＢ中の横方向（Ｘ方向）に移動させ、図２８のＢに示されるｘ角度の調整用の各光源の位置において点灯させることにより、上述の例と同様に、撮像素子１２１への、図８のＸ方向についての重みのグラフの生成のための平行光照射を行うことができる。また、例えば、光照射部５０１が、この可動式の光源を、図２８のＢ中の縦方向（Ｙ方向）に移動させ、図２８のＢに示されるｙ角度の調整用の各光源の位置において点灯させることにより、上述の例と同様に、撮像素子１２１への、図８のＹ方向についての重みのグラフの生成のための平行光照射を行うことができる。

【0333】

撮像素子１２１は、このように各光源５１１から照射された光を検出し、較正用画素４１１において検出信号を生成し、それを較正部５０２に供給する。例えば、図８のＸ方向についての重みのグラフを生成する際に（図８のＸ方向についての重みのグラフの生成のために）、撮像素子１２１の各画素（少なくとも較正用画素４１１－１）は、順次点灯されるＸ方向に並ぶ各光源５１１からの実際の入射光をそれぞれ検出して検出信号を生成する。同様に、図８のＹ方向についての重みのグラフを生成する際に（図８のＹ方向についての重みのグラフの生成のために）、撮像素子１２１の各画素（少なくとも較正用画素４１１－２）は、順次点灯されるＹ方向に並ぶ各光源５１１からの実際の入射光をそれぞれ検出して検出信号を生成する。

【0334】

較正部５０２は、その較正用画素４１１において生成された検出信号に基づいて撮像素子１２１の較正情報を生成する。つまり、撮像素子１２１からは多様な入射角の入射光に対する検出信号が供給されるので、較正部５０２は、Ｘ方向およびＹ方向のそれぞれについて、入射角に応じて信号値をプロットすることにより、図８の重みのグラフを生成することができる。例えば、較正部５０２は、撮像素子１２１の較正用画素４１１－１において生成された、Ｘ方向に並ぶ各光源５１１からの入射光の検出信号（実測値）に基づいて、図８のＸ方向についての重みのグラフを生成する。同様に、較正部５０２は、撮像素子１２１の較正用画素４１１－２において生成された、Ｙ方向に並ぶ各光源５１１からの入射光の検出信号（実測値）に基づいて、図８のＹ方向についての重みのグラフを生成する。つまり、較正部５０２は、図８のＸ方向の重みのグラフ（実測値）と図８のＹ方向の重みのグラフ（実測値）とを、互いに独立に生成することができる。したがって、較正部５０２は、較正用画素４１１の実際の入射角指向性を求めることができる。

【0335】

較正部５０２は、そのように求めた較正用画素４１１の実際の入射角指向性を用いて、撮像素子１２１の有効画素領域４０１内の各画素１２１ａの（画像復元用画素出力単位の）入射角指向性の較正に関する情報である較正情報を生成する。

【0336】

例えば、較正部５０２は、較正用画素４１１の実際の入射角指向性を用いて、画素１２１ａの実際の入射角指向性を導出し、その画素１２１ａの実際の入射角指向性を含む較正情報を生成する。

【0337】

また、例えば、較正部５０２は、較正用画素４１１の実際の入射角指向性を用いて、画素１２１ａの実際の入射角指向性を導出し、その導出した画素１２１ａの実際の入射角指向性と、予め記憶している画素１２１ａの入射角指向性の設計値とのずれを求め、そのずれを示す情報を含む較正情報を生成してもよい。その場合、例えば、較正部５０２は、画素１２１ａの遮光膜１２１ｂの位置ずれを求め、その位置ずれを表す情報を含む較正情報を生成する。また、例えば、較正部５０２は、撮像素子１２１のオンチップレンズ１２１ｃの高さのずれを求め、その高さのずれを表す情報を含む較正情報を生成する。なお、設計値とのずれを用いた較正の仕方は、特許文献３に記載されている（図２１やその説明等）。較正部５０２は、例えばこの方法を用いて較正情報を生成すればよい。

【0338】

なお、一般的に、撮像素子１２１のマスク（遮光膜）は、ステッパーにて一括露光を行うため、ずれ方にはパタンがあり、受光部１１１全体において一様にずれることが多く、画素毎に独立してずれる可能性は低い。

【0339】

つまり、遮光膜のずれ方は図２９に示されるように、主に以下のパタンとなる。
１：受光部１１１に形成される画素行列の全画素の遮光膜がＸ方向にずれる（矢印５２１）。
２：受光部１１１に形成される画素行列の全画素の遮光膜がＹ方向にずれる（矢印５２２）。
３：受光部１１１に形成される画素行列の全画素の遮光膜が全体的に回転方向にずれる（矢印５２３）。
４：オンチップレンズ１２１ｃの高さがずれる（画面全体）。

【0340】

したがって、較正部５０２は、上述のように各較正用画素４１１の実際の入射角指向性から各画素１２１ａについての較正情報を個別に求めるようにしてもよいが、各較正用画素４１１の実際の入射角指向性を用いて、このような受光部１１１全体のずれを検出し、それを基に較正情報を生成するようにしてもよい。

【0341】

例えば、図３０に示されるように、有効画素領域４０１のＸ方向（画素行列の行方向、図３０の例においては図中横方向）若しくはＹ方向（画素行列の列方向、図３０の例においては図中縦方向）、またはその両方の外側領域である較正用画素領域４０２に較正用画素４１１を設けることにより、較正部５０２は、このような受光部１１１全体のずれを容易に検出することができる。

【0342】

例えば、有効画素領域４０１のＹ方向（図中縦方向）の外側領域である較正用画素領域４０２－１および較正用画素領域４０２－３のそれぞれに設けられた較正用画素４１１－１について、実際の検出信号から導出された図８の重みのグラフ（有効画素領域４０１のＸ方向（図中横方向）の入射角指向性）の、設計値に対するずれの向きが互いに同一である場合、較正部５０２は、受光部１１１の全体において、各画素の遮光膜がそのＸ方向にずれていると判断することができる。また、両領域の較正用画素４１１－１について、実際の検出信号から導出された図８の重みのグラフ（有効画素領域４０１のＸ方向（図中横方向）の入射角指向性）の、設計値に対するずれの向きが互いに異なる場合、較正部５０２は、受光部１１１の全体において、各画素の遮光膜が受光面に沿って回転方向にずれていると判断することができる。

【0343】

また、例えば、有効画素領域４０１のＸ方向（図中横方向）の外側領域である較正用画素領域４０２－２および較正用画素領域４０２－４のそれぞれに設けられた較正用画素４１１－２について、実際の検出信号から導出された図８の重みのグラフ（有効画素領域４０１のＹ方向（図中縦方向）の入射角指向性）の、設計値に対するずれ方が互いに同一である場合、較正部５０２は、受光部１１１の全体において各画素の遮光膜がそのＹ方向（図中縦方向）にずれていると判断することができる。また、両領域の較正用画素４１１－２について、実際の検出信号から導出された図８の重みのグラフ（有効画素領域４０１のＹ方向（図中縦方向）の入射角指向性）の、設計値に対するずれの向きが互いに異なる場合、較正部５０２は、受光部１１１の全体において、各画素の遮光膜が受光面に沿って回転方向にずれていると判断することができる。

【0344】

さらに、例えば、有効画素領域４０１を囲む較正用画素領域４０２－１乃至較正用画素領域４０２－４のそれぞれに設けられた較正用画素４１１について、実際の検出信号から導出された図８の重みのグラフ（有効画素領域４０１のＸ方向（図中横方向）またはＹ方向（図中縦方向）の入射角指向性）の傾きが設計値に対して全てずれている場合、較正部５０２は、オンチップレンズ１２１ｃの高さがずれていると判断することができる。

【0345】

較正部５０２は、このようにして生成した較正情報を較正情報書き込み部５０３に供給する。

【0346】

較正情報書き込み部５０３は、供給された較正情報を撮像素子１２１（の復元行列生成部１０２）に書き込む。つまり、撮像素子１２１の復元行列生成部１０２は、このように較正装置５００から供給された較正情報を用いて復元行列を生成する（または較正する）。したがって、撮像素子１２１は、より正確な復元画像を生成することができる。

【0347】

＜較正方法例１＞
較正方法のより具体的な例について説明する。例えば、光照射部５０１が、撮像素子１２１への入射角を変えながら複数回光（平行光）を照射し、較正部５０２が、その検出結果（各回の検出信号の信号レベル）に基づいて、図８の重みのグラフ（すなわち入射角指向性）を導出し、その情報を含む較正情報を生成するようにしてもよい。

【0348】

図２８を参照して説明したように、光照射部５０１は、複数の光源５１１を順次点灯させることにより、互いに異なる入射角で撮像素子１２１に光を照射する。較正部５０２は、各入射角の光に対応する較正用画素４１１の検出信号の信号レベルと、その入射角との関係をグラフ化する（図３１のＡ）。このようにすることにより、図８の重みのグラフが導出される。

【0349】

例えば、光照射部５０１は、図８のＸ方向（図２４における画素行列の行方向）に対応する図２８のＢの横方向に並ぶ複数の光源５１１のそれぞれを順次点灯させる。これに対して較正部５０２は、各光に対応する較正用画素４１１－１の検出信号の信号レベルを検出し、その検出結果と入射角との関係をグラフ化することにより、図８のＸ方向についての重みのグラフ（すなわち、画素１２１ａ（画像復元用画素出力単位）の、図２４における画素行列の行方向の入射角指向性）を導出する。

【0350】

同様に、光照射部５０１は、図８のＹ方向（図２４における画素行列の列方向）に対応する図２８のＢの縦方向に並ぶ複数の光源５１１のそれぞれを順次点灯させる。これに対して較正部５０２は、各光に対応する較正用画素４１１－２の検出信号の信号レベルを検出し、その検出結果と入射角との関係をグラフ化することにより、図８のＹ方向についての重みのグラフ（すなわち、画素１２１ａ（画像復元用画素出力単位）の、図２４における画素行列の列方向の入射角指向性）を導出する。

【0351】

較正部５０２は、以上のように導出された画素１２１ａ（画像復元用画素出力単位）の、図２４における画素行列の行方向の入射角指向性と、列方向の入射角指向性とを含む較正情報を生成し、それを較正情報書き込み部５０３に供給する。較正情報書き込み部５０３は、その較正情報を撮像素子１２１に供給する。

【0352】

このようにすることにより、較正部５０２は、画素１２１ａ（画像復元用画素出力単位）の、図２４における画素行列の行方向の入射角指向性と、列方向の入射角指向性とをそれぞれ導出し、それら含む較正情報を生成することができる。

【0353】

例えば、図２４において、互いに同一の列の、有効画素領域４０１の画素１２１ａと較正用画素領域４０２の較正用画素４１１－１とが、互いに同一の、画素行列の行方向の入射角指向性を有するとする。同様に、互いに同一の行の、有効画素領域４０１の画素１２１ａと較正用画素領域４０２の較正用画素４１１－２とが、互いに同一の、画素行列の列方向の入射角指向性を有するとする。

【0354】

この場合、較正用画素４１１－１の画素行列の行方向の入射角指向性を求めることにより、有効画素領域４０１の、その較正用画素４１１－１と同一の列の画素１２１ａの、画素行列の行方向の入射角指向性を求めることができる。同様に、較正用画素４１１－２の画素行列の列方向の入射角指向性を求めることにより、有効画素領域４０１の、その較正用画素４１１－２と同一の行の画素１２１ａの、画素行列の列方向の入射角指向性を求めることができる。

【0355】

なお、図２４の例の場合、較正用画素４１１－１は、有効画素領域４０１の図中上側と下側に存在する。したがって、有効画素領域４０１の図中上側の較正用画素４１１－１と、有効画素領域４０１の図中下側の較正用画素４１１－１とで、画素行列の行方向の入射角指向性の平均を導出し、その平均値をその較正用画素４１１－１と同一の列の画素１２１ａの、画素行列の行方向の入射角指向性としてもよい。つまり、１つの画素１２１ａに対して複数の較正用画素４１１－１が対応する場合、それらの較正用画素４１１－１の画素行列の行方向の入射角指向性の統計値（例えば平均値や中央値等）を、その画素１２１ａの画素行列の行方向の入射角指向性としてもよい。

【0356】

同様に、較正用画素４１１－２は、有効画素領域４０１の図中右側と左側に存在する。したがって、有効画素領域４０１の図中右側の較正用画素４１１－２と、有効画素領域４０１の図中左側の較正用画素４１１－２とで、画素行列の列方向の入射角指向性の平均を導出し、その平均値をその較正用画素４１１－２と同一の行の画素１２１ａの、画素行列の列方向の入射角指向性としてもよい。つまり、１つの画素１２１ａに対して複数の較正用画素４１１－２が対応する場合、それらの較正用画素４１１－２の画素行列の列方向の入射角指向性の統計値（例えば平均値や中央値等）を、その画素１２１ａの画素行列の列方向の入射角指向性としてもよい。

【0357】

このようなケースにおいて、較正用画素４１１の入射角指向性を導出する際に、上述したように、光照射部５０１が、撮像素子１２１への入射角を変えながら複数回光を照射し、較正部５０２がその検出結果（各回の検出信号の信号レベル）に基づいて、実際の入射角指向性（画素１２１ａの実際の図８の重みのグラフ）を導出するようにしてもよい。

【0358】

＜較正方法例２＞
また例えば、光照射部５０１が、撮像素子１２１に所定の入射角で光（平行光）を１回照射し、較正部５０２が、その検出結果（検出信号の信号レベル）と、撮像素子１２１の設計値から導出される図８の重みのグラフ（すなわち入射角指向性）とに基づいて、実際の入射角指向性（画素１２１ａの実際の図８の重みのグラフ）を導出し、その情報を含む較正情報を生成するようにしてもよい（図３１のＢ）。

【0359】

例えば、光照射部５０１は、撮像素子１２１に対して所定の入射角で光を照射するように、所定の光源５１１を点灯させる。例えば、光照射部５０１は、撮像素子１２１に対して垂直に光を照射するように、図２８のＢの中央の光源５１１（Ｘ方向に並ぶ光源５１１群とＹ方向に並ぶ光源５１１群との両方に属する光源５１１）を点灯させる。

【0360】

これに対して較正部５０２は、その光に対応する較正用画素４１１－１の検出信号の信号レベルを検出する。そして、較正部５０２は、その信号レベルと、撮像素子１２１の設計値から導出される図８のＸ方向の重みのグラフとのずれ（差）を導出し、そのずれに基づいて、画素１２１ａ（画像復元用画素出力単位）の実際の、図２４における画素行列の行方向の入射角指向性を導出する。

【0361】

同様に、較正部５０２は、その光に対応する較正用画素４１１－２の検出信号の信号レベルを検出する。そして、較正部５０２は、その信号レベルと、撮像素子１２１の設計値から導出される図８のＹ方向の重みのグラフとのずれ（差）を導出し、そのずれに基づいて、画素１２１ａ（画像復元用画素出力単位）の実際の、図２４における画素行列の列方向の入射角指向性を導出する。

【0362】

較正部５０２は、以上のように導出された画素１２１ａ（画像復元用画素出力単位）の、図２４における画素行列の行方向の入射角指向性と、列方向の入射角指向性とを含む較正情報を生成し、それを較正情報書き込み部５０３に供給する。較正情報書き込み部５０３は、その較正情報を撮像素子１２１に供給する。

【0363】

このようにすることにより、光の照射回数を＜較正方法例１＞の場合よりも低減させることができる。すなわち、較正部５０２は、より容易に（より高速に）、画素１２１ａ（画像復元用画素出力単位）の、図２４における画素行列の行方向の入射角指向性と、列方向の入射角指向性とをそれぞれ導出し、それら含む較正情報を生成することができる。

【0364】

＜較正方法例１＞において説明したケースに適用する場合について説明する。例えば、図２４において、互いに同一の列の、有効画素領域４０１の画素１２１ａと較正用画素領域４０２の較正用画素４１１－１とが、互いに同一の、画素行列の行方向の入射角指向性を有するとする。同様に、互いに同一の行の、有効画素領域４０１の画素１２１ａと較正用画素領域４０２の較正用画素４１１－２とが、互いに同一の、画素行列の列方向の入射角指向性を有するとする。

【0365】

この場合、較正用画素４１１－１の画素行列の行方向の入射角指向性を求めることにより、有効画素領域４０１の、その較正用画素４１１－１と同一の列の画素１２１ａの、画素行列の行方向の入射角指向性を求めることができる。同様に、較正用画素４１１－２の画素行列の列方向の入射角指向性を求めることにより、有効画素領域４０１の、その較正用画素４１１－２と同一の行の画素１２１ａの、画素行列の列方向の入射角指向性を求めることができる。

【0366】

なお、１つの画素１２１ａに対して複数の較正用画素４１１－１が対応する場合、それらの較正用画素４１１－１の画素行列の行方向の入射角指向性の統計値（例えば平均値や中央値等）を、その画素１２１ａの画素行列の行方向の入射角指向性としてもよい。同様に、１つの画素１２１ａに対して複数の較正用画素４１１－２が対応する場合、それらの較正用画素４１１－２の画素行列の列方向の入射角指向性の統計値（例えば平均値や中央値等）を、その画素１２１ａの画素行列の列方向の入射角指向性としてもよい。

【0367】

このようなケースにおいて、較正用画素４１１の入射角指向性を導出する際に、上述したように、光照射部５０１が撮像素子１２１に所定の入射角で光を１回照射し、較正部５０２がその検出結果（検出信号の信号レベル）に基づいて、実際の入射角指向性（画素１２１ａの実際の図８の重みのグラフ）を導出するようにしてもよい。

【0368】

＜較正方法例３＞
また例えば、較正部５０２が、複数の較正用画素４１１の平行光検出結果（検出信号の信号レベル）の統計値を用いて、画素１２１ａの実際の入射角指向性（画素１２１ａの実際の図８の重みのグラフ）を導出し、その情報を含む較正情報を生成するようにしてもよい。

【0369】

例えば、図３２の例のように、較正部５０２が、較正用画素領域４０２（較正用画素領域４０２－１乃至較正用画素領域４０２－４）を分割する所定の小領域毎に、較正用画素４１１の平行光検出結果の統計値を導出し、その統計値を用いて画素１２１ａの実際の入射角指向性を導出するようにしてもよい。

【0370】

図３２の例の場合、較正用画素領域４０２－１は、小領域４５１－１乃至小領域４５１－３に分割され、較正用画素領域４０２－２は、小領域４５２－１乃至小領域４５２－３に分割され、較正用画素領域４０２－３は、小領域４５３－１乃至小領域４５３－３に分割され、較正用画素領域４０２－４は、小領域４５４－１乃至小領域４５４－３に分割されている。この較正用画素領域４０２の分割数、すなわち、小領域の数は任意であり、図３２の例に限定されない。

【0371】

較正部５０２は、この小領域毎に較正用画素４１１の平行光検出結果の統計値を導出する。各小領域に含まれる較正用画素４１１の数は任意である。各小領域に含まれる較正用画素４１１の数は統一されていてもよいし、統一されていなくてもよい。また、導出する統計値は任意である。例えば、平均値であってもよいし、中央値であってもよいし、それ以外であってもよい。

【0372】

較正部５０２は、導出した小領域毎の平行光検出結果の統計値を用いて、受光部１１１全体について、画素１２１ａの実際の入射角指向性と設計値とのずれ方、すなわち遮光膜のずれ方（ずれの大きさや向き等）を特定する。図２９を参照して説明したように、一般的に、遮光膜は、受光部１１１全体において一様にずれる場合が多い。つまり、遮光膜のずれ方は図２９に示されるように、主に以下のパタンとなる。
１：受光部１１１に形成される画素行列の全画素の遮光膜がＸ方向にずれる（矢印５２１）。
２：受光部１１１に形成される画素行列の全画素の遮光膜がＹ方向にずれる（矢印５２２）。
３：受光部１１１に形成される画素行列の全画素の遮光膜が全体的に回転方向にずれる（矢印５２３）。
４：オンチップレンズ１２１ｃの高さがずれる（画面全体）。

【0373】

較正部５０２は、導出した小領域毎の平行光検出結果の統計値を用いて、遮光膜のずれ方が、これらのいずれのパタンであるかを特定する。

【0374】

例えば、各小領域の統計値に基づく入射角指向性が、その設計値に対して全て同一の方向にずれている場合、較正部５０２は、全画素１２１ａの遮光膜がその方向にずれていると推定する（つまり、上述のパタン１または２であることを特定する）。また、例えば、較正用画素領域４０２－１の各小領域の統計値に基づく入射角指向性が図中右方向にずれ、較正用画素領域４０２－２の各小領域の統計値に基づく入射角指向性が図中下方向にずれ、較正用画素領域４０２－３の各小領域の統計値に基づく入射角指向性が図中左方向にずれ、較正用画素領域４０２－４の各小領域の統計値に基づく入射角指向性が図中上方向にずれている場合、較正部５０２は、全画素１２１ａの遮光膜が回転方向にずれていると推定する（つまり、上述のパタン３であることを特定する）。さらに、例えば、各小領域の統計値に基づく入射角指向性の傾きが、その設計値に対して全て同様にずれている場合、較正部５０２は、オンチップレンズの高さがずれていると推定する（つまり、上述のパタン４であることを特定する）。

【0375】

そして、較正部５０２は、それらのずれ量（ΔθｘやΔθｙ）に基づいて、全体のずれ量や回転角等を導出する。

【0376】

このように統計値を利用することにより、較正部５０２は、一部の較正用画素４１１において発生した平行光検出結果の異常値等の影響を抑制することができる。したがって、較正部５０２は、より正確に、画素１２１ａの実際の入射角指向性を導出することができる。

【0377】

＜較正処理の流れ＞
次に、較正装置５００により実行される較正処理の流れの例を、図３３のフローチャートを参照して説明する。

【0378】

較正処理が開始されると、較正装置５００のお光照射部５０１は、ステップＳ５０１において、処理対象の光源５１１から光を照射する。

【0379】

ステップＳ５０２において、撮像素子１２１は、その光が（光源５１１の位置に対応する所定の入射角で）照射された状態で撮像し、較正用画素４１１において検出信号を生成する。

【0380】

ステップＳ５０３において、較正部５０２は、ステップＳ５０１において生成された較正用画素４１１の検出信号を記憶する。

【0381】

ステップＳ５０４において、較正部５０２は、全ての光源について処理を行ったか否かを判定する。未処理の光源５１１が存在すると判定された場合、処理はステップＳ５０１に戻る。

【0382】

つまり、各光源５１１について、ステップＳ５０１乃至ステップＳ５０４が実行される。そしてステップＳ５０４において、全ての光源５１１について、較正用画素４１１の検出信号が得られたと判定された場合、処理はステップＳ５０５に進む。

【0383】

ステップＳ５０５において、較正部５０２は、それらの検出信号に基づいて、較正用画素４１１の実際の入射角指向性を求める。

【0384】

ステップＳ５０６において、較正部５０２は、較正用画素４１１の実際の入射角指向性に基づいて、有効画素領域４０１の各画素１２１ａの実際の入射角指向性を求める。

【0385】

ステップＳ５０７において、較正部５０２は、ステップＳ５０６において求めた画素１２１ａの実際の入射角指向性に基づいて較正情報を生成する。例えば、較正部５０２は、その画素１２１ａの実際の入射角指向性を含む較正情報を生成する。また、例えば、較正部５０２は、その画素１２１ａの実際の入射角指向性と、予め記憶している画素１２１ａの入射角指向性の設計値とのずれを求め、そのずれを示す情報を含む較正情報を生成する。

【0386】

ステップＳ５０８において、較正情報書き込み部５０３は、その較正情報を撮像素子１２１の復元行列生成部１０２に書き込み、記憶させる。

【0387】

ステップＳ５０８の処理が終了すると較正処理が終了する。

【0388】

このように較正処理を行うことにより、較正装置５００は、撮像素子１２１の較正をより容易に行うことができる。また、これにより、撮像素子１２１は、より正確な復元画像を生成することができる。

【0389】

＜３．第２の実施の形態＞
＜撮像装置＞
本技術は、撮像素子以外にも適用することができる。例えば、本技術は、撮像装置にも適用することができる。

【0390】

例えば、撮像装置において、撮像レンズおよびピンホールのいずれも介さずに入射する入射光に対する入射角指向性を独立に設定可能な構成を有する複数の画素出力単位を備え、その複数の画素出力単位は、行列状に配置され、少なくとも１部の画素出力単位が、その行列の行方向及び列方向の双方に入射角指向性を有する複数の画像復元用画素出力単位と、その行列の行方向にのみまたはその行列の列方向にのみ入射角指向性を有する一方向指向性画素出力単位とを含む撮像素子と、その一方向指向性画素出力単位の出力を用いて、その複数の画像復元用画素出力単位の出力である検出画像から復元画像を生成する際に用いられる復元行列を生成する生成部とを備えるようにしてもよい。

【0391】

つまり、撮像レンズおよびピンホールのいずれも介さずに入射する入射光に対する入射角指向性を独立に設定可能な構成を有する複数の画素出力単位を備え、その複数の画素出力単位は、行列状に配置され、少なくとも１部の画素出力単位が、その行列の行方向及び列方向の双方に入射角指向性を有する複数の画像復元用画素出力単位と、その行列の行方向にのみまたはその行列の列方向にのみ入射角指向性を有する一方向指向性画素出力単位とを含む撮像素子の、その一方向指向性画素出力単位の出力を用いて、その複数の画像復元用画素出力単位の出力である検出画像から復元画像を生成する際に用いられる復元行列を生成するようにしてもよい。

【0392】

このようにすることにより、この撮像装置は、より正確な復元画像を生成することができる。

【0393】

図３０は、本技術を適用した撮像装置の一実施の形態の主な構成例を示す図である。図３０に示される撮像装置６００は、被写体を撮像し、その撮像画像に関する電子データを得る装置である。

【0394】

図３０に示されるように、撮像装置６００は、制御部６０１、入力部６１１、出力部６１２、記憶部６１３、通信部６１４、および記録再生部６１５を有する。また撮像装置６００は、撮像素子６２１、復元行列生成部６２２、復元行列記憶部６２３、復元部６２４、関連付け部６２５、およびセンサ部６２６を有する。各処理部等は、バス６１０を介して互いに接続され、互いに情報や命令等を授受することができる。

【0395】

なお、撮像素子６２１、復元行列生成部６２２、復元行列記憶部６２３、復元部６２４、および関連付け部６２５は、一体化して撮像部６２０としてもよい。撮像部６２０は、どのような物理的構成により実現されるようにしてもよい。例えば、撮像部６２０が、システムLSI（Large Scale Integration）等としてのプロセッサとして実現されるようにしてもよい。また、撮像部６２０が、例えば複数のプロセッサ等を用いるモジュール、複数のモジュール等を用いるデバイスユニット、または、デバイスユニットにさらにその他の機能を付加したセット等（すなわち、装置の一部の構成）として実現されるようにしてもよい。また、撮像部６２０を装置として実現するようにしてもよい。

【0396】

制御部６０１は、撮像装置６００内の各処理部等の制御に関する処理を行うように構成される。例えば、制御部６０１は、CPU（Central Processing Unit）、ROM（Read Only Memory）、RAM（Random Access Memory）等を有し、そのCPU等を用いてプログラムを実行することにより、上述の処理を行う。

【0397】

入力部６１１は、情報の入力に関する処理を行うように構成される。例えば、入力部６１１は、操作ボタン、ダイヤル、スイッチ、タッチパネル、リモートコントローラ、センサ等の入力デバイスや外部入力端子を有する。例えば、入力部６１１は、それらの入力デバイスによってユーザ等の外部からの指示（入力された操作に対応する情報）を受け付ける。また、例えば、入力部６１１は、外部入力端子を介して、外部の装置から供給される任意の情報（プログラム、コマンド、データ等）を取得する。また、例えば、入力部６１１は、その受け付けた情報（取得した情報）を、バス６１０を介して他の処理部等に供給する。

【0398】

なお、入力部６１１が有するセンサは、例えば加速度センサ等、ユーザ等の外部からの指示を受け付けることができるものであれば、どのようなものであってもよい。また、入力部６１１が有する入力デバイスは任意であり、その数も任意である。入力部６１１が複数種類の入力デバイスを有するようにしてもよい。例えば、入力部６１１が、上述した例の一部を有するようにしてもよいし、全部を有するようにしてもよい。また、入力部６１１が、上述した例以外の入力デバイスを有するようにしてもよい。さらに、例えば、入力部６１１が、バス６１０を介して供給される自身（入力デバイス等）の制御情報を取得し、その制御情報に基づいて駆動するようにしてもよい。

【0399】

出力部６１２は、情報の出力に関する処理を行うように構成される。例えば、出力部６１２は、モニタ等の画像表示デバイス、プロジェクタ等の画像投影デバイス、スピーカ等の音声出力デバイス、外部出力端子等を有する。例えば、出力部６１２は、それらの出力デバイス等を用いて、バス６１０を介して他の処理部等から供給される情報を出力する。例えば、出力部６１２は、撮像画像（復元画像）をモニタに表示したり、撮像画像（復元画像）をプロジェクタから投影したり、音声（例えば入力操作や処理結果等に対応する音声）を出力したり、任意の情報（プログラム、コマンド、データ等）を外部（他の機器）に出力したりする。

【0400】

なお、出力部６１２が有する出力デバイス等は任意であり、その数も任意である。出力部６１２が複数種類の出力デバイス等を有するようにしてもよい。例えば、出力部６１２が、上述した例の一部を有するようにしてもよいし、全部を有するようにしてもよい。また、出力部６１２が、上述した例以外の出力デバイス等を有するようにしてもよい。さらに、例えば、出力部６１２が、バス６１０を介して供給される自身（出力デバイス等）の制御情報を取得し、その制御情報に基づいて駆動するようにしてもよい。

【0401】

記憶部６１３は、情報の記憶に関する処理を行うように構成される。例えば、記憶部６１３は、ハードディスクや半導体メモリ等のような、任意の記憶媒体を有する。例えば、記憶部６１３は、バス６１０を介して他の処理部等から供給される情報（プログラム、コマンド、データ等）をその記憶媒体に記憶する。また、記憶部６１３は、出荷時において任意の情報（プログラム、コマンド、データ等）を記憶しているようにしてもよい。また、記憶部６１３は、任意のタイミングにおいて、または、他の処理部等からの要求に応じて、その記憶媒体に記憶されている情報を読み出し、読み出した情報を、バス６１０を介して他の処理部等に供給する。

【0402】

なお、記憶部６１３が有する記憶媒体は任意であり、その数も任意である。記憶部６１３が複数種類の記憶媒体を有するようにしてもよい。例えば、記憶部６１３が、上述した記憶媒体の例の一部を有するようにしてもよいし、全部を有するようにしてもよい。また、記憶部６１３が、上述した例以外の記憶媒体等を有するようにしてもよい。また、例えば、記憶部６１３が、バス６１０を介して供給される自身の制御情報を取得し、その制御情報に基づいて駆動するようにしてもよい。

【0403】

通信部６１４は、他の装置との通信に関する処理を行うように構成される。例えば、通信部６１４は、所定の通信媒体（例えばインターネット等の任意のネットワーク）を介して外部の装置とプログラムやデータ等の情報を授受する通信を行う通信デバイスを有する。例えば、通信部６１４は、他の装置と通信を行い、バス６１０を介して他の処理部等より供給される情報（プログラム、コマンド、データ等）を、その通信相手である他の装置に供給する。また、例えば、通信部６１４は、他の装置と通信を行い、その通信相手である他の装置から供給される情報を取得し、その情報を、バス６１０を介して他の処理部等に供給する。

【0404】

通信部６１４が有する通信デバイスはどのようなものであってもよい。例えば、ネットワークインタフェースであってもよい。通信方法や通信規格は任意である。例えば、通信部６１４が、有線通信を行うことができるようにしてもよいし、無線通信を行うことができるようにしてもよいし、その両方を行うことができるようにしてもよい。また、例えば、通信部６１４が、バス６１０を介して供給される自身（通信デバイス等）の制御情報を取得し、その制御情報に基づいて駆動するようにしてもよい。

【0405】

記録再生部６１５は、自身に装着された記録媒体６１６を利用した情報の記録や再生に関する処理を行うように構成される。例えば、記録再生部６１５は、自身に装着された記録媒体６１６に記録されている情報（プログラム、コマンド、データ等）を読み出し、その情報を、バス６１０を介して他の処理部等に供給する。また、例えば、記録再生部６１５は、バス６１０を介して他の処理部等から供給される情報を取得し、その情報を、自身に装着された記録媒体６１６に書き込む（記録する）。なお、例えば、記録再生部６１５が、バス６１０を介して供給される自身の制御情報を取得し、その制御情報に基づいて駆動するようにしてもよい。

【0406】

なお、記録媒体６１６は、どのようなものであってもよい。例えば、磁気ディスク、光ディスク、光磁気ディスク、半導体メモリなどであってもよい。また、記録媒体６１６は、記録再生部６１５に着脱可能な（リムーバブルな）記録媒体であってもよいし、撮像装置６００に内蔵される、記録再生部６１５と固定的に接続される記録媒体であってもよい。

【0407】

撮像素子６２１は、被写体を撮像し、各画素において検出信号を生成し、その検出信号からなる検出画像を出力し、復元部６２４および関連付け部６２５に供給する。

【0408】

復元行列生成部６２２は、上述した復元行列生成部１０２と同様の処理部であり、同様の構成を有し、同様の処理を行う。例えば、復元行列生成部６２２は、例えば撮像装置６００の外部から供給される、一方向指向性画素出力単位の出力を用いて生成される情報であって、撮像素子６２１の各画素（画像復元用画素出力単位）の入射角指向性の較正に関する較正情報を用いて、画素１２１ａの実際の入射角指向性に対応する復元行列を生成する。復元行列生成部６２２は、生成した復元行列を復元行列記憶部６２３に供給する。

【0409】

復元行列記憶部６２３は、上述した復元行列記憶部１０３と同様の処理部であり、同様の構成を有し、同様の処理を行う。例えば、復元行列記憶部６２３は、復元行列生成部６２２から供給される復元行列を取得し、それを記憶媒体に記憶（保持）する。復元行列記憶部６２３は、必要に応じて（例えば、所定のタイミングにおいてまたは要求に応じて）、その記憶媒体に記憶されている復元行列を読み出し、復元部６２４若しくは関連付け部６２５、またはその両方に供給する。

【0410】

復元部６２４は、上述した復元部１０４と同様の処理部であり、同様の較正を有し、同様の処理を行う。例えば、復元部６２４は、撮像素子６２１から供給された検出画像（検出信号）に対して、復元行列記憶部６２３から供給される復元行列（画素１２１ａの実際の入射角指向性に対応する復元行列）を用いて所定の演算を行うことにより、復元画像を生成する。復元部６２４は、生成した出力データ（復元画像等）を、出力部６１２乃至記録再生部６１５のいずれか１つ以上に供給する。なお、復元部６２４が、復元画像に対して、例えばガンマ補正（γ補正）やホワイトバランス制御等の任意の画像処理を施すようにしてもよい。また、復元部６２４が、復元画像のデータのフォーマットを変換したり、例えばJPEG（Joint Photographic Experts Group）、TIFF（Tagged Image File Format）、GIF（Graphics Interchange Format）等の所定の圧縮方式で圧縮したりするようにしてもよい。

【0411】

関連付け部６２５は、上述した関連付け部１０５と同様の処理部であり、同様の構成を有し、同様の処理を行う。例えば、関連付け部６２５は、撮像素子６２１から供給される検出画像（検出信号）に、復元行列記憶部６２３から供給される復元行列（画素１２１ａの実際の入射角指向性に対応する復元行列）を関連付ける。関連付け部６２５は、関連付けたデータを、出力データとして、出力部６１２乃至記録再生部６１５のいずれか１つ以上に供給する。なお、この検出画像と復元行列との関連付けは、記録再生部６１５等の他の処理部において行うようにしてもよい。その場合、記録再生部６１５等を関連付け部とみなすことができ、関連付け部６２５は省略することができる。

【0412】

センサ部６２６は、検出に関する処理を行うように構成される。例えば、センサ部６２６は、任意のセンサを有し、所定のパラメータについての検出を行う。例えば、センサ部６２６は、撮像装置６００の周辺の状態に関するパラメータや、撮像装置６００の状態に関するパラメータ等についての検出を行う。例えば、センサ部６２６は、撮像素子１２１の状態に関するパラメータについての検出を行う。また、例えば、センサ部６２６は、検出した情報を、バス６１０を介して他の処理部等に供給する。

【0413】

以上のように、撮像装置６００は、撮像素子６２１の較正情報を用いて復元行列を生成し、その復元行列（画素１２１ａの実際の入射角指向性に対応する復元行列）を用いて復元画像を生成することができるので、より正確な復元画像を生成することができる。また、撮像装置６００は、その復元行列（画素１２１ａの実際の入射角指向性に対応する復元行列）を検出画像に関連付けて他の装置に供給することができるので、その他の装置は、より正確な復元画像を生成することができる。なお、撮像素子１２１、復元行列生成部６２２乃至センサ部６２６は、バス６１０を介して供給される自身の制御情報を取得し、その制御情報に基づいて駆動するようにしてもよい。

【0414】

また、以上のように、撮像素子６２１は、復元行列の生成等の処理を、撮像素子６２１の外部において行う。つまり、本技術を適用した復元行列の生成等の処理は、撮像素子の内部または外部（いずれか一方）において行うことができる。

【0415】

＜撮像素子＞
図３５は、撮像素子６２１の主な構成例を示すブロック図である。図３５に示されるように、撮像素子６２１は、受光部１１１およびその他の処理部１１２（A/D変換部１０１および出力部１０６）を有する。すなわち、撮像素子６２１は、撮像素子１２１（図１）と比較して、復元行列生成部１０２乃至関連付け部１０５を省略することができる。

【0416】

＜４．第３の実施の形態＞
＜撮像装置における撮像素子の較正＞
また、撮像装置６００において、撮像素子６２１の較正を行うことができるようにしてもよい。例えば、図３６に示されるように、撮像装置６００にアタッチメント６５０を装着し、そのアタッチメント６５０に設けられた光源６５１から光を照射させ、撮像装置６００（撮像素子１２１）がそれを撮像し、その検出画像を用いて撮像素子６２１の較正を行うようにしてもよい。

【0417】

この場合、アタッチメント６５０の光源６５１は、較正装置５００の光照射部５０１の光源５１１と同様の構成を有し、同様に点灯させることができる。つまり、各光源６５１からの光は平行光としてその光源６５１の位置に応じた入射角で撮像素子１２１に入射する。

【0418】

＜撮像装置＞
この場合の撮像装置６００の主な構成例を図３７に示す。図３７に示されるように、この場合も撮像装置６００は、基本的に図３４の場合と同様の構成を有するが、その構成に加えて、さらに較正部６６１を有する。

【0419】

較正部６６１は、基本的に、較正装置５００の較正部５０２と同様の構成を有し、同様の処理を行う。例えば、較正部６６１は、上述のようにアタッチメント６５０から光が照射された状態で撮像素子６２１が撮像して生成した較正用画素４１１の検出信号を取得し、その検出信号に基づいて較正情報を生成する。この較正情報の生成方法は、較正部５０２の場合と同様である。較正部６６１は、生成した較正情報を復元行列生成部６２２供給する。

【0420】

復元行列生成部６２２は、このように供給された較正情報を用いて復元行列（つまり、撮像素子６２１の画素１２１ａの実際の入射角指向性に対応した復元行列）を生成する。

【0421】

したがって、この場合も撮像装置６００は、より正確な復元画像を生成することができる。

【0422】

＜５．第４の実施の形態＞
＜較正システム＞
なお、予め複数のパタンの較正情報を用意し、各較正情報を用いて復元行列を生成し、より正確な（S/N比が少ない）復元画像が得られる較正情報を選択するようにしてもよい。さらにその較正情報の選択を、撮像装置や撮像素子の外部（例えばサーバ等）において行うようにしてもよい。

【0423】

図３８は、本技術を適用した情報処理システムの一実施の形態である較正システムの主な構成例を示す図である。図３８に示される較正システム７００は、上述のように、撮像装置（または撮像素子）等において復元行列の生成に用いられる較正情報の選択を行うシステムである。

【0424】

図３８に示されるように、較正システム７００は、サーバ７０１、較正情報データベース７０２、ネットワーク７１０、並びに複数の撮像装置６００（例えば、撮像装置６００－１および撮像装置６００－２）を有する。

【0425】

サーバ７０１は、ネットワーク７１０を介して撮像装置６００と接続されており、各撮像装置６００において使用される較正情報の選択に関する処理を行う。較正情報データベース７０２には、複数の較正情報が予め格納されている。

【0426】

撮像装置６００は、較正情報を用いて復元行列を生成し、その復元行列を用いて復元画像を生成し、それを、ネットワーク７１０を介してサーバ７０１に供給する。

【0427】

サーバ７０１は、その復元画像の画質を判定し、その画像判定結果を撮像装置６００に返す。その際、サーバ７０１は、画質が十分でない（例えばS/N比が低い）と判定した場合、較正情報データベース７０２から新たな較正情報を取得し、画像判定結果とともにその新たな較正情報を撮像装置６００に供給する。

【0428】

撮像装置６００は、供給された較正情報を用いて復元行列を生成し、再度撮像を行い、その復元行列を用いて復元画像を生成する。撮像装置６００は、再度その復元画像をサーバ７０１に供給する。

【0429】

サーバ７０１が、復元画像の画質が十分であると判定するまで、または、画質が最もよくなるまで、以上のような処理を繰り返す。

【0430】

このようにすることにより、撮像装置６００は、より正確な復元画像を生成することができる。つまり、撮像装置６００は、復元画像の画質の低減を抑制することができる。

【0431】

＜６．付記＞
＜コンピュータ＞
上述した一連の処理は、ハードウエアにより実行させることもできるし、ソフトウエアにより実行させることもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここでコンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータ等が含まれる。

【0432】

図３９は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。

【0433】

図３９に示されるコンピュータ９００において、CPU（Central Processing Unit）９０１、ROM（Read Only Memory）９０２、RAM（Random Access Memory）９０３は、バス９０４を介して相互に接続されている。

【0434】

バス９０４にはまた、入出力インタフェース９１０も接続されている。入出力インタフェース９１０には、入力部９１１、出力部９１２、記憶部９１３、通信部９１４、およびドライブ９１５が接続されている。

【0435】

入力部９１１は、例えば、キーボード、マウス、マイクロホン、タッチパネル、入力端子などよりなる。出力部９１２は、例えば、ディスプレイ、スピーカ、出力端子などよりなる。記憶部９１３は、例えば、ハードディスク、RAMディスク、不揮発性のメモリなどよりなる。通信部９１４は、例えば、ネットワークインタフェースよりなる。ドライブ９１５は、磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリなどのリムーバブル記録媒体９２１を駆動する。

【0436】

以上のように構成されるコンピュータでは、CPU９０１が、例えば、記憶部９１３に記憶されているプログラムを、入出力インタフェース９１０およびバス９０４を介して、RAM９０３にロードして実行することにより、上述した一連の処理が行われる。RAM９０３にはまた、CPU９０１が各種の処理を実行する上において必要なデータなども適宜記憶される。

【0437】

コンピュータ（CPU９０１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブル記録媒体９２１に記録して適用することができる。その場合、プログラムは、リムーバブル記録媒体９２１をドライブ９１５に装着することにより、入出力インタフェース９１０を介して、記憶部９１３にインストールすることができる。

【0438】

また、このプログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することもできる。その場合、プログラムは、通信部９１４で受信し、記憶部９１３にインストールすることができる。

【0439】

その他、このプログラムは、ROM９０２や記憶部９１３に、あらかじめインストールしておくこともできる。

【0440】

＜本技術の適用対象＞
なお、本技術を適用したシステム、装置、処理部等は、例えば、交通、医療、防犯、農業、畜産業、鉱業、美容、工場、家電、気象、自然監視等、任意の分野に利用することができる。また、その用途も任意である。

【0441】

例えば、本技術は、観賞用コンテンツ等の提供の用に供されるシステムやデバイスに適用することができる。また、例えば、本技術は、交通状況の監理や自動運転制御等、交通の用に供されるシステムやデバイスにも適用することができる。さらに、例えば、本技術は、セキュリティの用に供されるシステムやデバイスにも適用することができる。また、例えば、本技術は、機械等の自動制御の用に供されるシステムやデバイスに適用することができる。さらに、例えば、本技術は、農業や畜産業の用に供されるシステムやデバイスにも適用することができる。また、本技術は、例えば火山、森林、海洋等の自然の状態や野生生物等を監視するシステムやデバイスにも適用することができる。さらに、例えば、本技術は、スポーツの用に供されるシステムやデバイスにも適用することができる。

【0442】

＜その他＞
本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。

【0443】

例えば、本技術は、装置またはシステムを構成するあらゆる構成、例えば、システムLSI（Large Scale Integration）等としてのプロセッサ、複数のプロセッサ等を用いるモジュール、複数のモジュール等を用いるデバイスユニット、デバイスユニットにさらにその他の機能を付加したセット等（すなわち、装置の一部の構成）として実施することもできる。

【0444】

また、上述した各処理部は、任意の構成により実現することができる。例えば、回路、LSI、システムLSI、プロセッサ、モジュール、デバイスユニット、セット、デバイス、装置、またはシステム等により構成されるようにしてもよい。また、それらを複数組み合わせるようにしてもよい。その際、例えば、複数の回路、複数のプロセッサ等のように同じ種類の構成を組み合わせるようにしてもよいし、回路とLSI等のように異なる種類の構成を組み合わせるようにしてもよい。

【0445】

なお、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、全ての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、および、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。

【0446】

また、例えば、１つの装置（または処理部）として説明した構成を分割し、複数の装置（または処理部）として構成するようにしてもよい。逆に、以上において複数の装置（または処理部）として説明した構成をまとめて１つの装置（または処理部）として構成されるようにしてもよい。また、各装置（または各処理部）の構成に上述した以外の構成を付加するようにしてももちろんよい。さらに、システム全体としての構成や動作が実質的に同じであれば、ある装置（または処理部）の構成の一部を他の装置（または他の処理部）の構成に含めるようにしてもよい。

【0447】

また、例えば、本技術は、１つの機能を、ネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。例えば、コンピュータ、AV（Audio Visual）機器、携帯型情報処理端末、IoT（Internet of Things）デバイス等の任意の端末に対して、撮像画像（動画像）に関するサービスを提供するクラウドサービスに適用することもできる。

【0448】

また、例えば、上述したプログラムは、任意の装置において実行することができる。その場合、その装置が、必要な機能（機能ブロック等）を有し、必要な情報を得ることができるようにすればよい。

【0449】

また、例えば、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。換言するに、１つのステップに含まれる複数の処理を、複数のステップの処理として実行することもできる。逆に、複数のステップとして説明した処理を１つのステップとしてまとめて実行することもできる。

【0450】

コンピュータが実行するプログラムは、プログラムを記述するステップの処理が、本明細書で説明する順序に沿って時系列に実行されるようにしても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで個別に実行されるようにしても良い。つまり、矛盾が生じない限り、各ステップの処理が上述した順序と異なる順序で実行されるようにしてもよい。さらに、このプログラムを記述するステップの処理が、他のプログラムの処理と並列に実行されるようにしても良いし、他のプログラムの処理と組み合わせて実行されるようにしても良い。

【0451】

本明細書において複数説明した本技術は、矛盾が生じない限り、それぞれ独立に単体で実施することができる。もちろん、任意の複数の本技術を併用して実施することもできる。例えば、いずれかの実施の形態において説明した本技術の一部または全部を、他の実施の形態において説明した本技術の一部または全部と組み合わせて実施することもできる。また、上述した任意の本技術の一部または全部を、上述していない他の技術と併用して実施することもできる。

【0452】

本技術は以下のような構成も取ることができる。
（１） 撮像レンズおよびピンホールのいずれも介さずに入射する入射光に対する入射角指向性を独立に設定可能な構成を有する複数の画素出力単位を備え、
前記複数の画素出力単位は、
行列状に配置され、少なくとも１部の画素出力単位が、前記行列の行方向及び列方向の双方に前記入射角指向性を有する複数の画像復元用画素出力単位と、
前記行列の行方向にのみまたは前記行列の列方向にのみ前記入射角指向性を有する一方向指向性画素出力単位と
を含む撮像素子。
（２） 前記一方向指向性画素出力単位は、前記画像復元用画素出力単位が形成される領域である有効画素領域以外の領域に形成される
（１）に記載の撮像素子。
（３） 前記一方向指向性画素出力単位は、前記有効画素領域の外側にある外部領域に形成される
（２）に記載の撮像素子。
（４） 長方形状の前記有効画素領域の前記行列の行方向の外側にある前記外部領域に、前記行列の列方向にのみ前記入射角指向性を有する前記一方向指向性画素出力単位が形成される
（３）に記載の撮像素子。
（５） 長方形状の前記有効画素領域の前記行列の列方向の外側にある前記外部領域に、前記行列の行方向にのみ前記入射角指向性を有する前記一方向指向性画素出力単位が形成される
（３）または（４）に記載の撮像素子。
（６） 前記有効画素領域に形成される複数の前記画像復元用画素出力単位の少なくとも１つは、前記行列の行方向および列方向のそれぞれについて、前記外部領域に形成される複数の前記一方向指向性画素出力単位の少なくとも１つと同一の前記入射角指向性を有する
（３）乃至（５）のいずれかに記載の撮像素子。
（７） 前記行列の各行の少なくとも１つの前記画像復元用画素出力単位は、前記外部領域の、その行と同一の行に設けられた少なくとも１つの前記一方向指向性画素出力単位と同一の、前記行列の列方向の前記入射角指向性を有する
（６）に記載の撮像素子。
（８） 前記行列の各列の少なくとも１つの前記画像復元用画素出力単位は、前記外部領域の、その列と同一の列に設けられた少なくとも１つの前記一方向指向性画素出力単位と同一の、前記行列の行方向の前記入射角指向性を有する
（６）または（７）に記載の撮像素子。
（９） 前記行列の各行の少なくとも１つの前記画像復元用画素出力単位は、前記外部領域の、その行と異なる他の行に設けられた少なくとも１つの前記一方向指向性画素出力単位と同一の、前記行列の列方向の前記入射角指向性を有する
（６）乃至（８）のいずれかに記載の撮像素子。
（１０） 前記行列の各列の少なくとも１つの前記画像復元用画素出力単位は、前記外部領域の、その列と異なる他の列に設けられた少なくとも１つの前記一方向指向性画素出力単位と同一の、前記行列の行方向の前記入射角指向性を有する
（６）乃至（９）のいずれかに記載の撮像素子。
（１１） 前記有効画素領域に形成される全ての前記画像復元用画素出力単位は、前記行列の行方向および列方向のそれぞれについて、前記外部領域に形成される複数の前記一方向指向性画素出力単位の少なくとも１つと同一の前記入射角指向性を有する
（６）乃至（１０）のいずれかに記載の撮像素子。
（１２） 前記有効画素領域に形成される複数の前記画像復元用画素出力単位の内の一部の前記画像復元用画素出力単位は、前記行列の行方向および列方向のそれぞれについて、前記外部領域に形成される複数の前記一方向指向性画素出力単位の少なくとも１つと同一の前記入射角指向性を有する
（６）乃至（１０）のいずれかに記載の撮像素子。
（１３） 前記有効画素領域に形成される前記一部の画像復元用画素出力単位以外の他の画像復元用画素出力単位の、前記行列の行方向および列方向のそれぞれの前記入射角指向性は、前記外部領域に形成される前記一方向指向性画素出力単位の入射角指向性に基づいて推定し得る
（１２）に記載の撮像素子。
（１４） 前記一方向指向性画素出力単位および前記画像復元用画素出力単位の少なくともいずれか一方は、前記入射角指向性の所定の規則性に基づく並び順で配置される
（３）乃至（１３）のいずれかに記載の撮像素子。
（１５） 前記入射角指向性を前記画素出力単位毎に独立に設定可能な構成は、遮光膜によって構成される
（１）乃至（１４）のいずれかに記載の撮像素子。
（１６） 前記一方向指向性画素出力単位を用いて生成される前記画像復元用画素出力単位の前記入射角指向性の較正に関する情報である較正情報を用いて、前記画像復元用画素出力単位において得られる検出画像から復元画像を生成する際に用いられる復元行列を生成する生成部をさらに備える
（１）乃至（１５）のいずれかに記載の撮像素子。
（１７） 前記生成部により生成された前記復元行列を記憶する復元行列記憶部をさらに備える
（１６）に記載の撮像素子。

【0453】

（１８） 撮像レンズおよびピンホールのいずれも介さずに入射する入射光に対する入射角指向性を独立に設定可能な構成を有する複数の画素出力単位を備え、
前記複数の画素出力単位は、
行列状に配置され、少なくとも１部の画素出力単位が、前記行列の行方向及び列方向の双方に前記入射角指向性を有する複数の画像復元用画素出力単位と、
前記行列の行方向にのみまたは前記行列の列方向にのみ前記入射角指向性を有する一方向指向性画素出力単位と
を含む撮像素子と、
前記一方向指向性画素出力単位の出力を用いて、前記複数の画像復元用画素出力単位の出力である検出画像から復元画像を生成する際に用いられる復元行列を生成する生成部と
を備える撮像装置。
（１９） 前記生成部は、前記一方向指向性画素出力単位の出力を用いて生成される情報であって、前記画像復元用画素出力単位の前記入射角指向性の較正に関する情報である較正情報を用いて、前記復元行列を生成する
（１８）に記載の撮像装置。

【0454】

（２０） 撮像レンズおよびピンホールのいずれも介さずに入射する入射光に対する入射角指向性を独立に設定可能な構成を有する複数の画素出力単位を備え、
前記複数の画素出力単位は、
行列状に配置され、少なくとも１部の画素出力単位が、前記行列の行方向及び列方向の双方に前記入射角指向性を有する複数の画像復元用画素出力単位と、
前記行列の行方向にのみまたは前記行列の列方向にのみ前記入射角指向性を有する一方向指向性画素出力単位と
を含む撮像素子の、
前記一方向指向性画素出力単位からの出力を用いて、前記複数の画像復元用画素出力単位の出力である検出画像から復元画像を生成する際に用いられる復元行列を生成する
情報処理方法。
（２１） 前記復元行列を生成する工程では、前記一方向指向性画素出力単位からの出力を用いて生成される較正情報を用いて、前記復元行列を生成する
（２０）に記載の情報処理方法。
（２２） 前記撮像素子の前記入射角指向性を前記画素出力単位毎に独立に設定可能な構成である遮光膜の位置ずれを計測し、前記遮光膜の位置ずれに関する情報を含む前記較正情報を生成する
（２１）に記載の情報処理方法。
（２３） 前記撮像素子のオンチップレンズの高さのずれを計測し、前記オンチップレンズの高さのずれに関する情報を含む前記較正情報を生成する
（２１）または（２２）に記載の情報処理方法。
（２４） 前記一方向指向性画素出力単位において、前記入射光の互いに異なる複数の入射角のそれぞれについて検出信号値を計測し、各計測結果を用いて前記較正情報を生成する
（２１）乃至（２３）のいずれかに記載の情報処理方法。
（２５） 前記一方向指向性画素出力単位において、前記入射光の所定の入射角について検出信号値を計測し、その計測の結果と基準値とを用いて前記較正情報を生成する
（２１）乃至（２４）のいずれかに記載の情報処理方法。
（２６） 複数の前記一方向指向性画素出力単位のそれぞれの検出信号値を計測し、その計測の結果の統計値を用いて前記較正情報を生成する
（２１）乃至（２５）のいずれかに記載の情報処理方法。

【符号の説明】

【0455】

１０２ 復元行列生成部， １０３ 復元行列記憶部， １０４ 復元部， １０５ 関連付け部， １１１ 受光部， １２１ 撮像素子， ４０１ 有効画素領域， ４０２ 較正用画素領域， ４１１ 較正用画素， ４１２ 遮光膜， ５００ 較正装置， ５０１ 光照射部， ５０２ 較正部， ５０３ 較正情報書き込み部， ５１１ 光源， ６００ 撮像装置， ６２２ 復元行列生成部， ６２３ 復元行列記憶部， ６２４ 復元部， ６２５ 関連付け部， ６５０ アタッチメント， ６５１ 光源， ６６１ 較正部， ７００ 較正システム， ７０１ サーバ， ７０２ 較正情報データベース

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】

【図22】

【図23】

【図24】

【図25】

【図26】

【図27】

【図28】

【図29】

【図30】

【図31】

【図32】

【図33】

【図34】

【図35】

【図36】

【図37】

【図38】

【図39】