特開2024-155556マスク、撮像装置、撮像システム、およびデータ生成方法
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024155556
(43)【公開日】2024-10-31
(54)【発明の名称】マスク、撮像装置、撮像システム、およびデータ生成方法
(51)【国際特許分類】
H04N 23/95 20230101AFI20241024BHJP
H04N 23/55 20230101ALI20241024BHJP
H04N 25/70 20230101ALI20241024BHJP
H04N 25/702 20230101ALI20241024BHJP
【ＦＩ】
H04N23/95
H04N23/55
H04N25/70
H04N25/702
【審査請求】未請求
【請求項の数】16
【出願形態】ＯＬ
(21)【出願番号】P 2023070363
(22)【出願日】2023-04-21
(71)【出願人】
【識別番号】316005926
【氏名又は名称】ソニーセミコンダクタソリューションズ株式会社
(74)【代理人】
【識別番号】110002147
【氏名又は名称】弁理士法人酒井国際特許事務所
(72)【発明者】
【氏名】植村 亮介
【テーマコード（参考）】
5C024
5C122
【Ｆターム（参考）】
5C024CY49
5C024EX21
5C024EX51
5C024GZ36
5C122EA12
5C122FB17
5C122FC06
5C122HB10
(57)【要約】
【課題】復号画像の画質劣化を抑制できるマスク、撮像装置、撮像システム、およびデータ生成方法を提供する。
【解決手段】実施形態に係るマスクは、予め設定される回転基準点を中心とした回転方向に対称な対称成分を有する光の振幅変調領域または位相変調領域を含む２次元パターンが設けられ、入射する光を撮像素子に導光する。
【選択図】図５
【解決手段】実施形態に係るマスクは、予め設定される回転基準点を中心とした回転方向に対称な対称成分を有する光の振幅変調領域または位相変調領域を含む２次元パターンが設けられ、入射する光を撮像素子に導光する。
【選択図】図５
【特許請求の範囲】
【請求項1】
予め設定される回転基準点を中心とした回転方向に対称な対称成分を有する光の振幅変調領域または位相変調領域を含む２次元パターンが設けられ、入射する光を撮像素子に導光する
マスク。
マスク。
【請求項2】
前記回転基準点は、
前記２次元パターンが設けられるパターン形成領域の内部に設定される
請求項１に記載のマスク。
前記２次元パターンが設けられるパターン形成領域の内部に設定される
請求項１に記載のマスク。
【請求項3】
前記回転基準点は、
前記パターン形成領域の重心からの距離が、前記重心から前記パターン形成領域の周縁部までの距離の半分以下の位置に設定される
請求項２に記載のマスク。
前記パターン形成領域の重心からの距離が、前記重心から前記パターン形成領域の周縁部までの距離の半分以下の位置に設定される
請求項２に記載のマスク。
【請求項4】
前記回転基準点は、
前記パターン形成領域の重心の位置に設定される
請求項３に記載のマスク。
前記パターン形成領域の重心の位置に設定される
請求項３に記載のマスク。
【請求項5】
前記対称成分は、
前記回転基準点から前記２次元パターンが設けられるパターン形成領域の周縁部に向かうにつれて円弧状のパターンの円弧長が長くなる部分がある
請求項１に記載のマスク。
前記回転基準点から前記２次元パターンが設けられるパターン形成領域の周縁部に向かうにつれて円弧状のパターンの円弧長が長くなる部分がある
請求項１に記載のマスク。
【請求項6】
前記対称成分は、
前記回転基準点から前記２次元パターンが設けられるパターン形成領域の周縁部に向かうにつれて円弧状のパターンの円弧長が長くなる
請求項５に記載のマスク。
前記回転基準点から前記２次元パターンが設けられるパターン形成領域の周縁部に向かうにつれて円弧状のパターンの円弧長が長くなる
請求項５に記載のマスク。
【請求項7】
前記対称成分は、
前記回転基準点からの距離に比例して円弧状のパターンの円弧長が長くなる
請求項６に記載のマスク。
前記回転基準点からの距離に比例して円弧状のパターンの円弧長が長くなる
請求項６に記載のマスク。
【請求項8】
並進対称性を有する光の振幅変調領域または位相変調領域を含み、繰り返し単位の面積が撮像素子における受光領域の面積よりも小さい２次元パターンが設けられ、入射する光を前記撮像素子に導光する
マスク。
マスク。
【請求項9】
前記２次元パターンは、
１次元の並進対称性を有する
請求項８に記載のマスク。
１次元の並進対称性を有する
請求項８に記載のマスク。
【請求項10】
前記２次元パターンは、
２次元の並進対称性を有する
請求項９に記載のマスク。
２次元の並進対称性を有する
請求項９に記載のマスク。
【請求項11】
前記２次元パターンは、
１次元方向において同一のパターンが繰り返し出現する回数が２回以下である
請求項８に記載のマスク。
１次元方向において同一のパターンが繰り返し出現する回数が２回以下である
請求項８に記載のマスク。
【請求項12】
前記２次元パターンは、
１次元方向において繰り返し出現する同一のパターン間に隙間が設けられる
請求項８に記載のマスク。
１次元方向において繰り返し出現する同一のパターン間に隙間が設けられる
請求項８に記載のマスク。
【請求項13】
予め設定される回転基準点を中心とした回転方向に対称な対称成分を有する光の振幅変調領域または位相変調領域と、並進対称性を有する光の振幅変調領域または位相変調領域とを含む２次元パターンが設けられ、入射する光を撮像素子に導光する
マスク。
マスク。
【請求項14】
請求項１、８、１３のいずれか一つに記載のマスクと、
前記マスクを介して入射する光を受光する撮像素子と
を有する撮像装置。
前記マスクを介して入射する光を受光する撮像素子と
を有する撮像装置。
【請求項15】
請求項１、８、１３のいずれか一つに記載のマスクと、
前記マスクを介して入射する光を受光する撮像素子と
を有する撮像装置と、
前記撮像素子によって取得された像を復元する信号処理装置と
を含む撮像システム。
前記マスクを介して入射する光を受光する撮像素子と
を有する撮像装置と、
前記撮像素子によって取得された像を復元する信号処理装置と
を含む撮像システム。
【請求項16】
撮像装置が、
請求項１、８、１３のいずれか一つに記載のマスクを介して入射する光を撮像素子によって受光し、前記光に対応する像の符号化画像を生成する
ことを含むデータ生成方法。
請求項１、８、１３のいずれか一つに記載のマスクを介して入射する光を撮像素子によって受光し、前記光に対応する像の符号化画像を生成する
ことを含むデータ生成方法。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、マスク、撮像装置、撮像システム、およびデータ生成方法に関する。
【背景技術】
【0002】
撮像素子の光軸方向における前段に光の振幅変調領域または位相変調領域を含む既知の２次元パターンが形成された光学変調素（以下、「マスク」と記載する）を備えたレンズレスのイメージセンサがある。（例えば、特許文献１参照）。
【0003】
レンジレスのイメージセンサは、マスクの特徴的な２次元パターンの効果を受けて符号化された光を撮像素子上に投射し、マスクの効果を逆演算によって複号することで被写体の復号画像を生成する。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】国際公開第２０１９／１７６３４９号
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら、一般的なレンズレスのイメージセンサは、マスクと撮像素子との相対位置関係が予め定められる相対位置からずれていると、復号画像の画質が劣化する場合がある。
【0006】
そこで、本開示では、復号画像の画質劣化を抑制できるマスク、撮像装置、撮像システム、およびデータ生成方法を提案する。
【課題を解決するための手段】
【0007】
本開示に係るマスクは、予め設定される回転基準点を中心とした回転方向に対称な対称成分を有する光の振幅変調領域または位相変調領域を含む２次元パターンが設けられ、入射する光を撮像素子に導光する。
【図面の簡単な説明】
【0008】
【図1】実施形態に係るイメージセンサの構成および動作の概要を示す説明図である。
【図2】第１実施形態に係る回転誤差の発生事例を示す説明図である。
【図4A】第１実施形態に係るマスクの生成手順を示す説明図である。
【図4B】第１実施形態に係る位相変調マスクの一例を示す説明図である。
【図5】第１実施形態に係るロバストマスクを採用した画像を示す説明図である。
【図7A】第１実施形態に係るロバストマスクにおける対称成分の説明図である。
【図7B】第１実施形態に係るロバストマスクにおける対称成分の説明図である。
【図7C】第１実施形態に係るロバストマスクにおける対称成分の説明図である。
【図8】第１実施形態に係る回転基準点の説明図である。
【図9】第１実施形態に係る回転基準点がシフトされたロバストマスクを採用した画像を示す説明図である。
【図11】第２実施形態に係るクロップ誤差の発生事例を示す説明図である。
【図12】第２実施形態に係るクロップ誤差の発生事例を示す説明図である。
【図13】第２実施形態に係るクロップ誤差の発生事例を示す説明図である。
【図15】第２実施形態に係るロバストマスクの説明図である。
【図16】第２実施形態に係るロバストマスクによる効果を示す説明図である。
【図17】第２実施形態に係るロバストマスクのパターン例を示す説明図である。
【図18】第２実施形態に係るロバストマスクのパターン例を示す説明図である。
【図19】第２実施形態に係るロバストマスクのパターン例を示す説明図である。
【図20】第２実施形態に係るロバストマスクのパターン例を示す説明図である。
【図21】イメージセンサの変形例を示す説明図である。
【図22】イメージセンサの変形例を示す説明図である。
【図23】イメージセンサの変形例を示す説明図である。
【図24】イメージセンサの変形例を示す説明図である。
【発明を実施するための形態】
【0009】
以下に、本開示の実施形態について図面に基づいて詳細に説明する。なお、以下の各実施形態において、同一の部位には同一の符号を付することにより重複する説明を省略する。
【0010】
［１．イメージセンサの構成］
図１は、実施形態に係るイメージセンサ１の構成および動作の概要を示す説明図である。図１に示すイメージセンサ１は、撮像に被写体の１点１点から発せられた光を、センサ上で対応する１点１点に集光するレンズを必要としない、所謂レンズレスカメラである。
図１は、実施形態に係るイメージセンサ１の構成および動作の概要を示す説明図である。図１に示すイメージセンサ１は、撮像に被写体の１点１点から発せられた光を、センサ上で対応する１点１点に集光するレンズを必要としない、所謂レンズレスカメラである。
【0011】
図１に示すように、イメージセンサ１は、撮像装置１０と、信号処理装置２０とを備える。撮像装置１０は、マスクＭと、撮像素子Ｓとを備える。マスクＭは、撮像素子Ｓの光軸方向における前段に設けられる。マスクＭには、光の振幅変調領域または位相変調領域を含む既知の２次元パターンが形成されている。
【0012】
光の振幅変調は、遮光部材や透過率の異なる部材を用いて実現される。光の位相変調は、マスク面内での凹凸構造の制御や、マスクの屈折率分布、複数の屈折率の部材を波長以下のサイズオーダーで密度制御することで得られる実行屈折率の制御などで実現される。図１に示す例は、振幅変調の例である。
【0013】
被写体Ｔの撮像が行われる場合、マスクＭは、被写体の方向から入射する光Ｌ対して既知の２次元位相振幅パターンによる変調を与え、一定の距離を経ておかれた後段の撮像素子に導光する。これにより、撮像素子Ｓの受光面には、被写体Ｔの形状とマスクＭの２次元パターンの形状とに応じた光の強度分布が投影される。
【0014】
撮像素子Ｓは、受光面に複数の受光素子ＰＤが２次元行列上に配置されている。撮像素子Ｓは、各受光素子ＰＤによって受光する光Ｌを光電変換することによって、被写体Ｔの像がマスクＭの２次元パターンにより符号化された符号化画像ＤＡを生成して信号処理装置２０に出力する。符号化画像ＤＡは、マスクＭを介して入射する光Ｌが光電変換された画像であるため、肉眼では被写体Ｔを認識できない画像になる。
【0015】
撮像素子Ｓによる符号化画像ＤＢの撮像原理は、下記式（１）によって表される。
Ｙ＝Ｆ×Ｘ＋Ｎ・・・（１）
ここで、
Ｙ：各受光素子ＰＤの受光信号（１次元化データ）
Ｘ：シーンベクトル（撮像時にマスクＭに入射する光Ｌの値（１次元化データ））
Ｎ：ノイズ
Ｆ：イメージング行列（マスクＭの２次元パターンと、マスクと撮像素子の距離とによって規定される行列）
式（１）から解るように、各受光素子ＰＤの受光信号Ｙは、撮像時のシーンベクトルＸをイメージング行列Ｆによって変調した光にノイズＮを付加した信号となる。
Ｙ＝Ｆ×Ｘ＋Ｎ・・・（１）
ここで、
Ｙ：各受光素子ＰＤの受光信号（１次元化データ）
Ｘ：シーンベクトル（撮像時にマスクＭに入射する光Ｌの値（１次元化データ））
Ｎ：ノイズ
Ｆ：イメージング行列（マスクＭの２次元パターンと、マスクと撮像素子の距離とによって規定される行列）
式（１）から解るように、各受光素子ＰＤの受光信号Ｙは、撮像時のシーンベクトルＸをイメージング行列Ｆによって変調した光にノイズＮを付加した信号となる。
【0016】
信号処理装置２０は、符号化画像ＤＡに対して、所定の復号処理を行うことで、一般的なカメラと同様に被写体Ｔを認識できる２次元画像（以下、「復号画像ＤＢ」と記載する）を生成する。例えば、信号処理装置２０は、上記した各受光素子ＰＤの受光信号Ｙに、イメージング行列Ｆの逆行列Ｆ－１を掛け合わせてシーンベクトルＸを復元することにより、復号画像ＤＢを生成して出力する。
【0017】
一般の撮像素子の画素数が数百万画素オーダーであることを考えると、Ｙも同様のオーダーのベクトルサイズとなり、その撮像素子によって捉えるシーンベクトルＸも同程度のサイズを持つ場合、イメージング行列Ｆは非常に巨大な行列となる為、複合信号処理は、一般にメモリーや演算量が課題となる。
【0018】
これを回避する様々な手法が提案されているが、最も基本的な考え方の一つが、点応答関数にシフトインバリアント性の仮定（近似）をおくものである。
【0019】
物理的な説明としては、点応答関数とは、被写体の１点の光がマスクを通して撮像面に到達した時の強度分布であり、シフトインバリアント性の仮定とは、被写体の異なる１点から発せられたものであっても、上記の強度分布が、強度分布自体は変えずにシフトするだけと近似するものである。
【0020】
式（１）との対応関係での説明としては、点応答関数はイメージング行列Ｆの各行を意味し、シフトインバリアント性の仮定はイメージング行列Ｆの各行を比べた時に、シフトのみが起きている状態を意味する。
【0021】
シフトインバリアント性の仮定をおくと、式（１）は以下のように変形することが出来、メモリーや計算量を大幅に圧縮することが出来る。
Ｙ´＝Ｆ´＊Ｘ´＋Ｎ´・・・（２）
Ｙ´：各受光素子ＰＤの受光信号（２次元化データ）
Ｘ´：シーン行列（撮像時にマスクＭに入射する光Ｌの値（２次元化データ））
Ｎ´：ノイズ
Ｆ´：イメージング行列＝点応答関数
＊：畳み込み演算
Ｙ´＝Ｆ´＊Ｘ´＋Ｎ´・・・（２）
Ｙ´：各受光素子ＰＤの受光信号（２次元化データ）
Ｘ´：シーン行列（撮像時にマスクＭに入射する光Ｌの値（２次元化データ））
Ｎ´：ノイズ
Ｆ´：イメージング行列＝点応答関数
＊：畳み込み演算
【0022】
式（２）では、イメージング行列Ｆ´がＹ´と同様の行列サイズとなり、巨大なメモリーが不要となる、さらに畳み込み演算はＦＦＴ（高速フーリエ変換）アルゴリズムにより、高速に処理することが可能となる。
【0023】
Ｙ´を、イメージング行列Ｆ´で逆畳み込み演算することで、シーン行列Ｘ´を復元することが可能となる。逆畳み込みにおいては、ノイズ耐性を向上させる為に、Ｗｉｅｎｅｒフィルター処理を行っても良いし、シーン等に対する各種の既知の仮定を組み込んだ正規化項を付加しても良い。
【0024】
シフトインバリアント性の仮定と、ＦＦＴによる逆畳み込み演算ベースの複号信号処理は、特に第２実施形態と密接に関連している。
【0025】
このとき、マスクＭと撮像素子Ｓとの相対位置関係が予め定められる相対位置からずれている場合がある。例えば、マスクＭが撮像素子Ｓに対して、予め定められた既知の位置から回転した状態で配置される場合、マスクＭと撮像素子Ｓとの相対位置関係に誤差（以下、「回転誤差」と記載する）が生じる。また、マスクＭと撮像素子Ｓとの大小関係および光Ｌの入射角度の増大に伴い、撮像素子Ｓに所望の光Ｌが全ては入射しないといった誤差（以下、「クロップ誤差」と記載する）が生じることもある。
【0026】
このように、撮像装置１０では、マスクＭと撮像素子Ｓとの相対位置関係、マスクＭと撮像素子Ｓとの大小関係、光Ｌの入射角度の増大などの外乱による誤差が生じる場合がある。この場合、符号化画像ＤＡにおける各受光素子ＰＤの受光信号Ｙは、マスクＭの２次元パターンによって規定される既知のイメージング行列Ｆとは異なる行列によって変調された信号になる。
【0027】
このため、信号処理装置２０は、既知のイメージング行列Ｆとは異なる行列によって変調された受光信号Ｙに対して、既知のイメージング行列Ｆの逆行列Ｆ－１を適用しても、正しいシーンベクトルＸを復元できない。その結果、復号画像は、破綻して被写体Ｔを認識できない状態になる。
【0028】
そこで、本実施形態に撮像装置１０は、回転誤差およびクロップ誤差などの外乱の種類に応じた特徴をマスクＭに備えさせることによって、復号画像の画質劣化を抑制するように構成される。
【0029】
例えば、回転誤差に対しては、予めマスクＭに若干の回転対称性を備えさせることで、ロバストネスを各段に向上させることができる。また、クロップ誤差に対しては、マスクＭに予め並進対称性を備えさせることで、軽い復号処理のまま、ロバストネスを各段に向上させることができる。
【0030】
これにより、撮像装置１０は、復号のし易さ（逆問題の解きやすさ）に影響度与える変調パターンの自由度を残しつつ、各種ロバストネスを各段に向上させることができる。さらに、マスクＭに備えさせる回転対称性および並進対称性の特徴は、組合せが可能であるため、様々な誤差要因に対して同時にロバストネスを向上させることが可能となり、製造コストの大幅な低減や経時的変化の緩和につながる。
【0031】
以下、回転誤差による問題を解決する第１実施形態と、クロップ誤差による問題を解決する第２実施形態とについて説明する。
【0032】
［２．第１実施形態］
［２－１．回転誤差の発生事例］
ここでは、撮像素子Ｓに対するマスクＭの回転角度が０°、０．５°、および１°の場合について説明する。図２は、第１実施形態に係る回転誤差の発生事例を示す説明図である。図２に記載の回転角度は、マスクＭにおける２次元パターンの重心を回転基準点とした場合のマスクの回転角度である。図３は、図２に示す復号画像のＳＳＩＭ（Structural Similarity Index Measure）を示すグラフである。ＳＳＩＭは、値が１に近いほど画質が良好であることを示す。評価指標はＳＳＩＭ以外でもよい。
［２－１．回転誤差の発生事例］
ここでは、撮像素子Ｓに対するマスクＭの回転角度が０°、０．５°、および１°の場合について説明する。図２は、第１実施形態に係る回転誤差の発生事例を示す説明図である。図２に記載の回転角度は、マスクＭにおける２次元パターンの重心を回転基準点とした場合のマスクの回転角度である。図３は、図２に示す復号画像のＳＳＩＭ（Structural Similarity Index Measure）を示すグラフである。ＳＳＩＭは、値が１に近いほど画質が良好であることを示す。評価指標はＳＳＩＭ以外でもよい。
【0033】
図２および図３に示すように、マスクＭの回転角度が０°、つまり、マスクＭが回転誤差なく正しい既知の位置に配置されている場合、信号処理装置２０は、鮮明な復号画像ＤＢを生成できる。これに対して、マスクＭの回転角度が０．５°、１°と徐々に大きくなるほど、復号画像ＤＢは、画質が徐々に劣化する。
【0034】
［２－２．実施形態に係るマスクの生成手順］
図４Ａは、第１実施形態に係るマスクの生成手順例を示す説明図である。図４Ｂは、第１実施形態に係る位相変調マスクの一例を示す説明図である。ここでは、光の振幅変調の場合を例に挙げて説明する。図４Ａに示すように、第１実施形態に係るマスク（以下、「ロバストマスクＭ１」と記載する）を生成する場合には、マスクＭを順次、所定の回転角度ずつ回転させながら、各マスクＭの画像データを取得する。
図４Ａは、第１実施形態に係るマスクの生成手順例を示す説明図である。図４Ｂは、第１実施形態に係る位相変調マスクの一例を示す説明図である。ここでは、光の振幅変調の場合を例に挙げて説明する。図４Ａに示すように、第１実施形態に係るマスク（以下、「ロバストマスクＭ１」と記載する）を生成する場合には、マスクＭを順次、所定の回転角度ずつ回転させながら、各マスクＭの画像データを取得する。
【0035】
このとき、例えば、マスクＭの２次元パターンにおける重心を回転基準点としてマスクＭを回転させる。図４Ａに示す例では、マスクＭを０°から３°まで回転させている場合を示ししている。そして、各マスクＭの画像データを積分（合成）することによって、ロバストマスクＭ１の２次元パターンを取得する。
【0036】
この際、画像データの積分（合成）範囲は、中心からの距離に応じて変化しても良い。また、画像データの積分（合成）値を、ある閾値で２値化して、あらたな２次元パターンのロバストマスクＭ１´としても良い。
【0037】
これにより、ロバストマスクＭ１の２次元パターンは、例えば、カメラの光軸を北極星に合わせ、長時間露光して撮像される星の画像のように、回転基準点から遠くなるほど、回転基準点を中心とした回転方向に対称な対称成分の円弧状パターンの長さが長くなる。
【0038】
そして、上記のような手順によって２次元パターンを取得した後、例えば、ガラス板等の透光性基板に、取得したロバストマスクＭ１の２次元パターンを既知の方法によって形成することにより、ロバストマスクＭ１が完成する。
【0039】
これにより、ロバストマスクＭ１の２次元パターンは、予め設定される回転基準点を中心とした回転方向に対称な対称成分を有する光の振幅変調領域を含む２次元パターンになる。
【0040】
マスクが光の位相変調を行う場合は、上記手順に従って作成したロバストマスクＭ１を、撮像面での強度パターン目標値として、マスクと撮像面との距離を考慮し、反復フーリエ位相回復法等のアルゴリズムで、マスク面での位相分布を求める手順を追加すればよい。ロバストマスクＭ１，Ｍ１´を元に、それぞれ位相変調マスクＭ１－ｐ、Ｍ１´－ｐを作成した場合の例を図４Ｂに示す。
【0041】
そして、上記のような手順によって新たな２次元パターンを取得した後、例えば、ガラス板等の透光性基板に、上記新たな２次元パターンを既知の方法によって形成することにより、ロバストマスクが完成する。
【0042】
これにより、ロバストマスクの２次元パターンは、予め設定される回転基準点を中心とした回転方向に対称な対称成分を有する光の位相変調領域を含む２次元パターンになる。マスクが光の位相振幅変調を行う場合も、光の位相変調を行う場合と同様の手法でロバスマスクを作成することができる。
【0043】
［２－３．ロバストマスクを採用した復号画像の評価］
ここでは、ロバストマスクＭ１を採用し、ロバストマスクＭ１を０°、０．５°、および１°回転させて被写体を撮像した場合について説明する。図５は、第１実施形態に係るロバストマスクＭ１を採用した画像を示す説明図である。図５に記載の回転角度は、ロバストマスクＭ１における２次元パターンの重心を回転基準点とした場合のマスクの回転角度である。図６は、図５に示す復号画像のＳＳＩＭを示すグラフである。
ここでは、ロバストマスクＭ１を採用し、ロバストマスクＭ１を０°、０．５°、および１°回転させて被写体を撮像した場合について説明する。図５は、第１実施形態に係るロバストマスクＭ１を採用した画像を示す説明図である。図５に記載の回転角度は、ロバストマスクＭ１における２次元パターンの重心を回転基準点とした場合のマスクの回転角度である。図６は、図５に示す復号画像のＳＳＩＭを示すグラフである。
【0044】
図５に示すように、ロバストマスクＭ１を採用した場合、復号画像ＤＢは、ロバストマスクＭ１の回転角度が大きくなるにつれて画質が若干劣化するが、被写体を認識できるだけの画質は確保される。
【0045】
また、図６に示すように、復号画像ＤＢのＳＳＩＭは、ロバストマスクＭ１の回転角度が０°、０．５°、および１°のいずれの場合も、図３に示すマスクＭを採用した場合の復号画像ＤＢのＳＳＩＭよりも高い値になっている。これからも、ロバストマスクＭ１を採用したことによって、復号画像ＤＢの画質劣化が抑制できたことが分かる。
【0046】
［２－４．ロバストマスクの２次元パターンにおける対称成分］
図７Ａ、図７Ｂ、および図７Ｃは、第１実施形態に係るロバストマスクＭ１の２次元パターンにおける対称成分の説明図である。図７Ａ、図７Ｂ、および図７Ｃに示すグラフの縦軸は、ロバストマスクＭ１の回転基準点から対称成分までの距離である。横軸は、対称成分の積分角度範囲である。
図７Ａ、図７Ｂ、および図７Ｃは、第１実施形態に係るロバストマスクＭ１の２次元パターンにおける対称成分の説明図である。図７Ａ、図７Ｂ、および図７Ｃに示すグラフの縦軸は、ロバストマスクＭ１の回転基準点から対称成分までの距離である。横軸は、対称成分の積分角度範囲である。
【0047】
図７Ａに示すように、回転基準点を中心とした回転方向に対称な対称成分は、回転基準点から遠くなるほど、積分角度範囲が大きくなる部分が少なくともあればよい。この場合、対称成分は、回転基準点から２次元パターンが設けられるパターン形成領域の周縁部に向かうにつれて円弧状のパターンの円弧長が長くなる部分があることになる。
【0048】
また、図７Ｂに示すように、回転基準点を中心とした回転方向に対称な対称成分は、回転基準点から遠くなるほど、積分角度範囲が大きくなるように構成されてもよい。この場合、対称成分は、回転基準点から２次元パターンが設けられるパターン形成領域の周縁部に向かうにつれて円弧状のパターンの円弧長が長くなる。
【0049】
また、図７Ｃに示すように、回転基準点を中心とした回転方向に対称な対称成分は、回転基準点からの距離を問わず、一定の積分角度範囲となるように構成されてもよい。この場合、対称成分は、回転基準点からの距離に比例して円弧状のパターンの円弧長が長くなる。
【0050】
２次元パターンの自由度の観点では、図７Ａに示す例が最も自由度が高く、図７Ｃに示す例が最も自由度が低い。また、回転誤差に対するロバスト性の観点では、図７Ｃに示す例が最もロバスト性が高く、図７Ａに示す例が最もロバスト性が低下する。
【0051】
ここで積分範囲に関しては、第１実施形態の説明図では、一例として３度を提示しているが、上限下限に対して制限はない。マスクアライメントに関する製造能力、ユースケース毎の所望の画質、必要な２次元パターンの自由度に応じて、ケースバイケースで設計することが可能である。
【0052】
［２－５．回転基準点］
図８は、第１実施形態に係る回転基準点の説明図である。図８には、便宜上、Ｘ－Ｙ直交座標系を示している。ここまでは、ロバストマスクＭ１を取得するためにマスクＭを回転させる回転基準点が、図８の上図に示すように、２次元パターンが形成されるパターン形成領域の重心の位置に設定される場合について説明したが、これは一例である。
図８は、第１実施形態に係る回転基準点の説明図である。図８には、便宜上、Ｘ－Ｙ直交座標系を示している。ここまでは、ロバストマスクＭ１を取得するためにマスクＭを回転させる回転基準点が、図８の上図に示すように、２次元パターンが形成されるパターン形成領域の重心の位置に設定される場合について説明したが、これは一例である。
【0053】
回転基準点の位置は、例えば、図８の下図に示すように、パターン形成領域の重心の位置からシフトした位置に設定されてもよい。図８の下図には、回転基準点がパターン形成領域の重心から２０％、Ｘ軸負方向にシフトして設定された場合のロバストマスクＭ２を示している。回転基準点がパターン形成領域の重心から１００％シフトされる場合、回転基準点は、パターン形成領域の周縁部に設定されることになる。
【0054】
なお、回転基準点は、マスクＭ内の任意の位置に設定されてもよいが、回転誤差に対するロバスト性の観点では、パターン形成領域の内部に設定されることが好ましく、パターン形成領域の重心から５０％以内シフトされた位置に設けられることが、より好ましい。
【0055】
つまり、回転基準点は、パターン形成領域の重心からの距離が、パターン形成領域の重心からパターン形成領域の周縁部までの距離の半分以下の位置に設定されることが、より好ましい。この場合、回転基準点が設定される位置として最良位置は、パターン形成領域の重心の位置である。
【0056】
回転基準点の位置を任意に設定可能とすることによって、パターンの自由度が向上する。一方、回転基準点の位置をパターン形成領域の重心の位置に設定すると、回転誤差に対するロバスト性は向上するが、製造工程が繊細になる。
【0057】
［２－６．回転基準点がシフトされたロバストマスクを採用した復号画像の評価］
ここでは、図８の下図に示すロバストマスクＭ２を採用し、ロバストマスクＭ２を０°、０．５°、および１°回転させて被写体を撮像した場合について説明する。図９は、第１実施形態に係る回転基準点がシフトされたロバストマスクＭ２を採用した画像を示す説明図である。図９に記載の回転角度は、ロバストマスクＭ２における２次元パターンの重心を回転基準点とした場合のマスクの回転角度である。図１０は、図９に示す復号画像のＳＳＩＭを示すグラフである。
ここでは、図８の下図に示すロバストマスクＭ２を採用し、ロバストマスクＭ２を０°、０．５°、および１°回転させて被写体を撮像した場合について説明する。図９は、第１実施形態に係る回転基準点がシフトされたロバストマスクＭ２を採用した画像を示す説明図である。図９に記載の回転角度は、ロバストマスクＭ２における２次元パターンの重心を回転基準点とした場合のマスクの回転角度である。図１０は、図９に示す復号画像のＳＳＩＭを示すグラフである。
【0058】
図９に示すように、ロバストマスクＭ２を採用した場合、復号画像ＤＢは、ロバストマスクＭ２の回転角度が大きくなるにつれて画質が若干劣化するが、被写体を認識できるだけの画質は確保される。
【0059】
また、図１０に示すように、復号画像ＤＢのＳＳＩＭは、ロバストマスクＭ２の回転角度が０°、０．５°、および１°のいずれの場合も、図３に示すマスクＭを採用した場合の復号画像ＤＢのＳＳＩＭよりも高い値になっている。これからも、ロバストマスクＭ２を採用したことによって、復号画像ＤＢの画質劣化が抑制できたことが分かる。
【0060】
［３．第２実施形態］
［３－１．クロップ誤差の発生事例］
図１１～図１３は、第２実施形態に係るクロップ誤差の発生事例を示す説明図である。図１３に示すクロップレートは、想定画角から到来する光が、最も見切れが発生する方向において、何％が撮像素子Ｓの外にでるかを示す指標である。なお、ここでの、想定画角は、撮像素子Ｓの入射特性によって規定される光の入射角度である。図１４は、図１３に示す復号画像のＳＳＩＭを示すグラフである。
［３－１．クロップ誤差の発生事例］
図１１～図１３は、第２実施形態に係るクロップ誤差の発生事例を示す説明図である。図１３に示すクロップレートは、想定画角から到来する光が、最も見切れが発生する方向において、何％が撮像素子Ｓの外にでるかを示す指標である。なお、ここでの、想定画角は、撮像素子Ｓの入射特性によって規定される光の入射角度である。図１４は、図１３に示す復号画像のＳＳＩＭを示すグラフである。
【0061】
前述のように、複合信号処理において、メモリーや演算量の問題を回避する為に、点応答関数にシフトインバリアント性の仮定（近似）をおく考え方がある。式（２）において、Ｙ´を、イメージング行列Ｆ´で逆畳み込み演算することで、シーン行列Ｘ´を復元することが可能となる。逆畳み込み演算は、ＦＦＴ（高速フーリエ変換）アルゴリズムにより、高速に処理することが可能である。
【0062】
逆畳み込みにおいては、ノイズ耐性を向上させる為に、Ｗｉｅｎｅｒフィルター処理を行ってもよいし、シーン等に対する各種の既知の仮定を組み込んだ正規化項を付加してもよく、このような派生の信号処理を含める。クロップ誤差は、上記仮定を設けず、より演算コストの高い複合信号処理で回避する方法もあるが、本発明では上記仮定をベースとした複合信号処理の下で考える。
【0063】
図１１に示すように、撮像素子Ｓの受光面積に対して十分小さなマスクＭ３が採用される場合、マスクＭ３に入射する光Ｌは、全て撮像素子Ｓによって受光される。このため、信号処理装置２０は、符号化画像ＤＡから鮮明な復号画像ＤＢを生成できる。
【0064】
しかしながら、多くの光量を得るためには、マスクのサイズが大きい方が望ましい。ただし、例えば、図１１に示すように、撮像素子Ｓの受光面積と同一サイズのマスクＭ４が採用される場合、マスクＭ４の周縁部から入射する光Ｌは、撮像素子Ｓの外に出るので撮像素子Ｓによって受光されない。これにより、画像に見切れ（クロップ）が発生する。
【0065】
このように、入射する光Ｌの一部を受光できない場合、信号処理装置２０は、復号画像ＤＢの生成に必要なデータが一部欠落することになるため、シフトインバリアント性の仮定が崩れ、符号化画像ＤＡから鮮明な復号画像ＤＢを生成することができない。
【0066】
また、図１２に示すように、想定画角内の入射角度でマスクＭ５に入射される光Ｌは、全て撮像素子Ｓによって受光される。このため、信号処理装置２０は、符号化画像ＤＡから鮮明な復号画像ＤＢを生成できる。
【0067】
しかしながら、図１２に示すように、想定画角よりも大きい入射角度で入射する光Ｌ１は、撮像素子Ｓの外に出るので撮像素子Ｓによって受光されない。これにより、画像に見切れ（クロップ）が発生する。
【0068】
このように、入射する光Ｌの一部を受光できない場合、信号処理装置２０は、復号画像ＤＢの生成に必要なデータが一部欠落することになるため、符号化画像ＤＡから鮮明な復号画像ＤＢを生成することができない。
【0069】
このため、図１３および図１４に示すように、信号処理装置２０は、クロップレートが０％であれば、符号化画像ＤＡから鮮明な復号画像ＤＢを生成できるが、クロップレートが高くなるほど、生成する復号画像ＤＢの画質が急激に劣化する。そこで、第２実施形態に係るロバストマスクは、クロップ誤差に対するロバスト性が向上する構成を備える。
【0070】
［３－２．第２実施形態に係るロバストマスク］
図１５は、第２実施形態に係るロバストマスクの説明図である。
図１５は、第２実施形態に係るロバストマスクの説明図である。
【0071】
図１５の上段に示す図（ａ），図（ｂ）には、クロップにより情報が欠落する様子を示しており、下段に示す図（ｃ），（ｄ）には、クロップによって欠落した情報がロバストマスクによって補われる様子を示している。
【0072】
各々の図に示す白色の四角枠ＸＳは、撮像素子Ｓの大きさを示している。各々の図に示すパターンＸＭは、マスクによって撮像素子Ｓ上に形成される２次元強度パターン（点応答関数）を示している。図では、ロバストマスクによって撮像素子Ｓ上に形成される２次元強度パターン（点応答関数）は、図が見易いように、１方向かつ片側だけの対称性部分のみ図示している。
【0073】
図１５には、ロバストマスクＭ６（例えば、図１６参照）自体は不図示だが、並進対称性を有する光の振幅変調領域または位相変調領域を含む２次元パターンが設けられており、基本パターンのマスク中心と、撮像素子Ｓの中心は一致している。
【0074】
図（ａ）には、並進対称性を有しないマスクを通過して、被写体の１点から出た光が紙面垂直方向（ω＝０度）から入射した場合に、撮像素子Ｓ上に形成される２次元強度パターン（点応答関数）を示しており、全ての情報が撮像素子Ｓによって受光される。
【0075】
図（ｂ）には、並進対称性を有しないマスクを通過して、被写体の他の１点から出た光が紙面垂直方向から、向かって下側にθ度傾いた方向（ω＝θ度）から入射した場合に、撮像素子Ｓ上に形成される２次元強度パターン（点応答関数）を示しており、一部の情報が撮像素子Ｓによって受光されない。
【0076】
図（ｃ）は、並進対称性を有するマスクを通過して、被写体の１点から出た光が紙面垂直方向（ω＝０°）から入射した場合に、撮像素子Ｓ上に形成される２次元強度パターン（点応答関数）を示しており、全ての基本パターンの情報が撮像素子Ｓによって受光される。
【0077】
図（ｄ）は、並進対称性を有するマスクを通過して、被写体の他の１点から出た光が紙面垂直方向から、向かって下側にθ度傾いた方向（ω＝θ°）から入射した場合に、撮像素子Ｓ上に形成される２次元強度パターン（点応答関数）を示しており、一部の基本パターンの情報が撮像素子Ｓによって受光されないが、２次元強度パターン（点応答関数）が並進対称性を持つことにより、欠落した情報が撮像素子Ｓの反対側で補われる。
【0078】
図（ｂ）の状態は、シフトインバリアント性の仮定が崩れている為、逆畳み込みでの複合信号処理が破綻する。破綻の影響は、複号画像の全域に渡って生じる為、複号画像全体が劣化する。
【0079】
一方、図（ｄ）の状態は、シフトインバリアント性の仮定が崩れているように一見みえるが、ＦＦＴによる逆畳み込みの周期性から、シフトインバリアント性の仮定は崩れない。
【0080】
さらに、通常ＦＦＴによる逆畳み込みベースの処理を行う場合、ＦＦＴによる畳み込みの周期性の影響を回避するため、すなわち循環畳み込みの影響を回避するために、畳み込むカーネル（点応答関数側）の周囲に十分大きな０領域を前処理としてパッディングし、線形畳み込みの状態にする必要がある。
【0081】
この処理はメモリーや演算量の増大を招くが、本手法では循環畳み込みの性質を逆に用いるため、これらの処理が不要となりメモリーや演算量の観点からもメリットがある。複合信号処理の前処理としては、撮像素子Ｓ上に形成される２次元強度パターン（点応答関数）の基本パターンの部分をクロップする必要があるが、これは逆にさらにメモリーや演算量を減少させる方向となる。
【0082】
［３－３．第２実施形態に係るロバストマスクによる効果］
図１６は、第２実施形態に係るロバストマスクによる効果を示す説明図である。例えば、図１６に示すように、信号処理装置２０は、図１１に示すマスクＭ３が採用され、マスクＭ３の周縁部から入射する光Ｌが撮像素子Ｓによって受光されないと、符号化画像ＤＡから鮮明な復号画像ＤＢを生成することができない。
図１６は、第２実施形態に係るロバストマスクによる効果を示す説明図である。例えば、図１６に示すように、信号処理装置２０は、図１１に示すマスクＭ３が採用され、マスクＭ３の周縁部から入射する光Ｌが撮像素子Ｓによって受光されないと、符号化画像ＤＡから鮮明な復号画像ＤＢを生成することができない。
【0083】
これに対して、並進対称性を有するロバストマスクＭ６が採用される場合、２次元パターンにおける第１の周縁部から入射して撮像素子Ｓによって受光されない光の像が、符号化画像ＤＡでは、第１の周縁部とは反対側の第２の周縁部に現れる。
【0084】
これにより、図１６に示すように、信号処理装置２０は、符号化画像ＤＡにおける第１の周縁部で欠落した部分の像を、第１の周縁部とは反対側の第２の周縁部に現れる像によって補間することにより、符号化画像ＤＡから鮮明な復号画像ＤＢを生成できる。
【0085】
［３－４．第２実施形態に係るロバストマスクのパターン例］
図１７～図１８は、第２実施形態に係るロバストマスクのパターン例を示す説明図である。図１７には、第１パターン例、図１８には、第２パターン例、図１９には、第３パターン例、図２０には、第４パターン例を示している。
図１７～図１８は、第２実施形態に係るロバストマスクのパターン例を示す説明図である。図１７には、第１パターン例、図１８には、第２パターン例、図１９には、第３パターン例、図２０には、第４パターン例を示している。
【0086】
【0087】
２次元パターンの第１パターンは、１次元の並進対称性を有する。第１パターンを形成する場合には、例えば、図１７の上図に示すように、中央の基本パターンＰにおける右端部の部分パターンＡ１を、基本パターンＰにおける左端部の外側に配置する。さらに、中央の基本パターンＰにおける左端部の部分パターンＡ２を、基本パターンＰにおける右端部の外側に配置する。
【0088】
これにより、図１７の下図に示すロバストマスクＭ７が形成できる。ロバストマスクＭ７によれば、信号処理装置２０は、中央の基本パターンＰにおける右端部の部分パターンＡ１に入射して撮像素子Ｓから漏れた光の像を、基本パターンＰにおける左端部の外側に配置する部分パターンＡ１に入射光の像で補間できる。
【0089】
同様に、信号処理装置２０は、中央の基本パターンＰにおける左端部の部分パターンＡ２に入射して撮像素子Ｓから漏れた光の像を、基本パターンＰにおける右端部の外側に配置する部分パターンＡ２に入射光の像で補間できる。したがって、信号処理装置２０は、符号化画像ＤＡから鮮明な復号画像ＤＢを生成できる。
【0090】
２次元パターンの第２パターンは、２次元の並進対称性を有する。第２パターンを形成する場合、図１８の上図に示すように、中央の基本パターンＰにおける右端部の部分パターンＡ１を、基本パターンＰにおける左端部の外側に配置する。また、中央の基本パターンＰにおける左端部の部分パターンＡ２を、基本パターンＰにおける右端部の外側に配置する。
【0091】
同様に、中央の基本パターンＰにおける上端部の部分パターンＡ３を、基本パターンＰにおける下端部の外側に配置する。また、中央の基本パターンＰにおける下端部の部分パターンＡ２４、基本パターンＰにおける上端部の外側に配置する。
【0092】
さらに、中央の基本パターンＰにおける右上端部の部分パターンＡ５を、基本パターンＰにおける左下端部の外側に配置し、中央の基本パターンＰにおける右下端部の部分パターンＡ６を、基本パターンＰにおける左上端部の外側に配置する。
【0093】
同様に、中央の基本パターンＰにおける左上端部の部分パターンＡ７を、基本パターンＰにおける右下端部の外側に配置し、中央の基本パターンＰにおける左下端部の部分パターンＡ８を、基本パターンＰにおける右上端部の外側に配置する。
【0094】
これにより、図１８の下図に示すロバストマスクＭ８が形成できる。ロバストマスクＭ８によれば、信号処理装置２０は、同様に、中央の基本パターンＰの周縁部から入射して、撮像素子Ｓから漏れた光の像を、基本パターンＰの外側に配置される部分パターンＡ１～Ａ８から入射する光の像によって補間できる。したがって、信号処理装置２０は、符号化画像ＤＡから鮮明な復号画像ＤＢを生成できる。
【0095】
なお、基本パターンＰの形成領域のアスペクト比は、１対１でなくてもよい。つまり、基本パターンＰの形成領域の形状は、正方形でなくてもよい。例えば、図１９に示す第３パターンのロバストマスクＭ９のように、長方形であってもよい。ロバストマスクＭ９によっても、信号処理装置２０は、符号化画像ＤＡから鮮明な復号画像ＤＢを生成できる。
【0096】
【0097】
そして、第３パターンと同様に、９個の基本パターンＰ群の周囲における外側の各所に、部分パターンＡ１～Ａ８を配置する。これにより、図２０の下図に示すロバストマスクＭ１０が形成できる。
【0098】
ロバストマスクＭ１０によれば、ロバストマスクＭ８，Ｍ９と同様に、中央の基本パターンＰ群の周縁部から入射して、撮像素子Ｓから漏れた光の像を、基本パターンＰ群の外側に配置される部分パターンＡ１～Ａ８から入射する光の像によって補間できる。したがって、信号処理装置２０は、符号化画像ＤＡから鮮明な復号画像ＤＢを生成できる。
【0099】
第１～第４パターンの２次元パターンは、１次元方向において同一のパターンが繰り返し出現する回数が２回以下であることが望ましい。これにより、ロバストマスクＭ７～Ｍ１０によれば、信号処理装置２０は、符号化画像ＤＡの復号を行う場合に、不定正が抑制されるので、逆問題が解きやすくなる。
【0100】
また、第１～第４パターンの２次元パターンは、基本パターンＰまたは基本パターンＰ群の面積が撮像素子Ｓの受光領域の面積よりも小さい。これにより、基本パターンＰまたは基本パターンＰ群の周縁部から入射する光が、撮像素子Ｓの受光領域から漏れることを抑制することができる。
【0101】
基本パターンＰまたは基本パターンＰ群と、基本パターンＰまたは基本パターンＰ群の外側に配置される部分パターンＡ１～Ａ８との間には、隙間が設けられてもよい。つまり、２次元パターンは、１次元方向において繰り返し出現する同一のパターン間に隙間が設けられてもよい。これにより、第１～第４パターンの２次元パターンの形成工程が容易になる。この場合、隙間を含めて基本パターンと考えれば、上述の効果の説明がそのまま当て嵌まる。
【0102】
なお、基本パターン関して、実施形態１においてはマスクＭが基本パターンであり、実施形態２においては繰り返し単位が基本パターンであるが、基本パターンは、内部の２次元パターン及びその外形を含めて任意の形状を取り得る。つまり、内部の２次元パターンは、リサージュパターンを提示しているがこれはあくまで一例であり、外形も必ずしも矩形である必要すらない。
【0103】
［４．イメージセンサの変形例］
図２１～図２４は、イメージセンサの変形例を示す説明図である。図２１には、第１変形例に係るイメージセンサ１Ａを示している。図２２には、第２変形例に係るイメージセンサ１Ｂを示している。図２３には、第３変形例に係るイメージセンサ１Ｃを含む撮像システム１００を示している。図２４には、第４変形例に係るイメージセンサ１Ｄを示している。
図２１～図２４は、イメージセンサの変形例を示す説明図である。図２１には、第１変形例に係るイメージセンサ１Ａを示している。図２２には、第２変形例に係るイメージセンサ１Ｂを示している。図２３には、第３変形例に係るイメージセンサ１Ｃを含む撮像システム１００を示している。図２４には、第４変形例に係るイメージセンサ１Ｄを示している。
【0104】
図２１に示すように、第１変形例に係るイメージセンサ１Ａは、撮像装置１０を備える。この場合、イメージセンサ１Ａは、信号処理装置２０を備えない分、チップの低背化が可能になる。かかるイメージセンサ１Ａは、被写体を撮像した符号化画像ＤＡを出力する。この場合、イメージセンサ１Ａから出力される符号化画像ＤＡは、別チップまたはクラウド上に設けられる信号処理装置によって復号される。
【0105】
また、図２２に示すように、第２変形例に係るイメージセンサ１Ｂは、撮像装置１０と、信号処理装置２０Ｂとを備える。撮像装置１０は、被写体を撮像した符号化画像ＤＡを信号処理装置２０Ｂに出力する。
【0106】
信号処理装置２０Ｂは、復号処理までは行わず、符号化画像ＤＡに対して復号処理がし易くなるよう信号処理を行う。例えば、信号処理装置２０Ｂは、符号化画像ＤＡに回転誤差が含まれる場合、回転誤差を補正するようなキャリブレーション処理を行う。そして、信号処理装置２０Ｂは、キャリブレーション処理後の符号化画像ＤＡ１を出力する。
【0107】
これにより、例えば、符号化画像ＤＡ１を復号する別チップまたはクラウド上に設けられる信号処理装置は、全ての撮像装置１０に対して共通の復号処理を行うことによって鮮明な復号画像ＤＢを生成できるので、情報処理装置のコストを低減できる。
【0108】
また、図２３に示すように、第３変形例に係るイメージセンサ１Ｃを含む撮像システム１００は、イメージセンサ１Ｃと、信号処理装置２０Ｃと、アプリケーション３０とを含む。この場合、信号処理装置２０Ｃは、別チップに設けられてもよく、クラウド上に設けられてもよい。
【0109】
イメージセンサ１Ｃは、撮像装置１０を備える。撮像装置１０は、被写体を撮像した符号化画像ＤＡを信号処理装置２０Ｃに出力する。信号処理装置２０Ｃは、信号処理装置２０Ｂと同様に、符号化画像ＤＡに対してキャリブレーション処理を行った符号化画像ＤＡ１をアプリケーション３０に出力する。アプリケーション３０は、符号化画像ＤＡ１を復号処理して復号画像ＤＢを生成して出力する。
【0110】
なお、信号処理装置２０Ｃは、符号化画像ＤＡから復号画像ＤＢを生成してアプリケーション３０に出力するように構成されてもよい。この場合、アプリケーション３０は、信号処理装置２０Ｃから入力される復号画像ＤＢに対して何等かのキャリブレーション処理を行って出力する。撮像システム１００によれば、キャリブレーション処理と、復号処理とが別の場所で行われるので、情報漏洩に対するセキュリティを向上させることができる。
【0111】
また、図２４に示すように、第５変形例に係るイメージセンサ１Ｄを含む撮像システム１００Ａは、イメージセンサ１Ｄと、信号処理装置２０Ｄとを含む。イメージセンサ１Ｄは、撮像装置１０を備える。撮像装置１０は、本開示で説明した何れかのロバストマスクを備える。
【0112】
撮像装置１０は、被写体を撮像した符号化画像ＤＡを信号処理装置２０Ｄに出力する。信号処理装置２０Ｄは、符号化画像ＤＡを復号処理して復号画像ＤＢを出力する。撮像システム１００Ａによれば、符号化画像ＤＡの生成処理と、復号処理とが別の場所で行われるので、情報漏洩に対するセキュリティを向上させることができる。
【0113】
なお、第１実施形態に係るマスクの構成と、第２実施形態に係るマスクの構成とは、組み合わせることができる。すなわち、実施形態に係るマスクは、予め設定される回転基準点を中心とした回転方向に対称な対称成分を有する光の振幅変調領域または位相変調領域と、並進対称性を有する光の振幅変調領域または位相変調領域とを含む２次元パターンが設けられ、入射する光を撮像素子に導光するように構成されてもよい。これにより、回転誤差およびクロップ誤差の双方に対するロバスト性を向上させたマスクを提供できる。
【0114】
なお、本明細書に記載された効果はあくまで例示であって限定されるものでは無く、また他の効果があってもよい。
【0115】
［５．付記］
なお、本技術は以下のような構成も取ることができる。
（１）
予め設定される回転基準点を中心とした回転方向に対称な対称成分を有する集光領域と非集光領域とを含む２次元パターンが設けられ、入射する光を撮像素子に導光する
マスク。
（２）
前記回転基準点は、
前記２次元パターンが設けられるパターン形成領域の内部に設定される
前記（１）に記載のマスク。
（３）
前記回転基準点は、
前記パターン形成領域の重心からの距離が、前記重心から前記パターン形成領域の周縁部までの距離の半分以下の位置に設定される
前記（２）に記載のマスク。
（４）
前記回転基準点は、
前記パターン形成領域の重心の位置に設定される
前記（３）に記載のマスク。
（５）
前記対称成分は、
前記回転基準点から前記２次元パターンが設けられるパターン形成領域の周縁部に向かうにつれて円弧状のパターンの円弧長が長くなる部分がある
前記（１）から（４）のいずれか一つに記載のマスク。
（６）
前記対称成分は、
前記回転基準点から前記２次元パターンが設けられるパターン形成領域の周縁部に向かうにつれて円弧状のパターンの円弧長が長くなる
前記（５）に記載のマスク。
（７）
前記対称成分は、
前記回転基準点からの距離に比例して円弧状のパターンの円弧長が長くなる
前記（６）に記載のマスク。
（８）
並進対称性を有する光の振幅変調領域または位相変調領域を含み、繰り返し単位の面積が撮像素子における受光領域の面積よりも小さい２次元パターンが設けられ、入射する光を前記撮像素子に導光する
マスク。
（９）
前記２次元パターンは、
１次元の並進対称性を有する
前記（８）に記載のマスク。
（１０）
前記２次元パターンは、
２次元の並進対称性を有する
前記（９）に記載のマスク。
（１１）
前記２次元パターンは、
１次元方向において同一のパターンが繰り返し出現する回数が２回以下である
前記（８）に記載のマスク。
（１２）
前記２次元パターンは、
１次元方向において繰り返し出現する同一のパターン間に隙間が設けられる
前記（８）から（１１）のいずれか一つに記載のマスク。
（１３）
予め設定される回転基準点を中心とした回転方向に対称な対称成分を有する光の振幅変調領域または位相変調領域と、並進対称性を有する光の振幅変調領域または位相変調領域とを含む２次元パターンが設けられ、入射する光を撮像素子に導光する
マスク。
（１４）
前記（１）、（８）、（１３）のいずれか一つに記載のマスクと、
前記マスクを介して入射する光を受光する撮像素子と
を有する撮像装置。
（１５）
前記（１）、（８）、（１３）のいずれか一つに記載のマスクと、
前記マスクを介して入射する光を受光する撮像素子と
を有する撮像装置と、
前記撮像素子によって取得された像を復元する信号処理装置と
を含む撮像システム。
（１６）
撮像装置が、
前記（１）、（８）、（１３）のいずれか一つに記載のマスクを介して入射する光を撮像素子によって受光し、前記光に対応する像の符号化画像を生成する
データ生成方法。
なお、本技術は以下のような構成も取ることができる。
（１）
予め設定される回転基準点を中心とした回転方向に対称な対称成分を有する集光領域と非集光領域とを含む２次元パターンが設けられ、入射する光を撮像素子に導光する
マスク。
（２）
前記回転基準点は、
前記２次元パターンが設けられるパターン形成領域の内部に設定される
前記（１）に記載のマスク。
（３）
前記回転基準点は、
前記パターン形成領域の重心からの距離が、前記重心から前記パターン形成領域の周縁部までの距離の半分以下の位置に設定される
前記（２）に記載のマスク。
（４）
前記回転基準点は、
前記パターン形成領域の重心の位置に設定される
前記（３）に記載のマスク。
（５）
前記対称成分は、
前記回転基準点から前記２次元パターンが設けられるパターン形成領域の周縁部に向かうにつれて円弧状のパターンの円弧長が長くなる部分がある
前記（１）から（４）のいずれか一つに記載のマスク。
（６）
前記対称成分は、
前記回転基準点から前記２次元パターンが設けられるパターン形成領域の周縁部に向かうにつれて円弧状のパターンの円弧長が長くなる
前記（５）に記載のマスク。
（７）
前記対称成分は、
前記回転基準点からの距離に比例して円弧状のパターンの円弧長が長くなる
前記（６）に記載のマスク。
（８）
並進対称性を有する光の振幅変調領域または位相変調領域を含み、繰り返し単位の面積が撮像素子における受光領域の面積よりも小さい２次元パターンが設けられ、入射する光を前記撮像素子に導光する
マスク。
（９）
前記２次元パターンは、
１次元の並進対称性を有する
前記（８）に記載のマスク。
（１０）
前記２次元パターンは、
２次元の並進対称性を有する
前記（９）に記載のマスク。
（１１）
前記２次元パターンは、
１次元方向において同一のパターンが繰り返し出現する回数が２回以下である
前記（８）に記載のマスク。
（１２）
前記２次元パターンは、
１次元方向において繰り返し出現する同一のパターン間に隙間が設けられる
前記（８）から（１１）のいずれか一つに記載のマスク。
（１３）
予め設定される回転基準点を中心とした回転方向に対称な対称成分を有する光の振幅変調領域または位相変調領域と、並進対称性を有する光の振幅変調領域または位相変調領域とを含む２次元パターンが設けられ、入射する光を撮像素子に導光する
マスク。
（１４）
前記（１）、（８）、（１３）のいずれか一つに記載のマスクと、
前記マスクを介して入射する光を受光する撮像素子と
を有する撮像装置。
（１５）
前記（１）、（８）、（１３）のいずれか一つに記載のマスクと、
前記マスクを介して入射する光を受光する撮像素子と
を有する撮像装置と、
前記撮像素子によって取得された像を復元する信号処理装置と
を含む撮像システム。
（１６）
撮像装置が、
前記（１）、（８）、（１３）のいずれか一つに記載のマスクを介して入射する光を撮像素子によって受光し、前記光に対応する像の符号化画像を生成する
データ生成方法。
【符号の説明】
【0116】
１，１Ａ，１Ｂ，１Ｃ，１Ｄ イメージセンサ
１０ 撮像装置
２０，２０Ｂ，２０Ｃ，２０Ｄ 信号処理装置
３０ アプリケーション
１００，１００Ａ 撮像システム
Ｍ１，Ｍ２，Ｍ６～Ｍ１０ ロバストマスク
Ｍ，Ｍ３～Ｍ５ マスク
１０ 撮像装置
２０，２０Ｂ，２０Ｃ，２０Ｄ 信号処理装置
３０ アプリケーション
１００，１００Ａ 撮像システム
Ｍ１，Ｍ２，Ｍ６～Ｍ１０ ロバストマスク
Ｍ，Ｍ３～Ｍ５ マスク
【図1】
【図2】
【図3】
【図4A】
【図4B】
【図5】
【図6】
【図7A】
【図7B】
【図7C】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】