特開 2024-155557 補正装置、補正方法及び電子機器

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024155557

(43)【公開日】2024-10-31

(54)【発明の名称】補正装置、補正方法及び電子機器

(51)【国際特許分類】

   H04N 23/60 20230101AFI20241024BHJP

   H04N 23/55 20230101ALI20241024BHJP

   H04N 25/702 20230101ALI20241024BHJP

【ＦＩ】

H04N23/60

H04N23/55

H04N25/702

【審査請求】未請求

【請求項の数】8

【出願形態】ＯＬ

(21)【出願番号】P 2023070364

(22)【出願日】2023-04-21

(71)【出願人】

【識別番号】316005926

【氏名又は名称】ソニーセミコンダクタソリューションズ株式会社

(74)【代理人】

【識別番号】110002147

【氏名又は名称】弁理士法人酒井国際特許事務所

(72)【発明者】

【氏名】永井 伸幸

(72)【発明者】

【氏名】森本 明大

(72)【発明者】

【氏名】土山 真史

(72)【発明者】

【氏名】谷口 亮二

【テーマコード（参考）】

5C024

5C122

【Ｆターム（参考）】

5C024CY17

5C024EX12

5C024EX51

5C024GZ36

5C122FB01

5C122FC06

5C122FH18

5C122GE23

5C122GE27

5C122HA88

5C122HB01

5C122HB10

(57)【要約】

【課題】画像を復元するための情報の精度を向上させる。
【解決手段】補正装置は、被写体からの入射光を変調するマスク、マスクにより変調された入射光を撮像して観察画像を生成する撮像素子及び観察画像からの被写体の画像の復元の対象となる被写体までの距離である複数の特定距離毎の復元情報に基づいて複数の特定距離毎に観察画像から被写体の画像を復元する処理を行う処理部を備える撮像装置における復元情報の補正を行う補正装置であって、特定距離毎に配置された補正用光源からの入射光に基づく画像である複数の補正用光源画像を生成する制御を行う補正制御部と、複数の補正用光源画像に基づいて特定距離毎の復元情報を補正するための補正情報を生成する演算部とを有する。
【選択図】図３

【特許請求の範囲】

【請求項1】

被写体からの入射光を変調するマスク、前記マスクにより変調された前記入射光を撮像して観察画像を生成する撮像素子及び前記観察画像からの前記被写体の画像の復元の対象となる前記被写体までの距離である複数の特定距離毎の復元情報に基づいて前記複数の特定距離毎に前記観察画像から前記被写体の画像を復元する処理を行う処理部を備える撮像装置における前記復元情報の補正を行う補正装置であって、
前記特定距離毎に配置された補正用光源からの入射光に基づく画像である複数の補正用光源画像を生成する制御を行う補正制御部と、
前記複数の補正用光源画像に基づいて前記特定距離毎の前記復元情報を補正するための補正情報を生成する演算部と
を有する補正装置。

【請求項2】

前記補正用光源は、開口部のサイズを調整可能に構成されたスリットを備える請求項１に記載の補正装置。

【請求項3】

前記補正用光源は、複数の異なる波長の光を出射する請求項２に記載の補正装置。

【請求項4】

前記補正用光源は、白色光の光源及びそれぞれ異なる波長の光を透過する複数のフィルタを備える請求項３に記載の補正装置。

【請求項5】

前記補正制御部は、前記補正用光源からの異なる波長の入射光毎の前記補正用光源画像を生成する請求項１に記載の補正装置。

【請求項6】

前記演算部は、前記復元情報を補正する補正値を前記補正情報として生成する請求項１に記載の補正装置。

【請求項7】

被写体からの入射光を変調するマスク、前記マスクにより変調された前記入射光を撮像して観察画像を生成する撮像素子及び前記観察画像からの前記被写体の画像の復元の対象となる前記被写体までの距離である複数の特定距離毎の復元情報に基づいて前記複数の特定距離毎に前記観察画像から前記被写体の画像を復元する処理を行う処理部を備える撮像装置における前記復元情報の補正方法であって、
前記特定距離毎に配置された補正用光源からの入射光に基づく画像である複数の補正用光源画像を生成することと、
前記複数の補正用光源画像に基づいて前記特定距離毎の前記復元情報を補正するための補正情報を生成することと
を含む補正方法。

【請求項8】

被写体からの入射光を変調するマスクと、
前記マスクにより変調された前記入射光を撮像して観察画像を生成する撮像素子と、
前記観察画像からの前記被写体の画像の復元の対象となる前記被写体までの距離である複数の特定距離毎の復元情報に基づいて前記複数の特定距離毎に前記観察画像から前記被写体の画像を復元する処理を行う処理部と、
前記特定距離毎に配置された補正用光源からの入射光に基づく画像である複数の補正用光源画像を生成する制御を行う補正制御部と、
前記複数の補正用光源画像に基づいて前記特定距離毎の前記復元情報を補正するための補正情報を生成する演算部と
を有する電子機器。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、補正装置、補正方法及び電子機器に関する。

【背景技術】

【0002】

撮像素子及び被写体を撮像素子に結像する撮影レンズを備えるカメラに対し、撮影レンズを省略したレンズレスカメラが提案されている（例えば、特許文献１参照）。このレンズレスカメラは、撮影レンズの代わりに光の透過領域及び不透過領域からなるパターンを有するマスクを配置し、このマスクにより変調された入射光を撮像して得られた画像である観察画像を生成する。次に、レンズレスカメラは、この観察画像に対して信号処理を行って被写体の画像を復元する。このレンズレスカメラは、被写体からの放射光がマスクにより変調されて撮像素子に投影されるかの情報を有しており、当該情報を用いて観察画像の信号処理を行う。

【0003】

この情報はマスクや撮像素子の取り付け位置のばらつきにより変化する。このため、上述の従来技術では、レンズレスカメラ毎に情報（イメージング行列等）のキャリブレーションを行っている。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】国際公開第２０１９／１７６３４９号

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、上記の従来技術では、画像復元の際に使用する復元情報の生成に対し、精度良く取得する事に関して改善の余地があった。

【0006】

そこで、本開示では、被写体までの距離毎に画像を復元するための情報の補正を行う補正装置、補正方法及び電子機器を提案する。

【課題を解決するための手段】

【0007】

本開示に係る補正装置は、被写体からの入射光を変調するマスク、上記マスクにより変調された上記入射光を撮像して観察画像を生成する撮像素子及び上記観察画像からの上記被写体の画像の復元の対象となる上記被写体までの距離である複数の特定距離毎の復元情報に基づいて上記複数の特定距離毎に上記観察画像から上記被写体の画像を復元する処理を行う処理部を備える撮像装置における上記復元情報の補正を行う補正装置であって、上記特定距離毎に配置された補正用光源からの入射光に基づく画像である複数の補正用光源画像を生成する制御を行う補正制御部と、上記複数の補正用光源画像に基づいて上記特定距離毎の上記復元情報を補正するための補正情報を生成する演算部とを有する。

【図面の簡単な説明】

【0008】

【図1】レンズレスカメラの原理を説明するための説明図である。

【図2】レンズレスカメラの原理を説明するための説明図である。

【図3】本開示の第１の実施形態に係る電子機器の構成例を示す図である。

【図4A】本開示の第１の実施形態に係る補正用光源の構成例を示す図である。

【図4B】本開示の第１の実施形態に係る補正用光源画像の生成の一例を示す図である。

【図5】本開示の第１の実施形態に係る補正情報の生成処理の処理手順の一例を示す図である。

【図6】本開示の第２の実施形態に係る補正用光源画像の生成の一例を示す図である。

【図7】本開示の第２の実施形態に係る補正用光源の構成例を示す図である。

【図8】本開示の第２の実施形態に係る補正用光源の配置の一例を示す図である。

【図9】本開示の第２の実施形態に係る補正装置の構成例を示す図である。

【図10】本開示の第２の実施形態に係る補正装置の他の構成例を示す図である。

【図11A】本開示の第３の実施形態に係る電子機器の構成例を示す図である。

【図11B】本開示の第３の実施形態に係る電子機器の構成例を示す図である。

【図12】本開示の第３の実施形態に係る電子機器の他の構成例を示す図である。

【図13】本開示の第３の実施形態に係る電子機器の他の構成例を示す図である。

【発明を実施するための形態】

【0009】

以下に、本開示の実施形態について図面に基づいて詳細に説明する。説明は、以下の順に行う。なお、以下の各実施形態において、同一の部位には同一の符号を付することにより重複する説明を省略する。
１．レンズレスカメラの原理
２．第１の実施形態
３．第２の実施形態
４．第３の実施形態

【0010】

（１．レンズレスカメラの原理）
まず、本開示の実施形態の詳細を説明する前に、レンズレスカメラ（撮像装置）の概要及び原理について、図１を参照して説明する。

【0011】

図１及び２は、レンズレスカメラの原理を説明するための説明図である。図１に示すように、撮像装置（レンズレスカメラ）１００は、バイナリーマスク（光学素子）１０と、イメージセンサ５０とを有する。バイナリーマスク１０は、例えば、２次元格子状に配列した複数の光透過フィルタ１２及び複数の光不透過フィルタ（図示省略）からなる所定のパターンを有するマスクである。また、イメージセンサ５０は、受光面上に２次元格子状又は１列（又は１行）に配列した複数の画素５２を有する。そして、各画素５２は、撮像対象となる光景の各ポイントからの光を受光することにより、電子信号（観測データ）を生成する。さらに、レンズレスカメラにおいては、当該電子信号を該当する画素５２の位置に応じた平面上の位置に投影させることにより、実際の光景の撮像画像を得ることができる。この際、光景の各ポイントからの光は、バイナリーマスク１０の光透過フィルタ１２を通過して、イメージセンサ５０の各画素５２で受光されることとなる。

【0012】

さらに、当該撮像装置１００での撮像原理の詳細を説明する。以下では、撮像対象となる光景の各ポイントからの光を、図１に示す各光源ａ、ｂ、ｃからの光であるものとして説明する。例えば、図１に示す例では、光源ａからの光は、バイナリーマスク１０の光透過フィルタ１２を通過して、画素５２ｄ、５２ｅ、５２ｆで受光される。また、光源ｂからの光は、バイナリーマスク１０の光透過フィルタ１２を通過して、画素５２ｄ、５２ｅ、５２ｆで受光される。さらに、光源ｃからの光は、バイナリーマスク１０の光透過フィルタ１２を通過して、画素５２ｄ、５２ｅ、５２ｆで受光されることとなる。そこで、各光源ａ、ｂ、ｃの光の強度をａ、ｂ、ｃとした場合、各画素５２ｄ、５２ｅ、５２ｆで受ける光強度Ｉ_ｄ、Ｉ_ｅ、Ｉ_ｆは、以下の数式（１）によって示されることとなる。なお、数式（１）においては、α_１からα_３、β_１からβ_３、γ_１からγ_３は、バイナリーマスク１０の各光透過フィルタ１２の透過係数であるものとする。

【0013】

【数1】

【0014】

上記数式（１）からわかるように、各画素５２ｄ、５２ｅ、５２ｆで受ける光は、光源ａ、ｂ、ｃのそれぞれより発せられた光が入り交じったものとなり、実際の光景に含まれる被写体からの光（例えば、図１の１つの光源からの光）のみからなるものではない。そのため、当該撮像装置１００で取得できる当初の実際の光景の撮像画像は、光景に含まれる被写体の像が結像されたものではなく、像の重畳によりぼけたものとなる。そこで、当該撮像装置１００を用いた撮像においては、結像した被写体等の実際の光景の撮像画像を得るために、重畳した画像から所望の被写体等の実際の光景の撮像画像を再構成することとなる。

【0015】

ここで、光景内の複数のポイントから放射される光を、光ベクトルＸとして表現し、当該光を受光する複数の画素５２の観測データを観測値ベクトルＹとして表現した場合、光ベクトルＸと観測値ベクトルＹとの関係は、以下に示す数式（２）で示すことができる。

【0016】

【数2】

【0017】

なお、上記数式（２）のＦは、２次元パターンを有するバイナリーマスク１０の各光透過フィルタ１２の透過係数を表す、行列であるものとする。

【0018】

従って、当該撮像装置１００を用いた撮像においては、結像した被写体等の実際の光景の撮像画像を再構成するためには、光景に含まれる被写体等からの光についての、上記数式（２）を満たす光ベクトルＸを、観測値ベクトルＹから求めればよい。詳細には、観測値ベクトルＹは、イメージセンサ５０によって明らかになることから、行列ＦをＸについて解くことにより、光ベクトルＸを算出することができる。そのためには、バイナリーマスク１０のパターンは、その解が求まるような条件を満たしている事が求められる。

【0019】

バイナリーマスク（光学素子）１０は、図２に示すように、イメージセンサ（ラインセンサ又はエリアセンサ）５０に重畳されて使用される。言い換えると、撮像装置１００は、図２に示すように、１つ以上の走査ライン（行）（詳細には、１つの走査ラインは、行方向に沿って並ぶ複数の画素からなる）を持つイメージセンサ５０と、当該イメージセンサ５０に重畳されたバイナリーマスク１０とからなる。また、図２に示すように、バイナリーマスク１０は、イメージセンサ５０の有する画素５２とほぼ同等のサイズの複数の単位要素を持ち、これら各単位要素は、光透過フィルタ１２及び光不透過フィルタ１４からなる。より詳細には、バイナリーマスク１０は、２次元格子状に配列した複数の光透過フィルタ１２及び複数の光不透過フィルタからなる所定のパターンを有する。言い換えると、バイナリーマスク１０は、光学素子の１種であるといえる。

【0020】

また、バイナリーマスク１０上で繰り返される所定のパターンの自己相関関数は、鋭いピークを持ち、且つ、当該ピークに対して非常に小さなサイドローブを持つ。このようなバイナリーマスク１０を用いることにより、上記数式（２）を解くことができることから、イメージセンサ５０で取得した観測データ（信号）から実際の光景の撮像画像を再構成することができる。

【0021】

（２．第１の実施形態）
［電子機器の構成］
図３は、本開示の第１の実施形態に係る電子機器の構成例を示す図である。同図は、電子機器１５０の構成例を表すブロック図である。電子機器１５０は、被写体の画像を生成する機器である。同図は、被写体８００からの入射光８０１に基づいて撮像を行い、画像を生成する例を表したものである。この電子機器１５０は、撮像装置１１０と、補正装置１２０とを備える。

【0022】

撮像装置１１０は、上述のレンズレスカメラに相当する装置である。この撮像装置１１０は、マスク１１１と、撮像素子１１２と、処理部１１３と、保持部１１４とを備える。

【0023】

マスク１１１は、上述のバイナリーマスクに相当するものであり、被写体８００からの入射光８０１を変調するものである。

【0024】

撮像素子１１２は、入射光８０１に基づいて撮像を生成するものである。この撮像素子１１２は、入射光の光電変換を行って信号（画素信号）を生成する複数の画素が２次元行列状に配置されて構成された画素アレイ部と、画素信号に基づいて画像データを生成する処理部とを有する。なお、同図の撮像素子１１２は、マスク１１１により変調された入射光を撮像し、当該入射光に基づく画像である観察画像を生成する。

【0025】

また、同図の撮像素子１１２は、補正用光源画像を生成し、補正装置１２０に出力する。この補正用光源画像は、補正用光源からの入射光に基づく画像である。同図には、補正用光源２００を記載した。同図の撮像素子１１２は、補正用光源２００からの入射光２０９に基づいて補正用光源画像を生成する。

【0026】

処理部１１３は、撮像素子１１２が生成した観察画像から被写体８００の画像を復元し、出力するものである。復元された被写体８００の画像を復元画像と称する。復元は、復元情報に基づいて行うことができる。上述のように、観察画像及び復元画像の間には、所定の関係が成り立つ。例えば、観察画像及び復元画像の間には、次の関係式が成り立つ。
ｇ（ｘ，ｙ）＝ＰＳＦ（ｘ，ｙ）×ｆ（ｘ，ｙ）＋ｎ ・・・（３）
ここで、ｇ（ｘ，ｙ）は観察画像を表す。また、ｆ（ｘ，ｙ）は復元画像を表す。また、ＰＳＦ（ｘ，ｙ）は、点広がり関数を表す。また、ｎはノイズを表す。被写体８００の画像の復元は、観察画像及びＰＳＦ（ｘ，ｙ）から逆算することにより生成することができる。式（３）におけるＰＳＦ（ｘ，ｙ）は、復元情報に該当する。

【0027】

復元画像の生成は、被写体までの距離のうち予め設定された距離である特定距離に対して行われる。すなわち、撮像装置１１０においては、特定距離にある被写体の画像を生成することとなる。このように、特定距離は、被写体の画像の復元の対象となる前記被写体までの距離である。特定距離として複数の距離を設定することができる。この場合、複数の特定距離毎に復元情報が配置される。この復元情報は、後述する保持部１１４に保持される。処理部１１３は、画像の復元の際に特定距離に応じた復元情報を保持部１１４から読み出す。次に、処理部１１３は、読み出した復元情報を使用して復元画像を生成する。

【0028】

また、処理部１１３は、復元情報の補正を更に行う。復元情報の補正は、後述する補正情報に基づいて復元情報を調整することにより行うことができる。処理部１１３は、保持部１１４から復元情報を読み出す際に、当該復元情報に対応する補正情報が保持されている場合には、補正情報の読出しを更に行う。次に、処理部１１３は、補正情報に基づいて復元情報を補正し、補正後の復元情報を使用して復元を行う。

【0029】

保持部１１４は、特定距離毎の複数の復元情報を保持するものである。この保持部１１４は、処理部１１３から出力される距離に応じた復元情報を処理部１１３に対して出力する。また、保持部１１４は、補正情報を更に保持する。

【0030】

上述の復元情報は、マスク１１１の形状やマスク１１１及び撮像素子１１２の距離並びに特定距離に基づいて予め生成されたものである。この復元情報は、撮像装置１１０毎に補正する必要がある。マスク１１１の形状や撮像素子１１２の距離等にはばらつきが含まれるためである。

【0031】

補正装置１２０は、復元情報を補正するための補正情報を生成するものである。この補正装置１２０は、撮像装置１１０の保持部１１４に保持された特定距離毎の復元情報のそれぞれに対応する補正情報を生成する。同図の補正装置１２０は、補正制御部１２１と、演算部１２２とを備える。

【0032】

補正制御部１２１は、復元情報の補正に使用する補正用光源画像を生成させるものである。ここで、補正用光源画像は、補正用光源からの入射光に基づく画像である。補正制御部１２１は、特定距離毎に補正用光源画像を生成させる制御を行う。また、補正制御部１２１は、補正用光源２００の制御を更に行う。

【0033】

演算部１２２は、補正用光源画像に基づいて補正情報を生成するものである。この演算部１２２は、保持部１１４から読み出した特定距離毎の復元情報の補正情報を生成し、保持部１１４に保持させる。復元情報の補正について次に説明する。

【0034】

［補正用光源画像の生成］
図４Ａは、本開示の第１の実施形態に係る補正用光源の構成例を示す図である。同図は、補正用光源画像の生成に使用する補正用光源２００の構成例を表す図である。補正用光源２００は、円筒形の筐体２０１の上部にＬＥＤ光源２０２及びスリット２０３が配置されて構成される。スリット２０３は、ＬＥＤ光源２０２の上に配置され、中央部に開口部２０４が形成される。この開口部２０４によりＬＥＤ光源２０２の光が絞られることにより、補正用光源が構成される。

【0035】

図４Ｂは、本開示の第１の実施形態に係る補正用光源画像の生成の一例を示す図である。同図は、補正用光源２００ａ、２００ｂ及び２００ｃを使用して補正用光源画像を生成する様子を表した図である。補正用光源２００ａ、２００ｂ及び２００ｃは、それぞれ異なる高さに配置される。この際、撮像装置１１０と補正用光源２００ａ、２００ｂ及び２００ｃとのそれぞれの距離は、特定距離に該当する。これらの補正用光源２００ａ、２００ｂ及び２００ｃの上方に撮像装置１１０を配置し、補正用光源２００ａ等からの入射光の撮像を行わせて補正用光源画像を生成させる。同図に表したように、撮像装置１１０は、補正用光源２００ａ、２００ｂ及び２００ｃの上方に順次移動して補正用光源画像を生成することができる。なお、同図は、３つの特定距離に対応する場合の例を表したものである。

【0036】

［補正情報生成処理］
図５は、本開示の第１の実施形態に係る補正情報の生成処理の処理手順の一例を示す図である。同図は、演算部１２２による補正情報の生成処理の処理手順の一例を表す流れ図である。まず、補正制御部１２１は、複数の特定距離のうちの１つの特定距離を選択する（ステップＳ１０１）。次に、補正制御部１２１は、選択した特定距離に応じた補正用光源画像を撮像装置１１０に生成させる（ステップＳ１０２）。次に、演算部１２２は、シミュレーション画像を生成する（ステップＳ１０３）。ここで、シミュレーション画像とは、基準となる補正用光源画像に対してマスク１１１の位置等のパラメータを変更した場合を想定して生成された画像である。このように、パラメータを少しずつ変更して生成された複数のシミュレーション画像が生成される。

【0037】

次に、演算部１２２は、シミュレーション画像のうちの補正用光源画像に近似する画像を選択する（ステップＳ１０４）。次に、演算部１２２は、選択したシミュレーション画像に対応するパラメータに基づいて補正情報を生成する（ステップＳ１０５）。ここで、演算部１２２は、補正値を補正情報として生成することができる。この補正値は、例えば、復元情報に対するｘ方向やｙ方向の移動量である。次に、補正制御部１２１は、全ての特定距離について補正情報の生成が修了したかを判断する（ステップＳ１０６）。全ての特定距離について補正情報の生成が修了していない場合には（ステップＳ１０６，Ｎｏ）、補正制御部１２１は、ステップＳ１０１の処理に戻り、他の特定距離を選択する（ステップＳ１０１）。一方、全ての特定距離について補正情報の生成が修了している場合には（ステップＳ１０６，Ｙｅｓ）。補正制御部１２１は、補正処理を修了する。生成された補正情報は、保持部１１４に出力されて保持される。

【0038】

本開示の構成では、特定距離毎の補正用光源画像の生成、スリット機構により光の平行度・光量を可変とした補正用光源画像の生成及び波長を可変とした補正用光源画像の生成を行うことができる。これらの補正用光源画像とシミュレーション画像との比較により、マスク１１１と撮像素子１１２との幾何的な位置関係を最もよく反映した撮像装置１１０に固有の補正値等を算出することができる。

【0039】

このように、本開示の第１の実施形態の電子機器１５０は、複数の補正用光源２００を配置して補正用光源画像を生成し、特定距離毎の復元情報の補正情報を生成する。この補正情報に基づいて復元画像を補正することにより高精度の復元情報を取得することができる。

【0040】

（３．第２の実施形態）
上述の電子機器１５０のバリエーションについて説明する。

【0041】

図６は、本開示の第２の実施形態に係る補正用光源画像の生成の一例を示す図である。同図は、図４Ｂと同様に、補正用光源２００ａ、２００ｂ及び２００ｃを使用して補正用光源画像を生成する様子を表した図である。同図の撮像装置１１０は、円盤状のホルダ２２０に取り付けられる。また、補正用光源２００ａ、２００ｂ及び２００ｃは、ホルダ２２０の円周に沿って配置される。ホルダ２２０は、回転することにより撮像装置１１０を補正用光源２００ａ等の上方に移動させる。この際、補正用光源画像が生成される。複数の撮像装置１１０をホルダ２２０に配置することができ、補正用光源画像の生成の時間を短縮することができる。

【0042】

図７は、本開示の第２の実施形態に係る補正用光源の構成例を示す図である。同図は、補正用光源２００の構成例を表す図である。同図の補正用光源２００は、開口部２０４のサイズを調整するスリット２０３を備える例を表したものである。この補正用光源２００は、特定距離に応じて開口部２０４のサイズを調整することができる。同図の左側の補正用光源２００は、比較的大きな開口部２０４に調整される例を表したものである。また、同図の右側の補正用光源２００は、比較的小さな開口部２０４に調整される例を表したものである。

【0043】

図８は、本開示の第２の実施形態に係る補正用光源の配置の一例を示す図である。同図は、赤色光、緑色光及び青色光に対応する補正用光源２００を使用して補正用光源画像を生成する場合の例を表したものである。同図の（ａ）は、赤色光に対応する補正用光源２００ｄ、２００ｅ及び２００ｆの例を表したものである。同図の（ｂ）は、緑色光に対応する補正用光源２００ｇ、２００ｈ及び２００ｉの例を表したものである。同図の（ｃ）は、青色光に対応する補正用光源２００ｊ、２００ｋ及び２００ｌの例を表したものである。

【0044】

この場合、補正制御部１２１は、補正用光源２００からの異なる波長の入射光毎の補正用光源画像を生成する。また、演算部１２２は、異なる波長の入射光毎の補正用光源画像に基づいて補正情報を生成する。これらの補正用光源２００を使用して赤色光、緑色光及び青色光に対応する補正用光源画像を生成し、復元情報の補正に適用することにより、復元情報の精度を向上させることができる。

【0045】

なお、赤色光、緑色光及び青色光に対応する補正用光源２００の代わりに、白色光を出射する補正用光源２００に赤色光を透過するフィルタ、緑色光を透過するフィルタ及び青色光を透過するフィルタを配置する構成を採ることもできる。この場合、フィルタを選択することにより、赤色光、緑色光及び青色光を切り替えることができる。

【0046】

図９は、本開示の第２の実施形態に係る補正装置の構成例を示す図である。同図は、補正装置１２０の構成例を表すブロック図である。同図の補正装置１２０は、補正用光源２００、補正制御部１２１及び演算部１２２を備える場合の例を表したものである。

【0047】

図１０は、本開示の第２の実施形態に係る補正装置の他の構成例を示す図である。同図は、補正装置１２０の構成例を表すブロック図である。同図の補正装置１２０は、補正用光源２００を含まない場合の例を表したものである。

【0048】

これ以外の電子機器１５０の構成は本開示の第１の実施形態における電子機器１５０の構成と同様であるため、説明を省略する。

【0049】

（４．第３の実施形態）
電子機器１５０の他の構成例について説明する。

【0050】

図１１Ａ及び１１Ｂは、本開示の第３の実施形態に係る電子機器の構成例を示す図である。図１１Ａは電子機器１５０の構成例を表す模式図である。同図の電子機器１５０は、第１のチップ３１０及び第２のチップ３２０が積層されて構成される例を表したものである。

【0051】

図１１Ｂは、図１１Ａに対応する電子機器１５０の構成例を表すブロック図である。同図に表したように、第１のチップ３１０には、撮像素子１１２及び処理部３３１が配置される。処理部３３１は、例えば、撮像素子１１２から出力される画素信号から観察画像を生成する処理を行う。

【0052】

また、第２のチップ３２０には、処理部３３２が配置される。この処理部３３２は、例えば、復元情報に基づいて観察画像から復元画像を生成する処理及び復元情報を補正する処理を行う。また、処理部３３２は、補正情報を生成する処理を行うこともできる。

【0053】

図１２は、本開示の第３の実施形態に係る電子機器の他の構成例を示す図である。同図の第１のチップ３１０には、撮像素子１１２が配置される。また、同図の第２のチップ３２０には、処理部３３３が配置される。この処理部３３３は、例えば、撮像素子１１２から出力される画素信号から観察画像を生成する処理、復元情報に基づいて観察画像から復元画像を生成する処理及び復元情報を補正する処理を行う。また、処理部３３３は、補正情報を生成する処理を行うこともできる。

【0054】

図１３は、本開示の第３の実施形態に係る電子機器の他の構成例を示す図である。同図は、撮像素子１１２及び処理部３３１が配置される第１のチップ３１０、プロセッサ３４０及びプロセッサ３５０により構成される電子機器１５０の例を表したものである。プロセッサ３４０には、処理部３３４が配置される。この処理部３３４は、例えば、復元情報に基づいて観察画像から復元画像を生成する処理を行う。また、プロセッサ３５０には、処理部３３５が配置される。この処理部３３５は、例えば、復元画像を補正する処理を行う。また、処理部３３５は、補正情報を生成する処理を行うこともできる。なお、処理部３３４及び３３５の処理は、サーバ等にて行うこともできる。このように、復元画像を生成する処理及び復元情報を補正する処理を異なる装置にて行うことにより、セキュリティを強化することができる。

【0055】

また、本明細書においてフローチャート及びシーケンス図を用いて説明した処理は、必ずしも図示された順序で実行されなくてもよい。いくつかの処理ステップは、並列的に実行されてもよい。また、追加的な処理ステップが採用されてもよく、一部の処理ステップが省略されてもよい。

【0056】

なお、本明細書に記載された効果はあくまで例示であって限定されるものでは無く、また他の効果があってもよい。

【0057】

なお、本技術は以下のような構成も取ることができる。
（１）
被写体からの入射光を変調するマスク、前記マスクにより変調された前記入射光を撮像して観察画像を生成する撮像素子及び前記観察画像からの前記被写体の画像の復元の対象となる前記被写体までの距離である複数の特定距離毎の復元情報に基づいて前記複数の特定距離毎に前記観察画像から前記被写体の画像を復元する処理を行う処理部を備える撮像装置における前記復元情報の補正を行う補正装置であって、
前記特定距離毎に配置された補正用光源からの入射光に基づく画像である複数の補正用光源画像を生成する制御を行う補正制御部と、
前記複数の補正用光源画像に基づいて前記特定距離毎の前記復元情報を補正するための補正情報を生成する演算部と
を有する補正装置。
（２）
前記補正用光源は、開口部のサイズを調整可能に構成されたスリットを備える前記（１）に記載の補正装置。
（３）
前記補正用光源は、複数の異なる波長の光を出射する前記（２）に記載の補正装置。
（４）
前記補正用光源は、白色光の光源及びそれぞれ異なる波長の光を透過する複数のフィルタを備える前記（３）に記載の補正装置。
（５）
前記補正制御部は、前記補正用光源からの異なる波長の入射光毎の前記補正用光源画像を生成する前記（１）から（４）の何れかに記載の補正装置。
（６）
前記演算部は、前記復元情報を補正する補正値を前記補正情報として生成する前記（１）から（５）の何れかに記載の補正装置。
（７）
被写体からの入射光を変調するマスク、前記マスクにより変調された前記入射光を撮像して観察画像を生成する撮像素子及び前記観察画像からの前記被写体の画像の復元の対象となる前記被写体までの距離である複数の特定距離毎の復元情報に基づいて前記複数の特定距離毎に前記観察画像から前記被写体の画像を復元する処理を行う処理部を備える撮像装置における前記復元情報の補正方法であって、
前記特定距離毎に配置された補正用光源からの入射光に基づく画像である複数の補正用光源画像を生成することと、
前記複数の補正用光源画像に基づいて前記特定距離毎の前記復元情報を補正することと
を含む補正方法。
（８）
被写体からの入射光を変調するマスクと、
前記マスクにより変調された前記入射光を撮像して観察画像を生成する撮像素子と、
前記観察画像からの前記被写体の画像の復元の対象となる前記被写体までの距離である複数の特定距離毎の復元情報に基づいて前記複数の特定距離毎に前記観察画像から前記被写体の画像を復元する処理を行う処理部と、
前記特定距離毎に配置された補正用光源からの入射光に基づく画像である複数の補正用光源画像を生成する制御を行う補正制御部と、
前記複数の補正用光源画像に基づいて前記特定距離毎の前記復元情報を補正する演算部と
を有する電子機器。

【符号の説明】

【0058】

１１０ 撮像装置
１１１ マスク
１１２ 撮像素子
１１３ 処理部
１２０ 補正装置
１２１ 補正制御部
１２２ 演算部
１４０ 信号処理装置
１５０ 電子機器
２００、２００ａ、２００ｂ、２００ｃ、２００ｄ、２００ｅ、２００ｆ、２００ｇ、２００ｈ、２００ｉ、２００ｊ、２００ｋ、２００ｌ 補正用光源

【図1】

【図2】

【図3】

【図4A】

【図4B】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11A】

【図11B】

【図12】

【図13】