(19)【発行国】日本国特許庁(JP)
【公報種別】再公表特許(A1)
(11)【国際公開番号】WO/0
(43)【国際公開日】2018年9月7日
【発行日】2019年12月26日
(54)【発明の名称】撮像システム及び撮像方法
(51)【国際特許分類】
H04N 5/347 20110101AFI20191129BHJP
H04N 5/349 20110101ALI20191129BHJP
H04N 5/225 20060101ALI20191129BHJP
H04N 5/232 20060101ALI20191129BHJP
【ＦＩ】
H04N5/347
H04N5/349
H04N5/225 300
H04N5/232 290
【審査請求】未請求
【予備審査請求】未請求
【全頁数】48
【出願番号】特願2019-502447(P2019-502447)
(21)【国際出願番号】PCT/0/0
(22)【国際出願日】2017年10月3日
(31)【優先権主張番号】特願2017-37274(P2017-37274)
(32)【優先日】2017年2月28日
(33)【優先権主張国】JP
(81)【指定国】
AP(BW,GH,GM,KE,LR,LS,MW,MZ,NA,RW,SD,SL,ST,SZ,TZ,UG,ZM,ZW),EA(AM,AZ,BY,KG,KZ,RU,TJ,TM),EP(AL,AT,BE,BG,CH,CY,CZ,DE,DK,EE,ES,FI,FR,GB,GR,HR,HU,IE,IS,IT,LT,LU,LV,MC,MK,MT,NL,NO,PL,PT,RO,RS,SE,SI,SK,SM,TR),OA(BF,BJ,CF,CG,CI,CM,GA,GN,GQ,GW,KM,ML,MR,NE,SN,TD,TG),AE,AG,AL,AM,AO,AT,AU,AZ,BA,BB,BG,BH,BN,BR,BW,BY,BZ,CA,CH,CL,CN,CO,CR,CU,CZ,DE,DJ,DK,DM,DO,DZ,EC,EE,EG,ES,FI,GB,GD,GE,GH,GM,GT,HN,HR,HU,ID,IL,IN,IR,IS,JO,JP,KE,KG,KH,KN,KP,KR,KW,KZ,LA,LC,LK,LR,LS,LU,LY,MA,MD,ME,MG,MK,MN,MW,MX,MY,MZ,NA,NG,NI,NO,NZ,OM,PA,PE,PG,PH,PL,PT,QA,RO,RS,RU,RW,SA,SC,SD,SE,SG,SK,SL,SM,ST,SV,SY,TH,TJ,TM,TN,TR,TT
(71)【出願人】
【識別番号】314012076
【氏名又は名称】パナソニックＩＰマネジメント株式会社
(74)【代理人】
【識別番号】100109210
【弁理士】
【氏名又は名称】新居 広守
(74)【代理人】
【識別番号】100137235
【弁理士】
【氏名又は名称】寺谷 英作
(74)【代理人】
【識別番号】100131417
【弁理士】
【氏名又は名称】道坂 伸一
(72)【発明者】
【氏名】能澤 克弥
【テーマコード（参考）】
5C024
5C122
【Ｆターム（参考）】
5C024CX46
5C024CY37
5C024CY38
5C024EX04
5C024EX31
5C024EX42
5C024GX02
5C024GX06
5C024GX07
5C024GX18
5C024GZ24
5C024HX29
5C122EA12
5C122EA22
5C122FC02
5C122FC06
5C122FC07
5C122FG02
5C122FH23
5C122HA82
5C122HA88
5C122HB01
5C122HB02
(57)【要約】
撮像システムは、結像光学系と、撮像素子と、アクチュエータと、制御回路と、を備える。複数の画素セルの各々は、可変の感度を有する。複数の画素セルの各々は、被写体の像の光を信号電荷に変換する光電変換素子と、前記光電変換素子で得られた前記信号電荷を蓄積する電荷蓄積領域と、を備える。前記制御回路は、相対位置を第１位置に設定し、かつ、前記複数の画素セルの各々の前記感度を第１感度に設定することにより、前記複数の画素セルの各々において、前記光電変換素子で得られた第１信号電荷を前記電荷蓄積領域に蓄積させる。前記制御回路は、前記相対位置を前記第１位置とは異なる第２位置に設定し、かつ、前記複数の画素セルの各々の前記感度を前記第１感度とは異なる第２感度に設定することにより、前記複数の画素セルの各々において、前記光電変換素子で得られた第２信号電荷を、前記第１信号電荷に加えて前記電荷蓄積領域に蓄積させる。
【特許請求の範囲】
【請求項1】
被写体の像を結像させる結像光学系と、
複数の画素セルを含む撮像素子と、
前記複数の画素セルと前記被写体の前記像との相対位置を変えるアクチュエータと、
前記撮像素子および前記アクチュエータを制御する制御回路と、
を備え、
前記複数の画素セルの各々は、可変の感度を有し、
前記複数の画素セルの各々は、
前記被写体の前記像の光を信号電荷に変換する光電変換素子と、
前記光電変換素子で得られた前記信号電荷を蓄積する電荷蓄積領域と、
を備え、
前記制御回路は、
前記相対位置を第１位置に設定し、かつ、前記複数の画素セルの各々の前記感度を第１感度に設定することにより、前記複数の画素セルの各々において、前記光電変換素子で得られた第１信号電荷を前記電荷蓄積領域に蓄積させ、
前記相対位置を前記第１位置とは異なる第２位置に設定し、かつ、前記複数の画素セルの各々の前記感度を前記第１感度とは異なる第２感度に設定することにより、前記複数の画素セルの各々において、前記光電変換素子で得られた第２信号電荷を、前記第１信号電荷に加えて前記電荷蓄積領域に蓄積させる、
撮像システム。
複数の画素セルを含む撮像素子と、
前記複数の画素セルと前記被写体の前記像との相対位置を変えるアクチュエータと、
前記撮像素子および前記アクチュエータを制御する制御回路と、
を備え、
前記複数の画素セルの各々は、可変の感度を有し、
前記複数の画素セルの各々は、
前記被写体の前記像の光を信号電荷に変換する光電変換素子と、
前記光電変換素子で得られた前記信号電荷を蓄積する電荷蓄積領域と、
を備え、
前記制御回路は、
前記相対位置を第１位置に設定し、かつ、前記複数の画素セルの各々の前記感度を第１感度に設定することにより、前記複数の画素セルの各々において、前記光電変換素子で得られた第１信号電荷を前記電荷蓄積領域に蓄積させ、
前記相対位置を前記第１位置とは異なる第２位置に設定し、かつ、前記複数の画素セルの各々の前記感度を前記第１感度とは異なる第２感度に設定することにより、前記複数の画素セルの各々において、前記光電変換素子で得られた第２信号電荷を、前記第１信号電荷に加えて前記電荷蓄積領域に蓄積させる、
撮像システム。
【請求項2】
前記制御回路は、
前記相対位置の前記第１位置への設定と、前記複数の画素セルの各々の前記感度の前記第１感度への設定と、を同期させて行い、
前記相対位置の前記第２位置への設定と、前記複数の画素セルの各々の前記感度の前記第２感度への前記設定と、を同期させて行う、請求項１に記載の撮像システム。
前記相対位置の前記第１位置への設定と、前記複数の画素セルの各々の前記感度の前記第１感度への設定と、を同期させて行い、
前記相対位置の前記第２位置への設定と、前記複数の画素セルの各々の前記感度の前記第２感度への前記設定と、を同期させて行う、請求項１に記載の撮像システム。
【請求項3】
前記制御回路は、前記複数の画素セルのうち隣接する２つの画素セルの中心間距離の整数倍の単位で前記相対位置を前記第１位置から前記第２位置に変更することにより、前記第２位置への前記設定を行う
請求項１または２記載の撮像システム。
請求項１または２記載の撮像システム。
【請求項4】
被写体の像を結像させる結像光学系と、
複数の画素セルを含む撮像素子と、
前記複数の画素セルと前記被写体の前記像との相対位置を変えるアクチュエータと、
前記撮像素子および前記アクチュエータを制御する制御回路と、
を備え、
前記複数の画素セルの各々は、可変の感度を有し、
前記複数の画素セルの各々は、
前記被写体の前記像の光を信号電荷に変換する光電変換素子と、
前記光電変換素子で得られた前記信号電荷を蓄積する電荷蓄積領域と、
を備え、
前記制御回路は、一つの露光期間中に、
前記相対位置を第１位置から前記第１位置と異なる第２位置に変更し、かつ、前記複数の画素セルの各々の前記感度を第１感度から前記第１感度と異なる第２感度に変更することにより、前記複数の画素セルの各々において、前記光電変換素子で得られた第３信号電荷を前記電荷蓄積領域に蓄積させる、
撮像システム。
複数の画素セルを含む撮像素子と、
前記複数の画素セルと前記被写体の前記像との相対位置を変えるアクチュエータと、
前記撮像素子および前記アクチュエータを制御する制御回路と、
を備え、
前記複数の画素セルの各々は、可変の感度を有し、
前記複数の画素セルの各々は、
前記被写体の前記像の光を信号電荷に変換する光電変換素子と、
前記光電変換素子で得られた前記信号電荷を蓄積する電荷蓄積領域と、
を備え、
前記制御回路は、一つの露光期間中に、
前記相対位置を第１位置から前記第１位置と異なる第２位置に変更し、かつ、前記複数の画素セルの各々の前記感度を第１感度から前記第１感度と異なる第２感度に変更することにより、前記複数の画素セルの各々において、前記光電変換素子で得られた第３信号電荷を前記電荷蓄積領域に蓄積させる、
撮像システム。
【請求項5】
前記制御回路は、前記相対位置を前記第１位置から前記第２位置に連続的に変更する
請求項４記載の撮像システム。
請求項４記載の撮像システム。
【請求項6】
前記制御回路は、前記複数の画素セルの各々の前記感度を前記第１感度から前記第２感度に連続的に変更する
請求項４または５に記載の撮像システム。
請求項４または５に記載の撮像システム。
【請求項7】
前記制御回路は、
前記相対位置の前記変更と、前記複数の画素セルの各々の前記感度の前記変更と、を同期させて行う、請求項４〜６のいずれか１項に記載の撮像システム。
前記相対位置の前記変更と、前記複数の画素セルの各々の前記感度の前記変更と、を同期させて行う、請求項４〜６のいずれか１項に記載の撮像システム。
【請求項8】
前記複数の画素セルは、行方向および列方向の二次元に配置されている、
請求項１〜７のいずれか１項に記載の撮像システム。
請求項１〜７のいずれか１項に記載の撮像システム。
【請求項9】
前記制御回路は、前記複数の画素セルの各々の前記感度の前記設定または前記変更を一括して行う
請求項１〜８のいずれか１項に記載の撮像システム。
請求項１〜８のいずれか１項に記載の撮像システム。
【請求項10】
前記複数の画素セルの各々は、第１サブ画素と第２サブ画素とを含み、
前記複数の画素セルの各々の前記第１サブ画素は、前記光電変換素子及び前記電荷蓄積領域を含み、
前記複数の画素セルの各々の前記感度は、前記第１サブ画素の感度であり、
前記複数の画素セルの各々の前記第２サブ画素は、他の光電変換素子及び他の電荷蓄積領域を含み、
前記制御回路は、前記複数の画素セルの各々において、前記第２サブ画素の感度を前記第１サブ画素の前記感度とは独立して設定または変更する
請求項１〜９のいずれか１項に記載の撮像システム。
前記複数の画素セルの各々の前記第１サブ画素は、前記光電変換素子及び前記電荷蓄積領域を含み、
前記複数の画素セルの各々の前記感度は、前記第１サブ画素の感度であり、
前記複数の画素セルの各々の前記第２サブ画素は、他の光電変換素子及び他の電荷蓄積領域を含み、
前記制御回路は、前記複数の画素セルの各々において、前記第２サブ画素の感度を前記第１サブ画素の前記感度とは独立して設定または変更する
請求項１〜９のいずれか１項に記載の撮像システム。
【請求項11】
前記光電変換素子は、
前記電荷蓄積領域に接続された画素電極と、
透光性の対向電極と、
前記画素電極と前記対向電極の間に配置された光電変換層と、を含む
請求項１〜１０のいずれか１項に記載の撮像システム。
前記電荷蓄積領域に接続された画素電極と、
透光性の対向電極と、
前記画素電極と前記対向電極の間に配置された光電変換層と、を含む
請求項１〜１０のいずれか１項に記載の撮像システム。
【請求項12】
前記撮像素子は、前記複数の画素セルの各々の前記光電変換素子に含まれる前記画素電極と前記対向電極との間に電圧を印加する電圧印加回路をさらに備え、
前記制御回路は、前記電圧印加回路が印加する前記電圧を変更することで前記複数の画素セルの各々の前記感度を変更する
請求項１１記載の撮像システム。
前記制御回路は、前記電圧印加回路が印加する前記電圧を変更することで前記複数の画素セルの各々の前記感度を変更する
請求項１１記載の撮像システム。
【請求項13】
被写体の像を結像させる結像光学系と、複数の画素セルを含む撮像素子と、前記複数の画素セルと前記被写体の前記像との相対位置を変えるアクチュエータと、前記撮像素子および前記アクチュエータを制御する制御回路と、を備える撮像システムにおける撮像方法であって、
前記複数の画素セルの各々は、可変の感度を有し、
前記複数の画素セルの各々は、
前記被写体の前記像の光を信号電荷に変換する光電変換素子と、
前記光電変換素子で得られた信号電荷を蓄積する電荷蓄積領域と、
を備え、
前記撮像方法は、
前記相対位置を第１位置に設定し、
前記複数の画素セルの各々の前記感度を第１感度に設定し、
前記相対位置が前記第１位置に設定され、かつ、前記複数の画素セルの各々の前記感度が前記第１感度に設定された状態で、前記複数の画素セルの各々において、前記光電変換素子で得られた第１信号電荷を前記電荷蓄積領域に蓄積させ、
前記相対位置を前記第１位置とは異なる第２位置に設定し、
前記複数の画素セルの各々の前記感度を前記第１感度とは異なる第２感度に設定し、
前記相対位置が前記第２位置に設定され、かつ、前記複数の画素セルの各々の前記感度が前記第２感度に設定された状態で、前記複数の画素セルの各々において、前記光電変換素子で得られた第２信号電荷を、前記第１信号電荷に加えて前記電荷蓄積領域に蓄積させる、
撮像方法。
前記複数の画素セルの各々は、可変の感度を有し、
前記複数の画素セルの各々は、
前記被写体の前記像の光を信号電荷に変換する光電変換素子と、
前記光電変換素子で得られた信号電荷を蓄積する電荷蓄積領域と、
を備え、
前記撮像方法は、
前記相対位置を第１位置に設定し、
前記複数の画素セルの各々の前記感度を第１感度に設定し、
前記相対位置が前記第１位置に設定され、かつ、前記複数の画素セルの各々の前記感度が前記第１感度に設定された状態で、前記複数の画素セルの各々において、前記光電変換素子で得られた第１信号電荷を前記電荷蓄積領域に蓄積させ、
前記相対位置を前記第１位置とは異なる第２位置に設定し、
前記複数の画素セルの各々の前記感度を前記第１感度とは異なる第２感度に設定し、
前記相対位置が前記第２位置に設定され、かつ、前記複数の画素セルの各々の前記感度が前記第２感度に設定された状態で、前記複数の画素セルの各々において、前記光電変換素子で得られた第２信号電荷を、前記第１信号電荷に加えて前記電荷蓄積領域に蓄積させる、
撮像方法。
【請求項14】
前記複数の画素セルのうち隣接する２つの画素セルの中心間距離の整数倍の単位で前記相対位置を前記第１位置から前記第２位置に変更することにより、前記第２位置への前記設定を行う
請求項１３記載の撮像方法。
請求項１３記載の撮像方法。
【請求項15】
前記撮像システムは、さらに、前記撮像素子を遮光するメカシャッタを備え、
前記撮像方法は、前記メカシャッタにより前記撮像素子を遮光した状態において、前記相対位置を前記第１位置から前記第２位置に変更することにより、前記第２位置への前記設定を行う
請求項１３または１４に記載の撮像方法。
前記撮像方法は、前記メカシャッタにより前記撮像素子を遮光した状態において、前記相対位置を前記第１位置から前記第２位置に変更することにより、前記第２位置への前記設定を行う
請求項１３または１４に記載の撮像方法。
【請求項16】
前記複数の画素セルの各々の前記感度をゼロに設定した状態で、前記相対位置を前記第１位置から前記第２位置に変更することにより、前記第２位置への前記設定を行う
請求項１３または１４に記載の撮像方法。
請求項１３または１４に記載の撮像方法。
【請求項17】
前記撮像方法は、
前記第１位置への前記設定および前記第２位置への前記設定を含む、前記相対位置のＮ回（Ｎは２以上の整数）の設定と、
前記第１感度への前記設定および前記第２感度への前記設定を含む、前記感度のＮ回の設定と、
前記第１信号電荷の前記蓄積および前記第２信号電荷の前記蓄積を含むＮ回の蓄積と、
を含み、
前記相対位置のｉ（ｉは１からＮの整数）回目の設定では、前記相対位置を第ｉ位置に設定し、
前記感度のｉ回目の設定では、前記複数の画素セルの各々の前記感度を第ｉ感度に設定し、
ｉ回目の蓄積では、前記相対位置が前記第ｉ位置に設定され、かつ、前記複数の画素セルの各々の前記感度が前記第ｉ感度に設定された状態で、前記複数の画素セルの各々において、前記光電変換素子で得られた第ｉ信号電荷を前記電荷蓄積領域に蓄積し、
前記撮像方法では、さらに、前記Ｎ回の前記蓄積により得られた１以上の画像を用いて、予め定められた第１の畳み込み処理後の画像に相当する画像を取得し、
前記第ｉ位置は、前記第１の畳み込み処理の複数の係数のうちのＮ個の係数に含まれる第ｉ係数の位置に対応し、
前記第ｉ感度は、前記第ｉ係数の値に対応する
請求項１３〜１６のいずれか１項に記載の撮像方法。
前記第１位置への前記設定および前記第２位置への前記設定を含む、前記相対位置のＮ回（Ｎは２以上の整数）の設定と、
前記第１感度への前記設定および前記第２感度への前記設定を含む、前記感度のＮ回の設定と、
前記第１信号電荷の前記蓄積および前記第２信号電荷の前記蓄積を含むＮ回の蓄積と、
を含み、
前記相対位置のｉ（ｉは１からＮの整数）回目の設定では、前記相対位置を第ｉ位置に設定し、
前記感度のｉ回目の設定では、前記複数の画素セルの各々の前記感度を第ｉ感度に設定し、
ｉ回目の蓄積では、前記相対位置が前記第ｉ位置に設定され、かつ、前記複数の画素セルの各々の前記感度が前記第ｉ感度に設定された状態で、前記複数の画素セルの各々において、前記光電変換素子で得られた第ｉ信号電荷を前記電荷蓄積領域に蓄積し、
前記撮像方法では、さらに、前記Ｎ回の前記蓄積により得られた１以上の画像を用いて、予め定められた第１の畳み込み処理後の画像に相当する画像を取得し、
前記第ｉ位置は、前記第１の畳み込み処理の複数の係数のうちのＮ個の係数に含まれる第ｉ係数の位置に対応し、
前記第ｉ感度は、前記第ｉ係数の値に対応する
請求項１３〜１６のいずれか１項に記載の撮像方法。
【請求項18】
前記１以上の画像は、第１画像および第２画像を含み、
前記Ｎは３以上の整数であり、
前記Ｎ個の係数は、正の値を有するＭ（Ｍは１以上Ｎ未満の整数）個の係数および負の値を有する（Ｎ−Ｍ）個の係数からなり、
前記第１画像は、前記Ｎ回の蓄積のうち、前記Ｍ個の係数に対応するＭ回の蓄積により前記複数の画素セルの各々の前記電荷蓄積領域に蓄積された信号電荷の合計値に対応し、
前記第２画像は、前記Ｎ回の蓄積のうち、前記（Ｎ−Ｍ）個の負の係数に対応する（Ｎ−Ｍ）回の蓄積により前記複数の画素セルの各々の前記電荷蓄積領域に蓄積された信号電荷の合計値に対応し、
前記第１画像から前記第２画像を減算することで、前記第１の畳み込み処理後の前記画像に相当する前記画像を得る
請求項１７記載の撮像方法。
前記Ｎは３以上の整数であり、
前記Ｎ個の係数は、正の値を有するＭ（Ｍは１以上Ｎ未満の整数）個の係数および負の値を有する（Ｎ−Ｍ）個の係数からなり、
前記第１画像は、前記Ｎ回の蓄積のうち、前記Ｍ個の係数に対応するＭ回の蓄積により前記複数の画素セルの各々の前記電荷蓄積領域に蓄積された信号電荷の合計値に対応し、
前記第２画像は、前記Ｎ回の蓄積のうち、前記（Ｎ−Ｍ）個の負の係数に対応する（Ｎ−Ｍ）回の蓄積により前記複数の画素セルの各々の前記電荷蓄積領域に蓄積された信号電荷の合計値に対応し、
前記第１画像から前記第２画像を減算することで、前記第１の畳み込み処理後の前記画像に相当する前記画像を得る
請求項１７記載の撮像方法。
【請求項19】
前記撮像方法は、
前記第１位置への前記設定および前記第２位置への前記設定を含む、前記相対位置のＮ（Ｎは４以上の整数）回の設定と、
前記第１感度への前記設定および前記第２感度への前記設定を含む、前記感度のＮ回の設定と、
前記第１信号電荷の前記蓄積および前記第２信号電荷の前記蓄積を含むＮ回の蓄積とを含み、
前記相対位置のｉ（ｉは１からＮの整数）回目の設定では、前記相対位置を第ｉ位置に設定し、
前記感度のｉ回目の設定では、前記複数の画素セルの各々の前記感度を第ｉ感度に設定し、
ｉ回目の蓄積では、前記相対位置が前記第ｉ位置に設定され、かつ、前記複数の画素セルの各々の前記感度が前記第ｉ感度に設定された状態で、前記複数の画素セルの各々において、前記光電変換素子で得られた第ｉ信号電荷を前記電荷蓄積領域に蓄積し、
前記感度の前記Ｎ回の設定のうちＭ（Ｍは２以上Ｎ未満の整数）回の設定の各々では、予め定められた第１の畳み込み処理の複数の係数のうちの何れか一つにオフセット値を加算した値に対応する感度への設定を行い、
前記感度の前記Ｎ回の設定のうち（Ｎ−Ｍ）回の設定の各々では、前記オフセット値に対応する感度への設定を行い、
前記感度の前記Ｍ回の設定に対応するＭ回の蓄積により、前記第１の畳み込み処理の全ての係数にオフセット値を加算することで得られる複数の係数を用いる畳み込み処理後の画像に相当する第１画像を取得し、
前記感度の前記（Ｎ−Ｍ）回の設定に対応する（Ｎ−Ｍ）回の蓄積により、全ての係数として前記オフセット値を用いる畳み込み処理後の画像に相当する第２画像を取得し、
前記第１画像から前記第２画像を減算することで、前記第１の畳み込み処理後の画像に相当する画像を得る、
請求項１３〜１６のいずれか１項に記載の撮像方法。
前記第１位置への前記設定および前記第２位置への前記設定を含む、前記相対位置のＮ（Ｎは４以上の整数）回の設定と、
前記第１感度への前記設定および前記第２感度への前記設定を含む、前記感度のＮ回の設定と、
前記第１信号電荷の前記蓄積および前記第２信号電荷の前記蓄積を含むＮ回の蓄積とを含み、
前記相対位置のｉ（ｉは１からＮの整数）回目の設定では、前記相対位置を第ｉ位置に設定し、
前記感度のｉ回目の設定では、前記複数の画素セルの各々の前記感度を第ｉ感度に設定し、
ｉ回目の蓄積では、前記相対位置が前記第ｉ位置に設定され、かつ、前記複数の画素セルの各々の前記感度が前記第ｉ感度に設定された状態で、前記複数の画素セルの各々において、前記光電変換素子で得られた第ｉ信号電荷を前記電荷蓄積領域に蓄積し、
前記感度の前記Ｎ回の設定のうちＭ（Ｍは２以上Ｎ未満の整数）回の設定の各々では、予め定められた第１の畳み込み処理の複数の係数のうちの何れか一つにオフセット値を加算した値に対応する感度への設定を行い、
前記感度の前記Ｎ回の設定のうち（Ｎ−Ｍ）回の設定の各々では、前記オフセット値に対応する感度への設定を行い、
前記感度の前記Ｍ回の設定に対応するＭ回の蓄積により、前記第１の畳み込み処理の全ての係数にオフセット値を加算することで得られる複数の係数を用いる畳み込み処理後の画像に相当する第１画像を取得し、
前記感度の前記（Ｎ−Ｍ）回の設定に対応する（Ｎ−Ｍ）回の蓄積により、全ての係数として前記オフセット値を用いる畳み込み処理後の画像に相当する第２画像を取得し、
前記第１画像から前記第２画像を減算することで、前記第１の畳み込み処理後の画像に相当する画像を得る、
請求項１３〜１６のいずれか１項に記載の撮像方法。
【請求項20】
前記感度の前記Ｎ回の設定に用いるＮ個の係数の値は０でない
請求項１７〜１９のいずれか１項に記載の撮像方法。
請求項１７〜１９のいずれか１項に記載の撮像方法。
【請求項21】
前記複数の画素セルの各々は、第１サブ画素と第２サブ画素とを含み、
前記複数の画素セルの各々の前記第１サブ画素は、前記光電変換素子及び前記電荷蓄積領域を含み、
前記複数の画素セルの各々の前記感度は、前記第１サブ画素の感度であり、
前記複数の画素セルの各々の前記第２サブ画素は、他の光電変換素子及び他の電荷蓄積領域を含み、
前記感度の前記Ｎ回の設定の各々では、さらに、前記複数の画素セルの各々の前記第２サブ画素の感度を設定し、
前記感度の前記Ｎ回の設定のうち少なくとも一つでは、前記第１サブ画素の前記感度の設定値と前記第２サブ画素の前記感度の設定値が異なり、
前記Ｎ回の蓄積の各々では、さらに、前記複数の画素セルの各々において、前記第２サブ画素の前記他の光電変換素子で得られた信号電荷を前記他の電荷蓄積領域に蓄積させ、
前記撮像方法では、前記Ｎ回の蓄積により前記複数の第１サブ画素で得られた前記１以上の画像を用いて、前記第１の畳み込み処理後の前記画像に相当する前記画像を取得し、前記Ｎ回の蓄積ステップにより前記複数の第２サブ画素で得られた他の１以上の画像を用いて、前記第１の畳み込み処理とは異なる第２の畳み込み処理後の画像に相当する画像を取得する、
請求項１７〜２０のいずれか１項に記載の撮像方法。
前記複数の画素セルの各々の前記第１サブ画素は、前記光電変換素子及び前記電荷蓄積領域を含み、
前記複数の画素セルの各々の前記感度は、前記第１サブ画素の感度であり、
前記複数の画素セルの各々の前記第２サブ画素は、他の光電変換素子及び他の電荷蓄積領域を含み、
前記感度の前記Ｎ回の設定の各々では、さらに、前記複数の画素セルの各々の前記第２サブ画素の感度を設定し、
前記感度の前記Ｎ回の設定のうち少なくとも一つでは、前記第１サブ画素の前記感度の設定値と前記第２サブ画素の前記感度の設定値が異なり、
前記Ｎ回の蓄積の各々では、さらに、前記複数の画素セルの各々において、前記第２サブ画素の前記他の光電変換素子で得られた信号電荷を前記他の電荷蓄積領域に蓄積させ、
前記撮像方法では、前記Ｎ回の蓄積により前記複数の第１サブ画素で得られた前記１以上の画像を用いて、前記第１の畳み込み処理後の前記画像に相当する前記画像を取得し、前記Ｎ回の蓄積ステップにより前記複数の第２サブ画素で得られた他の１以上の画像を用いて、前記第１の畳み込み処理とは異なる第２の畳み込み処理後の画像に相当する画像を取得する、
請求項１７〜２０のいずれか１項に記載の撮像方法。
【請求項22】
前記撮像方法は、
前記第１位置への前記設定および前記第２位置への前記設定を含む、前記相対位置のＮ回（Ｎは２以上の整数）の設定と、
前記第１感度への前記設定および前記第２感度への前記設定を含む、前記感度のＮ回の設定と、
前記第１信号電荷の前記蓄積および前記第２信号電荷の前記蓄積を含むＮ回の蓄積と、
を含み、
前記相対位置のｉ（ｉは１からＮの整数）回目の設定では、前記相対位置を第ｉ位置に設定し、
前記感度のｉ回目の設定では、前記複数の画素セルの各々の前記感度を第ｉ感度に設定し、露光時間を第ｉ露光時間に設定し、
ｉ回目の蓄積では、前記相対位置が前記第ｉ位置に設定され、かつ、前記複数の画素セルの各々の前記感度が前記第ｉ感度に設定された状態で、前記複数の画素セルの各々において、前記第ｉ露光時間に前記光電変換素子で得られた第ｉ信号電荷を前記電荷蓄積領域に蓄積し、
前記撮像方法は、さらに、前記Ｎ回の前記蓄積により得られた１以上の画像を用いて、予め定められた第１の畳み込み処理後の画像に相当する画像を取得する
請求項１３〜１６のいずれか１項に記載の撮像方法。
前記第１位置への前記設定および前記第２位置への前記設定を含む、前記相対位置のＮ回（Ｎは２以上の整数）の設定と、
前記第１感度への前記設定および前記第２感度への前記設定を含む、前記感度のＮ回の設定と、
前記第１信号電荷の前記蓄積および前記第２信号電荷の前記蓄積を含むＮ回の蓄積と、
を含み、
前記相対位置のｉ（ｉは１からＮの整数）回目の設定では、前記相対位置を第ｉ位置に設定し、
前記感度のｉ回目の設定では、前記複数の画素セルの各々の前記感度を第ｉ感度に設定し、露光時間を第ｉ露光時間に設定し、
ｉ回目の蓄積では、前記相対位置が前記第ｉ位置に設定され、かつ、前記複数の画素セルの各々の前記感度が前記第ｉ感度に設定された状態で、前記複数の画素セルの各々において、前記第ｉ露光時間に前記光電変換素子で得られた第ｉ信号電荷を前記電荷蓄積領域に蓄積し、
前記撮像方法は、さらに、前記Ｎ回の前記蓄積により得られた１以上の画像を用いて、予め定められた第１の畳み込み処理後の画像に相当する画像を取得する
請求項１３〜１６のいずれか１項に記載の撮像方法。
【請求項23】
被写体の像を結像させる結像光学系と、複数の画素セルを含む撮像素子と、前記複数の画素セルと前記被写体の前記像との相対位置を変えるアクチュエータと、前記撮像素子および前記アクチュエータを制御する制御回路と、を備える撮像システムにおける撮像方法であって、
前記複数の画素セルの各々は、可変の感度を有し、
前記複数の画素セルの各々は、
前記被写体の前記像の光を信号電荷に変換する光電変換素子と、
前記光電変換素子で得られた前記信号電荷を蓄積する電荷蓄積領域と、
を備え、
前記撮像方法は、一つの露光期間中に、
前記相対位置を第１位置から前記第１位置と異なる第２位置に変更し、
前記複数の画素セルの各々の前記感度を第１感度から前記第１感度と異なる第２感度に変更し、
前記複数の画素セルの各々において、前記光電変換素子で得られた第３信号電荷を前記電荷蓄積領域に蓄積させる、
撮像方法。
前記複数の画素セルの各々は、可変の感度を有し、
前記複数の画素セルの各々は、
前記被写体の前記像の光を信号電荷に変換する光電変換素子と、
前記光電変換素子で得られた前記信号電荷を蓄積する電荷蓄積領域と、
を備え、
前記撮像方法は、一つの露光期間中に、
前記相対位置を第１位置から前記第１位置と異なる第２位置に変更し、
前記複数の画素セルの各々の前記感度を第１感度から前記第１感度と異なる第２感度に変更し、
前記複数の画素セルの各々において、前記光電変換素子で得られた第３信号電荷を前記電荷蓄積領域に蓄積させる、
撮像方法。
【請求項24】
前記相対位置を前記第１位置から前記第２位置に連続的に変更する
請求項２３記載の撮像方法。
請求項２３記載の撮像方法。
【請求項25】
前記複数の画素セルの各々の前記感度を前記第１感度から前記第２感度に連続的に変更する
請求項２３または２４に記載の撮像方法。
請求項２３または２４に記載の撮像方法。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は撮像システム及び撮像方法に関する。【背景技術】
【0002】
画像の輝度等に対応する二次元配置の数値群からなる数値データに対して演算処理を行ういわゆる画像処理は、画像特徴の強調或いは抽出、不要なノイズの除去、又は画像認識などのために広く行われている。【0003】
この画像処理において多用されるのが、「畳み込み」と呼ばれる処理である。畳み込みとは、元画像の数値データと、元画像の数値データとは別に用意されたフィルタと呼ばれる係数群とを用いた演算である。【0004】
一方で、特許文献１には、イメージセンサの位置を移動させながら露光を行うことで、イメージセンサの出力分布を所望のローパスフィルタ特性にする技術が開示されている。【0005】
また、特許文献２には、固体撮像素子を入射光像に対して相対的に振動させることで、実効的に開口面積を広げる技術が開示されている。【先行技術文献】
【特許文献】
【0006】
【特許文献1】特開２０１０−８７８５０号公報
【特許文献2】特公平０２−５１３１６号公報
【発明の概要】
【発明が解決しようとする課題】
【0007】
本開示の一態様は、畳み込み処理の演算量を低減できる撮像システムを提供する。【課題を解決するための手段】
【0008】
本開示の一態様に係る撮像システムは、被写体の像を結像させる結像光学系と、複数の画素セルを含む撮像素子と、前記複数の画素セルと前記被写体の前記像との相対位置を変えるアクチュエータと、前記撮像素子および前記アクチュエータを制御する制御回路と、を備える。前記複数の画素セルの各々は、可変の感度を有する。前記複数の画素セルの各々は、前記被写体の前記像の光を信号電荷に変換する光電変換素子と、前記光電変換素子で得られた前記信号電荷を蓄積する電荷蓄積領域と、を備える。前記制御回路は、前記相対位置を第１位置に設定し、かつ、前記複数の画素セルの各々の前記感度を第１感度に設定することにより、前記複数の画素セルの各々において、前記光電変換素子で得られた第１信号電荷を前記電荷蓄積領域に蓄積させる。前記制御回路は、前記相対位置を前記第１位置とは異なる第２位置に設定し、かつ、前記複数の画素セルの各々の前記感度を前記第１感度とは異なる第２感度に設定することにより、前記複数の画素セルの各々において、前記光電変換素子で得られた第２信号電荷を、前記第１信号電荷に加えて前記電荷蓄積領域に蓄積させる。【0009】
なお、本開示の包括的または具体的な態様は、デバイス、装置、システム、方法、集積回路、コンピュータプログラム、記録媒体、またはこれらの任意な組み合わせで実現されてもよい。【発明の効果】
【0010】
本開示の一態様に係る撮像システムは、畳み込み処理の演算量を低減できる。【図面の簡単な説明】
【0011】
【発明を実施するための形態】
【0012】
（本開示に至った知見）ソフトウェアにより畳み込み処理を行う場合、画素数が増えるとそれに比例して演算量が増大する。また、畳み込み処理は、いわゆるディープラーニングを含む画像認識で多用される。具体的には、ディープラーニング等の処理では、一つの画像に対して１００を超えるようなフィルタを用いた畳み込みを行う場合がある。この場合、画素数が増大すると計算が膨大な量となる。高い演算能力を持つサーバーで時間をかけて処理する場合には問題が比較的少ないが、モバイル機器など演算能力が制限されている装置で畳み込みを行いたい場合、演算量の削減が強く求められる。
【0013】
そこで本開示は、畳み込み処理の演算量を低減できる撮像システム又は撮像方法を提供する。【0014】
本開示の一態様に係る撮像システムは、被写体の像を結像させる結像光学系と、複数の画素セルを含む撮像素子と、前記複数の画素セルと前記被写体の前記像との相対位置を変えるアクチュエータと、前記撮像素子および前記アクチュエータを制御する制御回路と、を備える。前記複数の画素セルの各々は、可変の感度を有する。前記複数の画素セルの各々は、前記被写体の前記像の光を信号電荷に変換する光電変換素子と、前記光電変換素子で得られた前記信号電荷を蓄積する電荷蓄積領域と、を備える。前記制御回路は、前記相対位置を第１位置に設定し、かつ、前記複数の画素セルの各々の前記感度を第１感度に設定することにより、前記複数の画素セルの各々において、前記光電変換素子で得られた第１信号電荷を前記電荷蓄積領域に蓄積させる。前記制御回路は、前記相対位置を前記第１位置とは異なる第２位置に設定し、かつ、前記複数の画素セルの各々の前記感度を前記第１感度とは異なる第２感度に設定することにより、前記複数の画素セルの各々において、前記光電変換素子で得られた第２信号電荷を、前記第１信号電荷に加えて前記電荷蓄積領域に蓄積させる。【0015】
これによれば、当該撮像システムは、複数の画素セルと被写体の像との相対位置と、複数の画素セルの感度とを変更しながら、異なる相対位置及び異なる感度で得られた信号電荷を加算した画像を得ることができる。これにより、畳み込み演算処理の少なくとも一部を撮像素子において実行できるので、畳み込み処理の演算量を低減できる。【0016】
前記制御回路は、前記相対位置の前記第１位置への設定と、前記複数の画素セルの各々の前記感度の前記第１感度への設定と、を同期させて行ってもよい。また、前記制御回路は、前記相対位置の前記第２位置への設定と、前記複数の画素セルの各々の前記感度の前記第２感度への前記設定と、を同期させて行ってもよい。【0017】
前記制御回路は、前記複数の画素セルのうち隣接する２つの画素セルの中心間距離の整数倍の単位で前記相対位置を前記第１位置から前記第２位置に変更することにより、前記第２位置への前記設定を行ってもよい。これによれば、当該撮像システムは、畳み込み演算の再現性を向上できる。【0018】
本開示の他の態様に係る撮像システムは、被写体の像を結像させる結像光学系と、複数の画素セルを含む撮像素子と、前記複数の画素セルと前記被写体の前記像との相対位置を変えるアクチュエータと、前記撮像素子および前記アクチュエータを制御する制御回路と、を備える。前記複数の画素セルの各々は、可変の感度を有する。前記複数の画素セルの各々は、前記被写体の前記像の光を信号電荷に変換する光電変換素子と、前記光電変換素子で得られた前記信号電荷を蓄積する電荷蓄積領域と、を備える。前記制御回路は、一つの露光期間中に、前記相対位置を第１位置から前記第１位置と異なる第２位置に変更し、かつ、前記複数の画素セルの各々の前記感度を第１感度から前記第１感度と異なる第２感度に変更することにより、前記複数の画素セルの各々において、前記光電変換素子で得られた第３信号電荷を前記電荷蓄積領域に蓄積させてもよい。【0019】
これによれば、当該撮像方法は、複数の画素セルと被写体の像との相対位置と、複数の画素セルの感度とを変更しながら、異なる相対位置及び感度で得られた信号電荷を加算した画像を得ることができる。これにより、畳み込み演算処理の少なくとも一部を撮像素子において実行できるので、畳み込み処理の演算量を低減できる。【0020】
前記制御回路は、前記相対位置を前記第１位置から前記第２位置に連続的に変更してもよい。【0021】
これによれば、当該撮像システムは、複数の画素セルと被写体の像との相対位置の変更を容易に実現できるとともに、当該変更に伴う撮影時間の増加を抑制できる。【0022】
前記制御回路は、前記複数の画素セルの各々の前記感度を前記第１感度から前記第２感度に連続的に変更してもよい。これによれば、当該撮像システムは、畳み込み演算の再現性を向上できる。【0023】
前記制御回路は、前記相対位置の前記変更と、前記複数の画素セルの各々の前記感度の前記変更と、を同期させて行ってもよい。【0024】
前記複数の画素セルは、行方向および列方向の二次元に配置されていてもよい。【0025】
前記制御回路は、前記複数の画素セルの各々の前記感度の前記設定または前記変更を一括して行ってもよい。【0026】
これによれば、当該撮像システムは、感度を変更するための機構を簡略化できる。【0027】
前記複数の画素セルの各々は、第１サブ画素と第２サブ画素とを含んでもよい。前記複数の画素セルの各々の前記第１サブ画素は、前記光電変換素子及び前記電荷蓄積領域を含んでもよい。前記複数の画素セルの各々の前記感度は、前記第１サブ画素の感度であってもよい。前記複数の画素セルの各々の前記第２サブ画素は、他の光電変換素子及び他の電荷蓄積領域を含んでもよい。前記制御回路は、前記複数の画素セルの各々において、前記第２サブ画素の感度を前記第１サブ画素の前記感度とは独立して設定または変更してもよい。【0028】
これによれば、当該撮像システムは、異なる畳み込み演算により得られる複数の画像を同時に生成できる。【0029】
前記光電変換素子は、前記電荷蓄積領域に接続された画素電極と、透光性の対向電極と、前記画素電極と前記対向電極の間に配置された光電変換層と、を含んでもよい。【0030】
前記撮像素子は、前記複数の画素セルの各々の前記光電変換素子に含まれる前記画素電極と前記対向電極との間に電圧を印加する電圧印加回路をさらに備えてもよい。前記制御回路は、前記電圧印加回路が印加する前記電圧を変更することで前記複数の画素セルの各々の前記感度を変更してもよい。【0031】
これによれば、当該撮像システムは、光電変換素子に印加する電圧を変更することで、画素セルの感度を変更できる。【0032】
また、本開示の一態様に係る撮像方法は、被写体の像を結像させる結像光学系と、複数の画素セルを含む撮像素子と、前記複数の画素セルと前記被写体の前記像との相対位置を変えるアクチュエータと、前記撮像素子および前記アクチュエータを制御する制御回路と、を備える撮像システムにおける撮像方法である。前記複数の画素セルの各々は、可変の感度を有する。前記複数の画素セルの各々は、前記被写体の前記像の光を信号電荷に変換する光電変換素子と、前記光電変換素子で得られた信号電荷を蓄積する電荷蓄積領域と、を備える。前記撮像方法は、前記相対位置を第１位置に設定し、前記複数の画素セルの各々の前記感度を第１感度に設定する。前記撮像方法は、前記相対位置が前記第１位置に設定され、かつ、前記複数の画素セルの各々の前記感度が前記第１感度に設定された状態で、前記複数の画素セルの各々において、前記光電変換素子で得られた第１信号電荷を前記電荷蓄積領域に蓄積させる。また、前記撮像方法は、前記相対位置を前記第１位置とは異なる第２位置に設定し、前記複数の画素セルの各々の前記感度を前記第１感度とは異なる第２感度に設定する。前記撮像方法は、前記相対位置が前記第２位置に設定され、かつ、前記複数の画素セルの各々の前記感度が前記第２感度に設定された状態で、前記複数の画素セルの各々において、前記光電変換素子で得られた第２信号電荷を、前記第１信号電荷に加えて前記電荷蓄積領域に蓄積する。【0033】
これによれば、当該撮像方法は、複数の画素セルと被写体の像との相対位置と、複数の画素セルの感度とを変更しながら、異なる相対位置及び感度で得られた信号電荷を加算した画像を得ることができる。これにより、畳み込み演算処理の少なくとも一部を撮像素子において実行できるので、畳み込み処理の演算量を低減できる。【0034】
前記複数の画素セルのうち隣接する２つの画素セルの中心間距離の整数倍の単位で前記相対位置を前記第１位置から前記第２位置に変更することにより、前記第２位置への前記設定を行ってもよい。これによれば、当該撮像方法は、畳み込み演算の再現性を向上できる。【0035】
前記撮像システムは、さらに、前記撮像素子を遮光するメカシャッタを備えてもよい。前記撮像方法は、前記メカシャッタにより前記撮像素子を遮光した状態において、前記相対位置を前記第１位置から前記第２位置に変更することにより、前記第２位置への前記設定を行ってもよい。【0036】
これによれば、当該撮像方法は、相対位置の変更中に露光が行われないようにできるので、畳み込み演算の再現性を向上できる。【0037】
前記複数の画素セルの各々の前記感度をゼロに設定した状態で、前記相対位置を前記第１位置から前記第２位置に変更することにより、前記第２位置への前記設定を行ってもよい。【0038】
これによれば、当該撮像方法は、相対位置の変更中に露光が行われないようにできるので、畳み込み演算の再現性を向上できる。【0039】
前記撮像方法は、前記第１位置への前記設定および前記第２位置への前記設定を含む前記相対位置のＮ回（Ｎは２以上の整数）の設定と、前記第１感度への前記設定および前記第２感度への前記設定を含む前記感度のＮ回の設定と、前記第１信号電荷の前記蓄積および前記第２信号電荷の前記蓄積を含むＮ回の蓄積と、を含んでもよい。前記相対位置のｉ（ｉは１からＮの整数）回目の設定では、前記相対位置を第ｉ位置に設定してもよい。前記感度のｉ回目の設定では、前記複数の画素セルの各々の前記感度を第ｉ感度に設定してもよい。ｉ回目の蓄積では、前記相対位置が前記第ｉ位置に設定され、かつ、前記複数の画素セルの各々の前記感度が前記第ｉ感度に設定された状態で、前記複数の画素セルの各々において、前記光電変換素子で得られた第ｉ信号電荷を前記電荷蓄積領域に蓄積してもよい。前記撮像方法では、さらに、前記Ｎ回の前記蓄積により得られた１以上の画像を用いて、予め定められた第１の畳み込み処理後の画像に相当する画像を取得してもよい。前記第ｉ位置は、前記第１の畳み込み処理の複数の係数のうちのＮ個の係数に含まれる第ｉ係数の位置に対応してもよい。前記第ｉ感度は、前記第ｉ係数の値に対応してもよい。【0040】
これによれば、当該撮像方法は、畳み込み演算処理の少なくとも一部を撮像素子において実行できるので、畳み込み処理の演算量を低減できる。【0041】
前記１以上の画像は、第１画像および第２画像を含んでもよい。前記Ｎは３以上の整数であってもよい。前記Ｎ個の係数は、正の値を有するＭ（Ｍは１以上Ｎ未満の整数）個の係数および負の値を有する（Ｎ−Ｍ）個の係数から構成されてもよい。前記第１画像は、前記Ｎ回の蓄積のうち、前記Ｍ個の係数に対応するＭ回の蓄積により前記複数の画素セルの各々の前記電荷蓄積領域に蓄積された信号電荷の合計値に対応してもよい。前記第２画像は、前記Ｎ回の蓄積のうち、前記（Ｎ−Ｍ）個の負の係数に対応する（Ｎ−Ｍ）回の蓄積により前記複数の画素セルの各々の前記電荷蓄積領域に蓄積された信号電荷の合計値に対応してもよい。前記第１画像から前記第２画像を減算することで、前記第１の畳み込み処理後の前記画像に相当する前記画像を得てもよい。【0042】
これによれば、当該撮像方法は、負の係数を含む畳み込み演算処理を実現できる。【0043】
前記撮像方法は、前記第１位置への前記設定および前記第２位置への前記設定を含む前記相対位置のＮ（Ｎは４以上の整数）回の設定と、前記第１感度への前記設定および前記第２感度への前記設定を含む、前記感度のＮ回の設定と、前記第１信号電荷の前記蓄積および前記第２信号電荷の前記蓄積を含むＮ回の蓄積とを含んでもよい。前記相対位置のｉ（ｉは１からＮの整数）回目の設定では、前記相対位置を第ｉ位置に設定してもよい。前記感度のｉ回目の設定では、前記複数の画素セルの各々の前記感度を第ｉ感度に設定してもよい。ｉ回目の蓄積では、前記相対位置が前記第ｉ位置に設定され、かつ、前記複数の画素セルの各々の前記感度が前記第ｉ感度に設定された状態で、前記複数の画素セルの各々において、前記光電変換素子で得られた第ｉ信号電荷を前記電荷蓄積領域に蓄積してもよい。前記感度の前記Ｎ回の設定のうちＭ（Ｍは２以上Ｎ未満の整数）回の設定の各々では、予め定められた第１の畳み込み処理の複数の係数のうちの何れか一つにオフセット値を加算した値に対応する感度への設定を行ってもよい。前記感度の前記Ｎ回の設定のうち（Ｎ−Ｍ）回の設定の各々では、前記オフセット値に対応する感度への設定を行ってもよい。前記感度の前記Ｍ回の設定に対応するＭ回の蓄積により、前記第１の畳み込み処理の全ての係数にオフセット値を加算することで得られる複数の係数を用いる畳み込み処理後の画像に相当する第１画像を取得してもよい。前記感度の前記（Ｎ−Ｍ）回の設定に対応する（Ｎ−Ｍ）回の蓄積により、全ての係数として前記オフセット値を用いる畳み込み処理後の画像に相当する第２画像を取得してもよい。前記第１画像から前記第２画像を減算することで、前記第１の畳み込み処理後の画像に相当する画像を得てもよい。【0044】
これによれば、当該撮像方法は、負の係数を含む畳み込み演算処理を実現できる。また、互いに異なる畳み込み処理が行われた複数の画像を得る場合において、第２画像を共通して用いることができるので、撮影時間を短縮できる。【0045】
前記感度の前記Ｎ回の設定に用いるＮ個の係数の値は０でない値であってもよい。これによれば、当該撮像方法は、撮影時間を短縮できる。【0046】
前記複数の画素セルの各々は、第１サブ画素と第２サブ画素とを含んでもよい。前記複数の画素セルの各々の前記第１サブ画素は、前記光電変換素子及び前記電荷蓄積領域を含んでもよい。前記複数の画素セルの各々の前記感度は、前記第１サブ画素の感度であってもよい。前記複数の画素セルの各々の前記第２サブ画素は、他の光電変換素子及び他の電荷蓄積領域を含んでもよい。前記感度の前記Ｎ回の設定の各々では、さらに、前記複数の画素セルの各々の前記第２サブ画素の感度を設定してもよい。前記感度の前記Ｎ回の設定のうち少なくとも一つでは、前記第１サブ画素の前記感度の設定値と前記第２サブ画素の前記感度の設定値が異なってもよい。前記Ｎ回の蓄積の各々では、さらに、前記複数の画素セルの各々において、前記第２サブ画素の前記他の光電変換素子で得られた信号電荷を前記他の電荷蓄積領域に蓄積させてもよい。前記撮像方法では、前記Ｎ回の蓄積により前記複数の第１サブ画素で得られた前記１以上の画像を用いて、前記第１の畳み込み処理後の前記画像に相当する前記画像を取得し、前記Ｎ回の蓄積ステップにより前記複数の第２サブ画素で得られた他の１以上の画像を用いて、前記第１の畳み込み処理とは異なる第２の畳み込み処理後の画像に相当する画像を取得してもよい。【0047】
これによれば、当該撮像方法は、異なる畳み込み演算により得られた複数の画像を同時に生成できる。【0048】
前記撮像方法は、前記第１位置への前記設定および前記第２位置への前記設定を含む前記相対位置のＮ回（Ｎは２以上の整数）の設定と、前記第１感度への前記設定および前記第２感度への前記設定を含む前記感度のＮ回の設定と、前記第１信号電荷の前記蓄積および前記第２信号電荷の前記蓄積を含むＮ回の蓄積と、を含んでもよい。前記相対位置のｉ（ｉは１からＮの整数）回目の設定では、前記相対位置を第ｉ位置に設定してもよい。前記感度のｉ回目の設定では、前記複数の画素セルの各々の前記感度を第ｉ感度に設定し、露光時間を第ｉ露光時間に設定してもよい。ｉ回目の蓄積では、前記相対位置が前記第ｉ位置に設定され、かつ、前記複数の画素セルの各々の前記感度が前記第ｉ感度に設定された状態で、前記複数の画素セルの各々において、前記第ｉ露光時間に前記光電変換素子で得られた第ｉ信号電荷を前記電荷蓄積領域に蓄積してもよい。前記撮像方法は、さらに、前記Ｎ回の前記蓄積により得られた１以上の画像を用いて、予め定められた第１の畳み込み処理後の画像に相当する画像を取得してもよい。【0049】
これによれば、当該撮像方法は、感度と露光時間とを組み合わせることで、より広い範囲の係数に対応できる。【0050】
また、本開示の他の態様に係る撮像方法は、被写体の像を結像させる結像光学系と、複数の画素セルを含む撮像素子と、前記複数の画素セルと前記被写体の前記像との相対位置を変えるアクチュエータと、前記撮像素子および前記アクチュエータを制御する制御回路と、を備える撮像システムにおける撮像方法である。前記複数の画素セルの各々は、可変の感度を有する。前記複数の画素セルの各々は、前記被写体の前記像の光を信号電荷に変換する光電変換素子と、前記光電変換素子で得られた前記信号電荷を蓄積する電荷蓄積領域と、を備える。前記撮像方法は、一つの露光期間中に、前記相対位置を第１位置から前記第１位置と異なる第２位置に変更し、前記複数の画素セルの各々の前記感度を第１感度から前記第１感度と異なる第２感度に変更し、前記複数の画素セルの各々において、前記光電変換素子で得られた第３信号電荷を前記電荷蓄積領域に蓄積させる。【0051】
これによれば、当該撮像方法は、複数の画素セルと被写体の像との相対位置と、複数の画素セルの感度とを変更しながら、異なる相対位置及び感度で得られた信号電荷を加算した画像を得ることができる。これにより、畳み込み演算処理の少なくとも一部を撮像素子において実行できるので、畳み込み処理の演算量を低減できる。【0052】
前記撮像方法では、前記相対位置を前記第１位置から前記第２位置に連続的に変更してもよい。これによれば、当該撮像方法は、複数の画素セルと被写体の像との相対位置の変更を容易に実現できるとともに、当該変更に伴う撮影時間の増加を抑制できる。【0053】
前記撮像方法では、前記複数の画素セルの各々の前記感度を前記第１感度から前記第２感度に連続的に変更してもよい。これによれば、当該撮像方法は、畳み込み演算の再現性を向上できる。【0054】
以下に本開示の撮像システムおよび撮像方法について、図面を参照しながら説明する。なお、以下で説明する実施形態は、いずれも包括的または具体的な例を示す。以下の実施形態で示される数値、形状、材料、構成要素、構成要素の配置、および接続形態、ステップ、ステップの順序などは、一例であり、本開示を限定する主旨ではない。本明細書において説明される種々の態様は、矛盾が生じない限り互いに組み合わせることが可能である。また、以下の実施形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。以下の説明において、実質的に同じ機能を有する構成要素は共通の参照符号で示し、説明を省略することがある。【0055】
（実施の形態１）まず、畳み込み処理について説明する。畳み込み処理に用いられるフィルタはｘ×ｙの二次元に配置された係数群を複数の要素としてもつ。ここで、ｘおよびｙは、それぞれ、２以上の整数である。二次元配置のうち、基準となる位置をフィルタの中心と呼ぶ。行数、列数ともに奇数であるフィルタの場合は、配置の中央をフィルタの中心とすることが一般的である。図１に３×３の係数を含むフィルタの一例を示す。
【0056】
図２は元画像の例を示す。図３は図２の元画像の輝度等を数値化した数値データを示す。図４は、図１に示すフィルタを用いた畳み込み処理を行った後の数値データを示す。図５は図４の畳み込み処理を行った後の数値データに対応する画像を示す。【0057】
なお、画素数Ｎの画像に対応する数値データにおいて、表示時の端部に位置する画素（例えば、一番左の列の画素など）に対する畳み込みについては、フィルタが画像からはみ出す。この場合、はみ出した部分については、仮想的に、数値が０の画素が存在するものとして畳み込みを行う。また、図５の畳み込み処理後の画像においては、数値が負の値となる画素は黒として表現している。【0058】
畳み込みは、下記のフローに従って実行される。図６はある選択した一つの画素に対する畳み込み処理の流れを示したものである。【0059】
まず、二次元的に配置された元画像の数値データでまだ処理をしていない画素から、フィルタを適用する対象画素を選ぶ。次に、対象画素の位置にフィルタの中心を重ね合わせる。次に、重ね合わされた位置ごとに、数値データとフィルタの係数値との積が算出される。次に、算出された全ての積の和が算出される。【0060】
そして、算出された和が、畳み込み処理後の対象画素の数値として格納される。そして、全ての画素を処理したかが判定される。全ての画素の処理を完了していれば処理が終了し、完了していなければ次の画素が対象画素として選択され、当該対象画素に対して上記の一連の処理が行われる。【0061】
ここで、画素数Ｎの画像の数値データに対し、要素数Ｍのフィルタを用いた畳み込み処理の場合、基本的にＮ×Ｍ回の積演算とＭ回の和演算が必要である。このように、畳み込み処理を全てソフトウェアで実現した場合には、演算量が大きいという問題がある。【0062】
以下、本実施の形態に係る撮像システム１００の構成を説明する。図７は、本実施の形態に係る撮像システム１００の構成を示す概念図である。図７には本開示の説明に必要な要素のみを記載しており、その他の要素については省略している。また、各要素の実際の形状、縮尺等は考慮していない。【0063】
図７に示すように、撮像システム１００は、電気的に感度を変更可能な撮像素子１０１と、結像光学系（imaging optical system）１０２と、位置設定部１０３と、感度設定回路１０４と、位置設定回路１０５と、同期回路１０６と、メカシャッタ１０７と、演算回路１０８と、記憶領域１０９とを備える。【0064】
結像光学系１０２は、被写体の像を撮像素子１０１上に結像させる。撮像素子１０１は、図８に示すように、行方向及び列方向の二次元に配置された複数の画素セル１０を含む。【0065】
感度設定回路１０４は、複数の画素セル１０の各々の感度を制御信号１１１（第２制御信号）に基づいて設定する。位置設定回路１０５は複数の画素セル１０と被写体の像との相対位置を制御信号１１２（第１制御信号）に基づいて設定する。同期回路１０６は、制御信号１１１及び制御信号１１２を同期させる。例えば、同期回路１０６は、互いに同期した制御信号１１１及び制御信号１１２を生成する。【0066】
図８は、本開示の実施形態に係る撮像素子１０１の例示的な回路構成を示す。図８に示す撮像素子１０１は、２次元に配列された複数の画素セル１０を含む画素アレイＰＡを有する。図８は、画素セル１０が２行２列のマトリクス状に配置された例を模式的に示している。言うまでもないが、撮像素子１０１における画素セル１０の数および配置は、図８に示す例に限定されない。【0067】
各画素セル１０は、光電変換素子１３および信号検出回路１４を有する。後に図面を参照して説明するように、光電変換素子１３は、互いに対向する２つの電極と、これら２つの電極の間に挟まれた光電変換層とを備え、入射した光を受けて信号電荷を生成する。一つの光電変換素子１３は、その全体が、画素セル１０毎に独立した素子である必要はなく、光電変換素子１３の例えば一部分が複数の画素セル１０にまたがっていてもよい。言い換えれば、１つの光電変換素子１３の一部分が他の光電変換素子１３の一部分と一体に構成されていてもよい。本実施の形態の場合は、光の入射側の電極および光電変換層が一部分または全部の画素セル１０にまたがっている。【0068】
信号検出回路１４は、光電変換素子１３によって生成された信号を検出する回路である。この例では、信号検出回路１４は、信号検出トランジスタ２４およびアドレストランジスタ２６を含んでいる。信号検出トランジスタ２４およびアドレストランジスタ２６は、典型的には電界効果トランジスタ（ＦＥＴ）であり、ここでは、信号検出トランジスタ２４およびアドレストランジスタ２６としてＮチャンネルＭＯＳ（Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）を例示する。【0069】
図８において模式的に示すように、信号検出トランジスタ２４の制御端子（ここではゲート）は、光電変換素子１３との電気的な接続を有する。光電変換素子１３によって生成される信号電荷（正孔または電子）は、信号検出トランジスタ２４のゲートと光電変換素子１３との間の電荷蓄積領域（「フローティングディフュージョンノード」とも呼ばれる。）４１に蓄積される。光電変換素子１３の構造の詳細は、後述する。【0070】
各画素セル１０の光電変換素子１３は、さらに、感度制御線４２との接続を有している。図８に例示する構成において、感度制御線４２は、電圧供給回路３２に接続されている。この電圧供給回路３２は、少なくとも第１電圧、第２電圧、および、第３電圧の３種類の電圧を光電変換素子１３に供給可能に構成された回路である。電圧供給回路３２は、撮像素子１０１の動作時、感度制御線４２を介して光電変換素子１３に所定の電圧を供給する。電圧供給回路３２は、特定の電源回路に限定されず、所定の電圧を生成する回路であってもよいし、他の電源から供給された電圧を所定の電圧に変換する回路であってもよい。後に詳しく説明するように、電圧供給回路３２から光電変換素子１３に供給される電圧が、互いに異なる複数の電圧の間で切り替えられることにより、光電変換素子１３からの電荷蓄積領域４１への信号電荷の蓄積の開始および終了が制御される。換言すれば、本開示の実施形態では、電圧供給回路３２から光電変換素子１３に供給される電圧を第３電圧と他の電圧との間で切り替えることによって、電子シャッタ動作が実行される。また、電圧供給回路３２から光電変換素子１３に供給される電圧が、互いに異なる複数の電圧の間で切り替えられることにより、光電変換素子１３の感度を切り替えることができる。電圧供給回路３２は、電圧印加回路の一例である。撮像素子１０１の動作の例は、後述する。【0071】
各画素セル１０は、電源電圧ＶＤＤを供給する電源線４０との接続を有する。図示するように、電源線４０には、信号検出トランジスタ２４の入力端子（典型的にはドレイン）が接続されている。電源線４０がソースフォロア電源として機能することにより、信号検出トランジスタ２４は、光電変換素子１３によって生成された信号電荷に応じた電圧を信号電圧として出力する。【0072】
信号検出トランジスタ２４の出力端子（ここではソース）には、アドレストランジスタ２６の入力端子（ここではドレイン）が接続されている。アドレストランジスタ２６の出力端子（ここではソース）は、画素アレイＰＡの列ごとに配置された複数の垂直信号線４７のうちの１つに接続されている。アドレストランジスタ２６の制御端子（ここではゲート）は、アドレス制御線４６に接続されており、アドレス制御線４６の電位を制御することにより、信号検出トランジスタ２４の出力を、対応する垂直信号線４７に選択的に読み出すことができる。【0073】
図示する例では、アドレス制御線４６は、垂直走査回路（「行走査回路」とも呼ばれる）３６に接続されている。垂直走査回路３６は、アドレス制御線４６に所定の電圧を印加することにより、各行に配置された複数の画素セル１０を行単位で選択する。これにより、選択された画素セル１０の信号の読み出しが実行される。【0074】
垂直信号線４７は、画素アレイＰＡからの画素信号を周辺回路へ伝達する主信号線である。垂直信号線４７には、カラム信号処理回路（「行信号蓄積回路」とも呼ばれる）３７が接続される。カラム信号処理回路３７は、相関二重サンプリングに代表される雑音抑圧信号処理およびアナログ−デジタル変換（ＡＤ変換）などを行う。図示するように、カラム信号処理回路３７は、画素アレイＰＡにおける画素セル１０の各列に対応して設けられる。これらのカラム信号処理回路３７には、水平信号読み出し回路（「列走査回路」とも呼ばれる）３８が接続される。水平信号読み出し回路３８は、複数のカラム信号処理回路３７から水平共通信号線４９に信号を順次読み出す。【0075】
図８に例示する構成において、画素セル１０は、リセットトランジスタ２８を有する。リセットトランジスタ２８は、例えば、信号検出トランジスタ２４およびアドレストランジスタ２６と同様に、電界効果トランジスタである。以下では、特に断りの無い限り、リセットトランジスタ２８としてＮチャンネルＭＯＳを適用した例を説明する。図示するように、このリセットトランジスタ２８は、リセット電圧Ｖｒを供給するリセット電圧線４４と、電荷蓄積領域４１との間に接続される。リセットトランジスタ２８の制御端子（ここではゲート）は、リセット制御線４８に接続されており、リセット制御線４８の電位を制御することによって、電荷蓄積領域４１の電位をリセット電圧Ｖｒにリセットすることができる。この例では、リセット制御線４８が、垂直走査回路３６に接続されている。したがって、垂直走査回路３６がリセット制御線４８に所定の電圧を印加することにより、各行に配置された複数の画素セル１０を行単位でリセットすることが可能である。【0076】
この例では、リセットトランジスタ２８にリセット電圧Ｖｒを供給するリセット電圧線４４が、リセット電圧供給回路３４（以下、「リセット電圧源３４」と呼ぶ。）に接続されている。リセット電圧源３４は、撮像素子１０１の動作時にリセット電圧線４４に所定のリセット電圧Ｖｒを供給可能な構成を有していればよく、上述の電圧供給回路３２と同様に、特定の電源回路に限定されない。電圧供給回路３２およびリセット電圧源３４の各々は、単一の電圧供給回路の一部分であってもよいし、独立した別個の電圧供給回路であってもよい。なお、電圧供給回路３２およびリセット電圧源３４の一方または両方が、垂直走査回路３６の一部分であってもよい。あるいは、電圧供給回路３２からの感度制御電圧および／またはリセット電圧源３４からのリセット電圧Ｖｒが、垂直走査回路３６を介して各画素セル１０に供給されてもよい。【0077】
リセット電圧Ｖｒとして、信号検出回路１４の電源電圧ＶＤＤを用いることも可能である。この場合、各画素セル１０に電源電圧を供給する電圧供給回路（図８において不図示）と、リセット電圧源３４とを共通化し得る。また、電源線４０と、リセット電圧線４４を共通化できるので、画素アレイＰＡにおける配線を単純化し得る。ただし、リセット電圧Ｖｒと、信号検出回路１４の電源電圧ＶＤＤとに互いに異なる電圧を用いることは、撮像素子１０１のより柔軟な制御を可能にする。【0078】
図９は、画素セル１０の例示的なデバイス構造を模式的に示す。図９に例示する構成では、上述の信号検出トランジスタ２４、アドレストランジスタ２６およびリセットトランジスタ２８が、半導体基板２０に形成されている。半導体基板２０は、その全体が半導体である基板に限定されない。半導体基板２０は、感光領域が形成される側の表面に半導体層が設けられた絶縁性基板などであってもよい。ここでは、半導体基板２０としてＰ型シリコン（Ｓｉ）基板を用いる例を説明する。【0079】
半導体基板２０は、不純物領域（ここではＮ型領域）２６ｓ、２４ｓ、２４ｄ、２８ｄおよび２８ｓと、画素セル１０間の電気的な分離のための素子分離領域２０ｔとを有する。ここでは、素子分離領域２０ｔは、不純物領域２４ｄと不純物領域２８ｄとの間にも設けられている。素子分離領域２０ｔは、例えば所定の注入条件のもとでアクセプタのイオン注入を行うことによって形成される。【0080】
不純物領域２６ｓ、２４ｓ、２４ｄ、２８ｄおよび２８ｓは、典型的には、半導体基板２０内に形成された拡散層である。図９に模式的に示すように、信号検出トランジスタ２４は、不純物領域２４ｓおよび２４ｄと、ゲート電極２４ｇ（典型的にはポリシリコン電極）とを含む。不純物領域２４ｓおよび２４ｄは、それぞれ、信号検出トランジスタ２４の例えばソース領域およびドレイン領域として機能する。不純物領域２４ｓと２４ｄとの間に、信号検出トランジスタ２４のチャネル領域が形成される。【0081】
同様に、アドレストランジスタ２６は、不純物領域２６ｓおよび２４ｓと、アドレス制御線４６（図８参照）に接続されたゲート電極２６ｇ（典型的にはポリシリコン電極）とを含む。この例では、信号検出トランジスタ２４およびアドレストランジスタ２６は、不純物領域２４ｓを共有することによって互いに電気的に接続されている。不純物領域２６ｓは、アドレストランジスタ２６の例えばソース領域として機能する。不純物領域２６ｓは、図９において不図示の垂直信号線４７（図８参照）との接続を有する。【0082】
リセットトランジスタ２８は、不純物領域２８ｄおよび２８ｓと、リセット制御線４８（図８参照）に接続されたゲート電極２８ｇ（典型的にはポリシリコン電極）とを含む。不純物領域２８ｓは、リセットトランジスタ２８の例えばソース領域として機能する。不純物領域２８ｓは、図９において不図示のリセット電圧線４４（図８参照）との接続を有する。【0083】
半導体基板２０上には、信号検出トランジスタ２４、アドレストランジスタ２６およびリセットトランジスタ２８を覆うように層間絶縁層５０（典型的には二酸化シリコン層）が配置されている。図示するように、層間絶縁層５０中には、配線層５６が配置され得る。配線層５６は、典型的には、銅などの金属から形成され、例えば、上述の垂直信号線４７などの配線をその一部に含み得る。層間絶縁層５０中の絶縁層の層数、および、層間絶縁層５０中に配置される配線層５６に含まれる層数は、任意に設定可能であり、図９に示す例に限定されない。【0084】
層間絶縁層５０上には、上述の光電変換素子１３が配置される。別の言い方をすれば、本開示の実施形態では、画素アレイＰＡ（図８参照）を構成する複数の画素セル１０が、半導体基板２０上に形成されている。半導体基板２０上に２次元に配列された複数の画素セル１０は、感光領域（すなわち、画素領域）を形成する。隣接する２つの画素セル１０間の距離（すなわち、画素ピッチ）は、例えば２μｍ程度である。【0085】
光電変換素子１３は、画素電極１１と、対向電極１２と、これらの間に配置された光電変換層１５とを含む。この例では、対向電極１２および光電変換層１５は、複数の画素セル１０にまたがって配置されている。【0086】
他方、画素電極１１は、画素セル１０ごとに設けられており、隣接する他の画素セル１０の画素電極１１と空間的に分離されることによって、他の画素セル１０の画素電極１１から電気的に分離されている。【0087】
対向電極１２は、典型的には、透明な導電性材料から形成される透明電極である。対向電極１２は、光電変換層１５において光が入射される側に配置される。したがって、光電変換層１５には、対向電極１２を透過した光が入射する。なお、撮像素子１０１によって検出される光は、可視光の波長範囲（例えば、３８０ｎｍ以上７８０ｎｍ以下）内の光に限定されない。本明細書における「透明」は、検出しようとする波長範囲の光の少なくとも一部を透過することを意味する。本明細書では、赤外線および紫外線を含めた電磁波全般を、便宜上「光」と表現する。対向電極１２には、例えば、ＩＴＯ、ＩＺＯ、ＡＺＯ、ＦＴＯ、ＳｎＯ２、ＴｉＯ２、ＺｎＯ２などの透明導電性酸化物（Transparent Conducting Oxide（ＴＣＯ））を用いることができる。【0088】
光電変換層１５は、入射する光を受けて正孔−電子対を発生させる。光電変換層１５は、本実施の形態の場合、有機材料から形成される。光電変換層１５を構成する材料の具体例は、後述する。【0089】
図８を参照して説明したように、対向電極１２は、電圧供給回路３２に接続された感度制御線４２との接続を有する。また、ここでは、対向電極１２は、複数の画素セル１０にまたがって形成されている。したがって、感度制御線４２を介して、電圧供給回路３２から所望の大きさの感度制御電圧を複数の画素セル１０に一括して印加することが可能である。なお、電圧供給回路３２から所望の大きさの感度制御電圧を印加することができれば、対向電極１２は、画素セル１０ごとに分離して設けられていてもよい。同様に、光電変換層１５が画素セル１０ごとに分離して設けられていてもよい。【0090】
画素電極１１の電位に対する対向電極１２の電位を制御することにより、光電変換によって光電変換層１５内に生じた正孔−電子対のうち、正孔および電子のいずれか一方を、画素電極１１によって収集することができる。例えば信号電荷として正孔を利用する場合、画素電極１１よりも対向電極１２の電位を高くすることにより、画素電極１１によって正孔を選択的に収集することが可能である。以下では、信号電荷として正孔を利用する場合を例示する。もちろん、信号電荷として電子を利用することも可能である。【0091】
対向電極１２に対向する画素電極１１は、対向電極１２と画素電極１１との間に適切なバイアス電圧が与えられることにより、光電変換層１５において光電変換によって発生した正および負の電荷のうちの一方を収集する。画素電極１１は、アルミニウム、銅などの金属、金属窒化物、または、不純物がドープされることにより導電性が付与されたポリシリコンなどから形成される。【0092】
画素電極１１を遮光性の電極としてもよい。例えば、画素電極１１として、厚さが１０１ｎｍのＴａＮ電極を形成することにより、十分な遮光性を実現し得る。画素電極１１を遮光性の電極とすることにより、半導体基板２０に形成されたトランジスタ（この例では信号検出トランジスタ２４、アドレストランジスタ２６およびリセットトランジスタ２８の少なくともいずれか）のチャネル領域または不純物領域への、光電変換層１５を通過した光の入射を抑制し得る。上述の配線層５６を利用して層間絶縁層５０内に遮光膜を形成してもよい。半導体基板２０に形成されたトランジスタのチャネル領域への光の入射を抑制することにより、トランジスタの特性のシフト（例えば閾値電圧の変動）などを抑制し得る。また、半導体基板２０に形成された不純物領域への光の入射を抑制することにより、不純物領域における意図しない光電変換によるノイズの混入を抑制し得る。このように、半導体基板２０への光の入射の抑制は、撮像素子１０１の信頼性の向上に貢献する。【0093】
図９に模式的に示すように、画素電極１１は、プラグ５２、配線５３およびコンタクトプラグ５４を介して、信号検出トランジスタ２４のゲート電極２４ｇに接続されている。言い換えれば、信号検出トランジスタ２４のゲートは、画素電極１１との電気的な接続を有する。プラグ５２、配線５３は、例えば銅などの金属から形成される。プラグ５２、配線５３およびコンタクトプラグ５４は、信号検出トランジスタ２４と光電変換素子１３との間の電荷蓄積領域４１（図８参照）の少なくとも一部を構成する。配線５３は、配線層５６の一部であり得る。また、画素電極１１は、プラグ５２、配線５３およびコンタクトプラグ５５を介して、不純物領域２８ｄにも接続されている。図９に例示する構成において、信号検出トランジスタ２４のゲート電極２４ｇ、プラグ５２、配線５３、コンタクトプラグ５４および５５、ならびに、リセットトランジスタ２８のソース領域およびドレイン領域の一方である不純物領域２８ｄは、画素電極１１によって収集された信号電荷を蓄積する電荷蓄積領域４１として機能する。【0094】
画素電極１１によって信号電荷が収集されることにより、電荷蓄積領域４１に蓄積された信号電荷の量に応じた電圧が、信号検出トランジスタ２４のゲートに印加される。信号検出トランジスタ２４は、この電圧を増幅する。信号検出トランジスタ２４によって増幅された電圧が、信号電圧としてアドレストランジスタ２６を介して選択的に読み出される。【0095】
このように撮像素子１０１は、行方向及び列方向の二次元に一定間隔で配置された複数の画素セル１０を備える。なお、行方向の画素間隔と列方向の各画素の間隔は同一でなくても良い。【0096】
各画素セル１０は、少なくとも一つの光電変換素子１３と電荷蓄積領域４１との組を備える。光電変換素子１３は、その領域に照射された光強度に比例した量の信号電荷を発生させる機能を有する。電荷蓄積領域４１は、対応する光電変換素子１３が発生させた信号電荷を蓄積する機能を有する。【0097】
なお、各画素セル１０は、複数の光電変換素子１３と電荷蓄積領域４１との組を備えてもよい。例えば、例えばカラー撮像を行う場合には、各画素が赤色成分、緑色成分、青色成分をそれぞれ撮像するための光電変換素子１３と電荷蓄積領域４１との組をそれぞれ備えてもよい。別の例としては、各画素は高感度撮像用の光電変換素子１３と電荷蓄積領域４１との組と、低感度撮影用の光電変換素子１３と電荷蓄積領域４１との組を備えてもよい。この場合、高感度撮像用の光電変換素子１３と電荷蓄積領域４１との組により、後述する撮像処理を行ってもよい。また、低感度撮影用の光電変換素子１３と電荷蓄積領域４１との組により、後述する撮像処理を行ってもよい。【0098】
電荷蓄積領域４１は、撮像素子１０１内に集積化されていることが一般的であるが、外部に配置されても良い。【0099】
電荷蓄積領域４１は、一つの光電変換素子１３に対して少なくとも一つ存在する。ただし、一つの光電変換素子１３に対して複数の電荷蓄積領域４１が存在し、信号電荷を蓄積する先を変更可能な構成としても良い。この場合、複数の電荷蓄積領域４１のうちの何れか一つを用いて後述する撮像処理を行うことができる。【0100】
光電変換素子１３に照射された光強度に対して、発生させる信号電荷の量の比を量子効率と呼ぶ。また、光電変換素子１３に照射された光強度に対して、電荷蓄積領域４１に蓄積される信号電荷量の比を、感度と呼ぶ。光電変換素子１３で発生した信号電荷が全て電荷蓄積領域４１に蓄積される場合には、量子効率と感度は比例関係にある。ただし、光電変換素子１３で発生した信号電荷の一部又は全てを電荷蓄積領域４１に蓄積しない機構を持つ場合には両者は比例以外の関係を持ち得る。例えば、光電変換素子１３で発生した信号電荷を破棄する機構を有する場合には、有限の量子効率であっても、感度は０になり得る。【0101】
光電変換素子１３に光が照射され、発生した信号電荷を電荷蓄積領域４１に蓄積する行為を露光と呼ぶ。【0102】
第１の露光により電荷蓄積領域４１に第１の信号電荷を蓄積した後、第１の信号電荷を電荷蓄積領域４１に保持したまま一時的に露光を停止し、その後に開始した第２の露光により発生した第２の信号電荷を、電荷蓄積領域４１に蓄積済みの第１の信号電荷に加えて蓄積する行為を多重露光と呼ぶ。露光の停止は、光照射の停止、又は感度を０にすることで実現できる。感度を０にすることは、量子効率を０とすること、又は光電変換素子１３で発生した信号電荷を電荷蓄積領域４１に蓄積しないことにより実現できる。なお、多重露光は第３の露光以降を含んでもよい。【0103】
撮像素子１０１は、感度設定回路１０４により、感度を規定の値に変更する機能を有する。撮像素子１０１に設定される感度は、離散的な値でも良い。また場合により、撮像素子１０１に設定される感度は、連続的な値でも良い。従来の計算機によるソフトウェアによる畳み込み処理を再現するのであれば、前者が望ましい。後者は、従来の計算機によるソフトウェアによる畳み込み処理と類似の処理を行うことができる。【0104】
ソフトウェアによる畳み込み処理を再現する場合、撮像素子１０１に設定可能な感度の種類の数は、基本的に畳み込みを行うフィルタの要素の値の絶対値の種類の数以上である必要がある。【0105】
例えば、図１に示すフィルタの場合には、フィルタの要素の値の絶対値は｛０、１、２｝の３種類である。この場合、撮像素子１０１の感度を、｛感度０、基準感度、基準感度の二倍｝に設定できる必要がある。ここで基準感度とはある一回の畳み込み撮像における基準となる感度を意味し、異なる畳み込み撮像において、別の感度が基準感度とされても良い。例えば基準感度は被写体の明るさ、又は必要とされる撮像スピードなどにより変更されても良い。【0106】
撮像素子１０１に必要な感度の内、感度０については後述するシャッタ機能により代替が可能であるので、設定できなくても良い。【0107】
撮像素子１０１は、負の感度を持っても良い。すなわち撮像素子１０１が負の感度に設定されている場合、光電変換素子１３に照射された光強度に比例して、電荷蓄積領域４１から信号電荷を引き抜く機能を有しても良い。ただし、本開示において上記負の感度は必須ではない。【0108】
電荷蓄積領域４１は、撮像素子１０１の感度の変更の実施によらず、信号電荷を継続して蓄積する機能を有する。つまり、異なる感度での多重露光が可能である。あるいは、電荷蓄積領域４１は、撮像素子１０１への光照射を中断せず連続的に感度を変化させた際に、連続的に信号電荷を蓄積する機能を有してもよい。【0109】
撮像素子１０１の感度は、全ての画素で同じ値に変化させられても良い。あるいは、感度は、１画素ごと、又は複数の画素が含まれるブロックごとに異なる値に変化させられても良い。あるいは、感度は、各画素セル１０に含まれる光電変換素子１３ごとに異なる値に変化させられても良い。【0110】
感度の変更は、全ての画素セル１０において実質的な等時性を有することが望ましい。すなわち、感度設定回路１０４による各画素の感度変更は、実質的に一斉に開始及び完了することが望ましい。【0111】
ただし、等時性は必須ではなく、画素セル１０ごとに感度変更の開始及び完了時刻が異なっていても良い。その場合、撮像システム１００は、全ての画素セル１０が所望の感度となっている期間にのみ露光を行う機能を有することが望ましい。すなわち、撮像システム１００は、全ての画素セル１０が所望の感度となっている場合のみ、撮像素子１０１に光照射が行われるようにする機能、又は、全ての画素セル１０が所望の感度となっている場合のみ、光電変換素子１３で発生した信号電荷を蓄積する機能を有することが望ましい。このように、所望の期間のみ露光を行う機能をシャッタ機構と呼ぶ。また、露光ができる状態にすることを、シャッタを開けると呼び、露光ができない状態にすることを、シャッタを閉じると呼ぶ。【0112】
また、図７に示すメカシャッタ１０７により、撮像素子１０１への光照射の遮断が実現される。また、信号電荷の蓄積を制御する機構を電子シャッタと呼ぶ。【0113】
本実施形態に適した感度可変が可能な撮像素子１０１としては、図９に示すように、画素電極１１、光電変換層１５及び対向電極１２が積層された積層型の光電変換素子１３を用いた撮像素子１０１がある。この光電変換素子１３の中には、画素電極１１と対向電極１２との間の印加電圧に応じて、素子感度を実質的０から有限の値まで連続して変化させられる素子がある。印加電圧と感度の関係について、その特性図の一例を図１０に示す。【0114】
対向電極１２を全光電変換素子１３で共通としておくことにより、対向電極１２の電圧を変更するだけで、全光電変換素子１３の感度を、等時性をもちながら一括に変更できる。この場合、感度設定回路１０４は、対向電極１２の電圧設定機能を持つ。感度設定回路１０４は、電圧供給回路３２を制御し、感度制御線４２および対向電極１２を介して光電変換素子１３に感度制御電圧を供給させる。【0115】
対向電極１２は複数の区画を持ち、その区画ごとに電圧を変更できても良い。そのように構成された撮像素子１０１と、被写体の複数の像を結像させるフライアイレンズのような結像光学系を組み合わせれば、複数のフィルタに対する畳み込み撮像を一括して行うことができる。【0116】
積層型光電変換素子の感度は、対向電極１２ではなく画素電極１１側又は第３電極（図示せず）の電圧を制御することでも変更可能である。この場合、画素電極１１は光電変換素子１３ごとに独立しているので、光電変換素子１３ごとに感度を個別に変更することが可能である。画素電極１１近傍に配置され、光電変換素子１３ごとに電圧を変更可能な第３電極を用いることで、同様に光電変換素子１３ごとに感度を個別に変更可能である。【0117】
上記の撮像素子の場合、光電変換素子１３ごとに個別に感度を設定可能とするために、各画素電極１１又は各第３電極に電圧を供給する線が必要である。全ての光電変換素子１３の複数の画素電極１１又は複数の第３電極に電圧を供給する複数の線を、撮像素子１０１の外部まで引き出すのは物理的に困難な場合がある。その場合には、いわゆる選択トランジスタを配置する。そして、当該選択トランジスタにより選択する線を順次切り替えることで、複数の画素電極１１又は複数の第３電極を外部に順次接続する。これにより、接続された電極の電圧を任意の値に設定できる。【0118】
あるいは、同一の感度に設定されることが決められている複数の光電変換素子１３からなる組ごとに、当該組に含まれる複数の光電変換素子１３をまとめて同じ外部信号線に接続してもよい。これにより外部信号線の数を減らすことができる。【0119】
撮像システム１００は、各電荷蓄積領域４１に蓄積された信号電荷の量を計測するための、信号電荷量測定器を備える。信号電荷量測定器は電荷蓄積領域４１ごとに設けられても良いし、複数の電荷蓄積領域４１で信号電荷量計測器を共有し、切り替えて計測する形式としても良い。例えば、この信号電荷計測器は、図８に示す信号検出回路１４に相当する。【0120】
信号電荷量測定器は、信号電荷の量の計測操作により、電荷蓄積領域４１の信号電荷を排出してもよい。つまり破壊読出しが行われても良い。あるいは、信号電荷量測定器は、信号電荷の量の計測により、電荷蓄積領域４１の信号電荷を保存してもよい。つまり非破壊読み出しが行われても良い。また、撮像システム１００は、必要に応じ、電荷蓄積領域４１に蓄積された信号電荷を排除する機能を有する。また、撮像システム１００は、必要に応じ、電荷蓄積領域４１からの信号電荷を排除後、残存する電荷量を計測する機能を有する。なお、これらの構成の具体的構成は、例えば、図８で説明した構成である。【0121】
撮像システム１００は、必要に応じ、信号電荷量計測器で計測した各電荷蓄積領域４１の信号電荷の量の計測結果を格納する記憶領域１０９を持つ。畳み込みに用いるフィルタが、正及び負両方の要素を持ち、撮像素子１０１が負の感度を持たない場合には、撮像システム１００は記憶領域１０９を持つことが望ましい。【0122】
撮像システム１００は、必要に応じ、記憶領域１０９の値に基づいた演算を行う演算回路１０８を有する。また、上記記憶領域１０９は、例えば、この演算回路１０８内、又は、撮像素子１０１内に設けられてもよい。【0123】
結像光学系１０２は、被写体の像を撮像素子１０１上に結ぶ機能を有する。結像光学系１０２は、レンズ等を用いた屈折光学系でもよく、又は曲面鏡などを用いた反射光学系でもよい。あるいは、結像光学系１０２は、両者の混合型でも良い。結像光学系１０２は必要に応じて絞り、及びフィルタ等の要素を含んでも良い。【0124】
メカシャッタ１０７は、撮像素子１０１に光を照射するか否かを制御する。ただし、撮像素子１０１の感度を０に設定できる、又は感度が０ではないが、電荷蓄積領域４１への信号電荷の蓄積を停止できる、すなわち撮像素子１０１が電子的シャッタ機能を有し、かつ電子的シャッタが全ての画素セル１０で等時性を持つ場合には、撮像システム１００は、メカシャッタ１０７を備えなくてもよい。【0125】
位置設定部１０３は、位置設定回路１０５による制御に基づき、被写体の像と撮像素子１０１の相対位置を規定のものに変更する機能を有する。本実施の形態に必要な相対位置の変化は、結像光学系１０２により結ばれた被写体の像が存在する平面上を、撮像素子１０１が相対的に移動する変化である。つまり、この変化は結像光学系１０２の光軸に対して垂直な方向の変化である。【0126】
相対位置は、画素セル１０の配置間隔が基準となる。すなわち、隣接する２つの画素セル１０の中心間距離の整数倍を単位として相対位置が設定される。本実施の形態においては、被写体の像と撮像素子１０１との相対位置の基準となる位置から、行方向の画素配置間隔分だけ光学系のつくる像を右に移動させた位置を（＋１，０）、左に移動させた位置を（−１，０）、基準位置から列方向の画素配置間隔分だけ像を上に移動させた位置を（０，＋１）、下に移動させた位置を（０，−１）と表記する。【0127】
これら以外の位置も同様に表記する。すなわち位置（＋２，−１）は、基準位置から行方向の画素配置間隔の２倍だけ像を右に、かつ列方向の画素配置間隔の１倍だけ像を下に移動させた位置を示す。その他についても同様である。【0128】
例えば、（３×３）の要素を持つ任意のフィルタによる畳み込みを再現するためには、位置として、｛（−１，−１），（−１，０），（−１，＋１），（０，−１），（０，０），（０，＋１），（＋１，−１），（＋１，０），（＋１，＋１）｝の９種類が規定の位置として必要である。このような相対位置の一例を図１１に示す。【0129】
同様に、（５×５）の要素を持つ任意のフィルタによる畳み込みを再現するためには、｛（−２，−２），（−２，−１），（−２，０），（−２，＋１），（−２，＋２），（−１，−２），（−１，−１），（−１，０），（−１，＋１），（−１，＋２），（０，−２），（０，−１），（０，０），（０，＋１），（０，＋２），（＋１，−２），（＋１，−１），（＋１，０），（＋１，＋１），（＋１，＋２），（＋２，−２），（＋２，−１），（＋２，０），（＋２，＋１），（＋２，＋２）｝の２５種類が必要な規定の位置である。ただし、フィルタに値が０の要素が含まれる場合には、その要素に対応する位置は設定可能な規定の位置に含まれなくてよい。【0130】
位置設定部１０３は、被写体の像と撮像素子１０１の相対位置を変更した後、規定の時間それを保持できる機能を有することが望ましい。【0131】
ただし、保持機能は必須ではなく、例えば単振動のように相対位置を連続的に変化させ続ける機構でも良い。なお、この詳細については実施の形態３で説明する。【0132】
位置設定部１０３は、アクチュエータである。例えば、位置設定部１０３は、ステッピングモーター又はピエゾ素子などの可動部品により撮像素子１０１の位置を物理的に変更する機構である。なお、位置設定部１０３は、結像光学系１０２の全体又はその一部の構成要素の位置を物理的に変更する機構であってもよい。また、位置設定部１０３は、結像光学系１０２と撮像素子１０１との間に配置され、光線経路をシフトさせる機構などであってもよい。【0133】
光線経路をシフトさせる機構の例として、鏡の角度或いは位置を変更する機構、又は、通過する光線をシフトさせる透明光学素子の位置或いは角度を変更する機構がある。【0134】
位置設定部１０３は、従来手振れを抑制するために用いられてきた、被写体の像と撮像素子１０１との相対位置を一定に保つための機構とほぼ同様の機械的機構で実現できる。なお、本実施の形態において、手振れの発生が予測される状況においては、手振れ補正を行った位置を基準位置として、そこから追加で相対位置を移動させるような操作を行うことができる。【0135】
以下、上述した撮像システム１００による、従来よりも少ない計算量で畳み込み処理を行った画像が得られる撮像方法の一例を説明する。また、以下では感度変化は等時性を有するものとする。【0136】
また、フィルタはＦ＿ｘ×Ｆ＿ｙの大きさを持つ。フィルタの要素の値をＦ（ｉ，ｊ）と表記する。Ｆ＿ｘおよびＦ＿ｙは、それぞれ、２以上の整数である。ｉは１からＦ＿ｘまでの整数、ｊは１からＦ＿ｙまでの整数である。【0137】
例えば、Ｆ（１，１）はフィルタの左上隅の要素の値、Ｆ（Ｆ＿ｘ，Ｆ＿ｙ）は右下隅の値である。図１の例で言えば、Ｆ（１，１）＝１，Ｆ（１，２）＝０，Ｆ（１，３）＝−１，．．．，Ｆ（３，３）＝−１である。【0138】
フィルタの中心を与えるｉ，ｊをそれぞれｉ＝Ｃ＿ｘ，ｊ＝Ｃ＿ｙであるとする。図１の例で言えば、Ｃ＿ｘ＝２，Ｃ＿ｙ＝２である。【0139】
図１２は、本実施の形態に係る撮像処理の概略を示すフローチャートである。まず、撮像システム１００は、フィルタに含まれる正の値を有する要素に対応する第１画像を撮影する（Ｓ１０１）。【0140】
次に、撮像システム１００は、フィルタに含まれる負の値を有する要素に対応する第２画像を撮影する（Ｓ１０２）。最後に演算回路１０８は、第１画像から第２画像を減算することで、畳み込み処理後の画像に相当する画像を得る。【0141】
図１３は、ステップＳ１０１の詳細を示すフローチャートである。まず、撮像システム１００は、露光を停止する、又は露光が停止していることを確認する（Ｓ１１１）。これはメカシャッタ１０７により行われても、電子シャッタにより行われても良い。つまり、撮像システム１００は、物理的に撮像素子１０１上への光照射を遮断してもよく、光電変換素子１３で発生した信号電荷を電荷蓄積領域４１に蓄積する行為を停止してもよい。あるいは、撮像システム１００は、撮像素子１０１の感度を０に設定しても良い。【0142】
この処理は、ステップＳ１１７での露光の以前の露光の結果、又は制御されない状態の影響が電荷蓄積領域４１に混入することを防ぐために行われる。そのため、ステップＳ１１７での露光の以前の露光の結果、又は制御されない状態の影響が電荷蓄積領域４１に混入しない、又は実用上無視できることが保証できるのであれば、ステップＳ１１１を省略してもよい。【0143】
次に、撮像システム１００は、各電荷蓄積領域４１をリセットする、又は電荷蓄積領域４１がリセットされていることを確認する（Ｓ１１２）。この処理は、ステップＳ１１３以降の露光により発生した信号電荷の量を正しく計測するために行われる。よって、リセットとは、信号電荷量を０にすること以外に、ステップＳ１１７以降の露光により発生した信号電荷の量を正しく計測できる任意の行為でも良い。例えば、リセットとして、ステップＳ１１７以降の露光前にすでに電荷蓄積領域４１に蓄積領域されていた電荷量を検出し、検出した値を記録するなどの処理が行われてもよい。【0144】
次に、撮像システム１００は、フィルタの複数の要素のうちで処理の対象となる要素の位置（以下、対象位置と記す）を初期化する。例えば、撮像システム１００は、ｐ＝１，ｑ＝１に設定する。ここで、ｐ、ｑはフィルタの要素をカウントするために便宜的に設けた変数である。また、ｐ＝１，ｑ＝１はフィルタの左上隅の位置を示す。つまり、フィルタの左上隅が対象位置として選択される。【0145】
次に、撮像システム１００は、対象位置の係数の値Ｆ（ｐ，ｑ）が正か否かを判定する（Ｓ１１４）。【0146】
値Ｆ（ｐ，ｑ）が正である場合（Ｓ１１４でＹｅｓ）、撮像システム１００は、被写体の像と撮像素子１０１との相対位置を設定する（Ｓ１１５）。具体的には、位置設定回路１０５は、相対位置が（Ｃ＿ｘ−ｐ，ｑ−Ｃ＿ｙ）となるように、位置設定部１０３を制御する。【0147】
次に、感度設定回路１０４は、撮像素子１０１の全ての画素セル１０の感度を、｜（基準感度）×Ｆ（ｐ，ｑ）｜に設定する（Ｓ１１６）。なお、撮像素子１０１が負の感度を実現できる場合は、感度設定回路１０４は、全ての画素セル１０の感度を、（基準感度）×Ｆ（ｐ，ｑ）に設定する。なお、Ｆ（ｐ，ｑ）が前回のステップＳ１１６と同じ場合、感度を設定する処理は、例えば、感度を維持することにより、行われる。【0148】
次に、撮像システム１００は、露光を開始する（Ｓ１１７）。具体的には、撮像システム１００がメカシャッタ１０７を備える場合には、撮像システム１００はメカシャッタ１０７を開ける。また、撮像システム１００は、光電変換素子１３で発生した信号電荷が電荷蓄積領域４１に蓄積されない状態となっていた場合には、蓄積される状態に変更する。つまり、撮像システム１００は、ステップＳ１１５で設定された相対位置、及びステップＳ１１６で設定された感度で露光を開始する。つまり、電荷蓄積領域４１への信号電荷の蓄積を開始する。【0149】
次に、撮像システム１００は、規定の露光時間が経過した後、露光を停止する（Ｓ１１８）。具体的には、撮像システム１００は、露光の開始から規定の露光時間が経過したことを検出した場合に、撮像素子１０１の感度を０に設定する。あるいは、撮像システム１００は、メカシャッタ又は電子シャッタを閉じる。【0150】
ステップＳ１１４において、値Ｆ（ｐ，ｑ）が負或いはゼロである場合（Ｓ１１４でＮｏ）、又は、ステップＳ１１８の後、撮像システム１００は、次の位置を対象位置として選択する。具体的には、撮像システム１００は、変数ｐを１インクリメントする。これにより、直前の対象位置の右横の位置が対象位置として選択される。【0151】
次に、撮像システム１００は、直前に選択されていた位置が列の終端であるかを判定する（Ｓ１２０）。具体的には、撮像システム１００は、ｐ＝Ｆ＿ｘ＋１であるか否かを判定する。直前に選択されていた位置が列の終端でない場合、つまり、ｐ＝Ｆ＿ｘ＋１でない場合（Ｓ１２０でＮｏ）、撮像システム１００は、ステップＳ１１９で設定された対象位置に対して、ステップＳ１１４以降の処理を行う。【0152】
一方、直前に選択されていた位置が列の終端である場合、つまり、ｐ＝Ｆ＿ｘ＋１である場合（Ｓ１２０でＹｅｓ）、撮像システム１００は、次の行の先頭（左隅）の位置を対象位置として選択する（Ｓ１２１）。具体的には、撮像システム１００は、ｐ＝１，ｑ＝ｑ＋１に設定する。【0153】
次に、撮像システム１００は、全ての位置の処理が終了したかを判定する（Ｓ１２２）。例えば、撮像システム１００は、直前に選択されていた行が最終行であるかを判定する。具体的には、撮像システム１００は、ｑ＝Ｆ＿ｙ＋１であるか否かを判定する。【0154】
全ての位置の処理が終了していない場合、つまり、ｑ＝Ｆ＿ｙ＋１でない場合（Ｓ１２２でＮｏ）、撮像システム１００は、ステップＳ１２１で設定された対象位置に対して、ステップＳ１１４以降の処理を行う。【0155】
一方、全ての位置の処理が終了した場合、つまり、ｑ＝Ｆ＿ｙ＋１である場合（Ｓ１２２でＹｅｓ）、撮像システム１００は、信号電荷量を計測する（Ｓ１２３）。具体的には、撮像システム１００は、各電荷蓄積領域４１に蓄積された電荷量を、信号電荷量測定器を用いて計測し、得られた結果（第１画像）を記憶領域に格納する。【0156】
以上の処理で、フィルタにおける正の要素の多重露光が完了し、第１画像が得られる。【0157】
次に、フィルタにおいて負の値を有する要素の多重露光の処理（Ｓ１０２）について説明する。図１４は、この処理のフローチャートである。なお、ステップＳ１３１〜Ｓ１３３及びＳ１３５〜Ｓ１４３の処理は、図１３に示すステップＳ１１１〜Ｓ１１３及びＳ１１５〜Ｓ１２３の処理と同様であり、説明は省略する。【0158】
ステップＳ１３４では、撮像システム１００は、フィルタ係数の値Ｆ（ｐ，ｑ）が負であるか否かを判定する（Ｓ１３４）。値Ｆ（ｐ，ｑ）が負である場合（Ｓ１３４でＹｅｓ）にはステップＳ１３５に移行し、値Ｆ（ｐ，ｑ）が負で無い場合（Ｓ１３４でＮｏ）にはステップＳ１３９に移行する。【0159】
図１４に示す処理により、フィルタにおいて負の値を有する要素の多重露光が行われ、第２画像が生成される。また、生成された第２画像が記憶領域に格納される。【0160】
そして、図１２に示すステップＳ１０３において、記憶領域に格納された第１画像と第２画像との差分が算出される。【0161】
また、上記処理により、対象位置の係数の値が、正でも負でもない場合、つまりゼロの場合、露光は行われない。【0162】
図１５は、図１に示すフィルタを用いた場合の撮像処理の流れを示すタイミングチャートである。なお、図１５は画像処理の内容を模式的に示す図であり、時間軸のスケール等は実施の処理とは必ずしも一致しない。【0163】
図１５に示すように、リセット後の時刻ｔ１において、対象位置としてフィルタの左上（ｐ＝１，ｑ＝１）が選択され、相対位置が（１，−１）に設定されるとともに、感度が１（基準感度×１）に設定される。この状態において、時刻ｔ１から時刻ｔ２の間、露光が行われる。【0164】
次に、時刻ｔ２〜ｔ３の間、メカシャッタ１０７が閉じ、非露光状態となる。この時刻ｔ２〜ｔ３の期間において、相対位置及び感度の変更が行われる。なお、相対位置の変更及び感度変更が行われるタイミングは、この期間の間であれば任意のタイミングでよい。【0165】
また、時刻ｔ２〜ｔ３の間に、対象位置としてフィルタの左（ｐ＝１，ｑ＝２）が選択され、相対位置が（１，０）に設定されるとともに、感度が２（基準感度×２）に設定される。この状態において、時刻ｔ３から時刻ｔ４の間、露光が行われる。つまり、電荷蓄積領域４１に、時刻ｔ１〜ｔ２の露光で得られた信号電荷に加え、時刻ｔ３〜ｔ４に得られた信号電荷が蓄積される。【0166】
同様に、時刻ｔ４〜ｔ５の間に、対象位置としてフィルタの左下（ｐ＝１，ｑ＝３）が選択され、相対位置が（１，１）に設定されるとともに、感度が１（基準感度×１）に設定される。この状態において、時刻ｔ５から時刻ｔ６の間、露光が行われる。つまり、電荷蓄積領域４１に、時刻ｔ１〜ｔ２及び時刻ｔ３〜ｔ４の露光で得られた信号電荷に加え、時刻ｔ５〜ｔ６に得られた信号電荷が蓄積される。【0167】
そして、時刻ｔ６において、この信号電荷に対応する信号（第１画像）が読み出される。【0168】
また、同様の処理により、時刻ｔ７〜ｔ１２において、負の要素に対応する第２画像が生成され、当該第２画像が読み出される。【0170】
以上のように、本実施の形態に係る撮像システム１００は、基準感度で撮像した画像にソフトウェアにより畳み込みした結果と基本的に同一の画像を得ることができる。【0171】
上記手順において、演算が必要なのは画素数分の差演算だけである。つまり、従来のソフトウェアによる畳み込み処理よりも演算量を低減できる。【0172】
また、フィルタの要素が正、又は負のみからなるフィルタの畳み込みにおいては、差演算も不要である。【0173】
また、上記手順において、被写体の像と撮像素子１０１との相対位置を変えて多重露光することは、被写体の像と撮像素子１０１の相対位置とを一定として撮像した結果の複数の画素の足し合わせと等価になる。また、多重露光に際して感度を変更することは、フィルタの係数をかけ合わせていることと等価である。よって、上記方法により、畳み込み撮像ができる。【0174】
上記本実施の形態の方法であれば、感度設定回路１０４及び位置設定回路１０５への指令を変更するだけで任意のフィルタに対して同様の撮像ができる。感度設定回路１０４及び位置設定回路１０５への指令を変更し、上記手順を繰り返すことにより、ある特定の被写体に対し、複数のフィルタを用いた畳み込みを実施することもできる。【0175】
上記した本実施の形態の方法は、ステップＳ１０３を除けば、撮像に必要な時間はほとんど画素数に依存しない。ステップＳ１０３は差分演算のみであり、計算負荷は小さい。画素数が増えるほど、また、畳み込みを行うフィルタ数が増えるほど従来の方法に比べて必要な時間は短縮できる。【0176】
また、結像光学系１０２のつくる被写体の像の大きさを、撮像素子１０１よりも十分大きくしておけば、被写体の像と撮像素子１０１の相対位置を変えても、被写体の像が常に撮像素子の全体を覆うようにすることが可能である。よって、本手法は、従来の撮像の結果に対して畳み込みを行う方法で発生していた、画像の周辺部においてフィルタがはみ出すために正しい演算を行うことができなかったという課題を解消できる。【0177】
以上のように、本実施の形態に係る撮像システム１００は、被写体の像を結像させる結像光学系１０２と、行方向及び列方向の二次元に配置された複数の画素セル１０を含む撮像素子１０１と、複数の画素セル１０と被写体の像との相対位置を第１制御信号１１２に基づいて設定する位置設定回路１０５と、複数の画素セル１０の各々の感度を第２制御信号１１１に基づいて設定する感度設定回路１０４と、第１制御信号１１２及び第２制御信１１１号を同期させる同期回路１０６と、を備える。複数の画素セル１０の各々は、光を信号電荷に変換する光電変換素子１３と、光電変換素子１３で得られた信号電荷を蓄積する電荷蓄積領域４１とを備える。【0178】
電荷蓄積領域４１は、相対位置が第１相対位置に設定され、かつ、感度が第１感度に設定されている状態において、光電変換素子１３で得られた信号電荷に、相対位置が、第１相対位置と異なる第２相対位置に設定され、かつ、感度が第１感度と異なる第２感度に設定されている状態において、光電変換素子１３で得られた信号電荷を加えて蓄積する。【0179】
これによれば、撮像システム１００は、複数の画素セル１０と被写体の像との相対位置と、複数の画素セル１０の感度とを変更しながら、異なる相対位置及び感度で得られた信号電荷を加算した画像を得ることができる。これにより、畳み込み演算処理の少なくとも一部を撮像素子１０１において実行できるので、畳み込み処理の演算量を低減できる。【0180】
また、位置設定回路１０５は、画素セルの整数倍の単位で前記相対位置を設定する。これにより、撮像システム１００は、畳み込み演算の再現性を向上できる。【0181】
また、感度設定回路１０４は、複数の画素セルの感度を一括して設定する。これにより、撮像システム１００は、畳み込み演算の再現性を向上できる。【0182】
また、光電変換素子１３は、電荷蓄積領域４１に接続された画素電極１１と、透光性の対向電極１２と、画素電極１１及び対向電極１２の間に配置された光電変換層１５と、を含む。【0183】
画素電極１１と対向電極１２との間に印加される電圧が変更されることで、画素セル１０の感度が変更される。これにより、撮像システム１００は、光電変換素子１３に印加する電圧を変更することで、画素セル１０の感度を変更できる。【0184】
また、本実施の形態に係る撮像方法は、図１３及び図１５等に示すように、結像光学系１０２と撮像素子１０１との相対位置を第１相対位置に設定する第１相対位置設定ステップと、複数の画素セル１０の感度を第１感度に設定する第１感度設定ステップと、相対位置が第１相対位置に設定され、かつ、感度が第１感度に設定されている状態において、光電変換素子１３で得られた第１信号電荷を電荷蓄積領域４１に蓄積する第１蓄積ステップと、結像光学系１０２と撮像素子１０１との相対位置を第１相対位置と異なる第２相対位置に設定する第２相対位置設定ステップと、複数の画素セル１０の感度を第１感度と異なる第２感度に設定する第２感度設定ステップと、相対位置が第２相対位置に設定され、かつ、感度が第２感度に設定されている状態において、光電変換素子１３で得られた第２信号電荷を第１信号電荷に加えて、電荷蓄積領域４１に蓄積する第２蓄積ステップとを含む。【0185】
これによれば、当該撮像方法は、複数の画素セル１０と被写体の像との相対位置と、複数の画素セル１０の感度とを変更しながら、異なる相対位置及び感度で得られた信号電荷を加算した画像を得ることができる。これにより、畳み込み演算処理の少なくとも一部を撮像素子１０１において実行できるので、畳み込み処理の演算量を低減できる。【0186】
また、第２相対位置設定ステップでは、相対位置を、第１相対位置から画素セルの整数倍の単位でずらすことで第２相対位置を設定する。これにより、当該撮像方法は、畳み込み演算の再現性を向上できる。【0187】
また、撮像システム１００は、さらに、撮像素子１０１を遮光するメカシャッタ１０７を備える。図１５等に示すように、第２相対位置設定ステップでは、メカシャッタ１０７により撮像素子１０１を遮光した状態において、相対位置を第１相対位置から第２相対位置に変更する。これにより、当該撮像方法は、相対位置の変更中に露光が行われないようにできるので、畳み込み演算の再現性を向上できる。【0188】
また、図１６等に示すように、第２相対位置設定ステップでは、感度をゼロに設定した状態で、相対位置を第１相対位置から第２相対位置に変更する。これにより、当該撮像方法は、相対位置の変更中に露光が行われないようにできるので、畳み込み演算の再現性を向上できる。【0189】
また、図１２、図１３及び図１５等に示すように、撮像方法は、第１相対位置設定ステップ、第２相対位置設定ステップ、第１感度設定ステップ、第２感度設定ステップを含むＮ回（Ｎは２以上の整数）の設定ステップと、第１蓄積ステップ及び第２蓄積ステップを含むＮ回の蓄積ステップとを含む。ｉ（ｉは１以上Ｎ以下の整数）回目の設定ステップでは、相対位置を第ｉ相対位置に設定し、感度を第ｉ感度に設定する。ｉ回目の蓄積ステップでは、第ｉ相対位置及び第ｉ感度において光電変換素子１３で得られた信号電荷を電荷蓄積領域４１に蓄積する。撮像方法は、さらに、Ｎ回の蓄積ステップにより得られた１以上の画像を用いて、予め定められた畳み込み処理後の画像に相当する画像を得る演算ステップを含む。Ｎ回の設定ステップの各々は、畳み込み処理の複数の係数のうちのＮ個の係数の各々に対応する。ｉ番目の設定ステップで設定される第ｉ相対位置は、当該ｉ番目の設定ステップに対応する係数の位置に対応する。ｉ番目の設定ステップで設定される第ｉ感度は、当該ｉ番目の設定ステップに対応する係数の値に対応する。【0190】
これにより、当該撮像方法は、畳み込み演算処理の少なくとも一部を撮像素子１０１において実行できるので、畳み込み処理の演算量を低減できる。【0191】
また、図１２等に示すように、Ｎ回の蓄積ステップにより、畳み込み処理の係数が正の位置の信号の合計値に対応する第１画像と、畳み込み処理の係数が負の位置の信号の合計値に対応する第２画像とが得られ、演算ステップでは、第１画像から第２画像を減算することで、畳み込み処理後の画像に相当する画像を得る。これにより、当該撮像方法は、負の係数を含む畳み込み演算処理を実現できる。【0192】
また、図１３及び図１５等に示すように、Ｎ回の設定ステップの各々は、畳み込み処理の複数の係数のうち、値がゼロでないＮ個の係数の各々に対応する。つまり、値がゼロの係数の露光はスキップされる。これにより、撮影時間を短縮できる。【0193】
（実施の形態２）実施の形態１では、フィルタにおいて正の値を有する要素に対応した第１画像と、フィルタにおいて負の値を有する要素に対応した第２画像とを生成し、第１画像と第２画像との差分を算出する例を説明した。本実施の形態では、フィルタに対応する画像を得る別の手法について説明する。
【0194】
本実施の形態では、撮像システム１００は、フィルタの全ての要素にオフセット値を加算したフィルタに対応する第１画像と、全ての要素がオフセット値に設定されたフィルタに対応する第２画像とを生成し、第１画像と第２画像との差分を算出する。【0195】
以下、図１７の（ａ）及び（ｂ）に示す２種類のフィルタに対応する画像を生成する場合の例を説明する。【0196】
まず、これらのフィルタに含まれる負の係数の絶対値の最大値がオフセット値に設定される。図１７の例では、−２が絶対値が最大の負の係数であるので、オフセット値は２に設定される。なお、オフセット値は、負の係数の絶対値の最大値より大きな値であってもよい。【0197】
同図（ａ）に示すフィルタに対して、当該フィルタの全ての要素にオフセット値である２を加算したフィルタ（同図（ｃ））と、全ての要素がオフセット値である２に設定されたフィルタ（同図（ｄ））とが生成される。このフィルタの各々に対して、実施の形態１と同様の処理を行うことで、第１画像及び第２画像が得られる。また、第１画像から第２画像を減算することで、同図（ａ）に示すフィルタに対応する画像が得られる。なお、全ての要素がオフセット値である２に設定されたフィルタでは、感度を変更する必要はない。この場合、感度を設定する処理とは、例えば、感度をオフセット値に維持することをいう。【0198】
同様に、同図（ｂ）に示すフィルタに対して、フィルタの全ての要素にオフセット値である２を加算したフィルタ（同図（ｅ））と、全ての要素がオフセット値である２に設定されたフィルタ（同図（ｆ））とが生成される。ここで、同図の（ｄ）及び（ｆ）に示すフィルタは同一のフィルタであるので、減算に用いる第２画像として同じ画像を用いることができる。【0199】
このように、本実施の形態の手法では、複数のフィルタの減算に用いる第２画像を共通化できるので、撮影の回数を低減できる。【0200】
図１８は、実施の形態１の手法で得られるフィルタの例を示す図である。図１８に示すように、実施の形態１の手法では、各フィルタ（（ａ）及び（ｂ））に対して、それぞれ２枚の画像が必要になることがわかる。【0201】
一方で、実施の形態１の手法を用いた場合、上述したように係数がゼロの位置の露光をスキップすることができる。これにより、係数ゼロを多く含むフィルタでは、複数のフィルタを用いる場合であっても、撮影時間を短縮できる場合もある。【0202】
また、別の方法として、２枚の画像を撮影するのではなく、正及び負の両方の要素を含む単一の画像を生成してもよい。具体的には、光電変換素子１３に逆バイアスを印加することで、電荷蓄積領域４１から露光量に応じた信号電荷を引き抜くことができる。このように、光電変換素子１３にフィルタ要素の正及び負に対応した正及び負の電圧を印加することで、正及び負の両方の要素を含む単一の画像を生成できる。【0203】
以上のように、本実施の形態に係る撮像方法は、Ｎ回の設定ステップで、畳み込み処理の各係数にオフセット値を加算した値に対応する感度と前記オフセット値に対応する感度とを設定し、Ｎ回の蓄積ステップで、第１画像および第２画像を得る。この第１画像は、畳み込み処理の全ての係数にオフセット値を加算することで得られる複数の係数を用いる畳み込み処理後の画像に相当する。第２画像は、全ての係数としてオフセット値を用いる畳み込み処理前後の画像に相当する。演算ステップでは、第１画像から第２画像を減算することで、畳み込み処理後の画像に相当する画像を得る。【0204】
これにより、当該撮像方法は、負の係数を含む畳み込み演算処理を実現できる。また、互いに異なる畳み込み処理が行われた複数の画像を得る場合において、第２画像を共通して用いることができるので、撮影時間を短縮できる。【0205】
（実施の形態３）実施の形態１では、画素セルの整数倍の単位で、被写体の像と撮像素子１０１との相対位置をずらす例を説明したが、連続的に相対位置をずらしてもよい。
【0206】
図１９及び図２０は、連続的な相対位置の変化例を示す図である。図１９及び図２０に示すように、行方向の単振動の周波数と、列方向の単振動の周波数とを異なった値に設定する。これにより、被写体の像と撮像素子１０１との相対位置は、いわゆるリサージュ図形を描き、行及び列の振幅からなる長方形の内部を埋めるような軌道をとる。この場合、相対位置が所望の位置に来た時に感度が所望の値となるように同期させて制御することで、位置設定部１０３の構成を簡略化することができる。また、同じフィルタ要素に対応する区画を複数回に分けて通過するので、時間ズレが平均化されるという利点もある。【0207】
なお、図２０では、感度は、段階的に変更されているが、図２１に示すように、感度も相対位置に連動し、連続的に変更されてもよい。図２１および２２は、それぞれ、一つの露光期間における相対位置および感度の変化を示している。この一つの露光期間を複数に分割しても良い。【0208】
このように、本実施の形態に係る撮像システム１００では、位置設定回路１０５は、露光期間において相対位置を連続的に変更し、電荷蓄積領域４１は、露光期間において、光電変換素子１３で得られた信号電荷を蓄積する。これにより、撮像システム１００は、複数の画素セル１０と被写体の像との相対位置の変更を容易に実現できるとともに、当該変更に伴う撮影時間の増加を抑制できる。【0209】
また、感度設定回路１０４は、一つの露光期間において感度を連続的に変更する。これにより、撮像システム１００は、畳み込み演算の再現性を向上できる。なお、本実施の形態では、撮像素子１０１は、正および負の感度を持っているので、第１画像と第２画像との差分を算出する必要はない。あるいは、本実施の形態においても、実施の形態１または２のように、第１画像および第２画像を生成し、これらの画素の差分を算出してもよい。すなわち、一つの露光期間において第１画像を生成し、他の露光期間において第２画像を生成してもよい。【0210】
また、本実施の形態に係る撮像方法において、第２相対位置設定ステップでは、相対位置を第１相対位置から第２相対位置まで連続的に変更する。第２蓄積ステップでは、相対位置が連続的に変更されている期間において、光電変換素子で得られた第３信号電荷を第１信号電荷に加えて、電荷蓄積領域４１に蓄積する。これにより、当該撮像方法は、複数の画素セル１０と被写体の像との相対位置の変更を容易に実現できるとともに、当該変更に伴う撮影時間の増加を抑制できる。【0211】
また、第２感度設定ステップでは、感度を第１感度から第２感度に連続的に変更し、第２蓄積ステップでは、相対位置が連続的に変更され、かつ、感度が連続的に変更されている期間において、光電変換素子１３で得られた第３信号電荷を第１信号電荷に加えて、電荷蓄積領域４１に蓄積する。これにより、当該撮像方法は、畳み込み演算の再現性を向上できる。【0212】
（実施の形態４）本実施の形態では、撮像素子１０１の各画素セル１０に複数の光電変換素子１３が含まれ、かつ一つの画素セル１０に含まれる複数の光電変換素子の各々について感度が独立して設定可能な撮像素子１０１を用いた撮像方法について説明する。
【0213】
一つの画素セル１０に含まれる複数の光電変換素子１３の各々について個別の感度を設定可能な撮像素子１０１を用いる最大の利点は、複数のフィルタを用いた畳み込み撮像を同時に行える点である。あるいは、正負の要素を持つフィルタの撮像時間を短縮できる点である。つまり、一つの画素セル１０に含まれる光電変換素子１３が十分な数存在すれば、複数のフィルタに対応した複数の画像を同時に得ることができる。【0214】
以下、図１８の（ａ）及び（ｂ）に示す２つのフィルタの正負両成分を同時に撮像する場合を説明する。フィルタ数の拡張の方法については、本明細書の記述から当業者には自明である。【0215】
図２２は、本実施の形態に係る画素構成を示す図である。図２２に示すように、撮像素子１０１は、複数の画素セル１０Ａを含む。また、各画素セル１０Ａは、複数のサブ画素１２０を含む。具体的には、図２２に示す例では、画素セル１０Ａは、４個のサブ画素１２０（サブ画素Ａ〜Ｄ）を含む。なお、各サブ画素１２０の構成は、例えば、図８に示す画素セル１０と同様である。なお、サブ画素１２０は、少なくとも光電変換素子１３と、当該光電変換素子１３で生成された信号電荷を蓄積する電荷蓄積領域４１とを備える。言い換えると、図８に示す画素セル１０の構成要素のうち、他の要素については、サブ画素１２０毎に設けられてもよいし、複数のサブ画素１２０で共通に設けられてもよい。【0216】
また、本実施の形態では、サブ画素Ａ〜Ｄは個別に感度を制御できるように構成されている。例えば、上述したように、サブ画素Ａ〜Ｄの各画素電極１１に異なる電圧が印加できるように構成されている。【0217】
また、複数の画素セル１０Ａに含まれる全てのサブ画素Ａは、互いに同一の感度に設定される。同様に、複数の画素セル１０Ａに含まれる全てのサブ画素Ｂは、互いに同一の感度に設定される。また、複数の画素セル１０Ａに含まれる全てのサブ画素Ｃは、互いに同一の感度に設定される。さらに、複数の画素セル１０Ａに含まれる全てのサブ画素Ｄは、互いに同一の感度に設定される。【0218】
また、それぞれのフィルタの要素をＦ１（ｐ，ｑ）、Ｆ２（ｐ，ｑ）と表記する。二つのフィルタは同じ要素数を持つものとする。また、フィルタの中心はともにｐ＝Ｃ＿ｘ，ｑ＝Ｃ＿ｙであるとする。【0219】
また、以下では、サブ画素Ａ〜Ｄに含まれる４つの光電変換素子１３を、光電変換素子１３Ａ、光電変換素子１３Ｂ、光電変換素子１３Ｃ、及び光電変換素子１３Ｄと記す。また、サブ画素Ａ〜Ｄに含まれる４つの電荷蓄積領域４１を電荷蓄積領域４１Ａ、電荷蓄積領域４１Ｂ、電荷蓄積領域４１Ｃ、及び電荷蓄積領域４１Ｄと記す。【0220】
また、光電変換素子１３Ａは、第１フィルタ（図１８の（ａ））において正の値を有する要素に対応する撮像を担い、光電変換素子１３Ｂは、第１フィルタ（図１８の（ａ））において負の値を有する要素に対応する撮像を担い、光電変換素子１３Ｃは、第２フィルタ（図１８の（ｂ））において正の値を有する要素に対応する撮像を担い、光電変換素子１３Ｄは、第２フィルタ（図１８の（ｂ））において負の値を有する要素に対応する撮像を担うものとする。ただし、これとは異なる役割の割り振りが可能であることは自明である。【0221】
先に述べたように、一つの画素セル１０Ａに含まれる複数の光電変換素子１３の各々について個別の感度を設定可能な撮像素子１０１の例としては、積層型撮像素子の画素電極１１側、又は第３電極の電圧を制御する構成をあげることができる。なお、光電変換素子１３ごとに個別の感度を設定可能な撮像素子のうち、選択トランジスタを用いるものは感度変更の等時性を得ることが難しい。本実施の形態では等時性が得られない場合にも適用可能な方法を説明する。【0222】
図２３は、本実施の形態に係る撮像システム１００による撮像方法のフローチャートである。【0223】
ステップＳ１５１〜Ｓ１５３の処理は、図１３に示すステップＳ１１１〜Ｓ１１３の処理と同様である。ただし、感度変更に等時性が得られない場合には、感度を０に設定することによる露光の停止は避けることが望ましい。つまり、本実施の形態では、メカシャッタ１０７により露光を停止することが望ましい。【0224】
ステップＳ１５４では、撮像システム１００は、フィルタ係数の値Ｆ１（ｐ，ｑ）及びＦ２（ｐ，ｑ）が共にゼロであるかを判定する。値Ｆ１（ｐ，ｑ）及び値Ｆ２（ｐ，ｑ）が共にゼロである場合（Ｓ１５４でＹｅｓ）にはステップＳ１５９に移行する。【0225】
値Ｆ１（ｐ，ｑ）及び値Ｆ２（ｐ，ｑ）が共にゼロでない場合（Ｓ１５４でＮｏ）、ステップＳ１１５と同様に、撮像システム１００は、被写体の像と撮像素子１０１との相対位置を設定する（Ｓ１５５）。具体的には、位置設定回路１０５は、相対位置が（Ｃ＿ｘ−ｐ，ｑ−Ｃ＿ｙ）となるように、位置設定部１０３を制御する。【0226】
次に、感度設定回路１０４は、サブ画素Ａ〜Ｄの感度を設定する（Ｓ１５６）。具体的には、感度設定回路１０４は、Ｆ１（ｐ，ｑ）及びＦ２（ｐ，ｑ）が正、負又は０であるかに応じて、感度の設定を行う。【0227】
より具体的には、感度設定回路１０４は、Ｆ１（ｐ，ｑ）が正であれば、光電変換素子１３Ａの感度を｜（基準感度）×Ｆ１（ｐ，ｑ）｜に設定する。感度設定回路１０４は、Ｆ１（ｐ，ｑ）が負であれば、光電変換素子１３Ａの感度を０に設定する。感度設定回路１０４は、Ｆ１（ｐ，ｑ）が０であれば、光電変換素子１３Ａの感度を０に設定する。【0228】
感度設定回路１０４は、Ｆ１（ｐ，ｑ）が正であれば、光電変換素子１３Ｂの感度を０に設定する。感度設定回路１０４は、Ｆ１（ｐ，ｑ）が負であれば、光電変換素子１３Ｂの感度を｜（基準感度）×Ｆ１（ｐ，ｑ）｜に設定する。感度設定回路１０４は、Ｆ１（ｐ，ｑ）が０であれば、光電変換素子１３Ｂの感度を０に設定する。【0229】
感度設定回路１０４は、Ｆ２（ｐ，ｑ）が正であれば、光電変換素子１３Ｃの感度を｜（基準感度）×Ｆ２（ｐ，ｑ）｜に設定する。感度設定回路１０４は、Ｆ２（ｐ，ｑ）が負であれば、光電変換素子１３Ｃの感度を０に設定する。感度設定回路１０４は、Ｆ２（ｐ，ｑ）が０であれば、光電変換素子１３Ｃの感度を０に設定する。【0230】
感度設定回路１０４は、Ｆ２（ｐ，ｑ）が正であれば、光電変換素子１３Ｄの感度を０に設定する。感度設定回路１０４は、Ｆ２（ｐ，ｑ）が負であれば、光電変換素子１３Ｄの感度を｜（基準感度）×Ｆ２（ｐ，ｑ）｜に設定する。感度設定回路１０４は、Ｆ２（ｐ，ｑ）が０であれば、光電変換素子１３Ｄの感度を０に設定する。【0231】
次に、撮像システム１００は、露光を開始する（Ｓ１５７）。なお、ステップＳ１５７〜Ｓ１６３の処理は、図１３に示すステップＳ１１７〜Ｓ１２３の処理と同様である。【0232】
以上の処理により、第１フィルタにおいて正の値を有する要素に対応する第１画像と、第１フィルタにおいて負の値を有する要素に対応する第２画像と、第２フィルタにおいて正の値を有する要素に対応する第３画像と、第２フィルタにおいて負の値を有する要素に対応する第４画像とが生成される。また、生成された第１〜第４画像が記憶領域に格納される。【0233】
そして、演算回路１０８は、第１画像から第２画像を減算することにより、第１フィルタを用いた畳み込み結果に相当する画像を生成する。また、演算回路１０８は、第３画像から第４画像を減算することにより、第２フィルタを用いた畳み込み結果に相当する画像を生成する。【0234】
以上のように、複数の画素セル１０Ａの各々が複数の光電変換素子１３を備え、一つの画素セル１０Ａの各光電変換素子１３の感度を個別に変更できれば、複数のフィルタに対する畳み込み撮像を一度に行うことができる。【0235】
図２４は、本実施の形態に係る撮像方法の流れを模式的に示す図である。また、図２４は、図１８の（ａ）に示す第１フィルタと、図１８の（ｂ）に示す第２フィルタとに対応する畳み込み撮影を行う場合の例である。なお、この例では、第１フィルタの複数の要素のうち、値が０でない要素の位置は、第２フィルタの複数の要素のうち、値が０でない要素の位置と重なっていないが、これらの位置が重なっていても良い。【0236】
図２４に示すように、まず、対象位置としてフィルタの左上（ｐ＝１，ｑ＝１）が選択され、相対位置が（１，−１）に設定される。第１フィルタの左上の係数は１であり、第２フィルタの左上の係数は０であるので、第１フィルタにおいて正の値を有する要素に対応するサブ画素Ａの感度が１に設定され、それ以外のサブ画素Ｂ〜Ｄの感度はゼロに設定される。そして、この状態において露光が行われる。次に、対象位置としてフィルタの上（ｐ＝２，ｑ＝１）が選択され、相対位置が（０，−１）に設定される。第１フィルタの上の係数は０であり、第２フィルタの上の係数は−１であるので、第２フィルタにおいて負の値を有する要素に対応するサブ画素Ｄの感度が１に設定され、それ以外のサブ画素Ａ〜Ｃの感度はゼロに設定される。そして、この状態において露光が行われる。【0237】
以降同様の処理が行われる。また、中央位置（ｐ＝２、ｑ＝２）に関しては、第１フィルタ及び第２フィルタの係数が共にゼロであるため、露光がスキップされる。【0238】
以上のように、本実施の形態に係る撮像システム１００では、複数の画素セル１０Ａの各々は、第１サブ画素と第２サブ画素とを含む。第１サブ画素及び第２サブ画素の各々は、光電変換素子１３及び電荷蓄積領域４１を含む。感度設定回路１０４は、複数の画素セル１０Ａに含まれる、複数の第１サブ画素の感度と複数の第２サブ画素の感度を独立に設定する。これにより、撮像システム１００は、異なる畳み込み演算により得られた複数の画像を同時に生成できる。【0239】
また、本実施の形態に係る撮像方法において、Ｎ回の設定ステップでは、複数の第１サブ画素の感度と、複数の第２サブ画素の感度とを異なる値に設定する。演算ステップでは、Ｎ回の蓄積ステップにより複数の第１サブ画素で得られた１以上の画像を用いて、予め定められた第１畳み込み処理後の画像に相当する第１画像を取得し、Ｎ回の蓄積ステップにより複数の第２サブ画素で得られた１以上の画像を用いて、第１畳み込み処理とは異なる第２畳み込み処理後の画像に相当する第２画像を取得する。これにより、当該撮像方法は、異なる畳み込み演算により得られた複数の画像を同時に生成できる。【0240】
以上、本実施の形態に係る撮像装置について説明したが、本開示は、この実施の形態に限定されるものではない。【0241】
例えば、上記説明では、多重露光における各露光の露光時間が一定である例を述べたが、感度の変更に加え、露光時間を変更してもよい。ここで、電荷蓄積領域４１に蓄積される信号電荷量は、感度と露光時間とに比例する。例えば、感度を基準感度の二倍に設定し、かつ露光時間を基準露光時間の二倍に設定した場合の信号電荷量は、感度を基準感度に設定し、かつ露光時間を基準露光時間した場合の信号電荷量の四倍になる。つまり、感度を基準感度に設定し、かつ露光時間を基準露光時間した場合の信号電荷量をフィルタ係数の値１に対応させた場合には、感度を基準感度の二倍に設定し、かつ露光時間を基準露光時間の二倍に設定することで、フィルタ係数の値４に対応する露光を実現できる。【0242】
このように、感度に加え、露光時間を変更することで、使用する感度の種類の増加を抑制しつつ、より広い範囲のフィルタ係数に対応できる。【0243】
また、上記実施の形態においては、各多重露光における各露光の露光時間は一定として説明したが、露光時間は露光ごとに変更されてもよい。例えばフィルタの係数の絶対値の取りうる範囲が０〜１００の範囲の整数である場合、感度の設定範囲を｛基準感度、基準感度の２倍、・・・、基準感度の１０倍｝とし、露光時間の設定範囲を｛基準時間、基準時間の２倍、・・・、基準時間の１０倍｝とすることで、感度と露光時間との組み合わせにより上述したフィルタの係数を実現しうる。つまり、感度及び露光時間の積が、フィルタ係数の値に対応する。【0244】
例えば実施の形態の１で説明したように、全ての画素で同じ感度変更を行う場合においては、露光時間の変更を適用しやすい。感度の変更の代わりに、感度を一定にして露光時間を変更しても同様の効果が得られる。ただし、各画素ごとに露光時間を変更するよりも、各画素ごとに感度を変更する方が容易である。よって、複数のフィルタの畳み込みのための撮像を同時に行う場合、感度を変更する方法が望ましい。【0245】
また、感度可変が可能な撮像素子１０１として、図９に示す構成を説明したが、他の感度可変が可能な撮像素子１０１が用いられてもよい。例えば、感度可変が可能な撮像素子１０１の例としては、イメージインテンシファイアＣＣＤ（ＩＣＣＤ）がある。ＩＣＣＤは撮像素子に入射した光により電子を発生させ、発生した電子をマルチチャンネルプレート等で増幅し、得られた信号をＣＣＤで計測する素子である。マルチチャンネルプレートに印加する電圧を変更することで、感度を変更することができる。例えば電圧を０にすれば感度を実質的に０にすることも可能である。【0246】
ただし、ＩＣＣＤはマルチチャンネルプレートの駆動に高電圧を必要とする。また機構として煩雑で小型化しにくい。【0247】
別の感度可変が可能な撮像素子１０１の例としては、アバランシェフォトダイオードを集積した撮像素子がある。アバランシェフォトダイオードのバイアス電圧を変更することによりアバランシェ増倍率を変更し感度を変更することが可能である。ただし、アバランシェフォトダイオードも駆動に高電圧を要する。【0248】
また、ブロック図における機能ブロックの分割は一例であり、複数の機能ブロックを一つの機能ブロックとして実現したり、一つの機能ブロックを複数に分割したり、一部の機能を他の機能ブロックに移してもよい。【0249】
例えば、図７において、撮像素子１０１と演算回路１０８とを個別のブロックとして記載しているが、演算回路１０８は、撮像素子１０１を含む集積回路（イメージセンサ）に含まれてもよい。また、演算回路１０８は、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）等のマイクロプロセッサにより実現される信号処理回路に含まれてもよい。また、感度設定回路１０４、位置設定回路１０５および同期回路１０６は、制御回路（Ｃｏｎｔｒｏｌ Ｃｉｒｃｕｉｔｒｙ）を構成する。すなわち、感度設定回路１０４、位置設定回路１０５および同期回路１０６は、この制御回路（Ｃｏｎｔｒｏｌ Ｃｉｒｃｕｉｔｒｙ）によって具現化される。この制御回路は、撮像システム１００の各要素を制御して図１２〜２１、２３および２４を用いて説明した処理を実行する。この制御回路は、一つの集積回路で構成されていてもよく、また、複数の回路で構成されていてもよい。撮像システム１００は、さらに、図１２〜２１、２３および２４を用いて説明した処理を実行するためのプログラムを格納したメモリーを備えてもよい。制御回路は、メモリーに格納されたプログラムを読み出し、読み出したプログラムに従って処理を実行してもよい。【0250】
また、上記実施形態に係る撮像装置に含まれる各処理部は典型的には集積回路であるＬＳＩとして実現される。これらは個別に１チップ化されてもよいし、一部又は全てを含むように１チップ化されてもよい。【0251】
また、集積回路化はＬＳＩに限るものではなく、専用回路又は汎用プロセッサで実現してもよい。ＬＳＩ製造後にプログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）、又はＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。【0252】
以上、一つまたは複数の態様に係る撮像装置について、実施の形態に基づいて説明したが、本開示は、この実施の形態に限定されるものではない。本開示の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態に施したものや、異なる実施の形態における構成要素を組み合わせて構築される形態も、一つまたは複数の態様の範囲内に含まれてもよい。【産業上の利用可能性】
【0253】
本開示に係る撮像システム及び撮像方法は、高速に畳み込みを行った画像を取得可能である。よって、本開示に係る撮像システム及び撮像方法は、大量の畳み込み処理が必要なディープラーニング処理に有用である。特に、自動運転など逐次のディープラーニング処理が要求される場合に有用性が高い。【符号の説明】
【0254】
１０，１０Ａ 画素セル１１ 画素電極
１２ 対向電極
１３ 光電変換素子
１４ 信号検出回路
１５ 光電変換層
２０ 半導体基板
２４ 信号検出トランジスタ
２６ アドレストランジスタ
２８ リセットトランジスタ
３２ 電圧供給回路
３４ リセット電圧源
３６ 垂直走査回路
３７ カラム信号処理回路
３８ 水平信号読み出し回路
４０ 電源線
４１ 電荷蓄積領域
４２ 感度制御線
４４ リセット電圧線
４６ アドレス制御線
４７ 垂直信号線
４８ リセット制御線
４９ 水平共通信号線
５０ 層間絶縁層
５２ プラグ
５３ 配線
５４，５５ コンタクトプラグ
５６ 配線層
１００ 撮像システム
１０１ 撮像素子
１０２ 結像光学系
１０３ 位置設定部
１０４ 感度設定回路
１０５ 位置設定回路
１０６ 同期回路
１０７ メカシャッタ
１０８ 演算回路
１０９ 記憶領域
１２０ サブ画素
ＰＡ 画素アレイ
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】
【国際調査報告】