知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-05-09
(45)【発行日】2024-05-17
(54)【発明の名称】撮像装置
(51)【国際特許分類】
H04N 25/65 20230101AFI20240510BHJP
H04N 25/78 20230101ALI20240510BHJP
H04N 25/76 20230101ALI20240510BHJP
【ＦＩ】
H04N25/65
H04N25/78
H04N25/76
【請求項の数】
5
(21)【出願番号】P 2021536839
(86)(22)【出願日】2020-06-24
(86)【国際出願番号】 JP2020024749
(87)【国際公開番号】W WO2021019973
(87)【国際公開日】2021-02-04
【審査請求日】2023-04-04
(31)【優先権主張番号】P 2019142102
(32)【優先日】2019-08-01
(33)【優先権主張国・地域又は機関】JP
(73)【特許権者】
【識別番号】314012076
【氏名又は名称】パナソニックＩＰマネジメント株式会社
(74)【代理人】
【識別番号】100101683
【弁理士】
【氏名又は名称】奥田 誠司
(74)【代理人】
【識別番号】100155000
【弁理士】
【氏名又は名称】喜多 修市
(74)【代理人】
【識別番号】100180529
【弁理士】
【氏名又は名称】梶谷 美道
(74)【代理人】
【識別番号】100125922
【弁理士】
【氏名又は名称】三宅 章子
(74)【代理人】
【識別番号】100188813
【弁理士】
【氏名又は名称】川喜田 徹
(74)【代理人】
【識別番号】100184985
【弁理士】
【氏名又は名称】田中 悠
(74)【代理人】
【識別番号】100202197
【弁理士】
【氏名又は名称】村瀬 成康
(74)【代理人】
【識別番号】100218981
【弁理士】
【氏名又は名称】武田 寛之
(72)【発明者】
【氏名】三宅 康夫
(72)【発明者】
【氏名】宍戸 三四郎
【審査官】橘 高志
(56)【参考文献】
【文献】特開２０１８－０１３４２２（ＪＰ，Ａ）
【文献】特開２００７－２８１５５６（ＪＰ，Ａ）
【文献】特開２０１２－０６０５９１（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｈ０４Ｎ ２５／６５
Ｈ０４Ｎ ２５／７８
Ｈ０４Ｎ ２５／７６
(57)【特許請求の範囲】
【請求項1】
それぞれが電荷蓄積領域および読出し回路を有し、露光量に応じた電荷を蓄積する複数の画素と、第１フレームメモリと、
第２フレームメモリと、
画像処理回路と、
第１波長にピークを有する赤外線を出射する第１光源と
を備え、
前記第１フレームメモリは、前記読出し回路を介して読み出された第１アナログ信号に対応した第１デジタル信号を一時的に保持し、
前記第２フレームメモリは、前記第１アナログ信号に関する読出し期間に続く第１露光期間に前記画素に蓄積された電荷量に応じた第２アナログ信号に対応する第２デジタル信号を一時的に保持し、
前記画像処理回路は、前記第１露光期間および前記第１露光期間の１つ後の第２露光期間に前記画素に累積して蓄積された電荷量に応じた第３アナログ信号に対応する第３デジタル信号と前記第２デジタル信号との第１差分と、前記第２デジタル信号と前記第１デジタル信号との第２差分との差分を出力し、
前記第１露光期間および前記第２露光期間の少なくとも一方は、前記第１光源がオンとされる期間を含む、撮像装置。
【請求項2】
前記第１アナログ信号は、前記画素に関するリセットレベルを表現するリセット信号である、請求項１に記載の撮像装置。【請求項3】
前記第１光源は、前記第１露光期間および前記第２露光期間のうち前記第２露光期間にオンとされる、請求項１または２に記載の撮像装置。【請求項4】
前記第１波長とは異なる第２波長にピークを有する光を出射する第２光源をさらに備え、前記第１露光期間は、前記第２光源がオンとされる期間を含む、請求項３に記載の撮像装置。
【請求項5】
各画素は、前記読出し回路が設けられた半導体基板と、
前記半導体基板の上方に位置する光電変換部であって、前記読出し回路に電気的に接続された光電変換部と
を有する、請求項１から４のいずれかに記載の撮像装置。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、撮像装置に関する。
【背景技術】
【0002】
下記の特許文献１は、絶縁層を介して半導体基板に支持された有機光電変換層を有する撮像素子を開示している。特許文献１に記載の技術のように、埋め込みフォトダイオードに代えて、複数の画素電極を有する光電変換部を半導体基板の上方に配置した構成は、「積層型」と呼ばれることがある。このような構成において、光電変換部を支持する半導体基板は、それぞれが画素電極を有する複数の画素に対応して複数の読出し回路を有する。特許文献１の図１に記載されているように、各画素の画素電極は、絶縁層中に配置されたビアを介して、複数の読出し回路のうち対応する１つに接続される。
【0003】
撮像素子は、人物、風景等の静止画または動画の取得だけでなく、前方に位置する物体までの距離を算出するための、反射光の強度等の情報の取得にも用いられ得る。例えば下記の特許文献２は、二次元の光パターンを被写体に照射して被写体を撮影することにより、被写体までの距離を示す距離画像を取得する技術を開示している。
【0004】
撮像装置の分野においては、ノイズ低減の要求がある。特に、光電変換によって生成された電荷のリセット時に発生するｋＴＣノイズを低減したいという要求がある。このｋＴＣノイズは、「リセットノイズ」とも呼ばれる。下記の特許文献３は、リセットレベルのデータをフレームメモリに格納し、信号レベルおよびリセットレベルの差分を取得することを開示している。特許文献３に記載の技術では、信号レベルからリセットレベルをデジタル処理によって減算することにより、各画素中のメモリ手段で発生する暗電流に起因するショットノイズの影響をキャンセルしている。
【先行技術文献】
【特許文献】
【0005】
【文献】特開２０１１－２２８６４８号公報
【文献】国際公開第２０１６／１５７５９３号
【文献】特開２００８－０２８５１７号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
しかしながら、いわゆる積層型の構成では、画素電極と半導体基板の読出し回路とが、典型的には金属から形成されるビアを介して電気的に接続される。そのため、例えば不純物領域などの、信号電荷を一時的に蓄積する構造を半導体基板中に設けて、蓄積された信号電荷を特許文献３に記載の技術のようにトランジスタを介して読出し回路に転送しようとしても、信号電荷を完全に転送することが基本的に困難である。すなわち、特許文献３に記載のような、埋め込みフォトダイオードを有する撮像素子に従来用いられているノイズキャンセルの手法を単純に適用することができない。特に測距においては、リセットノイズに代表されるランダムノイズは、算出される距離の正確性を損ねる原因となり得る。
【課題を解決するための手段】
【0007】
本開示の限定的ではないある例示的な実施形態によれば、例えば、以下が提供される。
【0008】
それぞれが電荷蓄積領域および読出し回路を有し、露光量に応じた電荷を蓄積する複数の画素と、第１フレームメモリと、第２フレームメモリと、画像処理回路と、第１波長にピークを有する赤外線を出射する第１光源とを備え、前記第１フレームメモリは、前記読出し回路を介して読み出された第１アナログ信号に対応した第１デジタル信号を一時的に保持し、前記第２フレームメモリは、前記第１アナログ信号に関する読出し期間に続く第１露光期間に前記画素に蓄積された電荷量に応じた第２アナログ信号に対応する第２デジタル信号を一時的に保持し、前記画像処理回路は、前記第１露光期間および前記第１露光期間の１つ後の第２露光期間に前記画素に累積して蓄積された電荷量に応じた第３アナログ信号に対応する第３デジタル信号と前記第２デジタル信号との第１差分と、前記第２デジタル信号と前記第１デジタル信号との第２差分との差分を出力し、前記第１露光期間および前記第２露光期間の少なくとも一方は、前記第１光源がオンとされる期間を含む、撮像装置。
【0009】
包括的または具体的な態様は、素子、デバイス、システム、集積回路、方法またはコンピュータプログラムで実現されてもよい。また、包括的または具体的な態様は、素子、デバイス、装置、システム、集積回路、方法およびコンピュータプログラムの任意の組み合わせによって実現されてもよい。
【0010】
開示された実施形態の追加的な効果および利点は、明細書および図面から明らかになる。効果および／または利点は、明細書および図面に開示の様々な実施形態または特徴によって個々に提供され、これらの１つ以上を得るために全てを必要とはしない。
【発明の効果】
【0011】
本開示のある実施形態によれば、リセットノイズの影響が抑制された、特定の波長に関する画像を取得可能な撮像装置が提供される。
【図面の簡単な説明】
【0012】
【図1】本開示のある実施形態による撮像装置の例示的な構成を概略的に示す図である。
【図2】本開示のある実施形態による撮像装置の例示的な回路構成を模式的に示す図である。
【図3】第１画素Ｐｘ１の例示的なデバイス構造を示す模式的な断面図である。
【図4】本開示のある実施形態による撮像装置の駆動方法の一例を説明するための図である。
【図5】本開示のある実施形態による撮像装置の他の動作例を説明するための図である。
【図6】光源２００がオンとされている期間に、光源２００からの光で照射されている領域が被写体上でどのように遷移していくかを説明するための模式図である。
【図9】本開示のある実施形態による撮像装置のさらに他の動作例を説明するための図である。
【図10】本開示のある実施形態による撮像装置のさらに他の動作例を説明するための図である。
【図11】本開示のある実施形態による撮像装置のさらに他の動作例を説明するための図である。
【図12】本開示の他のある実施形態による撮像装置の例示的な構成を概略的に示す図である。
【図14】本開示のさらに他のある実施形態による撮像装置の例示的な回路構成を模式的に示す図である。
【発明を実施するための形態】
【0013】
本開示の一態様の概要は、以下のとおりである。
【0014】
［項目１］
それぞれが電荷蓄積領域および読出し回路を有し、露光量に応じた電荷を蓄積する複数の画素と、
第１フレームメモリと、
第２フレームメモリと、
画像処理回路と、
第１波長にピークを有する赤外線を出射する第１光源と
を備え、
第１フレームメモリは、読出し回路を介して読み出された第１アナログ信号に対応した第１デジタル信号を一時的に保持し、
第２フレームメモリは、第１アナログ信号に関する読出し期間に続く第１露光期間に画素に蓄積された電荷量に応じた第２アナログ信号に対応する第２デジタル信号を一時的に保持し、
画像処理回路は、第１露光期間および第１露光期間の１つ後の第２露光期間に画素に累積して蓄積された電荷量に応じた第３アナログ信号に対応する第３デジタル信号と第２デジタル信号との第１差分と、第２デジタル信号と第１デジタル信号との第２差分との差分を出力し、
第１露光期間および第２露光期間の少なくとも一方は、第１光源がオンとされる期間を含む、撮像装置。
それぞれが電荷蓄積領域および読出し回路を有し、露光量に応じた電荷を蓄積する複数の画素と、
第１フレームメモリと、
第２フレームメモリと、
画像処理回路と、
第１波長にピークを有する赤外線を出射する第１光源と
を備え、
第１フレームメモリは、読出し回路を介して読み出された第１アナログ信号に対応した第１デジタル信号を一時的に保持し、
第２フレームメモリは、第１アナログ信号に関する読出し期間に続く第１露光期間に画素に蓄積された電荷量に応じた第２アナログ信号に対応する第２デジタル信号を一時的に保持し、
画像処理回路は、第１露光期間および第１露光期間の１つ後の第２露光期間に画素に累積して蓄積された電荷量に応じた第３アナログ信号に対応する第３デジタル信号と第２デジタル信号との第１差分と、第２デジタル信号と第１デジタル信号との第２差分との差分を出力し、
第１露光期間および第２露光期間の少なくとも一方は、第１光源がオンとされる期間を含む、撮像装置。
【0015】
項目１の構成によれば、ランダムノイズをキャンセルしながら、例えば、環境光による光電変換によって生成された電荷の影響をも実質的にキャンセルして、一方の露光期間に意図的に被写体に照射した特定の光に基づく画像を取得することが可能である。
【0016】
［項目２］
第１アナログ信号は、画素に関するリセットレベルを表現するリセット信号である、項目１に記載の撮像装置。
第１アナログ信号は、画素に関するリセットレベルを表現するリセット信号である、項目１に記載の撮像装置。
【0017】
［項目３］
第１光源は、第１露光期間および第２露光期間のうち第２露光期間にオンとされる、項目１または２に記載の撮像装置。
第１光源は、第１露光期間および第２露光期間のうち第２露光期間にオンとされる、項目１または２に記載の撮像装置。
【0018】
項目３の構成によれば、第１光源から照射された光のみの下での撮影によって得られる画像を実質的に表現するデジタル信号あるいは画素値が、リセットノイズの影響がキャンセルされた形で得られる。
【0019】
［項目４］
第１波長とは異なる第２波長にピークを有する光を出射する第２光源をさらに備え、
第１露光期間は、第２光源がオンとされる期間を含む、項目３に記載の撮像装置。
第１波長とは異なる第２波長にピークを有する光を出射する第２光源をさらに備え、
第１露光期間は、第２光源がオンとされる期間を含む、項目３に記載の撮像装置。
【0020】
［項目５］
各画素は、
読出し回路が設けられた半導体基板と、
半導体基板の上方に位置する光電変換部であって、読出し回路に電気的に接続された光電変換部と
を有する、項目１から４のいずれかに記載の撮像装置。
各画素は、
読出し回路が設けられた半導体基板と、
半導体基板の上方に位置する光電変換部であって、読出し回路に電気的に接続された光電変換部と
を有する、項目１から４のいずれかに記載の撮像装置。
【0021】
以下、図面を参照しながら、本開示の実施形態を詳細に説明する。なお、以下で説明する実施形態は、いずれも包括的または具体的な例を示す。以下の実施形態で示される数値、形状、材料、構成要素、構成要素の配置および接続形態、ステップ、ステップの順序などは、一例であり、本開示を限定する主旨ではない。本明細書において説明される種々の態様は、矛盾が生じない限り互いに組み合わせることが可能である。また、以下の実施形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。以下の説明において、実質的に同じ機能を有する構成要素は共通の参照符号で示し、説明を省略することがある。また、図面が過度に複雑になることを避けるために、一部の要素の図示を省略することがある。
【0022】
（撮像装置の実施形態）
図１は、本開示のある実施形態による撮像装置の例示的な構成を概略的に示す。図１に示す撮像装置１００は、それぞれが、半導体基板１１０に支持された光電変換部をその一部に有する複数の画素Ｐｘを含む。すなわち、本開示の実施形態では、撮像装置１００として、いわゆる積層型の構成を有する撮像装置を例示する。
図１は、本開示のある実施形態による撮像装置の例示的な構成を概略的に示す。図１に示す撮像装置１００は、それぞれが、半導体基板１１０に支持された光電変換部をその一部に有する複数の画素Ｐｘを含む。すなわち、本開示の実施形態では、撮像装置１００として、いわゆる積層型の構成を有する撮像装置を例示する。
【0023】
複数の画素Ｐｘは、半導体基板１１０に例えば二次元に配列されることにより、撮像領域を形成する。画素Ｐｘの数および配置は、図１に示す例に限定されず、任意である。例えば、複数の画素Ｐｘを一次元に配列することにより、撮像装置１００をラインセンサとして用い得る。後に図を参照しながら詳しく説明するように、半導体基板１１０は、各画素Ｐｘに対応して形成された複数の読出し回路を有する。
【0024】
撮像装置１００は、複数の行信号線Ｒｉと、複数の出力信号線Ｓｊとを有する。図１では、複数の画素Ｐｘがｍ行ｎ列に配列されており、複数の行信号線Ｒｉは、画素Ｐｘの複数の行に対応して配置されたｍ本の行信号線Ｒｉ（ｉ＝０，１，２，…，ｍ－２，ｍ－１）を含む。同様に、複数の出力信号線Ｓｊは、画素Ｐｘの複数の列に対応して配置されたｎ本の出力信号線Ｓｊ（ｊ＝０，１，２，…，ｎ－２，ｎ－１）を含む。ここで、ｍおよびｎは、独立して、１以上の整数を表す。
【0025】
複数の行信号線Ｒｉのそれぞれは、同一行に属する１以上の画素Ｐｘに電気的に接続される。これら行信号線Ｒｉは、行走査回路１３０に接続されている。なお、複数の画素Ｐｘの行ごとに２本以上の信号線が設けられることもあり得る。同様に、複数の出力信号線Ｓｊのそれぞれは、同一列に属する１以上の画素Ｐｘの読出し回路に電気的に接続される。複数の出力信号線Ｓｊには、アナログ－デジタル変換回路１４０およびデジタル出力インターフェース１６０が接続されている。デジタル出力インターフェース１６０からは、各列の画素Ｐｘの読出し回路から読み出された信号が出力される。簡単のために、以下では、アナログ－デジタル変換回路１４０を単に「Ａ／Ｄ変換回路１４０」と呼び、デジタル出力インターフェース１６０を単に「インターフェース１６０」と呼ぶ。
【0026】
図１に例示する構成において、撮像装置１００は、Ａ／Ｄ変換回路１４０とインターフェース１６０との間に接続されたデジタルメモリ１５０をさらに有する。デジタルメモリ１５０は、複数の画素Ｐｘから読み出された一行分の信号を一時的に保持する。Ａ／Ｄ変換回路１４０とインターフェース１６０との間にデジタルメモリ１５０を介在させることにより、行単位でのデジタル信号の出力をより高速に実行することが可能になる。
【0027】
インターフェース１６０には、画像処理回路１７０が接続される。画像処理回路１７０は、インターフェース１６０から出力されるデジタル信号に対し、必要に応じてガンマ補正、色補間処理、空間補間処理、オートホワイトバランスなどの処理を実行する。画像処理回路１７０は、例えばＤＳＰ（Digital Signal Processor）、ＩＳＰ（Image Signal Processor）、ＦＰＧＡ（field-programmable gate array）などによって実現され得る。図１に例示する構成において、撮像装置１００は、画像処理回路１７０に接続された液晶ディスプレイまたは有機ＥＬディスプレイなどの表示装置１８０をさらに含む。表示装置１８０は、撮影によって得られたデジタル信号に基づく画像を撮像装置１００のユーザに提示する。
【0028】
図１に例示する構成において、画像処理回路１７０は、第１フレームメモリ１７２および第２フレームメモリ１７４を有する。第１フレームメモリ１７２および第２フレームメモリ１７４のそれぞれは、インターフェース１６０から出力された、１フレームに相当するデジタルデータを一時的に保持する。第１フレームメモリ１７２および第２フレームメモリ１７４には、相異なる１フレーム分のデジタルデータが格納される。後述するように、画像処理回路１７０は、第１フレームメモリ１７２に保持されたデジタル信号と、第２フレームメモリ１７４に保持されたデジタル信号との間の差分処理を実行する。
【0029】
さらにこの例では、撮像装置１００は、光源２００を有する。本開示の典型的な実施形態において、光源２００は、赤外線を出射する赤外光源である。光源２００として、赤外レーザを用いることも可能である。特に、アイセーフと呼ばれる、１．４マイクロメートル付近の波長域の光を出射する光源を光源２００に有利に用い得る。なお、本明細書では、赤外線および紫外線を含めた電磁波全般を、便宜上「光」と表現することがある。
【0030】
光源２００のオンおよびオフは、光源制御装置２１０によって制御される。上述の画像処理回路１７０は、撮像装置１００の例えば外部から与えられる指令データ、クロックなどを受け取り、画素Ｐｘからの信号の読出しに同期した発光タイミング信号を光源制御装置２１０に供給する。すなわち、本開示の実施形態では、光源２００は、複数の画素Ｐｘからの信号の読出しと同期して動作するように構成されている。光源制御装置２１０は、画像処理回路１７０からの発光タイミング信号に基づいてオンおよびオフが制御されるスイッチング素子を含む。
【0031】
また、この例では、画像処理回路１７０に制御回路２５０が電気的に接続されている。画像処理回路１７０は、制御回路２５０に垂直同期信号、水平同期信号などの制御信号も提供する。制御回路２５０には、行走査回路１３０およびＡ／Ｄ変換回路１４０が接続されており、制御回路２５０は、撮像装置１００全体を制御する。制御回路２５０は、例えば１以上のプロセッサを含むマイクロコントローラによって実現され、典型的には、タイミングジェネレータを有する。制御回路２５０は、行走査回路１３０およびＡ／Ｄ変換回路１４０に駆動信号を供給する。図１中、制御回路２５０に向かって延びる矢印および制御回路２５０から延びる矢印は、それぞれ、制御回路２５０への入力信号および制御回路２５０からの出力信号を模式的に表現している。制御回路２５０が１以上のメモリを含んでいてもよい。
【0032】
後に図面を参照しながら詳しく説明するように、本開示の典型的な実施形態では、インターフェース１６０から出力される第１のデジタル信号と、第１露光期間をその一部に含むあるフレーム期間に関する画像を表現する第２のデジタル信号との間の差分をデジタル処理によって算出する。ここで、第１のデジタル信号は、例えば、第１露光期間の開始前に実行されるリセット動作後に各画素から読み出されるリセット信号に対応するデジタル信号である。第１のデジタル信号は、リセットノイズを含んでおり、また、リセット信号の読出しに続けて画素の露光が実行されるので、結果として第２のデジタル信号も第１のデジタル信号と同様のリセットノイズを含んでいる。したがって、第１および第２のデジタル信号間の差分は、リセットノイズを実質的に含まない。
【0033】
本開示の典型的な実施形態では、さらに、前述のフレーム期間の１つ後のフレーム期間であって、第２露光期間をその一部に含むフレーム期間に関する画像を表現する第３のデジタル信号と、第２のデジタル信号との間の差分をデジタル処理によって算出する。ここで、これら２つの互いに隣接するフレーム期間の間においては画素Ｐｘのリセット動作を実行しない。したがって、これらのフレーム期間のうち、後のフレーム期間中の読出し期間に各画素から読み出される信号は、第１露光期間および第２露光期間に累積して蓄積されたトータルの電荷量に応じた信号である。第３のデジタル信号も、第２のデジタル信号と同様にリセットノイズを含んでいる。第３のデジタル信号と、第２のデジタル信号との間で差分をとることにより、このリセットノイズの影響は、実質的にキャンセルされる。
【0034】
第１露光期間および第２露光期間の一方は、光源２００がオンとされる期間を含み、第１露光期間および第２露光期間の他方では、光源２００はオフの状態とされる。すなわち、第２および第３のデジタル信号のうちの一方は、太陽光または照明器具からの光などの環境光の下で被写体から反射された光に基づく信号であり、他方は、環境光に意図的に例えば赤外光を重畳させた光の下で被写体から反射された光に基づく信号である。したがって、後に詳しく説明するように、第１および第２のデジタル信号間の第１の差分と、第２および第３のデジタル信号間の第２の差分との間の差分をさらに算出することにより、実質的に、一方の露光期間において光源から被写体に意図的に照射した光の被写体からの反射光に基づく画像を表現する画像データを得ることが可能である。しかも、第１の差分および第２の差分からは、リセットノイズの影響が実質的に除去されている。すなわち、本開示の実施形態によれば、ランダムノイズをキャンセルしながら、例えば、環境光による光電変換によって生成された電荷の影響をも実質的にキャンセルして、一方の露光期間に意図的に被写体に照射した特定の光に基づく画像を取得することが可能である。
【0035】
（画素Ｐｘの例示的な回路構成）
図２は、撮像装置１００の例示的な回路構成を示す。簡単のために、図２では、図１に示す撮像領域に含まれる複数の画素Ｐｘから４つを取り出して模式的に示している。これら４つの画素Ｐｘは、２行２列に配列された第１画素Ｐｘ１、第２画素Ｐｘ２、第３画素Ｐｘ３および第４画素Ｐｘ４を含む。これらのうち、第１画素Ｐｘ１および第２画素Ｐｘ２は、同一の行に位置し、他方、第３画素Ｐｘ３および第４画素Ｐｘ４は、第１画素Ｐｘ１および第２画素Ｐｘ２とは異なる同一の行に位置する。画素の基本的な回路構成は、これらの画素Ｐｘ１～Ｐｘ４の間で共通であり、したがって以下では、第１画素Ｐｘ１に注目して各画素の例示的な構成を説明する。
図２は、撮像装置１００の例示的な回路構成を示す。簡単のために、図２では、図１に示す撮像領域に含まれる複数の画素Ｐｘから４つを取り出して模式的に示している。これら４つの画素Ｐｘは、２行２列に配列された第１画素Ｐｘ１、第２画素Ｐｘ２、第３画素Ｐｘ３および第４画素Ｐｘ４を含む。これらのうち、第１画素Ｐｘ１および第２画素Ｐｘ２は、同一の行に位置し、他方、第３画素Ｐｘ３および第４画素Ｐｘ４は、第１画素Ｐｘ１および第２画素Ｐｘ２とは異なる同一の行に位置する。画素の基本的な回路構成は、これらの画素Ｐｘ１～Ｐｘ４の間で共通であり、したがって以下では、第１画素Ｐｘ１に注目して各画素の例示的な構成を説明する。
【0036】
第１画素Ｐｘは、光電変換部１０と、光電変換部１０に電気的に接続された読出し回路２０とを含む。後述するように、光電変換部１０は、画素電極と、対向電極と、これらの電極に挟まれた光電変換層とを有する。各画素の光電変換部１０は、電圧供給回路１９０に接続された電圧線１９２との電気的接続を有し、撮像装置１００の動作時に、画素電極と対向電極との間に所定の電圧を印加可能に構成されている。電圧供給回路１９０は、撮像装置１００の動作時に各画素の光電変換部１０に所定の電圧を印加可能に構成されていればよく、特定の電源回路に限定されない。電圧供給回路１９０は、所定の電圧を生成する回路であってもよいし、他の電源から供給された電圧を所定の電圧に変換する回路であってもよい。電圧供給回路１９０は、行走査回路１３０の一部であってもよい。
【0037】
図２に例示する構成において、読出し回路２０は、信号検出トランジスタ２２、アドレストランジスタ２４およびリセットトランジスタ２６を含む。信号検出トランジスタ２２、アドレストランジスタ２４およびリセットトランジスタ２６は、典型的には、半導体基板１１０に形成された電界効果トランジスタであり、以下では、ＮチャンネルＭＯＳＦＥＴをこれらトランジスタに用いた例を説明する。
【0038】
信号検出トランジスタ２２のゲートは、光電変換部１０の画素電極に接続される。信号検出トランジスタ２２のソースは、アドレストランジスタ２４を介して、対応する出力信号線Ｓｊに接続される。ここでは、第１画素Ｐｘ１および第４画素Ｐｘ４が同一列に属しており、これらの画素の読出し回路２０に含まれる信号検出トランジスタ２２のソースは、ともに同一の出力信号線Ｓｊに電気的に接続される。図２に模式的に示すように、Ａ／Ｄ変換回路１４０は、カラム信号処理回路１４３などの、出力信号線Ｓｊごとに設けられた複数の要素を有し得る。これら複数の要素のそれぞれは、複数の出力信号線のうち対応する１つに接続されている。他方、信号検出トランジスタ２２のドレインは、電源線１９４に接続される。電源線１９４は、撮像装置１００の動作時に３．３Ｖ程度の電源電圧ＶＤＤが印加されることによりソースフォロワ電源として機能する。
【0039】
アドレストランジスタ２４のゲートには、行信号線Ｒｉが接続される。行走査回路１３０は、行信号線Ｒｉに印加する電圧レベルの制御により、アドレストランジスタ２４のオンおよびオフを切り替える。これにより、行走査回路１３０は、選択した行に属する画素Ｐｘから、対応する出力信号線に信号を読み出すことができる。
【0040】
この例では、読出し回路２０は、リセットトランジスタ２６を含んでいる。リセットトランジスタ２６のドレインおよびソースの一方は、光電変換部１０を信号検出トランジスタ２２のゲートに電気的に接続するノードＦＤに接続されている。リセットトランジスタ２６のドレインおよびソースの他方は、リセット電圧線１９６に接続される。リセット電圧線１９６は、リセット電圧供給回路１９８に接続されている。撮像装置１００の動作時、所定のリセット電圧ＶＲＳＴがリセット電圧供給回路１９８からリセット電圧線１９６に印加される。リセット電圧ＶＲＳＴとしては、例えば０Ｖまたは０Ｖ付近の電圧が用いられる。リセット電圧供給回路１９８は、撮像装置１００の動作時に各画素に所定のリセット電圧を印加可能に構成されていればよく、電圧供給回路１９０と同様に特定の電源回路に限定されない。リセット電圧供給回路１９８は、電圧供給回路１９０から独立した回路であってもよく、リセット電圧供給回路１９８および電圧供給回路１９０の一方が他方の一部であってもよい。
【0041】
複数の画素Ｐｘに対応して複数のリセット信号線Ｑｉが設けられる。図示するように、典型的には、同一行に属する複数の画素Ｐｘのリセットトランジスタ２６のゲートに、共通して１つのリセット信号線Ｑｉが接続される。この例では、リセット信号線Ｑｉは、行走査回路１３０との接続を有する。したがって、行走査回路１３０は、リセット信号線Ｑｉに印加する電圧レベルの制御により、複数の画素Ｐｘの行単位でリセットトランジスタ２６をオンして、リセットトランジスタ２６がオンとされた画素ＰｘのノードＦＤの電位をＶＲＳＴにリセットすることができる。
【0042】
（画素Ｐｘのデバイス構造）
図３は、第１画素Ｐｘ１のデバイス構造を模式的に示す。第１画素Ｐｘ１は、概略的には、読出し回路２０が形成された半導体基板１１０と、半導体基板１１０に支持された光電変換部１０とを含む。図３に示すように、典型的には、読出し回路２０を覆う絶縁層５０が半導体基板１１０と光電変換部１０との間に配置される。
図３は、第１画素Ｐｘ１のデバイス構造を模式的に示す。第１画素Ｐｘ１は、概略的には、読出し回路２０が形成された半導体基板１１０と、半導体基板１１０に支持された光電変換部１０とを含む。図３に示すように、典型的には、読出し回路２０を覆う絶縁層５０が半導体基板１１０と光電変換部１０との間に配置される。
【0043】
光電変換部１０は、絶縁層５０に支持された画素電極１１、透光性の対向電極１３、および、画素電極１１と対向電極１３との間に位置する光電変換層１２を含む。画素電極１１は、光電変換層１２よりも半導体基板１１０の近くに位置し、アルミニウム、銅などの金属、金属窒化物、または、不純物がドープされることにより導電性が付与されたポリシリコンなどから形成され得る。図３に示すように、画素電極１１は、隣接する他の画素の画素電極１１から空間的に分離されることにより、これらから電気的に分離されている。
【0044】
対向電極１３は、被写体からの光が到来する側に位置する。対向電極１３は、ＩＴＯなどの導電性材料から形成される透光性の電極である。なお、本明細書における「透光性」の用語は、光電変換層１２が吸収可能な波長の光の少なくとも一部を透過することを意味し、可視光の波長範囲全体にわたって光を透過することは必須ではない。対向電極１３の、光電変換層１２とは反対側の主面上には、カラーフィルタなどの光学フィルタ、マイクロレンズなどが配置され得る。
【0045】
対向電極１３は、典型的には、複数の画素に跨って連続した単一の電極層の形で設けられる。前述の電圧線１９２は、光電変換部１０の対向電極１３に接続される。図２では、複数の画素の光電変換部１０ごとに電圧線１９２が接続されているように図示されているが、典型的には、各画素の対向電極１３は、複数の画素の間で連続した単一の透光性の電極の一部である。したがって、各画素の対向電極１３は、基本的に等電位であり、電圧線１９２が複数本に分岐した配線であることは必須ではない。
【0046】
光電変換層１２は、有機材料またはアモルファスシリコンなどの無機材料から形成され、対向電極１３を透過した光の入射を受けて電荷対を発生させる。対向電極１３と同様に、光電変換層１２は、典型的には、複数の画素に跨って連続した単一の光電変換構造の形で設けられる。すなわち、各画素中の光電変換層１２は、複数の画素にわたって連続的に形成された光電変換層の一部であり得る。
【0047】
光電変換材料として、１種以上の適当な材料を選択して光電変換層１２を形成することにより、例えば、可視域および赤外域の両方に感度を示す光電変換層１２を得ることが可能である。このような材料例は、例えば国際公開第２０１８／０２５５４４号において詳細に説明されている。参考のために、国際公開第２０１８／０２５５４４号の開示内容の全てを本明細書に援用する。光電変換層１２は、量子ドットおよび／またはナノチューブから構成されていてもよい。あるいは、光電変換層１２が、光電変換材料として量子ドットおよび／またはナノチューブを含んでいてもよい。光電変換層１２は、有機材料から構成される層と無機材料から構成される層とを含んでいてもよい。
【0048】
半導体基板１１０と光電変換部１０との間に位置する絶縁層５０は、例えば、各々が二酸化シリコンから形成された複数の絶縁層を含む。図３に模式的に示すように、絶縁層５０の内部には、一端が光電変換部１０の画素電極１１に接続された導電構造５２を少なくとも含む多層配線が設けられる。導電構造５２は、銅などの金属から形成されたビアおよび配線、ポリシリコンから形成されたプラグなどを含み得る。図示する例において、導電構造５２の他端は、半導体基板１１０に形成された不純物領域１１１に電気的に接続されている。
【0049】
半導体基板１１０は、不純物領域１１１に加えて、不純物領域１１２、１１３、１１４および１１５を有する。半導体基板１１０は、さらに、画素Ｐｘごとに設けられた読出し回路２０を画素Ｐｘ間で電気的に分離する素子分離領域１１６も有する。以下では、半導体基板１１０としてＰ型シリコン基板を例示する。半導体基板１１０は、表面に半導体層が設けられた絶縁基板などであってもよい。
【0050】
不純物領域１１１、１１２、１１３、１１４および１１５のそれぞれは、典型的には、Ｎ型の拡散領域である。これらの不純物領域のうち、導電構造５２が接続された不純物領域１１１は、リセットトランジスタ２６のソース領域およびドレイン領域の一方として機能する。リセットトランジスタ２６は、さらに、ソース領域およびドレイン領域の他方として機能する不純物領域１１２と、半導体基板１１０上のゲート絶縁層２６ｇと、ゲート絶縁層２６ｇ上のゲート電極２６ｅとを含む。図３では図示が省略されているが、不純物領域１１２には、上述のリセット電圧線１９６が接続される。
【0051】
信号検出トランジスタ２２は、不純物領域１１３および不純物領域１１４と、半導体基板１１０上のゲート絶縁層２２ｇと、ゲート絶縁層２２ｇ上のゲート電極２２ｅとを含む。不純物領域１１３は、信号検出トランジスタ２２のドレイン領域として機能し、不純物領域１１４は、信号検出トランジスタ２２のソース領域として機能する。不純物領域１１３には、上述の電源線１９４が接続される。図３に模式的に示すように、素子分離領域１１６は、信号検出トランジスタ２２とリセットトランジスタ２６との間にも設けられる。
【0052】
アドレストランジスタ２４は、不純物領域１１４および不純物領域１１５と、半導体基板１１０上のゲート絶縁層２４ｇと、ゲート絶縁層２４ｇ上のゲート電極２４ｅとを含む。不純物領域１１４および不純物領域１１５は、それぞれ、アドレストランジスタ２４のドレイン領域およびソース領域として機能する。図３に例示する構成において、アドレストランジスタ２４は、不純物領域１１４を信号検出トランジスタ２２と共有している。不純物領域１１５には、上述の複数の出力信号線Ｓｊのうちの対応する１つが接続される。
【0053】
絶縁層５０は、これら信号検出トランジスタ２２、アドレストランジスタ２４およびリセットトランジスタ２６を覆う。図３に模式的に示すように、絶縁層５０中の導電構造５２は、信号検出トランジスタ２２のゲート電極２２ｅとの間にも電気的接続を有する。すなわち、各画素中の導電構造５２は、光電変換部１０の画素電極１１と、半導体基板１１０に形成された信号検出トランジスタ２２などを含む読出し回路２０とを互いに電気的に接続する機能を有する。
【0054】
さらに、導電構造５２は、画素電極１１によって収集される電荷、すなわち信号電荷を一時的に蓄積する電荷蓄積領域の一部としての機能も有する。図２を参照しながら説明したように、電圧供給回路１９０は、電圧線１９２を介して各画素の光電変換部１０に所定の電圧を印加する。例えば光電変換部１０の対向電極１３への電圧の印加によって、露光期間に、対向電極１３と画素電極１１との間に所定の電位差ΔＶを印加することができる。例えば画素電極１１を基準として、画素電極１１よりも対向電極１３の方が電位が高くなるように対向電極１３に電圧を印加することにより、光の入射によって光電変換層１２中に生成される正および負の電荷のうち、正の極性を有する電荷、例えば、正孔を信号電荷として画素電極１１によって収集することができる。信号電荷は、導電構造５２をその一部に含む電荷蓄積領域に一時的に蓄積される。導電構造５２と同様に、半導体基板１１０に形成された不純物領域１１１、光電変換部１０の画素電極１１、および、信号検出トランジスタ２２のゲート電極２２ｅも、信号電荷を一時的に蓄積する電荷蓄積領域の一部として機能する。
【0055】
（撮像装置１００の例示的な駆動方法）
図４は、本開示のある実施形態による撮像装置の駆動方法の一例を説明するための図である。図４中、一番上のチャートは、垂直同期信号ＶＤのパルスを示す。垂直同期信号ＶＤのパルスの立ち上がりは、信号電荷の蓄積のための露光期間をその一部に含むフレーム期間の開始を表す。図４中、上から２番目のチャートは、水平同期信号ＨＤのパルスを示す。あるパルスの立ち上がりから次のパルスの立ち上がりまでの期間が、１つの水平走査期間である１Ｈに対応する。図４中、上から３番目のチャートは、光源制御装置２１０による光源２００のオンおよびオフのタイミングを示している。
図４は、本開示のある実施形態による撮像装置の駆動方法の一例を説明するための図である。図４中、一番上のチャートは、垂直同期信号ＶＤのパルスを示す。垂直同期信号ＶＤのパルスの立ち上がりは、信号電荷の蓄積のための露光期間をその一部に含むフレーム期間の開始を表す。図４中、上から２番目のチャートは、水平同期信号ＨＤのパルスを示す。あるパルスの立ち上がりから次のパルスの立ち上がりまでの期間が、１つの水平走査期間である１Ｈに対応する。図４中、上から３番目のチャートは、光源制御装置２１０による光源２００のオンおよびオフのタイミングを示している。
【0056】
図４には、撮像領域に含まれる複数の画素Ｐｘの動作を示す複数のブロックもあわせて１つの図に示されている。簡単のために、ここでは、複数の画素Ｐｘの行数が第０行Ｒ０～第５行Ｒ５の６行であるとしており、画素Ｐｘの動作を複数の矩形のブロックにより模式的に示している。図４中、例えば白い矩形のブロックは、フレーム期間のうちの露光期間を模式的に表し、垂直線によるハッチングが付された矩形のブロックは、暗時の信号レベルに相当するリセットレベルの読出しの期間を表す。また、斜め線によるハッチングが付された矩形のブロックは、被写体の画像を表現する画素信号の読出しの期間を表している。
【0057】
図４は、複数の画素の行ごとに露光および信号の読出しを実行する、いわゆるローリングシャッタに基づく動作の一例を示している。ここでは、まず、第０行Ｒ０～第５行Ｒ５のうち第０行Ｒ０に注目する。画像の取得においては、まず、各画素Ｐｘの電荷蓄積領域のリセットが実行される。図４に示す例では、垂直同期信号ＶＤに基づき、第０行Ｒ０に属する複数の画素のリセットを時刻ｔ０に開始している。
【0058】
具体的には、リセットトランジスタ２６をオンすることにより、ノードＦＤの電位をリセット電圧線１９６の電位に揃える。すなわち、光電変換部１０の画素電極１１の電圧をリセット電圧ＶＲＳＴとする。図２および図３から理解されるように、読出し回路２０の信号検出トランジスタ２２は、導電構造５２を介して画素電極１１にそのゲート電極２２ｅが電気的に接続されることにより、画素電極１１の電位に応じた信号を出力する。すなわち、読出し回路２０は、信号検出トランジスタ２２を含むソースフォロワにより、画素電極１１の電位に応じたアナログ信号を、対応する出力信号線Ｓｊに出力する。
【0059】
リセットトランジスタ２６をオフとした後、アドレストランジスタ２４をオンとすることにより、信号検出トランジスタ２２のゲート電極２２ｅに印加されるリセット電圧ＶＲＳＴに応じた信号が、出力信号線Ｓｊに出力される。このときに出力信号線Ｓｊに出力される信号は、リセットレベルを表現するアナログ信号であり、通常、リセットトランジスタ２６のオフに伴って生じるリセットノイズを含んでいる。以下では、リセットレベルを表現するアナログ信号を便宜的にリセット信号と呼ぶ。
【0060】
出力信号線Ｓｊに読み出されたリセット信号は、Ａ／Ｄ変換回路１４０によってデジタル信号に変換される。リセット信号の読出し後、アドレストランジスタ２４をオフとする。図４に模式的に示すように、水平同期信号ＨＤに同期して、上述の読出し動作が行単位で順次に実行される。水平同期信号ＨＤのパルスの間隔すなわち１Ｈ期間は、ある行が選択されてから次の行が選択されるまでの期間を表す。この例では、時刻ｔ０から時刻ｔ１までの期間に、第０行Ｒ０に属する画素のリセットおよび画素からの信号の読み出しを実行しており、時刻ｔ１から時刻ｔ２までの期間に、第１行Ｒ１に属する画素のリセットおよび画素からの信号の読み出しを実行している。第２行Ｒ２以降についても同様の動作が順次に実行される。以上から理解されるように、リセットレベルの読出し期間には、画素の電荷蓄積領域の電位をリセットするためのリセット期間が含まれ得る。図４において時刻ｔ０から時刻ｔ６までの間に読み出されたリセット信号に対応するデジタル信号は、第１フレームメモリ１７２に保持される。すなわち、リセットレベルの読出し期間の完了後の第１フレームメモリ１７２は、１フレーム分のデジタル信号に相当する画像データを保持した状態にある。
【0061】
再び第０行Ｒ０に属する画素に注目する。リセット信号の読出し後、露光期間が開始される。この例では、第０行Ｒ０に着目すると、時刻ｔ１から時刻ｔ８の期間がｋ番目のフレーム期間における、第０行Ｒ０に関する露光期間とされている。ここで、ｋは、０以上の整数である。露光期間は、画素に対する露光量に応じた信号電荷を電荷蓄積領域に蓄積するための期間である。複数の画素Ｐｘの各行の露光期間の長さは、例えば１／６０秒～１／１６０００秒の範囲である。
【0062】
このとき、各画素Ｐｘの光電変換部１０の対向電極１３は、電圧線１９２を介して電圧供給回路１９０から所定の電圧Ｖ１の供給を受けることにより、画素電極１１に対して例えば高電位の状態とされる。リセット直後の画素電極１１の電位は、上述のリセット電圧ＶＲＳＴによって決まり、リセットの直後、画素電極１１と対向電極１３との間には（Ｖ１－ＶＲＳＴ）のバイアス電圧が印加された状態にある。
【0063】
画素電極１１に対して対向電極１３の電位が相対的に高くされることにより、光電変換によって生じた電荷対のうち正の電荷が画素電極１１によって収集される。不純物領域１１１の形成によって半導体基板１１０中に形成されるＰＮ接合は、画素電極１１によって収集された正電荷を一時的に蓄積する接合容量として機能する。信号電荷として正孔を利用する場合、不純物領域１１１への信号電荷の蓄積に伴い、電荷蓄積部としての不純物領域１１１の電位は、上昇する。なお、本開示の典型的な実施形態では、（Ｖ１－ＶＲＳＴ）＞０であるが、例えば、画素電極１１よりも対向電極１３の電位が低くなるような電圧を対向電極１３に印加することにより、例えば電子を信号電荷として利用することももちろん可能である。
【0064】
所定の時間の経過後、画素信号の読出しを実行する。この例では、垂直同期信号ＶＤに基づき、時刻ｔ８に、第０行Ｒ０に属する画素からの信号の読出しを開始している。具体的には、第０行Ｒ０の画素の読出し回路２０中のアドレストランジスタ２４をオンとする。上述したように、読出し回路２０は、画素電極１１の電位に応じたアナログ信号を、対応する出力信号線Ｓｊに出力する。このときに第０行Ｒ０の画素から読み出される信号は、第０行Ｒ０に関する露光期間に電荷蓄積領域に蓄積された電荷量に応じたアナログ信号であり、太陽光等の環境光に基づく被写体の像を表現する。説明の便宜のために、以下では、ｋ番目のフレーム期間中の露光期間に蓄積された電荷量に応じたアナログ信号を第１の画素信号と呼ぶ。この第１の画素信号には、露光期間の前に実行されたリセット動作によって生じたリセットノイズが含まれている。第１の画素信号の読出し後、アドレストランジスタ２４は、再びオフとされる。
【0065】
読出し回路２０を介して出力信号線Ｓｊに読出された第１の画素信号は、Ａ／Ｄ変換回路１４０によってデジタル信号に変換される。本開示の実施形態では、Ａ／Ｄ変換回路１４０によって生成された、第１の画素信号に対応するデジタル信号が、第２フレームメモリ１７４に一時的に保持される。
【0066】
第１行Ｒ１～第５行Ｒ５についても、上述した露光および信号読出しの動作が時刻ｔ９から時刻ｔ１４までの期間に行単位で順次に実行される。第０行Ｒ０～第５行Ｒ５までの第１の画素信号の読出しが完了することにより、ｋ番目のフレーム期間が終了する。このとき、第２フレームメモリ１７４は、１フレーム分のデジタル信号に相当する画像データを保持した状態にある。
【0067】
次に、ｋ番目のフレーム期間に続く（ｋ＋１）番目のフレーム期間の画像データの取得を実行する。このときの各画素Ｐｘの信号電荷蓄積の動作および信号読出しの動作は、ｋ番目のフレーム期間と基本的には同様である。ただし、ｋ番目のフレーム期間と（ｋ＋１）番目のフレーム期間との間では、各画素Ｐｘのリセットを行わない。
【0068】
図４に示す例において例えば第０行Ｒ０に注目すると、（ｋ＋１）番目のフレーム期間の露光期間は、時刻ｔ８に開始されている。本開示の実施形態では、ｋ番目のフレーム期間の露光期間と、その１つ後の露光期間である（ｋ＋１）番目のフレーム期間の露光期間との間に、画素Ｐｘのリセットを実行していない。したがって、読出し回路２０を介した第１の画素信号の読出しにおいて、電荷蓄積領域からの信号電荷の流出および電荷蓄積領域へのさらなる電荷の流入は、基本的に生じない。すなわち、読出し回路２０を介した第１の画素信号の読出しは、非破壊での読出しである。したがって、（ｋ＋１）番目のフレーム期間の露光期間の開始により、各画素Ｐｘの電荷蓄積領域には、（ｋ＋１）番目のフレーム期間の露光期間に光電変換によって生成された信号電荷が、１つ前の露光期間に蓄積された信号電荷に累積して蓄積される。
【0069】
第０行Ｒ０に注目したとき、この例では、時刻ｔ９から、読出し回路２０を介したアナログ信号の読出しの開始である時刻ｔ１６までの期間が、（ｋ＋１）番目のフレーム期間の露光期間に相当する。ここで、本開示の実施形態では、ｋ番目のフレーム期間の露光期間および（ｋ＋１）番目のフレーム期間の露光期間の一方は、光源２００がオンとされる期間を含む。図４に示す例では、時刻ｔ１４から時刻ｔ１６の期間、光源２００がオンとされている。
【0070】
光源２００がオンとされている期間、被写体には、光源２００から出射された例えば赤外光が環境光に重畳された光が照射される。したがって、各画素Ｐｘの電荷蓄積領域には、赤外光を含む、被写体からの反射光の強度に応じた信号電荷が蓄積されることになる。すなわち、ｋ番目のフレーム期間の露光期間から信号電荷が累積して蓄積されることによる電荷蓄積領域の電位の上昇は、赤外光の照射に応じた増分を含む。この電位の上昇は、純粋に赤外光のみを被写体に照射したときに得られる信号電荷量を反映している。特に、この例では、図４に模式的に示すように、露光期間に含まれる、光源２００のオンの期間の長さを複数の画素Ｐｘの各行の間で共通としている。したがって、光源２００がオンとされたことに起因する信号電荷の増分に対応する画素信号は、光源２００からの赤外光に基づく被写体の画像を表現するものになる。
【0071】
光源２００から出射される光としては、赤外域の第１波長にピークを有する赤外光を選択することができる。第１波長が例えば１３００ｎｍ以上１５００ｎｍ以下の範囲にあると、太陽光のスペクトルから欠落した波長を効果的に利用することが可能になるので有利である。第１波長として、太陽光から欠落している波長を選択することにより、外乱光による影響が抑制された撮像を実行することができる。なお、光源２００からの光を利用して測距を行うような応用においては、ストライプ、ランダムなドットなどの、反射光のパターンが被写体表面の凹凸を反映するようなパターンの光が光源２００から出射され得る。
【0072】
露光期間の終了後、ｋ番目のフレーム期間と同様にして、複数の画素Ｐｘの行単位で画素信号の読出しを順次に実行する。この例では、垂直同期信号ＶＤに基づき、時刻ｔ１６から、第０行Ｒ０に属する複数の画素の読出しを開始している。読出し回路２０を介してこのときに各画素から読み出されるアナログ信号は、ｋ番目のフレーム期間中の露光期間、および、（ｋ＋１）番目のフレーム期間中の露光期間に画素に累積して蓄積された電荷量に応じた信号であり、以下では、このアナログ信号を第２の画素信号と呼ぶ。（ｋ＋１）番目のフレーム期間は、第５行Ｒ５に属する複数の画素からの第２の画素信号の読出しの完了により終了する。この例では、時刻ｔ２２に、（ｋ＋１）番目のフレーム期間が終了している。
【0073】
読出し回路２０を介して出力信号線Ｓｊに読出された第２の画素信号は、第１の画素信号と同様に、Ａ／Ｄ変換回路１４０によってデジタル信号に変換され、画像処理回路１７０に出力される。画像処理回路１７０は、例えば、（ｋ＋１）番目のフレーム期間に関する第２の画素信号に対応するデジタル信号と、第２フレームメモリ１７４に一時的に保持されていた、ｋ番目のフレーム期間に関する第１の画素信号に対応するデジタル信号との間の差分を算出する。以下、この差分を便宜的に「第１差分」と呼ぶ。
【0074】
（ｋ＋１）番目のフレーム期間の露光期間には、各画素の電荷蓄積領域に、光源２００からの赤外光を含む、被写体からの反射光の強度に応じた信号電荷が累積的に蓄積される。すなわち、（ｋ＋１）番目のフレーム期間の露光期間に蓄積される信号電荷には、環境光のうち被写体によって反射された成分の光電変換によって生成された電荷と、光源２００から照射された光のうち被写体によって反射された成分の光電変換によって生成された電荷とが含まれる。これらのうちの前者の電荷量は、（ｋ＋１）番目のフレーム期間とｋ番目のフレーム期間との間で露光期間の長さがほぼ同じである場合、ｋ番目のフレーム期間の露光期間において画素の電荷蓄積領域に蓄積される電荷量とほとんど差が無いといえる。したがって、第２の画素信号に対応するデジタル信号と第１の画素信号に対応するデジタル信号とから算出される第１差分は、太陽光または照明器具からの光などの環境光の下で被写体から反射された光の強度を反映した信号電荷量と、純粋に赤外光のみを被写体に照射したときに得られる信号電荷量との和に対応する。
【0075】
ここで、第１の画素信号にリセットノイズが含まれる結果、第２フレームメモリ１７４に保持されているデジタル信号は、リセットノイズに対応した成分を含んでいる。しかしながら、本開示の実施形態では、互いに隣接する２つのフレーム期間の間で画素のリセットを行っていないので、このリセットノイズに対応した成分は、（ｋ＋１）番目のフレーム期間に関する第２の画素信号に対応するデジタル信号にも同様に含まれている。したがって、第２フレームメモリ１７４に保持されているデジタル信号と、第２の画素信号に対応するデジタル信号との間のデジタル差分処理により得られる第１差分からは、リセットノイズに対応した成分が除去されている。
【0076】
また、画像処理回路１７０は、第２フレームメモリ１７４に一時的に保持されていたデジタル信号と、第１フレームメモリ１７２に一時的に保持されていた、リセット信号に対応するデジタル信号との差分を算出する。以下、この差分を便宜的に「第２差分」と呼ぶ。上述したように、第１フレームメモリ１７２に一時的に保持されたデジタル信号には、リセットノイズに対応した成分が含まれる。しかしながら、このリセットノイズに対応した成分は、第２差分の算出の過程でやはり除去される。すなわち、第２差分は、太陽光または照明器具からの光などの環境光の下で被写体から反射された光の強度を反映した信号電荷量に対応している。
【0077】
画像処理回路１７０は、これら第１差分と第２差分との間の差分を出力する。ここでは、画像処理回路１７０は、第１差分から第２差分を差し引いたデジタル信号を最終的な信号として出力する。第１差分は、太陽光または照明器具からの光などの環境光の下で被写体から反射された光の強度を反映した信号電荷量と、純粋に赤外光のみを被写体に照射したときに得られる信号電荷量との和に対応し、他方、第２差分は、これらのうちの前者に相当する。したがって、第１差分と第２差分との間の差分は、純粋に光源２００から照射された光のみの下での撮影によって得られる画像を表現する。すなわち、光源２００から照射された光のうち被写体によって反射された成分の光電変換によって生成された電荷に基づく画像データを得ることが可能である。しかも、ここで得られる出力には、リセットノイズに対応する成分が含まれない。したがって、リセットノイズの影響がキャンセルされた形で、第１波長に関する画像を構築することが可能になり、例えば、測距への応用において測定の精度を向上させ得る。
【0078】
このように、本開示の実施形態によれば、リセットノイズの影響がキャンセルされた形で、特定の波長に関する画像データを得ることができる。なお、ここでは、画像処理回路１７０が第１差分および第２差分を算出してさらにこれらの差分を算出すると説明している。しかしながら、光源２００から照射された光のみの下での撮影によって得られる画像を実質的に表現するデジタル信号あるいは画素値が得られれば、第１差分に対応する中間的な値および第２差分に対応する中間的な値がメモリなどに格納されることは、必須ではない。
【0079】
なお、第２差分と第１差分との間の差分は、以下のようにして実行されてもよい。まず、第２フレームメモリ１７４に一時的に保持しておいた、第１の画素信号に対応するデジタル信号と、第１フレームメモリ１７２に一時的に保持しておいた、リセット信号に対応するデジタル信号との差分である第２差分を算出し、その結果を第１フレームメモリ１７２に上書きする。その後、第２の画素信号に対応するデジタル信号と、第２フレームメモリ１７４に一時的に保持されているデジタル信号との差分である第１差分を算出し、その結果を第２フレームメモリ１７４に上書きする。そして、第１フレームメモリ１７２に保存されている、第２差分の計算結果と、第２フレームメモリ１７４に保存されている、第１差分の計算結果との差分を算出する。
【0080】
なお、ここでは、互いに隣接するｋ番目および（ｋ＋１）番目のフレーム期間のうち、後の（ｋ＋１）番目のフレーム期間の露光期間中に光源２００をオンとしている。しかしながら、先のｋ番目のフレーム期間の露光期間中に選択的に光源２００をオンとしてもよい。この場合、先ほどの例とは逆に、第１差分が、太陽光または照明器具からの光などの環境光の下で被写体から反射された光の強度を表現し、第２差分が、この強度にさらに光源２００からの赤外光に関する強度を加えた強度を表現する。したがって、第２差分から第１差分を減算することにより、光源２００から照射された光のうち被写体によって反射された成分の光電変換によって生成された電荷に基づく画像データを得ることができる。ここでもやはり、リセットノイズの影響は、第１差分および第２差分を求める過程でキャンセルされる。
【0081】
以上に説明したように、本開示の実施形態では、互いに隣接する２つのフレーム期間において、先の露光期間に蓄積された信号電荷量に応じた画素信号を非破壊で読出し、かつ、１つ後のフレーム期間の露光期間で露光によって生じた信号電荷を累積的に蓄積して画素信号を読み出す。さらに、これら画素信号の差分をデジタル信号の形で取得する。これにより、先のフレーム期間の露光期間に蓄積された信号電荷量と、その信号電荷量に追加して蓄積された信号電荷量との和に相当する画像データを得ることができる。さらに、リセットノイズに相当する成分が差分の過程で除かれる。
【0082】
また、本開示の実施形態では、先の露光期間に蓄積された信号電荷量に応じた画素信号と、その露光期間の開始前に画素から読み出されるアナログ信号との間の差分もデジタル信号の形で取得する。これにより、リセットノイズに相当する成分を除くことができ、純粋に先のフレーム期間の露光期間に蓄積された信号電荷量に対応する画像データが得られる。これらの画像データ間の差分を算出することにより、後のフレーム期間の露光期間に累積して蓄積された信号電荷量に基づく画像データを、リセットノイズに相当する成分が除去された形で得ることができる。
【0083】
さらに、本開示の実施形態では、いずれか一方のフレーム期間の露光期間の一部において光源２００をオンとしているので、これら第１差分と第２差分との間の差分を得ることにより、実質的に光源２００から出射された光のみ基づく画像を構築することが可能である。なお、フレーム期間ごとに画素のリセットを実行しないので、フレームレート向上の効果も得られる。
【0084】
図４を参照しながら説明した例では、第１フレームメモリ１７２に保持するデジタル信号として、リセット信号からアナログ－デジタル変換によって得られるデジタル信号を例示している。しかしながら、第１フレームメモリ１７２に保持するデジタル信号は、リセット信号に対応するデジタル信号に限定されない。リセット信号に対応するデジタル信号に変えて、例えば、互いに隣接する２つのフレーム期間のさらに１つ前のフレーム期間に含まれる露光期間に画素に蓄積された信号電荷量に対応する画素信号を読出し、その画素信号に対応するデジタル信号を第１フレームメモリ１７２に保持してもよい。この場合においても、第１差分と第２差分との間の差分を算出することにより、図４を参照して説明した例と同様に、実質的に光源２００からの赤外光のみに基づく画像データを、リセットノイズに相当する成分が除去された形で得ることができる。この場合においても、互いに隣接する２つのフレーム期間の間では画素のリセット動作を行わない。
【0085】
（撮像装置１００の動作の他の例）
図５は、撮像装置１００の他の動作例を説明するための図である。図５に示す例では、（ｋ＋１）番目のフレーム期間中の露光期間のうち、時刻ｔ１１から時刻ｔ２０までの期間に、光源２００をオンとしている。ここで、本開示の実施形態において、光源２００によって被写体の全体を一括して照射することは、必須ではない。以下に説明するように、例えば、ＭＥＭＳミラーなどの適当な光学系を用いて、光源２００から出射される光を被写体上で走査するようにしてもよい。
図５は、撮像装置１００の他の動作例を説明するための図である。図５に示す例では、（ｋ＋１）番目のフレーム期間中の露光期間のうち、時刻ｔ１１から時刻ｔ２０までの期間に、光源２００をオンとしている。ここで、本開示の実施形態において、光源２００によって被写体の全体を一括して照射することは、必須ではない。以下に説明するように、例えば、ＭＥＭＳミラーなどの適当な光学系を用いて、光源２００から出射される光を被写体上で走査するようにしてもよい。
【0086】
図６は、光源２００がオンとされている期間に、光源２００からの光で照射されている領域が被写体上でどのように遷移していくかを模式的に示す。図６は、光源２００からの光で被写体を垂直方向に走査した例を模式的に示している。図６中、１Ｈ期間ごとに示された６段の矩形のブロックのうち、白抜きのブロックは、被写体の表面のうち光源２００からの光で照射されている領域を表している。図６に模式的に示すように、この例では、光源２００からの光で照射されている領域は、紙面において上から下に向かって遷移している。
【0087】
なお、図６に示す白抜きのブロック中の「Ｒ０」などの符号は、複数の画素Ｐｘのどの行の画素が、そのブロックに対応する領域からの反射光を受けるかを示している。図６から理解されるように、光源２００から照射される光に関し、信号電荷蓄積の時間は、６段のブロックの全ての段において１Ｈ期間の４倍の長さであって共通している。
【0088】
図７および図８は、光源２００からの光の走査をより高速化した例を示す。図７および図８は、それぞれ、図５および図６に対応する図である。図５に示す例と比較して、図７に示す例では、垂直同期信号ＶＤのパルスの間隔である１Ｖ期間が１Ｈ期間の８倍の長さから６倍の長さに短縮されている。
【0089】
この例では、光源２００をオンとする期間が、時刻ｔ８から時刻ｔ１４までの期間に短縮されており、１Ｈ期間の６倍の期間に、光源２００から出射された光による被写体の上端から下端までの走査が実行される。図８に模式的に示すように、ここでは、複数の画素Ｐｘのうち、光源２００から出射されて被写体で反射された光を受ける画素の行が、１Ｈ期間の長さで遷移している。すなわち、この例では、光源２００から照射される光に関する信号電荷蓄積の時間は、６段のブロックの全ての段に共通して１Ｈ期間の長さである。このように、１Ｖ期間を短縮し、光源２００からの光の走査をより高速化することにより、フレームレートをさらに向上させ得る。
【0090】
なお、図７に示す例では、第２の画素信号読出しの終了後、垂直同期信号ＶＤのパルスに同期して、時刻ｔ１８に、次のフレーム期間に関するリセット動作を開始している。複数の画素Ｐｘの第０行Ｒ０～第５行Ｒ５のそれぞれに着目すると、図７に濃い網掛けの矩形で模式的に示すように、（ｋ＋１）番目のフレーム期間に関する第２の画素信号読出しと、その次の（ｋ＋２）番目のフレーム期間に関するリセット信号読出しの開始との間には、基本的に信号電荷の蓄積が不要な期間が生じている。
【0091】
ここで、電圧線１９２を介して電圧供給回路１９０から対向電極１３に供給される電圧Ｖ１を調整し、画素電極１１と対向電極１３との間に印加されるバイアス電圧が（Ｖ１－ＶＲＳＴ）＝０となるようにすると、光電変換により電荷が生成されても、画素電極１１による信号電荷の収集がほとんど生じなくなる。換言すれば、メカニカルシャッタを閉じたときと同様の状態を実現し得る。信号電荷の蓄積が不要な期間において画素電極１１と対向電極１３との間に印加されるバイアス電圧をほぼ０Ｖとすることにより、光電変換層１２における暗電流の発生を抑制し得る。
【0092】
また、複数の画素Ｐｘの全行に共通して、画素電極１１と対向電極１３との間に印加されるバイアス電圧をほぼ０Ｖとすることにより、信号電荷の蓄積のための期間を全ての画素の間で揃える、いわゆるグローバルシャッタの機能を電気的な制御で実現することが可能である。画素電極１１と対向電極１３との間に印加されるバイアス電圧の制御によるグローバルシャッタは、例えば国際公開第２０１７／０９４２２９号において詳細に説明されている。参考のために、国際公開第２０１７／０９４２２９号の開示内容の全てを本明細書に援用する。
【0093】
図９は、撮像装置１００のさらに他の動作例を模式的に示す。図９に示す例では、ｋ番目のフレーム期間に含まれる露光期間のうち、時刻ｔ６から時刻ｔ８の期間において、電圧供給回路１９０から対向電極１３に供給される電圧Ｖ１が選択的にハイレベルとされている。複数の画素Ｐｘの各行に関し、露光期間のうち時刻ｔ６から時刻ｔ８の期間以外の期間では、電圧Ｖ１は、ローレベルに低下されている。図９中に示す「ＬＯＷ」は、画素電極１１と対向電極１３との間に印加されるバイアス電圧が（Ｖ１－ＶＲＳＴ）＝０となるように、電圧供給回路１９０から出力される電圧が調整されていることを示す。
【0094】
この期間には、光電変換部１０に光が入射しても、信号電荷の蓄積はほとんど生じない。換言すれば、ｋ番目のフレーム期間における、信号電荷の蓄積のための実効的な期間は、時刻ｔ６から時刻ｔ８の期間に制限されている。さらに、信号電荷の蓄積が実質的に生じる期間は、第０行Ｒ０～第５行Ｒ５の間で揃っている。すなわち、グローバルシャッタによる画素信号の取得が実行される。
【0095】
（ｋ＋１）番目のフレーム期間に注目すると、ここでも、時刻ｔ１４から時刻ｔ１６の、露光期間の一部の期間において、電圧供給回路１９０から対向電極１３に供給される電圧Ｖ１が選択的にハイレベルとされている。さらに、この例では、光源２００をオンとする期間も時刻ｔ１４から時刻ｔ１６の期間に一致させられている。したがって、第２の画素信号に関しても、グローバルシャッタが適用された取得が実行される。第２の画素信号に対応するデジタル信号と、第１の画素信号に対応するデジタル信号との間の差分処理により、被写体が高速に動いている場合であっても、歪みのない、赤外光に基づく画像を得ることが可能である。
【0096】
上述の各例では、連続する２つのフレーム期間のうち、先のフレーム期間に含まれる露光期間における信号電荷の蓄積の前に画素Ｐｘのリセットを実行している。換言すれば、上述の各例は、画素Ｐｘのリセットを、２フレーム期間を単位として実行するような動作例である。しかしながら、画素Ｐｘのリセットの周期は、フレーム期間の２倍に限定されない。電荷蓄積領域が許容可能な電荷量を上回らない限りにおいて、複数のフレーム期間にわたって信号電荷の累積的な蓄積を実行してもよい。
【0097】
図１０は、本開示のある実施形態による撮像装置のさらに他の動作例を模式的に示す。図１０では、撮像領域に含まれる複数の画素Ｐｘのうち、第０行Ｒ０に属するある１つの画素についての、電荷蓄積領域に蓄積された信号電荷量の時間的変化を模式的に示すグラフもあわせて１つの図に示されている。図１０の最下段に示すグラフの横軸は、時間Ｔを表す。グラフの縦軸は、注目した画素の電荷蓄積領域に蓄積された信号電荷量Ｃを表しており、グラフの縦軸の読みは、ノードＦＤの電位の値に相当する。図１０の最下段に示すグラフ中の破線は、画素の電荷蓄積領域が蓄積可能な電荷量の最大値である飽和電荷量Ｃｔを表している。
【0098】
図１０に示す例では、ｋ番目のフレーム期間に含まれる露光期間の開始の前に、各行の画素のリセットと、リセット信号の読出しとを実行している。その後、図４を参照しながら説明した例と同様に、ｋ番目のフレーム期間に関する第１の画素信号の読出し（時刻ｔ８～時刻ｔ１４）と、続く（ｋ＋１）番目のフレーム期間に関する第２の画素信号の読出し（時刻ｔ１６～時刻ｔ２２）とを実行している。
【0099】
ここで、図１０の最下段に示すグラフが、撮像領域に含まれる複数の画素Ｐｘのうち、電荷蓄積領域に蓄積された信号電荷量が第２の画素信号の読出しの完了の時点で最も大きな画素に関する信号電荷量Ｃの変化を表しているとする。この例では、（ｋ＋１）番目のフレーム期間の終了の時点（時刻ｔ２２）において、その画素の電荷蓄積領域に蓄積された信号電荷の総量は、上述の飽和電荷量Ｃｔを下回っている。したがって、撮像領域に含まれる複数の画素Ｐｘのそれぞれは、（ｋ＋１）番目のフレーム期間の終了の時点で、さらに累積して電荷蓄積領域に信号電荷を蓄積可能な状態にあるといえる。
【0100】
このように、連続する２つのフレーム期間の終了の時点で各画素の電荷蓄積領域がさらなる信号電荷を受け入れ可能である場合には、画素のリセット動作を行わずに続けて次のフレーム期間の露光を開始してもよい。この例では、第２の画素信号の読出しに続けて、（ｋ＋２）番目のフレーム期間を開始して信号電荷の蓄積を行っている。ここでは、（ｋ＋２）番目のフレーム期間の終了の時点においても各画素の電荷蓄積領域に蓄積された信号電荷の総量は、飽和電荷量Ｃｔを下回っている。したがって、（ｋ＋２）番目のフレーム期間の露光期間の完了後に各画素から読み出される第３の画素信号をも有効に利用することができる。なお、図１０中の「第３の画素信号」は、ｋ番目、（ｋ＋１）番目および（ｋ＋２）番目のフレーム期間に含まれる露光期間に画素に累積して蓄積された電荷量に応じたアナログ信号を意味する。
【0101】
図１０に例示するような動作は、光源からの赤外線の照射を同一の対象に向けて複数回実行する場合に特に有効である。例えば図１０に示すように、（ｋ＋２）番目のフレーム期間中の露光期間の一部において光源２００をオンとしてもよい。このような動作によれば、被写体から反射された赤外光を複数回受光して信号電荷を蓄積できるので、より高い信号レベルを得ることができ、ＳＮ比を向上させ得る。
【0102】
連続する２つのフレーム期間に続けて、画素のリセット動作を行わずに次のフレーム期間の露光を開始するか否かを、電荷蓄積領域に蓄積された信号電荷の総量が飽和電荷量Ｃｔを超えたか否かに応じて決定してもよい。図１１は、電荷蓄積領域に蓄積された信号電荷の総量が飽和電荷量Ｃｔを超えたと判定されたときに画素のリセット動作を実行する例を模式的に示す。図１１の最下段のグラフには、飽和電荷量Ｃｔを示す破線に加えて、画素のリセット動作を実行するか否かの判定の基準となる閾値Ｔｈを表す破線もあわせて示されている。閾値Ｔｈは、飽和電荷量Ｃｔ未満の値として予め適切に設定される。
【0103】
また、図１１の最下段のグラフ中の実線および点線は、撮像領域に含まれる複数の画素Ｐｘのある行（例えば第０行Ｒ０）に属する画素のうちの１つにおける信号電荷量の例示的な変化と、他のある行（例えば第２行Ｒ２）に属する画素のうちの１つにおける信号電荷量の例示的な変化とをそれぞれ模式的に表している。図１１に示す例では、第２行Ｒ２のある画素の電荷蓄積領域に蓄積された信号電荷量は、（ｋ＋１）番目のフレーム期間の終了の時点（時刻ｔ２２）においても上述の閾値Ｔｈ以下である。他方、第０行Ｒ０のある画素の電荷蓄積領域に蓄積された信号電荷量は、第２の画素信号の読出しに続く露光によって、（ｋ＋１）番目のフレーム期間が終了する前に閾値Ｔｈを超えている。
【0104】
そのため、この例では、（ｋ＋１）番目のフレーム期間の終了後、次のフレーム期間の開始前に再び画素のリセット動作を実行している（時刻ｔ２２～時刻ｔ２８）。これにより、各画素の電荷蓄積領域の電位がリセットされ、信号電荷のオーバーフローに起因して劣化した画像の取得を回避することが可能である。このように、画素の電荷蓄積領域に蓄積された信号電荷量をモニタリングし、信号電荷の総量が所定の閾値Ｔｈを超えたか否かの判定を実行して、その判定結果に応じて画素のリセットを実行してもよい。電荷蓄積領域に蓄積された信号電荷量は、例えば、読出し回路２０を介して出力信号線Ｓｊに読み出されるアナログ電圧またはＡ／Ｄ変換回路１４０からのデジタル出力をモニタリングすることにより、知ることができる。
【0105】
図１２は、本開示の他のある実施形態による撮像装置の例示的な構成を概略的に示す。図１を参照して説明した撮像装置１００と比較して、図１２に示す撮像装置１００Ａは、第２の光源２２０と、光源２２０に接続された光源制御装置２３０とをさらに有している。光源制御装置２３０は、画像処理回路１７０に接続されており、画像処理回路１７０からの制御信号に基づき、光源２２０の動作を制御する。光源２２０は、例えば、ｋ番目および（ｋ＋１）番目のフレーム期間のうち、光源２００がオンとされる露光期間とは異なる露光期間においてオンとされる。
【0106】
光源２２０は、上述の第１波長とは異なる第２波長にピークを有する光を出射する。光源２２０は、光源２００と同様に、赤外線を出射する赤外光源であってもよい。ただし、光源２２０から出射される光のピーク波長として、上述の第１波長とは異なる第２波長を選択する。
【0107】
（撮像装置１００Ａの例示的な駆動方法）
図１３は、図１２に示す撮像装置１００Ａの駆動方法の一例を説明するための図である。ここでは、第１の光源２００として、１４５０ｎｍ付近および１９４０ｎｍ付近のいずれの波長にもピークが位置しない赤外光を出射する光源を適用し、第２の光源２２０として、１４５０ｎｍ付近の波長にピークを有する赤外光を出射する光源を適用した場合の動作例を説明する。図１２に示す動作例は、夜間の屋外など、可視域の環境光の照度が低い場合、あるいは、光電変換部１０の光電変換層１２が可視光の波長範囲に感度を有しない場合に有用な駆動方法である。
図１３は、図１２に示す撮像装置１００Ａの駆動方法の一例を説明するための図である。ここでは、第１の光源２００として、１４５０ｎｍ付近および１９４０ｎｍ付近のいずれの波長にもピークが位置しない赤外光を出射する光源を適用し、第２の光源２２０として、１４５０ｎｍ付近の波長にピークを有する赤外光を出射する光源を適用した場合の動作例を説明する。図１２に示す動作例は、夜間の屋外など、可視域の環境光の照度が低い場合、あるいは、光電変換部１０の光電変換層１２が可視光の波長範囲に感度を有しない場合に有用な駆動方法である。
【0108】
図１３に示す例では、時刻ｔ０から時刻ｔ６までの期間にリセット信号の読出しを実行し、その後、ｋ番目のフレームに関する露光と、（ｋ＋１）番目のフレームに関する露光とを実行している。さらに、ｋ番目のフレーム期間の時刻ｔ６から時刻ｔ８までの期間に光源２２０を選択的にオンとし、（ｋ＋１）番目のフレーム期間の時刻ｔ１４から時刻ｔ１６までの期間に光源２００を選択的にオンとしている。
【0109】
露光期間の一部において例えば光源２２０を選択的にオンとした場合、太陽光および可視域の人工照明がほとんど存在していない環境下では、光源２２０から出射されて被写体によって反射された光が、各画素の光電変換部１０に到達する光の大部分を占める。すなわち、各画素の電荷蓄積領域に蓄積される信号電荷の量は、光源２２０から出射されて被写体によって反射された光の強度を反映する。露光期間の一部において例えば光源２００を選択的にオンとした場合も同様である。
【0110】
例えば夜間などにおいて、図１３に示すように露光期間の少なくとも一部において光源２００、２２０をオンとすることにより、実質的に赤外光のみに基づく画像を取得することが可能である。例えば、図１３に示す例において時刻ｔ８から時刻ｔ１４までの期間に取得される第１の画素信号は、実質的に、光源２２０から出射された赤外光のみに基づく画像を表現する。第１の画素信号は、Ａ／Ｄ変換回路１４０によってデジタル信号に変換され、第１の画素信号に対応するデジタル信号の形で第２フレームメモリ１７４に一時的に保持される。
【0111】
画像処理回路１７０は、（ｋ＋１）番目のフレーム期間に関する第２の画素信号に対応するデジタル信号と、第２フレームメモリ１７４に一時的に保持されていた、ｋ番目のフレーム期間に関する第１の画素信号に対応するデジタル信号との間の差分である第１差分を算出する。この差分処理により、これまでの例と同様に、リセットノイズの影響が実質的にキャンセルされた１フレーム分の画像データが第１差分の形で得られる。図１３に示す例における第１差分は、時刻ｔ１６から時刻ｔ２２までの期間に取得される第２の画素信号のうち、第１の画素信号の信号レベルからの増分に対応する部分に相当し、実質的に、光源２００から出射された赤外光のみに基づく画像を表現する。
【0112】
ここでも、第１フレームメモリ１７２には、図１３において時刻ｔ０から時刻ｔ６までの間に読み出されたリセット信号に対応するデジタル信号が保持されている。画像処理回路１７０は、さらに、第２フレームメモリ１７４に一時的に保持されていたデジタル信号と、第１フレームメモリ１７２に一時的に保持されていた、リセット信号に対応するデジタル信号との差分である第２差分を算出する。図１４に示す例における第２差分は、実質的に、光源２２０から出射された赤外光のみに基づく画像を表現する。
【0113】
画像処理回路１７０は、第１差分と第２差分との間の差分を算出する。ここで、光源２００および光源２２０の出力に大きな違いが無いとする。このとき、第２差分と第１差分との間の差分として比較的大きな値が得られているにもかかわらず、例えば第２差分が０に近い値になることがあり得る。このような状況が生じる原因としては、光源２２０からの赤外光が照射される対象が光源２２０から大きく離れた位置にあるか、あるいは、光源２２０からの赤外光のほとんどが大気中の水分に吸収されてしまっているかの２つが考えられる。
【0114】
ここで、第２波長として、水分に吸収されやすい波長を選択し、他方、第１波長として、水分に吸収されにくい波長を選択していたとする。もし、第２差分が０に近い値であり、かつ、第２差分と第１差分との間の差分として比較的大きな値が得られたとすると、これは、赤外光が照射される対象が光源２００、２２０からそれほど離れておらず、第１波長の光が大気中の水分にほとんど吸収されていることを意味する。すなわち、被写体までの距離が大きすぎるから第１波長の光に基づく信号レベルが低下しているのか、あるいは、水分による吸収が大きいから第１波長の光に基づく信号レベルが低下しているのかを判別することができる。第１波長の光を利用して測距を行うような場合には、複数の画素のうち、第１の画素信号に対応したデジタル信号と、リセット信号に対応したデジタル信号との間の第２差分が０に近い値となる画素についてはエラーとして扱い、その画素の周辺の画素に関する第２差分の値で補完するといった処理を実行してもよい。なお、光源２２０と光源２２０との間で波長を異ならせることに代えて、波長を共通として発光強度または照射領域などのパラメータを異ならせることによっても同様の効果を得ることが可能である。
【0115】
日中での撮影など、環境光の排除が難しい場合には、図１０を参照して説明した例のように、ｋ番目のフレーム期間の露光期間中には光源２００および２２０をオフとして第１の画素信号を取得し、（ｋ＋１）番目のフレーム期間の露光期間中に光源２００および２２０の一方をオンとして第２の画素信号を取得すればよい。この場合、第２差分と第１差分との間の差分により、実質的に、（ｋ＋１）番目のフレーム期間の露光期間中に点灯させた光源からの光のみの下で撮影を実行したときに得られる画像と同様の画像が得られる。
【0116】
なお、（ｋ＋１）番目のフレーム期間と、それに続く（ｋ＋２）番目のフレーム期間との間で画素のリセット動作を実行せず、（ｋ＋２）番目のフレーム期間の露光期間中に光源２００および２２０の他方を選択的にオンとして画素信号を得てもよい。これを第３の画素信号と呼ぶことにすると、第３の画素信号に対応したデジタル信号と、第２の画素信号に対応したデジタル信号との間の差分を求めることにより、実質的に、（ｋ＋２）番目のフレーム期間の露光期間中に点灯させた光源からの光のみの下で撮影を実行したときに得られる画像と同様の画像が得られる。
【0117】
第２の光源２２０として、可視光の波長域にピークを有する一般的なストロボ光源を適用してもよい。このとき、まず、先のフレーム期間中の露光期間の一部において第２の光源２２０をオンとし、次のフレーム期間中の露光期間の一部において、赤外光を出射する光源２００をオンとしてもよいし、先のフレーム期間において光源２００をオンとし、後のフレーム期間において光源２２０をオンとしてもよい。ただし、赤外光を出射する光源２００を先のフレーム期間中の露光期間の一部においてオンとすると、画素の電荷蓄積領域により多くの信号電荷が蓄積され、その結果、累積して蓄積できる電荷量が小さくなって飽和に達しやすくなってしまうことがあり得る。また、画素の電荷蓄積領域に蓄積されている電荷量が大きいほど、不純物領域１１１（図３参照）の電位が上昇して不純物領域１１１における暗電流が生じやすくなる。そのため、図１３に例示するように、赤外光を出射する光源２００を後のフレーム期間中の露光期間の一部においてオンとする方が、一般には有利である。
【0118】
図１４は、本開示のさらに他のある実施形態による撮像装置の例示的な構成を概略的に示す。図１４に示す撮像装置１００Ｂは、複数の画素Ｐｘの列ごとに２本の出力信号線の組を有する。図１４に示す例において、複数の画素Ｐｘの例えば第ｊ列に注目すると、第ｊ列には、出力信号線Ｓｊおよび出力信号線Ｔｊが設けられている。なお、図１４では図面が過度に複雑になることを避けるために図示が省略されているが、これまでに説明した各例と同様に、撮像装置１００Ｂは、光源２００も有する。
【0119】
本実施形態では、複数の画素Ｐｘの列ごとに設けられた２本の出力信号線のうちの一方は、例えば複数の画素Ｐｘのうち偶数行の画素に接続され、２本の出力信号線のうちの他方は、複数の画素Ｐｘのうち奇数行の画素に接続される。図１４に例示する構成において、出力信号線Ｓｊは、第ｉ行に位置する第１画素Ｐｘ１の読出し回路２０に接続されている。他方、出力信号線Ｔｊは、第（ｉ＋１）行に位置する第４画素Ｐｘ４の読出し回路２０に接続されている。
【0120】
さらに、この例では、撮像装置１００Ｂは、複数の画素Ｐｘの列ごとに設けられた２本の出力信号線のうちの一方を介して偶数行の画素に電気的に接続された第１のＡ／Ｄ変換回路１４１と、他方の出力信号線を介して奇数行の画素に電気的に接続された第２のＡ／Ｄ変換回路１４２とを有している。図１４に示すように、Ａ／Ｄ変換回路１４１は、第１のインターフェース１６１に接続されており、Ａ／Ｄ変換回路１４２は、第２のインターフェース１６２に接続されている。第１のインターフェース１６１の出力および第２のインターフェース１６２の出力は、例えば、第１フレームメモリ１７２および第２フレームメモリ１７４を有する画像処理回路１７０（図２参照）に供給される。
【0121】
（撮像装置１００Ｂの例示的な駆動方法）
複数の画素Ｐｘの偶数行と奇数行とに独立して出力信号線を配置することにより、複数の画素Ｐｘの偶数行に位置する画素と、奇数行に位置する画素とから並行して独立に信号を読み出すことが可能になる。図１５は、図１４に示す撮像装置１００Ｂの駆動方法の一例を説明するための図である。
複数の画素Ｐｘの偶数行と奇数行とに独立して出力信号線を配置することにより、複数の画素Ｐｘの偶数行に位置する画素と、奇数行に位置する画素とから並行して独立に信号を読み出すことが可能になる。図１５は、図１４に示す撮像装置１００Ｂの駆動方法の一例を説明するための図である。
【0122】
この例では、ｋ番目のフレーム期間の露光期間に先立ち、リセット信号の読出しを実行している。このリセット信号の読出しは、複数の画素Ｐｘの列ごとに配置された２本の出力信号線のうちのいずれか一方を介して実行される。ここで、時刻ｔ４から時刻ｔ５の期間に注目すると、出力信号線Ｔｊを介した第３行Ｒ３の画素に関するリセット信号の読出しと並行して、第０行Ｒ０の画素からの第１の画素信号の読出しをも実行している。この第１の画素信号の読出しは、出力信号線Ｓｊを介して実行される。
【0123】
このように、複数の画素Ｐｘの列ごとに２本の出力信号線を配置する構成によれば、複数の画素Ｐｘの相異なる行に属する画素からの２種の信号の読出しを一括して実行することが可能になる。換言すれば、２種の信号に関する読出し期間にオーバーラップを許容することができ、この例では、ｋ番目のフレームに関するリセット信号の読出し期間と、第１の画素信号の読出しの期間とをオーバーラップさせている。さらに、ここでは、ｋ番目のフレームに関する第１の画素信号の読出しの期間と、（ｋ＋１）番目のフレームに関する第２の画素信号の読出しの期間とをもオーバーラップさせている。このように、複数の画素Ｐｘの列ごとに２本の出力信号線を配置する構成によれば、複数のフレーム期間の間で信号の読出し期間をオーバーラップさせることもでき、フレームレート向上の効果が得られる。
【0124】
また、フレームレートの向上の際に露光時間を短縮することにより、光電変換層１２における暗電流および／または不純物領域１１１における暗電流の影響を低減することができる。このような暗電流は、露光時間に比例した増大を示すからである。特に、複数の画素Ｐｘの各行について、光源２００および／または光源２２０の点灯している期間を露光期間になるべく近づけることにより、暗電流を抑制しながらも高いＳＮ比を得ることが可能になる。
【0125】
なお、この例では、図７を参照しながら説明した例と同様にして、時刻ｔ６から時刻ｔ１２の間に、光源２００から出射される光を被写体上で走査している。複数の画素Ｐｘのうち、光源２００から出射されて被写体で反射された光を受ける画素の行の遷移の様子は、図８に示す例と同様であり得る。
【0126】
以上に説明したように、本開示の実施形態によれば、各画素の読出し回路２０を介して読み出された第１アナログ信号に対応するデジタル信号を第１フレームメモリ１７２に保持する。また、第１アナログ信号に関する読出し期間に続く第１露光期間に画素に蓄積された電荷量に応じた第２アナログ信号に対応するデジタル信号を第２フレームメモリ１７４に保持する。第１フレームメモリ１７２および第２フレームメモリ１７４に保持された信号同士の差分を算出することにより、リセットノイズが実質的に除去された信号を第１差分の形で得ることができる。さらに、例えば第１露光期間の１つ後の第２露光期間において光源２００をオンとして第１露光期間に蓄積された信号電荷に累積して信号電荷の蓄積を実行する。画素に累積して蓄積された電荷量に応じた第３アナログ信号に対応するデジタル信号と第２フレームメモリ１７４に保持されたデジタル信号との差分を取得し、この差分と上述の第１差分との差分をさらに算出することにより、実質的に光源２００からの光のみに基づく画像データをリセットノイズが除去された形で得ることができる。
【0127】
なお、図１および図１２では、行走査回路１３０、制御回路２５０、Ａ／Ｄ変換回路１４０、デジタルメモリ１５０およびインターフェース１６０が、複数の画素Ｐｘの形成された半導体基板１１０上に配置された構成を例示している。すなわち、複数の画素Ｐｘの形成された半導体基板１１０、行走査回路１３０、制御回路２５０、Ａ／Ｄ変換回路１４０、デジタルメモリ１５０およびインターフェース１６０は、これらが一体とされたパッケージの形で提供され得る。これらの回路の一部または全部は、各画素Ｐｘの読出し回路２０に加えて半導体基板１１０に一体的に形成されてもよい。すなわち、これらの回路は、各画素Ｐｘの読出し回路２０の形成のプロセスと同様のプロセスを適用して半導体基板１１０に形成され得る。例えば、制御回路２５０は、半導体基板１１０に形成された集積回路であってもよい。ただし、これらの回路の全部が、各画素Ｐｘとともに半導体基板１１０に一体的に形成されることは、必須ではない。これらの回路の一部または全部が、各画素Ｐｘの形成された半導体基板１１０とは異なる基板上に配置されることもあり得る。
【0128】
上述の制御回路２５０の機能および画像処理回路１７０の機能は、汎用の処理回路とソフトウェアとの組み合わせによって実現されてもよいし、このような処理に特化したハードウェアによって実現されてもよい。制御回路２５０が、画像処理回路１７０の処理結果に応じた、露光時間に関する設定を画像処理回路１７０から受け取り、露光時間に関する設定に応じた駆動信号を行走査回路１３０、Ａ／Ｄ変換回路１４０などに供給するように構成されていてもよい。
【0129】
また、画像処理回路１７０は、半導体基板１１０に配置された回路群とは別個のチップまたはパッケージの形で撮像装置に設けられてもよい。第１フレームメモリ１７２および／または第２フレームメモリ１７４が、画像処理回路１７０とは別個のチップまたはパッケージの形で撮像装置内に配置されていてもよい。あるいは、画像処理回路１７０および／または光源制御装置２１０、２３０が半導体基板１１０上に配置されてもかまわない。画像処理回路１７０が制御回路２５０の一部であってもよい。画像処理回路１７０または制御回路２５０が、距離計測演算、波長情報分離などの処理を実行するように構成されてもよい。
【0130】
本開示の実施形態による撮像装置は、複数の画素Ｐｘが形成された半導体基板１１０および画像処理回路１７０が一体とされたパッケージの形で提供されてもよい。本開示の実施形態による撮像装置は、イメージセンサのチップの形態であってもよいし、カメラの形態であってもよい。
【産業上の利用可能性】
【0131】
本開示の実施形態は、例えば、医療用カメラ、セキュリティカメラ、車両に搭載されて使用されるカメラ、測距カメラ、顕微鏡カメラ、ドローンと呼ばれる無人航空機用カメラ、ロボット用カメラなどの種々のカメラおよびカメラシステムに用いることができる。車両搭載用カメラは、例えば、車両が安全に走行するための、制御装置に対する入力として利用され得る。あるいは、車両が安全に走行するための、オペレータの支援に利用され得る。
【符号の説明】
【0132】
１０ 光電変換部
１１ 画素電極
１２ 光電変換層
１３ 対向電極
２０ 読出し回路
１００、１００Ａ、１００Ｂ 撮像装置
１１０ 半導体基板
１３０ 行走査回路
１４０～１４２ Ａ／Ｄ変換回路
１７０ 画像処理回路
１７２ 第１フレームメモリ
１７４ 第２フレームメモリ
２００、２２０ 光源
Ｐｘ 画素
Ｓｊ、Ｔｊ 出力信号線
１１ 画素電極
１２ 光電変換層
１３ 対向電極
２０ 読出し回路
１００、１００Ａ、１００Ｂ 撮像装置
１１０ 半導体基板
１３０ 行走査回路
１４０～１４２ Ａ／Ｄ変換回路
１７０ 画像処理回路
１７２ 第１フレームメモリ
１７４ 第２フレームメモリ
２００、２２０ 光源
Ｐｘ 画素
Ｓｊ、Ｔｊ 出力信号線
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
