(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024163733
(43)【公開日】2024-11-22
(54)【発明の名称】光電変換装置及び光電変換システム
(51)【国際特許分類】
H04N 25/47 20230101AFI20241115BHJP
H04N 25/707 20230101ALI20241115BHJP
H04N 25/773 20230101ALI20241115BHJP
【FI】
H04N25/47
H04N25/707
H04N25/773
【審査請求】未請求
【請求項の数】14
【出願形態】OL
(21)【出願番号】P 2023079585
(22)【出願日】2023-05-12
(71)【出願人】
【識別番号】000001007
【氏名又は名称】キヤノン株式会社
(74)【代理人】
【識別番号】110003281
【氏名又は名称】弁理士法人大塚国際特許事務所
(72)【発明者】
【氏名】三ヶ尻 悟
【テーマコード(参考)】
5C024
【Fターム(参考)】
5C024CY16
5C024GX03
5C024GX15
5C024GX16
5C024GY39
5C024GY41
5C024GY45
5C024HX27
5C024HX32
5C024HX51
(57)【要約】
【課題】画素の高機能化と画素サイズの縮小に有利な技術を提供する。
【解決手段】光電変換装置は、光子検出素子を含む光検出部と、前記光検出部の出力をカウントするカウンタと、前記カウンタによるカウント値が所定値に到達したことに応じて、前記カウンタをリセットするとともにフラグ信号を発生するフラグ信号生成部と、を備える。
【選択図】
図6
【特許請求の範囲】
【請求項1】
光子検出素子を含む光検出部と、
前記光検出部の出力をカウントするカウンタと、
前記カウンタによるカウント値が所定値に到達したことに応じて、前記カウンタをリセットするとともにフラグ信号を発生するフラグ信号生成部と、
を備えることを特徴とする光電変換装置。
【請求項2】
前記フラグ信号を処理する読出回路を更に備え、
前記読出回路は、前記フラグ信号に基づいてイベントの発生を検出する、
ことを特徴とする請求項1に記載の光電変換装置。
【請求項3】
前記読出回路は、前記フラグ信号の時間間隔に基づいてイベントの発生を検出する、
ことを特徴とする請求項2に記載の光電変換装置。
【請求項4】
前記読出回路は、所定期間における前記フラグ信号の発生回数に応じてイベントの発生を検出する、
ことを特徴とする請求項2に記載の光電変換装置。
【請求項5】
前記フラグ信号生成部は、イベントの発生を監視する第1モードでは、前記カウンタによるカウント値が前記所定値に到達したことに応じて、前記カウンタをリセットするとともに前記フラグ信号を発生にし、画素信号を生成する第2モードでは、前記カウンタによるカウント値が前記所定値に到達しても前記カウンタをリセットせず、
前記フラグ信号生成部は、前記読出回路によるイベントの発生の検知に応じて前記第1モードから前記第2モードに移行する、
ことを特徴とする請求項2に記載の光電変換装置。
【請求項6】
前記カウンタは、前記第1モードでは、第1ビット数のカウンタとして動作し、前記第2モードでは、前記第1ビット数より多い第2ビット数のカウンタとして動作する、
ことを特徴とする請求項5に記載の光電変換装置。
【請求項7】
複数の画素を有し、各画素が前記カウンタおよび前記フラグ信号生成部を含む、
ことを特徴とする請求項2に記載の光電変換装置。
【請求項8】
前記複数の画素は、複数のグループに分割され、各グループには、それを構成する少なくとも2つの画素のそれぞれの前記フラグ信号生成部の出力に応じた信号を伝送する信号線が設けられている、
ことを特徴とする請求項7に記載の光電変換装置。
【請求項9】
前記複数のグループの各々の信号線を通して伝送された信号を読み出す読出回路を更に備える、
ことを特徴とする請求項8に記載の光電変換装置。
【請求項10】
各グループは、1つの行である、
ことを特徴とする請求項8に記載の光電変換装置。
【請求項11】
各グループは、1つの列である、
ことを特徴とする請求項8に記載の光電変換装置。
【請求項12】
各グループは、少なくとも2つ行および少なくとも2つの列に配置された画素で構成される2次元領域である、
ことを特徴とする請求項8に記載の光電変換装置。
【請求項13】
前記光子検出素子は、アバランシェフォトダイオードである、
ことを特徴とする請求項1に記載の光電変換装置。
【請求項14】
請求項1乃至13のいずれか1項に記載の光電変換装置と、
前記光電変換装置が出力する信号を処理する信号処理部と、を有することを特徴とする光電変換システム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、光電変換装置及び光電変換システムに関する。
【背景技術】
【0002】
特許文献1には、マトリクス状に配列されたアバランシェフォトダイオードを有する光電変換装置が開示されている。アバランシェフォトダイオードは、半導体のpn接合部に誘起された強電界により発生するアバランシェ増倍現象を用いることで、光子により励起された信号電荷を数倍~数百万倍程度に増倍するものである。
【0003】
特許文献2には、光量の変化等のイベントの発生の検出に応じて動作する非同期型の固体撮像装置が開示されている。特許文献2の固体撮像装置は、イベントの発生を検出する検出画素と、イベントが発生した場合にアバランシェフォトダイオードに入射された光子数を計数する計数画素とを有する。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開2020-123847号公報
【特許文献2】特開2020-096347号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
アバランシェフォトダイオード等の光子検出素子を含む画素を有する光電変換装置において、画素の機能を高めたいとの要求がある一方で、それを追及すると画素サイズが大きくなるというジレンマがある。
【0006】
本発明は、画素の高機能化と画素サイズの縮小に有利な技術を提供することを目的とする。
【課題を解決するための手段】
【0007】
本発明の1つの側面は、光電変換装置に係り、前記光電変換装置は、光子検出素子を含む光検出部と、前記光検出部の出力をカウントするカウンタと、前記カウンタによるカウント値が所定値に到達したことに応じて、前記カウンタをリセットするとともにフラグ信号を発生するフラグ信号生成部と、を備える。
【発明の効果】
【0008】
本発明によれば、画素の高機能化と画素サイズの縮小に有利な技術が提供される。
【図面の簡単な説明】
【0009】
【
図1】第1実施形態による光電変換装置の第1構成例を示すブロック図。
【
図2】第1実施形態による光電変換装置の第2構成例を示すブロック図。
【
図4】第1実施形態による光電変換装置の構成例を示す斜視図。
【
図5】第1実施形態による光電変換装置における光電変換部の基本動作を説明する図。
【
図6】第1実施形態による光電変換装置における画素の具体的な構成例を示す図。
【
図7】第1実施形態による光電変換装置における画素の駆動方法を例示するタイミング図。
【
図8】第1実施形態による光電変換装置における画素のカウンタおよびフラグ信号発生回路のより具体的な構成例を示す図。
【
図9】第2実施形態による光電変換装置における画素の駆動方法を例示する図。
【
図10】第3実施形態による光電変換装置における画素の駆動方法を例示する図。
【
図11】第4実施形態による光電変換装置における画素の具体的な構成例を示す図。
【
図12】第4実施形態による光電変換装置における画素のカウンタおよびフラグ信号発生回路の具体的な構成例を示す図。
【
図13】第5実施形態による光電変換装置の概略構成を示す図。
【
図14】第6実施形態による光電変換装置の概略構成を示す図。
【
図17】光電変換システムの更に他の構成例を示す図。
【発明を実施するための形態】
【0010】
以下、添付図面を参照して実施形態を詳しく説明する。なお、以下の実施形態は特許請求の範囲に係る発明を限定するものではない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。
[第1実施形態]
図1から
図8を参照しながら本開示の第1実施形態の光電変換装置100を説明する。
図1は、光電変換装置100の概略構成を例示するブロック図である。光電変換装置100は、
図1に例示されるように、画素部10と、垂直走査回路40と、読出回路50と、水平走査回路60と、制御部80と、出力回路90と、を備えうる。以下の説明において、光電変換装置100は、アバランシェフォトダイオード等の光子検出素子を用いた非同期型の撮像装置として例示的に説明される。しかし、光電変換装置100は、他の装置として構成されてもよい。例えば、光電変換装置100は、測距装置(例えば、焦点検出装置、TOF(Time Of Flight)を用いた距離測定装置)、又は、測光装置(例えば、入射光量を測定する装置)等として構成されうる。
【0011】
画素部10は、複数の行及び複数の列を構成するようにアレイ状に配された複数の画素12を有しうる。各々の画素12は、後述するように、アバランシェフォトダイオード等の光子検出素子を含む光検出部と、光検出部から出力される信号を処理する信号処理部とを含みうる。画素部10を構成する複数の画素12の数は、特に限定されるものではない。例えば、一般的なデジタルカメラのように数千行×数千列のアレイ状に配された複数の画素12により画素部10を構成することができる。或いは、1行又は1列に並べた複数の画素12により画素部10を構成してもよい。或いは、1つの画素12により画素部10を構成してもよい。
【0012】
画素アレイとして構成される画素部10の各行には、第1方向(
図1において横方向)に延在する制御線14が配されうる。制御線14は、第1方向に並ぶ少なくとも2つの画素12にそれぞれ接続され、これらの画素12を制御するために使用されうる。制御線14が延在する第1方向は、行方向或いは水平方向として理解されてもよい。各制御線14は、複数種類の制御信号を画素12に供給するための複数の信号線を含みうる。
【0013】
画素アレイとして構成される画素部10の各列には、第1方向と交差する第2方向(
図1において縦方向)に延在するデータ線16が配されうる。データ線16は、第2方向に並ぶ少なくとも2つの画素12にそれぞれ接続され、これらの画素12から信号を読み出すために使用されうる。データ線16が延在する第2方向は、列方向或いは垂直方向として理解されてもよい。各データ線16は、画素12から出力される複数ビットのデジタル信号をビット毎に転送するための複数の信号線を含みうる。
【0014】
各行の制御線14は、垂直走査回路40に接続されうる。垂直走査回路40は、制御部80から出力される制御信号を受けて、複数の画素12を駆動するための制御信号を生成し、制御線14を介して画素12に供給しうる。垂直走査回路40は、シフトレジスタおよび/またはアドレスデコーダ等の論理回路を含みうる。垂直走査回路40は、画素部10内の複数の画素12を行単位で順次に選択するように、即ち、画素部10内の複数の画素12を垂直走査するように構成されうる。選択された行の画素12の画素信号は、データ線16を介して読出回路50に供給されうる。
【0015】
各列のデータ線16は、読出回路50に接続されうる。読出回路50は、画素アレイとしての画素部10の各列に対応して設けられた複数の保持部(図示せず)を含んでよく、データ線16を介して画素部10から行単位で出力される複数列の画素12の画素信号を対応する列の保持部によって保持しうる。
【0016】
水平走査回路60は、制御部80から出力される制御信号を受け、読出回路50の各列の保持部から画素信号を読み出すための制御信号を生成し、読出回路50に供給しうる。水平走査回路60は、シフトレジスタおよび/またはアドレスデコーダ等の論理回路を含みうる。水平走査回路60は、読出回路50の複数列の保持部を順次に選択するように、即ち、複数列の保持部を水平走査するように構成されうる。選択された列の保持部によって保持されている画素信号は、出力回路90に供給される。
【0017】
出力回路90は、外部インターフェース回路を有し、読出回路50から出力された画素信号を光電変換装置100の外部へ出力しうる。出力回路90が備える外部インターフェース回路は、特に限定されるものではない。外部インターフェース回路は、例えば、SerDes(SERializer/DESerializer)送信回路により構成されうる。SerDes送信回路は、例えば、LVDS(Low Voltage Differential Signaling)回路、SLVS(Scalable Low Voltage Signaling)回路である。
【0018】
制御部80は、垂直走査回路40、読出回路50、水平走査回路60の動作やそのタイミングを制御する制御信号を生成しうる。垂直走査回路40、読出回路50、水平走査回路60の動作やそのタイミングを制御する制御信号の少なくとも一部は、光電変換装置100の外部から供給されてもよい。
【0019】
光電変換装置100の各機能ブロックの接続態様は、
図1の構成例に限定されるものではなく、例えば
図2に例示されるように構成されてもよい。
図2の構成例では、画素アレイとしての画素部10の各行には、第1方向に延在するデータ線16が配されている。データ線16は、第1方向に並ぶ少なくとも2つの画素12にそれぞれ接続され、これらの画素12を制御するために使用されうる。画素アレイとしての画素部10の各列には、第2方向に延在する制御線18が配されている。制御線18は、第2方向に並ぶ少なくとも2つの画素12にそれぞれ接続され、これらの画素12から信号を読み出すために使用されうる。
【0020】
複数列の制御線18は、水平走査回路60に接続されうる。水平走査回路60は、制御部80から出力される制御信号を受けて、画素12から画素信号を読み出すための制御信号を生成し、制御線18を介して画素12に供給しうる。具体的には、水平走査回路60は、画素部10の複数の画素12を列単位で順次に選択するように、即ち、画素部10内の複数の画素12を水平走査するように構成されうる。選択された列に属する画素12の画素信号は、データ線16に出力されうる。
【0021】
各行のデータ線16は、読出回路50に接続されてうる。読出回路50は、画素アレイとしての画素部10の各行に対応して設けられた複数の保持部(図示せず)を含んでよく、データ線16を介して画素部10から列単位で出力される複数行の画素12の画素信号を対応する行の保持部によって保持しうる。読出回路50は、制御部80から出力される制御信号を受けて、各行の保持部によって保持されている画素信号を順次に出力回路90に出力しうる。
図2の構成例におけるその他の構成は、
図1の構成例と同様でありうる。
【0022】
各画素12は、
図3に例示されるように、光検出部20と、信号処理部30と、を含みうる。光検出部20は、例えば、光子検出素子22と、クエンチ素子24と、を含みうる。信号処理部30は、例えば、波形整形部32と、処理回路34と、画素出力回路36と、を含みうる。
【0023】
光子検出素子22は、例えば、アバランシェフォトダイオード(以下、「APD」と表記する)でありうる。光子検出素子22を構成するAPDのアノードは、電圧VLが供給されるノードに接続されうる。光子検出素子22を構成するAPDのカソードは、クエンチ素子24の一方の端子に接続されうる。光子検出素子22とクエンチ素子24とを接続する接続ノードは、光検出部20の出力ノードとして理解されうる。クエンチ素子24の他方の端子は、電圧VLよりも高い電圧VHが供給されるノードに接続されうる。電圧VL及び電圧VHは、APDがアバランシェ増倍動作をするために十分な逆バイアス電圧が印加されるように設定されうる。一例では、電圧VLとして負の高電圧が与えられ、電圧VHとして電源電圧程度の正電圧が与えられる。例えば、電圧VLは-30Vであり、電圧VHは1Vである。
【0024】
光子検出素子22は、前述のようにAPDにより構成されうる。アバランシェ増倍動作をするために十分な逆バイアス電圧をAPDに供給することで、APDへの光入射によって生じた電荷がアバランシェ増倍を起こし、アバランシェ増倍電流が発生する。APDに逆バイアス電圧を供給した状態における動作モードには、ガイガーモードとリニアモードとがある。ガイガーモードは、アノードとカソードとの間に印加する電圧をAPDの降伏電圧よりも大きい逆バイアス電圧とする動作モードである。リニアモードは、アノードとカソードとの間に印加する電圧をAPDの降伏電圧近傍又はそれ以下の逆バイアス電圧とする動作モードである。ガイガーモードで動作させるAPDは、SPAD(Single Photon Avalanche Diode)と呼ばれる。光子検出素子22を構成するAPDは、リニアモードで動作するようにしてもよいし、ガイガーモードで動作するようにしてもよい。
【0025】
クエンチ素子24は、光子検出素子22で生じたアバランシェ増倍電流の変化を電圧信号に変換する機能を有しうる。クエンチ素子24は、アバランシェ増倍による信号増倍時に負荷回路(クエンチ回路)として機能し、光子検出素子22に印加される電圧を低減することによってアバランシェ増倍を抑制する機能を有しうる。クエンチ素子24がアバランシェ増倍を抑制する動作は、クエンチ動作と呼ばれる。また、クエンチ素子24は、クエンチ動作によって電圧降下した分の電流を流すことにより、光子検出素子22に供給する電圧を電圧VHへと戻す機能を有しうる。クエンチ素子24が光子検出素子22に供給する電圧を電圧VHへと戻す動作は、リチャージ動作と呼ばれる。クエンチ素子24は、抵抗素子やMOSトランジスタなどにより構成されうる。
【0026】
波形整形部32は、光検出部20の出力信号が供給される入力ノードと、出力ノードと、を有する。波形整形部32は、光検出部20から供給されるアナログ信号をパルス信号に変換する機能を有しうる。
図3に例示されるように、波形整形部32は、インバータ回路などにより構成されうる。波形整形部32の出力ノードは、処理回路34に接続されうる。
【0027】
処理回路34は、波形整形部32の出力信号が供給される入力ノードと、制御線14に接続された入力ノードと、出力ノードと、を有しうる。処理回路34は、後述するカウンタを有する。カウンタは、波形整形部32から出力される信号に重畳するパルスのカウントを行い、カウントの結果であるカウント値を保持する機能を有しうる。垂直走査回路40から制御線14を介して処理回路34に供給される信号には、パルスのカウント期間(露光期間)を制御するためのタイマクロック信号などが含まれうる。処理回路34の出力ノードは、画素出力回路36を介してデータ線16に接続されうる。
【0028】
画素出力回路36は、処理回路34とデータ線16との間の電気的な接続状態(接続又は非接続)を切り替える機能を有しうる。画素出力回路36は、垂直走査回路40から制御線14を介して供給される制御信号(
図2の構成例にあっては、水平走査回路60から制御線18を介して供給される制御信号)に応じて、処理回路34とデータ線16との間の接続状態を切り替えうる。画素出力回路36は、信号を出力するためのバッファ回路を含みうる。
【0029】
画素12は、典型的には、画像を形成するための画素信号を出力する単位構造体である。ただし、TOF(Time of Flight)方式を用いた測距などを目的とする場合にあっては、画素12は、必ずしも画像を形成するための画素信号を出力する単位構造体である必要はない。すなわち、画素12は、光が到達した時刻と光量とを測定するための信号を出力する単位構造体でもありうる。
【0030】
信号処理部30は、必ずしも各々の画素12に1つずつ設けられている必要はなく、複数の画素12に対して1つの信号処理部30を設けるようにしてもよい。この場合、1つの信号処理部30を用いて複数の画素12の信号処理を順次実行することができる。
【0031】
本実施形態による光電変換装置100は、1枚の基板に形成されてもよいし、複数の基板を積層した積層型の光電変換装置として構成されてもよい。後者の場合、例えば
図4に例示されるように、センサ基板110と回路基板120とを積層して電気的に接続した積層型の光電変換装置として構成可能である。センサ基板110には、画素12の構成要素のうち少なくとも光子検出素子22を配置することができる。また、回路基板120には、画素12の構成要素のうち、クエンチ素子24と信号処理部30とを配置することができる。光子検出素子22とクエンチ素子24及び信号処理部30とは、画素12毎に設けられた接続配線を介して電気的に接続される。また、回路基板120には、垂直走査回路40、読出回路50、水平走査回路60、制御部80、出力回路90等を更に配置することができる。
【0032】
各画素12において、光子検出素子22、クエンチ素子24及び信号処理部30とは、平面視において重なるようにセンサ基板110と回路基板120とに配されてもよい。垂直走査回路40、読出回路50、水平走査回路60、制御部80、出力回路90は、複数の画素12により構成される画素部10の周囲に配置されうる。なお、本明細書において「平面視」とは、センサ基板110の光入射面に対して垂直な方向から視ることを指す。
【0033】
積層型の光電変換装置100を構成することにより、素子の集積度を上げ、高機能化を図ることができる。特に、光子検出素子22、クエンチ素子24及び信号処理部30を別々の基板に配置することで、光子検出素子22の受光面積を犠牲にすることなく光子検出素子22を高密度で配置することができ、光子検知効率を向上することができる。光電変換装置100を構成する基板の数は2枚に限定されるものではなく、3枚以上の基板を積層して光電変換装置100を構成するようにしてもよい。
【0034】
図4の例ではセンサ基板110及び回路基板120としてダイシングされたチップを想定しているが、センサ基板110及び回路基板120はチップに限定されるものではない。例えば、センサ基板110及び回路基板120の各々はウェーハであってもよい。また、センサ基板110及び回路基板120は、ウェーハ状態で積層した後にダイシングしてもよいし、各々をチップ化した後に積層・接合してもよい。
【0035】
図5は、光検出部20及び波形整形部32の基本動作を説明する図である。
図5(a)は光検出部20及び波形整形部32の回路図であり、
図5(b)は波形整形部32の入力ノード(ノードA)における信号の波形を示し、
図5(c)は波形整形部32の出力ノード(ノードB)における信号の波形を示している。なお、ここでは説明の簡略化のため、波形整形部32がインバータ回路により構成されている場合を想定している。
【0036】
時刻t0において、光子検出素子22には(VH-VL)に相当する電位差の逆バイアス電圧が印加されている。光子検出素子22を構成するAPDのアノードとカソードとの間にはアバランシェ増倍を生じるに十分な逆バイアス電圧が印加されている。光子検出素子22に光子が入射していない状態では、アバランシェ増倍の種となるキャリアが存在しない。そのため、光子検出素子22においてアバランシェ増倍は起こらず、光子検出素子22に電流は流れない。
【0037】
続く時刻t1において、光子検出素子22に光子が入射するものとする。光子検出素子22に光子が入射すると、光電変換によって電子-正孔対が生成され、これらのキャリアを種としてアバランシェ増倍が生じ、光子検出素子22にアバランシェ増倍電流が流れる。このアバランシェ増倍電流がクエンチ素子24を流れることによりクエンチ素子24による電圧降下が生じ、ノードAの電圧が降下し始める。ノードAの電圧降下量が大きくなり、時刻t3においてアバランシェ増倍が停止すると、ノードAの電圧レベルは、それ以上は降下しなくなる。
【0038】
光子検出素子22におけるアバランシェ増倍が停止すると、電圧VLが供給されるノードから光子検出素子22を介してノードAに電圧降下分を補う電流が流れ、ノードAの電圧は徐々に増加する。その後、時刻t5においてノードAは元の電圧レベルに整定する。
【0039】
波形整形部32は、ノードAから入力される信号を所定の判定閾値に応じて二値化し、ノードBから出力する。具体的には、波形整形部32は、ノードAの電圧レベルが判定閾値を超えているときはノードBからローレベルの信号を出力し、ノードAの電圧レベルが判定閾値以下のときはノードBからハイレベルの信号を出力する。例えば、
図5(b)に示すように、時刻t2から時刻t4の期間においてノードAの電圧が判定閾値以下であるとする。この場合、
図5(c)に示すように、ノードBにおける信号レベルは、時刻t0から時刻t2の期間及び時刻t4から時刻t5の期間においてローレベルとなり、時刻t2から時刻t4の期間においてハイレベルとなる。
【0040】
こうして、ノードAから入力されたアナログ信号は、波形整形部32によってデジタル信号へと波形整形される。光子検出素子22への光子の入射に応じて波形整形部32から出力されるパルス信号は、光子検知パルス信号として理解されうる。
【0041】
図6は、画素12の構成をより詳細に説明する図である。
図6の説明において、
図3又は
図5と重複する部分の説明は省略又は簡略化する。本実施形態において、処理回路34は、カウンタ342と、フラグ信号生成部341とを含む。処理回路34は、波形整形部32を含んでもよい。カウンタ342は、光子検出素子22の出力、より具体的には、光子検出素子22に入射された光子に基づくパルスをカウントし、カウントの結果であるカウント値を保持しうる。カウント値を保持するため、カウンタ342は、複数ビットのデジタル信号を保持可能な複数ビットのメモリ、例えば、複数のフリップフロップを有しうる。カウンタ342に保持されたカウント値は、フラグ信号生成部341に出力される。フラグ信号生成部341は、カウンタ342の出力が所定値(所定のカウント値)に到達したことに応じて、カウンタ342をリセットするリセット信号RESを発生するとともにフラグ信号Fを発生しうる。フラグ信号生成部341からのリセット信号RESによりカウンタ342がリセットされる。フラグ信号生成部341は、デジタル信号であるカウント値に基づく演算処理を行うように構成されたデジタル回路でありうる。読出回路50は、フラグ信号生成部341から生成されるフラグ信号Fを、画素出力回路36を介して読み出すように構成されうる。
【0042】
図7には、画素12の動作のタイミングチャートが示されている。カウンタ342は、上述のように、光子検出素子22に入射された光子に基づくパルスのカウントを行い、
図7の例ではカウントアップしてゆく。
図7の例では、カウンタ342のビット数は4であり、光子検出素子22に入射された光子に基づくパルスのカウント値が15(所定値)に到達すると、カウンタ342のカウント値が飽和する。ここで、カウンタ342のカウント値が15(所定値)に到達すると、フラグ信号生成部341は、
図7に示されるようにフラグ信号Fを生成(活性化)する。フラグ信号生成部341はまた、カウンタ342のカウント値が15(所定値)に到達すると、カウンタ342をリセットするリセット信号RESを発生する。カウンタ342は、セット信号RESによってリセットされ、カウント値が0に戻る。
【0043】
一般的なカウンタでは、カウント値が飽和した場合、次のパルスの入力に応答してカウント値が0に戻る。その場合、次のパルス分だけ、カウントを取り逃がすことになる。そこで、フラグ信号生成部341は、カウンタ342のカウント値が15(所定値)に到達すると、カウンタ342をリセットするリセット信号RESを発生する。
【0044】
読出回路50は、フラグ信号生成部341から出力されるフラグ信号Fを受信し、フラグ信号Fに基づいてイベントの発生を検出しうる。イベントの発生の検出は、画素12の光子検出素子22に入射する光の光量が所定の条件を満たすことを意味する。この所定の条件とは、例えば、2以上の画素12のカウント値の差分が所定の閾値を超えたことであってもよく、カウント値の変化量が所定の閾値を超えたことであってもよい。
【0045】
図8には、カウンタ342およびフラグ信号生成部341の具体的な回路の一例が示されている。カウンタ342は、例えば、複数のフリップフロップによって構成されうる。フラグ信号生成部341は、例えば、フリップフロップと、論理回路(
図8の例の場合はAND回路)とで構成されうる。フラグ信号生成部341は、カウンタ342のビット数が4である場合、その5ビット目となるように配置されたフリップフロップを含みうる。そして、5ビット目の出力がアクティブレベルに遷移したことに応じて、カウンタ342、および5ビット目のフリップフロップがすべてリセットされるように、5ビット目のフリップフロップの出力がすべてのフリップフロップのリセット端子に接続されうる。
図8の回路例の場合、フラグ信号Fのパルス幅はフリップフロップの出力遅延、およびリセットの遅延により決定される。
[第2実施形態]
図9を参照しながら本開示の第2実施形態の光電変換装置100を説明する。なお、第2実施形態として言及しない事項は、第1実施形態に従いうる。第2実施形態では、光子検出素子22に入射する光子に基づくパルスのカウント値に応じて生成されたフラグ信号Fに基づいてイベントの発生が検出される。
【0046】
図9には、隣り合うフラグ信号Fの時間間隔を測定することによってイベントの発生を検出する動作が例示的に示されている。フラグ信号Fのパルスは、カウンタ342のカウント値が所定値に到達したことによって生成される。そこで、隣り合うフラグ信号Fのパルス間隔を測定することによって、光子のカウント値が所定値に到達する間隔、即ち光子検出素子22に対する光子の入射量を知ることができる。パルス間隔は、例えば、
図9に矢印で例示されるように、パルスの立ち上がりエッジから次のパルスの立ち上がりまでの時間として測定されうる。また、パルス間隔は、例えば、パルス信号の間隔より十分に周期が短いクロック信号CLKをカウントするカウンタを使って測定されうる。パルス間隔の測定、即ちイベントの発生の検出は、例えば、読出回路50によってなされうる。読出回路50は、例えば、パルス間隔が第1閾値を超えた場合、または、パルス間隔の変化量が第2閾値を超えた場合に、イベントの発生を検出するように構成されうる。
[第3実施形態]
図10を参照しながら本発明の第3実施形態による光電変換装置100を説明する。なお、第3実施形態として言及しない事項は、第1実施形態に従いうる。第3実施形態では、光子検出素子22に入射する光子に基づくパルスのカウント値に応じて生成されたフラグ信号Fのカウント値(発生回数)に基づいてイベントの発生が検出される。
【0047】
図10には、所定期間におけるフラグ信号Fのパルスのカウント値に基づいてイベントの発生を検出する動作が例示的に示されている。フラグ信号Fのパルスは、カウンタ342のカウント値が所定値に到達したことによって生成される。そこで、フラグ信号Fのパルスの数(発生回数)を(他のカウンタで)カウントすることによって、光子検出素子22に対する光子の入射量を知ることができる。フラグ信号Fのパルスをカウントすることは、カウンタ342のビット数が4の場合、その5ビット目がアクティブになる回数をカウントすることと同義となる。読出回路50は、フラグ信号Fをカウントするカウンタ(第2カウンタ)を含み、該カウンタ(第2カウンタ)によるカウント値が第3閾値を超えた場合、あるいは、そのカウント値の変化量が第4閾値を超えた場合にイベントの発生を検出するように構成されうる。
[第4実施形態]
図11および
図12を参照しながら本開示の第4実施形態による光電変換装置100を説明する。なお、第4実施形態として言及しない事項は、第1実施形態に従いうる。第4実施形態では、読出回路50は、イベントの発生の検出だけでなく、画素信号を読み出す。
【0048】
図11には、画素12の構成および読出回路50の構成が例示されている。画素12の処理回路34は、第1実施形態と同様に、カウンタ342と、フラグ信号生成部341とを含む。読出回路50は、画素読出回路51と、イベント読出回路52とを含む。カウンタ342は、光子検出素子22の出力、より具体的には、光子検出素子22に入射する光子に基づくパルスをカウントし、カウントの結果であるカウント値を保持しうる。カウンタ342に保持されたカウント値は、フラグ信号生成部341に出力される。フラグ信号生成部341は、カウンタ342の出力が所定値(所定のカウント値)に到達したことに応じて、カウンタ342をリセットするリセット信号RESを発生するとともにフラグ信号Fを発生しうる。フラグ信号生成部341からのリセット信号RESによりカウンタ342がリセットされる。フラグ信号生成部341は、デジタル信号であるカウント値に基づく演算処理を行うことができるように構成されたデジタル回路でありうる。
【0049】
イベント読出回路52は、フラグ信号生成部341から生成されるフラグ信号Fを、画素出力回路36を介して読み出すように構成されうる。また、イベント読出回路52は、フラグ信号Fに基づいてイベントの発生を検出し、そのイベントの発生の検出に応じて、処理回路34に対して、カウンタ342の動作を切り替えるためのSEL信号を出力するように構成されうる。SEL信号を受けた処理回路34は、イベントの発生を監視する第1モードから画素信号を生成する第2モードに移行しうる。第2モードでは、カウンタ342による所定期間(1フレーム)におけるカウント値が画素出力回路36を介して画素読出回路51に出力される。
【0050】
図12を参照しながら第1モードおよび第2モードを有するカウンタ342およびフラグ信号生成部341の構成を説明する。
図12(a)には、イベントの発生を監視する第1モードにおけるカウンタ342およびフラグ信号生成部341の構成が模式的に示されている。イベントの発生を監視する第1モードでは、カウンタ342が
図8のように4ビットカウンタで構成される場合、その後段のフリップフロップ回路によってフラグ信号Fが生成される。また、この時、上位側の3ビットを構成するフリップフロップ(点線で示されるフリップフロップ)は無効化されている。
【0051】
図12(b)には、イベントの発生が検出され、第1モードから第2モードに移行した後のカウンタ342およびフラグ信号生成部341の構成が模式的に示されている。第2モードでは、第1モードにおいて無効化されていた上位側の3ビットが有効化され、イベントフラグ信号生成のための1ビット分のフリップフロップ回路も合わせて8ビットのカウンタが構成される。
【0052】
図12(c)には、第1モードおよび第2モードを有するカウンタ342およびフラグ信号生成部341の構成が模式的に示されている。第1モードでは、イベント読出回路52により制御信号SELが論理0に駆動され、第2モードでは、イベント読出回路52により制御信号SELが論理1に駆動される。制御信号SELは、切替回路1201に供給されて、SEL=0(第1モード)のときは、上位側の3ビットが無効化され、SEL=1(第2モード)のときは、上位側の3ビットが有効化される。
【0053】
つまり、フラグ信号生成部341は、イベントの発生を監視する第1モードでは、カウンタ342によるカウント値が所定値に到達したことに応じて、フラグ信号Fを発生するとともにカウンタ342をリセットする。また、フラグ信号生成部341は、画素信号を生成する第2モードでは、カウンタ342によるカウント値が該所定値に到達してもカウンタ342をリセットしない。また、フラグ信号生成部341は、読出回路50によるイベントの発生の検知に応じて第1モードから第2モードに移行する。カウンタ342は、第1モードでは、第1ビット数のカウンタとして動作し、第2モードでは、該第1ビット数より多い第2ビット数のカウンタとして動作する。
[第5実施形態]
図13を参照しながら本開示の第5実施形態による光電変換装置100を説明する。なお、第5実施形態として言及しない事項は、第1実施形態および第4実施形態に従いうる。光電変換装置100は、
図13(a)に例示されるように、画素部10と、垂直走査回路40と、画素読出回路51と、イベント読出回路52と、を備えうる。
【0054】
画素読出回路51は、画素部10の各画素12から画素信号を読み出しうる。イベント読出回路52は、画素部10の複数の画素12からフラグ信号を読み出すように構成されうる。ここで、画素部10の複数の画素12は、複数のグループに分割され、各グループには、それを構成する少なくとも2つの画素12のそれぞれのフラグ信号生成部341の出力に応じた信号を伝送する信号線TLが設けられうる。
【0055】
図13(b)には、各グループが1つの列の画素12で構成される例が示されている。具体的には、グループとしての列を構成する少なくとも2つの画素12のそれぞれのフラグ信号生成部341の出力から合成された信号が信号線TLを介してイベント読出回路52によって読み出される。このような構成によれば、フラグ信号の読み出しには、垂直走査回路40による補助が不要である。また、このような構成によれば、フラグ信号の読み出しのために必要な構成が単純化され、全体の回路規模を小さくすることができる。
図13の例では、各グループが1つの列の画素12で構成されているが、例えば、各グループが1つの行の画素12で構成されてもよい。
[第6実施形態]
図14を参照しながら本開示の第6実施形態による光電変換装置100を説明する。なお、第5実施形態として言及しない事項は、第1実施形態および第4実施形態に従いうる。光電変換装置100は、
図14(a)に例示されるように、画素部10と、垂直走査回路40と、画素読出回路51と、イベント読出回路52と、を備えうる。
【0056】
画素読出回路51は、画素部10の各画素12から画素信号を読み出しうる。イベント読出回路52は、画素部10の複数の画素12からフラグ信号を読み出すように構成されうる。ここで、画素部10の複数の画素12は、複数のグループに分割され、各グループには、それを構成する少なくとも2つの画素12のそれぞれのフラグ信号生成部341の出力に応じた信号を伝送する信号線TLが設けられうる。
【0057】
図14(b)には、各グループが2×2の画素12で構成される例が示されている。換言すると、
図14(b)には、各グループが少なくとも2つ行および互いに少なくとも2つの異なる列に配置された画素で構成される2次元領域で構成される例が示されている。具体的には、グループとしての2次元領域少なくとも4つの画素12のそれぞれのフラグ信号生成部341の出力から合成された信号が信号線TLを介してイベント読出回路52によって読み出される。このような構成によれば、フラグ信号の読み出しには、垂直走査回路40による補助が不要である。また、このような構成によれば、フラグ信号の読み出しのために必要な構成が単純化され、全体の回路規模を小さくすることができる。
【0058】
以下、上記の各実施形態を通して例示的に説明された光電変換装置が組み込まれた光電変換システムについて例示的に説明する。
図15には、光電変換システムの一例が示されている。上記の各実施形態で述べた光電変換装置は、種々の光電変換システムに適用可能である。適用可能な光電変換システムの例としては、デジタルスチルカメラ、デジタルカムコーダ、監視カメラ、複写機、ファックス、携帯電話、車載カメラ、観測衛星などが挙げられる。また、レンズなどの光学系と撮像装置とを備えるカメラモジュールも、光電変換システムに含まれる。
【0059】
光電変換システムは、例えば、撮像システムSYSとして構成される。撮像システムSYSは、カメラや撮影機能を有する情報端末である。撮像装置ISは、撮像デバイスICとして構成された光電変換装置100を収容するパッケージPKGをさらに備えることもできる。パッケージPKGは、撮像デバイスICが固定された基体と、撮像デバイスICに対向する蓋体と、基体に設けられた端子と撮像デバイスICに設けられた端子とを接続する接続部材と、を含みうる。撮像装置ISは共通のパッケージPKGに複数の撮像デバイスICを並べて搭載することもできる。また、撮像装置ISは共通のパッケージPKGに撮像デバイスICと他の半導体デバイスICとを重ねて搭載することもできる。
【0060】
撮像システムSYSは、撮像装置ISに結像する光学系OUを備え得る。また、撮像システムSYSは、撮像装置ISを制御する制御装置CU、撮像装置ISから得られた信号を処理する処理装置PU、撮像装置ISから得られた画像を表示する表示装置DUの少なくともいずれかを備え得る。また、撮像システムSYSは、撮像装置ISから得られた画像を記憶する記憶装置MUを備えてもよい。
【0061】
図16(a)には、車載カメラに適用された光電変換システムの構成が例示されている。光電変換システム2300は、撮像装置2310として構成された光電変換装置100を有しうる。光電変換システム2300は、撮像装置2310により取得された複数の画像データに対し画像処理を行う画像処理部2312と、光電変換システム2300により取得された複数の画像データから視差(視差画像の位相差)を算出する視差取得部2314を有する。また、光電変換システム2300は、算出された視差に基づいて対象物までの距離を算出する距離取得部2316と、算出された距離に基づいて衝突可能性があるか否かを判定する衝突判定部2318と、を有する。ここで、視差取得部2314や距離取得部2316は、対象物までの距離情報を取得する距離情報取得手段の一例である。すなわち、距離情報とは、視差、デフォーカス量、対象物までの距離等に関する情報である。衝突判定部2318はこれらの距離情報のいずれかを用いて、衝突可能性を判定してもよい。距離情報取得手段は、専用に設計されたハードウェアによって実現されてもよいし、ソフトウェアモジュールによって実現されてもよい。また、FPGA(Field Programmable Gate Array)やASIC(Application Specific Integrated Circuit)等によって実現されてもよいし、これらの組合せによって実現されてもよい。
【0062】
光電変換システム2300は車両情報取得装置2320と接続されており、車速、ヨーレート、舵角などの車両情報を取得することができる。また、光電変換システム2300は、衝突判定部2318での判定結果に基づいて、車両に対して制動力を発生させる制御信号を出力する制御部である制御ECU2330が接続されている。また、光電変換システム2300は、衝突判定部2318での判定結果に基づいて、ドライバーへ警報を発する警報装置2340とも接続されている。例えば、衝突判定部2318の判定結果として衝突可能性が高い場合、制御ECU2330はブレーキをかける、アクセルを戻す、エンジン出力を抑制するなどして衝突を回避、被害を軽減する車両制御を行う。警報装置2340は音等の警報を鳴らす、カーナビゲーションシステムなどの画面に警報情報を表示する、シートベルトやステアリングに振動を与えるなどしてユーザーに警告を行う。本実施形態では、車両の周囲、例えば前方又は後方を光電変換システム2300で撮像する。
【0063】
図16(b)には、車両前方(撮像範囲2350)を撮像するように構成された光電変換システムが示されている。車両情報取得装置2320は、光電変換システム2300ないしは撮像装置2310に指示を送る。このような構成により、測距の精度をより向上させることができる。
【0064】
上記では、他の車両と衝突しないように制御する例を説明したが、他の車両に追従して自動運転する制御や、車線からはみ出さないように自動運転する制御などにも適用可能である。更に、光電変換システムは、自車両等の車両に限らず、例えば、船舶、航空機あるいは産業用ロボットなどの移動体(移動装置)に適用することができる。加えて、移動体に限らず、高度道路交通システム(ITS)等、広く物体認識を利用する機器に適用することができる。
【0065】
図17には、距離画像センサとして構成された光電変換システムの構成が例示されている。距離画像センサ400は、光学系407、光電変換装置408、画像処理回路404、モニタ405、およびメモリ406を備えて構成される。そして、距離画像センサ400は、光源装置409から被写体に向かって投光され、被写体の表面で反射された光(変調光やパルス光)を受光することにより、被写体までの距離に応じた距離画像を取得することができる。
【0066】
光学系407は、1枚または複数枚のレンズを有して構成され、被写体からの像光(入射光)を光電変換装置408に導き、光電変換装置408の受光面(センサ部)に結像させる。光電変換装置408としては、上述した各実施形態の光電変換装置が適用され、光電変換装置408から出力される受光信号から求められる距離を示す距離信号が画像処理回路404に供給される。
【0067】
画像処理回路404は、光電変換装置408から供給された距離信号に基づいて距離画像を構築する画像処理を行う。そして、その画像処理により得られた距離画像(画像データ)は、モニタ405に供給されて表示されたり、メモリ406に供給されて記憶(記録)されたりする。このように構成されている距離画像センサ400では、上述した光電変換装置を適用することで、画素の特性向上に伴って、例えば、より正確な距離画像を取得することができる。
【0068】
本開示は、以下の装置およびシステムの開示を含む。
(項目1)
光子検出素子を含む光検出部と、
前記光検出部の出力をカウントするカウンタと、
前記カウンタによるカウント値が所定値に到達したことに応じて、前記カウンタをリセットするとともにフラグ信号を発生するフラグ信号生成部と、
を備えることを特徴とする光電変換装置。
(項目2)
前記フラグ信号を処理する読出回路を更に備え、
前記読出回路は、前記フラグ信号に基づいてイベントの発生を検出する、
ことを特徴とする項目1に記載の光電変換装置。
(項目3)
前記読出回路は、前記フラグ信号の時間間隔に基づいてイベントの発生を検出する、
ことを特徴とする項目2に記載の光電変換装置。
(項目4)
前記読出回路は、所定期間における前記フラグ信号の発生回数に応じてイベントの発生を検出する、
ことを特徴とする項目2に記載の光電変換装置。
(項目5)
前記フラグ信号生成部は、イベントの発生を監視する第1モードでは、前記カウンタによるカウント値が前記所定値に到達したことに応じて、前記カウンタをリセットするとともに前記フラグ信号を発生にし、画素信号を生成する第2モードでは、前記カウンタによるカウント値が前記所定値に到達しても前記カウンタをリセットせず、
前記フラグ信号生成部は、前記読出回路によるイベントの発生の検知に応じて前記第1モードから前記第2モードに移行する、
ことを特徴とする項目2乃至4のいずれか1項に記載の光電変換装置。
(項目6)
前記カウンタは、前記第1モードでは、第1ビット数のカウンタとして動作し、前記第2モードでは、前記第1ビット数より多い第2ビット数のカウンタとして動作する、
ことを特徴とする項目5に記載の光電変換装置。
(項目7)
複数の画素を有し、各画素が前記カウンタおよび前記フラグ信号生成部を含む、
ことを特徴とする項目2乃至6のいずれか1項に記載の光電変換装置。
(項目8)
前記複数の画素は、複数のグループに分割され、各グループには、それを構成する少なくとも2つの画素のそれぞれの前記フラグ信号生成部の出力に応じた信号を伝送する信号線が設けられている、
ことを特徴とする項目7に記載の光電変換装置。
(項目9)
前記複数のグループの各々の信号線を通して伝送された信号を読み出す読出回路を更に備える、
ことを特徴とする項目8に記載の光電変換装置。
(項目10)
各グループは、1つの行である、
ことを特徴とする項目8又は9に記載の光電変換装置。
(項目11)
各グループは、1つの列である、
ことを特徴とする項目8又は9に記載の光電変換装置。
(項目12)
各グループは、少なくとも2つ行および少なくとも2つの列に配置された画素で構成される2次元領域である、
ことを特徴とする項目8又は9に記載の光電変換装置。
(項目13)
前記光子検出素子は、アバランシェフォトダイオードである、
ことを特徴とする項目1乃至12のいずれか1項に記載の光電変換装置。
(項目14)
項目1乃至13のいずれか1項に記載の光電変換装置と、
前記光電変換装置が出力する信号を処理する信号処理部と、を有することを特徴とする光電変換システム。
【0069】
発明は上記実施形態に制限されるものではなく、発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、発明の範囲を公にするために請求項を添付する。
【符号の説明】
【0070】
12:画素、20:光検出部、34:処理回路、341:フラグ信号生成部、342:カウンタ、100:光電変換装置