(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-01-18
(45)【発行日】2024-01-26
(54)【発明の名称】光電変換装置、光電変換システム、および移動体
(51)【国際特許分類】
H04N 25/772 20230101AFI20240119BHJP
H04N 25/773 20230101ALI20240119BHJP
【FI】
H04N25/772
H04N25/773
(21)【出願番号】P 2019133789
(22)【出願日】2019-07-19
【審査請求日】2022-07-05
(73)【特許権者】
【識別番号】000001007
【氏名又は名称】キヤノン株式会社
(74)【代理人】
【識別番号】100126240
【氏名又は名称】阿部 琢磨
(74)【代理人】
【識別番号】100223941
【氏名又は名称】高橋 佳子
(74)【代理人】
【識別番号】100159695
【氏名又は名称】中辻 七朗
(74)【代理人】
【識別番号】100172476
【氏名又は名称】冨田 一史
(74)【代理人】
【識別番号】100126974
【氏名又は名称】大朋 靖尚
(72)【発明者】
【氏名】篠原 真人
【審査官】鈴木 肇
(56)【参考文献】
【文献】国際公開第2017/098725(WO,A1)
【文献】国際公開第2018/216400(WO,A1)
【文献】米国特許出願公開第2014/0124652(US,A1)
【文献】国際公開第2018/224910(WO,A1)
【文献】特開2019-009768(JP,A)
【文献】特開2019-102618(JP,A)
【文献】特開2017-022706(JP,A)
【文献】特開2018-201155(JP,A)
【文献】国際公開第2019/097519(WO,A1)
(58)【調査した分野】(Int.Cl.,DB名)
H04N 25/772
H04N 5/30 - 5/33
H04N 23/11
H04N 23/20 -23/30
H04N 25/00
H04N 25/20 -25/61
H04N 25/615-25/79
(57)【特許請求の範囲】
【請求項1】
アヴァランシェダイオードと、
前記アヴァランシェダイオードでのアヴァランシェ増倍により生起するアヴァランシェ電流に基づく信号を矩形波で出力する検知部と、
前記アヴァランシェダイオードと前記検知部との間に配されたスイッチと、
前記スイッチと前記検知部との間のノードをリセットするリセット部と、
前記アヴァランシェダイオードの出力ノードのリセットを行う第2のリセット部と、
を備え、
前記スイッチがオフしている期間において、前記リセット部が前記ノードのリセットを行うことを特徴とする光電変換装置。
【請求項2】
前記検知部で検知されたアヴァランシェ電流の生起回数をカウントするカウンタを備えることを特徴とする請求項1に記載の光電変換装置。
【請求項3】
前記検知部からの出力に応じて、前記リセット部が前記ノードのリセットを行うことを特徴とする請求項1又は2に記載の光電変換装置。
【請求項4】
前記検知部はインバータであり、
前記インバータの出力ノードには、第2のインバータが接続されており、
前記第2のインバータの出力ノードが前記スイッチおよび前記リセット部に接続されていることを特徴とする請求項3に記載の光電変換装置。
【請求項5】
前記リセット部は前記スイッチを介して前記アヴァランシェダイオードの出力ノードに接続され、
前記リセット部は、前記スイッチがオンしている期間にクエンチ素子として機能することを特徴とする請求項1乃至4のいずれか1項に記載の光電変換装置。
【請求項6】
前記スイッチは周期的に入力されるクロックパルスによりオンオフが制御されることを特徴とする請求項1又は2に記載の光電変換装置。
【請求項7】
前記リセット部に、前記クロックパルスが入力されることにより前記リセットが行われること特徴とする請求項6に記載の光電変換装置。
【請求項8】
前記クロックパルスは、前記スイッチと前記リセット部とに同時に入力されることを特徴とする請求項7に記載の光電変換装置。
【請求項9】
前記スイッチをオフした後に前記リセット部をオンし、前記リセット部をオフした後に前記スイッチをオンすることを特徴とする請求項7に記載の光電変換装置。
【請求項10】
前記スイッチを構成するトランジスタと前記リセット部を構成するトランジスタとは互いに逆導電型であることを特徴とする請求項8又は9に記載の光電変換装置。
【請求項11】
前記クロックパルスの周波数は、1/Tdであることを特徴とする請求項7乃至10のいずれか1項に記載の光電変換装置。
(Td:前記検知部に入力される電位が下がってから上がるまでの前記検知部の閾電圧通過時点の間隔)
【請求項12】
前記アヴァランシェダイオードの出力ノードの電位が前記検知部の閾値を超える期間が所定の時間を超えると、前記リセット部が前記ノードのリセットを行うことを特徴とする請求項7乃至11のいずれか1項に記載の光電変換装置。
【請求項13】
前記スイッチは、前記第2のリセット部と前記検知部との間に配されることを特徴とする請求項1に記載の光電変換装置。
【請求項14】
前記カウンタおよび前記第2のリセット部に、制御回路が接続され、
前記制御回路は、前記カウンタが所定の値に達した場合に、前記第2のリセット部に供給する電位を変えることを特徴とする請求項
2に記載の光電変換装置。
【請求項15】
前記カウンタおよび前記リセット部に、制御回路が接続され、
前記制御回路は、前記カウンタが所定の値に達した場合に、前記リセット部に供給する電位を変えることを特徴とする請求項2に記載の光電変換装置。
【請求項16】
前記カウンタが前記所定の値に達した場合に、前記制御回路は、前記アヴァランシェ増倍を休止する電位を前記リセット部または前記第2のリセット部に供給することを特徴とする請求項
14又は15に記載の光電変換装置。
【請求項17】
前記所定の値に達した時刻情報が書き込まれるメモリを備えることを特徴とする請求項14乃至16のいずれか1項に記載の光電変換装置。
【請求項18】
前記時刻情報と前記カウンタの値とに基づいて信号が生成されることを特徴とする請求項17に記載の光電変換装置。
【請求項19】
前記アヴァランシェダイオード、前記検知部、前記スイッチを備える光電変換単位が2次元状に配され、
複数の前記光電変換単位は、個別に前記リセット部および前記スイッチのオンオフを制御可能であることを特徴とする請求項1乃至18のいずれか1項に記載の光電変換装置。
【請求項20】
第1基板と、前記第1基板に積層された第2基板とを備え、
前記第1基板は、前記検知部を含み、
前記第2基板は、前記アヴァランシェダイオードを含むことを特徴とする請求項1乃至19のいずれか1項に記載の光電変換装置。
【請求項21】
請求項1乃至20のいずれか1項に記載の光電変換装置と、
前記光電変換装置が出力する信号を処理する信号処理部と、を有することを特徴とする光電変換システム。
【請求項22】
請求項1乃至20のいずれか1項に記載の光電変換装置と、
前記光電変換装置からの信号に基づく視差情報から、対象物までの距離情報を取得する距離情報取得手段と、を有する移動体であって、
前記距離情報に基づいて前記移動体を制御する制御手段をさらに有することを特徴とする移動体。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、光電変換装置、光電変換システム、および移動体に関する。
【背景技術】
【0002】
近年、各画素にSPADを使った撮像素子の開発が加速されている。SPADを使った撮像素子では、一個の入射フォトンによって発生した一個の信号キャリアが引き金となってアヴァランシェ増倍を起こすこと、またそのために高電圧が必要である。したがって、CMOSセンサと比べて大きな消費電力が必要となる。
【0003】
特許文献1には、アヴァランシェダイオード、クエンチ素子、インバータおよびカウンタを備える撮像装置が開示されている。特許文献1では、カウンタのカウント値が閾値未満である場合にはアヴァランシェダイオードはガイガーモードで動作する。一方、カウンタのカウント値が閾値に達すると、アヴァランシェダイオードは非ガイガーモードに設定される。これにより特許文献1では、消費電力を抑制することが開示されている。
【先行技術文献】
【特許文献】
【0004】
【発明の概要】
【発明が解決しようとする課題】
【0005】
特許文献1により一定の消費電力の低減がなされるが、単位時間の入射フォトン数が非常に多い場合に、いわゆるパルスパイルアップ(以降、簡単化してパイルアップと称する)が生じる。パイルアップとは、次々にフォトンが入射するために、ADとカウンタの間に配されたインバータから出力されるカウントパルスが一定レベルに張り付いてしまう状態のことを言う。よってパイルアップを起こしている画素ではアヴァランシェダイオードに電流が流れ続ける状態になっているにもかかわらず、フォトンが入射していない状態と同じようにカウントされなくなってしまう。したがって、高輝度時に所定のカウント値に達することがなく、光電変換装置の消費電力が無駄に増大する。
【0006】
さらにパイルアップが起こると、入射フォトン数を正しく数えられない、しかもフォトンの入射レートがあるレベルを超えると、入射フォトン数が多いほどパイルアップ状態が長く続くために、カウント数が少なくなる。よって得られる信号情報と実際の信号とが大きく乖離する。より具体的には光電変換特性が非線形となり、高輝度ほど出力が低下するという現象が現れる。
【課題を解決するための手段】
【0007】
本発明の一側面に係る光電変換装置は、アヴァランシェダイオードと、前記アヴァランシェダイオードでのアヴァランシェ増倍により生起するアヴァランシェ電流に基づく信号を矩形波で出力する検知部と、前記アヴァランシェダイオードと前記検知部との間に配されたスイッチと、所定の電位を印加して前記スイッチと前記検知部との間のノードをリセットするリセット部と、前記アヴァランシェダイオードの出力ノードのリセットを行う第2のリセット部と、を備え、前記スイッチがオフしている期間において、前記リセット部が前記ノードのリセットを行う。
【発明の効果】
【0008】
本発明によれば、高輝度であっても、光電変換装置の消費電力の増加を抑えながら、光電変換特性の線形性が保たれた正確な信号情報を得ることができる。
【図面の簡単な説明】
【0009】
【
図2】第一の実施形態の光電変換単位の等価回路図である。
【
図3】第一の実施形態の動作を説明するタイミングチャート図である。
【
図4】第二の実施形態の光電変換単位の等価回路図である。
【
図5】第三の実施形態の光電変換単位の等価回路図である。
【
図6】第三の実施形態の動作を説明するタイミングチャート図である。
【
図7】第四の実施形態の光電変換単位の等価回路図である。
【
図8】第五の実施形態の光電変換単位の等価回路図である。
【
図9】第五の実施形態の動作を説明するタイミングチャート図である。
【
図10】第六の実施形態の光電変換システムのブロック図である。
【
図11】第七の実施形態の光電変換システムおよび移動体の概略図である。
【
図12】第七の実施形態の光電変換システムの動作を示すフロー図である。
【発明を実施するための形態】
【0010】
以下に示す形態は、本発明の技術思想を具体化するためのものであって、本発明を限定するものではない。各図面が示す部材の大きさや位置関係は、説明を明確にするために誇張していることがある。以下の説明において、同一の構成については同一の番号を付して説明を省略することがある。
【0011】
以下に示す形態は、特にアヴァランシェダイオードに入射するフォトンの数を数えるSPAD(Single Photon Avalanche Diode)を備える光電変換装置に関する。光電変換装置は、少なくとも、アヴァランシェフォトダイオード(以下APDと称する)、アヴァランシェ生成を検知する検知部、およびリセット部を含む光電変換単位を含む。光電変換単位は、撮像装置の場合には画素を指すが、本発明は撮像センサのみに適用されるものではないため、光電変換単位という言葉を使用している。
【0012】
以下に示す形態では、光電変換装置は、
図1に示すように複数の光電変換単位47を2次元状に配置することによって形成されるが、光電変換装置が1つの光電変換単位により構成される場合にも本発明は適用可能である。
図1に示すように、光電変換装置は基板110と基板100とが積層されている。基板100は少なくともAPDを含み、基板110は検知部を含む。
【0013】
以下の説明において、APDのアノードを固定電位とし、カソード側から信号を取り出している。APDのカソードを固定電位とし、アノード側から信号を取り出す場合でも本発明は成り立つ。
【0014】
以下の説明において、スイッチがオンの状態とはスイッチの一方のノードと他方のノードとが導通している状態を指し、オフの状態とはスイッチの一方のノードと他方のノードとが非導通の状態を指す。
【0015】
[第一の実施形態]
図2は、第一の実施形態に係る光電変換単位の等価回路図である。光電変換単位は、APD1、APD1の出力ノードに接続されたアヴァランシェ検知部4、APD1の出力ノードと検知部4の入力ノードとの間に配されたスイッチ6、及び、スイッチ6と検知部4との間に配されたリセット部8を備える。リセット部8は、検知部4の入力ノードの電位をリセットする。つまり、
図2では、リセット部8は、スイッチ6と検知部4との間のノードをリセットする。
図2では、光電変換単位はさらに、APD1のカソードに接続され、APD1のカソードの電位をリセットする第2のリセット部2と、検知部4の出力パルスをカウントするカウンタ5を備える。第2のリセット部2は、P型のMOSトランジスタにより構成される。第2のリセット部2のゲートには制御線3が接続され、スイッチ6にはスイッチ6のオンオフを制御する制御線7が接続され、リセット部8にはリセット部8のオンオフを制御する制御線9が接続されている。
【0016】
APD1のアノードは、例えば-20V程度の負電位に固定される。APD1のカソード側のノードと第2のリセット部2を構成するP型のMOSトランジスタのドレインとが接続されている。第2のリセット部2を構成するP型のMOSトランジスタおよびリセット部8を構成するP型のMOSトランジスタのそれぞれのソースは、電源VDDに接続されている。APD1のカソード側のノード(出力ノード)には、スイッチ6が接続されている。
【0017】
第2のリセット部2は、クエンチ抵抗素子として動作させる。第2のリセット部2を構成するP型のMOSトランジスタのゲートには、制御線3を介して、MOSトランジスタが所望のON抵抗Ronを持つような一定電位が供給される。APD1へフォトンが入射すると、アヴァランシェ現象により複数の電子(及び正孔)が発生しそれが増倍されて光電流が生じる。この光電流が、APD1のカソードと第2のリセット部2に流れると抵抗Ronによる電圧降下によって、カソードの電位が下がり、APD1はアヴァランシェ現象が起こらなくなる。つまり、APD1の動作領域は、ガイガーモードから外れる。その後、電圧VDDが第2のリセット部2を介してAPD1のカソードに供給されるため、APD1のカソードに供給される電圧が電圧VDDに戻る。つまり、APD1の動作領域は、再びガイガーモードとなる。クエンチ素子は、APD1でアヴァンシェ現象が生じたときに非ガイガーモードから再びガイガーモードにリセットしている。
【0018】
スイッチ6は、APD1の出力ノードと検知部4の入力ノードとの電気的導通を制御する。スイッチ6は、例えば、N型のMOSトランジスタにより構成される。制御線7を介してゲートに印加される電圧を変化させることにより、スイッチ6を構成するMOSトランジスタのオンオフを制御している。
【0019】
リセット部8は、スイッチ6と検知部4の入力ノードとの間に配され、検知部4の入力ノードの電位のリセットを行う。具体的には、リセット部8を構成するP型のMOSトランジスタのゲートに所定の電位が供給されると、リセット部8がオンし、リセット部8を介して検知部4に供給される電圧が電圧VDDとなる。
【0020】
検知部4は、アヴァランシェ現象により生じるアヴァランシェ電流の有無を検知しアヴァランシェ電流の有無に基づいてパルスを発生させている。検知部4は具体的にはインバータあるいは比較器によって構成されるが、
図2では所定の閾電圧値を持つインバータである。そして、検知部4から出力された矩形パルスがカウンタ5に入力される。
【0021】
カウンタ5は、検知部4から出力されたパルス数をカウントし、累算したカウント値を記憶する。結局、カウンタ5は、光子入射の有無により生じるアヴァランシェ電流の生起回数をカウントする。
【0022】
【0023】
まず、APD1のカソードの電位VcがVDDであればアヴァランシェが生じうる状態、すなわちアヴァランシェ活性状態である。すなわち、APD1にフォトンが入射する前、APD1のカソードの電位Vcは、リセット部2を構成するP型のMOSトランジスタによって電位VDDである。すなわちAPD1のブレイクダウン電圧をVbrとすると、カソード、アノード間のPN接合逆バイアス電圧は(Vbr+Vex)である。ここにVexはブレイクダウン電圧を超える電圧分である。スイッチ6を構成するMOSトランジスタがオン状態、リセット部8を構成するMOSトランジスタがオフ状態であれば、従来のよく知られたSPAD動作が行われる。
【0024】
APD1にフォトンが入射すると発生した信号キャリアが引き金となってアヴァランシェ電流が生じ、カソードの電位Vcは所定の電位すなわち検知部4の閾値電圧以下の電位に下がる。この電位の降下はAPD1のPN接合における逆バイアスがVbrになると止まる。これによりアヴァランシェ電流も止まり、今度は第2のリセット部2によってカソード電位VcがVDDまで引き上げられていく。その途中でカソード電位Vcは再び検知部4の閾値電圧になる。すなわち、フォトンひとつの入射によってカソード電位Vcは検知部4の閾値電圧より高い電位から低い電位へ変化し、さらに検知部4の閾値電圧より低い電位から高い電位へと変化する。
【0025】
検知部4の閾値電圧はVDDと(VDD-Vex)の間の値となるように、VDD、Vex、閾値電圧が設定されている。したがって、検知部4は基本的にひとつのフォトンの入射により引き起こされる一回のアヴァランシェ電流生起を検知してひとつの出力パルスを生成する。この出力パルスはカウンタ5でカウントされるので、結果的にAPD1に入射するフォトン数をカウントすることになる。
【0026】
図3は、
図2のAPD1のカソードの電位Vc、光電変換単位の動作を行う制御パルス(クロックパルス)CLK、および検知部4の入力電位Vinのオンオフを示すタイミングチャートである。制御パルスCLKは、制御線7および制御線9に入力される。
図3において、状態Aは、パイルアップ状態が生じていない状態、すなわちAPD1にフォトンが連続で入射せず、1個1個の入射フォトンが正常にカウントされる状態である。また、状態Bは、パイルアップ状態、すなわちAPD1にフォトンが間髪を入れずに入射し続けている状態である。
【0027】
制御パルスCLKは通常Highレベル(Hi)であり、スイッチ6を構成するMOSトランジスタはオン状態、リセット部8を構成するMOSトランジスタはオフ状態である。制御パルスCLKがLowレベル(Lo)になるとスイッチ6を構成するMOSトランジスタはオフ状態、リセット部8を構成するMOSトランジスタはオン状態となり、電位VinはVDDすなわちHiにリセットされる。もし制御パルスCLKが常時Hiであれば、パイルアップ状態に陥った時、APD1には電流が流れ続ける。したがって、電位VinはLoに張り付いたまま変化せず、カウントパルスは発生しない。一方で、本実施形態では、制御パルスCLKをHiからLoに変化させる毎に、電位VinがLoからHiへと変化することとなる。したがって、電位VinがLoからHiへと変化する毎にカウントパルスを発生させることができ、カウンタ5でカウントパルスを計数することができる。
【0028】
なお、カソード電位VcがVDDの時、カソード、アノード間の逆バイアス電圧はパイルアップ状態でAPD1に流れ続ける電流の値は、およそVex/Ronで与えられる。なぜならVcはカソード、アノード間逆バイアス電圧がVbrとなる電位の近辺にあるので、VDDとこの時のVcの差はVexとなるからである。このようにパイルアップ時においてはアヴァランシェ電流が流れたり止まったりしながら平均として上記Vex/Ronの電流が流れ続ける。
【0029】
ただし、パイルアップ時にカソード電位Vcを無理に引き上げようとすると、とたんにアヴァランシェ電流が生じる。よってスイッチ6が無く、リセット部8であるP型のMOSトランジスタがあるだけではアヴァランシェ電流に抗して電位Vinすなわち電位VcをVDDにリセットすることが難しい。さらに、リセット部2とリセット部8が並列して働きカソード電位VcとVDD間の抵抗が小さくなるので、より大きなアヴァランシェ電流を誘起してしまい、無駄な消費電力を一層増やしてしまう。
【0030】
本実施形態によれば、スイッチ6を構成するN型のMOSトランジスタがオフ、すなわちAPD1のカソード電位Vcと検知部4の入力電位Vinが電気的に切り離されている間に検知部4の入力電位Vinを電源電圧VDDにリセットすることができる。
【0031】
本実施形態では、光電変換単位に対し、露光期間中に
図3に示すように周期的に制御パルスCLKを入力する。これにより、上記で説明したようにパイルアップが生じている間は制御パルスによるカウントが進むことになり、光電変換特性の非線形性および高輝度の光が入射したときの黒沈みが生じることを抑制することができる。付言すると、この効果は制御パルスCLKの周波数に依存し、高周波ほどカウントが進むのでより効果が高くなる。フォトンひとつが入射した時、カソード電位Vcがいったん下がってまた上がる時の検知部4の閾電圧通過時点の間隔をデッドタイムTdとすると、周波数が1/Tdの時にほぼ最大の効果が表れる。これよりも高い周波数だと、実際に入射するフォトン数よりも多くオーバーカウントする可能性がある。
【0032】
なお、
図2及び
図3では、制御パルスCLKをスイッチ6とリセット部8に同時に与えている。スイッチ6を構成するトランジスタと、リセット部8を構成するトランジスタが、互いに逆導電型であるため、1つの制御パルスCLKによって、両者を動作させることができる。が、スイッチ6とリセット部8のそれぞれに対して異なる制御パルスを加えてもよい。スイッチ6がオンする期間とリセット部8がオンする期間とが時間的に重なると、その瞬間パイルアップしている光電変換単位においては大きなアヴァランシェ電流が流れる。これを確実に避けるために、スイッチ6がオフしている期間にリセット部8をオンする期間を内包する必要がある。したがって、例えば、スイッチ6に供給する制御パルスをオフした後にリセット部8に供給する制御パルスをオフする。そして、リセット部8に供給する制御パルスをオンした後にスイッチ6に供給する制御パルスをオンする。
【0033】
以上説明したように、第一の実施形態によれば、パイルアップを生じるような光入射があってもカウントが進むので、光電変換特性の非線形性の改善および高輝度入射時の出力低下の抑制が可能となる。
【0034】
[第二の実施形態]
図4は第二の実施形態に係る光電変換単位の等価回路図である。本実施形態は、リセット部2が検知部4の入力ノードのリセットおよびAPD1のカソード電位Vcのリセットを兼ねている点で第一の実施形態と異なる。以下で説明する事項以外は、第一の実施形態と同様である。
【0035】
制御線7を介してスイッチ6を構成するN型のMOSトランジスタのゲートに供給するパルスは
図3の制御パルスCLKである。パイルアップ状態である場合、制御パルスCLKがLoである間に検知部4の入力部の電位VinをVDDまで引き上げるのは抵抗の役目を担っているリセット部2である。この電位の引き上げに要する時間はほぼデッドタイムTdであるから、第二の実施形態において制御パルスCLKがLowレベルになる時間間隔はTd以上である必要がある。
【0036】
したがって、第一の実施形態ほど制御パルスCLKの周波数を上げられないが、相応にパイルアップが引き起こす光電変換特性の非線形性および高輝度入射時の黒沈みという不具合が改善ないし防止される。
【0037】
また、第一の実施形態に比べてトランジスタの数を減らすことができるため、第一の実施形態よりもトランジスタの集積限界に制限されにくい。また、制御パルスCLKが接続するゲート電極数が第一の実施形態に比べて1/2なので、CLK駆動に要する電力が第一の実施形態に比べて約1/2ですむ。
【0038】
[第三の実施形態]
図5は第三の実施形態に係る光電変換単位の等価回路図である。本実施形態は、スイッチ6およびリセット部8を制御パルスで制御するのではなく、検知部4の出力値で制御する点で第一の実施形態とは異なる。以下で説明する事項以外は、第一の実施形態と同様である。
【0039】
図5に示すように、インバータ10(第2のインバータ)の入力ノードが検知部4の出力ノードおよびカウンタ5の入力ノードに接続されている。インバータ10の応答時間をTrspとすると、TrspはデッドタイムTdと同程度かそれ以上に設定されている。同図に示すようにインバータ10は検知部4の出力を受けてスイッチ6およびリセット部8のオン、オフを制御する。
【0040】
図6は
図5の光電変換単位の動作を説明するためのタイミングチャートである。同図において、カソード電位Vc、検知部4の入力部の電位Vin、およびインバータ10の出力部の電位Voutを示している。したがって電位Voutはスイッチ6およびリセット部8のゲートの電位である。同図においてTrspはTdよりも長くしている。
【0041】
まず正常にカウントできる状態(状態A)においてフォトン入射があって検知部4からカウントパルスが出力される場合、このカウントパルス幅はおよそTdであるがTd<Trspなので、基本的にはインバータ10はこのパルスに応答しない。
【0042】
次にパイルアップ状態(状態B)で電位VinがLoになると、Trsp時間遅れてVoutがLoとなる。するとスイッチ6がオフ、リセット部8がオンとなるので、第一の実施形態で説明したとおり、スイッチ6が非導通となり、電位Vinが電圧VDD(Hi)となる。これに従いTrsp遅れて電位VoutもHiとなる。するとスイッチ6がオン、リセット部がオフとなるので、パイルアップ状態ではVinがLoとなる。
【0043】
パイルアップが続くかぎり、このサイクルが繰り返されることで、周期が2×Trspなるカウントパルスが生成され、パイルアップ状態でカウントが進む。
【0044】
以上の説明からわかる通り、本実施形態においても、第一および第二の実施形態と同様に、パイルアップが引き起こす光電変換特性の非線形性を改善することができ、高輝度入射時の黒沈みが抑制される。
【0045】
また、第一および第二の実施形態においては制御パルスCLKが基本的にすべての光電変換単位に供給される。つまり、光電変換装置に含まれる複数の光電変換単位のうちのパイルアップが生じていない光電変換単位にも制御パルスCLKが供給されることになる。しかるに第三の実施形態においては、光電変換単位ごとに電位Vinのリセットを行うことができる。つまり、パイルアップが起きている光電変換単位のパイルアップ状態期間のみ、上記カウントクロックサイクルが起動する。よって不要な消費電気エネルギーを低減することができる。言い換えると、パイルアップがない場合の上記パイルアップ対策回路の消費電気エネルギーは基本的にゼロである。
【0046】
さらに、第一および第二の実施形態においては制御パルスCLKのLo期間に正常状態でのフォトン入射があると、これについてはカウントロスとなる。なぜならこのLo期間、スイッチ6がオフなので、APD1と検知部4が電気的に切り離されるからである。本実施形態によれば、このようなカウントロスは生じない。
【0047】
以上の理由から、第三の実施形態においては、余分なエネルギー消費をなくし、カウントロスを伴わず、パイルアップ対策効果を得ることができる。
【0048】
[第四の実施形態]
図7は第四の実施形態に係る光電変換単位の等価回路図である。本実施形態に係る光電変換装置は、カウンタ5のカウント数が所定の値に達するとリセット部2に入力される電位が変わる点が第二の実施形態と異なる。それ以外の構成は、第二の実施形態と同様である。
【0049】
図7において、カウンタ5には、制御回路11が接続されている。制御回路11は、カウント数が所定値に達した場合にリセット部2をオフする回路である。これにより、カウント数が所定値に達した場合にAPD1のアヴァランシェ増倍が休止する。具体的な動作について以下で説明する。
【0050】
スイッチ6には、第二の実施形態で説明した制御パルスCLKが供給される。制御パルスCLKがオフしている期間は、スイッチ6はオフとなる。制御回路11については、例えば所定値がカウンタの飽和値である場合、つまりカウンタ5の最上位ビットまでカウントが達したらリセット部2をオフする場合は、制御回路11はカウンタ5の最上位ビット出力と接続する。最上位ビットまでカウントが進み、最上位ビット出力がHiになったら、制御回路11は制御線3に電位VDDを供給する。最上位ビットがLoであれば制御回路11はリセット部2を構成するP型のMOSトランジスタが所望のON抵抗Ronを持つような電位を制御線3に供給する。
【0051】
第四の実施形態によれば、特許文献1に比べて、パイルアップした光電変換単位の消費電力を大きく低減できる。つまり特許文献1の構成によれば、パイルアップした光電変換単位はカウントが進まないので、APD1を休止させるための所定のカウント値に達せず、無駄に電流が流れ続ける。一方で、本実施形態によればパイルアップしてもカウントが進み、所定のカウント値に達してその光電変換単位のAPD1に流れる電流をストップすることができるのである。
【0052】
よって、第四の実施形態においては、パイルアップした光電変換単位の無駄な消費電力を抑制し、且つ、カウント飽和した場合の消費電力を抑制できるので、より一層消費電力を低減することができる。また、パイルアップによる光電変換特性の非線形性の改善および高輝度入射時の出力低下の抑制が可能となる。
【0053】
なお、本実施形態ではパイルアップへの対応として第二の実施形態を使用しているが、第一あるいは第三の実施形態を使用し、これと制御回路11とを組み合わせてもよい。
【0054】
[第五の実施形態]
図8は第五の実施形態に係る光電変換単位の等価回路図である。本実施形態に係る光電変換装置は、カウンタ5のカウント数が所定の値に達したときの時刻情報がメモリ12に書き込まれる。また、スイッチ6は、露光時間のうちの1回だけオンされる。以下で説明する事項以外は、第四の実施形態と同様である。
【0055】
各光電変換単位には、
図8に示すように、光電変換単位の露光時間を記憶するメモリ12が含まれる。また、各光電変換単位には、ANDゲート13、ANDゲート13の一方の入力端子に接続された制御線14、ANDゲート13からの信号が入力されるフリップフロップ15が含まれる。
【0056】
図9は
図8の光電変換単位の動作を説明するためのタイミングチャートである。簡単のため、t0=1msとし、露光時間=t0×(2の(T-1)乗)なる所定露光時間を設定する。制御線14にはT=1,2,3,―――Tmaxで決まる露光時間になった瞬間のみHiとなるパルスが供給される。ここでTmax=7、すなわち最長露光時間64msとする。よってこの場合は上記7つの時点でカウンタ5のカウント値が所定の値に達していれば、フリップフロップ15をHiとするので、以降APD1のアヴァランシェが休止状態となる。いったんAPD1が休止となればカウントパルスは出力されず、カウンタ5のカウント数はそのまま維持される。そしてメモリ12にはフリップフロップ15がHiになった時点の露光時間を表すTの値が書き込まれる。
【0057】
特許文献1のように、本実施形態では、メモリ12に保存された露光時間の情報と、カウント値とから光電変換単位の信号の情報を算出してもよい。これにより、APD1が動作し続けることによる消費電力の増加を抑制しながら、十分な飽和信号を維持することができる。
【0058】
そして、制御線7に加えられる制御パルスCLKはT=1まで、つまり露光時間64msに対して最初の1msのみとすればよい。なぜならパイルアップするような高照度の光を受ける光電変換単位は最初の1msで所定のカウント値に達する。つまり高照度を受ける光電変換単位は最初の1msでスクリーニングされるはずであり、1msで所定のカウント値に達しないのはそれほど高照度の光を受けずパイルアップはしない光電変換単位であると考えられるのである。よって第五の実施形態においてはパイルアップ対策の制御信号CLKは最初の1単位の露光時間のみ動作すれば目的を達するのである。
【0059】
このため、本実施形態によれば、制御パルスCLK供給のための消費電力は大きく削減され、また制御パルスCLKがLoの期間に生じる正常なフォトン入射でのカウントロスをごく小さく抑えることができる。この2つの効果とパイルアップした光電変換単位の無駄な消費電力削減効果が発現する。
【0060】
よって、第五の実施形態においては、所定の値に達したカウンタ5を停止することにより余分な消費電力を低減できるとともに全体のカウント数を減らながら飽和を維持し、且つ、パイルアップした光電変換単位の消費電力を抑制できる。したがって、より一層の消費電力削減効果が得られ、さらにパイルアップによる光電変換特性の非線形性および高輝度入射時の出力低下という不具合が改善ないし防止される。さらにパイルアップ対策駆動に伴う電力が大きく削減されるとともに、入射フォトンのカウントロスもほとんど問題ないごく小さい程度に抑えられる。
【0061】
[第六の実施形態]
図10は、本実施形態に係る光電変換システム1200の構成を示すブロック図である。本実施形態の光電変換システム1200は、光電変換装置1204を含む。ここで、光電変換装置1204は、上述の実施形態で述べた光電変換装置のいずれかを適用することができる。光電変換システム1200は例えば、撮像システムとして用いることができる。撮像システムの具体例としては、デジタルスチルカメラ、デジタルカムコーダー、監視カメラ等が挙げられる。
図10では、光電変換システム1200としてデジタルスチルカメラの例を示している。
【0062】
図10に示す光電変換システム1200は、光電変換装置1204、被写体の光学像を光電変換装置1204に結像させるレンズ1202、レンズ1202を通過する光量を可変にするための絞り1203、レンズ1202の保護のためのバリア1201を有する。レンズ1202および絞り1203は、光電変換装置1204に光を集光する光学系である。
【0063】
光電変換システム1200は、光電変換装置1204から出力される出力信号の処理を行う信号処理部1205を有する。信号処理部1205は、必要に応じて入力信号に対して各種の補正、圧縮を行って出力する信号処理の動作を行う。光電変換システム1200は、更に、画像データを一時的に記憶するためのバッファメモリ部1206、外部コンピュータ等と通信するための外部インターフェース部(外部I/F部)1209を有する。更に光電変換システム1200は、撮像データの記録又は読み出しを行うための半導体メモリ等の記録媒体1211、記録媒体1211に記録または読み出しを行うための記録媒体制御インターフェース部(記録媒体制御I/F部)1210を有する。記録媒体1211は、光電変換システム1200に内蔵されていてもよく、着脱可能であってもよい。また、記録媒体制御I/F部1210から記録媒体1211との通信や外部I/F部1209からの通信は無線によってなされてもよい。
【0064】
更に光電変換システム1200は、各種演算を行うとともにデジタルスチルカメラ全体を制御する全体制御・演算部1208、光電変換装置1204と信号処理部1205に各種タイミング信号を出力するタイミング発生部1207を有する。ここで、タイミング信号などは外部から入力されてもよく、光電変換システム1200は、少なくとも光電変換装置1204と、光電変換装置1204から出力された出力信号を処理する信号処理部1205とを有すればよい。第4の実施形態にて説明したようにタイミング発生部1207は光電変換装置に搭載されていてもよい。全体制御・演算部1208およびタイミング発生部1207は、光電変換装置1204の制御機能の一部または全部を実施するように構成してもよい。
【0065】
光電変換装置1204は、画像用信号を信号処理部1205に出力する。信号処理部1205は、光電変換装置1204から出力される画像用信号に対して所定の信号処理を実施し、画像データを出力する。また、信号処理部1205は、画像用信号を用いて、画像を生成する。なお、信号処理部1205やタイミング発生部1207は、光電変換装置に搭載されていてもよい。つまり、信号処理部1205やタイミング発生部1207は、画素が配された基板に設けられていてもよく、第3の実施形態に記載したような別の基板に設けられている構成であってもよい。上述した各実施形態の光電変換装置を用いて撮像システムを構成することにより、より良質の画像が取得可能な撮像システムを実現することができる。
【0066】
[第七の実施形態]
本実施形態の光電変換システム及び移動体について、
図11よび
図12を用いて説明する。
図11は、本実施形態による光電変換システム及び移動体の構成例を示す概略図である。
図12は、本実施形態による光電変換システムの動作を示すフロー図である。本実施形態では、光電変換システムとして、車載カメラの一例を示す。
【0067】
図11は、車両システムとこれに搭載される撮像を行う光電変換システムの一例を示したものである。光電変換システム1301は、光電変換装置1302、画像前処理部1315、集積回路1303、光学系1314を含む。光学系1314は、光電変換装置1302に被写体の光学像を結像する。光電変換装置1302は、光学系1314により結像された被写体の光学像を電気信号に変換する。光電変換装置1302は、上述の各実施形態のいずれかの光電変換装置である。画像前処理部1315は、光電変換装置1302から出力された信号に対して所定の信号処理を行う。画像前処理部1315の機能は、光電変換装置1302内に組み込まれていてもよい。光電変換システム1301には、光学系1314、光電変換装置1302及び画像前処理部1315が、少なくとも2組設けられており、各組の画像前処理部1315からの出力が集積回路1303に入力されるようになっている。
【0068】
集積回路1303は、撮像システム用途向けの集積回路であり、メモリ1305を含む画像処理部1304、光学測距部1306、視差演算部1307、物体認知部1308、異常検出部1309を含む。画像処理部1304は、画像前処理部1315の出力信号に対して、現像処理や欠陥補正等の画像処理を行う。メモリ1305は、撮像画像の一次記憶、撮像画素の欠陥位置を格納する。光学測距部1306は、被写体の合焦や、測距を行う。視差演算部1307は、複数の光電変換装置1302により取得された複数の画像データから視差情報(視差画像の位相差)の算出を行う。物体認知部1308は、車、道、標識、人等の被写体の認知を行う。異常検出部1309は、光電変換装置1302の異常を検出すると、主制御部1313に異常を発報する。
【0069】
集積回路1303は、専用に設計されたハードウェアによって実現されてもよいし、ソフトウェアモジュールによって実現されてもよいし、これらの組合せによって実現されてもよい。また、FPGA(Field Programmable Gate Array)やASIC(Application Specific Integrated Circuit)等によって実現されてもよいし、これらの組合せによって実現されてもよい。
【0070】
主制御部1313は、光電変換システム1301、車両センサ1310、制御ユニット1320等の動作を統括・制御する。主制御部1313を持たず、光電変換システム1301、車両センサ1310、制御ユニット1320が個別に通信インターフェースを有して、それぞれが通信ネットワークを介して制御信号の送受を行う(例えばCAN規格)方法も取り得る。
【0071】
集積回路1303は、主制御部1313からの制御信号を受け或いは自身の制御部によって、光電変換装置1302へ制御信号や設定値を送信する機能を有する。
【0072】
光電変換システム1301は、車両センサ1310に接続されており、車速、ヨーレート、舵角などの自車両走行状態及び自車外環境や他車・障害物の状態を検出することができる。車両センサ1310は、視差画像から対象物までの距離情報を取得する距離情報取得手段でもある。また、光電変換システム1301は、自動操舵、自動巡行、衝突防止機能等の種々の運転支援を行う運転支援制御部1311に接続されている。特に、衝突判定機能に関しては、光電変換システム1301や車両センサ1310の検出結果を基に他車・障害物との衝突推定・衝突有無を判定する。これにより、衝突が推定される場合の回避制御、衝突時の安全装置起動を行う。
【0073】
また、光電変換システム1301は、衝突判定部での判定結果に基づいて、ドライバーに警報を発する警報装置1312にも接続されている。例えば、衝突判定部の判定結果として衝突可能性が高い場合、主制御部1313は、ブレーキをかける、アクセルを戻す、エンジン出力を抑制するなどして、衝突を回避、被害を軽減する車両制御を行う。警報装置1312は、音等の警報を鳴らす、カーナビゲーションシステムやメーターパネルなどの表示部画面に警報情報を表示する、シートベルトやステアリングに振動を与えるなどしてユーザに警告を行う。
【0074】
本実施形態では、車両の周囲、例えば前方又は後方を光電変換システム1301で撮影する。
図11(b)に、車両前方を光電変換システム1301で撮像する場合の光電変換システム1301の配置例を示す。
【0075】
2つの光電変換装置1302は、車両1300の前方に配置される。具体的には、車両1300の進退方位又は外形(例えば車幅)に対する中心線を対称軸に見立て、その対称軸に対して2つの光電変換装置1302が線対称に配置されると、車両1300と被写対象物との間の距離情報の取得や衝突可能性の判定を行う上で好ましい。また、光電変換装置1302は、運転者が運転席から車両1300の外の状況を視認する際に運転者の視野を妨げない配置が好ましい。警報装置1312は、運転者の視野に入りやすい配置が好ましい。
【0076】
次に、光電変換システム1301における光電変換装置1302の故障検出動作について、
図12を用いて説明する。光電変換装置1302の故障検出動作は、
図12に示すステップS1410~S1480に従って実施される。
【0077】
ステップS1410は、光電変換装置1302のスタートアップ時の設定を行うステップである。すなわち、光電変換システム1301の外部(例えば主制御部1313)又は光電変換システム1301の内部から、光電変換装置1302の動作のための設定を送信し、光電変換装置1302の撮像動作及び故障検出動作を開始する。
【0078】
次いで、ステップS1420において、有効画素から画素信号を取得する。また、ステップS1430において、故障検出用に設けた故障検出画素からの出力値を取得する。この故障検出画素は、有効画素と同じく光電変換部を備える。この光電変換部には、所定の電圧が書き込まれる。故障検出用画素は、この光電変換部に書き込まれた電圧に対応する信号を出力する。なお、ステップS1420とステップS1430とは逆でもよい。
【0079】
次いで、ステップS1440において、故障検出画素の出力期待値と、実際の故障検出画素からの出力値との該非判定を行う。ステップS1440における該非判定の結果、出力期待値と実際の出力値とが一致している場合は、ステップS1450に移行し、撮像動作が正常に行われていると判定し、処理ステップがステップS1460へと移行する。ステップS1460では、走査行の画素信号をメモリ1305に送信して一次保存する。そののち、ステップS1420に戻り、故障検出動作を継続する。一方、ステップS1440における該非判定の結果、出力期待値と実際の出力値とが一致していない場合は、処理ステップはステップS1470に移行する。ステップS1470において、撮像動作に異常があると判定し、主制御部1313、又は警報装置1312に警報を発報する。警報装置1312は、表示部に異常が検出されたことを表示させる。その後、ステップS1480において光電変換装置1302を停止し、光電変換システム1301の動作を終了する。
【0080】
なお、本実施形態では、1行毎にフローチャートをループさせる例を例示したが、複数行毎にフローチャートをループさせてもよいし、1フレーム毎に故障検出動作を行ってもよい。ステップS1470の警報の発報は、無線ネットワークを介して、車両の外部に通知するようにしてもよい。
【0081】
また、本実施形態では、他の車両と衝突しない制御を説明したが、他の車両に追従して自動運転する制御や、車線からはみ出さないように自動運転する制御などにも適用可能である。さらに、光電変換システム1301は、自車両等の車両に限らず、例えば、船舶、航空機或いは産業用ロボットなどの移動体(移動装置)に適用することができる。加えて、移動体に限らず、高度道路交通システム(ITS)等、広く物体認識を利用する機器に適用することができる。
【0082】
本発明の光電変換装置は、更に、カラーフィルタやマイクロレンズを有する構成であってもよく、距離情報など各種情報を取得可能な構成であってもよい。また、増幅トランジスタはソースフォロワ回路の一部であるが、AD変換器の一部を構成していてもよい。具体的には、AD変換器が含む比較器の一部を増幅トランジスタが構成していてもよい。また、比較器の一部の構成が別の半導体基板に設けられている構成であってもよい。
【0083】
本発明は、上記実施形態に限らず種々の変形が可能である。例えば、いずれかの実施形態の一部の構成を他の実施形態に追加した例や、他の実施形態の一部の構成と置換した例も、本発明の実施形態である。また、上述の実施形態は、いずれも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらの例示によって本発明の技術的範囲が限定的に解釈されてはならない。すなわち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な態様で実施することができる。