(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-08-08
(45)【発行日】2024-08-19
(54)【発明の名称】撮像装置
(51)【国際特許分類】
H04N 25/70 20230101AFI20240809BHJP
H04N 25/76 20230101ALI20240809BHJP
【FI】
H04N25/70
H04N25/76
(21)【出願番号】P 2021543658
(86)(22)【出願日】2020-07-30
(86)【国際出願番号】 JP2020029235
(87)【国際公開番号】W WO2021044771
(87)【国際公開日】2021-03-11
【審査請求日】2023-05-30
(31)【優先権主張番号】P 2019163238
(32)【優先日】2019-09-06
(33)【優先権主張国・地域又は機関】JP
(73)【特許権者】
【識別番号】314012076
【氏名又は名称】パナソニックIPマネジメント株式会社
(74)【代理人】
【識別番号】100111383
【氏名又は名称】芝野 正雅
(74)【代理人】
【識別番号】100170922
【氏名又は名称】大橋 誠
(72)【発明者】
【氏名】山田 翔太
(72)【発明者】
【氏名】石井 基範
(72)【発明者】
【氏名】春日 繁孝
(72)【発明者】
【氏名】竹本 征人
(72)【発明者】
【氏名】廣瀬 裕
【審査官】松永 隆志
(56)【参考文献】
【文献】国際公開第2016/185700(WO,A1)
【文献】国際公開第2018/216400(WO,A1)
【文献】国際公開第2019/102637(WO,A1)
【文献】特開2004-144734(JP,A)
【文献】特開2018-091760(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
H04N 23/00-25/79
(57)【特許請求の範囲】
【請求項1】
複数の画素セルが
受光面に行列状に配置された固体撮像素子と、
前記各画素セルから出力される検出信号を処理する信号処理部と、を備え、
前記画素セルは、
アバランシェフォトダイオードを備え、
前記アバランシェフォトダイオードにより受光されたフォトンのカウント数に応じた電圧を前記検出信号として出力し、
前記信号処理部は、
前記複数の画素セルに対する電気制御によりアバランシェ増倍相当の電荷を擬似的に蓄積させた場合に、前記各画素セルから出力される検出信号の前記画素セル間のばらつきを算出するばらつき算出部と、
前記ばらつき算出部により算出されたばらつきに基づいて前記各画素セルから出力される検出信号を補正する補正演算部と、を備える、
ことを特徴とする撮像装置。
【請求項2】
複数の画素セルが
受光面に行列状に配置された固体撮像素子と、
前記各画素セルから出力される検出信号を処理する信号処理部と、を備え、
前記画素セルは、
アバランシェフォトダイオードを備え、
前記アバランシェフォトダイオードにより受光されたフォトンのカウント数に応じた電圧を前記検出信号として出力し、
前記信号処理部は、
前記複数の画素セルに対する光の照射によりアバランシェ増倍相当の電荷を擬似的に蓄積させた場合に、前記各画素セルから出力される検出信号の前記画素セル間のばらつきを算出するばらつき算出部と、
前記ばらつき算出部により算出されたばらつきに基づいて前記各画素セルから出力される検出信号を補正する補正演算部と、を備える、
ことを特徴とする撮像装置。
【請求項3】
請求項1
または2に記載の撮像装置において、
前記ばらつき算出部は、全ての前記画素セルから出力されるフォトンのカウント数に応じた前記検出信号を決定する基準値を取得し、前記基準値と前記各画素
セルの前記検出信号の差分に基づいて、各画素セルに対する前記ばらつきを算出する、
ことを特徴とする撮像装置。
【請求項4】
請求項
3に記載の撮像装置において、
前記基準値は、前記全ての前記画素セルから出力された前記検出信号をヒストグラム化したときのモード、中央値および平均値の何れか一つにより決定される、
ことを特徴とする撮像装置。
【請求項5】
請求項
3または
4に記載の撮像装置において、
前記信号処理部は、前記基準値と前記検出信号との差分を前記画素セルごとに記憶するテーブル記憶部をさらに備え、
前記補正演算部は、前記画素セルごとに前記差分を前記検出信号に加算して前記検出信号の補正を行う、
ことを特徴とする撮像装置
。
【請求項6】
請求項1ないし
5の何れか一項に記載の撮像装置において、
前記ばらつき算出部は、異なるタイミングで複数回、前記ばらつきを算出し、
前記補正演算部は、算出された複数回の前記ばらつきに基づいて、前記各画素セルからの前記検出信号に対する前記ばらつきの補正を行う、
ことを特徴とする撮像装置。
【請求項7】
請求項1ないし
6の何れか一項に記載の撮像装置において、
前記ばらつき算出部は、所定の更新条件が充足された場合に、前記ばらつきの算出を行って、前記各画素セルにおける前記ばらつきを更新する、
ことを特徴とする撮像装置。
【請求項8】
複数の画素セルが行列状に配置された固体撮像素子と、
前記各画素セルから出力される検出信号を処理する信号処理部と、を備え、
前記画素セルは、
アバランシェフォトダイオードを備え、
前記アバランシェフォトダイオードにより受光されたフォトンのカウント数に応じた電圧を前記検出信号として出力し、
前記信号処理部は、
前記カウント数と前記検出信号との相関関係を前記画素
セルごとに抽出する相関抽出部と、
前記相関抽出部により抽出された前記相関関係に基づいて、前記各画素セルからの検出信号に応じた前記カウント数を取得するカウント数取得部と、を備える、
ことを特徴とする撮像装置。
【請求項9】
請求項
8に記載の撮像装置において、
前記相関抽出部は、前記カウント数と前記検出信号との相関関係を規定する相関テーブルを前記画素
セルごとに設定する、
ことを特徴とする撮像装置。
【請求項10】
請求項
9に記載の撮像装置において、
前記相関抽出部は、各カウント数に対応する電荷を前記画素セルに擬似的に蓄積させた場合に、前記各画素セルから出力される前記検出信号に基づいて、前記相関テーブルを設定する、
ことを特徴とする撮像装置。
【請求項11】
請求項
10に記載の撮像装置において、
前記相関抽出部は、複数種類の前記相関テーブルを予め保持し、前記各画素セルから出力される前記検出信号と前記カウント数との相関関係に最も近い相関関係の前記相関テーブルを、前記各画素
セルに対応づける、
ことを特徴とする撮像装置。
【請求項12】
請求項
8に記載の撮像装置において、
前記相関抽出部は、各カウント数に対応する電荷を前記画素セルに擬似的に蓄積させた場合に、前記各画素セルから出力される前記検出信号に基づいて、前記カウント数と前記検出信号との相関関係を規定する相関関数を前記画素
セルごと設定する、
ことを特徴とする撮像装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、固体撮像素子を用いた撮像装置に関する。
【背景技術】
【0002】
従来、固体撮像素子を用いた撮像装置が、医療や放射線計測等の種々の分野で用いられている。最近では、目標領域に光を投射し、その反射光の有無に基づいて、目標領域における物体の有無を検出する物体検出装置にも、撮像装置が用いられている。この場合、目標領域に対する光の投射タイミングと反射光の受光タイミングとの時間差に基づいて、物体までの距離が測定される。固体撮像素子の画素ごとに、反射光の有無が検出され、物体までの距離が測定される。測定された距離を各画素位置にマッピングすることにより、目標領域に対する距離画像を生成できる。
【0003】
微弱な光の検出が必要な機器では、アバランシェフォトダイオード(以下、「APD」という)がアレイ状に配置された固体撮像素子が用いられ得る。たとえば、上記物体検出装置では、反射光の強度が物体までの距離の2乗に反比例するため、測距範囲が長くなると、固体撮像素子で受光される反射光の強度は、かなり減衰する。このような場合に、APDがアレイ状に配置された固体撮像素子が用いられると有利である。APDは、フォトンの衝突により発生する電子(電荷)をアバランシェ増倍により増幅させる。これにより、微弱な光を検出可能である。この種の固体撮像素子では、画素セルごとに、APDと、その処理回路が配置されている。
【0004】
ここで、固体撮像素子を用いた撮像装置では、各画素セルからの信号にノイズが生じることが課題となっている。このようなノイズを低減する方法の一例として、以下の特許文献1には、単位画素のフローティングディフュージョンと、単位画素から読み出された信号を転送する信号線との接続を制御する第1の接続制御部と、フィードバック用の増幅部の入力と信号線との接続を制御する第2の接続制御部と、フィードバック用の増幅部の出力と信号線との接続を制御する第3の接続制御部と、単位画素、フィードバック用の増幅部、並びに、第1の接続制御部乃至第3の接続制御部を制御し、フィードバック用の増幅部の出力をフローティングディフュージョンにフィードバックさせるフィードバック制御部と、を備える信号処理装置が記載されている。
【先行技術文献】
【特許文献】
【0005】
【発明の概要】
【発明が解決しようとする課題】
【0006】
上記特許文献1の構成では、フィードバック用の増幅部の出力をフローティングディフュージョンにフィードバックさせる構成が画素ごとに必要となるため、固体撮像素子の構成が複雑になってしまう。
【0007】
かかる課題に鑑み、本発明は、フィードバック回路を設けることなく、各画素セルからの検出信号のばらつきに対応することが可能な撮像装置を提供することを目的とする。
【課題を解決するための手段】
【0008】
本発明の第1の態様は、撮像装置に関する。本態様に係る撮像装置は、複数の画素セルが受光面に行列状に配置された固体撮像素子と、前記各画素セルから出力される検出信号を処理する信号処理部と、を備える。ここで、前記画素セルは、アバランシェフォトダイオードを備え、前記アバランシェフォトダイオードにより受光されたフォトンのカウント数に応じた電圧を前記検出信号として出力する。前記信号処理部は、前記複数の画素セルに対する電気制御によりアバランシェ増倍相当の電荷を擬似的に蓄積させた場合に、前記各画素セルから出力される検出信号の前記画素セル間のばらつきを算出するばらつき算出部と、前記ばらつき算出部により算出されたばらつきに基づいて前記各画素セルから出力される検出信号を補正する補正演算部と、を備える。
本発明の第2の態様は、撮像装置に関する。本態様に係る撮像装置は、複数の画素セルが受光面に行列状に配置された固体撮像素子と、前記各画素セルから出力される検出信号を処理する信号処理部と、を備える。ここで、前記画素セルは、アバランシェフォトダイオードを備え、前記アバランシェフォトダイオードにより受光されたフォトンのカウント数に応じた電圧を前記検出信号として出力する。前記信号処理部は、前記複数の画素セルに対する光の照射によりアバランシェ増倍相当の電荷を擬似的に蓄積させた場合に、前記各画素セルから出力される検出信号の前記画素セル間のばらつきを算出するばらつき算出部と、前記ばらつき算出部により算出されたばらつきに基づいて前記各画素セルから出力される検出信号を補正する補正演算部と、を備える。
【0009】
第1および第2の態様に係る撮像装置によれば、各画素セルから出力される検出信号を処理する信号処理部において、画素セルから出力される検出信号のばらつきが算出され、算出されたばらつきに基づいて、各画素セルから出力される検出信号が補正される。よって、各画素セルからの検出信号のばらつきを補正することができる。
【0010】
本発明の第3の態様は、撮像装置に関する。本態様に係る撮像装置は、複数の画素セルが行列状に配置された固体撮像素子と、前記各画素セルから出力される検出信号を処理する信号処理部と、を備える。ここで、前記画素セルは、アバランシェフォトダイオードを備え、前記アバランシェフォトダイオードにより受光されたフォトンのカウント数に応じた電圧を前記検出信号として出力する。前記信号処理部は、前記カウント数と前記検出信号との相関関係を前記画素セルごとに抽出する相関抽出部と、前記相関抽出部により抽出された前記相関関係に基づいて、前記各画素セルからの検出信号に応じた前記カウント数を取得するカウント数取得部と、を備える。
【0011】
第3の態様に係る撮像装置によれば、予め、相関抽出部により、アバランシェフォトダイオードにより受光されたフォトンのカウント数と画素セルの検出信号との間の相関関係が抽出され、通常動作時には、当該相関関係に基づいて、各画素セルからの検出信号に応じたカウント数が取得される。よって、各画素セルからの検出信号にばらつきが生じても、フォトンのカウント数を適正に取得することができる。
【発明の効果】
【0012】
以上のとおり、本発明によれば、フィードバック回路を設けることなく、各画素セルからの検出信号のばらつきに対応することが可能な撮像装置を提供することができる。
【0013】
本発明の効果ないし意義は、以下に示す実施の形態の説明により更に明らかとなろう。ただし、以下に示す実施の形態は、あくまでも、本発明を実施化する際の一つの例示であって、本発明は、以下の実施の形態に記載されたものに何ら制限されるものではない。
【図面の簡単な説明】
【0014】
【
図1】
図1は、実施形態1に係る、距離測定装置の構成を示す図である。
【
図2】
図2は、実施形態1に係る、画素セルの構成を示す図である。
【
図3】
図3(a)~(d)は、それぞれ、実施形態1に係る、画素セルの動作シーケンスを説明する図である。
【
図4】
図4(a)は、実施形態1に係る、画素セルの動作シーケンスを説明する図である。
図4(b)は、実施形態1に係る、フローティングディフュージョン部に蓄積される電荷量を所定レベルに調整するための摺り切りレベルの他の設定方法を説明する図である。
図4(c)は、実施形態1に係る、画素セルの動作シーケンスを実行するためのフローチャートである。
【
図5】
図5は、実施形態1に係る、信号処理部の構成を示す図である。
【
図6】
図6(a)は、実施形態1に係る、補正テーブルの更新動作時に信号処理部により実行される処理を示すフローチャートである。
図6(b)は、実施形態1に係る、補正テーブルの更新動作時に信号処理部により実行される処理の変更例を示すフローチャートである。
【
図7】
図7は、実施形態1に係る、補正テーブルの更新条件の充足の有無を判定するフローチャートである。
【
図8】
図8(a)は、実施形態1に係る、各画素セルから取得した検出信号の状態を模式的に示す図である。
図8(b)は、実施形態1に係る、ばらつき算出部における基準値の算出方法を説明する図である。
【
図9】
図9は、変更例1に係る、補正テーブルの更新動作時に信号処理部により実行される処理を示すフローチャートである。
【
図10】
図10は、変更例2に係る、センサチップの構成を模式的に示す図である。
【
図11】
図11は、実施形態2に係る、画素セルの構成を示す図である。
【
図12】
図12(a)~(d)は、それぞれ、実施形態2に係る、画素セルの動作シーケンスを説明する図である。
【
図13】
図13(a)~(d)は、それぞれ、実施形態2に係る、画素セルの動作シーケンスを説明する図である。
【
図14】
図14(a)は、実施形態2に係る、画素セルの動作シーケンスを実行するためのフローチャートである。
図14(b)は、実施形態2に係る、画素セルにおけるフォトンのカウント数と出力電圧との関係の一例を示すグラフである。
【
図15】
図15は、実施形態2に係る、信号処理部の構成を示す図である。
【
図16】
図16(a)は、実施形態2に係る、相関関係の更新動作時に信号処理部により実行される処理を示すフローチャートである。
図16(b)は、実施形態2に係る、相関テーブルの構成を示す図である。
【
図17】
図17(a)は、実施形態2の変更例1に係る、相関関係の更新動作時に信号処理部により実行される処理を示すフローチャートである。
図17(b)は、実施形態2の変更例1に係る、
図17(a)の処理により相関記憶部に記憶される情報を示す図である。
【
図18】
図18(a)は、実施形態2の変更例2に係る、相関関係の更新動作時に信号処理部により実行される処理を示すフローチャートである。
図18(b)は、実施形態2の変更例2に係る、
図18(a)の処理により相関記憶部に記憶される相関関数を模式的に示す図である。
【
図19】
図19は、実施形態3に係る、距離測定装置の構成を示すブロック図である。
【0015】
ただし、図面はもっぱら説明のためのものであって、この発明の範囲を限定するものではない。
【発明を実施するための形態】
【0016】
以下、本発明の実施形態について、図を参照して説明する。
【0017】
<実施形態1>
本実施形態では、撮像装置が、物体までの距離を測定するための距離測定装置に搭載される場合の構成例が示されている。
【0018】
図1は、実施形態1に係る、距離測定装置1の構成を示す図である。
【0019】
距離測定装置1は、投光装置10と、撮像装置20とを備える。投光装置10は、目標領域に光を投射する。撮像装置20は、投光装置10から出射された光が目標領域中の物体で反射された反射光を受光する。
【0020】
投光装置10は、光源11と、投射光学系12と、発光制御部13とを備える。光源11は、レーザ光源やLED(Light Emitting Diode)等により構成され、所定波長の光を出射する。投射光学系12は、光源11から出射された光を所定の広がり角で目標領域に投射する。投射光学系12は、単一または複数のレンズで構成される。投射光学系12が、凹面ミラー等を含んでいてもよい。発光制御部13は、信号処理部25からの制御により、光源11をパルス発光させる。
【0021】
撮像装置20は、受光光学系21と、フィルタ22と、固体撮像素子23と、撮像制御部24と、信号処理部25と、を備える。受光光学系21は、投光装置10から出射された光が目標領域中の物体で反射された反射光を、固体撮像素子23の受光面に結像させる。受光光学系21は、単一または複数のレンズで構成される。受光光学系21が、凹面ミラー等を含んでいてもよい。フィルタ22は、光源11から出射された光を透過し、その他の波長の光を除去する。
【0022】
固体撮像素子23は、複数の画素セルが行列状に配置された構成である。すなわち、複数の画素セルが、行方向および列方向に、それぞれ直線状に隣接して並ぶように、固体撮像素子23に配置されている。固体撮像素子23には、画素セルごとに、APDと、その処理回路が実装されている。
【0023】
撮像制御部24は、信号処理部25からの制御により、各画素セルを駆動する。信号処理部25は、発光制御部13および撮像制御部24を制御して、目標領域に存在する物体までの距離を測定する。すなわち、信号処理部25は、発光制御部13を介して光源11をパルス発光させ、このパルス発光に基づく反射光を、撮像制御部24を介して、固体撮像素子23に受光させる。そして、信号処理部25は、パルス発光のタイミングと各画素セルにおける反射光の受光タイミングとの時間差に基づいて、各画素セルに対応する目標領域上の位置に存在する物体までの距離を測定する。
【0024】
図1の構成において、固体撮像素子23は、画素セルごとに反射光の検出信号を撮像制御部24に出力する。各画素セルは、反射光を受光した場合に、アバランシェ増倍に基づく電圧レベルの検出信号を撮像制御部24に出力する。各画素セルに入射する反射光の光量は、物体までの距離の2乗に反比例して減衰する。また、各画素セルに入射する反射光の光量は、物体の反射率によっても変化する。各画素セルは、このように反射光の光量が変化しても、アバランシェ増倍による所定電圧レベルの検出信号を撮像制御部24に出力する。
【0025】
具体的には、各画素セルに配置されたAPDにフォトンが入射すると、APDは、フォトンの衝突により発生する電子(電荷)をアバランシェ増倍により飽和電荷量まで増幅させる。各セルは、飽和電荷量を電圧に変換し、変換した電圧を検出信号として出力する。これにより、各セルから出力される検出信号は、飽和電荷量に応じた電圧に揃うことなる。こうして、各画素セルは、受光した反射光の光量に拘わらず、一定電圧レベルの検出信号を撮像制御部24に出力する。
【0026】
しかしながら、各画素セルでは、種々の要因により、アバランシェ増倍による通常の飽和電荷量とは異なる電荷が生じることが起こり得る。このため、各画素セルから出力される検出信号は、飽和電荷量に応じた電圧に対してばらつきが生じ得る。このように、画素セルごとに検出信号がばらつくと、撮像制御部24以降の回路部の処理が不安定になることが起こり得る。各画素セルの検出信号は、なるべくばらつきが抑制されることが好ましい。
【0027】
そこで、本実施形態1では、各画素セルの検出信号のばらつきを抑制するための構成が用いられる。以下、この構成について説明する。
【0028】
まず、
図2を参照して、画素セル100の構成を説明する。
【0029】
画素セル100は、APD101と、APDリセットトランジスタ102と、転送トランジスタ103と、FDリセットトランジスタ104と、増幅トランジスタ105と、選択トランジスタ106とを備える。
【0030】
APD101は、フォトンの衝突により発生する電子(電荷)をアバランシェ増倍により飽和電荷量まで増幅させるアバランシェフォトダイオードである。APD101は、ガイガー増幅モードで使用される。APD101のアノードには、ガイガー増幅モードに応じた逆バイアス電圧VSUB(たとえば25V)が印加される。APD101にフォトンが入射すると、APD101のカソードに電子(電荷)が蓄積される。
【0031】
APDリセットトランジスタ102は、APD101のカソードに蓄積された電荷をリセットするためのトランジスタである。APDリセットトランジスタ102のゲートにリセット信号OVFを印加することにより、APD101のカソードに蓄積された電荷が、APDリセットトランジスタ102を介して、リセットドレイン電源PIXRSDに排出される。これにより、APD101のカソードに蓄積された電荷がリセットされる。
【0032】
転送トランジスタ103は、APD101のカソードに蓄積された電荷をフローティングディフュージョン部110に転送するためのトランジスタである。転送トランジスタ103のゲートに転送信号TRNを印加することにより、APD101のカソードに蓄積された電荷が、転送トランジスタ103を介して、フローティングディフュージョン部110に転送される。
【0033】
FDリセットトランジスタ104は、フローティングディフュージョン部110に蓄積された電荷をリセットするためのトランジスタである。FDリセットトランジスタ104のゲートにリセット信号RSTを印加することにより、フローティングディフュージョン部110に蓄積された電荷が、FDリセットトランジスタ104を介して、リセットドレイン電源RSDに排出される。これにより、フローティングディフュージョン部110に蓄積された電荷がリセットされる。
【0034】
増幅トランジスタ105は、ドレインに印加される一定電圧VDDに基づいて、フローティングディフュージョン部110に蓄積された電荷の電荷量を電圧に変換するためのトランジスタである。選択トランジスタ106は、増幅トランジスタ105により変換された電圧を、垂直信号線Vsigに出力するためのトランジスタである。選択トランジスタ106のゲートに選択信号SELを印加することにより、増幅トランジスタ105により変換された電圧が、垂直信号線Vsigに出力される。垂直信号線Vsigに出力された電圧は、当該画素セル100の検出信号として、
図1の撮像制御部24に出力される。
【0035】
本実施形態1では、フローティングディフュージョン部110の容量が、APD101のカソードの電荷蓄積領域の容量の半分程度に設定される。但し、フローティングディフュージョン部110の容量の設定方法は、これに限られるものではなく、種々の設定方法が適用され得る。
【0036】
図3(a)~(d)は、画素セル100の動作シーケンスを説明する図である。
【0037】
図3(a)~(d)には、
図2のリセットドレイン電源PIXRSDから、APDリセットトランジスタ102、転送トランジスタ103、フローティングディフュージョン部110およびFDリセットトランジスタ104を介して、リセットドレイン電源RSDへと続く回路部分のポテンシャル図が示されている。縦軸は、矢印の方向が低電位の方向である。
【0038】
図3(a)~(d)において、“PIXRSD”は、リセットドレイン電源PIXRSDの電位を示し、“APD”は、APD101のカソードの電位を示し、“FD”は、フローティングディフュージョン部110の電位を示し、“RSD”は、リセットドレイン電源RSDの電位を示している。また、“OVF”は、APDリセットトランジスタ102の電位を示し、“TRN”は、転送トランジスタ103の電位を示し、“RST”は、FDリセットトランジスタ104の電位を示している。
【0039】
図3(a)の初期状態は、APD101のカソードとフローティングディフュージョン部110がリセットされた後の状態を示している。初期状態では、PIXRSDおよびRSDが電位Vrsdに設定される。
【0040】
また、この初期状態において、撮像制御部24は、APDリセットトランジスタ102を低電圧で駆動し、これにより、OVFにポテンシャル障壁を生じさせる。さらに、撮像制御部24は、転送トランジスタ103およびFDリセットトランジスタ104をオフに設定し、これにより、TRNとRSTに電位0Vの高さのポテンシャル障壁を生じさせる。
【0041】
この状態から、撮像制御部24は、光源11のパルス発光に応じて、所定時間、各画素セル100に対する露光を行う。これにより、APD101に反射光が入射すると、APD101のカソードに電荷(電子)が蓄積され、
図3(b)に示すように、APDの電位が変化する。
図3(b)では、電荷の蓄積が、ハッチングで示されている。アバランシェ増倍により通常の飽和電荷量の電荷が生じた場合、APDの電位は、電位Vq(以下、「クエンチング電位Vq」という)となる。
【0042】
飽和電荷量には、APD101ごとにばらつきが生じ得る。このため、クエンチング電位Vqにも、APD101ごとに分散±σの範囲でばらつきが生じ得る。
図3(b)には、このばらつきにより、典型的な飽和電荷量に対してやや多い電荷量で電荷が生じた場合が図示されている。また、
図3(b)には、典型的なクエンチング電位がVqとして示されている。以下、「クエンチング電位Vq」の記載は、特に言及がない限り、典型的なクエンチング電位を意味する。
【0043】
OVFの電位を超える電荷量で電荷が生じた場合、超過分の電荷がOVFのポテンシャル障壁を越えてPIXRSDに移動し、リセットドレイン電源PIXRSDに排出される。
【0044】
こうして、APD101のカソードに対する電荷の蓄積が終了すると、撮像制御部24は、転送トランジスタ103をオンに設定する。これにより、
図3(c)に示すように、TRNのポテンシャル障壁が降下し、APD101のカソードに蓄積された電荷が、転送トランジスタ103を介して、フローティングディフュージョン部110に分配される。
【0045】
図3(c)において、電位Vq’は、
図3(b)の蓄積工程において、APD101のカソードに通常の飽和電荷量の電荷(クエンチング電位Vqに対応する電荷)が蓄積された場合に、フローティングディフュージョン部110に分配される電荷の電位である。以下、この電位Vq’のことを基準蓄積電位と称する。ここでは、
図3(b)の工程において、APD101のカソードに典型的な飽和電荷量を超える電荷量で電荷が蓄積されているため、フローティングディフュージョン部110に分配される電荷量も、
図3(c)に示すように、基準蓄積電位Vq’をやや超えた電荷量となっている。飽和電荷量のばらつきに応じて、
図3(c)の工程で蓄積される電荷量に応じた電圧も、典型的な基準蓄積電位Vq’に対して分散±σ’の範囲でばらつく。以下、「基準蓄積電位Vq’」の記載は、特に言及がない限り、典型的なクエンチング電位Vqに対応する基準蓄積電位を意味する。
【0046】
その後、撮像制御部24は、転送トランジスタ103をオフに切り替え、さらに、FDリセットトランジスタ104をハーフオンに設定する。これにより、
図3(d)に示すように、TRNのポテンシャル障壁が上昇し、RSTのポテンシャル障壁が降下する。
【0047】
ここで、撮像制御部24は、RSTのポテンシャル障壁が基準蓄積電位Vq’となるように、FDリセットトランジスタ104のゲートに印加する電圧を設定する。これにより、
図3(d)に示すように、フローティングディフュージョン部110に分配された電荷のうち、基準蓄積電位Vq’を超える部分の電荷が、RSTのポテンシャル障壁を超えてRSDに移動する。すなわち、基準蓄積電位Vq’を超える部分の電荷が、FDリセットトランジスタ104を介して、リセットドレイン電源RSDに排出される。これにより、フローティングディフュージョン部110に蓄積される電荷が一定量(基準蓄積電位Vq’に応じた量)に固定される。
【0048】
その後、撮像制御部24は、FDリセットトランジスタ104をオフに設定する。これにより、RSTのポテンシャル障壁が上昇し、フローティングディフュージョン部110に蓄積される電荷量が所定の電荷量(ここでは、基準蓄積電位Vq’に対応する電荷量)に確定する。そして、撮像制御部24は、選択トランジスタ106をオンに設定し、フローティングディフュージョン部110に蓄積された電荷量に対応する電圧信号を、垂直信号線Vsigに出力する。これにより、画素セル100における検出信号の出力が完了する。
【0049】
こうして、検出信号を出力した後、撮像制御部24は、APD101のカソードとフローティングディフュージョン部110にそれぞれ蓄積されている電荷をリセットする初期化処理を行う。すなわち、撮像制御部24は、APDリセットトランジスタ102とFDリセットトランジスタ104をオンに設定する。
【0050】
これにより、
図4(a)に示すように、OVFおよびRSTのポテンシャル障壁が降下し、APD101のカソードとフローティングディフュージョン部110にそれぞれ蓄積されている電荷が、APDリセットトランジスタ102およびFDリセットトランジスタ104を介して、リセットドレイン電源PIXRSDおよびリセットドレイン電源RSDに排出される。その後、撮像制御部24は、
図3(a)~(d)および
図4(a)の処理を繰り返し実行して、画素セル100における検出信号の出力を継続する。
【0051】
なお、
図3(d)の摺り切り工程では、FDリセットトランジスタ104がハーフオンに設定された場合のポテンシャル障壁の高さが基準蓄積電位Vq’と同電位に設定されたが、ハーフオン時のポテンシャル障壁の高さは、これに限られるものではない。たとえば、
図4(b)に示すように、フローティングディフュージョン部110に分配される電荷の電位が基準蓄積電位Vq’に対してばらつき得る範囲は、分散をσとしたとき、Vq’±σで表現できる。この分散を含めた最大値、すなわち、基準蓄積電位Vq’に対して+σだけ高い電位に、ハーフオン時のポテンシャル障壁の高さが設定されてもよい。
【0052】
この場合、摺り切り工程後にフローティングディフュージョン部110に残る電荷の量は、
図3(d)の場合に比べて減少するもの、摺り切り工程後にフローティングディフュージョン部110に残る電荷の量をより確実に一定量に固定することができる。この他、FDリセットトランジスタ104がハーフオンの場合のポテンシャル障壁の高さが、基準蓄積電位Vq’にばらつきを加算した電位よりもやや高く設定されてもよく、あるいは、ばらつきの範囲内の他の電位に設定されてもよい。
【0053】
但し、摺り切り工程後にフローティングディフュージョン部110に残る電荷の量をより確実に一定量に固定するためには、FDリセットトランジスタ104がハーフオンの場合のポテンシャル障壁の高さを、基準蓄積電位Vq’以上に設定することが好ましく、基準蓄積電位Vq’にばらつきを加算した電位以上に設定することがさらに好ましい。
【0054】
図4(c)は、上記処理を実行するためのフローチャートである。
【0055】
まず、撮像制御部24は、画素セル100に対する初期化を実行する(S11)。これにより、各部の電位が
図4(a)の状態に設定され、APD101のカソードおよびフローティングディフュージョン部110の電荷がリセットされる。次に、撮像制御部24は、各部の電位を
図3(a)の初期状態に設定した後、露光を行って、APD101のカソードに電荷を蓄積させる(S12)。なお、この工程において反射光がAPD101に入射しない場合は、APD101のカソードに電荷が蓄積されない。
【0056】
その後、撮像制御部24は、転送トランジスタ103をオンに設定する(S13)。これにより、
図3(c)に示すように、APD101のカソードに蓄積された電荷がフローティングディフュージョン部110に分配される。そして、撮像制御部24は、転送トランジスタ103をオフに設定し(S14)、さらに、FDリセットトランジスタ104をハーフオンに設定する(S15)。これにより、
図3(d)に示すように、余剰な電荷が、フローティングディフュージョン部110から、APDリセットトランジスタ102を介して、リセットドレイン電源PIXRSDに排出される。
【0057】
その後、撮像制御部24は、FDリセットトランジスタ104をオフに設定し(S16)、さらに、選択トランジスタ106をオンに設定する(S17)。これにより、フローティングディフュージョン部110に蓄積された電荷量に応じた電圧が、検出信号として、垂直信号線Vsigに出力される。こうして、画素セル100に対する1シーケンスが終了する。
【0058】
その後、撮像制御部24は、処理をステップS11に戻して、同様の処理を繰り返す。各シーケンスにおいて反射光がAPD101に入射する場合に、基準蓄積電位Vq’に対応する電圧が、検出信号として、画素セル100から撮像制御部24に出力される。反射光がAPD101に入射しない場合、
図3(c)の転送工程において、APD101のカソードからフローティングディフュージョン部110に電荷が転送されない。この場合、ノイズ等による電荷がAPD101のカソードに蓄積されていても、転送工程において設定された転送トランジスタ103のポテンシャル障壁により、この電荷がフローティングディフュージョン部110に分配されることが防止される。
【0059】
なお、
図3(d)の摺り切り工程では、TRNのポテンシャル障壁が立ち上げられた状態で、RSTのポテンシャル障壁が基準蓄積電位Vq’に立ち下げられたが、
図3(c)の転送工程の間に、RSTのポテンシャル障壁が基準蓄積電位Vq’に立ち下げられて、基準蓄積電位Vq’を超える部分の電荷の摺り切りが行われてもよい。これにより、電荷の転送と電荷の摺り切りを同時に行い得る。この場合、
図3(d)の摺り切り工程は省略される。
【0060】
あるいは、
図3(b)の蓄積工程の間に、TRNのポテンシャル障壁とRSTのポテンシャル障壁が、それぞれ、
図3(c)、(d)のレベルに立ち下げられてもよい。これにより、APD101のカソードに電荷が蓄積される間に、フローティングディフュージョン部110に対する電荷の転送と、基準蓄積電位Vq’を超える部分の電荷の摺り切りを同時に行い得る。この場合、
図3(c)の転送工程と
図3(d)の摺り切り工程は省略される。
【0061】
垂直信号線Vsigに出力された検出信号が撮像制御部24に入力されると、撮像制御部24は、各画素セル100から順次入力される検出信号を信号処理部25に送信する。信号処理部25は、検出信号を受信したタイミングと、光源11に発光パルスを出射させたタイミングとの時間差に基づいて、各画素セル100に対応する位置に存在する物体までの距離を測定する。こうして、目標領域に存在する物体までの距離が測定される。
【0062】
ここで、各画素セル100から撮像制御部24に出力される検出信号は、上記の摺り切り工程によって均一化されたとしても、回路部の特性等に起因して、変動することが起こり得る。たとえば、
図3(d)の摺り切り工程では、RSTのポテンシャル障壁のレベルが、FDリセットトランジスタ104の電気的な特性等に起因して、画素セル100ごとに微妙に変動することが起こり得る。
【0063】
本実施形態では、さらに、このように画素セル100ごとに検出信号がばらつくことを補正するための構成が、信号処理部25に設けられている。
【0064】
【0065】
信号処理部25は、ADC201と、切替部202と、ばらつき算出部203と、テーブル記憶部204と、補正演算部205と、中央処理部206とを備える。
【0066】
ADC201は、撮像制御部24から入力される画素セル100ごとのアナログの検出信号をデジタル信号に変換する。切替部202は、ADC201から入力されるデジタルの検出信号を、中央処理部206からの制御により、ばらつき算出部203と補正演算部205の何れか一方に出力する。
【0067】
ばらつき算出部203は、切替部202から入力される1画面分の検出信号(全ての画素セル100からの検出信号)に基づいて、各画素セル100からの検出信号のばらつきを算出する。テーブル記憶部204は、ばらつき算出部203により算出された各画素セル100における検出信号のばらつきを示すデータを、各画素セル100に対応付けて記憶する。これにより、テーブル記憶部204は、画素セル100ごとにばらつきデータを対応付けた補正テーブルを構成する。
【0068】
補正演算部205は、切替部202から入力される各画素の検出信号を、テーブル記憶部204に保持された補正テーブルに基づいて補正し、補正後の検出信号を中央処理部206に出力する。中央処理部206は、所定のプログラムに従って各部を制御する。また、中央処理部206は、上述のように、発光制御部13および撮像制御部24を制御して、物体までの距離を測定する処理を実行する。
【0069】
たとえば、中央処理部206は、異なる距離に対応付けられたn個(たとえば、20個)の区間を設定する。中央処理部206は、各区間において、区間の開始から同一タイミングで光源11をパルス発光させる。また、中央処理部206は、各区間において、パルス発光のタイミングから、各区間に対応付けられた距離を光が往復する時間長が経過したタイミングで、各画素セル100に一定期間露光を行われせる。これにより、これら区間のうち所定の区間に対応付けられた距離の位置に物体が存在する場合に、当該区間において画素セル100が物体からの反射光を受光し、その他の区間では、画素セル100は反射光を受光しない。したがって、何れの区間で検出信号が生じているかを画素セル100ごとに検出することによって、画素セル100ごとに、物体までの距離を取得できる。
【0070】
すなわち、中央処理部206は、各画素セル100からの検出信号をn個の全区間で対照し、そのうち検出信号が生じている区間を、画素セル100ごとに特定する。そして、中央処理部206は、特定した区間に対応付けられている距離を、当該画素セル100に入射する反射光の光線方向における物体までの距離として取得する。
【0071】
なお、距離の測定方法は、上記の方法に限られるものではなく、TOF(Time OfFlight)を用いた他の方法であってもよい。
【0072】
中央処理部206は、こうして画素セル100ごとに取得した距離を各画素セル100の位置にマッピングした距離画像を生成してもよく、この距離画像を他の処理装置に出力してもよい。
【0073】
なお、
図5に示した構成は、ソフトウエアの機能によって実現されてもよく、あるいは、ハードウエアの組み合わせにより実現されてもよい。
図5に示した構成がソフトウエアの機能によって実現される場合、
図5の各構成は、当該ソフトウエアで実行される各機能を機能ブロックとした示したものである。また、
図5に示した構成がハードウエアの機能によって実現される場合、
図5の各構成は、各ハードウエアの構成に対応する。
図5の構成が、ソフトウエアによる機能とハードウエアとの組み合わせにより実現されてもよい。
【0074】
通常動作時において、中央処理部206は、切替部202を補正演算部205側に設定する。これにより、ADC201から切替部202に入力される検出信号は、補正演算部205に入力される。この場合、補正演算部205によって補正された検出信号が中央処理部206に入力され、測距の処理に供される。
【0075】
補正テーブルの更新動作時において、中央処理部206は、切替部202をばらつき算出部203側に設定する。これにより、ADC201から切替部202に入力される検出信号は、ばらつき算出部203に入力される。この場合、ばらつき算出部203により算出されたばらつきデータが、各画素セル100に対応付けられて、補正テーブルに登録される。これにより、補正テーブルが更新される。
【0076】
図6(a)は、補正テーブルの更新動作時に信号処理部25により実行される処理を示すフローチャートである。
【0077】
中央処理部206は、まず、補正テーブルの更新条件が充足されたか否かを判定する(S21)。
【0078】
図7は、補正テーブルの更新条件の充足の有無を判定するフローチャートである。
【0079】
中央処理部206は、前回の更新時から通常動作により所定フレーム数の処理が行われた場合(S31:YES)、前回の更新時から所定時間が経過した場合(S32:YES)、固体撮像素子23の温度が含まれる温度範囲が前回更新時の温度範囲から変化した場合(S33:YES)、およびダークカウントレート(暗電流の大きさ)が基準値の範囲から外れて基板電圧を修正した場合(S34:YES)に、補正テーブルの更新条件が充足されたと判定する(S35)。
【0080】
ステップS32の処理を実行するため、中央処理部206は計時機能を備える。また、ステップS33の処理を実行するため、中央処理部206は、固体撮像素子23の温度を検出するための温度センサから検出信号を取得する機能を備える。この場合、撮像装置20は、
図1の構成とともに、固体撮像素子23の温度を検出するための温度センサ(図示せず)をさらに備える。
【0081】
なお、
図7には、補正テーブルの更新条件として、ステップS31~S34を示したが、更新条件は、必ずしもこれらの条件に限られるものではなく、各画素セル100から出力される検出信号のばらつき度合いが変動し得る条件である限りにおいて、他の条件が追加されてもよく、あるいは、ステップS31~S34のうち1つまたは2つの条件のみであってもよい。また、ステップS31、S32における所定フレーム数および所定時間は、典型的には、固体撮像素子23の経時変化を想定して設定されるが、必ずしも、複数の所定フレーム数や、比較的長い時間が設定されなくてもよい。たとえば、より確実にばらつきを補正するためには、ステップS31の所定フレーム数が1フレームであってもよい。
【0082】
図6(a)に戻り、補正テーブルの更新条件が充足されると(S21:YES)、中央処理部206は、撮像制御部24に対して、電気的制御指示を送信する(S22)。電気的制御指示とは、フォトンがAPD101に入射した場合と同様の電荷をフローティングディフュージョン部110に電気的に蓄積させて、検出信号を送信させる指示である。
図3(d)の摺り切り工程が行われる場合、基準蓄積電位Vq’に対応する電荷が、電気的制御指示に基づいて、フローティングディフュージョン部110に蓄積される。
【0083】
具体的には、撮像制御部24は、電気的制御指示の受信に応じて、
図2に示したリセットドレイン電源PIXRSDをAPD101の飽和電荷量に対応する電位よりやや高めの電位に設定し、APDリセットトランジスタ102をオンに設定する。これにより、APD101のカソードに、
図3(b)と同様の電荷が蓄積される。その後、撮像制御部24は、
図3(c)、(d)の転送工程および摺り切り工程を実行する。これにより、フローティングディフュージョン部110に基準蓄積電位Vq’に対応する電荷が蓄積される。そして、撮像制御部24は、フローティングディフュージョン部110に蓄積された電荷に応じた電圧(検出信号)を垂直信号線Vsigに出力させる工程を実行する。これにより、基準蓄積電位Vq’と同電位の検出信号が撮像制御部24に出力される。撮像制御部24は、入力された検出信号を信号処理部25に転送する。
【0084】
電気的制御指示の受信に応じて撮像制御部24が実行する制御は、上記の制御に限られず、少なくとも垂直信号線Vsigに出力される検出信号のばらつきを確認可能な他の制御であってもよい。
【0085】
たとえば、撮像制御部24は、電気的制御指示の受信に応じて、
図2に示したリセットドレイン電源RSDを基準蓄積電位Vq’よりやや高めの電位に設定し、FDリセットトランジスタ104をオンに設定する制御を行ってもよい。これにより、フローティングディフュージョン部110に基準蓄積電位Vq’よりやや高めの電位に対応する電荷量の電荷が蓄積される。その後、撮像制御部24は、
図3(d)の摺り切り工程を実行する。これにより、フローティングディフュージョン部110に基準蓄積電位Vq’に対応する電荷が蓄積される。そして、撮像制御部24は、フローティングディフュージョン部110に蓄積された電荷に応じた電圧(検出信号)を垂直信号線Vsigに出力させる工程を実行する。これにより、基準蓄積電位Vq’と同電位の検出信号が撮像制御部24に出力される。
【0086】
撮像制御部24は、電気的制御指示の受信に応じて、上記の処理を、全ての画素セル100に対して順番に実行する。これにより、各画素セル100からの検出信号が、順次、撮像制御部24から信号処理部25に出力される。このとき、
図5の切替部202は、上記のようにばらつき算出部203側に設定されている。したがって、各画素セル100からの検出信号は、順次、ばらつき算出部203に出力される。こうして、ばらつき算出部203は、全ての画素セル100について、検出信号を取得する(S23)。
【0087】
ばらつき算出部203は、取得した全画素セル100の検出信号に基づいて、検出信号の基準値V0を算出する(S24)。
【0088】
図8(a)、(b)は、ばらつき算出部203における基準値V0の算出方法を説明する図である。
【0089】
図8(a)は、各画素セル100から取得した検出信号の状態を模式的に示している。ここでは、各画素セル100から取得した検出信号の電圧レベルが、各画素セル100に付されたハッチングで示されている。
図8(a)では、便宜上、画素セル100が、行列に10個ずつ配置されている。ここでは、数個の画素セル100を除いて、検出信号の電圧レベルが略同じとなっている。数個の画素セル100では、残りの大半の画素セル100に比べて、検出信号の電圧レベルが高くまたは低くなっている。
【0090】
図6(a)のステップS24において、ばらつき算出部203は、
図8(b)に示すように、全ての画素セル100から取得した検出信号に基づいて、ヒストグラム300を生成する。図
8(b)の横軸は、検出信号の電圧値を示している。ばらつき算出部203は、生成したヒストグラム300からモード、すなわち、度数が最大となる電圧値を取得し、取得したモードを基準値V0に設定する。
【0091】
なお、ステップS24で算出される基準値V0は、モードに限らず、全画素セル100から取得された検出信号の全体的傾向を指標し得る値である限りにおいて、他の値であってもよい。たとえば、ヒストグラム300の中央値が基準値V0として算出されてもよく、あるいは、全画素セル100から取得された検出信号の平均値が基準値V0として算出されてもよい。
【0092】
図6(a)に戻り、ばらつき算出部203は、上記のように、全ての画素セル100から出力されるフォトンのカウント数に応じた検出信号を決定する基準値V0を取得し、取得した基準値に基づいて、各画素セルの検出信号のばらつきを算出する(S25)。具体的には、ばらつき算出部203は、基準値と各画素セル100の検出信号との間の差分、すなわち、検出信号から基準値を減算した値を、各画素セル100の検出信号のばらつきとして算出する。ばらつき算出部203は、算出したばらつきを、テーブル記憶部204に出力する。テーブル記憶部204は、入力されたばらつきを、各画素セル100に対応付けて補正テーブルに記憶させる(S26)。これにより、補正テーブルの更新処理が終了する。
【0093】
通常動作時において、補正演算部205は、ADC201から切替部202に入力される各画素セル100の検出信号に、補正テーブルに記憶されている各画素セル100のばらつきを加算して、各画素セル100の検出信号を補正する。この補正により、各画素セル100が反射光を受光した場合に、信号処理部25の補正演算部205において、全ての画素セル100からの検出信号が均一化される。補正演算部205は、補正後の検出信号を中央処理部206に出力する。こうして、中央処理部206において測距の処理が円滑に行われる。
【0094】
なお、
図6(a)の処理では、ステップS22において、電気的制御によりフローティングディフュージョン部110に電荷が蓄積されたが、標準光源(入射フォトン数が分かっているもの)からの光を各画素セル100に入射させて、フローティングディフュージョン部110に電荷を蓄積させてもよい。
【0095】
この場合、
図6(a)のフローチャートは、
図6(b)のように変更される。
図6(b)のフローチャートでは、
図6(a)のステップS22がステップS22’に置き換えられている。ステップS22’以外のステップは、
図6(a)と同様である。
【0096】
ステップS22’において、中央処理部206は、発光制御部13および撮像制御部24に対して、光学的制御指示を送信する。中央処理部206は、ステップS21の判定がYESとなった後の通常動作において、各画素セル100からの検出信号を監視し、全ての画素セル100において反射光が受光された状態にあるタイミングにおいて、光学的制御指示を送信する。
【0097】
発光制御部13は、光学的制御指示を受信すると、所定強度で光源11をパルス発光させる。このときの発光強度は、通常動作時の発光強度と同じであってよく、あるいは、より確実に全ての画素セル100が反射光を受光するように、通常動作時の発光強度よりも高く設定されてもよい。
【0098】
撮像制御部24は、光学的制御指示を受信すると、所定時間、全画素セル100に露光を行わせる。これにより、全画素セル100のAPD101のカソードに電荷が蓄積される。その後、撮像制御部24は、全画素セル100に対して、
図3(a)~(d)の処理工程を実行し、さらに、全画素セル100に検出信号を出力させる。これにより、全画素セル100からの検出信号が、信号処理部25に入力される。
【0099】
このとき、
図5の切替部202は、上記と同様、ばらつき算出部203側に設定されている。これにより、全画素セル100からの検出信号が、ばらつき算出部203に入力される(S23)。何れかの画素セル100からの検出信号が反射光を受光しないときの電圧レベルであった場合、ステップS22’の処理が再度実行されてもよい。
【0100】
以下、ステップS24~S26の処理が、
図6(a)のフローチャートと同様に実行される。これにより、補正テーブルが更新される。その後の通常動作において、補正演算部205は、更新後の補正テーブルを用いて、各画素セル100からの検出信号を補正する。
【0101】
なお、
図6(a)、(b)の処理が行われることにより、各画素セル100からの検出信号のばらつきが抑制されるため、
図3(d)の摺り切り工程は、必ずしも行われなくてもよい。但し、
図3(d)の摺り切り工程が行われない場合は、信号処理部25に入力される各画素セル100からの検出信号のばらつきが大きくなる。このため、基準値V0と各検出信号との差分が、真値からずれやすくなることが想定され得る。したがって、より正確に差分を検出して検出信号を適正に均一化するためには、
図3(d)の摺り切り工程が行われた上で、
図6(a)、(b)の均一化処理を行うことが好ましい。
【0102】
<実施形態1の効果>
実施形態1によれば、以下の効果が奏され得る。
【0103】
各画素セル100から出力される検出信号を処理する信号処理部25において、画素セル100から出力される検出信号のばらつきが算出され、算出されたばらつきに基づいて、各画素セル100から出力される検出信号が補正される。よって、フィードバック回路を設けることなく、各画素セル100からの検出信号のばらつきを補正することができる。
【0104】
ばらつき算出部203は、全ての画素セル100から出力された検出信号に基づいて、これら画素セル100から出力されるフォトンのカウント数に応じた検出信号を決定する基準値V0を取得し、基準値V0と各画素セル100の検出信号の差分に基づいて、各画素セル100に対するばらつきを算出する。これにより、各検出信号のばらつきを円滑に算出できる。
【0105】
信号処理部25は、基準値V0と検出信号との差分を画素セル100ごとに記憶するテーブル記憶部204を備える。これにより、テーブル記憶部204に記憶された補正テーブルから各画素セル100のばらつきを容易に取得できる。
【0106】
補正演算部205は、画素セル100ごとに差分を検出信号に加算して検出信号の補正を行う。これにより、各画素セル100からの検出信号を円滑に均一化できる。
【0107】
図6(a)のフローチャートにおいて、ばらつき算出部203は、複数の画素セル100に対する電気制御により電荷を擬似的に蓄積させた場合(S22)に、各画素セル100から出力される検出信号に基づいて、ばらつきを算出する。これにより、任意のタイミングで円滑に、各画素セル100からの検出信号のばらつきを算出できる。
【0108】
図6(b)のフローチャートにおいて、ばらつき算出部203は、複数の画素セル100に対する光の照射により電荷を擬似的に蓄積させた場合(S22’)に、各画素セル100から出力される検出信号に基づいて、ばらつきを算出する。このように、実際に光を照射した場合に各画素セル100から出力される検出信号を評価することにより、検出信号のばらつきを正確に算出できる。
【0109】
図7に示したように、ばらつき算出部203は、所定の更新条件(S31~S34)が充足された場合に、ばらつきの算出を行って、各画素セル100におけるばらつきを更新する。このように、ばらつきの変動要因が生じたことに応じてばらつきの検出結果が更新されることにより、各画素セル100からの検出信号を、より適正に補正することができる。
【0110】
<実施形態1の変更例1>
上記実施形態1では、補正テーブルの更新時に、ばらつき算出部203によるばらつきの算出が1回だけ行われた。これに対し、変更例1では、補正テーブルの更新時に、ばらつき算出部203によるばらつきの算出が複数回行われる。
【0111】
図9は、変更例1に係る、補正テーブルの更新動作時に信号処理部25により実行される処理を示すフローチャートである。
【0112】
図9のフローチャートでは、
図6(a)のフローチャートに比べて、ステップS27~S29が追加されている。その他のステップの処理は、
図6(a)の場合と同様である。
【0113】
テーブル記憶部204は、ステップS25においてばらつき算出部203が算出した各画素セル100からの検出信号のばらつきを、画素セル100ごとに記憶する(S27)。その後、中央処理部206は、ばらつきの算出および記憶が予め決められた複数回(たとえば、5~10回程度)行われたか否かを判定する(S28)。この処理が複数回行われていない場合(S28:NO)、中央処理部206は、処理をステップS22に戻す。これにより、各回のばらつきが画素セル100ごとにテーブル記憶部204に記憶される。
【0114】
こうして、ばらつきの算出および記憶が所定の複数回実行されると(S28:YES)、テーブル記憶部204は、各回の処理で記憶されたばらつきを画素セル100ごとに平均化し(S29)、平均化した値を各画素セル100に対応付けて補正テーブルに記憶させる(S26)。こうして、補正テーブルの更新が行われる。その後の通常動作において、補正演算部205は、更新後の補正テーブルを用いて、各画素セル100からの検出信号を補正する。
【0115】
なお、ステップS29の処理では、他の検出信号の値から大きく乖離する検出信号が平均化の対象から除外されてもよい。これにより、ノイズによる影響を抑制でき、平均化後の検出信号の値を真値に近づけることができる。
【0116】
また、ステップS29における平均化の処理が補正演算部205において行われてもよい。この場合、テーブル記憶部204は、各回のばらつき算出により算出された各画素セル100からの検出信号のばらつきを補正テーブルとして記憶する。すなわち、この場合、テーブル記憶部204には、複数の補正テーブルが記憶される。補正演算部205は、通常動作時に、これら複数の補正テーブルを参照して、各画素セル100の検出信号のばらつきの平均値を算出し、算出した平均値に基づいて、各画素セル100からの検出信号を補正する。
【0117】
本変更例1によれば、複数回のばらつきに基づいて、各画素セル100からの検出信号に対するばらつきの補正が行われるため、補正に用いるばらつきの値がノイズ等によって真値からずれることを抑制できる。よって、より適正に、各画素セル100からの検出信号を均一化することができる。
【0118】
<実施形態1の変更例2>
上記実施形態1では、テーブル記憶部204が信号処理部25に配置された。これに対し、本変更例2では、テーブル記憶部204が、固体撮像素子23のセンサチップ400内に配置される。
【0119】
図10は、変更例2に係る、センサチップ400の構成を模式的に示す図である。
【0120】
図10に示すように、センサチップ400には、固体撮像素子23の他、回路部(集積回路)の構成として、撮像制御部24と、テーブル記憶部204とが搭載されている。この構成では、センサチップ400の外周に配置された端子(図示せず)を介して、テーブル記憶部204および撮像制御部24と信号処理部25とが接続される。
【0121】
この構成によれば、たとえば、製造時に取得された検出信号のばらつきの初期値を、予め、センサチップ400側のテーブル記憶部204に記憶させておくことができる。ばらつき算出部203や補正演算部205が、さらにセンサチップ400側に配置されてもよい。
【0122】
<実施形態2>
上記実施形態1では、1回の動作シーケンスによりフローティングディフュージョン部110に蓄積された電荷が、電圧に変換されて、垂直信号線Vsigに出力された。これに対し、実施形態2では、複数回の動作シーケンスによりフローティングディフュージョン部110に蓄積された電荷が、メモリ部に積算された後、メモリ部の電荷が、電圧に変換されて、垂直信号線Vsigに出力される。すなわち、実施形態2では、複数回の動作シーケンスにおいて、APD101に反射光(フォトン)が入射した回数が、メモリ部に蓄積された電荷量によって、カウントされる。メモリ部に蓄積される電荷量は、APD101に反射光(フォトン)が入射した回数に対応する電荷量となる。
【0123】
図11は、実施形態2に係る、画素セル100の構成を示す図である。
【0124】
実施形態2では、
図2の構成に対して、カウントトランジスタ107と、メモリ部108とが追加されている。メモリ部108は、電荷を蓄積するキャパシタである。カウントトランジスタ107は、フローティングディフュージョン部110とメモリ部108とを接続する。カウントトランジスタ107のゲートにカウント信号CNTを印加することにより、フローティングディフュージョン部110に蓄積された電荷が、カウントトランジスタ107を介して、メモリ部108に転送される。
【0125】
メモリ部108の容量は、フローティングディフュージョン部110の容量に比べて大きい。たとえば、メモリ部108の容量は、フローティングディフュージョン部110の容量の5倍程度に設定される。但し、メモリ部108の容量の設定方法はこれに限られるものではなく、種々の設定方法が適用され得る。
【0126】
図12(a)~(d)および
図13(a)~(d)は、画素セル100の動作シーケンスを説明する図である。
【0127】
図12(a)~(d)および
図13(a)~(d)には、
図11のリセットドレイン電源PIXRSDから、APDリセットトランジスタ102、転送トランジスタ103、フローティングディフュージョン部110、カウントトランジスタ107を介して、メモリ部108へと続く回路部分のポテンシャル図が示されている。縦軸は、矢印の方向が低電位の方向である。
【0128】
図12(a)~(d)および
図13(a)~(d)において、“PIXRSD”、“APD”、“FD”は、
図3(a)~(d)と同様、それぞれ、リセットドレイン電源PIXRSDの電位、APD101のカソードの電位、およびフローティングディフュージョン部110の電位を示している。また、“OVF”および“TRN”は、
図3(a)~(d)と同様、それぞれ、APDリセットトランジスタ102の電位、および転送トランジスタ103の電位を示している。この他、“MEM”は、メモリ部108の電位を示し、CNTは、カウントトランジスタ107の電位を示している。
【0129】
実施形態2においても、各動作シーケンスにおいて、
図4(a)の初期化工程が行われた後、
図3(a)~(d)の工程が実行されて、フローティングディフュージョン部110に電荷が蓄積される。上記実施形態1で述べたように、摺り切り工程が転送工程と同時に行われる制御がなされてもよく、あるいは、摺り切り工程と転送工程が蓄積工程と同時に行われる制御がなされてもよい。
【0130】
図12(a)は、
図3(d)の摺り切り工程が行われた後、FDリセットトランジスタ104がオフに設定された状態を示している。このとき、カウントトランジスタ107はオフに設定され、CNTにポテンシャル障壁が生じている。
【0131】
その後、撮像制御部24は、カウントトランジスタ107をオンに設定する。これにより、
図12(b)に示すように、CNTのポテンシャル障壁が消失し、フローティングディフュージョン部110に蓄積された電荷がメモリ部108に分配される。こうして、メモリ部108への電荷の分配(転送)を行った後、撮像制御部24は、カウントトランジスタ107をオフに設定する。これにより、
図12(c)に示すように、CNTにポテンシャル障壁が生じ、メモリ部108に蓄積された電荷量が、1回のフォトン入射に対応する電荷量に確定する。
【0132】
こうして、メモリ部108に電荷を蓄積するための1シーケンスが終了すると、撮像制御部24は、次のシーケンスを実行する。これにより、
図3(a)~(d)の動作が実行される。このとき、APD101に反射光(フォトン)が入射すると、
図12(d)に示すように、フローティングディフュージョン部110に、基準蓄積電位Vq’に対応する電荷量が蓄積される。
【0133】
上記と同様、撮像制御部24は、カウントトランジスタ107をオンに設定する。これにより、
図13(a)に示すように、CNTのポテンシャル障壁が消失し、フローティングディフュージョン部110に蓄積された電荷がメモリ部108に分配される。これにより、メモリ部108に蓄積される電荷量が、1回のフォトンカウントに応じた電荷量だけ増加する。その後、撮像制御部24は、カウントトランジスタ107をオフに設定する。これにより、
図13(b)に示すように、CNTにポテンシャル障壁が生じ、メモリ部108に蓄積された電荷量が、2回のフォトン入射に対応する電荷量に確定する。
【0134】
撮像制御部24は、予め決められた回数だけ、同様のシーケンスを繰り返す。これにより、各シーケンスにおいて、反射光(フォトン)がAPD101に入射するごとに、1回のフォトンカウントに応じた電荷量の電荷が、メモリ部108に積算されていく。こうして、予め決められた回数のシーケンスが終了すると、たとえば、
図13(c)に示す電荷量の電荷がメモリ部108に蓄積される。
【0135】
その後、撮像制御部24は、カウントトランジスタ107をオンに設定する。これにより、
図13(d)に示すように、CNTのポテンシャル障壁が消失し、メモリ部108に蓄積された電荷がフローティングディフュージョン部110に分配される。そして、撮像制御部24は、選択トランジスタ106をオンに設定する。これにより、メモリ部108に蓄積された電荷に応じた電圧が、検出信号として、垂直信号線Vsigに出力される。この検出信号は、反射光(フォトン)がAPD101に入射した回数に応じた大きさとなる。
【0136】
図14(a)は、上記処理を実行するためのフローチャートである。
【0137】
撮像制御部24は、画素セル100に対して、初期化から摺り切りまでの工程を行う(S41)。この工程において、APD101に反射光(フォトン)が入射すると、
図12(a)に示すように、フローティングディフュージョン部110に1回のフォトンカウントに応じた電荷量の電荷が蓄積される。
【0138】
次に、撮像制御部24は、カウントトランジスタ107をオンに設定する(S42)。これにより、
図12(b)に示すように、フローティングディフュージョン部110に蓄積された電荷がメモリ部108に分配される。そして、撮像制御部24は、カウントトランジスタ107をオフに設定する(S43)。これにより、
図12(c)に示すように、メモリ部108に分配された電荷が確定する。
【0139】
その後、撮像制御部24は、予め決められた回数だけステップS41~S43のシーケンスを繰り返す(S44)。当該回数のシーケンスが終了すると(S44:YES)、撮像制御部24は、カウントトランジスタ107をオンに設定する(S45)。これにより、メモリ部108に積算された電荷がフローティングディフュージョン部110に分配される。そして、撮像制御部24は、選択トランジスタ106を所定時間オンに設定して、フローティングディフュージョン部110の電荷量に応じた電圧を垂直信号線Vsigに出力させる(S46)。
【0140】
こうして、フォトンのカウント数に応じた電圧値の検出信号を垂直信号線Vsigに出力させた後、撮像制御部24は、FDリセットトランジスタ104をオンに設定して、フローティングディフュージョン部110およびメモリ部108に蓄積された電荷をリセットドレイン電源RSDに排出させる(S47)。これにより、フォトンカウンティングのための1シーケンスが終了する。その後、撮像制御部24は、処理をステップS41に戻して、同様の処理を繰り返す。
【0141】
なお、実施形態2の構成は、たとえば、撮像装置20が、目標領域に光を照射して目標領域の反射率を測定する測定装置に搭載される場合に好適である。この場合、目標領域に存在する物体の反射率が低いと、たとえば、10回のパルス発光のうち数回しか反射光(フォトン)がAPD101に入射しない。すなわち、各画素セル100において取得されるフォトンのカウント数(メモリ部108に蓄積される電荷量に応じた電圧)は、物体の反射率に対応し得る。したがって、測定装置は、撮像装置20から入力される各画素セル100の検出信号、すなわち、フォトンのカウント数に応じた電圧(メモリ部108に蓄積された電荷量に応じた電圧)に基づいて、各画素セル100に対応する目標領域上の位置の反射率を測定できる。これにより、測定装置は、目標領域上の各画素セル100に対応する位置に反射率をマッピングした画像を生成できる。
【0142】
しかしながら、各画素セル100から撮像制御部24に出力される検出信号(フォトンのカウント数に応じた電圧)には、画素セル100ごとにばらつきが生じ得る。すなわち、
図14(a)のステップS41において、フローティングディフュージョン部110の電荷が、摺り切り工程によって均一化された後、メモリ部108に蓄積されたとしても、回路部の特性等に起因して、各回のシーケンスにおいてメモリ部108に蓄積される電荷量が、画素セル100ごとに変動することが起こり得る。たとえば、摺り切り工程の際に、RSTのポテンシャル障壁のレベルが、FDリセットトランジスタ104の電気的な特性等に起因して、画素セル100ごとに微妙に変動することが起こり得る。
【0143】
この場合、この微妙な変動がメモリ部108において積み重なることにより、各画素セル100において同じフォトンがカウントされたとしても、これら画素セル100間において、メモリ部108に蓄積された電荷量に大きな差異が生じてしまう。これにより、各画素セル100から出力される検出信号(フォトンのカウント数に応じた電圧)にばらつきが生じる。
【0144】
図14(b)は、画素セル100におけるフォトンのカウント数と出力電圧との関係の一例を示すグラフである。ここでは、便宜上、3つの画素セルA、B、Cについてグラフが示されている。
【0145】
図14(b)に示すように、フォトンのカウント数が増えるに伴い、画素セルA、B、C間の出力電圧(検出信号)の差異が大きくなっている。カウント数が15回になると、
図14(b)に矢印で示すように、画素セルA、B、C間の出力電圧(検出信号)の差異がかなり大きくなる。このように、出力電圧に差異が生じると、同じ出力電圧であるにも拘わらずカウント数が互いに相違する結果となってしまう。このため、出力電圧に基づいてフォトンのカウント数を正確に取得することが困難になる。
【0146】
そこで、本実施形態2では、このように画素セル100ごとに検出信号(フォトンのカウント数に応じた電圧)がばらつく場合も、検出信号からフォトンのカウント数を適正に取得するための構成が、信号処理部25に設けられている。
【0147】
図15は、実施形態2に係る、信号処理部25の構成を示す図である。
【0148】
信号処理部25は、ADC501と、切替部502と、相関抽出部503と、相関記憶部504と、カウント数取得部505と、中央処理部506とを備える。
【0149】
ADC501は、撮像制御部24から入力される画素セル100ごとのアナログの検出信号(フォトンのカウント数に応じた電圧)をデジタル信号に変換する。切替部502は、ADC501から入力されるデジタルの検出信号を、中央処理部206からの制御により、相関抽出部503とカウント数取得部505の何れか一方に出力する。
【0150】
相関抽出部503は、フォトンのカウント数と検出信号(メモリ部108に蓄積された電荷に応じた電圧)との相関関係を、画素セル100ごとに抽出する。相関記憶部504は、相関抽出部503で抽出された相関関係を画素セル100ごとに記憶する。カウント数取得部505は、相関記憶部504に記憶された相関関係に基づいて、各画素セル100から出力された検出信号に対応するカウント数を取得し、取得したカウント数を中央処理部506に出力する。
【0151】
なお、
図15に示した構成は、ソフトウエアの機能によって実現されてもよく、あるいは、ハードウエアの組み合わせにより実現されてもよい。
図15に示した構成がソフトウエアの機能によって実現される場合、
図15の各構成は、当該ソフトウエアで実行される各機能を機能ブロックとした示したものである。また、
図15に示した構成がハードウエアの機能によって実現される場合、
図15の各構成は、各ハードウエアの構成に対応する。
図15の構成が、ソフトウエアによる機能とハードウエアとの組み合わせにより実現されてもよい。
【0152】
通常動作時において、中央処理部506は、切替部502をカウント数取得部505側に設定する。これにより、ADC501から切替部502に入力される検出信号は、カウント数取得部505に入力される。この場合、検出信号と相関記憶部504に記憶された相関関係に基づいてカウント数取得部505により取得されたカウント数が中央処理部506に入力され、反射率測定等の処理に供される。
【0153】
相関関係の更新動作時において、中央処理部506は、切替部502を相関抽出部503側に設定する。これにより、ADC501から切替部502に入力される検出信号は、相関抽出部503に入力される。この場合、相関抽出部503により抽出された相関関係が、画素セル100ごとに相関記憶部504に記憶される。ここでは、カウント数と検出信号とを対応づけた相関テーブルが、画素セル100ごとに、相関記憶部504に記憶される。これにより、カウント数と検出信号との相関関係が更新される。
【0154】
図16(a)は、相関関係の更新動作時に信号処理部25により実行される処理を示すフローチャートである。
【0155】
中央処理部206は、まず、相関関係の更新条件が充足されたか否かを判定する(S51)。この判定は、たとえば、
図7のフローチャートと同様に行われる。上記実施形態1と同様、更新条件は、
図7のステップS31~S34の条件に限られるものではない。
【0156】
相関関係の更新条件が充足されると(S51:YES)、中央処理部206は、変数Kに1を設定し(S52)、擬似電圧出力指示を、撮像制御部24に対して送信する(S53)。擬似電圧出力指示とは、カウント数がK回である場合の電荷量の電荷をメモリ部108に擬似的に蓄積させて、当該電荷量に応じた検出信号(電圧)を画素セル100から擬似的に出力させる指示である。
【0157】
これに応じて、撮像制御部24は、
図11のメモリ部108にカウント数がK回である場合の電荷量の電荷を擬似的に蓄積させる擬似蓄積工程と、蓄積された電荷に応じた電圧を垂直信号線Vsigに出力させる擬似出力工程とを実行する。
【0158】
たとえば、擬似蓄積工程において、撮像制御部24は、
図11のリセットドレイン電源PIXRSDとAPDリセットトランジスタ102とを制御して、APD101のカソードに飽和電荷量の電荷を蓄積させる処理を実行し、さらに、蓄積した電荷をフローティングディフュージョン部110に転送させる工程と、転送された電荷を基準蓄積電位Vq’に応じた電荷量に摺り切る工程とを実行する。そして、撮像制御部24は、
図12(a)~(c)の工程を実行して、フローティングディフュージョン部110に擬似的に蓄積された電荷をメモリ部108に転送する。擬似蓄積工程において、撮像制御部24は、以上の工程をK回繰り返す。これにより、フォトンのカウント数がK回である場合と等価な電荷量の電荷が、メモリ部108に蓄積される。
【0159】
擬似蓄積工程において撮像制御部24が実行する制御は、上記の制御に限られず、少なくともフォトンのカウント数がK回である場合と等価な電荷量の電荷をメモリ部108に蓄積可能な他の制御であってもよい。
【0160】
たとえば、擬似蓄積工程において、撮像制御部24は、
図11に示したリセットドレイン電源RSDを基準蓄積電位Vq’と同等の電位に設定し、FDリセットトランジスタ104をオンに設定する制御を行ってもよい。これにより、フローティングディフュージョン部110に基準蓄積電位Vq’と同等の電位に対応する電荷量の電荷が蓄積される。その後、撮像制御部24は、摺り切り工程を実行した上で、フローティングディフュージョン部110の電荷をメモリ部108に転送させる。擬似蓄積工程において、撮像制御部24は、以上の工程をK回繰り返す。これにより、フォトンのカウント数がK回である場合と等価な電荷量の電荷が、メモリ部108に蓄積される。
【0161】
あるいは、擬似蓄積工程において、撮像制御部24は、
図11に示したリセットドレイン電源RSDを、フォトンのカウント数がK回である場合と等価な電荷量の電位に設定し、FDリセットトランジスタ104およびカウントトランジスタ107をオンに設定する制御を行ってもよい。これにより、フォトンのカウント数がK回である場合と等価な電荷量の電荷が、メモリ部108に蓄積される。
【0162】
なお、
図6(b)の場合と同様、フローティングディフュージョン部110に対する擬似的な電荷の蓄積が光学的に行われてもよい。
【0163】
こうして、擬似蓄積工程を実行した後、撮像制御部24は、メモリ部108に擬似的に蓄積された電荷に応じた電圧を垂直信号線Vsigに出力させる擬似出力工程を実行する。具体的には、撮像制御部24は、
図11のカウントトランジスタ107をオンに設定してメモリ部108に蓄積された電荷をフローティングディフュージョン部110に転送した後、選択トランジスタ106を所定時間オンに設定して、フローティングディフュージョン部110に蓄積された電荷量に応じた電圧(擬似的な検出信号)を垂直信号線Vsigに出力させる。
【0164】
撮像制御部24は、擬似電圧出力指示の受信に応じて、上記の擬似蓄積工程と擬似出力工程を、全ての画素セル100に対して順番に実行する。これにより、各画素セル100からの擬似的な検出信号が、順次、撮像制御部24から信号処理部25に出力される。このとき、
図15の切替部502は、上記のように相関抽出部503側に設定されている。したがって、各画素セル100からの擬似的な検出信号は、順次、相関抽出部503に算出される。こうして、相関抽出部503は、全ての画素セル100について、検出信号を取得する(S54)。
【0165】
相関抽出部503は、各画素セル100の検出信号の電圧値を、カウント値(変数Kと同じ値)に対応付けて、相関記憶部504に保持された相関テーブルに記憶させる(S55)。
【0166】
図16(b)は、相関テーブルの構成を示す図である。
【0167】
相関テーブルは、画素セル100ごとに準備される。相関テーブルは、カウント値と電圧値とを対応付けたテーブルである。ステップS55において、相関抽出部503は、各画素セル100の検出信号の電圧値を相関記憶部504に出力する。相関記憶部504は、入力された各画素セル100の電圧値を、カウント値(変数Kと同じ値)に対応付けて、対応する画素セル100の相関テーブルに記憶させる。
【0168】
こうして、相関テーブルに対する記憶がなされると、中央処理部506は、変数Kが設定回数Nに到達したか否かを判定する(S56)。ここで、設定回数Nは、予め設定されたカウント値の上限である。すなわち、フォトンをカウントする範囲の上限が、設定回数Nである。変数Kが設定回数Nに到達していない場合(S56:NO)、中央処理部506は、変数Kに1を加算し(S57)、処理をステップS53に戻す。これにより、1つ増加したカウント値に対応する検出信号(電圧)がステップS53、S54の処理により画素セル100ごとに取得され、取得された検出信号の電圧値がステップS55において相関テーブルに記憶される。
【0169】
こうして、カウント値が1~Nであるときの電圧値が、画素セル100ごとに、相関テーブルに記憶される。これにより、ステップS56の判定がYESとなると、中央処理部506は、相関テーブルの更新処理を終了する。
【0170】
なお、
図16(a)の処理が行われることにより、各画素セル100からの検出信号とカウント値との相関関係が抽出されるため、相関テーブルの更新処理および通常動作において、
図3(d)の摺り切り工程は、必ずしも行われなくてもよい。但し、
図3(d)の摺り切り工程を行って各カウント値に対する検出信号(電圧)のばらつきを抑制することにより、より正確に、相関関係を抽出することができる。
【0171】
<実施形態2の効果>
実施形態2によれば、以下の効果が奏され得る。
【0172】
予め、相関関係の更新処理が実行されることにより、APD101により受光されたフォトンのカウント数と画素セル100の検出信号との間の相関関係(相関テーブル)が抽出されて相関記憶部504に記憶される。そして、通常動作時には、カウント数取得部505により、当該相関関係(相関テーブル)に基づいて、各画素セル100からの検出信号に応じたカウント数が取得される。これにより、各画素セル100からの検出信号にばらつきが生じても、フィードバック回路を設けることなく、フォトンのカウント数を適正に取得することができる。
【0173】
相関抽出部503は、カウント数と検出信号との相関関係を規定する相関テーブルを画素ごとに相関記憶部504に記憶させる。これにより、カウント数取得部505は、通常動作時に入力された各画素セル100からの検出信号(電圧値)に対応するカウント数を相関テーブルから読み出すだけでよく、簡素な処理により円滑にカウント数を取得することができる。
【0174】
図16(a)を参照して説明したとおり、相関抽出部503は、各カウント数に対応する電荷を画素セル100のメモリ部108に擬似的に蓄積させた場合に、各画素セル100から出力される検出信号に基づいて、相関テーブルを設定する。より詳細には、
図16(b)に示すように、各カウント数に対応する電荷を画素セル100のメモリ部108に擬似的に蓄積させた場合に、各画素セル100から出力される検出信号の値(電圧値)を、当該カウント数に対応付けて、相関テーブルに登録する。このように、更新テーブルの設定に擬似的な蓄積処理を用いることにより、所望のタイミングにおいて円滑に、相関テーブルを更新することができる。
【0175】
<実施形態2の変更例1>
上記実施形態2では、相関テーブルの更新処理において、各画素セル100から出力された検出信号(電圧値)がそのまま相関テーブルに登録された。これに対し、変更例1では、予め、カウント値と電圧値とを対応付けた相関テーブルが複数種類準備される。そして、これら複数種類の相関テーブルのうち、相関テーブルの更新処理において各画素セル100から出力された検出信号(電圧値)とカウント値との相関関係に最もマッチングする相関テーブルが、当該画素セル100に用いる相関テーブルに設定される。
【0176】
図17(a)は、実施形態2の変更例1に係る、相関関係の更新動作時に信号処理部25により実行される処理を示すフローチャートである。
【0177】
図17(a)のフローチャートは、
図16(a)のフローチャートのステップS55がステップS58に置き換えられ、ステップS59が新たに追加されている。その他のステップの処理は、
図16(a)の対応するステップの処理と同様である。
【0178】
ステップS58において、相関抽出部503は、各画素セル100からの検出信号の電圧値をカウント数(変数Kと同じ値)に対応付けて、相関記憶部504に記憶させる。変数Kが設定回数Nに到達するまでステップS53~S57の処理が繰り返されることにより、画素セル100ごとに、全てのカウント数と電圧値とが互いに対応付けられて、相関記憶部504に記憶される。
【0179】
こうして、変数Kが設定回数Nに到達すると(S56:YES)、相関抽出部503は、ステップS53~S57に処理により相関記憶部504に記憶された各画素セル100のカウント数と電圧値のデータ群と、相関記憶部504に予め記憶されている複数種類の相関テーブルとを対照し、各画素セル100のデータ群に最もマッチングする相関テーブルを、各画素セル100に用いる相関テーブルに設定する(S59)。ここで、マッチングの判定は、たとえば、データ群側の電圧値と相関テーブル側の電圧値との差分をカウント数ごとに求め、これら差分を合計した値が最も小さくなる相関テーブルを、最もマッチングする相関テーブルとして判定する方法により行われる。但し、マッチングの判定方法はこれに限られるものではなく、他の判定方法が用いられてもよい。
【0180】
相関抽出部503は、こうして画素セル100ごとに設定した相関テーブルの識別情報を、画素セル100に対応付けて、相関記憶部504に記憶させる。その後、相関記憶部504は、ステップS53~S57の処理により記憶したデータ群を消去する。
【0181】
図17(b)は、
図17(a)のステップS59において相関記憶部504に記憶される情報を示す図である。
【0182】
図17(b)に示すように、相関記憶部504には、各画素セル100に用いられる相関テーブルの識別情報が、各画素セル100に対応付けて記憶される。通常動作時には、カウント数取得部505において、
図17(b)の対応表が参照され、各画素セル100に用いる相関テーブルが特定される。カウント数取得部505は、特定した相関テーブルを用いて、上記実施形態2と同様、画素セル100ごとに、検出信号(電圧値)に応じたカウント数を取得し、取得したカウント数を中央処理部506に出力する。
【0183】
この構成によれば、全ての画素セル100について個別に相関テーブルを作成して記憶しておく必要がないので、通常動作時における相関記憶部504の記憶容量の消費を抑制できる。すなわち、通常動作時において、相関記憶部504は、予め設定された複数種類の相関テーブルと、画素セル100ごとに対応付けられた相関テーブルの識別情報を記憶するだけでよい。よって、上記実施形態2に比べて、相関記憶部504における容量消費を顕著に抑制できる。
【0184】
なお、相関記憶部504に予め記憶される相関テーブルは、各画素セル100において生じ得る検出信号(電圧値)のばらつきに対応可能なパターンが準備されればよい。たとえば、相関テーブルは、10種類程度準備され得る。
【0185】
<実施形態2の変更例2>
上記実施形態2では、検出信号とカウント数の相関関係が相関テーブルによって規定された。これに対し、変更例2では、検出信号とカウント数の相関関係が相関関数によって規定される。
【0186】
図18(a)は、実施形態2の変更例2に係る、相関関係の更新動作時に信号処理部25により実行される処理を示すフローチャートである。
【0187】
図18(a)のフローチャートは、上記実施形態2の変更例1に係る
図17(a)のフローチャートのステップS59がステップS60に置き換えられている。その他のステップの処理は、
図17(a)の対応するステップの処理と同様である。
【0188】
ステップS53、S54、S58、S57の処理がN回繰り返され、ステップS56の判定がYESとなると、上記のように、画素セル100ごとに、全てのカウント数と電圧値とが互いに対応付けられて、相関記憶部504に記憶される。
【0189】
その後、相関抽出部503は、ステップS53~S57に処理により相関記憶部504に記憶された各画素セル100のカウント数と電圧値のデータ群に基づいて、画素セル100ごとに、カウント数と電圧値の相関関係を規定する相関関数を生成する(S60)。相関抽出部503は、当該相関関数を生成するためのアルゴリズムを保持している。
【0190】
相関抽出部503は、こうして画素セル100ごとに設定した相関関数を、画素セル100に対応付けて、相関記憶部504に記憶させる。相関抽出部503は、基本となる相関関数と、画素セル100ごとに設定された相関係数を記憶してもよい。その後、相関記憶部504は、ステップS53~S57の処理により記憶したデータ群を消去する。
【0191】
図18(b)は、
図18(a)のステップS60において相関記憶部504に記憶される相関関数を模式的に示す図である。ここでは、便宜上、3つの画素セルA、B、Cの相関関数が示されている。
【0192】
図18(b)では、横軸のカウント数が変数xに設定されている。出力電圧yからカウント数xを求めるために、相関関数が逆関数として示されている。通常動作時には、カウント数取得部505において、
図18(b)に例示した各画素セル100の相関関数が特定される。カウント数取得部505は、特定した相関関数を用いて、画素セル100ごとに、検出信号(電圧値)に応じたカウント数を算出し、算出したカウント数を中央処理部506に出力する。
【0193】
この構成によれば、相関記憶部504に各画素セル100の相関関数を記憶させるだけでよいので、上記実施形態2に比べて、通常動作時における相関記憶部504のメモリ容量の消費を顕著に抑制できる。
【0194】
なお、
図18(a)のステップS60では、画素セル100ごとに相関関数が生成されたが、これに代えて、予め複数種類の相関関数を準備しておき、各画素セル100における検出信号とカウント数の相関関係に最もマッチングする相関関数を各画素セル100に対応付ける処理がステップS60において行われてもよい。
【0195】
<実施形態3>
上記実施形態2では、撮像装置20が物体の反射率の測定装置に用いられたが、実施形態3では、撮像装置20が距離測定装置に用いられる。上記実施形態2に記載の撮像装置20を利用した距離測定装置2の全体像について説明する。
【0196】
図19は、実施形態3に係る距離測定装置2の構成例を示すブロック図である。
図19の構成では、発光装置10以外の構成ブロックが、撮像装置20に対応する。
【0197】
実施形態3では、撮像制御部24が投光装置10を制御する。撮像制御部24は、発光制御部13を制御して光源11をパルス発光させるとともに、固体撮像素子23を制御して、各画素セル100から検出信号を出力させる。画素信号出力部601は、各画素セル100から垂直信号線Vsigに出力された検出信号に対し、増幅、ノイズ除去およびA/D変換等の処理を施して出力する。
【0198】
相関抽出部603は、上記実施形態2およびその変更例と同様、各画素セル100から出力される検出信号(電圧値)とカウント値との相関関係を取得し、取得した相関関係を相関記憶部604に記憶させる。カウント数取得部605は、上記実施形態2およびその変更例と同様、相関記憶部604に記憶された相関関係に基づいて、各画素セル100から出力された検出信号(電圧値)をカウント値に変換する。
【0199】
信号処理演算部606は、カウント数取得部605から入力される各画素セル100のカウント値に基づいて、距離画像および輝度画像を生成する。生成された距離画像および輝度画像は、適宜、他の情報処理装置に出力される。
【0200】
以下、
図19の距離測定装置2における距離画像および輝度画像の生成処理について説明する。
【0201】
撮像制御部24は、パルス状の発光および露光の組をN(Nは3以上の整数)回繰り返すことによって、測距範囲を分割したN(Nは3以上の整数)個の区分距離に対応するN個の区分画像を撮像する。ここで、測距範囲とは、距離測定装置2から被写体までの測定可能な全距離範囲のことである。たとえば、測距範囲は、0~Dmax(m)に設定される。N個の区間距離は、たとえば、測距範囲をN等分して得られる部分的な距離範囲である。なお、N個の区分距離は、N等分に限らず、測距範囲を不均等に分割した部分的な距離範囲であってもよい。たとえば、距離測定装置2の測定対象および測定環境に応じて、N個の区分距離は、小さい距離範囲の区分距離と大きい距離範囲の区分距離を含むように定められてもよい。
【0202】
撮像制御部24は、発光制御信号を発光制御部13に供給し、露光制御信号を固体撮像素子23に供給することによって、N個の区分画像を撮像するように光源11および固体撮像素子23を制御する。具体的には、撮像制御部24は、1フレームの距離画像あたり、発光パルスおよび露光パルスの組をN組生成するように、発光制御信号および露光制御信号を生成することによって、光源11および固体撮像素子23を制御する。
【0203】
撮像制御部24は、第1測定期間(Tm1)~第N測定期間(TmN)において、発光タイミングと露光タイミングとの時間差が徐々に大きくなるように、露光パルスを生成する。発光タイミングと露光タイミングとの時間差は、当該測定期間に固体撮像素子23で受光される反射光を生じさせた被写体の距離(距離範囲)に対応する。つまり、当該測定期間で反射光が受光された場合は、距離測定装置2から被写体までの距離が当該時間差に対応する。
【0204】
すなわち、撮像制御部24は、測定期間TmkにおいてタイムスロットTskの区間で露光を指示する露光パルスを生成する。ここで、kは1~Nの何れかの整数である。
【0205】
たとえば、撮像制御部24は、第1測定期間Tm1においてタイムスロットTs1の区間で露光を指示する露光パルスを生成する。固体撮像素子23は、タイムスロットTs1での露光による画像を区分画像#1として生成し、メモリに保持する。たとえば、各タイムスロットの期間が10nSであると仮定した場合、固体撮像素子23は、タイムスロットTs1ではパルス発光の開始から10nS以内に現れる反射光を受光できるが、それ以降に現れる反射光を受光できない。つまり、以下の式(1)から、タイムスロットTs1では、固体撮像素子23は、区分距離#1=0~1.5mの距離範囲にある被写体からの反射光を受光でき、区分距離#1以外にある被写体からの反射光を受光できない。
【0206】
2×L1<10nS×c …(1)
【0207】
ここで、cは光速(3×108m/s)である。L1は、区分距離#1の距離範囲を示す。2×L1は、照射光の往復距離である。
【0208】
このように、第1測定期間Tm1で、被写体からの反射光を受光した場合は、被写体の区分距離#1(例えば0~1.5m)の範囲内の距離にあることを意味する。
【0209】
同様に、撮像制御部24は、第k測定期間TmkにおいてタイムスロットTskの区間で露光を指示する露光パルスを生成する。固体撮像素子23は、タイムスロットTskでの露光による画像を区分画像#kとして生成する。たとえば、各タイムスロットの期間が10nSである場合、第k測定期間Tmkでは、固体撮像素子23は、タイムスロットTskの区間に現れる反射光を受光できるが、その区間外に現れる反射光を受光できない。つまり、以下の式(2)から、第k測定期間Tmkでは、固体撮像素子23は、距離範囲Lk=((k-1)×1.5mからk×1.5mまでの距離範囲)にある被写体からの反射光を受光でき、それ以外の距離にある被写体らの反射光を受光できない。
【0210】
(k-1)×10nS×c < 2×Lk < k×10nS×c …(2)
【0211】
ここで、2×Lkは照射光の往復距離である。
【0212】
このように、第k測定期間Tmkで、被写体からの反射光を受光した場合は、被写体の区分距離#k(例えば(k-1)×1.5mからk×1.5mまでの距離範囲)内の距離にあることを意味する。
【0213】
ここで、撮像制御部24は、1つの区分画像を取得するために、発光と露光とを連続的に複数回(たとえば10回)繰り返す。すなわち、撮像制御部24は、第k測定期間の処理を連続的に複数回実行し、
図11に示したメモリ部108に電荷を蓄積させる。こうしてメモリ部108に電荷が蓄積された後、上記実施形態2において説明したように、メモリ部108の電荷に応じた電圧値が、検出信号として垂直信号線Vsigに出力される。これにより、第k測定期間に対応する区分画像♯kが取得される。その後、撮像制御部24は、次の第k+1測定期間の処理を連続的に複数回実行して、第k+1測定期間に対応する区分画像♯k+1を取得する。撮像制御部24は、順次取得した区分画像を、メモリ部602に記憶させる。
【0214】
こうして得られたN個の区分画像がメモリ部602に記憶された後、各区分画像の各画素位置にマッピングされている検出信号の信号値(電圧値)が、カウント数取得部605によって、相関記憶部604に保持された相関関係に準拠したカウント数に変換される。カウント数取得部605は、変換後のカウント数を信号処理演算部606に出力する。これにより、信号処理演算部606において、各画素位置にカウント数がマッピングされたカウント画像が、区分画像ごとに取得される。
【0215】
信号処理演算部606は、取得した各区分画像のカウント画像に基づいて、距離画像と輝度画像を生成する。距離画像の生成は、信号処理演算部606の距離画像生成部606aの機能により生成される。また、輝度画像の生成は、信号処理演算部606の輝度画像生成部606bの機能により生成される。
【0216】
距離画像生成部606aは、各カウント画像にマッピングされた各画素のカウント値と所定の閾値とを比較し、当該閾値以上のカウント値を有する画素に所定の色を付す。ここで、距離画像生成部606aは、カウント画像ごとに異なる色を設定する。たとえば、区分距離♯1の距離画像♯1から取得されたカウント画像♯1の場合は、カウント値が閾値を超える画素に青色が付され、区分距離♯2の距離画像♯2から取得されたカウント画像♯2の場合は、カウント値が閾値を超える画素に水色が付される。これにより、距離ごとに異なる色が付された画像が画像ごとに得られる。距離画像生成部606aは、こうして取得した全てのカウント画像の画像を、1フレームの画像に合成する。これにより、1フレーム分の距離画像が生成される。距離画像生成部606aは、生成した距離画像を、外部の情報処理装置等に出力する。
【0217】
輝度画像生成部606bは、上記と同様に取得したカウント画像に対し、各画素のカウント値の大きさに応じた輝度値を各画素に設定して、カウント画像ごとに輝度画像を生成する。輝度画像生成部606bは、生成した各輝度画像を、外部の情報処理装置等に出力する。なお、輝度画像生成部606bは、全ての輝度画像を合成して1フレーム分の輝度画像を生成し、生成した1フレーム分の輝度画像を外部の情報処理装置等に出力してもよい。
【0218】
<その他の変更例>
以上、本発明の実施形態1~3およびその変更例について説明したが、本発明は、上記実施形態1~3およびその変更例に限定されるものではなく、また、本発明の実施形態も、上記実施形態1~3およびその変更例以外に種々の変更が可能である。
【0219】
たとえば、実施形態2においても、
図10に示すように、撮像制御部24と相関記憶部504がセンサチップ400に実装されてもよい。
【0220】
また、実施形態2においても、
図9に示した実施形態1の変更例と同様、同一の画素セル100に対して複数回、検出信号(電圧値)とカウント値のデータ群を取得し、取得した複数の検出信号(電圧値)をカウント値ごとに平均化した値を、相関テーブルの登録するようにしてもよい。
【0221】
また、
図3(a)~(d)、
図4(a)、(b)、
図12(a)~(d)および
図13(a)、(b)に示した各部の電位や容量は、一例であって、他の電位や容量に適宜変更され得る。
【0222】
また、撮像装置20の構成は、
図1に示した構成に限られるものではなく、種々の変更が可能である。たとえば、所定波長の光のみを受光する必要がない場合は、フィルタ22が省略され得る。信号処理部25の構成も、適宜、変更可能である。
【0223】
また、撮像制御部24は、さらにチップ外部からの制御信号によって、より高い自由度で制御することも可能である。
【0224】
また、固体撮像装置1に含まれる各処理部は、典型的には集積回路であるLSIとして実現される。これらは個別に1チップ化されてもよいし、一部または全てを含むように1チップ化されてもよい。また、集積回路化は、LSIに限るものではなく、専用回路または汎用プロセッサで実現してもよい。LSI製造後にプログラムすることが可能なFPGA(Field Programmable Gate Array)、またはLSI内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。
【0225】
また、上記実施形態1~3に係る、固体撮像装置、およびそれらの変形例の機能のうち少なくとも一部を組み合わせてもよい。
【0226】
また、上記説明では、MOSトランジスタを用いた例を示したが、他のトランジスタを用いてもよい。
【0227】
また、上記実施形態1には、撮像装置20が距離測定装置1に搭載され、実施形態2では、撮像装置20が反射率の測定装置に用いられ、実施形態3では、撮像装置20が距離測定装置2に用いられたが、撮像装置20の適用形態はこれに限られるものではない。たとえば、医療や放射線計測等の分野で用いられる撮像装置に、本発明が適用されてもよい。
【0228】
この他、本発明の実施の形態は、特許請求の範囲に示された技術的思想の範囲内において、適宜、種々の変更が可能である。
【符号の説明】
【0229】
20 … 撮像装置
23 … 固体撮像素子
25 … 信号処理部
100 … 画素セル
101 … アバランシェフォトダイオード
203 … ばらつき算出部
204 … テーブル記憶部
205 … 補正演算部
503 … 相関抽出部
505 … カウント数取得部
V0 … 基準値