(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-10-08
(45)【発行日】2024-10-17
(54)【発明の名称】撮像装置、撮像システム及び撮像装置の駆動方法
(51)【国際特許分類】
H04N 25/76 20230101AFI20241009BHJP
H04N 25/78 20230101ALI20241009BHJP
【FI】
H04N25/76
H04N25/78
(21)【出願番号】P 2020178130
(22)【出願日】2020-10-23
【審査請求日】2023-10-17
(73)【特許権者】
【識別番号】000001007
【氏名又は名称】キヤノン株式会社
(74)【代理人】
【識別番号】100094112
【氏名又は名称】岡部 讓
(74)【代理人】
【識別番号】100101498
【氏名又は名称】越智 隆夫
(74)【代理人】
【識別番号】100106183
【氏名又は名称】吉澤 弘司
(74)【代理人】
【識別番号】100136799
【氏名又は名称】本田 亜希
(72)【発明者】
【氏名】鈴木 淳士
(72)【発明者】
【氏名】山下 孝教
【審査官】彦田 克文
(56)【参考文献】
【文献】特開2012-080252(JP,A)
【文献】特開2020-043450(JP,A)
【文献】特開2017-158062(JP,A)
【文献】特開2017-079464(JP,A)
【文献】欧州特許出願公開第02863628(EP,A1)
(58)【調査した分野】(Int.Cl.,DB名)
H04N 25/76
H04N 25/78
(57)【特許請求の範囲】
【請求項1】
光電変換部と、電荷保持部と、前記光電変換部の電荷を前記電荷保持部に転送する第1スイッチと、前記電荷保持部に保持された電荷の量に基づく画素信号を出力する出力部と、を有する画素と、
前記画素から前記画素信号が出力される出力線と、
前記出力線に接続された読み出し回路部と、
前記画素及び前記読み出し回路部を制御する制御部と、を有し、
前記読み出し回路部は、増幅回路と、前記出力線と前記増幅回路との間に設けられた第2スイッチと、前記増幅回路で増幅された前記画素信号と参照信号とを比較する比較器と、を有し、
前記制御部は、
前記第1スイッチをオンにして前記
光電変換部の電荷を前記電荷保持部に転送し、前記電荷の量に基づく画素信号を前記出力線に出力する第1の期間と、
前記第1の期間に前記出力線に出力され、前記増幅回路により増幅された前記画素信号のレベルを前記比較器により判定する第2の期間と、
前記比較器による判定の結果に応じて前記増幅回路のゲインを設定する第3の期間と、を実行するように構成されており、
前記制御部は、前記第1スイッチがオンの期間、及び、前記第1スイッチがオンからオフに遷移した後、前記出力部が静定するまでの期間に、前記第2スイッチをオフにするように更に構成されている
ことを特徴とする撮像装置。
【請求項2】
前記出力部が整定するまでの期間は、前記出力線の電位が、前記電荷を前記電荷保持部に転送する前の前記出力線の電位よりも低くなるまでの期間である
ことを特徴とする請求項1記載の撮像装置。
【請求項3】
前記制御部は、第1ゲインで増幅された前記画素信号のレベルが前記参照信号のレベルよりも高い場合に、前記増幅回路のゲインを前記第1ゲインよりも小さい第2ゲインに設定する
ことを特徴とする請求項1又は2記載の撮像装置。
【請求項4】
前記読み出し回路部は、前記比較器を含み、前記増幅回路により増幅された前記画素信号をアナログデジタル変換するアナログデジタル変換回路を更に有し、リセット状態の前記画素から出力された基準電圧に基づく第1デジタル画素信号と、前記第3の期間に設定されたゲインで増幅された前記画素信号に基づく第2デジタル画素信号と、を出力するように構成されている
ことを特徴とする請求項3記載の撮像装置。
【請求項5】
前記出力線に定電圧を供給する電圧供給回路を更に有し、
前記制御部は、前記読み出し回路部を制御して、
前記基準電圧に対して第1の振幅をなす第1電圧を前記出力線に供給し、前記第2ゲインで増幅したときの第1デジタル値と、前記第1ゲインで増幅したときの第3デジタル値と、を取得し、
前記基準電圧に対して前記第1の振幅よりも小さい第2の振幅をなす第2電圧を供給し、前記第2ゲインで増幅したときの第2デジタル値と、前記第1ゲインで増幅したときの第4デジタル値と、を取得するように構成されている
ことを特徴とする請求項4記載の撮像装置。
【請求項6】
前記第1デジタル値、前記第2デジタル値、前記第3デジタル値及び前記第4デジタル値は、ブランキング期間の間に取得される
ことを特徴とする請求項5記載の撮像装置。
【請求項7】
前記読み出し回路部から出力される信号を処理する信号処理部を更に有し、
前記信号処理部は、前記第1デジタル値、前記第2デジタル値、前記第3デジタル値及び前記第4デジタル値から算出される補正値に基づき、前記第1デジタル画素信号及び前記第2デジタル画素信号に対して補正処理を行うように構成されている
ことを特徴とする請求項5又は6記載の撮像装置。
【請求項8】
前記第1ゲインをG1、
前記第2ゲインをG2、前記第1デジタル値をD1、前記第2デジタル値をD2、前記第3デジタル値をD3、前記第4デジタル値をD4、前記補正値をα,βとして、以下の関係を有する
(G2/G1)×α=(D4-D3)/(D2-D1)
β=D3-(G2/G1)×αD1
ことを特徴とする請求項7記載の撮像装置。
【請求項9】
前記第2デジタル画素信号が前記第2ゲインで増幅された画素信号に基づく場合に、前記補正処理の後のデジタル画素信号のデジタル値D
Hは、前記第1デジタル画素信号のデジタル値をN、前記第2デジタル画素信号のデジタル値をSとして、以下の式で表される
D
H=(G2/G1)×α(S-N)+β
ことを特徴とする請求項7記載の撮像装置。
【請求項10】
前記第2デジタル画素信号が前記第1ゲインで増幅された画素信号に基づく場合に、前記補正処理の後のデジタル画素信号のデジタル値D
Lは、前記第1デジタル画素信号のデジタル値をN、前記第2デジタル画素信号のデジタル値をSとして、以下の式で表される
D
L=S-N
ことを特徴とする請求項8記載の撮像装置。
【請求項11】
前記参照信号のレベルに対応する前記出力線の電圧は、前記第1電圧と前記第2電圧との間の電圧である
ことを特徴とする請求項5乃至10のいずれか1項に記載の撮像装置。
【請求項12】
複数の行及び複数の列をなすように配された複数の前記画素を有し、
前記出力線は、前記複数の列の各々に対応してそれぞれ設けられており、
前記読み出し回路部は、前記複数の列の各々に対応して、各々が前記増幅回路、前記第2スイッチ及び前記比較器を有する列回路を有しており、
前記制御部は、複数の前記画素の各々の前記画素信号に対して前記増幅回路のゲインを設定するように構成されている
ことを特徴とする請求項1乃至11のいずれか1項に記載の撮像装置。
【請求項13】
光電変換部と、電荷保持部と、前記光電変換部の電荷を前記電荷保持部に転送する第1のスイッチと、前記電荷保持部に保持された電荷の量に基づく画素信号を出力する出力部と、を有する画素と、前記画素から前記画素信号が出力される出力線と、前記出力線に接続された読み出し回路部と、を有し、前記読み出し回路部が、増幅回路と、前記出力線と前記増幅回路との間に設けられた第2のスイッチと、前記増幅回路で増幅された前記画素信号と参照信号とを比較する比較器と、を有する撮像装置の駆動方法であって、
前記第1のスイッチをオンにして前記
光電変換部の電荷を前記電荷保持部に転送し、前記電荷の量に基づく画素信号を前記出力線に出力する第1の期間と、
前記第1の期間に前記出力線に出力され、前記増幅回路により増幅された前記画素信号のレベルを前記比較器により判定する第2の期間と、
前記比較器による判定の結果に応じて前記増幅回路のゲインを設定する第3の期間と、を実行し、
前記第1のスイッチがオンの期間、及び、前記第1のスイッチがオンからオフに遷移した後、前記出力部が静定するまでの期間に、前記第2のスイッチをオフに設定する
ことを特徴とする撮像装置の駆動方法。
【請求項14】
請求項1乃至12のいずれか1項に記載の撮像装置と、
前記撮像装置から出力される信号を処理する信号処理装置と
を有することを特徴とする撮像システム。
【請求項15】
移動体であって、
請求項1乃至12のいずれか1項に記載の撮像装置と、
前記撮像装置の前記画素から出力される信号に基づく視差画像から、対象物までの距離情報を取得する距離情報取得手段と、
前記距離情報に基づいて前記移動体を制御する制御手段と
を有することを特徴とする移動体。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、撮像装置、撮像システム及び撮像装置の駆動方法に関する。
【背景技術】
【0002】
撮像装置において、広いダイナミックレンジと読み出し高速性を両立するための技術として、入射光量に応じて画素毎に増幅回路のゲインを切り替える方法が提案されている。特許文献1には、当該技術において、増幅回路のゲインが切り替わる境界付近に生じる輝度の段差を補正する方法が記載されている。
【先行技術文献】
【特許文献】
【0003】
【発明の概要】
【発明が解決しようとする課題】
【0004】
特許文献1では、増幅回路のオフセットに対応するオフセット補正値を差し引くことにより、増幅回路のゲインが切り替わる境界付近に生じる輝度の段差を低減している。しかしながら、増幅回路は入力信号に対して出力特性にある程度の非線形性を持つため、オフセット補正値の取得時に増幅回路の非線形性の影響を受け、オフセット補正値を差し引くだけでは高品質な画像を取得できないことがあった。
【0005】
本発明の目的は、入射光量に応じて画素毎に増幅回路のゲインを切り替える撮像装置において、読み出し速度を低下することなく高品質の画像を取得するための技術を提供することにある。
【課題を解決するための手段】
【0006】
本発明の一観点によれば、光電変換部と、電荷保持部と、前記光電変換部の電荷を前記電荷保持部に転送する第1スイッチと、前記電荷保持部に保持された電荷の量に基づく画素信号を出力する出力部と、を有する画素と、前記画素から前記画素信号が出力される出力線と、前記出力線に接続された読み出し回路部と、前記画素及び前記読み出し回路部を制御する制御部と、を有し、前記読み出し回路部は、増幅回路と、前記出力線と前記増幅回路との間に設けられた第2スイッチと、前記増幅回路で増幅された前記画素信号と参照信号とを比較する比較器と、を有し、前記制御部は、前記第1スイッチをオンにして前記光電変換部の電荷を前記電荷保持部に転送し、前記電荷の量に基づく画素信号を前記出力線に出力する第1の期間と、前記第1の期間に前記出力線に出力され、前記増幅回路により増幅された前記画素信号のレベルを前記比較器により判定する第2の期間と、前記比較器による判定の結果に応じて前記増幅回路のゲインを設定する第3の期間と、を実行するように構成されており、前記制御部は、前記第1スイッチがオンの期間、及び、前記第1スイッチがオンからオフに遷移した後、前記出力部が静定するまでの期間に、前記第2スイッチをオフにするように更に構成されている撮像装置が提供される。
【0007】
また、本発明の他の一観点によれば、光電変換部と、電荷保持部と、前記光電変換部の電荷を前記電荷保持部に転送する第1のスイッチと、前記電荷保持部に保持された電荷の量に基づく画素信号を出力する出力部と、を有する画素と、前記画素から前記画素信号が出力される出力線と、前記出力線に接続された読み出し回路部と、を有し、前記読み出し回路部が、増幅回路と、前記出力線と前記増幅回路との間に設けられた第2のスイッチと、前記増幅回路で増幅された前記画素信号と参照信号とを比較する比較器と、を有する撮像装置の駆動方法であって、前記第1のスイッチをオンにして前記光電変換部の電荷を前記電荷保持部に転送し、前記電荷の量に基づく画素信号を前記出力線に出力する第1の期間と、前記第1の期間に前記出力線に出力され、前記増幅回路により増幅された前記画素信号のレベルを前記比較器により判定する第2の期間と、前記比較器による判定の結果に応じて前記増幅回路のゲインを設定する第3の期間と、を実行し、前記第1のスイッチがオンの期間、及び、前記第1のスイッチがオンからオフに遷移した後、前記出力部が静定するまでの期間に、前記第2のスイッチをオフに設定する撮像装置の駆動方法が提供される。
【発明の効果】
【0008】
本発明によれば、入射光量に応じて画素毎に増幅回路のゲインを切り替える撮像装置において、読み出し速度を低下することなく高品質の画像を取得することができる。
【図面の簡単な説明】
【0009】
【
図1】本発明の第1実施形態による撮像装置の構成例を示すブロック図である。
【
図2】本発明の第1実施形態による撮像装置における画素及び出力線制御部の構成例を示す回路図である。
【
図3】本発明の第1実施形態による撮像装置における列回路の構成例を示す回路図である。
【
図4】本発明の第1実施形態による撮像装置の駆動方法を示すタイミング図(その1)である。
【
図5】本発明の第1実施形態による撮像装置における画素値の補正方法を示すグラフである。
【
図6】参考例による撮像装置の駆動方法を示すタイミング図である。
【
図7】本発明の第1実施形態による撮像装置の駆動方法を示すタイミング図(その2)である。
【
図8】本発明の第2実施形態による撮像システムの概略構成を示すブロック図である。
【
図9】本発明の第3実施形態による撮像システム及び移動体の構成例を示す図である。
【発明を実施するための形態】
【0010】
[第1実施形態]
本発明の第1実施形態による撮像装置及びその駆動方法について、
図1乃至
図7を用いて説明する。
図1は、本実施形態による撮像装置の構成例を示すブロック図である。
図2は、本実施形態による撮像装置における画素及び出力線制御部の構成例を示す回路図である。
図3は、本実施形態による撮像装置における列回路の構成例を示す回路図である。
図4及び
図7は、本実施形態による撮像装置の駆動方法を示すタイミング図である。
図5は、本実施形態による撮像装置における画素値の補正方法を示すグラフである。
図6は、参考例による撮像装置の駆動方法を示すタイミング図である。
【0011】
はじめに、本実施形態による撮像装置の全体構成について、
図1を用いて説明する。
本実施形態による撮像装置100は、
図1に示すように、画素アレイ部10と、垂直走査回路20と、出力線制御部30と、読み出し回路部40と、参照信号生成部52と、カウンタ56と、を有する。また、撮像装置100は、水平走査回路60と、信号処理部70と、信号出力部80と、制御部90と、を更に有する。
【0012】
画素アレイ部10には、複数の行及び複数の列に渡ってマトリクス状に配された複数の画素12が設けられている。
図1には便宜的に画素アレイ部10を構成する画素12のうちの一部を示している。画素アレイ部10を構成する画素12の数は、特に限定されるものではない。なお、画素12の具体的な構成例については後述する。
【0013】
画素アレイ部10の各行には、第1の方向(
図1において横方向)に延在するように制御線14が配されている。制御線14の各々は、第1の方向に並ぶ画素12にそれぞれ接続され、これら画素12に共通の信号線をなしている。制御線14の延在する第1の方向は、行方向或いは水平方向と呼ぶことがある。制御線14は、垂直走査回路20に接続されている。
【0014】
画素アレイ部10の各列には、第1の方向と交差する第2の方向(
図1において縦方向)に延在するように出力線16が配されている。出力線16の各々は、第2の方向に並ぶ画素12にそれぞれ接続され、これら画素12に共通の信号線をなしている。出力線16の延在する第2の方向は、列方向或いは垂直方向と呼ぶことがある。出力線16の各々は、出力線制御部30及び読み出し回路部40に接続されている。
【0015】
垂直走査回路20は、画素12を駆動するための制御信号を、画素アレイ部10の各行に設けられた制御線14を介して画素12に行単位で供給する制御回路部である。垂直走査回路20は、シフトレジスタやアドレスデコーダを用いて構成されうる。
【0016】
出力線制御部30は、出力線16の各々に供給されるバイアス電流や出力線16の各々の電圧を制御する制御回路部である。
【0017】
読み出し回路部40は、各列の出力線16に対応して設けられた複数の列回路42を有する。列回路42の各々は、対応する列の出力線16に接続されている。列回路42の各々は、対応する列の画素12から出力されるアナログ信号に対して増幅処理及びAD(アナログデジタル)変換処理を行い、処理後のデジタル信号を保持する機能を備える。なお、列回路42の具体的な構成例については後述する。
【0018】
参照信号生成部52は、読み出し回路部40に接続されている。参照信号生成部52は、輝度判定のための基準信号やAD変換に用いるための参照信号を生成し、読み出し回路部40に供給する機能を備える。AD変換に用いるための参照信号は、画素信号のレンジに応じた所定の振幅を有し、時間の経過とともに信号レベルが変化する信号であり得る。参照信号は、特に限定されるものではないが、例えば、時間の経過とともに信号レベルが単調増加し又は単調減少するランプ信号を適用可能である。なお、信号レベルの変化は、必ずしも連続的である必要はなく、ステップ状であってもよい。また、信号レベルの変化は、必ずしも時間に対して線型的である必要はなく、時間に対して曲線的(例えば、正弦波や余弦波)であってもよい。
【0019】
カウンタ56は、読み出し回路部40に接続されている。カウンタ56は、参照信号生成部52から供給される参照信号の信号レベルの変化が開始するタイミングに同期してカウント動作を開始し、そのカウント値が示すカウント信号を読み出し回路部40へと出力する機能を備える。
【0020】
水平走査回路60は、読み出し回路部40に接続されている。水平走査回路60は、各列の列回路42に記憶されたデジタル信号を出力するための制御信号を、各列の列回路42に列毎に順次供給する機能を備える。画素アレイ部10の各列に対応して設けられた水平走査回路60の制御線は、対応する列の列回路42に接続されている。各列の列回路42は、水平走査回路60の対応する列の制御線を介して制御信号を受信すると、保持するデジタル画素信号を信号処理部70に出力する。水平走査回路60は、列回路42に保持されている信号を列単位で順次、後段の処理部(信号処理部70)へと転送する転送部としての機能を備える。
【0021】
信号処理部(DFE:Digital Front End)70は、読み出し回路部40から出力されるデジタル信号に対して所定の信号処理を実行する回路部である。信号処理部70が実行する処理としては、例えば、増幅処理や、デジタル相関二重サンプリング(CDS)処理が挙げられる。デジタルCDS処理は、メモリ部がデジタル画素信号として記憶しているノイズ信号N及び光信号Sに対して、(S-N)の差分処理を行う信号処理である。
【0022】
信号出力部80は、信号処理部70で処理された信号を撮像装置100の外部へと出力するための回路部である。信号出力部80は、LVDS(Low Voltage Differential Signaling)等の外部インターフェースを含み、信号処理後のデジタル信号を撮像装置100の外部へと出力する。
【0023】
制御部90は、垂直走査回路20、出力線制御部30、読み出し回路部40、参照信号生成部52、カウンタ56及び水平走査回路60に、それらの動作やそのタイミングを制御する制御信号を供給するための回路部である。なお、これら制御信号の総ては必ずしも制御部90から供給される必要はなく、これら制御信号のうちの少なくとも一部は撮像装置100の外部から供給されてもよい。
【0024】
次に、本実施形態による撮像装置100における画素12及び出力線制御部30の構成例について、
図2を用いて説明する。
【0025】
画素12の各々は、画像を構成するために繰り返して配置される回路の最小単位であり得る。画素12の各々は、例えば
図2に示すように、光電変換部PDと、転送トランジスタM1と、リセットトランジスタM2と、増幅トランジスタM3と、選択トランジスタM4と、により構成され得る。転送トランジスタM1、リセットトランジスタM2、増幅トランジスタM3及び選択トランジスタM4は、例えばN型MOSトランジスタであり得るが、P型MOSトランジスタや他の公知のスイッチ素子であってもよい。
【0026】
光電変換部PDは、例えばフォトダイオードであり得る。光電変換部PDを構成するフォトダイオードは、アノードが接地ノードに接続され、カソードが転送トランジスタM1のソースに接続されている。転送トランジスタM1のドレインは、リセットトランジスタM2のソース及び増幅トランジスタM3のゲートに接続されている。転送トランジスタM1のドレイン、リセットトランジスタM2のソース及び増幅トランジスタM3のゲートの接続ノードは、いわゆる浮遊拡散部FDである。浮遊拡散部FDは、容量成分(浮遊拡散容量Cfd)を含み、電荷保持部としての機能を備える。浮遊拡散容量Cfdには、PN接合容量や配線容量などが含まれる。
【0027】
リセットトランジスタM2のドレイン及び増幅トランジスタM3のドレインは、電源ノード(電圧Vdd)に接続されている。増幅トランジスタM3のソースは、選択トランジスタM4のドレインに接続されている。選択トランジスタM4のソースは、出力線16に接続されている。
【0028】
図2の画素構成の場合、画素アレイ部10に配された各行の制御線14は、垂直走査回路20からの制御信号φRES,φTX,φSELが供給される3本の信号線を含む。制御信号φRESが供給される信号線は、対応する行に属する画素12のリセットトランジスタM2のゲートにそれぞれ接続され、これら画素12に共通の信号線をなす。制御信号φTXが供給される信号線は、対応する行に属する画素12の転送トランジスタM1のゲートにそれぞれ接続され、これら画素12に共通の信号線をなす。制御信号φSELが供給される信号線は、対応する行に属する画素12の選択トランジスタM4のゲートにそれぞれ接続され、これら画素12に共通の信号線をなす。画素12を構成する各トランジスタがN型トランジスタで構成される場合、垂直走査回路20からHighレベル(以下、「Hレベル」と表記する)の制御信号が供給されると、対応するトランジスタがオン(導通状態)になる。また、垂直走査回路20からLowレベル(以下、「Lレベル」と表記する)の制御信号が供給されると、対応するトランジスタがオフ(非導通状態)になる。
【0029】
出力線制御部30は、各列の出力線16に対応して、電流源32と、電圧供給回路34と、を有する。電流源32は、出力線16を介して画素12にバイアス電流を供給する機能を備える。電圧供給回路34は、画素信号を補正するための補正値を取得する際に出力線16に所定の定電圧を供給する機能を備える。なお、画素信号の補正及び補正値の取得方法については後述する。
【0030】
光電変換部PDは、入射光をその光量に応じた量の電荷に変換(光電変換)するとともに、生じた電荷を蓄積する。転送トランジスタM1は、オンになることにより光電変換部PDが保持する電荷を浮遊拡散部FDに転送する転送部としての機能を備える。なお、本明細書では転送トランジスタM1をスイッチと呼ぶこともある。浮遊拡散部FDは、光電変換部PDから転送された電荷を保持する電荷保持部としての機能を備えるとともに、浮遊拡散容量Cfdによる電荷電圧変換によって、光電変換部PDから転送された電荷の量に応じた電圧Vfdとなる。増幅トランジスタM3は、ドレインに電源電圧が供給され、ソースに出力線16及び選択トランジスタM4を介して電流源32からバイアス電流が供給される構成となっており、ゲートを入力ノードとする増幅部(ソースフォロワ回路)を構成する。選択トランジスタM4は、画素12を選択するスイッチであり、オンになることにより増幅トランジスタM3を出力線16に接続する。これにより増幅トランジスタM3は、浮遊拡散部FDの電圧Vfdに応じた信号を、選択トランジスタM4を介して出力線16に出力する。増幅トランジスタM3及び選択トランジスタM4は、浮遊拡散部FDに保持された電荷の量に応じた画素信号を出力する出力部としての機能を備える。リセットトランジスタM2は、オンになることにより浮遊拡散部FDを電源電圧に応じた電圧にリセットする。
【0031】
画素12の転送トランジスタM1、リセットトランジスタM2及び選択トランジスタM4は、前述のように、垂直走査回路20から供給される制御信号φTX,φRES,φSELにより、行単位で制御される。制御信号φSELにより選択された行に属する画素12の画素信号は、それぞれの画素12の対応する出力線16に同時に出力される。画素12から出力される画素信号は、アナログ信号(アナログ画素信号)である。
【0032】
次に、本実施形態による撮像装置100における列回路42の構成例について、
図3を用いて説明する。
【0033】
列回路42の各々は、例えば
図3に示すように、増幅回路44と、ゲイン切り替え回路48と、比較器50と、列メモリ54と、論理ゲート72と、により構成され得る。
【0034】
増幅回路44は、アンプ46と、容量C0,Cf1,Cf2と、スイッチSW1,SW2,SW3,SW4と、により構成され得る。アンプ46は、少なくとも1つの入力ノードと、少なくとも1つの出力ノードと、を有する。アンプ46は、ソース接地型増幅回路でもよいし、差動入力型増幅回路でもよい。本実施形態では、増幅回路44が反転増幅回路を構成しているものとする。容量C0は、アンプ46の入力容量である。容量Cf1,Cf2は、アンプ46の帰還容量である。本明細書では、これら容量の容量値を表すときにも同様の符号を用いることがある。
【0035】
増幅回路44の入力ノードでもあるスイッチSW4の一方のノードは、対応する列の出力線16に接続されている。スイッチSW4の他方のノードは、容量C0の一方の電極に接続されている。アンプ46の入力ノードには、容量C0の他方の電極と、容量Cf1の一方の電極と、容量Cf2の一方の電極と、スイッチSW3の一方のノードと、が接続されている。容量Cf1の他方の電極には、スイッチSW1の一方のノードが接続されている。容量Cf2の他方の電極には、スイッチSW2の一方のノードが接続されている。スイッチSW1の他方のノード、スイッチSW2の他方のノード及びスイッチSW3の他方のノードは、増幅回路44の出力ノードでもあるアンプ46の出力ノードに接続されている。
【0036】
スイッチSW1は、ゲイン切り替え回路48から供給される制御信号φPFB1により接続状態が制御されるスイッチである。スイッチSW2は、ゲイン切り替え回路48から供給される制御信号φPFB2により接続状態が制御されるスイッチである。スイッチSW3は、制御部90から供給される制御信号φPC0Rにより接続状態が制御されるスイッチである。スイッチSW4は、制御部90から供給される制御信号φPVLSELにより接続状態が制御されるスイッチである。本実施形態において、スイッチSW1,SW2,SW3,SW4は、対応する制御信号がHレベルのときにオン(導通状態)になり、対応する制御信号がLレベルのときにオフ(非導通状態)になるものとする。ただし、制御信号のレベルとスイッチの状態との関係は逆であってもよい。
【0037】
比較器50は、2つの入力ノードと、1つの出力ノードと、を有する。比較器50の一方の入力ノードは、増幅回路44の出力ノードに接続されている。比較器50の他方の入力ノードには、参照信号生成部52から参照信号VRAMPが供給される。比較器50は、増幅回路44から出力される画素信号の輝度判定のための判定回路の一部として機能し得る。また、比較器50は、増幅回路44から出力される画素信号をアナログデジタル変換するためのアナログデジタル変換回路の一部として機能し得る。
【0038】
列メモリ54は、Nメモリ54Nと、Sメモリ54Sと、Jメモリ54Jと、により構成され得る。Nメモリ54N及びSメモリ54Sの各々は、3つの入力ノードと、1つの出力ノードと、を有する。Jメモリ54Jは、2つの入力ノードと、1つの出力ノードと、を有する。
【0039】
Nメモリ54Nの第1入力ノード、Sメモリ54Sの第1入力ノード及びJメモリ54Jの第1入力ノードは、比較器50の出力ノードに接続されている。Nメモリ54Nの第2入力ノード、Sメモリ54Sの第2入力ノード及びJメモリ54Jの第2入力ノードは、水平走査回路60に接続されている。Nメモリ54Nの第3入力ノード及びSメモリ54Sの第3入力ノードには、カウンタ56からカウント信号CNTが供給される。Nメモリ54Nの出力ノード、Sメモリ54Sの出力ノード及びJメモリ54Jの出力ノードは、信号処理部70に接続されている。カウント信号CNT、並びに、Nメモリ54N及びSメモリ54Sの各々から出力される画素信号はデジタル信号であり、これら信号を伝送するための信号線はビット数に応じた複数の信号線により構成される。
【0040】
論理ゲート72は、2つの入力ノードと1つの出力ノードとを有する論理回路、例えば2入力ANDゲートであり得る。論理ゲート72の一方の入力ノードは、比較器50の出力ノードに接続されている。論理ゲート72の他方の入力ノードには、制御部90から制御信号φJUDGE_ENが供給される。
【0041】
ゲイン切り替え回路48は、1つの入力ノードと2つの出力ノードとを有する。ゲイン切り替え回路48の入力ノードは、論理ゲート72の出力ノードに接続されている。ゲイン切り替え回路48の一方の出力ノードは、スイッチSW1に供給される制御信号φPFB1を出力する。ゲイン切り替え回路48の他方の出力ノードは、スイッチSW2に供給される制御信号φPFB2を出力する。
【0042】
増幅回路44は、出力線16から供給されるアナログ画素信号を増幅して出力する機能を備える。増幅回路44の入力部にはスイッチSW4が設けられており、制御信号φPVLSELに応じて出力線16と増幅回路44との間の接続と非接続とを制御できるようになっている。
【0043】
スイッチSW1は、オンになることにより、アンプ46の入力ノードと出力ノードとの間を、容量Cf1を介して接続する。また、スイッチSW2は、オンになることにより、アンプ46の入力ノードと出力ノードとの間を、容量Cf2を介して接続する。すなわち、容量Cf1,Cf2はアンプ46の帰還容量である。スイッチSW1,SW2は、前述のように、ゲイン切り替え回路48から供給される制御信号φPFB1,φPFB2により制御される。スイッチSW3は、オンになることにより、アンプ46の入力ノードと出力ノードとを短絡し、アンプ46、容量C0,Cf1,Cf2をリセットする。スイッチSW3は、前述のように、制御部90から供給される制御信号φPC0Rにより制御される。
【0044】
増幅回路44のゲインは、入力容量CINと帰還容量CFとの比(CIN/CF)によって表される。ここで、帰還容量CFは、スイッチSW1,SW2がともにオンのときは(Cf1+Cf2)となり、スイッチSW1がオンでスイッチSW2がオフのときはCf1となり、スイッチSW1がオフでスイッチSW2がオンのときはCf2となる。つまり、制御信号φPFB1,φPFB2によりスイッチSW1,SW2を制御することで、アクティブな帰還容量(容量Cf1,Cf2)を選択することができる。入力容量CINは、容量C0に対応する。
【0045】
容量C0,Cf1,Cf2の容量値は、増幅回路44に求められるゲインに応じて適宜設定することができる。本実施形態では、容量C0の容量値が4C、容量Cf1の容量値がC、容量Cf2の容量値が3Cであるものとする(Cは任意の定数)。この場合、増幅回路44のゲインは、スイッチSW1,SW2がともにオンのときに1倍(C0/(Cf1+Cf2)=4C/(C+3C)=1)となる。また、増幅回路44のゲインは、スイッチSW1がオン、スイッチSW2がオフのときに4倍(C0/(Cf1+Cf2)=4C/(C+0)=4)となる。
【0046】
比較器50は、増幅回路44から出力される信号Vcamp-outのレベルと参照信号VRAMPのレベルとを比較し、比較の結果に応じた信号COMP_OUTを出力する。例えば、比較器50は、参照信号VRAMPのレベルが信号Vcamp-outのレベルよりも低いときにはHレベルの信号COMP_OUTを出力する。また、比較器50は、参照信号VRAMPのレベルが信号Vcamp-outのレベルよりも高いときにはLレベルの信号COMP_OUTを出力する。なお、入力信号の大小関係と出力信号のレベルとの関係は逆であってもよい。
【0047】
論理ゲート72は、信号COMP_OUTと、制御部90から供給される制御信号φJUDGE_ENと、を受け、制御信号ATTを出力する。制御信号φJUDGE_ENは、アナログ画素信号が低輝度か高輝度かを判定するための判定処理を許可するための判定許可信号である。論理ゲート72は、信号COMP_OUT及び制御信号φJUDGE_ENがHレベルの場合にHレベルの制御信号ATTを出力し、それ以外の場合にLレベルの制御信号ATTを出力する。
【0048】
ゲイン切り替え回路48は、制御部90からの制御信号に応じた制御信号φPFB1,φPFB2を出力する。また、ゲイン切り替え回路48は、制御信号ATTのレベルに応じた制御信号φPFB1,φPFB2を出力することも可能である。本実施形態では、制御信号ATTがHレベルの場合にHレベルの制御信号φPFB1,φPFB2を出力し、制御信号ATTがLレベルの場合にHレベルの制御信号φPFB1及びLレベルのφPFB2を出力するものとする。
【0049】
列メモリ54は、増幅回路44のリセット状態の信号レベルを記憶するNメモリ54Nと、入射光に応じた信号レベルを記憶するSメモリ54Sと、後述するゲイン切り替え判定情報を記憶するJメモリと、を含む。Nメモリ54N及びSメモリ54Sには、信号COMP_OUTのレベルが反転したタイミングにおいてカウンタ56から出力されているカウント信号CNTで示されるカウント値が、アナログ画素信号のデジタルデータ(デジタル画素信号)として保持される。Jメモリ54Jには、信号COMP_OUTのレベルに応じた信号が、ゲイン切り替え判定情報として保持される。Nメモリ54N、Sメモリ54S及びJメモリ54Jに記憶されたデジタルデータは、水平走査回路60から供給される制御信号に応じて、列毎に順次、信号処理部70へと転送される。
【0050】
画素アレイ部10から画素信号を読み出す際には、まず、制御信号φPC0RをHレベルに制御してスイッチSW3をオンにし、増幅回路44の初期リセットを行う。次いで、制御信号φPFB1をHレベル、制御信号φPFB2,φPC0RをLレベルに制御してスイッチSW1をオン、スイッチSW2,SW3をオフに設定する。この状態で、画素信号基準電圧に応じた画素信号(Nレベル信号)を出力線16に出力する。これにより、Nレベル信号が4倍のゲインで増幅されて増幅回路44から出力される。
【0051】
次に、入射光量に応じた信号(Sレベル信号)が画素12から出力されると、比較器50は、増幅回路44で増幅された画素信号と参照信号VRAMPとを比較し、低輝度と高輝度との判別ラッチ信号としての信号COMP_OUTを出力する。論理ゲート72は、信号COMP_OUTのレベルに応じた制御信号ATTをゲイン切り替え回路48に供給する。
【0052】
比較器50による比較の結果、画素信号が高輝度と判定された場合には、ゲイン切り替え回路48により制御信号φPFB2がHレベルに制御され、スイッチSW2がオンになることで、増幅回路44のゲインが4倍から1倍に切り替わる。一方、比較器50による比較の結果、画素信号が低輝度と判定された場合には、制御信号φPFB2がLレベル、スイッチSW2はオフのままであり、増幅回路44のゲインは4倍のまま維持される。
【0053】
列回路42をこのように駆動することで、Sレベル信号を読み出すときの増幅回路44のゲインを、低輝度時は4倍、高輝度時は1倍に設定することができ、SN特性を悪化させることなく読み出しの高速性とダイナミックレンジとを両立することが可能となる。
【0054】
次に、本実施形態による撮像装置の駆動方法について、
図4乃至
図7を用いてより具体的に説明する。
【0055】
図4は、画素アレイ部10の任意の行における画素信号の読み出し動作を示すタイミング図である。
図4には、制御信号φRES,φSEL,φTX,φPVLSEL,φPFB1,φPFB2,φPC0R,φJUDGE_EN、出力線16の電圧Vvl、信号Vcamp-out及び参照信号VRAMPのレベルを示している。
【0056】
時刻t0は、画素アレイ部10の任意の行において読み出し動作を開始するタイミングである。時刻t0よりも前の期間において、対応する行の制御信号φRES及び制御信号φPVLSELはHレベルであり、その他の制御信号φSEL,φTX,φPFB1,φPFB2,φPC0R,φJUDGE_ENはLレベルであるものとする。
【0057】
時刻t0において、垂直走査回路20は、読み出し対象の行の制御信号φSELをLレベルからHレベルへと制御する。これにより、当該行に属する画素12の選択トランジスタM4がオンになり、これら画素12の各々が対応する列の出力線16に画素信号を出力できる状態となる。
【0058】
続く時刻t1において、制御部90は制御信号φPC0RをLレベルからHレベルへと制御する。また、ゲイン切り替え回路48は、制御信号φPFB1,φPFB2をLレベルからHレベルへと制御する。これにより、増幅回路44のスイッチSW1,SW2,SW3がオンになり、容量C0,Cf1,Cf2がリセットされる。
【0059】
続く時刻t2において、垂直走査回路20は、読み出し対象の行の制御信号φRESをHレベルからLレベルへと制御する。これにより、当該行に属する画素12のリセットトランジスタM2がオフになり、これら画素12の浮遊拡散部FDのリセット状態が解除される。これにより、浮遊拡散部FD(浮遊拡散容量Cfd)には、画素12のリセット動作に起因したノイズ成分を含む画素信号基準電圧が保持される。出力線16には、浮遊拡散部FDの画素信号基準電圧に応じた画素信号(Nレベル信号)が出力される。
【0060】
続く時刻t3において、ゲイン切り替え回路48は、制御信号φPFB2をHレベルからLレベルへと制御する。これにより、増幅回路44のスイッチSW2がオフになり、容量Cf2のリセット状態が解除される。スイッチSW2をオフにすると容量Cf2のスイッチSW2側の電位が不安定になるため、読み出し動作中に電位が低下してスイッチSW2が誤ってオンになりゲインが変化しないように、読み出し行毎に時刻t3までの期間に容量Cf2をリセットしておく。
【0061】
続く時刻t4から時刻t5の期間は、比較器50のリセット期間である。時刻t4から時刻t5の間、参照信号生成部52は、参照信号VRAMPを比較器50のオフセット電圧のレベルまで上昇させ、比較器50をリセットする。これにより、比較器50のリセットレベルからオフセット電圧分下げた電圧レベルを、参照信号VRAMPの入力ノードの初期状態として設定することができる。参照信号VRAMPは立ち上がり時の直線性が悪いため、オフセットを設定することにより参照信号VRAMPの直線性が悪いところでAD変換処理が行われるのを避けることができ、AD変換精度を向上することができる。
【0062】
続く時刻t6において、制御部90は、制御信号φPC0RをHレベルからLレベルへと制御する。これにより、増幅回路44のスイッチSW3がオフになり、増幅回路44のリセット状態が解除される。同時に、容量C0には、リセット時の画素信号基準電圧に応じた電荷が保持される。
【0063】
続く時刻t7から時刻t8の期間は、画素信号基準電圧に応じたNレベルの画素信号に対してAD変換を行う期間である。参照信号生成部52は、時刻t7から参照信号VRAMPの信号レベルの増加を開始する。比較器50は、信号Vcamp-outのレベルと参照信号VRAMPのレベルとを比較し、参照信号VRAMPのレベルが信号Vcamp-outのレベルを超えたときに信号COMP_OUTをHレベルからLレベルに反転する。列メモリ54には、カウンタ56から、時刻t7における参照信号VRAMPの増加の開始と同期して計数が開始されるカウント信号CNTが入力されている。Nメモリ54Nは、信号COMP_OUTが反転したタイミングにおいてカウント信号CNTが示すカウント値を、Nレベルの画素信号をAD変換したデジタル値として記憶する。
【0064】
続く時刻t9から時刻t12の期間において、制御部90は、制御信号φPVLSELをHレベルからLレベルへと制御し、増幅回路44のスイッチSW4をオフにする。これにより、増幅回路44が出力線16から切り離され、画素信号を読み出す際の画素回路の駆動によって発生するノイズが増幅回路44に入力されて増幅回路44の出力が変動するのを軽減することができる。
【0065】
時刻t9と時刻t12との間の時刻t10から時刻t11の期間において、垂直走査回路20は、読み出し対象の行の画素12の制御信号φTXをLレベルからHレベルに制御する。これにより、当該行に属する画素12の転送トランジスタM1がオンになり、所定の露光期間の間に光電変換部PDに蓄積された電荷が、浮遊拡散部FDに転送される。浮遊拡散部FDは光電変換部PDから転送された電荷の量に応じた電圧となり、出力線16には浮遊拡散部FDの電圧に応じた画素信号(Sレベル信号)が出力される。
【0066】
時刻t12において制御信号φPVLSELがHレベルとなりスイッチSW4がオンになることで、増幅回路44が出力線16に接続され、増幅回路44における画素信号(Sレベル信号)の増幅動作が開始される。
【0067】
続く時刻t13から時刻t15の期間は、比較器50における画素信号のレベルの判定期間、具体的には、画素信号が低輝度の信号であるのか高輝度の信号であるのかを判定する輝度判定期間である。参照信号生成部52は、時刻t13において参照信号VRAMPの信号レベルの増加を開始し、信号レベルが所定の基準電圧VREFに達した後、そのまま時刻t15まで保持する。基準電圧VREFは、画素信号が低輝度の信号であるのか高輝度の信号であるのかを判定するための基準となる閾値電圧である。参照信号VRAMPの信号レベルが基準電圧VREFに達した後の時刻t14から時刻t15までの期間において、制御部90は、制御信号φJUDGE_ENをLレベルからHレベルに制御する。これにより、比較器50における判定処理が可能な状態となる。
【0068】
時刻t14から時刻t15の期間において、信号Vcamp-outのレベルが基準電圧VREFのレベルを越えている場合、比較器50から出力される信号COMP_OUTのレベルはHレベルとなる。Jメモリ54Jには、高輝度を表す情報として“1”が記憶される(J=1)。一方、時刻t14から時刻t15の期間において、信号Vcamp-outのレベルが基準電圧VREFのレベル以下の場合、比較器50から出力される信号COMP_OUTのレベルは、Lレベルのまま保持される。Jメモリ54Jには、低輝度を表す情報として“0”が記憶される(J=0)。すなわち、比較器50から出力される信号COMP_OUTを判別ラッチパルスとして、対応する情報がJメモリ54Jに記憶される。
【0069】
判別ラッチパルス(信号COMP_OUT)は、制御信号φJUDGE_ENとともに論理ゲート72にも入力される。時刻t14から時刻t15の期間において、信号COMP_OUTがHレベルの場合、論理ゲート72の出力信号である制御信号ATTはHレベルとなる。これにより、制御信号φPFB2はHレベルとなり、スイッチSW2がオン、増幅回路44のゲインは4倍から1倍に切り替わる。これにより、信号Vcamp-outのレベルは1/4に低下する。一方、時刻t14から時刻t15の期間において、信号COMP_OUTがLレベルの場合、論理ゲート72の出力信号である制御信号ATTはLレベルとなる。これにより、制御信号φPFB2はLレベル、スイッチSW2はオフのままとなり、増幅回路44のゲインは4倍のまま維持される。
【0070】
なお、後述する補正精度を向上させるためには、増幅回路44が増幅動作を開始してから輝度判定が終了するまでの期間において信号Vcamp-outが静定し、想定通りに低輝度か高輝度かを判別できていることが望ましい。なお、信号の「静定」とは、完全に電位が変化しない場合のみを指すものではなく、単位時間あたりの電位変化量が所定の値を下回れば過渡応答が生じていても静定とみなすことが可能である。所定の値とは、信号の単位時間あたりの電位変化量の最大値に対して10%の値である。好ましくは5%の値である。撮像装置の動作の高速性を保つためには時刻t15を遅らせることは難しく、実際には増幅回路44の出力の過渡応答期間中に時刻t15のタイミングが設定されることがある。この場合も、「静定」の範囲に含まれる。
【0071】
続く時刻t16から時刻t17の期間は、Sレベルの画素信号に対してAD変換を行う期間である。参照信号生成部52は、時刻t16から参照信号VRAMPの信号レベルの増加を開始する。比較器50は、信号Vcamp-outのレベルと参照信号VRAMPのレベルとを比較し、参照信号VRAMPのレベルが信号Vcamp-outのレベルを超えたときに信号COMP_OUTをHレベルからLレベルに反転する。列メモリ54には、カウンタ56から、時刻t16における参照信号VRAMPの増加の開始と同期して計数が開始されるカウント信号CNTが入力されている。Sメモリ54Sは、信号COMP_OUTが反転したタイミングにおいてカウント信号CNTが示すカウント値を、Sレベルの画素信号をAD変換したデジタル値として記憶する。
【0072】
時刻t17以降の期間において、列メモリ54に記憶されているデジタルデータは、水平走査回路60による制御のもと、列単位で信号処理部70へと転送される。信号処理部70では、列メモリ54から送られるSデータとNデータとの差分を演算し、ノイズ成分を除去した光信号を算出する。Sデータが高輝度出力(J=1)に基づく場合は、SデータとNデータとの差分値を4倍することで、増幅回路44のゲインに応じた4倍の信号に戻してから出力する。
【0073】
しかしながら、実際には増幅回路44のゲインのずれや帰還容量のスイッチングノイズに起因するオフセット成分などにより、高輝度出力を4倍しただけでは低輝度出力との境界部に段差が生じて良好な直線性が得られない。そこで、本実施形態においては、以下のようにして取得した補正値を用い、高輝度出力の画素12と低輝度出力の画素12との境界部における輝度の段差を低減する。
【0074】
次に、本実施形態による撮像装置における画素値の補正方法について、
図5を用いて説明する。
画素値を補正するための補正値の取得は、画像フレーム内で読み出し動作を行わないブランキング期間を使用して実施する。まず、垂直走査回路20により、制御信号φSELをLレベルに制御して選択トランジスタM4をオフにすることにより、画素12を出力線16から切り離す。次いで、出力線制御部30の電圧供給回路34により、画素信号基準電圧に応じた出力線16の電圧Vnよりも電圧ΔVvlaだけ低い電圧(電圧Vnに対する振幅:ΔVvla)を生成し、出力線16に入力する。この状態で、上述した画素信号の読み出し方法と同様にして、増幅回路44のゲインが1倍のときのデジタル値D1と、増幅回路44のゲインが4倍のときのデジタル値D3と、を取得する。また、出力線制御部30の電圧供給回路34により、電圧Vnよりも電圧ΔVvlb(<ΔVvla)だけ低い電圧(電圧Vnに対する振幅:ΔVvlb)を生成し、出力線16に入力する。この状態で、上述した画素信号の読み出し方法と同様にして、増幅回路44のゲインが1倍のときのデジタル値D2と、増幅回路44のゲインが4倍のときのデジタル値D4と、を取得する。出力線16の電圧とデジタル値D1,D2,D3,D4との関係を表すと
図5(a)に示すようになる。
【0075】
このように取得したデジタル値D1,D2,D3,D4は、Sデータ及びNデータと同様に信号処理部70へと転送され、信号処理部70における補正値の算出に用いられる。具体的には、デジタル値D1,D2,D3,D4を用い、以下の式(1)及び式(2)から、補正値α,βを算出する。
4α=(D4-D3)/(D2-D1) …(1)
β=D3-4α×D1 …(2)
【0076】
Sレベルの画素信号が高輝度出力(J=1)の場合、CDS処理後の画素信号のデジタル値DHは、補正値α,βを用い、以下の式(3)を用いて算出することができる。
DH=4α(S-N)+β …(3)
【0077】
式(1)~式(3)は、デジタル値D1,D3を取得するときのゲインをG1、デジタル値D2,D4を取得するときのゲインをG2とすると、以下の式(1)′~式(3)′のように書き換えることができる。
(G2/G1)×α=(D4-D3)/(D2-D1) …(1)′
β=D3-(G2/G1)×α×D1 …(2)′
DH=(G2/G1)×α(S-N)+β …(3)′
【0078】
一方、Sレベルの画素信号が低輝度出力(J=0)の場合、CDS処理後の画素信号のデジタル値DLは、補正値α,βを用いず、以下の式(4)を用いて算出することができる。
DL=S-N …(4)
【0079】
式(3)及び式(4)において、SはSメモリ54Sから読み出されたデジタル値であり、NはNメモリ54Nから読み出されたデジタル値である。
【0080】
このような補正処理を行うことにより、高輝度出力の画素12と低輝度出力の画素12との境界に生じる輝度の段差を抑制し、高品質の画像を取得することが可能となる。
【0081】
デジタル出力値は入射光量に対して直線的に変化するのが理想的であるが、主に増幅回路44が出力特性にある程度の非線形性を有することに起因して、デジタル出力値も入射光量に対して非線形性を有する。そのため、出力線16の電圧とデジタル出力値との関係をグラフに表すと、例えば
図5(b)に実線で示すように、出力線の電圧とデジタル出力値とは点線で示すような直線的な関係とはならない。したがって、補正値を取得する際に電圧ΔVvla及び電圧ΔVvlbの値を変えると、出力線16の電圧とデジタル出力値との間の非線形性に応じて補正値が変化することになる。
【0082】
このような観点から、補正値を取得する際には、ゲインが切り替わる境界における出力線16の電圧を目標点として電圧ΔVvla,ΔVvlbを設定することが望ましい。すなわち、ゲインが切り替わる境界における出力線16の電圧を(Vn-ΔVvlj)として、ΔVvla>ΔVvlj>ΔVvlbとなるように電圧ΔVvla及び電圧ΔVvlbを設定する。このように設定することで、増幅回路44のゲインが切り替わる境界における出力線16の電圧とデジタル出力値との間の直線性を向上することができる。
【0083】
しかしながら、実際に画素信号を読み出すと、増幅回路44の出力応答によっては低輝度と高輝度とが切り替わる境界における出力線16の電圧値が想定した電圧(V-ΔVvlj)から大きくずれる場合がある。そのような場合は補正誤差が大きくなり、低輝度領域と高輝度領域との境界部における信号レベルの段差を小さくすることはできない。また、環境温度や製造時に生じるデバイス特性のばらつき等により、増幅回路44の出力応答レベルを調整することが困難になることもある。
【0084】
そのため、増幅回路44の出力応答レベルは、低輝度と高輝度との境界部における出力線16の電圧値が(Vn-ΔVvlj)に近づくように調整することが望ましい。
【0085】
図6及び
図7は、浮遊拡散部FDへの光信号の転送から列回路42におけるAD変換までの動作を示したタイミング図である。
図6と
図7とは、制御信号φPVLSELをLレベルからHレベルに制御するタイミングが異なっている。前述のように、出力線16における信号電圧の振れ幅(振幅)が大きくなっていくと、輝度判定期間における判定結果が低輝度から高輝度に切り替わる。
図6及び
図7では、低輝度から高輝度に切り替わる直前における振幅値を想定している。ここでは、このときの振幅値を輝度判定境界レベルと呼ぶこととする。
【0086】
まず、
図6のタイミング図で示される参考例による駆動方法について説明する。
時刻t10から時刻t11の期間において、垂直走査回路20は、読み出し対象の行の制御信号φTXをLレベルからHレベルへと制御する。これにより、当該行の画素12の転送トランジスタM1がオンになり、光電変換部PDに蓄積された電荷が浮遊拡散部FDに転送される。光電変換部PDの電荷が浮遊拡散部FDに転送されることにより、浮遊拡散部FDの電位は降下する。しかし実際には、浮遊拡散部FDは、制御信号φTXを供給するための転送信号配線との間の容量結合によるフィードスルーの影響を受け、リセット時の画素信号基準電圧から一時的に上昇する。これに伴い、出力線16の電圧Vvlも電圧Vnから上昇する。
【0087】
時刻t12において、制御部90は、制御信号φPVLSELをLレベルからHレベルへと制御する。これにより、スイッチSW4がオンになり、出力線16と増幅回路44とが接続される。このとき、増幅回路44の出力はリセット時のリセット電圧であるが、出力線16はリセット時の電圧よりも上昇したレベルにある。そのため、出力線16と増幅回路44とが接続されることにより、反転増幅回路である増幅回路44から出力される信号Vcamp-outのレベルは一時的に電圧ΔVa1だけ降下する。増幅回路44から出力される信号Vcamp-outのレベルは、画素12から電荷が浮遊拡散部FDに転送されて出力線16の電位が降下するのに従って上昇していく。しかしながら、一時的に降下していた分だけ信号Vcamp-outの振幅は増加し、整定するまでに時間を要する。
【0088】
時刻t15は、輝度判定期間の終了のタイミングである。出力線16の電圧が輝度判定境界レベルの場合、このタイミングで信号Vcamp-outのレベルが判定レベルの基準電圧VREFに一致する。
【0089】
しかしながら、時刻t12において信号Vcamp-outは電圧ΔVa1だけ降下しているために静定時間が不足し、時刻t15において基準電圧VREFを越えるのに必要な振幅は想定よりも大きくなる。その結果、輝度判定境界レベルΔVvljaは輝度判定境界レベルΔVvljよりも増加することになる。なお、撮像装置の読み出し速度を低下するために、時刻t15を後方にずらして整定時間を確保することは前述のように好ましくない。
【0090】
時刻t16は、Sレベル信号のAD変換期間の開始のタイミングである。輝度判定境界レベルΔVvljaが増加したことにより、信号COMP_OUTが反転するタイミングaは想定よりも後方にずれこむ。また、制御信号φTXから浮遊拡散部FDへのフィードスルーの影響や増幅回路44の応答能力が環境温度やデバイス特性によって変化することで、電圧ΔVa1の大きさは変化する。仮に、電圧ΔVa1が大きくなると、信号Vcamp-outの時間変化の傾きが時刻t15において急峻になることで、時刻t15以降における信号Vcamp-outの変化(振幅ΔVa2)が大きくなる。その結果、タイミングaは更に後方にずれることになる。
【0091】
補正値α,βは、前述のように、出力線16における信号振幅の目標点を理想的な輝度判定境界レベルΔVvljとして取得するため、輝度判定境界レベルΔVvljaが輝度判定境界レベルΔVvljからずれるほどに補正誤差は大きくなる。特に、輝度判定境界レベルΔVvljaが輝度判定境界レベルΔVvljからずれると低輝度と高輝度との境界において補正誤差が段差として現れるため、画質低下が顕著となる。
【0092】
このように、
図6の駆動条件では輝度判定境界レベルΔVvljaは(ΔVvlja≠ΔVvlj)となり、ばらつきを抑制することはできず、輝度境界の画質低下を避けることはできない。
【0093】
次に、
図7のタイミング図で示される本実施形態による駆動方法について説明する。
増幅回路44が受ける電圧ΔVa1の降下の影響を軽減するためには、出力線16の信号レベルがリセット時の信号レベルまで戻ってから出力線16と増幅回路44とを接続すればよい。
【0094】
そこで、
図7のタイミング図では、時刻t11から時刻t12の期間を長くするために、時刻t12のタイミングを後方にずらした時刻t12′のタイミングにおいて、制御信号φPVLSELをLレベルからHレベルへと制御している。
【0095】
具体的には、転送トランジスタM1がオンの期間、及び転送スイッチがオンからオフに遷移した後、画素12の出力部が静定するまでの期間においてスイッチSW4をオフに維持し、その後、スイッチSW4をオンにする。出力部が静定するまでの期間は、制御信号φTXから浮遊拡散部FDへのフィードスルーの影響が緩和されるまでの期間である。或いは、出力部が静定するまでの期間は、出力線16の電位が、電荷を浮遊拡散部FDに転送する前の出力線16の電位よりも低くなるまでの期間ということもできる。
【0096】
時刻t12′において、出力線16の信号レベルは転送信号線の影響による高いレベルの状態から十分に降下しリセット時のレベルよりも低くなっているため、信号Vcamp-outが降下することはない。
【0097】
そのため、輝度判定期間の終了タイミングである時刻t15において、信号Vcamp-outは
図6の場合よりも静定しており、時刻t15以降における信号Vcamp-outの振幅ΔVb2は振幅ΔVa2よりも小さくなる。したがって、輝度判定境界レベルΔVvljbは輝度判定境界レベルΔVvljaよりも低下し、理想的な輝度判定境界レベルΔVvljに近づく。また、時刻t16におけるSレベル信号のAD変換の開始のタイミングcにおいても信号Vcamp-outの変化が急峻にならないため、環境温度やデバイス特性が変化したとしてもタイミングbの位置が大きくずれることはない。
【0098】
したがって、本駆動例によれば、輝度判定境界レベルΔVvljbは補正値α,βの取得時の輝度判定境界レベルΔVvljに近く、また、ばらつきも小さいため補正誤差が小さく抑えられ、輝度境界において良好な直線性を得ることができる。
【0099】
このように、本実施形態によれば、入射光量に応じて画素毎に増幅回路のゲインを切り替える撮像装置において、読み出し速度を低下することなく高品質の画像を取得することができる。
【0100】
[第2実施形態]
本発明の第2実施形態による撮像システムについて、
図8を用いて説明する。
図8は、本実施形態による撮像システムの概略構成を示すブロック図である。
【0101】
上記第1実施形態で述べた撮像装置100は、種々の撮像システムに適用可能である。適用可能な撮像システムの例としては、デジタルスチルカメラ、デジタルカムコーダ、監視カメラ、複写機、ファックス、携帯電話、車載カメラ、観測衛星などが挙げられる。また、レンズなどの光学系と撮像装置とを備えるカメラモジュールも、撮像システムに含まれる。
図8には、これらのうちの一例として、デジタルスチルカメラのブロック図を例示している。
【0102】
図8に例示した撮像システム200は、撮像装置201、被写体の光学像を撮像装置201に結像させるレンズ202、レンズ202を通過する光量を可変にするための絞り204、レンズ202の保護のためのバリア206を有する。レンズ202及び絞り204は、撮像装置201に光を集光する光学系である。撮像装置201は、第1実施形態で説明した撮像装置100であって、レンズ202により結像された光学像を画像データに変換する。
【0103】
撮像システム200は、また、撮像装置201より出力される出力信号の処理を行う信号処理部208を有する。信号処理部208は、撮像装置201が出力するデジタル信号から画像データの生成を行う。また、信号処理部208は必要に応じて各種の補正、圧縮を行って画像データを出力する動作を行う。撮像装置201は、信号処理部208で処理されるデジタル信号を生成するAD変換部を備えうる。AD変換部は、撮像装置201の光電変換部が形成された半導体層(半導体基板)に形成されていてもよいし、撮像装置201の光電変換部が形成された半導体層とは別の半導体基板に形成されていてもよい。また、信号処理部208が撮像装置201と同一の半導体基板に形成されていてもよい。
【0104】
撮像システム200は、更に、画像データを一時的に記憶するためのメモリ部210、外部コンピュータ等と通信するための外部インターフェース部(外部I/F部)212を有する。更に撮像システム200は、撮像データの記録又は読み出しを行うための半導体メモリ等の記録媒体214、記録媒体214に記録又は読み出しを行うための記録媒体制御インターフェース部(記録媒体制御I/F部)216を有する。なお、記録媒体214は、撮像システム200に内蔵されていてもよく、着脱可能であってもよい。
【0105】
更に撮像システム200は、各種演算とデジタルスチルカメラ全体を制御する全体制御・演算部218、撮像装置201と信号処理部208に各種タイミング信号を出力するタイミング発生部220を有する。ここで、タイミング信号などは外部から入力されてもよく、撮像システム200は少なくとも撮像装置201と、撮像装置201から出力された出力信号を処理する信号処理部208とを有すればよい。
【0106】
撮像装置201は、撮像信号を信号処理部208に出力する。信号処理部208は、撮像装置201から出力される撮像信号に対して所定の信号処理を実施し、画像データを出力する。信号処理部208は、撮像信号を用いて、画像を生成する。
【0107】
このように、本実施形態によれば、第1実施形態による撮像装置100を適用した撮像システムを実現することができる。
【0108】
[第3実施形態]
本発明の第3実施形態による撮像システム及び移動体について、
図9を用いて説明する。
図9は、本実施形態による撮像システム及び移動体の構成を示す図である。
【0109】
図9(a)は、車載カメラに関する撮像システムの一例を示したものである。撮像システム300は、撮像装置310を有する。撮像装置310は、上記第1実施形態に記載の撮像装置100である。撮像システム300は、撮像装置310により取得された複数の画像データに対し、画像処理を行う画像処理部312と、
撮像装置310により取得された複数の画像データから視差(視差画像の位相差)の算出を行う視差取得部314を有する。また、撮像システム300は、算出された視差に基づいて対象物までの距離を算出する距離取得部316と、算出された距離に基づいて衝突可能性があるか否かを判定する衝突判定部318と、を有する。ここで、視差取得部314や距離取得部316は、対象物までの距離情報を取得する距離情報取得手段の一例である。すなわち、距離情報とは、視差、デフォーカス量、対象物までの距離等に関する情報である。衝突判定部318はこれらの距離情報のいずれかを用いて、衝突可能性を判定してもよい。距離情報取得手段は、専用に設計されたハードウェアによって実現されてもよいし、ソフトウェアモジュールによって実現されてもよい。また、FPGA(Field Programmable Gate Array)やASIC(Application Specific Integrated circuit)等によって実現されてもよいし、これらの組合せによって実現されてもよい。
【0110】
撮像システム300は車両情報取得装置320と接続されており、車速、ヨーレート、舵角などの車両情報を取得することができる。また、撮像システム300は、衝突判定部318での判定結果に基づいて、車両に対して制動力を発生させる制御信号を出力する制御装置である制御ECU330が接続されている。また、撮像システム300は、衝突判定部318での判定結果に基づいて、ドライバーへ警報を発する警報装置340とも接続されている。例えば、衝突判定部318の判定結果として衝突可能性が高い場合、制御ECU330はブレーキをかける、アクセルを戻す、エンジン出力を抑制するなどして衝突を回避、被害を軽減する車両制御を行う。警報装置340は音等の警報を鳴らす、カーナビゲーションシステムなどの画面に警報情報を表示する、シートベルトやステアリングに振動を与えるなどしてユーザに警告を行う。
【0111】
本実施形態では、車両の周囲、例えば前方又は後方を撮像システム300で撮像する。
図9(b)に、車両前方(撮像範囲350)を撮像する場合の撮像システムを示した。車両情報取得装置320が、撮像システム300ないしは撮像装置310に指示を送る。このような構成により、測距の精度をより向上させることができる。
【0112】
上記では、他の車両と衝突しないように制御する例を説明したが、他の車両に追従して自動運転する制御や、車線からはみ出さないように自動運転する制御などにも適用可能である。更に、撮像システムは、自車両等の車両に限らず、例えば、船舶、航空機あるいは産業用ロボットなどの移動体(移動装置)に適用することができる。加えて、移動体に限らず、高度道路交通システム(ITS)等、広く物体認識を利用する機器に適用することができる。
【0113】
[変形実施形態]
本発明は、上記実施形態に限らず種々の変形が可能である。
例えば、いずれかの実施形態の一部の構成を他の実施形態に追加した例や、他の実施形態の一部の構成と置換した例も、本発明の実施形態である。
【0114】
また、
図2に示した画素12の回路構成は一例であり、適宜変更が可能である。例えば、浮遊拡散部FDとは別に電荷保持部を更に設け、グローバル電子シャッタ動作が可能な画素構成としてもよい。
【0115】
また、上記第1実施形態では、画素信号を増幅する増幅回路44のゲインを1倍又は4倍としたが、増幅回路44のゲインはこれらに限定されるものではない。また、増幅回路44のゲインは必ずしも2種類である必要はなく、例えば、画素信号を低輝度、中輝度、高輝度のように3種類以上で判別し、それぞれに応じたゲインで増幅するように構成してもよい。
【0116】
また、上記第1実施形態では、列メモリ54から信号処理部70へと転送されるデジタル値に対し、補正値α,βを用いて補正処理を行うことにより、高輝度出力の画素12と低輝度出力の画素12との境界に生じる輝度の段差を効果的に抑制している。しかしながら、転送トランジスタM1とスイッチSW4の動作タイミングを上述のように設定することにも、高輝度出力の画素12と低輝度出力の画素12との境界に生じる輝度の段差を低減する効果は少なからずある。したがって、補正値α,βを用いた補正処理は、必ずしも行う必要はない。
【0117】
また、信号処理部70の機能は、必ずしも撮像装置100が備えている必要はなく、撮像装置100の外部において実施するように構成してもよい。例えば、第2実施形態の撮像システム200においては、信号処理部70が有する機能の少なくとも一部を信号処理部208が備えていてもよい。また、増幅回路44が輝度判定回路を備えていてもよい。何れの形態にも、上述した実施形態において説明した効果と同様の効果を実現することができる。
【0118】
また、上記第1実施形態では、画像の取得を目的とした装置、すなわち撮像装置を例示したが、本発明の適用例は必ずしも撮像装置に限定されるものではない。例えば、上記第3実施形態で説明したような測距を主たる目的とする装置に適用する場合にあっては、必ずしも画像を出力する必要はない。このような場合、当該装置は、光情報を所定の電気信号に変換する光電変換装置と言うことができる。撮像装置は、光電変換装置の1つである。
【0119】
また、上記第2又は第3実施形態に示した撮像システムは、本発明の光電変換装置を適用しうる撮像システム例を示したものであり、本発明の光電変換装置を適用可能な撮像システムは
図8及び
図9に示した構成に限定されるものではない。
【0120】
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
【0121】
なお、上記実施形態は、いずれも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。
【符号の説明】
【0122】
10…画素アレイ部
12…画素
20…垂直走査回路
30…出力線制御部
34…電圧供給回路
40…読み出し回路部
42…列回路
44…増幅回路
48…ゲイン切り替え回路
50…比較器
70…信号処理部
100…撮像装置
200,300…撮像システム