IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ パナソニックセミコンダクターソリューションズ株式会社の特許一覧

<>
  • 特許-撮像装置及びバラつき情報算出方法 図1
  • 特許-撮像装置及びバラつき情報算出方法 図2
  • 特許-撮像装置及びバラつき情報算出方法 図3
  • 特許-撮像装置及びバラつき情報算出方法 図4
  • 特許-撮像装置及びバラつき情報算出方法 図5
  • 特許-撮像装置及びバラつき情報算出方法 図6
  • 特許-撮像装置及びバラつき情報算出方法 図7
  • 特許-撮像装置及びバラつき情報算出方法 図8
  • 特許-撮像装置及びバラつき情報算出方法 図9
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-04-24
(45)【発行日】2024-05-07
(54)【発明の名称】撮像装置及びバラつき情報算出方法
(51)【国際特許分類】
   G01S 7/486 20200101AFI20240425BHJP
   G01S 17/894 20200101ALI20240425BHJP
【FI】
G01S7/486
G01S17/894
【請求項の数】 6
(21)【出願番号】P 2021511316
(86)(22)【出願日】2020-03-10
(86)【国際出願番号】 JP2020010163
(87)【国際公開番号】W WO2020203081
(87)【国際公開日】2020-10-08
【審査請求日】2023-03-08
(31)【優先権主張番号】62/826,715
(32)【優先日】2019-03-29
(33)【優先権主張国・地域又は機関】US
(73)【特許権者】
【識別番号】520133916
【氏名又は名称】ヌヴォトンテクノロジージャパン株式会社
(74)【代理人】
【識別番号】100109210
【弁理士】
【氏名又は名称】新居 広守
(74)【代理人】
【識別番号】100137235
【弁理士】
【氏名又は名称】寺谷 英作
(74)【代理人】
【識別番号】100131417
【弁理士】
【氏名又は名称】道坂 伸一
(72)【発明者】
【氏名】森 圭一
(72)【発明者】
【氏名】小川 真由
【審査官】渡辺 慶人
(56)【参考文献】
【文献】特開2008-268023(JP,A)
【文献】国際公開第2015/045588(WO,A1)
【文献】特開2019-028013(JP,A)
【文献】中国特許出願公開第109313264(CN,A)
【文献】独国特許出願公開第102014209338(DE,A1)
(58)【調査した分野】(Int.Cl.,DB名)
G01S 7/48 - 7/51
17/00 - 17/95
G01B 11/00 - 11/30
G01C 3/00 - 3/32
(57)【特許請求の範囲】
【請求項1】
被写体に対して複数のパルス状の光を照射する発光部と、
受光した光を信号電荷に変換する複数の画素部、前記画素部の信号電荷蓄積を制御する露光制御部、及び、前記被写体までの距離を示す距離情報を算出する信号処理部を有する固体撮像装置と、を備え、
前記露光制御部は、ひとつのフレーム内で前記画素部を、前記パルス状の光の発光する時間に対して複数の異なる時間位相で前記信号電荷を蓄積させ、
前記信号処理部は、前記画素部で生成された複数の異なる時間位相で蓄積された前記信号電荷に係る各信号に、前記被写体までの距離に依存して変わる係数を乗じて演算してTOF(Time Of Flight)方式により前記画素部に投影される前記被写体の距離情報を算出し、
前記複数の異なる時間位相で蓄積された前記信号電荷に係る各信号と前記距離情報の算出で前記信号電荷に係る信号に適用された係数を用いて、前記画素部の前記距離情報により示される距離に係るバラつき量を示すバラつき情報を算出し、
前記固体撮像装置は前記距離情報と前記距離に係るバラつき量を示すバラつき情報とを出力する
撮像装置。
【請求項2】
前記信号処理部は、前記複数の異なる時間位相で蓄積された前記信号電荷の相互の大小関係に応じて距離情報の算出に用いる前記信号電荷に係る各信号に適用する係数を切り替える機構を備える
請求項1に記載の撮像装置。
【請求項3】
被写体に対して複数のパルス状の光を照射する発光部と、
受光した光を信号電荷に変換する複数の画素部、前記画素部の信号電荷蓄積を制御する露光制御部、及び、前記被写体までの距離を示す距離情報を算出する信号処理部を有する固体撮像装置と、を備え、
前記露光制御部は、ひとつのフレーム内で前記画素部を、前記パルス状の光の発光する時間に対して複数の異なる時間位相で前記信号電荷を蓄積させ、
前記信号処理部は、前記画素部で生成された複数の異なる時間位相で蓄積された前記信号電荷に係る各信号からTOF(Time Of Flight)方式により前記画素部に投影される前記被写体の距離情報を算出するとともに、
前記複数の異なる時間位相で蓄積された前記信号電荷に係る各信号に、前記被写体までの距離に依存して変わる係数を乗じて演算して前記発光部から照射された光に起因した受光量を示す発光成分受光量の情報を算出し、
前記複数の異なる時間位相で蓄積された前記信号電荷に係る各信号と前記発光成分受光量の算出で前記信号電荷に係る信号に適用された係数を用いて、前記画素部の前記発光成分受光量の情報により示される受光量に係るバラつき量を示すバラつき情報を算出し、
前記固体撮像装置は前記発光成分受光量の情報と前記受光量に係るバラつき量を示すバラつき情報とを出力する
撮像装置。
【請求項4】
前記信号処理部は、前記複数の異なる時間位相で蓄積された前記信号電荷の相互の大小関係に応じて発光成分受光量の情報の算出に用いる前記信号電荷に係る各信号に適用する係数を切り替える機構を備える
請求項3に記載の撮像装置。
【請求項5】
被写体に対して複数のパルス状の光を照射する発光部と、受光した光を信号電荷に変換する複数の画素部、前記画素部の信号電荷蓄積を制御する露光制御部、及び、前記被写体までの距離を示す距離情報を算出する信号処理部を有する固体撮像装置と、を備える撮像装置が行うバラつき情報算出方法であって、
前記露光制御部が、ひとつのフレーム内で前記画素部を、前記パルス状の光の発光する時間に対して複数の異なる時間位相で前記信号電荷を蓄積させる第1ステップと、
前記信号処理部が、前記画素部で生成された複数の異なる時間位相で蓄積された前記信号電荷に係る各信号に、前記被写体までの距離に依存して変わる係数を乗じて演算してTOF(Time Of Flight)方式により前記画素部に投影される前記被写体の距離情報を算出する第2ステップと、
前記信号処理部が、前記複数の異なる時間位相で蓄積された前記信号電荷に係る各信号と前記距離情報の算出で前記信号電荷に係る信号に適用された係数を用いて、前記画素部の前記距離情報により示される距離に係るバラつき量を示すバラつき情報を算出する第3ステップと、
前記固体撮像装置が、前記距離情報と前記距離に係るバラつき量を示すバラつき情報とを出力する第4ステップとを含む
バラつき情報算出方法。
【請求項6】
被写体に対して複数のパルス状の光を照射する発光部と、受光した光を信号電荷に変換する複数の画素部、前記画素部の信号電荷蓄積を制御する露光制御部、及び、前記被写体までの距離を示す距離情報を算出する信号処理部を有する固体撮像装置と、を備える撮像装置が行うバラつき情報算出方法であって、
前記露光制御部が、ひとつのフレーム内で前記画素部を、前記パルス状の光の発光する時間に対して複数の異なる時間位相で前記信号電荷を蓄積させる第1ステップと、
前記信号処理部が、前記画素部で生成された複数の異なる時間位相で蓄積された前記信号電荷に係る各信号からTOF(Time Of Flight)方式により前記画素部に投影される前記被写体の距離情報を算出するとともに、前記複数の異なる時間位相で蓄積された前記信号電荷に係る各信号に、前記被写体までの距離に依存して変わる係数を乗じて演算して前記発光部から照射された光に起因した受光量を示す発光成分受光量の情報を算出する第2ステップと、
前記信号処理部が、前記複数の異なる時間位相で蓄積された前記信号電荷に係る各信号と前記発光成分受光量の算出で前記信号電荷に係る信号に適用された係数を用いて、前記画素部の前記発光成分受光量の情報により示される受光量に係るバラつき量を示すバラつき情報を算出する第3ステップと、
前記固体撮像装置が、前記発光成分受光量の情報と前記受光量に係るバラつき量を示すバラつき情報とを出力する第4ステップとを含む
バラつき情報算出方法。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、被写体の距離情報を取得する撮像装置に関する。
【背景技術】
【0002】
従来、TOF(Time Of Flight)方式を利用して測距を行い、被写体までの距離を示す距離情報を算出する撮像装置が知られている(例えば、特許文献1参照)。
【先行技術文献】
【特許文献】
【0003】
【文献】特開2018-136123号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
算出する距離情報により示される距離を用いて行われる処理の中には、その距離の信頼度を判別することができれば、より適切な結果を得ることができる処理(例えば、距離マップに対して行われるフィルタ処理等)がある。
【0005】
そこで、本開示は、算出する距離情報により示される距離の信頼度の判別が可能となる撮像装置等を提供することを目的とする。
【課題を解決するための手段】
【0006】
本開示の一態様に係る撮像装置は、被写体に対して光を照射する発光部と、受光した光を信号電荷に変換する複数の画素部、及び、前記被写体までの距離を示す距離情報を算出する信号処理部を有する固体撮像装置と、を備え、前記信号処理部は、前記複数の画素部の少なくとも一部が前記発光部より照射された光の前記被写体による反射光を受光した場合に、前記複数の画素部により変換された複数の前記信号電荷を用いて行うTOF(Time Of Flight)方式により、前記複数の画素部のそれぞれについて前記距離情報を算出し、前記複数の画素部のうちの少なくとも一部の1以上の画素部について、前記距離情報により示される距離に係るバラつき量を示すバラつき情報を算出する。
【0007】
本開示の一態様に係るバラつき情報算出方法は、被写体に対して光を照射する発光部と、受光した光を信号電荷に変換する複数の画素部、及び、前記被写体までの距離を示す距離情報を算出する信号処理部を有する固体撮像装置と、を備える撮像装置が行うバラつき情報算出方法であって、前記信号処理部が、前記複数の画素部の少なくとも一部が前記発光部より照射された光の前記被写体による反射光を受光した場合に、前記複数の画素部により変換された複数の前記信号電荷を用いて行うTOF方式により、前記複数の画素部のそれぞれについて前記距離情報を算出する第1ステップと、前記信号処理部が、前記複数の画素部の少なくとも一部が前記反射光を受光した場合に、前記複数の画素部のうちの少なくとも一部の1以上の画素部について、前記距離情報に関連したバラつき量を示すバラつき情報を算出する第2ステップと、を含む。
【発明の効果】
【0008】
算出する距離情報により示される距離の信頼度の判別が可能となる撮像装置等が提供される。
【図面の簡単な説明】
【0009】
図1図1は、実施の形態1に係る撮像装置の構成例を示すブロック図である。
図2図2は、実施の形態1に係る信号処理部の構成例を示すブロック図である。
図3図3は、実施の形態1に係る撮像部の構成例を示すブロック図である。
図4図4は、実施の形態1に係る画素部の構成例を示すブロック図である。
図5図5は、実施の形態1に係る第1の露光シーケンスに係るタイミングチャートである。
図6図6は、実施の形態1に係る第1の露光シーケンスに係るタイミングチャートである。
図7図7は、実施の形態1に係る第2の露光シーケンスに係るタイミングチャートである。
図8図8は、実施の形態2に係る撮像装置の構成例を示すブロック図である。
図9図9は、実施の形態2に係る信号処理部の構成例を示すブロック図である。
【発明を実施するための形態】
【0010】
本開示の一態様に係る撮像装置は、被写体に対して光を照射する発光部と、受光した光を信号電荷に変換する複数の画素部、及び、前記被写体までの距離を示す距離情報を算出する信号処理部を有する固体撮像装置と、を備え、前記信号処理部は、前記複数の画素部の少なくとも一部が前記発光部より照射された光の前記被写体による反射光を受光した場合に、前記複数の画素部により変換された複数の前記信号電荷を用いて行うTOF(Time Of Flight)方式により、前記複数の画素部のそれぞれについて前記距離情報を算出し、前記複数の画素部のうちの少なくとも一部の1以上の画素部について、前記距離情報により示される距離に係るバラつき量を示すバラつき情報を算出する。
【0011】
上記構成の撮像装置によると、算出する距離情報により示される距離に係るバラつき量を示すバラつき情報が算出される。このバラつき情報を利用することで、距離情報により示される距離の信頼度の判別が可能となる。このように、上記構成の撮像装置によると、算出する距離情報により示される距離の信頼度の判別が可能となる。
【0012】
また、前記複数の画素部は、行列状に配置された画素アレイを構成し、前記信号処理部は、前記複数の画素部のそれぞれについて前記バラつき情報を算出するとしてもよい。
【0013】
また、前記バラつき情報は、前記距離情報により示される前記被写体までの距離の標準偏差を示すとしてもよい。
【0014】
また、前記信号処理部は、前記複数の画素部のそれぞれについて、当該画素の信号電荷の内の前記反射光の受光成分を示す発光成分受光量を算出し、当該発光成分受光量に基づいて、当該画素部の距離情報を算出し、前記バラつき情報は、前記発光成分受光量の標準偏差を示すとしてもよい。
【0015】
また、前記発光部は、前記光としてパルス状の光を照射し、前記信号処理部は、前記複数の画素部のそれぞれについて、当該画素部が、前記パルス状の光の照射が停止するまでに開始される第1の期間に受光した光と、前記第1の期間に続く期間であって、前記第1の期間の開始と当該期間の終了との時間間隔が、前記パルス状の光の照射期間よりも長くなる第2の期間に受光した光とを変換した第1の信号電荷と、当該画素部が、前記第2の期間に受光した光を変換した第2の信号電荷と、に基づいて、当該画素の前記距離情報を算出するとしてもよい。
【0016】
本開示の一態様に係るバラつき情報算出方法は、被写体に対して光を照射する発光部と、受光した光を信号電荷に変換する複数の画素部、及び、前記被写体までの距離を示す距離情報を算出する信号処理部を有する固体撮像装置と、を備える撮像装置が行うバラつき情報算出方法であって、前記信号処理部が、前記複数の画素部の少なくとも一部が前記発光部より照射された光の前記被写体による反射光を受光した場合に、前記複数の画素部により変換された複数の前記信号電荷を用いて行うTOF方式により、前記複数の画素部のそれぞれについて前記距離情報を算出する第1ステップと、前記信号処理部が、前記複数の画素部の少なくとも一部が前記反射光を受光した場合に、前記複数の画素部のうちの少なくとも一部の1以上の画素部について、前記距離情報に関連したバラつき量を示すバラつき情報を算出する第2ステップと、を含む。
【0017】
上記構成のバラつき情報算出方法によると、算出する距離情報により示される距離に係るバラつき量を示すバラつき情報が算出される。このバラつき情報を利用することで、距離情報により示される距離の信頼度の判別が可能となる。このように、上記構成のバラつき情報算出方法によると、算出する距離情報により示される距離の信頼度の判別が可能となる。
【0018】
以下、本開示の一態様に係る撮像装置の具体例について、図面を参照しながら説明する。ここで示す実施の形態は、いずれも本開示の一具体例を示すものである。従って、以下の実施の形態で示される数値、形状、構成要素、構成要素の配置及び接続形態等は、一例であって本開示を限定するものではない。また、各図は、模式図であり、必ずしも厳密に図示されたものではない。
【0019】
(実施の形態1)
以下、実施の形態1に係る撮像装置について説明する。この撮像装置は、被写体まで光が往復する飛行時間を利用して測距を行うTOF方式により測距を行う。この撮像装置は、被写体までの測距を行うため、測距撮像装置と呼ばれることもある。
【0020】
図1は、実施の形態1に係る撮像装置1の構成例を示すブロック図である。
【0021】
図1に示すように、撮像装置1は、固体撮像装置2と、制御部3と、発光部4とを備える。
【0022】
制御部3は、被写体への光の照射を指示する発光信号と、当該被写体からの反射光及び太陽光等に起因する背景光の露光を指示する露光信号とを出力する。制御部3は、例えば、メモリと、メモリに記憶されるプログラムを実行するプロセッサによって実現される。
【0023】
発光部4は、発光素子を有し、制御部3から出力される発光の信号に従って、被写体に対して光を照射する。発光素子は、例えば、レーザダイオード、垂直共振器面発光レーザ(VCSEL:Vertical Cavity Surface Emitting LASER)、発光ダイオード(LED:Light Emitting Diode)等により実現される。照射光は、例えば、赤外光である。
【0024】
固体撮像装置2は、撮像部10と、信号処理部20とを有する。固体撮像装置2は、例えば、CMOSイメージセンサにより実現される。
【0025】
撮像部10は、受光した光を信号電荷に変換する複数の画素部100(図1には図示されず。後述する図3図4において図示される。)がアレイ状に配置されて構成される画素アレイ30を有する。
【0026】
画素アレイ30は、発光部4から照射された光の、被写体による反射光を受光する。また、画素アレイ30は、太陽光等に起因する背景光も受光する。画素アレイ30は、制御部3から出力される露光信号に従って露光する。
【0027】
撮像部10は、画素アレイ30が露光すると、画素アレイ30を構成する複数の画素部100のそれぞれに対応する複数の画素信号を出力する。
【0028】
図2は、信号処理部20の構成例を示すブロック図である。
【0029】
図2に示すように、信号処理部20は、係数決定部201と、距離算出部202と、距離バラつき算出部203とを含んで構成される。信号処理部20は、例えば、ロジック回路により実現される。又は、例えば、メモリと、メモリに記憶されるプログラムを実行するプロセッサによって実現される。
【0030】
係数決定部201は、撮像部10から出力される複数の画素信号に乗ずる係数を決定する。係数決定部201が行う係数の決定については後述する。
【0031】
距離算出部202は、撮像部10から出力される複数の画素信号と、係数決定部201により決定された係数とから、複数の画素部それぞれについての被写体までの距離を示す距離信号を算出する。距離算出部202が行う距離信号の算出については後述する。
【0032】
距離バラつき算出部203は、撮像部10から出力される複数の画素信号と、係数決定部201により決定された係数とから、距離信号により示される距離のバラつき量を示す距離バラつき信号を算出する。距離バラつき算出部203が行う距離バラつき信号の算出については後述する。
【0033】
図3は、撮像部10の構成例を示すブロック図である。
【0034】
図3に示すように、撮像部10は、画素アレイ30と、画素アレイ制御部11と、垂直走査部12と、列処理部13と、水平走査部14と、出力バッファ15とを備える。
【0035】
画素アレイ30は、行列状に配置された複数の画素部100と、列毎に配置された複数の垂直信号線16とを含んで構成される。
【0036】
画素アレイ30には、列方向に並ぶ画素部100に含まれる転送チャネル104(後述)が列方向に直線状に連結されることで、列毎に転送チャネル17が形成される。
【0037】
図4は、画素部100の構成例を示す模式図である。
【0038】
図4に示すように、画素部100は、光電変換部101と、複数の電荷蓄積部102(一例として、第1の電荷蓄積部102a、第2の電荷蓄積部102b、第3の電荷蓄積部102c)と、複数の読み出しゲート106(一例として、第1の読み出しゲート106a、第2の読み出しゲート106b、第3の読み出しゲート106c)と、出力制御ゲート113と、浮遊拡散層114と、リセットゲート115と、リセットドレイン116と、読み出し回路117と、複数の露光制御ゲート108(一例として、露光制御ゲート108a、露光制御ゲート108b)と、複数のオーバーフロードレイン109(一例として、オーバーフロードレイン109a、オーバーフロードレイン109b)とを備える。
【0039】
光電変換部101は、受光した光を信号電荷に変換する。
【0040】
読み出しゲート106は、光電変換部101から信号電荷を読み出す。
【0041】
電荷蓄積部102は、読み出しゲート106から読み出される信号電荷を蓄積する。電荷蓄積部102は、ゲート絶縁膜下の、信号電荷を転送するための転送チャネル104(CCDチャネル104)と、ゲート絶縁膜上の転送電極105(一例として、転送電極105a、転送電極105b、転送電極105c、転送電極105d、転送電極105e、転送電極105fのいずれか)で構成される。すなわち、電荷蓄積部102は、図4に示されるように、転送チャネル104の一部と、半導体基板の平面視において転送チャネル104の一部に重なる、転送電極105の一部とを含む。また、図4に示されるように、転送チャネル104は、1つの画素部100当たり1本である。前述したように、画素アレイ30において、列方向に並ぶ各画素部100の転送チャネル104は、列方向に直線状に連結される。これにより、画素アレイ30には、列毎に転送チャネル17が形成される。
【0042】
本実施の形態では、転送電極105a、転送電極105b、転送電極105c、転送電極105d、転送電極105e、転送電極105fに印加される電圧を、それぞれ、VG1、VG2、VG3、VG4、VG5、VG6とする。
【0043】
第1の電荷蓄積部102aと第2の電荷蓄積部102bと第3の電荷蓄積部102cとは、6相駆動を行う。
【0044】
第1の電荷蓄積部102aと第2の電荷蓄積部102bと第3の電荷蓄積部102cとは、画素アレイ制御部11からHigh電圧となるVG1とVG3とVG5とが印加されると、それぞれ、第1の読み出しゲート106aと第2の読み出しゲート106bと第3の読み出しゲート106cとに隣接して、転送電極105の深さ方向で下(ここでは、転送電極105aと転送電極105cと転送電極105eとの深さ方向で下)に形成される。
【0045】
オーバーフロードレイン109は、光電変換部101から、信号電荷を排出する。
【0046】
露光制御ゲート108は、オーバーフロードレイン109への上記排出を制御する。
【0047】
浮遊拡散層114は、複数の電荷蓄積部102(ここでは、第1の電荷蓄積部102a、第2の電荷蓄積部102b、第3の電荷蓄積部102c)のうちの1つから、その電荷蓄積部102に蓄積される信号電荷の転送を受けて保持する。
【0048】
出力制御ゲート113は、浮遊拡散層114への転送制御を行う。
【0049】
読み出し回路117は、浮遊拡散層114に保持される信号電荷を電圧に変換して、画素部100から垂直信号線16へ読み出す。例えば、読み出し回路117は、浮遊拡散層114にゲートが接続されるソースフォロアトランジスタと、ソースフォロアトランジスタに直列接続される選択トランジスタとを含んで構成される。例えば、選択トランジスタによって読み出し回路117が選択されることで、浮遊拡散層114に保持される信号電荷は、その読み出し回路117により、電圧信号へ変換されて垂直信号線16へ読み出される。
【0050】
露光制御ゲート108a及び露光制御ゲート108bにはそれぞれ駆動パルスODGが、第1の読み出しゲート106a、第2の読み出しゲート106b、及び、第3の読み出しゲート106cにはそれぞれ駆動パルスTG1、TG2、及び、TG3が、転送電極105a~105fにはそれぞれ駆動パルスVG1~VG6が、画素アレイ制御部11から印加される。露光時にはVG1とVG3とVG5とにHigh電圧が印加され、他電極にLow電圧が印加されることでHigh電圧を印加した転送電極105下に電荷蓄積が可能となる。すなわち、High電圧が印加された転送電極105(ここでは、転送電極105a、転送電極105c、転送電極105e)と、その下に重なる転送チャネル104とによって、電荷蓄積部102(ここでは、第1の電荷蓄積部102a、第2の電荷蓄積部102b、第3の電荷蓄積部102c)が形成される。
【0051】
初期状態として、ODGはHigh状態であり、光電変換部101はリセット状態にある。また、第1の読み出しゲート106aと第2の読み出しゲート106bと第3の読み出しゲート106cとはLow状態(非活性化された状態)であり、転送電極105a、転送電極105c、転送電極105eがHigh状態(活性化された状態)に保持されている第1の電荷蓄積部102a、第2の電荷蓄積部102b、及び第3の電荷蓄積部102cと、光電変換部101とは電気的に遮断されている。この状態において光電変換部101で生成した信号電荷は露光制御ゲート108を介してオーバーフロードレイン109へ排出される。
【0052】
再び図3に戻って、撮像部10の構成についての説明を続ける。
【0053】
画素アレイ制御部11は、制御部3から出力される露光信号に基づいて、画素アレイ30を構成する複数の画素部100を制御する。
【0054】
垂直走査部12は、画素アレイ30を構成する複数の画素部100から読み出される信号電荷を行単位で走査する、つまり、1ずつ順に選択して、列毎に配置された複数の垂直信号線16に出力する。
【0055】
列処理部13は、複数の垂直信号線16に出力された信号電荷を受信し、相関二重サンプリング(CDS:correlated double sampling)を実施して画素信号として出力する。
【0056】
水平走査部14は、列処理部13から出力される画素信号を走査する、つまり、1つずつ順に選択して出力する。列処理部13は、複数の垂直信号線16の列毎にデジタル信号に変換するA/D変換回路を有する場合もある。
【0057】
出力バッファ15は、水平走査部14から受けた画素信号を出力する。
【0058】
上記構成の画素部100は、ひとつの距離信号を算出するために必要となる信号を出力する単位ユニットである。
【0059】
以下、上記構成の撮像装置1が行う動作について図面を参照しながら説明する。
【0060】
図5図6は、第1の露光シーケンスにおける、発光部4の発光タイミングと、画素部100の露光および信号蓄積タイミングと、第1の読み出しゲート106a、第2の読み出しゲート106b、及び第3の読み出しゲート106cそれぞれを介して電荷蓄積部102へ蓄積される信号電荷の露光状態とを示すタイミングチャートである。
【0061】
第1の露光シーケンスは、制御部3でタイミング制御される発光部4のパルス状の光の照射開始から照射終了までの時間Tpと同期する第1の露光期間と、パルス状の光の照射終了から時間Tp経過するまでの期間である第2の露光期間と、第2の露光期間の終了から時間Tp経過するまでの期間である第3の露光期間とで構成される。
【0062】
第1の露光シーケンスが開始されると、制御部3の指示により、発光部4から、時間Tpの間隔のパルス状の光が照射される。照射されたパルス状の光の被写体による反射光は、撮像装置1からの距離に応じた時間Tdの遅延の後に、画素部100に到達し、光電変換部101において信号電荷に変換される。
【0063】
図5は、パルス状の反射光が、第1の露光期間と第2の露光期間とにまたがって、光電変換部101により受光されるケース1の場合、すなわち、被写体が比較的近くに存在する場合のタイミングチャートである。図6は、パルス状の反射光が、第2の露光期間と第3の露光期間とにまたがって、光電変換部101により受光されるケース2の場合、すなわち、被写体が比較的遠くに存在する場合のタイミングチャートである。
【0064】
制御部3の指示により、画素アレイ制御部11は、第1の露光期間が開始される時刻t11に同期してODGをHigh状態からLow状態へ遷移させ、並行して、第1の読み出しゲート106aと第2の読み出しゲート106bと第3の読み出しゲート106cとを全て、Low状態(非活性化された状態)からHigh状態(活性化された状態)に遷移させる。
【0065】
画素アレイ制御部11の当該動作により、光電変換部101からオーバーフロードレイン109への信号電荷の排出が停止されると共に、発光部4から照射されたパルス状の光の反射光のうち、第1の露光期間中に光電変換部101に到達した光の受光と、第1の露光期間中に到達した当該反射光以外の背景光の受光とによって光電変換部101で発生した信号電荷が、第1の読み出しゲート106aを介して第1の電荷蓄積部102aへ蓄積され、第2の読み出しゲート106bを介して第2の電荷蓄積部102bに蓄積され、第3の読み出しゲート106cを介して第3の電荷蓄積部102cに蓄積される。これにより、第1の電荷蓄積部102aと第2の電荷蓄積部102bと第3の電荷蓄積部102cとには、それぞれ、光電変換部101で発生した信号電荷がおおよそ1/3に分配されて蓄積される。
【0066】
次に、第2の露光期間では、制御部3の指示により、画素アレイ制御部11は、開始タイミングの時刻t12に、第1の読み出しゲート106aをHigh状態(活性化された状態)からLow状態(非活性化された状態)に遷移させる。これにより、第1の電荷蓄積部102aへの信号電荷の蓄積が停止される。
【0067】
画素アレイ制御部11の当該動作により、第2の露光期間中に光電変換部101に到達した反射光の受光と、第2の露光期間中に到達した背景光の受光とによって光電変換部101で発生した信号電荷が、第2の読み出しゲート106bを介して第2の電荷蓄積部102bに蓄積され、第3の読み出しゲート106cを介して第3の電荷蓄積部102cに蓄積される。これにより、第2の電荷蓄積部102bと第3の電荷蓄積部102cとには、それぞれ、光電変換部101で発生した信号電荷がおおよそ半分に分配されて蓄積される。
【0068】
次に、第3の露光期間では、制御部3の指示により、画素アレイ制御部11は、開始タイミングの時刻t13に、第2の読み出しゲート106bをHigh状態(活性化された状態)からLow状態(非活性化された状態)に遷移させる。これにより、第2の電荷蓄積部102bへの信号電荷の蓄積が停止される。
【0069】
画素アレイ制御部11の当該動作により、第3の露光期間中に光電変換部101に到達した反射光の受光と、第3の露光期間中に到達した背景光の受光とによって光電変換部101で発生した信号電荷が、全て第3の読み出しゲート106cを介して第3の電荷蓄積部102cに蓄積される。
【0070】
第3の露光期間終了の時刻t14時点で、制御部3の指示により、画素アレイ制御部11は、第3の読み出しゲート106cをHigh状態(活性化された状態)からLow状態(非活性化された状態)へと遷移させることで、第3の電荷蓄積部102cへの信号電荷の蓄積を停止すると共に、ODGをLow状態からHigh状態へと遷移させることで、露光制御ゲート108を導通状態とさせる。これにより、光電変換部101はリセット状態に復帰する。
【0071】
以下、第1の露光シーケンスの終了時点において、第1の読み出しゲート106aを介して第1の電荷蓄積部102aに蓄積された信号電荷をP0とし、第2の読み出しゲート106bを介して第2の電荷蓄積部102bに蓄積された信号電荷をP1とし、第3の読み出しゲート106cを介して第3の電荷蓄積部102cに蓄積された信号電荷をP2とする。
【0072】
信号電荷P0と、信号電荷P1と、信号電荷P2とは、信号電荷の読み出し動作により、各画素部100からラスタースキャン順で、それぞれ、画素信号P0と、画素信号P1と、画素信号P2として信号処理部20へ出力され、信号処理部20で保持される。
【0073】
以下、信号電荷の読み出し動作について説明する。ここでは、信号電荷P0を読み出す場合を例として説明するが、他の信号電荷についても同様である。
【0074】
制御部3の指示により、画素アレイ制御部11は、全ての画素部100に対して、第1の電荷蓄積部102aに保持されている信号電荷P0を、転送電極105a~105fに印加されるVG1~VG6の6相駆動パルス印加に伴う電荷転送により、VG6が印加される転送電極105fの下へ移動させる。
【0075】
画素アレイ制御部11の指示により、垂直走査部12は、所定の1行の画素部100に対して、出力制御ゲート113を非活性化された状態でリセットゲート115を活性化させて浮遊拡散層114に残存する不要電荷をリセットドレイン116へ排出した後に、読み出し回路117を活性化させて無信号電圧出力を垂直信号線16へ出力させる。
【0076】
垂直走査部12の指示により、列処理部13は、各列の垂直信号線16へ出力された無信号電圧を保持する。
【0077】
次に、垂直走査部12は、同行の画素部100に対して、出力制御ゲート113を非活性化された状態でリセットゲート115を活性化させて浮遊拡散層114に残存する不要電荷をリセットドレイン116へ排出した後に、出力制御ゲート113を活性化させることで転送電極105f下に保持されていた信号電荷P0を浮遊拡散層114へ転送させた後に、読み出し回路117を活性化させて信号電荷P0の信号電圧出力を垂直信号線16へ出力させる。
【0078】
垂直走査部12の指示により、列処理部13は、各列の先に保持した無信号電圧と、信号電荷P0の信号電圧とから相関二重サンプリングを実施して、各列の画素信号P0を水平走査部14へ出力保持する。
【0079】
垂直走査部12の指示により、水平走査部14は、列処理部13から出力保持される一行分の画素信号P0群を順次走査することで、所定の行の画素部100に対応する画素信号P0を水平方向に順次に選択して出力バッファ15を介して信号処理部20に出力する。
【0080】
垂直走査部12は、上述の無信号電圧の出力制御から水平走査部14による一行分の画素信号P0の出力制御までの一連の動作を各行毎に逐次実施し、各画素部100に対応する全ての画素信号P0を、出力バッファ15を介して撮像部10からラスタースキャンで出力させる。
【0081】
図7は、第2の露光シーケンスにおける、画素部100の露光および信号蓄積タイミングと、第1の読み出しゲート106a、第2の読み出しゲート106b、及び第3の読み出しゲート106cそれぞれを介して電荷蓄積部102へ蓄積される信号電荷の露光状態とを示すタイミングチャートである。
【0082】
第2の露光シーケンスは、第1の露光シーケンスにおける、発光部4のパルス状の光の照射開始から照射終了までの時間Tpと同じ長さの第1の露光期間と、第1の露光期間の終了から時間Tp経過するまでの期間である第2の露光期間と、第2の露光期間の終了から時間Tp経過するまでの期間である第3の露光期間とで構成される。
【0083】
第2の露光シーケンスでは、発光部4からパルス状の光は照射されない。
【0084】
制御部3の指示により、画素アレイ制御部11は、第1の露光期間が開始される時刻t21に同期してODGをHigh状態からLow状態へ遷移させ、並行して、第1の読み出しゲート106aと第2の読み出しゲート106bと第3の読み出しゲート106cとを全て、Low状態(非活性化された状態)からHigh状態(活性化された状態)に遷移させる。
【0085】
画素アレイ制御部11の当該動作により、光電変換部101からオーバーフロードレイン109への信号電荷の排出が停止されると共に、背景光の受光によって光電変換部101で発生した信号電荷が、第1の読み出しゲート106aを介して第1の電荷蓄積部102aへ蓄積され、第2の読み出しゲート106bを介して第2の電荷蓄積部102bに蓄積され、第3の読み出しゲート106cを介して第3の電荷蓄積部102cに蓄積される。これにより、第1の電荷蓄積部102aと第2の電荷蓄積部102bと第3の電荷蓄積部102cとには、それぞれ、光電変換部101で発生した信号電荷がおおよそ1/3に分配されて蓄積される。
【0086】
次に、第2の露光期間では、制御部3の指示により、画素アレイ制御部11は、開始タイミングの時刻t22に、第1の読み出しゲート106aをHigh状態(活性化された状態)からLow状態(非活性化された状態)に遷移させる。これにより、第1の電荷蓄積部102aへの信号電荷の蓄積が停止される。
【0087】
画素アレイ制御部11の当該動作により、第2の露光期間中に到達した背景光の受光によって光電変換部101で発生した信号電荷が、第2の読み出しゲート106bを介して第2の電荷蓄積部102bに蓄積され、第3の読み出しゲート106cを介して第3の電荷蓄積部102cに蓄積される。これにより、第2の電荷蓄積部102bと第3の電荷蓄積部102cとには、それぞれ、光電変換部101で発生した信号電荷がおおよそ半分に分配されて蓄積される。
【0088】
次に、第3の露光期間では、制御部3の指示により、画素アレイ制御部11は、開始タイミングの時刻t23に、第2の読み出しゲート106bをHigh状態(活性化された状態)からLow状態(非活性化された状態)に遷移させる。これにより、第2の電荷蓄積部102bへの信号電荷の蓄積が停止される。
【0089】
画素アレイ制御部11の当該動作により、第3の露光期間中に到達した背景光の受光によって光電変換部101で発生した信号電荷が、全て第3の読み出しゲート106cを介して第3の電荷蓄積部102cに蓄積される。
【0090】
第3の露光期間終了の時刻t24で、制御部3の指示により、画素アレイ制御部11は、第3の読み出しゲート106cをHigh状態(活性化された状態)からLow状態(非活性化された状態)へと遷移させることで、第3の電荷蓄積部102cへの信号電荷の蓄積を停止すると共に、ODGをLow状態からHigh状態へと遷移させることで、露光制御ゲート108を導通状態とさせる。これにより、光電変換部101はリセット状態に復帰する。
【0091】
以下、第2の露光シーケンスの終了時点において、第1の読み出しゲート106aを介して第1の電荷蓄積部102aに蓄積された信号電荷をB0とし、第2の読み出しゲート106bを介して第2の電荷蓄積部102bに蓄積された信号電荷をB1とし、第3の読み出しゲート106cを介して第3の電荷蓄積部102cに蓄積された信号電荷をB2とする。
【0092】
信号電荷B0と、信号電荷B1と、信号電荷B2とは、信号電荷の読み出し動作により、各画素部100からラスタースキャン順で、それぞれ、画素信号B0と、画素信号B1と、画素信号B2として信号処理部20へ出力され、信号処理部20で保持される。
【0093】
画素信号B0は、画素信号P0に含まれる背景光成分(図5又は図6における信号電荷S1Xb)と等しく、画素信号B1は、画素信号P1に含まれる背景光成分(図5又は図6における信号電荷S1Yb)と等しく、画素信号B2は、画素信号P2に含まれる背景光成分(図5又は図6における信号電荷S1Zb)と等しくなる。
【0094】
全ての画素部100について、画素信号P0と、画素信号P1と、画素信号P2と、画素信号B0と、画素信号B1と、画素信号B2とが信号処理部20で保持されると、係数決定部201は、各画素部100について、画素信号P0と、画素信号P1と、画素信号P2と、画素信号B0と、画素信号B1と、画素信号B2とに基づいて、距離算出部202と距離バラつき算出部203とが利用する係数を決定する。より具体的には、係数決定部201は、各画素部100について、下記(条件1)及び(条件2)に従い、下記(式1)又は(式2)で定められる画素信号係数値k01、k02、k03、k04、k05、k06、k11、k12、k13、k14、k15、k16を決定する。
【0095】
P0-B0≧P2-B2-P1+B1の場合、 ・・・(条件1)
k01=-2
k02=+1
k03=+1
k04=+2
k05=-1
k06=-1
k11=+1
k12=+1
k13=+1
k14=-1
k15=-1
k16=-1 ・・・(式1)
【0096】
P0-B0<P2-B2-P1+B1の場合、 ・・・(条件2)
k01=0
k02=0
k03=+2
k04=0
k05=0
k06=-2
k11=0
k12=+1
k13=+1
k14=0
k15=-1
k16=-1 ・・・(式2)
【0097】
ここで、(条件1)が真の場合は、被写体が比較的近くに存在するケース1に該当し、(条件2)が真の場合は、被写体が比較的遠くに存在するケース2に該当する。
【0098】
係数決定部201により画素信号係数値が決定されると、距離算出部202は、各画素部100について、(式3)により、距離信号Doutを算出する。
【0099】
Dout=K´×(k01×P0+k02×P1+k03×P2+k04×B0+k05×B1+k06×B2)/(k11×P0+k12×P1+k13×P2+k14×B0+k15×B1+k16×B2)
・・・(式3)
【0100】
ここで、K´は、光速(299,792,458m/s)をc、発光部4のパルス照射光の時間幅をTpとすると、c×Tp/2に相当する定数である。
【0101】
(式3)に(式1)を代入すると、
Dout=K´×(P1+P2-2P0)-(B1+B2-2B0)/((P0+P1+P2)-(B0+B1+B2))
となる。この式において、距離信号Doutは、ケース1における被写体までの距離を示す。
【0102】
また、(式3)に(式2)を代入すると、
Dout=K´×2×(P2-B2)/((P1+P2)-(B1+B2))
となる。この式において、距離信号Doutは、ケース2における被写体までの距離を示す。
【0103】
このように、距離算出部202は、被写体までの距離を示す距離信号Doutを算出する。
【0104】
距離バラつき算出部203は、距離信号Doutにより示される距離の標準偏差を示す距離バラつき信号DVを算出する。以下、距離バラつき算出部203が行う距離バラつき信号DVの算出について説明する。
【0105】
係数決定部201により画素信号係数値が決定されると、距離バラつき算出部203は、各画素部100について、(式4)、(式5)により、中間信号S1(Doutの分子成分)と、受光量信号IRR(Doutの分母成分)とを算出する。ここで、受光量信号IRRは、光電変換部101による受光のうち、背景光成分を含まない、反射光成分のみの受光量を示す信号である。
【0106】
S1=k01×P0+k02×P1+k03×P2+
k04×B0+k05×B1+k06×B2 ・・・(式4)
IRR=k11×P0+k12×P1+k13×P2+
k14×B0+k15×B1+k16×B2 ・・・(式5)
【0107】
ここで、距離信号DOUTのバラつき量を算出するために、(式6)で示される誤差の伝搬公式を用いることができる。
【0108】
Z=f(x1,x2,x3,x4,…,xn)
【数1】
【0109】
また、画素信号P0は、信号電荷をe(P0)、信号電荷から画素信号への変換係数をKhとすると、下式(式7)で表される。
【0110】
P0=Kh×e(P0) ・・・(式7)
【0111】
ここで、画素信号P0のバラつき要因となるショットノイズの標準偏差をσ(P0)とすると(式8)が成り立ち、(式9)へ変形することができる。
【数2】
【数3】
【0112】
その他の画素信号P1、P2、B0、B1、B2についても同様である。
【0113】
距離バラつき算出部203は、(式3)で算出される距離信号Doutにより示される距離のバラつきを標準偏差として算出する。すなわち、距離バラつき算出部203は、各画素部100について、誤差伝搬公式(式6)、(式4)、(式5)、及び、(式9)から、距離信号Doutにより示される距離の標準偏差を示す距離バラつき信号DVを、下式(式10)を用いて算出する。
【数4】
【0114】
(式10)により算出される距離バラつき信号DVは、背景光成分に相当する画素信号B0、画素信号B1、画素信号B2が加味され、被写体が比較的近くに存在するケース1と被写体が比較的遠くに存在するケース2とのいずれ場合でも適切にノイズの伝搬状態が反映される。このため、距離バラつき信号DVを用いて、距離信号Doutにより示される距離の信頼度の判定が可能となる。
【0115】
このように、撮像装置1によると、算出する距離情報である距離信号Doutにより示される距離の信頼度の判別が可能となる。
【0116】
(実施の形態2)
以下、実施の形態2に係る撮像装置について説明する。
【0117】
図8は、実施の形態2に係る撮像装置1aの構成例の一例を示すブロック図である。
【0118】
図8に示すように、撮像装置1aは、実施の形態1に係る撮像装置1から、信号処理部20が信号処理部20aに変更されて構成される。また、この変更に伴って、撮像装置1aは、実施の形態1に係る撮像装置1から、固体撮像装置2が固体撮像装置2aに変更されて構成される。
【0119】
実施の形態1に係る信号処理部20は、距離信号Doutと、距離バラつき信号DVとを算出する構成であった。これに対して、信号処理部20aは、距離信号Doutと、受光量信号IRRと、受光量信号IRRにより示される受光量のバラつき量を示す受光量バラつき信号とを算出する構成となっている。
【0120】
図9は、信号処理部20aの構成例を示すブロック図である。
【0121】
図9に示すように、信号処理部20aは、係数決定部201と、距離算出部202と、受光量算出部204と、受光量バラつき算出部205とを含んで構成される。信号処理部20aは、例えば、ロジック回路により実現される。又は、例えば、メモリと、メモリに記憶されるプログラムを実行するプロセッサによって実現される。
【0122】
受光量算出部204は、撮像部10から出力される複数の画素信号と、係数決定部201により決定された係数とから、受光量信号IRRを算出する。より具体的には、受光量算出部204は、(式5)により、受光量信号IRRを算出する。
【0123】
受光量バラつき算出部205は、撮像部10から出力される複数の画素信号と、係数決定部201により決定された係数とから、受光量信号IRRにより示される受光量のバラつき量を示す受光量バラつき信号を算出する。
【0124】
以下、受光量バラつき算出部205が行う受光量バラつき信号の算出について説明する。
【0125】
受光量バラつき算出部205は、受光量信号IRRにより示される受光量の標準偏差を示す受光量バラつき信号IRVを算出する。
【0126】
受光量バラつき信号IRVは、誤差伝搬公式(式6)、(式5)より、下式(式11)で算出される。
【数5】
【0127】
このため、受光量バラつき算出部205は、各画素部100について係数決定部201により画素信号係数値が決定されると、それぞれに該当する画素部100について受光量バラつき信号IRVを、(式11)に対して(式9)を用いて変形した下式(式12)を用いて算出する。
【数6】
【0128】
(式12)により算出される受光量バラつき信号IRVは、背景光成分に相当する画素信号B0、画素信号B1、画素信号B2が加味され、被写体が比較的近くに存在するケース1と被写体が比較的遠くに存在するケース2とのいずれに場合でも各画素部100について適切にノイズの伝搬状態が反映される。
【0129】
反射光成分のみの受光量を示す受光量信号IRRと、背景光成分が加味された受光量バラつき信号IRVとの比が、距離信号Doutにより示される距離のSNRに相当する。このため、受光量バラつき信号IRVを用いて、距離信号Doutにより示される距離の信頼度の判定が可能となる。
【0130】
このように、撮像装置1によると、算出する距離情報である距離信号Doutにより示される距離の信頼度の判別が可能となる。
【0131】
また、(式12)における演算量は、(式10)における演算量よりも軽量である。このため、信号処理部20aは、実施の形態1に係る信号処理部20に比べて、ロジック回路又はプロセッサによる処理への負担が軽くなるという利点がある。
【0132】
(補足)
以上、本開示の一態様に係る撮像装置について、実施の形態1および実施の形態2に基づいて説明してきたが、本開示は、これら実施の形態に限定されるものではない。本開示の趣旨を逸脱しない限り、当業者が思いつく各種変形をこれら実施の形態に施したものや、異なる実施の形態における構成要素を組み合わせて構築される形態も、本開示の1つまたは複数の態様の範囲内に含まれてもよい。
【0133】
実施の形態1において、撮像装置1は、各画素部100について距離バラつき信号DVを算出するとして説明した。しかしながら撮像装置1は、複数の画素部100のうちの少なくとも一部の1以上の画素部100について距離バラつき信号DVを算出することができれば、必ずしも、各画素部100について距離バラつき信号DVを算出する構成に限定される必要はない。例えば、撮像装置1は、全ての画素部100の中から、1以上の画素部100を残して他の画素部100を間引いて、間引かなかった1以上の画素部100のそれぞれについて距離バラつき信号DVを算出する構成であっても構わない。
【0134】
また、実施の形態2において、撮像装置1aは、各画素部100について受光量バラつき信号IRVを算出するとして説明した。しかしながら撮像装置1は、複数の画素部100のうちの少なくとも一部の1以上の画素部100について受光量バラつき信号IRVを算出することができれば、必ずしも、各画素部100について受光量バラつき信号IRVを算出する構成に限定される必要はない。例えば、撮像装置1は、全ての画素部100の中から、1以上の画素部100を残して他の画素部100を間引いて、間引かなかった1以上の画素部100のそれぞれについて受光量バラつき信号IRVを算出する構成であっても構わない。
【産業上の利用可能性】
【0135】
本発明は、被写体の距離情報を取得する撮像装置に広く利用可能である。
【符号の説明】
【0136】
1 撮像装置
2 固体撮像装置
3 制御部
4 発光部
10 撮像部
11 画素アレイ制御部
12 垂直走査部
13 列処理部
14 水平走査部
15 出力バッファ
16 垂直信号線
17、104 転送チャネル
20、20a 信号処理部
30 画素アレイ
100 画素部
101 光電変換部
102 電荷蓄積部
102a 第1の電荷蓄積部
102b 第2の電荷蓄積部
102c 第3の電荷蓄積部
105、105a、105b、105c、105d、105e、105f 転送電極
106 読み出しゲート
106a 第1の読み出しゲート
106b 第2の読み出しゲート
106c 第3の読み出しゲート
108、108a、108b 露光制御ゲート
109、109a、109b オーバーフロードレイン
113 出力制御ゲート
114 浮遊拡散層
115 リセットゲート
116 リセットドレイン
117 読み出し回路
201 係数決定部
202 距離算出部
203 距離バラつき算出部
204 受光量算出部
205 受光量バラつき算出部
図1
図2
図3
図4
図5
図6
図7
図8
図9