特表-17150246IP Force 特許公報掲載プロジェクト 2015.5.11 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ パナソニックIPマネジメント株式会社の特許一覧
再表2017-150246撮像装置、及びそれに用いられる固体撮像素子
(19)【発行国】日本国特許庁(JP)
【公報種別】再公表特許(A1)
(11)【国際公開番号】WO/0
(43)【国際公開日】2017年9月8日
【発行日】2018年12月27日
(54)【発明の名称】撮像装置、及びそれに用いられる固体撮像素子
(51)【国際特許分類】
   H04N 5/335 20110101AFI20181130BHJP
   H04N 5/225 20060101ALI20181130BHJP
   H04N 5/232 20060101ALI20181130BHJP
【FI】
   H04N5/335
   H04N5/225 600
   H04N5/225 300
   H04N5/232 290
【審査請求】未請求
【予備審査請求】未請求
【全頁数】41
【出願番号】特願2018-503043(P2018-503043)
(21)【国際出願番号】PCT/0/0
(22)【国際出願日】2017年2月20日
(31)【優先権主張番号】特願2016-38439(P2016-38439)
(32)【優先日】2016年2月29日
(33)【優先権主張国】JP
(81)【指定国】 AP(BW,GH,GM,KE,LR,LS,MW,MZ,NA,RW,SD,SL,ST,SZ,TZ,UG,ZM,ZW),EA(AM,AZ,BY,KG,KZ,RU,TJ,TM),EP(AL,AT,BE,BG,CH,CY,CZ,DE,DK,EE,ES,FI,FR,GB,GR,HR,HU,IE,IS,IT,LT,LU,LV,MC,MK,MT,NL,NO,PL,PT,RO,RS,SE,SI,SK,SM,TR),OA(BF,BJ,CF,CG,CI,CM,GA,GN,GQ,GW,KM,ML,MR,NE,SN,TD,TG),AE,AG,AL,AM,AO,AT,AU,AZ,BA,BB,BG,BH,BN,BR,BW,BY,BZ,CA,CH,CL,CN,CO,CR,CU,CZ,DE,DJ,DK,DM,DO,DZ,EC,EE,EG,ES,FI,GB,GD,GE,GH,GM,GT,HN,HR,HU,ID,IL,IN,IR,IS,JP,KE,KG,KH,KN,KP,KR,KW,KZ,LA,LC,LK,LR,LS,LU,LY,MA,MD,ME,MG,MK,MN,MW,MX,MY,MZ,NA,NG,NI,NO,NZ,OM,PA,PE,PG,PH,PL,PT,QA,RO,RS,RU,RW,SA,SC,SD,SE,SG,SK,SL,SM,ST,SV,SY,TH,TJ,TM,TN,TR,TT,TZ
(71)【出願人】
【識別番号】314012076
【氏名又は名称】パナソニックIPマネジメント株式会社
(74)【代理人】
【識別番号】100109210
【弁理士】
【氏名又は名称】新居 広守
(74)【代理人】
【識別番号】100137235
【弁理士】
【氏名又は名称】寺谷 英作
(74)【代理人】
【識別番号】100131417
【弁理士】
【氏名又は名称】道坂 伸一
(72)【発明者】
【氏名】大谷 充彦
(72)【発明者】
【氏名】高野 遥
【テーマコード(参考)】
5C024
5C122
【Fターム(参考)】
5C024AX06
5C024CX51
5C024EX13
5C024GX02
5C024JX21
5C122DA03
5C122DA04
5C122DA13
5C122DA16
5C122DA30
5C122EA06
5C122EA53
5C122EA54
5C122FA06
5C122FC01
5C122FC02
5C122FC06
5C122FC07
5C122HA88
5C122HB02
5C122HB06
5C122HB10
(57)【要約】
撮像装置(10)は、発光信号と露光信号とを発生する制御部(3)と、発光信号を受信することにより光照射を行う光源部(1)と、露光信号に従ったタイミングで反射光の露光量を取得する撮像部(2)と、撮像部(2)から受けた撮像信号における信号量に基づいて演算により距離画像と輝度画像とを出力する信号処理部(4)とを備え、撮像部(2)は、距離画像の信号を得るための露光を行う画素と、輝度画像の信号を得るための露光を行う画素とが共通である構成を有し、光源部(1)は、撮像部(2)が輝度画像の信号を得るための露光を行う期間にも、制御部(3)で発生する発光信号が示すタイミングに従って光の照射を行う。
【特許請求の範囲】
【請求項1】
照射光の照射を指示する発光信号と、物体からの反射光の露光を指示する露光信号とを発生する制御部と、
前記発光信号により前記照射光の照射を行う光源部と、
複数の画素を有し、前記露光信号により複数回の露光を行い、画素毎に異なる複数の信号蓄積部に信号を蓄積する撮像を行い、当該撮像に対応した撮像信号を出力する固体撮像素子を備える撮像部と、
前記撮像信号における信号量に基づいて演算により距離画像と輝度画像とを出力する信号処理部とを備え、
前記撮像信号は、前記距離画像を演算するための距離撮像信号と、前記輝度画像を演算するための輝度撮像信号を有し、
前記固体撮像素子は、前記距離撮像信号及び前記輝度撮像信号を、共通の前記画素から生成し、
前記光源部は、前記距離撮像信号と同様に、前記輝度撮像信号を得るための前記固体撮像素子が露光を行う期間に、前記発光信号が示すタイミングに従って前記照射光の照射を行う
撮像装置。
【請求項2】
前記制御部は、前記画素毎に異なる複数の信号蓄積部の少なくとも2つの信号蓄積部のそれぞれに露光を行う前期露光信号のタイミングを、前記発光信号のタイミングに対して互いに異なるとともに、互いにオーバーラップの期間を有するように設定する
請求項1に記載の撮像装置。
【請求項3】
前記制御部は、前記画素毎に異なる複数の信号蓄積部の少なくとも2つの信号蓄積部のそれぞれに露光を行う前期露光信号のタイミングを、前記発光信号のタイミングに対して互いに異なるとともに、前記発光信号との位相関係が、前記距離画像が得られる測距範囲内に置いた物体からの反射光による露光量が互いに等しくなるように設定する
請求項1または2に記載の撮像装置。
【請求項4】
前記信号処理部は、前記距離画像と前記輝度画像とを用いて、演算により3次元の物体検知または物体測定を行う
請求項1〜3のいずれか1項に記載の撮像装置。
【請求項5】
さらに、前記距離画像を得る方式は、TOF(time of flight)方式である
請求項1〜4のいずれか1項に記載の撮像装置。
【請求項6】
前記制御部は、露光を行い前記信号蓄積部に信号を蓄積させる露光期間、及び、前記信号蓄積部から前記撮像信号を得るために信号を転送する転送期間、の少なくとも一方を、前記距離画像を得るための期間と、前記輝度画像を得るための期間とに分けて時間的に独立した制御を行い、前記露光期間において前記信号蓄積部及び前記信号蓄積部から信号を転送する駆動方法の少なくとも一方を、前記距離画像を得るための信号と、前記輝度画像を得るための信号とで異ならせる
請求項1〜5のいずれか1項に記載の撮像装置。
【請求項7】
前記光源部が照射する光は、750nmから4000nmの波長を有する赤外光であり、
前記撮像部は、さらに、前記光源部から照射される光の波長近傍を通過させる光学的バンドパスフィルタ(帯域通過フィルタ)を備える
請求項1〜6のいずれか1項に記載の撮像装置。
【請求項8】
前記固体撮像素子は、
前記照射光の未照射時に得られる第2撮像信号を前記共通の画素から生成し、
前記撮像装置は、
前記照射光の照射時に生じる前記輝度撮像信号から前記第2撮像信号を減算して、前記輝度画像を得る
請求項1〜7のいずれか1項に記載の撮像装置。
【請求項9】
前記制御部は、前記光源部の発光を制御する発光信号のデューティ比が、前記距離画像の信号を得るための露光期間と、輝度画像の信号を得るための露光期間とで異ならせる
請求項1〜8のいずれか1項に記載の撮像装置。
【請求項10】
異なる前記信号蓄積部には、異なる露光時間で露光した輝度画像を得るための信号が蓄積される
請求項1〜9のいずれか1項に記載の撮像装置。
【請求項11】
前記信号処理部は、前記光源部から前記照射光を照射した前記輝度撮像信号と、前記光源部から光を照射しない前記第2撮像信号の少なくとも一方を、前記距離画像を得る演算に使用する
請求項1〜10のいずれか1項に記載の撮像装置。
【請求項12】
前記固体撮像素子は、CCD(Charge Coupled Device)型の固体撮像素子である
請求項1〜11のいずれか1項に記載の撮像装置。
【請求項13】
前記固体撮像素子は、CMOS型の固体撮像素子である
請求項1〜11のいずれか1項に記載の撮像装置。
【請求項14】
前記固体撮像素子は、
受光領域の同じ側の隣り合う前記信号蓄積部の間に、電荷の転送を制御する転送制御部を備える
請求項13に記載の撮像装置。
【請求項15】
照射光の照射を指示する発光信号と、物体からの反射光の露光を指示する露光信号とを発生する制御部と、
前記発光信号により前記照射光の照射を行う光源部と、
複数の画素を有し、前記露光信号により複数回の露光を行い、画素毎に異なる複数の信号蓄積部に信号を蓄積する撮像を行い、当該撮像に対応した撮像信号を出力する固体撮像素子を備える撮像部と、
前記撮像信号における信号量に基づいて演算により距離画像と輝度画像とを出力する信号処理部とを備える撮像装置に用いられる固体撮像素子であって、
前記撮像信号は、前記距離画像を演算するための距離撮像信号と、前記輝度画像を演算するための輝度撮像信号を有し、
前記固体撮像素子は、
前記距離撮像信号及び前記輝度撮像信号を、共通の前記画素から生成し、
前記輝度撮像信号と同様に、前記発光信号が示すタイミングに従って照射された前記照射光の前記反射光を用いて前記輝度撮像信号を得るための露光を行う
撮像装置に用いられる固体撮像素子。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、撮像装置、及びそれに用いられる固体撮像素子に関する。
【背景技術】
【0002】
物体を3次元検知する方法で、距離画像と輝度画像とを併用して演算・信号処理する方法が知られている。
【0003】
特許文献1には、距離画像センサにより得られる距離画像と、通常の画像センサにより得られる輝度画像とを併用して演算・信号処理することで、3次元検知の精度を向上させる従来技術が開示されている。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開2015−194838号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら、特許文献1に開示された従来技術では、距離画像と輝度画像とを異なる固体撮像素子を用いた2台のカメラで取得するので、距離画像と輝度画像との視点が一致しないことによる測距誤差が生じる。特に被写体(対象物)が近い場合には、その測距誤差が顕著になるという課題を有している。
【0006】
上記課題に鑑み、本発明は、高い検知精度または高い測定精度を有し、かつその精度が環境照度に依存しない3次元の検知、測定、表示、または描写を実現する小型の撮像装置を提供することを目的とする。
【課題を解決するための手段】
【0007】
上記課題を解決するために、本発明の一態様に係る撮像装置は、照射光の照射を指示する発光信号と、物体からの反射光の露光を指示する露光信号とを発生する制御部と、前記発光信号により前記照射光の照射を行う光源部と、複数の画素を有し、前記露光信号により複数回の露光を行い、画素毎に異なる複数の信号蓄積部に信号を蓄積する撮像を行い、当該撮像に対応した撮像信号を出力する固体撮像素子を備える撮像部と、前記撮像信号における信号量に基づいて演算により距離画像と輝度画像とを出力する信号処理部とを備え、前記撮像信号は、前記距離画像を演算するための距離撮像信号と、前記輝度画像を演算するための輝度撮像信号を有し、前記固体撮像素子は、前記距離撮像信号及び前記輝度撮像信号を、共通の前記画素から生成し、前記光源部は、前記距離撮像信号と同様に、前記輝度撮像信号を得るための前記固体撮像素子が露光を行う期間に、前記発光信号が示すタイミングに従って前記照射光の照射を行うことを特徴とする。
【発明の効果】
【0008】
本発明に係る撮像装置によれば、固体撮像素子から高精度な距離画像と高画質な輝度画像とが得られるので、当該距離画像及び輝度画像を併用して演算することで、小型で高い検知精度または測定精度を有し、かつその精度が環境照度に依存しない3次元の検知、測定、表示、または描写を実現することが可能となる。
【図面の簡単な説明】
【0009】
図1図1は、実施の形態1に係る撮像装置の概略構成を示す機能ブロック図である。
図2A図2Aは、CCD型の固体撮像素子の構成を示す図である。
図2B図2Bは、実施の形態1に係る固体撮像素子の画素配列の一例を表す図である。
図2C図2Cは、実施の形態1に係る固体撮像素子において同一画素から距離撮像信号及び輝度撮像信号を発生することを説明する図である。
図2D図2Dは、実施の形態1に係る固体撮像素子の画素配列の一例を表す図である。
図2E図2Eは、実施の形態1に係る固体撮像素子の画素配列の一例を表す図である。
図3図3は、実施の形態1に係る撮像装置の動作の概略を示すタイミングチャートである。
図4図4は、距離画像フレームにおける1回目の第一の発光露光期間および1回目の第二の発光露光期間のタイミングチャートである。
図5図5は、距離画像フレームにおける1回目の第三の発光露光期間および2回目の第一の発光露光期間のタイミングチャートである。
図6図6は、実施の形態1に係る撮像装置の距離画像フレームにおける露光量を検出するタイミングの一例を説明する図である。
図7図7は、輝度画像フレームにおける輝度露光期間、輝度背景光露光期間、及び輝度転送期間のタイミングチャートである。
図8図8は、実施の形態1の変形例1に係る撮像装置の動作の概略を示すタイミングチャートである。
図9図9は、距離画像フレームにおける1回目の第三の発光露光期間および2回目の第一の発光露光期間のタイミングチャートである。
図10図10は、実施の形態1の変形例1に係る撮像装置の露光量を検出するタイミングの一例を説明する図である。
図11図11は、実施の形態1の変形例1に係る撮像装置の露光量を検出するタイミングの一例を説明する図である。
図12図12は、実施の形態1の変形例2に係る撮像装置の露光量を検出するタイミングの一例を説明する図である。
図13図13は、実施の形態1の変形例2に係る撮像装置の被写体の距離に対する露光量の変化を説明する図である。
図14図14は、実施の形態1の変形例2に係る撮像装置の実距離と測距値との関係を説明する図である。
図15図15は、実施の形態1の変形例3に係る撮像装置の露光量を検出するタイミングの一例を説明する図である。
図16図16は、実施の形態1の変形例3に係る撮像装置の発光信号と露光信号との相対位相と露光量との関係を説明する図である。
図17図17は、実施の形態1の変形例4に係る撮像装置の動作の概略を示すタイミングチャートである。
図18図18は、実施の形態1の変形例5に係る撮像装置の動作の概略を示すタイミングチャートである。
図19図19は、実施の形態1の変形例6に係る撮像装置の動作の概略を示すタイミングチャートである。
図20図20は、実施の形態1の変形例7に係る撮像装置の動作の概略を示すタイミングチャートである。
図21図21は、実施の形態2に係る撮像装置の動作の概略を示すタイミングチャートである。
図22図22は、実施の形態2に係る撮像装置の動作の概略を示すタイミングチャートである。
図23図23は、実施の形態2に係る撮像装置の露光量を検出するタイミングを説明する図である。
図24図24は、CMOS型イメージセンサの構成の一例を示す図である。
【発明を実施するための形態】
【0010】
以下、本開示の実施の形態に係る撮像装置、及びそれに用いられる固体撮像素子について、図面を参照しながら説明する。なお、以下の実施の形態は、いずれも本発明の一具体例を示すものであり、数値、形状、材料、構成要素、構成要素の配置位置及び接続形態などは一例であり、本発明を限定するものではない。
【0011】
また、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。
【0012】
(実施の形態1)
図1は、実施の形態1に係る撮像装置(測距撮像装置)10の概略構成の一例を示す機能ブロック図である。同図に示すように、撮像装置10は、光源部1と、撮像部2と、制御部(駆動制御部)3と、信号処理部4とを備える。この構成により、撮像装置10は、静止画だけでなく動画も撮影することが可能である。
【0013】
光源部1は、駆動回路、コンデンサ及び発光素子を有し、コンデンサに保持した電荷を発光ダイオードへ供給することで照射光を発する。発光素子としてはレーザダイオードや発光ダイオード(LED)等のその他の発光素子を用いてもよい。照射光は、一例として赤外光(近赤外光、遠赤外光を含む)である。
【0014】
制御部3は、露光信号制御部3Aと発光信号制御部3Bを少なくとも備え、発光信号制御部3Bにより被写体(物体、測定対象物)への光照射を指示する発光信号と、露光信号制御部3Aにより当該被写体からの反射光及び後述する背景光の露光を指示する露光信号とを発生する。なお、図1では、発光信号制御部3Bと露光信号制御部3Aとは制御部3内に構成されているが、発光信号制御部3Bおよび露光信号制御部3Aは、それぞれ個別の制御部として構成されていてもよい。
【0015】
また、そのような場合は、発光信号制御部3Bは光源部1内に構成されていてもよく、また、露光信号制御部3Aは撮像部2内に構成されていてもよい。
【0016】
光源部1は、制御部3で発生する発光信号のタイミングに従って光を点滅させ(パルス)、被写体に対して照射光(パルス光)の照射を行う。
【0017】
撮像部2は、固体撮像素子20を有する。固体撮像素子20は、照射光が反射した反射光(パルス光)を受光する。また、固体撮像素子20は、光源部1の発光動作を行わないことで、太陽光などの背景光(外乱光)、または暗電流成分などのオフセット成分である背景光(外乱光)を受光する。
【0018】
また、固体撮像素子20は、被写体を含む領域に対して、制御部3で発生する露光信号が示すタイミングに従って複数回の露光を行い、画素毎に異なる複数の信号蓄積部(図2Aにおける垂直転送部23、図24における電荷蓄積部32)に信号を蓄積する撮像を行った後、蓄積された信号を転送して露光量に対応した撮像信号と第2撮像信号とを得る。ここで、撮像信号は、照射光に基づく被写体からの反射光を露光し、後述する距離画像を生成するための距離撮像信号と、輝度画像を生成するための輝度撮像信号とを有する。一方、第2撮像信号は、光源部1から照射光を照射しない状態で、太陽光などの背景光や暗電流成分などのオフセット成分である背景光を露光して得られる信号である。
【0019】
撮像部2は、さらに、カメラレンズ、光源部1から照射される光の波長近傍のみを通過させる光学的バンドパスフィルタ(帯域通過フィルタ)、及びA/Dコンバータ等の回路を適宜有する。
【0020】
信号処理部4は、撮像部2から受けた撮像信号及び第2撮像信号における信号量に基づいて、演算により距離画像(距離信号、距離情報)と輝度画像(輝度信号、輝度情報)とを出力する。これととともに、上記距離画像及び上記輝度画像を用いて、演算により3次元の物体検知(検知)ないし物体測定(測定)を行う。
【0021】
次に、本実施の形態に係る撮像装置10の撮像部2を、一例として、CCD(Charge Coupled Device)型の固体撮像素子(イメージセンサ)として用いた場合について説明する。
【0022】
図2Aは、CCD型の固体撮像素子20の構成を示す図である。図2Aは、本実施の形態に係る固体撮像素子20の一例を示す構成図であり、撮像部2がこの固体撮像素子20を備える。ここでは、本発明の理解を容易とするため、垂直方向に4画素分及び水平方向に4画素分のみを示している。
【0023】
図2Aに示すように、本実施の形態に係る固体撮像素子20は、複数の受光領域(受光部、光電変換部、一例として、フォトダイオード、PD)21と、複数の読出ゲート(読み出し部)22と、複数の垂直転送部(第1の転送部)23と、水平転送部(第2の転送部)24と、出力アンプ25と、半導体基板電圧(SUB)を制御する信号φSUBを入力するSUB端子26とを備える。
【0024】
また、垂直転送部23及び水平転送部24は、電荷(信号、信号電荷)の転送と共に、電荷(信号、信号電荷)を蓄積する電荷蓄積部(信号蓄積部)でもある。
【0025】
なお、図2Aでは、画素は、少なくとも受光領域21を含み、繰り返し単位となるもの(単位セル、単位画素)と定義しているが、その他の定義として、画素は受光領域21そのものと定義する場合も含むものとする。
【0026】
複数の受光領域21は、半導体基板に行列状に配置され、各々が入射光を信号電荷に変換する。
【0027】
図2Bは、実施の形態1に係る固体撮像素子20の画素配列の一例を表す図である。図2Bに示すように、固体撮像素子20の各画素27は、照射光(一例として、赤外線IR(近赤外線、遠赤外線を含む))及び背景光に対して感度を有するイメージセンサである。
【0028】
なお、実施の形態1に係る固体撮像素子20は、図2Bの画素配列に限定されるものではなく、図2D図2Eに示すように、その他の画素(一例として、可視光を受光するW(白)画素、または、可視光の特定波長帯の光を受光するR(赤)画素、G(緑)画素、B(青))を有する画素配列であってもよい。
【0029】
図2Cは、実施の形態1に係る固体撮像素子20において同一画素から距離撮像信号及び輝度撮像信号を発生することを説明する図である。図2Cに示すように、固体撮像素子20の画素構造は、輝度撮像信号を発生する画素(または、受光領域)、距離撮像信号を発生する画素(または、受光領域)、及び第2撮像信号を発生する画素(または、受光領域)が、それぞれ異なるものではなく、同じ画素(共通の画素)27から撮像信号(輝度撮像信号及び距離撮像画素)と第2撮像信号とを発生することが特徴である。
【0030】
つまり、本実施の形態に係る撮像装置10(及び固体撮像素子20)では、距離画像を得るための信号(距離撮像信号と第2撮像信号)と輝度画像を得るための信号(輝度撮像信号と第2撮像撮像信号)とが、固体撮像素子20の同一の画素27で取得される。これにより、距離画像と輝度画像との視点を一致させることができ、高い測距精度を得ることが可能となる。また、固体撮像素子20を構成する画素27の数分の解像度を有する、つまり高解像度(高精細)の距離画像を得ることができる。
【0031】
また、撮像信号を生成する画素27の開口率(単位面積当たりに光を受光できる面積の比率)を高くすることができ、ノイズの少ない高精度な撮像信号の発生、および固体撮像素子20および撮像装置10の小型化を実現することが出来る。
【0032】
また、図2Aに示すように、複数の読出ゲート22は、各々が受光領域21に対応して設けられ、対応する受光領域21から信号電荷を読み出す。
【0033】
複数の垂直転送部23は、複数のゲートから構成され、受光領域21から読出ゲート22で読み出された信号電荷を順次垂直方向に転送する。各垂直転送部23は、例えば、受光領域21から読み出された信号電荷を列方向(垂直方向)に転送する8相電極V1〜V8(以降、ゲートV1〜V8と記載する場合あり)で構成されている。
【0034】
水平転送部24は、複数のゲートから構成され、複数の垂直転送部23から転送された信号電荷を順次水平方向(行方向)に転送する。この水平転送部24は、例えば、2相電極H1、H2で構成される。
【0035】
出力アンプ25は、水平転送部24から転送された信号電荷を順次検出して電圧信号に変換して出力する。
【0036】
ここで、上述の垂直転送部23を構成するゲートV1〜V8のうち、ゲートV1及びV5は、一行かつ一列毎に読み出すことが可能なように、複数の受光領域21のそれぞれに対応して設けられた読出ゲート22と共用されている。また、受光領域21の読出ゲート22が形成された側と左右方向の反対側には、信号電荷の混入を抑制するためのチャネルストップ28が設置されている。
【0037】
各受光領域21のバルク方向(半導体基板の深さ方向)には縦型電荷排出ドレイン(VOFD:vertical over flow drain)29が構成されており、SUB端子26に高電圧が印加されると全受光領域21の信号電荷は一括して縦型電荷排出ドレイン29を介して外部に排出される。具体的には、SUB端子26がHighレベルの場合には、受光領域21内の信号電荷は半導体基板(外部)に排出され、SUB端子26がLowレベルの場合には、受光領域21内で光電変換された信号電荷が蓄積される。
【0038】
また、垂直転送部23を構成するゲートV1及びV5のそれぞれに印加されるパルスであるφV1及びφV5を、Highレベルにして読出ゲート22を開いた状態で、SUB端子26をLowレベルにすると、受光領域21内で光電変換された信号電荷は、ゲートV1下のパケット及びゲートV5下のパケットに蓄積される。
【0039】
つまり、制御部3から出力して露光タイミングを指示する露光信号は、SUB端子26に入力されて半導体基板電圧(SUB)を制御する信号φSUBである。
【0040】
次に、図3図7を用いて、本実施の形態に係る撮像装置10の駆動方法(動作タイミング)について説明する。図3図7で後述するように、本実施の形態に係る撮像装置10では、距離画像を得る方式としてはTOF方式であり、また発光露光の繰り返しにおいて露光をしない位相が存在する矩形波型TOF方式(パルスTOF方式)を基本原理とする。
【0041】
図3は、実施の形態1に係る撮像装置10の動作の概略を示すタイミングチャートである。より具体的には、図3は、1フレーム期間内で、左右に隣接する2つの受光領域21で発生された信号電荷を垂直転送部23に読み出し、垂直転送する駆動タイミングの一例を示す。図3には、垂直同期パルスVDと、露光信号であるφSUBと、垂直転送部23を構成するゲートV1〜V8のうち読出ゲート22と共用されているφV1及びφV5と、光源部1から照射される照射光(赤外光)と、被写体で反射した反射光と、背景光と、受光領域21で発生した信号電荷のイメージを示すSignalとが示されている。
【0042】
垂直同期パルスVDは、毎秒複数フレームであり、各1フレーム期間は距離画像フレームと輝度画像フレームとで構成される。
【0043】
距離画像フレーム期間は、距離撮像信号(撮像信号)を得るために、第一の発光露光期間(A0期間)及び第二の発光露光期間(A1期間)と、第三の発光露光期間(A2期間)と、距離転送期間(TOF転送期間)とで構成される。
【0044】
第一の発光露光期間(A0期間)及び第二の発光露光期間(A1期間)は、それぞれ、光源部1から照射される光(照射光)の照射タイミングに対して、被写体までの距離に応じて遅延した反射光(反射光1、反射光2)の受光領域21での露光タイミングが異なる期間である。より具体的には、第一の発光露光期間(A0期間)及び第二の発光露光期間(A1期間)は、制御部3で発生する発光信号に従って光源部1から照射される光(照射光)の照射タイミングに対して、固体撮像素子20の受光領域21にて被写体までの距離に応じて遅延した反射光(反射光1、反射光2)の露光を指示する制御部3からの露光信号φSUBのタイミング位相が各々異なる期間である。
【0045】
第三の発光露光期間(A2期間)は、光源部1からの光照射を停止して背景光のみを、制御部3からの露光信号φSUBのタイミングに応じて受光領域21で露光して第2撮像信号を得る期間である。
【0046】
距離転送期間(TOF転送期間)は、第一、第二、及び第三の発光露光期間における露光で蓄積した3種類の信号を転送し、距離撮像信号(撮像信号)を信号処理部4に出力する期間である。
【0047】
一方、輝度画像フレームは、輝度撮像信号(撮像信号)を得るために、輝度露光期間(YIR期間)と、輝度背景光露光期間(YBG期間)と、輝度転送期間とで構成される。
【0048】
輝度露光期間(YIR期間)は、制御部3で発生する発光信号に従って光源部1から光(照射光)を照射し、被写体からの反射光を受光領域21で露光する期間である。
【0049】
輝度背景光露光期間(YBG期間)は、光源部1からの光照射を停止して背景光のみを受光領域21で露光して第2撮像信号を得る期間である。
【0050】
輝度転送期間は、輝度露光期間及び輝度背景光露光期間における露光で蓄積した2種類の信号を転送し、輝度撮像信号(撮像信号)を信号処理部4に出力する期間である。
【0051】
つまり、本実施の形態に係る撮像装置10は、距離撮像信号を生成する場合と同様に、輝度撮像信号を生成する場合も背景光のみで生成するのではなく、制御部3で発生する発光信号に従って光源部1から照射された照射光に基づいて生成することが特徴である。
【0052】
言い換えれば、光源部1は、輝度撮像信号と同様に、輝度撮像信号を得るための固体撮像素子20が露光を行う期間にも、発光信号が示すタイミングに従って照射光の照射を行うことが特徴である。
【0053】
これにより、本実施の形態に係る撮像装置10は、輝度画像の信号を得るための露光期間にも、光源部1から光(照射光)を照射するので、環境照度に依存せず高画質な輝度画像を得ることができる。
【0054】
また、露光期間の信号蓄積部及び信号を蓄積また転送する駆動方法として、距離画像を得るための信号に対しては、その測距精度を優先した選択をし、輝度画像を得る信号に対してはその画質を優先した選択をすることができる。
【0055】
図4は、距離画像フレームにおける1回目の第一の発光露光期間および1回目の第二の発光露光期間のタイミングチャートである。また、図5は、距離画像フレームにおける1回目の第三の発光露光期間および2回目の第一の発光露光期間のタイミングチャートである。また、図7は、輝度画像フレームにおける輝度露光期間、輝度背景光露光期間、及び輝度転送期間のタイミングチャートである。また、図6は、実施の形態1に係る撮像装置10の距離画像フレームにおける露光量を検出するタイミングの一例を説明する図である。
【0056】
図6の(a)は、制御部3が出力する発光信号(照射光)、露光信号(φSUB)、及び読出信号(φV1、φV5)の、1つの距離画像フレームにおけるタイミング関係を示している。図6の(b)は、第一の発光露光期間(A0期間)における露光量a0の検出タイミングを表している。図6の(c)は、第二の発光露光期間(A1期間)における露光量a1の検出タイミングを表している。図6の(d)は、第三の発光露光期間(A2期間)における露光量a2の検出タイミングを表している。
【0057】
先に説明した図3及び図4に示すように、距離画像フレームの第一の発光露光期間(A0−1期間)は、φV1及びφV5をHighレベルにして読出ゲート22を開いた状態で、光源部1が制御部3からの発光信号を受信して光を照射するタイミングに対して、受光領域21が制御部3から第一の遅延時間を経た露光信号φSUBを受信し、そのLowレベルの期間で露光を行う。
【0058】
本実施の形態の場合、図6に示すように、第一の露光信号(φSUBがLowレベル)期間の長さは、発光信号期間の長さと同じT、第一の遅延時間は0、すなわち発光信号が送信されている(ハイレベルである)期間に設定している。
【0059】
本実施の形態の場合、図6に示すように、この第一の発光露光をm回繰り返して、当該露光により発生した電荷を垂直転送部23の読出ゲート22であるゲートV1下のパケット及びゲートV5下のパケットに蓄積する。その後、φV1及びφV5をMiddleレベルにして読出ゲート22を閉じ、図4の時刻T1〜T9のタイミングに示された、φV1〜φV8のパルスを印加することにより、垂直転送部23内のA0−1期間に蓄積した信号電荷が垂直転送部23内を順方向に読出ゲート22が存在しないゲート下のパケットに転送され、ゲートV1及びV5下の信号電荷は空となる。
【0060】
続いて、図3及び図4に示すように、距離画像フレームの第二の発光露光期間(A1−1期間)は、φV1及びφV5をHighレベルにして読出ゲート22を開いた状態で、光源部1が制御部3からの発光信号を受信して光を照射するタイミングに対して、受光領域21が制御部3から第一の遅延時間と異なる第二の遅延時間を経た露光信号φSUBを受信し、そのLowレベルの期間で露光を行う。
【0061】
本実施の形態の場合、図6に示すように、第二の露光信号(φSUBがLowレベル)期間の長さは、発光信号期間の長さ及び第一の露光信号期間の長さと同じTであり、第二の遅延時間は、第一の遅延時間0と第一の露光信号期間とを足したTに設定している。
【0062】
本実施の形態の場合、図6に示すように、この第二の発光露光をm回繰り返して、当該露光により発生した電荷を垂直転送部23の読出ゲート22であるゲートV1下のパケット及びゲートV5下のパケットに蓄積する。その後、φV1及びφV5をMiddleレベルにして読出ゲート22を閉じて、図4の時刻T10〜T18のタイミングに示す、φV1〜φV8のパルスを印加することにより、垂直転送部23内のA0−1期間に蓄積した信号電荷とA1−1期間に蓄積した信号電荷とが垂直転送部23内を順方向に読出ゲート22が存在しないゲート下のパケットに転送され、ゲートV1及びV5下の信号電荷は再び空となる。
【0063】
続いて図3及び図5に示すように、距離画像フレームの第三の発光露光期間(A2−1期間)は、φV1及びφV5をHighレベルにして読出ゲート22を開いた状態で、光源部1からの光照射を停止して、受光領域21が制御部3から露光信号φSUBを受信し、そのLowレベルの期間で露光を行う。本実施の形態の場合、この期間の露光信号(φSUBがLowレベル)期間の長さは、第一の露光信号期間や第二の露光信号期間の長さと同じT、に設定している。
【0064】
本実施の形態の場合、図6に示すように、この第三の発光露光をm回繰り返して、当該露光により発生した電荷を垂直転送部23の読出ゲート22であるゲートV1下のパケット及びゲートV5下のパケットに蓄積する。その後、φV1及びφV5をMiddleレベルにして読出ゲート22を閉じて、図5の時刻T19〜T36のタイミングに示す、φV1〜φV8のパルスが印加される。これにより、垂直転送部23内のA0−1期間に蓄積した信号電荷と、A1−1期間に蓄積した信号電荷と、A2−1期間に蓄積した信号電荷とが、垂直転送部23内で逆方向にA0−1期間に蓄積された信号電荷が、読出ゲート22が存在するパケットに来るように電荷が転送される。
【0065】
この時、A0−1期間に蓄積した信号電荷と、A1−1期間に蓄積した信号電荷と、A2−1期間に蓄積した信号電荷との3種類が混合することなく、独立して垂直転送部23内のパケットに格納される。
【0066】
次に、図3及び図5に示すように、1回目の第一の発光露光期間(A0−1期間)と同様の動作をもう一度繰り返して、2回目の第一の発光露光期間(A0−2期間)とする。つまり、A0−1期間の信号電荷とA0−2期間の信号電荷とが垂直転送部23内で加算されて格納されることになる。次に、図5の時刻T1〜T9タイミングに示された、φV1〜φV8のパルスが印加されることにより、垂直転送部23内のA0−1期間およびA0−2期間に蓄積した信号電荷と、A1−1期間に蓄積した信号電荷と、A2−1期間に蓄積した信号電荷とが、垂直転送部23内で順方向に転送され、A1−1期間に蓄積された信号電荷が、読出ゲート22が存在するパケットに来る。
【0067】
以下、図3に示すとおり、同様の動作を繰り返すことで、2回目の第二の発光露光期間(A1−2期間)に、上記1回目の第二の発光露光期間(A1−1期間)と同様の動作で露光することによりA1−1期間に蓄積された信号電荷とA1−2期間に蓄積された信号電荷とが垂直転送部23内で加算されることになる。また、2回目の第三の発光露光期間(A2−2期間)に、上記1回目の第三の発光露光期間(A2−1期間)と同様の動作で露光することによりA2−1期間に蓄積された信号電荷とA2−2期間に蓄積された信号電荷とが垂直転送部23内で加算されることになる。
【0068】
その後、図6に示すように、この一連の動作を合計N回繰り返した後、距離転送期間で垂直転送部23の転送と水平転送部24の転送とを順次繰り返して、上記電荷を出力アンプ25で電圧信号に変換して出力し、撮像信号にして信号処理部4に出力する。
【0069】
続いて、図6を用いて、本実施の形態に係る撮像装置10の距離画像フレームにおける測距動作の詳細を説明する。
【0070】
図6の(a)は、発光信号、照射光、第一〜第三の露光信号(φSUB)、及び読出信号(φV1,φV5)の1画面におけるタイミング関係の例を示している。本実施の形態の場合、第一〜第三の発光露光期間における発光信号及び露光信号の繰り返しがm回で、一連のタイミングを1セットとし、これをNセット繰り返し出力した後、蓄積された露光信号を出力する。ここで、第一の露光信号による露光量a0の総和をA0、第二の露光信号による露光量a1の総和をA1、第三の露光信号による露光量a2の総和をA2とする。そうすると、本実施の形態の場合、第三の発光露光期間では光源部1からの光照射を停止するので、A2は背景光のみである。このため、光速(299,792,458m/s)をcとすると、信号処理部4では、画素毎に以下の式1の演算を行うことにより、被写体までの距離Lを算出できる。
【0071】
【数1】
【0072】
このように距離画像フレーム期間では、露光の制御を、φV1及びφV5をHighレベルにして読出ゲート22を開いた状態で、基板電圧(SUB)を制御する信号φSUBのみで行う。
【0073】
したがって、全ての受光領域21に対して同時に、高速で、高精度に露光制御を実現し、上記の式1におけるA0、A1、A2の精度が高くなり、従って精度の高い距離画像を得るための信号を実現することができる。
【0074】
続いて、図3及び図7に示すように、輝度画像フレームの輝度露光期間(YIR期間)は、φV1及びφV5をMiddleレベルにして読出ゲート22を閉じた状態で、制御部3からの露光信号φSUBを、一旦Highレベルにして受光領域21に蓄積している電荷を全て半導体基板(外部)に排出した後、Lowレベルに戻す。
【0075】
続いて、制御部3で発生する発光信号に従って光源部1から、所定の時間、光を連続照射し、被写体からの反射光を受光領域21で露光して電荷を蓄積し、光源部1からの光の照射終了から所定時間の後にφV1及びφV5をHighレベルにして読出ゲート22を開く。これにより、受光領域21に蓄積している電荷を垂直転送部23の読出ゲート22であるゲートV1下のパケット及びゲートV5下のパケットに読出す。読出しが終了すれば、φV1及びφV5をMiddleレベルにして読出ゲート22を閉じて、図7の時刻T1〜T9のタイミングに示された、φV1〜φV8のパルスを印加する。これにより、垂直転送部23内のYIR期間に蓄積した信号電荷が垂直転送部23内で順方向に読出ゲート22が存在しないゲート下のパケットに転送され、ゲートV1及びV5下の信号電荷は空となる。
【0076】
光源部1からの光の照射終了からφV1及びφV5をHighレベルにするまでの時間は、撮像したい被写体のうち最も遠いものでの反射光の光路による遅延を考慮して設定すればよい。ここで、露光期間は、制御部3からの露光信号φSUBを、HighレベルからLowレベルにしたところで始まり、φV1及びφV5をHighレベルにして読出ゲート22を開いたところで終了することになる。
【0077】
従って、当該露光で蓄積された信号電荷は、被写体からの反射光と露光期間内にわたる背景光とによるものであり、そのイメージは、図3のSignalで示された通りである。
【0078】
続いて、図3及び図7に示すように、輝度画像フレームの輝度背景光露光期間(YBG期間)は、φV1及びφV5をMiddleレベルにして読出ゲート22を閉じた状態で、制御部3からの露光信号φSUBを、一旦Highレベルにして受光領域21に蓄積している電荷を全て半導体基板(外部)に排出した後、Lowレベルに戻す。
【0079】
続いて、光源部1からの光の照射を停止し、受光領域21で露光して電荷を蓄積し、所定時間の後にφV1及びφV5をHighレベルにして読出ゲート22を開く。これにより、受光領域21に蓄積している電荷を、垂直転送部23の読出ゲート22であるゲートV1下のパケット及びゲートV5下のパケットに読出す。読出しが終了すれば、φV1及びφV5をMiddleレベルにして読出ゲート22を閉じる。
【0080】
この時、YIR期間に蓄積された信号電荷と、YBG期間に蓄積された信号電荷の2種類が混合することなく、独立して垂直転送部23内のパケットに格納される。
【0081】
ここで、輝度背景光露光期間(YBG期間)の露光期間は、制御部3からの露光信号φSUBをHighレベルからLowレベルにしたところで始まり、φV1及びφV5をHighレベルにして読出ゲート22を開いたところで終了することになる。
【0082】
本実施の形態の場合、輝度背景光露光期間(YBG期間)の露光期間の長さは、輝度露光期間(YIR期間)の露光期間の長さと同じにしている。従って、当該露光で蓄積された信号電荷は、露光期間内にわたる背景光によるものであり、その露光量は輝度露光期間(YIR期間)で露光された信号に含まれる背景光と同じであり、そのイメージは図3のSignalで示された通りである。
【0083】
その後、輝度転送期間において垂直転送部23の転送と水平転送部24の転送とを順次繰り返し、上記電荷を出力アンプ25で電圧信号に変換して出力し、撮像信号にして信号処理部4に出力する。信号処理部4では、輝度画像を得る演算において、輝度露光期間(YIR期間)で露光された信号から輝度背景光露光期間(YBG期間)で露光された信号を減算する。
【0084】
このように、輝度画像フレームでは、読出ゲート22を開いているのは、電荷を受光領域21から垂直転送部23に読出す時だけであるので、読出ゲート22が開いている時間に起因するノイズが少ない、高画質な輝度画像を得ることができる。
【0085】
さらに、輝度露光期間に光源部1から光を照射して輝度画像を得る演算において、輝度露光期間(YIR期間)で露光された信号から輝度背景光露光期間(YBG期間)で露光された信号を減算するので、光源部1から照射した光の被写体からの反射光による輝度情報のみの輝度画像が得られ、画質の背景光依存を更に抑えることができる。これに加え、光源部1から照射する光(照射光)の波長に対する被写体の吸収、蛍光、反射率で決まる特異的な輝度画像を得ることができるので、さまざまな特異的な3次元検知や測定を高精度に実現することができる。
【0086】
例えば、赤外光を使用することで、可視光では検出が困難な被写体、例えば血管の高精度な3次元測定、高精度かつ高画質な被写体の形態の立体表示、描写などを実現することができる。
【0087】
また、さらに、距離画像フレームにおける発光信号に対して被写体からの反射光を受光する露光信号のタイミングが各々異なる複数の露光期間で得られる画素毎の信号を蓄積する手段、及び、輝度画像フレームにおける画素毎に光源からの光を照射する時と照射しない時との信号を蓄積する手段として、垂直転送部23に既に構成されている複数パケットを利用することができる。したがって、追加で信号蓄積手段を形成することが不要となり、同じ面積であれば受光領域21を大きく形成でき、飽和感度を大きくすることが可能となる。これにより、最大受光量が大きくなり、高精度な距離画像と高画質な輝度画像とを実現できる。
【0088】
以上、本実施の形態に係る撮像装置10によれば、固体撮像素子20の同一画素27から得られる高精度な距離画像と輝度画像とを用いて演算により3次元の検知ないし測定が行われる。つまり、固体撮像素子の同一画素から得られる距離画像からの距離情報と輝度画像からの輝度情報とを併用して演算するので、例えば、ポイントクラウドなどの被写体の形態の立体検出、表示、描写を、高精度かつ高画質に実現し、高精度な視線方向検出、高精度なジェスチャー認識、高精度な障害物検知、高精度な路面検知など、高精度な3次元検知や測定を実現することができる。
【0089】
また、本実施の形態に係る撮像装置10は、画素27毎に異なる信号を蓄積する複数の信号蓄積部として、垂直転送部に既に構成されている複数パケットを利用することができる。したがって、追加で信号蓄積手段を形成することが不要となり、同じ面積であれば受光領域21(フォトダイオード)を大きく形成でき、飽和感度を大きくすることが可能となる。よって、最大受光量が大きくなり、高精度な距離画像と高画質な輝度画像を得ることができる。
【0090】
また、本実施の形態に係る撮像装置10および固体撮像素子20によれば、全受光領域21の信号電荷は、一括して縦型電荷排出ドレイン29を介して外部に排出される。言い換えると、複数の受光領域21(フォトダイオード)を一括してリセットする動作、いわゆるグローバルリセットを行うことができ、視点が一致した画像歪みのない距離画像と輝度画像とを得ることで、高い測距および被写体検知の精度を得ることができる。
【0091】
(実施の形態1の変形例1)
図8は、実施の形態1の変形例1に係る撮像装置10の動作の概略を示すタイミングチャートである。また、図9は、距離画像フレームにおける1回目の第三の発光露光期間(A2−1期間)および2回目の第一の発光露光期間(A0−2期間)のタイミングチャートである。また、図10及び図11は、それぞれ、実施の形態1の変形例1に係る撮像装置10の距離画像フレームにおける露光量を検出するタイミングの一例を説明する図である。
【0092】
図10の(a)及び図11の(a)は、制御部3が出力する発光信号(照射光)及び露光信号(φSUB)、及び読出信号(φV1、φV5)の、1つの距離画像フレームにおけるタイミング関係の例を示している。図10の(b)及び図11の(b)は、第一の発光露光期間(A0期間)における露光量a0の検出タイミングを表している。また、図10の(c)及び図11の(c)は、第二の発光露光期間(A1期間)における露光量a1の検出タイミングを表している。図10の(d)及び図11の(d)は、第三の発光露光期間(A2期間)における露光量a2の検出タイミングを表している。
【0093】
実施の形態1との差異は、距離画像フレームの第三の露光発光期間(A2)では、光源部1からの光の照射を停止せず、φV1及びφV5をHighレベルにして読出ゲート22を開いた状態で、光源部1が制御部3からの発光信号を受信して光を照射するタイミングに対して、受光領域21が制御部3から第一及び第二の遅延時間とは異なる第三の遅延時間を経た露光信号φSUBを受信し、そのLowレベルの期間で露光を行う。
【0094】
本実施の形態の場合、図10及び図11に示すように、第三の露光信号(φSUBがLowレベル)期間の長さは、発光信号期間の長さや第一及び第二の露光信号期間の長さと同じT、第三の遅延時間は、第一の遅延時間0と第一の露光信号期間Tと第二の露光期間Tとを加算した2×Tに設定している。
【0095】
すると、発光信号タイミング(照射光)に対する被写体からの反射光(反射光1、反射光2)の光路による遅延Tdが、光源部1が発光信号を受信して発光するタイミングに対する第一の露光信号φSUBの遅延時間0と第一の露光信号期間Tとを加算した値T未満である場合、図10に示すように、第三の露光信号期間は背景光のみ露光される。
【0096】
一方、発光信号タイミング(照射光)に対する被写体からの反射光(反射光1、反射光2)の光路による遅延Tdが、光源部1が発光信号を受信して発光するタイミングに対する第一の露光信号φSUBの遅延時間0と第一の露光信号期間Tとを加算した値T以上である場合、図11に示すように、第一の露光信号期間は背景光のみ露光される。
【0097】
そこで、第一の露光信号による露光量a0の総和をA0、第二の露光信号による露光量a1の総和をA1、第三の露光信号による露光量a2の総和をA2とすると、信号処理部4にて、画素毎に、A0とA2との大小関係の判定を行い、その判定結果(式2及び式4)に従って、以下の式3及び式5の演算を行うことにより、被写体までの距離Lを算出できる。
【0098】
【数2】
の場合、被写体までの距離Lは式3で算出される。
【0099】
【数3】
【0100】
【数4】
の場合、被写体までの距離Lは式5で算出される。
【0101】
【数5】
【0102】
即ち、実施の形態1では、測距範囲(限界)が、c×To/2であるのに対して、実施の形態1の変形例1では、測距範囲(限界)が、2×(c×To/2)へと2倍に広がる。
【0103】
従って、本実施の形態の変形例1では、実施の形態1と同様の効果に加え、距離画像における測距範囲が広がるので、3次元検知、測定の範囲が広がるという効果を有する。
【0104】
(実施の形態1の変形例2)
現実の撮像装置では、照射光や露光信号は理想的な矩形波ではなく一定の遷移時間を要するために信号期間の長さが理想値よりも短くなっている。特に発光素子としてレーザダイオードや発光ダイオード(LED)等は駆動負荷が比較的大きいため、照射光の遷移時間が大きくなり、露光信号よりも信号期間が短くなる傾向がある。
【0105】
図12は、実施の形態1の変形例2に係る撮像装置10の照射光の信号期間が理想値よりも短い場合の距離画像フレームにおける露光量を検出するタイミングの一例を説明する図であり、図13は、上記タイミングでの被写体の実距離に対する第一〜第三の各露光信号期間の露光量の変化を最大値で正規化して示す説明図であり、図14は、上記タイミングでの被写体の実距離と測距値との関係を示す説明図である。
【0106】
本変形例の場合、図12に示す通り、照射光の信号期間の長さが、発光信号期間の理想的な長さTよりもTnだけ短く、第一の露光信号(A0露光信号)期間の長さを、発光信号期間の理想的な長さTよりTwだけ第二の露光信号(A1露光信号)期間とオーバーラップするようにその終点を伸ばし、第二の露光信号(A1露光信号)期間の長さを、発光信号期間の理想的な長さTよりTwだけ第三の露光信号(A2露光信号)期間とオーバーラップするようにその終点を伸ばし、第三の露光信号(A2露光信号)期間の長さを、発光信号期間の理想的な長さTよりTwだけその終点を伸ばしている。
【0107】
この時、図13に示す通り、第二の露光信号による露光量の総和A1の信号量は最大値で平坦な期間が存在するので、第一と第二との露光信号期間の間、第二と第三の露光信号期間の間にオーバーラップ期間が無いと、この平坦な期間では前記の式3及び式5の分子、分母ともに変化がないため、図14の“オーバーラップ無“のグラフが示すように実距離に従って測距値が変化しない期間が生じてしまうが、本変形例のように第一〜第三の各露光信号期間の終点を伸ばして、第一と第二との露光信号期間の間、第二と第三との露光信号期間の間にオーバーラップ期間Twを設けることで、第二の露光信号による露光量の総和A1の信号量が平坦な期間では、前記の式3及び式5の分母が実距離に従って変化する。これにより、図14の”オーバーラップ有“のグラフが示すように、被写体の測距値は実距離に従って常に単調に変化して直線性が保たれ、高い測距精度が得られる。
【0108】
従って、本変形例では、実施の形態1と同様の効果に加え、距離画像における測距精度が更に高いので、3次元検知、測定が更に高精度になるという効果を有する。
【0109】
(実施の形態1の変形例3)
実際の撮像装置では、光源部1が制御部3からの発光信号を受信して光を照射するタイミングに対して第一の露光信号期間が開始するまでの遅延時間である第一の遅延時間を0にして、測距範囲を0から2×(c×To/2)で使用することはない。このため、所望の至近距離からプラス2×(c×To/2)までとなるように、上記第一の遅延時間を設定することになる。
【0110】
図15は、実施の形態1の変形例3に係る撮像装置10の距離画像フレームにおける露光量を検出するタイミングの一例を説明する図である。
【0111】
実施の形態1の変形例1との差異は、以下の通りである。つまり、光源部1が制御部3からの発光信号を受信して光を照射するタイミングに対して第一の露光信号期間が開始するまでの遅延時間である第一の遅延時間をDpに設定する。また、光源部1が制御部3からの発光信号を受信して光を照射するタイミングに対して第二の露光信号期間が開始するまでの遅延時間である第二の遅延時間は、第一の遅延時間Dpと第一の露光信号期間Tとを加算したDp+Tに設定する。また、光源部1が制御部3からの発光信号を受信して光を照射するタイミングに対して第三の露光信号期間が開始するまでの遅延時間である第三の遅延時間は、第一の遅延時間Dpと第一の露光信号期間Tと第二の露光信号期間Tとを加算したDp+2×Tに設定している。
【0112】
図16は、実施の形態1の変形例3に係る撮像装置10の発光信号と露光信号との相対位相と露光量との関係を説明する図である。より具体的には、図16は、上記タイミンミングにて被写体を所望の測距範囲の1/4、即ち測距範囲の(c×To/2)/2に固定して、第一〜第三の露光信号期間の相対位相関係は固定したまま、発光信号と露光信号との相対位相のみを走査、即ち第一の遅延時間であるDpの値を走査した時の、第一の露光信号による露光量の総和A0の信号量変化及び第二の露光信号による露光量の総和A1の信号量変化をプロットしたグラフである。第一の露光信号による露光量の総和A0は、Dpが発光信号タイミング(照射光)に対する被写体からの反射光の光路による遅延Tdに一致している時に最大となり、Dpを小さくすると露光量は小さくなり、Td−Toになると最小になる。一方、第二の露光信号による露光量の総和A1は、DpがTd−Toに一致しているとき最大となり、Dpを大きくすると露光量は小さくなり、Tdになると最小になる。Dpとして、第一の露光信号による露光量の総和A0と第二の露光信号による露光量の総和A1とが一致する点を選択すると、それはTd−To/2となり、被写体の位置が測距範囲の下限からc×To/2/2即ち測距範囲の1/4のところになるように発光信号と露光信号との相対位相が自動的に最適化されることになり、所望の範囲で高精度に測距が可能となる。
【0113】
従って、本実施の形態の変形例3では、実施の形態1と同様の効果に加え、距離画像が所望の範囲で高精度になるので、3次元検知、測定が所望の範囲にて高精度になるという効果を有する。
【0114】
(実施の形態1の変形例4)
図17は、実施の形態1の変形例4に係る撮像装置10の動作の概略を示すタイミングチャートである。実施の形態1との差異は、輝度画像フレームの輝度露光期間(YIR期間)における光源部1から照射される光が連続照射ではなく、距離画像フレームの露光期間と同様、間欠照射である。
【0115】
本実施の形態の距離画像を得る測距方式では、前述の通り測距範囲(限界)は制御部3からの1回の発光信号期間の長さTに比例し、精度はTに反比例するので、1回の発光信号期間の長さTは、必要な測距範囲と必要な精度で決定される。また、本実施の形態の距離画像を得る測距方式の場合、被写体の距離が遠く、発光信号タイミング(照射光)に対する被写体からの反射光(反射光1、反射光2)の光路による遅延が大きい場合に、その反射光(反射光1、反射光2)が露光発光動作の繰り返しの次の露光期間で露光されてしまう折り返し現象を避けるために、発光信号のデューティ比を20%としている。
【0116】
一方、輝度画像の画質は、露光における光量に依存するので、輝度画像フレームの輝度露光期間(YIR期間)における光源部1から照射される光の発光信号期間の長さとデューティ比は、光源部1を構成する光源の種類に応じてその発光強度が最大になるように設定される。
【0117】
上述のように、実施の形態1の変形例4では、実施の形態1と同様の効果に加え、輝度画像を得るための露光期間における光源部1から照射される光の発光信号期間の長さとデューティ比とは、距離画像を得るための露光期間における光源部1から照射される光の発光信号期間の長さ及びデューティ比とは、独立して光源の種類に応じてその発光強度が最大になるように設定できる。よって、更に高画質な輝度画像を実現する効果を有する。
【0118】
言い換えると、輝度画像の信号を得るための露光期間の発光デューティ比は、距離画像の信号を得るための方式には依存せず、光源の発光強度が最適になる設定を実現することができる。
【0119】
(実施の形態1の変形例5)
図18は、実施の形態1の変形例5に係る撮像装置10の動作の概略を示すタイミングチャートである。実施の形態1との差異は、輝度画像フレームの輝度露光期間(YIR期間)を、距離画像フレームにおける距離転送期間と重ねていることである。具体的には、光源部1からの光の照射終了から所定時間の後にφV1及びφV5をHighレベルにして読出ゲート22を開く。これにより受光領域21に蓄積している電荷が垂直転送部23の読出ゲート22であるゲートV1下のパケット及びゲートV5下のパケットに読出されるタイミングが、TOF転送完了以降になるように、露光開始前に受光領域21に蓄積している電荷を全て一旦半導体基板(外部)に排出するとともに露光の開始を決める動作である制御部3からの露光信号φSUBを、一旦HighレベルにしてLowレベルに戻す動作を、所望の露光期間になるように距離転送期間内に設定する。
【0120】
上述のように、実施の形態1の変形例5では、実施の形態1と同様の効果に加え、フレームレート(毎秒のフレーム数)が増加するとともに、距離画像の露光期間と輝度画像の露光期間との時間差が小さくなり、動きの早い被写体に対する3次元の検知や測定の精度を高めることができる。
【0121】
(実施の形態1の変形例6)
図19は、実施の形態1の変形例6に係る撮像装置10の動作の概略を示すタイミングチャートである。実施の形態1の変形例5との差異は、輝度画像フレームの輝度露光期間(YIR期間)と輝度背景光露光期間(YBG期間)との順番を入れ替え、輝度背景光露光期間(YBG期間)を距離画像フレームにおける距離転送期間と重ねていることである。
【0122】
これにより、実施の形態1の変形例6では、実施の形態1の変形例5と同様の効果に加え、距離転送期間では光源部1からの光の照射を停止するので、垂直転送部23に光が入射されることによる不要電荷の発生、いわゆるスミアが距離画像に重畳されることを抑える効果を有する。
【0123】
(実施の形態1の変形例7)
図20は、実施の形態1の変形例7に係る撮像装置10の動作の概略を示すタイミングチャートである。実施の形態1との差異は、輝度画像フレームにおいて、輝度露光期間が、光源部1の発光期間の長さ及び露光期間の長さが異なる2種類の露光期間である輝度露光期間1及び輝度露光期間2で構成されることである。
【0124】
具体的には、図20に示すように、輝度画像フレームの第一の輝度露光期間(YIR1期間)では、φV1及びφV5をMiddleレベルにして読出ゲート22を閉じた状態で、制御部3からの露光信号φSUBを、一旦Highレベルにして受光領域21に蓄積している電荷を全て半導体基板(外部)に排出する。その後、露光信号φSUBをLowレベルに戻す。
【0125】
続いて、制御部3で発生する発光信号に従って光源部1から所定の時間、光を連続照射し、被写体からの反射光を受光領域21で露光して電荷を蓄積する。そして、光源部1からの光の照射終了から所定時間の後に、φV1及びφV5をHighレベルにして読出ゲート22を開き、受光領域21に蓄積している電荷を垂直転送部23の読出ゲート22であるゲートV1下のパケット及びゲートV5下のパケットに読出す。当該読出しが終了すれば、φV1及びφV5をMiddleレベルにして読出ゲート22を閉じて、垂直転送部23のゲートを制御する。これにより、YIR1期間において垂直転送部23内に蓄積された信号電荷が垂直転送部23内の順方向に読出ゲート22が存在しないゲート下のパケットに転送され、ゲートV1及びV5下の信号電荷は空となる。光源部1からの光の照射終了からφV1及びφV5をHighレベルにするまでの時間は、撮像したい被写体のうち最も遠いものでの反射光の光路による遅延を考慮して設定すればよい。ここで、露光期間は、制御部3からの露光信号φSUBを、HighレベルからLowレベルにしたところで始まり、φV1及びφV5をHighレベルにして読出ゲート22を開いたところで終了することになる。従って、当該露光で蓄積された信号電荷は、被写体からの反射光及び露光期間内にわたる背景光であり、そのイメージは図20のSignalで示された通りである。
【0126】
続いて、図20に示すように、輝度画像フレームの第二の輝度露光期間(YIR2期間)では、φV1及びφV5をMiddleレベルにして読出ゲート22を閉じた状態で、制御部3からの露光信号φSUBを、一旦Highレベルにして受光領域21に蓄積している電荷を全て半導体基板(外部)に排出する。その後、露光信号φSUBをLowレベルに戻す。
【0127】
続いて、制御部3で発生する発光信号に従って光源部1から第一の輝度露光期間(YIR1期間)とは異なる所定の時間、光を連続照射し、被写体からの反射光を受光領域21で露光して電荷を蓄積する。そして、光源部1からの光の照射終了から所定時間の後に、φV1及びφV5をHighレベルにして読出ゲート22を開き、受光領域21に蓄積している電荷を垂直転送部23の読出ゲート22であるゲートV1下のパケット及びゲートV5下のパケットに読出す。当該読出しが終了すれば、φV1及びφV5をMiddleレベルにして読出ゲート22を閉じて、垂直転送部23のゲートを制御する。これにより、YIR1期間及びYIR2期間において垂直転送部23内に蓄積された信号電荷が垂直転送部23内の順方向に読出ゲート22が存在しないゲート下のパケットに転送され、ゲートV1及びV5下の信号電荷は再び空となる。光源部1からの光の照射終了からφV1及びφV5をHighレベルにするまでの時間は、第一の輝度露光期間(YIR1期間)同様、撮像したい被写体のうち最も遠いものでの反射光の光路による遅延を考慮して設定すればよい。ここで、露光期間は、第一の輝度露光期間(YIR1期間)同様、制御部3からの露光信号φSUBを、HighレベルからLowレベルにしたところで始まり、φV1及びφV5をHighレベルにして読出ゲート22を開いたところで終了することになり、その長さは第一の輝度露光期間(YIR1期間)とは異なる。従って、当該露光で蓄積された信号電荷は、被写体からの反射光及び露光期間内にわたる背景光であり、そのイメージは図20のSignalで示された通りである。
【0128】
続いて、図20に示すように、輝度画像フレームの輝度背景光露光期間(YBG期間)では、φV1及びφV5をMiddleレベルにして読出ゲート22を閉じた状態で、制御部3からの露光信号φSUBを、一旦Highレベルにして受光領域21に蓄積している電荷を全て半導体基板(外部)に排出する。その後、露光信号φSUBをLowレベルに戻す。
【0129】
続いて、光源部1からの光の照射は停止して、受光領域21で露光して電荷を蓄積し、所定時間の後、φV1及びφV5をHighレベルにして読出ゲート22を開き、受光領域21に蓄積している電荷を垂直転送部23の読出ゲート22であるゲートV1下のパケット及びゲートV5下のパケットに読出す。当該読出しが終了すればφV1及びφV5をMiddleレベルにして読出ゲート22を閉じる。
【0130】
このとき、YIR1期間に蓄積された信号電荷と、YIR2期間に蓄積された信号電荷と、YBG期間に蓄積された信号電荷の3種類が混合することなく、独立して垂直転送部23内のパケットに格納される。
【0131】
ここで、輝度背景光露光期間(YBG期間)の露光期間は、制御部3からの露光信号φSUBを、HighレベルからLowレベルにしたところで始まり、φV1及びφV5をHighレベルにして読出ゲート22を開いたところで終了することになる。本実施の形態の場合、この輝度背景光露光期間(YBG期間)における露光期間の長さは、第一の輝度露光期間(YIR1期間)における露光期間の長さと同じとしている。従って、当該露光で蓄積された信号電荷は、露光期間内にわたる背景光であり、その露光量は第一の輝度露光期間(YIR1期間)で露光された信号に含まれる背景光と同じであり、第二の輝度露光期間(YIR2期間)で露光された信号に含まれる背景光とは露光期間の長さの差異分だけ異なり、そのイメージは図20のSignalで示された通りである。
【0132】
その後、輝度転送期間において、垂直転送部23の転送と水平転送部24の転送とを順次繰り返して、上記電荷を出力アンプ25で電圧信号に変換して出力し、撮像信号にして信号処理部4に出力する。信号処理部4では、輝度画像を得る演算において、第一の輝度露光期間(YIR1期間)で露光された信号と第二の輝度露光期間(YIR2期間)で露光された信号との合成及び輝度背景光露光期間(YBG期間)で露光された信号の減算を露光期間の長さの差異を考慮して行う。
【0133】
これにより、実施の形態1の変形例7では、実施の形態1と同様の効果に加え、輝度画像における、特に光源部に近い被写体の飽和を抑えられるので、近い被写体から遠い被写体まで高画質な輝度画像を得ることができる。
【0134】
(実施の形態2)
図21は、実施の形態2に係る撮像装置10の動作の概略を示すタイミングチャートである。より具体的には、図21は、1フレーム期間内で、左右に隣接する2つの受光領域21で発生された信号電荷を垂直転送部23に読み出し、垂直転送する駆動タイミングの一例を示している。
【0135】
図21には、垂直同期パルスVDと、露光信号であるφSUBと、垂直転送部23を構成するゲートV1〜V8のうち読出ゲート22と共用されているφV1及びφV5と、光源部1から照射される赤外光(照射光)と、被写体で反射された反射光と、背景光と、受光領域21で発生した信号電荷のイメージを示すSignalとが示されている。実施の形態1との差異は、1フレーム期間内の露光期間としては、第二の発光露光期間(A1期間)、輝度露光期間(YIR期間)及び輝度背景光露光期間(YBG期間)の3種類で構成され、距離画像を得る信号の露光は第二の発光露光期間(A1期間)のみである。上記3種類の異なる露光で得られた信号電荷は、独立して垂直転送部23内のパケットに格納され、1度の転送期間で転送される。
【0136】
具体的には、垂直同期パルスVDは毎秒複数フレームであり、各1フレーム期間は、第二の発光露光期間(A1期間)と、輝度露光期間(YIR期間)と、輝度背景光露光期間(YBG期間)と、これら3種類の露光で蓄積した3種類の信号を転送し撮像信号を信号処理部4に出力する転送期間とで構成される。
【0137】
第二の発光露光期間(A1期間)は、制御部3で発生する発光信号に従って光源部1から照射される光の照射タイミングに対して異なる位相を有し、当該期間では、受光領域21にて被写体までの距離に応じて遅延した反射光の露光を指示する制御部3からの露光信号φSUBのタイミングで露光する。
【0138】
輝度露光期間(YIR期間)では、制御部3で発生する発光信号に従って光源部1から光を照射し、被写体からの反射光を受光領域21で露光する。
【0139】
輝度背景光露光期間(YBG期間)では、光源部1からの光照射を停止して背景光のみを受光領域21で露光する。
【0140】
転送期間では、これら3種類の露光で蓄積した3種類の信号を転送し撮像信号を信号処理部4に出力する。
【0141】
図22は、実施の形態2に係る撮像装置10の動作の詳細を示すタイミングチャートである。また、図23は、実施の形態2に係る撮像装置10における露光量を検出するタイミングの一例を説明する図である。
【0142】
より具他的には、図23の(a)は、制御部3が出力する発光信号(照射光)及び露光信号(φSUB)、ならびに読出信号(φV1、φV5)の1つのフレームにおけるタイミング関係の例を表している。また、図23の(b)は、第二の発光露光期間(A1期間)における露光量a1の検出タイミングを表している。また、図23の(c)は、輝度露光期間(YIR期間)における露光量の総和YIRの検出タイミングを表している。また、図23の(d)は、輝度背景光露光期間(YBG期間)における露光量の総和YBGの検出タイミングを表している。
【0143】
図21及び図22に示すように、第二の発光露光期間(A1期間)は、φV1及びφV5をHighレベルにして読出ゲート22を開いた状態で、光源部1が制御部3からの発光信号を受信して光を照射するタイミングに対して、受光領域21が制御部3から第二の遅延時間を経た露光信号φSUBを受信し、そのLowレベルの期間で露光を行う。本実施の形態の場合、図23に示すように、第二の露光信号(φSUBがLowレベル)期間の長さ及び第二の遅延時間は、発光信号期間の長さと同じTに設定している。
【0144】
本実施の形態の場合、図23に示すように、第二の発光露光を、トータルの露光時間が実施の形態1と同じになるようにm×N回繰り返し、当該露光により発生した電荷を垂直転送部23の読出ゲート22であるゲートV1下のパケット及びゲートV5下のパケットに蓄積する。その後、φV1及びφV5をMiddleレベルにして読出ゲート22を閉じて、図22の時刻T1〜T9のタイミングに示された、φV1〜φV8のパルスを印加する。これにより、垂直転送部23内のA1期間に蓄積した信号電荷を、垂直転送部23内で順方向に、読出ゲート22が存在しないゲート下のパケットに転送され、ゲートV1及びV5下の信号電荷は空となる。
【0145】
続いて、図21及び図22に示すように、輝度露光期間(YIR期間)は、φV1及びφV5をMiddleレベルにして読出ゲート22を閉じた状態で、受光領域21に蓄積している電荷を全て半導体基板(外部)に排出する。その後、制御部3からの露光信号φSUBをLowレベルにする。続いて、制御部3で発生する発光信号に従って、光源部1から所定の時間、光を連続照射し、被写体からの反射光を受光領域21で露光して電荷を蓄積する。そして、光源部1からの光の照射終了から所定時間の後に、φV1及びφV5をHighレベルにして読出ゲート22を開き、受光領域21に蓄積している電荷を垂直転送部23の読出ゲート22であるゲートV1下のパケット及びゲートV5下のパケットに読出す。当該読出しが終了すれば、φV1及びφV5をMiddleレベルにして読出ゲート22を閉じて、図22の時刻T10〜T18のタイミングに示された、φV1〜φV8のパルスを印加する。これにより、垂直転送部23内のA1期間に蓄積された信号電荷と、YIR期間に蓄積された信号電荷とが垂直転送部23内で順方向に、読出ゲート22が存在しないゲート下のパケットに転送され、ゲートV1及びV5下の信号電荷は再び空となる。光源部1からの光の照射終了から、φV1及びφV5をHighレベルにするまでの時間は、撮像したい被写体のうち最も遠いものでの反射光の光路による遅延を考慮して設定すればよい。ここで、露光期間は、制御部3からの露光信号φSUBをLowレベルにしたところで始まり、φV1及びφV5をHighレベルにして読出ゲート22を開いたところで終了することになる。従って、当該露光で蓄積された信号電荷は、被写体からの反射光及び露光期間内にわたる背景光によるものであり、そのイメージは、図21のSignalで示された通りである。本実施の形態の場合、図23に示すように、光源部1からの光の照射期間はm×N×Tに設定され、光源部1からの光の照射終了からφV1及びφV5をHighレベルにするまでの時間はTに設定されているので、露光期間の長さは(m×N+1)×Tとなる。
【0146】
続いて図21及び図22に示すように、輝度背景光露光期間(YBG期間)は、φV1及びφV5をMiddleレベルにして読出ゲート22を閉じた状態で、制御部3からの露光信号φSUBを、一旦Highレベルにして受光領域21に蓄積している電荷を全て半導体基板(外部)に排出する。その後、露光信号φSUBをLowレベルに戻す。続いて、光源部1からの光の照射を停止し、受光領域21で露光して電荷を蓄積し、所定時間の後にφV1及びφV5をHighレベルにして読出ゲート22を開き、受光領域21に蓄積している電荷を垂直転送部23の読出ゲート22であるゲートV1下のパケット及びゲートV5下のパケットに読出す。当該読出しが終了すれば、φV1及びφV5をMiddleレベルにして読出ゲート22を閉じる。
【0147】
このとき、A1期間に蓄積された信号電荷と、YIR期間に蓄積された信号電荷と、YBG期間に蓄積された信号電荷の3種類が混合することなく、独立して垂直転送部23内のパケットに格納される。
【0148】
ここで、輝度背景光露光期間(YBG期間)の露光期間は、制御部3からの露光信号φSUBをHighレベルからLowレベルにしたところで始まり、φV1及びφV5をHighレベルにして読出ゲート22を開いたところで終了することになる。本実施の形態の場合、輝度背景光露光期間(YBG期間)の露光期間の長さは、図23に示すように、輝度露光期間(YIR期間)の露光期間の長さと同じ(m×N+1)×Tにしている。従って、当該露光で蓄積された信号電荷は露光期間内にわたる背景光であり、その露光量は輝度露光期間(YIR期間)で露光された信号に含まれる背景光と同じであり、そのイメージは図21のSignalで示された通りである。
【0149】
その後、転送期間で垂直転送部23の転送と水平転送部24の転送とを順次繰り返し、上記電荷を出力アンプ25で電圧信号に変換して出力し、撮像信号にして信号処理部4に出力する。信号処理部4では、輝度画像を得る演算において、輝度露光期間(YIR期間)で露光された信号から輝度背景光露光期間(YBG期間)で露光された信号を減算する。
【0150】
このように輝度画像を得るための信号YIR及びYBGの撮像動作では、読出ゲート22を開いているのは、電荷を受光領域21から垂直転送部23に読出す時だけである。よって、読出ゲート22が開いている時間に起因するノイズが少ない、高画質な輝度画像を得ることができる。
【0151】
続いて、図23を用いて、本実施の形態に係る撮像装置10の距離画像を得る信号の測距動作の詳細を説明する。
【0152】
図23の(a)は、発光信号(照射光)、露光信号(φSUB)、及び読出信号(φV1、φV5)の1画面におけるタイミング関係の例を示している。本実施の形態の場合、第二の発光露光期間(A1期間)における発光信号及び露光信号の繰り返しがm×N回であり、輝度露光期間(YIR期間)における光源部1からの光の照射期間はm×N×Tであり、光源部1からの光の照射終了からφV1及びφV5をHighレベルにするまでの時間はTであり、露光期間の長さは(m×N+1)×Tであり、輝度背景光露光期間(YBG期間)の露光期間の長さは(m×N+1)×Tである。
【0153】
ここで、第二の露光信号による露光量a1の総和をA1とし、輝度露光期間の露光量の総和をYIRとし、輝度背景光露光期間の露光量の総和をYBGとする。本実施の形態の場合、第二の発光露光期間における光の総照射期間と輝度露光期間の光の照射期間とは、発光信号(照射光)及び露光信号(φSUB)の立ち上がり時間と立ち下がり時間とがゼロである場合、共に同じm×N×Tである。このため、YIRからYBGを減算した結果は、第二の発光露光期間に照射された光の反射光を全て露光した総和と等しく、またA1に含まれる背景光は、YBGの(m×N)/(m×N+1)倍である。しかし実際の発光信号(照射光)及び露光信号(φSUB)は立ち上がり時間と立ち下がり時間とを持つために、期間Tの繰り返し回数がm×N回であっても、連続のm×N×Tとは必ずしも同じ時間量にはならない。このため、その差異の補正が必要であり、その補正係数をaとする。よって、光速(299,792,458m/s)をcとすると、信号処理部4では画素毎に以下の式6の演算を行うことにより、被写体までの距離Lを算出できる。
【0154】
【数6】
【0155】
なお、実施の形態1及びその変形例で得られる同様の信号でもこの同じ演算を行ってもよい。
【0156】
上記式6において、被写体までの距離によって値が変化するA1を得る撮像動作は、露光の制御を、φV1及びφV5をHighレベルにして読出ゲート22を開いた状態で、基板電圧(SUB)を制御する信号φSUBのみで行うので、全ての受光領域21に対して同時に、高速で、高精度に露光制御を実現できる。よって、上記の式6におけるA1の精度が高くなり、従って精度の高い距離画像を得るための信号を実現することができる。
【0157】
さらに、上記式6において、被写体までの距離によって値が変化しないYIR及びYBGを得る撮像動作では、読出ゲート22を開いているのは、電荷を受光領域21から垂直転送部23に読出す時だけであるので、読出ゲート22が開いている時間に起因するノイズが少なく、演算で算出される距離Lの偏差が小さくなる。
【0158】
上述したように、本実施の形態では、実施の形態1と同様の効果に加え、演算で算出される距離Lの偏差が小さくなるので、距離画像の精度が更に高くなり、より精度の高い3次元の検知や測定を実現することができる。
【0159】
さらに、フレームレート(毎秒のフレーム数)が増加するとともに、距離画像の露光期間と輝度画像の露光期間との時間差が小さくなるので、動きの早い被写体に対する3次元の検知や測定の精度を高めることができる。
【0160】
(まとめ)
なお、上述した実施の形態は全て、距離画像を得る方式としてはTOF方式の中でも発光露光の繰り返しにおいて露光をしない位相が存在する矩形波型TOF方式を例にしたが、これに限られない。正弦波あるいは矩形波に変調された光源に対して、位相が90度ごと異なる4位相の露光タイミングで得られた信号から演算で距離画像を得る変調型TOF方式(照射光が正弦波)、矩形波変調型TOF方式(照射光が矩形波)、さらには被写体に投影した単一のランダムなドットで構成された投影パターンの移動量から画像処理で距離を演算するパターン照射方式など他の方式であってもよい。
【0161】
また、上述した実施の形態は、固体撮像素子としてCCD型イメージセンサを用いて説明したが、本発明に用いられる固体撮像素子は、それに限定されるものではなく、その他のイメージセンサ(一例として、CMOS型イメージセンサ、または、光電変換膜を備えるイメージセンサ)を用いることができ、本発明の効果を得ることができる。なお、本実施の形態では、画素27内で電荷が電圧に変換されるイメージセンサをCMOS型イメージセンサと称する。
【0162】
図24は、本実施の形態に係る固体撮像素子20の一例として、CMOS型イメージセンサの構成を示す図であり、撮像部2がこの固体撮像素子20を備える。ここでは、本発明の理解を容易とするため、垂直方向に2画素分及び水平方向に2画素分のみを示している。なお、本実施の形態に係るCMOS型イメージセンサ(図24)とCCD型イメージセンサ(図2A)との比較において、図24の受光領域31は図2Aの受光領域21に相当し、図24の電荷蓄積部32は図2Aの垂直転送部21に相当し、図24の読み出し部36は読出ゲート22に相当する。
【0163】
図24に示すように、複数の受光領域(受光部、光電変換部、一例として、フォトダイオード)31と、各々の受光領域31には露光を制御する露光制御部33を介して不要な電荷を排出するオーバーフロードレイン34と、左右に複数(一例として2つ)の電荷の読み出しを制御する読み出し部36を介して、左右隣り合う受光領域31間で共通の電荷を蓄積する電荷蓄積部32を備え、受光領域31の同じ側の隣り合う2つの電荷蓄積部32の間は、電荷の転送を制御する転送制御部35を備え、隣り合う2つの電荷蓄積部32のうち一方の転送制御部35とは反対側は、出力部38を介して、隣り合う他の電荷蓄積部32と共通の電荷を電圧に変換するフローティングディフージョン37に接続される。
【0164】
ここで、距離画像フレームでは、受光領域31ごとに、光源部1が制御部3からの発光信号を受信して光を照射するタイミングに対して各々異なる複数のタイミングの露光信号期間で露光して発生した電荷は異なる電荷蓄積部32に蓄積した後、転送制御部35と出力部38とを制御してフローティングディフージョン37で電圧に変換して、順次出力される。一方、輝度画像フレームでは、露光制御部33と出力の制御とを線順次で走査(いわゆるローリングシャッター)することで、受光領域31で発生した電荷は、電荷蓄積部32に留まることなく直接フローティングディフージョン37で電圧に変換して、順次出力されるので、電荷蓄積部に電荷が留まることに起因するノイズによる画像劣化が発生しない。
【0165】
従って、固体撮像素子としてCMOS型イメージセンサを用いても、CCD型イメージセンサを用いた場合と同様、本発明の効果を得ることができる。
【0166】
また、上述した実施の形態では、輝度画像は、露光期間に光源部1から光を照射することで得られる場合を例にしたが、光照射を露光期間に行わなくてもよい。
【0167】
また、上述した実施の形態は、測距精度を向上するために、背景光を露光(受光)する場合を説明したが、背景光を露光(受光)せずに照射光を露光(受光)するのみの場合でも本発明の効果を得ることができる。
【0168】
また、上記実施の形態では、撮像装置について説明したが、本開示の撮像装置の構成は、距離情報により距離を測定する撮像装置に留まらず、その他の物理量(例:形状、温度、放射線濃度など)を精度よく検知する物理量検知装置や、撮像したデータを精度良く描写させる撮像装置にも適用することが可能である。
【0169】
(その他の実施の形態)
以上、本開示の撮像装置及び固体撮像素子について、上記実施の形態及びその変形例に基づいて説明してきたが、本開示の撮像装置及び固体撮像素子は、上記実施の形態及びその変形例に限定されるものではない。上記実施の形態及びその変形例における任意の構成要素を組み合わせて実現される別の実施の形態や、上記実施の形態及びその変形例に対して本発明の主旨を逸脱しない範囲で当業者が思いつく各種変形を施して得られる変形例や、本開示の撮像装置及び固体撮像素子を内蔵した各種機器も本発明に含まれる。
【産業上の利用可能性】
【0170】
本発明に係る撮像装置は、周辺環境に依存することなく、被写体の高精度な3次元の検知、測定が実現できるため、例えば、ポイントクラウドなど、人物、建物、人体や動植物の器官・組織などの形態を立体検出、表示、描写や、視線方向検出、ジェスチャー認識、障害物検知、路面検知などに有用である。
【符号の説明】
【0171】
1 光源部
2 撮像部
3 制御部
3A 露光信号制御部
3B 発光信号制御部
4 信号処理部
10 撮像装置
20 固体撮像素子
21 受光領域(受光部、光電変換部)
22 読出ゲート(読み出し部)
23 垂直転送部(第1の転送部、信号蓄積部)
24 水平転送部(第2の転送部、信号蓄積部)
25 出力アンプ
26 SUB端子
27 画素
28 チャネルストップ
29 縦型電荷排出ドレイン
31 受光領域(受光部、光電変換部)
32 電荷蓄積部(信号蓄積部、転送部)
33 露光制御部
34 オーバーフロードレイン
35 転送制御部
36 読み出し部
37 フローティングディフュージョン
38 出力部
図1
図2A
図2B
図2C
図2D
図2E
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13
図14
図15
図16
図17
図18
図19
図20
図21
図22
図23
図24

【手続補正書】
【提出日】2018年7月19日
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
照射光の照射を指示する発光信号と、物体からの反射光の露光を指示する露光信号とを発生する制御部と、前記発光信号により前記照射光の照射を行う光源部と、固体撮像素子を備える撮像部と、を備える撮像装置であって、
前記固体撮像素子は画素を有し、前記照射光が照射されることにより、距離画像を生成するための距離撮像信号、及び、輝度画像を生成するための輝度撮像信号を、共通の前記画素から生成し、
前記制御部は、前記距離撮像信号または前記輝度撮像信号の信号電荷を蓄積させる露光期間、及び、転送させる転送期間、の少なくとも一方を、距離画像フレームと輝度画像フレームとに分けて設定し、
前記信号電荷を蓄積、及び、転送する駆動の少なくとも一方を、前記距離画像フレームと前記輝度画像フレームとで異ならせる
撮像装置。
【請求項2】
前記画素は、受光部と信号蓄積部とを有し、
前記距離画像フレームでは、前記信号電荷を前記信号蓄積部下のパケットに蓄積し、
前記輝度画像フレームでは、前記信号電荷を前記受光部に蓄積する
請求項1に記載の撮像装置。
【請求項3】
記受光部および前記信号蓄積部の間に、前記信号電荷の転送を制御する転送制御部を備える
請求項に記載の撮像装置。
【請求項4】
前記輝度撮像信号は、前記距離撮像信号と同じ波長帯の信号である
請求項1〜3のいずれか1項に記載の撮像装置。
【請求項5】
演算により距離画像と輝度画像とを出力する信号処理部を備え、
前記固体撮像素子は、
前記照射光の未照射時に得られ、前記輝度撮像信号と同じ波長帯の第2撮像信号を生成し、
前記信号処理部は、前記輝度画像を得るために、前記輝度撮像信号から前記第2撮像信号を減算する
請求項1〜4のいずれか1項に記載の撮像装置。
【請求項6】
前記輝度画像フレームは、前記輝度撮像信号を得る輝度露光期間と、前記第2撮像信号を得る輝度背景光露光期間と、を有する
請求項5に記載の撮像装置。
【請求項7】
前記第2撮像信号は、前記距離撮像信号と同じ波長帯の信号であり、
前記信号処理部は、前記距離画像を得るために、前記距離撮像信号と前記第2撮像信号を用いて演算を行う
請求項5または6に記載の撮像装置。
【請求項8】
演算により距離画像と輝度画像とを出力する信号処理部を備え、
前記固体撮像素子は、前記照射光の未照射時に得られる前記距離撮像信号と同じ波長帯の第2撮像信号を生成し、
前記輝度撮像信号は、前記距離撮像信号と同じ波長帯であり、
前記信号処理部は、前記輝度撮像信号、及び、前記第2撮像信号の少なくとも一方を、前記距離画像を得る演算に使用する
請求項1〜4のいずれか1項に記載の撮像装置。
【請求項9】
前記距離画像フレームは、前記照射光が照射され前記露光が行われる期間と、前記照射光が未照射で前記露光が行われる期間と、を有する
請求項1〜8のいずれか1項に記載の撮像装置。
【請求項10】
前記輝度画像は、前記距離画像と同じ波長帯の画像である
請求項1〜9のいずれか1項に記載の撮像装置。
【請求項11】
前記照射光は、750nmから4000nmの波長を有する赤外光であり、
前記撮像部は、さらに、前記照射光の波長近傍を通過させる光学的バンドパスフィルタ(帯域通過フィルタ)を備える
請求項1〜10のいずれか1項に記載の撮像装置。
【請求項12】
前記画素は、受光部と、前記受光部毎に異なる複数の信号蓄積部を有し、
前記制御部は、前記受光部毎に異なる複数の信号蓄積部の少なくとも2つの信号蓄積部のそれぞれに露光を行う前記露光信号のタイミングを、前記発光信号のタイミングに対して互いに異なるように設定する
請求項1〜11のいずれか1項に記載の撮像装置。
【請求項13】
前記制御部は、前記露光信号と前記発光信号との位相関係を、前記距離画像が得られる測距範囲内に置いた物体からの反射光による露光量が互いに等しくなるように、設定する
請求項12に記載の撮像装置。
【請求項14】
異なる前記信号蓄積部には、異なる露光時間で露光した前記輝度画像を得るための信号が蓄積される
請求項12または13に記載の撮像装置。
【請求項15】
前記制御部は、前記露光信号のタイミングを、互いにオーバーラップの期間を有するように設定する
請求項1〜14のいずれか1項に記載の撮像装置。
【請求項16】
前記制御部は、前記発光信号のデューティ比が、前記距離画像の信号を得るための露光期間と、輝度画像の信号を得るための露光期間とで異ならせる
請求項1〜15のいずれか1項に記載の撮像装置。
【請求項17】
前記撮像装置は、前記距離画像と前記輝度画像とを用いて、演算により3次元の物体検知または物体測定を行う
請求項1〜16のいずれか1項に記載の撮像装置。
【請求項18】
前記距離画像を得る方式は、TOF(time of flight)方式である
請求項1〜17のいずれか1項に記載の撮像装置。
【請求項19】
照射光の照射を指示する発光信号と、物体からの反射光の露光を指示する露光信号とを発生する制御部と、前記発光信号により前記照射光の照射を行う光源部と、固体撮像素子を備える撮像部と、を備え、
前記制御部は、距離撮像信号または輝度撮像信号の信号電荷を蓄積させる露光期間、及び、転送させる転送期間、の少なくとも一方を、距離画像フレームと輝度画像フレームとに分けて設定し、前記信号電荷を蓄積、及び、転送する駆動の少なくとも一方を、前記距離画像フレームと前記輝度画像フレームとで異ならせる、
撮像装置に用いられる固体撮像素子であって、
前記固体撮像素子は画素を有し、前記照射光が照射されることにより、距離画像を生成するための前記距離撮像信号、及び、輝度画像を生成するための前記輝度撮像信号を、共通の前記画素から生成する
固体撮像素子。
【手続補正2】
【補正対象書類名】明細書
【補正対象項目名】0007
【補正方法】変更
【補正の内容】
【0007】
上記課題を解決するために、本発明の一態様に係る撮像装置は、照射光の照射を指示する発光信号と、物体からの反射光の露光を指示する露光信号とを発生する制御部と、前記発光信号により前記照射光の照射を行う光源部と、固体撮像素子を備える撮像部と、を備える撮像装置であって、前記固体撮像素子は画素を有し、前記照射光が照射されることにより、距離画像を生成するための距離撮像信号、及び、輝度画像を生成するための輝度撮像信号を、共通の前記画素から生成し、前記制御部は、前記距離撮像信号または前記輝度撮像信号の信号電荷を蓄積させる露光期間、及び、転送させる転送期間、の少なくとも一方を、距離画像フレームと輝度画像フレームとに分けて設定し、前記信号電荷を蓄積、及び、転送する駆動の少なくとも一方を、前記距離画像フレームと前記輝度画像フレームとで異ならせることを特徴とする。
【手続補正3】
【補正対象書類名】明細書
【補正対象項目名】0029
【補正方法】変更
【補正の内容】
【0029】
図2Cは、実施の形態1に係る固体撮像素子20において同一画素から距離撮像信号及び輝度撮像信号を発生することを説明する図である。図2Cに示すように、固体撮像素子20の画素構造は、輝度撮像信号を発生する画素(または、受光領域)、距離撮像信号を発生する画素(または、受光領域)、及び第2撮像信号を発生する画素(または、受光領域)が、それぞれ異なるものではなく、同じ画素(共通の画素)27から撮像信号(輝度撮像信号及び距離撮像信号)と第2撮像信号とを発生することが特徴である。
【手続補正4】
【補正対象書類名】明細書
【補正対象項目名】0093
【補正方法】変更
【補正の内容】
【0093】
実施の形態1との差異は、距離画像フレームの第三の発光露光期間(A2)では、光源部1からの光の照射を停止せず、φV1及びφV5をHighレベルにして読出ゲート22を開いた状態で、光源部1が制御部3からの発光信号を受信して光を照射するタイミングに対して、受光領域21が制御部3から第一及び第二の遅延時間とは異なる第三の遅延時間を経た露光信号φSUBを受信し、そのLowレベルの期間で露光を行う。
【国際調査報告】