特許 6442710 固体撮像装置、撮像装置及びその駆動方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6442710

(24)【登録日】2018年12月7日

(45)【発行日】2018年12月26日

(54)【発明の名称】固体撮像装置、撮像装置及びその駆動方法

(51)【国際特許分類】

   H04N 5/33 20060101AFI20181217BHJP

   G01C 3/06 20060101ALI20181217BHJP

   H04N 5/3728 20110101ALI20181217BHJP

   G02B 7/40 20060101ALI20181217BHJP

   G03B 13/36 20060101ALI20181217BHJP

   H04N 5/341 20110101ALI20181217BHJP

【ＦＩ】

   H04N5/33

   G01C3/06 120Q

   H04N5/3728

   G01C3/06 140

   G02B7/40

   G03B13/36

   G01C3/06 110A

   H04N5/341

【請求項の数】14

【全頁数】22

(21)【出願番号】特願2015-528122(P2015-528122)

(86)(22)【出願日】2014年6月6日

(86)【国際出願番号】JP2014003028

(87)【国際公開番号】WO2015011869

(87)【国際公開日】20150129

【審査請求日】2017年2月8日

(31)【優先権主張番号】特願2013-152653(P2013-152653)

(32)【優先日】2013年7月23日

(33)【優先権主張国】JP

(73)【特許権者】

【識別番号】314012076

【氏名又は名称】パナソニックＩＰマネジメント株式会社

(74)【代理人】

【識別番号】100106116

【弁理士】

【氏名又は名称】鎌田 健司

(74)【代理人】

【識別番号】100170494

【弁理士】

【氏名又は名称】前田 浩夫

(72)【発明者】

【氏名】浅野 拓也

(72)【発明者】

【氏名】鈴木 静

【審査官】 松永 隆志

(56)【参考文献】

【文献】 国際公開第２０１３／０２７３４０（ＷＯ，Ａ１）

【文献】 特開２００８−００８７００（ＪＰ，Ａ）

【文献】 特開２００８−００５２１３（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ ５／２２５−５／３７８

Ｇ０１Ｃ ３／０６

Ｇ０２Ｂ ７／４０

Ｇ０３Ｂ １３／３６

(57)【特許請求の範囲】

【請求項1】

赤外光を照射する赤外光源と、固体撮像装置を備える撮像装置に用いる固体撮像装置であって、
前記固体撮像装置は、
それぞれ縦型オーバーフロードレインを有し、かつ半導体基板上に行列状に配置された、赤外光を信号電荷に変換する複数の第１画素、及び可視光を信号電荷に変換する複数の第２画素を有し、
背景光成分を排除した距離画像を生成するために、赤外光の照射期間で記複数の第１画素から得た第１の信号と、赤外光の非照射期間で前記複数の第１画素から得た第２の信号とを、第１のフレーム走査期間内で出力し、
赤外成分を排除した可視光画像を生成するために、前記複数の第１画素から得た第３の信号及び前記複数の第２画素から得た第４の信号を、第２のフレーム走査期間内で出力する
ことを特徴とする固体撮像装置。

【請求項2】

請求項１記載の固体撮像装置において、
前記複数の第１画素の信号電荷と前記複数の第２画素の信号電荷とを転送する垂直転送部と、
前記転送された信号電荷を信号増幅して出力する出力部とを有する
ことを特徴とする固体撮像装置。

【請求項3】

請求項２記載の固体撮像装置において、
前記垂直転送部は８相駆動である
ことを特徴とする固体撮像装置。

【請求項4】

請求項２記載の固体撮像装置において、
前記垂直転送部は１０相駆動である
ことを特徴とする固体撮像装置。

【請求項5】

請求項２記載の固体撮像装置において、
少なくとも前記複数の第１画素には前記垂直転送部に信号電荷を読み出し可能な読み出し電極が２つ以上設けられている
ことを特徴とする固体撮像装置。

【請求項6】

請求項２記載の固体撮像装置において、
前記複数の第１画素及び前記複数の第２画素は、４画素を１単位として全て別の読み出し電極から前記垂直転送部に信号電荷を読み出す
ことを特徴とする固体撮像装置。

【請求項7】

請求項２記載の固体撮像装置において、
前記垂直転送部は、４相駆動であり、
前記複数の第１画素は、隣接する２つの前記垂直転送部のどちらにも選択的に信号電荷を読み出せる
ことを特徴とする固体撮像装置。

【請求項8】

請求項１〜７のいずれか１項に記載の固体撮像装置において、
前記複数の第２画素は、ブルーを受光するブルー画素と、グリーンを受光するグリーン画素と、レッドを受光するレッド画素との３種類からなる
ことを特徴とする固体撮像装置。

【請求項9】

請求項１〜７のいずれか１項に記載の固体撮像装置において、
前記複数の第２画素は、イエローを受光するイエロー画素と、シアンを受光するシアン画素と、グリーンを受光するグリーン画素と、マゼンタを受光するマゼンタ画素との４種類、又はこれらのうちいずれか３種類からなる
ことを特徴とする固体撮像装置。

【請求項10】

赤外光を照射する赤外光源と、
それぞれ縦型オーバーフロードレインを有し、かつ半導体基板上に行列状に配置された、赤外光を信号電荷に変換する複数の第１画素、及び可視光を信号電荷に変換する複数の第２画素を有する固体撮像装置とを備え、
前記固体撮像装置は、
背景光成分を排除した距離画像を生成するために、赤外光の照射期間で前記複数の第１画素から得た第１の信号と、赤外光の非照射期間で前記複数の第１画素から得た第２の信号とを、第１のフレーム走査期間内で出力し、
赤外成分を排除した可視光画像を生成するために、前記複数の第１画素から得た第３の信号及び前記複数の第２画素から得た第４の信号を、第２のフレーム走査期間内で出力する
ことを特徴とする撮像装置。

【請求項11】

請求項１０に記載の撮像装置において、
前記赤外光をパルス状に発光させて、被写体を含む空間に照射し、異なる２つの期間に受光した反射光から、前記複数の第１画素の各々で前記第１の信号として２つ以上の距離信号を生成し、
前記２つ以上の距離信号と、前記赤外光の非照射期間に生成した前記第２の信号との各々の差分で背景光成分を除去し、
前記２つ以上の距離信号のうち２つの距離信号の比率によって被写体までの距離を求める、ＴＯＦ型の測距センサとして機能する
ことを特徴とする撮像装置。

【請求項12】

請求項１０または１１に記載の撮像装置において、
前記赤外光を特定パターンで、被写体を含む空間に照射して、前記第１の信号を生成し、
前記第１の信号と、前記赤外光の非照射期間に生成した前記第２の信号との差分で背景光成分を除去し、
各照射パターンの位置ずれ量によって被写体までの距離を求める、
パターン照射型の測距センサとして機能する
ことを特徴とする撮像装置。

【請求項13】

請求項１０〜１２のいずれか１項に記載の撮像装置において、
前記赤外光を、被写体を含む空間に照射して、前記第１の信号を生成し、
前記第１の信号と、前記赤外光の非照射期間に生成した前記第２の信号との差分で背景光成分を除去し、
三角測量法によって被写体までの距離を求める、ステレオ方式の測距センサとして機能する
ことを特徴とする撮像装置。

【請求項14】

赤外光を照射する赤外光源と、それぞれ縦型オーバーフロードレインを有し、かつ半導体基板上に行列状に配置された、赤外光を信号電荷に変換する複数の第１画素、及び可視光を信号電荷に変換する複数の第２画素を有する固体撮像装置とを備えた撮像装置の駆動方法であって、
背景光成分を排除した距離画像を生成するために、赤外光の照射期間で前記複数の第１画素から第１の信号を得るステップと、赤外光の非照射期間で前記複数の第１画素から第２の信号を得るステップと、第１のフレーム走査期間内で、前記第１及び第２の信号を出力するステップとを、行い、
赤外成分を排除した可視光画像を生成するために、前記複数の第１画素から第３の信号を得るステップと、前記複数の第２画素から第４の信号を得るステップと、第２のフレーム走査期間内で、前記第３及び第４の信号を出力するステップとを、行う
ことを特徴とする撮像装置の駆動方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、所定の距離位置に存在する被写体の像（距離画像）を取得する撮像装置に関し、特に、距離画像の取得とともに通常の画像（可視光画像）を取得する撮像装置及びその駆動方法に関するものである。

【背景技術】

【0002】

近年、テレビ、ゲーム機等に、例えば、赤外光を撮影対象空間に照射して、被写体（人物）の体や手の動きを検出する測距カメラ（モーションカメラ）が搭載され、それに使われる距離画像を取得する撮像装置、いわゆる測距センサが知られている。

【0003】

また、測距センサにおいて、距離画像と同時に通常の可視光画像を取得することは、画像中からの特定の被写体の切り出し（背景分離）や、３次元画像の作成等を行ううえで有用である。

【0004】

特許文献１においては、１つの固体撮像装置により距離画像と同時に可視光画像を取得している。具体的には、可視光及び赤外（ＩＲ）光の撮像が可能な単板構成の固体撮像装置により、１フレーム走査期間ごとに可視光及び赤外光の撮像を行いながら、撮影対象空間へのＩＲパルスの照射を１フレーム走査期間おきに行う。可視光画像を１フレーム走査期間ごとに生成するとともに、ＩＲパルスの照射時の撮像によって得られたＩＲ画素信号からＩＲパルスの非照射時の撮像によって得られたＩＲ画素信号を減算することによって、背景光による影響を排除した距離画像を１フレーム走査期間おきに生成する。

【先行技術文献】

【特許文献】

【0005】

【特許文献1】特開２００８−８７００号公報

【発明の概要】

【0006】

しかしながら、上記固体撮像装置は、複数フレームを使用して背景光による影響を排除した距離画像を生成しているため、１つのフレームと次のフレームとの間に被写体が動いた場合、距離画像に誤差が生じる。また、横型オーバーフロードレインを備えることにより、濃いｎ層の領域とその制御電極が必要となり、画素の広い領域を占有するため、代わりにフォトダイオード領域が小さくなることによる感度低下によって、露光時間が多く、または、垂直転送部が小さくなることによる測距精度の悪化に繋がっていた。

【0007】

本発明は、上記課題に鑑みてなされたものであり、１つのイメージセンサから、１フレーム走査期間内に背景光による影響を排除した距離画像を取得し、かつ、別フレームにて可視画像も取得することができる撮像装置及びその駆動方法を提供することを目的とする。

【0008】

上記目的を達成するために、本発明の一態様に係る撮像装置は、赤外光を照射する赤外光源と、それぞれ縦型オーバーフロードレインを有し、かつ半導体基板上に行列状に配置された、赤外光を信号電荷に変換する複数の第１画素、及び可視光を信号電荷に変換する複数の第２画素を有する固体撮像装置とを備え、前記固体撮像装置は、赤外光の照射期間で前記複数の第１画素から得た第１の信号と、赤外光の非照射期間で前記複数の第１画素から得た第２の信号とを、第１のフレーム走査期間内で出力し、前記複数の第１画素から得た第３の信号及び前記複数の第２画素から得た第４の信号を、第２のフレーム走査期間内で出力することを特徴とする。

【0009】

本態様によれば、１フレーム走査期間内に、背景光による影響を排除した距離画像を生成するための信号が得られることから、動体の距離情報の精度向上が可能となる。

【0010】

また、次のフレーム走査期間内に、可視光画像を得て、好ましくは、第１画素から得た出力を、第２画素から得た信号から差し引くことにより、第２画素から得た出力に混入する赤外光成分を除去する。これにより、可視光画像の色再現性向上が可能となる。

【0011】

本発明によれば、１フレーム走査期間内に、背景光による影響を排除した距離画像を取得するので、動体の距離精度を向上することができるとともに、横型オーバーフロードレインが不要となるため、フォトダイオード領域を拡大することによる感度向上、あるいは、垂直転送部を広く取ることによる取り扱い電荷量の増加によって、いずれも測距精度の向上に繋がる。

【0012】

その上、感度向上によって、例えば、照射する赤外光源の出力を抑えたり、赤外光を照射する露光時間を短くしたりできることから、システム全体の消費電力を抑えることが可能である。

【0013】

また特殊な構造が不要なため、一般的なイメージセンサの製造方法で実現することが可能である。

【図面の簡単な説明】

【0014】

【図1】本発明に係る撮像装置を用いた測距システムの構成例を示すブロック図である。

【図2】図１中の固体撮像装置の第１の実施形態を示す平面図である。

【図3】図１中の固体撮像装置の第１の実施形態を示す別の平面図である。

【図4】図２の固体撮像装置の概略動作を示すタイミング図である。

【図5】図２の固体撮像装置のあるタイミングにおける動作を示す平面図である。

【図6】図２の固体撮像装置の次のタイミングにおける動作を示す平面図である。

【図7】図２の固体撮像装置の更に次のタイミングにおける動作を示す平面図である。

【図8】図２の固体撮像装置の更に次のタイミングにおける動作を示す平面図である。

【図9】図２の固体撮像装置の距離信号蓄積期間における詳細動作を示すタイミング図である。

【図10】図１中の固体撮像装置の第１の実施形態の別のフィルタ配置例を示す平面図である。

【図11】図１中の固体撮像装置の第２の実施形態を示す平面図である。

【図12】図１中の固体撮像装置の第３の実施形態を示す平面図である。

【図13】図１２の固体撮像装置の概略動作を示すタイミング図である。

【図14】図１２の固体撮像装置のあるタイミングにおける動作を示す平面図である。

【図15】図１２の固体撮像装置の次のタイミングにおける動作を示す平面図である。

【図16】図１２の固体撮像装置の更に次のタイミングにおける動作を示す平面図である。

【図17】図１２の固体撮像装置の更に次のタイミングにおける動作を示す平面図である。

【図18】図１２の固体撮像装置の更に次のタイミングにおける動作を示す平面図である。

【図19】図１２の固体撮像装置の距離信号蓄積期間における詳細動作を示すタイミング図である。

【図20】図１中の固体撮像装置の第３の実施形態の別のチャネルストップ領域の構成を示す平面図である。

【図21】図１中の固体撮像装置の第４の実施形態を示す平面図である。

【図22】図２１の固体撮像装置の概略動作を示すタイミング図である。

【図23】図２１の固体撮像装置のあるタイミングにおける動作を示す平面図である。

【図24】図２１の固体撮像装置の次のタイミングにおける動作を示す平面図である。

【図25】図２１の固体撮像装置の更に次のタイミングにおける動作を示す平面図である。

【図26】図２１の固体撮像装置の更に次のタイミングにおける動作を示す平面図である。

【図27】図２１の固体撮像装置の更に次のタイミングにおける動作を示す平面図である。

【図28】図２１の固体撮像装置の距離信号蓄積期間における詳細動作を示すタイミング図である。

【発明を実施するための形態】

【0015】

以下、本発明の実施形態について、図面を参照して説明する。なお、添付の図面を用いて説明を行うが、これらは例示を目的としており、本発明がこれらに限定されることを意図しない。図面において実質的に同一の構成、動作及び効果を表す要素については、同一の符号を付す。

【0016】

図１は、本発明に係る撮像装置を用いた測距システムの構成例を示すブロック図である。図１に示すように、背景光源１０２からの可視光と赤外光とを含む照明を備えた撮影対象空間内に被写体１０１が位置する。撮像装置は、赤外光源１０３と、レンズ１０４と、固体撮像装置１０５と、制御部１０６と、信号処理部１０７とを備えており、ＴＯＦ（Ｔｉｍｅ Ｏｆ Ｆｌｉｇｈｔ）型、パターン照射型、ステレオ型等の、よく知られた種々の赤外線方式のうちのいずれかを採用した測距システムを構成する。

【0017】

赤外光源１０３は、被写体１０１に向けて、例えば波長８５０ｎｍの赤外レーザー光を照射する。背景光及び赤外レーザー光は、被写体１０１で反射してレンズ１０４に入射し、固体撮像装置１０５に結像する。固体撮像装置１０５は、半導体基板上に行列状に配置された、赤外光を信号電荷に変換する複数の第１画素と、可視光を信号電荷に変換する複数の第２画素とを有する。制御部１０６は、赤外光源１０３と固体撮像装置１０５との同期をとるように制御する。信号処理部１０７は、固体撮像装置１０５の出力から、赤外レーザー光に基づく距離画像信号とともに、可視光画像信号を生成する。

【0018】

なお、図示していないが、レンズ１０４と固体撮像装置１０５の間に、任意の光学フィルタ（例えば、可視光波長領域と特定の近赤外波長帯のみを透過するバンドパスフィルタ）を設けてもよい。

【0019】

以下、図１中の固体撮像装置１０５の種々の具体例について説明する。

【0020】

すべての実施形態において、全て固体撮像装置１０５がＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）イメージセンサであって、測距システムがＴＯＦ型である場合を説明する。

【0021】

《第１の実施形態》
図２及び図３は、図１中の固体撮像装置１０５の第１の実施形態を示す平面図である。

【0022】

図２及び図３に示した固体撮像装置は、半導体基板上に行列状に配置された複数の光電変換部１０を備える。これら光電変換部１０は、可視光を信号電荷に変換する複数の光電変換部１０ａと、赤外光を信号電荷に変換する複数の光電変換部１０ｂとに分けられる。可視光の光電変換部１０ａは、レッド（Ｒ）、グリーン（Ｇ）、ブルー（Ｂ）を選択的に透過するフィルタを備える。赤外光の光電変換部１０ｂは、赤外（ＩＲ）光を選択的に透過するフィルタを備える。

【0023】

図２の固体撮像装置は、光電変換部１０ａ，１０ｂから読み出された信号電荷を列方向に転送する垂直転送部１１と、垂直転送部１１によって転送された信号電荷を行方向（水平方向）に転送する水平転送部１２と、水平転送部１２によって転送された信号電荷を増幅して出力する電荷検出部１３と、全画素の光電変換部１０のそれぞれに対応して設けられ、垂直転送部１１へ同時に読み出すことが可能な第１の読み出し電極１４ａ，１４ｂと、全画素の光電変換部１０のそれぞれに対応して設けられているが、少なくとも赤外光の光電変換部１０ｂから、垂直転送部１１へ選択的に読み出すことが可能な第２の読み出し電極１４ｃ，１４ｄとを更に備える。

【0024】

なお、本実施形態では、特定の画素から信号を選択的に読み出すために、例えば、第２の読み出し電極１４ｃは各ラインの画素に張り巡らされているものの、光電変換部１０ｂから読み出す画素以外は、チャネルストップ領域１８を設けて信号が読み出されないようにしてある。もう１つの第２の読み出し電極１４ｄも同様に、チャネルストップ領域１８によって、特定の光電変換部から選択的に信号電荷を読み出すことが可能になっている。

【0025】

ここで、固体撮像装置は、全画素読み出し（プログレッシブスキャン）対応のインターライントランスファ方式のＣＣＤであり、例えば、垂直転送部１１は、１画素あたり垂直転送電極１４が４ゲートあり、２画素周期の８相駆動（φＶ１〜φＶ８）であり、水平転送部１２は２相駆動（φＨ１，φＨ２）である。垂直転送部１１は、光電変換部１０ａ，１０ｂに溜まった信号電荷は、例えば、垂直転送部１１中の点線で示した信号パケット１６ａ〜１６ｄに、それぞれ振り分けて読み出され、垂直転送部１１を図中下方向に転送されたあと、水平転送部１２を図中左方向に転送されて出力される。

【0026】

また、各画素には、縦型オーバーフロードレイン（ＶＯＤ：Ｖｅｒｔｉｃａｌ Ｏｖｅｒｆｌｏｗ Ｄｒａｉｎ）が備えられている。基板に接続されているＶＳＵＢ電極１７に高電圧（φＳｕｂパルス）が印加されると、全画素の信号電荷は一括に基板に排出される構成となっている。これにより、横型オーバーフロードレインのような各画素のフォトダイオードの面積や、垂直転送部の面積を縮める要素がないため、感度を高く保つことが可能となる。

【0027】

なお、本実施形態に示すように、赤外光の光電変換部１０ｂからのみ信号を読み出すことが可能な第２の読み出し電極１４ｃを設けることにより、垂直転送部１１が８相駆動である場合、例えば、図３のように、光電変換部１０ｂに溜まった信号を選択的に、つまり、図中Ｖ５ゲートから読み出し、点線で示した信号パケット１６ａ，１６ｂ，１６ｃに、それぞれ振り分けて読み出すことが可能となり、１つの光電変換部１０ｂから複数の信号を得て、距離信号中の背景光を減算することが可能となる。

【0028】

なお、この図３も含めて、以後、説明に必要な場合を除き、図２に示すチャネルストップ領域１８は図示しない。

【0029】

図４は、図２及び図３の固体撮像装置の概略動作を示すタイミング図であって、第１のフレーム走査期間内に、背景光による影響を排除した距離画像を生成するための信号を得て、第２のフレーム走査期間内に可視光画像を得る例を示している。また、図５〜図８は、図２及び図３の固体撮像装置の個々のタイミングにおける動作を示す平面図である。

【0030】

図４に示す垂直同期パルスＶＤは、例えば２ＶＤでちょうど毎秒３０フレーム（３０ｆｐｓ）であり、１フレーム走査期間内に、背景光による影響を排除した距離画像を生成するための距離信号２０、距離信号２１、背景光信号２２が得られ、次のフレーム走査期間に、可視光画像を生成するための可視光信号２３、可視光信号２４が得られる。

【0031】

まず、奇数フレームの初めに、第１の距離信号蓄積期間Ｔａ１を開始する。第１の距離信号蓄積期間Ｔａ１では、読み出しパルスφＶ５を印加し、赤外光を照射して、図５に示すように、距離信号２０を読み出し、これを信号パケット１６ａに蓄積する。

【0032】

第１の距離信号蓄積期間Ｔａ１が終了すると、図６に示すように、距離信号２０を１段逆方向へ転送し、第２の距離信号蓄積期間Ｔａ２を開始する。第２の距離信号蓄積期間Ｔａ２では、読み出しパルスφＶ５を印加し、赤外光を照射して、距離信号２１を読み出し、これを信号パケット１６ｂに蓄積する。

【0033】

第２の距離信号蓄積期間Ｔａ２が終了すると、図７に示すように、距離信号２０及び距離信号２１を信号パケット１６ａ，１６ｂとともに１段逆方向へ転送し、背景光信号蓄積期間Ｔｂを開始する。背景光信号蓄積期間Ｔｂでは、赤外光を照射せずに、第１の距離信号蓄積期間Ｔａ１及び第２の距離信号蓄積期間Ｔａ２と同じ長さの期間だけ背景光を露光した後、読み出しパルスφＶ５を印加し、背景光信号２２を読み出し、これを信号パケット１６ｃに蓄積する。

【0034】

なお、図４のタイミング図では、説明を簡単にするために、図５〜図７の動作は１フレームあたり１回ずつとなっているが、出力する前に、これら一連の図５〜図７の動作を繰り返し、また、１サイクルの周期を速めることで、動体に対する測距精度を上げることが可能である。

【0035】

信号転送期間Ｔｃ１では、垂直転送部１１及び水平転送部１２を順次走査することにより、距離信号２０、距離信号２１、背景光信号２２を順次出力する。

【0036】

このとき、任意のタイミングで、基板排出パルスφＳｕｂを印加し、全画素の信号電荷を排出する。基板排出パルスφＳｕｂの印加終了により、光電変換部１０ａの可視光信号２３及び光電変換部１０ｂの可視光信号２４が各光電変換部に蓄積され始める。

【0037】

次に、偶数フレームの初めに、読み出しパルスφＶ２，φＶ６を印加し、図８に示すように、前フレームの信号転送期間Ｔｃ１の露光により蓄積された可視光信号２３及び可視光信号２４を、信号パケット１６ａ〜１６ｄに蓄積する。

【0038】

信号転送期間Ｔｃ２では、垂直転送部１１及び水平転送部１２を順次走査することにより、可視光信号２３及び可視光信号２４を順次出力する。

【0039】

図９は、図４の固体撮像装置の第１の距離信号蓄積期間Ｔａ１、及び第２の距離信号蓄積時間Ｔａ２と、背景光信号蓄積期間Ｔｂにおける詳細動作を示すタイミング図である。

【0040】

第１及び第２の距離信号蓄積期間Ｔａ１，Ｔａ２，Ｔｂにおいて、垂直転送電極１４ｃに印加する読み出しパルスφＶ５は、Ｈｉｇｈレベルに固定され、基板排出パルスφＳｕｂがＬｏｗレベルになったときに電荷が蓄積される。

【0041】

距離画像の生成においては、まず、距離信号２０及び距離信号２１に含まれる背景光成分を、背景光信号２２を用いて排除する。例えば、図９に示すように、照射光パルスの立ち下がり時刻で終わる反射光に基づく信号電荷の量をＩＲ１、立ち下がり時刻によらない信号電荷の量をＩＲ２、被写体までの距離をｚ、光速をｃとすると、
ｚ＝ｃ×Δｔ／２
＝（ｃ×Ｔｐ／２）×（Δｔ／Ｔｐ）
＝（ｃ×Ｔｐ／２）×（ＩＲ１／ＩＲ２）
となる。

【0042】

また、可視光画像の生成においても、可視光信号２３に含まれる赤外成分を、可視光信号２４を用いて排除することができるため、色再現性の高い可視光画像を生成することができる。

【0043】

以上、第１の実施形態に係るＴＯＦ型測距システムによれば、固体撮像装置に備えられた垂直転送部１１の駆動相数を増加することで、１フレーム走査期間内で、背景光による影響を排除した距離画像を得るとともに、別フレームで色再現性の高い可視光画像を得ることが可能となることに加え、各画素には縦型オーバーフロードレインを備えることで、光電変換部１０の領域を広げて感度向上、または、垂直転送部１１の領域を広げて垂直転送部１１の飽和信号量を高めることで、測距精度向上が可能となる。

【0044】

感度向上によって、例えば、照射する赤外光源の出力を抑えたり、赤外光を照射する露光時間を短くしたりして、いずれも測距システム全体の消費電力を抑えることに繋がる。

【0045】

その上、本実施形態に示すようなＴＯＦ型システムに適した駆動をする場合、縦型オーバーフロードレイン構造により、電荷排出のためのパルスφＳｕｂは基板に印加され、画素全体に伝わることから、横型オーバーフロードレインのように、画素上の配線層から各画素に、電荷排出のための高電圧を印加せずに済むため、暗電流などのノイズ源にもなりにくい。

【0046】

また、本実施形態の固体撮像装置は、従来の固体撮像装置に比べて、駆動相数の変更、及び、一部の読み出し電極に対応したチャネルストップ領域を追加するのみで対応可能なため、複雑な製造方法を要することなく、実現することが可能である。

【0047】

更に、従来技術では、可視光信号２３に含まれる赤外成分を排除するためには、別フレームから専用の信号を得る必要があり、可視光画像の色再現性が低下する課題があったが、第１の実施形態に係るＴＯＦ型測距システムによれば、同一フレームから可視光信号２３と可視光信号２４を得て、赤外成分を排除することができるため、色再現性の高い可視光画像を得ることが可能になる。

【0048】

なお、本実施形態では、第１のフレームにおいて、光電変換部１０ｂから得た信号のみが垂直転送部１１に読み出されるため、図７に示すように、動作上、隣接する垂直転送部１１上に信号パケット１６ｄ，１６ｅ，１６ｆも存在するが、光電変換部１０ａからは信号が読み出されないので、実質的には空パケットとなっている。

【0049】

よって、水平転送時に、この２列毎に存在する空きパケットにも信号１６ａ〜１６ｃを順次詰めることで、奇数フレームが短縮できることから、更なるフレームレートの向上も可能である。

【0050】

また、他にも、例えば、図１０に示すように、赤外光の光電変換部１０ｂを市松状に配置して、残りの市松状に空いている画素に可視光の光電変換部１０ａを配置した場合、赤外光の光電変換部１０ｂに対応した第２の読み出し電極１４ｃ，１４ｄに、読み出しパルスφＶ１，φＶ５を印加することで、第１のフレーム走査期間において、信号パケット１６ａ〜１６ｃだけでなく、信号パケット１６ｄ〜１６ｆにも距離信号を蓄積することが可能となり、距離画像の解像度が増す利点があるので、特に、距離画像の解像度が必要なときにこのフィルタ配置は有効である。

【0051】

《第２の実施形態》
図１１は、図１中の固体撮像装置１０５の第２の実施形態を示す平面図である。

【0052】

第２の実施形態に係る固体撮像装置は、第１の実施形態に係る固体撮像装置と比較して、垂直転送部１１の構成が異なる。しかし、１フレーム走査期間内で、背景光による影響を排除した距離画像を生成するとともに、別フレームで赤外成分を排除した可視光画像を得ることができる構造及び駆動方法を提供することを目的とする点は、第１の実施形態に係る固体撮像装置と同様である。以下、第１の実施形態と異なる点を中心に説明し、同じ点は説明を省略する。

【0053】

図１１に示した固体撮像装置は、図２及び図３の固体撮像装置と比較して、読み出し電極１４ａ，１４ｂが、読み出し電極１４ｃ，１４ｄと同じように、市松状にのみ読み出せるようになっており、例えば、赤外光の光電変換部１０ｂに対応した読み出し電極１４ｂは、チャネルストップ領域１８を設けて信号が読み出されないようにしてある。読み出し電極１４ａも同様である。

【0054】

本実施形態の場合、第１の実施形態の駆動タイミングである図４とほぼ同じ駆動で動作可能であるが、１点だけ、第２フレーム走査期間の初めに印加する読み出しパルスが、φＶ２，φＶ６だけでなく、φＶ１，φＶ５にも印加する必要があることのみ異なる。具体的な動作で言えば、第１の実施形態の図８のタイミングでの可視光信号２３及び可視光信号２４の読み出しが、読み出し電極１４ａ，１４ｂだけでなく、読み出し電極１４ｃ，１４ｄも使って読み出す必要がある。それ以外は、第１の実施形態と変わりは無い。

【0055】

しかし、この構造であれば、例えば、可視光画像を取得する際に、レッドだけを読み出したり、ブルーだけを読み出したり、グリーンだけ読み出したりと、特定色だけ読み出すことも可能となり、取得できる可視画像のバリエーションを増やすことが可能である。なお、特定色だけ読み出す際は、空きパケットが数多くできるため、水平転送時に信号を詰めることで、信号出力時間の短縮も可能である。

【0056】

以上、第２の実施形態に係るＴＯＦ型測距システムによれば、第１の実施形態に係る固体撮像装置から、一部の読み出し電極にチャネルストップ領域１８を追加するだけで、読み出す画像のバリエーションを増やす、つまり可視画像の自由度を増すことが可能となる。

【0057】

また、第１の実施形態と同様に、一部の読み出し電極に対応したチャネルストップ領域１８の追加のみで対応可能なため、複雑な製造方法を要することなく、実現することが可能である。

【0058】

その上、１フレーム走査期間内で、背景光による影響を排除した距離画像を生成するとともに、別フレームで可視光画像を得ることが可能な点や、縦型オーバーフロードレインを備えることで、感度を高めてフレームレートを向上したり、垂直転送部１１の飽和信号量を高めたりすることで、測距精度を向上させることが可能な点も同じである。

【0059】

《第３の実施形態》
図１２は、図１中の固体撮像装置１０５の第３の実施形態を示す平面図である。

【0060】

第３の実施形態に係る固体撮像装置は、第１の実施形態に係る固体撮像装置と比較して、垂直転送部１１の構成が異なる。しかし、１フレーム走査期間内で、背景光による影響を排除した距離画像を生成するとともに、別フレームで可視光画像を得ることができる構造及び駆動方法を提供することを目的とする点は、第１の実施形態に係る固体撮像装置と同様である。以下、第１の実施形態と異なる点を中心に説明し、同じ点は説明を省略する。

【0061】

図１２に示した固体撮像装置は、図２及び図３の固体撮像装置と比較して、垂直転送部１１は、１画素あたり垂直転送電極が５ゲートある、２画素周期の１０相駆動（φＶ１〜φＶ１０）である。

【0062】

図１３は、図１２の固体撮像装置の概略動作を示すタイミング図であって、図２及び図３の固体撮像装置の概略動作を示すタイミング図である図４と基本的には同じであるが、駆動相数の違いから、読み出しパルスを印加する電極が異なる。また、第１の実施形態に加えて、新たに距離信号２５を取得している点が異なる。

【0063】

図１４〜図１８は、図１２の固体撮像装置の個々のタイミングにおける動作を示す平面図である。

【0064】

図１３において、まず、奇数フレームの初めに、第１の距離信号蓄積期間Ｔａ１を開始する。第１の距離信号蓄積期間Ｔａ１では、読み出しパルスφＶ６を印加し、赤外光を照射して、図１４に示すように、距離信号２０を読み出し、これを信号パケット１６ａに蓄積する。

【0065】

第１の距離信号蓄積期間Ｔａ１が終了すると、図１５に示すように、距離信号２０を１段逆方向へ転送し、第２の距離信号蓄積期間Ｔａ２を開始する。第２の距離信号蓄積期間Ｔａ２では、赤外光を照射して、読み出しパルスφＶ６を印加し、距離信号２１を読み出し、これを信号パケット１６ｂに蓄積する。

【0066】

第２の距離信号蓄積期間Ｔａ２が終了すると、図１６に示すように、距離信号２０及び距離信号２１を信号パケット１６ａ，１６ｂとともに１段逆方向へ転送し、背景光信号蓄積期間Ｔｂを開始する。背景光信号蓄積期間Ｔｂでは、赤外光を照射せずに、第１の距離信号蓄積期間Ｔａ１及び第２の距離信号蓄積期間Ｔａ２と同じ長さの期間だけ背景光を露光した後、読み出しパルスφＶ６を印加し、背景光信号２２を読み出し、これを信号パケット１６ｃに蓄積する。

【0067】

背景光信号蓄積期間Ｔｂが終了すると、図１７に示すように、距離信号２０、距離信号２１及び背景光信号２２を信号パケット１６ａ〜１６ｃとともに１段逆方向へ転送し、第３の距離信号蓄積期間Ｔａ３を開始する。第３の距離信号蓄積期間Ｔａ３では、第１の距離信号蓄積期間Ｔａ１と異なるタイミングで赤外光を照射して、読み出しパルスφＶ６を印加し、距離信号２５を読み出し、これを信号パケット１６ｄに蓄積する。

【0068】

信号転送期間Ｔｃ１では、垂直転送部１１及び水平転送部１２を順次走査することにより、距離信号２０、距離信号２１、背景光信号２２、距離信号２５を順次出力する。

【0069】

このとき、任意のタイミングで、基板排出パルスφＳｕｂを印加し、全画素の信号電荷を排出する。基板排出パルスφＳｕｂの印加終了により、光電変換部１０ａの可視光信号２３及び光電変換部１０ｂの可視光信号２４が各光電変換部に蓄積され始める。

【0070】

次に、偶数フレームの初めに、読み出しパルスφＶ２，φＶ６を印加し、図１８に示すように、前フレームの信号転送期間Ｔｃ１の露光により蓄積された可視光信号２３及び可視光信号２４を、信号パケット１６ａ〜１６ｄに蓄積する。

【0071】

信号転送期間Ｔｃ２では、垂直転送部１１及び水平転送部１２を順次走査することにより、可視光信号２３及び可視光信号２４を順次出力する。

【0072】

図１９は、図１３の固体撮像装置の第１、第２及び第３の距離信号蓄積期間Ｔａ１，Ｔａ２，Ｔａ３及び、背景光信号蓄積期間Ｔｂにおける詳細動作を示すタイミング図である。第１、第２、第３の距離信号蓄積期間Ｔａ１，Ｔａ２，Ｔａ３及び背景光信号蓄積期間Ｔｂにおいて、垂直転送電極１４ｃに印加する読み出しパルスφＶ６は、Ｈｉｇｈレベルに固定され、基板排出パルスφＳｕｂがＬｏｗレベルになったときに電荷が蓄積される。

【0073】

距離画像の生成においては、まず、距離信号２０、距離信号２１及び距離信号２５に含まれる背景光成分を、背景光信号２２を用いて排除する。ここで、第１の実施形態と比べて、距離信号２５が増えているが、例えば、距離信号２０は長距離を演算するのに適した信号、距離信号２５は近距離を演算するのに適した信号、といったように使い分けすることが可能となる。

【0074】

以上、第３の実施形態に係るＴＯＦ型測距システムによれば、固体撮像装置に備えられた垂直転送部１１の駆動相数を更に増加することで、背景光による影響を排除した距離画像が近距離から遠距離まで対応できる、つまり、ダイナミックレンジの広い距離画像を生成することが可能となる。

【0075】

更に、図示はしていないが、垂直転送部１１が１０相駆動である場合でも、距離信号２５を取得せず、距離信号２０，２１，２２だけを扱う駆動も可能であるが、この場合は、図１２とは異なり、各信号パケットが常に２ゲート以上で蓄積が可能になるため、第１の実施形態や第２の実施形態と比べて、１フレーム走査期間内に取り扱える電荷量が増えて、４信号を取り扱う駆動だけでなく、この３信号を取り扱う駆動においても、距離精度の向上が可能である。

【0076】

なお、第１の実施形態と同様、赤外光の光電変換部１０ｂを市松状に配置して、残りの空いている画素に可視光の光電変換部１０ａを配置すると、図１７で空きパケットとなっている１６ｅ〜１６ｈを有効活用できるため、距離画像の解像度を増すことが可能な点は同じである（図示はしない）。

【0077】

また、第２の実施形態と同様に、本実施形態の固体撮像装置も、図２０に示すように、読み出し電極１４ａ，１４ｂを市松状にのみ読み出せるようにチャネルストップ領域１８を設けることで、特定色のみ読み出せるようにすることが可能な点も同じである。

【0078】

《第４の実施形態》
図２１は、図１中の固体撮像装置１０５の第４の実施形態を示す平面図である。

【0079】

第４の実施形態に係る固体撮像装置は、第３の実施形態に係る固体撮像装置と比較して、垂直転送部１１の構成が異なる。しかし、１フレーム走査期間内で、背景光による影響を排除した距離画像を生成するとともに、別フレームで可視光画像を得ることができる構造及び駆動方法を提供することを目的とする点は、第３の実施形態に係る固体撮像装置と同様である。以下、第３の実施形態と異なる点を中心に説明し、同じ点は説明を省略する。

【0080】

図２１に示した固体撮像装置は、図１２の固体撮像装置と比較して、垂直転送部１１は、１画素あたり垂直転送電極１４が４ゲートある単純な４相駆動である。ただし、赤外光を信号電荷に変換する光電変換部１０ｂの両側の垂直転送部１１には、異なるφＶ１パルスが印加できるように、読み出し電極１４ｂ（図中、Ｖ１Ｌゲート）と読み出し電極１４ｃ（図中、Ｖ１Ｒゲート）が配置されており、読み出し電極１４ｂ，１４ｃに印加する読み出しパルスφＶ１Ｌ，φＶ１Ｒを使い分けることにより、光電変換部１０ｂの両側、どちらの垂直転送部１１にも読み出せるようになっている。なお、本実施形態の特徴である読み出し電極の構成を示す都合上、ＶＳｕｂ電極１７が一番上のフォトダイオードとしか繋がっていないように描かれているが、実際は、第１及び第３の実施形態と同様、各光電変換部１０には縦型オーバーフロードレインが設けられており、任意のタイミングでφＳｕｂパルスを印加することで、全ての光電変換部１０の信号電荷を排出することが可能である。

【0081】

図２２は、図２１の固体撮像装置の概略動作を示すタイミング図であって、図１２の固体撮像装置の概略動作を示すタイミング図である図１３と似ているが、駆動相数の違いから、読み出しパルスを印加する電極が異なる。また、第３の実施形態と比べて、距離信号などを取得する際（奇数フレーム）の信号転送回数が減っているとともに、信号パケット数が少ないことも本実施形態の特徴である。

【0082】

図２３〜図２７は、図２１の固体撮像装置の個々のタイミングにおける動作を示す平面図である。

【0083】

まず、奇数フレームの初めに、第１の距離信号蓄積期間Ｔａ１を開始する。第１の距離信号蓄積期間Ｔａ１では、読み出しパルスφＶ１Ｌを印加し、赤外光を照射して、図２３に示すように、光電変換部１０ｂの図中左側の垂直転送部１１に距離信号２０を読み出し、これを信号パケット１６ａに蓄積する。

【0084】

第１の距離信号蓄積期間Ｔａ１が終了すると、距離信号２０はそのままで、第２の距離信号蓄積期間Ｔａ２を開始する。第２の距離信号蓄積期間Ｔａ２では、読み出しパルスφＶ１Ｒを印加し、赤外光を照射して、光電変換部１０ｂの図中右側の垂直転送部１１に距離信号２１を読み出し、これを光電変換部１０ｂを介して信号パケット１６ａと反対側の信号パケット１６ｂに蓄積する。

【0085】

第２の距離信号蓄積期間Ｔａ２が終了すると、図２５に示すように、距離信号２０及び距離信号２１を信号パケット１６ａ，１６ｂとともに１段逆方向へ転送し、背景光信号蓄積期間Ｔｂを開始する。背景光信号蓄積期間Ｔｂでは、赤外光を照射せずに、第１の距離信号蓄積期間Ｔａ１及び第２の距離信号蓄積期間Ｔａ２と同じ長さの期間だけ背景光を露光した後、読み出しパルスφＶ１Ｌを印加し、光電変換部１０ｂの図中左側の垂直転送部１１に背景光信号２２を読み出し、これを信号パケット１６ｃに蓄積する。

【0086】

背景光信号蓄積期間Ｔｂが終了すると、図２６に示すように、距離信号２０、距離信号２１及び背景光信号２２はそのままで、第３の距離信号蓄積期間Ｔａ３を開始する。第３の距離信号蓄積期間Ｔａ３では、第１の距離信号蓄積期間Ｔａ１と異なるタイミングで赤外光を照射して、露光した後、読み出しパルスφＶ１Ｒを印加し、光電変換部１０ｂの図中右側の垂直転送部１１に距離信号２５を読み出し、これを光電変換部１０ｂを介して信号パケット１６ｃと反対側の信号パケット１６ｄに蓄積する。

【0087】

信号転送期間Ｔｃ１では、垂直転送部１１及び水平転送部１２を順次走査することにより、距離信号２０、距離信号２１、背景光信号２２、距離信号２５を順次出力する。

【0088】

このとき、任意のタイミングで、基板排出パルスφＳｕｂを印加し、全画素の信号電荷を排出する。基板排出パルスφＳｕｂの印加終了により、光電変換部１０ａの可視光信号２３及び光電変換部１０ｂの可視光信号２４が光電変換部に蓄積され始める。

【0089】

第２フレームの初めに、読み出しパルスφＶ２を印加し、図２７に示すように、前フレームの信号転送期間Ｔｃ１の露光により蓄積された可視光信号２３及び可視光信号２４を、信号パケット１６ａ〜１６ｄに蓄積する。

【0090】

信号転送期間Ｔｃ２では、垂直転送部１１及び水平転送部１２を順次走査することにより、可視光信号２３及び可視光信号２４を順次出力する。

【0091】

以上、第４の実施形態に係るＴＯＦ型測距システムによれば、固体撮像装置に備えられた垂直転送部１１の駆動相数を増やすことなく、第３の実施形態と同じく、背景光による影響を排除した距離画像のダイナミックレンジを広くすることが可能となる。

【0092】

更に、図２３〜図２７に示すように、距離信号２０，２１，２２，２５も、基本的に２ゲートで蓄積が可能なため、第１の実施形態や第２の実施形態と比べて、１フレーム走査期間内に取り扱える電荷量が多く、距離精度の向上が可能である。

【0093】

なお、この第４の実施形態に係る構造であれば、位相差法を用いたＴＯＦ型測距システムの構築も容易に対応することが可能である。位相差法は、照射する赤外光を高速で点滅させ、反射光の位相遅れの程度を計測する手法である。例えば、図２８にその駆動タイミングの一例を示す。

【0094】

第１の実施形態や第３の実施形態と異なり、赤外光を信号電荷に変換する光電変換部１０ｂに、２つの読み出し電極（Ｖ１Ｌ，Ｖ１Ｒ）が存在することから、距離画像を出力する第１フレームにおいて、図２８のように、１８０度位相の反転した信号を異なる信号パケットに交互に読み出すことが可能である。その後、先の位相と９０度ずれた２つの信号を更に取得することで、位相の異なる４つの信号から距離を算出することが可能となる。

【0095】

この場合、第２フレームの可視画像を取得する過程は本実施形態に示すものと同じである。

【産業上の利用可能性】

【0096】

以上説明してきたとおり、本発明に係る撮像装置は、動体の距離精度及びフレームレートを向上するので、所定の距離位置に存在する被写体の距離画像とともに可視光画像を取得する撮像装置として有用である。

【符号の説明】

【0097】

１０，１０ａ，１０ｂ 光電変換部
１１ 垂直転送部
１２ 水平転送部
１３ 電荷検出部
１４，１４ａ，１４ｂ，１４ｃ，１４ｄ 垂直転送電極
１５ 垂直転送路
１６ａ，１６ｂ，１６ｃ，１６ｄ，１６ｅ，１６ｆ，１６ｇ，１６ｈ 信号パケット
１７ ＶＳＵＢ電極
１８ チャネルストップ領域
２０，２１，２５ 距離信号
２２ 背景光信号
２３，２４ 可視光信号
１０１ 被写体
１０２ 背景光源
１０３ 赤外光源
１０４ レンズ
１０５ 固体撮像装置
１０６ 制御部
１０７ 信号処理部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】

【図22】

【図23】

【図24】

【図25】

【図26】

【図27】

【図28】