(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-01-27
(45)【発行日】2022-02-04
(54)【発明の名称】距離画像撮像装置、および距離画像撮像方法
(51)【国際特許分類】
G01S 17/894 20200101AFI20220128BHJP
G01S 7/487 20060101ALI20220128BHJP
G01S 7/4861 20200101ALI20220128BHJP
H04N 5/369 20110101ALI20220128BHJP
H04N 5/353 20110101ALI20220128BHJP
【FI】
G01S17/894
G01S7/487
G01S7/4861
H04N5/369 600
H04N5/353
(21)【出願番号】P 2020502718
(86)(22)【出願日】2019-03-20
(86)【国際出願番号】 JP2019011662
(87)【国際公開番号】W WO2020188782
(87)【国際公開日】2020-09-24
【審査請求日】2020-01-20
(73)【特許権者】
【識別番号】508261493
【氏名又は名称】株式会社ブルックマンテクノロジ
(74)【代理人】
【識別番号】100161207
【氏名又は名称】西澤 和純
(74)【代理人】
【識別番号】100161506
【氏名又は名称】川渕 健一
(74)【代理人】
【識別番号】100139686
【氏名又は名称】鈴木 史朗
(74)【代理人】
【識別番号】100190355
【氏名又は名称】田中 紀央
(72)【発明者】
【氏名】赤堀 知行
【審査官】山下 雅人
(56)【参考文献】
【文献】特開2017-191042(JP,A)
【文献】国際公開第2017/013857(WO,A1)
【文献】特開2017-190978(JP,A)
【文献】特開2013-235390(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
G01S 7/00 -17/95
H04N 5/353
G01B11/00 -11/30
G01C 3/06 - 3/08
(57)【特許請求の範囲】
【請求項1】
撮影対象の空間に対して所定の周期で断続的な光パルスを照射する光源部と、
入射した光に応じた電荷を発生する光電変換素子と、前記電荷を蓄積する複数の電荷蓄積部とを具備し、所定の蓄積タイミングで前記電荷を前記電荷蓄積部それぞれに振り分けて蓄積する画素が二次元の行列状に複数配置された距離画像センサを備えた受光部と、
前記蓄積タイミングに同期させて前記光パルスを照射させる測定期間において前記電荷蓄積部のそれぞれに蓄積された前記電荷の量である電荷量に基づいて、前記撮影対象の空間に存在する被写体との間の距離を求める距離画像処理部と、
前記蓄積タイミングに前記光パルスを照射させない調査期間において、前記電荷蓄積部のそれぞれに積算された前記電荷の量である電荷量に基づいて、前記測定期間における前記蓄積タイミングを決定するタイミング決定部と、
を備える距離画像撮像装置。
【請求項2】
前記タイミング決定部は、前記調査期間において前記電荷蓄積部それぞれに蓄積された前記電荷量と、前記調査期間における前記蓄積タイミングとに応じて、前記測定期間における前記蓄積タイミングを決定する、
請求項1に記載の距離画像撮像装置。
【請求項3】
前記タイミング決定部は、前記調査期間において蓄積された前記電荷量が最大である前記電荷蓄積部に前記電荷が蓄積される蓄積期間と、前記測定期間における前記蓄積タイミングの前記電荷蓄積部のそれぞれの前記蓄積期間とが、前記蓄積期間が繰り返される周期である蓄積周期において重ならないように、前記測定期間における前記蓄積タイミングを決定する、
請求項1に記載の距離画像撮像装置。
【請求項4】
前記タイミング決定部は、前記調査期間において蓄積された電荷量が最大である前記電荷蓄積部の識別情報と、前記測定期間における前記蓄積タイミングに関する情報とを対応付けたタイミング情報テーブルに基づいて、前記測定期間における前記蓄積タイミングを決定する、
請求項1に記載の距離画像撮像装置。
【請求項5】
前記調査期間の長さは、前記測定期間の長さよりも小さい、
請求項1から請求項4の何れか一項に記載の距離画像撮像装置。
【請求項6】
光源部が、撮影対象の空間に対して所定の周期で断続的な光パルスを照射する光源工程と、
受光部が、入射した光に応じた電荷を発生する光電変換素子と、前記電荷を蓄積する複数の電荷蓄積部とを具備し、所定の蓄積タイミングで前記電荷を前記電荷蓄積部それぞれに振り分けて蓄積する画素が二次元の行列状に複数配置された距離画像センサを備えた受光工程と、
距離画像処理部が、前記蓄積タイミングに同期させて前記光パルスを照射させる測定期間において前記電荷蓄積部のそれぞれに蓄積された前記電荷の量である電荷量に基づいて、前記撮影対象の空間に存在する被写体との間の距離を求める距離画像処理工程と、
タイミング決定部が、前記蓄積タイミングに前記光パルスを照射させない調査期間において、前記電荷蓄積部のそれぞれに積算された前記電荷の量である電荷量に基づいて、前記測定期間における前記蓄積タイミングを決定するタイミング決定工程と、
を有する距離画像撮像方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、距離画像撮像装置、および距離画像撮像方法に関する。
【背景技術】
【0002】
従来から、光の速度が既知であることを利用し、光の飛行時間に基づいて被写体との距離を測定する、タイム・オブ・フライト(Time of Flight、以下「TOF」という)方式の距離センサが実現されている。TOF方式の距離センサでは、撮影対象の空間に近赤外光を照射し、近赤外光を照射した時間と、近赤外光が被写体によって反射して戻ってくる時間との差、つまり、近赤外光の飛行時間に基づいて、被写体との距離を測定している。
【0003】
また、近年のTOF方式の距離センサの中には、撮像装置に搭載される固体撮像装置と同様に、距離を測定するための光を検出する画素を二次元の行列状に複数配置し、被写体との間の2次元の距離の情報のみではなく、被写体の画像も取得(撮像)することができる、いわゆる、距離画像撮像装置も実現されている。
【0004】
そして、距離画像撮像装置には、被写体との距離を測定する複数の方式のうち、パルス状の近赤外光(以下、「光パルス」という)を照射し、光パルスを照射した時間と、所定時間後に被写体によって反射してきた光パルスを検出した時間との差に基づいて、光パルスの飛行時間を計測する方式が採用されたものがある。このような方式の距離画像撮像装置において、被写体との距離の情報や被写体の画像を取得するためのセンサとして用いられる撮像素子には、それぞれの画素の中に、複数の電荷蓄積部と、それぞれの電荷蓄積部に電荷を振り分ける構成要素とを設けた構成のものがある。振り分け構成の撮像素子では、画素を構成する光電変換素子が発生した電荷をそれぞれの電荷蓄積部に振り分け、それぞれの電荷蓄積部に振り分けられた電荷の比に基づいて、被写体によって反射してきた光パルスの遅れ時間を算出することによって、被写体との距離を測定することができる。
【0005】
距離画像撮像装置では、様々な被写体の状況や環境において距離を測定する必要がある。例えば、複数の距離画像撮像装置が近接して存在する状況であったり、距離を測定する対象の被写体を複数の距離画像撮像装置で囲んで測定する環境であったりする。このような状況や環境では、距離画像撮像装置が照射した光パルスの反射光に、他の距離画像撮像装置が照射した光パルスの直接光又は反射光が混在してしまうことがあり得る。このような場合、他の距離画像撮像装置が照射した光パルスを、被写体によって反射してきた光パルスと誤認識してしまい被写体との距離の測定精度が低下したり、被写体との距離を測定することができなくなってしまったりするということが考えられる。このため、他の距離画像撮像装置から照射される光パルスが入射され得る環境において、距離画像撮像装置が被写体との距離を測定する際には、他の距離画像撮像装置から照射される光パルスの影響を低減させることが望まれている。
【0006】
これに関して、例えば、特許文献1に開示されたような、距離センサ(距離画像撮像装置)に関する技術が提案されている。特許文献1に開示された距離センサは、蓄積周期の所定回数分の合計期間が、蓄積周期の長さの変更前後において蓄積周期の1周期分以上ずれるように、蓄積周期の長さを変更する周期設定部を備えている。ここで蓄積周期は光源部による光の出射に応じて受光部が受光量を蓄積する周期である。つまり、特許文献1に開示された距離センサの技術では、蓄積周期の長さを変更する。これにより、特許文献1に開示された距離センサでは、蓄積周期の期間に、干渉光(他の距離センサから照射された光パルス)が入射されること自体は許容しながら、それぞれの電荷蓄積部に振り分けられた電荷に含まれる干渉光の影響を統計的に均等にして、干渉光の入射による距離の誤測定を抑制することができる。
【先行技術文献】
【特許文献】
【0007】
【発明の概要】
【発明が解決しようとする課題】
【0008】
しかしながら、特許文献1に開示された距離センサの技術は、使い勝手がよいものであるとは言い難かった。例えば、特許文献1のセンサは、蓄積周期の所定回数分の合計期間が、蓄積周期の長さの変更前後において蓄積周期の1周期分以上ずれるようにする。つまり、蓄積周期の長さの変更前後で距離の測定に要する時間が異なる。この場合、センサが測定する度に測定に要する時間が異なってしまい、それぞれの測定結果を統合させようとした場合に使い勝手が悪くなる。また、特許文献1のセンサでは、測定した距離の変化率の大きさに基づいて干渉が生じたか否かを判定する。このため、距離を測定する前に干渉の有無を判定することができない。すなわち、特許文献1のセンサでは、特に、被写体までの距離を複数のセンサを用いて測定する場合などにおいて利用し難くなる恐れがあった。
【0009】
本発明は、上記の課題に基づいてなされたものであり、利便性を損ねることなく、干渉光の入射による距離の誤測定を抑制することができる距離画像撮像装置、および距離画像撮像方法を提供することを目的としている。
【課題を解決するための手段】
【0010】
本発明の第1の態様によれば、距離画像撮像装置は、撮影対象の空間に対して所定の周期で断続的な光パルスを照射する光源部と、入射した光に応じた電荷を発生する光電変換素子と、前記電荷を蓄積する複数の電荷蓄積部とを具備し、所定の蓄積タイミングで前記電荷を前記電荷蓄積部それぞれに振り分けて蓄積する画素が二次元の行列状に複数配置された距離画像センサを備えた受光部と、前記蓄積タイミングに同期させて前記光パルスを照射させる測定期間において前記電荷蓄積部のそれぞれに蓄積された前記電荷の量である電荷量に基づいて、前記撮影対象の空間に存在する被写体との間の距離を求める距離画像処理部と、前記蓄積タイミングに前記光パルスを照射させない調査期間において、前記電荷蓄積部のそれぞれに積算された前記電荷の量である電荷量に基づいて、前記測定期間における前記蓄積タイミングを決定するタイミング決定部と、を備える。
【0011】
本発明の第2の態様によれば、前記タイミング決定部は、前記調査期間において前記電荷蓄積部それぞれに蓄積された前記電荷量と、前記調査期間における前記蓄積タイミングとに応じて、前記測定期間における前記蓄積タイミングを決定する。
【0012】
本発明の第3の態様によれば、前記タイミング決定部は、前記調査期間において蓄積された前記電荷量が最大である前記電荷蓄積部に前記電荷が蓄積される蓄積期間と、前記測定期間における前記蓄積タイミングの前記電荷蓄積部のそれぞれの前記蓄積期間とが、前記蓄積期間が繰り返される周期である蓄積周期において重ならないように、前記測定期間における前記蓄積タイミングを決定する。
【0013】
本発明の第4の態様によれば、前記タイミング決定部は、前記調査期間において蓄積された電荷量が最大である前記電荷蓄積部の識別情報と、前記測定期間における前記蓄積タイミングに関する情報とを対応付けたタイミング情報テーブルに基づいて、前記測定期間における前記蓄積タイミングを決定する。
【0014】
本発明の第5の態様によれば、前記調査期間の長さは、前記測定期間の長さよりも小さい。
【0015】
本発明の第6の態様によれば、距離画像撮像装置は、撮影対象の空間に対して所定の周期で光パルスを照射する光源部と、入射した光に応じた電荷を発生する光電変換素子と、前記電荷を蓄積する複数の電荷蓄積部とを具備し、前記光パルスの照射に同期して前記電荷をそれぞれの前記電荷蓄積部に振り分けて蓄積する画素が二次元の行列状に複数配置された距離画像センサを備えた受光部と、所定の電荷振り分け回数で前記電荷の蓄積が実行される測定期間に前記電荷蓄積部のそれぞれに積算された前記電荷の量である電荷量に基づいて、前記撮影対象の空間に存在する被写体との間の距離を求める距離画像処理部と、前記電荷蓄積部のそれぞれに前記電荷を蓄積させる周期である蓄積周期の長さを変更する前後において、前記測定期間の長さに変化がないように前記蓄積周期の長さを変更する蓄積周期変更部と、を備える。
【0016】
本発明の第7の態様によれば、距離画像撮像システムは、複数の距離画像撮像装置と、前記複数の距離画像装置と通信可能に接続する外部制御装置と、を備える距離画像撮像システムである。前記複数の距離画像撮像装置のそれぞれは、撮影対象の空間に対して所定の周期で光パルスを照射する光源部と、入射した光に応じた電荷を発生する光電変換素子と、前記電荷を蓄積する複数の電荷蓄積部とを具備し、前記光パルスの照射に同期して前記電荷をそれぞれの前記電荷蓄積部に振り分けて蓄積する画素が二次元の行列状に複数配置された距離画像センサを備えた受光部と、所定の電荷振り分け回数で前記電荷の蓄積が実行される測定期間において前記電荷蓄積部のそれぞれに積算された前記電荷の量である電荷量に基づいて、前記撮影対象の空間に存在する被写体との間の距離を求める距離画像処理部と、前記外部制御装置からの情報を取得する情報取得部と、を有する。前記外部制御装置は、前記複数の距離画像撮像装置のうち第1距離画像撮像装置における前記電荷蓄積部が前記電荷を蓄積する蓄積タイミングと、前記第1距離画像撮像装置と異なる第2距離画像撮像装置における前記蓄積タイミングとが時間的に重ならないように制御するタイミング制御部、を有する。
【0017】
本発明の第8の態様によれば、上記第7の態様の距離画像撮像システムにおいて、前記タイミング制御部は、前記第1距離画像撮像装置における前記蓄積タイミングとは異なる期間に、前記第2距離画像撮像装置における前記蓄積タイミングがくるように、前記蓄積タイミングを制御する。
【0018】
本発明の第9の態様によれば、上記第7の態様の距離画像撮像システムにおいて、前記タイミング制御部は、前記第1距離画像撮像装置の前記測定期間が終了した後に、前記第2距離画像撮像装置の前記測定期間が開始されるように、前記蓄積タイミングを制御する。
【0019】
本発明の第10の態様によれば、距離画像撮像方法は、光源部が、撮影対象の空間に対して所定の周期で断続的な光パルスを照射する光源工程と、受光部が、入射した光に応じた電荷を発生する光電変換素子と、前記電荷を蓄積する複数の電荷蓄積部とを具備し、所定の蓄積タイミングで前記電荷を前記電荷蓄積部それぞれに振り分けて蓄積する画素が二次元の行列状に複数配置された距離画像センサを備えた受光工程と、距離画像処理部が、前記蓄積タイミングに同期させて前記光パルスを照射させる測定期間において前記電荷蓄積部のそれぞれに蓄積された前記電荷の量である電荷量に基づいて、前記撮影対象の空間に存在する被写体との間の距離を求める距離画像処理工程と、タイミング決定部が、前記蓄積タイミングに前記光パルスを照射させない調査期間において、前記電荷蓄積部のそれぞれに積算された前記電荷の量である電荷量に基づいて、前記測定期間における前記蓄積タイミングを決定するタイミング決定工程と、を有する。
【0020】
本発明の第11の態様によれば、距離画像撮像方法は、光源部が、撮影対象の空間に対して所定の周期で光パルスを照射する光源工程と、受光部が、入射した光に応じた電荷を発生する光電変換素子と、前記電荷を蓄積する複数の電荷蓄積部とを具備し、前記光パルスの照射に同期して前記電荷をそれぞれの前記電荷蓄積部に振り分けて蓄積する画素が二次元の行列状に複数配置された距離画像センサを備えた受光工程と、距離画像処理部が、所定の電荷振り分け回数で前記電荷の蓄積が実行される測定期間に前記電荷蓄積部のそれぞれに積算された前記電荷の量である電荷量に基づいて、前記撮影対象の空間に存在する被写体との間の距離を求める距離画像処理工程と、蓄積周期変更部が、前記電荷蓄積部のそれぞれに前記電荷を蓄積させる周期である蓄積周期の長さを変更する前後において、前記測定期間の長さに変化がないように前記蓄積周期の長さを変更する蓄積周期変更工程と、を有する。
【0021】
本発明の第12の態様によれば、距離画像撮像方法は、複数の距離画像撮像装置と、前記複数の距離画像装置と通信可能に接続する外部制御装置と、を備える距離画像撮像システムにおける距離画像撮像方法であって、前記複数の距離画像撮像装置のそれぞれは、光源部が、撮影対象の空間に対して所定の周期で光パルスを照射する光源工程と、受光部が、入射した光に応じた電荷を発生する光電変換素子と、前記電荷を蓄積する複数の電荷蓄積部とを具備し、前記光パルスの照射に同期して前記電荷をそれぞれの前記電荷蓄積部に振り分けて蓄積する画素が二次元の行列状に複数配置された距離画像センサを備えた受光工程と、距離画像処理部が、所定の電荷振り分け回数で前記電荷の蓄積が実行される測定期間において前記電荷蓄積部のそれぞれに積算された前記電荷の量である電荷量に基づいて、前記撮影対象の空間に存在する被写体との間の距離を求める距離画像処理工程と、情報取得部が、前記外部制御装置からの情報を取得する情報取得工程と、を有し、前記外部制御装置は、タイミング制御部が、前記複数の距離画像撮像装置のうち第1距離画像撮像装置における前記電荷蓄積部が前記電荷を蓄積する蓄積タイミングと、前記第1距離画像撮像装置と異なる第2距離画像撮像装置における前記蓄積タイミングとが時間的に重ならないように制御するタイミング制御工程、を有する。
【発明の効果】
【0022】
上記各態様によれば、利便性を損ねることなく、干渉光の入射による距離の誤測定を抑制することができる。
【図面の簡単な説明】
【0023】
【
図1】本発明の第1の実施形態の距離画像撮像装置1の概略構成を示したブロック図である。
【
図2】本発明の第1の実施形態の距離画像撮像装置1に用いられる撮像素子の概略構成を示したブロック図である。
【
図3】本発明の第1の実施形態の距離画像撮像装置1に用いられる撮像素子の受光領域に配置された画素321の構成の一例を示した回路図である。
【
図4】従来の距離画像撮像装置における画素を駆動するタイミングを示したタイミングチャートである。
【
図5】本発明の第1の実施形態の距離画像撮像装置1における画素321を駆動するタイミングを示したタイミングチャートである。
【
図6A】本発明の第1の実施形態の距離画像撮像装置1における受光タイミングを変更する前のタイミングを示す図である。
【
図6B】本発明の第1の実施形態の距離画像撮像装置1における受光タイミングを変更した後のタイミングを示す図である。
【
図7】本発明の第1の実施形態のタイミング情報テーブル44に記憶される情報の構成例を示す図である。
【
図8】本発明の第1の実施形態の距離画像撮像装置1が行う処理の流れを示したフローチャートである。
【
図9】本発明の第2実施形態の距離画像撮像装置1Aの構成の例を示したブロック図である。
【
図10A】本発明の第2実施形態の距離画像撮像装置1Aにおける画素321を駆動するタイミングを示したタイミングチャートである。
【
図10B】本発明の第2実施形態の距離画像撮像装置1Aにおける画素321を駆動するタイミングを示したタイミングチャートである。
【
図10C】本発明の第2実施形態の距離画像撮像装置1Aにおける画素321を駆動するタイミングを示したタイミングチャートである。
【
図10D】本発明の第2実施形態の距離画像撮像装置1Aにおける画素321を駆動するタイミングを示したタイミングチャートである。
【
図11】本発明の第3実施形態の距離画像撮像装置1Bが適用される距離画像撮像システムMの構成の例を示したブロック図である。
【
図12】本発明の第3実施形態の距離画像撮像装置1Bにおける画素321を駆動するタイミングを示したタイミングチャートである。
【
図13】本発明の第3実施形態の距離画像撮像装置1Bにおける画素321を駆動するタイミングを示したタイミングチャートである。
【発明を実施するための形態】
【0024】
以下、本発明の実施形態について、図面を参照して説明する。
【0025】
(第1の実施形態)
まず、第1の実施形態について説明する。
図1は、本発明の第1の実施形態の距離画像撮像装置の概略構成を示したブロック図である。
図1に示した構成の距離画像撮像装置1は、光源部2と、受光部3と、距離画像処理部4とを備えている。なお、
図1には、距離画像撮像装置1において距離を測定する対象物である被写体Sも併せて示している。
【0026】
光源部2は、距離画像処理部4からの制御に従って、距離画像撮像装置1において距離を測定する対象の被写体Sが存在する撮影対象の空間に光パルスPOを照射する。光源部2は、例えば、垂直共振器面発光レーザー(VCSEL:Vertical Cavity Surface Emitting Laser)などの面発光型の半導体レーザーモジュールである。光源部2は、光源装置21と、拡散板22とを備えている。
【0027】
光源装置21は、被写体Sに照射する光パルスPOとなる近赤外の波長帯域(例えば、波長が850nm~940nmの波長帯域)のレーザー光を発光する光源である。光源装置21は、例えば、半導体レーザー発光素子である。光源装置21は、タイミング制御部41からの制御に応じて、パルス状のレーザー光を発光する。
【0028】
拡散板22は、光源装置21が発光した近赤外の波長帯域のレーザー光を、被写体Sに照射する面の広さに拡散する光学部品である。拡散板22が拡散したパルス状のレーザー光が、光パルスPOとして光源部2から出射されて、被写体Sに照射される。
【0029】
受光部3は、距離画像撮像装置1において距離を測定する対象の被写体Sによって反射された光パルスPOの反射光RLを受光し、受光した反射光RLに応じた画素信号を出力する。受光部3は、レンズ31と、距離画像センサ32とを備えている。
【0030】
レンズ31は、入射した反射光RLを距離画像センサ32に導く光学レンズである。レンズ31は、入射した反射光RLを距離画像センサ32側に出射して、距離画像センサ32の受光領域に備えた画素に受光(入射)させる。
【0031】
距離画像センサ32は、距離画像撮像装置1に用いられる撮像素子である。距離画像センサ32は、二次元の受光領域に複数の画素を備え、それぞれの画素の中に、1つの光電変換素子と、この1つの光電変換素子に対応する複数の電荷蓄積部と、それぞれの電荷蓄積部に電荷を振り分ける構成要素とが設けられた振り分け構成の撮像素子である。距離画像センサ32は、タイミング制御部41からの制御に応じて、画素を構成する光電変換素子が発生した電荷をそれぞれの電荷蓄積部に振り分け、それぞれの電荷蓄積部に振り分けられた電荷量に応じた画素信号を出力する。
【0032】
なお、距離画像センサ32では、複数の画素が二次元の行列状に配置されており、それぞれの画素の対応する1フレーム分の画素信号を出力する。
【0033】
距離画像処理部4は、距離画像撮像装置1の全体を制御する制御部である。また、距離画像処理部4は、被写体Sとの間の距離を演算する演算部でもある。距離画像処理部4は、タイミング制御部41と、距離演算部42と、タイミング決定部43と、タイミング情報テーブル44とを備えている。
【0034】
タイミング制御部41は、光源部2が被写体Sに光パルスPOを照射するタイミングや、受光部3に備えた距離画像センサ32が反射光RLを受光するタイミングなどを制御する。
【0035】
距離演算部42は、距離画像センサ32から出力された画素信号に基づいて、被写体Sとの間の距離を演算した距離情報を出力する。
【0036】
タイミング決定部43は、干渉光の入射による影響が低減されるように、反射光RLを受光するタイミングを決定する。タイミング決定部43は、決定したタイミングをタイミング制御部41に通知する。タイミング制御部41は、タイミング決定部43から通知されたタイミングに応じて、反射光RLを受光するタイミングを制御する。
【0037】
ここで、本実施形態における干渉光とは、反射光RLとは異なる経路で距離画像撮像装置1へ断続的に入射される光を意味する。例えば、干渉光は、複数の距離画像撮像装置が近接して存在する状況において、他の距離画像撮像装置から距離画像撮像装置1に照射される光パルスである。
【0038】
タイミング決定部43は、所定のタイミングで受光した光に干渉光が含まれているか否かを、測定を行う前に判定する。タイミング決定部43は、所定のタイミングで受光した光に干渉光が含まれていると判定した場合、受光する光に当該干渉光が含まれなくなるように、受光のタイミングをずらす決定をする。一方、タイミング決定部43は、干渉光が含まれていないと判定した場合、受光のタイミングをずらさないと決定する。これにより、タイミング決定部43が決定した受光のタイミングで受光した光に干渉光が含まれにくくすることができる。
【0039】
例えば、タイミング決定部43は、所定のタイミングで受光した光に干渉光が含まれていると判定した場合、タイミング情報テーブル44に記憶されるタイミング情報を用いて、受光のタイミングをずらす量を決定する。タイミング情報は、干渉光が含まれていると判定された場合における、変更前のタイミングと変更後のタイミングとの関係を対応づけた情報である。
タイミング情報テーブル44は、タイミング情報を記憶する。
【0040】
このような構成によって、距離画像撮像装置1では、光源部2が被写体Sに照射した近赤外の波長帯域の光パルスPOが被写体Sによって反射された反射光RLを受光部3が受光し、距離画像処理部4が、被写体Sとの距離を測定した距離情報を出力する。
【0041】
なお、
図1においては、距離画像処理部4を内部に備えた構成の距離画像撮像装置1を示しているが、距離画像処理部4は、距離画像撮像装置1の外部に備える構成要素であってもよい。
【0042】
次に、距離画像撮像装置1において撮像素子として用いられる距離画像センサ32の構成について説明する。
図2は、本発明の第1の実施形態の距離画像撮像装置1に用いられる撮像素子(距離画像センサ32)の概略構成を示したブロック図である。
図2において、距離画像センサ32は、複数の画素321が配置された受光領域320と、制御回路322と、振り分け動作を有した垂直走査回路323と、水平走査回路324と、画素信号処理回路325とを備えている。なお、
図2に示した距離画像センサ32では、複数の画素321が、8行8列に二次元の行列状に配置された受光領域320の一例を示している。
【0043】
以下の説明においては、距離画像センサ32に備えた画素信号処理回路325が、画素321から出力された電圧信号に対してノイズ抑圧処理を行い、その後、A/D変換処理をして出力する、つまり、デジタル値に変換した電圧信号を出力するものとして説明する。
【0044】
次に、距離画像センサ32に備える受光領域320内に配置された画素321の構成について説明する。
図3は、本発明の第1の実施形態の距離画像撮像装置1に用いられる撮像素子(距離画像センサ32)の受光領域320内に配置された画素321の構成の一例を示した回路図である。
図3には、受光領域320内に配置された複数の画素321のうち、1つの画素321の構成の一例を示している。画素321は、3つの画素信号読み出し部を備えた構成の一例である。
【0045】
画素321は、1つの光電変換素子PDと、ドレインゲートトランジスタGDと、対応する出力端子Oから電圧信号を出力する3つの画素信号読み出し部RUとを備えている。画素信号読み出し部RUのそれぞれは、読み出しゲートトランジスタGと、フローティングディフュージョンFDと、電荷蓄積容量Cと、リセットゲートトランジスタRTと、ソースフォロアゲートトランジスタSFと、選択ゲートトランジスタSLとを備えている。それぞれの画素信号読み出し部RUでは、フローティングディフュージョンFDと電荷蓄積容量Cとによって電荷蓄積部CSが構成されている。
【0046】
なお、
図3においては、3つの画素信号読み出し部RUの符号「RU」の後に、「1」、「2」または「3」の数字を付与することによって、それぞれの画素信号読み出し部RUを区別する。また、同様に、3つの画素信号読み出し部RUに備えたそれぞれの構成要素も、それぞれの画素信号読み出し部RUを表す数字を符号の後に示すことによって、それぞれの構成要素が対応する画素信号読み出し部RUを区別して表す。
図3に示した画素321において、出力端子O1から電圧信号を出力する画素信号読み出し部RU1は、読み出しゲートトランジスタG1と、フローティングディフュージョンFD1と、電荷蓄積容量C1と、リセットゲートトランジスタRT1と、ソースフォロアゲートトランジスタSF1と、選択ゲートトランジスタSL1とを備えている。画素信号読み出し部RU1では、フローティングディフュージョンFD1と電荷蓄積容量C1とによって電荷蓄積部CS1が構成されている。画素信号読み出し部RU2および画素信号読み出し部RU3も同様の構成である。
【0047】
光電変換素子PDは、入射した光を光電変換して電荷を発生させ、発生させた電荷を蓄積する埋め込み型のフォトダイオードである。なお、本発明においては、画素321に備える光電変換素子PDの構造に関して特に規定しない。このため、光電変換素子PDは、例えば、P型半導体とN型半導体とを接合した構造のPNフォトダイオードであってもよいし、P型半導体とN型半導体との間にI型半導体を挟んだ構造のPINフォトダイオードであってもよい。また、画素321に備える光電変換素子としては、フォトダイオードに限定されるものではなく、例えば、フォトゲート方式の光電変換素子であってもよい。画素321では、光電変換素子PDが入射した光を光電変換して発生させた電荷を3つの電荷蓄積部CSのそれぞれに振り分け、振り分けられた電荷の電荷量に応じたそれぞれの電圧信号を、画素信号処理回路325に出力する。
【0048】
距離画像センサ32に配置される画素の構成は、
図3に示したような、3つの画素信号読み出し部RUを備えた構成に限定されるものではなく、1つの光電変換素子PDと、光電変換素子PDが発生して蓄積した電荷を振り分ける複数の画素信号読み出し部RUを備えた構成の画素であれば、いかなる構成の画素であってもよい。つまり、距離画像センサ32に配置される画素に備える画素信号読み出し部RU(電荷蓄積部CS)の数は、2つであってもよいし、4つ以上であってもよい。
【0049】
また、
図3に示した構成の画素321では、電荷蓄積部CSを、フローティングディフュージョンFDと電荷蓄積容量Cとによって構成する一例を示した。しかし、電荷蓄積部CSは、少なくともフローティングディフュージョンFDによって構成されればよい。つまり、画素321は、それぞれの電荷蓄積容量Cを備えていない構成であってもよい。
【0050】
また、
図3に示した構成の画素321では、ドレインゲートトランジスタGDを備える構成の一例を示したが、光電変換素子PDに蓄積されている(残っている)電荷を破棄する必要がない場合には、距離画像センサ32に配置される画素に、ドレインゲートトランジスタGDを備えない構成であってもよい。
【0051】
次に、距離画像撮像装置1における画素321の駆動(制御)方法について
図4、及び
図5を用いて説明する。
図4は、従来の距離画像撮像装置における画素を駆動する駆動信号のタイミングを示したタイミングチャートである。
図5は、本発明の第1の実施形態の距離画像撮像装置1における画素321を駆動するタイミングを示したタイミングチャートである。
【0052】
図4、及び
図5では、1フレーム分の駆動信号のタイミング、及び光パルスPOを照射するタイミングを示している。具体的には、駆動信号TX1のタイミングを「G1(TX1)」、駆動信号TX2のタイミングを「G2(TX2)」、駆動信号TX3のタイミングを「G3(TX3)」、駆動信号RSTDのタイミングを「GD(RSTD)」、光パルスPOを照射するタイミングを「Light(PO)」の項目名でそれぞれ示している。また、距離画像撮像装置1における一連の受光動作タイミングを「Camera」の項目名で示している。「Camera」では、一連の受光動作タイミングとして、読み出しゲートトランジスタG1、G2、G3、及びドレインゲートトランジスタGDがオン状態となるタイミングを、それぞれ、「G1」、「G2」、「G3」、及び「GD」で示している。
【0053】
図4に示すように、従来の距離画像撮像装置における1フレーム分の処理には、積算期間と読出し期間とが含まれる。積算期間は、電荷蓄積部CSに電荷を積算させる期間である。読出し期間は、電荷蓄積部CSに積算された電荷量を読み出す期間である。また、積算期間では、蓄積周期における処理が、所定回数だけ繰り返されることにより、電荷蓄積部CSに蓄積された電荷が積算される。蓄積周期における処理とは、電荷蓄積部CSに電荷が蓄積される処理である。
【0054】
ここで、電荷蓄積部CSに電荷が蓄積する処理の流れについて説明する。
垂直走査回路323は、蓄積周期において、電荷蓄積部CS1、CS2、及びCS3の順に、電荷を蓄積させる。まず、垂直走査回路323は、駆動信号TX1を“High”レベルにして、読み出しゲートトランジスタG1をオン状態にする。これにより、光電変換素子PDにより光電変換された電荷が、読み出しゲートトランジスタG1を介して電荷蓄積部CS1に蓄積される。その後、垂直走査回路323は、駆動信号TX1を“Low”レベルにして、読み出しゲートトランジスタG1をオフ状態にする。これにより、電荷蓄積部CS1への電荷の転送が停止される。このようにして、垂直走査回路323は、電荷蓄積部CS1に電荷を蓄積させる。
【0055】
次に、垂直走査回路323は、電荷蓄積部CS2に電荷を蓄積させる。垂直走査回路323は、電荷蓄積部CS1への電荷の蓄積を終了させたタイミングで、電荷蓄積部CS2への電荷の蓄積を開始させる。以降の電荷蓄積部CS2に電荷を蓄積させる処理の流れは、電荷蓄積部CS1に電荷を蓄積させる処理の流れと同様であるため、その説明を省略する。
【0056】
次に、垂直走査回路323は、電荷蓄積部CS3に電荷を蓄積させる。垂直走査回路323は、電荷蓄積部CS2への電荷の蓄積を終了させたタイミングで、電荷蓄積部CS3への電荷の蓄積を開始させる。以降の電荷蓄積部CS3に電荷を蓄積させる処理の流れは、電荷蓄積部CS1に電荷を蓄積させる処理の流れと同様であるため、その説明を省略する。
【0057】
次に、垂直走査回路323は、電荷を排出させる。垂直走査回路323は、電荷蓄積部CS3への電荷の蓄積を終了させたタイミングで、電荷の排出を行う。これにより、光電変換素子PDが光電変換した電荷がドレインゲートトランジスタGDを介して破棄される。
【0058】
駆動信号RSTDが“High”レベルとなる期間は、最小排出期間Tbと、ND期間Tcとで構成される。最小排出期間Tbは、光電変換素子PDをリセットするために最低限必要な期間であって、例えば蓄積期間Taと同じ長さである。ND期間Tcは、蓄積周期を調整するための期間であって、例えば蓄積期間Ta×n(nは任意の自然数)に相当する期間である。
【0059】
また、光源部2は、読み出しゲートトランジスタG1がオフ状態になったタイミング、つまり駆動信号TX2が“High”レベルとなるタイミングで、光パルスPOを照射する。光源部2が光パルスPOを照射する期間は、蓄積期間Taと同じ長さである。
【0060】
ここで、電荷蓄積部CSに蓄積された電荷量から距離を算出する処理について説明する。蓄積周期において、垂直走査回路323により上述したような制御が行われることにより、所定の時間区間に距離画像撮像装置1に入射された光量に相当する電荷が電荷蓄積部CSのそれぞれに蓄積される。光パルスPOを照射するタイミングと、電荷蓄積部CSのそれぞれに電荷を蓄積させるタイミングとの関係から、電荷蓄積部CS1には、光パルスPOを照射する前の背景光などの外光成分に相当する電荷量が保持される。また、電荷蓄積部CS2、及びCS3には、反射光RL、及び外光成分に相当する電荷量が振り分けられて保持される。
【0061】
電荷蓄積部CS2、及びCS3に振り分けられる電荷量の配分(振り分け比率)は、光パルスPOが被写体Sに反射して距離画像撮像装置1に入射されるまでの遅延時間Tdに応じた比率となる。この原理を利用して、遅延時間Tdは、以下の(1)式により算出することができる。
【0062】
Td=To×(Q3-Q1)/(Q2+Q3-2×Q1) …(1)
【0063】
ここで、Toは光パルスPOが照射された期間、Q1は電荷蓄積部CS1に蓄積された電荷量、Q2は電荷蓄積部CS2に蓄積された電荷量、Q3は電荷蓄積部CS3に蓄積された電荷量、を示す。また、(1)式では、電荷蓄積部CS2、及びCS3に蓄積される電荷量のうち、外光成分に相当する電荷量は電荷蓄積部CS1に蓄積された電荷量と同量であることを前提としている。
【0064】
(1)式で求めた遅延時間に、光速(速度)を乗算させることにより、被写体Sまでの往復の距離を算出することができる。そして、上記で算出した往復の距離を1/2とすることにより、被写体Sまでの距離を求めることができる。
【0065】
ここで、本実施形態の距離画像撮像装置1における処理について説明する。
図5に示すように、本実施形態の距離画像撮像装置1における1フレーム分の処理には、調査期間と測定期間とが含まれる。測定期間では、
図4に示した従来の測定に相当する処理(1フレームに相当する処理)が行われる。
【0066】
調査期間では、距離の測定に先立ち、受光タイミングにおける干渉光の有無が判定される。ここで、受光タイミングは、電荷蓄積部CSそれぞれが電荷を蓄積するタイミングであって、読み出しゲートトランジスタGがオン状態、つまり駆動信号TXが”High”レベルとなるタイミングである。受光タイミングは、「蓄積タイミング」の一例である。
【0067】
本実施形態では、調査期間において干渉光の存在が確認された場合、当該干渉光の測定への影響が回避されるように、受光タイミングが調整される。そして、調整後の受光タイミングにて、測定が行われるようにする。これにより、干渉光による誤測定を抑制する。
【0068】
調査期間は、測定期間と比較して短い(小さい)長さに設定される。例えば、測定期間の長さを30[ms]程度とした場合、調査期間の長さは90[us]程度、比率にして約0.3[%]程度である。これにより、距離を測定する測定周期(1フレームに相当する時間)を、従来の測定周期とほとんど変わらない長さに収めるようにする。
【0069】
図5に示すように、調査期間には、従来の距離画像撮像装置における1フレームの処理と同様に、積算期間と読出し期間とが含まれる。調査期間における読出し期間は、
図4に示す従来の読出し期間と同様に、電荷蓄積部CSに積算された電荷の量を読み出す処理が行われる。
【0070】
調査期間における積算期間では、
図4に示す従来の積算期間と同様に、電荷蓄積部CSに電荷を積算させる処理が行われる。しかしながら、調査期間における積算期間では、電荷蓄積部CSに電荷を積算させるタイミングに同期させた光パルスPOの照射を行わない。
【0071】
本実施形態では、調査期間における積算期間に、光パルスPOを照射しないため、受光タイミングに同期した干渉光が存在しない場合には、電荷蓄積部CS1~CS3のそれぞれに、外光成分に相当する、ほぼ同量の電荷量が蓄積されると考えられる。
【0072】
一方、受光タイミングに同期した干渉光が存在する場合には、電荷蓄積部CSのうち干渉光と同じタイミングで受光する電荷蓄積部CSに、他の電荷蓄積部CSよりも大きな電荷量が蓄積される。この原理を利用して、タイミング決定部43は、調査期間に電荷蓄積部CSそれぞれに蓄積された電荷量に基づいて、受光タイミングに同期する干渉光が存在するか否かを判定する。
【0073】
タイミング決定部43は、読み出した電荷量に基づいて、調査期間において最も大きな電荷量が蓄積されていた電荷蓄積部CSを、干渉光を受光した電荷蓄積部CSと判定する。そして、タイミング決定部43は、干渉光を受光したと判定した電荷蓄積部CSの読み出しゲートトランジスタGがオン状態となるタイミングを、干渉光が存在するタイミングと判定する。例えば、タイミング決定部43は、電荷蓄積部CS1に最も大きな電荷量が蓄積されていた場合、読み出しゲートトランジスタG1がオン状態となるタイミングを、干渉光が存在するタイミングと判定する。タイミング決定部43は、電荷蓄積部CS2、CS3についても同様に判定する。
【0074】
上記では、蓄積された電荷量の相対値に基づいて干渉光を受光した電荷蓄積部CSを判定したが、これに限定されない。
タイミング決定部43は、蓄積された電荷量の絶対値に基づいて、干渉光を受光した電荷蓄積部CSを判定するようにしてもよい。この場合、例えば、タイミング決定部43は、電荷蓄積部CSそれぞれに蓄積された電荷量が、予め定めた所定の閾値以上であるか否かを判定する。タイミング決定部43は、蓄積された電荷量が所定の閾値以上である電荷蓄積部CSを、干渉光を受光した電荷蓄積部CSと判定する。
【0075】
この場合の閾値は、調査期間における振り分け回数や、電荷量をA/D変換するA/D変換器の性能などに応じて任意に設定されてよい。例えば、閾値は、A/D変換した値が、A/D変換器の精度指標の一つである最大偏差(例えば、4[LSBrms])の所定の倍数(例えば6倍)の値(24[LSB])に設定される。この場合、干渉光を受光した電荷蓄積部CSと判定される電荷蓄積部CSが複数存在してもよい。
【0076】
また、タイミング決定部43は、複数の画素321における電荷蓄積部CS1、CS2、CS3それぞれに蓄積された電荷量の代表値を用いて、干渉光を受光した電荷蓄積部CSを判定するようにしてもよい。代表値は、それぞれに蓄積された電荷量に基づいて算出された一つの値であればよく、例えば、単純加算平均値、重みづけ平均値、最頻値、中央値などである。また、タイミング決定部43は、画素の移動平均を用いて電荷蓄積部CSに蓄積された電荷量を導出してもよい。この場合、対象画素と、その対象画素が配置された位置の周囲に配置された画素群それぞれの電荷蓄積部CSに蓄積された電荷量の代表値を、その対象画素の電荷蓄積部CSに蓄積された電荷量とする。
【0077】
また、タイミング決定部43は、閾値を用いて干渉光を受光した電荷蓄積部CSを判定する場合、距離画像撮像装置1が設けられている環境に応じて、当該閾値を変更してもよい。ここでの環境とは、外光成分に影響を与える可能性がある要因であって、例えば、屋外か屋内か、屋外である場合には晴天か雨天か等の環境である。
【0078】
例えば、屋外での測定においては、A/D変換器の最大偏差が、光ショットノイズの影響により、A/D変換器のダイナミックレンジ(ビット数)の平方根に依存する。例えば、12ビットのA/D変換器であれば最大偏差は、見かけ上、1つの画素あたり、√(4096)=64[LSBrms]となる。16画素の移動平均をとれば、光ショットノイズの影響が相殺されて1/4となり、A/D変換後の最大偏差が16[LSBrms]とみなすことができる。この場合、屋外での測定における閾値は、最大偏差(16[LSBrms])の所定の倍数(例えば6倍)の値(96LSB)に設定される。
【0079】
タイミング決定部43は、蓄積された電荷量の比率に基づいて、干渉光を受光した電荷蓄積部CSを判定するようにしてもよい。この場合、例えば、タイミング決定部43は、電荷蓄積部CSそれぞれに蓄積された電荷量に基づいて、最も大きな電荷量に対する他の電荷量の平均の比率を算出する。タイミング決定部43は、算出した比率が所定の閾値未満である場合に、最も大きな電荷量を蓄積していた電荷蓄積部CSを、干渉光を受光した電荷蓄積部CSと判定する。
【0080】
タイミング決定部43は、干渉光が存在するタイミングがあると判定した場合、現状の受光タイミングを変更し、当該干渉光が存在するタイミングと、測定時の受光タイミングとが重ならないようにする。これにより、干渉光による誤測定を抑制する。
【0081】
本実施形態では、タイミング決定部43は、受光タイミングの位相を遅らせる、又は進ませることにより、蓄積周期の長さを変えずに、受光タイミングを変更する。以下では、タイミング決定部43が受信タイミングを変更する処理について、
図6A及び
図6Bを用いて説明する。
【0082】
図6A及び
図6Bは、本発明の第1の実施形態の受光タイミングを変更する処理を説明するための図である。
図6Aは変更前、
図6Bは変更後のタイミングを示している。また、
図6A及び
図6Bでは、受光タイミング、及び干渉光が照射されるタイミングを示している。また、
図6A及び
図6Bにおける「Camera」等の項目名が示す内容については、
図4および
図5と同様のためその説明を省略する。
【0083】
図6Aでは、蓄積周期が、蓄積期間Ta×3、最小排出期間Tb、及びND期間Tcにより構成されている。また、
図6Aでは、読み出しゲートトランジスタG1及びG2がオン状態となるタイミングをまたいで干渉光が存在する例をしめしている。この場合、タイミング決定部43は、読み出しゲートトランジスタG2(又は、読み出しゲートトランジスタG1及びG2)がオン状態となるタイミングを干渉光が存在するタイミングと判定する。
【0084】
タイミング決定部43は、受光タイミングと干渉光が存在するタイミングとが重ならないように、読み出しゲートトランジスタG2がオン状態となるタイミング(位相)を、蓄積期間Ta×2だけ遅らせるか、或いは、蓄積期間Ta×2だけ進ませるかして変更する。こうすることで、変更後の受光タイミングにおいて干渉光が存在しなくなるようタイミングをずらすことが可能である。
【0085】
図6Bに示すように、タイミング決定部43は、例えば、積算時間の特定箇所に調整期間を設け、遅延分GD#を加えることで、一時的に調整ND期間Tc#に変更することにより、受光タイミングを変更する。調整ND期間Tc#は、ND期間Tcに単位調整期間Te×2を加えた長さの期間である。単位調整期間Teを蓄積期間Taと同じ長さであるとすれば、受光タイミングは蓄積期間Ta×2だけ遅れ、変更後の受光タイミングにおいて干渉光が存在しなくなる。以下では、単位調整期間Teが蓄積期間Taであるものとして説明するが、これに限定されることはなく、単位調整期間Teは蓄積期間Taに応じて調整可能な任意の長さであってよい。
【0086】
なお、上記では、調整期間でGD#を加えることにより受光タイミングの位相を遅らせる場合を例示して説明したが、調整期間でGD#を減らすことにより位相を進ませることで受光タイミングを調整するようにしてもよい。
【0087】
上述したように受光タイミングが変更されると、干渉光が存在するタイミングが、ドレインゲートトランジスタGDがオン状態となる排出期間と重なる。すなわち、干渉光が存在するタイミングと、変更後の受光タイミングとが、時間的に重ならない。このため、蓄積期間において干渉光が受光されることがない。
【0088】
このように、タイミング決定部43は、調査期間において電荷蓄積部CSそれぞれに積算された電荷量と、蓄積周期における電荷蓄積部CSそれぞれの蓄積期間の順序に応じて、受光タイミングを決定する。
【0089】
具体的に、タイミング決定部43は、調査期間において蓄積された電荷量が最大である電荷蓄積部CSの蓄積期間Ta(つまり、干渉光が存在するタイミング)と、受光タイミングを決定(変更)した後の電荷蓄積部CSのそれぞれの蓄積期間Taとの、蓄積周期における時間的な位置が重ならないように、受光タイミングを決定する。
【0090】
具体的に、タイミング決定部43は、調査期間において電荷蓄積部CS1に蓄積された電荷量が最大であった場合、受光タイミングを、蓄積期間Ta×1遅らせるか、又は、蓄積期間Ta×3進ませる。これにより、干渉光が存在するタイミングと、電荷蓄積部CSそれぞれの蓄積期間Taとが時間的に重ならないようにすることができる。
【0091】
同様に、タイミング決定部43は、調査期間において電荷蓄積部CS2に蓄積された電荷量が最大であった場合、受光タイミングを、蓄積期間Ta×2遅らせるか、又は蓄積期間Ta×2進ませる。また、タイミング決定部43は、調査期間において電荷蓄積部CS3に蓄積された電荷量が最大であった場合、受光タイミングを蓄積期間Ta×3遅らせるか、又は蓄積期間Ta×1進ませる。
【0092】
ここで、受光タイミングを遅らせる又は進ませる場合、調整ND期間Tc#の長さが設定可能な範囲でなければならない。つまり、タイミング決定部43は、調整ND期間Tc#が0(ゼロ)未満(つまり、負の値)や、設定可能な上限値を超過した値とならないようにする必要がある。このため、タイミング決定部43は、受光タイミングを遅らせる又は進ませる場合における、調整ND期間Tc#の長さが設定可能な範囲か否かを判定する。
【0093】
具体的に、タイミング決定部43は、調査期間において電荷蓄積部CS1に蓄積された電荷量が最大であった場合において、受光タイミングを蓄積期間Ta×3進ませると、調整ND期間Tc#の長さが負の値となる場合、受光タイミングを蓄積期間Ta×1遅らせるようにする。或いは、タイミング決定部43は、受光タイミングを蓄積期間Ta×1遅らせると、調整ND期間Tc#の長さが設定可能な範囲の上限の値を超える場合には、受光タイミングを蓄積期間Ta×3進ませるようにする。調査期間において電荷蓄積部CS2、又はCS3に蓄積された電荷量が最大であった場合についても、同様である。
【0094】
なお、本実施形態では、受光タイミングを遅らせても、進ませてもND期間Tcが設定可能な範囲とならない事態が発生しないように、ND期間の設定範囲を適切に設定する必要がある。例えば、3つの電荷蓄積部CSを用いて電荷を蓄積する場合、ND期間の下限を蓄積期間Ta×0(ゼロ)とし、上限を蓄積期間Ta×3以上とする。
【0095】
図7は、本発明の第1の実施形態のタイミング情報テーブル44に記憶される情報(タイミング情報)の構成例を示す図である。
図7では、ND期間Tcとして設定可能な範囲において、蓄積された電荷量が最大の電荷蓄積部CSに応じた調整ND期間Tc#の長さが示されている。また、
図7では、ND期間Tc、調整ND期間Tc#のそれぞれの長さを0D~6D等で示している。ここで、0Dは蓄積期間Ta×0、1Dは蓄積期間Ta×1、2Dは蓄積期間Ta×2、…に相当する。つまり、Kを自然数として、KDは、蓄積期間Ta×Kの長さに相当する。
【0096】
図7に示すように、ND期間の設定範囲が0D~6Dである場合、タイミング決定部43は、
図7のタイミング情報テーブル44に基づいて、調整ND期間Tc#を決定するようにしてもよい。
例えば、タイミング決定部43は、調査期間におけるND期間Tcの長さが4Dであって、蓄積された電荷量が最大の電荷蓄積部CSが電荷蓄積部CS1であった場合、調整ND期間Tc#の長さを1Dとする。タイミング決定部43は、調査期間におけるND期間Tcの長さが5Dであって、蓄積された電荷量が最大の電荷蓄積部CSが電荷蓄積部CS2であった場合、調整ND期間Tc#の長さを3Dとする。タイミング決定部43は、調査期間におけるND期間Tcの長さが6Dであって、蓄積された電荷量が最大の電荷蓄積部CSが電荷蓄積部CS3であった場合、調整ND期間Tc#の長さを5Dとする。
【0097】
図8は、本発明の第1の実施形態の距離画像撮像装置1が行う処理の流れを示したフローチャートである。
まず、距離画像撮像装置1は、ND期間Tc設定する(ステップS10)。ND期間Tcは、予め設定された所定の期間であってもよいし、前回の測定に用いられたND期間Tcと同じ長さの期間であってもよい。
【0098】
次に、距離画像撮像装置1は、発光を伴わない蓄積動作を制御する(ステップS11)。発光を伴わない蓄積動作とは、調査期間における受光の動作であって、
図5のタイミングチャートに示すように、光パルスPOを照射させずに、電荷蓄積部CSに電荷を蓄積させる動作である。
【0099】
次に、距離画像撮像装置1は、読出した電荷量に基づいて、干渉光の有無を判定する(ステップS12)。ここで読み出される電荷量は、調査期間において電荷蓄積部CSそれぞれに蓄積された電荷量である。この場合、干渉光が受光されない場合は何れの電荷蓄積部CSもほぼ同量の電荷量が蓄積される。一方で、干渉光が受光されている場合には、干渉光を受光した特定の電荷蓄積部CSに、他の電荷蓄積部CSと比較して大きい電荷量が蓄積される。
【0100】
次に、距離画像撮像装置1は、干渉光の有無を判定した結果に基づいて、調整ND期間Tc#を決定する(ステップS13)。例えば、距離画像撮像装置1のタイミング決定部43は、干渉光が存在するタイミングと重なる受光タイミングをもつ電荷蓄積部CSを判定する。タイミング決定部43は判定結果に基づいて、タイミング情報テーブル44を参照し、調整ND期間Tc#を決定する。タイミング決定部43は決定した調整ND期間Tc#をタイミング制御部41に通知する。タイミング制御部41は、通知された調整ND期間Tc#に基づいて、ドレインゲートトランジスタGDをオン状態とする期間の長さを制御する。
【0101】
次に、距離画像撮像装置1は、発光を伴う蓄積動作を制御する(ステップS14)。発光を伴う蓄積動作とは、測定期間における受光の動作であって、
図4のタイミングチャートに示すように、光パルスPOの照射に同期させて、電荷蓄積部CSに電荷を蓄積させる動作を行う動作である。
【0102】
そして、距離画像撮像装置1は、読出した電荷量に基づいて、被写体Sまでの距離を判定する(ステップS15)。ここで読み出される電荷量は、測定期間において電荷蓄積部CSそれぞれに蓄積された電荷量である。この場合、電荷蓄積部CS1に外光成分に対応する電荷量が蓄積される。電荷蓄積部CS2、CS3には、被写体Sまでの距離に応じた配合により振り分けられた電荷量が蓄積される。距離画像撮像装置1の距離演算部42は、電荷蓄積部CSそれぞれに蓄積された電荷量を式(1)に代入して反射光RLの遅延時間Tdを算出し、算出した遅延時間Tdを用いて被写体Sまでの距離を求める。
【0103】
以上、説明したように、第1の実施形態では、タイミング決定部43が、受光タイミングにおいて干渉光が存在するか否かを判定した結果に基づいて受光タイミングを調整する。タイミング決定部43は、1フレーム内の測定期間の前に、調査期間を設けて干渉光が存在するか否かを判定する。これにより、第1の実施形態の距離画像撮像装置1は、事前に干渉光が照射されるタイミングを避けて受光するように調整することができ、測定した距離の変化率に応じて干渉光の有無を判定する場合と比較して利便性が高い。
【0104】
また、第1の実施形態では、タイミング決定部43は、調査期間において電荷蓄積部CSそれぞれに積算された電荷量と、蓄積周期における電荷蓄積部CSそれぞれの蓄積期間Taの時間的な位置関係に応じて受光タイミングを決定する。これにより、第1の実施形態の距離画像撮像装置1は、電荷量と蓄積期間Taの時間的な位置関係という客観的な指標により定量的に受光タイミングを決定することができ、干渉光の存在を回避して精度よく距離を測定することができる。
【0105】
また、第1の実施形態では、タイミング決定部43は、調査期間において積算された電荷量が最大である電荷蓄積部CSの蓄積期間Taと、蓄積タイミングを変更した後の電荷蓄積部CSのそれぞれの蓄積期間Taとの、蓄積周期における時間的な位置が重ならないように、蓄積タイミングを決定する。これにより、第1の実施形態の距離画像撮像装置1は、干渉光が存在するタイミングが電荷蓄積部CSのそれぞれの蓄積期間Taと重ならないようにすることができ、干渉光の影響をより確実に回避することが可能である。
【0106】
また、第1の実施形態では、タイミング決定部43は、調査期間において積算された電荷量が最大である電荷蓄積部CSの識別情報と、蓄積タイミングに関する情報とを対応付けたタイミング情報テーブル44に基づいて、蓄積タイミングを決定する。これにより、第1の実施形態の距離画像撮像装置1は、タイミング情報テーブル44を参照することにより、容易に蓄積タイミングを決定することができる。
【0107】
また、第1の実施形態では、調査期間の長さは、測定期間の長さよりも小さい長さであるため、従来の測定の周期とほぼ同等の周期により測定を行うことができ、測定に支障をきたさないようにすることができる。
【0108】
なお、上記では、一つの測定期間の前に一つの調査期間が設けられる例を説明したが、これに限定されることはない。複数の測定期間の前に一つの調査期間が設けられてもよい。また、調査期間において受光タイミングが変更された場合に、変更後の受光タイミングにて再度の調査期間を設け、変更後の受光タイミングに別の干渉光が存在していないかを確認するようにしてもよい。
【0109】
(第2の実施形態)
次に、第2の実施形態について説明する。本実施形態では、測定期間における個々の蓄積期間を変更させる点において、上述した実施形態と相違する。以下の説明では、上述した実施形態と相違する構成についてのみ説明し、上述した実施形態と同様の構成については、同じ符号を付してその説明を省略する。
【0110】
図9は、本発明の第2実施形態の距離画像撮像装置1Aの構成の例を示したブロック図である。距離画像撮像装置1Aは、距離画像処理部4Aを備える。距離画像処理部4Aは、蓄積周期変更部45を備える。
【0111】
蓄積周期変更部45は、測定期間における蓄積周期の合計の長さを変更しない範囲で、個々の蓄積周期を変更させる。つまり、蓄積周期変更部45は、測定期間における蓄積周期の平均が、蓄積周期を変更させる前後において変更がないように、個々の蓄積周期を変更させる。
【0112】
なお、蓄積周期変更部45は、干渉光の存在の有無に関わらず、測定期間における個々の蓄積周期の長さを変更する。つまり、本実施形態では、必ずしも干渉光の存在の有無を判定する必要はない。従って、本実施形態における画素321を駆動するタイミングは、調査期間を設けなくてよいという点において
図4と同様である。なお、本実施形態では、第1の実施形態と同様、調査期間を用いて、タイミング情報テーブルで蓄積タイミングを切り替えてもよい。以下、蓄積周期変更部45が、蓄積周期を変更させる方法について、
図10A~
図10Dを用いて説明する。
【0113】
図10A~
図10Dは、本発明の第2実施形態の距離画像撮像装置1Aにおける画素321を駆動するタイミングを示したタイミングチャートである。
図10A~
図10Dでは、従来の距離画像撮像装置(Camera1)、及び距離画像撮像装置1A(Camera2)における、光パルスのタイミングと受光タイミングを示している。また、
図10A~
図10Dは一連のタイミングを示しており、
図10A、
図10B、
図10C、
図10Dの順に時系列が進む様子を示している。
【0114】
図10Aに示すように、従来のCamera1では、基本とする蓄積周期(基本蓄積周期)で蓄積が行われている。基本蓄積周期におけるND期間は、基本ND期間Tcの長さである。
一方、本実施形態のCamera2では、蓄積周期変更部45が、基本蓄積周期より蓄積期間Taだけ長い期間をもつ蓄積周期(長期蓄積周期)で蓄積が行われるようにする。長期蓄積周期におけるND期間は、長期ND期間TcLの長さである。
図10Aに示すように、Camera1とCamera2とが、互いの受光タイミングが同じタイミングで測定が開始されたとする。この場合、最初の蓄積周期において互いの光パルスが同じタイミングとなり、互いに相手の光パルスが干渉光となる。次の蓄積周期において、Camera2の読み出しゲートトランジスタG1がオン状態となるタイミングでCamera1により照射される光パルスが干渉光となる。さらに次の蓄積周期においては、Camera2のドレインゲートトランジスタGDがオン状態となるタイミングでCamera1により光パルスが照射されるため干渉光とはならない。すなわち、Camera2の蓄積周期が、Camera1の蓄積周期よりも蓄積期間Taだけ長いことから、互いに照射する光パルスのタイミングが蓄積周期ごとに互いにずれていき、干渉光となる場合と干渉光とならない場合とが存在する。
【0115】
図10Bに示すように、
図10Aに続く3回の蓄積周期においては、Camera2のドレインゲートトランジスタGDがオン状態となるタイミングでCamera1の光パルスが照射されるため干渉光とはならない。
【0116】
図10Cに示すように、長期蓄積周期を所定の回数繰り返した後、Camera2では、蓄積周期変更部45が、基本蓄積周期より蓄積期間Taだけ短い期間をもつ蓄積周期(短期蓄積周期)で蓄積が行われるようにする。短期蓄積周期におけるND期間は、短期ND期間TcSの長さである。Camera2の蓄積周期が、Camera1の蓄積周期よりも蓄積期間Taだけ短い期間となることから、互いに照射する光パルスのタイミングが、今までとは反対の方向にずれていく。この例では、
図10Bに続く3回の蓄積周期において、Camera2のドレインゲートトランジスタGDがオン状態となるタイミングでCamera1の光パルスが照射されるため干渉光とはならない。
【0117】
図10Dに示すように、
図10Cに続く3回の蓄積周期における1回目の蓄積周期においてCamera2の読み出しゲートトランジスタG1、2回目の蓄積周期においてCamera2の読み出しゲートトランジスタG2、3回目の蓄積周期においてCamera2の読み出しゲートトランジスタG3、がそれぞれオン状態となるタイミングでCamera1により照射される光パルスが干渉光となる。
【0118】
このように、蓄積周期変更部45は、例えば、測定期間の前半が長期蓄積周期とし、後半が短期蓄積周期となるようにして、測定期間における蓄積周期の合計の長さに変更ない範囲で個々の蓄積周期の長さを変更する。これにより、干渉光が存在する場合であっても、読み出しゲートトランジスタG1~G3それぞれにほぼ同数の干渉光が存在するように調整することができ、干渉光を外光成分とみなして処理することが可能となる。また、蓄積周期変更部45は、蓄積周期を変更する前後において、測定期間における蓄積周期の合計の長さを変更しないため、測定期間の長さを一定とすることができ、規則的な測定を行うことが可能となる。
【0119】
なお、上記では測定期間の前半の蓄積周期(
図10A及び
図10B)に長期ND期間TcL、後半の蓄積周期(
図10C及び
図10D)に短期ND期間TcSをそれぞれ用いる場合を説明したが、これに限定されない。蓄積周期変更部45は、読み出しゲートトランジスタG1~G3それぞれが同等に干渉光を受光するように調整できればよく、所定の複数の蓄積周期を切替単位として、切替単位ごとに、長期ND期間TcLと短期ND期間TcSとを交互に用いるようにしてもよい。
【0120】
以上説明したように、第2の実施形態では、蓄積周期変更部が蓄積周期の長さを変更する前後において、蓄積周期と測定期間の振り分け回数とを乗算した合計期間の長さに変化がないように、蓄積周期の長さを変更する。これにより、第2の実施形態の距離画像撮像装置1Aは、読み出しゲートトランジスタG1~G3それぞれが同等に干渉光を受光するように調整でき、干渉光を外光成分とみなして処理することで干渉光による誤測定を抑制することが可能である。また、合計期間の長さが変化しないために、測定周期が変化することがない。このため、測定結果を用いた処理が容易となり使い勝手がよい。
【0121】
(第3の実施形態)
次に、第3の実施形態について説明する。本実施形態では、複数の距離画像撮像装置1Bと、複数の距離画像撮像装置1Bを統合する外部制御装置10を備える点において、上述した実施形態と相違する。以下では、上述した実施形態と相違する構成についてのみ説明し、上述した実施形態と同等の構成についてはその説明を省略する。
【0122】
図11は、本発明の第3実施形態の距離画像撮像装置1Bが適用される距離画像撮像システムMの構成の例を示したブロック図である。距離画像撮像システムMは、複数の距離画像撮像装置1B(距離画像撮像装置1B-1、1B-2、…、1B-N)と、外部制御装置10とを備える。なお、Nは任意の自然数である。距離画像撮像装置1Bと外部制御装置10とは、例えばUSB(Universal Serial Bus)ケーブル等により通信可能に接続される。ここで、距離画像撮像装置1B-1は「第1距離画像撮像装置」の一例である。距離画像撮像装置1B-2は「第2距離画像撮像装置」の一例である。
【0123】
距離画像撮像装置1Bは、情報取得部46を備える。情報取得部46は、外部制御装置10から各種の情報を取得する。
外部制御装置10は、例えば、通信部11と、タイミング制御部12とを備える。通信部11は、距離画像撮像装置1Bの情報取得部46と通信を行う。
【0124】
タイミング制御部12は、距離画像撮像装置1Bのそれぞれの受光タイミングを制御する。ここでの、受光タイミングは、電荷蓄積部CSそれぞれが電荷を蓄積するタイミングであって、読み出しゲートトランジスタGがオン状態、つまり駆動信号TXが”High”レベルとなるタイミングである。受光タイミングは、「蓄積タイミング」の一例である。
【0125】
タイミング制御部12は、距離画像撮像装置1B-1の受光タイミングと、距離画像撮像装置1B-2の受光タイミングとが時間的に重ならないように制御する。
【0126】
図12、
図13は、本発明の第3実施形態の距離画像撮像装置1Bにおける画素321を駆動するタイミングを示したタイミングチャートである。
【0127】
図12には、距離画像撮像装置1B-1(Camera1)、距離画像撮像装置1B-2(Camera2)、距離画像撮像装置1B-3(Camera3)それぞれの受光タイミングと光パルスの照射のタイミングとが示されている。
図12に示すように、タイミング制御部12は、例えば、Camera1の蓄積周期において受光タイミングXとは異なる期間、つまり「GD」で示した排出期間(ドレインゲートトランジスタGDがオン状態となる期間)に、距離画像撮像装置1B-2の受光タイミングY、及び距離画像撮像装置1B-3の受光タイミングZが来るように制御する。
【0128】
図13には、距離画像撮像装置1B-1(Camera1)、距離画像撮像装置1B-2(Camera2)、…、距離画像撮像装置1B-6(Camera6)それぞれの積算期間と光パルスの照射のタイミングとが模式的に示されている。
図13では、測定期間における積算期間を「G1/G2/G3/GD/READ」で、読出し期間、及び測定を伴わない排出期間を「GD」でそれぞれ示している。また
図13では、積算期間において光パルスの照射が断続的に行われていることを示している。
【0129】
図13に示すように、タイミング制御部12は、距離画像撮像装置1B-1の測定期間T1と、距離画像撮像装置1B-2の測定期間T2と、…、距離画像撮像装置1B-6の測定期間T6とが時間的に重ならないように制御するようにしてもよい。この例では、タイミング制御部12は、距離画像撮像装置1B-1、距離画像撮像装置1B-2、…、距離画像撮像装置1B-6の順に、順番に測定期間が訪れるように制御する。
【0130】
以上説明したように、第3の実施形態では、外部制御装置10のタイミング制御部12が、複数の距離画像撮像装置1Bそれぞれの受光タイミングを制御する。これにより、互いの光パルスの照射が干渉光となることがないように制御することができ、複数の距離画像撮像装置1Bが近接して設けられている場合であっても、干渉光による誤測定を抑制することができる。
【産業上の利用可能性】
【0131】
上記各実施形態によれば、利便性を損ねることなく、干渉光の入射による距離の誤測定を抑制することができる。
【符号の説明】
【0132】
1 距離画像撮像装置
2 光源部
21 光源装置
22 拡散板
3 受光部
31 レンズ
32 距離画像センサ
320 受光領域
321 画素
322 制御回路
323 垂直走査回路
324 水平走査回路
325 画素信号処理回路
4 距離画像処理部
41 タイミング制御部
42 距離演算部
43 タイミング決定部
44 タイミング情報テーブル
PD 光電変換素子
GD ドレインゲートトランジスタ
RU 画素信号読み出し部
O 出力端子
G 読み出しゲートトランジスタ
FD フローティングディフュージョン
C 電荷蓄積容量
RT リセットゲートトランジスタ
SF ソースフォロアゲートトランジスタ
SL 選択ゲートトランジスタ
CS 電荷蓄積部
PO 光パルス