(58)【調査した分野】(Int.Cl.,DB名)
前記光源制御部は、前記第一の画素の読み出しゲートが開いている期間、もしくは前記第二の画素の前記読み出しゲートが開いている期間のどちらか一方は発光指示を出さないことと、
前記露光制御部は、前記第一の画素の前記読み出しゲートが開いている期間と前記第二の画素の前記読み出しゲートが開いている期間が重ならないように制御することと、
前記信号処理部は、前記受光部が前記画素ごとに出力した信号のうち前記光源が発した光の反射光が含まれない信号を特定し、前記第一の画素および前記第二の画素の前記光源が発した光の反射光が含まれない信号の信号レベルの比率を算出する
請求項1に記載の測距装置。
前記画素は、前記光源の発光タイミングに同期した第一の露光期間に露光して電荷を蓄積する第一の蓄積部と、前記光源の発光タイミングに同期しかつ前記第一の露光期間とは異なる第二の露光期間に露光して電荷を蓄積する第二の蓄積部と、前記光源が発光した光の反射光が含まれない第三の露光期間に露光して電荷を蓄積する第三の蓄積部とを有し、
前記信号処理部は、前記第一の画素と前記第二の画素において、前記第一の蓄積部の前記信号レベル同士、および前記第二の蓄積部の前記信号レベル同士、および、前記第三の蓄積部の前記信号レベル同士の比率を算出し、3つの前記信号レベル同士の比率のうち少なくとも1つが前記第一の画素の前記読み出しゲートが開いている期間と前記第二の画素の前記読み出しゲートが開いている期間の比率と異なる場合に、干渉が発生していると判定する
請求項1に記載の測距装置。
前記画素は、前記光源の発光タイミングに同期した第一の露光期間に露光して電荷を蓄積する第一の蓄積部と、前記光源の発光タイミングに同期しかつ前記第一の露光期間よりも後の第二の露光期間に露光して電荷を蓄積する第二の蓄積部と、前記光源の発光タイミングに同期しかつ前記第二の露光期間よりも後の第三の露光期間に露光して電荷を蓄積する第三の蓄積部とを有し、
前記信号処理部は、前記第一の画素と前記第二の画素において、前記第一の蓄積部と前記第三の蓄積部のうちの信号レベルの小さい方の前記信号レベル同士、および前記第二の蓄積部の信号レベル同士、および、前記第一の蓄積部と前記第三の蓄積部のうちの信号レベルの大きい方同士で前記信号レベルの比率を算出し、3つの前記信号レベルの比率のうち少なくとも1つで前記第一の画素の前記読み出しゲートが開いている期間と前記第二の画素の前記読み出しゲートが開いている期間の比率に対する所定の閾値を超える場合に、干渉が発生していると判定する
請求項1に記載の測距装置。
前記信号処理部は、さらに、前記受光部が前記画素ごとに出力した信号のうち前記光源が発した光の反射光が含まれない信号について特定し、前記第一の画素および前記第二の画素の前記光源が発した光の反射光が含まれない信号の信号レベルの比率が、前記第一の画素の前記読み出しゲートが開いている期間と前記第二の画素の前記読み出しゲートが開いている期間の前記信号レベルの比率に対して所定の閾値を超える場合に、干渉が発生していると判定する
請求項5に記載の測距装置。
前記画素は、前記光源の発光タイミングに同期した第一の露光期間に露光して電荷を蓄積する第一の蓄積部と、前記光源の発光タイミングに同期しかつ前記第一の露光期間とは異なる第二の露光期間に露光して電荷を蓄積する第二の蓄積部と、前記光源が発光した光の反射光が含まれない第三の露光期間に露光して電荷を蓄積する第三の蓄積部とを有し、
前記信号処理部は、前記第一の画素と前記第二の画素のうち前記光源の発光指示タイミングと前記読み出しゲートが開いている期間とが重なっている方については、前記第三の蓄積部の信号を前記光源が発した光の反射光が含まれない信号と特定する
請求項2または6に記載の測距装置。
前記画素は、前記光源の発光タイミングに同期した第一の露光期間に基づく期間に露光して電荷を蓄積する第一の蓄積部と、前記光源の発光タイミングに同期しかつ前記第一露光期間よりも後の第二の露光期間に露光して電荷を蓄積する第二の蓄積部と、前記光源の発光タイミングに同期しかつ前記第二の露光期間よりも後の第三の露光期間に露光して電荷を蓄積する第三の蓄積部を有し、
前記信号処理部は、前記第一の画素と前記第二の画素のうち前記光源の発光指示タイミングと前記読み出しゲートが開いている期間とが重なっている方については、前記第一の蓄積部の信号と前記第三の蓄積部の信号のうち信号レベルの小さい方を前記光源が発した光の反射光が含まれない信号と特定する
請求項2または6に記載の測距装置。
前記複数の画素のそれぞれは、前記光源の発光タイミングに同期した第一の露光期間に露光して電荷を蓄積する第一の蓄積部と、前記光源の発光タイミングに同期しかつ前記第一の露光期間とは異なる第二の露光期間に露光して電荷を蓄積する第二の蓄積部と、前記光源が発光した光の反射光が含まれない第三の露光期間に露光して電荷を蓄積する第三の蓄積部とを有し、
前記信号処理部は、前記第一の画素と前記第二の画素について、前記第一の蓄積部の前記信号レベル同士、前記第二の蓄積部の前記信号レベル同士、前記第三の蓄積部の前記信号レベル同士の比率を算出し、3つの前記信号レベル同士の比率のうち少なくとも1つが前記第一の画素の前記読み出しゲートが開いている期間と前記第二の画素の前記読み出しゲートが開いている期間の比率に対する所定の閾値を超える場合に、干渉が発生していると判定する
請求項9に記載の測距装置。
前記画素は、前記光源の発光タイミングに同期した第一の露光期間に基づく期間に露光して電荷を蓄積する第一の蓄積部と、前記光源の発光タイミングに同期しかつ前記第一露光期間よりも後の第二の露光期間に露光して電荷を蓄積する第二の蓄積部と、前記光源の発光タイミングに同期しかつ前記第二の露光期間よりも後の第三の露光期間に露光して電荷を蓄積する第三の蓄積部を有することと、
前記信号処理部は、前記第一の画素と前記第二の画素において、前記第一の蓄積部と前記第三の蓄積部のうちの信号レベルの小さい方の前記信号レベル同士、および前記第二の蓄積部の信号レベル同士、および、前記第一の蓄積部と前記第三の蓄積部のうちの信号レベルの大きい方同士で前記信号レベルの比率を算出し、3つの前記信号レベルの比率のうち少なくとも1つで前記第一の画素の前記読み出しゲートが開いている期間と前記第二の画素の前記読み出しゲートが開いている期間の比率に対する所定の閾値を超える場合に、干渉が発生していると判定する
請求項9に記載の測距装置。
前記露光制御部は、前記第一の画素の読み出しゲートが開いている期間は、前記第二の画素の読み出しゲートが開いていない期間であり、かつ前記第二の画素の読み出しゲートが開いている期間であるように前記第一の読み出し制御信号と前記第二の読み出し制御信号とを出力し、
前記信号処理部は、干渉が発生していると判定した前記画素については、第一の画素と第二の画素の信号のうち信号レベルの小さい方を使用して前記測距データを算出する
請求項9に記載の測距装置。
前記露光制御部は、前記第一の画素の読み出しゲートが開いている期間は、前記第二の画素の読み出しゲートが開いていない期間と異なるように前記第一および前記第二の読み出し制御信号を出力し、
前記露光制御部は、干渉が発生した際、混合する前記第一の画素および前記第二の画素の信号レベルの比率が、前記第一の画素の前記読み出しゲートが開いている期間と前記第二の画素の前記読み出しゲートが開いている期間の比率よりも大きい場合は、前記第二の画素の信号を使用して前記測距データを算出し、混合する前記第一の画素および前記第二の画素の信号レベルの比率が前記第一の画素の前記読み出しゲートが開いている期間と前記第一の画素の前記読み出しゲートが開いている期間の比率よりも小さい場合は、前記第一の画素の信号を使用して前記測距データを算出する
請求項9に記載の測距装置。
前記露光制御部は、前記第一の画素の読み出しゲートを開けている期間と前記第二の画素の読み出しゲートを開けている期間とで重なっている期間があるように、前記第一の読み出し制御信号および前記第二の読み出し制御信号を出力する
請求項14に記載の測距装置。
前記露光制御部は、前記第一の画素の読み出しゲートを開けている期間と前記第二の画素の読み出しゲートを開けている期間とが重ならないように、前記第一の読み出し制御信号および前記第二の読み出し制御信号を出力する
請求項14に記載の測距装置。
前記信号処理部は、干渉が発生していない前記画素については、前記第一の画素または前記第二の画素のうち前記読み出しゲートが開いている期間が短い方の前記画素の信号の信号レベルに対して前記第一の画素の前記読み出しゲートが開いている期間と前記第一の画素の前記読み出しゲートが開いている期間の比率を掛け合わせた上で、前記第一の画素または前記第二の画素で前記読み出しゲートが開いている期間が長い方の前記画素の信号と混合する
請求項14に記載の測距装置。
【発明を実施するための形態】
【0016】
以下、実施の形態について、図面を参照しながら具体的に説明する。
【0017】
なお、以下で説明する実施の形態は、いずれも本開示の一具体例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置及び接続形態、ステップ、ステップの順序などは、一例であり、本開示を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。
【0018】
(実施の形態1)
図1Aは、実施の形態1に係る測距装置101の構成を示すブロック図である。
【0019】
図1Aに示すように、測距装置101は、光源102と、光源制御部103と、受光部104と、露光制御部106と、信号処理部107とを備えている。受光部104は、固体撮像素子105を有している。
【0020】
光源102は、入力される発光制御信号の示すタイミングにしたがって、外部に対して光を発光する。光源102は、LED(発光ダイオード)でも良いし、LD(Laser Diode)でも良い。
【0021】
光源制御部103は、光源102に対して、発光制御信号を出力する。発光制御信号は、“H”“L”の2値のデジタル信号であり、本実施の形態では“H”で発光を意味し、“L”で発光停止を意味することとする。なお、光源制御部103は、後述する第一の画素108aの読み出しゲート111が開いている期間、もしくは第二の画素108bの読み出しゲート111が開いている期間のどちらか一方は発光指示を出さない。すなわち、発光制御信号を出力しない。
【0022】
受光部104は、2次元に画素108の並んだ固体撮像素子105を含む。固体撮像素子105は、CCDセンサでもよいし、CMOSセンサでもよい。受光部104では、露光制御信号に基づいて外部からの光を取り込み、露光量に応じたデジタル信号を出力する。
【0023】
露光制御部106は、固体撮像素子105に対して、露光制御信号を出力する。露光制御信号は、“H”“L”の2値のデジタル信号であり、本実施の形態では“L”で露光、“H”で露光停止を意味することとする。
【0024】
また、露光制御部106は、後述する第一の画素108aの読み出しゲート111が開いている期間と第二の画素108bの読み出しゲート111が開いている期間が重ならないように制御する。具体的には、露光制御部106は固体撮像素子105に対して、タイミングの異なる2種類の読み出し制御信号(第一の読み出し制御信号および第二の読み出し制御信号)を出力する。第一/第二の読み出し制御信号は、“H”とした時、固体撮像素子105の各画素108aは光から変換した電荷を一時的に蓄積できることができ、“L”では蓄積できない。
【0025】
信号処理部107は、受光部104が出力したデジタル信号をもとに距離データを算出し、かつ干渉の有無を検出して、図示していないLCDなどのディスプレーなどに距離データを表示し、かつ干渉の有無を知らせるメッセージを出力させる。
【0026】
次に、固体撮像素子105の画素について、より詳しく説明する。
図1Bは、固体撮像素子105の中の画素108の配置を示す図である。
【0027】
画素108は、第一の画素群と第二の画素群に分けられる。
図1Bにおいて、“1”で表す画素は、第一の画素群の画素108a、“2”で表す画素は、第二の画素群の画素108bを示している。
【0028】
第一の画素群の画素108aは、第一の読み出し制御信号を入力して動作する。第二の画素群の画素108bは、第二の読み出し制御信号を入力して動作する。本実施の形態では、画素数は垂直5画素、水平5画素の合計25画素としており、第二の画素群の画素108bの位置も
図1Bのとおりとしている。なお、画素数および第二の画素群の画素108bの位置は、これに限定されるものではない。
【0029】
なお、第一の画素群の画素108aおよび第二の画素群の画素108bは、本開示における第一の画素および第二の画素に相当する。
【0030】
図1Cは、固体撮像素子105の画素108の構成を示す概略図である。第一の画素群の画素108aと第二の画素群の画素108bとは区別なく、同じ構成(相違点は接続される読み出し制御信号の違いのみ)である。
【0031】
図1Cに示すように、各画素108は、光電変換部110と、読み出しゲート111と、蓄積部112とを備えている。光電変換部110は、入力された光を電荷に変換する。読み出しゲート111は、光電変換部110の電荷を蓄積部112に読み出すためのゲートの役割を果たし、読み出し制御信号に基づいてゲートの開閉動作を行う。なお、画素108は、読み出しゲート111が開いている期間のみ、光電変換部110の電荷を蓄積部112に移動させることができる。
【0032】
読み出し制御信号は、“H”および“L”の2値のデジタル信号である。本実施の形態では、読み出し制御信号が“H”で読み出しゲートが開いている状態とする。
【0033】
蓄積部112は、電荷を蓄積する役割を果たす。なお、露光期間に応じて、複数の蓄積部112に分けて電荷を溜めることができる。本実施の形態では、蓄積部112は、第一の蓄積部112a、第二の蓄積部112bと、第三の蓄積部112cとで構成されている。第一の蓄積部112a、第二の蓄積部112bおよび第三の蓄積部112cには、それぞれ、後に説明する第一の露光期間、第二の露光期間および第三の露光期間に露光した電荷が蓄積される。
【0034】
本実施の形態においては、第一の読み出し制御信号と第二の読み出し制御信号とは、同時に“H”にはならず、また、第二の読み出し制御信号が“H”の期間では、発光制御信号は“H”にならない(つまり、光を発光しない)。このため、第一の画素群の画素108aは、測距用の画素となり、第二の画素群の画素108bは干渉検出専用の画素となる。
【0035】
ここで、本実施の形態に係る測距装置101の基本動作、つまり、TOF(パルスTOF)方式に基づいて被写体までの距離Lを算出する方法について説明する。以下、発光制御信号の制御の違いにより、第一のTOF方式および第二のTOF方式として、2通り説明する。
【0036】
以下、第一のTOF方式について、
図2Aおよび
図2Bを用いて説明する。
【0037】
図108bは、第一のTOF方式における発光制御信号および露光制御信号を示すタイミングチャートである。
図2Bは、
図2Aにおける第一の露光期間と第二の露光期間を示すタイミングチャートである。
図2Bでは、説明の便宜上、本来タイミングが異なる2つのケース、すなわち第一の露光期間での露光制御信号と第二の露光期間での露光制御信号とを併記している。
【0038】
図2Aに示すように、測距装置101は、発光および露光の制御方法が異なる3つの期間をそれぞれ第一の露光期間、第二の露光期間、第三の露光期間とし、それを1セットとして発光および露光を繰り返す。
【0039】
なお、以下の動作説明では、他の測距装置からの反射光は入ってこないものとする。また、図示していないが、説明を簡略化するため、読み出し制御信号は常に“H”(読み出しゲート111を開けた状態)とし、各画素で光電変換された電荷は蓄積部112に蓄積されるものとする。
【0040】
図2Aに示す第一の露光期間とは、光源の発光タイミングに同期した期間、第二の露光期間とは、光源の発光タイミングに同期しかつ第一の露光期間とは異なる期間、第三の露光期間とは、光源が発光した光の反射光が含まれない期間である。
【0041】
第一の露光期間では、発光制御信号のパルスと露光制御信号のパルスは同じ位相で、かつ、同じパルス幅Toである。
図2Bに示すように、発光した光が被写体で反射した反射光は、被写体までの距離に応じて遅く返ってくる。このため、被写体までの距離が遠くなるほど、第一の露光期間での露光量は減少する。第一の露光期間に露光された電荷は、第一の蓄積部112aに蓄積される。なお、第一の露光期間の露光量をS0とする。
【0042】
第二の露光期間では、発光制御信号と露光制御信号のパルス幅Toは同じであるが、発光制御信号と露光制御信号の位相は異なり、
図2Bに示すように発光制御信号の立下りと同時に露光制御信号が立ち上がるようなタイミングになっている。このため、測距レンジの範囲内では、被写体までの距離が遠くなるほど第二の露光期間での露光量は増加する。第二の露光期間に露光された電荷は、第一の蓄積部112bに蓄積される。なお、第二の露光期間の露光量をS1とする。
【0043】
第三の露光期間では、測距装置101は、発光は行わず、背景光のみの露光を行う。そのため、発光制御信号は常に“L”のままである。露光制御信号のパルス幅は、第一/第二の露光期間における露光制御信号と同じパルス幅Toである。第三の露光期間に露光された電荷は、第一の蓄積部112cに蓄積される。なお、第三の露光期間の露光量、すなわち、背景光の露光量をBGとする。
【0044】
ここで、第一の露光期間での露光量(以下、S0とする)から背景光の露光量(以下、BGとする)を引いたものと、第二の露光期間での露光量(以下、S1とする)からBGを引いたものが、反射光の総量である。信号処理部107は、その反射光の総量に対する、第二の露光期間で取得した反射光の露光量の割合で距離を算出する。発光制御信号のパルス幅をTo、光速(299,792.458m/s)をCとすると、被写体までの距離Lは、式1で表すことができる。
【0046】
ここで、パルス幅Toは、測距レンジと要求される精度によって決めればよい。例えば、パルスの傾きの訛り(遅延)が無いとしたとき、測距レンジが3.3mであればパルス幅Toは約22nsとなる。式1から分かるように、第一のTOF方式ではパルス幅Toを広げれば測距レンジは広がるが、測距精度は落ちる。一方、パルス幅を狭くすれば測距精度が上がるが、測距レンジは狭くなる。
【0047】
続いて、第一のTOF方式に対し、測距精度を保ったまま測距レンジを2倍にすることが可能な第二のTOF方式について、
図3A〜
図3Cを用いて説明する。
図3Aは、第二のTOF方式における発光制御信号および露光制御信号を示すタイミングチャートである。
図3Bは、
図3Aにおける第一および第二の露光期間での発光タイミングおよび露光タイミングにおいて反射光を受光する際のタイミングチャートである。
図3Cは、
図3Aにおける第二および第三の露光期間での発光タイミングおよび露光タイミングにおいて反射光を受光する際のタイミングチャートである。なお、説明の便宜上、
図3Bおよび
図3Cでは、本来タイミングが異なる3つの期間、すなわち第一の露光期間、第二の露光期間、および第三の露光期間での各露光制御信号を併記している。第一のTOF方式と異なるのは、第三の露光期間でも発光を行うという点である。
【0048】
図3Aに示すように、第三の露光期間では、発光制御信号と露光制御信号のパルス幅Toは同じであるが、発光制御信号の立下りからTo時間経過後に露光制御信号が立ち下がるようなタイミングになっている。これにより、第三の露光期間では背景光を露光するための期間であるが、測距装置101は、被写体までの距離によっては反射光を露光する。
【0049】
被写体からの反射光は、距離に応じて、第一の露光期間および第二の露光期間の露光タイミングで露光する場合(ケース1)と、第二の露光期間および第三の露光期間の露光タイミングで露光する場合(ケース2)の2通りのケースに分けられる。
【0050】
ケース1では、
図3Bに示すように、第一の露光期間の露光制御信号がアクティブ(“L”)な期間と第二の露光期間に露光制御信号がアクティブ(“L”)な期間とに反射光が返ってくるので、第一の露光期間および第二の露光期間が反射光を露光する期間、第三の露光期間が背景光を露光する期間になる。
【0051】
一方、ケース2では、
図3Cに示すように、第二の露光期間と第三の露光期間の露光制御信号がアクティブ(“L”)な期間とに反射光が返ってくるので、第二の露光期間と第三の露光期間が反射光を露光する期間になり、第一の露光期間が背景光を露光する期間になる。
【0052】
第一の露光期間と第二の露光期間とでどちらが背景光を露光したかの判定は、信号レベルの大小で判別し、信号レベルの低い方を背景光の露光量(BG)とする。つまり、第一の露光期間の露光量>第三の露光期間の露光量 の場合(ケース1)は、第一の露光期間の露光量がS0、第二の露光期間の露光量がS1、第三の露光期間の露光量がBGとなる。一方、第一の露光期間の露光量≦第三の露光期間の露光量の場合(ケース2)は、第二の露光期間の露光量がS0、第三の露光期間の露光量がS1、第一の露光期間の露光量がBGとなる。
【0053】
ケース1における被写体までの距離L1の計算式を式2−1に、ケース2における距離L2の計算式を式2−2に示す。
【0055】
次に、
図4A〜
図4Cを用いて、第一のTOF方式で測距中に、他の測距装置からの光を受光した場合に、測距誤差が生じる原理について説明する。
図4Aは、第一のTOF方式での発光制御信号と露光制御信号を示すタイミングチャートである。
図4Bは、
図4Aにおける第一および第二の露光期間を示すタイミングチャートである。
図4Cは、
図4Aにおける第三の露光期間を示すタイミングチャートである。
【0056】
図4Bおよび
図4Cのタイミングチャートが
図2Bのタイミングチャートと異なる点は、別の測距装置からの投光が混入している点である。
図4Bでは、説明の便宜上、本来タイミングが異なる2つのケース、すなわち第一の露光期間での露光制御信号と第二の露光制御期間での露光制御信号を併記している。
【0057】
図4Bに示すケースでは、他の測距装置からの発光パルスが第一の露光期間と第二の露光期間に混入している。合わせて、
図4Cに示すケースでは、他の測距装置からの発光パルスが第三の露光期間に混入している。これら他の測距装置からの発光パルスは、本実施の形態にかかる測距装置101の発光パルスおよび露光パルスのタイミングとは全く無関係に混入する。
【0058】
他の測距装置から混入した発光パルスを第一の露光期間で露光した露光量をA、第二の露光期間で露光した露光量をB、第三の露光期間で露光した露光量をCとすると、被写体までの距離Lは式3のように表せる。
【0060】
他の測距装置の発光パルスは、本実施の形態にかかる測距装置101で測定すべき露光量S0、S1、BGに無関係に混入するので、露光量A、B、Cの値に応じて、距離Lに大きな誤差が生じる。
【0061】
次に、本実施の形態にかかる測距装置101において、他の測距装置からの発光パルスによる干渉の有無を検出する方法を説明する。本実施の形態では、
図5に示すタイミングチャートで露光および発光を実施する。
図5は、発光制御信号、露光制御信号、第一の読み出し制御信号および第二の読み出し制御信号を示すタイミングチャートである。
【0062】
なお、
図5では、測距装置101は、第一のTOF方式に基づいて発光および露光制御を実施するとする(第三の露光期間では発光はしない)。
図5に示すように、連続する第一の露光期間、第二の露光期間および第三の露光期間にわたって第一の読み出し制御信号が“H”で第二の読み出し制御信号が“L”の期間をセット1、連続する第一の露光期間、第二の露光期間および第三の露光期間にわたって第一の読み出し制御信号が“L”で第二の読み出し制御信号が“H”の期間をセット2とする。
【0063】
測距装置101において、露光制御部106からは第一の読み出し制御信号と第二の読み出し制御信号が出力され、それぞれ第一の画素群の画素108aおよび第二の画素群の画素108bの読み出しゲート111の開閉を切り替える。
【0064】
図5に示すように、セット1では、第一の読み出し制御信号が“H”で第二の読み出し制御信号が“L”であるため、第一の画素群の画素108aにおいては光電変換された電荷が露光期間ごとに読み出され、蓄積部112に蓄積される。また、第二の画素群の画素108bにおいては、露光して光電変換までは実施されるものの、蓄積部112に電荷が読み出されない。そのため、蓄積部112は、電荷がゼロの状態である。
【0065】
一方、セット2では、第一の読み出し制御信号が“L”で第二の読み出し制御信号が“H”であるため、第二の画素群の画素108bにおいては、光電変換された電荷が露光期間ごとに読み出され、蓄積部112に蓄積される。また、第一の画素群の画素108aにおいては、光電変換された電荷は読み出しゲート111が閉まっているため、蓄積部112に読み出されない。また、セット2では、発光制御信号は常に“L”であるため、測距装置101は光を発光しない。このため、第二の画素群の画素108bには、露光期間にかかわらず、測距装置101が投光した光パルスの反射光は入ってこない。
【0066】
すなわち、干渉光が無い状態であれば、第二の画素群の画素108bは、第一の露光期間、第二の露光期間、第三の露光期間のそれぞれで背景光を露光することになる。
【0067】
ここで、信号処理部107では、第一の画素群の画素108aの各信号の値をもとに画素108ごとに式1に基づいて距離データを生成する。また、第二の画素群の所定の画素(画素108bとする)と画素108bと隣り合う第一の画素群の所定の画素(画素108aとする)とで、第三の露光期間での露光量のBG信号レベルを比較する。第三の露光期間での露光量は、本来背景光レベルの信号のみであり、画素108bと画素108aの信号レベルの比率は、ほぼ1:1(1倍)になる。
【0068】
ここで、もし他の測距装置からの発光パルスと干渉を起こしている場合、他の測距装置からの光は、測距装置101の発光および露光タイミングに関係なく、発光および露光タイミングとは同期せずに入ってくるため、画素108bと画素108aの第三の露光期間での各露光量は同じにならない。この関係を利用して、信号処理部107は、信号レベルの比率が、画素108aの読み出しゲートが開いている期間と画素108bの読み出しゲートが開いている期間の比率に対する所定の閾値を超える場合に、干渉が発生していると判定する。具体的には、信号処理部107は、画素108bと画素108aの第三の露光期間での信号レベルの比率(画素108aのBG信号レベルを画素108bのBG信号レベルで割った値)を求め、1倍という期待値に対し、ショットノイズを加味した閾値以下であれば干渉は発生していないと判定し、閾値を超えるのであれば干渉が発生していると判定する。
【0069】
図6は、信号処理部107が距離データの出力と干渉の検出を行う際のフローチャートである。
【0070】
図6に示すように、信号処理部107は、まず、ステップ601に示すように、第二の画素群の画素108bを1つ選択する。
【0071】
次に、ステップ602に示すように、その選択した第二の画素群の画素108bと隣り合う第一の画素群の画素108aを選択し、第三の露光期間での露光量(BG)を比較する。
【0072】
次に、ステップ603に示すように、比較したBGの信号レベルの差が所定の閾値未満かどうかを計算する。閾値を決める際は、光電変換のショットノイズを考慮し、多少マージンを持たせる。
【0073】
ここで、比較したBGの信号レベルの差が所定の閾値を超える(つまり、2つの画素108aおよび108bの露光量にショットノイズを超える差がある)のであれば、ステップ604に示すように、干渉検出カウンタのカウンタ数を1インクリメントし、ステップ605に進む。一方、ステップ603で所定の比率未満であれば、何もせずステップ605に進む。
【0074】
ステップ605では、第二の画素群の画素108b全てに対して、干渉の有無の判定が終了したかどうかを判定する。そして、まだ未判定の画素が残っている場合には、ステップ601に戻り、ステップ602〜ステップ605を繰り返す。また、未判定の画素がない場合には、ステップ606に進む。
【0075】
ステップ606では、干渉検出カウンタの値を確認する。干渉検出カウンタの値があらかじめ設定した値(例えば1)未満であれば、ステップ607に示すように、第一の画素群の画素108aでの露光量を元に算出した、測距エリアの測距データをLCDなどのディスプレーに表示する。一方、干渉検出カウンタの値があらかじめ設定した値以上であれば、ステップ608に示すように、測距エリアの測距データをディスプレーに表示すると同時に干渉発生のメッセージを表示する。
【0076】
本実施の形態では、第二の画素群の画素108bの露光時には測距装置101は光を発光しない。したがって、干渉が発生していない状態では、第二の画素群の画素108bの第一の露光期間、第二の露光期間および第三の露光期間の各露光量(信号レベル)の比率は、ほぼ1:1:1になる。そのため、第二の画素群の画素108bの第一の露光期間、第二の露光期間および第三の露光期間の各露光量の信号レベル同士を比較し、少なくとも1つの露光期間の各露光量の信号レベルにおいて、信号レベルの差が所定の値よりも大きいことで干渉発生を判定してもよい。また、このとき、第二の画素群の所定の画素(画素108b)のBGの信号レベルと、画素108bと隣り合う第一の画素群の所定の画素108aのBGの信号レベルとを比較する方法も併せて用いて干渉発生を判定してもよい。
【0077】
なお、本実施の形態では第一のTOF方式での測距を前提とし、第二の画素群の所定の画素(画素108b)と画素108bと隣り合う第一の画素群の所定の画素(画素108a)について、第三の露光期間での露光量(BG)で比較を実施したが、第二のTOF方式の場合には、第一の露光期間での露光量と第三の露光期間での露光量のどちらか信号レベルの小さい方同士で比較すればよい。
【0078】
なお、本実施の形態においては、第一の画素群の画素108aの発光および露光期間(セット1)と第二の画素群の画素108bの発光および露光期間(セット2)は、1対1の関係としているが、これに限定されるものではない。測距用に使用する第一の画素群の画素108aの露光量(信号レベル)を大きくするために、例えば、セット1期間を4回繰り返したあとにセット2期間を1回繰り返すようにしてもよい。この場合、第二の画素群の所定の画素(画素108b)と画素108bと隣り合う第一の画素群の所定の画素(画素108a)について、第三の露光期間での露光量(BG)で比較する際、画素108aのBGレベルと画素108bのBGレベルの比率は約4:1(4倍)となる。したがって、ショットノイズを加味したマージンαを加えた所定の比率以内((4±α)の範囲内)であれば干渉は発生していないと判定し、それを超える場合に干渉が発生したと判定すればよい。
【0079】
以上、本実施の形態にかかる測距装置101によると、TOF方式を用いた測距装置において、他の測距装置からの発光パルスによる干渉を検出し、干渉を検出した際はその影響を抑制することができる。
【0080】
また、本開示によれば、配光が変わることによる背景光のレベル変化に追随することができる。よって、被写体が動いている状況や光の強弱が変化する状況であっても、干渉が発生したことを検出することができる。
【0081】
(実施の形態2)
以下、
図1A、
図7および
図8を用いて、実施の形態2に係る測距装置101の構成及び動作について、実施の形態1との相違点を中心に説明する。
【0082】
実施の形態1では、第二の画素群の画素108bは干渉検出専用で、測距用としては使用していなかった。このため、第二の画素群の画素108bに位置するエリアの測距データは周りの第一の画素群の画素108aの距離データから換算して求める必要があった。そのため、測距データの解像度を保つには第二の画素群の画素108bは画素全体に対して少なく、かつ飛び飛びに配置する必要があった。
【0083】
これに対し、本実施の形態にかかる測距装置101では、第二の画素群の画素108bでも測距を行い、かつ、第一の画素群の画素108aと第二の画素群の画素108bの両方で干渉検出を行う。これにより、例えば、第一の画素群の画素108aと第二の画素群の画素108bとを同数にし、かつ、第一の画素群の画素108aを偶数行に、第二の画素群の画素108bを奇数行に配置するなど、固体撮像素子105の構成を単純化することができる。
【0084】
本実施の形態にかかる測距装置101の構成は、実施の形態1の
図1Aに示した測距装置101と同様であるため、説明を省略する。
【0085】
以下、本実施の形態にかかる測距装置101の動作について説明する。
図7は、発光制御信号、露光制御信号、第一の読み出し制御信号および第二の読み出し制御信号を示すタイミングチャートである。
【0086】
本実施の形態では、第二のTOF方式に基づいて測距を実施しているとする。
図7に示すように、連続する第一の露光期間、第二の露光期間および第三の露光期間にわたって第一の読み出し制御信号が“H”で第二の読み出し制御信号が“L”の期間をセット1、連続する第一の露光期間、第二の露光期間および第三の露光期間にわたって第一の読み出し制御信号が“L”で第二の読み出し制御信号が“H”の期間をセット2とする。
【0087】
図7に示すように、本実施の形態にかかる測距装置101は、
図5に示した実施の形態1にかかる測距装置101と異なり、第二の読み出し制御信号が“H”の時でも発光制御信号がアクティブに“H”“L”を繰り返す。また、発光制御信号および露光制御信号のタイミングは、セット1とセット2で同じである。
【0088】
このため、他の測距装置からの干渉光がない場合は、第二の画素群の所定の画素(以下、画素108bとする)と画素108bと隣り合う第一の画素群の所定の画素(以下、画素108aとする)とで、露光量S0同士、S1同士、および背景光の露光量BG同士(第一の露光期間での露光量と第三の露光期間での露光量のどちらか信号レベルの小さい方)の比率は、第一の読み出し制御信号が“H”になっている期間と第二の読み出し期間が“H”になっている期間の比率(1:1)とほぼ同等になる。
【0089】
ここで、もし、干渉光が混入している場合には、画素108bと画素108aとで露光量S0、S1、BGはそれぞれ同じ信号レベルにならない。この関係を利用して、信号処理部107は、第一の蓄積部112aと第三の蓄積部112cのうち、信号レベルの小さい方の信号レベル同士、第二の蓄積部の信号レベル同士、第一の蓄積部と第三の蓄積部のうちの信号レベルの大きい方同士で信号レベルの比率を算出し、3つの信号レベルの比率のうち少なくとも1つで画素108aの読み出しゲートが開いている期間と画素108bの読み出しゲート111が開いている期間の比率に対する所定の閾値を超える場合に、干渉が発生していると判定する。具体的には、ショットノイズを加味した閾値を設定し、露光量S0、S1、およびBGについて、画素108bと画素108aの信号レベルの比率(画素108aの信号レベルを画素108bの信号レベルで割った値)を算出し、画素108bと画素108aとのS0、S1、およびBGの信号レベルの比率が、期待値に対し閾値を超えているか否かで干渉を検出することができる。
【0090】
図8は、信号処理部107が距離データの出力と干渉の検出を行う際のフローチャートである。
図8において、
図6に示した処理と同じ内容については、同じ番号を割り当てている。
【0091】
図8に示すように、信号処理部107は、まず、ステップ601に示すように、第二の画素群の画素108bを1つ選択する。
【0092】
次に、ステップ802に示すように、その選択した画素と隣り合う第一の画素群の画素108aを選択し、露光量S0、S1、および背景光の露光量(BG)の信号レベルをそれぞれ比較する。第二のTOF方式における背景光の露光量は、既に説明したとおり、第一の露光期間の露光量(信号レベル)と第三の露光期間の露光量(信号レベル)のどちらか小さい方である。
【0093】
次に、ステップ603に示すように、露光量S0、S1、およびBGの各信号レベルの比率がそれぞれ所定の閾値の範囲内かどうかを計算する。比率を決める際は、光電変換のショットノイズを考慮し、多少マージンを持たせる。
【0094】
ここで、比較した露光量S0、S1、およびBGの各信号レベルの比率が所定の比率以上(つまり、2つの画素の露光量S0、S1またはBGレベルにショットノイズを超える差がある)であれば、ステップ604に示すように、干渉検出カウンタのカウンタ数を1インクリメントし、ステップ605に進む。一方、ステップ603で所定の比率未満であれば、何もせずステップ605に進む。
【0095】
ステップ605では、第二の画素群の全ての画素108bに対して、干渉の有無の判定が終了したかどうかを判定する。そして、まだ未判定の画素が残っている場合には、ステップ601に戻り、ステップ802〜ステップ605を繰り返す。また、未判定の画素がない場合には、ステップ606に進む。
【0096】
ステップ606では、干渉検出カウンタの値を確認する。干渉検出カウンタの値があらかじめ設定した値(例えば1)未満であれば、ステップ807に示すように、第一および第二の画素群の各画素で測距データを算出し、測距エリアの測距データをLCDなどのディスプレーに表示する。一方、干渉検出カウンタの値があらかじめ設定した値以上であれば、ステップ808に示すように、第一および第二の画素群の各画素で距離情報を算出し、測距エリアの測距データをディスプレーに表示すると同時に干渉発生のメッセージを表示する。
【0097】
本実施の形態では、第二のTOF方式での測距を前提として説明したが、第一のTOF方式であってもよい。この場合、各画素のBG信号の特定の方法が違うのみである。
【0098】
このように、本実施の形態にかかる測距装置101によると、TOF方式を用いた測距装置において、他の測距装置からの発光パルスによる干渉を検出し、干渉を検出した際はその影響を抑制することができる。
【0099】
また、配光が変わることによる背景光のレベル変化に追随することができるので、被写体が動いている状況や光の強弱が変化する状況であっても、干渉が発生したことを検出することができる。
【0100】
(実施の形態3)
以下、
図9A〜
図11を使用して、実施の形態3に係る測距装置901の構成及び動作について、実施の形態2との相違点を中心に説明する。
【0101】
図9Aは、本実施の形態に係る測距装置901の構成を示すブロック図である。
図1Aに示した測距装置に対し、機能/構成が異なる構成のみ新規に番号を割り当てて説明する。
【0102】
本実施の形態にかかる測距装置901は、受光部904、固体撮像素子905、露光制御部906、信号処理部907の構成が実施の形態1にかかる測距装置101と異なっている。
【0103】
図9Bは、本実施の形態における固体撮像素子905の構成および画素908の配置を説明するための図である。
図9C〜
図9Fは、Even画素とOdd画素の配置の例を示す図である。
【0104】
図9Bに示すように、固体撮像素子905では、偶数行の画素(Even画素)908aには第一の読み出し制御信号が接続され、奇数行の画素(Odd画素)908bには第二の読み出し制御信号が接続される。なお、本実施の形態では、行ごとに交互に第一および第二の読み出し制御信号の接続を切り替えているが、列ごとに交互に第一および第二の読み出し制御信号の接続を切り替えても良い。また、固体撮像素子905では、チェッカーフラッグ状や千鳥格子状の配置で交互に第一および第二の読み出し制御信号の接続を切り替えてもよい。また、固体撮像素子905の画素908の開口は、垂直方向よりも水平方向の方が大きくなっており、かつ、Even画素908aとOdd画素908bとで水平方向に1/2画素分オフセットされて配置される構造になっている。なお、固体撮像素子905の画素908の開口は、特に上述した構造に限定されるものでもない。例えば、画素908の開口が正方形であっても良いし、Even画素908aとOdd画素908bとで水平方向にオフセット無く配置される構造であっても良い。
【0105】
なお、Even画素908aおよびOdd画素908bは、本開示における第一の画素および第二の画素に相当する。また、Even画素908aとOdd画素908bとは、列ごとに交互または行ごとに交互に配置されてもよい。また、例えば、チェッカーフラッグ状、または、千鳥格子状に配置されてもよい。
【0106】
露光制御部906は、信号処理部907の指示にしたがって、第一の読み出し制御信号が“H”になる期間と、第二の読み出し制御信号が“H”になる期間の比率(以下、読み出し制御信号比率、とする)を変える。
【0107】
図10Aおよび
図10Bは、本実施の形態に係る測距装置901の発光制御信号、露光制御信号、第一の読み出し制御信号および第二の読み出し制御信号を示すタイミングチャートである。また、
図10Aは、第一の読み出し制御信号と第二の読み出し制御信号の“H”期間が重なるケースであり、第一の読み出し制御信号と第二の読み出し制御信号の“H”期間が重ならないケースである。
【0108】
本実施の形態については、第二のTOF方式に基づいて測距を実施しているとする。なお、
図10Aおよび
図10Bでは、発光制御信号および露光制御信号の詳細なタイミングは実施の形態1、2で説明した通りであり、特に明確に記載していない。
図10Aでは、Even画素908a用の第一の読み出し制御信号は、セット1およびセット2の両方で“H”となっており、一方Odd画素908b用の第二の読み出し制御信号はセット2のみ“H”となっている。これより、Even画素908aの露光量はOdd画素908bの露光量の2倍となる。
【0109】
同じく、Even画素908aの露光量をOdd画素908bの露光量の2倍にするには、
図10Bのようにしてもよい。このケースでは、第一の読み出し制御信号が“H”になる期間と第二の読み出し制御信号が“H”になる期間は重なっていない。
【0110】
なお、本実施の形態3ではEven画素908aの露光量はOdd画素908bの露光量の2倍となるように第一または第二の読み出し制御信号を制御しているが、2倍に限定されるものではない。セット1〜セット4の期間を設け、第一の読み出し制御信号が全セットで“H”となり、かつ第二の読み出し制御信号がセット3のみ“H”となってもよい。この場合、Even画素908aの露光量はOdd画素908bの露光量の4倍となる。
【0111】
信号処理部907は、Even画素908aとOdd画素908bの信号を混合した信号を使用して測距データを算出する。これにより、露光量の多いEven画素908aが飽和した場合はOdd画素908bを使用して測距データを算出することができるため、測距レンジが広がるというメリットがある。
【0112】
混合する画素の組み合わせは、
図9C〜
図9Fに記載の4通りであり、Even画素908aとOdd画素908bの信号レベルを合わせるため、Odd画素908bの信号レベルを2倍、つまり『読み出し制御信号比率』倍してからEven画素908aの信号と足し合わせる。このため、Even画素908aとOdd画素908bとが交わるところの中心である混合格子画素909の位置に、信号の重心が置かれる。この混合の方式では、Even画素908aが飽和していない限り、解像度を保つことができる。
【0113】
次に、信号処理部907で実施する干渉検出方法とその影響の軽減方法について説明する。
【0114】
信号処理部907では、画素混合するOdd画素908bとEven画素908aのS0同士、S1同士、BG同士の比率を算出する。他の測距装置からの干渉がない状況であれば、これらの比率は読み出し制御信号比率と同じになる。このため、これらの比率がショットノイズを加味した閾値よりも大きく異なる場合に干渉が発生したと判定することができる。
【0115】
干渉を検出した場合は、Even画素908aとOdd画素908bのS0、S1、BGの各信号レベルの比率と読み出し信号比率の大小に基づき、どちらか干渉の影響が低い方の画素を使用して測距データを算出する。
【0116】
具体的には、Even画素908aとOdd画素908bとの信号レベルの比率が、読み出し制御信号比率よりも大きい場合は、Even画素908aがより干渉の影響が大きいと判断して、Odd画素908bのみで測距データを算出する。一方、Even画素908aとOdd画素908bの露光量の比率が読み出し制御信号比率よりも小さい場合は、Odd画素908bがより干渉の影響が大きいと判断して、Even画素908aのみで測距データを算出する。
【0117】
なお、読み出し制御信号比率が1:1(1倍)の場合は、隣り合うEven画素908aとOdd画素908bの露光量S0同士、S1同士、BG同士の信号レベルの大小を判定し、所定の閾値を超える差がある場合は、信号レベルが低い方の画素の信号のみで測距データを算出してもよい。
【0118】
図11は、本実施の形態にかかる測距装置901により距離データの出力と干渉の検出および干渉の影響軽減を行う際のフローチャートである。簡単化のため、Even画素908aおよびOdd画素908bは飽和していないものとする。
【0119】
まず、ステップ1101に示すように、Even画素908aを1つ選択し、それと画素混合するOdd画素908bを1画素選択する。
【0120】
次に、ステップ1102に示すように、Even画素908aとOdd画素908bとの露光量S0、S1、BG同士の比率(以下、RATIO0、RATIO1、RATIO2)を算出する。
【0121】
そして、ステップ1103に示すように、RATIO0、RATIO1、およびRATIO2が読み出し制御信号比率にマージン(α)を加えた値よりも大きいかどうかを判定する。ステップ1103における判定がYesの場合は、ステップ1106に進む。この場合、干渉の影響がより小さいのはOdd画素908bになるので、Odd画素908bで測距データを算出する。
【0122】
一方、ステップ1103における判定がNoの場合は、ステップ1104に示すように、RATIO0、RATIO1、RATIO2が読み出し制御信号比率にマージンαを引いた値よりも小さいかどうかを判定する。ステップ1104における判定がYesの場合は、ステップ1107に進む。この場合、干渉の影響がより小さいのはEven画素908aになるので、Even画素908aで測距データを算出する。ステップ1104における判定がNoの場合は、ステップ1105に進む。
【0123】
ステップ1105に示す処理は、干渉が検出されなかった場合の処理である。ステップ105に示すように、信号処理部907により、Even画素908aとOdd画素908bとの信号レベルの混合すなわち画素混合を行い、混合格子画素909の位置での測距データを算出する。
【0124】
混合格子画素909の位置での測距データの算出が終わったら、ステップ1108aに示すように、全ての画素混合の組み合わせについて干渉の有無の判定が終了したかどうかを確認する。判定が終了している場合、すなわち、ステップ1108においてYesであれば、ステップ1108bに示すように、ディスプレーに測距エリアの距離データを表示する。また、判定が終了していない場合、すなわち、ステップ1108においてNoであれば、ステップ1101に戻って別の画素混合の組み合わせでステップ1101〜ステップ1108の処理を繰り返す。ステップ1108bでは、ディスプレーに測距エリアの距離データを表示する。
【0125】
なお、実施の形態3では、第二のTOF方式での測距を前提として説明したが、第一のTOF方式であってもよい。この場合、各画素のBG信号特定の方法が違うのみである。
【0126】
このように、本実施の形態にかかる測距装置901によると、他の測距装置からの発光パルスによる干渉を動的に検出でき、かつ電荷を蓄積する期間の異なる2つの画素における電荷を混合して測距データを算出するため、測距のダイナミックレンジを広くすることができる。
【0127】
さらに、他の測距装置からの発光パルスによる干渉を検出した際は、どちらか干渉の影響が少ない方の画素で測距データを算出することで、干渉の影響を軽減することができる。
【0128】
以上、本開示の実施の形態に係る測距装置について説明したが、本開示は、この実施の形態に限定されるものではない。
【0129】
例えば、上述した実施の形態に係る測距装置は、第一の画素群に配置される画素と第二の画素群に配置される画素とを有したが、画素群の数は2つに限らず増加してもよいし、これに合わせて画素の数も増加してもよい。
【0130】
また、第一の画素群の画素と第二の画素群の画素の配置は、行方向に交互、列方向に交互、チェッカーフラッグ状、千鳥格子状など、どのような配置であってもよい。
【0131】
以上、一つまたは複数の態様に係る測距装置について、実施の形態に基づいて説明したが、本開示は、この実施の形態に限定されるものではない。本開示の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態に施したものや、異なる実施の形態における構成要素を組み合わせて構築される形態も、一つまたは複数の態様の範囲内に含まれてもよい。