(58)【調査した分野】(Int.Cl.,DB名)
【発明を実施するための形態】
【0019】
<本技術を適用した測距装置の一実施の形態>
【0020】
図1は、本技術を適用した測距装置の一実施の形態の概要を説明する図である。
【0021】
測距装置10は、発光部11及び受光部12を有し、TOF方式で、対象物までの距離を測定する。
【0022】
発光部11は、対象物に照射するパルス光等の所定の変調光等である照射光を発光する。例えば、赤外光などのような不可視域の光を高速で変調させながら発光し、その光を、検出領域に向かって照射する。なお、検出領域に向かって光を照射する光源は、発光ダイオードを用いても良いし、レーザダイオードなど他の光源を用いてもよい。
【0023】
受光部12は、照射光が対象物において反射した反射光を受光する。受光部12は、例えば電圧を印加して電極を切り替える方式(例:CAPD(Current Assisted Photonic demodulator))やゲートを用いて切り替える方式、あるいは、SPAD (single photon avalanche diode)、APD(Avalanche PhotoDiode)等の種々のセンサを適用可能である。
【0024】
また、発光部11と受光部12は隣接して配置されても良い。この構成により、発光した光が対象物に反射して受光部12に戻ってくる際の、往きと帰りの経路差が最少となり、測距誤差を低減することができる。更に、発光部11と受光部12は、1つの筐体で一体的に形成されても良い。この構成により、発光した光が物体に反射して受光部12に戻ってくる際の、往きと帰りの経路のばらつきを抑えることができ、測距誤差を低減することができる。
【0025】
測距装置10は、例えば車両に搭載される。応用先の一例としては、車両の自動駐車機能が挙げられる。従来の自動駐車機能では、周辺車両や周辺物体を検出する手段として超音波センサが用いられているが、その代替として本開示に係る技術の測距装置10が用いられても良い。あるいは、超音波センサと本開示に係る技術の測距装置10を併用しても良い。車両において測距装置10が搭載される位置としては、例えば
図11の撮像部12101,12102,12103,12104に対応する位置であっても良い。もしくは、車両の前後のバンパーのコーナー部にそれぞれ1つずつ、合計4か所に搭載されても良い。あるいは、車両の前後左右及び前後のバンパーのコーナー部の合計8カ所に搭載されても良い。測距可能な距離は、一例として、1m以上30m以下である。しかし、これに限定されず、1m以下の距離を測定できても良いし、30m以上の距離を測定できても良い。
【0026】
TOFセンサが車両の自動駐車機能に適用される場合、駐車場においてTOFセンサを搭載した複数の車両が同時に存在する場合が予想される。すると、ある車両に搭載された発光部が発光する照射光が、他の車両に搭載されたTOFセンサで受光される混信が生じることが予想される。そこで、本開示に係る技術の測距装置10を用いることで、混信を抑制することが可能となる。
【0027】
測距装置10では、発光部11での照射光の発光から、受光部12での反射光の受光までの時間(以下、反射時間ともいう)Δtに基づいて、対象物までの距離Lが算出される。
【0028】
すなわち、反射時間Δtは、照射光が発光され、対象物で反射されて戻ってくるまでの時間であり、光速をc[m/s]と表すこととすると、対象物までの距離Lは、式L=c×Δt/2に従って求めることができる。
【0029】
したがって、対象物までの距離Lは、反射時間Δtを求めることにより得ることができるが、測距装置10を含むTOFセンサにおいて、反射時間Δtを求める方法としては、例えば、第1の算出方法と、第2の算出方法とがある。
【0031】
図2は、反射時間Δtの第1の算出方法の原理を説明する図である。
【0032】
ここで、以下では、照射光として、例えば、所定のパルス幅Tpのパルス光を採用することとする。
【0033】
TOFセンサでは、照射光が発光されてから、対象物までの距離Lに応じた反射時間Δtだけ経過した後に、照射光の反射光(照射光が対象物で反射した反射光)が受光される。
【0034】
いま、照射光としてのパルス光と同一のパルス幅で、同一の位相のパルスを、第1の受光パルスというとともに、照射光としてのパルス光と同一のパルス幅で、パルス光のパルス幅Tpだけ位相がずれたパルスを、第2の受光パルスということとする。
【0035】
第1の算出方法では、第1の受光パルスの(H(High)レベルの)期間と、第2の受光パルスの期間とのそれぞれの期間において、反射光が受光される。
【0036】
いま、第1の受光パルスの期間に受光された反射光の電荷量(受光量)を、Q
1と表すとともに、第2の受光パルスの期間に受光された反射光の電荷量を、Q
2と表すこととする。
【0037】
この場合、反射時間Δtは、式△t=Tp×Q
2/(Q
1+Q
2)に従って求めることができる。
【0038】
ここで、反射時間Δtは、電荷量Q
2に比例するので、対象物までの距離Lが近距離である場合には、電荷量Q
2は小になり、対象物までの距離Lが遠距離である場合には、電荷量Q
2は大になる。
【0039】
図2のAは、対象物までの距離Lが近距離である場合の照射光、反射光、第1のパルス、第2のパルス、電荷量Q
1及びQ
2を表しており、
図2のBは、対象物までの距離Lが遠距離である場合の照射光、反射光、第1のパルス、第2のパルス、電荷量Q
1及びQ
2を表している。
【0040】
なお、実際には、第1及び第2の受光パルスの期間において、反射光の他、環境光も受光されるため、反射時間Δt(ひいては、距離L)の算出にあたっては、環境光の電荷量をキャンセルする必要がある。但し、本実施の形態では、説明を簡単にするため、環境光の電荷量のキャンセルについては、説明を省略する。
【0042】
図3は、反射時間Δtの第2の算出方法の原理を説明する図である。
【0043】
第2の算出方法では、照射光としてのパルス光の発光が、複数回としての、例えば、4回行われる。
【0044】
そして、4回のパルス光の発光に対して、0ずらし受光、π/2ずらし受光、πずらし受光、及び、3π/2ずらし受光が、それぞれ行われる。
【0045】
θずらし受光では、第1及び第2の受光パルスを、第1の算出方法の場合から、θ[rad]だけずらして、反射光の受光が行われる。ここで、照射光としてのパルス光のパルス幅Tpの位相がπである。
【0046】
いま、θずらし受光において、第1の受光パルスの期間に受光された反射光の電荷量を、TapAと表すとともに、第2の受光パルスの期間に受光された反射光の電荷量を、TapBと表すこととする。
【0047】
さらに、0ずらし受光、π/2ずらし受光、πずらし受光、及び、3π/2ずらし受光で得られた電荷量TapAとTapBとの差分TapA-TapBを、差信号Sig1,Sig2,Sig3、及び、Sig4と、それぞれ表すこととする。
【0048】
この場合、照射光と反射光との位相差φは、式φ=arctan((Sig2-Sig4)/(Sig1-Sig3))に従って求めることができる。位相差φと反射時間Δtとは一対一に対応し、反射時間Δtは、位相差φに基づき、式Δt=Tp×φ/πに従って求めることができる。
【0049】
本技術は、第1及び第2の算出方法のいずれにも適用することができるが、以下では、第1及び第2の算出方法のうちの、例えば、第2の算出方法を例に説明を行う。
【0051】
図4は、TOFセンサである測距装置(
図1の測距装置10でない測距装置)が、第2の算出方法により反射時間Δtを求める場合の測距の例を説明するタイミングチャートである。
【0052】
測距装置では、対象物までの距離Lを算出する期間をフレームとして、フレーム単位で、距離Lを算出する。
図4では、フレームの長さ(フレーム長)は、例えば、33[ms]になっている。
【0053】
フレームは、照射光を発光する期間である複数のサブフレームsubを含む。
【0054】
図4では、サブフレームの長さ(サブフレーム長)は、例えば、0.2[ms]になっている。
【0055】
さらに、
図4では、フレームは、例えば、4個のサブフレームsubを含み、その4個のサブフレームsubは、所定の一定の間隔sdで、フレームの先頭から配置されている。4個のサブフレームsubの先頭から終わりまでの長さは、例えば、1[ms]になっており、したがって、
図4のフレームでは、先頭から1[ms]の期間に、4個のサブフレームsubが存在し、残りの32(=33-1)[ms]の期間は、サブフレームが存在しない期間になっている。
【0056】
図4のフレームは、この構成に限定されず、残りの32[ms]の期間に、さらに4つの位相に対応する4個のサブフレームsubを1セット以上含んでも良い。この場合、複数のサブフレーム間の平均値を取得することができ、4個のサブフレームsubのみを用いる場合と比較して測距精度をより向上させることができる。尚、平均値を取る際には、相加平均、加重平均、相乗平均、調和平均等のうちいずれを用いても良い。
【0057】
さらには、残りの32[ms]の期間に、外乱光に関するデータを測定するためのサブフレームを設けても良い。この外乱光の計測値は図示しないメモリに記憶される。距離算出部51は、4個のサブフレームsubの計測値から、当該メモリに記憶された外乱光の計測値を差し引くことで、外乱光成分を除去した4個のサブフレームsubの位相差情報を取得することができ、測距精度をより向上させることができる。尚、ここで測定された外乱光の計測値は、後述する乱数発生部で用いられることが可能である。
【0058】
フレームにおいて、4個のサブフレームsubでは、0ずらし受光、π/2ずらし受光、πずらし受光、及び、3π/2ずらし受光が、それぞれ行われる。
【0059】
サブフレームsubでは、1回の照射光の発光及びθずらし受光の時間(例えば、2πの位相に対応する時間)を、例えば、100[ns]として、照射光の発光及びθずらし受光の時間が、例えば、2000回等の複数回繰り返される。
【0060】
図3で説明した照射光と反射光との位相差φの算出には、2000回等の複数回受光された反射光の電荷量の総和が用いられる。
【0061】
ところで、1の測距装置の周囲に、他の測距装置が存在すると、1の測距装置のサブフレームsubと、他の測距装置のサブフレームsubとの少なくとも一部が重複することが、少なからず起こり得る。
【0062】
上述のように、フレームにおいて、4個のサブフレームsubが、一定の間隔sdで、フレームの先頭から配置されている場合には、1の測距装置のあるフレームのサブフレームsubと、他の測距装置のサブフレームsubとの重複が生じると、1の測距装置の以降のフレームでも、他の測距装置との間で、サブフレームsubの重複が継続する。
【0063】
サブフレームsubが重複している期間では、1の測距装置では、その1の測距装置が発光する照射光の他、他の測距装置が発光する照射光を受光する混信が生じる。
【0064】
混信は、第1の受光パルスの期間の電荷量TapA(又はQ
1)や、第2の受光パルスの期間の電荷量TapB(又はQ
2)に影響し、測距の精度を低下させる原因となる。
【0065】
フレームにおいて、4個のサブフレームsubが、一定の間隔sdで、フレームの先頭から配置されている場合には、以上のような混信は、例えば、1の測距装置の周囲に、他の測距装置が存在しなくなるまで、解消しない。
【0066】
図5は、
図1の測距装置10が、第2の算出方法により反射時間Δtを求める場合の測距の例を説明するタイミングチャートである。
【0067】
図4で説明したように、各フレームにおいて、複数のサブフレームsubが、一定の間隔sdで、フレームの先頭から配置されている場合には、他の測距装置との間で、サブフレームsubの重複が生じると、以降のフレームでも、サブフレームsubの重複が継続し、混信が生じ続ける。
【0068】
そこで、測距装置10では、あるフレームである第1のフレームと、その第1のフレームに続く第2のフレームとで、先頭のサブフレームsubのタイミングが異なり、かつ、サブフレームどうしの間隔sdが一定になるように、照射光の発光(及び照射光の反射光の受光)が制御される。
【0069】
図5では、測距装置10は、最初のフレームにおいては、
図4の場合と同様に、複数のサブフレームsubを、フレームの先頭から、一定の間隔sdで配置するように、照射光の発光を制御する。
【0070】
そして、測距装置10は、次のフレームにおいては、複数のサブフレームsubを、フレームの先頭から0より大の所定の時間だけ経過したタイミングから、一定の間隔sdで配置するように、照射光の発光を制御する。
【0071】
ここで、フレーム内の複数のサブフレームsubの先頭のサブフレームsubが開始するタイミングを、先頭タイミングともいうこととする。
【0072】
測距装置10では、あるフレームである第1のフレームと、その第1のフレームに続く第2のフレームとで、サブフレームどうしの間隔sdを一定(固定)にしたままで、先頭タイミングだけを変化させるように、照射光の発光を制御する。
【0073】
以上のように、第1のフレームと、第1のフレームに続く第2のフレームとで、先頭タイミングが異なり、かつ、第1のフレーム(及び第2のフレーム)の期間中においてサブフレームどうしの間隔が一定になるように、照射光の発光を制御することで、混信を抑制することができる。
【0074】
すなわち、
図5では、測距装置10の最初のフレームでは、
図4の場合と同様に、他の測距装置との間で、サブフレームsubの重複が生じ、混信が生じている。
【0075】
しかしながら、測距装置10の次のフレームでは、先頭タイミングが、最初のフレームとは異なっているため、他の測距装置との間で、サブフレームsubが重複しておらず、混信は生じない。
【0076】
なお、測距装置10において、先頭タイミングは、例えば、あらかじめ決められたパターンに従って変化させることや、ランダムに変化させることができる。先頭タイミングを、あらかじめ決められたパターンに従って変化させるよりも、ランダムに変化させる方が、混信を抑制する確率を向上させることができる。
【0077】
ここで、混信を抑制する確率を向上させる観点からは、フレーム単位で、先頭タイミングをランダムに変化させるよりも、サブフレーム単位で、サブフレームの開始タイミング(サブフレームの位置)をランダムに変化させる方が、混信を抑制する確率を向上させることができる。
【0078】
しかしながら、サブフレーム単位で、サブフレームの開始タイミングをランダムに変化させる場合には、フレーム単位で、先頭タイミングをランダムに変化させるよりも、照射光の発光(及び照射光の反射光の受光)の制御の処理や回路が複雑になる。
【0079】
言い換えれば、フレーム単位で、先頭タイミングをランダムに変化させる場合には、サブフレーム単位で、サブフレームの開始タイミングをランダムに変化させる場合に比較して、照射光の発光の制御の処理や回路が簡素化され、その結果、混信を、容易に抑制することができる。
【0080】
さらに、フレーム単位で、先頭タイミングをランダムに変化させる場合には、サブフレーム単位で、サブフレームの開始タイミングをランダムに変化させる場合に比較して、消費電力を抑制することができる。
【0081】
図6は、フレーム単位で、先頭タイミングをランダムに変化させる場合と、サブフレーム単位で、サブフレームの開始タイミングをランダムに変化させる場合との消費電力の例を説明する図である。
【0082】
フレーム単位で、先頭タイミングをランダムに変化させる(ずらす)方法としては、例えば、先頭タイミングを、乱数に基づいて制御する方法を採用することができる。同様に、サブフレーム単位で、サブフレームの開始タイミングをランダムに変化させる(ずらす)方法としては、サブフレームの開始タイミングを、乱数に基づいて制御する方法を採用することができる。
【0083】
以上のような乱数に基づく制御を行う場合には、その制御に用いる乱数を発生する乱数発生処理を行う必要がある。
【0084】
図6のAは、フレーム単位で、先頭タイミングをランダムに変化させる場合の乱数発生処理の状態の例を示している。
【0085】
フレーム単位で、先頭タイミングをランダムに変化させる場合には、少なくとも、フレームが開始するまでに、そのフレームの先頭タイミングの制御に用いる乱数を得られれば良い。したがって、乱数発生処理は、フレームが開始する直前の所定の期間だけ、乱数を発生させる状態であるアクティブ(Active)状態にし、他の期間についてはアクティブ状態への遷移を待機するスタンバイ(Standby)状態にすることができる。
【0086】
図6では、乱数発生処理がアクティブ状態である場合の消費電力が、50[mW]になっており、乱数発生処理がスタンバイ状態である場合の消費電力が、0.1[mW]になっている。
【0087】
したがって、乱数発生処理を、フレームが開始する直前の所定の期間だけアクティブ状態にし、他の期間についてはスタンバイ状態にすることにより、消費電力を抑制することができる。
【0088】
図6のBは、サブフレーム単位で、サブフレームの開始タイミングをランダムに変化させる場合の乱数発生処理の状態の例を示している。
【0089】
サブフレーム単位で、サブフレームの開始タイミングをランダムに変化させる場合には、サブフレームの開始タイミングの制御に用いる乱数が、適宜必要になる。そのため、乱数発生処理は、常時、アクティブ状態にする必要がある。
【0090】
したがって、
図6のBの場合には、乱数発生処理を、フレームが開始する直前の所定の期間だけアクティブ状態にし、他の期間についてはスタンバイ状態にすることができる
図6のAの場合に比較して、消費電力が大になる。
【0092】
図7は、
図1の測距装置10の電気的な第1の構成例を示すブロック図である。
【0093】
図7において、測距装置10は、発光部11、受光部12、距離算出部51、乱数発生部52、及び、制御部53を有する。
【0094】
発光部11は、例えば、LED(Light Emitting Diode)等で構成され、制御部53の制御に従って、照射光を発光する。
【0095】
受光部12は、有効画素部30及びダミー画素部40を有する。
【0096】
有効画素部30は、複数の画素31を有し、ダミー画素部40は、複数の画素41を有する。
【0097】
画素31及び41は、例えば、PD(PhotoDiode)等で構成され、そこに入射する光を受光し、その光の光量に対応する電荷を発生する。
【0098】
有効画素部30では、画素31が、制御部53の制御に従って、発光部11が発光した照射光の反射光を受光し、その反射光に応じた電荷、すなわち、例えば、
図3で説明した第1の受光パルスの期間に受光された反射光の電荷量TapA、及び、第2の受光パルスの期間に受光された反射光の電荷量TapBを、距離算出部51に供給する。
【0099】
ダミー画素部40では、画素41は、例えば、遮光されており、いわゆるOPB(Optical Black)画素として機能する。
【0100】
なお、
図7では、図が煩雑になるのを避けるため、有効画素部30を構成する画素31と、ダミー画素部40を構成する画素41とを、別個のエリアに配置してあるが、画素41は、例えば、画素31の中に混在するように配置することができる。
【0101】
距離算出部51は、画素31からの電荷の電荷量を用いて、例えば、
図3で説明したように、反射時間Δt(又は位相差φ)を算出し、その(位相差φから求められる)反射時間Δtに基づいて、対象物までの距離Lを算出する。距離算出部51は、有効画素部30を構成する各画素31に対して、距離Lを算出し、その距離L(に対応する値)を画素値とする距離画像等を、距離情報として出力する。
【0102】
乱数発生部52は、乱数を発生し、制御部53に供給する。
【0103】
制御部53は、発光部11による照射光の発光、及び、受光部12の画素31による反射光の受光を制御する。
【0104】
制御部53は、照射光の発光、及び、反射光の受光の制御において、乱数発生部52からの乱数に基づいて、フレーム単位で、フレーム内の複数のサブフレームsubの先頭のサブフレームsubが開始する先頭タイミングを制御する。これにより、フレーム単位で、先頭タイミングがランダムに変化する。
【0105】
なお、制御部53では、乱数発生部52(の乱数発生処理)について、
図6のAに示したように、アクティブ状態とスタンバイ状態との制御を行うことができる。
【0106】
尚、測距装置10は、複数枚の基板を積層した積層構造のチップで構成されてもよい。
図7において、受光部12、距離算出部51、乱数発生部52、及び、制御部53は、複数の基板を積層したチップの内部に配置される。複数の基板を積層したチップは、下側基板及び上側基板がその順で下から上に積層されて構成される。下側基板には、距離算出部51、乱数発生部52、及び、制御部53が形成され、上側基板には、受光部12が形成される。制御部53と受光部12との間、および距離算出部51と受光部12との間は、接続部によって接続されることで下側基板と上側基板との間で信号が伝達される。接続部は、例えばTSV(Through Silicon Via)やCu−Cu等で形成される。
【0107】
以上のように、下側基板と上側基板を積層したチップで構成される測距装置10では、下側基板に形成された制御部53が、発光部11に発光タイミング信号を供給するとともに、受光部12に受光タイミング信号を供給する。距離算出部51は、その発光タイミング信号及び受光タイミング信号を用いて、距離を算出する。このような構成を取ることで、複数の基板を積層したチップは撮像データを出力する必要がなく、距離データのみを出力すれば良いので、インターフェースの帯域を少なく設計することが可能となる。さらには、下側基板は上側基板とは世代の異なる先端プロセスを使うことができる。さらには、上側基板は受光素子形成に特化したプロセスを使うことができる。
【0109】
図8は、
図7の制御部53の処理の例を説明するフローチャートである。
【0110】
ステップS11において、制御部53は、フレームの開始直前に、乱数発生部52から乱数を取得し、処理は、ステップS12に進む。
【0111】
ステップS12では、制御部53は、フレームの開始直後に、乱数発生部52から取得した乱数に基づいて、発光部11による照射光の発光タイミングと、受光部12(の画素31)による反射光の受光タイミングとを制御する。
【0112】
すなわち、制御部53は、先頭のサブフレームsubが開始する先頭タイミングが乱数に応じた値となり、フレーム内の隣接する2つサブフレームsubどうしの間隔subが一定値になるように、照射光の発光タイミングを制御する。
【0113】
また、制御部53は、以上のような発光タイミングで発光された照射光の反射光の受光タイミングを、その反射光を適切に受光することができるように、すなわち、例えば、第2の算出方法で反射時間Δtを求めることができるように制御する。
【0114】
その後、処理は、ステップS12からステップS11に戻り、以下、同様の処理が繰り返される。
【0115】
なお、ここでは、反射時間Δtを、
図3で説明した第2の算出方法により求めることとしたが、反射時間Δtを、
図2で説明した第1の算出方法により求める場合にも、フレーム単位で、先頭タイミングをランダムに変化させる方法を適用することができる。
【0116】
反射時間Δtを、第1の算出方法により求める場合には、各サブフレームにおいて、距離Lの候補を求め、各サブフレームの距離Lの候補に基づき、それらの候補のうちの、例えば、最頻値や、平均値、最大値、最小値等を、最終的な距離Lとして求めることができる。
【0117】
なお、反射時間Δtを、第1の算出方法により求める場合には、フレームには、複数ではなく、1のサブフレームを含めることができる。
【0119】
図9は、
図1の測距装置10の電気的な第2の構成例を示すブロック図である。
【0120】
なお、図中、
図7の場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。
【0121】
図9において、測距装置10は、発光部11、受光部12、距離算出部51、乱数発生部52、制御部53、及び、画素ノイズ検出部61を有する。
【0122】
したがって、
図9の測距装置10は、発光部11、受光部12、距離算出部51、乱数発生部52、及び、制御部53を有する点で、
図7の場合と共通する。
【0123】
但し、
図9の測距装置10は、画素ノイズ検出部61が新たに設けられている点で、
図7の場合と相違する。
【0124】
画素ノイズ検出部61は、例えば、OPB画素である画素41の電荷量を、画素31や41で生じる画素ノイズとして検出し、乱数発生部52に供給する。
【0125】
なお、画素ノイズ検出部61では、ダミー画素部40の複数の画素41を、特定の順番や任意の順番で選択し、その選択した画素41の電荷量を、画素ノイズとして検出することができる。
【0126】
図7の測距装置10では、乱数発生部52は、例えば、あらかじめ決められた値を、乱数の種として用いて、乱数を発生する。
【0127】
一方、
図9の測距装置10では、受光部12で生成された情報に基づいて乱数を発生する。具体的には、乱数発生部52は、画素ノイズ検出部61から供給される画素ノイズを、乱数の種として用いて、乱数を発生する。
【0128】
画素31や画素41の画素ノイズの特性は、(ほぼ)ランダムな特性であり、そのようなランダムな特性の画素ノイズを種として、乱数を発生し、その乱数に基づいて、先頭タイミングを制御することにより、混信(が生じる可能性)をより抑制することができる。
【0129】
なお、画素31(の精度)の特性は、画素31や画素41の画素ノイズの特性と同様のランダムな特性である(画素31の特性=ランダムな特性)。
【0130】
また、測距装置10において、混信の抑制の特性は、画素31や画素41の画素ノイズの特性と同様のランダムな特性に反比例する特性である(混信の抑制の特性=1/ランダムな特性)。
【0131】
一方、測距装置10の測距の精度は、画素31の特性と、混信の抑制の特性との積に比例する。
【0132】
上述のように、画素31の特性は、ランダムな特性であり、混信の抑制の特性は、ランダムな特性に反比例するから、画素31の特性(=ランダムな特性)と、混信の抑制の特性(=1/ランダムな特性)との積は、1で、定数になる。
【0133】
したがって、測距装置10において、画素ノイズを種として、乱数を発生し、その乱数に基づいて、先頭タイミングを制御する場合には、測距の精度を、(ほぼ)一定値に維持することができる。
【0134】
測距装置10において、受光部12で検出された信号成分を用いて乱数を発生させる他の方法として、外乱光のランダム成分を用いて乱数を発生させる方法か、または受光部12の回路のノイズのランダム成分を用いて乱数を発生させる方法が適用されても良い。
【0135】
外乱光のランダム成分を用いて乱数を発生させる方法の具体例としては、
図4の4個のサブフレームsubを測定しない期間(照射光を発光しない期間)に、外乱光に関するデータを測定するためのサブフレームを設け、測定された外乱光のランダム成分を乱数発生に活用する。外乱光の波長成分等は、一般的にほぼランダムな特性を有しており、そのようなランダムな特性の外乱光の成分を種として、乱数を発生し、その乱数に基づいて、サブフレームの先頭タイミングを制御することにより、混信(が生じる可能性)をより抑制することができる。この外乱光の計測値は図示しないメモリに記憶され、当該メモリに記憶された外乱光の計測値は、先述した外乱光成分を除去するための用途と、乱数を発生させてサブフレームの先頭が発光するタイミングを変えるための用途の、2つの用途に適用されることができる。これにより、新たに乱数発生器を設けることなく乱数を発生させることができ、消費電力を抑制することができる。
【0136】
受光部12の回路のノイズのランダム成分を用いて乱数を発生させる方法の具体例としては、受光部12に含まれる図示しないアナログデジタル変換器(AD変換器)の駆動時に生成されるランダム成分を乱数発生に用いる。AD変換器は、一般的に製造ばらつき等により、出力されるデジタル信号は厳密には一定とならない。つまり、同一の光が入射され同一の複数のアナログ信号が入力されても、出力されるデジタル信号がごくわずかにばらつく。このばらつきは、一般的にほぼランダムな特性を有しており、そのようなランダムな特性の外乱光の成分を種として、乱数を発生し、その乱数に基づいて、サブフレームの先頭タイミングを制御することにより、混信(が生じる可能性)をより抑制することができる。一例としては、ダミー画素40に接続されるAD変換器に対して、固定のアナログ値を強制的に注入する。この注入に対して、理論的には固定のデジタル値が出力されるはずだが、実際には理論値から若干ずれる。このずれを測定することで、乱数が生成される。尚、固定のアナログ値が強制的に注入される画素は、有効画素部30の画素でも良い。その場合は、発光部11が発光していないタイミングや、受光部12が光を受光していないタイミングで固定のアナログ値が強制的に注入されることが望ましい。上述した方法により、新たに乱数発生器を設けることなく乱数を発生させることができ、消費電力を抑制することができる。
【0137】
尚、受光部12で検出された信号成分を用いて乱数を発生させる上述した3つの方法(画素ノイズを用いて乱数を発生させる方法、外乱光のランダム成分を用いて乱数を発生させる方法、回路のノイズのランダム成分を用いて乱数を発生させる方法)は、それぞれ独立に実行されても良いし、複数を組み合わせて実行されても良い。複数の方法を組み合わせて実行された場合、独立して実行される場合と比較してよりランダム性を向上させることができる。
【0138】
測距装置10は、発光部11が車両の外部に照射光を発光するように、車両に搭載することができる。尚、測距装置10の第2の構成例においても、積層構造のチップが適用されてもよい。
【0140】
本開示に係る技術(本技術)は、様々な製品へ応用することができる。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット等のいずれかの種類の移動体に搭載される装置として実現されてもよい。
【0141】
図10は、本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システムの概略的な構成例を示すブロック図である。
【0142】
車両制御システム12000は、通信ネットワーク12001を介して接続された複数の電子制御ユニットを備える。
図10に示した例では、車両制御システム12000は、駆動系制御ユニット12010、ボディ系制御ユニット12020、車外情報検出ユニット12030、車内情報検出ユニット12040、及び統合制御ユニット12050を備える。また、統合制御ユニット12050の機能構成として、マイクロコンピュータ12051、音声画像出力部12052、及び車載ネットワークI/F(interface)12053が図示されている。
【0143】
駆動系制御ユニット12010は、各種プログラムにしたがって車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御ユニット12010は、内燃機関又は駆動用モータ等の車両の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両の舵角を調節するステアリング機構、及び、車両の制動力を発生させる制動装置等の制御装置として機能する。
【0144】
ボディ系制御ユニット12020は、各種プログラムにしたがって車体に装備された各種装置の動作を制御する。例えば、ボディ系制御ユニット12020は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、あるいは、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー又はフォグランプ等の各種ランプの制御装置として機能する。この場合、ボディ系制御ユニット12020には、鍵を代替する携帯機から発信される電波又は各種スイッチの信号が入力され得る。ボディ系制御ユニット12020は、これらの電波又は信号の入力を受け付け、車両のドアロック装置、パワーウィンドウ装置、ランプ等を制御する。
【0145】
車外情報検出ユニット12030は、車両制御システム12000を搭載した車両の外部の情報を検出する。例えば、車外情報検出ユニット12030には、撮像部12031が接続される。車外情報検出ユニット12030は、撮像部12031に車外の画像を撮像させるとともに、撮像された画像を受信する。車外情報検出ユニット12030は、受信した画像に基づいて、人、車、障害物、標識又は路面上の文字等の物体検出処理又は距離検出処理を行ってもよい。
【0146】
撮像部12031は、光を受光し、その光の受光量に応じた電気信号を出力する光センサである。撮像部12031は、電気信号を画像として出力することもできるし、測距の情報として出力することもできる。また、撮像部12031が受光する光は、可視光であっても良いし、赤外線等の非可視光であっても良い。
【0147】
車内情報検出ユニット12040は、車内の情報を検出する。車内情報検出ユニット12040には、例えば、運転者の状態を検出する運転者状態検出部12041が接続される。運転者状態検出部12041は、例えば運転者を撮像するカメラを含み、車内情報検出ユニット12040は、運転者状態検出部12041から入力される検出情報に基づいて、運転者の疲労度合い又は集中度合いを算出してもよいし、運転者が居眠りをしていないかを判別してもよい。
【0148】
マイクロコンピュータ12051は、車外情報検出ユニット12030又は車内情報検出ユニット12040で取得される車内外の情報に基づいて、駆動力発生装置、ステアリング機構又は制動装置の制御目標値を演算し、駆動系制御ユニット12010に対して制御指令を出力することができる。例えば、マイクロコンピュータ12051は、車両の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、車両の衝突警告、又は車両のレーン逸脱警告等を含むADAS(Advanced Driver Assistance System)の機能実現を目的とした協調制御を行うことができる。
【0149】
また、マイクロコンピュータ12051は、車外情報検出ユニット12030又は車内情報検出ユニット12040で取得される車両の周囲の情報に基づいて駆動力発生装置、ステアリング機構又は制動装置等を制御することにより、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。
【0150】
また、マイクロコンピュータ12051は、車外情報検出ユニット12030で取得される車外の情報に基づいて、ボディ系制御ユニット12020に対して制御指令を出力することができる。例えば、マイクロコンピュータ12051は、車外情報検出ユニット12030で検知した先行車又は対向車の位置に応じてヘッドランプを制御し、ハイビームをロービームに切り替える等の防眩を図ることを目的とした協調制御を行うことができる。
【0151】
音声画像出力部12052は、車両の搭乗者又は車外に対して、視覚的又は聴覚的に情報を通知することが可能な出力装置へ音声及び画像のうちの少なくとも一方の出力信号を送信する。
図10の例では、出力装置として、オーディオスピーカ12061、表示部12062及びインストルメントパネル12063が例示されている。表示部12062は、例えば、オンボードディスプレイ及びヘッドアップディスプレイの少なくとも一つを含んでいてもよい。
【0152】
図11は、撮像部12031の設置位置の例を示す図である。
【0153】
図11では、車両12100は、撮像部12031として、撮像部12101,12102,12103,12104,12105を有する。
【0154】
撮像部12101,12102,12103,12104,12105は、例えば、車両12100のフロントノーズ、サイドミラー、リアバンパ、バックドア及び車室内のフロントガラスの上部等の位置に設けられる。フロントノーズに備えられる撮像部12101及び車室内のフロントガラスの上部に備えられる撮像部12105は、主として車両12100の前方の画像を取得する。サイドミラーに備えられる撮像部12102,12103は、主として車両12100の側方の画像を取得する。リアバンパ又はバックドアに備えられる撮像部12104は、主として車両12100の後方の画像を取得する。撮像部12101及び12105で取得される前方の画像は、主として先行車両又は、歩行者、障害物、信号機、交通標識又は車線等の検出に用いられる。
【0155】
なお、
図11には、撮像部12101ないし12104の撮影範囲の一例が示されている。撮像範囲12111は、フロントノーズに設けられた撮像部12101の撮像範囲を示し、撮像範囲12112,12113は、それぞれサイドミラーに設けられた撮像部12102,12103の撮像範囲を示し、撮像範囲12114は、リアバンパ又はバックドアに設けられた撮像部12104の撮像範囲を示す。例えば、撮像部12101ないし12104で撮像された画像データが重ね合わせられることにより、車両12100を上方から見た俯瞰画像が得られる。
【0156】
撮像部12101ないし12104の少なくとも1つは、距離情報を取得する機能を有していてもよい。例えば、撮像部12101ないし12104の少なくとも1つは、複数の撮像素子からなるステレオカメラであってもよいし、位相差検出用の画素を有する撮像素子であってもよい。
【0157】
例えば、マイクロコンピュータ12051は、撮像部12101ないし12104から得られた距離情報を基に、撮像範囲12111ないし12114内における各立体物までの距離と、この距離の時間的変化(車両12100に対する相対速度)を求めることにより、特に車両12100の進行路上にある最も近い立体物で、車両12100と略同じ方向に所定の速度(例えば、0km/h以上)で走行する立体物を先行車として抽出することができる。さらに、マイクロコンピュータ12051は、先行車の手前に予め確保すべき車間距離を設定し、自動ブレーキ制御(追従停止制御も含む)や自動加速制御(追従発進制御も含む)等を行うことができる。このように運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。
【0158】
例えば、マイクロコンピュータ12051は、撮像部12101ないし12104から得られた距離情報を元に、立体物に関する立体物データを、2輪車、普通車両、大型車両、歩行者、電柱等その他の立体物に分類して抽出し、障害物の自動回避に用いることができる。例えば、マイクロコンピュータ12051は、車両12100の周辺の障害物を、車両12100のドライバが視認可能な障害物と視認困難な障害物とに識別する。そして、マイクロコンピュータ12051は、各障害物との衝突の危険度を示す衝突リスクを判断し、衝突リスクが設定値以上で衝突可能性がある状況であるときには、オーディオスピーカ12061や表示部12062を介してドライバに警報を出力することや、駆動系制御ユニット12010を介して強制減速や回避操舵を行うことで、衝突回避のための運転支援を行うことができる。
【0159】
撮像部12101ないし12104の少なくとも1つは、赤外線を検出する赤外線カメラであってもよい。例えば、マイクロコンピュータ12051は、撮像部12101ないし12104の撮像画像中に歩行者が存在するか否かを判定することで歩行者を認識することができる。かかる歩行者の認識は、例えば赤外線カメラとしての撮像部12101ないし12104の撮像画像における特徴点を抽出する手順と、物体の輪郭を示す一連の特徴点にパターンマッチング処理を行って歩行者か否かを判別する手順によって行われる。マイクロコンピュータ12051が、撮像部12101ないし12104の撮像画像中に歩行者が存在すると判定し、歩行者を認識すると、音声画像出力部12052は、当該認識された歩行者に強調のための方形輪郭線を重畳表示するように、表示部12062を制御する。また、音声画像出力部12052は、歩行者を示すアイコン等を所望の位置に表示するように表示部12062を制御してもよい。
【0160】
以上、本開示に係る技術が適用され得る車両制御システムの一例について説明した。本開示に係る技術は、以上説明した構成のうち、撮像部12031に適用され得る。具体的には、測距装置10は、撮像部12031に適用することができる。撮像部12031に本開示に係る技術を適用することにより、測距において、混信を容易に抑制し、運転支援に資する距離情報を提供することが可能になる。
【0161】
<本技術を適用したコンピュータの説明>
【0162】
次に、上述した距離算出部51や制御部53等の一連の処理は、ハードウェアにより行うこともできるし、ソフトウェアにより行うこともできる。一連の処理をソフトウェアによって行う場合には、そのソフトウェアを構成するプログラムが、コンピュータにインストールされる。
【0163】
そこで、
図12は、上述した一連の処理を実行するプログラムがインストールされるコンピュータの一実施の形態の構成例を示している。
【0164】
プログラムは、コンピュータに内蔵されている記録媒体としてのハードディスク105やROM103に予め記録しておくことができる。
【0165】
あるいはまた、プログラムは、リムーバブル記録媒体111に格納(記録)しておくことができる。このようなリムーバブル記録媒体111は、いわゆるパッケージソフトウエアとして提供することができる。ここで、リムーバブル記録媒体111としては、例えば、フレキシブルディスク、CD-ROM(Compact Disc Read Only Memory),MO(Magneto Optical)ディスク,DVD(Digital Versatile Disc)、磁気ディスク、半導体メモリ等がある。
【0166】
なお、プログラムは、上述したようなリムーバブル記録媒体111からコンピュータにインストールする他、通信網や放送網を介して、コンピュータにダウンロードし、内蔵するハードディスク105にインストールすることができる。すなわち、プログラムは、例えば、ダウンロードサイトから、ディジタル衛星放送用の人工衛星を介して、コンピュータに無線で転送したり、LAN(Local Area Network)、インターネットといったネットワークを介して、コンピュータに有線で転送することができる。
【0167】
コンピュータは、CPU(Central Processing Unit)102を内蔵しており、CPU102には、バス101を介して、入出力インタフェース110が接続されている。
【0168】
CPU102は、入出力インタフェース110を介して、ユーザによって、入力部107が操作等されることにより指令が入力されると、それに従って、ROM(Read Only Memory)103に格納されているプログラムを実行する。あるいは、CPU102は、ハードディスク105に格納されたプログラムを、RAM(Random Access Memory)104にロードして実行する。
【0169】
これにより、CPU102は、上述したフローチャートにしたがった処理、あるいは上述したブロック図の構成により行われる処理を行う。そして、CPU102は、その処理結果を、必要に応じて、例えば、入出力インタフェース110を介して、出力部106から出力、あるいは、通信部108から送信、さらには、ハードディスク105に記録等させる。
【0170】
なお、入力部107は、キーボードや、マウス、マイク等で構成される。また、出力部106は、LCD(Liquid Crystal Display)やスピーカ等で構成される。
【0171】
ここで、本明細書において、コンピュータがプログラムに従って行う処理は、必ずしもフローチャートとして記載された順序に沿って時系列に行われる必要はない。すなわち、コンピュータがプログラムに従って行う処理は、並列的あるいは個別に実行される処理(例えば、並列処理あるいはオブジェクトによる処理)も含む。
【0172】
また、プログラムは、1のコンピュータ(プロセッサ)により処理されるものであっても良いし、複数のコンピュータによって分散処理されるものであっても良い。
【0173】
さらに、本明細書において、システムとは、複数の構成要素(装置、モジュール(部品)等)の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、1つの筐体の中に複数のモジュールが収納されている1つの装置は、いずれも、システムである。
【0174】
なお、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
【0175】
また、本明細書に記載された効果はあくまで例示であって限定されるものではなく、他の効果があってもよい。
【0176】
なお、本技術は、以下の構成をとることができる。
【0177】
<1>
照射光を発光する発光部と、
前記照射光が対象物において反射した反射光を受光する受光部と、
前記照射光の発光から前記反射光の受光までの時間に基づいて、前記対象物までの距離を算出する算出部と、
前記照射光の発光を制御する制御部と
を備え、
前記距離を算出する期間であるフレームは、前記照射光を発光する期間である複数のサブフレームを含み、
前記制御部は、第1のフレームと、前記第1のフレームに続く第2のフレームとで、先頭のサブフレームのタイミングが異なり、かつ、前記サブフレームどうしの間隔が一定になるように、前記照射光の発光を制御する
測距装置。
<2>
前記先頭のサブフレームのタイミングが、前記フレーム単位で、ランダムに変化する
<1>に記載の測距装置。
<3>
乱数を発生する乱数発生部をさらに備え、
前記制御部は、前記乱数に基づいて、前記先頭のサブフレームのタイミングを制御する
<2>に記載の測距装置。
<4>
前記受光部は、複数の画素を含み、
前記乱数発生部は、前記複数の画素のうちの所定の画素の電荷量に基づいて、前記乱数を発生する
<3>に記載の測距装置。
<5>
車両に搭載され、
前記発光部は、前記車両の外部に照射光を発光する
<1>ないし<4>のいずれかに記載の測距装置。
<6>
照射光を発光する発光部と、
前記照射光が対象物において反射した反射光を受光する受光部と、
前記照射光の発光から前記反射光の受光までの時間に基づいて、前記対象物までの距離を算出する算出部と、
前記照射光の発光を制御する制御部と
を備え、
前記距離を算出する期間であるフレームは、前記照射光を発光する期間である複数のサブフレームを含む
測距装置の前記制御部が、第1のフレームと、前記第1のフレームに続く第2のフレームとで、先頭のサブフレームのタイミングが異なり、かつ、前記サブフレームどうしの間隔が一定になるように、前記照射光の発光を制御する
測距方法。