(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024030776
(43)【公開日】2024-03-07
(54)【発明の名称】距離計測装置
(51)【国際特許分類】
G01S 17/89 20200101AFI20240229BHJP
G01C 3/06 20060101ALI20240229BHJP
【FI】
G01S17/89
G01C3/06 120Q
G01C3/06 140
【審査請求】未請求
【請求項の数】22
【出願形態】OL
(21)【出願番号】P 2022133896
(22)【出願日】2022-08-25
(71)【出願人】
【識別番号】000236436
【氏名又は名称】浜松ホトニクス株式会社
(74)【代理人】
【識別番号】100088155
【弁理士】
【氏名又は名称】長谷川 芳樹
(74)【代理人】
【識別番号】100113435
【弁理士】
【氏名又は名称】黒木 義樹
(74)【代理人】
【識別番号】100140442
【弁理士】
【氏名又は名称】柴山 健一
(74)【代理人】
【識別番号】100110582
【弁理士】
【氏名又は名称】柴田 昌聰
(72)【発明者】
【氏名】内田 圭祐
(72)【発明者】
【氏名】宅見 宗則
【テーマコード(参考)】
2F112
5J084
【Fターム(参考)】
2F112AD01
2F112BA01
2F112CA12
2F112DA04
2F112DA25
2F112DA26
2F112DA28
2F112EA03
2F112FA12
2F112FA29
2F112GA01
5J084AA04
5J084AA05
5J084AD03
5J084BA04
5J084BA36
5J084BA40
5J084BB02
5J084BB04
5J084CA10
5J084CA65
(57)【要約】
【課題】圧縮センシング技術を利用してTOF法による距離計測を確実に行うことができる装置を提供する。
【解決手段】距離計測装置1は、光源2、受光部5、制御部6および処理部7を備える。受光部5は、フォトダイオードと、このフォトダイオードで発生した電荷を蓄積する電荷蓄積部と、を含む。制御部6は、光源2の光パルス出力タイミングから各々一定時間Tで区分されたN個の期間それぞれにおいて電荷蓄積部に電荷を蓄積させるか否かを指示するM個のフレームからなる制御パターンを受光部5に与える。制御パターンをM行N列の行列で表して、この行列の第m行第n列の要素の値を、第mフレームにおいて第n期間に電荷蓄積を指示するときに1とし、非蓄積を指示するときに0としたときに、この行列を構成するN個の列ベクトルのうちの隣り合う二つの列ベクトルの全ての組合せについてハミング距離が1である等の条件を満たす。
【選択図】
図1
【特許請求の範囲】
【請求項1】
パルス幅Pの光パルスを対象物へ照射する光源と、
前記光源から前記対象物へ照射されて前記対象物で反射された光パルスを受光して電荷を発生させるフォトダイオードと、前記フォトダイオードで発生した電荷を蓄積する電荷蓄積部と、を含む受光部と、
前記光源の光パルス出力タイミングから各々一定時間Tで区分されたN個の期間それぞれにおいて前記フォトダイオードで発生した電荷を前記電荷蓄積部に転送して蓄積させるか否かを指示するM個のフレームからなる制御パターンを前記受光部に与える制御部と、
前記電荷蓄積部により蓄積された電荷の量に基づいて圧縮センシング技術により前記対象物までの距離を求める処理部と、
を備え、飛行時間法により前記対象物までの距離を計測する装置であって、
前記パルス幅Pが前記一定時間T以下であり、
前記制御部は、
前記制御パターンをM行N列の行列で表して、このM行N列の行列の第m行第n列の要素の値am,nを、前記M個のフレームのうちの第mフレームにおいて前記N個の期間のうちの第n期間に前記電荷蓄積部への電荷の蓄積を指示するときに1とし、非蓄積を指示するときに0としたときに、
前記M行N列の行列を構成するN個の列ベクトルの全てにおいて何れかの要素の値が1であり、前記N個の列ベクトルの全てが互いに異なり、前記N個の列ベクトルのうちの隣り合う二つの列ベクトルの全ての組合せについてハミング距離が1である前記制御パターンを前記受光部に与える、
距離計測装置。
【請求項2】
前記制御部は、前記M個のフレームそれぞれについて第n期間の電荷の蓄積の指示をrn回繰り返す前記制御パターンを前記受光部に与える、
請求項1に記載の距離計測装置。
【請求項3】
前記制御部は、第m行第n列の要素の値がrnam,nであるM行N列の行列を構成するN個の列ベクトルのうちの連続するk+1列以下の列ベクトルの全ての組合せについて前記k+1列以下の列ベクトルの総和である総和列ベクトルと前記N個の列ベクトルそれぞれとの内積を当該列ベクトルの大きさで除して得られる値が最大となる列ベクトルが前記k+1列以下の列ベクトルのうちの何れかである前記制御パターンを前記受光部に与える、
請求項2に記載の距離計測装置。
【請求項4】
パルス幅Pの光パルスを対象物へ照射する光源と、
前記光源から前記対象物へ照射されて前記対象物で反射された光パルスを受光して電荷を発生させるフォトダイオードと、前記フォトダイオードで発生した電荷を蓄積する電荷蓄積部と、を含む受光部と、
前記光源の光パルス出力タイミングから各々一定時間Tで区分されたN個の期間それぞれにおいて前記フォトダイオードで発生した電荷を前記電荷蓄積部に転送して蓄積させるか否かを指示するM個のフレームからなる制御パターンを前記受光部に与える制御部と、
前記電荷蓄積部により蓄積された電荷の量に基づいて圧縮センシング技術により前記対象物までの距離を求める処理部と、
を備え、飛行時間法により前記対象物までの距離を計測する装置であって、
前記パルス幅Pが前記一定時間Tのk-1倍より大きくk倍以下であり(ただし、kは2以上の整数)、
前記制御部は、
前記制御パターンをM行N列の行列で表して、このM行N列の行列の第m行第n列の要素の値am,nを、前記M個のフレームのうちの第mフレームにおいて前記N個の期間のうちの第n期間に前記電荷蓄積部への電荷の蓄積を指示するときに1とし、非蓄積を指示するときに0としたときに、
前記M行N列の行列を構成するN個の列ベクトルの全てにおいて何れかの要素の値が1であり、前記N個の列ベクトルの全てが互いに異なり、前記N個の列ベクトルのうちの隣り合う二つの列ベクトルの全ての組合せについてハミング距離が1であり、前記N個の列ベクトルのうちの互いにk+1列だけ離れた二つの列ベクトルの全ての組合せについてハミング距離がk以上であり、前記N個の列ベクトルのうちの連続するk+1列の列ベクトルの全ての組合せについて前記k+1列の列ベクトルにより構成されるM行k+1列の行列においてM個の行ベクトルのうちで何れかの要素の値が1であって互いに異なる行ベクトルがk+1行以上ある前記制御パターンを前記受光部に与える、
距離計測装置。
【請求項5】
前記制御部は、前記M個のフレームそれぞれについて第n期間の電荷の蓄積の指示をrn回繰り返す前記制御パターンを前記受光部に与える、
請求項4に記載の距離計測装置。
【請求項6】
前記制御部は、第m行第n列の要素の値がrnam,nであるM行N列の行列を構成するN個の列ベクトルのうちの連続するk+1列以下の列ベクトルの全ての組合せについて前記k+1列以下の列ベクトルの総和である総和列ベクトルと前記N個の列ベクトルそれぞれとの内積を当該列ベクトルの大きさで除して得られる値が最大となる列ベクトルが前記k+1列以下の列ベクトルのうちの何れかである前記制御パターンを前記受光部に与える、
請求項5に記載の距離計測装置。
【請求項7】
前記受光部は、1個の前記フォトダイオードおよび複数個の前記電荷蓄積部を含み、
前記制御部は、前記制御パターンの前記M個のフレームのうち同一期間に同時に電荷蓄積を指示しない複数のフレームを前記受光部に同時に与える、
請求項1~6の何れか1項に記載の距離計測装置。
【請求項8】
前記受光部は、複数組の前記フォトダイオードおよび前記電荷蓄積部を含み、
前記制御部は、前記制御パターンの前記M個のフレームのうちの複数のフレームを前記受光部に同時に与える、
請求項1~6の何れか1項に記載の距離計測装置。
【請求項9】
前記処理部は、直交マッチング追跡アルゴリズムを用いて前記対象物までの距離を求める、
請求項1~6の何れか1項に記載の距離計測装置。
【請求項10】
前記処理部は、前記対象物までの距離を求める際に、背景光の強度に基づく補正を行う、
請求項1~6の何れか1項に記載の距離計測装置。
【請求項11】
前記光源から前記対象物へ照射されて前記対象物で反射された光パルスを入力して結像する結像光学系を更に備え、
前記受光部は、前記結像光学系を経た光パルスを受光する受光面上に前記フォトダイオードおよび前記電荷蓄積部を各々含む複数の画素が2次元配列されており、
前記処理部は、前記複数の画素それぞれについて前記対象物までの距離を求めることで前記対象物の距離画像を取得する、
請求項1~6の何れか1項に記載の距離計測装置。
【請求項12】
パルス幅Pの光パルスを対象物へ照射する光源と、
前記光源から前記対象物へ照射されて前記対象物で反射された光パルスを受光して電荷を発生させるフォトダイオードと、このフォトダイオードで発生した電荷を蓄積する電荷蓄積部と、を含む受光部と、
を用いて、飛行時間法により前記対象物までの距離を計測する方法であって、
前記光源の光パルス出力タイミングから各々一定時間Tで区分されたN個の期間それぞれにおいて前記フォトダイオードで発生した電荷を前記電荷蓄積部に転送して蓄積させるか否かを指示するM個のフレームからなる制御パターンを前記受光部に与える制御ステップと、
前記電荷蓄積部により蓄積された電荷の量に基づいて圧縮センシング技術により前記対象物までの距離を求める処理ステップと、
を備え、
前記パルス幅Pが前記一定時間T以下であり、
前記制御ステップにおいて、
前記制御パターンをM行N列の行列で表して、このM行N列の行列の第m行第n列の要素の値am,nを、前記M個のフレームのうちの第mフレームにおいて前記N個の期間のうちの第n期間に前記電荷蓄積部への電荷の蓄積を指示するときに1とし、非蓄積を指示するときに0としたときに、
前記M行N列の行列を構成するN個の列ベクトルの全てにおいて何れかの要素の値が1であり、前記N個の列ベクトルの全てが互いに異なり、前記N個の列ベクトルのうちの隣り合う二つの列ベクトルの全ての組合せについてハミング距離が1である前記制御パターンを前記受光部に与える、
距離計測方法。
【請求項13】
前記制御ステップにおいて、前記M個のフレームそれぞれについて第n期間の電荷の蓄積の指示をrn回繰り返す前記制御パターンを前記受光部に与える、
請求項12に記載の距離計測方法。
【請求項14】
前記制御ステップにおいて、第m行第n列の要素の値がrnam,nであるM行N列の行列を構成するN個の列ベクトルのうちの連続するk+1列以下の列ベクトルの全ての組合せについて前記k+1列以下の列ベクトルの総和である総和列ベクトルと前記N個の列ベクトルそれぞれとの内積を当該列ベクトルの大きさで除して得られる値が最大となる列ベクトルが前記k+1列以下の列ベクトルのうちの何れかである前記制御パターンを前記受光部に与える、
請求項13に記載の距離計測方法。
【請求項15】
パルス幅Pの光パルスを対象物へ照射する光源と、
前記光源から前記対象物へ照射されて前記対象物で反射された光パルスを受光して電荷を発生させるフォトダイオードと、このフォトダイオードで発生した電荷を蓄積する電荷蓄積部と、を含む受光部と、
を用いて、飛行時間法により前記対象物までの距離を計測する方法であって、
前記光源の光パルス出力タイミングから各々一定時間Tで区分されたN個の期間それぞれにおいて前記フォトダイオードで発生した電荷を前記電荷蓄積部に転送して蓄積させるか否かを指示するM個のフレームからなる制御パターンを前記受光部に与える制御ステップと、
前記電荷蓄積部により蓄積された電荷の量に基づいて圧縮センシング技術により前記対象物までの距離を求める処理ステップと、
を備え、
前記パルス幅Pが前記一定時間Tのk-1倍より大きくk倍以下であり(ただし、kは2以上の整数)、
前記制御ステップにおいて、
前記制御パターンをM行N列の行列で表して、このM行N列の行列の第m行第n列の要素の値am,nを、前記M個のフレームのうちの第mフレームにおいて前記N個の期間のうちの第n期間に前記電荷蓄積部への電荷の蓄積を指示するときに1とし、非蓄積を指示するときに0としたときに、
前記M行N列の行列を構成するN個の列ベクトルの全てにおいて何れかの要素の値が1であり、前記N個の列ベクトルの全てが互いに異なり、前記N個の列ベクトルのうちの隣り合う二つの列ベクトルの全ての組合せについてハミング距離が1であり、前記N個の列ベクトルのうちの互いにk+1列だけ離れた二つの列ベクトルの全ての組合せについてハミング距離がk以上であり、前記N個の列ベクトルのうちの連続するk+1列の列ベクトルの全ての組合せについて前記k+1列の列ベクトルにより構成されるM行k+1列の行列においてM個の行ベクトルのうちで何れかの要素の値が1であって互いに異なる行ベクトルがk+1行以上ある前記制御パターンを前記受光部に与える、
距離計測方法。
【請求項16】
前記制御ステップにおいて、前記M個のフレームそれぞれについて第n期間の電荷の蓄積の指示をrn回繰り返す前記制御パターンを前記受光部に与える、
請求項15に記載の距離計測方法。
【請求項17】
前記制御ステップにおいて、第m行第n列の要素の値がrnam,nであるM行N列の行列を構成するN個の列ベクトルのうちの連続するk+1列以下の列ベクトルの全ての組合せについて前記k+1列以下の列ベクトルの総和である総和列ベクトルと前記N個の列ベクトルそれぞれとの内積を当該列ベクトルの大きさで除して得られる値が最大となる列ベクトルが前記k+1列以下の列ベクトルのうちの何れかである前記制御パターンを前記受光部に与える、
請求項16に記載の距離計測方法。
【請求項18】
1個の前記フォトダイオードおよび複数個の前記電荷蓄積部を含む前記受光部を用い、
前記制御ステップにおいて、前記制御パターンの前記M個のフレームのうち同一期間に同時に電荷蓄積を指示しない複数のフレームを前記受光部に同時に与える、
請求項12~17の何れか1項に記載の距離計測方法。
【請求項19】
複数組の前記フォトダイオードおよび前記電荷蓄積部を含む前記受光部を用い、
前記制御ステップにおいて、前記制御パターンの前記M個のフレームのうちの複数のフレームを前記受光部に同時に与える、
請求項12~17の何れか1項に記載の距離計測方法。
【請求項20】
前記処理ステップにおいて、直交マッチング追跡アルゴリズムを用いて前記対象物までの距離を求める、
請求項12~17の何れか1項に記載の距離計測方法。
【請求項21】
前記処理ステップにおいて、前記対象物までの距離を求める際に、背景光の強度に基づく補正を行う、
請求項12~17の何れか1項に記載の距離計測方法。
【請求項22】
前記光源から前記対象物へ照射されて前記対象物で反射された光パルスを入力して結像する結像光学系と、前記結像光学系を経た光パルスを受光する受光面上に前記フォトダイオードおよび前記電荷蓄積部を各々含む複数の画素が2次元配列されている前記受光部と、を用い、
前記処理ステップにおいて、前記複数の画素それぞれについて前記対象物までの距離を求めることで前記対象物の距離画像を取得する、
請求項12~17の何れか1項に記載の距離計測方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、飛行時間法により対象物までの距離を計測する装置および方法に関するものである。
【背景技術】
【0002】
飛行時間(Time-Of-Flight、TOF)法を利用した距離計測技術は、光源から出力された光パルスが対象物で反射されて受光部に戻って来るまでの時間を求めることで、対象物までの距離を計測する。TOF法による距離計測の手法として、2-Phase法や位相シフト法が知られており、また、圧縮センシング技術を利用する手法も知られている(特許文献1、非特許文献1)。何れの手法においても、距離計測装置は、光パルスを対象物へ照射する光源と、フォトダイオードおよび電荷蓄積部を含む受光部と、を備える。
【0003】
2-Phase法による距離計測技術では、光源から出力されたパルス幅Tの光パルスを対象物に照射して、対象物で反射された光パルスを受光したフォトダイオードで発生した電荷のうち、パルス幅と同じ時間Tの第1期間に発生した電荷を一つの電荷蓄積部に蓄積し、続く時間Tの第2期間に発生した電荷を他の電荷蓄積部に蓄積する。そして、これら二つの電荷蓄積部それぞれにより蓄積された電荷の量の比率に基づいて、光源の光パルス出力タイミングからフォトダイオードの光パルス受光タイミングまでの時間を計算し、対象物までの距離を求める。2-Phase法による距離計測技術では、計測可能な距離を長くしようとする場合、光パルスのパルス幅および電荷蓄積期間の時間を長くすることが必要となるので、計測可能距離と距離分解能とはトレードオフの関係となる。
【0004】
位相シフト法による距離計測技術では、光源から出力されたパルス幅Tの光パルスを対象物に照射して、対象物で反射された光パルスを受光したフォトダイオードで発生した電荷のうち、パルス幅と同じ時間Tの第1期間に発生した電荷を電荷蓄積部に蓄積する。次に、第1期間に続く時間Tの第2期間に同様にして電荷を蓄積する。以降、第n-1期間に続く時間Tの第n期間に同様にして電荷を蓄積する。このように電荷蓄積期間を時間Tずつシフトさせて、時間Tで区分された複数の期間それぞれにおいてフォトダイオードで発生した電荷を蓄積する。そして、これら複数の期間それぞれにおいて蓄積された電荷の量に基づいて、光源の光パルス出力タイミングからフォトダイオードの光パルス受光タイミングまでの時間を計算し、対象物までの距離を求める。位相シフト法による距離計測技術では、時間Tで区分された期間の個数を増やすことにより、距離分解能を低下させることなく、計測可能距離を長くすることができる。しかし、時間Tで区分された期間の個数が増えると、測定回数も増えることになる。
【0005】
圧縮センシング技術を利用する距離計測技術は、光源の光パルス出力タイミングの後の限られた期間内に反射光パルスが現れ、他の時間帯には反射光が存在しないので、時刻の関数としての反射光強度はスパース性を有することに基づく。すなわち、光源の光パルス出力タイミングの後に、ランダムなフレームパターンに従って1又は複数の期間においてフォトダイオードで発生した電荷を電荷蓄積部に蓄積する。そして、互いに異なる複数のフレームパターンそれぞれについて電荷蓄積部に蓄積された電荷の量に基づいて、圧縮センシング技術により対象物までの距離を求める。
【0006】
圧縮センシング技術を利用する距離計測技術は、2-Phase法と比べると、距離分解能を低下させることなく、計測可能距離を長くすることができる。また、圧縮センシング技術を利用する距離計測技術は、位相シフト法と比べると、少ない測定回数で、対象物までの距離を計測することができる。圧縮センシング技術を利用する距離計測技術は、位相シフト法による距離計測技術を高速化または高性能化したものであると言える。
【先行技術文献】
【特許文献】
【0007】
【非特許文献】
【0008】
【非特許文献1】Keiichiro Kagawa, et al, "ADual-Mode 303-Megaframes-per-Second Charge-Domain Time-CompressiveComputational CMOS Image Sensor," Sensors 22.5 (2022): 1953
【非特許文献2】Joel A. Tropp, et al,"Signal Recovery From Random Measurements Via Orthogonal MatchingPursuit," IEEE TRANSACTIONS ON INFORMATION THEORY, VOL.53, NO.12, (2007)
【発明の概要】
【発明が解決しようとする課題】
【0009】
本発明者らは、圧縮センシング技術を利用する距離計測技術を研究する過程で、この技術が次のような問題点を有していることを見出した。すなわち、フォトダイオードで発生した電荷を電荷蓄積部に蓄積する期間を指示するパターンによっては、対象物までの距離を求めることができない場合がある。或いは、対象物までの距離を求めることが可能なパターンを見つけるのが容易でない場合がある。
【0010】
本発明は、上記問題点を解消する為になされたものであり、圧縮センシング技術を利用してTOF法による距離計測を確実に行うことができる装置および方法を提供することを目的とする。
【課題を解決するための手段】
【0011】
本発明の距離計測装置は、(1) パルス幅Pの光パルスを対象物へ照射する光源と、(2) 光源から対象物へ照射されて対象物で反射された光パルスを受光して電荷を発生させるフォトダイオードと、このフォトダイオードで発生した電荷を蓄積する電荷蓄積部と、を含む受光部と、(3) 光源の光パルス出力タイミングから各々一定時間Tで区分されたN個の期間それぞれにおいてフォトダイオードで発生した電荷を電荷蓄積部に転送して蓄積させるか否かを指示するM個のフレームからなる制御パターンを受光部に与える制御部と、(4) 電荷蓄積部により蓄積された電荷の量に基づいて圧縮センシング技術により対象物までの距離を求める処理部と、を備え、飛行時間法により対象物までの距離を計測する装置である。
【0012】
距離計測装置の第1態様では、パルス幅Pが一定時間T以下であり、制御部は、制御パターンをM行N列の行列で表して、このM行N列の行列の第m行第n列の要素の値am,nを、M個のフレームのうちの第mフレームにおいてN個の期間のうちの第n期間に電荷蓄積部への電荷の蓄積を指示するときに1とし、非蓄積を指示するときに0としたときに、M行N列の行列を構成するN個の列ベクトルの全てにおいて何れかの要素の値が1であり、N個の列ベクトルの全てが互いに異なり、N個の列ベクトルのうちの隣り合う二つの列ベクトルの全ての組合せについてハミング距離が1である制御パターンを受光部に与える。
【0013】
距離計測装置の第2態様では、第1態様に加えて、制御部は、M個のフレームそれぞれについて第n期間の電荷の蓄積の指示をrn回繰り返す制御パターンを受光部に与える。
【0014】
距離計測装置の第3態様では、第2態様に加えて、制御部は、第m行第n列の要素の値がrnam,nであるM行N列の行列を構成するN個の列ベクトルのうちの連続するk+1列以下の列ベクトルの全ての組合せについてk+1列以下の列ベクトルの総和である総和列ベクトルとN個の列ベクトルそれぞれとの内積を当該列ベクトルの大きさで除して得られる値が最大となる列ベクトルがk+1列以下の列ベクトルのうちの何れかである制御パターンを受光部に与える。
【0015】
距離計測装置の第4態様では、パルス幅Pが一定時間Tのk-1倍より大きくk倍以下であり(ただし、kは2以上の整数)、制御部は、制御パターンをM行N列の行列で表して、このM行N列の行列の第m行第n列の要素の値am,nを、M個のフレームのうちの第mフレームにおいてN個の期間のうちの第n期間に電荷蓄積部への電荷の蓄積を指示するときに1とし、非蓄積を指示するときに0としたときに、M行N列の行列を構成するN個の列ベクトルの全てにおいて何れかの要素の値が1であり、N個の列ベクトルの全てが互いに異なり、N個の列ベクトルのうちの隣り合う二つの列ベクトルの全ての組合せについてハミング距離が1であり、N個の列ベクトルのうちの互いにk+1列だけ離れた二つの列ベクトルの全ての組合せについてハミング距離がk以上であり、N個の列ベクトルのうちの連続するk+1列の列ベクトルの全ての組合せについてk+1列の列ベクトルにより構成されるM行k+1列の行列においてM個の行ベクトルのうちで何れかの要素の値が1であって互いに異なる行ベクトルがk+1行以上ある制御パターンを受光部に与える。
【0016】
距離計測装置の第5態様では、第4態様に加えて、制御部は、M個のフレームそれぞれについて第n期間の電荷の蓄積の指示をrn回繰り返す制御パターンを受光部に与える。
【0017】
距離計測装置の第6態様では、第5態様に加えて、制御部は、第m行第n列の要素の値がrnam,nであるM行N列の行列を構成するN個の列ベクトルのうちの連続するk+1列以下の列ベクトルの全ての組合せについてk+1列以下の列ベクトルの総和である総和列ベクトルとN個の列ベクトルそれぞれとの内積を当該列ベクトルの大きさで除して得られる値が最大となる列ベクトルがk+1列以下の列ベクトルのうちの何れかである制御パターンを受光部に与える。
【0018】
距離計測装置の第7態様では、第1~第6の態様の何れかに加えて、受光部は、1個のフォトダイオードおよび複数個の電荷蓄積部を含み、制御部は、制御パターンのM個のフレームのうち同一期間に同時に電荷蓄積を指示しない複数のフレームを受光部に同時に与える。
【0019】
距離計測装置の第8態様では、第1~第6の態様の何れかに加えて、受光部は、複数組のフォトダイオードおよび電荷蓄積部を含み、制御部は、制御パターンのM個のフレームのうちの複数のフレームを受光部に同時に与える。
【0020】
距離計測装置の第9態様では、第1~第8の態様の何れかに加えて、処理部は、直交マッチング追跡アルゴリズムを用いて対象物までの距離を求める。
【0021】
距離計測装置の第10態様では、第1~第9の態様の何れかに加えて、処理部は、対象物までの距離を求める際に、背景光の強度に基づく補正を行う。
【0022】
距離計測装置の第11態様では、第1~第10の態様の何れかに加えて、光源から対象物へ照射されて対象物で反射された光パルスを入力して結像する結像光学系を更に備え、受光部は、結像光学系を経た光パルスを受光する受光面上にフォトダイオードおよび電荷蓄積部を各々含む複数の画素が2次元配列されており、処理部は、複数の画素それぞれについて対象物までの距離を求めることで対象物の距離画像を取得する。
【0023】
本発明の距離計測方法は、(1) パルス幅Pの光パルスを対象物へ照射する光源と、(2) 光源から対象物へ照射されて対象物で反射された光パルスを受光して電荷を発生させるフォトダイオードと、このフォトダイオードで発生した電荷を蓄積する電荷蓄積部と、を含む受光部と、を用いて、飛行時間法により対象物までの距離を計測する方法である。本発明の距離計測方法は、(3) 光源の光パルス出力タイミングから各々一定時間Tで区分されたN個の期間それぞれにおいてフォトダイオードで発生した電荷を電荷蓄積部に転送して蓄積させるか否かを指示するM個のフレームからなる制御パターンを受光部に与える制御ステップと、(4) 電荷蓄積部により蓄積された電荷の量に基づいて圧縮センシング技術により対象物までの距離を求める処理ステップと、を備える。
【0024】
距離計測方法の第1態様では、パルス幅Pが一定時間T以下であり、制御ステップにおいて、制御パターンをM行N列の行列で表して、このM行N列の行列の第m行第n列の要素の値am,nを、M個のフレームのうちの第mフレームにおいてN個の期間のうちの第n期間に電荷蓄積部への電荷の蓄積を指示するときに1とし、非蓄積を指示するときに0としたときに、M行N列の行列を構成するN個の列ベクトルの全てにおいて何れかの要素の値が1であり、N個の列ベクトルの全てが互いに異なり、N個の列ベクトルのうちの隣り合う二つの列ベクトルの全ての組合せについてハミング距離が1である制御パターンを受光部に与える。
【0025】
距離計測方法の第2態様では、第1態様に加えて、制御ステップにおいて、M個のフレームそれぞれについて第n期間の電荷の蓄積の指示をrn回繰り返す制御パターンを受光部に与える。
【0026】
距離計測方法の第3態様では、第2態様に加えて、制御ステップにおいて、第m行第n列の要素の値がrnam,nであるM行N列の行列を構成するN個の列ベクトルのうちの連続するk+1列以下の列ベクトルの全ての組合せについてk+1列以下の列ベクトルの総和である総和列ベクトルとN個の列ベクトルそれぞれとの内積を当該列ベクトルの大きさで除して得られる値が最大となる列ベクトルがk+1列以下の列ベクトルのうちの何れかである制御パターンを受光部に与える。
【0027】
距離計測方法の第4態様では、パルス幅Pが一定時間Tのk-1倍より大きくk倍以下であり(ただし、kは2以上の整数)、制御ステップにおいて、制御パターンをM行N列の行列で表して、このM行N列の行列の第m行第n列の要素の値am,nを、M個のフレームのうちの第mフレームにおいてN個の期間のうちの第n期間に電荷蓄積部への電荷の蓄積を指示するときに1とし、非蓄積を指示するときに0としたときに、M行N列の行列を構成するN個の列ベクトルの全てにおいて何れかの要素の値が1であり、N個の列ベクトルの全てが互いに異なり、N個の列ベクトルのうちの隣り合う二つの列ベクトルの全ての組合せについてハミング距離が1であり、N個の列ベクトルのうちの互いにk+1列だけ離れた二つの列ベクトルの全ての組合せについてハミング距離がk以上であり、N個の列ベクトルのうちの連続するk+1列の列ベクトルの全ての組合せについてk+1列の列ベクトルにより構成されるM行k+1列の行列においてM個の行ベクトルのうちで何れかの要素の値が1であって互いに異なる行ベクトルがk+1行以上ある制御パターンを受光部に与える。
【0028】
距離計測方法の第5態様では、第4態様に加えて、制御ステップにおいて、M個のフレームそれぞれについて第n期間の電荷の蓄積の指示をrn回繰り返す制御パターンを受光部に与える。
【0029】
距離計測方法の第6態様では、第5態様に加えて、制御ステップにおいて、第m行第n列の要素の値がrnam,nであるM行N列の行列を構成するN個の列ベクトルのうちの連続するk+1列以下の列ベクトルの全ての組合せについてk+1列以下の列ベクトルの総和である総和列ベクトルとN個の列ベクトルそれぞれとの内積を当該列ベクトルの大きさで除して得られる値が最大となる列ベクトルがk+1列以下の列ベクトルのうちの何れかである制御パターンを受光部に与える。
【0030】
距離計測方法の第7態様では、第1~第6の態様の何れかに加えて、1個のフォトダイオードおよび複数個の電荷蓄積部を含む受光部を用い、制御ステップにおいて、制御パターンのM個のフレームのうち同一期間に同時に電荷蓄積を指示しない複数のフレームを受光部に同時に与える。
【0031】
距離計測方法の第8態様では、第1~第6の態様の何れかに加えて、複数組のフォトダイオードおよび電荷蓄積部を含む受光部を用い、制御ステップにおいて、制御パターンのM個のフレームのうちの複数のフレームを受光部に同時に与える。
【0032】
距離計測方法の第9態様では、第1~第8の態様の何れかに加えて、処理ステップにおいて、直交マッチング追跡アルゴリズムを用いて対象物までの距離を求める。
【0033】
距離計測方法の第10態様では、第1~第9の態様の何れかに加えて、処理ステップにおいて、対象物までの距離を求める際に、背景光の強度に基づく補正を行う。
【0034】
距離計測方法の第11態様では、第1~第10の態様の何れかに加えて、光源から対象物へ照射されて対象物で反射された光パルスを入力して結像する結像光学系と、結像光学系を経た光パルスを受光する受光面上にフォトダイオードおよび電荷蓄積部を各々含む複数の画素が2次元配列されている受光部と、を用い、処理ステップにおいて、複数の画素それぞれについて対象物までの距離を求めることで対象物の距離画像を取得する。
【発明の効果】
【0035】
本発明によれば、圧縮センシング技術を利用してTOF法による距離計測を確実に行うことができる。
【図面の簡単な説明】
【0036】
【
図1】
図1は、距離計測装置1の構成を示す図である。
【
図2】
図2は、距離計測装置1の受光部5の構成を模式的に示す図である。
図2(a)は、受光部5の回路構成を示す。
図2(b)は、スイッチSW1,SW3,SW4がオフ状態であって、スイッチSW2がオン状態であるときに、フォトダイオードPDで発生した電荷がスイッチSW2を経て第2電荷蓄積部C2へ転送されていく様子を模式的に示す。
【
図3】
図3は、比較例の制御パターンを示す図である。
【
図4】
図4は、M=3、N=7の場合の制御パターンを波形形式で示す図である。
【
図5】
図5は、M=3、N=7の場合の制御パターンを表形式で示す図である。
【
図6】
図6は、M=3、N=7の場合の制御パターンを表形式で示す図である。
【
図7】
図7は、M=3、N=7の場合の制御パターンを表形式で示す図である。
【
図8】
図8は、M=4、N=15の場合の制御パターンを表形式で示す図である。
【
図9】
図9は、k=2、M=4、N=11の場合の制御パターンを波形形式で示す図である。
【
図10】
図10は、k=2、M=4、N=11の場合の制御パターンを表形式で示す図である。
【
図11】
図11は、k=2、M=4、N=12の場合の制御パターンを表形式で示す図である。
【
図12】
図12は、k=2、M=5、N=31の場合の制御パターンを表形式で示す図である。
【
図13】
図13は、k=3、M=4、N=7の場合の制御パターンを表形式で示す図である。
【
図14】
図14は、k=3、M=6、N=25の場合の制御パターンを表形式で示す図である。
【
図15】
図15は、k=4、M=6、N=31の場合の制御パターンを表形式で示す図である。
【
図16】
図16は、電荷蓄積回数r
nを調整した制御パターンを波形形式で示す図である。
【
図17】
図17は、電荷蓄積回数r
nを調整した制御パターンを表形式で示す図である。
【
図18】
図18は、同一期間に同時に電荷蓄積を指示しない複数のフレームを受光部5に同時に与えることができる制御パターンの例を示す図である。
【
図19】
図19は、OMPアルゴリズムを適用してL0最適化問題を解く一例について説明する図である。
【発明を実施するための形態】
【0037】
以下、添付図面を参照して、本発明を実施するための形態を詳細に説明する。なお、図面の説明において同一の要素には同一の符号を付し、重複する説明を省略する。本発明は、これらの例示に限定されるものではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。
【0038】
図1は、距離計測装置1の構成を示す図である。距離計測装置1は、飛行時間(TOF)法により対象物までの距離を計測する装置であって、光源2、照射光学系3、集光光学系4、受光部5、制御部6および処理部7を備える。距離計測方法は、光源2、照射光学系3、集光光学系4および受光部5を用いて、制御ステップおよび処理ステップを行うものである。
【0039】
光源2は、対象物へ照射すべき光パルスを出力する。光源2は、一定のパルス幅Pの光パルスを、一定の繰り返し周波数で出力する。光源2は、光パルスを出力することができるものであれば任意であり、例えばレーザダイオードや発光ダイオード等である。
【0040】
照射光学系3は、光源2から出力された光を対象物へ照射する光学系である。光源2から出力される光が発散光である場合に、照射光学系3は、その光を対象物へ効率よく照射する。
【0041】
集光光学系4は、光源2から照射光学系3を経て対象物へ照射されて該対象物で反射された光パルス(反射光パルス)を入力して、その反射光パルスを集光する。
【0042】
受光部5は、集光光学系4を経て到達した反射光パルスを受光する。受光部5は、反射光パルスを受光して電荷を発生させるフォトダイオードと、このフォトダイオードで発生した電荷を蓄積する電荷蓄積部と、を含む。
【0043】
制御部6は、制御パターンを受光部5に与える(制御ステップ)。制御パターンは、光源2の光パルス出力タイミングから各々一定時間Tで区分されたN個の期間それぞれにおいて、受光部5のフォトダイオードで発生した電荷を電荷蓄積部に転送して蓄積させるか否かを指示するものである。制御パターンは、M個のフレームからなり、各フレームおよび各期間における電荷の蓄積/非蓄積を指示する。M,Nは2以上の整数である。
【0044】
処理部7は、受光部5のフォトダイオードで発生して電荷蓄積部により蓄積された電荷の量に基づいて、圧縮センシング技術により対象物までの距離を求める(処理ステップ)。
【0045】
制御部6および処理部7はコンピュータであってよい。制御部6および処理部7は、計算処理等を行う演算部(例えばCPU等)、制御パターンや電荷蓄積量などを記憶する記憶部(例えば、ハードディスクドライブ、RAM、ROM等)、制御パターンなどを表示する表示部(例えば液晶ディスプレイ等)、測定開始の指示や測定条件の入力などを受け付ける入力部(例えばキーボード、マウス等)等を備える。制御部6および処理部7は、コンピュータだけでなく、ASIC(Application Specific Integrated Circuit)又はFPGA(Field-Programmable Gate Array)等であってもよい。
【0046】
図2は、距離計測装置1の受光部5の構成を模式的に示す図である。この図では、受光部5は2つの電荷蓄積部を有するとしている。受光部5は、受光に応じて電荷を発生するフォトダイオードPDと、電荷を蓄積する第1電荷蓄積部C1および第2電荷蓄積部C2と、フォトダイオードPDで発生した電荷を第1電荷蓄積部C1へ転送するためのスイッチSW1と、フォトダイオードPDで発生した電荷を第2電荷蓄積部C2へ転送するためのスイッチSW2と、第1電荷蓄積部C1に蓄積されていた電荷を出力するためのスイッチSW3と、第2電荷蓄積部C2に蓄積されていた電荷を出力するためのスイッチSW4とを含む。スイッチSW1,SW2は、制御部6から与えられる制御パターンの値VTX1,VTX2に応じてオン状態およびオフ状態の何れかに設定される。
【0047】
図2(a)は、受光部5の回路構成を示す。
図2(b)は、スイッチSW1,SW3,SW4がオフ状態であって、スイッチSW2がオン状態であるときに、フォトダイオードPDで発生した電荷がスイッチSW2を経て第2電荷蓄積部C2へ転送されていく様子を模式的に示す。第2電荷蓄積部C2への電荷転送が終了すると、スイッチSW2がオフ状態、スイッチSW4がオン状態となり、第2電荷蓄積部C2に蓄積されていた電荷は、スイッチSW4を経て出力される。
【0048】
電荷蓄積部の個数は、1つであってもよいし、2以上であってもよい。複数の電荷蓄積部のうち何れかを電荷廃棄部として用いてもよいし、別に電荷廃棄部が設けられてもよい。電荷廃棄部は、制御パターンにより電荷蓄積が指示されなかった期間にフォトダイオードPDで発生した電荷を蓄積するものであって、この電荷を出力する必要はない。また、受光部5は、電荷蓄積部および電荷廃棄部それぞれにおける電荷蓄積を初期化するためのスイッチを含む。
【0049】
受光部5は、フォトダイオードおよび電荷蓄積部を各々含む複数の画素が受光面上に2次元配列された撮像素子であってもよい。この場合、集光光学系4は、対象物からの反射光パルスを入力して結像する結像光学系であってよい。処理部7は、複数の画素それぞれについて対象物までの距離を求めることで、対象物の距離画像を取得することができる。上記のような受光部5の構成を各々有する複数の画素が2次元配列された撮像素子は、浜松ホトニクス株式会社から製品「測距エリアイメージセンサ」として販売されている。
【0050】
本実施形態の距離計測装置および距離計測方法は、以上のような光源2および受光部5を用いて圧縮センシング技術により対象物までの距離を計測するものであって、制御部6が受光部5に与える制御パターンに特徴を有し、また、処理部7による距離算出のアルゴリズムにも特徴を有している。以下では、制御ステップにおいて制御部6が受光部5に与える制御パターンについて説明し、その後に、処理ステップにおいて処理部7が行う処理の内容について説明する。
【0051】
図3は、比較例の制御パターンを示す図である。この図では、上から順に、光源から出力される照射光パルスの波形、受光部に到達する反射光パルスの波形、および、受光部においてフォトダイオードで発生した電荷を電荷蓄積部に蓄積する期間を指示する制御パターンのうち第1~第4のフレームのパターンが示されている。照射光パルスの波形および反射光パルスの波形は、実際にはノイズや歪みを有するが、この図(および以降の図)では模式的に矩形で示されている。また、1つの照射光パルスに対して1つの反射光パルスが受光部に到達するとする。
【0052】
光源から出力される照射光パルスおよび受光部に到達する反射光パルスそれぞれのパルス幅をPとする。光源の光パルス出力タイミング以降の区分された複数の期間それぞれの時間をTとする。この図では、P=Tとされている。制御パターンは、各フレームおよび各期間において電荷の蓄積を指示するときに値1とし、非蓄積を指示するときに値0として、表されている。
【0053】
光源の光パルス出力タイミングに対し、受光部への反射光パルス到達タイミングは、対象物までの距離に応じた時間差Δtがある。この時間差Δtを検出すれば、対象物までの距離を求めることができる。光源の光パルス出力タイミング以降において8個の期間に区分する場合、位相シフト法では、制御パターンは8個のフレームが必要となる。これに対して、圧縮センシング技術を利用する場合には、
図3に示されるように、制御パターンは4個のフレームでよい。
【0054】
図に示されるように、光源の光パルス出力タイミングの後の限られた時間帯に反射光パルスが現れ、他の時間帯には反射光が存在しないので、時刻の関数としての反射光強度はスパース性を有する。したがって、圧縮センシング技術を利用して、照射光パルス出力タイミングから反射光パルス到達タイミングまでの時間を求めることができ、対象物までの距離を求めることができる。また、位相シフト法の場合に必要な制御パターンの個数と比べて、圧縮センシング技術を利用する場合に必要な制御パターンの個数は少なくすることができる。
【0055】
しかし、圧縮センシング技術を利用してTOF法による距離計測を行う場合に、フォトダイオードで発生した電荷を電荷蓄積部に蓄積する期間を指示するパターンによっては、対象物までの距離を求めることができない場合がある。或いは、対象物までの距離を求めることが可能なパターンを見つけるのが容易でない場合がある。以下に説明する距離計測装置および距離計測方法は、一定の条件を満たす制御パターンを制御部6が受光部5に与えることにより、圧縮センシング技術を利用してTOF法による距離計測を確実に行うことができる。
【0056】
制御パターンが満たすべき条件を説明するために、下記(1)式のように、制御パターンをM行N列の行列Φで表す。Mは、制御パターンに含まれるフレームの個数である。Nは、光源の光パルス出力タイミング以降の区分された期間の個数である。行列Φの第m行第n列の要素の値am,nは、M個のフレームのうちの第mフレームにおいてN個の期間のうちの第n期間に電荷蓄積部への電荷の蓄積を指示するときに1とし、非蓄積を指示するときに0とする。行列Φにおいて第n列の列ベクトルφnは下記(2)式で表される。行列Φは、下記(3)式で表されるようにN個の列ベクトルφ1~φNから構成される。
【0057】
【0058】
【0059】
【0060】
制御パターンが満たすべき条件は、光パルスのパルス幅Pと各期間の時間Tとの比によって異なる。パルス幅Pが時間T以下である(P≦T)とき、制御パターンは次の第1~第3の条件を満たす必要がある。
【0061】
第1条件は、N個の列ベクトルφ1~φNの全てにおいて何れかの要素の値が1であることである。すなわち、行列Φには、全ての要素の値が0である列ベクトルは含まれていない。この条件は、N個の期間の全てについて情報を得るために必要とされる。全ての要素の値が0である列ベクトルが行列Φに含まれていると、その列ベクトルに対応する期間については何も情報を得ることができない。
【0062】
第2条件は、N個の列ベクトルφ1~φNの全てが互いに異なることである。すなわち、行列Φには、同一の列ベクトルが含まれていない。この条件は、時間Tと同じパルス幅Pを有する反射光パルスの位置を識別するために必要とされる。同一の列ベクトルが行列Φに含まれていると、時間Tと同じパルス幅Pを有する反射光パルスの位置を識別することができない。
【0063】
第3条件は、N個の列ベクトルφ1~φNのうちの隣り合う二つの列ベクトルの全ての組合せについてハミング距離(Hamming Distance)が1であることである。ハミング距離とは、二つの列ベクトルの間で同じ位置にある要素の値を比較したときに、値が相違する位置の個数を表すものである。例えば、下記(4)式に示された二つの列ベクトルの間では、値が相違する位置の個数は3であるので、ハミング距離は3である。この条件は、反射光パルスが二つの期間に跨がっている場合に他の位置と区別するために必要とされる。
【0064】
【0065】
図4~
図8は、パルス幅Pが時間T以下である(P≦T)とき第1~第3の条件を満たす制御パターンの例を示す図である。
図4は、光源から出力される照射光パルスの波形とともに、M=3、N=7の場合の制御パターンを波形形式で示す図である。
図5は、
図4において波形形式で示した制御パターンを表形式で示す図である。
図6,
図7は、M=3、N=7の場合の制御パターンを表形式で示す図である。
図8は、M=4、N=15の場合の制御パターンを表形式で示す図である。パルス幅Pが時間T以下である(P≦T)とき、MとNとの間には下記(5)式の関係がある。
【0066】
【0067】
kが2以上の整数であって、パルス幅Pが時間Tのk-1倍より大きくk倍以下である((k-1)T<P≦kT)とき、制御パターンは、上記の第1~第3の条件に加えて次の第4条件および第5条件を満たす必要がある。
【0068】
第4条件は、N個の列ベクトルφ1~φNのうちの互いにk+1列だけ離れた二つの列ベクトルの全ての組合せについてハミング距離がk以上であることである。すなわち、列ベクトルφnおよび列ベクトルφn+k+1の全ての組合せについてハミング距離がk以上である。この条件は、k+1列だけ離れた二つの列ベクトルに対応する二つの期間の何れに反射光パルスが存在するのかを区別するために必要とされる。
【0069】
第5条件は、N個の列ベクトルφ1~φNのうちの連続するk+1列の列ベクトルの全ての組合せについて、k+1列の列ベクトルにより構成されるM行k+1列の行列において、M個の行ベクトルのうちで何れかの要素の値が1であって互いに異なる行ベクトルがk+1行以上あることである。すなわち、或る連続するk+1列の列ベクトルをφn~φn+kとすると、これらk+1列の列ベクトルφn~φn+kにより構成されるM行k+1列の行列は下記(6)式で表される。この行列に含まれるM個の行ベクトルのうち、何れかの要素の値が1であって互いに異なる行ベクトルがk+1行以上ある。反射光パルスのパルス幅PがkT以下である場合、反射光パルスは最大でk+1個の期間に跨がって存在することになり、k+1個の期間それぞれの蓄積電荷量を求めるには少なくともk+1個の情報が必要であることから、この条件が必要とされる。
【0070】
【0071】
kが2以上の整数であって、パルス幅Pが時間Tのk-1倍より大きくk倍以下である((k-1)T<P≦kT)とき、制御パターンは、上記の第1~第5の条件に加えて次の第6条件を満たすのが好ましい。
【0072】
第6条件は、N個の列ベクトルφ1~φNのうちの連続するk+1列以下の列ベクトルの全ての組合せについて、これらk+1列以下の列ベクトルの総和である総和列ベクトルと各列ベクトルφnとの内積を当該列ベクトルφnの大きさで除して得られる値が最大となる列ベクトルがk+1列以下の列ベクトルのうちの何れかであることである。すなわち、N個の列ベクトルφ1~φNのうちの連続するk+1列以下の列ベクトルをφn1~φn2とすると、これらの列ベクトルφn1~φn2の総和である総和列ベクトルSAは下記(7)式で表される。この総和列ベクトルSAと各列ベクトルφnとの内積を当該列ベクトルφnの大きさで除する計算は、下記(8)式で表される。この計算値が最大となる列ベクトルが列ベクトルφn1~φn2のうちの何れかである。
【0073】
【0074】
【0075】
この第6条件は、k=2またはk=3の場合には、他の条件が満たされることにより自動的に満たされる。また、この第6条件は、後述する処理部7による距離算出の際に直交マッチング追跡アルゴリズム(非特許文献2)を用いる場合には必要であるが、他のアルゴリズム(例えば総当たり法など)を用いる場合には必要ではない。
【0076】
図9~
図15は、kが2以上の整数であってパルス幅Pが時間Tのk-1倍より大きくk倍以下である((k-1)T<P≦kT)とき第1~第6の条件を満たす制御パターンの例を示す図である。
図9は、照射光パルスおよび反射光パルスの波形とともに、k=2、M=4、N=11の場合の制御パターンを波形形式で示す図である。
図10は、
図9において波形形式で示した制御パターンを表形式で示す図である。
図11は、k=2、M=4、N=12の場合の制御パターンを表形式で示す図である。
図12は、k=2、M=5、N=31の場合の制御パターンを表形式で示す図である。
図13は、k=3、M=4、N=7の場合の制御パターンを表形式で示す図である。
図14は、k=3、M=6、N=25の場合の制御パターンを表形式で示す図である。
図15は、k=4、M=6、N=31の場合の制御パターンを表形式で示す図である。
【0077】
以上のような制御パターンを受光部5に与えることにより、圧縮センシング技術を利用してTOF法による距離計測を確実に行うことができる。
【0078】
kが2以上の整数であって、パルス幅Pが時間Tのk-1倍より大きくk倍以下である((k-1)T<P≦kT)とき、制御パターンは、M個のフレームそれぞれについて第n期間の電荷の蓄積の指示をrn回繰り返す制御パターンであってもよい。この場合、制御パターンは、更に次の第7条件を満たすのが好ましい。
【0079】
第7条件は、第m行第n列の要素の値がrnam,nであるM行N列の行列について上記第6条件と同様の内容を満たすことである。すなわち、第m行第n列の要素の値がrnam,nであるM行N列の行列Φrは下記(9)式で表される。この行列Φrを構成するN個の列ベクトルφr,1~φr,N((10)式)のうちの連続するk+1列以下の列ベクトルをφr,n1~φr,n2とすると、これらの列ベクトルφr,n1~φr,n2の総和である総和列ベクトルSrAは下記(11)式で表される。この総和列ベクトルSrAと各列ベクトルφr,nとの内積を当該列ベクトルφr,nの大きさで除して得られる値が最大となる列ベクトルが列ベクトルφr,n1~φr,n2のうちの何れかである。
【0080】
【0081】
【0082】
【0083】
図16,
図17は、M=4、N=8の場合の電荷蓄積回数r
nを調整した制御パターンの例を示す図である。
図16は、電荷蓄積回数r
nを調整した制御パターンを波形形式で示す図である。
図17は、
図16において波形形式で示した制御パターンを表形式で示す図である。図中の数字は電荷蓄積回数r
nを示している。
【0084】
このように、M個のフレームそれぞれについて電荷蓄積の期間によって蓄積回数を異ならせることにより、対象物までの距離に依らず安定して距離計測を行うことができる。すなわち、一般に、対象物までの距離が長いほど、受光部5に到達する反射光パルスの強度は小さくなり、SNが悪くなる。そこで、対象物までの距離が長いほど(すなわち、光源の光パルス出力タイミングから電荷蓄積の期間までの時間が長いほど)電荷蓄積回数rnを多く設定することにより、対象物までの距離に依らず安定して距離計測を行うことができる。また、或る距離の付近に反射率が小さい物体が存在することが予め分かっている場合に、その距離に対応する期間については電荷蓄積回数rnを大きく設定することにより、その反射率が小さい物体についても安定した距離計測を行うことができる。また、電荷蓄積の期間に依らず蓄積回数を等しく増やすこと(例えばrn=1000)で、反射光パルスの強度に応じて信号量を調整することができる。
【0085】
受光部5は、
図2に示された受光部5の構成のように、1個のフォトダイオードに対して複数個の電荷蓄積部を含んでいてもよい。この場合、制御部6は、制御パターンのM個のフレームのうち同一期間に同時に電荷蓄積を指示しない複数のフレームを受光部5に同時に与えることができる。このようにすることで、距離計測に要する時間を短縮することができる。
図18は、このような制御パターンの例を示す図である。この例では、
図2に示された受光部5の構成において、制御パターンのうち第1フレームをスイッチSW1に与え、これと同時に第2フレームをスイッチSW2に与えることができる。また、制御パターンのうち第3フレームをスイッチSW1に与え、これと同時に第4フレームをスイッチSW2に与えることができる。なお、受光部5に同時に与える複数のフレームの全てにおいて電荷蓄積を行わない期間では、フォトダイオードPDで発生した電荷は電荷廃棄部へ廃棄される。
【0086】
また、受光部5は、複数組のフォトダイオードおよび電荷蓄積部を含んでいてもよい。この場合、制御部6は、制御パターンのM個のフレームのうちの複数のフレームを受光部5に同時に与えることができる。受光部5に同時に与える複数のフレームは、同一期間に同時に電荷蓄積を指示するものであってもよい。すなわち、フォトダイオードおよび電荷蓄積部の或る組に対しては或るフレームを与え、これと同時に他の組に対しては他の任意のフレームを与える。このようにすることでも、距離計測に要する時間を短縮することができる。
【0087】
次に、処理部7の処理内容について説明する。光源の光パルス出力タイミング後のN個の期間のうち第n期間に受光部5に到達する反射光のパワーをxnとし、x1~xNを要素とする列ベクトルをxとする(下記(12)式)。制御パターンのM個のフレームのうち第mフレームで受光部5の電荷蓄積部に蓄積された電荷の量をymとし、y1~yMを要素とする列ベクトルをyとする(下記(13)式)。制御パターンを表すM行N列の行列Φ(上記(1)式)、列ベクトルx((12)式)および列ベクトルy((13)式)の間には、下記(14)式で表される関係がある。
【0088】
【0089】
【0090】
【0091】
もし、M=Nであって、行列Φの逆行列Φ-1が存在すれば、下記(15)式によりxを解析的に求めることができる。しかし、M<Nである場合には、xを解析的に求めることができない。
【0092】
【0093】
そこで、下記(16)式で表される最適化問題を反復法により解くことにより、xを求めることができる。この式の第二項はL1ノルム(各要素の絶対値の和)である。この最適化問題を解くことにより、未知数(期間の個数N)より少ない測定回数(フレームの個数M)で上記条件を満たすxを求めることが可能である。しかし、この最適化問題は、計算量が不定であって計算時間が長い。
【0094】
【0095】
下記(17)式で表される最適化問題を、直交マッチング追跡(Orthogonal Matching Pursuit、OMP)アルゴリズムを適用して解くことにより、xを求めるのが好適である。この式の第二項はL0ノルム(値が0でない要素の個数)である。これにより、計算時間を安定化して短縮することができる。
【0096】
【0097】
OMPアルゴリズムを適用してL0最適化問題((17)式)を解く方法は次のとおりである。先ず、行列Φを構成するN個の列ベクトルφ1~φNそれぞれについて下記(18)式を計算し、そのうち計算値が最大となる列ベクトルφn1を求める。この式の分子は列ベクトルyと列ベクトルφnとの内積を表し、分母は列ベクトルφnの大きさを表す。この求めた列ベクトルφn1のみからなる(すなわち、第n1列以外の列の全ての要素の値は0である)M行N列の行列ΦSを作成する。そして、この行列ΦSを用いて下記(19)式によりxの最小二乗解を表す列ベクトルxSを計算し、下記(20)式により残差を表す列ベクトルrを計算する。
【0098】
【0099】
【0100】
【0101】
続いて、行列Φを構成するN個の列ベクトルφ1~φNのうち既に求めた列ベクトルφn1の隣にある列ベクトルについて下記(21)式を計算し、そのうち計算値が最大となる列ベクトルφn2を求める。この式の分子は列ベクトルrと列ベクトルφnとの内積を表し、分母は列ベクトルφnの大きさを表す。これまでに求められた列ベクトルφn1,φn2のみからなる行列ΦSを更新する。そして、この行列ΦSを用いて上記(19)式によりxの最小二乗解を表す列ベクトルxSを計算し、上記(20)式により残差を表す列ベクトルrを更新する。このような処理を繰り返す。
【0102】
【0103】
この繰り返し処理を、残差を表す列ベクトルrの大きさが一定値以下になるまで、または、(18)式または(21)式の計算により求めた列ベクトルがk+1個になるまで、行う。
【0104】
図19は、OMPアルゴリズムを適用してL0最適化問題を解く一例について説明する図である。この図は、k=2、M=4、N=7の制御パターンを表形式で示し、列ベクトルxおよび列ベクトルyの各要素の値をも示している。
【0105】
この例において、4行7列の行列Φを構成する7個の列ベクトルφ1~φ7それぞれについて(18)式を計算すると、その計算値が最大となるのは列ベクトルφ3である。(19)式によりxの最小二乗解を表す列ベクトルxS=(0,0,8.3,0,0,0,0)Tが得られ、(20)式により残差を表す列ベクトルr=(0,-2.3,1.7,0.7)Tが得られる。
【0106】
続いて、これまでに求められた列ベクトルφ3の隣にある二つの列ベクトルφ2,φ4それぞれについて(21)式を計算すると、その計算値が最大となるのは列ベクトルφ2である。(19)式によりxの最小二乗解を表す列ベクトルxS=(0,3.5,6,0,0,0,0)Tが得られ、(20)式により残差を表す列ベクトルr=(0,0,0.5,-0.5)Tが得られる。
【0107】
更に続いて、これまでに求められた列ベクトルφ2,φ3の隣にある二つの列ベクトルφ1,φ4それぞれについて(21)式を計算すると、その計算値が最大となるのは列ベクトルφ4である。(19)式によりxの最小二乗解を表す列ベクトルxS=(0,4,5,1,0,0,0)Tが得られ、(20)式により残差を表す列ベクトルr=(0,0,0,0)Tが得られる。
【0108】
繰り返し処理を3回(=k+1回)行った後に得られたxの最小二乗解を表す列ベクトルxSは、列ベクトルxと一致している。また、このときの残差を表す列ベクトルrの大きさは0となっている。
【0109】
このように、OMPアルゴリズムを適用してL0最適化問題を解くことにより、計算時間を安定化して短縮することができる。また、これにより、要求仕様から必要とする演算能力および消費電力を最小とすることができる。
【0110】
なお、受光部5へは反射光パルスだけでなく背景光も入射する。この場合には、処理部7は、対象物までの距離を求める際に、背景光の強度に基づく補正を行うのが好ましい。この背景光の影響を低減する為には、背景光のみが受光部5に入射する期間(反射光パルス測定の前もしくは後において光源から光パルスを出力させない期間、または、反射光パルス測定時であっても反射光パルスが受光部5に入射しない期間)に電荷蓄積部または電荷廃棄部に蓄積された電荷の量に基づいて、ハードウェアまたはソフトウェアにより、反射光パルス測定時に得られた信号値を補正すればよい。また、背景光強度を考慮した行列Φを作成することでも、反射光パルス測定時に得られた信号値を補正することができる。
【産業上の利用可能性】
【0111】
本実施形態の距離計測装置または距離計測方法は、3D顔認証、AR、車載用途、監視カメラ、ロボットピッキングなどの応用分野で用いられ得る。その中でも、3D顔認証やARの技術は携帯端末装置に距離計測装置が搭載され、また、車載用途では自動運転技術に欠かせない対象物との距離計測として距離計測装置が用いられ得る。
【符号の説明】
【0112】
1…距離計測装置、2…光源、3…照射光学系、4…集光光学系、5…受光部、6…制御部、7…処理部。