IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ ミラクシアエッジテクノロジー株式会社の特許一覧

<>
  • 特許-測距装置 図1
  • 特許-測距装置 図2
  • 特許-測距装置 図3
  • 特許-測距装置 図4
  • 特許-測距装置 図5
  • 特許-測距装置 図6A
  • 特許-測距装置 図6B
  • 特許-測距装置 図7A
  • 特許-測距装置 図7B
  • 特許-測距装置 図8
  • 特許-測距装置 図9
  • 特許-測距装置 図10A
  • 特許-測距装置 図10B
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-07-22
(45)【発行日】2024-07-30
(54)【発明の名称】測距装置
(51)【国際特許分類】
   G01S 7/497 20060101AFI20240723BHJP
   G01S 17/10 20200101ALI20240723BHJP
【FI】
G01S7/497
G01S17/10
【請求項の数】 11
(21)【出願番号】P 2020181014
(22)【出願日】2020-10-29
(65)【公開番号】P2022071897
(43)【公開日】2022-05-17
【審査請求日】2023-06-21
(73)【特許権者】
【識別番号】520423334
【氏名又は名称】ミラクシアエッジテクノロジー株式会社
(74)【代理人】
【識別番号】100109210
【弁理士】
【氏名又は名称】新居 広守
(74)【代理人】
【識別番号】100137235
【弁理士】
【氏名又は名称】寺谷 英作
(74)【代理人】
【識別番号】100131417
【弁理士】
【氏名又は名称】道坂 伸一
(72)【発明者】
【氏名】南 有紀
【審査官】渡辺 慶人
(56)【参考文献】
【文献】特表2019-504326(JP,A)
【文献】国際公開第2020/121705(WO,A1)
【文献】国際公開第2019/188348(WO,A1)
【文献】米国特許出願公開第2015/0193938(US,A1)
【文献】米国特許出願公開第2014/0368613(US,A1)
(58)【調査した分野】(Int.Cl.,DB名)
G01S 7/48 - 7/51
17/00 - 17/95
G01C 3/00 - 3/32
(57)【特許請求の範囲】
【請求項1】
発光を指示する発光パルスに従って照射光を発する発光部と、
露光を指示する露光パルスに従って露光し、受光信号を出力する固体撮像素子と、
前記発光パルスと前記露光パルスとの組であって、前記発光パルスと前記露光パルスとの時間差が互いに異なる複数の組を生成する発光露光制御部と、
前記複数の組に対応する複数の受光信号に基づいて距離信号を生成する信号処理部とを備え、
前記信号処理部は、
マルチパスによる距離エラーを示す補正係数を含む補正係数テーブルを予め保持する補正係数保持部と、
前記複数の受光信号に対応する前記補正係数を前記補正係数テーブルから読み出す読出部と、
前記複数の受光信号および読み出された前記補正係数に基づいて補正された距離信号を出力する距離演算部とを有し、
前記複数の受光信号のそれぞれは、露光タイミングが、他の前記露光パルスのうちの少なくとも1つの露光タイミングと相互に重複するようにシフトされた複数の前記露光パルスのそれぞれに対応して出力される信号である
測距装置。
【請求項2】
前記補正係数テーブルは、前記複数の受光信号のうちの少なくとも2つの受光信号に対応する少なくとも2つの軸をインデックスとし、当該インデックスに対応付けられた前記補正係数を保持し、
前記読出部は、前記複数の受光信号のうちの前記少なくとも2つの受光信号に基づいて、前記補正係数テーブルから前記補正係数を読み出す
請求項1に記載の測距装置。
【請求項3】
前記補正係数テーブルは、前記複数の受光信号のうちの2つの受光信号に対応する2軸をインデックスとし、当該インデックスに対応付けられた前記補正係数を保持し、
前記読出部は、前記2つの受光信号に基づいて、前記補正係数テーブルから前記補正係数を読み出す
請求項1に記載の測距装置。
【請求項4】
前記補正係数保持部は、2つ以上の前記補正係数テーブルを保持し、
前記2つ以上の前記補正係数テーブルは、前記複数の受光信号のうちの2つの受光信号の互いに異なる組に対応し、
前記読出部は、2つ以上の前記補正係数テーブルを参照して得られる2つ以上の補正係数に基づいて補正用の補正係数を決定する
請求項3に記載の測距装置。
【請求項5】
前記読出部は、前記2つ以上の補正係数のうちの最大値を補正用の前記補正係数と決定する
請求項4に記載の測距装置。
【請求項6】
前記補正係数テーブルの2軸のインデックスは、離散的なインデックス値に対応し、
前記読出部は、前記2つの受光信号のそれぞれを、対応する軸における直近の2つのインデックス値に変換し、変換されたインデックス値の組から得られる複数の前記補正係数を読み出し、
前記信号処理部は、さらに、読み出された複数の前記補正係数を用いた補間処理によって補正用の補正係数を算出する補間部を備える
請求項2から5のいずれか1項に記載の測距装置。
【請求項7】
前記信号処理部は、さらに、
複数のマルチパス発生条件下のそれぞれにおける測距動作または測距シミュレーションに基づいて前記距離エラーを検出することにより前記補正係数テーブルを作成する作成部を備える
請求項1から6のいずれか1項に記載の測距装置。
【請求項8】
前記作成部は、複数のマルチパス発生条件下において同じインデックス値の組に対して異なる複数の距離エラーが検出された場合に、前記複数の距離エラーの最小値を補正係数とする
請求項7に記載の測距装置。
【請求項9】
発光を指示する発光パルスに従って照射光を発する発光部と、露光を指示する露光パルスに従って露光し、受光信号を出力する固体撮像素子と、前記発光パルスと前記露光パルスとの組であって、前記発光パルスと前記露光パルスとの時間差が互いに異なる複数の組を生成する発光露光制御部と、前記複数の組に対応する複数の受光信号に基づいて距離信号を生成する信号処理部とを備える測距装置における測距方法であって、
マルチパスによる距離エラーに対応する補正係数を示す補正係数テーブルを予め保持し、
前記複数の受光信号に基づいて前記補正係数を前記補正係数テーブルから読み出し、
前記複数の受光信号および読み出された前記補正係数に基づいて補正された距離信号を出力し、
前記複数の受光信号のそれぞれは、露光タイミングが、他の前記露光パルスのうちの少なくとも1つの露光タイミングと相互に重複するようにシフトされた複数の前記露光パルスのそれぞれに対応して出力される信号である
測距方法。
【請求項10】
前記補正係数テーブルは、前記複数の受光信号のうちの少なくとも2つの受光信号に対応する少なくとも2つの軸をインデックスとし、当該インデックスに対応付けられた前記補正係数を保持し、
前記補正係数テーブルの読み出しにおいて、前記複数の受光信号のうちの前記少なくとも2つの受光信号に基づいて、前記補正係数テーブルから前記補正係数を読み出す
請求項9記載の測距方法。
【請求項11】
さらに、複数のマルチパス発生条件のそれぞれにおける測距動作または測距シミュレーションに基づいて前記距離エラーを検出することにより前記補正係数テーブルを作成する請求項9または10記載の測距方法。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、TOF(Time Of Flight)方式により距離を測定する測距装置、および測距方法に関する。
【背景技術】
【0002】
特許文献1は、オブジェクトからの反射光の飛行時間に基づいて距離を測定するTOF方式の測距装置を提案している。一般に、TOF方式の測距装置は、反射光が直接反射光および間接反射光の両者を含むマルチパスが発生する条件下において測定精度が劣化する。これに対して、例えば特許文献2および特許文献3は、マルチパスの影響を軽減する測距装置を提案している。
【先行技術文献】
【特許文献】
【0003】
【文献】国際公開第2014/002415号
【文献】国際公開第2015/189311号
【文献】国際公開第2019/188348号
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、マルチパスの影響を軽減する従来技術では、フレームレートを向上させることが困難であるという課題を有する。例えば、特許文献3の測距装置では、マルチパスの影響を正しく軽減するために、事前のリファレンス測定(マルチパスのない条件下での受光量の測定)のみならず、距離測定時においても数百から数千のタイミングにおける露光を必要するので、フレームレートの高速化ができないという課題を有する。
【0005】
上記課題に鑑み、本開示は、フレームレートを向上させることができ、かつ、マルチパスの影響を軽減可能な測距装置、および測距方法を提供することを目的とする。
【課題を解決するための手段】
【0006】
上記課題を解決するために、本開示の一態様に係る測距装置は、発光を指示する発光パルスに従って照射光を発する発光部と、露光を指示する露光パルスに従って露光し、受光信号を出力する固体撮像素子と、前記発光パルスと前記露光パルスとの組であって、前記発光パルスと前記露光パルスとの時間差が互いに異なる複数の組を生成する発光露光制御部と、前記複数の組に対応する複数の受光信号に基づいて距離信号を生成する信号処理部とを備え、前記信号処理部は、マルチパスによる距離エラーに対応する補正係数を示す補正係数テーブルを予め保持する補正係数保持部と、前記複数の受光信号に基づいて前記補正係数を前記補正係数テーブルから読み出す読出部と、前記複数の受光信号および読み出された前記補正係数に基づいて補正された距離信号を出力する距離演算部とを有する。
【0007】
また、本開示の一態様に係る測距方法は、発光を指示する発光パルスに従って照射光を発する発光部と、露光を指示する露光パルスに従って露光し、受光信号を出力する固体撮像素子と、前記発光パルスと前記露光パルスとの組であって、前記発光パルスと前記露光パルスとの時間差が互いに異なる複数の組を生成する発光露光制御部と、前記複数の組に対応する複数の受光信号に基づいて距離信号を生成する信号処理部とを備える測距装置における測距方法であって、マルチパスによる距離エラーに対応する補正係数を示す補正係数テーブルを予め保持し、前記複数の受光信号に基づいて前記補正係数を前記補正係数テーブルから読み出し、前記複数の受光信号および読み出された前記補正係数に基づいて補正された距離信号を出力する。
【発明の効果】
【0008】
本開示に係る測距装置および測距方法によれば、フレームレートを向上させることができ、かつ、マルチパスの影響を軽減することができる。
【図面の簡単な説明】
【0009】
図1図1は、第1の実施形態におけるTOF方式の測距装置の構成例を示すブロック図である。
図2図2は、第1の実施形態におけるマルチパス検出部の構成例を示すブロック図である。
図3図3は、第1の実施形態における測距装置の別構成例を示すブロック図である。
図4図4は、第1の実施形態における露光動作を示すタイムチャートである。
図5図5は、第1の実施形態における背景光を考慮した露光動作を示すタイムチャートである。
図6A図6Aは、マルチパス発生条件下で検出された距離エラーを説明するための図である。
図6B図6Bは、第1の実施形態における補正係数テーブルの構成例を示す図である。
図7A図7Aは、第1の実施形態における測距装置の動作例を示すフローチャートである。
図7B図7Bは、第1の実施形態における補正係数テーブルのテーブル作成処理を示すフローチャートである。
図8図8は、第1の実施形態におけるマルチパス発生条件下での露光動作を示すタイムチャートである。
図9図9は、第2の実施形態における露光動作を示すタイムチャートである。
図10A図10Aは、マルチパス発生条件下で検出された距離エラーを説明するための図である。
図10B図10Bは、第2の実施形態における補正係数テーブルの構成例を示す図である。
【発明を実施するための形態】
【0010】
以下、本開示の実施の形態に係る測距装置について、図面を参照しながら説明する。なお、以下の実施の形態は、いずれも本開示の一具体例を示すものであり、数値、形状、材料、構成要素、構成要素の配置位置及び接続形態などは、一例であり、本開示を限定するものではない。
【0011】
(第1の実施形態)
[1.1 装置の構成]
図1は、本実施形態におけるTOF方式の測距装置の構成例を示すブロック図である。図1に示すように、本実施形態における測距装置は、発光部100、固体撮像素子101、発光露光制御部102、および信号処理部103を備える。また、図1には,ブロック間で伝達される信号または情報として、発光パルス110、露光パルス111、受光信号列112、正規化受光信号列113、補正係数114、距離信号115を図示している。
【0012】
発光部100は、発光露光制御部102からの発光を指示する発光パルス110に従って照射光を発する。発光部100は、例えば、発光素子と、拡散板と、ドライバ回路とで構成される。発光素子は、中心波長が940nm付近の近赤外光を発するVCSEL(Vertical Cavity Surface Emitting LASER)などで構成され、発光パルス110がハイレベルのとき、ドライバ回路を介して電圧が印加され、拡散板を通して測距装置外部に照射光を発する。
【0013】
固体撮像素子101は、発光露光制御部102からの露光を指示する露光パルスに従って露光し、受光信号を出力する。そのため、固体撮像素子101は、二次元格子状に配置された画素を備え、露光パルス111がローレベルのとき、測距装置外部から入射する光を各画素において露光し、信号電荷に変換する。また、固体撮像素子101は、画素毎に複数種類の信号電荷を蓄積し、さらに複数種類の信号電荷を受光信号列112に変換し出力してもよい。
【0014】
発光露光制御部102は、発光部100に対して発光パルス110を出力し、固体撮像素子101に対して露光パルス111を出力する。具体的には、発光露光制御部102は、発光パルスと露光パルスとからなる組であって、発光パルスと露光パルスとの時間差が互いに異なる複数の組を生成する。
【0015】
信号処理部103のハードウェア構成は、FPGA(Field Programmable Gate Array)あるいはASIC(Application Specific Integrated Circuit)などで構成される。また、信号処理部103は、ハードウェアおよびソフトウェアによる構成として、マルチパス検出部104と、距離演算部105とをさらに備える。
【0016】
マルチパス検出部104は、補正係数保持部106を備える。補正係数保持部106は、マルチパスによる距離エラーに対応する補正係数を示す補正係数テーブルを予め保持する。マルチパス検出部104は、受光信号列112を入力とし、正規化受光信号列113と、当該正規化受光信号列113に基づいて補正係数保持部106から読み出された補正係数114とを出力とする。ここで、受光信号列112は、上記の複数の組に対応する複数の受光信号をいう。より詳しく言えば、受光信号列112は、発光パルスと露光パルスとの時間差が互いに異なる複数の組により露光されて生じた信号電荷量を示す複数の受光信号をいう。また、正規化受光信号列113は、測定対象が高反射率であるほど大きい値をもつ受光信号列112を、反射率に依存しないように正規化したものである。
【0017】
距離演算部105は、正規化受光信号列113と、正規化受光信号列113に基づいて補正係数保持部106から読み出された補正係数114とを入力とし、正規化受光信号列113および補正係数114を用いて補正された距離信号115を出力とする。
【0018】
次に、マルチパス検出部104のより具体的な構成例について説明する。
【0019】
図2は、マルチパス検出部104の構成例を示すブロック図である。図2に示すように、マルチパス検出部104は、正規化部201、補正係数保持部106、読出部203、補間部204、および作成部205を備える。
【0020】
正規化部201は受光信号列112を入力とし、正規化受光信号列113を出力とする。
【0021】
補正係数保持部106は、補正係数が格納された補正係数テーブル202を保持し、正規化受光信号列113を入力とし、補正係数114を出力とする。
【0022】
読出部203は、正規化受光信号列113を構成する複数の正規化受光信号をインデックスとして、補正係数テーブル202から補正係数を読み出す。なお、補正係数テーブル202のインデックスが離散的なインデックス値に対応する場合、読出部203は、複数の正規化受光信号のそれぞれを、対応する直近の2つのインデックス値に変換し、変換したインデックス値から得られる複数の補正係数を読み出してもよい。
【0023】
補間部204は、読出部203により読み出された複数の補正係数が読み出された場合に、当該複数の補正係数に補間処理を施すことによって補正用の補正係数を算出する。
【0024】
作成部205は、測距動作よりも前の段階で補正係数テーブル202を作成して補正係数保持部106に保持させる。例えば、作成部205は、マルチパスが発生しない条件およびマルチパスが発生する複数の条件のそれぞれにおいて測距動作または測距シミュレーションを行って、発生する距離エラーを検出することによって補正係数テーブル202を作成する。
【0025】
なお、図3に示すように、信号処理部103は、正規化部201をマルチパス検出部104の外部に備える構成であってもよい。また、信号処理部103はCPU(Central Processing Unit)などのプロセッサ上で動作するソフトウェアによって図1および図2の機能を実現してもよい。
【0026】
[1.2 露光動作]
次に、本実施形態における測距装置の露光動作を説明する。
【0027】
図4は、本実施形態における測距装置の露光動作を示すタイムチャートである。同図の照射光401は、発光を指示する発光パルス110に従って発光部100が発するパルス光を示す。照射光401の開始タイミング、パルス幅および終了タイミングは発光パルス110と同じであるものとする。反射光402は、照射光401が対象物に反射されて帰還して固体撮像素子101に入射される光を示す。同図では、照射光401の開始から時間tだけ遅れて反射光402が固体撮像素子101に到着する例を示す。第1の露光パルス403、第2の露光パルス404および第3の露光パルス405のそれぞれは、露光パルス111の具体例である。
【0028】
図4に示すように、時間0において発光部100から照射光401をパルス幅Tで照射し、測定対象の距離に応じた時間tにおいて固体撮像素子101に入射する反射光402を露光パルス111により露光する。露光パルス111は、第1から第3の露光パルス403~405の3種類を示している。図4では、発光パルス110と露光パルス111との時間差が互いに異なる複数の組として、発光パルス110と露光パルス111との組を3つ示している。照射光401を基準とした露光タイミングがΔT=T/2ずつシフトするように発光露光制御部102によって制御される。なお、実際には3つの組は時間的に排他であるが、便宜上併記してある。また、便宜上、照射光波形を矩形波で図示しているが、矩形波以外であってもよい。
【0029】
ここで、図中のa[0]からa[2]は、それぞれ第1から第3の露光パルス403~405と反射光402により、固体撮像素子101上の各画素に対して得られる信号電荷の量を示す受光信号である。受光信号[0]から受光信号a[2]は受光信号列112を構成する。a[0]からa[2]それぞれの信号量は図中網掛け部分の面積に比例し、a[0]とa[2]の合計は反射光全体に対応する信号量を示す。ただし、照射光のパルス幅Tは非常に短いため(例えば最大測定距離が3mの場合、約20ns)、距離測定に耐え得るだけの信号量を確保するべく、これらの露光動作を1フレーム期間中に繰返し行った後、受光信号列112を全画素に渡って順次読み出す。
【0030】
なお、第1から第3の露光パルス403~405による露光タイミングのシフト量は構成簡略化のため均等にしているが、非均等にしてもよい。また、照射光401以外の外乱光(背景光)が入射する場合を考慮し、図5に示すように第4の露光パルス501を追加してもよい。この場合、第4の露光パルス501を反射光402が無視できるレベルに減衰する距離に相当する時間XTだけ照射光401からの露光パルス501のタイミングを遅らせる(あるいは、第4の露光パルス501付近で照射光401を照射しない)ことで背景光の信号電荷量bgを取得する。そして、第1から第3の露光パルス403~405により得られる受光信号列112からbgを減算することで、背景光の影響がキャンセルされた受光信号列a[0]からa[2]を算出する。
【0031】
[1.3 正規化部および距離演算部の構成]
次に、露光動作により得られた受光信号列a[0]からa[2]を正規化する正規化部201の詳細な具体例について説明する。
【0032】
正規化部201は、受光信号列a[0]からa[2]に基づいて、数式1-3-1により正規化受光信号列113であるA[1]からA[2]を算出する。ここで、AMAXは正規化受光信号列113の最大値を決める定数である。
【0033】
【数1】
【0034】
受光信号列112であるa[1]からa[2]は測定対象の反射率が高いほど大きい値をもつ。これに対して、正規化受光信号列113であるA[1]からA[2]は、反射率に依存しないように正規化したものである。
【0035】
次に、正規化受光信号列113に基づいて、マルチパスによる距離エラーの補正および距離信号の算出の動作を説明する。
【0036】
マルチパス環境で生じる間接反射光は直接反射光よりも遅れて観測されるため、数式0-1に示すように測定距離Zobservedは距離真値Ztruthに対して遠距離側に距離エラーZerrorだけシフトする。したがって、距離測定におけるマルチパスの影響の軽減とは、距離エラーに対する補正をして、測定距離を距離真値に近づけることである。
【0037】
【数2】
【0038】
距離演算部105は、距離信号115であるZを数式1-3-2により求める。cは補正係数テーブル202から読み出された補正係数114または補間処理により得られた補正係数114である。ここで、Zobservedはマルチパスの影響を含んだ測定距離であり、数式1-3-3により求める。ZMAXは距離の最大値を決める定数である。数式1-3-3では、正規化受光信号列113のうちのA[2]が距離信号115を求める基準として用いられている。
【0039】
なお、マルチパスの影響を含まない距離真値Ztruthは数式1-3-4で表されるが、通常は時間tが未知であるため算出できない。
【0040】
【数3】
【0041】
[1.4 補正係数保持部]
ここで、補正係数保持部106の具体例について詳細に説明する。
【0042】
まず、図6Aを用いてマルチパス条件下で生じる距離エラーについて説明する。図6Aは、マルチパス発生条件下で検出された距離エラーを説明するための図である。具体的には、図6Aは、マルチパスが発生しない条件およびマルチパスが発生する複数の条件の下で測距動作または測距シミュレーションによって検出された距離エラーを説明する図である。図6Aの縦軸は、測距シミュレーションで得られた正規化受光信号列113のうちの正規化受光信号A[2]を示す。横軸は、測距シミュレーションで得られた正規化受光信号列113のうちの正規化受光信号A[1]を示す。
【0043】
正規化受光信号A[1]およびA[2]は、図4に示した受光信号a[1]およびa[2]を正規化した信号である。図6Aにおいて、曲線L21は、マルチパスが発生しない条件下で得られたA[1]とA[2]との対応付けを示している。言い換えれば、曲線L21は、間接反射光が存在せず直接反射光だけで測定されたA[1]とA[2]とを組み合わせた座標の集合を示す。よって、測距動作で得たA[1]とA[2]を組み合わせた座標が曲線L21に乗る場合は、正しい距離信号115が得られ、距離エラーが0である。
【0044】
これに対して、マルチパスが発生する条件下で得られたA[1]とA[2]の座標は、曲線L21から外れてしまう。具体的には、A[1]とA[2]の座標は、間接反射光の影響が大きいほど同図の矢線dに示すように曲線L21からのズレが大きくなる。このズレが大きいほど距離エラーも大きくなる。A[1]とA[2]とを組み合わせた座標は、マルチパス発生条件下では最大で図中の破線までズレる。
【0045】
このように、A[1]とA[2]との座標は、マルチパスが発生する条件下で、同図の曲線L21と破線とに囲まれた領域に存在し得るが、領域外には存在し得ない。図6Aの領域内の座標毎の距離エラーの値は、マルチパスが発生しない条件およびマルチパスが発生する複数の条件の下での測距シミュレーションに基づいて算出することができる。座標毎の距離エラーを補正係数601としてテーブル化したものが補正係数テーブル202である。
【0046】
次に、補正係数保持部106の補正係数テーブル202の例について詳細に説明する。
【0047】
図6Bは、補正係数保持部106が保持する補正係数テーブル202を示す図である。図6Bに示すように、補正係数テーブル202は、補正係数(図中601を代表として記載)を2次元に配列したものであり、横軸と縦軸の2軸をインデックスとする。横軸は、スケーリングされた正規化受光信号s[1]、縦軸は、ケーリングされた正規化受光信号s[2]である。具体的には、横軸s[1]および縦軸s[2]はそれぞれ、正規化受光信号A[1]およびA[2]をスケーリングしたもので、数式1-4-1により求める。ただし、p=1,2である。ここで、INT(x)は実数xの小数部を切捨て、整数に丸める関数である。また、Dは1以上のスケーリング係数であり、ユースケースに応じて補正係数テーブル202の分解能とメモリ使用量を最適化するために用いる。さらに、補正係数テーブル202の横軸および縦軸の小数部をf[1]、f[2]とし、数式1-4-2により求める。なお、sMAXは数式1-4-3により求める。
【0048】
【数4】
【0049】
補正係数テーブル202の2軸のインデックスとなるs[1]およびs[2]は、離散的なインデックス値であり、数式1-4-1の計算例では整数化されている。補正係数も離散的になるが、信号処理部103は、次のような補間処理をすることによって補正係数601の精度を向上させることができる。
【0050】
信号処理部103は、2つの正規化受光信号A[1]およびA[2]のそれぞれを、対応する軸における直近の2つのインデックス値s[1]およびs[2]に変換し、変換されたインデックス値の組から得られる複数の前記補正係数を読み出し、読み出された複数の補正係数を用いた補間処理によって補正用の補正係数を算出する。
【0051】
さらに、補間処理の具体例を以下に説明する。信号処理部103は、補正係数114であるcを数式1-4-4により求める。ここで、LUT(x,y)は補正係数テーブル202のアドレス(x,y)に対する参照であり、cは補正係数4つの双一次補間となる。なお、双一次補間を行わず、数式1-4-5に示すように単純化してもよい。
【0052】
【数5】
【0053】
このような補間処理により補正の精度を向上させることができる。または、補正の精度を低下させずに補正係数テーブル202のサイズを小さくすることができる。
【0054】
なお、信号処理部103は、距離信号に要求される精度に依存するけれども、補間処理を省略し、補正係数テーブル202から読み出した補間係数を用いて補正してもよい。
【0055】
[1.5 測距動作およびテーブル作成処理]
次に、測距装置における測距動作とテーブル作成処理について説明する。
【0056】
図7Aは、測距装置の動作例を示すフローチャートである。図7Aに示すように、測距装置は、手順70のテーブル作成処理を実行した後に、手順71の測距動作を実行する。例えば、テーブル作成処理は、測距装置の工場出荷時に実行してもよいし、測距装置の設置時に実行してもよいし、動作環境が変化する毎に実行してもよいし、測距装置を起動する毎に実行してもよい。
【0057】
次に、補正係数テーブル202のテーブル作成処理を説明する。図7Bは、テーブル作成処理を示すフローチャートである。同図は、信号処理部103の作成部205によって実行される。
【0058】
図7Bに示すように、まず、手順701において補正係数を初期化する。ここでは、補正係数テーブル202の全アドレスつまり全インデックスについて、無効値として-1を設定する。なお、無効値は後の処理において識別可能であれば、-1以外でもよい。
【0059】
次に、手順702においてマルチパスが発生しない条件下における、反射光の到達時間がt(t=0~T)のときの正規化受光信号A[p](p=0~P、P=2)をR[p,t]と定義し、数式1-5-1により求める。ここで、wは光プローブなどを用いて測定された照射光波形であり、w[i]は離散時間iにおける照射光の強度を示す。つまり、R[p,t]は照射光波形の区間積分を正規化したものである。なお、R[p,t]は、測定対象の距離、発光パルス110、露光パルス111をスイープさせ、測定により求めてもよい。
【0060】
【数6】
【0061】
つづいて、手順703においてマルチパスの発生条件[gDP,tDP,gMP,tMP]を、式1-5-2から数式1-5-6により決定する。ここで、gDP、tDPは直接反射光の強度および到達時間、gMP、tMPは間接反射光の強度および到達時間である。また、gMP、tMPは間接反射光の経路数NMP分の情報を保持する一次元配列であり、gMP[j]、tMP[j]はj番目の経路(0≦j<NMP)における間接反射光の強度および到達時間である。NMPMaxは間接反射光の最大経路数、gDPMin、gDPMaxは直接反射光の強度の最小値および最大値、gMPMin、gMPMaxは間接反射光の強度の最小値および最大値であり、RAND(Min,Max)はMin~Maxの乱数を返す関数である。
【0062】
【数7】
【0063】
つづいて、手順704では手順703で決定したマルチパス発生条件における、受光信号a[p,gDP,tDP,gMP,tMP]を、数式1-5-7により求める。つまり、a[p,gDP,tDP,gMP,tMP]は、直接反射光と複数経路分の間接反射光の受光信号の総和である。
【0064】
【数8】
【0065】
ここで、NMP=1の場合における反射光と、a[p,gDP,tDP,gMP,tMP]の関係の一例を図8に示す。図8に示すように、間接反射光801により、反射光形状が図4に示す形状と異なり、a[p,gDP,tDP,gMP,tMP](図中ではa[0]からa[2]と記載)も図4に示す信号量と異なっている。同様に、NMP≧2の場合においても、反射光の形状、およびa[p,gDP,tDP,gMP,tMP]に変化が起こる。
【0066】
つづいて、手順705においてa[p,gDP,tDP,gMP,tMP]を正規化したA[p,gDP,tDP,gMP,tMP]を求める。A[p,gDP,tDP,gMP,tMP]は、a[p,gDP,tDP,gMP,tMP]をa[p]と読み替え、数式1-3-1により求める。
【0067】
つづいて、手順706において距離エラーZerrorを求める。Zerrorは、数式0-1、数式1-3-3、および数式1-3-4より得られる数式1-5-8を用いて求める。
【0068】
【数9】
【0069】
つづいて、手順707において補正係数を、数式1-5-9により更新する。ここで、LUT(n)(x,y)、LUT(n-1)(x,y)はn回目、およびn-1回目の更新時における補正係数であり、s[1]、s[2]はA[p,gDP,tDP,gMP,tMP]をA[p]と読み替え、数式1-4-1により求める。また、MIN(v0,v1)は、v0とv1の小さい方を返す(ただし、無効値-1は例外として選択しない)関数である。
【0070】
【数10】
【0071】
上記手順703から手順707をM回繰り返すことで、複数のマルチパス発生条件下において、補正係数テーブル202にs[1]とs[2]の組合せ毎の距離エラーの最小値を補正係数として格納する。なお、最小値を選択するのは、数式1-3-2において過剰な補正が行われないようにするためであるが、平均値など別の基準で選択を行ってもよい。
【0072】
最後に、手順708において補正係数テーブル202の全アドレスを走査し、無効値であれば0(距離エラーなし)に置換する。なお、無効値の置換は補正係数テーブル202の参照時に行ってもよい。また、上記補正係数の算出は、測距装置を用いて距離を測定する前の調整工程において行う。
【0073】
[1.6 効果等]
本実施形態は、発光パルスと露光パルスの組であって、発光パルスと露光パルスとの時間差が互いに異なる3つの組を用いる、3種類のタイミングの露光動作と、事前に算出した補正係数テーブル202の参照のみでマルチパスによる距離エラーを補正可能であり、マルチパスの影響が軽減された距離測定を、安価かつ実用的で高速なフレームレートで実現することができる。
【0074】
以上説明してきたように、第1の実施形態における測距装置は、発光を指示する発光パルスに従って照射光を発する発光部100と、露光を指示する露光パルスに従って露光し、受光信号を出力する固体撮像素子101と、発光パルスと露光パルスとの組であって、発光パルスと露光パルスとの時間差が互いに異なる複数の組を生成する発光露光制御部102と、複数の組に対応する複数の受光信号に基づいて距離信号を生成する信号処理部103とを備え、信号処理部103は、マルチパスによる距離エラーを示す補正係数を含む補正係数テーブルを予め保持する補正係数保持部106と、複数の受光信号に対応する補正係数を補正係数テーブルから読み出す読出部203と、複数の受光信号および読み出された補正係数に基づいて補正された距離信号を出力する距離演算部105とを有する。
【0075】
これによれば、フレームレートを向上させることができ、かつ、マルチパスの影響を軽減することができる。言い換えれば、測距装置は、前記補正係数テーブルを読み出して補正するという負荷の小さい動作により。マルチパスの影響を軽減できる。つまり、測距装置は、測距動作においてマルチパスの影響を軽減するために数百から数千のタイミングにおける露光動作をする必要がないので,フレームレートを向上させることができる。
【0076】
例えば、補正係数テーブル202は、複数の受光信号のうちの2つの受光信号に対応する2軸をインデックスとし、当該インデックスに対応付けられた補正係数を保持し、読出部203は、2つの受光信号に基づいて、補正係数テーブル202から補正係数を読み出してもよい。
【0077】
これによれば、発光パルスに対する露光タイミングが異なる2つの受光信号は、補正係数テーブルの2軸に対応する。こうすれば、マルチパスの影響による距離エラーと、インデックスとしての2軸とを精度良く対応付けることができる。
【0078】
例えば、補正係数テーブル202の2軸のインデックスは、離散的なインデックス値に対応し、読出部203は、2つの受光信号のそれぞれを、対応する軸における直近の2つのインデックス値に変換し、変換されたインデックス値の組から得られる複数の補正係数を読み出し、信号処理部103は、さらに、読み出された複数の補正係数を用いた補間処理によって補正用の補正係数を算出する補間部204を備えてもよい。
【0079】
これによれば、補間により補正の精度を向上させることができる。また、補正の精度を低下させずに補正係数テーブルのサイズを小さくすることができる。
【0080】
例えば、信号処理部103は、さらに、複数のマルチパス発生条件下のそれぞれにおける測距動作または測距シミュレーションに基づいて距離エラーを検出することにより補正係数テーブルを作成する作成部205を備えてもよい。
【0081】
これによれば、補形成数テーブルは測距動作に先立って予め作成されるので、測距動作ではフレームレートを容易に向上させることができる。
【0082】
例えば、作成部205は、複数のマルチパス発生条件下において同じインデックス値の組に対して異なる複数の距離エラーが検出された場合に、複数の距離エラーの最小値を補正係数としてもよい。
【0083】
これによれば、補正係数テーブルの作成時に、補正係数が異常な値になることを排除して過剰な補正を抑制し、距離エラーの精度を高めることができる。
【0084】
また、第1の実施形態における測距方法は、発光を指示する発光パルスに従って照射光を発する発光部と、露光を指示する露光パルスに従って露光し、受光信号を出力する固体撮像素子と、発光パルスと露光パルスとの組であって、発光パルスと露光パルスとの時間差が互いに異なる複数の組を生成する発光露光制御部と、複数の組に対応する複数の受光信号に基づいて距離信号を生成する信号処理部とを備える測距装置における測距方法であって、マルチパスによる距離エラーに対応する補正係数を示す補正係数テーブルを予め保持し、複数の受光信号に基づいて補正係数を補正係数テーブルから読み出し、複数の受光信号および読み出された補正係数に基づいて補正された距離信号を出力する。
【0085】
これによれば、フレームレートを向上させることができ、かつ、マルチパスの影響を軽減することができる。言い換えれば、測距装置は、前記補正係数テーブルを読み出して補正する動作により。マルチパスの影響を軽減できる。つまり、測距装置は、測距動作においてマルチパスの影響を軽減するために多数のタイミングにおける露光動作をする必要がないので,フレームレートを向上させることができる。
【0086】
例えば、補正係数テーブルは、複数の受光信号のうちの少なくとも2つの受光信号に対応する少なくとも2つの軸をインデックスとし、当該インデックスに対応付けられた補正係数を保持し、補正係数テーブルの読み出しにおいて、複数の受光信号のうちの少なくとも2つの受光信号に基づいて、補正係数テーブルから補正係数を読み出してもよい。
【0087】
これによれば、発光パルスに対する露光タイミングが異なる少なくとも2つの受光信号は、補正係数テーブルの少なくとも2つの軸に対応する。こうすれば、マルチパスの影響による距離エラーと、インデックスとしての少なくとも2つの軸とを精度良く対応付けることができる。
【0088】
例えば、測距方法は、さらに、複数のマルチパス発生条件のそれぞれにおける測距動作または測距シミュレーションに基づいて距離エラーを検出することにより補正係数テーブルを作成してもよい。
としてもよい。
【0089】
これによれば、補形成数テーブルは測距動作に先立って予め作成されるので、測距動作ではフレームレートを容易に向上させることができる。
【0090】
(第2の実施形態)
[2.1 装置の構成]
本実施形態におけるTOF方式の測距装置は、第1の実施形態と同様に図1に示す構成となる。ただし、第1の実施形態と比べて露光タイミングが異なっており、これに伴い補正係数保持部106が保持する補正係数テーブル202の構成も異なる。以下、異なる点を中心に説明する。
【0091】
[2.2 露光動作]
まず、本実施形態における測距装置の露光動作を説明する。図9は、本実施形態における測距装置の露光動作を示すタイムチャートである。図9に示すように、時間0において発光部100から照射光401をパルス幅Tで照射し、測定対象の距離に応じた時間tにおいて固体撮像素子101に入射する反射光402を露光パルス111により露光する。露光パルス111は、第1から第5の露光パルス901~905からなり、照射光401を基準とした露光タイミングがΔT=T/4ずつシフトするように発光露光制御部102によって制御される。なお、実際には第1から第5の露光パルス901~905は時間的に排他であるが、便宜上併記してある。また、便宜上、照射光波形を矩形波で図示しているが、矩形波以外であってもよい。
【0092】
ここで、図中a[0]からa[4]は、それぞれ第1から第5の露光パルス901~905と反射光402により、固体撮像素子101上の各画素に対して得られる信号電荷に基づく受光信号であり、受光信号列112を構成する。a[0]からa[4]それぞれの信号量は図中網掛け部分の面積に比例し、a[0]とa[4]の合計は反射光全体に対応する受光信号を示す。ただし、照射光のパルス幅Tは非常に短いため(例えば最大測定距離が3mの場合、約20ns)、距離測定に耐え得るだけの信号量を確保するべく、これらの露光動作を1フレーム期間中に繰返し行った後、受光信号列112を全画素に渡って順次読み出す。
【0093】
なお、第1の実施形態において図5で示したのと同様に、背景光受光信号bgを取得するための第6の露光パルスを追加してもよい。
【0094】
[2.3 正規化部および距離演算部の動作]
次に、正規化部201の動作を説明する。正規化部201は、受光信号列a[0]からa[4]に基づいて、数式2-3-1により正規化受光信号列113であるA[1]からA[4]を算出する。
【0095】
【数11】
【0096】
さらに、距離演算部105の動作を説明する。距離演算部105は、第1の実施形態と同様に距離信号115であるZを数式1-3-2により求める。ただし、Zobservedは数式2-3-2により求める。
【0097】
【数12】
【0098】
[2.4 補正係数保持部]
ここで、補正係数保持部106の具体例について詳細に説明する。
【0099】
図10Aは、マルチパス発生条件下で検出された距離エラーを説明するための図である。また、図10Bは、補正係数保持部106が保持する複数の補正係数テーブルを示す図である。
【0100】
図10Aの(a)から(c)のそれぞれは、図6Aと同様の意義を有するが、縦軸と横軸の組み合わせが異なっている。以下異なる点を中心に説明する。
【0101】
図10Aの(a)において、縦軸は、測距シミュレーションで得られた正規化受光信号列113のうちの正規化受光信号A[4]を示す。横軸は、測距シミュレーションで得られた正規化受光信号列113のうちの正規化受光信号A[1]を示す。曲線L41は、間接反射光が存在せず直接反射光だけで測定されたA[1]とA[4]とを組み合わせた座標の集合を示す。座標毎の距離エラーを補正係数1004してテーブル化したものが図10Bの補正係数テーブル1001である。
【0102】
図10Aの(b)において、縦軸は、測距シミュレーションで得られた正規化受光信号列113のうちの正規化受光信号A[4]を示す。横軸は、測距シミュレーションで得られた正規化受光信号列113のうちの正規化受光信号A[2]を示す。曲線L42は、間接反射光が存在せず直接反射光だけで測定されたA[2]とA[4]とを組み合わせた座標の集合を示す。座標毎の距離エラーを補正係数1005してテーブル化したものが図10Bの補正係数テーブル1002である。
【0103】
図10Aの(c)において、縦軸は、測距シミュレーションで得られた正規化受光信号列113のうちの正規化受光信号A[4]を示す。横軸は、測距シミュレーションで得られた正規化受光信号列113のうちの正規化受光信号A[3]を示す。曲線L43は、間接反射光が存在せず直接反射光だけで測定されたA[3]とA[4]とを組み合わせた座標の集合を示す。座標毎の距離エラーを補正係数1006してテーブル化したものが図10Bの補正係数テーブル1003である。
【0104】

次に、図10Bの補正係数テーブル1001~1003について説明する。
【0105】
図10Bに示すように、補正係数保持部106は、3つの補正係数テーブル1001~1003を有する。補正係数テーブル1001~1003は、縦軸をs[4]、横軸をそれぞれs[1]、s[2]、およびs[3]とし、それぞれが補正係数1004、1005、および1006を保持する。ここで、s[1]からs[4]は第1の実施形態と同様に数式1-4-1により求め、横軸および縦軸の小数部をf[1]からf[4]とし、第1の実施形態と同様に数式1-4-2により求める。
【0106】
さらに、補正係数保持部106は、補正係数114であるcを数式2-4-1により求める。ここで、MAX(c1,c2,c3)はc1、c2およびc3の中から最大値を返す関数であり、c1、c2およびc3は、それぞれ数式2-4-2、数式2-4-3、および数式2-4-4により求める。なお、LUT1(x,y)、LUT2(x,y)、およびLUT3(x,y)は、それぞれ補正係数テーブル1001、1002、および1003のアドレス(x,y)に対する参照である。なお、マルチパスの発生条件によって異なる露光タイミングに受光量変化が特徴的に表れるため、各テーブルの参照値の最大値を選択しているが、平均値など他の基準で選択してもよい。
【0107】
【数13】
【0108】
【数14】
【0109】
【数15】
【0110】
【数16】
【0111】
なお、図10Bでは、補正係数テーブル1001~1003の各インデックスが2軸に対応する例を示した。言い換えれば、スケーリングされた5つの正規化受光信号s[0]~s[4]のうちから選択された2つが、補正係数テーブル1001~1003のそれぞれの2軸に対応する例を示した。各補正係数テーブルの軸の数は2つに限らず、3軸以上でもよい。また、補正係数保持部106内の補正係数テーブルの数は1つでもよいし、複数でもよい。例えば、図9の露光動作例では、スケーリングされた5つの正規化受光信号s[0]からs[4]を、1つの補正係数テーブルの5軸に対応付けたインデックスとしてもよい。
【0112】
[2.5 補正係数の算出方法]
以下、補正係数テーブルに格納する補正係数の算出方法を説明する。補正係数の算出は、第1の実施形態と同様に図7Bに示す手順で行う。ただし、P=4として手順702から手順707を行い、手順706におけるZerrorの算出は数式2-5-1を、手順707における補正係数の算出は数式2-5-2から数式2-5-4を用いて行う。
【0113】
【数17】
【0114】
【数18】
【0115】
【数19】
【0116】
【数20】
【0117】
上記手順703から手順707をM回繰り返すことで、複数のマルチパス発生条件下において、補正係数テーブル202にs[1]とs[4]、s[2]とs[4]、およびs[3]とs[4]の組合せ毎の距離エラーの最小値を補正係数として格納する。
【0118】
最後に、手順708において補正係数テーブル202の全アドレスを走査し、無効値であれば0(距離エラーなし)に置換する。なお、無効値の置換は補正係数テーブル202の参照時に行ってもよい。また、上記補正係数の算出は、測距装置を用いて距離を測定する前の調整工程において行う。
【0119】
[2.6 効果等]
本実施形態は、5種類のタイミングの露光動作と、事前に算出した補正係数テーブル202の参照のみでマルチパスによる距離エラーを補正可能である。さらに、3つの補正係数テーブルを用いることで、第1の実施形態と比べて距離エラーの補正精度が向上する。よって、マルチパスの影響が軽減された距離測定を、安価かつ実用的なフレームレートで実現することができる。
【0120】
なお、第1、第2の実施形態では、補正係数は距離エラーを示し、数式1-3-2のように観測した測定距離Zobservedから補正係数を減算することによって補正しているが、これに限らない。例えば、補正係数は、距離Zobservedと、距離真値との比率を示すものでもよい。この場合、補正では、観測した測定距離Zobservedに補正係数を乗算することによる。
【0121】
以上説明してきたように第2の実施形態における測距装置は、補正係数テーブル202は、複数の受光信号のうちの少なくとも2つの受光信号に対応する少なくとも2つの軸をインデックスとし、当該インデックスに対応付けられた補正係数を保持し、読出部203は、複数の受光信号のうちの少なくとも2つの受光信号に基づいて、補正係数テーブルから補正係数を読み出す。
【0122】
これによれば、発光パルスに対する露光タイミングが異なる少なくとも2つの受光信号は、補正係数テーブルの少なくとも2つの軸に対応する。こうすれば、マルチパスの影響による距離エラーと、インデックスとしての少なくとも2つの軸とを精度良く対応付けることができる。
【0123】
例えば,補正係数保持部106は、2つ以上の補正係数テーブル202を保持し、2つ以上の補正係数テーブル202は、複数の受光信号のうちの2つの受光信号の互いに異なる組に対応し、読出部203は、2つ以上の補正係数テーブル202を参照して得られる2つ以上の補正係数に基づいて補正用の補正係数を決定してもよい。
【0124】
これによれば,複数の補正係数テーブルを利用することにより、補正の精度を向上させることができる。
【0125】
例えば、読出部203は、2つ以上の補正係数のうちの最大値を補正用の補正係数と決定してもよい。
【0126】
これによれば,複数の補正係数テーブルを利用することにより、補正の精度をさらに向上させることができる。
【産業上の利用可能性】
【0127】
本開示に係る測距装置は、マルチパスの影響が軽減された距離測定を高フレームレートで行えるため、例えば、屋内における搬送ロボット等における3次元測定に有用である。
【符号の説明】
【0128】
100 発光部
101 固体撮像素子
102 発光露光制御部
103 信号処理部
104 マルチパス検出部
105 距離演算部
106 補正係数保持部
110 発光パルス
111 露光パルス
112 受光信号列
113 正規化受光信号列
114 補正係数
115 距離信号
201 正規化部
202 補正係数テーブル
203 読出部
204 補間部
205 作成部
図1
図2
図3
図4
図5
図6A
図6B
図7A
図7B
図8
図9
図10A
図10B