(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-01-11
(45)【発行日】2024-01-19
(54)【発明の名称】距離補正情報の算出方法、測距装置、移動体及びステレオカメラ装置
(51)【国際特許分類】
G01C 3/00 20060101AFI20240112BHJP
G01C 3/06 20060101ALI20240112BHJP
G01S 7/497 20060101ALI20240112BHJP
G01S 17/87 20200101ALI20240112BHJP
【FI】
G01C3/00 120
G01C3/06 110V
G01C3/06 120Q
G01C3/06 130
G01C3/06 140
G01S7/497
G01S17/87
(21)【出願番号】P 2020049592
(22)【出願日】2020-03-19
【審査請求日】2023-01-16
(73)【特許権者】
【識別番号】000006747
【氏名又は名称】株式会社リコー
(74)【代理人】
【識別番号】100098626
【氏名又は名称】黒田 壽
(72)【発明者】
【氏名】川崎 俊之
(72)【発明者】
【氏名】村本 峻介
(72)【発明者】
【氏名】小南 康男
(72)【発明者】
【氏名】野口 慎二
【審査官】續山 浩二
(56)【参考文献】
【文献】国際公開第2014/208018(WO,A1)
【文献】特開2015-028469(JP,A)
【文献】米国特許出願公開第2019/0250258(US,A1)
【文献】特開2019-194074(JP,A)
【文献】特開2008-256504(JP,A)
【文献】国際公開第2019/057897(WO,A1)
【文献】米国特許出願公開第2013/0175435(US,A1)
【文献】特開2015-169583(JP,A)
【文献】特開2017-062198(JP,A)
【文献】国際公開第2018/042954(WO,A1)
【文献】特開2019-152580(JP,A)
【文献】特開2012-225111(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
G01C 3/00
G01C 3/06
G01S 7/497
G01S 17/87
(57)【特許請求の範囲】
【請求項1】
測定対象物との間に光透過部材が配置される状態で、該測定対象物に照射した照射光の反射光を受光することで該測定対象物との距離を測定する測距装置における距離補正情報の算出方法であって、
予め決められた規定距離に配置される校正用対象物との間に光透過部材が配置される状態で前記測距装置により該校正用対象物との距離を測定した実測距離を得る実測工程と、
前記実測工程で得た前記実測距離と前記規定距離との実測誤差情報に基づいて、前記測距装置による測定距離を補正するための距離補正情報を算出する算出工程とを有
し、
前記規定距離は、前記距離補正情報を用いた距離補正を行わないときの前記測距装置による測定誤差が略最大となる距離を含むことを特徴とする距離補正情報の算出方法
。
【請求項2】
請求項
1に記載の距離補正情報の算出方法において、
測定対象物との間に前記光透過部材が配置されない状態で前記測距装置により該測定対象物との距離を測定するときの測定誤差情報又は該測定誤差情報から得られる第2の距離補正情報を取得する取得工程
を有し、
前記算出工程では、前記実測誤差情報と前記取得工程で取得した測定誤差情報又は前記第2の距離補正情報とに基づいて、前記距離補正情報を算出することを特徴とする距離補正情報の算出方法。
【請求項3】
測定対象物との間に光透過部材が配置される状態で、該測定対象物に照射した照射光の反射光を受光することで該測定対象物との距離を測定する測距装置における距離補正情報の算出方法であって、
予め決められた規定距離に配置される校正用対象物との間に光透過部材が配置される状態で前記測距装置により該校正用対象物との距離を測定した実測距離を得る実測工程と、
前記実測工程で得た前記実測距離と前記規定距離との実測誤差情報に基づいて、前記測距装置による測定距離を補正するための距離補正情報を算出する算出工程と、
測定対象物との間に前記光透過部材が配置されない状態で前記測距装置により該測定対象物との距離を測定するときの測定誤差情報又は該測定誤差情報から得られる第2の距離補正情報を取得する取得工程とを有し、
前記算出工程では、前記実測誤差情報と前記取得工程で取得した測定誤差情報又は前記第2の距離補正情報とに基づいて、前記距離補正情報を算出することを特徴とする距離補正情報の算出方法。
【請求項4】
請求項1乃至3のいずれか1項に記載の距離補正情報の算出方法において、
前記実測工程では、互いに異なる少なくとも2つの規定距離に配置される校正用対象物との距離を前記測距装置により測定し、
前記算出工程では、前記実測工程で得た前記少なくとも2つの規定距離についての実測距離とそれぞれの前記規定距離との実測誤差情報に基づいて、前記距離補正情報を算出することを特徴とする距離補正情報の算出方法。
【請求項5】
請求項4に記載の距離補正情報の算出方法において、
前記測距装置は、光量が周期的に変動する照射光を測定対象物に照射し、該測定対象物からの反射光と該照射光との位相差に基づいて測定対象物との距離を導出するものであり、
前記少なくとも2つの規定距離は、前記照射光の周期のn/2に相当する距離分だけ離れた2つの距離を含むことを特徴とする距離補正情報の算出方法。
ただし、nは自然数である。
【請求項6】
測定対象物との間に光透過部材が配置される状態で、該測定対象物に照射した照射光の反射光を受光することで該測定対象物との距離を測定する測距装置における距離補正情報の算出方法であって、
予め決められた規定距離に配置される校正用対象物との間に光透過部材が配置される状態で前記測距装置により該校正用対象物との距離を測定した実測距離を得る実測工程と、
前記実測工程で得た前記実測距離と前記規定距離との実測誤差情報に基づいて、前記測距装置による測定距離を補正するための距離補正情報を算出する算出工程とを有し、
前記実測工程では、互いに異なる少なくとも2つの規定距離に配置される校正用対象物との距離を前記測距装置により測定し、
前記算出工程では、前記実測工程で得た前記少なくとも2つの規定距離についての実測距離とそれぞれの前記規定距離との実測誤差情報に基づいて、前記距離補正情報を算出し、
前記測距装置は、光量が周期的に変動する照射光を測定対象物に照射し、該測定対象物からの反射光と該照射光との位相差に基づいて測定対象物との距離を導出するものであり、
前記少なくとも2つの規定距離は、前記照射光の周期のn/2に相当する距離分だけ離れた2つの距離を含むことを特徴とする距離補正情報の算出方法。
【請求項7】
光量が周期的に変動する照射光を照射したときの測定対象物の反射光を受光し、該照射光と該反射光との位相差に基づいて測定対象物との距離を測定する測距装置における距離補正情報の算出方法であって、
互いに異なる少なくとも2つの規定距離に配置される校正用対象物との距離を前記測距装置により測定した実測距離を得る実測工程と、
前記実測工程で得た前記少なくとも2つの規定距離についての実測距離とそれぞれの前記規定距離との実測誤差情報に基づいて、前記測距装置による測定距離を補正するための距離補正情報を算出する算出工程とを有し、
前記少なくとも2つの規定距離は、前記照射光の周期のn/2に相当する距離分だけ離れた2つの距離を含むことを特徴とする距離補正情報の算出方法。
ただし、nは自然数である。
【請求項8】
請求項4乃
至7のいずれか1項に記載の距離補正情報の算出方法において、
前記実測誤差情報は、前記実測工程で得た前記少なくとも2つの規定距離についての実測距離とそれぞれの前記規定距離との誤差値の平均値を含むことを特徴とする距離補正情報の算出方法。
【請求項9】
測定対象物との間に光透過部材が配置される状態で、該測定対象物に照射した照射光の反射光を受光することで該測定対象物との距離を測定する測距装置における距離補正情報の算出方法であって、
予め決められた規定距離に配置される校正用対象物との間に光透過部材が配置される状態で前記測距装置により該校正用対象物との距離を測定した実測距離を得る実測工程と、
前記実測工程で得た前記実測距離と前記規定距離との実測誤差情報に基づいて、前記測距装置による測定距離を補正するための距離補正情報を算出する算出工程とを有し、
前記実測工程では、互いに異なる少なくとも2つの規定距離に配置される校正用対象物との距離を前記測距装置により測定し、
前記算出工程では、前記実測工程で得た前記少なくとも2つの規定距離についての実測距離とそれぞれの前記規定距離との実測誤差情報に基づいて、前記距離補正情報を算出し、
前記実測誤差情報は、前記実測工程で得た前記少なくとも2つの規定距離についての実測距離とそれぞれの前記規定距離との誤差値の平均値を含むことを特徴とする距離補正情報の算出方法。
【請求項10】
請求項4乃
至9のいずれか1項に記載の距離補正情報の算出方法において、
前記実測誤差情報は、前記実測工程で得た前記少なくとも2つの規定距離についての実測距離とそれぞれの前記規定距離との誤差値間における差分の絶対値の平均値を含むことを特徴とする距離補正情報の算出方法。
【請求項11】
測定対象物との間に光透過部材が配置される状態で、該測定対象物に照射した照射光の反射光を受光することで該測定対象物との距離を測定する測距装置における距離補正情報の算出方法であって、
予め決められた規定距離に配置される校正用対象物との間に光透過部材が配置される状態で前記測距装置により該校正用対象物との距離を測定した実測距離を得る実測工程と、
前記実測工程で得た前記実測距離と前記規定距離との実測誤差情報に基づいて、前記測距装置による測定距離を補正するための距離補正情報を算出する算出工程とを有し、
前記実測工程では、互いに異なる少なくとも2つの規定距離に配置される校正用対象物との距離を前記測距装置により測定し、
前記算出工程では、前記実測工程で得た前記少なくとも2つの規定距離についての実測距離とそれぞれの前記規定距離との実測誤差情報に基づいて、前記距離補正情報を算出し、
前記実測誤差情報は、前記実測工程で得た前記少なくとも2つの規定距離についての実測距離とそれぞれの前記規定距離との誤差値間における差分の絶対値の平均値を含むことを特徴とする距離補正情報の算出方法。
【請求項12】
請求項4乃
至11のいずれか1項に記載の距離補正情報の算出方法において、
前記実測誤差情報は、前記実測工程で得た前記少なくとも2つの規定距離についての実測距離とそれぞれの前記規定距離との誤差値を線形近似した直線近似誤差情報を含むことを特徴とする距離補正情報の算出方法。
【請求項13】
請求項4乃
至11のいずれか1項に記載の距離補正情報の算出方法において、
前記実測誤差情報は、前記実測工程で得た前記少なくとも2つの規定距離についての実測距離とそれぞれの前記規定距離との誤差値を曲線近似した曲線近似誤差情報を含むことを特徴とする距離補正情報の算出方法
。
【請求項14】
請求
項13に記載の距離補正情報の算出方法において、
前記曲線近似誤差情報は、前記照射光及び前記反射光が光透過部材を透過する時の光の速度変化に応じて位相が修正されたものであることを特徴とする距離補正情報の算出方法。
【請求項15】
測定対象物との間に光透過部材が配置される状態で、該測定対象物に照射した照射光の反射光を受光することで該測定対象物との距離を測定する測距装置における距離補正情報の算出方法であって、
予め決められた規定距離に配置される校正用対象物との間に光透過部材が配置される状態で前記測距装置により該校正用対象物との距離を測定した実測距離を得る実測工程と、
前記実測工程で得た前記実測距離と前記規定距離との実測誤差情報に基づいて、前記測距装置による測定距離を補正するための距離補正情報を算出する算出工程とを有し、
前記実測工程では、互いに異なる少なくとも2つの規定距離に配置される校正用対象物との距離を前記測距装置により測定し、
前記算出工程では、前記実測工程で得た前記少なくとも2つの規定距離についての実測距離とそれぞれの前記規定距離との実測誤差情報に基づいて、前記距離補正情報を算出し、
前記実測誤差情報は、前記実測工程で得た前記少なくとも2つの規定距離についての実測距離とそれぞれの前記規定距離との誤差値を曲線近似した曲線近似誤差情報を含み、
前記曲線近似誤差情報は、前記照射光及び前記反射光が光透過部材を透過する時の光の速度変化に応じて位相が修正されたものであることを特徴とする距離補正情報の算出方法。
【請求項16】
請求項13乃至15のいずれか1項に記載の距離補正情報の算出方法において、
前記曲線近似誤差情報は、前記誤差値を正弦曲線で近似したものであることを特徴とする距離補正情報の算出方法。
【請求項17】
光量が周期的に変動する照射光を照射したときの測定対象物の反射光を受光し、該照射光と該反射光との位相差に基づいて測定対象物との距離を測定する測距装置であって、
互いに異なる少なくとも2つの規定距離に配置される校正用対象物との距離を前記測距装置により測定した実測距離とそれぞれの前記規定距離との実測誤差情報に基づいて得られる距離補正情報を用いて、測定距離を補正する補正手段を有し、
前記少なくとも2つの規定距離は、前記照射光の周期のn/2に相当する距離分だけ離れた2つの距離を含むことを特徴とする測距装置。
ただし、nは自然数である。
【請求項18】
請求項
17に記載の測距装置を備えることを特徴とする移動体。
【請求項19】
請求
項18に記載の移動体において、
当該移動体は、荷役車両であり、
前記測距装置は、前記荷役車両の外部に配置されることを特徴とする移動体。
【請求項20】
画像測距部の校正を実施するための光測距部を有し、画像測距部と光測距部のカバーガラスを共通とした
ステレオカメラ装置であって、
前記光測距部として、請求項17に記載の測距装置を用いることを特徴とするステレオカメラ装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、距離補正情報の算出方法、測距装置、移動体及びステレオカメラ装置に関するものである。
【背景技術】
【0002】
従来、測定対象物に照射した照射光の反射光を受光することで測定対象物との距離を測定する測距装置が知られている。
【0003】
例えば、特許文献1には、ステレオカメラの校正(キャリブレーション)を実施するために、測定対象物に近赤外光(照射光)を照射してから、測定対象物で反射光を受光するまでの時間(Time of Flight:TOF法)に基づいて測定対象物との距離を測定する測距装置(ToFセンサ)を備えたステレオカメラ装置が開示されている。
【発明の概要】
【発明が解決しようとする課題】
【0004】
従来のToFセンサ等の測距装置は、当該測距装置と測定対象物との間に光透過部材が配置される状況下で使用される場合の測定距離の誤差が大きいという課題があった。
【課題を解決するための手段】
【0005】
上述した課題を解決するために、本発明は、測定対象物との間に光透過部材が配置される状態で、該測定対象物に照射した照射光の反射光を受光することで該測定対象物との距離を測定する測距装置における距離補正情報の算出方法であって、予め決められた規定距離に配置される校正用対象物との間に光透過部材が配置される状態で前記測距装置により該校正用対象物との距離を測定した実測距離を得る実測工程と、前記実測工程で得た前記実測距離と前記規定距離との実測誤差情報に基づいて、前記測距装置による測定距離を補正するための距離補正情報を算出する算出工程とを有し、前記規定距離は、前記距離補正情報を用いた距離補正を行わないときの前記測距装置による測定誤差が略最大となる距離を含むことを特徴とする。
【発明の効果】
【0006】
本発明によれば、測定対象物との間に光透過部材が配置される状況下での使用が想定されていない測距装置を用いて当該状況下での測距を行う場合に、誤差の少ない測定距離を得ることができる。
【図面の簡単な説明】
【0007】
【
図1】実施形態におけるステレオカメラ装置の外観を示す斜視図。
【
図2】同ステレオカメラ装置の概略構成を示す説明図。
【
図3】一般的なステレオカメラの測距原理と校正方法とを示す模式図。
【
図4】一般的なステレオカメラの測距原理と校正方法とを示す模式図。
【
図5】実施形態におけるステレオカメラ装置のカメラの測距原点と光測距部の測距原点との位置関係を示すZX平面図。
【
図6】同ステレオカメラ装置のカメラの測距原点と光測距部の測距原点との位置関係を示すZY平面図。
【
図8】同ステレオカメラ装置の校正方法を示すフローチャート。
【
図9】10個の光測距部を用い、測定対象物との間に光透過部材が配置されていない状況下で、距離1m~10mまでの1mごとの距離に配置した測定対象物までの距離を光測距部により測定したときの平均誤差を示すグラフ。
【
図10】10個の光測距部を用い、測定対象物との間に光透過部材(厚さ1mmのガラス)が配置した状況下で、距離1m~10mまでの1mごとの距離に配置した測定対象物までの距離を光測距部により測定したときの平均誤差を示すグラフ。
【
図11】校正例1における光測距部の校正方法を示すフローチャート。
【
図12】
図10に示すグラフと同じ条件で10個の光測距部により得られる測定距離を初期誤差補正情報を用いて補正した場合の補正後の測定距離の誤差を示すグラフ。
【
図13】
図12に示すグラフと同じ条件で10個の光測距部により得られる測定距離を、校正例1における誤差補正情報を用いて補正した場合の補正後の測定距離の誤差を示すグラフ。
【
図14】校正例2における光測距部の校正方法を示すフローチャート。
【
図15】10個の光測距部により得られる測定距離を、校正例2における誤差補正情報を用いて補正した場合の補正後の測定距離の誤差を示すグラフ。
【
図16】10個の光測距部により得られる測定距離を、校正例3における誤差補正情報を用いて補正した場合の補正後の測定距離の誤差を示すグラフ。
【
図17】実施形態における建設車両としてのブルドーザを示す模式図。
【発明を実施するための形態】
【0008】
以下、本発明に係る測距装置における距離補正情報の算出方法の一実施形態について、図面を参照しながら説明する。
【0009】
まず、本実施形態の測距装置を搭載したステレオカメラ装置100の構成及び動作について説明する。
図1は、本実施形態におけるステレオカメラ装置100の外観を示す斜視図である。
図2は、本実施形態におけるステレオカメラ装置100の概略構成を示す説明図である。
本実施形態のステレオカメラ装置100は、主に、カメラ10A,10Bと、測距装置としての光測距部20と、保持部材30と、装置筐体40と、制御部50とを備えている。ステレオカメラ装置100は、カメラ10A,10Bにより撮像した測定対象物の画像データ(撮像画像)に基づいて制御部50が画像処理や距離測定処理などを行い、測定対象物との距離を取得(測距)する画像測距部を有する。なお、ステレオカメラ装置100は、3つ以上のカメラを用いて距離測定処理を行うものであってもよい。一方、光測距部20は、画像測距部の校正(キャリブレーション)を実施するために、測定対象物に照射した照射光の反射光を受光することで測定対象物との距離を測定する。
【0010】
本実施形態のステレオカメラ装置100は、
図2に示すように、衝突物などに対する堅牢性、塵や埃などに対する防塵性、雨などに対する防水性等を確保するために、保護部材としての外装ケース101の内部に構成要素が配置されている。この外装ケース101には、カメラ10A,10Bで撮像するためのカメラ用開口部101aと、光測距部20で測距するための光測距用開口部101bとが設けられている。そして、外装ケース101には、2つのカメラ用開口部101a及び光測距用開口部101bを塞ぐように、光透過部材としてのカバーガラス102が設けられている。
【0011】
カバーガラス102は、2つのカメラ用開口部101a及び光測距用開口部101bを塞ぐ寸法をもった1枚の板ガラスで構成されているが、2枚以上の板ガラスによって構成されていてもよい。ただし、カバーガラス102が1枚の板ガラスで構成されていることで、外装ケースの強度向上に寄与するともに、2つのカメラ用開口部101a及び光測距用開口部101bをそれぞれ塞ぐガラス部分間の位置合わせ精度の向上に寄与する。
【0012】
本実施形態のステレオカメラ装置100は、測定対象物との距離が変化する物体に設置される。ここで、ステレオカメラ装置100が設置される物体とは、車両、船舶、鉄道等の移動体、あるいはFA(Factory Automation)用途の場合には建物などの固定物である。また、測定対象物とは、他の移動体や人物や動物、あるいはステレオカメラ装置100が移動体に設置される場合には移動体の進行方向にある固定物などが挙げられる。特に、本実施形態のステレオカメラ装置100は、構成部品が外装ケース101及びカバーガラス102によって保護され、堅牢性、防塵性、防水性等が確保されているので、移動体などの外部に設置される用途に特に好適である。特に、外装ケース101やカバーガラス102の仕様に合わせて、ブルドーザーなどの建設機械や荷役車両などのように、建設現場や工場内などの塵や埃などの多い状況下での使用にも耐えうるものである。
【0013】
カメラ10A,10Bは、撮像素子11A,11Bと、撮像素子基板12A,12Bと、カメラレンズ13A,13Bと、カメラ筐体14A,14Bと、をそれぞれ備える。
【0014】
撮像素子11A,11Bは、例えば、CMOS(Complementary Metal-Oxide-Semiconductor)イメージセンサまたはCCD(Charge-Coupled Device)イメージセンサなどの、光電変換素子によるイメージセンサである。撮像素子11A,11Bは、カメラレンズ13A,13Bを透過した測定対象物からの被写体光を受光して撮像する。ここで、撮像素子11A,11Bは、
図2に示すように、光測距部20の両側に配置される。
【0015】
撮像素子基板12A,12Bは、撮像素子11A,11Bを搭載する基板であり、撮像素子11A,11Bの動作を制御する撮像素子制御回路によって構成されている。
【0016】
カメラレンズ13A,13Bは、撮像レンズとして機能し、測定対象物からの被写体光を通過させ、被写体光の入射方向や入射角などの状態を制御して、撮像素子11A,11Bに測定対象物の像を結像させる。
【0017】
カメラ筐体14A,14Bは、装置筐体40の一部を構成し、撮像素子基板12A,12Bとカメラレンズ13A,13Bとを含むカメラ10A,10Bの構成要素を収容する。
【0018】
制御部50は、装置筐体40に搭載される基板によって構成される。制御部50は、画像処理部51と、視差演算部52と、校正演算部53と、距離演算部54とを有する。
【0019】
画像処理部51は、撮像素子11A,11Bからの信号に応じて画像を生成する。画像処理部51は、予め求められるステレオカメラのパラメータをもとに、カメラ10A,10Bそれぞれの撮像画像の歪みなどを補正する画像処理も行う。
【0020】
視差演算部52は、画像処理部51で生成されたカメラ10A,10Bの撮像画像をもとに、測定対象物の視差d0を算出する。ここで、視差計算には、例えば周知のパターンマッチング手法を利用する。視差計算では、画像測距部と測定対象物との距離が互いに異なる2以上の位置についての視差が算出される。
【0021】
校正演算部53は、ステレオカメラ装置100から異なる2以上の位置にある校正用ターゲットとの距離Zの情報を光測距部20から取得する。校正演算部53は、測定で得られた2組以上の視差d0および距離Zの関係から、後述する式(6)によりBf値およびΔdを決定する。校正は、算出されたBf値とΔdをメモリ等に保持することで完了する。
【0022】
距離演算部54は、視差演算部52からの視差d0と校正により求められたBf値およびΔdを入力して、後述の式(6)により被写体との距離Zを算出する。
【0023】
光測距部20は、測定対象物に照射光(電磁波)を照射してから、測定対象物からの反射光を受光するまでの時間(Time of Flight:TOF法)に基づいて測定対象物との距離を測定するToFセンサで構成される。光測距部20は、光源21と、光源基板22と、投光レンズ23と、受光素子24と、受光素子基板25と、受光レンズ26と、光測距部筐体27と、光測距制御部60とを備える。
【0024】
光源21は、測定対象物に向けて照射される照射光を出射する。ここで、光源21は、例えばレーザダイオードにより構成される。本実施形態の光源21は、波長領域が800nm~950nmの近赤外光を照射光として用いる。
【0025】
光源基板22は、光源21を搭載し、光源21を駆動する基板である。光源基板22は、車両から供給される電圧を規定の電圧まで昇圧する駆動回路を有し、光源21を発光させる発振信号を生成する。光源21からは、発振信号に応じて、パルス幅が数ナノ秒から数百ナノ秒程度の短パルス光が周期的に放出される。また、光源基板22は、光測距制御部60から発光制御信号を受けて光源21に所定の変調電流を印加する。
【0026】
投光レンズ23は、光源21から照射された光を透過させ、照射光の照射方向や照射角などの状態を制御する。投光レンズ23は、光源21から出射される光を平行光(ほぼ平行光も含む)にコリメートする。このため、光測距部20は、検出対象の微小領域に対しても距離測定を行うことができる。
【0027】
受光素子24は、光源21から照射された光のうち、測定対象物で反射された光(以下「反射光」という。)を、受光レンズ26を介して受光して電気的信号に変換し、電気的信号を光測距制御部60に送信する。ここで、反射光は、光源21から照射された照射光である近赤外光が測定対象物で反射されたもの(反射波)である。また、受光素子24は、シリコンPIN(P-Intrinsic-N)フォトダイオードや、APD(Avalanche Photo Diode)などの各種フォトダイオードを用いることができる。
【0028】
受光素子基板25は、受光素子24を搭載する基板である。受光素子基板25は、受光した信号を増幅させる受光信号増幅回路を有する。受光信号増幅回路は、受光素子24から出力される電気信号を増幅し、受光信号として光測距制御部60に送出する。
【0029】
受光レンズ26は、反射光を通過させ、反射光の入射方向や入射角などの状態を制御する。
【0030】
光測距部筐体27は、光源21と受光素子24とを含む光測距部20の構成要素を収容する。
【0031】
光測距制御部60は、装置筐体40に搭載される基板によって構成される。光測距制御部60は、発光制御部61と、時間計測部62と、補正情報算出部63と、記憶部64と、距離補正部65とを有する。
【0032】
発光制御部61は、光源21の発光制御を行う。時間計測部62は、駆動回路で信号を生成した時から開始された時間の計測を、反射光を変換した信号を生成した時に停止させて、照射された信号が受光されるまでの時間を計測する。
【0033】
また、補正情報算出部63は、光測距部20による測定距離を補正するための距離補正情報を算出する。記憶部64は、距離補正情報の算出に必要な各種情報や、補正情報算出部63が算出した距離補正情報などを記憶する。距離補正部65は、記憶部64に記憶されている距離補正情報を用いて、時間計測部62が計測した時間から計算される測定距離を補正し、補正後の測定距離を出力する。
【0034】
光測距部20は、光測距部筐体27とは別の装置筐体40に光測距制御部60を搭載することにより、光測距部筐体27のサイズを小さくすることができる。このため、光測距部20は、光測距部筐体27を画像測距部の複数のカメラ10A,10Bの間に設けることができる。なお、光測距制御部60は、制御部50と共通の基板によって構成してもよい。この場合、光測距制御部60の基板を制御部50の基板と共通化することで、より低コストのステレオカメラ装置100を実現することができる。
【0035】
光測距部20では、光源21の照射時刻と反射光の受光時刻との時間差から測定対象物との距離を計算することができる。
詳しく説明すると、発光制御部61により変調されて光源21から照射された光は、投光レンズ23を介して微小な広がり角を有する光ビームとなる。光測距部20から照射された光ビームは、保持部材30の取付面に垂直な方向(Z軸方向)に出射される。光測距部20から出射された光ビームは、測定対象物に照射される。測定対象物に照射された光ビームは、測定対象物の反射点において一様な方向に散乱して反射される散乱光となる。散乱光のうち、測定対象物に照射された光ビームと同様の光路を経て反射する光成分のみが、光源21とほぼ同軸に配置された受光レンズ26を介して受光素子24に反射光として入光することになる。受光素子24に入光された反射光は、受光素子24によって受光信号として検出される。
【0036】
保持部材30は、カメラ10A,10Bの少なくとも撮像素子11A,11Bと、光測距部20の少なくとも光源21または受光素子24とを保持する共通の部材である。カメラ10A,10Bと光測距部20とを共通の保持部材30で保持することにより、光源21からの光照射方向において、カメラ10A,10Bと光測距部20との測距原点の距離を高い精度で位置決めすることができる。ここで、測距原点の位置とは、カメラ10A,10Bと光測距部20との距離取得の原点(基準点)となる位置である。カメラ10A,10Bの測距原点は、例えば、撮像素子11A,11Bの撮像面である。また、光測距部20の測距原点は、例えば、受光素子24の受光面である。
【0037】
保持部材30に取り付けられる光測距部筐体27には、光源21を搭載する光源基板22と、受光素子24を搭載する受光素子基板25とが備えられる。保持部材30に対する光測距部20の取り付け位置は、カメラ10Aとカメラ10Bとの間に配置することにより、ステレオカメラ装置100の装置構成を小型化することができる。なお、保持部材30に対する光測距部20の取り付け位置は、上述のカメラ10Aとカメラ10Bとの間に限定されない。また、保持部材30は、カメラ筐体14A,14Bと光測距部筐体27とを介して、撮像素子11A,11Bと受光素子24とを保持するように構成することができる。
【0038】
次に、一般的なステレオカメラによる測距原理と校正方法について説明する。
図3及び
図4は、一般的なステレオカメラの測距原理と校正方法とを示す模式図である。
図3及び
図4では、カメラ10A,10Bにより校正用対象物(校正用ターゲット)Tを撮像した際の校正用ターゲットT上の特徴点kとカメラ10A,10B上の撮像素子11A,11Bの特徴点jとの関係を示している。なお、
図3及び
図4において、校正用ターゲットTの面に沿って水平方向をX軸方向とし、校正用ターゲットTの面に沿って垂直方向をY軸方向とする。
【0039】
ここで、ステレオカメラ装置100におけるカメラ10A,10B間距離(基線長)をB
0、カメラ10A,10Bの焦点距離をf
0、カメラ10A,10Bの光学中心15A,15B(ステレオカメラ装置100の設置位置)と校正用ターゲットTとの距離をZとする。この場合、校正用ターゲットT上の特徴点kが(a,b,0)の位置にあるとき、一方のカメラ10Aにおける特徴点の理想位置(i
0,j
0)は、
図3及び
図4から、以下の式(1)と式(2)によって定まる。
【0040】
【0041】
【0042】
また、他方のカメラ10Bにおける特徴点の理想位置(i0’,j0’)は、以下の式(3)と式(4)によって定まる。
【0043】
【0044】
【0045】
そして、式(1)と式(3)より、距離Zは、以下の式(5)より求めることができる。
【0046】
【0047】
以上説明したように、カメラ10A,10Bの視差d0から、前記式(5)によりステレオカメラ装置100の設置位置から校正用ターゲットTとの距離Zを算出することができる。ただし、カメラ10A,10Bにおいては、焦点距離や基線長の設計値と実測値との間で誤差が生じる。また、カメラ10A,10Bの撮像素子の理想位置からのずれなどの要因により、測定される視差には誤差が含まれる。そのため、これらの誤差を考慮してステレオカメラ装置100により高精度な測距を実現したい場合、距離Zは、以下の式(6)より求めることが望ましい。なお、以下の式(6)において、実際の基線長をB、実際の焦点距離をf、測定された視差をd0、視差のオフセットをΔdとする。
【0048】
【0049】
前記式(6)を用いて距離Zを求める場合、Bf値(Bとfの積)とΔdとを事前に得る必要があり、そのためのステレオカメラ装置100の校正を行う必要がある。
【0050】
図5は、ステレオカメラ装置100のカメラ10A,10Bの測距原点と光測距部20の測距原点との位置関係を示すZX平面図である。
図6は、ステレオカメラ装置100のカメラ10A,10Bの測距原点と光測距部20の測距原点との位置関係を示すZY平面図である。
図5に示すように、ステレオカメラ装置100の校正を行うには、カメラ10A,10Bの前方に校正用ターゲットTを配置し、視差d
0を測定する。校正用ターゲットTについて、Z軸方向(測定方向)において設置位置を異ならせた2組以上の視差d
0と距離Zとを得ることにより、前記式(6)から、Bf値とΔdを求めることができる。
【0051】
このように校正用ターゲットTとの距離を測定して校正を行う方法では、ステレオカメラ装置100から校正用ターゲットTまでの距離Zを正確に把握しておくことが、ステレオカメラ装置100の校正精度の向上に不可欠である。そのため、本実施形態におけるステレオカメラ装置100には、カメラ10A,10Bと共通の保持部材30によって光測距部20を保持し、この光測距部20によりステレオカメラ装置100から校正用ターゲットTとの距離Zを測定することで、当該距離Zを正確に把握する。
【0052】
詳しく説明すると、先に説明したように、ステレオカメラ装置100は、画像測距部のカメラ10A,10Bと光測距部20とが共通の保持部材30に取り付けられる。つまり、ステレオカメラ装置100は、保持部材30により、カメラ10A,10Bと光測距部20とのZ軸方向(測定方向)の相対的な位置が予め調整された上で固定されている。ここで、制御部50の測距原点15A,15Bと光測距部20の測距原点28との差ΔZは既知である。したがって、
図5及び
図6に示すように、ステレオカメラ装置100は、光測距部20による測定距離L1と既知の値ΔZとから、画像測距部と校正用ターゲットTとの間の距離Z(=L1-ΔZ)を算出することができる。
【0053】
ここで、ステレオカメラ装置100では、基線長Bおよび視差オフセットΔd以外は校正済みであるため、カメラ10A,10Bの撮像領域内における校正用ターゲットT上の撮像位置を問わず、視差d0は一定となる。つまり、ステレオカメラ装置100の校正を行う場合に、校正用ターゲットTは、カメラ10Aとカメラ10Bとが同時に撮像することのできる特徴点T1を1点以上有していればよい。なお、画像測距部と校正用ターゲットTとの間の距離Zを正確に測定することを考慮すると、光測距部20のレーザ光照射位置と校正用ターゲットTとは、一致することが望ましい。
【0054】
図7は、ステレオカメラ装置100の機能ブロック図である。
図8は、ステレオカメラ装置100の校正方法を示すフローチャートである。
本実施形態においては、ステレオカメラ装置100の校正を、ステレオカメラ装置100の工場出荷前における製品検査時に行う例で説明するが、ステレオカメラ装置100を移動体などに設置した後の使用時に行うようにしてもよい。
【0055】
まず、ステレオカメラ装置100の校正を行うにあたり、ステレオカメラ装置100の測定方向前方に校正用ターゲットTを設置する(S1)。次に、光測距部20から照射される光ビームが校正用ターゲットTの特徴点T1を照射するように、ステレオカメラ装置100を所定の位置に設置する(S2)。
【0056】
光測距部20では、光源21から校正用ターゲットTに光ビームを照射した後、受光素子24が校正用ターゲットTからの反射光を受光する。光測距部20では、時間計測部62が、光ビームを照射してから反射光を受光するまでの時間を計測し、その計測結果に基づいて光測距部20の測距原点28と校正用ターゲットTとの間の距離L1を測定する(S3)。距離演算部54は、光測距部20による測定距離L1と既知の値ΔZとから、画像測距部と校正用ターゲットTとの間の距離Zを算出する(S4)。
【0057】
一方、画像測距部では、カメラ10A,10Bを用いて校正用ターゲットTの特徴点T1を撮像する(S5)。撮像された特徴点T1の画像は、画像処理部51で画像処理されて補正後の画像データ(補正画像)が生成される。視差演算部52は、生成された補正画像から校正用ターゲットTの視差d0を算出する(S6)。ステレオカメラ装置100では、処理ステップS3~S6の処理により、制御部50の校正に必要なZとd0との関係を得ることができる。
【0058】
ステレオカメラ装置100では、校正演算部53により視差d0と距離Zとの関係に基づいてBf値とΔdを決定するために、視差d0と距離Zとの値を2組以上得る必要がある。そのため、処理ステップS3~S6の処理を2回以上繰り返したか否かを確認する(S7)。
【0059】
処理ステップS3~S6の処理を2回以上繰り返していない場合(S7のNo)には、ステレオカメラ装置100と校正用ターゲットTとの間の距離Zが異なる2点以上について、処理ステップS3~S6の処理を繰り返す。一方、処理ステップS3~S6の処理を2回以上繰り返している場合(S7のYes)、校正演算部53は、2組以上の視差d0と距離Zとの関係に基づいてBf値とΔdを算出して(S8)、校正を終了する。
【0060】
なお、本実施形態では、光測距部20により測距した測定距離L1に基づいて校正演算部53が算出したBf値とΔdを距離演算部54に入力することで、ステレオカメラ装置100の校正を行うが、校正方法はこれに限られるものではない。例えば、光測距部20により測距した測定距離L1を画像処理部51に入力し、画像処理部51が生成する補正画像を測定距離L1に基づいて修正することで、ステレオカメラ装置100の校正を行うこともできる。また、光測距部20により測距した測定距離L1を視差演算部52に入力し、視差演算部52により算出される視差値を測定距離L1に基づいて修正することで、ステレオカメラ装置100の校正を行うこともできる。
【0061】
次に、本発明の特徴部分である光測距部20についての校正について説明する。
本実施形態のステレオカメラ装置100の校正方法においては、上述したとおり、ステレオカメラ装置100から校正用ターゲットTまでの距離Zを正確に把握しておくことが、ステレオカメラ装置100の校正精度の向上に不可欠である。ところが、本実施形態のステレオカメラ装置100の構成要素である画像測距部及び光測距部20は、
図1及び
図2に示すように、外装ケース101の内部に収容され、照射光及び反射光の光路上の外装ケース部分にはカバーガラス102が配置されている。
【0062】
本実施形態の光測距部20は、測定対象物との間にカバーガラス102のような光透過部材が配置される状況下での使用が想定されていない。そのため、このようなカバーガラス102が配置される状況下で光測距部20が使用された場合、照射光や反射光がカバーガラス102を透過する際の光の速度変動などに起因して、光測距部20による測定距離L1に誤差が生じる。特に、本実施形態のカバーガラス102は、例えば1mm以上の厚みをもつ強化ガラスであることから、透過時の光速度変動が大きく、光測距部20による測定距離L1の誤差が大きい。
【0063】
図9は、10個の光測距部20を用い、測定対象物との間に光透過部材が配置されていない状況下で、距離1m~10mまでの1mごとの距離に配置した測定対象物までの距離を光測距部20により測定したときの平均誤差(%)を示すグラフである。
図10は、10個の光測距部20を用い、測定対象物との間に光透過部材(厚さ1mmのガラス)が配置した状況下で、距離1m~10mまでの1mごとの距離に配置した測定対象物までの距離を光測距部20により測定したときの平均誤差(%)を示すグラフである。
図9及び
図10からわかるとおり、測定対象物との間に光透過部材(厚さ1mmのガラス)が配置した状況下では、測定誤差が大きくなっている。また、測定誤差が最大となる距離がシフトしている。
【0064】
そこで、本実施形態においては、ステレオカメラ装置100の校正を行う前段階で、まず、測定対象物との間にカバーガラス102が配置される状況下で光測距部20の校正を行い、この状況下における光測距部20の測距精度を高める。具体的には、この状況下で生じる誤差を補正するための距離補正情報を補正情報算出部63によって算出し、算出した距離補正情報を記憶部64に記憶する。そして、ステレオカメラ装置100の校正を行う際には、距離補正部65において、時間計測部62が計測した時間から計算される測定距離を記憶部64内の距離補正情報によって補正し、補正後の測定距離(校正後の測定距離)を校正演算部53へ出力する。
【0065】
〔校正例1〕
以下、距離補正情報を算出して光測距部20の校正を行う一例(以下「校正例1」という。)について説明する。
本校正例1は、予め決められた1つの規定距離に配置される校正用ターゲットT(校正用対象物)との間にカバーガラス102(光透過部材)が配置された状態で、光測距部20により校正用ターゲットTとの距離を測定して実測距離を得て、この実測距離と当該規定距離との誤差を示す実測誤差情報に基づいて、光測距部20の距離補正情報を算出する。
【0066】
図11は、本校正例1における光測距部20の校正方法を示すフローチャートである。
本校正例1では、まず、ステレオカメラ装置100の測定方向前方の予め決められた規定距離に、校正用ターゲットTを設置する(S11)。次に、光測距部20から照射される光ビームが校正用ターゲットTを照射するように、ステレオカメラ装置100を所定の位置に設置する(S12)。これにより、校正用ターゲットTとの間にカバーガラス102が配置された状態で、光測距部20により校正用ターゲットTとの距離を測定することができる。
【0067】
ここで、規定距離の選定方法について説明する。
光測距部20では、上述したとおり、光源21から所定パルス幅のパルス光(繰り返しパルス光)を周期的に照射し、校正用ターゲットTで反射して戻ってきた反射光を受光素子24で受光する。ここで、本実施形態の光測距部20では、照射光として繰り返しパルス光を用いているため、パルス光の周期に応じて、
図9及び
図10に示したように、距離に対応する測定誤差が周期的に変動する。
【0068】
具体的には、例えばパルス光の周期が20ナノ秒である場合、光速を3×10
8m/sとしたとき、20ナノ秒×3×10
8m/s=6mの周期で、距離に対応する測定誤差が変動する。そして、この測定誤差の変動は、
図10に示すように、1/2周期に対応する3mの距離で最大となり、1周期に対応する6mの距離で最小となり、3/2周期に対応する9mの距離で再び最大となる。
【0069】
本校正例1においては、最小誤差時における誤差が解消されるような距離補正情報を算出するものである。そこで、本校正例1では、規定距離を6mに設定し、処理ステップS11において校正用ターゲットTを6mの距離に設置して、この距離における光測距部20による距離を測定して実測距離L6を取得する(S13)。
【0070】
なお、校正の方針によっては、例えば、最大誤差時における誤差が解消されるような距離補正情報を算出する場合もあり得る。この場合には、誤差が最大となり得る1/2周期に対応する3mの距離や3/2周期に対応する9mの距離を規定距離に設定し、この規定距離における光測距部20による距離を測定して実測距離を取得してもよい。
【0071】
本校正例1では、このようにして6mの規定距離における実測距離L6を取得したら、現在の誤差補正情報を記憶部64から読み出す(S14)。そして、実測距離L6を用いて現在の誤差補正情報を修正して、新たな誤差補正情報を算出する(S15)。
【0072】
ここで、現在の誤差補正情報は、例えば、測定対象物との間に光透過部材(カバーガラス102)が配置されていない状況下で生じる測定誤差を補正するための初期誤差補正情報である。この初期誤差補正情報は、例えば、
図9のグラフに示される10個の光測距部20における距離に応じた測定誤差の情報について、10個の光測距部20の間の平均値をとり、その平均値をキャンセルする情報を用いることができる。このような初期誤差補正情報は、予め記憶部64に記憶されており、距離補正部65は、通常、時間計測部62が計測した時間から計算される測定距離を補正する際に、この初期誤差補正情報を用いて補正した測定距離を校正演算部53へ出力する。
【0073】
図12は、
図10に示すグラフと同じ条件で10個の光測距部20により得られる測定距離を初期誤差補正情報を用いて補正した場合の補正後の測定距離の誤差を示すグラフである。
図10と
図12とを比較すると、初期誤差補正情報を用いて補正した場合の補正後の測定距離の誤差(
図12)は、補正を行わない場合の誤差(
図10)よりも小さくなっていることがわかる。ただし、測定対象物との間に光透過部材(カバーガラス102)が配置されている状況下であるため、いまだおおきな誤差が残っている。
【0074】
そこで、本校正例1においては、この初期誤差補正情報を、測定対象物との間にカバーガラス102が配置されている状況下で測定した実測距離L6で修正し、修正後の初期誤差補正情報を新たな誤差補正情報として算出する。具体的には、光測距部20により6mの距離における実測距離L6と規定距離(6m)との差分を求め、その差分だけ初期誤差補正情報の全体をシフトさせた誤差補正情報を算出する。
【0075】
図13は、
図12に示すグラフと同じ条件で10個の光測距部20により得られる測定距離を、本校正例1における誤差補正情報を用いて補正した場合の補正後の測定距離の誤差を示すグラフである。
図12と
図13とを比較すると、本校正例1で算出した誤差補正情報を用いて補正した場合の補正後の測定距離の誤差(
図13)は、初期誤差補正情報を用いて補正した場合の誤差(
図12)よりも小さくなっていることがわかる。
【0076】
〔校正例2〕
次に、距離補正情報を算出して光測距部20の校正を行う他の例(以下「校正例2」という。)について説明する。
本校正例2は、初期誤差補正情報を用いず、予め決められた2つの規定距離に配置される校正用ターゲットT(校正用対象物)との間にカバーガラス102(光透過部材)が配置された状態で、光測距部20により校正用ターゲットTとの距離を測定して実測距離を得て、この実測距離と当該規定距離との誤差を示す実測誤差情報に基づいて、光測距部20の距離補正情報を算出する。
【0077】
図14は、本校正例2における光測距部20の校正方法を示すフローチャートである。
本校正例2では、まず、ステレオカメラ装置100の測定方向前方の予め決められた第一規定距離(3m)に、校正用ターゲットTを設置する(S21)。次に、光測距部20から照射される光ビームが校正用ターゲットTを照射するように、ステレオカメラ装置100を所定の位置に設置する(S22)。その後、光測距部20により、校正用ターゲットTとの間にカバーガラス102が配置された状態での距離測定を行って実測距離L3を取得し(S23)、この実測距離L3と規定距離(3m)との誤差ΔL3を算出する(S24)。
【0078】
続いて、本校正例2では、ステレオカメラ装置100の測定方向前方の予め決められた第二規定距離(8m)に、校正用ターゲットTを設置する(S25)。次に、光測距部20から照射される光ビームが校正用ターゲットTを照射するように、ステレオカメラ装置100を所定の位置に設置する(S26)。その後、光測距部20により、校正用ターゲットTとの間にカバーガラス102が配置された状態での距離測定を行って実測距離L8を取得し(S27)、この実測距離L8と規定距離(8m)との誤差ΔL8を算出する(S28)。
【0079】
本校正例2では、以上のようにして2つの規定距離(3m、8m)についての誤差ΔL3,ΔL8を求めた後、これらの誤差ΔL3,ΔL8を直線補間する誤差近似直線を求め、これを誤差補正情報として算出する(S29)。
【0080】
図10に示したように、測定対象物との間にカバーガラス102を配置した状況下における距離に応じた測定誤差は、誤差のピークである3mと9mとの間ではおおよそ線形に近い波形を示すので、線形補間により得られる誤差近似直線によって近似することが可能である。したがって、本校正例2によって算出される誤差補正情報を用いれば、誤差のピーク間において、測定対象物との間にカバーガラス102を配置したことによる誤差を小さくすることができる。
【0081】
ここで、本校正例2における2つの規定距離の選定方法について説明する。
本校正例2では、上述した校正例1の場合とは異なり、パルス光の周期が33.3ナノ秒である。そのため、光速を3×108m/sとしたとき、33.3ナノ秒×3×108m/s=約10mの周期で、距離に対応する測定誤差が変動する。そして、本校正例2においては、誤差のピークが3mの距離で現れることから、誤差のピークは3mと8mとなる。そのため、本校正例2においては、3mと8mの距離における実測距離L3,L8を測定し、その誤差ΔL3,ΔL8を求め、これらの誤差ピーク間を線形補間して誤差近似直線を得ている。
【0082】
図15は、10個の光測距部20により得られる測定距離を、本校正例2における誤差補正情報を用いて補正した場合の補正後の測定距離の誤差を示すグラフである。
図12と
図15とを比較すると、パルス光の周期が異なるので直接の比較はできないものの、本校正例2で算出した誤差補正情報を用いて補正した場合の補正後の測定距離の誤差(
図15)は、初期誤差補正情報を用いて補正した場合の誤差(
図12)よりも小さくなっていることがわかる。
【0083】
〔校正例3〕
次に、距離補正情報を算出して光測距部20の校正を行う更に他の例(以下「校正例3」という。)について説明する。
本校正例3も、上述した校正例2と同様に、初期誤差補正情報を用いず、予め決められた2つの規定距離に配置される校正用ターゲットT(校正用対象物)との間にカバーガラス102(光透過部材)が配置された状態で、光測距部20により校正用ターゲットTとの距離を測定して実測距離を得て、この実測距離と当該規定距離との誤差を示す実測誤差情報に基づいて、光測距部20の距離補正情報を算出する。
【0084】
ただし、本校正例3では、誤差ピーク間を、線形補間ではなく、曲線近似で補間して誤差近似曲線を得る。すなわち、本校正例3では、上述した校正例2と同様にして2つの規定距離(3m、8m)についての誤差ΔL3,ΔL8を求めた後、これらの誤差ΔL3,ΔL8を曲線近似して誤差近似曲線を求め、これを誤差補正情報として算出する。
【0085】
図10に示したように、測定対象物との間にカバーガラス102を配置した状況下における距離に応じた測定誤差の波形は、全体的に見て、正弦波形(サインカーブ)に近い波形を示している。したがって、距離に応じた測定誤差の波形に近い正弦波形を特定することで、測定対象物との間にカバーガラス102を配置したことによる誤差を小さくできる誤差補正情報を得ることができる。
【0086】
ここで、本校正例3における誤差補正情報の算出方法について説明する。
本校正例3における誤差補正情報は、以下の式(7)により表される。
【0087】
【0088】
ここで、レベル補正項は、距離に応じた測定誤差の波形全体をシフトさせる量に相当する。本校正例3では、レベル補正項を、誤差ピークである3mの距離における測定誤差ΔL3と8mの距離における測定誤差ΔL8との平均値(=(ΔL3+ΔL8)/2)を用いる。
【0089】
また、振幅補正項は、距離に応じた測定誤差の波形の振幅を小さくする量に相当する。本校正例3では、振幅補正項を、誤差ピークである3mの距離における測定誤差ΔL3と8mの距離における測定誤差ΔL8との差分の絶対値の平均値(=|ΔL3-ΔL8|/2)を用いる。
【0090】
また、位相補正項θ0は、カバーガラス102の厚さdgと屈折率nとから計算される位相補正成分である。この位相補正項θ0は、システム固有の補正値に、カバーガラス102の介在によるズレ分が加算された形で補正を行う。カバーガラス102の介在時におけるズレ分は、カバーガラス102の厚さdgが1mmであり、屈折率nが1.4であるとすると、カバーガラス102の通過時の距離差は、dg×(n-1)=0.4mmとなる。これを位相差に換算すると、距離差(=0.4mm)×2×Δθ=5.03×10-4rad の位相差が発生する。これにシステム固有の位相差を足した数値が位相補正項θ0となる。
【0091】
また、距離定数Δθは、距離を位相差に変換する定数である。光速cを3×108m/sとしたとき、パルス光のパルス幅dpが33.3ナノ秒とすると、距離定数Δθは、以下の式(8)より得られる。
【0092】
【0093】
そして、c×dp/2=約5mに相当する間隔を取る必要があるため、本校正例3では、3mの距離における測定誤差ΔL3と8mの距離における測定誤差ΔL8とを実測している。
【0094】
図16は、10個の光測距部20により得られる測定距離を、本校正例3における誤差補正情報を用いて補正した場合の補正後の測定距離の誤差を示すグラフである。
図12と
図16とを比較すると、パルス光の周期が異なるので直接の比較はできないものの、本校正例3で算出した誤差補正情報を用いて補正した場合の補正後の測定距離の誤差(
図16)は、初期誤差補正情報を用いて補正した場合の誤差(
図12)よりも小さくなっていることがわかる。
【0095】
次に、本実施形態におけるステレオカメラ装置100を搭載する移動体としての建設車両について説明する。
図17は、本実施形態における建設車両としてのブルドーザ500を示す模式図である。
本実施形態のブルドーザ500には、リーフ501の後方の外壁にステレオカメラ装置100が装着されている。また、本実施形態のブルドーザ500には、ピラー502の側方の外壁にもステレオカメラ装置100が装着されている。これらのステレオカメラ装置100により、ブルドーザ500の後方や側方に存在する人や障害物などの距離を把握できるので、衝突の危険等を判断する危険判断処理などの各種情報処理を実行することができる。
【0096】
なお、ステレオカメラ装置100の取付位置は、上述の位置に限定されるものではない。例えば、ブルドーザ500の進行方向前方の車両外の状況を検知することができる位置にステレオカメラを取り付ければ、ブルドーザ500の動力制御、ブレーキ制御、操舵力制御、ディスプレイの表示制御など、ブルドーザ500の各種機構の制御を行うことが可能となる。
【0097】
本実施形態においては、ステレオカメラで構成される画像測距部の校正(キャリブレーショ)を行うために用いられるToFセンサ等の光測距部20の測距誤差を校正する例について説明したが、測距装置としての光測距部20の用途はこれに限られない。例えば、光測距部20のみで距離を測定する装置はもとより、ステレオカメラ以外の他の距離検出器、例えば、LIDER(Laser Imaging Detection and Ranging:レーザーレーダー)や、超音波レーダーなどの他の測距装置の校正を行うための距離検出器に用いられる場合でも、同様に適用することができる。
【0098】
なお、ステレオカメラのような画像測距部は、自発光を持たない受光型の距離検出器であるため、環境光などの外乱の影響を受けて測距誤差が大きくなることがある。したがって、このような画像測距部の校正のための測距装置として、本実施形態のような自発光型で環境光の影響が少ない光測距部20を用いることは、当該画像測距部の環境光の外乱による距離誤差の変動を抑制できるうえで有効である。
【0099】
以上に説明したものは一例であり、次の態様毎に特有の効果を奏する。
[第1態様]
第1態様は、測定対象物との間に光透過部材(例えばカバーガラス102)が配置される状態で、該測定対象物に照射した照射光(例えば繰り返しパルス光)の反射光を受光することで該測定対象物との距離を測定する測距装置(例えば光測距部20)における距離補正情報の算出方法であって、予め決められた規定距離に配置される校正用対象物(例えば校正用ターゲットT)との間に光透過部材が配置される状態で前記測距装置により該校正用対象物との距離を測定した実測距離を得る実測工程と、前記実測工程で得た前記実測距離と前記規定距離との実測誤差情報に基づいて、前記測距装置による測定距離を補正するための距離補正情報を算出する算出工程とを有することを特徴とするものである。
近年、測距装置は多種多様な場面で利用されることが多くなり、その利用環境によっては、防水性、防塵性、堅牢性などの機能を確保するために、測距装置が外装ケース内に配置される場合がある。この場合、測距装置からの照射光を外装ケース外へ射出し、かつ、測定対象物からの反射光を外装ケース内の測距装置へ入射させることが必要となるため、照射光及び反射光の光路上の外装ケース部分に、光透過部材を配置することが求められる。
従来の測距装置では、測距装置と測定対象物との間に光透過部材が配置される状況下で測距装置が使用された場合、照射光や反射光が光透過部材を透過する際の速度変動などに起因して、測定距離に誤差が生じる。
本態様においては、このような誤差を補正するための距離補正情報を算出するため、予め決められた規定距離に配置される校正用対象物との間に光透過部材を配置した状態で、測距装置により当該校正用対象物との距離を測定する。そして、この測定により得られる光透過部材を配置した状態での実測距離と規定距離との誤差を示す実測誤差情報を得る。この実測誤差情報は、照射光や反射光が光透過部材を透過する際の速度変動などに起因した誤差を示すものである。したがって、この実測誤差情報に基づいて算出される距離補正情報を用いて測距装置の測定距離を補正すれば、測定対象物との間に光透過部材が配置される状況下での使用が想定されていない測距装置を用いて当該状況下での測距を行う場合に、誤差の少ない測定距離を得ることができる。
【0100】
[第2態様]
第2態様は、第1態様において、前記規定距離は、前記距離補正情報を用いた距離補正を行わないときの前記測距装置による測定誤差が略最大となる距離を含むことを特徴とするものである。
これによれば、距離に応じた測定誤差が周期的に変動する場合において、その誤差変動の誤差ピークにおける測定誤差の実測誤差情報を得ることができる。これにより、距離に応じた測定誤差が周期的に変動する場合の測定誤差波形に沿った適切な誤差補正情報を算出することが可能となる。
【0101】
[第3態様]
第3態様は、第1又は第2態様において、測定対象物との間に前記光透過部材が配置されない状態で前記測距装置により該測定対象物との距離を測定するときの測定誤差情報又は該測定誤差情報から得られる第2の距離補正情報(例えば初期誤差補正情報)を取得する取得工程と、前記算出工程では、前記実測誤差情報と前記取得工程で取得した測定誤差情報又は前記第2の距離補正情報とに基づいて、前記距離補正情報を算出することを特徴とするものである。
測定対象物との間に前記光透過部材が配置されない状態で前記測距装置により該測定対象物との距離を測定するときの測定誤差情報は、既知の情報である場合が多い。よって、本態様においては、既知の情報を利用して距離補正情報を算出できるので、簡易に距離補正情報を算出することが可能である。
【0102】
[第4態様]
第4態様は、第1乃至第3態様のいずれかにおいて、前記実測工程では、互いに異なる少なくとも2つの規定距離に配置される校正用対象物との距離を前記測距装置により測定し、前記算出工程では、前記実測工程で得た前記少なくとも2つの規定距離についての実測距離L3,L8とそれぞれの前記規定距離との実測誤差情報ΔL3,ΔL8に基づいて、前記距離補正情報を算出することを特徴とするものである。
これによれば、距離に応じた測定誤差が周期的に変動する場合の測定誤差波形に沿った適切な誤差補正情報を算出することが可能となる。
【0103】
[第5態様]
第5態様は、第4態様において、前記測距装置は、光量が周期的に変動する照射光(例えば繰り返しパルス光)を測定対象物に照射し、該測定対象物からの反射光と該照射光との位相差に基づいて測定対象物との距離を導出するものであり、前記少なくとも2つの規定距離は、前記照射光の周期のn/2に相当する距離分だけ離れた2つの距離を含むことを特徴とする距離補正情報のものである。ただし、nは自然数である。
これによれば、距離に応じた測定誤差が周期的に変動する場合の測定誤差波形に沿った適切な誤差補正情報を算出することが可能となる。
【0104】
[第6態様]
第6態様は、光量が周期的に変動する照射光(例えば繰り返しパルス光)を照射したときの測定対象物の反射光を受光し、該照射光と該反射光との位相差に基づいて測定対象物との距離を測定する測距装置における距離補正情報の算出方法であって、互いに異なる少なくとも2つの規定距離に配置される校正用対象物との距離を前記測距装置により測定した実測距離L3,L8を得る実測工程と、前記実測工程で得た前記少なくとも2つの規定距離についての実測距離とそれぞれの前記規定距離との実測誤差情報ΔL3,ΔL8に基づいて、前記測距装置による測定距離を補正するための距離補正情報を算出する算出工程とを有し、前記少なくとも2つの規定距離は、前記照射光の周期のn/2に相当する距離分だけ離れた2つの距離を含むことを特徴とする距離補正情報のものである。ただし、nは自然数である。
本態様によれば、測定対象物との間に光透過部材が配置されているか否かにかかわらず、距離に応じた測定誤差が周期的に変動する場合の測定誤差波形に沿った適切な誤差補正情報を算出することが可能となる。
【0105】
[第7態様]
第7態様は、第4乃至第6態様のいずれかにおいて、前記実測誤差情報は、前記実測工程で得た前記少なくとも2つの規定距離についての実測距離L3,L8とそれぞれの前記規定距離との誤差値ΔL3,ΔL8の平均値(=(ΔL3+ΔL8)/2)を含むことを特徴とするものである。
これによれば、距離に応じた測定誤差が周期的に変動する場合の測定誤差波形の全体にわたって誤差を小さくできる誤差補正情報を算出することが可能となる。
【0106】
[第8態様]
第8態様は、第4乃至第7態様のいずれかにおいて、前記実測誤差情報は、前記実測工程で得た前記少なくとも2つの規定距離についての実測距離L3,L8とそれぞれの前記規定距離との誤差値ΔL3,ΔL8間における差分の絶対値の平均値(=|ΔL3-ΔL8|/2)を含むことを特徴とする距離補正情報のものである。
これによれば、距離に応じた測定誤差が周期的に変動する場合の測定誤差波形の誤差ピークにおける誤差を小さくできる誤差補正情報を算出することが可能となる。
【0107】
[第9態様]
第9態様は、第4乃至第8態様のいずれかにおいて、前記実測誤差情報は、前記実測工程で得た前記少なくとも2つの規定距離についての実測距離L3,L8とそれぞれの前記規定距離との誤差値ΔL3,ΔL8を線形近似した直線近似誤差情報を含むことを特徴とするものである。
これによれば、距離に応じた測定誤差が周期的に変動する場合の測定誤差波形の中で線形に近い波形をもつ範囲についての誤差を小さくできる誤差補正情報を簡易に算出することが可能となる。
【0108】
[第10態様]
第10態様は、第4乃至第8態様のいずれかにおいて、前記実測誤差情報は、前記実測工程で得た前記少なくとも2つの規定距離についての実測距離L3,L8とそれぞれの前記規定距離との誤差値ΔL3,ΔL8を曲線近似した曲線近似誤差情報を含むことを特徴とするものである。
これによれば、距離に応じた測定誤差が周期的に変動する場合の測定誤差波形についての誤差を小さくできる適切な誤差補正情報を算出することが可能となる。
【0109】
[第11態様]
第11態様は、第10態様において、前記曲線近似誤差情報は、前記誤差値を正弦曲線で近似したものであることを特徴とするものである。
これによれば、距離に応じた測定誤差が周期的に変動する場合の測定誤差波形が正弦曲線に近いときの誤差を小さくできる適切な誤差補正情報を算出することが可能となる。
【0110】
[第12態様]
第12態様は、第10又は第11態様において、前記曲線近似誤差情報は、前記照射光及び前記反射光が光透過部材を透過する時の光の速度変化に応じて位相が修正されたものであることを特徴とするものである。
これによれば、測距装置と測定対象物との間に配置される光透過部材の影響で、距離に応じた測定誤差が周期的に変動する場合の測定誤差波形の位相がずれる場合でも、測定誤差を小さくできる適切な誤差補正情報を算出することが可能となる。
【0111】
[第13態様]
第13態様は、測定対象物に照射した照射光の反射光を受光することで該測定対象物との距離を測定する測距部(例えば光測距部20)と、前記測距部と前記測定対象物との間に配置される光透過部材(例えばカバーガラス102)とを備えた測距装置(例えば、ステレオカメラ装置100における光測距部20とカバーガラス102とで構成される装置部分)であって、予め決められた規定距離に配置される校正用対象物との間に光透過部材が配置される状態で前記測距装置により該校正用対象物との距離を測定した実測距離と前記規定距離との実測誤差情報に基づいて得られる距離補正情報を用いて、測定距離を補正する補正手段(例えば距離補正部65)を有することを特徴とするものである。
これによれば、測定対象物との間に光透過部材が配置される状況下での使用が想定されていない測距部を用いて当該状況下での測距を行う場合に、誤差の少ない測定距離を得ることのできる測距装置を実現できる。
【0112】
[第14態様]
第14態様は、光量が周期的に変動する照射光を照射したときの測定対象物の反射光を受光し、該照射光と該反射光との位相差に基づいて測定対象物との距離を測定する測距装置であって、互いに異なる少なくとも2つの規定距離に配置される校正用対象物との距離を前記測距装置により測定した実測距離とそれぞれの前記規定距離との実測誤差情報に基づいて得られる距離補正情報を用いて、測定距離を補正する補正手段を有し、前記少なくとも2つの規定距離は、前記照射光の周期のn/2に相当する距離分だけ離れた2つの距離を含むことを特徴とするものである。
これによれば、測定対象物との間に光透過部材が配置されているか否かにかかわらず、誤差の少ない測定距離を得ることのできる測距装置を実現できる。
【0113】
[第15態様]
第15態様は、移動体(例えばブルドーザ500)であって、第13又は第14態様の測距装置を備えることを特徴とするものである。
移動体では、通常、距離不明の測定対象物の位置が移動体に対して刻々と変化するので、移動体に搭載される測距装置においてキャリブレーションを行うことが困難であり、測定した距離が正しいかどうかを当該測距装置で自ら判断することが難しい。特に、路上を直線的に走る乗用車等の車両と異なり、建設機械車両などは、前進、後退、回転を頻繁に繰り返すため、キャリブレーションを行うことが困難である。本態様によれば、このような移動体においても、距離測定値を補正して、誤差の少ない測定距離を取得することが可能である。
【0114】
[第16態様]
第16態様は、第15態様において、当該移動体は、荷役車両であり、前記測距装置は、前記荷役車両の外部に配置されることを特徴とするものである。
これによれば、誤差の少ない測定距離を取得できる荷役車両を提供できる。
【0115】
[第17態様]
第17態様は、ステレオカメラ装置であって、画像測距部の校正を実施するための光測距部を有し、画像測距部と光測距部のカバーガラスを共通としたことを特徴とするものである。
これによれば、画像測距部と光測距部のそれぞれの光路上に配置されるカバーガラス間の位置合わせ精度が向上し、画像測距部及び光測距部のそれぞれの測定距離の精度を高めやすい。
【符号の説明】
【0116】
10A,10B:カメラ
11A,11B:撮像素子
12A,12B:撮像素子基板
13A,13B:カメラレンズ
14A,14B:カメラ筐体
20 :光測距部
21 :光源
22 :光源基板
23 :投光レンズ
24 :受光素子
25 :受光素子基板
26 :受光レンズ
27 :光測距部筐体
30 :保持部材
40 :装置筐体
50 :制御部
51 :画像処理部
52 :視差演算部
53 :校正演算部
54 :距離演算部
60 :光測距制御部
61 :発光制御部
62 :時間計測部
63 :補正情報算出部
64 :記憶部
65 :距離補正部
100 :ステレオカメラ装置
101 :外装ケース
101a :カメラ用開口部
101b :光測距用開口部
102 :カバーガラス
500 :ブルドーザ
501 :リーフ
502 :ピラー
【先行技術文献】
【特許文献】
【0117】