(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024079592
(43)【公開日】2024-06-11
(54)【発明の名称】測距システム及びプログラム
(51)【国際特許分類】
G01S 7/497 20060101AFI20240604BHJP
【FI】
G01S7/497
【審査請求】未請求
【請求項の数】11
【出願形態】OL
(21)【出願番号】P 2023186009
(22)【出願日】2023-10-30
(31)【優先権主張番号】P 2022191983
(32)【優先日】2022-11-30
(33)【優先権主張国・地域又は機関】JP
(71)【出願人】
【識別番号】000006747
【氏名又は名称】株式会社リコー
(74)【代理人】
【識別番号】100107766
【弁理士】
【氏名又は名称】伊東 忠重
(74)【代理人】
【識別番号】100070150
【弁理士】
【氏名又は名称】伊東 忠彦
(72)【発明者】
【氏名】篠田 尚輝
【テーマコード(参考)】
5J084
【Fターム(参考)】
5J084AA05
5J084AD01
5J084BA20
5J084BA34
5J084BA40
5J084CA65
5J084DA01
5J084DA07
5J084DA08
5J084EA12
(57)【要約】
【課題】複数の受光部それぞれの出力に基づく距離情報の補正精度に優れた測距システム及びプログラムを提供する。
【解決手段】開示の一態様に係る測距システムは、投射光を投光する投光部と、物体で反射された前記投射光を含む光をそれぞれ受光する複数の受光部と、各々の前記受光部の出力に基づき距離情報を出力する測距処理部と、前記距離情報を補正する補正部と、を備え、前記複数の受光部の各々の前記受光部における前記光の入射範囲は、他の前記受光部の前記光の入射範囲と重なる重複領域を含み、前記複数の受光部の数は、3つ以上であり、3つ以上の前記受光部により、前記重複領域は、少なくとも2つ形成され、前記補正部は、前記複数の受光部の各々の前記受光部の、前記重複領域に対応する受光領域からの出力に基づき、前記距離情報の補正を行う。
【選択図】
図1
【特許請求の範囲】
【請求項1】
投射光を投光する投光部と、
物体で反射された前記投射光を含む光をそれぞれ受光する複数の受光部と、
各々の前記受光部の出力に基づき距離情報を出力する測距処理部と、
前記距離情報を補正する補正部と、
を備え、
前記複数の受光部の各々の前記受光部における前記光の入射範囲は、他の前記受光部の前記光の入射範囲と重なる重複領域を含み、
前記複数の受光部の数は、3つ以上であり、
3つ以上の前記受光部により、前記重複領域は、少なくとも2つ形成され、
前記補正部は、前記複数の受光部の各々の前記受光部の、前記重複領域に対応する受光領域からの出力に基づき、前記距離情報の補正を行う、測距システム。
【請求項2】
少なくとも2つの前記重複領域は、前記複数の受光部のうちの第1の受光部と第2の受光部により形成される第1の重複領域と、前記複数の受光部のうちの前記第2の受光部と第3の受光部により形成される第2の重複領域と、を含み、
前記補正部は、前記第1の受光部の前記第1の重複領域に対応する受光領域からの第1の出力と、前記第2の受光部の前記第1の重複領域に対応する受光領域からの第2の出力と、前記第2の受光部の前記第2の重複領域に対応する受光領域からの第3の出力と、前記第3の受光部の前記第2の重複領域に対応する受光領域からの第4の出力と、に基づき、前記第1の受光部、前記第2の受光部及び前記第3の受光部からの出力に基づく前記距離情報の補正を行う、請求項1に記載の測距システム。
【請求項3】
前記複数の受光部により、360度の画角が形成され、
前記複数の受光部の各々の前記受光部における前記光の入射範囲は、他の前記受光部の前記光の入射範囲と重なる前記重複領域を複数含み、
前記重複領域は、前記複数の受光部の数と同数以上形成され、
前記補正部は、前記複数の受光部のそれぞれの前記重複領域に対応する受光領域からの6つ以上の出力に基づき前記距離情報の補正を行う、請求項1又は請求項2に記載の測距システム。
【請求項4】
前記複数の受光部の少なくとも1つの受光部の温度を測定し温度情報を出力する温度測定部をさらに有する、請求項1に記載の測距システム。
【請求項5】
投射光を投光する投光部と、
物体で反射された前記投射光を含む光をそれぞれ受光する複数の受光部と、
前記複数の受光部の少なくとも1つの受光部の温度を測定し温度情報を出力する温度測定部と、
各々の前記受光部の出力に基づき距離情報を出力する測距処理部と、
前記距離情報を補正する補正部と、
を備え、
前記複数の受光部の各々の前記受光部における前記光の入射範囲は、他の前記受光部の前記光の入射範囲と重なる重複領域を含み、
前記補正部は、前記温度情報と、前記複数の受光部の各々の前記受光部の、前記重複領域に対応する受光領域からの出力と、に基づき前記距離情報の補正を行う、測距システム。
【請求項6】
前記重複領域は、前記複数の受光部のうちの第1の受光部と第2の受光部により形成される第1の重複領域を含み、
前記温度測定部は、前記第1の受光部の温度を測定し、
前記補正部は、前記第1の受光部の前記温度情報と、前記第1の受光部の前記第1の重複領域に対応する受光領域からの第1の出力と、前記第2の受光部の前記第1の重複領域に対応する受光領域からの第2の出力と、に基づき、前記距離情報の補正を行う、請求項4又は請求項5に記載の測距システム。
【請求項7】
前記受光部の温度が所定値以上となった場合に、前記距離情報を補正するための測距を行うよう制御する測距タイミング制御部を更に有する、請求項4又は請求項5に記載の測距システム。
【請求項8】
前記補正部は、前記重複領域に対応する受光領域からの出力と、前記入射範囲の前記重複領域よりも中央側の中央領域に対応する受光領域の出力とに基づき前記距離情報を補正する、請求項1、請求項2、請求項4又は請求項5に記載の測距システム。
【請求項9】
前記重複領域に計測対象物が存在しない場合に通知を行う通知部を更に有する、請求項1、請求項2、請求項4又は請求項5に記載の測距システム。
【請求項10】
複数の受光部から各々の前記受光部の出力が入力されるステップと、
各々の前記受光部の出力に基づき距離情報を出力するステップと、
前記距離情報を補正するステップと、
を、コンピュータに実行させ、
前記複数の受光部の数は、3つ以上であり、3つ以上の前記受光部により、前記複数の受光部の各々の前記受光部における光の入射範囲が他の前記受光部の前記光の入射範囲と重なる重複領域が、少なくとも2つ形成され、前記受光部の出力が入力されるステップにおいて、各々の前記受光部の出力は、少なくとも、2つの前記重複領域に対応する受光領域からの出力を含み、
前記補正するステップにおいて、前記複数の受光部の各々の前記受光部の、前記重複領域に対応する前記受光領域からの出力に基づき、前記距離情報の補正を行う処理を前記コンピュータに実行させる、プログラム。
【請求項11】
複数の受光部から各々の前記受光部の出力が入力されるステップと、
前記複数の受光部の少なくとも1つの受光部で測定された温度の温度情報が入力されるステップと、
各々の前記受光部の出力に基づき距離情報を出力するステップと、
前記距離情報を補正するステップと、
を、コンピュータに実行させ、
前記受光部の出力が入力されるステップにおいて、各々の前記受光部の出力は、前記複数の受光部の各々の前記受光部における光の入射範囲が他の前記受光部の前記光の入射範囲と重なる重複領域に対応する受光領域からの出力を含み、
前記補正するステップにおいて、前記温度情報と、前記複数の受光部の各々の前記受光部の、前記重複領域に対応する前記受光領域からの出力と、に基づき前記距離情報の補正を行う処理を前記コンピュータに実行させる、プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、測距システム及びプログラムに関する。
【背景技術】
【0002】
光を投光してから反射光を受光するまでの時間に基づき物体までの距離を測定するToF(Time of Flight)方式の測距システム、測距装置及び測距方法が知られている。
【0003】
また、複数の第1種デバイスと、複数の第2種デバイスと、を備えた複合入出射装置が開示されている(例えば、特許文献1参照)。この装置では、複数の第2種デバイス等の複数の受光部のそれぞれによる測定範囲が隣接する受光部による測定範囲に重なり合うように、複数の受光部が配置されている。この装置は、複数の受光部の出力に基づき物体を測定した場合の測定範囲に生じるずれを補正する。
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、特許文献1の装置では、複数の受光部それぞれの出力に基づく距離の測定範囲等の距離情報の補正精度に改善の余地がある。
【0005】
開示の技術は、複数の受光部それぞれの出力に基づく距離情報の補正精度に優れた測距システム及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【0006】
開示の技術の一態様に係る測距システムは、投射光を投光する投光部と、物体で反射された前記投射光を含む光をそれぞれ受光する複数の受光部と、各々の前記受光部の出力に基づき距離情報を出力する測距処理部と、前記距離情報を補正する補正部と、を備え、前記複数の受光部の各々の前記受光部における前記光の入射範囲は、他の前記受光部の前記光の入射範囲と重なる重複領域を含み、前記複数の受光部の数は、3つ以上であり、3つ以上の前記受光部により、前記重複領域は、少なくとも2つ形成され、前記補正部は、前記複数の受光部の各々の前記受光部の、前記重複領域に対応する受光領域からの出力に基づき、前記距離情報の補正を行う。
【発明の効果】
【0007】
開示の技術によれば、複数の受光部それぞれの出力に基づく距離情報の補正精度に優れた測距システム及びプログラムを提供することができる。
【図面の簡単な説明】
【0008】
【
図1】
図1は、第1実施形態の測距装置の構成の一例を示す図である。
【
図2】
図2は、第1実施形態の測距装置の概略構成の一例を示す図である。
【
図3】
図3は、第1実施形態の光学系の配置の一例を示す図である。
【
図4】
図4は、第1実施形態の測距装置のハードウェア構成の例を示すブロック図である。
【
図5】
図5は、第1実施形態の測距装置の機能構成の一例を示すブロック図である。
【
図6】
図6は、第1実施形態の測距装置における測距プロセスを説明する図である。
【
図7】
図7は、ToFセンサの画角と計測対象物の位置関係を示す模式図である。
【
図8】
図8は、ToFセンサを用いて取得された距離画像の例を示す模式図である。
【
図9】
図9は、第2実施形態の測距装置の機能構成例を示すブロック図である。
【
図10】
図10は、第3実施形態の測距システムの機能構成例を示すブロック図である。
【
図11】
図11は、ToFセンサの画角と計測対象物の位置関係を示す模式図である。
【発明を実施するための形態】
【0009】
以下、図面を参照して発明を実施するための形態について説明する。各図面において、同一構成部分には同一符号を付し、重複した説明を省略する場合がある。
【0010】
[第1実施形態]
<全体構成>
図1から
図3を参照して、第1実施形態の測距システムの一例である撮像装置の構成を説明する。
図1は、第1実施形態の撮像装置100の構成を示す外観斜視図、
図2は、撮像装置100の概略構成の一例を示す図である。
図3は、第1実施形態の光学系の配置の一例を示す図である。
【0011】
本実施形態では、撮像装置100は、TоF方式の測距機能と、輝度カメラ(RGBカメラや白黒カメラ)としての機能を有する。また、撮像装置100は、全天球画像を撮影することができる。なお、以下、撮像装置100の測距装置としての機能を中心に説明するため、「撮像装置100」を「測距装置100」と言い換える場合がある。
【0012】
図1及び
図2に示すように、測距装置100は、投光ユニット21と、ToF受光ユニット61と、輝度受光ユニット35と、基板と、を備える。また、投光ユニット21とToF受光ユニット61とがToF方式の測距装置を構成する。すなわち、投光ユニット21とToF受光ユニット61とが、ToFカメラとして機能する。また、輝度受光ユニット35が輝度カメラとして機能する。
【0013】
投光ユニット21は、計測対象領域に向けて測距光(赤外光等)を照射する。投光ユニット21は、赤外光を放出する光源210と、発散角を広げる光学素子からなるTоF投光系111(投射光学系)を含む。光源210からの光が、TOF投光系111の光学素子を介して広角に出射される。
【0014】
図2及び
図3に示すTоF投光系111の光学素子は、例えば、レンズ、回折光学素子(DOE: Diffractive Optical Element)、拡散板等を含む。光源210は、例えば、2次元アレイの垂直共振器型面発光レーザ(VCSEL;Vertical Cavity Surface Emitting Laser)である。本実施形態の測距装置100は、互いに反対方向を向いて配置された2個の投光ユニット21を有している。
【0015】
投光ユニット21から出射された測距光は、計測対象領域に存在する物体(計測対象物)で反射される。TоF受光ユニット61は、計測対象領域の物体からの反射光を受光する。TоF受光ユニット61は、測距光に感度を有するTоFセンサ110と、入射光をTоFセンサ110へ導く光学素子からなるTоF受光光学系112(第1受光光学系)を含む。
【0016】
図2及び
図3に示すTоF受光光学系112の光学素子は、例えばレンズを含む。これに対して、ToFセンサ110は受光画素が二次元に配列した受光素子(CMOS撮像素子等)であり、各画素が計測対象領域内の各位置と対応している。そのため、ToF受光ユニット61は、計測対象領域内の各位置からの光を個別に受光することができる。本実施形態の測距装置100は、互いに異なる方向を向いて配置された4個のTоF受光ユニット61を有している。
【0017】
輝度受光ユニット35は、CMOSセンサ33により2次元画像を取得する。輝度受光ユニット35は、輝度画像(RGB画像や白黒画像)を撮影するためのCMOSセンサ33と、入射光をCMOSセンサ33へ導く光学素子からなる輝度受光光学系113(第2受光光学系)を含む。輝度受光光学系113の光学素子は、例えばレンズを含む。
【0018】
基板は、投光ユニット21とTоF受光ユニット61と輝度受光ユニット35とを駆動または制御するための基板である。基板は、例えばCMOS基板、光源基板、メイン基板を含み、光源210、TоFセンサ110、CMOSセンサ33のそれぞれとケーブル等を介して接続される。基板に形成された回路により制御部120が構成される。
【0019】
ここで、投光ユニット21は、投射光を投光する投光部の一例である。TоF受光ユニット61のToFセンサ110は、物体で反射された投射光を含む光が入射する「受光部」の一例である。
【0020】
本実施形態では、
図1及び
図2に示すように、測距装置100はZ軸方向に長い長手形状である。測距装置100の最も+Z方向側に配設される一段目には、各々の画角が120度以上の4つのTоF受光光学系112が、XY平面内の3方向と+Z方向である1方向を向くよう配置されている。
【0021】
図2及び
図3に示すように、測距装置100の一段目より-Z方向側に配設される二段目には、各々の画角が180度以上の2つのTоF投光系111と、各々の画角が180度の2つの輝度受光光学系113とが配置されている。2つのTоF投光系111はそれぞれ反対方向(+X方向と-X方向)を向き、2つの輝度受光光学系113もそれぞれ反対方向(+Y方向と-Y方向)を向いている。
【0022】
測距装置100の-Z方向側の下段には、制御部120、バッテリー130が配置されている。これにより、全天球をカバーする光学系をコンパクトに配置し、測距装置を小型化することができる。
【0023】
制御部120は、投光ユニット21(投光部)が投光するタイミングを制御するとともに、TоF受光ユニット61による受光を検出する。まず、制御部120は、光源210を駆動するタイミングを制御し、計測対象領域に向かって光を照射させる。さらに、TоFセンサ110で受光した光を光電変換し、距離に関する情報を含む画像(以下、「距離画像」という)として出力する。同時に、CMOSセンサ33による撮像を行い、輝度画像を出力する。
【0024】
ここで、TоFセンサ110として直接TоFセンサを用いた場合は、各画素での受光タイミングに基づく距離画像が出力される。一方、TоFセンサ110として間接TоFセンサを用いる場合、詳細は後述するが、異なる4つの位相において各画素での受光量に基づく位相画像が出力される。4つの位相画像から距離画像を生成することができる。
【0025】
<測距装置のハードウェア構成>
次に、
図4を参照して、第1実施形態の測距装置100のハードウェア構成の一例を説明する。
図4は、第1実施形態の測距装置100のハードウェア構成の例を示すブロック図である。
図4に示されるように、本実施形態の測距装置100における制御部120は、CPU(Central Processing Unit)241と、ROM(Read Only Memory)242と、RAM(Random Access Memory)243と、I/Oポート244とを備えている。
【0026】
CPU241は、ROM242等の記憶媒体に記憶されたプログラムを実行することにより、順次、分岐及び反復処理等を実行する演算装置である。ROM242は、CPU241で実行されるプログラム等が記憶された不揮発性記憶装置である。RAM243は、CPU241の動作のワークエリア(作業領域)として機能するメモリである。I/Oポート244は、各種信号の入出力を行うインターフェースである。また、これらは、バスを介して相互に接続される。プログラムは、ROM242以外の記録媒体に記憶させていてもよい。記録媒体の例として、フレキシブルディスク、ハードディスク、CD-ROM、MO、DVD-ROM、メモリーカード等が挙げられる。また、プログラムは、通信回線を介して、ROM242にインストールされてもよい。なお、測距装置100の制御部120は、「コンピュータ」の一例である。
【0027】
<測距装置の機能構成>
次に、
図5を参照して、第1実施形態の測距装置100の機能構成の一例を説明する。
図5は、第1実施形態の測距装置100の機能構成例を示すブロック図である。測距装置100は、前述のプログラムを実行することで、以下の機能を実現するための各種処理、ステップを実行する。
【0028】
図5に示されるように、測距装置100は、光源210、ToFセンサ110、温度測定部23、制御部120を有する。制御部120は、光源210、ToFセンサ110の各種動作を制御する。また、制御部120は、投光制御部12、受光制御部22、制御演算部30、補正部40等を有する。
【0029】
投光制御部12は、所定のタイミングに基づいて測距光LOを投光するよう、光源210の駆動を制御する。また、投光制御部12は、投光のタイミングとともに測距光LOの変調周波数、露光時間、繰り返し回数などの情報を光源210に出力する。光源210は、投光制御部12から出力されるこれらの情報に基づき、計測対象物Oに測距光LOを投光する。なお、本実施形態の投光制御部12は、CPU241等によって実現される。
【0030】
受光制御部22は、計測対象物Oにより反射され、ToFセンサ110で受光される反射光LRの受光タイミングを制御する。ここで、ToFセンサ110の受光センサ面は複数の「電荷蓄積窓」を有する。受光制御部22は、電荷蓄積窓の開閉を個別に制御するタイミングをToFセンサ110に出力し、このタイミングに基づき反射光LRの受光が行われる。ToFセンサ110は、各電荷蓄積窓の開閉のタイミングで、受光した反射光に応じた電荷を蓄積する。なお、本実施形態の受光制御部22は、CPU241等によって実現される。
【0031】
ToFセンサ110は、受光した反射光LRに係る電荷蓄積窓ごとの蓄積電荷量の情報を制御演算部30に出力する。電荷蓄積窓ごとの蓄積電荷量の情報を受けた制御演算部30は、測距に必要な演算を行う。すなわち、制御演算部30は、ToFセンサ110からの出力に基づいて計測対象物Oの距離情報を算出する。制御演算部30は、「測距処理部」の一例である。なお、本実施形態の制御演算部30は、CPU241等によって実現される。
【0032】
温度測定部23は、ToFセンサ110付近に配置され、ToFセンサ110の測距時の温度を検出する。温度測定部23の例として、サーミスター等の温度センサが挙げられる。
【0033】
補正部40は、制御演算部30で演算された計測対象物Oの距離情報を補正する。例えば、補正部40は、あらかじめ温度に対する測距値の変化を関数またはテーブル情報として取得し、測距時に、温度測定部23から出力されるToFセンサ110の温度情報を用いて距離情報を補正してもよい。ただし、補正部40による距離情報の補正は、測距時のToFセンサ110の温度情報以外の情報に基づくものであってもよい。なお、本実施形態の補正部40は、CPU241等によって実現される。また、直接ToFセンサを備える測距装置では、ToFセンサ110からの出力に基づき算出される受光タイミング(受光時間)を補正する。
【0034】
位相制御部14は、投光制御部12を介して光源210の発光タイミングのシフトによる位相の制御を行う。なお、本実施形態の位相制御部14は、CPU241等によって実現される。
【0035】
<測距プロセス>
次に、
図6を参照して、第1実施形態の測距装置100における測距プロセスの一例を説明する。
図6は、第1実施形態の測距装置100における測距プロセスを説明する図である。まず、測距装置100の測距プロセスでは、測距光LOの光量変化が「理想的な矩形形状」である場合を想定する。なお、測距装置100の測距プロセスは、間接ToF方式に基づくプロセスである。ただし、測距プロセスは、間接ToF方式に限られず、直接ToF方式であってもよい。
【0036】
図6に示されるように、測距装置100の測距プロセスは、反射光LRを4つの電荷蓄積窓の開閉により4つの電荷蓄積によりサンプリングする。ここで、
図5の最上位の「Output」に、投光される測距光LOのパルス幅が示される。測距光LOは、パルス幅πを有し、位相0で投光される。なお、測距光LOのパルス幅は、投光制御部12から出力される「変調周波数f
mod」により定まる。
【0037】
図6の「Reflect」に、計測対象物Oから反射された反射光LRのパルス幅が示される。反射光LRは、測距光LOの光量変化に応じて矩形形状を有する。また、反射光LRは、パルス幅πを有する。
【0038】
図6の「N0」に、第1の電荷蓄積窓の開閉タイミングが示される。また、「N1」に、第2の電荷蓄積窓の開閉タイミングが示される。また、「N2」に、第3の電荷蓄積窓の開閉タイミングが示される。また、「N3」に、第4の電荷蓄積窓の開閉タイミングが示される。
【0039】
図6に示される「Depth」は、測距光LOが投光されてから、計測対象物Oに反射されてToFセンサ110により受光が開始されるまでの時間間隔に対応する「位相差」である。測距されるべき距離は、このDepthに対応する位相差の「1/2の位相差に対応する距離」である。ToFセンサ110の受光面は、前述のN0からN3の4つの「電荷蓄積窓」を有し、これら4つの電荷蓄積窓が受光制御部22から与えられるタイミングで順次に開閉し、受光量に応じた電荷の蓄積を行う。
【0040】
具体的には、ToF方式における測距プロセスでは、投射光が計測対象物Oに当たり戻ってくるまでの時間差τdに対し、光速c、光源210から計測対象物Oまでの距離dsと計測対象物OからToFセンサ110までの距離drとすると、合計距離dについて
d=(ds+dr)=cτd・・・(1)
が成立する。本実施形態における測距プロセスで用いる間接ToF方式では、直接的に時間差τdを測定するのではなく、光源210からの出力信号と、受光信号間の位相差φから距離を求める。
【0041】
ToFセンサ110によって検出されるのはあくまで光源210から出射された測距光LOが通った距離なので、測定結果である合計距離dは、一般的な装置における、「装置から計測対象物Oまでの距離D」の2倍の数値となる。ここでは、光源210とToFセンサ110とが対称な場所に位置し、ds=drとみなせる場合を仮定する。
【0042】
このとき、
d=2D=(c/2πfmod)×φ・・・式(2)
より、
D=(c/4πfmod)×φ・・・式(3)
である。
【0043】
計測対象物Oで反射した反射光LRは、ToFセンサ110の受光面に到達すると、「電荷蓄積窓」の開閉によって対応する位相の時間内に飛んできた反射光LRの強度に応じた電荷量を蓄積する。すなわち、電荷蓄積窓N0では、投光された測距光LOの投光開始と同時に電荷蓄積窓が開いて「位相πまでの受光による電荷」を蓄積する。同様に、電荷蓄積窓N1では、位相π/2から3π/2まで、電荷蓄積窓N2では、位相πから2πまで、電荷蓄積窓N3では、位相3π/2から5π/2まで、受光による電荷の蓄積を行う。
【0044】
すなわち、各電荷蓄積窓が開閉するタイミングは、位相差π/2で4段階にシフトする。「各サンプリングで蓄積された電荷量」を上記電荷蓄積窓N0、N1、N2、N3に応じて、n0、n1、n2、n3で表すと、離散フーリエ変換により、位相差Depthに対応する距離Dが、次式(4)のように求められる。
D=(1/4πfmod)×arctan{(n1-n3)/(n0-n2)}・・・式(4)
【0045】
<補正の原理>
次に、第1実施形態における距離情報の補正の原理を説明する。補正の原理を説明する際、必要に応じて、
図7を参照する。
図7は、ToFセンサ110の画角と計測対象物の位置関係を示す模式図である。
【0046】
図7に示すように、本実施形態では、ToFセンサ110a、ToFセンサ110b、及びToFセンサ110cが、異なる3方向に、例えば互いに120度異なる方向を向いた状態で配置され、全体として360度の画角が形成されている。ToFセンサ110aは、「第1の受光部」の一例である。ToFセンサ110bは、「第2の受光部」の一例である。ToFセンサ110cは、「第3の受光部」の一例である。また、ToFセンサ110a、ToFセンサ110b、及びToFセンサ110cは、ToFセンサ110aとToFセンサ110bの画角の重複領域S、ToFセンサ110bとToFセンサ110cの画角の重複領域S'、ToFセンサ110cとToFセンサ110aの画角の重複領域S''が生じるように配置されている。ToFセンサ110a、ToFセンサ110b、及びToFセンサ110cの受光画素の二次元配列のうち一部の領域が、重複領域S、重複領域S'又は重複領域S''に対応する受光領域となる。
【0047】
重複領域Sは、「第1の重複領域」の一例である。重複領域S'は、「第2の重複領域」の一例である。重複領域S''は、「第3の重複領域」の一例である。重複領域S、重複領域S'、重複領域S''を総称して、「重複領域」という。
図7に示す受光領域JR1は、ToFセンサ110aの重複領域Sに対応する受光領域である。受光領域JR2は、ToFセンサ110bの重複領域Sに対応する受光領域である。受光領域JR3は、ToFセンサ110bの重複領域S'に対応する受光領域である。受光領域JR4は、ToFセンサ110cの重複領域S'に対応する受光領域である。受光領域JR5は、ToFセンサ110cの重複領域S''に対応する受光領域である。受光領域JR6は、ToFセンサ110aの重複領域S''に対応する受光領域である。受光領域JR1、受光領域JR2、受光領域JR3、受光領域JR4、受光領域JR5、受光領域JR6を総称して、「重複領域に対応する受光領域」という。
【0048】
距離Dは、各電荷蓄積窓の電荷量と三角比で決まるが、実際に、ToFセンサ110を用いて測定される測距値(距離情報)Dactは、真の距離(真値)Dと誤差項D'を用いて、次式でモデル立てできる。
【0049】
Dact=D+D'・・・(5)
【0050】
ここで、誤差項D'は、ToFセンサ110の温度や個体差等、様々な要因から生じる。その中でも、温度に起因する誤差項D'は、使用時の環境によって変化し、測距値への影響が大きい。そのため、以下、誤差項D'を温度に基づく誤差として説明する。
【0051】
図7に示されるように、計測対象物1,2が、ToFセンサ110aの画角内(検出可能な入射光の入射範囲)に含まれるよう配置されている。また、計測対象物2,3が、ToFセンサ110bの画角内に含まれるよう配置されている。計測対象物2が、重複領域Sに含まれる。各々のToFセンサ110は、少なくとも、重複領域に対応する受光領域で受光した結果を出力し、これらの出力により測距値が算出される。
【0052】
このとき、ToFセンサ110a及びToFセンサ110bを用いて測定される測距値は、以下のようになる。なお、この例では、各々のToFセンサ110は、重複領域外を含めたセンサ全領域の受光結果を出力するものとする。
【0053】
Dact11=D1+D1'・・・(6)
Dact12=D2+D1'・・・(7)
Dact22=D2+D2'・・・(8)
Dact23=D3+D2'・・・(9)
【0054】
ここで、Dact11は、ToFセンサ110aを用いて計測対象物1を測定した測距値である。また、Dact12は、ToFセンサ110aを用いて計測対象物2を測定した測距値である。また、Dact22は、ToFセンサ110bを用いて計測対象物2を測定した測距値である。また、Dact23は、ToFセンサ110bを用いて計測対象物3を測定した測距値である。また、D1~D3は、計測対象物1~3の理想的な測距値である。また、D1'は、ToFセンサ110aの温度誤差項である。また、D2'は、ToFセンサ110bの温度誤差項である。
【0055】
隣り合うToFセンサ110a及びToFセンサ110bの画角に含まれる計測対象物2に着目する。上式(7)及び式(8)において、D2は等しいため、以下の式(9)が得られる。
【0056】
Dact12-D1'=Dact22-D2'・・・(9)
式(9)を変形すると、式(10)が得られる。
【0057】
Dact12=Dact22+D1'-D2'・・・(10)
【0058】
式(10)によれば、仮に、ToFセンサ110a及びToFセンサ110bの温度誤差項が既知であれば、ToFセンサ110bを用いた測距値を補正して、ToFセンサ110aを用いた測距値と等しくすることができる。一方、いずれの誤差項D'も既知でない場合のD1'やD2'等の誤差項の算出方法として、例えば、各ToFセンサ110の誤差項と、複数のToFセンサ110のうちの2つのToFセンサ110の測距値の差とを関係づける行列の疑似逆行列を解析的な手法で求め、求められた疑似逆行列に基づき最も確からしい誤差項(D1'、D2'等)の数値を得る等の方法が挙げられる。
【0059】
また、式(9)から、式(11)を得ることができる。
【0060】
D2'=Dact22-Dact12+D1'・・・(11)
【0061】
式(11)によれば、ToFセンサ110aの温度誤差項D1'が既知であれば、ToFセンサ110bの温度誤差項D2'を求めることができる。すなわち、例えば、事前実験等によって、予め1つのToFセンサ110(例えば、ToFセンサ110a)の温度と測距値の誤差とを対応付け、ToFセンサ110aにおける温度と誤差との関数や補正テーブル等を作成しておく。そうすれば、測距時、温度測定部23で検出されたToFセンサ110aの温度から誤差を求め、更に、上式(11)を用いて、別のToFセンサ110(例えば、ToFセンサ110b)の誤差を求めることができる。最終的には、上式(10)を用いて、ToFセンサ110bを用いた測距値を、ToFセンサ110aを用いた測距値と等しくなるよう補正することができる。なお、この例は、温度に基づく誤差に関するものであるが、他の要因に基づく誤差に関しても同様である。
【0062】
また、この例は、ToFセンサ110aとToFセンサ110bに関するものであるが、他のToFセンサ110同士の関係(ToFセンサ110bとToFセンサ110cの関係、ToFセンサ110cとToFセンサ110aの関係等)においても同様である。例えば、ToFセンサ110bとToFセンサ110cの重複領域S'から式(11)と同様に、温度誤差項D2'を式に含む温度誤差項D3'が導出され、温度誤差項D1'が既知であれば、式(11)により、温度誤差項D2'を求めることが可能であるため、結果として、温度誤差項D3'も求めることができる。これにより、すべてのToFセンサ110の誤差項D'を決定することができる。さらに、重複領域S''の結果を利用することで、全体として誤差が少なく、すべてのToFセンサ110間での連続性が保たれた距離画像を出力することができる。本実施形態では、3つのToFセンサ110a、ToFセンサ110b、及びToFセンサ110cの例を示したが、4つ以上のToFセンサ110を用いても、隣り合うToFセンサ110の画角の重複領域があれば、複数のToFセンサ110の誤差項D'のうちのいずれか1つを知ることで、他のToFセンサ110の誤差項D'を導出することができる。このとき、各々のToFセンサ110が、少なくとも1つの重複領域を有するように、複数のToFセンサ110の数より1つ小さい数以上の重複領域を設けることが好ましい。また、
図7に示すように、複数のToFセンサ110によって、360度の画角を形成する場合は、ToFセンサ110の数と同数以上の重複領域を設けることが好ましい。
【0063】
本実施形態では、複数の重複領域のそれぞれに、計測対象物1、計測対象物2、計測対象物3等の計測対象物が配置された状態で同時に投受光を行って測定してもよいし、所定の回動機構を用いて測距装置100自体を回転させたり、測距装置100が備える回動部によりToFセンサ110を回転させたりすることで、それぞれの重複領域を同一の計測対象物へ順に向けることで複数回の投受光を行って測定してもよい。
【0064】
<距離情報の補正>
図7及び
図8を参照して、第1実施形態の測距装置100における距離情報の補正を説明する。
図7は、ToFセンサ110の画角と計測対象物の位置関係を示す模式図である。
図8(a)は、ToFセンサ110aを用いて取得された距離画像の例である。また、
図8(b)は、ToFセンサ110bを用いて取得された距離画像の例である。
【0065】
図7に示されるように、隣り合うToFセンサ110a、ToFセンサ110bの画角の重複範囲に、計測対象物2が含まれる。このとき、
図8(a)に示されるように、計測対象物1,2が、ToFセンサ110aの出力に基づく距離画像に含まれる。また、
図8(b)に示されるように、計測対象物2,3が、ToFセンサ110bの出力に基づく距離画像に含まれる。すなわち、計測対象物2が、双方の距離画像に含まれる。
【0066】
測距装置100の補正部40は、例えば、上式(11)、温度測定部23から出力されるToFセンサ110a近傍の温度情報、及び温度情報に基づくToFセンサ110aの温度誤差を用いて、ToFセンサ110aとToFセンサ110bの温度誤差を関連付ける。また、補正部40は、上式(10)を用いて、ToFセンサ110aとToFセンサ110bとの測距値が等しくなるよう補正する。
【0067】
これにより、隣り合うToFセンサ110a、ToFセンサ110bの画角の重複領域を利用して、双方のToFセンサ110の出力に基づく距離画像の連続性を保つことができる。また、本実施形態によれば、複数のToFセンサ110の全てに対して、温度測定部23を設ける必要がない。そのため、装置構成を簡略化し、省スペース化を図ることができる。
【0068】
ところで、一般に、ToFセンサ110の画角の周辺部に位置する計測対象物の測距値の誤差は、ToFセンサ110の画角の中央部(中央領域)に位置する計測対象物の測距値の誤差に比べて大きい。すなわち、測距値の誤差は、ToFセンサ110の画角内の計測対象物の位置によって変わる。そのため、計測対象物が、ToFセンサ110の画角の中央部に位置するときの測距値に基づいて補正する方法では、隣り合うToFセンサ110a、ToFセンサ110bからの出力に基づく距離画像の連続性が保たれない場合がある。
【0069】
このような事態を避けるため、本実施形態では、隣り合うToFセンサ110a、ToFセンサ110bの画角の周辺部に画角の重複領域Sが設けられるよう、双方のToFセンサ110a、ToFセンサ110bの画角の範囲や位置を調整する。その結果、隣り合うToFセンサ110a、ToFセンサ110bの出力に基づく距離画像の連続性を保つことができる。
【0070】
また、距離画像の連続性を保ちつつ、ToFセンサ110の画角の中央部での誤差を低減するため、ToFセンサ110の画角の周辺部から中央部に亘るサイズを有する計測対象物からの測距値を用いて補正を行ってもよい。例えば、計測対象物までの距離が、ToFセンサ110の画角の中央部から周辺部まで変化しないという仮定のもと、ToFセンサ110の画角の中央部内の中心(レンズ中心)で得られた測距値に、画角の各位置で得られた測距値が一致するように、ToFセンサ110の画角の中央部から周辺部に亘って連続的に補正を行ってもよい。また、他の方法として、重複領域で計測対象物を測定したときの測距値と、測距装置100の位置を変えずに、測距装置100を回転させて、ToFセンサ110の画角の中央部で計測対象物を測定したときの測距値と、に基づき補正を行ってもよい。例えば、重複領域での測距値と、ToFセンサ110の画角の中央部での測距値との平均値を求めてもよいし、ToFセンサ110の画角の中央部での測距値に一致させるよう、重複領域での測距値を補正してもよい。このとき、ToFセンサ110の画角の中央部の値を真値として、重複領域での誤差項D'を決定してもよい。なお、このとき、前述の回動機構や回動部を用いてToFセンサ110を回転させ、ToFセンサ110の画角の周辺部での測距値と中央部での測距値を得てもよい。
【0071】
測距装置100は、工場出荷前に予め行われる距離情報の補正によって、距離情報の補正値を取得してもよく、出荷後の使用時に距離情報の補正値を取得してもよい。また、測距装置100は、異なる温度環境下での複数回の測定により、温度誤差項の数値(補正値)を得てもよい。
【0072】
[第2実施形態]
次に、
図9を参照して、第2実施形態の測距装置を説明する。
図9は、第2実施形態の測距装置100aの機能構成例を示すブロック図である。
【0073】
図9に示されるように、第2実施形態に係る測距装置100aの制御部120aは、測距タイミング制御部50と、通知部60と、を更に有する。
【0074】
測距タイミング制御部50は、例えば、温度測定部23で測定されたToFセンサ110の温度が所定値以上となった場合に、距離情報を補正するための測距を行うよう投光制御部12を制御する。測距タイミング制御部50を設けることで、測距値の温度誤差が大きくなる状況を適切に検出し、精度の高い補正を行うことができる。
【0075】
通知部60は、距離情報の補正を行う際に、隣り合うToFセンサ110aとToFセンサ110bの画角の重複領域に計測対象物が位置せず、測距を行うことができない場合に、補正エラーをユーザに通知する。通知部60を設けることで、補正エラーが生じたことをユーザに確実に伝達することができる。
【0076】
[第3実施形態]
次に、
図10を参照して、第3実施形態の測距システムを説明する。
図10は、第3実施形態の測距システム200の機能構成例を示すブロック図である。
【0077】
本実施形態の制御演算部30や補正部40の機能は、測距装置300とは別の情報処理装置で実現するようにしてもよい。
【0078】
具体的には、
図10に示すように、測距システム200は、光源210、ToFセンサ110、温度測定部23、制御部320等を有する測距装置300と、制御演算部30、補正部40等を有する情報処理装置400と、を備える。制御演算部30及び補正部40が測距装置300の外部の情報処理装置400に備えられる点が第1実施形態及び第2実施形態と異なる。情報処理装置400は、例えば、PC(Personal Computer)等の端末装置や、ネットワークを介して接続されたサーバ等を用いることができる。
【0079】
測距装置300は、ToFセンサ110の蓄積電荷量に関する情報等のデータを情報処理装置400へ出力する。このとき、測距装置300から情報処理装置400へ有線または無線による接続で直接データを送信してもよいし、情報処理装置400とは異なる端末装置(PC等)を介して送信してもよい。また、蓄積電荷量に関する情報に加えて、温度測定部23から出力されるToFセンサ110の温度情報を出力してもよい。距離情報の算出や、距離情報の補正は第1実施形態及び第2実施形態と同様である。また、測距装置300の制御部320は、第2実施形態と同様に、測距タイミング制御部50と、通知部60とを備えてもよい。
【0080】
以上、実施形態について説明したが、本発明は、前述の実施形態に限定されるものではなく、本発明の範囲内で種々の変形及び改良が可能である。例えば、実施形態では、ToF受光光学系112は、4眼の光学系で構成されていたが、
図11に示されるように、2眼の光学系で構成されていてもよい。また、実施形態では、光源210が、全方位状に投射光を投光していたが、ビーム状に絞られた挟角の投射光を走査するようにしてもよい。また、制御演算部(測距処理部)30や補正部40の機能を測距装置100とは別の情報処理装置で実現するようにしてもよい。この場合、互いに通信可能に接続される測距装置100と情報処理装置とで測距システムが構成される。
【0081】
本発明の態様は、例えば、以下のとおりである。
<1> 投射光を投光する投光部と、
物体で反射された前記投射光を含む光をそれぞれ受光する複数の受光部と、
各々の前記受光部の出力に基づき距離情報を出力する測距処理部と、
前記距離情報を補正する補正部と、
を備え、
前記複数の受光部の各々の前記受光部における前記光の入射範囲は、他の前記受光部の前記光の入射範囲と重なる重複領域を含み、
前記複数の受光部の数は、3つ以上であり、
3つ以上の前記受光部により、前記重複領域は、少なくとも2つ形成され、
前記補正部は、前記複数の受光部の各々の前記受光部の、前記重複領域に対応する受光領域からの出力に基づき、前記距離情報の補正を行う、測距システム。
<2> 少なくとも2つの前記重複領域は、前記複数の受光部のうちの第1の受光部と第2の受光部により形成される第1の重複領域と、前記複数の受光部のうちの前記第2の受光部と第3の受光部により形成される第2の重複領域と、を含み、
前記補正部は、前記第1の受光部の前記第1の重複領域に対応する受光領域からの第1の出力と、前記第2の受光部の前記第1の重複領域に対応する受光領域からの第2の出力と、前記第2の受光部の前記第2の重複領域に対応する受光領域からの第3の出力と、前記第3の受光部の前記第2の重複領域に対応する受光領域からの第4の出力と、に基づき、前記第1の受光部、前記第2の受光部及び前記第3の受光部からの出力に基づく前記距離情報の補正を行う、前記<1>に記載の測距システム。
<3> 前記複数の受光部により、360度の画角が形成され、
前記複数の受光部の各々の前記受光部における前記光の入射範囲は、他の前記受光部の前記光の入射範囲と重なる前記重複領域を複数含み、
前記重複領域は、前記複数の受光部の数と同数以上形成され、
前記補正部は、前記複数の受光部のそれぞれの前記重複領域に対応する受光領域からの6つ以上の出力に基づき前記距離情報の補正を行う、前記<1>又は前記<2>に記載の測距システム。
<4> 前記複数の受光部の少なくとも1つの受光部の温度を測定し温度情報を出力する温度測定部をさらに有する、前記<1>から前記<3>のいずれか1つに記載の測距システム。
<5> 投射光を投光する投光部と、
物体で反射された前記投射光を含む光をそれぞれ受光する複数の受光部と、
前記複数の受光部の少なくとも1つの受光部の温度を測定し温度情報を出力する温度測定部と、
各々の前記受光部の出力に基づき距離情報を出力する測距処理部と、
前記距離情報を補正する補正部と、
を備え、
前記複数の受光部の各々の前記受光部における前記光の入射範囲は、他の前記受光部の前記光の入射範囲と重なる重複領域を含み、
前記補正部は、前記温度情報と、前記複数の受光部の各々の前記受光部の、前記重複領域に対応する受光領域からの出力と、に基づき前記距離情報の補正を行う、測距システム。
<6> 前記重複領域は、前記複数の受光部のうちの第1の受光部と第2の受光部により形成される第1の重複領域を含み、
前記温度測定部は、前記第1の受光部の温度を測定し、
前記補正部は、前記第1の受光部の前記温度情報と、前記第1の受光部の前記第1の重複領域に対応する受光領域からの第1の出力と、前記第2の受光部の前記第1の重複領域に対応する受光領域からの第2の出力と、に基づき、前記距離情報の補正を行う、前記<4>又は前記<5>に記載の測距システム。
<7> 前記受光部の温度が所定値以上となった場合に、前記距離情報を補正するための測距を行うよう制御する測距タイミング制御部を更に有する、前記<4>から前記<6>のいずれか1つに記載の測距システム。
<8> 前記補正部は、前記重複領域に対応する受光領域からの出力と、前記入射範囲の前記重複領域よりも中央側の中央領域に対応する受光領域の出力とに基づき前記距離情報を補正する、前記<1>から前記<7>のいずれか1つに記載の測距システム。
<9> 前記重複領域に計測対象物が存在しない場合に通知を行う通知部を更に有する、前記<1>から前記<8>のいずれか1つに記載の測距システム。
<10> 複数の受光部から各々の前記受光部の出力が入力されるステップと、
各々の前記受光部の出力に基づき距離情報を出力するステップと、
前記距離情報を補正するステップと、
を、コンピュータに実行させ、
前記複数の受光部の数は、3つ以上であり、3つ以上の前記受光部により、前記複数の受光部の各々の前記受光部における光の入射範囲が他の前記受光部の前記光の入射範囲と重なる重複領域が、少なくとも2つ形成され、前記受光部の出力が入力されるステップにおいて、各々の前記受光部の出力は、少なくとも、2つの前記重複領域に対応する受光領域からの出力を含み、
前記補正するステップにおいて、前記複数の受光部の各々の前記受光部の、前記重複領域に対応する前記受光領域からの出力に基づき、前記距離情報の補正を行う処理を前記コンピュータに実行させる、プログラム。
<11> 複数の受光部から各々の前記受光部の出力が入力されるステップと、
前記複数の受光部の少なくとも1つの受光部で測定された温度の温度情報が入力されるステップと、
各々の前記受光部の出力に基づき距離情報を出力するステップと、
前記距離情報を補正するステップと、
を、コンピュータに実行させ、
前記受光部の出力が入力されるステップにおいて、各々の前記受光部の出力は、前記複数の受光部の各々の前記受光部における光の入射範囲が他の前記受光部の前記光の入射範囲と重なる重複領域に対応する受光領域からの出力を含み、
前記補正するステップにおいて、前記温度情報と、前記複数の受光部の各々の前記受光部の、前記重複領域に対応する前記受光領域からの出力と、に基づき前記距離情報の補正を行う処理を前記コンピュータに実行させる、プログラム。
【符号の説明】
【0082】
100,100a 撮像装置(測距装置)
12 投光制御部
14 位相制御部
21 投光ユニット
40 補正部
50 測距タイミング制御部
60 通知部
61 受光ユニット
110,110a,110b,110c ToFセンサ
120,120a 制御部
210 光源
【先行技術文献】
【特許文献】
【0083】