知財求人 - 知財ポータルサイト「IP Force」
特開2024-79054測距システム、測距装置、距離情報の補正方法、及び補正用被写体
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024079054
(43)【公開日】2024-06-11
(54)【発明の名称】測距システム、測距装置、距離情報の補正方法、及び補正用被写体
(51)【国際特許分類】
G01S 7/497 20060101AFI20240604BHJP
G01S 17/86 20200101ALI20240604BHJP
G01S 17/894 20200101ALI20240604BHJP
G01C 3/06 20060101ALI20240604BHJP
【ＦＩ】
G01S7/497
G01S17/86
G01S17/894
G01C3/06 120Q
G01C3/06 140
【審査請求】未請求
【請求項の数】8
【出願形態】ＯＬ
(21)【出願番号】P 2022191761
(22)【出願日】2022-11-30
(71)【出願人】
【識別番号】000006747
【氏名又は名称】株式会社リコー
(74)【代理人】
【識別番号】100107766
【弁理士】
【氏名又は名称】伊東 忠重
(74)【代理人】
【識別番号】100070150
【弁理士】
【氏名又は名称】伊東 忠彦
(74)【代理人】
【識別番号】100107515
【弁理士】
【氏名又は名称】廣田 浩一
(72)【発明者】
【氏名】美馬 大樹
【テーマコード（参考）】
2F112
5J084
【Ｆターム（参考）】
2F112AD01
2F112BA06
2F112CA12
2F112DA21
2F112DA25
2F112DA26
2F112DA28
2F112EA07
2F112FA03
2F112GA01
5J084AA05
5J084AD01
5J084AD02
5J084BA04
5J084BA07
5J084BA20
5J084BA34
5J084BA40
5J084BB02
5J084CA07
5J084CA10
5J084CA12
5J084CA19
5J084CA65
5J084CA67
5J084EA11
(57)【要約】
【課題】 距離情報の補正精度に優れた測距装置を提供することを目的とする。
【解決手段】 開示の一態様に係る測距システムは、可視光を含む入射光を受光し撮像する第１撮像部と、投光光を投光する投光部と、前記投光光を含む入射光を受光し撮像する第２撮像部と、前記第２撮像部の出力に基づき距離情報を出力する測距処理部と、前記距離情報を補正するために用いられる補正情報を取得する取得部と、前記測距処理部から出力される前記距離情報を、前記補正情報を用いて補正する補正部と、有し、前記取得部は、前記投光光を所定の吸光率以上で吸収する第１部分を含む第１補正用被写体を撮像した前記第１撮像部及び前記第２撮像部の出力と、前記投光光を所定の反射率以上で反射する第２部分で構成される第２補正用被写体を撮像した前記第１撮像部及び前記第２撮像部の出力と、に基づいて、前記補正情報を取得する。
【選択図】 図１
【解決手段】 開示の一態様に係る測距システムは、可視光を含む入射光を受光し撮像する第１撮像部と、投光光を投光する投光部と、前記投光光を含む入射光を受光し撮像する第２撮像部と、前記第２撮像部の出力に基づき距離情報を出力する測距処理部と、前記距離情報を補正するために用いられる補正情報を取得する取得部と、前記測距処理部から出力される前記距離情報を、前記補正情報を用いて補正する補正部と、有し、前記取得部は、前記投光光を所定の吸光率以上で吸収する第１部分を含む第１補正用被写体を撮像した前記第１撮像部及び前記第２撮像部の出力と、前記投光光を所定の反射率以上で反射する第２部分で構成される第２補正用被写体を撮像した前記第１撮像部及び前記第２撮像部の出力と、に基づいて、前記補正情報を取得する。
【選択図】 図１
【特許請求の範囲】
【請求項1】
可視光を含む入射光を受光し撮像する第１撮像部と、
投光光を投光する投光部と、
前記投光光を含む入射光を受光し撮像する第２撮像部と、
前記第２撮像部の出力に基づき距離情報を出力する測距処理部と、
前記距離情報を補正するために用いられる補正情報を取得する取得部と、
前記測距処理部から出力される前記距離情報を、前記補正情報を用いて補正する補正部と、有し、
前記取得部は、前記投光光を所定の吸光率以上で吸収する第１部分を含む第１補正用被写体を撮像した前記第１撮像部及び前記第２撮像部の出力と、前記投光光を所定の反射率以上で反射する第２部分で構成される第２補正用被写体を撮像した前記第１撮像部及び前記第２撮像部の出力と、に基づいて、前記補正情報を取得する、測距システム。
投光光を投光する投光部と、
前記投光光を含む入射光を受光し撮像する第２撮像部と、
前記第２撮像部の出力に基づき距離情報を出力する測距処理部と、
前記距離情報を補正するために用いられる補正情報を取得する取得部と、
前記測距処理部から出力される前記距離情報を、前記補正情報を用いて補正する補正部と、有し、
前記取得部は、前記投光光を所定の吸光率以上で吸収する第１部分を含む第１補正用被写体を撮像した前記第１撮像部及び前記第２撮像部の出力と、前記投光光を所定の反射率以上で反射する第２部分で構成される第２補正用被写体を撮像した前記第１撮像部及び前記第２撮像部の出力と、に基づいて、前記補正情報を取得する、測距システム。
【請求項2】
前記取得部は、前記補正情報として、前記第１撮像部で撮像された前記第１補正用被写体の第１画像情報と、前記第２撮像部で撮像された前記第１補正用被写体の第２画像情報とを取得し、
前記補正部は、
前記第１画像情報及び前記第２画像情報に基づき、前記第１撮像部及び前記第２撮像部のカメラキャリブレーションを行う、請求項１に記載の測距システム。
前記補正部は、
前記第１画像情報及び前記第２画像情報に基づき、前記第１撮像部及び前記第２撮像部のカメラキャリブレーションを行う、請求項１に記載の測距システム。
【請求項3】
前記取得部は、前記補正情報として、前記第１撮像部で撮像された前記第１補正用被写体の第１画像情報と、前記第２撮像部で撮像された前記第１補正用被写体の第２画像情報と、を取得し、
前記補正部は、
前記第１画像情報から、前記第１撮像部を基準とする座標系での前記第１補正用被写体の位置座標を算出し、
前記第２画像情報から、前記第２撮像部を基準とする座標系での前記第１補正用被写体の位置座標を算出し、
前記第１撮像部を基準とする座標系での前記位置座標と、前記第２撮像部を基準とする座標系での前記位置座標とに基づき、前記第１撮像部を基準とする座標系から前記第２撮像部を基準とする座標系への座標変換パラメータを算出する、請求項１又は請求項２に記載の測距システム。
前記補正部は、
前記第１画像情報から、前記第１撮像部を基準とする座標系での前記第１補正用被写体の位置座標を算出し、
前記第２画像情報から、前記第２撮像部を基準とする座標系での前記第１補正用被写体の位置座標を算出し、
前記第１撮像部を基準とする座標系での前記位置座標と、前記第２撮像部を基準とする座標系での前記位置座標とに基づき、前記第１撮像部を基準とする座標系から前記第２撮像部を基準とする座標系への座標変換パラメータを算出する、請求項１又は請求項２に記載の測距システム。
【請求項4】
前記取得部は、前記補正情報として、前記第１撮像部で撮像された前記第２補正用被写体の第３画像情報と、前記第２撮像部で撮像された前記第２補正用被写体の第４画像情報と、を取得し、
前記補正部は、
前記第３画像情報から、前記座標変換パラメータを用いて、前記第２補正用被写体の位置座標を、前記第２撮像部を基準とする前記座標系での位置座標に変換し、
前記第４画像情報に基づき前記測距処理部から出力される前記第２補正用被写体の前記距離情報を、前記第２撮像部を基準とする前記座標系での前記第２補正用被写体の前記位置座標に基づき補正する、請求項３に記載の測距システム。
前記補正部は、
前記第３画像情報から、前記座標変換パラメータを用いて、前記第２補正用被写体の位置座標を、前記第２撮像部を基準とする前記座標系での位置座標に変換し、
前記第４画像情報に基づき前記測距処理部から出力される前記第２補正用被写体の前記距離情報を、前記第２撮像部を基準とする前記座標系での前記第２補正用被写体の前記位置座標に基づき補正する、請求項３に記載の測距システム。
【請求項5】
前記第１撮像部は輝度カメラであり、前記第２撮像部はＴｏＦカメラである、請求項１又は請求項２に記載の測距システム。
【請求項6】
可視光を含む入射光を受光し撮像する第１撮像部と、
投光光を投光する投光部と、
前記投光光を含む入射光を受光し撮像する第２撮像部と、
前記第２撮像部の出力に基づき距離情報を出力する測距処理部と、
前記距離情報を補正するために用いられる補正情報を取得する取得部と、
前記測距処理部から出力される前記距離情報を、前記補正情報を用いて補正する補正部と、有し、
前記取得部は、前記投光光を所定の吸光率以上で吸収する第１部分を含む第１補正用被写体を撮像した前記第１撮像部及び前記第２撮像部の出力と、前記投光光を所定の反射率以上で反射する第２部分で構成される第２補正用被写体を撮像した前記第１撮像部及び前記第２撮像部の出力と、に基づいて、前記補正情報を取得する、測距装置。
投光光を投光する投光部と、
前記投光光を含む入射光を受光し撮像する第２撮像部と、
前記第２撮像部の出力に基づき距離情報を出力する測距処理部と、
前記距離情報を補正するために用いられる補正情報を取得する取得部と、
前記測距処理部から出力される前記距離情報を、前記補正情報を用いて補正する補正部と、有し、
前記取得部は、前記投光光を所定の吸光率以上で吸収する第１部分を含む第１補正用被写体を撮像した前記第１撮像部及び前記第２撮像部の出力と、前記投光光を所定の反射率以上で反射する第２部分で構成される第２補正用被写体を撮像した前記第１撮像部及び前記第２撮像部の出力と、に基づいて、前記補正情報を取得する、測距装置。
【請求項7】
第１撮像部を用いて、可視光を含む入射光を受光し撮像する第１撮像ステップと、
投光光を投光する投光ステップと、
第２撮像部を用いて、前記投光光を含む入射光を受光し撮像する第２撮像ステップと、
前記第２撮像部からの出力に基づき距離情報を出力する測距処理ステップと、
前記距離情報を補正するために用いられる補正情報を取得する取得ステップと、
前記測距処理ステップにおいて出力される前記距離情報を、前記補正情報を用いて補正する補正ステップと、有し、
前記取得ステップにおいて、前記投光光を所定の吸光率以上で吸収する第１部分を含む第１補正用被写体を撮像した前記第１撮像部及び前記第２撮像部の出力と、前記投光光を所定の反射率以上で反射する第２部分で構成される第２補正用被写体を撮像した前記第１撮像部及び前記第２撮像部の出力と、に基づいて、前記補正情報を取得する、距離情報の補正方法。
投光光を投光する投光ステップと、
第２撮像部を用いて、前記投光光を含む入射光を受光し撮像する第２撮像ステップと、
前記第２撮像部からの出力に基づき距離情報を出力する測距処理ステップと、
前記距離情報を補正するために用いられる補正情報を取得する取得ステップと、
前記測距処理ステップにおいて出力される前記距離情報を、前記補正情報を用いて補正する補正ステップと、有し、
前記取得ステップにおいて、前記投光光を所定の吸光率以上で吸収する第１部分を含む第１補正用被写体を撮像した前記第１撮像部及び前記第２撮像部の出力と、前記投光光を所定の反射率以上で反射する第２部分で構成される第２補正用被写体を撮像した前記第１撮像部及び前記第２撮像部の出力と、に基づいて、前記補正情報を取得する、距離情報の補正方法。
【請求項8】
測距装置の測距処理部から出力される距離情報を補正するための補正用被写体であって、
投光部からの投光光を所定の吸光率以上で吸収する第１部分を含む第１補正用被写体と、
前記投光光を所定の反射率以上で反射する第２部分で構成される第２補正用被写体と、を有する補正用被写体。
投光部からの投光光を所定の吸光率以上で吸収する第１部分を含む第１補正用被写体と、
前記投光光を所定の反射率以上で反射する第２部分で構成される第２補正用被写体と、を有する補正用被写体。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、測距システム、測距装置、距離情報の補正方法、及び補正用被写体に関する。
【背景技術】
【0002】
光を照射してから反射光を受光するまでの時間に基づき物体までの距離を測定するＴｏＦ（Time of Flight）方式の測距装置が知られている。
【0003】
また、三次元座標の相関が明らかな少なくとも三つ以上の特徴点を有する参照物体を撮像した二次元画像に基づいて参照物体までの距離を算出し、算出した参照物体までの距離と距離画像における参照物体までの測距値との比較により、距離画像を補正するための補正量を算出する測距装置が開示されている（例えば、特許文献１参照）。
【発明の概要】
【発明が解決しようとする課題】
【0004】
測距システム、測距装置、及び距離情報の補正方法では、距離情報の高い補正精度が求められている。
【0005】
開示の技術は、距離情報の補正精度に優れた測距システム、測距装置、及び距離情報の補正方法を提供することを目的とする。
【課題を解決するための手段】
【0006】
開示の一態様に係る測距システムは、可視光を含む入射光を受光し撮像する第１撮像部と、投光光を投光する投光部と、前記投光光を含む入射光を受光し撮像する第２撮像部と、前記第２撮像部の出力に基づき距離情報を出力する測距処理部と、前記距離情報を補正するために用いられる補正情報を取得する取得部と、前記測距処理部から出力される前記距離情報を、前記補正情報を用いて補正する補正部と、有し、前記取得部は、前記投光光を所定の吸光率以上で吸収する第１部分を含む第１補正用被写体を撮像した前記第１撮像部及び前記第２撮像部の出力と、前記投光光を所定の反射率以上で反射する第２部分で構成される第２補正用被写体を撮像した前記第１撮像部及び前記第２撮像部の出力と、に基づいて、前記補正情報を取得する。
【発明の効果】
【0007】
開示の技術によれば、距離情報の補正精度に優れた測距システム、測距装置、及び距離情報の補正方法を提供することができる。
【図面の簡単な説明】
【0008】
【発明を実施するための形態】
【0009】
以下、図面を参照して発明を実施するための形態について説明する。各図面において、同一構成部分には同一符号を付し、重複した説明を省略する場合がある。
【0010】
［第１実施形態］
＜全体構成＞
図１及び図２を参照して、第１実施形態に係る撮像装置の構成を説明する。図１は、第１実施形態に係る撮像装置１００の構成を示す外観斜視図、図２は、撮像装置１００の概略構成の一例を示す図である。
＜全体構成＞
図１及び図２を参照して、第１実施形態に係る撮像装置の構成を説明する。図１は、第１実施形態に係る撮像装置１００の構成を示す外観斜視図、図２は、撮像装置１００の概略構成の一例を示す図である。
【0011】
本実施形態の撮像装置１００は、ＴｏＦ方式の測距カメラと、輝度カメラとしての機能を有する。なお、以下、撮像装置１００の測距装置としての機能を中心に説明するため、「撮像装置１００」を「測距装置１００」と言い換える場合がある。また、本実施形態の輝度カメラは、ＲＧＢカメラであるが、白黒カメラであってもよい。
【0012】
図１及び図２に示すように、測距装置１００は、投光ユニット２１と、輝度受光ユニット３５と、ＴｏＦ受光ユニット６１と、基板と、を備える。また、投光ユニット２１とＴｏＦ受光ユニット６１とがＴｏＦ方式の測距装置を構成する。
【0013】
輝度受光ユニット３５が、輝度カメラとして機能する。輝度受光ユニット３５を、以下、「輝度カメラ」という場合がある。輝度カメラ３５は、「第１撮像部」の一例である。また、ＴｏＦ受光ユニット６１が、ＴｏＦカメラとして機能する。ＴｏＦ受光ユニット６１を、以下、「ＴｏＦカメラ６１」という場合がある。ＴｏＦカメラ６１は、「第２撮像部」の一例である。また、「輝度カメラ」と「ＴｏＦカメラ」とを総称して、「撮像部」という場合がある。なお、投光ユニット２１は、「投光部」の一例である。
【0014】
輝度カメラ３５が被写体（計測対象物）を撮像する場合、例えば、自然光等の可視光が照射された被写体からの反射光が、輝度カメラ３５に入射する。これにより、輝度カメラ３５は、被写体からの反射光を含む入射光を受光し、被写体を撮像する。また、ＴｏＦカメラ６１が被写体（計測対象物）を撮像する場合、光源２１０からの投光光（測距光ＬＯを含む）が被写体に投光される。それに伴い、被写体からの投光光の反射光が、ＴｏＦカメラ６１に入射する。これにより、ＴｏＦカメラ６１は、被写体からの反射光を含む入射光を受光し、被写体を撮像する。
【0015】
輝度カメラ３５で撮像された撮影結果（画像情報）は、輝度カメラ３５のカメラキャリブレーション、測距値の補正に用いられる。また、ＴｏＦカメラ６１で撮像された撮影結果（画像情報）は、ＴｏＦカメラ６１のカメラキャリブレーション、測距値の算出、測距値の補正に用いられる。
【0016】
投光ユニット２１は、計測対象領域に向けて測距光（近赤外光等）を照射する。投光ユニット２１は、近赤外光を放出する光源２１０と、発散角を広げる光学素子からなるＴоＦ投光系１１１（投光光学系）を含む。光源２１０からの光が、ＴｏＦ投光系１１１の光学素子を介して広角に出射される。
【0017】
ＴоＦ投光系１１１は、レンズ、回折光学素子（DOE: Diffractive Optical Element）、拡散板等を含む。光源２１０は、例えば、２次元アレイの垂直共振器型面発光レーザ（ＶＣＳＥＬ；Vertical Cavity Surface Emitting Laser）である。本実施形態の測距装置１００は、互いに反対方向を向いて配置された２個の投光ユニット２１を有している。
【0018】
投光ユニット２１から出射された測距光は、計測対象領域に存在する物体（計測対象物）で反射される。ＴｏＦカメラ６１は、計測対象領域の物体からの反射光を受光する。ＴｏＦカメラ６１は、測距光に感度を有するＴｏＦセンサ１１０と、入射光をＴоＦセンサ１１０へ導く光学素子からなるＴｏＦ受光光学系１１２（第１受光光学系）を含む。
【0019】
ＴｏＦ受光光学系１１２の光学素子は、例えばレンズを含む。これに対して、ＴｏＦセンサ１１０は受光画素が二次元に配列した受光素子（ＣＭＯＳ撮像素子等）であり、各画素が計測対象領域内の各位置と対応している。そのため、ＴｏＦカメラ６１は、計測対象領域内の各位置からの光を個別に受光することができる。本実施形態の測距装置１００は、互いに異なる方向を向いて配置された４個のＴｏＦカメラ６１を有している。
【0020】
輝度カメラ３５は、ＣＭＯＳセンサ３３により２次元画像を取得する。輝度カメラ３５は、輝度画像（ＲＧＢ画像や白黒画像）を撮影するためのＣＭＯＳセンサ３３と、入射光をＣＭＯＳセンサ３３へ導く光学素子からなる輝度受光光学系１１３（第２受光光学系）を含む。輝度受光光学系１１３の光学素子は、例えばレンズを含む。
【0021】
基板は、投光ユニット２１とＴｏＦカメラ６１と輝度カメラ３５とを駆動または制御するための基板である。基板は、例えばＣＭＯＳ基板、光源基板、メイン基板を含み、光源２１０、ＴоＦセンサ１１０、ＣＭＯＳセンサ３３のそれぞれとケーブル等を介して接続される。基板に形成された回路により制御部１２０が構成される。
【0022】
本実施形態では、図１及び図２に示すように、測距装置１００はＺ軸方向に長い形状を有する。測距装置１００の最も＋Ｚ方向側に位置する一段目には、各々の画角が１２０度以上の４つのＴｏＦ受光光学系１１２が、ＸＹ平面内の３方向と＋Ｚ方向である１方向を向くよう配置されている。
【0023】
測距装置１００の一段目より－Ｚ方向側に配設される二段目には、各々の画角が１８０度以上の２つのＴｏＦ投光系１１１と、各々の画角が１８０度の２つの輝度受光光学系１１３とが配置されている。２つのＴоＦ投光系１１１はそれぞれ反対方向（＋Ｘ方向と－Ｘ方向）を向き、２つの輝度受光光学系１１３もそれぞれ反対方向（＋Ｙ方向と－Ｙ方向）を向いている。
【0024】
測距装置１００の－Ｚ方向側の下段には、制御部１２０、バッテリー１３０が配置されている。これにより、全天球をカバーする光学系をコンパクトに配置し、測距装置を小型化することができる。
【0025】
制御部１２０は、投光ユニット２１（投光部）が投光するタイミングを制御するとともに、ＴｏＦカメラ６１による受光を検出する。まず、制御部１２０は、光源２１０を駆動するタイミングを制御し、計測対象領域に向かって光を照射させる。さらに、ＴｏＦセンサ１１０で受光した光を光電変換し、距離画像として出力する。同時に、ＣＭＯＳセンサ３３による撮像を行い、輝度画像を出力する。
【0026】
ここで、本実施形態のＴｏＦセンサ１１０は、間接ＴｏＦセンサであるが、直接ＴｏＦセンサであってもよい。ＴоＦセンサ１１０として間接ＴоＦセンサを用いる場合、異なる４つの位相において各画素での受光量に基づく位相画像が出力される。４つの位相画像から距離画像を生成することができる。これに対して、直接ＴоＦセンサを用いた場合は、各画素での受光タイミングに基づく距離画像が出力される。
【0027】
＜測距装置のハードウェア構成＞
次に、図４を参照して、第１実施形態に係る測距装置１００のハードウェア構成の一例を説明する。図４に示されるように、本実施形態の測距装置１００における制御部１２０は、ＣＰＵ（Central Processing Unit）２４１と、ＲＯＭ（Read Only Memory）２４２と、ＲＡＭ（Random Access Memory）２４３と、Ｉ／Ｏポート２４４とを備えている。
次に、図４を参照して、第１実施形態に係る測距装置１００のハードウェア構成の一例を説明する。図４に示されるように、本実施形態の測距装置１００における制御部１２０は、ＣＰＵ（Central Processing Unit）２４１と、ＲＯＭ（Read Only Memory）２４２と、ＲＡＭ（Random Access Memory）２４３と、Ｉ／Ｏポート２４４とを備えている。
【0028】
ＣＰＵ２４１は、ＲＯＭ２４２に記憶されたプログラムを実行することにより、順次、分岐及び反復処理等を実行する演算装置である。ＲＯＭ２４２は、ＣＰＵ２４１で実行されるプログラム等が記憶された不揮発性記憶装置である。ＲＡＭ２４３は、ＣＰＵ２４１の動作のワークエリア（作業領域）として機能するメモリである。Ｉ／Ｏポート２４４は、各種信号の入出力を行うインターフェースである。また、これらは、バスを介して相互に接続される。
【0029】
＜測距装置の機能構成＞
次に、図５から図７を参照して、第１実施形態に係る測距装置１００の機能構成の一例を説明する。図５は、第１実施形態に係る測距装置１００の機能構成例を示すブロック図である。図６は、第１実施形態の測距装置１００における測距プロセスを説明する図である。図７は、距離情報の補正の際に用いる補正用被写体を示す模式図である。
次に、図５から図７を参照して、第１実施形態に係る測距装置１００の機能構成の一例を説明する。図５は、第１実施形態に係る測距装置１００の機能構成例を示すブロック図である。図６は、第１実施形態の測距装置１００における測距プロセスを説明する図である。図７は、距離情報の補正の際に用いる補正用被写体を示す模式図である。
【0030】
図５に示されるように、測距装置１００は、光源２１０、ＴｏＦカメラ６１、輝度カメラ３５、制御部１２０を有する。制御部１２０は、光源２１０、ＴｏＦカメラ６１、輝度カメラ３５の各種動作を制御する。また、制御部１２０は、投光制御部１２、受光制御部２２、制御演算部３０、取得部４０、補正部５０等を有する。
【0031】
＜＜投光制御部＞＞
投光制御部１２は、所定のタイミングに基づいて計測対象物に測距光を投光するよう、光源２１０の駆動を制御する。また、投光制御部１２は、投光のタイミングとともに測距光の変調周波数、露光時間、繰り返し回数などの情報を光源２１０に出力する。光源２１０は、投光制御部１２から出力されるこれらの情報に基づき、計測対象物に測距光を投光する。なお、本実施形態の投光制御部１２は、ＣＰＵ２４１等によって実現される。
投光制御部１２は、所定のタイミングに基づいて計測対象物に測距光を投光するよう、光源２１０の駆動を制御する。また、投光制御部１２は、投光のタイミングとともに測距光の変調周波数、露光時間、繰り返し回数などの情報を光源２１０に出力する。光源２１０は、投光制御部１２から出力されるこれらの情報に基づき、計測対象物に測距光を投光する。なお、本実施形態の投光制御部１２は、ＣＰＵ２４１等によって実現される。
【0032】
＜＜受光制御部＞＞
受光制御部２２は、計測対象物により反射され、ＴｏＦカメラ６１のＴｏＦセンサ１１０で受光される反射光の受光タイミングを制御する。ここで、ＴｏＦセンサ１１０の受光センサ面は複数の「電荷蓄積窓」を有する。受光制御部２２は、電荷蓄積窓の開閉を個別に制御するタイミングをＴｏＦセンサ１１０に出力し、このタイミングに基づき反射光の受光が行われる。ＴｏＦセンサ１１０は、各電荷蓄積窓の開閉のタイミングで、受光した反射光に応じた電荷を蓄積する。なお、本実施形態の受光制御部２２は、ＣＰＵ２４１等によって実現される。
受光制御部２２は、計測対象物により反射され、ＴｏＦカメラ６１のＴｏＦセンサ１１０で受光される反射光の受光タイミングを制御する。ここで、ＴｏＦセンサ１１０の受光センサ面は複数の「電荷蓄積窓」を有する。受光制御部２２は、電荷蓄積窓の開閉を個別に制御するタイミングをＴｏＦセンサ１１０に出力し、このタイミングに基づき反射光の受光が行われる。ＴｏＦセンサ１１０は、各電荷蓄積窓の開閉のタイミングで、受光した反射光に応じた電荷を蓄積する。なお、本実施形態の受光制御部２２は、ＣＰＵ２４１等によって実現される。
【0033】
＜＜制御演算部＞＞
ＴｏＦセンサ１１０は、受光した反射光に係る電荷蓄積窓ごとの蓄積電荷量の情報を制御演算部３０に出力する。電荷蓄積窓ごとの蓄積電荷量の情報を受けた制御演算部３０は、測距に必要な演算を行う。すなわち、制御演算部３０は、ＴｏＦセンサ１１０からの出力に基づいて計測対象物の測距値を算出する。制御演算部３０は、「測距処理部」の一例である。また、測距値は、「距離情報」の一例である。なお、本実施形態の制御演算部３０は、ＣＰＵ２４１等によって実現される。
ＴｏＦセンサ１１０は、受光した反射光に係る電荷蓄積窓ごとの蓄積電荷量の情報を制御演算部３０に出力する。電荷蓄積窓ごとの蓄積電荷量の情報を受けた制御演算部３０は、測距に必要な演算を行う。すなわち、制御演算部３０は、ＴｏＦセンサ１１０からの出力に基づいて計測対象物の測距値を算出する。制御演算部３０は、「測距処理部」の一例である。また、測距値は、「距離情報」の一例である。なお、本実施形態の制御演算部３０は、ＣＰＵ２４１等によって実現される。
【0034】
図６を参照して、制御演算部３０等で実行される測距プロセスの一例を説明する。まず、測距装置１００の測距プロセスでは、測距光ＬＯの光量変化が「理想的な矩形形状」である場合を想定する。なお、測距装置１００の測距プロセスは、間接ＴｏＦ方式に基づくプロセスである。ただし、測距プロセスは、間接ＴｏＦ方式に限られず、直接ＴｏＦ方式であってもよい。
【0035】
図６に示されるように、測距装置１００の測距プロセスは、反射光ＬＲを４つの電荷蓄積窓の開閉により４つの電荷蓄積によりサンプリングする。ここで、図５の最上位の「Ｏｕｔｐｕｔ」に、投光される測距光ＬＯのパルス幅が示される。測距光ＬＯは、パルス幅πを有し、位相０で投光される。なお、測距光ＬＯのパルス幅は、投光制御部１２から出力される「変調周波数ｆｍｏｄ」により定まる。
【0036】
図６の「Ｒｅｆｌｅｃｔ」に、計測対象物Ｏから反射された反射光ＬＲのパルス幅が示される。反射光ＬＲは、測距光ＬＯの光量変化に応じて矩形形状を有する。また、反射光ＬＲは、パルス幅πを有する。
【0037】
図６の「Ｎ０」に、第１の電荷蓄積窓の開閉タイミングが示される。また、「Ｎ１」に、第２の電荷蓄積窓の開閉タイミングが示される。また、「Ｎ２」に、第３の電荷蓄積窓の開閉タイミングが示される。また、「Ｎ３」に、第４の電荷蓄積窓の開閉タイミングが示される。
【0038】
図６に示される「Ｄｅｐｔｈ」は、測距光ＬＯが投光されてから、計測対象物Ｏに反射されてＴｏＦセンサ１１０により受光が開始されるまでの時間間隔に対応する「位相差」である。測距されるべき距離は、このＤｅｐｔｈに対応する位相差の「１／２の位相差に対応する距離」である。ＴｏＦセンサ１１０の受光面は、前述のＮ０からＮ３の４つの「電荷蓄積窓」を有し、これら４つの電荷蓄積窓が受光制御部２２から与えられるタイミングで順次に開閉し、受光量に応じた電荷の蓄積を行う。
【0039】
具体的には、ＴｏＦ方式における測距プロセスでは、測距光ＬＯが計測対象物Ｏに当たり戻ってくるまでの時間差τｄに対し、光速ｃ、光源２１０から計測対象物Ｏまでの距離ｄｓと計測対象物ＯからＴｏＦセンサ１１０までの距離ｄｒとすると、合計距離ｄについて
ｄ＝（ｄｓ＋ｄｒ）＝ｃτｄ・・・（１）
が成立する。本実施形態における測距プロセスで用いる間接ＴｏＦ方式では、直接的に時間差τｄを測定するのではなく、光源２１０からの出力信号と、受光信号間の位相差φから距離を求める。
ｄ＝（ｄｓ＋ｄｒ）＝ｃτｄ・・・（１）
が成立する。本実施形態における測距プロセスで用いる間接ＴｏＦ方式では、直接的に時間差τｄを測定するのではなく、光源２１０からの出力信号と、受光信号間の位相差φから距離を求める。
【0040】
ＴｏＦセンサ１１０によって検出されるのはあくまで光源２１０から出射された測距光ＬＯが通った距離なので、測定結果である合計距離ｄは、一般的な装置における、「装置から計測対象物Ｏまでの距離Ｄ」の２倍の数値となる。ここでは、光源２１０とＴｏＦセンサ１１０とが対称な場所に位置し、ｄｓ＝ｄｒとみなせる場合を仮定する。
【0041】
このとき、
ｄ＝２Ｄ＝（ｃ／２πｆｍｏｄ）×φ・・・式（２）
より、
Ｄ＝（ｃ／４πｆｍｏｄ）×φ・・・式（３）
である。
ｄ＝２Ｄ＝（ｃ／２πｆｍｏｄ）×φ・・・式（２）
より、
Ｄ＝（ｃ／４πｆｍｏｄ）×φ・・・式（３）
である。
【0042】
計測対象物Ｏで反射した反射光ＬＲは、ＴｏＦセンサ１１０の受光面に到達すると、「電荷蓄積窓」の開閉によって対応する位相の時間内に飛んできた反射光ＬＲの強度に応じた電荷量を蓄積する。すなわち、Ｎ０では、投光された測距光ＬＯの投光開始と同時に電荷蓄積窓が開いて「位相πまでの受光による電荷」を蓄積する。同様に、Ｎ１では、位相π/２から３π/２まで、Ｎ２では、位相πから２πまで、Ｎ３では、位相３π/２から５π/２まで、受光による電荷の蓄積を行う。
【0043】
すなわち、各電荷蓄積窓が開閉するタイミングは、位相差π/２で４段階にシフトする。「各サンプリングで蓄積された電荷量」を上記タイミングＮ０、Ｎ１、Ｎ２、Ｎ３に応じて、ｎ０、ｎ１、ｎ２、ｎ３で表すと、離散フーリエ変換により、位相差Ｄｅｐｔｈに対応する距離Ｄが、次式（４）のように求められる。
Ｄ＝（１／４πｆｍｏｄ）×ａｒｃｔａｎ｛（Ｎ１－Ｎ３）／（Ｎ０－Ｎ２）｝・・・式（４）
Ｄ＝（１／４πｆｍｏｄ）×ａｒｃｔａｎ｛（Ｎ１－Ｎ３）／（Ｎ０－Ｎ２）｝・・・式（４）
【0044】
＜＜取得部＞＞
取得部４０は、輝度カメラ３５及びＴｏＦカメラ６１で撮像された画像情報を取得する。また、取得した画像情報を補正部５０に出力する。ここで、補正部５０が制御演算部３０で演算される測距値を補正する際、図７に示される補正用被写体７０が用いられる。
取得部４０は、輝度カメラ３５及びＴｏＦカメラ６１で撮像された画像情報を取得する。また、取得した画像情報を補正部５０に出力する。ここで、補正部５０が制御演算部３０で演算される測距値を補正する際、図７に示される補正用被写体７０が用いられる。
【0045】
まず、輝度カメラ３５及びＴｏＦカメラ６１は、補正用被写体７０を撮像する。また、取得部４０は、輝度カメラ３５及びＴｏＦカメラ６１のそれぞれから、補正用被写体７０の画像情報を取得する。なお、補正用被写体７０の画像情報は、「補正情報」の一例である。また、本実施形態の取得部４０は、ＣＰＵ２４１、Ｉ／Ｏ２４４等によって実現される。
【0046】
【0047】
第１補正用被写体７１は、幅、高さ、奥行きに関するサイズが既知のチェッカーボードである。第１補正用被写体７１の表面には、白色と黒色とが交互に並ぶ格子模様が表されている。
【0048】
第２補正用被写体７２も同様に、幅、高さ、奥行きに関するサイズが既知のチェッカーボードである。第２補正用被写体７２の表面には、白色と、黒色とは異なる他の色とが交互に並ぶ格子模様が表されている。黒色とは異なる他の色は、例えば、ＴｏＦ投光系１１１の光源２１０から投光される近赤外光の吸光率が低い色（言い換えれば、近赤外光の反射率が高い色）であることが好ましい。本実施形態の第２補正用被写体では、白色と青色とが交互に並ぶ格子模様が用いられる。
【0049】
以下、輝度カメラ３５で撮像された第１補正用被写体７１の画像情報を「第１画像情報」という場合がある。また、ＴｏＦカメラ６１で撮像された第１補正用被写体７１の画像情報を「第２画像情報」という場合がある。また、輝度カメラ３５で撮像された第２補正用被写体７２の画像情報を「第３画像情報」という場合がある。また、ＴｏＦカメラ６１で撮像された第２補正用被写体７２の画像情報を「第４画像情報」という場合がある。
【0050】
＜＜補正部＞＞
補正部５０は、取得部４０から出力された第１補正用被写体７１の画像情報及び第２補正用被写体７２の画像情報を補正すると共に、制御演算部３０から出力される測距値を補正する。本実施形態の補正部５０は、ＣＰＵ２４１等によって実現される。
補正部５０は、取得部４０から出力された第１補正用被写体７１の画像情報及び第２補正用被写体７２の画像情報を補正すると共に、制御演算部３０から出力される測距値を補正する。本実施形態の補正部５０は、ＣＰＵ２４１等によって実現される。
【0051】
具体的には、補正部５０は、輝度カメラ３５で撮像された第１補正用被写体７１の第１画像情報から、輝度カメラ３５の内部パラメータＮ１１及び外部パラメータＧ１１を算出し、輝度カメラ３５のカメラキャリブレーションを行う。補正部５０は、第１補正用被写体７１に表される格子模様の特徴点を検出し、輝度カメラ３５の内部パラメータＮ１１及び外部パラメータＧ１１を算出する。特徴点の例として、縦横に延びる直線の交点である格子点が挙げられる。
【0052】
内部パラメータＮ１１及び外部パラメータＧ１１の算出方法の例として、いわゆるＺｈａｎｇのカメラキャリブレーション手法（以下、「Ｚｈａｎｇの手法」という場合がある）等が挙げられる。ただし、内部パラメータＮ１１及び外部パラメータＧ１１の算出方法は、これに限られない。
【0053】
輝度カメラ３５の内部パラメータＮ１１の例として、輝度カメラ３５のレンズ焦点距離、歪収差係数等が挙げられる。また、輝度カメラ３５の外部パラメータＧ１１の例として、輝度カメラ３５で撮像された第１補正用被写体７１の位置座標を、世界座標系から輝度カメラ３５を基準とする座標系（以下、「輝度カメラ座標系」という場合がある）に変換する回転行列と並進ベクトル等が挙げられる。輝度カメラ座標系の原点は、例えば、輝度受光光学系１１３のレンズ瞳位置の位置座標に設定される。また、世界座標系とは、すべての３次元点の絶対的な位置を示す座標系である。
【0054】
補正部５０は、輝度カメラ３５のカメラキャリブレーションの精度を高めるため、輝度カメラ３５と第１補正用被写体７１との距離や、輝度カメラ３５の撮影姿勢等の条件を変えた幾つかの第１画像情報を取得部４０から得ることが好ましい。
【0055】
補正部５０は、ＴｏＦカメラ６１で撮像された第１補正用被写体７１の第２画像情報から、ＴｏＦカメラ６１の内部パラメータＮ２１及び外部パラメータＧ２１を算出し、ＴｏＦカメラ６１のカメラキャリブレーションを行う。
【0056】
ＴｏＦカメラ６１の内部パラメータＮ２１の例として、ＴｏＦカメラ６１のレンズ焦点距離、歪収差係数等が挙げられる。また、ＴｏＦカメラ６１の外部パラメータＧ２１の例として、ＴｏＦカメラ６１で撮像された第１補正用被写体７１の位置座標を、世界座標系からＴｏＦカメラ６１を基準とする座標系（以下、「ＴｏＦカメラ座標系」という場合がある）に変換する回転行列と並進ベクトル等が挙げられる。ＴｏＦカメラ座標系の原点は、例えば、ＴоＦ受光光学系１１２のレンズ瞳位置の位置座標に設定される。
【0057】
補正部５０は、更に、輝度カメラ座標系とＴｏＦカメラ座標系とを変換する座標変換パラメータＰ１１である回転行列と並進ベクトルを求める。具体的には、補正部５０は、輝度カメラ３５のカメラキャリブレーションによって得られた、第１補正用被写体７１の輝度カメラ座標系における位置座標と、ＴｏＦカメラ６１のカメラキャリブレーションによって得られた、第１補正用被写体７１のＴｏＦカメラ座標系における位置座標とに基づき、座標変換パラメータＰ１１を求める。
【0058】
続いて、補正部５０は、輝度カメラ３５で撮像された第２補正用被写体７２の第３画像情報から、輝度カメラ座標系における第２補正用被写体７２の位置座標を求める。このとき、補正部５０は、既に得られた輝度カメラ３５の内部パラメータＮ１１及び外部パラメータＧ１１を用いてもよい。
【0059】
補正部５０は、座標変換パラメータＰ１１を用いて、第２補正用被写体７２の位置座標を、輝度カメラ座標系からＴｏＦカメラ座標系に変換する。これにより、第２補正用被写体７２におけるＴｏＦカメラ座標系の位置座標が得られる。
【0060】
補正部５０は、更に、別途ＴｏＦカメラ６１で撮像された第２補正用被写体７２（第４画像情報）に基づき、制御演算部３０で求められる第２補正用被写体７２の測距値を補正する。補正部５０は、第２補正用被写体７２の測距値の補正に、第２補正用被写体７２におけるＴｏＦカメラ座標系の位置座標を用いる。具体的には、補正部５０は、第２補正用被写体７２の測距値である測距値から、第２補正用被写体７２の位置座標に基づき求められる距離値（真値）を差し引く。
【0061】
ところで、輝度カメラ３５は、高解像度の画像情報を出力することができる。すなわち、輝度カメラ３５で得られた画像情報における補正用被写体７０の位置情報（位置座標毎の位置情報）が、画素毎に精細に得られる。その結果、仮に、ＴｏＦカメラ６１の撮像解像度が低くても、ＴｏＦカメラ座標系における補正用被写体７０の位置情報（位置座標毎の位置情報）は、輝度カメラ３５の画像情報からの精細な位置情報に基づく。これにより、ＴｏＦカメラ座標系における補正用被写体７０の位置情報は、同じく精細である。また、ＴｏＦカメラ６１の出力に基づく測距値は、ＴｏＦカメラ６１におけるＴｏＦセンサ１１０の画素毎に得られる。本実施形態によれば、輝度カメラ３５の画素毎に得られる、補正用被写体７０の精細な位置情報と、ＴｏＦセンサ１１０の画素毎に得られる補正用被写体の測距値とを対応付けて測距値の補正を行うため、ＴｏＦカメラ６１の全画素に亘って精度の高い測距値の補正を行うことができる。
【0062】
＜補正用被写体＞
第１補正用被写体７１及び第２補正用被写体７２に表される模様の色は、例えば、以下の観点に基づき選択されることが好ましい。
第１補正用被写体７１及び第２補正用被写体７２に表される模様の色は、例えば、以下の観点に基づき選択されることが好ましい。
【0063】
＜＜第１補正用被写体＞＞
本実施形態において、第１補正用被写体７１は、輝度カメラ３５及びＴｏＦカメラ６１のカメラキャリブレーションを行うための媒体として機能する。したがって、第１補正用被写体７１は、白色のような、可視光及び近赤外光に対して反射率の高い色領域と、黒色のような、可視光及び近赤外光に対して吸光率の高い色領域とを含む。これにより、補正部５０が、第１補正用被写体７１から特徴点を検出し、輝度カメラ３５及びＴｏＦカメラ６１のカメラキャリブレーションを行う。
本実施形態において、第１補正用被写体７１は、輝度カメラ３５及びＴｏＦカメラ６１のカメラキャリブレーションを行うための媒体として機能する。したがって、第１補正用被写体７１は、白色のような、可視光及び近赤外光に対して反射率の高い色領域と、黒色のような、可視光及び近赤外光に対して吸光率の高い色領域とを含む。これにより、補正部５０が、第１補正用被写体７１から特徴点を検出し、輝度カメラ３５及びＴｏＦカメラ６１のカメラキャリブレーションを行う。
【0064】
この観点に基づく色であれば、第１補正用被写体７１に、白色と黒色以外の色が用いられてもよい。一例として、可視光及び近赤外光の吸光率が８０％以上の第１色と、可視光及び近赤外光の吸光率が、第１色の吸光率に対して２０％以下の第２色とを有するものが挙げられる。
【0065】
＜＜第２補正用被写体＞＞
ＴｏＦカメラ６１の測距特性は、受光する反射光の輝度に依存して変化する。具体的には、反射光の輝度が高い程、測距値の誤差が少ない一方、反射光の輝度が低い程、測距値の誤差が大きい。
ＴｏＦカメラ６１の測距特性は、受光する反射光の輝度に依存して変化する。具体的には、反射光の輝度が高い程、測距値の誤差が少ない一方、反射光の輝度が低い程、測距値の誤差が大きい。
【0066】
例えば、黒色は、ＴｏＦ投光系１１１の光源２１０から投光される近赤外光（８００ｎｍ～２５００ｎｍの波長範囲の光）を吸収する。すなわち、黒色領域からの反射光の輝度が少なくなる。その結果、ＴｏＦカメラ６１におけるＴｏＦセンサ１１０の黒色領域を撮像した画素からの測距値は、多分に誤差を含み得る。よって、測距値を得るための第２補正用被写体として、黒色領域を含むものを用いることは好適でない。
【0067】
これに対して、本実施形態の第２補正用被写体７２に含まれる青色は、ＴｏＦ投光系１１１の光源２１０から投光される近赤外光の吸光率が低い。すなわち、青色領域からの反射光の輝度が大きくなる。その結果、第２補正用被写体７２のように、共に近赤外光の反射率の高い青色領域と白色領域からなる撮像対象物をＴｏＦカメラ６１で撮像すると、ＴｏＦセンサ１１０の全画素で高輝度の反射光を受光できる。したがって、第２補正用被写体７２のように、元々誤差の少ない測距値が得られる撮像対象物を用いることで、より精度の高い測距値の補正を行うことができる。
【0068】
このような観点に基づく色であれば、第２補正用被写体７２に、白色と青色以外の色が用いられてもよい。一例として、近赤外光の反射率が８０％以上の第３色と、近赤外光の反射率が、第３色の反射率に対して５０％以上の第４色とを有するものが挙げられる。
【0069】
＜＜他の模様＞＞
本実施形態の第１補正用被写体７１及び第２補正用被写体７２は、共に格子模様であったが、補正部５０におけるカメラキャリブレーションが可能なものであれば、特に限定されない。他の模様の一例として、図８（ａ）に示されるように、白地の背景に、例えば、黒色や青色のような有色の円等の図形が配置される模様であってもよい。また、図８（ｂ）に示されるように、白地の背景に、モザイク柄が配置される模様であってもよい。
本実施形態の第１補正用被写体７１及び第２補正用被写体７２は、共に格子模様であったが、補正部５０におけるカメラキャリブレーションが可能なものであれば、特に限定されない。他の模様の一例として、図８（ａ）に示されるように、白地の背景に、例えば、黒色や青色のような有色の円等の図形が配置される模様であってもよい。また、図８（ｂ）に示されるように、白地の背景に、モザイク柄が配置される模様であってもよい。
【0070】
【0071】
ステップＳ１１において、測距装置１００の輝度カメラ３５とＴｏＦカメラ６１が、第１補正用被写体７１を撮像する。続いて、ステップＳ１２において、測距装置１００の取得部４０が、輝度カメラ３５によって撮像された第１補正用被写体７１の第１画像情報と、ＴｏＦカメラ６１によって撮像された第１補正用被写体７１の第２画像情報とを取得する。また、取得部４０は、取得したこれらの画像情報を補正部５０に出力する。
【0072】
続いて、ステップＳ１３において、測距装置１００の補正部５０が、取得部４０を介して取得した画像情報から輝度カメラ３５とＴｏＦカメラ６１のカメラキャリブレーションを行う。具体的には、補正部５０は、取得した第１画像情報から、輝度カメラ３５の内部パラメータＮ１１及び外部パラメータＧ１１を算出すると共に、第２画像情報から、ＴｏＦカメラ６１の内部パラメータＮ２１及び外部パラメータＧ２１を算出する。
【0073】
続いて、ステップＳ１４において、補正部５０が、例えば、第１補正用被写体７１の位置座標を、輝度カメラ座標系からＴｏＦカメラ座標系に変換するための座標変換パラメータＰ１１を求める。
【0074】
続いて、ステップＳ１５において、輝度カメラ３５とＴｏＦカメラ６１が、第２補正用被写体７２を撮像する。輝度カメラ３５で撮像された第３画像情報は、取得部４０を介して補正部５０に出力される。これに対して、ＴｏＦカメラ６１で撮像された第４画像情報は、第２補正用被写体の測距値を求めるために、制御演算部３０に出力される。また、制御演算部３０で演算される測距値は、補正部５０に出力される。
【0075】
続いて、ステップＳ１６において、補正部５０が、取得部４０から取得した第３画像情報から、第２補正用被写体７２における輝度カメラ座標系の位置座標を求める。
【0076】
続いて、ステップＳ１７において、補正部５０が、座標変換パラメータＰ１１を用いて、第２補正用被写体７２における輝度カメラ座標系の位置座標をＴｏＦカメラ座標系の位置座標に変換する。
【0077】
続いて、ステップＳ１８において、補正部５０が、第２補正用被写体７２におけるＴｏＦカメラ座標系の位置座標に基づき、測距値を補正する。
【0078】
［第２実施形態］
次に、第２実施形態に係る補正用被写体を説明する。
次に、第２実施形態に係る補正用被写体を説明する。
【0079】
第２実施形態に係る第１補正用被写体及び第２補正用被写体は、幅、高さ、奥行きに関するサイズが既知の物品である。物品の例として、机、床、天井等が挙げられる。第１補正用被写体及び第２補正用被写体で同じ物品であってもよいし、異なる物品であってもよい。
【0080】
第１補正用被写体としての物品は、少なくとも２色の色領域を有する。少なくとも２色の色領域は、輝度カメラ３５で撮像された画像で互いに区別可能であり、且つ、ＴｏＦカメラ６１で撮像された画像でも互いに区別可能な色の領域である。また、第２補正用被写体としての物品は、少なくとも２色の色領域を有する。少なくとも２色の色領域は、輝度カメラ３５で撮像された画像では互いに区別可能である一方、ＴｏＦカメラ６１で撮像された画像では互いに区別できない色の領域である。
【0081】
例えば、補正用被写体が、可視光や近赤外光に対する吸光率や反射率が大きく異なる２色以上の色領域から構成される場合、画像において、２色以上の各色領域を互いに区別することができる。これに対して、補正用被写体が、可視光や近赤外光に対する吸光率や反射率が同様な２色以上の色領域で構成される場合、画像において、２色以上の各色領域を互いに区別することができない。
【0082】
測距装置１００の取得部４０は、輝度カメラ３５及びＴｏＦカメラ６１で撮像された物品の画像情報（第１画像情報から第４画像情報）を取得する。また、測距装置１００の補正部５０は、取得部４０で取得された画像情報のうちの第１画像情報及び第２画像情報から、輝度カメラ３５及びＴｏＦカメラ６１のカメラキャリブレーションを行うと共に、第３画像情報及び第４画像情報から、ＴｏＦカメラ６１の出力に基づく測距値を補正する。
【0083】
このような物品を、第１補正用被写体及び第２補正用被写体として用いることで、チェッカーボードのように、測距値の補正を主な用途とする補正用被写体を準備しなくても、測距値の補正を行うことができる。
【0084】
以上、実施形態について説明したが、本発明は、前述の実施形態に限定されるものではなく、本発明の範囲内で種々の変形及び改良が可能である。例えば、実施形態では、輝度カメラ３５とＴｏＦカメラ６１との２つのカメラを用いているが、輝度画像と距離画像を取得できるものであれば、２つのカメラには限定されない。また、制御演算部（測距処理部）３０、取得部４０、補正部５０の機能を測距装置１００とは別の情報処理装置で実現するようにしてもよい。この場合、互いに通信可能に接続される測距装置１００と情報処理装置とで測距システムが構成される。
【0085】
本発明の態様は、例えば、以下のとおりである。
【0086】
＜１＞ 可視光を含む入射光を受光し撮像する第１撮像部と、
投光光を投光する投光部と、
前記投光光を含む入射光を受光し撮像する第２撮像部と、
前記第２撮像部の出力に基づき距離情報を出力する測距処理部と、
前記距離情報を補正するために用いられる補正情報を取得する取得部と、
前記測距処理部から出力される前記距離情報を、前記補正情報を用いて補正する補正部と、有し、
前記取得部は、前記投光光を所定の吸光率以上で吸収する第１部分を含む第１補正用被写体を撮像した前記第１撮像部及び前記第２撮像部の出力と、前記投光光を所定の反射率以上で反射する第２部分で構成される第２補正用被写体を撮像した前記第１撮像部及び前記第２撮像部の出力と、に基づいて、前記補正情報を取得する、測距システム。
投光光を投光する投光部と、
前記投光光を含む入射光を受光し撮像する第２撮像部と、
前記第２撮像部の出力に基づき距離情報を出力する測距処理部と、
前記距離情報を補正するために用いられる補正情報を取得する取得部と、
前記測距処理部から出力される前記距離情報を、前記補正情報を用いて補正する補正部と、有し、
前記取得部は、前記投光光を所定の吸光率以上で吸収する第１部分を含む第１補正用被写体を撮像した前記第１撮像部及び前記第２撮像部の出力と、前記投光光を所定の反射率以上で反射する第２部分で構成される第２補正用被写体を撮像した前記第１撮像部及び前記第２撮像部の出力と、に基づいて、前記補正情報を取得する、測距システム。
【0087】
＜２＞ 前記取得部は、前記補正情報として、前記第１撮像部で撮像された前記第１補正用被写体の第１画像情報と、前記第２撮像部で撮像された前記第１補正用被写体の第２画像情報と、を取得し、
前記補正部は、
前記第１画像情報及び前記第２画像情報に基づき、前記第１撮像部及び前記第２撮像部のカメラキャリブレーションを行う、前記＜１＞に記載の測距システム。
前記補正部は、
前記第１画像情報及び前記第２画像情報に基づき、前記第１撮像部及び前記第２撮像部のカメラキャリブレーションを行う、前記＜１＞に記載の測距システム。
【0088】
＜３＞ 前記取得部は、前記補正情報として、前記第１撮像部で撮像された前記第１補正用被写体の第１画像情報と、前記第２撮像部で撮像された前記第１補正用被写体の第２画像情報と、を取得し、
前記補正部は、
前記第１画像情報から、前記第１撮像部を基準とする座標系での前記第１補正用被写体の位置座標を算出し、
前記第２画像情報から、前記第２撮像部を基準とする座標系での前記第１補正用被写体の位置座標を算出し、
前記第１撮像部を基準とする座標系での前記位置座標と、前記第２撮像部を基準とする座標系での前記位置座標とに基づき、前記第１撮像部を基準とする座標系から前記第２撮像部を基準とする座標系への座標変換パラメータを算出する、前記＜１＞又は前記＜２＞に記載の測距システム。
前記補正部は、
前記第１画像情報から、前記第１撮像部を基準とする座標系での前記第１補正用被写体の位置座標を算出し、
前記第２画像情報から、前記第２撮像部を基準とする座標系での前記第１補正用被写体の位置座標を算出し、
前記第１撮像部を基準とする座標系での前記位置座標と、前記第２撮像部を基準とする座標系での前記位置座標とに基づき、前記第１撮像部を基準とする座標系から前記第２撮像部を基準とする座標系への座標変換パラメータを算出する、前記＜１＞又は前記＜２＞に記載の測距システム。
【0089】
＜４＞ 前記取得部は、前記補正情報として、前記第１撮像部で撮像された前記第２補正用被写体の第３画像情報と、前記第２撮像部で撮像された前記第２補正用被写体の第４画像情報と、を取得し、
前記補正部は、
前記第３画像情報から、前記座標変換パラメータを用いて、前記第２補正用被写体の位置座標を、前記第２撮像部を基準とする前記座標系での位置座標に変換し、
前記第４画像情報に基づき前記測距処理部から出力される前記第２補正用被写体の前記距離情報を、前記第２撮像部を基準とする前記座標系での前記第２補正用被写体の前記位置座標に基づき補正する、前記＜３＞に記載の測距システム。
前記補正部は、
前記第３画像情報から、前記座標変換パラメータを用いて、前記第２補正用被写体の位置座標を、前記第２撮像部を基準とする前記座標系での位置座標に変換し、
前記第４画像情報に基づき前記測距処理部から出力される前記第２補正用被写体の前記距離情報を、前記第２撮像部を基準とする前記座標系での前記第２補正用被写体の前記位置座標に基づき補正する、前記＜３＞に記載の測距システム。
【0090】
＜５＞ 前記第１撮像部は輝度カメラであり、前記第２撮像部はＴｏＦカメラである、前記＜１＞から前記＜４＞のいずれか１つに記載の測距システム。
【0091】
＜６＞ 可視光を含む入射光を受光し撮像する第１撮像部と、
投光光を投光する投光部と、
前記投光光を含む入射光を受光し撮像する第２撮像部と、
前記第２撮像部の出力に基づき距離情報を出力する測距処理部と、
前記距離情報を補正するために用いられる補正情報を取得する取得部と、
前記測距処理部から出力される前記距離情報を、前記補正情報を用いて補正する補正部と、有し、
前記取得部は、前記投光光を所定の吸光率以上で吸収する第１部分を含む第１補正用被写体を撮像した前記第１撮像部及び前記第２撮像部の出力と、前記投光光を所定の反射率以上で反射する第２部分で構成される第２補正用被写体を撮像した前記第１撮像部及び前記第２撮像部の出力と、に基づいて、前記補正情報を取得する、測距装置。
投光光を投光する投光部と、
前記投光光を含む入射光を受光し撮像する第２撮像部と、
前記第２撮像部の出力に基づき距離情報を出力する測距処理部と、
前記距離情報を補正するために用いられる補正情報を取得する取得部と、
前記測距処理部から出力される前記距離情報を、前記補正情報を用いて補正する補正部と、有し、
前記取得部は、前記投光光を所定の吸光率以上で吸収する第１部分を含む第１補正用被写体を撮像した前記第１撮像部及び前記第２撮像部の出力と、前記投光光を所定の反射率以上で反射する第２部分で構成される第２補正用被写体を撮像した前記第１撮像部及び前記第２撮像部の出力と、に基づいて、前記補正情報を取得する、測距装置。
【0092】
＜７＞ 第１撮像部を用いて、可視光を含む入射光を受光し撮像する第１撮像ステップと、
投光光を投光する投光ステップと、
第２撮像部を用いて、前記投光光を含む入射光を受光し撮像する第２撮像ステップと、
前記第２撮像部からの出力に基づき距離情報を出力する測距処理ステップと、
前記距離情報を補正するために用いられる補正情報を取得する取得ステップと、
前記測距処理ステップにおいて出力される前記距離情報を、前記補正情報を用いて補正する補正ステップと、有し、
前記取得ステップにおいて、前記投光光を所定の吸光率以上で吸収する第１部分を含む第１補正用被写体を撮像した前記第１撮像部及び前記第２撮像部の出力と、前記投光光を所定の反射率以上で反射する第２部分で構成される第２補正用被写体を撮像した前記第１撮像部及び前記第２撮像部の出力と、に基づいて、前記補正情報を取得する、距離情報の補正方法。
投光光を投光する投光ステップと、
第２撮像部を用いて、前記投光光を含む入射光を受光し撮像する第２撮像ステップと、
前記第２撮像部からの出力に基づき距離情報を出力する測距処理ステップと、
前記距離情報を補正するために用いられる補正情報を取得する取得ステップと、
前記測距処理ステップにおいて出力される前記距離情報を、前記補正情報を用いて補正する補正ステップと、有し、
前記取得ステップにおいて、前記投光光を所定の吸光率以上で吸収する第１部分を含む第１補正用被写体を撮像した前記第１撮像部及び前記第２撮像部の出力と、前記投光光を所定の反射率以上で反射する第２部分で構成される第２補正用被写体を撮像した前記第１撮像部及び前記第２撮像部の出力と、に基づいて、前記補正情報を取得する、距離情報の補正方法。
【0093】
＜８＞ 測距装置の測距処理部から出力される距離情報を補正するための補正用被写体であって、
投光部からの投光光を所定の吸光率以上で吸収する第１部分を含む第１補正用被写体と、
前記投光光を所定の反射率以上で反射する第２部分で構成される第２補正用被写体と、を有する補正用被写体。
投光部からの投光光を所定の吸光率以上で吸収する第１部分を含む第１補正用被写体と、
前記投光光を所定の反射率以上で反射する第２部分で構成される第２補正用被写体と、を有する補正用被写体。
【符号の説明】
【0094】
１００ 撮像装置（測距装置）
１２ 投光制御部
２１ 投光ユニット
３５ 輝度カメラ
４０ 取得部
５０ 補正部
６１ ＴｏＦカメラ
１２０ 制御部
２１０ 光源
１２ 投光制御部
２１ 投光ユニット
３５ 輝度カメラ
４０ 取得部
５０ 補正部
６１ ＴｏＦカメラ
１２０ 制御部
２１０ 光源
【先行技術文献】
【特許文献】
【0095】
【特許文献1】特許第６７１７８８７号公報
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】