特開 2023-172871 キャリブレーション方法およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023172871

(43)【公開日】2023-12-06

(54)【発明の名称】キャリブレーション方法およびプログラム

(51)【国際特許分類】

   G01B 11/24 20060101AFI20231129BHJP

   G01B 11/245 20060101ALI20231129BHJP

   G06T 7/80 20170101ALI20231129BHJP

   G01C 3/00 20060101ALI20231129BHJP

【ＦＩ】

G01B11/24 A

G01B11/245 H

G01B11/24 K

G06T7/80

G01C3/00 120

【審査請求】未請求

【請求項の数】5

【出願形態】ＯＬ

(21)【出願番号】P 2023016389

(22)【出願日】2023-02-06

(31)【優先権主張番号】P 2022084521

(32)【優先日】2022-05-24

(33)【優先権主張国・地域又は機関】JP

(71)【出願人】

【識別番号】000005348

【氏名又は名称】株式会社ＳＵＢＡＲＵ

(74)【代理人】

【識別番号】110001357

【氏名又は名称】弁理士法人つばさ国際特許事務所

(72)【発明者】

【氏名】小甲 啓隆

【テーマコード（参考）】

2F065

2F112

5L096

【Ｆターム（参考）】

2F065AA53

2F065BB05

2F065BB07

2F065DD03

2F065FF01

2F065FF04

2F065FF05

2F065FF11

2F065FF61

2F065GG22

2F065JJ03

2F065JJ05

2F065JJ26

2F065MM07

2F065PP15

2F065QQ21

2F065QQ25

2F065RR07

2F112AD01

2F112BA12

2F112CA12

2F112DA02

2F112DA21

2F112DA40

2F112FA03

2F112FA21

2F112FA35

2F112FA45

2F112GA01

5L096CA02

5L096CA18

5L096DA02

5L096FA06

5L096FA66

5L096FA67

5L096FA69

(57)【要約】

【課題】外部パラメータの検出精度を高めることができるキャリブレーション方法を得る。
【解決手段】本発明の一実施の形態に係るキャリブレーション方法は、測距センサを用いて、平面部分と平面部分を基準として傾斜した傾斜面を含む２つ以上の立体部分とを有するキャリブレーション部材のうちの、平面部分に対応する第１の点群データおよび２つ以上の立体部分に対応する第２の点群データを含む全体点群データを生成することと、第１の点群データに基づいて平面部分を示す平面方程式を算出する第１の演算を行うことと、第２の点群データに基づいて２つ以上の立体部分のそれぞれの位置を算出する第２の演算を行うことと、第１の演算の結果および第２の演算の結果に基づいて、キャリブレーション部材の位置および向きを推定し、その推定結果に基づいて測距センサとキャリブレーション部材との間の位置関係を示す第１の外部パラメータを生成することとを含む。
【選択図】図２

【特許請求の範囲】

【請求項1】

測距センサを用いて、平面部分と前記平面部分を基準として傾斜した傾斜面を含む２つ以上の立体部分とを有するキャリブレーション部材のうちの、前記平面部分に対応する第１の点群データおよび前記２つ以上の立体部分に対応する第２の点群データを含む全体点群データを生成することと、
前記第１の点群データに基づいて前記平面部分を示す平面方程式を算出する第１の演算を行うことと、
前記第２の点群データに基づいて前記２つ以上の立体部分のそれぞれの位置を算出する第２の演算を行うことと、
前記第１の演算の結果および前記第２の演算の結果に基づいて、前記キャリブレーション部材の位置および向きを推定し、その推定結果に基づいて前記測距センサと前記キャリブレーション部材との間の位置関係を示す第１の外部パラメータを生成することと
を含むキャリブレーション方法。

【請求項2】

前記２つ以上の立体部分のうちの少なくとも１つは、曲面を有する
請求項１に記載のキャリブレーション方法。

【請求項3】

前記２つ以上の立体部分のうちの少なくとも１つは、平面状の複数の前記傾斜面を含む
請求項１に記載のキャリブレーション方法。

【請求項4】

カメラを用いて、前記キャリブレーション部材を撮像することにより、前記カメラと前記キャリブレーション部材との間の位置関係を示す第２の外部パラメータを生成することと、
前記第１の外部パラメータおよび前記第２の外部パラメータに基づいて、前記カメラと前記測距センサとの間の位置関係を示す第３の外部パラメータを生成する
請求項１から請求項３のいずれか一項に記載のキャリブレーション方法。

【請求項5】

測距センサを用いて、平面部分と前記平面部分を基準として傾斜した傾斜面を含む２つ以上の立体部分とを有するキャリブレーション部材のうちの、前記平面部分に対応する第１の点群データおよび前記２つ以上の立体部分に対応する第２の点群データを含む全体点群データを生成することと、
前記第１の点群データに基づいて前記平面部分を示す平面方程式を算出する第１の演算を行うことと、
前記第２の点群データに基づいて前記２つ以上の立体部分のそれぞれの位置を算出する第２の演算を行うことと、
前記第１の演算の結果および前記第２の演算の結果に基づいて、前記キャリブレーション部材の位置および向きを推定し、その推定結果に基づいて前記測距センサと前記キャリブレーション部材との間の位置関係を示す第１の外部パラメータを生成することと
をプロセッサに行わせる
プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、測距センサに関する外部パラメータを算出するキャリブレーション方法およびプログラムに関する。

【背景技術】

【0002】

ライダー（Ｌｉｄａｒ；light detection and ranging）センサなどの測距センサでは、例えば赤外光を射出するとともに、計測対象により反射された赤外光を検出することにより、測距センサから計測対象までの距離を検出することができる。例えば、特許文献１には、プレート上にサークル状のマーカが配置されたキャリブレーションシートを用いて、キャリブレーションシートとライダーセンサとの相対的な位置関係を検出する技術が開示されている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】国際公開第２０１９／０９３１３６号

【発明の概要】

【0004】

キャリブレーション部材と測距センサとの相対的な位置関係を示す外部パラメータの検出精度は高いことが望ましく、さらなる精度の向上が期待されている。

【0005】

外部パラメータの検出精度を高めることができるキャリブレーション方法およびプログラムを提供することが望ましい。

【0006】

本開示の一実施の形態に係るキャリブレーション方法は、測距センサを用いて、平面部分と平面部分を基準として傾斜した傾斜面を含む２つ以上の立体部分とを有するキャリブレーション部材のうちの、平面部分に対応する第１の点群データおよび２つ以上の立体部分に対応する第２の点群データを含む全体点群データを生成することと、第１の点群データに基づいて平面部分を示す平面方程式を算出する第１の演算を行うことと、第２の点群データに基づいて２つ以上の立体部分のそれぞれの位置を算出する第２の演算を行うことと、第１の演算の結果および第２の演算の結果に基づいて、キャリブレーション部材の位置および向きを推定し、その推定結果に基づいて測距センサとキャリブレーション部材との間の位置関係を示す第１の外部パラメータを生成することとを含む。

【0007】

本開示の一実施の形態に係るプログラムは、測距センサを用いて、平面部分と平面部分を基準として傾斜した傾斜面を含む２つ以上の立体部分とを有するキャリブレーション部材のうちの、平面部分に対応する第１の点群データおよび２つ以上の立体部分に対応する第２の点群データを含む全体点群データを生成することと、第１の点群データに基づいて平面部分を示す平面方程式を算出する第１の演算を行うことと、第２の点群データに基づいて２つ以上の立体部分のそれぞれの位置を算出する第２の演算を行うことと、第１の演算の結果および第２の演算の結果に基づいて、キャリブレーション部材の位置および向きを推定し、その推定結果に基づいて測距センサとキャリブレーション部材との間の位置関係を示す第１の外部パラメータを生成することとをプロセッサに行わせるものである。

【0008】

本開示の一実施の形態に係るキャリブレーション方法およびプログラムによれば、外部パラメータの検出精度を高めることができる。

【図面の簡単な説明】

【0009】

【図1】図１は、本開示の一実施の形態に係るキャリブレーション方法が用いられるキャリブレーションシステムの一構成例を表す構成図である。

【図2】図２は、図１に示したキャリブレーション部材の一構成例を表す構成図である。

【図3】図３は、図１に示した処理装置の一構成例を表すブロック図である。

【図4】図４は、図３に示した外部パラメータ生成部の一動作例を表すフローチャートである。

【図5】図５は、図３に示した外部パラメータ生成部の一動作例を表す説明図である。

【図6】図６は、図３に示した外部パラメータ生成部の一動作例を表す他の説明図である。

【図7A】図７Ａは、図３に示した外部パラメータ生成部の一動作例を表す他の説明図である。

【図7B】図７Ｂは、図３に示した外部パラメータ生成部の一動作例を表す他の説明図である。

【図8A】図８Ａは、図３に示した外部パラメータ生成部の一動作例を表す他の説明図である。

【図8B】図８Ｂは、図３に示した外部パラメータ生成部の一動作例を表す他の説明図である。

【図9】図９は、参考例に係るキャリブレーション部材を用いた場合の一動作例を表す説明図である。

【図10】図１０は、他の参考例に係るキャリブレーション部材の一構成例を表す構成図である。

【図11】図１１は、変形例に係るキャリブレーション部材の一構成例を表す構成図である。

【図12】図１２は、他の変形例に係るキャリブレーション部材の一構成例を表す構成図である。

【図13】図１３は、他の変形例に係るキャリブレーション部材の一構成例を表す構成図である。

【図14】図１４は、他の変形例に係るキャリブレーション部材の一構成例を表す構成図である。

【図15】図１５は、図１４に示したキャリブレーション部材を用いた場合の外部パラメータ生成部の一動作例を表す説明図である。

【図16】図１６は、他の変形例に係るキャリブレーション部材の一構成例を表す構成図である。

【図17】図１７は、変形例に係るキャリブレーション方法が用いられるキャリブレーションシステムの一構成例を表す構成図である。

【図18】図１８は、図１７に示した処理部の一構成例を表すブロック図である。

【発明を実施するための形態】

【0010】

以下、本開示の実施の形態について、図面を参照して詳細に説明する。

【0011】

＜実施の形態＞
［構成例］
図１は、一実施の形態に係るキャリブレーション方法が用いられるキャリブレーションシステム１の一構成例を表すものである。キャリブレーションシステム１は、例えば電子機器を製造する工場に設けられ、キャリブレーション部材を用いて、電子機器に搭載されたカメラのキャリブレーションを行うように構成される。キャリブレーションシステム１は、ベルトコンベア１３と、電子機器１０と、測距センサ１４と、キャリブレーション部材９０と、処理装置２０とを備えている。

【0012】

ベルトコンベア１３は、電子機器の製造ラインにおいて、検査対象である電子機器１０を乗せ、この電子機器１０を製造ラインに沿って移動させるように構成される。

【0013】

電子機器１０は、電子機器の製造ラインにおける検査対象である。電子機器１０は、カメラ１１と、画像処理部１２とを有している。カメラ１１は、ステレオカメラであってもよいし、単眼のカメラであってもよい。カメラ１１は、電子機器１０の内部に配置される。画像処理部１２は、例えば電子機器１０が移動している場合において、カメラ１１の撮像画像に基づいて、電子機器１０の前方の物体を認識するとともにその物体の３次元空間における位置を算出する。そして、電子機器１０は、認識した物体についての情報に基づいて、例えば、認識した物体に応じた所定の処理を行うことができるようになっている。カメラ１１は、このキャリブレーションシステム１において、キャリブレーション部材９０を撮像するようになっている。電子機器１０は、カメラ１１以外の１または複数のセンサを有していてもよい。

【0014】

測距センサ１４は、例えばライダーセンサであり、例えば赤外光を射出するとともに、計測対象により反射された赤外光を検出することにより、点群データを生成するように構成される。測距センサ１４は、例えば、ベルトコンベア１３の近くに固定配置される。測距センサ１４は、このキャリブレーションシステム１において、キャリブレーション部材９０の点群データを生成するようになっている。

【0015】

キャリブレーション部材９０は、キャリブレーションシステム１において、カメラ１１の撮像対象であるとともに、測距センサ１４の計測対象である。キャリブレーションシステム１は、このキャリブレーション部材９０を用いて、電子機器１０に搭載されたカメラ１１のキャリブレーションを行う。

【0016】

図２は、キャリブレーション部材９０の一構成例を表すものであり、（Ａ）は側面図を示し、（Ｂ）は正面図を示す。図２（Ａ）において、測距センサ１４からの光は左側から照射される。キャリブレーション部材９０は、基体部９１と、２つの球体部９２（球体部９２Ａ，９２Ｂ）とを有している。基体部９１は、板形状を有する部材であり、２つの球体部９２は、球形状を有する部材である。この例では、２つの球体部９２は図２における縦方向に並設され、２つの球体部９２のサイズは互いに同じである。なお、これに限定されるものではなく、２つの球体部９２のサイズは互いに異なっていてもよい。基体部９１の、球体部９２Ａ，９２Ｂに対応する位置には、穴がそれぞれ設けられており、球体部９２Ａ，９２Ｂはこれらの２つの穴にそれぞれはめ込まれ固定されている。

【0017】

キャリブレーションシステム１は、カメラ１１がキャリブレーション部材９０を撮像した結果に基づいて、カメラ１１とキャリブレーション部材９０との間の位置関係を示す外部パラメータＥｃを生成する。図１では、この外部パラメータＥｃを、カメラ１１からキャリブレーション部材９０に向かうベクトルを用いて示している。また、キャリブレーションシステム１は、測距センサ１４がキャリブレーション部材９０を計測した結果に基づいて、測距センサ１４とキャリブレーション部材９０との間の位置関係を示す外部パラメータＥｌを生成する。図１では、この外部パラメータＥｌを、測距センサ１４からキャリブレーション部材９０に向かうベクトルを用いて示している。そして、キャリブレーションシステム１は、これらの２つの外部パラメータＥｃ，Ｅｌに基づいて、カメラ１１と測距センサ１４との間の位置関係を示す外部パラメータＥｌｃを生成する。図１では、この外部パラメータＥｌｃを、測距センサ１４からカメラ１１に向かうベクトルを用いて示している。外部パラメータＥｃ，Ｅｌ，Ｅｌｃのそれぞれは、６つのパラメータ（ｘ，ｙ，ｚ，ｒｏｏｌ，ｐｉｔｃｈ，ｙａｗ）を含む。キャリブレーションシステム１は、この外部パラメータＥｌｃに基づいて、カメラ１１の座標系と、測距センサ１４の座標系を一致させ、カメラ１１のキャリブレーションを行うようになっている。

【0018】

処理装置２０は、カメラ１１の撮像結果、および測距センサ１４の計測結果に基づいてキャリブレーション処理を行うように構成される。処理装置２０は、例えば、１または複数のプロセッサ、および１または複数のメモリを含んで構成され、１または複数のプロセッサが、プログラム２７（後述）を実行することにより、キャリブレーション処理を行うようになっている。

【0019】

図３は、処理装置２０の一構成例を表すものである。処理装置２０は、点群データ取得部２１と、外部パラメータ生成部３０と、画像取得部２２と、外部パラメータ生成部２３と、演算部２４と、キャリブレーション処理部２５と、記憶部２６とを有している。

【0020】

点群データ取得部２１は、測距センサ１４により生成された点群データを、例えば有線通信を用いて測距センサ１４から取得するように構成される。そして、点群データ取得部２１は、取得した点群データを外部パラメータ生成部３０およびキャリブレーション処理部２５に供給するようになっている。

【0021】

外部パラメータ生成部３０は、点群データ取得部２１から供給された点群データに基づいて、測距センサ１４とキャリブレーション部材９０との間の位置関係を示す外部パラメータＥｌを生成するように構成される。外部パラメータ生成部３０は、点群抽出部３１と、平面方程式算出部３２と、立体位置算出部３３と、生成処理部３４とを有している。

【0022】

点群抽出部３１は、点群データ取得部２１から供給された点群データのうち、キャリブレーション部材９０に係る点群データＤを抽出し、抽出した点群データＤを、基体部９１に係る点群データＤ９１と、２つの球体部９２に係る点群データＤ９２とに区分するように構成される。

【0023】

平面方程式算出部３２は、基体部９１に係る点群データＤ９１に基づいて、３次元空間における、これらの点群が位置する無限に広い平面を示す平面方程式を算出するように構成される。

【0024】

立体位置算出部３３は、２つの球体部９２に係る点群データＤ９２に基づいて、２つの球体部９２の位置を算出するように構成される。

【0025】

生成処理部３４は、平面方程式算出部３２が算出した平面方程式、および立体位置算出部３３が算出した２つの球体部９２の位置に基づいて、測距センサ１４とキャリブレーション部材９０との間の位置関係を示す外部パラメータＥｌを生成するように構成される。

【0026】

画像取得部２２は、カメラ１１により生成された撮像画像の画像データを、例えば有線通信を用いて電子機器１０から取得するように構成される。そして、画像取得部２２は、画像データを外部パラメータ生成部２３およびキャリブレーション処理部２５に供給するようになっている。

【0027】

外部パラメータ生成部２３は、画像取得部２２から供給された画像データに基づいて、カメラ１１とキャリブレーション部材９０との間の位置関係を示す外部パラメータＥｃを生成するように構成される。

【0028】

演算部２４は、測距センサ１４とキャリブレーション部材９０との間の位置関係を示す外部パラメータＥｌと、カメラ１１とキャリブレーション部材９０との間の位置関係を示す外部パラメータＥｃとに基づいて、カメラ１１と測距センサ１４との間の位置関係を示す外部パラメータＥｌｃを生成するように構成される。具体的には、演算部２４は、以下の式を用いて、外部パラメータＥｌｃを算出するようになっている。
Ｅｌｃ ＝ Ｅｌ × Ｅｃ^-1

【0029】

キャリブレーション処理部２５は、点群データ取得部２１から供給された点群データ、画像取得部２２から供給された画像データ、および演算部２４から供給された外部パラメータＥｌｃに基づいて、画像処理部１２の画像処理のキャリブレーションデータＤＡＴＡを生成するように構成される。キャリブレーション処理部２５は、外部パラメータＥｌｃを用いて、カメラ１１の座標系と、測距センサ１４の座標系とを一致させる。そして、キャリブレーション処理部２５は、カメラ１１の撮像結果に基づいて、３次元空間における被写体の位置を求めるとともに、測距センサ１４の計測結果に基づいて、３次元空間における被写体の位置を求める。そして、キャリブレーション処理部２５は、例えば、カメラ１１の撮像結果に基づいて得られた、３次元空間における被写体の位置と、測距センサ１４の計測結果に基づいて得られた、３次元空間における被写体の位置とが、互いに一致するように、撮像画像に基づく画像処理を調節する。そして、キャリブレーション処理部２５は、この画像処理の調節についてのデータを含むキャリブレーションデータＤＡＴＡを出力する。例えば、電子機器１０の画像処理部１２は、このキャリブレーションデータＤＡＴＡを用いて、撮像画像に基づく画像処理を行う。これにより、電子機器１０では、例えば、カメラ１１の画像歪みを低減することができ、３次元空間における被写体の位置の精度を高めることができるようになっている。

【0030】

記憶部２６は、例えば不揮発性の記憶部であり、例えば半導体メモリやハードディスクなどを用いて構成される。記憶部２６は、プログラム２７を記憶している。点群データ取得部２１、外部パラメータ生成部３０、画像取得部２２、外部パラメータ生成部２３、演算部２４、およびキャリブレーション処理部２５は、このプログラム２７に基づいて処理を行うようになっている。

【0031】

ここで、測距センサ１４は、本開示の一実施の形態における「測距センサ」の一具体例に対応する。キャリブレーション部材９０は、本開示の一実施の形態における「キャリブレーション部材」の一具体例に対応する。基体部９１の表面は、本開示の一実施の形態における「平面部分」の一具体例に対応する。球体部９２の表面は、本開示の一実施の形態における「立体部分」の一具体例に対応する。外部パラメータＥｌは、本開示の一実施の形態における「第１の外部パラメータ」の一具体例に対応する。カメラ１１は、本開示の一実施の形態における「カメラ」の一具体例に対応する。外部パラメータＥｃは、本開示の一実施の形態における「第２の外部パラメータ」の一具体例に対応する。外部パラメータＥｌｃは、本開示の一実施の形態における「第３の外部パラメータの一具体例に対応する」。

【0032】

［動作および作用］
続いて、本実施の形態のキャリブレーションシステム１の動作および作用について説明する。

【0033】

（全体動作概要）
まず、図１を参照して、キャリブレーションシステム１の動作を説明する。電子機器１０のカメラ１１は、キャリブレーション部材９０の画像データを生成する。測距センサ１４は、キャリブレーション部材９０の点群データを生成する。処理装置２０は、カメラ１１の撮像結果、および測距センサ１４の計測結果に基づいてキャリブレーション処理を行う。具体的には、点群データ取得部２１は、測距センサ１４により生成された点群データを、測距センサ１４から取得する。外部パラメータ生成部３０は、点群データ取得部２１から供給された点群データに基づいて、測距センサ１４とキャリブレーション部材９０との間の位置関係を示す外部パラメータＥｌを生成する。画像取得部２２は、カメラ１１により生成された撮像画像の画像データを、電子機器１０から取得する。外部パラメータ生成部２３は、画像取得部２２から供給された画像データに基づいて、カメラ１１とキャリブレーション部材９０との間の位置関係を示す外部パラメータＥｃを生成する。演算部２４は、測距センサ１４とキャリブレーション部材９０との間の位置関係を示す外部パラメータＥｌと、カメラ１１とキャリブレーション部材９０との間の位置関係を示す外部パラメータＥｃとに基づいて、カメラ１１と測距センサ１４との間の位置関係を示す外部パラメータＥｌｃを生成する。キャリブレーション処理部２５は、点群データ取得部２１から供給された点群データ、画像取得部２２から供給された画像データ、および演算部２４から供給された外部パラメータＥｌｃに基づいて、画像処理部１２の画像処理のキャリブレーションデータＤＡＴＡを生成する。

【0034】

（詳細動作）
外部パラメータ生成部３０において、点群抽出部３１は、点群データ取得部２１から供給された点群データのうち、キャリブレーション部材９０に係る点群データＤを抽出し、抽出した点群データＤを、基体部９１に係る点群データＤ９１と、２つの球体部９２に係る点群データＤ９２とに区分する。平面方程式算出部３２は、基体部９１に係る点群データＤ９１に基づいて、３次元空間における、これらの点群が位置する無限に広い平面を示す平面方程式を算出する。立体位置算出部３３は、２つの球体部９２に係る点群データＤ９２に基づいて、２つの球体部９２の位置を算出する。生成処理部３４は、平面方程式算出部３２が算出した平面方程式、および立体位置算出部３３が算出した２つの球体部９２の位置に基づいて、測距センサ１４とキャリブレーション部材９０との間の位置関係を示す外部パラメータＥｌを生成する。以下に、この外部パラメータ生成部３０の動作について詳細に説明する。

【0035】

図４は、外部パラメータ生成部３０の一動作例を表すものである。

【0036】

まず、点群抽出部３１は、点群データ取得部２１から供給された点群データのうち、キャリブレーション部材９０に係る点群データＤを抽出する（ステップＳ１０１）。

【0037】

図５は、点群データ取得部２１から供給された点群データの一例を表すものである。図６は、点群抽出部３１が抽出した点群データＤの一例を表すものである。図５，６における、並んで配置された小さな丸は、点群を示す。測距センサ１４は、キャリブレーション部材９０を含むより広い領域に対して、例えば赤外光を射出するとともに、計測対象により反射された赤外光を検出することにより、点群データを生成する。図５，６に示したように、点群の密度はやや低い。得られた点群データは、キャリブレーション部材９０に対応する領域における点群データＤと、その領域以外における点群データを含む。測距センサ１４から、キャリブレーション部材９０に対応する領域における点群までの距離は、測距センサ１４から、その領域以外における点群までの距離よりも短い。点群抽出部３１は、例えば、測距センサ１４から点群までの距離の差を利用して、点群データ取得部２１から供給された点群データのうち、キャリブレーション部材９０に係る点群データＤ（図６）を抽出する。

【0038】

次に、点群抽出部３１は、ステップＳ１０１において得られた点群データＤを、基体部９１に係る点群データＤ９１と、２つの球体部９２に係る点群データＤ９２とに区分する（ステップＳ１０２）。図６において、基体部９１は板形状を有する部材であるので、基体部９１に係る点群は、平面上に位置している。２つの球体部９２は球形状を有する部材であるので、２つの球体部９２に係る点群は、球面上に位置している。点群抽出部３１は、例えば、測距センサ１４から点群までの距離の差を利用して、点群データＤを、基体部９１に係る点群データＤ９１と、２つの球体部９２に係る点群データＤ９２とに区分する。

【0039】

次に、平面方程式算出部３２は、基体部９１に係る点群データＤ９１に基づいて、３次元空間における、点群データＤ９１の点群が位置する、無限に広い平面を示す平面方程式を算出する（ステップＳ１０３）。

【0040】

図７Ａ，７Ｂは、平面方程式算出部３２の一動作例を表すものである。この図７Ａ，７Ｂでは、図６に示した球体部９２Ａを横切る点群ＰＣの位置を示しており、横軸は測距センサ１４の座標系における水平方向Ｘの座標を示し、縦軸は測距センサ１４の座標系における奥行方向Ｚの座標を示す。図７Ａの例と、図７Ｂの例とでは、測距センサ１４からみたキャリブレーション部材９０の向きが異なっている。これらの点群は、点群データＤ９１に属する点群と、点群データＤ９２に属する点群を含む。点群データＤ９１に属する点群は、キャリブレーション部材９０における基体部９１の表面に対応しているので、平面上に位置する。なお、図７Ａ，７Ｂでは、水平方向Ｘの例を示したが、垂直方向Ｙについても同様である。平面方程式算出部３２は、これらの点群データＤ９１に基づいて、３次元空間における、点群データＤ９１の点群が位置する、無限に広い平面を示す平面方程式を算出する。

【0041】

次に、立体位置算出部３３は、２つの球体部９２に係る点群データＤ９２に基づいて、２つの球体部９２の位置を算出する（ステップＳ１０４）。

【0042】

図８Ａ，８Ｂは、立体位置算出部３３の一動作例を表すものである。点群データＤ９２に属する点群は、キャリブレーション部材９０における２つの球体部９２の表面に対応しているので、球面上に位置する。なお、図８Ａ，８Ｂでは、水平方向Ｘの例を示したが、垂直方向Ｙについても同様である。立体位置算出部３３は、これらの点群データＤ９２に基づいて、点群が位置する球体の方程式を算出することにより、２つの球体部９２の位置を算出する。

【0043】

次に、生成処理部３４は、平面方程式算出部３２が算出した平面方程式、および立体位置算出部３３が算出した２つの球体部９２の位置に基づいて、測距センサ１４とキャリブレーション部材９０との間の位置関係を示す外部パラメータＥｌを生成する（ステップＳ１０５）。すなわち、平面方程式により、キャリブレーション部材９０が存在し得る平面が特定され、２つの球体部９２の位置により、その平面内におけるキャリブレーション部材９０の位置および向きが特定される。よって、これらの平面方程式および２つの球体部９２の位置に基づいて、３次元空間におけるキャリブレーション部材９０の位置および向きが特定される。生成処理部３４は、これらの平面方程式および２つの球体部９２の位置に基づいて、測距センサ１４とキャリブレーション部材９０との間の位置関係を示す外部パラメータＥｌを生成する。

【0044】

以上で、この処理は終了する。

【0045】

このようにして、外部パラメータ生成部３０は、点群データ取得部２１から供給された点群データに基づいて、測距センサ１４とキャリブレーション部材９０との間の位置関係を示す外部パラメータＥｌを生成する。外部パラメータ生成部２３は、画像取得部２２から供給された撮像画像の画像データに基づいて、カメラ１１とキャリブレーション部材９０との間の位置関係を示す外部パラメータＥｃを生成する。そして、演算部２４は、測距センサ１４とキャリブレーション部材９０との間の位置関係を示す外部パラメータＥｌと、カメラ１１とキャリブレーション部材９０との間の位置関係を示す外部パラメータＥｃとに基づいて、カメラ１１と測距センサ１４との間の位置関係を示す外部パラメータＥｌｃを生成する。キャリブレーション処理部２５は、点群データ取得部２１から供給された点群データ、画像取得部２２から供給された画像データ、および演算部２４から供給された外部パラメータＥｌｃに基づいて、画像処理部１２の画像処理のキャリブレーションデータＤＡＴＡを生成する。

【0046】

このように、キャリブレーションシステム１におけるキャリブレーション方法では、測距センサ１４を用いて、基体部９１と２つの球体部９２とを有するキャリブレーション部材９０のうちの、基体部９１に対応する点群データＤ９１および２つの球体部９２に対応する点群データＤ９２を含む点群データＤを生成することと、点群データＤ９１に基づいて基体部９１を示す平面方程式を算出する第１の演算を行うことと、点群データＤ９２に基づいて、２つの球体部９２のそれぞれの位置を算出する第２の演算を行うことと、第１の演算の結果および第２の演算の結果に基づいて、キャリブレーション部材９０の位置および向きを推定し、その推定結果に基づいて測距センサ１４とキャリブレーション部材９０との間の位置関係を示す外部パラメータＥｌを生成することとを含むようにした。これにより、外部パラメータの検出精度を高めることができる。

【0047】

すなわち、キャリブレーション方法では、例えばシンプルな板形状を有するキャリブレーション部材９０Ｒを使用し得る。しかしながら、測距センサ１４により得られる点群の密度はやや低いので、例えば図９に示すように、キャリブレーション部材９０Ｒのエッジの位置を高い精度で検出することが難しい。この場合には、キャリブレーション部材９０Ｒの位置および向きを推定する推定精度が低くなるので、得られた外部パラメータＥｌの精度もまた低くなってしまう。

【0048】

一方、このキャリブレーション方法では、基体部９１と２つの球体部９２とを有するキャリブレーション部材９０を使用するようにした。これにより、このキャリブレーション方法では、例えばステップＳ１０４に示したように、点群データＤ９２に基づいて、点群が位置する球体の方程式を算出することにより、２つの球体部９２の位置を算出することができる。すなわち、測距センサ１４により得られる点群の密度が低い場合でも、点群が位置する球体の方程式を算出することにより、高い精度で２つの球体部９２の位置を算出することができる。その結果、外部パラメータの検出精度を高めることができる。

【0049】

また、このキャリブレーション方法では、キャリブレーション部材９０に球体部９２を設けるようにしたので、外部パラメータの検出精度を高めることができる。すなわち、例えば、図１０に示すように、基体部９３および円柱形状を有する２つの円柱部９４（円柱部９４Ａ，９４Ｂ）を有するキャリブレーション部材９０Ｓを用いた場合には、円柱部９４の表面が平坦であるので、円柱部９４の位置を高い精度で算出することができない。一方、このキャリブレーション方法では、球体部９２を設けるようにした。球体部９２の表面は曲面であるので、球体部９２は基体部９１を基準として傾斜した傾斜面を含む。よって、球体部９２に係る点群に含まれる点は、例えば図８Ａ、８Ｂに示したように、奥行方向Ｚにおいて様々な位置をとり得る。これにより、このキャリブレーション方法では、例えばステップＳ１０４に示したように、点群データＤ９２に基づいて、点群が位置する球体の方程式を算出することにより、球体部９２の位置を算出することができる。その結果、外部パラメータの検出精度を高めることができる。

【0050】

また、このキャリブレーション方法では、カメラ１１を用いて、キャリブレーション部材９０を撮像することにより、カメラ１１とキャリブレーション部材９０との間の位置関係を示す外部パラメータＥｃを生成することと、外部パラメータＥｌおよび外部パラメータＥｃに基づいて、カメラ１１と測距センサ１４との間の位置関係を示す外部パラメータＥｌｃを生成することとを含むようにした。これにより、このキャリブレーション方法では、この外部パラメータＥｌｃに基づいて、カメラ１１の座標系と、測距センサ１４の座標系とを一致させることができ、カメラ１１のキャリブレーションを行うことができる。このように、このキャリブレーション方法では、精度が高い外部パラメータＥｌｃを用いて処理を行うことができるので、カメラ１１のキャリブレーションを高い精度で行うことができる。

【0051】

［効果］
以上のように本実施の形態では、測距センサを用いて、基体部と２つの球体部とを有するキャリブレーション部材のうちの、基体部に対応する点群データＤ９１および２つの球体部に対応する点群データＤ９２を含む点群データを生成することと、点群データＤ９１に基づいて基体部を示す平面方程式を算出する第１の演算を行うことと、点群データＤ９２に基づいて、２つの球体部のそれぞれの位置を算出する第２の演算を行うことと、第１の演算の結果および第２の演算の結果に基づいて、キャリブレーション部材の位置および向きを推定し、その推定結果に基づいて測距センサとキャリブレーション部材との間の位置関係を示す外部パラメータＥｌを生成することとを含むようにした。これにより、外部パラメータの検出精度を高めることができる。

【0052】

本実施の形態では、キャリブレーション部材に球体部を設けるようにしたので、外部パラメータの検出精度を高めることができる。

【0053】

本実施の形態では、カメラを用いて、キャリブレーション部材を撮像することにより、カメラとキャリブレーション部材との間の位置関係を示す外部パラメータＥｃを生成することと、外部パラメータＥｌおよび外部パラメータＥｃに基づいて、カメラと測距センサとの間の位置関係を示す外部パラメータＥｌｃを生成するようにしたので、カメラのキャリブレーションを高い精度で行うことができる。

【0054】

［変形例１］
上記実施の形態では、図１１（Ａ）に示すように、キャリブレーション部材９０において、球体部９２の表面が、測距センサ１４からの光が照射される側（図１１（Ａ）における左側）に多く露出するようにしたが、これに限定されるものではない。これに代えて、例えば、図１１（Ｂ）に示すように、球体部９２の表面が、測距センサ１４からの光が照射される側とは反対の側（図１１（Ｂ）における右側）に多く露出してもよい。また、図１１（Ｃ）に示すように、球体の一部のみを基体部９１の表面に設けるようにしてもよい。

【0055】

また、この例では、キャリブレーション部材９０に球体を設けたが、これに限定されるものではなく、曲面により構成された様々な形状のものを設けることができる。例えば図１２に示すように、キャリブレーション部材９０に楕円体を設けてもよい。

【0056】

また、例えば、図１３に示すように、キャリブレーション部材９０に円錐形状を有する立体物を設けてもよい。キャリブレーション部材９０は、基体部９１と、２つの円錐部９５（円錐部９５Ａ，９５Ｂ）とを有している。

【0057】

［変形例２］
上記実施の形態では、キャリブレーション部材９０に、曲面を有する球体部９２を設けたが、これに限定されるものではない。以下に、本変形例に係るキャリブレーション部材９０について詳細に説明する。

【0058】

図１４は、本変形例に係るキャリブレーション部材９０の一構成例を表すものであり、（Ａ）は側面図を示し、（Ｂ）は正面図を示す。図１４（Ａ）において、測距センサ１４からの光は左側から照射される。キャリブレーション部材９０は、基体部９１と、２つの四角錐部９６（四角錐部９６Ａ，９６Ｂ）とを有している。この例では、四角錐部９６は、正四角錐形状を有する。２つの四角錐部９６のそれぞれは、平面状の４つの傾斜面を含む。この例では、４つの傾斜面の傾斜角度は互いに等しいが、４つの傾斜面の傾斜の方向は互いに異なる。測距センサ１４は、このようなキャリブレーション部材９０の点群データを生成する。

【0059】

この場合でも、立体位置算出部３３は、上記実施の形態におけるステップＳ１０４の処理と同様に、２つの四角錐部９６に係る点群データに基づいて、２つの四角錐部９６の位置を算出する。

【0060】

図１５は、本変形例に係る立体位置算出部３３の一動作例を表すものである。図１５における点群は、基体部９１に係る点群データＤ９１に属する点群と、四角錐部９６に係る点群データＤ９６に属する点群を含む。なお、図１５では、水平方向Ｘの例を示したが、垂直方向Ｙについても同様である。立体位置算出部３３は、これらの点群データＤ９６に基づいて、２つの四角錐部９６の位置を算出する。

【0061】

そして、生成処理部３４は、上記実施の形態におけるステップＳ１０５の処理と同様に、平面方程式算出部３２が算出した平面方程式、および立体位置算出部３３が算出した２つの四角錐部９６の位置に基づいて、測距センサ１４とキャリブレーション部材９０との間の位置関係を示す外部パラメータＥｌを生成することができる。

【0062】

また、この例では、キャリブレーション部材９０に四角錐を設けたが、これに限定されるものではなく、平面により構成された様々な形状のものを設けることができる。例えば、キャリブレーション部材９０に三角錐を設けてもよい。また、例えば図１２に示すように、キャリブレーション部材９０に直方体を設けてもよい。

【0063】

［変形例３］
上記実施の形態では、電子機器１０にカメラ１１を設けたが、これに限定されるものではない。例えば、電子機器にカメラおよび測距センサの両方を設けてもよい。以下に、本変形例について詳細に説明する。

【0064】

図１７は、本変形例に係るキャリブレーションシステム２の一構成例を表すものである。キャリブレーションシステム２は、ベルトコンベア１３と、電子機器４０と、キャリブレーション部材９０とを備えている。

【0065】

電子機器４０は、カメラ１１と、測距センサ４５と、処理部５０とを有している。電子機器４０は、カメラ１１および測距センサ４５以外の１または複数のセンサを有していてもよい。

【0066】

測距センサ４５は、例えばライダーセンサであり、例えば赤外光を射出するとともに、計測対象により反射された赤外光を検出することにより、点群データを生成するように構成される。

【0067】

処理部５０は、例えば電子機器４０が静止している場合や移動している場合において、カメラ１１の撮像画像の画像データ、および測距センサ４５の点群データに基づいて、電子機器４０の周囲の物体を認識するとともにその物体の３次元空間における位置を算出するように構成される。処理部５０は、キャリブレーションシステム２において、上記実施の形態と同様にキャリブレーション処理を行うことにより、外部パラメータＥｌｃを生成する。処理部５０は、この外部パラメータＥｌｃに基づいて、カメラ１１の座標系と、測距センサ４５の座標系を一致させることにより、カメラ１１の撮像画像の画像データおよび測距センサ４５の点群データに基づいて、物体の３次元空間における位置を算出するようになっている。

【0068】

図１８は、処理部５０の一構成例を表すものである。処理部５０は、点群データ取得部２１と、外部パラメータ生成部３０と、画像取得部２２と、外部パラメータ生成部２３と、演算部２４と、物体認識部５５と、記憶部５６とを有している。

【0069】

物体認識部５５は、例えば電子機器４０が移動している場合において、点群データ取得部２１から供給された点群データ、画像取得部２２から供給された画像データ、および演算部２４から供給された外部パラメータＥｌｃに基づいて、電子機器４０の周囲の物体を認識するとともにその物体の３次元空間における位置を算出するように構成される。物体認識部５５は、外部パラメータＥｌｃを用いて、カメラ１１の座標系と、測距センサ４５の座標系とを一致させる。そして、物体認識部５５は、カメラ１１の撮像結果および測距センサ１４の計測結果に基づいて、電子機器４０の周囲の物体を認識するとともにその物体の３次元空間における位置を算出する。そして、物体認識部５５は、処理結果をデータＲＥＳとして出力する。

【0070】

電子機器４０は、このデータＲＥＳに含まれる、電子機器４０の周囲の物体についての情報に基づいて、例えば、認識した物体に応じた所定の処理を行う。

【0071】

記憶部５６は、例えば不揮発性の記憶部であり、例えば半導体メモリを用いて構成される。記憶部５６は、プログラム５７を記憶している。点群データ取得部２１、外部パラメータ生成部３０、画像取得部２２、外部パラメータ生成部２３、演算部２４、および物体認識部５５は、このプログラム５７に基づいて処理を行う。

【0072】

［その他の変形例］
また、これらの変形例のうちの２以上を組み合わせてもよい

【0073】

以上、実施の形態および変形例を挙げて本発明を説明したが、本発明はこれらの実施の形態等には限定されず、種々の変形が可能である。

【0074】

例えば、上記実施の形態等では、キャリブレーション部材９０において２つの球体部９２を設けたが、これに限定されるものではなく、これに代えて、例えば３つ以上の球体部９２を設けてもよい。

【0075】

例えば、上記実施の形態等では、キャリブレーション部材９０に２つの球体部９２を設けたが、これに限定されるものではなく、これに代えて、互いに異なる形状を有する立体物を設けてもよい。具体的には、例えば、キャリブレーション部材９０に、球体部９２（図２）および円錐部９５（図１３）を設けてもよい。

【符号の説明】

【0076】

１，２…キャリブレーションシステム、１０，４０…電子機器、１１…カメラ、１２…画像処理部、１３…ベルトコンベア、１４，１５…測距センサ、２０…処理装置、２１…点群データ取得部、２２…画像取得部、２３…外部パラメータ生成部、２４…演算部、２５…キャリブレーション処理部、２６，５６…記憶部、２７，５７…プログラム、３０…外部パラメータ生成部、３１…点群抽出部、３２…平面方程式算出部、３３…立体位置算出部、３４…生成処理部、５０…処理部、５５…物体認識部、９０…キャリブレーション部材、９１…基体部、９２，９２Ａ，９２Ｂ…球体部、Ｄ，Ｄ９１，Ｄ９２…点群データ、Ｅｃ，Ｅｌ，Ｅｌｃ…外部パラメータ。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7A】

【図7B】

【図8A】

【図8B】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】