(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024167969
(43)【公開日】2024-12-05
(54)【発明の名称】カメラのキャリブレーション装置、カメラのキャリブレーションシステム及びカメラのキャリブレーション方法
(51)【国際特許分類】
H04N 23/60 20230101AFI20241128BHJP
B61L 23/00 20060101ALI20241128BHJP
【FI】
H04N23/60
H04N23/60 500
B61L23/00 Z
【審査請求】未請求
【請求項の数】15
【出願形態】OL
(21)【出願番号】P 2023084314
(22)【出願日】2023-05-23
(71)【出願人】
【識別番号】521475989
【氏名又は名称】川崎車両株式会社
(74)【代理人】
【識別番号】100088672
【弁理士】
【氏名又は名称】吉竹 英俊
(74)【代理人】
【識別番号】100088845
【弁理士】
【氏名又は名称】有田 貴弘
(74)【代理人】
【識別番号】100117662
【弁理士】
【氏名又は名称】竹下 明男
(74)【代理人】
【識別番号】100156177
【弁理士】
【氏名又は名称】池見 智治
(72)【発明者】
【氏名】中岡 輝久
【テーマコード(参考)】
5C122
5H161
【Fターム(参考)】
5C122DA12
5C122DA14
5C122EA59
5C122EA67
5C122FA18
5C122FH04
5C122FK24
5C122GD12
5C122GE26
5C122HA88
5C122HB01
5C122HB05
5C122HB10
5H161AA01
5H161MM13
5H161NN10
(57)【要約】
【課題】異なる撮像範囲の間で相対的な位置誤差を改善することを目的とする。
【解決手段】カメラのキャリブレーション装置は、第1基準点を含む第1画像データと、第1基準点とは異なる第2基準点を含む第2画像データとが入力される画像入力部と、実空間において第1基準点に対応する第1実基準点と第2基準点に対応する第2実基準点とに関する実空間基準位置情報が入力される位置情報入力部と、第1画像データを実座標系のデータに変換する第1パラメータ群と、第2画像データを実座標系のデータに変換する第2パラメータ群とを求める処理部とを備え、処理部は、第1基準点を実座標系に変換した第1変換位置と第2基準点を実座標系に変換した第2変換位置との位置関係が、実空間における第1実基準点と第2実基準点との位置関係に適合するように、第1パラメータ群と第2パラメータ群とを決定する。
【選択図】
図4
【特許請求の範囲】
【請求項1】
第1基準点を含む第1画像データと、前記第1基準点とは異なる第2基準点を含む第2画像データとが入力される画像入力部と、
実空間において前記第1基準点に対応する第1実基準点と前記第2基準点に対応する第2実基準点とに関する実空間基準位置情報が入力される位置情報入力部と、
前記第1画像データを実座標系のデータに変換する第1パラメータ群と、前記第2画像データを前記実座標系のデータに変換する第2パラメータ群とを求める処理部と、
を備え、
前記処理部は、前記第1画像データと前記第2画像データと前記実空間基準位置情報とに基づいて、前記第1画像データの前記第1基準点を前記実座標系に変換した第1変換位置と前記第2画像データの前記第2基準点を前記実座標系に変換した第2変換位置との位置関係が、実空間における前記第1実基準点と前記第2実基準点との位置関係に適合するように、前記第1パラメータ群と前記第2パラメータ群とを決定する、カメラのキャリブレーション装置。
【請求項2】
請求項1に記載のカメラのキャリブレーション装置であって、
前記処理部は、前記第1変換位置と前記第2変換位置との距離が、実空間における前記第1実基準点と前記第2実基準点との距離に適合するように、前記第1パラメータ群と前記第2パラメータ群とを決定する、カメラのキャリブレーション装置。
【請求項3】
請求項1又は請求項2に記載のカメラのキャリブレーション装置であって、
前記第1画像データが前記第1基準点を複数含み、
前記第2画像データが前記第2基準点を複数含み、
前記処理部は、前記第1変換位置と前記第2変換位置との位置関係と、前記第1基準点に対応する前記第1実基準点と前記第2基準点に対応する前記第2実基準点との位置関係との複数の組合せに基づいて、前記第1パラメータ群と前記第2パラメータ群とを決定する、カメラのキャリブレーション装置。
【請求項4】
請求項1又は請求項2に記載のカメラのキャリブレーション装置であって、
前記処理部は、前記第1変換位置と前記第2変換位置との位置関係と、実空間における前記第1実基準点と前記第2実基準点との位置関係との誤差を最小化するように、前記第1パラメータ群と前記第2パラメータ群とを決定する、カメラのキャリブレーション装置。
【請求項5】
請求項1又は請求項2に記載のカメラのキャリブレーション装置であって、
前記処理部は、前記第1画像データの前記第1基準点に対して前記第1パラメータ群によって定義される射影変換を行って前記第1変換位置を求め、前記第2画像データの前記第2基準点に対して前記第2パラメータ群によって定義される射影変換を行って前記第2変換位置を求める、カメラのキャリブレーション装置。
【請求項6】
請求項1又は請求項2に記載のカメラのキャリブレーション装置であって、
前記処理部は、
前記第1パラメータ群と前記第2パラメータ群とを決定する前に、前記第1変換位置が実空間における前記第1実基準点の位置に適合するように、第1初期パラメータ群を求めると共に、前記第2変換位置が実空間における前記第2実基準点の位置に適合するように、第2初期パラメータ群を求め、
前記第1初期パラメータ群と前記第2初期パラメータ群とを用いて、前記第1変換位置と前記第2変換位置との位置関係が、実空間における前記第1実基準点と前記第2実基準点との位置関係に適合するように、前記第1パラメータ群と前記第2パラメータ群とを決定する、カメラのキャリブレーション装置。
【請求項7】
請求項1又は請求項2に記載のカメラのキャリブレーション装置であって、
前記第1画像データと前記第2画像データとは互いに異なる撮像範囲を撮像したデータである、カメラのキャリブレーション装置。
【請求項8】
請求項1又は請求項2に記載のカメラのキャリブレーション装置であって、
第1測定対象物が写り込んだ第1測定対象画像データと第2測定対象物が写り込んだ第2測定対象画像データとが入力される測定対象画像入力部をさらに備え、
前記処理部は、前記第1測定対象画像データに前記第1パラメータ群を適用すると共に、前記第2測定対象画像データに前記第1パラメータ群を適用して、前記第1測定対象物と前記第2測定対象物との位置関係を示す位置関係データを求め、
前記位置関係データに基づく位置関係情報を表示する表示装置をさらに備える、カメラのキャリブレーション装置。
【請求項9】
請求項8に記載のカメラのキャリブレーション装置であって、
前記第1測定対象物は、第1レールであり、
前記第2測定対象物は、前記第1レールと並行な第2レールであり、
前記処理部は、前記位置関係データとして、前記第1レールと前記第2レールとの位置関係を示すデータを求める、カメラのキャリブレーション装置。
【請求項10】
請求項9に記載のカメラのキャリブレーション装置であって、
前記処理部は、前記位置関係データとして、前記第1レールと前記第2レールとの間隔を示すデータを求め、
前記表示装置は、前記位置関係情報として前記第1レールと前記第2レールとの間隔情報を表示する、カメラのキャリブレーション装置。
【請求項11】
請求項1又は請求項2に記載のカメラのキャリブレーション装置と、
前記第1実基準点を含む第1撮像範囲を撮像し、前記第1画像データを出力する第1カメラと、
前記第2実基準点を含む第2撮像範囲を撮像し、前記第2画像データを出力する第2カメラと、
を備えるカメラのキャリブレーションシステム。
【請求項12】
請求項11に記載のカメラのキャリブレーションシステムであって、
前記第1カメラは、第1レールを撮像可能な状態で鉄道車両に支持され、
前記第2カメラは、前記第1レールと並行な第2レールを撮像可能な状態で前記鉄道車両に支持されている、カメラのキャリブレーションシステム。
【請求項13】
請求項12に記載のカメラのキャリブレーションシステムであって、
前記第1カメラは、前記第1レールに位置付された第1基準ピンを前記第1実基準点として撮像し、
前記第2カメラは、前記第2レールに位置付された第2基準ピンを前記第2実基準点として撮像する、カメラのキャリブレーションシステム。
【請求項14】
第1基準点と前記第1基準点とは異なる第2基準点とを含む画像データを取得し、
実空間において前記第1基準点に対応する第1実基準点と前記第2基準点と対応する第2実基準点とに関する実空間基準位置情報を取得し、
第1パラメータ群を用いて前記画像データの前記第1基準点を実座標系に変換した第1変換位置と、第2パラメータ群を用いて前記画像データの前記第2基準点を前記実座標系に変換した第2変換位置との位置関係が、実空間における前記第1実基準点と前記第2実基準点との位置関係に適合するように、前記第1パラメータ群と前記第2パラメータ群とを決定する、カメラのキャリブレーション方法。
【請求項15】
請求項14に記載のカメラのキャリブレーション方法であって、
前記画像データとして、前記第1基準点を含む第1画像データと、前記第1基準点とは異なる前記第2基準点を含む第2画像データとを取得する、カメラのキャリブレーション方法。
【発明の詳細な説明】
【技術分野】
【0001】
この開示は、カメラのキャリブレーションを行う技術に関する。
【背景技術】
【0002】
特許文献1は、2つのカメラによって、共通する複数の校正点を撮像することによって、キャリブレーションを行う技術を開示している。
【先行技術文献】
【特許文献】
【0003】
【発明の概要】
【発明が解決しようとする課題】
【0004】
ここで、複数のカメラに対して、別々にキャリブレーションを行うと、誤差が積算されてしまい、カメラ間での相対的な位置誤差が拡大する可能性がある。
【0005】
特許文献1に記載の技術によると、2つのカメラに対して、共通する複数の校正点を基準にしてキャリブレーションを行うことができる。しかしながら、2つのカメラの撮像範囲が異なる場合には、適用できない。
【0006】
そこで、本開示は、異なる撮像範囲の間で相対的な位置誤差を改善することを目的とする。
【課題を解決するための手段】
【0007】
上記課題を解決するため、カメラのキャリブレーション装置は、第1基準点を含む第1画像データと、前記第1基準点とは異なる第2基準点を含む第2画像データとが入力される画像入力部と、実空間において前記第1基準点に対応する第1実基準点と前記第2基準点に対応する第2実基準点とに関する実空間基準位置情報が入力される位置情報入力部と、前記第1画像データを実座標系のデータに変換する第1パラメータ群と、前記第2画像データを前記実座標系のデータに変換する第2パラメータ群とを求める処理部と、を備え、前記処理部は、前記第1画像データと前記第2画像データと前記実空間基準位置情報とに基づいて、前記第1画像データの前記第1基準点を前記実座標系に変換した第1変換位置と前記第2画像データの前記第2基準点を前記実座標系に変換した第2変換位置との位置関係が、実空間における前記第1実基準点と前記第2実基準点との位置関係に適合するように、前記第1パラメータ群と前記第2パラメータ群とを決定する。
【0008】
また、上記課題を解決するため、カメラのキャリブレーション方法は、第1基準点と前記第1基準点とは異なる第2基準点とを含む画像データを取得し、実空間において前記第1基準点に対応する第1実基準点と前記第2基準点と対応する第2実基準点とに関する実空間基準位置情報を取得し、第1パラメータ群を用いて前記画像データの前記第1基準点を実座標系に変換した第1変換位置と、第2パラメータ群を用いて前記画像データの前記第2基準点を前記実座標系に変換した第2変換位置との位置関係が、実空間における前記第1実基準点と前記第2実基準点との位置関係に適合するように、前記第1パラメータ群と前記第2パラメータ群とを決定する。
【発明の効果】
【0009】
このキャリブレーション装置によると、異なる撮像範囲の間で相対的な位置誤差を改善できる。
【0010】
また、キャリブレーション方法によっても、異なる撮像範囲の間で相対的な位置誤差を改善できる。
【図面の簡単な説明】
【0011】
【
図1】
図1は第1実施形態に係るカメラのキャリブレーションシステムを示すブロック図である。
【
図2】
図2はキャリブレーションツールと第1カメラとの位置関係を示す説明図である。
【
図3】
図3はキャリブレーション装置を示すブロック図である。
【
図4】
図4はキャリブレーション装置の処理例を示すフローチャートである。
【
図5】
図5は基準ピンの実座標と画像データにおける輝線Rの座標との関係を示す説明図である。
【
図6】
図6は第2実施形態に係るキャリブレーション装置が適用されたキャリブレーションシステムを示すブロック図である。
【
図7】
図7はキャリブレーション装置を示すブロック図である。
【
図8】
図8はキャリブレーション装置の処理例を示すフローチャートである。
【発明を実施するための形態】
【0012】
{第1実施形態}
以下、第1実施形態に係るカメラのキャリブレーション装置、カメラのキャリブレーションシステム及びカメラのキャリブレーション方法について説明する。
【0013】
図1はカメラのキャリブレーションシステムを示すブロック図である。
図1では主にキャリブレーションの対象であるカメラに関する構成例が示される。
【0014】
キャリブレーションシステム20は、キャリブレーション装置50と、第1カメラ30Aと、第2カメラ30Bとを備える。
【0015】
第1カメラ30A及び第2カメラ30Bは、鉄道車両10によって支持されていてもよい。鉄道車両10は、第1レール12A及び第2レール12Bを含む軌道を走行する車両である。第1レール12A及び第2レール12Bは、地上等に枕木等を介して並行状態で敷設される。第1レール12A及び第2レール12Bは、高架橋等によって地上よりも上の位置に設けられていてもよい。軌道は、地下に掘られたトンネル内に設けられていてもよい。
【0016】
第1カメラ30Aは、第1レール12Aを撮像可能な状態で鉄道車両10によって支持されている。第2カメラ30Bは、第2レール12Bを撮像可能な状態で鉄道車両10に支持されている。よって、第1カメラ30Aと第2カメラ30Bとは、互いに異なる撮像範囲を撮像する。第1カメラ30Aから出力される第1画像データと、第2カメラ30Bから出力される第2画像データとは、互いに異なる撮像範囲を撮像したデータである。ここで、互いに異なる撮像範囲とは、撮像範囲が一致しない場合をいい、従って、撮像範囲が部分的に重複する場合と、撮像範囲が全く重複しない場合とを含む。本実施形態に係るキャリブレーションは、撮像範囲が全く重複しない場合にも適用可能である。
【0017】
第1レール12Aと第2レール12Bとは鉄道車両10の下側で離れて位置している。このため、第1レール12Aと第2レール12Bとを、別々のカメラ30A、30Bによって撮像することで、第1レール12Aと第2レール12Bとを単一の広角カメラで撮像する場合と比較して、ひずみの少ない画像が得られる可能性がある。
【0018】
カメラ30A、30Bは、CCD(Charge Coupled Device)イメージセンサ又はCMOS(Complementary MOS)イメージセンサを含むカメラである。第1カメラ30Aは、鉄道車両10の下部において、中心軸が第1レール12Aを向くように支持されてもよい。第2カメラ30Bは、鉄道車両10の下部において、中心軸が第2レール12Bを向くように支持されてもよい。カメラ30A、30Bの中心軸がレール12A、12Bを向くことで、撮像画像におけるレール12A、12Bのひずみが少なくなる。
【0019】
第1画像データに写り込んだ第1レール12Aの表面形状の像に対して、予め設定された第1パラメータ群によって定義される射影変換がなされることで、実空間における第1レール12Aの表面形状の位置が演算される。同様に、第2画像データに写り込んだ第2レール12Bの表面形状の像に対して、予め設定された第2パラメータ群によって定義される射影変換がなされることで、実空間における第2レール12Bの表面形状の位置が演算される。
【0020】
実空間における第1レール12Aの表面形状の位置と第2レール12Bの表面形状の位置とに基づいて、第1レール12Aの第2レール12Bとの位置関係が把握され得る。例えば、第1レール12Aの第2レール12Bとの間隔が把握され得る。
【0021】
上記第1パラメータ群及び第2パラメータ群は、例えば、次のキャリブレーション処理によって求められる。
【0022】
図2はキャリブレーション中におけるキャリブレーションツール16Aと第1カメラ30Aとの位置関係を示す説明図である。
図1及び
図2に示すように、第1レール12A及び第2レール12Bのそれぞれに、キャリブレーションツール16A、16Bが位置付される。
【0023】
キャリブレーションツール16Aは、ベース17Aと、第1基準ピン18Aとを含む。第1基準ピン18Aの数は任意である。後述する8つのパラメータC11、C12、C13、C21、C22、C23、C31、C32を求めるためには、キャリブレーションツール16Aは、第1基準ピン18Aを4つ以上備えるとよい。
【0024】
ベース17Aは、複数の第1基準ピン18Aを、相対的に位置決めした状態で支持する。ここでは、ベース17Aは、細長い板状に形成されている。ベースの形状は特に限定されず、その他の形状、例えば、直方体形状に形成されていてもよい。
【0025】
ベース17Aは、位置決め凹部17Ahを含む。ここでは、ベース17Aの長手方向中間部の下部に、位置決め凹部17Ahが形成されている。位置決め凹部17Ahは、下方に開口する凹状に形成されている。位置決め凹部17Ahの幅は、第1レール12Aの上部分の幅と同じか当該幅よりも大きい。第1レール12Aの上部分を位置決め凹部17Ah内に配置することができる。ベース17Aを第1レール12Aの延在方向に対して直交させた姿勢で、位置決め凹部17Ahに第1レール12Aの上部分が配置される。これにより、第1レール12Aの頂部が位置決め凹部17Ahの奥側の下向き面に接触し、上下方向において、第1レール12Aに対するベース17Aの位置決めがなされる。また、第1レール12Aの頂部の一方側の側縁が、位置決め凹部17Ahの一方側の側縁に押し当てられる。これにより、第1レール12Aの幅方向において、第1レール12Aに対するベース17Aの位置決めがなされる。
【0026】
ベース17Aは、他の物体を介して第1レール12Aに位置付けられてもよい。例えば、ベース17Aは、鉄道車両10に対して位置付けられてもよい。鉄道車両10は、車輪を介して第1レール12Aに接しているので、ベース17Aは、鉄道車両10を介して第1レール12Aに位置付けられる。
【0027】
上記のように、ベース17Aが直接又は間接的に第1レール12Aに位置付けられることで、複数の第1基準ピン18Aも、第1レール12Aに対して位置付けられる。
【0028】
キャリブレーションツール16Bも、キャリブレーションツール16Aと同様に、ベース17Bと、第2基準ピン18Bとを含む。キャリブレーションツール16Bは、第1基準ピン18Bを1つのみ有して入れもよいし、複数有していてもよい。
【0029】
キャリブレーションツール16Aにおける第1基準ピン18Aの位置と、キャリブレーションツール16Bにおける第2基準ピン18Bの位置とは、ミラー対象の関係にあってもよいし、同じ位置関係であってもよいし、相互に無関係な位置関係であってもよい。
【0030】
キャリブレーションツール16Aとキャリブレーションツール16Bとは、連結部16Cを介して連結されていてもよい。キャリブレーションツール16Aとキャリブレーションツール16Bとが連結されていれば、実空間において、第1基準ピン18Aと第2基準ピン18Bとの相対的な位置関係が一定に保たれ易い。
【0031】
キャリブレーションツール16Aを利用したキャリブレーションの例について説明する。
【0032】
スリット光源19からのスリット光Lが複数の第1基準ピン18Aに対して照射される。スリット光源19は、例えば、発光ダイオード、電球等の光源と、光源からの光をスリット状の孔によってスリット状に制限する光通過制限部等によって構成される。スリット光Lが複数の第1基準ピン18Aに照射されると、複数の第1基準ピン18Aのそれぞれにスリット光Lによる輝線Rが表れる。
【0033】
第1カメラ30Aは、複数の第1基準ピン18Aに照射されたスリット光Lによる輝線Rを撮像する。第1カメラ30Aは、スリット光源19とは異なる位置から、複数の基準ピン18A、18B上の輝線Rを撮像可能な位置に設けられている。
【0034】
第1基準ピン18Aは、実空間における第1実基準点の一例である。第1カメラ30Aは、当該第1基準ピン18Aを少なくとも1つ含む第1撮像範囲E1を撮像し、第1画像データを出力する。また、第1画像データには、第1基準ピン18Aに照射された輝線Rが写り込んでいる。第1画像データに含まれる輝線Rは、第1基準点の一例である。複数の第1基準ピン18Aのそれぞれは、複数の輝線Rのそれぞれに、1対1で対応付けられる。なお、第1基準ピン18Aの位置は、XY平面における第1基準ピン18Aの中心座標によって表現されてもよい。なお、Z方向、Y方向、Z方向の例が後に説明される。以下、第1基準ピン18A又は第2基準ピン18Bの位置は、座標として表現されることがある。第1基準ピン18Aの中心座標は、XY平面における第1基準ピン18Aの投影形状の幾何中心であってもよい。また、輝線Rの位置は、第1画像データ31A又は第2画像データ31Bにおける輝線Rの中心座標によって表現されてもよい。輝線Rの中心座標は、第1画像データにおける当該輝線Rの幾何中心であってもよい。以下、輝線Rの位置は、輝線Rの座標として表現されることがある。
【0035】
鉄道車両10を前提としてキャリブレーションを行う場合、スリット光源19及び第1カメラ30Aは、鉄道車両10によって支持されていることが想定され得る。
【0036】
第1基準ピン18Aに対するスリット光源19及び第1カメラ30Aの位置関係の一例について説明する。なお、説明の便宜上、レール12A、12Bの幅方向をX方向、レール12A、12Bの高さ方向をY方向、X方向及びY方向に直交する方向をZ方向という場合がある。Z方向はレール12A、12Bの延在方向である。
【0037】
第1カメラ30A及び光源19は、第1レール12Aよりも上に位置している。第1カメラ30A及び光源19は、Z方向において離れた位置に設けられている。
【0038】
複数の第1基準ピン18Aの実座標と、第1カメラ30Aによって撮像された第1画像データにおける輝線Rの位置とに基づいて、第1画像データ上の座標を、実座標に射影変換するためのパラメータ群が求められ得る。
【0039】
すなわち、ベース17Aに対してスリット光源19及び第1カメラ30Aが一定の位置及び姿勢で支持されているとすると、ベース17Aに対して一定位置で支持された複数の第1基準ピン18Aと、スリット光源19及び第1カメラ30Aとの位置関係も一定である。第1カメラ30Aで撮像された第1画像データにおける輝線Rの座標は、第1基準ピン18Aと、スリット光源19及び第1カメラ30Aの位置関係によって定まる。また、キャリブレーションを行う際には、第1基準ピン18Aは第1レール12Aに位置付けられているため、第1基準ピン18Aの実空間における実座標は、既知情報とすることができる。そこで、複数の第1基準ピン18Aの実座標と、第1画像データにおける輝線Rの座標とに基づいて、第1画像データ上の座標を、実座標に射影変換するためのパラメータ群が求められ得る。このように、スリット光を対象物に照射し、そのスリット光を撮像して対象物の立体的形状を測定する処理は、光切断法の適用の一例である。
【0040】
上記と同様に、複数の第2基準ピン18Bの実座標と、第2カメラ30Bによって撮像された第2画像データにおける輝線Rの位置とに基づいて、第2画像データ上の座標を、実座標に射影変換するためのパラメータ群が求められ得る。
【0041】
なお、上記と同様に、第2基準ピン18Bは、実空間における第2実基準点の一例であり、第2カメラ30Bは、当該第2基準ピン18Bを少なくとも1つ含む第2撮像範囲E2を撮像し、第2画像データを出力する。また、第2画像データには、第2基準ピン18Bに照射された輝線Rが写り込んでいる。第2画像データに含まれる輝線Rは、第2基準点の一例である。複数の第2基準ピン18Bのそれぞれは、複数の輝線Rのそれぞれに、1対1で対応付けられる。上記のように、第2基準ピン18Bは、第1基準ピン18Aとは異なる場所に位置する。従って、第2画像データにおける輝線Rは、第2画像データにおける輝線Rとは異なっている。
【0042】
ここで、第1レール12Aの第2レール12Bとの位置関係に基づいて、軌道の状態が監視される場合が想定される。第1画像データ上の座標を、実座標に射影変換するためのパラメータ群と、第2画像データ上の座標を、実座標に射影変換するためのパラメータ群とが別々に求められていると、誤差が積算されてしまい、第1レール12Aの第2レール12Bとの位置関係が正確に求められない可能性がある。
【0043】
そこで、次に説明するキャリブレーション装置50及びキャリブレーション方法によって、第1レール12Aの第2レール12Bとの位置関係をより正確に求めることができる、パラメータ群が求められる。
【0044】
図3はキャリブレーション装置50を示すブロック図である。
【0045】
上記第1カメラ30A及び第2カメラ30Bで撮像されることによって得られた第1画像データ31A及び第2画像データ31Bは、データ収集装置34に出力される。データ収集装置34は、フラッシュメモリ又は磁気記憶装置等によって構成される記憶装置35を備えており、当該記憶装置35に第1画像データ31A及び第2画像データ31Bが記憶される。
【0046】
キャリブレーション装置50は、CPU等のプロセッサ52、記憶装置54、入出力インターフェース56、通信インターフェース58等を含むキャリブレーション処理部51を備える。キャリブレーション処理部51は、例えば、コンピュータによって構成される。
【0047】
通信インターフェース58は、データ収集装置34と通信を行う通信回路である。通信インターフェース58は、データ収集装置34と無線通信を行ってもよいし、有線通信を行ってもよい。通信インターフェース58は、第1画像データ31Aと第2画像データ31Bとが入力される画像入力部の一例である。
【0048】
画像入力部がデータ収集装置34と通信を行う通信回路であることは必須ではない。例えば、データ収集装置34に記憶された第1画像データ31Aと第2画像データ31Bとが可搬性のある記憶媒体に記憶されてもよい。可搬性のある記憶媒体は、例えば、USBメモリ等の小型フラッシュメモリ又は光ディスク等であってもよい。この場合、画像入力部は、当該記憶媒体の情報を読込む記録媒体読取装置であってもよい。
【0049】
入出力インターフェース56は、外部との間でデータを入出力するための入出力回路である。入出力インターフェース56は、第1実基準点としての第1基準ピン18Aと第2実基準点としての第2基準ピン18Bとに関する実空間基準位置情報が入力される位置情報入力部の一例であってもよい。例えば、実空間における第1基準ピン18AのXY座標と第2基準ピン18BのXY座標とを含む実座標データ56Dが実空間基準位置情報として入出力インターフェース56を介して本キャリブレーション装置50に入力されてもよい。実座標データ56Dは、事前にテーブルデータの形式で準備されたデータであってもよいし、利用者によってキーボード等の入力装置によって入力されてもよい。
【0050】
入出力インターフェース56に、複数のスイッチを有するキーボード56a、又は、マウス等の座標入力装置56bが接続されていてもよい。キーボード56a、又は、座標入力装置56bが利用されることで、利用者からの諸指示が受付けられる。例えば、キーボード56a、又は、座標入力装置56bを通じて、利用者によって、第1画像データ31Aと第2画像データ31Bとにおける輝線Rの位置が指定され得る。また、利用者によって、第1画像データ31Aと第2画像データ31Bとにおける輝線Rが、第1基準ピン18A又は第2基準ピン18Bに対応付けられ得る。
【0051】
プロセッサ52は、回路構成を含む。
【0052】
記憶装置54は、HDD(hard disk drive)、SSD(Solid-state drive)等の不揮発性記憶装置によって構成されている。記憶装置54には、例えば、プログラム54a、第1画像データ31A、第2画像データ31B、基準点データ54b、実座標データ56D及びパラメータ群Prが記憶されている。プログラム54aに、プロセッサ52が処理部としての機能を実現するための処理が記述されている。基準点データ54bは、第1基準点及び第2基準点である輝線Rの座標と、各輝線Rを実基準点データである第1基準ピン18A及び第2基準ピン18Bに対応付けた情報とを含む。基準点データ54bの生成例については後述される。パラメータ群Prは、処理の結果、求められた第1パラメータ群及び第2パラメータ群を含む。
【0053】
プロセッサ52が、記憶装置54等に保存されたプログラム54aに記述された処理を実行することによって、第1画像データ31Aを実座標系のデータに変換する第1パラメータ群と、第2画像データ31Bを実座標系のデータに変換する第2パラメータ群とを求める処理部としての機能が実行される。
【0054】
より具体的には、プロセッサ52は、第1画像データ31Aと前記第2画像データ31Bと実座標データ56Dとに基づいて、第1画像データ31Aの輝線Rの座標を実座標系に変換した第1変換位置と第2画像データ31Bの輝線Rの座標を実座標系に変換した第2変換位置との位置関係が、実空間における第1基準ピン18Aの座標と第2基準ピン18Bの座標との位置関係に適合するように、第1パラメータ群と前記第2パラメータ群とを決定する処理を実行する。
【0055】
ここで、位置関係とは、複数の位置の相対的な位置関係である。例えば、2つの位置の関係については、一方の位置を基準にして他方の位置が変動すれば値が変り得るパラメータによって定義され得る。例えば、2つの位置を示す座標の距離、高低差、内積、外積等によって定義されてもよい。本実施形態では、位置関係が距離である例が中心に後に説明される。
【0056】
本実施形態では、プロセッサ52は、第1パラメータ群と第2パラメータ群とを決定する前に、第1変換位置が実空間における第1基準ピン18Aの位置に適合するように、第1初期パラメータ群を求めると共に、第2変換位置が実空間における第2基準ピン18Bの位置に適合するように、第2初期パラメータ群を求める。そして、これらの第1初期パラメータ群と第2初期パラメータ群とを用いて、上記第1パラメータ群と第2パラメータ群とを決定する。
【0057】
よって、プロセッサ52は、第1初期パラメータ群及び第2初期パラメータ群を求める初期パラメータ演算処理部52aとしての機能と、第1パラメータ群と第2パラメータ群とを求めるパラメータ演算処理部52bとしての機能を有している。
【0058】
プロセッサ52は、1つであってもよいし、複数であってもよい。複数のプロセッサ52は、1つのコンピュータに組込まれていてもよい。複数のプロセッサ52が、複数のコンピュータに組込まれており、複数のコンピュータが上記パラメータを求める処理部としての処理を分散して行ってもよい。
【0059】
キャリブレーション装置50は、表示装置60を備えてもよい。表示装置60は、液晶表示装置、有機EL(Electro-luminescence)表示装置等であってもよい。表示装置60として、スマートフォン、タブレット端末又はラップトップコンピュータ等に設けられた表示装置等が用いられてもよい。表示装置60は、入出力インターフェース56を介してキャリブレーション処理部51に接続されてもよい。
【0060】
表示装置60には、パラメータ群の適用によって特定された位置関係情報が表示されてもよい。位置関係情報の例が後に説明される。表示装置60に、第1画像データ31A及び第2画像データ31Bが表示されてもよい。この場合、利用者が、表示された第1画像データ31A及び第2画像データ31Bを見て、キーボード56a又は座標入力装置56bを操作することで、当該第1画像データ31A及び第2画像データ31Bにおける輝線Rの位置及び基準ピン18A、18Bの対応付け情報が入力されてもよい。
【0061】
キャリブレーション装置50における処理例について、
図4に示すフローチャートを参照して説明する。
【0062】
構成処理開始後、ステップS1a、S1bにおいて、第1画像データ31A、第2画像データ31Bが読込まれる。第1画像データ31Aには複数の第1基準点として複数の輝線Rの画像が含まれており、第2画像データ31Bにも複数の第2基準点として複数の輝線Rの画像が含まれている。
【0063】
次ステップS2において、第1画像データ31A、第2画像データ31Bにおける基準点座標が特定される。基準点の座標は、上記輝線Rの座標である。また、基準点と実基準点との対応付けがなされる。基準点と実基準点との対応付けは、第1画像データ31A、第2画像データ31Bにおける各輝線Rを、基準ピン18A、18Bに対応付けることによってなされる。
【0064】
例えば、基準点座標の特定と、基準点と実基準点との対応付けは、利用者の入力を受付けることによってなされてもよい。例えば、表示装置60に第1画像データ31Aが表示される。利用者が座標入力装置56bを利用して、ポインタアイコンの位置を輝線Rの位置に一致させることで、輝線Rの位置が指定される。指定された位置の座標が当該輝線Rの座標として受付けられる。輝線Rの位置指定にあわせて、利用者が、キーボード56a等を利用して基準点と実基準点との対応付け情報を入力する。例えば、基準ピン18A、18BにP(n)等の識別符号が割当てられているとする。nは、基準ピン18A、18Bに固有の番号である。利用者が、輝線Rの位置指定にあわせて、識別符号を入力することで、基準点と実基準点との対応付け情報が入力される。
【0065】
各輝線R及び両方の第1画像データ31A及び第2画像データ31Bに対して上記処理を繰返していくことで、基準点座標の特定と、基準点と実基準点との対応付けがなされる。基準点座標のデータと、基準点と実基準点との対応付けデータとが、基準点データ54bとして記憶装置54に記憶される。
【0066】
上記処理は、画像認識処理等によって自動でなされてもよい。例えば、第1画像データ31A及び第2画像データ31Bにおいてパターンマッチング処理を行って、第1画像データ31A及び第2画像データ31Bに写り込んだ輝線Rの位置を認識してもよい。また、第1画像データ31A及び第2画像データ31Bに写り込んだ輝線Rの位置は、基準ピン18A、18Bの位置、光源19及びカメラ30A、30Bの位置関係に基づく理想的な位置の近くに位置すると考えられる。このため、第1画像データ31A及び第2画像データ31Bに写り込んだ輝線Rの位置が、写り込んだ輝線Rの理想的な位置のいずれに近いかを判断することによって、いずれの基準ピン18A、18Bに対応付けられるかが判断されてもよい。
【0067】
この後、ステップS3a、S3bにおいて、記憶装置54に記憶された実座標データ56Dから第1実基準点の座標データと第2実基準点の座標データとが読込まれる。第1実基準点の座標データと第2実基準点の座標データとは、例えば、第1基準ピン18Aの座標データ及び第2基準ピン18Bの座標データである。
【0068】
次ステップS4a、S4bにおいて、単体のカメラ30A及び単体のカメラ30Bのそれぞれに対する校正処理がなされる。
【0069】
単体のカメラ30Aに対する校正処理は、初期パラメータ群演算処理を含む。
【0070】
初期パラメータ群演算処理は、第1画像データ31Aを実座標系のデータに変換する第1パラメータ群と、第2画像データ31Bを実座標系のデータに変換する第2パラメータ群とを決定する前に、第1初期パラメータ群と第2初期パラメータ群とを求める処理である。第1初期パラメータ群は、第1画像データ31Aの輝線Rの座標を実座標系に変換した第1変換位置が、実空間における第1基準ピン18Aの位置に適合するように求められる。第2初期パラメータ群は、第2画像データ31Bの輝線Rの座標を実座標系に変換した第2変換位置が、実空間における第2基準ピン18Bの位置に適合するように求められる。
【0071】
より具体的に説明する。
図5は第1基準ピン18A及び第2基準ピン18Bの実座標と、第1画像データ31A又は第2画像データ31Bにおける輝線Rの座標(x、y)との関係を示す説明図である。第1基準ピン18A及び第2基準ピン18Bの実座標は、Xw軸とYw軸とを有する世界座標系で表現される。第1画像データ31A及び第2画像データ31Bのそれぞれおける輝線Rの座標は、x軸とy軸とを有するカメラ座標系で表現される。
【0072】
第1基準ピン18Aの実座標(X,Z)と、第1画像データ31Aにおける輝線Rの座標(x,y)とすると、両者の関係は、次の数1のように表現される。数1は射影変換を示す式である。
【0073】
【0074】
ここで、C11、C12、C13、C21、C22、C23、C31、C32は、パラメータであり、hは定数である。C11、C12、C13、C21、C22、C23、C31、C32、1を行列成分とする行列Tは、実空間における第1基準ピン18Aの座標(X、Y)を、第1画像データ31Aにおける輝線Rの座標(x、y)に射影変換する行列である。逆行列T-1は、第1画像データ31Aにおける輝線Rの座標(x、y)を、実空間における第1基準ピン18Aの座標(X、Y)に射影変換する行列である。よって、行列Tの成分C11、C12、C13、C21、C22、C23、C31、C32は、第1画像データ31Aを実座標系のデータに変換する第1パラメータ群又は第1初期パラメータ群を表現すると把握可能である。
【0075】
そして、逆行列T-1による第1変換位置が、実空間における第1基準ピン18Aの位置に適合するように、パラメータC11、C12、C13、C21、C22、C23、C31、C32が演算され、演算結果が、第1初期パラメータ群として決定される。
【0076】
具体的には、第1基準ピン18Aの座標(X、Y)に対応付けられた第1画像データ31Aにおける輝線Rの座標(x、y)の組合せが4組あれば、8つのパラメータC11、C12、C13、C21、C22、C23、C31、C32が特定され得る。
【0077】
第1基準ピン18Aの座標(X、Y)に対応付けられた第1画像データ31Aにおける輝線Rの座標(x、y)の組合せが4組を超える場合、輝線Rの射影変換によって求められた第1変換位置と実空間における第1基準ピン18Aの位置との位置誤差の合計値を最小化する最小二乗法によって8つのパラメータC11、C12、C13、C21、C22、C23、C31、C32が特定されてもよい。
【0078】
単体のカメラ30Bに対しても、同様に、校正処理として初期パラメータ群演算処理がなされる。
【0079】
次のS5aにおいて、ステップS4aにおいて特定されたパラメータC11、C12、C13、C21、C22、C23、C31、C32が第1カメラ30Aで撮影された第1画像データ31A用の第1初期パラメータ群として設定される。
【0080】
同様に、S5bにおいて、ステップS4bにおいて特定されたパラメータC11、C12、C13、C21、C22、C23、C31、C32が第2カメラ30Bで撮影された第2画像データ31B用の第2初期パラメータ群として設定される。
【0081】
次ステップS6において複数カメラ校正処理が実行される。
【0082】
すなわち、ステップS4a、S5aにおいては、主に第1カメラ30Aの特性に応じて第1初期パラメータ群が求められており、ステップS4b、S5bにおいては、第2カメラ30Bの特性に応じて第2初期パラメータ群が求められている可能性がある。
【0083】
ステップS6においては、第1画像データ31Aにおける輝線Rの座標を実座標系に変換した第1変換位置と、第2画像データ31Bにおける輝線Rの座標を実座標系に変換した第2変換位置との位置関係が、実空間における第1基準ピン18Aと第2基準ピン18Bとの位置関係に適合するように、第1初期パラメータ群及び第2パラメータ群を決定する。
【0084】
本実施形態では、位置関係は距離である。より具体的には、第1変換位置と第2変換位置との距離が、実空間における第1基準ピン18Aと第2基準ピン18Bとの距離Dに適合するように、第1パラメータ群と第2パラメータ群とが決定される。また、複数の位置関係の組合せに基づき、第1パラメータ群と第2パラメータ群とが決定される。
【0085】
より具体的には、第1画像データ31Aにおける輝線Rを射影変換して第1変換位置を求める。また、第2画像データ31Bにおける輝線Rを射影変換して第2変換位置を求める。そして、第1変換位置と第2変換位置との距離を求める。当該距離は、上記第1画像データ31A用の8つのパラメータC11、C12、C13、C21、C22、C23、C31、C32と、第2画像データ31B用の8つのパラメータC11、C12、C13、C21、C22、C23、C31、C32、つまり、16個のパラメータよって表現される。
【0086】
上記16個のパラメータを、最適化することによって、第1カメラ30A及び第2カメラ30Bについて同時最適化がなされる。
【0087】
具体的には、基準点データ54b及び実座標データ56Dに基づき、距離演算対象である第1画像データ31Aの輝線Rに対応付けられた第1基準ピン18Aの座標と、距離演算対象である第2画像データ31Bの輝線Rに対応付けられた第2基準ピン18Bの座標とを特定する。そして、
図5に示されるように、実空間における第1基準ピン18Aと第2基準ピン18Bとの距離Dを演算する。なお、距離Dは、実空間における第1基準ピン18Aの座標と第2基準ピン18Bの座標に基づいて演算されてもよいし、当該距離Dが予め情報として入力され、記憶されていてもよい。
【0088】
そして、第1変換位置と第2変換位置との距離と、実空間における第1基準ピン18Aと第2基準ピン18Bとの距離との誤差の二乗を演算する。
【0089】
上記演算を、第1画像データ31Aにおける輝線Rと第2画像データ31Bにおける輝線Rとの組合せ複数に対して行い、距離の誤差の二乗和を求める。
【0090】
この位置誤差の合計値を最小化する最小二乗法によって上記16のパラメータが求められる。
【0091】
最適化方法としては、例えば、非線形最適化法の一例であるLevenberg-Marquardt法が採用されてもよい。最適化処理は、その他、ガウスニュートン法等によってなされてもよい。
【0092】
最適化を行う際の初期値として、上記第1初期パラメータ群及び第2初期パラメータ群が採用されるとよい。これにより、例えば、局所最適解を求めてしまったり、計算に時間を要するといったりする事態が抑制される。
【0093】
なお、第1初期パラメータ群及び第2初期パラメータ群を利用して最適化を行うことは必須ではない。よって、ステップS4a、S4b、S5a、S5bの処理は省略されてもよい。
【0094】
なお、本実施形態では、2つのカメラ30A、30Bを想定した例が説明されている。3つ以上のカメラについても、上記と同様に、キャリブレーションを行うことができる。この場合、例えば、基準ピン間の距離の組合せを増やすとよい。
【0095】
ステップS7aにおいて、求められた16のパラメータのうち第1画像データ31A用のパラメータ群が第1パラメータ群として設定され、ステップS7bにおいて、第2画像データ31B用のパラメータ群が第2パラメータ群として設定される。
【0096】
これにより、校正処理が終了する。
【0097】
求められた第1パラメータ群及び第2パラメータ群は、カメラ30A、30Bを用いて、当該カメラ30A、30Bで撮像された画像データに基づいて、実空間の位置情報を把握する用途に供され得る。
【0098】
第1パラメータ群及び第2パラメータ群は、第2実施形態のように、キャリブレーション装置自体で利用されてもよいし、他のコンピュータにおいて、第1測定対象物と第2測定対象物との位置関係を演算するためのパラメータとして利用されてもよい。
【0099】
以上のように構成されたキャリブレーション装置50及びキャリブレーション方法によると、キャリブレーション処理部51は、第1画像データ31Aの第1基準点である輝線Rの座標を実座標系に変換した第1変換位置を求めると共に、第2画像データ31Bの第2基準点である輝線Rの座標を実座標系に変換した第2変換位置を求める。そして、第1変換位置と第2変換位置との位置関係が、実空間における第1実基準点である第1基準ピン18Aと第2実基準点である第2基準ピン18Bとの位置関係に適合するように、第1パラメータ群と第2パラメータ群とを決定する。このため、カメラ30A、30Bが別々に第1基準ピン18Aと第2基準ピン18Bとを撮像しても、キャリブレーションを実行できる。よって、複数のカメラ30A、30Bの撮像範囲が互いに異なる場合でも、複数のカメラ30A、30Bの間での相対的な位置誤差を改善できる。
【0100】
特に、第1変換位置と第2変換位置との距離が、実空間における第1基準ピン18Aと第2基準ピン18Bとの距離に適合するように、第1パラメータ群と第2パラメータ群とを決定する。このため、第1画像データ31Aに写り込む対象物と第2画像データ31Bに写り込む対象物との距離をより正確に求めることができるように、第1パラメータ群と第2パラメータ群とを決定できる。例えば、レール12A、12B間の距離をより正確に検出するのに適する。
【0101】
また、第1画像データ31Aが第1基準点としての輝線Rを複数含み、第2画像データ31Bが第2基準点としての輝線Rを複数含む。そして、キャリブレーション処理部51は、第1変換位置と第2変換位置との位置関係と、第1基準ピン18Aと第2基準ピン18Bとの位置関係との複数の組合せに基づいて、第1パラメータ群と第2パラメータ群とを決定する。このため、第1パラメータ群と第2パラメータ群とをより適切に決定できる。
【0102】
また、キャリブレーション処理部51は、上記位置関係の誤差を最小化するアルゴリズムによって、前記第1パラメータ群と前記第2パラメータ群とを決定することができる。
【0103】
キャリブレーション処理部51は、射影変換を行って第1変換位置及び第2変換位置を求めることで、当該射影変換に用いるパラメータを求めることで、キャリブレーションできる。
【0104】
キャリブレーション処理部51は、上記位置関係の誤差を最小化するアルゴリズムを適用する際に、単体カメラ30A、30Bの校正処理によって求めた第1初期パラメータ群及び第2初期パラメータ群を利用することで、より適切なパラメータ群を迅速に決定できる。
【0105】
また、第1カメラ30A及び第2カメラ30Bを備えるキャリブレーションシステム20によると、当該カメラ30A、30Bを用いてキャリブレーションできる。
【0106】
この場合に、第1カメラ30Aが、第1レール12Aを撮像可能な状態で鉄道車両10に支持され、第2カメラ30Bが、第2レール12Bを撮像可能な状態で鉄道車両10に支持されていると、鉄道車両10が走行する第1レール12Aと第2レール12Bとの位置関係を正確に把握するのに適するキャリブレーションが実施される。
【0107】
さらに、この場合、第1カメラ30Aは、第1レール12Aに位置付された第1基準ピン18Aを第1実基準点として撮像し、第2カメラ30Bは、第2レール12Bに位置付された第2基準ピン18Bを第2実基準点として撮像する。これにより、第1レール12A及び第2レール12Bに対して第1実基準点及び第2実基準点を正確に設定し易い。これにより、鉄道車両10が走行する第1レール12Aと第2レール12Bとの位置関係を正確に把握するのに適するキャリブレーションが実施される。
【0108】
{第2実施形態}
第2実施形態に係るキャリブレーション装置150について説明する。
図6はキャリブレーション装置150が適用されたキャリブレーションシステム120を示すブロック図であり、
図7はキャリブレーション装置150を示すブロック図である。なお、本第2実施形態の説明において、第1実施形態で説明したものと同様構成要素については同一符号を付してその説明を省略し、第1実施形態との相違点を中心に説明する。
【0109】
このキャリブレーション装置150は、第1実施形態で説明されたキャリブレーション装置50の構成に加え、決定された第1パラメータ群及び第2パラメータ群に基づき、第1測定対象物と第2測定対象物との位置関係を示す位置関係データを求め、当該位置関係データに基づく位置関係情報を表示する機能を有する。
【0110】
すなわち、通信インターフェース58には、第1測定対象物が写り込んだ第1測定対象画像データ131Aと第2測定対象物が写り込んだ第2測定対象画像データ131Bとが入力される。本実施形態では、第1カメラ30Aは第1レール12Aを撮影し、第2カメラ30Bは第2レール12Bを撮影する。カメラ30A、30Bは、レール12A、12Bを上方から撮影しているため、第1測定対象画像データ131A及び第2測定対象画像データ131Bには、レール12A、12Bの頂部が写り込んでいることが想定される。上記と同様に、スリット光源19からのスリット光がレール12A、12Bに照射されていることが好ましい。なお、
図6及び
図7において、第1測定対象画像データ及び第2測定対象画像データは、それぞれ単に第1画像データ及び第2画像データと記載されている。
【0111】
第1カメラ30Aから第1測定対象画像データ131Aが出力され、第2カメラ30Bから第2測定対象画像データ131Bが出力され、これらのデータ131A、131Bが通信インターフェース58を介してキャリブレーション処理部51に対応するキャリブレーション処理部151に入力される。通信インターフェース58は、第1測定対象画像データ131Aと第2測定対象画像データ131Bとが入力される測定対象画像入力部の一例である。
【0112】
キャリブレーション処理部151は、第1測定対象画像データ131Aに第1パラメータ群を適用すると共に、第2測定対象画像データ131Bに第1パラメータ群を適用して、第1測定対象物である第1レール12Aと第2測定対象物である第2レール12Bとの位置関係を示す位置関係データを求める。位置関係は、例えば、第1レール12Aと第2レール12Bとの間隔である。つまり、プロセッサ52は、レール位置関係演算処理部52cとしての機能を有している。
【0113】
表示装置60には、当該位置関係データに基づく位置関係情報が表示される。
【0114】
図8は、キャリブレーション処理部151によるレール位置関係演算処理部52cとしての処理例を示すフローチャートである。
【0115】
レール間隔演算処理が開始されると、ステップS11a、S11bにおいて、第1測定対象画像データ131Aと第2測定対象画像データ131Bとが読込まれる。
【0116】
次ステップS12a、S12bにおいて、第1測定対象画像データ131Aと第2測定対象画像データ131Bとのそれぞれにおいて、間隔基準位置が特定される。例えば、第1測定対象画像データ131Aと第2測定対象画像データ131Bとのそれぞれにおいて、画素値に基づいて、スリット光源19からのスリット光が映り込んだ形状部分が特定される。パターンマッチング等に基づいて、スリット光が映り込んだ形状部分のうちレール12A、12Bの頭部の内側境界に対応する画素が特定される。当該内側境界に対応する画素が間隔基準位置として特定される。
【0117】
次ステップS13a、S13bにおいて、上記キャリブレーション処理によって求められていた第1パラメータ群及び第2パラメータ群が読出される。
【0118】
次ステップS14aにおいて、第1測定対象画像データ131Aにおける間隔基準位置の座標に第1パラメータ群が適用され、実座標に変換される。また、ステップS14bにおいて、第2測定対象画像データ131Bにおける間隔基準位置の座標に第2パラメータ群が適用され、実座標に変換される。
【0119】
次ステップS15において、第1測定対象画像データ131Aにおける間隔基準位置の座標を実座標に変換した位置と、第2測定対象画像データ131Bにおける間隔基準位置の座標を実座標に変換した位置とに基づいて、両実座標の間隔が求められる。求められた間隔は、レール12A、12Bの間隔であり、レール12A、12Bの位置関係を示している。当該間隔は、レール位置関係データ154cとして記憶装置54に記憶される。
【0120】
次ステップS16において、次の第1測定対象画像データ131A及び第2測定対象画像データ131Bのデータの有無が判定される。次の測定対象画像データ131A、131B有りと判定されると、ステップS11a、S11bに戻って上記処理が繰返される。レール12A、12Bの延在方向の位置を変えて、測定対象画像データ131A、131Bが連続的に与えられることで、レール12A、12Bの延在方向におけるレール12A、12Bの間隔変化が求められる。
【0121】
次の測定対象画像データ131A、131Bなしと判定されると、ステップS17に進む。ステップS17では、位置関係情報としてレール12A、12Bの間隔情報の表示指示の有無が判定される。表示指示は、例えば、上記キーボード56a又は座標入力装置56bによって入力されてもよい。表示指示しと判定されると、処理を終了し、表示支持有りと判定されると、ステップS18に進む。
【0122】
ステップS18では、間隔情報を表示する。
図9は、表示装置60に表示された間隔情報162の表示例の一例である。
【0123】
間隔情報162は、キロ程に対する間隔の変化を示すグラフである。キロ程は、レール12A、12Bの延在方向における位置を示しており、グラフの横軸に表示される。間隔は、レール12A、12Bの基準間隔に対する差によって表現されている。レール12A、12Bの基準間隔とは、レール12A、12Bに対して設計上想定される理想的な間隔である。ステップS15で演算されたレール12A、12Bの間隔から当該基準間隔を減算した値が、当該基準間隔に対する差となる。当該差がグラフの縦軸に表示される。間隔情報としては、レール12A、12Bの間隔に応じた情報が表示されればよい。例えば、間隔情報として、ステップS15で演算されたレール12A、12Bの間隔の値が表示されてもよいし、基準間隔に対する相対誤差が表示されてもよい。間隔情報として、頻度分布表が表示されてもよいし、平均値又は標準偏差等が表示されてもよい。
【0124】
第2実施形態に係るキャリブレーション装置150によると、第1パラメータ群及び第2初期パラメータ群の適用によって、第1測定対象物と第2測定対象物との位置関係を示す位置関係データを求め、位置関係データに基づく位置関係情報を表示装置60に表示する。このため、表示装置60を視認することで、第1測定対象画像データと第2測定対象画像データとの位置関係を把握し易い。
【0125】
また、第1測定対象物が第1レール12Aであり、第2測定対象物が第2レール12Bであるため、レール12A、12Bの位置関係がなるべく正確に把握される。
【0126】
また、表示装置60に、位置関係情報として第1レール12Aと第2レール12Bとの間隔情報が表示されるため、なるべく正確な間隔情報が容易に把握され得る。
【0127】
{変形例}
上記実施形態では、レール12A、12Bを撮像するカメラ30A、30Bに関するキャリブレーションが説明された。キャリブレーションの対象となるカメラは、レールではない他の対象を撮影するものであってもよい。
【0128】
上記実施形態では、2つのカメラ30A、30Bに対するキャリブレーションが説明された。1つのカメラに対するキャリブレーションであっても、適用可能である。この場合、位置誤差を最小化するのでは無く、距離等の位置関係の誤差を最小化するようにパラメータ群を設定することで、距離等の位置関係を正確に把握するのに適したパラメータ群が求められる。
【0129】
また、本実施形態で説明されたキャリブレーションは、3つ以上のカメラに対するキャリブレーションにも、適用可能である。この場合、例えば、ピン間の距離の数を追加する等して、パラメータを求めるための位置関係の組合せ数を増やすとよい。
【0130】
なお、上記実施形態及び各変形例で説明した各構成は、相互に矛盾しない限り適宜組合わせることができる。
【0131】
本開示は、下記の各態様を開示する。
【0132】
第1の態様は、第1基準点を含む第1画像データと、前記第1基準点とは異なる第2基準点を含む第2画像データとが入力される画像入力部と、実空間において前記第1基準点に対応する第1実基準点と前記第2基準点に対応する第2実基準点とに関する実空間基準位置情報が入力される位置情報入力部と、前記第1画像データを実座標系のデータに変換する第1パラメータ群と、前記第2画像データを前記実座標系のデータに変換する第2パラメータ群とを求める処理部と、を備え、前記処理部は、前記第1画像データと前記第2画像データと前記実空間基準位置情報とに基づいて、前記第1画像データの前記第1基準点を前記実座標系に変換した第1変換位置と前記第2画像データの前記第2基準点を前記実座標系に変換した第2変換位置との位置関係が、実空間における前記第1実基準点と前記第2実基準点との位置関係に適合するように、前記第1パラメータ群と前記第2パラメータ群とを決定する、カメラのキャリブレーション装置である。
【0133】
このキャリブレーション装置によると、処理部は、前記第1画像データの前記第1基準点を前記実座標系に変換した第1変換位置と前記第2画像データの前記第2基準点を前記実座標系に変換した第2変換位置との位置関係が、実空間における第1実基準点と第2実基準点との位置関係に適合するように、第1パラメータ群と第2パラメータ群とを決定する。このため、複数のカメラが、別々に第1実基準点及び第2実基準点を撮像しても、キャリブレーションを実行できる。よって、複数のカメラの撮像範囲が異なる場合でも、複数のカメラ間での相対的な位置誤差を改善できる。
【0134】
第2の態様は、第1の態様に係るカメラのキャリブレーション装置であって、前記処理部は、前記第1変換位置と前記第2変換位置との距離が、実空間における前記第1実基準点と前記第2実基準点との距離に適合するように、前記第1パラメータ群と前記第2パラメータ群とを決定するものである。
【0135】
この場合、第1画像データに写り込む対象物と第2画像データに写り込む対象物との距離をより正確に求めることができるように、前記第1パラメータ群と前記第2パラメータ群とを決定できる。
【0136】
第3の態様は、第1又は第2の態様に係るカメラのキャリブレーション装置であって、前記第1画像データが前記第1基準点を複数含み、前記第2画像データが前記第2基準点を複数含み、前記処理部は、前記第1変換位置と前記第2変換位置との位置関係と、前記第1基準点に対応する前記第1実基準点と前記第2基準点に対応する前記第2実基準点との位置関係との複数の組合せに基づいて、前記第1パラメータ群と前記第2パラメータ群とを決定するものである。
【0137】
この場合、第1変換位置と第2変換位置との位置関係と、第1実基準点と第2実基準点との位置関係との複数の組合せに基づいて、第1パラメータ群と第2パラメータ群とを決定するため、第1パラメータ群と第2パラメータ群とをより適切に決定できる。
【0138】
第4の態様は、第1から第3のいずれか1つの態様に係るカメラのキャリブレーション装置であって、前記処理部は、前記第1変換位置と前記第2変換位置との位置関係と、実空間における前記第1実基準点と前記第2実基準点との位置関係との誤差を最小化するように、前記第1パラメータ群と前記第2パラメータ群とを決定するものである。
【0139】
これにより、位置誤差を最小化するように、第1パラメータ群と第2パラメータ群とを決定できる。
【0140】
第5の態様は、第1から第4のいずれか1つの態様に係るカメラのキャリブレーション装置であって、前記処理部は、前記第1画像データの前記第1基準点に対して前記第1パラメータ群によって定義される射影変換を行って前記第1変換位置を求め、前記第2画像データの前記第2基準点に対して前記第2パラメータ群によって定義される射影変換を行って前記第2変換位置を求める。
【0141】
このように、射影変換に用いるパラメータを求めることで、キャリブレーションできる。
【0142】
第6の態様は、第1から第5のいずれか1つの態様に係るカメラのキャリブレーション装置であって、前記処理部は、前記第1パラメータ群と前記第2パラメータ群とを決定する前に、前記第1変換位置が実空間における前記第1実基準点の位置に適合するように、第1初期パラメータ群を求めると共に、前記第2変換位置が実空間における前記第2実基準点の位置に適合するように、第2初期パラメータ群を求め、前記第1初期パラメータ群と前記第2初期パラメータ群とを用いて、前記第1変換位置と前記第2変換位置との位置関係が、実空間における前記第1実基準点と前記第2実基準点との位置関係に適合するように、前記第1パラメータ群と前記第2パラメータ群とを決定する。
【0143】
これにより、第1変換位置が実空間における第1実基準点の位置に適合するように、第1初期パラメータ群を求めると共に、第2変換位置が実空間における前記第2実基準点の位置に適合するように、第2初期パラメータ群を求める。そして、これらの第1初期パラメータ群と第2初期パラメータ群とを用いて、第1パラメータ群と第2パラメータ群とを決定するため、より適切なパラメータ群を決定できる。
【0144】
第7の態様は、第1から第6のいずれか1つの態様に係るカメラのキャリブレーション装置であって、前記第1画像データと前記第2画像データとは互いに異なる撮像範囲を撮像したデータとされている。
【0145】
このように、第1画像データと第2画像データとは互いに異なる撮像範囲を撮像する場合に、キャリブレーションできる。
【0146】
第8の態様は、第1から第7のいずれか1つの態様に係るカメラのキャリブレーション装置であって、第1測定対象物が写り込んだ第1測定対象画像データと第2測定対象物が写り込んだ第2測定対象画像データとが入力される測定対象画像入力部をさらに備え、前記処理部は、前記第1測定対象画像データに前記第1パラメータ群を適用すると共に、前記第2測定対象画像データに前記第1パラメータ群を適用して、前記第1測定対象物と前記第2測定対象物との位置関係を示す位置関係データを求め、前記位置関係データに基づく位置関係情報を表示する表示装置をさらに備えてもよい。
【0147】
これにより、表示装置を視認することで、第1測定対象画像データと第2測定対象画像データとの位置関係を把握し易い。
【0148】
第9の態様は、第8の態様に係るカメラのキャリブレーション装置であって、前記第1測定対象物は、第1レールであり、前記第2測定対象物は、前記第1レールと並行な第2レールであり、前記処理部は、前記位置関係データとして、前記第1レールと前記第2レールとの位置関係を示すデータを求めてもよい。
【0149】
これにより、第1レールと第2レールとの位置関係をなるべく正確に把握できる。
【0150】
第10の態様は、第9の態様に係るカメラのキャリブレーション装置であって、前記処理部は、前記位置関係データとして、前記第1レールと前記第2レールとの間隔を示すデータを求め、前記表示装置は、前記位置関係情報として前記第1レールと前記第2レールとの間隔情報を表示してもよい。
【0151】
これにより、第1レールと第2レールとの間隔をより正確に求めて、当該間隔を表示することができる。
【0152】
第11の態様に係るカメラのキャリブレーションシステムは、第1から第10のいずれか1つの態様に係るカメラのキャリブレーション装置と、前記第1実基準点を含む第1撮像範囲を撮像し、前記第1画像データを出力する第1カメラと、前記第2実基準点を含む第2撮像範囲を撮像し、前記第2画像データを出力する第2カメラと、を備える。
【0153】
この場合、第1カメラで撮像される範囲と第2カメラで撮像される範囲とをキャリブレーションできる。
【0154】
第12の態様は、第11の態様に係るカメラのキャリブレーションシステムであって、前記第1カメラは、第1レールを撮像可能な状態で鉄道車両に支持され、前記第2カメラは、前記第1レールと並行な第2レールを撮像可能な状態で前記鉄道車両に支持されているものである。
【0155】
これにより、鉄道車両が走行する第1レールと第2レールとの位置関係を正確に把握し易い。
【0156】
第13の態様は、第12の態様に係るカメラのキャリブレーションシステムであって、前記第1カメラは、前記第1レールに位置付された第1基準ピンを前記第1実基準点として撮像し、前記第2カメラは、前記第2レールに位置付された第2基準ピンを前記第2実基準点として撮像する。
【0157】
このように、第1基準ピン及び第2基準ピンを利用することで、第1レール及び第2レールに対して第1実基準点及び第2実基準点を正確に設定し易い。これにより、鉄道車両が走行する第1レールと第2レールとの位置関係を正確に把握し易い。
【0158】
第14の態様に係るカメラのキャリブレーション方法は、第1基準点と前記第1基準点とは異なる第2基準点とを含む画像データを取得し、実空間において前記第1基準点に対応する第1実基準点と前記第2基準点と対応する第2実基準点とに関する実空間基準位置情報を取得し、第1パラメータ群を用いて前記画像データの前記第1基準点を実座標系に変換した第1変換位置と、第2パラメータ群を用いて前記画像データの前記第2基準点を前記実座標系に変換した第2変換位置との位置関係が、実空間における前記第1実基準点と前記第2実基準点との位置関係に適合するように、前記第1パラメータ群と前記第2パラメータ群とを決定する、カメラのキャリブレーション方法である。
【0159】
このキャリブレーション方法によると、第1基準点付近領域と第2基準点付近領域とが異なる場合、つまり、異なる範囲の間で相対的な位置誤差を改善できる。
【0160】
第15の態様は、第14の態様に係るカメラのキャリブレーション方法であって、前記画像データとして、前記第1基準点を含む第1画像データと、前記第1基準点とは異なる前記第2基準点を含む第2画像データとを取得する。
【0161】
これにより、第1カメラの撮像範囲と第2カメラの撮像範囲との相対的な位置誤差を改善できる。
【0162】
上記した説明は、すべての局面において、例示であって、この発明がそれに限定されるものではない。例示されていない無数の変形例が、この発明の範囲から外れることなく想定され得るものと解される。
【符号の説明】
【0163】
10 鉄道車両
12A 第1レール
12B 第2レール
18A 第1基準ピン
18B 第2基準ピン
20、120 キャリブレーションシステム
30A 第1カメラ
30B 第2カメラ
31A 第1画像データ
31B 第2画像データ
50、150 キャリブレーション装置
51、151 キャリブレーション処理部
52 プロセッサ
52a 初期パラメータ演算処理部
52b パラメータ演算処理部
52c レール位置関係演算処理部
54 記憶装置
54a プログラム
54b 基準点データ
56D 実座標データ
56a キーボード
56b 座標入力装置
58 通信インターフェース
60 表示装置
131A 第1測定対象画像データ
131B 第2測定対象画像データ
154c レール位置関係データ
162 間隔情報
D 距離
E1 第1撮像範囲
E2 第2撮像範囲
Pr パラメータ群
R 輝線