IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 株式会社日立製作所の特許一覧

<>
  • 特開-補正装置および補正方法 図1
  • 特開-補正装置および補正方法 図2
  • 特開-補正装置および補正方法 図3
  • 特開-補正装置および補正方法 図4
  • 特開-補正装置および補正方法 図5
  • 特開-補正装置および補正方法 図6
  • 特開-補正装置および補正方法 図7
  • 特開-補正装置および補正方法 図8
  • 特開-補正装置および補正方法 図9
  • 特開-補正装置および補正方法 図10
  • 特開-補正装置および補正方法 図11
  • 特開-補正装置および補正方法 図12
  • 特開-補正装置および補正方法 図13
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024134853
(43)【公開日】2024-10-04
(54)【発明の名称】補正装置および補正方法
(51)【国際特許分類】
   B61L 23/00 20060101AFI20240927BHJP
【FI】
B61L23/00 Z
【審査請求】未請求
【請求項の数】17
【出願形態】OL
(21)【出願番号】P 2023045263
(22)【出願日】2023-03-22
(71)【出願人】
【識別番号】000005108
【氏名又は名称】株式会社日立製作所
(74)【代理人】
【識別番号】110002365
【氏名又は名称】弁理士法人サンネクスト国際特許事務所
(72)【発明者】
【氏名】工藤 匠
(72)【発明者】
【氏名】清水 拓
(72)【発明者】
【氏名】今本 健二
(72)【発明者】
【氏名】佐藤 究
【テーマコード(参考)】
5H161
【Fターム(参考)】
5H161AA01
5H161MM05
5H161MM12
5H161NN10
5H161NN12
(57)【要約】
【課題】キャリブレーション用の設備を設けなくても、より正確なキャリブレーションを行うことができる補正装置、補正方法を提供する。
【解決手段】第一のセンサ101aによって取得される第一のセンサ情報に基づき、レール20Lt、20Rtの位置を表す第一のレール点群30anを検出するレール検出部102と、第一のレール点群30anに対する直線の度合いを表す第一の直線度に基づき、第一のセンサ101aのキャリブレーションの可否判断を行うキャリブレーション可否判断部103と、キャリブレーション可否判断部103においてキャリブレーション可能と判断された場合に、第一のレール点群30anと、レールの3次元位置を表し第一のレール点群とは異なる参照レール点群である点群30atとを基に、第一のセンサ情報を補正するセンサ情報補正部105と、を有する補正装置。
【選択図】図1
【特許請求の範囲】
【請求項1】
第一のセンサによって取得される第一のセンサ情報に基づき、レールの位置を表す第一のレール点群を検出するレール検出部と、
前記第一のレール点群に対する直線の度合いを表す第一の直線度に基づき、前記第一のセンサのキャリブレーションの可否判断を行うキャリブレーション可否判断部と、
前記キャリブレーション可否判断部においてキャリブレーション可能と判断された場合に、前記第一のレール点群と、レールの3次元位置を表し前記第一のレール点群とは異なる参照レール点群とを基に、前記第一のセンサ情報を補正するセンサ情報補正部と、
を有する補正装置。
【請求項2】
前記第一の直線度は、前記直線の度合いに加え、前記第一のレール点群に対するばらつきの程度を表す請求項1に記載の補正装置。
【請求項3】
前記キャリブレーション可否判断部は、前記第一のレール点群から直線抽出を行うことで推定されるレール直線モデルと前記第一のレール点群に含まれる点との距離の平均値に基づき、前記第一の直線度を求める請求項2に記載の補正装置。
【請求項4】
前記キャリブレーション可否判断部は、一対のレールのそれぞれについての前記平均値として、第一の距離平均値および第二の距離平均値を求め、前記第一の距離平均値と前記第二の距離平均値との平均値の逆数を、前記第一の直線度とする請求項3に記載の補正装置。
【請求項5】
前記キャリブレーション可否判断部は、前記第一のレール点群から分岐の有無を判定し、分岐がある場合はキャリブレーション不可と判断する請求項1に記載の補正装置。
【請求項6】
前記キャリブレーション可否判断部は、前記第一のレール点群について、車両の幅方向の距離と軌間とを比較することにより分岐の有無を判定する請求項5に記載の補正装置。
【請求項7】
前記参照レール点群は、第二のセンサによって取得される第二のセンサ情報に基づき検出され、レールの位置を表す第二のレール点群である請求項1に記載の補正装置。
【請求項8】
前記キャリブレーション可否判断部は、前記第一の直線度と、前記第二のレール点群に対する直線の度合いを表す第二の直線度との差に基づきキャリブレーションの可否判断を行う請求項7に記載の補正装置。
【請求項9】
前記キャリブレーション可否判断部においてキャリブレーション可能と判断された場合に、前記第一のレール点群と前記参照レール点群とを用い、前記第一のセンサの三軸回転及び併進を求めるキャリブレーション部をさらに備え、
前記センサ情報補正部は、前記キャリブレーション部で求められた前記三軸回転及び前記併進を用い、前記第一のセンサ情報を補正する請求項1に記載の補正装置。
【請求項10】
前記キャリブレーション部は、前記第一のセンサの前記三軸回転及び前記併進を複数時刻記録し、複数時刻における前記第一のセンサの前記三軸回転及び前記併進の中央値を出力し、
前記センサ情報補正部は、出力された前記中央値を用い、前記第一のセンサ情報を補正する請求項9に記載の補正装置。
【請求項11】
前記第一のレール点群は、レールの二次元位置を表し、
前記キャリブレーション部は、前記参照レール点群を、前記第一のレール点群を含む画像座標系へ変換して2次元の前記参照レール点群を取得し、前記第一のレール点群と2次元の前記参照レール点群とを一致させるための、前記三軸回転及び前記併進を算出する請求項9に記載の補正装置。
【請求項12】
前記キャリブレーション部において求められる前記三軸回転及び前記併進が、予め定められた閾値を上回る場合に、センサ取付角異常と判定するセンサ取付異常検出部をさらに有する請求項9に記載の補正装置。
【請求項13】
前記センサ取付異常検出部は、前記第一のレール点群と、第二のセンサによって取得される第二のセンサ情報に基づき検出され、レールの位置を表す第二のレール点群としての参照レール点群と、から求められる前記三軸回転及び前記併進、および前記第一のレール点群と、第三のセンサによって取得される第三のセンサ情報に基づき検出され、レールの位置を表す第三のレール点群と、から求められる前記三軸回転及び前記併進が、ともに予め定められた閾値を上回る場合に、センサ取付角異常と判定する請求項12に記載の補正装置。
【請求項14】
前記キャリブレーション可否判断部は、車両の在線位置とキャリブレーション可能区間との関係を含むマップに基づき、前記第一のレール点群が、キャリブレーション可能区間に含まれる場合に、キャリブレーション可能と判断する請求項1に記載の補正装置。
【請求項15】
前記キャリブレーション可否判断部は、前記第一の直線度がキャリブレーション不可の値であり、かつ前記第一のレール点群が、キャリブレーション可能区間に含まれる場合に、センサ異常信号を発出する請求項14に記載の補正装置。
【請求項16】
前記レール検出部は、前記第一のレール点群の代わりに第一の架線柱点群を検出する請求項1に記載の補正装置。
【請求項17】
プロセッサがメモリに記録されたソフトウェアを実行することにより、
第一のセンサによって取得される第一のセンサ情報に基づき、レールの位置を表す第一のレール点群を検出し、
前記第一のレール点群に対する直線の度合いを表す第一の直線度に基づき、前記第一のセンサのキャリブレーションの可否判断を行い、
キャリブレーション可能と判断された場合に、前記第一のレール点群と、レールの3次元位置を表し前記第一のレール点群とは異なる参照レール点群とを基に、前記第一のセンサ情報を補正する、
補正方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、補正装置、補正方法に関する。特に、列車に搭載されたセンサから出力されるセンサ情報を補正するのに適した補正装置、補正方法に関する。
【背景技術】
【0002】
例えば、列車前方監視システムは、監視領域や周波数特性の異なる複数センサを搭載することで、前方監視領域の拡大や物体検知率の向上が期待される。このようなシステムでは、各センサの外部パラメータ(取付位置、角度情報)使用することで、複数のセンサ情報を統合する。各センサの外部パラメータは車両によって個体差があり、車体振動等により経年変化するため、実際の外部パラメータは設計値に対して誤差を有する。この誤差が拡大すると各センサに含まれる物体の位置誤差が拡大し、センサ情報の統合が困難となる。従って、複数のセンサ情報を統合する際にセンサ外部パラメータ誤差に起因する失敗を防ぐため、各センサの位置、姿勢といった外部パラメータを算出し補正をする必要がある。即ち、キャリブレーションを行い、センサ情報の補正を行う補正装置等が必要である。
【0003】
特許文献1には、自車の形状に対応した2点と交わる線を含み、カメラの撮像範囲内に少なくとも2本配置される参照線と、この参照線の間に予め定められたパターン形状を有する校正用パターンとを有する測定領域と、画像処理部とを備えるカメラキャリブレーション装置が記載されている。そして、この装置は、画像処理部が、カメラで校正用パターン及び参照線が配置される測定領域を撮影することで測定用画像を生成する撮像処理と、2本の参照線に基づいて自車の停車位置とパターン形状との座標関係を停車誤差として算出する停車誤差算出処理と、当該停車誤差をキャンセルした状態でパターン形状に基づいてカメラの取付姿勢に対応する外部パラメータを算出する外部パラメータ算出処理とを備える。
【0004】
特許文献2には、車両の屋根上の枕木方向に沿って配置されたカメラによってそれぞれ車両の前方または後方のレールを撮像した画像に基づいて傾き推定装置に、カメラによって撮像した画像からそれぞれレールの位置を求めるレール検出部と、カメラによって撮像した画像からそれぞれ求めたレールの位置に基づきレールの三次元形状を算出する三次元形状算出部と、ICPアルゴリズムによりレールの三次元形状と予め用意したレール形状モデルとの位置合わせを行う際にM推定またはRANSACを用いてノイズの影響を抑制する傾き推定部とを設けた車体の傾き推定装置が記載されている。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】特開2013-2820号公報
【特許文献2】特開2019-23017号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
しかしながら、測定領域を設置することは、設置コストのほか、汚れや欠損といった劣化を防ぐための保守が必要となることが見込まれるため、このようなものは設置しない方が望ましい。
本発明は、キャリブレーション用の設備を設けなくても、より正確なキャリブレーションを行うことができる補正装置、補正方法を提供することを目的とする。
【課題を解決するための手段】
【0007】
上記の課題を解決するため本発明は、第一のセンサによって取得される第一のセンサ情報に基づき、レールの位置を表す第一のレール点群を検出するレール検出部と、第一のレール点群に対する直線の度合いを表す第一の直線度に基づき、第一のセンサのキャリブレーションの可否判断を行うキャリブレーション可否判断部と、キャリブレーション可否判断部においてキャリブレーション可能と判断された場合に、第一のレール点群と、レールの3次元位置を表し第一のレール点群とは異なる参照レール点群とを基に、第一のセンサ情報を補正するセンサ情報補正部と、を有する補正装置である。この場合、キャリブレーション用の設備を設けなくても、より正確なキャリブレーションを行うことができる補正装置を提供することができる。
【0008】
ここで、第一の直線度は、直線の度合いに加え、第一のレール点群に対するばらつきの程度を表すようにできる。この場合、直線度の評価の精度を向上させることができる。
また、キャリブレーション可否判断部は、第一のレール点群から直線抽出を行うことで推定されるレール直線モデルと第一のレール点群に含まれる点との距離の平均値に基づき、第一の直線度を求めるようにできる。この場合、直線度をより容易に求めることができる。
さらに、キャリブレーション可否判断部は、一対のレールのそれぞれについての平均値として、第一の距離平均値および第二の距離平均値を求め、第一の距離平均値と第二の距離平均値との平均値の逆数を、第一の直線度とすることができる。この場合、直線度としてより直感的な値を求めることができる。
【0009】
またさらに、キャリブレーション可否判断部は、第一のレール点群から分岐の有無を判定し、分岐がある場合はキャリブレーション不可と判断することができる。この場合、外部パラメータの推定がより正確になる。
そして、キャリブレーション可否判断部は、第一のレール点群について、車両の幅方向の距離とレールの軌間とを比較することにより分岐の有無を判定するようにできる。この場合、分岐の判定をより容易に行うことができる。
【0010】
また、参照レール点群は、第二のセンサによって取得される第二のセンサ情報に基づき検出され、レールの位置を表す第二のレール点群であるようにできる。この場合、第一のセンサと第二のセンサの各センサ情報を統合することができる。
さらに、キャリブレーション可否判断部は、第一の直線度と、第二のレール点群に対する直線の度合いを表す第二の直線度との差に基づきキャリブレーションの可否判断を行うようにできる。この場合、キャリブレーションの可否判断がより正確になる。
【0011】
そして、キャリブレーション可否判断部においてキャリブレーション可能と判断された場合に、第一のレール点群と参照レール点群とを用い、第一のセンサの三軸回転及び併進を求めるキャリブレーション部をさらに備え、センサ情報補正部は、キャリブレーション部で求められた三軸回転及び併進を用い、第一のセンサ情報を補正することができる。この場合、第一のセンサ情報の補正の精度が向上する。
また、キャリブレーション部は、第一のセンサの三軸回転及び併進を複数時刻記録し、複数時刻における第一のセンサの三軸回転及び併進の中央値を出力し、センサ情報補正部は、出力された中央値を用い、第一のセンサ情報を補正することができる。この場合、より正確な外部パラメータの推定が可能となる。
さらに、第一のレール点群は、レールの二次元位置を表し、キャリブレーション部は、参照レール点群を、第一のレール点群を含む画像座標系へ変換して2次元の参照レール点群を取得し、第一のレール点群と2次元の参照レール点群とを一致させるための、三軸回転及び併進を算出することができる。この場合、二次元画像上の点群を三次元化する際に発生する、レール点群の角度誤差などが発生せず、より正確な外部パラメータの推定結果を得られやすい。
またさらに、キャリブレーション部において求められる三軸回転及び併進が、予め定められた閾値を上回る場合に、センサ取付角異常と判定するセンサ取付異常検出部をさらに有するようにできる。この場合、センサ取付異常を検出することができる。
そして、センサ取付異常検出部は、第一のレール点群と、第二のセンサによって取得される第二のセンサ情報に基づき検出され、レールの位置を表す第二のレール点群としての参照レール点群と、から求められる三軸回転及び併進、および第一のレール点群と、第三のセンサによって取得される第三のセンサ情報に基づき検出され、レールの位置を表す第三のレール点群と、から求められる三軸回転及び併進が、ともに予め定められた閾値を上回る場合に、センサ取付角異常と判定するようにできる。この場合、第一のセンサと第二のセンサを用い、センサ取付異常を判定することができる。
【0012】
さらに、キャリブレーション可否判断部は、車両の在線位置とキャリブレーション可能区間との関係を含むマップに基づき、第一のレール点群が、キャリブレーション可能区間に含まれる場合に、キャリブレーション可能と判断するようにできる。この場合、カーブ区間を含み外部パラメータの推定が難しい領域を、事前に把握し、さらに確実に外部パラメータの推定を行うことができる。
そして、キャリブレーション可否判断部は、第一の直線度がキャリブレーション不可の値であり、かつ第一のレール点群が、キャリブレーション可能区間に含まれる場合に、センサ異常信号を発出するようにできる。この場合、マップを利用してセンサ取付異常を検出することができる。
さらに、レール検出部は、第一のレール点群の代わりに互いに平行な物体の位置を表す点群を検出するようにしてもよい。例えばレール検出部は、第一のレール点群の代わりに第一の架線柱点群を検出する。この場合、架線柱に例示される互いに平行な物体を利用してキャリブレーションに必要な点群を取得することができる。
【0013】
また、本発明は、プロセッサがメモリに記録されたソフトウェアを実行することにより、第一のセンサによって取得される第一のセンサ情報に基づき、レールの位置を表す第一のレール点群を検出し、第一のレール点群に対する直線の度合いを表す第一の直線度に基づき、第一のセンサのキャリブレーションの可否判断を行い、キャリブレーション可能と判断された場合に、第一のレール点群と、レールの3次元位置を表し第一のレール点群とは異なる参照レール点群とを基に、第一のセンサ情報を補正する、補正方法である。この場合、キャリブレーション用の設備を設けなくても、より正確なキャリブレーションを行うことができる補正方法を提供することができる。
【発明の効果】
【0014】
本発明によれば、キャリブレーション用の設備を設けなくても、より正確なキャリブレーションを行うことができる補正装置、補正方法を提供することができる。
【図面の簡単な説明】
【0015】
図1】第1の実施形態におけるセンサ補正システムの全体構成を示した図である。
図2】第1の実施形態において、第一のセンサ情報を取得してから第一のセンサの情報を補正するまでの動作を表すフローチャート図である。
図3】(a)~(b)は、直線度の算出方法を示した図である。(c)~(e)は、直線度を算出する際の具体例を表す図である。
図4】(a)~(b)は、キャリブレーション可否判断部に分岐判定機能を追加したときの、分岐判定を行う方法の具体例を表す図である。
図5】(a)~(d)は、第1の実施形態で使用する座標系と、第一のレール点群を用いて外部パラメータを推定する方法を表す図である。
図6】横軸に外部パラメータの推定結果の蓄積フレーム数、縦軸に外部パラメータの推定結果を示した図である。
図7】第2の実施形態におけるセンサ補正システムの全体構成を示した図である。
図8】(a)~(e)は、第2の実施形態における自動キャリブレーション部の動作を示した図である。
図9】単眼カメラ情報を、第一のセンサ情報として使用した場合における自動キャリブレーション装置の動作を表すフローチャート図である。
図10】(a)~(c)は、図9のS208の動作の詳細と、使用する座標系定義を表す図である。
図11】第4の実施形態におけるセンサ補正システムの全体構成を示した図である。
図12】(a)~(b)は、鉄道デジタルマップ、及び鉄道デジタルマップを用いて外部パラメータの推定の可否を判断する方法を表す図である。
図13】第5の実施形態におけるセンサ補正システムの全体構成を示した図である。
【発明を実施するための形態】
【0016】
以下、添付図面を参照し、本発明の実施の形態について、詳細に説明する。ここでは、本発明を第1の実施形態~第5の実施形態により説明する。
〔第1の実施形態〕
<センサ補正システム1aの全体構成の説明>
図1は、第1の実施形態におけるセンサ補正システム1aの全体構成を示した図である。
図示するように、センサ補正システム1aは、車両10に搭載される。車両10は、鉄軌道を走行する車両筐体であり、例えば鉄道やトラムなどが挙げられる。車両10は、一対のレール20Lt、20Rt上を走行する。なおここでは、車両10の進行方向に対し、左側になるレールをレール20Ltとし、右側になるレールを20Rtとしている。
【0017】
またセンサ補正システム1aは、第一のセンサ101aと、自動キャリブレーション装置11aとを備える。
自動キャリブレーション装置11aは、補正装置の一例であり、レール検出部102、キャリブレーション可否判断部103、自動キャリブレーション部104、センサ情報補正部105を備え、第一のセンサ101aが取得する情報を入力とする。なお、本実施の形態では、自動キャリブレーション部104を車両10に搭載されているものとしているが、センサ101aの情報を地上に送信する手段を有する場合、地上に設置した設備に搭載しても良い。
【0018】
自動キャリブレーション装置11aは、第一のセンサ101aが取得したデータを用い、レール検出部102が、車両10の前方にある左右のレール20Lt、20Rtの位置を推定し、第一のレール点群30anとして取得する。さらに、キャリブレーション可否判断部103は、第一のレール点群30anの直線度を基にキャリブレーション可否を判断する。そして、キャリブレーションが可能であると判断された場合に、自動キャリブレーション部104において、外部パラメータの推定を行う。さらに、センサ情報補正部105は、外部パラメータの推定結果を用い、第一のセンサ101aが取得したデータを補正する。
【0019】
第一のセンサ101aは、レール検出部102によって第一のレール点群30anを推定する元となる第一のセンサ情報を出力するセンサである。第一のセンサ101aとしては、例えば、レーザーレーダやステレオカメラ、単眼カメラなどが挙げられる。第一のセンサ情報は、第一のセンサ101aがレーザーレーダの場合は、三次元点群である。また、第一のセンサ101aがステレオカメラの場合は、視差画像及び左右カメラ画像である。さらに、第一のセンサ101aが単眼カメラの場合は、二次元画像である。
【0020】
レール検出部102は、第一のセンサ情報を用いて三次元点群を推定する機能を有する。また、レール検出部102は、第一のセンサ101aによって取得される第一のセンサ情報に基づき、レール20Lt、20Rtの位置を表す第一のレール点群30anを検出する、と言うこともできる。
第一のセンサ情報がレーザーレーダの出力する三次元点群の場合は、レール検出部102は、三次元点群の中から左右のレール20Lt、20Rtに対応する点群を抽出し、第一のレール点群30anとする。第一のセンサ情報がステレオカメラの視差画像及び左右カメラ画像の場合は、レール検出部102は、画像上のパターンマッチングなどを利用した二次元レール抽出と、視差画像による奥行き推定結果等を用いて第一のレール点群30anを推定する。入力画像が単眼カメラ画像の場合は、レール検出部102は、例えば画像上のパターンマッチングなどを利用した二次元レール抽出を行い、実際の左右レール20Lt、20Rtの幅(=軌間)と観測された軌間との比較に基づく奥行き推定結果を使用し、第一のレール点群30anを推定する。
【0021】
第一のレール点群30anは、左右のレール20Lt、20Rtの三次元位置に対応する点群であり、例えば左右のレール20Lt、20Rtの最上面の内側に対応する点群とすることができる。また、本実施の形態において、第一のレール点群30anは、第一のセンサ座標系から車両10に固定された車両固定座標系40tに変換するための回転設計値、併進設計値を用いて座標変換を行い、車両固定座標系’40nで表現されているものとする。
【0022】
車両固定座標系40tは、車両10に対して原点や向きを固定された座標系である。本実施の形態では、車両固定座標系40tのx方向をレール20Lt、20Rtに沿った直進方向、y方向を枕木に沿った方向、z方向をx、yと垂直な方向とし、x原点を車体前面、y原点を左右のレール20Lt、20Rtの中線上、z原点を左右のレール20Lt、20Rt上面が張る平面上と定義するが、他の方法でもよい。
【0023】
車両固定座標系’40nは、第一のセンサ座標系のセンサ情報を回転設計値、併進設計値を用いて座標変換した結果遷移する座標系である。回転設計値、併進設計値が実際の回転、併進とは異なるため、車両固定座標系’40nの原点や軸の向きは、実際の車両固定座標系40tとは異なる。そのため、第一のレール点群30anは、車両固定座標系40tにおける実際のレール20Lt、20Rtの位置に対応する点群30atとは異なる位置に存在する。
【0024】
キャリブレーション可否判断部103は、第一のレール点群30anを直線度によって評価する。そして、キャリブレーション可否判断部103は、直線度に閾値を設定し、この閾値に基づきキャリブレーションの可否を判断する。キャリブレーション可否判断部103は、例えば、直線度が所定の閾値以上である場合に、キャリブレーション可能であると判断し、直線度が所定の閾値未満である場合に、キャリブレーション不可であると判断する。よって、キャリブレーション可否判断部103は、第一のレール点群30anに対する直線の度合いを表す直線度に基づき、第一のセンサ101aのキャリブレーションの可否判断を行う、と言うこともできる。なお、この直線度は、後述する第二の直線度と区別する意味で第一の直線度であると言うこともできる。
そして、キャリブレーション可否判断部103は、キャリブレーション実施可否を判断するためのキャリブレーション可否信号と、第一のレール点群30anとを、自動キャリブレーション部104へ出力する機能を有する。
【0025】
直線度とは、推定された第一のレール点群30anが直線か否か、及び第一のレール点群30anのデータのばらつきの程度を評価するための指標であり、詳細は後述する。直線度の閾値は、自動キャリブレーション部104における外部パラメーのタ推定精度が要求を満たすことのできるよう、事前に調整する値である。
【0026】
キャリブレーション可否信号とは、自動キャリブレーション部104が第一のレール点群30anを用いた外部パラメータの推定処理を実行してよいかを判断するための情報である。キャリブレーション可否信号は、例えば、0または1の信号とし、0がキャリブレーション不可であること、1をキャリブレーション可能であることを意味する。
【0027】
自動キャリブレーション部104は、キャリブレーション可否信号によってキャリブレーション可能と判断された場合に、第一のレール点群30anと、実際のレール20Lt、20Rtの位置に対応する点群30atを用い、第一のセンサ101aの外部パラメータの推定を行う機能を有する。よって、自動キャリブレーション部104は、キャリブレーション可否判断部103においてキャリブレーション可能と判断された場合に、第一のレール点群30anと参照レール点群(第1の実施形態では、実際のレール20Lt、20Rtの位置に対応する点群30at)とを用い、第一のセンサ101aの三軸回転及び併進を求めるキャリブレーション部として機能する。第一のレール点群30anを用いた外部パラメータの推定方法の詳細は後述する。
【0028】
センサ情報補正部105は、第一のセンサ101aの外部パラメータの推定結果を用い、第一のセンサ101aのデータを車両固定座標系40tに変換する機能を有する。センサ情報補正部105は、キャリブレーション可否判断部103においてキャリブレーション可能と判断された場合に、第一のレール点群30anと、レール20Lt、20Rtの3次元位置を表し第一のレール点群anとは異なる参照レール点群(第1の実施形態では、実際のレール20Lt、20Rtの位置に対応する点群30at)とを基に、第一のセンサ情報を補正する、と言うこともできる。この場合、センサ情報補正部105は、自動キャリブレーション部104で求められた三軸回転及び併進を用い、第一のセンサ情報を補正する。
【0029】
図2は、第1の実施形態において、第一のセンサ情報を取得してから第一のセンサ101aの情報を補正するまでの動作を表すフローチャート図である。
まず、レール検出部102において、ある時刻における第一のセンサ情報を取得する(S101)。
次に、レール検出部102は、第一のセンサ情報のデータ次元が三次元であるか否かを判断する(S102)。
その結果、データ次元が三次元である場合(S102でYes)、レール検出部102は、三次元点群に対するレール20Lt、20Rtの検出を実施する(S103)。データ次元が三次元である場合は、例えばレーザレーダにより取得した点群の場合である。
対して、データ次元が二次元である場合(S102でNo)、レール検出部102は、まず二次元画像上でレール20Lt、20Rtを検出し(S104)、視差画像や軌間を用いてレール検知結果の三次元化を行い(S105)、キャリブレーション可否判断部103へ出力する。データ次元が二次元である場合は、例えば、ステレオカメラ画像や単眼カメラ画像の場合である。
【0030】
次に、キャリブレーション可否判断部103が、第一のレール点群30anによる直線度の算出を実施する(S106)。
そして、キャリブレーション可否判断部103は、直線度が所定の閾値以上である場合はキャリブレーション可否信号を1とし、直線度が所定の閾値未満である場合はキャリブレーション可否信号を0とする(S107)。
【0031】
次に、自動キャリブレーション部104が、キャリブレーション可否信号が1であるか否かを判断する(S108)。
その結果、キャリブレーション可否信号が1の場合(S108でYes)、自動キャリブレーション部104は、実際のレール20Lt、20Rtの位置に対応する点群30atを第二のレール点群(参照レール点群)として取り込む(S109)。
そして、自動キャリブレーション部104は、第一のレール点群30anと第二のレール点群との間の回転及び併進を算出することにより、第一のセンサ101aの外部パラメータを推定する(S110)。
さらに、センサ情報補正部105が、第一のセンサ情報の補正を行う(S111)。
一方、キャリブレーション可否信号が0の場合(S108でNo)、第一のセンサ情報の補正は行わず、一連の処理を終了する。
【0032】
<直線度の説明>
次に直線度について詳細に説明する。
図3(a)~(b)は、直線度の算出方法を示した図である。また、図3(c)~(e)は、直線度を算出する際の具体例を表す図である。
まず、図3(a)に示すように、キャリブレーション可否判断部103が、レール検出部102において得られた第一のレール点群30anに対し、左側のレール20Ltに対応する点群に沿った左レール直線モデル201Lを推定する。また、キャリブレーション可否判断部103は、右側のレール20Rtに対応する点群に沿った右レール直線モデル201Rを推定する。これらの直線モデルの推定方法としては、例えば第一のレール点群30anに対してRANSAC(RANdom SAmple Consensus)による直線推定を実施して左右何れか一方の直線モデルを第一の直線モデルとして推定したのち、第一の直線モデルに対して所定の距離範囲内である点群を除去して再度RANSACによる直線推定を実施することで、他方の直線モデルを第二の直線モデルとして推定する。さらに、第一の直線モデルと第二の直線モデルのうち、y切片が大きい方を左レール直線モデル201L、y切片が小さい方を右レール直線モデル201Rとすることができる。
【0033】
次に、キャリブレーション可否判断部103は、左レール直線モデル201Lに対して所定の距離202以内である範囲203Lに存在する点群204L、及び右レール直線モデル201Rに対して所定の距離202以内である範囲203Rに存在する点群204Rを抽出する。距離202については、範囲203L、203Rに曲線のレール点群を含むことのできるような値とする。
【0034】
さらに、図3(b)に示すように、キャリブレーション可否判断部103は、点群204Lに含まれる点204Liと左レール直線モデル201Lとの距離205Liを点群204Lの全点にわたって算出し、平均を取ることで算出される第一の距離平均値を算出する。また、キャリブレーション可否判断部103は、点群204Rの点204Riと右レール直線モデル201Rとの距離205Riを点群204Rの全点にわたって算出し、平均を取ることで算出される第二の距離平均値を算出する。次に、キャリブレーション可否判断部103は、第一の距離平均値と第二の距離平均値の平均を取ることで、第三の距離平均値を算出する。そして、キャリブレーション可否判断部103は、第三の距離平均値の逆数を直線度と定義する。この場合、直線度の値が大きいほどレール20Lt、20Rtの直線の度合いが高いことを意味する。
【0035】
このように、キャリブレーション可否判断部103は、第一のレール点群30anから直線抽出を行うことで推定されるレール直線モデル201L、201Rと第一のレール点群30anに含まれる点との距離の平均値に基づき、直線度(第一の直線度)を求める。また、キャリブレーション可否判断部103は、一対のレール20Lt、20Rtのそれぞれについての平均値として、第一の距離平均値および第二の距離平均値を求め、第一の距離平均値と第二の距離平均値との平均値の逆数を、直線度(第一の直線度)とする。
【0036】
次に、第一のレール点群30anの形態に応じた直線度の相違について説明を行う。
図3(c)は、直線のレール20Lt、20Rtに対して、ばらつきの少ない第一のレール点群30anを取得することができた場合の具体例である。このような場合、第三の距離平均値は小さくなるため、第三の距離平均値の逆数である直線度は大きな値となる。
【0037】
一方、図3(d)は、直線のレール20Lt、20Rtに対して、ばらつきの大きい第一のレール点群30anが取得された場合の具体例である。このようなレール検出結果を自動キャリブレーション部104で使用すると、不正確な直線モデルに基づく外部パラメータの推定が行われ、外部パラメータの推定誤差の拡大につながるおそれがあるため、キャリブレーション不可と判断すべきである。図3(d)の場合、例えば、左レール直線モデル201Lとの距離が離れている点群206が存在するため、第三の距離平均値は大きくなり、第三の距離平均値の逆数である直線度は、図3(c)と比べて小さな値となる。
【0038】
また、図3(e)は、曲線のレール20Lt、20Rtに対して、第一のレール点群30anが取得された場合の具体例である。本実施の形態において、自動キャリブレーション部104に入力される第一のレール点群30anは、直線のレールであることを想定しており、曲線のレール20Lt、20Rtに対応する点群が自動キャリブレーション部104へ入力されることを防ぐ必要がある。図3(e)の場合、例えば、レール20Lt、20Rtが曲がっていることによって、左レール直線モデル201Lとの距離が離れている点群208が存在するため、第三の距離平均値は大きくなり、第三の距離平均値の逆数である直線度は、図3(c)と比べて大きな値となる。
【0039】
よって、図3(d)、(e)の場合における直線度となった場合に、キャリブレーション可否判断部103がキャリブレーション可否信号を0とする閾値を設定する。これにより、第一のレール点群30anのばらつきが大きい場合、および曲線のレールであった場合にキャリブレーションを行わないようにし、より正確な外部パラメータの算出が可能となる。
以上がキャリブレーション可否判断部103において算出される直線度の定義と性質の説明である。
【0040】
上述した形態では、キャリブレーション可否判断部103は、直線度にのみ基づきキャリブレーション可否信号の値を決定することを基本としているが、レール20Lt、20Rtが分岐する場合にキャリブレーション可否信号を0にしてもよい。具体的には、レール検出部102がレール20Lt、20Rtが分岐することにより直線のレールを安定して抽出することができない場合、キャリブレーション可否判断部103は、レール20Lt、20Rtが分岐していると判定し、キャリブレーション可否信号を0にする機能をさらに追加しても良い。
【0041】
図4(a)~(b)は、キャリブレーション可否判断部103に分岐判定機能を追加したときの、分岐判定を行う方法の具体例を表す図である。
図4(a)に示すように、キャリブレーション可否判断部103は、車両固定座標系209のx方向に幅210で等分割した区間内に存在する点群の中で、yが最大である点211Lとyが最小である点211Rとの距離212(Δy)を算出する。そして、キャリブレーション可否判断部103は、図4(b)に示すように、x方向区間ごとに距離212(Δy)をプロットした図を作成する。各x方向区間におけるx座標は、例えば、各x方向区間の最大値と最小値の中点とする。
【0042】
図4(b)は、各x方向区間に対し距離212(Δy)をプロットした図である。図4(b)において、レール20Lt、20Rtが直線であれば、距離212は、レール20Lt、20Rtの軌間Dと概ね一致する。しかし、分岐が発生した場合は、点211Lと点211Rとの距離が大きくなるため、距離212は、軌間Dより大きな値となる。よって、例えば、軌間Dより若干大きな値を、分岐閾値214として設定し、分岐閾値214より距離212が大きい場合に、キャリブレーション可否判断部103は、キャリブレーション可否信号を0とする。つまり、キャリブレーション可否判断部103は、第一のレール点群30anから分岐の有無を判定し、分岐がある場合はキャリブレーション不可と判断する。このとき、キャリブレーション可否判断部103は、第一のレール点群30anについて、車両の幅方向の距離とレール20Lt、20Rtの軌間Dとを比較することにより分岐の有無を判定する。
【0043】
図4(b)では、分岐閾値214より距離212が大きい場合を、例えば、点216にて示す。また、図4(b)では、分岐閾値214より距離212が小さい場合を、例えば、点215にて示す。これにより、取得された第一のレール点群30anの中で一部でも分岐が存在する場合、分岐発生時に外部パラメータの推定が不正確になることを防ぎ、より高精度な外部パラメータの推定が可能となる。
【0044】
また、キャリブレーション可否判断部103は、レール検出結果と地面との並行度が所定の閾値を下回る場合、キャリブレーション可否信号を0とする機能をさらに有しても良い。本実施の形態で、並行度とは、2平面がどの程度並行であるかを表す指標である。
並行度の算出方法について具体的にはまず、第一のレール点群30anが張る平面に対応する第一の法線ベクトルを算出する。次に、第一のセンサ情報から第一のレール点群30an近辺の点群を抽出し、抽出した点群から第一のレール点群30anを除去することで残り、地面を表す点群が張る平面に対応する第二の法線ベクトルを算出する。最後に、第一の法線ベクトルと第二の法線ベクトルとのなす角の逆数に絶対値処理を施した結果を並行度とする。この場合、並行度の値が大きいほど平行に近いことになる。なお、第一のレール点群30an近辺の点群とは、例えば左右レール20Lt、20Rtの内側に存在する点群である。
【0045】
第一のレール点群30anが張る平面と、レール20Lt、20Rt近辺の地面が張る平面とは概ね並行であることから、並行度が小さい場合、レール検出結果が地面と並行ではなく、レール検出結果が不正となっている可能性がある。そして、並行度に閾値を設定し、並行度の閾値判定により、このような不正なレール検出結果を自動キャリブレーション部104で使用しないようにすれば、より正確な外部パラメータ算出が可能となる。
【0046】
次に、自動キャリブレーション部104の動作を詳細に説明する。
図5(a)~(d)は、第1の実施形態で使用する座標系と、第一のレール点群30anを用いて外部パラメータを推定する方法を表す図である。
図5(a)は、第一のセンサ座標系について示した図である。第一のセンサ座標系は、第一のセンサ101aを基準とした座標系である。レール検出部102は、第一のセンサ座標系で表現されている情報を、外部パラメータ設計値を用いて車両固定座標系’40n(図5(b))に変換し、レール検出を行う。車両固定座標系’40nは、第一のセンサ座標系から外部パラメータ設計値(回転Rs2bn、併進ts2bn)を使用して遷移する座標系であり、車両固定座標系40t(図5(c))とは若干異なる座標系である。
【0047】
第一のセンサ座標系(図5(a))と車両固定座標系40t(図5(c))との間の変換を行うための外部パラメータが外部パラメータ設計値と異なるため、車両固定座標系’40n(図5(b))と車両固定座標系(図5(c))の不一致が発生する。外部パラメータの推定とは、車両固定座標系’40n(図5(b))から車両固定座標系40t(図5(c))へ変換させるための回転Rbn2b及び併進tbn2bを算出することで、第一のセンサ情報を車両固定座標系’40n(図5(b))ではなく、車両固定座標系40t(図5(c))に変換するために必要な回転、併進を算出することである。
【0048】
次に、各座標系におけるレール検出結果の形態を説明する。301Ls、301Rsは、第一のセンサ座標系(図5(a))における左右のレール20Lt、20Rtの検知結果である。また、左レールモデル301Lbn、右レールモデル301Rbnは、車両固定座標系’40n(図5(b))におけるレール検出結果である。さらに、左レールモデル301Lbt、右レールモデル301Rbtは、車両固定座標系(図5(c))における実際のレール20Lt、20Rtの位置である。図5(b)のように、車両固定座標系’40nと車両固定座標系40tが異なるため、左レールモデル301Lbnと左レールモデル301Lbt、及び右レールモデル301Rbnと右レールモデル301Rbtとは一致しない。
【0049】
ここで、左レールモデル301Lbnを左レールモデル301Lbt、及び右レールモデル301Rbnを右レールモデル301Rbtに変換する回転、併進は、車両固定座標系’40n(図5(b))から車両固定座標系40t(図5(c))への回転Rbn2b、併進tbn2bである。よって、本実施の形態では、車両固定座標系’40n(図5(b))における第一のレール点群30anの第一の代表位置pbnと第一の3軸方向ベクトル(exbn,eybn,ezbn)を、車両固定座標系(図5(c))における第一のレール点群30anに対応する第二の代表位置pbと第二の代表3軸方向ベクトル(exb,eyb,ezb)に変換するための回転Rbn2b、併進tbn2bを算出する。
【0050】
第一の代表位置pbnの算出方法としては、例えば、第一のレール点群30anが存在する任意のx方向位置を第一の代表位置のx座標とし、第一の代表位置のx座標を基準に所定のyz範囲内の第一のレール点群30anを抽出し、抽出後の第一のレール点群とする。抽出後の第一のレール点群に対して左レールモデル301Lbn、及び右レールモデル301Rbnを推定し、左レールモデル301Lbnと右レールモデル301Rbの中線上を第一の代表位置のy座標とする。さらに、左レールモデル301Lbn、及び右レールモデル301Rbが張る三次元平面の第一の代表位置のx座標と第一の代表位置のy座標に対応するz座標を、第一の代表位置のz座標とする。
【0051】
第一の代表位置pbnは、x方向に任意としているが、遠方の物体検出情報を使用した方が角度推定精度の向上が見られる可能性があるという知見に基づき、より遠方の第一のレール点群30anを使用するようにx座標を設定することで、角度に係る外部パラメータの推定精度向上を図るようにしても良い。
【0052】
第一の三軸方向ベクトル(exbn,eybn,ezbn)の算出方法としては、例えば左レールモデル301Lbnのx方向の単位ベクトルをexbn、左レールモデル301Lbn及び右レールモデル301Rbが張る平面の法線ベクトルをezbnとし、exbnとezbnに垂直な単位ベクトルeybnを、exbnとezbnの外積により求めることができる。
【0053】
第二の代表位置pbの算出方法については、まず、車体傾きが無い直線のレールの場合は、車両固定座標系においてレール20Lt、20Rtが存在する位置が既知であることから、車両固定座標系40tにおける実際のレール20Lt、20Rtの位置に対応する車両固定座標系レール点群を設定する。
次に、第二の代表位置pbのx座標は、車両固定座標系’40n(図5(b))と車両固定座標系40t(図5(c))とのx方向誤差が小さいとして、第一の代表位置pbnのx座標と定義する。さらに、第一の代表位置pbnのx座標を基準に所定の範囲内の第一のレール点群30anを抽出し、理想レール点群と定義する。理想レール点群に対して左レールモデル301Lbt、及び右レールモデル301Rbtを推定し、左レールモデル301Lbtと右レールモデル301Rtとの中線上を第二の代表位置pbのy座標とする。さらに、左レールモデル301Lbt、及び右レールモデル301Rtが張る三次元平面の第一の代表位置pbnのx座標および第一の代表位置pbnのy座標に対応するz座標を、第二の代表位置pbのz座標とする。
【0054】
第二の三軸方向ベクトル(exb,eyb,ezb)の算出方法について、例えば左レールモデル301Lbtのx方向の単位ベクトルをexb、左レールモデル301Lbt及び右レールモデル301Rtが張る平面の法線ベクトルをezbとし、exbとezbに垂直な単位ベクトルeybを、exbとezbの外積により求めることができる。
【0055】
上記方法によって求められた第一の代表位置pbn、第一の三軸方向ベクトル(exbn,eybn,ezbn)、第二の代表位置pb、第二の三軸方向ベクトル(exb,eyb,ezb)を用いて、図5(d)に記載した式を解くと、車両固定座標系’40n(図5(b))から車両固定座標系40t(図5(c))に変換するための回転Rbn2b及び併進tbn2bを求めることができる。
【0056】
以上が自動キャリブレーション装置11aにおける処理の全体像である。
このような自動キャリブレーション装置11aを構築することで、レール20Lt、20Rtの検出のために新規ターゲット不要であり、かつ走行前、走行中の自動キャリブレーションが可能となる。また、第一のセンサ情報として車体が映り込むことが前提ではないので、例えば、第一のセンサ101aとして、挟角で遠方を監視するものを使用することで車体が映り込みにくい場合でも問題がない。
【0057】
また、鉄道は制動距離が長いため、前方監視システムで発見した物体に衝突すること無く停車をするためには、長距離の物体検知が必要である。外部パラメータの誤差に起因する物体位置推定誤差について、車両進行方向をx、枕木方向をy、これらに垂直な方向をzとすると、遠方になるほどヨー、ピッチ推定誤差の影響が大きくなる。これらの誤差が大きくなると遠方物体を正しく検知することができないため、鉄道においてはヨー、ピッチ角をいかに正確に推定するかが特に重要である。
レール20Lt、20Rtは、x方向に長く伸びる物体であり、x軸方向のセンサ情報量が多いため、x軸方向のレール検出精度は良好であることが期待される。よってレール検出を活用した自動キャリブレーション手法は、x軸方向の外部パラメータの推定精度が良好であると期待される。x軸方向に係る外部パラメータとは、鉄道前方監視において高精度に推定すべきヨー角、ピッチ角である。ヨー角、ピッチ角を高精度に推定することで第一のセンサ101aによる遠方の物体検出性能が向上し、より安全な走行が可能となる。
【0058】
また、従来技術の傾きを推定する方法では、走行中の勾配やカント、振動、或いは静止時も乗客移動の振動といった変動要因によって傾き算出結果が変動する。傾き推定を外部パラメータの推定に置き換えて従来技術の手法を活用したとしても、このような変動要因がある中で外部パラメータを高精度に推定するのは従来の手法では困難である。外部パラメータを高精度に推定を行うためには、レール検知による外部パラメータ推定の他に、結果を高精度化させるための方策が必要である。また、外部パラメータを設計値に対する変位として定義すると、センサで観測されるレールの理想位置と実際に観測される位置の差分に基づいて外部パラメータを推定することが考えられるが、レール検知の理想位置は自車が曲線を走行しているか、まだ直線を走行しているかで異なるため、理想位置算出が難しい。
【0059】
これに対し、本実施の形態では、キャリブレーション可否判断部103を用いて外部パラメータを推定する際に不適切なレール点群を除去することで、変動要因を排除し、高精度なキャリブレーションが可能となる。また、本実施の形態では、直線区間でのレール20Lt、20Rtに対しレール検出を行うので、レール検知の際に理想的な位置を特定しやすい。また、第一のセンサ101aの三軸回転及び併進を基に外部パラメータを推定することで、より正確な外部パラメータを算出することができる。
よって、本実施の形態における自動キャリブレーション装置11aは、前方監視システムの低コスト化、走行時の安全性向上に貢献することができる。
【0060】
本実施の形態では、キャリブレーション可否信号が1である場合に外部パラメータを推定し、都度第一のセンサ101aをキャリブレーションする方法を説明した。一方、キャリブレーション可否信号が1である場合の外部パラメータを一定フレーム数蓄積し、一定フレーム間における外部パラメータの推定値の代表値をキャリブレーションに使用する外部パラメータとすることで、外部パラメータの推定精度を向上させても良い。
【0061】
図6は、横軸に外部パラメータの推定結果の蓄積フレーム数、縦軸に外部パラメータの推定結果を示した図である。そして、図6では、1回ごとの外部パラメータの推定結果を結果302で示すとともに、蓄積された外部パラメータの推定結果の中央値を算出した結果303を模式的に表している。図6では、具体例として、縦軸をy方向併進tyとした場合を示すが、x方向併進tx、z方向併進tzについても同様である。
上述した例では、キャリブレーション可否判断部103によって曲線のレールやノイズが多いレール検出結果を一定量除外することができる。しかし、直線度は高いがレールとは異なる直線をレールとして誤検出する現象が低頻度ではあるが発生する。このような誤検出をした結果を、直線度判定によって除外することは難しい。このとき、例えば図6の304で示すように、算出される外部パラメータに揺らぎが発生し、キャリブレーション精度低下に繋がる。
【0062】
このような事象によるキャリブレーション精度低下を防ぐため、結果303のように一定フレーム数データを蓄積し、代表値をキャリブレーションに使用する外部パラメータとすることで、外れ値として現れる低頻度事象を除去し、より正確な外部パラメータの推定が可能となる。代表値については、例えば外れ値の影響を受けにくい中央値を採用する方法がある。この場合、自動キャリブレーション部104は、第一のセンサ101aの三軸回転及び併進を複数時刻記録し、複数時刻における第一のセンサ101aの三軸回転及び併進の中央値を出力し、センサ情報補正部105は、出力された中央値を用い、第一のセンサ情報を補正する。
【0063】
また、一定フレーム数を代表値の変動が小さくなったときの値fsとし、自動キャリブレーション装置11aの導入時に試行錯誤の上決定するか、或いは所定の値だけ蓄積フレーム数が増加した際に、代表値の増減がある範囲内に収束したときの蓄積フレーム数を基に決定する方法がある。
【0064】
本実施の形態では、第一のセンサ101a一つに対する第一のセンサ座標系と車両固定座標系40tとの間での座標変換を算出する方法を説明したが、レール20Lt、20Rtを検出することのできる複数のセンサに対して本実施の形態の方法を適用し、各センサから車両固定座標系への回転及び併進を算出することで、複数のセンサを車両固定座標系40tへより正確に統合することが可能である。また、この手法ではセンサ毎に独立に外部パラメータを推定することができる為、センサの可視範囲が重複していない場合においても外部パラメータを推定が可能という利点もある。従って、この手法によれば、複数のセンサを使用したシステムにおいて、新規ターゲットを設置すること無くより正確な自動キャリブレーションが可能となるため、前方監視装置を用いたシステムにおけるキャリブレーションコストの低減、及びより安全な車両走行が可能となる。
本実施の形態ではレール検知によるキャリブレーションの方式を述べたが、レール20Lt、20Rtの代わりに互いに平行な物体を検出するようにしてもよい。例えば、車両10に対する位置が既知である、二本並行して直立する架線柱を第一のセンサ101aで検出し、第一のレール点群30anの代わりに使用することができる。この場合、レール検出部102が、二本並行して直立する架線柱に対応する点群である、第一の架線柱点群を検出することによりキャリブレーションを行うことができる。
【0065】
〔第2の実施形態〕
第1の実施形態では、直線のレール検出結果と車両固定座標系40tにおける理想状態のレール直線とを比較することで、第一のセンサ101aの外部パラメータを推定する方法を説明した。一方、センサ取付角設計値に対する各センサの取付位置、角度算出が不要である場合は、第一のセンサ101aによって検出した第一のレール検出結果と、第一のセンサ101aとは別の第二のセンサ101bによる第二のレール検出結果を用い、第二の車両固定座標系’で各センサ情報を統合する方法でもよい。以下、この内容を第2の実施形態として説明する。
【0066】
図7は、第2の実施形態におけるセンサ補正システム1bの全体構成を示した図である。
図示するセンサ補正システム1bは、図1に示した第1の実施形態のセンサ補正システム1aに対して、自動キャリブレーション装置11bに第二のセンサ101bが追加されている点が異なるが、他は同様である。
また、図7では、第一のセンサ101aにより左右のレール20Lt、20Rtを検出した第一のセンサ情報として、第一のレール点群30anを図示している。さらに、図7では、第二のセンサ101bにより左右のレール20Lt、20Rtを検出した第二のセンサ情報として、第二のレール点群30bnを図示している。これは、図7では、第一の車両固定座標系’40anで表現されている第一のレール点群30anと、第二の車両固定座標系’40bnで表現されている第二のレール点群30bnを図示している、と言うこともできる。
第一のセンサ101a及び第二のセンサ101bのそれぞれの外部パラメータは設計値に対して誤差を有するため、図7に示すように第一のレール点群30anと第二のレール点群30bnとは一致しない。本実施の形態では、第一の車両固定座標系’40anで表現されている第一のセンサ情報を、第二の車両固定座標系’40bnへと統合するための外部パラメータの推定、及び第一のセンサ情報の補正を行う。
【0067】
本実施の形態において、レール検出部102は、第一のセンサ101aの情報を用いて第一のレール点群30anを推定し、さらに第二のセンサ101bの情報を用いて第二のレール点群30bnを推定する。
キャリブレーション可否判断部103は、第一のレール点群30anに基づく第一の直線度と、第二のレール点群30bnに基づく第二の直線度を、第1の実施形態で説明した方法に従って算出する。そして、キャリブレーション可否判断部103は、第一の直線度と第二の直線度が共に所定の閾値以上であれば、キャリブレーション可否信号を1とし、自動キャリブレーション部104による外部パラメータの推定を実施する。対して、キャリブレーション可否判断部103は、第一の直線度と第二の直線度の少なくとも一方が所定の閾値未満であれば、キャリブレーション可否信号を0とし、自動キャリブレーション部104による外部パラメータの推定を実施しない。
第2の実施形態では、参照レール点群は、第二のセンサ101bによって取得される第二のセンサ情報に基づき検出され、レール20Lt、20Rtの位置を表す第二のレール点群30bnである。そして、キャリブレーション可否判断部103は、第一の直線度と、第二のレール点群30bnに対する直線の度合いを表す第二の直線度との差に基づきキャリブレーションの可否判断を行う。
【0068】
図8(a)~(e)は、第2の実施形態における自動キャリブレーション部104の動作を示した図である。
図8は、本実施の形態で使用する座標系と、自動キャリブレーション部104による外部パラメータの推定方法を表す。
まず座標系について説明する。
第一のセンサ座標系(図8(a))は、第一のセンサ101aを基準とした座標系である。レール検出部102は、第一のセンサ座標系で表現されている情報を、外部パラメータ設計値を用いて第一の車両固定座標系’(図8(b))に変換し、レール検出を行う。第一の車両固定座標系’は、第一のセンサ座標系から外部パラメータ設計値(回転Rs12bn1、併進ts12bn1)を使用して第一の車両固定座標系’(図8(b))へ変換し遷移する座標系である。
第二のセンサ座標系(図8(c))は、第二のセンサ101bを基準とした座標系である。レール検出部102は、第二のセンサ座標系で表現されている情報を、外部パラメータ設計値を用いて第二の車両固定座標系’(図8(d))に変換し、レール検出を行う。第二の車両固定座標系’は、第二のセンサ座標系から外部パラメータ設計値(回転Rs22bn2、併進ts22bn2)を使用して第二の車両固定座標系’へ変換し遷移する座標系である。
【0069】
次に、各座標系におけるレール検出結果の形態を説明する。401Ls、401Rsは第一のセンサ座標系(図8(a))における左右のレール20Lt、20Rtの検知結果である。また、左レールモデル401Lbn、右レールモデル401Rbnは、第一の車両固定座標系’(図8(b))におけるレール検出結果である。さらに、402Ls、402Rsは第二のセンサ座標系(図8(c))における左右のレール20Lt、20Rtの検知結果である。またさらに、左レールモデル402Lbn、右レールモデル402Rbnは、第二の車両固定座標系’(図8(d))におけるレール検出結果である。第一の車両固定座標系’と第二の車両固定座標系’とは異なるため、401Lbnと402Lbn、401Rbnと402Rbnは一致しない。
【0070】
ここで、401Lbnを402Lbnに、及び401Rbnを402Rbnに変換する回転、併進は、第一の車両固定座標系’から第二の車両固定座標系’への回転Rbn12bn2、併進tbn12bn2である。よって、本実施の形態では、第一の車両固定座標系’における第一のレール点群30anの第一の代表位置pbn1と第一の3軸方向ベクトル(exbn1,eybn1,ezbn1)を、第二の車両固定座標系’における第二のレール点群30bnに対応する第二の代表位置pbn2と第二の3軸方向ベクトル(exbn2,eybn2,ezbn2)に変換するための回転Rbn12bn2、併進tbn12bn2を算出する。
【0071】
第一の代表位置pbn1の算出方法としては、例えば、第一のレール点群30anが存在する任意のx方向位置を第一の代表位置のx座標とし、第一の代表位置のx座標を基準に所定の範囲内の第一のレール点群30anを抽出し、抽出後の第一のレール点群とする。抽出後の第一のレール点群に対して左レールモデル401Lbn、及び右レールモデル401Rbnを推定し、左レールモデル401Lbnと右レールモデル401Rbの中線上を第一の代表位置のy座標とする。さらに、左レールモデル401Lbn、及び右レールモデル401Rbが張る三次元平面の第一の代表位置のx座標と第一の代表位置のy座標に対応するz座標を、第一の代表位置のz座標とする。
【0072】
第一の三軸方向ベクトル(exbn1,eybn1,ezbn1)の算出方法としては、例えば左レールモデル401Lbn方向の単位ベクトルをexbn1、左レールモデル401Lbn及び右レールモデル401Rbが張る平面の法線ベクトルをezbn1とし、exbn1とezbn1に垂直な単位ベクトルeybn1を、exbn1とezbn1の外積により求めることができる。
【0073】
第二の代表位置pbn2の算出方法としては、x座標は第一の車両固定座標系と第二の車両固定座標系とのx方向誤差が小さいとして、第一の代表位置のx座標を第二の代表位置のx座標と定義する。さらに、第二の代表位置のx座標を基準に所定の範囲内の第二のレール点群30bnを抽出し、抽出後の第二のレール点群とする。抽出後の第二のレール点群に対して左レールモデル402Lbn、及び右レールモデル402Rbnを推定し、左レールモデル402Lbnと右レールモデル402Rbの中線上を第二の代表位置のy座標とする。さらに、左レールモデル402Lbn、及び右レールモデル402Rbが張る三次元平面の第二の代表位置のx座標と第二の代表位置のy座標に対応するz座標を、第二の代表位置のz座標とする。
【0074】
第二の三軸方向ベクトル(exbn2,eybn2,ezbn2)の算出方法としては、例えば左レールモデル402Lbn方向の単位ベクトルをexbn2、左レールモデル402Lbn及び右レールモデル402Rbが張る平面の法線ベクトルをezbn2とし、exbn2とezbn2に垂直な単位ベクトルeybn2を、exbn2とezbn2の外積により求めることができる。
【0075】
上記方法によって求められた第一の代表位置pbn1、第一の三軸方向ベクトル(exbn1,eybn1,ezbn1)、第二の代表位置pbn2、第二の三軸方向ベクトル(exbn2,eybn2,ezbn2)を用いて、図8(e)に記載した式を解くと、第一の車両固定座標系’から第二の車両固定座標系に変換するための回転Rbn12bn2及び併進tbn12bn2を求めることができる。
【0076】
以上が第一のレール点群30an、及び第二のレール点群30bnを用いた外部パラメータの算出方法である。上記方法によれば、レール検出によって第一のセンサ101aの外部パラメータを算出することができる為、ターゲットを新設することなく高精度の自動キャリブレーションを行うことができる。よって、前方監視装置を用いたシステムにおけるキャリブレーションコストの低減、及びより安全な車両走行が可能となる。
【0077】
本実施の形態では、直線のレールの検出結果に基づくキャリブレーションを基本としているが、第一のレール点群30anと第二のレール点群30bnを用いた第2の実施形態の場合、第一のレール点群30anと第二のレール点群30bnが曲線のレールであっても良い。実際のレール20Lt、20Rtが曲線の場合、例えば第一のレール点群30anと第二のレール点群30bnとの間のICP(Iterative Closest Point)マッチングによって回転及び併進を算出する方法がある。
【0078】
〔第3の実施形態〕
第1の実施形態や第2の実施形態では、レール検出部102において第一のセンサ101aが二次元画像の場合は、二次元レール検出結果を三次元レール点群に変換し、自動キャリブレーション部104における外部パラメータの推定を行う例を説明した。単眼カメラにより検出した二次元レール点群を三次元化する場合、奥行き方向を推定するために、例えば勾配一定やx軸周りのロール回転が無い、といった仮定を置かないと三次元化することが難しく、正確な三次元点群を取得することが容易ではない。単眼カメラによる二次元レール検知結果を三次元化する際の誤差によって外部パラメータの推定結果の目標性能を満たすことができない場合、三次元化を行わない方法を検討する必要がある。
第3の実施形態は、上記課題を鑑みてなされたものであり、正確な三次元化が難しい単眼カメラ情報については、二次元画像上で外部パラメータの推定を行う。
【0079】
図9は、単眼カメラ情報を、第一のセンサ情報として使用した場合における自動キャリブレーション装置11aの動作を表すフローチャート図である。
まず、レール検出部102において、単眼カメラ情報を第一のセンサ情報として取得する(S201)。
次に、レール検出部102は、二次元画像上でレール検出を行う(S202)。
次に、レール検出部102は、二次元画像上でのレール検出結果を用いて三次元レール点群を算出する一方で、二次元画像上でのレール検出結果を用いて二次元レール点群を取得し、自動キャリブレーション部104で使用するために保持する(S203)。
【0080】
次に、キャリブレーション可否判断部103が、三次元化したレール点群情報に基づき直線度を算出し(S204)、キャリブレーション可否信号の算出(S205)を行う。キャリブレーション可否判断部103の動作については、第1の実施形態と同様である。
【0081】
二次元レール点群を三次元化した場合に不正確になることを上述したが、二次元点群から変換した三次元点群が、何らかの手段で正確に三次元化することのできた正しい三次元点群に対してロール角等の角度が一様に異なるという現象が発生するため、点群内の点同士の相対的な位置関係は保持されると考えることができる。従って、二次元点群から変換した三次元点群が曲線を描く場合は、正しい三次元点群も曲線であり、二次元点群から変換した三次元点群が高ノイズである場合、正しい三次元点群も高ノイズであり、直線度も同じ値を取ると考えられる。よって、第1の実施形態に示す方法によって直線度を用いた閾値判定をしても問題ない。
【0082】
次に、自動キャリブレーション部104が、キャリブレーション可否信号が1であるか否かを判断する(S206)。
その結果、キャリブレーション可否信号が1の場合(S206でYes)、自動キャリブレーション部104は、実際のレール20Lt、20Rtの位置に対応する点群30atを第二のレール点群30bnとして取り込む(S207)。
そして、自動キャリブレーション部104は、二次元画像上において第一のレール点群30anと第二のレール点群30bnのマッチングを行うことで外部パラメータを推定する(S208)。
さらに、センサ情報補正部105が、第一のセンサ情報の補正を行う(S209)。
一方、キャリブレーション可否信号が0の場合(S206でNo)、第一のセンサ情報の補正は行わず、一連の処理を終了する。
【0083】
第二のレール点群30bnは、第1の実施形態のように理想状態の三次元レール点群でも、第2の実施形態のように第二のセンサ101bによって推定したものであってもよい。第3の実施形態では、理想レール点群を本実施の形態における第二のレール点群30bnとして採用した場合における具体例を示す。
【0084】
図10(a)~(c)は、図9のS208の動作の詳細と、使用する座標系定義を表す図である。
画像座標系(図10(c))は、画像の、例えば左上を原点とした二次元直交座標系であり、カメラ取付位置、姿勢の設計値やカメラ行列などを使用することで、画像座標系上の点は、車両固定座標系とは若干異なる車両固定座標系’(図10(b))に変換される。本実施の形態における外部パラメータの推定対象は、車両固定座標系’(図10(b))から車両固定座標系(図10(a))への回転Rcbn2b及び併進tcbn2bである。
【0085】
本実施の形態では、二次元画像座標系においてマッチングにより回転と併進を推定するため、自動キャリブレーション部104は、まず第1の実施形態と同様に、車両固定座標系における理想レール点群601Lb及び601Rbを設定する。そして、自動キャリブレーション部104は、回転Rcbn2b及び併進tcbn2bの逆変換である回転Rb2cbn及び併進tb2cbnを用いて車両固定座標系’に変換することでレール点群601Lbn、601Rbnを算出する。さらに、自動キャリブレーション部104は、第一のセンサ101aの外部パラメータ設計情報、及びカメラ行列などを用い、レール点群601Lbn、601Rbnを画像座標系へ変換し、601Lc及び601Rcを得る。回転Rb2cbn及び併進tb2cbnが不定であることから、601Lc及び601Rcは回転Rb2cbn及び併進tb2cbnの関数である。
【0086】
自動キャリブレーション部104は、上記601Lc及び601Rcが画像座標系において検出した二次元レール点群602Lc、602Rcと一致するような回転Rb2cbn及び併進tb2cbnを、数値計算により算出する。数値計算手法は、例えば最急降下法や焼きなまし法等、一般に使用されている最適化アルゴリズムで良い。
【0087】
第3の実施形態では、第一のレール点群30anは、レール20Lt、20Rtの二次元位置を表し、自動キャリブレーション部104は、参照レール点群(この場合、第二のレール点群30bn)を、第一のレール点群30anを含む画像座標系へ変換して2次元の参照レール点群(第二のレール点群30bn)を取得し、第一のレール点群30anと2次元の参照レール点群とを一致させるための、三軸回転及び併進を算出する、と言うこともできる。
【0088】
本実施の形態では二次元画像上の点群を三次元化する際に発生する、レール点群の角度誤差などが発生しない。従って、より正確な外部パラメータの推定結果を得られることが期待され、より安全な車両走行が可能となる。
【0089】
〔第4の実施形態〕
第1の実施形態~第3の実施形態では、レール点群の直線度を算出することで、カーブ区間を含むレール点群が自動キャリブレーション部104で使用されることを回避した。第4の実施形態では上記に加え、鉄道の在線位置に付随する情報を記載した鉄道デジタルマップを使用することで、レール点群がカーブ区間を含み外部パラメータの推定が難しい領域を、事前に把握し、さらに確実に外部パラメータの推定を行う方法を示す。
【0090】
図11は、第4の実施形態におけるセンサ補正システム1cの全体構成を示した図である。
図示するセンサ補正システム1cは、図1に示した第1の実施形態のセンサ補正システム1aに対して、自動キャリブレーション装置11cに鉄道デジタルマップ106、在線位置推定用センサ107、及び在線位置推定部108が追加されている点が異なるが、他は同様である。
【0091】
鉄道デジタルマップ106は、車両10が走行する区間における、在線位置と対応する地点における曲率や分岐の有無など、地点における外部パラメータの推定可否を判断するための情報を少なくとも含むデータベースである。
在線位置推定用センサ107は、車両10の在線位置を推定するために必要なセンサであり、例えば鉄道地上子の受信機や車輪の回転数を計測するエンコーダ、GNSS(Global Navigation Satellite System)受信機などが挙げられる。
在線位置推定部108は、在線位置推定用センサ107が取得した情報に応じて、車両の在線位置を算出する機能を有する。
【0092】
図12(a)~(b)は、鉄道デジタルマップ106、及び鉄道デジタルマップ106を用いて外部パラメータの推定の可否を判断する方法を表す図である。
図12(a)は、鉄道デジタルマップ106の具体例を表す図である。
鉄道デジタルマップ106には、左右レール20Lt、20Rtの中線701に沿って在線位置(キロ程[km])毎にレールの曲率や分岐の有無が記録されている。例えば位置703aは、キロ程が1.0kmであり、曲率0、分岐無し(0は分岐無し、1は分岐有りを意味する)の直線軌道である。領域702aの斜線で示す区間は、曲率、分岐情報が位置703aと同一であることを示す。位置703bは、分岐が発生し、かつ曲線となっている地点であり、曲率が0.0016、分岐有という情報が格納されている。さらに、位置703cは、キロ程が2.5kmであり、曲率0、分岐無しの直線軌道である。そして、領域702bの斜線で示す区間は、曲率、分岐情報が位置703cと同一であることを示す。
【0093】
図12(b)は、鉄道デジタルマップ106を用いて外部パラメータの推定の可否を判断する方法を表す図である。
例えば、車両10が位置705aに存在し、かつ、レール検出が可能である領域706の区間が領域702aに含まれる場合、レール検出が可能である領域は全て直線軌道であることが保証される。これは、キャリブレーション可否判断部103は、車両10の在線位置とキャリブレーション可能区間との関係を含むマップ(この場合、鉄道デジタルマップ106)に基づき、第一のレール点群30anが、キャリブレーション可能区間に含まれる場合に、キャリブレーション可能と判断する、と言うことができる。
【0094】
一方、レール検出が可能である領域706の区間が領域702aに含まれず、例えば位置703bのように、曲率が所定の閾値を上回る区間を含む、或いは分岐が存在する区間を含む場合は、キャリブレーション可否判断部103は、キャリブレーション可否信号を0とする。これにより、カーブや分岐を含むレール点群が自動キャリブレーション部104で使用されることを防ぐことが可能である。従って、より正確な外部パラメータの推定結果を得られることが期待され、より安全な車両走行が可能となる。
【0095】
また、キャリブレーション可否判断部103において、直線区間でかつ分岐ではないなど、車両10の前方がキャリブレーション実施可能な直線であるにも関わらず直線度が所定の閾値を下回る場合、キャリブレーション可否判断部103は、キャリブレーション可否信号を0としつつ、センサ異常があることを示すアラートを発出しても良い。この場合、キャリブレーション可否判断部103は、第一の直線度がキャリブレーション不可の値であり、かつ第一のレール点群30anが、キャリブレーション可能区間に含まれる場合に、センサ異常信号を発出する、と言うこともできる。
キャリブレーション可否判断部103にアラートを発出する機能を追加することで、センサ異常を検知して車両10の運用に反映し、より安全な車両走行が可能となる。
【0096】
〔第5の実施形態〕
第1の実施形態に記載の方法によって車両固定座標系に対する各センサの回転及び併進を算出することができれば、各センサの回転及び併進の設計値と現在の値を比較し、センサ取付異常を検出することが可能である。第5の実施形態では、これを鑑みたものであり、設計値と第1の実施形態のキャリブレーション結果を使用し、センサ取付異常を検出する。
【0097】
図13は、第5の実施形態におけるセンサ補正システム1dの全体構成を示した図である。
図示するセンサ補正システム1dは、図1に示した第1の実施形態のセンサ補正システム1aに対して、自動キャリブレーション装置11dにセンサ取付異常検出部109が追加されている点が異なるが、他は同様である。
【0098】
センサ取付異常検出部109は、自動キャリブレーション部104において求められる三軸回転及び併進が、予め定められた閾値を上回る場合に、センサ取付角異常と判定する。
自動キャリブレーション部104が出力する第一のセンサ101aの外部パラメータが、センサ取付異常検出部109へ入力される。センサ取付異常検出部109は、自動キャリブレーション部104が出力する第一のセンサ101aの外部パラメータと、第一のセンサ101aの外部パラメータ設計値との差分を、各座標軸(併進2軸又は3軸、及び回転3軸)でそれぞれ異常度として算出し、異常度が所定の閾値を上回る場合はセンサ取付異常と判定する機能を有する。
【0099】
また、第2の実施形態に記載の通り、第一のセンサ101aと第二のセンサ101bを用い、第一のセンサ101aと第二のセンサ101b間の第一二間外部パラメータの推定結果を用い、センサ取付異常を判定することも可能である。
この場合は、第一のセンサ101a、第二のセンサ101bとは異なる第三のセンサを用い、自動キャリブレーション部104によって第一のセンサ101aと第三のセンサ間の第一四間外部パラメータの推定結果をさらに取得する。次に、第一二間外部パラメータの推定結果の要素が所定の閾値を上回り、かつ、第一四間外部パラメータの推定結果の要素が所定の閾値を上回る場合、第一のセンサ101aの取付異常であると推定することが可能である。
【0100】
この場合、センサ取付異常検出部109は、第一のレール点群30anと、第二のセンサ101bによって取得される第二のセンサ情報に基づき検出され、レール20Lt、20Rtの位置を表す第二のレール点群30bnとしての参照レール点群と、から求められる三軸回転及び併進、および第一のレール点群30anと、第三のセンサによって取得される第三のセンサ情報に基づき検出され、レール20Lt、20Rtの位置を表す第三のレール点群と、から求められる三軸回転及び併進が、ともに予め定められた閾値を上回る場合に、センサ取付角異常と判定する、と言うこともできる。
【0101】
第5の実施形態によれば、所定の直線度以上でレール検出が可能である区間において、各センサの取付角異常を検出することが可能である。従って、取付角異常に伴う前方物体検知失敗を防ぎ、より安全な走行が可能となる。
【0102】
なお以上詳述した形態では、自動キャリブレーションとし、自動的にキャリブレーションを行う場合について説明したが、これに限られるものではなく、手動にてキャリブレーションを実施してもよい。
また以上詳述した形態では、直線度とは、レール点群が直線か否か、及びレール点群のデータのばらつきの程度を評価するための指標であったが、レール点群が直線であるかを判断するだけで直線のレールを判断するのに十分な精度が確保できれば、レール点群のデータのばらつきの程度は必ずしも考慮に入れなくてよい。
【0103】
<補正方法の説明>
以上説明を行った自動キャリブレーション装置11a~11dが行う処理は、ソフトウェアとハードウェア資源とが協働することにより実現される。即ち、自動キャリブレーション装置11a~11dに設けられたコンピュータ内部のプロセッサが、上述した各機能を実現するソフトウェアをメモリにロードして実行し、これらの各機能を実現させる。
【0104】
よって、自動キャリブレーション装置11a~11dが行う処理は、プロセッサがメモリに記録されたソフトウェアを実行することにより、第一のセンサ101aによって取得される第一のセンサ情報に基づき、レール20Lt、20Rtの位置を表す第一のレール点群30anを検出し、第一のレール点群30anに対する直線の度合いを表す第一の直線度に基づき、第一のセンサ101aのキャリブレーションの可否判断を行い、キャリブレーション可能と判断された場合に、第一のレール点群30anと、レール20Lt、20Rtの3次元位置を表し第一のレール点群30anとは異なる参照レール点群とを基に、第一のセンサ情報を補正する、補正方法であると捉えることができる。
【0105】
以上、本実施の形態について説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、種々の変更または改良を加えたものも、本発明の技術的範囲に含まれることは、特許請求の範囲の記載から明らかである。
【符号の説明】
【0106】
1a~1d…センサ補正システム、11a~11c…自動キャリブレーション装置、20Lt、20Rt…レール、30an…第一のレール点群、30at…点群、101a…第一のセンサ、101b…第二のセンサ、102…レール検出部、103…キャリブレーション可否判断部、104…自動キャリブレーション部、105…センサ情報補正部、106…鉄道デジタルマップ、107…在線位置推定用センサ、108…在線位置推定部、109…センサ取付異常検出部、レール…20Lt、20Rt

図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13