(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2024-01-15
(54)【発明の名称】複数カメラによる速度測定方法及び速度測定装置
(51)【国際特許分類】
G01P 3/36 20060101AFI20240105BHJP
G05D 1/43 20240101ALI20240105BHJP
【ＦＩ】
G01P3/36 C
G05D1/02 J
【審査請求】有
【予備審査請求】未請求
(21)【出願番号】P 2023540732
(86)(22)【出願日】2022-03-22
(85)【翻訳文提出日】2023-07-03
(86)【国際出願番号】 CN2022082190
(87)【国際公開番号】W WO2023273427
(87)【国際公開日】2023-01-05
(31)【優先権主張番号】202110748440.5
(32)【優先日】2021-06-30
(33)【優先権主張国・地域又は機関】CN
(81)【指定国・地域】
(71)【出願人】
【識別番号】322008058
【氏名又は名称】安徽愛観視覚科技有限公司
【氏名又は名称原語表記】ＡＮＨＵＩ ＥＹＥＶＯＬＵＴＩＯＮ ＴＥＣＨＮＯＬＯＧＹ ＣＯ．， ＬＴＤ．
【住所又は居所原語表記】Ａ１４－５，１３／Ｆ，Ｂｌｏｃｋ Ａ，Ｂｕｉｌｄｉｎｇ Ｊ１，Ｐｈａｓｅ ＩＩ，Ｉｎｎｏｖａｔｉｏｎ Ｉｎｄｕｓｔｒｉａｌ Ｐａｒｋ，Ｎｏ．２８００，Ｉｎｎｏｖａｔｉｏｎ Ａｖｅｎｕｅ，Ｈｉｇｈ Ｔｅｃｈ Ｚｏｎｅ，Ｃｈｉｎａ （Ａｎｈｕｉ） Ｐｉｌｏｔ Ｆｒｅｅ Ｔｒａｄｅ Ｚｏｎｅ，Ｈｅｆｅｉ Ａｎｈｕｉ ２３００８８，Ｃｈｉｎａ
(74)【代理人】
【識別番号】100142804
【弁理士】
【氏名又は名称】大上 寛
(72)【発明者】
【氏名】張暁林
(72)【発明者】
【氏名】王磊
(72)【発明者】
【氏名】楊冬冬
(72)【発明者】
【氏名】粱泓
(72)【発明者】
【氏名】李嘉茂
【テーマコード（参考）】
5H301
【Ｆターム（参考）】
5H301AA01
5H301BB05
5H301BB14
5H301GG08
5H301GG09
(57)【要約】
本発明は、Ｓ１：移動プラットフォーム上に設けられた、相対位置が固定されたカメラセットにおける各カメラの位置をキャリブレーションするステップ；Ｓ２：カメラセットにおける各カメラの同期画像シーケンス、またタイムスタンプを記録するステップ；及び、Ｓ３：カメラセットの各カメラによって撮影された画像のマッチングの処理をし、得られた２つの画像のマッチング結果が第１閾値よりも大きい場合、２つの画像の位置変換行列を計算し、前記２つの画像を撮影するカメラの前記移動プラットフォームに対する位置関係に基づいて、移動プラットフォームの位置変換行列を取得し、最後に、位置変換行列及び２つの画像の撮影時間間隔に基づいて、移動プラットフォームの速度情報を計算するステップ；を含む複数カメラによる速度測定方法及び測定装置を提供する。互いに異なるカメラで撮影された画像のマッチングの処理をして、移動プラットフォームの速度を計算することにより、単一のカメラで速度を測定する際の撮影距離と画像重畳度の矛盾を解決して、精度の高い移動速度情報を取得することができる。
【選択図】 図１
【選択図】 図１
【特許請求の範囲】
【請求項1】
Ｓ１：移動プラットフォーム上に設けられた、相対位置が固定されたカメラセットにおける各カメラの位置をキャリブレーションして、各カメラの間の位置関係、及び各カメラと移動プラットフォームとの間の位置関係を取得するステップ；Ｓ２：前記カメラセットにおける各カメラの同期画像シーケンスを取得し、また、前記同期画像シーケンスのタイムスタンプを記録するステップ；及び
Ｓ３：前記カメラセットにおける各カメラによって撮影された画像のマッチングの処理をし、得られた２つの画像のマッチング結果が第１閾値よりも大きい場合、前記２つの画像の位置変換行列を計算し、前記２つの画像を撮影するカメラの間の位置関係、前記移動プラットフォームに対する前記２つの画像を撮影するカメラの位置関係、及び前記２つの画像の位置変換行列に基づいて、前記２つの画像の撮影時間間隔における前記移動プラットフォームの位置変換行列を取得し、最後に、前記移動プラットフォームの位置変換行列及び前記２つの画像の撮影時間間隔に基づいて、前記移動プラットフォームの速度情報を計算するステップ；を含む、ことを特徴とする複数カメラによる速度測定方法。
【請求項2】
前記ステップＳ３が、Ｓ３１：現在の時刻における前記移動プラットフォームの位置情報を取得し、現在の時刻における前記移動プラットフォームの位置情報及び前記移動プラットフォームに対する第１カメラの位置関係に基づいて、現在の時刻における前記第１カメラの第１位置を計算するステップ；
Ｓ３２：前記第１位置に基づいて、他のカメラが画像を撮影する際の第２位置をトラバースし、前記第２位置と前記第１位置との間の距離が第２閾値未満である場合、探索に成功したと判断し、前記第１位置及び前記第２位置に対応する撮影画像をそれぞれ探索画像及び候補画像と記録し、前記探索画像及び候補画像のタイムスタンプを記録した後、ステップＳ３３に進むステップ；
Ｓ３３：前記探索画像と前記候補画像のマッチングを行い、得られたマッチング結果が前記第１閾値よりも大きい場合、マッチングに成功したと判断し、前記探索画像と前記候補画像の位置変換行列を計算した後、ステップＳ３４に進むステップ；及び
Ｓ３４：前記探索画像と前記候補画像のカメラの間の位置関係と前記位置変換行列に基づいて、前記第１カメラの位置変換行列を計算し、その後、前記第１カメラの位置変換行列及び前記移動プラットフォームに対する前記第１カメラの位置関係に基づいて、前記移動プラットフォームの位置変換行列を計算し、最後に、前記移動プラットフォームの位置変換行列及び前記２つの画像の撮影時間間隔に基づいて、前記移動プラットフォームの速度情報を計算するステップ；を含む、ことを特徴とする請求項１に記載の複数カメラによる速度測定方法。
【請求項3】
現在の時刻における前記移動プラットフォームの位置情報を取得するステップが、前記第１カメラの探索画像と前のフレーム画像をマッチングして、前記第１カメラの自己位置変換行列を取得し、前記自己位置変換行列、前記移動プラットフォームに対する前記第１カメラの位置関係に基づいて、前記移動プラットフォームの位置情報を取得するステップを含む、ことを特徴とする請求項２に記載の複数カメラによる速度測定方法。
【請求項4】
前記第１カメラの探索画像と前のフレーム画像をマッチングして、前記第１カメラの自己位置変換行列を取得し、前記自己位置変換行列、前記移動プラットフォームに対する前記第１カメラの位置関係に基づいて、前記移動プラットフォームの位置情報を取得する時、各カメラのマッチング結果に基づいて各カメラに対応する重みを設定し、加重平均方法を使用して前記移動プラットフォームの位置情報を計算する、ことを特徴とする請求項３に記載の複数カメラによる速度測定方法。
【請求項5】
前記マッチング方法は、２Ｄ画像特徴マッチング方法であり、前記２Ｄ画像特徴マッチング方法は、２つの画像の特徴点を抽出して、速やかにマッチングすることにより、２つの画像の位置変換行列を計算する、ことを特徴とする請求項１または４に記載の複数カメラによる速度測定方法。
【請求項6】
前記マッチング方法は、２Ｄ画像周波数領域情報マッチング方法であり、前記２Ｄ画像周波数領域情報マッチング方法は、フーリエ－メリン変換アルゴリズムを通じて２つの画像の回転、並進、及びスケールファクタを計算し、さらに２つの画像の位置変換行列を計算する、ことを特徴とする請求項１または４に記載の複数カメラによる速度測定方法。
【請求項7】
前記マッチング方法は、３Ｄマッチング方法であり、前記３Ｄマッチング方法は、２つの画像に対応する３Ｄ点座標を通じて空間における３自由度の位置姿勢及び速度を計算し、さらに２つの画像の位置変換行列を計算する、ことを特徴とする請求項１または４に記載の複数カメラによる速度測定方法。
【請求項8】
位置センサを介して現在の時刻における前記移動プラットフォームの位置情報を直接取得する、ことを特徴とする請求項２に記載の複数カメラによる速度測定方法。
【請求項9】
ステップＳ３２またはＳ３３を実行する時に、探索またはマッチングに失敗すると、ステップＳ３５に進み、前記ステップＳ３５は、現在の時刻における前記移動プラットフォームの位置情報、前の時刻における位置情報、及び現在の時刻と前の時刻の撮影時間間隔を取得して、前記移動プラットフォームの速度情報を推定するステップを含む、ことを特徴とする請求項２に記載の複数カメラによる速度測定方法。
【請求項10】
被写体に対して移動可能な移動プラットフォームと、前記移動プラットフォーム上に設けられる少なくとも２つのカメラを含み、各カメラの間の相対位置が固定されているカメラセットと、
請求項１～８のいずれか一項に記載の複数カメラによる速度測定方法を実行するように配置されるプロセッサと、を含む、ことを特徴とする複数カメラによる速度測定装置。
【請求項11】
前記カメラセットは、前記カメラとマッチングする光源を備え、近赤外線光源と、それとマッチングし、前記近赤外線光源の放射光の波長を透過可能なレンズを備えたカメラ、
または、遠赤外線光源と、それとマッチングする遠赤外線カメラ、
または、紫外線光源と、それとマッチングする紫外線カメラ、
または、偏光光源と、それとマッチングし、前記偏光を透過可能なレンズを備えたカメラを含む、ことを特徴とする請求項１０に記載の複数カメラによる速度測定装置。
【請求項12】
各カメラの画像撮影時刻は同期するか、または各カメラの撮影時間はタイムスタンプを有する、ことを特徴とする請求項１０に記載の複数カメラによる速度測定装置。
【請求項13】
前記複数カメラによる速度測定装置は、前記移動プラットフォーム上に設けられるキャリブレーションツールをさらに含み、前記キャリブレーションツールは、各カメラの間の相対位置関係及び前記移動プラットフォームに対する各カメラの位置関係をキャリブレーションする、ことを特徴とする請求項１０に記載の複数カメラによる速度測定装置。
【請求項14】
前記キャリブレーションツールは、チェッカーボード、レーザー距離計、レーザーレーダ、ＴＯＦセンサ、またはエンコーダである、ことを特徴とする請求項１３に記載の複数カメラによる速度測定装置。
【請求項15】
前記カメラセットは、少なくとも一対の双眼カメラを含む、ことを特徴とする請求項１０に記載の複数カメラによる速度測定装置。
【請求項16】
前記カメラセットは、前記移動プラットフォームの主な移動方向に沿って配置される少なくとも２つのＴＯＦカメラを含む、ことを特徴とする請求項１０に記載の複数カメラによる速度測定装置。
【請求項17】
前記カメラセットは、前記移動プラットフォームの主な移動方向に沿って配置される少なくとも一対のラインスキャンカメラを含む、ことを特徴とする請求項１０に記載の複数カメラによる速度測定装置。
【請求項18】
前記カメラセットは、少なくとも１つのグローバルシャッターエリアカメラをさらに含み、前記プロセッサは、前記グローバルシャッターエリアカメラによって撮影された画像を前記ラインスキャンカメラによって撮影された画像と比較して、前記ラインスキャンカメラによって撮影された画像を補正するようにすることができる、ことを特徴とする請求項１７に記載の複数カメラによる速度測定装置。
【請求項19】
取得された前記２つの画像のマッチング結果が第１閾値未満である場合、前記プロセッサは、現在の時刻における移動プラットフォームの位置情報、前の時刻の位置情報、及び現在の時刻と前の時刻との撮影時間間隔に基づいて、前記移動プラットフォームの速度情報を推定することができる、ことを特徴とする請求項１０に記載の複数カメラによる速度測定装置。
【請求項20】
前記複数カメラによる速度測定装置は、互いに異なる被写体の間の距離を計測するための少なくとも１つのレーザービーム計測器をさらに含む、ことを特徴とする請求項１０に記載の複数カメラによる速度測定装置。
【請求項21】
前記レーザービーム計測器は、ラインレーザービーム計測器または十字線状レーザービーム計測器である、ことを特徴とする請求項２０に記載の複数カメラによる速度測定装置。【発明の詳細な説明】
【技術分野】
【0001】
本発明は、速度測定技術分野に関し、特に、複数カメラによる速度測定方法及び速度測定装置に関する。
【背景技術】
【0002】
情報電子、自動制御などの技術の継続的な発展に伴い、ロボットは既に人々の生産と生活に関与している。そのうち、移動・環境認識・搬送などの機能を有する移動ロボットは、その代表として様々な業界で広く用いられている。家庭用の掃除ロボットだけでなく、産業的に汎用されているＡＧＶ（無人搬送車）、スマートフォークリフト、またはホテルや病院向けのサービスロボットも移動ロボットの技術を具体的にしたものである。
【0003】
移動ロボットをうまく制御するためには、ロボット自体の速度をリアルタイムで取得することが技術的問題となっている。現在使用されている技術的手段は、ほとんどの移動ロボットが左右車輪速度測定ロータリーエンコーダーで速度を測定する方法を採用している。しかしながら、この方法は、本質的に実環境とフィードバックを形成することができない。そのため、車輪がスリップする場合、車輪が地面に接地せず浮いている場合、移動ロボットの正確な速度測定できず、自己位置と運行状況推定に誤りが生じ、最終的に未知のエラーにつながる。これはロボットの動作の安全性及び安定性において大きな課題となっている。
【発明の概要】
【発明が解決しようとする課題】
【0004】
本発明の目的は、速度の測定が正確であり、また外部の影響を受けない複数カメラによる速度測定方法及び速度測定装置を提供することにある。
【課題を解決するための手段】
【0005】
上記の目的を達成するために、本発明は、
Ｓ１：移動プラットフォーム上に設けられた、相対位置が固定されたカメラセットにおける各カメラの位置をキャリブレーションして、各カメラの間の位置関係、及び各カメラと移動プラットフォームとの間の位置関係を取得するステップ ；
Ｓ２：前記カメラセットにおける各カメラの同期画像シーケンスを取得し、前記同期画像シーケンスのタイムスタンプを記録するステップ；及び
Ｓ３：前記カメラセットにおける各カメラによって撮影された画像のマッチングの処理をし、得られた２つの画像のマッチング結果が第１閾値よりも大きい場合、前記２つの画像の位置変換行列を計算し、前記２つの画像を撮影するカメラの間の位置関係、前記移動プラットフォームに対する前記２つの画像を撮影するカメラの位置関係、及び前記２つの画像の位置変換行列に基づいて、前記２つの画像の撮影時間間隔における前記移動プラットフォームの位置変換行列を計算し、最後に、前記移動プラットフォームの位置変換行列及び前記２つの画像の撮影時間間隔に基づいて、前記移動プラットフォームの速度情報を計算するステップ；を含む複数カメラによる速度測定方法を提供する。
Ｓ１：移動プラットフォーム上に設けられた、相対位置が固定されたカメラセットにおける各カメラの位置をキャリブレーションして、各カメラの間の位置関係、及び各カメラと移動プラットフォームとの間の位置関係を取得するステップ ；
Ｓ２：前記カメラセットにおける各カメラの同期画像シーケンスを取得し、前記同期画像シーケンスのタイムスタンプを記録するステップ；及び
Ｓ３：前記カメラセットにおける各カメラによって撮影された画像のマッチングの処理をし、得られた２つの画像のマッチング結果が第１閾値よりも大きい場合、前記２つの画像の位置変換行列を計算し、前記２つの画像を撮影するカメラの間の位置関係、前記移動プラットフォームに対する前記２つの画像を撮影するカメラの位置関係、及び前記２つの画像の位置変換行列に基づいて、前記２つの画像の撮影時間間隔における前記移動プラットフォームの位置変換行列を計算し、最後に、前記移動プラットフォームの位置変換行列及び前記２つの画像の撮影時間間隔に基づいて、前記移動プラットフォームの速度情報を計算するステップ；を含む複数カメラによる速度測定方法を提供する。
【0006】
好ましくは、前記ステップＳ３は、具体的には、
Ｓ３１：現在の時刻における前記移動プラットフォームの位置情報を取得し、現在の時刻における前記移動プラットフォームの位置情報及び前記移動プラットフォームに対する第１カメラの位置関係に基づいて、現在の時刻における前記第１カメラの第１位置を計算するステップ；
Ｓ３２：前記第１位置に基づいて、他のカメラが画像を撮影する際の第２位置をトラバースし、前記第２位置と前記第１位置との間の距離が第２閾値未満である場合、探索に成功したと判断し、前記第１位置及び前記第２位置に対応する撮影画像をそれぞれ探索画像及び候補画像と記録し、前記探索画像及び候補画像のタイムスタンプを記録した後、ステップＳ３３に進むステップ；
Ｓ３３：前記探索画像と前記候補画像のマッチングを行い、得られたマッチング結果が前記第１閾値よりも大きい場合、マッチングに成功したと判断し、前記探索画像と前記候補画像の位置変換行列を計算した後、ステップＳ３４に進むステップ；及び
Ｓ３４：前記探索画像と前記候補画像のカメラの間の位置関係と前記位置変換行列に基づいて、前記第１カメラの位置変換行列を計算し、その後、前記第１カメラの位置変換行列及び前記移動プラットフォームに対する前記第１カメラの位置関係に基づいて、前記移動プラットフォームの位置変換行列を計算し、最後に、前記移動プラットフォームの位置変換行列及び前記２つの画像の撮影時間間隔に基づいて、前記移動プラットフォームの速度情報を計算するステップ；
を含む。
Ｓ３１：現在の時刻における前記移動プラットフォームの位置情報を取得し、現在の時刻における前記移動プラットフォームの位置情報及び前記移動プラットフォームに対する第１カメラの位置関係に基づいて、現在の時刻における前記第１カメラの第１位置を計算するステップ；
Ｓ３２：前記第１位置に基づいて、他のカメラが画像を撮影する際の第２位置をトラバースし、前記第２位置と前記第１位置との間の距離が第２閾値未満である場合、探索に成功したと判断し、前記第１位置及び前記第２位置に対応する撮影画像をそれぞれ探索画像及び候補画像と記録し、前記探索画像及び候補画像のタイムスタンプを記録した後、ステップＳ３３に進むステップ；
Ｓ３３：前記探索画像と前記候補画像のマッチングを行い、得られたマッチング結果が前記第１閾値よりも大きい場合、マッチングに成功したと判断し、前記探索画像と前記候補画像の位置変換行列を計算した後、ステップＳ３４に進むステップ；及び
Ｓ３４：前記探索画像と前記候補画像のカメラの間の位置関係と前記位置変換行列に基づいて、前記第１カメラの位置変換行列を計算し、その後、前記第１カメラの位置変換行列及び前記移動プラットフォームに対する前記第１カメラの位置関係に基づいて、前記移動プラットフォームの位置変換行列を計算し、最後に、前記移動プラットフォームの位置変換行列及び前記２つの画像の撮影時間間隔に基づいて、前記移動プラットフォームの速度情報を計算するステップ；
を含む。
【0007】
好ましくは、現在の時刻における前記移動プラットフォームの位置情報を取得するステップは、
前記第１カメラの探索画像と前のフレーム画像をマッチングして、前記第１カメラの自己位置変換行列を取得し、前記自己位置変換行列、前記移動プラットフォームに対する前記第１カメラの位置関係に基づいて、前記移動プラットフォームの位置情報を取得するステップを含む。
前記第１カメラの探索画像と前のフレーム画像をマッチングして、前記第１カメラの自己位置変換行列を取得し、前記自己位置変換行列、前記移動プラットフォームに対する前記第１カメラの位置関係に基づいて、前記移動プラットフォームの位置情報を取得するステップを含む。
【0008】
好ましくは、前記第１カメラの探索画像と前のフレーム画像をマッチングして、前記第１カメラの自己位置変換行列を取得し、前記自己位置変換行列、前記移動プラットフォームに対する前記第１カメラの位置関係に基づいて、前記移動プラットフォームの位置情報を取得する時、各カメラのマッチング結果に基づいて各カメラに対応する重みを設定し、加重平均方法を使用して前記移動プラットフォームの位置情報を計算する。
【0009】
好ましくは、前記マッチング方法は、２Ｄ画像特徴マッチング方法であり、前記２Ｄ画像特徴マッチング方法は、２つの画像の特徴点を抽出して、速やかにマッチングすることにより、２つの画像の位置変換行列を計算する。
【0010】
好ましくは、前記マッチング方法は、２Ｄ画像周波数領域情報マッチング方法であり、前記２Ｄ画像周波数領域情報マッチング方法は、フーリエ－メリン変換アルゴリズムを通じて２つの画像の回転、並進、及びスケールファクタを計算し、さらに２つの画像の位置変換行列を計算する。
【0011】
好ましくは、前記マッチング方法は、３Ｄマッチング方法であり、前記３Ｄマッチング方法は、２つの画像に対応する３Ｄ点座標を通じて空間における３自由度の位置姿勢及び速度を計算し、さらに２つの画像の位置変換行列を計算する。
【0012】
好ましくは、位置センサを介して現在の時刻における前記移動プラットフォームの位置情報を直接取得する。
【0013】
好ましくは、ステップＳ３２またはＳ３３を実行する時に、探索またはマッチングに失敗すると、ステップＳ３５に進み、前記ステップＳ３５は、具体的には：
【0014】
現在の時刻における前記移動プラットフォームの位置情報、前の時刻における位置情報、及び現在の時刻と前の時刻の撮影時間間隔を取得して、前記被写体に対する前記カメラセットの速度を推定するステップを含む。
【0015】
上記の目的を達成するために、本発明は、
被写体に対して移動可能な移動プラットフォームと、
前記移動プラットフォーム上に設けられる少なくとも２つのカメラを含み、各カメラの間の相対位置が固定されているカメラセットと、
上記のような複数カメラによる速度測定方法を実行するように配置されるプロセッサと、を含む複数カメラによる速度測定装置をさらに提供する。
被写体に対して移動可能な移動プラットフォームと、
前記移動プラットフォーム上に設けられる少なくとも２つのカメラを含み、各カメラの間の相対位置が固定されているカメラセットと、
上記のような複数カメラによる速度測定方法を実行するように配置されるプロセッサと、を含む複数カメラによる速度測定装置をさらに提供する。
【0016】
好ましくは、前記カメラセットは、前記カメラとマッチングする光源を備え、
近赤外線光源と、それとマッチングし、前記近赤外線光源の放射光の波長を透過可能なレンズを備えたカメラ、
または、遠赤外線光源と、それとマッチングする遠赤外線カメラ、
または、紫外線光源と、それとマッチングする紫外線カメラ、
または、偏光光源と 、それとマッチングし、前記偏光を透過可能なレンズを備えたカメラを含む。
近赤外線光源と、それとマッチングし、前記近赤外線光源の放射光の波長を透過可能なレンズを備えたカメラ、
または、遠赤外線光源と、それとマッチングする遠赤外線カメラ、
または、紫外線光源と、それとマッチングする紫外線カメラ、
または、偏光光源と 、それとマッチングし、前記偏光を透過可能なレンズを備えたカメラを含む。
【0017】
好ましくは、各カメラの画像撮影時刻は同期するか、または各カメラの撮影時間はタイムスタンプを有する。
【0018】
好ましくは、前記複数カメラによる速度測定装置は、前記移動プラットフォーム上に設けられるキャリブレーションツールをさらに含み、前記キャリブレーションツールは、各カメラの間の相対位置関係及び前記移動プラットフォームに対する各カメラの位置関係をキャリブレーションする。
【0019】
好ましくは、前記キャリブレーションツールは、チェッカーボード、レーザー距離計、レーザーレーダ、ＴＯＦセンサ、またはエンコーダである。
【0020】
好ましくは、前記カメラセットは、少なくとも一対の双眼カメラを含む。
【0021】
好ましくは、カメラセットは、前記移動プラットフォームの主な移動方向に沿って配置される少なくとも２つのＴＯＦカメラを含む。
【0022】
好ましくは、前記カメラセットは、前記移動プラットフォームの主な移動方向に沿って配置される少なくとも一対のラインスキャンカメラを含む。
【0023】
好ましくは、前記カメラセットは、少なくとも１つのグローバルシャッターエリアカメラをさらに含み、前記プロセッサは、前記グローバルシャッターエリアカメラによって撮影された画像を前記ラインスキャンカメラによって撮影された画像と比較して、前記ラインスキャンカメラによって撮影された画像を補正するようにすることができる。
【0024】
好ましくは、取得された２つの画像のマッチング結果が第１閾値未満である場合、前記プロセッサは、現在の時刻における移動プラットフォームの位置情報、前の時刻の位置情報、及び現在の時刻と前の時刻との撮影時間間隔に基づいて、前記被写体に対する前記カメラセットの速度を推定することができる。
【0025】
好ましくは、前記複数カメラによる速度測定装置は、互いに異なる被写体の間の距離を計測するための少なくとも１つのレーザービーム計測器をさらに含む。
【0026】
好ましくは、前記レーザービーム計測器は、ラインレーザービーム計測器または十字線状 レーザービーム計測器である。
【0027】
本発明は、異なるカメラで撮影された画像のマッチングを処理することにより、類似性の高い２つの画像を取得する複数カメラによる速度測定方法及び速度測定装置を提供する。前記２つの画像の測定距離が最も短く、画像の重畳度が最大であるので、前記複数カメラによる速度測定方法によって計算された前記移動プラットフォームの速度情報の精度が単一カメラによる連続的な画像追跡によって計算された被写体の速度情報の精度よりも高くなる。また、本発明に係る複数カメラによる速度測定方法及び複数カメラによる速度測定装置は、実環境とフィードバックを形成して、車輪がスリップしたり、車輪が架空された場合に、ロボットが誤って判断するという問題を解決する。
【図面の簡単な説明】
【0028】
【図1】本発明の実施形態に係る複数カメラによる速度測定方法のステップ図である。
【図2】本発明の実施形態に係る複数カメラによる速度測定方法のフローチャートである。
【図3】本発明の実施形態に係る複数カメラによる速度測定装置の構造を示す図である。
【図4】本発明の実施形態に係る探索画像及び候補画像を示す図である。
【発明を実施するための形態】
【0029】
本発明における通常の技術者は、添付図面は本発明をよりよく理解するためのものであって、本発明の範囲を限定するものではないことを理解するはずである。
背景技術で説明したように、現在使用されている技術的手段は、ほとんどの移動ロボットが左右車輪速度測定ロータリーエンコーダーで速度を測定する方法を採用している。しかしながら、この方法は、本質的に実環境とフィードバックを形成することができない。そのため、車輪がスリップする場合、車輪が地面に接地せず浮いている場合、移動ロボットの正確な速度測定できず、自己位置と運行状況推定に誤りが生じ、最終的に未知のエラーにつながる。これはロボットの動作の安全性及び安定性において大きな課題となっている。
背景技術で説明したように、現在使用されている技術的手段は、ほとんどの移動ロボットが左右車輪速度測定ロータリーエンコーダーで速度を測定する方法を採用している。しかしながら、この方法は、本質的に実環境とフィードバックを形成することができない。そのため、車輪がスリップする場合、車輪が地面に接地せず浮いている場合、移動ロボットの正確な速度測定できず、自己位置と運行状況推定に誤りが生じ、最終的に未知のエラーにつながる。これはロボットの動作の安全性及び安定性において大きな課題となっている。
【0030】
カメラを地面に向けて地面画像の動画からカメラの移動速度を計算することは非常に有効な方法として知られている。ただし、速度測定の精度は、演算された２つの画像を比較するための撮影位置距離と画像の重畳度によって決められるので、如何に２つの画像の撮影距離を縮小し、２つの画像の重畳度を向上させるかが視覚的速度測定性能を増強させる面で重要な要素となっている。一台のカメラの可視面積が限られているため、このカメラで撮影する２つの画像の撮影場所が遠く離れるほど、２つの画像の重畳度が低下し、さらに視覚的速度測定の正確度に影響を与える。
【0031】
これに基づいて、本発明は、相対位置が固定された少なくとも２つのカメラを用いて撮影し、互いに異なるカメラの間の画像を比較することにより、精度の高い移動速度情報を取得する複数カメラによる速度測定方法及び速度測定装置を提供する。
【0032】
以下、本発明の目的、利点、及び特徴をより明確にするために、添付図面及び具体的な実施形態を結合して本発明についてさらに詳しく説明する。図面は非常に簡略化された形で提供され、必ずしも正確な縮尺で描かれておらず、本発明に係る実施形態をより便利で、且つ明確に説明するためのものであることに留意されたい。図面に示されている構造は、通常、実際の構造の一部である。特に、各図はそれぞれ開示したい主なポイントが異なるため、異なる縮尺で描かれていることがあり得る。
【0033】
本発明で用いられる、単数形の「一」、「１つ」及び「当該」という用語は、明確に示さない限り、複数の対象を含む。例えば、本発明で用いられる、「または」という用語は、通常、明確に示さない限り、「及び／または」を含む意味で用いられる。例えば、本発明で用いられる、「いくつかの」という用語は、通常、明確に示さない限り、「少なくとも１つ」の意味で用いられる。例えば、本発明で用いられる、「少なくとも２つ」という用語は、通常、明確に示さない限り、「２つ以上」の意味で用いられる。さらに、「第１」、「第２」及び「第３」という用語の使用は、説明のために用いられるだけであり、相対的な重要性を示すまたは示唆するものとして、または説明する技術的特徴の数量を暗黙的に示すものとして解釈されるべきではない。故に、「第１」、「第２」及び「第３」で限定されている特徴は、その特徴の１つまたは少なくとも２つの存在を明示的または暗示的に示すことになる。
【0034】
本発明の技術的思想は、現在のロボットにおいて速度測定の真実性及び正確性問題を解決する複数カメラによる速度測定方法及び速度測定装置を提供することである。
【0035】
前記複数カメラによる速度測定方法は、
Ｓ１：移動プラットフォーム上に設けられた、相対位置が固定されたカメラセットにおける各カメラの位置をキャリブレーションして、各カメラの間の位置関係、及び各カメラと移動プラットフォームとの間の位置関係を取得するステップ；
Ｓ２：前記カメラセットにおける各カメラの同期画像シーケンスを取得し、前記同期画像シーケンスのタイムスタンプを記録するステップ；及び
Ｓ３：前記カメラセットにおける各カメラによって撮影された画像のマッチングの処理をし、得られた２つの画像のマッチング結果が第１閾値よりも大きい場合、前記２つの画像の位置変換行列を計算し、前記２つの画像を撮影するカメラの間の位置関係、前記移動プラットフォームに対する前記２つの画像を撮影するカメラの位置関係、及び前記２つの画像の位置変換行列に基づいて、前記２つの画像の撮影時間間隔における前記移動プラットフォームの位置変換行列を取得し、最後に、前記移動プラットフォームの位置変換行列及び前記２つの画像の撮影時間間隔に基づいて、前記移動プラットフォームの速度情報を計算するステップ；を含む。
Ｓ１：移動プラットフォーム上に設けられた、相対位置が固定されたカメラセットにおける各カメラの位置をキャリブレーションして、各カメラの間の位置関係、及び各カメラと移動プラットフォームとの間の位置関係を取得するステップ；
Ｓ２：前記カメラセットにおける各カメラの同期画像シーケンスを取得し、前記同期画像シーケンスのタイムスタンプを記録するステップ；及び
Ｓ３：前記カメラセットにおける各カメラによって撮影された画像のマッチングの処理をし、得られた２つの画像のマッチング結果が第１閾値よりも大きい場合、前記２つの画像の位置変換行列を計算し、前記２つの画像を撮影するカメラの間の位置関係、前記移動プラットフォームに対する前記２つの画像を撮影するカメラの位置関係、及び前記２つの画像の位置変換行列に基づいて、前記２つの画像の撮影時間間隔における前記移動プラットフォームの位置変換行列を取得し、最後に、前記移動プラットフォームの位置変換行列及び前記２つの画像の撮影時間間隔に基づいて、前記移動プラットフォームの速度情報を計算するステップ；を含む。
【0036】
本発明の他の形態として、前記複数カメラによる速度測定装置は、
被写体に対して移動可能な移動プラットフォームと、
前記移動プラットフォーム上に設けられる少なくとも２つのカメラを含み、各カメラの間の相対位置が固定されているカメラセットと、
上記のような複数カメラによる速度測定方法を実行するように配置されるプロセッサと、を含む。
被写体に対して移動可能な移動プラットフォームと、
前記移動プラットフォーム上に設けられる少なくとも２つのカメラを含み、各カメラの間の相対位置が固定されているカメラセットと、
上記のような複数カメラによる速度測定方法を実行するように配置されるプロセッサと、を含む。
【0037】
このように配置されることにより、各カメラで撮影された画像のマッチングを処理することにより、類似性の高い２つの画像を取得し、類似性の高い２つの画像の測定距離が最も短く、画像の重畳度が最大であるので、前記複数カメラによる速度測定方法によって計算された前記移動プラットフォームの速度情報の精度が単一カメラによる連続的な画像追跡によって計算された被写体の速度情報の精度よりも高くなる。また本発明に係る複数カメラによる速度測定方法及び複数カメラによる速度測定装置は、実環境とフィードバックを形成して、車輪がスリップしたり、車輪が架空された場合にロボットが誤って判断するという問題を解決する。
【0038】
以下、添付図面を参照して説明する。
図１～３に示すように、図１は、本発明の実施形態に係る複数カメラによる速度測定方法のステップ図であり、図２は、本発明の実施形態に係る複数カメラによる速度測定方法のフローチャートであり、図３は、本発明の実施形態に係る複数カメラによる速度測定装置の構造を示す図である。
図１～３に示すように、図１は、本発明の実施形態に係る複数カメラによる速度測定方法のステップ図であり、図２は、本発明の実施形態に係る複数カメラによる速度測定方法のフローチャートであり、図３は、本発明の実施形態に係る複数カメラによる速度測定装置の構造を示す図である。
【0039】
本実施形態は、
Ｓ１：移動プラットフォーム１１１上に設けられた相対位置が固定されたカメラセット１０１における各カメラ１０２の位置をキャリブレーションして、各カメラ１０２の間の位置関係、及び各カメラ１０２と移動プラットフォーム１１１との間の位置関係を取得するステップ；
Ｓ２：前記カメラセット１０１における各カメラ１０２の同期画像シーケンスを取得し、前記同期画像シーケンスのタイムスタンプを記録するステップ；及び
Ｓ３：前記カメラセット１０１の各カメラ１０２によって撮影された画像のマッチングの処理をし、得られた２つの画像のマッチング結果が第１閾値よりも大きい場合、前記２つの画像の位置変換行列を計算し、前記２つの画像を撮影したカメラ１０２の間の位置関係、前記２つの画像の位置変換行列、前記移動プラットフォーム１１１に対する前記２つの画像を撮影したカメラ１０２の位置関係に基づいて、前記２つの画像の撮影時間間隔における前記移動プラットフォーム１１１の位置変換行列を取得し、最後に、前記移動プラットフォーム１１１の位置変換行列及び前記２つの画像の撮影時間間隔に基づいて、前記移動プラットフォーム１１１の速度情報を計算するステップ；を含む複数カメラによる速度測定方法を提供する。
Ｓ１：移動プラットフォーム１１１上に設けられた相対位置が固定されたカメラセット１０１における各カメラ１０２の位置をキャリブレーションして、各カメラ１０２の間の位置関係、及び各カメラ１０２と移動プラットフォーム１１１との間の位置関係を取得するステップ；
Ｓ２：前記カメラセット１０１における各カメラ１０２の同期画像シーケンスを取得し、前記同期画像シーケンスのタイムスタンプを記録するステップ；及び
Ｓ３：前記カメラセット１０１の各カメラ１０２によって撮影された画像のマッチングの処理をし、得られた２つの画像のマッチング結果が第１閾値よりも大きい場合、前記２つの画像の位置変換行列を計算し、前記２つの画像を撮影したカメラ１０２の間の位置関係、前記２つの画像の位置変換行列、前記移動プラットフォーム１１１に対する前記２つの画像を撮影したカメラ１０２の位置関係に基づいて、前記２つの画像の撮影時間間隔における前記移動プラットフォーム１１１の位置変換行列を取得し、最後に、前記移動プラットフォーム１１１の位置変換行列及び前記２つの画像の撮影時間間隔に基づいて、前記移動プラットフォーム１１１の速度情報を計算するステップ；を含む複数カメラによる速度測定方法を提供する。
【0040】
本実施形態において、図３を参照すると、前記複数カメラ１０２による速度測定装置は、
被写体に対して移動可能な移動プラットフォーム１１１と、
前記移動プラットフォーム１１１上に設けられる少なくとも２つのカメラ１０２を含み、各カメラ１０２の間の相対位置が固定されているカメラセット１０１と、
上記のような複数カメラ１０２による速度測定方法を実行するように配置されるプロセッサ１１０と、を含む。
被写体に対して移動可能な移動プラットフォーム１１１と、
前記移動プラットフォーム１１１上に設けられる少なくとも２つのカメラ１０２を含み、各カメラ１０２の間の相対位置が固定されているカメラセット１０１と、
上記のような複数カメラ１０２による速度測定方法を実行するように配置されるプロセッサ１１０と、を含む。
【0041】
まず、ステップＳ１を実行して、カメラセット１０１における各カメラ１０２の位置をキャリブレーションして、各カメラ１０２の間の位置関係、及び各カメラ１０２と移動プラットフォーム１１１の位置関係を得る。位置キャリブレーションを行う際には、まず、世界座標系Ｗ及び移動プラットフォーム１１１の車体座標系Ｃを確立する必要がある。前記世界座標系Ｗは、任意の点を原点とすることができ、前記車体座標系Ｃは前記移動プラットフォーム１１１の中心を原点とする。本実施形態で、用いられる座標系は右手座標系であり、移動プラットフォーム１１１に向かう前進方向をＸ軸とし、移動プラットフォーム１１１に向かう右側方向をＹ軸とし、垂直に地面に向かう方向をＺ軸とする。
【0042】
前記移動プラットフォーム１１１の移動速度は、２次元平面の並進及び回転のみを考慮し、そのため、位置情報は水平面のみを考慮して示す。移動プラットフォーム１１１及びカメラセット１０１における各カメラ１０２の位置は世界座標系Ｗで表される。ここで、移動プラットフォーム１１１の位置は、その物理的中心で表される。カメラセット１０１における各カメラ１０２の位置は、カメラ１０２を中心として表される。
【0043】
具体的には、時刻ｔｋにおける移動プラットフォーム１１１の位置の座標をｃ（ｘ，ｙ）とし、角度をθとすると、世界座標系Ｗにおいて、前記移動プラットフォーム１１１の位置行列は次のように表される。
【0044】
【0045】
移動プラットフォーム１１１に対するカメラセット１０１における各カメラ１０２の位置は固定されており、移動プラットフォーム１１１に対するｉ番目のカメラ１０２の位置関係はＰｃｉで表すことができる。ここで、ｉ＝１，２，・・・，Ｍであり、Ｍは、カメラセット１０１におけるカメラ１０２の数である。
【0046】
【0047】
ここで、θｃｉは、移動プラットフォーム１１１に対するｉ番目のカメラ１０２の角度であり、△ｘｃｉ及び△ｙｃｉは、移動プラットフォーム１１１の車体座標系Ｃにおけるｉ番目のカメラ１０２の座標である。
【0048】
本実施形態では、チェッカーボード、レーザー距離計、レーザーレーダ、ＴＯＦセンサまたはエンコーダによって、各カメラ１０２の間の相対位置関係、及び前記移動プラットフォーム１１１に対する各カメラ１０２の位置関係をキャリブレーションすることができる。
【0049】
次に、ステップＳ２を実行して、前記カメラセット１０１における各カメラ１０２の同期画像シーケンスを取得し、且つ同期取得画像のタイムスタンプを記録する。本実施形態では、時刻ｔｋにおいて、カメラセット１０１における各カメラ１０２は、画像Fｉ
ｋを同期的に取得する（ｉ＝１，２，・・・，Ｍ）。ここで、Fｉ
ｋは、時刻ｔｋにおけるｉ番目のカメラ１０２で取得した画像データを表し、Ｍは、カメラセット１０１におけるカメラ１０２の台数を表す。前記同期画像データを取得するとともに、前記同期画像に対応するタイムスタンプｔｋを取得する。
【0050】
次に、ステップＳ３を実行して、前記カメラセット１０１におけるカメラ１０２で撮影した画像のマッチングの処理をし、得られた２つの画像のマッチング結果が第１閾値よりも大きい場合、前記２つの画像の位置変換行列を計算し、また、前記２つの画像を撮影したカメラ１０２の間の位置関係、前記２つの画像の位置変換行列、及び前記移動プラットフォーム１１１に対する前記カメラ１０２の位置関係に基づいて、前記２つの画像の撮影時間間隔における前記移動プラットフォーム１１１の位置変換行列を取得し、最後に、前記移動プラットフォーム１１１の位置変化行列及び前記２つの画像の撮影時間間隔に基づいて、前記移動プラットフォーム１１１の速度情報を計算する。
【0051】
さらに、前記ステップＳ３は、
Ｓ３１：現在の時刻における前記移動プラットフォーム１１１の位置情報を取得し、現在の時刻における前記移動プラットフォーム１１１の位置情報及び前記移動プラットフォーム１１１に対する第１カメラ１０２の位置関係に基づいて、現在の時刻における前記第１カメラ１０２の第１位置を計算するステップ；
Ｓ３２：前記第１位置に基づいて、他のカメラ１０２が画像を撮影する時の第２位置をトラバースし、前記第２位置と前記第１位置との間の距離が第２閾値未満である場合、探索に成功したと判断し、前記第１位置及び前記第２位置に対応する撮影画像をそれぞれ探索画像及び候補画像と記録し、前記探索画像及び候補画像のタイムスタンプを記録した後、ステップＳ３３に進むステップ；
Ｓ３３：前記探索画像と前記候補画像のマッチングを行い、得られたマッチング結果が前記第１閾値よりも大きい場合、マッチングに成功したと判断し、前記探索画像と前記候補画像の位置変換行列を計算した後、ステップＳ３４に進むステップ；及び
Ｓ３４：前記探索画像と前記候補画像のカメラ１０１の間の位置関係と前記位置変換行列に基づいて、前記第１カメラ１０２の位置変換行列を計算し、その後、前記第１カメラ１０２の位置変換行列及び前記移動プラットフォーム１１１に対する前記第１カメラ１０２の位置関係に基づいて、前記移動プラットフォーム１１１の位置変換行列を計算し、最後に、前記移動プラットフォーム１１１の位置変換行列及び前記２つの画像の撮影時間間隔に基づいて、前記移動プラットフォーム１１１の速度情報を計算するステップ；を含む。
Ｓ３１：現在の時刻における前記移動プラットフォーム１１１の位置情報を取得し、現在の時刻における前記移動プラットフォーム１１１の位置情報及び前記移動プラットフォーム１１１に対する第１カメラ１０２の位置関係に基づいて、現在の時刻における前記第１カメラ１０２の第１位置を計算するステップ；
Ｓ３２：前記第１位置に基づいて、他のカメラ１０２が画像を撮影する時の第２位置をトラバースし、前記第２位置と前記第１位置との間の距離が第２閾値未満である場合、探索に成功したと判断し、前記第１位置及び前記第２位置に対応する撮影画像をそれぞれ探索画像及び候補画像と記録し、前記探索画像及び候補画像のタイムスタンプを記録した後、ステップＳ３３に進むステップ；
Ｓ３３：前記探索画像と前記候補画像のマッチングを行い、得られたマッチング結果が前記第１閾値よりも大きい場合、マッチングに成功したと判断し、前記探索画像と前記候補画像の位置変換行列を計算した後、ステップＳ３４に進むステップ；及び
Ｓ３４：前記探索画像と前記候補画像のカメラ１０１の間の位置関係と前記位置変換行列に基づいて、前記第１カメラ１０２の位置変換行列を計算し、その後、前記第１カメラ１０２の位置変換行列及び前記移動プラットフォーム１１１に対する前記第１カメラ１０２の位置関係に基づいて、前記移動プラットフォーム１１１の位置変換行列を計算し、最後に、前記移動プラットフォーム１１１の位置変換行列及び前記２つの画像の撮影時間間隔に基づいて、前記移動プラットフォーム１１１の速度情報を計算するステップ；を含む。
【0052】
具体的には、ステップＳ２を実行した後、続いてステップＳ３１を実行して、現在の時刻における前記移動プラットフォーム１１１の位置情報を取得し、各カメラ１０２に探索画像及び対応する位置情報を記憶するようにする。
【0053】
さらに、現在の時刻における前記移動プラットフォーム１１１の位置情報を取得するステップは、具体的には、
前記第１カメラ１０２の探索画像と前のフレーム画像をマッチングして、前記第１カメラ１０２の自己位置変換行列を取得し、前記自己位置変換行列、前記移動プラットフォーム１１１に対する前記第１カメラ１０２の位置関係に基づいて、前記移動プラットフォーム１１１の位置情報を取得するステップを含む。
前記第１カメラ１０２の探索画像と前のフレーム画像をマッチングして、前記第１カメラ１０２の自己位置変換行列を取得し、前記自己位置変換行列、前記移動プラットフォーム１１１に対する前記第１カメラ１０２の位置関係に基づいて、前記移動プラットフォーム１１１の位置情報を取得するステップを含む。
【0054】
即ち、移動プラットフォーム１１１の位置は、カメラセット１０１における各カメラ１０２によって推定することができる。例えば、カメラセット１０１における各カメラ１０２に対して、時刻ｔｋにおいてあるカメラ１０２で撮影した画像Fｉ
ｋを取得した後、当該カメラ１０２の探索画像Fｉ
ｋと前のフレーム画像Fｉ
ｋ－１をマッチングして計算して、当該カメラ１０２の自己位置変換行列を得る。
【0055】
本実施形態の第１好ましい例として、前記マッチング方法は、２Ｄ画像特徴マッチング方法であり、前記２Ｄ画像特徴マッチング方法は、２つの画像の特徴点を抽出して、速やかにマッチングすることにより、２つの画像の位置変換行列Ｐｉ
ｋ，ｋ－１を計算する。Ｐｉ
ｋ，ｋ－１は、時刻ｔｋ－１及びｔｋにおけるｉ番目のカメラ１０２の位置変換行列を表す。
【0056】
本実施形態の第２好ましい例として、前記マッチング方法は、２Ｄ画像周波数領域情報マッチング方法であり、前記２Ｄ画像周波数領域情報マッチング方法は、フーリエ－メリン変換アルゴリズムを通じて２つの画像の回転、並進、及びスケールファクタを計算し、さらに２つの画像の位置変換行列Ｐｉ
ｋ，ｋ－１を取得する。
【0057】
本実施形態の第３好ましい例として、前記マッチング方法は、３Ｄマッチング方法であり、前記３Ｄマッチング方法は、２つの画像に対応する３Ｄ点座標を通じて空間における３自由度の位置姿勢及び速度を計算し、さらに２つの画像の位置変換行列Ｐｉ
ｋ，ｋ－１を取得する。例えば、ｉ番目のカメラ１０２がＴＯＦカメラ１０２、またはレーザー距離計、または単線レーザーレーダ、または多線レーザーレーダ装置を備える場合、画像データは深度情報を含み、３Ｄマッチング方法を利用してｉ番目のカメラ１０２の現在の位置を推定することができる。反復最近接点（ＩＣＰ）方法を用いて２つの画像に対応する３Ｄ点座標を通じて空間における３自由度の位置姿勢変換を計算するか、または前の時刻における画像の３Ｄ座標と現在の時刻における画像の２Ｄ座標を用いて、ＰｎＰアルゴリズムを利用して２つの画像の位置変換行列Ｐｉ
ｋ，ｋ－１を取得する。
【0058】
ｉ番目のカメラ１０２によって時刻ｔｋで計算された前後フレーム画像の位置変換行列Ｐｉ
ｋ，ｋ－１は移動プラットフォーム１１１の位置変換関係Ｐｃ
ｋ，ｋ－１に変換され、剛体変換によって、次のような位置変換関係を有する。
【0059】
【0060】
Ｐｃｉ
-1は、Ｐｃｉの逆行列であり、Ｐｃｉは、既知の移動プラットフォーム１１１に対するｉ番目のカメラ１０２の位置関係であるので、位置変換行列Ｐｉ
ｋ，ｋ－１を通じて移動プラットフォーム１１１の位置変換行列Ｐｃ
ｋ，ｋ－１を直接計算することができる。
【0061】
時刻ｔｋにおける移動プラットフォーム１１１の位置Ｐｃ
ｋは、時刻ｔｋ－１における移動プラットフォーム１１１の位置Ｐｃ
ｋ－１及び位置変換行列Ｐｃ
ｋ，ｋ－１によって計算することができ、計算式は次の通りである。
【0062】
【0063】
各カメラ１０２について、時刻ｔｋにおける移動プラットフォーム１１１の位置Ｐｃ
ｋと移動プラットフォーム１１１に対するｉ番目のカメラ１０２の位置関係に基づいて、時刻ｔｋにおける当該カメラ１０２の位置を得る。計算式は次の通りである。
【0064】
【0065】
各カメラ１０２は、現在の時刻において撮影された探索画像Fｉ
ｋを保存し、時刻ｔｋにおける当該探索画像Fｉ
ｋに対応するカメラ１０２の位置はＰｉ
ｋである。
【0066】
本実施形態において、位置センサを介して、現在の時刻における前記移動プラットフォーム１１１の位置情報を直接取得することもでき、前記位置センサは、エンコーダ、慣性素子または走行距離計を含むが、これらに限定されない。
【0067】
さらに、前記第１カメラ１０２の探索画像と前のフレーム画像に対してマッチングをして、前記第１カメラ１０２の自己位置変換行列を得、前記自己位置変換行列、前記移動プラットフォーム１１１に対する前記第１カメラ１０２の位置関係に基づいて前記移動プラットフォーム１１１の位置情報を計算する時、各カメラ１０２のマッチング結果に基づいて各カメラ１０２に対応する重みを設定し、加重平均方法を使用して前記移動プラットフォーム１１１の位置情報を計算する。
【0068】
即ち、カメラセット１０１におけるｉ番目のカメラ１０２を用いて、式（３）及び（４）により得られた前後フレーム画像のマッチング結果と位置変換行列に基づいて一つの移動プラットフォーム１１１の位置Ｐｃ
ｋを推定することができる。移動プラットフォーム１１１の位置の精度を向上させるために、各カメラ１０２によって得られた計算結果（例えば、移動プラットフォーム１１１の位置Ｐｃ
ｋ）に基づいて加重平均を実行することができる。ここで、加重平均の重みは、各カメラ１０２のマッチング結果によって決められる。
【0069】
時刻ｔｋにおける各カメラ１０２のマッチング結果をそれぞれＳｉとすると、各カメラ１０２の対応するＰｃ
ｋの重みは、それぞれ以下の通りであり、
【0070】
【0071】
ここで、ｊは１，２，．．．，Ｍである。
【0072】
時刻ｔｋにおける移動プラットフォーム１１１の位置は、次のように計算される。
【0073】
【0074】
加重平均方法によって得られる移動プラットフォーム１１１の位置の精度がより高い。
【0075】
各カメラ１０２に探索画像及びそれに対応する位置情報を保存した後、ステップＳ３２を実行し、各カメラ１０２は、カメラ１０２の現在の位置Ｐｉ
ｋに基づいて、過去の時刻で現在位置における他のカメラ１０２の候補画像を探索して選択する。時刻ｔｋにおけるカメラセット１０１の各カメラ１０２の位置Ｐｉ
ｋは、他のカメラの全ての候補画像の位置Ｐｌ
k’をトラバースし、Ｐｌ
k’は時刻ｔk’におけるｌ番目のカメラ１０２（ｌ≠ｉ）の位置である。距離Ｐｉ
ｋと最も近いＰｌ
k’が次の関係を満たす場合、
【0076】
【0077】
ここで、Ｄは第２閾値、つまり所定の距離閾値である。
【0078】
対応する画像Ｆｌ
k’は、ｌ番目のカメラ１０２の候補画像であり、前記候補画像のタイムスタンプｔk’を記録する。
【0079】
探索に成功した後、ステップＳ３３を実行し、前記探索画像と前記候補画像のマッチングを行う。
【0080】
マッチング結果が以下の関係を満たす場合：
【0081】
【0082】
Ｓｉ,ｌ
k,k’は、探索画像Fｉ
ｋと候補画像Ｆｌ
k’のマッチングスコアであり、εは第１閾値、つまり、所定のスコア閾値である。
【0083】
得られたマッチング結果が前記第１閾値よりも大きい場合、マッチングに成功したと判断し、前記探索画像と前記候補画像の位置変換行列を計算する。
【0084】
式（４）によって、探索画像及び候補画像が得られる位置変換行列は、以下の関係を満たす。
【0085】
【0086】
マッチングに成功した候補画像が存在する場合、ステップＳ３４に進む。ステップＳ３４では、前記探索画像と前記候補画像のカメラ１０２の間の位置関係、及び前記探索画像と前記候補画像の位置変換行列に基づいて、前記第１カメラ１０２の位置変換行列を計算し、その後、前記第１カメラ１０２の位置変換行列及び前記移動プラットフォーム１１１に対する前記第１カメラ１０２の位置関係に基づいて、前記移動プラットフォーム１１１の位置変換行列を計算し、最終的に、移動プラットフォーム１１１の位置変換行列及び前記２つの画像の撮影時間間隔に基づいて、前記移動プラットフォーム１１１の速度情報を計算する。
【0087】
【0088】
時刻ｔｋ及びｔk’におけるｉ番目のカメラ１０２の位置変換行列Ｐｉ
k,k’は以下を満たす：
【0089】
【0090】
式（１０）によって、ｉ番目のカメラ１０２の探索画像Fｉ
ｋとその候補画像Ｆｌ
k’との間の位置偏差Ｐｉ,ｌ
k,k’を計算することができ、ｉ番目のカメラ１０２とｌ番目のカメラ１０２との間の相対位置関係Ｐｌiは既知のものであり（ここで、時刻ｔk’におけるｌ番目のカメラ１０２の位置Ｐｌ
k’も既知のものである）、式（１１）によってＰｉ
k,k’を計算することができる。
【0091】
さらに、式（３）Ｐｃ
k,k’=Ｐｃｉ×Ｐｉ
k,k’×Ｐｃｉ
-1によって、ｉ番目のカメラ１０２によって計算された時刻ｔｋ及び時刻ｔk’における移動プラットフォーム１１１の位置変化を得ることができる。時刻ｔｋでｉ番目のカメラ１０２で撮影された探索画像Fｉ
ｋとｌ番目のカメラ１０２で撮影された候補画像Ｆｌ
k’は、測定距離が最も短く、画像重畳度が最大であるので、Ｐｉ,ｍ
k,k’の計算精度が単一のカメラ１０２による連続的な画像追跡よりも高くなり、さらに、Ｐｉ
k,k’とＰｃ
k,k’の計算精度が高くなるようにする。
【0092】
Ｐｃ
k,k’を式（１）によって行列形式に分解すると、
【0093】
【0094】
時刻ｔｋでｉ番目のカメラ１０２によって計算された移動プラットフォーム１１１の移動速度Ｖｉは、次のように表される。
【0095】
【0096】
前記移動プラットフォーム１１１の移動速度Ｖｉは、前記被写体に対する前記カメラセット１０１の速度である。
【0097】
同じ理由により、式（６）のマッチング重みによって、より正確な移動速度を求めることができる。式は次の通りである。
【0098】
【0099】
さらに、ステップＳ３２またはＳ３３を実行する時、探索またはマッチングに失敗すると、Ｓ３５に進み、前記ステップＳ３５は、具体的には：
現在の時刻における前記移動プラットフォーム１１１の位置情報、前の時刻の位置情報、及び現在の時刻と前の時刻の撮影時間間隔（撮影時間差）を取得して、前記被写体に対する前記カメラセット１０１の速度を推定するステップを含む。
現在の時刻における前記移動プラットフォーム１１１の位置情報、前の時刻の位置情報、及び現在の時刻と前の時刻の撮影時間間隔（撮影時間差）を取得して、前記被写体に対する前記カメラセット１０１の速度を推定するステップを含む。
【0100】
即ち、カメラセット１０１における全てのカメラ１０２が候補画像を見つけられない場合、即ち、どのカメラ１０２も式（８）を満たす候補画像を見つけられない場合、探索に失敗したと判断し、ステップＳ３５に進む。そうでない場合、探索に成功した判断し、ステップＳ３３に進む。または、全ての候補画像がマッチングに失敗する場合も、同様に、ステップＳ３５に進む。ステップＳ３１によって現在の時刻における前記移動プラットフォーム１１１の位置情報Ｐｃ
ｋ、前の位置情報Ｐｃ
ｋ－１及び現在の時刻と前の時刻の撮影時間差（ｔｋ－ｔｋ－１）を取得することができ、さらに、隣接する２つの時刻における移動プラットフォーム１１１の位置変換行列を取得することができ、式は具体的に次の通りである。
【0101】
【0102】
もちろん、式（３）によってＰｃ
ｋ，ｋ－１を直接得ることもできる。前記Ｐｃ
ｋ及びＰｃ
ｋ－１は、式（７）によって計算することもできる。
【0103】
Ｐｃ
ｋ，ｋ－１を行列形式に分解すると、
【0104】
最後に、時刻ｔｋにおける移動プラットフォーム１１１の移動速度が得られ、次のように表される。
【0105】
【0106】
本発明の実施形態では、各カメラ１０２によって撮影された画像のマッチングを処理することにより、類似度の高い２つの画像が得られ、前記２つの画像は測定距離が最も短く、画像の重畳度が最大であるので、計算された移動プラットフォーム１１１の速度情報の精度が単一カメラ１０２による連続的な画像追跡によって得られる被写体の速度情報の精度よりも高くなるようにする。
【0107】
これに基づいて、図２を参照すると、本発明の実施形態は、
被写体に対して移動可能な移動プラットフォーム１１１と、
前記移動プラットフォーム１１１上に設けられる少なくとも２つのカメラ１０２を含み、各カメラ１０２の間の相対位置が固定されているカメラセット１０１と、
上記のような複数カメラ１０２による速度測定方法を実行するように配置されるプロセッサ１１０と、を含む複数カメラ１０２による速度測定装置をさらに提供する。
被写体に対して移動可能な移動プラットフォーム１１１と、
前記移動プラットフォーム１１１上に設けられる少なくとも２つのカメラ１０２を含み、各カメラ１０２の間の相対位置が固定されているカメラセット１０１と、
上記のような複数カメラ１０２による速度測定方法を実行するように配置されるプロセッサ１１０と、を含む複数カメラ１０２による速度測定装置をさらに提供する。
【0108】
本実施形態において、前記カメラセット１０１は、前記カメラ１０２とマッチングする光源１０３を備え、
近赤外線光源１０３と、それとマッチングし、前記近赤外線光源１０３の放射光の波長を透過可能なレンズを備えたカメラ１０２、
または、遠赤外線光源１０３とそれとマッチングする遠赤外線カメラ１０２、
または、紫外線光源１０３とそれとマッチングする紫外線カメラ１０２、
または、偏光光源１０３と、それとマッチングし、前記偏光を透過可能なレンズを備えたカメラ１０２を含む。
近赤外線光源１０３と、それとマッチングし、前記近赤外線光源１０３の放射光の波長を透過可能なレンズを備えたカメラ１０２、
または、遠赤外線光源１０３とそれとマッチングする遠赤外線カメラ１０２、
または、紫外線光源１０３とそれとマッチングする紫外線カメラ１０２、
または、偏光光源１０３と、それとマッチングし、前記偏光を透過可能なレンズを備えたカメラ１０２を含む。
【0109】
本実施形態において、各カメラ１０２の画像撮影時刻は同期するか、または、各カメラ１０２の撮影時間はタイムスタンプを有し、移動速度を容易に計算するように、前記タイムスタンプは前記プロセッサ１１０によってリアルタイムで取得することができる。
【0110】
本実施形態において、前記複数カメラ１０２による速度測定装置は、前記移動プラットフォーム１１１上に設けられるキャリブレーションツールをさらに含み、前記キャリブレーションツールは、各カメラ１０２の間の相対位置関係及び前記移動プラットフォーム１１１の中心に対する各カメラ１０２の位置関係をキャリブレーションし、前記位置関係は前記プロセッサ１１０によって取得することができる。
【0111】
さらに、前記キャリブレーションツールは、チェッカーボード、レーザー距離計、レーザーレーダ、ＴＯＦセンサ、またはエンコーダである。
【0112】
本実施形態の第１好ましい例として、前記カメラセット１０１は、少なくとも一対の双眼カメラを含む。前記双眼カメラは、カメラセット１０１が画像における各点の距離に基づいてカメラセット１０１の空間における３自由度以上の位置姿勢及び速度を計算することができるように、共通の視野を含み、３次元画像を得ることができる双眼カメラを指す。
【0113】
本実施形態の第２好ましい例として、前記カメラセット１０１は、前記移動プラットフォーム１１１の主な移動方向に沿って配置された少なくとも２つのＴＯＦカメラを含むことにより、前後２つのカメラのマッチングに用いられる画像が立体画像であることを保証し、画像をマッチングした後には、撮影対象の距離及び／または形状に応じて、より高い精度が得られるようにする。
【0114】
本実施形態の第３好ましい例として、前記カメラセット１０１は、前記移動プラットフォーム１１１の主な移動方向に沿って配置された少なくとも一対のラインスキャンカメラを含み、前記各対ラインスキャンカメラの画像を比較してもカメラセット１０１の速度情報を得ることができる。
【0115】
好ましくは、前記カメラセット１０１は、少なくとも１つのグローバルシャッターエリアカメラをさらに含み、前記プロセッサ１１０は、前記グローバルシャッターエリアカメラによって撮影された画像を前記ラインスキャンカメラによって撮影された画像と比較して、前記ラインスキャンカメラによって撮影された画像を補正するようにすることができる。
【0116】
さらに、前記複数カメラによる速度測定装置は、互いに異なる被写体の間の距離を計測するための少なくとも１つのレーザービーム計測器をさらに含む。
【0117】
さらに、前記レーザービーム計測器は、ラインレーザービーム計測器または十字線状レーザービーム計測器である。
【0118】
本実施形態において、前記プロセッサ１１０は、互いに異なるカメラの画像を比較することにより高精度の速度情報を取得することができ、また、各カメラの前後連続する画像を通じて速度情報を取得することができ、この情報は、互いに異なるカメラによって撮影された、マッチングに利用可能な画像の出現時間を大略に計算して、マッチング速度を向上させることができる。
【0119】
本実施形態では、取得された２つの画像のマッチング結果が第１閾値未満である場合、前記プロセッサ１１０は、現在の時刻における移動プラットフォーム１１１の中心の位置情報、前の時刻の位置情報、及び現在の時刻と前の時刻の撮影時間差に基づいて、前記被写体に対する前記カメラセット１０１の速度を推定することができる。
【0120】
上述したように、本発明に係る実施形態は、異なるカメラで撮影された画像のマッチングを処理することにより、類似性の高い２つの画像を取得する複数カメラによる速度測定方法及び速度測定装置を提供するが、前記２つの画像の測定距離が最も短く、画像の重畳度が最大であるので、前記複数カメラによる速度測定方法によって計算された前記移動プラットフォームの速度情報の精度が単一カメラによる連続的な画像追跡によって計算された被写体の速度情報の精度よりも高くなる。また、本発明に係る複数カメラによる速度測定方法及び複数カメラによる速度測定装置は、実環境とフィードバックを形成して、車輪がスリップしたり、車輪が架空された場合に、ロボットが誤って判断するという問題を解決する。
【0121】
上記した説明は、本発明の最良の実施形態を示すものであり、本発明に対して何らの制限を与えるものではない。当業者は、本発明の技術的手段の範囲を逸脱しない範囲ないで、上記した技術内容を利用して本発明の技術的手段に対して多くの可能な変更及び装飾または同等の変更を施すことが出来る。従って、本発明の技術的手段の内容の範囲内で、本発明の技術思想に基づいて上記した実施形態に対する如何なる簡単な修正、均等な変化及び装飾は何れも本発明の技術的手段により保護される範囲内に属するとすべきである。
【符号の説明】
【0122】
１０１ カメラセット
１０２ カメラ
１０３ 光源
１１０ プロセッサ
１１１ 移動プラットフォーム
Ｗ 世界座標系
Ｃ 中心座標系
１０２ カメラ
１０３ 光源
１１０ プロセッサ
１１１ 移動プラットフォーム
Ｗ 世界座標系
Ｃ 中心座標系
【図1】
【図2】
【図3】
【図4】
【国際調査報告】