(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-11-14
(45)【発行日】2024-11-22
(54)【発明の名称】移動量計測システム
(51)【国際特許分類】
G01B 11/00 20060101AFI20241115BHJP
【FI】
G01B11/00 A
(21)【出願番号】P 2021195427
(22)【出願日】2021-12-01
【審査請求日】2024-03-05
(73)【特許権者】
【識別番号】000145806
【氏名又は名称】株式会社小野測器
(74)【代理人】
【識別番号】100099748
【氏名又は名称】佐藤 克志
(72)【発明者】
【氏名】山田 計
(72)【発明者】
【氏名】米津 俊
(72)【発明者】
【氏名】足立 新
(72)【発明者】
【氏名】吉越 洋志
【審査官】櫻井 仁
(56)【参考文献】
【文献】特開2006-050489(JP,A)
【文献】特開2006-345445(JP,A)
【文献】特開平11-284997(JP,A)
【文献】特開2019-164018(JP,A)
【文献】特開2001-088636(JP,A)
【文献】国際公開第2015/152304(WO,A1)
【文献】特開2006-047091(JP,A)
【文献】特開2007-018324(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
G01B 11/00-11/30
G06T 7/00
G06T 1/00
(57)【特許請求の範囲】
【請求項1】
カメラで撮影した対象体の画像である撮影画像から、前記対象体に対するカメラの相対的な移動量を計測する移動量計測システムであって、
前記対象体に対するカメラの主たる相対的な移動方向に対応する前記撮影画像上の方向を画素の行の並び方向、及び、上下方向とし、前記撮影画像上の行の並び方向と垂直な方向を画素の列の並び方向、及び、左右方向として、今回の撮影画像中に、N行×M列(但し、N>1、M>1)の被追尾領域を設定する被追尾領域設定手段と、
前回に前記被追尾領域設定手段が設定した被追尾領域にマッチする今回の撮影画像中の領域を、追尾結果領域として探索する探索手段と、
計測の各回において、前回に被追尾領域設定手段が設定した被追尾領域から今回に探索手段が探索した追尾結果領域への移動量を、前記対象体に対するカメラの相対的な移動量に換算する移動量算定手段とを有し、
前記被追尾領域設定手段は、今回の撮影画像中の所定の範囲を分割したN行×M列の複数の小領域に対して設定した各評価領域について、評価領域の輝度の変化が平坦でない度合を輝度変化非平坦度として順次算出し、輝度の変化が所定レベル以上平坦でないことを表す輝度変化非平坦度が算出された評価領域が設定された小領域を被追尾領域に設定し、
前記小領域に対して設定した評価領域は、当該小領域内の一部の行と、当該小領域内と上下方向に隣接する1行×M列の領域とのうちの少なくとも一方を含むN行未満の行よりなることを特徴とする移動量計測システム。
【請求項2】
カメラで撮影した対象体の画像である撮影画像から、前記対象体に対するカメラの相対的な移動量を計測する移動量計測システムであって、
前記対象体に対するカメラの主たる相対的な移動方向に対応する前記撮影画像上の方向を画素の行の並び方向、及び、上下方向とし、前記撮影画像上の行の並び方向と垂直な方向を画素の列の並び方向、及び、左右方向として、今回の撮影画像中に、N行×M列(但し、N>1、M>1)の被追尾領域を設定する被追尾領域設定手段と、
前回に前記被追尾領域設定手段が設定した被追尾領域にマッチする今回の撮影画像中の領域を、追尾結果領域として探索する探索手段と、
計測の各回において、前回に被追尾領域設定手段が設定した被追尾領域から今回に探索手段が探索した追尾結果領域への移動量を、前記対象体に対するカメラの相対的な移動量に換算する移動量算定手段とを有し、
前記被追尾領域設定手段は、今回の撮影画像中の所定の範囲を分割したN行×M列の複数の小領域の最も下の行に対応する領域を評価領域として、各評価領域の輝度の変化が平坦でない度合を輝度変化非平坦度として順次算出し、輝度の変化が所定レベル以上平坦でないことを表す輝度変化非平坦度が算出された評価領域を最も下の行とする小領域、もしくは、当該輝度変化非平坦度が算出された評価領域を最も下の行とする小領域を上に一行ずらした領域を被追尾領域に設定することを特徴とする移動量計測システム。
【請求項3】
カメラで撮影した対象体の画像である撮影画像から、前記対象体に対するカメラの相対的な移動量を計測する移動量計測システムであって、
前記対象体に対するカメラの主たる相対的な移動方向に対応する前記撮影画像上の方向を画素の行の並び方向、及び、上下方向とし、前記撮影画像上の行の並び方向と垂直な方向を画素の列の並び方向、及び、左右方向として、今回の撮影画像中に、N行×M列(但し、N>1、M>1)の被追尾領域を設定する被追尾領域設定手段と、
前回に前記被追尾領域設定手段が設定した被追尾領域にマッチする今回の撮影画像中の領域を、追尾結果領域として探索する探索手段と、
計測の各回において、前回に被追尾領域設定手段が設定した被追尾領域から今回に探索手段が探索した追尾結果領域への移動量を、前記対象体に対するカメラの相対的な移動量に換算する移動量算定手段とを有し、
前記被追尾領域設定手段は、今回の撮影画像中の所定の範囲内を、1行×M列の領域である評価領域を移動しながら、当該評価領域の輝度の変化が平坦でない度合を輝度変化非平坦度として算出し、輝度の変化が所定レベル以上平坦でないことを表す輝度変化非平坦度が算出された評価領域を最も下の行とするN行×M列の領域、もしくは、当該輝度変化非平坦度が算出された評価領域の上に隣接するN行×M列の領域を被追尾領域に設定することを特徴とする移動量計測システム。
【請求項4】
請求項3記載の移動量計測システムであって、
前記カメラは、撮影画像の各行の画素を左から右に向かって順次出力すると共に、撮影画像の各行を下から上に向かって順次出力し、
前記被追尾領域設定手段は、前記所定の範囲の各行内において、今回の評価領域の右に隣接する領域が次回の評価領域となるように、当該行内の最も左方の領域から最も右方の領域に向かって移動し、評価領域が行内を移動する行が、前記所定の範囲の最も下の行から最も上の行に向かって順次変化するように、前記評価領域を移動しながら、当該評価領域の輝度変化非平坦度を算出し、輝度の変化が所定レベル以上平坦でないことを表す輝度変化非平坦度が出現したならば、当該輝度変化非平坦度が算出された評価領域を最も下の行とするN行×M列の領域、もしくは、当該輝度変化非平坦度が算出された評価領域の上に隣接するN行×M列の領域を被追尾領域に設定することを特徴とする移動量計測システム。
【請求項5】
請求項3記載の移動量計測システムであって、
前記カメラは、撮影画像の各行の画素を左から右に向かって順次出力すると共に、撮影画像の各行を下から上に向かって順次出力し、
前記被追尾領域設定手段は、前記所定の範囲の各行内において、今回の評価領域が一列右にずれた領域が次回の評価領域となるように、当該行内の最も左方の領域から最も右方の領域に向かって移動し、評価領域が行内を移動する行が、前記所定の範囲の最も下の行から最も上の行に向かって順次変化するように、前記評価領域を移動しながら、当該評価領域の輝度変化非平坦度を算出し、輝度の変化が所定レベル以上平坦でないことを表す輝度変化非平坦度が出現したならば、当該輝度変化非平坦度が算出された評価領域を最も下の行とするN行×M列の領域、もしくは、当該輝度変化非平坦度が算出された評価領域の上に隣接するN行×M列の領域を被追尾領域に設定することを特徴とする移動量計測システム。
【請求項6】
請求項1、2、3、4または5記載の移動量計測システムであって、
前記被追尾領域設定手段は、当該評価領域中の各画素の、当該画素と列の並び方向に隣接する当該評価領域中の画素との輝度差の絶対値の総和を、当該評価領域の前記輝度変化非平坦度として算出することを特徴とする移動量計測システム。
【請求項7】
請求項1、2、3、4、5または6記載の移動量計測システムであって、
前記被追尾領域設定手段は、所定のしきい値を超えている輝度変化非平坦度を、前記輝度の変化が所定レベル以上平坦でないことを表す輝度変化非平坦度とすることを特徴とする移動量計測システム。
【請求項8】
請求項1、2、3、4、5または6記載の移動量計測システムであって、
前記被追尾領域設定手段は、輝度変化非平坦度に、評価領域が前記撮影画像の中央に近いほど大きくなるように設定した重みを乗じた値が所定のしきい値を超えている輝度変化非平坦度を、前記輝度の変化が所定レベル以上平坦でないことを表す輝度変化非平坦度とすることを特徴とする移動量計測システム。
【請求項9】
請求項1、2、3、4、5または6記載の移動量計測システムであって、
前記被追尾領域設定手段は、前記輝度変化非平坦度、または、前記輝度変化非平坦度に当該輝度変化非平坦度を算出する評価領域が前記撮影画像の中央に近いほど大きくなるように設定した重みを乗じた値を当該輝度変化非平坦度の指標値として、当該指標値が所定のしきい値を超えており、かつ、当該指標値が次に算出された輝度変化非平坦度の指標値より大きい輝度変化非平坦度を、前記輝度の変化が所定レベル以上平坦でないことを表す輝度変化非平坦度とすることを特徴とする移動量計測システム。
【請求項10】
請求項1、2、3、4、5、6、7、8または9記載の移動量計測システムであって、
前記カメラは移動体に搭載され、当該移動体が走行する走行面を前記対象体として撮影することを特徴とする移動量計測システム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、カメラで対象体を撮影した画像を用いて、カメラと対象体の間の相対的な移動量を測定する技術に関するものである。
【背景技術】
【0002】
カメラで対象体を撮影した画像を用いて、カメラと対象体の間の相対的な移動量を測定する技術としては、移動体に搭載したカメラで第1の時刻t1に路面を撮影した画像中の特定の領域を特徴領域に設定し、特徴領域と類似する、時刻t1より後の時刻t2にカメラで路面を撮影した画像中の領域をテンプレートマッチングによって探索し、探索した領域を特徴領域に写り込んだ対象体の部分と同じ部分が写り込んでいる領域と見なして、探索した領域の特徴領域からの移動量を実空間の移動量に換算して、カメラの路面に対する移動量を算定する技術が知られている(たとえば、特許文献1)。
【先行技術文献】
【特許文献】
【0003】
【発明の概要】
【発明が解決しようとする課題】
【0004】
上述したテンプレートマッチングを用いてカメラと対象体の間の相対的な移動量を測定する技術によれば、第1の時刻t1において、路面の白線などの、対象体の移動方向に長い単色の部分が映り込んでいる領域が特徴領域として設定されると、時刻t2に撮影した画像中に特徴領域と類似する領域が多数発生し、時刻t2に撮影した画像中の、特徴領域に写り込んだ対象体の部分と同じ部分が写り込んでいる領域を正しく探索できなくなることがある。
【0005】
そこで、本発明は、対象体が移動方向に長い単色の部分を有する場合であっても、カメラで対象体を撮影した画像を用いて、カメラと対象体の間の相対的な移動量を適正に測定することを課題とする。
【課題を解決するための手段】
【0006】
前記課題達成のために、本発明は、カメラで撮影した対象体の画像である撮影画像から、前記対象体に対するカメラの相対的な移動量を計測する移動量計測システムに、前記対象体に対するカメラの主たる相対的な移動方向に対応する前記撮影画像上の方向を画素の行の並び方向、及び、上下方向とし、前記撮影画像上の行の並び方向と垂直な方向を画素の列の並び方向、及び、左右方向として、今回の撮影画像中に、N行×M列(但し、N>1、M>1)の被追尾領域を設定する被追尾領域設定手段と、前回に前記被追尾領域設定手段が設定した被追尾領域にマッチする今回の撮影画像中の領域を、追尾結果領域として探索する探索手段と、計測の各回において、前回、被追尾領域設定手段が設定した被追尾領域から、今回、探索手段が探索した追尾結果領域への移動量を、前記対象体に対するカメラの相対的な移動量に換算する移動量算定手段とを備えたものである。前記被追尾領域設定手段は、今回の撮影画像中の所定の範囲を分割したN行×M列の複数の小領域に対して設定した各評価について、評価領域の輝度の変化が平坦でない度合を輝度変化非平坦度として順次算出し、輝度の変化が所定レベル以上平坦でないことを表す輝度変化非平坦度が算出された評価領域が設定された小領域を被追尾領域に設定する。また、前記小領域に対して設定した評価領域は、当該小領域内の一部の行と、当該小領域内と上下方向に隣接する1行×M列の領域とのうちの少なくとも一方を含む少なくとも一方を含むN行未満の行よりなる。
【0007】
また、前記課題達成のために、本発明は、カメラで撮影した対象体の画像である撮影画像から、前記対象体に対するカメラの相対的な移動量を計測する移動量計測システムに、前記対象体に対するカメラの主たる相対的な移動方向に対応する前記撮影画像上の方向を画素の行の並び方向、及び、上下方向とし、前記撮影画像上の行の並び方向と垂直な方向を画素の列の並び方向、及び、左右方向として、今回の撮影画像中に、N行×M列(但し、N>1、M>1)の被追尾領域を設定する被追尾領域設定手段と、前回、前記被追尾領域設定手段が設定した被追尾領域にマッチする今回の撮影画像中の領域を、追尾結果領域として探索する探索手段と、計測の各回において、前回、被追尾領域設定手段が設定した被追尾領域から、今回、探索手段が探索した追尾結果領域への移動量を、前記対象体に対するカメラの相対的な移動量に換算する移動量算定手段とを備えたものである。前記被追尾領域設定手段は、今回の撮影画像中の所定の範囲を分割したN行×M列の複数の小領域の最も下の行に対応する領域を評価領域として、各評価領域の輝度の変化が平坦でない度合を輝度変化非平坦度として順次算出し、輝度の変化が所定レベル以上平坦でないことを表す輝度変化非平坦度が算出された評価領域を最も下の行とする小領域、もしくは、当該輝度変化非平坦度が算出された評価領域を最も下の行とする小領域を上に一行ずらした領域を被追尾領域に設定する。
【0008】
また、前記課題達成のために、本発明は、カメラで撮影した対象体の画像である撮影画像から、前記対象体に対するカメラの相対的な移動量を計測する移動量計測システムに、前記対象体に対するカメラの主たる相対的な移動方向に対応する前記撮影画像上の方向を画素の行の並び方向、及び、上下方向とし、前記撮影画像上の行の並び方向と垂直な方向を画素の列の並び方向、及び、左右方向として、今回の撮影画像中に、N行×M列(但し、N>1、M>1)の被追尾領域を設定する被追尾領域設定手段と、前回、前記被追尾領域設定手段が設定した被追尾領域にマッチする今回の撮影画像中の領域を、追尾結果領域として探索する探索手段と、計測の各回において、前回、被追尾領域設定手段が設定した被追尾領域から、今回、探索手段が探索した追尾結果領域への移動量を、前記対象体に対するカメラの相対的な移動量に換算する移動量算定手段とを備えたものである。前記被追尾領域設定手段は、今回の撮影画像中の所定の範囲内を、1行×M列の領域である評価領域を移動しながら、当該評価領域の輝度の変化が平坦でない度合を輝度変化非平坦度として算出し、輝度の変化が所定レベル以上平坦でないことを表す輝度変化非平坦度が算出された評価領域を最も下の行とするN行×M列の領域、もしくは、当該輝度変化非平坦度が算出された評価領域の上に隣接するN行×M列の領域を被追尾領域に設定する。
【0009】
この移動量計測システムにおいて、前記カメラを、撮影画像の各行の画素を左から右に向かって順次出力すると共に、撮影画像の各行を下から上に向かって順次出力するものとし、前記被追尾領域設定手段において、前記所定の範囲の各行内において、今回の評価領域の右に隣接する領域が次回の評価領域となるように、当該行内の最も左方の領域から最も右方の領域に向かって移動し、評価領域が行内を移動する行が、前記所定の範囲の最も下の行から最も上の行に向かって順次変化するように、前記評価領域を移動しながら、当該評価領域の輝度変化非平坦度を算出し、輝度の変化が所定レベル以上平坦でないことを表す輝度変化非平坦度が出現したならば、当該輝度変化非平坦度が算出された評価領域を最も下の行とするN行×M列の領域、もしくは、当該輝度変化非平坦度が算出された評価領域の上に隣接するN行×M列の領域を被追尾領域に設定してよい。
【0010】
この移動量計測システムにおいて、前記カメラを、撮影画像の各行の画素を左から右に向かって順次出力すると共に、撮影画像の各行を下から上に向かって順次出力するものとし、前記被追尾領域設定手段において、前記所定の範囲の各行内で、今回の評価領域が一列右にずれた領域が次回の評価領域となるように、当該行内の最も左方の領域から最も右方の領域に向かって移動し、評価領域が行内を移動する行が、前記所定の範囲の最も下の行から最も上の行に向かって順次変化するように、前記評価領域を移動しながら、当該評価領域の輝度変化非平坦度を算出し、輝度の変化が所定レベル以上平坦でないことを表す輝度変化非平坦度が出現したならば、当該輝度変化非平坦度が算出された評価領域を最も下の行とするN行×M列の領域、もしくは、当該輝度変化非平坦度が算出された評価領域の上に隣接するN行×M列の領域を被追尾領域に設定してもよい。
【0011】
ここで、移動量計測システムにおいて、前記被追尾領域設定手段は、当該評価領域中の各画素の、当該画素と列の並び方向に隣接する当該評価領域中の画素との輝度差の絶対値の総和を、当該評価領域の前記輝度変化非平坦度として算出してよい。
以上の移動量計測システムにおいて、前記被追尾領域設定手段は、所定のしきい値を超えている輝度変化非平坦度を、前記輝度の変化が所定レベル以上平坦でないことを表す輝度変化非平坦度としてよい。
以上の移動量計測システムは、前記被追尾領域設定手段において、輝度変化非平坦度に、評価領域が前記撮影画像の中央に近いほど大きくなるように設定した重みを乗じた値が所定のしきい値を超えている輝度変化非平坦度を、前記輝度の変化が所定レベル以上平坦でないことを表す輝度変化非平坦度としてもよい。
【0012】
以上の移動量計測システムは、前記被追尾領域設定手段において、前記輝度変化非平坦度、または、前記輝度変化非平坦度に当該輝度変化非平坦度を算出する評価領域が前記撮影画像の中央に近いほど大きくなるように設定した重みを乗じた値を当該輝度変化非平坦度の指標値として、当該指標値が所定のしきい値を超えており、かつ、当該指標値が次に算出された輝度変化非平坦度の指標値より大きい輝度変化非平坦度を、前記輝度の変化が所定レベル以上平坦でないことを表す輝度変化非平坦度としてもよい。
【0013】
また、前記カメラは移動体に搭載され、当該移動体が走行する走行面を前記対象体として撮影するものであってよい。
以上のような移動量計測システムによれば、輝度の変化が所定レベル以上平坦でない評価領域の上下方向にある、評価領域を含むもしくは評価領域に隣接する領域のみが被追尾領域に設定される。そして、上下方向は対象体に対するカメラの主たる相対的な移動方向であるので、このように被追尾領域を設定することにより、対象体が移動方向に長い単色の部分、すなわち、輝度の変化が平坦な部分の像に対応する撮影画像の領域が被追尾領域に設定されることが排除される。よって、被追尾領域を適正に追尾を行ってカメラと対象体の間の相対的な移動量を適正に測定できるようになる。
【0014】
また、被追尾領域のサイズより小さい評価領域を用いて、N行×M列の被追尾領域の候補となるN行×M列領域の全体の輝度の変化の平坦度を調べることなく、当該領域の被追尾領域としての設定の可否を判定するので、処理負荷や処理遅延が少なく被追尾領域の設定を行うことができる。
【発明の効果】
【0015】
以上のように、本発明によれば、対象体が移動方向に長い単色の部分を有する場合であっても、カメラで対象体を撮影した画像を用いて、カメラと対象体の間の相対的な移動量を適正に測定できる。
【図面の簡単な説明】
【0016】
【
図1】本発明の第1実施形態に係る移動量計測システムの構成を示すブロック図である。
【
図2】本発明の第1実施形態に係る移動量計測システムの適用例を示す図である。
【
図3】本発明の第1実施形態に係る計測装置の追尾動作の例を示す図である。
【
図4】本発明の第1実施形態に係る計測装置の実距離変換係数の算出動作の例を示す図である。
【
図5】本発明の第1実施形態に係る被追尾領域の設定動作を示す図である。
【
図6】本発明の第1実施形態に係る被追尾領域の設定動作を示す図である。
【
図7】本発明の第1実施形態に係る輝度変化非平坦度の算出器の構成例を示す図である。
【
図8】本発明の第1実施形態に係る被追尾領域の設定動作を示す図である。
【
図9】本発明の第2実施形態に係る被追尾領域の設定動作を示す図である。
【
図10】本発明の第3実施形態に係る被追尾領域の設定動作を示す図である。
【発明を実施するための形態】
【0017】
本発明の第1実施形態について説明する。
図1に、第1実施形態に係る移動量計測システムの構成を示す。
図示するように、移動量計測システムは、計測装置1とステレオカメラ2を備えている。
計測装置1は、被追尾領域設定部11、追尾処理部12、離間距離計測部13、移動ベクトル算定部14、実距離変換係数算出部15、移動状態算定部16を備えている。
また、ステレオカメラ2は、第1カメラ21と第2カメラ22との2つのカメラを備えている。
移動量計測システムは、ステレオカメラ2で撮影する対象体とステレオカメラ2間の相対的な移動量を計測するシステムであり、たとえば、
図2a、bのような移動量の計測に適用することができる。
図2aは、ステレオカメラ2を移動体(図では、自動車)に固定し、路面を対象体として路面に対する移動体の移動量を計測する適用例を示している。この場合、ステレオカメラ2は第1カメラ21と第2カメラ22で路面を直上より撮影するように配置される。また、第1カメラ21と第2カメラ22は、対象体(路面)に対するステレオカメラ2の主たる移動方向MD(移動体の前方向)と垂直、かつ、第1カメラ21と第2カメラ22の光軸と垂直な方向に離間して配置する。また、第1カメラ21と第2カメラ22は、撮影した画像の上方向が、移動方向MDとなる向きで配置する。
【0018】
図2bは、ステレオカメラ2を基準座標系に固定し、基準座標系に対して移動する物体面(図では、ベルトコンベアの搬送物載置面)を対象体として、対象体の基準座標系に対する移動量を計測する適用例を示している。この場合、ステレオカメラ2は第1カメラ21と第2カメラ22で物体面を直上より撮影するように配置される。また、第1カメラ21と第2カメラ22は、対象体(物体面)に対するステレオカメラ2の主たる移動方向MD(物体面の基準座標系に対する移動方向と反対の方向)と垂直、かつ、第1カメラ21と第2カメラ22の光軸と垂直な方向に離間して配置する。また、第1カメラ21と第2カメラ22は、撮影した画像の上方向が、移動方向MDとなる向きで配置する。
【0019】
したがって、第1カメラ21と第2カメラ22は撮影した画像において画像の左右方向となる方向に並んで配置され、撮影した画像の上下方向(行の並び方向)が移動方向MDと平行となり、撮影した画像の左右方向(列の並び方向)が、対象体上の移動方向MDと垂直な方向となる。
【0020】
次に、計測装置1の被追尾領域設定部11と追尾処理部12によって行われる追尾動作について説明する。
計測装置1の計測動作の開始後、計測動作は、間欠的に繰り返し実行される。
ここで、
図3aに示すように、計測動作の開始時点をt=1で表し、処理開始時点からn回目の計測動作実行時点をt=nで表すものとする。
また、t=nに第1カメラ21で撮影された画像をP(t=n)で表すものとする。
被追尾領域設定部11は、t=i(iは1以上の任意の整数)の各時点で、画像P(t=i)中に、固定サイズの被追尾領域A(t=i)の設定を行う。
追尾処理部12は、t=i+1(iは1以上の任意の整数)の各時点で、画像P(t=i)中の被追尾領域A(t=i)の像に最も類似する像が含まれる、画像P(t=i+1)中の領域を追尾結果領域B(t=i+1)として、テンプレートマッチング処理により探索する。
また、被追尾領域設定部11は、t=1の初回の被追尾領域A(t=1)については、新規被追尾領域設定動作によって設定する。t=1の新規被追尾領域設定動作では、
図3bに示すように、第1カメラ21で撮影された画像P(t=1)中の予め設定された領域である基準点許容領域Q(t=1)中に、被追尾領域A(t=1)の左下の画素位置である基準点Ag(t=1)が含まれるように被追尾領域A(t=1)設定する。
【0021】
次に、追尾処理部12は、
図3c1、c2に示すように、t=i+1の各時点で、画像P(t=i)中の被追尾領域A(t=i)の像に最も類似する像が含まれる、画像P(t=i+1)中の領域を追尾結果領域B(t=i+1)として探索し、被追尾領域A(t=i)の基準点Ag(t=i)を始点とし、探索した追尾結果領域B(t=i+1)の左下の画素位置である基準点Bg(t=i+1)を終点とする画像空間上の移動ベクトルVP(t=i+1)を算定する。
【0022】
被追尾領域設定部11は、2回目以降の被追尾領域A(t=i+1)については、t=i+1に探索された追尾結果領域B(t=i+1)の基準点Bg(t=i+1)が、
図3d1に示すように、基準点許容領域Q(t=i+1)中にあれば、追尾結果領域B(t=i+1)を、そのまま被追尾領域A(t=i+1)とする。一方、追尾結果領域B(t=i+1)の基準点Bg(t=i+1)が、
図3d2に示すように、基準点許容領域Q(t=i+1)中になければ、新規被追尾領域設定動作によって被追尾領域A(t=i+1)を設定する。t=i+1の新規被追尾領域設定動作では、基準点許容領域Q(t=i+1)中に基準点Ag(t=i+1)が含まれるように被追尾領域A(t=i+1)を設定する。ただし、追尾結果領域B(t=i+1)の基準点Bg(t=i+1)が、基準点許容領域Q(t=i+1)中にある場合も、新規被追尾領域設定動作によって被追尾領域A(t=i+1)を設定してもよい。
【0023】
ここで、基準点許容領域Q(t=i+1)は、次回t=i+2において、基準点許容領域Q(t=i+1)に基準点Ag(t=i+1)が含まれるように設定される被追尾領域A(t=i+1)に写り込んだ対象体の部分の像が、画像P(t=i+2)内に含まれることが担保されるように、移動ベクトルVP(t=i+1)や移動ベクトルVPの履歴から求まる加速度ベクトルに応じて設定する。
【0024】
次に、計測装置1の離間距離計測部13と実距離変換係数算出部15が行う実距離変換係数の算出動作について説明する。
離間距離計測部13は、t=1の時点において、被追尾領域A(t=1)の中心に映り込んだ対象体上の位置の、ステレオカメラ2を構成する第1カメラ21、第2カメラ22からの光軸方向の距離ZA(t=1)を算出する。また、t=i+1の各時点において、被追尾領域A(t=i+1)の中心に映り込んだ対象体上の位置の第1カメラ21、第2カメラ22からの光軸方向の距離ZA(t=i+1)と、追尾結果領域B(t=i+1)の中心に映り込んだ対象体上の位置の第1カメラ21、第2カメラ22からの光軸方向の距離ZB(t=i+1)を算出する。
【0025】
対象体上の位置の第1カメラ21、第2カメラ22からの光軸方向の距離Zは次のように求めることができる。
いま、
図4に示すように、F[mm]をステレオカメラ2の第1カメラ21と第2カメラ22の焦点距離とし、M[mm]を第1カメラ21と第2カメラ22間の実空間上の距離である基線長とする。また、距離Z[mm]を計測する対象体上の位置をTgとし、c1を第1カメラ21で位置Tgが撮影された画像空間上の左右方向の位置とし、c2を第2カメラ22で位置Tgが撮影された画像空間上の左右方向の位置とする。また、c11を、第1カメラ21から光軸方向に焦点距離F離れた面SF上のc1に対応する位置とし、c21を、第2カメラ22から光軸方向に焦点距離F離れた面SF上のc2に対応する位置とする。
【0026】
また、xl[mm]を第1カメラ21の中央位置からc11までの左右方向の距離とし、xr[mm]を第2カメラ22の中央位置からc22までの左右方向の距離とする。
そして、p=xl-xrとすると、三角測量の原理に従い、位置Tgの距離Zは、
Z=(M×F)/p
によって求まる。
第1カメラ21の1画素に投影される、第1カメラ21から焦点距離F離れた面上の領域のサイズをS[mm/pixel]とすると、第1カメラ21の画像空間上で座標が1変化すると、距離Zと垂直な方向についてTgの位置は(Z/F)×S変化する。
そこで、この関係を用いて、実距離変換係数算出部15は、t=i+1の各時点において、離間距離計測部13が計測したZA(t=i)とZB(t=i+1)から、実距離変換係数K(t=i+1)を算出する。
実距離変換係数K(t=i+1)は、近似的なZ(t=i+1)をZA(t=i)とZB(t=i+1)の平均値{ZA(t=i)+ZB(t=i+1)}/2とし、
K(t=i+1)={Z(t=i+1)/F}×S
によって求める。
【0027】
次に、計測装置1の移動ベクトル算定部14は、t=i+1の各時点において、画像空間上の移動ベクトルVP(t=i+1)と、実距離変換係数算出部15が算出した実距離変換係数K(t=i+1)を用いて、対象体のステレオカメラ2に対する相対的な移動ベクトルV(t=i+1)を、
V(t=i+1)=K(t=i+1)×VP(t=i+1)により算出する。
【0028】
そして、計測装置1の移動状態算定部16は、t=i+1の各時点において移動ベクトル算定部14が算定した対象体のステレオカメラ2に対する相対的な移動ベクトルV(t=i+1)から、対象体の相対的な移動速度、加速度、移動方向などの各種移動状態を算定し出力する。また、移動状態算定部16は、さらに、離間距離計測部13が算定した画像内の複数の距離から、対象体の相対的な角度等も移動状態として算定し出力してもよい。
【0029】
以下、上述のように被追尾領域設定部11が行う新規被追尾領域設定動作の詳細について説明する。
第1カメラ21、第2カメラ22は、
図5aのように、各行内の画素データを左から右に向かって順次を出力し、各行を下から上に向かって順次出力することにより、左下から右上に向かうラスタスキャン状に画像の各画素データを出力する。
次に、新規被追尾領域設定動作を行う時点を、t=jとして、t=jで撮影された画像P(t=j)が、
図5b1のように、主たる移動方向MDに長い単色の領域を有する場合、画像P(t=j)の各行について、当該行内の各画素と当該画素の右の画素との輝度の差の絶対値を、画素の左右の並び順に結んだグラフは、
図5b2のように、移動方向MDに長い単色の領域内の画素の範囲が0に近い値で平坦となる。
【0030】
そして、各グラフの0に近い値で平坦となる画素の範囲を上下方向に連結した範囲が、
図5cに示す画像P(t=j)中の移動方向MDに長い単色の領域NGとなり、この領域NGと重なるように被追尾領域A(t=j)を設定すると、画像(t=j+1)中に追尾領域A(t=j)と類似する領域が多数発生し、被追尾領域A(t=j)に写り込んだ対象体の部分と同じ部分が写り込んでいる画像P(t=j+1)中の領域を正しく探索できない可能性が大きくなる。
【0031】
そこで、新規被追尾領域設定動作では、処理量や処理遅延を抑えつつ、領域NGとできるだけ重ならないように被追尾領域A(t=j)を設定するために、以下のように被追尾領域A(t=j)を設定する。
被追尾領域設定部11が行う新規被追尾領域設定動作において、まず、
図6aに示すように、画像P(t=j)上に基準点許容領域Q(t=j)を設定したならば、
図6bに示すように、基準点許容領域Q(t=j)内の位置を基準点Ag(t=j)とする被追尾領域A(t=j)が含まれ得る範囲である配置可能範囲EQ(t=j)を設定する。そして、
図6cに示すように、配置可能範囲EQ(t=j)を、複数の小領域SS1-SS8に分割する。各小領域は被追尾領域A(t=j)と同じサイズとする。
【0032】
そして、各小領域SS1-SS8に対して設定した評価領域DAの輝度変化非平坦度を順次算出する。
各小領域の評価領域DAは、小領域内の最も下の行とし、評価領域DAの輝度変化非平坦度は、評価領域DA内の各画素と当該画素の右の画素との輝度の差の絶対値の総和とする。ただし、評価領域DAの最も右の画素は、当該画素の右に隣接する画素がないので、差の絶対値は求めず、輝度変化非平坦度とする総和にも含めない。
【0033】
ここで、各評価領域DAの輝度変化非平坦度は、当該評価領域DA内の輝度変化が平坦でない度合いを表すものとなる。
また、各評価領域DAの輝度変化非平坦度は、当該評価領域DAの画素データが第1カメラ21から出力されしだい算出する。
すなわち、評価領域DAの輝度変化非平坦度は、たとえば、
図7に示す算出器を用いて算出する。
図示するように、この算出器は、第1カメラ21から出力される画素データを、1画素分遅延し左画素データとして出力する画素遅延部71、第1カメラ21から出力される画素データを右画素データとして、左画素データが表す輝度値と右画素データが表す輝度値の差の絶対値を出力する演算器72、演算器72の出力を順次1画素分遅延する複数の順次遅延素子73、演算器72の出力と各順次遅延素子73の出力の総和を求めて出力する総和演算部74を備えている。
【0034】
順次遅延素子73の数は、評価領域DAの画素数-2である。
そして、各評価領域DAについて、その評価領域DAの最も右の画素の画素データが出力された直後に総和演算部74が求めて出力した総和が、その評価領域DAの輝度変化非平坦度となる。
そして、所定の合格基準を満たす輝度変化非平坦度の評価領域DAが出現したら、その評価領域DAが設定された小領域を被追尾領域A(t=j)に設定する。
合格基準としては、以下のA、B、C、Dのいずれかの合格基準を適用する。
A;輝度変化非平坦度を評価値として、評価値が所定のしきい値Thより大きい場合に合格とする基準
B;画像P(t=j)の中央に近い評価領域DAほど大きな値となるように設定した重みWを、輝度変化非平坦度に乗じた値を評価値として、評価値が所定のしきい値Thより大きい場合に合格とする基準
C;Aの基準で算出した評価値(輝度変化非平坦度)が合格となり、かつ、次に算出された評価値が、今回算出した評価値より小さい場合に合格とする基準
D;Bの基準で算出した評価値(重みWを乗じた輝度変化非平坦度)が合格となり、かつ、次に算出された評価値が、今回算出した評価値より小さい場合に合格とする基準
したがって、
図8aに示すように小領域SS1-SS4に対して設定した評価領域DAの輝度変化非平坦度が求まる場合、Aの合格基準を適用する場合には、最初に出現するしきい値Thを超える評価値(輝度変化非平坦度)は、小領域SS1の評価領域DAの評価値であるので、小領域SS1の評価領域DAの画素データが出力されしだい、小領域SS1が被追尾領域A(t=j)に設定される。
【0035】
一方、
図8bに示すように画像P(t=j)の中央に近い評価領域DAほど大きな値となるように重みWを設定し、Bの合格基準を適用する場合には、
図8cに示すように、小領域SS1-SS4の評価領域DAの評価値(輝度変化非平坦度に重みWを乗じた値)が求まるものとして、小領域SS1の評価領域DAの評価値はしきい値Thを超えず、最初に出現するしきい値Thを超える評価値は、小領域SS2の評価領域DAの評価値となるので、小領域SS2の評価領域DAの画素データが出力されしだい、小領域SS2が被追尾領域A(t=j)に設定される。
【0036】
なお、重みWを画像P(t=j)の中央に近い評価領域DAほど大きな値となるように設定するのは、レンズ等による像の歪みが小さい画像P(t=j)の中央部を優先的に被追尾領域A(t=j)に設定するためである。
また、C、Dの合格基準を適用する場合には、
図8a、cに示すように、最初に出現する、評価値がしきい値Thを超え、かつ、次回に算出された評価領域DAの評価値がより小さくなる評価領域DAは小領域SS3の評価領域DAであり、そのことが判明するのは、小領域SS3の評価領域DAの右側の小領域SS4の評価領域DAの評価値が算出された時点であるので、小領域SS4の画素データが出力されしだい、小領域SS3が被追尾領域A(t=j)に設定される
以上、新規被追尾領域設定動作について説明した。
【0037】
なお、新規被追尾領域設定動作においては、各小領域に対して評価領域DAとして、
図6dに示すように、小領域SS1-SS8の1つ下の行内の小領域と左右方向の範囲が同じ領域を設定してもよい。このように領域を設定することは、配置可能範囲EQ(t=j)に代えて配置可能範囲EQ(t=j)を一行下にずらした範囲を分割して得られる小領域SS1-SS8の最も下の行を評価領域DAとすると共に、合格基準を満たした評価領域DAが算出された小領域を上に一行ずらした領域を被追尾領域A(t=j)に設定することと等価である。
【0038】
これにより、合格基準を満たす輝度変化非平坦度が算出された評価領域DAの発生後に、第1カメラ21から出力される画素を被追尾領域A(t=j)の画素として用いることができるので、被追尾領域A(t=j)の画素として使用するために評価領域DAの画素を保持する必要を排することができる。
【0039】
また、各小領域に対して評価領域DAとして、小領域内の連続するもしくは離間した複数の行を設定してもよい。この場合には、評価領域DAに、小領域の1つ下の行内の小領域と左右方向の範囲が同じ領域を含めても良い。これらの場合には、評価領域DAの輝度変化非平坦度は、評価領域DA内の各行について求めた、各画素の輝度の当該画素の右に隣接する画素の輝度との差の絶対値の総和の合計とする。
【0040】
以上のように、第1実施形態によれば、輝度の変化が所定レベル以上平坦でない評価領域DAと左右方向の範囲が同じ、当該評価領域DAを含むもしくは当該評価領域の上に隣接する領域のみが被追尾領域域A(t=j)に設定される。そして、上下方向は対象体に対する第1カメラ21の主たる相対的な移動方向MDであるので、このように被追尾領域A(t=j)を設定することにより、対象体が移動方向MDに長い単色の部分、すなわち、撮影画像P(t=j)中の、輝度変化が平坦な部分の領域が被追尾領域A(t=j)に設定されることが排除される。よって、被追尾領域P(t=j)の追尾を適正に行って、ステレオカメラ2と対象体の間の相対的な移動量を適正に測定できることが担保される。
【0041】
また、被追尾領域A(t=j)より小さいサイズの評価領域DAを用いて、被追尾領域の候補となる領域の全体の輝度変化の平坦度を調べることなく、当該領域の被追尾領域A(t=j)としての設定可否を判定するので、処理負荷や処理遅延少なく被追尾領域A(t=j)の設定を行える。
【0042】
次に、第2の実施形態について説明する。
第2実施形態は、第1実施形態と、被追尾領域設定部11が行う新規被追尾領域設定動作のみが異なる。
第2実施形態の新規被追尾領域設定動作では、
図9aに示すように、評価領域DAの左端の座標を、基準点許容領域Q(t=j)内で、左下から右上に向かうラスタスキャン状に移動させながら、評価領域DAの輝度変化非平坦度を求める。
評価領域DAは、1行の領域であり、被追尾領域A(t=j)と同じ列数である。
また、各行内において、評価領域DAの左端の座標は、順次、現在の評価領域DAの右に隣接する領域が次の評価領域DAとなるように、基準点許容領域Q(t=j)の最も左方の領域から最も右方の領域に向かって移動する。また、評価領域DAの左端の座標が行内を移動する行は、基準点許容領域Q(t=j)の最も下の行から最も上の行に向かって順次変化する。また、第1カメラ21から評価領域DAの列数分の画素データが出力される度に、評価領域DAは移動する。
【0043】
そして、新規被追尾領域設定動作では、各評価領域DAの輝度変化非平坦度を、
図7に示した算出器等によって、当該評価領域DAの画素データが第1カメラ21から出力されしだい算出する。そして、合格基準を満たす輝度変化非平坦度が出現したならば、
図9bに示すように、当該輝度変化非平坦度が算出された評価領域DAを最も下の行とする、被追尾領域A(t=j)に設定する領域と上下左右方向のサイズが同じ領域を被追尾領域A(t=j)に設定する。
【0044】
合格基準としては、第1実施形態で示したA-Dの基準を適用することができる。
なお、新規被追尾領域設定動作では、評価領域DAを移動する領域を、基準点許容領域Q(t=j)を下に一行ずらした領域とし、合格基準を満たす輝度変化非平坦度が算出されたならば、
図9cに示すように、当該輝度変化非平坦度が算出された評価領域DAの上方に隣接する、被追尾領域A(t=j)に設定する領域と上下左右方向のサイズが同じサイズの領域を被追尾領域A(t=j)に設定するようにしてもよい。
【0045】
第2実施形態の新規被追尾領域設定動作によれば、第1実施形態の新規被追尾領域設定動作で被追尾領域A(t=j)を設定する場合よりも、上下方向の位置の自由度高く、被追尾領域A(t=j)を設定することができる。
次に、第3の実施形態について説明する。
第3実施形態は、第2実施形態と、被追尾領域設定部11が行う新規被追尾領域設定動作における評価領域DAの移動の仕方のみが異なる。
すなわち、第3実施形態でも、第2実施形態と同様に、評価領域DAの左端の座標を、基準点許容領域Q(t=j)内で、左下から右上に向かうラスタスキャン状に移動させながら、評価領域DAの輝度変化非平坦度を求めるが、第3実施形態では、
図10に示すように、第1カメラ21から1画素データが出力される度に、基準点許容領域Q(t=j)の各行内において、評価領域DAの左端の座標を、被追尾領域A(t=j)の最も左方の領域から最も右方の領域に向かって、順次、右に1画素(1列)ずつ移動する。なお、撮影画像P(t=j)の左端の画素データから左端の評価領域DAの右から2番目の画素データの間の画素データの出力に対しては、評価領域DAの左端の座標は移動しない。右端の評価領域DAより右側の画素データの出力に対しても評価領域DAの左端の座標は移動しない。
【0046】
そして、新規被追尾領域設定動作では、各評価領域DAの輝度変化非平坦度を、
図7に示した算出器等によって、当該評価領域DAの画素データが第1カメラ21から出力されしだい算出する。そして、合格基準を満たす輝度変化非平坦度が出現したばらば、
図9bに示すように、当該輝度変化非平坦度が算出された評価領域DAを最も下の行とする、被追尾領域A(t=j)に設定する領域と上下左右方向のサイズが同じ領域を被追尾領域A(t=j)に設定する。
【0047】
なお、第3実施形態においても、評価領域DAの左端の座標を移動する領域を、基準点許容領域Q(t=j)を下に一行ずらした領域とし、合格基準を満たす輝度変化非平坦度が算出されたならば、
図9cに示すように、当該輝度変化非平坦度が算出された評価領域DAの上方に隣接する、被追尾領域A(t=j)に設定する領域と上下左右方向のサイズが同じ領域を被追尾領域A(t=j)に設定してよい。
【0048】
第3実施形態の新規被追尾領域設定動作によれば、第2実施形態の新規被追尾領域設定動作で被追尾領域A(t=j)を設定する場合よりも、左右方向の位置の自由度高く、被追尾領域A(t=j)を設定することができる。
以上、本発明の実施形態について説明した。
以上の実施形態において離間距離計測部13によってステレオカメラ2を用いて算出した距離ZA(t=i)、距離ZB(t=i+1)は、レーザ距離計などの他の装置を用いて算出してもよい。また、以上の実施形態における第1カメラ21と第2カメラ22の役割は交換してもよい。
【符号の説明】
【0049】
1…計測装置、2…ステレオカメラ、11…被追尾領域設定部、12…追尾処理部、13…離間距離計測部、14…移動ベクトル算定部、15…実距離変換係数算出部、16…移動状態算定部、21…第1カメラ、22…第2カメラ、71…画素遅延部、72…演算器、73…遅延素子、74…総和演算部。