知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024063366
(43)【公開日】2024-05-13
(54)【発明の名称】移動量計測システム
(51)【国際特許分類】
G06T 7/285 20170101AFI20240502BHJP
G01B 11/00 20060101ALI20240502BHJP
G06T 7/00 20170101ALI20240502BHJP
【ＦＩ】
G06T7/285
G01B11/00 H
G06T7/00 300C
【審査請求】未請求
【請求項の数】12
【出願形態】ＯＬ
(21)【出願番号】P 2022171246
(22)【出願日】2022-10-26
(71)【出願人】
【識別番号】000145806
【氏名又は名称】株式会社小野測器
(74)【代理人】
【識別番号】100099748
【弁理士】
【氏名又は名称】佐藤 克志
(72)【発明者】
【氏名】山田 計
(72)【発明者】
【氏名】米津 俊
(72)【発明者】
【氏名】足立 新
(72)【発明者】
【氏名】吉越 洋志
【テーマコード（参考）】
2F065
5L096
【Ｆターム（参考）】
2F065AA02
2F065BB05
2F065CC12
2F065DD03
2F065FF01
2F065FF04
2F065FF05
2F065JJ03
2F065JJ05
2F065JJ26
2F065MM02
2F065MM06
2F065PP02
2F065PP15
2F065QQ21
2F065QQ31
2F065QQ38
5L096CA05
5L096DA02
5L096FA32
5L096FA66
5L096FA69
5L096GA51
5L096HA04
5L096JA03
(57)【要約】
【課題】対象体の移動量の算出を短時間で処理し最新の移動量を取得する。
【解決手段】画像P中に被追尾領域Aを設定すると共に、現在までに算出した画像間移動ベクトルから予測した次時刻の画像間移動ベクトルの範囲内の各移動ベクトルを前記探索対象移動ベクトルに設定する。次時刻において、画像中の、被追尾領域Aを各前記探索対象移動ベクトルで移動した領域を合わせた領域中に、被追尾領域と整合する領域が存在すれば、存在した領域に対応する前記探索対象移動ベクトルを探索した画像間移動ベクトルとする。存在しなかった場合（ａ２）には、画像間移動ベクトルの探索に成功するまで分割探索動作を繰り返し行う。分割探索動作では、画像P中の被追尾領域Aの位置を固定し、分割探索動作毎に、移動ベクトルの範囲を順番に切り替えながら、範囲内の各移動ベクトルを前記探索対象移動ベクトルに設定し、画像間移動ベクトルの探索を行う（ｃ１-ｃ７）。
【選択図】図５
【解決手段】画像P中に被追尾領域Aを設定すると共に、現在までに算出した画像間移動ベクトルから予測した次時刻の画像間移動ベクトルの範囲内の各移動ベクトルを前記探索対象移動ベクトルに設定する。次時刻において、画像中の、被追尾領域Aを各前記探索対象移動ベクトルで移動した領域を合わせた領域中に、被追尾領域と整合する領域が存在すれば、存在した領域に対応する前記探索対象移動ベクトルを探索した画像間移動ベクトルとする。存在しなかった場合（ａ２）には、画像間移動ベクトルの探索に成功するまで分割探索動作を繰り返し行う。分割探索動作では、画像P中の被追尾領域Aの位置を固定し、分割探索動作毎に、移動ベクトルの範囲を順番に切り替えながら、範囲内の各移動ベクトルを前記探索対象移動ベクトルに設定し、画像間移動ベクトルの探索を行う（ｃ１-ｃ７）。
【選択図】図５
【特許請求の範囲】
【請求項1】
カメラで撮影した対象体の画像である撮影画像から、前記対象体と前記カメラの間の相対的移動量を計測する移動量計測システムであって、
画像間移動ベクトルを探索する基本探索動作を実行する基本探索手段と、
画像間移動ベクトルを探索する分割探索動作を実行する分割探索手段と、
探索実行状態切替手段と、
探索された画像間移動ベクトルから、前記対象体と前記カメラの間の相対的移動量を算定する移動量算定手段とを有し、
当該移動量計測システムは、探索実行状態として、前記基本探索手段が前記基本探索動作を繰り返し実行する基本探索反復状態と、前記分割探索手段が前記分割探索動作を繰り返し実行する分割探索反復状態とを有し、
当該移動量計測システムは、前記基本探索反復状態において、前記基本探索手段が前記基本探索動作による画像間移動ベクトルの探索に失敗したならば、探索実行状態を前記分割探索反復状態に切り替え、前記分割探索反復状態において、前記分割探索手段が前記分割探索動作による画像間移動ベクトルの探索に成功したならば探索実行状態を前記基本探索反復状態に切り替える探索実行状態切替手段を備え、
前記基本探索手段は、各回の前記基本探索動作において、今回の撮影画像中に被追尾領域を設定し、現在までに探索した画像間移動ベクトルから次回に探索される画像間移動ベクトルとなる期待度が高い複数の移動ベクトルを予測し、予測した各移動ベクトルを次回の探索対象移動ベクトルに設定すると共に、前回の基本探索動作において次回の探索対象移動ベクトルとして設定された今回の各探索対象移動ベクトルを探索対象とする今回の画像間移動ベクトルの探索動作を行い、
前記分割探索手段は、各回の前記分割探索動作において、今回の撮影画像中に被追尾領域を設定し、複数の移動ベクトルを今回の探索対象移動ベクトルに設定すると共に、設定した今回の各探索対象移動ベクトルを探索対象とする今回の画像間移動ベクトルの探索動作を行い、
前記分割探索手段は、前記分割探索動作を繰り返し実行する間に所定の範囲内の移動ベクトルの全てが探索対象移動ベクトルに設定されるように、各回の前記分割探索動作毎に探索対象移動ベクトルに設定する複数の移動ベクトルを切り替え、
前記基本探索動作と前記分割探索動作において行う、前記今回の各探索対象移動ベクトルを探索対象とする今回の画像間移動ベクトルの探索動作において、今回の各探索対象移動ベクトルに対応する今回の撮影画像中の領域を、前回設定した被追尾領域を対応する探索対象移動ベクトルで移動した領域として、各探索対象移動ベクトルに対応する領域を合わせた領域である探索領域中に、前回設定された被追尾領域と整合する領域が存在した場合には、画像間移動ベクトルの探索を成功として、存在した領域に対応する探索対象移動ベクトルを今回探索した画像間移動ベクトルとし、存在しなかった場合には、今回の画像間移動ベクトルの探索を失敗とすることを特徴とする移動量計測システム。
画像間移動ベクトルを探索する基本探索動作を実行する基本探索手段と、
画像間移動ベクトルを探索する分割探索動作を実行する分割探索手段と、
探索実行状態切替手段と、
探索された画像間移動ベクトルから、前記対象体と前記カメラの間の相対的移動量を算定する移動量算定手段とを有し、
当該移動量計測システムは、探索実行状態として、前記基本探索手段が前記基本探索動作を繰り返し実行する基本探索反復状態と、前記分割探索手段が前記分割探索動作を繰り返し実行する分割探索反復状態とを有し、
当該移動量計測システムは、前記基本探索反復状態において、前記基本探索手段が前記基本探索動作による画像間移動ベクトルの探索に失敗したならば、探索実行状態を前記分割探索反復状態に切り替え、前記分割探索反復状態において、前記分割探索手段が前記分割探索動作による画像間移動ベクトルの探索に成功したならば探索実行状態を前記基本探索反復状態に切り替える探索実行状態切替手段を備え、
前記基本探索手段は、各回の前記基本探索動作において、今回の撮影画像中に被追尾領域を設定し、現在までに探索した画像間移動ベクトルから次回に探索される画像間移動ベクトルとなる期待度が高い複数の移動ベクトルを予測し、予測した各移動ベクトルを次回の探索対象移動ベクトルに設定すると共に、前回の基本探索動作において次回の探索対象移動ベクトルとして設定された今回の各探索対象移動ベクトルを探索対象とする今回の画像間移動ベクトルの探索動作を行い、
前記分割探索手段は、各回の前記分割探索動作において、今回の撮影画像中に被追尾領域を設定し、複数の移動ベクトルを今回の探索対象移動ベクトルに設定すると共に、設定した今回の各探索対象移動ベクトルを探索対象とする今回の画像間移動ベクトルの探索動作を行い、
前記分割探索手段は、前記分割探索動作を繰り返し実行する間に所定の範囲内の移動ベクトルの全てが探索対象移動ベクトルに設定されるように、各回の前記分割探索動作毎に探索対象移動ベクトルに設定する複数の移動ベクトルを切り替え、
前記基本探索動作と前記分割探索動作において行う、前記今回の各探索対象移動ベクトルを探索対象とする今回の画像間移動ベクトルの探索動作において、今回の各探索対象移動ベクトルに対応する今回の撮影画像中の領域を、前回設定した被追尾領域を対応する探索対象移動ベクトルで移動した領域として、各探索対象移動ベクトルに対応する領域を合わせた領域である探索領域中に、前回設定された被追尾領域と整合する領域が存在した場合には、画像間移動ベクトルの探索を成功として、存在した領域に対応する探索対象移動ベクトルを今回探索した画像間移動ベクトルとし、存在しなかった場合には、今回の画像間移動ベクトルの探索を失敗とすることを特徴とする移動量計測システム。
【請求項2】
請求項１記載の移動量計測システムであって、
前記分割探索手段は、所定の範囲内の移動ベクトルの全てが探索対象移動ベクトルに設定されたならば、再度、前記分割探索動作を繰り返し実行する間に所定の範囲内の移動ベクトルの全てが探索対象移動ベクトルに設定されるように、各回の前記分割探索動作毎に探索対象移動ベクトルに設定する複数の移動ベクトルを切り替えることを特徴とする移動量計測システム。
前記分割探索手段は、所定の範囲内の移動ベクトルの全てが探索対象移動ベクトルに設定されたならば、再度、前記分割探索動作を繰り返し実行する間に所定の範囲内の移動ベクトルの全てが探索対象移動ベクトルに設定されるように、各回の前記分割探索動作毎に探索対象移動ベクトルに設定する複数の移動ベクトルを切り替えることを特徴とする移動量計測システム。
【請求項3】
請求項１または２記載の移動量計測システムであって、
前記所定の範囲は、前記探索対象移動ベクトルに設定したときに前記探索領域が撮影画像内の領域となる移動ベクトルの範囲であることを特徴とする移動量計測システム。
前記所定の範囲は、前記探索対象移動ベクトルに設定したときに前記探索領域が撮影画像内の領域となる移動ベクトルの範囲であることを特徴とする移動量計測システム。
【請求項4】
請求項１または２記載の移動量計測システムであって、
前記分割探索手段は、各回の前記分割探索動作において、被追尾領域を、撮影画像中の同じ位置に設定することを特徴とする移動量計測システム。
前記分割探索手段は、各回の前記分割探索動作において、被追尾領域を、撮影画像中の同じ位置に設定することを特徴とする移動量計測システム。
【請求項5】
請求項１または２記載の移動量計測システムであって、
前記分割探索手段は、各回の前記分割探索動作における前記探索領域が撮影画像中の同じ位置となるように、各回の前記分割探索動作において被追尾領域を撮影画像中の異なる位置に設定することを特徴とする移動量計測システム。
前記分割探索手段は、各回の前記分割探索動作における前記探索領域が撮影画像中の同じ位置となるように、各回の前記分割探索動作において被追尾領域を撮影画像中の異なる位置に設定することを特徴とする移動量計測システム。
【請求項6】
請求項１または２記載の移動量計測システムであって、
前記分割探索手段が前記分割探索動作を繰り返し実行する間に、被追尾領域の撮影画像中の位置と、探索領域の撮影画像中の位置が変化することを特徴とする移動量計測システム。
前記分割探索手段が前記分割探索動作を繰り返し実行する間に、被追尾領域の撮影画像中の位置と、探索領域の撮影画像中の位置が変化することを特徴とする移動量計測システム。
【請求項7】
請求項４記載の移動量計測システムであって、
前記分割探索手段は、前記分割探索動作を繰り返し実行する間に、前記探索領域が前記被追尾領域に近い位置から遠い位置に向かって移動していくように、各回の前記分割探索動作において探索対象移動ベクトルを設定することを特徴とする移動量計測システム。
前記分割探索手段は、前記分割探索動作を繰り返し実行する間に、前記探索領域が前記被追尾領域に近い位置から遠い位置に向かって移動していくように、各回の前記分割探索動作において探索対象移動ベクトルを設定することを特徴とする移動量計測システム。
【請求項8】
請求項５記載の移動量計測システムであって、
前記分割探索手段は、前記分割探索動作を繰り返し実行する間に、前記被追尾領域が、前記探索領域に近い位置から遠い位置に向かって移動していくように、各回の前記分割探索動作において、被追尾領域と探索対象移動ベクトルを設定することを特徴とする移動量計測システム。
前記分割探索手段は、前記分割探索動作を繰り返し実行する間に、前記被追尾領域が、前記探索領域に近い位置から遠い位置に向かって移動していくように、各回の前記分割探索動作において、被追尾領域と探索対象移動ベクトルを設定することを特徴とする移動量計測システム。
【請求項9】
請求項１または２記載の移動量計測システムであって、
前記分割探索手段は、各回の前記分割探索動作において異なる移動ベクトルのセットを、前記基本探索動作で最後に探索に成功した画像間移動ベクトルとの差分の絶対値が小さい順に、順次、探索対象移動ベクトルに設定することを特徴とする移動量計測システム。
前記分割探索手段は、各回の前記分割探索動作において異なる移動ベクトルのセットを、前記基本探索動作で最後に探索に成功した画像間移動ベクトルとの差分の絶対値が小さい順に、順次、探索対象移動ベクトルに設定することを特徴とする移動量計測システム。
【請求項10】
請求項１または２記載の移動量計測システムであって、
前記分割探索手段は、前記基本探索動作で最後に画像間移動ベクトルの探索に成功した被追尾領域を、各回の前記分割探索動作において被追尾領域に設定し、前記基本探索動作で最後に画像間移動ベクトルの探索に成功した探索領域に近い位置から遠い位置に向かって探索領域が移動していくように、各回の前記分割探索動作において探索対象移動ベクトルを設定することを特徴とする移動量計測システム。
前記分割探索手段は、前記基本探索動作で最後に画像間移動ベクトルの探索に成功した被追尾領域を、各回の前記分割探索動作において被追尾領域に設定し、前記基本探索動作で最後に画像間移動ベクトルの探索に成功した探索領域に近い位置から遠い位置に向かって探索領域が移動していくように、各回の前記分割探索動作において探索対象移動ベクトルを設定することを特徴とする移動量計測システム。
【請求項11】
請求項１または２記載の移動量計測システムであって、
前記分割探索手段は、前記基本探索動作で最後に画像間移動ベクトルの探索に成功した探索領域が各回の前記分割探索動作において探索領域となり、前記基本探索動作で最後に画像間移動ベクトルの探索に成功した被追尾領域に近い位置から遠い位置に向かって被追尾領域が移動していくように、各回の前記分割探索動作において、被追尾領域と探索対象移動ベクトルを設定することを特徴とする移動量計測システム。
前記分割探索手段は、前記基本探索動作で最後に画像間移動ベクトルの探索に成功した探索領域が各回の前記分割探索動作において探索領域となり、前記基本探索動作で最後に画像間移動ベクトルの探索に成功した被追尾領域に近い位置から遠い位置に向かって被追尾領域が移動していくように、各回の前記分割探索動作において、被追尾領域と探索対象移動ベクトルを設定することを特徴とする移動量計測システム。
【請求項12】
請求項１または２記載の移動量計測システムであって、
前記カメラは移動体に搭載され、当該移動体が走行する走行面を前記対象体として撮影することを特徴とする移動量計測システム。
前記カメラは移動体に搭載され、当該移動体が走行する走行面を前記対象体として撮影することを特徴とする移動量計測システム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、カメラで対象体を撮影した画像を用いてカメラと対象体の間の相対的な移動量を測定する技術に関するものである。
【背景技術】
【0002】
カメラで対象体を撮影した画像を用いてカメラと対象体の間の相対的な移動量を測定する技術としては、撮影した画像中の特徴領域に類似する、次の時刻に撮影した画像中の領域を、テンプレートマッチングによって探索し、探索した領域の特徴領域からの移動量を算定する処理を繰り返し行う技術が知られている（たとえば、特許文献１）。
【0003】
また、現時刻までに求まった移動量より、特徴領域の像の次の時刻に撮影される画像中の位置を予測し、予測した位置の周辺の範囲である予測範囲のみを対象としてテンプレートマッチングによる探索を行うことにより、探索に要する処理時間を低減する技術も知られている（たとえば、特許文献２）。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開２０２０-１９０４５８号公報
【特許文献2】特開２００８-１１２２１０号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
上述した予測範囲のみを対象としてテンプレートマッチングによる探索を行う技術によれば、予測範囲の中から特徴領域に類似する領域の探索に失敗した場合、今回の移動量が算定できず次回の予測範囲の設定ができなくなり、以降の探索を行うことができない。
そこで、予測範囲の中から探索に失敗した場合に、画像の全体を対象としてテンプレートマッチングによる探索を行うことが考えられるが、全体を対象とする探索には、予測範囲のみを対象とする探索よりも多くの処理時間を必要とする。
そして、全体を対象とする探索が、予測範囲のみを対象とする探索を繰り返す周期より長い時間を要する場合、探索によって得られる情報は、処理に要した時間分、予測範囲のみを対象とする探索によって得られる情報よりも古い情報となる。この技術を移動量の算出に適用した場合、得られる移動量は、処理に要した時間分、過去の移動量となるため次回の予測精度が低下してしまい、予測範囲内に対象体が含まれないことで探索に再度失敗してしまう可能性が高い。
そこで、予測範囲の中から探索に失敗した場合に、画像の全体を対象としてテンプレートマッチングによる探索を行うことが考えられるが、全体を対象とする探索には、予測範囲のみを対象とする探索よりも多くの処理時間を必要とする。
そして、全体を対象とする探索が、予測範囲のみを対象とする探索を繰り返す周期より長い時間を要する場合、探索によって得られる情報は、処理に要した時間分、予測範囲のみを対象とする探索によって得られる情報よりも古い情報となる。この技術を移動量の算出に適用した場合、得られる移動量は、処理に要した時間分、過去の移動量となるため次回の予測精度が低下してしまい、予測範囲内に対象体が含まれないことで探索に再度失敗してしまう可能性が高い。
【0006】
本発明は、カメラに対して相対的に移動する対象体の移動量の算出を短時間で処理することで、最新の移動量を取得することを課題とする。
【課題を解決するための手段】
【0007】
前記課題達成のために、本発明は、カメラで撮影した対象体の画像である撮影画像から、前記対象体とカメラの間の相対的移動量を計測する移動量計測システムに、画像間移動ベクトルを探索する基本探索動作を実行する基本探索手段と、画像間移動ベクトルを探索する分割探索動作を実行する分割探索手段と、探索された画像間移動ベクトルから、前記対象体とカメラの間の相対的移動量を算定する移動量算定手段とを備えたものである。当該移動量計測システムは、探索実行状態として、前記基本探索手段が基本探索動作を繰り返し実行する基本探索反復状態と、前記分割探索手段が前記分割探索動作を繰り返し実行する分割探索反復状態とを有する。また、当該移動量計測システムは、基本探索反復状態において、前記基本探索手段が基本探索動作による画像間移動ベクトルの探索に失敗したならば、探索実行状態を分割探索反復状態に切り替え、分割探索反復状態において、前記分割探索手段が前記分割探索動作による画像間移動ベクトルの探索に成功したならば、探索実行状態を基本探索反復状態に切り替える探索実行状態切替手段を備えている。前記基本探索手段は、各回の前記基本探索動作において、今回の撮影画像中に被追尾領域を設定し、現在までに探索した画像間移動ベクトルから次回に探索される画像間移動ベクトルとなる期待度が高い複数の移動ベクトルを予測し、予測した各移動ベクトルを次回の探索対象移動ベクトルに設定すると共に、前回の基本探索動作において次回の探索対象移動ベクトルとして設定された今回の各探索対象移動ベクトルを探索対象とする今回の画像間移動ベクトルの探索動作を行う。前記分割探索手段は、各回の前記分割探索動作において、今回の撮影画像中に被追尾領域を設定し、複数の移動ベクトルを今回の探索対象移動ベクトルに設定すると共に、設定した今回の各探索対象移動ベクトルを探索対象とする今回の画像間移動ベクトルの探索動作を行う。前記分割探索手段は、前記分割探索動作を繰り返し実行する間に所定の範囲内の移動ベクトルの全てが探索対象移動ベクトルに設定されるように、各回の前記分割探索動作毎に探索対象移動ベクトルに設定する複数の移動ベクトルを切り替える。そして、前記基本探索動作と前記分割探索動作において行う、前記今回の各探索対象移動ベクトルを探索対象とする今回の画像間移動ベクトルの探索動作において、今回の各探索対象移動ベクトルに対応する今回の撮影画像中の領域を、前回設定した被追尾領域を対応する探索対象移動ベクトルで移動した領域として、各探索対象移動ベクトルに対応する領域を合わせた探索領域中に、前回設定された被追尾領域と整合する領域が存在した場合には、画像間移動ベクトルの探索を成功として、存在した領域に対応する探索対象移動ベクトルを今回探索した画像間移動ベクトルとし、存在しなかった場合には、今回の画像間移動ベクトルの探索を失敗とする。
【0008】
この移動量計測システムにおいて、前記分割探索手段は、所定の範囲内の移動ベクトルの全てが探索対象移動ベクトルに設定されたならば、再度、前記分割探索動作を繰り返し実行する間に所定の範囲内の移動ベクトルの全てが探索対象移動ベクトルに設定されるように、各回の前記分割探索動作毎に探索対象移動ベクトルに設定する複数の移動ベクトルを切り替えてよい。
【0009】
また、この移動量計測システムにおいて、前記所定の範囲は、前記探索対象移動ベクトルに設定したときに前記探索領域が撮影画像内の領域となる移動ベクトルの範囲としてよい。
この移動量計測システムにおいて、前記分割探索手段は、各回の前記分割探索動作において、被追尾領域を、撮影画像中の同じ位置に設定してよい。
この場合、前記分割探索手段は、前記分割探索動作を繰り返し実行する間に、前記探索領域が前記被追尾領域に近い位置から遠い位置に向かって移動していくように、各回の探索対象移動ベクトルを設定してよい。
または、この移動量計測システムにおいて、前記分割探索手段は、各回の前記分割探索動作における前記探索領域が撮影画像中の同じ位置となるように、各回の前記分割探索動作において被追尾領域を撮影画像中の異なる位置に設定してよい。
この場合、前記分割探索手段は、前記分割探索動作を繰り返し実行する間に、前記被追尾領域が、前記探索領域に近い位置から遠い位置に向かって移動していくように、各回の前記分割探索動作において、被追尾領域と探索対象移動ベクトルを設定してよい。
または、この移動量計測システムにおいて、前記分割探索手段は、前記分割探索動作を繰り返し実行する間に、被追尾領域の撮影画像中の位置と、探索領域の撮影画像中の位置を変化させてもよい。
また、この移動量計測システムにおいて、前記分割探索手段は、各回の前記分割探索動作において異なる移動ベクトルのセットを、前記基本探索動作で最後に探索に成功した画像間移動ベクトルとの差分の絶対値が小さい順に、順次、探索対象移動ベクトルに設定してもよい。
この移動量計測システムにおいて、前記分割探索手段は、各回の前記分割探索動作において、被追尾領域を、撮影画像中の同じ位置に設定してよい。
この場合、前記分割探索手段は、前記分割探索動作を繰り返し実行する間に、前記探索領域が前記被追尾領域に近い位置から遠い位置に向かって移動していくように、各回の探索対象移動ベクトルを設定してよい。
または、この移動量計測システムにおいて、前記分割探索手段は、各回の前記分割探索動作における前記探索領域が撮影画像中の同じ位置となるように、各回の前記分割探索動作において被追尾領域を撮影画像中の異なる位置に設定してよい。
この場合、前記分割探索手段は、前記分割探索動作を繰り返し実行する間に、前記被追尾領域が、前記探索領域に近い位置から遠い位置に向かって移動していくように、各回の前記分割探索動作において、被追尾領域と探索対象移動ベクトルを設定してよい。
または、この移動量計測システムにおいて、前記分割探索手段は、前記分割探索動作を繰り返し実行する間に、被追尾領域の撮影画像中の位置と、探索領域の撮影画像中の位置を変化させてもよい。
また、この移動量計測システムにおいて、前記分割探索手段は、各回の前記分割探索動作において異なる移動ベクトルのセットを、前記基本探索動作で最後に探索に成功した画像間移動ベクトルとの差分の絶対値が小さい順に、順次、探索対象移動ベクトルに設定してもよい。
【0010】
また、この移動量計測システムにおいて、前記分割探索手段は、前記基本探索動作で最後に画像間移動ベクトルの探索に成功した被追尾領域を、各回の前記分割探索動作において被追尾領域に設定し、前記基本探索動作で最後に画像間移動ベクトルの探索に成功した探索領域に近い位置から遠い位置に向かって探索領域が移動していくように、各回の前記分割探索動作において探索対象移動ベクトルを設定してもよい。
【0011】
また、この移動量計測システムにおいて、前記分割探索手段は、前記基本探索動作で最後に画像間移動ベクトルの探索に成功した探索領域が各回の前記分割探索動作において探索領域となり、前記基本探索動作で最後に画像間移動ベクトルの探索に成功した被追尾領域に近い位置から遠い位置に向かって被追尾領域が移動していくように、各回の前記分割探索動作において、被追尾領域と探索対象移動ベクトルを設定してもよい。
【0012】
また、移動量計測システムは、前記カメラが移動体に搭載され、当該移動体が走行する走行面を前記対象体として撮影するものであってよい。
このような移動量計測システムによれば、現時点までに算定された画像間移動ベクトルより予測される、次回に画像間移動ベクトルとして算定される期待度が高い移動ベクトルを探索対象移動ベクトルとして、探索対象移動ベクトルのうちから画像間移動ベクトルの探索を行う基本探索動作による画像間移動ベクトルの探索に失敗したときには、分割探索動作を行う。そして、分割探索動作では、探索対象移動ベクトルを順次、所定の範囲内において網羅的に変化させながら、探索対象移動ベクトルのうちから画像間移動ベクトルの探索を行う。したがって、実際の撮影画像間の移動ベクトルによらず、いずれ、分割探索動作によって、画像間移動ベクトルの探索が成功することが期待できる。
このような移動量計測システムによれば、現時点までに算定された画像間移動ベクトルより予測される、次回に画像間移動ベクトルとして算定される期待度が高い移動ベクトルを探索対象移動ベクトルとして、探索対象移動ベクトルのうちから画像間移動ベクトルの探索を行う基本探索動作による画像間移動ベクトルの探索に失敗したときには、分割探索動作を行う。そして、分割探索動作では、探索対象移動ベクトルを順次、所定の範囲内において網羅的に変化させながら、探索対象移動ベクトルのうちから画像間移動ベクトルの探索を行う。したがって、実際の撮影画像間の移動ベクトルによらず、いずれ、分割探索動作によって、画像間移動ベクトルの探索が成功することが期待できる。
【0013】
また、分割探索動作によって、各回の分割探索動作毎に最新の撮影画像上に被追尾領域が設定されるので、分割探索動作によって探索される画像間移動ベクトルは、常に時間的に隣接する撮影画像間の移動ベクトルとなり、撮影画像間の最新の移動ベクトルを画像間移動ベクトルとして算定することができる。
【0014】
また、分割探索動作によって、各回の分割探索動作毎に最新の撮影画像上に被追尾領域が設定されるので、基本探索動作による画像間移動ベクトルの探索に失敗した時点の被追尾領域の像に対応する対象体の部分が撮影範囲外となったり、当該部分の向きが変化したりした等の理由により、被追尾領域とマッチする像が撮影画像中に存在しなくなった場合でも、支障なく、画像間移動ベクトルを見つけ出すことができる。
【0015】
また、現在までに探索した画像間移動ベクトルから予測した移動ベクトルのみを対象として画像間移動ベクトルを探索する基本探索動作を繰り返し実行する基本探索反復状態が標準の状態となるので、標準の状態における画像間移動ベクトル探索の処理量が増大することもない。
【発明の効果】
【0016】
以上のように、本発明によれば、カメラに対して相対的に移動する対象体の移動量の算出を短時間で処理することで、最新の移動量を取得することができる。
【図面の簡単な説明】
【0017】
【図1】本発明の実施形態に係る移動量計測システムの構成を示すブロック図である。
【図2】本発明の実施形態に係る移動量計測システムの適用例を示す図である。
【図3】本発明の実施形態に係る移動ベクトルの基本探索動作を示す図である。
【図4】本発明の実施形態に係る移動ベクトルの基本探索動作を示す図である。
【図5】本発明の実施形態に係る移動ベクトルの分割探索動作を示す図である。
【図6】本発明の実施形態に係る移動ベクトルの分割探索動作の他の例を示す図である。
【図7】本発明の実施形態に係る移動ベクトルの分割探索動作の他の例を示す図である。
【図8】本発明の実施形態に係る移動ベクトルの分割探索動作の他の例を示す図である。
【図9】本発明の実施形態に係る実距離変換係数の算出動作の例を示す図である。
【発明を実施するための形態】
【0018】
本発明の第１実施形態について説明する。
図１に、第１実施形態に係る移動量計測システムの構成を示す。
図示するように、移動量計測システムは、計測装置１とステレオカメラ２を備えている。
計測装置１は、移動ベクトル探索部１１、離間距離計測部１２、実距離変換係数算出部１３、移動状態算定部１４を備えている。
また、ステレオカメラ２は、第１カメラ２１と第２カメラ２２との２つのカメラを備えている。
移動量計測システムは、ステレオカメラ２で撮影する対象体とステレオカメラ２間の相対的な移動量を計測するシステムであり、たとえば、図２ａ、ｂのような移動量の計測に適用することができる。
図２ａは、ステレオカメラ２を移動体（図では、自動車）に固定し、路面を対象体として路面に対する移動体の移動量を計測する適用例を示している。この場合、ステレオカメラ２は第１カメラ２１と第２カメラ２２で路面を真上より撮影するように配置される。また、第１カメラ２１と第２カメラ２２は、対象体（路面）に対するステレオカメラ２の標準的な移動方向MD（移動体の前方向）と垂直、かつ、第１カメラ２１と第２カメラ２２の光軸と垂直な方向に離間して配置する。また、第１カメラ２１と第２カメラ２２は、撮影した画像の上方向が、移動方向MDとなる向きで配置する。
図１に、第１実施形態に係る移動量計測システムの構成を示す。
図示するように、移動量計測システムは、計測装置１とステレオカメラ２を備えている。
計測装置１は、移動ベクトル探索部１１、離間距離計測部１２、実距離変換係数算出部１３、移動状態算定部１４を備えている。
また、ステレオカメラ２は、第１カメラ２１と第２カメラ２２との２つのカメラを備えている。
移動量計測システムは、ステレオカメラ２で撮影する対象体とステレオカメラ２間の相対的な移動量を計測するシステムであり、たとえば、図２ａ、ｂのような移動量の計測に適用することができる。
図２ａは、ステレオカメラ２を移動体（図では、自動車）に固定し、路面を対象体として路面に対する移動体の移動量を計測する適用例を示している。この場合、ステレオカメラ２は第１カメラ２１と第２カメラ２２で路面を真上より撮影するように配置される。また、第１カメラ２１と第２カメラ２２は、対象体（路面）に対するステレオカメラ２の標準的な移動方向MD（移動体の前方向）と垂直、かつ、第１カメラ２１と第２カメラ２２の光軸と垂直な方向に離間して配置する。また、第１カメラ２１と第２カメラ２２は、撮影した画像の上方向が、移動方向MDとなる向きで配置する。
【0019】
図２ｂは、ステレオカメラ２を基準座標系に固定し、基準座標系に対して移動する物体面(図では、ベルトコンベアの搬送物載置面）を対象体として、対象体の基準座標系に対する移動量を計測する適用例を示している。この場合、ステレオカメラ２は第１カメラ２１と第２カメラ２２で物体面を真上より撮影するように配置される。また、第１カメラ２１と第２カメラ２２は、対象体（物体面）に対するステレオカメラ２の相対的な移動方向MD（物体面の基準座標系に対する移動方向の反対方向）と垂直、かつ、第１カメラ２１と第２カメラ２２の光軸と垂直な方向に離間して配置する。また、第１カメラ２１と第２カメラ２２は、撮影した画像の上方向が、移動方向MDとなる向きで配置する。
【0020】
次に、計測装置１の移動ベクトル探索部１１によって行われる基本探索動作について説明する。
基本探索動作は、時間的に隣接する計測動作実行時点間の撮影画像の移動ベクトルを探索する処理であり、計測装置１の計測動作の開始後、移動ベクトルの探索に失敗するまで、一定の周期からなる各計測動作実行時点で実行される。
ここで、図３ａに示すように、計測動作の開始時点をt=1で表し、処理開始時点からn回目の計測動作実行時点をt=nで表すものとする。
また、t=nに第１カメラ２１で撮影された画像をP（t=n）で表すものとする。
図３ｂに示すように、基本探索動作では、t=iの時点で、画像P（t=i）中に被追尾領域A（t=i）を設定すると共に、次回探索領域NS（t=i）を設定する。この被追尾領域A（t=i）と次回探索領域NS（t=i）の設定動作については後述する。
被追尾領域A（t=i）は複数画素×複数画素の固定サイズ(図の例では３画素×３画素）である。
次に、図３ｃに示すように、t=i+1の時点で、画像P（t=i+1）の前回設定した次回探索領域NS（t=i）中の、被追尾領域A（t=i）と同サイズの各領域に向かう各移動ベクトルを当該領域に対応する探索対象移動ベクトルとして、各領域に対応する探索対象移動ベクトルのうちから画像間移動ベクトルVP（t=i+1)を探索する。
基本探索動作は、時間的に隣接する計測動作実行時点間の撮影画像の移動ベクトルを探索する処理であり、計測装置１の計測動作の開始後、移動ベクトルの探索に失敗するまで、一定の周期からなる各計測動作実行時点で実行される。
ここで、図３ａに示すように、計測動作の開始時点をt=1で表し、処理開始時点からn回目の計測動作実行時点をt=nで表すものとする。
また、t=nに第１カメラ２１で撮影された画像をP（t=n）で表すものとする。
図３ｂに示すように、基本探索動作では、t=iの時点で、画像P（t=i）中に被追尾領域A（t=i）を設定すると共に、次回探索領域NS（t=i）を設定する。この被追尾領域A（t=i）と次回探索領域NS（t=i）の設定動作については後述する。
被追尾領域A（t=i）は複数画素×複数画素の固定サイズ(図の例では３画素×３画素）である。
次に、図３ｃに示すように、t=i+1の時点で、画像P（t=i+1）の前回設定した次回探索領域NS（t=i）中の、被追尾領域A（t=i）と同サイズの各領域に向かう各移動ベクトルを当該領域に対応する探索対象移動ベクトルとして、各領域に対応する探索対象移動ベクトルのうちから画像間移動ベクトルVP（t=i+1)を探索する。
【0021】
この探索対象移動ベクトルのうちから画像間移動ベクトルVP（t=i+1)を探索するには、次のように行う。
すなわち、各探索対象移動ベクトルに対応する領域を順次、類似度算定領域に設定し、類似度算定領域と被追尾領域A（t=i)の類似度を算定し、所定のしきい値以上の類似度が算定された類似度算定領域が出現したならば、画像間移動ベクトルVPの探索を成功とし、出現した類似度算定領域を追尾結果領域B（t=i+1)とする。そして、被追尾領域A（t=i)の基準点Ag（t=i)を始点とし、追尾結果領域B（t=i+1)の左下の画素位置である基準点Bg（t=i+1)を終点とする画像空間上の移動ベクトル（追尾結果領域B（t=i+1)に対応する探索対象移動ベクトル）を、探索した画像間移動ベクトルVP（t=i+1)とする。一方、しきい値以上の類似度の類似度算定領域が出現しなかったときには、画像間移動ベクトルVPの探索は失敗とする。ここで、類似度とは２つの領域の画像情報に基づき算出される０以上１以下の指標であって、２つの領域が似通っているほど１に近い値を、まったく同じ画像情報では１をとるものとする。
すなわち、各探索対象移動ベクトルに対応する領域を順次、類似度算定領域に設定し、類似度算定領域と被追尾領域A（t=i)の類似度を算定し、所定のしきい値以上の類似度が算定された類似度算定領域が出現したならば、画像間移動ベクトルVPの探索を成功とし、出現した類似度算定領域を追尾結果領域B（t=i+1)とする。そして、被追尾領域A（t=i)の基準点Ag（t=i)を始点とし、追尾結果領域B（t=i+1)の左下の画素位置である基準点Bg（t=i+1)を終点とする画像空間上の移動ベクトル（追尾結果領域B（t=i+1)に対応する探索対象移動ベクトル）を、探索した画像間移動ベクトルVP（t=i+1)とする。一方、しきい値以上の類似度の類似度算定領域が出現しなかったときには、画像間移動ベクトルVPの探索は失敗とする。ここで、類似度とは２つの領域の画像情報に基づき算出される０以上１以下の指標であって、２つの領域が似通っているほど１に近い値を、まったく同じ画像情報では１をとるものとする。
【0022】
また、被追尾領域設定部は、図３ｄに示すように、画像P（t=i+1）中に被追尾領域A（t=i+1）を設定すると共に、次回探索領域NS（t=i+1）を設定する。
次に、図３ｅに示すように、t=i+2の時点で、画像P（t=i+2）の前回設定した次回探索領域NS（t=i+1）中の、被追尾領域A（t=i+1）と同サイズの各領域に向かう各移動ベクトルを当該領域に対応する探索対象移動ベクトルとして、各領域に対応する探索対象移動ベクトルのうちから画像間移動ベクトルVP（t=i+2)を探索する。
次に、図３ｅに示すように、t=i+2の時点で、画像P（t=i+2）の前回設定した次回探索領域NS（t=i+1）中の、被追尾領域A（t=i+1）と同サイズの各領域に向かう各移動ベクトルを当該領域に対応する探索対象移動ベクトルとして、各領域に対応する探索対象移動ベクトルのうちから画像間移動ベクトルVP（t=i+2)を探索する。
【0023】
画像間移動ベクトルVP（t=i+2)の探索においては、各探索対象移動ベクトルに対応する領域を順次、類似度算定領域に設定し、類似度算定領域と被追尾領域A（t=i+1)の類似度を算定し、所定のしきい値以上の類似度が算定された類似度算定領域が出現したならば、画像間移動ベクトルVPの探索を成功とし、出現した類似度算定領域を追尾結果領域B（t=i+2)とする。そして、被追尾領域A（t=i+1)の基準点Ag（t=i+1)を始点とし、探索した追尾結果領域B（t=i+2)の左下の画素位置である基準点Bg（t=i+2)を終点とする画像空間上の移動ベクトル（追尾結果領域B（t=i+2)に対応する探索対象移動ベクトル）を、探索した画像間移動ベクトルVP（t=i+2)とする。一方、しきい値以上の類似度の類似度算定領域が出現しなかったときには、画像間移動ベクトルVPの探索は失敗とする。
【0024】
以下、同様に、当該時点における探索対象移動ベクトルからの画像間移動ベクトルVPの探索、当該時点における被追尾領域Aと次回探索領域NSの設定が、画像間移動ベクトルVPの探索が失敗するまで繰り返し行われていく。なお、各回の複数の探索対象移動ベクトルについて算定した類似度が、所定のしきい値以上となった場合は、類似度がもっとも高い移動ベクトル、または、前回の画像間移動ベクトルVPと大きさがもっとも近い移動ベクトル、または、前回の画像間移動ベクトルVPと方向がもっとも近い移動ベクトルのいずれか、あるいは複合的に評価選定した１つの移動ベクトルを画像間移動ベクトルVPとすることができる。
【0025】
ここで、上述した被追尾領域Aと次回探索領域NSの設定動作について説明する。
この設定動作において、移動ベクトル探索部１１は、複数の探索候補移動ベクトルを、探索候補移動ベクトルセットとして設定する。
現時点をt=iとする各探索候補移動ベクトルは、現時点で算定された画像間移動ベクトルVP（t=i)、または、現時点までに算定された画像間移動ベクトルVPの履歴より予測される、次回に画像間移動ベクトルVP（t=i+1)として算定される期待度が上位の所定数の移動ベクトルとする。期待度が上位の所定数の移動ベクトルとしては、現時点までに算定された画像間移動ベクトルVPの履歴より所定の確率算定法により算定した、次回に画像間移動ベクトルVP（t=i+1)となる確率が上位の所定数の移動ベクトルを用いることができる。または、現時点で算定された画像間移動ベクトルVP（t=i)、または、現時点までに算定された画像間移動ベクトルVPの履歴より予測される次回の画像間移動ベクトルVP（t=i+1)と、向きや大きさが近似する所定数の移動ベクトルを、期待度が上位の所定数の移動ベクトルとして用いてもよい。ただし、初回のt=1の時点では、それまでに算定された画像間移動ベクトルVPがないので、予め定めておいた複数の探索候補移動ベクトルを、探索候補移動ベクトルセットとして設定する。
この設定動作において、移動ベクトル探索部１１は、複数の探索候補移動ベクトルを、探索候補移動ベクトルセットとして設定する。
現時点をt=iとする各探索候補移動ベクトルは、現時点で算定された画像間移動ベクトルVP（t=i)、または、現時点までに算定された画像間移動ベクトルVPの履歴より予測される、次回に画像間移動ベクトルVP（t=i+1)として算定される期待度が上位の所定数の移動ベクトルとする。期待度が上位の所定数の移動ベクトルとしては、現時点までに算定された画像間移動ベクトルVPの履歴より所定の確率算定法により算定した、次回に画像間移動ベクトルVP（t=i+1)となる確率が上位の所定数の移動ベクトルを用いることができる。または、現時点で算定された画像間移動ベクトルVP（t=i)、または、現時点までに算定された画像間移動ベクトルVPの履歴より予測される次回の画像間移動ベクトルVP（t=i+1)と、向きや大きさが近似する所定数の移動ベクトルを、期待度が上位の所定数の移動ベクトルとして用いてもよい。ただし、初回のt=1の時点では、それまでに算定された画像間移動ベクトルVPがないので、予め定めておいた複数の探索候補移動ベクトルを、探索候補移動ベクトルセットとして設定する。
【0026】
そして、探索候補移動ベクトルセットに従って、被追尾領域A（t=i)と次回探索領域NS（t=i)の相対的な位置関係と次回探索領域NS（t=i)の形状を求める。
次回探索領域NS（t=i)は、探索候補移動ベクトルセットの各探索候補移動ベクトルについて、被追尾領域A（t=i)を探索候補移動ベクトル分移動した領域の和として、領域の形状と、被追尾領域A（t=i)に対する相対的な位置が定まる。
たとえば、探索候補移動ベクトルセットに、図４ａに示すev1-ev16の１６個の探索候補移動ベクトルが含まれる場合、各探索候補移動ベクトルev1-ev16のそれぞれについて、被追尾領域A（t=i)を図４ｂ１に示すように探索候補移動ベクトル分移動した領域の和として、図４ｂ２に示す次回探索領域NS（t=i)が定まる。
次回探索領域NS（t=i)は、探索候補移動ベクトルセットの各探索候補移動ベクトルについて、被追尾領域A（t=i)を探索候補移動ベクトル分移動した領域の和として、領域の形状と、被追尾領域A（t=i)に対する相対的な位置が定まる。
たとえば、探索候補移動ベクトルセットに、図４ａに示すev1-ev16の１６個の探索候補移動ベクトルが含まれる場合、各探索候補移動ベクトルev1-ev16のそれぞれについて、被追尾領域A（t=i)を図４ｂ１に示すように探索候補移動ベクトル分移動した領域の和として、図４ｂ２に示す次回探索領域NS（t=i)が定まる。
【0027】
そして、次回探索領域NS（t=i)の形状と被追尾領域A（t=i)の相対的な位置関係に従って、被追尾領域A（t=i)と次回探索領域NS（t=i)の双方が撮影画像中の領域となるように、画像P（t=i）中に被追尾領域A（t=i）を設定すると共に、次回探索領域NS（t=i）を設定する。この際に、画像P（t=i）の被追尾領域A（t=i)が、できるだけ特徴のある像を含む領域となるように、被追尾領域A（t=i）と次回探索領域NS（t=i）を設定してもよい。
【0028】
したがって、図４ｂ２に示すように次回探索領域NS（t=i)が定まった場合には、たとえば、図４ｃに示すように、被追尾領域A（t=i)と次回探索領域NS（t=i)の双方が撮影画像中の領域となるように、被追尾領域A（t=i)と次回探索領域NS（t=i)が設定される。
このように探索候補移動ベクトルセットに基づいて次回探索領域NS（t=i)を設定することにより、t=i+1の基本探索動作では、次回探索領域NS（t=i）の設定に用いた探索候補移動ベクトルセットが探索対象移動ベクトルのセットとなり、探索候補移動ベクトルセットに含まれるベクトルの各々を探索対象移動ベクトルとする、画像間移動ベクトルVP(t=i+1)の探索が行われる。
このように探索候補移動ベクトルセットに基づいて次回探索領域NS（t=i)を設定することにより、t=i+1の基本探索動作では、次回探索領域NS（t=i）の設定に用いた探索候補移動ベクトルセットが探索対象移動ベクトルのセットとなり、探索候補移動ベクトルセットに含まれるベクトルの各々を探索対象移動ベクトルとする、画像間移動ベクトルVP(t=i+1)の探索が行われる。
【0029】
ここで、探索候補移動ベクトルセットに含めるベクトルの数や範囲は、各計測実行時点の基本探索動作において、次回の計測実行時点が到来する前に、画像間移動ベクトルVPの探索を完了できるように設定する。
また、移動ベクトル探索部１１は、基本探索動作で画像間移動ベクトルVPの探索に失敗した場合、基本探索動作を停止し、分割探索動作を開始する。
すなわち、図５ａ１に示すようにt=jにおいて、被追尾領域A（t=j）と次回探索領域NS（t=j）を設定したときに、図５ａ２に示すようにt=j+1の画像P（t=j+1）の次回探索領域NS（t=j）中に、被追尾領域A（t=j）に対して、しきい値以上の類似度を有する領域が存在しなかった場合、t=j+1において画像間移動ベクトルVPの探索は失敗となり、基本探索動作が停止され分割探索動作が開始される。分割探索動作の開始時点は、画像間移動ベクトルVPの探索に失敗したt=j+1であり、画像P（t=j+1）が初回の分割探索動作の対象となる。
また、移動ベクトル探索部１１は、基本探索動作で画像間移動ベクトルVPの探索に失敗した場合、基本探索動作を停止し、分割探索動作を開始する。
すなわち、図５ａ１に示すようにt=jにおいて、被追尾領域A（t=j）と次回探索領域NS（t=j）を設定したときに、図５ａ２に示すようにt=j+1の画像P（t=j+1）の次回探索領域NS（t=j）中に、被追尾領域A（t=j）に対して、しきい値以上の類似度を有する領域が存在しなかった場合、t=j+1において画像間移動ベクトルVPの探索は失敗となり、基本探索動作が停止され分割探索動作が開始される。分割探索動作の開始時点は、画像間移動ベクトルVPの探索に失敗したt=j+1であり、画像P（t=j+1）が初回の分割探索動作の対象となる。
【0030】
分割探索動作も、時間的に隣接する計測動作実行時点間の撮影画像の移動ベクトルを画像間移動ベクトルVPとして探索する処理であり、画像間移動ベクトルVPの探索に成功するまで、各計測動作実行時点で実行される。そして、移動ベクトル探索部１１は、画像間移動ベクトルVPの探索に成功したならば、分割探索動作を停止し、基本探索動作に復帰する。
【0031】
分割探索動作においても、各時点において、当該時点における探索対象移動ベクトルのうちから画像間移動ベクトルVPの探索を行うと共に、当該時点における被追尾領域Aと次回探索領域NSの設定を行う。ただし、t=j+1の初回の分割探索動作では、被追尾領域Aと次回探索領域NSの設定のみを行う。
【0032】
分割探索動作が、基本探索動作と異なる点は、画像P中の被追尾領域Aの位置を固定することと、各回の分割探索動作で探索対象移動ベクトルのセットとして用いる移動ベクトルのセットを順番に切り替える点である。
被追尾領域Aを固定する画像P中の位置は、たとえば、図５ｂ１に示す画像Pの中央の位置とする。また、探索対象移動ベクトルのセットとして用いる移動ベクトルのセットの切り替えは、図５ｂ２に示すように、一連の分割探索動作において、被追尾領域Aを中心とする渦巻きの内側から外側へと渦巻きに沿って、被追尾領域Aとの類似度を算定する類似度算定領域を変化させていくことができるように、各回の次回探索領域NSを設定することで行う。各回の次回探索領域NSの設定は、画像P中の被追尾領域Aと同サイズの領域の全てが順次、類似度算定領域に設定されるように行う。
被追尾領域Aを固定する画像P中の位置は、たとえば、図５ｂ１に示す画像Pの中央の位置とする。また、探索対象移動ベクトルのセットとして用いる移動ベクトルのセットの切り替えは、図５ｂ２に示すように、一連の分割探索動作において、被追尾領域Aを中心とする渦巻きの内側から外側へと渦巻きに沿って、被追尾領域Aとの類似度を算定する類似度算定領域を変化させていくことができるように、各回の次回探索領域NSを設定することで行う。各回の次回探索領域NSの設定は、画像P中の被追尾領域Aと同サイズの領域の全てが順次、類似度算定領域に設定されるように行う。
【0033】
ただし、次回探索領域NSのサイズや形状は、各計測実行時点で行う分割探索動作において、次回の計測実行時点が到来する前に、画像間移動ベクトルVPの探索を完了できるように設定する。
図５ｃ１-ｃ７は、このようにして設定する次回探索領域NSの遷移を示したものである。図示するように各回の次回探索領域NSを設定することにより、一連の分割探索動作において、被追尾領域Aを中心とする渦巻きの内側から外側に向かって渦巻きに沿って、被追尾領域Aとの類似度を算定する類似度算定領域を変化させることができる。
図５ｃ１-ｃ７は、このようにして設定する次回探索領域NSの遷移を示したものである。図示するように各回の次回探索領域NSを設定することにより、一連の分割探索動作において、被追尾領域Aを中心とする渦巻きの内側から外側に向かって渦巻きに沿って、被追尾領域Aとの類似度を算定する類似度算定領域を変化させることができる。
【0034】
そして、移動ベクトル探索部１１は、一連の分割探索動作において、前回設定された次回探索領域NS中で、類似度算定領域を、被追尾領域Aを中心とする渦巻きの内側から外側に向かい、渦巻きに沿って進むように変化させていきながら、前回設定した被追尾領域Aと類似度算定領域の類似度を算定し、所定のしきい値以上の類似度が算定された類似度算定領域が出現したならば、その回の分割探索動作の画像間移動ベクトルVPの探索を成功とし、出現した類似度算定領域を追尾結果領域Bとして、前回の被追尾領域Aの基準点Agを始点、今回の追尾結果領域Bの左下の画素位置である基準点Bgを終点とする移動ベクトル（追尾結果領域Bに対応する探索対象候補ベクトル）を、探索した画像間移動ベクトルVPとする。一方、しきい値以上の類似度の類似度算定領域が出現しなかった分割探索動作における画像間移動ベクトルVPの探索は失敗となる。
【0035】
なお、図５ｃ７に示す最後の次回探索領域NSに対しても画像間移動ベクトルVPの探索が成功しなかった場合には、図５ｃ１の最初の次回探索領域NSから、再度、順次、図５ｃ１-ｃ７のように、次回探索領域NSを設定していく。
以上、分割探索動作について説明した。
以上では、次回探索領域NSを変化させることにより、各回の分割探索動作で探索対象移動ベクトルのセットとして用いる移動ベクトルのセットを順番に切り替えたが、この切り替えは、次回探索領域NSを用いずに行ってもよい。
この場合には、各回の分割探索動作において、被追尾領域Aを中心とする渦巻きに沿った位置が前回の分割探索動作において最後に設定した類似度算定領域の次の位置の類似度算定領域から、渦巻きの内側から外側に向かって、類似度算定領域を進めながら画像間移動ベクトルVPの探索を行い、次回の計測実行時点が到来する前に、今回の分割探索動作を終了し、次回の分割探索動作で探索の続きを再開する。
以上、分割探索動作について説明した。
以上では、次回探索領域NSを変化させることにより、各回の分割探索動作で探索対象移動ベクトルのセットとして用いる移動ベクトルのセットを順番に切り替えたが、この切り替えは、次回探索領域NSを用いずに行ってもよい。
この場合には、各回の分割探索動作において、被追尾領域Aを中心とする渦巻きに沿った位置が前回の分割探索動作において最後に設定した類似度算定領域の次の位置の類似度算定領域から、渦巻きの内側から外側に向かって、類似度算定領域を進めながら画像間移動ベクトルVPの探索を行い、次回の計測実行時点が到来する前に、今回の分割探索動作を終了し、次回の分割探索動作で探索の続きを再開する。
【0036】
このような本実施形態によれば、現時点までに算定された画像間移動ベクトルVPより予測される、次回の画像間移動ベクトルVPとして算定される期待度が上位の所定数の移動ベクトルを探索対象移動ベクトルとし、探索対象移動ベクトルのうちから画像間移動ベクトルVPの探索を行う基本探索動作による画像間移動ベクトルVPの探索に失敗した場合は、基本探索動作を停止し、分割探索動作を行う。そして、分割探索動作では、探索対象移動ベクトルを順次、網羅的に変化させながら、探索対象移動ベクトルのうちから画像間移動ベクトルVPの探索を行う。したがって、実際の画像間の移動ベクトルによらず、いずれ、分割探索動作によって画像間移動ベクトルVPの探索が成功することが期待できる。
【0037】
また、分割探索動作によって、各回の分割探索動作毎に最新の画像P上に被追尾領域Aが設定されるので、分割探索動作によって探索される画像間移動ベクトルVPは、常に時間的に隣接する画像P間の移動ベクトルとなり、画像P間の最新の移動ベクトルを画像間移動ベクトルVPとして算定することができる。
【0038】
また、分割探索動作によって、各回の分割探索動作毎に最新の画像P上に被追尾領域Aが設定されるので、基本探索動作による画像間移動ベクトルVPの探索に失敗した時点の被追尾領域Aの像に対応する対象体の部分が撮影範囲外になったり、当該部分の向きが変化したりした等の理由により、当該被追尾領域Aとマッチする像が画像P中に存在しなくなった場合でも、支障なく、画像間移動ベクトルVPを見つけ出すことができる。
【0039】
また、現在までに探索した画像間移動ベクトルVPから予測した探索候補移動ベクトルのみを対象として画像間移動ベクトルVPを探索する基本探索動作を繰り返し実行する状態を標準の状態とすると、分割探索動作においても、一定の周期からなる各計測動作実行時点で実行される処理量が増大することもない。
【0040】
以上の分割探索動作では、図５ｂ２に示したように、各回の分割探索動作において、被追尾領域Aを中心とする渦巻きの内側から外側へ渦巻きに沿って進むように類似度算定領域を変化させた。このように類似度算定領域を変化させることにより、より小さい移動ベクトルを探索対象とする画像間移動ベクトルVPの探索が、より先に行われるので、対象体とステレオカメラ２との間の相対移動速度が小さい場合には、より速やかに画像間移動ベクトルVPを探索できることが期待できる。
【0041】
ここで、以上の分割探索動作では、一連の分割探索動作において、位置を固定した被追尾領域Aを中心とする渦巻きの内側から外側へと渦巻きに沿って類似度算定領域が変化するように各回の次回探索領域NSを設定したが、これは、最後に探索に成功した画像間移動ベクトルVP分、被追尾領域Aを移動した領域を中心とする渦巻きの内側から外側へと渦巻きに沿って、類似度算定領域が変化するように各回の次回探索領域NSを設定してもよい。
【0042】
このようにすることにより、おおよそ、最後に探索に成功した画像間移動ベクトルVPとの差分の絶対値がより小さい移動ベクトルを探索対象移動ベクトルとする画像間移動ベクトルVPの探索がより先に行われるので、対象体とステレオカメラ２との間の相対移動速度の変化が小さい場合には、より速やかに画像間移動ベクトルVPを探索できることが期待できる。
【0043】
また、以上の分割探索動作は、基本探索動作で最後に画像間移動ベクトルVPの探索に成功した被追尾領域Aを、各回の分割探索動作において被追尾領域に設定し、基本探索動作で最後に画像間移動ベクトルの探索に成功した次回探索領域NSに近い位置から遠い位置に向かって移動していくように、各回の分割探索動作において次回探索領域NSを設定するようにしてもよい。
【0044】
または、以上の分割探索動作は、基本探索動作で最後に画像間移動ベクトルの探索に成功した次回探索領域NSを、各回の分割探索動作において次回探索領域NSに設定し、前記基本探索動作で最後に画像間移動ベクトルVPの探索に成功した被追尾領域Aに近い位置から遠い位置に向かって移動していくように、各回の分割探索動作において被追尾領域Aを設定するようにしてもよい。
【0045】
これらのようにしても、おおよそ、最後に探索に成功した画像間移動ベクトルVPとの差分の絶対値がより小さい移動ベクトルを探索対象移動ベクトルとする画像間移動ベクトルVPの探索がより先に行われるので、対象体とステレオカメラ２との間の相対移動速度の変化が小さい場合には、より速やかに画像間移動ベクトルVPを探索できることが期待できる。
【0046】
また、各回の分割探索動作は、図６ａに示すように、左から右に進む動作を、左から右に進める上下方向の位置を上から下に進めながら行うラスタスキャン（左上から右下に向かうラスタスキャン）順に類似度算定領域を変化させるものとしてもよい。
この場合には、図６ｂ１-ｂ７に示すように各回の次回探索領域NSを設定することにより、各回の分割探索動作において、ラスタスキャン順に類似度算定領域を変化させることができる。
なお、図６ｂ７に示す最後の次回探索領域NSに対しても画像間移動ベクトルVPの探索に成功しなかった場合には、図６ｂ１の最初の次回探索領域NSから、再度、順次、図６ｂ１-ｂ７のように、次回探索領域NSを設定していく。
この分割探索動作も次回探索領域NSを用いずに行ってもよく、この場合には、各回の分割探索動作において、ラスタスキャン順の位置が、前回の分割探索動作において最後に設定した類似度算定領域の次の位置の類似度算定領域から、ラスタスキャン順に類似度算定領域を進めながら画像間移動ベクトルVPの探索を行い、次回の計測実行時点が到来する前に、今回の分割探索動作を終了し、次回の分割探索動作で探索の続きを再開する。
この場合には、図６ｂ１-ｂ７に示すように各回の次回探索領域NSを設定することにより、各回の分割探索動作において、ラスタスキャン順に類似度算定領域を変化させることができる。
なお、図６ｂ７に示す最後の次回探索領域NSに対しても画像間移動ベクトルVPの探索に成功しなかった場合には、図６ｂ１の最初の次回探索領域NSから、再度、順次、図６ｂ１-ｂ７のように、次回探索領域NSを設定していく。
この分割探索動作も次回探索領域NSを用いずに行ってもよく、この場合には、各回の分割探索動作において、ラスタスキャン順の位置が、前回の分割探索動作において最後に設定した類似度算定領域の次の位置の類似度算定領域から、ラスタスキャン順に類似度算定領域を進めながら画像間移動ベクトルVPの探索を行い、次回の計測実行時点が到来する前に、今回の分割探索動作を終了し、次回の分割探索動作で探索の続きを再開する。
【0047】
以上では、分割探索動作において、画像P中の被追尾領域Aの位置を固定し、各分割探索動作で設定する次回探索領域NSを変化させたが、画像P中の次回探索領域NSの位置を固定し、各分割探索動作で設定する被追尾領域Aの位置を変化させることにより、各回の分割探索動作で探索対象移動ベクトルのセットとして用いる移動ベクトルのセットを順番に切り替えてもよい。
【0048】
この場合には、たとえば、図７ａに示すように、画像P中の次回探索領域NSの位置を、画像Pの中央の位置に固定する。
そして、図７ｂ１-ｂ１５に示すように、被追尾領域Aと次回探索領域NSとの位置関係によって定まる探索対象移動ベクトルのセットの各探索対象移動ベクトルが、各回の分割探索動作で重複しないように、被追尾領域Aの位置を変化させていく。
好ましくは、被追尾領域Aが、次回探索領域NSに近い位置から遠い位置に向かって移動するように、各回の被追尾領域Aを設定する。このように被追尾領域Aを移動させることで、より小さい移動ベクトルを探索対象とする画像間移動ベクトルVPの探索が、より先に行われるので、対象体とステレオカメラ２との間の標準的な相対移動速度が小さい場合には、より速やかに画像間移動ベクトルVPを探索できることが期待できる。
そして、図７ｂ１-ｂ１５に示すように、被追尾領域Aと次回探索領域NSとの位置関係によって定まる探索対象移動ベクトルのセットの各探索対象移動ベクトルが、各回の分割探索動作で重複しないように、被追尾領域Aの位置を変化させていく。
好ましくは、被追尾領域Aが、次回探索領域NSに近い位置から遠い位置に向かって移動するように、各回の被追尾領域Aを設定する。このように被追尾領域Aを移動させることで、より小さい移動ベクトルを探索対象とする画像間移動ベクトルVPの探索が、より先に行われるので、対象体とステレオカメラ２との間の標準的な相対移動速度が小さい場合には、より速やかに画像間移動ベクトルVPを探索できることが期待できる。
【0049】
最後の位置への被追尾領域Aの設定まで進んでも探索に成功しなかったときには、再度、最初の位置への被追尾領域Aの設定から探索を行う。
このように、次回探索領域NSの位置を固定し、被追尾領域Aの位置を変化させても、各回の分割探索動作で探索対象移動ベクトルのセットとして用いる移動ベクトルのセットを順番に切り替えることができる。
また、以上の分割探索動作を、次回探索領域NSの位置と被追尾領域Aの位置の双方を変化させながら行うことにより、分割探索動作毎に、探索対象移動ベクトルとして用いる探索候補移動ベクトルのセットを順番に切り替えてもよい。
たとえば、図８ａ１に示すように被追尾領域Aを画像Pの上端の左右方向について中央の位置に固定し、各回の分割探索動作において、各回の次回探索領域NSを図８ｃ１-ｃ７のように設定し、分割探索動作を繰り返しながら図８ａ２に示す左上から右下に向かうラスタスキャン順に類似度算定領域を変化させる。そして、次回探索領域NSが画像Pの右下角の位置まで進んだならば、図８ｂ１に示すように被追尾領域Aを画像Pの下端の左右方向について中央の位置に固定し、各回の分割探索動作において、各回の次回探索領域NSを図８ｃ８-ｃ１４のように設定し、分割探索動作を繰り返しながら、図８ｂ２に示す右下から左上に向かうラスタスキャン順に類似度算定領域を変化させる。
このように、次回探索領域NSの位置を固定し、被追尾領域Aの位置を変化させても、各回の分割探索動作で探索対象移動ベクトルのセットとして用いる移動ベクトルのセットを順番に切り替えることができる。
また、以上の分割探索動作を、次回探索領域NSの位置と被追尾領域Aの位置の双方を変化させながら行うことにより、分割探索動作毎に、探索対象移動ベクトルとして用いる探索候補移動ベクトルのセットを順番に切り替えてもよい。
たとえば、図８ａ１に示すように被追尾領域Aを画像Pの上端の左右方向について中央の位置に固定し、各回の分割探索動作において、各回の次回探索領域NSを図８ｃ１-ｃ７のように設定し、分割探索動作を繰り返しながら図８ａ２に示す左上から右下に向かうラスタスキャン順に類似度算定領域を変化させる。そして、次回探索領域NSが画像Pの右下角の位置まで進んだならば、図８ｂ１に示すように被追尾領域Aを画像Pの下端の左右方向について中央の位置に固定し、各回の分割探索動作において、各回の次回探索領域NSを図８ｃ８-ｃ１４のように設定し、分割探索動作を繰り返しながら、図８ｂ２に示す右下から左上に向かうラスタスキャン順に類似度算定領域を変化させる。
【0050】
図８ｃ１４の設定まで進んでも画像間移動ベクトルVPの探索に成功しなかったならば、再度、図８ｃ１の設定からの探索に戻る。
このように一連の分割探索動作において次回探索領域NSの位置と被追尾領域Aの位置の双方を変化させることにより、一方の位置のみを変化させる場合に比べ、より大きさの大きい移動ベクトルまで探索対象移動ベクトルに設定して、画像間移動ベクトルVPの探索を行うことができる。図８の場合は、一方の位置のみを変化させる場合に比べ、主たる移動方向MDおよび移動方向MDと反対の方向について、より大きさの大きい移動ベクトルまで、探索対象移動ベクトルに設定して画像間移動ベクトルVPの探索を行うことができる。
このように一連の分割探索動作において次回探索領域NSの位置と被追尾領域Aの位置の双方を変化させることにより、一方の位置のみを変化させる場合に比べ、より大きさの大きい移動ベクトルまで探索対象移動ベクトルに設定して、画像間移動ベクトルVPの探索を行うことができる。図８の場合は、一方の位置のみを変化させる場合に比べ、主たる移動方向MDおよび移動方向MDと反対の方向について、より大きさの大きい移動ベクトルまで、探索対象移動ベクトルに設定して画像間移動ベクトルVPの探索を行うことができる。
【0051】
この分割探索動作も次回探索領域NSを用いずに行ってもよく、この場合には、各回の分割探索動作において、まず、図８ａ１に示すように被追尾領域Aを画像Pの上端の左右方向について中央の位置に固定し、図８ａ２に示すラスタスキャン順に、前回の分割探索動作において最後に設定した類似度算定領域の次の類似度算定領域から類似度算定領域を進めながら画像間移動ベクトルVPの探索を行い、次に、図８ｂ１に示すように被追尾領域Aを画像Pの下端の左右方向について中央の位置に固定し、図８ｂ２に示すラスタスキャン順に、前回の分割探索動作において最後に設定した類似度算定領域の次の類似度算定領域から類似度算定領域を進めながら画像間移動ベクトルVPの探索を行う。各回の分割探索動作は、次回の計測実行時点が到来する前に、今回の分割探索動作を終了し、次回の分割探索動作で探索の続きを再開する。
【0052】
次に、計測装置１の離間距離計測部１２と実距離変換係数算出部１３が行う実距離変換係数の算出動作について説明する。
離間距離計測部１２は、t=1の時点において、被追尾領域A（t=1)の中心に映り込んだ対象体上の位置の、ステレオカメラ２を構成する第１カメラ２１、第２カメラ２２からの光軸方向の距離ZA（t=1)を算出する。また、t=i+1の各時点において、被追尾領域A（t=i+1)の中心に映り込んだ対象体上の位置の第１カメラ２１、第２カメラ２２からの光軸方向の距離ZA（t=i+1)と、追尾結果領域B（t=i+1)の中心に映り込んだ対象体上の位置の第１カメラ２１、第２カメラ２２からの光軸方向の距離ZB（t=i+1)を算出する。
離間距離計測部１２は、t=1の時点において、被追尾領域A（t=1)の中心に映り込んだ対象体上の位置の、ステレオカメラ２を構成する第１カメラ２１、第２カメラ２２からの光軸方向の距離ZA（t=1)を算出する。また、t=i+1の各時点において、被追尾領域A（t=i+1)の中心に映り込んだ対象体上の位置の第１カメラ２１、第２カメラ２２からの光軸方向の距離ZA（t=i+1)と、追尾結果領域B（t=i+1)の中心に映り込んだ対象体上の位置の第１カメラ２１、第２カメラ２２からの光軸方向の距離ZB（t=i+1)を算出する。
【0053】
対象体上の位置の第１カメラ２１、第２カメラ２２からの光軸方向の距離Zは次のように求めることができる。
いま、図９に示すように、F[mm]をステレオカメラ２の第１カメラ２１と第２カメラ２２の焦点距離とし、M[mm]を第１カメラ２１と第２カメラ２２間の実空間上の距離である基線長とする。また、距離Z[mm]を計測する対象体上の位置をTgとし、c1を第１カメラ２１で位置Tgが撮影された画像空間上の左右方向の位置とし、c2を第２カメラ２２で位置Tgが撮影された画像空間上の左右方向の位置とする。また、c11を、第１カメラ２１から光軸方向に焦点距離F離れた面SF上のc1に対応する位置とし、c21を、第２カメラ２２から光軸方向に焦点距離F離れた面SF上のc2に対応する位置とする。
いま、図９に示すように、F[mm]をステレオカメラ２の第１カメラ２１と第２カメラ２２の焦点距離とし、M[mm]を第１カメラ２１と第２カメラ２２間の実空間上の距離である基線長とする。また、距離Z[mm]を計測する対象体上の位置をTgとし、c1を第１カメラ２１で位置Tgが撮影された画像空間上の左右方向の位置とし、c2を第２カメラ２２で位置Tgが撮影された画像空間上の左右方向の位置とする。また、c11を、第１カメラ２１から光軸方向に焦点距離F離れた面SF上のc1に対応する位置とし、c21を、第２カメラ２２から光軸方向に焦点距離F離れた面SF上のc2に対応する位置とする。
【0054】
また、xl[mm]を第１カメラ２１の中央位置からc11までの左右方向の距離とし、xr[mm]を第２カメラ２２の中央位置からc21までの左右方向の距離とする。
そして、ｐ=xl-xrとすると、三角測量の原理に従い、位置Tgの距離Zは、
Z=（M×F）/ｐ
によって求まる。
第１カメラ２１の１画素に投影される、第１カメラ２１から焦点距離F離れた面上の領域のサイズをS[mm/pixel]とすると、第１カメラ２１の画像空間上で座標が１変化すると、距離Zと垂直な方向についてTgの位置は(Z/F)×S変化する。
そこで、この関係を用いて、実距離変換係数算出部１３は、t=i+1の各時点において、離間距離計測部１２が計測したZA（t=i）とZB（t=i+1)から、実距離変換係数K(t=i+1)を算出する。
実距離変換係数K(t=i+1)は、近似的なZ(t=i+1)をZA（t=i）とZB（t=i+1)の平均値{ZA（t=i）+ZB（t=i+1)}/2とし、
K(t=i+1)={Z(t=i+1)/F}×S
によって求める。
そして、ｐ=xl-xrとすると、三角測量の原理に従い、位置Tgの距離Zは、
Z=（M×F）/ｐ
によって求まる。
第１カメラ２１の１画素に投影される、第１カメラ２１から焦点距離F離れた面上の領域のサイズをS[mm/pixel]とすると、第１カメラ２１の画像空間上で座標が１変化すると、距離Zと垂直な方向についてTgの位置は(Z/F)×S変化する。
そこで、この関係を用いて、実距離変換係数算出部１３は、t=i+1の各時点において、離間距離計測部１２が計測したZA（t=i）とZB（t=i+1)から、実距離変換係数K(t=i+1)を算出する。
実距離変換係数K(t=i+1)は、近似的なZ(t=i+1)をZA（t=i）とZB（t=i+1)の平均値{ZA（t=i）+ZB（t=i+1)}/2とし、
K(t=i+1)={Z(t=i+1)/F}×S
によって求める。
【0055】
次に計測装置１の移動状態算定部１４は、t=i+1の各時点において、移動ベクトル探索部１１が探索した画像空間上の画像間移動ベクトルVP（t=i+1)と、実距離変換係数算出部１３が算出した実距離変換係数K(t=i+1)を用いて、対象体のステレオカメラ２に対する相対的な移動ベクトルV（t=i+1)を、
V（t=i+1)=K(t=i+1)×VP（t=i+1)により算出する。
V（t=i+1)=K(t=i+1)×VP（t=i+1)により算出する。
【0056】
そして、算出した対象体のステレオカメラ２に対する相対的な移動ベクトルV（t=i+1)から、対象体のステレオカメラ２に対する、もしくは、ステレオカメラ２の対象体に対する相対的な移動速度、加速度、移動方向などの各種移動状態を算定し出力する。移動状態として、対象体のステレオカメラ２に対する相対的な移動状態と、ステレオカメラ２の対象体に対する相対的な移動状態とのうちのどちらを算定するかは、移動量計測システムの用途に応じて設定する。
【0057】
また、移動状態算定部１４は、さらに、離間距離計測部１２が算定した画像内の複数の距離から相対的な角度等も移動状態として算定し出力してもよい。
以上、本発明の実施形態について説明した。
なお、実施形態において離間距離計測部１２によってステレオカメラ２を用いて算出した距離ZA（t=i)、距離ZB（t=i+1)は、レーザ距離計などの他の装置を用いて算出してもよい。
また、実施形態における第１カメラ２１と第２カメラ２２の役割は交換してもよい。
以上、本発明の実施形態について説明した。
なお、実施形態において離間距離計測部１２によってステレオカメラ２を用いて算出した距離ZA（t=i)、距離ZB（t=i+1)は、レーザ距離計などの他の装置を用いて算出してもよい。
また、実施形態における第１カメラ２１と第２カメラ２２の役割は交換してもよい。
【符号の説明】
【0058】
１…計測装置、２…ステレオカメラ、１１…移動ベクトル探索部、１２…離間距離計測部、１３…実距離変換係数算出部、１４…移動状態算定部、２１…第１カメラ、２２…第２カメラ。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
