特開 2022-49090 移動量検知システム及び移動量検知システム用プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022049090

(43)【公開日】2022-03-29

(54)【発明の名称】移動量検知システム及び移動量検知システム用プログラム

(51)【国際特許分類】

   G06T 7/223 20170101AFI20220322BHJP

【ＦＩ】

G06T7/223

【審査請求】未請求

【請求項の数】10

【出願形態】ＯＬ

(21)【出願番号】P 2020155125

(22)【出願日】2020-09-16

(71)【出願人】

【識別番号】000143031

【氏名又は名称】コーデンシ株式会社

(74)【代理人】

【識別番号】100121441

【弁理士】

【氏名又は名称】西村 竜平

(74)【代理人】

【識別番号】100154704

【弁理士】

【氏名又は名称】齊藤 真大

(74)【代理人】

【識別番号】100129702

【弁理士】

【氏名又は名称】上村 喜永

(74)【代理人】

【識別番号】100206151

【弁理士】

【氏名又は名称】中村 惇志

(74)【代理人】

【識別番号】100218187

【弁理士】

【氏名又は名称】前田 治子

(72)【発明者】

【氏名】市川 美千代

(72)【発明者】

【氏名】児山 周樹

【テーマコード（参考）】

5L096

【Ｆターム（参考）】

5L096BA03

5L096CA04

5L096DA02

5L096EA14

5L096FA66

5L096FA69

5L096HA04

5L096JA09

(57)【要約】      （修正有）

【課題】処理速度を向上させ、短い時間で移動量を算出し、被写体を連続的に撮像し、その撮像画像に基づいて被写体の移動量を算出する移動量検知システム及びプログラムを提供する。
【解決手段】移動量検知システムにおいて、被写体の撮像画像を所定のフレームレートで出力する撮像装置２及び所定の抽出位置から部分画像を抽出する部分画像抽出部と、各フレームに所定の範囲の検索領域を設定する検索領域設定部と、各フレームの検索領域を検索して、それよりも所定フレーム間隔数前の撮像画像から抽出された部分画像の位置を特定する画像検索部と、部分画像の抽出位置からの変位量と、フレーム間隔数とに基づいて、フレーム毎の被写体の移動量を算出する移動量算出部と、を含む画像処理装置３を備える。検索領域設定部は、算出された移動量に基づいて次フレームの撮像画像中における部分画像の位置を予測し、当該予測位置を基準にして検索領域の範囲を設定する。
【選択図】図３

【特許請求の範囲】

【請求項1】

被写体の移動量を検知するものであって、
複数の撮像素子が縦横マトリクス状に敷設されたエリアセンサを有し、前記被写体を所定のフレームレートで撮像してその撮像画像を逐次出力する撮像部と、
各フレームの撮像画像中の所定の抽出位置から部分画像を抽出する部分画像抽出部と、
各フレームの撮像画像中に設定された検索領域を検索して、それよりも所定フレーム間隔数前の撮像画像から抽出された前記部分画像の位置を特定する画像検索部と、
前記部分画像の前記抽出位置からの変位量と、前記フレーム間隔数とに基づいて、フレーム毎の前記被写体の移動量を算出する移動量算出部とを備え、
算出された前記移動量に基づいて次のフレームの撮像画像中における前記部分画像の位置を予測し、当該予測位置を基準にして前記検索領域の範囲を設定するように構成された移動量検知システム。

【請求項2】

直近に算出された複数フレームの移動量のばらつきが小さい場合にのみ前記予測位置を設定する請求項１に記載の移動量検知システム。

【請求項3】

前記複数フレームの移動量のばらつきが小さい程、前記検索領域の面積を狭めるように構成された請求項２に記載の移動量検知システム。

【請求項4】

前記撮像画像の横方向をｘ方向、且つ縦方向をｙ方向とする画像座標系において、
前記抽出位置のｘ座標及びｙ座標に対して前記移動量のｘ方向成分及びｙ方向成分をそれぞれ加算した位置を予測位置として設定する請求項１～３のいずれか一項に移動量検知システム。

【請求項5】

前記設定した予測位置が中心になるように前記検索領域の範囲を設定する請求項１～４のいずれか一項に記載の移動量検知システム。

【請求項6】

前記抽出画像の外周形状と同一形状を成すように前記検索領域の範囲を設定する請求項１～５の何れか一項に記載の移動量検知システム。

【請求項7】

前記抽出位置が、各フレーム撮像画像中の固定された位置に設定されている請求項１～６のいずれか一項に記載の移動量検知システム。

【請求項8】

前記抽出位置が、各フレームの撮像画像の中央に設定されている請求項７に記載の移動量検知システム。

【請求項9】

前記撮像部が、前記フレームレートが１２０ｆｐｓ以上である請求項１～８の何れか一項に記載の移動量検知システム。

【請求項10】

複数の撮像素子が縦横マトリクス状に敷設されたエリアセンサを有し、被写体を所定のフレームレートで撮像する撮像装置を備え、当該撮像装置の撮像画像に基づいて前記被写体の移動量を検知する移動量検知システム用のプログラムであって、
各フレームの撮像画像中の所定の抽出位置から部分画像を抽出する部分画像抽出部と、
各フレームの撮像画像中に設定された所定の検索領域を検索して、それよりも所定フレーム間隔数前の撮像画像から抽出された前記部分画像の位置を特定する画像検索部と、
前記部分画像の前記抽出位置からの変位量と、前記フレーム間隔数とに基づいて、フレーム毎の前記被写体の移動量を算出する移動量算出部としての機能をコンピュータに発揮させ、
算出された前記移動量に基づいて次のフレームの撮像画像中における前記部分画像の位置を予測し、当該予測位置を基準にして前記検索領域の範囲を設定する移動量検知システム用のプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、移動量検知システム及び移動量検知システム用プログラムに関する。

【背景技術】

【0002】

移動量検知システムとして、例えばベルトコンベア等の搬送機構により搬送される紙やフィルム等の被写体を光電センサ等で検知し、その移動量を算出するものが知られている。たとえば特許文献１には、エリアセンサを備える１つの撮像装置を用いて物体を検知し、その移動量を算出する移動量検知システムが開発されている。この移動量検知システムは、被写体の表面を一定の時間間隔で撮像し、撮像素子から得られる輝度情報に基づき、例えばパターンマッチング等の画像検索処理を行うことにより被写体の位置を検出し、フレーム間の移動量を算出することができる。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１６－２１２４２２号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、前記したような画像検索処理を行う移動量検知システムは、高い正確度で移動量を算出できるものの、移動量を算出するのに膨大な演算処理を行う必要があるため、その処理時間に多大な時間を要してしまうという問題がある。

【0005】

本発明はこのような問題に鑑みてなされたものであり、被写体を連続的に撮像し、その撮像画像に基づいて被写体の移動量を算出する移動量検知システムにおいて、処理速度を向上させ、短い時間で移動量を算出できるようにすることを目的とする。

【課題を解決するための手段】

【0006】

すなわち本発明に係る移動量検知システムは、被写体の移動量を検知するものであって、複数の撮像素子が縦横マトリクス状に敷設されたエリアセンサを有し、前記被写体を所定のフレームレートで撮像してその撮像画像を逐次出力する撮像部と、各フレームの撮像画像中の所定の抽出位置から部分画像を抽出する部分画像抽出部と、各フレームの撮像画像中に設定された検索領域を検索して、それよりも所定フレーム間隔数前の撮像画像から抽出された前記部分画像の位置を特定する画像検索部と、前記部分画像の前記抽出位置からの変位量と、前記フレーム間隔数とに基づいて、フレーム毎の前記被写体の移動量を算出する移動量算出部とを備え、算出された前記移動量に基づいて次のフレームの撮像画像中における前記部分画像の位置を予測し、当該予測位置を基準にして前記検索領域の範囲を設定するように構成されていることを特徴とする。

【0007】

このような構成であれば、算出された移動量に基づいて予測位置を設定し、この予測位置を基準に設定した検索領域の範囲を検索することで、撮像画像の全体を検索して部分画像の位置を特定する場合に比べて処理するデータ量を低減することができる。その結果、移動量算出の処理速度を向上することができ、短い時間で被写体の速度を算出することができる。
また、算出した移動量に基づいて設定した予測位置を基準とする検索領域から部分画像を検索するので、部分画像の位置の誤検知を低減することができる。

【0008】

部分画像の位置の誤検知をより低減するには、前記移動量検知システムは、直近に算出された複数フレームの移動量のばらつき（具体的には標準偏差等）が小さい場合にのみ前記予測位置を設定することが好ましい。

【0009】

前記移動量検知システムは、前記複数フレームの移動量のばらつきが小さい程、前記検索領域の面積を狭めるように構成されていることが好ましい。
このようにすれば、処理するデータ量をより低減することができ、移動量算出の処理速度をより向上することができる。

【0010】

前記移動量検知システムの具体的態様としては、前記撮像画像の横方向をｘ方向、且つ縦方向をｙ方向とする画像座標系において、前記抽出位置のｘ座標及びｙ座標に対して前記移動量のｘ方向成分及びｙ方向成分をそれぞれ加算した位置を予測位置として設定するものが挙げられる。

【0011】

前記移動量検知システムは、前記設定した予測位置が中心になるように前記検索領域の範囲を設定することが好ましい。
このようにすれば、検索領域の範囲をより小さくでき、移動量算出の処理速度をより向上することができる。

【0012】

前記移動量検知システムの具体的態様としては、前記抽出画像の外周形状と同一形状を成すように前記検索領域の範囲を設定するものが挙げられる。

【0013】

前記移動量検知システムの具体的態様としては、前記抽出位置が、各フレーム撮像画像中の固定された位置に設定されているものが挙げられる。
またこの場合、前記抽出位置が、各フレームの撮像画像の中央に設定されていることが好ましい。

【0014】

本発明の効果を顕著に奏する態様として、前記移動量検知システムは、前記撮像部が、前記フレームレートが１２０ｆｐｓ以上（好ましくは３００ｆｐｓ以上）であるものが挙げられる。

【0015】

また本発明の移動量検知システム用プログラムは、複数の撮像素子が縦横マトリクス状に敷設されたエリアセンサを有し、被写体を所定のフレームレートで撮像する撮像装置を備え、当該撮像装置の撮像画像に基づいて前記被写体の移動量を検知する移動量検知システム用のプログラムであって、各フレームの撮像画像中の所定の抽出位置から部分画像を抽出する部分画像抽出部と、各フレームの撮像画像中に設定された所定の検索領域を検索して、それよりも所定フレーム間隔数前の撮像画像から抽出された前記部分画像の位置を特定する画像検索部と、前記部分画像の前記抽出位置からの変位量と、前記フレーム間隔数とに基づいて、フレーム毎の前記被写体の移動量を算出する移動量算出部としての機能をコンピュータに発揮させ、算出された前記移動量に基づいて次のフレームの撮像画像中における前記部分画像の位置を予測し、当該予測位置を基準にして前記検索領域の範囲を設定することを特徴とする。

【0016】

このような移動量検知システム用のプログラムであれば、上記した移動量検知システムと同様の作用効果を奏し得る。

【発明の効果】

【0017】

このようにした本発明によれば、被写体を連続的に撮像し、その撮像画像に基づいて被写体の移動量を算出する移動量検知システムにおいて、処理速度を向上させ、短い時間で移動量を算出することができる。

【図面の簡単な説明】

【0018】

【図1】本発明の一実施形態における移動量検知システムの構成を模式的に示す斜視図。

【図2】同実施形態の移動量検知システムの光照射角等の構成を説明する図。

【図3】同実施形態の移動量検知システムの機能ブロック図。

【図4】同実施形態の移動量検知システムの検索領域を説明する図。

【図5】同実施形態の移動量検知システムのフレーム間隔数を説明する図。

【図6】同実施形態の移動量検知システムの移動量算出動作を説明する図。

【図7】同実施形態の移動量検知システムの検索領域設定動作を説明するフローチャート。

【図8】同実施形態の移動量検知システムのフレーム間隔設定動作を説明するフローチャート。

【発明を実施するための形態】

【0019】

以下に、本発明の一実施形態に係る移動量検知システム１００について図面を参照して説明する。

【0020】

本実施形態の移動量検知システム１００は、例えばベルトコンベア等の搬送機構上に載せられて所定の進行方向に動く紙等の物体（被写体）Ｏの移動量を検知するものである。この移動量検知システム１００は、物体Ｏの表面を連続的に撮像し、各撮像画像から切り出した部分画像のフレーム間の変位量を調べることで、物体Ｏの移動量を逐次算出するように構成されている。具体的にこの移動量検知システム１００は、図１に示すように、物体Ｏの表面に光を照射する光源１と、物体Ｏの表面を撮像する撮像装置２と、撮像装置２の撮像画像を処理して物体Ｏの移動量を算出する画像処理装置３とを備えている。以下に各部を説明する。

【0021】

光源１は、所定の波長範囲の光を発するＬＥＤ装置（不図示）と、当該ＬＥＤ装置から発せられた光を集光するレンズ等の集光機構（不図示）とを備えており、物体Ｏに対して所定の角度θで平行光を照射する。図２に示すように、本実施形態の光源１は、波長範囲が４５０ｎｍ～４７０ｎｍである光を物体Ｏの表面に対して５°～１０°の照射角度（主光線と物体の表面との間の角度）で照射するように構成されている。

【0022】

撮像装置２は、物体Ｏの表面を一定のフレームレートで撮像し、その撮像画像データを逐次出力するものである。具体的にこの撮像装置２は、複数の撮像素子が縦横マトリクス状に面状に敷設された低画素数のエリアセンサ（６４０×４８０画素以下、例えば１２８×１２８画素のＣＭＯＳイメージセンサ等）を備えており、１２０フレーム／秒以上（本実施形態では約２０００フレーム／秒）のフレームレートで高速撮像するものである。また、この撮像装置２は、高速撮像に対応して露光時間をできるだけ短くするよう、画素ピッチが１０μｍ×１０μｍ以上（本実施形態では１５．６μｍ×１５．６μｍ）に構成されている。本実施形態の撮像装置２は、各撮像素子が、波長範囲が４００ｎｍ～１０００ｎｍの光を光電変換できるように構成されている。なお以下では、撮像画像中の位置を、撮像画像の横方向をｘ方向、且つ縦方向をｙ方向とし、撮像画像の左上隅の画素中心を原点（０，０）とする画像座標系により説明する。

【0023】

画像処理装置３は、撮像装置２から出力される撮像画像データを受け付け、これを逐次処理することにより物体Ｏの移動量を算出する。

【0024】

具体的に画像処理装置３は、ＣＰＵ、メモリ及び入出力インターフェース等を備えた汎用乃至専用のコンピュータである。そして画像処理装置３は、メモリの所定領域に格納された所定プログラムに従ってＣＰＵや周辺機器を協働させることにより、図３に示すように、画像受付部３０、画像補正部３１、部分画像抽出部３２、画像記憶部３３、画像検索部３４、検索領域設定部３５、フレーム間隔設定部３６及び移動量算出部３７としての機能を少なくとも発揮する。以下に各機能部を説明する。

【0025】

画像受付部３０は、撮像装置２からフレーム毎の撮像画像データを受け付け、これを画像補正部３１に送信する。この撮像画像データには、撮像された順番を示すフレーム番号に関する情報（フレーム番号情報ともいう）が少なくとも含まれている。本実施形態では、この撮像画像は１２８×１２８画素である。

【0026】

画像補正部３１は、受け付けた撮像画像を逐次補正する。具体的には、撮像画像に対して、例えば空間フィルタ処理やフーリエ変換処理を用いてノイズ除去やシェーディング補正等の処置を行う。そして補正後の撮像画像を、部分画像抽出部３２と画像検索部３４に出力する。

【0027】

部分画像抽出部３２は、受け付けた各フレームの撮像画像の一部の領域を切り出して部分画像を抽出し、これを部分画像データとして画像記憶部３３に逐次格納する。図４に示すように、部分画像抽出部３２は、撮像画像中に設定された所定の抽出位置Ｐ_Ｅ（ｘ_Ｅ，ｙ_Ｅ）を基準にして部分画像を抽出する。この抽出位置Ｐ_Ｅは固定されており、本実施形態では撮像画像の中央（具体的には中心）に設定されている。部分画像抽出部３２は、この抽出位置Ｐ_Ｅを中心に、所定の形状及びサイズの部分画像を抽出するようにしている。本実施形態の部分画像は、矩形状（具体的には正方形状）をなし、画像サイズは６４×６４画素である。なお、この部分画像データには、前記したフレーム番号情報が含まれている。

【0028】

画像記憶部３３は、メモリの所定の領域に設定されたものであり、部分画像抽出部３２から出力されるフレーム毎の部分画像データを逐次記憶する。この画像記憶部３３は、記憶している部分画像データの数が上限に達した場合、部分画像データを新たに１つ受け付けると、フレーム番号が最も古い１つの部分画像データを消去するように構成されていてもよい。

【0029】

画像検索部３４は、各フレームの撮像画像中から部分画像を検索し、当該撮像画像中における部分画像の位置を特定する。具体的にこの画像検索部３４は、最新のフレームの撮像画像を画像補正部３１から取得すると、画像記憶部３３を参照して、当該最新の撮像画像よりも所定フレーム間隔数前の撮像画像から抽出された部分画像を取得する。そして画像検索部３４は、図４に示すように、この最新のフレームの撮像画像中を検索し、当該撮像画像中における部分画像（より詳細には、部分画像に類似度が高い画像）の位置Ｐ_Ｄ（検出位置ともいう）を検出し、抽出位置Ｐ_Ｅに対する検出位置Ｐ_Ｄの変位量［画素］をフレーム毎に算出する。この検出位置Ｐ_Ｄは、撮像画像中における部分画像の中心位置である。また変位量は、ｘ方向の変位量Δｘ’［画素］及びｙ方向の変位量Δｙ’［画素］により表される。

【0030】

画像検索部３４による部分画像の検索は、例えばテンプレートマッチング法等のパターンマッチング法により行われる。具体的には、撮像画像中に設定されている所定の検索領域Ｒ内の輝度値等の情報に基づき、部分画像との類似度が最も高い領域を特定することにより行われる。この検索領域Ｒの範囲は、検索領域設定部３５により設定される。

【0031】

フレーム間隔設定部３６は、画像検索部３４が参照する撮像画像と部分画像との間のフレーム間隔数（すなわち、最新の撮像画像に対して何フレーム前の部分画像を検索するか）を設定する。具体的にフレーム間隔設定部３６は、フレーム間隔数を示す情報を画像検索部３４と移動量算出部３７に送信する。このフレーム間隔数は、１以上の整数である。

【0032】

移動量算出部３７は、フレーム毎の変位量を画像検索部３４から取得するとともに、フレーム間隔数をフレーム間隔設定部３６から取得する。そしてこの変位量とフレーム間隔数とに基づいて、１フレームあたりの物体の移動量を逐次算出する。具体的には、取得した変位量をフレーム間隔数で割ることにより、１フレームあたりの物体の平均移動量［画素／フレーム］（単に、移動量ともいう）を算出する。この移動量は、物体のｘ方向の平均移動量Δｘ［画素／フレーム］及びｙ方向の平均移動量Δｙ［画素／フレーム］により表される。

【0033】

しかして、本実施形態の移動量検知システム１００では、検索領域設定部３５は、移動量算出部３７が算出した直近の移動量（具体的には最新のフレームから算出した移動量）に基づいて次のフレームの撮像画像中の部分画像の位置Ｐ_Ｐ（ｘ_Ｐ，ｙ_Ｐ）を予測し、この予測位置Ｐ_Ｐを基準にして検索領域Ｒの範囲を設定するようにしている。具体的に検索領域設定部３５は、図４に示すように、算出された直近の移動量を移動量算出部３７から取得し、抽出位置Ｐ_Ｅのｘ座標（ｘ_Ｅ）及びｙ座標（ｙ_Ｅ）に対して、ｘ方向及びｙ方向の移動量Δｘ、Δｙをそれぞれ加算した位置を、予測位置Ｐ_Ｐとして設定する（つまりこの予測位置Ｐ_Ｅは、直前に特定された検出位置Ｐ_Ｄと同じと言える）。そして検索領域設定部３５は予測位置Ｐ_Ｐ（ｘ_Ｐ，ｙ_Ｐ）を中心に検索領域Ｒの範囲を設定する。

【0034】

検索領域設定部３５は、移動量算出部３７により移動量が算出される都度、その算出される移動量に基づいて新たな検索領域Ｒを設定する。具体的に検索領域設定部３５は、部分画像と同一形状（相似形状を含む）を成すように検索領域Ｒを設定する。この検索領域Ｒは、その縦横のサイズが、撮像画像の縦横のサイズよりも小さく、且つ部分画像の縦横のサイズよりも大きくなるように設定される。

【0035】

ここで検索領域設定部３５は、直近で算出された複数の移動量のばらつきが小さい場合にのみ予測位置Ｐ_Ｐを設定して、検索領域Ｒを限定するようにしている。すなわち、検索領域設定部３５は、直近で算出された複数の移動量のばらつきが大きい場合には撮像画像の全体を検索領域Ｒとして設定し、移動量のばらつきが小さい場合に検索領域Ｒの範囲を狭めて、予測位置Ｐ_Ｐの周りに限定する。

【0036】

具体的には、検索領域設定部３５は、直近に算出された連続する複数フレーム分（例えば４フレーム分）の移動量の標準偏差と、所定の閾値とを比較する。そして、移動量の標準偏差が所定の閾値（例えば３画素）よりも大きい場合には、予測位置Ｐ_Ｐを設定することなく撮像画像の全体を検索領域Ｒとして設定する。一方で、移動量の標準偏差が前記所定の閾値以下である場合には予測位置Ｐ_Ｐを設定し、この予測位置Ｐ_Ｐを中心に検索領域Ｒを設定する。この場合、移動量の標準偏差が小さいほど（すなわち、ばらつきが小さいほど）、検索領域Ｒのサイズを小さくするようにしてもよい。

【0037】

また本実施形態の移動量検知システム１００では、フレーム間隔設定部３６は、算出された移動量に基づいて、画像検索部３４が参照する撮像画像と部分画像との間のフレーム間隔数を設定する。具体的には、算出された移動量が小さいほどフレーム間隔数を大きくする。

【0038】

より具体的にこのフレーム間隔設定部３６は、算出された直近の移動量と所定の閾値とを比較する。そして図５に例示するように、直近の移動量が所定値よりも大きい場合には、フレーム間隔数を１に設定する。一方で、直近の移動量が所定値以下である場合には、フレーム間隔数を２以上の値（例えば４）に設定する。そしてこの場合、直近に算出される移動量が小さいほど、フレーム間隔値を大きくするように設定する。

【0039】

具体的にフレーム間隔設定部３６は、直近の連続する複数フレーム（例えば５フレーム分、最新のフレームを含む等）で算出した移動量の中央値の絶対値と、所定の閾値とを比較する。そして、この中央値の絶対値が閾値より小さい場合にのみフレーム間隔数を変更する。すなわち、フレーム間隔設定部３６は、直近の複数フレームの移動量の中央値の絶対値が閾値より大きい場合には、フレーム間隔数を１に設定し、直近の複数フレームの移動量の中央値の絶対値が閾値より小さい場合に、フレーム間隔数を２以上の整数に設定する。

【0040】

ここで、参照する部分画像が撮像画像内に収まるようにすべく、フレーム間隔数は、次の式（１）を満たすように決定される。
ｆ_ｎ＋１×｜Ｄ_ｎ｜＋Ｈ／２＜Ｐ／２ （１）
ここで、ｆ_ｎ＋１：（ｎ＋１）フレーム目のフレーム間隔数、｜Ｄ_ｎ｜：ｎフレーム目における直近の複数フレームの移動量の中央値の絶対値［画素／フレーム］、Ｈ：部分画像の一辺のサイズ［画素］、Ｐ：撮像画像の一辺のサイズ［画素］である。

【0041】

次に、かかる構成の移動量検知システム１００による、移動量検知動作、検索領域設定動作及びフレーム間隔設定動作について、図６～図８のフローチャートを参照して説明する。

【0042】

（移動量検知動作）
図６に示すように、移動量検知動作では、まず搬送機構により移動される物体Ｏの表面を、撮像装置２により一定の時間間隔で高速撮像し、画像処理装置３に逐次出力する（ステップＳ１１）。画像処理装置３では、まず撮像画像にノイズ除去等の補正をする（ステップＳ１２）。そして補正された撮像画像中の所定の抽出位置から部分画像を抽出し、これを画像記憶部３３に格納する（ステップＳ１３）。これと同時に、直近の撮像画像と、これよりも前のフレームの撮像画像から抽出されている部分画像とを参照し、撮像画像中から部分画像を検索し、その位置を特定する（ステップＳ１４）。位置が特定された部分画像の抽出位置からの変位量［画素］を、設定されているフレーム間隔数で割ることにより、１フレーム当たりの物体Ｏの移動量［画素／フレーム］を算出する（ステップＳ１５）。

【0043】

（検索領域設定動作）
次に検索領域設定動作を図７を参照して説明する。
まず物体の移動量が算出される毎にこれを取得し（ステップＳ２１）、直近の連続する所定の数フレーム分の移動量の標準偏差を算出する（ステップＳ２２）。算出した移動量の標準偏差と所定の閾値とを比較する（ステップＳ２３）。移動量の標準偏差が閾値以下である場合、撮像画像中に予測位置Ｐ_Ｐを設定し、予測位置Ｐ_Ｐの周りに検索領域Ｒを設定する（ステップＳ２４）。移動量の標準偏差が閾値超えである場合、検索領域Ｒを限定することなく、撮像画像の全体に設定する（ステップＳ２５）。

【0044】

（フレーム間隔設定動作）
次にフレーム間隔設定動作を図８を参照して説明する。
まず物体の移動量が算出される毎にこれを取得し（ステップＳ３１）、直近の連続する所定の数フレーム分の移動量の中央値を算出する（ステップＳ３２）。算出した直近の移動量の中央値と所定の閾値とを比較する（ステップＳ３３）。直近の移動量の中央値が閾値以下である場合、フレーム間隔数を２以上に設定する（ステップＳ３４）。一方で、直近の移動量の中央値が閾値超えである場合、フレーム間隔数を変更することなく１に設定する（ステップＳ３５）。

【0045】

このように構成された本実施形態の移動量検知システム１００によれば、算出された移動量に基づいて予測位置を設定し、この予測位置を基準に設定した検索領域Ｒの範囲を検索することで、撮像画像の全体を検索して部分画像の位置を特定する場合に比べて処理するデータ量を低減することができる。その結果、移動量算出の処理速度を向上することができ、短い時間で被写体の速度を算出することができる。また、算出した移動量に基づいて設定した予測位置を基準とする検索領域Ｒから部分画像を検索するので、部分画像の位置の誤検知を低減することができる。

【0046】

なお、本発明は前記実施形態に限られるものではない。

【0047】

前記実施形態の移動量検知システム１００は、撮像装置２が固定され、撮像装置２に対して移動する被写体（物体Ｏ）の移動量を算出するものであったが、これに限らない。他の実施形態の移動量検知システム１００は、光源１、撮像装置２及び画像処理装置３が移動可能であり、固定された被写体に対する撮像装置２の相対的な移動量を算出するように構成されてもよい。例えば、他の実施形態の移動量検知システム１００は、光学式マウスの移動量の検知や、車両の移動量の検知等の用途で用いられてもよい。

【0048】

前記実施形態では、検索領域設定部３５が、直近の複数の移動量の標準偏差が小さいほど、検索領域Ｒのサイズを小さく設定するようにしていたが、これに限らない。他の実施形態では、予測位置Ｐ_Ｐを基準に設定する検索領域Ｒのサイズは固定であってもよい。

【0049】

前記実施形態では、フレーム間隔設定部３６が、算出された移動量に基づいてフレーム間隔数を設定するようにしていたが、これに限らない。他の実施形態では、フレーム間隔設定部３６は、算出された移動量によらず、フレーム間隔数を１に固定するようにしてもよい。

【0050】

前記実施形態の移動量検知システム１００では、抽出位置Ｐ_Ｅは撮像画像の中心に設定されていたが、これに限らない。他の実施形態では、抽出位置Ｐ_Ｅは、ユーザが定める撮像画像中の任意の位置に設定されてもよい。

【0051】

また前記実施形態では、設定した抽出位置Ｐ_Ｅを中心に部分画像が抽出されていたがこれに限らない。抽出位置Ｐ_Ｅを基準にして、任意の領域から部分画像が抽出されてもよい。

【0052】

また他の実施形態の移動量検知システム１００では、画像検索部３４が取得する撮像画像と部分画像に対して、画素補間処理をしてもよい。このような画素補間処理の例としては、例えば最近傍補間、バイリニア補間、バイキュビック補間等が挙げられる。これにより、分解能をより微細にすることができる。

【0053】

また他の実施形態の画像処理装置３は画像補正部３１を備えていなくてもよい。

【0054】

前記した各機能部は、例えばＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）等の再構成可能なハードウェア回路によって実現されてもよい。

【0055】

その他、本発明は前記実施形態に限られず、その趣旨を逸脱しない範囲で種々の変形が可能であるのは言うまでもない。

【符号の説明】

【0056】

１００・・・移動量検知システム
２ ・・・撮像装置
３２ ・・・部分画像抽出部
３４ ・・・画像検索部
３５ ・・・検索領域設定部
３７ ・・・移動量算出部
Ｒ ・・・検索領域
Ｐ_Ｅ ・・・抽出位置
Ｐ_Ｄ ・・・検出位置
Ｐ_Ｐ ・・・予測位置

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】