特許 7331546 画像計測システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-08-15

(45)【発行日】2023-08-23

(54)【発明の名称】画像計測システム

(51)【国際特許分類】

   G01B 11/16 20060101AFI20230816BHJP

   G06T 1/00 20060101ALI20230816BHJP

【ＦＩ】

G01B11/16 H

G06T1/00 300

【請求項の数】 1

(21)【出願番号】P 2019145382

(22)【出願日】2019-08-07

(65)【公開番号】P2021025937

(43)【公開日】2021-02-22

【審査請求日】2022-07-01

(73)【特許権者】

【識別番号】000000549

【氏名又は名称】株式会社大林組

(74)【代理人】

【識別番号】100105957

【弁理士】

【氏名又は名称】恩田 誠

(74)【代理人】

【識別番号】100068755

【弁理士】

【氏名又は名称】恩田 博宣

(72)【発明者】

【氏名】大出 大輔

【審査官】仲野 一秀

(56)【参考文献】

【文献】特開２００７－２９９２１９（ＪＰ，Ａ）

【文献】特開２００９－７１２７１（ＪＰ，Ａ）

【文献】特開２０２０－３２３４（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０１Ｂ １１／００－１１／３０

Ｇ０６Ｔ １／００

(57)【特許請求の範囲】

【請求項1】

画像に含まれるサブセットの標点座標と、前記サブセットに含まれるランダムパターンの特徴量とを記録する標点情報記憶部と、撮影画像において前記サブセットを検索する制御部とを備えた画像計測システムであって、
前記制御部が、
応力の印加によりひずみが生じる前の先行画像において、第１サイズの第１サブセットを認識し、
前記第１サブセットの標点座標を前記標点情報記憶部に記録し、
前記ひずみが生じた後の後続画像において、前記特徴量を用いて前記第１サブセットを認識できない場合、前記先行画像において、前記第１サブセットを、前記第１サイズよりも大きい第２サイズであって、認識可能な第２サブセットに置き換え、前記第２サブセットの標点座標を前記標点情報記憶部に記録し、
前記標点情報記憶部に記録された標点座標を用いてメッシュを生成し、前記メッシュを用いて算出した前記ひずみのひずみ量を出力することを特徴とする画像計測システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、物体表面に描かれたランダムパターンの、変形前後の画像を比較し、物体表面の変位を調べるための画像計測システムに関する。

【背景技術】

【0002】

物体表面の移動量（変位）を調べるために、物体表面に描かれたランダムパターンの、変形前後の画像を比較する画像相関法を用いる場合がある（非特許文献１）。この画像相関法では、評価対象の表面にランダムな模様を生成し、このランダムパターンを撮影した画像において、所定の画素数で構成された複数の微小領域（サブセット）を設定する。サブセットは、画素値において、特定の濃淡分布が含まれる微小領域である。そして、表面状態が変化した画像において、各サブセットを検索し、各サブセットの対角線の交点（標点）を結ぶ格子（メッシュ）の形状変化からひずみを計測する。

【0003】

また、異なる大きさのパターンを用いた画像相関法も検討されている（例えば、特許文献１、２参照）。文献１に開示された技術においては、歪み計測用パターンは、歪み計測方法にて試料の歪みを可視化する為に試料表面に形成される。そして、異なるスケールレベルの歪みに適合した複数のパターンを同一試料面に重ねて形成したり、各パターンは、相互にその規則性、形状又は大きさを異ならせたりしてある。また、文献２に開示された技術においては、工作物の表面の大きなスケールのドットパターンの大スケール画像、及び同一の工作物の表面の小さなスケールのドットパターンの小スケール画像を得る。ここで、小さなスケールのドットパターンは、大スケールの画像の大きなスケールのドットパターンの大きなドットを形成する。

【0004】

このような画像相関法は、コンクリートの評価のためにも用いられている（例えば、特許文献３参照）。この文献３に開示された技術においては、コンクリートの取得対象面のデジタル画像を経時的に取得し、デジタル画像に基づきデジタル画像相関法を用いて最大主ひずみの分布を得ることにより、コンクリートの劣化を検知する。

【先行技術文献】

【特許文献】

【0005】

【文献】特開２０１１－２７５２６号公報

【文献】特開２０１４－１１５２８１号公報

【文献】特開２０１９－７４３３９号公報

【非特許文献】

【0006】

【文献】宮下進太郎、「画像相関法に基づく３Ｄ動的変形計測システムＡＲＡＭＩＳ」、軽金属溶接、軽金属溶接協会誌、２０１８年５月、第５６巻、第５号、第２８頁

【発明の概要】

【発明が解決しようとする課題】

【0007】

しかしながら、物体表面の経時変化を観察する場合、変形が大きくサブセットを特定できなくなる場合もある。この場合、物体表面の変化を追うことができなくなる。

【課題を解決するための手段】

【0008】

上記課題を解決するための画像計測システムは、画像に含まれるサブセットの標点座標を記録する標点情報記憶部と、撮影画像においてサブセットを検索する制御部とを備える。そして、前記制御部が、先行画像において、第１サイズの第１サブセットを特定し、前記第１サブセットの標点座標を前記標点情報記憶部に記録し、後続画像において、前記第１サブセットを認識できない場合、前記先行画像において、前記第１サブセットを、前記第１サイズよりも大きい第２サイズであって、認識可能な第２サブセットに置き換え、前記第２サブセットの標点座標を前記標点情報記憶部に記録し、前記標点情報記憶部に記録された標点座標を用いてメッシュを生成し、前記メッシュを用いて算出したひずみ量を出力する。

【発明の効果】

【0009】

本発明によれば、物体表面の変位を詳細かつ継続的に調べることができる。

【図面の簡単な説明】

【0010】

【図1】本実施形態のシステムの説明図。

【図2】本実施形態のハードウェア構成の説明図。

【図3】本実施形態の初期画像処理の説明図。

【図4】本実施形態の後続画像処理の説明図。

【図5】本実施形態で用いる画像の説明図であって、（ａ）は初期のサブセット、メッシュ、標点、（ｂ）は変形後のサブセット、メッシュ、標点の説明図。

【図6】本実施形態で用いる画像の説明図であって、（ａ）は先行画像における第１サイズのサブセット、（ｂ）は後続画像における第１サイズのサブセット、（ｃ）は先行画像における第２サイズのサブセット、（ｄ）は後続画像における第２サイズのサブセットの説明図。

【図7】本実施形態で用いる画像の説明図であって、（ａ）は後続画像における第１サイズのサブセットの消失、（ｂ）は先行画像における第２サイズのサブセットの設定、（ｃ）は後続画像における第２サイズのサブセットの説明図。

【図8】本実施形態で用いる画像の説明図であって、（ａ）は変位後の元画像、（ｂ）は変位後の計測画像、（ｃ）は亀裂発生後の元画像、（ｄ）亀裂発生後の計測画像の説明図。

【発明を実施するための形態】

【0011】

以下、図１～図８に従って一実施形態を説明する。本実施形態では、評価対象物としてのコンクリート部材の表面にランダムパターンを形成し、このコンクリート部材に応力を印加しながら画像を撮影する。そして、画像において、応力により生じたひずみを計測する。
図１に示すように、本実施形態では、評価装置２０を用いる。

【0012】

（ハードウェア構成の説明）
図２を用いて、評価装置２０を構成する情報処理装置Ｈ１０のハードウェア構成を説明する。情報処理装置Ｈ１０は、通信装置Ｈ１１、入力装置Ｈ１２、表示装置Ｈ１３、記憶部Ｈ１４、プロセッサＨ１５を備える。なお、このハードウェア構成は一例であり、他のハードウェアにより実現することも可能である。

【0013】

通信装置Ｈ１１は、他の装置との間で通信経路を確立して、データの送受信を実行するインタフェースであり、例えばネットワークインタフェースカードや無線インタフェース等である。
入力装置Ｈ１２は、各種情報の入力を受け付ける装置であり、例えばマウスやキーボード、カメラ（撮影装置）等である。表示装置Ｈ１３は、各種情報を表示するディスプレイ等である。

【0014】

記憶部Ｈ１４は、評価装置２０の各種機能を実行するためのデータや各種プログラムを格納する記憶装置である。記憶部Ｈ１４の一例としては、ＲＯＭ、ＲＡＭ、ハードディスク等がある。

【0015】

プロセッサＨ１５は、記憶部Ｈ１４に記憶されるプログラムやデータを用いて、評価装置２０における各処理を制御する。プロセッサＨ１５の一例としては、例えばＣＰＵやＭＰＵ、ＧＰＵ等がある。このプロセッサＨ１５は、ＲＯＭ等に記憶されるプログラムをＲＡＭに展開して、各処理のための各種プロセスを実行する。

【0016】

プロセッサＨ１５は、自身が実行するすべての処理についてソフトウェア処理を行なうものに限られない。例えば、プロセッサＨ１５は、自身が実行する処理の少なくとも一部についてハードウェア処理を行なう専用のハードウェア回路（例えば、特定用途向け集積回路：ＡＳＩＣ）を備えてもよい。すなわち、プロセッサＨ１５は、〔１〕コンピュータプログラム（ソフトウェア）に従って動作する１つ以上のプロセッサ、〔２〕各種処理のうち少なくとも一部の処理を実行する１つ以上の専用のハードウェア回路、或いは〔３〕それらの組み合わせ、を含む回路（circuitry）として構成し得る。プロセッサは、ＣＰＵ並びに、ＲＡＭ及びＲＯＭ等のメモリを含み、メモリは、処理をＣＰＵに実行させるように構成されたプログラムコード又は指令を格納している。メモリすなわちコンピュータ可読媒体は、汎用又は専用のコンピュータでアクセスできるあらゆる利用可能な媒体を含む。

【0017】

（システム構成）
次に、図１を用いて、画像計測システムの各機能を説明する。
評価装置２０は、評価対象物の表面における変位を計測するコンピュータシステムである。この評価装置２０は、入力部１０、出力部１５に接続される。入力部１０により、被写体（評価対象物）の撮影画像を取得する。本実施形態では、応力の印加中の異なる時刻に、連続して撮影した画像を取得する。そして、評価装置２０により撮影画像の画像処理を行ない、評価結果を、出力部１５により出力する。

【0018】

この評価装置２０は、制御部２１、画像情報記憶部２２、標点情報記憶部２３を備える。
制御部２１は、後述する処理（画像管理段階、画像相関段階等を含む処理）を行なう。このための各処理のためのプログラムを実行することにより、制御部２１は、画像管理部２１１、画像相関部２１２等として機能する。

【0019】

画像管理部２１１は、評価対象物を撮影した画像を管理する処理を実行する。
画像相関部２１２は、画像相関法により、評価対象物の表面の変位を評価する処理を実行する。この画像相関部２１２は、時系列に連続した画像に含まれる複数のサブセット（例えば、１辺が２０ピクセル）を継続的に追跡し、評価対象物の表面の変形に追従したメッシュを生成する。そして、このメッシュから有限要素を構成してひずみを求める。画像相関部２１２は、画像相関法で用いるサブセットのサイズの拡大方法、及びこのサイズの上限値に関する情報を保持している。

【0020】

画像情報記憶部２２には、評価対象物を撮影した撮影画像についての画像管理データが記録される。この画像管理データは、入力部１０から撮影画像を取得した場合に記録される。画像管理データは、画像コード、タイムスタンプ、撮影画像に関する情報を含んで構成される。
画像コード情報は、各撮影画像を特定するための識別子に関する情報を含む。
タイムスタンプ情報は、この撮影画像を撮影した時刻に関する情報を含む。
撮影画像情報は、評価対象物を撮影した画像を含む。

【0021】

標点情報記憶部２３には、評価対象物を撮影した撮影画像に含まれる標点についての標点管理データが記録される。この画像管理データは、画像解析を行なった場合に記録される。標点管理データは、画像コード、標点ＩＤ、サブセット属性、座標に関する情報を含んで構成される。

【0022】

画像コード情報は、各撮影画像を特定するための識別子に関する情報を含む。
標点ＩＤ情報は、この撮影画像に含まれる各標点を特定するための識別子に関する情報を含む。

【0023】

サブセット属性情報は、標点を算出したサブセットに含まれるランダムパターンの特徴量、サイズに関する情報を含む。
座標情報は、この標点を座標に関する情報を含む。

【0024】

次に、図３～図８を用いて、上記のように構成された評価装置２０において、評価対象物の表面を計測する場合の処理手順を説明する。
（初期画像処理）
まず、図３を用いて、初期画像処理を説明する。
評価対象物の表面に、ランダムな模様からなるランダムパターンを形成する。例えば、霧状に塗料を吹き出すスプレーにより、配置や大きさがランダムなパターンを付与する。そして、評価対象物に応力を印加しながら、評価対象物の変形を順次、撮影する。

【0025】

まず、評価装置２０の制御部２１は、先行画像の取得処理を実行する（ステップＳ１－１）。具体的には、制御部２１の画像管理部２１１は、入力部１０を介して、時系列に撮影された画像を取得し、画像情報記憶部２２に記録する。

【0026】

次に、評価装置２０の制御部２１は、第１サイズのサブセットの設定処理を実行する（ステップＳ１－２）。具体的には、制御部２１の画像相関部２１２は、初期画像において、第１サイズのサブセットを、所定間隔で設定する。本実施形態では、第１サイズとして、比較的小さい画素数の微小領域を用いる。この第１サイズとしては、各サブセットに含まれるランダムパターンが異なり、このランダムパターンにより、各サブセットを識別できる大きさを用いる。なお、隣接するサブセットは、所定間隔で配置するが、部分的に重なり合っていてもよい。

【0027】

図５（ａ）に示すように、撮影画像５００に対して、複数のサブセットａ１を設定する。
図６（ａ）に示すように、各サブセットａ１には、異なる微小パターンｐ１を含んでいる。

【0028】

次に、評価装置２０の制御部２１は、標点の特定処理を実行する（ステップＳ１－３）。具体的には、制御部２１の画像相関部２１２は、設定した各サブセットの対角線の交点を標点として特定する。そして、画像相関部２１２は、標点ＩＤを付与し、画像コード、標点ＩＤ、サブセット属性、座標に関する情報を含めた標点管理データを生成し、標点情報記憶部２３に記録する。
図５（ａ）に示すように、各サブセットａ１の対角線の交点を標点ｂ１として特定する。

【0029】

次に、評価装置２０の制御部２１は、三角形メッシュの形成処理を実行する（ステップＳ１－４）。具体的には、制御部２１の画像相関部２１２は、特定した標点を連結して三角メッシュを生成する。

【0030】

図５（ｂ）に示すように、各標点ｂ１を連結した三角メッシュｍ１が生成される。この三角メッシュｍ１を用いて、後述するように、三角測量の原理により、ひずみを測定する。なお、物体が変形した場合、各サブセットａ１も変形するが、ここでは、簡単化のために、図５（ａ）と同じ形状で表現している。

【0031】

（後続画像処理）
次に、図４を用いて、後続画像処理を説明する。
まず、評価装置２０の制御部２１は、後続画像の取得処理を実行する（ステップＳ２－１）。具体的には、制御部２１の画像管理部２１１は、画像情報記憶部２２において、先行画像に対して、時系列的に後続の撮影画像を特定する。

【0032】

次に、評価装置２０の制御部２１は、標点情報記憶部２３に記録されたサブセットを処理対象として、順次、特定して、以下の処理を繰り返す。
ここでは、評価装置２０の制御部２１は、サブセットの検索処理を実行する（ステップＳ２－２）。具体的には、制御部２１の画像相関部２１２は、サブセット属性情報を用いて、処理対象サブセットとの一致率が、予め定められた閾値以上となるランダムパターンの特徴量を有するサブセットを、後続画像において検索する。

【0033】

次に、評価装置２０の制御部２１は、サブセットが消失したかどうかについての判定処理を実行する（ステップＳ２－３）。具体的には、制御部２１の画像相関部２１２は、後続画像において、処理対象サブセットを抽出できない場合には、サブセットが消失と判定する。この場合、抽出できないサブセットのサブセットＩＤを特定する。

【0034】

例えば、図６（ｂ）に示すように、サブセットａ１１に大きな亀裂領域ｃ１が含まれる場合、微小パターンｐ１を特定できず、サブセットａ１１を認識できなくなる。
サブセットが消失していないと判定した場合（ステップＳ２－３において「ＮＯ」の場合）、評価装置２０の制御部２１は、標点の特定処理を実行する（ステップＳ２－４）。具体的には、制御部２１の画像相関部２１２は、サブセットの対角線の交点の座標を標点として特定し、画像コード、標点ＩＤ、サブセット属性、座標に関する情報を含めた標点管理データを生成し、標点情報記憶部２３に記録する。

【0035】

図５（ｂ）に示すように、評価対象物が応力の影響を受けて変形した場合においても、撮影画像５００に後続する撮影画像５１０において、各サブセットａ１を特定できれば、各標点ｂ１を特定し、及び三角メッシュｍ１を生成することができる。

【0036】

一方、図７（ａ）に示すように、撮影画像５１０に更に後続する撮影画像５２０に含まれるサブセットａ１１を認識できず、消失した場合を想定する。
サブセットが消失したと判定した場合（ステップＳ２－３において「ＹＥＳ」の場合）、評価装置２０の制御部２１は、サブセットが拡大可能かどうかについての判定処理を実行する（ステップＳ２－５）。具体的には、制御部２１の画像相関部２１２は、サブセットのサイズが予め定められた上限に到達しているかどうかを判定する。消失したサブセットＩＤのサブセットのサイズが上限値に到達していない場合には、サブセットを拡大可能と判定する。

【0037】

サブセットを拡大可能と判定した場合（ステップＳ２－４において「ＹＥＳ」の場合）、評価装置２０の制御部２１は、先行画像においてサブセットの拡大処理を実行する（ステップＳ２－６）。具体的には、制御部２１の画像管理部２１１は、サブセットが消失した後続画像の先行画像を画像情報記憶部２２から抽出する。次に、画像相関部２１２は、消失したサブセットＩＤのサブセットに対して、先行画像に含まれるサブセットのサイズを、拡大方法に従って第２サイズに拡大する。そして、評価装置２０の制御部２１は、サブセットの検索処理（ステップＳ２－２）に戻る。この場合、画像相関部２１２は、先行画像において、第２サイズに拡大されたサブセットの特徴量を用いて、後続画像において同じサブセットを検索する。

【0038】

図６（ｃ）に示すように、先行画像において、後続画像のサブセットａ１１に対応した先行画像のサブセットａ１に対して、サイズが大きいサブセットａ２を特定する。この場合、図６（ｄ）に示すように、サブセットａ２のサイズに対して、亀裂領域ｃ１の占める割合が小さくなるため、サブセットの特徴量が維持されて、サブセットａ２の特定が可能になる。

【0039】

図７（ｂ）に示すように、撮影画像５２０に先行する撮影画像５１０において、消失したサブセットａ１１に対応するサブセットに対して、サイズが大きいサブセットａ２を特定する。

【0040】

そして、図７（ｃ）に示すように、撮影画像５２０において、このサブセットａ２を検索する。
一方、消失したサブセットのサイズが最大値に到達しており、サブセットを拡大不可と判定した場合（ステップＳ２－４において「ＮＯ」の場合）、評価装置２０の制御部２１は、エラー処理を実行する（ステップＳ２－７）。具体的には、制御部２１の画像相関部２１２は、画像コード、標点ＩＤが記録された標点管理データの座標データ領域にエラーフラグを記録する。
以上の処理を、すべてのサブセットについて繰り返す。

【0041】

次に、評価装置２０の制御部２１は、ひずみの測定処理を実行する（ステップＳ２－８）。具体的には、制御部２１の画像相関部２１２は、特定した標点を結んで三角メッシュを生成する。次に、画像相関部２１２は、先行画像における三角メッシュと、後続画像における三角メッシュとを比較し、三角メッシュの変形から、三角測量の原理を用いて、ひずみを測定する。ここでは、各標点において、隣接する６個の標点を用いて６角形要素を作り、そのベストフィット平面上に写像される２次元ひずみを計算する。この計算には、非特許文献１の技術を用いることができる。なお、エラーフラグが記録された標点で囲まれたメッシュ領域を、他の領域と識別できる配色に変更する。

【0042】

図８（ａ）に示す後続画像に対して、図８（ｂ）に示すように、ひずみを矢印で示すことができる。また、図８（ｃ）に示すように、亀裂領域が生じた場合にも、図８（ｄ）に示すように、サブセットのサイズを変更して、ひずみを表示することができる。

【0043】

（作用）
サイズが小さいサブセットを用いることにより精緻な評価を行なうことができるが、変形が大きい場合、サブセットを特定できなくなる可能性がある。この場合には、先行画像においてサブセットのサイズを拡大し、変形の影響を受け難いサブセットを用いて計測を継続することができる。

【0044】

本実施形態によれば、以下のような効果を得ることができる。
（１）本実施形態では、評価装置２０の制御部２１は、先行画像の取得処理（ステップＳ１－１）、第１サイズのサブセットの設定処理（ステップＳ１－２）、標点の特定処理（ステップＳ１－３）を実行する。これにより、撮影画像においてひずみの測定を希望する精度を設定することができる。

【0045】

（２）本実施形態では、評価装置２０の制御部２１は、後続画像の取得処理（ステップＳ２－１）、サブセットの検索処理（ステップＳ２－２）を実行する。サブセットが消失していないと判定した場合（ステップＳ２－３において「ＮＯ」の場合）、評価装置２０の制御部２１は、標点の特定処理を実行する（ステップＳ２－４）。これにより、微小領域の画像の特徴量を用いて、微小領域の変位を特定することができる。

【0046】

（３）本実施形態では、サブセットが消失し（ステップＳ２－３において「ＹＥＳ」の場合）、サブセットを拡大可能と判定した場合（ステップＳ２－４において「ＹＥＳ」の場合）、評価装置２０の制御部２１は、先行画像においてサブセットの拡大処理を実行する（ステップＳ２－５）。これにより、小さなサブセットのサイズでは特徴を把握できなかった場合にも、大きなサイズを用いて、サブセットを特定することができる。なお、サブセットは小さい方が緻密な評価を行なうことができるため、サブセットの拡大はなるべく小規模（例えば、１ピクセル毎）に行なうことが好ましい。この場合、許容し得る計算時間と情報処理装置Ｈ１０の計算能力との関係を鑑みた上で、拡大規模を決定する。

【0047】

（４）本実施形態では、消失したサブセットのサイズが最大値に到達しており、サブセットを拡大不可と判定した場合（ステップＳ２－５において「ＮＯ」の場合）、評価装置２０の制御部２１は、エラー処理を実行する（ステップＳ２－７）。これにより、サブセットのサイズに制限を設けることができる。例えば、隣接するサブセット同士が大部分を重畳して、両サブセットが同じランダムパターンと認識される。この場合、本来であれば、１つのサブセットの消失で済むところが、複数のサブセットが同時期に消失してしまう状況を抑制できる。

【0048】

本実施形態は、以下のように変更して実施することができる。本実施形態及び以下の変更例は、技術的に矛盾しない範囲で互いに組み合わせて実施することができる。
・上記実施形態では、評価対象物としてのコンクリート部材の表面にランダムパターンを形成し、このコンクリート部材に応力を印加しながら画像を撮影する。評価対象はコンクリート部材に限定されるものではない。物体表面状態により、サブセットを特定できる画像を用いることができる。
・上記実施形態では、評価装置２０の制御部２１は、ひずみの測定処理を実行する（ステップＳ２－８）。具体的には、制御部２１の画像相関部２１２は、特定した標点を結んで三角メッシュを生成する。ひずみを計測できれば、メッシュ形状は三角メッシュに限定されるものではない。

【0049】

・上記実施形態では、後続画像処理において、後続画像の取得処理を実行する（ステップＳ２－１）。取得する画像は、複数の静止画に限定されるものではない。例えば、撮影した動画において、タイムスタンプが異なる先行画像と後続画像とを抽出するようにしてもよい。

【0050】

・上記実施形態では、サブセットが消失したと判定した場合（ステップＳ２－３において「ＹＥＳ」の場合）、評価装置２０の制御部２１は、サブセットが拡大可能かどうかについての判定処理を実行する（ステップＳ２－５）。ここで、場所によってサブセットのサイズの上限値を変更するようにしてもよい。例えば、隣接するサブセットとの距離を用いて、両者の重畳領域の大きさにより、拡大可能かどうかを判定するようにしてもよい。この場合には、重畳領域がサブセットのサイズの基準割合以上になった場合に、拡大不可と判定する。

【0051】

・上記実施形態では、サブセットを拡大可能と判定した場合（ステップＳ２－４において「ＹＥＳ」の場合）、評価装置２０の制御部２１は、先行画像においてサブセットの拡大処理を実行する（ステップＳ２－５）。これに代えて、先行画像において、すべてのサイズのサブセットを予め特定するようにしてもよい。この場合には、サブセットが消失した段階で、消失したサブセットに対応する１段階、大きいサイズのサブセットを用いる。

【符号の説明】

【0052】

１０…入力部、１５…出力部、２０…評価装置、２１…制御部、２１１…画像管理部、２１２…画像相関部、２２…画像情報記憶部、２３…標点情報記憶部。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】