特許 6967060 複数のパターン認識及び登録ツールモデルをトレーニングするための半教師付き方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6967060

(24)【登録日】2021年10月26日

(45)【発行日】2021年11月17日

(54)【発明の名称】複数のパターン認識及び登録ツールモデルをトレーニングするための半教師付き方法

(51)【国際特許分類】

   G06T 7/00 20170101AFI20211108BHJP

【ＦＩ】

   G06T7/00 300

   G06T7/00 350B

【請求項の数】8

【外国語出願】

【全頁数】12

(21)【出願番号】特願2019-222530(P2019-222530)

(22)【出願日】2019年12月9日

(62)【分割の表示】特願2016-110432(P2016-110432)の分割

【原出願日】2014年5月28日

(65)【公開番号】特開2020-53084(P2020-53084A)

(43)【公開日】2020年4月2日

【審査請求日】2020年1月7日

(31)【優先権主張番号】61/841,142

(32)【優先日】2013年6月28日

(33)【優先権主張国】US

(31)【優先権主張番号】13/955,120

(32)【優先日】2013年7月31日

(33)【優先権主張国】US

(73)【特許権者】

【識別番号】504382671

【氏名又は名称】コグネックス・コーポレイション

(74)【代理人】

【識別番号】100119378

【弁理士】

【氏名又は名称】栗原 弘幸

(72)【発明者】

【氏名】サイモン バーカー

(72)【発明者】

【氏名】デイヴィッド ジェイ．マイケル

【審査官】 千葉 久博

(56)【参考文献】

【文献】 特開２０１０−２０５００７（ＪＰ，Ａ）

【文献】 特開２００２−２６９５６０（ＪＰ，Ａ）

【文献】 特開平６−９５６８５（ＪＰ，Ａ）

【文献】 特開平６−７６０６８（ＪＰ，Ａ）

【文献】 特開平４−６７２７７（ＪＰ，Ａ）

【文献】 特表２０１０−５１１９３８（ＪＰ，Ａ）

【文献】 米国特許出願公開第２００９／０２９０７８８（ＵＳ，Ａ１）

【文献】 大澤翔吾, 外１名，“クラウドソーシングによる食事画像認識モデルの自動構築”，第５回データ工学と情報マネジメントに関するフォーラム （第１１回日本データベース学会年次大会），日本，2013年05月31日

【文献】 Luosi WEI, 外１名，"Visual Location System for Placement Machine Based on Machine Vision"，2008 Fifth IEEE International Symposium on Embedded Computing，2008年10月06日，p.141-146

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｔ ７／００

(57)【特許請求の範囲】

【請求項1】

出力されるマルチモデルのトレーニング方法であって、
トレーニングされるべきパターンを規定する領域を有する複数のトレーニング画像を提供するステップであって、前記複数の画像は前記複数のトレーニング画像を含むデータベースから提供される前記提供するステップと、
前記複数のトレーニング画像と前記領域を用いて第１のパターン合成モデルをトレーニングし、このトレーニングされた第１のパターン合成モデルを出力されるマルチモデルに追加するステップと、
残りのトレーニング画像の各々をベースライン画像として用いること及び前記残りのトレーニング画像の各々についてのスコアを保存することによって前記残りのトレーニング画像にわたって反復するステップであって、このステップによって前記トレーニング画像について
(i) 候補パターンモデルがトレーニングされ、
(ii) 前記第１のパターン合成モデルと前記候補パターンモデルとの結合が前記データベース内の前記残りのトレーニング画像にわたって採点される、前記反復するステップと、
高得点の１以上の前記候補パターンモデルを出力されるマルチモデルに追加するステップと、
を含む、上記方法。

【請求項2】

前記第１のパターン合成モデルのトレーニングは、第１セットのパターン認識及び登録トレーニングパラメータに従って実行され、前記候補パターンモデルのトレーニングは第２セットのパターン認識及び登録トレーニングパラメータに従って実行される、請求項１に記載の方法。

【請求項3】

前記候補パターンモデルは、トレーニングすべき前記第１のモデルを用いて候補領域を生成する際に自由度を緩和し、次いで前記候補パターンモデルが実行される際にメトリックが改善されたか否か判定するために自由度を強化することによってトレーニングされる、請求項１に記載の方法。

【請求項4】

前記第１のパターン合成モデルのトレーニングはパターンの原点に基づいている、請求項１に記載の方法。

【請求項5】

前記高得点の候補パターンモデルは、前記出力されるマルチモデルに可能な追加が行われる前に、最初にユーザに提示されて容認又は拒否される、請求項１に記載の方法。

【請求項6】

ユーザが、追加のパターンの原点を前記出力されるマルチモデルに追加する前に修正してもよい、請求項１に記載の方法。

【請求項7】

前記(i)のトレーニング及び(ii)の採点は繰り返し反復的であり、それによって前記出力されるマルチモデルが複数の合成モデルを含むことを可能にする、請求項１に記載の方法。

【請求項8】

パターン認識及び登録モデルを生成するためのシステムであって、前記システムはコンピュータ実行可能な命令が格納されたメモリを備え、前記メモリには複数のトレーニング画像を含むデータベースが含まれ、前記トレーニング画像のうちの少なくとも１個の画像はトレーニングされるべきパターンを規定する領域を有し、
前記システムは１以上のプロセッサを備え、前記命令が実行されるとき前記プロセッサは：
前記複数のトレーニング画像にわたって初期パターン認識及び登録モデルを反復し、得点、姿勢及びトレーニングされたモデルを提供すべきマッチング領域データを保存することによって前記初期パターン認識及び登録モデルをトレーニングし；かつ
トレーニングされたモデルの性能を前記複数のトレーニング画像にわたって測定する；
ように構成されている、上記システム。

【発明の詳細な説明】

【技術分野】

【0001】

関連する出願
本出願は、２０１３年６月２８日に出願された米国仮出願第６１／８４１１４２号、名称「複数のＰＡＴＭＡＸモデルをトレーニングするための半教師付き方法」の優先権を主張するものであり、その全体は参照により本明細書に編入される。

【0002】

本発明は、カメラ又はその他の撮像装置を用いて対象物の画像が取得され、画像内のターゲットパターンの位置特定が撮像されている対象物上のパターンの位置特定に対応しているマシンビジョンに関する。

【背景技術】

【0003】

マシンビジョンシステムの課題は、これらをユーザにとって使いやすく、より広範な潜在的ユーザに近づきやすいものにすることである。ユーザが明確に理解している側面は確かにある（例えばトレーニング画像のセットをどのように生成するか、及び状況のグラウンドトゥルースとは何か）。しかしながらそれ以上にマシンビジョンシステムのトレーニングと実行時動作の多くの側面は、適用するのがより困難である。

【0004】

カメラ又はその他の撮像装置を用いて対象物の画像が取得され、コンピュータ又はその他の計算装置で実行される方法を用いて撮像されている対象物上のパターン位置が特定されるマシンビジョンにおいて。ターゲットパターンの少なくとも１つのインスタンスを含む画像のセットが与えられ、しかも当該ターゲットパターンの外観が変動することがある場合は、当該画像セット内のすべての画像に適用可能なパターン認識及び登録モデルの最小限のセットを特定してトレーニングすることが課題となり得る。パターン認識及び登録手順は米国特許第６，４０８，１０９号；６，６５８，１４５号；及び７，０１６，５３９号により詳細に説明されており、その開示内容は有用な背景情報として参照により本明細書に編入される。パターンが認識されたら、パターン認識及び登録手順（又は「ツール」）は、見られているパターンが、実際に、ツールがサーチしてその位置、向き、スケール、スキュー及びアスペクトを固定するパターンであることを確認する。このようなサーチツールの一例は、米国マサチューセッツ州ネイティック市のコグネックス株式会社から出ている製品ＰａｔＭａｘ(R)である。パターン認識及び登録手順は、ジオメトリックパターン検出の方法である。本明細書で記述する方法は、概してジオメトリックパターン検出に適用する。

【0005】

例えば、パターンは円と線を含む要素から成っていてもよい。図１を参照すると、パターン１１０は円１１２と２本の交差する線１１４、１１６を含み、パターン１２０は円１２２と１対の線１２４、１２６を含み、パターン１３０は円１３２と１対の線１３４、１３６を含んでいる。トレーニングされた画像の画像セットにわたって、円は半径が変動し、線は太さ又は数が変動することがある。これは特に基体上に複数の層が積層される半導体又はその他の材料の分野で見られ、各層における特徴の歪みを招く可能性がある。パターンの極性も画像セットを通して変化することがある（パターン１２０とパターン１３０の差異として示されている）。画像は高いノイズを含むこともある。

【0006】

この問題は少なくとも２つの構成要素を有する。第１に、トレーニング画像セットはノイズの多い画像から成るので単一の画像からクリーンなモデルをトレーニングすることは難しい。第２に、パターンはトレーニングセットにおいて異なる外観を持ち、そのことが単一モデルのトレーニングを困難にすると共に実行時にエラーが起こりやすくする。

【発明の概要】

【0007】

先行技術の短所を克服するために、本明細書に記載のシステム及び方法はパターン認識及び登録モデルを用いてトレーニングを行う。例示的に、パターン検出モデルは、複数のトレーニング画像からトレーニングされた単一のモデルである。幾つかの実施形態において、合成モデルを使用してロバスト性を標準パターン認識及び登録モデルに比べて改善し、及び／又はターゲット領域の外観における小さい差異をモデル化する。ロバスト性を改善するために、合成モデルは単一の基本的パターンのインスタンスを示すノイズの多い（または別様に歪んだ）トレーニング画像からデータを結合して単一のロバストなモデルを形成する。これを達成するために、パターン認識及び登録モデルを用いるトレーニングエレメントは、入力された画像と既知の相対的位置又は姿勢（これは人が特定するかコンピュータが判定する）を使用する。

【0008】

ターゲット領域の外観における小さい差異を把握するために、トレーニングセット内のターゲットパターンの外観の全範囲（又は少なくとも全範囲の大部分）に及ぶパターン認識及び登録モデルのセットをトレーニングするトレーニング方法が採用される。パターン認識及び登録モデルのセットは、パターンモデルの別個のインスタンスとして、又はパターンマルチモデルとして出現し得る。パターンマルチモデルはパターン認識及び登録モデルオン集合である。基礎モデルは、標準パターン認識及び登録モデル、又は合成パターンモデル、又は両者の結合であってもよい。パターンマルチモデルは、外観が顕著に変動するターゲットのモデル化で使用するためのものである。マルチモデルは、実際にあり得そうな時系列モデルの外観の予備知識を利用するために種々のモードで実行することができる。複数のパターンモデルをパターンマルチモデルフレームワークに組み入れることによりフロントエンド処理の量を減らすことができ、それによって、別個のパターンモデルインスタンスを実行することに比べて増分性能利得が可能になる。パターンマルチモデルはそのコンポーネントモデルからの結果を検査してオーバーラップについてフィルターをかけることができ、例えば２個のモデルからの結果がユーザの指定する閾値より多くオーバーラップしていないか検査し、次にパターンマルチモデルはより良好なマッチ（又はより高い得点）結果のみをユーザに戻すことができる。

【0009】

以下に、本発明を添付の図面を参照して説明する。

【図面の簡単な説明】

【0010】

【図1】図１は、既に述べたように、それぞれパターン認識及び登録手順に従い１つのパターンを含む３個の模範的な画像を示す。

【0011】

【図2】図２は、例示的な実施形態により本発明の原理を実施するための模範的なマシンビジョンシステムの概略的なブロック図である。

【0012】

【図3】図３は、例示的な実施形態により単一のパターン認識及び登録モデルをトレーニングするための手順のフローチャートである。

【0013】

【図4】図４は、例示的な実施形態によりパターンマルチモデルをトレーニングし、現在トレーニングされて出力されるモデルの性能を測定するための手順のフローチャートである。

【0014】

【図5】図５は、例示的な実施形態により出力されるモデル集合に追加するための候補の提案及びランク付けの手順のフローチャートである。

【0015】

【図6】図６は、例示的な実施形態により最高得点の候補をユーザに提案し、パターンマルチモデルを出力する手順のフローチャートである。

【発明を実施するための形態】

【0016】

図２は、例示的な実施形態により本発明の原理を実施するために用いられ得るマシンビジョンシステム２００の概略的なブロック図である。マシンビジョンシステム２００は、１以上の特徴２１５を有する対象物２１０の画像を生成する撮像装置２０５を含んでいる。撮像装置２０５は慣用的なビデオカメラ又はスキャナを備えていてもよい。そのようなビデオカメラは電荷結合素子（ＣＣＤ）、又は適当な画像情報を取得するためのその他のシステム、例えばよく知られたＣＭＯＳセンサであってもよい。撮像装置２０５によって生成される画像データ（又はピクセル）は、画像強度、例えばシーン内の各点色又は輝度を撮像装置２０５の解像度の範囲内で表す。撮像装置２０５は通信パス２２０を介してデジタル画像データを画像分析システム２２５に伝送する。画像分析システム２２５は、慣用的なデジタルデータプロセッサ、例えばコグネックス社から市販されているタイプの視覚処理システムを備えていてもよい。画像分析システム２２５は、慣用的なマイクロコンピュータ又はその他の例示的な計算装置を備えていてもよい。例えばパーソナルデジタルアシスタント（ＰＤＡ）等を含む他の形態のインタフェースを利用することができる。代替的な実施形態において、撮像装置は分析システムの機能を実行するための処理能力を含んでいてもよい。そのような実施形態では別個の画像分析システムの必要はない。更に代替的な実施形態において、撮像装置はトレーニング目的のために画像分析システムと相互に動作接続されてもよい。トレーニングが行われたら、１以上の適当なモデルは実行時に使用するために撮像装置に保存できる。

【0017】

画像分析システム２２５は、本発明の教示に従い、複数の画像間に類似の特徴を検出してマシンビジョンシステムをトレーニングするための適当な認識及び登録情報を生成するようにプログラムされ得る。画像分析システム２２５は１以上の中央処理ユニット（プロセッサ）２３０、主メモリ２３５、入力／出力システム２４５、及び１以上のディスクドライブ、又は他の形態の大容量記憶装置２４０を有していてもよい。例示的に、入力／出力システム２４５は通信パス２２０によって撮像装置２０５と画像分析システム２２５とを相互接続する。システム２２５は、本発明の教示に従いプログラミング命令によって本発明の新規のマルチ画像トレーニングされたパターン認識及び登録を実行するように設定できる。当業者によって理解されるように、本発明の原理を実装するために代替的なハードウェア及び／又はソフトウェア設定を利用することができる。具体的には、本発明の教示はソフトウェア、ハードウェア、ファームウェア及び／又はそれらの組み合わせにおいて実装され得る。更に、トレーニング時とは対照的に、実行時にはマシンビジョンシステム２００に追加のコンポーネントを含めることができる。例えば、対象物２１５はコンベヤベルト又はその他の組立ライン機器等によって搬送されてもよい。

【0018】

本発明の例示的な実施形態により、マシンビジョンシステム２００を利用して実行時マシンビジョンシステムのためのトレーニングモデルを生成できる。従って、マシンビジョンシステム２００を利用して、類似のコンポーネントを用いる複数のマシンビジョンシステムで使用可能なトレーニングモデルを生成できる。

【0019】

更に、本明細書で図示及び説明されるパターンエレメント（又はパターン認識及び登録要素）、並びにそれらと関連するモデルは、概して画像分析システム２２５の内部にあることに留意すべきである。しかしながら、エレメント及びモデルの配置と保存は、通常技術の範囲内で大いに変更させ得る。

【0020】

本発明はマシンビジョンシステム２００の観点から説明されているが、本発明の原理は種々異なる実施形態で利用できることに留意すべきである。例えばマシンビジョンシステムという用語は、代替的なシステムを含むものとして受け取られるべきである。より一般的に、本発明の原理は画像中のサブパターンを登録する任意のシステムに実装させることができる。例えば１実施形態では、画像等を処理するようにプログラムされたスタンドアロン型コンピュータと相互に動作接続されたスタンドアロン型カメラから成る慣用的なマシンビジョンシステムを含んでいてもよい。しかしながら、本発明の原理は画像中のサブパターンを登録するその他の装置及び／又はシステムで利用できる。例えば、コグネックス社から発売されている製品チェッカ等のビジョンセンサ、又は画像取得能力及び／又は処理能力を有するその他の装置である。そのようなビジョンセンサは、コグネックス社製ビジョンビュー等の別個のモジュールを介してトレーニングされ、及び／又は、設定され得る。そのような実施形態において、ユーザは単一の部分の代わりに複数の部分を用いてビジョンセンサをトレーニングできる。ユーザは第１の部分を選択して、それをセンサの前に置き、トレーニング部分が位置決めされたことをシステムに示す。第２（第３等々）の部分も同様にトレーニングできる。ユーザは、例えばグラフィカルユーザインタフェース（ＧＵＩ）及び／又はボタン、あるいは、トレーニングモジュール及び／又はビジョンセンサ自体に配置されたその他のコントロールサーフェスを用いてトレーニングステップを制御できる。更に、本発明の機能性は手持ち装置や、互換性のあるワイヤレス装置等に組み入れることができる。そのようなものとしてマシンビジョンシステムという用語は広く解釈して、本発明の１以上の教示を利用するシステム及び装置を包含すべきである。

【0021】

単一のパターン認識及び登録モデルのトレーニング

【0022】

例示的な実施形態により、パターン認識及び登録モデルは複数の画像からトレーニングされる。単一のパターン認識及び登録モデルのトレーニングのより詳細な説明は、例えば米国特許第８，３１５，４５７号を参照することとし、その開示内容は有用な背景情報として参照により本明細書に編入される。合成モデルは、ロバスト性を標準パターンモデルに比べて改善するために、又はターゲット領域の外観における小さい差異をモデル化するために使用できる。本明細書で実装されるトレーニングエレメントは、１組のトレーニング画像におけるターゲットパターンの外観の全範囲に及ぶ、パターン認識及び登録モデルのセットをトレーニングする。このモデルのセットは、単一のパターン認識及び登録モデル、又は本明細書でパターン「マルチモデル」エレメントと呼ばれるモデルの集合であってもよい。マルチモデルエレメントは、外観が顕著に変動するターゲットのモデル化で使用するためのものである。マルチモデルは、実際にあり得そうな時系列モデルの外観の予備知識を利用するために種々のモードで実行することができる。

【0023】

本明細書で用いられる「トレーニングエレメント」（又はトレーニングモジュール）という用語は、トレーニングモデルの生成において実行されるステップの非一時的な実施形態を表す。トレーニングエレメントは、特定のタスクのみ実行するように設計された１つの（又は幾つかの）ルーチン又は機能を含む非一時的なコンピュータプログラムの部分である。本明細書で図示及び説明される各エレメント（又はモジュール）は、マシンビジョンシステム内部で単独で又は他のモジュールと組み合わせて使用できる。トレーニングエレメントは、データベースに保存されているトレーニング画像の全範囲に及ぶ１組のモデルをトレーニングすることによってトレーニングモデルを作成する。加えて、本明細書で用いられる「パターン認識及び登録モデル」又は「パターンモデル」という用語は、別途注記しない限り、概して米国特許第８，３１５，４５７号で開示されているパターンモデルを表す。

【0024】

ここで図３を参照すると、例示的な実施形態により単一のパターン認識及び登録モデルをトレーニングするためのトレーニングエレメントによって実行される手順３００のフローチャートが示されている。ステップ３１０では、アルゴリズム（ユーザ又はコンピュータにより提供されてもよい）に対する初期入力は、初期トレーニング画像とトレーニングされるべきパターンを規定する領域（「関心のある領域」）であり、これもユーザ又はコンピュータにより提供されてもよい。手順３００はこの入力を受け取り、ステップ３２０で３２５でのトレーニングパラメータを用いて第１の（初期）パターン認識及び登録（「ＰａｔＭａｘ」）モデル（Ｐ_０）をトレーニングする。次にステップ３３０で、システムが画像セット（少なくとも残りのトレーニング画像の一部又はサブセット）にわたってパターンモデルＰ_０の実行を反復する。この画像セットはユーザ又はコンピュータにより提供され、以前にデータベースに保存されたものである。システムは残りの全トレーニング画像セット又は残りの画像セットの一部でモデルを反復でき、結果得点、姿勢及びマッチング領域データを保存する。ステップ３４０で、結果は得点順（グラウンドトゥルースデータが利用できる場合は精度順）にソートされる。グラウンドトゥルースはユーザにより供給されてもよいし、あるいは、コンピュータにより生成されてもよい。ステップ３５０で、手順はトップ画像（Ｎ_Ｃ−１）（Ｎ_Ｃは、合成モデルトレーニングに入力される画像数を規定するパラメータ）を入力し、ステップ３６０で、以前にＰ_０の実行において生成された結果からの姿勢及び領域情報を用いて合成モデルをトレーニングする。

【0025】

参照することにより本明細書に有用な背景情報として編入される米国特許第８，３１５，４５７号により詳細に説明されているように、パターン認識及び登録のためにマルチ画像トレーニングが実行される。マシンビジョンシステムは複数（「Ｎ」）のトレーニング画像を取得する。１個の画像が選択されると、その他の（Ｎ−１）画像は実質的にこの選択された画像に登録される。この選択と登録が反復されて、Ｎ個の画像の各々はベースライン画像として利用される。ベースライン画像としてＮ個の画像の各々について反復することにより、この手順は対応付けられた特徴のデータベースを構築するが、これは画像間で安定している特徴のモデルを形成する際に利用することができる。次に１組の対応する画像特徴を表す特徴がモデルに追加される。対応付けられた特徴のデータベースを形成するために、各々の特徴は境界検査ツール又はマシンビジョンシステム内の輪郭と対応させる他の慣用的な技術を用いて対応付けることができる。例示的に、モデルのために選択される特徴は、特徴が現れる各々の画像で対応する特徴間の最大距離を最小化するものである。モデルに追加される特徴は、特徴が現れる各々の画像からの特徴の平均を含んでいてもよい。プロセスは、閾値要件を満たすすべての特徴が把握されるまで継続する。このプロセスの結果生じるモデルは、少なくとも閾値であるＮ個のトレーニング画像で検出される安定した特徴を表す。このプロセス（米国特許第８，３１５，４５７号で開示）は、それらが安定した特徴であるというトレーニング画像の証拠によって充分支持される特徴を特定する。次にモデルは、アラインメント、サーチ又は検査ツールを特徴のセットでトレーニングするために使用できる。

【0026】

再び図３を参照すると、ユーザは追加の合成モデルトレーニングパラメータ３５５を供給できるが、これはＮ_Ｃトレーニング画像のどの分画が出力モデルに含まれるべき当該画像に特有の特徴を備えなければならないかを規定する。例示的に、この分画は８０％〜９０％等のパーセンテージであってもよいが、具体的な応用に応じて通常技術の範囲内で大いに変わり得る。ユーザはまたマッチとみなされるべき異なるトレーニング画像からの特徴に対して近接閾値も規定できる。

【0027】

パターン認識及び登録マルチモデルのトレーニング

【0028】

ここで図４を参照すると、例示的な実施形態によりパターン認識及び登録マルチモデルをトレーニングし、現在トレーニングされて出力されるモデルの性能を測定するための手順４００のフローチャートが示されている。ステップ４１０で、この手順に対する初期入力（通常はユーザから提供されるが、コンピュータにより提供されてもよい）は、トレーニング画像（Ｉ_０）、Ｒ_０画像Ｉ_０内のパターンの範囲を規定する領域、トレーニング画像Ｉ_０内のパターン（Ｏ_０）の原点、及び関心のあるパターンの外観の範囲を示す１組のトレーニング画像｛Ｉ_１，Ｉ_２，…，Ｉ_Ｎ｝である。

【0029】

この手順はステップ４２０でこれらの入力を使用して、上に図３で単一のパターン認識及び登録モデルのトレーニングについて説明した手順を用いて合成モデルパラメータ４２２に従い第１の「ＰａｔＭａｘ」パターン合成モデル（ＰＣＭ^ＯＵＴ_０）をトレーニングする。トレーニングパラメータ４２４は出力されるモデル（ＴＰ^ＯＵＴ）のトレーニングで使用され、トレーニングされたモデルがトレーニング画像の全セットにわたる探索で高得点の誤った検出を生じないことを保証するために充分制限的である。パターン認識及び登録マルチモデルフレームワークを用いる場合、ＰＣＭ^ＯＵＴ_０は出力されるマルチモデルＰＭＭ^ＯＵＴに追加される。マルチモデルフレームワークを用いなければ、ＰＣＭ^ＯＵＴ_０は出力されるセットの第１のパターン認識及び登録モデル（これは既述目的のためにＰＭＭ^ＯＵＴ_０とも呼ばれる）として保存される。

【0030】

次に、ステップ４３０ではこの手順は、同じ（４１０からの）入力を使用して異なる（第２の）パターン認識及び登録モデルＰＣＭ^ＣＡＮＤ_０を、図３で単一のパターン認識及び登録モデルについて示した上述のアルゴリズムを用いてトレーニングする。このプロセスで用いられるパターントレーニングパラメータＴＰ^ＣＡＮＤ４３４は、専ら更に出力される合成モデルのトレーニング用の候補の検出に使用されるモデルをトレーニングするためのパラメータである。これらのトレーニングパラメータ４３４は、出力されるモデルを生み出すのに使用されるパラメータよりも緩やかでなければならない。ここで前提とされねばならないのは、ＰＣＭ^ＣＡＮＤ_０はより制限的にトレーニングされたＰＣＭ^ＯＵＴ_０を用いた場合に可能なものよりも多様なトレーニング候補の範囲を提案できるが、誤った検出はユーザによって拒否され、又は自動的に既知のグラウンドトゥルースに準拠され得ることである。出力されるモデルに関しては、ＰＣＭ^ＣＡＮＤ_０はパターン認識マルチモデルＰＭＭ^ＣＡＮＤに追加されてもよいし、他のタイプのモデル集合に保存されてもよい。

【0031】

性能測定

【0032】

ステップ４４０で、パターン候補を検出して、「最良」（最高得点又はマッチ）とみなされる候補をトレーニングするプロセスを開始する前に、システムは最初に現在トレーニングされて出力されるモデル、即ちＰＭＭ^ＯＵＴの性能を測定しなければならない。性能を測定するために、この手順は画像の全テストセットにわたってモデルを実行し、０に初期化された複合得点を計算する。ＰＭＭ^ＯＵＴがユーザの定義する信頼度閾値より大きい得点を有する画像（得点範囲は０〜１）中にパターンを検出したら、当該得点は複合得点に加算される。しかしながらＰＭＭ^ＯＵＴがユーザの定義する信頼度閾値より大きい得点を有する画像中にパターンを検出できなければ、複合得点から１が減算される。その他の類似の採点機能も当業者によって実装されることができ、グラウンドトゥルースデータが利用できる場合はアラインメント精度の測定を組み入れてもよい。

【0033】

性能測定の後、手順の残りのステップは繰り返し反復されてよく、その場合は変数「ｔ」で表される。ここで、例示的な実施形態により候補モデルを提案するための手順のフローチャートを示す図５及び図６を参照する。図５を参照すると、手順５００は出力されるモデル集合ＰＭＭ^ＯＵＴ（ｔ）に追加するための候補を提案及びランク付けするためのものである。５１０で、反復（ｔ）に対する入力は候補ＰＭＭ^ＣＡＮＤ（ｔ）及び出力マルチモデルＰＭＭ^ＯＵＴ（ｔ）を含み、ここで、
ＰＭＭ^ＣＡＮＤ（ｔ）は、｛ＰＣＭ^ＣＡＮＤ（０）、ＰＣＭ^ＣＡＮＤ（１）、
…、ＰＣＭ^ＣＡＮＤ（ｔ）｝を含み、
ＰＭＭ^ＯＵＴ（ｔ）は、｛ＰＣＭ^ＯＵＴ（０）、ＰＣＭ^ＯＵＴ（１）、…
、ＰＣＭ^ＯＵＴ（ｔ）｝を含む。

【0034】

この手順のステップ５２０で、候補マルチモデルＰＭＭ^ＣＡＮＤは出力されるモデル集合ＰＭＭ^ＯＵＴ（ｔ）に追加するための候補を提案及びランク付けする。これを達成するために、候補パターンマルチモードＰＭＭ^ＣＡＮＤ（ｔ）が各トレーニング画像Ｉ_ｉで実行される。容認可能な結果が戻されたら（即ちモデル得点がユーザの定義する容認閾値より高い位置が検出されたら）、ステップ５２０でマッチング領域Ｒ_ｉ及び／又は原点Ｏ_ｉを使用して候補パターン合成モデルＰＣＭ^ＯＵＴ_（ｉ）（上でＰＭＭ^ＯＵＴ（ｔ）に対する単一のモデルのトレーニングについて説明されたように）をトレーニングする。それゆえ候補合成モデルは、画像Ｉ_ｉの候補領域Ｒ_ｉと、当該候補画像領域（画像Ｉ_ｉのＲ_ｉ）の最良マッチングＮ_ｃ−１画像の対応する領域からトレーニングされる。

【0035】

ステップ５３０で、この手順は候補パターン合成モデルのセットを通して反復し、各々について最初に出力される集合に追加してＰＭＭ^ＯＵＴ（ｔ）→ＰＭＭ^ＯＵＴ（ｔ）’となり、次いでその性能を上で性能測定について説明したのと同じ仕方で測定する。得点を獲得して出力されるマルチモデルＰＭＭ^ＯＵＴ（ｔ）’に拡張することが提案された後、ＰＣＭ^ＯＵＴ_（ｉ）が取り除かれてＰＭＭ^ＯＵＴ（ｔ）’→ＰＭＭ^ＯＵＴ（ｔ）となる。ステップ５３４で、これらの得点に従って、候補がソートされる（即ちＰＣＭ^ＯＵＴ_（ｉ））。

【0036】

手順５００の最後に、ステップ５４０でシステムは、ＰＭＭ^ＣＡＮＤ（ｔ）が容認可能な結果を検出し得る場合にはすべてのトレーニング画像をカバーする候補パターン合成モデルの集合を持つ。この手順はこれらのモデルを、それぞれ出力されるパターンモデル集合（又はマルチモデル）ＰＭＭ^ＯＵＴ（ｔ）にどの程度のカバレッジの改善を提供するかに応じてランク付けする。ユーザの定義する量より多く得点を改善する候補が検出されなければ、停止基準が満たされたとみなされ得る。

【0037】

ここで例示的な実施形態により候補モデルを提案し、パターンマルチモデルを出力するための手順６００を示す図６を参照する。ステップ６２０で、この手順はユーザに最高得点候補を（例えば候補画像Ｉ_ｉ内の候補の関心のある領域を表示することによって）提案する。ステップ６２２で、ユーザは候補を容認又は拒否でき、又は等価的にコンピュータに最高得点候補が提示されてよく、コンピュータは既知のグラウンドトゥルースに基づいて候補を容認又は拒否する。候補が容認されたら、ステップ６３０で、ＰＭＭ^ＣＡＮＤ（ｔ）の出力に僅かなアラインメント誤差がある場合に、ユーザは新しいモデルの原点を調整する機会が与えられ得る。ステップ６２４で候補が拒否されたら、トップ候補ＰＣＭ^ＯＵＴ（ｔｏｐ）は捨てられ、システムは順序付きリストにおける次の候補を提案する。

【0038】

候補が容認されたら、ステップ６４０で容認された候補モデルＰＣＭ^ＯＵＴ_{（ａｃｃｅｐｔｅｄ）}が現在の出力モデル集合に追加されてＰＭＭ^ＯＵＴ（Ｔ）→ＰＭＭ^ＯＵＴ（ｔ＋１）となる。このとき候補検出モデル集合（又はマルチモデル）は好ましくは類似のモデルで更新されるべきである。ステップ６５０で、候補モデルＰＣＭ^ＣＡＮＤ_{（ａｃｃｅｐｔｅｄ）}は、トレーニングパラメータＴＰ^ＣＡＮＤを用いて画像Ｉ_{（ａｃｃｅｐｔｅｄ）}の領域Ｒ_{ａｃｃｅｐｔｅｄ}からトレーニングされる。次にステップ６６０でＰＣＭ^ＣＡＮＤ_{（ａｃｃｅｐｔｅｄ）}が追加されてＰＭＭ^ＣＡＮＤ（ｔ）→ＰＭＭ^ＣＡＮＤ（ｔ＋１）となる。ステップ６７０で反復（ｔ）に出力されるのは、候補マルチモデルＰＭＭ^ＣＡＮＤ（ｔ＋１）及び出力マルチモデルＰＭＭ^ＯＵＴ（ｔ＋１）である。

【0039】

種々の例示的な実施形態は、複数のトレーニング画像の各トレーニング画像にわたって反復されるパターン認識及び登録モデルン生成を提供して、トレーニング画像の全データベースに及ぶ（即ち有効な）モデルを提供する。これは実行時システムのロバスト性及び効率を改善する。

【0040】

以上にて、本発明の例示的な実施形態を詳細に説明した。本発明の精神と範囲から逸脱することなく種々の修正及び追加を行うことができる。上述した種々の実施形態の各々の特徴は、関連する新しい実施形態において複数の特徴の組合せを提供するために、必要に応じて説明された他の実施形態の特徴と組み合わすことができる。更に、以上では本発明の装置及び方法の幾つかの別個の実施形態が記述されているが、本明細書で記述されているものは本発明の原理の応用の例示に過ぎない。例えば本明細書で用いられる「プロセス」及び／又は「プロセッサ」という用語は、機能及びコンポーネントに基づき多様な電子的ハードウェア及び／又はソフトウェアを含むために広く理解されるべきである。本明細書で使用される様々な方向および／または向きを表わす用語、例えば、「垂直」、「水平」、「上」、「下」、「底部」、「頂部」、「側部」、「前部」、「後部」、「左」、「右」およびこれに類するものは、相対的な表現法として用いられているに過ぎず、重力等の固定した座標系を基準とした絶対的な向きを表わすものではない。更に、表現されたプロセス又はプロセッサは他のプロセス及び／又はプロセッサと組み合わされ、又は種々のサブプロセス又はプロセッサに分割されてもよい。そのようなサブプロセス及び／又はサブプロセッサは本明細書に記載された実施形態に従って種々に組み合わせることができる。同様に、本明細書に記載された機能、プロセス及び／又はプロセッサは、プログラム命令の非一時的コンピュータ可読媒体から成る電子的ハードウェア及びソフトウェア、又はハードウェアとソフトウェアの組み合わせを用いて実装され得ることが明確に考えられている。更に、タスクを処理する一部又はすべてのビジョンシステムは、有線又は無線通信（ネットワーク）リンクを介してメインモジュールとインタフェースモジュールを通して作動的に結合されているメインモジュール又は遠隔プロセッサ（例えばサーバ又はＰＣ）において実行され得ると考えられている。従って、以上の説明は単なる例示として受け取られるべきであり、本発明の範囲を別途制限するものではない。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】