(58)【調査した分野】(Int.Cl.,DB名)
前記1つまたは複数の画像アンカテンプレート候補毎の前記品質スコアは、前記1つまたは複数の画像アンカテンプレート候補の各々と前記第1のクラスの前記1つまたは複数の手本との一致の質を基礎とする、請求項1に記載の方法。
【発明を実施するための形態】
【0011】
後に詳しく論じるシステム及び方法は、第1のクラスの文書と他のクラスの文書とを弁別するための画像アンカテンプレートの自動生成に関する。第1のクラスの少なくとも手本(即ち、例)を所与として、画像アンカテンプレートは、画像アンカテンプレート候補を生成し、これらの画像アンカテンプレート候補の品質スコアを決定し、品質スコアに従ってこれらの画像アンカテンプレート候補に等級を付けかつ最も高い等級の画像アンカテンプレート候補を選択することによって生成されることが可能である。しかしながら、これらのシステム及び方法を詳しく論じる前に、幾つかの基本的な構成ブロックについて論じる。
【0012】
画像アンカテンプレートtは、画像t.imと、関心領域t.roiとを含む。テンプレートの画像t.imはテンプレートソースTのサブ画像Taである。
t.im=Ta
ここで、aはテンプレートソースTのサブ領域を示す。サブ領域aは、テンプレートソースTの座標に関して指定され、かつ典型的には、サブ領域aは軸平行の長方形領域になる。これに対して、関心領域t.roiは、ターゲット画像Iの座標に関して指定される。ターゲット画像Iは、画像アンカテンプレートtに対してマッチングされる画像である。
【0013】
図1a及び
図1bを参照すると、テンプレートソース100が示されている。テンプレートソース100は、図示されているように未記入の書式であり、画像アンカテンプレート102を含んでいる。画像アンカテンプレートは、関心領域104と画像106とで構成される。
【0014】
テンプレートマッチング関数m(t,I)は画像アンカテンプレートt及びターゲット画像Iを取り込み、ターゲット画像I内でテンプレート画像t.imに最もよく類似するものを発見するためにテンプレート画像t.imの有効変換セットを探索する。有効変換はテンプレート関心領域t.roiに限定され、かつテンプレート画像t.imの平行移動、テンプレート画像t.imの回転、t.imのスケーリング及びt.imのアフィン変換のうちの少なくとも1つを含んでもよい。しかしながら、テンプレート画像t.imの他の変換も等しく適合することは認識されるべきである。
【0015】
ターゲット画像I内のよく類似するものを位置決めした後、テンプレートマッチング関数は概して[0,1]の範囲内のスコアを返す。但し、ゼロは一致なし、を示し、1は完全一致を示す。完全一致は、ターゲット画像Iの何らかのサブ領域が有効変換下でテンプレート画像t.imに精確にピクセル単位で一致する場合にのみ存在する。さらに、画像アンカテンプレートtが複数のロケーションに一致すれば、スコアは一致の数と共に増大する係数で割り引かれる。従って、テンプレートマッチング関数m(t,I)によって返されるスコアは、典型的には発見された最良一致の「優良度」を表すスコアであるが、この限りではない。所定の実施形態では、マッチング関数はターゲット画像Iの最良一致または最良一致のサブ画像に対応する有効変換も返してもよい。
【0016】
マッチング関数は上述の制限を受ける任意のものが使用されてもよいが、所定の実施形態では、マッチング関数は、種々の正規化を行った、または行わない基本的な相関測度、確率的尤度または尤度比(文書画像復号化のためのマルチレベルテンプレート等)、ハウスドルフ距離及び局所的測定ヒストグラム(アースムーバーズ距離等)を基礎とする比較のうちの少なくとも1つを基礎としている。
【0017】
2値文書を取り扱う場合は、ハウスドルフ距離を基礎とするマッチング関数が特に興味深いが、これは、このマッチング関数が2値画像の取扱いにおいて高速かつ効率的であることが知られているためである。2画像(例えば、テンプレート画像及びターゲット画像のサブ画像)間のハウスドルフ距離は、最良一致シナリオを得るためにテンプレートが最も好適な有効変換によって変換された後の対応する2つのフォアグラウンドの点間の最大距離として定義される。
【0018】
Rucklidge、らは、テンプレート画像の点集合とサブ画像の点集合とのハウスドルフ距離を最小化することによって、より大きい画像内にテンプレートを位置決めするための分枝限定を基礎とする有効な技術を開発した。詳細情報については、Daniel P.Huttenlocher、William J.Rucklidge共著「ハウスドルフ距離を用いる多分解能画像比較技術」Technical ReportTR 92−1321、コーネル大学、1992年、及びWilliam Rucklidge著「ハウスドルフ距離を用いる効率的な視覚認識」(Springler−Verlag New York,Inc.、米国、ニュージャージー州、セコーカス、1996年)を注目されたい。
【0019】
テンプレート検出関数d(t,I)は、良い一致が発見されたかどうかを示すために1またはゼロを返すブール関数である。但し、ゼロは一致が発見されなかったことを意味する。テンプレート検出関数は、テンプレートマッチング関数の一致スコアを受容しきい値qと比較することによって構築されてもよい。
m(t,I)>qであれば、d(t,I;m,q)=1
そうでなければ、0
【0020】
複合画像アンカテンプレートCは、画像アンカテンプレート(t
1,t
2,...,t
k)の集合体である。先に述べたテンプレートマッチング関数と同様に、複合テンプレートマッチング関数m(c,I)も概して[0,1]の範囲内のスコアを返す。但し、このスコアはマッチングの「優良度」を表す。しかしながら、先に述べたテンプレートマッチング関数とは対照的に、複合テンプレートマッチング関数は画像アンカテンプレートの各々がターゲット画像Iとどのようにマッチングするかについて考慮する。ある典型的な複合マッチング関数は、個々のテンプレートマッチング関数に渡る関数を画定することによって取得される。
【数1】
このような関数は、例えば個々のテンプレート一致スコアの最大値、最小値、平均値または中央値を考慮する可能性もある。より高度な複合マッチング関数は、個々の一致スコアだけでなく、対応する変換についても考慮することがある。
【0021】
先に述べたテンプレート検出関数に類似する複合テンプレート検出関数d(C,I)は、ゼロまたは1(一致または一致なし)を返す。典型的には、複合テンプレート検出関数は個々のテンプレート検出関数のブール組合せである。しかしながら、他の方法も等しく適合する。例えば、投票方式を用いること、または複合検出器として2値文書分類器関数を適用することも可能である。
【0022】
2値または多カテゴリ文書分類器関数は、ターゲット画像、及び異なるクラスのターゲット画像間を弁別することができる画像アンカテンプレートの集合を取り込み、分類を返す。2値文書分類器関数は単に、ターゲット画像が所定の分類のものであるかどうかを示す。多カテゴリ文書分類器関数は、複数の既知の分類のうちの1つからターゲット画像の分類を返す。所定の実施形態では、文書分類器関数は、テンプレートマッチング関数及び/またはテンプレート検出関数の結果を分類器への入力ベクトルとして処理することによってテンプレートマッチング関数及び/またはテンプレート検出関数を積み上げる。
【0023】
例えば、第1のクラスの一致文書のみに知られる(かつ他のクラスの文書には知られていない)画像アンカテンプレートを有していれば、その画像アンカテンプレートが文書画像に一致するかどうかを基礎として文書分類器関数を容易に構築することができる。より複雑な事例では、これは、異なるクラスの文書間を弁別するために画像アンカテンプレートの組合せを取り込んでもよい。このような事例では、文書分類器関数は単に、テンプレートマッチング関数及び/またはテンプレート検出関数からの結果のベクトルからこれらの組合せを認識できるだけでよい。ブール代数は、検出結果のベクトルを処理するための有益なツールを提示する。
【0024】
図2を参照すると、第1のクラスの文書と他のクラスの文書とを弁別するための1つまたは複数の画像アンカテンプレートを決定する方法200が示されている。方法200は、画像アンカテンプレート候補を生成すること(アクション202)と、画像アンカテンプレート候補毎に品質スコアを決定すること(アクション204)と、品質スコアに従って画像アンカテンプレート候補に等級を付けること(アクション206)と、最も高い等級の画像アンカテンプレートのうちの1つまたはそれ以上を選択すること(アクション208)を含む。所定の実施形態では、方法200はさらに、終了条件が満たされるまでアクション202から208までを反復することを含む。
【0025】
まず始めに、画像アンカテンプレート候補生成器を用いて画像アンカテンプレート候補が生成される(アクション202)。画像アンカテンプレート候補生成器は、概して、入力として画像及び/または画像アンカテンプレートを取り込む。所定の実施形態では、画像は第1のクラスの手本画像であり、または他のクラスの手本画像である。手本画像は、方法200をトレーニングするために使用される、あるクラス(例えば、第1のクラス)からの文書例の画像である。典型的には、方法200を実行するオペレータが手本画像を画定する。所定の実施形態では、画像アンカテンプレートは、入力として画像または画像アンカテンプレートを取り込むことに加えて、第1のクラスの手本及び/または他のクラスの手本も取り込む。
【0026】
この入力を基礎として、画像アンカテンプレート候補生成器は画像アンカテンプレート候補を生成する。所定の実施形態では、画像アンカテンプレート候補を生成することは、必然的に、入力からサブ画像を抽出すること、及び/または入力に対して任意数の有効変換を実行することを伴う。有効変換には、平行移動、回転、アフィン変換、他が含まれるが、この限りではない。画像アンカテンプレート候補生成器の例には、粗グリッドサンプリング生成器、シードコレクション生成器及び推移エクスプローラ生成器が含まれるが、この限りではない。
【0027】
粗グリッドサンプリング生成器は入力画像を取り込み、入力画像から画像アンカテンプレートの粗いサンプリングを生成する。言い替えれば、粗グリッドサンプリング生成器は入力画像をサブ領域に分割し、これらのサブ領域を画像アンカテンプレートに抽出する。所定の実施形態では、そのピクセルがほぼ全て白またはほぼ全て黒である画像アンカテンプレートは放棄されるが、これは、これらが元来低い弁別力を有するものと理解されているためである。粗グリッドサンプリング生成器により生成される画像アンカテンプレート候補の数を制御するために、入力画像から抽出されるべき画像アンカテンプレートのサイズは変えられることが可能である。当然ながら、サイズが小さいほど、画像アンカテンプレートの数は多くなる。
【0028】
図3aを参照すると、粗グリッドサンプリング生成器302を用いる画像アンカテンプレート候補の生成が示されている。図から分かるように、粗グリッドサンプリング生成器302は入力として画像304を受信し、画像アンカテンプレート候補306を出力する。
【0029】
シードコレクション生成器(摂動生成器とも称される)は入力として画像アンカテンプレートを取り込み、入力された画像アンカテンプレートに対して有効変換を実行することにより新しい画像アンカテンプレートを生成する。有効変換には、平行移動、回転、アフィン変換、他が含まれるが、この限りではない。従って、シードコレクション生成器は、入力された画像アンカテンプレートの僅かな変動を探ることによって画像アンカテンプレートを生成する。所定の実施形態では、シードコレクション生成器は、入力された画像アンカテンプレートの関心領域の変動を探ってもよい。
【0030】
図3bを参照すると、シードコレクション生成器308を用いる画像アンカテンプレート候補の生成が示されている。図から分かるように、シードコレクション生成器308は入力として画像アンカテンプレート310を受信し、画像アンカテンプレート候補312を出力する。
【0031】
推移エクスプローラ生成器はシードコレクション生成器の特別な一種であり、入力として画像アンカテンプレート及び手本を取り込んで、画像アンカテンプレートを手本にマッチングさせる。この場合、手本内に一致を作り出すことによって新しい画像アンカテンプレートが構築される。所定の実施形態では、推移エクスプローラ生成器もまた、シードコレクション生成器と同様に、入力された画像アンカテンプレート上で有効変換を探る。さらに、所定の実施形態では、推移エクスプローラ生成器は、手本内の全ての一致を結合することによって画像アンカテンプレートを生成する。これらの実施形態の中には、これが、全ての一致するロケーションが互いの上にオーバーレイされる際に最も一致したピクセルを識別することによって決定されるものがある。
【0032】
図3cを参照すると、推移エクスプローラ生成器314を用いる画像アンカテンプレート候補の生成が示されている。図から分かるように、推移エクスプローラ生成器314は入力として画像アンカテンプレート316及び手本318を受信する。この入力を受信した後、推移エクスプローラ生成器は画像アンカテンプレート候補320を出力する。
【0033】
列挙された画像アンカテンプレート生成器に関わらず、他の種類の画像アンカテンプレート生成器も等しく適する。さらに、画像アンカテンプレート生成器は、新しい複合生成器を取得するために様々な構成でネスト化されることも可能である。例えば、典型的には、シードコレクション生成器及び/または推移エクスプローラ生成器は粗グリッドサンプリング生成器と共に使用され、この場合、粗グリッドサンプリング生成器により生成される画像アンカテンプレートはシードコレクション生成器及び/または推移エクスプローラ生成器への入力として使用される。
【0034】
図2を再度参照すると、画像アンカテンプレート候補がどのようにして生成されるか(アクション202)に関わらず、品質スコアは、テンプレートスコアリング関数を用いて画像アンカテンプレート候補毎に決定される(アクション204)。画像アンカテンプレートの品質スコアは、その弁別力の測度である。本方法のコンテキストにおいて、画像アンカテンプレートの弁別力は、第1のクラスの文書と他のクラスの文書とを弁別する画像アンカテンプレートの能力に相当する。
【0035】
品質スコアの決定を容易にするために、テンプレートスコアリング関数は、概して、第1のクラスの1つまたは複数の手本(即ち、陽性手本)を入力として取り込む。所定の実施形態では、テンプレートスコアリング関数はさらに、他のクラスの手本(即ち、陰性手本)を入力として取り込んでもよい。手本は、本方法が、第1のクラスの文書と他のクラスの文書とを弁別する画像アンカテンプレートの能力を経験的に決定することを可能にする。
【0036】
手本を入力として用いることにより、品質スコアは、固有の画像アンカテンプレート特性及び/または手本のサンプルコレクションに対する画像アンカテンプレート応答を使用して決定されてもよいが、必ずしもそうでなくてもよい。画像アンカテンプレート応答は、例えば、品質の監視された経験的推定、品質の監視されない経験的推定及び品質の経験的片側推定を含んでもよい。
【0037】
固有のテンプレート特性を用いるテンプレートスコアリング関数は、少なくとも1つの画像アンカテンプレートを入力として取り込む。次にこれは、略既知の弁別力に相当する画像アンカテンプレートの特性を探す。例えば、全て白または全て黒の画像アンカテンプレートは有益でないように思われ、よって、これらの画像アンカテンプレートには低い品質スコアが適切に割り当てられてもよい。当然ながら、このようなテンプレートスコアリング関数の分解能レベルは限定的である。しかしながら、これは、画像アンカテンプレートを効率的に放棄する迅速な方法を提供する。
【0038】
品質の監視された経験的推定を用いるテンプレートスコアリング関数は、少なくとも1つの画像アンカテンプレート、陽性手本画像及び陰性手本を入力として取り込む。これは次に、手本に対する画像アンカテンプレート応答に注目する。即ち、画像アンカテンプレートt及びマッチング関数m(t,I)について、全ての手本(陽性及び陰性)の一致スコアが生成され、かつテンプレート検出関数d(t,I)における受容しきい値qを変えて受信者動作特性(ROC)曲線を生成するために使用される。
【0039】
ROC曲線は、受容しきい値qの変更に伴う誤警報率(即ち、偽陽性率)に対するヒット率(即ち、真陽性率)をプロットすることによって得られる。所定の受容しきい値qに対するヒット率は、単に、テンプレート検出関数d(t,I)が手本を正しく分類する率である。陽性及び陰性手本の集合は既知であることから、テンプレート検出関数d(t,I)の検証は容易に達成される。同様にして、誤警報率も容易に得られる。
図4を参照して、ROC曲線を例示する。
【0040】
ROC曲線が生成されると、画像アンカテンプレートの品質スコアsを次のように計算することができる。
【数2】
areaROC(t,m,α)は、単にROC曲線から下の面積(即ち、
図4の曲線から下の領域)であり、margin(t,m)は陽性手本の最小一致スコアと陰性手本の最大一致スコアとの差である。さらに、bestROC(t,m,α)は、
【数3】
と定義される。但し、hitRate(q)及びfalseAlarmRate(q)は実質的に先に述べた通りのものであり、αは誤警報のペナルティである。αが高いほど、誤警報のペナルティは大きくなる。
【0041】
品質の監視されない経験的推定を用いるテンプレートスコアリング関数は、手本のサンプルコレクションに対する画像アンカテンプレート応答に注目する。この品質推定は、複数のターゲットカテゴリが存在する状況を標的とし、かつ手本コレクションのカテゴリラベルは既知であるが、カテゴリをどのように分割するかに関する決定は行われていない。このような事例では、テンプレートの品質スコアは、マッチング/検出結果と画像カテゴリラベルとの間の相互的情報である。
【0042】
品質の経験的片側推定を用いるテンプレートスコアリング関数は、少なくとも1つの画像アンカテンプレート及び陽性手本を入力として取り込む。次にこれは、陽性手本のみのサンプルコレクションに対する画像アンカテンプレート応答に注目する。即ち、片側計量o(t,m)は、
【数4】
と定義することができる。但し、右辺の各確率は、ベイズ規則を用いて、下記の公式から始まる等しい先験的確率によって計算されることが可能である。
【数5】
当然認識されるように、変数λはトレーニングされることが可能である。しかしながら、スペースに配慮して、所定の実施形態ではλpos及びλnegは1に設定され、よって陰性カテゴリにはより平らな分布が与えられる。
【0043】
列挙されたテンプレートスコアリング関数に関わらず、他のテンプレートスコアリング関数も等しく適することは認識されるべきである。例えば、先に列挙したテンプレートスコアリング関数上に構築される複合テンプレートスコアリング関数及び/または他のテンプレートスコアリング関数が使用されてもよい。さらに、先に論じたテンプレートスコアリング関数は単一の画像アンカテンプレートに関して定義されたが、テンプレートスコアリング関数が複合テンプレートに使用されてもよいことは認識されるべきである。
【0044】
画像アンカテンプレート候補の品質スコアが生成されると(アクション204)、画像アンカテンプレート候補にはこれらの品質スコアに従って等級が付けられ(アクション206)、最も高い等級の画像アンカテンプレート候補のうちの1つまたはそれ以上が選択される(アクション208)。所定の実施形態では、選択されるべき画像アンカテンプレートの数をオペレータが手動で画定する。他の実施形態では、選択されるべき画像アンカテンプレートの数は、第1のクラスの全手本(即ち、陽性手本)のフルカバーを達成するレベルへ動的に設定される。フルカバーは、第1のクラスの全手本と他のクラスの手本とを弁別する能力を指す。
【0045】
所定の実施形態では、この時点で方法200は完了する。このような実施形態では、選択された画像アンカテンプレートは、第1のクラスの文書と他のクラスの文書とを弁別するために見出された最良の画像アンカテンプレートである。この線に沿って、
図5を参照すると、
図2の方法の特有の実施形態による画像アンカテンプレートの生成が示されている。画像アンカテンプレート候補502は、陽性手本506及び陰性手本508を要する品質の監視された経験的推定を用いて等級付けされる504。この後、予め画定された数の最も高い等級の画像アンカテンプレートが選択される510。但し、選択されるこれらの画像アンカテンプレートは、生成された最良の画像アンカテンプレート512を提示する。
【0046】
しかしながら、他の実施形態では、方法200は続いていく場合がある。即ち、先に述べたように、最も高い等級の画像アンカテンプレートが選択された後、後に述べる条件に従って、方法200は、終了条件が満たされるまでアクション202から208までを任意選択として反復してもよい(アクション210)。これらの実施形態の下では、反復は、反復毎に変わってもよい。例えば、画像アンカテンプレート関数及び/またはテンプレートスコアリング関数は変わってもよい。
【0047】
終了条件に関連して、所定の実施形態では、終了条件は経過した実行時間であり、及び/または予め画定された反復数で実行される。例えば、方法200は5秒間実行された後に終了されてもよい。他の実施形態では、終了条件は、選択された画像アンカテンプレートが第1のクラスの全手本をカバーしているかどうかである。言い替えれば、選択された画像アンカテンプレートが第1のクラスの全手本と他のクラスの手本とを弁別することができるかどうかである。
【0048】
後者の終了条件の下では、選択された画像アンカテンプレートによってカバーされていない第1のクラスの手本が存在すれば、これらの手本は次の反復において画像アンカテンプレートを生成するために使用されてもよい。例えば、カバーされていない手本は、粗グリッドサンプリング生成器への入力として使用されてもよい。さらに、もしくは代替として、カバーされていない第1のクラスの手本から導出される画像アンカテンプレートは、シードコレクション生成器及び/または推移エクスプローラ生成器への入力として使用されてもよく、これにより、これらの画像アンカテンプレートはシード画像アンカテンプレートとして作用する。
【0049】
上述の例示的な終了条件に関わらず、他の終了条件も等しく適し、かつ終了条件が個々の終了条件の複合体であってもよいことは認識されるべきである。例えば、終了条件は、経過時間及び選択された画像アンカテンプレートが第1のクラスの全手本と他のクラスの手本とを弁別できるかどうかの双方を使用してもよい。
【0050】
反復に関して、アクション202から208までは、実質的に先に述べたようにして反復される。しかしながら、これについての1つの顕著な例外は、新しい画像アンカテンプレート候補が先に選択された画像アンカテンプレートと共に等級付けされることである。言い替えれば、先の反復からの最良の画像アンカテンプレートは、現行の反復から新たに生成される画像アンカテンプレート候補と共に等級付けされる。さらに、先に示唆したように、先の反復からの最も高い等級の画像アンカテンプレート候補のうちの1つまたはそれ以上は、アクション202において新しい画像アンカテンプレート候補を生成するための入力として使用されてもよい。
【0051】
例示として、本方法の反復例を次に示す。粗グリッドサンプリング生成器を用いて、第1のカテゴリの手本から画像アンカテンプレート候補の初期集合が生成される。次に、これらの画像アンカテンプレート候補の品質スコアが決定され、かつ画像アンカテンプレート候補に等級が付けられる。この等級付けから、上位200個の画像アンカテンプレートが選択される。終了条件が満たされていない(例えば、経過時間が経過していない)ものとして、選択された画像アンカテンプレートは、シードコレクション生成器及び/または推移エクスプローラ生成器によって追加の画像アンカテンプレートを生成するために使用される。次に、これらの新たに生成された画像アンカテンプレートには品質スコアが生成され、かつ新たに生成された画像アンカテンプレートは先に選択された画像アンカテンプレートと共に等級を付けられる。この等級付けから、上位200個の画像アンカテンプレートが選択される。終了条件は満たされているものとすれば、これらの上位200個の画像アンカテンプレートは本方法の最終結果を表す。
【0052】
上述の方法200のパフォーマンスを向上させるために、幾つかのオプションが利用可能である。例としては、グリッドサンプリング発生器の粗さを調整すること、2倍でサブサンプリングされた画像に取り組むこと、陰性手本に照らして検査される最大数の画像アンカテンプレートをキャッピングすること、画像アンカテンプレートの探索領域を縮小すること、検査される手本(陽性及び/または陰性)の数を減らすこと、マッチング関数(例えば、ハウスドルフマッチング)の変数を変えること、が含まれるが、この限りではない。
【0053】
画像アンカテンプレートの探索領域の縮小に関連して、少なくとも2つの方法論は、固有のテンプレート特性を基礎とする方法及びヒストグラムベースの方法を含む。元来、第1のクラスの手本から、有益な画像アンカテンプレートを産出する可能性があるのは手本の所定のエリアのみであることは明らかであると思われる。従って、画像アンカテンプレートの探索は、例えば画像アンカテンプレートの探索を手本の上半分及び/または下半分に限定することによって限定されることが可能である。さらに、もしくは代替として、画像アンカテンプレートの探索領域を限定するためのより高度な方法は、ヒストグラムベースのアプローチを使用することである。
【0054】
ヒストグラムベースのアプローチによれば、1つのターゲット画像上で最初の数百個のテンプレート一致を調べた後は、他のテンプレート一致が発見される変位の可能性を推測するに足る手掛かりが存在している。例えば、陽性手本画像に一致する数千個もの画像アンカテンプレートが存在するものとする。まず、変位の可能性のある大スペースで画像アンカテンプレートの一致を探索し、かつ一致が発見されている変位に渡ってヒストグラムをポピュレートし続ければ、幾つか(例えば、100個)の一致の後に、それまでの一致の95%以上を含む最小の外接矩形を識別することができる。次に、残りのテンプレートは、相対変位のこのより密な矩形内でのみマッチングされることが可能である。
【0055】
どの最適化が使用されるかに関わらず、方法200が完了すると、先に述べたように、方法200を用いて生成された画像アンカテンプレートを、第1のカテゴリの2値または多カテゴリ文書分類器関数を構築するために容易に使用することができる。即ち、方法200が実行されると、第1のクラスの画像アンカテンプレートと他のクラスの画像アンカテンプレートとを弁別するに足る画像アンカテンプレートのコレクションが得られる。従って、ある文書が第1のクラスに包含されるかどうかの決定は、単に、その文書が決定された画像アンカテンプレートに十分に一致するかどうかを決定するという問題になる。
【0056】
方法200を論じたこの時点では、所定の実施形態において、方法200が複合画像アンカテンプレートを用いて使用されてもよいことは認識されるべきである。さらに、オペレータ入力は、上述のどのアクションにおいて使用されてもよい。例えば、方法200の反復変形例の実行に際して、オペレータは、各反復について、画像アンカテンプレート候補が生成される方法を制御するために入力を行ってもよい。
【0057】
例えば、
図6を参照すると、
図2の方法の反復実施形態に従った画像アンカテンプレートの生成が示されている。画像アンカテンプレート候補602は、陽性手本606を要する品質の経験的片側推定を用いて等級を付けられる604。この後、予め画定された数の最も高い等級の画像アンカテンプレートが選択され608、推移エクスプローラ生成器を用いて拡張される610。画像アンカテンプレートのこの拡張された集合は、選択された画像アンカテンプレート及び推移エクスプローラ生成器によって生成された画像アンカテンプレートを含む。次に、画像アンカテンプレートのこの拡張された集合には品質の経験的片側推定を用いて等級が付けられ612、予め画定された数の最も高い等級の画像アンカテンプレートが選択される614。この場合、これらの画像アンカテンプレートは、生成された最良の画像アンカテンプレート616に相当する。
【0058】
先に述べたように、
図6は、
図2の方法200の反復変形例として特徴づけられることが可能である。即ち、上述の拡張は、先の反復から選択された画像アンカテンプレートを用いる画像アンカテンプレートの生成として特徴づけられることが可能であり、よって選択された画像アンカテンプレートは推移エクスプローラ生成器のシードとして作用する。さらに、対応されない陽性手本618は単に、最良の画像アンカテンプレート616によってカバーされない第1のクラスの手本であるに過ぎない。先に述べたように、これらの手本は、後続の反復において追加的な画像アンカテンプレートを生成するために使用されてもよい。
【0059】
図7を参照すると、
図2の方法を用いる画像アンカテンプレート(IAT)生成器700が示されている。コンピュータ702または、記憶装置と、マイクロプロセッサ、マイクロコントローラ、グラフィック処理装置(GPU)、他等のデジタルプロセッサとを含む他のデジタル処理デバイスは、IAT生成器700を適切に具現する。他の実施形態では、IAT生成器700は、デジタルプロセッサを含みかつデジタルデータ記憶装置を含む、またはデジタルデータ記憶装置へのアクセスを有するサーバによって具現され、このようなサーバは、インターネットまたはローカルエリアネットワークを介して、またはデジタルプロセッサ及びデジタルデータ記憶装置を含むパーソナルデータアシスタント(PDA)、等々によって適切にアクセスされている。
【0060】
コンピュータまたは他のデジタル処理デバイスは、適切には、IAT生成器700を制御するために、ユーザ入力を受信するための図示されているキーボード704等の1つまたは複数のユーザ入力デバイスを含むかこれらと動作可能式に接続され、かつさらに、IAT生成器700の出力を基礎として生成された出力を表示するために、図示されているディスプレイ706等の1つまたは複数のディスプレイデバイスを含むか、これらと動作可能式に接続される。他の実施形態では、IAT生成器700を制御するための入力は、コンピュータ702上でIAT生成器700に先行して、またはIAT生成器700と同時的に実行される別のプログラムから、またはネットワーク接続、等々から受信される。同様に、他の実施形態では、出力は、コンピュータ上でIAT生成器700に続いて、またはIAT生成器700と同時的に実行される別のプログラムへの入力として働いてもよく、またはネットワーク接続、等々を介して送信されてもよい。
【0061】
IAT生成器700は、生成器モジュール708と、テンプレートスコアリングモジュール710と、ランキングモジュール712と、選択モジュール714とを含む。システムが
図2の方法の反復変形例をサポートする所定の実施形態では、システムはさらに終了モジュール716を含む。
【0062】
生成器モジュール708は、画像または画像アンカテンプレートを入力として受信し、これから画像アンカテンプレート候補を生成する。所定の実施形態では、生成器モジュール708は、入力をIAT生成器700より外部のソースから受信する。ソースは、例えば、データベース、別のプログラム、オペレータ、他であってもよい。このような実施形態の下では、生成器モジュール708は、概して第1のクラスの1つまたは複数の手本を受信し、これらは粗グリッドサンプリング生成器によって画像アンカテンプレートを生成するために使用される。他の実施形態では、生成器モジュール708は入力を終了モジュール716から受信する。このような実施形態の下では、生成器モジュール708は、概して1つまたは複数の画像アンカテンプレートを受信し、これらはシードコレクション生成器及び/または推移エクスプローラ生成器によって使用される。生成器モジュール708は、好適には、
図2のアクション202に関して述べたように画像アンカテンプレート候補を生成する。
【0063】
テンプレートスコアリングモジュール710は、生成器モジュール708から画像アンカテンプレート候補を受信し、これらの画像アンカテンプレート候補の各々について品質スコアを決定する。所定の実施形態では、テンプレートスコアリングモジュール710はさらに、IAT生成器700及び/または生成器モジュール708より外部のソースから、第1のクラスの手本画像及び/または他のクラスの手本画像を受信する。例えば、テンプレートスコアリングモジュール710が品質の経験的片側推定を用いていれば、これは第1のクラスの陽性手本を受信する。生成器モジュール708と同様に、テンプレートスコアリングモジュールは、好適には、
図2のアクション204に関して述べたように品質スコアを生成する。
【0064】
次に、ランキングモジュール712は画像アンカテンプレート候補及び対応する品質スコアを受信し、品質スコアに従って画像アンカテンプレート候補に等級を付ける。後述するように、所定の実施形態において、ランキングモジュール712は先の反復からの画像アンカテンプレートも受信し、これらの画像アンカテンプレートをテンプレートスコアリングモジュール710から受信される画像アンカテンプレートと共に等級付けする。好適には、ランキングモジュール712は、
図2のアクション206に関して述べたように作動する。
【0065】
次に、選択モジュール714は、等級を付けられたこれらの画像アンカテンプレート候補を用いて、最も高い等級の画像アンカテンプレートのうちの1つまたはそれ以上を選択する。例えば、選択モジュール714は、最も高い等級の画像アンカテンプレートを200個選択してもよい。好適には、選択モジュール714は
図2のアクション208に関して述べたように作動する。
【0066】
実施形態によっては、IAT生成器700は、先に述べたように終了モジュール716をさらに含み、これにより、IAT生成器700は反復的に作動して画像アンカテンプレートを生成する。このような実施形態では、終了モジュール716は終了条件が満たされているかどうかを決定する。終了条件が満たされていなければ、終了モジュール716は生成器モジュール708と調和して画像アンカテンプレートの新しい集合を生成し、次にこれらはテンプレートスコアリングモジュール710によってスコアを与えられ、かつ先に選択された画像アンカテンプレートと共にランキングモジュール712によって等級を付けられる。次に、画像アンカテンプレートの新しい集合が選択モジュール714によって選択され、かつ終了モジュール716は終了するかどうかを再度決定する。終了モジュール716は、好適には、
図2のアクション210に関して述べたように作動する。
【0067】
終了条件が満たされているか、IAT生成器700に終了モジュール716が存在しなければ、選択モジュール714からの選択された画像アンカテンプレートは次に表示用に出力され、プリントされ及び/または文書分類等の追加的な意志決定機構に実装される。文書分類に関連して、画像アンカテンプレートは、先に述べたように、文書分類器関数を生成するために使用されてもよい。この後、文書は、文書画像を文書分類器へ通すことによって迅速に分類されることが可能である。
【0068】
図8を参照すると、文書分類システム800の用途が示されている。システム800は、画像デバイス802と、画像アンカテンプレート生成器804と、文書分類器806とを含む。画像デバイス802は、書式等の文書をターゲット画像に変換し、かつカメラ、スキャナまたは他の類似デバイスであってもよい。画像アンカテンプレート生成器804は、別段の記述のない限り、
図7に記述されている通りである。文書分類器806は、画像アンカテンプレートを用いて文書のターゲット画像を分類する。
【0069】
文書の分類は、画像アンカテンプレート生成器804へ手本808が供給された後に開始可能となる。画像アンカテンプレート生成器804へは、少なくとも陽性手本が供給される。しかしながら、使用される画像アンカテンプレートスコアリング関数に依存して、画像アンカテンプレート生成器へは陰性手本が供給されてもよい。所定の実施形態では、システム800のオペレータは手本808を手動で分類する。この後、画像アンカテンプレート生成器804は手本808を取り込み、
図7に関して論じたように画像アンカテンプレートを生成する810。
【0070】
画像アンカテンプレートが生成された後810、システム800は文書の分類を開始する。即ち、スキャンデバイス802は1つまたは複数の文書812を受信し、これらをターゲット画像814に変換する。所定の実施形態では、文書812は印刷デバイスの給紙トレイへ装填され、コンベヤ経路を介して画像デバイス802を通過される。
【0071】
次に、ターゲット画像814は文書分類器806へ送られ、文書分類器806は画像アンカテンプレート生成器804からの画像アンカテンプレート810を用いてターゲット画像814を分類する。ターゲット画像814は文書分類器806へ文書812の変換と同時的に、または全文書812の変換後に送られてもよい。所定の実施形態では、先に述べたように、文書分類器806は画像アンカテンプレート810を2値または多カテゴリ文書分類器関数への入力として使用する。
【0072】
文書分類器806が文書812を分類すると、文書812及び/またはターゲット画像814が必要に応じて処理される。例えば、文書812は、その分類を基礎として、コンベヤ経路を介して目的地へルーティングされてもよい。さらに、もしくは代替として、ターゲット画像812は、その分類に従ってデータベースに格納されてもよく、かつ/またはファイルシステム内に格納されてもよい。
【0073】
これまでに行った論考に鑑みれば、実施形態によっては、本発明の例示的な方法、本方法を用いるIAT生成器、等々は、画像アンカテンプレートの決定を実装するために(例えば、デジタルプロセッサによって)実行可能な命令を格納する記憶媒体によって具現される。記憶媒体としては、例えば、磁気ディスクまたは他の磁気記憶媒体、光ディスクまたは他の光記憶媒体、ランダムアクセスメモリ(RAM)、読取り専用メモリ(ROM)または他の電子メモリデバイスまたはチップまたは動作可能式に相互接続されたチップセット、格納されている命令をインターネットまたはローカルエリアネットワークを介してそこから検索できるインターネットサーバ、等々が含まれてもよい。
【0074】
さらに、様々な上述の、及び他の特徴及び機能またはその代替物が、望ましくは他の多くの異なるシステムまたはアプリケーションに組み合わされてもよいことは認識されるであろう。例えば、これまでに述べたシステム及び方法は画像アンカテンプレートの生成に関連していたが、これまでに述べた方法及びシステムが、画像アンカテンプレートではなくマッチング関数、検出関数、テンプレートスコアリング関数、他を決定するように容易に拡張され得ることは認識されるべきである。また、同じく添付の請求の範囲に包含されることが意図される、現時点では不測である、または予期されていないその様々な代替物、修正、変形または改良が当業者によって続いて行われ得ることも認識されるべきである。