特開 2024-170318 第１の画像の所定の画像切り抜きが第２の画像内に現れているかどうかを特定するための方法及び装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024170318

(43)【公開日】2024-12-06

(54)【発明の名称】第１の画像の所定の画像切り抜きが第２の画像内に現れているかどうかを特定するための方法及び装置

(51)【国際特許分類】

   G06T 7/00 20170101AFI20241129BHJP

【ＦＩ】

G06T7/00 300F

【審査請求】未請求

【請求項の数】10

【出願形態】ＯＬ

【外国語出願】

(21)【出願番号】P 2024084759

(22)【出願日】2024-05-24

(31)【優先権主張番号】10 2023 204 988.0

(32)【優先日】2023-05-26

(33)【優先権主張国・地域又は機関】DE

(31)【優先権主張番号】10 2023 205 147.8

(32)【優先日】2023-06-01

(33)【優先権主張国・地域又は機関】DE

(71)【出願人】

【識別番号】390023711

【氏名又は名称】ローベルト ボツシユ ゲゼルシヤフト ミツト ベシユレンクテル ハフツング

【氏名又は名称原語表記】ＲＯＢＥＲＴ ＢＯＳＣＨ ＧＭＢＨ

【住所又は居所原語表記】Ｓｔｕｔｔｇａｒｔ， Ｇｅｒｍａｎｙ

(74)【代理人】

【識別番号】100114890

【弁理士】

【氏名又は名称】アインゼル・フェリックス＝ラインハルト

(74)【代理人】

【識別番号】100098501

【弁理士】

【氏名又は名称】森田 拓

(74)【代理人】

【識別番号】100116403

【弁理士】

【氏名又は名称】前川 純一

(74)【代理人】

【識別番号】100134315

【弁理士】

【氏名又は名称】永島 秀郎

(74)【代理人】

【識別番号】100162880

【弁理士】

【氏名又は名称】上島 類

(72)【発明者】

【氏名】シュテファン ズィーモン

【テーマコード（参考）】

5L096

【Ｆターム（参考）】

5L096AA02

5L096AA06

5L096CA04

5L096EA39

5L096FA04

5L096FA05

5L096FA06

5L096FA32

5L096FA59

5L096FA60

5L096FA67

5L096FA68

5L096FA69

5L096GA51

5L096JA03

5L096JA11

(57)【要約】

【課題】第１の画像の所定の画像切り抜きが第２の画像内に現れているかどうかを特定するための方法に関する。
【解決手段】本方法は、所定の画像切り抜きの内部の複数のピクセルに関して、それぞれ少なくとも１つの画像特徴を特定すること（Ｓ２１）によって開始する。これに続いて、第２の画像の複数のピクセルに関して、それぞれ少なくとも１つの画像特徴を特定するステップ（Ｓ２４）が行われる。これに続いて、第２の画像の特定された画像特徴と第１の画像の特定された画像特徴とを、これら両方の画像が同一の値を有しているかどうかについて比較するステップ（Ｓ２５）が行われる。本方法は、第２の画像から回転対称の面が決定され、当該面が四角形の面に変換され、第２の画像のピクセルの画像特徴が、変換された面の内部のピクセルから計算されることを特徴とする。
【選択図】図２

【特許請求の範囲】

【請求項1】

第１の画像（１０）の所定の画像切り抜きが第２の画像（１２）内に現れているかどうかを特定するための方法（２０）であって、
前記方法は、
前記所定の画像切り抜きの内部の複数のピクセルに関して、それぞれ少なくとも１つの画像特徴を特定するステップ（Ｓ２１）と、
前記第２の画像（１２）を受信するステップ（Ｓ２３）と、
前記第２の画像の複数のピクセルに関して、それぞれ少なくとも１つの画像特徴を特定するステップ（Ｓ２４）と、
前記第２の画像（１２）の前記画像特徴と前記第１の画像（１０）の画像特徴とを、これら両方の画像が同一の値を有しているかどうかについて比較するステップ（Ｓ２５）と、
を含み、
次いで、少なくとも１つのペアの同一の画像特徴が存在する場合には、前記所定の画像切り抜きが前記第２の画像（１２）内に存在するということが出力され、そうでない場合には、前記所定の画像切り抜きが前記第２の画像（１２）内に存在しないということが出力される、
方法において、
前記画像特徴は、隣り合うピクセルのピクセル値に依存して計算され、
前記第２の画像内において回転対称の面が決定され、当該面が四角形の面に変換され、
前記第２の画像のピクセルの前記画像特徴が、変換された前記面の内部のピクセルから計算される
ことを特徴とする、方法。

【請求項2】

前記第１の画像（１０）の前記画像特徴を特定するステップの後で、前記第１の画像（１０）の前記画像特徴の各々に、それぞれの前記第１の画像特徴が特定されているピクセルの、前記所定の画像切り抜きの参照位置に対する相対的な位置を対応付ける、対応付けるステップ（Ｓ２２）が実施され、
前記比較するステップ（Ｓ２５）において、前記第１の画像の画像特徴の値と前記第２の画像の画像特徴の値とが同一である場合には、前記第１の画像の前記画像特徴の対応付けられた前記相対的な位置が採用され、前記同一の画像特徴が存在する前記第２の画像のピクセルのピクセル位置が、前記相対的な位置を中心として相対的にシフトさせられて保存され、
シフトさせられて保存された前記位置が、ピクセルごとに集約され、
次いで、複数の集約された前記位置が、実質的に同等のピクセル位置に存在する場合には、前記所定の画像切り抜きが前記第２の画像内に存在するということが出力され、
そうでない場合には、前記所定の画像切り抜きが前記第２の画像内に存在しないということが出力される、
請求項１に記載の方法。

【請求項3】

前記第１の画像の複数の異なる画像切り抜きは、予め定められており、
前記比較するステップ（Ｓ２５）は、前記画像切り抜きの各々に対して実施され、
全体信頼度尺度

【数1】

が、信頼度を介した集積によって特定される、
請求項１又は２に記載の方法。

【請求項4】

前記複数の画像切り抜きは、前記第１の画像（１０）の内部で互いに所定の配置（１１）を有し、
前記比較するステップにおいて、集約された前記位置に加えてさらに、集約された前記位置が互いにどのような配置（１３）を有しているかが特定され、
２つの前記配置（１１，１３）が互いに比較され、
前記第２の画像内に前記画像切り抜きが現れているかどうかの出力は、追加的に、２つの前記配置が実質的に同等であるかどうかに依存して実施される、
請求項３に記載の方法。

【請求項5】

前記画像切り抜きの個数及び／又は位置及び／又は寸法が特定され、
初期時には、ランダムな位置又は所定の位置が選択され、
前記方法（２０）は、全ての画像切り抜きに対して複数の第１の画像に関して、少なくとも１つの第２の画像を用いて実施され、
前記第１の画像及び前記第２の画像からなるそれぞれのペアごとに、信頼度

【数2】

が特定され、
前記第１の画像と前記第２の画像とが同一のオブジェクトを示している場合には信頼度が可能な限り大きくなるように、そうでない場合には信頼度が可能な限り小さくなるように、最適化法を用いて、個数、位置、及び／又は、寸法が変更される、
請求項３又は４に記載の方法。

【請求項6】

あるオブジェクトの表面記録が所定のオブジェクトに属しているかどうかを検査するための、請求項１乃至５のいずれか一項に記載の方法の使用であって、
前記第１の画像と前記第２の画像とが、同一のオブジェクトの表面を画像化しており、
少なくとも１つの画像切り抜きが前記第２の画像内に現れている場合には、前記第１の画像の表面と前記第２の画像の表面とが同一であるということが出力される、
方法の使用。

【請求項7】

請求項１乃至５のいずれか一項に記載の方法の使用であって、
前記方法は、製品の真実性を検証するために使用され、
前記第１の画像と前記第２の画像とが、同一の製品の表面、特に同一のオブジェクトの表面を画像化しており、
少なくとも１つの画像切り抜きが前記第２の画像内に現れている場合には、前記第１の画像の表面と前記第２の画像の表面とが同一であるということが出力される、
方法の使用。

【請求項8】

請求項１乃至５のいずれか一項に記載の方法を実施するように構成されている装置。

【請求項9】

コンピュータプログラムであって、コンピュータによって実行された場合に、請求項１乃至５のいずれか一項に記載の方法を前記コンピュータに実施させるための命令を含むコンピュータプログラム。

【請求項10】

請求項９に記載のコンピュータプログラムが記憶されている機械可読記憶媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、第１の画像の所定の画像切り抜きが第２の画像内に現れているかどうかを特定するための方法、装置、コンピュータプログラム、及び、機械可読記憶媒体に関する。

【背景技術】

【0002】

従来技術
例えば自動車産業のための下請け部材の生産においては、その際に使用される個別部材の完全なトレーサビリティがますます頻繁に求められ、それどころか部分的には、法律又は規格によって要求されることさえある。

【0003】

こうしたトレーサビリティにより、例えば誤動作が生じた場合には、その原因をより迅速かつより正確に推測することが可能となる。例えば、これによって製造を行った機械と、使用されたプロセスパラメータとを特定することが可能となる。また、エラーに該当するさらなる下請け部材を特定することも、又は、絞り込んで、回収アクションを、本当に該当する最終製品に狙いを定めて限定することもできる。

【0004】

生産におけるこのトレーサビリティは、実際には以下のことによって、すなわち、
ａ．今日では多くの場合、ＤＭＣ（データマトリックスコード、https://de.wikipedia.org/wiki/DataMatrix-Codeを参照のこと）を用いて、例えば、レーザ彫刻、ニードル刻印、印刷、又は、シールとして、それぞれの個別部材にマーキングを施すこと、
ｂ．個別部材の個々の表面テクスチャに基づいてマーキングなしで追跡すること
によって保証可能である。

【0005】

両方の事例において、ＤＭＣを自動的に読み取るために、又は、テクスチャを検出するために、センサ、例えばカメラが、表面の所定の個所において追跡されるべき部分を検出する。次いで、このテクスチャが、ほぼ同一の箇所において以前に検出された、（例えば、一義的な添え字を用いてデータベースに）保存されているテクスチャと比較され、より詳細には、考慮の対象となっている全ての部材について比較される。換言すれば、上述したデータベース照合の場合には、現在の「問い合わせ（クエリ）」記録が、以前に検出された参照記録と比較される。

【0006】

テクスチャ比較は、同一の部材である場合には、高い一致を提示し、そうでない場合には、非常に低い一致を提示する。この場合、例えば、１００個、１００００個又は１００万個の部材との比較が行われる。通常は、この比較は、サイクルに影響がないように行わなければならず、すなわち、生産サイクルを遅らせないようにするために相応に迅速に行われなければならず、例えば、最大２００ｍｓで１００００回の比較が行わなければならない。

【0007】

マーキングなしでの追跡は、複数の利点を有する。
ｉ．労力、コスト、投資が削減される。例えば、レーザ彫刻機は、テクスチャ検出のための照明を含めて、特に購入費においてカメラよりも非常に格段に高価である。
ｉｉ．ＤＭＣのレーザ彫刻は、煙を発生させ、すなわち、表面からの小さい剥離を発生させ、これによって構成部材（例えば、ノズル）が汚染され、ひいては機能的に損傷を受ける可能性がある。それに対して、マーキングなしでの追跡は、完全に清潔である。
ｉｉｉ．多くの構成部材は、ＤＭＣを被着させるためには小さ過ぎ、又は、適した面積を有していないが、その一方で、テクスチャ検出の場合には、最小の面積１ｍｍ^２だけでもう十分である。
ｖｉ．ＤＭＣは、権限のない人によって有害な意図で読み取られて利用される可能性もあるが、これに対して、テクスチャの場合には、このことは不可能である。なぜなら、製造業者自身しかテクスチャの対応付けを把握していないからである。これにより、本方法がより確実なものになる。
ｖ．偽物に対して保護される。偽造された部材には、コピーされたＤＭＣを何事もなく付与することができるが、これに対して、構成部材のランダムな表面テクスチャをクローンすることは、実際には物理的に不可能である。

【0008】

独国特許出願公開第１０２０１９２１０５８０号明細書は、オブジェクトの真正性を検証するための方法を開示しており、ここでは、ユーザは、例えば、スマートフォン（アプリ）を介してオブジェクト、例えば紙幣を写真に撮り、真正である場合には、その後直ちにアプリから相応の認定を受信する。テクスチャ比較は、例えばクラウド内で実施され、クラウドにおいては、データベースに参照テクスチャが保存されており、これを比較のために使用することができる。

【先行技術文献】

【特許文献】

【0009】

【特許文献1】独国特許出願公開第１０２０１９２１０５８０号明細書

【発明の概要】

【発明が解決しようとする課題】

【0010】

発明の利点
本提案の方法の最も重要な第１の利点は、本方法の平行移動不変性（translation-invariance）である。このことはつまり、識別が、カメラ画像内における問い合わせオブジェクトの移動（平行移動）に対して不変である（無関係である）ということを意味する。換言すれば、識別は、ＲＯＩ（切り抜き、英語：Region of Interest）が、当然、第１の画像領域との対応関係を完全に含む場合に限られるが、第２の画像内のどこにシフトさせられているかに関係なく同一の結果をもたらす。平行移動不変性は、カメラ画像の２つの軸線方向（ｘ，ｙ）に当てはまる。参照ＲＯＩの姿勢を、問い合わせ画像内において再現することが可能でなければならないという従来技術での必要性が、省略される。すなわち、脆弱な指紋法によって必要とされる位置合わせステップを、本方法の場合には省略することが可能となる。

【0011】

第２の利点は、許容される（ｘ，ｙ）平行移動を限定する可能性をユーザが有しているという意味でのスケーリング可能性である。基本的に、本方法は、あるオブジェクトに関して参照記録と問い合わせ記録との間にまだ小さいオーバーラップしか存在しない場合であっても、そのオブジェクトを依然として識別することができる。次いで、ユーザは、（探索領域の意味での）平行移動領域を、所要の程度に限定することができ、例えば、左方、右方、上方及び下方へのそれぞれ２０ピクセルに限定することができる。すなわち、本例においては、平行移動ベクトルは、４１×４１ピクセルの大きさの領域内に位置するものとしてよい。この限定の利点は、計算労力（計算時間）が節約されることである。なぜなら、計算労力（計算時間）は、平行移動領域の面積と共に増加するからである。しかしながら、計算労力（計算時間）は、公知の指紋法の場合よりも格段に緩やかに増加する。

【0012】

平行移動に関するこれらの利点は、これまで指紋法では管理することができなかったオブジェクトタイプに対して、例えば粗い鋳造部材に対して、又は、適当なアライメント（問い合わせ画像を統一的に位置合わせするための前処理ステップ）を可能にする利用可能な視覚的な参照（縁部、角部、孔部等）が存在しない部材に対して、本提案の方法を適用することを可能にする。

【0013】

本提案による方法の第３の利点は、本方法の類似度尺度（以下においてさらに説明する）が、実際には、指紋法のハミング距離尺度よりも格段に弁別的であることが判明しているということである。

【0014】

第４の利点は、本提案の方法が、実際には小さい画像寸法で対処することができるということである。極めて困難なオブジェクトタイプの場合であっても、例えば４００×４００ピクセルの画像寸法だけでもう十分過ぎる。多くの場合、信頼できる識別のために、実際には約５０×５０ピクセルの画像寸法だけでもう十分である。

【課題を解決するための手段】

【0015】

発明の開示
第１の態様においては、本発明は、第１の画像の所定の画像切り抜きが第２の画像内に現れているかどうかを特定するためのコンピュータ実装方法に関する。画像切り抜きは、予め手動で選択され、又は、他の方法により決定される。画像切り抜きは、特に第１の画像に対して相対的に小さく、特に有利には、第１の画像の５０×５０ピクセルから４００×４００ピクセルまでの画像切り抜きを含む。

【0016】

本方法は、所定の画像切り抜きの内部の複数のピクセルに関して、画像特徴を特定することによって開始する。画像特徴は、所定の計算規則に従って特定され、計算規則は、画像特徴を、隣り合うピクセルのピクセル値に依存して計算する。例えば、それぞれのピクセルを中心として３×３ピクセルから１２７×１２７ピクセルまでの隣り合うピクセルが含まれる周囲を、画像特徴のために考慮することができる。計算規則は、一義的な値を出力し、したがって、画像特徴は、一義的であり、すなわち、画像特徴は、考察されるピクセルの考察されるピクセル配置を、その周囲を含めて特徴付けるものである。この場合、計算規則は、例えばセンサノイズ又は照明の差異に基づいてピクセル値が少なくともわずかに変化している場合であっても、一義的な画像特徴が高確率で得られるように選択されている。すなわち、計算規則は、それぞれのピクセルの組合せに対して一義的な値を特定しなくてもよいが、高確率で一義性が与えられていることが望ましい。好ましくは、計算規則は、少なくとも小さい範囲内において、平行移動不変性である。

【0017】

これに続いて、第２の画像、特に第２の画像のうちの、第２の画像よりも小さいが、少なくとも第１の画像の画像切り抜きと同等の大きさである切り抜き（英語：ＲＯＩ）を受信することが行われる。

【0018】

これに続いて、第２の画像の複数のピクセルに関して、又は、ＲＯＩの内部で、画像特徴を特定することが行われる。第１の画像の画像特徴と第２の画像の画像特徴とは、同様に計算され、すなわち、画像特徴のために同様の計算規則が使用される。

【0019】

これに続いて、第２の画像の特定された画像特徴と第１の画像の特定された画像特徴とを比較することが行われ、この場合、好ましくは、これらの画像特徴の値だけでなく、それぞれの画像内におけるこれらの画像特徴の互いに対する相対的な配置も考慮される。第２の画像内の少なくとも２つの同一でない画像特徴からなる１つのグループであって、第１の画像内の複数の同一でない画像特徴からなる、このグループと同一値のグループと互いに同等の配置で存在する又はほぼ同等の配置で存在する１つのグループが発見された場合には、所定の画像切り抜きが第２の画像内に存在するということが出力され、そうでない場合には、所定の画像切り抜きが第２の画像内に存在しないということが出力される。

【0020】

本方法の特殊性は、第２の画像と、特に第１の画像とから回転対称の面、特に円弧形又は円形の面が決定され、当該面が四角形の面に、特に直角四角形の面に変換され、第２の画像のピクセルの画像特徴と、特に第１の画像のピクセルの画像特徴とが、変換された面の内部のピクセルから計算されることである。回転対称／円弧形の面を、所与の中心点と、「開始時」半径及び「終了時」半径と、好ましくは開始／終了時の角度とにより、高さ×幅の所定の寸法を備えた極座標バージョンに変換することができる。相応に、所定の画像切り抜きが、第１の画像の変換された面に由来するということに留意されたい。

【0021】

回転対称の面の隣り合っていたピクセルであって、今や四角形の面において互いに離間させられてこの四角形の面の相対する両端部に位置することとなったピクセルを、元々隣り合っていたこれらのピクセルの画像特徴を計算する際に、計算規則に共に取り入れることが考えられる。換言すれば、四角形の面の端部を、例えば相対する両端部のピクセルのコピーによって補完することができる。

【0022】

第１の画像の画像特徴を特定するステップの後で、これらの画像特徴の各々に、それぞれの第１の画像特徴が特定されているピクセルの、所定の画像切り抜きの参照位置に対する相対的な位置を対応付ける、対応付けるステップを実施することが提案される。参照位置は、画像切り抜きの中心であるものとしてよい。比較するステップにおいて、第１の画像の画像特徴の値と第２の画像の画像特徴の値とが同一である場合には、第１の画像の画像特徴の対応付けられた相対的な位置が採用され、同一の画像特徴が存在する第２の画像のピクセルのピクセル位置が、前述の相対的な位置を中心として相対的にシフトさせられて、特に投票重み行列におけるこのシフトさせられたピクセル位置に保存される。次いで、シフトさせられて保存された位置が、ピクセルごとに集約され、次いで、信頼度尺度に関して出力された位置の大多数が、第２の画像の実質的に同等のピクセル位置に存在する場合には、所定の画像切り抜きが第２の画像内に存在するということが出力され、そうでない場合には、所定の画像切り抜きが第２の画像内に存在しないということが出力される。

【0023】

実質的に同等のピクセル位置とは、±２、３又は４ピクセル以上の偏差であると理解されるものとしてよい。

【0024】

これに続いて、任意選択的に、出力するステップを行うことができ、この出力するステップにおいては、集約後にカウントが最も多かったピクセル位置が、第２の画像内の画像切り抜きの位置として出力される。

【0025】

任意選択的に、評価を容易にするために、集約の平滑化を行うことができ、これにより、一義的な箇所において明確な最大値を達成することができ、それと同時に、重要でない二次的な最大値を抑制することができる。

【0026】

好ましくは、画像特徴は、ルックアップテーブルのアドレス指定として使用され、それぞれのアドレスに対して、対応付けられた相対的な位置が格納されている。任意選択的に、ルックアップテーブルは、相対的な位置に加えてさらに重み付けを含み、この重み付けは、画像特徴位置から参照位置までの距離が増加するにつれて変化し、特に減少する。重み付けは、集約の際に、この集約を重み付けして実施するために、追加的に使用可能である。

【0027】

複数の画像切り抜きが存在する場合には、上述した方法ステップの各々が、それぞれ異なる画像切り抜きの各々に対して実施される。好ましくは、画像切り抜きは、第１の画像内のオブジェクトテクスチャにわたって均等に分布しており、例えば１つの円上に均等に分布している。

【0028】

さらに、複数の画像切り抜きが、第１の画像の内部で互いに所定の配置を有し、比較するステップにおいて、保存された位置に加えてさらに、これらの位置が互いにどのように配置されているかを特定し、これら２つの配置を互いに比較することが提案される。この配置は、位置同士の間の所定の間隔によって、又は、位置関係パターンによって与えられるものとしてよい。位置関係パターンが比較される場合には、好ましくはパターンの構造だけが比較され、パターンの位置合わせは考慮されない。この場合、効果的には位置関係配置のさらなる独立した判定基準によって、画像上の画像化されたオブジェクトが同一であるかどうかの情報がさらに確かなものになるということが有利である。

【0029】

第２の画像のピクセルの画像特徴を特定するステップは、第２の画像が検出された直後に、好ましくは計算ユニットにおいて実施され、サーバへ伝送され、サーバが、比較に依存して信号を返却するということに留意されたい。好ましくは、画像切り抜きの画像特徴は、既にクラウドにおいて特定されており又はクラウドに伝送されており、クラウドにおいては単に、受信した画像特徴との比較が行われるだけである。クラウドに代えて、本方法をローカルに実施するものとしてもよい。

【0030】

好ましくは、本発明の第１の態様においては、第１の画像と第２の画像とは、同一の被加工物の表面を画像化している。

【0031】

第１の画像及び第２の画像は、１つ又は複数の同等のカメラによって撮影されたものであってよい。これら２つの画像を検出するためのカメラには、特別な要求を課す必要はなく、低い画像解像度でもう十分である。撮影装置は、両方の事例において、対物レンズの選択、オブジェクトの選択された面までの距離、これらの面への焦点合わせ、照明のタイプ及び配置に関して可能な限り類似するように構成されているべきである。露光時間及び照明強度は、それぞれの画像が顕著なモーションブラーを有さないように、かつ、過度に暗くなったり過度に散乱したりもしないように、選択されるべきである。２つの同等のカメラ装置を使用することが不可能な場合には、後から画像処理によって差異を補償することができる。例えば、第２のカメラが、第１のカメラとは異なる距離又は焦点距離又はピクセル形式（ピクセルピッチ）を有している場合には、その結果として生じるスケーリング差異を、オブジェクトの考察される面が、その後にはそれぞれほぼ同一の大きさ（ピクセル単位）で存在することとなるように、画像スケーリングを介して補償することができる。

【0032】

さらなる態様においては、本発明は、あるオブジェクトの表面記録が所定のオブジェクトに属しているかどうかを検査するための、第１の態様の方法のうちの１つの方法の使用に関する。好ましくは、問い合わせオブジェクトは、全ての参照オブジェクトと比較される。次いで、最良の一致（最高の全体信頼度値）が特定される。この値が十分に高い（閾値を上回る）場合には、マッチが出力される。しかし、最良の全体信頼度値が充分に高くない場合には、マッチが見つかっていない。問い合わせオブジェクトは、偽造であるか、又は、参照としては依然として検出されていないかのいずれかである。

【0033】

さらなる態様においては、本発明は、製品の真正性を検証するための、第１の態様の方法のうちの１つの方法の使用に関する。

【0034】

さらなる態様においては、本発明は、それぞれ上記の方法を実施するように構成されている装置及びコンピュータプログラムと、このコンピュータプログラムが記憶されている機械可読記憶媒体と、に関する。

【0035】

以下においては、本発明の実施形態について、添付の図面を参照しながらより詳細に説明する。

【図面の簡単な説明】

【0036】

【図1】それぞれ複数の画像領域Ａ－Ｌをラスタ状の配置で備えている、製造された構成部材の画像を概略的に示す図である。

【図2】画像領域を再認識するための方法の１つの実施例を概略的に示す図である。

【発明を実施するための形態】

【0037】

表面テクスチャに基づいてマーキングなしで追跡するための複数の方法、例えば、フラウンホーファー物理計測技術研究所のいわゆるトラック＆トレース指紋法（Track & Trace Fingerprint）が既に存在する。この技術は、多数の半製品又は構成部材が、顕微鏡法的に個々に特徴的な表面構造又は色テクスチャを有するということに基づいている。構成部材のうちの所定の領域が選択されて、それぞれ産業用カメラによって高解像度で撮影される。各自の特有の構造及びそれらの位置を備えた画像記録から、数値的な識別子が計算されてＩＤに対応付けられる。このペアリングは、例えば測定データ又は作成データのようなさらなるデータと共にデータベースに格納される。後々の識別のために、プロセス全体が繰り返され、データ照合によって構成部材のＩＤと、さらなる個々の特徴とが返却される。

【0038】

上述した「計算された数値的な識別子」を、以下においては、「指紋」と称する。この指紋を、多数の桁を有する数として捉えるものとしてもよいし、又は、長いビットシーケンスと同義で捉えるものとしてもよい。

【0039】

上述したデータベース照合においては、現在の指紋が、以前に検出された参照指紋と比較され、それぞれ相違性の程度が特定される。この場合、理想的には、この問い合わせ指紋に対する相違性がわずかである厳密に１つの参照指紋が発見される一方で、その他の全ての参照指紋との比較は、大きい相違性を提示する。まさにその場合には、この識別が、成功したものとみなされる。

【0040】

物理的な参照オブジェクトと、物理的な問い合わせオブジェクトとの間の相違性は、典型的には、指紋のペアのみから特定され、例えば、２つのビットシーケンスのハミング距離として、又は、さらなる距離尺度の定義に従って特定される。

【0041】

この点において、本発明は、従来技術とは特に顕著に異なっている。

【0042】

トレーサビリティ及びブランド保護のための従来技術から公知の方法は、オブジェクトのＲＯＩ（Region of Interest：関心領域）に対する個々のテクスチャ特性を記述するいわゆる指紋を、例えば数千ビットであり得る固定長のビット列として形成することに基づいている。

【0043】

その場合、テクスチャ比較は、指紋の比較として実施される。例えば、参照オブジェクトの指紋と、問い合わせオブジェクトの指紋との間のハミング距離が形成され、すなわち、ビットごとに比較され、差異がカウントされる。ハミング距離が短ければ短いほど（理想的には０）、オブジェクト同士がより類似している。

【0044】

ビット列の長さを用いてハミング距離を正規化すると、０から１までの間の類似度値が得られ、その際、実際における値は、０乃至約０．５の範囲のみを利用している。なぜなら、ビット列が統計的に独立している場合には、ビットの約半分だけしか異なっていないからである。

【0045】

例えば、ハミング距離を介した指紋の比較は、速度の利点を有し、すなわち、多数の比較を短時間で実施することが可能である。

【0046】

しかしながら、ハミング距離を介した指紋の比較は、重大な欠点も有する。なぜなら、指紋比較の結果が、平行移動不変ではないからである。例えば、問い合わせオブジェクトについての指紋を、参照オブジェクトの場合とは同一でない箇所（ＲＯＩ）で形成した場合、例えば２０ピクセルだけシフトさせたところで形成した場合には、この問い合わせオブジェクトは、もはや参照指紋との類似度をさほど良好には有さなくなる。

【0047】

すなわち、この事例においては、テクスチャ比較によって誤った結果が提供されることとなる。すなわち、同一のオブジェクトであるにもかかわらず、テクスチャの画像ペアが、非類似であるとして誤って分類されるのである。

【0048】

指紋法の平行移動不変性の欠如に起因するこの不利な挙動により、実際には、通常、参照画像と問い合わせ画像との両方におけるＲＯＩの姿勢を可能な限り同一にするために大きい追加コストをかけなければならなくなった。なぜなら、数ピクセルの偏差だけでも、もはや許容できないからである。

【0049】

いくつかのオブジェクトタイプの場合には、部材の幾何形状に基づいてオブジェクトを、カメラに対する再現可能な姿勢（ポーズ）へと機械的に移動させることも可能である。このことにより、追加的な労力（オブジェクトを把持するための、カメラの手前の適当な型版にオブジェクトを載置するための、オブジェクトを改めて把持するための、及び、オブジェクトを戻すためのロボットグリッパアーム、所要時間、コスト、脆弱性）が発生する。他のオブジェクトタイプの場合には、これらの幾何学的な条件が与えられておらず、ＲＯＩを再現可能にするために、オブジェクトタイプの視覚的に目立つ特徴、例えば、孔部、溝部、角部、縁部の姿勢等を利用しなければならない。このことによっても、追加的な労力（構成部材に合わせた画像分析アルゴリズムの調整、専門家による適用）が発生する。

【0050】

しかしながら、ＲＯＩを再現可能に再発見するために上記の一方の手法も他方の手法も機能しないようなオブジェクトタイプも存在する。

【0051】

このことは、例えば所定の縁部を有しておらず、鋳造型から取り外せるように大幅に斜めに面取りされて丸み付けられた縁部を有しており、かつ、場合によっては追加的な困難をもたらすランダムな鋳造バリを有している金属鋳造部材のような、例えば比較的粗い性質のオブジェクトに該当する。

【0052】

金属板、紙、ボール紙、繊維プラスチックプレート等のような平坦なオブジェクトタイプの場合にも、特に、加工の過程で縁部が曲げられた場合、折り曲げられた場合、打ち抜かれた場合、又は、切り取られた場合、ひいては、考えられる視覚的な参照が失われた場合には、ＲＯＩの姿勢の再現可能性が困難又は不可能になる可能性がある。

【0053】

ＲＯＩの位置をわずかにシフトさせながら（例えば、ピクセルごとにシフトさせながら）複数の指紋を形成することにより、ＲＯＩの姿勢における比較的小さい不確実性を捕捉することは、確かに可能ではある。しかしながら、これによって、指紋形成及び指紋比較のための労力が相応に何倍にも増加し、それどころか多くの場合、二次関数的に増加することとなる。なぜなら、両方の軸線方向（ｘ，ｙ）において不確実性が存在するからである。ＲＯＩの姿勢に関する比較的大きい不確実性を担保することは、実際には不可能である。

【0054】

指紋法が動作中に機能するようにするためには、常に両方のステップ、すなわち、位置合わせステップ（マッチングステップ又はアライメントステップとも称される）と、指紋比較ステップとが成功している必要がある。

【0055】

特に困難であることは、それぞれのカメラステーション（初回の検出のための第１のステーションと、識別のための複数のさらなるステーションと）においてＲＯＩのアライメントのために実施しなければならない位置合わせステップが、常に同一の結果をもたらさなければならないということである。このことは、実際には、特に連続運転時には、ほとんど保証することができない。

【0056】

したがって、指紋法は、実際には脆弱であるとしてみなされ、ユーザにとって相応に不評である。例えば、載置用の型版に対してカメラが少しずれると、この識別ステーションにおける構成部材はもはや識別可能ではなくなり、したがって、生産が停止させられることとなる。

【0057】

以下においては、発見された対応関係の品質に対する信頼を評価する信頼度尺度について紹介する。

【0058】

信頼度尺度ｑ_Ｂは、数学的にｑ_Ｂ＝（ｐ_１／ｐ_２）－１として定義されている。ここで、ｐ_１は、最良のピークの高さであり、ｐ_２は、２番目に最良のピークの高さである。本明細書におけるピークとは、投票重み行列における、又は、投票重み行列のさらに処理された形態における、大域的又は局所的な最大値の値を意味する。

【0059】

投票重み行列の好ましいさらなる処理は、集積（投票重みの収集）が完了した後に、投票重み行列を平滑化することにある。適当な平滑化フィルタは、例えば２次元のガウス形状の平滑化フィルタである。

【0060】

ｐ_１≧ｐ_２は常に満たされているので、ｑ_Ｂ≧０となる。

【0061】

信頼度尺度ｑ_Ｂは、例えば、個々の画像比較（１対１の比較：１つの参照画像領域に対して、１つの問い合わせ画像又は問い合わせＲＯＩ）から既に、対応関係の検索が成功しているかどうかを判断するために適している。対応関係が発見されている場合には、ｑ_Ｂが大きく（例えば、ｑ_Ｂ＝１１）、そうでない場合には、ｑ_Ｂが小さい（例えば、ｑ_Ｂ＝０．１）。

【0062】

信頼度尺度に関する代替的な実施形態においては、１の減算を省略するものとしてもよい。

【0063】

さらにより容易な代替的な信頼度尺度ｑ_Ａは、オプションの定数ｃを備えたｑ_Ａ＝ｃ・ｐ_１である。すなわち、最良のピークの高さが、信頼度尺度として使用される。

【0064】

これにより、ここでも、投票重み行列における、又は、投票重み行列の（例えば、平滑化フィルタリングに従って）さらに処理された形態における、大域的な最大値の値を意味する。オプションの定数ｃは、ｑ_Ａの値の範囲を指定するために、例えば０≦ｑ_Ａ≦１に指定するために、利用可能である。

【0065】

信頼度尺度ｑ_Ａは、第２のピークｐ_２の特定を省略することができるという利点を有し、このことは、計算演算の節約を意味する。他方では、これによって正規化のための比較値も省略される。

【0066】

しかしながら、この見かけ上の欠点は、１対Ｎの比較の場合（後でさらに考察するような、複数（Ｎ個）の参照画像に対して１つの問い合わせ画像の場合）には重要ではない。なぜなら、この場合には通常、全てのより低いｑ_Ａ値を有するＮ－１個のノンヒットに対して、高いｑ_Ａ値によって特徴付けられる１つのヒットが存在するからである。この情報は、勝者を決定するために完全に十分であり、したがって、同一の問い合わせ画像内におけるそれぞれの２番目に最良のピークのレベルは、省略可能な情報となる。

【0067】

したがって、以下においては、より単純である信頼度尺度ｑ_Ａを、好ましい信頼度尺度とする。

【0068】

本発明が確実に機能するために、好ましくは、オブジェクトの（部分）表面の二次元の画像を、グレースケール値又は多次元値（色値）の形態で検出（いわゆるテクスチャ検出）するカメラが使用され、この画像は、カメラからカメラへと可能な限り再現可能である。換言すれば、画像は、可能な限り類似して見えることが望ましい。この場合、例えば、画像内容の回転、スケーリング、シフト、又は、輝度の整合によって修正し得る容易に修正可能な差異は、問題ではない。

【0069】

同一のオブジェクトの２つの記録の画像内容が、この意味において可能な限り類似するように、両方の撮影装置は、可能な限り類似していることが望ましく、又は、少なくとも互いに調整されていることが望ましい。このことは、特に照明に該当する。

【0070】

光沢感のない表面を備えたオブジェクトの場合には、このことは、比較的簡単に達成可能である。なぜなら、入射する光が、広がって散乱させられるので、オブジェクトの画像は、照明位置が少し変化してもほとんど変化しないからである。強力に反射する表面を備えたオブジェクトの場合、例えば研磨又はブラッシングされ、続いてクロムメッキされた鋼の場合には、画像は、特に光源が点状である場合に、光源の位置に強力に依存する。両方の撮影装置が、それでもなおオブジェクトの再現可能に類似した画像を供給するようにするために、光が全方向から可能な限り均一に表面に入射するような照明（拡散照明）を選択することが、非常に推奨される。このことは、例えばオブジェクトの上方近傍のドーム照明によって達成され、このドーム照明の場合には、可能な限り無指向性の間接照明が得られるように、マットホワイトの半球の内面が照明される。この場合、カメラは、半球の内側に位置する又は半球の対称軸線の領域に設けられた孔部を通して半球の中をのぞくようになっている。

【0071】

特に、このような困難な表面タイプの場合には、それぞれ異なる照明のもとでの同一のカメラによる複数回の連続する撮影からテクスチャ画像を獲得することが有意義であろう。例えば、短時間に連続して４回の撮影を行うことができ、これらの４回の撮影では、リング形又はドーム形の拡散照明のそれぞれ１つの四分円のみがスイッチオンされている。適した公知の方法は、例えばShape from Shading（陰影からの形状復元法）又はPhotometric Stereo（照度差ステレオ法）である。

【0072】

例えば、Shape from Shadingにおいては、表面の反射率を記述するいわゆるテクスチャ画像と、局所的な曲率を記述する曲率画像とが計算される。両方の画像は、互いに独立して又は組み合わせても、本発明に適している。なぜなら、これら両方の画像は、それぞれ照明に対する依存性が算出されているオブジェクトの再現可能な画像を提供するからである。

【0073】

第１の画像からの画像領域を第２の画像内において再発見するための種々異なる方法が、例えば独国特許出願公開第１０２０１９２１０５８０号明細書から公知である。

【0074】

これらの方法のうちの１つは、まず始めに、例えば正方形又は円形又は多角形の輪郭のような、画像切り抜きの小さい輪郭を定義する。

【0075】

この輪郭の内部には、複数の特徴点が存在する。すなわち、これらの特徴点は、各自のそれぞれの環境から形成された、例えばそれぞれ１６ビットによって表現されている画像特徴である。すなわち、このような画像特徴は、多かれ少なかれ局所的な画像内容をコンパクトに表現したものである。すなわち、要するに、より大きい全体画像領域が、形成される特徴の全体性に寄与する。所定のピクセルに対する画像特徴を計算するために、G. Levi and T. Hassner. LATCH: Learned arrangements of three patch codes. In IEEE Winter Conference on Applications of Computer Vision (WACV), pages 1-9, 2016.によるラッチ記述子（Latch Descriptor）を使用することができる。しかしながら、これらの特徴を計算するために、多数のさらなる公知の方法が存在することに留意されたい。

【0076】

本実施例においては、正方形は、５０×５０ピクセルの大きさであり、２５００個の特徴点を含む。換言すれば、特徴密度は、ここでは１ピクセル当たり１つの特徴である。しかしながら、特徴密度は、これより高くても又は低くてもよく、例えば、１ピクセル当たり４つの特徴、又は、９ピクセル当たり１つの特徴であるものとしてもよい。

【0077】

（例えば、１６ビットの単語長を備えた）それぞれの特徴値は、ルックアップテーブル（Lookup-Tabelle）へのアドレスとして使用され、その場合、このルックアップテーブルには、画像内の参照位置に対して相対的な画像内の特徴位置が記入され、任意選択的に、さらなる情報、例えば重みも記入される。

【0078】

遅くとも２５００個全ての特徴点がテーブルに記入されると（たいていの場合、これより少ない数でもう十分である）、第１の画像からの考察される画像領域の処理が、これにより終了する。

【0079】

第２の画像とは、参照位置に対応する位置が特定されるべき画像である。この場合、この位置のための探索領域は、第２の画像全体を含み得る。その場合、対応して、第２の画像全体に対して特徴が生成される。代替的に、探索領域は、第２の画像の一部（ＲＯＩ）のみを含む。その場合、第２の画像に対して、拡大されたＲＯＩに相当する面に関する特徴が生成され、ここで、このＲＯＩは、許容されるシフトの分だけ拡大されており、例えば、左方、右方、上方及び下方へのそれぞれ２０ピクセル分だけ拡大されている。第２の画像に対しては、特徴計算のために、第１の画像の場合と正確に同一の方法論が適用され、又は、テクスチャの状態の変化、例えば、乾燥した清潔な状態から油で濡れた状態への変化を適当に考慮する適合させられた方法論が適用される。

【0080】

この場合、例えば、乾燥した状態から油で濡れた状態への移行時又はその逆の移行時における画像内のテクスチャの変化を、例えば統計的に、例えば２つの状態の間の局所的なコントラスト（又は色値）の複合分布密度の形態で記述する予備知識を用いることができる。

【0081】

第２の画像内の特徴密度は、本実施例でも１ピクセル当たり１つの特徴である。第２の画像内の特徴密度は、それより高くても低くてもよく、また、第１の画像の特徴密度と一致していなくてもよい。

【0082】

第２の画像からの生成された特徴は、ここでもルックアップテーブルのアドレス指定のために使用されるが、今回は読み取り形式で使用される。上述したように、ルックアップテーブルに基づいて特定された相対的な位置における、第２の画像内の現在の特徴位置を起点として、投票重みが出力され、投票重み画像に記入される。このことを、探索領域内のそれぞれの特徴ごとに実施することができ、投票重み画像内の投票出力が、好ましくは、加法的に、又は、重み付けされて加法的に、収集（集積）される。

【0083】

有利な実施形態においては、投票重み画像の大きさは、探索領域の大きさにほぼ相当する。投票重み画像は、これより小さく選択されるものとしてもよく又は大きく選択されるものとしてもよい。しかしながら、投票重み画像は、投票出力時の相対位置の到達範囲よりも大きく選択される必要はない。この到達範囲は、第１の画像領域の大きさと、これに関連する参照位置の姿勢とに依存しており、又は、換言すれば、２Ｄベクトルの長さの有界性に依存している。

【0084】

画像領域を再発見するための方法においては、投票重み画像内において対応関係がある場合には、非常に特徴的でありかつ空間的に非常に集中している集積点が得られ、この集積点の姿勢は、探索された位置に相当し、すなわち、第２の画像内における第１の画像からの参照位置に相当するものに相当する。例えば、集積点を、この集積点の最大位置又は重心位置を特定するという意味で評価することにより、探索される対応位置を、所望される場合又は必要である場合にはサブピクセル精度で特定することができる。カメラの解像度に応じて、このことは、サブミリメートル精度に相当することができる。

【0085】

特定された位置情報を、種々異なる手法で有利に利用することができる。第１の画像内の参照位置と、第２の画像内の発見された位置との間の差異から、カメラとオブジェクトとの間のポーズが、２つのカメラステーションの間でどのように異なっているかを特定することができる。ここから、統計を特定することができる。平均値は、カメラステーションからカメラステーションへの相違性に関する情報を提供し、場合によっては、この相違性を解消することが所望される。例えば標準偏差として表される平均値からの偏差は、オブジェクトからオブジェクトへとポーズがどのように変動するかに関する情報を提供する。このような位置の変動は、ロボットを用いて把持する際の変化によって、又は、部材の形状の相違性によって引き起こされる可能性がある。例えば、バリ取りされていない鋳造部材の場合には、このような変動が大きくなる可能性がある。

【0086】

統計は、探索領域をパラメータ化するためにも有用であろう。なぜなら、上述したように、平行移動の自由度を完全に利用するのではなく、計算労力の削減のために比較的小さい探索領域を構成することが有意義であるからである。しかしながら、対応関係を見逃すことがないようにするために、小さく選択し過ぎてはならない。

【0087】

１組の画像ペアにつき複数の対応関係が検索される場合には、発見された対応位置の配置から推定を行うことができ、分類の信頼度をさらに改善することができる。

【0088】

以下においては、任意選択肢として、複数の参照画像領域を利用することから、どのようにして利点を得ることができるのかについて考察する。

【0089】

参照画像内に、複数の参照画像領域が位置付けられる。例えば、Ｍ＝１２個の参照画像領域は、これらの参照画像領域が、オブジェクト表面のうちの、好ましくは区別可能性を可能にするような区域を検出するように、参照画像に対して位置付けられる。個々のオブジェクトを再認識するためには、ランダムプロセスから生じたノイズ状のテクスチャが、特に良好に適している。これに対して、いずれのオブジェクトにおいてもほとんど同じように見える領域は、適していないであろう。参照画像領域を位置決めするために適していない面は、例えば、カメラがもはや細部を解像することができないほど明るくなっている過度に散乱した画像領域であり、又は、信号対雑音比が低くて、画像信号が実質的にセンサノイズによって決定される（このセンサノイズは、当然のことながら識別に寄与することはできない）非常に暗い画像領域である。

【0090】

さらに、適していない面は、例えば、信号がほぼ一定である若しくはわずかしか局所的に変化しない、すなわち、情報が識別に寄与しない若しくはわずかしか寄与しない、ほぼ均一な画像領域であり得るし、又は、カメラの焦点平面若しくは焦点面のはるかに外側に位置する非常に不鮮明に検出された画像領域であり得るし、又は、いずれのオブジェクトにおいても同様に見えるためにオブジェクトを区別する役割を持たない、例えば、縁部、角部、孔部のような画像領域であり得る。このような画像領域には、照明によって生じた陰影の縁部も含まれる。

【0091】

さらに、適していないのは、オブジェクトの追跡の過程で破壊された、又は、追跡を不可能にするような重大な変化に曝された面、例えば、削り取られた、研磨された若しくはブラスト（サンドブラスト）された面、又は、不透明な塗料が塗布されており又はその他の手法により覆い隠されていて、後からもはや見えなくなる面である。

【0092】

参照画像領域の指定は、撮影装置（カメラ、照明、姿勢、画像解像度、画像切り抜き）が確定された後、１つの構成部材タイプにつき通常は１回だけ実施される。このような指定は、通常、依然として必要とされる唯一のパラメータ化ステップである。その後、参照画像領域の指定は、通常の事例においては、この構成部材タイプの全てのオブジェクトに対して適用される。参照画像領域の指定は、専門家によって実施されるものとしてもよいし、又は、自動的に実施されるものとしてもよい。

【0093】

例えば、専門家によって、より詳細にはＭ＝１２個の参照画像領域を使用して、指定を実施することができ、これらの参照画像領域の中心は、時計の文字板上の１時間と同様に、１つの円上に３０°の等角度距離を置いて位置付けられている。この配置は、例えば円形又は円環形のオブジェクト表面のために適している。参照画像領域は、好ましくは良好に焦点合わせされた、ランダムにテクスチャ付けされた面内に位置する。縁部及び不鮮明な画像領域は、回避される。

【0094】

参照画像領域同士のオーバーラップは、確かに許容されはするが、回避されることが望ましい。なぜなら、追加的な労力によって追加的な利益が得られるわけではないからである。

【0095】

複数の画像領域を利用する場合の全体信頼度尺度ｑ_Ｇｅｓとして、最も簡単な事例においては、Ｍ個の信頼度尺度からの合計又は平均値が形成され、すなわち、例えば、

【数1】

が形成され、ここでは、個別信頼度尺度ｑ_１は、好ましくは、ｑ_Ａに従って形成されるものとしてもよいし、又は、ｑ_Ｂに従って形成されるものとしてもよいし、又は、他の規則に従って形成されるものとしてもよい。

【0096】

複数の小さい参照画像領域を、それぞれ適当な表面テクスチャを備えた適当な部分面上に独立して位置付けることが可能であること、ひいては区別可能性の意味での、構成部材タイプに合わせて最適化された調整を、わずかな労力で達成可能であることが、本方法の利点である。

【0097】

参照画像領域を指定するために専門家を投入することは、コスト又は使用可能性の理由から不利である可能性がある。

【0098】

代替として、画像領域を自動的に最適に指定することが可能である。このために、非常に少数のオブジェクトで、例えばＮ_Ｒ＝１０個のオブジェクト、しかしながら、少なくともＮ_Ｒ＝２個のオブジェクトで対処することができるトレーニングが想定されている。

【0099】

以下においては、これらのＮ_Ｒ個のトレーニングオブジェクトの各々からそれぞれ１つの参照記録（したがって、添え字Ｒ）が存在し、そのうちのＮ_Ｑ≦Ｎ_Ｒ個からそれぞれ１つの問い合わせ記録（添え字Ｑ）も存在するということが仮定される。

【0100】

この場合、１≦Ｎ_Ｑ≦Ｎ_Ｒを満たすものとし、又は、換言すれば、理想的には１つのオブジェクトにつき１つの問い合わせ記録が存在し、すなわち、Ｎ_Ｑ＝Ｎ_Ｒであるが、必要であれば、ただ１つの問い合わせ記録すなわちＮ_Ｑ＝１でも十分であるとする。

【0101】

トレーニングは、例えば以下のようにして実施される。
１．初期時には、所定数Ｍ個の参照画像領域が、例えばランダム又は規則的に、例えばタイリングとして位置付けられる。
２．この位置付けは、Ｎ_Ｒ個の参照画像全てに対して適用される。次いで、Ｎ_Ｑ個の問い合わせ画像と、Ｎ_Ｒ個の参照画像とをペアごとに比較するために、本方法が適用される。この場合、Ｎ_Ｒ×Ｎ_Ｑ個の類似度値が生じ、これらの類似度値は、Ｎ_Ｒ×Ｎ_Ｑの大きさの類似度行列に記入され、ここでは、列インデックスが問い合わせ番号に相当し、行インデックスが参照番号に相当する。
Ｎ_Ｒ＝Ｎ_Ｑの場合、かつ、順序が同一である場合には、主対角線上に正しい対応付けが存在することとなる。
３．類似度行列が評価される。目的は、類似度行列を最適化し、その際、それぞれの列において（通常は、主対角線上にある）正しい対応付けでは最大値を達成し、その一方で、その列の他の全ての値を可能な限り小さくすることである。この尺度は、例えば、全ての列にわたって平均化された（それぞれの列における）２番目に高い類似度に対する最高の類似度の商又は差であるものとしてよい。これにより、位置付けセットアップに対する全体評価数が得られ、この全体評価数を最大化することが肝要である。
４．全体評価数が最大値に達しており又は閾値を上回っている場合には、最適化が完了し、したがって、特定されたパラメータも最適化されている。そうでない場合には、続行される。
５．セットアップが変更される。これには、以下の変更が含まれる、すなわち、個々の参照画像領域の位置（すなわち、画像内における個々の参照画像領域の姿勢）の変更、及び／又は、個々の参照画像領域の寸法（例えば、四角形又は楕円形の形状の場合には、幅、高さ、アスペクト比、角度）の変更、及び／又は、参照画像領域の個数の変更が含まれる。

【0102】

ここでも、参照画像領域のオーバーラップが可能な限り回避されるということに留意されたい。

【0103】

当然ながら、このトレーニングを加速するために、又は、大域的な最適値へと導くために、最適化における一般的な方法を使用することができる。例えば、全体評価数に対して最大の影響を与えるパラメータを特定して、変更において優先するために、勾配が特定される。

【0104】

全体評価数に計算労力も含め入れることが有利である（計算労力が小さいほど、評価数が良好になる）。このことにより、結果として自動的に、参照画像領域の個数及び寸法が必要以上に大きくならず、参照画像領域同士もオーバーラップしなくなる。

【0105】

オブジェクトは、実質的に回転対称に構築されていることが多い。その場合、オブジェクトを常にカメラの手前で（回転対称軸線を中心として）同一の角度で再現可能に位置決めすることは、不可能であることが多い。例えば、側方に切り欠きが設けられていれば、確かに一義性がもたらされ、ひいては補助が得られるであろうが、このような補助手段は、たいていのオブジェクトタイプには設けられていない。

【0106】

軸線を中心とした回転に関してこの意味で非一義的であるこのようなオブジェクト及び類似のオブジェクトにおいて、本発明は、従来技術に比べて顕著な利点を有する。なぜなら、２つの方向におけるオブジェクトの平行移動不変性を、接線方向の不変性と、軸線方向の不変性とに変換することができるからである。この場合、回転不変性と称されることもある接線方向の不変性が、特に重要である。

【0107】

このために、画像からの切り抜き、例えば円環形の面をデジタルで展開することが提案される。このために、画像内における円板の２つの半径と、円板の中心点の位置とを指定することができる。この中心点は、画像内の回転対称軸線の貫通点と少なくともほぼ一致していることが望ましい。

【0108】

円板を切り取るためのパラメータは、事前に既知であり、又は、画像から特定可能である。特に、中心点を、例えば対称中心の推定に基づいてそれぞれの撮影ごとに新たに特定することは、この中心点が変化する場合には有意義であろう。この場合、大まかに推定するだけで、例えばいくつかのピクセルを正確に推定するだけでもう十分である。

【0109】

円板をデジタルに展開する際には、この円板が切り開かれて、四角形に展開される。すなわち、ピクセル値（グレー値、色値）が、対応してワープさせられる。

【0110】

展開の際には、円弧のような面を展開することが可能な限りでなく、当然ながら、展開されるべき面を、内側若しくは外側の円筒体とすることもでき、又は、内側の円錐（円錐台）若しくは外側の円錐（円錐台）とすることもできるということに留意されたい。それどころか、ドラム形状、バーベル形状、波形のような形状さえも考えられる。したがって、一般的に、回転対称の面に対して展開を適用することができる。

【0111】

切断線においては、四角形が左方及び右方にそれぞれ周期的に継続されると想定することができる。なぜなら、これらの両方の端部が、対になっているからである。相応に、全ての画像処理演算及びさらなる処理ステップを、この切断線を越えて中断なしに継続することができる。

【0112】

円板形の画像内容を四角形の画像に展開した後、これに次いで、本方法を通常通りに適用することができる。すなわち、それぞれ１つの展開された問い合わせ画像が、展開された参照画像と比較される。

【0113】

ここで、周期的な継続についての上記の原理が一貫して遂行される場合には、本発明による識別の結果は、半径方向の断面が円環のどこに置かれていたかには依存しなくなる。

【0114】

丸い構成部材が未知の角度姿勢にあると仮定すると、この未知の角度姿勢は、展開によって未知の水平方向の平行移動になる。しかしながら、これに対して、アルゴリズムは不変である。このことはつまり、結果が、水平方向の平行移動には依存していないということを意味する。すなわち、未知の角度姿勢にもかかわらず、オブジェクトを展開された形態で識別することができる。したがって、平行移動不変の方法は、展開によって回転不変の方法になる。

【0115】

展開された画像においては、垂直方向の平行移動不変性も与えられている。このことはつまり、垂直方向にシフトさせられた対応関係も発見されるということを意味する。この場合、垂直方向の平行移動不変性は、半径方向の不変性にマッピングされる。この半径方向の不変性も、極めて有用である。なぜなら、これにより、不正確に位置付けられた中心点を補償することができるからである。換言すれば、対称中心の推定が、誤差を含む場合、例えば５ピクセルだけずれて位置付けされている場合や、円板の展開が、相応に誤った中心点を中心にして実施された場合であっても、このことは、問題ではない。なぜなら、それでもなお、（その場合には垂直方向にずれて位置付けされた）対応関係を発見することができるからである。このことは、本方法に、さらなる極めて莫大なロバスト性の利点をもたらす。

【0116】

要約すると、このことは、換言すれば、実質的に回転対称なオブジェクトを識別するために、実際には、画像記録における実質的に回転対称なオブジェクトの角度姿勢が任意かつ未知であるものとしてよく、また、回転軸線又は中心点の姿勢を大まかに把握又は推定するだけでもう十分であるということを意味する。

【0117】

従来技術に対するこの重要な利点は、展開によって回転不変性と半径方向の不変性とに変換することができる、本方法の所与の２次元の平行移動不変性によって実現される。

【0118】

半径方向の不変性は、数学的な意味における真の不変性ではない。なぜなら、展開とは、それぞれの半径に依存しているスケーリング係数が存在する非線形のマッピングであるからである。中心点の姿勢における誤差は、相応にスケーリング誤差に変換される。しかしながら、この見かけ上の問題は、実際には無視できるほどに小さく、したがって、重要でないことが判明している。

【0119】

１つの画像につき複数の参照画像領域を用いて処理が行われると直ちに、識別における信頼度をさらに高めるためのオプションの追加的な手段がもたらされる。

【0120】

なぜなら、Ｍ個の参照画像領域は、参照画像内において特定の配置で存在するからである。その場合、これに対して発見することができる正しい対応関係が、問い合わせ画像内でも同一又は類似の配置で存在するということを期待することができる。このことを検査し、これによって追加的又は代替的な品質尺度を形成することができる。

【0121】

配置がこの期待に即している場合には、信頼度が高く、この期待から逸脱すると、それに応じて信頼度が低下する。

【0122】

例えばオブジェクトが部分的に損傷を受けたせいで、Ｍ個の全ての可能性のある対応関係を発見することができない場合には、これらの対応関係のうちの少なくとも残余の部分は、それでもなお、期待できる部分配置で存在するはずである。したがって、このことは、依然として比較的高い信頼度をもたらすはずである。

【0123】

このことは、図１に示されている。参照オブジェクト１０の上に、ここでは文字Ａ～Ｌが付されているＭ＝１２個の画像領域が指定されており、これらの画像領域を、テクスチャに基づいた識別のために使用することが望ましい。これらの画像領域のそれぞれの中心点は、事前に指定された配置１１で存在しており、この配置１１は、画像の右隣にグラフィックとしても図示されている。この事例においては、（両方の次元において）一定の格子間隔を有する直角の格子を備えた格子状の配置である。ここでは４×４個の考えられる格子箇所のうち、４つの角位置は使用されていない。

【0124】

画像領域の他の配置が考えられ、例えば、１つの円上の配置、又は、他の幾何形状での配置が考えられる。

【0125】

問い合わせ記録の時点において、同一のオブジェクト１２がそうこうするうちに表面上に損傷を受け、これによって識別可能性が困難になっている。さらなる要因、例えば撮影条件の変化も、追加的な困難をもたらすように作用する可能性がある。

【0126】

これら全てにより、ここではいくつかの対応関係、例えばＧが、全く再発見されなくなり、また、相当数の対応関係、例えばＦが、極めて低い信頼度を有することとなり、又は、例えばＢのように、大幅に低下した信頼度を有することとなる。

【0127】

特に、このような困難な事例（ここで示しているよりも、さらに格段に困難である可能性もある）に対しては、追加的な検査を導入するという手段が提案され、この追加的な検査においては、配置の一貫性が検査されて、ここから追加的な評価指標が導出される。

【0128】

このことを、本実施例において説明する。発見された対応関係Ｅ及びＩは、ここでは特に強力であるとみなされる。その場合、例えばこれらの対応関係の位置は、既知の配置を、この事例においては、ラスタを、右側の配置１３に示されているように相応に係留するためのアンカーポイントとして使用可能である。このことにより、ここでは、ラスタが右方へとわずかに回転させられる（問い合わせ記録においてオブジェクトが相応に回転させられているので）。ここでは、ラスタのわずかなスケーリング（縮小又は拡大）も必要になる可能性がある。

【0129】

このようにして係留されたラスタを起点として、全ての残余の期待される対応位置、例えばＢの対応位置を特定することができる。この対応関係が、この期待される位置を中心とした円周内において実際に発見された場合には、このことは、組み合わせられた信頼度に対して有利に作用するべきであり、すなわち、信頼度を高めるべきである。円周は、例えば、期待できる測定精度、画像歪み、数値的な不正確さ、及び、誤差の伝播を考慮している。円周は、固定又は可変の半径を有し得る。任意選択的に、円周は、アンカーポイントまでの距離に伴って増加し、複数の円周がそれぞれ異なる直径を有している配置１３においても、このことを見て取ることができる。任意選択的に、アンカーポイント同士が互いに近接して位置すればするほど（梃子の作用の減少、ここでは図示せず）、円周がより多く増加する。

【0130】

円周は、字義通りに捉えられるべきではなく、すなわち、円形の領域である必要はなく、他の形状も有し得る。特に、楕円の形状が重要である。なぜなら、楕円の形状は、誤差計算から得られるからである。

【0131】

その場合、組み合わせられた信頼度の計算を、例えば、以下のようにして実施することができる。
１．発見された２つの対応関係、例えばＥ及びＩを選択し、これらの対応関係の位置でラスタ（ここでは、期待される配置と同義である）を係留し、より詳細には、ラスタの適当なシフト、スケーリング及び回転によって係留する。
２．全てのさらなる発見された対応関係Ａ～Ｄ，Ｆ～Ｈ，Ｊ～Ｌを、これらの対応関係が、係留されたラスタに適合しているかどうか、例えば、各自のそれぞれの期待される円周内に位置しているかどうかについて検査する。
３．最も単純な事例においては、期待の充足をカウントする。この場合、ここでは０からＭ－２＝１０までのカウント値を、新たな信頼度尺度として生成することができ、なお、アンカーポイント自体は、数え入れていない。

【0132】

改善された変形例においては、カウントすることに代えて、それぞれｑ_Ａ又はｑ_Ｂに従って特定されたＭ個の個別信頼度値の合計が行われる。より詳細には、ここでも、それぞれの円周内に位置する対応関係についてのみである。任意選択的に、アンカーポイントの個別信頼度値を加算することも可能である。

【0133】

これについての式は、例えば、

【数2】

であるものとしてよく、ここで、ｉ番目の対応関係が、期待された円周内に位置する場合、又は、ｉ番目の対応関係がアンカーポイントである場合には、ｗ_ｉ＝１であり、そうでない場合には、ｗ_ｉ＝０である。

【0134】

さらに改善された変形例においては、円周の基準がより柔軟に捉えられ、すなわち、イエス／ノー（円周内に位置しているか否か）の判定として捉えられるのではなく、それぞれの発見された対応位置からそれぞれの期待される位置までの距離の評価によって捉えられる。例えば、完全一致の場合には最大値であり、距離がやや大きい場合には中くらいの値であり、距離が大き過ぎる場合には約０である。

【0135】

したがって、この式は、ｑ_Ｇｅｓのために適しているが、バイナリ値を用いるのではなく、ｉ番目の対応関係の姿勢を評価する、スカラー値の重み付け係数ｗ_ｉを用いる。

【0136】

ｗ_ｉの値として、例えば、それぞれ期待される位置において各自の最大値を有する、２次元の相関する若しくは相関しないガウス密度、又は、２次元の円錐形の密度関数の走査を使用することができる。発見された対応関係の箇所において密度関数を走査することによって得られる評価数ｗ_ｉを、それぞれの個別信頼度値ｑ_ｉ（例えば、ピーク高さ）と乗算することができる。これらの、ここでは最大でＭ－２＝１０個の積が、再加算される。任意選択的に、アンカーポイントを、好ましくはそれぞれ完全一致の評価と共に、一緒に合計に採用することもできる。

【0137】

任意選択的に、最後に挙げたステップを、他の全ての可能性のあるアンカーポイントを用いて繰り返すことができ、例えば、次のものとしてアンカーポイントＣ及びＬを用いて繰り返すことができる。２つのアンカーポイントが互いに離れれば離れるほど、ラスタを係留するための梃子が大きくなり、このことは、有利である。

【0138】

これらの再配列（permutation）により、誤った対応関係に起因する誤った係留によって不適当に悪い全体評価がもたらされるリスクが回避される。したがって、再配列を介して得られた全ての全体信頼度ｑ_Ｇｅｓのうち、好ましくは達成される値が最も高くなっている全体信頼度が、引き続き使用される。なぜなら、その全体信頼度においては、基礎となる係留が正しかったということが最も早くに仮定されているからである。

【0139】

ここで考察されている（Ｍ＝１２個の画像領域を備えた）実施例の場合には、可能性のある再配列の量を完全に考察することが、問題なく可能である。再配列のうちの部分集合のみを考察したい場合には、高い個別信頼値と、同時に長い梃子とを有するアンカーポイントを優先することが有利である。

【0140】

これまでは、２つのアンカーポイントを用いる事例のみを考察してきたが、２つのアンカーポイントだけでも、参照画像と問い合わせ画像との間の回転及びスケーリングの調整が可能である。しかしながら、その他の個数のアンカーポイント、例えば３個又は４個のアンカーポイントを用いて動作させることも可能である。例えば、これによってそれどころか、オブジェクト表面に対する種々異なるカメラ視野を許容及び考慮することさえ可能となる。このことにより、設備を設置する際により大きい自由度がユーザに与えられる。例えば、その場合、それぞれのステーションにおけるカメラの視線方向が、オブジェクト表面に対して垂直に方向決めされていることにもはや注意を払わなくてもよくなり、傾斜した視線角度も可能となり、それどころか手持ち式のカメラ動作さえも可能となる。

【0141】

図２は、画像領域を再認識するための方法のフローチャートを示している。

【0142】

本方法は、所定の画像切り抜きの内部の複数のピクセルに関して、画像特徴を特定すること（Ｓ２１）によって開始する。

【0143】

任意選択肢として追加的に、対応付けることＳ２２が実施される。この場合、画像特徴の各々に、それぞれの第１の画像特徴が特定されているピクセルの、所定の画像切り抜きの参照位置に対する相対的な位置が対応付けられる。

【0144】

これに続いて、第２の画像を受信すること（Ｓ２３）であって、第２の画像から回転対称の面が決定され、当該面が四角形の面に変換される、こと（Ｓ２３）と、第２の画像の複数のピクセルに関して、画像特徴を特定すること（Ｓ２４）とが行われる。この変換は、上述したように第１の画像に対しても実施されている。

【0145】

これに続いて、第２の画像の特定された画像特徴と第１の画像の特定された画像特徴とを、これら両方が同一の値を有しているかどうかについて比較すること（Ｓ２５）が行われる。次いで、少なくとも１つのペアの同一の画像特徴が存在する場合には、所定の画像切り抜きが第２の画像内に存在するということが出力され、そうでない場合には、所定の画像切り抜きが第２の画像内に存在しないということが出力される。例えば限定的にしか一義的ではない画像特徴の場合には、好ましくは、少なくとも２つ以上のペアの同一の画像特徴が存在すべきであるということに留意されたい。好ましくは、複数のペアの同一の画像特徴は、投票重み行列において同等の位置に存在する。ステップＳ２４が実施された場合には、比較するステップ（Ｓ２５）において、第１の画像の画像特徴の値と第２の画像の画像特徴の値とが同一である場合には、第１の画像の画像特徴の対応付けられた相対的な位置を採用することができ、同一の画像特徴が存在する第２の画像のピクセルのピクセル位置を、前述の相対的な位置を中心として相対的にシフトさせて保存することができる。上述したように、この決定された位置は、ピクセルごとに投票重みマトリックス（投票画像）において総和される投票重みとして解釈可能である。投票重み行列を用いて、第２の画像内の画像切り抜きの位置を決定することができる。

【0146】

図２による方法のための２つの最も重要な使用分野は、以下の通りである。

【0147】

個々の表面テクスチャに基づいて、例えば工業生産における構成部材の、マーキングなしでの追跡が行われる（トレーサビリティ）。自社の生産からのオリジナルを再認識するために、及び、サードパーティ製品又は偽物を区別／検出するために、製品の個々の表面テクスチャを利用することによって、ブランドが保護される。

【0148】

両方の事例において、ランダムな特性を有し、かつ、物理的にクローン不可能である、オブジェクトの表面の天然に存在するテクスチャが利用される。

【0149】

オブジェクトごとに個々であり、かつ、クローン不可能である表面テクスチャが、ランダムプロセスによって生じるという最後に挙げた特性を、ブランド保護のために最大限に利用することができる。このために、製造業者の側では、それぞれの製造されたオブジェクトごとに、事前に定義された箇所におけるテクスチャが検出されて（例えば、写真に撮られて、又は、走査されて）、例えば、クラウド内のデータベースに保存される。

【0150】

オブジェクトの真正性を後々に検査するために、オブジェクトのテクスチャが、ほぼ同一の箇所において改めて検出され、データベース照合が実施される。したがって、データベース内にヒットするものが存在する場合、すなわち、テクスチャの明確な一致が存在する場合には、そのオブジェクトは、既知であり、真正であるとして検証されている。しかしながら、比較において一致を発見することができなかった場合には、そのオブジェクトは、製造業者によって検出された部材の集合には含まれていない。こうして、偽造を識別することが可能である。

【図1】

【図2】

【外国語明細書】