知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-12-16
(45)【発行日】2022-12-26
(54)【発明の名称】特徴マッチングに基づく組立体の多視点変化検出方法及び装置
(51)【国際特許分類】
G06T 7/00 20170101AFI20221219BHJP
【ＦＩ】
G06T7/00 300F
【請求項の数】
9
(21)【出願番号】P 2021097532
(22)【出願日】2021-06-10
(65)【公開番号】P2022173970
(43)【公開日】2022-11-22
【審査請求日】2021-06-10
(31)【優先権主張番号】202110506029.7
(32)【優先日】2021-05-10
(33)【優先権主張国・地域又は機関】CN
(73)【特許権者】
【識別番号】518229179
【氏名又は名称】青▲島▼理工大学
【氏名又は名称原語表記】ＱＩＮＧＤＡＯ ＵＮＩＶＥＲＳＩＴＹ ＯＦ ＴＥＣＨＮＯＬＯＧＹ
(74)【代理人】
【識別番号】100145470
【弁理士】
【氏名又は名称】藤井 健一
(72)【発明者】
【氏名】陳成軍
(72)【発明者】
【氏名】岳耀帥
(72)【発明者】
【氏名】李東年
(72)【発明者】
【氏名】洪軍
【審査官】佐藤 実
(56)【参考文献】
【文献】中国特許出願公開第１０５７４０８９９（ＣＮ，Ａ）
【文献】特開２０２０－００８９３２（ＪＰ，Ａ）
【文献】特開２０１９－１９１１１７（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｔ ７／００ － ７／９０
(57)【特許請求の範囲】
【請求項1】
特徴マッチングに基づく組立体の多視点変化検出方法であって、第１画像と第２画像を取得し、前記第１画像が組立体の前の時刻の画像であり、前記第２画像が組立体の後の時刻の画像であるステップＳ１と、
第１画像と第２画像に対して特徴点抽出及び特徴マッチングを行って、マッチングペアセット、第１画像の第１非マッチングポイントセット及び第２画像の第２非マッチングポイントセットを取得するステップＳ２と、
第１非マッチングポイントセットに基づいて第１画像の第１マッチング対象領域セットを取得し、第２非マッチングポイントセットに基づいて第２画像の第２マッチング対象領域セットを取得し、前記マッチング対象領域が画像における類似の若干の非マッチングポイントにより形成された領域であるステップＳ３と、
各前記第１マッチング対象領域セットと各前記第２マッチング対象領域セットに対して特徴マッチングを逐一行って、若干のマッチング結果を取得するステップＳ４と、
前記若干のマッチング結果に基づいて組立体の変化タイプを出力するステップＳ５と、を含むことを特徴とする特徴マッチングに基づく組立体の多視点変化検出方法。
【請求項2】
前記ステップＳ２は具体的に、それぞれ第１画像及び第２画像の特徴点を抽出し、
それぞれ第１画像及び第２画像の顕著性領域を抽出し、
第１画像の顕著性領域及び第２画像の顕著性領域内の特徴点をマッチングしてマッチングペアセットを取得し、ランダムサンプルコンセンサスアルゴリズムを利用してマッチングペアセットにおける誤マッチングペアをフィルタリングし、
前記第１非マッチングポイントセットは第１画像における前記マッチングペアセットに属しないすべての特徴点を含み、前記第２非マッチングポイントセットは第２画像における前記マッチングペアセットに属しないすべての特徴点を含むことを特徴とする請求項１に記載の特徴マッチングに基づく組立体の多視点変化検出方法。
【請求項3】
前記ステップＳ３は具体的に、第１非マッチングポイントセットに対してクラスター分析を行って若干の第１非マッチングポイントクラスタを取得し、第２非マッチングポイントセットに対してクラスター分析を行って若干の第２非マッチングポイントクラスタを取得し、
それぞれ各第１非マッチングポイントクラスタ及び各第２非マッチングポイントクラスタのクラスタ境界を取得し、各第１非マッチングポイントクラスタのクラスタ境界に基づいて第１画像を分割して前記第１マッチング対象領域セットを取得し、各第２非マッチングポイントクラスタのクラスタ境界に基づいて第２画像を分割して前記第２マッチング対象領域セットを取得することを特徴とする請求項２に記載の特徴マッチングに基づく組立体の多視点変化検出方法。
【請求項4】
前記クラスタ境界を取得するステップは具体的に、凸包アルゴリズムを利用して第１非マッチングポイントクラスタ又は第２非マッチングポイントクラスタの若干の境界特徴点を選択し、前記若干の境界特徴点を接続して該第１非マッチングポイントクラスタ又は第２非マッチングポイントクラスタのクラスタ境界を取得することを特徴とする請求項３に記載の特徴マッチングに基づく組立体の多視点変化検出方法。
【請求項5】
前記ステップＳ３はクラスタ境界を最適化し、即ち、第１閾値を予め設定し、第１マッチング対象領域又は第２マッチング対象領域の領域顕著性を計算し、領域顕著性が第１閾値より大きい場合、該第１マッチング対象領域又は第２マッチング対象領域のクラスタ境界を保持し、そうでない場合、該第１マッチング対象領域又は第２マッチング対象領域のクラスタ境界を削除し、前記領域顕著性が第１閾値より大きくなるまで、凸包アルゴリズムを利用してクラスタ境界を改めて選択することを更に含むことを特徴とする請求項３に記載の特徴マッチングに基づく組立体の多視点変化検出方法。
【請求項6】
前記ステップＳ４は具体的に、第２マッチング対象領域セットからある第２マッチング対象領域を選択し、該第２マッチング対象領域と第１マッチング対象領域セットにおける各第１マッチング対象領域に対してそれぞれ特徴マッチングを行って、計算によって第２マッチング対象領域と各第１マッチング対象領域との若干のマッチング度を取得し、前記若干のマッチング度のうちの最大値が第２閾値を超える場合、該第２マッチング対象領域がマッチング度の最大値に対応する第１マッチング対象領域とマッチングすると見なし、そうでない場合、該第２マッチング対象領域がいずれか１つの第１マッチング対象領域とマッチングしないＳ４１と、
すべての第２マッチング対象領域がいずれも特徴マッチングを完了するまで、ステップＳ４１を繰り返すＳ４２と、を含むことを特徴とする請求項１に記載の特徴マッチングに基づく組立体の多視点変化検出方法。
【請求項7】
前記マッチング度Pの計算公式は、次式（数４）であり、【数4】
【請求項8】
前記ステップＳ５は具体的に、ある第２マッチング対象領域がいずれか１つの第１マッチング対象領域とマッチングしない場合には、該第２マッチング対象領域内の組立体部品が追加部品であることを示し、
ある第１マッチング対象領域がいずれか１つの第２マッチング対象領域とマッチングしない場合には、該第１マッチング対象領域内の組立体部品が削除部品であることを示し、
ある第１マッチング対象領域がある第２マッチング対象領域とマッチングする場合には、該第１マッチング対象領域及び該第２マッチング対象領域内の組立体部品が同じであって、該組立体部品が可動部品であることを示すことを特徴とする請求項１に記載の特徴マッチングに基づく組立体の多視点変化検出方法。
【請求項9】
特徴マッチングに基づく組立体の多視点変化検出装置であって、メモリ及びプロセッサを備え、前記メモリに命令が記憶され、前記命令は、プロセッサによりロードされ、且つ、第１画像と第２画像を取得し、前記第１画像が組立体の前の時刻の画像であり、前記第２画像が組立体の後の時刻の画像であるステップＳ１、
第１画像と第２画像に対して特徴点抽出及び特徴マッチングを行って、マッチングペアセット、第１画像の第１非マッチングポイントセット及び第２画像の第２非マッチングポイントセットを取得するステップＳ２、
第１非マッチングポイントセットに基づいて第１画像の第１マッチング対象領域セットを取得し、第２非マッチングポイントセットに基づいて第２画像の第２マッチング対象領域セットを取得し、前記マッチング対象領域が画像における類似の若干の非マッチングポイントにより形成された領域であるステップＳ３、
各前記第１マッチング対象領域セットと各前記第２マッチング対象領域セットに対して特徴マッチングを逐一行って、若干のマッチング結果を取得するステップＳ４、
前記若干のマッチング結果に基づいて組立体の変化タイプを出力するステップＳ５、を実行することに適することを特徴とする特徴マッチングに基づく組立体の多視点変化検出装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は特徴マッチングに基づく組立体の多視点変化検出方法及び装置に関し、画像処理分野に属する。
【背景技術】
【0002】
組立とは製品を製造する重要な生産過程であり、設計要件に応じて機械部品を組み立て接続する過程を指す。製品タイプの変化に伴い、組立難度は増加することとなる。複雑な機械製品の組立過程において、組立過程におけるエラー（例えば、組立順序エラー、組立漏れ、組立エラー等）をタイムリーに検出できないと、機械製品の組立効率及び耐用年数に直接影響してしまう。従って、機械的組立体の変化状態を検出して、組立過程におけるエラーをタイムリーに発見する必要がある。
【0003】
従来技術例えば特許公開第ＣＮ１０９８１６０４９Ａ号の「深層学習に基づく組立監視方法、装置及び可読記憶媒体」において、深層学習モデルを構築して訓練し、深層学習モデルは画素色で異なる部品を示す物理的組立体の画素分割画像を出力して、物理的組立体の各部品を識別する。該特許は、組立体の各部品を識別して、組立ステップ、各部品に組立エラーが生じるかどうか及びエラータイプを監視することができる。しかしながら、深層学習モデルは大量の訓練セットを収集する必要があり、且つ必要な訓練時間が長く、計算量が大きく、実行装置のハードウェアへの要件が比較的高い。
【0004】
従来技術例えば特許公開第ＣＮ１０６８９７９９５Ａ号の「機械組立過程向けの部品の自動識別方法」において、部品組立シーケンスライブラリにおける組み立てようとする部品特徴と分散環境における部品の山の画像特徴に対してレジストレーション識別を行って、部品の自動識別を実現する。該特許は組立過程における組立エラー及び組立エラータイプの識別を実現することができない。
【発明の概要】
【発明が解決しようとする課題】
【0005】
上記従来技術の問題を解決するために、本発明は特徴マッチングに基づく組立体の多視点変化検出方法を提供し、画像における変化領域を識別することにより組立体の変化タイプを判断し、組立過程におけるエラーをタイムリーに発見することができ、それにより製品の不合格率を低減し、製品の生産サイクルを短縮する。
【課題を解決するための手段】
【0006】
本発明の技術案は以下のとおりである。
【0007】
技術案１
特徴マッチングに基づく組立体の多視点変化検出方法であって、
第１画像と第２画像を取得し、前記第１画像が組立体の前の時刻の画像であり、前記第２画像が組立体の後の時刻の画像であるステップＳ１と、
第１画像と第２画像に対して特徴点抽出及び特徴マッチングを行って、マッチングペアセット、第１画像の第１非マッチングポイントセット及び第２画像の第２非マッチングポイントセットを取得するステップＳ２と、
第１非マッチングポイントセットに基づいて第１画像の第１マッチング対象領域セットを取得し、第２非マッチングポイントセットに基づいて第２画像の第２マッチング対象領域セットを取得し、前記マッチング対象領域が画像における類似の若干の非マッチングポイントにより形成された領域であるステップＳ３と、
前記各第１未マッチング領域と前記各第２未マッチング領域に対して特徴マッチングを逐一行って、若干のマッチング結果を取得するステップＳ４と、
前記若干のマッチング結果に基づいて組立体の変化タイプを出力するステップＳ５と、を含む。
特徴マッチングに基づく組立体の多視点変化検出方法であって、
第１画像と第２画像を取得し、前記第１画像が組立体の前の時刻の画像であり、前記第２画像が組立体の後の時刻の画像であるステップＳ１と、
第１画像と第２画像に対して特徴点抽出及び特徴マッチングを行って、マッチングペアセット、第１画像の第１非マッチングポイントセット及び第２画像の第２非マッチングポイントセットを取得するステップＳ２と、
第１非マッチングポイントセットに基づいて第１画像の第１マッチング対象領域セットを取得し、第２非マッチングポイントセットに基づいて第２画像の第２マッチング対象領域セットを取得し、前記マッチング対象領域が画像における類似の若干の非マッチングポイントにより形成された領域であるステップＳ３と、
前記各第１未マッチング領域と前記各第２未マッチング領域に対して特徴マッチングを逐一行って、若干のマッチング結果を取得するステップＳ４と、
前記若干のマッチング結果に基づいて組立体の変化タイプを出力するステップＳ５と、を含む。
【0008】
更に、前記ステップＳ２は具体的に、
それぞれ第１画像及び第２画像の特徴点を抽出し、
それぞれ第１画像及び第２画像の顕著性領域を抽出し、
特徴点の局所勾配情報に基づいて第１画像の顕著性領域及び第２画像の顕著性領域内の特徴点をマッチングしてマッチングペアセットを取得し、ランダムサンプルコンセンサスアルゴリズムを利用してマッチングペアセットにおける誤マッチングペアをフィルタリングし、
前記第１非マッチングポイントセットは第１画像におけるマッチングペアセットに属しないすべての特徴点を含み、前記第２非マッチングポイントセットは第２画像におけるマッチングペアセットに属しないすべての特徴点を含む。
それぞれ第１画像及び第２画像の特徴点を抽出し、
それぞれ第１画像及び第２画像の顕著性領域を抽出し、
特徴点の局所勾配情報に基づいて第１画像の顕著性領域及び第２画像の顕著性領域内の特徴点をマッチングしてマッチングペアセットを取得し、ランダムサンプルコンセンサスアルゴリズムを利用してマッチングペアセットにおける誤マッチングペアをフィルタリングし、
前記第１非マッチングポイントセットは第１画像におけるマッチングペアセットに属しないすべての特徴点を含み、前記第２非マッチングポイントセットは第２画像におけるマッチングペアセットに属しないすべての特徴点を含む。
【0009】
更に、前記ステップＳ３は具体的に、
第１非マッチングポイントセットに対してクラスター分析を行って若干の第１非マッチングポイントクラスタを取得し、第２非マッチングポイントセットに対してクラスター分析を行って若干の第２非マッチングポイントクラスタを取得し、
それぞれ各第１非マッチングポイントクラスタ及び各第２非マッチングポイントクラスタのクラスタ境界を取得し、各第１非マッチングポイントクラスタのクラスタ境界に基づいて第１画像を分割して前記第１マッチング対象領域セットを取得し、各第２非マッチングポイントクラスタのクラスタ境界に基づいて第２画像を分割して前記第２マッチング対象領域セットを取得する。
第１非マッチングポイントセットに対してクラスター分析を行って若干の第１非マッチングポイントクラスタを取得し、第２非マッチングポイントセットに対してクラスター分析を行って若干の第２非マッチングポイントクラスタを取得し、
それぞれ各第１非マッチングポイントクラスタ及び各第２非マッチングポイントクラスタのクラスタ境界を取得し、各第１非マッチングポイントクラスタのクラスタ境界に基づいて第１画像を分割して前記第１マッチング対象領域セットを取得し、各第２非マッチングポイントクラスタのクラスタ境界に基づいて第２画像を分割して前記第２マッチング対象領域セットを取得する。
【0010】
更に、前記クラスタ境界を取得するステップは具体的に、
凸包アルゴリズムを利用して非マッチングポイントクラスタの若干の境界特徴点を選択し、前記若干の境界特徴点を接続して該非マッチングポイントクラスタのクラスタ境界を取得する。
凸包アルゴリズムを利用して非マッチングポイントクラスタの若干の境界特徴点を選択し、前記若干の境界特徴点を接続して該非マッチングポイントクラスタのクラスタ境界を取得する。
【0011】
更に、前記ステップＳ３はクラスタ境界を最適化し、即ち、
第１閾値を予め設定し、各マッチング対象領域の領域顕著性を計算し、領域顕著性が第１閾値より大きい場合、該マッチング対象領域のクラスタ境界を保持し、そうでない場合、該マッチング対象領域のクラスタ境界を削除し、クラスタ境界内のマッチング対象領域の領域顕著性が第１閾値より大きくなるまで、凸包アルゴリズムを利用してクラスタ境界を改めて選択することを更に含む。
第１閾値を予め設定し、各マッチング対象領域の領域顕著性を計算し、領域顕著性が第１閾値より大きい場合、該マッチング対象領域のクラスタ境界を保持し、そうでない場合、該マッチング対象領域のクラスタ境界を削除し、クラスタ境界内のマッチング対象領域の領域顕著性が第１閾値より大きくなるまで、凸包アルゴリズムを利用してクラスタ境界を改めて選択することを更に含む。
【0012】
更に、前記ステップＳ４は具体的に、
第２マッチング対象領域セットからある第２マッチング対象領域を選択し、該第２マッチング対象領域と第１マッチング対象領域セットにおける各第１マッチング対象領域に対してそれぞれ特徴マッチングを行って、計算によって第２マッチング対象領域と各第１マッチング対象領域との若干のマッチング度を取得し、前記若干のマッチング度のうちの最大値が第２閾値を超える場合、該第２マッチング対象領域がマッチング度の最大値に対応する第１マッチング対象領域とマッチングすると見なし、そうでない場合、該第２マッチング対象領域がいずれか１つの第１マッチング対象領域とマッチングしないＳ４１と、
すべての第２マッチング対象領域がいずれも特徴マッチングを完了するまで、ステップＳ４１を繰り返すＳ４２と、を含む。
第２マッチング対象領域セットからある第２マッチング対象領域を選択し、該第２マッチング対象領域と第１マッチング対象領域セットにおける各第１マッチング対象領域に対してそれぞれ特徴マッチングを行って、計算によって第２マッチング対象領域と各第１マッチング対象領域との若干のマッチング度を取得し、前記若干のマッチング度のうちの最大値が第２閾値を超える場合、該第２マッチング対象領域がマッチング度の最大値に対応する第１マッチング対象領域とマッチングすると見なし、そうでない場合、該第２マッチング対象領域がいずれか１つの第１マッチング対象領域とマッチングしないＳ４１と、
すべての第２マッチング対象領域がいずれも特徴マッチングを完了するまで、ステップＳ４１を繰り返すＳ４２と、を含む。
【0013】
更に、前記マッチング度Pの計算公式は、次式（数１）であり、ここで、Ｔが第１マッチング対象領域と第２マッチング対象領域とのマッチングペアの数を示し、Ａが第１マッチング対象領域内の特徴点数を示し、Ｂが第２マッチング対象領域内の特徴点数を示す。
【0014】
【数1】
【0015】
更に、前記ステップＳ５は具体的に、
ある第２マッチング対象領域がいずれか１つの第１マッチング対象領域とマッチングしない場合には、該第２マッチング対象領域内の組立体部品が追加部品であることを示し、
ある第１マッチング対象領域がいずれか１つの第２マッチング対象領域とマッチングしない場合には、該第１マッチング対象領域内の組立体部品が削除部品であることを示し、
ある第１マッチング対象領域がある第２マッチング対象領域とマッチングする場合には、該第１マッチング対象領域及び該第２マッチング対象領域内の組立体部品が同じであって、該組立体部品が可動部品であることを示す。
ある第２マッチング対象領域がいずれか１つの第１マッチング対象領域とマッチングしない場合には、該第２マッチング対象領域内の組立体部品が追加部品であることを示し、
ある第１マッチング対象領域がいずれか１つの第２マッチング対象領域とマッチングしない場合には、該第１マッチング対象領域内の組立体部品が削除部品であることを示し、
ある第１マッチング対象領域がある第２マッチング対象領域とマッチングする場合には、該第１マッチング対象領域及び該第２マッチング対象領域内の組立体部品が同じであって、該組立体部品が可動部品であることを示す。
【0016】
技術案２
特徴マッチングに基づく組立体の多視点変化検出方法であって、メモリ及びプロセッサを備え、前記メモリに命令が記憶され、前記命令は、プロセッサによりロードされ、且つ、
第１画像と第２画像を取得し、前記第１画像が組立体の前の時刻の画像であり、前記第２画像が組立体の後の時刻の画像であるステップＳ１、
第１画像と第２画像に対して特徴点抽出及び特徴マッチングを行って、マッチングペアセット、第１画像の第１非マッチングポイントセット及び第２画像の第２非マッチングポイントセットを取得するステップＳ２、
第１非マッチングポイントセットに基づいて第１画像の第１マッチング対象領域セットを取得し、第２非マッチングポイントセットに基づいて第２画像の第２マッチング対象領域セットを取得し、前記マッチング対象領域が画像における類似の若干の非マッチングポイントにより形成された領域であるステップＳ３、
前記各第１未マッチング領域と前記各第２未マッチング領域に対して特徴マッチングを逐一行って、若干のマッチング結果を取得するステップＳ４、
前記若干のマッチング結果に基づいて組立体の変化タイプを出力するステップＳ５、を実行することに適する。
特徴マッチングに基づく組立体の多視点変化検出方法であって、メモリ及びプロセッサを備え、前記メモリに命令が記憶され、前記命令は、プロセッサによりロードされ、且つ、
第１画像と第２画像を取得し、前記第１画像が組立体の前の時刻の画像であり、前記第２画像が組立体の後の時刻の画像であるステップＳ１、
第１画像と第２画像に対して特徴点抽出及び特徴マッチングを行って、マッチングペアセット、第１画像の第１非マッチングポイントセット及び第２画像の第２非マッチングポイントセットを取得するステップＳ２、
第１非マッチングポイントセットに基づいて第１画像の第１マッチング対象領域セットを取得し、第２非マッチングポイントセットに基づいて第２画像の第２マッチング対象領域セットを取得し、前記マッチング対象領域が画像における類似の若干の非マッチングポイントにより形成された領域であるステップＳ３、
前記各第１未マッチング領域と前記各第２未マッチング領域に対して特徴マッチングを逐一行って、若干のマッチング結果を取得するステップＳ４、
前記若干のマッチング結果に基づいて組立体の変化タイプを出力するステップＳ５、を実行することに適する。
【発明の効果】
【0017】
本発明は以下の有益な効果を有する。
【0018】
第１としては、本発明は、異なる視点での異なる組立過程における組立体画像を取得し、画像における変化領域（即ち、マッチング対象領域）を識別することにより組立体の変化タイプを判断し、組立過程におけるエラーをタイムリーに発見することができ、それにより製品の不合格率を低減し、製品の生産サイクルを短縮する。
【0019】
第２としては、本発明は、異なる視点での組立体画像に対して特徴点抽出及び特徴マッチングを行ってマッチング対象領域を取得し、マッチング対象領域に対して特徴マッチングを行うことにより組立エラータイプの識別を実現し、部品の増減及び移動を正確に判断することができ、必要な計算量及び時間がいずれも深層学習方法（深層学習方法は畳み込み計算を複数回行う必要がある）より少なく、リアルタイム性が高く、変化領域タイプを正確に識別して変化領域の画像での位置を決定することができる。且つ、顕著性領域内の特徴点のみに対して特徴マッチングを行い、画像背景の画像マッチングへの干渉を効果的に低減し、マッチング正確度を向上させることができる。
【0020】
第３としては、本発明は、領域顕著性を計算することによりクラスタ境界を最適化し、過分割の状況を効果的に低減し、変化領域の識別精度を向上させる。
【図面の簡単な説明】
【0021】
【発明を実施するための形態】
【0022】
以下、図面を参照しながら具体的な実施例によって本発明を詳しく説明する。
【0023】
実施例１
特徴マッチングに基づく組立体の多視点変化検出方法は以下のステップを含む。
特徴マッチングに基づく組立体の多視点変化検出方法は以下のステップを含む。
【0024】
Ｓ１、第１画像と第２画像を取得し、前記第１画像が組立体の前の時刻の画像であり、前記第２画像が組立体の後の時刻の画像である。本実施例では、第１画像と第２画像における組立体の撮影視点が異なる（即ち、カメラと組立体の角度が異なる）。
【0025】
Ｓ２、ＳＩＦＴアルゴリズムを用いて第１画像と第２画像に対して特徴点抽出及び特徴マッチング（ＳＩＦＴアルゴリズム、Ｓｃａｌｅ Ｉｎｖａｒｉａｎｔ Ｆｅａｔｕｒｅ Ｔｒａｎｓｆｏｒｍ、スケール不変特徴変換）を行って、マッチングペアセット、第１画像の第１非マッチングポイントセット及び第２画像の第２非マッチングポイントセットを取得し、前記非マッチングポイントが画像における他の画像特徴点とマッチングしない特徴点であり、具体的には、
Ｓ２１、それぞれ第１画像及び第２画像の特徴点を抽出し、
Ｓ２２、それぞれ第１画像及び第２画像の顕著性領域を抽出し、
Ｓ２３、特徴点の局所勾配情報に基づいて第１画像の顕著性領域と第２画像の顕著性領域内の特徴点をマッチングして、マッチングペアセットを取得し、
Ｓ２４、ランダムサンプルコンセンサスアルゴリズム（ＲＡＮＳＡＣアルゴリズム）を利用してマッチングペアセットの誤マッチングペア（マッチングペアセットが第１画像と第２画像における変化しない領域を示す）をフィルタリングし、第１画像におけるマッチングペアセットに属しないすべての特徴点は第１非マッチングポイントセットを構成し、第２画像における第２マッチングペアセットに属しないすべての特徴点は第２非マッチングポイントセットを構成する。
Ｓ２１、それぞれ第１画像及び第２画像の特徴点を抽出し、
Ｓ２２、それぞれ第１画像及び第２画像の顕著性領域を抽出し、
Ｓ２３、特徴点の局所勾配情報に基づいて第１画像の顕著性領域と第２画像の顕著性領域内の特徴点をマッチングして、マッチングペアセットを取得し、
Ｓ２４、ランダムサンプルコンセンサスアルゴリズム（ＲＡＮＳＡＣアルゴリズム）を利用してマッチングペアセットの誤マッチングペア（マッチングペアセットが第１画像と第２画像における変化しない領域を示す）をフィルタリングし、第１画像におけるマッチングペアセットに属しないすべての特徴点は第１非マッチングポイントセットを構成し、第２画像における第２マッチングペアセットに属しないすべての特徴点は第２非マッチングポイントセットを構成する。
【0026】
Ｓ３、第１非マッチングポイントセットに基づいて第１画像の第１マッチング対象領域セットを取得する。第２非マッチングポイントセットに基づいて第２画像の第２マッチング対象領域セットを取得する。前記マッチング対象領域が画像における類似の若干の非マッチングポイントにより形成された領域である。
【0027】
Ｓ４、前記各第１未マッチング領域と前記各第２未マッチング領域に対して特徴マッチングを逐一行って、若干のマッチング結果を取得する。ここで、ステップＳ２において取得された特徴点（マッチングペアと非マッチングポイントを含む）を直接利用して特徴マッチングを行う。未マッチング領域が分割画像により取得される場合、未マッチング領域内の特徴点の座標位置が変化し、従って、ステップＳ３においてマッチングペアを形成しない２つの非マッチングポイント（例えば、可動部品の特徴点）はステップＳ４においてマッチングペアを形成する可能性がある。
【0028】
Ｓ５、前記若干のマッチング結果に基づいて組立体の変化タイプを出力し、即ち、
ある第２マッチング対象領域がいずれか１つの第１マッチング対象領域とマッチングしない場合には、該第２マッチング対象領域内の組立体部品が追加部品であることを示し、
ある第１マッチング対象領域がいずれか１つの第２マッチング対象領域とマッチングしない場合には、該第１マッチング対象領域内の組立体部品が削除部品であることを示し、
ある第１マッチング対象領域がある第２マッチング対象領域とマッチングする場合には、該第１マッチング対象領域及び該第２マッチング対象領域内の組立体部品が同じであって、該組立体部品が可動部品であることを示す。
ある第２マッチング対象領域がいずれか１つの第１マッチング対象領域とマッチングしない場合には、該第２マッチング対象領域内の組立体部品が追加部品であることを示し、
ある第１マッチング対象領域がいずれか１つの第２マッチング対象領域とマッチングしない場合には、該第１マッチング対象領域内の組立体部品が削除部品であることを示し、
ある第１マッチング対象領域がある第２マッチング対象領域とマッチングする場合には、該第１マッチング対象領域及び該第２マッチング対象領域内の組立体部品が同じであって、該組立体部品が可動部品であることを示す。
【0029】
本実施例の有益な効果は以下のとおりである。
【0030】
異なる視点での異なる組立過程における組立体の画像を取得し、画像における変化領域（即ち、マッチング対象領域）を識別することにより組立体の変化タイプを判断し、組立過程におけるエラーをタイムリーに発見することができ、それにより製品の不合格率を低減し、製品の生産サイクルを短縮する。
【0031】
ＳＩＦＴアルゴリズムを利用して異なる視点での組立体画像に対して特徴点抽出及び特徴マッチングを行ってマッチング対象領域を取得し、マッチング対象領域に対して特徴マッチングを行うことにより組立エラータイプの識別を実現し、部品の増減及び移動を正確に判断することができ、必要な計算量及び時間がいずれも深層学習方法（深層学習方法は畳み込み計算を複数回行う必要がある）より少なく、リアルタイム性が高く、変化領域タイプを正確に識別して変化領域の画像での位置を決定することができる。且つ、顕著性領域内の特徴点のみに対して特徴マッチングを行い、画像背景の画像マッチングへの干渉を効果的に低減し、マッチング正確度を向上させることができる。
【0032】
実施例２
更に、前記ステップＳ３は具体的に、
Ｋ平均クラスタリングアルゴリズム（Ｋ－Ｍｅａｎｓアルゴリズム）又は他のクラスタリングアルゴリズムを利用して第１非マッチングポイントセットに対してクラスター分析を行って、類似の非マッチングポイントを同一クラスタに分割して、若干の第１非マッチングポイントクラスタを取得し、第２非マッチングポイントセットに対してクラスター分析を行って、類似の非マッチングポイントを同一クラスタに分割して、若干の第２非マッチングポイントクラスタを取得する。
更に、前記ステップＳ３は具体的に、
Ｋ平均クラスタリングアルゴリズム（Ｋ－Ｍｅａｎｓアルゴリズム）又は他のクラスタリングアルゴリズムを利用して第１非マッチングポイントセットに対してクラスター分析を行って、類似の非マッチングポイントを同一クラスタに分割して、若干の第１非マッチングポイントクラスタを取得し、第２非マッチングポイントセットに対してクラスター分析を行って、類似の非マッチングポイントを同一クラスタに分割して、若干の第２非マッチングポイントクラスタを取得する。
【0033】
例えば、第１非マッチングポイントセットにおけるＫ個の非マッチングポイントを質量中心としてランダムに選択し、第１非マッチングポイントセットにおける各非マッチングポイントから各質量中心までのユークリッド距離を計算する。ユークリッド距離が小さければ小さいほど、非マッチングポイントと質量中心の類似度が高くなる。各非マッチングポイントをそのユークリッド距離の最も小さい質量中心の位置するクラスタに順に分割して、該非マッチングポイントの位置するクラスタの質量中心を該クラスタにおけるすべての非マッチングポイントの平均値に更新する。すべての非マッチングポイントの分割が完了した後に質量中心の誤差が許容範囲を超える場合、すべての非マッチングポイントの分割が完了した後に質量中心の誤差が許容範囲内になるまでクラスター分析を改めて行うように、Ｋ個の非マッチングポイントを質量中心として改めて選択する。
【0034】
凸包アルゴリズムを利用して非マッチングポイントクラスタの若干の境界特徴点を選択し、前記若干の境界特徴点を接続して該非マッチングポイントクラスタのクラスタ境界を取得する。すべての非マッチングポイントクラスタのクラスタ境界を取得するまで、該ステップを繰り返す。クラスタ境界の包囲領域はマッチング対象領域である。
【0035】
第１閾値を予め設定し（本実施例では、第１閾値を０．６として設定する）、各マッチング対象領域の領域顕著性を計算し、領域顕著性が第１閾値より大きい場合、該マッチング対象領域のクラスタ境界を保持し、そうでない場合、該クラスタ境界を削除し、領域顕著性が第１閾値より大きくなるまで、凸包アルゴリズムを利用してクラスタ境界を改めて選択する。前記領域顕著性の計算公式は、次式（数２）であり、ここで、Ｓσが領域寸法と画像寸法の比を示し、Ｓπが領域の突出程度を示し、Ｓβが領域に対応するクラスタ境界の強度を示し、ωσ、ωπ及びωβがいずれも重みを示し、ωσ＋ωπ＋ωβ＝１である。
【0036】
【数2】
【0037】
各第１非マッチングポイントクラスタのクラスタ境界に基づいて第１画像を分割して前記第１マッチング対象領域セットを取得し、各第２非マッチングポイントクラスタのクラスタ境界に基づいて第２画像を分割して前記第２マッチング対象領域セットを取得する。
【0038】
本実施例の進歩性は、領域顕著性を計算することによりクラスタ境界を最適化し、過分割の状況を効果的に低減し、変化領域の識別精度を向上させることにある。
【0039】
実施例３
ステップＳ３において、Ｍ個の第１マッチング対象領域を含む第１マッチング対象領域セットとＮ個の第２マッチング対象領域を含む第２マッチング対象領域セットを取得すると仮定する。
ステップＳ３において、Ｍ個の第１マッチング対象領域を含む第１マッチング対象領域セットとＮ個の第２マッチング対象領域を含む第２マッチング対象領域セットを取得すると仮定する。
【0040】
図１０に示すように、前記ステップＳ４は具体的に以下のとおりである。
【0041】
Ｓ４１、第２マッチング対象領域セットから領域ｋを選択し、領域ｋとｎ個の第１マッチング対象領域に対してそれぞれ特徴マッチングを行って、マッチング度Ｐを次式（数３）の通り計算し、ここで、Ｔが第１マッチング対象領域と第２マッチング対象領域とのマッチングペアの数を示し、Ａが第１マッチング対象領域内の特徴点数を示し、Ｂが第２マッチング対象領域内の特徴点数を示す。Ｐの値が大きければ大きいほど、第１マッチング対象領域と第２マッチング対象領域とのマッチングペアの数が多くなり、類似度が高くなることが説明される。
【0042】
【数3】
【0043】
前記若干のマッチング度のうちの最大値Ｐｋｍａｘが第２閾値（本実施例では、第２閾値が０．８である）を超える場合、領域ｋがマッチング度の最大値に対応する第１マッチング対象領域とマッチングすると見なし、領域ｋ内の部品が移動することを示し、そうでない場合、領域ｋがいずれか１つの第１マッチング対象領域とマッチングせず、領域ｋ内の部品が追加されるものであることを示す。
【0044】
Ｓ４２、すべての第２マッチング対象領域がいずれも特徴マッチングを完了するまで、ステップＳ４１を繰り返せば、各第１未マッチング領域と各第２未マッチング領域とのマッチング結果を取得する。
【0045】
実施例４
Ｓ１、機械的組立体の三次元モデルを構築して、機械的組立体の三次元モデルを奥行き画像イメージングソフトウェアにロードし、仮想ビデオカメラが異なる組立状態にある組立体を撮影するように設定して（図２及び図３参照）、第１画像（図４参照）と第２画像（図５参照）を取得する。図４は組立体の前の時刻の画像であり、図５は組立体の後の時刻の画像である。
Ｓ１、機械的組立体の三次元モデルを構築して、機械的組立体の三次元モデルを奥行き画像イメージングソフトウェアにロードし、仮想ビデオカメラが異なる組立状態にある組立体を撮影するように設定して（図２及び図３参照）、第１画像（図４参照）と第２画像（図５参照）を取得する。図４は組立体の前の時刻の画像であり、図５は組立体の後の時刻の画像である。
【0046】
Ｓ２、第１画像と第２画像に対して特徴点抽出及び特徴マッチングを行って、マッチングペアセット、第１非マッチングポイントセット及び第２非マッチングポイントセットを取得する。第１画像の特徴点は図６に示され、第２画像の特徴点は図７に示される。
【0047】
Ｓ３、第１非マッチングポイントセット及び第２非マッチングポイントセットに基づいて第１マッチング対象領域セット及び第２マッチング対象領域セットを取得し、前記マッチング対象領域が画像における類似の若干の非マッチングポイントにより形成された領域である。本実施例では、１つの第１マッチング対象領域（第１マッチング対象領域の位置は図８におけるブロック１０１で示される位置である）と１つの第２マッチング対象領域（第２マッチング対象領域の位置は図９におけるブロック１０２で示される位置である）を取得する。
【0048】
Ｓ４、第１未マッチング領域と第２未マッチング領域に対して特徴マッチングを行って取得したマッチング結果は第１未マッチング領域が第２未マッチング領域とマッチングしない場合、組立体の変化タイプを組立体における追加部品として出力し、追加部品を第２未マッチング領域に位置させる。
【0049】
実施例５
特徴マッチングに基づく組立体の多視点変化検出装置であって、メモリ及びプロセッサを備え、前記メモリに命令が記憶され、前記命令は、プロセッサによりロードされ、且つ、
第１画像と第２画像を取得し、前記第１画像が組立体の前の時刻の画像であり、前記第２画像が組立体の後の時刻の画像であるステップＳ１、
第１画像と第２画像に対して特徴点抽出及び特徴マッチングを行って、マッチングペアセット、第１画像の第１非マッチングポイントセット及び第２画像の第２非マッチングポイントセットを取得するステップＳ２、
第１非マッチングポイントセットに基づいて第１画像の第１マッチング対象領域セットを取得し、第２非マッチングポイントセットに基づいて第２画像の第２マッチング対象領域セットを取得し、前記マッチング対象領域が画像における類似の若干の非マッチングポイントにより形成された領域であるステップＳ３、
前記各第１未マッチング領域と前記各第２未マッチング領域に対して特徴マッチングを逐一行って、若干のマッチング結果を取得するステップＳ４、
前記若干のマッチング結果に基づいて組立体の変化タイプを出力するステップＳ５、を実行することに適する。
特徴マッチングに基づく組立体の多視点変化検出装置であって、メモリ及びプロセッサを備え、前記メモリに命令が記憶され、前記命令は、プロセッサによりロードされ、且つ、
第１画像と第２画像を取得し、前記第１画像が組立体の前の時刻の画像であり、前記第２画像が組立体の後の時刻の画像であるステップＳ１、
第１画像と第２画像に対して特徴点抽出及び特徴マッチングを行って、マッチングペアセット、第１画像の第１非マッチングポイントセット及び第２画像の第２非マッチングポイントセットを取得するステップＳ２、
第１非マッチングポイントセットに基づいて第１画像の第１マッチング対象領域セットを取得し、第２非マッチングポイントセットに基づいて第２画像の第２マッチング対象領域セットを取得し、前記マッチング対象領域が画像における類似の若干の非マッチングポイントにより形成された領域であるステップＳ３、
前記各第１未マッチング領域と前記各第２未マッチング領域に対して特徴マッチングを逐一行って、若干のマッチング結果を取得するステップＳ４、
前記若干のマッチング結果に基づいて組立体の変化タイプを出力するステップＳ５、を実行することに適する。
【0050】
以上は本発明の実施例であって、本発明の保護範囲を制限するものではない。本発明の明細書及び図面の内容に基づいて行われたいかなる等価構造や等価プロセスの変換、又は他の関連技術分野に直接又は間接的に応用されるものは、いずれも同様に本発明の保護範囲内に含まれる。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
