ホーム > 特許ランキング > ブラザー工業株式会社
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024109358
(43)【公開日】2024-08-14
(54)【発明の名称】プログラム、および、画像処理装置
(51)【国際特許分類】
G06T 7/00 20170101AFI20240806BHJP
H04N 23/60 20230101ALI20240806BHJP
【ＦＩ】
G06T7/00 610C
H04N23/60 500
【審査請求】未請求
【請求項の数】11
【出願形態】ＯＬ
(21)【出願番号】P 2023014105
(22)【出願日】2023-02-01
(71)【出願人】
【識別番号】000005267
【氏名又は名称】ブラザー工業株式会社
(74)【代理人】
【識別番号】110001058
【氏名又は名称】鳳国際弁理士法人
(72)【発明者】
【氏名】近藤 真樹
【テーマコード（参考）】
5C122
5L096
【Ｆターム（参考）】
5C122DA12
5C122EA06
5C122FH04
5C122FH07
5C122FH11
5C122FH14
5C122FH16
5C122GC07
5C122HA13
5C122HA35
5C122HA88
5C122HB01
5C122HB10
5L096AA02
5L096AA06
5L096BA03
5L096EA03
5L096EA16
5L096FA06
5L096FA09
5L096FA22
5L096FA32
5L096FA64
5L096FA66
5L096FA67
5L096FA69
5L096GA19
(57)【要約】
【課題】 オブジェクトが異常を有するか否かを判断する。
【解決手段】
二次元撮影画像と正常な特定面を表す二次元正常画像との間のキーポイントマッチングの結果に従ってホモグラフィ変換を行うことによって、変換済画像を生成する。変換済画像を使用して、対象オブジェクトの特定面が異常を有するか否かを判断する。あるいは、二次元撮影画像と、正常な特定面を表す二次元正常画像と、を比較して、対象オブジェクトの特定面が異常を有するか否かを判断する異常判断処理を実行する。異常判断処理では、二次元撮影画像のＮ個の第１種部分画像と二次元正常画像のＮ個の第２種部分画像とのキーポイントマッチングのＮ個の結果に従ってＮ個のホモグラフィ行列が算出され、Ｎ個のホモグラフィ行列を使用して、対象オブジェクトの特定面が異常を有するか否かが判断される。
【選択図】 図１
【解決手段】
二次元撮影画像と正常な特定面を表す二次元正常画像との間のキーポイントマッチングの結果に従ってホモグラフィ変換を行うことによって、変換済画像を生成する。変換済画像を使用して、対象オブジェクトの特定面が異常を有するか否かを判断する。あるいは、二次元撮影画像と、正常な特定面を表す二次元正常画像と、を比較して、対象オブジェクトの特定面が異常を有するか否かを判断する異常判断処理を実行する。異常判断処理では、二次元撮影画像のＮ個の第１種部分画像と二次元正常画像のＮ個の第２種部分画像とのキーポイントマッチングのＮ個の結果に従ってＮ個のホモグラフィ行列が算出され、Ｎ個のホモグラフィ行列を使用して、対象オブジェクトの特定面が異常を有するか否かが判断される。
【選択図】 図１
【特許請求の範囲】
【請求項1】
プログラムであって、
対象オブジェクトの特定面の二次元撮影画像を取得する撮影画像取得機能と、
前記二次元撮影画像と、正常な特定面を表す二次元正常画像と、の間のキーポイントマッチングを行う機能と、
前記二次元撮影画像と前記二次元正常画像とのいずれかである第１画像に対して、前記キーポイントマッチングの結果に従ってホモグラフィ変換を行うことによって、変換済画像を生成する機能と、
前記二次元撮影画像と前記二次元正常画像とのうちの前記第１画像とは異なる第２画像と、前記変換済画像と、を比較して、前記対象オブジェクトの前記特定面が異常を有するか否かを判断する第１異常判断処理を実行する機能と、
をコンピュータに実現させる、プログラム。
対象オブジェクトの特定面の二次元撮影画像を取得する撮影画像取得機能と、
前記二次元撮影画像と、正常な特定面を表す二次元正常画像と、の間のキーポイントマッチングを行う機能と、
前記二次元撮影画像と前記二次元正常画像とのいずれかである第１画像に対して、前記キーポイントマッチングの結果に従ってホモグラフィ変換を行うことによって、変換済画像を生成する機能と、
前記二次元撮影画像と前記二次元正常画像とのうちの前記第１画像とは異なる第２画像と、前記変換済画像と、を比較して、前記対象オブジェクトの前記特定面が異常を有するか否かを判断する第１異常判断処理を実行する機能と、
をコンピュータに実現させる、プログラム。
【請求項2】
請求項１に記載のプログラムであって、
前記第１異常判断処理は、
前記変換済画像によって表される特定面である第１種特定面のうちの互いに異なる部分を含むＮ個（Ｎは２以上の整数）の第１種部分画像を、前記変換済画像から取得する第１種取得処理と、
互いに対応付けられる第１種部分画像と第２種部分画像とのＮ個の組み合わせのそれぞれのキーポイントマッチングを行うマッチング処理であって、前記Ｎ個の組み合わせを形成するＮ個の第２種部分画像は、前記第２画像によって表される特定面である第２種特定面のうちの互いに異なる部分を含み、前記第２種部分画像に含まれる前記第２種特定面の部分は、前記第２種部分画像に対応付けられる前記第１種部分画像に含まれる前記第１種特定面の部分と共通する部分を含む、前記マッチング処理と、
前記キーポイントマッチングのＮ個の結果に従ってＮ個のホモグラフィ行列を算出する処理と、
前記Ｎ個のホモグラフィ行列のそれぞれと単位行列との間の差異の程度を算出する処理と、
Ｎ個の差異の程度のそれぞれと、差異の程度の基準と、を比較することによって、前記対象オブジェクトの前記特定面が異常を有するか否かを判断する処理と、
を含む、プログラム。
前記第１異常判断処理は、
前記変換済画像によって表される特定面である第１種特定面のうちの互いに異なる部分を含むＮ個（Ｎは２以上の整数）の第１種部分画像を、前記変換済画像から取得する第１種取得処理と、
互いに対応付けられる第１種部分画像と第２種部分画像とのＮ個の組み合わせのそれぞれのキーポイントマッチングを行うマッチング処理であって、前記Ｎ個の組み合わせを形成するＮ個の第２種部分画像は、前記第２画像によって表される特定面である第２種特定面のうちの互いに異なる部分を含み、前記第２種部分画像に含まれる前記第２種特定面の部分は、前記第２種部分画像に対応付けられる前記第１種部分画像に含まれる前記第１種特定面の部分と共通する部分を含む、前記マッチング処理と、
前記キーポイントマッチングのＮ個の結果に従ってＮ個のホモグラフィ行列を算出する処理と、
前記Ｎ個のホモグラフィ行列のそれぞれと単位行列との間の差異の程度を算出する処理と、
Ｎ個の差異の程度のそれぞれと、差異の程度の基準と、を比較することによって、前記対象オブジェクトの前記特定面が異常を有するか否かを判断する処理と、
を含む、プログラム。
【請求項3】
請求項２に記載のプログラムであって、
前記Ｎ個の第１種部分画像は、１以上の他の第１種部分画像と部分的に重なる第１種部分画像であるＱ個（Ｑは、２以上、Ｎ以下の整数）の第１種重畳部分画像を含み、
前記第１種重畳部分画像に対応付けられる第２種部分画像である第２種重畳部分画像は、１以上の他の第２種部分画像と部分的に重なっており、
前記第２種重畳部分画像に部分的に重なる前記１以上の他の第２種部分画像は、前記第２種重畳部分画像に対応付けられる前記第１種重畳部分画像に部分的に重なる１以上の他の第１種部分画像に、それぞれ対応付けられている、
プログラム。
前記Ｎ個の第１種部分画像は、１以上の他の第１種部分画像と部分的に重なる第１種部分画像であるＱ個（Ｑは、２以上、Ｎ以下の整数）の第１種重畳部分画像を含み、
前記第１種重畳部分画像に対応付けられる第２種部分画像である第２種重畳部分画像は、１以上の他の第２種部分画像と部分的に重なっており、
前記第２種重畳部分画像に部分的に重なる前記１以上の他の第２種部分画像は、前記第２種重畳部分画像に対応付けられる前記第１種重畳部分画像に部分的に重なる１以上の他の第１種部分画像に、それぞれ対応付けられている、
プログラム。
【請求項4】
請求項２または３に記載のプログラムであって、
前記Ｎ個のホモグラフィ行列のそれぞれは、前記第１種部分画像上の位置を示す二次元座標系と、前記第２種部分画像上の位置を示す二次元座標系と、の間の回転とスケーリングとを含む座標変換を表す２行２列の部分行列を形成する要素を含み、
前記差異の程度は、前記２行２列の部分行列と、２行２列の単位行列と、の間の差異の程度を示している、
プログラム。
前記Ｎ個のホモグラフィ行列のそれぞれは、前記第１種部分画像上の位置を示す二次元座標系と、前記第２種部分画像上の位置を示す二次元座標系と、の間の回転とスケーリングとを含む座標変換を表す２行２列の部分行列を形成する要素を含み、
前記差異の程度は、前記２行２列の部分行列と、２行２列の単位行列と、の間の差異の程度を示している、
プログラム。
【請求項5】
請求項１から３のいずれかに記載のプログラムであって、さらに、
前記第１画像に対する前記ホモグラフィ変換による回転角度を近似する近似回転角度が許容角度範囲外である第１の場合と、前記第１画像に対する前記ホモグラフィ変換によるスケーリング倍率を近似する近似スケーリング倍率が許容倍率範囲外である第２の場合とのうち、予め選択された１つの場合、または、両方の場合、を含む特定の場合に、前記対象オブジェクトに関連する異常があると判断する第２異常判断処理を実行する機能を、コンピュータに実現させる、プログラム。
前記第１画像に対する前記ホモグラフィ変換による回転角度を近似する近似回転角度が許容角度範囲外である第１の場合と、前記第１画像に対する前記ホモグラフィ変換によるスケーリング倍率を近似する近似スケーリング倍率が許容倍率範囲外である第２の場合とのうち、予め選択された１つの場合、または、両方の場合、を含む特定の場合に、前記対象オブジェクトに関連する異常があると判断する第２異常判断処理を実行する機能を、コンピュータに実現させる、プログラム。
【請求項6】
請求項５に記載のプログラムであって、
前記第１画像に対する前記ホモグラフィ変換は、第１ホモグラフィ行列による座標変換を含み、
前記第１ホモグラフィ行列は、前記第１画像上の位置を示す二次元座標系と、前記変換済画像上の位置を示す二次元座標系と、の間の回転とスケーリングとを含む座標変換を表す２行２列の部分行列を形成する要素を含み、
前記第２異常判断処理は、前記近似回転角度と、前記近似スケーリング倍率と、の一方、または、両方を、前記第１ホモグラフィ行列の前記２行２列の部分行列を形成する要素に基づいて算出する処理を含む、
プログラム。
前記第１画像に対する前記ホモグラフィ変換は、第１ホモグラフィ行列による座標変換を含み、
前記第１ホモグラフィ行列は、前記第１画像上の位置を示す二次元座標系と、前記変換済画像上の位置を示す二次元座標系と、の間の回転とスケーリングとを含む座標変換を表す２行２列の部分行列を形成する要素を含み、
前記第２異常判断処理は、前記近似回転角度と、前記近似スケーリング倍率と、の一方、または、両方を、前記第１ホモグラフィ行列の前記２行２列の部分行列を形成する要素に基づいて算出する処理を含む、
プログラム。
【請求項7】
プログラムであって、
対象オブジェクトの特定面の二次元撮影画像を取得する撮影画像取得機能と、
前記二次元撮影画像と、正常な特定面を表す二次元正常画像と、を比較して、前記対象オブジェクトの前記特定面が異常を有するか否かを判断する異常判断処理を実行する機能と、
をコンピュータに実現させ、
前記異常判断処理は、
前記二次元撮影画像によって表される特定面である第１種特定面のうちの互いに異なる部分を含むＮ個（Ｎは２以上の整数）の第１種部分画像を、前記二次元撮影画像から取得する取得処理と、
互いに対応付けられる第１種部分画像と第２種部分画像とのＮ個の組み合わせのそれぞれのキーポイントマッチングを行うマッチング処理であって、前記Ｎ個の組み合わせを形成するＮ個の第２種部分画像は、前記二次元正常画像によって表される特定面である第２種特定面のうちの互いに異なる部分を含み、前記第２種部分画像に含まれる前記第２種特定面の部分は、前記第２種部分画像に対応付けられる前記第１種部分画像に含まれる前記第１種特定面の部分と共通する部分を含む、前記マッチング処理と、
前記キーポイントマッチングのＮ個の結果に従ってＮ個のホモグラフィ行列を算出する処理と、
前記Ｎ個のホモグラフィ行列のそれぞれと単位行列との間の差異の程度を算出する処理と、
Ｎ個の差異の程度のそれぞれと、差異の程度の基準と、を比較することによって、前記対象オブジェクトの前記特定面が異常を有するか否かを判断する処理と、
を含む、プログラム。
対象オブジェクトの特定面の二次元撮影画像を取得する撮影画像取得機能と、
前記二次元撮影画像と、正常な特定面を表す二次元正常画像と、を比較して、前記対象オブジェクトの前記特定面が異常を有するか否かを判断する異常判断処理を実行する機能と、
をコンピュータに実現させ、
前記異常判断処理は、
前記二次元撮影画像によって表される特定面である第１種特定面のうちの互いに異なる部分を含むＮ個（Ｎは２以上の整数）の第１種部分画像を、前記二次元撮影画像から取得する取得処理と、
互いに対応付けられる第１種部分画像と第２種部分画像とのＮ個の組み合わせのそれぞれのキーポイントマッチングを行うマッチング処理であって、前記Ｎ個の組み合わせを形成するＮ個の第２種部分画像は、前記二次元正常画像によって表される特定面である第２種特定面のうちの互いに異なる部分を含み、前記第２種部分画像に含まれる前記第２種特定面の部分は、前記第２種部分画像に対応付けられる前記第１種部分画像に含まれる前記第１種特定面の部分と共通する部分を含む、前記マッチング処理と、
前記キーポイントマッチングのＮ個の結果に従ってＮ個のホモグラフィ行列を算出する処理と、
前記Ｎ個のホモグラフィ行列のそれぞれと単位行列との間の差異の程度を算出する処理と、
Ｎ個の差異の程度のそれぞれと、差異の程度の基準と、を比較することによって、前記対象オブジェクトの前記特定面が異常を有するか否かを判断する処理と、
を含む、プログラム。
【請求項8】
請求項７に記載のプログラムであって、
前記Ｎ個の第１種部分画像は、１以上の他の第１種部分画像と部分的に重なる第１種部分画像であるＱ個（Ｑは、２以上、Ｎ以下の整数）の第１種重畳部分画像を含み、
前記第１種重畳部分画像に対応付けられる第２種部分画像である第２種重畳部分画像は、１以上の他の第２種部分画像と部分的に重なっており、
前記第２種重畳部分画像に部分的に重なる前記１以上の他の第２種部分画像は、前記第２種重畳部分画像に対応付けられる前記第１種重畳部分画像に部分的に重なる１以上の他の第１種部分画像に、それぞれ対応付けられている、
プログラム。
前記Ｎ個の第１種部分画像は、１以上の他の第１種部分画像と部分的に重なる第１種部分画像であるＱ個（Ｑは、２以上、Ｎ以下の整数）の第１種重畳部分画像を含み、
前記第１種重畳部分画像に対応付けられる第２種部分画像である第２種重畳部分画像は、１以上の他の第２種部分画像と部分的に重なっており、
前記第２種重畳部分画像に部分的に重なる前記１以上の他の第２種部分画像は、前記第２種重畳部分画像に対応付けられる前記第１種重畳部分画像に部分的に重なる１以上の他の第１種部分画像に、それぞれ対応付けられている、
プログラム。
【請求項9】
請求項７または８に記載のプログラムであって、
前記Ｎ個のホモグラフィ行列のそれぞれは、前記第１種部分画像上の位置を示す二次元座標系と、前記第２種部分画像上の位置を示す二次元座標系と、の間の回転とスケーリングとを含む座標変換を表す２行２列の部分行列を形成する要素を含み、
前記差異の程度は、前記２行２列の部分行列と、２行２列の単位行列と、の間の差異の程度を示している、
プログラム。
前記Ｎ個のホモグラフィ行列のそれぞれは、前記第１種部分画像上の位置を示す二次元座標系と、前記第２種部分画像上の位置を示す二次元座標系と、の間の回転とスケーリングとを含む座標変換を表す２行２列の部分行列を形成する要素を含み、
前記差異の程度は、前記２行２列の部分行列と、２行２列の単位行列と、の間の差異の程度を示している、
プログラム。
【請求項10】
画像処理装置であって、
対象オブジェクトの特定面の二次元撮影画像を取得する撮影画像取得部と、
前記二次元撮影画像と、正常な特定面を表す二次元正常画像と、の間のキーポイントマッチングを行うマッチング処理部と、
前記二次元撮影画像と前記二次元正常画像とのいずれかである第１画像に対して、前記キーポイントマッチングの結果に従ってホモグラフィ変換を行うことによって、変換済画像を生成する生成部と、
前記二次元撮影画像と前記二次元正常画像とのうちの前記第１画像とは異なる第２画像と、前記変換済画像と、を比較して、前記対象オブジェクトの前記特定面が異常を有するか否かを判断する第１異常判断処理を実行する第１判断部と、
を備える、画像処理装置。
対象オブジェクトの特定面の二次元撮影画像を取得する撮影画像取得部と、
前記二次元撮影画像と、正常な特定面を表す二次元正常画像と、の間のキーポイントマッチングを行うマッチング処理部と、
前記二次元撮影画像と前記二次元正常画像とのいずれかである第１画像に対して、前記キーポイントマッチングの結果に従ってホモグラフィ変換を行うことによって、変換済画像を生成する生成部と、
前記二次元撮影画像と前記二次元正常画像とのうちの前記第１画像とは異なる第２画像と、前記変換済画像と、を比較して、前記対象オブジェクトの前記特定面が異常を有するか否かを判断する第１異常判断処理を実行する第１判断部と、
を備える、画像処理装置。
【請求項11】
画像処理装置であって、
対象オブジェクトの特定面の二次元撮影画像を取得する撮影画像取得部と、
前記二次元撮影画像と、正常な特定面を表す二次元正常画像と、を比較して、前記対象オブジェクトの前記特定面が異常を有するか否かを判断する異常判断処理を実行する判断部と、
を備え、
前記異常判断処理は、
前記二次元撮影画像によって表される特定面である第１種特定面のうちの互いに異なる部分を含むＮ個（Ｎは２以上の整数）の第１種部分画像を、前記二次元撮影画像から取得する取得処理と、
互いに対応付けられる第１種部分画像と第２種部分画像とのＮ個の組み合わせのそれぞれのキーポイントマッチングを行うマッチング処理であって、前記Ｎ個の組み合わせを形成するＮ個の第２種部分画像は、前記二次元正常画像によって表される特定面である第２種特定面のうちの互いに異なる部分を含み、前記第２種部分画像に含まれる前記第２種特定面の部分は、前記第２種部分画像に対応付けられる前記第１種部分画像に含まれる前記第１種特定面の部分と共通する部分を含む、前記マッチング処理と、
前記キーポイントマッチングのＮ個の結果に従ってＮ個のホモグラフィ行列を算出する処理と、
前記Ｎ個のホモグラフィ行列のそれぞれと単位行列との間の差異の程度を算出する処理と、
Ｎ個の差異の程度のそれぞれと、差異の程度の基準と、を比較することによって、前記対象オブジェクトの前記特定面が異常を有するか否かを判断する処理と、
を含む、画像処理装置。
対象オブジェクトの特定面の二次元撮影画像を取得する撮影画像取得部と、
前記二次元撮影画像と、正常な特定面を表す二次元正常画像と、を比較して、前記対象オブジェクトの前記特定面が異常を有するか否かを判断する異常判断処理を実行する判断部と、
を備え、
前記異常判断処理は、
前記二次元撮影画像によって表される特定面である第１種特定面のうちの互いに異なる部分を含むＮ個（Ｎは２以上の整数）の第１種部分画像を、前記二次元撮影画像から取得する取得処理と、
互いに対応付けられる第１種部分画像と第２種部分画像とのＮ個の組み合わせのそれぞれのキーポイントマッチングを行うマッチング処理であって、前記Ｎ個の組み合わせを形成するＮ個の第２種部分画像は、前記二次元正常画像によって表される特定面である第２種特定面のうちの互いに異なる部分を含み、前記第２種部分画像に含まれる前記第２種特定面の部分は、前記第２種部分画像に対応付けられる前記第１種部分画像に含まれる前記第１種特定面の部分と共通する部分を含む、前記マッチング処理と、
前記キーポイントマッチングのＮ個の結果に従ってＮ個のホモグラフィ行列を算出する処理と、
前記Ｎ個のホモグラフィ行列のそれぞれと単位行列との間の差異の程度を算出する処理と、
Ｎ個の差異の程度のそれぞれと、差異の程度の基準と、を比較することによって、前記対象オブジェクトの前記特定面が異常を有するか否かを判断する処理と、
を含む、画像処理装置。
【発明の詳細な説明】
【技術分野】
【0001】
本明細書は、画像を使用する異常判断に関する。
【背景技術】
【0002】
従来から、オブジェクト（例えば、複合機などの製品に貼付されたラベルシート）の外観が異常を有するか否かの判断に、オブジェクトの画像が使用されている。例えば、特許文献１は、以下の技術を開示する。ラベルシートの画像データを機械学習モデルに入力することによって、不具合の無いラベルシートの画像データを生成する。入力された画像と生成された画像との間の差分を表す差分画像データを使用して、異常度を算出する。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開２０２２－１７４５１６号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
ところが、オブジェクトが異常を有するか否かを判断するための処理には、工夫の余地があった。
【0005】
本明細書は、オブジェクトが異常を有するか否かを判断する新たな技術を開示する。
【課題を解決するための手段】
【0006】
本明細書に開示された技術は、以下の適用例として実現することが可能である。
【0007】
［適用例１］プログラムであって、対象オブジェクトの特定面の二次元撮影画像を取得する撮影画像取得機能と、前記二次元撮影画像と、正常な特定面を表す二次元正常画像と、の間のキーポイントマッチングを行う機能と、前記二次元撮影画像と前記二次元正常画像とのいずれかである第１画像に対して、前記キーポイントマッチングの結果に従ってホモグラフィ変換を行うことによって、変換済画像を生成する機能と、前記二次元撮影画像と前記二次元正常画像とのうちの前記第１画像とは異なる第２画像と、前記変換済画像と、を比較して、前記対象オブジェクトの前記特定面が異常を有するか否かを判断する第１異常判断処理を実行する機能と、をコンピュータに実現させる、プログラム。
【0008】
この構成によれば、第２画像とホモグラフィ変換による変換済画像とを比較して対象面が異常を有するか否かが判断されるので、適切な判断が可能である。
【0009】
［適用例２］プログラムであって、対象オブジェクトの特定面の二次元撮影画像を取得する撮影画像取得機能と、前記二次元撮影画像と、正常な特定面を表す二次元正常画像と、を比較して、前記対象オブジェクトの前記特定面が異常を有するか否かを判断する異常判断処理を実行する機能と、をコンピュータに実現させ、前記異常判断処理は、前記二次元撮影画像によって表される特定面である第１種特定面のうちの互いに異なる部分を含むＮ個（Ｎは２以上の整数）の第１種部分画像を、前記二次元撮影画像から取得する取得処理と、互いに対応付けられる第１種部分画像と第２種部分画像とのＮ個の組み合わせのそれぞれのキーポイントマッチングを行うマッチング処理であって、前記Ｎ個の組み合わせを形成するＮ個の第２種部分画像は、前記二次元正常画像によって表される特定面である第２種特定面のうちの互いに異なる部分を含み、前記第２種部分画像に含まれる前記第２種特定面の部分は、前記第２種部分画像に対応付けられる前記第１種部分画像に含まれる前記第１種特定面の部分と共通する部分を含む、前記マッチング処理と、前記キーポイントマッチングのＮ個の結果に従ってＮ個のホモグラフィ行列を算出する処理と、前記Ｎ個のホモグラフィ行列のそれぞれと単位行列との間の差異の程度を算出する処理と、Ｎ個の差異の程度のそれぞれと、差異の程度の基準と、を比較することによって、前記対象オブジェクトの前記特定面が異常を有するか否かを判断する処理と、を含む、プログラム。
【0010】
この構成によれば、ホモグラフィ行列と単位行列との間の差異の程度と差異の程度の基準との比較によって、対象面が異常を有するか否かを適切に判断できる。
【0011】
なお、本明細書に開示の技術は、種々の態様で実現することが可能であり、例えば、画像処理方法および画像処理装置、それらの方法または装置の機能を実現するためのコンピュータプログラム、そのコンピュータプログラムを記録した記録媒体（例えば、一時的ではない記録媒体）、等の形態で実現することができる。
【図面の簡単な説明】
【0012】
【図1】一実施例としてのデータ処理装置を示す説明図である。
【図2】（Ａ）は、製品３００の斜視図である。（Ｂ）は、ラベルＬの例を示す図である。
【図3】検査処理の例を示すフローチャートである。
【図4】（Ａ）は、撮影画像の例を示す図である。（Ｂ）は、撮影画像ｉｐから検出されるキーポイントの例を示す図である。（Ｃ）は、正常画像の例を示す図である。（Ｄ）は、キーポイントマッチングの結果の例を示す図である。
【図5】（Ａ）は、ホモグラフィ行列の例を示す図である。（Ｂ）は、座標変換を表すホモグラフィ行列の例を示している。（Ｃ）は、変換済画像の例を示している。
【図6】異常判断処理の例を示すフローチャートである。
【図7】（Ａ）－（Ｆ）は、複数のブロック画像の説明図である。（Ｇ）、（Ｈ）は、キーポイントマッチングの結果の例を示す図である。
【図8】Ｓ２５０で算出されるホモグラフィ行列の例を示している。
【図9】（Ａ）－（Ｃ）は、異常指標値Ａｄの算出式の例の説明図である。
【図10】異常ブロック検出処理の例を示すフローチャートである。
【図11】表示部１４０に表示される結果画像の例を示している。
【図12】（Ａ）－（Ｆ）は、複数のブロック画像の別の実施例を示す図である。
【図13】（Ａ）－（Ｆ）は、複数のブロック画像の別の実施例を示す図である。（Ｇ）は、表示部１４０に表示される結果画像の例を示している。
【図14】（Ａ）は、検査処理の別の実施例のフローチャートの一部である。（Ｂ）は、近似角度ＡＧと近似倍率ＳＣとの算出式の例を示す図である。
【図15】検査処理の別の実施例を示すフローチャートである。
【図16】検査処理用の撮影画像の例を示す図である。
【発明を実施するための形態】
【0013】
Ａ．第１実施例：
Ａ１．装置構成：
図１は、一実施例としてのデータ処理装置を示す説明図である。データ処理装置１００は、例えば、パーソナルコンピュータである。本実施例では、製品３００（例えば、複合機）に、ラベルＬが貼付されている。データ処理装置１００は、ラベルＬの外観の検査のために、ラベルＬの外観を表す画像データを処理する。データ処理装置１００は、オブジェクト（本実施例では、ラベルＬ）の外観を表す画像データを処理する画像処理装置の例である。
Ａ１．装置構成：
図１は、一実施例としてのデータ処理装置を示す説明図である。データ処理装置１００は、例えば、パーソナルコンピュータである。本実施例では、製品３００（例えば、複合機）に、ラベルＬが貼付されている。データ処理装置１００は、ラベルＬの外観の検査のために、ラベルＬの外観を表す画像データを処理する。データ処理装置１００は、オブジェクト（本実施例では、ラベルＬ）の外観を表す画像データを処理する画像処理装置の例である。
【0014】
データ処理装置１００は、プロセッサ１１０と、記憶装置１１５と、表示部１４０と、操作部１５０と、通信インタフェース１７０と、を備えている。これらの要素は、バスを介して互いに接続されている。記憶装置１１５は、揮発性記憶装置１２０と、不揮発性記憶装置１３０と、を含んでいる。
【0015】
プロセッサ１１０は、データを処理するように構成された装置である。プロセッサ１１０は、例えば、ＣＰＵ（Central Processing Unit）、または、ＳｏＣ（System on a chip）であってよい。揮発性記憶装置１２０は、例えば、ＤＲＡＭであり、不揮発性記憶装置１３０は、例えば、フラッシュメモリである。不揮発性記憶装置１３０は、プログラム１３１と、正常キーポイントＤ１と、正常ブロックキーポイントＤ２と、のそれぞれのデータを格納している。これらのデータの詳細については、後述する。
【0016】
表示部１４０は、液晶ディスプレイ、有機ＥＬディスプレイなどの、画像を表示するように構成された装置である。操作部１５０は、ボタン、レバー、表示部１４０上に重ねて配置されたタッチパネルなどの、ユーザによる操作を受け取るように構成された装置である。ユーザは、操作部１５０を操作することによって、種々の指示をデータ処理装置１００に入力可能である。通信インタフェース１７０は、他の装置と通信するためのインタフェースである。通信インタフェース１７０は、例えば、ＵＳＢインタフェース、有線ＬＡＮインタフェース、IEEE802.11の無線インタフェース、産業用カメラのインタフェース（例えば、CameraLink、CoaXPressなど）、のうちの１種以上を含む。通信インタフェース１７０には、撮影装置４００が接続されている。
【0017】
撮影装置４００は、二次元イメージセンサを用いて被写体を撮影することによって、被写体を表す二次元撮影画像のデータを生成する（以下、二次元撮影画像を、単に「撮影画像」とも呼ぶ）。本実施例では、撮影装置４００は、いわゆるデジタルカメラである。撮影画像データは、複数個の画素を含む画像を表すビットマップデータである。本実施例では、撮影画像データは、赤Ｒと緑Ｇと青Ｂとの３色成分の階調値によって画素ごとの色を表すＲＧＢ画像データである。Ｒ値、Ｇ値、Ｂ値は、例えば、ゼロから２５５までの２５６階調で表される。なお、撮影画像データは、他の色成分（例えば、輝度）の階調値によって画素毎の色を表してよい。撮影装置４００は、ラベルＬが貼付された製品３００を撮影して、製品３００のうちのラベルＬを含む部分の撮影画像を表す撮影画像データを生成する。
【0018】
Ａ２．ラベルと撮影画像：
図２（Ａ）は、製品３００の斜視図である。本実施例では、製品３００は、複合機である。製品３００の製造工程において、製品３００の外面の所定の位置にラベルＬが貼付される。そして、ラベルＬの外観の検査のために、撮影装置４００は、製品３００上のラベルＬを撮影する。ラベルＬの撮影時には、撮影装置４００の撮影範囲ＣＶ内にラベルＬが位置するように、製品３００に対する撮影装置４００の相対的な位置と向きとが調整される。
図２（Ａ）は、製品３００の斜視図である。本実施例では、製品３００は、複合機である。製品３００の製造工程において、製品３００の外面の所定の位置にラベルＬが貼付される。そして、ラベルＬの外観の検査のために、撮影装置４００は、製品３００上のラベルＬを撮影する。ラベルＬの撮影時には、撮影装置４００の撮影範囲ＣＶ内にラベルＬが位置するように、製品３００に対する撮影装置４００の相対的な位置と向きとが調整される。
【0019】
図２（Ｂ）は、ラベルＬの例を示す図である。本実施例では、ラベルＬは、矩形状のシートである。ラベルＬの表面ＳＦ１（特定面ＳＦ１とも呼ぶ）は、製造者名、製造者のロゴ、ブランドロゴ、認証マークなど、種々の情報を表し得る。ラベルＬによって表されるべき適切な情報は、製品３００に予め対応付けられている。図２（Ｂ）の特定面ＳＦ１は、異常の無い特定面を表している。図示を省略するが、ラベルＬの裏面には、粘着剤が塗布されている。なお、ラベルＬの形状は、矩形に代えて、他の種々の形状であってよい（例えば、円形、楕円形、多角形など）。
【0020】
Ａ３．検査処理：
図３は、検査処理の例を示すフローチャートである。データ処理装置１００（図１）のプロセッサ１１０は、プログラム１３１を実行することによって、検査処理を実行する。図２（Ａ）で説明したように、検査のために、製品３００と撮影装置４００との間の相対的な配置が調整される。本実施例では、機械（ベルトコンベア、または、ターンテーブルなど）によって製品３００の位置と向きとが調整される。製品３００の配置の後、検査処理の開始指示が、データ処理装置１００に入力される。本実施例では、作業者は、操作部１５０を操作することによって、開始指示を入力する。プロセッサ１１０は、開始指示に応じて、検査処理を開始する。なお、製品３００の配置は、作業者によって調整されてよい。製品３００の位置と向きとに代えて、撮影装置４００の位置と向きとが調整されてよい。開始指示は、データ処理装置１００とは異なる他の装置によって、通信インタフェース１７０を介して、データ処理装置１００に入力されてよい。図３の処理は、１個の製品３００の検査処理を示している。プロセッサ１１０は、複数個の製品３００のそれぞれを検査するために、図３の処理を繰り返す。
図３は、検査処理の例を示すフローチャートである。データ処理装置１００（図１）のプロセッサ１１０は、プログラム１３１を実行することによって、検査処理を実行する。図２（Ａ）で説明したように、検査のために、製品３００と撮影装置４００との間の相対的な配置が調整される。本実施例では、機械（ベルトコンベア、または、ターンテーブルなど）によって製品３００の位置と向きとが調整される。製品３００の配置の後、検査処理の開始指示が、データ処理装置１００に入力される。本実施例では、作業者は、操作部１５０を操作することによって、開始指示を入力する。プロセッサ１１０は、開始指示に応じて、検査処理を開始する。なお、製品３００の配置は、作業者によって調整されてよい。製品３００の位置と向きとに代えて、撮影装置４００の位置と向きとが調整されてよい。開始指示は、データ処理装置１００とは異なる他の装置によって、通信インタフェース１７０を介して、データ処理装置１００に入力されてよい。図３の処理は、１個の製品３００の検査処理を示している。プロセッサ１１０は、複数個の製品３００のそれぞれを検査するために、図３の処理を繰り返す。
【0021】
Ｓ１１０では、プロセッサ１１０は、処理対象のラベルである対象ラベルの特定面の二次元撮影画像のデータを取得する。本実施例では、プロセッサ１１０は、撮影指示を撮影装置４００に供給する。撮影装置４００は、撮影指示に応じて、製品３００のうちのラベルＬを含む部分を撮影し、撮影画像のデータを生成する。プロセッサ１１０は、撮影装置４００から、撮影画像のデータを取得する。
【0022】
図４（Ａ）は、撮影画像の例を示す図である。撮影画像ｉｐは、第１方向Ｄｘに平行な２辺と第２方向Ｄｙに平行な２辺とを有する矩形状の画像である。撮影画像ｉｐは、第１方向Ｄｘと第２方向Ｄｙとに沿ってマトリクス状に並ぶ複数の画素のそれぞれの色値（本実施例では、Ｒ、Ｇ、Ｂの階調値）によって、表されている。撮影画像ｉｐは、製品３００のうちの対象ラベルＬｔを含む部分を表している。撮影画像ｉｐは、対象ラベルＬｔの特定面ＳＦ１ｔを表している（対象面ＳＦ１ｔとも呼ぶ）。対象面ＳＦ１ｔは、異常の無い特定面ＳＦ１（図２（Ｂ））とは異なり、傷部分、汚れ部分、誤った情報部分（例えば、誤字）など、種々の異常部分を含み得る。図４（Ａ）の対象面ＳＦ１ｔは、異常部分ＡＰ（ここでは、汚れ部分）を含んでいる。
【0023】
Ｓ１３０（図３）では、プロセッサ１１０は、撮影画像のデータを分析することによって、撮影画像からキーポイントを検出する。キーポイントは、画像内でユニークである可能性が高いと期待される点である。例えば、画像内の特徴的な部分を示す点が、キーポイントとして検出される。このようなキーポイントは、画像の追跡や比較に使用可能である。
【0024】
図４（Ｂ）は、撮影画像ｉｐから検出されるキーポイントの例を示す図である。図中の複数の黒点ｐＫは、検出される複数のキーポイントを示している（「撮影キーポイントｐＫ」、または、単に「キーポイントｐＫ」と呼ぶ）。図示するように、被写体（例えば、文字、マークなど）のコーナーや端などの特徴的な部分を示す点が、キーポイントｐＫとして検出される。図中では、３個のキーポイントｐＫ１－ｐＫ３に、後述する説明のために、個別の符号が付されている。なお、図示を省略するが、実際には、より多くのキーポイントｐＫが検出される（例えば、数十、または、数百程度）。
【0025】
キーポイントの検出方法は、種々の方法であってよい。検出方法は、例えば、ＤｏＧ（Difference-of-Gaussian）を使用する極値（極大値と極小値）の探索と、Ｈａｒｒｉｓのコーナー検出と、ＦＡＳＴ（Features from Accelerated Segment Test）のコーナー検出と、から予め選択されてよい。また、キーポイントの検出のために、キーポイントの検出と特徴量記述子の算出とを行うアルゴリズムが採用されてよい。特徴量記述子は、キーポイントの特徴を記述する情報である。キーポイントの検出と特徴量記述子の算出とを行うアルゴリズムは、例えば、ＳＩＦＴ（Scale Invariant Feature Transform）と、ＳＵＲＦ（Speeded Up Robust Features）と、ＯＲＢ（Oriented FAST and Rotated BRIEF）と、から予め選択されてよい。本実施例では、プロセッサ１１０は、ＯＲＢのアルゴリズムに従って、キーポイントを検出する。ＯＲＢのアルゴリズムによるキーポイントの検出には、例えば、ＯｐｅｎＣＶ（Open Source Computer Vision Library）の関数「detect」または関数「detectAndCompute」を使用可能である。
【0026】
Ｓ１４０では、プロセッサ１１０は、二次元撮影画像と二次元正常画像との間のキーポイントマッチングを行う（以下、二次元正常画像を、単に「正常画像」とも呼ぶ）。図４（Ｃ）は、正常画像の例を示す図である。正常画像ｉｑは、異常の無いラベルである正常ラベルＬｓの画像である。正常画像ｉｑは、正常ラベルＬｓを表す種々の画像であってよい。本実施例では、製品３００の製造工程では、版下画像がシートに印刷されることによって、ラベルＬが形成される。この版下画像が、正常画像ｉｑとして使用される。
【0027】
本実施例では、正常画像ｉｑは、撮影画像ｉｐ（図４（Ｂ））と同様に、第１方向Ｄｘに平行な２辺と第２方向Ｄｙに平行な２辺とを有する矩形状の画像である。正常画像ｉｑは、第１方向Ｄｘと第２方向Ｄｙとに沿ってマトリクス状に並ぶ複数の画素のそれぞれの色値（本実施例では、Ｒ、Ｇ、Ｂの階調値）によって、表されている。なお、正常画像ｉｑの第１方向Ｄｘの画素数は、撮影画像ｉｐの第１方向Ｄｘの画素数と異なり得る。正常画像ｉｑの第２方向Ｄｙの画素数は、撮影画像ｉｐの第２方向Ｄｙの画素数と異なり得る。
【0028】
図４（Ｃ）には、正常画像ｉｑから検出されるキーポイントの例が示されている。図中の複数の黒点ｑＫは、検出される複数のキーポイントを示している（「正常キーポイントｑＫ」または、単に「キーポイントｑＫ」と呼ぶ）。図中では、３個のキーポイントｑＫ１－ｑＫ３に、後述する説明のために、個別の符号が付されている。なお、図示を省略するが、実際には、より多くのキーポイントｑＫが検出される（例えば、数十、または、数百程度）。
【0029】
本実施例では、複数の正常キーポイントｑＫは、Ｓ１３０の検出方法と同じ方法によって、予め検出済である。正常キーポイントＤ１（図１）のデータは、検出された複数の正常キーポイントｑＫを表している。正常キーポイントＤ１のデータは、予め、記憶装置１１５（本実施例では、不揮発性記憶装置１３０）に格納されている。プロセッサ１１０は、正常キーポイントＤ１のデータを参照して、複数の正常キーポイントｑＫを取得する。
【0030】
Ｓ１４０では、プロセッサ１１０は、複数の撮影キーポイントｐＫと複数の正常キーポイントｑＫとの間のマッチングを行う。キーポイントマッチングによって、同じ被写体の同じ部分（例えば、同じ文字の同じコーナー）を示す撮影キーポイントｐＫと正常キーポイントｑＫとが対応付けられる。プロセッサ１１０は、互いに対応付けられるキーポイントｐＫ、ｑＫの複数のペアを、抽出する。以下、互いに対応付けられるキーポイントｐＫ、ｑＫのペアを、マッチングペアとも呼ぶ。
【0031】
図４（Ｄ）は、キーポイントマッチングの結果の例を示す図である。図中の複数の線ＲＬは、それぞれ、適切なマッチングペアを示している。各線ＲＬは、マッチングペアを形成するキーポイントｐＫ、ｑＫを接続している。キーポイントｐＫ１、ｑＫ１のペアは、同じ四角マークの同じコーナーを示している。キーポイントｐＫ２、ｑＫ２のペアは、同じ「Ｌ」の文字の同じ端を示している。線ＲＬｚは、不適切なマッチングペアを示している。線ＲＬｚによって示されるキーポイントｐＫ３、ｑＫ３のペアは、互いに異なるマークを示している。このように、キーポイントマッチングの結果は、エラーを含み得る。
【0032】
キーポイントマッチングの方法は、種々の方法であってよい。例えば、プロセッサ１１０は、キーポイントの特徴量記述子を使用して、キーポイントマッチングを行ってよい。特徴量記述子は、キーポイントの特徴を記述する種々の情報であってよい。特徴量記述子は、例えば、キーポイントの周辺の複数の画素の色値の分布に応じて変化するように、算出される。特徴量記述子の算出方法は、種々の方法であってよい。特徴量記述子の算出のアルゴリズムは、例えば、ＢＲＩＥＦ（Binary Robust Independent Elementary Features）と、ＢＲＩＳＫ（Binary Robust Invariant Scalable Keypoints）と、ＳＩＦＴと、ＳＵＲＦと、ＯＲＢと、から予め選択されてよい。本実施例では、プロセッサ１１０は、ＯＲＢのアルゴリズムに基づく特徴量記述子を使用する。
【0033】
Ｓ１４０では、プロセッサ１１０は、撮影画像のデータを分析することによって、各撮影キーポイントｐＫの特徴量記述子を算出する。ＯＲＢのアルゴリズムに基づく特徴量記述子の算出には、例えば、ＯｐｅｎＣＶの関数「compute」を使用可能である。なお、プロセッサ１１０は、Ｓ１３０で、キーポイントの検出と特徴量記述子の算出とを行ってよい。例えば、プロセッサ１１０は、ＯｐｅｎＣＶの関数「detectAndCompute」を実行することによって、複数のキーポイントと各キーポイントの特徴量記述子とを取得できる。この場合、Ｓ１４０では、プロセッサ１１０は、Ｓ１３０で算出された特徴量記述子を使用する。
【0034】
また、本実施例では、各正常キーポイントｑＫの特徴量記述子は、キーポイントｐＫの特徴量記述子の算出方法と同じ方法によって、予め算出済である。正常キーポイントＤ１（図１）のデータは、複数の正常キーポイントｑＫと各正常キーポイントｑＫの特徴量記述子とを表している。このような正常キーポイントＤ１のデータは、予め、記憶装置１１５（本実施例では、不揮発性記憶装置１３０）に格納されている。プロセッサ１１０は、正常キーポイントＤ１のデータを参照して、各正常キーポイントｑＫの特徴量記述子を取得する。
【0035】
特徴量記述子を使用するキーポイントマッチングの方法は、種々の方法であってよい。マッチングの方法は、例えば、ＦＬＡＮＮ（Fast Library for Approximate Nearest Neighbor）ベースのマッチングと、総当たりマッチングと、から予め選択されてよい。ＦＬＡＮＮベースのマッチングには、例えば、ＯｐｅｎＣＶの「cv2.FlannBasedMatcher」によるマッチングを使用可能である。総当たりマッチングには、例えば、ＯｐｅｎＣＶの「cv2.BFMatcher」によるマッチングを使用可能である。本実施例では、プロセッサ１１０は、総当たりマッチングを行う。
【0036】
総当たりマッチングでは、プロセッサ１１０は、複数の正常キーポイントｑＫのうち、注目キーポイントｐＫまでの距離が最短である正常キーポイントｑＫを、注目キーポイントｐＫに対応付ける。２個のキーポイントｐＫ、ｑＫの間の距離は、２個のキーポイントｐＫ、ｑＫの２個の特徴量記述子を使用して、算出される。この距離は、小さい距離が２個の特徴量記述子の高い類似度を示すように、算出される。このような距離の算出方法は、特徴量記述子のデータ構成に適する種々の方法であってよい。ＯＲＢとＢＲＩＥＦとＢＲＩＳＫとの特徴量記述子のように、特徴量記述子がバイナリベクトル（１以上の２値要素で構成されるベクトル）によって表現される場合、プロセッサ１１０は、ハミング距離を使用してよい。プロセッサ１１０は、ハミング距離に代えて、他の種々の距離（例えば、Ｌ１ノルム、Ｌ２ノルム（ユークリッド距離とも呼ばれる）などのノルム）を使用してよい。ノルムは、種々の特徴量記述子に適用可能である。本実施例では、プロセッサ１１０は、ＯＲＢの特徴量記述子の距離として、ハミング距離を使用する。プロセッサ１１０は、総当たりマッチングによって、各撮影キーポイントｐＫに対して、最短距離の正常キーポイントｑＫを対応付ける。
【0037】
ここで、プロセッサ１１０は、信頼性の低いペアを除く処理を実行してよい。例えば、プロセッサ１１０は、キーポイントｐＫ、ｑＫの複数のペアを距離の短い順にソートし、上位の一部のペア（例えば、１５％のペア）を最終的なペアとして選択してよい。また、プロセッサ１１０は、マッチングのクロスチェックを行ってよい。ｕ番の撮影キーポイントｐＫに対するマッチング結果がｖ番の正常キーポイントｑＫである場合に、ｖ番の正常キーポイントｑＫに対するマッチング結果がｕ番の撮影キーポイントｐＫとは異なる場合がある。クロスチェックは、キーポイントｐＫ、ｑＫのペアの間でマッチング結果が一貫していない場合に、そのペアを取り除く。
【0038】
Ｓ１５０（図３）では、プロセッサ１１０は、キーポイントマッチングの結果に従って、ホモグラフィ行列を算出する。ホモグラフィ行列は、ホモグラフィ（射影変換とも呼ばれる）を表す行列である。ホモグラフィは、同じシーンの２つの投影平面の間のマッピングを示している。ホモグラフィによって、直線は直線に変換され、四角形は四角形に変換される。矩形は、台形に変換され得る。
【0039】
図５（Ａ）は、ホモグラフィ行列の例を示す図である。ホモグラフィ行列Ｈは、撮影画像ｉｐ上の点の位置Ｃｉｐと、正常画像ｉｑ上の点の位置Ｃｉｑと、の間の対応関係を表している。図中では、位置Ｃｉｐ、Ｃｉｑは、いわゆる同次座標（射影座標とも呼ばれる）で表されている。位置Ｃｉｐの２個の座標ｘ、ｙは、撮影画像ｉｐ（図４（Ａ））上の互いに垂直な２つの方向Ｄｘ、Ｄｙのそれぞれの位置を示している（例えば、画素位置）。これらの座標ｘ、ｙは、撮影画像ｉｐ上の点の位置を表す二次元のデカルト座標系の座標を示している。位置Ｃｉｐの３番目の座標は、１に固定されている。位置Ｃｉｑについても、同様である。位置Ｃｉｑの２個の座標ｘ’、ｙ’は、正常画像ｉｑ（図４（Ｃ））上の互いに垂直な２つの方向Ｄｘ、Ｄｙのそれぞれの位置を示している。これらの座標ｘ’、ｙ’は、正常画像ｉｑ上の点の位置を表す二次元のデカルト座標系の座標を示している。位置Ｃｉｐの座標（ｘ、ｙ、１）にホモグラフィ行列Ｈを乗じることによって、座標（Ｚ＊ｘ’、Ｚ＊ｙ’、Ｚ）が得られる（「＊」は乗算記号である）。１番と２番の成分（Ｚ＊ｘ’、Ｚ＊ｙ’）を３番の成分Ｚで除算することによって、座標ｘ’、ｙ’が得られる。
【0040】
ホモグラフィ行列Ｈは、同次座標で表される２つの位置Ｃｉｐ、Ｃｉｑの間の対応関係を表している。ホモグラフィ行列Ｈは、３行３列の行列で表される。要素ｈｉｊは、ｉ行ｊ列の要素を示している。最も右下の要素ｈ３３は、１に固定されている。このように、ホモグラフィ行列Ｈは、８の自由度を有している。残りの８個の要素は、３個の部分行列ＳＭ１、ＳＭ２、ＳＭ３に区分される。第１部分行列ＳＭ１は、４個の要素ｈ１１、ｈ１２、ｈ２１、ｈ２２で構成される部分行列である。第２部分行列ＳＭ２は、２個の要素ｈ１３、ｈ２３で構成される部分行列である。第３部分行列ＳＭ３は、２個の要素ｈ３１、ｈ３２で構成される部分行列である。
【0041】
第１部分行列ＳＭ１の４個の要素ｈ１１、ｈ１２、ｈ２１、ｈ２２は、回転とスケーリング（拡大または縮小）とスキューとを含む座標変換を表している（スキューは、矩形を平行四辺形に変換し得る）。この座標変換は、撮影画像ｉｐ上の位置を示す二次元座標系（すなわち、座標ｘ、ｙを示す二次元座標系）と、正常画像ｉｑ上の位置を示す二次元座標系（すなわち、座標ｘ’、ｙ’を示す二次元座標系）と、の間の座標変換である。
【0042】
図５（Ｂ）は、座標変換を表すホモグラフィ行列の例を示している。図中には、４個のホモグラフィ行列Ｈ１－Ｈ４が示されている。これらのホモグラフィ行列Ｈ１－Ｈ４では、部分行列ＳＭ２、ＳＭ３の要素はゼロである。
【0043】
第１ホモグラフィ行列Ｈ１は、角度Ｔの回転を表している。ｈ１１＝ｈ２２＝ｃｏｓ（Ｔ）であり、ｈ１２＝－ｓｉｎ（Ｔ）であり、ｈ２１＝ｓｉｎ（Ｔ）である。
【0044】
第２ホモグラフィ行列Ｈ２は、倍率Ｕのスケーリングを表している。ｈ１１＝ｈ２２＝Ｕであり、ｈ１２＝ｈ２１＝ゼロである。なお、ｘ軸とｙ軸との間で、倍率が異なってよい。ｈ１１は、ｘ軸の倍率を示し、ｈ２２はｙ軸の倍率を示している。
【0045】
ホモグラフィ行列Ｈ３、Ｈ４は、角度Ｖのスキューを表している。第３ホモグラフィ行列Ｈ３では、ｈ１２＝ｔａｎ（Ｖ）であり、ｈ１１＝ｈ２２＝１であり、ｈ２１＝ゼロである。第３ホモグラフィ行列Ｈ３は、ｙ軸を角度Ｖで傾斜させる。第４ホモグラフィ行列Ｈ４は、第３ホモグラフィ行列Ｈ３のｈ１２とｈ２１を交換して得られる行列である。第４ホモグラフィ行列Ｈ４は、ｘ軸を角度Ｖで傾斜させる。
【0046】
ホモグラフィ行列Ｈ（図５（Ａ））の第１部分行列ＳＭ１は、回転とスケーリングとスキューとを含む複数種類の座標変換をそれぞれ表す複数の行列（例えば、ホモグラフィ行列Ｈ１、Ｈ２、Ｈ３、Ｈ４の第１部分行列ＳＭ１）の積に分解され得る。
【0047】
第２部分行列ＳＭ２（図５（Ａ））の２個の要素ｈ１３、ｈ２３は、座標ｘ、ｙを示す二次元座標系と、座標ｘ’、ｙ’を示す二次元座標系と、の間の平行移動を示している。第３部分行列ＳＭ３の２個の要素ｈ３１、ｈ３２は、座標ｘ、ｙに応じて成分Ｚを変化させる。要素ｈ３１、ｈ３２は、矩形を台形に変換し得る。
【0048】
ホモグラフィ行列Ｈの８個の要素ｈ１１－ｈ１３、ｈ２１－ｈ２３、ｈ３１、ｈ３２は、位置Ｃｉｐ、Ｃｉｑの４個以上の対応関係を使用することによって、決定可能である。例えば、キーポイントｐＫ、ｑＫ（図４（Ｂ））の４組のマッチングペアを使用することによって、ホモグラフィ行列Ｈは決定可能である。
【0049】
マッチングペアのキーポイントｐＫ、ｑＫ（図４（Ｂ））のそれぞれの座標は、誤差を含み得る。例えば、撮影キーポイントｐＫの対象ラベルＬｔ上の位置は、撮影キーポイントｐＫに対応付けられる正常キーポイントｑＫの正常ラベルＬｓ上の位置から、ズレ得る。このような誤差の影響を緩和するために、本実施例では、プロセッサ１１０は、４個よりも多い数のマッチングペアを使用して、ホモグラフィ行列Ｈの８個の要素を算出する。
【0050】
ホモグラフィ行列Ｈの算出方法は、種々の方法であってよい。ホモグラフィ行列Ｈの算出方法は、例えば、単純な最小二乗法、または、ロバスト法であってよい。
【0051】
最小二乗法では、誤差の２乗和が最小となるように、ホモグラフィ行列Ｈが算出される。ここで、誤差の２乗和としては、第１方向Ｄｘの位置の差の２乗と、第２方向Ｄｙの位置の差の２乗と、の和が使用されてよい。これらの位置の差は、ホモグラフィ行列Ｈによって撮影キーポイントｐＫを変換することによって得られる変換済の点と、撮影キーポイントｐＫに対応付けられる正常キーポイントｑＫと、の間の位置の差を示している。１組のマッチングペアからは、変換済の点と正常キーポイントｑＫとの間のユークリッド距離の２乗が算出される。誤差の２乗和は、複数のマッチングペアから算出される複数の距離の２乗和であってよい。本実施例では、誤差の２乗和の算出には、複数のマッチングペアの全てが使用される。これに代えて、特徴量記述子の小さい距離を有する一部の複数のマッチングペアが、使用されてよい。
【0052】
ロバスト法は、不適切なマッチングペアの影響を緩和可能な種々の方法であってよい。ロバスト法としては、例えば、ＲＡＮＳＡＣ（Random sample consensus）に基づく方法が採用されてよい。ＲＡＮＳＡＣに基づく方法では、４組のマッチングペアが、ランダムに選択される。４組のマッチングペアを使用して、ホモグラフィ行列Ｈの候補が算出される。ホモグラフィ行列Ｈの候補の算出方法は、例えば、最小二乗法であってよい。ホモグラフィ行列Ｈの候補に従って、複数の撮影キーポイントｐＫが変換される。変換済の点と正常キーポイントｑＫとの間の誤差（例えば、ユークリッド距離）が、複数のマッチングペアのそれぞれについて、算出される。複数のマッチングペアの複数の誤差を使用して、ホモグラフィ行列Ｈの候補の質の高さを示すスコアが算出される。スコアは、例えば、予め決められた閾値以下の誤差を有するマッチングペア（「inlier」とも呼ばれる）の総数であってよい。４組のマッチングペアの選択と、ホモグラフィ行列Ｈの候補の算出と、スコアの算出と、を含む処理は、複数回、行われる。ホモグラフィ行列Ｈの複数の候補のうち最高のスコアを有する候補が、ホモグラフィ行列Ｈとして採用される。
【0053】
本実施例では、プロセッサ１１０は、ＲＡＮＳＡＣに基づく方法に従って、ホモグラフィ行列Ｈを算出する。ＲＡＮＳＡＣに基づくホモグラフィ行列Ｈの算出には、例えば、ＯｐｅｎＣＶの関数「cv2.findHomography」を使用可能である。この関数では、フラグの設定によって、ＲＡＮＳＡＣとは異なる種々のアルゴリズムを使用可能である。例えば、単純な最小二乗法を選択可能である。また、ロバスト法として、ＲＡＮＳＡＣに代えて、ＬＭｅｄＳ（least-median of squares）、または、ＲＨＯ、を選択可能である。ホモグラフィ行列Ｈの算出のアルゴリズムは、ＲＡＮＳＡＣに代えて、これらのアルゴリズムから選択されてよい。
【0054】
Ｓ１９０（図３）では、プロセッサ１１０は、ホモグラフィ行列に従って撮影画像のホモグラフィ変換を行って、変換済画像のデータを生成する。図５（Ｃ）は、変換済画像の例を示している。図中の変換済画像ｉｐｃは、撮影画像ｉｐのホモグラフィ変換によって生成される画像の例を示している。ホモグラフィ変換には、撮影画像ｉｐと正常画像ｉｑとを使用して算出されるホモグラフィ行列Ｈが使用される。図示するように、変換済画像ｉｐｃ中で、対象ラベルＬｔの位置と向きと大きさとは、正常画像ｉｑ中の正常ラベルＬｓの位置と向きと大きさと、おおよそ同じである。なお、図中では、変換済画像ｉｐｃのうちの対象ラベルＬｔの外の部分の図示が省略されている。また、ホモグラフィ変換には、例えば、ＯｐｅｎＣＶの関数「cv2.warpPerspective」を使用可能である。
【0055】
Ｓ１９５（図３）では、プロセッサ１１０は、異常判断処理を実行する。この処理では、プロセッサ１１０は、変換済画像と正常画像とを比較することによって、異常の有無を判断する。
【0056】
図６は、異常判断処理の例を示すフローチャートである。Ｓ２１０では、プロセッサ１１０は、変換済画像のデータから複数のブロック画像のそれぞれのデータを取得する。図７（Ａ）－図７（Ｆ）は、複数のブロック画像の説明図である。本実施例では、複数のブロック画像のそれぞれの位置と大きさと形状とは、正常画像ｉｑを複数のブロックに分割することによって、予め決められている。図７（Ａ）は、正常画像ｉｑを表し、図７（Ｂ）は、正常画像ｉｑに含まれる複数のブロック画像ｑａ１－ｑａ９を表している（ブロック画像の内容の図示は、省略されている）。本実施例では、正常画像ｉｑは、第１方向Ｄｘに３等分され、第２方向Ｄｙに３等分されることによって、９個のブロック画像ｑａ１－ｑａ９に分割される。図７（Ｃ）は、図７（Ａ）の正常画像ｉｑから得られるブロック画像ｑａ１－ｑａ９のそれぞれの内容を表している。ブロック画像ｑａ１－ｑａ９は、正常ラベルＬｓの特定面ＳＦ１の互いに異なる一部分を表している。以下、正常画像ｉｑのブロック画像ｑａ１－ｑａ９を、正常ブロック画像ｑａ１－ｑａ９と呼ぶ。
【0057】
図７（Ｄ）は、変換済画像ｉｐｃを表している。変換済画像ｉｐｃ中には、輪郭ＬＯが示されている。この輪郭ＬＯは、正常画像ｉｑ（図７（Ａ））上の正常ラベルＬｓの輪郭ＬＯを、変換済画像ｉｐｃ上に重ねたものである（以下、輪郭ＬＯを、正常輪郭ＬＯと呼ぶ）。変換済画像ｉｐｃ上の正常輪郭ＬＯの位置は、正常画像ｉｑ上の正常輪郭ＬＯの位置と同じである。正常輪郭ＬＯは、対象ラベルＬｔの輪郭と、おおよそ一致している。
【0058】
図７（Ｅ）は、変換済画像ｉｐｃに含まれる複数のブロック画像ｐａ１－ｐａ９を表している（ブロック画像の内容の図示は、省略されている）。以下、変換済画像ｉｐｃのブロック画像ｐａ１－ｐａ９を、対象ブロック画像ｐａ１－ｐａ９と呼ぶ。対象ブロック画像ｐａ１－ｐａ９は、正常画像ｉｑ（図７（Ｂ））の正常ブロック画像ｑａ１－ｑａ９に、それぞれ対応付けられている。互いに対応付けられる対象ブロック画像と正常ブロック画像との間では、正常輪郭ＬＯに対する位置と大きさと形状とは、それぞれ同じである。例えば、正常輪郭ＬＯに対する第１対象ブロック画像ｐａ１の位置と大きさと形状とは、正常輪郭ＬＯに対する第１正常ブロック画像ｑａ１の位置と大きさと形状と、それぞれ同じである。
【0059】
図７（Ｆ）は、図７（Ｄ）の変換済画像ｉｐｃから得られる対象ブロック画像ｐａ１－ｐａ９のそれぞれの内容を表している。対象ブロック画像ｐａ１－ｐａ９は、対象ラベルＬｔの対象面ＳＦ１ｔの互いに異なる一部分を表している。図５（Ｃ）で説明したように、変換済画像ｉｐｃ中の対象ラベルＬｔの位置と向きと大きさとは、正常画像ｉｑ中の正常ラベルＬｓの位置と向きと大きさと、それぞれ、おおよそ同じである。従って、互いに対応付けられる対象ブロック画像と正常ブロック画像とは、ラベルＬｔ、Ｌｓの対象面ＳＦ１ｔ、ＳＦ１のおおよそ同じ部分を表している。例えば、対象ラベルＬｔの対象面ＳＦ１ｔのうちの第１対象ブロック画像ｐａ１によって表される部分は、正常ラベルＬｓの特定面ＳＦ１のうちの第１正常ブロック画像ｑａ１（図７（Ｃ））によって表される部分と、おおよそ同じである。なお、第１対象ブロック画像ｐａ１は、さらに、異常部分ＡＰを表している。
【0060】
【0061】
Ｓ２２０では、プロセッサ１１０は、複数の対象ブロック画像ｐａ１－ｐａ９から、未処理の対象ブロック画像を、処理対象のブロック画像である注目ブロック画像として選択する。
【0062】
Ｓ２３０では、プロセッサ１１０は、注目ブロック画像のデータを分析することによって、注目ブロック画像からキーポイントを検出する。キーポイントの検出方法は、Ｓ１３０（図３）の方法と同じである。本実施例では、プロセッサ１１０は、ＯＲＢのアルゴリズムに従って、複数のキーポイントと各キーポイントの特徴量記述子とを取得する。
【0063】
Ｓ２４０では、プロセッサ１１０は、注目ブロック画像と、注目ブロック画像に対応付けられる正常ブロック画像と、の間のキーポイントマッチングを行う。キーポイントマッチングの方法は、Ｓ１４０（図３）の方法と同じである。本実施例では、プロセッサ１１０は、注目ブロック画像の複数のキーポイントのそれぞれの特徴量記述子と、正常ブロック画像の複数のキーポイントのそれぞれの特徴量記述子と、を使用して、キーポイントマッチングを行う。
【0064】
本実施例では、正常ブロック画像ｑａ１－ｑａ９（図７（Ｂ））のそれぞれの複数のキーポイントと各キーポイントの特徴量記述子とは、Ｓ２３０の方法と同じ方法によって、予め取得済である。正常ブロックキーポイントＤ２（図１）のデータは、正常ブロック画像ｑａ１－ｑａ９のそれぞれの複数のキーポイントと、各キーポイントの特徴量記述子と、を表している。このような正常ブロックキーポイントＤ２のデータは、予め、記憶装置１１５（本実施例では、不揮発性記憶装置１３０）に格納されている。プロセッサ１１０は、正常ブロックキーポイントＤ２のデータを参照して、複数のキーポイントと、各キーポイントの特徴量記述子と、を取得する。
【0065】
図７（Ｇ）、図７（Ｈ）は、キーポイントマッチングの結果の例を示す図である。図７（Ｇ）は、注目ブロック画像が第２対象ブロック画像ｐａ２である場合を示している。プロセッサ１１０は、第２対象ブロック画像ｐａ２の複数のキーポイントｐａ２Ｋと、第２正常ブロック画像ｑａ２の複数のキーポイントｑａ２Ｋと、のマッチングを行う。図中の複数の線ＲＬは、それぞれ、適切なマッチングペアを示している。
【0066】
図７（Ｈ）は、注目ブロック画像が第１対象ブロック画像ｐａ１である場合を示している。第１対象ブロック画像ｐａ１からは、Ｓ２３０（図６）で、複数のキーポイントｐａ１Ｋが検出される。第１対象ブロック画像ｐａ１は、異常部分ＡＰを含んでいる。異常部分ＡＰは、対象面ＳＦ１ｔの本来の特徴的な部分を改変し得る。例えば、図７（Ｈ）の第１対象ブロック画像ｐａ１中では、「Ｘ」の文字の一部が、異常部分ＡＰによって隠されている。この結果、「Ｘ」の文字の特徴的な部分を示すキーポイントが、検出されない場合がある。また、異常部分ＡＰは、本来の対象面ＳＦ１ｔには無い新たな特徴部分を形成し得る。例えば、第１対象ブロック画像ｐａ１中では、異常部分ＡＰは、「Ａ」の文字の一部分と重なっている。この重なる部分から、新たなキーポイント（例えば、キーポイントｐａ１Ｋ１）が検出される場合がある。このように、検出されるべきではないキーポイントが、異常部分ＡＰに起因して、検出される場合がある。
【0067】
プロセッサ１１０は、第１対象ブロック画像ｐａ１の複数のキーポイントｐａ１Ｋと、第１正常ブロック画像ｑａ１の複数のキーポイントｑａ１Ｋと、のマッチングを行う。図中の複数の線ＲＬは、それぞれ、適切なマッチングペアを示している。図中の複数の線ＲＬｚは、それぞれ、不適切なマッチングペアを示している。不適切なマッチングペアが形成される可能性は、異常部分ＡＰに起因して、増大する。
【0068】
このように、注目ブロック画像が異常部分を含む場合（例えば、図７（Ｈ））、注目ブロック画像が異常部分を含まない場合（例えば、図７（Ｇ））と比べて、複数のマッチングペアの総数に対する不適切なマッチングペアの総数の割合は高くなり易い。
【0069】
【0070】
図８は、Ｓ２５０で算出されるホモグラフィ行列の例を示している。９個のホモグラフィ行列Ｈａ１－Ｈａ９は、９個の対象ブロック画像ｐａ１－ｐａ９に、それぞれ対応している。ホモグラフィ行列Ｈａ１－Ｈａ９は、対象ブロック画像ｐａ１－ｐａ９（図７（Ｆ））上の位置と、対応する正常ブロック画像ｑａ１－ｑａ９（図７（Ｃ））上の位置と、の間の対応関係を示している。図中では、ホモグラフィ行列の９個の要素のうち、第１部分行列ＳＭ１（図５（Ａ））の４個の要素が示されている。Ｓ１９０（図３）、図５（Ｃ）で説明したように、正常画像ｉｑと変換済画像ｉｐｃとの間では、ラベルＬｓ、Ｌｔの位置と向きと大きさとはおおよそ同じである。互いに対応付けられる対象ブロック画像と正常ブロック画像との間では、回転角度はおおよそゼロであり、スケーリング倍率はおおよそ１であり、スキューの角度はおおよそゼロである。従って、第１部分行列ＳＭ１が単位行列であることが、期待される。
【0071】
ホモグラフィ行列の算出には、不適切なマッチングペアが使用され得る。以下、ホモグラフィ行列の算出に使用される複数のマッチングペアのうち、不適切なマッチングペアの数の割合を、不適切ペア割合と呼ぶ。第２対象ブロック画像ｐａ２（図７（Ｇ））のように、対象ブロック画像中の異常部分の割合が小さい場合、異常部分の割合が大きい場合と比べて、不適切ペア割合が小さいことが期待される。不適切ペア割合が小さい場合、不適切ペア割合が大きい場合と比べて、第１部分行列ＳＭ１と単位行列との間の差は小さい。図７（Ｆ）に示すように、第１対象ブロック画像ｐａ１以外の８個の対象ブロック画像ｐａ２－ｐａ９では、異常部分の割合が小さい（７個の対象ブロック画像ｐａ２、ｐａ３、ｐａ５－ｐａ９は、異常部分を含んでいない）。これら８個の対象ブロック画像ｐａ２－ｐａ９に対応する８個のホモグラフィ行列Ｈａ２－Ｈａ９（図８）の８個の第１部分行列ＳＭ１は、それぞれ、単位行列に近い。具体的には、２個の対角成分（要素ｈ１１、ｈ２２（図５（Ａ）））は、おおよそ１であり、他の２個の成分（ｈ１２、ｈ２１（図５（Ａ）））は、おおよそゼロである。
【0072】
第１対象ブロック画像ｐａ１（図７（Ｈ））のように、対象ブロック画像中の異常部分の割合が大きい場合、異常部分の割合が小さい場合と比べて、不適切ペア割合が大きいことが期待される。不適切ペア割合が大きい場合、不適切ペア割合が小さい場合と比べて、第１部分行列ＳＭ１と単位行列との間の差は大きい。第１対象ブロック画像ｐａ１に対応するホモグラフィ行列Ｈａ１（図８）の第１部分行列ＳＭ１と、単位行列と、の間の差は大きい。具体的には、対角成分（要素ｈ１１、ｈ２２（図５（Ａ）））と１との間の差が大きく、他の成分（ｈ１２、ｈ２１（図５（Ａ）））とゼロとの間の差が大きい。
【0073】
Ｓ２６０（図６）では、プロセッサ１１０は、全ての対象ブロック画像が処理されたか否かを判断する。未処理の対象ブロック画像が残っている場合（Ｓ２６０：Ｎｏ）、プロセッサ１１０は、Ｓ２２０へ移行して、新たな対象ブロック画像を処理する。
【0074】
全ての対象ブロック画像の処理が完了した場合（Ｓ２６０：Ｙｅｓ）、Ｓ２７０で、プロセッサ１１０は、全ての対象ブロック画像のそれぞれのホモグラフィ行列の異常指標値Ａｄを算出する。図９（Ａ）－図９（Ｃ）は、異常指標値Ａｄの算出式の例の説明図である。図９（Ａ）には、２個の行列Ｍａ、Ｍｂと、単位行列ＩＭと、が示されている。これらの行列Ｍａ、Ｍｂ、ＩＡは、ホモグラフィ行列と同様に、３行３列の行列である。図中では、第１部分行列ＳＭ１の４個の要素が示されている。行列Ｍａ、Ｍｂの要素ａｉｊ、ｂｉｊは、それぞれ、ｉ行ｊ列の要素を示している。
【0075】
図９（Ｂ）は、２個の行列Ｍａ、Ｍｂの間の距離ｄの算出式の例を示している。本実施例では、距離ｄは、第１部分行列ＳＭ１の４個の要素のそれぞれの差の絶対値の和である。
【0076】
図９（Ｃ）は、ホモグラフィ行列Ｈの異常指標値Ａｄの算出式の例を示している。本実施例では、ホモグラフィ行列Ｈの異常指標値Ａｄは、ホモグラフィ行列Ｈと単位行列ＩＭとの間の距離ｄを示している。異常指標値Ａｄは、対角成分ｈ１１と「１」との間の差の絶対値と、対角成分ｈ２２と「１」との間の差の絶対値と、他の２個の成分ｈ１２、ｈ２１のそれぞれの絶対値と、の和である。このような異常指標値Ａｄは、ホモグラフィ行列Ｈと単位行列ＩＭとの間のズレが大きいほど、大きい。例えば、ホモグラフィ行列Ｈａ１（図８）の異常指標値Ａｄは、他のホモグラフィ行列Ｈａ２－Ｈａ９の異常指標値Ａｄと比べて、大きくなる。
【0077】
Ｓ２８０（図６）では、プロセッサ１１０は、異常ブロック検出処理を実行する。図１０は、異常ブロック検出処理の例を示すフローチャートである。図１０の処理は、１個の対象ブロック画像のための処理を示している。プロセッサ１１０は、複数の対象ブロック画像ｐａ１－ｐａ９のそれぞれに対して、図１０の処理を実行する。
【0078】
Ｓ３１０では、プロセッサ１１０は、対象ブロック画像の異常指標値Ａｄが閾値Ａｄｔｈ以上であるか否かを判断する。異常指標値Ａｄが閾値Ａｄｔｈ以上である場合（Ｓ３１０：Ｙｅｓ）、Ｓ３２０で、プロセッサ１１０は、対象ブロック画像が異常部分を有する異常ブロック画像であると判断し、図１０の処理を終了する。異常指標値Ａｄが閾値Ａｄｔｈ未満である場合（Ｓ３１０：Ｎｏ）、Ｓ３３０で、プロセッサ１１０は、対象ブロック画像は異常ブロック画像ではないと判断し、図１０の処理を終了する。
【0079】
閾値Ａｄｔｈは、異常部分を含む対象ブロック画像の異常指標値Ａｄが閾値Ａｄｔｈ以上であり、異常部分を含まない対象ブロック画像の異常指標値Ａｄが閾値Ａｄｔｈ未満であるように、予め実験的に決定される。これにより、異常部分ＡＰを含む第１対象ブロック画像ｐａ１（図７（Ｆ））の異常指標値Ａｄは、閾値Ａｄｔｈ以上であり得る。他の対象ブロック画像ｐａ２－ｐａ９の異常指標値Ａｄは、閾値Ａｄｔｈ未満であり得る。
【0080】
Ｓ２９０（図６）では、プロセッサ１１０は、異常ブロック画像を示すデータを出力する。例えば、プロセッサ１１０は、変換済画像ｉｐｃと、変換済画像ｉｐｃ上の異常ブロック画像と、を表す結果画像のデータを表示部１４０に出力することによって、結果画像を表示部１４０に表示させる。図１１は、表示部１４０に表示される結果画像の例を示している。結果画像ｉｐｃｄは、対象ラベルＬｔと、異常ブロック画像を示すマークＡｚと、を表している。図１１の例では、マークＡｚは、異常ブロック画像（ここでは、第１対象ブロック画像ｐａ１）の輪郭を示している。作業者は、結果画像ｉｐｃｄを観察することによって、マークＡｚによって示される異常部分ＡＰを、容易に認識できる。また、プロセッサ１１０は、異常ブロック画像を示す結果データ（例えば、異常ブロック画像の識別番号を示すデータ）を、記憶装置１１５（例えば、不揮発性記憶装置１３０）に出力してよい。すなわち、プロセッサ１１０は、結果データを記憶装置に格納してよい。結果データは、異常ブロック画像の検出結果を参照する種々の処理に使用可能である。例えば、異常部分を有するラベルが貼付された製品３００を製造ラインから取り除く処理が、結果データを参照して行われてよい。
【0081】
【0082】
以上のように、本実施例では、データ処理装置１００（図１）のプロセッサ１１０は、以下の処理を実行する。Ｓ１１０（図３）では、プロセッサ１１０は、二次元の撮影画像ｉｐ（図４（Ａ））のデータを取得する。撮影画像ｉｐは、対象ラベルＬｔの特定面ＳＦ１ｔを表している。対象ラベルＬｔは、処理対象のオブジェクトである対象オブジェクトの例である。Ｓ１３０、Ｓ１４０では、プロセッサ１１０は、撮影画像ｉｐと正常画像ｉｑとの間のキーポイントマッチングを行う。正常画像ｉｑは、正常な特定面ＳＦ１（図２（Ｂ））を表している。なお、本実施例では、正常画像ｉｑのキーポイントを表す正常キーポイントＤ１（図１）のデータが、予め準備されている。従って、正常画像ｉｑからキーポイントを検出する処理は、省略される。Ｓ１５０、Ｓ１９０では、プロセッサ１１０は、撮影画像ｉｐに対して、キーポイントマッチングの結果に従ってホモグラフィ変換を行うことによって、変換済画像ｉｐｃ（図５（Ｃ））のデータを生成する。撮影画像ｉｐは、ホモグラフィ変換の対象の画像である第１画像の例である。正常画像ｉｑは、撮影画像ｉｐと正常画像ｉｑとのうちの第１画像（ここでは、撮影画像ｉｐ）とは異なる第２画像の例である。
【0083】
Ｓ１９５では、プロセッサ１１０は、正常画像ｉｑと変換済画像ｉｐｃとを比較して、対象ラベルＬｔの特定面ＳＦ１ｔが異常を有するか否かを判断する異常判断処理を実行する。本実施例では、Ｓ１９５の処理は、Ｓ２３０、Ｓ２４０、Ｓ２５０（図６）を含んでいる。Ｓ２３０、Ｓ２４０、Ｓ２５０では、プロセッサ１１０は、変換済画像ｉｐｃの対象ブロック画像ｐａ１－ｐａ９（図７（Ｆ））と、正常画像ｉｑの正常ブロック画像ｑａ１－ｑａ９（図７（Ｃ））と、を対応付けるホモグラフィ行列Ｈａ１－Ｈａ９（図８）を算出する。ホモグラフィ行列Ｈａ１－Ｈａ９は、変換済画像ｉｐｃと正常画像ｉｑとの間の差異に応じて変化する。ホモグラフィ行列Ｈａ１－Ｈａ９は、変換済画像ｉｐｃと正常画像ｉｑとの比較結果の例である。
【0084】
Ｓ１９５の処理は、さらに、Ｓ２７０、Ｓ２８０（図６）を含んでいる。Ｓ２７０、Ｓ２８０では、プロセッサ１１０は、ホモグラフィ行列Ｈａ１－Ｈａ９を使用して、対象ブロック画像ｐａ１－ｐａ９が異常ブロックであるか否かを判断する。
【0085】
このように、プロセッサ１１０は、ホモグラフィ変換による変換済画像ｉｐｃと、正常画像ｉｑと、を比較して、対象ラベルＬｔの対象面ＳＦ１ｔが異常を有するか否かを判断する。ホモグラフィ変換によって、撮影画像ｉｐと正常画像ｉｑとの間の投影平面の差異が異常の判断に与える影響は、緩和される。例えば、撮影装置４００（図２（Ａ））が矩形の対象ラベルＬｔを斜めの方向から撮影する場合、撮影画像ｉｐ上では、対象ラベルＬｔの形状は矩形と異なる形状（例えば、台形）であり得る。撮影画像ｉｐ上の対象ラベルＬｔの形状と、正常画像ｉｑ上の正常ラベルＬｓの形状と、の間の差異は、異常の判断に影響し得る。本実施例では、ホモグラフィ変換による変換済画像ｉｐｃと正常画像ｉｑとが比較されるので、撮影画像ｉｐと正常画像ｉｑとの間のラベルＬｔ、Ｌｓの形状の差異（すなわち、投影平面の差異）の影響は、緩和される。
【0086】
また、ホモグラフィ行列Ｈ、Ｈａ１－Ｈａ９は、機械学習モデルの訓練のような高い負荷の準備をせずに、算出可能である。本実施例では、対象面ＳＦ１ｔが異常を有するか否かの判断に機械学習モデルを使用する場合と比べて、準備の負担を軽減できる。
【0087】
また、本実施例では、Ｓ１９５（図３）の処理は、図６のＳ２１０、Ｓ２３０、Ｓ２４０、Ｓ２５０、Ｓ２７０、Ｓ２８０を含んでいる。Ｓ２１０では、図７（Ｄ）－図７（Ｆ）に示すように、プロセッサ１１０は、Ｎ個（本実施例では、Ｎ＝９）の対象ブロック画像ｐａ１－ｐａ９を、変換済画像ｉｐｃから取得する。対象ブロック画像は、変換済画像から取得される第１種部分画像の例である。Ｎ個の対象ブロック画像ｐａ１－ｐａ９は、変換済画像ｉｐｃによって表される対象面ＳＦ１ｔのうちの互いに異なる部分を含んでいる。
【0088】
Ｓ２３０、Ｓ２４０では、プロセッサ１１０は、互いに対応付けられる対象ブロック画像と正常ブロック画像とのＮ個の組み合わせのそれぞれのキーポイントマッチングを行う。正常ブロック画像ｑａ１－ｑａ９（図７（Ｃ））は、キーポイントマッチングによって第１種部分画像（本実施例では、対象ブロック画像）と照合される第２種部分画像の例である。Ｎ個の組み合わせを形成するＮ個の正常ブロック画像ｑａ１－ｑａ９は、正常画像ｉｑによって表される特定面ＳＦ１のうちの互いに異なる部分を含んでいる。正常ブロック画像に含まれる特定面ＳＦ１の部分は、正常ブロック画像に対応付けられる対象ブロック画像に含まれる対象面ＳＦ１ｔの部分と共通する部分を含んでいる。例えば、特定面ＳＦ１（図７（Ｃ））のうちの第１正常ブロック画像ｑａ１に含まれる部分は、対象面ＳＦ１ｔ（図７（Ｆ））のうちの第１対象ブロック画像ｐａ１に含まれる部分と共通する部分（ここでは、「ＥＸＡ」の文字を表す部分）を含んでいる。
【0089】
Ｓ２５０では、プロセッサ１１０は、キーポイントマッチングのＮ個の結果に従ってＮ個のホモグラフィ行列Ｈａ１－Ｈａ９（図８）を算出する。Ｓ２７０では、プロセッサ１１０は、Ｎ個のホモグラフィ行列Ｈａ１－Ｈａ９（図８）のそれぞれの異常指標値Ａｄを算出する。図９（Ａ）－図９（Ｃ）で説明したように、異常指標値Ａｄは、ホモグラフィ行列と単位行列ＩＭとの間の差異の程度を示している。
【0090】
Ｓ２８０では、プロセッサ１１０は、異常指標値Ａｄと閾値Ａｄｔｈとを比較することによって（図１０：Ｓ３１０）、対象ブロック画像が異常ブロック画像であるか否かを判断する。この判断は、Ｎ個の対象ブロック画像ｐａ１－ｐａ９のそれぞれに対して、行われる。１個以上の対象ブロック画像が異常ブロック画像であるという判断結果は、対象ラベルＬｔの対象面ＳＦ１ｔが異常を有するという判断結果を示している。全ての対象ブロック画像が異常ブロック画像ではないという判断結果は、対象ラベルＬｔの対象面ＳＦ１ｔが異常を有していないという判断結果を示している。このように、プロセッサ１１０は、Ｎ個のホモグラフィ行列Ｈａ１－Ｈａ９を使用して、対象ラベルＬｔの対象面ＳＦ１ｔが異常を有するか否かを判断している。
【0091】
このように、プロセッサ１１０は、ホモグラフィ行列Ｈａ１－Ｈａ９と単位行列ＩＭとの間の差異の程度を示す異常指標値Ａｄと、差異の程度の基準を示す閾値Ａｄｔｈ、との比較によって、対象面ＳＦ１ｔが異常を有するか否かを適切に判断できる。
【0092】
また、本実施例では、プロセッサ１１０は、キーポイントを使用して、対象面ＳＦ１ｔが異常を有するか否かを判断する。従って、撮影画像ｉｐがボケやノイズを含む場合であっても、適切な判断が可能である。
【0093】
なお、変換済画像ｉｐｃ（図５（Ｃ））は、撮影画像ｉｐのホモグラフィ変換によって生成される。変換済画像ｉｐｃと撮影画像ｉｐとは、同じシーン（ここでは、撮影された対象ラベルＬｔ）を表している（ただし、投影平面は、変換済画像ｉｐｃと撮影画像ｉｐとの間で異なっている）。このように、変換済画像ｉｐｃは、撮影画像の一種である。以下、撮影画像ｉｐを、第１種撮影画像ｉｐとも呼び、変換済画像ｉｐｃを、第２種撮影画像ｉｐｃとも呼ぶ。変換済画像ｉｐｃが撮影画像の一種であるという観点から本実施例を見ると、本実施例の説明において、「変換済画像ｉｐｃ」は、「第２種撮影画像ｉｐｃ」に読み替えられてよい。プロセッサ１１０は、このような読み替えによって説明される処理を、実行する。Ｓ１１０－Ｓ１９０（図３）では、プロセッサ１１０は、対象ラベルＬｔの特定面ＳＦ１ｔの第２種撮影画像ｉｐｃのデータを取得する。Ｓ１９５では、プロセッサ１１０は、第２種撮影画像ｉｐｃと正常画像ｉｑとを比較して、対象ラベルＬｔの特定面ＳＦ１ｔが異常を有するか否かを判断する異常判断処理を実行する。
【0094】
Ｓ１９５の処理は、図６のＳ２１０、Ｓ２３０、Ｓ２４０、Ｓ２５０、Ｓ２７０、Ｓ２８０を含んでいる。これらのステップでは、Ｎ個（本実施例では、Ｎ＝９）の対象ブロック画像ｐａ１－ｐａ９（図７（Ｄ）－図７（Ｆ））と、Ｎ個の正常ブロック画像ｑａ１－ｑａ９（図７（Ａ）－図７（Ｃ））とが、使用される。Ｎ個の対象ブロック画像ｐａ１－ｐａ９は、第２種撮影画像ｉｐｃから取得される第１種部分画像の例である。Ｎ個の正常ブロック画像ｑａ１－ｑａ９は、キーポイントマッチングによって第１種部分画像（本実施例では、対象ブロック画像）と照合される第２種部分画像の例である。
【0095】
Ｓ２１０、Ｓ２３０、Ｓ２４０、Ｓ２５０、Ｓ２７０、Ｓ２８０について上述したように、プロセッサ１１０は、ホモグラフィ行列Ｈａ１－Ｈａ９と単位行列ＩＭとの間の差異の程度を示す異常指標値Ａｄと、差異の程度の基準を示す閾値Ａｄｔｈ、との比較によって、対象面ＳＦ１ｔが異常を有するか否かを適切に判断できる。ここで、ホモグラフィ行列Ｈａ１－Ｈａ９は、第２種撮影画像ｉｐｃと正常画像ｉｑとを使用して、算出される。
【0096】
また、「変換済画像ｉｐｃ」を「第２種撮影画像ｉｐｃ」に読み替えるか否かに拘わらず、本実施例では、Ｎ個のホモグラフィ行列Ｈａ１－Ｈａ９（図８）は、以下のように説明可能である。Ｎ個のホモグラフィ行列Ｈａ１－Ｈａ９のそれぞれは、２行２列の要素で構成される第１部分行列ＳＭ１を含んでいる。図５（Ａ）、図５（Ｂ）で説明したように、第１部分行列ＳＭ１は、変換前の２次元座標系と変換後の二次元座標系との間の回転とスケーリングと含む座標変換を表している。すなわち、Ｎ個のホモグラフィ行列Ｈａ１－Ｈａ９のそれぞれの第１部分行列ＳＭ１は、対象ブロック画像上の位置を示す二次元座標系と、正常ブロック画像上の位置を示す二次元座標系と、の間の回転とスケーリングとを含む座標変換を表している。
【0097】
Ｓ２７０（図６）、図９（Ａ）－図９（Ｃ）で説明したように、異常指標値Ａｄは、２行２列の第１部分行列ＳＭ１と、２行２列の単位行列と、の間の差異の程度を示している。第２対象ブロック画像ｐａ２（図７（Ｇ））のように、対象ブロック画像中の異常部分の割合が小さい場合、第１部分行列ＳＭ１と単位行列との間の差が小さいことが期待される。第１対象ブロック画像ｐａ１（図７（Ｈ））のように、対象ブロック画像中の異常部分の割合が大きい場合、第１部分行列ＳＭ１と単位行列との間の差が大きいことが期待される。プロセッサ１１０は、このような異常指標値Ａｄを使用することによって、対象ラベルＬｔの対象面ＳＦ１ｔが異常を有するか否かを適切に判断できる。
【0098】
Ｂ．第２実施例：
図１２（Ａ）－図１２（Ｆ）は、図１３（Ａ）－図１３（Ｆ）は、図６の異常判断処理で使用される複数のブロック画像の別の実施例を示す図である。図７（Ｂ）、図７（Ｅ）の第１実施例との差異は、複数のブロック画像が、１以上の他のブロック画像と部分的に重なる重畳ブロック画像を含む点である。複数のブロック画像の構成が異なる点を除いて、異常判断処理は、第１実施例の異常判断処理と同じである。
図１２（Ａ）－図１２（Ｆ）は、図１３（Ａ）－図１３（Ｆ）は、図６の異常判断処理で使用される複数のブロック画像の別の実施例を示す図である。図７（Ｂ）、図７（Ｅ）の第１実施例との差異は、複数のブロック画像が、１以上の他のブロック画像と部分的に重なる重畳ブロック画像を含む点である。複数のブロック画像の構成が異なる点を除いて、異常判断処理は、第１実施例の異常判断処理と同じである。
【0099】
図１２（Ａ）－図１２（Ｄ）は、正常画像ｉｑに含まれる複数の正常ブロック画像ｑａ１－ｑａ９、ｑｂ１－ｑｂ６、ｑｃ１－ｑｃ６、ｑｄ１－ｑｄ４を、それぞれ表している（ブロック画像の内容の図示は、省略されている）。図１２（Ａ）の正常ブロック画像ｑａ１－ｑａ９は、図７（Ｂ）の正常ブロック画像ｑａ１－ｑａ９と、それぞれ同じである。以下、正常ブロック画像ｑａ１－ｑａ９を、第１種正常ブロック画像ｑａ１－ｑａ９と呼ぶ。
【0100】
図１２（Ｂ）の第２種正常ブロック画像ｑｂ１－ｑｂ６の領域は、図１２（Ａ）の第１種正常ブロック画像ｑａ１、ｑａ２、ｑａ４、ｑａ５、ｑａ７、ｑａ８の領域を第１方向Ｄｘに移動させることによって、それぞれ形成される。移動量は、１個のブロック画像の第１方向Ｄｘの長さの半分である。
【0101】
図１２（Ｃ）の第３種正常ブロック画像ｑｃ１－ｑｃ６の領域は、図１２（Ａ）の第１種正常ブロック画像ｑａ１－ｑａ６の領域を第２方向Ｄｙに移動させることによって、それぞれ形成される。移動量は、１個のブロック画像の第２方向Ｄｙの長さの半分である。
【0102】
図１２（Ｄ）の第４種正常ブロック画像ｑｄ１－ｑｄ４の領域は、図１２（Ｂ）の第２種正常ブロック画像ｑｂ１－ｑｂ４の領域を第２方向Ｄｙに移動させることによって、それぞれ形成される。移動量は、１個のブロック画像の第２方向Ｄｙの長さの半分である。
【0103】
このように、第１種と第２種と第３種と第４種との正常ブロック画像の間では、形状と大きさとは、それぞれ同じである。また、第１種と第２種と第３種と第４種との正常ブロック画像の間では、第１方向Ｄｘの位置のズレ量と、第２方向Ｄｙの位置のズレ量と、のうちの一方、または、両方が、１個のブロック画像の長さの倍数に１個のブロック画像の長さの半分を加算した値である。従って、１個のブロック画像は、１以上の他の種類のブロック画像と、部分的に重なっている。図１２（Ｅ）は、４種類のブロック画像ｑａ１、ｑｂ１、ｑｃ１、ｑｄ１を表している。これらのブロック画像ｑａ１、ｑｂ１、ｑｃ１、ｑｄ１は、互いに部分的に重なっている。共通部分ｑ１ｏは、ブロック画像ｑａ１、ｑｂ１、ｑｃ１、ｑｄ１に共通である。
【0104】
図１２（Ｆ）は、４種類のブロック画像ｑａ１、ｑｂ１、ｑｃ１、ｑｄ１のそれぞれの内容を表している。これらの正常ブロック画像ｑａ１、ｑｂ１、ｑｃ１、ｑｄ１は、特定面ＳＦ１の互いに異なる一部分を表している。例えば、第１種正常ブロック画像ｑａ１は、「ＥＸＡ」の文字（特に「Ｅ」の文字）を含み、「ＥＸＡ」に続く「Ｍ」の文字を含んでいない。第２種正常ブロック画像ｑｂ１は、「Ｅ」の文字を含んでおらず、「Ｅ」に続く「ＸＡＭ」の文字（特に「Ｍ」の文字）を含んでいる。このように、正常ブロック画像ｑａ１、ｑｂ１は、特定面ＳＦ１の互いに異なる部分を表している。部分的に重なる２つの正常ブロック画像の他の組み合わせも、同様に、特定面ＳＦ１の互いに異なる部分を表している。
【0105】
図示を省略するが、正常ブロック画像ｑａ１、ｑｂ１、ｑｃ１、ｑｄ１とは異なる他の正常ブロック画像も、１以上の他の種類の正常ブロックの画像と、部分的に重なっている。
【0106】
図１３（Ａ）－図１３（Ｄ）は、変換済画像ｉｐｃに含まれる複数の対象ブロック画像ｐａ１－ｐａ９、ｐｂ１－ｐｂ６、ｐｃ１－ｐｃ６、ｐｄ１－ｐｄ４を、それぞれ表している（ブロック画像の内容の図示は、省略されている）。これらの対象ブロック画像ｐａ１－ｐａ９、ｐｂ１－ｐｂ６、ｐｃ１－ｐｃ６、ｐｄ１－ｐｄ４は、図１２（Ａ）－図１２（Ｄ）の正常ブロック画像ｑａ１－ｑａ９、ｑｂ１－ｑｂ６、ｑｃ１－ｑｃ６、ｑｄ１－ｑｄ４に、それぞれ対応付けられている。互いに対応付けられる対象ブロック画像と正常ブロック画像との間では、正常輪郭ＬＯに対する位置と大きさと形状とは、共通である。以下、図１３（Ａ）、図１３（Ｂ）、図１３（Ｃ）、図１３（Ｄ）の対象ブロック画像を、それぞれ、第１種、第２種、第３種、第４種の対象ブロック画像と、呼ぶ。
【0107】
図１３（Ｅ）は、４種類のブロック画像ｐａ１、ｐｂ１、ｐｃ１、ｐｄ１を表している。これらのブロック画像ｐａ１、ｐｂ１、ｐｃ１、ｐｄ１は、互いに部分的に重なっている。共通部分ｐ１ｏは、ブロック画像ｐａ１、ｐｂ１、ｐｃ１、ｐｄ１に共通である。
【0108】
図１３（Ｆ）は、４種類のブロック画像ｐａ１、ｐｂ１、ｐｃ１、ｐｄ１のそれぞれの内容を表している。図１２（Ｆ）の正常ブロック画像ｑａ１、ｑｂ１、ｑｃ１、ｑｄ１と同様に、これらの対象ブロック画像ｐａ１、ｐｂ１、ｐｃ１、ｐｄ１は、対象面ＳＦ１ｔの互いに異なる一部分を表している。
【0109】
図示を省略するが、対象ブロック画像ｐａ１、ｐｂ１、ｐｃ１、ｐｄ１とは異なる他の対象ブロック画像も、１以上の他の種類の対象ブロックの画像と、部分的に重なっている。
【0110】
図５（Ｃ）で説明したように、変換済画像ｉｐｃ中の対象ラベルＬｔの位置と大きさとは、正常画像ｉｑ中の正常ラベルＬｓの位置と大きさと、それぞれ、おおよそ同じである。従って、互いに対応付けられる対象ブロック画像と正常ブロック画像とは、ラベルＬｔ、Ｌｓの対象面ＳＦ１ｔ、ＳＦ１のおおよそ同じ部分を表している。例えば、対象ラベルＬｔの対象面ＳＦ１ｔのうちの対象ブロック画像ｐｄ１（図１３（Ｆ））によって表される部分は、正常ラベルＬｓの特定面ＳＦ１のうちの正常ブロック画像ｑｄ１（図１２（Ｆ））によって表される部分と、おおよそ同じである。対象ブロック画像ｐｄ１は、さらに、異常部分ＡＰを表している。
【0111】
Ｓ２１０（図６）では、プロセッサ１１０は、２５個の対象ブロック画像ｐａ１－ｐａ９、ｐｂ１－ｐｂ６、ｐｃ１－ｐｃ６、ｐｄ１－ｐｄ４（図１３（Ａ）－図１３（Ｄ））を、変換済画像ｉｐｃから取得する。プロセッサ１１０は、２５個の対象ブロック画像と２５個の正常ブロック画像とで構成される２５組のブロック画像ペアのそれぞれに対して、Ｓ２２０－Ｓ２６０の処理を実行する。
【0112】
２５個の正常ブロック画像のそれぞれの複数のキーポイントと各キーポイントの特徴量記述子とは、Ｓ２３０の方法と同じ方法によって、予め取得済である。本実施例では、正常ブロックキーポイントＤ２（図１）のデータは、２５個の正常ブロック画像のそれぞれの複数のキーポイントと、各キーポイントの特徴量記述子と、を表している。このような正常ブロックキーポイントＤ２のデータは、予め、記憶装置１１５（本実施例では、不揮発性記憶装置１３０）に格納されている。
【0113】
Ｓ２７０（図６）では、プロセッサ１１０は、２５個のホモグラフィ行列のそれぞれの異常指標値Ａｄを算出する。Ｓ２８０では、プロセッサ１１０は、２５個の対象ブロック画像のそれぞれに対して、図１０の処理を実行する。Ｓ２９０では、プロセッサ１１０は、異常ブロック画像を示すデータを出力する。図１３（Ｇ）は、表示部１４０に表示される結果画像の例を示している。結果画像ｉｐｃｄは、対象ラベルＬｔと、異常ブロック画像を示すマークＡｚと、を表している。図１３（Ｇ）の例では、マークＡｚは、異常ブロック画像（ここでは、対象ブロック画像ｐａ１、ｐｂ１、ｐｃ１、ｐｄ１を含む領域）の輪郭を示している。
【0114】
以上のように、本実施例では、対象ブロック画像ｐａ１－ｐａ９、ｐｂ１－ｐｂ６、ｐｃ１－ｐｃ６、ｐｄ１－ｐｄ４は、変換済画像から取得される第１種部分画像の例である。正常ブロック画像ｑａ１－ｑａ９、ｑｂ１－ｑｂ６、ｑｃ１－ｑｃ６、ｑｄ１－ｑｄ４は、キーポイントマッチングによって第１種部分画像（本実施例では、対象ブロック画像）と照合される第２種部分画像の例である。
【0115】
図１３（Ａ）－図１３（Ｆ）で説明したように、Ｎ個（本実施例では、Ｎ＝２５）の対象ブロック画像は、それぞれ、１以上の他の対象ブロック画像と部分的に重なっている。１以上の他の対象ブロック画像と部分的に重なる対象ブロック画像を、第１種重畳部分画像と呼ぶ。Ｎ個の対象ブロック画像は、Ｌ個の第１種重畳部分画像を含み得る（Ｌは、２以上、Ｎ以下の整数）。本実施例では、Ｎ個の対象ブロック画像のそれぞれが、第１種重畳部分画像の例である（Ｌ＝Ｎ）。
【0116】
また、図１２（Ａ）－図１２（Ｄ）、図１３（Ａ）－図１３（Ｄ）で説明したように、対象ブロック画像の位置と大きさと形状とは、対象ブロック画像に対応付けられる正常ブロック画像の位置と大きさと形状と、それぞれ同じである。すなわち、第１種重畳部分画像（本実施例では、対象ブロック画像）に対応付けられる正常ブロック画像である第２種重畳部分画像は、１以上の他の正常ブロック画像と部分的に重なっている（図１２（Ｅ）、図１２（Ｆ））。本実施例では、Ｎ個の正常ブロックのそれぞれが、第２種重畳部分画像の例である。
【0117】
図１２（Ｅ）、図１２（Ｆ）に示すように、正常ブロック画像ｑａ１には、１以上（本実施例では、３個）の他の正常ブロック画像ｑｂ１、ｑｃ１、ｑｄ１が、部分的に重なっている。図１３（Ｆ）の対象ブロック画像ｐａ１は、図１２（Ｆ）の正常ブロック画像ｑａ１に対応付けられている。この対象ブロック画像ｐａ１には、１以上（本実施例では、３個）の他の対象ブロック画像ｐｂ１、ｐｃ１、ｐｄ１が、部分的に重なっている。対象ブロック画像ｐａ１に部分的に重なる対象ブロック画像ｐｂ１、ｐｃ１、ｐｄ１は、正常ブロック画像ｑａ１（図１２（Ｆ））に部分的に重なる正常ブロック画像ｑｂ１、ｑｃ１、ｑｄ１に、それぞれ対応付けられている。このように、第２種重畳部分画像（例えば、正常ブロック画像ｑａ１）に部分的に重なる１以上の他の正常ブロック画像（例えば、正常ブロック画像ｑｂ１、ｑｃ１、ｑｄ１）は、第２種重畳部分画像に対応付けられる第１種重畳部分画像（例えば、対象ブロック画像ｐａ１）に部分的に重なる１以上の他の対象ブロック画像（例えば、対象ブロック画像ｐｂ１、ｐｃ１、ｐｄ１）に、それぞれ対応付けられている。
【0118】
従って、対象ラベルＬｔの対象面ＳＦ１ｔが異常部分ＡＰを含む場合に、複数の対象ブロック画像のそれぞれが、異常部分ＡＰの一部または全部を表し得る。そして、プロセッサ１１０は、対象ブロック画像と正常ブロック画像との複数の組み合わせのそれぞれから、対象ブロック画像が異常部分を有するという判断結果を導き得る。このように、プロセッサ１１０は、対象面ＳＦ１ｔが異常部分を有するか否かを適切に判断できる。例えば、図１３（Ｆ）の実施例では、４個の対象ブロック画像ｐａ１、ｐｂ１、ｐｃ１、ｐｄ１のそれぞれが、異常部分ＡＰの一部を表している。この場合、プロセッサ１１０は、対象ブロック画像と正常ブロック画像との４個の組み合わせ「ｐａ１－ｑａ１」、「ｐｂ１－ｑｂ１」、「ｐｃ１－ｑｃ１」、「ｐｄ１－ｑｄ１」のそれぞれから、対象ブロック画像が異常部分を有するという判断結果を導き得る。仮に、１個の組み合わせ「ｐａ１－ｑａ１」から、対象ブロック画像は異常ブロック画像ではないという判断結果が得られたとしても、他の組み合わせから、対象ブロック画像は異常ブロック画像であるという判断結果が得られ得る。このように、異常部分を見逃す可能性は、低減する。
【0119】
また、複数の対象ブロック画像のそれぞれが異常部分の一部または全部を含む場合に、プロセッサ１１０は、それら複数の対象ブロック画像を異常ブロック画像として検出可能である。従って、図１３（Ｇ）のマークＡｚのように、プロセッサ１１０は、異常部分の全体を含む領域を、検出できる。
【0120】
また、上述したように、変換済画像ｉｐｃは、撮影画像の一種である。この観点から本実施例を見ると、本実施例の説明において、「変換済画像ｉｐｃ」は、「第２種撮影画像ｉｐｃ」に読み替えられてよい。この場合、対象ブロック画像（例えば、対象ブロック画像ｐａ１（図１３（Ｆ）））は、第２種撮影画像ｉｐｃから取得される第１種部分画像の例である。正常ブロック画像（例えば、正常ブロック画像ｑａ１（図１２（Ｆ）））は、キーポイントマッチングによって第１種部分画像（本実施例では、対象ブロック画像）と照合される第２種部分画像の例である。そして、プロセッサ１１０は、上述したように、Ｌ個の第１種重畳部分画像を含むＮ個の第１種部分画像（ここでは、対象ブロック画像）と、Ｌ個の第２種重畳部分画像を含むＮ個の第２種部分画像（ここでは、正常ブロック画像）と、を使用することによって、対象面ＳＦ１ｔが異常部分を有するか否かを適切に判断できる。
【0121】
Ｃ．第３実施例：
図１４（Ａ）は、検査処理の別の実施例のフローチャートの一部である。図３の検査処理との差異は、Ｓ１５０とＳ１９０との間に、Ｓ１６０、Ｓ１７０、Ｓ１８０が挿入される点である。本実施例では、プロセッサ１１０は、異常判断処理（Ｓ１９５）の前に、Ｓ１５０で算出されるホモグラフィ行列Ｈを使用して、対象ラベルＬｔに関連する異常が有るか否かを判断する。
図１４（Ａ）は、検査処理の別の実施例のフローチャートの一部である。図３の検査処理との差異は、Ｓ１５０とＳ１９０との間に、Ｓ１６０、Ｓ１７０、Ｓ１８０が挿入される点である。本実施例では、プロセッサ１１０は、異常判断処理（Ｓ１９５）の前に、Ｓ１５０で算出されるホモグラフィ行列Ｈを使用して、対象ラベルＬｔに関連する異常が有るか否かを判断する。
【0122】
Ｓ１６０では、プロセッサ１１０は、ホモグラフィ行列Ｈを使用して、異常指標値を算出する。Ｓ１６０では、撮影画像ｉｐによって表される対象ラベルＬｔに関連する異常の可能性を示す指標値が算出される（オブジェクト指標値とも呼ぶ）。本実施例では、プロセッサ１１０は、ホモグラフィ行列Ｈによる回転角度を近似するの近似回転角度ＡＧと、ホモグラフィ行列Ｈによるスケーリング倍率を近似する近似スケーリング倍率ＳＣと、を算出する。以下、近似回転角度ＡＧを、近似角度ＡＧとも呼ぶ。近似スケーリング倍率ＳＣを、近似倍率ＳＣとも呼ぶ。
【0123】
図１４（Ｂ）は、近似角度ＡＧと近似倍率ＳＣとの算出式の例を示す図である。図中には、５個の式ＥＱ１－ＥＱ５が示されている。第１式ＥＱ１は、ホモグラフィ行列Ｈと近似角度ＡＧと近似倍率ＳＣとの対応関係を示している。ここで、ホモグラフィ行列Ｈの第１部分行列ＳＭ１が、近似角度ＡＧの回転を示す行列（行列Ｈ１（図５（Ｂ）））と、近似倍率ＳＣのスケーリングを示す行列（行列Ｈ２（図５（Ｂ））と、の積で表されることと仮定している。すなわち、他の種類の座標変換（例えば、スキュー）の影響は、十分に小さいことと仮定している。この場合、図示するように、要素ｈ１１、ｈ２２は、「ＳＣ＊ｃｏｓ（ＡＧ）」で表され、要素ｈ１２は、「－ＳＣ＊ｓｉｎ（ＡＧ）」で表され、要素ｈ２１は、「ＳＣ＊ｓｉｎ（ＡＧ）」で表される。
【0124】
実際には、ホモグラフィ行列Ｈは、ラベルＬ（図２（Ａ））に対する撮影装置４００の向き、撮影装置４００の図示しないレンズの歪み、などの種々のパラメータから、影響を受ける。第１部分行列ＳＭ１の要素ｈ１１、ｈ１２、ｈ２１、ｈ２２は、回転とスケーリングとのみから算出される値から、ズレ得る。そこで、本実施例では、プロセッサ１１０は、第１部分行列ＳＭ１の４個の要素ｈ１１、ｈ１２、ｈ２１、ｈ２２の全てを使用して、近似角度ＡＧと近似倍率ＳＣとを算出する。
【0125】
本実施例では、第２式ＥＱ２に示すように、「ｈ１１」と「ｈ２２」との平均が、ＳＣ＊ｃｏｓ（ＡＧ）として採用される（この値を、第１値Ｐｃと呼ぶ）。第３式ＥＱ３に示すように、「ｈ２１」と「－ｈ１２」との平均が、ＳＣ＊ｓｉｎ（ＡＧ）として採用される（この値を、第２値Ｐｓと呼ぶ）。これらの式ＥＱ２、ＥＱ３から、式ＥＱ４、ＥＱ５が導かれる。第４式ＥＱ４に示すように、近似倍率ＳＣは、第１値Ｐｃの２乗と第２値Ｐｓの２乗との和の平方根によって、算出される。第５式ＥＱ５に示すように、近似角度ＡＧは、正接関数の逆関数（引数は「Ｐｓ／Ｐｃ」）によって、算出される。このように、ＳＣ＊ｃｏｓ（ＡＧ）とＳＣ＊ｓｉｎ（ＡＧ）とは、それぞれ、第１部分行列ＳＭ１の対応する２個の要素の平均を使用して、算出される。従って、回転の角度とスケーリングの倍率と以外の他のパラメータの影響は、緩和可能である。
【0126】
【0127】
Ｓ１７０では、プロセッサ１１０は、オブジェクト指標値が許容範囲内であるか否かを判断する。本実施例では、近似倍率ＳＣが、許容倍率範囲（下限ＳＣ１以上、上限ＳＣ２以下の範囲）内であり、かつ、近似角度ＡＧが、許容角度範囲（下限ＡＧ１以上、かつ、上限ＡＧ２以下の範囲）内である場合に、プロセッサ１１０は、オブジェクト指標値が許容範囲内であると判断する。以下に説明するように、許容倍率範囲と許容角度範囲とは、予め決められている。
【0128】
本実施例では、ラベルＬ（図２（Ａ））の撮影時に、製品３００と撮影装置４００との間の相対的な配置は、撮影に適する予め決められた配置に調整される。従って、異常の無い複数のラベルが処理される場合に、近似倍率ＳＣは、おおよそ一定であり、近似角度ＡＧは、おおよそ一定である。近似倍率ＳＣは、例えば、撮影画像ｉｐと正常画像ｉｑとの間の解像度（すなわち、画素密度）の比率と、撮影装置４００（図２（Ａ））とラベルＬとの間の距離と、に応じて決まる。近似角度ＡＧは、例えば、おおよそゼロ度であり得る。
【0129】
対象ラベルＬｔに関連する異常がある場合、図７（Ｈ）の例と同様に、不適切なマッチングペアがホモグラフィ行列Ｈの算出に使用され得る。ホモグラフィ行列Ｈの要素（例えば、第１部分行列ＳＭ１の要素ｈ１１、ｈ１２、ｈ２１、ｈ２２）は、異常に起因する異常値であり得る。異常値により、近似倍率ＳＣは、適切な値から大幅に異なり得、近似角度ＡＧは、適切な値から大幅に異なり得る。
【0130】
対象ラベルＬｔに関連する異常としては、様々の異常が生じ得る。図４（Ａ）の対象ラベルＬｔの対象面ＳＦ１ｔのように、対象面ＳＦ１ｔが異常部分を含む場合がある。この場合、近似倍率ＳＣと近似角度ＡＧとの一方、または、両方が、対応する適切な値から大幅に異なり得る。また、対象面ＳＦ１ｔが異常部分を含まない場合であっても、対象ラベルＬｔが、製品３００に対する適切な向きに対して傾いている場合がある。この場合、近似角度ＡＧが、適切な値から大幅に異なり得る。また、対象面ＳＦ１ｔが異常部分を含まない場合であっても、適切なサイズとは異なるサイズの対象ラベルＬｔが製品３００に貼付される場合がある。この場合、近似倍率ＳＣが、適切な値から大幅に異なり得る。また、製品３００とは異なる他の製品のためのラベルが、誤って、製品３００に貼付される場合がある。この場合、近似倍率ＳＣと近似角度ＡＧとの一方、または、両方が、対応する適切な値から大幅に異なり得る。
【0131】
許容倍率範囲（本実施例では、下限ＳＣ１と上限ＳＣ２）は、対象ラベルＬｔに関連する異常が無い場合に、近似倍率ＳＣが許容倍率範囲内であり、対象ラベルＬｔに関連する異常に起因して近似倍率ＳＣが適切な値から大幅に異なる場合に、近似倍率ＳＣが許容倍率範囲外であるように、予め実験的に決定される。同様に、許容角度範囲（本実施例では、下限ＡＧ１と上限ＡＧ２）は、対象ラベルＬｔに関連する異常が無い場合に、近似角度ＡＧが許容角度範囲内であり、対象ラベルＬｔに関連する異常に起因して近似角度ＡＧが適切な値から大幅に異なる場合に、近似角度ＡＧが許容角度範囲外であるように、予め実験的に決定される。
【0132】
オブジェクト指標値が許容範囲外である場合（Ｓ１７０：Ｎｏ）、Ｓ１８０で、プロセッサ１１０は、対象ラベルＬｔに関連する異常があると判断し、検査結果を、対象ラベルＬｔに関連する異常を示すオブジェクト異常に設定する。プロセッサ１１０は、検査結果を示すデータを、記憶装置１１５（例えば、不揮発性記憶装置１３０）に格納する。そして、プロセッサ１１０は、検査処理を終了する。
【0133】
オブジェクト指標値が許容範囲内である場合（Ｓ１７０：Ｙｅｓ）、プロセッサ１１０は、Ｓ１９０（図３）へ移行する。Ｓ１９０、Ｓ１９５の処理は、第１実施例の処理、または、第２実施例の処理と同じであってよい。
【0134】
以上のように、本実施例では、プロセッサ１１０は、Ｓ１６０で、ホモグラフィ行列Ｈによる回転角度を近似する近似回転角度ＡＧと、ホモグラフィ行列Ｈによるスケーリング倍率を近似する近似スケーリング倍率ＳＣと、を算出する。ホモグラフィ行列Ｈは、撮影画像ｉｐに対するホモグラフィ変換（Ｓ１９０（図３））を示す行列である。Ｓ１７０、Ｓ１８０で説明したように、プロセッサ１１０は、近似回転角度ＡＧが許容角度範囲外である第１の場合と、近似スケーリング倍率ＳＣが許容倍率範囲外である第２の場合とのうち、両方の場合を含む特定の場合に（Ｓ１７０：Ｎｏ）、対象オブジェクトに関連する異常があると判断する（Ｓ１８０）。従って、プロセッサ１１０は、対象面ＳＦ１ｔの傾きの異常と大きさの異常とを含む種々の異常に関する適切な判断を実行可能である。
【0135】
また、本実施例では、図５（Ａ）で説明したように、Ｓ１９０（図３）における撮影画像ｉｐのホモグラフィ変換は、ホモグラフィ行列Ｈによる座標変換を含んでいる。ホモグラフィ行列Ｈは、２行２列の第１部分行列ＳＭ１を形成する要素ｈ１１、ｈ１２、ｈ２１、ｈ２２を含んでいる。第１部分行列ＳＭ１は、撮影画像ｉｐ上の位置を示す２次元座標系（座標ｘ、ｙを示す）と、変換済画像ｉｐｃ上の位置を示す二次元座標系（座標ｘ’、ｙ’を示す）と、の間の回転とスケーリングとを含む座標変換を表している。図１４（Ｂ）で説明したように、Ｓ１６０（図１４（Ａ））では、プロセッサ１１０は、近似回転角度ＡＧと近似スケーリング倍率ＳＣとの両方を、第１部分行列ＳＭ１の要素ｈ１１、ｈ１２、ｈ２１、ｈ２２に基づいて算出する。このように、プロセッサ１１０は、第１部分行列ＳＭ１の要素ｈ１１、ｈ１２、ｈ２１、ｈ２２に基づいて、適切な近似回転角度ＡＧと適切な近似スケーリング倍率ＳＣとを算出できる。
【0136】
Ｄ．第４実施例：
図１５は、検査処理の別の実施例を示すフローチャートである。図３の検査処理との差異は、変換済画像を取得するためのホモグラフィ変換（Ｓ１３０、Ｓ１４０、Ｓ１５０、Ｓ１９０）が省略される点である。Ｓ１１０ａ、Ｓ１９５ａは、図３のＳ１１０、Ｓ１９５から、以下のように修正される。
図１５は、検査処理の別の実施例を示すフローチャートである。図３の検査処理との差異は、変換済画像を取得するためのホモグラフィ変換（Ｓ１３０、Ｓ１４０、Ｓ１５０、Ｓ１９０）が省略される点である。Ｓ１１０ａ、Ｓ１９５ａは、図３のＳ１１０、Ｓ１９５から、以下のように修正される。
【0137】
Ｓ１１０ａでは、プロセッサ１１０（図１）は、撮影装置４００（図２（Ａ））から出力される撮影画像である出力画像のデータから、検査処理用の撮影画像のデータを取得する。図１６は、検査処理用の撮影画像の例を示す図である。撮影画像ｉｐｚは、対象ラベルＬｔの特定面ＳＦ１ｔを表している。本実施例では、撮影画像ｉｐｚ中の対象ラベルＬｔの位置と向きと大きさとは、正常画像ｉｑ（図７（Ａ））中の正常ラベルＬｓの位置と向きと大きさと、それぞれ、おおよそ同じである。
【0138】
このような撮影画像ｉｐｚを取得するために、ラベルＬ（図２（Ａ））の撮影時に、製品３００と撮影装置４００との間の相対的な配置は、撮影に適する予め決められた基準配置に調整される。基準配置は、撮影装置４００から出力される出力画像中の対象ラベルＬｔの形状の歪みが小さいように、予め実験的に決定される。例えば、基準配置の撮影装置４００は、対象ラベルＬｔの正面から、対象ラベルＬｔを撮影する。
【0139】
Ｓ１１０ａでは、プロセッサ１１０は、撮影装置４００から出力画像を取得し、出力画像から対象ラベルＬｔを検出する。プロセッサ１１０は、出力画像のうちの検出された対象ラベルＬｔを表す部分画像を撮影画像ｉｐｚとして取得する。対象ラベルＬｔを検出する方法は、種々の方法であってよい。例えば、プロセッサ１１０は、ラベルＬのテンプレート画像（例えば、正常画像ｉｑ（図７（Ａ）））を使用するテンプレートマッチングによって、対象ラベルＬｔを検出してよい。また、プロセッサ１１０は、ラベルＬを検出するように訓練済の物体検出モデルを使用して、対象ラベルＬｔを検出してよい。また、出力画像中の予め決められた部分が、撮影画像ｉｐｚとして取得されてよい。なお、出力画像から取得される部分画像の解像度（すなわち、第１方向Ｄｘの画素数と第２方向Ｄｙの画素数）が正常画像ｉｑの解像度と異なる場合、プロセッサ１１０は、部分画像の解像度変換を行って、正常画像ｉｑの解像度と同じ解像度を有する撮影画像ｉｐｚを取得する。
【0140】
このように、撮影画像ｉｐｚ中の対象ラベルＬｔの位置と向きと大きさとは、正常画像ｉｑ（図７（Ａ））中の正常ラベルＬｓの位置と向きと大きさと、それぞれ、おおよそ同じである。従って、プロセッサ１１０は、撮影画像から変換済画像へのホモグラフィ変換（Ｓ１３０－Ｓ１９０（図３））を行わずに、撮影画像ｉｐｚを使用してＳ１９５ａ（図１５）の異常判断処理を実行できる。
【0141】
Ｓ１９５ａでは、プロセッサ１１０は、撮影画像ｉｐｚと正常画像ｉｑ（図４（Ｃ））とを比較して、対象ラベルＬｔの特定面ＳＦ１ｔが異常を有するか否かを判断する異常判断処理を実行する。Ｓ１９５ａの異常判断処理は、変換済画像ｉｐｃの代わりに撮影画像ｉｐｚが使用される点を除いて、Ｓ１９５（図３）の異常判断処理（すなわち、図６の異常判断処理）と同じである。上記の任意の実施例のＳ１９５の異常判断処理が、本実施例のＳ１９５ａに適用されてよい（ここで、変換済画像ｉｐｃは撮影画像ｉｐｚに置換される）。例えば、プロセッサ１１０は、図７（Ａ）－図７（Ｆ）のブロックを使用する異常判断処理、または、図１２（Ａ）－図１２（Ｄ）、図１３（Ａ）－図１３（Ｄ）のブロックを使用する異常判断処理を、実行してよい。図７（Ｄ）、図１６に示すように、撮影画像ｉｐｚは、変換済画像ｉｐｃと、おおよそ同じである。従って、本実施例は、上記の実施例と同じ種々の利点を提供可能である。
【0142】
Ｅ．変形例：
（１）キーポイントの検出方法は、上記の方法に代えて、他の種々の方法であってよい。例えば、プロセッサ１１０は、予め準備される複数のテンプレート画像を使用するテンプレートマッチングによって、複数のキーポイントを検出してよい。テンプレート画像としては、正常ラベルＬｓの特定面ＳＦ１内の特徴的な部分の画像を使用可能である。また、プロセッサ１１０は、２枚の画像（例えば、撮影画像ｉｐと正常画像ｉｑ）から同じテンプレート画像を使用して検出されるキーポイントのペアを、マッチングペアとして採用してよい。
（１）キーポイントの検出方法は、上記の方法に代えて、他の種々の方法であってよい。例えば、プロセッサ１１０は、予め準備される複数のテンプレート画像を使用するテンプレートマッチングによって、複数のキーポイントを検出してよい。テンプレート画像としては、正常ラベルＬｓの特定面ＳＦ１内の特徴的な部分の画像を使用可能である。また、プロセッサ１１０は、２枚の画像（例えば、撮影画像ｉｐと正常画像ｉｑ）から同じテンプレート画像を使用して検出されるキーポイントのペアを、マッチングペアとして採用してよい。
【0143】
（２）図１２（Ａ）－図１２（Ｄ）、図１３（Ａ）－図１３（Ｄ）の実施例のように、Ｎ個の第１種部分画像（例えば、対象ブロック画像ｐａ１－ｐａ９）は、１以上の他の第１種部分画像と部分的に重なる第１種重畳部分画像を含んでよい。ここで、第１種重畳部分画像の総数Ｑは、２以上、Ｎ以下の種々の数であってよい。このように、Ｎ個の第１種部分画像は、他の第１種部分画像と重ならないＮ－Ｑ個の第１種部分画像を含んでよい。例えば、対象ブロック画像ｐｄ４（図１３（Ｄ））に重なる他の対象ブロック画像は、省略されてよい。以上の説明は、Ｎ個の第２種部分画像（例えば、正常ブロック画像ｑａ１－ｑａ９）にも、適用される。例えば、Ｎ個の第２種部分画像は、他の第２種部分画像と重ならないＮ－Ｑ個の第２種部分画像を含んでよい。
【0144】
（３）互いに対応付けられる第１種部分画像（例えば、対象ブロック画像ｐａ１（図７（Ｅ）））と第２種部分画像（例えば、正常ブロック画像ｑａ１（図７（Ｂ）））との間で、ラベルＬｔ、Ｌｓに対する位置が異なってよい。例えば、対象ラベルＬｔに対する対象ブロック画像ｐａ１－ｐａ９の位置は、正常ラベルＬｓに対する正常ブロック画像ｑａ１－ｑａ９の位置に対して、第１方向Ｄｘに少しだけずれていてよい。また、互いに対応付けられる第１種部分画像と第２種部分画像との間で、大きさと形状とが異なってよい。
【0145】
いずれの場合も、互いに対応付けられる第１種部分画像と第２種部分画像とは、ラベルＬｔ、Ｌｓの共通する部分を含むことが好ましい。この構成によれば、プロセッサ１１０は、ラベルＬｔ、Ｌｓの共通する部分を示す複数のマッチングペアを使用してホモグラフィ行列を算出できる。プロセッサ１１０は、図７（Ｇ）、図７（Ｈ）の実施例と同様に、ホモグラフィ行列を使用して、特定面ＳＦ１ｔが異常部分を有するか否かを適切に判断できる。
【0146】
（４）ラベルＬは、異常が生じ易い部分と、異常が生じ難い部分と、を含み得る。この場合、異常が生じ難い部分は、複数の部分画像から除かれてよい。すなわち、複数の第１種部分画像（例えば、対象ブロック画像ｐａ１－ｐａ９（図７（Ｅ）））は、対象ラベルＬｔのうちの一部分（例えば、異常が生じ易い部分）のみに配置されてよい。以上の説明は、複数の第２種部分画像（例えば、正常ブロック画像ｑａ１－ｑａ９（図７（Ｂ）））にも、適用される。正常ラベルＬｓのうちの一部分は、複数の第２種部分画像から除かれてよい。
【0147】
（５）複数の第１種部分画像（例えば、対象ブロック画像ｐａ１－ｐａ９（図７（Ｅ）））のそれぞれの大きさと形状とは、特定面ＳＦ１ｔの異常に関する適切な判断ができるように、予め実験的に決定される。第１種部分画像が小さい場合、適切なマッチングペアの総数が減少するので、適切なホモグラフィ行列の算出が難しい場合がある。第１種部分画像が大きい場合、適切なマッチングペアの総数が増大するので、第１種部分画像に異常部分が含まれる場合であっても、不適切なマッチングペアを使用せずに、ホモグラフィ行列が算出され得る。以上の説明は、複数の第２種部分画像（例えば、正常ブロック画像ｑａ１－ｑａ９（図７（Ｂ）））にも、適用される。
【0148】
（６）Ｓ２７０（図６）で算出される異常指標値Ａｄは、ホモグラフィ行列と単位行列との間の差異の程度を示す種々の値であってよい。異常指標値Ａｄは、第１部分行列ＳＭ１の４個の要素のうちの１以上の要素に基づいて算出される種々の値であってよい。例えば、異常指標値Ａｄは、ｈ１２の絶対値とｈ２１の絶対値との和であってよい。異常指標値Ａｄの算出には、第１部分行列ＳＭ１の１以上の要素に加えて、他の要素（例えば、第２部分行列ＳＭ２の１以上の要素、または、第３部分行列ＳＭ３の１以上の要素）が使用されてよい。例えば、異常指標値Ａｄは、ホモグラフィ行列と単位行列との間のｈ３３以外の８個の要素の８個の差分の絶対値の和であってよい。また、異常指標値Ａｄは、複数の要素の差分の２乗の和であってよい。
【0149】
また、異常指標値Ａｄとしては、図１４（Ａ）、図１４（Ｂ）で説明した近似倍率ＳＣと近似角度ＡＧとの一方、または、両方が使用されてよい。近似倍率ＳＣと近似角度ＡＧも、ホモグラフィ行列と単位行列との間の差異の程度を示している。
【0150】
（７）Ｓ１９５（図３）、Ｓ１９５ａ（図１５）の処理（すなわち、対象ラベルＬｔの特定面ＳＦ１ｔが異常を有するか否かを判断する処理）は、図６の処理に代えて、他の種々の処理であってよい。プロセッサ１１０は、変換済画像ｉｐｃと正常画像ｉｑとの間の画素毎の色値の差分を表す差分画像のデータを生成してよい。そして、プロセッサ１１０は、差分画像を使用して、特定面ＳＦ１ｔが異常を有するか否かを判断してよい。例えば、プロセッサ１１０は、複数の画素の複数の差分の代表値（例えば、合計値、平均値などの要約統計量）が代表閾値以上である場合に、特定面ＳＦ１ｔが異常を有すると判断してよい。また、プロセッサ１１０は、差分閾値以上の差分を有する画素の総数が総数閾値以上である場合に、特定面ＳＦ１ｔが異常を有すると判断してよい。代表閾値と差分閾値と総数閾値とは、予め実験的に決定されてよい。また、プロセッサ１１０は、差分画像を異常を有する画像と異常の無い画像とに分類する機械学習モデルを使用して、特定面ＳＦ１ｔが異常を有するか否かを判断してよい。機械学習モデルを使用する異常の判断には、例えば、ＰａＤｉＭ（a Patch Distribution Modeling Framework for Anomaly Detection and Localization）と呼ばれる技術が採用されてよい。
【0151】
（８）近似倍率ＳＣと近似角度ＡＧとの算出方法は、図１４（Ｂ）の方法に代えて、他の種々の方法であってよい。近似倍率ＳＣと近似角度ＡＧとは、第１部分行列ＳＭ１を形成する要素に基づいて算出されてよい。すなわち、近似倍率ＳＣと近似角度ＡＧとは、第１部分行列ＳＭ１の４個の要素のうちの１以上の要素に基づいて、算出されてよい。例えば、ｈ１１、ｈ２２の平均が、近似倍率ＳＣとして使用されてよい。第５式ＥＱ５の正接関数の逆関数の引数は、「ｈ２１／ｈ１１」または「－ｈ１２／ｈ２２」であってよい。
【0152】
また、図１４（Ａ）のＳ１６０、Ｓ１７０では、近似倍率ＳＣと近似角度ＡＧのいずれか一方のみが、使用されてよい。すなわち、近似角度ＡＧが許容角度範囲外である第１の場合と、近似倍率ＳＣが許容倍率範囲外である第２の場合と、のうち、予め選択された１つの場合に、プロセッサ１１０は、撮影画像ｉｐによって表される対象ラベルＬｔに関連する異常があると判断してよい。いずれの場合も、異常があると判断される特定の場合は、さらに、別の場合を含んでよい。例えば、プロセッサ１１０は、Ｓ１５０（図４）で算出されるホモグラフィ行列Ｈから異常指標値Ａｄ（例えば、図９（Ｃ）の異常指標値Ａｄ）を算出してよい。そして、プロセッサ１１０は、異常指標値Ａｄが、予め決められた閾値以上である場合に、対象ラベルＬｔに関連する異常があると判断してよい。なお、この閾値は、Ｓ３１０（図１０）の閾値Ａｄｔｈと異なってよい。
【0153】
（９）上記の各実施例において、プロセッサ１１０は、撮影画像ｉｐに対するホモグラフィ変換に代えて、正常画像ｉｑに対するホモグラフィ変換を行うことによって、変換済画像のデータを生成してよい。そして、プロセッサ１１０は、変換済画像と、撮影画像と、を比較して、対象ラベルＬｔの特定面ＳＦ１ｔが異常を有するか否かを判断してよい。この場合、Ｓ１９０（図３）では、プロセッサ１１０は、正常画像ｉｑのホモグラフィ変換を行って、変換済画像を生成する（変換済正常画像と呼ぶ）。Ｓ１９０の異常判断処理（図６）では、プロセッサ１１０は、撮影画像と、変換済正常画像と、を比較する。ここで、複数の正常ブロック画像と複数の対象ブロック画像とは、各ブロック画像がラベルＬｓ、Ｌｔの一部を含むように、配置される。複数のブロック画像の位置と大きさと形状とは、予め決められてよい。例えば、プロセッサ１１０は、正常画像ｉｑの予め定められた複数の正常ブロック画像（例えば、正常ブロック画像ｑａ１－ｑａ９（図７（Ｂ）））のホモグラフィ変換によって、変換済正常画像上の複数の正常ブロック画像を取得してよい。撮影画像上の対象ブロックの位置と大きさと形状とは、対象ブロック画像に対応付けられる正常ブロック画像の位置と大きさと形状（ここでは、変換済正常画像上の位置と大きさと形状）と、それぞれ同じであってよい。これに代えて、プロセッサ１１０は、変換済画像と撮影画像とからラベルＬｓ、Ｌｔを検出し、検出されたラベルＬｓ、Ｌｔの位置に応じて、複数のブロック画像の位置と大きさと形状とを決定してよい（この場合も、大きさと形状とは、予め決められてよい）。
【0154】
（１０）検査処理で使用される撮影画像のデータを取得する処理は、上記の処理に代えて、他の種々の処理であってよい。例えば、プロセッサ１１０は、撮影装置４００（図２（Ａ））から出力される出力画像に対して、図示しないレンズの歪み補正など、撮影装置４００の特性を補正する補正処理を行うことによって、撮影画像のデータを取得してよい。補正処理で使用されるパラメータは、カメラ内部パラメータとも呼ばれる。また、撮影画像のデータは、データ処理装置１００とは異なる他の装置（例えば、スマートフォンなどのコンピュータ）によって、データ処理装置１００に供給されてよい。プロセッサ１１０は、供給された撮影画像データを使用して、検査処理（例えば、図３、図１４、図１５の各実施例の検査処理）を実行してよい。ここで、他の装置は、撮影装置４００から出力される出力画像に対して正常画像ｉｑに基づくホモグラフィ変換を行うことによって変換済の撮影画像のデータを生成し、変換済の撮影画像のデータをデータ処理装置１００に供給してよい。
【0155】
（１１）対象ラベルＬｔの特定面ＳＦ１ｔが異常を有するか否かを判断する処理は、上記の処理に代えて、他の種々の処理であってよい。例えば、プロセッサ１１０は、検査処理において、正常画像ｉｑのデータを分析することによって、複数のキーポイントを検出してよい。この場合、正常キーポイントＤ１（図１）のデータは、省略されてよい。記憶装置１１５（例えば、不揮発性記憶装置１３０）には、正常画像ｉｑのデータが予め格納されることが好ましい。また、プロセッサ１１０は、正常ブロック画像のデータを分析することによって、正常ブロック画像のキーポイントと特徴量記述子とを取得してよい。この場合、正常ブロックキーポイントＤ２（図１）のデータは、省略されてよい。
【0156】
（１２）処理対象のオブジェクトである対象オブジェクトは、ラベルＬ（図２（Ｂ））に限らず、任意のオブジェクトであってよい。対象オブジェクトは、製品（例えば、複合機）に設けられるオブジェクトであってよい。対象オブジェクトは、ラベルシートと、銘板（例えば、立体的な銘）と、塗装された模様と、を含む複数の要素から選択される１以上の要素を含んでよい。また、対象オブジェクトの処理対象の面である特定面は、対象オブジェクトの任意の面であってよい。特定面は、対象オブジェクトの平らな部分と、対象オブジェクトの立体的な部分と、の一方、または、両方を含んでよい。
【0157】
（１３）撮影画像と正常画像とを処理する画像処理装置は、上述したデータ処理装置１００（図１）に代えて、他の種々の装置（例えば、デジタルカメラ、スマートフォン）であってよい。ネットワークを介して互いに通信可能な複数の装置（例えば、コンピュータ）が、画像処理装置による画像処理の機能を一部ずつ分担して、全体として、画像処理の機能を提供してもよい（これらの装置を備えるシステムが画像処理装置に対応する）。
【0158】
上記の実施例と変形例とにおいて、ハードウェアによって実現されていた構成の一部をソフトウェアに置き換えるようにしてもよく、逆に、ソフトウェアによって実現されていた構成の一部あるいは全部をハードウェアに置き換えるようにしてもよい。例えば、ホモグラフィ行列を算出する機能（Ｓ１５０（図３）、Ｓ２５０（図６））を、専用のハードウェア回路によって実現してもよい。
【0159】
また、本開示の機能の一部または全部がコンピュータプログラムで実現される場合には、そのプログラムは、コンピュータ読み取り可能な記録媒体（例えば、一時的ではない記録媒体）に格納された形で提供することができる。プログラムは、提供時と同一または異なる記録媒体（コンピュータ読み取り可能な記録媒体）に格納された状態で、使用され得る。「コンピュータ読み取り可能な記録媒体」は、メモリーカードやＣＤ－ＲＯＭのような携帯型の記録媒体に限らず、各種ＲＯＭ等のコンピュータ内の内部記憶装置や、ハードディスクドライブ等のコンピュータに接続されている外部記憶装置も含み得る。
【0160】
上記の実施例と変形例とは、適宜に組み合わせることができる。また、上記の実施例と変形例とは、本開示の理解を容易にするためのものであり、本発明を限定するものではない。本発明は、その趣旨を逸脱することなく、変更、改良され得ると共に、本発明にはその等価物が含まれる。
【符号の説明】
【0161】
１００…データ処理装置、１１０…プロセッサ、１１５…記憶装置、１２０…揮発性記憶装置、１３０…不揮発性記憶装置、１３１…プログラム、１４０…表示部、１５０…操作部、１７０…通信インタフェース、３００…製品、４００…撮影装置、Ｌ…ラベル、Ｌｓ…正常ラベル、Ｌｔ…対象ラベル、ＳＦ１…特定面、ＳＦ１ｔ…特定面（対象面）、Ｈ、Ｈ１－Ｈ４、Ｈａ１－Ｈａ９…ホモグラフィ行列、Ｔ…角度、Ｕ…倍率、Ｖ…角度、ＳＣ…近似スケーリング倍率（近似倍率）、ＡＧ…近似回転角度（近似角度）、ＩＭ…単位行列、ＬＯ…輪郭（正常輪郭）、ＡＰ…異常部分、ＳＭ１…第１部分行列、ＳＭ２…第２部分行列、ＳＭ３…第３部分行列
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】