特許 7446559 画像処理装置、画像処理方法、及び画像処理プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-03-01

(45)【発行日】2024-03-11

(54)【発明の名称】画像処理装置、画像処理方法、及び画像処理プログラム

(51)【国際特許分類】

   G01N 21/88 20060101AFI20240304BHJP

   G06T 7/00 20170101ALI20240304BHJP

【ＦＩ】

G01N21/88 J

G06T7/00 350B

【請求項の数】 30

(21)【出願番号】P 2020011693

(22)【出願日】2020-01-28

(65)【公開番号】P2021117152

(43)【公開日】2021-08-10

【審査請求日】2022-11-07

(73)【特許権者】

【識別番号】000002945

【氏名又は名称】オムロン株式会社

(74)【代理人】

【識別番号】100079108

【弁理士】

【氏名又は名称】稲葉 良幸

(74)【代理人】

【識別番号】100109346

【弁理士】

【氏名又は名称】大貫 敏史

(74)【代理人】

【識別番号】100117189

【弁理士】

【氏名又は名称】江口 昭彦

(74)【代理人】

【識別番号】100134120

【弁理士】

【氏名又は名称】内藤 和彦

(74)【代理人】

【識別番号】100108213

【弁理士】

【氏名又は名称】阿部 豊隆

(72)【発明者】

【氏名】池田 泰之

(72)【発明者】

【氏名】栗田 真嗣

(72)【発明者】

【氏名】藤枝 紫朗

【審査官】小野寺 麻美子

(56)【参考文献】

【文献】国際公開第２００８／０２６５６２（ＷＯ，Ａ１）

【文献】特開２０１８－０４１４３４（ＪＰ，Ａ）

【文献】「NNCチュートリアル：Image Augmentationレイヤーによる画像データの水増し」，YouTube[online][video]，2019年10月02日，＜https://www.youtube.com/watch?v=DrQoTVQP_RI＞，[検索日：2023年8月28日]

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０１Ｎ ２１／８４ － Ｇ０１Ｎ ２１／９５８

Ｇ０６Ｆ １８／００ － Ｇ０６Ｆ １８／４０

Ｇ０６Ｎ ３／００ － Ｇ０６Ｎ ９９／００

Ｇ０６Ｔ １／００ － Ｇ０６Ｔ １／４０

Ｇ０６Ｔ ３／００ － Ｇ０６Ｔ ７／９０

Ｇ０６Ｖ １０／００ － Ｇ０６Ｖ ２０／９０

Ｇ０６Ｖ ３０／４１８

Ｇ０６Ｖ ４０／１６

Ｇ０６Ｖ ４０／２０

(57)【特許請求の範囲】

【請求項1】

複数の良品画像を記憶する記憶装置と、
前記複数の良品画像の中から何れかの良品画像を選択することを要求するユーザからの指示と、前記選択された良品画像のオーギュメンテーションの方法及び量に関する前記ユーザからの指示とを受け付ける手段と、
前記選択された良品画像を前記オーギュメンテーションの方法及び量に関する指示に従ってオーギュメンテーションする手段と、
検査対象となる製品の画像と、オーギュメンテーションされた前記良品画像とを表示する表示装置と、
前記オーギュメンテーションの方法及び量に関する指示のうち前記ユーザにより決定された何れかの指示に従ってオーギュメンテーションされた前記良品画像を新規の良品画像として前記記憶装置に登録する手段と、
を備える画像処理装置。

【請求項2】

請求項１に記載の画像処理装置であって、
前記表示装置は、前記検査対象となる製品の画像とオーギュメンテーションされた前記良品画像との差分画像を更に表示する、画像処理装置。

【請求項3】

請求項１に記載の画像処理装置であって、
前記表示装置は、前記検査対象となる製品の画像とオーギュメンテーションされた前記良品画像との合成画像を更に表示する、画像処理装置。

【請求項4】

請求項３に記載の画像処理装置であって、
前記合成画像は、前記検査対象となる製品の画像とオーギュメンテーションされた前記良品画像とのそれぞれの画素値が異なる色成分の濃淡に変換にされた上で合成された画像である、画像処理装置。

【請求項5】

請求項３に記載の画像処理装置であって、
前記合成画像は、前記検査対象となる製品の画像とオーギュメンテーションされた前記良品画像とのそれぞれから抽出されたエッジを合成して得られる画像である、画像処理装置。

【請求項6】

請求項３に記載の画像処理装置であって、
前記合成画像は、前記検査対象となる製品の画像とオーギュメンテーションされた前記良品画像とのそれぞれの色濃度を合成して得られる画像である、画像処理装置。

【請求項7】

請求項１に記載の画像処理装置であって、
前記表示装置は、前記検査対象となる製品の画像とオーギュメンテーションされた前記良品画像とのそれぞれに位置決めの目印となるマークを表示する、画像処理装置。

【請求項8】

請求項２に記載の画像処理装置であって、
前記検査対象となる製品の画像とオーギュメンテーションされた前記良品画像との差が最小となるオーギュメンテーションの方法及び量の仮の解を探索するための手段を更に備え、
前記表示装置は、前記探索されたオーギュメンテーションの方法及び量の仮の解に従ってオーギュメンテーションされた前記良品画像と前記検査対象となる製品の画像との差分画像を表示する、画像処理装置。

【請求項9】

画像処理装置が、
複数の良品画像の中から何れかの良品画像を選択することを要求するユーザからの指示と、前記選択された良品画像のオーギュメンテーションの方法及び量に関する前記ユーザからの指示とを受け付けるステップと、
前記選択された良品画像を前記オーギュメンテーションの方法及び量に関する指示に従ってオーギュメンテーションするステップと、
検査対象となる製品の画像と、オーギュメンテーションされた前記良品画像とを表示するステップと、
前記オーギュメンテーションの方法及び量に関する指示のうち前記ユーザにより決定された何れかの指示に従ってオーギュメンテーションされた前記良品画像を新規の良品画像として登録するステップと、
を実行する画像処理方法。

【請求項10】

画像処理装置に、
複数の良品画像の中から何れかの良品画像を選択することを要求するユーザからの指示と、前記選択された良品画像のオーギュメンテーションの方法及び量に関する前記ユーザからの指示とを受け付けるステップと、
前記選択された良品画像を前記オーギュメンテーションの方法及び量に関する指示に従ってオーギュメンテーションするステップと、
検査対象となる製品の画像と、オーギュメンテーションされた前記良品画像とを表示するステップと、
前記オーギュメンテーションの方法及び量に関する指示のうち前記ユーザにより決定された何れかの指示に従ってオーギュメンテーションされた前記良品画像を新規の良品画像として登録するステップと、
を実行させる画像処理プログラム。

【請求項11】

複数の良品画像を記憶する記憶装置と、
前記複数の良品画像の中から何れかの良品画像を選択することを要求するユーザからの指示と、前記選択された良品画像のオーギュメンテーションの方法及び量に関する前記ユーザからの指示とを受け付ける手段と、
前記選択された良品画像を前記オーギュメンテーションの方法及び量に関する指示に従ってオーギュメンテーションする手段と、
検査対象となる製品の画像と、前記検査対象となる製品の画像とオーギュメンテーションされた前記良品画像との差分画像とを表示する表示装置と、
前記オーギュメンテーションの方法及び量に関する指示のうち前記ユーザにより決定された何れかの指示に従ってオーギュメンテーションされた前記良品画像を新規の良品画像として前記記憶装置に登録する手段と、
を備える画像処理装置。

【請求項12】

請求項１１に記載の画像処理装置であって、
前記検査対象となる製品の画像とオーギュメンテーションされた前記良品画像との差が最小となるオーギュメンテーションの方法及び量の仮の解を探索するための手段を更に備え、
前記表示装置は、前記探索されたオーギュメンテーションの方法及び量の仮の解に従ってオーギュメンテーションされた前記良品画像と前記検査対象となる製品の画像との差分画像を表示する、画像処理装置。

【請求項13】

請求項１１に記載の画像処理装置であって、
前記表示装置は、オーギュメンテーションされた前記良品画像を更に表示する、画像処理装置。

【請求項14】

請求項１１に記載の画像処理装置であって、
前記表示装置は、前記検査対象となる製品の画像とオーギュメンテーションされた前記良品画像との合成画像を更に表示する、画像処理装置。

【請求項15】

請求項１４に記載の画像処理装置であって、
前記合成画像は、前記検査対象となる製品の画像とオーギュメンテーションされた前記良品画像とのそれぞれの画素値が異なる色成分の濃淡に変換にされた上で合成された画像である、画像処理装置。

【請求項16】

請求項１４に記載の画像処理装置であって、
前記合成画像は、前記検査対象となる製品の画像とオーギュメンテーションされた前記良品画像とのそれぞれから抽出されたエッジを合成して得られる画像である、画像処理装置。

【請求項17】

請求項１４に記載の画像処理装置であって、
前記合成画像は、前記検査対象となる製品の画像とオーギュメンテーションされた前記良品画像とのそれぞれの色濃度を合成して得られる画像である、画像処理装置。

【請求項18】

請求項１３に記載の画像処理装置であって、
前記表示装置は、前記検査対象となる製品の画像とオーギュメンテーションされた前記良品画像とのそれぞれに位置決めの目印となるマークを表示する、画像処理装置。

【請求項19】

画像処理装置が、
複数の良品画像の中から何れかの良品画像を選択することを要求するユーザからの指示と、前記選択された良品画像のオーギュメンテーションの方法及び量に関する前記ユーザからの指示とを受け付けるステップと、
前記選択された良品画像を前記オーギュメンテーションの方法及び量に関する指示に従ってオーギュメンテーションするステップと、
検査対象となる製品の画像と、前記検査対象となる製品の画像とオーギュメンテーションされた前記良品画像との差分画像とを表示するステップと、
前記オーギュメンテーションの方法及び量に関する指示のうち前記ユーザにより決定された何れかの指示に従ってオーギュメンテーションされた前記良品画像を新規の良品画像として登録するステップと、
を実行する画像処理方法。

【請求項20】

画像処理装置に、
複数の良品画像の中から何れかの良品画像を選択することを要求するユーザからの指示と、前記選択された良品画像のオーギュメンテーションの方法及び量に関する前記ユーザからの指示とを受け付けるステップと、
前記選択された良品画像を前記オーギュメンテーションの方法及び量に関する指示に従ってオーギュメンテーションするステップと、
検査対象となる製品の画像と、前記検査対象となる製品の画像とオーギュメンテーションされた前記良品画像との差分画像とを表示するステップと、
前記オーギュメンテーションの方法及び量に関する指示のうち前記ユーザにより決定された何れかの指示に従ってオーギュメンテーションされた前記良品画像を新規の良品画像として登録するステップと、
を実行させる画像処理プログラム。

【請求項21】

複数の良品画像を記憶する記憶装置と、
前記複数の良品画像の中から何れかの良品画像を選択することを要求するユーザからの指示と、前記選択された良品画像のオーギュメンテーションの方法及び量に関する前記ユーザからの指示とを受け付ける手段と、
前記選択された良品画像を前記オーギュメンテーションの方法及び量に関する指示に従ってオーギュメンテーションする手段と、
検査対象となる製品の画像と、前記検査対象となる製品の画像とオーギュメンテーションされた前記良品画像との合成画像とを表示する表示装置と、
前記オーギュメンテーションの方法及び量に関する指示のうち前記ユーザにより決定された何れかの指示に従ってオーギュメンテーションされた前記良品画像を新規の良品画像として前記記憶装置に登録する手段と、
を備える画像処理装置。

【請求項22】

請求項２１に記載の画像処理装置であって、
前記合成画像は、前記検査対象となる製品の画像とオーギュメンテーションされた前記良品画像とのそれぞれの画素値が異なる色成分の濃淡に変換にされた上で合成された画像である、画像処理装置。

【請求項23】

請求項２１に記載の画像処理装置であって、
前記合成画像は、前記検査対象となる製品の画像とオーギュメンテーションされた前記良品画像とのそれぞれから抽出されたエッジを合成して得られる画像である、画像処理装置。

【請求項24】

請求項２１に記載の画像処理装置であって、
前記合成画像は、前記検査対象となる製品の画像とオーギュメンテーションされた前記良品画像とのそれぞれの色濃度を合成して得られる画像である、画像処理装置。

【請求項25】

請求項２１乃至２４のうち何れか１項に記載の画像処理装置であって、
前記表示装置は、オーギュメンテーションされた前記良品画像を更に表示する、画像処理装置。

【請求項26】

請求項２５に記載の画像処理装置であって、
前記表示装置は、前記検査対象となる製品の画像とオーギュメンテーションされた前記良品画像とのそれぞれに位置決めの目印となるマークを表示する、画像処理装置。

【請求項27】

請求項２１に記載の画像処理装置であって、
前記表示装置は、前記検査対象となる製品の画像とオーギュメンテーションされた前記良品画像との差分画像を更に表示する、画像処理装置。

【請求項28】

請求項２７に記載の画像処理装置であって、
前記検査対象となる製品の画像とオーギュメンテーションされた前記良品画像との差が最小となるオーギュメンテーションの方法及び量の仮の解を探索するための手段を更に備え、
前記表示装置は、前記探索されたオーギュメンテーションの方法及び量の仮の解に従ってオーギュメンテーションされた前記良品画像と前記検査対象となる製品の画像との差分画像を表示する、画像処理装置。

【請求項29】

画像処理装置が、
複数の良品画像の中から何れかの良品画像を選択することを要求するユーザからの指示と、前記選択された良品画像のオーギュメンテーションの方法及び量に関する前記ユーザからの指示とを受け付けるステップと、
前記選択された良品画像を前記オーギュメンテーションの方法及び量に関する指示に従ってオーギュメンテーションするステップと、
検査対象となる製品の画像と、前記検査対象となる製品の画像とオーギュメンテーションされた前記良品画像との合成画像とを表示するステップと、
前記オーギュメンテーションの方法及び量に関する指示のうち前記ユーザにより決定された何れかの指示に従ってオーギュメンテーションされた前記良品画像を新規の良品画像として登録するステップと、
を実行する画像処理方法。

【請求項30】

画像処理装置に、
複数の良品画像の中から何れかの良品画像を選択することを要求するユーザからの指示と、前記選択された良品画像のオーギュメンテーションの方法及び量に関する前記ユーザからの指示とを受け付けるステップと、
前記選択された良品画像を前記オーギュメンテーションの方法及び量に関する指示に従ってオーギュメンテーションするステップと、
検査対象となる製品の画像と、前記検査対象となる製品の画像とオーギュメンテーションされた前記良品画像との合成画像とを表示するステップと、
前記オーギュメンテーションの方法及び量に関する指示のうち前記ユーザにより決定された何れかの指示に従ってオーギュメンテーションされた前記良品画像を新規の良品画像として登録するステップと、
を実行させる画像処理プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像処理装置、画像処理方法、及び画像処理プログラムに関わる。

【背景技術】

【0002】

工業製品の製造分野においては、画像処理技術を応用した外観検査により、製品の欠陥の有無や程度を評価する検査方法が実用化されている。この種の検査方法の分野においては、機械学習の応用により検査精度を高める試みが検討されている。例えば、検査対象となる製品の良品のみの画像から良品の特徴を学習し、その学習結果に基づいて、検査対象が良品であるのか又は不良品であるのかを判定するアルゴリズムが知られている。このアルゴリズムでは、検査対象となる製品の画像から良品の特徴を抽出し、抽出した特徴から復元画像を生成する。仮に、検査対象となる製品に欠陥が含まれていたとしても、復元画像には、欠陥の特徴は踏まれていないため、検査対象となる製品の画像と復元画像とを対比して両者の差が閾値以上であるときには、検査対象となる製品は、欠陥を含む不良品であると判定することができる。

【0003】

このような機械学習により、良品の特徴を適切に学習するには、良品の特徴のばらつきを漏れなく分析するに足りる必要十分な量の画像が必要となる。学習に用いられる画像が表す良品の特徴のばらつきに偏りがあると、学習結果は、偏りのある特徴を反映することになるため、そのような学習結果を用いて生成された復元画像と検査対象となる製品の画像との間にずれが生じ得る。このようなずれは、欠陥として誤判定される要因となり得る。

【0004】

良品の特徴のばらつきを漏れなく分析するに足りる必要十分な量の画像を得るための手段として、オーギュメンテーションと呼ばれる手法が知られている。この手法は、学習に用いられる画像に意図的に変動（例えば、平行移動、回転、拡大縮小、左右反転、上下反転など）を加え、変動が加えられた画像を学習用の画像として追加することにより、学習に用いられる画像を増やす技術である。

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかし、良品の特徴のばらつきは、製品毎に異なるため、学習に用いられる画像にどのような変動をどれくらい加えるべきかということも製品毎に異なる。学習に用いられる画像に適切な変動を適切な量だけ加えないと、学習に用いられる画像が表す良品の特徴のばらつきに偏りがある場合と同様に、誤検出を招く要因となり得る。また、学習に費やす時間も増大してしまう問題も生じる。従来は、学習に用いられる画像にどのような変動をどれくらい加えるべきかを試行錯誤で決定していたため、手間を要していた。

【0006】

そこで、本発明は、このような問題を解消し、オーギュメンテーションの適切な方法及び量を決定することができる画像処理装置、画像処理方法、及び画像処理プログラムを提案することを課題とする。

【課題を解決するための手段】

【0007】

上述の課題を解決するため、本発明に関わる画像処理装置は、複数の良品画像を記憶する記憶装置と、複数の良品画像の中から何れかの良品画像を選択することを要求するユーザからの指示と、選択された良品画像のオーギュメンテーションの方法及び量に関するユーザからの指示とを受け付ける手段と、選択された良品画像をオーギュメンテーションの方法及び量に関する指示に従ってオーギュメンテーションする手段と、検査対象となる製品の画像と、オーギュメンテーションされた良品画像とを表示する表示装置と、オーギュメンテーションの方法及び量に関する指示のうちユーザにより決定された何れかの指示に従ってオーギュメンテーションされた良品画像を新規の良品画像として記憶装置に登録する手段を備える。これにより、ユーザは、検査対象となる製品の画像と、オーギュメンテーションされた良品画像とを見比べながら、オーギュメンテーションの適切な方法及び量を決定することができる。

【0008】

表示装置は、検査対象となる製品の画像とオーギュメンテーションされた良品画像との差分画像を更に表示してもよい。ユーザは、差分画像から、検査対象となる製品の画像と、オーギュメンテーションされた良品画像との差又は相違を視覚的に認識することができる。これにより、ユーザは、検査対象となる製品の画像と、オーギュメンテーションされた良品画像との差を考慮に入れて、オーギュメンテーションの適切な方法及び量を決定することができる。

【0009】

表示装置は、検査対象となる製品の画像とオーギュメンテーションされた良品画像との合成画像を更に表示してもよい。ユーザは、合成画像から、検査対象となる製品の画像と、オーギュメンテーションされた良品画像との差又は相違を視覚的に認識することができる。これにより、ユーザは、検査対象となる製品の画像と、オーギュメンテーションされた良品画像との差を考慮に入れて、オーギュメンテーションの適切な方法及び量を決定することができる。

【0010】

ここで、合成画像は、検査対象となる製品の画像と、オーギュメンテーションされた良品画像との差又は相違を視覚的に認識することができる画像であればよい。合成画像は、例えば、検査対象となる製品の画像とオーギュメンテーションされた良品画像とのそれぞれの画素値が異なる色成分の濃淡に変換にされた上で合成された画像でもよい。合成画像は、例えば、検査対象となる製品の画像とオーギュメンテーションされた良品画像とのそれぞれから抽出されたエッジを合成して得られる画像でもよい。合成画像は、例えば、検査対象となる製品の画像とオーギュメンテーションされた良品画像とのそれぞれの色濃度を合成して得られる画像でもよい。

【0011】

表示装置は、検査対象となる製品の画像とオーギュメンテーションされた良品画像とのそれぞれに位置決めの目印となるマークを表示してもよい。これにより、ユーザは、マークを目印として、検査対象となる製品の画像とオーギュメンテーションされた良品画像との差が少なくなるように、オーギュメンテーションの適切な方法及び量を決定することができる。

【0012】

本発明に関わる画像処理装置は、検査対象となる製品の画像とオーギュメンテーションされた良品画像との差が最小となるオーギュメンテーションの方法及び量の仮の解を探索するための手段を更に備えてもよい。表示装置は、探索されたオーギュメンテーションの方法及び量の仮の解に従ってオーギュメンテーションされた良品画像と、検査対象となる製品の画像との差分画像を表示してもよい。これにより、探索されたオーギュメンテーションの方法及び量の仮の解が正しいか否かをユーザが判断することができる。

【0013】

本発明に関わる画像処理方法は、画像処理装置が、複数の良品画像の中から何れかの良品画像を選択することを要求するユーザからの指示と、選択された良品画像のオーギュメンテーションの方法及び量に関するユーザからの指示とを受け付けるステップと、選択された良品画像をオーギュメンテーションの方法及び量に関する指示に従ってオーギュメンテーションするステップと、検査対象となる製品の画像と、オーギュメンテーションされた良品画像とを表示するステップと、オーギュメンテーションの方法及び量に関する指示のうちユーザにより決定された何れかの指示に従ってオーギュメンテーションされた良品画像を新規の良品画像として登録するステップを実行する。これにより、ユーザは、検査対象となる製品の画像と、オーギュメンテーションされた良品画像とを見比べながら、オーギュメンテーションの適切な方法及び量を決定することができる。

【0014】

本発明に関わる画像処理プログラムは、画像処理装置に、複数の良品画像の中から何れかの良品画像を選択することを要求するユーザからの指示と、選択された良品画像のオーギュメンテーションの方法及び量に関するユーザからの指示とを受け付けるステップと、選択された良品画像をオーギュメンテーションの方法及び量に関する指示に従ってオーギュメンテーションするステップと、検査対象となる製品の画像と、オーギュメンテーションされた良品画像とを表示するステップと、オーギュメンテーションの方法及び量に関する指示のうちユーザにより決定された何れかの指示に従ってオーギュメンテーションされた良品画像を新規の良品画像として登録するステップを実行させる。これにより、ユーザは、検査対象となる製品の画像と、オーギュメンテーションされた良品画像とを見比べながら、オーギュメンテーションの適切な方法及び量を決定することができる。

【発明の効果】

【0015】

本発明によれば、オーギュメンテーションの適切な方法及び量を決定することができる。

【図面の簡単な説明】

【0016】

【図1】本発明の実施形態に関わるオーギュメンテーションの手順の概要を示す説明である。

【図2】本発明の実施形態に関わるオーギュメンテーションの一例を示す説明図である。

【図3】本発明の実施形態に関わるオーギュメンテーションの方法及び量に関する指示を受け付けるユーザインタフェースとして機能する部分画面の一例を示す説明図である。

【図4】本発明の実施形態に関わる画像処理装置のハードウェア構成の一例を示す説明である。

【図5】本発明の実施形態に関わる画像処理方法における機械学習の一例を示す説明図である。

【図6】本発明の実施形態に関わる画像処理方法における良品判定の処理の流れの一例を示す説明図である。

【図7】本発明の実施形態に関わる画像処理方法の処理の流れの一例を示すフローチャートである。

【図8】本発明の実施形態に関わるオーギュメンテーションされた良品画像と検査対象となる製品の画像との差又は相違を認識できる画面の一例である。

【図9】本発明の実施形態に関わるオーギュメンテーションされた良品画像と検査対象となる製品の画像との差又は相違を認識できる画面の一例である。

【図10】本発明の実施形態に関わるオーギュメンテーションされた良品画像と検査対象となる製品の画像との差又は相違を認識できる画面の一例である。

【図11】本発明の実施形態に関わるオーギュメンテーションされた良品画像と検査対象となる製品の画像との差又は相違を認識できる画面の一例である。

【図12】本発明の実施形態に関わるオーギュメンテーションされた良品画像と検査対象となる製品の画像との差又は相違を認識できる画面の一例である。

【図13】本発明の実施形態に関わるオーギュメンテーションされた良品画像と検査対象となる製品の画像との差又は相違を認識できる画面の一例である。

【図14】本発明の実施形態に関わるオーギュメンテーションされた良品画像と検査対象となる製品の画像との差又は相違を認識できる画面の一例である。

【図15】本発明の実施形態に関わるオーギュメンテーションされた良品画像と検査対象となる製品の画像との差又は相違を認識できる画面の一例である。

【図16】本発明の実施形態に関わるオーギュメンテーションされた良品画像と検査対象となる製品の画像との差又は相違を認識できる画面の一例である。

【図17】本発明の実施形態に関わるオーギュメンテーションされた良品画像と検査対象となる製品の画像との差又は相違を認識できる画面の一例である。

【図18】本発明の実施形態に関わるオーギュメンテーションされた良品画像と検査対象となる製品の画像との差又は相違を認識できる画面の一例である。

【図19】本発明の実施形態に関わるオーギュメンテーションされた良品画像と検査対象となる製品の画像との差又は相違を認識できる画面の一例である。

【図20】本発明の実施形態に関わるオーギュメンテーションされた良品画像と検査対象となる製品の画像との差又は相違を認識できる画面の一例である。

【図21】本発明の実施形態に関わるオーギュメンテーションされた良品画像と検査対象となる製品の画像との差又は相違を認識できる画面の一例である。

【図22】本発明の実施形態に関わるオーギュメンテーションされた良品画像と検査対象となる製品の画像との差又は相違を認識できる画面の一例である。

【図23】本発明の実施形態に関わるオーギュメンテーションされた良品画像と検査対象となる製品の画像との差又は相違を認識できる画面の一例である。

【図24】本発明の実施形態に関わるオーギュメンテーションされた良品画像と検査対象となる製品の画像との差又は相違を認識できる画面の一例である。

【図25】本発明の実施形態に関わるオーギュメンテーションされた良品画像と検査対象となる製品の画像との差又は相違を認識できる画面の一例である。

【図26】本発明の実施形態に関わるオーギュメンテーションされた良品画像と検査対象となる製品の画像との差又は相違を認識できる画面の一例である。

【図27】本発明の実施形態に関わるオーギュメンテーションされた良品画像と検査対象となる製品の画像との差又は相違を認識できる画面の一例である。

【図28】本発明の実施形態に関わるオーギュメンテーションされた良品画像と検査対象となる製品の画像との差又は相違を認識できる画面の一例である。

【図29】本発明の実施形態に関わるオーギュメンテーションされた良品画像と検査対象となる製品の画像との差又は相違を認識できる画面の一例である。

【図30】本発明の実施形態に関わるオーギュメンテーションされた良品画像と検査対象となる製品の画像との差又は相違を認識できる画面の一例である。

【図31】本発明の実施形態に関わるオーギュメンテーションされた良品画像と検査対象となる製品の画像との差又は相違を認識できる画面の一例である。

【図32】本発明の実施形態に関わる画像処理方法の処理の流れの一例を示すフローチャートである。

【図33】本発明の実施形態に関わる設定画面の一例を示す図である。

【発明を実施するための形態】

【0017】

以下、本発明の一側面に関わる実施形態を図面に基づいて説明する。本発明の実施形態は、本発明の理解を容易にするためのものであり、本発明を限定して解釈するためのものではない。本発明は、その趣旨を逸脱することなく、変更又は改良され得るととともに、本発明には、その等価物も含まれる。なお、同一符号は、同一の構成要素を示すものとし、重複する説明は省略する。

【0018】

［適用例］
まず、本発明の適用例について説明する。本実施形態では、良品として分類されるクラスと不良品として分類されるクラスとを予め設定する。本明細書では、良品のクラスに分類される製品の画像を良品画像と呼ぶ。本実施形態に関わる画像処理装置は、複数の良品画像を学習用の画像として登録し、登録された複数の良品画像に基づいて良品の特徴を学習する。画像処理装置は、例えば、公知のアルゴリズムにより、検査対象となる製品の画像が良品のクラスに分類されるのか、或いは不良品のクラスに分類されるのかを判定する。本明細書では、このような判定を良否判定と呼ぶ。

【0019】

次に、図１を参照しながら、学習に用いられる良品画像をオーギュメンテーションにより増やす手法についてその概要を説明する。図１において、符号３２は、検査対象となる製品の画像を示す。検査対象となる製品は、良品のクラスに属するものでもよく、或いは、不良品のクラスに属するものでもよい。ユーザは、予め登録されている複数の良品画像３１の中から、検査対象となる製品の画像３２に最も類似する良品画像３１を選択する。「類似」とは、画像に写っている製品の外観特徴（例えば、形状）の類似の度合いを意味する。ユーザは、予め登録されている複数の良品画像３１の中から選択した良品画像３１と、検査対象となる製品の画像３２との差が少なくなるように、オーギュメンテーションの方法及び量に関する指示を画像処理装置に与える。符号３５は、選択された良品画像３１と、検査対象となる製品の画像３２との差が少なくなるように、ユーザによって入力されたオーギュメンテーションの方法及び量に関する指示に従ってオーギュメンテーションされた良品画像を示す。即ち、良品画像３５は、ユーザからの指示に応じて、良品画像３１がオーギュメンテーションされた後の画像である。良品画像３５が画像３２に一致しない場合には、ユーザは、良品画像３５と画像３２との差が少なくなるように、オーギュメンテーションの方法及び量に関する指示を、画像処理装置に、例えば、複数回再入力することができる。

【0020】

ここで、オーギュメンテーションの方法とは、オーギュメンテーションにより画像を変動させる仕方（例えば、上移動、下移動、左移動、右移動、回転、拡大縮小、左右反転、及び上下反転など）を意味する。図２に示す例では、良品画像３１を上移動、下移動、左移動、又は右移動することにより、良品画像３５を生成する例を示している。オーギュメンテーションの量とは、オーギュメンテーションにより画像に加えられる変動の度合いを定量化した値を意味する。例えば、良品画像３１を右移動して良品画像３５を生成する場合には、オーギュメンテーションの量は、良品画像３１の右方向の移動量を意味する。

【0021】

なお、良品画像３５と画像３２との差は、良品画像３５に写っている製品の外観特徴と、画像３２に写っている製品の外観特徴との差を意味し、この差は、必ずしも面積のみを基準に判断するのではなく、良品画像３５に写っている製品の形状と画像３２に写っている製品の形状との差も考慮に入れるのが望ましい。良品画像３５に写っている製品の面積と、画像３２に写っている製品の面積との差が最小となるときにおける、良品画像３５に写っている製品の形状と、画像３２に写っている製品の形状との差が、例えば、薄肉の中空円形状となる場合には、欠陥を認識するアルゴリズムによっては、これを欠陥として誤認識する場合があり得る。このような誤認識は、良否判定の精度の低下をもたらすことがあり得る。

【0022】

図３は、本発明の実施形態に関わるオーギュメンテーションの方法及び量に関する指示を受け付けるユーザインタフェースとして機能する部分画面の一例を示す説明図である。
図３において、符号７１は、複数の良品画像３１の中から何れかの良品画像３１を選択することを要求するユーザからの指示を受け付けるためのユーザインタフェースとして機能する部分画面（例えば、ウィンドウ）の一例である。部分画面７１には、画像処理装置に予め登録されている複数の良品画像３１のリストが提示されている。「画像１」、「画像２」、…、「画像Ｎ」は、良品画像３１のファイル名である。例えば、ユーザは、部分画面７１に提示されているリストの中から画像３２に最も類似する良品画像３１の選択を指示することができる。

【0023】

図３において、符号７２は、オーギュメンテーションの方法に関する指示をユーザから受け付けるためのユーザインタフェースとして機能する部分画面（例えば、ウィンドウ）の一例である。部分画面７２には、オーギュメンテーションの方法に関する複数の選択肢８０が列挙されている。複数の選択肢８０のそれぞれは、異なるオーギュメンテーションの方法に対応付けられている。ユーザは、部分画面７１に提示されているリストの中から選択した何れかの良品画像３１をオーギュメーテーションする方法を複数の選択肢８０の中から選択することができる。なお、オーギュメンテーションの方法に関する指示の入力方法は、選択肢の形式に限られるものではなく、例えば、テキスト入力や音声入力などでもよい。

【0024】

図３において、符号７３は、オーギュメンテーションの量に関する指示をユーザから受け付けるためのユーザインタフェースとして機能する部分画面（例えば、ウィンドウ）の一例である。この例では、部分画面７３は、オーギュメンテーションの量に関する指示をユーザからの「数字」入力により受け付ける。例えば、オーギュメンテーションの方法として、選択肢８０の中から「上移動」が選択され、オーギュメンテーションの量として「１０」が入力されると、部分画面７１に提示されているリストの中から選択された良品画像３１を「１０」の量だけ上に移動させる指示が画像処理装置に入力される。なお、オーギュメンテーションの量に関する指示の入力方法は、数字入力に限られるものではなく、例えば、選択肢の形式でもよく、或いは音声入力などでもよい。

【0025】

ユーザは、部分画面７２，７３を通じて入力したオーギュメンテーションの方法及び量に関する一つ以上の指示の中で、良品画像３５と画像３２との差が、面積及び形状を考慮に入れた上で、最も適度に少なくなるときの何れか一つの指示を決定する。画像処理装置は、このようにして決定された指示に従って良品画像３１をオーギュメンテーションすることにより得られる良品画像３５を新規の良品画像として登録する。このように、ユーザは、検査対象となる製品の画像３２と、オーギュメンテーションされた良品画像３５とを見比べながら、オーギュメンテーションの適切な方法及び量を決定することができる。これにより、製品毎に異なる良品の外観特徴のばらつきを適切に考慮に入れた上で、学習に用いられる良品画像３１をオーギュメンテーションにより増やすことができる。

【0026】

［ハードウェア構成］
次に、図４を参照しながら、本実施形態に関わる画像処理装置１０のハードウェア構成の一例について説明する。
画像処理装置１０は、そのハードウェア資源として、プロセッサ１１と、メインメモリ１２と、カメラインタフェース１３と、入出力インタフェース１４と、ディスプレイインタフェース１５と、通信インタフェース１６と、記憶装置１７とを備えるコンピュータシステムである。

【0027】

記憶装置１７は、ディスク媒体（例えば、磁気記録媒体又は光磁気記録媒体）又は半導体メモリ（例えば、揮発性メモリ又は不揮発性メモリ）などのコンピュータ読み取り可能な記録媒体である。このような記録媒体は、例えば、非一過性の記録媒体と呼ぶこともできる。記憶装置１７には、画像処理プログラム２０と、良品画像３１と、学習器４０とが記憶されている。画像処理プログラム２０は、本実施形態に関わる画像処理方法をプロセッサ１１に実行させるためのコンピュータプログラムである。画像処理プログラム２０は、記憶装置１７からメインメモリ１２に読み込まれ、プロセッサ１１により解釈及び実行されることにより、本実施形態に関わる画像処理方法が実行される。学習器４０は、複数の良品画像３１の特徴の機械学習により生成される。

【0028】

カメラインタフェース１３には、カメラ５１が接続されている。カメラ５１は、例えば、カラー画像を撮影するイメージセンサを備えてもよい。カメラ５１は、画像処理装置１０に内蔵されているものでもよく、或いは画像処理装置１０に外付けされるものでもよい。検査対象となる製品が良品である場合、カメラ５１により撮影された画像は、良品画像３１として記憶装置１７に記憶される。

【0029】

なお、検査対象は、例えば、生産ライン上をベルトコンベヤで搬送される仕掛け品又は部品などのワークでもよい。画像処理装置１０は、生産ライン上に設置されていてもよく、或いは生産ラインとは異なる場所に設置されていてもよい。画像処理装置１０が生産ラインとは異なる場所に設置されている場合には、画像処理装置１０は、生産ラインに設置されているカメラによる検査対象の撮影により得られた画像を、通信インタフェース１６を通じて有線又は無線のネットワークから受信してもよい。

【0030】

入出力インタフェース１４には、入力デバイス５２と出力デバイス５３とが接続されている。入力デバイス５２は、良品画像３１の選択に関する指示及び選択された良品画像３１のオーギュメンテーションの方法及び量に関する指示をユーザが画像処理装置１０に入力するためのデバイスである。入力デバイス５２は、例えば、キーボード、マウス、タッチパッドなどである。出力デバイス５３は、各種処理結果（例えば、検査対象となる製品の良否判定結果）などを出力するデバイスである。出力デバイス５３は、例えば、プリンタである。

【0031】

ディスプレイインタフェース１５には、表示装置５４が接続されている。表示装置５４は、オーギュメンテーションにより良品画像３１を増やすための処理に用いられる各種の情報を表示する。このような情報として、例えば、ユーザからの指示を受け付けるためのユーザインタフェースとして機能する部分画面７１，７２，７３や、各種の画面（例えば、図８乃至図３１に示す画面）が挙げられる。

【0032】

［学習処理］
図５は本発明の実施形態に関わる画像処理方法における機械学習の一例を示す説明図である。学習器４０は、不良品の画像を用いずに、複数の良品画像３１から良品の特徴を学習する。

【0033】

［良否判定処理］
図６は本発明の実施形態に関わる画像処理方法における良品判定の処理の流れの一例を示す説明図である。学習器４０は、例えば、部分空間法により、検査対象となる製品の画像３２から良品の特徴を抽出し、抽出した特徴から復元画像３３を生成する。画像処理装置１０は、画像３２と復元画像３３との差分である差分画像３４を生成し、差分画像３４を二値化及びラベリング処理して得られる結果値（例えば、面積値）と閾値との比較により、良否判定を行う。

【0034】

［画像処理方法］
図７は本発明の実施形態に関わる画像処理方法の処理の流れの一例を示すフローチャートである。この画像処理方法は、学習に用いられる良品画像３１をオーギュメンテーションにより増やす方法に関わる。

【0035】

ステップ７０１において、画像処理装置１０は、複数の良品画像３１の中から何れかの良品画像３１を選択することを要求するユーザからの指示を、部分画面７１を通じて受け付けるとともに、選択された良品画像３１のオーギュメンテーションの方法及び量に関するユーザからの指示を、部分画面７２，７３を通じて受け付ける。

【0036】

ステップ７０２において、画像処理装置１０は、ステップ７０１で選択された良品画像３１を、ステップ７０１で指定されたオーギュメンテーションの方法及び量に関する指示に従ってオーギュメンテーションする。

【0037】

ステップ７０３において、画像処理装置１０は、検査対象となる製品の画像３２と、ステップ７０２でオーギュメンテーションされた良品画像３５との差又は相違を認識できる画面（例えば、図８乃至図３１に示す画面）を表示装置５４に表示する。ユーザは、このような画面を参照することにより、検査対象となる製品の画像３２と、ステップ７０２でオーギュメンテーションされた良品画像３５との差が許容範囲内にあるか否かを判断することができる。検査対象となる製品の画像３２と、ステップ７０２でオーギュメンテーションされた良品画像３５との差が許容範囲内にない場合、後述するステップ７０４の判定結果は、否定判定となり、図７の処理はステップ７０１に戻る。ステップ７０１において、ユーザは、複数の良品画像３１の中から選択した良品画像３１と、検査対象となる製品の画像３２との差が少なくなるように、オーギュメンテーションの方法及び量に関する指示を画像処理装置１０に再入力することができる。

【0038】

ステップ７０４において、画像処理装置１０は、ステップ７０１で入力されたオーギュメンテーションの方法及び量に関する一つ以上の指示の中で、検査対象となる製品の画像３２と、ステップ７０２オーギュメンテーションされた良品画像３５との差が、面積及び形状を考慮に入れた上で、最も適度に少なくなるときの何れか一つの指示がユーザにより決定されたか否かを判定する。ユーザは、例えば、入力デバイス５２を操作して、この決定を画像処理装置１０に指示することができる。

【0039】

ステップ７０５において、画像処理装置１０は、ステップ７０４で決定された指示に従ってオーギュメンテーションされた良品画像３５を新規の良品画像として登録する。

【0040】

次に、図８乃図３１に記載の画面例について説明する。
図８に示す画面例は、検査対象となる製品の画像３２と、ステップ７０２でオーギュメンテーションされた良品画像３５とを対比表示する。この例では、検査対象となる製品の画像３２と、オーギュメンテーションされた良品画像３５とを見比べるときの参考となる情報として、例えば、画像３２の中のある点Ｐの画素値を部分画面（例えば、ウィンドウ）９１に表示し、良品画像３５の中のある点Ｑの画素値を部分画面（例えば、ウィンドウ）９２に表示してもよい。ここで、画像３２の特定の位置（例えば、中心位置）に対する点Ｐの相対的な位置関係と、良品画像３５の特定の位置（例えば、中心位置）に対する点Ｑの相対的な位置関係は同じである。ユーザは、部分画面９１，９２のそれぞれに表示される画素値を基に、良品画像３５と画像３２との差を的確に認識することができる。

【0041】

図９に示す画面例は、検査対象となる製品の画像３２と、ステップ７０２でオーギュメンテーションされた良品画像３５とに加えて、差分画像３６を更に対比表示する。差分画像３６は、画像３２と良品画像３５との差分を示す。差分画像３６は、例えば、画像３２と良品画像３５との対応する画素同士の画素値の差分を二値化処理したものでもよい。ユーザは、検査対象となる製品の画像３２と、オーギュメンテーションされた良品画像と３５の差を考慮に入れて、オーギュメンテーションの適切な方法及び量を決定することができる。

【0042】

図１０乃至図１２に示す画面例は、検査対象となる製品の画像３２と、ステップ７０２でオーギュメンテーションされた良品画像３５とに加えて、合成画像３７Ａ，３７Ｂ，３７Ｃの何れか一つの合成画像を更に対比表示する。合成画像３７Ａは、例えば、画像３２と良品画像３５とのそれぞれの画素値が異なる色成分の濃淡に変換された上で合成された画像である。例えば、画像３２の各画素値を第１の色成分（例えば、赤色）の濃淡に変換し、良品画像３５の各画素値を第１の色成分とは異なる第２の色成分（例えば、青色）の濃淡に変換した上で、両者を合成することにより、合成画像３７Ａを生成してもよい。合成画像３７Ｂは、例えば、画像３２と良品画像３５とのそれぞれから抽出されたエッジを合成して得られる画像である。合成画像３７Ｃは、例えば、画像３２と良品画像３５とのそれぞれの色濃度を合成して得られる画像である。

【0043】

ユーザは、合成画像３７Ａ，３７Ｂ，３７Ｃから、検査対象となる製品の画像３２と、オーギュメンテーションされた良品画像３５との差又は相違を視覚的に認識することができる。これにより、ユーザは、検査対象となる製品の画像３２と、オーギュメンテーションされた良品画像３５との差を考慮に入れて、オーギュメンテーションの適切な方法及び量を決定することができる。

【0044】

なお、画像処理装置１０は、合成画像３７Ａ，３７Ｂ，３７Ｃを、例えば、一定時間間隔で表示装置５４に切り替え表示してもよい。例えば、画像処理装置１０は、合成画像３７Ａを一定時間表示した後に、合成画像３７Ａから合成画像３７Ｂに表示切替を行い、合成画像３７Ｂを一定時間表示した後に、合成画像３７Ｂから合成画像３７Ｃに表示切替を行ってもよい。また、このような表示切替は、ユーザからの指示に応じて画像処理装置１０が行ってもよい。ユーザは、どのタイミングでどの合成画像を表示するべきかを入力デバイス５２を用いて画像処理装置１０に指示することができる。画像処理装置１０は、そのような指示を受け付けるユーザインタフェースを有してもよい。

【0045】

図１３に示す画面例は、検査対象となる製品の画像３２と、ステップ７０２でオーギュメンテーションされた良品画像３５とのそれぞれに位置決めの目印となるマーク６１，６２を表示する。例えば、画像３２の特定の位置（例えば、中心位置）に対するマーク６１の相対的な位置関係と、良品画像３５の特定の位置（例えば、中心位置）に対するマーク６２の相対的な位置関係とが同じになるように、マーク６１，６２が表示される。これにより、ユーザは、マーク６１，６２を目印として、良品画像３５と画像３２との差が少なくなるように、オーギュメンテーションの方法及び量に関する指示を入力することができる。

【0046】

図１４に示す画面例は、検査対象となる製品の画像３２と、差分画像３６を対比表示する。

【0047】

図１５に示す画面例は、検査対象となる製品の画像３２と差分画像３６とに加えて、ステップ７０２でオーギュメンテーションされた良品画像３５を更に対比表示する。この例では、検査対象となる製品の画像３２と、オーギュメンテーションされた良品画像３５とを見比べるときの参考となる情報として、例えば、図８と同様に、画像３２の中のある点Ｐの画素値を部分画面（例えば、ウィンドウ）９１に表示し、良品画像３５の中のある点Ｑの画素値を部分画面（例えば、ウィンドウ）９２に表示してもよい。

【0048】

図１６乃至図１８に示す画面例は、検査対象となる製品の画像３２と差分画像３６とに加えて、合成画像３７Ａ，３７Ｂ，３７Ｃの何れか一つの合成画像を更に対比表示する。

【0049】

図１９に示す画面例は、検査対象となる製品の画像３２と差分画像３６とに加えて、ステップ７０２でオーギュメンテーションされた良品画像３５を更に対比表示する。この例では、図１３と同様に、検査対象となる製品の画像３２と、ステップ７０２でオーギュメンテーションされた良品画像３５とのそれぞれに位置決めの目印となるマーク６１，６２を表示してもよい。

【0050】

図２０乃至図２２に示す画面例は、検査対象となる製品の画像３２と、合成画像３７Ａ，３７Ｂ，３７Ｃの何れか一つの合成画像を対比表示する。

【0051】

図２３乃至図２５に示す画面例は、検査対象となる製品の画像３２と、合成画像３７Ａ，３７Ｂ，３７Ｃの何れか一つの合成画像とに加えて、ステップ７０２でオーギュメンテーションされた良品画像３５を更に対比表示する。これらの例では、検査対象となる製品の画像３２と、オーギュメンテーションされた良品画像３５とを見比べるときの参考となる情報として、例えば、図８と同様に、画像３２の中のある点Ｐの画素値を部分画面（例えば、ウィンドウ）９１に表示し、良品画像３５の中のある点Ｑの画素値を部分画面（例えば、ウィンドウ）９２に表示してもよい。

【0052】

図２６乃至図２８に示す画面例は、検査対象となる製品の画像３２と、合成画像３７Ａ，３７Ｂ，３７Ｃの何れか一つの合成画像とに加えて、ステップ７０２でオーギュメンテーションされた良品画像３５を更に対比表示する。これらの例では、図１３と同様に、検査対象となる製品の画像３２と、ステップ７０２でオーギュメンテーションされた良品画像３５とのそれぞれに位置決めの目印となるマーク６１，６２を表示してもよい。

【0053】

図２９乃至図３１に示す画面例は、検査対象となる製品の画像３２と、合成画像３７Ａ，３７Ｂ，３７Ｃの何れか一つの合成画像とに加えて、差分画像３６を更に対比表示する。

【0054】

図３２は本発明の実施形態に関わる画像処理方法の処理の流れの一例を示すフローチャートである。この画像処理方法は、検査対象となる製品の画像３２とオーギュメンテーションされた良品画像３５との差が最小となるオーギュメンテーションの方法及び量の仮の解を自動探索する方法に関わる。

【0055】

ステップ３２０１において、画像処理装置１０は、記憶装置１７に記憶されている複数の良品画像３１の中から何れか一つの良品画像３１を選択する。

【0056】

ステップ３２０２において、画像処理装置１０は、ステップ３２０１で選択された良品画像３１をオーギュメンテーションする方法を一つ選択する。

【0057】

ステップ３２０３において、画像処理装置１０は、ステップ３２０１で選択された良品画像３１を、ステップ３２０２で選択されたオーギュメンテーションの方法でオーギュメンテーションする量を選択する。この選択は、例えば、オーギュメンテーションの方法毎に予め定められたオーギュメンテーションの量の範囲内の何れかの量を任意に選択すればよい。

【0058】

ステップ３２０４において、画像処理装置１０は、ステップ３２０１で選択された良品画像３１を、ステップ３２０２，３２０３で選択されたオーギュメンテーションの方法及び量に従ってオーギュメンテーションされた良品画像３５と、検査対象となる製品の画像３２との差分Ａを計算する。この差分Ａは、例えば、良品画像３５と画像３２との対応する画素同士の画素値の差分を二値化処理した結果の面積値でもよい。

【0059】

ステップ３２０５において、画像処理装置１０は、ステップ３２０４の計算により求めた差分Ａが仮の最小値Ａｍｉｎよりも小さいか否かを判定する。

【0060】

ステップ３３２０６において、画像処理装置１０は、ステップ３２０４の計算により求めた差分Ａを仮の最小値Ａｍｉｎとする。

【0061】

ステップ３２０７において、画像処理装置１０は、ステップ３２０１で選択された良品画像３１をオーギュメンテーションする方法を変更するか否かを判定する。この判定は、例えば、ステップ３２０１で選択された良品画像３１を、ステップ３２０２で選択されたオーギュメンテーションの方法でオーギュメンテーションする量の選択が全範囲についてされたか否かを判断基準としてもよい。

【0062】

ステップ３２０８において、画像処理装置１０は、ステップ３２０１で選択されるべき良品画像３１を変更するか否かを判定する。この判定は、例えば、ステップ３２０１で選択された良品画像３１を、全てのオーギュメンテーションの方法及び量についてオーギュメンテーションしたか否かを判断基準としてもよい。

【0063】

上述のステップ３２０１～３２０８により求められる最小値Ａｍｉｎは、検査対象となる製品の画像３２とオーギュメンテーションされた良品画像３５との差が最小となるオーギュメンテーションの方法及び量の仮の解となる。

【0064】

表示装置５４は、上述のステップ３２０１～３２０８により探索されたオーギュメンテーションの方法及び量の仮の解に従ってオーギュメンテーションされた良品画像３５と検査対象となる製品の画像３２との差分画像３６を表示する。例えば、図９、図１４乃至図１９、及び図２９乃至図３１に示す差分画像３６は、上述のステップ３２０１～３２０８により探索されたオーギュメンテーションの方法及び量の仮の解に従ってオーギュメンテーションされた良品画像３５と検査対象となる製品の画像３２との差分画像でもよい。これにより、探索されたオーギュメンテーションの方法及び量の仮の解が正しいか否かをユーザが判断することができる。例えば、探索されたオーギュメンテーションの方法及び量の仮の解に従ってオーギュメンテーションされた良品画像３５に写っている製品の形状と、検査対象となる製品の画像３２に写っている製品の形状との差が欠陥として誤認認識されるようなものである場合には、ユーザは、オーギュメンテーションの方法及び量の仮の解が正しくないものと判断してもよい。

【0065】

画像処理装置１０は、上述の画像処理方法（図７のステップ７０１～７０５、図３２のステップ３２０１～３２０８）を実行する手段として機能し、斯かる手段は、必ずしも、画像処理装置１０のハードウェア資源と画像処理プログラム２０との協働によって実現される必要はなく、例えば、画像処理装置１０の専用のハードウェア資源（例えば、特定用途向け集積回路（ＡＳＩＣ）、又はフィールドプログラマブルゲートアレイ（ＦＰＧＡ）など）を用いて実現されてもよい。

【0066】

図３３は、オーギュメンテーションの方法及び量に関する指示をユーザから受け付けるための設定画面１００の一例を示す。設定画面１００は、検査画像表示部１０１、登録画像表示部１０２、オーギュメンテーション表示部１０３、差分画像表示部１０４、登録画像一覧表示部１０５、及びオーギュメンテーションパラメータ指定部１０６を備える。この設定画面１００は、例えば、表示装置５４に表示される。

【0067】

登録画像一覧表示部１０５には、予め登録されている複数の良品画像３１の一覧が表示される。この一覧の中から何れか一つの良品画像３１がユーザにより選択されると、選択された良品画像３１は、登録画像表示部１０２に表示される。ユーザは、オーギュメンテーションパラメータをオーギュメンテーションパラメータ指定部１０６から指定することができる。オーギュメンテーションパラメータは、良品画像３１をオーギュメンテーションする量を定めるパラメータである。図３３に示す例では、オーギュメンテーションパラメータとして、水平移動量及び回転移動量が例示されているが、この例に限られるものではない。オーギュメンテーション表示部１０３には、指定されたオーギュメンテーションパラメータに従ってオーギュメンテーションされた良品画像３５が表示される。一方、検査画像表示部１０１には、検査対象となる製品の画像３２が表示される。差分画像表示部１０４には、画像３２と良品画像３５との差分を示す差分画像３６が表示される。

【0068】

上述の実施形態の一部又は全部は、以下の付記のように記載され得るが、以下には限定されない。
（付記１）
複数の良品画像３１を記憶する記憶装置１７と、
複数の良品画像３１の中から何れかの良品画像３１を選択することを要求するユーザからの指示と、選択された良品画像３１のオーギュメンテーションの方法及び量に関するユーザからの指示とを受け付ける手段７０１と、
選択された良品画像３１をオーギュメンテーションの方法及び量に関する指示に従ってオーギュメンテーションする手段７０２と、
検査対象となる製品の画像３２と、オーギュメンテーションされた良品画像３５とを表示する表示装置５４と、
オーギュメンテーションの方法及び量に関する指示のうちユーザにより決定された何れかの指示に従ってオーギュメンテーションされた良品画像３５を新規の良品画像３１として記憶装置１７に登録する手段７０５と、
を備える画像処理装置１０。
（付記２）
付記１に記載の画像処理装置１０であって、
表示装置５４は、検査対象となる製品の画像３２とオーギュメンテーションされた良品画像３５との差分画像３６を更に表示する、画像処理装置１０。
（付記３）
付記１に記載の画像処理装置１０であって、
表示装置５４は、検査対象となる製品の画像３２とオーギュメンテーションされた良品画像３５との合成画像３７Ａ，３７Ｂ，３７Ｃを更に表示する、画像処理装置１０。
（付記４）
付記３に記載の画像処理装置１０であって、
合成画像３７Ａは、検査対象となる製品の画像３２とオーギュメンテーションされた良品画像３５とのそれぞれの画素値が異なる色成分の濃淡に変換にされた上で合成された画像である、画像処理装置１０。
（付記５）
付記３に記載の画像処理装置１０であって、
合成画像３７Ｂは、検査対象となる製品の画像３２とオーギュメンテーションされた良品画像３５とのそれぞれから抽出されたエッジを合成して得られる画像である、画像処理装置１０。
（付記６）
付記３に記載の画像処理装置１０であって、
合成画像３７Ｃは、検査対象となる製品の画像３２とオーギュメンテーションされた良品画像３５とのそれぞれの色濃度を合成して得られる画像である、画像処理装置１０。
（付記７）
付記１に記載の画像処理装置１０であって、
表示装置５４は、検査対象となる製品の画像３２とオーギュメンテーションされた良品画像３５とのそれぞれに位置決めの目印となるマーク６１，６２を表示する、画像処理装置１０。
（付記８）
付記２に記載の画像処理装置１０であって、
検査対象となる製品の画像３２とオーギュメンテーションされた良品画像３５との差が最小となるオーギュメンテーションの方法及び量の仮の解を探索するための手段３２０１～３２０８を更に備え、
表示装置５４は、探索されたオーギュメンテーションの方法及び量の仮の解に従ってオーギュメンテーションされた良品画像３５と検査対象となる製品の画像３２との差分画像３６を表示する、画像処理装置。
（付記９）
画像処理装置１０が、
複数の良品画像３１の中から何れかの良品画像３１を選択することを要求するユーザからの指示と、選択された良品画像３１のオーギュメンテーションの方法及び量に関するユーザからの指示とを受け付けるステップ７０１と、
選択された良品画像３１をオーギュメンテーションの方法及び量に関する指示に従ってオーギュメンテーションするステップ７０２と、
検査対象となる製品の画像３２と、オーギュメンテーションされた良品画像３５とを表示するステップ７０３と、
オーギュメンテーションの方法及び量に関する指示のうちユーザにより決定された何れかの指示に従ってオーギュメンテーションされた良品画像３５を新規の良品画像３１として登録するステップ７０５と、
を実行する画像処理方法。
（付記１０）
画像処理装置に、
複数の良品画像３１の中から何れかの良品画像３１を選択することを要求するユーザからの指示と、選択された良品画像３１のオーギュメンテーションの方法及び量に関するユーザからの指示とを受け付けるステップ７０１と、
選択された良品画像３１をオーギュメンテーションの方法及び量に関する指示に従ってオーギュメンテーションするステップ７０２と、
検査対象となる製品の画像３２と、オーギュメンテーションされた良品画像３５とを表示するステップ７０３と、
オーギュメンテーションの方法及び量に関する指示のうちユーザにより決定された何れかの指示に従ってオーギュメンテーションされた良品画像３５を新規の良品画像３１として登録するステップ７０５と、
を実行させる画像処理プログラム２０。

【符号の説明】

【0069】

１０…画像処理装置 １１…プロセッサ １２…メインメモリ １３…カメラインタフェース １４…入出力インタフェース １５…ディスプレイインタフェース １６…通信インタフェース １７…記憶装置 ２０…画像処理プログラム ３１…良品画像 ３２…画像 ３３…復元画像 ３４…差分画像 ３５…良品画像 ３６…差分画像 ３７Ａ，３７Ｂ，３７Ｃ…合成画像 ５４…表示装置 ６１，６２…マーク ７１，７２，７３…部分画面 ８０…選択肢

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】

【図22】

【図23】

【図24】

【図25】

【図26】

【図27】

【図28】

【図29】

【図30】

【図31】

【図32】

【図33】