特許 7194348 画像処理装置、画像処理方法及び画像処理プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-12-14

(45)【発行日】2022-12-22

(54)【発明の名称】画像処理装置、画像処理方法及び画像処理プログラム

(51)【国際特許分類】

   G01N 21/88 20060101AFI20221215BHJP

   G06T 5/00 20060101ALI20221215BHJP

   G06T 1/00 20060101ALI20221215BHJP

【ＦＩ】

G01N21/88 J

G06T5/00 720

G06T1/00 305A

【請求項の数】 11

(21)【出願番号】P 2018131534

(22)【出願日】2018-07-11

(65)【公開番号】P2020008488

(43)【公開日】2020-01-16

【審査請求日】2020-12-14

(73)【特許権者】

【識別番号】000002945

【氏名又は名称】オムロン株式会社

(74)【代理人】

【識別番号】100079108

【弁理士】

【氏名又は名称】稲葉 良幸

(74)【代理人】

【識別番号】100109346

【弁理士】

【氏名又は名称】大貫 敏史

(74)【代理人】

【識別番号】100117189

【弁理士】

【氏名又は名称】江口 昭彦

(74)【代理人】

【識別番号】100134120

【弁理士】

【氏名又は名称】内藤 和彦

(74)【代理人】

【識別番号】100108213

【弁理士】

【氏名又は名称】阿部 豊隆

(72)【発明者】

【氏名】藤枝 紫朗

【審査官】村田 顕一郎

(56)【参考文献】

【文献】特開２００６－０１８４６７（ＪＰ，Ａ）

【文献】特開２０１６－１７０６１２（ＪＰ，Ａ）

【文献】特開２０１０－１９７２２１（ＪＰ，Ａ）

【文献】特開２００９－０６３６８５（ＪＰ，Ａ）

【文献】特開２００６－３３９８７５（ＪＰ，Ａ）

【文献】特開２０１３－０４５３１６（ＪＰ，Ａ）

【文献】特開２００６－１９４６５７（ＪＰ，Ａ）

【文献】特開平１０－１５０５７１（ＪＰ，Ａ）

【文献】米国特許第６６１４９４６（ＵＳ，Ｂ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０１Ｎ ２１／８４－２１／９５８

Ｇ０６Ｔ ５／００－５／５０

Ｇ０６Ｔ １／００－１／６０

(57)【特許請求の範囲】

【請求項1】

欠陥を含む不良品を撮影した不良品画像において前記欠陥に対応する欠陥画像を指定する指定部と、
前記指定された欠陥画像の周辺に存在する画像から周辺画像を決定する決定部と、
前記指定された欠陥画像に前記決定された周辺画像を合成する合成部と、を備え、
前記合成部は、前記欠陥画像を中心画像とし、該中心画像の周辺に存在する複数の画像を、それぞれが該中心画像と同サイズである複数の前記周辺画像とするときの、該複数の周辺画像の濃度平均値を算出し、該算出された濃度平均値を前記中心画像の濃度値と置換する、
画像処理装置。

【請求項2】

前記指定部は、前記不良品画像上に表示されるポインタによって前記欠陥画像を指定し、
前記決定部は、前記ポインタの移動方向に基づいて前記周辺画像を決定する、
請求項１に記載の画像処理装置。

【請求項3】

前記決定部は、前記ポインタの移動方向に基づき、かつ、前記不良品画像の中心側の画像から前記周辺画像を決定する、
請求項２に記載の画像処理装置。

【請求項4】

前記決定部は、前記不良品画像において前記ポインタに対して所定方向の位置に表示される周辺ポインタによって前記周辺画像を決定する、
請求項２又は３に記載の画像処理装置。

【請求項5】

前記周辺ポインタのサイズを設定する設定部をさらに備える、
請求項４に記載の画像処理装置。

【請求項6】

欠陥を含む不良品を撮影した不良品画像において前記欠陥に対応する欠陥画像を指定する指定ステップと、
前記指定された欠陥画像の周辺に存在する画像から周辺画像を決定する決定ステップと、
前記指定された欠陥画像に前記決定された周辺画像を合成する合成ステップと、を含み、
前記合成ステップは、前記欠陥画像を中心画像とし、該中心画像の周辺に存在する複数の画像を、それぞれが該中心画像と同サイズである複数の前記周辺画像とするときの、該複数の周辺画像の濃度平均値を算出することと、該算出された濃度平均値を前記中心画像の濃度値と置換することとを含む、
画像処理方法。

【請求項7】

前記指定ステップは、前記不良品画像上に表示されるポインタによって前記欠陥画像を指定することを含み、
前記決定ステップは、前記ポインタの移動方向に基づいて前記周辺画像を決定することを含む、
請求項６に記載の画像処理方法。

【請求項8】

前記決定ステップは、前記ポインタの移動方向に基づき、かつ、前記不良品画像の中心側の画像から前記周辺画像を決定することを含む、
請求項７に記載の画像処理方法。

【請求項9】

前記決定ステップは、前記不良品画像において前記ポインタに対して所定方向の位置に表示される周辺ポインタによって前記周辺画像を決定することを含む、
請求項７又は８に記載の画像処理方法。

【請求項10】

前記周辺ポインタのサイズを設定する設定ステップをさらに含む、
請求項９に記載の画像処理方法。

【請求項11】

コンピュータに実行させる画像処理プログラムであって、
欠陥を含む不良品を撮影した不良品画像において前記欠陥に対応する欠陥画像を指定する指定ステップと、
前記指定された欠陥画像の周辺に存在する画像から周辺画像を決定する決定ステップと、
前記指定された欠陥画像に前記決定された周辺画像を合成する合成ステップと、を含み、
前記合成ステップは、前記欠陥画像を中心画像とし、該中心画像の周辺に存在する複数の画像を、それぞれが該中心画像と同サイズである複数の前記周辺画像とするときの、該複数の周辺画像の濃度平均値を算出することと、該算出された濃度平均値を前記中心画像の濃度値と置換することとを含む、
画像処理プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像処理装置、画像処理方法及び画像処理プログラムに関する。

【背景技術】

【0002】

従来、基板のエッジを撮影する撮影部と、該撮影部により取得された基板のエッジの画像に基づいて欠陥を検出する欠陥検出部と、該欠陥検出部により検出された欠陥の程度を判定する欠陥状態判定部と、欠陥検出部７により検出された欠陥の位置と、欠陥状態判定部により判定された欠陥の程度とを対応づけて登録する欠陥登録部とを備え、欠陥状態判定部が、欠陥登録部に登録された欠陥の程度を経時的に判定する欠陥監視システムが知られている（特許文献１参照）。この欠陥監視システムでは、欠陥状態判定部が登録された欠陥の程度を経時的に判定することにより、欠陥の程度の変化を監視することが可能となるので、検出当初においては修復不要な欠陥であった場合においても、その後の判定において成長している場合には、修復不能となる前にこれを修復することが可能となる。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２００８－８２９４９号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

ところで、欠陥を含む不良品を撮影した不良品画像から良品画像を生成する場合、不良品画像において欠陥に対応する欠陥画像を修復する必要がある。しかしながら、従来の画像処理装置では欠陥画像の修復に時間が掛かるため、不良品画像から良品画像を生成することは容易ではなかった。

【0005】

そこで、本発明は、欠陥を含む不良品を撮影した不良品画像から良品画像を容易に生成することのできる画像処理装置、画像処理方法及び画像処理プログラムを提供する。

【課題を解決するための手段】

【0006】

本発明の一態様に係る画像処理装置は、欠陥を含む不良品を撮影した不良品画像において欠陥に対応する欠陥画像を指定する指定部と、指定された欠陥画像の周辺に存在する画像から周辺画像を決定する決定部と、指定された欠陥画像に決定された周辺画像を合成する合成部と、を備える。

【0007】

この態様によれば、指定された欠陥画像に決定された周辺画像が合成される。ここで、欠陥画像の周辺には欠陥のない領域の画像が存在すると考えられる。よって、欠陥画像の周辺にある欠陥のない領域の画像を周辺画像に決定し、欠陥画像に周辺画像を合成することにより、欠陥画像を修復することが可能となる。従って、不良品画像から良品画像を容易に生成することができる。

【0008】

前述した態様において、指定部は、不良品画像上に表示されるポインタによって欠陥画像を指定し、決定部は、ポインタの移動方向に基づいて周辺画像を決定してもよい。

【0009】

この態様によれば、ポインタの移動方向に基づいて周辺画像が決定される。これにより、欠陥画像の周辺に存在する画像から選択することなく、ポインタの移動方向に基づく周辺画像が自動的に決定される。従って、不良品画像から良品画像を簡便に生成することができる。

【0010】

前述した態様において、決定部は、ポインタの移動方向に基づき、かつ、不良品画像の中心側の画像から周辺画像を決定してもよい。

【0011】

この態様によれば、ポインタの移動方向に基づき、かつ、不良品画像の中心側の画像から周辺画像が決定される。一般に、不良品画像の中心に欠陥が存在する可能性は、より少ないと考えられる。よって、ポインタの移動方向に基づき、かつ、不良品画像の中心側の画像から周辺画像を決定することにより、欠陥画像を容易に修復することができる。

【0012】

前述した態様において、決定部は、不良品画像においてポインタに対して所定方向の位置に表示される周辺ポインタによって周辺画像を決定してもよい。

【0013】

この態様によれば、ポインタに対して所定方向の位置に表示される周辺ポインタによって周辺画像が決定される。これにより、欠陥画像の周辺において欠陥が存在しない領域の画像を選択することができる。従って、不良品画像から良品画像をさらに容易に生成することができる。

【0014】

前述した態様において、周辺ポインタのサイズを設定する設定部をさらに備えてもよい。

【0015】

この態様によれば、周辺ポインタのサイズが設定される。これにより、所望の大きさの周辺画像を決定することが可能となる。

【0016】

また、本発明の他の態様に係る画像処理方法は、欠陥を含む不良品を撮影した不良品画像において欠陥に対応する欠陥画像を指定する指定ステップと、指定された欠陥画像の周辺に存在する画像から周辺画像を決定する決定ステップと、指定された欠陥画像に決定された周辺画像を合成する合成ステップと、を含む。

【0017】

この態様によれば、指定された欠陥画像に決定された周辺画像が合成される。ここで、欠陥画像の周辺には欠陥のない領域の画像が存在すると考えられる。よって、欠陥画像の周辺にある欠陥のない領域の画像を周辺画像に決定し、欠陥画像に周辺画像を合成することにより、欠陥画像を修復することが可能となる。従って、不良品画像から良品画像を容易に生成することができる。

【0018】

前述した態様において、指定ステップは、不良品画像上に表示されるポインタによって欠陥画像を指定することを含み、決定ステップは、ポインタの移動方向に基づいて周辺画像を決定することを含んでもよい。

【0019】

この態様によれば、ポインタの移動方向に基づいて周辺画像が決定される。これにより、欠陥画像の周辺に存在する画像から選択することなく、ポインタの移動方向に基づく周辺画像が自動的に決定される。従って、不良品画像から良品画像を簡便に生成することができる。

【0020】

前述した態様において、決定ステップは、ポインタの移動方向に基づき、かつ、不良品画像の中心側の画像から周辺画像を決定することを含んでもよい。

【0021】

この態様によれば、ポインタの移動方向に基づき、かつ、不良品画像の中心側の画像から周辺画像が決定される。一般に、不良品画像の中心に欠陥が存在する可能性は、より少ないと考えられる。よって、ポインタの移動方向に基づき、かつ、不良品画像の中心側の画像から周辺画像を決定することにより、欠陥画像を容易に修復することができる。

【0022】

前述した態様において、決定ステップは、不良品画像においてポインタに対して所定方向の位置に表示される周辺ポインタによって周辺画像を決定することを含んでもよい。

【0023】

この態様によれば、ポインタに対して所定方向の位置に表示される周辺ポインタによって周辺画像が決定される。これにより、欠陥画像の周辺において欠陥が存在しない領域の画像を選択することができる。従って、不良品画像から良品画像をさらに容易に生成することができる。

【0024】

前述した態様において、周辺ポインタのサイズを設定する設定ステップをさらに含んでもよい。

【0025】

この態様によれば、周辺ポインタのサイズが設定される。これにより、所望の大きさの周辺画像を決定することが可能となる。

【0026】

また、本発明の他の態様に係る画像処理プログラムは、コンピュータに実行させる画像処理プログラムであって、欠陥を含む不良品を撮影した不良品画像において欠陥に対応する欠陥画像を指定する指定ステップと、指定された欠陥画像の周辺に存在する画像から周辺画像を決定する決定ステップと、指定された欠陥画像に決定された周辺画像を合成する合成ステップと、を含む。

【0027】

この態様によれば、指定された欠陥画像に決定された周辺画像が合成される。ここで、欠陥画像の周辺には欠陥のない領域の画像が存在すると考えられる。よって、欠陥画像の周辺にある欠陥のない領域の画像を周辺画像に決定し、欠陥画像に周辺画像を合成することにより、欠陥画像を修復することが可能となる。従って、不良品画像から良品画像を容易に生成することができる。

【発明の効果】

【0028】

本発明によれば、不良品画像から良品画像を容易に生成することのできる画像処理装置、画像処理方法及び画像処理プログラムを提供することができる。

【図面の簡単な説明】

【0029】

【図1】図１は、一実施形態に係る画像処理装置の概略構成を例示するブロック図である。

【図2】図２は、図１に示した画像処理装置の設定画面を例示する図である。

【図3】図３は、図１に示した画像処理装置における画像の合成を例示する図である。

【図4】図４は、図１に示した画像処理装置の概略動作の第１実施例を例示するフローチャートである。

【図5】図５は、図１に示した画像処理装置の不良品画像を例示する図である。

【図6】図６は、図１に示した画像処理装置の良品画像を例示する図である。

【図7】図７は、図１に示した画像処理装置の概略動作の第２実施例を例示するフローチャートである。

【図8】図８は、図１に示した画像処理装置の概略動作の第２実施例における周辺画像を例示する図である。

【発明を実施するための形態】

【0030】

添付図面を参照して、本発明の好適な実施形態について説明する。なお、各図において、同一の符号を付したものは、同一又は同様の構成を有する。

【0031】

まず、図１から図３を参照しつつ、本実施形態に係る画像処理装置の構成の一例について説明する。図１は、一実施形態に係る画像処理装置１００の概略構成を例示するブロック図である。図２は、図１に示した画像処理装置１００の設定画面を例示する図である。
図３は、図１に示した画像処理装置１００における画像の合成を例示する図である。

【0032】

画像処理装置１００は、不良品画像から良品画像を生成するためのものである。不良品画像及び良品画像は、ともに対象物の画像である。不良品画像は、欠陥を含む対象物を撮影したものでる。そのため、不良品画像には、当該欠陥に対応する欠陥画像が含まれる。欠陥の種類は、特に限定されるものではないが、例えば、傷、クラック、付着物、打痕等、視認可能なものである。一方、良品画像は、前述した欠陥を含まない対象物を撮影したものである。また、良品画像は、不良品画像に含まれる欠陥画像を修復することで、不良品画像から生成することも可能である。良品画像は、例えば、対象物を撮像した画像から対象物の良否を判定する判定モデルを構築するための学習用データとして用いられる。あるいは、良品画像は、対象物を撮像した画像から対象物の品質を評価するための評価用データとして用いられてもよい。

【0033】

図１に示すように、画像処理装置１００と、演算装置５０と、撮像装置６０と、入力装置７０と、出力装置８０と、を備える。

【0034】

演算装置５０は、例えば、コンピュータ等の情報処理装置である。演算装置５０は、入出力Ｉ／Ｆ（インターフェース）１０と、記憶部２０と、制御部３０と、を備える。また、演算装置５０は、演算装置５０の各部の間で信号やデータを伝送するように構成されたバス４０をさらに備える。

【0035】

入出力Ｉ／Ｆ１０は、演算装置５０と外部の機器とのインターフェースである。入出力Ｉ／Ｆ１０は、外部の機器との間でデータや信号をやり取りするように構成されている。また、入出力Ｉ／Ｆ１０は、外部の機器との通信を制御するように構成されている。入出力Ｉ／Ｆ１０は、例えば、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）、ＨＤＭＩ（登録商標）（Ｈｉｇｈ－Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅ）、ＩＥＥＥ１３９４等の規格化されたインターフェースの接続端子を含んで構成される。入出力Ｉ／Ｆ１０は、撮像装置６０、入力装置７０、及び出力装置８０に接続されている。

【0036】

記憶部２０は、プログラムやデータ等を記憶するように構成されている。記憶部２０は、例えば、ハードディスクドライブ、ソリッドステートドライブ等を含んで構成される。記憶部２０は、制御部３０が実行する各種プログラムやプログラムの実行に必要なデータ等をあらかじめ記憶している。また、記憶部２０は、撮像装置６０から入出力Ｉ／Ｆ１０を介して入力される不良品画像２１と、制御部３０によって不良品画像２１から生成される良品画像２２と、を記憶する。

【0037】

制御部３０は、入出力Ｉ／Ｆ１０及び記憶部２０等、演算装置５０の各部の動作を制御するように構成されている。また、制御部３０は、記憶部２０に記憶されたプログラムを実行する等によって、後述する各機能を実現するように構成されている。制御部３０は、例えば、ＣＰＵ(Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ)等のプロセッサ、ＲＯＭ(Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ)、ＲＡＭ(Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ)等のメモリ、及びバッファ等の緩衝記憶装置を含んで構成される。制御部３０は、その機能構成として、例えば、設定部３１と、指定部３２と、決定部３３と、合成部３４と、を備える。

【0038】

設定部３１は、後述する良品画像生成処理における複数の項目を設定するように構成されている。各項目の内容は、利用者（ユーザ）が入力装置７０等を操作することによって入力される。設定部３１は、利用者が各項目を入力するための設定画面を出力装置８０等に表示させる。

【0039】

図２に示すように、設定画面３１０は、パラメータの項目として、例えば、「モード」と、「明るさ設定領域」と、「ペイント半径」と、を含む。図２に示す例では、モードとして「合成（４）」が選択され、明るさ設定領域に「１０」が設定され、ペイント半径に「１０」が設定されている。ペイント半径は、本発明の「周辺ポインタのサイズ」の一例に相当する。

【0040】

また、設定画面３１０は、画像の項目として、「フォルダ名」と、「ファイル名」と、を含む。例えば、「フォルダ名」及び「ファイル名」を入力して読込ボタンを押下することで、記憶部２０から読み込まれる不良品画像２１を設定することが可能となる。また、「フォルダ名」及び「ファイル名」を入力して保存ボタンを押下することで、記憶部２０に保存される（書き込まれる）、不良品画像２１から生成した良品画像２２を設定することが可能となる。

【0041】

図１に戻り、指定部３２は、不良品画像２１において欠陥に対応する欠陥画像を指定するように構成されている。具体的には、指定部３２は、出力装置８０等に表示された不良品画像２１の上にポインタを表示させる。ポインタは、広がりを持った領域を指定するためのものである。そして、入力装置７０等を介する利用者の操作に応じてポインタを移動させることで、指定部３２はポインタによって欠陥画像を指定することが可能となる。

【0042】

決定部３３は、不良品画像２１において指定された欠陥画像の周辺に存在する画像から、周辺画像を決定するように構成されている。決定される周辺画像は、１つである場合には限定されず、複数であってもよい。周辺画像の決定は、様々な方法が採用され得る。周辺画像の決定方法のうちの幾つかについては後述するが、特に限定されるものではない。

【0043】

合成部３４は、不良品画像２１において、指定された欠陥画像に決定された周辺画像を合成するように構成されている。例えば、図３に示すように、指定された欠陥画像を中心画像ＣＩとし、中心画像ＣＩと同サイズであって、中心画像ＣＩに対して上下左右の４画像を周辺画像とする（（ａ）参照）。そして、合成部３４は、４つの周辺画像の濃度平均値を算出し、算出した濃度平均値を中心画像ＣＩの濃度値と置換する。これにより、中心画像ＣＩに４つの周辺画像が合成される。あるいは、中心画像ＣＩに対して周囲の８画像を周辺画像とし（（ｂ）参照）、合成部３４は、８つの周辺画像の濃度平均値を中心画像ＣＩの濃度値と置換してもよい。これにより、中心画像ＣＩに８つの周辺画像が合成される。

【0044】

なお、不良品画像２１がカラーの画像である場合、合成部３４は、ＲＧＢ（Ｒｅｄ Ｇｒｅｅｎ Ｂｌｕｅ）の平均値を求め、当該平均値に基づいて濃度平均値を算出する。あるいは、合成部３４は、Ｒ画像、Ｇ画像、Ｂ画像のそれぞれについて平均値を求め、各平均値に基づいて算出する。

【0045】

ここで、欠陥画像の周辺には欠陥のない領域の画像が存在すると考えられる。よって、欠陥画像の周辺にある欠陥のない領域の画像を周辺画像に決定し、欠陥画像に周辺画像を合成することにより、欠陥画像を修復することが可能となる。従って、不良品画像２１から良品画像２２を容易に生成することができる。

【0046】

図３では、指定された欠陥画像である中心画像ＣＩの濃度値を４又は８つの周辺画像の濃度平均値に置換して合成する例を示したが、これに限定されるものではない。合成部３４は、指定された欠陥画像と決定された周辺画像との合成を、ポアソン画像合成（Ｐｏｉｓｓｏｎ Ｉｍａｇｅ Ｅｄｉｔｉｎｇ）によって行ってもよい。これにより、欠陥画像と周辺画像とを混合すること（ｂｌｅｎｄｉｎｇ）ができ、元の欠陥画像の境界が滑らかな（シームレスな）良品画像２２を生成することが可能となる。

【0047】

なお、本願において、画像の「合成」とは、２以上の画像を結び付けて１つの画像とする意味に限定されず、２以上の画像において、一の画像を他の画像に複写（コピー）すること、一の画像の濃度の平均値で他の画像を置換すること、及び一の画像と他の画像とを混合することを含む意味である。

【0048】

図１に戻り、制御部３０の各機能は、コンピュータ（マイクロプロセッサ）で実行されるプログラムによって実現することが可能である。したがって、制御部３０が備える各機能は、ハードウェア、ソフトウェア、若しくはハードウェア及びソフトウェアの組み合わせによって実現可能であり、いずれかの場合に限定されるものではない。

【0049】

また、制御部３０の各機能が、ソフトウェア、若しくはハードウェア及びソフトウェアの組み合わせによって実現される場合、その処理は、マルチタスク、マルチスレッド、若しくはマルチタスク及びマルチスレッドの両方で実行可能であり、いずれかの場合に限定されるものではない。

【0050】

撮像装置６０は、画像を撮影してデータとして記録するように構成されている。撮像装置６０は、デジタルカメラであり、例えば、レンズ等の光学系部品と、撮像素子（受光素子）等の電子系部品とを含んで構成される。なお、光学系部品は、複数のレンズを備えていてもよい。また、電子系部品は、フラッシュ等の発光装置を備えていてもよい。撮像装置６０は、撮影した画像を入出力Ｉ／Ｆ１０を介して演算装置５０に出力する。制御部３０は、撮像装置６０から入力された画像に必要な処理を施して良品画像又は不良品画像２１のファイルを生成し、不良品画像２１のファイルを記憶部２０に記憶させる。

【0051】

入力装置７０は、利用者（ユーザ）の操作により情報を入力できるように構成されている。入力装置７０は、例えば、キーボード、キーパッド、マウス、トラックボール、タッチパネル、マイク等を含んで構成される。することが可能である。例えば、利用者が、キーボード、キーパッド、マウス、トラックボール、タッチパネル、マイク等を操作（マイクを用いた音声操作を含む）したときに、入力装置７０は、当該操作に対応するデータ又は信号を入出力Ｉ／Ｆ１０を介して演算装置５０に出力する。制御部３０が、このデータまた信号に基づいてデータを生成することで、演算装置５０に情報を入力することが可能になる。

【0052】

出力装置８０は、情報を出力するように構成されている。出力装置８０は、例えば、液晶ディスプレイ、ＥＬ(Ｅｌｅｃｔｒｏ Ｌｕｍｉｎｅｓｃｅｎｃｅ)ディスプレイ、プラズマディスプレイ等の表示装置を含んで構成される。例えば、出力装置８０が、画像データを表示装置に表示することで、情報を出力することが可能になる。

【0053】

次に、図４から図６を参照しつつ、本実施形態に係る画像処理装置１００の動作の第１実施例について説明する。図４は、図１に示した画像処理装置１００の概略動作の第１実施例を例示するフローチャートである。図５は、図１に示した画像処理装置１００の不良品画像２１を例示する図である。図６は、図１に示した画像処理装置１００の良品画像２２を例示する図である。

【0054】

画像処理装置１００は、例えば利用者の操作によってプログラムが起動されると、図３に示す良品画像生成処理Ｓ２００を実行する。第１実施例では、設定画面３１０の「モード」として「自動合成」が設定される例を説明する。

【0055】

最初に、設定部３１は、図２に示した設定画面３１０を出力装置８０に出力し、表示させる（Ｓ２０１）。これにより、パラメータが入力可能となる。

【0056】

次に、利用者によって入力装置７０を介して設定画面３１０のフォルダ名及びファイル名が入力され、読込ボタンが押下されると、設定部３１は、入力されたフォルダ名及びファイル名に従い、記憶部２０に記憶された不良品画像２１を読み出し、読み出した不良品画像２１を出力装置８０に出力して設定画面３１０ととともに表示させる（Ｓ２０２）。

【0057】

次に、指定部３２は、不良品画像２１上にポインタを表示させる（Ｓ２０３）。これにより、不良品画像２１に含まれる欠陥画像が指定可能になる。

【0058】

次に、入力装置７０を介する利用者の操作に基づいて、指定部３２は不良品画像２１において欠陥に対応する欠陥画像を指定する（Ｓ２０４）。例えば、図５に示すように、不良品画像２１が線状の欠陥画像２１ａを含む場合、不良品画像２１上に表示されるポインタＰ１を利用者が入力装置７０を用いて動かし、ポインタＰ１を欠陥画像２１ａの一部に重ねることで、指定部３２は欠陥画像２１ａを指定する。

【0059】

次に、決定部３３は、ステップＳ２０４において指定された欠陥画像２１ａの周辺画像を決定する（Ｓ２０５）。図５に示す例の場合、ポインタＰ１が欠陥画像２１ａの上を沿うように、利用者の操作によってポインタＰ１を移動させることで、決定部３３は、ポインタＰ１の移動方向に基づいて、周辺画像を決定する。すなわち、例えば、ポインタＰ１が不良品画像２１の上下方向に移動する場合、決定部３３は、ポインタＰ１の左右の領域の画像を周辺画像として決定する。一方、例えば、ポインタＰ１を不良品画像２１の左右方向に移動させる場合、決定部３３は、ポインタＰ１の上下の領域の画像を周辺画像として決定する。このように、ポインタＰ１の移動方向に基づいて周辺画像を決定することにより、欠陥画像２１ａの周辺に存在する画像から選択することなく、ポインタＰ１の移動方向に基づく周辺画像が自動的に決定される。従って、不良品画像２１から良品画像２２を簡便に生成することができる。

【0060】

なお、決定部３３は、ポインタＰ１の移動方向に基づき、かつ、不良品画像２１の中心側の画像から周辺画像を決定してもよい。図５に示す例の場合、線状の欠陥画像２１ａは上下方向に伸びており、一端（図４において上端）が不良品画像２１の中心から見て左側に位置し、他端（図４において下端）が不良品画像２１の中心から見て右側に位置している。この欠陥画像２１ａを辿ってポインタＰ１を移動させる場合、決定部３３は、欠陥画像２１ａの一端側ではポインタＰ１の右側の領域の画像を周辺画像として決定し、途中から欠陥画像２１ａの他端側ではポインタＰ１の側の領域の画像を周辺画像として決定する。一般に、不良品画像２１の中心に欠陥が存在する可能性は、より少ないと考えられる。よって、ポインタＰ１の移動方向に基づき、かつ、不良品画像２１の中心側の画像から周辺画像を決定することにより、欠陥画像２１ａを容易に修復することができる。

【0061】

次に、合成部３４は、ステップＳ２０４で指定された欠陥画像２１ａに、ステップＳ２０５で決定された周辺画像を合成する（Ｓ２０６）。前述した例の場合、ポインタＰ１を線状の欠陥画像２１ａを辿るように下方に移動させることで、合成部３４は、欠陥画像２１ａにポインタＰ１の左右の領域の画像を合成する。その結果、図５に示す欠陥画像２１ａは、図６に示すように修復される。

【0062】

次に、利用者によって入力装置７０を介して設定画面３１０の「フォルダ名」及び「ファイル名」が入力され、保存ボタンが押下されると、合成部３４は、入力されたフォルダ名及びファイル名に従い、修復された不良品画像２１を良品画像２２として記憶部２０に記憶させる（Ｓ２０７）。

【0063】

ステップＳ２０７の後、制御部３０は、良品画像生成処理Ｓ２００を終了する。

【0064】

第１実施例では、不良品画像２１において欠陥に対応する欠陥画像２１ａが１つである例を示したが、これに限定されるものではない。例えば、不良品画像２１が複数の欠陥画像２１ａを含む場合、良品画像生成処理Ｓ２００において、ステップＳ２０３からステップＳ２０６までの処理を欠陥画像２１ａの数だけ繰り返すようにしてもよい。

【0065】

次に、図７及び図８を参照しつつ、本実施形態に係る画像処理装置１００の動作の第２実施例について説明する。図７は、図１に示した画像処理装置１００の概略動作の第２実施例を例示するフローチャートである。図８は、図１に示した画像処理装置１００の概略動作の第２実施例における周辺画像を例示する図である。

【0066】

画像処理装置１００は、例えば利用者の操作によってプログラムが起動されると、図７に示す良品画像生成処理Ｓ２５０を実行する。第２実施例では、設定画面の「モード」として、「合成」が設定される例を説明する。また、第２実施例において、前述した第１実施例と同一部分については同一符号を付し、その説明を適宜省略する。

【0067】

ステップＳ２０１からステップＳ２０４は、前述した第１実施例と同様であるため、その説明を省略する。ステップＳ２０４の後、決定部３３は、不良品画像２１上に周辺ポインタを表示させる（Ｓ２５１）。周辺ポインタは、前述したポインタＰ１と同様に、広がりを持った領域を指定するためのものである。周辺ポインタは、ポインタＰ１に対して所定方向の位置に表示される。そのため、周辺ポインタは、ポインタＰ１とともに移動する。また、周辺ポインタのサイズは、利用者によって入力装置７０を介して設定画面３１０の「ペイント半径」に入力された値に基づいて、設定部３１が設定する。これにより、所望の大きさの周辺画像を決定することが可能となる。

【0068】

次に、決定部３３は、周辺ポインタによって周辺画像を決定する（Ｓ２５２）。例えば、図８に示すように、決定部３３は、最初に、周辺ポインタＰ２をポインタＰ１の上に表示する（（ａ）参照）。入力装置７０を介した利用者の操作、例えばマウスの右クリック等によって、決定部３３は、周辺ポインタＰ２の位置を、ポインタＰ１の右上（（ｂ）参照）、ポインタＰ１の右（（ｃ）参照）、ポインタＰ１の右下（（ｄ）参照）、ポインタＰ１の下（（ｅ）参照）、ポインタＰ１の左下（（ｆ）参照）、ポインタＰ１の左（（ｇ）参照）、ポインタＰ１の左上（（ｈ）参照）、の順に変更する。このように、ポインタＰ１に対して所定方向の位置に表示される周辺ポインタＰ２によって周辺画像を決定することにより、欠陥画像２１ａの周辺において欠陥が存在しない領域の画像を選択することができる。従って、不良品画像２１から良品画像２２をさらに容易に生成することができる。

【0069】

ステップＳ２５２の後に行われるステップＳ２０６及びステップＳ２０７は、前述した第１実施例と同様であるため、その説明を省略する。

【0070】

以上、本発明の例示的な実施形態について説明した。本発明の一実施形態に係る画像処理装置１００、画像処理方法、及び画像処理プログラムによれば、指定された欠陥画像２１ａに決定された周辺画像が合成される。ここで、欠陥画像２１ａの周辺には欠陥のない領域の画像が存在すると考えられる。よって、欠陥画像２１ａの周辺にある欠陥のない領域の画像を周辺画像に決定し、欠陥画像２１ａに周辺画像を合成することにより、欠陥画像２１ａを修復することが可能となる。従って、不良品画像２１から良品画像２２を容易に生成することができる。

【0071】

以上説明した実施形態は、本発明の理解を容易にするためのものであり、本発明を限定して解釈するためのものではない。実施形態が備える各要素並びにその配置、材料、条件、形状及びサイズ等は、例示したものに限定されるわけではなく適宜変更することができる。また、異なる実施形態で示した構成同士を部分的に置換し又は組み合わせることが可能である。

【0072】

（附記）
１．欠陥を含む不良品を撮影した不良品画像２１において欠陥に対応する欠陥画像２１ａを指定する指定部３２と、
指定された欠陥画像２１ａの周辺に存在する画像から周辺画像を決定する決定部３３と、
指定された欠陥画像２１ａに決定された周辺画像を合成する合成部３４と、を備える、
画像処理装置１００。
６．欠陥を含む不良品を撮影した不良品画像２１において欠陥に対応する欠陥画像２１ａを指定する指定ステップと、
指定された欠陥画像２１ａの周辺に存在する画像から周辺画像を決定する決定ステップと、
指定された欠陥画像２１ａに決定された周辺画像を合成する合成ステップと、を含む、
画像処理方法。
１１．コンピュータに実行させる画像処理プログラムであって、
欠陥を含む不良品を撮影した不良品画像２１において欠陥に対応する欠陥画像２１ａを指定する指定ステップと、
指定された欠陥画像２１ａの周辺に存在する画像から周辺画像を決定する決定ステップと、
指定された欠陥画像２１ａに決定された周辺画像を合成する合成ステップと、を含む、
画像処理プログラム。

【符号の説明】

【0073】

２０…記憶部、２１…不良品画像、２１ａ…欠陥画像、２２…良品画像、３０…制御部、３１…設定部、３２…指定部、３３…決定部、３４…合成部、４０…バス、５０…演算装置、６０…撮像装置、７０…入力装置、８０…出力装置、１００…画像処理装置、３１０…設定画面、ＣＩ…中心画像、Ｐ１…ポインタ、Ｐ２…周辺ポインタ、Ｓ２００，Ｓ２５０…良品画像生成処理

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】