(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023090768
(43)【公開日】2023-06-29
(54)【発明の名称】画像検査装置及び画像検査装置の設定方法
(51)【国際特許分類】
G06T 7/00 20170101AFI20230622BHJP
G01N 21/88 20060101ALI20230622BHJP
【ＦＩ】
G06T7/00 610Z
G01N21/88 J
【審査請求】有
【請求項の数】8
【出願形態】ＯＬ
(21)【出願番号】P 2023068728
(22)【出願日】2023-04-19
(62)【分割の表示】P 2019093208の分割
【原出願日】2019-05-16
(71)【出願人】
【識別番号】000129253
【氏名又は名称】株式会社キーエンス
(74)【代理人】
【識別番号】110001427
【氏名又は名称】弁理士法人前田特許事務所
(72)【発明者】
【氏名】木田 大輔
(72)【発明者】
【氏名】何 迪
(57)【要約】
【課題】複数の画像の中から学習効果のある画像を使用者に提示可能にして効率の良い学習が行えるようにする。
【解決手段】複数の画像の良否判定の安定性を示す安定性評価値を算出し、その安定性評価値に基づいて、識別器に追加学習させる候補画像を使用者に提示する。提示された候補画像の中から、使用者による追加学習画像としての指定を受け付ける。使用者により指定された追加学習画像を良品画像又は不良品画像として追加学習し、識別器を更新する。
【選択図】図１８
【解決手段】複数の画像の良否判定の安定性を示す安定性評価値を算出し、その安定性評価値に基づいて、識別器に追加学習させる候補画像を使用者に提示する。提示された候補画像の中から、使用者による追加学習画像としての指定を受け付ける。使用者により指定された追加学習画像を良品画像又は不良品画像として追加学習し、識別器を更新する。
【選択図】図１８
【特許請求の範囲】
【請求項1】
撮像手段により撮像された検査対象物の画像に基づいて当該検査対象物の良否判定を行う画像検査装置において、
使用者により良品としての属性が付与された良品画像と、不良品としての属性が付与された不良品画像をそれぞれ登録する学習画像登録手段と、
前記学習画像登録手段で登録された良品画像と不良品画像を学習し、良品画像と不良品画像を識別する識別器を生成する識別器生成手段と、
前記撮像手段により新たに撮像された検査対象画像を前記識別器に入力し、良否判定を行う良否判定手段と、
前記良否判定手段により良否判定を行った複数の検査対象画像を良否判定結果とともに履歴画像として記憶する記憶手段と、
前記記憶手段に記憶された複数の履歴画像の良否判定の安定性を示す安定性評価値を算出する安定性評価値算出手段と、
前記安定性評価値算出手段が算出した安定性評価値に基づいて、前記識別器に追加学習させる候補画像を使用者に提示する表示手段と、
前記表示手段により提示された候補画像の中から、使用者による追加学習画像としての指定を受け付ける追加学習画像指定手段とを備え、
前記識別器生成手段は、使用者により指定された追加学習画像を、良品画像又は不良品画像として追加学習し、前記識別器を更新するように構成され、
前記安定性評価値算出手段は、良品らしさ又は不良品らしさを示す判定値と、良品と不良品を識別する閾値との近接度を算出し、当該近接度を前記安定性評価値とするように構成され、
前記表示手段は、前記近接度が所定以上の履歴画像を候補画像として使用者に提示するように構成されていることを特徴とする画像検査装置。
使用者により良品としての属性が付与された良品画像と、不良品としての属性が付与された不良品画像をそれぞれ登録する学習画像登録手段と、
前記学習画像登録手段で登録された良品画像と不良品画像を学習し、良品画像と不良品画像を識別する識別器を生成する識別器生成手段と、
前記撮像手段により新たに撮像された検査対象画像を前記識別器に入力し、良否判定を行う良否判定手段と、
前記良否判定手段により良否判定を行った複数の検査対象画像を良否判定結果とともに履歴画像として記憶する記憶手段と、
前記記憶手段に記憶された複数の履歴画像の良否判定の安定性を示す安定性評価値を算出する安定性評価値算出手段と、
前記安定性評価値算出手段が算出した安定性評価値に基づいて、前記識別器に追加学習させる候補画像を使用者に提示する表示手段と、
前記表示手段により提示された候補画像の中から、使用者による追加学習画像としての指定を受け付ける追加学習画像指定手段とを備え、
前記識別器生成手段は、使用者により指定された追加学習画像を、良品画像又は不良品画像として追加学習し、前記識別器を更新するように構成され、
前記安定性評価値算出手段は、良品らしさ又は不良品らしさを示す判定値と、良品と不良品を識別する閾値との近接度を算出し、当該近接度を前記安定性評価値とするように構成され、
前記表示手段は、前記近接度が所定以上の履歴画像を候補画像として使用者に提示するように構成されていることを特徴とする画像検査装置。
【請求項2】
請求項１に記載の画像検査装置において、
前記表示手段は、複数の候補画像を使用者に提示する場合、前記安定性評価値の順に並べて提示するように構成されていることを特徴とする画像検査装置。
前記表示手段は、複数の候補画像を使用者に提示する場合、前記安定性評価値の順に並べて提示するように構成されていることを特徴とする画像検査装置。
【請求項3】
請求項１または２に記載の画像検査装置において、
前記表示手段は、複数の履歴画像を時系列で表示する第１表示形態と、前記識別器に追加学習させる候補画像を使用者に提示する第２表示形態とに切り替え可能に構成されていることを特徴とする画像検査装置。
前記表示手段は、複数の履歴画像を時系列で表示する第１表示形態と、前記識別器に追加学習させる候補画像を使用者に提示する第２表示形態とに切り替え可能に構成されていることを特徴とする画像検査装置。
【請求項4】
請求項１から３のいずれか１つに記載の画像検査装置において、
前記表示手段は、前記識別器による良品画像と不良品画像との識別境界から所定以上離れた履歴画像を前記記憶手段から削除する削除候補画像として使用者に提示するように構成されていることを特徴とする画像検査装置。
前記表示手段は、前記識別器による良品画像と不良品画像との識別境界から所定以上離れた履歴画像を前記記憶手段から削除する削除候補画像として使用者に提示するように構成されていることを特徴とする画像検査装置。
【請求項5】
請求項４に記載の画像検査装置において、
前記識別器生成手段は、前記学習画像登録手段で登録された良品画像群と不良品画像群を特徴量空間上にプロットするとともに、前記特徴量空間上にプロットされた良品画像群と不良品画像群との間に識別境界を設定することにより、前記識別器を生成するように構成され、
前記表示手段は、追加学習により前記識別器が更新された場合に、前記特徴量空間上において、更新された前記識別器による前記識別境界から所定以上離れた履歴画像を前記記憶手段から削除する削除候補画像として使用者に提示するように構成されていることを特徴とする画像検査装置。
前記識別器生成手段は、前記学習画像登録手段で登録された良品画像群と不良品画像群を特徴量空間上にプロットするとともに、前記特徴量空間上にプロットされた良品画像群と不良品画像群との間に識別境界を設定することにより、前記識別器を生成するように構成され、
前記表示手段は、追加学習により前記識別器が更新された場合に、前記特徴量空間上において、更新された前記識別器による前記識別境界から所定以上離れた履歴画像を前記記憶手段から削除する削除候補画像として使用者に提示するように構成されていることを特徴とする画像検査装置。
【請求項6】
請求項５に記載の画像検査装置において、
前記表示手段は、前記特徴量空間上において、前記識別境界から所定以上離れた履歴画像と、当該履歴画像の近隣にプロットされた近隣画像との相対関係に基づいて前記識別境界の設定に寄与していないと判定される画像を削除候補画像として使用者に提示するように構成されていることを特徴とする画像検査装置。
前記表示手段は、前記特徴量空間上において、前記識別境界から所定以上離れた履歴画像と、当該履歴画像の近隣にプロットされた近隣画像との相対関係に基づいて前記識別境界の設定に寄与していないと判定される画像を削除候補画像として使用者に提示するように構成されていることを特徴とする画像検査装置。
【請求項7】
撮像手段により撮像された検査対象物の画像に基づいて当該検査対象物の良否判定を行う画像検査装置において、
使用者により良品としての属性が付与された良品画像と、不良品としての属性が付与された不良品画像をそれぞれ登録する学習画像登録手段と、
前記学習画像登録手段で登録された良品画像と不良品画像を学習し、良品画像と不良品画像を識別する識別器を生成する識別器生成手段と、
前記撮像手段により新たに撮像された検査対象画像を前記識別器に入力し、良否判定を行う良否判定手段と、
前記良否判定手段により良否判定を行った検査対象画像の良品らしさ又は不良品らしさを示す判定値と、良品と不良品を識別する閾値との近接度を算出し、当該近接度を、当該検査対象画像の良否判定の安定性を示す安定性評価値とする安定性評価値算出手段と、
前記安定性評価値算出手段が算出した安定性評価値に基づいて、前記識別器に追加学習させる候補画像を使用者に提示する表示手段と、
前記表示手段により提示された候補画像の中から、使用者による追加学習画像としての指定を受け付ける追加学習画像指定手段とを備え、
前記識別器生成手段は、使用者により指定された追加学習画像を、良品画像又は不良品画像として追加学習し、前記識別器を更新するように構成され、
前記表示手段は、前記近接度が所定以上の前記検査対象画像を前記候補画像として使用者に提示するように構成されていることを特徴とする画像検査装置。
使用者により良品としての属性が付与された良品画像と、不良品としての属性が付与された不良品画像をそれぞれ登録する学習画像登録手段と、
前記学習画像登録手段で登録された良品画像と不良品画像を学習し、良品画像と不良品画像を識別する識別器を生成する識別器生成手段と、
前記撮像手段により新たに撮像された検査対象画像を前記識別器に入力し、良否判定を行う良否判定手段と、
前記良否判定手段により良否判定を行った検査対象画像の良品らしさ又は不良品らしさを示す判定値と、良品と不良品を識別する閾値との近接度を算出し、当該近接度を、当該検査対象画像の良否判定の安定性を示す安定性評価値とする安定性評価値算出手段と、
前記安定性評価値算出手段が算出した安定性評価値に基づいて、前記識別器に追加学習させる候補画像を使用者に提示する表示手段と、
前記表示手段により提示された候補画像の中から、使用者による追加学習画像としての指定を受け付ける追加学習画像指定手段とを備え、
前記識別器生成手段は、使用者により指定された追加学習画像を、良品画像又は不良品画像として追加学習し、前記識別器を更新するように構成され、
前記表示手段は、前記近接度が所定以上の前記検査対象画像を前記候補画像として使用者に提示するように構成されていることを特徴とする画像検査装置。
【請求項8】
撮像手段により撮像された検査対象物の画像に基づいて当該検査対象物の良否判定を行う画像検査装置の設定方法において、
使用者により良品としての属性が付与された良品画像と、不良品としての属性が付与された不良品画像をそれぞれ登録する学習画像登録ステップと、
前記学習画像登録ステップで登録された良品画像と不良品画像を学習し、良品画像と不良品画像を識別する識別器を生成する識別器生成ステップと、
前記撮像手段により新たに撮像された検査対象画像を前記識別器に入力し、良否判定を行う良否判定ステップと、
前記良否判定ステップにより良否判定を行った複数の検査対象画像を良否判定結果とともに履歴画像として記憶する記憶ステップと、
前記記憶ステップで記憶された複数の履歴画像の良否判定の安定性を示す安定性評価値を算出する安定性評価値算出ステップと、
前記安定性評価値算出ステップで算出した安定性評価値に基づいて、前記識別器に追加学習させる候補画像を使用者に提示する表示ステップと、
前記表示ステップで提示された候補画像の中から、使用者による追加学習画像としての指定を受け付ける追加学習画像指定ステップとを備え、
前記識別器生成ステップでは、使用者により指定された追加学習画像を、良品画像又は不良品画像として追加学習し、前記識別器を更新し、
前記安定性評価値算出ステップでは、良品らしさ又は不良品らしさを示す判定値と、良品と不良品を識別する閾値との近接度を算出し、当該近接度を前記安定性評価値とし、
前記表示ステップでは、前記近接度が所定以上の履歴画像を候補画像として使用者に提示することを特徴とする画像検査装置の設定方法。
使用者により良品としての属性が付与された良品画像と、不良品としての属性が付与された不良品画像をそれぞれ登録する学習画像登録ステップと、
前記学習画像登録ステップで登録された良品画像と不良品画像を学習し、良品画像と不良品画像を識別する識別器を生成する識別器生成ステップと、
前記撮像手段により新たに撮像された検査対象画像を前記識別器に入力し、良否判定を行う良否判定ステップと、
前記良否判定ステップにより良否判定を行った複数の検査対象画像を良否判定結果とともに履歴画像として記憶する記憶ステップと、
前記記憶ステップで記憶された複数の履歴画像の良否判定の安定性を示す安定性評価値を算出する安定性評価値算出ステップと、
前記安定性評価値算出ステップで算出した安定性評価値に基づいて、前記識別器に追加学習させる候補画像を使用者に提示する表示ステップと、
前記表示ステップで提示された候補画像の中から、使用者による追加学習画像としての指定を受け付ける追加学習画像指定ステップとを備え、
前記識別器生成ステップでは、使用者により指定された追加学習画像を、良品画像又は不良品画像として追加学習し、前記識別器を更新し、
前記安定性評価値算出ステップでは、良品らしさ又は不良品らしさを示す判定値と、良品と不良品を識別する閾値との近接度を算出し、当該近接度を前記安定性評価値とし、
前記表示ステップでは、前記近接度が所定以上の履歴画像を候補画像として使用者に提示することを特徴とする画像検査装置の設定方法。
【請求項9】
撮像手段により撮像された検査対象物の画像に基づいて当該検査対象物の良否判定を行う画像検査装置の設定方法において、
使用者により良品としての属性が付与された良品画像と、不良品としての属性が付与された不良品画像をそれぞれ登録する学習画像登録ステップと、
前記学習画像登録ステップで登録された良品画像と不良品画像を学習し、良品画像と不良品画像を識別する識別器を生成する識別器生成ステップと、
前記撮像手段により新たに撮像された検査対象画像を前記識別器に入力し、良否判定を行う良否判定ステップと、
前記良否判定ステップで良否判定を行った検査対象画像の良品らしさ又は不良品らしさを示す判定値と、良品と不良品を識別する閾値との近接度を算出し、当該近接度を、当該検査対象画像の良否判定の安定性を示す安定性評価値とする安定性評価値算出ステップと、
前記安定性評価値算出ステップで算出した安定性評価値に基づいて、前記識別器に追加学習させる候補画像を使用者に提示する表示ステップと、
前記表示ステップで提示された候補画像の中から、使用者による追加学習画像としての指定を受け付ける追加学習画像指定ステップとを備え、
前記識別器生成ステップでは、使用者により指定された追加学習画像を、良品画像又は不良品画像として追加学習し、前記識別器を更新し、
前記表示ステップでは、前記近接度が所定以上の前記検査対象画像を前記候補画像として使用者に提示することを特徴とする画像検査装置の設定方法。
使用者により良品としての属性が付与された良品画像と、不良品としての属性が付与された不良品画像をそれぞれ登録する学習画像登録ステップと、
前記学習画像登録ステップで登録された良品画像と不良品画像を学習し、良品画像と不良品画像を識別する識別器を生成する識別器生成ステップと、
前記撮像手段により新たに撮像された検査対象画像を前記識別器に入力し、良否判定を行う良否判定ステップと、
前記良否判定ステップで良否判定を行った検査対象画像の良品らしさ又は不良品らしさを示す判定値と、良品と不良品を識別する閾値との近接度を算出し、当該近接度を、当該検査対象画像の良否判定の安定性を示す安定性評価値とする安定性評価値算出ステップと、
前記安定性評価値算出ステップで算出した安定性評価値に基づいて、前記識別器に追加学習させる候補画像を使用者に提示する表示ステップと、
前記表示ステップで提示された候補画像の中から、使用者による追加学習画像としての指定を受け付ける追加学習画像指定ステップとを備え、
前記識別器生成ステップでは、使用者により指定された追加学習画像を、良品画像又は不良品画像として追加学習し、前記識別器を更新し、
前記表示ステップでは、前記近接度が所定以上の前記検査対象画像を前記候補画像として使用者に提示することを特徴とする画像検査装置の設定方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、検査対象物を撮像した画像に基づいて検査対象物の良否判定を行う画像検査装置及び画像検査装置の設定方法に関する。
【背景技術】
【0002】
例えば特許文献１に開示されているように、検査対象物を撮像した画像を用いた一般的な画像検査は、まずマスター画像を登録し、登録したマスター画像上で各種の画像検査ツールを設定することにより行われる。具体的には、まず、使用者はマスター画像を取得するための各種撮像設定を行い、設定された撮像設定にてマスター画像を取得する。次いで画像検査ツールを選択し、取得されたマスター画像上で選択された画像検査ツールを適用する範囲を規定するウィンドウを設定し、各画像検査ツールの個別設定を行う。その後、検査対象物を撮像して画像検査を実行し、所望の良否判定結果が得られているかどうかを確認する。所望の結果が得られている場合は、設定を完了するが、所望の結果が得られていない場合は、必要に応じてマスター画像を取得するための撮像設定を調整する。撮像設定が調整されるとマスター画像が変化するため、使用者は必要に応じて各画像検査ツールの個別設定を調整する。上記したような一般的な検査処理は、使用者が画像に含まれるどの特徴量に基づいて検査を行うかを設定するルールベースの画像検査である。ルールベースの画像検査では、画像検査装置が使用者の設定にしたがって良否判定を行うものであるため、使用者が良否判定基準を制御できる。
【0003】
上述したルールベースの画像検査では、運用時に画像内の検査対象物の様々な特徴量（色、エッジ、位置等）に基づいて検査対象物の良否の判定を行うことになる。色やエッジなどの特徴量がはっきりしている画像に対しては良否判定が容易であるが、例えば色ムラが多い検査対象物や、金属部品のように周囲の環境によってエッジの出方が変わりやすい検査対象物などでは、特徴量が撮像条件などによって変化しやすく、人間の目による検査では良否判定が容易であっても、画像検査装置では判定が難しく、ひいては、判定結果が安定しないことがある。
【0004】
このような難しい検査に対応が可能な検査処理技術として、良品が撮像された良品画像と不良品が撮像された不良品画像の特徴をそれぞれニューラルネットワークなどの公知の学習手段に学習させて識別器を生成し、運用時に新たに入力された検査対象物の画像が良品であるか、不良品であるかを識別器によって識別可能にする技術が知られている（例えば特許文献２参照）。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】特開２０１３－１２０５５０号公報
【特許文献2】特開２０１８－５６４０号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
ところで、様々なパターンの良品画像及び不良品画像を入力することで識別器による識別性能を向上できるので、使用者は、運転モード時に蓄積された画像や別の撮像装置で撮像された画像（以下、履歴画像という。）の中から、学習効果のある履歴画像を探して大量の良品画像及び不良品画像を入力し、識別性能の要求を満足できるようにすることが行われている。
【0007】
しかしながら、履歴画像は膨大な数にのぼる場合があり、この膨大な数の履歴画像の中から学習効果のある履歴画像を探し出す作業には時間がかかり、ひいては設定モードに要する時間が長時間化してしまう。また、初めて画像検査装置を扱う者にとっては、そもそも、どの履歴画像が学習効果のある画像であるのか判断が難しいという問題もあった。
【0008】
本発明は、かかる点に鑑みてなされたものであり、その目的とするところは、複数の履歴画像の中から学習効果のある画像を使用者に提示可能にして効率の良い学習が行えるようにすることにある。
【課題を解決するための手段】
【0009】
上記目的を達成するために、第１の発明は、撮像手段により撮像された検査対象物の画像に基づいて当該検査対象物の良否判定を行う画像検査装置において、使用者により良品としての属性が付与された良品画像と、不良品としての属性が付与された不良品画像をそれぞれ登録する学習画像登録手段と、前記学習画像登録手段で登録された良品画像と不良品画像を学習し、良品画像と不良品画像を識別する識別器を生成する識別器生成手段と、前記撮像手段により新たに撮像された検査対象画像を前記識別器に入力し、良否判定を行う良否判定手段と、前記良否判定手段により良否判定を行った複数の検査対象画像を良否判定結果とともに履歴画像として記憶する記憶手段と、前記記憶手段に記憶された複数の履歴画像の良否判定の安定性を示す安定性評価値を算出する安定性評価値算出手段と、前記安定性評価値算出手段が算出した安定性評価値に基づいて、前記識別器に追加学習させる候補画像を使用者に提示する表示手段と、前記表示手段により提示された候補画像の中から、使用者による追加学習画像としての指定を受け付ける追加学習画像指定手段とを備え、前記識別器生成手段は、使用者により指定された追加学習画像を、良品画像又は不良品画像として追加学習し、前記識別器を更新するように構成されていることを特徴とする。
【0010】
この構成によれば、使用者により良品としての属性が付与された良品画像と、不良品としての属性が付与された不良品画像を学習し、良品画像と不良品画像を識別する識別器が生成される。運転モード時には、撮像手段により新たに撮像された検査対象画像が識別器に入力され、良否判定手段によって良否判定が行われる。良否判定手段により良否判定を行った複数の検査対象画像は良否判定結果とともに履歴画像として記憶手段に記憶される。記憶手段に記憶された複数の履歴画像の良否判定の安定性を示す安定性評価値が安定性評価値算出手段により算出されると、その安定性評価値に基づいて、識別器に追加学習させる候補画像が表示手段によって使用者に提示される。
【0011】
ここで、安定性評価値は、履歴画像の良否判定の安定性を示すものであり、既に生成されている識別器による良否判定の安定性が高いか低いかを把握可能な値とすることができる。安定性評価値は、表示手段に表示してもよいし、表示しなくてもよい。良否判定の安定性が高い場合には、その履歴画像は既に生成されている識別器によって安定的に識別できているので、追加学習の必要性が低い画像であると判断される。一方、良否判定の安定性が低い場合には、その履歴画像は既に生成されている識別器では識別が不安定であるので、識別器を更新するべく、追加学習の必要性が高い画像であると判断される。
【0012】
したがって、記憶手段に記憶されている履歴画像の数が膨大であっても、使用者は良否判定の安定性に基づいて提示された候補画像の中から追加学習画像を選択することが可能になる。使用者による追加学習画像としての指定は、追加学習画像指定手段で受け付けられ、使用者により指定された追加学習画像を、良品画像又は不良品画像として追加学習することで識別器が更新される。
【0013】
第２の発明は、前記安定性評価値算出手段は、良品らしさ又は不良品らしさを示す判定値と、良品と不良品を識別する閾値との近接度を算出し、当該近接度を前記安定性評価値とするように構成され、前記表示手段は、前記近接度が所定以上の履歴画像を候補画像として使用者に提示するように構成されていることを特徴とする。
【0014】
この構成によれば、良品らしさ又は不良品らしさを示す判定値と、良品と不良品を識別する閾値とが近いということは、既に生成されている識別器による識別が不安定であるということである。したがって、安定性評価値を近接度に基づいたものにすることで、学習効果のより高い候補画像を提示することができる。
【0015】
第３の発明は、前記表示手段は、複数の候補画像を使用者に提示する場合、前記安定性評価値の順に並べて提示するように構成されていることを特徴とする。
【0016】
この構成によれば、複数の候補画像を安定性評価値が大きい順または小さい順に並べて使用者に提示することができるので、学習効果のより高い候補画像を容易に把握することができる。
【0017】
第４の発明は、前記表示手段は、複数の履歴画像を時系列で表示する第１表示形態と、前記識別器に追加学習させる候補画像を使用者に提示する第２表示形態とに切り替え可能に構成されていることを特徴とする。
【0018】
この構成によれば、第１表示形態では、複数の履歴画像が時系列で表示されるので、使用者は検査対象画像を検査した順に確認することができる。一方、第２表示形態では、識別器に追加学習させる候補画像を使用者に提示することができる。検査対象画像を検査した順で確認したい場合と、識別器に追加学習させる候補画像を確認したい場合とで、必要に応じて表示形態を切り替えることで対応することができる。
【0019】
第５の発明は、前記表示手段は、前記安定性評価値が所定値以上の履歴画像を前記記憶手段から削除する削除候補画像として使用者に提示するように構成されていることを特徴とする。
【0020】
この構成によれば、学習効果のより高い候補画像を提示することができる。
【0021】
第６の発明は、前記表示手段は、前記識別器による良品画像と不良品画像との識別境界から所定以上離れた履歴画像を前記記憶手段から削除する削除候補画像として使用者に提示するように構成されていることを特徴とする。
【0022】
すなわち、履歴画像のうち、安定性評価値が低い画像は学習効果の低い画像であるため、記憶手段に保存していても殆ど役に立たない画像であり、記憶手段のメモリを圧迫するだけであると考えられる。このような画像を削除候補画像として使用者に提示して削除を促すことで記憶手段のメモリを節約できる。
【0023】
第７の発明は、前記識別器生成手段は、前記学習画像登録手段で登録された良品画像群と不良品画像群を特徴量空間上にプロットするとともに、前記特徴量空間上にプロットされた良品画像群と不良品画像群との間に識別境界を設定することにより、前記識別器を生成するように構成され、前記表示手段は、追加学習により前記識別器が更新された場合に、前記特徴量空間上において、更新された前記識別器による前記識別境界から所定以上離れた履歴画像を前記記憶手段から削除する削除候補画像として使用者に提示するように構成されていることを特徴とする。
【0024】
すなわち、履歴画像のうち、識別器による識別境界から所定以上離れた画像は学習効果の低い画像であるため、記憶手段に保存していても殆ど役に立たない画像であり、記憶手段のメモリを圧迫するだけであると考えられる。このような画像を削除候補画像として使用者に提示して削除を促すことで記憶手段のメモリを節約できる。
【0025】
第８の発明は、前記表示手段は、前記特徴量空間上において、前記識別境界から所定以上離れた履歴画像と、当該履歴画像の近隣にプロットされた近隣画像との相対関係に基づいて前記識別境界の設定に寄与していないと判定される画像を削除候補画像として使用者に提示するように構成されていることを特徴とする。
【0026】
例えば、追加学習により識別器が更新されると、それまでの識別器による識別境界とは異なる識別境界が設定されることになる。この場合、更新された識別器による識別境界に基づいて、削除しても識別境界の設定に殆ど影響を及ばさない画像を削除候補画像として使用者に提示することができる。
【0027】
第９の発明は、撮像手段により撮像された検査対象物の画像に基づいて当該検査対象物の良否判定を行う画像検査装置において、使用者により良品としての属性が付与された良品画像と、不良品としての属性が付与された不良品画像をそれぞれ登録する学習画像登録手段と、前記学習画像登録手段で登録された良品画像と不良品画像を学習し、良品画像と不良品画像を識別する識別器を生成する識別器生成手段と、前記撮像手段により新たに撮像された検査対象画像を前記識別器に入力し、良否判定を行う良否判定手段と、前記良否判定手段により良否判定を行った検査対象画像の良品らしさ又は不良品らしさを示す判定値と、良品と不良品を識別する閾値との近接度を算出し、当該近接度を、当該検査対象画像の良否判定の安定性を示す安定性評価値とする安定性評価値算出手段と、前記安定性評価値算出手段が算出した安定性評価値に基づいて、前記識別器に追加学習させる候補画像を使用者に提示する表示手段と、前記表示手段により提示された候補画像の中から、使用者による追加学習画像としての指定を受け付ける追加学習画像指定手段とを備え、前記識別器生成手段は、使用者により指定された追加学習画像を、良品画像又は不良品画像として追加学習し、前記識別器を更新するように構成されていることを特徴とする。
【0028】
すなわち、特徴量空間上において、識別境界から所定以上離れた履歴画像は識別境界の設定に殆ど影響を及ばさない画像であると推定されるが、その履歴画像の近隣にプロットされた近隣画像との相対関係においては識別境界の設定に若干の影響を及ぼすことも想定される。このような場合には、当該履歴画像は削除候補画像とはせずに、識別境界の設定に寄与していないと判定される画像を削除候補画像として使用者に提示する。これにより、識別境界の設定に影響の及ぼす画像が削除されてしまうのを回避できる。
【0029】
第１０の発明は、撮像手段により撮像された検査対象物の画像に基づいて当該検査対象物の良否判定を行う画像検査装置の設定方法において、使用者により良品としての属性が付与された良品画像と、不良品としての属性が付与された不良品画像をそれぞれ登録する学習画像登録ステップと、前記学習画像登録ステップで登録された良品画像と不良品画像を学習し、良品画像と不良品画像を識別する識別器を生成する識別器生成ステップと、前記撮像手段により新たに撮像された検査対象画像を前記識別器に入力し、良否判定を行う良否判定ステップと、前記良否判定ステップにより良否判定を行った複数の検査対象画像を良否判定結果とともに履歴画像として記憶する記憶ステップと、前記記憶ステップで記憶された複数の履歴画像の良否判定の安定性を示す安定性評価値を算出する安定性評価値算出ステップと、前記安定性評価値算出ステップで算出した安定性評価値に基づいて、前記識別器に追加学習させる候補画像を使用者に提示する表示ステップと、前記表示ステップで提示された候補画像の中から、使用者による追加学習画像としての指定を受け付ける追加学習画像指定ステップとを備え、前記識別器生成ステップでは、使用者により指定された追加学習画像を、良品画像又は不良品画像として追加学習し、前記識別器を更新することを特徴とする。
【0030】
この構成によれば、使用者により良品としての属性が付与された良品画像と、不良品としての属性が付与された不良品画像を学習し、良品画像と不良品画像を識別する識別器が生成される。運転モード時には、撮像手段により新たに撮像された検査対象画像が識別器に入力され、良否判定手段によって良否判定が行われる。良否判定を行った検査対象画像の判定値と閾値との近接度が算出され、この近接度が、検査対象画像の良否判定の安定性を示す安定性評価値とされる。その安定性評価値に基づいて、識別器に追加学習させる候補画像が表示手段によって使用者に提示される。したがって、検査対象画像の数が膨大であっても、使用者は良否判定の安定性に基づいて提示された候補画像の中から追加学習画像を選択することが可能になる。
【0031】
第１１の発明は、撮像手段により撮像された検査対象物の画像に基づいて当該検査対象物の良否判定を行う画像検査装置の設定方法において、使用者により良品としての属性が付与された良品画像と、不良品としての属性が付与された不良品画像をそれぞれ登録する学習画像登録ステップと、前記学習画像登録ステップで登録された良品画像と不良品画像を学習し、良品画像と不良品画像を識別する識別器を生成する識別器生成ステップと、前記撮像手段により新たに撮像された検査対象画像を前記識別器に入力し、良否判定を行う良否判定ステップと、前記良否判定ステップで良否判定を行った検査対象画像の良品らしさ又は不良品らしさを示す判定値と、良品と不良品を識別する閾値との近接度を算出し、当該近接度を、当該検査対象画像の良否判定の安定性を示す安定性評価値とする安定性評価値算出ステップと、前記安定性評価値算出ステップで算出した安定性評価値に基づいて、前記識別器に追加学習させる候補画像を使用者に提示する表示ステップと、前記表示ステップで提示された候補画像の中から、使用者による追加学習画像としての指定を受け付ける追加学習画像指定ステップとを備え、前記識別器生成ステップでは、使用者により指定された追加学習画像を、良品画像又は不良品画像として追加学習し、前記識別器を更新することを特徴とする。
【発明の効果】
【0032】
本発明によれば、複数の画像の良否判定の安定性を示す安定性評価値に基づいて、追加学習に適した候補画像を使用者に提示し、提示された候補画像の中から、使用者による追加学習画像としての指定を受け付け、使用者により指定された追加学習画像を、良品画像又は不良品画像として追加学習し、識別器を更新できるので、膨大な数の画像の中から学習効果のある画像を追加学習画像として効率の良い学習を行うことができる。
【図面の簡単な説明】
【0033】
【図1】本発明の実施形態に係る画像検査装置の構成を示す模式図である。
【図2】画像検査装置のハードウエア構成を示す図である。
【図3】画像検査装置のブロック図である。
【図4】起動時ユーザーインターフェースを示す図である。
【図5】検査種別選択ユーザーインターフェースを示す図である。
【図6】撮像条件設定ユーザーインターフェースを示す図である。
【図7】マスター画像登録ユーザーインターフェースを示す図である。
【図8】学習設定ユーザーインターフェースを示す図である。
【図9】検査ウィンドウ設定ユーザーインターフェースを示す図である。
【図10】学習用ユーザーインターフェースを示す図である。
【図11】学習完了後の学習設定ユーザーインターフェースを示す図である。
【図12】画像処理ツールユーザーインターフェースを示す図である。
【図13】基本ツールタブが選択されている場合の画像処理ツール選択用ユーザーインターフェースを示す図である。
【図14】拡張タブが選択されている場合の画像処理ツール選択用ユーザーインターフェースを示す図である。
【図15】出力割り当てユーザーインターフェースを示す図である。
【図16】画像検査装置の設定手順を示すフローチャートである。
【図17】運転モードユーザーインターフェースを示す図である。
【図19】追加学習ユーザーインターフェースを示す図である。
【図20】メニューを表示した運転モードユーザーインターフェースを示す図である。
【図22】良否判定後の検査対象画像を表示する運転画像履歴表示ユーザーインターフェースを示す図である。
【図23】選択画像表示ユーザーインターフェースを示す図である。
【図24】学習に用いられた画像を表示する学習画像履歴表示ユーザーインターフェースを示す図である。
【図27】標準検査モードの運転時のフローチャートである。
【図28】良品らしい部分と不良品らしい部分とが含まれている検査対象画像の例を示す図であり、（Ａ）は良品画像である確率が高い場合、（Ｂ）は良品画像の確率が半分程度の場合、（Ｃ）は不良品画像である確率が高い場合である。
【図29】文字を含む検査対象画像の例を示す図であり、（Ａ）は良品画像、（Ｂ）は領域が選択的に強調された検査対象画像である。
【図30】（Ａ）は良品画像、（Ｂ）は不良品画像、（Ｃ）は運転モード時に良品が撮像された場合の検査対象画像、（Ｄ）は運転モード時に不良品が撮像された場合の検査対象画像を示す図である。
【図31】（Ａ）は追加学習する不良品画像、（Ｂ）は追加学習後の運転モード時に不良品が撮像された場合の検査対象画像を示す図である。
【図32】学習検査モードの運転時のフローチャートである。
【図33】学習候補画像を提示する場合のフローチャートである。
【図34】履歴画像のソート手順を示すフローチャートである。
【図35】良品画像群と不良品画像群がプロットされて識別境界が生成された特徴量空間を模式的に示す図である。
【図36】削除候補画像の提示手順を示すフローチャートである。
【図37】追加学習によって識別境界が変化した場合における削除候補画像の提示手順を示すフローチャートである。
【図39】削除候補画像と近隣画像との相対関係に基づいて削除候補画像を提示する手順を示すフローチャートである。
【発明を実施するための形態】
【0034】
以下、本発明の実施形態を図面に基づいて詳細に説明する。尚、以下の好ましい実施形態の説明は、本質的に例示に過ぎず、本発明、その適用物或いはその用途を制限することを意図するものではない。
【0035】
図１は、本発明の実施形態に係る画像検査装置１の構成を示す模式図である。画像検査装置１は、例えば各種部品や製品等の検査対象物を撮像した画像に基づいて検査対象物の良否判定を行うための装置であり、工場等の生産現場等で使用することができる。検査対象物は、それ全体が検査対象であってもよいし、一部のみが検査対象であってもよい。また、１つの検査対象物に複数の検査対象が含まれていてもよい。また、画像には、複数の検査対象物が含まれていてもよい。
【0036】
画像検査装置１は、装置本体となる制御ユニット２と、撮像ユニット３と、表示装置（表示手段）４と、パーソナルコンピュータ５とを備えている。パーソナルコンピュータ５は、必須なものではなく、省略することもできる。表示装置４の代わりにパーソナルコンピュータ（表示手段）５を使用することもできる。図１では、画像検査装置１の構成例の一例として、制御ユニット２、撮像ユニット３、表示装置４及びパーソナルコンピュータ５を別々のものとして記載しているが、これらのうち、任意の複数を組み合わせて一体化することもできる。例えば、制御ユニット２と撮像ユニット３を一体化することや、制御ユニット２と表示装置４を一体化することもできる。また、制御ユニット２を複数のユニットに分割して一部を撮像ユニット３や表示装置４に組み込むことや、撮像ユニット３を複数のユニットに分割して一部を他のユニットに組み込むこともできる。
【0037】
（撮像ユニット３の構成）
図２に示すように、撮像ユニット３は、カメラモジュール（撮像手段）１４と、照明モジュール１５とを備えている。カメラモジュール１４は、撮像光学系を駆動するＡＦ用モータ１４１と、撮像基板１４２とを備えている。ＡＦ用モータ１４１は、撮像光学系のレンズを駆動することにより、自動でピント調整を実行する部分であり、従来から周知のコントラストオートフォーカス等の手法によってピント調整を行うことができる。撮像基板１４２は、撮像光学系から入射した光を受光する受光素子としてＣＭＯＳセンサ１４３と、ＦＰＧＡ１４４と、ＤＳＰ１４５とを備えている。ＣＭＯＳセンサ１４３は、カラー画像を取得することができるように構成された撮像センサである。ＣＭＯＳセンサ１４３の代わりに、例えばＣＣＤセンサ等の受光素子を用いることもできる。ＦＰＧＡ１４４及びＤＳＰ１４５は、撮像ユニット３の内部において画像処理を実行するためのものであり、ＣＭＯＳセンサ１４３から出力された信号はＦＰＧＡ１４４及びＤＳＰ１４５にも入力されるようになっている。
図２に示すように、撮像ユニット３は、カメラモジュール（撮像手段）１４と、照明モジュール１５とを備えている。カメラモジュール１４は、撮像光学系を駆動するＡＦ用モータ１４１と、撮像基板１４２とを備えている。ＡＦ用モータ１４１は、撮像光学系のレンズを駆動することにより、自動でピント調整を実行する部分であり、従来から周知のコントラストオートフォーカス等の手法によってピント調整を行うことができる。撮像基板１４２は、撮像光学系から入射した光を受光する受光素子としてＣＭＯＳセンサ１４３と、ＦＰＧＡ１４４と、ＤＳＰ１４５とを備えている。ＣＭＯＳセンサ１４３は、カラー画像を取得することができるように構成された撮像センサである。ＣＭＯＳセンサ１４３の代わりに、例えばＣＣＤセンサ等の受光素子を用いることもできる。ＦＰＧＡ１４４及びＤＳＰ１４５は、撮像ユニット３の内部において画像処理を実行するためのものであり、ＣＭＯＳセンサ１４３から出力された信号はＦＰＧＡ１４４及びＤＳＰ１４５にも入力されるようになっている。
【0038】
照明モジュール１５は、検査対象物を含む撮像領域を照明する発光体としてのＬＥＤ（発光ダイオード）１５１と、ＬＥＤ１５１を制御するＬＥＤドライバ１５２とを備えている。ＬＥＤ１５１による発光タイミング、発光時間、発光量は、ＬＥＤドライバ１５２によって任意に設定することができる。ＬＥＤ１５１は、撮像ユニット３に一体に設けてもよいし、撮像ユニット３とは別体として外部照明ユニットとして設けてもよい。図示しないが、照明モジュール１５には、ＬＥＤ１５１から照射された光を反射するリフレクターや、ＬＥＤ１５１から照射された光が通過するレンズ等が設けられている。ＬＥＤ１５１から照射された光が検査対象物と、検査対象物の周辺領域に照射されるように、ＬＥＤ１５１の照射範囲が設定されている。発光ダイオード以外の発光体を使用することもできる。
【0039】
（制御ユニット２の構成）
制御ユニット２は、メイン基板１３と、コネクタ基板１６と、通信基盤１７と、電源基板１８とを備えている。メイン基板１３には、ＦＰＧＡ１３１と、ＤＳＰ１３２と、メモリ１３３とが搭載されている。ＦＰＧＡ１３１とＤＳＰ１３２は制御部１３Ａを構成するものであり、これらが一体化された主制御部を設けることもできる。
制御ユニット２は、メイン基板１３と、コネクタ基板１６と、通信基盤１７と、電源基板１８とを備えている。メイン基板１３には、ＦＰＧＡ１３１と、ＤＳＰ１３２と、メモリ１３３とが搭載されている。ＦＰＧＡ１３１とＤＳＰ１３２は制御部１３Ａを構成するものであり、これらが一体化された主制御部を設けることもできる。
【0040】
メイン基板１３の制御部１３Ａは、接続されている各基板及びモジュールの動作を制御する。例えば、制御部１３Ａは、照明モジュール１５のＬＥＤドライバ１５２に対してＬＥＤ１５１の点灯／消灯を制御する照明制御信号を出力する。ＬＥＤドライバ１５２は、制御部１３Ａからの照明制御信号に応じて、ＬＥＤ１５１の点灯／消灯の切替及び点灯時間の調整を行うとともに、ＬＥＤ１５１の光量等を調整する。
【0041】
また、制御部１３Ａは、カメラモジュール１４の撮像基板１４２に、ＣＭＯＳセンサ１４３を制御する撮像制御信号を出力する。ＣＭＯＳセンサ１４３は、制御部１３Ａからの撮像制御信号に応じて、撮像を開始するとともに、露光時間を任意の時間に調整して撮像を行う。すなわち、撮像ユニット３は、制御部１３Ａから出力される撮像制御信号に応じてＣＭＯＳセンサ１４３の視野範囲内を撮像し、視野範囲内に検査対象物があれば、検査対象物を撮像することになるが、検査対象物以外の物が視野範囲内にあれば、それも撮像することができる。例えば、画像検査装置１の設定時には、使用者により良品としての属性を付与された良品画像と、不良品としての属性を付与された不良品画像とを撮像することができる。画像検査装置１の運用時には、検査対象物を撮像することができる。また、ＣＭＯＳセンサ１４３は、ライブ画像、即ち現在の撮像された画像を短いフレームレートで随時出力することができるように構成されている。
【0042】
ＣＭＯＳセンサ１４３による撮像が終わると、撮像ユニット３から出力された画像信号は、メイン基板１３のＦＰＧＡ１３１に入力され、ＦＰＧＡ１３１及びＤＳＰ１３２によって処理されるとともに、メモリ１３３に記憶されるようになっている。メイン基板１３の制御部１３Ａによる具体的な処理内容の詳細については後述する。
【0043】
コネクタ基板１６は、電源インターフェース１６１に設けてある電源コネクタ（図示せず）を介して外部から電力の供給を受ける部分である。電源基板１８は、コネクタ基板１６で受けた電力を各基板及びモジュール等に分配する部分であり、具体的には、照明モジュール１５、カメラモジュール１４、メイン基板１３、及び通信基板１７に電力を分配する。電源基板１８は、ＡＦ用モータドライバ１８１を備えている。ＡＦ用モータドライバ１８１は、カメラモジュール１４のＡＦ用モータ１４１に駆動電力を供給し、オートフォーカスを実現している。ＡＦ用モータドライバ１８１は、メイン基板１３の制御部１３ＡからのＡＦ制御信号に応じて、ＡＦ用モータ１４１に供給する電力を調整する。
【0044】
通信基板１７は、メイン基板１３の制御部１３Ａから出力された検査対象物の良否判定信号、画像データ、ユーザーインターフェース等を表示装置４やパーソナルコンピュータ５、外部制御機器（図示せず）等に出力する。表示装置４やパーソナルコンピュータ５は、例えば液晶パネル等からなる表示パネルを有しており、画像データやユーザーインターフェース等は表示パネルに表示される。
【0045】
また、通信基板１７は、表示装置４が有するタッチパネル４１やパーソナルコンピュータ５のキーボード５１等から入力された使用者の各種操作を受け付けることができるように構成されている。表示装置４のタッチパネル４１は、例えば感圧センサを搭載した従来から周知のタッチ式操作パネルであり、使用者によるタッチ操作を検出して通信基板１７へ出力する。パーソナルコンピュータ５は、キーボード５１の他に、図示しないがマウスやタッチパネルを備えており、これら操作デバイスから入力された使用者の各種操作を受け付けることができるように構成されている。通信は、有線であってもよいし、無線であってもよく、いずれの通信形態も、従来から周知の通信モジュールによって実現することができる。
【0046】
制御ユニット２には、例えばハードディスクドライブ等の記憶装置（記憶手段）１９が設けられている。記憶装置１９には、後述する各制御及び処理を上記ハードウエアによって実行可能にするためのプログラムファイル８０や設定ファイル等（ソフトウエア）、マスター画像、履歴画像、良否判定結果等が記憶されている。プログラムファイル８０や設定ファイルは、例えば光ディスク等の記憶媒体９０に格納しておき、この記憶媒体９０に格納されたプログラムファイル８０や設定ファイルを制御ユニット２にインストールすることができる。
【0047】
（画像検査装置１の具体的な構成）
図３は、画像検査装置１のブロック図であり、プログラムファイル８０や設定ファイルがインストールされた制御ユニット２により、図３に示す各部及び手段が構成される。すなわち、画像検査装置１は、撮像設定部２１と、マスター画像登録部２３と、学習画像登録部２４と、画像処理ツール選択部２５と、パラメータ調整部２６と、検査ウィンドウ設定部２７と、検査種別選択部２８と、モード切替部２９と、識別器生成部３０と、良否判定部３１と、追加学習画像指定部３２と、安定性評価値算出部３３と、判定軸抽出部３４とを備えている。これら各部（手段）は、ハードウエアのみで構成されていてもよいし、ハードウエアとソフトウエアとの組み合わせによって構成されていてもよい。また、図３に示す各部及び手段は、それぞれが独立したものであってもよいし、１つのハードウエアまたはソフトウエアによって複数の機能が実現されるように構成されたものであってもよい。また、図３に示す各部及び手段の機能は、メイン基板１３の制御部１３Ａによる制御で実現することもできる。
図３は、画像検査装置１のブロック図であり、プログラムファイル８０や設定ファイルがインストールされた制御ユニット２により、図３に示す各部及び手段が構成される。すなわち、画像検査装置１は、撮像設定部２１と、マスター画像登録部２３と、学習画像登録部２４と、画像処理ツール選択部２５と、パラメータ調整部２６と、検査ウィンドウ設定部２７と、検査種別選択部２８と、モード切替部２９と、識別器生成部３０と、良否判定部３１と、追加学習画像指定部３２と、安定性評価値算出部３３と、判定軸抽出部３４とを備えている。これら各部（手段）は、ハードウエアのみで構成されていてもよいし、ハードウエアとソフトウエアとの組み合わせによって構成されていてもよい。また、図３に示す各部及び手段は、それぞれが独立したものであってもよいし、１つのハードウエアまたはソフトウエアによって複数の機能が実現されるように構成されたものであってもよい。また、図３に示す各部及び手段の機能は、メイン基板１３の制御部１３Ａによる制御で実現することもできる。
【0048】
また、画像検査装置１は、撮像設定等の各種パラメータ設定、マスター画像の登録、良品画像と不良品画像とを内部で識別できるようにする識別器の生成（学習）等を行う設定モードと、実際の現場において検査対象物を撮像した画像に基づいて検査対象物の良否判定を行う運転モード（Ｒｕｎモード）とに切り替えられるようになっている。設定モードでは、使用者が所望の製品検査で良品と不良品とを分けることができるようにするための事前の作業を行う。設定モードと運転モードとの切替は、後述するユーザーインターフェース上で行うことができる他、設定モードの完了と同時に運転モードに自動で移行するように構成することもできる。運転モードにおいて、識別器による識別境界の修正や変更を行うこと、いわゆる追加学習を行うこともできる。
【0049】
また、画像検査装置１は、画像内の検査対象物の様々な特徴量（色、エッジ、位置等）に基づいて検査対象物の良否の判定を行うルールベースの検査モード（標準検査モード）と、識別器を生成し、生成した識別器によって検査対象物の良否の判定を行う学習ベースの検査モード（学習検査モード）とに切り替えられるようになっている。標準検査モードでは、使用者が画像に含まれるどの特徴量に基づいて検査を行うか、及び閾値等を設定し、その設定に従って良否判定を行う。標準検査モードと学習検査モードとの切替は、後述するユーザーインターフェース上で行うことができる。
【0050】
（起動時制御）
画像検査装置１が起動すると、制御ユニット２は図４に示すような起動時ユーザーインターフェース１００を生成して表示装置４に表示させる。起動時ユーザーインターフェース１００は、図示しないＵＩ生成部等で生成することもできる。以下に述べる他のユーザーインターフェースもＵＩ生成部等で生成することができる。
画像検査装置１が起動すると、制御ユニット２は図４に示すような起動時ユーザーインターフェース１００を生成して表示装置４に表示させる。起動時ユーザーインターフェース１００は、図示しないＵＩ生成部等で生成することもできる。以下に述べる他のユーザーインターフェースもＵＩ生成部等で生成することができる。
【0051】
起動時ユーザーインターフェース１００には、センサ設定ボタン１００ａと、運転開始ボタン１００ｂと、画像表示領域１００ｃとが設けられている。センサ設定ボタン１００ａは、画像検査装置１の設定を行う際に操作するボタンである。運転開始ボタン１００ｂは、検査を実行する運転モードとする際に操作するボタンである。画像表示領域１００ｃには、撮像ユニット３で撮像された画像、記憶装置１９に記憶されている画像、外部から読み込んだ画像等を表示することができるようになっている。
【0052】
図３に示すモード切替部２９は、図４に示す起動時ユーザーインターフェース１００のセンサ設定ボタン１００ａが押されたことを検出すると、画像検査装置１の設定を行う設定モードに切り替える。一方、モード切替部２９は、起動時ユーザーインターフェース１００の運転開始ボタン１００ｂが押されたことを検出すると、運転モードに切り替える。つまり、モード切替部２９は、画像検査装置１のモードを、当該画像検査装置１の設定を行う設定モードと、検査を実行する運転モードとに切り替える部分である。画像検査装置１のモード切替方法は上述したボタン操作以外の方法、例えば外部から入力された信号による切り替え等であってもよい。尚、「ボタンを押す」とは、表示装置４のタッチパネル４１による操作、パーソナルコンピュータ５のキーボード５１やマウス等による操作によって実行される。以下、ボタン操作については同様である。
【0053】
（検査種別選択部２８の構成）
図３に示す検査種別選択部２８は、標準検査モードと学習検査モードのいずれかの選択を受け付ける部分である。検査種別選択部２８は、図５に示す検査種別選択ユーザーインターフェース１０１を生成して表示装置４に表示させる。検査種別選択ユーザーインターフェース１０１には、学習検査モード選択ボタン１０１ａと、標準検査モード選択ボタン１０１ｂと、キャンセルボタン１０１ｃと、ＯＫボタン１０１ｄとが設けられている。検査種別選択部２８は、学習検査モード選択ボタン１０１ａが押されたことを検出すると、学習検査モードに切り替える一方、標準検査モード選択ボタン１０１ｂが押されたことを検出すると、標準検査モードに切り替えるように構成されている。その後、ＯＫボタン１０１ｄが押されると、受け付けられた検査モードが確定する。キャンセルボタン１０１ｃが押されると、図４に示す起動時ユーザーインターフェース１００が表示装置４に表示される。
図３に示す検査種別選択部２８は、標準検査モードと学習検査モードのいずれかの選択を受け付ける部分である。検査種別選択部２８は、図５に示す検査種別選択ユーザーインターフェース１０１を生成して表示装置４に表示させる。検査種別選択ユーザーインターフェース１０１には、学習検査モード選択ボタン１０１ａと、標準検査モード選択ボタン１０１ｂと、キャンセルボタン１０１ｃと、ＯＫボタン１０１ｄとが設けられている。検査種別選択部２８は、学習検査モード選択ボタン１０１ａが押されたことを検出すると、学習検査モードに切り替える一方、標準検査モード選択ボタン１０１ｂが押されたことを検出すると、標準検査モードに切り替えるように構成されている。その後、ＯＫボタン１０１ｄが押されると、受け付けられた検査モードが確定する。キャンセルボタン１０１ｃが押されると、図４に示す起動時ユーザーインターフェース１００が表示装置４に表示される。
【0054】
使用者による標準検査モードと学習検査モードの選択を受け付ける部分は、上述した検査種別選択部２８に限られるものではなく、例えば外部から入力された信号によって受け付けるように構成されていてもよい。
【0055】
図５に示す検査種別選択ユーザーインターフェース１０１には、学習検査モードの概略を説明する説明文や標準検査モードの概略を説明する説明文が表示される説明文表示領域１０１ｅが設けられている。学習検査モード選択ボタン１０１ａが押されると、学習検査モードの概略を説明する説明文が説明文表示領域１０１ｅに表示され、また、標準検査モード選択ボタン１０１ｂが押されると、標準検査モードの概略を説明する説明文が説明文表示領域１０１ｅに表示されるようになっている。
【0056】
（撮像設定部２１の構成）
図３に示す撮像設定部２１は、設定モード時に撮像ユニット３の撮像条件の設定を受け付ける部分である。撮像条件には、例えば、露光時間、照明モジュール１５から照射される光量、ゲイン、フォーカス調整、撮像を行うトリガ条件等が含まれているが、これらに限られるものではなく、撮像に関する条件設定が可能なものを含むことができる。
図３に示す撮像設定部２１は、設定モード時に撮像ユニット３の撮像条件の設定を受け付ける部分である。撮像条件には、例えば、露光時間、照明モジュール１５から照射される光量、ゲイン、フォーカス調整、撮像を行うトリガ条件等が含まれているが、これらに限られるものではなく、撮像に関する条件設定が可能なものを含むことができる。
【0057】
撮像設定部２１は、図６に示す撮像条件設定ユーザーインターフェース１０２を生成して表示装置４に表示させる。撮像条件設定ユーザーインターフェース１０２には、画像表示領域１０２ａと、トリガ条件設定ボタン１０２ｂと、明るさ調整ボタン１０２ｃと、フォーカス調整ボタン１０２ｄと、次ステップボタン１０２ｅとが設けられている。画像表示領域１０２ａには、ＣＭＯＳセンサ１４３で撮像されたライブ画像が表示されるようになっている。ライブ画像とは、ＣＭＯＳセンサ１４３で撮像されている現在の画像のことであり、撮像対象や明るさが変化すればほぼリアルタイムで画像表示領域１０２ａの画像も変化する。符号Ｗは、検査対象物を示している。
【0058】
トリガ条件設定ボタン１０２ｂは、撮像ユニット３に撮像を開始させるための撮像トリガ信号を設定するためのボタンである。撮像設定部２１は、トリガ条件設定ボタン１０２ｂが操作されたことを検出すると、撮像トリガ信号を設定可能なユーザーインターフェース（図示せず）を生成して表示装置４に表示させる。使用者は、例えば外部から入力される撮像トリガ信号を選択することで、ＣＭＯＳセンサ１４３の視野範囲に検査対象物Ｗが入った状態で、撮像ユニット３による撮像を行うことが可能になる。撮像トリガ信号は、外部のＰＬＣ等から入力してもよいし、所定のタイミングで内部的に生成してもよい。
【0059】
明るさ調整ボタン１０２ｃは、露光時間、照明モジュール１５から照射される光量、ゲイン等を調整するためのボタンであり、得られる画像の明るさを調整することができる。撮像設定部２１は、明るさ調整ボタン１０２ｃが操作されたことを検出すると、露光時間等を調整可能なユーザーインターフェース（図示せず）を生成して表示装置４に表示させる。使用者は、画像表示領域１０２ａの画像を見ながら当該画像の明るさ調整を行うことができる。画像の明るさについては、画像検査装置１が、検査の精度が高くなるように自動で調整することができ、使用者による調整は必須なものではない。
【0060】
フォーカス調整ボタン１０２ｄは、ピントを調整する際に操作されるボタンである。撮像設定部２１は、フォーカス調整ボタン１０２ｄが操作されたことを検出すると、ピント調整が可能なユーザーインターフェース（図示せず）を生成して表示装置４に表示させる。基本的には、上述したオートフォーカス機能によって検査対象物Ｗにピントが合うように自動調整されるが、使用者がマニュアルフォーカスでピント合わせを行いたい場合に、この機能を使用することができる。
【0061】
次ステップボタン１０２ｅは、撮像条件の設定が終了した際に操作されるボタンである。撮像設定部２１は、次ステップボタン１０２ｅが押されたことを検出すると、トリガ条件、明るさ、フォーカス等を確定させて次の工程であるマスター画像登録に移行する。
【0062】
（マスター画像登録部２３の構成）
図３に示すマスター画像登録部２３は、設定モード時に撮像設定部２１で設定された撮像条件で撮像された画像をマスター画像として登録する部分である。マスター画像とは、画像検査枠、即ち検査ウィンドウを設定するための基準となる画像であり、良品の検査対象物Ｗが含まれる画像である。マスター画像は、記憶装置１９に記憶させておくことができる。
図３に示すマスター画像登録部２３は、設定モード時に撮像設定部２１で設定された撮像条件で撮像された画像をマスター画像として登録する部分である。マスター画像とは、画像検査枠、即ち検査ウィンドウを設定するための基準となる画像であり、良品の検査対象物Ｗが含まれる画像である。マスター画像は、記憶装置１９に記憶させておくことができる。
【0063】
マスター画像登録部２３は、図７に示すマスター画像登録ユーザーインターフェース１０３を生成して表示装置４に表示させる。マスター画像登録ユーザーインターフェース１０３には、マスター画像の候補となる画像を表示させるためのマスター候補画像表示領域１０３ａと、ライブ画像登録ボタン１０３ｂと、履歴登録ボタン１０３ｃと、ファイル登録ボタン１０３ｄと、次ステップボタン１０３ｅとが設けられている。
【0064】
マスター画像登録部２３は、マスター候補画像表示領域１０３ａにライブ画像が表示されている状態で、ライブ画像登録ボタン１０３ｂが押されたことを検出すると、マスター候補画像表示領域１０３ａに表示されているライブ画像をマスター画像として登録する。また、履歴登録ボタン１０３ｃは、画像履歴に残っている画像をマスター画像とする際に操作するボタンである。マスター画像登録部２３は、履歴登録ボタン１０３ｃが押されたことを検出すると、過去に撮像された画像がマスター候補画像表示領域１０３ａに表示される。マスター候補画像表示領域１０３ａに表示された画像の中から所望の画像をマスター画像として選択し、登録することができる。過去に撮像された画像は自動的に記憶装置１９に記憶させるようにしてもよいし、使用者が記憶操作を行うことによって記憶させるようにしてもよい。
【0065】
ファイル登録ボタン１０３ｄは、記憶装置１９に記憶されている画像をマスター画像とする際に操作するボタンである。マスター画像登録部２３は、ファイル登録ボタン１０３ｄが押されたことを検出すると、記憶装置１９の特定のフォルダに記憶されている画像を読み込んでマスター候補画像表示領域１０３ａに表示させ、この中から所望の画像をマスター画像として選択し、登録することができる。
【0066】
次ステップボタン１０３ｅは、マスター画像の登録が終了した際に操作されるボタンである。マスター画像登録部２３は、次ステップボタン１０３ｅが押されたことを検出すると次の工程に移行する。
【0067】
（学習設定ユーザーインターフェース）
図８は、学習設定ユーザーインターフェース１０４を示すものである。マスター画像登録が終了して図７に示す次ステップボタン１０３ｅが押されると、制御ユニット２は、学習設定ユーザーインターフェース１０４を生成して表示装置４に表示させる。学習設定ユーザーインターフェース１０４には、マスター画像を表示するマスター画像表示領域１０４ａと、検査ウィンドウ設定ボタン１０４ｂと、学習ボタン１０４ｃと、次ステップボタン１０４ｄとが設けられている。次ステップボタン１０４ｄは、次の工程に進む際に操作されるボタンである。
図８は、学習設定ユーザーインターフェース１０４を示すものである。マスター画像登録が終了して図７に示す次ステップボタン１０３ｅが押されると、制御ユニット２は、学習設定ユーザーインターフェース１０４を生成して表示装置４に表示させる。学習設定ユーザーインターフェース１０４には、マスター画像を表示するマスター画像表示領域１０４ａと、検査ウィンドウ設定ボタン１０４ｂと、学習ボタン１０４ｃと、次ステップボタン１０４ｄとが設けられている。次ステップボタン１０４ｄは、次の工程に進む際に操作されるボタンである。
【0068】
（検査ウィンドウ設定部２７の構成）
図３に示す検査ウィンドウ設定部２７は、学習検査モードの設定モード時に、マスター画像登録部２３で登録されたマスター画像上で、差分検出の範囲を規定するための学習検査用ウィンドウ（学習ベース検査用ウィンドウ）２００Ａ、２００Ｂの設定を受け付けるように構成されている。検査ウィンドウ設定部２７は、図８に示す検査ウィンドウ設定ボタン１０４ｂが押されたことを検出すると、図９に示す検査ウィンドウ設定ユーザーインターフェース１０５を生成して表示装置４に表示させる。学習検査用ウィンドウ２００Ａ、２００Ｂの設定は必須ではない。学習検査用ウィンドウ２００Ａが第１学習ベース検査用ウィンドウであり、学習検査用ウィンドウ２００Ｂが第２学習ベース検査用ウィンドウである。
図３に示す検査ウィンドウ設定部２７は、学習検査モードの設定モード時に、マスター画像登録部２３で登録されたマスター画像上で、差分検出の範囲を規定するための学習検査用ウィンドウ（学習ベース検査用ウィンドウ）２００Ａ、２００Ｂの設定を受け付けるように構成されている。検査ウィンドウ設定部２７は、図８に示す検査ウィンドウ設定ボタン１０４ｂが押されたことを検出すると、図９に示す検査ウィンドウ設定ユーザーインターフェース１０５を生成して表示装置４に表示させる。学習検査用ウィンドウ２００Ａ、２００Ｂの設定は必須ではない。学習検査用ウィンドウ２００Ａが第１学習ベース検査用ウィンドウであり、学習検査用ウィンドウ２００Ｂが第２学習ベース検査用ウィンドウである。
【0069】
検査ウィンドウ設定ユーザーインターフェース１０５には、マスター画像が表示されるマスター画像表示領域１０５ａと、検査ウィンドウ追加ボタン１０５ｂと、位置補正追加ボタン１０５ｃと、位置補正表示部１０５ｄと、第１検査ウィンドウ表示部１０５ｅと、第２検査ウィンドウ表示部１０５ｆと、ＯＫボタン１０５ｇとが設けられている。検査ウィンドウ設定部２７は、検査ウィンドウ追加ボタン１０５ｂが押されたことを検出すると、学習検査用ウィンドウ２００Ａ、２００Ｂを設定可能な状態にする。学習検査用ウィンドウ２００Ａ、２００Ｂは、マスター画像の検査対象物Ｗの全体を囲むように設定してもよいし、検査対象物Ｗの特徴となる一部のみ囲むように設定してもよい。学習検査用ウィンドウ２００Ａ、２００Ｂは、例えば矩形状にすることができ、学習検査用ウィンドウ２００Ａ、２００Ｂを描こうとする矩形の範囲を想定したとき、その上の角部から斜め下の角部までタッチ操作によってドラッグすることで学習検査用ウィンドウ２００Ａ、２００Ｂがマスター画像表示領域１０５ａに、マスター画像と重畳表示される。学習検査用ウィンドウ２００Ａ、２００Ｂの位置や大きさ、形状は修正することができる。
【0070】
この例では、第１学習検査用ウィンドウ２００Ａと、第２学習検査用ウィンドウ２００Ｂとを設定しているが、一方のみであってもよいし、３つ以上の学習検査用ウィンドウを設定してもよい。検査ウィンドウ追加ボタン１０５ｂを押すことで学習検査用ウィンドウの追加が可能になっている。第１検査ウィンドウ表示部１０５ｅは、学習検査用ウィンドウ２００Ａに対応しており、第２検査ウィンドウ表示部１０５ｆは、第２学習検査用ウィンドウ２００Ｂに対応している。
【0071】
また、位置補正追加ボタン１０５ｃを押すと、位置補正処理を行う部分を特定する位置補正ウィンドウ２０１を設定することができる。位置補正ウィンドウ２０１の設定方法は、学習検査用ウィンドウ２００Ａ、２００Ｂの設定方法と同様にすることができる。位置補正ウィンドウ２０１内の画像が位置補正処理の対象となり、従来から周知の手法により、位置補正ウィンドウ２０１内の画像を所定の位置に補正するとともに、所定の姿勢となるように補正する。
【0072】
図９に示す検査ウィンドウ設定ユーザーインターフェース１０５のＯＫボタン１０５ｇが押されると、図８に示す学習設定ユーザーインターフェース１０４が表示装置４に表示される。学習設定ユーザーインターフェース１０４の学習ボタン１０４ｃが押されると、学習画像登録に進む。
【0073】
（学習画像登録部２４の構成）
図３に示す学習画像登録部２４は、学習検査モードの設定モード時に、使用者により良品としての属性が付与された良品画像と、不良品としての属性が付与された不良品画像をそれぞれ登録する部分である。良品画像は、良品の検査対象物Ｗを撮像した画像であり、不良品画像はそれ以外の画像である。良品画像及び不良品画像は、マスター画像とは別に登録する。
図３に示す学習画像登録部２４は、学習検査モードの設定モード時に、使用者により良品としての属性が付与された良品画像と、不良品としての属性が付与された不良品画像をそれぞれ登録する部分である。良品画像は、良品の検査対象物Ｗを撮像した画像であり、不良品画像はそれ以外の画像である。良品画像及び不良品画像は、マスター画像とは別に登録する。
【0074】
学習画像登録部２４は、図８に示す学習設定ユーザーインターフェース１０４の学習ボタン１０４ｃが押されたことを検出すると、図１０に示す学習用ユーザーインターフェース１０６を表示装置４に表示させる。学習用ユーザーインターフェース１０６には、学習用の画像としての良品画像及び不良品画像を表示可能な画像表示領域１０６ａと、良品画像取得操作部１０６ｂと、不良品画像取得操作部１０６ｃと、学習開始ボタン１０６ｄと、ファイル読込ボタン１０６ｅと、履歴読込ボタン１０６ｆとが設けられている。
【0075】
画像表示領域１０６ａには、ライブ画像を表示させることができるようになっている。画像表示領域１０６ａにライブ画像として良品画像を表示させた状態で、良品画像取得操作部１０６ｂを操作すると、当該ライブ画像が良品画像として登録される。同様に、画像表示領域１０６ａにライブ画像として不良品画像を表示させた状態で、不良品画像取得操作部１０６ｃを操作すると、当該ライブ画像が不良品画像として登録される。これを繰り返すことで複数の良品画像及び不良品画像を登録することができる。
【0076】
ファイル読込ボタン１０６ｅを押すと、記憶装置１９の特定のフォルダに記憶されている画像が画像表示領域１０６ａに表示される。画像表示領域１０６ａに表示された画像が良品画像であるときに良品画像取得操作部１０６ｂを操作すると、当該画像が良品画像として登録される。同様に、画像表示領域１０６ａに、記憶装置１９から読み込んだ不良品画像を表示させた状態で、不良品画像取得操作部１０６ｃを操作すると、当該画像が不良品画像として登録される。
【0077】
履歴読込ボタン１０６ｆを押すと、過去に撮像された画像が画像表示領域１０６ａに表示される。画像表示領域１０６ａに表示された画像が良品画像であるときに良品画像取得操作部１０６ｂを操作すると、当該画像が良品画像として登録される。同様に、画像表示領域１０６ａに、過去に撮像された不良品画像を表示させた状態で、不良品画像取得操作部１０６ｃを操作すると、当該画像が不良品画像として登録される。
【0078】
良品画像を登録する方法は上記した方法に限られるものではない。例えば、学習画像登録部２４は、学習検査モードかつ設定モードが選択された場合に、撮像ユニット３により撮像条件を変化させて検査対象物Ｗを複数回撮像させることによって得られた複数の画像を良品画像として登録するように構成することができる。撮像条件には、例えば照明条件と露光時間を含むことができ、これらのうち、一方のみまたは両方を変化させ、変化させた都度、撮像ユニット３により検査対象物Ｗを撮像して得られた良品画像を学習画像とすることができる。照明条件は、例えば、照明モジュール１５から照射される光量等を挙げることができる。
【0079】
また、学習画像登録部２４は、学習検査モードかつ設定モードが選択された場合に、撮像ユニット３に検査対象物Ｗを撮像させることによって得られた画像に基づいて複数の良品画像を自動生成して登録するように構成することもできる。自動生成される画像は、新たに良品画像として判定される画像（自動生成良品画像）であり、１枚であっても２枚以上であってもよい。例えば、良品画像と不良品画像の識別に寄与している特徴量の良品範囲（具体的には明るさ範囲）を読み込み、良品範囲内となる明るさの画像を自動的に生成することで自動生成良品画像を得ることができる。具体的には、予め入力されている良品画像の明るさを画像処理によって変更させることで、良品範囲内で最も暗い画像と、最も明るい画像を生成することができ、また、良品範囲内の中間の明るさの画像も生成することができる。これにより、使用者が良品を複数用意することなく、良品画像を複数生成することができる。以上のようにして生成された自動生成良品画像は登録しておき、後述する学習時に使用することができる。撮像ユニット３によって撮像した良品画像と、自動生成良品画像とを学習に使用することができる。
【0080】
（識別器生成部３０の構成）
図３に示す識別器生成部３０は、学習検査モードの設定モード時に、学習画像登録部２４で登録された良品画像と不良品画像を学習し、良品画像と不良品画像を識別する識別器を生成する部分である。識別器生成部３０は、図１０に示す学習用ユーザーインターフェース１０６の学習開始ボタン１０６ｄが押されたことを検出すると、学習画像登録部２４で登録された良品画像と不良品画像を読み込む。識別器生成部３０は、読み込んだ良品画像と不良品画像を複数層で構成された機械学習器に入力する。
図３に示す識別器生成部３０は、学習検査モードの設定モード時に、学習画像登録部２４で登録された良品画像と不良品画像を学習し、良品画像と不良品画像を識別する識別器を生成する部分である。識別器生成部３０は、図１０に示す学習用ユーザーインターフェース１０６の学習開始ボタン１０６ｄが押されたことを検出すると、学習画像登録部２４で登録された良品画像と不良品画像を読み込む。識別器生成部３０は、読み込んだ良品画像と不良品画像を複数層で構成された機械学習器に入力する。
【0081】
具体的には、識別器生成部３０はニューラルネットワークを有しており、そのニューラルネットワークのパラメータの初期値をランダムに決定しておき、ニューラルネットワークから出力される画像認識の誤差をフィードバックしながらパラメータを調整していく、いわゆるディープラーニングの手法の他、周知の遺伝的アルゴリズム（ＧＡ）、強化学習、ニューロファジィなどの手法を採用してもよい。パラメータが調整されたニューラルネットワーク、即ち学習済みのニューラルネットワークが使用者に提供される形態であってもよいし、使用者がパラメータを調整する形態であってもよい。ニューラルネットワークは、事前に学習済みの複数層で構成されたニューラルネットワークであってもよい。
【0082】
識別器による良品画像と不良品画像の識別に寄与している特徴量は、例えば、明るさ、角度、色、形状、位置等があるが、これら以外の特徴量が良品画像と不良品画像の識別に寄与している場合もあるので、特徴量の種類は特に限定されない。
【0083】
識別器生成部３０による学習が完了すると、図１１に示すように、学習設定ユーザーインターフェース１０４には学習済み表示１０４ｅがなされる。
【0084】
また、識別器生成部３０は、ニューラルネットワークに良品画像及び不良品画像を入力することで、例えば図３５に示すように、特徴量空間における良品画像と不良品画像の識別境界を生成する。
【0085】
（画像処理ツール選択部２５の構成）
以上が学習検査モードの設定手順である。標準検査モードの場合は以下の設定を行う。はじめに、図３に示す画像処理ツール選択部２５について説明する。画像処理ツール選択部２５は、モード切替部２９により設定モードに切り替えられ、かつ、検査種別選択部２８により標準検査モードの選択が受け付けられている場合に機能する部分であり、画像処理ツールの選択を受け付けることができるように構成されている。画像処理ツール選択部２５は、設定モードかつ標準検査モードの場合に、図１２に示す画像処理ツールユーザーインターフェース１０７を生成して表示装置４に表示させる。
以上が学習検査モードの設定手順である。標準検査モードの場合は以下の設定を行う。はじめに、図３に示す画像処理ツール選択部２５について説明する。画像処理ツール選択部２５は、モード切替部２９により設定モードに切り替えられ、かつ、検査種別選択部２８により標準検査モードの選択が受け付けられている場合に機能する部分であり、画像処理ツールの選択を受け付けることができるように構成されている。画像処理ツール選択部２５は、設定モードかつ標準検査モードの場合に、図１２に示す画像処理ツールユーザーインターフェース１０７を生成して表示装置４に表示させる。
【0086】
画像処理ツールユーザーインターフェース１０７には、マスター画像を表示するためのマスター画像表示領域１０７ａと、ツール表示領域１０７ｂと、次ステップボタン１０７ｃとが設けられている。ツール表示領域１０７ｂには、選択された画像処理ツールが表示されるようになっており、表示されるツールの数は１つであってもよいし、複数であってもよい。本実施形態では、ツール表示領域１０７ｂに、輪郭ツール１０７ｄ、色面積ツール１０７ｅ、幅ツール１０７ｆが表示されている場合を示している。
【0087】
画像処理ツールユーザーインターフェース１０７には、ツール追加ボタン１０７ｇが設けられている。画像処理ツール選択部２５は、ツール追加ボタン１０７ｇが押されたことを検出すると、図１３に示す画像処理ツール選択用ユーザーインターフェース１０８を生成して表示装置４に表示させる。画像処理ツール選択用ユーザーインターフェース１０８には、基本ツールタブ１０８ａと、拡張１タブ１０８ｂと、拡張２タブ１０８ｃと、キャンセルボタン１０８ｄと、ＯＫボタン１０８ｅとが設けられている。使用者が基本ツールタブ１０８ａを選択すると、図１３に示すように基本ツールタブ１０８ａに分類されている画像処理ツールが一覧形式で表示される。一方、使用者が拡張１タブ１０８ｂを選択すると、図１４に示すように拡張１タブ１０８ｂに分類されている画像処理ツールが一覧形式で表示される。図示しないが、拡張２タブ１０８ｃを選択した場合も同様に表示できる。画像処理ツールは、従来から周知のものであり、例えば、エッジ抽出機能によって画像における検査対象物Ｗのエッジを抽出する処理を行い、特定のエッジのＸ軸に対する傾斜角度や長さ等を特徴量として用いることができる。
【0088】
基本ツールタブ１０８ａ、拡張１タブ１０８ｂ及び拡張２タブ１０８ｃに分類されている画像処理ツールのうち、任意の画像処理ツールを選択することができる。選択後、ＯＫボタン１０８ｅが押されたことを検出すると、選択された画像処理ツールが有効になり、図１２に示すように、画像処理ツールユーザーインターフェース１０７のツール表示領域１０７ｂに表示される。一方、図１３及び図１４に示す画像処理ツール選択用ユーザーインターフェース１０８のキャンセルボタン１０８ｄが押されたことを検出すると、画像処理ツールの選択操作がキャセルされる。
【0089】
（標準検査モード時の検査ウィンドウ設定部２７）
図３に示す検査ウィンドウ設定部２７は、標準検査モードの設定モード時に、マスター画像登録部２３で登録されたマスター画像上で、画像処理ツール選択部２５で選択された画像処理ツールを適用する範囲を規定するための標準検査用ウィンドウ（ルールベース検査用ウィンドウ）の設定を受け付ける部分である。図１２に示すように、標準検査用ウィンドウ２０２をマスター画像と重畳表示することができる。標準検査用ウィンドウ２０２の設定手法は、学習検査モード時の検査用ウィンドウの設定手法と同じにすることができる。また、標準検査用ウィンドウ２０２は複数設定することができる。さらに、学習検査モード時と同様に、位置補正ウィンドウ２０３を設定することもできる。
図３に示す検査ウィンドウ設定部２７は、標準検査モードの設定モード時に、マスター画像登録部２３で登録されたマスター画像上で、画像処理ツール選択部２５で選択された画像処理ツールを適用する範囲を規定するための標準検査用ウィンドウ（ルールベース検査用ウィンドウ）の設定を受け付ける部分である。図１２に示すように、標準検査用ウィンドウ２０２をマスター画像と重畳表示することができる。標準検査用ウィンドウ２０２の設定手法は、学習検査モード時の検査用ウィンドウの設定手法と同じにすることができる。また、標準検査用ウィンドウ２０２は複数設定することができる。さらに、学習検査モード時と同様に、位置補正ウィンドウ２０３を設定することもできる。
【0090】
（パラメータ調整部２６の構成）
図３に示すパラメータ調整部２６は、標準検査モードの設定モード時に、画像処理ツール選択部２５で選択された画像処理ツールのパラメータの調整を受け付ける部分である。図１２に示す画像処理ツールユーザーインターフェース１０７のツール表示領域１０７ｂには、画像処理ツール選択部２５で選択された画像処理ツールが表示されており、輪郭ツール１０７ｄ、色面積ツール１０７ｅ、エッジピクセルツール１０７ｆのそれぞれについてパラメータの一つである閾値を調整可能なスライドバーが設けられている。スライドバーによって閾値を調整することができる他、例えば数値の入力によって閾値を調整することもできる。閾値以外のパラメータを画像処理ツール毎に調整することができ、パラメータ調整部２６で調整可能なパラメータは特に限定されるものではない。
図３に示すパラメータ調整部２６は、標準検査モードの設定モード時に、画像処理ツール選択部２５で選択された画像処理ツールのパラメータの調整を受け付ける部分である。図１２に示す画像処理ツールユーザーインターフェース１０７のツール表示領域１０７ｂには、画像処理ツール選択部２５で選択された画像処理ツールが表示されており、輪郭ツール１０７ｄ、色面積ツール１０７ｅ、エッジピクセルツール１０７ｆのそれぞれについてパラメータの一つである閾値を調整可能なスライドバーが設けられている。スライドバーによって閾値を調整することができる他、例えば数値の入力によって閾値を調整することもできる。閾値以外のパラメータを画像処理ツール毎に調整することができ、パラメータ調整部２６で調整可能なパラメータは特に限定されるものではない。
【0091】
（出力割り当て操作）
図８及び図１１に示す学習設定ユーザーインターフェース１０４の次ステップボタン１０４、図１２に示す画像処理ツールユーザーインターフェース１０７の次ステップボタン１０７ｃが押されたことを制御ユニット２が検出すると、出力割り当て工程に進む。制御ユニット２は、次ステップボタン１０４または次ステップボタン１０７ｃが押されたことを検出すると、図１５に示す出力割り当てユーザーインターフェース１０９を生成して表示装置４に表示させる。
図８及び図１１に示す学習設定ユーザーインターフェース１０４の次ステップボタン１０４、図１２に示す画像処理ツールユーザーインターフェース１０７の次ステップボタン１０７ｃが押されたことを制御ユニット２が検出すると、出力割り当て工程に進む。制御ユニット２は、次ステップボタン１０４または次ステップボタン１０７ｃが押されたことを検出すると、図１５に示す出力割り当てユーザーインターフェース１０９を生成して表示装置４に表示させる。
【0092】
出力割り当てユーザーインターフェース１０９には、出力関連の設定を行うための設定領域１０９ａと、完了ボタン１０９ｂとが設けられている。設定領域１０９ａでは、複数の出力関連の設定を行うことができるようになっており、例えば総合判定、ビジー、エラー等の設定が可能になっている。完了ボタン１０９ｂは出力関連の設定が完了した際に操作されるボタンである。完了ボタン１０９ｂが押されたことを制御ユニット２が検出すると、設定モードが終了し、例えば、図４に示す起動時ユーザーインターフェース１００を表示装置４に表示させる。
【0093】
（画像検査装置１の設定方法）
上述したように、起動後、設定モードが選択されると、学習検査モードと標準検査モードのどちらの設定を行うのか選択を受け付け、受け付けられた検査モードの設定を行うことができる。学習検査モードと標準検査モードのいずれのモードが選択されても、撮像条件設定及びマスター画像登録を行うので、撮像条件設定及びマスター画像登録は、学習検査モードと標準検査モードに共通する設定事項である。
上述したように、起動後、設定モードが選択されると、学習検査モードと標準検査モードのどちらの設定を行うのか選択を受け付け、受け付けられた検査モードの設定を行うことができる。学習検査モードと標準検査モードのいずれのモードが選択されても、撮像条件設定及びマスター画像登録を行うので、撮像条件設定及びマスター画像登録は、学習検査モードと標準検査モードに共通する設定事項である。
【0094】
学習検査モードの設定の場合、撮像条件設定及びマスター画像登録が完了すると、検出ウィンドウ設定及び学習用画像の入力・登録を行い、識別器を生成する。一方、標準検査モードの場合、撮像条件設定及びマスター画像登録が完了すると、画像処理ツール選択及び画像処理ツールのパラメータ調整を行う。その後、学習検査モードと標準検査モードのいずれのモードであっても同様な出力割り当てを行う。したがって、出力割り当ても、学習検査モードと標準検査モードに共通する設定事項である。
【0095】
以下、画像検査装置１の設定方法の例について図１６に示すフローチャートに基づいて説明する。スタート後のステップＳＡ１は起動操作であり、例えば電源の投入等である。ステップＳＡ１が行われると、図４に示す起動時ユーザーインターフェース１００が表示装置４に表示される。ステップＳＡ２は、起動時ユーザーインターフェース１００のセンサ設定ボタン１００ａを押すステップである。センサ設定ボタン１００ａが押されると、ステップＳＡ３に進み、図５に示す検査種別選択ユーザーインターフェース１０１が表示装置４に表示される。ステップＳＡ４では、検査種別選択ユーザーインターフェース１０１で選択された検査モードが学習検査モードであるか否かを判定する。ステップＳＡ１～ステップＳＡ４までは学習検査モードと標準検査モードに共通するステップである。
【0096】
図５に示す検査種別選択ユーザーインターフェース１０１の学習検査モード選択ボタン１０１ａが押された場合には、ステップＳＡ５に進む。ステップＳＡ５では、図６に示す撮像条件設定ユーザーインターフェース１０２が表示装置４に表示されるので、使用者が撮像条件を設定する。これが撮像条件設定ステップである。ステップＳＡ５が終了すると、ステップＳＡ６に進み、図７に示すマスター画像登録ユーザーインターフェース１０３が表示装置４に表示される。このステップは、ステップＳＡ５で設定した撮像条件で撮像した画像をマスター画像として登録するマスター画像登録ステップである。その後、ステップＳＡ７に進むと、図８に示す学習設定ユーザーインターフェース１０４が表示装置４に表示されるので、検査ウィンドウ設定ボタン１０４ｂを押して検査ウィンドウを設定する。検査ウィンドウの設定が終わり、学習ボタン１０４ｃを押すと、ステップＳＡ８に進む。ステップＳＡ８では、図１０に示す学習用ユーザーインターフェース１０６が表示装置４に表示される。これにより、学習用の画像としての良品画像を登録できる。また、ステップＳＡ９では同じユーザーインターフェース１０６上で学習用の画像としての不良品画像を登録できる。ステップＳＡ８とステップＳＡ９とは入れ替わっていてもよい。ステップＳＡ８及びステップＳＡ９は学習画像登録ステップである。
【0097】
次いでステップＳＡ１０に進む。ステップＳＡ１０は、図１０に示す学習用ユーザーインターフェース１０６の学習開始ボタン１０６ｄが押されると開始される。ステップＳＡ１０は、良品画像と不良品画像を学習し、良品画像と不良品画像を識別する識別器を生成する識別器生成ステップである。
【0098】
必須ではないが、ステップＳＡ１１及びステップＳＡ１２において追加学習を行うこともできる。使用者が追加学習を行う必要があると判断した場合、ステップＳＡ１１からステップＳＡ１２に進み、別の良品画像や不良品画像を登録して識別器生成部３０に学習させる。学習が完了すると、図１１に示す学習設定ユーザーインターフェース１０４が表示装置４に表示される。
【0099】
その後、ステップＳＡ１３に進む。ステップＳＡ１３では、図１５に示す出力割り当てユーザーインターフェース１０９が表示装置４に表示され、これにより、出力関連の設定を行うことができる。
【0100】
一方、ステップＳＡ４でＮＯと判定され、標準検査モードが選択された場合には、ステップＳＡ１４に進む。ステップＳＡ１４はステップＳＡ５と同じである。また、その後のステップＳＡ１５はステップＳＡ６と同じである。このフローチャートでは、ステップＳＡ５、ステップＳＡ６を、ステップＳＡ１４、ステップＳＡ１５と分けて記載しているが、ステップＳＡ５とステップＳＡ１４が同じなので共通化することもでき、また、ステップＳＡ６とステップＳＡ１５が同じなので共通化することもできる。
【0101】
その後、ステップＳＡ１６に進むと、図１２に示す画像処理ツールユーザーインターフェース１０７が表示装置４に表示され、画像処理ツールを選択することができる。これが画像処理ツール選択ステップである。
【0102】
画像処理ツールを選択した後、ステップＳＡ１７に進む。ステップＳＡ１７では、マスター画像登録ステップ（ステップＳＡ１５）で登録されたマスター画像上で、画像処理ツール選択ステップ（ステップＳＡ１６）で選択された画像処理ツールを適用する範囲を規定するための検査用ウィンドウを設定する。これが検査ウィンドウ設定ステップである。
【0103】
検査用ウィンドウの設定が終了すると、ステップＳＡ１８に進む。ステップＳＡ１８では、画像処理ツール選択ステップ（ステップＳＡ１６）で選択された画像処理ツールのパラメータを調整する。これがパラメータ調整ステップである。その後、ステップＳＡ１３に進み、出力関連の設定を行う。以上のようにして、学習検査モードの設定と、標準検査モードの設定を行うことができる。
【0104】
（良否判定部３１の構成）
次に運転モードに関連する部分について説明する。図３に示す良否判定部３１は、運転モード時に、検査種別選択部２８により標準検査モードが選択されている場合は、撮像ユニット３により新たに撮像された画像に標準検査用ウィンドウを設定して当該標準検査用ウィンドウ内の画像に画像処理ツール選択部２５で選択された画像処理ツールを適用することにより検査対象物Ｗの良否判定を行い、検査種別選択部２８により学習検査モードが選択されている場合は、撮像ユニット３により新たに撮像された画像を識別器に入力することにより、検査対象物Ｗの良否判定を行うように構成されている。学習検査モードが選択されている場合には、学習検査用ウィンドウを設定して差分検出の範囲を規定するようにしてもよい。
次に運転モードに関連する部分について説明する。図３に示す良否判定部３１は、運転モード時に、検査種別選択部２８により標準検査モードが選択されている場合は、撮像ユニット３により新たに撮像された画像に標準検査用ウィンドウを設定して当該標準検査用ウィンドウ内の画像に画像処理ツール選択部２５で選択された画像処理ツールを適用することにより検査対象物Ｗの良否判定を行い、検査種別選択部２８により学習検査モードが選択されている場合は、撮像ユニット３により新たに撮像された画像を識別器に入力することにより、検査対象物Ｗの良否判定を行うように構成されている。学習検査モードが選択されている場合には、学習検査用ウィンドウを設定して差分検出の範囲を規定するようにしてもよい。
【0105】
良否判定部３１は、図１７に示すように学習検査用ウィンドウが複数設定されている場合には、学習検査用ウィンドウ毎に良否判定を行うように構成されている。すなわち、学習検査用ウィンドウ２００Ａ内の画像が良品画像であるか不良品画像であるかを判定するとともに、学習検査用ウィンドウ２００Ｂ内の画像が良品画像であるか不良品画像であるかを判定し、個別に判定結果を出力する。良否判定部３１は、複数の判定結果を考慮して総合判定結果を出力する。複数の判定結果が同じであれば、その結果を総合判定結果とし、相互に異なっていれば、総合判定結果を不良品画像であるとすることができる。
【0106】
良否判定部３１は、図１７に示す運転モードユーザーインターフェース１２０を生成して表示装置４に表示させる。運転モードユーザーインターフェース１２０は、運転モード画面を構成するものである。運転モードユーザーインターフェース１２０には、検査対象画像を表示する画像表示領域１２０ａと、総合判定結果表示領域１２０ｂと、位置補正結果表示領域１２０ｃと、第１検査ウィンドウ結果表示領域１２０ｄと、第２検査ウィンドウ結果表示領域１２０ｅと、追加学習ボタン１２０ｆと、閾値調整ボタン１２０ｇとが設けられている。
【0107】
画像表示領域１２０ａには、運転モード中に撮像ユニット３により新たに撮像された検査対象画像が表示される。総合判定結果表示領域１２０ｂには、画像表示領域１２０ａに表示されている検査対象画像が良品画像であるか不良品画像であるかが表示される。具体的には、良品画像である場合には「ＯＫ」と表示され、不良品画像である場合には「ＮＧ」と表示されるようになっているが、これに限らず、良品画像であるか不良品画像であるかを使用者が判別できれば、どのような表示形態であってもよい。画像表示領域１２０ａと、総合判定結果表示領域１２０ｂとを同一の運転モードユーザーインターフェース１２０に設けているので、運転モードにおいて、検査対象画像を良否判定結果とともに表示装置４に表示することができる。
【0108】
位置補正結果表示領域１２０ｃには、検査対象画像に含まれる検査対象物Ｗを位置補正した結果が表示される。位置補正が良好に行われているか、位置補正に失敗したかが総合判定結果とは別に位置補正結果表示領域１２０ｃに表示される。第１検査ウィンドウ結果表示領域１２０ｄには、学習検査用ウィンドウ２００Ａ内の画像の良否判定結果が表示され、また、第２検査ウィンドウ結果表示領域１２０ｅには、学習検査用ウィンドウ２００Ｂ内の画像の良否判定結果が表示される。また、閾値調整ボタン１２０ｇは、良否判定の閾値を調整するためのボタンであり、良否判定部３１は、閾値が調整された場合、その閾値に基づいて良否判定を行う。
【0109】
追加学習ボタン１２０ｆは、画像表示領域１２０ａに表示されている検査対象画像を、後述するように追加で学習する場合に操作されるボタンである。
【0110】
また、良否判定部３１は、標準検査モードの運転モード時には、画像処理ツールを使用して検査対象物Ｗの良否判定を行う。例えば、画像内の検査対象物Ｗの色、エッジ、位置等と、使用者により設定された閾値とを比較して検査対象物Ｗの良否の判定を行うことができる。良否判定結果は、学習検査モードの場合と同様にユーザーインターフェースに表示させることができる。
【0111】
（追加学習画像指定部３２の構成）
図３に示す追加学習画像指定部３２は、学習検査モード時の運転モード画面に表示された検査対象画像を良品画像又は不良品画像として追加学習させるか否かの指定を受け付ける部分である。追加学習画像指定部３２は、図１７に示す運転モードユーザーインターフェース１２０の追加学習ボタン１２０ｆが押されたことを検出すると、図１８に示す割り込み画面１２１を生成し、運転モードユーザーインターフェース１２０の所定位置に表示する。追加学習ボタン１２０ｆが押されたということは、検査対象画像を良品画像又は不良品画像として追加学習させる指定操作が行われたということである。この指定操作が受け付けられると、良否判定部３１は、良否判定処理、即ち運転モードを一時的に停止するように構成されている。
図３に示す追加学習画像指定部３２は、学習検査モード時の運転モード画面に表示された検査対象画像を良品画像又は不良品画像として追加学習させるか否かの指定を受け付ける部分である。追加学習画像指定部３２は、図１７に示す運転モードユーザーインターフェース１２０の追加学習ボタン１２０ｆが押されたことを検出すると、図１８に示す割り込み画面１２１を生成し、運転モードユーザーインターフェース１２０の所定位置に表示する。追加学習ボタン１２０ｆが押されたということは、検査対象画像を良品画像又は不良品画像として追加学習させる指定操作が行われたということである。この指定操作が受け付けられると、良否判定部３１は、良否判定処理、即ち運転モードを一時的に停止するように構成されている。
【0112】
割り込み画面１２１には、追加学習の対象となる画像を表示する画像表示領域１２１ａと、メッセージ表示領域１２１ｂと、キャンセルボタン１２１ｃと、ＯＫボタン１２１ｄとが設けられている。画像表示領域１２１ａに表示される画像は、図１７に示す運転モードユーザーインターフェース１２０の画像表示領域１２０ａに表示されている現在の検査対象画像である。メッセージ表示領域１２１ｂには、運転モードを一時的に停止することを使用者に報知するためのメッセージが表示される。つまり、追加学習画像の指定を受け付けると、表示装置４は、運転モードを一時的に停止することを使用者に報知可能に構成されている。上記報知の形態はメッセージに限られるものではなく、他の形態であってもよい。
【0113】
キャンセルボタン１２１ｃは、追加学習をキャンセルするためのボタンである。追加学習画像指定部３２は、キャンセルボタン１２１ｃが押されたことを検出すると、画像表示領域１２１ａに表示されている画像の学習を行うことなく、割り込み画面１２１を消去して図１７に示す運転モードユーザーインターフェース１２０を表示装置４に表示させる。
【0114】
ＯＫボタン１２１ｄは、追加学習を実行させるためのボタンである。追加学習画像指定部３２は、ＯＫボタン１２１ｄが押されたことを検出すると、画像表示領域１２１ａに表示されている画像を識別器生成部３０に学習するように指示する。
【0115】
（追加学習処理）
図３に示す識別器生成部３０は、追加学習画像指定部３２により追加学習対象として指定された検査対象画像を良品画像又は不良品画像として追加学習し、識別器を更新するように構成されている。識別器生成部３０は、追加学習画像指定部３２により追加学習対象の画像が指定されたことを検出すると、図１９に示す追加学習ユーザーインターフェース１２２を生成し、表示装置４に表示させる。追加学習ユーザーインターフェース１２２には、追加学習対象として指定された検査対象画像を表示する画像表示領域１２２ａと、第１検査ウィンドウ学習指示領域１２２ｂと、第２検査ウィンドウ学習指示領域１２２ｃと、キャンセルボタン１２２ｄと、追加学習開始ボタン１２２ｅとが設けられている。第１検査ウィンドウ学習指示領域１２２ｂは、学習検査用ウィンドウ２００Ａで規定された範囲の画像を良品画像と不良品画像のどちらで追加学習させるかを入力するための領域であり、「ＮＧ」を選択すると、学習検査用ウィンドウ２００Ａで規定された範囲の画像を不良品画像として学習させ、「ＯＫ」を選択すると、学習検査用ウィンドウ２００Ａで規定された範囲の画像を良品画像として学習させる。また、第２検査ウィンドウ学習指示領域１２２ｃは、学習検査用ウィンドウ２００Ｂで規定された範囲の画像を良品画像と不良品画像のどちらで追加学習させるかを入力するための領域であり、「ＮＧ」を選択すると、学習検査用ウィンドウ２００Ｂで規定された範囲の画像を不良品画像として学習させ、「ＯＫ」を選択すると、学習検査用ウィンドウ２００Ｂで規定された範囲の画像を良品画像として学習させる。このように、学習検査用ウィンドウ２００Ａで規定された範囲の画像と、学習検査用ウィンドウ２００Ｂで規定された範囲の画像とを個別に学習させることができるようになっている。尚、学習検査用ウィンドウ２００Ａで規定された範囲の画像と、学習検査用ウィンドウ２００Ｂで規定された範囲の画像の中から、一方のみを学習するような指示を受け付けるように構成することもできる。
図３に示す識別器生成部３０は、追加学習画像指定部３２により追加学習対象として指定された検査対象画像を良品画像又は不良品画像として追加学習し、識別器を更新するように構成されている。識別器生成部３０は、追加学習画像指定部３２により追加学習対象の画像が指定されたことを検出すると、図１９に示す追加学習ユーザーインターフェース１２２を生成し、表示装置４に表示させる。追加学習ユーザーインターフェース１２２には、追加学習対象として指定された検査対象画像を表示する画像表示領域１２２ａと、第１検査ウィンドウ学習指示領域１２２ｂと、第２検査ウィンドウ学習指示領域１２２ｃと、キャンセルボタン１２２ｄと、追加学習開始ボタン１２２ｅとが設けられている。第１検査ウィンドウ学習指示領域１２２ｂは、学習検査用ウィンドウ２００Ａで規定された範囲の画像を良品画像と不良品画像のどちらで追加学習させるかを入力するための領域であり、「ＮＧ」を選択すると、学習検査用ウィンドウ２００Ａで規定された範囲の画像を不良品画像として学習させ、「ＯＫ」を選択すると、学習検査用ウィンドウ２００Ａで規定された範囲の画像を良品画像として学習させる。また、第２検査ウィンドウ学習指示領域１２２ｃは、学習検査用ウィンドウ２００Ｂで規定された範囲の画像を良品画像と不良品画像のどちらで追加学習させるかを入力するための領域であり、「ＮＧ」を選択すると、学習検査用ウィンドウ２００Ｂで規定された範囲の画像を不良品画像として学習させ、「ＯＫ」を選択すると、学習検査用ウィンドウ２００Ｂで規定された範囲の画像を良品画像として学習させる。このように、学習検査用ウィンドウ２００Ａで規定された範囲の画像と、学習検査用ウィンドウ２００Ｂで規定された範囲の画像とを個別に学習させることができるようになっている。尚、学習検査用ウィンドウ２００Ａで規定された範囲の画像と、学習検査用ウィンドウ２００Ｂで規定された範囲の画像の中から、一方のみを学習するような指示を受け付けるように構成することもできる。
【0116】
識別器生成部３０は、キャンセルボタン１２２ｄが押されたことを検出すると、追加学習を行うことなく、図１９に示す追加学習ユーザーインターフェース１２２を消去して、図１７に示す運転モードユーザーインターフェース１２０に戻るので、識別器は更新されない。一方、識別器生成部３０は、追加学習開始ボタン１２２ｅが押されたこと（追加学習の開始操作）を検出すると、追加学習を開始し、識別器が更新される。追加学習を行うことで、例えば図３５に示す特徴量空間における識別境界が更新されることになる。
【0117】
（履歴画像の記憶）
図２に示す記憶装置１９には、図３に示す良否判定部３１により良否判定を行った複数の検査対象画像を良否判定結果とともに履歴画像として記憶するように構成されている。良否判定部３１により良否判定を行った検査対象画像は、運転画像履歴フォルダに保存される。例えば、図１７に示す運転モードユーザーインターフェース１２０の画像表示領域１２０ａに表示されている検査対象画像と、総合判定結果表示領域１２０ｂに表示されている総合判定結果とを共通のＩＤ番号等に関連付けた状態で記憶装置１９に記憶することができる。このとき、画像表示領域１２０ａに表示されている検査対象画像と、位置補正結果表示領域１２０ｃに表示されている結果と、第１検査ウィンドウ結果表示領域１２０ｄに表示されている結果と、第２検査ウィンドウ結果表示領域１２０ｅに表示されている結果とを関連付けた状態で記憶装置１９に記憶してもよい。
図２に示す記憶装置１９には、図３に示す良否判定部３１により良否判定を行った複数の検査対象画像を良否判定結果とともに履歴画像として記憶するように構成されている。良否判定部３１により良否判定を行った検査対象画像は、運転画像履歴フォルダに保存される。例えば、図１７に示す運転モードユーザーインターフェース１２０の画像表示領域１２０ａに表示されている検査対象画像と、総合判定結果表示領域１２０ｂに表示されている総合判定結果とを共通のＩＤ番号等に関連付けた状態で記憶装置１９に記憶することができる。このとき、画像表示領域１２０ａに表示されている検査対象画像と、位置補正結果表示領域１２０ｃに表示されている結果と、第１検査ウィンドウ結果表示領域１２０ｄに表示されている結果と、第２検査ウィンドウ結果表示領域１２０ｅに表示されている結果とを関連付けた状態で記憶装置１９に記憶してもよい。
【0118】
また、記憶装置１９には、学習画像履歴フォルダを設けることができる。学習画像履歴フォルダには、識別器生成部３０が学習に使用した良品画像及び不良品画像が記憶されている。
【0119】
図２０に示すように、運転モードユーザーインターフェース１２０の下部には、メニューを表示することができるようになっている。運転モードユーザーインターフェース１２０のメニューには、運転／学習画像履歴ボタン１２０ｈが設けられている。制御ユニット２は、運転／学習画像履歴ボタン１２０ｈが押されたことを検出すると、図２１に示すように、履歴種別選択用割り込み画面１２３を生成し、運転モードユーザーインターフェース１２０の所定位置に表示する。履歴種別選択用割り込み画面１２３には、運転画像履歴ボタン１２３ａと、学習画像履歴ボタン１２３ｂと、キャンセルボタン１２３ｃとが設けられている。運転画像履歴ボタン１２３ａは、記憶装置１９の運転画像履歴フォルダに保存されている良否判定後の検査対象画像を表示させる際に操作されるボタンである。制御ユニット２は、運転画像履歴ボタン１２３ａが押されたことを検出すると、図２２に示す運転画像履歴表示ユーザーインターフェース１２４を生成して表示装置４に表示させる。
【0120】
運転画像履歴表示ユーザーインターフェース１２４には、良否判定がされた複数の検査対象画像を一覧形式で表示する画像表示領域１２４ａと、追加学習指定ボタン１２４ｂと、戻るボタン１２４ｃと、画像詳細ボタン１２４ｄと、学習候補画像ボタン１２４ｅとが設けられている。画像表示領域１２４ａには、検査対象画像と良否判定結果とが関連付けられた状態で表示される。画像表示領域１２４ａに表示された画像を、例えば使用者による選択操作によって選択することができるようになっている。制御ユニット２は、画像表示領域１２４ａに表示された画像のいずれかが選択された状態で、画像詳細ボタン１２４ｄが押されたことを検出すると、図２３に示す選択画像表示ユーザーインターフェース１２５を生成して表示装置４に表示させる。選択画像表示ユーザーインターフェース１２５には、運転画像履歴表示ユーザーインターフェース１２４で選択した画像を表示する画像表示領域１２５ａと、位置補正結果表示領域１２５ｃと、第１検査ウィンドウ結果表示領域１２５ｄと、第２検査ウィンドウ結果表示領域１２５ｅと、追加学習実行ボタン１２５ｆと、戻るボタン１２５ｇとが設けられている。制御ユニット２は、追加学習実行ボタン１２５ｆが押されたことを検出すると、画像表示領域１２５ａに表示されている画像を識別器生成部３０に追加学習するように指示する。制御ユニット２は、戻るボタン１２５ｇが押されたことを検出すると、図２２に示す運転画像履歴表示ユーザーインターフェース１２４を表示装置４に表示させる。これを繰り返すことで、複数の履歴画像を識別器生成部３０に追加学習させることができる。
【0121】
制御ユニット２は、追加学習指定ボタン１２４ｂが押されたことを検出すると、図２４に示す追加学習ユーザーインターフェース１２２を生成し、表示装置４に表示させる。図２４に示す追加学習ユーザーインターフェース１２２は、図１９に示すものと比べて追加学習画像が異なっている。
【0122】
制御ユニット２は、図２２に示す運転画像履歴表示ユーザーインターフェース１２４の戻るボタン１２４ｃが押されたことを検出すると、図２１に示す運転モードユーザーインターフェース１２０を表示装置４に表示させる。履歴種別選択用割り込み画面１２３の学習画像履歴ボタン１２３ｂは、記憶装置１９の学習画像履歴フォルダに保存されている学習に用いられた画像を表示させる際に操作されるボタンである。制御ユニット２は、履歴種別選択用割り込み画面１２３の学習画像履歴ボタン１２３ｂが押されたことを検出すると、図２４に示す学習画像履歴表示ユーザーインターフェース１２６を生成して表示装置４に表示させる。学習画像履歴表示ユーザーインターフェース１２６には、学習に用いられた画像を一覧形式で表示する画像表示領域１２６ａと、削除ボタン１２６ｂと、戻るボタン１２６ｃとが設けられている。画像表示領域１２６ａに表示された画像を、例えば使用者による選択操作によって選択することができるようになっている。制御ユニット２は、画像表示領域１２６ａに表示された画像のいずれかが選択された状態で、削除ボタン１２６ｂが押されたことを検出すると、選択された画像を削除する。制御ユニット２は、学習画像が削除されたことを検出すると、当該画像が学習結果に反映されないように、識別器生成部３０に識別器を更新させる。制御ユニット２は、戻るボタン１２６ｃが押されたことを検出すると、図２１に示す運転モードユーザーインターフェース１２０を表示装置４に表示させる。
【0123】
（安定性評価値算出部３３の構成）
図３に示す安定性評価値算出部３３は、記憶装置１９に記憶された複数の履歴画像の良否判定の安定性を示す安定性評価値を算出する部分である。安定性評価値算出部３３は、良品らしさ又は不良品らしさを示す判定値と、良品と不良品を識別する閾値との近接度を算出し、当該近接度を安定性評価値とするように構成することができる。安定性評価値は、使用者が把握できるような形態、例えば数値等で表示装置４に表示させてもよいし、表示することなく、画像検査装置１に内部的に持たせておいてもよい。
図３に示す安定性評価値算出部３３は、記憶装置１９に記憶された複数の履歴画像の良否判定の安定性を示す安定性評価値を算出する部分である。安定性評価値算出部３３は、良品らしさ又は不良品らしさを示す判定値と、良品と不良品を識別する閾値との近接度を算出し、当該近接度を安定性評価値とするように構成することができる。安定性評価値は、使用者が把握できるような形態、例えば数値等で表示装置４に表示させてもよいし、表示することなく、画像検査装置１に内部的に持たせておいてもよい。
【0124】
安定性評価値は、履歴画像の良否判定の安定性を示すものであることから、既に生成されている識別器による良否判定の安定性が高いか低いかを把握可能な値である。良否判定の安定性が高い場合には、その履歴画像は既に生成されている識別器によって安定的に識別できているので、追加学習の必要性が低い画像であると判断される。一方、良否判定の安定性が低い場合には、その履歴画像は既に生成されている識別器では識別が不安定であるので、識別器を更新するべく、追加学習の必要性が高い画像であると判断される。
【0125】
（追加学習候補の提示）
表示装置４は、安定性評価値算出部３３が算出した安定性評価値に基づいて、識別器に追加学習させる候補画像を使用者に提示することが可能に構成されている。すなわち、制御ユニット２は、図２２に示す運転画像履歴表示ユーザーインターフェース１２４の学習候補画像ボタン１２４ｅが押されたことを検出すると、図２６に示すように、候補画像を使用者に提示する割り込み画面１２７を生成し、運転画像履歴表示ユーザーインターフェース１２４の所定位置に表示する。割り込み画面１２７には、候補画像を表示する画像表示領域１２７ａと、キャンセルボタン１２７ｂと、ＯＫボタン１２７ｃとが設けられている。画像表示領域１２７ａに表示される画像は、安定性評価値に基づいて、既に生成されている識別器では識別が不安定であると判定される画像である。具体的には、良品らしさ又は不良品らしさを示す判定値と、良品と不良品を識別する閾値との近接度が高い画像とすることができ、この近接度が所定以上の履歴画像を候補画像として表示装置４によって使用者に提示することができる。
表示装置４は、安定性評価値算出部３３が算出した安定性評価値に基づいて、識別器に追加学習させる候補画像を使用者に提示することが可能に構成されている。すなわち、制御ユニット２は、図２２に示す運転画像履歴表示ユーザーインターフェース１２４の学習候補画像ボタン１２４ｅが押されたことを検出すると、図２６に示すように、候補画像を使用者に提示する割り込み画面１２７を生成し、運転画像履歴表示ユーザーインターフェース１２４の所定位置に表示する。割り込み画面１２７には、候補画像を表示する画像表示領域１２７ａと、キャンセルボタン１２７ｂと、ＯＫボタン１２７ｃとが設けられている。画像表示領域１２７ａに表示される画像は、安定性評価値に基づいて、既に生成されている識別器では識別が不安定であると判定される画像である。具体的には、良品らしさ又は不良品らしさを示す判定値と、良品と不良品を識別する閾値との近接度が高い画像とすることができ、この近接度が所定以上の履歴画像を候補画像として表示装置４によって使用者に提示することができる。
【0126】
画像表示領域１２７ａには、既に生成されている識別器での識別が最も不安定な画像を表示することができるが、これに限らず、既に生成されている識別器での識別が最も不安定な画像、その次に不安定な画像を含む複数の候補画像を表示することもできる。
【0127】
また、表示装置４は、安定性評価値が第１の所定値未満の履歴画像を候補画像として使用者に提示するように構成されていてもよい。識別が安定している画像を候補画像としても識別器を更新させることができず、追加学習を行う意味が無いので、上記第１の所定値は、識別器生成部３０に追加学習させることで識別器を更新させることができる程度の値とすることができる。
【0128】
表示装置４は、複数の候補画像を使用者に一度に提示するような表示形態で表示することもできる。この場合、安定性評価値の高い順または低い順に候補画像を並べて提示するように構成することができる。具体的な手順については後述する。
【0129】
複数の候補画像が表示装置４により提示された場合、使用者は、図３に示す追加学習画像指定部３２によって追加学習画像としての指定を受け付けることができる。使用者が、複数の候補画像の中から１つの候補画像を選択すると、追加学習画像指定部３２は、指定された候補画像を追加学習画像として受け付けるとともに、良品画像又は不良品画像の指定も受け付けた後、当該候補画像を識別器生成部３０に追加学習させる。識別器生成部３０は、使用者により指定された追加学習画像を、良品画像又は不良品画像として追加学習し、識別器を更新するように構成されている。
【0130】
表示装置４は、複数の履歴画像を時系列で表示する第１表示形態と、識別器に追加学習させる候補画像を使用者に提示する第２表示形態とに切り替え可能に構成されている。上記第１表示形態は、図２２に示す運転画像履歴表示ユーザーインターフェース１２４の画像表示領域１２４ａにおいて実現される。画像表示領域１２４ａには、撮像した順、即ち良否判定がされた順に検査対象画像を表示することができる。また、上記第２表示形態は、図２６に示す割り込み画面１２７で実現される。
【0131】
（標準検査モード運転時）
次に、標準検査モードの運転モード時の手順について図２７に示すフローチャートに基づいて説明する。スタート後のステップＳＢ１では検査対象画像を入力する。この検査対象画像は、撮像ユニット３によって所定のタイミングで撮像された画像であり、撮像ユニット３から良否判定部３１に入力される。
次に、標準検査モードの運転モード時の手順について図２７に示すフローチャートに基づいて説明する。スタート後のステップＳＢ１では検査対象画像を入力する。この検査対象画像は、撮像ユニット３によって所定のタイミングで撮像された画像であり、撮像ユニット３から良否判定部３１に入力される。
【0132】
ステップＳＢ２は、ステップＳＢ１で撮像ユニット３により新たに撮像された検査対象画像を識別器に入力し、良否判定を行う良否判定ステップである。ステップＳＢ２による判定結果に基づいて判定の閾値の調整が必要か否かを使用者が判定する。これがステップＳＢ３であり、閾値の調整が必要であればステップＳＢ４に進んで閾値を調整した後、ステップＳＢ５に進む一方、閾値の調整が不要であればステップＳＢ５に進む。ステップＳＢ５では、判定が終わった検査対象画像と判定結果とを関連付けて記憶装置１９に記憶する。
【0133】
（判定軸抽出部３４の構成）
次に、図３に示す判定軸抽出部３４について説明する。判定軸抽出部３４は、学習画像登録部２４により登録された良品画像及び不良品画像に基づいて、良品らしさまたは不良品らしさを示す判定軸を抽出する部分である。判定軸には、良品画像における良品らしさを示す第１の判定軸と、不良品画像における不良品らしさを示す第２の判定軸とが含まれているが、いずれか一方のみを抽出するようにしてもよい。判定軸の具体例としては、例えば色、明るさ、面積等を挙げることができるが、これら以外が判定軸であってもよい。
次に、図３に示す判定軸抽出部３４について説明する。判定軸抽出部３４は、学習画像登録部２４により登録された良品画像及び不良品画像に基づいて、良品らしさまたは不良品らしさを示す判定軸を抽出する部分である。判定軸には、良品画像における良品らしさを示す第１の判定軸と、不良品画像における不良品らしさを示す第２の判定軸とが含まれているが、いずれか一方のみを抽出するようにしてもよい。判定軸の具体例としては、例えば色、明るさ、面積等を挙げることができるが、これら以外が判定軸であってもよい。
【0134】
ある判定軸で対象画像を測定して、予め設定された基準値と測定結果とを比較して対象画像の識別を行うことができる。例えば、色で判定する場合は判定軸として設定された色を表示装置４に表示するようにし、また、面積で判定する場合は判定軸として面積の算出に用いられた画素を表示装置４に表示する。これにより、学習検査モード時に画像検査装置１がどのような判定軸でもって画像識別を行っているのかを使用者が把握できる。
【0135】
判定軸抽出部３４は、識別器生成部３０が追加学習等によって識別器を更新した場合に、判定軸を抽出し直すように構成されている。すなわち、識別器が更新されると、良品らしさまたは不良品らしさを示す判定軸が変更される場合があり、判定軸抽出部３４は識別器生成部３０が識別器を更新したことを検出すると、判定軸を抽出する処理を行う。これにより、更新後の識別器と判定軸とを対応させることができる。
【0136】
制御ユニット２は、判定軸抽出部３４で抽出した判定軸に基づいて良品らしさまたは不良品らしさを示す判定評価値を算出するように構成されている。例えば、良品の判定軸として設定された色に近いほど判定評価値が高くなるように判定評価値を算出し、一方、良品の判定軸として設定された色との相違が大きいほど判定評価値が低くなるように判定評価値を算出することができる。判定評価値には、第１の判定軸に基づいて算出された良品らしさを示す第１判定評価値と、第２の判定軸に基づいて算出された不良品らしさを示す第２判定評価値とが含まれているが、いずれか一方のみを算出するようにしてもよい。
【0137】
制御ユニット２は、算出された判定評価値により、良品としての特徴または不良品としての特徴を有する領域を選択的に強調した検査対象画像を生成し、表示装置４に表示させるように構成されている。第１判定評価値及び第２判定評価値を算出した場合、第１判定評価値と第２判定評価値とにより、良品としての特徴を有する領域を選択的に強調した検査対象画像と、不良品としての特徴を有する領域を選択的に強調した検査対象画像とを表示装置４に表示可能に構成することができる。
【0138】
また、第１判定評価値及び第２判定評価値を算出した場合、制御ユニット２は、第１判定評価値と第２判定評価値とを比較して、検査対象画像が良品としての特徴を多く有する場合は、良品としての特徴を有する領域を選択的に強調した検査対象画像を表示し、検査対象画像が不良品としての特徴を多く有する場合は、不良品としての特徴を有する領域を選択的に強調した検査対象画像を生成して表示装置４に表示させる。
【0139】
ここで「強調」とは、画像の一部を他の部分と区別することができるようにすることであり、例えば、良品としての特徴または不良品としての特徴を有する特定の領域のみ着色することによって強調することができ、特定の領域のみ着色した画像を表示装置４に表示させることができる。特に、判定軸抽出部３４が色を判定軸として抽出した場合、不良品としての特徴を有する領域を当該不良品の色で着色することによって強調するように構成することや、良品としての特徴を有する領域を当該良品の色で着色することによって強調するように構成することができる。また、不良品としての特徴を有する領域に着色する色と、良品としての特徴を有する領域に着色する色とは変えることができる。さらに、良品としての特徴または不良品としての特徴を有する領域の色を、判定評価値の大きさに応じて変化させることができる。判定評価値が大きければ大きいほど色を濃くする、または判定評価値が小さければ小さいほど色を薄くすることができる。
【0140】
以下、表示例について説明する。図２８は、良品らしい部分と不良品らしい部分とが含まれている検査対象画像の例を示す図であり、（Ａ）は良品画像である確率が高い場合、（Ｂ）は良品画像の確率が半分程度の場合、（Ｃ）は不良品画像である確率が高い場合である。各図において符号４００が付された灰色の部分が良品らしいと判定される部分であり、符号４０１が付された黒色の部分が不良品らしいと判定される部分である。
【0141】
（Ａ）～（Ｃ）の上側に位置する図は検査対象画像であり、下側に位置する図は、良品としての特徴を有する領域または不良品としての特徴を有する領域を選択的に強調した検査対象画像である。判定軸は色である。（Ａ）の場合、枠（検査用ウィンドウ）４０２によって囲まれた領域が灰色の部分４００であることから、良品らしいと判定される部分である。このため、良品画像の確率が９０％以上の高い確率となっている。枠４０２によって囲まれた領域は、良品の色（灰色）で着色されており、強調表示されている。良品画像の確率は、良否判定部３１で算出することができる。
【0142】
（Ｂ）の場合、枠４０３によって囲まれた領域が灰色の部分４００と黒色の部分４０１とを含んでおり、灰色の部分４００の面積と、黒色の部分４０１の面積とが同程度であることから、良品らしいと判定することも、不良らしいと判定することも難しい。このため、良品画像の確率が５割に近い確率となっている。この場合、枠４０３によって囲まれた領域は、着色されていない。つまり、強調表示されていない。
【0143】
（Ｃ）の場合、枠４０４によって囲まれた領域が黒色の部分４０１であることから、不良品らしいと判定される部分である。このため、良品画像の確率が数％程度の低い確率となっている。枠４０３によって囲まれた領域は、不良品の色（黒）で着色されており、強調表示されている。
【0144】
図２９は、文字を含む検査対象画像の例を示しており、（Ａ）は良品画像、（Ｂ）は領域が選択的に強調された検査対象画像である。（Ｂ）に示すように、良品画像と同じ文字が検査対象画像にも存在する場合、その文字が記載された領域については良品らしいと判定することができる。枠４０５は、文字が記載された領域を囲むものであり、枠４０５によって囲まれた領域は強調するために着色されている。
【0145】
図３０は、検査対象物Ｗの別の例を示しており、（Ａ）は良品画像、（Ｂ）は不良品画像、（Ｃ）は運転モード時に良品が撮像された場合の検査対象画像、（Ｄ）は運転モード時に不良品が撮像された場合の検査対象画像を示す図である。（Ａ）の良品画像には、白丸と文字が含まれているが、（Ｂ）の不良品画像には、白丸と文字が無い。この場合、良品らしさの判定軸は、「白丸がある」、「文字がある」となり、不良品らしさの判定軸は、「白丸がない」、「文字がない」となる。（Ｃ）に示すように、運転モード時に良品が撮像された場合、良品を囲む枠４０６の内部が、当該領域を強調するために濃く着色されている。一方、（Ｄ）に示すように、運転モード時に不良品が撮像された場合、不良品を囲む枠４０７の内部が、当該領域を強調するために白く着色されている。
【0146】
図３１は、図３０に示すケースにおいて追加学習した場合の図であり、（Ａ）は追加学習に使用する不良品画像を示し、（Ｂ）は追加学習後の運転モード時に不良品が撮像された場合の検査対象画像を示している。（Ａ）に示すように、追加学習に使用する不良品画像では、検査対象物Ｗの右側に白丸がある。つまり、不良品らしさの判定軸は「右側の白丸がある」となる。（Ｂ）に示すように、運転モード時に不良品が撮像された場合、不良品を囲む枠４０８の内部が、当該領域を強調するために白く着色されている。尚、強調領域を着色する色は特に限定されるものではない。
【0147】
（学習検査モードの運転時）
次に、学習検査モードの運転モード時の手順について図３２に示すフローチャートに基づいて説明する。スタート後のステップＳＣ１では検査対象画像を入力する。この検査対象画像は、撮像ユニット３によって所定のタイミングで撮像された画像であり、撮像ユニット３から良否判定部３１に入力される。
次に、学習検査モードの運転モード時の手順について図３２に示すフローチャートに基づいて説明する。スタート後のステップＳＣ１では検査対象画像を入力する。この検査対象画像は、撮像ユニット３によって所定のタイミングで撮像された画像であり、撮像ユニット３から良否判定部３１に入力される。
【0148】
ステップＳＣ２は、ステップＳＣ１で撮像ユニット３により新たに撮像された検査対象画像を識別器に入力し、良否判定を行う良否判定ステップである。このステップでは、判定軸抽出部３４により、良品らしさまたは不良品らしさを示す判定軸を抽出する。続くステップＳＣ３は、良否判定ステップで良否判定された検査対象画像を、良否判定ステップによる良否判定結果とともに、図１７に示す運転モードユーザーインターフェース１２０に表示する表示ステップである。
【0149】
ステップＳＣ４では、運転モードユーザーインターフェース１２０に表示された画像を追加学習すると指定されたか否かを判定する。ステップＳＣ４は、表示ステップで運転モードユーザーインターフェース１２０に表示された検査対象画像を良品画像又は不良品画像として追加学習させるか否かの指定を受け付ける追加学習設定ステップである。
【0150】
追加学習が指定されればステップＳＣ５に進んで当該画像により追加学習を行う。つまり、ステップＳＣ５は、追加学習設定ステップ（ステップＳＣ４）により追加学習対象として指定された検査対象画像を良品画像又は不良品画像として追加学習し、識別器を更新するステップである。その後、ステップＳＣ６において、画像を履歴画像として良否判定結果とともに記憶装置１９に記憶させる。一方、ステップＳＣ４で追加学習が指定されなければ、追加学習を行うことなくステップＳＣ６に進む。ステップＳＣ６は、記憶ステップである。
【0151】
（学習候補画像の提示手順）
図３３は、学習候補画像を提示する場合のフローチャートである。スタート後のステップＳＤ１は、安定性評価値算出ステップである。具体的には、図３２に示すフローチャートのステップＳＣ２（良否判定ステップ）で良否判定を行った検査対象画像の良品らしさ又は不良品らしさを示す判定値と、良品と不良品を識別する閾値との近接度を算出する。そして、当該近接度を、当該検査対象画像の良否判定の安定性を示す安定性評価値とする。また、安定性評価値算出ステップでは、図３２に示すフローチャートのステップＳＣ６（記憶ステップ）で記憶された複数の履歴画像の良否判定の安定性を示す安定性評価値を算出することもできる。
図３３は、学習候補画像を提示する場合のフローチャートである。スタート後のステップＳＤ１は、安定性評価値算出ステップである。具体的には、図３２に示すフローチャートのステップＳＣ２（良否判定ステップ）で良否判定を行った検査対象画像の良品らしさ又は不良品らしさを示す判定値と、良品と不良品を識別する閾値との近接度を算出する。そして、当該近接度を、当該検査対象画像の良否判定の安定性を示す安定性評価値とする。また、安定性評価値算出ステップでは、図３２に示すフローチャートのステップＳＣ６（記憶ステップ）で記憶された複数の履歴画像の良否判定の安定性を示す安定性評価値を算出することもできる。
【0152】
ステップＳＤ２では、ステップＳＤ１で算出した安定性評価値に基づいて、識別器に追加学習させる候補画像を使用者に提示する。これが表示ステップである。例えば図２６に示す運転画像履歴表示ユーザーインターフェース１２４を表示装置４に表示させる。
【0153】
ステップＳＤ３では、候補画像を追加学習させると指定されたか否かを判定する。ステップＳＤ３は、表示ステップで運転画像履歴表示ユーザーインターフェース１２４に表示された検査対象画像を良品画像又は不良品画像として追加学習させるか否かの指定を受け付ける追加学習設定ステップである。
【0154】
追加学習が指定されればステップＳＤ４に進んで当該候補画像により追加学習を行う。つまり、ステップＳＤ４は、追加学習設定ステップ（ステップＳＤ３）により追加学習対象として指定された追加学習画像を良品画像又は不良品画像として追加学習し、識別器を更新するステップである。一方、ステップＳＤ３で追加学習が指定されなければ、追加学習は行わない。
【0155】
（履歴画像のソート）
追加学習候補として使用者に提示する履歴画像をソートすることができる。スタート後のステップＳＥ１では、安定性評価値算出部３３が、履歴画像毎に、良品らしさ又は不良品らしさを示す判定値と、良品と不良品を識別する閾値との差分を計算する。これにより、判定値と閾値との近接度を得ることができる。記憶装置１９が記憶している全ての履歴画像について差分計算を行ってもよいし、直近の複数の履歴画像のみについて差分計算を行ってもよい。
追加学習候補として使用者に提示する履歴画像をソートすることができる。スタート後のステップＳＥ１では、安定性評価値算出部３３が、履歴画像毎に、良品らしさ又は不良品らしさを示す判定値と、良品と不良品を識別する閾値との差分を計算する。これにより、判定値と閾値との近接度を得ることができる。記憶装置１９が記憶している全ての履歴画像について差分計算を行ってもよいし、直近の複数の履歴画像のみについて差分計算を行ってもよい。
【0156】
ステップＳＥ２では、制御ユニット２が、ステップＳＥ１で計算した差分の小さい順に履歴画像をソートする。このとき、差分計算した全ての履歴画像をソートしてもよいし、差分が所定未満の複数の履歴画像のみソートしてもよい。
【0157】
ステップＳＥ３では、制御ユニット２がステップＳＥ２のソート結果を表示装置４に表示させる。制御ユニット２が、複数の履歴画像を差分の小さい順に並べて表示するユーザーインターフェースを生成するようにしてもよい。このユーザーインターフェースに表示する画像の数は、例えば５～１０程度にすることができ、複数段に分けて表示してもよい。差分が小さいということは安定的に判定できていないということであるので、そのような画像は追加学習候補画像であり、この追加学習候補画像を使用者に複数提示することができる。
【0158】
ステップＳＥ４では、候補画像を追加学習させると指定されたか否かを判定する。ステップＳＥ４は、表示ステップで運転画像履歴表示ユーザーインターフェース１２４に表示された検査対象画像を良品画像又は不良品画像として追加学習させるか否かの指定を受け付ける追加学習設定ステップである。追加学習が指定されればステップＳＥ５に進んで当該候補画像により追加学習を行う。つまり、ステップＳＥ５は、追加学習設定ステップ（ステップＳＥ４）により追加学習対象として指定された追加学習画像を良品画像又は不良品画像として追加学習し、識別器を更新するステップである。一方、ステップＳＥ４で追加学習が指定されなければ、追加学習は行わない。
【0159】
（削除候補表示）
表示装置４は、安定性評価値が所定値以上の履歴画像を記憶装置１９から削除する削除候補画像として使用者に提示するように構成されている。この所定値は、上記第１の所定値よりも高い第２の所定値としてもよいし、上記第１の所定値と同じにしてもよい。
表示装置４は、安定性評価値が所定値以上の履歴画像を記憶装置１９から削除する削除候補画像として使用者に提示するように構成されている。この所定値は、上記第１の所定値よりも高い第２の所定値としてもよいし、上記第１の所定値と同じにしてもよい。
【0160】
すなわち、上述したように、既に生成されている識別器によって安定的に識別できる画像は、安定性評価値が高く、追加学習の必要性が低い画像であると判断されるので、記憶装置１９に保存していても殆ど役に立たない画像であり、記憶装置１９のメモリを圧迫するだけであると考えられる。そのような画像を記憶装置１９から削除することで、記憶装置１９のメモリを節約できる。
【0161】
図３５は、学習画像登録部２４で登録された良品画像群と不良品画像群をある特徴量空間にプロットし、識別器生成部３０で生成された識別器による良品画像と不良品画像との識別境界を示した模式図であり、図中、白色の領域は良品画像群がプロットされた領域であり、黒色の領域は不良品画像群がプロットされた領域である。
【0162】
良品画像群の中で、囲み線３００で囲まれた良品画像は、識別境界から離れているので、囲み線３００で囲まれた良品画像を追加学習させても識別境界が更新されず、学習する意味が殆ど無い。この囲み線３００で囲まれた良品画像を削除候補画像として表示装置４が使用者に提示する。また、不良品画像群の中で、囲み線３０１で囲まれた不良品画像も識別境界から離れているので、囲み線３０１で囲まれた不良品画像を追加学習させても識別境界が更新されず、学習する意味が殆ど無い。この囲み線３０１で囲まれた不良品画像を削除候補画像として表示装置４が使用者に提示する。つまり、識別器による良品画像と不良品画像との識別境界から所定以上離れた履歴画像を削除候補画像として使用者に提示することができる。
【0163】
図３６に示すフローチャートに基づいて削除候補画像の提示手順を説明する。スタート後のステップＳＦ１では、識別器生成部３０が、学習に用いた画像（履歴画像）の特徴量を算出する。特徴量を算出した後、ステップＳＦ２に進み、履歴画像を図３５に示すような特徴量空間上にプロットする。その後、ステップＳＦ３に進み、制御ユニット２は、特徴量空間で履歴画像の位置を把握する。これにより、識別境界と、各履歴画像との位置関係を把握することができ、識別境界に近い履歴画像と、識別境界から所定以上離れた履歴画像とを分けることができる。
【0164】
ステップＳＦ４では、ステップＳＦ３では、識別境界の設定に寄与していない履歴画像を削除候補画像として選出する。識別境界の設定に寄与していない履歴画像は、識別境界から所定以上離れた履歴画像である。ステップＳＦ５では、ステップＳＦ４で選出された削除候補画像を制御ユニット２が表示装置４に表示させる。これにより、削除候補画像を使用者に提示することができる。使用者に一度に提示する削除候補画像は１つであってもよいし、複数であってもよい。
【0165】
ステップＳＦ６では使用者による削除候補画像の削除操作が行われたか否かを判定する。削除操作が行われた場合にはステップＳＦ７で削除候補画像を削除する。削除操作が行われなかった場合には、削除候補画像を削除することなく、終了する。削除操作は、１つの削除候補画像に対する操作であってもよいし、複数の削除候補画像に対する操作であってもよい。
【0166】
図３７及び図３８は、追加学習によって識別境界が変化した場合を示している。図３７に示すフローチャートのステップＳＧ１～ＳＧ４は、図３６に示すフローチャートのステップＳＦ１～ＳＦ４とそれぞれ同じである。図３７に示すフローチャートのステップＳＧ５では、上述したように追加学習したことによって識別境界が変化した場合に、新たな識別境界に対して削除候補画像を再計算する。
【0167】
例えば、図３８の上側に示す特徴量空間の識別境界が、追加学習したことによって図３８の下側に示す特徴量空間の識別境界へと変化した場合、識別境界と各良品画像との距離、識別境界と各不良品画像との距離を再度算出する。その後、ステップＳＧ６に進み、新たな削除候補画像として、新たな識別境界から所定以上離れた履歴画像（囲み線３０２で囲まれた良品画像と、囲み線３０３で囲まれた不良品画像）を削除候補画像として選出する。使用者に提示する。次いで、ステップＳＧ７に進み、囲み線３０２で囲まれた良品画像と、囲み線３０３で囲まれた不良品画像を削除候補画像として表示装置４に表示し、これにより、新たに選出した削除候補画像を使用者に提示する。ステップＳＧ８、ＳＧ９は、図３６に示すフローチャートのステップＳＦ６、ＳＦ７と同じである。
【0168】
図３９は削除候補画像と近隣画像との相対関係に基づいて削除候補画像を提示する手順を示すフローチャートである。ステップＳＨ１～ＳＨ４は、図３６に示すフローチャートのステップＳＦ１～ＳＦ４とそれぞれ同じである。その後、ステップＳＨ５では、削除候補画像と近隣画像との相対関係を算出する。次いで、ステップＳＨ６では、今後の追加学習においても識別境界の設定に影響の少ない画像を削除候補画像として選出する。
【0169】
すなわち、特徴量空間上において、識別境界から所定以上離れた履歴画像と、当該履歴画像の近隣にプロットされた近隣画像との相対関係に基づいて識別境界の設定に寄与していないと判定される画像を削除候補画像として使用者に提示する。具体的には、図４０の上側に示す特徴量空間の場合、囲み線３００で囲まれた良品画像と、囲み線３０１で囲まれた不良品画像とが削除候補画像となり得る画像である。このうち、囲み線３００で囲まれた良品画像の全ては、識別境界から所定以上離れているので全てが削除候補画像となり得るが、図４０の下側の図において囲み線３０４で囲まれた画像に着目すると、その画像の周囲に存在する画像との相対関係からみて、識別境界の設定に寄与していないと判定することができる。つまり、囲み線３０４で囲まれた画像を取り囲むように履歴画像が位置しているので、囲み線３０４で囲まれた画像を削除しても、現在の識別境界に影響を及ぼすことはないとともに、これから生成されるであろう識別境界に影響を及ぼす可能性も極めて低い。したがって、ステップＳＨ７を経ることで、削除しても識別境界の設定に殆ど影響を及ばさない画像を削除候補画像として使用者に提示することができる。ステップＳＨ８、ＳＨ９は、図３６に示すフローチャートのステップＳＦ６、ＳＦ７と同じである。
【0170】
（実施形態の作用効果）
以上説明したように、この実施形態によれば、標準検査モードと学習検査モードとを画像検査装置１に実装し、検査モードを切り替えることでいずれの検査モードでも検査を実行することができ、各々の検査モードの長所を活かした検査を行うことができる。
以上説明したように、この実施形態によれば、標準検査モードと学習検査モードとを画像検査装置１に実装し、検査モードを切り替えることでいずれの検査モードでも検査を実行することができ、各々の検査モードの長所を活かした検査を行うことができる。
【0171】
標準検査モードの設定モード時にマスター画像を撮像する際には、撮像条件の設定、画像処理ツールの選択を行うことができるとともに、この画像処理ツールを適用する範囲を検査用ウィンドウによって規定し、さらに、画像処理ツールのパラメータの調整を行うことができる。つまり、標準検査モード時には、使用者が、撮像条件をはじめ、画像処理ツールの種類、画像処理ツールの適用範囲、画像処理ツールのパラメータ調整を行うことができるので、所望の結果が得られるように、使用者が良否判定基準を制御した上で標準検査モードを実行することができる。例えば、標準検査モードでは、画像内の検査対象物の様々な特徴量（色、エッジ、位置等）に基づいて検査対象物の良否の判定を行うことができる。
【0172】
一方、学習検査モードの設定モード時には、使用者により良品としての属性が付与された良品画像と、不良品としての属性が付与された不良品画像とをそれぞれ登録することができ、登録された良品画像と不良品画像を学習することによって良品画像と不良品画像を識別する識別器を生成することができる。つまり、学習検査モードの設定モード時には、使用者が標準検査モード時に行うような設定や調整は不要になる。
【0173】
また、識別器によって良否判定を行った複数の検査対象画像が良否判定結果とともに履歴画像として記憶装置１９に記憶され、このとき、複数の履歴画像の良否判定の安定性を示す安定性評価値を算出することができる。その安定性評価値に基づいて、識別器に追加学習させる候補画像を使用者に提示できる。
【0174】
したがって、記憶装置１９に記憶されている履歴画像の数が膨大であっても、使用者は良否判定の安定性に基づいて提示された候補画像の中から追加学習画像を選択することができる。使用者による追加学習画像としての指定が受け付けられると、使用者により指定された追加学習画像を、良品画像又は不良品画像として追加学習することで識別器を更新することができる。
【0175】
また、良品画像または不良品画像に基づいて、良品らしさまたは不良品らしさを示す判定軸を抽出することができ、この判定軸に基づいて良品らしさまたは不良品らしさを示す判定評価値を算出できる。この判定評価値により、良品としての特徴または不良品としての特徴を有する領域を選択的に強調した検査対象画像を表示できるので、使用者は、学習検査を行う画像検査装置１がどのような判定軸でもって画像識別を行っているのかを把握できる。
【0176】
また、設定モードから運転モードに切り替えられると、新たに撮像された検査対象画像が識別器に入力され、良否判定が行われる。検査対象画像と良否判定結果は、共に表示装置４の運転モード画面に表示されるので、使用者は、検査対象画像と、その画像に対する良否判定結果とを把握することができる。このとき、検査対象画像に対する良否判定結果が正しければ運転モードを継続し、検査対象画像に対する良否判定結果が誤っていれば追加学習を行うことができる。したがって、運転モードから設定モードに切り替えることなく、運転モードのままで追加学習対象の画像を指定し、追加学習させて識別器を更新できる。
【0177】
上述の実施形態はあらゆる点で単なる例示に過ぎず、限定的に解釈してはならない。さらに、特許請求の範囲の均等範囲に属する変形や変更は、全て本発明の範囲内のものである。
【産業上の利用可能性】
【0178】
以上説明したように、本発明に係る画像検査装置は、検査対象物を撮像した画像に基づいて検査対象物の良否判定を行う場合に使用することができる。
【符号の説明】
【0179】
１ 画像検査装置
２ 制御ユニット
４ 表示装置（表示手段）
１３Ａ 制御部
１４ カメラモジュール（撮像手段）
１５ 照明モジュール
２１ 撮像設定部
２３ マスター画像登録部
２４ 学習画像登録部
２５ 画像処理ツール選択部
２６ パラメータ調整部
２７ 検査ウィンドウ設定部
２８ 検査種別選択部
２９ モード切替部
３０ 識別器生成部
３１ 良否判定部
３２ 追加学習画像指定部
３３ 安定性評価値算出部
３４ 判定軸抽出部
２ 制御ユニット
４ 表示装置（表示手段）
１３Ａ 制御部
１４ カメラモジュール（撮像手段）
１５ 照明モジュール
２１ 撮像設定部
２３ マスター画像登録部
２４ 学習画像登録部
２５ 画像処理ツール選択部
２６ パラメータ調整部
２７ 検査ウィンドウ設定部
２８ 検査種別選択部
２９ モード切替部
３０ 識別器生成部
３１ 良否判定部
３２ 追加学習画像指定部
３３ 安定性評価値算出部
３４ 判定軸抽出部
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】
【図25】
【図26】
【図27】
【図28】
【図29】
【図30】
【図31】
【図32】
【図33】
【図34】
【図35】
【図36】
【図37】
【図38】
【図39】
【図40】
【手続補正書】
【提出日】2023-05-18
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
撮像手段により撮像された検査対象物の画像に基づいて当該検査対象物の良否判定を行う画像検査装置において、
使用者により第一クラスとしての属性が付与された第一クラス画像と、前記第一クラスと異なる第二クラスとしての属性が付与された第二クラス画像をそれぞれ登録する学習画像登録手段と、
前記学習画像登録手段で登録された前記第一クラス画像と前記第二クラス画像を学習し、前記第一クラス画像と前記第二クラス画像を識別する識別器を生成する識別器生成手段と、
前記撮像手段により新たに撮像された検査対象画像を前記識別器に入力し、前記識別器による識別結果に基づく判定結果を出力する判定手段と、
前記判定手段により判定結果が出力された複数の検査対象画像を当該判定結果とともに履歴画像として記憶する記憶手段と、
前記記憶手段に記憶された複数の履歴画像に係る判定値と前記識別器による識別の閾値との近接度を算出する算出手段と、
前記算出手段が算出した近接度に基づいて、前記履歴画像から、前記近接度が高い画像を候補画像として使用者に提示する表示手段と、
前記表示手段により提示された前記候補画像を追加学習させるか否かの指定を受け付ける追加学習画像指定手段とを備え、
前記識別器生成手段は、使用者により指定された追加学習画像を、前記第一クラス画像又は前記第二クラス画像として追加学習し、前記識別器を更新するように構成されている、画像検査装置。
使用者により第一クラスとしての属性が付与された第一クラス画像と、前記第一クラスと異なる第二クラスとしての属性が付与された第二クラス画像をそれぞれ登録する学習画像登録手段と、
前記学習画像登録手段で登録された前記第一クラス画像と前記第二クラス画像を学習し、前記第一クラス画像と前記第二クラス画像を識別する識別器を生成する識別器生成手段と、
前記撮像手段により新たに撮像された検査対象画像を前記識別器に入力し、前記識別器による識別結果に基づく判定結果を出力する判定手段と、
前記判定手段により判定結果が出力された複数の検査対象画像を当該判定結果とともに履歴画像として記憶する記憶手段と、
前記記憶手段に記憶された複数の履歴画像に係る判定値と前記識別器による識別の閾値との近接度を算出する算出手段と、
前記算出手段が算出した近接度に基づいて、前記履歴画像から、前記近接度が高い画像を候補画像として使用者に提示する表示手段と、
前記表示手段により提示された前記候補画像を追加学習させるか否かの指定を受け付ける追加学習画像指定手段とを備え、
前記識別器生成手段は、使用者により指定された追加学習画像を、前記第一クラス画像又は前記第二クラス画像として追加学習し、前記識別器を更新するように構成されている、画像検査装置。
【請求項2】
請求項１に記載の画像検査装置において、
前記追加学習画像指定手段は、複数の前記候補画像の中から前記追加学習画像としての指定を受け付ける、画像検査装置。
前記追加学習画像指定手段は、複数の前記候補画像の中から前記追加学習画像としての指定を受け付ける、画像検査装置。
【請求項3】
請求項１に記載の画像検査装置において、
前記学習画像登録手段は、
前記撮像手段により撮像されるライブ画像を表示し、
前記ライブ画像が表示された状態で、前記使用者による操作を受け付け、
前記操作に基づいて、前記ライブ画像を前記第一クラス画像と前記第二クラス画像とのいずれかとして登録する、画像検査装置。
前記学習画像登録手段は、
前記撮像手段により撮像されるライブ画像を表示し、
前記ライブ画像が表示された状態で、前記使用者による操作を受け付け、
前記操作に基づいて、前記ライブ画像を前記第一クラス画像と前記第二クラス画像とのいずれかとして登録する、画像検査装置。
【請求項4】
請求項３に記載の画像検査装置において、
前記学習画像登録手段は、前記使用者による操作として、前記ライブ画像を前記第一クラス画像として登録する、もしくは前記ライブ画像を前記第二クラス画像として登録する、ことの指定を受け付ける、画像検査装置。
前記学習画像登録手段は、前記使用者による操作として、前記ライブ画像を前記第一クラス画像として登録する、もしくは前記ライブ画像を前記第二クラス画像として登録する、ことの指定を受け付ける、画像検査装置。
【請求項5】
請求項１に記載の画像検査装置において、
前記撮像手段と接続され、前記識別器生成手段と前記記憶手段とが設けられる、制御ユニットを備える、画像検査装置。
前記撮像手段と接続され、前記識別器生成手段と前記記憶手段とが設けられる、制御ユニットを備える、画像検査装置。
【請求項6】
請求項３に記載の画像検査装置において、
前記学習画像登録手段により前記ライブ画像が表示された状態において、前記撮像手段による撮像条件を変化させることが可能である、画像検査装置。
前記学習画像登録手段により前記ライブ画像が表示された状態において、前記撮像手段による撮像条件を変化させることが可能である、画像検査装置。
【請求項7】
撮像手段により撮像された検査対象物の画像に基づいて当該検査対象物の良否判定を行う画像検査装置において、
使用者により第一クラスとしての属性が付与された第一クラス画像と、第二クラスとしての属性が付与された第二クラス画像をそれぞれ登録する学習画像登録手段と、
前記学習画像登録手段で登録された第一クラス画像と第二クラス画像を学習し、第一クラス画像と第二クラス画像を識別する識別器を生成する識別器生成手段と、
前記撮像手段により新たに撮像された検査対象画像を前記識別器に入力し、前記識別器による識別結果に基づく判定結果を出力する判定手段と、
前記判定手段により判定結果が出力された複数の検査対象画像を当該判定結果とともに履歴画像として記憶する記憶手段と、を備え、
前記学習画像登録手段は、
前記撮像手段により撮像されるライブ画像を表示し、
前記ライブ画像が表示された状態で、前記使用者による操作を受け付け、
前記操作に基づいて、前記ライブ画像を前記第一クラス画像と前記第二クラス画像とのいずれかとして登録する、画像検査装置。
使用者により第一クラスとしての属性が付与された第一クラス画像と、第二クラスとしての属性が付与された第二クラス画像をそれぞれ登録する学習画像登録手段と、
前記学習画像登録手段で登録された第一クラス画像と第二クラス画像を学習し、第一クラス画像と第二クラス画像を識別する識別器を生成する識別器生成手段と、
前記撮像手段により新たに撮像された検査対象画像を前記識別器に入力し、前記識別器による識別結果に基づく判定結果を出力する判定手段と、
前記判定手段により判定結果が出力された複数の検査対象画像を当該判定結果とともに履歴画像として記憶する記憶手段と、を備え、
前記学習画像登録手段は、
前記撮像手段により撮像されるライブ画像を表示し、
前記ライブ画像が表示された状態で、前記使用者による操作を受け付け、
前記操作に基づいて、前記ライブ画像を前記第一クラス画像と前記第二クラス画像とのいずれかとして登録する、画像検査装置。
【請求項8】
撮像手段により撮像された検査対象物の画像に基づいて当該検査対象物の判定結果を出力する画像検査装置の設定方法において、
使用者により第一クラスとしての属性が付与された第一クラス画像と、前記第一クラスと異なる第二クラスとしての属性が付与された第二クラス画像をそれぞれ登録する学習画像登録ステップと、
前記学習画像登録ステップで登録された前記第一クラス画像と前記第二クラス画像を学習し、前記第一クラス画像と前記第二クラス画像を識別する識別器を生成する識別器生成ステップと、
前記撮像手段により新たに撮像された検査対象画像を前記識別器に入力し、前記識別器による識別結果に基づく判定結果を出力する判定ステップと、
前記判定ステップで判定結果が出力された検査対象画像に係る判定値と、前記識別器による識別の閾値との近接度を算出する算出ステップと、
前記算出ステップで算出した近接度が所定以上の検査対象画像を、前記識別器に追加学習させる候補画像として使用者に提示する表示ステップと、
前記表示ステップで提示された前記候補画像を追加学習させるか否かの指定を受け付ける追加学習画像指定ステップと、
使用者により追加学習させる前記候補画像として指定された追加学習画像を、前記第一クラス画像又は前記第二クラス画像として追加学習するステップと、を備える、画像検査装置の設定方法。
使用者により第一クラスとしての属性が付与された第一クラス画像と、前記第一クラスと異なる第二クラスとしての属性が付与された第二クラス画像をそれぞれ登録する学習画像登録ステップと、
前記学習画像登録ステップで登録された前記第一クラス画像と前記第二クラス画像を学習し、前記第一クラス画像と前記第二クラス画像を識別する識別器を生成する識別器生成ステップと、
前記撮像手段により新たに撮像された検査対象画像を前記識別器に入力し、前記識別器による識別結果に基づく判定結果を出力する判定ステップと、
前記判定ステップで判定結果が出力された検査対象画像に係る判定値と、前記識別器による識別の閾値との近接度を算出する算出ステップと、
前記算出ステップで算出した近接度が所定以上の検査対象画像を、前記識別器に追加学習させる候補画像として使用者に提示する表示ステップと、
前記表示ステップで提示された前記候補画像を追加学習させるか否かの指定を受け付ける追加学習画像指定ステップと、
使用者により追加学習させる前記候補画像として指定された追加学習画像を、前記第一クラス画像又は前記第二クラス画像として追加学習するステップと、を備える、画像検査装置の設定方法。