(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-12-19
(45)【発行日】2022-12-27
(54)【発明の名称】情報処理装置、情報処理プログラム、及び、情報処理方法
(51)【国際特許分類】
G06T 7/00 20170101AFI20221220BHJP
【ＦＩ】
G06T7/00 600
【請求項の数】
14
(21)【出願番号】P 2021541361
(86)(22)【出願日】2019-08-19
(86)【国際出願番号】 JP2019032302
(87)【国際公開番号】W WO2021033239
(87)【国際公開日】2021-02-25
【審査請求日】2022-01-20
(73)【特許権者】
【識別番号】000005223
【氏名又は名称】富士通株式会社
(74)【代理人】
【識別番号】100107766
【弁理士】
【氏名又は名称】伊東 忠重
(74)【代理人】
【識別番号】100070150
【弁理士】
【氏名又は名称】伊東 忠彦
(72)【発明者】
【氏名】布施 貴史
(72)【発明者】
【氏名】富田 順二
【審査官】▲広▼島 明芳
(56)【参考文献】
【文献】国際公開第２０１８／０９２７４７（ＷＯ，Ａ１）
【文献】特表２００９－５３９１８１（ＪＰ，Ａ）
【文献】特開２０１７－９２６２２（ＪＰ，Ａ）
【文献】特開２０１７－６２７７６（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｔ ７／００ － ７／９０
(57)【特許請求の範囲】
【請求項1】
第１機械学習済みの第１検査プログラムが合否を正しく判定した合格画像及び不合格画像を含む複数の判定済ペア画像を取得する第１画像取得部と、前記判定済ペア画像の合格画像及び不合格画像に対して第１疑似画像生成処理を行った合格画像及び不合格画像を含む第１疑似ペア画像を生成する第１画像生成部と、
前記第１疑似ペア画像の合格画像及び不合格画像について前記第１検査プログラムが合否を判定した判定結果を取得する判定結果取得部と、
前記判定結果に基づいて、前記第１検査プログラムが合否を判定した第１疑似ペア画像をペア毎に、前記判定の正否に応じてランク付けするランク付け部と、
ペア画像の合格画像及び不合格画像が入力されると、当該ペア画像の合格画像及び不合格画像の合否を前記第１検査プログラムに判定させることが適切であるかどうかを判定する第２検査プログラムで表される数学モデルと、
前記判定済ペア画像と、前記ランク付けされた第１疑似ペア画像とを入力とする第２機械学習を前記数学モデルに行わせる学習処理部と
を含み、
前記第１画像生成部は、前記ランク付けされた第１疑似ペア画像の数が第１所定数以上になるまで前記第１疑似ペア画像の生成を行い、
前記学習処理部は、前記判定済ペア画像と、前記第１所定数以上の前記ランク付けされた第１疑似ペア画像とを入力とする前記第２機械学習を前記数学モデルに行わせることにより、未知のペア画像の合格画像及び不合格画像を前記数学モデルに入力すると、当該未知のペア画像の合格画像及び不合格画像が所定のランク以上である場合に当該未知のペア画像の合格画像及び不合格画像の合否を前記第１検査プログラムに判定させることが適切であると前記数学モデルが判定し、前記所定のランク未満である場合に当該未知のペア画像の合格画像及び不合格画像の合否を前記第１検査プログラムに判定させることが不適切であると前記数学モデルが判定するように前記数学モデルを学習させる、情報処理装置。
【請求項2】
前記判定済ペア画像の合格画像及び不合格画像に対して前記第１疑似画像生成処理よりも画像の変更度合が低い第２疑似画像生成処理を行った合格画像及び不合格画像を含む第２疑似ペア画像を生成する第２画像生成部と、前記第１検査プログラムが前記第２疑似ペア画像の合格画像及び不合格画像について合否を正しく判定した第２疑似ペア画像を取得する第２画像取得部と
をさらに含み、
前記第２画像生成部は、前記第２画像取得部によって取得された第２疑似ペア画像の数が第２所定数以上になるまで前記第２疑似ペア画像の生成を行い、
前記学習処理部は、前記第２機械学習として、前記判定済ペア画像と、前記第１所定数以上の前記ランク付けされた第１疑似ペア画像と、前記第２所定数以上の前記第２画像取得部によって取得された第２疑似ペア画像とを入力とする第２機械学習を前記数学モデルに行わせる、請求項１記載の情報処理装置。
【請求項3】
前記判定の正否に応じたランク付けは、前記第１疑似画像生成処理が行われた前記第１疑似ペア画像の合格画像又は不合格画像についての合否を前記第１検査プログラムが誤判定した第１疑似ペア画像についてのランクであり、前記第１画像生成部は、前記ランク毎に合否が誤判定された第１疑似ペア画像の数が前記ランク毎の所定数以上になるまで前記第１疑似ペア画像の生成を行い、
前記学習処理部が前記第２機械学習に用いる前記第１所定数以上の前記ランク付けされた第１疑似ペア画像は、前記ランク毎の所定数以上の第１疑似ペア画像である、請求項１又は２記載の情報処理装置。
【請求項4】
前記ランク毎の所定数は、前記第１疑似画像生成処理が行われた合格画像及び不合格画像のいずれか一方の合否が誤判定された第１疑似ペア画像についての所定数よりも、前記第１疑似画像生成処理が行われた合格画像及び不合格画像の両方の合否が誤判定された第１疑似ペア画像についての所定数の方が多い、請求項３記載の情報処理装置。【請求項5】
前記所定のランクは、前記第１疑似画像生成処理が行われた合格画像及び不合格画像の両方の合否が誤判定された第１疑似ペア画像についてのランク、前記第１疑似画像生成処理が行われた合格画像及び不合格画像のいずれか一方の合否が誤判定された第１疑似ペア画像についてのランク、及び、前記第１疑似画像生成処理が行われた合格画像及び不合格画像のいずれか他方の合否が誤判定された第１疑似ペア画像についてのランクのうちのいずれかのランクである、請求項４記載の情報処理装置。【請求項6】
前記判定の正否に応じたランク付けは、さらに、前記第１疑似画像生成処理が行われた前記第１疑似ペア画像の合格画像又は不合格画像についての合否を前記第１検査プログラムが正しく判定した第１疑似ペア画像についてのランクを含み、前記第１画像生成部は、前記ランク毎に合否が誤判定された第１疑似ペア画像の数が前記ランク毎の所定数以上になるとともに、前記合否が正しく判定された第１疑似ペア画像の数が当該第１疑似ペア画像についての所定数以上になるまで前記第１疑似ペア画像の生成を行い、
前記学習処理部が前記第２機械学習に用いる前記第１所定数以上の前記ランク付けされた第１疑似ペア画像は、前記ランク毎の所定数以上の第１疑似ペア画像と、前記合否が正しく判定された第１疑似ペア画像についての所定数以上の第１疑似ペア画像とである、請求項３又は４記載の情報処理装置。
【請求項7】
前記第１画像生成部は、前記ランク付けされた第１疑似ペア画像のうち、前記第１疑似ペア画像の合格画像及び不合格画像の両方の合否が誤判定された第１疑似ペア画像の数が第３所定数以上になるまで前記第１疑似ペア画像の生成を行い、前記学習処理部が前記第２機械学習に用いる前記第１所定数以上の前記ランク付けされた第１疑似ペア画像は、前記第３所定数以上の前記両方の合否が誤判定された第１疑似ペア画像を含む、請求項１又は２記載の情報処理装置。
【請求項8】
前記第１画像生成部は、さらに、前記ランク付けされた第１疑似ペア画像のうち、前記第１疑似ペア画像の合格画像及び不合格画像のいずれか一方の合否を前記第１検査プログラムが誤判定した第１疑似ペア画像の数が第４所定数以上になるまで前記第１疑似ペア画像の生成を行い、前記学習処理部が前記第２機械学習に用いる前記第１所定数以上の前記ランク付けされた第１疑似ペア画像は、前記第３所定数以上の前記両方の合否が誤判定された第１疑似ペア画像と、前記第４所定数以上の前記いずれか一方の合否が誤判定された第１疑似ペア画像とを含む、請求項７記載の情報処理装置。
【請求項9】
前記所定のランクは、前記第１疑似ペア画像の合格画像及び不合格画像の両方の合否が誤判定された第１疑似ペア画像についてのランク、前記第１疑似ペア画像の合格画像及び不合格画像のいずれか一方の合否を前記第１検査プログラムが誤判定した第１疑似ペア画像についてのランク、及び、前記第１疑似ペア画像の合格画像及び不合格画像のいずれか他方の合否を前記第１検査プログラムが誤判定した第１疑似ペア画像についてのランクのうちのいずれかのランクである、請求項８記載の情報処理装置。【請求項10】
前記第１画像生成部は、さらに、前記ランク付けされた第１疑似ペア画像のうち、前記第１疑似ペア画像の合格画像及び不合格画像の両方の合否を前記第１検査プログラムが正しく判定した第１疑似ペア画像の数が第５所定数以上になるまで前記第１疑似ペア画像の生成を行い、前記学習処理部が前記第２機械学習に用いる前記第１所定数以上の前記ランク付けされた第１疑似ペア画像は、前記第３所定数以上の前記両方の合否が誤判定された第１疑似ペア画像と、前記第４所定数以上の前記いずれか一方の合否が誤判定された第１疑似ペア画像と、前記第５所定数以上の前記両方の合否が正しく判定された第１疑似ペア画像とである、請求項８又は９記載の情報処理装置。
【請求項11】
前記第１画像生成部は、さらに、前記ランク付けされた第１疑似ペア画像のうち、前記第１疑似ペア画像の合格画像及び不合格画像の両方の合否を前記第１検査プログラムが正しく判定した第１疑似ペア画像の数が第５所定数以上になるまで前記第１疑似ペア画像の生成を行い、前記学習処理部が前記第２機械学習に用いる前記第１所定数以上の前記ランク付けされた第１疑似ペア画像は、前記第３所定数以上の前記両方の合否が誤判定された第１疑似ペア画像と、前記第５所定数以上の前記両方の合否が正しく判定された第１疑似ペア画像とを含む、請求項７記載の情報処理装置。
【請求項12】
前記所定のランクは、前記第１疑似ペア画像の合格画像及び不合格画像の両方の合否が誤判定された第１疑似ペア画像についてのランクである、請求項１１記載の情報処理装置。【請求項13】
第１機械学習済みの第１検査プログラムが合否を正しく判定した合格画像及び不合格画像を含む複数の判定済ペア画像を取得することと、前記判定済ペア画像の合格画像及び不合格画像に対して第１疑似画像生成処理を行った合格画像及び不合格画像を含む第１疑似ペア画像を生成することと、
前記第１疑似ペア画像の合格画像及び不合格画像について前記第１検査プログラムが合否を判定した判定結果を取得することと、
前記判定結果に基づいて、前記第１検査プログラムが合否を判定した第１疑似ペア画像をペア毎に、前記判定の正否に応じてランク付けすることと、
前記判定済ペア画像と、前記ランク付けされた第１疑似ペア画像とを入力とする第２機械学習を、ペア画像の合格画像及び不合格画像が入力されると、当該ペア画像の合格画像及び不合格画像の合否を前記第１検査プログラムに判定させることが適切であるかどうかを判定する第２検査プログラムで表される数学モデルに行わせることと
を含む処理であって、
前記第１疑似ペア画像を生成することは、前記ランク付けされた第１疑似ペア画像の数が第１所定数以上になるまで前記第１疑似ペア画像を生成することであり、
前記第２機械学習を前記数学モデルに行わせることは、前記判定済ペア画像と、前記第１所定数以上の前記ランク付けされた第１疑似ペア画像とを入力とする前記第２機械学習を前記数学モデルに行わせることにより、未知のペア画像の合格画像及び不合格画像を前記数学モデルに入力すると、当該未知のペア画像の合格画像及び不合格画像が所定のランク以上である場合に当該未知のペア画像の合格画像及び不合格画像の合否を前記第１検査プログラムに判定させることが適切であると前記数学モデルが判定し、前記所定のランク未満である場合に当該未知のペア画像の合格画像及び不合格画像の合否を前記第１検査プログラムに判定させることが不適切であると前記数学モデルが判定するように前記数学モデルを学習させることである、処理をコンピュータに実行させる、情報処理プログラム。
【請求項14】
第１機械学習済みの第１検査プログラムが合否を正しく判定した合格画像及び不合格画像を含む複数の判定済ペア画像を取得することと、前記判定済ペア画像の合格画像及び不合格画像に対して第１疑似画像生成処理を行った合格画像及び不合格画像を含む第１疑似ペア画像を生成することと、
前記第１疑似ペア画像の合格画像及び不合格画像について前記第１検査プログラムが合否を判定した判定結果を取得することと、
前記判定結果に基づいて、前記第１検査プログラムが合否を判定した第１疑似ペア画像をペア毎に、前記判定の正否に応じてランク付けすることと、
前記判定済ペア画像と、前記ランク付けされた第１疑似ペア画像とを入力とする第２機械学習を、ペア画像の合格画像及び不合格画像が入力されると、当該ペア画像の合格画像及び不合格画像の合否を前記第１検査プログラムに判定させることが適切であるかどうかを判定する第２検査プログラムで表される数学モデルに行わせることと
を含み、
前記第１疑似ペア画像を生成することは、前記ランク付けされた第１疑似ペア画像の数が第１所定数以上になるまで前記第１疑似ペア画像を生成することであり、
前記第２機械学習を前記数学モデルに行わせることは、前記判定済ペア画像と、前記第１所定数以上の前記ランク付けされた第１疑似ペア画像とを入力とする前記第２機械学習を前記数学モデルに行わせることにより、未知のペア画像の合格画像及び不合格画像を前記数学モデルに入力すると、当該未知のペア画像の合格画像及び不合格画像が所定のランク以上である場合に当該未知のペア画像の合格画像及び不合格画像の合否を前記第１検査プログラムに判定させることが適切であると前記数学モデルが判定し、前記所定のランク未満である場合に当該未知のペア画像の合格画像及び不合格画像の合否を前記第１検査プログラムに判定させることが不適切であると前記数学モデルが判定するように前記数学モデルを学習させることである、情報処理方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、情報処理装置、情報処理プログラム、及び、情報処理方法に関する。
【背景技術】
【0002】
従来より、同一対象が写る画像のペアと、異なる対象が写る画像のペアとを複数取得する取得手段と、前記取得手段により取得された前記ペアの一方の画像と他方の画像に特徴点を設定する設定手段とを備える学習装置がある。
【0003】
前記一方の画像と前記他方の画像の同じ位置に設定された所定の特徴点を複数選択し、前記所定の特徴点の特徴の抽出に用いられる特徴抽出フィルタを前記所定の特徴点毎に選択する選択手段と、前記選択手段により選択された複数の前記特徴抽出フィルタを用いて、前記一方の画像と前記他方の画像のそれぞれの前記所定の特徴点の特徴を抽出する抽出手段とをさらに備える。
【0004】
前記抽出手段により前記一方の画像から抽出された特徴と前記他方の画像から抽出された特徴との相関を求める算出手段と、前記算出手段により求められた前記相関と、前記一方の画像と前記他方の画像に写る対象が同一対象であるか否かを表すラベル情報に基づいて、二枚の画像に写る対象が同一であるか否かを識別するための同一対象識別器を学習する学習手段をさらに備える（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【0005】
【文献】特開２０１２－０８３９３８号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
ところで、従来の学習装置は、量産品のうちの良品（検査での合格品）の画像（合格画像）と不良品（検査での不合格品）の画像（不合格画像）の合否を判定できるように機械学習を行った検査プログラム（第１検査プログラム）がある場合に、学習した量産品と同一種類の検査対象に対し合否を判定するものであり、未知の画像の合否を第１検査プログラムに判定させることが適切であるかどうかを判定するものではない。
【0007】
例えば、未知の画像に対して合格画像と不合格画像の合否を判定できるように機械学習を行い第１検査プログラムによる合否の判定結果を得るために、時間が掛かる場合、又は、準備作業等の手間が掛かる場合等に、第１検査プログラムに判定を行わせる前に、第１検査プログラムが合否を判定していない未知の画像の合否を第１検査プログラムに判定させることが適切であるかどうかを判定できると、第１検査プログラムを有効的に利用することができる。
【0008】
そこで、量産品の合格画像と不合格画像の合否を判定できるように機械学習を行った第１検査プログラムに未知の画像の合否を判定させることが適切であるかどうかを判定できる第２検査プログラムを得ることができる、情報処理装置、情報処理プログラム、及び、情報処理方法を提供することを目的とする。
【課題を解決するための手段】
【0009】
本発明の実施の形態の情報処理装置は、第１機械学習済みの第１検査プログラムが合否を正しく判定した合格画像及び不合格画像を含む複数の判定済ペア画像を取得する第１画像取得部と、前記判定済ペア画像の合格画像及び不合格画像に対して第１疑似画像生成処理を行った合格画像及び不合格画像を含む第１疑似ペア画像を生成する第１画像生成部と、前記第１疑似ペア画像の合格画像及び不合格画像について前記第１検査プログラムが合否を判定した判定結果を取得する判定結果取得部と、前記判定結果に基づいて、前記第１検査プログラムが合否を判定した第１疑似ペア画像をペア毎に、前記判定の正否に応じてランク付けするランク付け部と、ペア画像の合格画像及び不合格画像が入力されると、当該ペア画像の合格画像及び不合格画像の合否を前記第１検査プログラムに判定させることが適切であるかどうかを判定する第２検査プログラムで表される数学モデルと、前記判定済ペア画像と、前記ランク付けされた第１疑似ペア画像とを入力とする第２機械学習を前記数学モデルに行わせる学習処理部とを含み、前記第１画像生成部は、前記ランク付けされた第１疑似ペア画像の数が第１所定数以上になるまで前記第１疑似ペア画像の生成を行い、前記学習処理部は、前記判定済ペア画像と、前記第１所定数以上の前記ランク付けされた第１疑似ペア画像とを入力とする前記第２機械学習を前記数学モデルに行わせることにより、未知のペア画像の合格画像及び不合格画像を前記数学モデルに入力すると、当該未知のペア画像の合格画像及び不合格画像が所定のランク以上である場合に当該未知のペア画像の合格画像及び不合格画像の合否を前記第１検査プログラムに判定させることが適切であると前記数学モデルが判定し、前記所定のランク未満である場合に当該未知のペア画像の合格画像及び不合格画像の合否を前記第１検査プログラムに判定させることが不適切であると前記数学モデルが判定するように前記数学モデルを学習させる。
【発明の効果】
【0010】
量産品の合格画像と不合格画像の合否を判定できるように機械学習を行った第１検査プログラムに未知の画像の合否を判定させることが適切であるかどうかを判定できる第２検査プログラムを得ることができる、情報処理装置、情報処理プログラム、及び、情報処理方法を提供することができる。
【図面の簡単な説明】
【0011】
【図1】実施の形態の検査プログラム生成装置１００を含むシステム１を示す図である。
【図2】検査プログラム生成装置１００を実現するコンピュータシステム２０の斜視図である。
【図3】コンピュータシステム２０の本体部２１内の要部の構成を説明するブロック図である。
【図4】検査プログラム生成装置１００の構成を示す図である。
【図5】ランク１～６のペア画像の一例を示す図である。
【図6】検査プログラム生成装置１００が取り扱う画像識別データを示す図である。
【図7】検査部１１による画像の評価とＤＮＮ１１９の学習用及び評価用の画像とに関する条件を示す図である。
【図8】検査部１１による疑似ペア画像１の合格画像と不合格画像の判定結果の分布を示す図である。
【図9】検査部１１による疑似ペア画像２の合格画像と不合格画像の判定結果の分布を示す図である。
【図10】検査プログラム生成装置１００の制御装置１１０が実施する処理を表すフローチャートを示す図である。
【図11】検査プログラム生成装置１００の制御装置１１０が実施する処理を表すフローチャートを示す図である。
【発明を実施するための形態】
【0012】
以下、本発明の情報処理装置、情報処理プログラム、及び、情報処理方法を適用した実施の形態について説明する。
【0013】
＜実施の形態＞
図１は、実施の形態の検査プログラム生成装置１００を含むシステム１を示す図である。システム１は、検査装置１０と検査プログラム生成装置１００とを含む。検査装置１０と検査プログラム生成装置１００とはネットワーク５０によってデータ通信可能に接続されている。ネットワーク５０は、ＬＡＮ(Local Area Network)、ＷＬＡＮ(Wireless LAN)、ＷＡＮ(Wide Area Network)等である。
図１は、実施の形態の検査プログラム生成装置１００を含むシステム１を示す図である。システム１は、検査装置１０と検査プログラム生成装置１００とを含む。検査装置１０と検査プログラム生成装置１００とはネットワーク５０によってデータ通信可能に接続されている。ネットワーク５０は、ＬＡＮ(Local Area Network)、ＷＬＡＮ(Wireless LAN)、ＷＡＮ(Wide Area Network)等である。
【0014】
検査装置１０は、検査部１１とメモリ１２を含む。検査部１１は、検査装置１０に検査プログラムがインストールされることによって実現される機能を表したものであり、メモリ１２は検査装置１０のＲＡＭ(Random Access Memory)、ＲＯＭ(Read Only Memory)、及び／又はＨＤＤ（Hard Disk Drive）等を機能的に表したものである。
【0015】
検査部１１を実現する検査プログラムは、第１機械学習済みの第１検査プログラムの一例であり、検査装置１０を実現するコンピュータシステムの一部を検査部１１として機能させる。
【0016】
検査部１１を実現する検査プログラムは、一例として、同一種類の量産される製品（量産品）についての合格品（良品）のリアル画像と不合格品（不良品）のリアル画像とのペア画像を表す教師データを用いて、合格品と不合格品を正確に判定できるように機械学習を行った機械学習済みのプログラムである。
【0017】
ここで、合格品と不合格品を正確に判定できるとは、所定の確率以上で合格品と不合格品を判定できること（合否を判定できること）をいい、所定の確率は、一例として９５％である。
【0018】
また、合格品とは、所定の量産品について人間が検査を行い、検査に合格した量産品であり、不合格品とは、所定の量産品について人間が検査を行い、検査に合格しなかった量産品である。
【0019】
また、リアル画像とは、被写体に光を照射し、被写体で反射される光によって得られる画像であり、典型的にはカメラ等で被写体を撮影して得る写真画像である。すなわち、合格品のリアル画像とは、検査に合格した合格品についてのリアル画像であり、不合格品のリアル画像とは、検査に合格しなかった量産品についてのリアル画像である。
【0020】
また、合格品のリアル画像と不合格品のリアル画像とは、合格品及び不合格品のいずれであるかの正解が分かっている合格品と不合格品についてのリアル画像であるので、合格品のリアル画像と不合格品のリアル画像とのペア画像を表す教師データとして利用可能なデータである。
【0021】
また、検査プログラム生成装置１００は、合格品のリアル画像と不合格品のリアル画像とに疑似画像生成処理を行うことにより、疑似的な合格品の画像と不合格品の画像とを生成する。
【0022】
疑似とは、良く似ていてひと目見た程度では判別が容易ではないことを言う。量産品の個体差による形状の違い又は位置の違い等は、疑似の範囲に入るものである。また、疑似画像生成処理とは、合格品のリアル画像及び不合格品のリアル画像に良く似た疑似的な合格品の画像と不合格品の画像とを生成する処理である。合格品のリアル画像及び不合格品のリアル画像に対する疑似的な合格品の画像及び不合格品の画像の類似度は、疑似画像生成処理におけるパラメータ等によって調整することができる。
【0023】
以下では、合格品のリアル画像と不合格品のリアル画像と、疑似的な合格品の画像と不合格品の画像とに１～６のランク付けを行う。
【0024】
また、以下では、ランク１の合格画像及び不合格画像とは、それぞれ、合格品のリアル画像、及び、不合格品のリアル画像である。ランク１は、ランク１～６のうちの最高位である。
【0025】
また、疑似的な合格品の画像、及び、不合格品の画像については、２～６のランク付けを行う。ランク２は、最高位から２番目のランクであり、ランク６は最下位である。なお、ランクの意味等については後述する。
【0026】
検査部１１は、上述のように量産される同一種類の所定の量産品についての合格品のリアル画像と不合格品のリアル画像とのペア画像を表す教師データを用いて機械学習を行ってあるが、検査部１１が合否を判定する検査には、下準備等の諸々の処理が伴うため、比較的多くの時間が必要である。また、所定の量産品としては、様々な取引先等から様々な完成度の製品が持ち込まれ、検査部１１で合否の判定を行うことになる。
【0027】
そこで、検査部１１が検査を行う前に、検査部１１が行う検査に適しているかどうかを判定する事前検査プログラムを検査プログラム生成装置１００が生成し、事前検査プログラムで適否を判定する。
【0028】
図２は、検査プログラム生成装置１００を実現するコンピュータシステム２０の斜視図である。図２に示すコンピュータシステム２０は、本体部２１、ディスプレイ２２、キーボード２３、マウス２４、及び通信モジュール２５を含む。
【0029】
本体部２１は、ＣＰＵ（Central Processing Unit：中央演算装置）、ＨＤＤ（Hard Disk Drive：ハードディスクドライブ）、及びディスクドライブ等を内蔵する。ディスプレイ２２は、本体部２１からの指示により画面２２Ａ上に処理結果等を表示する。ディスプレイ２２は、例えば、液晶モニタであればよい。キーボード２３は、コンピュータシステム２０に種々の情報を入力するための入力部である。マウス２４は、ディスプレイ２２の画面２２Ａ上の任意の位置を指定する入力部である。通信モジュール２５は、無線通信で検査装置１０と通信する。
【0030】
コンピュータシステム２０に検査プログラム生成装置１００としての機能を持たせる検査プログラム生成プログラムは、情報処理プログラムの一例であり、ディスク２７等の可搬型記録媒体に格納されるか、通信モジュール２５等の通信装置を使って他のコンピュータシステムの記録媒体２６からダウンロードされ、コンピュータシステム２０に入力されてコンパイルされる。
【0031】
コンピュータシステム２０に検査プログラム生成装置１００としての機能を持たせる検査プログラム生成プログラムは、コンピュータシステム２０を検査プログラム生成装置１００として動作させる。この検査プログラム生成プログラムは、例えばディスク２７等のコンピュータ読み取り可能な記録媒体に格納されていてもよい。コンピュータ読み取り可能な記録媒体は、ディスク２７、ＩＣカードメモリ、フロッピー（登録商標）ディスク等の磁気ディスク、光磁気ディスク、ＣＤ－ＲＯＭ、ＵＳＢ(Universal Serial Bus)メモリ等の可搬型記録媒体に限定されるものではない。コンピュータ読み取り可能な記録媒体は、通信モジュール２５又はＬＡＮ等の通信装置を介して接続されるコンピュータシステムでアクセス可能な各種記録媒体を含む。
【0032】
図３は、コンピュータシステム２０の本体部２１内の要部の構成を説明するブロック図である。本体部２１は、バス３０によって接続されたＣＰＵ３１、ＲＡＭ(Random Access Memory)又はＲＯＭ(Read Only Memory)等を含むメモリ部３２、ディスク２７用のディスクドライブ３３、及びハードディスクドライブ（ＨＤＤ）３４を含む。
【0033】
【0034】
図４は、検査プログラム生成装置１００の構成を示す図である。検査プログラム生成装置１００は、制御装置１１０及び通信部１３０を含む。
【0035】
制御装置１１０は、主制御部１１１、画像取得部１１２、画像生成部１１３、画像取得部１１４、画像生成部１１５、判定結果取得部１１６、ランク付け部１１７、学習処理部１１８、ＤＮＮ１１９（Deep Neural Network）、判定結果取得部１２０、及びメモリ１２１を有する。
【0036】
主制御部１１１、画像取得部１１２、画像生成部１１３、画像取得部１１４、画像生成部１１５、判定結果取得部１１６、ランク付け部１１７、学習処理部１１８、ＤＮＮ１１９、判定結果取得部１２０は、制御装置１１０が実行するプログラムの機能（ファンクション）を機能ブロックとして示したものである。また、メモリ１２１は、検査プログラム生成装置１００のメモリ部３２及びＨＤＤ３４（図３参照）を機能的に表したものである。
【0037】
ここで、前提条件として、検査装置１０（図１参照）の検査部１１が合否を正しく判定した合格画像及び不合格画像を含む複数の判定済ペア画像があり、検査装置１０のメモリ１２に格納されていることとする。判定済ペア画像は、ランク１のペア画像であり、判定済ペア画像の合格画像及び不合格画像は、ランク１の合格画像及び不合格画像である。
【0038】
主制御部１１１は、制御装置１１０の処理を統括する処理部であり、画像取得部１１２、画像生成部１１３、画像取得部１１４、画像生成部１１５、判定結果取得部１１６、ランク付け部１１７、学習処理部１１８、ＤＮＮ１１９、判定結果取得部１２０が行う処理以外の処理を実行する。
【0039】
画像取得部１１２は、第１画像取得部の一例であり、検査装置１０（図１参照）の検査部１１が合否を正しく判定した合格画像及び不合格画像を含む複数の判定済ペア画像を取得する。複数の判定済ペア画像の画像数（ペア数）は、例えば、４０ペア（４０個の合格画像及び４０個の不合格画像）である。
【0040】
画像生成部１１３は、第２画像生成部の一例であり、複数の判定済ペア画像の合格画像及び不合格画像に対して疑似画像生成処理を行い、疑似画像生成処理が行われた合格画像及び不合格画像を含む複数の疑似ペア画像１を生成する。疑似ペア画像１は、第２疑似ペア画像の一例である。
【0041】
画像生成部１１３が行う疑似画像生成処理は、第２疑似画像生成処理の一例であり、例えば変分オートエンコーダ（Variational Auto Encoder (VAE）法とＧＡＮ（Generative Adversarial Network：敵対的生成ネットワーク）とを利用した２段階の処理を行う。
【0042】
画像生成部１１３は、判定済ペア画像の合格画像及び不合格画像に対して、変分オートエンコーダ法による画像処理を行い、この画像処理で得る合格画像及び不合格画像をＧＡＮに学習させて画像処理を行わせることで、疑似ペア画像１を生成する。
【0043】
画像生成部１１３が行う疑似画像生成処理は、判定済ペア画像の合格画像及び不合格画像に対する変更が比較的少ないため、判定済ペア画像の合格画像及び不合格画像に非常に似ているが、厳密には異なる。
【0044】
このように画像生成部１１３が行う疑似画像生成処理は、後述する画像生成部１１５が行う疑似画像生成処理よりも判定済ペア画像に対する画像の変更度合が低い疑似画像を生成する処理である。このため、画像生成部１１３が生成する疑似ペア画像１は、画像生成部１１５が生成する疑似ペア画像２よりも、判定済ペア画像に類似した画像である。
【0045】
画像生成部１１３が生成する疑似ペア画像１は、ランク２のペア画像であり、疑似ペア画像１の合格画像及び不合格画像は、ランク２の合格画像及び不合格画像である。
【0046】
画像取得部１１４は、第２画像取得部の一例であり、検査装置１０の検査部１１に疑似ペア画像１の合格画像及び不合格画像について合否を判定させ、合否が正しく判定された疑似ペア画像１を取得する。なお、検査装置１０の検査部１１によって合否が正しく判定されなかった疑似ペア画像１の合格画像及び不合格画像は、画像取得部１１４によって取得されずに廃棄される。
【0047】
画像生成部１１５は、第１画像生成部の一例であり、複数の判定済ペア画像の合格画像及び不合格画像に対して第１疑似画像生成処理を行った合格画像及び不合格画像を含む疑似ペア画像２を生成する。疑似ペア画像２は、第１疑似ペア画像の一例である。
【0048】
画像生成部１１５が行う疑似画像生成処理は、第１疑似画像生成処理の一例であり、一例として画像生成部１１３と同様に変分オートエンコーダ法とＧＡＮとを利用した２段階の処理を行う。
【0049】
画像生成部１１５は、判定済ペア画像の合格画像及び不合格画像に対して、変分オートエンコーダ法による画像処理を行い、この画像処理で得る合格画像及び不合格画像をＧＡＮに学習させて画像処理を行わせることで、疑似ペア画像２を生成する。
【0050】
このように画像生成部１１５が行う疑似画像生成処理は、画像生成部１１３が行う疑似画像生成処理よりも判定済ペア画像に対する画像の変更度合が高い疑似画像を生成する処理である。このため、画像生成部１１５が生成する疑似ペア画像２は、画像生成部１１３が生成する疑似ペア画像１よりも、判定済ペア画像に類似していない（変更度合が高い）画像である。これは、一例として、変分オートエンコーダ法におけるパラメータの値が画像生成部１１３が行う処理とは異なるからである。
【0051】
画像生成部１１５によって生成される疑似ペア画像２の合格画像及び不合格画像は、検査装置１０の検査部１１によって合否が判定される。
【0052】
また、検査装置１０の検査部１１によって合否が判定された合格画像及び不合格画像を含む疑似ペア画像２は、ランク付け部１１７によってランク付けが行われ、ランク３～６のいずれかに分類される。ランク３～６の疑似ペア画像２に含まれる合格画像及び不合格画像は、それぞれ、ランク３～６の合格画像及び不合格画像である。
【0053】
判定結果取得部１１６は、第１判定結果取得部の一例であり、画像生成部１１５によって生成される疑似ペア画像２の合格画像及び不合格画像について検査装置１０の検査部１１に合否を判定させ、合否の判定結果を取得する。
【0054】
ランク付け部１１７は、画像生成部１１５によって生成された疑似ペア画像２の合格画像及び不合格画像について検査装置１０の検査部１１が合否を判定した判定結果に基づいて、判定の正否に応じてランク付けを行う。ランク付けは、合否が判定された疑似ペア画像２のペア毎に行われる。ランク付け部１１７は、判定の正否に応じて、疑似ペア画像２の合格画像及び不合格画像をランク３～６のいずれかにランク付けする。
【0055】
なお、ランク１、２のペア画像と合格画像及び不合格画像とについては、ランク付け部１１７によるランク付けは行われずに、ランク１、２として取り扱われる。
【0056】
ランク付け部１１７は、疑似ペア画像２の合格画像及び不合格画像の両方が正しく判定されている場合には、ランク３（上から３番目のランク）に分類する。
【0057】
また、ランク付け部１１７は、疑似ペア画像２の合格画像が不合格画像として誤って判定され、不合格画像が不合格画像として正しく判定されている場合には、ランク４（上から４番目のランク）に分類する。
【0058】
また、ランク付け部１１７は、疑似ペア画像２の合格画像が合格画像として正しく判定され、不合格画像が合格画像として誤って判定されている場合には、ランク５（上から５番目のランク）に分類する。
【0059】
また、ランク付け部１１７は、疑似ペア画像２の合格画像が不合格画像として誤って判定され、不合格画像が合格画像として誤って判定されている場合には、ランク６（最下位のランク）に分類する。ランク６は、疑似ペア画像２の合格画像及び不合格画像の両方が誤って判定されている場合である。
【0060】
ランク３～６のうち、ランク４～６は、疑似ペア画像２の合格画像又は不合格画像についての合否が、検査装置１０の検査部１１によって誤判定された場合のランクである。
【0061】
学習処理部１１８は、ランク１の判定済ペア画像と、ランク２の疑似ペア画像１と、ランク３～６の疑似ペア画像２とを用いた機械学習をＤＮＮ１１９に行わせることによって、ＤＮＮ１１９の判定精度が向上するようにＤＮＮ１１９のパラメータの最適化を行う。学習処理部１１８がＤＮＮ１１９に行わせる機械学習は、第２機械学習の一例である。
【0062】
学習処理部１１８は、ＤＮＮ１１９に機械学習を行わせる際に、各ランクの画像を所定数ずつ用いる。所定数は、ランク毎に異なっていてもよい。ランク２の疑似ペア画像１の所定数は、第２所定数の一例であり、ランク３～６の各ランクの疑似ペア画像２の所定数は、第１所定数の一例である。
【0063】
また、ランク６の疑似ペア画像２の所定数は、第３所定数の一例であり、ランク４又は５の疑似ペア画像２の所定数は、第４所定数の一例である。ランク３の疑似ペア画像２の所定数は、第５所定数の一例である。
【0064】
ＤＮＮ１１９は、深層ニューラルネットワーク（Deep Neural Network: DNN）である。ＤＮＮ１１９は、ペア画像の合格画像及び不合格画像が入力されると、ペア画像の合格画像及び不合格画像の合否を検査部１１に判定させることが適切であるかどうかを判定する事前検査プログラムで表される数学モデルを実現している。事前検査プログラムは、第２検査プログラムの一例である。 事前検査プログラムは、未知のペア画像の合格画像及び不合格画像の合否を検査部１１に判定させることが適切であるかどうかを事前に判定するプログラムである。未知のペア画像とは、検査部１１が合否の判定を行っていない合格画像及び不合格画像を含む画像ペアである。
【0065】
ＤＮＮ１１９は、学習処理部１１８によって入力される、ランク１の判定済ペア画像と、ランク２の疑似ペア画像１と、ランク３～６の疑似ペア画像２とを用いた機械学習を行う。この結果、ＤＮＮ１１９のパラメータが最適化され、ＤＮＮ１１９は、事前検査プログラムによって、検査部１１が行う検査に適しているかどうかを約９０％の高い精度で判定可能な状態になる。
【0066】
ＤＮＮ１１９は、機械学習を終えて事前検査プログラムが最適化された状態で、未知のペア画像の合格画像及び不合格画像を読み込む（未知のペア画像の合格画像及び不合格画像が入力される）と、検査部１１が行う検査に適したペア画像であるか（適切なペア画像であるか）、又は、適していないペア画像であるか（不適切なペア画像であるか）を約９０％の高い精度で判定し、判定結果を出力する。
【0067】
検査部１１が行う検査に適切なペア画像であるとは、検査部１１が合格判定又は不合格判定を行うことができるペア画像であることを表す。また、検査部１１が行う検査に不適切なペア画像であるとは、検査部１１が合格判定又は不合格判定を行うことが困難なペア画像であることを表す。
【0068】
具体的には、ＤＮＮ１１９は、未知のペア画像の合格画像及び不合格画像が入力されると、未知のペア画像の合格画像及び不合格画像がランク１～６のいずれに相当するかを判定することによって、検査部１１が行う検査に適切なペア画像であるかどうかを判定する。
【0069】
ここでは、一例として、ＤＮＮ１１９は、入力された未知のペア画像の合格画像及び不合格画像がランク１～５に相当すると、検査部１１が行う検査に適切なペア画像であると判定し、入力された未知のペア画像の合格画像及び不合格画像がランク６に相当すると、検査部１１が行う検査に不適切なペア画像であると判定することとする。
【0070】
検査部１１が未知のペア画像の合格画像及び不合格画像の合否を判定する際の精度には限りがあり、また、検査部１１は未知のペア画像を入力してから合否の判定を行うまでに下準備等で時間が掛かる。このような事情があるので、ＤＮＮ１１９で事前に適切なペア画像であるかどうかを判定することによって検査装置１０及び検査部１１の運用の効率化を図るために、検査プログラム生成装置１００は、ＤＮＮ１１９のパラメータの最適化を行う。検査プログラム生成装置１００は、ＤＮＮ１１９のパラメータの最適化を行うことにより、最適化された状態の事前検査プログラムを生成する。
【0071】
判定結果取得部１２０は、第２判定結果取得部の一例であり、ＤＮＮ１１９が出力する判定結果を取得する。より具体的には、判定結果取得部１２０は、事前検査プログラムが生成されたＤＮＮ１１９によって、未知のペア画像の合格画像及び不合格画像の合否を検査部１１に判定させることが適切かどうかが判定された判定結果を取得する。
【0072】
メモリ１２１は、制御装置１１０が上述のような処理を行うために必要なデータ及びプログラム等を格納する。このプログラムには、コンピュータシステム２０（図２参照）に検査プログラム生成装置１００としての機能を持たせる検査プログラム生成プログラムが含まれる。
【0073】
通信部１３０は、ネットワーク５０を介して検査装置１０と通信を行う。通信部１３０は、図２の通信モジュール２５に対応する。
【0074】
図５は、ランク１～６のペア画像の一例を示す図である。各ランクのペア画像は、左側が合格画像であり、右側が不合格画像である。各ペア画像は、合格画像及び不合格画像を１つずつ含む。また、合格画像と不合格画像を区別するために、一例として各画像にフラグを設定すればよい。合格画像のフラグを"１"に設定し、不合格画像のフラグを"０"に設定すればよい。
【0075】
図５に示すランク１～６のペア画像は、実際のランク１～６のペア画像を２値化してデフォルメした画像である。このため、図５では、ランク２の疑似ペア画像１と、ランク３～６の各ランクの疑似ペア画像とは、ランク１のペア画像（判定済ペア画像）に対する類似度合が低くなっている。
【0076】
一例として示すランク１～６のペア画像は、配線基板に形成される配線パターンの画像である。各画像の下には、検査装置１０の検査部１１による合否の判定結果を示す。ここでは、検査装置１０の検査部１１の判定結果を、各画像に対する合格判定又は不合格判定として示す。各画像についての検査部１１による合否の判定結果を表すデータは、合格画像と不合格画像を区別するためのフラグとともに、各画像のＩＤ(Identifier)と関連付けられる。このような画像を識別するデータについては、図６を用いて後述する。
【0077】
上述したように、ランク１の合格画像と不合格画像は、合格品のリアル画像と不合格品のリアル画像であり、判定済ペア画像の合格画像及び不合格画像である。このため、図５に示すように、ランク１の合格画像は綺麗な配線パターンを表しており、不合格画像は約左半分が欠けた配線パターンを表している。
【0078】
検査装置１０の検査部１１は、ランク１の合格画像に対して合格判定を行い、ランク１の不合格画像に対して不合格判定を行う。すなわち、検査装置１０の検査部１１は、ランク１の合格画像と不合格画像をともに正しく判定する。
【0079】
また、図５に示すランク２の合格画像と不合格画像は、それぞれ、ランク１の合格画像と不合格画像に対して、変分オートエンコーダ法とＧＡＮによる画像処理を利用した疑似画像生成処理を行った疑似ペア画像１の合格画像と不合格画像である。
【0080】
ランク２の合格画像と不合格画像を生成するために、画像生成部１１３は、変分オートエンコーダ法によって、ランク１の合格画像と不合格画像を１００％及び０％の比率で混合した混合合格画像と、ランク１の合格画像と不合格画像を０％及び１００％の比率で混合した混合不合格画像とを作成する。このため、これらの混合合格画像及び混合不合格画像は、それぞれ、ランク１の合格画像と不合格画像（判定済ペア画像の合格画像及び不合格画像）そのものである。
【0081】
そして、画像生成部１１３は、１００％及び０％の比率で混合した混合合格画像と、０％及び１００％の比率で混合した混合不合格画像とをＧＡＮに学習させて画像処理を行うことで、疑似ペア画像１の合格画像と不合格画像（ランク２の合格画像と不合格画像）を生成する。
【0082】
複数のランク１の合格画像と不合格画像を用いれば、複数の混合合格画像及び混合不合格画像を生成することができる。少なくともランク１の合格画像と不合格画像と同一数の混合合格画像及び混合不合格画像を得ることができる。
【0083】
そして、複数の混合合格画像及び混合不合格画像をＧＡＮに学習させることで、さらに多くの疑似ペア画像１の合格画像と不合格画像（ランク２の合格画像と不合格画像）を生成することができる。
【0084】
このようにして生成されるランク２の合格画像と不合格画像は、ランク１の合格画像と不合格画像に非常に良く似た画像になる。
【0085】
ランク２の合格画像及び不合格画像については、検査装置１０の検査部１１の判定結果は、それぞれ合格判定及び不合格判定である。すなわち、検査装置１０の検査部１１は、ランク２の合格画像と不合格画像をともに正しく判定する。
【0086】
また、ランク３～６の合格画像と不合格画像は、ランク１の合格画像と不合格画像に対して、変分オートエンコーダ法とＧＡＮによる画像処理を利用した疑似画像生成処理を行った疑似ペア画像１の合格画像と不合格画像である。ランク３～６の合格画像と不合格画像を生成する処理は、ランク２の合格画像と不合格画像を生成する処理とは、変分オートエンコーダ法におけるランク１の合格画像と不合格画像を混合する割合が異なる。混合する割合は、変分オートエンコーダ法におけるパラメータである。
【0087】
ランク３～６の合格画像と不合格画像を生成するために、画像生成部１１５は、変分オートエンコーダ法によって、ランク１の合格画像及び不合格画像をそれぞれ８０％及び２０％の比率で混合した混合合格画像と、ランク１の合格画像と不合格画像をそれぞれ２０％及び８０％の比率で混合した混合不合格画像とを作成する。
【0088】
そして、画像生成部１１５は、８０％及び２０％の比率で混合した混合合格画像と、２０％及び８０％の比率で混合した混合不合格画像とをＧＡＮに学習させて画像処理を行うことで、疑似ペア画像２の合格画像及び不合格画像（ランク３～６のいずれかの合格画像と不合格画像）を生成する。
【0089】
複数のランク１の合格画像と不合格画像を用いれば、複数の混合合格画像及び混合不合格画像を生成することができる。少なくともランク１の合格画像と不合格画像と同一数の混合合格画像及び混合不合格画像を得ることができる。
【0090】
そして、複数の混合合格画像及び混合不合格画像をＧＡＮに学習させることで、さらに多くの疑似ペア画像２の合格画像と不合格画像（ランク３～６のいずれかの合格画像と不合格画像）を生成することができる。
【0091】
画像生成部１１５によって生成された疑似ペア画像２は、ランク付け部１１７によってランク３～６のいずれかに分類される。
【0092】
図５に示すランク３の合格画像と不合格画像についての検査装置１０の検査部１１の判定結果は、それぞれ合格判定及び不合格判定であり、ともに正しく判定されている。ランク３の合格画像と不合格画像は、ランク２の合格画像と不合格画像よりもランク１の合格画像と不合格画像に似ていないが、合格画像は配線パターンの輪郭が比較的はっきりしており、検査部１１による合格の判定は正しい。また、不合格画像は配線パターンが欠けており、検査部１１による不合格の判定は正しい。
【0093】
また、図５に示すランク４の合格画像及び不合格画像についての検査装置１０の検査部１１の判定結果は、ともに不合格判定である。すなわち、検査部１１は、合格画像を不合格画像として誤って判定し、不合格画像を不合格画像として正しく判定している。
【0094】
ランク４の合格画像と不合格画像は、ランク２の合格画像と不合格画像よりもランク１の合格画像と不合格画像に似ていないが、合格画像は配線パターンの輪郭が比較的はっきりしているため、検査部１１による不合格判定は誤りである。また、不合格画像は配線パターンが欠けており、検査部１１による不合格の判定は正しい。
【0095】
このように、合格画像に対して不合格判定を行うことは、過剰に不合格判定を行う過剰判定である。過剰判定が生じると、合格品が不合格品として扱われて歩留まりが低下するおそれがあるため、過剰判定が行われる確率は低いことが好ましい。
【0096】
また、図５に示すランク５の合格画像及び不合格画像についての検査装置１０の検査部１１の判定結果は、ともに合格判定である。すなわち、検査部１１は、合格画像を合格画像として正しく判定し、不合格画像を合格画像として誤って判定している。
【0097】
ランク５の合格画像と不合格画像は、ランク２の合格画像と不合格画像よりもランク１の合格画像と不合格画像に似ていないが、合格画像は配線パターンの輪郭が比較的はっきりしているため、検査部１１による合格の判定は正しい。また、不合格画像は配線パターンの右端が基準よりも細いため、検査部１１による合格判定は誤りである。
【0098】
このように、不合格画像に対して合格判定を行うことは、不合格画像を見逃す見逃し判定である。見逃し判定が生じると、不合格品が出荷されるおそれがあるため、見逃し判定が行われる確率は低いことが好ましい。
【0099】
図５に示すランク６の合格画像と不合格画像についての検査装置１０の検査部１１の判定結果は、それぞれ不合格判定及び合格判定であり、ともに誤って判定されている。ランク６の合格画像と不合格画像は、ランク２の合格画像と不合格画像よりもランク１の合格画像と不合格画像に似ていないが、合格画像は配線パターンの輪郭が比較的はっきりしているため不合格判定は誤りである。また、不合格画像は配線パターンの右端が基準より細くなっており、検査部１１による合格判定は誤りである。ランク６の合格画像と不合格画像については、合格画像に対して不合格判定を行う過剰判定と、不合格画像に対して合格判定を行う見逃し判定との両方が生じていることになる。
【0100】
図６は、検査プログラム生成装置１００が取り扱う画像識別データを示す図である。図６に示す画像識別データは、合格画像及び不合格画像の各々に割り振られ、判定済ペア画像、疑似ペア画像１、疑似ペア画像２、未知のペア画像の合格画像及び不合格画像について共通である。画像識別データは、メモリ１２１に格納される。
【0101】
画像識別データは、ペア画像ＩＤ(Identifier)、画像ＩＤ、第１合格画像フラグ、第２合格画像フラグ、ランク、判定結果の項目を含む。
【0102】
ペア画像ＩＤは、ペア画像としてのＩＤであり、判定済ペア画像、疑似ペア画像１、疑似ペア画像２、未知のペア画像に割り振られる。判定済ペア画像、疑似ペア画像１、疑似ペア画像２、未知のペア画像のペア画像ＩＤは、互いに識別可能であり、ペア画像ＩＤによって、判定済ペア画像、疑似ペア画像１、疑似ペア画像２、未知のペア画像のいずれであるかを識別可能である。
【0103】
画像ＩＤは、各ペア画像に含まれる合格画像及び不合格画像の各々に割り振られるＩＤである。このため、１つのペア画像に含まれる合格画像及び不合格画像は、それぞれ図６に示す画像識別データを有する。
【0104】
第１合格画像フラグは、人間が行った検査に合格した量産品の合格画像である場合に"１"に設定され、人間が行った検査に合格しなかった量産品の不合格画像である場合に"０"に設定され、人間による検査が行われていない場合には、データが設定されない（"－"になる）。第１合格画像フラグは、ランク１の判定済ペア画像に含まれる合格画像及び不合格画像について"１"及び"０"にそれぞれ設定され、ランク２の疑似ペア画像１とランク３～６の疑似ペア画像２とに含まれる合格画像及び不合格画像については、データが設定されない（"－"になる）。
【0105】
第２合格画像フラグは、検査部１１が行った検査に合格した量産品の合格画像である場合に"１"に設定され、検査部１１が行った検査に合格しなかった量産品の不合格画像である場合に"０"に設定され、検査部１１による検査が行われていない場合には、データが設定されない（"－"になる）。第２合格画像フラグは、ランク１～６のペア画像に含まれる合格画像及び不合格画像について"１"又は"０"にそれぞれ設定される。
【0106】
ランクは、ランク１～６を表す。判定済ペア画像についてはランク１に設定され、疑似ペア画像１についてはランク２に設定され、疑似ペア画像２についてはランク付け部１１７によって分類されたランク（ランク３～６のいずれ）に設定される。
【0107】
判定結果は、判定済ペア画像、疑似ペア画像１、疑似ペア画像２の合格画像及び不合格画像についての検査部１１による合否の判定結果を表し、合格判定の場合は"１"に設定され、不合格判定の場合は"０"に設定される。
【0108】
図６に示す画像識別データは、一例として、判定済ペア画像の合格画像についての画像識別データである。なお、未知のペア画像の場合は、ペア画像ＩＤと画像ＩＤのみを有することになる。
【0109】
図７は、検査部１１による画像の評価とＤＮＮ１１９の学習用及び評価用の画像とに関する条件を示す図である。図７には、ランク１～６の合格画像及び不合格画像についての画像種別、検査部１１による評価用の画像数、検査部１１の判定結果、ＤＮＮ１１９の判定結果、ＤＮＮ１１９の学習用のペア画像数、及びＤＮＮ１１９の評価用のペア画像数を示す。
【0110】
画像種別は、リアル画像、疑似ペア画像１、又は、疑似ペア画像２のいずれであるかを表す。検査部１１による評価用の画像数は、各ランクのペア画像を検査部１１に入力して合否を判定する評価を行う際の合格画像及び不合格画像の画像数を表す。検査部１１の判定結果は、検査部１１による評価（合否判定）の結果を表す。
【0111】
ＤＮＮ１１９の判定結果は、ＤＮＮ１１９に未知のペア画像の合格画像及び不合格画像が入力された場合に、ＤＮＮ１１９が出力する判定結果を示す。上述したように、ここでは一例として、ＤＮＮ１１９は、未知のペア画像の合格画像及び不合格画像がランク１～５に相当する場合に適切と判定し、ランク６に相当する場合に不適切と判定するように設定されている。なお、このような分け方に限られるものではなく、ランク５と６を不適切と判定してもよいし、ランク４～６を不適切と判定してもよいし、ランク４と６を不適切と判定してもよいし、ランク３～６を不適切と判定してもよい。
【0112】
また、ここでは、ＤＮＮ１１９の出力が２段階（適切又は不適切）である形態について説明するが、３段階以上であってもよく、６段階であってもよい。
【0113】
ＤＮＮ１１９の学習用のペア画像数は、ＤＮＮ１１９に機械学習を行わせる際の各ランクのペア画像の数を表す。ＤＮＮ１１９の評価用のペア画像数は、ＤＮＮ１１９の学習が終了した後に、事前検査プログラムを評価する際に入力する各ランクのペア画像の数を表す。
【0114】
ランク１の合格画像及び不合格画像の画像種別はリアル画像であり、検査部１１が合否判定による評価を行う際の合格画像及び不合格画像の画像数は、一例として、それぞれ２０個である。また、検査部１１によるランク１の合格画像及び不合格画像についての合否の判定結果は、それぞれ、合格判定及び不合格判定である。ＤＮＮ１１９の判定結果は適切であり、ＤＮＮ１１９の学習用及び評価用のペア画像の数は、それぞれ、２２５ペアと２５ペアである。
【0115】
ランク２の合格画像及び不合格画像の画像種別は疑似ペア画像１であり、検査部１１が合否判定による評価を行う際の合格画像及び不合格画像の画像数は、一例として、ともに４５個である。また、検査部１１によるランク２の合格画像及び不合格画像についての合否の判定結果は、それぞれ、合格判定及び不合格判定である。
【0116】
また、ＤＮＮ１１９の判定結果は適切であり、ＤＮＮ１１９の学習用及び評価用のペア画像の数は、それぞれ、４００ペアと２５ペアである。
【0117】
ランク３の合格画像及び不合格画像の画像種別は疑似ペア画像２であり、検査部１１によるランク３の合格画像及び不合格画像についての合否の判定結果は、それぞれ、合格判定及び不合格判定である。た、ＤＮＮ１１９の判定結果は適切であり、ＤＮＮ１１９の学習用及び評価用のペア画像の数は、それぞれ、４００ペアと２５ペアである。
【0118】
また、検査部１１が合否判定による評価を行う際のランク３～６の疑似ペア画像２の合格画像及び不合格画像の画像数は、ともに５００個である。これは、ランク３～６の分類が行われていない状態において、検査部１１が合否判定による評価を行うランク３～６のいずれかに相当し得る疑似ペア画像２の合格画像及び不合格画像の画像数が、ともに５００個であることを意味する。
【0119】
５００ペアの疑似ペア画像２は、ＤＮＮ１１９の学習用及び評価用のランク３～６の疑似ペア画像２を得るために用いられる疑似ペア画像２である。
【0120】
ランク４の合格画像及び不合格画像の画像種別は疑似ペア画像２であり、検査部１１によるランク４の合格画像及び不合格画像についての合否の判定結果は、ともに不合格判定である。また、ＤＮＮ１１９の判定結果は適切であり、ＤＮＮ１１９の学習用及び評価用のペア画像の数は、それぞれ、４００ペアと２５ペアである。
【0121】
ランク５の合格画像及び不合格画像の画像種別は疑似ペア画像２であり、検査部１１によるランク５の合格画像及び不合格画像についての合否の判定結果は、ともに合格判定である。また、ＤＮＮ１１９の判定結果は適切であり、ＤＮＮ１１９の学習用及び評価用のペア画像の数は、それぞれ、４００ペアと２５ペアである。
【0122】
ランク６の合格画像及び不合格画像の画像種別は疑似ペア画像２であり、検査部１１によるランク６の合格画像及び不合格画像についての合否の判定結果は、それぞれ、不合格判定及び合格判定である。また、ＤＮＮ１１９の判定結果は不適切であり、ＤＮＮ１１９の学習用及び評価用のペア画像の数は、それぞれ、１６００ペアと２５ペアである。
【0123】
このように、検査部１１が合否判定による評価を行う際の合格画像及び不合格画像の画像数は、ランク１の合格画像及び不合格画像が最も少ない。ランク１の合格画像及び不合格画像はリアル画像であり、検査部１１の合否が正しく行われる可能性が極めて高いため、ＤＮＮ１１９の学習用及び評価用のランク１の合格画像及び不合格画像を得るためには、２０個ずつあれば足りるからである。
【0124】
また、検査部１１が合否判定による評価を行う際の合格画像及び不合格画像の画像数は、ランク２の合格画像及び不合格画像では、４５個ずつに設定されている。ランク２の合格画像及び不合格画像は、ランク１の合格画像及び不合格画像に非常に似ており、検査部１１の合否が正しく行われる可能性が高いため、ＤＮＮ１１９の学習用及び評価用のランク２の合格画像及び不合格画像を得るためには、ランク１の２倍程度の画像数で足りるからである。
【0125】
また、検査部１１が合否判定による評価を行う際の合格画像及び不合格画像の画像数は、ランク３～６のいずれかに相当し得る疑似ペア画像２の合格画像及び不合格画像の画像数が最も多い。ＤＮＮ１１９の学習及び評価には、ランク３～６の各々について所定数以上の疑似ペア画像２の合格画像及び不合格画像を用いるため、画像数がそれなりに多いことが好ましいからである。このため、５００個に設定されている。
【0126】
また、ランク１の合格画像及び不合格画像についてのＤＮＮ１１９の学習用のペア画像数は最も少なく設定されている。これは、ランク１の合格画像及び不合格画像はリアル画像であるため、比較的少ない画像数で足りるからである。
【0127】
また、ランク２～５の合格画像及び不合格画像についてのＤＮＮ１１９の学習用のペア画像数は２番目に少なく設定されている。ランク２～５の合格画像及び不合格画像は、ランク１の合格画像及び不合格画像に対する変更分を含むので、ＤＮＮ１１９がランク２～５の合格画像及び不合格画像を学習するのに十分な画像数を確保するために、ランク１よりも学習用の画像数を増やしてある。
【0128】
また、ランク６の合格画像及び不合格画像についてのＤＮＮ１１９の学習用のペア画像数は、最も多くなるように設定されている。ランク６については、合格画像及び不合格画像の両方を誤判定するケースであるため、ＤＮＮ１１９がランク６の合格画像及び不合格画像を学習するのに十分な画像数を確保するために、ランク２～５よりも学習用の画像数を増やしてある。
【0129】
また、ランク１～６の合格画像及び不合格画像についてのＤＮＮ１１９の評価用のペア画像数はすべて同一である。これは、同一数のランク１～６の合格画像及び不合格画像をＤＮＮ１１９で評価するためである。
【0130】
【0131】
図８において、横軸はサンプル番号であり、合格画像の判定結果を白丸（○）のマーカで示し、不合格画像の判定結果を黒丸（●）のマーカで示す。サンプル番号が約４０以下は不合格画像の判定結果であり、サンプル番号が約４０以上は合格画像の判定結果である。また、縦軸は検査部１１の判定値であり、閾値以上が合格であり、閾値未満が不合格である。
【0132】
図８に示すように、検査部１１は、すべての合格画像を合格と判定しており、すべての不合格画像を不合格と判定している。このように、検査部１１による疑似ペア画像１の合格画像と不合格画像の判定精度は非常に高い。
【0133】
図９は、検査部１１による疑似ペア画像２の合格画像と不合格画像の判定結果の分布を示す図である。横軸、縦軸、及びマーカの意味は、図８と同様であり、図９に示す判定結果は、検査部１１が実際に判定を行った結果である。図９には、図８よりも多くのサンプルについての判定結果を示す。
【0134】
図９に示すように、集合Ａ～Ｄが得られた。集合Ａは、検査部１１が合格画像を合格と正しく判定したサンプルの集合である。集合Ｂは、検査部１１が合格画像を不合格と誤って判定した過剰判定のサンプルの集合である。集合Ｃは、検査部１１が不合格画像を不合格と正しく判定したサンプルの集合である。集合Ｄは、検査部１１が不合格画像を合格と誤って判定した見逃し判定のサンプルの集合である。
【0135】
集合ＡとＣは、ランク３～６の疑似ペア画像２の合格画像と不合格画像を検査部１１がそれぞれ正しく判定したサンプルの集合であり、集合ＢとＤは、ランク３～６の疑似ペア画像２の合格画像と不合格画像を検査部１１がそれぞれ誤って判定したサンプルの集合である。集合ＡとＣに比べると、誤判定が行われた集合ＢとＤのサンプル数は少ない。
【0136】
集合Ａ～Ｄのうち、集合ＢとＤは、リアル画像の合格画像と不合格画像では得難い過剰判定と見逃し判定のサンプルの集合である。このような集合ＢとＤに属する判定結果をＤＮＮ１１９の機械学習に用いれば、誤判定を減らすことができ、ＤＮＮ１１９の判定精度を向上させることができる。
【0137】
このため、検査プログラム生成装置１００は、判定済ペア画像（ランク１）に基づいて、ランク３～６の疑似ペア画像２を生成し、ランク３～６の疑似ペア画像２を教師データとしてＤＮＮ１１９に入力して、ＤＮＮ１１９に機械学習を行わせている。
【0138】
また、検査プログラム生成装置１００は、さらにランク２の疑似ペア画像２を教師データとしてＤＮＮ１１９に入力して、ＤＮＮ１１９に機械学習を行わせている。ランク２の疑似ペア画像２を用いるのは、主にサンプル数を増やすためである。
【0139】
【0140】
処理の前提条件として、検査装置１０（図１参照）の検査部１１が合否を正しく判定した合格画像及び不合格画像を含む複数の判定済ペア画像がメモリ１２に格納されていることとする。また、ＤＮＮ１１９の機械学習が終わった時点で適切なペア画像であるか、又は、不適切なペア画像であるかを判定するための１又は複数の未知のペア画像がメモリ１２１に格納されていることとする。
【0141】
画像取得部１１２は、検査装置１０から判定済ペア画像を取得する（ステップＳ１）。主制御部１１１が通信部１３０を介して検査装置１０からネットワーク５０を介して判定済ペア画像を受信し、受信した判定済ペア画像を画像取得部１１２が取得する。
【0142】
主制御部１１１は、画像取得部１１２が取得した判定済ペア画像を所定の分配比率で学習用の判定済ペア画像と、評価用の判定済ペア画像とに分け、ペア画像を生成してメモリ１２１に格納する（ステップＳ２）。
【0143】
例えば、検査装置１０から２０ペアの判定済ペア画像を取得した場合には、所定の分配比率は、一例として１５ペアと５ペアである。主制御部１１１は、１５ペアの判定済ペア画像に含まれる１５個ずつの合格画像及び不合格画像から、２２５ペア（１５個×１５個の組み合わせで得る２２５ペア）の学習用の判定済ペア画像を作成するとともに、５ペアの判定済ペア画像に含まれる５個ずつの合格画像及び不合格画像から、２５ペア（５個×５個の組み合わせで得る２５ペア）の評価用の判定済ペア画像を作成し、メモリ１２１に格納する。
【0144】
画像生成部１１３は、複数の判定済ペア画像の合格画像及び不合格画像に対して疑似画像生成処理を行い、疑似画像生成処理が行われた合格画像及び不合格画像を含む複数の疑似ペア画像１を生成する（ステップＳ３）。複数の判定済ペア画像のペア数は、一例として２０ペアである。
【0145】
例えば、画像生成部１１３は、複数の判定済ペア画像に対して疑似画像生成処理を行うことにより、４５個ずつの疑似画像生成処理が行われた合格画像及び不合格画像を含む４５ペアの疑似ペア画像１を生成する。
【0146】
画像取得部１１４は、検査装置１０の検査部１１に４５ペアの疑似ペア画像１の合格画像及び不合格画像について合否を判定させる（ステップＳ４）。
【0147】
画像取得部１１４は、主制御部１１１に通信部１３０を介して検査装置１０に複数の疑似ペア画像１を送信させ、検査装置１０の検査部１１に疑似ペア画像１の合格画像及び不合格画像について合否を判定させる。
【0148】
画像取得部１１４は、検査部１１によって合否が正しく判定された疑似ペア画像１を取得する（ステップＳ５）。より具体的には、画像取得部１１４は、検査装置１０で合否が判定された合格画像及び不合格画像を含む複数の疑似ペア画像１と、合否の判定結果とを主制御部１１１に受信させる。合否の判定結果は、画像識別データ（図６参照）に登録される。
【0149】
そして、画像取得部１１４は、受信された複数の疑似ペア画像１のうち、検査装置１０で合否が正しく判定された合格画像及び不合格画像を含む疑似ペア画像１を取得する。
【0150】
疑似ペア画像１に含まれる２つの画像のいずれが合格画像であるかは画像識別データの第２合格画像フラグの値で判別できるため、合否の判定結果と照合して一致していれば正しく判定されており、一致していなければ誤って判定されていることになる。
【0151】
なお、疑似ペア画像１は、判定済ペア画像の合格画像及び不合格画像に非常に似ているため、ここではすべての疑似ペア画像１の合格画像及び不合格画像の合否が正しく判定されることを想定している。
【0152】
このように、疑似ペア画像１に含まれる合格画像及び不合格画像と、合否の判定結果とを照合して一致した合格画像及び不合格画像のペアを取得すれば、画像取得部１１４は、検査装置１０の検査部１１で合否が正しく判定された疑似ペア画像１を取得することができる。
【0153】
主制御部１１１は、所定のペア数の疑似ペア画像１が取得できたかどうかを判定する（ステップＳ６）。所定のペア数の疑似ペア画像１には、所定のペア数と同一数の合格画像及び不合格画像が含まれる。所定のペア数の疑似ペア画像１に含まれる合格画像及び不合格画像の数は、第２所定数の一例である。
【0154】
主制御部１１１は、ステップＳ６で所定のペア数の疑似ペア画像１が取得できた（Ｓ６：ＹＥＳ）と判定すると、画像取得部１１４が取得した疑似ペア画像１を所定の分配比率で学習用の疑似ペア画像１と、評価用の疑似ペア画像１とに分けてメモリ１２１に格納する（ステップＳ７）。
【0155】
例えば、画像取得部１１４によって４５ペアの疑似ペア画像１が取得された場合には、所定の分配比率は、一例として２０ペアと２５ペアである。主制御部１１１は、２０ペアの疑似ペア画像１に含まれる２０個ずつの合格画像及び不合格画像から、４００ペア（２０個×２０個の組み合わせで得る４００ペア）の学習用の疑似ペア画像１を作成してメモリ１２１に格納する。また、主制御部１１１は、２５ペアの疑似ペア画像１を２５ペアの評価用の疑似ペア画像１としてメモリ１２１に格納する。
【0156】
なお、主制御部１１１は、ステップＳ６で所定のペア数の疑似ペア画像１が取得できていない（Ｓ６：ＮＯ）と判定すると、フローをステップＳ３にリターンする。
【0157】
画像生成部１１５は、複数の判定済ペア画像の合格画像及び不合格画像に対して疑似画像生成処理を行った合格画像及び不合格画像を含む疑似ペア画像２を生成する（ステップＳ８）。ここでは、一例として、５００個ずつの合格画像及び不合格画像を含む５００ペアの疑似ペア画像２が生成される。
【0158】
判定結果取得部１１６は、検査装置１０の検査部１１にステップＳ８で生成された疑似ペア画像２の合格画像及び不合格画像について合否を判定させ、合否の判定結果を取得する（ステップＳ９）。合否の判定結果は、画像識別データ（図６参照）に登録される。
【0159】
ランク付け部１１７は、ステップＳ９で取得された判定結果の正否に基づいて、ステップＳ８で生成された疑似ペア画像２のランク付けを行う（ステップＳ１０）。この結果、疑似ペア画像２がランク３～６のいずれかにランク付けされる。ランクは、画像識別データ（図６参照）に登録される。
【0160】
主制御部１１１は、ランク３～６の各々について、所定のペア数の疑似ペア画像２が取得できたかどうかを判定する（ステップＳ１１）。ランク３～５については４５ペアであり、ランク６については６５ペアである。
【0161】
主制御部１１１は、ステップＳ１１において各ランクについて所定のペア数の疑似ペア画像２が取得できた（Ｓ１１：ＹＥＳ）と判定すると、ステップＳ１２において次のような処理を行う（ステップＳ１２）。
【0162】
ステップＳ１２において、主制御部１１１は、ランク付け部１１７によってランク分けされた疑似ペア画像２をランク毎に所定の分配比率で学習用の疑似ペア画像２と、評価用の疑似ペア画像２とに分け、学習用の疑似ペア画像２については、疑似ペア画像２に含まれる合格画像と不合格画像とを組み合わせて、ペア数を所定数に増やしてメモリ１２１に格納する。評価用の疑似ペア画像２は、メモリ１２１にそのまま格納される。
【0163】
例えば、ランク３～５については４５ペアの疑似ペア画像２を所定の分配比率に従って学習用の２０ペアと評価用の２５ペアに分配する。また、学習用の２０ペアの疑似ペア画像２に含まれる２０個ずつの合格画像及び不合格画像から、４００ペア（２０個×２０個の組み合わせで得る４００ペア）の学習用の疑似ペア画像２を作成してメモリ１２１に格納する。評価用の２５ペアの疑似ペア画像２については、そのままメモリ１２１に格納する。
【0164】
また、ランク６については６５ペアの疑似ペア画像２を所定の分配比率に従って学習用の４０ペアと評価用の２５ペアに分配する。また、学習用の４０ペアの疑似ペア画像２に含まれる４０個ずつの合格画像及び不合格画像から、１６００ペア（４０個×４０個の組み合わせで得る１６００ペア）の学習用の疑似ペア画像２を作成してメモリ１２１に格納する。評価用の２５ペアの疑似ペア画像２については、そのままメモリ１２１に格納する。
【0165】
なお、主制御部１１１は、ステップＳ１１において各ランクについて所定のペア数の疑似ペア画像２が取得できていない（Ｓ１１：ＮＯ）と判定すると、フローをステップＳ８にリターンする。この結果、ステップＳ８において新たな５００ペアの疑似ペア画像２が生成される。
【0166】
ステップＳ１１で所定のペア数の疑似ペア画像２が取得できていないと判定されるのは、例えば、ランク３～６のうちのいずれかのランクの疑似ペア画像２が、所定のペア数未満であった場合である。
【0167】
次いで、学習処理部１１８は、メモリ１２１からランク１の学習用の判定済ペア画像、ランク２の学習用の疑似ペア画像１、及びランク３～６の学習用の疑似ペア画像２を読み出し、ＤＮＮ１１９に入力して機械学習を行わせることによって、ＤＮＮ１１９のパラメータの最適化を行う（ステップＳ１３）。この処理により、事前検査プログラムの判定精度が向上する。
【0168】
次いで、学習処理部１１８は、メモリ１２１からランク１の評価用の判定済ペア画像、ランク２の評価用の疑似ペア画像１、及びランク３～６の評価用の疑似ペア画像２を読み出し、ＤＮＮ１１９に入力して判定結果を入手し、ＤＮＮ１１９を評価する（ステップＳ１４）。ランク１～５のペア画像を入力してＤＮＮ１１９が適切であると判定すれば、ＤＮＮ１１９の判定結果は妥当である。また、ランク６のペア画像を入力してＤＮＮ１１９が適切ではないと判定すれば、ＤＮＮ１１９の判定結果は妥当である。これ以外の場合は、ＤＮＮ１１９の判定結果は妥当ではない。
【0169】
学習処理部１１８は、ＤＮＮ１１９の判定結果が妥当である確率が所定の閾値以上であるかどうかを判定する（ステップＳ１５）。所定の閾値は、一例として、約９０％である。
【0170】
学習処理部１１８がＤＮＮ１１９の判定結果が妥当である確率が所定の閾値以上ではない（Ｓ１５：ＮＯ）と判定すると、主制御部１１１はフローをステップＳ３にリターンする。
【0171】
また、学習処理部１１８は、ＤＮＮ１１９の判定結果が妥当である確率が所定の閾値以上である（Ｓ１５：ＹＥＳ）と判定すると、所定の未知のペア画像の合格画像及び不合格画像をＤＮＮ１１９に入力する（ステップＳ１６）。なお、このときに、ＤＮＮ１１９に入力する画像のフォーマットを変換する必要があれば、所定の未知のペア画像の合格画像及び不合格画像のフォーマットをＤＮＮ１１９用のフォーマットに変換してからＤＮＮ１１９に入力すればよい。
【0172】
判定結果取得部１２０は、ＤＮＮ１１９の判定結果を取得する（ステップＳ１７）。判定結果は、未知のペア画像が検査部１１の検査に適切なペア画像であるか、又は、不適切なペア画像であるかを表す。
【0173】
主制御部１１１は、ＤＮＮ１１９に入力する未知のペア画像が他にあるかどうかを判定する（ステップＳ１８）。
【0174】
主制御部１１１は、未知のペア画像が他にある（Ｓ１８：ＹＥＳ）と判定すると、フローをステップＳ１６にリターンする。
【0175】
主制御部１１１は、未知のペア画像が他にない（Ｓ１８：ＮＯ）と判定すると、一連の処理を終了する（エンド）。
【0176】
以上のように、検査プログラム生成装置１００は、リアル画像の合格画像及び不合格画像を含む判定済ペア画像（ランク１）から、ランク２の疑似ペア画像１と、ランク３～６の疑似ペア画像２とを生成する。ランク２の疑似ペア画像１と、ランク３～６の疑似ペア画像２とは、判定済ペア画像に対して疑似画像生成処理を行うことによって生成され、ランク２の疑似ペア画像１よりも、ランク３～６の疑似ペア画像２の方が判定済ペア画像からの変更度合が大きい。
【0177】
このようなランク２の疑似ペア画像１と、ランク３～６の疑似ペア画像２とは、疑似画像生成処理によって多数生成することができる。また、ランク２の疑似ペア画像１、及び、ランク３～６の疑似ペア画像２の合格画像及び不合格画像について、検査部１１によって合否がどのように判定されたかを表す判定結果が画像識別データ（図６参照）に登録されている。
【0178】
このため、ランク２の疑似ペア画像１、及び、ランク３～６の疑似ペア画像２は、ＤＮＮ１１９に所定の量産品についての未知の合格画像及び不合格画像がランク１～６のうちのいずれに相当するかを判定する手法を機械学習で学ばせるための教師データとして用いることができる。
【0179】
そして、ＤＮＮ１１９に未知の合格画像及び不合格画像を入力すれば、ＤＮＮ１１９は、未知のペア画像の合格画像及び不合格画像の合否を検査部１１に判定させることが適切であるかどうかを判定することができる。ＤＮＮ１１９は、未知の合格画像及び不合格画像がランク１～５に相当すると判定すれば適切であると判定し、ランク６に相当すると判定すれば不適切であると判定する。
【0180】
したがって、未知のペア画像の合格画像及び不合格画像の合否を検査部１１に判定させることが適切であるかどうかを判定できるＤＮＮ１１９（事前検査プログラム）を得ることができる、検査プログラム生成装置１００（情報処理装置）、情報処理プログラム、及び、情報処理方法を提供することができる。
【0181】
また、検査部１１は検査に時間が掛かるため、ＤＮＮ１１９で未知のペア画像の合格画像及び不合格画像が検査部１１による検査に適切であるかどうかを予め判定することによって、検査部１１の運用の効率化を図ることができる。
【0182】
なお、以上では配線パターンの合格画像と不合格画像を含むペア画像を用いて説明したが、配線パターンに限られるものではなく、量産される製品（量産品）の合格画像と不合格画像を含むペア画像であれば、どのようなペア画像であってもよい。
【0183】
また、以上では、ランク２の疑似ペア画像１を用いて機械学習を行う形態について説明したが、ランク２の疑似ペア画像１を用いなくてもよい。
【0184】
また、以上では、ランク３～６の疑似ペア画像２を用いて機械学習を行う形態について説明したが、疑似ペア画像２については、ランク３～６のすべてを用いなくてもよい。ランク３～６のうち、最も重要度が高いのは、合格画像及び不合格画像がともに誤判定されるランク６である。このため、疑似ペア画像２については、ランク６のみを用いてもよい。
【0185】
また、ランク４（過剰判定）とランク５（見逃し判定）については、いずれか一方でもよい。例えば、ランク４と５のうちどちらかに生じ難い傾向がある場合は、生じにくい傾向を示すランクを用いなくてもよい。また、製品の種類等に応じてどちらか一方を選択しても良い。
【0186】
また、ランク３を用いずに、例えば、ランク４～６を用いるようにしてもよい。ランク４～６は、合格画像及び不合格画像のうちの少なくとも一方が誤判定だからである。
【0187】
また、以上では、ランク２の疑似ペア画像１とランク３～６の疑似ペア画像２とを生成するための疑似画像生成処理が変分オートエンコーダ法による処理と、ＧＡＮを利用した処理とを含む形態について説明した。
【0188】
しかしながら、疑似画像生成処理は、変分オートエンコーダ法による処理と、ＧＡＮを利用した処理とを含む処理に限られるものではない。例えば、変分オートエンコーダ法による処理の代わりに、合格画像と不合格画像とを任意の割合で混合する処理を行ってもよいし、合格画像と不合格画像との平均画像を求める平均化処理を行ってもよい。平均化処理の場合には、例えば、４枚の合格画像と１枚の不合格画像との平均を取れば、合格画像及び不合格画像が８０：２０の平均画像を生成することができる。
【0189】
また、ＧＡＮを利用した処理の代わりに、疑似画像を作る処理として、ノイズを重畳する画像処理、画像を平行移動、回転、スムージング（平滑化）、拡大、又は縮小等する処理を用いてもよい。
【0190】
また、以上では、ランク２の合格画像と不合格画像を生成するために、変分オートエンコーダ法でランク１の合格画像と不合格画像を１００％及び０％の比率で混合した混合合格画像と、ランク１の合格画像と不合格画像を０％及び１００％の比率で混合した混合不合格画像とを作成する形態について説明した。これは、実質的に変分オートエンコーダ法による処理を行っていないことに相当する。
【0191】
しかしながら、ランク２の合格画像と不合格画像を生成するための合格画像及び不合格画像の混合比は１００％及び０％に限らず、合格画像と不合格画像を混合してもよい。
【0192】
また、以上では、ランク３～６の合格画像と不合格画像を生成するために、変分オートエンコーダ法で、ランク１の合格画像及び不合格画像をそれぞれ８０％及び２０％の比率で混合した混合合格画像と、ランク１の合格画像と不合格画像をそれぞれ２０％及び８０％の比率で混合した混合不合格画像とを作成する形態について説明した。
【0193】
しかしながら、ランク３～６の合格画像と不合格画像を生成するための混合比率は８０％：２０％と、２０％：８０％に限らず、混合比を適宜変更してもよい。
【0194】
以上、本発明の例示的な実施の形態の情報処理装置、情報処理プログラム、及び、情報処理方法について説明したが、本発明は、具体的に開示された実施の形態に限定されるものではなく、特許請求の範囲から逸脱することなく、種々の変形や変更が可能である。
【符号の説明】
【0195】
１０ 検査装置
１１ 検査部
１００ 検査プログラム生成装置
１１０ 制御装置
１１１ 主制御部
１１２ 画像取得部
１１３ 画像生成部
１１４ 画像取得部
１１５ 画像生成部
１１６ 判定結果取得部
１１７ ランク付け部
１１８ 学習処理部
１１９ ＤＮＮ
１２０ 判定結果取得部
１２１ メモリ
１３０ 通信部
１１ 検査部
１００ 検査プログラム生成装置
１１０ 制御装置
１１１ 主制御部
１１２ 画像取得部
１１３ 画像生成部
１１４ 画像取得部
１１５ 画像生成部
１１６ 判定結果取得部
１１７ ランク付け部
１１８ 学習処理部
１１９ ＤＮＮ
１２０ 判定結果取得部
１２１ メモリ
１３０ 通信部
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】