特開 2024-18627 推論システム、推論方法及び推論プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024018627

(43)【公開日】2024-02-08

(54)【発明の名称】推論システム、推論方法及び推論プログラム

(51)【国際特許分類】

   G06V 10/70 20220101AFI20240201BHJP

   G06N 20/00 20190101ALI20240201BHJP

   G06T 7/00 20170101ALI20240201BHJP

【ＦＩ】

G06V10/70

G06N20/00

G06T7/00 350B

【審査請求】未請求

【請求項の数】7

【出願形態】ＯＬ

(21)【出願番号】P 2022122068

(22)【出願日】2022-07-29

(71)【出願人】

【識別番号】391021684

【氏名又は名称】菱洋エレクトロ株式会社

(74)【代理人】

【識別番号】110000523

【氏名又は名称】アクシス国際弁理士法人

(72)【発明者】

【氏名】平野 元洋

(72)【発明者】

【氏名】亀岡 瑶

(72)【発明者】

【氏名】原 泰彦

(72)【発明者】

【氏名】藤井 浩

(72)【発明者】

【氏名】青木 英介

(72)【発明者】

【氏名】牧野 寛樹

(72)【発明者】

【氏名】瓜生 博明

(72)【発明者】

【氏名】上野 正汰

(72)【発明者】

【氏名】野村 真子

【テーマコード（参考）】

5L096

【Ｆターム（参考）】

5L096AA02

5L096BA03

5L096DA01

5L096EA05

5L096EA06

5L096EA39

5L096GA19

5L096HA11

5L096KA04

5L096KA15

(57)【要約】

【課題】より簡便に、不良の原因となった問題工程を特定することができる推論システム、推論方法及び推論プログラムを提供する。
【解決手段】推論システムは、品質不良推論モデル、品質不良推論部、問題工程推論モデル、及び問題工程推論部を有する。前記品質不良推論モデルは、被検査対象物の撮像画像に基づいて、前記被検査対象物の品質不良の推論を行うように学習される。前記品質不良推論部は、前記撮像画像に基づいて、前記品質不良推論モデルを用いて前記品質不良を推論し、品質不良情報を出力する。前記問題工程推論モデルは、前記品質不良情報に基づいて、前記品質不良の原因となった問題工程の推論を行うように学習される。前記問題工程推論部は、前記品質不良情報に基づいて、前記問題工程推論モデルを用いて前記問題工程を推論し、問題工程情報を出力する。
【選択図】図２

【特許請求の範囲】

【請求項1】

被検査対象物の撮像画像に基づいて、前記被検査対象物の品質不良の推論を行うように学習された品質不良推論モデルと、
前記撮像画像に基づいて、前記品質不良推論モデルを用いて前記品質不良を推論し、品質不良情報を出力する品質不良推論部と、
前記品質不良情報に基づいて、前記品質不良の原因となった問題工程の推論を行うように学習された問題工程推論モデルと、
前記品質不良情報に基づいて、前記問題工程推論モデルを用いて前記問題工程を推論し、問題工程情報を出力する問題工程推論部と、
を有する推論システム。

【請求項2】

前記問題工程推論モデルは、前記品質不良情報を入力データとし、前記問題工程を正解データとする問題工程学習データに基づいて、学習される、請求項１に記載の推論システム。

【請求項3】

前記品質不良推論部は、前記撮像画像を所定推論領域に分割し、前記所定推論領域の各々について、前記品質不良情報を出力する、請求項１に記載の推論システム。

【請求項4】

前記品質不良情報は、前記品質不良の種別を示す不良種別情報と、前記品質不良の深刻度を示す深刻度情報を含む、請求項１に記載の推論システム。

【請求項5】

前記問題工程推論モデルは、前記不良種別情報及び前記深刻度情報の各々に対応付けられた重み量を有し、
前記問題工程推論部は、前記不良種別情報及び前記深刻度情報の各々に、前記不良種別情報及び前記深刻度情報の各々に対応付けられた前記重み量の各々を演算し、前記問題工程情報を算出する、
請求項４に記載の推論システム。

【請求項6】

被検査対象物の撮像画像に基づいて、前記被検査対象物の品質不良の推論を行うように学習された品質不良推論モデルと、品質不良情報に基づいて、前記品質不良の原因となった問題工程の推論を行うように学習された問題工程推論モデルとを用意し、
前記撮像画像に基づいて、前記品質不良推論モデルを用いて前記品質不良を推論し、前記品質不良情報を出力し、
前記品質不良情報に基づいて、前記問題工程推論モデルを用いて前記問題工程を推論し、問題工程情報を出力する、
を有する推論方法。

【請求項7】

被検査対象物の撮像画像に基づいて、前記被検査対象物の品質不良の推論を行うように学習された品質不良推論モデルを用いて前記品質不良を推論し、品質不良情報を出力する品質不良推論部のプログラムと、
前記品質不良情報に基づいて、前記品質不良の原因となった問題工程の推論を行うように学習された問題工程推論モデルを用いて前記問題工程を推論し、問題工程情報を出力する問題工程推論部のプログラムと、
を有する推論プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、推論システム、推論方法及び推論プログラムに関する。

【背景技術】

【0002】

従来、検査対象物の良否を判定する外観検査装置がある。例えば、特開２０１０－２４９５４７号公報には、予め設定された判定基準に従って検査対象物の良否を判定し、その良否判定結果に基づいて、所定期間内に検査された検査対象物の総数あるいは所定数量の検査対象物に対して不良品と判定された比率を示す不良品率が、判定基準の作成時において想定される不良品率よりも高い場合、外観検査装置自体または外観検査装置による検査工程の前工程の何れかに変化が発生したと判定する、外観検査装置が開示される。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１０－２４９５４７号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、特開２０１０－２４９５４７号公報に記載の外観検査装置では、外観検査装置自体または外観検査装置による検査工程の前工程の何れかに変化が発生したことを判定できるものの、不良品率に変化が生じていないときや、製造条件の変更がないにも関わらず不良品が発生しているとき、製造条件の変更が広範囲にわたるとき等、不良の原因となっている具体的な前工程の特定が困難である。

【0005】

そこで、本発明は、より簡便に、不良の原因となった問題工程を特定することができる推論システム、推論方法及び推論プログラムを提供することを目的とする。

【課題を解決するための手段】

【0006】

本発明の一態様の推論システムは、品質不良推論モデル、品質不良推論部、問題工程推論モデル、及び問題工程推論部を有する。前記品質不良推論モデルは、被検査対象物の撮像画像に基づいて、前記被検査対象物の品質不良の推論を行うように学習される。前記品質不良推論部は、前記撮像画像に基づいて、前記品質不良推論モデルを用いて前記品質不良を推論し、品質不良情報を出力する。前記問題工程推論モデルは、前記品質不良情報に基づいて、前記品質不良の原因となった問題工程の推論を行うように学習される。前記問題工程推論部は、前記品質不良情報に基づいて、前記問題工程推論モデルを用いて前記問題工程を推論し、問題工程情報を出力する。

【0007】

本発明の一態様の推論方法は、被検査対象物の撮像画像に基づいて、前記被検査対象物の品質不良の推論を行うように学習された品質不良推論モデルと、品質不良情報に基づいて、前記品質不良の原因となった問題工程の推論を行うように学習された問題工程推論モデルとを用意し、前記撮像画像に基づいて、前記品質不良推論モデルを用いて前記品質不良を推論し、前記品質不良情報を出力し、前記品質不良情報に基づいて、前記問題工程推論モデルを用いて前記問題工程を推論し、問題工程情報を出力する。

【0008】

本発明の一態様の推論プログラムは、品質不良推論部のプログラム及び問題工程推論部のプログラムを有する。前記品質不良推論部のプログラムは、被検査対象物の撮像画像に基づいて、前記被検査対象物の品質不良の推論を行うように学習された品質不良推論モデルを用いて前記品質不良を推論し、品質不良情報を出力する。前記問題工程推論部のプログラムは、前記品質不良情報に基づいて、前記品質不良の原因となった問題工程の推論を行うように学習された問題工程推論モデルを用いて前記問題工程を推論し、問題工程情報を出力する。

【発明の効果】

【0009】

本発明によれば、より簡便に、不良の原因となった問題工程を特定することができる推論システム、推論方法及び推論プログラムを提供することができる。

【図面の簡単な説明】

【0010】

【図1】本発明の実施形態に係る推論システムの一例を示す全体構成図である。

【図2】本発明の実施形態に係る推論システムにおける、エッジとサーバを説明するための説明図である。

【図3】本発明の実施形態に係る推論システムにおける、画像送信部、前処理部及び品質不良学習部の各々の処理を説明するための説明図である。

【図4】本発明の実施形態に係る推論システムにおける、品質不良推論部の処理を説明するための説明図である。

【図5】本発明の実施形態に係る推論システムにおける、問題工程送信部及び問題工程学習部の各々の処理を説明するための説明図である。

【図6】本発明の実施形態に係る推論システムにおける、問題工程推論部の処理を説明するための説明図である。

【図7】本発明の実施形態に係る推論システムにおける、推論処理を説明するための説明図である。

【図8】本発明の実施形態に係る推論システムにおける、推論処理を説明するためのフローチャートである。

【発明を実施するための形態】

【0011】

以下、図面を参照しながら実施形態を説明する。

【0012】

図１は、推論システム１の一例を示す全体構成図である。推論システム１は、被検査対象物の生産工程において、被検査対象物の品質不良や、被検査対象物の品質不良の原因となる問題工程を推論する。実施形態では、一例として、生産工程は、回路チップの生産工程であり、被検査対象物は、回路チップである。

【0013】

図１に示すように、推論システム１は、エッジ１０とサーバ２０を有する。エッジ１０は、複数設けることができ、サーバ２０に無線通信、有線通信及び／又は移動体通信等のネットワークを介して接続可能である。

【0014】

図２は、推論システム１におけるエッジ１０とサーバ２０を説明するための説明図である。図２に示すように、エッジ１０は、制御部１１、記憶部１２、カメラ１３、及び表示部１４を有する。

【0015】

制御部１１は、ＣＰＵ及びＧＰＵ等の処理装置１１ａを有する。処理装置１１ａは、記憶部１２に記憶された各種プログラムを読み込み実行可能である。制御部１１の機能は、制御部１１が記憶部１２から各種プログラム及びデータを読み込み、実行することによって実現する。

【0016】

記憶部１２には、エッジ１０を制御するための各種データやプログラムの他、画像送信部Ｅ１、問題工程送信部Ｅ２及び品質不良推論部Ｅ３の各々のプログラムや品質不良推論モデルＭ１も記憶される。

【0017】

カメラ１３は、被検査対象物を撮像し、撮像画像Ｉを出力する（図３）。

【0018】

表示部１４は、ＬＣＤ、ＯＬＥＤ等の表示パネルを有し、制御部１１の制御の下、各種情報を表示する。例えば、表示部１４は、品質不良推論部Ｅ３によって出力された品質不良情報Ｐｒや、サーバ２０から送信された問題工程情報Ｐｐを表示する（図７）。

【0019】

サーバ２０は、制御部２１と記憶部２２を有する。

【0020】

制御部２１は、ＣＰＵ及びＧＰＵ等の処理装置２１ａを有する。処理装置２１ａは、記憶部２２に記憶された各種プログラムを読み込み実行する。制御部２１の機能は、制御部２１が記憶部２２から各種プログラム及びデータを読み込み、実行することによって実現する。

【0021】

記憶部２２には、サーバ２０を制御するための各種データやプログラムの他、前処理部Ｖ１、品質不良学習部Ｖ２、問題工程学習部Ｖ３及び問題工程推論部Ｖ４の各々のプログラムや問題工程推論モデルＭ２も記憶される。

【0022】

図３は、推論システム１における画像送信部Ｅ１、前処理部Ｖ１及び品質不良学習部Ｖ２の処理を説明するための説明図である。図３に示すように、エッジ１０における画像送信部Ｅ１は、被検査対象物を撮像した撮像画像Ｉがカメラ１３から入力され、撮像画像Ｉをサーバ２０に送信する。

【0023】

サーバ２０において、前処理部Ｖ１は、画像送信部Ｅ１から受信した撮像画像Ｉを所定推論領域に分割し、トリミング、解像度の調整、コントラスト補正、明るさ補正、色補正、ノイズ除去、平滑化、及び輪郭強調等の各種の前処理を行い、また、水平反転、垂直反転、回転、拡大、縮小、及び明度変更等の水増しを行って品質不良学習データＬ１を生成する。品質不良学習データＬ１には、品質不良学習部Ｖ２における学習の際に使用されるラベルとして、所定推論領域の位置や、「傷」、「長い傷」、「短い傷」、「深い傷」、「浅い傷」、「汚れ」、「打痕」、「擦り傷」、「摩耗」及び「陥没」等の品質不良の種別も含まれる。品質不良の種別及び後述する品質不良の深刻度は、ユーザによって入力される他、データが一定量蓄積された後には、蓄積されたデータに基づいて生成された図示しない学習済みモデルや分類器を用いて決定されてもよい。品質不良学習データＬ１は、記憶部２２に設けられたデータベースに格納される。

【0024】

品質不良学習部Ｖ２は、データベースから読み込んだ品質不良学習データＬ１に基づいて、被検査対象物の品質不良の推論を行うように学習し、品質不良推論モデルＭ１を生成する。品質不良推論モデルＭ１の学習には、ディープラーニングや、ニューラルネットワーク、多項ロジスティック回帰分析等の技術が用いられる。

【0025】

品質不良推論モデルＭ１は、記憶部２２に記憶されるとともに、エッジ１０に送信され、記憶部１２にもデプロイされる。

【0026】

図４は、品質不良推論部Ｅ３の処理を説明するための説明図である。図４に示すように、品質不良推論部Ｅ３は、記憶部１２から品質不良推論モデルＭ１を読み込み、撮像画像Ｉを品質不良推論モデルＭ１に入力して品質不良を推論し、品質不良情報Ｐｒを出力する。

【0027】

品質不良推論モデルＭ１は、所定推論領域の位置や品質不良の種別の各々に対応付けられたｐ個の学習済みモデルｍ１～ｍｐを有する。以下、学習済みモデルｍ１～ｍｐの一部又はすべてをいうとき、学習済みモデルｍという。品質不良の種別の各々に対応付けられた学習済みモデルｍの各々は、品質不良の各々が現れた品質不良学習データＬ１に基づいて、品質不良の各々に相関した推論値を出力するように学習される。

【0028】

一例として、品質不良の種別「傷」に対応付けられた学習済みモデルｍは、被検査対象物に傷が現れた品質不良学習データＬ１により、被検査対象物の傷に相関した推論値を出力するように学習される。

【0029】

学習済みモデルｍは、品質不良のない被検査対象物が現れた品質不良学習データＬ１によって品質不良のない被検査対象物に相関した推論値を出力するように学習されてもよい。

【0030】

また、学習済みモデルｍは、品質不良の被検査対象物が現れた品質不良学習データＬ１と品質不良のない被検査対象が現れた品質不良学習データＬ１の両方によって学習されてもよい。

【0031】

また、品質不良推論モデルＭ１は、品質不良の深刻度に相関した推論値を出力する学習済みモデルｍｒも有する。品質不良の深刻度を推論する学習済みモデルｍｒは、品質不良の深刻度の度合いに応じた正解データにより、品質不良の深刻度に相関した推論値を出力するように学習される。一例として、品質不良の深刻度を推論する学習済みモデルｍｒは、高い深刻度の品質不良が現れた入力データと高い深刻度を示す正解データや、小さい深刻度の品質不良が現れた入力データと低い深刻度を示す正解データにより、深刻度に相関した推論値を出力するように学習される。

【0032】

品質不良推論部Ｅ３は、選択部Ｅ３ａと種別判定部Ｅ３ｂを有し、被検査対象物を所定推論領域に分割し、所定推論領域の各々について、品質不良情報Ｐｒを出力する。品質不良情報Ｐｒは、品質不良の種別を示す不良種別情報ｃ₁～ｃ_nと、品質不良の深刻度を示す深刻度情報ｒ₁～ｒ_nを含む。以下、不良種別情報ｃ₁～ｃ_nの一部又はすべてをいうとき、不良種別情報ｃといい、深刻度情報ｒ₁～ｒ_nの一部又はすべてをいうとき、深刻度情報ｒという。

【0033】

選択部Ｅ３ａは、被検査対象物を撮像して取得された撮像画像Ｉを所定推論領域毎に分割することによって撮像画像Ｉ１～Ｉｎを取得し、所定推論領域に対応付けられた学習済みモデルｍ、ｍｒに入力する。以下、撮像画像Ｉ１～Ｉｎの一部又はすべてをいうとき、撮像画像Ｉという。

【0034】

種別判定部Ｅ３ｂは、学習済みモデルｍの各々の推論値が閾値を超えたとき、当該閾値を超えた学習済みモデルｍに対応付けられた不良種別情報ｃを出力する。例えば、被検査対象物の特定の所定推論領域に傷が現れた撮像画像Ｉを学習済みモデルｍの各々に入力すると、品質不良の種別「傷」に対応付けられた学習済みモデルｍの推論値が閾値を超え、「汚れ」、「打痕」、「擦り傷」、「摩耗」及び「陥没」等、それ以外の品質不良の種別に対応付けられた学習済みモデルｍの推論値が閾値以下になり、種別判定部Ｅ３ｂは、閾値を超えた学習済みモデルｍに対応付けられた「傷」を示す不良種別情報ｃを出力する。

【0035】

また、品質不良推論部Ｅ３は、学習済みモデルｍｒによって推論された推論値を深刻度情報ｒとして出力する。

【0036】

また、品質不良推論部Ｅ３は、品質不良情報Ｐｒをサーバ２０に送信し、記憶部２２内の品質不良情報データベースＤｓに記憶させる。

【0037】

図５は、問題工程送信部Ｅ２及び問題工程学習部Ｖ３の処理を説明するための説明図である。図５に示すように、ユーザは、エッジ１０における入力装置（不図示）から問題工程学習データＬ２を入力する。

【0038】

問題工程送信部Ｅ２は、入力された問題工程学習データＬ２をサーバ２０に送信する。

【0039】

問題工程学習部Ｖ３は、問題工程学習データＬ２を用い、品質不良情報Ｐｒに基づいて、品質不良の原因となった問題工程の推論を行うように学習し、問題工程推論モデルＭ２を生成する。問題工程推論モデルＭ２は、品質不良情報Ｐｒに相関した問題工程を示す推論値を出力する。

【0040】

図６は、問題工程推論部Ｖ４の処理を説明するための説明図である。図６に示すように、問題工程推論モデルＭ２は、重み量ｗ₁～ｗ_2nを有する。以下、重み量ｗ₁～ｗ_2nの一部又はすべてをいうとき、重み量ｗという。

【0041】

問題工程学習データＬ２は、所定推論領域Ａ１～Ａｎの各々に対応した不良種別情報ｃ₁～ｃ_nの各々及び深刻度情報ｒ₁～ｒ_nの各々からなる品質不良情報Ｐｒが入力データであり、品質不良の原因となる問題工程に対応付けられた正解データＰｃが正解データである。

【0042】

不良種別情報ｃは、数値によって表される。一例として、図６では、「－１」が「打痕」を表し、「１」が「擦り傷」を表す。

【0043】

正解データＰｃは、一例として、図６では、問題工程Ａ（問題工程情報Ｐｐの値「Ａ」）が「０．１２５０」であり、問題工程Ｂ（問題工程情報Ｐｐの値「Ｂ」）が「０．２５００」であり、問題工程Ｃが「０．３７５０」であり（不図示）、問題工程Ｄ（問題工程情報Ｐｐの値「Ｄ」）の正解データが「０．５０００」であるように定められる。正解データＰｃは、経験的又は実験的に定められてもよいし、過去の品質不良の原因を調査した結果に基づいて定められてもよい。

【0044】

問題工程学習部Ｖ３は、次の数式（１）及び（２）に示す演算を行うことによって推論値を出力する。

【0045】

次の数式（３）に示す演算を行うことによって推論値と正解データの残差の平方値を算出する。
（残差の平方値）＝（推論値－正解データ）² ・・・ （３）

【0046】

数式（１）～（３）の演算を繰り返すことによって取得された複数の残差の平方値の和である残差平方和を目的関数とし、目的関数が最小になるように、重み量ｗを調整する。重み量ｗの調整には、勾配降下法等の技術を用いてもよい。

【0047】

なお、上記の数式（１）～（３）の数式及び目的関数を使用した重み量ｗの調整は、一例であり、これに限定されるものではない。例えば、目的関数は、残差平方和だけでなく、平均絶対誤差や、平均二乗誤差、平均平方二乗誤差、二乗平均平方根対数誤差等を用いてもよい。

【0048】

また、問題工程推論モデルＭ２の学習には、ディープラーニングやニューラルネットワーク、多項ロジスティック回帰分析等の技術を用いてもよい。

【0049】

なお、数式（１）では、不良種別情報ｃと深刻度情報ｒを用いているが、例えば、次の数式（４）に示すように、傷の色ｐ₁～ｐ_n等、他のパラメータを追加して用いることもできる。

【0050】

問題工程学習部Ｖ３は、学習終了後、問題工程推論モデルＭ２を記憶部２２に記憶させる。

【0051】

図７は、推論処理を説明するための説明図である。図８は、推論処理を説明するためのフローチャートである。

【0052】

図７に示すように、エッジ１０において、カメラ１３が被検査対象物を撮像し、撮像画像Ｉを品質不良推論部Ｅ３に出力する（図８のＳ１）。

【0053】

品質不良推論部Ｅ３は、撮像画像Ｉを所定推論領域に分割し、トリミング、解像度の調整、コントラスト補正、明るさ補正、色補正、ノイズ除去、平滑化、及び輪郭強調等の各種前処理を行い、品質不良推論モデルＭ１に撮像画像Ｉを入力し、品質不良情報Ｐｒを取得し、表示部１４に表示させる（Ｓ２）。

【0054】

品質不良推論部Ｅ３は、品質不良情報Ｐｒをサーバ２０に送信する（Ｓ３）。

【0055】

サーバ２０は、受信した品質不良情報Ｐｒを品質不良情報データベースＤｓに記憶する（Ｓ４）。

【0056】

ユーザがエッジ１０に問題工程推論処理の指示入力をすると（Ｓ５：ＹＥＳ）、品質不良推論部Ｅ３は、サーバ２０に、問題工程情報Ｐｐの送信指示を行う（Ｓ６）。指示入力がなければ（Ｓ５：ＮＯ）、処理は、Ｓ１に戻る。

【0057】

サーバ２０における問題工程推論部Ｖ４は、品質不良情報データベースＤｓから品質不良情報Ｐｒを読み込んで問題工程推論モデルＭ２に入力して推論値を出力し、問題工程情報Ｐｐを生成し、エッジ１０に送信する（Ｓ７、Ｓ８）。問題工程情報Ｐｐは、例えば、推論値との誤差が最小になる正解データに対応付けられた問題工程を示すように生成される。例えば、図６に示すように、問題工程Ａの正解データＰｃが「０．１２５０」であり、問題工程Ｂの正解データＰｃが「０．２５００」であり、問題工程Ｃの正解データＰｃが「０．３７５０」であり（不図示）、問題工程Ｄの正解データＰｃが「０．５０００」であるとき、ＩＤ１の推論値「０．２３１２」が算出されると、問題工程情報Ｐｐは、推論値「０．２３１２」との誤差が最小となる正解データＰｃ「０．２５００」に対応付けられた問題工程Ｂを示すように生成される。

【0058】

エッジ１０は、受信した問題工程情報Ｐｐを表示部１４に表示させる（Ｓ９）。Ｓ９の後、処理は、Ｓ１に戻る。

【0059】

すなわち、推論システム１は、被検査対象物の撮像画像Ｉに基づいて、被検査対象物の品質不良の推論を行うように学習された品質不良推論モデルＭ１と、撮像画像Ｉに基づいて、品質不良推論モデルＭ１を用いて品質不良を推論し、品質不良情報Ｐｒを出力する品質不良推論部Ｅ３と、品質不良情報Ｐｒに基づいて、品質不良の原因となった問題工程の推論を行うように学習された問題工程推論モデルＭ２と、品質不良情報Ｐｒに基づいて、問題工程推論モデルＭ２を用いて問題工程を推論し、問題工程情報Ｐｐを出力する問題工程推論部Ｖ４と、を有する。

【0060】

問題工程推論モデルＭ２は、品質不良情報Ｐｒを入力データとし、問題工程を正解データとする問題工程学習データＬ２に基づいて、学習される。

【0061】

品質不良推論部Ｅ３は、撮像画像Ｉを所定推論領域に分割し、所定推論領域の各々について、品質不良情報Ｐｒを出力する。

【0062】

品質不良情報Ｐｒは、品質不良の種別を示す不良種別情報ｃと、品質不良の深刻度を示す深刻度情報ｒを含む。

【0063】

問題工程推論モデルＭ２は、不良種別情報ｃ及び深刻度情報ｒの各々に対応付けられた重み量ｗを有し、問題工程推論部Ｖ４は、不良種別情報ｃ及び深刻度情報ｒの各々に、不良種別情報ｃ及び深刻度情報ｒの各々に対応付けられた重み量ｗの各々を演算し、問題工程情報Ｐｐを算出する。

【0064】

推論方法は、被検査対象物の撮像画像Ｉに基づいて、被検査対象物の品質不良の推論を行うように学習された品質不良推論モデルＭ１と、品質不良情報Ｐｒに基づいて、品質不良の原因となった問題工程の推論を行うように学習された問題工程推論モデルＭ２とを用意し、撮像画像Ｉに基づいて、品質不良推論モデルＭ１を用いて品質不良を推論し、品質不良情報Ｐｒを出力し、品質不良情報Ｐｒに基づいて、問題工程推論モデルＭ２を用いて問題工程を推論し、問題工程情報Ｐｐを出力する。

【0065】

推論プログラムは、被検査対象物の撮像画像Ｉに基づいて、被検査対象物の品質不良の推論を行うように学習された品質不良推論モデルＭ１を用いて品質不良を推論し、品質不良情報Ｐｒを出力する品質不良推論部Ｅ３のプログラムと、品質不良情報Ｐｒに基づいて、品質不良の原因となった問題工程の推論を行うように学習された問題工程推論モデルＭ２を用いて問題工程を推論し、問題工程情報Ｐｐを出力する問題工程推論部Ｖ４のプログラムと、を有する。

【0066】

なお、実施形態では、推論システム１は、回路チップの生産工程において、被検査対象物を回路チップとするものであるが、これに限定されない。例えば、推論システム１は、他の電気部品の生産工程において、他の電気部品を被検査対象物とするものであってもよいし、自動車部品等の機械部品の生産工程において、機械部品を被検査対象物とするものであってもよいし、食品の生産工程において、食品の包装を被検査対象物とするものであってもよい。

【0067】

なお、実施形態では、エッジ１０に、画像送信部Ｅ１、問題工程送信部Ｅ２及び品質不良推論部Ｅ３が設けられ、サーバ２０に前処理部Ｖ１、品質不良学習部Ｖ２、問題工程学習部Ｖ３及び問題工程推論部Ｖ４が設けられる例を説明したが、これに限定されない。例えば、品質不良推論部Ｅ３がサーバ２０に設けられ、前処理部Ｖ１、品質不良学習部Ｖ２、問題工程学習部Ｖ３及び問題工程推論部Ｖ４の一部又はすべてがエッジ１０に設けられてもよい。

【0068】

なお、実施形態では、前処理部Ｖ１が撮像画像Ｉを所定分割領域に分割する例を説明した。所定分割領域は、ユーザが所定分割領域の分割数及び分割された画像の解像度を指示入力できるようにしてもよいし、撮像画像Ｉに応じて最適な所定分割領域の分割数及び分割された画像の解像度を所定演算や機械学習、その他の技術によって判定できるように構成してもよい。

【0069】

本実施形態における各手順の各ステップは、その性質に反しない限り、実行順序を変更し、複数同時に実行し、あるいは実行毎に異なった順序で実行してもよい。さらに、本実施形態における各手順の各ステップの全てあるいは一部をハードウェアにより実現してもよい。

【0070】

本発明は、上述した実施の形態に限定されるものではなく、本発明の要旨を変えない範囲において、種々の変更、改変等が可能である。

【符号の説明】

【0071】

１ ・・・推論システム
１０・・・エッジ
１１・・・制御部
１１ａ・・処理装置
１２・・・記憶部
１３・・・カメラ
１４・・・表示部
２０・・・サーバ
２１・・・制御部
２１ａ・・処理装置
２２・・・記憶部
Ｄｓ・・・品質不良情報データベース
Ｅ１・・・画像送信部
Ｅ２・・・問題工程送信部
Ｅ３・・・品質不良推論部
Ｅ３ａ・・選択部
Ｅ３ｂ・・種別判定部
Ｉ ・・・撮像画像
Ｌ１・・・品質不良学習データ
Ｌ２・・・問題工程学習データ
Ｍ１・・・品質不良推論モデル
Ｍ２・・・問題工程推論モデル
Ｐｃ・・・正解データ
Ｐｐ・・・問題工程情報
Ｐｒ・・・品質不良情報
Ｖ１・・・前処理部
Ｖ２・・・品質不良学習部
Ｖ３・・・問題工程学習部
Ｖ４・・・問題工程推論部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】