特許 7407670 評価システム、評価方法、および評価プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-12-21

(45)【発行日】2024-01-04

(54)【発明の名称】評価システム、評価方法、および評価プログラム

(51)【国際特許分類】

   G06T 7/00 20170101AFI20231222BHJP

   G01N 21/956 20060101ALN20231222BHJP

【ＦＩ】

G06T7/00 350B

G06T7/00 610Z

G01N21/956 B

【請求項の数】 9

(21)【出願番号】P 2020132344

(22)【出願日】2020-08-04

(65)【公開番号】P2022029155

(43)【公開日】2022-02-17

【審査請求日】2023-02-02

(73)【特許権者】

【識別番号】000003296

【氏名又は名称】デンカ株式会社

(74)【代理人】

【識別番号】100088155

【弁理士】

【氏名又は名称】長谷川 芳樹

(74)【代理人】

【識別番号】100128381

【弁理士】

【氏名又は名称】清水 義憲

(74)【代理人】

【識別番号】100185591

【弁理士】

【氏名又は名称】中塚 岳

(74)【代理人】

【識別番号】100144440

【弁理士】

【氏名又は名称】保坂 一之

(72)【発明者】

【氏名】中村 友紀

(72)【発明者】

【氏名】藤吉 大樹

(72)【発明者】

【氏名】西村 浩二

【審査官】藤原 敬利

(56)【参考文献】

【文献】特開平１０－２３２９３８（ＪＰ，Ａ）

【文献】特開昭６３－１６７９８０（ＪＰ，Ａ）

【文献】特開２０２０－１１２４５６（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０１Ｎ ２１／８４－２１／９５８

Ｇ０６Ｔ ７／００－ ７／９０

Ｇ０６Ｖ １０／００－２０／９０

(57)【特許請求の範囲】

【請求項1】

板材の全体を写す全体画像を第１機械学習モデルに入力して、該板材の表面に関する第１判定結果を算出する第１判定部と、
前記板材の一部を写す１以上の分割画像のそれぞれを第２機械学習モデルに入力して、前記板材の前記表面に関する１以上の第２判定結果を算出する第２判定部と、
前記第１判定結果および前記１以上の第２判定結果に基づいて前記板材を評価する評価部と、
を備え、
前記第１判定部が、前記表面に欠陥が存在するかを示す前記第１判定結果を算出し、
前記第２判定部が、前記表面に欠陥が存在するかを示す前記１以上の第２判定結果を算出し、
前記評価部が、前記第１判定結果および前記１以上の第２判定結果のうちの少なくとも一つが前記欠陥の存在を示す場合に、前記板材を不良品として評価する、
評価システム。

【請求項2】

前記１以上の分割画像の少なくとも一つについて画像解析を実行して、前記表面に欠陥が存在するか否かを示す第３判定結果を算出する第３判定部をさらに備え、
前記第３判定部が、
所定の範囲内に存在する複数の欠陥候補要素を一つの欠陥候補として特定し、
前記一つの欠陥候補の寸法を算出し、
前記寸法が所定の閾値以上である場合に、該一つの欠陥候補を前記欠陥として判定し、
前記評価部が、前記第３判定結果が前記欠陥の存在を示す場合には前記板材を不良品として評価し、前記第３判定結果が前記欠陥の不存在を場合には、前記第１判定結果および前記１以上の第２判定結果にかかわらず、前記板材を良品として評価する、
請求項１に記載の評価システム。

【請求項3】

前記第３判定部が、連続して存在する少なくとも二つの前記欠陥候補要素を前記一つの欠陥候補として特定する、
請求項２に記載の評価システム。

【請求項4】

欠陥を写す元分割画像に対して、回転、反転、および切り抜きのうちの少なくとも一つを含む画像編集を実行して、該欠陥を写す１以上の別の分割画像を生成する生成部と、
前記元分割画像および前記１以上の別の分割画像を教師データとして用いて前記第２機械学習モデルを生成する学習部と、
をさらに備える請求項１～３のいずれか一項に記載の評価システム。

【請求項5】

前記回転が、０°より大きく且つ１５°以下の角度で前記元分割画像を回転させることである、
請求項４に記載の評価システム。

【請求項6】

前記生成部が、前記画像編集により生成される前記１以上の別の分割画像のうちの少なくとも一つが前記欠陥を写さない場合に、前記元分割画像および前記１以上の別の分割画像が前記教師データとして用いられないように、該元分割画像および該１以上の別の分割画像を破棄する、
請求項４または５に記載の評価システム。

【請求項7】

前記板材が回路基板用のセラミックス板である、
請求項１～６のいずれか一項に記載の評価システム。

【請求項8】

少なくとも一つのプロセッサを備える評価システムにより実行される評価方法であって、
板材の全体を写す全体画像を第１機械学習モデルに入力して、該板材の表面に関する第１判定結果を算出するステップと、
前記板材の一部を写す１以上の分割画像のそれぞれを第２機械学習モデルに入力して、前記板材の前記表面に関する１以上の第２判定結果を算出するステップと、
前記第１判定結果および前記１以上の第２判定結果に基づいて前記板材を評価するステップと、
を含み、
前記第１判定結果を算出するステップでは、前記表面に欠陥が存在するかを示す前記第１判定結果を算出し、
前記第２判定結果を算出するステップでは、前記表面に欠陥が存在するかを示す前記１以上の第２判定結果を算出し、
前記板材を評価するステップでは、前記第１判定結果および前記１以上の第２判定結果のうちの少なくとも一つが前記欠陥の存在を示す場合に、前記板材を不良品として評価する、
評価方法。

【請求項9】

板材の全体を写す全体画像を第１機械学習モデルに入力して、該板材の表面に関する第１判定結果を算出するステップと、
前記板材の一部を写す１以上の分割画像のそれぞれを第２機械学習モデルに入力して、前記板材の前記表面に関する１以上の第２判定結果を算出するステップと、
前記第１判定結果および前記１以上の第２判定結果に基づいて前記板材を評価するステップと、
をコンピュータに実行させ、
前記第１判定結果を算出するステップでは、前記表面に欠陥が存在するかを示す前記第１判定結果を算出し、
前記第２判定結果を算出するステップでは、前記表面に欠陥が存在するかを示す前記１以上の第２判定結果を算出し、
前記板材を評価するステップでは、前記第１判定結果および前記１以上の第２判定結果のうちの少なくとも一つが前記欠陥の存在を示す場合に、前記板材を不良品として評価する、
評価プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示の一側面は、評価システム、評価方法、および評価プログラムに関する。

【背景技術】

【0002】

板材の表面を評価するための技術が知られている。例えば、特許文献１には、撮像センサを用いて基板の表面検査を行う基板検査装置が記載されている。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０１９－１０６４０２号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

板材の表面を効率的に評価するための仕組みが望まれている。

【課題を解決するための手段】

【0005】

本開示の一側面に係る評価システムは、板材の全体を写す全体画像を第１機械学習モデルに入力して、該板材の表面に関する第１判定結果を算出する第１判定部と、板材の一部を写す１以上の分割画像のそれぞれを第２機械学習モデルに入力して、板材の表面に関する１以上の第２判定結果を算出する第２判定部と、第１判定結果および１以上の第２判定結果に基づいて板材を評価する評価部とを備える。

【0006】

このような側面においては、一つの板材についての複数種類の画像（全体画像および分割画像）が個別の機械学習モデル（第１機械学習モデルおよび第２機械学習モデル）によって個別に判定され、複数の判定結果に基づいて板材が最終的に評価される。このように複数種類の画像および複数種類の機械学習モデルを用いることで、板材の表面を効率的に評価することができる。

【発明の効果】

【0007】

本開示の一側面によれば、板材の表面を効率的に評価することができる。

【図面の簡単な説明】

【0008】

【図1】全体画像および分割画像の一例を示す図である。

【図2】実施形態に係る評価システムの機能構成の一例を示す図である。

【図3】実施形態に係る評価システムのために用いられるコンピュータの一般的なハードウェア構成の一例を示す図である。

【図4】分割画像を生成する処理の一例を示す図である。

【図5】好ましくない画像編集の一例を示す図である。

【図6】好ましくない画像編集の別の例を示す図である。

【図7】第１学習済みモデルを生成する処理の一例を示すフローチャートである。

【図8】第２学習済みモデルを生成する処理の一例を示すフローチャートである。

【図9】学習済みモデルを用いて板材を評価する処理の一例を示すフローチャートである。

【図10】画像解析による欠陥の判定の一例を示す図である。

【発明を実施するための形態】

【0009】

以下、添付図面を参照しながら本開示での実施形態を詳細に説明する。図面の説明において同一または同等の要素には同一の符号を付し、重複する説明を省略する。

【0010】

［システムの概要］
実施形態に係る評価システム１は、板材の表面（以下では「板材表面」ともいう。）を判定して該板材を評価するコンピュータシステムである。板材の例としてセラミックス板が挙げられ、より具体的には回路基板用のセラミックス板が挙げられる。しかし、板材の材料、寸法、および利用目的は何ら限定されず、評価システム１は任意の板材を評価してよい。「板材を評価する」とは、板材が所定の水準を満たすか否かを判断することをいい、例えば、板材が良品（欠陥がない板材）であるか不良品（欠陥を有する板材）であるかを判断することをいう。欠陥とは、所定の水準（言い換えると、理想の状態）に対する不足をいう。

【0011】

評価システム１は板材表面を写す画像に基づいて該表面の状態を判定し、その判定結果に基づいて板材を評価する。画像はカメラなどの撮像装置によって得られる。画像は静止画でもよいし、動画像を構成するフレーム画像でもよい。評価システム１は一つの板材を評価するために、該板材の全体を写す全体画像と、該板材の一部を写す１以上の分割画像とを用いる。典型的には、評価システム１は複数の分割画像を用い、例えば、板材表面の全体を網羅する一群の分割画像を用いる。分割画像は全体画像から生成することができる。板材の欠陥には、板材表面の全体にわたる欠陥（凹凸など）と、板材表面の一部に発生する欠陥（クラック、ピンホールなど）とが存在する。このような欠陥の種類を考慮して、評価システム１は全体画像および部分画像の双方を用いて板材を評価する。

【0012】

図１は全体画像および分割画像の一例を示す図である。この例では、板材２００の全体を写す全体画像２１０と、この全体画像２１０から得られる複数の分割画像２２０とを示す。分割画像２２０の幅（水平方向の長さ）がＷｄあるとし、高さ（垂直方向の長さ）がＨｄであるとする。一例では、一群の分割画像２２０は、隣り合う二つの分割画像２２０が互いに重なるように生成され、この結果、板材２００の表面全体が分割画像２２０によって漏れなく写される。図１は、水平方向に沿ってＷｄ／２ずつシフトし且つ垂直方向に沿ってＨｄ／２ずつシフトしながら一群の分割画像２２０を得る例を示す。

【0013】

全体画像および分割画像のそれぞれの寸法（画素数）は限定されない。例えば、全体画像の寸法は５１２（ピクセル）×５１２（ピクセル）でもよい。分割画像の寸法は２５６（ピクセル）×２５６（ピクセル）でもよい。処理速度の短縮を目的として、元画像を圧縮することで得られる圧縮画像が全体画像として用いられてもよい。

【0014】

評価システム１は全体画像および１以上の分割画像のそれぞれを機械学習モデルで処理することで板材表面の状態を判定する。評価システム１は、全体画像を処理する第１機械学習モデルと、分割画像を処理する第２機械学習モデルとを有する。評価システム１はこれらの機械学習モデルから得られる複数の判定結果に基づいて板材を評価する。機械学習とは、与えられた情報に基づいて反復的に学習することで、法則またはルールを自律的に見つけ出す手法をいう。機械学習モデルとは、機械学習で用いられる計算モデルである。機械学習モデルはアルゴリズムおよびデータ構造を用いて構築することができる。例えば機械学習モデルは、人間の脳神経系の仕組みを模した情報処理のモデルであるニューラルネットワークを用いて実現される。

【0015】

評価システム１により実行される機械学習の具体的なアルゴリズムは限定されない。例えば、評価システム１はそのアルゴリズムとしてＳｉｎｇｌｅ Ｓｈｏｔ ＭｕｌｔｉＢｏｘ Ｄｅｔｅｃｔｏｒ（ＳＳＤ）を用いてもよいし、Ｓｑｕｅｅｚｅ－Ｎｅｔを用いてもよい。

【0016】

評価システム１は、機械学習の入力として与えられる画像と、機械学習の出力の正解であるラベルとを用いて学習を実行することで、板材表面を判定する機械学習モデルを自律的に生成する。機械学習の入力は、板材表面を写す画像である。機械学習の出力は、板材表面の状態を示すデータである。評価システム１は画像およびラベルの複数の組を処理することで、板材表面の状態を判定する手法を反復的に学習する。本開示では、自律的に生成される機械学習モデルを「学習済みモデル」ともいう。学習済みモデルを生成する処理は学習フェーズに相当する。学習済みモデルは、板材表面の状態を判定するために最適であると推定される計算モデルであり、“現実に最適である計算モデル”とは限らないことに留意されたい。評価システム１はその学習済みモデルを用いて、板材表面の状態が未知である画像を処理し、その状態を判定する。これは運用フェーズまたは判定フェーズに相当する。

【0017】

学習済みモデルはコンピュータシステム間で移植可能である。したがって、或るコンピュータシステムで生成された学習済みモデルを、別のコンピュータシステムで用いることができる。もちろん、一つのコンピュータシステムが学習済みモデルの生成および利用の双方を実行してもよい。評価システム１は、学習フェーズおよび運用フェーズ（判定フェーズ）の双方を実行してもよい。あるいは、評価システム１は学習フェーズおよび運用フェーズのいずれか一方を実行しなくてもよい。

【0018】

［システムの構成］
図２は評価システム１の機能構成の一例を示す図である。評価システム１は機能的構成要素として生成部１０、学習部２０、および検査部３０を備える。生成部１０は学習済みモデルを生成するために用いられる画像を生成する機能モジュールである。学習部２０は学習済みモデルを生成する機能モジュールである。検査部３０はその学習済みモデルを用いて板材表面の状態を判定し、その判定結果に基づいて板材を評価する機能モジュールである。

【0019】

学習部２０は第１学習部２１および第２学習部２２を有する。第１学習部２１は、全体画像を処理する第１学習済みモデル４１を生成する機能モジュールである。第２学習部２２は、分割画像を処理する第２学習済みモデル４２を生成する機能モジュールである。

【0020】

検査部３０は第１判定部３１、第２判定部３２、第３判定部３３、および評価部３４を有する。第１判定部３１は全体画像を第１学習済みモデル４１に入力して、板材の表面に関する第１判定結果を算出する機能モジュールである。第２判定部３２は分割画像を第２学習済みモデル４２に入力して、板材の表面に関する第２判定結果を算出する機能モジュールである。第３判定部３３は、分割画像について画像解析を実行して、板材表面に欠陥が存在するか否かを示す第３判定結果を算出する機能モジュールである。評価部３４は、第１判定結果、第２判定結果、および第３判定結果に基づいて板材を評価する機能モジュールである。

【0021】

評価システム１はインターネット、イントラネットなどの通信ネットワークを介してデータベース２にアクセスすることができる。データベース２は学習済みモデルを生成するために用いられる教師データを記憶する装置である。データベース２は評価システム１の一部でもよいし、評価システム１とは異なるコンピュータシステムに属してもよい。

【0022】

教師データの各レコードは、画像およびラベルの組みを含む。画像は全体画像または分割画像である。一例では、ラベルは板材表面に欠陥が存在するか否かを示し、板材表面に欠陥がある場合にはその欠陥の種類を示す。板材の欠陥の例としてクラック、欠け、凹凸、ピンホール、打痕キズ、黒点、白点、付着物などが挙げられるが、欠陥の種類はこれらに限定されず、任意の方針で定義されてよい。

【0023】

図３は、評価システム１のために用いられるコンピュータ１００の一般的なハードウェア構成の一例を示す図である。例えば、コンピュータ１００はプロセッサ１０１、主記憶部１０２、補助記憶部１０３、通信制御部１０４、入力装置１０５、および出力装置１０６を備える。プロセッサ１０１はオペレーティングシステムおよびアプリケーションプログラムを実行する。主記憶部１０２は例えばＲＯＭおよびＲＡＭで構成される。補助記憶部１０３は例えばハードディスクまたはフラッシュメモリで構成され、一般に主記憶部１０２よりも大量のデータを記憶する。通信制御部１０４は例えばネットワークカードまたは無線通信モジュールで構成される。入力装置１０５は例えばキーボード、マウスなどで構成される。出力装置１０６は例えばモニタおよびスピーカで構成される。

【0024】

評価システム１の各機能モジュールは、補助記憶部１０３に予め記憶される評価プログラム１１０により実現される。プロセッサ１０１または主記憶部１０２の上に評価プログラム１１０を読み込ませてその評価プログラム１１０を実行させることで実現される。プロセッサ１０１はその評価プログラム１１０に従って、通信制御部１０４、入力装置１０５、または出力装置１０６を動作させ、主記憶部１０２または補助記憶部１０３におけるデータの読み出しおよび書き込みを行う。処理に必要なデータまたはデータベースは主記憶部１０２または補助記憶部１０３内に格納される。

【0025】

評価プログラム１１０は、例えば、ＣＤ－ＲＯＭ、ＤＶＤ－ＲＯＭ、半導体メモリなどの非一時的な記録媒体に固定的に記録された上で提供されてもよい。あるいは、評価プログラム１１０は、搬送波に重畳されたデータ信号として通信ネットワークを介して提供されてもよい。

【0026】

評価システム１は１台のコンピュータ１００で構成されてもよいし、複数台のコンピュータ１００で構成されてもよい。複数台のコンピュータ１００を用いる場合には、これらのコンピュータ１００がインターネットやイントラネットなどの通信ネットワークを介して接続されることで、論理的に一つの評価システム１が構築される。

【0027】

［画像の生成］
一般に、学習済みモデルを得るためには大量の教師データが必要である。本実施形態では、全体画像および分割画像のそれぞれについて、画像およびラベルの組合せを大量に用意することが必要である。しかし、教師データのために大量の画像を用意することは容易ではない。一例では、評価システム１は教師データ用の画像を自動的に生成する機能を有し、本実施形態では生成部１０がその機能を実行する。この画像生成機能によって、機械学習のための教師データをより簡単に増やすことができる。

【0028】

一例では、生成部１０は欠陥を写す分割画像に対して画像編集を実行して、該欠陥を写す１以上の別の分割画像を生成する。例えば、生成部１０はデータベース２に予め記憶されている分割画像を読み出し、この所与の分割画像に対して、回転、反転、および切り抜きのうちの少なくとも一つを含む画像編集を実行することで分割画像を増やす。本開示では、その所与の分割画像を「元分割画像」ともいう。回転とは、画像の中心を回転軸として設定して該画像を時計方向または反時計方向に回す処理をいう。反転とは、画像を水平方向にまたは垂直方向にひっくり返す処理をいう。切り抜きとは、画像の一部を除去して残りの部分のみを残す処理をいう。元分割画像の寸法は画像編集を考慮して設定されてもよく、例えば、２５６（ピクセル）×２５６（ピクセル）の分割画像を得るために、３６３（ピクセル）×３６３（ピクセル）の元分割画像が用意されてもよい。生成部１０は、生成された１以上の分割画像のそれぞれに、元分割画像と同じラベルを関連付ける。そして、生成部１０は、ラベルが関連付けられた１以上の新たな分割画像を教師データの一部としてデータベース２に格納する。この結果、機械学習のための教師データが補充される。

【0029】

図４は分割画像を生成する処理の一例を示す図である。この例は、クラック３０１を写す元分割画像３００から別の分割画像を生成する処理を示す。この例では、生成部１０は元分割画像３００の部分３０２を切り抜いて分割画像３１１を生成する。さらに、生成部１０はその分割画像３１１を水平方向に反転させて（すなわち、左右反転によって）分割画像３１２を生成する。また、生成部１０は元分割画像３００の部分３０３を切り抜いて分割画像３１３を生成し、その分割画像３１３を水平方向に反転させて分割画像３１４を生成する。加えて、生成部１０は元分割画像３００を反時計方向に回転させた上で部分３０４を切り抜くことで分割画像３１５を生成する。さらに、生成部１０はその分割画像３１５を水平方向に反転させて分割画像３１６を生成する。当然ながら、生成部１０は元分割画像３００および新たな分割画像３１１～３１６のうちの少なくとも一つについてさらなる画像編集を実行して別の分割画像を生成することができる。元分割画像３００にラベル「クラック」が関連付けられているとすると、生成部１０は分割画像３１１～３１６のそれぞれにそのラベル「クラック」を関連付ける。そして、生成部１０はそのラベルが関連付けられた分割画像３１１～３１６をデータベース２に格納する。

【0030】

板材を撮影する際の、板材、カメラ、および照明の位置関係によっては、画像編集すると、欠陥が欠陥ではないように見えたり、欠陥ではない被写体が欠陥に見えたりする可能性がある。この結果、生成される画像がラベルと整合しなくなるおそれがある。図５はそのような好ましくない画像編集の一例を示す図である。この例では、元分割画像３２０が、板材の欠陥の一種であるピンホール３２１を写しているとする。また、元分割画像３２０と同じ撮影環境で得られた別の元分割画像３３０が板材上のゴミ３３１を写しているとする。ゴミ３３１は板材から簡単に除去できるので板材の欠陥ではなく、したがって、元分割画像３３０に映る板材そのものは正常であると見做すことができる。元分割画像３２０では照明の関係で、ピンホール３２１の上側が黒く映っており、ピンホール３２１の下側が白く映っている。黒い部分は影であり、白い部分は光が当たった箇所である。もしこの元分割画像３２０を１８０°回転させて分割画像３４０を得たとすると、この分割画像３４０では、白い部分の下に黒い部分が位置することになる。光が当たった白い部分と影を示す黒い部分との位置関係に着目すると、分割画像３４０でのピンホール３２１は元分割画像３３０でのゴミ３３１と類似する。すなわち、分割画像３４０は元分割画像３３０と類似する。しかし、分割画像３４０に付与されるラベルは欠陥（ピンホール）を示すのに対して、元分割画像３３０に付与されるラベルは板材が正常であることを示す。類似する二つの画像に相異なるラベルが付与されると、機械学習の精度の低下を引き起こしかねない。

【0031】

このような現象を回避するために、生成部１０は所定の条件下で画像を回転または反転させてもよい。例えば、生成部１０は０°より大きく且つ１５°以下の角度で元分割画像を回転させてもよい。すなわち、元分割画像の回転角度が０°より大きく且つ１５°以下に制限されてもよい。生成部１０は水平方向または垂直方向のいずれか一方に沿ってのみ元分割画像を反転させてもよい。すなわち、生成部１０は左右反転および上下反転のいずれか一方のみを実行してもよい。回転角度および反転方向の限定はこれらの例に限定されず、板材、カメラ、および照明の位置関係に応じて任意の方針で設計されてよい。

【0032】

元分割画像から新たな分割画像を生成するための切り抜きの位置も限定されない。例えば、生成部１０は元分割画像の外縁を含まないように該元分割画像を切り抜いてもよいし、元分割画像の外縁の少なくとも一部を含むように該元分割画像を切り抜いてもよい。

【0033】

欠陥を写す或る元分割画像に対して様々な画像編集を実行する場合には、その様々な編集の過程で、欠陥を写さない分割画像が生成され得る。図６はそのような画像編集の一例を示す図である。この例では、生成部１０は、クラック３５１を写す元分割画像３５０を反時計方向に回転させた上で部分３５２を切り抜くことで分割画像３６１を生成する。さらに、生成部１０はその回転した元分割画像３５０の部分３５３を切り抜くことで分割画像３６２を生成する。分割画像３６１はクラック３５１を写すが、分割画像３６２はクラックを写さない。したがって、クラックを示すラベルが分割画像３６２に関連付けられると、機械学習の精度の低下を引き起こしかねない。

【0034】

このような現象を回避するために、生成部１０は、画像編集によって元分割画像から生成される１以上の別の分割画像のうちの少なくとも一つが欠陥を写さない場合に、該元分割画像および該１以上の別の分割画像のすべてを破棄してもよい。この破棄は、その元分割画像および１以上の別の分割画像のすべてが教師データとして用いられないようにするための処理である。生成部１０は破棄すべき画像をデータベース２に格納しない。一例では、生成部１０は破棄すべき元分割画像をデータベース２から削除するか、または該元分割画像を無効化することで、該元分割画像を教師データから除外する。

【0035】

生成部１０は、欠陥を示す全体画像についても、画像編集を実行して、該欠陥を写す１以上の別の全体画像を生成してもよい。

【0036】

［システムの動作］
（学習フェーズ）
図７および図８を参照しながら、学習済みモデルを生成する処理の一例を説明する。図７は第１学習済みモデル４１を生成する処理の一例を処理フローＳ１として示すフローチャートである。図８は第２学習済みモデル４２を生成する処理の一例を処理フローＳ２として示すフローチャートである。処理フローＳ１，Ｓ２はいずれも学習フェーズに対応する。

【0037】

まず処理フローＳ１について説明する。ステップＳ１１では、第１学習部２１が全体画像に関する教師データを取得する。第１学習部２１はデータベース２にアクセスして、全体画像およびラベルの複数の組みを読み出す。

【0038】

ステップＳ１２では、第１学習部２１が、処理する一組の全体画像およびラベルを選択する。この選択方法は何ら限定されず、第１学習部２１は任意の手法で全体画像およびラベルの組みを選んでよい。

【0039】

ステップＳ１３では、第１学習部２１が選択された全体画像およびラベルを用いて機械学習を実行する。具体的には、第１学習部２１は全体画像を示す入力ベクトルを第１機械学習モデルに入力し、その第１機械学習モデルから出力される判定値を得る。一例では、この判定値は板材表面に欠陥が存在するか否かを示し、板材表面に欠陥がある場合にはその欠陥の種類を示す。第１学習部２１はその判定値とラベル（正解）との誤差に基づいて、バックプロパゲーション（誤差逆伝播法）などの手法を用いて第１機械学習モデル内のパラメータを更新する。第１機械学習モデル内の更新されるパラメータの例としてニューラルネットワークの重みが挙げられる。しかし、更新されるパラメータはこれに限定されない。

【0040】

ステップＳ１４では、第１学習部２１が学習を終了させるか否かを判定する。第１学習部２１は、機械学習の終了条件が満たされた場合には学習を終了させ、該終了条件が満たされない場合には学習を継続する。終了条件は任意に設定されてよい。例えば、終了条件は、処理する全体画像の個数、すなわち学習の回数に基づいて設定されてもよい。あるいは、終了条件は、データベース２内のすべての全体画像を処理することであってもよい。あるいは、終了条件は判定とラベルとの誤差に基づいて設定されてもよい。あるいは、終了条件は、検証用データに基づく評価が所定の基準を満たすことであってもよい。

【0041】

学習を続ける場合には（ステップＳ１４においてＮＯ）、処理はステップＳ１２に戻り、第１学習部２１が、次に処理する一組の全体画像およびラベルを選択する。そして、第１学習部２１はその全体画像およびラベルについてステップＳ１３の処理を実行する。一方、学習を終了させる場合には（ステップＳ１４においてＹＥＳ）、処理はステップＳ１５に移る。ステップＳ１５では、第１学習部２１が第１学習済みモデル４１を出力する。

【0042】

次に処理フローＳ２について説明する。ステップＳ２１では、第２学習部２２が分割画像に関する教師データを取得する。第２学習部２２はデータベース２にアクセスして、分割画像およびラベルの複数の組みを読み出す。一例では、第２学習部２２は生成部１０によって生成された分割画像と、その生成に用いられた元分割画像とを含む教師データを読み出す。

【0043】

ステップＳ２２では、第２学習部２２が、処理する一組の分割画像およびラベルを選択する。第２学習部２２は任意の手法で分割画像およびラベルの組みを選んでよい。選択される分割画像は、生成部１０によって生成された画像、またはその生成に用いられた元分割画像であり得る。

【0044】

ステップＳ２３では、第２学習部２２が選択された分割画像およびラベルを用いて機械学習を実行する。具体的には、第２学習部２２は分割画像を示す入力ベクトルを第２機械学習モデルに入力し、その第２機械学習モデルから出力される判定値を得る。一例では、この判定値は板材表面に欠陥が存在するか否かを示し、板材表面に欠陥がある場合にはその欠陥の種類を示す。第２学習部２２はその判定値とラベル（正解）との誤差に基づいて、第２機械学習モデル内のパラメータを更新する。パラメータの更新方法、および更新されるパラメータの種類は、第１機械学習モデルについての処理（ステップＳ１３）と同様である。

【0045】

ステップＳ２４では、第２学習部２２が学習を終了させるか否かを判定する。第２学習部２２は、機械学習の終了条件が満たされた場合には学習を終了させ、該終了条件が満たされない場合には学習を継続する。第１機械学習モデルについての処理（ステップＳ１４）と同様に、終了条件は任意に設定されてよい。

【0046】

学習を続ける場合には（ステップＳ２４においてＮＯ）、処理はステップＳ２２に戻り、第２学習部２２が、次に処理する一組の分割画像およびラベルを選択する。そして、第２学習部２２はその分割画像およびラベルについてステップＳ２３の処理を実行する。一方、学習を終了させる場合には（ステップＳ２４においてＹＥＳ）、処理はステップＳ２５に移る。ステップＳ２５では、第２学習部２２が第２学習済みモデル４２を出力する。

【0047】

このように、学習フェーズでは、学習部２０は教師データを用いて機械学習を実行することで第１学習済みモデル４１および第２学習済みモデル４２を生成する。

【0048】

（運用フェーズ）
図９を参照しながら、学習済みモデルを用いて板材を評価する処理の一例を説明する。図９はその処理の一例を処理フローＳ３として示すフローチャートである。処理フローＳ３は運用フェーズに対応し、且つ本開示に係る評価方法の一例である。

【0049】

ステップＳ３１では、検査部３０が、評価しようとする板材に関する全体画像および１以上の分割画像を取得する。これらの画像の取得方法は限定されない。例えば、検査部３０は所与のデータベースにアクセスして全体画像および分割画像を読み出してもよいし、ユーザによって入力された全体画像および分割画像を取得してもよい。あるいは、検査部３０は他のコンピュータから送られてきた全体画像および分割画像を受信してもよい。

【0050】

ステップＳ３２では、第１判定部３１が全体画像（より具体的には、全体画像を示す入力ベクトル）を第１学習済みモデル４１に入力して、板材表面に関する第１判定結果を算出する。この第１判定結果は、第１学習済みモデル４１から出力される判定値である。一例では、第１判定結果は板材表面に欠陥が存在するか否かを示し、板材表面に欠陥がある場合にはその欠陥の種類を示す。

【0051】

ステップＳ３３では、第２判定部３２が１以上の分割画像のそれぞれを第２学習済みモデル４２に入力して、板材表面に関する１以上の第２判定結果を算出する。この第２判定結果は、第２学習済みモデル４２から出力される判定値である。一例では、第２判定結果は板材表面に欠陥が存在するか否かを示し、板材表面に欠陥がある場合にはその欠陥の種類を示す。それぞれの分割画像について、第２判定部３２は該分割画像を示す入力ベクトルを第２学習済みモデル４２に入力して第２判定結果を得る。第２判定部３２はｎ個の分割画像を処理してｎ個の第２判定結果を得る。

【0052】

ステップＳ３４では、第３判定部３３が少なくとも一つの分割画像について画像解析を実行して、板材表面に欠陥が存在するか否かを示す第３判定結果を算出する。第１判定部３１および第２判定部３２とは異なり、第３判定部３３は機械学習モデルを用いない。第３判定部３３は或る一つの分割画像について以下の処理を実行する。

【0053】

或る一つの分割画像について、第３判定部３３は画像解析によって欠陥候補要素を該分割画像から特定する。欠陥候補要素とは、欠陥である可能性がある板材表面の部分をいう。画像解析の具体的な手法は限定されない。例えば、第３判定部３３は分割画像における明度の分布を求める。そして、第３判定部３３はその明度分布と所定の閾値Ｔａとを比較して、閾値Ｔａよりも明るい部分を欠陥候補要素として特定する。また、第３判定部３３はその明度分布と所定の閾値Ｔｂとを比較して、閾値Ｔｂよりも暗い部分を欠陥候補要素として特定する。閾値Ｔａ，Ｔｂは任意の方針で設定されてよい。第３判定部３３は一つの分割画像から複数の欠陥候補要素を特定し得る。

【0054】

欠陥候補要素を特定した場合には、第３判定部３３は所定の範囲内に存在する複数の欠陥候補要素を一つの欠陥候補として特定する。要するに、第３判定部３３は互いに近くに位置する複数の欠陥候補要素（言い換えると、狭い範囲に集まっている複数の欠陥候補要素）を一つの欠陥候補として特定する。第３判定部３３は一つの分割画像から複数の欠陥候補を特定し得る。欠陥候補を特定するための範囲は、欠陥の寸法などを考慮して任意の方針で設定されてよい。一例では、第３判定部３３は連続して存在する少なくとも二つの欠陥候補要素を一つの欠陥候補として特定してもよい。「連続して存在する少なくとも二つの欠陥候補要素」とは、少なくとも二つの欠陥候補要素が隙間なく繋がるように存在することをいう。例えば、第３判定部３３は隣接する二つの欠陥候補要素を一つの欠陥候補として特定してもよい。

【0055】

少なくとも一つの欠陥候補を特定した場合には、第３判定部３３はそれぞれの欠陥候補の寸法を算出する。欠陥候補の寸法は任意の方針で定義されてよく、例えば欠陥候補の外接矩形の長辺の長さでもよい。第３判定部３３は寸法が最も大きい欠陥候補を選択し、該欠陥候補が欠陥であるか否かを判定する。具体的には、第３判定部３３は選択された欠陥候補の寸法を所定の閾値Ｔｃと比較する。第３判定部３３は、その寸法が閾値Ｔｃ以上である場合にはその欠陥候補を欠陥として判定し、その寸法が閾値Ｔｃ未満である場合にはその欠陥候補を欠陥として判定しない。閾値Ｔｃは欠陥の寸法などを考慮して任意の方針で設定されてよい。

【0056】

第３判定部３３はこのような一連の処理を少なくとも一つの分割画像のそれぞれについて実行する。例えば、第３判定部３３は、第２判定部３２によって判定された欠陥が特定の種類（例えば、ピンホール、付着物、および打痕キズ。あるいは、クラック、汚れ、凹凸を除く欠陥。）に該当する分割画像に限って、画像解析に基づく判定を実行してもよい。あるいは、第３判定部３３はすべての分割画像に対してその判定を実行してもよい。

【0057】

図１０は第３判定部３３によるこのような処理の一例、すなわち、画像解析による欠陥の判定の一例を示す図である。この例では、第３判定部３３は分割画像３７０について画像解析を実行して、閾値Ｔａより明るい部分である欠陥候補要素３７１と、閾値Ｔｂより暗い部分である欠陥候補要素３７２とを特定する。続いて、第３判定部３３は連続して存在するその欠陥候補要素３７１，３７２を一つの欠陥候補３７３として特定する。第３判定部３３がこの欠陥候補３７３を選択したとすると、第３判定部３３は欠陥候補３７３の寸法（例えば、欠陥候補３７３の外接矩形の長辺の長さ）を閾値Ｔｃと比較して、欠陥候補３７３が欠陥であるか否かを判定する。

【0058】

ステップＳ３５では、評価部３４が第１判定結果、１以上の第２判定結果、および少なくとも一つの第３判定結果に基づいて板材を評価する。

【0059】

評価部３４は、第１判定結果および１以上の第２判定結果のうちの少なくとも一つが欠陥の存在を示す場合に、板材が不良品であると評価してもよい。この場合には、評価部３４は例えば、第１判定結果が欠陥の不存在を示すが、少なくとも一つの第２判定結果が欠陥の存在を示す場合に、板材が不良品であると評価する。あるいは評価部３４は、すべての第２判定結果が欠陥の不存在を示すが第１判定結果が欠陥の存在を示す場合に、板材が不良品であると評価する。評価部３４は、第１判定結果およびすべての第２の判定結果が欠陥の不存在を示す場合に、板材が良品であると評価する。

【0060】

評価部３４は、第１判定結果および１以上の第２判定結果のうちの少なくとも一つが欠陥の存在を示し、且つ少なくとも一つの第３判定結果が欠陥の存在を示す場合に、板材が不良品であると評価してもよい。この場合には、評価部３４は、すべての第３判定結果が欠陥の不存在を示す場合には、第１判定結果およびすべての第２判定結果にかかわらず、板材が良品であると評価する。

【0061】

ステップＳ３６では、評価部３４が評価結果を出力する。評価結果の出力方法は限定されない。例えば、評価部３４は評価結果を、モニタ上に表示してもよいし、所定のデータベースに格納してもよいし、他のコンピュータシステムに送信してもよい。あるいは、評価システム１はその評価結果を用いてさらなる処理を実行してもよい。評価結果の表現方法も限定されない。例えば、評価部３４は、板材が良品であるか不良品であるかを示す評価結果を出力してもよい。板材が不良品である場合には、評価部３４は欠陥の種類および位置の少なくとも一方をさらに出力してもよい。評価部３４は板材の画像とテキストとのうちの少なくとも一方を用いて評価結果を表現してもよい。

【0062】

［効果］
以上説明したように、本開示の一側面に係る評価システムは、板材の全体を写す全体画像を第１機械学習モデルに入力して、該板材の表面に関する第１判定結果を算出する第１判定部と、板材の一部を写す１以上の分割画像のそれぞれを第２機械学習モデルに入力して、板材の表面に関する１以上の第２判定結果を算出する第２判定部と、第１判定結果および１以上の第２判定結果に基づいて板材を評価する評価部とを備える。

【0063】

本開示の一側面に係る評価方法は、少なくとも一つのプロセッサを備える評価システムにより実行される評価方法である。この評価方法は、板材の全体を写す全体画像を第１機械学習モデルに入力して、該板材の表面に関する第１判定結果を算出するステップと、板材の一部を写す１以上の分割画像のそれぞれを第２機械学習モデルに入力して、板材の表面に関する１以上の第２判定結果を算出するステップと、第１判定結果および１以上の第２判定結果に基づいて板材を評価するステップとを含む。

【0064】

本開示の一側面に係る評価プログラムは、板材の全体を写す全体画像を第１機械学習モデルに入力して、該板材の表面に関する第１判定結果を算出するステップと、板材の一部を写す１以上の分割画像のそれぞれを第２機械学習モデルに入力して、板材の表面に関する１以上の第２判定結果を算出するステップと、第１判定結果および１以上の第２判定結果に基づいて板材を評価するステップとをコンピュータに実行させる。

【0065】

このような側面においては、一つの板材についての複数種類の画像（全体画像および分割画像）が個別の機械学習モデル（第１機械学習モデルおよび第２機械学習モデル）によって個別に判定され、複数の判定結果に基づいて板材が最終的に評価される。このように複数種類の画像および複数種類の機械学習モデルを用いることで、板材の表面を効率的に評価することができる。このような自動化によって、板材を検査する作業の省力化と、その検査の質の向上とが期待できる。一例では、検査員は特定の板材（例えば、不良品と判定された板材）のみを目視検査すれば足りるようになる。

【0066】

他の側面に係る評価システムでは、第１判定部が、表面に欠陥が存在するかを示す第１判定結果を算出し、第２判定部が、表面に欠陥が存在するかを示す１以上の第２判定結果を算出し、評価部が、第１判定結果および１以上の第２判定結果のうちの少なくとも一つが欠陥の存在を示す場合に、板材を不良品として評価してもよい。この処理によって、欠陥が存在する可能性がある板材をより確実に抽出することができる。

【0067】

他の側面に係る評価システムでは、１以上の分割画像の少なくとも一つについて画像解析を実行して、表面に欠陥が存在するか否かを示す第３判定結果を算出する第３判定部をさらに備えてもよい。第３判定部は、所定の範囲内に存在する複数の欠陥候補要素を一つの欠陥候補として特定し、一つの欠陥候補の寸法を算出し、寸法が所定の閾値以上である場合に、該一つの欠陥候補を欠陥として判定してもよい。評価部は、第３判定結果が欠陥の存在を示す場合には板材を不良品として評価し、第３判定結果が欠陥の不存在を場合には、第１判定結果および１以上の第２判定結果にかかわらず、板材を良品として評価してもよい。機械学習とは独立した画像処理によって得られる欠陥の寸法がさらに考慮されるので、欠陥が過剰に検出される状況を抑制することができる。この結果、板材の評価の質のさらなる向上が期待できる。

【0068】

他の側面に係る評価システムでは、第３判定部が、連続して存在する少なくとも二つの欠陥候補要素を一つの欠陥候補として特定してもよい。この手法によって欠陥候補をより精度良く特定することができる。

【0069】

他の側面に係る評価システムでは、欠陥を写す元分割画像に対して、回転、反転、および切り抜きのうちの少なくとも一つを含む画像編集を実行して、該欠陥を写す１以上の別の分割画像を生成する生成部と、元分割画像および１以上の別の分割画像を教師データとして用いて第２機械学習モデルを生成する学習部とをさらに備えてもよい。この仕組みにより、機械学習のための教師データを自動的に補充することができる。また、教師データが増えるので、機械学習の精度（言い換えると、第２機械学習モデルの精度）を上げることも可能になる。

【0070】

他の側面に係る評価システムでは、回転が、０°より大きく且つ１５°以下の角度で元分割画像を回転させることであってもよい。元分割画像の回転角度をこの範囲内に留めることで、欠陥を写す元分割画像から、欠陥が無いように判定されてしまう分割画像が生成される事態を防止または低減させることができる。この結果、機械学習の精度の低下を防止することが可能になる。

【0071】

他の側面に係る評価システムでは、生成部が、画像編集により生成される１以上の別の分割画像のうちの少なくとも一つが欠陥を写さない場合に、元分割画像および１以上の別の分割画像が教師データとして用いられないように、該元分割画像および該１以上の別の分割画像を破棄してもよい。この処理によって分割画像と欠陥の有無の対応関係が維持されるので、機械学習の精度の低下を防止することが可能になる。

【0072】

他の側面に係る評価システムでは、板材が回路基板用のセラミックス板であってもよい。この場合には、そのセラミックス板の表面を効率的に評価することができる。

【0073】

［変形例］
以上、本開示の実施形態に基づいて詳細に説明した。しかし、本開示は上記実施形態に限定されるものではない。本開示は、その要旨を逸脱しない範囲で様々な変形が可能である。

【0074】

評価システムの機能構成は上記実施形態に限定されない。上述したように、評価システムは学習フェーズおよび運用フェーズのいずれか一方を実行しなくてもよいので、学習部２０および検査部３０のうちのいずれか一方に相当する機能モジュールを備えなくてもよい。したがって、評価システムは処理フローＳ１，Ｓ２の組合せと、処理フローＳ３とのうちのいずれか一方を実行しなくてもよい。評価システムは生成部１０に相当する機能モジュールを備えなくてもよい。評価システムは第３判定部３３に相当する機能モジュールを備えなくてもよく、したがって、第３判定結果を用いることなく、第１判定結果および１以上の第２判定結果に基づいて板材を評価してもよい。

【0075】

評価システム内で二つの数値の大小関係を比較する際には、「以上」および「よりも大きい」という二つの基準のどちらを用いてもよく、「以下」および「未満」という二つの基準のうちのどちらを用いてもよい。このような基準の選択は、二つの数値の大小関係を比較する処理についての技術的意義を変更するものではない。

【0076】

本開示において、「少なくとも一つのプロセッサが、第１の処理を実行し、第２の処理を実行し、…第ｎの処理を実行する。」との表現、またはこれに対応する表現は、第１の処理から第ｎの処理までのｎ個の処理の実行主体（すなわちプロセッサ）が途中で変わる場合を含む概念である。すなわち、この表現は、ｎ個の処理のすべてが同じプロセッサで実行される場合と、ｎ個の処理においてプロセッサが任意の方針で変わる場合との双方を含む概念である。

【0077】

少なくとも一つのプロセッサにより実行される方法の処理手順は上記実施形態での例に限定されない。例えば、上述したステップ（処理）の一部が省略されてもよいし、別の順序で各ステップが実行されてもよい。また、上述したステップのうちの任意の２以上のステップが組み合わされてもよいし、ステップの一部が修正又は削除されてもよい。あるいは、上記の各ステップに加えて他のステップが実行されてもよい。例えば、上記の処理フローＳ３において、ステップＳ３２，Ｓ３３，Ｓ３４は並行して実行されてもよいし、順に実行されてもよい。

【符号の説明】

【0078】

１…評価システム、２…データベース、１０…生成部、２０…学習部、２１…第１学習部、２２…第２学習部、３０…検査部、３１…第１判定部、３２…第２判定部、３３…第３判定部、３４…評価部、４１…第１学習済みモデル、４２…第２学習済みモデル、１１０…評価プログラム、２００…板材、２１０…画像、２２０…分割画像、３００…元分割画像、３０１…クラック、３１１～３１６…分割画像、３２０…元分割画像、３２１…ピンホール、３３０…元分割画像、３３１…ゴミ、３４０…分割画像、３５０…元分割画像、３５１…クラック、３６１，３６２…分割画像、３７０…分割画像、３７１，３７２…欠陥候補要素、３７３…欠陥候補。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】