特許 7427856 学習プログラム、学習装置及び学習方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-01-29

(45)【発行日】2024-02-06

(54)【発明の名称】学習プログラム、学習装置及び学習方法

(51)【国際特許分類】

   G06N 20/00 20190101AFI20240130BHJP

   G06N 5/04 20230101ALI20240130BHJP

   G06T 7/00 20170101ALI20240130BHJP

   G06T 7/60 20170101ALI20240130BHJP

【ＦＩ】

G06N20/00

G06N5/04

G06T7/00 350B

G06T7/00 610C

G06T7/60

【請求項の数】 9

(21)【出願番号】P 2020071633

(22)【出願日】2020-04-13

(65)【公開番号】P2021168066

(43)【公開日】2021-10-21

【審査請求日】2022-12-26

(73)【特許権者】

【識別番号】506301140

【氏名又は名称】公立大学法人会津大学

(74)【代理人】

【識別番号】100094525

【弁理士】

【氏名又は名称】土井 健二

(74)【代理人】

【識別番号】100094514

【弁理士】

【氏名又は名称】林 恒徳

(72)【発明者】

【氏名】趙 強福

(72)【発明者】

【氏名】チョウドリ エムディ インティサル

(72)【発明者】

【氏名】古林 実

(72)【発明者】

【氏名】宍戸 芳行

【審査官】福西 章人

(56)【参考文献】

【文献】国際公開第２０１７／１０９９１８（ＷＯ，Ａ１）

【文献】特開２０２０－０３５０９４（ＪＰ，Ａ）

【文献】特開２０２０－０２５７８０（ＪＰ，Ａ）

【文献】特開２０１４－０３６６９８（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｎ ３／００－９９／００

Ｇ０６Ｔ ７／００

Ｇ０６Ｔ ７／６０

(57)【特許請求の範囲】

【請求項1】

複数のセルを含む検査対象についての画像データの入力を受け付け、
受け付けた前記画像データに対してハフ変換または連結成分抽出を行うことによって、前記画像データにおける前記複数のセルのそれぞれの位置を抽出し、
前記画像データと前記複数のセルのそれぞれの位置とを含む第１学習データを生成する、
処理をコンピュータに実行させることを特徴とする学習プログラム。

【請求項2】

請求項１において、さらに、
生成した前記第１学習データを用いることによって第１学習モデルを生成する、
処理をコンピュータに実行させることを特徴とする学習プログラム。

【請求項3】

請求項２において、さらに、
前記画像データに含まれる前記複数のセルから、互いに近接して位置する１以上のセル群を特定する、
処理をコンピュータに実行させ、
前記抽出する処理では、前記１以上のセル群ごとに、前記複数のセルのそれぞれの位置の抽出を行う、
ことを特徴とする学習プログラム。

【請求項4】

請求項３において、
前記特定する処理では、
前記複数のセルのサイズを所定のサイズに拡大した場合における各セルの範囲を特定し、
前記複数のセルにおいて、前記範囲の少なくとも一部が重なり合う１以上のセルからなるセル群のそれぞれを前記１以上のセル群として特定する、
ことを特徴とする学習プログラム。

【請求項5】

請求項３において、さらに、
前記画像データと前記１以上のセル群の位置とを含む第２学習データを生成する、
処理をコンピュータに実行させることを特徴とする学習プログラム。

【請求項6】

請求項５において、さらに、
生成した前記第２学習データを用いることによって第２学習モデルを生成する、
処理をコンピュータに実行させることを特徴とする学習プログラム。

【請求項7】

請求項６において、さらに、
新たな検査対象についての新たな画像データの入力を受け付け、
前記第２学習モデルに対する前記新たな画像データの入力に伴って出力される位置のそれぞれを、前記新たな画像データに含まれる前記１以上のセル群の位置のそれぞれとして特定し、
前記１以上のセル群ごとに、前記第１学習モデルに対する前記新たな画像データのうちの各セル群に対応する部分画像データの入力に伴って出力される位置のそれぞれを、各セル群に含まれる複数のセルの位置のそれぞれとして特定する、
処理をコンピュータに実行させることを特徴とする学習プログラム。

【請求項8】

複数のセルを含む検査対象についての画像データの入力を受け付ける検査対象入力部と、
受け付けた前記画像データに対してハフ変換または連結成分抽出を行うことによって、前記画像データにおける前記複数のセルのそれぞれの位置を抽出するセル抽出部と、
前記画像データと前記複数のセルのそれぞれの位置とを含む第１学習データを生成する学習データ生成部と、を有する、
ことを特徴とする学習装置。

【請求項9】

複数のセルを含む検査対象についての画像データの入力を受け付け、
受け付けた前記画像データに対してハフ変換または連結成分抽出を行うことによって、前記画像データにおける前記複数のセルのそれぞれの位置を抽出し、
前記画像データと前記複数のセルのそれぞれの位置とを含む第１学習データを生成する、
処理をコンピュータに実行させることを特徴とする学習方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、学習プログラム、学習装置及び学習方法に関する。

【背景技術】

【0002】

一般的に、ものづくりの現場では、製造された全ての完成品に対して品質検査が行われる。具体的に、例えば、完成品が多数のセルからなるアレイである場合、品質検査を行う作業者（以下、単に作業者とも呼ぶ）は、例えば、目視によって各セルにおける欠陥の検知を行う。

【0003】

このような品質検査が目視によって行われる場合、製造された完成品の数等によって、作業者の作業負担が膨大になる場合がある。そのため、作業者は、例えば、必要な学習データを予め学習させた学習モデルを用いることによって、完成品に対する品質検査を自動的に行う場合がある。これにより、作業者は、品質検査に伴う作業負担を抑制することが可能になる（非特許文献１及び２を参照）。

【先行技術文献】

【非特許文献】

【0004】

【文献】https://github.com/tzutalin/labelImg

【文献】https://github.com/Microsoft/VoTT/

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、上記のように生成された学習モデルを用いる場合、作業者は、品質検査の対象となる完成品（例えば、複数のセル）が映る画像データと、その画像データにおける完成品の位置を示す情報（以下、アノテーションとも呼ぶ）とを含む学習データを学習モデルに入力する必要がある。そのため、例えば、品質検査の対象となる完成品の数が多い場合、各完成品に対応する学習データの生成に要する作業者の作業負担が膨大になる。具体的に、例えば、手作業による各セルの配置位置の指定（各セルを含むバウンディングボックスの指定）に伴う作業者の作業負担が膨大になる。

【0006】

そこで、完成品に対する品質検査を作業者の作業負担を抑制しながら行うことを可能とする学習プログラム、学習装置及び学習方法を提供することにある。

【課題を解決するための手段】

【0007】

上記目的を達成するための本発明における学習プログラムは、複数のセルを含む検査対象についての画像データの入力を受け付け、受け付けた前記画像データに対してハフ変換または連結成分抽出を行うことによって、前記画像データにおける前記複数のセルのそれぞれの位置を抽出し、前記画像データと前記複数のセルのそれぞれの位置とを含む第１学習データを生成する、処理をコンピュータに実行させることを特徴とする。

【0008】

また、上記目的を達成するための本発明における学習プログラムは、一つの態様では、生成した前記第１学習データを用いることによって第１学習モデルを生成する、処理をコンピュータに実行させることを特徴とする。

【0009】

また、上記目的を達成するための本発明における学習プログラムは、一つの態様では、前記画像データに含まれる前記複数のセルから、互いに近接して位置する１以上のセル群を特定し、前記１以上のセル群ごとに、前記複数のセルのそれぞれの位置の抽出を行う、ことを特徴とする。

【0010】

また、上記目的を達成するための本発明における学習プログラムは、一つの態様では、前記複数のセルのサイズを所定のサイズに拡大した場合における各セルの範囲を特定し、前記複数のセルにおいて、前記範囲の少なくとも一部が重なり合う１以上のセルからなるセル群のそれぞれを前記１以上のセル群として特定する、ことを特徴とする。

【0011】

また、上記目的を達成するための本発明における学習プログラムは、一つの態様では、前記画像データと前記１以上のセル群の位置とを含む第２学習データを生成する、処理をコンピュータに実行させることを特徴とする。

【0012】

また、上記目的を達成するための本発明における学習プログラムは、一つの態様では、生成した前記第２学習データを用いることによって第２学習モデルを生成する、処理をコンピュータに実行させることを特徴とする。

【0013】

また、上記目的を達成するための本発明における学習プログラムは、一つの態様では、新たな検査対象についての新たな画像データの入力を受け付け、前記第２学習モデルに対する前記新たな画像データの入力に伴って出力される位置のそれぞれを、前記新たな画像データに含まれる前記１以上のセル群の位置のそれぞれとして特定し、前記１以上のセル群ごとに、前記第１学習モデルに対する前記新たな画像データのうちの各セル群に対応する部分画像データの入力に伴って出力される位置のそれぞれを、各セル群に含まれる複数のセルの位置のそれぞれとして特定する、処理をコンピュータに実行させることを特徴とする。

【0014】

また、上記目的を達成するための本発明における学習装置は、複数のセルを含む検査対象についての画像データの入力を受け付ける検査対象入力部と、受け付けた前記画像データに対してハフ変換または連結成分抽出を行うことによって、前記画像データにおける前記複数のセルのそれぞれの位置を抽出するセル抽出部と、前記画像データと前記複数のセルのそれぞれの位置とを含む第１学習データを生成する学習データ生成部と、を有する、ことを特徴とする。

【0015】

また、上記目的を達成するための本発明における学習方法は、複数のセルを含む検査対象についての画像データの入力を受け付け、受け付けた前記画像データに対してハフ変換または連結成分抽出を行うことによって、前記画像データにおける前記複数のセルのそれぞれの位置を抽出し、前記画像データと前記複数のセルのそれぞれの位置とを含む第１学習データを生成する、処理をコンピュータに実行させることを特徴とする。

【発明の効果】

【0016】

本発明における学習プログラム、学習装置及び学習方法によれば、完成品に対する品質検査を作業者の作業負担を抑制しながら行うことが可能になる。

【図面の簡単な説明】

【0017】

【図1】図１は、本発明の実施の形態における学習装置１の構成例を示す図である。

【図2】図２は、アレイ２の具体例について説明する図である。

【図3】図３は、ＬＥＤパターンの変化についての具体例を説明する図である。

【図4】図４は、ＬＥＤパターンの変化についての具体例を説明する図である。

【図5】図５は、ＬＥＤパターンの変化についての具体例を説明する図である。

【図6】図６は、第１の実施の形態の概略における学習処理を説明する図である。

【図7】図７は、第１の実施の形態の概略における推論処理を説明する図である。

【図8】図８は、第１の実施の形態における学習処理の詳細を説明するフローチャート図である。

【図9】図９は、第１の実施の形態における学習処理の詳細を説明するフローチャート図である。

【図10】図１０は、第１の実施の形態における学習処理の詳細を説明するフローチャート図である。

【図11】図１１は、セル群ＣＧの具体例について説明する図である。

【図12】図１２は、セル群ＣＧのアノテーションについて説明する図である。

【図13】図１３は、セルＣＥのアノテーションについて説明する図である。

【発明を実施するための形態】

【0018】

以下、図面を参照して本発明の実施の形態について説明する。しかしながら、かかる実施の形態例が、本発明の技術的範囲を限定するものではない。

【0019】

図１は、本発明の実施の形態における学習装置１の構成例を示す図である。学習装置１は、コンピュータ装置であって、例えば、汎用的なＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）であってよい。また、学習装置１は、据置型、ノードブック型、タブレット型等の形態を問わない。

【0020】

学習装置１は、汎用的なコンピュータ装置のハードウエア構成を有し、例えば、図１に示すように、プロセッサであるＣＰＵ１０１と、メモリ１０２と、インタフェース１０３と、記憶媒体１０４とを有する。各部は、バス１０５を介して互いに接続される。

【0021】

記憶媒体１０４は、例えば、アレイに含まれるセルの位置の特定に用いる学習モデルの学習処理（以下、単に学習処理とも呼ぶ）を行うためのプログラム（図示しない）を記憶するプログラム格納領域（図示しない）を有する。また、記憶媒体１０４は、例えば、学習処理を行う際に用いられる情報を記憶する記憶領域１１０を有する。なお、記憶媒体１０４は、例えば、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）やＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）であってよい。

【0022】

ＣＰＵ１０１は、記憶媒体１０４（記憶領域１１０）からメモリ１０２にロードされたプログラムを実行して学習処理を行う。

【0023】

また、インタフェース１０３は、例えば、作業者が操作を行う操作端末５と通信を行う。

【0024】

［アレイの具体例］
次に、アレイ２の具体例について説明を行う。図２は、アレイ２の具体例について説明する図である。なお、以下、アレイ２がＬＥＤ（Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）の電光掲示板として機能する場合について説明を行う。

【0025】

図２に示す例において、アレイ２には、横に３２個のセルＣＥが配置され、縦に１６個のセルＣＥが配置されている。すなわち、図２に示すアレイ２は、５１２個のセルＣＥ（ＬＥＤ）を有している。なお、図２に示す例は、全てのセルＣＥが第１の色（例えば、緑）であるＬＥＤパターンがアレイ２上に表示されている状態を示している。

【0026】

そして、図２示すアレイ２上に表示されているＬＥＤパターンは、時間の経過とともに流動的に変化する。以下、ＬＥＤパターンの変化についての具体例を説明する。

【0027】

［ＬＥＤパターンの変化についての具体例］
図３から図５は、ＬＥＤパターンの変化についての具体例を説明する図である。

【0028】

アレイ２に含まれる各セルＣＥは、例えば、第１の色、第２の色（例えば、赤）及び第３の色（例えば、青）を含む模様が左側から流れてくるように、各フレームに対応するＬＥＤパターンを連続的に表示する。そして、例えば、図２に示す状態から１０フレームが経過した場合、各セルＣＥは、図３に示すＬＥＤパターンを表示する。さらに、例えば、図２に示す状態から２０フレームが経過した場合（図３に示す状態から１０フレームが経過した場合）、各セルＣＥは、図４に示すＬＥＤパターンを表示する。

【0029】

その後、各セルＣＥは、例えば、第１の色、第２の色及び第３の色を含む模様が上側から流れてくるように、各フレームに対応するＬＥＤパターンを連続的に表示する。そして、例えば、図２に示す状態から３０フレームが経過した場合（図４に示す状態から１０フレームが経過した場合）、各セルＣＥは、図５に示すＬＥＤパターンを表示する。

【0030】

一方、学習装置１は、例えば、図２等に示すアレイ２が表示したＬＥＤパターンをカメラ等の撮像装置（図示しない）を用いることによって撮像することで、品質検査の検査対象となる動画データを取得する。その後、学習装置１は、取得した動画データの解析を行うことによって、アレイ２についての品質検査を行う。

【0031】

［第１の実施の形態の概略］
次に、第１の実施の形態の概略について説明する。図６は、第１の実施の形態の概略における学習処理を説明する図である。また、図７は、第１の実施の形態における推論処理を説明する図である。

【0032】

初めに、第１の実施の形態における学習処理の概略について説明を行う。

【0033】

学習装置１の検査対象入力部１１が被検査体（アレイ２）についての学習用の画像データの入力を受け付けた場合、学習装置１のセル抽出部１２は、入力を受け付けた画像データに含まれる複数のセルＣＥのそれぞれの位置を抽出する。

【0034】

具体的に、セル抽出部１２は、入力を受け付けた画像データに対してハフ変換または連結成分抽出を行うことにより、その画像データに含まれる複数のセルＣＥのそれぞれの位置を抽出する。

【0035】

そして、学習装置１の学習データ生成部１３は、検査対象入力部１１が入力を受け付けた画像データと、その画像データに含まれる複数のセルＣＥのそれぞれの位置とを含む学習データ（以下、第１学習データとも呼ぶ）を生成する。

【0036】

その後、学習装置１の学習モデル生成部１４は、学習データ生成部１３が生成した学習データを用いることによって、アレイ２に含まれる各セルＣＥの位置を抽出する際に用いられる学習モデル（以下、第１学習モデルとも呼ぶ）を生成する。具体的に、学習モデル生成部１４は、例えば、学習データ生成部１３が生成した学習データを用いることによって、ＳＳＤ（Ｓｉｎｇｌｅ Ｓｈｏｔ Ｍｕｌｔｉｂｏｘ Ｄｅｔｅｃｔｏｒ）やＹＯＬＯ（Ｙｏｕ Ｏｎｌｙ Ｌｉｖｅ Ｏｎｃｅ）等の深層学習モデルの生成を行う。

【0037】

すなわち、学習装置１は、ハフ変換や連結成分抽出を用いることによって、アレイ２が映る画像データから各セルＣＥの位置の特定を自動的に行う。そして、学習装置１は、特定した各セルＣＥの位置を示す情報（アノテーション）を含む学習データを自動的に生成する。

【0038】

これにより、学習装置１は、アレイ２に含まれる各セルＣＥの位置の抽出を行う学習モデルの生成に伴う作業者の作業負担を抑制することが可能になる。

【0039】

次に、第１の実施の形態における推論処理の概略について説明を行う。

【0040】

検査対象入力部１１がアレイ２についての新たな画像データ（検査対象の画像データ）の入力を受け付けた場合、学習装置１の検査対象特定部２２は、学習モデルに対する新たな画像データの入力に伴って出力された情報（各セルＣＥの位置を示す情報）から、新たな画像データに映るアレイ２に含まれる各セルＣＥの位置を特定する。

【0041】

そして、学習装置１の欠陥判定部２３は、例えば、作業者による判断結果に従って、新たな画像データに含まれる複数のセルＣＥのそれぞれが欠陥を有するセル（以下、単に欠陥セルとも呼ぶ）であるか否かについての判定を行う。

【0042】

その後、学習装置１の検査結果出力部２４は、欠陥セルであると判定されたセルＣＥを示す情報を出力する。

【0043】

［第１の実施の形態の詳細］
次に、第１の実施の形態の詳細について説明する。図８及び図９は、第１の実施の形態における学習処理の詳細を説明するフローチャート図である。また、図１０は、第１の実施の形態における推論処理の詳細を説明するフローチャート図である。さらに、図１１から図１３は、第１の実施の形態における学習処理の詳細を説明する図である。

【0044】

［第１の実施の形態における学習処理の詳細］
初めに、第１の実施の形態における学習処理の詳細について説明を行う。

【0045】

学習装置１（検査対象入力部１１）は、例えば、学習処理の開始タイミングになった場合、図８に示すように、複数のセルＣＥを含むアレイ２についての画像データの入力を受け付ける（Ｓ１１）。具体的に、学習装置１は、例えば、作業者が操作端末５を介して入力した複数の画像データの入力を受け付ける。

【0046】

そして、学習装置１（セル抽出部１２）は、Ｓ１１の処理で入力を受け付けた画像データに含まれる複数のセルＣＥから、互いに近接して位置する１以上のセル群ＣＧを特定する（Ｓ１２）。

【0047】

具体的に、学習装置１は、Ｓ１１の処理で入力を受け付けた画像データに含まれる複数のセルＣＥのそれぞれに対応するアノテーションの特定を行う。

【0048】

さらに具体的に、作業者は、例えば、Ｓ１１の処理で入力を受け付けた画像データにおける各セル群ＣＧの位置を計測し、計測結果をアノテーションとして学習装置１に入力する。そして、学習装置１は、例えば、入力されたアノテーションの入力を受け付ける。また、学習装置１は、例えば、Ｓ１１の処理で入力を受け付けた画像データに対してハフ変換や連結成分抽出を行うことによって、各セル群ＣＧのアノテーションを特定する。以下、セル群ＣＧ及びアノテーションの具体例について説明を行う。

【0049】

［セル群の具体例］
初めに、アレイ２（Ｓ１１の処理で受け付けた画像データ）に含まれるセル群ＣＧの具体例について説明を行う。図１１は、セル群ＣＧの具体例について説明する図である。なお、以下、各セルＣＥの形状が正方形である場合について説明を行うが、各セルＣＥの形状は、長方形や丸であってもよい。

【0050】

図１１に示す例において、アレイ２には、セル群ＣＧ１、セル群ＣＧ２、セル群ＣＧ３及びセル群ＣＧ４のそれぞれが配置されている。具体的に、図１１に示す例において、セル群ＣＧ１、セル群ＣＧ２、セル群ＣＧ３及びセル群ＣＧ４のそれぞれは、横に１４個のセルＣＥが配置され、縦に６個のセルＣＥが配置されたセル群ＣＧである。

【0051】

すなわち、例えば、図１１に示すアレイ２が映る画像データを受け付けた場合、学習装置１は、Ｓ１２の処理において、４つのセル群ＣＧの特定を行う。

【0052】

［セル群のアノテーションの具体例］
次に、セル群ＣＧのアノテーションについて説明を行う。図１２は、セル群ＣＧのアノテーションについて説明する図である。

【0053】

具体的に、セル群ＣＧ１のアノテーションには、例えば、図１２に示すように、セル群ＣＧ１の縦のサイズを示す「ｈ１」と、セル群ＣＧ１の横のサイズを示す「ｗ１」とが含まれる。また、セル群ＣＧ１のアノテーションには、例えば、図１２に示すように、セル群ＣＧ１の中心位置の横方向の位置（セル群ＣＧ１をＸＹ平面に配置した場合におけるＸ座標）を示す「ｃｘ１」と、セル群ＣＧ１の中心位置の縦方向の位置（セル群ＣＧ１をＸＹ平面に配置した場合におけるＹ座標）を示す「ｃｙ１」とが含まれる。

【0054】

図８に戻り、学習装置１（データ生成部１３）は、Ｓ１１の処理で入力受け付けた画像データと、Ｓ１２の処理で特定した１以上のセル群ＣＧの位置（アノテーション）とを含む学習データを生成する（Ｓ１３）。

【0055】

すなわち、学習装置１は、Ｓ１１の処理で入力を受け付けた画像データと、Ｓ１２の処理で特定した各セル群ＣＧに対応するアノテーションとを対応付けることによって学習データを生成する。

【0056】

そして、学習装置１（モデル生成部１４）は、Ｓ１３の処理で生成した学習データを用いることによって学習モデルを生成する（Ｓ１４）。

【0057】

具体的に、学習装置１は、アレイ２に含まれるセル群ＣＧの位置を特定することを可能とする学習モデル（第２学習モデル）の生成を行う。

【0058】

その後、学習装置１（セル抽出部１２）は、図９に示すように、Ｓ１２の処理で特定した１以上のセル群ＣＧのうちの１つを特定する（Ｓ２１）。

【0059】

そして、学習装置１（セル抽出部１２）は、ハフ変換または連結成分抽出を行うことによって、Ｓ１２で特定したセル群における複数のセルＣＥのそれぞれの位置を抽出する（Ｓ２２）。

【0060】

具体的に、学習装置１は、例えば、各セルＣＥの形状が丸である場合、ハフ変換を用いることによって、各セルＣＥのそれぞれの位置の抽出を行う。また、学習装置１は、例えば、各セルＣＥの形状が正方形や長方形である場合、連結成分抽出を用いることによって、各セルＣＥのそれぞれの位置の抽出を行う。そして、学習装置１は、各セルＣＥのそれぞれの位置を示す情報を含むアノテーションを生成する。

【0061】

すなわち、学習装置１は、ハフ変換や連結成分抽出を用いることによって、アレイ２が映る画像データに含まれる各セルＣＥのアノテーションを自動的に特定する。以下、セルＣＥの具体例について説明を行う。

【0062】

［セルのアノテーションの具体例］
図１３は、セルＣＥのアノテーションについて説明する図である。なお、図１３に示す各セルＣＥは、例えば、図１２で説明したセル群ＣＧのうちの１つに含まれるセルＣＥである。

【0063】

具体的に、図１３に示す各セルＣＥのアノテーションには、例えば、各セルＣＥの縦のサイズを示す「ｈ２」と、各セルＣＥの横のサイズを示す「ｗ２」とが含まれる。また、図１３に示す各セルＣＥのアノテーションには、例えば、各セルＣＥの中心位置の横方向の位置（各セルＣＥをＸＹ平面に配置した場合におけるＸ座標）を示す「ｃｘ２」と、各セルＣＥの中心位置の縦方向の位置（各セルＣＥをＸＹ平面に配置した場合におけるＹ座標）を示す「ｃｙ２」とが含まれる。

【0064】

図９に戻り、Ｓ２１の処理において全てのセル群ＣＧの特定を行ったか否かについて判定を行う（Ｓ２３）。

【0065】

その結果、全てのセル群ＣＧの特定を行っていないと判定した場合（Ｓ２３のＮＯ）、学習装置１は、Ｓ２１以降の処理を再度行う。

【0066】

一方、全てのセル群ＣＧの特定を行ったと判定した場合（Ｓ２３のＹＥＳ）、学習装置１（データ生成部１３）は、Ｓ１１の処理で入力を受け付けた画像データと、Ｓ２１の処理で特定した複数のセルＣＥの位置とを含む学習データを生成する（Ｓ２４）。

【0067】

すなわち、学習装置１は、Ｓ１１の処理で入力を受け付けた画像データと、Ｓ２２の処理で特定した各セルＣＥに対応するアノテーションとを対応付けることによって学習データを生成する。

【0068】

そして、学習装置１（モデル生成部１４）は、Ｓ２４の処理で生成した学習データを用いることによって学習モデルを生成する（Ｓ２５）。具体的に、学習装置１は、アレイ２に含まれる各セルＣＥの位置を特定することを可能とする学習モデル（第１学習モデル）の生成を行う。

【0069】

［第１の実施の形態における推論処理の詳細］
次に、第１の実施の形態における推論処理の詳細について説明を行う。

【0070】

学習装置１（検査対象入力部１１）は、図１０に示すように、複数のセルＣＥを含むアレイ２についての新たな画像データの入力を受け付ける（Ｓ３１）。

【0071】

そして、学習装置１（検査対象特定部２２）は、Ｓ１４の処理で生成した学習モデル（第２学習モデル）に対する新たな画像データの入力に伴って出力される各セル群ＣＧの位置を特定する（Ｓ３２）。

【0072】

続いて、学習装置１（検査対象特定部２２）は、Ｓ３２の処理で位置を特定したセル群ごとに、Ｓ２５の処理で生成した学習モデル（第１学習モデル）に対する各セル群ＣＧの部分画像データの入力に伴って出力される各セルＣＥの位置を特定する（Ｓ３３）。

【0073】

その後、学習装置１（欠陥判定部２３）は、Ｓ３１の処理で入力を受け付けた新たな画像データに含まれる複数のセルＣＥのそれぞれが欠陥セルであるか否かを判定する（Ｓ３４）。

【0074】

そして、学習装置１（検査結果出力部２４）は、Ｓ３３の処理における判定結果を出力する（Ｓ３５）。

【0075】

具体的に、学習装置１は、例えば、Ｓ３１の処理で入力を受け付けた新たな画像データに含まれる複数のセルＣＥのそれぞれが欠陥セルであるか否かを示す情報を操作端末５に出力する。

【0076】

すなわち、本実施の形態における学習装置１は、アレイ２に含まれるセル群ＣＧの位置を特定する学習モデルと、アレイ２に含まれる各セルＣＥ（セル群ＣＧに含まれる各セルＣＥ）の位置を特定するための学習モデルとを生成する。そして、学習装置１は、生成した２つの学習モデルを用いることによって各セルＣＥの位置を特定し、各セルＣＥが欠陥セルであるか否かについての判定を行う。

【0077】

これにより、学習装置１は、検査対象（アレイ２に含まれる各セルＣＥ）が欠陥セルであるか否かについての判定を、学習データ及び学習モデルの生成を含めて自動的に行うことが可能になる。

【0078】

また、学習装置１は、２つの学習モデルを用いることで、例えば、Ｓ３１の処理で入力を受け付けた画像データが傾いている場合（画像データがアレイ２の正面から撮影されたものでない場合）であっても、アレイ２に含まれる各セルＣＥが欠陥セルであるか否かについての判定を行うことが可能になる。

【0079】

なお、学習装置１は、例えば、Ｓ１２の処理において、アレイ２に含まれる各セルＣＥのサイズを仮想的に拡大することによって、Ｓ１１の処理で入力を受け付けた画像データに含まれる各セルＣＥを１以上のセル群ＣＧに分割するものであってもよい。

【0080】

具体的に、学習装置１は、例えば、各セルＣＥのサイズを拡大した場合に、少なくとも一部が重なり合うようになった複数のセルＣＥを、同一のセル群ＣＧに含まれる複数のセルＣＥとして特定するものであってよい。

【0081】

これにより、学習装置１は、各セル群ＣＧに含まれるセルＣＥの特定を容易に行うことが可能になる。また、学習装置１は、そのセル群ＣＧにも含まれないセルＣＥの発生を抑制することが可能になる。

【符号の説明】

【0082】

１：学習装置
２：アレイ
５：操作端末
１０１：ＣＰＵ
１０２：メモリ
１０３：インタフェース
１０４：記憶媒体
１０５：バス
ＣＥ：セル
ＣＧ：セル群

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】