特開 2024-141773 事前学習装置、事前学習方法、およびコンピュータープログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024141773

(43)【公開日】2024-10-10

(54)【発明の名称】事前学習装置、事前学習方法、およびコンピュータープログラム

(51)【国際特許分類】

   G06N 3/0895 20230101AFI20241003BHJP

   G06T 7/00 20170101ALI20241003BHJP

【ＦＩ】

G06N3/0895

G06T7/00 350B

【審査請求】未請求

【請求項の数】9

【出願形態】ＯＬ

(21)【出願番号】P 2023053598

(22)【出願日】2023-03-29

(71)【出願人】

【識別番号】000002369

【氏名又は名称】セイコーエプソン株式会社

(74)【代理人】

【識別番号】110000028

【氏名又は名称】弁理士法人明成国際特許事務所

(72)【発明者】

【氏名】関 健太

【テーマコード（参考）】

5L096

【Ｆターム（参考）】

5L096AA06

5L096EA02

5L096EA03

5L096EA16

5L096FA62

5L096FA69

5L096GA30

5L096HA11

5L096JA05

5L096KA04

(57)【要約】

【課題】互いに類似する複数のパターンを含む対象物の一部を表す画像について、その一部の場所の相違を反映した適切な特徴ベクトルを出力できる特徴抽出モデルを生成する。
【解決手段】事前学習装置は、第１原画像データを取得し、それに基づいて複数の第１種部分画像データと複数の第１種識別データを生成し、複数組の第１種入力データセットそれらを使用して対照学習を行うことにより、事前学習モデルを生成する。第１原画像データは、互いに類似する複数のパターンを含む第１対象物の画像データである。第１種部分画像データは、第１原画像データが表す第１原画像の一部を表す。第１種識別データは、第１種部分画像データが表す部分画像の第１原画像における位置を表す。第１種入力データセットは、一つの第１種部分画像データと、それが表す部分画像の位置を表す第１種識別データと、の組み合わせである。
【選択図】図４

【特許請求の範囲】

【請求項1】

画像データを入力されて特徴ベクトルを出力する事前学習モデルを生成する事前学習装置であって、
第１原画像データを取得する第１データ取得部であって、
第１原画像データは、互いに類似する複数のパターンを含む第１対象物の画像データである、第１データ取得部と、
前記第１原画像データに基づいて、複数の第１種部分画像データと、複数の第１種識別データと、を生成する第１データ生成部であって、
前記複数の第１種部分画像データのそれぞれは、前記第１原画像データが表す第１原画像の互いに異なる一部を表し、
前記複数の第１種識別データのそれぞれは、前記複数の第１種部分画像データの一つが表す部分画像の前記第１原画像における位置を表す、第１データ生成部と、
複数組の第１種入力データセットを使用して対照学習を行うことにより、前記事前学習モデルを生成するモデル生成部であって、
前記複数組の第１種入力データセットの各組は、前記複数の第１種部分画像データのうちの一つの第１種部分画像データと、前記一つの第１種部分画像データが表す部分画像の前記位置を表す第１種識別データと、の組み合わせである、モデル生成部と、
を備える事前学習装置。

【請求項2】

請求項１に記載の事前学習装置であって、
前記第１原画像データに基づいて、複数の第１種拡張画像データと、複数の第１種拡張識別データと、を生成する第１種拡張データ生成部であって、
前記複数の第１種拡張画像データのそれぞれは、前記第１対象物について前記第１種部分画像データが表す部分画像の範囲と少なくとも一部が重なる前記第１対象物の範囲を表し、前記第１種部分画像データとは異なるデータであり、
前記複数の第１種拡張識別データのそれぞれは、前記複数の第１種拡張画像データの一つが表す部分画像の前記第１原画像における位置を表す、第１種拡張データ生成部を備え、
前記モデル生成部は、複数組の第１種拡張入力データセットをさらに使用して、前記対照学習を行うことにより、前記事前学習モデルを生成し、
前記複数組の第１種拡張入力データセットの各組は、前記複数の第１種拡張画像データのうちの一つの第１種拡張画像データと、前記一つの第１種拡張画像データが表す部分画像の前記位置を表す第１種拡張識別データと、の組み合わせである、事前学習装置。

【請求項3】

請求項１または２に記載の事前学習装置であって、
第２原画像データを取得する第２データ取得部であって、
前記第２原画像データは、前記第１対象物とは別の第２対象物であって前記第１対象物と同一または類似の構成を有する第２対象物の画像データである、第２データ取得部と、
前記第２原画像データに基づいて、複数の第２種部分画像データと、複数の第２種識別データと、を生成する第２データ生成部であって、
前記複数の第２種部分画像データのそれぞれは、前記第２原画像データが表す第２原画像の互いに異なる一部を表し、
前記複数の第２種識別データのそれぞれは、前記複数の第２種部分画像データの一つが表す部分画像の前記第２原画像における位置を表し、
前記複数の第２種識別データのそれぞれが表す前記第２原画像における位置は、前記複数の第１種識別データのそれぞれが表す前記第１原画像における位置と一致する、第２データ生成部と、を備え、
前記モデル生成部は、複数組の第２種入力データセットをさらに使用して、前記対照学習を行うことにより、前記事前学習モデルを生成し、
前記複数組の第２種入力データセットの各組は、前記複数の第２種部分画像データのうちの一つの第２種部分画像データと、前記一つの第２種部分画像データが表す部分画像の前記位置を表す第２種識別データと、の組み合わせである、事前学習装置。

【請求項4】

画像データを入力されて特徴ベクトルを出力する事前学習モデルを生成する事前学習方法であって、
第１原画像データを取得する第１データ取得工程であって、
第１原画像データは、互いに類似する複数のパターンを含む第１対象物の画像データである、第１データ取得工程と、
前記第１原画像データに基づいて、複数の第１種部分画像データと、複数の第１種識別データと、を生成する第１データ生成工程であって、
前記複数の第１種部分画像データのそれぞれは、前記第１原画像データが表す第１原画像の互いに異なる一部を表し、
前記複数の第１種識別データのそれぞれは、前記複数の第１種部分画像データの一つが表す部分画像の前記第１原画像における位置を表す、第１データ生成工程と、
複数組の第１種入力データセットを使用して対照学習を行うことにより、前記事前学習モデルを生成するモデル生成工程であって、
前記複数組の第１種入力データセットの各組は、前記複数の第１種部分画像データのうちの一つの第１種部分画像データと、前記一つの第１種部分画像データが表す部分画像の前記位置を表す第１種識別データと、の組み合わせである、モデル生成工程と、
を備える事前学習方法。

【請求項5】

請求項４に記載の事前学習方法であって、
前記第１原画像データに基づいて、複数の第１種拡張画像データと、複数の第１種拡張識別データと、を生成する第１種拡張データ生成工程であって、
前記複数の第１種拡張画像データのそれぞれは、前記第１対象物について前記第１種部分画像データが表す部分画像の範囲と少なくとも一部が重なる前記第１対象物の範囲を表し、前記第１種部分画像データとは異なるデータであり、
前記複数の第１種拡張識別データのそれぞれは、前記複数の第１種拡張画像データの一つが表す部分画像の前記第１原画像における位置を表す、第１種拡張データ生成工程を備え、
前記モデル生成工程は、複数組の第１種拡張入力データセットをさらに使用して、前記対照学習を行うことにより、前記事前学習モデルを生成する工程であり、
前記複数組の第１種拡張入力データセットの各組は、前記複数の第１種拡張画像データのうちの一つの第１種拡張画像データと、前記一つの第１種拡張画像データが表す部分画像の前記位置を表す第１種拡張識別データと、の組み合わせである、事前学習方法。

【請求項6】

請求項４または５に記載の事前学習方法であって、
第２原画像データを取得する第２データ取得工程であって、
前記第２原画像データは、前記第１対象物とは別の第２対象物であって前記第１対象物と同一または類似の構成を有する第２対象物の画像データである、第２データ取得工程と、
前記第２原画像データに基づいて、複数の第２種部分画像データと、複数の第２種識別データと、を生成する第２データ生成工程であって、
前記複数の第２種部分画像データのそれぞれは、前記第２原画像データが表す第２原画像の互いに異なる一部を表し、
前記複数の第２種識別データのそれぞれは、前記複数の第２種部分画像データの一つが表す部分画像の前記第２原画像における位置を表し、
前記複数の第２種識別データのそれぞれが表す前記第２原画像における位置は、前記複数の第１種識別データのそれぞれが表す前記第１原画像における位置と一致する、第２データ生成工程と、を備え、
前記モデル生成工程は、複数組の第２種入力データセットをさらに使用して、前記対照学習を行うことにより、前記事前学習モデルを生成する工程であり、
前記複数組の第２種入力データセットの各組は、前記複数の第２種部分画像データのうちの一つの第２種部分画像データと、前記一つの第２種部分画像データが表す部分画像の前記位置を表す第２種識別データと、の組み合わせである、事前学習方法。

【請求項7】

コンピューターを使用して、画像データを入力されて特徴ベクトルを出力する事前学習モデルを生成させるコンピュータープログラムであって、
第１原画像データを取得する第１データ取得機能であって、
第１原画像データは、互いに類似する複数のパターンを含む第１対象物の画像データである、第１データ取得機能と、
前記第１原画像データに基づいて、複数の第１種部分画像データと、複数の第１種識別データと、を生成する第１データ生成機能であって、
前記複数の第１種部分画像データのそれぞれは、前記第１原画像データが表す第１原画像の互いに異なる一部を表し、
前記複数の第１種識別データのそれぞれは、前記複数の第１種部分画像データの一つが表す部分画像の前記第１原画像における位置を表す、第１データ生成機能と、
複数組の第１種入力データセットを使用して対照学習を行うことにより、前記事前学習モデルを生成するモデル生成機能であって、
前記複数組の第１種入力データセットの各組は、前記複数の第１種部分画像データのうちの一つの第１種部分画像データと、前記一つの第１種部分画像データが表す部分画像の前記位置を表す第１種識別データと、の組み合わせである、モデル生成機能と、
を前記コンピューターに実現させる、コンピュータープログラム。

【請求項8】

請求項７に記載のコンピュータープログラムであって、
前記第１原画像データに基づいて、複数の第１種拡張画像データと、複数の第１種拡張識別データと、を生成する第１種拡張データ生成機能であって、
前記複数の第１種拡張画像データのそれぞれは、前記第１対象物について前記第１種部分画像データが表す部分画像の範囲と少なくとも一部が重なる前記第１対象物の範囲を表し、前記第１種部分画像データとは異なるデータであり、
前記複数の第１種拡張識別データのそれぞれは、前記複数の第１種拡張画像データの一つが表す部分画像の前記第１原画像における位置を表す、第１種拡張データ生成機能を前記コンピューターに実現させ、
前記モデル生成機能は、複数組の第１種拡張入力データセットをさらに使用して、前記対照学習を行うことにより、前記事前学習モデルを生成する機能であり、
前記複数組の第１種拡張入力データセットの各組は、前記複数の第１種拡張画像データのうちの一つの第１種拡張画像データと、前記一つの第１種拡張画像データが表す部分画像の前記位置を表す第１種拡張識別データと、の組み合わせである、コンピュータープログラム。

【請求項9】

請求項７または８に記載のコンピュータープログラムであって、
第２原画像データを取得する第２データ取得機能であって、
前記第２原画像データは、前記第１対象物とは別の第２対象物であって前記第１対象物と同一または類似の構成を有する第２対象物の画像データである、第２データ取得機能と、
前記第２原画像データに基づいて、複数の第２種部分画像データと、複数の第２種識別データと、を生成する第２データ生成機能であって、
前記複数の第２種部分画像データのそれぞれは、前記第２原画像データが表す第２原画像の互いに異なる一部を表し、
前記複数の第２種識別データのそれぞれは、前記複数の第２種部分画像データの一つが表す部分画像の前記第２原画像における位置を表し、
前記複数の第２種識別データのそれぞれが表す前記第２原画像における位置は、前記複数の第１種識別データのそれぞれが表す前記第１原画像における位置と一致する、第２データ生成機能と、を前記コンピューターに実現させ、
前記モデル生成機能は、複数組の第２種入力データセットをさらに使用して、前記対照学習を行うことにより、前記事前学習モデルを生成する機能であり、
前記複数組の第２種入力データセットの各組は、前記複数の第２種部分画像データのうちの一つの第２種部分画像データと、前記一つの第２種部分画像データが表す部分画像の前記位置を表す第２種識別データと、の組み合わせである、コンピュータープログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、事前学習装置、事前学習方法、およびコンピュータープログラムに関する。

【背景技術】

【0002】

従来、製品の検査において、製品の画像を事前学習させた機械学習モデルが使用されている。その機械学習モデルは、製品の画像を入力されて、製品の「良」または「不良」の判別結果を出力する。しかし、求められる判別精度を達成できるように、モデルに教師あり学習を行わせるためには、「良」または「不良」のラベルが付された膨大な数の画像データが必要となる。

【0003】

この問題を解決する技術として、ラベル付きのデータを用意することなく高い精度のモデルを実現できる、自己教師あり学習（Self-supervised Learning：SSL）が存在する。対照学習(Contrastive Learning)は、自己教師あり学習の一種である。「対照学習」は、入力されるデータ同士を比較する仕組みを用いて、入力されるデータにラベル付けを行うことなく、データをそのまま学習できる学習である。

【0004】

非特許文献１においては、そのような対照学習として、ＳｉｍＳｉａｍが言及されている。非特許文献１の技術においては、同じ重みパラメーターを持つ一対の特徴抽出モデルが配置される。それぞれの特徴抽出モデルは、画像を入力されて、特徴ベクトルを出力する。教師なし画像に対して拡張を施して得られた複数の画像が、それら一対の特徴抽出モデルに与えられ、それぞれの特徴抽出モデルの出力が互いに近づくように、特徴抽出モデルが学習される。その後、特徴抽出モデルが出力する特徴ベクトルを入力されて判別結果を出力する判別器が、少数の教師あり画像で学習される。事前学習されたそれらの特徴抽出モデルと判別器とを組み合わせることにより、高い精度による画像の判別が可能なモデルが、実現される。

【先行技術文献】

【非特許文献】

【0005】

【非特許文献1】Xinlei Chen, Kaiming He, Facebook AI Research. Exploring Simple Siamese Representation Learning. arXiv preprint arXiv:2011.10566, 2020.

【発明の概要】

【発明が解決しようとする課題】

【0006】

製品全体の寸法に対して、不良が表れている部位の寸法が非常に小さい製品が存在する。そのような製品について、製品全体を表す精細な画像を学習させると、学習にかかるコストが大きくなる。一方で、製品全体を表す画像であってより画素数の少ない画像を用意すると、不良が表れている部位の形状が画像上で正確に表されなくなってしまう。そのような画像で学習した学習済みモデルのいては、良／不良の判定精度が低下する。このため、本開示の技術の発明者らは、製品全体を表す精細な画像を分割して生成された画像を使用して学習させることを、検討した。

【0007】

一方、たとえば回路基板など、互いに類似する複数のパターンを含む対象物について、そのような処理を行うと、異なる部位から切り出された画像が互いに類似することとなる。しかし、非特許文献１に記載されたモデルにおいては、互いに類似する複数のパターンを含む対象物の画像を分割して得られる画像を分類することは、想定されていない。このため、非特許文献１の技術においては、対象物上の異なる位置に存在する互いに類似するパターンが同じ特徴を有する場合には、一対の特徴抽出モデルが同じ特徴ベクトルを出力するように、学習が行われると、本開示の技術の発明者らは予想した。

【0008】

しかし、たとえば回路基板などの検査においては、ある場所にあるパターンについては、ある特徴を有する場合に不良に分類されるべきであり、一方で、別の場所にある類似のパターンについては、それと同じ特徴を有する場合であっても不良に分類されるべきではない、ということがあり得る。このため、互いに類似する複数のパターンを含む対象物の一部を表す画像について、その一部の場所の相違を反映した適切な特徴ベクトルを出力できる特徴抽出モデルを生成できる学習が、求められている。

【課題を解決するための手段】

【0009】

本開示は、上述の課題の少なくとも一部を解決するためになされたものであり、以下の形態として実現することが可能である。

【0010】

本開示の一形態によれば、画像データを入力されて特徴ベクトルを出力する事前学習モデルを生成する事前学習装置が提供される。この事前学習装置は、第１原画像データを取得する第１データ取得部であって、第１原画像データは、互いに類似する複数のパターンを含む第１対象物の画像データである、第１データ取得部と、前記第１原画像データに基づいて、複数の第１種部分画像データと、複数の第１種識別データと、を生成する第１データ生成部であって、前記複数の第１種部分画像データのそれぞれは、前記第１原画像データが表す第１原画像の互いに異なる一部を表し、前記複数の第１種識別データのそれぞれは、前記複数の第１種部分画像データの一つが表す部分画像の前記第１原画像における位置を表す、第１データ生成部と、複数組の第１種入力データセットを使用して対照学習を行うことにより、前記事前学習モデルを生成するモデル生成部であって、前記複数組の第１種入力データセットの各組は、前記複数の第１種部分画像データのうちの一つの第１種部分画像データと、前記一つの第１種部分画像データが表す部分画像の前記位置を表す第１種識別データと、の組み合わせである、モデル生成部と、を備える。

【図面の簡単な説明】

【0011】

【図1】第１実施形態の事前学習装置１を示すブロック図である。

【図2】画像データを入力されて特徴ベクトルを出力する事前学習モデルを生成する処理を示すフローチャートである。

【図3】回路基板ＣＢ１を表す第１原画像データＩｍ１と、第１種部分画像データＩｐ１１，Ｉｐ２２と、を示す説明図である。

【図4】ステップＳ３００におけるモデルの対照学習を示すブロック図である。

【図5】回路基板の画像を入力されて、良品または不良品の判別を行う判別モデルＩＤＭの構成を示すブロック図である。

【図6】第２実施形態の事前学習装置１Ａを示すブロック図である。

【図7】第１種部分画像データＩｐ１１と、第１種拡張画像データＩｐａ１１と、の関係を示す説明図である。

【図8】第３実施形態の事前学習装置１Ｂを示すブロック図である。

【図9】第１種部分画像データＩｐ１１と、第２種部分画像データＩｐ２１と、の関係を示す説明図である。

【発明を実施するための形態】

【0012】

Ａ．第１実施形態：
図１は、第１実施形態の事前学習装置１を示すブロック図である。事前学習装置１は、画像データを入力されて特徴ベクトルを出力する事前学習モデルを生成する。事前学習装置１は、具体的な構成として、プロセッサーであるＣＰＵ１０と、ＲＡＭ２０と、ＲＯＭ３０と、を備えている。ＲＡＭ２０は、半導体メモリーであるメインメモリーと、補助記憶装置であるハードディスクとを含む。ハードディスクには、オペレーティングシステム、アプリケーションプログラム等が格納されている。ＣＰＵ１０は、ハードディスクに記憶されたコンピュータープログラムを、メインメモリーにロードして実行することによって、後述する各種の機能を実現する。

【0013】

事前学習装置１は、さらに、入力機器６０と、出力機器７０と、を備える。入力機器６０は、事前学習装置１に情報を入力する機器である。入力機器６０は、具体的には、キーボード、マウス、および図示しない通信インターフェイスである。出力機器７０は、事前学習装置１が有する情報を出力する機器である。出力機器７０は、具体的には、液晶ディスプレイ、および図示しない通信インターフェイスである。事前学習装置１は、それら通信インターフェイスおよび通信回線を通じて、他の機器とデータのやりとりを行うことができる。

【0014】

図２は、事前学習モデルを生成する処理を示すフローチャートである。図２の処理の結果、画像データを入力されて特徴ベクトルを出力する事前学習モデルが生成される。図２の処理は、事前学習装置１のＣＰＵ１０によって実行される。

【0015】

ステップＳ１００においては、特徴抽出モデルの学習に使用される画像データが取得される。画像データは、通信回線および通信インターフェイスを介して、他の機器から取得される。画像データは、たとえばデジタルスチルカメラなどの、画像データを生成する画像生成機器から取得されてもよいし、たとえば、画像サーバーなどの、画像データを蓄積している機器から取得されてもよい。

【0016】

第１実施形態においては、第１原画像データＩｍ１が取得される（図１の左部参照）。第１原画像データＩｍ１は、互いに類似する複数のパターンを含む第１対象物ＣＢ１の画像データである。より具体的には、第１原画像データＩｍ１は、第１対象物ＣＢ１としての回路基板を撮影して得られた画像である。第１原画像データＩｍ１が取得される処理を、図２においてステップＳ１１０として示す。ステップＳ１１０の機能を実現するＣＰＵ１０の機能部を、図１において、第１データ取得部１１０として示す。ステップＳ１００の機能を実現するＣＰＵ１０の機能部を、図１において、データ取得部１００として示す。

【0017】

ステップＳ２００においては、ステップＳ１００で取得された画像データに基づいて、複数の部分画像データと、複数の識別データと、が生成される。ステップＳ２００は、ステップＳ２１０を含む。

【0018】

ステップＳ２１０においては、第１原画像データＩｍ１に基づいて、複数の第１種部分画像データＩｐ１１，Ｉｐ２２，・・が生成される。

【0019】

図３は、回路基板ＣＢ１を表す第１原画像データＩｍ１と、第１種部分画像データＩｐ１１，Ｉｐ２２と、を示す説明図である。複数の第１種部分画像データＩｐ１１，Ｉｐ２２，・・のそれぞれは、第１原画像データＩｍ１が表す第１原画像の互いに異なる一部を表す。なお、図３の例において、第１種部分画像データＩｐ１１が表す部分画像の範囲と、第１種部分画像データＩｐ２２が表す部分画像の範囲とは、互いに重複していない。しかし、「画像の互いに異なる一部」は、互いにさらにその一部が重複してもよい。図３では、２個の第１種部分画像データＩｐ１１，Ｉｐ２２が示されている。しかし、ステップＳ２１０においては、より多くの第１種部分画像データが生成される。複数の第１種部分画像データＩｐ１１，Ｉｐ２２，・・が生成される処理を、図２においてステップＳ２１２として示す。

【0020】

複数の第１種識別データＰｐ１１，Ｐｐ２２，・・のそれぞれは、複数の第１種部分画像データＩｐ１１，Ｉｐ２２，・・の一つが表す部分画像の第１原画像における位置を表す。図３において、２個の第１種識別データＰｐ１１，Ｐｐ２２がそれぞれ表す位置を、点で示す。第１種識別データＰｐ１１，Ｐｐ２２，・・がそれぞれ表す位置は、第１原画像における、第１種部分画像データＩｐ１１，Ｉｐ２２，・・が表す部分画像の中心の位置である。複数の第１種識別データＰｐ１１，Ｐｐ２２，・・が生成される処理を、図２においてステップＳ２１４として示す。ステップＳ２１０において第１種部分画像データを生成する機能を実現するＣＰＵ１０の機能部を、図１において、第１データ生成部２１０として示す。

【0021】

ステップＳ２００においては、複数の第１種部分画像データＩｐ１１，Ｉｐ２２，・・のうちの一つの第１種部分画像データＩｐ１ｘ（ｘ＝１，２，・・）と、一つの第１種部分画像データＩｐ１ｘが表す部分画像の位置を表す第１種識別データＰｐ１ｘ（ｘ＝１，２，・・）とが、互いに組み合わせられる。第１種部分画像データＩｐ１ｘと、第１種部分画像データＩｐ１ｘが表す部分画像の位置を表す第１種識別データＰｐ１ｘと、の組み合わせを、第１種入力データセットＤｉ１ｘ（ｘ＝１，２，・・）と呼ぶ。第１種部分画像データＩｐ１ｘと、第１種識別データＰｐ１ｘと、を組み合わせる機能を実現するＣＰＵ１０の機能部を、図１において、位置情報付与部２６０として示す。

【0022】

ステップＳ３００においては、複数組の第１種入力データセットＤｉ１１，Ｄｉ１２，・・を使用して対照学習が行われることにより、事前学習モデルが生成される。複数組の第１種入力データセットＤｉ１１，Ｄｉ１２，・・の各組は、複数の第１種部分画像データＩｐ１１，Ｉｐ２２，・・のうちの一つの第１種部分画像データＩｐ１ｘ（ｘ＝１，２，・・）と、一つの第１種部分画像データＩｐ１ｘが表す部分画像の位置を表す第１種識別データＰｐ１ｘと、の組み合わせである。

【0023】

図４は、ステップＳ３００におけるモデルの対照学習を示すブロック図である。図４では、第１種部分画像データＩｐ１１と第１種識別データＰｐ１１の組み合わせである第１種入力データセットＤｉ１１を例に、処理が示されている（図４の下段中央部参照）。

【0024】

まず、ステップＳ２１２で用意された第１種部分画像データＩｐ１１に対して、事前拡張処理が行われ、第１種部分変換データＩｐ１１ｃが生成される（図４の中段右部参照）。事前拡張処理は、画像を歪ませる処理、画像を回転させる処理、画像を反転させる処理、画像の色調を変化させる処理のいずれか、または２以上の組み合わせである。それぞれの第１種部分画像データに対して実行される事前拡張処理の内容は、確率的に決定される。

【0025】

第１種部分画像データＩｐ１１と、第１種部分変換データＩｐ１１ｃとは、それぞれエンコーダーＥｎ１，Ｅｎ２に入力される（図４の中段参照）。エンコーダーＥｎ１，Ｅｎ２は、互いに同一の構成を有し、対応する内部パラメーターが互いに異なる値を取り得るエンコーダーである。エンコーダーＥｎ１，Ｅｎ２は、部分画像を表す画像データを入力されて、部分画像の特徴ベクトルと、部分画像の位置を表す識別データの予測値と、を出力するエンコーダーである。図４において、エンコーダーＥｎ１の出力である特徴ベクトルをｚ１として示す。エンコーダーＥｎ１の出力である識別データの予測値をＰａ１＿ｐｒｅｄとして示す。エンコーダーＥｎ２の出力である特徴ベクトルをｚ２として示す。エンコーダーＥｎ２の出力である識別データの予測値をＰａ２＿ｐｒｅｄとして示す。

【0026】

エンコーダーＥｎ１の出力である特徴ベクトルをｚ１は、さらに、予測器ＰＲに入力される（図４の上段左部参照）。予測器ＰＲは、全結合層で構成されたニューラルネットワークである。図４において、予測器ＰＲの出力であるベクトルをｐ１として示す。

【0027】

エンコーダーＥｎ１の出力とエンコーダーＥｎ２の出力の類似度が評価される（図４の上段中央部参照）。まず、予測器ＰＲの出力であるベクトルｐ１と、エンコーダーＥｎ２の出力である特徴ベクトルをｚ２と、の類似度Ｄ（ｐ１，ｚ２）が算出される。類似度Ｄ（ｐ１，ｚ２）の算出には、以下の式（１）が使用される。類似度Ｄ（ｐ１，ｚ２）は、コサイン類似度である。

【0028】

【数1】

【0029】

技術の理解を容易にするため図示しないが、モデル生成部３００においては、図４の上段に示した構成とは逆に、エンコーダーＥｎ１の下流に予測器ＰＲが配されず、エンコーダーＥｎ２の下流に予測器ＰＲが配された態様が用意される。そして、エンコーダーＥｎ２の出力である特徴ベクトルをｚ２が、さらに、予測器ＰＲに入力される。エンコーダーＥｎ２の出力である特徴ベクトルｚ２を入力された予測器ＰＲの出力であるベクトルをｐ２とする。

【0030】

予測器ＰＲの出力であるベクトルｐ２と、エンコーダーＥｎ１の出力である特徴ベクトルをｚ１と、の類似度Ｄ（ｐ２，ｚ１）が算出される。類似度Ｄ（ｐ２，ｚ１）の算出には、上記の式（１）において、ｐ１をｐ２に置き換え、ｚ２をｚ１に置き換えた式が使用される。

【0031】

そして、それら出力ベクトルの類似度の平均Ｌ１が計算される。Ｌ１は、各エンコーダーの出力ベクトルの類似度を表す。

【数2】

【0032】

一方、エンコーダーＥｎ１の出力である識別データの予測値をＰａ１＿ｐｒｅｄと、エンコーダーＥｎ２の出力である識別データの予測値をＰａ２＿ｐｒｅｄと、の予測のずれの和Ｌ２が、以下の式（３）を使用して、計算される。

【数3】

Ｐａ１およびＰａ２は、図４の例におけるＰｐ１１である。
Ｐａ１＿ｐｒｅｄは、図４の例におけるエンコーダーＥｎ１によるＰｐ１１の予測値である。
Ｐａ２＿ｐｒｅｄは、図４の例におけるエンコーダーＥｎ２によるＰｐ１１の予測値である。

【0033】

そして、以下の式（４）を使用して、損失関数Ｌが計算される。

【数4】

λ１，λ２は、重みである。

【0034】

ステップＳ３００においては、上記の損失関数Ｌが最小となるように、学習が行われる。ただし、エンコーダーＥｎ２に対しては、勾配停止の処理が行われる。

【0035】

ステップＳ３００においては、以上で説明した処理にしたがって、複数組の第１種入力データセットＤｉ１１，Ｄｉ１２，・・を使用して対照学習が行われることにより、エンコーダーの学習が行われる。そして、ステップＳ３００の処理後、学習済みモデルとして、エンコーダーＥｎ１が取り出される。ステップＳ３００の機能を実現するＣＰＵ１０の機能部を、図１において、モデル生成部３００として示す。

【0036】

図５は、回路基板の画像を入力されて、良品または不良品の判別を行う判別モデルＩＤＭの構成を示すブロック図である。判別モデルＩＤＭは、学習済みモデルＬＭと、識別器ＤＭとを備える。学習済みモデルＬＭは、図２の処理で学習されたエンコーダーＥｎ１である（図４参照）。学習済みモデルＬＭは、回路基板の画像データＩｍを入力されて、特徴ベクトルｚを出力する。識別器ＤＭは、特徴ベクトルｚを入力されて、良品または不良品の判別結果を出力する。図５の右部において、特徴ベクトルｚを２次元上の点で表し、境界線を挟んで、識別器ＤＭによって判定された良品の集合Ｇｇと不良品の集合Ｇｎｇとを示す。

【0037】

識別器ＤＭは、あらかじめ、学習済みモデルＬＭと組み合わされ、少量のラベル付き画像データを使用して、学習される。その結果、判別モデルＩＤＭは、回路基板の画像を入力されて、良品または不良品の判別を高精度に行うことができるようになる。

【0038】

第１実施形態の事前学習装置１によれば、良／不良のラベル付きの画像データを用意することなく、互いに類似する複数のパターンを含む回路基板の一部を表す部分画像について、その一部の対象物上における場所の相違を反映した適切な特徴ベクトルを出力できる事前学習モデルＬＭを生成できる。生成された事前学習モデルＬＭは、回路基板上の異なる位置に存在する互いに類似した構成について、それぞれの位置を反映した特徴ベクトルを出力できる（図３および図５参照）。

【0039】

Ｂ．第２実施形態：
図６は、第２実施形態の事前学習装置１Ａを示すブロック図である。第２実施形態の事前学習装置１ＡのＣＰＵ１０Ａは、機能部として、第１拡張データ生成部２１０ａを備える（図６の上段中央部参照）。第２実施形態においては、第１種入力データセットに加えて、第１種拡張入力データセットが生成され、特徴抽出モデルの学習に使用される。第２実施形態の事前学習装置１Ａの他の点は、第１実施形態の事前学習装置１と同じである（図１参照）。以下で、第２実施形態における処理のうち、第１実施形態における処理とは異なる点を、図２を使用して説明する。

【0040】

第２実施形態において、ステップＳ２００は、ステップＳ２１０に加えてステップＳ２１０ａを含む。図２において、ステップＳ２１０ａを破線で示す。

【0041】

ステップＳ２１０ａにおいては、第１原画像データＩｍ１に基づいて、複数の第１種拡張画像データＩｐａ１１，Ｉｐａ１２，・・と、複数の第１種拡張識別データＰｐａ１１，Ｐｐａ１２，・・と、が生成される。

【0042】

図７は、第１種部分画像データＩｐ１１と、第１種拡張画像データＩｐａ１１と、の関係を示す説明図である。複数の第１種拡張画像データＩｐａ１１，Ｉｐａ１２，・・のそれぞれは、第１対象物ＣＢ１について第１種部分画像データＩｐ１ｘ（ｘ＝１，２，・・）が表す部分画像の範囲と一部が重なる第１対象物ＣＢ１の範囲を表し、第１種部分画像データＩｐ１ｘとは異なるデータである。図７に示す例においては、第１種拡張画像データＩｐａ１１は、第１対象物ＣＢ１について第１種部分画像データＩｐ１１が表す部分画像の範囲に対して、右下にずれており一部が重なる範囲を表す画像データである。複数の第１種拡張画像データＩｐａ１１，Ｉｐａ１２，・・が生成される処理を、図２においてステップＳ２１２ａとして、破線で示す。

【0043】

複数の第１種拡張識別データＰｐａ１１，Ｐｐａ１２，・・のそれぞれは、複数の第１種拡張画像データＩｐａ１１，Ｉｐａ１２，・・の一つが表す部分画像の第１原画像における位置を表す。図７において、第１種識別データＰｐ１１と第１種拡張画像データＩｐａ１１がそれぞれ表す位置を、点で示す。複数の第１種拡張識別データＰｐａ１１，Ｐｐａ１２，・・のそれぞれが表す位置は、第１原画像における、複数の第１種拡張画像データＩｐａ１１，Ｉｐａ１２，・・が表す部分画像の中心の位置である。複数の第１種拡張識別データＰｐａ１１，Ｐｐａ１２，・・が生成される処理を、図２においてステップＳ２１４ａとして、破線で示す。ステップＳ２１０ａの機能を実現するＣＰＵ１０の機能部を、図６において、第１拡張データ生成部２１０ａとして示す。

【0044】

第２実施形態のステップＳ２００においては、複数の第１種拡張画像データＩｐａ１１，Ｉｐａ１２，・・のうちの一つの第１種拡張画像データＩｐａ１ｘ（ｘ＝１，２，・・）と、一つの第１種拡張画像データＩｐａ１ｘが表す部分画像の位置を表す第１種拡張識別データＰｐａ１ｘとが、互いに組み合わせられる。第１種拡張画像データＩｐａ１ｘと、第１種拡張画像データＩｐａ１ｘが表す部分画像の位置を表す第１種拡張識別データＰｐａ１ｘと、の組み合わせを、第１種拡張入力データセットＤｉａ１ｘ（ｘ＝１，２，・・）と呼ぶ（図６の上段右部参照）。第１種拡張画像データＩｐａ１ｘと、第１種拡張識別データＰｐａ１ｘと、を組み合わせる機能を実現するＣＰＵ１０Ａの機能部は、位置情報付与部２６０である。第２実施形態において、ステップＳ２００の機能を実現するＣＰＵ１０Ａの機能部を、図６において、データ生成部２００Ａとして示す。なお、第２実施形態において、第１実施形態の構成に対応する構成は、第１実施形態のその構成を表す符号の末尾に「Ａ」を付して示す。

【0045】

ステップＳ３００においては、複数組の第１種入力データセットＤｉ１１，Ｄｉ１２，・・に加えて、複数組の第１種拡張入力データセットＤｉａ１１，Ｄｉａ１２，・・が使用されて対照学習が行われることにより、事前学習モデルが生成される（図４の下段中央部のＤｉ１１参照）。

【0046】

第２実施形態においては、ステップＳ２１０ａにおいて第１原画像データＩｍ１に基づいて第１種拡張入力データセットＤｉａ１１，Ｄｉａ１２，・・が生成されることにより、一つの原画像データＩｍ１から、より多くの事前学習用の画像データおよび識別データが生成される（図６の中央部参照）。このため、検査の対象である個別の対象物としての回路基板の態様が様々である場合にも安定して特徴ベクトルを出力できるモデルを、多数の原画像データを用意することなく、生成できる。

【0047】

Ｃ．第３実施形態：
図８は、第３実施形態の事前学習装置１Ｂを示すブロック図である。第３実施形態の事前学習装置１ＢのＣＰＵ１０Ｂは、機能部として、第２データ取得部１２０および第２データ生成部２２０を備える（図８の下段左部参照）。第３実施形態においては、第１種入力データセットに加えて、第２種入力データセットが生成され、特徴抽出モデルの学習に使用される。第３実施形態の事前学習装置１Ｂの他の点は、第１実施形態の事前学習装置１と同じである。以下で、第３実施形態における処理のうち、第１実施形態における処理とは異なる点を、図２を使用して説明する。

【0048】

第３実施形態において、ステップＳ１００は、ステップＳ１１０に加えてステップＳ１２０を含む。図２において、ステップＳ１２０を破線で示す。

【0049】

ステップＳ１２０においては、第２原画像データＩｍ２が取得される（図８の下段左部参照）。第２原画像データＩｍ２は、第１対象物ＣＢ１とは別の第２対象物ＣＢ２であって第１対象物ＣＢ１と同一の構成を有する第２対象物ＣＢ２の画像データである。より具体的には、第２原画像データＩｍ２は、第１対象物ＣＢ１の回路基板とは別の回路基板であって第１対象物ＣＢ１の回路基板と同一の構成を有する回路基板を撮影して得られた画像である。ステップＳ１２０の機能を実現するＣＰＵ１０Ｂの機能部を、図８において、第２データ取得部１２０として示す。第３実施形態において、ステップＳ１００の機能を実現するＣＰＵ１０Ｂの機能部を、図８において、データ取得部１００Ｂとして示す。なお、第３実施形態において、第１実施形態の構成に対応する構成は、第１実施形態のその構成を表す符号の末尾に「Ｂ」を付して示す。

【0050】

第３実施形態において、ステップＳ２００は、ステップＳ２１０に加えてステップＳ２２０を含む。図２において、ステップＳ２２０を破線で示す。

【0051】

ステップＳ２２０においては、第２原画像データＩｍ２に基づいて、複数の第２種部分画像データＩｐ２１，Ｉｐ２２，・・と、複数の第２種識別データＰｐ２１，Ｐｐ２２，・・と、が生成される。

【0052】

図９は、第１種部分画像データＩｐ１１と、第２種部分画像データＩｐ２１と、の関係を示す説明図である。複数の第２種部分画像データＩｐ２１，Ｉｐ２２，・・のそれぞれは、第２原画像データＩｍ２が表す第２原画像の互いに異なる一部を表す。第２原画像において複数の第２種部分画像データＩｐ２１，Ｉｐ２２，・・のそれぞれが表す範囲は、第１原画像において複数の第１種識別データＰｐ１１，Ｐｐ２２，・・のそれぞれが表す範囲と一致する。複数の第２種部分画像データＩｐ２１，Ｉｐ２２，・・が生成される処理を、図２においてステップＳ２２２として、破線で示す。

【0053】

複数の第２種識別データＰｐ２１，Ｐｐ２２，・・のそれぞれは、複数の第２種部分画像データＩｐ２１，Ｉｐ２２，・・の一つが表す部分画像の第２原画像における位置を表す。図９において、第１種識別データＰｐ１１と第２種識別データＰｐ２１がそれぞれ表す位置を、点で示す。複数の第２種識別データＰｐ２１，Ｐｐ２２，・・のそれぞれが表す第２原画像における位置は、複数の第１種識別データＰｐ１１，Ｐｐ２２，・・のそれぞれが表す第１原画像における位置と一致する。図９の例では、第２種識別データＰｐ２１が表す第２原画像における位置は、第１種識別データＰｐ１１が表す第１原画像における位置と一致する。複数の第２種識別データＰｐ２１，Ｐｐ２２，・・が生成される処理を、図２においてステップＳ２２４として、破線で示す。ステップＳ２２０の機能を実現するＣＰＵ１０Ｂの機能部を、図８において、第２データ生成部２２０として示す。

【0054】

第３実施形態のステップＳ２００においては、複数の第２種部分画像データＩｐ２１，Ｉｐ２２，・・のうちの一つの第２種部分画像データＩｐ２ｘ（ｘ＝１，２，・・）と、一つの第２種部分画像データＩｐ２ｘが表す部分画像の位置を表す第２種識別データＰｐ２ｘとが、互いに組み合わせられる。第２種部分画像データＩｐ２ｘと、第２種部分画像データＩｐ２ｘが表す部分画像の位置を表す第２種識別データＰｐ２ｘと、の組み合わせを、第２種入力データセットＤｉ２ｘ（ｘ＝１，２，・・）と呼ぶ（図８の下段右部参照）。第２種部分画像データＩｐ２ｘと、第２種識別データＰｐ２ｘと、を組み合わせる機能を実現するＣＰＵ１０Ｂの機能部は、位置情報付与部２６０である。第３実施形態において、ステップＳ２００の機能を実現するＣＰＵ１０Ｂの機能部を、図８において、データ生成部２００Ｂとして示す。

【0055】

ステップＳ３００においては、複数組の第１種入力データセットＤｉ１１，Ｄｉ１２，・・に加えて、複数組の第２種入力データセットＤｉ２１，Ｄｉ２２，・・が使用されて対照学習が行われることにより、事前学習モデルが生成される（図４の下段中央部のＤｉ１１参照）。

【0056】

第３実施形態においては、ステップＳ２２０において、第２原画像データＩｍ２に基づいて第２種入力データセットＤｉ２１，Ｄｉ２２，・・が生成されることにより、より多くの事前学習用の画像データおよび識別データが生成される（図８の下段左部参照）。このため、複数の実際の対象物ＣＢ１，ＣＢ２から得られたより多くの画像データに基づいて、個別の対象物の実際の態様のばらつきに対して安定して特徴ベクトルを出力できるモデルを、生成できる。

【0057】

Ｄ．他の実施形態：
（１）上記実施形態において、第１種識別データＰｐ１１，Ｐｐ２２，・・がそれぞれ表す位置は、第１原画像における、第１種部分画像データＩｐ１１，Ｉｐ２２，・・が表す部分画像の中心の位置である（図３参照）。しかし、第１種識別データが表す位置は、たとえば、第１種部分画像データが表す長方形の範囲の右下または左上の角の位置であってもよく、あらかじめ定められた基準により第１種部分画像データが表す範囲に基づいて定められる位置であればよい。第１種拡張画像データ、および第２種識別データが表す位置についても同様である。

【0058】

（２）上記第２実施形態においては、複数の第１種拡張画像データＩｐａ１１，Ｉｐａ１２，・・のそれぞれは、第１対象物ＣＢ１について第１種部分画像データＩｐ１ｘ（ｘ＝１，２，・・）が表す部分画像の範囲と一部が重なる第１対象物ＣＢ１の範囲を表すデータである（図７参照）。しかし、複数の第１種拡張画像データのそれぞれは、第１対象物について第１種部分画像データが表す部分画像の範囲と全部が重なる第１対象物の範囲を表し、第１種部分画像データとは異なるデータであってもよい。そのような部分画像データは、第１種拡張画像データに対して、画像を歪ませる処理、画像を回転させる処理、画像を反転させる処理、画像の色調を変化させる処理のいずれか、または２以上の組み合わせを経た画像データとすることができる。そのようにして得られる第１種拡張画像データが表す部分画像の位置は、第１種部分画像データと対応する第１種識別データが表す位置と同じである。

【0059】

また、複数の第１種拡張画像データは、上記第２実施形態における複数の第１種拡張画像データＩｐａ１１，Ｉｐａ１２，・・に対して、さらに、画像を歪ませる処理、画像を回転させる処理、画像を反転させる処理、画像の色調を変化させる処理のいずれか、または２以上の組み合わせを経た画像データとすることもできる。そのようにして得られる第１種拡張画像データが表す部分画像の位置は、上記第１実施形態における複数の第１種拡張画像データＩｐａ１１，Ｉｐａ１２，・・と対応する第１種識別データが表す位置と同じである。

【0060】

（３）上記第３実施形態において、第２原画像データＩｍ２は、第１対象物ＣＢ１の回路基板とは別の回路基板であって第１対象物ＣＢ１の回路基板と同一の構成を有する回路基板を撮影して得られた画像である。しかし、第２原画像データは、第１対象物とは別の第２対象物であって第１対象物と同一ではなく類似の構成を有する第２対象物の画像データであってもよい。

【0061】

（４）上記第２実施形態のステップＳ３００においては、複数組の第１種入力データセットＤｉ１１，Ｄｉ１２，・・と、複数組の第１種拡張入力データセットＤｉａ１１，Ｄｉａ１２，・・と、を使用して対照学習が行われることにより、事前学習モデルが生成される（図６の右部参照）。上記第３実施形態のステップＳ３００においては、複数組の第１種入力データセットＤｉ１１，Ｄｉ１２，・・と、複数組の第２種入力データセットＤｉ２１，Ｄｉ２２，・・と、を使用して、対照学習が行われることにより、事前学習モデルが生成される（図８の右部参照）。

【0062】

しかし、複数組の第１種入力データセットＤｉ１１，Ｄｉ１２，・・と、複数組の第１種拡張入力データセットＤｉａ１１，Ｄｉａ１２，・・と、複数組の第２種入力データセットＤｉ２１，Ｄｉ２２，・・と、を使用して対照学習が行われてもよい。

【0063】

（５）上記実施形態において、判別モデルＩＤＭは、回路基板の画像を入力されて、良品または不良品の判別を行う（図５参照）。しかし、判別モデルＩＤＭは、回路基板の一部の範囲の画像を入力されて、良品または不良品の判別を行うものであってもよい。

【0064】

（６）上記第１実施形態においては、第１種部分画像データＩｐ１ｘと、第１種部分画像データＩｐ１ｘ（ｘ＝１，２，・・）が表す部分画像の位置を表す第１種識別データＰｐ１ｘと、の組み合わせである、第１種入力データセットＤｉ１ｘ（ｘ＝１，２，・・）が生成され、学習に使用される（図１の中段右部参照）。しかし、たとえば以下のような方法で、学習に使用されるデータが用意されてもよい。すなわち、第１種部分画像データＩｐ１ｘ（ｘ＝１，２，・・）をベクトル化し、さらにの第１種部分画像データＩｐ１ｘが表す部分画像の位置の情報を埋め込んで、学習用のデータが生成されてもよい。

【0065】

（７）上記実施形態において、第１原画像データＩｍ１は、第１対象物ＣＢ１としての回路基板を撮影して得られた画像である。しかし、検査の対象である対象物は、回路気宇版に限らず、複数のチップが形成され得る半導体ウエハーや、印刷物など、他の物であってもよい。

【0066】

（８）上記実施形態においては、第１種部分画像データＩｐ１１と、第１種部分変換データＩｐ１１ｃとは、それぞれエンコーダーＥｎ１，Ｅｎ２に入力される（図４の中段参照）。エンコーダーＥｎ１，Ｅｎ２は、互いに同一の構成を有し、対応する内部パラメーターが互いに異なる値を取り得るエンコーダーである。しかし、第１種部分画像データＩｐ１１と、第１種部分変換データＩｐ１１ｃとが３以上のエンコーダーに入力され、学習が行われる態様とすることもできる。また、２以上のエンコーダーは、実際には一つのエンコーダーについて、複数組の代替的な内部パラメーターを持たせることで実現してもよい。

【0067】

Ｅ．他の形態：
本開示は、上述した実施形態に限られるものではなく、その趣旨を逸脱しない範囲において種々の形態で実現することができる。例えば、本開示は、以下の形態によっても実現可能である。以下に記載した各形態中の技術的特徴に対応する上記実施形態中の技術的特徴は、本開示の課題の一部又は全部を解決するために、あるいは、本開示の効果の一部又は全部を達成するために、適宜、差し替えや、組み合わせを行うことが可能である。また、その技術的特徴が本明細書中に必須なものとして説明されていなければ、適宜、削除することが可能である。

【0068】

（１）本開示の一形態によれば、画像データを入力されて特徴ベクトルを出力する事前学習モデルを生成する事前学習装置が提供される。この事前学習装置は、第１原画像データを取得する第１データ取得部であって、第１原画像データは、互いに類似する複数のパターンを含む第１対象物の画像データである、第１データ取得部と、前記第１原画像データに基づいて、複数の第１種部分画像データと、複数の第１種識別データと、を生成する第１データ生成部であって、前記複数の第１種部分画像データのそれぞれは、前記第１原画像データが表す第１原画像の互いに異なる一部を表し、前記複数の第１種識別データのそれぞれは、前記複数の第１種部分画像データの一つが表す部分画像の前記第１原画像における位置を表す、第１データ生成部と、複数組の第１種入力データセットを使用して対照学習を行うことにより、前記事前学習モデルを生成するモデル生成部であって、前記複数組の第１種入力データセットの各組は、前記複数の第１種部分画像データのうちの一つの第１種部分画像データと、前記一つの第１種部分画像データが表す部分画像の前記位置を表す第１種識別データと、の組み合わせである、モデル生成部と、を備える。
このような態様とすることにより、ラベル付きの画像データを用意することなく、互いに類似する複数のパターンを含む対象物の一部を表す画像について、その一部の対象物上における場所の相違を反映した適切な特徴ベクトルを出力できる事前学習モデルを生成できる。

【0069】

（２）上記形態の事前学習装置において、前記第１原画像データに基づいて、複数の第１種拡張画像データと、複数の第１種拡張識別データと、を生成する第１種拡張データ生成部であって、前記複数の第１種拡張画像データのそれぞれは、前記第１対象物について前記第１種部分画像データが表す部分画像の範囲と少なくとも一部が重なる前記第１対象物の範囲を表し、前記第１種部分画像データとは異なるデータであり、前記複数の第１種拡張識別データのそれぞれは、前記複数の第１種拡張画像データの一つが表す部分画像の前記第１原画像における位置を表す、第１種拡張データ生成部を備え、前記モデル生成部は、複数組の第１種拡張入力データセットをさらに使用して、前記対照学習を行うことにより、前記事前学習モデルを生成し、前記複数組の第１種拡張入力データセットの各組は、前記複数の第１種拡張画像データのうちの一つの第１種拡張画像データと、前記一つの第１種拡張画像データが表す部分画像の前記位置を表す第１種拡張識別データと、の組み合わせである、態様とすることもできる。
このような態様とすることにより、個別の対象物の態様が様々である場合にも安定して特徴ベクトルを出力できるモデルを、多数の原画像データを用意することなく、生成できる。

【0070】

（３）上記形態の事前学習装置において、第２原画像データを取得する第２データ取得部であって、前記第２原画像データは、前記第１対象物とは別の第２対象物であって前記第１対象物と同一または類似の構成を有する第２対象物の画像データである、第２データ取得部と、前記第２原画像データに基づいて、複数の第２種部分画像データと、複数の第２種識別データと、を生成する第２データ生成部であって、前記複数の第２種部分画像データのそれぞれは、前記第２原画像データが表す第２原画像の互いに異なる一部を表し、前記複数の第２種識別データのそれぞれは、前記複数の第２種部分画像データの一つが表す部分画像の前記第２原画像における位置を表し、前記複数の第２種識別データのそれぞれが表す前記第２原画像における位置は、前記複数の第１種識別データのそれぞれが表す前記第１原画像における位置と一致する、第２データ生成部と、を備え、前記モデル生成部は、複数組の第２種入力データセットをさらに使用して、前記対照学習を行うことにより、前記事前学習モデルを生成し、前記複数組の第２種入力データセットの各組は、前記複数の第２種部分画像データのうちの一つの第２種部分画像データと、前記一つの第２種部分画像データが表す部分画像の前記位置を表す第２種識別データと、の組み合わせである、態様とすることもできる。
このような態様とすることにより、複数の実際の対象物から得られたより多くの画像データに基づいて、個別の対象物の実際の態様のばらつきに対して安定して特徴ベクトルを出力できるモデルを、生成できる。

【0071】

（４）本開示の他の形態によれば、画像データを入力されて特徴ベクトルを出力する事前学習モデルを生成する事前学習方法が提供される。この事前学習方法は、第１原画像データを取得する第１データ取得工程であって、第１原画像データは、互いに類似する複数のパターンを含む第１対象物の画像データである、第１データ取得工程と、前記第１原画像データに基づいて、複数の第１種部分画像データと、複数の第１種識別データと、を生成する第１データ生成工程であって、前記複数の第１種部分画像データのそれぞれは、前記第１原画像データが表す第１原画像の互いに異なる一部を表し、前記複数の第１種識別データのそれぞれは、前記複数の第１種部分画像データの一つが表す部分画像の前記第１原画像における位置を表す、第１データ生成工程と、複数組の第１種入力データセットを使用して対照学習を行うことにより、前記事前学習モデルを生成するモデル生成工程であって、前記複数組の第１種入力データセットの各組は、前記複数の第１種部分画像データのうちの一つの第１種部分画像データと、前記一つの第１種部分画像データが表す部分画像の前記位置を表す第１種識別データと、の組み合わせである、モデル生成工程と、を備える。

【0072】

（５）上記形態の事前学習方法において、前記第１原画像データに基づいて、複数の第１種拡張画像データと、複数の第１種拡張識別データと、を生成する第１種拡張データ生成工程であって、前記複数の第１種拡張画像データのそれぞれは、前記第１対象物について前記第１種部分画像データが表す部分画像の範囲と少なくとも一部が重なる前記第１対象物の範囲を表し、前記第１種部分画像データとは異なるデータであり、前記複数の第１種拡張識別データのそれぞれは、前記複数の第１種拡張画像データの一つが表す部分画像の前記第１原画像における位置を表す、第１種拡張データ生成工程を備え、前記モデル生成工程は、複数組の第１種拡張入力データセットをさらに使用して、前記対照学習を行うことにより、前記事前学習モデルを生成する工程であり、前記複数組の第１種拡張入力データセットの各組は、前記複数の第１種拡張画像データのうちの一つの第１種拡張画像データと、前記一つの第１種拡張画像データが表す部分画像の前記位置を表す第１種拡張識別データと、の組み合わせである、態様とすることもできる。

【0073】

（６）上記形態の事前学習方法において、第２原画像データを取得する第２データ取得工程であって、前記第２原画像データは、前記第１対象物とは別の第２対象物であって前記第１対象物と同一または類似の構成を有する第２対象物の画像データである、第２データ取得工程と、前記第２原画像データに基づいて、複数の第２種部分画像データと、複数の第２種識別データと、を生成する第２データ生成工程であって、前記複数の第２種部分画像データのそれぞれは、前記第２原画像データが表す第２原画像の互いに異なる一部を表し、前記複数の第２種識別データのそれぞれは、前記複数の第２種部分画像データの一つが表す部分画像の前記第２原画像における位置を表し、前記複数の第２種識別データのそれぞれが表す前記第２原画像における位置は、前記複数の第１種識別データのそれぞれが表す前記第１原画像における位置と一致する、第２データ生成工程と、を備え、前記モデル生成工程は、複数組の第２種入力データセットをさらに使用して、前記対照学習を行うことにより、前記事前学習モデルを生成する工程であり、前記複数組の第２種入力データセットの各組は、前記複数の第２種部分画像データのうちの一つの第２種部分画像データと、前記一つの第２種部分画像データが表す部分画像の前記位置を表す第２種識別データと、の組み合わせである、態様とすることもできる。

【0074】

（７）本開示の一形態によれば、コンピューターを使用して、画像データを入力されて特徴ベクトルを出力する事前学習モデルを生成させるコンピュータープログラムが提供される。このコンピュータープログラムは、第１原画像データを取得する第１データ取得機能であって、第１原画像データは、互いに類似する複数のパターンを含む第１対象物の画像データである、第１データ取得機能と、前記第１原画像データに基づいて、複数の第１種部分画像データと、複数の第１種識別データと、を生成する第１データ生成機能であって、前記複数の第１種部分画像データのそれぞれは、前記第１原画像データが表す第１原画像の互いに異なる一部を表し、前記複数の第１種識別データのそれぞれは、前記複数の第１種部分画像データの一つが表す部分画像の前記第１原画像における位置を表す、第１データ生成機能と、複数組の第１種入力データセットを使用して対照学習を行うことにより、前記事前学習モデルを生成するモデル生成機能であって、前記複数組の第１種入力データセットの各組は、前記複数の第１種部分画像データのうちの一つの第１種部分画像データと、前記一つの第１種部分画像データが表す部分画像の前記位置を表す第１種識別データと、の組み合わせである、モデル生成機能と、を前記コンピューターに実現させる。

【0075】

（８）上記形態のコンピュータープログラムにおいて、前記第１原画像データに基づいて、複数の第１種拡張画像データと、複数の第１種拡張識別データと、を生成する第１種拡張データ生成機能であって、前記複数の第１種拡張画像データのそれぞれは、前記第１対象物について前記第１種部分画像データが表す部分画像の範囲と少なくとも一部が重なる前記第１対象物の範囲を表し、前記第１種部分画像データとは異なるデータであり、前記複数の第１種拡張識別データのそれぞれは、前記複数の第１種拡張画像データの一つが表す部分画像の前記第１原画像における位置を表す、第１種拡張データ生成機能を前記コンピューターに実現させ、前記モデル生成機能は、複数組の第１種拡張入力データセットをさらに使用して、前記対照学習を行うことにより、前記事前学習モデルを生成する機能であり、前記複数組の第１種拡張入力データセットの各組は、前記複数の第１種拡張画像データのうちの一つの第１種拡張画像データと、前記一つの第１種拡張画像データが表す部分画像の前記位置を表す第１種拡張識別データと、の組み合わせである、態様とすることもできる。

【0076】

（９）上記形態のコンピュータープログラムにおいて、第２原画像データを取得する第２データ取得機能であって、前記第２原画像データは、前記第１対象物とは別の第２対象物であって前記第１対象物と同一または類似の構成を有する第２対象物の画像データである、第２データ取得機能と、前記第２原画像データに基づいて、複数の第２種部分画像データと、複数の第２種識別データと、を生成する第２データ生成機能であって、前記複数の第２種部分画像データのそれぞれは、前記第２原画像データが表す第２原画像の互いに異なる一部を表し、前記複数の第２種識別データのそれぞれは、前記複数の第２種部分画像データの一つが表す部分画像の前記第２原画像における位置を表し、前記複数の第２種識別データのそれぞれが表す前記第２原画像における位置は、前記複数の第１種識別データのそれぞれが表す前記第１原画像における位置と一致する、第２データ生成機能と、を前記コンピューターに実現させ、前記モデル生成機能は、複数組の第２種入力データセットをさらに使用して、前記対照学習を行うことにより、前記事前学習モデルを生成する機能であり、前記複数組の第２種入力データセットの各組は、前記複数の第２種部分画像データのうちの一つの第２種部分画像データと、前記一つの第２種部分画像データが表す部分画像の前記位置を表す第２種識別データと、の組み合わせである、態様とすることもできる。

【0077】

本開示は、事前学習装置、事前学習方法、およびコンピュータープログラム以外の種々の形態で実現することも可能である。例えば、特徴抽出モデルの生産方法や判別モデルの生産方法、それらの方法を実現するコンピュータープログラム、そのコンピュータープログラムを記録した一時的でない記録媒体等の形態で実現することができる。

【符号の説明】

【0078】

１…事前学習装置、１Ｂ…事前学習装置、１０…ＣＰＵ、１０Ｂ…ＣＰＵ、２０…ＲＡＭ、３０…ＲＯＭ、６０…入力機器、７０…出力機器、１００…データ取得部、１００Ｂ…データ取得部、１１０…第１データ取得部、１２０…第２データ取得部、２１０…第１データ生成部、２１０ａ…第１拡張データ生成部、２２０…第２データ生成部、２６０…位置情報付与部、３００…モデル生成部、ＣＢ１…第１対象物（回路基板）、ＣＢ２…第２対象物（回路基板）、ＤＭ…識別器、Ｄｉ１１…第１種入力データセット、Ｄｉ１２…第１種入力データセット、Ｄｉ２１…第２種入力データセット、Ｄｉ２２…第２種入力データセット、Ｄｉａ１１…第１種拡張入力データセット、Ｄｉａ１２…第１種拡張入力データセット、Ｅｎ１…エンコーダー、Ｅｎ２…エンコーダー、Ｇｇ…集合、Ｇｎｇ…集合、ＩＤＭ…判別モデル、Ｉｍ…画像データ、Ｉｍ１…第１原画像データ、Ｉｍ２…第２原画像データ、Ｉｐ１１…第１種部分画像データ、Ｉｐ１２…第１種部分画像データ、Ｉｐ２１…第２種部分画像データ、Ｉｐ２２…第２種部分画像データ、Ｉｐａ１１…第１種拡張画像データ、Ｉｐａ１２…第１種拡張画像データ、ＬＭ…学習済みモデル、ＰＲ…予測器、Ｐｐ１１…第１種識別データ、Ｐｐ１２…第１種識別データ、Ｐｐ２１…第２種識別データ、Ｐｐａ１１…第１種拡張識別データ、ｐ１…予測器ＰＲの出力ベクトル、ｚ…特徴ベクトル、ｚ１…エンコーダーＥｎ１の出力ベクトル、ｚ２…エンコーダーＥｎ２の出力ベクトル

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】