特開 2024-171667 類似画像セット作成装置、方法及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024171667

(43)【公開日】2024-12-12

(54)【発明の名称】類似画像セット作成装置、方法及びプログラム

(51)【国際特許分類】

   G06T 7/00 20170101AFI20241205BHJP

   G06N 3/088 20230101ALI20241205BHJP

   G06N 20/00 20190101ALI20241205BHJP

   G06V 10/70 20220101ALI20241205BHJP

【ＦＩ】

G06T7/00 350B

G06N3/088

G06N20/00 160

G06V10/70

【審査請求】未請求

【請求項の数】16

【出願形態】ＯＬ

(21)【出願番号】P 2023088804

(22)【出願日】2023-05-30

(71)【出願人】

【識別番号】000003078

【氏名又は名称】株式会社東芝

(74)【代理人】

【識別番号】110003708

【氏名又は名称】弁理士法人鈴榮特許綜合事務所

(72)【発明者】

【氏名】中田 康太

(72)【発明者】

【氏名】高木 健太郎

(72)【発明者】

【氏名】陶 亜玲

【テーマコード（参考）】

5L096

【Ｆターム（参考）】

5L096AA06

5L096BA03

5L096CA04

5L096DA02

5L096HA11

5L096MA07

(57)【要約】

【課題】多数の画像の中からユーザが注目する画像と当該画像に類似する画像とを含む類似画像セットを作成する手間を低減すること。
【解決手段】 実施形態に係る類似画像セット作成装置は、取得部、第一抽出部、第二抽出部及び選択部を有する。取得部は、複数の画像を取得する。第一抽出部は、複数の画像から、画像分類タスクを実施する第一モデルを使用して複数の第一特徴量を抽出する。第二抽出部は、複数の画像から、画像分類タスクを実施する第二モデルを使用して複数の第二特徴量を抽出する。ここで、第二モデルは、潜在空間において互いに類似する画像が第一モデルに比して連続的に分布するように訓練される。選択部は、複数の第一特徴量と複数の第二特徴量とに基づいて、複数の画像の中から類似画像セットの基準になる注目画像と注目画像に類似する補助画像とを選択する。
【選択図】 図１

【特許請求の範囲】

【請求項1】

複数の画像を取得する取得部と、
前記複数の画像から、画像分類タスクを実施する第一モデルを使用して複数の第一特徴量を抽出する第一抽出部と、
前記複数の画像から、画像分類タスクを実施する第二モデルを使用して複数の第二特徴量を抽出し、前記第二モデルは、潜在空間において互いに類似する画像が前記第一モデルに比して連続的に分布するように訓練される、第二抽出部と、
前記複数の第一特徴量と前記複数の第二特徴量とに基づいて、前記複数の画像の中から類似画像セットの基準になる注目画像と前記注目画像に類似する補助画像とを選択する選択部と、
を具備する類似画像セット作成装置。

【請求項2】

前記選択部は、
前記複数の第一特徴量に基づいて、前記複数の画像から２個以上の前記注目画像を選択する第一選択部と、
前記複数の第二特徴量に基づいて、前記複数の画像から、選択された２個以上の前記注目画像に類似する前記補助画像を選択する第二選択部と、を有する、
請求項１記載の類似画像セット作成装置。

【請求項3】

前記第一選択部は、前記複数の第一特徴量に基づいて前記複数の画像を複数のクラスタに分類し、前記複数のクラスタをそれぞれ代表する複数の代表画像を選択し、前記複数の代表画像のうちの入力機器を介して選択された代表画像を前記注目画像として選択する、請求項２記載の類似画像セット作成装置。

【請求項4】

前記複数の代表画像を、前記入力機器を介して選択可能に表示機器に表示する表示制御部を更に備える、請求項３記載の類似画像セット作成装置。

【請求項5】

前記表示制御部は、選択された前記注目画像を、前記入力機器を介して並べ替え可能に表示する、請求項４記載の類似画像セット作成装置。

【請求項6】

前記第二選択部は、
前記複数の第二特徴量に関する潜在空間において、２個以上の前記注目画像のうちの第一画像と第二画像とを通る線を算出し、
前記複数の画像のうちの、前記線との距離が閾値よりも小さい画像を前記補助画像として選択する、
請求項２記載の類似画像セット作成装置。

【請求項7】

前記第二選択部は、前記複数の第二特徴量に関する潜在空間における、２個以上の前記注目画像のうちの第一画像と第二画像との間の経路探索により、前記複数の画像の中から前記補助画像を選択する、請求項２記載の類似画像セット作成装置。

【請求項8】

前記第二選択部は、前記複数の第二特徴量を、２次元又は３次元に縮約された前記潜在空間においてプロットする、請求項６又は７記載の類似画像セット作成装置。

【請求項9】

前記第二選択部は、２個以上の前記注目画像として３個以上の注目画像が選択された場合、選択された３個以上の前記注目画像のうちの２個の注目画像の組合せ毎に前記補助画像を選択する、請求項２記載の類似画像セット作成装置。

【請求項10】

前記２個の注目画像の組合せ毎に前記補助画像を表示機器に表示する表示制御部を更に備える、請求項９記載の類似画像セット作成装置。

【請求項11】

前記第一モデルは、潜在空間において互いに類似する画像間の距離が前記第二モデルに比して遠くなるように訓練される、請求項１記載の類似画像セット作成装置。

【請求項12】

前記第一モデルと前記第二モデルとは、教師無しの表現学習により生成され、互いに異なる損失関数に基づいて訓練される、請求項１記載の類似画像セット作成装置。

【請求項13】

前記注目画像と前記補助画像とを前記類似画像セットとして表示機器に表示する表示制御部を更に備える、請求項１記載の類似画像セット作成装置。

【請求項14】

前記注目画像と前記補助画像とに基づいて限度見本を作成する作成部、を更に備える、請求項１記載の類似画像セット作成装置。

【請求項15】

複数の画像を取得し、
前記複数の画像から、画像分類タスクを実施する第一モデルを使用して複数の第一特徴量を抽出し、
前記複数の画像から、画像分類タスクを実施する第二モデルを使用して複数の第二特徴量を抽出し、前記第二モデルは、潜在空間において互いに類似する画像が前記第一モデルに比して連続的に分布するように訓練され、
前記複数の第一特徴量と前記複数の第二特徴量とに基づいて、前記複数の画像の中から類似画像セットの基準になる注目画像と前記注目画像に類似する補助画像とを選択する、
ことを具備する類似画像セット作成方法。

【請求項16】

コンピュータに、
複数の画像を取得させ、
前記複数の画像から、画像分類タスクを実施する第一モデルを使用して複数の第一特徴量を抽出させ、
前記複数の画像から、画像分類タスクを実施する第二モデルを使用して複数の第二特徴量を抽出させ、前記第二モデルは、潜在空間において互いに類似する画像が前記第一モデルに比して連続的に分布するように訓練され、
前記複数の第一特徴量と前記複数の第二特徴量とに基づいて、前記複数の画像の中から類似画像セットの基準になる注目画像と前記注目画像に類似する補助画像とを選択させる、
ことを実現させる類似画像セット作成プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明の実施形態は、類似画像セット作成装置、方法及びプログラムに関する。

【背景技術】

【0002】

製造分野においては、機械学習により製品の外観画像を分類することで、不良や欠陥の発生を監視し、生産性を向上する取り組みが広がっている。機械学習で外観画像を分類する方法として、事前に分類基準となる教師ラベルを人手で付与し、深層学習などの手法により分類モデルを学習する教師あり学習が用いられる。高精度の分類モデルを学習するためには、大量の画像に正確に教師ラベルを付与する必要がある。

【0003】

製造においては、人手による正確なラベル付与が困難な場合がある。例えば、製品の画像の色、キズの大きさ、光沢などで良品と不良品のラベルを付与する場合、良品と不良品との区別の基準が明確でなく、作業者によって異なる基準でラベルが付与されたり、作業中に基準が変わってしまう可能性がある。

【0004】

ラベル付与の基準を一定にするため、限度見本と呼ばれる画像の見本が作成される。限度見本は、良品と不良品の見本となる複数の画像の例を示すことでラベルの判定基準を明確化する。限度見本を基準にラベル付与を行うことで、複数の作業者がラベル付与を行う場合でも、共通の基準に従い作業を行うことができる。このような限度見本は、機械学習に向けたラベル付与作業だけでなく、機械学習を用いない目視の検査においても利用されている。

【0005】

限度見本はラベル付与や検査の基準を一定にする一方で、作成や運用にコストがかかる傾向にある。限度見本の作成には、その製品の色、キズの大きさ、光沢などのバリエーションを熟知する検査の専門家が見本を選択する必要がある。また、製品の製造プロセスの変更に応じて良品や不良品の性質が変化する場合があり、その度に限度見本を更新する必要がある。近年の工場ではニーズに応じた少量多品種の製品が生産され、各製品に複数の検査工程が設けられる場合があるため、全ての検査において限度見本を作成及び運用することは作業コストが大きい。

【先行技術文献】

【特許文献】

【0006】

【特許文献1】米国特許11,288,805号明細書

【非特許文献】

【0007】

【非特許文献1】Yaling Tao, Kentaro Takagi, Kouta Nakata. “Clustering Friendly representation learning via instance discrimination and feature decorrelation”, arXiv:2106.00131 (ICLR2021)

【非特許文献2】Wu, Zhirong, et al. "Unsupervised feature learning via non-parametric instance discrimination." Proceedings of the IEEE conference on computer vision and pattern recognition. 2018.

【発明の概要】

【発明が解決しようとする課題】

【0008】

本発明が解決しようとする課題は、多数の画像の中からユーザが注目する画像と当該画像に類似する画像とを含む類似画像セットを作成する手間を低減することが可能な類似画像セット作成装置、方法及びプログラムを提供することである。

【課題を解決するための手段】

【0009】

実施形態に係る類似画像セット作成装置は、取得部、第一抽出部、第二抽出部及び選択部を有する。前記取得部は、複数の画像を取得する。前記第一抽出部は、前記複数の画像から、画像分類タスクを実施する第一モデルを使用して複数の第一特徴量を抽出する。前記第二抽出部は、前記複数の画像から、画像分類タスクを実施する第二モデルを使用して複数の第二特徴量を抽出する。ここで、前記第二モデルは、潜在空間において互いに類似する画像が前記第一モデルに比して連続的に分布するように訓練される。前記選択部は、前記複数の第一特徴量と前記複数の第二特徴量とに基づいて、前記複数の画像の中から類似画像セットの基準になる注目画像と前記注目画像に類似する補助画像とを選択する。

【図面の簡単な説明】

【0010】

【図1】類似画像セット作成装置の構成例を示す図

【図2】検査画像を例示する図

【図3】第一特徴量ｘ^ｐ _ｑを例示する図

【図4】第一モデルの概要を示す図

【図5】第二特徴量Ｘ^ｐ _ｒを例示する図

【図6】第二モデルの概要を示す図

【図7】選択部による注目画像と補助画像との選択処理を模式的に示す図

【図8】類似画像セット作成装置による限度見本の作成処理の処理手順を示す図

【図9】クラスタの代表画像の表示画面の一例を示す図

【図10】注目画像の選択画面の一例を示す図

【図11】注目画像の選択画面の一例を示す図

【図12】補助画像の第一の選択方法を例示する図

【図13】補助画像の第二の選択方法を例示する図

【図14】類似画像セットの表示画面を例示する図

【図15】類似画像セットの他の表示画面を例示する図

【図16】限度見本の表示画面を例示する図

【発明を実施するための形態】

【0011】

以下、図面を参照しながら本実施形態に係る類似画像セット作成装置、方法及びプログラムを説明する。

【0012】

図１は、本実施形態に係る類似画像セット作成装置１００の構成例を示す図である。図１に示すように、類似画像セット作成装置１００は、処理回路１、記憶装置２、入力機器３、通信機器４及び表示機器５を有するコンピュータである。処理回路１、記憶装置２、入力機器３、通信機器４及び表示機器５間のデータ通信はバス（Bus）等を介して行われる。

【0013】

処理回路１は、ＣＰＵ（Central Processing Unit）等のプロセッサとＲＡＭ（Random Access Memory）等のメモリとを有する。処理回路１は、プログラムを実行することにより画像取得部１１、第一抽出部１２、第二抽出部１３、選択部１４、限度見本作成部１５及び表示制御部１６を実現する。当該プログラムは、プロセッサにより読み取り可能な非一時的な記録媒体に記憶されている。当該プログラムは、記憶装置２等の据え付け型の記録媒体に記憶されてもよいし、可搬型の記録媒体に記憶されてもよい。処理回路１のハードウェア実装は上記態様のみに限定されない。例えば、画像取得部１１、第一抽出部１２、第二抽出部１３、選択部１４、限度見本作成部１５及び表示制御部１６を実現する特定用途向け集積回路（Application Specific Integrated Circuit：ＡＳＩＣ）等の回路により構成されても良い。これら各部１１～１６は、単一の集積回路に実装されても良いし、複数の集積回路に個別に実装されてもよい。

【0014】

画像取得部１１は、複数の画像を取得する。本実施形態に係る画像の被写体である検査対象は特に限定されない。また、画像の撮影機器や撮影条件、画素数等も特に限定されない。取得される複数の画像は、類似画像セットひいては限度見本を構成する画像の候補となる。例えば、製造工程の検査において製造物品を被写体とする検査画像が取得される。検査画像は、各種製造工程に設けられた撮影機器や当該撮影機器により生成された検査画像を保管するコンピュータから取得されてもよい。取得される複数の画像各々には正常な被写体又は欠陥付きの被写体が映し出されている。なお正常な被写体が映し出された画像は取得されなくてもよい。

【0015】

図２は、本実施形態に係る検査画像を例示する図である。図２に示すように、Ｎ（Ｎは２以上の自然数）個の検査画像が取得される。検査画像は、半導体製造工場において製造される半導体を電子顕微鏡で撮影した半導体検査画像を想定する。検査画像には、正常な半導体又は欠陥付きの種々の半導体が映し出されている。欠陥としては、図２に示すように、様々な大きさの様々な形状の欠陥がある。欠陥の形状としては、円形や多角形等種々様々である。画像の背景には、縦縞模様のように製品のパターンが映り込む場合もある。

【0016】

第一抽出部１２は、Ｎ個の画像から、画像分類タスクを実施する第一モデルを使用してＮ個の第一特徴量を抽出する。第一モデルは、画像を当該画像に比して低次元の第一特徴量に変換する深層ニューラルネットワークであり、教師無しの表現学習により、互いに類似する画像間の潜在空間での距離が近くなり且つ類似しない画像間の潜在空間での距離が遠くなるようにパラメータが訓練される。本実施形態に係る潜在空間は、特徴量により規定される空間と同義である。第一モデルは、記憶装置２に格納されている。

【0017】

図３は、第一特徴量ｘ^ｐ _ｑを例示する図である。添字ｐは画像の番号を意味し、添字ｑは第一特徴量の次元（要素）の番号を意味する。本実施形態では、第一特徴量の次元数は１２８であるとする。この場合、第一特徴量の空間である第一潜在空間は、１２８次元を有することとなる。

【0018】

第一モデルは、一例として、非特許文献１の技術を使用して訓練される。非特許文献１は、深層ニューラルネットワークを利用した、教師ラベルを用いずに画像から特徴量を抽出する表現学習手法を提案している。具体的には、下記（１）式に定義される損失関数Ｌを最小化するように第一モデルの重みパラメータが訓練される。（１）式に示すように、損失関数Ｌは、損失関数Ｌ１と損失関数Ｌ２との重み付き和である。バランシングパラメータλは、損失関数Ｌに対する第１の損失関数Ｌ１の影響度と損失関数Ｌ２の影響度とを調整する。バランシングパラメータλは、任意の値に設定可能である。

【0019】

【数1】

【0020】

損失関数Ｌ１は、画像分類に関する損失関数である。損失関数Ｌ１は、画像の特徴量同士の誤差を評価する。具体的には、損失関数Ｌ１は、下記（２）式で定義される。ここで、ｎは損失関数Ｌ１を計算する画像の個数を意味する。添字ｉ及びｊは、２種類の画像の通し番号である。ｖ_ｉは画像ｉに基づく第一モデルの出力（第一特徴量）を表すベクトルであり、ｖ_ｊは画像ｊに基づく第一モデルの出力（第一特徴量）を表すベクトルである。τ_１は第１の温度パラメータであり、ベクトルｖ間の内積の感度を調整する。τ_１が小さいほど感度が高くなり、大きいほど感度が低くなる。

【0021】

【数2】

【0022】

損失関数Ｌ２は、特徴非相関に関する損失関数である。損失関数Ｌ２は、特徴量の要素同士の相関を評価する。損失関数Ｌ２は、下記（３）式で定義される。ここで、ｄは特徴量の次元数を表し、ｌ及びｍは画像の要素の通し番号である。ｆ_ｌは画像ｌに基づく第一モデルの出力（第一特徴量）のｌ番目の要素を並べたベクトルであり、ｆ_ｍは画像ｍに基づく第一モデルの出力（第一特徴量）のｍ番目の要素を並べたベクトルである。τ_２は第２の温度パラメータであり、ベクトルｆ間の内積の感度を調整する。τ_２が小さいほど感度が高くなり、大きいほど感度が低くなる。非特許文献１は、ある範囲のパラメータを用いることで、類似した画像の距離が近くなり且つ類似しない画像の距離が遠くなることで、画像がクラスタ状に分布する特徴量を抽出するモデルを生成する方法を示している。

【0023】

【数3】

【0024】

図４は、第一モデルの概要を示す図である。図４に示すように、第一モデルは、画像を入力して第一特徴量を出力する。第一モデルは、（１）式に基づき訓練されるので、第二モデルに比して、類似した画像の距離が近くなり、類似しない画像の距離が遠くなる第一特徴量を抽出する第一モデルを生成することができる。第一モデルは、相対的に類似した画像を同一クラスタに分類し且つ相対的に類似していない画像を異なるクラスタに分類可能な、クラスタリングに好適な第一特徴量を抽出できる。第一特徴量は、第二モデルの出力である第二特徴量に比して画像の分布の連続性が低い傾向にある。

【0025】

第二抽出部１３は、Ｎ個の画像から、画像分類タスクを実施する第二モデルを使用してＮ個の第二特徴量を抽出する。第二モデルは、画像を当該画像に比して低次元の第二特徴量に変換する深層ニューラルネットワークであり、第一モデルと同様、教師無しの表現学習により、互いに類似する画像間の潜在空間での距離が近くなり且つ類似しない画像間の潜在空間での距離が遠くなるようにパラメータが訓練される。第二モデルは、記憶装置２に格納されている。

【0026】

図５は、第二特徴量Ｘ^ｐ _ｒを例示する図である。添字ｐは画像の番号を意味し、添字ｒは第二特徴量の次元（成分）の番号を意味する。本実施形態では、第二特徴量の次元数は、第一特徴量と同様、１２８であるとする。この場合、第二特徴量の空間である第二潜在空間は、１２８次元を有することとなる。なお、第二特徴量と第一特徴量とで次元数が異なっていてもよい。

【0027】

第二モデルは、第一モデルとは異なる損失関数に基づいて訓練される。一例として、第二モデルは、非特許文献２の技術を使用して訓練される。非特許文献２は、深層ニューラルネットワークを利用した、教師ラベルを用いずに画像から特徴量を抽出する表現学習手法を提案している。具体的には、下記（４）式に定義される損失関数Ｌを最小化するように第二モデルの重みパラメータが訓練される。（４）式に示すように、第二モデルの表現学習のための損失関数Ｌは、（１）式に示す損失関数Ｌ１である。

【0028】

【数4】

【0029】

図６は、第二モデルの概要を示す図である。図６に示すように、第二モデルは、画像を入力して第二特徴量を出力する。第二モデルは、（４）式に基づき訓練されるので、類似した画像の距離が近くなる第二特徴量を抽出する第二モデルを生成することができる。第二モデルは、第二潜在空間において類似画像間の距離を近づけ、第二潜在空間において連続的に分布する第二特徴量を抽出できる。第二特徴量は、第一モデルの出力である第一特徴量に比して、第二潜在空間での画像の分布の連続性が高い傾向にある。

【0030】

図１に示すように、選択部１４は、Ｎ個の第一特徴量とＮ個の第二特徴量とに基づいて、Ｎ個の画像の中から類似画像セットの基準になる注目画像と当該注目画像に類似する補助画像とを選択する。注目画像と補助画像とが類似画像セットを構成する。注目画像と補助画像とはそれぞれ１個以上であればよい。図１に示すように、選択部１４は、第一選択部１７と第二選択部１８とを有する。第一選択部１７は、Ｎ個の第一特徴量に基づいて、Ｎ個の画像から２以上の注目画像を選択する。第二選択部１８は、Ｎ個の第二特徴量に基づいて、Ｎ個の画像から２以上の注目画像に類似する補助画像を選択する。

【0031】

図７は、選択部１４による注目画像７１，７２と補助画像７３，７４，７５との選択処理を模式的に示す図である。図７左図に示すように、第一選択部１７は、第一モデルを使用して、Ｎ個の画像を第一潜在空間ＬＳ１においてクラスタリングする。第一モデルによるクラスタリングは、上記の通り、第一潜在空間ＬＳ１での非類似画像間の距離が大きく且つ画像の分布の連続性が低い傾向にある。これは類似画像同士がクラスタを形成しやすいことを意味する。同一クラスタに属する画像同士は映し出されている欠陥の画像特徴が類似する。各クラスタの代表画像を確認することによりＮ個の画像を全て確認する作業無しに欠陥の画像特徴を確認することが可能になる。そこで第一選択部１７は、各クラスタの代表画像から注目画像７１，７２を選択する。図７においては２個の注目画像が選択されたことを想定する。

【0032】

次に、図７右図に示すように、第二選択部１８は、第二モデルを使用して、Ｎ個の画像を第二潜在空間ＬＳ２における特徴量に変換する。第二モデルによる特徴量は、上記の通り、第二潜在空間ＬＳ２での非類似画像間の距離が小さく且つ画像の分布の連続性が高い傾向にある。第二モデルでは、第二潜在空間ＬＳ２においてＮ個の画像が連続的に分布する傾向にあるため、画像特徴が注目画像の間にある補助画像を自動的に選択する事に適している。第一モデルでは、隣り合うクラスタの画像が類似するとは限らない。そこで第二選択部１８は、第二潜在空間ＬＳ２において２個の注目画像７１，７２を通る経路に位置する画像を補助画像７３，７４，７５として選択する。これにより２個の注目画像７１，７２の画像特徴を補間する補助画像７３，７４，７５を選択することができる。なお、経路上であって２個の注目画像７１，７２の外側に位置する画像を補助画像として選択することも可能である。これにより２個の注目画像７１，７２の画像特徴を補外する補助画像を選択することができる。

【0033】

限度見本作成部１５は、選択部１４により選択された注目画像と補助画像とに基づいて限度見本を作成する。限度見本は、良品と不良品との境目に位置する検査対象を表す画像を含む。限度見本は、選択部１４により選択された注目画像と補助画像との中から指定されてもよいし、注目画像と補助画像とに基づき画像処理により生成されてもよい。

【0034】

表示制御部１６は、種々の情報を表示機器５を介して表示する。例えば、表示制御部１６は、画像や注目画像、補助画像、類似画像セット、限度見本等を表示機器５を介して表示する。

【0035】

記憶装置２は、ＲＯＭ（Read Only Memory）やＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、集積回路記憶装置等により構成される。記憶装置２は、処理回路１による種々の演算結果や処理回路１が実行する種々のプログラム等を記憶する。

【0036】

入力機器３は、操作者からの各種指令を入力する。入力機器３としては、キーボードやマウス、各種スイッチ、タッチパッド、タッチパネルディスプレイ等が利用可能である。入力機器３からの出力信号は処理回路１に供給される。なお、入力機器３としては、処理回路１に有線又は無線を介して接続されたコンピュータであっても良い。

【0037】

通信機器４は、類似画像セット作成装置１００にネットワークを介して接続された外部機器との間で情報通信を行うためのインタフェースである。

【0038】

表示機器５は、表示制御部１６による制御に従い種々の情報を表示する。表示機器５としては、ＣＲＴ（Cathode-Ray Tube）ディスプレイや液晶ディスプレイ、有機ＥＬ（Electro Luminescence）ディスプレイ、ＬＥＤ（Light-Emitting Diode）ディスプレイ、プラズマディスプレイ又は当技術分野で知られている他の任意のディスプレイが適宜利用可能である。

【0039】

以下、本実施形態に係る類似画像セット作成装置１００の詳細について説明する。

【0040】

図８は、類似画像セット作成装置１００による限度見本の作成処理の処理手順を示す図である。なお第一モデル及び第二モデルは、予め生成され、記憶装置２に格納されているものとする。

【0041】

図８に示すように、まず画像取得部１１は、画像データセットを取得する（ステップＳ１）。画像データセットにはＮ個の画像が含まれているものとする。Ｎ個の画像各々には当該画像を識別するＩＤが割り当てられている。

【0042】

ステップＳ１が行われると第一抽出部１２は、第一モデルを使用して第一特徴量を抽出する（ステップＳ２）。ステップＳ２において第一抽出部１２は、記憶装置２から第一モデルを読み出し、Ｎ個の画像に対して第一モデルを適用してＮ個の第一特徴量を抽出する。抽出されたＮ個の第一特徴量は、記憶装置２に格納される。Ｎ個の第一特徴量各々には、当該第一特徴量の抽出元の画像のＩＤが割り当てられる。

【0043】

ステップＳ２が行われると第二抽出部１３は、第二モデルを使用して第二特徴量を抽出する（ステップＳ３）。ステップＳ３において第二抽出部１４は、記憶装置２から第二モデルを読み出し、Ｎ個の画像に対して第二モデルを適用してＮ個の第二特徴量を抽出する。抽出されたＮ個の第二特徴量は、記憶装置２に格納される。Ｎ個の第二特徴量各々には、当該第二特徴量の抽出元の画像のＩＤが割り当てられる。

【0044】

ステップＳ３が行われると第一選択部１７は、注目画像を選択する（ステップＳ４）。ステップＳ４において第一選択部１７は、ステップＳ３において抽出されたＮ個の第一特徴量に基づいて、Ｎ個の画像を複数のクラスタに分類する。具体的には、第一選択部１７は、第一特徴量の空間である第一潜在空間において、Ｎ個の画像各々について当該画像の第一特徴量をプロットする。そして第一選択部１７は、k-means法等の一般的なクラスタリング手法が用いて、第一潜在空間にプロットされたＮ個の画像をクラスタリングする。なお、第一潜在空間は、一例として、第一特徴量の次元数と同じ次元数を有する空間に設定される。第一特徴量が１２８次元であれば、第一潜在空間も１２８次元に設定される。なお第一選択部１７は、２次元又は３次元に縮約した第一潜在空間を形成してもよい。縮約のアルゴリズムは、特に限定されないが、例えば、ｔ－ＳＮＥ（t-distributed stochastic neighbor embedding）等が用いられればよい。次に第一選択部１７は、複数のクラスタをそれぞれ代表する複数の代表画像を選択する。表示制御部１６は、複数の代表画像を、入力機器３を介して選択可能に表示機器５に表示する。そして第一選択部１７は、複数の代表画像のうちの入力機器３を介して選択された代表画像を注目画像として選択する。

【0045】

図９は、クラスタの代表画像の表示画面Ｉ１の一例を示す図である。図９に示すように、表示画面には、クラスタの番号、各クラスタの代表画像及び各クラスタに属する画像の枚数が表示される。本実施例では、クラスタの個数が５０に設定され、第一特徴量によるクラスタリングが実施されている。クラスタリングの結果、例えば、番号「１」のクラスタには１０００毎の画像が属し、中欄に示す２枚の代表画像が選択及び表示される。各クラスタの代表画像としては、例えば、各クラスタに属する画像のうちのクラスタ中心特徴量に近い画像が選択される。クラスタ中心特徴量は、各クラスタに属する画像の第一特徴量の平均値や中央値その他の統計値を意味する。図９のクラスタリングの結果では、大きさの異なる円状の欠陥は異なるクラスタに分類されていることが分かる。なおクラスタ毎の代表画像の個数は２個に限定されず、１個でもよいし３個以上でもよい。また代表画像の個数はクラスタに応じて異なっていてもよい。

【0046】

図１０は、注目画像の選択画面Ｉ２の一例を示す図である。図１０に示すように、選択画面Ｉ２には、代表画像の表示画面の表示欄Ｉ２１、注目画像の表示欄Ｉ２２、補助画像選択ボタンＩ２３が表示される。表示欄Ｉ２１には、図９に示す代表画像の表示画面がスライダバーＩ２４で表示範囲をスライド可能に表示される。表示欄Ｉ２２には、ユーザが入力機器３を介して選択した注目画像が表示される。図１０は、２個の注目画像を選択するための選択画面Ｉ２が表示されている。注目画像の選択方法は、種々様々な方法が可能である。例えば、表示欄Ｉ２１には表示されている任意の代表画像をクリックすることにより方法がある。この場合、クリックされた代表画像が注目画像として表示欄Ｉ２２に表示される。他の選択方法としては、表示欄Ｉ２１には表示されている任意の代表画像を表示欄Ｉ２２にドラッグ＆ドロップしてもよい。この場合、ドラッグ＆ドロップされた代表画像が注目画像として表示欄Ｉ２２に表示される。表示欄Ｉ２２内の注目画像は、入力機器３を介して並べ替え可能に表示されてもよい。

【0047】

２個の注目画像としては、良品限界見本又は不良品限界見本を作成する場合、ユーザが注目する画像特徴又は欠陥種に関する良品と不良品とが選択されるとよい。例えば、ユーザが注目する画像特徴又は欠陥種が欠陥の大きさの場合、良品に分類される大きさの欠陥が映し出された画像と不良品に分類される大きさの欠陥が映し出された画像とが選択されるとよい。２個の注目画像は、異なるクラスタから選択されてもよいし、１個のクラスタから選択されてもよい。なお着目する画像特徴又は欠陥種に限定されず、欠陥の形状や色、光沢、背景の画像パターン等でもよい。

【0048】

２個の注目画像が選択された場合、入力機器３を介して補助画像選択ボタンＩ２３が押下される。補助画像選択ボタンＩ２３が押下された場合、補助画像の選択処理（ステップＳ５）が行われる。

【0049】

図１１は、注目画像の選択画面Ｉ３の他の例を示す図である。図１１に示すように、選択画面Ｉ３には、代表画像の表示画面の表示欄Ｉ３１、注目画像の表示欄Ｉ３２、補助画像選択ボタンＩ３３が表示される。表示欄Ｉ３１及び補助画像選択ボタンＩ３３は、それぞれ図１０に示す表示欄Ｉ２１及び補助画像選択ボタンＩ２３と同一である。選択画面Ｉ３では３個の注目画像を選択可能であり、表示欄Ｉ３２には３個の注目画像が表示される。図１１では、一例として、３個の注目画像が欠陥の大きさ等の基準に従い順番に選択及び表示されている。注目画像の選択方法は、図１０で示した方法と同様である。なお、注目画像の個数は、２個又は３個に限定されず、４個以上でもよい。また、表示欄Ｉ３２内の注目画像は、入力機器３を介して並べ替え可能に表示されてもよい。

【0050】

ステップＳ４が行われると第二選択部１８は、補助画像を選択する（ステップＳ５）。ステップＳ５において第二選択部１８は、ステップＳ４において選択された注目画像に画像特徴が類似する補助画像を、第二潜在空間における類似画像の分布の連続性を利用して選択する。以下、補助画像の２種類の選択方法を具体的に説明する。

【0051】

補助画像の第一の選択方法において第二選択部１８は、Ｎ個の第二特徴量に関する第二潜在空間において、ステップＳ４において選択された２以上の注目画像のうちの第一注目画像と第二注目画像とを通る線を算出し、Ｎ個の画像のうちの、当該線との距離が閾値よりも小さい画像を補助画像として選択する。

【0052】

図１２は、補助画像の第一の選択方法を例示する図である。図１２に示すように、具体的には、第二選択部１８は、第二特徴量の空間である第二潜在空間ＬＳ２において、Ｎ個の画像各々について当該画像の第二特徴量をプロットする。なお第二選択部１８は、画像分布の連続性向上のため、第二特徴量の次元数を２次元又は３次元に縮約して第二潜在空間ＬＳ２を形成するとよい。縮約のアルゴリズムは、特に限定されないが、例えば、ｔ－ＳＮＥ等が用いられればよい。画像分布の連続性を担保できる場合、４次元以上に縮約された第二潜在空間が使用されてもよいし、縮約の無い第二潜在空間（１２８次元空間）が使用されてもよい。図１２では、２次元の第二潜在空間ＬＳ２を例示している。

【0053】

第二潜在空間ＬＳ２においては、ステップＳ４において選択された第一注目画像（より詳細には、第一注目画像の第二特徴量）Ｐ１と第二注目画像（より詳細には、第一注目画像の第二特徴量）Ｐ２とが含まれている。第二選択部１８は、第一注目画像Ｐ１と第二注目画像Ｐ２とを通過する直線Ｌ１を算出する。第二選択部１８は、直線Ｌ１に対するＮ個の画像の第二特徴量各々の、第二潜在空間ＬＳ２における距離を算出する。そして第二選択部１８は、第二潜在空間ＬＳ２における距離が閾値未満である画像を、直線Ｌ２の近傍にある画像として選択する。選択された画像が補助画像として設定される。当該閾値は任意の値に設定可能である。なお直線Ｌ２の算出や第二潜在空間ＬＳ２における距離の算出は、一般的な幾何学の手法等を用いて算出可能である。

【0054】

直線Ｌ１を第一注目画像Ｐ１と第二注目画像Ｐ２との外側まで延ばすことにより、第一注目画像Ｐ１と第二注目画像Ｐ２との画像特徴を内挿する欠陥特徴を有する画像に加え、第一注目画像Ｐ１と第二注目画像Ｐ２との画像特徴を外挿する欠陥特徴を有する画像を補助画像として選択することができる。反対に、直線Ｌ１を第一注目画像Ｐ１と第二注目画像Ｐ２との内側に留めることにより、第一注目画像Ｐ１と第二注目画像Ｐ２との画像特徴を内挿する欠陥特徴を有する画像のみを補助画像として選択することができる。また直線Ｌ１は曲線であってもよい。

【0055】

補助画像の第二の選択方法において第二選択部１８は、Ｎ個の第二特徴量に関する第二潜在空間における、ステップＳ４において選択された２以上の注目画像のうちの第一注目画像と第二注目画像との間の経路探索により、Ｎ個の画像の中から補助画像を選択する。

【0056】

図１３は、補助画像の第二の選択方法を例示する図である。図１３に示すように、第二潜在空間ＬＳ２においてＮ個の画像の第二特徴量がプロットされている。第二潜在空間ＬＳ２においては、ステップＳ４において選択された第一注目画像Ｐ１と第二注目画像Ｐ２とが含まれている。第二選択部１８は、第一注目画像Ｐ１を始点に、第二注目画像Ｐ２を終点に設定し、第二特徴量において始点Ｐ１から終点Ｐ２までの経路において、他の画像のプロットをノードとして経路探索を行い、第一注目画像Ｐ１と第二注目画像Ｐ２との間の第二特徴量を有する複数個の補助画像を選択する。図１３においては、画像Ｐ３と画像Ｐ４とが補助画像として選択された例が示されている。経路探索としては、一般的な手法であるダイクストラ法を用いることが可能である。

【0057】

経路探索による補助画像の選択では、例えば、一回のノード間の移動において、閾値以上の距離を移動するように制限を加えることで、選択される補助画像の個数を調整することが可能である。一回に移動する距離の閾値は、ノード間の距離の分布を用いて，例えば、ノード間の距離の四分位点や１０分位点、１００分位点等の任意の分位点の値に設定可能である。また、第一特徴量によるクラスタリングにより選択された代表画像間の第二特徴量での距離を基準に閾値が設定されてもよい。

【0058】

第一及び第二の選択方法によれば、第二潜在空間における２個の注目画像間の他画像の連続的分布を利用して、当該２個の注目画像に類似する補助画像を効率良く選択することが可能になる。第一の選択方法によれば、２個の注目画像を通る線に近い距離にある画像を補助画像として選択するので、第二の選択方法に比して簡便に補助画像を選択することができる。第二の選択方法によれば、第一注目画像（始点）から第二注目画像（終点）に向けて第二特徴量が閾値距離内にある画像を順次選択することで補助画像を選択するので、画像特徴が段階的に変化するように補助画像を選択することが可能になる。

【0059】

なお、３個以上の注目画像が選択されている場合、第二選択部１８は、当該３個以上の注目画像のうちの２個の注目画像の組合せ毎に補助画像を選択する。これにより注目画像が２個の場合と同様に補助画像を選択することが可能である。例えば、図１１の場合、ユーザが欠陥の大きさの順番に並べた注目画像１と注目画像２との組合せ、注目画像２と注目画像３との組合せの各々で、上記第一の選択方法又は第二の選択方法により補助画像を選択することが可能である。なお、必要に応じて、注目画像１と注目画像３との組合せについても同様の方法により補助画像が選択されてもよい。

【0060】

ステップＳ５が行われると表示制御部１６は、類似画像セットを表示する（ステップＳ６）。ステップＳ６において表示制御部１６は、ステップＳ４において選択された注目画像とステップＳ５において選択された補助画像とを類似画像セットとして表示機器５に表示する。

【0061】

図１４は、類似画像セットの表示画面Ｉ４を例示する図である。図１４は、着目している画像特徴が欠陥サイズであり、２個の注目画像Ｉ４１，Ｉ４５が指定されている実施例を例示している。図１４に示すように、表示画面Ｉ４には、２個の注目画像と３個の補助画像とが類似画像セットとして表示されている。３個の補助画像の欠陥サイズは、２個の注目画像の欠陥サイズの中間に位置している。２個の注目画像と３個の補助画像とは、欠陥サイズの順番に配列されている。注目画像及び補助画像からなる類似画像セットを表示することにより、ユーザは、欠陥サイズ等の画像特徴の連続性を視認することが可能である。また、補助画像の選択の根拠としては、図１２又は図１３に示す第二潜在空間の投影画像が表示画面Ｉ４内に表示されてもよい。この際、第二潜在空間における補助画像のプロットが色や明るさ、大きさ等で視覚的に強調して表示されるとよい。また、第二潜在空間における注目画像のプロットが色や明るさ、大きさ等で視覚的に強調して表示されてもよい。

【0062】

ステップＳ４において３個以上の注目画像が選択された場合、表示制御部１６は、２個の注目画像の組合せ毎に補助画像を表示機器５に表示する。具体的には、表示制御部１６は、複数の組合せについて、欠陥サイズ等の画像特徴に関して１軸に並べて注目画像と補助画像とを表示する。

【0063】

図１５は、類似画像セットの表示画面Ｉ５を例示する図である。図１５は、３個の注目画像が指定されている実施例を例示している。図１５に示すように、表示画面Ｉ５には、３個の注目画像と６個の補助画像とが類似画像セットとして表示されている。３個の補助画像１，２，３の欠陥サイズは、注目画像１と注目画像２との欠陥サイズの中間に位置し、３個の補助画像４，５，６の欠陥サイズは、注目画像２と注目画像３との欠陥サイズの中間に位置している。３個の注目画像と６個の補助画像とは、欠陥サイズの順番に配列されている。これにより３個以上の注目画像が選択された場合であっても、ユーザは、欠陥サイズ等の画像特徴の連続性を視認することが可能である。

【0064】

なお、３個以上の注目画像が選択された場合の類似画像セットの表示の態様はこれに限定されない。例えば、表示制御部１６は、複数の組合せを縦に並べて表示してもよいし、複数の組合せ各々を別ウィンドウで表示してもよい。

【0065】

ステップＳ６が行われると限度見本作成部１５は、限度見本を作成する（ステップＳ７）。ステップＳ７において限度見本作成部１５は、ステップＳ４において選択された注目画像とステップＳ５において選択された補助画像とに基づいて限度見本を作成する。具体的には、限度見本作成部１５は、図１４や図１５に示す類似画像セットの中から、ユーザによる入力機器３を介して指示に従い限度見本を選択する。限度見本は、不良品に近い良品である良品限度見本でもよいし、良品に近い不良品である不良品限度見本でもよいし、その両方でもよい。限度見本が選択された表示制御部１６は、当該限度見本の表示画面を表示機器５に表示する。

【0066】

図１６は、限度見本の表示画面Ｉ６を例示する図である。図１６の表示画面Ｉ６は、図１４に示す注目画像１が良品限度見本に選択され、補助画像１が不良品限度見本に選択された場合を例示している。表示画面Ｉ６には、良品限度見本及び／又は不良品限度見本である旨を明示して、注目画像及び補助画像を含む類似画像セットが表示される。これによりユーザは、様々な欠陥サイズ等の画像特徴の系列の中での限度見本を視認することができる。この際、良品限度見本と不良品限度見本とを明示するため、注目画像１には良品限度見本である旨のラベルが併記され、補助画像１には不良品限度見本である旨のラベルが併記されるとよい。また、良品限度見本と不良品限度見本との境を明示するため、当該境を示すマークＩ６１が表示されてもよい。

【0067】

限度見本は、不良や欠陥の分類モデルの機械学習に使用する教師ラベル付与作業や機械学習を使用しない目視の検査において利用されるとよい。

【0068】

以上により限度見本の作成処理が終了する。

【0069】

なお、図８に示す限度見本の作成処理の処理手順は一例であり、発明の要旨を逸脱しない限度で種々の削除、追加及び／又は変更等が可能である。

【0070】

（変形例１）
上記実施例では、ステップＳ４において、注目画像が２個以上選択されるものとした。しかしながら、変形例１に係る第一選択部１７は、１個の注目画像を選択してもよい。これにより、注目画像を選択する手間の削減や補助画像の選択のバリエーションの増加が期待される。この場合、第二選択部１８は、例えば、第二潜在空間において当該注目画像を通る任意の線を算出し、第一の選択方法と同様、当該線との距離が閾値未満の第二特徴量を有する画像を補助画像として選択すればよい。この際、第二選択部１８は、例えば、当該注目画像が属するクラスタの形状に応じた線を算出してもよい。あるいは、第二選択部１８は、当該注目画像を始点として任意の経路探索により補助画像を選択してもよい。

【0071】

（変形例２）
上記実施例では、類似画像セットに基づき限度見本が作成されるものとしたが必ずしも限度見本が作成される必要はない。変形例２に係る類似画像セット作成装置１００は、限度見本作成部１５を有さない。この場合、類似画像セット作成装置１００は、類似画像セットが作成（ステップＳ５）又は表示（ステップＳ６）された時点において、限度見本を作成することなく、図８に示す処理を終了してもよい。

【0072】

（変形例３）
上記実施例では、第一モデルと第二モデルとは別個独立に生成されるものとした。しかしながら、本実施形態はこれに限定されない。変形例３に係る第一モデルと第二モデルとは、同一の学習手法で学習段階の異なる２つのモデルであってもよい。具体的には、非特許文献１の学習過程における初期段階の深層ニューラルネットワークを第二モデルとして、後期段階の深層ニューラルネットワークを第一モデルとして使用してもよい。なお一例として、学習過程における初期段階は、機械学習のパラメータ最適化における反復工程の反復回数が閾値未満の段階を意味し、後期段階は、当該反復回数が閾値以上の段階を意味する。もちろん他の基準により初期段階と後期段階とを分けてもよい。

【0073】

（総括）
上記の説明の通り、本実施形態に係る類似画像セット作成装置１００は、画像取得部１１、第一抽出部１２、第二抽出部１３及び選択部１４を有する。画像取得部１１は、Ｎ個の画像を取得する。第一抽出部１２は、Ｎ個の画像から、画像分類タスクを実施する第一モデルを使用してＮ個の第一特徴量を抽出する。第二抽出部１３は、Ｎ個の画像から、画像分類タスクを実施する第二モデルを使用してＮ個の第二特徴量を抽出する。第二モデルは、潜在空間における類似画像間の距離が第一モデルに比して狭くなるように訓練される。選択部１４は、Ｎ個の第一特徴量とＮ個の第二特徴量とに基づいて、Ｎ個の画像の中から、類似画像セットの基準になる注目画像と当該注目画像に類似する補助画像とを選択する。

【0074】

上記の構成によれば、選択部１４は、潜在空間における類似する画像間の距離が小さく且つ類似しない画像間の距離が大きい、すなわち、クラスタリングに適した第一特徴量と、潜在空間における類似する画像間の距離が小さい、すなわち、潜在空間における類似画像の連続的分布生成に適した第二特徴量とを利用することにより、ユーザが着目する注目画像と当該注目画像に画像特徴が類似する補助画像とを簡便に選択することができる。具体的には、選択部１４は、クラスタリングに適した第一特徴量に基づいて注目画像を選択する。類似画像が同一クラスタに集まるため、ユーザが画像について知見がない場合であっても、注目画像の選択を容易に行うことが可能である。また、選択部１４は、潜在空間における類似画像の連続的分布生成に適した第二特徴量に基づいて補助画像を選択する。これにより例えば、２個の注目画像の間の画像特徴を有する補助画像を自動的に選択することが可能である。

【0075】

かくして、多数の画像の中からユーザが注目する画像と当該画像に類似する画像とを含む類似画像セットを作成する手間を低減することが可能な類似画像セット作成装置、方法及びプログラムを提供することが可能となる。

【0076】

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

【符号の説明】

【0077】

１…処理回路、２…記憶装置、３…入力機器、４…通信機器、５…表示機器、１１…画像取得部、１２…第一抽出部、１３…第二抽出部、１４…選択部、１５…限度見本作成部、１６…表示制御部、１７…第一選択部、１８…第二選択部、１００…類似画像セット作成装置

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】