特開 2023-172508 学習装置、学習システム、学習方法、及び、プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023172508

(43)【公開日】2023-12-06

(54)【発明の名称】学習装置、学習システム、学習方法、及び、プログラム

(51)【国際特許分類】

   G06V 10/774 20220101AFI20231129BHJP

   G06T 7/00 20170101ALI20231129BHJP

   G06N 20/00 20190101ALI20231129BHJP

【ＦＩ】

G06V10/774

G06T7/00 350C

G06N20/00 130

【審査請求】未請求

【請求項の数】14

【出願形態】ＯＬ

(21)【出願番号】P 2022084361

(22)【出願日】2022-05-24

(71)【出願人】

【識別番号】000001270

【氏名又は名称】コニカミノルタ株式会社

(74)【代理人】

【識別番号】110001807

【氏名又は名称】弁理士法人磯野国際特許商標事務所

(72)【発明者】

【氏名】舘 高基

【テーマコード（参考）】

5L096

【Ｆターム（参考）】

5L096AA06

5L096BA03

5L096DA02

5L096FA05

5L096FA64

5L096HA09

5L096HA11

5L096KA04

5L096KA15

(57)【要約】

【課題】検知対象の形状分布に対してロバストな検知を可能とするように学習する。
【解決手段】サーバ２０（学習装置）は、所定形状情報（矩形情報５６）に対応付けられたアノテーションデータを含む教師データ４３の形状分布を取得する分布取得部（矩形形状分布取得部３２）と、形状分布に基づいて、所定形状情報の教師データから学習に用いるパラメータ候補を選択する選択部３３と、を備える。選択部は、アノテーションデータに対応付けられた所定形状のサイズが偏らないように教師データから学習に用いるパラメータ候補を選択する。
【選択図】図２

【特許請求の範囲】

【請求項1】

所定形状情報に対応付けられたアノテーションデータを含む教師データの形状分布を取得する分布取得部と、
前記形状分布に基づいて、前記所定形状情報の前記教師データから学習に用いるパラメータ候補を選択する選択部と、を備える、
学習装置。

【請求項2】

前記選択部は、アノテーションデータに対応付けられた所定形状のサイズが偏らないように教師データから学習に用いるパラメータ候補を選択する、
請求項１に記載の学習装置。

【請求項3】

所定形状情報に対応付けられたアノテーションデータを含む教師データから、学習に用いるパラメータ候補一覧を、前記所定形状のサイズが偏らないように生成する生成部を備える、
請求項２に記載の学習装置。

【請求項4】

前記生成部は、入力画像のサイズを利用して、前記所定形状のサイズが偏らないように前記教師データから、学習に用いるパラメータ候補一覧を生成する、
請求項３に記載の学習装置。

【請求項5】

前記選択部は、アノテーションデータに対応付けられた形状が偏らないように選択する、
請求項１に記載の学習装置。

【請求項6】

アノテーションデータに対応付けられた外観形状が偏らないように前記教師データから、学習に用いるパラメータ候補一覧を生成する生成部を備える、
請求項４に記載の学習装置。

【請求項7】

前記生成部は、入力画像のサイズを利用して、アノテーションデータに対応付けられた形状が偏らないように前記教師データから、学習に用いるパラメータ候補一覧を生成する、
請求項６に記載の学習装置。

【請求項8】

画像を用いた外観検査に用いられる、
請求項１に記載の学習装置。

【請求項9】

前記所定形状情報は、矩形情報である、
請求項１に記載の学習装置。

【請求項10】

前記選択部が選択した教師データを学習した学習済みモデルを用いて検出対象を推論する推論部をさらに備える、
請求項１に記載の学習装置。

【請求項11】

それぞれで解像度が異なるように層出力を複数に分岐するネットワーク部をさらに備え、
前記選択部は、それぞれの層出力に対応して、重複しないように前記所定形状情報の教師データから、学習に用いるパラメータ候補を選択し、
前記ネットワーク部は、前記選択部で選択された前記パラメータ候補を用いて前記学習済みモデルを生成する、
請求項１０に記載の学習装置。

【請求項12】

請求項１乃至請求項１１のいずれか一項に記載の学習装置と、
検査対象の外観画像を取得する外観検査システムと、を備える、
学習システム。

【請求項13】

所定形状情報に対応付けられたアノテーションデータを含む教師データの所定形状分布を取得する分布取得工程と、
前記所定形状分布に基づいて、前記所定形状情報の前記教師データから学習に用いるパラメータ候補を選択する選択工程と、を含む、
学習方法。

【請求項14】

コンピュータを、
所定形状情報に対応付けられたアノテーションデータを含む教師データの所定形状分布を取得する手順と、
前記所定形状分布に基づいて、前記所定形状情報の前記教師データから学習に用いるパラメータ候補を選択する手順と、
を実行させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、学習装置、学習システム、学習方法、及び、プログラムに関する。

【背景技術】

【0002】

従来、検査者の目視に頼ってきた検査対象の外観検査分野において、人工知能（ＡＩ：artificial intelligence）を活用して検査を自動化することが行われつつある。その外観検査において、学習時に、検査対象の良品画像と不良品画像と検査対象の欠陥部分を囲む矩形情報に対応付けられたアノテーションデータ（以下、「矩形アノテーションデータ」と称する）とをコンピュータに入力して、人工知能（ＡＩ）を活用して欠陥検出エンジンを学習させる。そして、検査時（推論時）に、学習した欠陥検出エンジンに基づいて入力画像に映る検査対象の外観の良否を検査（推論）する。なお、アノテーションとは、あるデータに対して関連する情報（メタデータ）を注釈として付与することである。また、欠陥検出エンジンとしては、例えば、YOLOv3アルゴリズム（非特許文献１参照）をベースとした教師あり欠陥検出エンジンを活用することが提案されている。YOLOv3アルゴリズムとは、教師データとして、欠陥部分等の物体を囲った矩形の座標及びサイズを利用するものである。

【先行技術文献】

【非特許文献】

【0003】

【非特許文献1】“YOLOv3: An Incremental Improvement”、［online］、Cornell University、［令和４年４月２６日検索］、インターネット＜URL：https://arxiv.org/abs/1804.02767＞

【発明の概要】

【発明が解決しようとする課題】

【0004】

提案された外観検査では、学習時に、教師データにおける欠陥部分の分布からK-means法等のクラスタリング手法により、prior矩形を定める。そして、検査時には、このprior矩形を利用して、入力画像の欠陥を検出する。しかしながら、検査対象に欠陥部分が発生することが稀な製品では、検査対象の不良品画像を取得すること自体が困難であり、取得される欠陥データの少なさから、十分な量の教師データを用いてクラスタリングすることができない。そのため、prior矩形のサイズが特定のサイズに偏ってしまい、入力画像の欠陥部分の検出性能を低下させてしまう可能性がある。

【0005】

本発明は上記従来技術の有する問題点に鑑みてなされたものであり、本発明の目的は、検知対象の形状分布に対してロバストな検知を可能とするように学習する学習装置、学習システム、学習方法、及び、プログラムを提供することにある。

【課題を解決するための手段】

【0006】

本発明の上記課題は、下記の手段により解決される。

【0007】

（１）学習装置であって、所定形状情報に対応付けられたアノテーションデータを含む教師データの形状分布を取得する分布取得部と、前記形状分布に基づいて、前記所定形状情報の前記教師データから学習に用いるパラメータ候補を選択する選択部と、を備える、学習装置。

【0008】

（２）前記選択部は、アノテーションデータに対応付けられた所定形状のサイズが偏らないように教師データから学習に用いるパラメータ候補を選択する、上記（１）に記載の学習装置。

【0009】

（３）所定形状情報に対応付けられたアノテーションデータを含む教師データから、学習に用いるパラメータ候補一覧を、前記所定形状のサイズが偏らないように生成する生成部を備える、上記（２）に記載の学習装置。

【0010】

（４）前記生成部は、入力画像のサイズを利用して、前記所定形状のサイズが偏らないように前記教師データから、学習に用いるパラメータ候補一覧を生成する、上記（３）に記載の学習装置。

【0011】

（５）前記選択部は、アノテーションデータに対応付けられた形状が偏らないように選択する、上記（１）に記載の学習装置。

【0012】

（６）アノテーションデータに対応付けられた外観形状が偏らないように前記教師データから、学習に用いるパラメータ候補一覧を生成する生成部を備える、上記（４）に記載の学習装置。

【0013】

（７）前記生成部は、入力画像のサイズを利用して、アノテーションデータに対応付けられた形状が偏らないように前記教師データから、学習に用いるパラメータ候補一覧を生成する、上記（６）に記載の学習装置。

【0014】

（８）画像を用いた外観検査に用いられる、上記（１）に記載の学習装置。

【0015】

（９）前記所定形状情報は、矩形情報である、上記（１）に記載の学習装置。

【0016】

（１０）前記選択部が選択した教師データを学習した学習済みモデルを用いて検出対象を推論する推論部をさらに備える、上記（１）に記載の学習装置。

【0017】

（１１）それぞれで解像度が異なるように層出力を複数に分岐するネットワーク部をさらに備え、前記選択部は、それぞれの層出力に対応して、重複しないように前記所定形状情報の教師データから、学習に用いるパラメータ候補を選択し、前記ネットワーク部は、前記選択部で選択された前記パラメータ候補を用いて前記学習済みモデルを生成する、上記（１０）に記載の学習装置。

【0018】

（１２）学習システムであって、上記（１）乃至上記（１１）のいずれか一項に記載の学習装置と、検査対象の外観画像を取得する外観検査システムと、を備える、学習システム。

【0019】

（１３）学習方法であって、所定形状情報に対応付けられたアノテーションデータを含む教師データの所定形状分布を取得する分布取得工程と、前記所定形状分布に基づいて、前記所定形状情報の前記教師データから学習に用いるパラメータ候補を選択する選択工程と、を含む、学習方法。

【0020】

（１４）プログラムであって、コンピュータを、所定形状情報に対応付けられたアノテーションデータを含む教師データの所定形状分布を取得する手順と、前記所定形状分布に基づいて、前記所定形状情報の前記教師データから学習に用いるパラメータ候補を選択する手順と、を実行させるためのプログラム。

【発明の効果】

【0021】

本発明によれば、検知対象の形状分布に対してロバストな検知を可能とするように学習することができる。

【図面の簡単な説明】

【0022】

【図1】実施形態に係る学習装置を含む学習システムの構成図である。

【図2】実施形態に係る学習装置として機能するサーバのブロック図である。

【図3】YOLOv3アルゴリズムの説明図である。

【図4A】学習装置の学習部の動作説明図である。

【図4B】学習装置の推論部の動作説明図である。

【図5】スコアの説明図である。

【図6】スコアの説明図である。

【図7】学習部の内部構成図である。

【図8】ディープラーニングネットワーク部の説明図である。

【図9A】矩形情報の説明図（１）である。

【図9B】矩形情報の説明図（２）である。

【図9C】矩形情報の説明図（３）である。

【図10】学習装置の動作を示すフローチャートである。

【図11】学習装置の動作を示すフローチャートである。

【発明を実施するための形態】

【0023】

以下、図面を参照して、本発明の実施の形態について詳細に説明する。なお、各図は、本発明を十分に理解できる程度に、概略的に示しているに過ぎない。よって、本発明は、図示例のみに限定されるものではない。また、各図において、共通する構成要素や同様な構成要素については、同一の符号を付し、それらの重複する説明を省略する。

【0024】

＜学習装置を含む学習システムの構成＞
以下、図１及び図２を参照して、本発明の実施形態に係る学習装置を含む学習システムの構成について説明する。図１は、本実施形態に係る学習装置として機能するサーバ２０を含む学習システム１００の構成図である。図２は、学習システム１００の構成図である。本実施形態では、学習システム１００が検査対象の外観検査分野に用いられるものとして説明する。

【0025】

図１に示すように、学習システム１００は、検査対象の外観画像を取得する外観検査システム１０と、サーバ２０と、を備える。サーバ２０は、検査対象の外観の良否を学習する学習装置として機能するとともに、検査対象の外観の良否を検査（推論）する検査装置として機能する。

【0026】

外観検査システム１０は、検査対象物２００の画像を撮影して取得するカメラ１１と、検査対象物２００に光を照射する照明１２と、を有している。なお、サーバ２０の構成については、図２を用いて後記する。

【0027】

サーバ２０は、学習時に、外観検査システム１０から検査対象物２００の良品画像データと不良品画像データとを取得して教師データ４３を作成し、人工知能（ＡＩ）を活用して検査対象物２００の外観の良否を判定する欠陥検出エンジンを学習させる。サーバ２０は、検査時（推論時）に、学習済みの欠陥検出エンジンに基づいて入力画像に映る検査対象の外観の良否を検査（推論）する。本実施形態では、サーバ２０は、学習時に、検査対象物２００の欠陥部分を囲む、所定形状の情報（以下、「所定形状情報」と称する）に対応付けられたアノテーションデータを含む教師データ４３から、学習に用いるパラメータ候補を選択し、選択した複数個のパラメータ候補を用いて学習する。なお、本実施形態では、所定形状情報の形状が矩形を呈しているものとして説明する。以下、「所定形状情報」を「矩形情報」と称する場合がある。ただし、所定形状情報の形状は、例えば、円形、楕円形、菱形、三角形等であってもよい。

【0028】

このような学習システム１００は、検査作業を自動化することができる。
例えば、検査者の目視に頼ってきた検査対象の外観検査を、人工知能（ＡＩ）を活用して自動化することができる。また少量のデータで学習可能な人工知能（ＡＩ）の活用により、大量の不良品画像データの収集は不要になり、素早い導入が可能になる。

【0029】

また、このような学習システム１００は、作業者の判断に依存しない検査を行うことができるため、検査精度を向上させることができる。
例えば、簡単な設定だけで人工知能（ＡＩ）による良否判断ができるため、作業者の判断に依存しなくなる。また新しい不良が発生した場合にも柔軟な対応が可能になる。

【0030】

また、このような学習システム１００は、汎用性の高い検査システムで多品種少量生産にも適用することができる。
例えば、多品種少量生産が多い中小製造業において、複数製品への適用が可能である。そのため、検査にかかりきりだった検査員を他の業務に充てることが可能になる。

【0031】

＜学習装置の構成＞
図２に示すように、サーバ２０は、制御部２１と、記憶部２２と、を有している。制御部２１は、ＣＰＵ（Central Processing Unit）とＲＡＭ（Random Access Memory）とで構成され、記憶部２２に格納された制御プログラム４９をＣＰＵに実行させることで、学習部３０と検査部３６として機能する。記憶部２２は、半導体メモリ、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）等で構成される。

【0032】

図２に示す例では、学習部３０は、生成部３１と、矩形形状分布取得部３２と、選択部３３と、ディープラーニングネットワーク部３４と、を含む構成になっている。また、検査部３６は、推論部３７を含む構成になっている。

【0033】

生成部３１は、アノテーションデータに対応付けられた所定形状のサイズが偏らないように、教師データを生成する。また生成部３１は、この所定形状の外観の形状が偏らないように教師データを生成する。具体的にいうと、生成部３１は、検査対象物２００の不良品画像４２の鏡像反転、拡大、縮小、アフィン変換などにより、所定形状のサイズ及び／又は形状が偏らないように教師データを生成する。
矩形形状分布取得部３２は、教師データ４３の形状分布を取得する。
選択部３３は、形状分布に基づいて所定形状情報（本実施形態では矩形情報５６（図５参照））を含む教師データから、学習に用いるパラメータ候補を複数個選択する。具体的にいうと、選択部３３は、所定形状のサイズの分布に基づいて、これらサイズの分布が偏らないように所定形状情報（本実施形態では矩形情報５６（図５参照））の教師データから学習に用いるパラメータ候補を複数個選択する。

【0034】

ディープラーニングネットワーク部３４は、それぞれで解像度が異なるように層出力を複数に分岐して学習する構成要素である。ディープラーニングネットワーク部３４は、選択部３３で選択されたパラメータ候補を用いて学習済みモデル４４を生成する。
推論部３７は、学習済みモデル４４を用いて、検査対象物２００の画像から、この検査対象物２００の欠陥を推論（検出）する。

【0035】

また、図２に示す例では、記憶部２２は、外部（例えば外観検査システム１０（図１参照））から取得される検査対象物２００の良品画像４１、不良品画像４２、及び教師データ４３、学習部３０で作成される学習済みモデル４４及び欠陥検出エンジン４５（欠陥検出アルゴリズム）、制御プログラム４９を記憶する。

【0036】

＜YOLOv3アルゴリズムの概要＞
以下、図３を参照して、YOLOv3アルゴリズムの概要について説明する。図３は、YOLOv3アルゴリズムの説明図である。YOLOv3アルゴリズムは、一般的な物体検出のアルゴリズムであり、教師データとして、物体を囲った矩形形状の枠体の座標及びサイズを利用する。図３に示す例では、入力画像５１に映る物体を矩形形状の枠体（輪郭線５４）で囲った状態を示している。

【0037】

＜YOLOv3アルゴリズムを用いた教師あり欠陥検出エンジンの概要＞
以下、図４Ａ及び図４Ｂを参照して、YOLOv3アルゴリズムを用いた教師あり欠陥検出エンジンの概要について説明する。図４Ａ及び図４Ｂは、図４Ａは、サーバ２０の学習部３０の動作説明図である。図４Ｂは、サーバ２０の推論部３７の動作説明図である。本実施形態では、サーバ２０は、YOLOv3をベースとした欠陥検出アルゴリズムを用いるものとして説明する。

【0038】

図４Ａに示すように、学習時に、サーバ２０には、矩形アノテーションデータ４３ａを含む教師データ４３が入力される。この教師データ４３は、良品画像４１と、不良品画像４２を含んでいる。不良品画像４２には、欠陥部分５２を囲う矩形情報５６に対応付けされる矩形アノテーションデータ４３ａが付加されている。矩形アノテーションデータ４３ａは、矩形情報５６で囲われた欠陥部分５２の属性、例えば不良の種類などを示すタグ情報である。サーバ２０の学習部３０は、教師データ４３を取得して欠陥検出エンジン４５に引き渡す。欠陥検出エンジン４５は、不良品画像４２の矩形情報５６から欠陥部分５２を学習する。そして、サーバ２０の欠陥検出エンジン４５は、教師データ４３に基づいて検査対象物２００の欠陥部分５２を学習した学習済みモデル４４を作成して記憶部２２に記憶する。

【0039】

また、図４Ｂに示すように、推論時（検出時）に、サーバ２０には、検査対象物２００の外観を撮影した入力画像５１が入力される。サーバ２０の推論部３７は、入力画像５１の中に検査対象物２００の欠陥部分５２を撮影した不良品画像４２が含まれている場合に、記憶部２２に記憶された学習済みモデル４４、及び、学習済みの欠陥検出エンジン４５（教師あり）を用いて、不良品画像４２から欠陥部分５２を検出し、欠陥部分５２に対して矩形情報５６を設定する。そしてサーバ２０の推論部３７は、矩形情報５６の一覧と各矩形情報５６のスコア（欠陥らしさを数値化したもの）を取得する。

【0040】

このようなサーバ２０は、学習時に、良品画像４１と矩形アノテーションデータ４３ａ（図４Ａ参照）を含む不良品画像４２とを含む教師データ４３を入力して、検査対象物２００の外観の良否を学習する。そして、サーバ２０は、推論時に、入力画像５１が入力されると、矩形情報５６の一覧と各矩形情報５６のスコア（欠陥らしさを数値化したもの）を推論する。このようなサーバ２０は、セグメンテーション（ネットワークをサブネットワークへ分割したもの）系の欠陥検出によりアノテーションの負担を小さくすることができる。

【0041】

＜矩形情報のスコアの概要＞
以下、図５及び図６を参照して、矩形情報５６のスコアの概要について説明する。図５及び図６は、スコアの説明図である。なお、スコアの最大値は「１」となっている。

【0042】

図５及び図６の左画像と右画像は、同じ検査対象物２００の異なる部位の画像を表しており、左画像の解像度が右画像の解像度よりも粗くなっており、欠陥部分５２を矩形情報５６で囲んで示している。

【0043】

外観検査（ただし、外観検査以外の処理を行う場合もある）において、検査対象の不良品画像を取得すること自体が困難であり、取得される欠陥データの少なさから、十分な量の教師データを用いてクラスタリングすることができない場合がある。従来であれば、このような場合に、入力画像の欠陥部分５２に設定するprior矩形のサイズが特定のサイズに不当に偏ってしまい、欠陥部分の検出性能に影響が出て、欠陥部分の検出性能を低下させてしまう可能性がある。つまり、従来技術では、少数の学習データから事前情報としての矩形情報５６を設定すると、矩形情報５６が偏ってしまい、欠陥部分の検出性能を低下させてしまう可能性がある。

【0044】

図５は、このような場合のスコアの一例を示している。図５では、右画像の比較的小さい欠陥部分５２のスコアが「０．６０１０１６」になっている。これに対して、左画像の比較的大きい欠陥部分５２のスコアが「０．００５５２３５８」となっている。このような図５の例では、左画像において、prior矩形のサイズが比較的小さいサイズに偏っている。そのため、欠陥部分５２を囲う矩形情報５６のサイズが大きい左画像において、外れ値のように比較的大きいサイズの欠陥部分５２に対する検出性能が低下してしまう。

【0045】

また、図６に示す例では、左画像の比較的大きい欠陥部分５２のスコアが図５の左画像の欠陥部分５２のスコアと同じ「０．００５５２３５８」となっている。これに対して、右画像の比較的小さい欠陥部分５２のスコアが「０．９３０７４１」になっている。図６に示す例では、右画像において、比較的小さい欠陥部分５２に対して比較的大きなスコアを得ているが、左画像において、比較的大きい欠陥部分５２に対するスコアが比較的小さい。これは、教師データにおいて、比較的大きい欠陥部分５２のバリエーションが不足しているためである。

【0046】

＜学習部の概要＞
本実施形態では、prior矩形のサイズが特定のサイズに偏らないように調整される。以下、図７から図９Ｃを参照して、この仕組みを実現するサーバ２０の学習部３０の概要について説明する、図７は、学習部３０の内部構成図である。図８は、学習部３０のディープラーニングネットワーク部３４の説明図である。図９Ａ、図９Ｂ、及び図９Ｃは、それぞれ、矩形情報５６の説明図である。

【0047】

前記した通り、従来技術では、少数の学習データから事前情報としての矩形情報５６を設定すると、矩形情報５６が偏ってしまい、欠陥部分の検出性能に影響が出て、欠陥部分の検出性能を低下させてしまう可能性がある。そこで、本実施形態では、事前情報としての矩形情報５６のサイズ及び／又は形状が重複しないように散らばせる設定を行い、学習データが不足しがちな領域に欠陥検出アルゴリズムを適用する場合であっても、欠陥部分を性能良く検出できるようにする。

【0048】

図７に示すように、学習部３０では、学習済みモデル４４を作成する際に、生成部３１が入力画像のサイズ等に応じて、矩形情報に対応付けられたアノテーションデータを含む教師データを、矩形形状のサイズ及び／形状が偏らないように生成する。そして、矩形形状分布取得部３２が教師データ４３の矩形形状分布を取得する。選択部３３が、矩形形状分布に基づいて、矩形情報５６の教師データから、学習に用いるパラメータ候補を選択する。選択部３３は、選択した複数個のパラメータをディープラーニングネットワーク部３４に入力する。ディープラーニングネットワーク部３４は、パラメータ候補を用いて検査対象物２００の外観の良否を学習し、学習済みモデル４４を作成する。

【0049】

なお、図８に示すように、本実施形態では、ディープラーニングネットワーク部３４は、入力画像５１に対して畳み込み処理を行う畳み込みネットワーク６０を備えている。ディープラーニングネットワーク部３４は、畳み込みネットワーク６０からの層出力がそれぞれで解像度が異なるように、複数に分岐する構成になっている。図示例では、ディープラーニングネットワーク部３４は、畳み込みネットワーク６０からの層出力が第１畳み込み層出力６１と第２畳み込み層出力６２と第３畳み込み層出力６３との３つに分岐する構成になっている。これにより、学習部３０は、様々なサイズの欠陥部分に対してロバスト（頑強）に検出を行うことができる。なお、畳み込みネットワーク６０からの層出力の分岐数は、３つ以外の数（つまり、２つ又は４つ以上）であってもよい。

【0050】

図９Ａは、第１畳み込み層出力６１から出力された出力画像５８ａの一例を示している。図９Ｂは、第２畳み込み層出力６２から出力された出力画像５８ｂの一例を示している。図９Ｃは、第３畳み込み層出力６３から出力された出力画像５８ｃの一例を示している。図９Ａから図９Ｃに示す３つの出力画像５８ａ，５８ｂ，５８ｃの中で、図９Ａの出力画像５８ａは、検出対象が最も小さい画像（つまり、畳み込み処理が一番目に進んでいる画像）になっており、縦１３画素×横１３画像で構成されている。この出力画像５８には、複数のprior矩形である矩形情報５６が示されている。なお、輪郭線５４は、検出対象を囲うものである。矩形情報５６のサイズと検出対象のサイズが近似しているため、好適に検出対象を検出可能である。

【0051】

また、図９Ｂの出力画像５８ｂは、検出対象が二番目に小さい画像（つまり、畳み込み処理が二番目に進んでいる画像）になっており、縦２６画素×横２６画像で構成されている。この出力画像５８には、複数のprior矩形である矩形情報５６が示されている。なお、輪郭線５４は、検出対象を囲うものである。矩形情報５６のサイズと検出対象のサイズがやや乖離しているため、図９Ａの場合と比べて検出対象の検出能力が低下する。

【0052】

また、図９Ｃの出力画像５８ｃは、検出対象が最も大きい画像（つまり、畳み込み処理が一番進んでいない画像）になっており、縦５２画素×横５２画像で構成されている。この出力画像５８には、複数のprior矩形である矩形情報５６が示されている。なお、輪郭線５４は、検出対象を囲うものである。矩形情報５６のサイズと検出対象のサイズが乖離しているため、図９Ａと図９Ｂの場合と比べて、検出対象の検出能力が低下する。

【0053】

このような学習部３０は、生成部３１と、矩形形状分布取得部３２と、選択部３３と、を備える点を特徴にしている。そして、学習部３０は、学習データからクラスタリングしたものを直接に教師データとして使わずに、入力画像のサイズ等に応じて生成部３１で生成された任意のサイズ及び／又は形状の矩形形状パターン群の中から選択部３３で選択された複数個の矩形情報５６の教師データから、学習に用いるパラメータ候補を選択して使う学習する構成になっている。

【0054】

＜学習装置の動作＞
以下、図１０及び図１１を参照して、学習装置としてのサーバ２０の動作について説明する。図１０及び図１１は、それぞれ、学習装置としてのサーバ２０の動作を示すフローチャートである。ここでは、検査対象物２００の外観検査を行う場合を想定して説明する。

【0055】

図１０に示すように、サーバ２０は、学習時に、生成部３１により、入力画像のサイズを利用して、矩形形状のサイズ及び／又は形状が偏らないように、矩形情報５６に対応付けられたアノテーションデータ（矩形アノテーションデータ４３ａ）を含む教師データから、学習に用いるパラメータ候補一覧を生成する（ステップＳ１１０）。生成部３１は、入力画像のサイズを利用することで、欠陥部分を囲う矩形形状のサイズ及び／又は形状を適切に選択して生成できる。

【0056】

次に、サーバ２０は、矩形形状分布取得部３２により、教師データ４３の矩形形状分布を取得する（ステップＳ１２０）。次に、サーバ２０は、ステップＳ１１０で生成されたパラメータ候補一覧の中から、ステップＳ１２０で取得された矩形形状分布に基づいて、選択部３３によりパラメータ候補を選択する（ステップＳ１３０）。次に、サーバ２０は、選択したパラメータ候補を用いてディープラーニングネットワーク部３４に学習させて（ステップＳ１４０）、図１０の処理を終了する。これにより、サーバ２０の推論部３７は、このディープラーニングネットワーク部３４が出力した学習済みモデル４４を用いて、欠陥部分５２の形状分布に対してロバストな検知が可能となる。

【0057】

なお、サーバ２０は、図１０に示すフローチャートの処理の代わりに、図１１に示すフローチャートの処理を実行する構成にすることができる。図１１に示すように、サーバ２０は、学習時に、生成部３１により、入力画像のサイズを利用して、矩形情報５６に対応付けられたアノテーションデータ（矩形アノテーションデータ４３ａ）を含む教師データから、学習に用いるパラメータ候補一覧を生成する（ステップＳ２１０）。生成部３１は、入力画像のサイズを利用することで、欠陥部分を囲う矩形形状のサイズ及び／又は形状を適切に選択して生成できる。次に、サーバ２０は、矩形形状分布取得部３２により、教師データ４３の矩形形状分布を取得する（ステップＳ２２０）。次に、サーバ２０は、選択部３３により、ステップＳ２１０で生成されたパラメータ候補一覧の中から、ステップＳ２２０で取得された矩形形状分布に基づいて、矩形形状のサイズ及び／又は形状が偏らないようにパラメータ候補一覧から、学習に用いるパラメータ候補を選択する（ステップＳ２３０）。このとき、サーバ２０は、図１０に示すフローチャートの処理と異なり、矩形形状のサイズ及び／又は形状が偏らないようにパラメータ候補一覧からパラメータ候補を選択する。次に、サーバ２０は、選択したパラメータ候補を用いて、ディープラーニングネットワーク部３４に学習させると（ステップＳ２４０）、図１１の処理を終了する。これにより、サーバ２０の推論部３７は、このディープラーニングネットワーク部３４が出力した学習済みモデル４４を用いて、欠陥部分５２の形状分布に対してロバストな検知が可能となる。

【0058】

＜学習装置の主な特徴＞
本実施形態に係る学習装置（サーバ２０）は、主に以下のような特徴を有する。
（１）図２に示すように、学習装置（サーバ２０）は、所定形状情報（矩形情報５６）に対応付けられたアノテーションデータを含む教師データ４３から、学習に用いるパラメータ候補を選択し、選択した複数個のパラメータ候補を用いて学習する装置である。学習装置は、教師データ４３の形状分布を取得する分布取得部（矩形形状分布取得部３２）と、この形状分布に基づいて、所定形状情報の教師データから学習に用いるパラメータ候補を選択する選択部３３と、を備える。

【0059】

なお、図１０に示すフローチャートの動作と図１１に示すフローチャートの動作では、学習装置（サーバ２０）は、事前に生成部３１に教師データから学習に用いるパラメータ候補一覧を生成させ、その後に選択部３３にパラメータ候補一覧からパラメータ候補を選択させる。その際に、図１０に示すフローチャートの動作では、矩形形状のサイズが偏らないように生成部３１が入力画像のサイズを利用して教師データ４３からパラメータ候補一覧を生成し、選択部３３がパラメータ候補一覧からパラメータ候補を選択することで、学習装置（サーバ２０）は、実質的に選択部３３に教師データ４３から学習に用いるパラメータ候補を選択させる。また、図１１に示すフローチャートの動作では、生成部３１が入力画像のサイズを利用して教師データ４３からパラメータ候補一覧を生成し、矩形形状のサイズが偏らないように選択部３３がパラメータ候補一覧からパラメータ候補を選択することで、学習装置（サーバ２０）は、実質的に選択部３３に教師データ４３から学習に用いるパラメータ候補を選択させる。

【0060】

このような本実施形態に係る学習装置（サーバ２０）は、矩形情報等の所定形状情報が特定サイズ及び／又は形状に偏らないようにすることができる。これにより、学習装置（サーバ２０）は、検知対象の形状分布に対してロバストな検知を可能とするように学習できる。

【0061】

（２）選択部３３は、アノテーションデータに対応付けられた所定形状のサイズが偏らないように教師データから学習に用いるパラメータ候補を選択する。これにより、学習装置（サーバ２０）は、検知対象の形状のサイズ分布に対してロバストな検知を可能とするように学習できる。

【0062】

（３）生成部３１は、所定形状情報に対応付けられたアノテーションデータを含む教師データから、学習に用いるパラメータ候補一覧を、所定形状のサイズが偏らないように生成する。これにより、学習装置（サーバ２０）は、検知対象の形状のサイズ分布に対してロバストな検知を可能とするように学習できる。

【0063】

（４）生成部３１は、入力画像のサイズを利用して、所定形状のサイズが偏らないように教師データから、学習に用いるパラメータ候補一覧を生成する。これにより、学習装置（サーバ２０）は、検知対象の形状のサイズ分布に対してロバストな検知を可能とするように学習できる。

【0064】

（５）選択部３３は、アノテーションデータに対応付けられた形状が偏らないように選択する。これにより、学習装置（サーバ２０）は、検知対象の形状の分布に対してロバストな検知を可能とするように学習できる。

【0065】

（６）生成部３１は、アノテーションデータに対応付けられた外観形状が偏らないように教師データから、学習に用いるパラメータ候補一覧を生成する。これにより、学習装置（サーバ２０）は、検知対象の形状の分布に対してロバストな検知を可能とするように学習できる。

【0066】

（７）生成部３１は、入力画像のサイズを利用して、アノテーションデータに対応付けられた形状が偏らないように教師データから、学習に用いるパラメータ候補一覧を生成する。これにより、学習装置（サーバ２０）は、検知対象の形状の分布に対してロバストな検知を可能とするように学習できる。

【0067】

（８）図１に示すように、本実施形態に係る学習装置（サーバ２０）は、画像を用いた外観検査に用いられる。

【0068】

このような本実施形態に係る学習装置（サーバ２０）は、外観検査分野において検査作業を自動化することができる。また、作業者の判断に依存しない検査を行うことができるため、検査精度を向上させることができる。また、汎用性の高い検査システムで多品種少量生産にも適用することができる。

【0069】

（９）図７並びに図９Ａから図９Ｃに示すように、本実施形態に係る学習装置（サーバ２０）において、所定形状情報は、矩形情報である。

【0070】

このような本実施形態に係る学習装置（サーバ２０）は、デジタル画像処理にて容易に実現可能な矩形情報で検知対象を囲い、アノテーションを対応付けることができる。

【0071】

（１０）図２に示すように、本実施形態に係る学習装置（サーバ２０）は、推論部３７をさらに備える。推論部３７は、選択部が選択した教師データを学習した学習済みモデルを用いて、検知対象を推論する。

【0072】

このような本実施形態に係る学習装置（サーバ２０）は、検知対象の形状分布に対してロバストな検知を可能とする。

【0073】

（１１）図７に示すように、本実施形態に係る学習装置（サーバ２０）は、ディープラーニングを用いたアルゴリズムで学習する学習装置であって、それぞれで解像度が異なるように層出力を複数に分岐するネットワーク部（ディープラーニングネットワーク部３４）をさらに備える。選択部３３は、それぞれの層出力に対応して、重複しないように所定形状情報の教師データから、学習に用いるパラメータ候補を選択する。ネットワーク部（ディープラーニングネットワーク部３４）は、選択部３３で選択されたパラメータ候補を用いて学習済みモデル４４（図５参照）を生成する。

【0074】

このような本実施形態に係る学習装置（サーバ２０）は、検知対象の形状分布に対してロバストな検知を可能とする。

【0075】

（１２）図１に示すように、本実施形態に係る学習システム１００は、学習装置（サーバ２０）と、検査対象の外観画像を取得する外観検査システム１０と、を備える。

【0076】

このような本実施形態に係る学習システム１００は、外観検査分野において検査作業を自動化することができる。また、作業者の判断に依存しない検査を行うことができるため、検査精度を向上させることができる。また、汎用性の高い検査システムで多品種少量生産にも適用することができる。

【0077】

（１３）図１０に示すように、本実施形態に係る学習方法は、所定形状情報に対応付けられたアノテーションデータを含む教師データ４３から、学習に用いるパラメータ候補を選択し、選択した複数個のパラメータ候補を用いて学習する学習方法であって、教師データ４３の所定形状分布を取得する分布取得工程と、所定形状分布に基づいて所定形状情報の教師データから学習に用いるパラメータ候補を選択する選択工程と、を含む。

【0078】

このような本実施形態に係る学習装置（サーバ２０）は、矩形情報等の所定形状情報が特定サイズ及び形状に偏らないようにすることができる。これにより、学習装置（サーバ２０）は、欠陥部分の検出性能に影響が出ることを低減して、欠陥部分の検出性能を向上させることができる。

【0079】

（１４）図２及び図１０に示すように、本実施形態に係るプログラムは、コンピュータを、所定形状情報に対応付けられたアノテーションデータを含む教師データ４３から、学習に用いるパラメータ候補を選択し、選択した複数個のパラメータ候補を用いて学習する学習装置（サーバ２０）として機能させるためのプログラムであって、コンピュータを、教師データ４３の所定形状分布を取得する手順と、所定形状分布に基づいて、所定形状情報の教師データから学習に用いるパラメータ候補を選択する手順と、を実行させるためのものである。

【0080】

このような本実施形態に係る学習装置（サーバ２０）は、矩形情報等の所定形状情報が特定サイズ及び形状に偏らないようにすることができる。これにより、学習装置（サーバ２０）は、欠陥部分の検出性能に影響が出ることを低減して、欠陥部分の検出性能を向上させることができる。

【0081】

以上の通り、本実施形態に係る学習装置によれば、検知対象の形状分布に対してロバストな検知を可能とするように学習することができる。

【0082】

なお、本発明は、前記した実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲で種々の変更や変形を行うことができる。

【0083】

例えば、前記した実施形態は、本発明の要旨を分かり易く説明するために詳細に説明したものである。そのため、本発明は、必ずしも説明した全ての構成要素を備えるものに限定されるものではない。また、本発明は、ある構成要素に他の構成要素を追加したり、一部の構成要素を他の構成要素に変更したりすることができる。また、本発明は、一部の構成要素を削除することもできる。

【符号の説明】

【0084】

１０ 外観検査システム
１１ カメラ
１２ 照明
２０ サーバ（学習装置、検査装置）
２１ 制御部
２２ 記憶部
３０ 学習部
３１ 生成部
３２ 矩形形状分布取得部（分布取得部）
３３ 選択部
３４ ディープラーニングネットワーク部（ネットワーク部）
３６ 検査部
３７ 推論部
４１ 良品画像
４２ 不良品画像
４３ 教師データ
４３ａ 矩形アノテーションデータ
４４ 学習済みモデル
４５ 欠陥検出エンジン（欠陥検出アルゴリズム）
４９ 制御プログラム
５１ 入力画像
５２ 欠陥部分
５４ 輪郭線
５６ 矩形情報（所定形状情報）
５８ａ，５８ｂ，５８ｃ 出力画像
６０ 畳み込みネットワーク
６１ 第１畳み込み層出力（層出力）
６２ 第２畳み込み層出力（層出力）
６３ 第３畳み込み層出力（層出力）
１００ 学習システム
２００ 検査対象物

【図1】

【図2】

【図3】

【図4A】

【図4B】

【図5】

【図6】

【図7】

【図8】

【図9A】

【図9B】

【図9C】

【図10】

【図11】