特許 7129669 ラベル付き画像データ作成方法、検査方法、プログラム、ラベル付き画像データ作成装置及び検査装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-08-25

(45)【発行日】2022-09-02

(54)【発明の名称】ラベル付き画像データ作成方法、検査方法、プログラム、ラベル付き画像データ作成装置及び検査装置

(51)【国際特許分類】

   G06T 7/00 20170101AFI20220826BHJP

   G06N 20/00 20190101ALI20220826BHJP

【ＦＩ】

G06T7/00 350B

G06N20/00 130

G06T7/00 610

【請求項の数】 10

(21)【出願番号】P 2018137179

(22)【出願日】2018-07-20

(65)【公開番号】P2020013507

(43)【公開日】2020-01-23

【審査請求日】2021-06-02

(73)【特許権者】

【識別番号】000128131

【氏名又は名称】株式会社エヌテック

(73)【特許権者】

【識別番号】000006884

【氏名又は名称】株式会社ヤクルト本社

(73)【特許権者】

【識別番号】593205831

【氏名又は名称】東邦商事株式会社

(74)【代理人】

【識別番号】100105957

【弁理士】

【氏名又は名称】恩田 誠

(74)【代理人】

【識別番号】100068755

【弁理士】

【氏名又は名称】恩田 博宣

(72)【発明者】

【氏名】坂野 和見

(72)【発明者】

【氏名】山岸 祐一

(72)【発明者】

【氏名】木部 裕行

(72)【発明者】

【氏名】豊島 邦光

【審査官】久保 光宏

(56)【参考文献】

【文献】特開２０１８－８１６２９（ＪＰ，Ａ）

【文献】特開２０１０－９８７４３（ＪＰ，Ａ）

【文献】遠藤悦郎（外２名），「Adobe Photoshop AtoZ III」，初版，日本，株式会社ビー・エヌ・エヌ，1995年04月15日，第6-15頁及び第6-16頁，ISBN: 4-89369-342-5.

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ７／００

Ｇ０６Ｎ３／００－９９／００

ＣＳＤＢ（日本国特許庁）

ＩＥＥＥＸｐｌｏｒｅ（ＩＥＥＥ）

(57)【特許請求の範囲】

【請求項1】

撮像された画像中の検査対象の欠陥の有無を検査する検査に使用される識別器を生成するために学習前の識別器に教師あり又は半教師ありの機械学習を行わせる教師データとして用いられるラベル付き画像データを作成するラベル付き画像データ作成方法であって、
検査対象が撮像された画像に対して当該画像を構成する１つ又は複数のチャンネル以外に他のチャンネルを付加するチャンネル付加ステップと、
前記他のチャンネルにおける前記画像中の欠陥領域に対応する領域に、欠陥を示す画素値として欠陥のない他の領域に付与される第１画素値と異なる第２画素値を付与する画素値付与ステップと、
前記画像を前記他のチャンネルごと複数の分割画像に分割する分割ステップと、
複数の前記分割画像のうち、前記分割画像における前記他のチャンネルが前記第２画素値を含む当該分割画像には不良ラベルを付与し、前記分割画像における前記他のチャンネルが前記第２画素値を含まない当該分割画像には良ラベルを付与するラベル付与ステップと、
前記分割画像から前記他のチャンネルを除去してラベル付き画像データを作成するチャンネル除去ステップと、
を備えることを特徴とするラベル付き画像データ作成方法。

【請求項2】

前記欠陥には複数の種別があり、
前記画素値付与ステップでは、前記他のチャンネルに前記第２画素値を付与する場合、前記欠陥の種別に応じた異なる値の第２画素値を付与し、
前記ラベル付与ステップでは、前記第２画素値を含む前記分割画像に当該第２画素値の値に応じた異なる不良ラベルを付与する、
ことを特徴とする請求項１に記載のラベル付き画像データ作成方法。

【請求項3】

前記分割ステップでは、前記他のチャンネルが付加された前記画像を、隣同士の前記分割画像が一部重複する複数の前記分割画像に分割する、
ことを特徴とする請求項１又は請求項２に記載のラベル付き画像データ作成方法。

【請求項4】

前記他のチャンネルは、アルファチャンネルである、
ことを特徴とする請求項１～請求項３のいずれか一項に記載のラベル付き画像データ作成方法。

【請求項5】

前記ラベル付き画像データを教師データとして教師あり又は半教師ありの機械学習を行って生成された識別器にテストデータを入力したときの出力に所定値以上の正解率が得られない場合は、前記分割ステップにおける分割数を変更する、
ことを特徴とする請求項１～請求項４のいずれか一項に記載のラベル付き画像データ作成方法。

【請求項6】

請求項１～請求項５のいずれか一項に記載のラベル付き画像データ作成方法で作成された、前記ラベル付き画像データを教師データとして教師あり又は半教師ありの機械学習を行って識別器を生成する識別器生成ステップと、
検査対象が撮像された画像を、前記識別器の生成に用いた前記分割画像の分割数と同じ分割数で分割して複数の分割画像を取得し、当該分割画像を前記識別器に入力して当該識別器から識別結果として出力された出力値に基づき前記検査対象の良不良を判定する判定ステップと、
を備えることを特徴とする検査方法。

【請求項7】

前記機械学習は、ディープラーニングである、ことを特徴とする請求項６に記載の検査方法。

【請求項8】

撮像された画像中の検査対象の欠陥の有無を検査する検査に使用される識別器を生成するために学習前の識別器に教師あり又は半教師ありの機械学習を行わせる教師データとして用いられるラベル付き画像データを作成するコンピュータが実行するプログラムであって、
コンピュータが、検査対象が撮像された画像に対して当該画像を構成する１つ又は複数のチャンネル以外に他のチャンネルを付加するチャンネル付加ステップと、
コンピュータが、前記他のチャンネルにおける前記画像中の欠陥領域に対応する領域に、欠陥を示す画素値として欠陥のない他の領域に付与される第１画素値と異なる第２画素値を付与する画素値付与ステップと、
コンピュータが、前記画像を前記他のチャンネルごと複数の分割画像に分割する分割ステップと、
コンピュータが、複数の前記分割画像のうち、前記分割画像における前記他のチャンネルが前記第２画素値を含む当該分割画像には不良ラベルを付与し、前記分割画像における前記他のチャンネルが前記第２画素値を含まない当該分割画像には良ラベルを付与するラベル付与ステップと、
コンピュータが、前記分割画像から前記他のチャンネルを除去してラベル付き画像データを作成するチャンネル除去ステップと、
を備えることを特徴とするプログラム。

【請求項9】

撮像された画像中の検査対象の欠陥の有無を検査する検査に使用される識別器を生成するために学習前の識別器に教師あり又は半教師ありの機械学習を行わせる教師データとして用いられるラベル付き画像データを作成するラベル付き画像データ作成装置であって、
検査対象が撮像された画像に対して当該画像を構成する１つ又は複数のチャンネル以外に他のチャンネルを付加するチャンネル付加部と、
前記他のチャンネルにおける前記画像中の欠陥領域に対応する領域に、欠陥を示す画素値として欠陥のない他の領域に付与される第１画素値と異なる第２画素値を付与する画素値付与部と、
前記画像を他のチャンネルごと複数の分割画像に分割する分割部と、
複数の前記分割画像のうち、前記分割画像における前記他のチャンネルが前記第２画素値を含む当該分割画像には不良ラベルを付与し、前記分割画像における前記他のチャンネルが前記第２画素値を含まない当該分割画像には良ラベルを付与し、ラベル付与後に前記分割画像から前記他のチャンネルを除去してラベル付き画像データを作成するラベル付与部と、
を備えることを特徴とするラベル付き画像データ作成装置。

【請求項10】

請求項９に記載のラベル付き画像データ作成装置と、
前記ラベル付き画像データ作成装置が作成した前記ラベル付き画像データを教師データとして教師あり又は半教師ありの機械学習を行って生成された識別器と、
検査対象が撮像された画像を、前記識別器の生成に用いた前記分割画像の分割数と同じ分割数で分割して複数の分割画像を取得する分割画像取得部と、
前記分割画像取得部が取得した前記分割画像を前記識別器に入力したときの当該識別器からの出力結果に基づき前記検査対象の良不良を判定する判定部と、
を備えたことを特徴とする検査装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、教師あり学習等を行う際に識別器に教師データとして与えられるラベル付き画像データを作成するラベル付き画像データ作成方法、検査方法、プログラム、ラベル付き画像データ作成装置及び検査装置に関する。

【背景技術】

【0002】

例えば、特許文献１には、正解ラベル付きの画像データを複数に分割し、追加学習させた結果、安定した結果を出したものを教師付き画像に追加する学習装置が開示されている。この学習装置は、第１の正解ラベル付き画像に基づき、未ラベル画像を生成する画像生成部と、ユーザに提示する未ラベル画像を選択する画像選択部と、選択された未ラベル画像を表示部に出力する出力部と、入力部から取得した正解ラベルを、選択した未ラベル画像に関連付けて、第２の正解ラベル付き画像とする正解ラベル設定部とを含む。判別器生成部は、第１の正解ラベル付き画像の特徴ベクトルと、第２の正解ラベル付き画像の特徴ベクトルとに基づき、判別器の再生成処理を行う。

【0003】

また、特許文献２には、教師データの生成に機械学習を利用する手法を用いた機械学習装置が開示されている。

【先行技術文献】

【特許文献】

【0004】

【文献】特開２０１３－１２５３２２号公報

【文献】特開２０１５－１８５１４９号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、ディープラーニング等の機械学習においては、識別器のパラメータを決定するために膨大な画像を学習させる必要がある。例えば、検査を、識別器を用いて行う場合、特許文献１のように画像を分割すると適合率（Precision）が高まることが知られているが、分割した分割画像ごとにラベルを付与する作業が必要である。また、識別器の正解率が不十分である場合は、画像の分割数を変更して再度学習させると、正解率の高い識別器が得られる場合がある。

【0006】

しかし、画像の分割数を変更すると、変更後の分割数で分割した分割画像に再度ラベルを付与する必要があるという課題がある。なお、この種の課題は、ディープラーニングに限らず、特許文献１に記載のサポートベクトルマシン（ＳＶＭ）などで行う教師あり機械学習において概ね共通する。

【0007】

本発明の目的は、画像を分割して教師あり又は半教師ありの機械学習に教師データとして用いるラベル付き画像データの作成負担を軽減して学習コストを低く抑えることができるラベル付き画像データ作成方法、検査方法、プログラム、ラベル付き画像データ作成装置及び検査装置を提供することにある。

【課題を解決するための手段】

【0008】

以下、上記課題を解決するための手段及びその作用効果について記載する。
上記課題を解決するラベル付き画像データ作成方法は、撮像された画像中の検査対象の欠陥の有無を検査する検査に使用される識別器を生成するために学習前の識別器に教師あり又は半教師ありの機械学習を行わせる教師データとして用いられるラベル付き画像データを作成するラベル付き画像データ作成方法であって、検査対象が撮像された画像に対して当該画像を構成する１つ又は複数のチャンネル以外に他のチャンネルを付加するチャンネル付加ステップと、前記他のチャンネルにおける前記画像中の欠陥領域に対応する領域に、欠陥を示す画素値として欠陥のない他の領域に付与される第１画素値と異なる第２画素値を付与する画素値付与ステップと、前記画像を前記他のチャンネルごと複数の分割画像に分割する分割ステップと、複数の前記分割画像のうち、前記分割画像における前記他のチャンネルが前記第２画素値を含む当該分割画像には不良ラベルを付与し、前記分割画像における前記他のチャンネルが前記第２画素値を含まない当該分割画像には良ラベルを付与するラベル付与ステップと、前記分割画像から前記他のチャンネルを除去してラベル付き画像データを作成するチャンネル除去ステップと、を備える。

【0009】

この方法によれば、教師データとして用いられるラベル付き画像データを、撮像された画像を分割して作成しても、作成負担を軽減して学習コストを低く抑えることができる。例えば、画像の分割数を変更してラベル付き画像データを作成し直す場合も、作業者が画像の欠陥領域を指定する作業を分割数変更の度にやり直す必要がなく、作業負担が減り、学習コストを低く抑えることができる。

【0010】

上記ラベル付き画像データの作成方法では、前記欠陥には複数の種別があり、前記画素値付与ステップでは、前記他のチャンネルに前記第２画素値を付与する場合、前記欠陥の種別に応じた異なる値の第２画素値を付与し、前記ラベル付与ステップでは、前記第２画素値を含む前記分割画像に当該第２画素値の値に応じた異なる不良ラベルを付与することが好ましい。

【0011】

この方法によれば、欠陥の種別に応じた異なる不良ラベルを付与したラベル付き画像データを作成できる。
上記ラベル付き画像データ作成方法において、前記分割ステップでは、前記他のチャンネルが付加された前記画像を、隣同士の前記分割画像が一部重複する複数の前記分割画像に分割することが好ましい。

【0012】

この方法によれば、欠陥が複数の分割画像に跨がっても、欠陥が分断される頻度を低減できる。よって、ラベル付き画像データを用いて学習した際に高い正解率が得られ易い。
上記ラベル付き画像データ作成方法において、前記他のチャンネルは、アルファチャンネルであることが好ましい。

【0013】

この方法によれば、画像の不透明度を設定するためのアルファチャンネルを利用することで、撮像された画像のチャンネルに影響を与えず比較的簡単に欠陥領域に対応する領域に欠陥を示す第２画素値を付与できる。

【0014】

上記ラベル付き画像データ作成方法において、前記ラベル付き画像データを教師データとして教師あり又は半教師ありの機械学習を行って生成された識別器にテストデータを入力したときの出力に所定値以上の正解率が得られない場合は、前記分割ステップにおける分割数を変更することが好ましい。

【0015】

この方法によれば、教師あり又は半教師ありの機械学習により生成された識別器にテストデータを入力したときの出力に所定値以上の正解率が得られず分割ステップにおける分割数を変更してラベル付き画像データを作成し直す場合、画像には既に他のチャンネル及び欠陥を示す第２画素値が付与されている。よって、画像の分割数を変更してラベル付き画像データを作成し直す際は、他のチャンネルに第２画素値を付与する領域を指定するために作業者が入力装置を操作して欠陥領域を指定する作業が不要になる。

【0016】

上記課題を解決する検査方法は、上記ラベル付き画像データ作成方法で作成された、前記ラベル付き画像データを教師データとして教師あり又は半教師ありの機械学習を行って識別器を生成する識別器生成ステップと、検査対象が撮像された画像を、前記識別器の生成に用いた前記分割画像の分割数と同じ分割数で分割して複数の分割画像を取得し、当該分割画像を前記識別器に入力して当該識別器から識別結果として出力された出力値に基づき前記検査対象の良不良を判定する判定ステップと、を備える。

【0017】

この方法によれば、学習前の識別器に学習させるラベル付き画像データの作成負担が軽減されるので、低い学習コストで検査対象の良不良を検査できる。
上記検査方法において、前記機械学習は、ディープラーニングであることが好ましい。

【0018】

この方法によれば、検査対象の良不良をディープラーニングで低い学習コストで検査できる。
上記課題を解決するプログラムは、撮像された画像中の検査対象の欠陥の有無を検査する検査に使用される識別器を生成するために学習前の識別器に教師あり又は半教師ありの機械学習を行わせる教師データとして用いられるラベル付き画像データを作成するコンピュータが実行するプログラムであって、コンピュータが、検査対象が撮像された画像に対して当該画像を構成する１つ又は複数のチャンネル以外に他のチャンネルを付加するチャンネル付加ステップと、コンピュータが、前記他のチャンネルにおける前記画像中の欠陥領域に対応する領域に、欠陥を示す画素値として欠陥のない他の領域に付与される第１画素値と異なる第２画素値を付与する画素値付与ステップと、コンピュータが、前記画像を前記他のチャンネルごと複数の分割画像に分割する分割ステップと、コンピュータが、複数の前記分割画像のうち、前記分割画像における前記他のチャンネルが前記第２画素値を含む当該分割画像には不良ラベルを付与し、前記分割画像における前記他のチャンネルが前記第２画素値を含まない当該分割画像には良ラベルを付与するラベル付与ステップと、コンピュータが、前記分割画像から前記他のチャンネルを除去してラベル付き画像データを作成するチャンネル除去ステップと、を備える。

【0019】

このプログラムをコンピュータに実行させることで、撮像された画像を分割して作成されるとともに学習後の識別器の正解率が低ければ分割数を変更して作成し直されるラベル付き画像データの作成負担を軽減して学習コストを低く抑えることができる。例えば、画像の分割数を変更してラベル付き画像データを作成し直す場合も、作業者が画像の欠陥領域を指定する作業を分割数変更の度にやり直す作業負担が減り、学習コストを低く抑えることができる。

【0020】

上記課題を解決するラベル付き画像データ作成装置は、撮像された画像中の検査対象の欠陥の有無を検査する検査に使用される識別器を生成するために学習前の識別器に教師あり又は半教師ありの機械学習を行わせる教師データとして用いられるラベル付き画像データを作成するラベル付き画像データ作成装置であって、検査対象が撮像された画像に対して当該画像を構成する１つ又は複数のチャンネル以外に他のチャンネルを付加するチャンネル付加部と、前記他のチャンネルにおける前記画像中の欠陥領域に対応する領域に、欠陥を示す画素値として欠陥のない他の領域に付与される第１画素値と異なる第２画素値を付与する画素値付与部と、前記画像を他のチャンネルごと複数の分割画像に分割する分割部と、複数の前記分割画像のうち、前記分割画像における前記他のチャンネルが前記第２画素値を含む当該分割画像には不良ラベルを付与し、前記分割画像における前記他のチャンネルが前記第２画素値を含まない当該分割画像には良ラベルを付与し、ラベル付与後に前記分割画像から前記他のチャンネルを除去してラベル付き画像データを作成するラベル付与部と、を備える。

【0021】

このラベル付き画像データ作成装置によれば、撮像された画像を分割して作成されるとともに学習後の識別器の正解率が低ければ分割数を変更して作成し直されるラベル付き画像データの作成負担を軽減して学習コストを低く抑えることができる。例えば、画像の分割数を変更してラベル付き画像データを作成し直す場合も、作業者が画像の欠陥領域を指定する作業を分割数変更の度にやり直す作業負担が減り、学習コストを低く抑えることができる。

【0022】

上記課題を解決する検査装置は、上記ラベル付き画像データ作成装置と、前記ラベル付き画像データ作成装置が作成した前記ラベルつきの前記ラベル付き画像データを教師データとして教師あり又は半教師ありの機械学習を行って生成された識別器と、検査対象が撮像された画像を、前記識別器の生成に用いた前記分割画像の分割数と同じ分割数で分割して複数の分割画像を取得する分割画像取得部と、前記分割画像取得部が取得した前記分割画像を前記識別器に入力したときの当該識別器からの出力結果に基づき前記検査対象の良不良を判定する判定部と、を備える。

【0023】

この検査装置によれば、学習完了前の識別器に学習させるラベル付き画像データの作成負担を軽減でき、低い学習コストで検査対象の良不良を検査できる。

【発明の効果】

【0024】

本発明によれば、教師あり又は半教師ありの機械学習に教師データとして用いるラベル付き画像データを、画像を分割して作成しても、作成負担を軽減して学習コストを低く抑えることができる。

【図面の簡単な説明】

【0025】

【図1】第１実施形態における機械学習機能を備えた検査装置を示す模式側面図。

【図2】検査装置における検査対象の物品を撮像する部分を示す模式平面図。

【図3】複数種のフォルダとフォルダ内の画像の一例を示す模式図。

【図4】機械学習機能を備えた検査装置の電気的構成を示すブロック図。

【図5】（ａ）は撮像された画像を示す模式図、（ｂ）は撮像された画像のチャンネル構造を示す模式図。

【図6】（ａ）は画像中の欠陥を示す模式図、（ｂ）は欠陥領域の入力指定方法を説明する模式図。

【図7】アルファチャンネルを付加した画像の構成を示す模式図。

【図8】画像の分割を説明する模式図。

【図9】（ａ），（ｂ）は画像の分割の仕方を説明する模式図。

【図10】（ａ）はラベル設定を説明する模式図、（ｂ）は教師データとしてのラベル付き分割画像データを示す模式図、（ｃ）は配列データ変換を説明する模式図。

【図11】ディープラーニング部における識別器の教師あり学習を説明する模式図。

【図12】欠陥位置登録ルーチンを示すフローチャート。

【図13】教師データとしてのラベル付き分割画像を作成する分割画像作成ルーチンを示すフローチャート。

【図14】（ａ），（ｂ）は、第２実施形態におけるアルファチャンネルの欠陥領域に第２画素値を付与する処理を説明する模式図。

【図15】教師データとしてのラベル付き分割画像を作成する分割画像作成ルーチンの要部を示すフローチャート。

【発明を実施するための形態】

【0026】

（第１実施形態）
以下、機械学習機能を有する検査装置を備えた検査システムについて、図面を参照して説明する。図１に示す検査システム１１は、物品１２を撮像した画像を用いて物品１２の欠陥の有無を検査する。検査システム１１は、物品１２が搬送される搬送装置２０と、搬送装置２０により搬送される物品１２を検査する検査装置３０とを備える。

【0027】

図１に示すように、搬送装置２０は、物品１２を搬送するためのコンベヤ２１と、コンベヤ２１に載置されて搬送される物品１２を検知するセンサ２２と、検査装置３０の検査結果から欠陥のある不良品と判定された場合に良品の流れるラインから不良品の物品１２を排除する排出装置２３とを備える。コンベヤ２１は、例えば複数のローラ２４に巻き掛けられたベルト２５が電動モータ２６の動力で周回するベルトコンベヤである。コンベヤ２１は、物品１２を搬送できれば、例えばローラコンベヤ等の他の構成でもよい。コンベヤ２１の搬送方向Ｘと交差する幅方向の両側には、物品１２をガイドする一対のガイド部材２７が配置されている。排出装置２３は、物品１２を押し出して排除する構成、又はエアの力で物品１２を吹き飛ばして排除する構成が挙げられるが、不良の物品１２を排除できれば他の構成でもよい。

【0028】

検査システム１１は、搬送装置２０および検査装置３０を制御するコントローラＣを備える。
検査装置３０は、コンベヤ２１に搬送される物品１２を撮像するカメラ３１と、カメラ３１と電気的に接続されたコンピュータ３２とを備える。検査装置３０は、カメラ３１が物品１２を撮像した画像を用いて物品１２の欠陥の有無を判定する。コンピュータ３２は、コントローラＣの一部を構成する。詳しくは、コントローラＣは、搬送装置２０及びカメラ３１を制御するプログラマブルロジックコントローラ３３（以下、「ＰＬＣ３３」ともいう。）と、ＰＬＣ３３に電気的に接続されたコンピュータ３２とを備える。コンピュータ３２は、入力装置３４と表示部３５とを備える。

【0029】

ＰＬＣ３３は、搬送装置２０を制御し、センサ２２が物品１２を検知した検知信号に基づいてカメラ３１の撮像タイミングを制御する。カメラ３１で物品１２が撮像された画像データはコンピュータ３２に送られる。コンピュータ３２は、カメラ３１からの画像データを用いて物品１２の欠陥の有無を検査する。図１に示す例では、コンピュータ３２は、パーソナルコンピュータ等であるが、コンピュータ３２とＰＬＣ３３とを一体に構成したコントローラＣに内蔵されたマイクロプロセッサ等でもよい。

【0030】

図１、図２では、四角板状の物品１２の例を示すが、物品１２の形状、サイズおよび品目は特に限定されない。
カメラ３１が撮像する画像には、図５（ａ）に示すように、画像の一部として物品１２ｇ以外に、物品１２ｇの周辺のベルト２５ｇやガイド部材２７ｇの一部なども含まれる。本実施形態の検査装置３０は、カメラ３１が撮像した画像データを基に、識別器６６（図４を参照）を用いて物品１２の欠陥の有無を検査する。検査装置３０は、欠陥を検出した場合、欠陥の種別も判別する。

【0031】

本実施形態は、検査装置３０が検査に必要な識別器６６を生成するために教師付き学習を行う。本例では、機械学習としてディープラーニングを採用する。ディープラーニングでは、識別器６６の高い正解率を得るために多量の画像を学習させる必要がある。しかし、学習用の画像を多量に準備するのは非常に手間がかかるので、ラベル付き画像データを作成し易く、かつ条件変更によるやり直しの手間も少なく済むよう取り扱い易くする。

【0032】

検査装置３０は、例えばカメラ３１が撮像した物品１２の画像データを分割した分割画像データと、良品である旨と不良品である場合は欠陥の種別を示す正解ラベルとをセットにした、教師データとしてのラベル付き分割画像データＤＩｍ（図１０（ｂ）参照）を作成する。そして、検査装置３０は、ラベル付き分割画像データＤＩｍを用いて、教師あり学習を行って識別器６６を生成する。

【0033】

教師データの作成に用いる画像（元画像）のデータは、図３に示すように、良品のフォルダＦ１と、不良品のフォルダＦ２，Ｆ３とに分けて格納されている。良品のフォルダＦ１には、欠陥のない良品の画像データＩｍ１が格納されている。不良品のフォルダＦ２，Ｆ３は、欠陥の種別に応じて複数種類（図３の例では２種類）用意されている。例えば、フォルダＦ２には、小さな欠陥Ｄｓを含む不良品の画像データＩｍ２が格納されている。また、フォルダＦ３には、大きな欠陥Ｄｌを含む不良品の画像データＩｍ３が格納されている。なお、欠陥の種別ごとの不良品の画像データＩｍ２，Ｉｍ３を特に区別しない場合、総称して画像データＩｍｄと記す場合もある。また、教師データの作成に用いる元画像は、検査装置３０のカメラ３１が撮像したものに限らず、検査装置３０とは別のカメラを用いて別の場所で予め物品１２を撮像した画像でもよい。この場合、コンピュータ３２は、外部メモリから画像データを入力したり、インターネット経由でサーバから画像データを受信したりしてもよい。

【0034】

次に、図４を参照して検査システム１１の電気的構成を説明する。図４に示すように、コントローラＣは、コンピュータ３２と、ＰＬＣ３３とを備える。ＰＬＣ３３には、搬送装置２０を構成するコンベヤ２１、センサ２２及び排出装置２３が電気的に接続されている。ＰＬＣ３３は、カメラトリガー処理部３６及び不良排出処理部３７を備える。カメラトリガー処理部３６は、センサ２２が物品１２を検知した検知信号を入力すると、コンピュータ３２に撮像トリガー信号を出力する。不良排出処理部３７は、コンピュータ３２が検査した物品１２が不良品であるときにコンピュータ３２から排出指示信号を入力する。

【0035】

カメラ３１は、コンピュータ３２に接続されている。コンピュータ３２には、入力装置３４及び表示部３５が接続されている。コンピュータ３２は、カメラトリガー処理部３６から撮像トリガー信号を入力すると、カメラ３１に撮像指示信号を出力する。カメラ３１は、撮像指示信号を受信すると、コンベヤ２１上においてセンサ２２が検知した物品１２を撮像エリアの中央部で撮像する。また、コンピュータ３２は、カメラ３１が撮像した画像データを用いて検査処理を行い、物品１２が欠陥を有する不良品であると判定すると、不良排出処理部３７に排出指示信号を出力する。不良排出処理部３７は、コンピュータ３２から入力した排出指示信号に基づき排出装置２３を駆動して不良品の物品１２をコンベヤ２１から排除する。

【0036】

次に、図４を参照して、検査装置３０を構成するコンピュータ３２の構成について説明する。図４に示すように、コンピュータ３２は、ＣＰＵ４１と、メモリ４２と、補助メモリ４３とを備える。補助メモリ４３は、例えばハードディスクドライブ（ＨＤＤ）により構成される。

【0037】

メモリ４２には、各種のプログラムＰｒおよび識別器データＣＤが記憶されている。プログラムＰｒには、図１２にフローチャートで示される欠陥位置登録用プログラム、及び図１３にフローチャートで示される分割画像作成用プログラムが含まれる。識別器データＣＤとは、識別器６６を構成するモデルデータ及びパラメータを含む。ＣＰＵ４１は、識別器データＣＤを読み込んで識別器６６として機能する。但し、識別器６６が、学習完了前の段階、すなわち未学習あるいは学習途中にある段階では、その識別結果に所望の正解率が得られない。そのため、学習部６４が識別器６６に教師あり学習を行って、識別器データＣＤを構成するパラメータを最適な値に調整する。そのため、識別器６６には、学習度合いに応じて、所望の正解率が得られる学習済みの識別器６６と、所望の正解率が得られない未学習あるいは学習途中の段階にある学習完了前の識別器６６とがある。なお、学習済みの識別器６６となっても、学習を終える訳ではなく、さらに高い正解率を得るため、あるいは同じ物品１２でも欠陥の形態の微小な変化などによって正解率が低下したときには調整のために追加学習が行われる。

【0038】

このため、識別器６６が学習完了前の段階では、識別器データＣＤはモデルデータと調整前のパラメータにより構成される。そして、識別器６６が学習済みの段階では、識別器データＣＤは、学習完了前の識別器６６が教師あり学習を行って調整されたパラメータ及びモデルデータにより構成される。ＣＰＵ４１は、教師あり学習により調整されたパラメータ及びモデルデータよりなる識別器データＣＤを読み込んで学習済みの識別器６６として機能する。プログラムＰｒには、後述の教師データ作成部５２が、学習部６４が学習完了前の識別器６６に学習させるために与える教師データを作成するためのプログラムが含まれる。

【0039】

ＣＰＵ４１は、制御部５１、教師データ作成部５２、ディープラーニング部５３、及び検査処理部５４を備える。なお、各部５１～５４は、ＣＰＵ４１がプログラムＰｒを実行して構築されるソフトウェアよりなる機能部である。制御部５１は、各部５２～５４を統括的に制御する。

【0040】

教師データ作成部５２は、学習部６４が学習完了前の識別器６６に教師あり学習を行うときに与える教師データを作成する。教師データ作成部５２は、欠陥位置登録部６１、分割部の一例としての分割画像作成部６２およびラベル付与部の一例としてのラベル設定部６３を備える。なお、教師データ作成部５２は、教師あり学習のために学習部６４が識別器６６に与える教師データの作成の他、教師あり学習の結果、識別器６６が所望の正解率が得られるかどうかを後述の推論部６５が検証するために識別器６６にテストデータとして与える教師データの作成も行う。なお、本実施形態では、教師データ作成部５２が、ラベル付き画像データ作成装置の一例に相当する。

【0041】

ディープラーニング部５３は、学習部６４、推論部６５及び識別器６６を備える。学習部６４は、学習完了前の識別器６６に教師データを用いて教師あり学習をさせることで、学習済みの識別器６６を生成する。本例の機械学習は、ディープラーニング（深層学習）である。学習部６４は、教師データ作成部５２が作成した教師データを識別器６６に与えて教師あり学習を行うことで、重み係数などのパラメータを最適値に調整する。

【0042】

補助メモリ４３には、図４に示した画像データ群ＩＧが記憶されている。画像データ群ＩＧは、教師データ作成部５２が教師データを作成するときの元画像となる多数の画像データＩｍ（以下、単に「画像Ｉｍ」ともいう。）を含む。図４に示す例では、画像データ群ＩＧは、学習用データ群ＴｒＤと、テスト用データ群ＴｓＤとを含む。学習用データ群ＴｒＤに属する画像データＩｍは、教師データ作成部５２が、教師あり学習用の教師データを作成する際の元画像となる画像データである。学習用データ群ＴｒＤには、図３に示すＯＫ画像Ｉｍ１と、ＮＧ画像Ｉｍｄ（Ｉｍ２，Ｉｍ３）とが含まれる。図３に示すように、「ＯＫ」、「ＮＧ１」、「ＮＧ２」を名称とするフォルダＦ１，Ｆ２，Ｆ３に、それぞれＯＫの画像データＩｍ１、ＮＧ１の画像データＩｍ２、ＮＧ２の画像データＩｍ３が格納されている。このように本例では、ＮＧ画像データＩｍｄは、欠陥の大きさ又は欠陥の種類に応じた名称が付された複数種のフォルダＦ２，Ｆ３に分けて格納されている。

【0043】

また、テスト用データ群ＴｓＤに属する画像データＩｍは、教師データ作成部５２が、推論部６５が識別器６６の正解率を検証するテスト用の教師データを作成する際の元画像となる画像データである。テスト用データ群ＴｓＤは、学習用データ群ＴｒＤとは異なる複数の画像データを含むが、学習用データ群ＴｒＤと同様に、図３に示す複数種の名称が付された複数のフォルダＦ１～Ｆ３に分けられたＯＫ画像Ｉｍ１ｓとＮＧ画像Ｉｍ２ｓ，Ｉｍ３ｓとを含む。なお、本実施形態では、フォルダＦ１～Ｆ３の名称は、教師データ作成部５２が画像Ｉｍから教師データを作成する際にデータに付与する正解ラベルに使用される。また、図４では、補助メモリ４３に、物品１２の１種類の品種についての画像データ群ＩＧのみを示している。複数品種の物品１２について検査を行う場合、画像データ群ＩＧは品種ごとに記憶される。この場合、識別器データＣＤ及び識別器６６も品種ごとにある。また、同一の物品１２でも検査対象の部分が複数ある場合、検査対象の部分ごとに画像データ群ＩＧ、識別器データＣＤ及び識別器６６がある。

【0044】

次に、図４を参照して、教師データ作成部５２の構成要素について説明する。欠陥位置登録部６１は、画像Ｉｍのうち欠陥のある画像Ｉｍｄに、欠陥の位置を登録する。欠陥位置登録部６１は、作業者により入力装置３４から欠陥の位置領域が入力指定されると、欠陥のある画像Ｉｍｄに、画像Ｉｍｄの色を表現する色表現チャンネル以外に他のチャンネルを付加する。他のチャンネルは、色表現チャンネル以外に付加される補助チャンネルである。補助チャンネルは、例えば不透明度を表すチャンネルであり、本例ではアルファチャンネルＩｍαである。欠陥位置登録部６１は、欠陥のある画像Ｉｍｄに、色表現チャンネル以外にアルファチャンネルＩｍαを付加する。そして、欠陥位置登録部６１は、アルファチャンネルＩｍαに欠陥の位置領域を登録する。

【0045】

分割画像作成部６２は、画像データＩｍを複数に分割して、複数の分割画像データＤＩを作成する。作業者は、入力装置３４を操作して分割数を分割画像作成部６２に指示する。分割画像作成部６２は、指示された分割数Ｍ×Ｎで画像データＩｍを分割し、Ｍ×Ｎ個の分割画像データＤＩ（以下、「分割画像ＤＩ」ともいう。）を作成する。

【0046】

ラベル設定部６３は、分割画像ＤＩにラベルを付与する。ラベル設定部６３は、分割画像データがアルファチャンネルを有すれば、欠陥を示す第２画素値の有無を判断し、第２画素値があれば、元画像が格納されていたフォルダの名称（フォルダ名）である「ＮＧ１」又は「ＮＧ２」をラベルとして付与する。分割画像データがαチャンネルを有するが、欠陥を示す第２画素値がなければ、「ＯＫ」をラベルとして付与する。分割画像データがアルファチャンネルを有していなければ、元画像が格納されていたフォルダの名称（フォルダ名）である「ＯＫ」をラベルとして付与する。ラベル設定部６３は、ラベル付与後に分割画像からアルファチャンネルを除去することで、ラベル付きＲＧＢ画像よりなる教師データとしてのラベル付き分割画像データＤＩｍ（図１０（ｂ）参照）を作成する。

【0047】

ディープラーニング部５３の学習部６４は、ラベル付き画像データを教師データとして用いて、学習済みになる前の識別器６６に教師あり学習を行わせる。識別器６６に教師データを学習させることで、学習済みの識別器６６を生成する。

【0048】

本例の機械学習は、ディープラーニング（深層学習）である。学習部６４は、識別器６６に教師データを学習させてパラメータを決定する。
推論部６５は、学習済みの識別器６６を用いて、検査対象の画像を識別器６６に入力してディープラーニングにより得られた出力結果から欠陥の有無を検査する。このディープラーニングによる検査では欠陥がある場合は欠陥の種別も判別する。また、推論部６５は、実際の検査に使用されるだけでなく、学習結果が適切であるか否かを検証するためにも使用される。そして、推論部６５は、学習済みの識別器６６に、教師データ作成部５２がテスト用データ群ＴｓＤ中の画像データＩｍを元画像として作成したラベル付き分割画像データＤＩｍを入力してその出力結果と正解ラベルとを比較して正解率を検証する。所定値以上の正解率が得られれば学習を終了し、所定値未満の正解率であれば、画像データＩｍの分割数を変更するなど条件を変更して、再度、学習し直す。

【0049】

図４に示す検査処理部５４は、カメラ３１が撮像した検査対象の物品１２を、識別器６６を用いて検査する。検査処理部５４は、画像取得部６７、分割画像取得部の一例としての画像分割部６８および判定部６９を備える。画像取得部６７は、カメラ３１が撮像した物品１２の画像を取得する。画像分割部６８は、画像取得部６７が取得した画像を、学習部６４が教師あり学習時に教師データとして用いたラベル付き分割画像データＤＩｍと同じ分割数で分割する。検査処理部５４は、画像分割部６８が分割した分割画像をディープラーニング部５３に送る。ディープラーニング部５３では、推論部６５が、検査処理部５４の画像分割部６８から受け取った分割画像ＤＩを識別器６６に入力し識別器６６の出力結果に基づき、「ＯＫ」、「ＮＧ１」、「ＮＧ２」のいずれであるか推論する。推論部６５の推論結果は、ディープラーニング部５３から検査処理部５４の判定部６９に送られる。検査処理部５４では、判定部６９が、ディープラーニング部５３からの推論結果に基づいて検査の判定を行う。判定部６９は、「ＯＫ」、「ＮＧ１」、「ＮＧ２」のうちの１つの推論結果を基に、物品１２の欠陥の有無を判定する。本例では、判定部６９は、推論結果が「ＯＫ」であれば良品と判定し、推論結果が「ＮＧ１」又は「ＮＧ２」であれば不良品であると判定する。

【0050】

コンピュータ３２は、検査処理部５４の判定結果を基に、物品１２の検査結果が不良品であれば、不良排出処理部３７に排出指示信号を出力する。不良排出処理部３７は、排出指示信号を入力すると、排出装置２３を駆動させてコンベヤ２１上の該当する不良品の物品１２をコンベヤ２１上から外部へ排除する。

【0051】

図５（ａ）は、カメラ３１で撮像された画像データＩｍの一例を示す。この画像データＩｍは、欠陥Ｄｇを含む不良品の画像データＩｍｄ（「ＮＧ画像データＩｍｄ」ともいう。）である。図５（ａ）に示すように、カメラ３１が撮像した画像Ｉｍには、物品１２ｇ、ベルト２５ｇ、ガイド部材２７ｇが含まれる。カメラ３１はカラー撮像が可能である。カメラ３１が撮像した画像Ｉｍは、図５（ｂ）に示すように、レッドチャンネル（Ｒチャンネル）、グリーンチャンネル（Ｇチャンネル）、ブルーチャンネル（Ｂチャンネル）の３チャンネルより構成される。

【0052】

作業者は、表示部３５にフォルダの一覧を表示させ、マウス操作で不良品フォルダＦ２，Ｆ３を開き、不良品の画像Ｉｍｄを選択し、表示部３５に欠陥Ｄｇを含む物品１２ｇが撮像された不良品の画像Ｉｍｄ（「ＮＧ画像Ｉｍｄ」ともいう。）を表示する。例えば、図５（ａ）に示す欠陥Ｄｇを含むＮＧ画像Ｉｍｄが表示される。作業者は、入力装置３４のマウス又は電子ペン（スタイラスペン）等のポインティングデバイスを用いてＮＧ画像Ｉｍｄ中の欠陥Ｄｇの領域を入力指定する。

【0053】

図６（ａ）は、図５（ａ）に示すＮＧ画像Ｉｍｄ中の欠陥Ｄｇを示す。図６（ａ）に示す欠陥Ｄｇがあると、作業者は入力装置３４を構成するマウス又は電子ペン等のポインティングデバイスを操作して、欠陥Ｄｇの輪郭に沿って図６（ｂ）に太線で示す囲み線ＥＬを描いて欠陥領域ＤＡを囲むか、又はポインティングデバイスの操作で欠陥領域ＤＡを塗り潰すことで、欠陥領域の位置座標を入力指定する。

【0054】

欠陥位置登録部６１は、チャンネル付加部６１Ａと、画素値付与部６１Ｂとを備える。チャンネル付加部６１Ａは、入力装置３４から欠陥領域ＤＡの位置座標を指定する入力があると、ＮＧ画像データＩｍｄにアルファチャンネルＩｍαを付加する。そして、画素値付与部６１Ｂは、アルファチャンネルの欠陥領域ＤＡに相当する領域Ｄα（以下、「欠陥領域Ｄα」ともいう。）に、欠陥を示す画素値として、欠陥のない領域に付与される第１画素値Ｐ１と異なる第２画素値Ｐ２を付与する。ＮＧ画像Ｉｍｄ上で指定された欠陥領域ＤＡの位置座標とアルファチャンネルＩｍα上の同じ位置座標で規定される欠陥領域Ｄαに属する全ての画素に第２画素値Ｐ２を付与する。

【0055】

図７に示すように、欠陥位置登録後の不良品の画像ＩｍＤ（ＮＧ画像ＩｍＤともいう。）は、ＲチャンネルＩｍＲ、ＧチャンネルＩｍＧと、ＢチャンネルＩｍＢと、欠陥領域Ｄαに第２画素値Ｐ２が付与されたアルファチャンネルＩｍαとにより構成される。欠陥位置登録後のＮＧ画像ＩｍＤは、元画像と同じフォルダＦ２，Ｆ３又は同じ名称の別のフォルダＦ２，Ｆ３に格納される。

【0056】

分割画像作成部６２は、学習用のフォルダＦ１～Ｆ３内の画像Ｉｍを分割する。分割画像作成部６２が分割の対象とする画像Ｉｍは、良品フォルダＦ１内のＯＫ画像Ｉｍ１と、不良品フォルダＦ２，Ｆ３内のアルファチャンネルＩｍαが付加されたＮＧ画像ＩｍＤである。分割画像作成部６２は、表示部３５に分割数入力欄を表示する。作業者は、学習に適切な画像の分割数を、入力装置３４を操作して入力する。画像の分割数は、画像の縦の分割数Ｍと横の分割数Ｎとを入力して指定する。但し、Ｍ，Ｎは、自然数であり、少なくとも一方が２以上である。

【0057】

図８に示すように、分割画像作成部６２は、画像データＩｍを、Ｍ×Ｎ個に分割する。この結果、Ｍ×Ｎ個の分割画像ＤＩが作成される。図８に示すように、Ｍ×Ｎ個の分割画像ＤＩは、欠陥の少なくとも一部を含むＫ個の分割画像と、欠陥を含まない（Ｍ×Ｎ－Ｋ）個の分割画像とに分かれる。また、分割画像ＤＩには、物品１２ｇを全く含まないものも存在する。図８では、画像Ｉｍを６×８の４８分割する例を示す。

【0058】

本実施形態では、分割画像作成部６２は、画像データＩｍを隣同士の境界が一部重複するように分割することが好ましい。図９（ａ）に示すように、縦方向と横方向ともに両隣に他の分割画像が位置する分割画像ＤＩｏについては、分割画像作成部６２は、縦方向と横方向ともに両側に重複量ΔＬずつ広げる。

【0059】

また、画像データＩｍの外周に沿う位置にある分割画像ＤＩについては、縦方向と横方向との少なくとも一方の外側には隣の分割画像が存在しない。隣の分割画像が存在しない方向については、分割画像ＤＩｏを隣に分割画像が存在する側に重複量ΔＬの２倍の長さ分広げる。例えば、図９（ｂ）に示すように、画像データＩｍの左上の隅部の分割画像ＤＩｏは、下方向と右方向にしか隣の分割画像が存在しない。このため、分割画像作成部６２は、図９（ｂ）における分割画像ＤＩｏを下方向と右方向に重複量ΔＬの２倍の長さ分広げる。こうして画像Ｉｍは、隣の分割画像ＤＩと一部重複するように複数の同一サイズの分割画像ＤＩに分割される。

【0060】

複数のフォルダＦ１～Ｆ３中の全ての画像ＩｍをＭ×Ｎ個の分割画像ＤＩに分割し終えると、次にラベル設定部６３は、分割画像ＤＩに正解ラベル（以下、単に「ラベル」という。）を付与する。つまり、ラベル設定部６３は、分割画像ＤＩとラベルとを関連付けたセットデータを作成する。

【0061】

図１０（ａ）に示すように、ラベルの設定は、不良品の画像ＩｍＤからの分割画像ＤＩについては、アルファチャンネルＤＩα（以下、「αチャンネルＤＩα」とも記す。）が付加された分割画像ＤＩを用いて行う。分割画像作成部６２は、良品の分割画像ＤＩについては、その元画像が属するフォルダＦ１の名称「ＯＫ」をラベルに設定する。なお、不良品の画像ＩｍＤからの分割画像ＤＩは、ＲチャンネルＤＩＲ、ＧチャンネルＤＩＧ、ＢチャンネルＤＩＢおよびαチャンネルＤＩαより構成される。

【0062】

元画像が２つの不良品フォルダＦ２，Ｆ３のいずれかに属する分割画像ＤＩについては、図１０（ａ）に示すように、分割画像ＤＩのαチャンネルＤＩαに欠陥を示す第２画素値Ｐ２があれば、元画像が属するフォルダＦ２又はＦ３の名称「ＮＧ１」又は「ＮＧ２」をラベルに設定する。第２画素値Ｐ２がない分割画像ＤＩについては元画像が属するフォルダＦ２又はＦ３に関係なく「ＯＫ」をラベルに設定する。

【0063】

全ての分割画像ＤＩにラベルを設定し終わると、図１０（ｂ）に示すように、ラベル設定部６３は、ラベル設定後の分割画像ＤＩからラベルと共にＲＧＢ画像を取り出す。つまり、分割画像ＤＩからαチャンネルＤＩαを取り除き、教師データとしてのラベル付き分割画像データＤＩｍ（以下、「教師データＤＩｍ」ともいう。）を取得する。続いて、ラベル付き分割画像データＤＩｍを受け取った学習部６４は、図１０（ｃ）に示すように、ラベル付き分割画像データＤＩｍのうちのラベルを除く分割画像データを配列データに変換する。配列データは、分割画像ＤＩの全画素の画素値を所定の順番に配列したデータである。

【0064】

図１１に示すように、ディープラーニング部５３は、識別器６６を備える。学習が行われるときは、識別器６６は、学習完了前（未学習又は転移学習前を含む）の状態にある。学習部６４が識別器６６に教師データを与えて教師あり学習をした結果、所望の正解率が得られると、識別器６６は学習済みになる。つまり、学習部６４は、学習完了前の識別器６６に教師あり学習をさせることで、学習済みの識別器６６を生成する。以下では、学習の前後を特に区別せず識別器６６の構成を説明する。

【0065】

識別器６６は、ニューラルネットワークのモデルを有する。例えば畳み込みニューラルネットワーク等が採用される。識別器６６は、入力層８１と、中間層８２（隠れ層）と、出力層８３とを有する。入力層８１は、複数のパーセプトロンを有する。図１１に示す例では、ｘ１，…，ｘｋ，…ｘｎの計ｎ個のパーセプトロンを有する。例えば分割画像ＤＩが５０×５０画素の計２５００個の画素よりなる画像データとすると、１画素につきＲ値、Ｇ値、Ｂ値の３つの画素値を有するので、配列データは、７５００個の画素値データの配列よりなる。この例では、入力層８１は、７５００個のパーセプトロンｘ１～ｘｎ（但し、ｎ＝７５００）を有する。中間層８２は、複数のパーセプトロンで構成される複数層よりなる。出力層８３は、出力結果を出力する、正解ラベルと同数のパーセプトロンを有する。

【0066】

ここで、画像を分割する場合の適合率（Precision）は、以下で与えられる。全体の画像Ｉｍのうち、欠陥Ｄｇの画素数をＴＰ（true positive）とし、欠陥でない画素数をＦＰ（false positive）とすると、適合率Ｐrec１は、Ｐrec１＝ＴＰ／（ＴＰ＋ＦＰ）で表される。画像Ｉｍを、Ｍ×Ｎ分割し、そのうちの１つの分割画像に欠陥が全て含まれているとした場合、適合率Ｐrec２は、ＴＰ／（ＴＰ＋（ＦＰ／（Ｍ×Ｎ）））で表される。つまり、適合率Ｐrec２は、Ｐrec２≒（Ｍ×Ｎ）・Ｐrec１で示される。これにより、画像Ｉｍを（Ｎ×Ｍ）分割したラベル付き分割画像データＤＩｍを教師データとして用いることで、適合率はおおよそ（Ｍ×Ｎ）倍に高まる。そして、適合率の高い分割画像データＤＩｍを用いて教師有り学習を行うことで、高い正解率の識別器６６を生成できる。

【0067】

次に、検査装置３０の作用について説明する。まず、図１２を参照してコンピュータ３２がプログラムを実行して行う欠陥位置登録処理について説明する。この処理は、教師データ作成部５２の欠陥位置登録部６１が行う。例えば、作業者は、コンピュータ３２内のラベル付き画像データ作成用のアプリケーションソフトを起動させる。作業者は、このアプリケーションソフト上で、入力装置３４を操作してラベル付き画像データを作成するための元画像が格納されたフォルダを指定する。つまり、作業者は、コンピュータ３２に表示させるＮＧ画像Ｉｍｄが格納された不良品フォルダＦ２，Ｆ３を指定する。なお、作業者が、入力装置３４を構成するマウスの操作でフォルダを開き、コンピュータ３２に表示させるＮＧ画像Ｉｍｄを個々に選択してもよい。

【0068】

まず、ステップＳ１１では、コンピュータ３２は、不良品フォルダからＮＧ画像を読み込んで表示する。すなわち、コンピュータ３２は、補助メモリ４３に記憶された複数のフォルダＦ１～Ｆ３のうち指定された不良品フォルダＦ２，Ｆ３から１つ目のＮＧ画像Ｉｍｄを読み込んで表示部３５に表示する。

【0069】

作業者は、表示部３５の画面に表示されたメッセージに従って、表示部３５に表示されたＮＧ画像Ｉｍｄに対して、マウス又は電子ペン等のポインティングデバイスを用いて、欠陥Ｄｇをその輪郭に沿って囲み線ＥＬで囲むことで、欠陥領域ＤＡを指定する。

【0070】

ステップＳ１２では、コンピュータ３２は、欠陥領域ＤＡが指定されたか否かを判断する。作業者が、ポインティングデバイスを操作して囲み線ＥＬの始点と終点とが繋がり、囲まれた領域が確定すると、欠陥領域ＤＡが指定されたものと判断する。欠陥領域ＤＡが指定されると、コンピュータ３２は、図６（ｂ）にハッチングで示す指定された領域を所定色で塗り潰すなど指定された領域を作業者に視覚的に知らせる。

【0071】

ステップＳ１３では、コンピュータ３２は、ＮＧ画像ＩｍｄにアルファチャンネルＩｍαを付加する。すなわち、コンピュータ３２は、ＮＧ画像Ｉｍｄを構成するＲＧＢの３つの色表現チャンネルに他のチャンネルを付加する。本実施形態では、他のチャンネルは、画像の不透明度を画素値で表す補助チャンネルとしてのアルファチャンネルＩｍαである。このため、図７に示すように、アルファチャンネル付きの画像ＩｍＤは、ＲチャンネルＩｍＲ、ＧチャンネルＩｍＧ、ＢチャンネルＩｍＢ、及びアルファチャンネルＩｍαの４つのチャンネルで構成される。なお、本実施形態では、このステップＳ１３の処理が、検査対象が撮像された画像に対して当該画像を構成する１つ又は複数のチャンネル以外に他のチャンネルを付加する「チャンネル付加ステップ」の一例に相当する。

【0072】

ステップＳ１４では、コンピュータ３２は、欠陥領域ＤＡをアルファチャンネルＩｍαに登録する。すなわち、コンピュータ３２は、アルファチャンネルＩｍαにおける欠陥領域ＤＡと対応する領域Ｄαに、欠陥を示す画素値として、当該領域以外の欠陥のない領域に付与される第１画素値Ｐ１と異なる第２画素値Ｐ２を付与する。図７に示す例では、コンピュータ３２は、αチャンネルＩｍαにおける欠陥領域ＤＡと対応する領域Ｄα、つまりαチャンネルＩｍα上の欠陥領域Ｄαには、図７では黒色で示す第２画素値Ｐ２を登録し、αチャンネルＩｍαにおける欠陥のない領域には、図７では白色で示す第１画素値Ｐ１を付与する。第１画素値Ｐ１は、例えばαチャンネルＩｍαの初期値であり、不透明度１００％の値などが設定され、第２画素値Ｐ２として不透明度１００％の値以外の値が登録される。なお、第１画素値と第２画素値が異なる値であれば足り、それぞれが異なる値である限り任意の画素値を設定できる。例えば、画像の画素値が２５６階調であれば、第１画素値が「２５５」、第２画素値が「０」でもよいし、この逆でもよい。本実施形態では、このステップＳ１４の処理が、他のチャンネルにおける画像中の欠陥領域に対応する領域に、欠陥を示す画素値として欠陥のない他の領域に付与される第１画素値と異なる第２画素値を付与する「画素値付与ステップ」の一例に相当する。

【0073】

ステップＳ１５では、アルファチャンネル付きの画像ＩｍＤをメモリ４３に保存する。このため、メモリ４３には、アルファチャンネルＩｍαにおける欠陥領域ＤＡと対応する領域Ｄαに第２画素値Ｐ２が付与されたアルファチャンネル付きのＮＧ画像ＩｍＤが記憶される。

【0074】

ステップＳ１６では、コンピュータ３２は、全ての画像を処理したか否かを判断する。全ての画像を処理していなければ、ステップＳ１１に戻り、次のＮＧ画像Ｉｍｄについて同様にステップＳ１１～Ｓ１５の処理を繰り返す。本例では、不良品フォルダＦ２，Ｆ３内の全てのＮＧ画像ＩｍｄについてステップＳ１１～Ｓ１５の処理を終えると、ステップＳ１６で肯定判定となり、当該欠陥位置登録処理を終了する。こうしてメモリ４３には、欠陥の種別ごとのアルファチャンネル付きのＮＧ画像ＩｍＤが、対応するフォルダＦ２，Ｆ３に格納された状態で記憶される。

【0075】

次に、図１３を参照して分割画像作成処理について説明する。図１２に示す欠陥位置登録処理を終えると、コンピュータ３２は、図１３に示される分割画像作成ルーチンを実行する。この分割画像作成処理は、分割画像作成部６２とラベル設定部６３とが行う。作業者は、アプリケーションソフトが表示部３５に表示した設定画面の分割数入力欄に、マウス等の操作で予め所望の分割数Ｍ×Ｎを入力指定している。

【0076】

まずステップＳ２１では、コンピュータ３２は、フォルダＦ１～Ｆ３から画像を読み込む。コンピュータ３２は、まず１つ目の画像Ｉｍを読み込む。
ステップＳ２２では、コンピュータ３２は、画像Ｉｍを指定の分割数で分割する。図８に示すように、画像Ｉｍは、指定のＭ×Ｎ個の分割画像ＤＩに分割される。このとき、図９（ａ），（ｂ）に示すように、隣の分割画像ＤＩと重複量ΔＬ又は２・ΔＬだけ重複するように同一サイズのＭ×Ｎ個の分割画像ＤＩに分割される。コンピュータ３２は、以下のステップＳ２３～Ｓ２７の処理で、各分割画像ＤＩにラベルを設定する。なお、本実施形態では、このステップＳ２２の処理が、画像を他のチャンネルごと複数の分割画像に分割する「分割ステップ」の一例に相当する。

【0077】

ステップＳ２３では、コンピュータ３２は、分割画像ＤＩがＯＫ画像以外か否かを判断する。ここで、ＯＫ画像とは、フォルダ名が「ＯＫ」のフォルダＦ１に格納されたＯＫ画像から分割された分割画像ＤＩを指す。つまり、分割画像ＤＩの元画像が属するフォルダの名称が「ＯＫ」であれば、その分割画像ＤＩはＯＫ画像である。コンピュータ３２は、分割画像ＤＩがＯＫ画像以外であれば、ステップＳ２４に進み、分割画像がＯＫ画像以外でなければ、つまりＯＫ画像であればステップＳ２６に進む。

【0078】

ステップＳ２６では、コンピュータ３２が、分割画像ＤＩのラベルに、元画像が属するフォルダの名称を設定する。例えば、ステップＳ２３でＯＫ画像であると判断された分割画像ＤＩには、そのラベルに、元画像が属するフォルダＦ１の名称である「ＯＫ」を設定する。

【0079】

ステップＳ２４では、コンピュータ３２は、分割画像ＤＩはαチャンネル付きであるか否かを判断する。つまり、作業者が欠陥位置登録を行ったαチャンネル付きのＮＧ画像ＩｍＤから分割された分割画像ＤＩであって、αチャンネルＤＩαを有するか否かを判断する。コンピュータ３２は、分割画像ＤＩがαチャンネル付きであればステップＳ２５に進み、αチャンネル付きでなければステップＳ２６に進む。αチャンネル付きでない分割画像ＤＩとは、例えば、分割画像ＤＩの元画像が不良品フォルダＦ２，Ｆ３に属するものの、欠陥位置登録が未登録である分割画像ＤＩである。作業者が欠陥領域ＤＡの指定を行わなかった画像が仮に混在していても、その分割画像ＤＩについては、そのラベルに、その元画像が属するフォルダの名称である「ＮＧ１」又は「ＮＧ２」を設定する。

【0080】

ステップＳ２５では、コンピュータ３２は、分割画像ＤＩに欠陥領域ＤＡがあるか否かを判断する。コンピュータ３２は、分割画像ＤＩのαチャンネルＤＩαに欠陥を示す第２画素値Ｐ２の画素が存在すれば、欠陥領域ＤＡがあると判断する。また、コンピュータ３２は、分割画像ＤＩのαチャンネルＤＩαに第２画素値Ｐ２の画素が存在しなければ、欠陥領域ＤＡがないと判断する。分割画像ＤＩに欠陥領域ＤＡがあればステップＳ２６に進み、分割画像ＤＩに欠陥領域ＤＡがなければステップＳ２７に進む。

【0081】

分割画像ＤＩに欠陥領域ＤＡがあれば、ステップＳ２６において、コンピュータ３２は、分割画像ＤＩのラベルに、その元画像であるＮＧ画像ＩｍＤが属する不良品フォルダＦ２，Ｆ３の名称である「ＮＧ１」又は「ＮＧ２」を設定する。

【0082】

ステップＳ２７では、コンピュータ３２は、分割画像ＤＩのラベルに「ＯＫ」を設定する。すなわち、ＯＫ画像以外（つまりＮＧ画像）で、かつαチャンネル付きであっても、欠陥領域ＤＡのない分割画像ＤＩについては、そのラベルに「ＯＫ」を設定する。なお、本実施形態では、ステップＳ２５（肯定判定）及びＳ２６の処理が、複数の分割画像ＤＩのうち、分割画像ＤＩにおける他のチャンネルが欠陥を示す第２画素値Ｐ２を含む分割画像ＤＩには不良ラベルを付与する処理に相当する。また、ステップＳ２５（否定判定）及びＳ２７の処理が、分割画像ＤＩにおける他のチャンネルが欠陥を示す第２画素値Ｐ２を含まない分割画像ＤＩには良品ラベルを付与する処理に相当する。これゆえ、ステップＳ２５～Ｓ２７の処理が、「ラベル付与ステップ」の一例に相当する。

【0083】

ステップＳ２８では、コンピュータ３２は、分割画像ＤＩをＲＧＢ画像としてメモリ４３に保存する。このとき、コンピュータ３２は、分割画像ＤＩがαチャンネル付きであれば、ラベル付きの分割画像ＤＩからαチャンネルＤＩαを除去し、ラベル付きのＲＧＢ画像よりなるラベル付き分割画像データＤＩｍを、教師データとして、メモリ４３に保存する。また、コンピュータ３２は、分割画像ＤＩがαチャンネルなしであれば、そのままラベル付きのＲＧＢ画像よりなるラベル付き分割画像データＤＩｍとして、メモリ４３に保存する。なお、本実施形態では、このステップＳ２８の処理が、分割画像ＤＩから他のチャンネルを除去する「チャンネル除去ステップ」の一例に相当する。

【0084】

ステップＳ２９では、コンピュータ３２は、分割画像ＤＩを全て処理したか否かを判断する。未処理の分割画像ＤＩがあれば、ステップＳ２３に戻り、次の分割画像ＤＩについて、ステップＳ２３～Ｓ２８の処理を行って、次の分割画像ＤＩにラベルを設定する。そして、全ての分割画像ＤＩについて、ステップＳ２３～Ｓ２８の処理を行って、全ての分割画像ＤＩにラベルを設定し終わると（Ｓ２９で肯定判定）、ステップＳ３０に進む。

【0085】

ステップＳ３０では、コンピュータ３２は、全ての画像Ｉｍを処理したか否かを判断する。未処理の画像Ｉｍがあれば、ステップＳ２１に戻り、次の画像Ｉｍについて、ステップＳ２１～Ｓ２９の処理を行って、次の画像Ｉｍを分割した全ての分割画像ＤＩにラベルを設定する。そして、全ての画像Ｉｍについて、ステップＳ２１～Ｓ２９の処理を行って、全ての画像Ｉｍの分割と分割した全ての分割画像ＤＩにラベルを設定し終わると（Ｓ３０で肯定判定）、当該分割画像作成ルーチンを終了する。こうして教師データとしてのラベル付き分割画像データＤＩｍが全て作成され、メモリ４３に保存される。例えばフォルダＦ１～Ｆ３に合計１００枚の画像データＩｍがあれば、分割数がＭ×Ｎ＝４８の場合、各画像Ｉｍが４８分割され、教師データとして４８００枚のラベル付き分割画像データＤＩｍが作成される。

【0086】

この後、学習部６４は、ラベル付き分割画像データＤＩｍを教師データとして教師あり学習を行う。学習部６４は、ラベル付き分割画像データＤＩｍのうちラベル以外のＲＧＢ画像を、図１０（ｃ）に示すように、画素値の配列よりなる配列データに変換する。そして、学習部６４は、配列データを正規化し、その正規化配列データを、図１１に示すように、学習完了前の識別器６６の入力層８１に入力する。正規化配列データは、入力層８１の各パーセプトロンｘ１～ｘｎに入力される。

【0087】

識別器６６の入力層８１には、例えば４８００枚の教師データＤＩｍのＲＧＢ画像の正規化配列データが順次入力される。識別器６６は、入力層８１に入力される正規化配列データに基づいて、入力層８１、２～１５０層の中間層８２および出力層８３を含むニューラルネットワークを介して学習処理する。学習処理では、出力値と正解ラベルとの誤差を各層に逆伝播させて正解値に近付くように各層の重みを調整する誤差逆伝播法等が行われ、重みＷ１，Ｗ２等の最適なパラメータが決定される。

【0088】

画像Ｉｍを分割した分割画像ＤＩにラベルが付された教師データＤＩｍを用いることで、学習後に得られる識別器６６に高い正解率を期待できる。また、所望の正解率が得られなかった場合、作業者が分割数を変更して教師データＤＩｍを作成し直す。この場合、ＮＧ画像ＩｍＤには、最初に付加したアルファチャンネルＩｍαおよび欠陥領域ＤＡに付与した第２画素値Ｐ２が残っている。このため、分割画像作成部６２が、作業者が再指定した分割数で画像Ｉｍを再分割しても、ラベル設定部６３は、再分割した分割画像ＤＩのアルファチャンネルＤＩαの第２画素値Ｐ２の有無に応じて適切なラベルを、分割画像ＤＩに設定できる。したがって、作業者は、欠陥領域ＤＡを指定する作業を画像Ｉｍｄに一度行えば足り、再分割時はこの種の作業が不要である。よって、画像Ｉｍを分割した分割画像ＤＩの個々にラベルを設定して作成する教師データＤＩｍの作成負担が軽く済み、その分、学習コストを低く抑えることができる。なお、１００枚の画像ＩｍのうちＮＧ画像Ｉｍｄが数枚の例で説明したが、実際に所望の正解率を得るために識別器６６の学習に必要な画像Ｉｍの枚数は膨大であり、ＮＧ画像Ｉｍｄに欠陥領域ＤＡを指定する作業が一度で済むことは、大きな作成負担の軽減となる。

【0089】

検査方法は、識別器生成ステップと、分割画像取得ステップと、判定ステップとを備える。識別器生成ステップでは、学習部６４が、ラベルが付与されたラベル付き分割画像データＤＩｍを教師データとして教師ありの機械学習を行って識別器６６を生成する。分割画像取得ステップでは、画像分割部６８が、物品１２が撮像された画像Ｉｍを、識別器６６の生成に用いた教師データＤＩｍを作成したときの分割画像ＤＩの分割数と同じ分割数で分割して複数の分割画像ＤＩを取得する。判定ステップでは、判定部６９が、分割画像ＤＩを識別器６６に入力して識別器６６から識別結果として出力された出力値に基づき物品１２の欠陥の有無を判定する。特に、判定部６９は、物品１２が良品であるか不良品であるかを判定し、不良品と判定された物品１２は、コンピュータ３２の指示で不良排出処理部３７を介して駆動される排出装置２３によりコンベヤ２１上から排除される。なお、検査で物品１２を不良品と判定した場合、表示部３５には不良品である旨、および識別器の識別結果に基づく欠陥の種別が表示される。

【0090】

以上詳述したように、この実施形態によれば、以下の効果が得られる。
（１）本実施形態のラベル付き画像データ作成方法は、撮像された画像Ｉｍ中の検査対象の欠陥Ｄｇの有無を検査する検査に使用される識別器６６を生成するために学習完了前の識別器６６に教師ありの機械学習を行わせる教師データとして用いられるラベル付き分割画像データＤＩｍを作成する。このラベル付き画像データ作成方法は、チャンネル付加ステップ（ステップＳ１３）と、画素値付与ステップ（ステップＳ１４）と、分割ステップ（ステップＳ２２）と、ラベル付与ステップ（ステップＳ２５～Ｓ２７）と、チャンネル除去ステップ（ステップＳ２８）とを備える。チャンネル付加ステップ（Ｓ１３）では、検査対象が撮像された画像Ｉｍに対して画像Ｉｍを構成する複数の色表現チャンネルＩｍＲ，ＩｍＧ，ＩｍＢ以外に、他のチャンネルとしてアルファチャンネルＩｍαを付加する。画素値付与ステップ（Ｓ１４）では、アルファチャンネルＩｍαにおける画像Ｉｍ中の欠陥領域ＤＡに対応する領域Ｄαに、欠陥を示す画素値として欠陥のない他の領域に付与される第１画素値Ｐ１と異なる第２画素値Ｐ２を付与する。分割ステップ（Ｓ２２）では、画像ＩｍＤをアルファチャンネルＩｍαごと複数の分割画像ＤＩに分割する。ラベル付与ステップ（Ｓ２５～Ｓ２７）では、複数の分割画像ＤＩのうち、分割画像ＤＩにおけるアルファチャンネルＤＩαが第２画素値Ｐ２を含む分割画像ＤＩには不良ラベル（「ＮＧ１」又は「ＮＧ２」のラベル）を付与し、分割画像ＤＩにおけるアルファチャンネルＤＩαが第２画素値Ｐ２を含まない分割画像ＤＩには良ラベル（「ＯＫ」のラベル）を付与する。チャンネル除去ステップ（Ｓ２８）では、分割画像ＤＩからアルファチャンネルＤＩαを除去してラベル付き分割画像データＤＩｍを作成する。よって、教師データとしてのラベル付き分割画像データＤＩｍを、撮像された画像Ｉｍを分割して作成しても、作成負担を軽減して学習コストを低く抑えることができる。例えば、画像Ｉｍの分割数を変更してラベル付き分割画像データＤＩｍを作成し直す場合も、作業者が画像Ｉｍの欠陥領域ＤＡを指定する作業を分割数変更の度にやり直す必要がなく、作業負担が減り、学習コストを低く抑えることができる。また、画像Ｉｍを分割してラベル付き分割画像データＤＩｍを作成するので、分割しない場合に比べ適合率を高められる。そして、適合率の高いラベル付き分割画像データＤＩｍを用いて教師あり学習を行うので、正解率の高い識別器６６を生成できる。したがって、正解率の高い識別器６６を用いたディープラーニングによって、物品１２の欠陥の有無を高い精度で検査できる。

【0091】

（２）分割ステップ（Ｓ２２）では、アルファチャンネルＩｍαが付加された画像ＩｍＤを、隣同士の分割画像ＤＩが一部重複する複数の分割画像ＤＩに分割する。このため、欠陥Ｄｇが複数の分割画像ＤＩに跨がっても、欠陥Ｄｇが分断される頻度を低減できる。よって、ラベル付き分割画像データＤＩｍを用いて学習した際に高い正解率が得られ易い。

【0092】

（３）他のチャンネルとして、アルファチャンネルＩｍαを用いた。よって、画像の不透明度を設定するアルファチャンネルＩｍαを利用することで、カメラ３１が撮像した画像Ｉｍの色表現チャンネルに影響を与えず比較的簡単に欠陥領域ＤＡに相当する領域Ｄαに欠陥を示す第２画素値Ｐ２を付与できる。

【0093】

（４）ラベル付き分割画像データＤＩｍを教師データとして教師ありの機械学習を行って生成された識別器６６にテストデータを入力したときの出力に所定値以上の正解率が得られない場合は、分割ステップ（Ｓ２２）における分割数を変更する。よって、所定値以上の正解率が得られず、分割ステップ（Ｓ２２）における分割数を変更してラベル付き分割画像データＤＩｍを作成し直す場合、画像には既にアルファチャンネルＩｍα及び欠陥を示す第２画素値Ｐ２が付与されている。よって、画像Ｉｍの分割数を変更してラベル付き分割画像データＤＩｍを作成し直す際は、アルファチャンネルＩｍαに第２画素値Ｐ２を付与する領域Ｄαを指定するために作業者が入力装置３４を操作して欠陥領域ＤＡを指定する作業が不要になる。

【0094】

（５）検査方法は、識別器生成ステップと、分割画像取得ステップと、判定ステップとを備える。識別器生成ステップでは、ラベルが付与されたラベル付き分割画像データＤＩｍを教師データとして教師ありの機械学習を行って識別器６６を生成する。分割画像取得ステップでは、検査対象が撮像された画像Ｉｍを、識別器６６の生成に用いた教師データを作成したときの分割画像ＤＩの分割数と同じ分割数で分割して複数の分割画像ＤＩを取得する。判定ステップでは、分割画像ＤＩを識別器６６に入力して識別器６６から識別結果として出力された出力値に基づき物品１２の良不良を判定する。よって、学習完了前の識別器６６に教師あり学習をさせるために教師データとして与えるラベル付き分割画像データＤＩｍの作成負担を軽減できるので、低い学習コストで、物品１２の良不良を検査できる。

【0095】

（６）機械学習は、ディープラーニングである。よって、物品１２の良不良をディープラーニングによって低い学習コストでかつ精度よく検査することができる。
（７）プログラムＰｒは、撮像された画像Ｉｍ中の物品１２ｇの欠陥の有無を検査する検査に使用される識別器６６を生成するために学習完了前の識別器６６に教師ありの機械学習を行わせる教師データとして用いられるラベル付き分割画像データＤＩｍをコンピュータ３２が作成するために実行される。コンピュータ３２は、プログラムＰｒに含まれる、チャンネル付加ステップ（Ｓ１３）、画素値付与ステップ（Ｓ１４）、分割ステップ（Ｓ２２）、ラベル付与ステップ（Ｓ２５～Ｓ２７）、及びチャンネル除去ステップ（Ｓ２８）を、順次に実行する。チャンネル付加ステップ（Ｓ１３）では、コンピュータ３２が、検査対象が撮像された画像Ｉｍに対して当該画像Ｉｍを構成する複数の色表現チャンネル以外に、他のチャンネルとしてアルファチャンネルＩｍαを付加する。画素値付与ステップ（Ｓ１４）では、コンピュータ３２が、アルファチャンネルＩｍαにおける画像中の欠陥領域ＤＡに対応する領域Ｄαに、欠陥を示す画素値として欠陥のない他の領域に付与される第１画素値Ｐ１と異なる第２画素値Ｐ２を付与する。分割ステップ（Ｓ２２）では、コンピュータ３２が、画像ＩｍＤをアルファチャンネルＩｍαごと複数の分割画像ＤＩに分割する。ラベル付与ステップ（Ｓ２５～Ｓ２７）では、コンピュータ３２が、複数の分割画像ＤＩのうち、分割画像におけるアルファチャンネルＩｍαが第２画素値Ｐ２を含む分割画像ＤＩには不良ラベル（「ＮＧ１」又は「ＮＧ２」のラベル）を付与し、分割画像ＤＩにおけるアルファチャンネルＩｍαが第２画素値Ｐ２を含まない分割画像ＤＩには良ラベルを付与する。チャンネル除去ステップ（Ｓ２８）では、コンピュータ３２が、分割画像ＤＩからアルファチャンネルＩｍαを除去してラベル付き分割画像データＤＩｍを作成する。

【0096】

このプログラムＰｒをコンピュータ３２に実行させることで、教師ありの機械学習に教師データとして用いるラベル付き分割画像データＤＩｍを、撮像された画像Ｉｍを分割して作成しても、作成負担を軽減して学習コストを低く抑えることができる。例えば、画像Ｉｍの分割数を変更してラベル付き分割画像データＤＩｍを作成し直す場合も、作業者が画像Ｉｍの欠陥領域ＤＡを指定する作業を、分割数変更の度にやり直す作業負担が減り、学習コストを低く抑えることができる。

【0097】

（８）ラベル付き画像データ作成装置の一例としての教師データ作成部５２は、撮像された画像中の検査対象の欠陥の有無を検査する検査に使用される識別器６６を生成するために学習完了前の識別器６６に教師ありの機械学習を行わせる教師データとして用いられるラベル付き分割画像データＤＩｍを作成する。教師データ作成部５２は、チャンネル付加部６１Ａ、画素値付与部６１Ｂ、分割画像作成部６２、及びラベル設定部６３を備える。チャンネル付加部６１Ａは、検査対象が撮像された画像Ｉｍに対して当該画像Ｉｍを構成する１つ又は複数のチャンネル以外に他のチャンネルとしてアルファチャンネルＩｍαを付加する。画素値付与部６１Ｂは、アルファチャンネルＩｍαにおける画像Ｉｍ中の欠陥領域ＤＡに対応する領域Ｄαに、欠陥を示す画素値として欠陥のない他の領域に付与される第１画素値Ｐ１と異なる第２画素値Ｐ２を付与する。分割画像作成部６２は、画像ＩｍをアルファチャンネルＩｍαごと複数の分割画像ＤＩに分割する。ラベル設定部６３は、複数の分割画像ＤＩのうち、分割画像ＤＩにおけるアルファチャンネルＤＩαが第２画素値Ｐ２を含む分割画像ＤＩには不良ラベル（「ＮＧ１」又は「ＮＧ２」ラベル）を付与し、分割画像ＤＩにおけるアルファチャンネルＤＩαが第２画素値Ｐ２を含まない分割画像ＤＩには良ラベル（「ＯＫ」ラベル）を付与する。さらに、ラベル付与後に分割画像ＤＩからアルファチャンネルＤＩαを除去してラベル付き分割画像データＤＩｍを作成する。よって、この教師データ作成部５２は、教師あり学習に教師データとして用いるラベル付き分割画像データＤＩｍを、撮像された画像Ｉｍを分割して作成しても、元画像の段階で欠陥領域ＤＡを指定する作業を一度しておけば、分割した個々の分割画像ＤＩに適切なラベルを付与することができる。例えば、学習の結果、識別器６６に所望の正解率が得られない場合、画像Ｉｍの分割数を変更してラベル付き分割画像データＤＩｍを作成し直す。この場合、画像Ｉｍに対するアルファチャンネルＩｍαの付加と欠陥領域ＤＡに対応する領域Ｄαへの第２画素値Ｐ２の付与は既に終わっているので、作業者は、変更する分割数を指定し、コンピュータ３２による画像ＩｍＤの分割処理から始めればよい。つまり、作業者が画像Ｉｍの欠陥領域ＤＡを指定する作業を分割数変更の度にやり直す必要がない。よって、ラベル付き分割画像データＤＩｍの作成負担を軽減して、学習コストを低く抑えることができる。

【0098】

（９）検査装置３０は、検査対象の物品１２が撮像された画像Ｉｍに基づいて物品１２の欠陥の有無を検査する。検査装置３０は、教師データ作成部５２、識別器６６、画像分割部６８、及び判定部６９を備える。識別器６６は、教師データ作成部５２が作成したラベル付き分割画像データＤＩｍを教師データとして教師ありの機械学習を行って生成される。画像分割部６８は、検査対象の物品１２が撮像された画像Ｉｍを、識別器６６の生成に用いたラベル付き分割画像データＤＩｍを作成したときの分割画像ＤＩの分割数と同じ分割数で分割して複数の分割画像ＤＩを取得する。識別器６６は、画像分割部６８が取得した分割画像ＤＩを入力し、識別結果を出力する。判定部６９は、識別器６６からの識別結果に基づき物品１２の良不良を判定する。この検査装置３０によれば、学習完了前の識別器６６に学習させるラベル付き分割画像データＤＩｍの作成負担を軽減できるので、低い学習コストで物品１２の良不良を検査できる。

【0099】

（第２実施形態）
次に第２実施形態について図面を参照して説明する。第２実施形態では、アルファチャンネルにラベルの種類の情報も付与する点が前記第１実施形態と異なる。前記第１実施形態と同様の構成については説明を省略し、特に異なる構成についてのみ説明する。

【0100】

図１４に示すように、欠陥位置登録部６１の処理内容が、前記第１実施形態と一部異なる。欠陥位置登録部６１は、図１４（ａ），（ｂ）における左側に示す表示内容を表示部３５に表示する。フォルダ名が「ＮＧ１」の不良品フォルダＦ２に属するＮＧ画像を表示する場合、表示部３５に不良品の種類を指定する入力部７１，７２が表示される。図１４（ａ）に示す例では、入力部７１は「ＮＧ１」、入力部７２は「ＮＧ２」の種別を指定する。作業者は、マウス又は電子ペン等のポインティングデバイスを操作して、欠陥Ｄｓの輪郭に沿って囲み線ＥＬを描いて欠陥領域ＤＡを指定した後、その欠陥Ｄｓの種別に応じた入力部７１をマウス等で選択する。すると、チャンネル付加部６１Ａは、図１４（ａ）の右側に示すＮＧ画像Ｉｍ２にアルファチャンネルＩｍαを付加する。また、画素値付与部６１Ｂは、付加されたアルファチャンネルＩｍαにおける画像Ｉｍ中の欠陥領域ＤＡに対応する領域Ｄα１に、入力部７１で選択された欠陥の種別に応じた第２画素値Ｐ２１を付与する。

【0101】

また、図１４（ｂ）に示す例では、作業者は、マウス又は電子ペン等のポインティングデバイスを操作して、欠陥Ｄｌの輪郭に沿って囲み線ＥＬを描いて欠陥領域ＤＡを入力指定した後、その欠陥Ｄｌの種別に応じた入力部７２をマウス等で選択する。すると、欠陥位置登録部６１は、図１４（ｂ）の右側に示すＮＧ画像Ｉｍ３にアルファチャンネルＩｍαを付加すると共に、付加したアルファチャンネルＩｍαにおける画像Ｉｍ中の欠陥領域ＤＡに対応する領域Ｄα２に、入力部７２で選択された欠陥の種別に応じた第２画素値Ｐ２２を付与する。なお、図１４に示す例では、欠陥の種別を、欠陥のサイズに応じて分類したが、欠陥の種類に応じて分類してもよい。

【0102】

次に、第２実施形態の検査装置３０の作用を、図１５を参照して説明する。欠陥位置登録部６１の処理は、図１４に示すとおりであり、アルファチャンネルＩｍαには、欠陥領域ＤＡに対応する領域Ｄα１又はＤα２に、欠陥の種別に応じた値の第２画素値Ｐ２１又はＰ２２が設定されている。コンピュータ３２は、図１５に示す分割画像作成ルーチンを実行することで、分割画像作成部６２として機能する。以下、コンピュータ３２が実行する分割画像作成処理について説明する。

【0103】

図１５において、ステップＳ２３～Ｓ２７は、前記第１実施形態と同じ処理であり、ステップＳ３１の処理が前記第１実施形態と異なる。また、図１５では省略している、図１３におけるステップＳ２１，Ｓ２２，Ｓ２８～Ｓ３０の処理は、第１実施形態と同じである。コンピュータ３２は、フォルダＦ１～Ｆ３から読み込んだ１つ目の画像を表示する（Ｓ２１）。作業者は、表示部３５に表示された設定画面の分割数入力欄に予め所望の分割数Ｍ×Ｎを入力している。コンピュータ３２は、画像をＭ×Ｎ個の分割画像に分割する（Ｓ２２）。

【0104】

図１５に示すステップＳ２３では、コンピュータ３２は、分割画像ＤＩがＯＫ画像以外か否かを判断する。コンピュータ３２は、分割画像ＤＩがＯＫ画像以外であれば、ステップＳ２４に進み、分割画像ＤＩがＯＫ画像以外でなければ、つまりＯＫ画像であればステップＳ２６に進む。ステップＳ２６では、コンピュータ３２が、分割画像ＤＩのラベルに、元画像が属するフォルダの名称である「ＯＫ」を設定する。

【0105】

ステップＳ２４では、コンピュータ３２は、分割画像ＤＩはαチャンネル付きであるか否かを判断する。コンピュータ３２は、分割画像ＤＩがαチャンネル付きであればステップＳ２５に進み、αチャンネル付きでなければステップＳ２６に進む。ＯＫ画像以外かつαチャンネル付きでない分割画像ＤＩには、そのラベルに、その元画像が属するフォルダの名称「ＮＧ１」又は「ＮＧ２」を設定する。

【0106】

ステップＳ２５では、コンピュータ３２は、分割画像ＤＩに欠陥領域ＤＡがあるか否かを判断する。コンピュータ３２は、分割画像ＤＩのαチャンネルＤＩαに欠陥を示す第２画素値Ｐ２の画素が存在すれば欠陥領域ＤＡがあると判断し、第２画素値Ｐ２の画素が存在しなければ、欠陥領域ＤＡがないと判断する。分割画像ＤＩに欠陥領域ＤＡがあればステップＳ３１に進み、分割画像ＤＩに欠陥領域ＤＡがなければステップＳ２７に進む。

【0107】

ステップＳ３１では、コンピュータ３２は、アルファチャンネルＤＩαの欠陥領域Ｄαの第２画素値Ｐ２の値に応じたラベルを設定する。すなわち、コンピュータ３２は、アルファチャンネルＩｍαの欠陥領域Ｄαの第２画素値Ｐ２が、第１欠陥Ｄｓを示す第２画素値Ｐ２１であれば、第２画素値Ｐ２１に応じたラベル「ＮＧ１」を設定する。また、コンピュータ３２は、アルファチャンネルＩｍαの欠陥領域Ｄαの第２画素値Ｐ２が、第２欠陥Ｄｌを示す第２画素値Ｐ２２であれば、第２画素値Ｐ２２に応じたラベル「ＮＧ２」を設定する。

【0108】

ステップＳ２７では、コンピュータ３２は、分割画像ＤＩのラベルに「ＯＫ」を設定する。すなわち、ＯＫ画像以外（つまりＮＧ画像）で、かつαチャンネル付きであっても、欠陥領域ＤＡのない分割画像ＤＩについては、そのラベルに「ＯＫ」を設定する。

【0109】

画像Ｉｍを分割した分割画像ＤＩにラベルで分けられた複数種の欠陥が存在する場合に、分割画像ＤＩに欠陥の種別に応じた適切なラベルを設定できる。このため、学習後に得られる識別器６６に高い正解率を期待できる。また、所望の正解率が得られなかった場合、作業者が分割数を変更しても、最初に付加したαチャンネルＩｍαおよび欠陥領域Ｄα１，Ｄα２に付与した第２画素値Ｐ２１，Ｐ２２は残っているので、異なる分割数で画像を再分割しても、再分割した分割画像ＤＩに、αチャンネルＤＩαの第２画素値Ｐ２１，Ｐ２２の有無および第２画素値Ｐ２１，Ｐ２２の値に応じたラベルを自動で設定することができる。このため、作業者は、欠陥領域ＤＡを入力指定する作業を画像Ｉｍに対して一度行えば足り、再分割時はこの作業が不要である。よって、画像Ｉｍを分割して分割画像ＤＩの個々にラベルを設定してラベル付き分割画像データＤＩｍを作成する場合、その作成負担が軽く済み、その分、学習コストを低く抑えることができる。

【0110】

第２実施形態によれば、前記第１実施形態と同様の効果に加え、以下の効果を得ることができる。
（１０）欠陥Ｄには複数の種別がある。画素値付与ステップ（Ｓ１４）では、アルファチャンネルＩｍαに第２画素値Ｐ２を付与する場合、欠陥Ｄの種別に応じた異なる値の第２画素値Ｐ２１，Ｐ２２を付与する。ラベル付与ステップ（Ｓ２５～Ｓ２７）では、第２画素値Ｐ２を含む分割画像ＤＩに第２画素値Ｐ２１，Ｐ２２の値に応じた異なる不良ラベル（「ＮＧ１」又は「ＮＧ２」ラベル）を付与する。よって、欠陥Ｄの種別に応じた異なる不良ラベルを付与したラベル付き分割画像データＤＩｍを作成できる。

【0111】

実施形態は、上記に限定されず、以下の態様に変更してもよい。
・他のチャンネルの一例としての補助チャンネルであるアルファチャンネルの階調値は、２５６階調に限らず、６４階調、３２階調、１６階調、８階調、４階調、２階調でもよい。例えば、欠陥の種別に用いる第２画素値に、欠陥の種別以外の情報を組み合わせた値を設定してもよい。

【0112】

・欠陥Ｄｇのサイズと種類とを組合せ、同じサイズ範囲に属する欠陥でも、欠陥の種類が異なれば、互いに異なる第２画素値を設定してもよい。この構成によれば、欠陥を含む画像である場合、欠陥のサイズと欠陥の種類との組合せで決まる欠陥の種別を識別できる。

【0113】

・画像は、ＲＧＢ画像のようなカラー画像に限定されず、グレイスケール画像でもよい。つまり、カメラ３１が撮像して得られる画像のチャンネルは、１チャンネルでもよい。この場合、欠陥位置登録部６１は、グレイスケール画像に他のチャンネルとしてアルファチャンネルを付加し、付加したアルファチャンネルに欠陥領域に相当する領域に、欠陥のない領域に付与される第１画素値と異なる第２画素値を設定する。

【0114】

・正解ラベルを与える画像と与えない画像とが混在する半教師あり学習に適用してもよい。
・検査対象の物品１２の形状、サイズおよび品目は特に限定されない。物品１２は、例えば、ペットボトルや壜等の容器、食品、飲料物、電子部品、電化製品、日常用品、部品、部材、粉粒体又は液状等の原料などでもよい。物品１２は外観から欠陥を検査できるものであれば足りる。但し、検査装置３０が行う物品１２の検査は、物品１２の外観検査に限らず、例えば超音波又はＸ線を照射して撮像した画像を用いて物品１２の内部を非破壊で行う検査でもよい。

【0115】

・検査対象は、物品１２に限らず、建物の写真、航空撮影の地形写真、空の写真、天体写真、顕微鏡写真などを検査対象としてもよい。これらの写真を分割してラベル付き分割画像データを作成してもよい。

【0116】

・ラベル付き画像データの作成装置は、検査装置３０とは別の装置として構成してもよい。
・教師あり又は半教師ありの機械学習は、ディープラーニングに限定されない。例えば中間層が一層のニューラルネットワーク又はサポートベクトルマシン（ＳＶＭ）等の機械学習に適用してもよい。

【0117】

・ＧＰＵ（Graphics Processing Unit）を搭載したコンピュータ３２を用いてもよい。この場合、識別器６６を含むディープラーニング部５３はＧＰＵに実装することが好ましい。この場合、識別器データＣＤはＧＰＵメモリに記憶される。また、学習完了前の識別器６６に学習させる学習機能と、検査を行う検査機能とを分けて装置を構成してもよい。すなわち、学習完了前の識別器６６に学習させる学習機能を有するラベル付き画像データ作成装置と、ラベル付き画像データ作成装置が学習させた識別器６６を用いて物品を検査する検査装置とに分けてもよい。この場合、ラベル付き画像データ作成装置は、ＧＰＵを備え、ＧＰＵがディープラーニング部５３を備える。なお、検査装置は、追加学習を行うためにラベル付き画像データ作成装置を備えることが好ましい。この場合、検査装置は、追加学習を行うときの処理負担が小さいので、ＧＰＵを備えず、ＣＰＵがディープラーニング部５３を備える構成とすればよい。

【符号の説明】

【0118】

１１…検査システム、１２…検査対象の一例としての物品、２０…搬送装置、２１…コンベヤ、２２…センサ、２３…排出装置、３０…検査装置、３１…カメラ、３２…コンピュータ、３３…、３４…入力部、３５…表示部、３６…カメラトリガー処理部、３７…不良排出処理部、４１…ＣＰＵ、４２…メモリ、４３…補助メモリ、５１…制御部、５２…ラベル付き画像データ作成装置の一例としての教師データ作成部、５３…ディープラーニング部、５４…検査処理部、６１…欠陥位置登録部、６１Ａ…チャンネル付加部、６１Ｂ…画素値付与部、６２…分割部の一例としての分割画像作成部、６３…ラベル付与部の一例としてのラベル設定部、６４…学習部、６５…推論部、６６…識別器、６７…画像取得部、６８…分割画像取得部の一例としての画像分割部、６９…判定部、８１…入力層、８２…中間層、８３…出力層、Ｘ…搬送方向、Ｃ…コントローラ、Ｐｒ…プログラム、ＩＧ…画像データ群、ＴｒＤ…学習用データ群、Ｉｍ…画像データ（画像）、Ｉｍｄ…不良品の画像（ＮＧ画像）、Ｉｍα…他のチャンネルの一例としてのアルファチャンネル、ＩｍＤ…不良品の画像（ＮＧ画像）、Ｄ，Ｄｓ，Ｄｌ…欠陥、Ｄｇ…欠陥、ＤＡ…欠陥領域、Ｄα，Ｄα１，Ｄα２…領域（欠陥領域）、Ｐ１…第１画素値、Ｐ２…第２画素値、Ｐ２１…第２画素値、Ｐ２２…第２画素値、ＤＩ…分割画像（分割画像データ）、ＤＩα…アルファチャンネル、ΔＬ…重複量、ＴｓＤ…テスト用データ群、ＤＩｍ…ラベル付き画像データ及びテストデータの一例であり教師データとしてのラベル付き分割画像データ。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】