特許 7281041 種類判別システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-05-17

(45)【発行日】2023-05-25

(54)【発明の名称】種類判別システム

(51)【国際特許分類】

   G06T 7/00 20170101AFI20230518BHJP

   G06N 20/00 20190101ALI20230518BHJP

   G06N 3/02 20060101ALI20230518BHJP

【ＦＩ】

G06T7/00 610

G06T7/00 350B

G06N20/00

G06N3/02

【請求項の数】 3

(21)【出願番号】P 2018224021

(22)【出願日】2018-11-29

(65)【公開番号】P2020087211

(43)【公開日】2020-06-04

【審査請求日】2021-10-29

(73)【特許権者】

【識別番号】000006150

【氏名又は名称】京セラドキュメントソリューションズ株式会社

(74)【代理人】

【識別番号】110003443

【氏名又は名称】弁理士法人ＴＮＫアジア国際特許事務所

(74)【代理人】

【識別番号】100129997

【弁理士】

【氏名又は名称】田中 米藏

(72)【発明者】

【氏名】田中 一徳

【審査官】梅本 章子

(56)【参考文献】

【文献】特開２００４－３５４２５０（ＪＰ，Ａ）

【文献】特開平０７－３３３１７０（ＪＰ，Ａ）

【文献】特開２００７－３２８６４５（ＪＰ，Ａ）

【文献】特開２０１１－１３７８９５（ＪＰ，Ａ）

【文献】特開２０１７－２１１２５９（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ １／００

Ｇ０６Ｔ ７／００

Ｇ０６Ｎ ３／０２

Ｇ０６Ｎ ２０／００

(57)【特許請求の範囲】

【請求項1】

学習モデル生成装置と、前記学習モデル生成装置によって生成された第１学習モデル及び第２学習モデルを用いて、検査対象印刷物が有する欠陥画像の種類を判別する種類判別装置とを備える種類判別システムであって、
前記学習モデル生成装置は、
欠陥画像の種類毎に用意された、欠陥画像を有する学習用印刷物を含むデータセットを学習して、学習モデルを生成する学習モデル生成装置であって、
前記学習用印刷物の画像を読み取る第１画像読取部と、
前記第１画像読取部による読み取りで得られた前記学習用印刷物の画像を、予め定められた第１分割条件で分割する第１分割部と、
前記第１分割部による分割で得られた分割画像に対して学習を行い、欠陥画像の種類を推論するための第１学習モデルを生成する学習モデル生成部と、
前記第１画像読取部による読み取りで得られた前記学習用印刷物の画像を、予め定められた第１圧縮条件で圧縮する第１圧縮部と、を備え、
更に、前記第１分割部は、前記第１圧縮部が圧縮して得られた圧縮画像を、予め定められた第２分割条件で分割し、
前記学習モデル生成部は、前記第１圧縮部が圧縮して前記第１分割部が分割することによって得られた圧縮分割画像に対して学習を行い、欠陥画像の種類を推論するための第２学習モデルを生成し、
前記種類判別装置は、
前記検査対象印刷物の画像を読み取る第２画像読取部と、
前記第２画像読取部による読み取りで得られた前記検査対象印刷物の画像を、前記第１分割条件と同じ分割条件で分割する第２分割部と、
前記第１学習モデルを用いて、前記第２分割部による分割で得られた分割画像に対応する欠陥画像の種類及びその信頼度を推論する推論部と、
前記推論部による推論結果としての前記欠陥画像の種類及びその信頼度の中に、予め定められた第１閾値以上の信頼度のものが存在すると判断した場合に、当該推論結果を採用し、当該信頼度に対応する前記欠陥画像の種類を、検査対象印刷物が有する欠陥画像の種類として特定する特定部と、
前記特定部が、前記推論部から得た前記信頼度の中に、前記予め定められた第１閾値以上のものが存在しないと判断した場合に、前記検査対象印刷物の画像を、前記第１圧縮条件と同じ圧縮条件で圧縮する第２圧縮部と、を備え、
更に、前記第２分割部は、前記第２圧縮部が圧縮して得られた圧縮画像を、前記第２分割条件と同じ分割条件で分割し、
前記推論部は、前記第２学習モデルを用いて、前記第２圧縮部が圧縮して前記第２分割部が分割することによって得られた圧縮分割画像に対応する欠陥画像の種類及びその信頼度を推論し、
前記特定部は、前記推論部による前記第２学習モデルを用いた推論結果としての前記欠陥画像の種類及びその信頼度の中に、予め定められた第２閾値以上の信頼度のものが存在すると判断した場合に、当該推論結果を採用し、当該信頼度に対応する前記欠陥画像の種類を、検査対象印刷物が有する欠陥画像の種類として特定する、種類判別システム。

【請求項2】

前記特定部は、前記信頼度が前記第１閾値又は第２閾値以上である前記欠陥画像の種類が複数ある場合、前記欠陥画像を示した前記分割画像が前記検査対象印刷物内において一定の周期で出現する場合は、前記欠陥画像が筋状の汚れを示すと特定し、前記欠陥画像を示した前記分割画像が前記検査対象印刷物内の部分で集中して出現する場合は、前記欠陥画像が白点の汚れを示すと特定する請求項１に記載の種類判別システム。

【請求項3】

前記学習モデル生成装置では、
前記第１圧縮部が、前記学習用印刷物の画像を、前記第１圧縮条件とは異なる予め定められた第２圧縮条件で圧縮し、
前記第１分割部が、前記第１圧縮部が前記第２圧縮条件で圧縮することによって得られた圧縮画像を、予め定められた第３分割条件で分割し、
前記学習モデル生成部が、前記第１圧縮部が前記第２圧縮条件で圧縮して前記第１分割部が分割することによって得られた圧縮分割画像に対して学習を行い、欠陥画像の種類を推論するための第３学習モデルを生成し、
前記種類判別装置では、
前記特定部が、前記推論部による前記第２学習モデルを用いた推論から得た前記信頼度の中に、前記予め定められた第２閾値以上のものが存在しないと判断した場合に、前記第２圧縮部が、前記検査対象印刷物の画像を、前記第２圧縮条件と同じ圧縮条件で圧縮し、
前記第２分割部が、前記第２圧縮部が前記第２圧縮条件で圧縮することによって得られた圧縮画像を、前記第３分割条件と同じ分割条件で分割し、
前記推論部は、前記第３学習モデルを用いて、前記第２圧縮部が圧縮して前記第２分割部が前記第３分割条件と同じ分割条件で分割することによって得られた圧縮分割画像に対応する欠陥画像の種類及びその信頼度を推論し、
前記特定部は、前記推論部による前記第３学習モデルを用いた推論結果としての前記欠陥画像の種類及びその信頼度の中に、予め定められた第３閾値以上の信頼度のものが存在するか否かを判断し、
前記予め定められた第３閾値以上の信頼度のものが存在すると判断した場合に、当該推論結果を採用し、当該信頼度に対応する前記欠陥画像の種類を、検査対象印刷物が有する欠陥画像の種類として特定し、
前記予め定められた第３閾値以上の信頼度のものが存在しないと判断した場合に、前記検査対象印刷物に欠陥画像は存在しないと判定する、請求項１に記載の種類判別システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、学習モデル生成装置、種類判別システム、及び学習モデル生成方法に関し、特に、学習モデルを生成し、生成した学習モデルを用いて欠陥画像の種類を推論する技術に関する。

【背景技術】

【0002】

近年、製造現場などで、人口知能や、ディープラーニングと呼ばれる深層学習を用いて、製品の外観検査等を自動化する仕組みが導入されつつある（例えば、下記特許文献１，２参照）。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０１７－０７６２８９号公報

【文献】特開２０１８－１２０３００号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

プリンターから出力された印刷物を用いて、当該プリンターの検査を行いたい場合、まず、図５に示すように、欠陥画像を有する印刷物群Ｐ１乃至Ｐ３（例えば、色ムラ、筋状の汚れ、白点）及び欠陥画像を有しない印刷物群Ｐ４からなる大量のデータセットＤＳを準備し、それら大量のデータセットＤＳをニューラルネットワークＮＮで学習させることで、それぞれの特徴を記憶した学習モデルＭを生成する（学習フェーズ）。

【0005】

様々な種類のデータセットＤＳを大量にニューラルネットワークＮＮに学習させることで、未知の「入力」から適切な「出力」を推論する学習モデルＭを獲得することができる。例えば、図６に示すように、学習モデルＭを用いて、データセットＤＳに存在しない未知の印刷物ＰＡに対応する欠陥画像の種類を推論することで、印刷物ＰＡが「白点」の欠陥画像を有していると判別することが可能となる（推論フェーズ）。

【0006】

ところで、ニューラルネットワークでの学習は膨大な演算処理を行う必要がある。そのため、データセットの画像サイズが大き過ぎると、ニューラルネットワークでの学習を行うことが困難になる。

【0007】

このような問題を解決するには、データセットの画像サイズを小さくすればよく、その方法としては、次の２つが考えられる。一つは、画像の圧縮処理を行い、圧縮処理後のデータセットをニューラルネットワークに学習させることである。もう一つは、画像の分割処理を行い、分割処理後のデータセットをニューラルネットワークに学習させることである。

【0008】

しかしながら、画像を圧縮し過ぎると、細かな傷など、高周波の異常（欠陥画像）が見えなくなってしまうおそれがある。一方、画像を細かく分割した場合は、傷などの高周波の異常は検出できるが、図７に示すように、色ムラなどの低周波の異常が検出できなくなるおそれがある。図７（Ａ）は、色ムラの欠陥画像が生じている印刷物ＰＢを示し、図７（Ｂ）は、印刷物ＰＢに形成されている画像を分割した状態を示し、図７（Ｃ）は、分割画像の１ブロック分を示している。

【0009】

従って、画像の圧縮処理を行ったり、分割処理を行ったりすると、高周波の異常、低周
波の異常のいずれかを検出できない場合がある。また、上記特許文献１，２には、検査精度を向上させる技術について記載されているが、上記のような高周波及び低周波の異常の両方を検出できる仕組みについての記載はない。

【0010】

本発明は、上記の事情に鑑みなされたものであり、画像サイズが大きいものであったとしても、高周波及び低周波の異常（欠陥画像）の両方を適切に検出できるようにすることを目的とする。

【課題を解決するための手段】

【0011】

本発明の一局面に係る学習モデル生成装置は、欠陥画像の種類毎に用意された、欠陥画像を有する学習用印刷物を含むデータセットを学習して、学習モデルを生成する学習モデル生成装置であって、前記学習用印刷物の画像を読み取る第１画像読取部と、前記第１画像読取部による読み取りで得られた前記学習用印刷物の画像を、予め定められた第１分割条件で分割する第１分割部と、前記第１分割部による分割で得られた分割画像に対して学習を行い、欠陥画像の種類を推論するための第１学習モデルを生成する学習モデル生成部と、前記学習用印刷物の画像を、予め定められた第１圧縮条件で圧縮する第１圧縮部と、を備え、更に、前記第１分割部は、前記第１圧縮部が圧縮して得られた圧縮画像を、予め定められた第２分割条件で分割し、前記学習モデル生成部は、前記第１圧縮部が圧縮して前記第１分割部が分割することによって得られた圧縮分割画像に対して学習を行い、欠陥画像の種類を推論するための第２学習モデルを生成する。

【0012】

また、本発明の一局面に係る種類判別システムは、上記学習モデル生成装置と、前記学習モデル生成装置によって生成された前記第１学習モデル及び前記第２学習モデルを用いて、検査対象印刷物が有する欠陥画像の種類を判別する種類判別装置とを備える種類判別システムであって、前記種類判別装置は、前記検査対象印刷物の画像を読み取る第２画像読取部と、前記第２画像読取部による読み取りで得られた前記検査対象印刷物の画像を、前記第１分割条件と同じ分割条件で分割する第２分割部と、前記第１学習モデルを用いて、前記第２分割部による分割で得られた分割画像に対応する欠陥画像の種類を推論する推論部と、前記検査対象印刷物の画像を、前記第１圧縮条件と同じ圧縮条件で圧縮する第２圧縮部と、を備え、更に、前記第２分割部は、前記第２圧縮部が圧縮して得られた圧縮画像を、前記第２分割条件と同じ分割条件で分割し、前記推論部は、前記第２学習モデルを用いて、前記第２圧縮部が圧縮して前記第２分割部が分割することによって得られた圧縮分割画像に対応する欠陥画像の種類を推論する。

【0013】

また、本発明の一局面に係る学習モデル生成方法は、欠陥画像の種類毎に用意された、欠陥画像を有する学習用印刷物を含むデータセットを学習して、学習モデルを生成する学習モデル生成方法であって、前記学習用印刷物の画像を読み取る画像読取ステップと、前記画像読取ステップによる読み取りで得られた前記学習用印刷物の画像を、予め定められた第１分割条件で分割する分割ステップと、前記分割ステップによる分割で得られた分割画像に対して学習を行い、欠陥画像の種類を推論するための第１学習モデルを生成する学習モデル生成ステップと、前記学習用印刷物の画像を、予め定められた第１圧縮条件で圧縮する圧縮ステップと、を有し、更に、前記分割ステップでは、前記圧縮ステップで圧縮して得られた圧縮画像を、予め定められた第２分割条件で分割し、前記学習モデル生成ステップでは、前記圧縮ステップで圧縮して前記分割ステップで分割することによって得られた圧縮分割画像に対して学習を行い、欠陥画像の種類を推論するための第２学習モデルを生成する。

【発明の効果】

【0014】

圧縮していない分割画像（画像領域が比較的狭い）を学習することで生成された第１学習モデルは、高周波の異常の検出に適している。一方、圧縮分割画像（画像領域が比較的広い）を学習することで生成された第２学習モデルは、低周波の異常の検出に適している。

【0015】

本発明によれば、高周波の異常の検出に適した第１学習モデルと、低周波の異常の検出に適した第２学習モデルとが生成されるので、高周波及び低周波の異常（欠陥画像）の両方を適切に検出することが可能となる。また、第１学習モデル及び第２学習モデルの生成に用いる画像はいずれも分割されたものであるため、第１学習モデル及び第２学習モデルの生成に用いる画像の画像サイズが大きいものであっても処理負担を大きくすることなく対応可能である。

【図面の簡単な説明】

【0016】

【図1】本発明の一実施形態に係る学習モデル生成装置及び種類判別装置を含んで構成される種類判別システムの主要内部構成を概略的に示した機能ブロック図である。

【図2】（Ａ）乃至（Ｃ）は、分割画像それぞれの画像領域を説明するための説明図である。

【図3】学習モデル生成装置における制御ユニットで行われる処理動作の一例を示したフローチャートである。

【図4】種類判別装置における制御ユニットで行われる処理動作の一例を示したフローチャートである。

【図5】学習モデルを生成するまでの流れを説明するための説明図である。

【図6】学習モデルを用いて、未知の入力から適切な出力を推論する流れを説明するための説明図である。

【図7】（Ａ）は、色ムラの欠陥画像が生じている印刷物を示した図であり、（Ｂ）は、印刷物に形成されている画像を分割した状態を示した図であり、（Ｃ）は、分割画像の１ブロック分を示した図である。

【発明を実施するための形態】

【0017】

以下、本発明の一実施形態に係る学習モデル生成装置、種類判別装置、学習モデル生成方法、及び種類判別システムについて図面を参照して説明する。図１は、一実施形態に係る学習モデル生成装置及び種類判別装置を含んで構成される種類判別システムの主要内部構成を概略的に示した機能ブロック図である。種類判別システム１は、学習モデル生成装置１０と、種類判別装置２０と、を含んで構成される。

【0018】

学習モデル生成装置１０は、制御ユニット１１と、操作部１２と、表示部１３と、記憶部１４と、通信インターフェイス部（通信Ｉ／Ｆ）１５と、第１画像読取部１６と、を備える。

【0019】

操作部１２は、キーボードやマウス等から構成され、制御ユニット１１にコマンドや文字を入力したり、表示部１３における画面上のポインターを操作したりする。表示部１３は、制御ユニット１１からの応答やデータ結果を表示する。

【0020】

記憶部１４は、ＨＤＤ（Hard Disk Drive）などの記憶装置であり、学習モデル生成装置１０の動作に必要なプログラムやデータを記憶し、学習モデルを記憶する学習モデル記憶部１４１を含む。

【0021】

通信インターフェイス部１５は、不図示のＬＡＮ（Local Area Network）チップなどの通信モジュールを備えるインターフェイスで、外部装置との間で通信を行う。学習モデル生成装置１０は、通信インターフェイス部１５を介して、種類判別装置２０との間でデータの送受信を行う。

【0022】

第１画像読取部１６は、光照射部及びＣＣＤ（Charge Coupled Device）センサー等を有する読取機構（図示せず）を備え、制御ユニット１１を構成する制御部１１１による制御の下、コンタクトガラス（図示せず）に載置された原稿（ここでは、学習用印刷物）の画像を光学的に読み取る。画像の読み取りは、第１画像読取部１６における読み取り可能最高解像度（例えば、600dpi）で行われる。

【0023】

例えば、Ａ３サイズ（297×210mm）の学習用印刷物を第１画像読取部１６が解像度600dpiで読み取った場合、第１画像読取部１６による読み取りで得られる画像は「9921×7016ピクセル（画素）」で構成される。なお、学習用印刷物としては、図５に示した印刷物群Ｐ１乃至Ｐ４を構成する印刷物が挙げられる。

【0024】

制御ユニット１１は、プロセッサー、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、及び専用のハードウェア回路を含んで構成される。プロセッサーは、例えばＣＰＵ（Central Processing Unit）、ＡＳＩＣ（Application Specific Integrated Circuit）、又はＭＰＵ（Micro Processing Unit）、ＧＰＵ（Graphics Processing Unit）等である。制御ユニット１１は、制御部１１１と、第１分割部１１２と、学習モデル生成部１１３と、第１圧縮部１１４と、を備えている。

【0025】

制御ユニット１１は、記憶部１４に記憶されているプログラムに従った上記プロセッサーによる動作により、制御部１１１、第１分割部１１２、学習モデル生成部１１３、及び第１圧縮部１１４として機能する。但し、制御ユニット１１等の上記の各構成は、制御ユニット１１による制御プログラムに基づく動作によらず、それぞれハードウェア回路により構成することも可能である。以下、特に触れない限り、各実施形態について同様である。

【0026】

制御部１１１は、学習モデル生成装置１０の全体的な動作制御を司る。制御部１１１は、操作部１２、表示部１３、記憶部１４、通信インターフェイス部１５、及び第１画像読取部１６と接続されており、接続されている上記各構成の動作制御や、各構成との間での信号またはデータの送受信を行う。

【0027】

第１分割部１１２は、第１画像読取部１６による読み取りで得られた学習用印刷物の画像を、予め定められた第１分割条件で分割する。例えば、第１分割条件が「a×b画素」単位で画像を分割することに設定されている場合、「24a×24b画素」で構成されている画像は、図２（Ａ）に示すように、576（＝24×24）ブロックの画像に分割される。

【0028】

学習モデル生成部１１３は、第１分割部１１２による分割で得られた分割画像に対して学習を行い、欠陥画像の種類を推論するための第１学習モデルを生成し、生成した学習モデルを学習モデル記憶部１４１に保存する。例えば、学習モデル生成部１１３は、図５に示したような、印刷物群Ｐ１乃至Ｐ４の画像を分割した分割画像を、ニューラルネットワークで学習することで、それぞれの特徴を記憶した学習モデルを生成する。

【0029】

従って、学習モデル生成部１１３は、データセットとなる画像を大量に学習することで、図６に示したように、未知の「入力」から適切な「出力」を推論する学習モデルを生成することができる。なお、図５では、欠陥画像の種類として「色ムラ」、「筋状の汚れ」、「白点」だけを例に挙げているが、欠陥画像の種類はこれらに限定されず、他に「傷」や「黒点」等が挙げられる。

【0030】

第１圧縮部１１４は、第１画像読取部１６による読み取りで得られた学習用印刷物の画像を、予め定められた第１圧縮条件で圧縮する。例えば、第１圧縮条件が圧縮率５０％に設定されている場合、「24a×24b画素」で構成されている画像は、圧縮によって「12a×12b画素」で構成される画像となる。

【0031】

後で詳しく説明するが、第１分割部１１２は、第１圧縮部１１４が圧縮して得られた圧縮画像についても分割を行い、学習モデル生成部１１３は、第１圧縮部１１４が圧縮して第１分割部１１２が分割することによって得られた圧縮分割画像に対しても学習を行う。

【0032】

種類判別装置２０は、制御ユニット２１と、操作部２２と、表示部２３と、記憶部２４と、通信インターフェイス部（通信Ｉ／Ｆ）２５と、第２画像読取部２６と、を備える。

【0033】

操作部２２は、キーボードやマウス等から構成され、制御ユニット２１にコマンドや文字を入力したり、表示部２３における画面上のポインターを操作したりする。表示部２３は、制御ユニット２１からの応答やデータ結果を表示する。

【0034】

記憶部２４は、ＨＤＤなどの記憶装置であり、種類判別装置２０の動作に必要なプログラムやデータを記憶し、学習モデルを記憶する学習モデル記憶部２４１を含む。

【0035】

通信インターフェイス部２５は、不図示のＬＡＮチップなどの通信モジュールを備えるインターフェイスで、外部装置との間で通信を行う。種類判別装置２０は、通信インターフェイス部２５を介して、学習モデル生成装置１０との間でデータの送受信を行う。

【0036】

第２画像読取部２６は、光照射部及びＣＣＤセンサー等を有する読取機構（図示せず）を備え、制御ユニット２１を構成する制御部２１１による制御の下、コンタクトガラス（図示せず）に載置された原稿（ここでは、検査対象印刷物）の画像を光学的に読み取る。画像の読み取りは、第２画像読取部２６における読み取り可能最高解像度（例えば、600dpi）で行われる。検査対象印刷物は、例えば、製造現場においてプリンターや複合機等から出力された印刷物で、これらプリンターや複合機等の検査に用いられる。

【0037】

制御ユニット２１は、プロセッサー、ＲＡＭ、ＲＯＭ、及び専用のハードウェア回路を含んで構成される。プロセッサーは、例えばＣＰＵ、ＡＳＩＣ、ＭＰＵ、又はＧＰＵ等である。制御ユニット２１は、制御部２１１と、第２分割部２１２と、推論部２１３と、特定部２１４と、第２圧縮部２１５と、を備えている。

【0038】

制御ユニット２１は、記憶部２４に記憶されているプログラムに従った上記プロセッサーによる動作により、制御部２１１、第２分割部２１２、推論部２１３、特定部２１４、及び第２圧縮部２１５として機能する。但し、制御ユニット２１等の上記の各構成は、制御ユニット２１による制御プログラムに基づく動作によらず、それぞれハードウェア回路により構成することも可能である。以下、特に触れない限り、各実施形態について同様である。

【0039】

制御部２１１は、種類判別装置２０の全体的な動作制御を司る。制御部２１１は、操作部２２、表示部２３、記憶部２４、通信インターフェイス部２５、及び第２画像読取部２６と接続されており、接続されている上記各構成の動作制御や、各構成との間での信号またはデータの送受信を行う。

【0040】

第２分割部２１２は、第２画像読取部１６による読み取りで得られた検査対象印刷物の画像を、上記第１分割条件（すなわち、第１学習モデルを生成する際に、学習モデル生成部１０が用いた分割条件）と同じ分割条件で分割する。

【0041】

推論部２１３は、第１学習モデルを用いて、第２分割部２１２による分割で得られた分割画像に対応する欠陥画像の種類を判定して、当該判定結果を推論結果とし、当該推論結果の信頼度（確からしさ）を特定部２１４に出力する。例えば、推論部２１３は、欠陥画像が「白点」である確率が「９９％」、「筋状の汚れ」である確率が「０．５％」、「傷」である確率が「０．５％」という推論結果の信頼度を数値化したものを特定部２１４に出力する。

【0042】

特定部２１４は、推論部２１３による推論結果に基づいて、検査対象印刷物に欠陥画像が発生しているか否かを判定すると共に、欠陥画像が発生している場合には、その種類を特定する。

【0043】

特定部２１４は、推論部２１３から出力された信頼度の中に、予め定められた閾値（例えば、５０％）以上のものが存在すると判断した場合、該当する推論結果を採用し、検査対象印刷物が有する欠陥画像の種類を特定する。一方、特定部２１４は、推論部２１３から出力された信頼度の中に、上記閾値以上のものが存在しないと判断した場合（つまり、すべての分割画像で異常を示す閾値以上とならなかった場合）、検査対象印刷物に異常はないと判定する。

【0044】

ところで、上記信頼度については、異なる欠陥画像の種類において上記閾値以上になり、欠陥画像の種類の判別が難しくなることが考えられる。例えば、ある分割画像に対応する推論結果では、欠陥画像が「白点」である確率が「５６％」を示し、別の分割画像に対応する推論結果では、欠陥画像が「筋状の汚れ」である確率が「５８％」を示す、といったことが考えられる。

【0045】

そのような場合、特定部２１４は、推論部２１３による推論結果に基づいて、欠陥画像を示した分割画像の検査対象印刷物内における出現の周期性から、当該検査対象印刷物が有する欠陥画像の種類を特定する。

【0046】

例えば、欠陥画像が「筋状の汚れ」の場合、推論結果が欠陥画像を示す分割画像は、一定の周期で出現し、欠陥画像が「白点」の場合、推論結果が欠陥画像を示す分割画像は、ある部分で集中して出現する。従って、推論結果が欠陥画像を示す分割画像の検査対象印刷物内における出現の周期性から、当該検査対象印刷物が有する欠陥画像の種類を特定することが可能である。

【0047】

第２圧縮部２１５は、第２画像読取部１６による読み取りで得られた検査対象印刷物の画像を、上記第１圧縮条件（すなわち、第２学習モデルを生成する際に、学習モデル生成装置１０が用いた圧縮条件）と同じ圧縮条件で圧縮する。

【0048】

後で詳しく説明するが、第２分割部２１２は、第２圧縮部２１５が圧縮して得られた圧縮画像についても分割を行い、推論部２１３は、第２圧縮部２１５が圧縮して第２分割部２１２が分割することによって得られた圧縮分割画像に対応する欠陥画像の種類についても推論する。

【0049】

次に、学習モデル生成装置１０における制御ユニット１１で行われる処理動作の一例について図３に示したフローチャートに基づいて説明する。なお、この処理動作は、学習用印刷物の読み取りのユーザー指示を、操作部１２を介して制御部１１１が受け付けた場合に行われる処理動作である。

【0050】

まず、制御部１１１は、第１画像読取部１６に、学習用印刷物の画像を読み取らせ（Ｓ１）、第１分割部１１２が、第１画像読取部１６による読み取りで得られた学習用印刷物の画像を、第１分割条件で分割し（Ｓ２）、学習モデル生成部１１３が、第１分割部１１２による分割で得られた分割画像に対して学習を行い（Ｓ３）、欠陥画像の種類を推論するための第１学習モデルを生成する（Ｓ４）。

【0051】

上記したように、第１分割条件が「a×b画素」単位での画像分割と設定されている場合、「24a×24b画素」で構成されている画像は、分割によって、図２（Ａ）に示すように、576（＝24×24）ブロックの画像に分割される。圧縮していない分割画像は、図２（Ａ）に示すように、画像領域が狭い。そのため、圧縮していない分割画像を学習することで生成された第１学習モデルは、高周波の異常の検出に適している。

【0052】

続いて、第１圧縮部１１４が、第１画像読取部１６による読み取りで得られた学習用印刷物の画像を、第１圧縮条件で圧縮し（Ｓ５）、第１分割部１１２が、第１圧縮部１１４が圧縮して得られた圧縮画像を、予め定められた第２分割条件で分割し（Ｓ６）、学習モデル生成部１１３が、第１圧縮部１１４が圧縮して第１分割部１１２が分割することによって得られた圧縮分割画像に対して学習を行い（Ｓ７）、欠陥画像の種類を推論するための第２学習モデルを生成する（Ｓ８）。

【0053】

例えば、第１圧縮条件が圧縮率５０％に設定されている場合、「24a×24b画素」で構成されている画像は、圧縮によって「12a×12b画素」で構成される画像となる。

【0054】

第２分割条件は第１分割条件と同じでもよく、第２分割条件が「a×b画素」単位での画像分割と設定されている場合、「12a×12b画素」で構成されている画像は、分割によって、図２（Ｂ）に示すように、144（＝12×12）ブロックの画像に分割される。圧縮分割画像は、図２（Ｂ）に示すように、圧縮していない分割画像よりも画像領域がやや広い。そのため、圧縮分割画像を学習することで生成された第２学習モデルは、低周波の異常の検出に適している。

【0055】

続いて、第１圧縮部１１４が、第１画像読取部１６による読み取りで得られた学習用印刷物の画像を、第１圧縮条件とは異なる予め定められた第２圧縮条件で圧縮し（Ｓ９）、第１分割部１１２が、第１圧縮部１１４が第２圧縮条件で圧縮することによって得られた圧縮画像を、予め定められた第３分割条件で分割し（Ｓ１０）、学習モデル生成部１１３が、第１圧縮部１１４が第２圧縮条件で圧縮して第１分割部１１２が分割することによって得られた圧縮分割画像に対して学習を行い（Ｓ１１）、欠陥画像の種類を推論するための第３学習モデルを生成し（Ｓ１２）、この処理動作を終了する。

【0056】

例えば、第２圧縮条件が圧縮率２５％に設定されている場合、「24a×24b画素」で構成されている画像は「6a×6b画素」で構成される画像となる。

【0057】

第３分割条件は第１分割条件と同じでもよく、第３分割条件が「a×b画素」単位での画像分割と設定されている場合、「6a×6b画素」で構成されている画像は、分割によって、図２（Ｃ）に示すように、36（＝6×6）ブロックの画像に分割される。大きい圧縮率で得られた圧縮分割画像は、図２（Ｃ）に示すように、小さい圧縮率で得られた圧縮分割画像よりも画像領域が広い。そのため、大きい圧縮率で得られた圧縮分割画像を学習することで生成された第３学習モデルは、低周波の異常の検出により一層適している。

【0058】

また、Ｓ９では、第１圧縮部１１４が、学習用印刷物の画像を、第１圧縮条件とは異なる第２圧縮条件で圧縮する場合について説明しているが、第１圧縮部１１４は、Ｓ５での圧縮で得られた圧縮画像に対して、予め定められた第３圧縮条件で更なる圧縮を行うようにしてもよい。例えば、Ｓ５において、圧縮率５０％（第１圧縮条件）で圧縮することで得られた圧縮画像に対して、Ｓ９において、更に圧縮率５０％で圧縮する。

【0059】

次に、種類判別装置２０における制御ユニット２１で行われる処理動作の一例について図４に示したフローチャートに基づいて説明する。なお、この処理動作は、検査対象印刷物の読み取りのユーザー指示を、操作部２２を介して制御部２１１が受け付けた場合に行われる処理動作である。

【0060】

まず、制御部２１１は、第２画像読取部２６に、検査対象印刷物の画像を読み取らせ（Ｓ２１）、第２分割部２１２が、第２画像読取部２６による読み取りで得られた検査対象印刷物の画像を、（第１学習モデルを生成する際に、学習モデル生成装置１０が用いた）第１分割条件で分割し（Ｓ２２）、推論部２１３が、第１学習モデルを用いて、第２分割部２１２による分割で得られた分割画像に対応する欠陥画像の種類を推論し、当該推論結果の信頼度を特定部２１４に出力する（Ｓ２３）。

【0061】

特定部２１４は、推論部２１３から入力した信頼度の中に、予め定められた閾値Ｔ１以上のものが存在するか否かを判断し（Ｓ２４）、信頼度が閾値Ｔ１以上のものが存在すると判断した場合（Ｓ２４でＹＥＳ）、特定部２１４は、推論部２１３による推論結果に基づいて、欠陥画像を示した分割画像の検査対象印刷物内における出現の周期性から、当該検査対象印刷物が有する欠陥画像の種類を特定し（Ｓ２５）、この処理動作を終了する。

【0062】

検査対象印刷物内における出現の周期性を確認することで、閾値Ｔ１以上の信頼度が示す欠陥画像の種類が複数存在しても、欠陥画像の種類を特定することが可能となる。また、閾値Ｔ１以上の信頼度が示す欠陥画像の種類が１種類であっても、その欠陥の由来（原因）を特定できるとは限らない。例えば、ドラムユニット由来の「黒点」や、何かのゴミによる「黒点」があった場合、これらを単体の見た目では区別できなかったとしても、周期性を確認することで欠陥の由来を判別することが可能となる。

【0063】

Ｓ２４において、特定部２１４は、推論部２１３から入力した信頼度の中に、閾値Ｔ１以上のものが存在しない（すなわち、Ｓ２２での分割で得られた、すべての分割画像において異常を示す閾値Ｔ１以上にならない）と判断した場合（Ｓ２４でＮＯ）、第２圧縮部２１５が、第２画像読取部２６による読み取りで得られた検査対象印刷物の画像を、（第２学習モデルを生成する際に、学習モデル生成装置１０が用いた）第１圧縮条件で圧縮する（Ｓ２６）。

【0064】

続いて、第２分割部２１２が、第２圧縮部２１５が圧縮して得られた圧縮画像を、（第２学習モデルを生成する際に、学習モデル生成装置１０が用いた）第２分割条件で分割し（Ｓ２７）、推論部２１３が、第２学習モデルを用いて、第２圧縮部２１５が圧縮して第２分割部２１２が分割することによって得られた圧縮分割画像に対応する欠陥画像の種類を推論し、当該推論結果の信頼度を特定部２１４に出力する（Ｓ２８）。

【0065】

特定部２１４は、推論部２１３から入力した信頼度の中に、予め定められた閾値Ｔ２以上のものが存在するか否かを判断し（Ｓ２９）、信頼度が閾値Ｔ２以上のものが存在すると判断した場合（Ｓ２９でＹＥＳ）、特定部２１４は、推論部２１３による推論結果に基づいて、欠陥画像を示した圧縮分割画像の検査対象印刷物内における出現の周期性から、当該検査対象印刷物が有する欠陥画像の種類を特定し（Ｓ３０）、この処理動作を終了する。

【0066】

検査対象印刷物内における出現の周期性を確認することで、閾値Ｔ２以上の信頼度が示す欠陥画像の種類が複数存在しても、欠陥画像の種類を特定することが可能となる。また、単体の見た目では区別できなかった欠陥の由来を、周期性を確認することで判別することが可能となる。

【0067】

Ｓ２９において、特定部２１４は、推論部２１３から入力した信頼度の中に、閾値Ｔ２以上のものが存在しない（すなわち、Ｓ２７での分割で得られた、すべての圧縮分割画像において異常を示す閾値Ｔ２以上にならない）と判断した場合（Ｓ２９でＮＯ）、第２圧縮部２１５が、第２画像読取部２６による読み取りで得られた検査対象印刷物の画像を、（第３学習モデルを生成する際に、学習モデル生成装置１０が用いた）第２圧縮条件で圧縮する（Ｓ３１）。

【0068】

続いて、第２分割部２１２が、第２圧縮部２１５が圧縮して得られた圧縮画像を、（第３学習モデルを生成する際に、学習モデル生成装置１０が用いた）第３分割条件で分割し（Ｓ３２）、推論部２１３が、第３学習モデルを用いて、第２圧縮部２１５が圧縮して第２分割部２１２が分割することによって得られた圧縮分割画像に対応する欠陥画像の種類を推論し、当該推論結果の信頼度を特定部２１４に出力する（Ｓ３３）。

【0069】

特定部２１４は、推論部２１３から入力した信頼度の中に、予め定められた閾値Ｔ３以上のものが存在するか否かを判断し（Ｓ３４）、信頼度が閾値Ｔ３以上のものが存在すると判断した場合（Ｓ３４でＹＥＳ）、特定部２１４は、推論部２１３による推論結果に基づいて、欠陥画像を示した圧縮分割画像の検査対象印刷物内における出現の周期性から、当該検査対象印刷物が有する欠陥画像の種類を特定し（Ｓ３５）、この処理動作を終了する。

【0070】

検査対象印刷物内における出現の周期性を確認することで、閾値Ｔ３以上の信頼度が示す欠陥画像の種類が複数存在しても、欠陥画像の種類を特定することが可能となる。また、単体の見た目では区別できなかった欠陥の由来を、周期性を確認することで判別することが可能となる。

【0071】

Ｓ３４において、特定部２１４は、推論部２１３から入力した信頼度の中に、閾値Ｔ３以上のものが存在しない（すなわち、Ｓ３２での分割で得られた、すべての圧縮分割画像において異常を示す閾値Ｔ３以上にならない）と判断した場合（Ｓ３４でＮＯ）、検査対象印刷物に欠陥画像は存在しない「異常なし」と判定し（Ｓ３６）、この処理動作を終了する。

【0072】

また、Ｓ３１では、第２圧縮部２１５が、検査対象印刷物の画像を、第１圧縮条件とは異なる第２圧縮条件で圧縮する場合について説明しているが、第２圧縮部２１５は、Ｓ２６での圧縮で得られた圧縮画像に対して、予め定められた第３圧縮条件で更なる圧縮を行うようにしてもよい。例えば、Ｓ２６において、圧縮率５０％（第１圧縮条件）で圧縮することで得られた圧縮画像に対して、Ｓ３１において、更に圧縮率５０％で圧縮する。

【0073】

上記実施形態によれば、高周波の異常の検出に適した第１学習モデルと、低周波の異常の検出に適した第２学習モデル及び第３学習モデルとが生成されるので、高周波及び低周波の異常（欠陥画像）の両方を適切に検出することが可能となる。また、第１乃至第３学習モデルの生成に用いる画像はいずれも分割されたものであるため、第１乃至第３学習モデルの生成に用いる画像の画像サイズが大きいものであっても処理負担を大きくすることなく対応可能である。

【0074】

なお、上記実施形態では、圧縮分割画像を学習することで、低周波の異常の検出に適した学習モデルとして、第２学習モデルと第３学習モデルの２種類を生成する場合について説明しているが、上記学習モデルは２種類に限定する必要はなく、３種類以上生成するようにしてもよい。当然ではあるが、種類を増やした方が欠陥画像の判別精度は高くなる。逆に、判別精度は落ちるが、第３学習モデルを生成せず、第２学習モデルだけを生成するようにしてもよい。

【0075】

また、上記実施形態では、まず、第１学習モデルを用いての推論及び判別（図４のＳ２１乃至Ｓ２５）を行い、その処理が終了してから、第２学習モデルを用いての推論及び判別（Ｓ２６乃至Ｓ３０）を行い、その処理が終了してから、第３学習モデルを用いての推論及び判別（Ｓ３１乃至Ｓ３５）を行う場合について説明しているが、別の実施形態では、推論部２１３及び特定部２１４がこれら推論及び判別の処理を並行して行い、途中で、欠陥画像の種類を判別できた場合には、並行で行っていた処理を終了し、新たな次の処理へ進むようにしてもよい。これにより、処理時間を削減することができる。

【0076】

なお、上記実施形態では、学習モデル生成装置１０が、種類判別装置２０と別の装置として構成される場合について説明しているが、学習モデル生成装置１０を構成する各機能については、種類判別装置２０が備えるようにしてもよい。

【0077】

本発明は上記実施の形態の構成に限られず種々の変形が可能である。また、上記実施形態では、図１乃至図７を用いて上記実施形態により示した構成及び処理は、本発明の一実施形態に過ぎず、本発明を当該構成及び処理に限定する趣旨ではない。

【符号の説明】

【0078】

１０ 学習モデル生成装置
１６ 第１画像読取部
２０ 種類判別装置
２６ 第２画像読取部
１１２ 第１分割部
１１３ 学習モデル生成部
１１４ 第１圧縮部
２１２ 第２分割部
２１３ 推論部
２１４ 特定部
２１５ 第２圧縮部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】