(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-03-07
(45)【発行日】2023-03-15
(54)【発明の名称】画像検査システム、画像検査装置及び画像検査プログラム
(51)【国際特許分類】
G06T 7/00 20170101AFI20230308BHJP
【FI】
G06T7/00 350B
(21)【出願番号】P 2019074235
(22)【出願日】2019-04-09
【審査請求日】2022-01-11
(73)【特許権者】
【識別番号】000005223
【氏名又は名称】富士通株式会社
(74)【代理人】
【識別番号】100094525
【氏名又は名称】土井 健二
(74)【代理人】
【識別番号】100094514
【氏名又は名称】林 恒徳
(72)【発明者】
【氏名】岡本 浩明
(72)【発明者】
【氏名】長門 毅
(72)【発明者】
【氏名】芳賀 進
【審査官】藤原 敬利
(56)【参考文献】
【文献】特開2016-114592(JP,A)
【文献】特開2004-038885(JP,A)
【文献】特開2017-211259(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
G01N 21/84 -21/958
G06N 3/00 - 3/12
G06N 7/08 -99/00
G06T 1/00 - 1/40
G06T 3/00 - 7/90
G06V 10/00 -20/90
G06V 30/418
G06V 40/16 、40/20
(57)【特許請求の範囲】
【請求項1】
複数の学習画像の機械学習を行う複数の情報処理装置を有する画像検査システムであって、
前記複数の情報処理装置のそれぞれは、
前記複数の学習画像を第1サイズごとに分割することによって複数の第1分割画像を生成し、前記複数の学習画像を前記第1サイズと異なる第2サイズごとに分割することによって複数の第2分割画像を生成する分割画像生成部と、
前記複数の第1分割画像のうちの正常状態に対応する複数の第1正常分割画像と、前記複数の第2分割画像のうちの正常状態に対応する複数の第2正常分割画像とのそれぞれから、複数種類のパラメータに対応する特徴量をそれぞれ抽出する特徴量抽出部と、
前記複数種類のパラメータから、前記複数の第1正常分割画像と前記複数の第2正常分割画像との間における前記特徴量の類似関係が所定の条件を満たす第1パラメータを特定するパラメータ特定部と、
特定した前記第1パラメータに対応する特徴量を用いることによって、前記複数の第1分割画像及び前記複数の第2分割画像の機械学習を行う機械学習実行部と、を有する、
ことを特徴とする画像検査システム。
【請求項2】
請求項1において、
前記特徴量抽出部は、前記複数の第1分割画像のうちの異常状態に対応する複数の第1異常分割画像と、前記複数の第2分割画像のうちの異常状態に対応する複数の第2異常分割画像とのそれぞれから、前記第1パラメータに対応する特徴量をそれぞれ抽出し、
前記機械学習実行部は、前記複数の第1正常分割画像及び前記複数の第2正常分割画像のそれぞれから抽出した前記第1パラメータに対応する特徴量と、各画像が正常状態にあることを示す状態情報とをそれぞれ対応付けた複数の学習データと、前記複数の第1異常分割画像及び前記複数の第2異常分割画像のそれぞれから抽出した前記第1パラメータに対応する特徴量と、各画像が異常状態にあることを示す状態情報とをそれぞれ対応付けた複数の学習データとの機械学習を行う、
ことを特徴とする画像検査システム。
【請求項3】
請求項1において、
前記パラメータ特定部は、前記複数の第1正常分割画像と前記複数の第2正常分割画像との間における分布の形状の差が所定条件を満たす特徴量に対応するパラメータを前記第1パラメータとして特定する、
ことを特徴とする画像検査システム。
【請求項4】
請求項3において、
前記パラメータ特定部は、前記複数の第1正常分割画像と前記複数の第2正常分割画像との間における分布の中心の差が閾値以下である特徴量に対応するパラメータを前記第1パラメータとして特定する、
ことを特徴とする画像検査システム。
【請求項5】
請求項3において、
前記パラメータ特定部は、前記複数の第1正常分割画像と前記複数の第2正常分割画像との間における分布の幅の差が閾値以下である特徴量に対応するパラメータを前記第1パラメータとして特定する、
ことを特徴とする画像検査システム。
【請求項6】
請求項2において、
前記機械学習実行部は、前記機械学習を行うことによって学習モデルを生成し、
前記分割画像生成部は、新たな画像を受け付けた場合、前記新たな画像を所定のサイズごとに分割することによって複数の分割画像を生成し、
前記特徴量抽出部は、前記複数の分割画像から前記第1パラメータに対応する特徴量をそれぞれ抽出し、さらに、
前記複数の情報処理装置のそれぞれは、
前記複数の分割画像ごとに、前記第1パラメータに対応する特徴量の入力に伴って前記学習モデルから出力されるスコアを取得するスコア取得部と、
前記複数の分割画像のうち、取得した前記スコアが閾値以下である分割画像が異常状態にあると判定する異常判定部と、を有する、
ことを特徴とする画像検査システム。
【請求項7】
請求項6において、さらに、
前記複数の情報処理装置のそれぞれは、
前記異常状態にある分割画像が前記複数の分割画像に含まれていると判定した場合、前記新たな画像が異常状態にあることを示す情報を出力する情報出力部を有する、
ことを特徴とする画像検査システム。
【請求項8】
複数の学習画像を第1サイズごとに分割することによって複数の第1分割画像を生成し、前記複数の学習画像を前記第1サイズと異なる第2サイズごとに分割することによって複数の第2分割画像を生成する分割画像生成部と、
前記複数の第1分割画像のうちの正常状態に対応する複数の第1正常分割画像と、前記複数の第2分割画像のうちの正常状態に対応する複数の第2正常分割画像とのそれぞれから、複数種類のパラメータに対応する特徴量をそれぞれ抽出する特徴量抽出部と、
前記複数種類のパラメータから、前記複数の第1正常分割画像と前記複数の第2正常分割画像との間における前記特徴量の類似関係が所定の条件を満たす第1パラメータを特定するパラメータ特定部と、
特定した前記第1パラメータに対応する特徴量を用いることによって、前記複数の第1分割画像及び前記複数の第2分割画像の機械学習を行う機械学習実行部と、を有する、
ことを特徴とする画像検査装置。
【請求項9】
複数の学習画像を第1サイズごとに分割することによって複数の第1分割画像を生成し、前記複数の学習画像を前記第1サイズと異なる第2サイズごとに分割することによって複数の第2分割画像を生成し、
前記複数の第1分割画像のうちの正常状態に対応する複数の第1正常分割画像と、前記複数の第2分割画像のうちの正常状態に対応する複数の第2正常分割画像とのそれぞれから、複数種類のパラメータに対応する特徴量をそれぞれ抽出し、
前記複数種類のパラメータから、前記複数の第1正常分割画像と前記複数の第2正常分割画像との間における前記特徴量の類似関係が所定の条件を満たす第1パラメータを特定し、
特定した前記第1パラメータに対応する特徴量を用いることによって、前記複数の第1分割画像及び前記複数の第2分割画像の機械学習を行う、
処理をコンピュータに実行させることを特徴とする画像検査プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像検査システム、画像検査装置及び画像検査プログラムに関する。
【背景技術】
【0002】
例えば、利用者にサービスを提供する事業者(以下、単に事業者とも呼ぶ)は、利用者に対してサービスの提供を行うための情報処理システムを構築する。具体的に、事業者は、例えば、量産された各部品を撮像した画像から欠陥(例えば、シミ)を含む部品の特定を行う情報処理システムを構築する。
【0003】
このような情報処理システムでは、例えば、学習対象の画像(以下、学習画像とも呼ぶ)から抽出した特徴量についての機械学習を行うことによって、教師付き学習モデル(以下、単に学習モデルとも呼ぶ)を生成する。そして、情報処理システムは、検査対象の画像(以下、検査画像とも呼ぶ)から抽出した特徴量を学習モデルに入力することによって、検査画像に対応する部品に欠陥が含まれているか否かを示すスコアを取得する。
【0004】
これにより、事業者は、取得したスコアを参照することで、量産された各部品の中から欠陥を含む部品の特定を行うことが可能になる(例えば、特許文献1乃至3参照)。
【先行技術文献】
【特許文献】
【0005】
【文献】特開2015-041164号公報
【文献】特開2010-067068号公報
【文献】特開2010-102690号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
ここで、上記のような学習モデルの生成を行う場合、事業者は、例えば、欠陥を含む部品の学習画像を欠陥のサイズごとに用意する。そして、情報処理システムは、例えば、欠陥のサイズごとの学習画像をそれぞれ用いることにより、欠陥のサイズごとの学習モデルを生成する。これにより、情報処理システムは、検査画像に対応する部品に欠陥が含まれているか否かの判定を精度良く行うことが可能になる。
【0007】
しかしながら、事業者は、欠陥の各サイズに対応する学習画像のそれぞれを十分に用意することができない場合がある。そのため、情報処理システムは、欠陥のサイズごとの学習モデルを網羅的に生成することができず、検査画像に対応する部品に欠陥が含まれているか否かの判定を精度良く行うことができない場合がある。
【0008】
そこで、一つの側面では、本発明は、部品の画像から欠陥を含む部品を精度良く特定することを可能とする画像検査システム、画像検査装置及び画像検査プログラムを提供することを目的とする。
【課題を解決するための手段】
【0009】
実施の形態の一態様では、複数の学習画像の機械学習を行う複数の情報処理装置を有する画像検査システムは、前記複数の情報処理装置のそれぞれが、前記複数の学習画像を第1サイズごとに分割することによって複数の第1分割画像を生成し、前記複数の学習画像を前記第1サイズと異なる第2サイズごとに分割することによって複数の第2分割画像を生成する分割画像生成部と、前記複数の第1分割画像のうちの正常状態に対応する複数の第1正常分割画像と、前記複数の第2分割画像のうちの正常状態に対応する複数の第2正常分割画像とのそれぞれから、複数種類のパラメータに対応する特徴量をそれぞれ抽出する特徴量抽出部と、前記複数種類のパラメータから、前記複数の第1正常分割画像と前記複数の第2正常分割画像との間における前記特徴量の類似関係が所定の条件を満たす第1パラメータを特定するパラメータ特定部と、特定した前記第1パラメータに対応する特徴量を用いることによって、前記複数の第1分割画像及び前記複数の第2分割画像の機械学習を行う機械学習実行部と、を有する。
【発明の効果】
【0010】
一つの側面によれば、部品の画像から欠陥を含む部品を精度良く特定することを可能とする。
【図面の簡単な説明】
【0011】
【
図1】
図1は、情報処理システム10の構成について説明する図である。
【
図2】
図2は、欠陥のサイズごとの学習モデルを生成する場合の具体例について説明を行う。
【
図3】
図3は、情報処理装置1のハードウエア構成を説明する図である。
【
図4】
図4は、情報処理装置1の機能のブロック図である。
【
図5】
図5は、第1の実施の形態における画像検査処理の概略を説明するフローチャート図である。
【
図6】
図6は、第1の実施の形態における画像検査処理の概略を説明するフローチャート図である。
【
図7】
図7は、第1の実施の形態における画像検査処理の詳細を説明するフローチャート図である。
【
図8】
図8は、第1の実施の形態における画像検査処理の詳細を説明するフローチャート図である。
【
図9】
図9は、第1の実施の形態における画像検査処理の詳細を説明するフローチャート図である。
【
図10】
図10は、第1の実施の形態における画像検査処理の詳細を説明するフローチャート図である。
【
図11】
図11は、第1の実施の形態における画像検査処理の詳細を説明するフローチャート図である。
【
図12】
図12は、第1の実施の形態における画像検査処理の詳細を説明するフローチャート図である。
【
図13】
図13は、第1の実施の形態における画像検査処理の詳細を説明するフローチャート図である。
【
図14】
図14は、S22の処理の具体例を説明する図である。
【
図15】
図15は、S23の処理の具体例を説明する図である。
【
図16】
図16は、S34及びS35の処理の具体例を説明する図である。
【
図17】
図17は、S34及びS35の処理の具体例を説明する図である。
【
図18】
図18は、輝度ヒストグラムに対応する分布の具体例を説明する図である。
【
図19】
図19は、勾配ヒストグラムに対応する分布の具体例を説明する図である。
【
図20】
図20は、第1の実施の形態における画像検査処理の詳細を説明する図である。
【発明を実施するための形態】
【0012】
[情報処理システムの構成]
初めに、情報処理システム10の構成について説明を行う。
図1は、情報処理システム10の構成について説明する図である。
【0013】
図1に示すように、情報処理システム10(以下、画像検査システム10とも呼ぶ)は、例えば、1台以上の情報処理装置1(以下、画像検査装置1とも呼ぶ)と、1台以上の操作端末5とを含む。
【0014】
操作端末5は、例えば、PC(Personal Computer)であり、事業者が必要な情報の入力等を行う端末である。具体的に、操作端末5は、例えば、部品についての学習画像や検査画像の入力を行う。
【0015】
情報処理装置1は、例えば、操作端末5を介して入力された学習画像から抽出した特徴量についての機械学習を行うことによって、学習モデルの生成を行う。そして、情報処理装置1は、例えば、操作端末5を介して入力された検査画像を受け付けた場合、その検査画像から抽出した特徴量を学習モデルに入力する。その後、情報処理装置1は、特徴量の入力に伴って学習モデルから出力されるスコアに基づいて、検査画像に対応する部品に欠陥が含まれているか否かの判定を行う。
【0016】
ここで、上記のような学習モデルの生成を行う場合、事業者は、例えば、欠陥を含む部品についての学習画像を欠陥のサイズごとに用意する。そして、情報処理装置1は、例えば、欠陥のサイズごとの学習画像をそれぞれ用いることにより、欠陥のサイズごとの学習モデルを生成する。以下、欠陥のサイズごとの学習モデルを生成する場合の具体例について説明を行う。
【0017】
[欠陥のサイズごとの学習モデルの具体例]
図2は、欠陥のサイズごとの学習モデルを生成する場合の具体例について説明を行う。
【0018】
具体的に、
図2(A)に示す学習画像IM11は、部品IM12を含む画像である。そして、
図2(A)に示す部品IM12は、欠陥IM13を含んでいる。また、
図2(C)に示す学習画像IM21は、部品IM22を含む画像である。そして、
図2(C)に示す部品IM22は、欠陥IM23を含んでいる。
【0019】
すなわち、
図2(A)に示す学習画像IM11は、比較的小さいサイズの欠陥IM13を含む部品IM12についての画像であり、
図2(C)に示す学習画像IM21は、比較的大きいサイズの欠陥IM23を含む部品IM22についての画像である。
【0020】
具体的に、情報処理装置1は、
図2(A)に示す学習画像IM11についての学習を行う場合、例えば、学習モデルを生成する欠陥のサイズとして予め定められた複数のサイズのうち、欠陥IM13に対応するサイズ(例えば、欠陥IM13のサイズに最も近いサイズ)を特定する。そして、情報処理装置1は、
図2(B)に示すように、特定したサイズに対応するウィンドウサイズWS11ごとに、学習画像IM11を分割して複数の分割画像を生成する。その後、情報処理装置1は、生成した複数の分割画像のそれぞれから抽出した特徴量を用いることによって機械学習を行う。
【0021】
また、情報処理装置1は、
図2(C)に示す学習画像IM21についての学習を行う場合、例えば、学習モデルを生成する欠陥のサイズとして予め定められた複数のサイズのうち、欠陥IM23に対応するサイズ(例えば、欠陥IM23のサイズに最も近いサイズ)を特定する。そして、情報処理装置1は、
図2(D)に示すように、特定したサイズに対応するウィンドウサイズWS21ごとに、学習画像IM21を分割して複数の分割画像を生成する。その後、情報処理装置1は、生成した複数の分割画像のそれぞれから抽出した特徴量を用いることによって機械学習を行う。
【0022】
これにより、情報処理装置1は、欠陥のサイズごとの学習モデルをそれぞれ生成することが可能になる。そのため、情報処理装置1は、状況に応じた学習モデルの使い分けを行うことが可能になり、検査画像に対応する部品に欠陥が含まれているか否かの判定を精度良く行うことが可能になる。
【0023】
しかしながら、事業者は、欠陥の各サイズについての学習画像を十分に用意することができない場合がある。そのため、情報処理装置1は、欠陥のサイズごとの学習モデルを網羅的に生成することができず、検査画像に対応する部品に欠陥が含まれているか否かの判定を精度良く行うことができない場合がある。
【0024】
そこで、本実施の形態における情報処理装置1は、複数の学習画像を第1サイズごとに分割することによって複数の分割画像(以下、第1分割画像とも呼ぶ)を生成する。また、情報処理装置1は、複数の学習画像を第1サイズと異なる第2サイズごとに分割することによって複数の分割画像(以下、第2分割画像とも呼ぶ)を生成する。
【0025】
そして、情報処理装置1は、複数の第1分割画像のうちの正常状態に対応する複数の分割画像(以下、第1正常分割画像とも呼ぶ)と、複数の第2分割画像のうちの正常状態に対応する複数の分割画像(以下、第2正常分割画像とも呼ぶ)とのそれぞれから、複数種類のパラメータに対応する特徴量をそれぞれ抽出する。さらに、情報処理装置1は、複数種類のパラメータから、複数の第1正常分割画像と複数の第2正常分割画像との間における特徴量の類似関係が所定の条件を満たすパラメータ(以下、第1パラメータとも呼ぶ)を特定する。
【0026】
その後、情報処理装置1は、特定した第1パラメータに対応する特徴量を用いることによって、複数の第1分割画像及び複数の第2分割画像の機械学習を行う。
【0027】
すなわち、情報処理装置1は、第1分割画像及び第2分割画像から特徴量の抽出を行うことができるパラメータのうち、欠陥のサイズに依存しない特徴量に対応する第1パラメータを特定する。そして、情報処理装置1は、特定した第1パラメータに対応する特徴量を用いることによって学習画像の機械学習を行う。
【0028】
これにより、情報処理装置1は、生成された学習モデルを用いることで、十分な数の学習画像が用意されなかったサイズの欠陥についても精度良く特定することが可能になる。そのため、情報処理装置1は、検査画像に対応する部品に欠陥が含まれているか否かの判定を精度良く行うことが可能になる。
【0029】
[情報処理システムのハードウエア構成]
次に、情報処理システム10のハードウエア構成について説明する。
図3は、情報処理装置1のハードウエア構成を説明する図である。
【0030】
情報処理装置1は、
図3に示すように、プロセッサであるCPU101と、メモリ102と、外部インターフェース(I/Oユニット)103と、記憶媒体104とを有する。各部は、バス105を介して互いに接続される。
【0031】
記憶媒体104は、例えば、部品の画像から欠陥を含む部品を特定する処理(以下、画像検査処理とも呼ぶ)を行うためのプログラム110を記憶するプログラム格納領域(図示しない)を有する。また、記憶媒体104は、例えば、画像検査処理を行う際に用いられる情報を記憶する記憶部130(以下、情報格納領域130とも呼ぶ)を有する。なお、記憶媒体104は、例えば、HDD(Hard Disk Drive)やSSD(Solid State Drive)であってよい。
【0032】
CPU101は、記憶媒体104からメモリ102にロードされたプログラム110を実行して画像検査処理を行う。
【0033】
また、外部インターフェース103は、例えば、操作端末5と通信を行う。
【0034】
[情報処理システムの機能]
次に、情報処理システム10の機能について説明を行う。
図4は、情報処理装置1の機能のブロック図である。
【0035】
情報処理装置1は、
図4に示すように、例えば、CPU101やメモリ102等のハードウエアとプログラム110とが有機的に協働することにより、情報受信部111と、情報管理部112と、分割画像生成部113と、特徴量抽出部114と、パラメータ特定部115と、機械学習実行部116と、スコア取得部117と、異常判定部118と、情報出力部119とを含む各種機能を実現する。
【0036】
また、情報処理装置1は、例えば、
図4に示すように、学習画像131と、第1分割画像132と、第2分割画像133と、学習モデル134とを情報格納領域130に記憶する。
【0037】
初めに、学習画像131の機械学習(学習モデル134の生成)を行う際の機能について説明を行う。
【0038】
情報受信部111は、例えば、操作端末5から送信された複数の学習画像131(部品についての学習画像)を受信する。
【0039】
情報管理部112は、例えば、情報受信部111が受信した複数の学習画像131を情報格納領域130に記憶する。
【0040】
分割画像生成部113は、例えば、情報格納領域130に記憶された複数の学習画像131を第1サイズごとに分割することによって複数の第1分割画像132を生成する。また、分割画像生成部113は、例えば、情報格納領域130に記憶された複数の学習画像131を第2サイズごとに分割することによって複数の第2分割画像133を生成する。そして、情報管理部112は、例えば、分割画像生成部113が生成した複数の第1分割画像132及び複数の第2分割画像133を情報格納領域130に記憶する。
【0041】
特徴量抽出部114は、分割画像生成部113が生成した複数の第1分割画像132のうちの複数の第1正常分割画像132aと、分割画像生成部113が生成した複数の第2分割画像133のうちの複数の第2正常分割画像133aとのそれぞれから、複数種類のパラメータに対応する特徴量をそれぞれ抽出する。
【0042】
パラメータ特定部115は、特徴量抽出部114が特徴量の抽出を行った複数種類のパラメータから、複数の第1正常分割画像132aと複数の第2正常分割画像133aとの間における特徴量の類似関係が所定の条件を満たす第1パラメータを特定する。
【0043】
機械学習実行部116は、パラメータ特定部115が特定した第1パラメータに対応する特徴量を用いることによって、複数の第1分割画像132及び複数の第2分割画像133の機械学習を行う。そして、機械学習実行部116は、情報格納領域130において学習モデル134の生成を行う。
【0044】
次に、学習モデル134を用いることによって欠陥を含む部品の特定を行う際の機能について説明を行う。
【0045】
情報受信部111は、例えば、操作端末5から送信された検査画像(部品についての検査画像)を受信する。
【0046】
分割画像生成部113は、情報受信部111が受信した検査画像を所定のサイズごとに分割することによって、複数の分割画像を生成する。具体的に、分割画像生成部113は、事業者が予め指定したサイズごとに、情報受信部111が受信した検査画像の分割を行う。
【0047】
特徴量抽出部114は、分割画像生成部113が生成した複数の分割画像から第1パラメータに対応する特徴量をそれぞれ抽出する。
【0048】
スコア取得部117は、分割画像生成部113が生成した複数の分割画像ごとに、特徴量抽出部114が抽出した第1パラメータに対応する特徴量の入力に伴って学習モデル134から出力されるスコアを取得する。すなわち、スコア取得部117は、情報格納領域130に生成された学習モデル134を用いることによって、分割画像生成部113が生成した複数の分割画像ごとのスコアを取得する。
【0049】
異常判定部118は、分割画像生成部113が生成した複数の分割画像のうち、スコア取得部117が取得したスコアが閾値以下である分割画像が異常状態にあると判定する。
【0050】
情報出力部119は、例えば、異常状態にある分割画像が含まれていると異常判定部118が判定した場合、情報受信部111が受信した検査画像が異常状態にあることを示す情報を操作端末5に出力する。
【0051】
[第1の実施の形態の概略]
次に、第1の実施の形態の概略について説明する。
図5及び
図6は、第1の実施の形態における画像検査処理の概略を説明するフローチャート図である。
【0052】
情報処理装置1は、
図5に示すように、機械学習実行タイミングまで待機する(S1のNO)。機械学習実行タイミングは、例えば、事業者が画像検査処理を開始する旨の情報を情報処理装置1に入力したタイミングであってよい。
【0053】
そして、機械学習実行タイミングになった場合(S1のYES)、情報処理装置1は、複数の学習画像131を第1サイズごとに分割することによって複数の第1分割画像132を生成する(S2)。また、情報処理装置1は、この場合、複数の学習画像131を第2サイズごとに分割することによって複数の第2分割画像133を生成する(S3)。
【0054】
続いて、情報処理装置1は、複数の第1分割画像132のうちの正常状態に対応する複数の第1正常分割画像132aと、複数の第2分割画像133のうちの正常状態に対応する複数の第2正常分割画像133aとのそれぞれから、複数種類のパラメータに対応する特徴量をそれぞれ抽出する(S4)。
【0055】
さらに、情報処理装置1は、
図6に示すように、複数種類のパラメータから、複数の第1正常分割画像132aと複数の第2正常分割画像133aとの間における特徴量の類似関係が所定の条件を満たす第1パラメータを特定する(S5)。
【0056】
その後、情報処理装置1は、S5の処理で特定した第1パラメータに対応する特徴量を用いることによって、複数の第1分割画像132及び複数の第2分割画像133の機械学習を行う(S6)。
【0057】
すなわち、情報処理装置1は、第1分割画像132及び第2分割画像133から特徴量の抽出を行うことができるパラメータのうち、欠陥のサイズに依存しない特徴量に対応する第1パラメータを特定する。そして、情報処理装置1は、特定した第1パラメータに対応する特徴量を用いることによって学習画像の機械学習を行う。
【0058】
これにより、情報処理装置1は、生成された学習モデルを用いることで、十分な数の学習画像131が用意されなかったサイズの欠陥についても精度良く特定することが可能になる。そのため、情報処理装置1は、検査画像に対応する部品に欠陥が含まれているか否かの判定を精度良く行うことが可能になる。
【0059】
[第1の実施の形態の詳細]
次に、第1の実施の形態の詳細について説明する。
図7から
図13は、第1の実施の形態における画像検査処理の詳細を説明するフローチャート図である。また、
図14から
図20は、第1の実施の形態における画像検査処理の詳細を説明する図である。
【0060】
[画像蓄積処理]
初めに、学習画像131の蓄積を行う処理(以下、画像蓄積処理とも呼ぶ)について説明を行う。
図7は、画像蓄積処理を説明するフローチャート図である。
【0061】
情報処理装置1の情報受信部111は、
図7に示すように、学習画像131を受信するまで待機する(S11のNO)。具体的に、情報受信部111は、例えば、学習画像131が操作端末5から送信されるまで待機する。
【0062】
そして、学習画像131を受信した場合(S11のYES)、情報処理装置1の情報管理部112は、S11の処理で受信した学習画像131を情報格納領域130に記憶する(S12)。
【0063】
[機械学習処理]
次に、学習画像131の機械学習を行う処理(以下、機械学習処理とも呼ぶ)について説明を行う。
図8から
図11は、機械学習処理を説明するフローチャート図である。
【0064】
情報管理部112は、
図8に示すように、機械学習実行タイミングまで待機する(S21のNO)。
【0065】
そして、機械学習実行タイミングになった場合(S21のYES)、分割画像生成部113は、情報格納領域130に記憶された複数の学習画像131を第1サイズごとに分割することによって複数の第1分割画像132を生成する(S22)。具体的に、分割画像生成部113は、情報格納領域130に記憶された複数の学習画像131のうちの少なくとも一部の画像について分割を行う。以下、S22の処理の具体例について説明を行う。
【0066】
[S22の処理の具体例]
図14は、S22の処理の具体例を説明する図である。
図14(A)は、学習画像131に含まれる学習画像IM31に対してS22の処理を行う際の具体例を説明する図であり、
図14(B)は、学習画像131に含まれる学習画像IM32に対してS22の処理を行う際の具体例を説明する図である。
【0067】
具体的に、分割画像生成部113は、例えば、
図14(A)に示すように、学習画像IM31をウィンドウサイズWS31(第1サイズ)ごとに分割することによって、複数の第1分割画像132を生成する。また、分割画像生成部113は、例えば、
図14(B)に示すように、学習画像IM32をウィンドウサイズWS31ごとに分割することによって、複数の第1分割画像132を生成する。
【0068】
図8に戻り、分割画像生成部113は、情報格納領域130に記憶された複数の学習画像131を第2サイズごとに分割することによって複数の第2分割画像133を生成する(S23)。具体的に、分割画像生成部113は、情報格納領域130に記憶された複数の学習画像131のうちの少なくとも一部の画像について分割を行う。以下、S23の処理の具体例について説明を行う。
【0069】
[S23の処理の具体例]
図15は、S23の処理の具体例を説明する図である。
図15(A)は、学習画像131に含まれる学習画像IM31に対してS23の処理を行う際の具体例を説明する図であり、
図15(B)は、学習画像131に含まれる学習画像IM32に対してS23の処理を行う際の具体例を説明する図である。
【0070】
具体的に、分割画像生成部113は、例えば、
図15(A)に示すように、学習画像IM31をウィンドウサイズWS32(第2サイズ)ごとに分割することによって、複数の第2分割画像133を生成する。また、分割画像生成部113は、例えば、
図15(B)に示すように、学習画像IM32をウィンドウサイズWS32ごとに分割することによって、複数の第2分割画像133を生成する。
【0071】
図8に戻り、情報処理装置1の特徴量抽出部114は、S22の処理で生成した複数の第1分割画像132から複数の第1正常分割画像132aを特定する(S24)。
【0072】
具体的に、特徴量抽出部114は、例えば、S22の処理で生成した複数の第1分割画像132のそれぞれについて事業者が付加した状態情報を参照し、S22の処理で生成した複数の第1分割画像132のうち、各画像が正常状態にあることを示す状態情報に対応付けられた画像を第1正常分割画像132aとして特定する。
【0073】
そして、特徴量抽出部114は、S23の処理で生成した複数の第2分割画像133から複数の第2正常分割画像133aを特定する(S25)。
【0074】
具体的に、特徴量抽出部114は、例えば、S23の処理で生成した複数の第2分割画像133のそれぞれについて事業者が付加した状態情報を参照し、S23の処理で生成した複数の第2分割画像133のうち、各画像が正常状態にあることを示す状態情報に対応付けられた画像を第2正常分割画像133aとして特定する。
【0075】
なお、事業者は、例えば、S22の処理で生成した複数の第1分割画像132のうち、部品の欠陥を含まない画像に対して、各画像が正常状態にあることを示す状態情報を付加するものであってよい。また、事業者は、例えば、S22の処理で生成した複数の第1分割画像132のうち、部品の欠陥の少なくとも一部を含む画像に対して、各画像が異常状態にあることを示す状態情報を付加するものであってよい。
【0076】
続いて、特徴量抽出部114は、
図9に示すように、S24の処理等で生成した複数の第1正常分割画像132a及び複数の第2正常分割画像133aのそれぞれから、複数種類のパラメータに対応する特徴量を抽出する(S31)。
【0077】
具体的に、特徴量抽出部114は、例えば、第1分割画像132や第2分割画像133についての平均輝度や輝度分散等に対応する特徴量をそれぞれ抽出する。
【0078】
そして、情報処理装置1のパラメータ特定部115は、S31の処理で特徴量の抽出を行ったパラメータごとに、S31の処理で抽出した複数の第1正常分割画像132aの特徴量についての分布を生成する(S32)。
【0079】
また、パラメータ特定部115は、S31の処理で特徴量の抽出を行ったパラメータごとに、S31の処理で抽出した複数の第2正常分割画像133aの特徴量についての分布を生成する(S33)。
【0080】
その後、パラメータ特定部115は、S31の処理で特徴量の抽出を行ったパラメータごとに、S32の処理で生成した分布の形状とS33の処理で生成した分布の形状との差を算出する(S34)。
【0081】
そして、パラメータ特定部115は、S31の処理で特徴量の抽出を行ったパラメータのうち、S34の処理で算出した差が所定条件を満たす特徴量に対応するパラメータを第1パラメータとして特定する(S35)。以下、S34及びS35の処理の詳細について説明を行う。
【0082】
[S34及びS35の処理の詳細]
図11は、S34及びS35の処理の詳細を説明するフローチャート図である。
【0083】
パラメータ特定部115は、
図11に示すように、S31の処理で特徴量の抽出を行ったパラメータごとに、S32の処理で生成した分布の基本統計量を算出する(S101)。
【0084】
具体的に、パラメータ特定部115は、例えば、S31の処理で特徴量の抽出を行ったパラメータに輝度分散が含まれる場合、S32の処理で生成した分布における輝度分散の平均(以下、単に平均μ1とも呼ぶ)と、S32の処理で生成した分布における輝度分散の標準偏差(以下、単に標準偏差ρ1とも呼ぶ)と、S32の処理で生成した分布に対応するヒストグラムの歪度(以下、単に歪度s1とも呼ぶ)と、S32の処理で生成した分布に対応するヒストグラムの尖度(以下、単に尖度k1とも呼ぶ)とを輝度分散に対応する基本統計量として特定する。
【0085】
また、パラメータ特定部115は、S31の処理で特徴量の抽出を行ったパラメータごとに、S33の処理で生成した分布の基本統計量を算出する(S102)。
【0086】
具体的に、パラメータ特定部115は、例えば、S31の処理で特徴量の抽出を行ったパラメータに輝度分散が含まれる場合、S33の処理で生成した分布における輝度分散の平均(以下、単に平均μ2とも呼ぶ)と、S33の処理で生成した分布における輝度分散の標準偏差(以下、単に標準偏差ρ2とも呼ぶ)と、S33の処理で生成した分布に対応するヒストグラムの歪度(以下、単に歪度s2とも呼ぶ)と、S33の処理で生成した分布に対応するヒストグラムの尖度(以下、単に尖度k2とも呼ぶ)とを輝度分散に対応する基本統計量として特定する。
【0087】
そして、パラメータ特定部115は、S31の処理で特徴量の抽出を行ったパラメータごとに、S101及びS102の処理で算出した基本統計量から、S32の処理で生成した分布とS33の処理で生成した分布との形状の類似度を算出する(S103)。
【0088】
具体的に、パラメータ特定部115は、例えば、以下の式(1)を用いることによって類似度を算出する。
類似度=|μ1-μ2|+|ρ1-ρ2|+|s1-s2|+|k1-k2| (式1)
【0089】
続いて、パラメータ特定部115は、S103の処理で算出した類似度が高い順に、N個のパラメータを特定する(S104)。
【0090】
具体的に、パラメータ特定部115は、例えば、以下の式(2)及び式(3)を用いることによってNを算出する。なお、以下の式(2)及び式(3)におけるMは、例えば、S22の処理において第1分割画像132を生成する際に用いた学習画像131(S23の処理において第2分割画像133を生成する際に用いた学習画像131)のデータ数であってよい。
N=M/10+2(M<80) (式2)
N=10(M≧80) (式3)
【0091】
その後、パラメータ特定部115は、S104の処理で特定したN個のパラメータを第1パラメータとして特定する(S105)。
【0092】
なお、パラメータ特定部115は、S35の処理において、例えば、S32の処理で生成した分布の中心(例えば、分布の中央値、平均値または最頻値)とS33の処理で生成した分布の中心との差が閾値以下である特徴量に対応するパラメータを、第1パラメータとして特定するものであってもよい。また、パラメータ特定部115は、例えば、S32の処理で生成した分布の幅とS33の処理で生成した分布の幅との差が閾値以下である特徴量に対応するパラメータを、第1パラメータとして特定するものであってもよい。以下、分布の中心値の差を用いる場合におけるS34及びS35の処理の具体例について説明を行う。
【0093】
[S34及びS35の処理の具体例]
図16及び
図17は、S34及びS35の処理の具体例を説明する図である。
図16(A)は、パラメータとして平均輝度を採用した場合における第1正常分割画像132aの分布を説明する具体例であり、
図16(B)は、パラメータとして平均輝度を採用した場合における第2正常分割画像133aの分布を説明する具体例である。また、
図17(A)は、パラメータとして輝度分散を採用した場合における第1正常分割画像132aの分布を説明する具体例であり、
図17(B)は、パラメータとして輝度分散を採用した場合における第2正常分割画像133aの分布を説明する具体例である。
【0094】
具体的に、
図16に示す例において、
図16(A)の右側に示すヒストグラムにおける中央値は、
図16(B)の右側に示すヒストグラムにおける中央値と一致している。そのため、パラメータ特定部115は、この場合、例えば、第1正常分割画像132aの分布の中央値と第2正常分割画像133aの中央値との差が閾値以下であると判定し、平均輝度を第1パラメータとして特定する。
【0095】
一方、
図17に示す例において、
図17(A)の右側に示すヒストグラムにおける中央値は、
図17(B)の右側に示すヒストグラムにおける中央値と一致していない。そのため、パラメータ特定部115は、第1分割画像132の分布の中央値と第2分割画像133の中央値との差異が閾値を上回っていると判定した場合、例えば、輝度分散を第1パラメータとして特定しない旨の決定を行う。
【0096】
なお、特徴量抽出部114は、S31の処理において、例えば、第1分割画像132や第2分割学習画像132についての輝度ヒストグラムや勾配ヒストグラムに対応する特徴量を抽出するものであってもよい。そして、パラメータ特定部115は、S32及びS33の処理において、例えば、輝度ヒストグラムや勾配ヒストグラムに対応する特徴量についての分布を生成するものであってもよい。以下、輝度ヒストグラムに対応する分布の具体例について説明を行う。
【0097】
[輝度ヒストグラムに対応する分布の具体例]
図18は、輝度ヒストグラムに対応する分布の具体例を説明する図である。
図18(A)は、第1正常分割画像132aごとの輝度ヒストグラムの具体例であり、
図18(B)及び
図18(C)は、
図18(A)に示す輝度ヒストグラムに対応する分布の具体例である。
【0098】
具体的に、
図18(A)に示す輝度ヒストグラムは、例えば、輝度値が0から63までの間である画素数を示す区画(以下、第1区画とも呼ぶ)と、輝度値が64から127までの間である画素数を示す区画(以下、第2区画とも呼ぶ)と、輝度値が128から191までの間である画素数を示す区画(以下、第3区画とも呼ぶ)と、輝度値が192から255までの間である画素数を示す区画(以下、第4区画とも呼ぶ)とを含む。
【0099】
そして、特徴量抽出部114は、S31の処理において、例えば、第1正常分割画像132aごとに、第1区画、第2区画、第3区画及び第4区画のそれぞれに対応する画素数を輝度ヒストグラムに対応する特徴量を抽出する。
【0100】
その後、パラメータ特定部115は、S32の処理において、例えば、
図18(B)に示すように、第1区画の画素数のそれぞれに対応する第1正常分割画像132aの数を集計することによって、第1正常分割画像132aの輝度ヒストグラムについての分布を生成する。また、パラメータ特定部115は、S33の処理において、例えば、第1区画の画素数のそれぞれに対応する第2正常分割画像133aの数を集計することによって、第2正常分割画像133aの輝度ヒストグラムについての分布(図示しない)を生成する。
【0101】
そして、パラメータ特定部115は、S34及びS35の処理において、第1正常分割画像132aの輝度ヒストグラムについての分布と、第2正常分割画像133aの輝度ヒストグラムについての分布とを用いることによって、第1パラメータの特定を行う。
【0102】
なお、パラメータ特定部115は、S31の処理において、例えば、
図18(C)に示すように、第4区画の画素数のそれぞれに対応する第1正常分割画像132aの数を集計することによって、第1正常分割画像132aの輝度ヒストグラムについての分布についても生成するものであってもよい。
【0103】
そして、パラメータ特定部115は、S34及びS35の処理において、複数区画(例えば、第1区画及び第4区画)に対応する輝度ヒストグラムについての分布をそれぞれ用いることによって、第1パラメータの特定を行うものであってもよい。
【0104】
具体的に、パラメータ特定部115は、例えば、複数区画に対応する分布のそれぞれについて形状の差を算出するものであってよい。そして、パラメータ特定部115は、例えば、複数区画に対応する形状の差のうちの少なくとも1つが所定条件を満たす場合、輝度ヒストグラムを第1パラメータとして特定するものであってよい。また、パラメータ特定部115は、この場合、例えば、輝度ヒストグラムのうち、形状の差が所定条件の満たす区画に対応する輝度ヒストグラムのみを第1パラメータとして特定するものであってもよい。
【0105】
[勾配ヒストグラムに対応する分布の具体例]
次に、勾配ヒストグラムに対応する分布の具体例について説明を行う。
図19は、勾配ヒストグラムに対応する分布の具体例を説明する図である。
図19(A)は、第1正常分割画像132aごとの勾配ヒストグラムの具体例であり、
図19(B)及び
図19(C)は、
図19(A)に示す勾配ヒストグラムに対応する分布の具体例である。
【0106】
具体的に、
図19(A)に示す輝度ヒストグラムは、輝度勾配が0°から45°までの間である画素数を示す区画(以下、第1区画とも呼ぶ)と、輝度勾配が46°から90°までの間である画素数を示す区画(以下、第2区画とも呼ぶ)と、輝度勾配が91°から135°までの間である画素数を示す区画(以下、第3区画とも呼ぶ)と、輝度勾配が136°から180°までの間である画素数を示す区画(以下、第4区画とも呼ぶ)とを含む。
【0107】
そして、特徴量抽出部114は、S31の処理において、例えば、第1正常分割画像132aごとに、第1区画、第2区画、第3区画及び第4区画のそれぞれに対応する画素数を勾配ヒストグラムに対応する特徴量を抽出する。
【0108】
その後、パラメータ特定部115は、S32の処理において、例えば、
図19(B)に示すように、第1区画の画素数のそれぞれに対応する第1正常分割画像132aの数を集計することによって、第1正常分割画像132aの勾配ヒストグラムについての分布を生成する。また、パラメータ特定部115は、S33の処理において、例えば、第1区画の画素数のそれぞれに対応する第2正常分割画像133aの数を集計することによって、第2正常分割画像133aの勾配ヒストグラムについての分布(図示しない)を生成する。
【0109】
そして、パラメータ特定部115は、S34及びS35の処理において、第1正常分割画像132aの勾配ヒストグラムについての分布と、第2正常分割画像133aの勾配ヒストグラムについての分布とを用いることによって、第1パラメータの特定を行う。
【0110】
なお、パラメータ特定部115は、S31の処理において、例えば、
図19(C)に示すように、第3区画の画素数のそれぞれに対応する第1正常分割画像132aの数を集計することによって、第1正常分割画像132aの勾配ヒストグラムについての分布についても生成するものであってもよい。
【0111】
そして、パラメータ特定部115は、
図18で説明した場合と同様に、S34及びS35の処理において、複数区画(例えば、第1区画及び第3区画)に対応する勾配ヒストグラムについての分布をそれぞれ用いることによって、第1パラメータの特定を行うものであってもよい。
【0112】
図10に戻り、特徴量抽出部114は、S22の処理で生成した複数の第1分割画像132から複数の第1異常分割画像132bを特定する(S41)。また、特徴量抽出部114は、S23の処理で生成した複数の第2分割画像133から複数の第2異常分割画像133bを特定する(S42)。
【0113】
そして、特徴量抽出部114は、S41の処理等で特定した複数の第1異常分割画像132b及び複数の第2異常分割画像133bから、S35の処理で特定した第1パラメータに対応する特徴量を抽出する(S43)。
【0114】
続いて、情報管理部112は、S31の処理において抽出した第1パラメータに対応する特徴量と、各画像が正常状態にあることを示す状態情報とを対応付けた複数の学習データと、S43の処理において抽出した第1パラメータに対応する特徴量と、各画像が異常状態にあることを示す状態情報とを対応付けた複数の学習データとを生成する(S44)。
【0115】
すなわち、情報管理部112は、S31の処理において複数の第1正常分割画像132a及び複数の第2正常分割画像133aのそれぞれから抽出した第1パラメータに対応する特徴量と、各画像が正常状態にあることを示す状態情報とを対応付けた複数の学習データを生成する。また、情報管理部112は、S43の処理において複数の第1異常分割画像132b及び複数の第2異常分割画像133bのそれぞれから抽出した第1パラメータに対応する特徴量と、各画像が異常状態にあることを示す状態情報とをそれぞれ対応付けた複数の学習データを生成する。
【0116】
その後、情報処理装置1の機械学習実行部116は、S44の処理で生成した複数の学習データを用いた機械学習を行うことによって学習モデル134を生成する(S45)。そして、情報処理装置1は、機械学習処理を終了する。
【0117】
すなわち、情報処理装置1は、第1分割画像132及び第2分割画像133から特徴量の抽出を行うことができるパラメータのうち、欠陥のサイズに依存しない特徴量に対応する第1パラメータを特定する。そして、情報処理装置1は、特定した第1パラメータに対応する特徴量を用いることによって機械学習を行う。
【0118】
これにより、情報処理装置1は、生成された学習モデル134を用いることで、
図20に示すように、十分な数の学習画像131が用意されなかったサイズの欠陥についても精度良く特定することが可能になる。そのため、情報処理装置1は、検査画像に対応する部品に欠陥が含まれているか否かの判定を精度良く行うことが可能になる。
【0119】
なお、パラメータ特定部115は、S34及びS35の処理において、例えば、S31の処理で特徴量の抽出を行ったパラメータごとに、各パラメータに対応する分布のヒストグラムにおける区画ごとのサンプル数を特定し、区画の数を次元とするサンプル数のベクトルを作成するものであってもよい。そして、パラメータ特定部115は、例えば、各パラメータに対応するベクトル間のコサイン類似度を算出することによって、第1パラメータの特定を行うものであってもよい。また、パラメータ特定部115は、例えば、各パラメータに対応するベクトル間のヒストグラム交差法による類似度を算出することによって、第1パラメータの特定を行うものであってもよい。
【0120】
[異常特定処理]
次に、欠陥を含む部品についての検査画像を特定する処理(以下、異常特定処理とも呼ぶ)について説明を行う。
図12及び
図13は、異常特定処理を説明するフローチャート図である。
【0121】
情報受信部111は、検査画像(新たな画像)を受信するまで待機する(S51のNO)。具体的に、情報受信部111は、操作端末5から検査画像が送信されるまで待機する。
【0122】
そして、検査画像を受信した場合(S51のYES)、分割画像生成部113は、S51の処理で受信した検査画像を所定のサイズごとに分割することによって分割画像を生成する(S52)。この場合、分割画像生成部113は、例えば、S24の処理において用いた第1サイズとS25の処理において用いた第2サイズとの相乗平均を所定のサイズとして用いるものであってよい。
【0123】
続いて、特徴量抽出部114は、S52の処理で生成した分割画像から、S35の処理で特定した第1パラメータに対応する特徴量を抽出する(S53)。
【0124】
その後、スコア取得部117は、S52の処理で生成した分割画像ごとに、S53の処理で抽出した第1パラメータに対応する特徴量の入力に伴って学習モデル134から出力されるスコアを取得する(S54)。
【0125】
そして、情報処理装置1の異常判定部118は、
図13に示すように、S54の処理で取得したスコアから閾値以下のスコアを特定する(S61)。
【0126】
その結果、閾値以下のスコアが存在すると判定した場合(S62のYES)、異常判定部118は、S52の処理で生成した分割画像のうち、S61の処理で特定したスコアに対応する分割画像が異常状態にあると判定する(S63)。
【0127】
また、異常判定部118は、この場合、S51の処理で受信した検査画像が異常状態にあると判定する(S64)。すなわち、異常判定部118は、S51の処理で受信した検査画像に対応する部品に欠陥が含まれていると判定する。
【0128】
その後、情報処理装置1の情報出力部119は、例えば、S51の処理で受信した検査画像が異常状態にあることを示す情報を操作端末5に出力する(S64)。
【0129】
そして、情報処理装置1は、異常特定処理を終了する。なお、情報処理装置1は、例えば、S62の処理において、閾値以下のスコアが存在しないと判定した場合についても同様に(S62のNO)、異常特定処理を終了する。
【0130】
これにより、情報処理装置1は、検査画像に対応する部品に欠陥が含まれているか否かの判定を精度良く行うことが可能になる。
【0131】
以上の実施の形態をまとめると、以下の付記のとおりである。
【0132】
(付記1)
複数の学習画像の機械学習を行う複数の情報処理装置を有する画像検査システムであって、
前記複数の情報処理装置のそれぞれは、
前記複数の学習画像を第1サイズごとに分割することによって複数の第1分割画像を生成し、前記複数の学習画像を前記第1サイズと異なる第2サイズごとに分割することによって複数の第2分割画像を生成する分割画像生成部と、
前記複数の第1分割画像のうちの正常状態に対応する複数の第1正常分割画像と、前記複数の第2分割画像のうちの正常状態に対応する複数の第2正常分割画像とのそれぞれから、複数種類のパラメータに対応する特徴量をそれぞれ抽出する特徴量抽出部と、
前記複数種類のパラメータから、前記複数の第1正常分割画像と前記複数の第2正常分割画像との間における前記特徴量の類似関係が所定の条件を満たす第1パラメータを特定するパラメータ特定部と、
特定した前記第1パラメータに対応する特徴量を用いることによって、前記複数の第1分割画像及び前記複数の第2分割画像の機械学習を行う機械学習実行部と、を有する、
ことを特徴とする画像検査システム。
【0133】
(付記2)
付記1において、
前記特徴量抽出部は、前記複数の第1分割画像のうちの異常状態に対応する複数の第1異常分割画像と、前記複数の第2分割画像のうちの異常状態に対応する複数の第2異常分割画像とのそれぞれから、前記第1パラメータに対応する特徴量をそれぞれ抽出し、
前記機械学習実行部は、前記複数の第1正常分割画像及び前記複数の第2正常分割画像のそれぞれから抽出した前記第1パラメータに対応する特徴量と、各画像が正常状態にあることを示す状態情報とをそれぞれ対応付けた複数の学習データと、前記複数の第1異常分割画像及び前記複数の第2異常分割画像のそれぞれから抽出した前記第1パラメータに対応する特徴量と、各画像が異常状態にあることを示す状態情報とをそれぞれ対応付けた複数の学習データとの機械学習を行う、
ことを特徴とする画像検査システム。
【0134】
(付記3)
付記1において、
前記パラメータ特定部は、前記複数の第1正常分割画像と前記複数の第2正常分割画像との間における分布の形状の差が所定条件を満たす特徴量に対応するパラメータを前記第1パラメータとして特定する、
ことを特徴とする画像検査システム。
【0135】
(付記4)
付記3において、
前記パラメータ特定部は、前記複数の第1正常分割画像と前記複数の第2正常分割画像との間における分布の中心の差が閾値以下である特徴量に対応するパラメータを前記第1パラメータとして特定する、
ことを特徴とする画像検査システム。
【0136】
(付記5)
付記3において、
前記パラメータ特定部は、前記複数の第1正常分割画像と前記複数の第2正常分割画像との間における分布の幅の差が閾値以下である特徴量に対応するパラメータを前記第1パラメータとして特定する、
ことを特徴とする画像検査システム。
【0137】
(付記6)
付記2において、
前記機械学習実行部は、前記機械学習を行うことによって学習モデルを生成し、
前記分割画像生成部は、新たな画像を受け付けた場合、前記新たな画像を所定のサイズごとに分割することによって複数の分割画像を生成し、
前記特徴量抽出部は、前記複数の分割画像から前記第1パラメータに対応する特徴量をそれぞれ抽出し、さらに、
前記複数の情報処理装置のそれぞれは、
前記複数の分割画像ごとに、前記第1パラメータに対応する特徴量の入力に伴って前記学習モデルから出力されるスコアを取得するスコア取得部と、
前記複数の分割画像のうち、取得した前記スコアが閾値以下である分割画像が異常状態にあると判定する異常判定部と、を有する、
ことを特徴とする画像検査システム。
【0138】
(付記7)
付記6において、さらに、
前記複数の情報処理装置のそれぞれは、
前記異常状態にある分割画像が前記複数の分割画像に含まれていると判定した場合、前記新たな画像が異常状態にあることを示す情報を出力する情報出力部を有する、
ことを特徴とする画像検査システム。
【0139】
(付記8)
複数の学習画像を第1サイズごとに分割することによって複数の第1分割画像を生成し、前記複数の学習画像を前記第1サイズと異なる第2サイズごとに分割することによって複数の第2分割画像を生成する分割画像生成部と、
前記複数の第1分割画像のうちの正常状態に対応する複数の第1正常分割画像と、前記複数の第2分割画像のうちの正常状態に対応する複数の第2正常分割画像とのそれぞれから、複数種類のパラメータに対応する特徴量をそれぞれ抽出する特徴量抽出部と、
前記複数種類のパラメータから、前記複数の第1正常分割画像と前記複数の第2正常分割画像との間における前記特徴量の類似関係が所定の条件を満たす第1パラメータを特定するパラメータ特定部と、
特定した前記第1パラメータに対応する特徴量を用いることによって、前記複数の第1分割画像及び前記複数の第2分割画像の機械学習を行う機械学習実行部と、を有する、
ことを特徴とする画像検査装置。
【0140】
(付記9)
付記8において、
前記特徴量抽出部は、前記複数の第1分割画像のうちの異常状態に対応する複数の第1異常分割画像と、前記複数の第2分割画像のうちの異常状態に対応する複数の第2異常分割画像とのそれぞれから、前記第1パラメータに対応する特徴量をそれぞれ抽出し、
前記機械学習実行部は、前記複数の第1正常分割画像及び前記複数の第2正常分割画像のそれぞれから抽出した前記第1パラメータに対応する特徴量と、各画像が正常状態にあることを示す状態情報とをそれぞれ対応付けた複数の学習データと、前記複数の第1異常分割画像及び前記複数の第2異常分割画像のそれぞれから抽出した前記第1パラメータに対応する特徴量と、各画像が異常状態にあることを示す状態情報とをそれぞれ対応付けた複数の学習データとの機械学習を行う、
ことを特徴とする画像検査装置。
【0141】
(付記10)
付記9において、
前記機械学習実行部は、前記機械学習を行うことによって学習モデルを生成し、
前記分割画像生成部は、新たな画像を受け付けた場合、前記新たな画像を所定のサイズごとに分割することによって複数の分割画像を生成し、
前記特徴量抽出部は、前記複数の分割画像から前記第1パラメータに対応する特徴量をそれぞれ抽出し、さらに、
前記複数の分割画像ごとに、前記第1パラメータに対応する特徴量の入力に伴って前記学習モデルから出力されるスコアを取得するスコア取得部と、
前記複数の分割画像のうち、取得した前記スコアが閾値以下である分割画像が異常状態にあると判定する異常判定部と、を有する、
ことを特徴とする画像検査装置。
【0142】
(付記11)
複数の学習画像を第1サイズごとに分割することによって複数の第1分割画像を生成し、前記複数の学習画像を前記第1サイズと異なる第2サイズごとに分割することによって複数の第2分割画像を生成し、
前記複数の第1分割画像のうちの正常状態に対応する複数の第1正常分割画像と、前記複数の第2分割画像のうちの正常状態に対応する複数の第2正常分割画像とのそれぞれから、複数種類のパラメータに対応する特徴量をそれぞれ抽出し、
前記複数種類のパラメータから、前記複数の第1正常分割画像と前記複数の第2正常分割画像との間における前記特徴量の類似関係が所定の条件を満たす第1パラメータを特定し、
特定した前記第1パラメータに対応する特徴量を用いることによって、前記複数の第1分割画像及び前記複数の第2分割画像の機械学習を行う、
処理をコンピュータに実行させることを特徴とする画像検査プログラム。
【0143】
(付記12)
付記11において、さらに、
前記複数の第1分割画像のうちの異常状態に対応する複数の第1異常分割画像と、前記複数の第2分割画像のうちの異常状態に対応する複数の第2異常分割画像とのそれぞれから、前記第1パラメータに対応する特徴量をそれぞれ抽出する、
処理をコンピュータに実行させ、
前記機械学習を行う処理では、前記複数の第1正常分割画像及び前記複数の第2正常分割画像のそれぞれから抽出した前記第1パラメータに対応する特徴量と、各画像が正常状態にあることを示す状態情報とをそれぞれ対応付けた複数の学習データと、前記複数の第1異常分割画像及び前記複数の第2異常分割画像のそれぞれから抽出した前記第1パラメータに対応する特徴量と、各画像が異常状態にあることを示す状態情報とをそれぞれ対応付けた複数の学習データとの機械学習を行う、
ことを特徴とする画像検査プログラム。
【0144】
(付記13)
付記12において、
前記機械学習を行う処理では、前記機械学習を行うことによって学習モデルを生成し、さらに、
新たな画像を受け付けた場合、前記新たな画像を所定のサイズごとに分割することによって複数の分割画像を生成し、
前記複数の分割画像から前記第1パラメータに対応する特徴量をそれぞれ抽出し、
前記複数の分割画像ごとに、前記第1パラメータに対応する特徴量の入力に伴って前記学習モデルから出力されるスコアを取得し、
前記複数の分割画像のうち、取得した前記スコアが閾値以下である分割画像が異常状態にあると判定する、
処理をコンピュータに実行させることを特徴とする画像検査プログラム。
【符号の説明】
【0145】
1:情報処理装置 5:操作端末
NW:ネットワーク 10:情報処理システム