特開 2024-75371 画像判定方法及び画像判定装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024075371

(43)【公開日】2024-06-03

(54)【発明の名称】画像判定方法及び画像判定装置

(51)【国際特許分類】

   G06T 7/00 20170101AFI20240527BHJP

   G06V 30/12 20220101ALI20240527BHJP

   G06V 30/194 20220101ALI20240527BHJP

【ＦＩ】

G06T7/00 350B

G06T7/00 610B

G06V30/12 C

G06V30/194

【審査請求】未請求

【請求項の数】4

【出願形態】ＯＬ

(21)【出願番号】P 2022186772

(22)【出願日】2022-11-22

(71)【出願人】

【識別番号】000000929

【氏名又は名称】カヤバ株式会社

(74)【代理人】

【識別番号】110002468

【氏名又は名称】弁理士法人後藤特許事務所

(72)【発明者】

【氏名】鈴木 健斗

(72)【発明者】

【氏名】小木曽 茂寿

【テーマコード（参考）】

5B064

5L096

【Ｆターム（参考）】

5B064AA05

5B064AB02

5B064DA03

5B064DA27

5L096BA03

5L096EA03

5L096FA59

5L096KA04

(57)【要約】

【課題】画像判定において簡易な方法で判定精度を向上させる。
【解決手段】画像判定方法は、判定対象を含む対象画像を取得する画像取得工程と、対象画像から判定対象を含む所定領域の画像を判定画像として抽出する抽出工程と、所定の判定条件を満たす画像を教師データとして機械学習された学習済みモデルによって、判定画像における判定対象が判定条件を満たすかを判定する判定工程と、を含み、判定工程では、判定対象が判定条件に適合しないと判定されると、判定画像に対する判定対象の相対的な大きさを変更した再判定画像を生成し、再判定画像内の判定対象が判定条件を満たすか否かを再判定する。
【選択図】図３

【特許請求の範囲】

【請求項1】

判定対象を含む対象画像を取得する画像取得工程と、
前記対象画像から前記判定対象を含む所定領域の画像を判定画像として抽出する抽出工程と、
所定の判定条件を満たす画像を教師データとして機械学習された学習済みモデルによって、前記判定画像における前記判定対象が前記判定条件を満たすかを判定する判定工程と、を含み、
前記判定工程では、前記判定対象が前記判定条件に適合しないと判定されると、前記判定画像に対する前記判定対象の相対的な大きさを変更した再判定画像を生成し、前記再判定画像内の前記判定対象が前記判定条件を満たすか否かを再判定することを特徴とする画像判定方法。

【請求項2】

請求項１に記載の画像判定方法であって、
前記判定工程では、複数の前記学習済みモデルのそれぞれによって前記判定対象が前記判定条件を満たすかを判定し、複数の前記学習済みモデルのすべてによって前記判定対象が前記判定条件に適合すると判定された場合には前記判定対象は前記判定条件に適合すると判定し、複数の前記学習済みモデルのうち少なくとも一つの前記学習済みモデルによって前記判定対象が前記判定条件に適合しないと判定された場合には、前記判定対象は前記判定条件に適合しないと判定することを特徴とする画像判定方法。

【請求項3】

請求項１又は２に記載の画像判定方法であって、
前記判定工程には、
前記判定画像における前記判定対象が前記判定条件に適合しないと判定されると、前記判定画像に対する前記判定対象の相対的な大きさを増加させた拡大画像を前記再判定画像として取得して前記再判定を実行する第一再判定工程と、
前記第一再判定工程において前記判定対象が前記判定条件に適合しないと判定されると、前記判定画像に対する前記判定対象の相対的な大きさを減少させた縮小画像を前記再判定画像として取得して前記再判定を実行する第二再判定工程と、が含まれることを特徴とする画像判定方法。

【請求項4】

判定対象を含む対象画像を取得する画像取得部と、
前記対象画像から前記判定対象を含む所定領域の画像を判定画像として抽出する抽出部と、
所定の判定条件を満たす画像を教師データとして機械学習された学習済みモデルによって、前記判定画像に含まれる前記判定対象が前記判定条件を満たすかを判定する判定部と、を備え、
前記判定部は、前記判定対象が前記判定条件に適合しないと判定すると、前記判定画像に対する前記判定対象の相対的な大きさを変更した再判定画像を生成し、前記再判定画像内の前記判定対象が前記判定条件を満たすかを再判定することを特徴とする画像判定装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像判定方法及び画像判定装置に関するものである。

【背景技術】

【0002】

従来から、画像の外観検査技術として様々なものが知られている（例えば特許文献１）。特許文献１には、物品の表面のうち物品を特定するための刻印が付された刻印部を含む刻印領域を検査する刻印検査装置が開示されている。この刻印検査装置は、刻印および欠陥を有していない物品の画像を参照画像として記憶する参照画像記憶部と、物品を撮像する撮像部と、検査対象となる物品を撮像部により撮像することで取得された物品画像から刻印領域に対応する部分を切り抜いて刻印領域画像を取得し、刻印領域画像に対して刻印部の文字認識を行って刻印が適切に設けられているか否かを判定する刻印判定部と、刻印領域画像から刻印部の画像を取り除いた刻印周辺画像を参照画像と比較して刻印領域のうち刻印部を除く刻印周辺部に欠陥が含まれるか否かを判定する刻印周辺判定部と、を備えている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０２０－１７１６３号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

近年、特許文献１に開示されるような外観検査装置では、機械学習を用いたアルゴリズムによって対象物の良否を判定することが行われている。

【0005】

一方、このような外観検査では、検査の対象物の撮像の仕方などによって、良品であっても不良品であると誤判定されるおそれがある。判定精度を向上させるために、不良判定が出た場合には対象物を再撮像して再び判定をすることが考えられるが、この方法では、対象物を再撮像することで検査時間や工数が増加する。

【0006】

本発明は上記の問題点に鑑みてなされたものであり、画像判定において簡易な方法で判定精度を向上させることを目的とする。

【課題を解決するための手段】

【0007】

本発明は、画像判定方法であって、判定対象を含む対象画像を取得する画像取得工程と、対象画像から判定対象を含む所定領域の画像を判定画像として抽出する抽出工程と、所定の判定条件を満たす画像を教師データとして機械学習された学習済みモデルによって、判定画像における判定対象が判定条件を満たすかを判定する判定工程と、を含み、判定工程では、判定対象が判定条件に適合しないと判定されると、判定画像に対する判定対象の相対的な大きさを変更した再判定画像を取得し、再判定画像内の判定対象が判定条件を満たすか否かを再判定することを特徴とする。

【0008】

また、本発明は、画像判定装置であって、判定対象を含む対象画像を取得する画像取得部と、対象画像から判定対象を含む所定領域の画像を判定画像として抽出する抽出部と、所定の判定条件を満たす画像を教師データとして機械学習された学習済みモデルによって、判定画像に含まれる判定対象が判定条件を満たすかを判定する判定部と、を備え、判定部は、判定対象が判定条件に適合しないと判定すると、判定画像と当該判定画像内における判定対象との相対的な大きさを変更した再判定画像を生成し、再判定画像内の判定対象が判定条件を満たすかを再判定することを特徴とする。

【0009】

これらの発明では、判定画像に対する判定対象の相対的な大きさを変更した画像を再判定画像として生成することで、判定画像とは別の判定用の画像を取得することができる。これにより、再判定のために新たに対象物を撮像することなく、対象物の再判定を行うことができる。

【0010】

また、本発明は、判定工程では、複数の学習済みモデルのそれぞれによって判定対象が判定条件を満たすかを判定し、複数の学習済みモデルのすべてによって判定対象が判定条件に適合すると判定された場合には判定対象は判定条件に適合すると判定し、複数の学習済みモデルのうちの少なくとも一つの学習済みモデルによって判定対象が判定条件に適合しないと判定された場合には、判定対象は判定条件に適合しないと判定することを特徴とする。

【0011】

この発明では、複数の学習済みモデルの判定結果に応じて判定対象が判定条件に適合するかを判定するため、判定精度を向上させることができる。

【0012】

また、本発明は、判定工程には、判定画像における判定対象が判定条件に適合しないと判定されると、判定画像に対する判定対象の相対的な大きさを増加させた拡大画像を再判定画像として取得して再判定を実行する第一再判定工程と、第一再判定工程において判定対象が判定条件に適合しないと判定されると、判定画像に対する判定対象の相対的な大きさを減少させた縮小画像を再判定画像として取得して再判定を実行する第二再判定工程と、が含まれることを特徴とする。

【0013】

この発明では、拡大画像を用いる第一再判定工程と縮小画像を用いる第二再判定工程との両方が行われるため、誤判定の一因が判定画像内の判定対象が小さい場合と大きい場合のいずれの場合であっても対応することができる。

【発明の効果】

【0014】

本発明によれば、画像判定における判定精度を容易に向上させることができる。

【図面の簡単な説明】

【0015】

【図1】本発明の実施形態に係る検査装置の全体構成を示す概略図である。

【図2】本発明の実施形態に係る検査装置の構成を示すブロック図である。

【図3】本発明の実施形態に係る画像判定方法を示すフローチャート図である。

【図4】本発明の実施形態に係る画像判定方法の抽出工程を示す模式図である。

【図5】本発明の実施形態に係る画像判定方向において判定の対象となる画像の一例を示す模式図であり、（ａ）が判定画像、（ｂ）が拡大画像、（ｃ）が縮小画像を示す。

【発明を実施するための形態】

【0016】

以下、図面を参照して、本発明の実施形態に係る画像判定装置１００及び画像判定方法について説明する。

【0017】

本実施形態の画像判定装置１００は、製造された対象物にプリント（印字）された文字を認識し、対象物が製造ラインを流れる適正な製品であるかを検査して、製造ラインでの異品混入を防止する外観検査装置（以下、単に「検査装置１０１」とする。）に用いられる。本実施形態では、検査装置１０１は、対象物としての緩衝器１のシリンダ２における円筒面状の外周面に刻印によってプリントされる製造番号等の文字（文字列）を認識し、認識した文字が緩衝器１に刻印する当該製造番号等の文字と一致しているかを検査するものである。つまり、本実施形態では、緩衝器１に刻印される文字（文字列）が判定対象に相当する。

【0018】

本明細書において、文字とは、情報を伝達・記録するために用いられ視覚によって認識可能な記号全般を指す。本明細書では、文字とは、アルファベットや数字、漢字、ひらがな、カタカナに加えて、句読点や疑問符等の記号（いわゆる約物）、絵文字等も含むものである。

【0019】

図１及び図２に示すように、検査装置１０１は、緩衝器１を軸線周りに回転させる電動モータ１０と、緩衝器１の外周面の文字を含む画像（以下、「対象画像」と称する。）を撮像する撮像部２０と、撮像部２０が撮像した対象画像を取得して画像判定を行う画像判定装置１００と、検査装置１０１の作動を制御する制御装置３０と、モニタ等の表示装置４０と、を備える。

【0020】

検査対象となる緩衝器１は、検査装置１０１によって行われる検査工程よりも前の工程において、刻印機（図示省略）によりシリンダ２の外周に文字が刻印される。文字は、シリンダ２の外周面から窪むようにして刻印される。文字が刻印された緩衝器１は、搬送機構（図示省略）によって架台（図示省略）上の所定位置（検査位置）に搬送される。電動モータ１０は、架台上の検査位置にある緩衝器１を軸線周りに回転させる。

【0021】

撮像部２０は、線状に対象物を撮像し、撮像したデータを繋ぎ合わせることで一つの画像を生成するラインセンサカメラである。撮像部２０は、所定位置にある緩衝器１の鉛直方向上方の設けられており、緩衝器１の軸線方向に沿ったラインによって緩衝器１の外周面を撮像する。電動モータ１０によって軸線周りに回転する緩衝器１の外周面をこのような撮像部２０で撮像することで、シリンダ２の円筒状の外周面にプリントされた文字を平面上の画像として取得することができる。撮像部２０が撮像した対象画像は、画像判定装置１００に入力される。なお、撮像部２０は、ラインセンサカメラに限定されず、その他のカメラであってもよい。

【0022】

画像判定装置１００は、制御プログラム等を実行するＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）と、ＣＰＵにより実行される制御プログラムを記憶するＲＯＭ（Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ）と、ＣＰＵの演算結果等を記憶するＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）と、通信装置と、等を備えたコンピュータによって構成される情報処理装置である。画像判定装置１００は、ＲＯＭに記憶される制御プログラムがＲＡＭに読み込まれ、ＲＡＭ上でＣＰＵによって実行されることにより、本明細書に記載の画像判定装置１００の各種機能を実行する。画像判定装置１００は、一つのコンピュータによって構成されていてもよいし、複数のマイクロコンピュータによって構成され各制御を当該複数のコンピュータで分散処理するように構成されていてもよい。

【0023】

画像判定装置１００は、図２に示すように、緩衝器１に付されるべき適正文字が予め記憶される記憶部５１と、撮像部２０が撮像した対象画像を取得する画像取得部５２と、対象画像から判定対象である文字を含む所定領域の画像を判定画像として抽出する抽出部５３と、所定の判定条件を満たす画像を教師データとして機械学習された学習済みモデルによって、判定画像に含まれる文字が判定条件を満たすかを判定する判定部５４と、を備える。なお、図２に示す画像判定装置１００の各構成は、画像判定装置１００の各機能を仮想的なユニットとして示したものであり、必ずしも物理的に存在することを意味するものではない。

【0024】

記憶部５１は、検査する緩衝器１に刻印される文字の情報（文字が表す製造番号等の情報）を、適正文字として記憶する。適正文字は、作業者によって予め入力される。また、記憶部５１は、学習済みモデル（プログラム）として、後述する第一モデル５０Ａ及び第二モデル５０Ｂを予め記憶している。

【0025】

抽出部５３は、対象画像内において認識対象となる文字列を含むバウンティングボックス（所定領域）を設定し、バウンティングボックス内の画像を判定画像として抽出する。抽出した判定画像は、判定部５４に入力される。

【0026】

判定部５４は、判定画像内に含まれる文字を認識し、認識した文字が記憶部５１に記憶された適正文字と一致しているかを判定する。つまり、本実施形態では、判定における所定の判定条件とは、認識した文字が適正文字と一致することである。判定部５４は、それぞれ機械学習による学習済みモデルである第一モデル５０Ａ及び当該第一モデル５０Ａとは異なる第二モデル５０Ｂによって判定文字が適正文字と一致しているかを判定する（図１参照）。判定部５４の判定結果は、制御装置３０に出力される。

【0027】

第一モデル５０Ａ及び第二モデル５０Ｂは、それぞれ画像内において認識対象となる文字列を含むバウンティングボックスを設定し、バウンティングボックス内に含まれる文字列のそれぞれがどの文字であるか認識・識別するようにコンピュータを機能させるプログラムである。第一モデル５０Ａ及び第二モデル５０Ｂは、それぞれバウンティングボックス内の文字列を一文字ずつ認識する。

【0028】

本実施形態では、第一モデル５０Ａ及び第二モデル５０Ｂは、それぞれ深層学習（ディープラーニング）による機械学習が行われるアルゴリズムである。具体的には、第一モデル５０Ａのアルゴリズムは、ＹＯＬＯ（Ｙｏｕ Ｏｎｌｙ Ｌｏｏｋ Ｏｎｃｅ）であり、第二モデル５０Ｂのアルゴリズムは、ＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）である。ＹＯＬＯ及びＣＮＮの具体的構成は、公知のものであるため、詳細な説明は省略する。

【0029】

第一モデル５０Ａ及び第二モデル５０Ｂは、深層学習による学習済みモデルとして、ＳＳＤ（Ｓｉｎｇｌｅ Ｓｈｏｔ Ｍｕｌｔｉｂｏｘ Ｄｅｔｅｃｔｏｒ）やＤＥＴＲ（ＤＥｔｅｃｔｉｏｎ ｗｉｔｈ ＴＲａｎｓｆｏｒｍｅｒｓ）など、その他のものであってもよい。また、第一モデル５０Ａ及び第二モデル５０Ｂは、深層学習による学習済みモデルに限定されず、ＯＣＲやサポートベクターマシン（ＳＶＭ）といった深層学習によらない機械学習によって構築されるモデルでもよい。第一モデル５０Ａと第二モデル５０Ｂとは、互いに異なるモデルである。本明細書において、第一モデル５０Ａと第二モデル５０Ｂとが異なるとは、アルゴリズムが異なることに加えて、同じアルゴリズムであっても、学習されるデータが異なる場合も含む意味である。

【0030】

第一モデル５０Ａ及び第二モデル５０Ｂは、文字を含む文字画像に対して当該文字が表す意味である文字情報がラベリングされたデータを教師データとして機械学習される教師あり機械学習によるアルゴリズムである。教師データとなる文字画像は、判定条件に適合するように、適正文字が付された画像である。教師データの文字画像は、検査装置１０１の検査対象である緩衝器１に刻印される文字を撮像部２０によって撮像することで取得してもよいし、緩衝器１の文字を撮像した画像又は設計図面などから人工的に生成するものでもよい。また、第一モデル５０Ａと第二モデル５０Ｂとで使用される教師データは、互いに共通であってもよいし異なっていてもよい。

【0031】

教師データには、文字画像全体に対する文字の相対的な大きさが異なる複数種類の文字画像が含まれる。これにより、対象画像における文字の大きさがばらついても、精度良く判定をすることができる。

【0032】

制御装置３０は、制御プログラム等を実行するＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）と、ＣＰＵにより実行される制御プログラムを記憶するＲＯＭ（Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ）と、ＣＰＵの演算結果等を記憶するＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）と、通信装置と、等を備えたコンピュータによって構成される情報処理装置である。制御装置３０は、ＲＯＭに記憶される制御プログラムがＲＡＭに読み込まれ、ＲＡＭ上でＣＰＵによって実行されることにより、本明細書に記載の制御装置３０の各種機能を実行する。制御装置３０は、一つのコンピュータによって構成されていてもよいし、複数のマイクロコンピュータによって構成され各制御を当該複数のコンピュータで分散処理するように構成されていてもよい。

【0033】

制御装置３０は、検査装置１０１における電動モータ１０、撮像部２０、搬送機構などの各構成の作動を制御する。また、制御装置３０には、画像判定装置１００による判定結果を表す信号が入力される。なお、制御装置３０は、画像判定装置１００と同一のコンピュータとして構成されてもよい。

【0034】

次に、本実施形態の画像判定方法及び検査方法について説明する。

【0035】

検査装置１０１は、検査対象である緩衝器１が所定位置に搬送されると、電動モータ１０によって緩衝器１を回転させながら緩衝器１の外周面の文字を撮像部２０によって撮像する。撮像された画像は、画像判定装置１００に入力される。

【0036】

画像判定装置１００は、図３に示す処理を実行することで、対象画像における文字が適正文字であるかどうかを判定する。以下、図３を参照して、画像判定装置１００による画像判定方法について説明する。

【0037】

図３に示すように、ステップＳ１０では、撮像部２０が撮像した対象画像を取得する。ステップＳ１０が、画像取得部５２によって実行される画像取得工程に相当する。

【0038】

ステップＳ１１では、図４に示すように、対象画像内に文字を含むバウンティングボックスを設定し、バウンティングボックス内の画像を判定画像として抽出する。ステップＳ１１の処理は、ＹＯＬＯによって構成される第一モデル５０Ａによって実行される。第二モデル５０Ｂは、バウンティングボックスの設定（対象の検出）は行わず、後述する文字の認識（識別）のみを行う。ステップＳ１１が、抽出部５３によって実行される抽出工程に相当する。

【0039】

次に、ステップＳ１２～ステップＳ１８において、対象画像における文字が判定条件に適合しているか、具体的には、適正文字と一致しているかを判定する。ステップＳ１２～ステップＳ２０が、判定部５４によって実行される判定工程に相当する。ステップＳ１４及びステップＳ１６は、第一モデル５０Ａを用いて実行される。ステップＳ１２、ステップＳ１５、及びステップＳ１７は、第一モデル５０Ａ及び第二モデル５０Ｂの両方を用いて実行される。

【0040】

ステップＳ１２では、第一モデル５０Ａ及び第二モデル５０Ｂのそれぞれによって、対象画像内に含まれる文字を認識し、認識した文字が、適正文字であるかを判定する。

【0041】

ステップＳ１２において、第一モデル５０Ａ及び第二モデル５０Ｂの両方が、認識した文字が適正文字であると判定した場合には、ステップＳ１３に進む。ステップＳ１３では、認識した文字が適正文字である、つまり、判定条件に適合すると判断（決定）する。認識した文字が適正文字であると判断されると、判定条件に適合することを示す適合信号が制御装置３０に出力される。

【0042】

ステップＳ１２において、第一モデル５０Ａ及び第二モデル５０Ｂの判定結果の少なくとも一方が、判定条件に適合しないと判定した場合には、ステップＳ１４に進む。ステップＳ１４では、図５（ｂ）に示すように、判定画像に対する文字の相対的な大きさを大きくした拡大画像（再判定画像）を生成する。より具体的には、判定画像の大きさは維持しつつ、縦横比を一定のまま文字を大きくして、拡大画像を生成する。

【0043】

次に、ステップＳ１５では、ステップＳ１４で生成した拡大画像を取得して文字を認識し、認識した文字が、適正文字であるかを第一モデル５０Ａ及び第二モデル５０Ｂによって再判定する。ステップＳ１５が、再判定工程である第一再判定工程に相当する。

【0044】

ステップＳ１５において、第一モデル５０Ａ及び第二モデル５０Ｂの両方が、認識した文字が適正文字であると判定した場合には、ステップＳ１３に進み認識した文字が適正文字であると判断する。

【0045】

ステップＳ１５において、第一モデル５０Ａ及び第二モデル５０Ｂの判定結果の少なくとも一方が判定条件に適合しないと判定した場合には、ステップＳ１６に進む。ステップＳ１６では、図５（ｃ）に示すように、判定画像に対する文字の相対的な大きさを小さくして、縮小画像（再判定画像）を生成する。より具体的には、判定画像の大きさは維持しつつ、縦横比を一定のまま文字を小さくして、縮小画像を生成する。

【0046】

ステップＳ１７では、ステップＳ１６で生成した縮小画像を取得して文字を認識し、認識した文字が、適正文字であるかを第一モデル５０Ａ及び第二モデル５０Ｂによって再判定する。ステップＳ１７が、再判定工程である第二再判定工程に相当する。

【0047】

ステップＳ１７において、第一モデル５０Ａ及び第二モデル５０Ｂの両方が、認識した文字が適正文字であると判定した場合には、ステップＳ１３に進み認識した文字が適正文字であると判断する。

【0048】

ステップＳ１７において、第一モデル５０Ａ及び第二モデル５０Ｂの判定結果の少なくとも一方が、判定条件に適合しないものであった場合には、ステップＳ１８に進む。ステップＳ１８では、第一モデル５０Ａ及び第二モデル５０Ｂの判定結果の両方が不適合であるかを判定する。第一モデル５０Ａ及び第二モデル５０Ｂの判定結果の両方が不適合であった場合には、ステップＳ１９において、認識した文字が適正文字ではない、つまり、判定条件に不適合であると判断（決定）する。判定条件に不適合であると判断されると、判定画像の文字が判定条件に不適合であることを示す不適合信号が制御装置３０に出力される。

【0049】

ステップＳ１８において、第一モデル５０Ａ及び第二モデル５０Ｂの一方が適合と判定し、他方が不適合と判定した場合には、ステップＳ２０において、判別不能であると判断（決定）する。判別不能であると判断されると、判別不能を示す判別不能信号が制御装置３０に出力される。以上により、画像判定装置１００による画像判定が完了する。

【0050】

なお、拡大画像及び縮小画像の生成において、文字の大きさをどの程度変更するかは、経験則などに基づいて予め設定される。

【0051】

また、第一モデル５０Ａ及び第二モデル５０Ｂのそれぞれによって実行されるステップＳ１２、ステップＳ１５、及びステップＳ１７では、第一モデル５０Ａによる処理と第二モデル５０Ｂによる処理とは、並列処理されるものでもよいし、逐次処理されるものでもよい。

【0052】

このようにして、画像判定装置１００による画像判定が行われる。

【0053】

制御装置３０は、適合信号を受信した場合には、モニタ等の表示装置４０に検査した緩衝器１が適合品であることを表示する。緩衝器１が適合品である場合には、検査位置にある緩衝器１は、後の工程に搬送され、新たな緩衝器１が検査位置に搬送される。

【0054】

制御装置３０は、不適合信号を受信した場合には、表示装置４０に検査した緩衝器１が不適合であることを表示する。緩衝器１が不適合品である場合には、緩衝器１の搬送を停止させる。

【0055】

制御装置３０は、判別不能信号を受信した場合には、表示装置４０に判別不能であること、及び、判定に使用した判定画像を表示し、緩衝器１の搬送を停止させる。これにより、画像判定装置１００によって判別不能である場合には、検査した緩衝器１が判定条件に適合しているか否かを作業者の目視によって最終確認することができる。

【0056】

以上の工程によって、画像判定装置１００による画像判定を含む検査工程が完了する。

【0057】

本実施形態の画像判定では、判定画像に対する判定において、第一モデル５０Ａ又は第二モデル５０Ｂが不適合と判定すると、判定画像から拡大画像を生成し、拡大画像に対して再判定を行う（第一再判定工程）。第一再判定工程においても第一モデル５０Ａ又は第二モデル５０Ｂが不適合と判定すると、判定画像から縮小画像を生成し、縮小画像に対して再判定を行う（第二再判定工程）。

【0058】

拡大画像及び縮小画像は、撮像部２０による撮像などの工程を必要とせず、コンピュータである画像判定装置１００による処理だけで生成することができるため、容易に生成することができる。そして、一度目の判定で不適合であると誤判定された場合であっても、判定する画像を拡大画像又は縮小画像とすることで、学習した教師データとの類似度が大きくなり、その結果、拡大画像又は縮小画像によって再判定することで正しく判定される確率を高めることができる。よって、画像判定装置１００によれば、時間や工数を要さずに容易に判定精度を向上させることができる。

【0059】

なお、本実施形態では、一度目の判定（ステップＳ１２）で判定条件に適合と判定されると、再判定（ステップＳ１４～ステップＳ１７）は行われない。

【0060】

また、本実施形態では、第一再判定工程において拡大画像を生成して判定を行い、第一再判定工程において判定条件に不適合と判定された場合にのみ、縮小画像に対して判定を行う第二判定工程が行われる。通常、画像判定による文字認識では、画像と文字との間の余白が小さい、言い換えると、画像に対する文字の相対的な大きさが大きいほど認識精度が高いことが知られている。よって、二回行われる再判定において、先に拡大画像に対する判定を行うことで、第一再判定工程で不適合と判定される確率を低減し、第二再判定工程を行う回数を低減できる。これにより、画像判定に要する時間をより一層低減することができる。

【0061】

次に、本実施形態の変形例について説明する。以下のような変形例も本発明の範囲内であり、変形例に示す構成と上述の実施形態で説明した構成を組み合わせたり、以下の異なる変形例で説明する構成同士を組み合わせたりすることも可能である。

【0062】

上記実施形態では、拡大画像及び縮小画像は、画像の大きさを維持しつつ、文字の大きさを変更することで生成される。これに対し、文字の大きさを維持しつつ、画像の大きさを変更することで、拡大画像又は縮小画像を生成してもよい。また、画像の大きさ及び文字の大きさの両方を変更して、拡大画像又は縮小画像を生成してもよい。このように、拡大画像及び縮小画像は、画像に対する文字の相対的な大きさ、言い換えると、画像の枠と文字との間の余白の大きさが判定画像から変更されるものであれば、任意の方法で作成することができる。

【0063】

また、上記実施形態では、拡大画像及び縮小画像は、文字の縦横比を維持して作成される。これに対し、拡大画像及び縮小画像では、文字の縦横比を変更しながら大きさを変更するものでもよい。

【0064】

また、上記実施形態では、第一モデル５０Ａ及び第二モデル５０Ｂの二つのモデルを利用して画像判定が行われる。これに対し、三以上の学習済みモデルによって本実施形態の画像判定が行われてもよい。三つ以上の学習済みモデルが利用される場合には、判定工程は、複数の学習済みモデルのすべてによって対象画像における文字が判定条件に適合すると判定された場合には判定条件に適合すると判定し、複数の学習済みモデルのうち少なくとも一つの学習済みモデルによって対象画像における文字が判定条件に適合しないと判定された場合には、判定条件に適合しないと判定すればよい。なお、複数の学習済みモデルのうち少なくとも一つの学習済みモデルによって対象画像における文字が判定条件に適合すると判定された場合には、対象画像における文字が判定条件に適合するとし、すべての学習済みモデルによって対象画像における文字が判定条件に適合しないと判定された場合には、判定条件に適合しないと判定するように構成してもよい。

【0065】

また、判定精度の向上の観点からは、二以上の複数の学習済みモデルによって画像判定が行われることが望ましいが、一つの学習済みモデルによって再判定工程を含む画像判定方法が実行されてもよい。つまり、判定工程において、複数の学習済みモデルによって判定条件を満たすかを判定する構成は必須のものではない。

【0066】

また、上記実施形態では、再判定工程として、第一再判定工程及び第二再判定工程を含む二回の再判定が行われる。これに対し、再判定の数は、一回でもよいし、三回以上であってもよい。その際、再判定画像を拡大画像とするか縮小画像とするかは、任意に設定できる。また、二回の再判定を行う上記実施形態においても、第二再判定工程において判定画像を第一再判定工程とは異なる拡大画像としてもよいし、第一再判定工程において判定画像を第二再判定工程とは異なる縮小画像としてもよい。

【0067】

また、上記実施形態では、画像判定装置１００は、緩衝器１に適正な文字がプリントされているかを検査する検査装置１０１に用いられる。これに対し、画像判定装置１００は、製品のキズ、変形、規格外れなど外観から確認できる欠陥を認識する検査装置１０１に利用することができる。また、画像判定装置１００は、検査装置１０１に限定されず、その他の用途に利用されてもよい。

【0068】

また、上述した画像判定装置１００における一連の処理は、コンピュータにこれを実行させるためのプログラムとして提供されてもよい。

【0069】

即ち、本実施形態に係るプログラムは、判定対象を含む対象画像を取得する画像取得工程と、対象画像から判定対象を含む所定領域の画像を判定画像として抽出する抽出工程と、所定の判定条件を満たす画像を教師データとして機械学習された学習済みモデルによって、判定画像における判定対象が判定条件を満たすかを判定する判定工程と、コンピュータである画像判定装置１００に実行させるものであり、判定工程では、判定対象が判定条件に適合しないと判定されると、判定画像に対する判定対象の相対的な大きさを変更した再判定画像を生成し、再判定画像内の判定対象が判定条件を満たすか否かを再判定させるものである。

【0070】

以下、本発明の実施形態の構成、作用、及び効果をまとめて説明する。

【0071】

本実施形態の画像判定方法は、判定対象を含む対象画像を取得する画像取得工程と、対象画像から判定対象を含む所定領域の画像を判定画像として抽出する抽出工程と、所定の判定条件を満たす画像を教師データとして機械学習された学習済みモデルによって、判定画像における判定対象が判定条件を満たすかを判定する判定工程と、を含み、判定工程では、判定対象が判定条件に適合しないと判定されると、判定画像に対する判定対象の相対的な大きさを変更した再判定画像を生成し、再判定画像内の判定対象が判定条件を満たすか否かを再判定する。

【0072】

画像判定装置１００は、判定対象を含む対象画像を取得する画像取得部５２と、対象画像から判定対象を含む所定領域の画像を判定画像として抽出する抽出部５３と、所定の判定条件を満たす画像を教師データとして機械学習された学習済みモデルによって、判定画像に含まれる判定対象が判定条件を満たすかを判定する判定部５４と、を備え、判定部５４は、判定対象が判定条件に適合しないと判定すると、判定画像に対する判定対象の相対的な大きさを変更した再判定画像を生成し、再判定画像内の判定対象が判定条件を満たすかを再判定する。

【0073】

これらの構成では、判定画像に対する判定対象の相対的な大きさを変更した画像を再判定画像として生成することで、判定画像とは別の判定用の画像を取得することができる。これにより、再判定のために新たに対象物を撮像することなく、対象物の再判定を行うことができる。したがって、本実施形態によれば、画像判定における判定精度を容易に向上させることができる。

【0074】

また、画像判定方法の判定工程では、学習済みモデルとして第一モデル５０Ａ及び第二モデル５０Ｂのそれぞれによって判定対象が判定条件を満たすかを判定し、第一モデル５０Ａ及び第二モデル５０Ｂの両方によって判定対象が判定条件に適合すると判定された場合には判定対象は判定条件に適合すると判定し、第一モデル５０Ａ及び第二モデル５０Ｂの少なくとも一方によって判定対象が判定条件に適合しないと判定された場合には、判定対象は判定条件に適合しないと判定する。

【0075】

この構成では、第一モデル５０Ａ及び第二モデル５０Ｂの二つのモデルの判定結果に応じて判定対象が判定条件に適合するかを判定するため、判定精度を向上させることができる。

【0076】

また、画像判定方法では、判定工程には、判定画像における判定対象が判定条件に適合しないと判定されると、判定画像に対する判定対象の相対的な大きさを増加させた拡大画像を再判定画像として取得して再判定を実行する第一再判定工程と、第一再判定工程において判定対象が判定条件に適合しないと判定されると、判定画像に対する判定対象の相対的な大きさを減少させた縮小画像を再判定画像として取得して再判定を実行する第二再判定工程と、が含まれることを特徴とする。

【0077】

この構成では、拡大画像を用いる第一再判定工程と縮小画像を用いる第二再判定工程との両方が行われるため、誤判定の一因が判定画像内の判定対象が小さい場合と大きい場合のいずれの場合であっても対応することができる。

【0078】

以上、本発明の実施形態について説明したが、上記実施形態は本発明の適用例の一部を示したに過ぎず、本発明の技術的範囲を上記実施形態の具体的構成に限定する趣旨ではない。

【符号の説明】

【0079】

５０Ａ…第一モデル（学習済みモデル）、５０Ｂ…第二モデル（学習済みモデル）、５２…画像取得部、５３…抽出部、５４…判定部、１００…画像判定装置

【図1】

【図2】

【図3】

【図4】

【図5】