特許 7527080 検査プログラム及び検査装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B1)

(11)【特許番号】

(24)【登録日】2024-07-25

(45)【発行日】2024-08-02

(54)【発明の名称】検査プログラム及び検査装置

(51)【国際特許分類】

   G01N 21/88 20060101AFI20240726BHJP

【ＦＩ】

G01N21/88 J

【請求項の数】 10

(21)【出願番号】P 2024501138

(86)(22)【出願日】2023-05-24

(86)【国際出願番号】 JP2023019408

【審査請求日】2024-01-18

【新規性喪失の例外の表示】特許法第３０条第２項適用 ２０２２年５月２５日、ｈｔｔｐｓ：／／ｐｒｔｉｍｅｓ．ｊｐ／ｍａｉｎ／ｈｔｍｌ／ｒｄ／ｐ／０００００００２２．００００２０２８４．ｈｔｍｌ ２０２２年６月７日～２０２２年６月１０日、ＦＯＯＭＡ ＪＡＰＡＮ ２０２２ ２０２２年６月８日、ｈｔｔｐｓ：／／ｓｍａｒｔａｇｒｉ－ｊｐ．ｃｏｍ／ｎｅｗｓ／４５６２ ２０２３年３月３０日、ｈｔｔｐｓ：／／ｘｔｅｃｈ．ｎｉｋｋｅｉ．ｃｏｍ／ａｔｃｌ／ｎｘｔ／ｃｏｌｕｍｎ／１８／００００１／０７８６９／

【早期審査対象出願】

(73)【特許権者】

【識別番号】516095501

【氏名又は名称】株式会社ロビット

(74)【代理人】

【識別番号】110003649

【氏名又は名称】弁理士法人真田特許事務所

(72)【発明者】

【氏名】新井 雅海

(72)【発明者】

【氏名】河北 薫

(72)【発明者】

【氏名】平野 龍一

【審査官】井上 徹

(56)【参考文献】

【文献】特開２０２２－１６０７９６（ＪＰ，Ａ）

【文献】特開２０１２－１４３６７０（ＪＰ，Ａ）

【文献】特開２０２０－１５３７６５（ＪＰ，Ａ）

【文献】特開２０１５－２０３５８６（ＪＰ，Ａ）

【文献】特開２０２３－６７２（ＪＰ，Ａ）

【文献】“カット野菜、ドライフルーツ、アーモンドなどの外観検査”， イプロスものづくり，2022年08月29日，［online],［２０２４年４月１８日検索］, インターネット＜URL：https://www.ipros.jp/product/detail/2000736222/＞

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０１Ｎ ２１／８４－２１／９５８

Ｂ０７Ｃ １／００－９９／００

Ｇ０１Ｂ １１／００－１１／３０

Ｇ０６Ｔ ７／００－ ７／９０

ＪＳＴＰｌｕｓ／ＪＭＥＤＰｌｕｓ／ＪＳＴ７５８０（ＪＤｒｅａｍＩＩＩ）

(57)【特許請求の範囲】

【請求項1】

対象物を検査するコンピュータに、
前記対象物において同一部位に発生し得る複数の異常種類毎に、前記対象物における異常レベルに応じて前記対象物が正常品であるか異常品であるかを特定するための所定値を設定し、
撮像された前記対象物の画像に対して、機械学習モデルにおいて第１のマップを用いて、前記対象物の各部位における異常レベルを判定し、
前記第１のマップとは異なる前記複数の異常種類毎の複数の第２のマップを用いて、前記複数の異常種類の中から前記各部位における一以上の異常種類を決定し、
前記第１のマップ及び前記複数の第２のマップとは異なる第３のマップを用いて、前記対象物の各部位において異常がある確率を表す複数の異常度を出力し、
前記第１のマップと前記複数の第２のマップと前記第３のマップとの対応関係に基づいて、決定した前記一以上の異常種類毎に、出力された前記異常度が閾値以上である部位のうち、判定された前記異常レベルが設定された前記所定値以上である部位を含む前記対象物を前記異常品として特定する、
処理を実行させる、検査プログラム。

【請求項2】

前記第３のマップにおける前記複数の異常度の中から、前記複数の異常種類毎の第１の閾値のうち最小の第１の閾値以上である一以上の異常度を抽出し、
前記複数の第２のマップのそれぞれにおいて、前記第３のマップにおいて抽出した前記一以上の異常度が存在する座標に対応する座標の中から、第２の閾値以上の値又は最大の値を抽出し、
前記複数の第２のマップのそれぞれにおいて抽出した前記第２の閾値以上の値又は最大の値の座標について、前記第１のマップで対応する座標の値が前記所定値以上である座標を含む前記対象物を前記異常品として特定する、
処理を前記コンピュータに実行させる、請求項１に記載の検査プログラム。

【請求項3】

前記対象物の状態として、前記正常品及び前記異常品に加えて、前記正常品と前記異常品との中間の品質を有する中間品を含み、
前記所定値は、前記対象物が前記異常品であるか前記中間品であるかを特定するための第１の所定値と、前記対象物が前記中間品であるか前記正常品であるかを特定するための第２の所定値とを含み、前記第１の所定値が前記複数の異常種類毎に複数設定されるとともに、前記第２の所定値が前記複数の異常種類毎に複数設定され、
判定された前記異常レベルが前記第１の所定値以上である部位を含む前記対象物を前記異常品として特定し、判定された前記異常レベルが前記第２の所定値以上であり且つ前記第１の所定値未満である部位を含み且つ前記異常品として特定されていない前記対象物を前記中間品として特定し、判定された前記異常レベルが前記第２の所定値未満である部位を含み且つ前記異常品又は前記中間品として特定されていない前記対象物を前記正常品として特定する、
処理を前記コンピュータに実行させる、請求項１又は２に記載の検査プログラム。

【請求項4】

前記複数の異常種類毎に、前記中間品の排出率を設定し、
複数の前記対象物の中から、前記異常品の全部に加えて、前記中間品のうち前記排出率に応じた一部を排出する、
処理を前記コンピュータに実行させる、請求項３に記載の検査プログラム。

【請求項5】

前記異常種類毎に複数の前記所定値を設定し、
前記異常種類毎に複数の前記異常レベルを判定し、
判定された前記複数の異常レベルのそれぞれが設定された前記複数の所定値のうち対応する所定値以上である部位を含む前記対象物を前記異常品として特定する、
処理を前記コンピュータに実行させる、請求項１又は２に記載の検査プログラム。

【請求項6】

対象物を検査する検査装置であって、
前記対象物において同一部位に発生し得る複数の異常種類毎に、前記対象物における異常レベルに応じて前記対象物が正常品であるか異常品であるかを特定するための所定値を設定し、
撮像された前記対象物の画像に対して、機械学習モデルにおいて第１のマップを用いて、前記対象物の各部位における異常レベルを判定し、
前記第１のマップとは異なる前記複数の異常種類毎の複数の第２のマップを用いて、前記複数の異常種類の中から前記各部位における一以上の異常種類を決定し、
前記第１のマップ及び前記複数の第２のマップとは異なる第３のマップを用いて、前記対象物の各部位において異常がある確率を表す複数の異常度を出力し、
前記第１のマップと前記複数の第２のマップと前記第３のマップとの対応関係に基づいて、決定した前記一以上の異常種類毎に、出力された前記異常度が閾値以上である部位のうち、判定された前記異常レベルが設定された前記所定値以上である部位を含む前記対象物を前記異常品として特定する、
プロセッサを備える、検査装置。

【請求項7】

前記プロセッサは、
前記第３のマップにおける前記複数の異常度の中から、前記複数の異常種類毎の第１の閾値のうち最小の第１の閾値以上である一以上の異常度を抽出し、
前記複数の第２のマップのそれぞれにおいて、前記第３のマップにおいて抽出した前記一以上の異常度が存在する座標に対応する座標の中から、第２の閾値以上の値又は最大の値を抽出し、
前記複数の第２のマップのそれぞれにおいて抽出した前記第２の閾値以上の値又は最大の値の座標について、前記第１のマップで対応する座標の値が前記所定値以上である座標を含む前記対象物を前記異常品として特定する、
請求項６に記載の検査装置。

【請求項8】

前記対象物の状態として、前記正常品及び前記異常品に加えて、前記正常品と前記異常品との中間の品質を有する中間品を含み、
前記所定値は、前記対象物が前記異常品であるか前記中間品であるかを特定するための第１の所定値と、前記対象物が前記中間品であるか前記正常品であるかを特定するための第２の所定値とを含み、前記第１の所定値が前記複数の異常種類毎に複数設定されるとともに、前記第２の所定値が前記複数の異常種類毎に複数設定され、
前記プロセッサは、
判定された前記異常レベルが前記第１の所定値以上である部位を含む前記対象物を前記異常品として特定し、判定された前記異常レベルが前記第２の所定値以上であり且つ前記第１の所定値未満である部位を含み且つ前記異常品として特定されていない前記対象物を前記中間品として特定し、判定された前記異常レベルが前記第２の所定値未満である部位を含み且つ前記異常品又は前記中間品として特定されていない前記対象物を前記正常品として特定する、
請求項６又は７に記載の検査装置。

【請求項9】

前記プロセッサは、
前記複数の異常種類毎に、前記中間品の排出率を設定し、
複数の前記対象物の中から、前記異常品の全部に加えて、前記中間品のうち前記排出率に応じた一部を排出する、
請求項８に記載の検査装置。

【請求項10】

前記プロセッサは、
前記異常種類毎に複数の前記所定値を設定し、
前記異常種類毎に複数の前記異常レベルを判定し、
判定された前記複数の異常レベルのそれぞれが設定された前記複数の所定値のうち対応する所定値以上である部位を含む前記対象物を前記異常品として特定する、
請求項６又は７に記載の検査装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、検査プログラム及び検査装置に関する。

【背景技術】

【0002】

ワークを検査する際に、撮影されたワークの画像上に存在する異常（別言すれば、何らかの特異な部位）を検出するために、Artificial Intelligence（ＡＩ）が用いられることがある。

【0003】

ＡＩを用いた異常検出では、異常が存在する確率や、異常が存在する場合の異常の種類等が出力される。

【先行技術文献】

【特許文献】

【0004】

【文献】特開２０２１－１８２２２５号公報

【文献】特開２０２１－１３１３６４号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、異常の有無やその異常の種類だけでなく、異常のレベル（別言すれば、深刻度）に応じて柔軟にワークを異常品とするか正常品とするかの選別が求められることがある。

【0006】

図１は、アーモンドのしぼみのレベルイメージを表す図である。

【0007】

図１には３個のアーモンドの画像が示されており、符号Ａ１，Ａ２，Ａ３の順に、アーモンドの表面のしぼみレベルが大きくなっている。

【0008】

例えば、符号Ａ２に示すように、全体がしぼんでいるが僅かなしぼみであるため正常品として扱えるアーモンドが存在する。一方、符号Ａ３に示すよう、全体が著しくしぼんでいるため異常品として扱うアーモンドも存在する。

【0009】

どこまでの異常のレベルを正常品とするかは、ワークの選別の用途によって異なる場合があり、ワークの選別の用途に応じて複数の機械学習データを用意しなければならないおそれがある。

【0010】

例えば、アーモンドは、酒等のつまみのために使用される場合もあれば、洋菓子の上に１粒置かれて使用される場合もある。酒等のつまみのために使用される場合には僅かなしぼみなら許容されて選別されることが想定される一方、洋菓子の上に１粒置かれて使用される場合には僅かなしぼみでも許容されずに選別されることが想定される。

【0011】

１つの側面では、本明細書に記載する技術は、ワークの選別の用途にかかわらず柔軟なワークの選別が可能な検査プログラム及び検査装置を提供することを目的とする。

【課題を解決するための手段】

【0012】

１つの側面において、検査プログラムは、対象物を検査するコンピュータに、前記対象物において同一部位に発生し得る複数の異常種類毎に、前記対象物における異常レベルに応じて前記対象物が正常品であるか異常品であるかを特定するための所定値を設定し、撮像された前記対象物の画像に対して、機械学習モデルにおいて第１のマップを用いて、前記対象物の各部位における異常レベルを判定し、前記第１のマップとは異なる前記複数の異常種類毎の複数の第２のマップを用いて、前記複数の異常種類の中から前記各部位における一以上の異常種類を決定し、前記第１のマップ及び前記複数の第２のマップとは異なる第３のマップを用いて、前記対象物の各部位において異常がある確率を表す複数の異常度を出力し、前記第１のマップと前記複数の第２のマップと前記第３のマップとの対応関係に基づいて、決定した前記一以上の異常種類毎に、出力された前記異常度が閾値以上である部位のうち、判定された前記異常レベルが設定された前記所定値以上である部位を含む前記対象物を前記異常品として特定する、処理を実行させる。

【発明の効果】

【0013】

開示の技術によれば、ワークの選別の用途にかかわらず柔軟なワークの選別が可能な検査プログラム及び検査装置を提供することができる。

【図面の簡単な説明】

【0014】

【図1】アーモンドのしぼみのレベルイメージを表す図である。

【図2】実施形態における検査システムのハードウェア構成例及び機能構成例を模式的に示すブロック図である。

【図3】実施形態における異常レベルの設定画面を例示する図である。

【図4】実施形態における入力画像のマップを例示する図である。

【図5】（ａ）は異常度のマップを例示する図であり、（ｂ）は異常レベルのマップを例示する図であり、（ｃ）は異常種類＃１のマップを例示する図であり、（ｄ）は異常種類＃２のマップを例示する図であり、（ｅ）は異常種類＃３のマップを例示する図である。

【図6】（ａ）は異常度マップの評価処理を説明する図であり、（ｂ）は異常種類の選定処理を説明する図であり、（ｃ）は異常レベルに応じた最終評価の決定処理を説明する図である。

【図7】実施形態における異常検査処理を説明するフローチャートである。

【図8】実施形態における入力画像の事前処理を説明するフローチャートである。

【図9】実施形態における機械学習処理を説明するフローチャートである。

【発明を実施するための形態】

【0015】

以下、図面を参照して一実施の形態を説明する。ただし、以下に示す実施形態はあくまでも例示に過ぎず、実施形態で明示しない種々の変形例や技術の適用を排除する意図はない。本実施形態は、その趣旨を逸脱しない範囲で種々変形して実施することができる。

【0016】

また、各図は、図中に示す構成要素のみを備えるという趣旨ではなく、他の機能等を含むことができる。

【0017】

以下、図中において、同一の符号を付した部分は同様の部分を示している。

【0018】

〔Ａ〕実施形態の一例
〔Ａ－１〕システム構成例
図２は、実施形態における検査システム１００のハードウェア構成例及び機能構成例を模式的に示すブロック図である。

【0019】

検査システム１００は、検査装置１，カメラ２１，ディスプレイ２２，搬送装置２３を備える。

【0020】

カメラ２１は、検査装置１による検査対象物であるワーク（対象物；不図示）を撮影し、撮影した画像を検査装置１へ入力する。カメラ２１は、検査システム１００に１つ備えられていてもよいし、複数備えられてもよい。ワークは、例えば、果実や野菜等の植物，動物又は工業製品であってよい。

【0021】

ディスプレイ２２は、検査装置１のオペレータに対する種々の情報を表示する。ディスプレイ２２は、例えば、図３を用いて後述する設定画面２２０を表示する。

【0022】

搬送装置２３は、ワークをカメラ２１が撮影できる位置へ搬送する。また、搬送装置２３は、異常品であるワークを排出するための排出機構を備えてよい。

【0023】

搬送装置２３は、ワークが軽量で破損しにくい物である場合には、送風ユニットを備えてよい。搬送装置２３は、送風ユニットによってワークを飛ばして搬送する間にカメラ２１によってワークを撮影させる。送風ユニットは、出力する風量が調整されることによって、正常品であるワークと異常品であるワークとを異なる位置（別言すれば、距離）に飛ばすことによって排出機構としての機能を実現してよい。また、搬送装置２３が搬送用の送風ユニットと排出用の送風ユニットを備える場合には、排出用の送風ユニットが搬送用の送風ユニットとは異なる方向へ送風して、正常品であるワークと異常品であるワークとを異なる位置に飛ばすことによって排出機構としての機能を実現してもよい。

【0024】

また、搬送装置２３は、コンベヤを備えてもよく、コンベヤによってワークを搬送する間にカメラ２１によりワークを撮影させてもよい。この場合には、コンベヤの搬送方向と直交する方向へ送風する送風ユニットによって異常品であるワークを排出してもよいし、ワークを把持するためのロボットアームやワークを弾き飛ばすためのフラップ等によって異常品であるワークを排出してもよい。

【0025】

なお、搬送装置２３は、排出機構に代えて、異常通知部を備えてもよい。異常通知部は、異常品であるワークが検出された際に、当該検出を検査システム１００のオペレータへ通知してよい。異常通知部は、例えば、ディスプレイ２２への画面表示やアラート音、ランプ等によって異常を通知してよい。

【0026】

検査装置１は、Central Processing Unit（ＣＰＵ）１１，メモリ１２及び記憶装置１３を備える。

【0027】

記憶装置１３は、例示的に、データを読み書き可能に記憶する装置であり、例えば、Hard Disk Drive（ＨＤＤ）やSolid State Drive（ＳＳＤ），Storage Class Memory（ＳＣＭ）が用いられてよい。記憶装置１３は、実施形態における異常検査処理を実行するための機械学習モデルを記憶する。

【0028】

メモリ１２は、例示的に、Read Only Memory（ＲＯＭ）及びRandom Access Memory（ＲＡＭ）を含む記憶装置である。ＲＡＭは、例えばDynamic RAM（ＤＲＡＭ）であってよい。メモリ１２のＲＯＭには、Basic Input/Output System（ＢＩＯＳ）等のプログラムが書き込まれてよい。メモリ１２のソフトウェアプログラムは、ＣＰＵ１１に適宜に読み込まれて実行されてよい。また、メモリ１２のＲＡＭは、一次記録メモリあるいはワーキングメモリとして利用されてよい。

【0029】

ＣＰＵ１１は、プロセッサの一例であり、例示的に、種々の制御や演算を行なう処理装置であり、メモリ１２によって読み出されたOperating System（ＯＳ）やプログラムを実行することにより、種々の機能を実現する。すなわち、ＣＰＵ１１は、図１に示すように、学習モデル取得部１１１，異常レベル設定部１１２，異常レベル判定部１１３及び排出処理部１１４として機能してよい。

【0030】

なお、これらの学習モデル取得部１１１，異常レベル設定部１１２，異常レベル判定部１１３及び排出処理部１１４としての機能を実現するためのプログラムは、例えばフレキシブルディスク、ＣＤ（ＣＤ－ＲＯＭ、ＣＤ－Ｒ、ＣＤ－ＲＷ等）、ＤＶＤ（ＤＶＤ－ＲＯＭ、ＤＶＤ－ＲＡＭ、ＤＶＤ－Ｒ、ＤＶＤ＋Ｒ、ＤＶＤ－ＲＷ、ＤＶＤ＋ＲＷ、ＨＤ ＤＶＤ等）、ブルーレイディスク、磁気ディスク、光ディスク、光磁気ディスク等の、コンピュータ読取可能な記録媒体に記録された形態で提供されてよい。そして、コンピュータ（本実施形態ではＣＰＵ１１）は上述した記録媒体から図示しない読取装置を介してプログラムを読み取って内部記録装置または外部記録装置に転送し格納して用いてよい。また、プログラムを、例えば磁気ディスク，光ディスク，光磁気ディスク等の記憶装置（記録媒体）に記録しておき、記憶装置から通信経路を介してコンピュータに提供してもよい。

【0031】

学習モデル取得部１１１，異常レベル設定部１１２，異常レベル判定部１１３及び排出処理部１１４としての機能を実現する際には、内部記憶装置（本実施形態ではメモリ１２）に格納されたプログラムがコンピュータ（本実施形態ではＣＰＵ１１）によって実行されてよい。また、記録媒体に記録されたプログラムをコンピュータが読み取って実行してもよい。

【0032】

学習モデル取得部１１１は、実施形態における異常検査処理を実行するための機械学習モデルを生成して記憶装置１３に記憶させる。また、学習モデル取得部１１１は、記憶装置１３に記憶させた機械学習モデルを取得する。本実施形態では、閾値を適切に調整することで、複数の選別の用途に対応できる１つの機械学習モデルが実装される。

【0033】

異常レベル設定部１１２は、図３を用いて後述する設定画面２２０を用いたオペレータによる入力に基づき、判定の閾値，検査結果の閾値及び曖昧の排出率の情報を設定する。

【0034】

異常レベル判定部１１３は、学習モデル取得部１１１によって取得された機械学習モデルと、カメラ２１による入力とに基づき、各ワークに異常が存在する場合の異常レベルを判定する。

【0035】

排出処理部１１４は、異常レベル設定部１１２による設定と、異常レベル判定部１１３による異常レベルの判定結果とに基づき、異常品であるワークを排出する。

【0036】

また、排出処理部１１４は、異常品であるか正常品であるか曖昧なワークの一部を排出してもよい。例えば、大きく欠けているアーモンドは全体のうち１０％まで混入してもよいという場合には、異常レベル１～２は正常品とし、異常レベル２～３は曖昧として９０％排出し、異常レベル３以上は異常品として全て排出する。

【0037】

図３は、実施形態における異常レベルの設定画面２２０を例示する図である。

【0038】

図３に示す設定画面２２０は、検査システム１００のオペレータによって不図示のキーボードやマウスを用いて値が入力される。

【0039】

設定画面２２０には、異常の種類を示すラベル毎に、判定の閾値，判定結果の閾値及び曖昧の排出率が表示される。

【0040】

図３に示す例において、ラベルには、「しぼみ」，「虫食い」，「欠け」及び「異物」が表示されている。

【0041】

判定の閾値は、各ワークがそれぞれのラベルについての異常品である可能性の割合が設定される。

【0042】

検査結果の閾値は、各ワークの異常レベルに基づいて、各ワークがそれぞれのラベルについて正常品であるか、曖昧品であるか、異常品であるかの閾値が設定される。

【0043】

図３において、例えば、ラベル「しぼみ」について、検査結果の閾値は、異常レベル１．５未満は正常品（インジケータ２２１の白色領域を参照）で、異常レベル１．５以上且つ３．５未満は曖昧品（インジケータ２２１の斜線領域を参照）で、異常レベル３．５以上は異常品（インジケータ２２１の黒色領域を参照）であることを示している。

【0044】

なお、曖昧品は、正常品と異常品との中間の品質を有する中間品と称されてもよい。

【0045】

検査結果の閾値においては、入力ボックスに「1.5」（第２の閾値）や「3.5」（第１の閾値）の値が直接入力されてもよいし、インジケータ２２１を操作することによって値が調整されてもよい。

【0046】

また、図３において、例えば、ラベル「虫食い」について、検査結果の閾値は、異常レベル２．５未満は正常品（インジケータ２２１の白色領域を参照）で、異常レベル２．５以上は異常品（インジケータ２２１の黒色領域を参照）となっており、曖昧品の設定がなくてもよい。

【0047】

曖昧の排出率は、曖昧品と判定されたワークのうち何割を排出対象とするかが設定される。

【0048】

図４は、実施形態における入力画像のマップを例示する図である。

【0049】

図４では、［０，１］で正規化されたモノクロ画像の輝度が９×９のマップで表現されている。なお、入力画像はカラー画像であってもよい。

【0050】

図４に示す例において、0はワークが存在しない部位を表し、0.25はワークの正常部位が写っていることを表し、0.8の箇所に異常部位Ａがあることを表し、0.65の箇所に異常部位Ｂがあることを表し、0.9の箇所に異常部位Ｃがあることを表す。

【0051】

図５の（ａ）は異常度のマップを例示する図であり、図５の（ｂ）は異常レベルのマップを例示する図であり、図５の（ｃ）は異常種類＃１のマップを例示する図であり、図５の（ｄ）は異常種類＃２のマップを例示する図であり、図５の（ｅ）は異常種類＃３のマップを例示する図である。

【0052】

図５の（ａ）～（ｅ）に示す例においては、図４に示した入力画像のマップと比較してセル解像度が３分の１である３×３とされている。なお、図５の（ａ）～（ｅ）における各マップのセル解像度は３×３に限定されるものではなく、３×３よりも低くても高くてもよく、入力画像のマップと同じ（図４に示した例では９×９）であってもよい。

【0053】

図５の（ａ）において、異常度は、画像を機械学習で評価した結果として異常がある確率を表す。図５の（ａ）に示す例において、異常度は、異常部位Ａがある箇所が0.71として反応し、異常部位Ｂがある箇所が0.8として反応し、異常部位Ｃがある箇所が0.55として反応している。

【0054】

図５の（ｂ）において、異常レベルは、画像を機械学習で評価した結果として異常がある場合の異常の程度を表す。図５の（ｂ）に示す例において、異常レベルは、異常部位Ａがある箇所が0.6として反応し、異常部位Ｂがある箇所が0.1として反応し、異常部位Ｃがある箇所が0.9として反応している。

【0055】

図５の（ｃ）～（ｅ）において、異常種類は、図３に示したラベルに対応している。

【0056】

図５の（ｃ）に示す例において、異常種類＃１は、異常部位Ａがある箇所が0.51として反応し、異常部位Ｂがある箇所が0.2として反応し、異常部位Ｃがある箇所が0.05として反応している。

【0057】

図５の（ｄ）に示す例において、異常種類＃２は、異常部位Ａがある箇所が0.6として反応し、異常部位Ｂがある箇所が0.55として反応し、異常部位Ｃがある箇所が0.25として反応している。

【0058】

図５の（ｃ）に示す例において、異常種類＃３は、異常部位Ａがある箇所が0.1として反応し、異常部位Ｂがある箇所が0.05として反応し、異常部位Ｃがある箇所が0.45として反応している。

【0059】

図６の（ａ）は異常度マップの評価処理を説明する図であり、図６の（ｂ）は異常種類の選定処理を説明する図であり、図６の（ｃ）は異常レベルに応じた最終評価の決定処理を説明する図である。

【0060】

異常種類＃１の異常度の閾値が0.7であり、異常種類＃２の異常度の閾値が0.6であり、異常種類＃３の異常度の閾値が0.51であるとする。

【0061】

図６の（ａ）に示す異常度マップにおいて、各異常種類の閾値の中で最低の値（本例では、異常種類＃３の0.51）を超えるセルが選定される。0.71の箇所をセル＃１，0.8の箇所をセル＃５，0.55の箇所をセル＃９とする。

【0062】

図６の（ｂ）に示す異常種類の選定においては、異常種類＃１～＃３のマップを並べて、各マップにおいて図６の（ａ）で選定されたセルの座標と同一の座標で閾値を超える値（本例では、0.5）が選択される。図６の（ｂ）に示す例では、異常種類＃１のマップで0.51が、異常種類＃２のマップで0.6, 0.55が、閾値0.5を超える値として選ばれる。一方、異常種類＃３のマップでは、図６の（ａ）で選定されたセルの座標と同一の座標で閾値0.5を超える値がないため、最大の値0.45が１つ選ばれる。

【0063】

図６の（ｃ）に示す異常レベルに応じた最終評価の決定において、異常種類＃１では異常レベル0.5以上は異常、異常種類＃２では0.05～0.56を曖昧としそれ以上を異常、異常種類＃３は0.75未満を正常としていた場合、セル＃１は異常種類＃１，＃２がともに異常判定となり、セル＃５は異常種類＃２で曖昧判定となり、セル＃９は異常種類＃３で正常判定となる。

【0064】

〔Ａ－２〕動作例
実施形態における異常検査処理を図７に示すフローチャート（ステップＳ１～Ｓ１３）に示すフローチャートに従って説明する。

【0065】

異常レベル判定部１１３は、画像をＡＩで推論する（ステップＳ１）。

【0066】

異常レベル判定部１１３は、各異常種類の閾値で最も小さい異常度を超える異常度を持つセルがあるかを判定する（ステップＳ２）。

【0067】

各異常種類の閾値で最も小さい異常度を超える異常度を持つセルがない場合には（ステップＳ２のＮｏルート参照）、異常検査処理は終了する。

【0068】

一方、各異常種類の閾値で最も小さい異常度を超える異常度を持つセルがある場合には（ステップＳ２のＹｅｓルート参照）、ステップＳ４～Ｓ１１，Ｓ１３の処理を繰り返し実行し、最小の閾値を超えた異常度を持つ全てのセル評価を開始する（ステップＳ３）。なお、最小の閾値を超えた異常度を持つセル以外の全てのセルも含めて評価が行われてもよい。

【0069】

異常レベル判定部１１３は、セルの異常種類を決定する（ステップＳ４）。

【0070】

異常レベル判定部１１３は、異常度が決定された何れかの異常種類の閾値以上であるかを判定する（ステップＳ５）。

【0071】

異常度が決定された何れかの異常種類の閾値以上でない場合には（ステップＳ５のＮｏルート参照）、異常レベル判定部１１３は、異常種類マップの値のうち最大の値を採用する（ステップＳ１３）。そして、処理はステップＳ１２へ進む。

【0072】

一方、異常度が決定された何れかの異常種類の閾値以上である場合には（ステップＳ５のＹｅｓルート参照）、ステップＳ７～Ｓ１０の処理を繰り返し実行し、決定した全ての異常種類の評価を開始する（ステップＳ６）。

【0073】

異常レベル判定部１１３は、異常レベルが曖昧以上であるかを判定する（ステップＳ７）。

【0074】

異常レベルが曖昧以上でない場合には（ステップＳ７のＮｏルート参照）、処理はステップＳ１１へ進む。

【0075】

一方、異常レベルが曖昧以上である場合には（ステップＳ７のＹｅｓルート参照）、異常レベルが異常以上であるかを判定する（ステップＳ８）。

【0076】

異常レベルが異常以上である場合には（ステップＳ８のＹｅｓルート参照）、処理はステップＳ１０へ進む。

【0077】

一方、異常レベルが異常以上でない場合には（ステップＳ８のＮｏルート参照）、排出処理部１１４は、所定の確率で排出が選ばれたかを判定する（ステップＳ９）。

【0078】

所定の確率で排出が選ばれなかった場合には（ステップＳ９のＮｏルート参照）、処理はステップＳ１１へ進む。

【0079】

一方、所定の確率で排出が選ばれた場合には（ステップＳ９のＹｅｓルート参照）、排出処理部１１４は、排出処理を実行する（ステップＳ１０）。

【0080】

決定した全ての異常種類の評価がステップＳ７～Ｓ１０において繰り返し実行された場合には、決定した全ての異常種類の評価が終了する（ステップＳ１１）。

【0081】

全てのセル評価がステップＳ４～Ｓ１１，Ｓ１３において繰り返し実行された場合には、最小の閾値を超えた異常度を持つ全てのセル評価が終了する（ステップＳ１２）。そして、異常検査処理は終了する。

【0082】

次に、実施形態における入力画像の事前処理を図８に示すフローチャート（ステップＳ２１～Ｓ２３）に示すフローチャートに従って説明する。

【0083】

異常レベル判定部１１３は、入力画像に必要に応じて加工をする画像入力部として機能する（ステップＳ２１）。

【0084】

異常レベル判定部１１３は、入力を低次元の潜在空間に投影し高速処理できるようにする潜在空間投影部として機能する（ステップＳ２２）。

【0085】

異常レベル判定部１１３は、潜在空間の情報を解釈し所定の形式に変換して出力する出力部として機能する（ステップＳ２３）。そして、入力画像の事前処理は終了する。

【0086】

次に、実施形態における機械学習処理を、図９に示すフローチャート（ステップＳ３１～Ｓ３８）に従って説明する。

【0087】

学習モデル取得部１１１は、検査システム１００にサンプルを設置してカメラ２１で撮像することによって学習用サンプルが撮像されると、撮像したデータに対する教示を実施する（ステップＳ３１）。具体的には、学習モデル取得部１１１は、画像の異常部位へ異常種類と異常レベルを教示し、Semantic SegmentationやBounding Boxと称される処理を異常部位に対してだけ実施する。

【0088】

学習モデル取得部１１１は、画像と教示データを［０，１］のマップ等の学習に適した形式に変換する（ステップＳ３２）。

【0089】

ステップＳ３４～Ｓ３７の処理を繰り返し実行し、十分な精度が出るまでの学習を開始する（ステップＳ３３）。

【0090】

学習モデル取得部１１１は、変換した画像をＡＩへ入力する（ステップＳ３４）。

【0091】

学習モデル取得部１１１は、ＡＩの出力を取得する（ステップＳ３５）。

【0092】

学習モデル取得部１１１は、ＡＩの出力を変換した教示データに対して評価する（ステップＳ３６）。

【0093】

学習モデル取得部１１１は、評価結果を逆伝播してＡＩのパラメータを更新する（ステップＳ３７）。

【0094】

十分な精度が出るまでの学習がステップＳ３４～Ｓ３７において繰り返し実行された場合には、十分な精度が出るまでの学習が終了する（ステップＳ３８）。そして、機械学習処理は終了する。

【0095】

〔Ａ－３〕効果
上述した実施形態の一例における検査プログラム及び検査装置１によれば、例えば、以下の作用効果を奏することができる。

【0096】

異常レベル設定部１１２は、対象物における異常レベルに応じて対象物が正常品であるか異常品であるかを特定するための閾値を設定する。異常レベル判定部１１３は、撮像された対象物の画像に対して、機械学習モデルを使用して対象物における異常レベルを判定する。異常レベル判定部１１３は、前記対象物において同一部位に発生し得る複数の異常種類毎に、判定された異常レベルが設定された閾値以上である部位を含む前記対象物を異常品として特定する。

【0097】

これにより、ワークの選別の用途にかかわらず、１つの機械学習モデルを使用して柔軟なワークの選別が可能となる。また、複数の異常種類毎に異常レベルに応じた適切なワークの選別が可能となる。

【0098】

対象物の状態として、正常品及び異常品に加えて、正常品と異常品との中間の品質を有する中間品が含まれる。閾値は、対象物が異常品であるか中間品であるかを特定するための第１の閾値と、対象物が中間品であるか正常品であるかを特定するための第２の閾値とを含む。異常レベル判定部１１３は、判定された異常レベルが第１の閾値以上である部位を含む対象物を異常品として特定し、判定された異常レベルが第２の閾値以上であり且つ第１の閾値未満である部位を含み且つ異常品として特定されていない対象物を中間品として特定し、判定された異常レベルが第２の閾値以上である部位を含み且つ異常品又は中間品として特定されていない対象物を異常品として特定する。

【0099】

これにより、正常品と異常品との中間の品質を有する中間品（別言すれば、曖昧品）を適切に特定できる。

【0100】

異常レベル設定部１１２は、複数の異常種類毎に、中間品の排出率を設定する。排出処理部１１４は、複数の対象物の中から、異常品の全部に加えて、中間品のうち排出率に応じた一部を排出する。

【0101】

これにより、中間品を適切な割合で排出できる。

【0102】

異常レベル設定部１１２は、異常種類毎に複数の閾値を設定する。異常レベル判定部１１３は、異常種類毎に複数の異常レベルを判定する。異常レベル判定部１１３は、判定された複数の異常レベルのそれぞれが設定された複数の閾値のうち対応する閾値以上である部位を含む対象物を異常品として特定する。

【0103】

これにより、異常種類毎の複数の異常レベルを判定することによって、異常品の特定をより正確に実施できる。

【0104】

〔Ｂ〕その他
開示の技術は上述した実施形態に限定されるものではなく、本実施形態の趣旨を逸脱しない範囲で種々変形して実施することができる。本実施形態の各構成及び各処理は、必要に応じて取捨選択することができ、あるいは適宜組み合わせてもよい。

【符号の説明】

【0105】

１００ ：検査システム
１ ：検査装置
１１ ：ＣＰＵ
１１１ ：学習モデル取得部
１１２ ：異常レベル設定部
１１３ ：異常レベル判定部
１１４ ：排出処理部
１２ ：メモリ
１３ ：記憶装置
２１ ：カメラ
２２ ：ディスプレイ
２２０ ：設定画面
２２１ ：インジケータ
２３ ：搬送装置

【要約】

対象物を検査するコンピュータに、対象物における異常レベルに応じて対象物が正常品であるか異常品であるかを特定するための閾値（２２１）を設定し、撮像された対象物の画像に対して、機械学習モデルを使用して対象物における異常レベルを判定し、前記対象物において同一部位に発生し得る複数の異常種類毎に、判定された異常レベルが設定された閾値（２２１）以上である部位を含む対象物を異常品として特定する。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】