IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ セイコーエプソン株式会社の特許一覧

特開2024-124719検査装置、検査方法、および、プログラム
<>
  • 特開-検査装置、検査方法、および、プログラム 図1
  • 特開-検査装置、検査方法、および、プログラム 図2
  • 特開-検査装置、検査方法、および、プログラム 図3
  • 特開-検査装置、検査方法、および、プログラム 図4
  • 特開-検査装置、検査方法、および、プログラム 図5
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024124719
(43)【公開日】2024-09-13
(54)【発明の名称】検査装置、検査方法、および、プログラム
(51)【国際特許分類】
   G01N 21/88 20060101AFI20240906BHJP
   G01N 21/84 20060101ALI20240906BHJP
【FI】
G01N21/88 J
G01N21/84 D
【審査請求】未請求
【請求項の数】7
【出願形態】OL
(21)【出願番号】P 2023032596
(22)【出願日】2023-03-03
(71)【出願人】
【識別番号】000002369
【氏名又は名称】セイコーエプソン株式会社
(74)【代理人】
【識別番号】100179475
【弁理士】
【氏名又は名称】仲井 智至
(74)【代理人】
【識別番号】100216253
【弁理士】
【氏名又は名称】松岡 宏紀
(74)【代理人】
【識別番号】100225901
【弁理士】
【氏名又は名称】今村 真之
(72)【発明者】
【氏名】小笠原 剛史
【テーマコード(参考)】
2G051
【Fターム(参考)】
2G051AB02
2G051AC21
2G051AC22
2G051CA04
2G051EA12
2G051EA14
2G051EB01
2G051EC01
(57)【要約】
【課題】作業者による目視検査の工数を削減する。
【解決手段】検査装置は、検査対象物を撮像した入力画像を用いて、検査対象物が有する欠陥の種類を判別する前処理部と、機械学習モデルを用いて、入力画像に基づいて、検査対象物の欠陥の有無を判別し、判別した結果の信頼度を表す信頼度スコアを含む判別結果を出力する判別部と、作業者による目視検査の実施の要否を通知し、作業者の目視検査の結果を受け付ける検査処理部と、検査結果を出力する出力部と、機械学習モデルによる判別結果を検査結果として採用できる欠陥の種類を表す情報が登録されたリストを記憶する記憶部と、を備える。(i)信頼度スコアが目視検査の実施を要しないことを示し、かつ、検査対象物が有する欠陥の種類がリストに登録されている場合に、検査処理部は、目視検査の実施が必要であることを通知せず、出力部は、判別結果を検査結果として出力する。
【選択図】図1
【特許請求の範囲】
【請求項1】
検査装置であって、
検査対象物を撮像した入力画像を用いて、前記検査対象物が有する欠陥の種類を判別する前処理部と、
機械学習モデルを用いて、前記入力画像に基づいて、前記検査対象物の前記欠陥の有無を判別し、判別した結果の信頼度を表す信頼度スコアを含む判別結果を出力する判別部と、
作業者による目視検査の実施の要否を通知し、前記目視検査の結果を受け付ける検査処理部と、
検査結果を出力する出力部と、
前記機械学習モデルによる前記判別結果を前記検査結果として採用できる前記欠陥の種類を表す情報が登録されたリストを記憶する記憶部と、
を備え、
(i)前記信頼度スコアが前記目視検査の実施を要しないことを示し、かつ、前記検査対象物が有する前記欠陥の種類が前記リストに登録されている場合に、
前記検査処理部は、前記目視検査の実施が必要であることを通知せず、
前記出力部は、前記判別結果を前記検査結果として出力し、
(ii)前記信頼度スコアが前記目視検査の実施を要することを示す場合、
または、
(iii)前記信頼度スコアが前記目視検査の実施を要しないことを示し、かつ、前記検査対象物が有する前記欠陥の種類が前記リストに登録されていない場合に、
前記検査処理部は、前記目視検査の実施が必要であることを通知し、前記目視検査の結果を受け付け、
前記出力部は、前記目視検査の前記結果を前記検査結果として出力する、
検査装置。
【請求項2】
請求項1に記載の検査装置であって、
前記判別結果を評価する評価部と、
前記リストに登録されていない前記欠陥の種類に関する前記判別結果について、前記評価部が評価した結果が、前記判別結果を前記検査結果として採用できることを示す場合に、前記判別結果にかかる前記欠陥の種類を前記リストに追加する更新部と、
をさらに備える、
検査装置。
【請求項3】
請求項2に記載の検査装置であって、
前記リストに登録されている前記欠陥の種類に関する前記判別結果について、前記評価部が評価した結果が、前記判別結果を前記検査結果として採用できないことを示す場合に、前記更新部は、前記判別結果にかかる前記欠陥の種類を前記リストから削除する、
検査装置。
【請求項4】
請求項3に記載の検査装置であって、
前記信頼度スコアは、前記検査対象物が前記欠陥を有することについての信頼度を表す第1値を含み、
前記第1値が第1閾値未満であることを含む第1条件が満たされており、前記検査対象物が有する前記欠陥の種類が前記リストに登録されている場合、
または、
前記第1値が前記第1閾値とは異なる第2閾値以上であることを含む第2条件が満たされており、前記検査対象物が有する前記欠陥の種類が前記リストに登録されている場合、
前記検査処理部は、前記目視検査の実施が必要であることを通知せず、
前記出力部は、前記判別結果を確定した前記検査結果として出力する、
検査装置。
【請求項5】
請求項4に記載の検査装置であって、
前記前処理部は、
前記検査対象物を撮像した複数の画像それぞれと基準画像との比較により、欠陥候補の前記検査対象物が含まれている画像を前記入力画像として選択し、
前記入力画像を用いて、前記検査対象物が有する前記欠陥の種類を判別し、
前記判別部は、
前記前処理部により選択されなかった画像に基づいて前記欠陥の有無を判別せず、
前記出力部は、
前記前処理部により選択されなかった画像に含まれている前記検査対象物については、欠陥を有しないとする確定した前記検査結果を出力する、
検査装置。
【請求項6】
検査方法であって、
検査対象物を撮像した入力画像を用いて、前記検査対象物が有する欠陥の種類を判別するステップと、
機械学習モデルを用いて前記入力画像に基づいて、前記検査対象物が前記欠陥の有無を判別し、判別した結果の信頼度を表す信頼度スコアを含む判別結果を出力するステップと、
前記機械学習モデルによる前記判別結果を検査結果として採用できる前記欠陥の種類を表す情報が登録されたリストを記憶する記憶部から、前記リストを読み出すステップと、
(i)前記信頼度スコアが作業者の目視検査の実施を要しないことを示し、かつ、前記検査対象物が有する前記欠陥の種類が前記リストに登録されている場合に、
前記判別結果を前記検査結果として出力するステップと、
(ii)前記信頼度スコアが前記目視検査の実施を要することを示す場合、
または、
(iii)前記信頼度スコアが前記目視検査の実施を要しないことを示し、かつ、前記検査対象物が有する前記欠陥の種類が前記リストに登録されていない場合に、
前記目視検査の実施が必要であることを通知し、前記目視検査の結果を受け付けるステップと、
前記目視検査の前記結果を前記検査結果として出力するステップと、
を含む検査方法。
【請求項7】
プログラムであって、
検査装置として機能するコンピューターに、
検査対象物を撮像した入力画像を用いて、前記検査対象物が有する欠陥の種類を判別する機能と、
機械学習モデルを用いて前記入力画像に基づいて、前記検査対象物が前記欠陥の有無を判別し、判別した結果の信頼度を表す信頼度スコアを含む判別結果を出力する機能と、
前記機械学習モデルによる前記判別結果を検査結果として採用できる前記欠陥の種類を表す情報が登録されたリストを記憶する記憶部から、前記リストを読み出す機能と、
(i)前記信頼度スコアが作業者の目視検査の実施を要しないことを示し、かつ、前記検査対象物が有する前記欠陥の種類が前記リストに登録されている場合に、
前記目視検査の実施が必要であることを通知しない機能と、
前記判別結果を前記検査結果として出力する機能と、
(ii)前記信頼度スコアが前記目視検査の実施を要することを示す場合、
または、
(iii)前記信頼度スコアが前記目視検査の実施を要しないことを示し、かつ、前記検査対象物が有する前記欠陥の種類が前記リストに登録されていない場合に、
前記目視検査の実施が必要であることを通知し、前記目視検査の結果を受け付ける機能と、
前記目視検査の前記結果を前記検査結果として出力する機能と、
を実現させるプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、検査装置、検査方法、および、プログラムに関する。
【背景技術】
【0002】
特許文献1には、検査対象物を撮像した画像を用いて外観検査を行う技術が記載されている。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2015-137919号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
特許文献1に記載の技術においては、良否判定処理部により画像から抽出された欠陥候補が不良であると判定された場合に、不良であると判定された欠陥候補を一律に作業者の目視検査の対象とする。このため、目視検査が不要な場合であっても、目視検査が行われる。よって、作業者による目視検査の工数を削減できる技術が望まれていた。
【課題を解決するための手段】
【0005】
本開示は、以下の形態として実現することが可能である。
【0006】
本開示の第1形態によれば、検査装置が提供される。この検査装置は、検査対象物を撮像した入力画像を用いて、前記検査対象物が有する前記欠陥の種類を判別する前処理部と、機械学習モデルを用いて、前記入力画像に基づいて、前記検査対象物の前記欠陥の有無を判別し、判別した結果の信頼度を表す信頼度スコアを含む判別結果を出力する判別部と、作業者による目視検査の実施の要否を通知し、前記目視検査の結果を受け付ける検査処理部と、検査結果を出力する出力部と、前記機械学習モデルによる前記判別結果を前記検査結果として採用できる前記欠陥の種類を表す情報が登録されたリストを記憶する記憶部と、を備え、(i)前記信頼度スコアが前記目視検査の実施を要しないことを示し、かつ、前記検査対象物が有する前記欠陥の種類が前記リストに登録されている場合に、前記検査処理部は、前記目視検査の実施が必要であることを通知せず、前記出力部は、前記判別結果を前記検査結果として出力し、(ii)前記信頼度スコアが前記目視検査の実施を要することを示す場合、または、(iii)前記信頼度スコアが前記目視検査の実施を要しないことを示し、かつ、前記検査対象物が有する前記欠陥の種類が前記リストに登録されていない場合に、前記検査処理部は、前記目視検査の実施が必要であることを通知し、前記目視検査の結果を受け付け、前記出力部は、前記目視検査の前記結果を前記検査結果として出力する。
【0007】
本開示の第2形態によれば、検査方法が提供される。この検査方法は、検査対象物を撮像した入力画像を用いて、前記検査対象物が有する欠陥の種類を判別するステップと、機械学習モデルを用いて前記入力画像に基づいて、前記検査対象物が前記欠陥の有無を判別し、判別した結果の信頼度を表す信頼度スコアを含む判別結果を出力するステップと、前記機械学習モデルによる前記判別結果を検査結果として採用できる前記欠陥の種類を表す情報が登録されたリストを記憶する記憶部から、前記リストを読み出すステップと、(i)前記信頼度スコアが作業者の目視検査の実施を要しないことを示し、かつ、前記検査対象物が有する前記欠陥の種類が前記リストに登録されている場合に、前記判別結果を前記検査結果として出力するステップと、(ii)前記信頼度スコアが前記目視検査の実施を要することを示す場合、または、(iii)前記信頼度スコアが前記目視検査の実施を要しないことを示し、かつ、前記検査対象物が有する前記欠陥の種類が前記リストに登録されていない場合に、前記目視検査の実施が必要であることを通知し、前記目視検査の結果を受け付けるステップと、前記目視検査の前記結果を前記検査結果として出力するステップと、を含む。
【0008】
本開示の第3形態によれば、プログラムが提供される。このプログラムは、検査装置として機能するコンピューターに、検査対象物を撮像した入力画像を用いて、前記検査対象物が有する欠陥の種類を判別する機能と、機械学習モデルを用いて前記入力画像に基づいて、前記検査対象物が前記欠陥の有無を判別し、判別した結果の信頼度を表す信頼度スコアを含む判別結果を出力する機能と、前記機械学習モデルによる前記判別結果を検査結果として採用できる前記欠陥の種類を表す情報が登録されたリストを記憶する記憶部から、前記リストを読み出す機能と、(i)前記信頼度スコアが作業者の目視検査の実施を要しないことを示し、かつ、前記検査対象物が有する前記欠陥の種類が前記リストに登録されている場合に、前記目視検査の実施が必要であることを通知しない機能と、前記判別結果を前記検査結果として出力する機能と、(ii)前記信頼度スコアが前記目視検査の実施を要することを示す場合、または、(iii)前記信頼度スコアが前記目視検査の実施を要しないことを示し、かつ、前記検査対象物が有する前記欠陥の種類が前記リストに登録されていない場合に、前記目視検査の実施が必要であることを通知し、前記目視検査の結果を受け付ける機能と、前記目視検査の前記結果を前記検査結果として出力する機能と、を実現させる。
【図面の簡単な説明】
【0009】
図1】本実施形態にかかる検査システムの概略構成を表すブロック図である。
図2】検査装置が実行する処理を示すフローチャートである。
図3】検査処理の詳細な処理を表したフローチャートである。
図4】第1更新処理の詳細な処理を表したフローチャートである。
図5】第2更新処理の詳細な処理を表したフローチャートである。
【発明を実施するための形態】
【0010】
A.実施形態:
図1は、本実施形態にかかる検査システム10の概略構成を表すブロック図である。検査システム10は、カメラ50と検査装置100とを備える。検査システム10は、例えば、製造ラインにおいて検査工程でカメラ50により撮像された画像を用いてワークWKの検査を行う。ワークWKは、ボルト、ナット等の部品、あるいは、仕掛品である。ワークWKを検査対象物ともよぶ。
【0011】
カメラ50は、ワークWKの画像を撮像し、撮像した画像を検査装置100に供給する。カメラ50は無線通信または有線通信を介して検査装置100と通信可能である。
【0012】
検査装置100は、メモリー110と、インターフェイス部120と、入力装置130と、表示装置140と、プロセッサー150と、を備えるコンピューターである。
【0013】
メモリー110は、検査装置100が実行する各種処理に使用される各種のプログラムおよびデータを記憶する。メモリー110には、学習モデルM1を表すデータが格納されている。学習モデルM1は、ワークWKが撮像された画像が入力されると、ワークWKに欠陥があるか否かを判別する。学習モデルM1は、例えば、畳み込みニューラルネットワーク(Convolutional Neural Network: CNN)である。学習モデルM1は、学習データセットを用いた機械学習により生成された機械学習モデルである。学習データセットは、学習データと学習データに関連付けられた目標データとのセットの集合を含む。学習データとしてワークWKが撮像された画像が用いられる。目標データとして、画像に含まれているワークWKが欠陥を有しない、即ち、ワークWKが良品であることを示すラベル値、あるいは、画像に含まれているワークWKが欠陥を有する、即ち、ワークWKが不良品であることを示すラベル値のいずれかの値が用いられる。
【0014】
メモリー110には、リストL1が格納されている。リストL1には、学習モデルM1による判別結果を検査結果として採用できる欠陥の種類を表す情報が登録されている。メモリー110を記憶部ともよぶ。
【0015】
インターフェイス部120には、カメラ50と、入力装置130と、表示装置140とが接続されている。入力装置130は、例えば、キーボード、マウスである。表示装置140は、例えば、液晶ディスプレイ、有機EL(Electro Luminescence)ディスプレイである。
【0016】
プロセッサー150は、メモリー110に記憶されているプログラムを実行することにより様々な機能を実現する。プロセッサー150は、メモリー110に格納されているプログラムを実行することで、前処理部210、判別部220、検査処理部230、出力部240、評価部250、および、更新部260として機能する。
【0017】
前処理部210は、ワークWKを撮像した画像と基準画像とを比較することにより、ワークWKが有する欠陥の種類を判別する。前処理部210の処理の詳細は後述する。
【0018】
判別部220は、学習モデルM1を用いて、ワークWKを撮像した画像に基づいて、ワークWKの欠陥の有無を判別し、判別結果を出力する。判別結果には、判別した結果の信頼度を表す信頼度スコアが含まれる。判別部220の処理の詳細は後述する。ワークWKを撮像した画像を入力画像ともよぶ。
【0019】
検査処理部230は、作業者の目視検査の結果を受け付ける。ただし、本実施形態において、以下の場合には作業者による目視検査が実施されない。
(i)信頼度スコアが目視検査の実施を要しないことを示し、かつ、検査対象物が有する欠陥の種類がリストL1に登録されている場合
【0020】
以下のいずれかの場合には、作業者による目視検査が実施される。
(ii)信頼度スコアが目視検査の実施を要することを示す場合
(iii)信頼度スコアが目視検査の実施を要しないことを示し、かつ、検査対象物が有する欠陥の種類がリストL1に登録されていない場合
【0021】
検査処理部230は、上記の(ii)または(iii)の場合、即ち、目視検査の実施を要する場合、目視検査の実施が必要であることを通知する。上記の(i)の場合、即ち、目視検査の実施を要しない場合、検査処理部230は目視検査の実施の要否を通知しない。あるいは、検査処理部230は、目視検査の実施が不要であることを通知してもよい。検査処理部230の処理の詳細は後述する。
【0022】
出力部240は、上記の(i)の場合、学習モデルM1による判別結果を検査結果として出力する。出力部240は、上記の(ii)または(iii)の場合、作業者による目視検査の結果を検査結果として出力する。出力部240の処理の詳細は後述する。
【0023】
評価部250は、判別部220による判別結果を評価する。評価部250の処理の詳細は後述する。
【0024】
更新部260は、評価部250による評価結果を用いてリストL1を更新する。更新部260の処理の詳細は後述する。
【0025】
図2は、検査装置100が実行する処理を示すフローチャートである。図2に示す処理は、ステップS10の検査処理と、ステップS20の第1更新処理と、ステップS30の第2更新処理とを含む。例えば、ユーザーが入力装置130を介して処理の開始を指示すると、プロセッサー150は図2に示す処理を開始する。
【0026】
図3は、検査処理(図2のステップS10を参照)の詳細な処理を表したフローチャートである。図3に示す処理は、前処理部210、判別部220、検査処理部230、および、出力部240として機能するプロセッサー150により実行される。図3に示す処理が開始される前に、メモリー110には、カメラ50により撮像されたワークWKの入力画像が格納されている。検査に用いられる入力画像は、検査対象である同一のワークWKを異なる方向から撮像した複数の画像であってもよいし、検査対象である複数のワークWKを撮像した複数の画像であってもよい。
【0027】
ステップS101において、プロセッサー150は、メモリー110に格納された入力画像を読み出し、入力画像と基準画像とを比較することにより、対象のワークWKが欠陥候補であるかを判別する。基準画像は、例えば、欠陥のない、ワークWKと同種の部品を撮像した画像である。さらに、プロセッサー150は、対象のワークWKが欠陥候補である場合にその欠陥の種類を判別する。欠陥の種類は、例えば、「キズ」、「欠け」、「異物」である。「キズ」は、欠損部が線状である欠陥である。「欠け」は、欠損部がある程度の面積を有する欠陥である。「異物」は、ワークWKに異物が付着している欠陥である。なお、ステップS101の処理では学習モデルM1は用いられない。
【0028】
ステップS102において、入力画像に含まれているワークWKが欠陥候補である場合(ステップS102;YES)、プロセッサー150はステップS103の処理を実行する。一方、入力画像に含まれているワークWKが欠陥候補でない場合(ステップS102;NO)、プロセッサー150はステップS107において検査結果の出力にかかる処理を実行する。欠陥候補でないワークWKについては、後述の学習モデルM1を用いた判別および目視検査が行われない。よって、検査にかかる工数を削減できる。
【0029】
ステップS103において、プロセッサー150は学習モデルM1を用いて欠陥候補についての欠陥の有無を判別する。学習モデルM1に、入力画像が入力されると、判別結果が出力される。判別結果として、対象のワークWKが欠陥を有することについての信頼度を表す不良品スコアと、対象のワークWKが欠陥を有しないことについての信頼度を表す良品スコアと、を含む信頼度スコアが出力される。不良品スコアを第1値ともよぶ。良品スコアを第2値ともよぶ。
【0030】
不良品スコアは、対象のワークWKが欠陥を有することの確からしさを表す確率で表される。良品スコアは、対象のワークWKが欠陥を有しないことの確からしさを表す確率で表される。例えば、不良品スコアが20%、良品スコアが80%である。この場合、信頼度スコアは、「欠陥なし:0.2,欠陥あり:0.8」と表される。
【0031】
ステップS104で、プロセッサー150は不良品スコアが第1条件を満たすか否かを判別する。不良品スコアがあらかじめ決められた第1閾値未満であることを第1条件とする。例えば、第1閾値を「15%」と設定する。不良品スコアが第1閾値未満である場合(ステップS104;YES)、プロセッサー150は、対象のワークWKが欠陥を有しないと判別し、ステップS105の処理を実行する。不良品スコアが第1閾値未満であるとは、学習モデルM1が欠陥なしと判別した結果の信頼性が十分であることを意味する。この場合、原則として、作業者による目視検査の実施が不要である。不良品スコアが第1閾値以上であるとは、学習モデルM1が欠陥なしと判別した結果の信頼性が不十分であることを意味する。この場合、作業者による目視検査の実施が必要である。不良品スコアが第1閾値以上である場合(ステップS104;NO)、プロセッサー150は、対象のワークWKの良否が不明であると判別し、ステップS106の処理を実行する。
【0032】
ステップS105で、プロセッサー150は、対象のワークWKについてステップS101で判別された欠陥の種類がリストL1に登録されているか否かを判別する。
【0033】
対象となる欠陥の種類がリストL1に登録されていることは、学習モデルM1による判別結果を検査結果として採用できることを意味する。この場合、作業者による目視検査の実施は不要である。目視検査が実施されないので、作業者による目視検査の工数を削減できる。
【0034】
また、対象のワークWKの欠陥の種類がリストL1に登録されていないことは、学習モデルM1による判別結果を検査結果として採用できないことを意味する。この場合、作業者による目視検査の実施が必要である。
【0035】
ステップS105において、対象となる欠陥の種類がリストL1に登録されている場合(ステップS105;YES)、プロセッサー150はステップS107の処理を実行する。一方、対象となる欠陥の種類がリストL1に登録されていない場合(ステップS105;NO)、プロセッサー150はステップS106の処理を実行する。
【0036】
ステップS106において、作業者による目視検査が実施される。実施形態において、学習モデルM1が判別した結果の信頼性が不十分である場合には、目視検査が実施される。また、学習モデルM1が判別した結果の信頼性が十分であっても、対象となる欠陥の種類が、学習モデルM1が判別した結果を検査結果として採用できないものである場合には、目視検査が実施される。まず、プロセッサー150は、入力画像とともに目視検査の実施が必要であることを通知する画像を表示装置140に表示する。作業者は、表示された入力画像を視認して、対象のワークWKが欠陥を有するか否かを判別する。さらに、作業者は、対象のワークWKが欠陥を有する場合、その欠陥の種類を判別する。作業者は入力装置130を用いて目視検査の結果を入力する。よって、プロセッサー150は目視検査の結果を受け付ける。
【0037】
ステップS107において、プロセッサー150は検査結果を出力する。
【0038】
プロセッサー150は、以下の場合にはステップS103で得られた判別結果を確定した検査結果として出力する。
(i)ステップS104で不良品スコアが第1閾値未満と判別された、即ち、不良品スコアが目視検査の実施を要しないことを示し、かつ、ステップS105でワークWKが有する欠陥の種類がリストL1に登録されていると判別された場合
【0039】
プロセッサー150は、以下のいずれかの場合には、ステップS106において得られた目視検査の結果を検査結果として出力する。
(ii)ステップS104で信頼度スコアの不良品スコアが第1閾値以上であると判別された、即ち、不良品スコアが目視検査の実施を要することを示す場合
(iii)ステップS104で信頼度スコアの不良品スコアが第1閾値未満であると判別され、かつ、ステップS105でワークWKが有する欠陥の種類がリストL1に登録されていないと判別された場合
【0040】
また、プロセッサー150は、ステップS101における処理で欠陥候補として選択されなかった入力画像に含まれているワークWKについては、欠陥を有しないとする確定した検査結果を出力する。
【0041】
例えば、プロセッサー150は検査結果を表すデータをメモリー110に保存する。検査結果を表すデータには、検査が実行された日時、入力画像を表す情報、欠陥の種類を表す情報、信頼度スコア、不良品スコア、上記の(i)から(iii)のいずれに該当するかを表す情報等が含まれている。さらに、プロセッサー150は検査結果を表す画像を表示装置140に表示してもよい。
【0042】
ステップS108において、プロセッサー150は処理を継続するか否かを判別する。例えば、メモリー110に未処理の画像が未だ残っている場合にプロセッサー150は処理を継続すると判別する。処理を継続する場合(ステップS108;YES)、プロセッサー150は再びステップS101の処理を実行する。処理を継続しない場合(ステップS108;NO)、プロセッサー150は図3に示す処理を終了する。
【0043】
上述のように、本実施形態にかかる検査処理においては学習モデルM1を用いた判別結果の信頼度を表す信頼度スコアに基づいて目視検査の要否が判別され、ワークWKが有する欠陥の種類がリストL1に登録されている場合には、欠陥の種類によらず目視検査が実施されない。よって、機械学習モデルを用いた判別結果の信頼度を考慮しない態様にくらべて作業者による目視検査の工数を削減できる。
【0044】
図4は、第1更新処理(図2のステップS20を参照)の詳細な処理を表したフローチャートである。第1更新処理では、学習モデルM1による判別結果を評価した結果に基づいてリストL1に新たな欠陥の種類が追加される。図4に示す処理は、評価部250、および、更新部260として機能するプロセッサー150により実行される。
【0045】
ステップS201において、プロセッサー150は学習モデルM1による判別結果の評価の実施の要否を判別する。プロセッサー150はメモリー110に格納された検査結果を表すデータを読み出し、検査結果を表すデータを用いて以下の処理を実行する。ここでは、プロセッサー150は図3に示す検査処理において(iii)の条件に該当する場合に、評価が必要であると判別する。
(iii)ステップS104で信頼度スコアの不良品スコアが第1閾値未満であると判別され、かつ、ステップS105でワークWKが有する欠陥の種類がリストL1に登録されていないと判別された場合
【0046】
評価の実施が必要である場合(ステップS201;YES)、プロセッサー150はステップS202の処理を実行する。一方、評価の実施が不要である場合、プロセッサー150はステップS205の処理を実行する。
【0047】
ステップS202で、プロセッサー150は対象の検査結果にかかる学習モデルM1による判別結果を評価する。ここで評価の対象となるのは、上記の(iii)の条件に該当する場合における学習モデルM1による判別結果である。具体的には、プロセッサー150は、学習モデルM1による判別結果と目視検査の結果とが一致するか否かを判別する。学習モデルM1による判別結果と目視検査の結果とが一致する場合、プロセッサー150は、第1件数に1加算し、加算後の第1件数の値を、対象の検査結果にかかる欠陥の種類を特定する情報と、を対応付けてメモリー110に格納する。
【0048】
ステップS203で、プロセッサー150は、対象の検査結果にかかる欠陥の種類をリストL1に追加するための追加条件が満たされているか否かを判別する。追加条件は、対象の検査結果にかかる欠陥の種類について、学習モデルM1による判別結果が目視検査の結果に一致する精度が、あらかじめ決められた第1評価閾値以上となったことである。第1評価閾値は、例えば、80パーセントである。例えば、検査処理において欠陥の種類が「欠け」について学習モデルM1を用いた判別が100回行われたとする。ステップS202の処理の実行により、「欠け」について第1件数が80回に到達したとする。この場合、学習モデルM1による判別結果の精度が第1評価閾値以上となる。追加条件が満たされている場合(ステップS203;YES)、プロセッサー150はステップS204の処理を実行する。一方、追加条件が満たされていない場合(ステップS203;NO)、ステップS205の処理が実行される。
【0049】
ステップS204で、プロセッサー150は、該当する欠陥の種類を登録日ともにリストL1に登録する。
【0050】
ステップS205において、プロセッサー150は、処理を継続するか否かを判別する。例えば、プロセッサー150は、メモリー110に未評価の検査結果が未だ残っている場合に処理を継続すると判別する。処理を継続する場合(ステップS205;YES)、プロセッサー150は、再びステップS201の処理を実行する。処理を継続しない場合(ステップS205;NO)、プロセッサー150は、図4に示す処理を終了する。
【0051】
上述のように、検査装置100は、学習モデルM1による判別結果を評価した結果に基づいてリストL1に欠陥の種類を追加する。学習モデルM1の判別精度の変化に応じて、学習モデルM1による判別結果を検査結果として採用できるか否かを示すリストL1を動的に更新する。よって、学習モデルM1を用いた判別の誤りの発生を抑制できる。
【0052】
図5は、第2更新処理(図2のステップS30を参照)の詳細な処理を表したフローチャートである。第2更新処理では、学習モデルM1による判別結果を評価した結果に基づいてリストL1に登録されている欠陥の種類が削除される。図5に示す処理は、評価部250、および、更新部260として機能するプロセッサー150により実行される。
【0053】
ステップS301において、プロセッサー150は学習モデルM1による判別結果の評価の実施の要否を判別する。プロセッサー150はメモリー110に格納された検査結果を表すデータを読み出し、検査結果を表すデータを用いて以下の処理を実行する。ここでは、プロセッサー150は、図3に示す検査処理において(i)の条件に該当する場合であり、かつ、対象の検査結果にかかる欠陥の種類がリストL1へ登録された日からあらかじめ決められた期間が経過している場合に、評価が必要であると判別する。
(i)ステップS104で不良品スコアが第1閾値未満と判別された、即ち、不良品スコアが目視検査の実施を要しないことを示し、かつ、ステップS105でワークWKが有する欠陥の種類がリストL1に登録されていると判別された場合
【0054】
評価の実施が必要である場合(ステップS301;YES)、プロセッサー150はステップS302の処理を実行する。一方、評価の実施が不要である場合、プロセッサー150はステップS305の処理を実行する。
【0055】
ステップS302で、プロセッサー150は対象の検査結果にかかる学習モデルM1による判別結果を評価する。ここで評価の対象となるのは、上記の(i)の条件に該当する場合における学習モデルM1による判別結果である。
【0056】
ステップS302においては、対象の検査結果にかかる入力画像に基づいて作業者が目視検査を実施する。このため、まず、プロセッサー150は、入力画像とともに目視検査の実施が必要であることを通知する画像を表示装置140に表示する。作業者は、表示された入力画像を視認して、対象のワークWKが欠陥を有するか否かを判別する。さらに、作業者は、対象のワークWKが欠陥を有する場合、その欠陥の種類を判別する。作業者は入力装置130を用いて目視検査の結果を入力する。よって、プロセッサー150は目視検査の結果を受け付ける。その後、プロセッサー150は、対象の検査結果にかかる学習モデルM1による判別結果と、目視検査の結果と、が一致するか否かを判別する。学習モデルM1による判別結果と目視検査の結果とが一致する場合、プロセッサー150は、第2件数に1加算し、加算後の第2件数の値を、対象の検査結果にかかる欠陥の種類を特定する情報と、を対応付けてメモリー110に格納する。学習モデルM1による判別結果と目視検査の結果とが一致しない場合、プロセッサー150は、第3件数に1加算し、加算後の第3件数の値を、対象の検査結果にかかる欠陥の種類を特定する情報と、を対応付けてメモリー110に格納する。
【0057】
ステップS303で、プロセッサー150は、対象の検査結果にかかる欠陥の種類をリストL1に維持するための維持条件が満たされているか否かを判別する。維持条件は、対象の検査結果にかかる欠陥の種類について、学習モデルM1による判別結果が目視検査の結果に一致する精度が、あらかじめ決められた第2評価閾値以上となったことである。第2評価閾値は、例えば、80パーセントである。例えば、検査処理において、欠陥の種類が「キズ」について学習モデルM1を用いた判別が100回行われたとする。ステップS302の処理の実行により、「キズ」について第2件数が80回に到達したとする。この場合、学習モデルM1による判別結果の精度が第2評価閾値以上となる。維持条件が満たされている場合(ステップS303;YES)、リストL1の更新は行われず、ステップS305の処理が実行される。
【0058】
一方、維持条件が満たされていない場合(ステップS303;NO)、プロセッサー150はステップS304の処理を実行する。ステップS304で、プロセッサー150は、該当する欠陥の種類をリストL1から削除する。
【0059】
ステップS305において、プロセッサー150は、処理を継続するか否かを判別する。例えば、プロセッサー150は、メモリー110に未評価の検査結果が未だ残っている場合に処理を継続すると判別する。処理を継続する場合(ステップS305;YES)、プロセッサー150は、再びステップS301の処理を実行する。処理を継続しない場合(ステップS305;NO)、プロセッサー150は、図5に示す処理を終了する。
【0060】
上述のように、検査装置100は、学習モデルM1を用いた判別結果を評価した結果に基づいてリストL1から欠陥の種類を削除する。学習モデルM1の判別精度の変化に応じて、学習モデルM1による判別結果を検査結果として採用できるか否かを示すリストL1を動的に更新する。よって、学習モデルM1を用いた判別の誤りの発生を抑制できる。なお、維持条件を満たすか否かを、学習モデルM1による判別結果と目視検査の結果とが一致しない件数を表す第3件数があらかじめ決められた閾値以下であるか否かにより、判別してもよい。
【0061】
B.他の実施形態:
B1.他の実施形態1:
実施形態においては、検査装置100は、不良品スコアが第1閾値未満である第1条件を満たす場合、対象のワークWKが欠陥を有しないと判別した(図3のステップS104を参照)。あるいは、検査装置100は、不良品スコアが第1条件を満たす場合に、対象のワークWKが欠陥を有しないと判別することに加えて、不良品スコアが第2条件を満たす場合に、対象のワークWKが欠陥を有すると判別してもよい。不良品スコアがあらかじめ決められた第2閾値以上であることを第2条件とする。例えば、第1閾値を「15%」と設定する。第2閾値を「90%」と設定する。第2閾値は、第1閾値とは異なる値をとる。第2閾値は、第1閾値より大きい値である。また、検査装置100は、不良品スコアが、第1閾値以上かつ第2閾値未満である場合、対象のワークWKの良否が不明であると判別する。
【0062】
検査装置100は、対象となる欠陥の種類がリストL1に登録されていることを条件として、第1条件または第2条件を満たす場合に、学習モデルM1による判別結果を確定した検査結果として出力する。
【0063】
他の実施形態1においては、第1条件または第2条件が満たされ、欠陥の種類がリストL1に登録されている場合には、目視検査が実施されないので、作業者による目視検査の工数を削減できる。
【0064】
B2.他の実施形態2:
あるいは、検査装置100は、良品スコアを用いて対象のワークWKが欠陥を有しないと判別してもよい。具体的には、検査装置100は、良品スコアがあらかじめ決められた第3閾値以上である場合、対象のワークWKが欠陥を有しないと判別してもよい。例えば、第3閾値を「90%」と設定する。検査装置100は、対象となる欠陥の種類がリストL1に登録されていることを条件として、良品スコアが第3閾値以上である場合、確定した検査結果として、対象のワークWKが欠陥を有しないとする検査結果を出力してもよい。よって、作業者による目視検査の工数を削減できる。
【0065】
B3.他の実施形態3:
あるいは、検査装置100は、良品スコアがあらかじめ決められた第3閾値以上である場合、かつ、不良品スコアがあらかじめ決められた第4閾値未満である場合、対象のワークWKが欠陥を有しないと判別してもよい。例えば、第3閾値を「90%」と設定する。第4閾値を「10%」と設定する。第4閾値は、第3閾値とは異なる値をとる。第3閾値は、第4閾値より大きい値である。検査装置100は、対象となる欠陥の種類がリストL1に登録されていることを条件として、良品スコアが第3閾値以上、かつ、不良品スコアが第4閾値未満である場合、確定した検査結果として、対象のワークWKが欠陥を有しないとする検査結果を出力してもよい。よって、作業者による目視検査の工数を削減できる。
【0066】
B4.他の実施形態4:
実施形態においては、図2に示すように、検査処理と、第1更新処理と、第2更新処理とが順次実行される例を説明したが、検査処理と、第1更新処理と、第2更新処理とは、必ずしも順次実行されなくてもよい。
【0067】
B5.他の実施形態5:
検査装置100は、評価部250および更新部260を備えていなくてもよい。例えば、検査装置100とは異なる別のコンピューターが、学習モデルM1による判別結果の評価にかかる処理と、リストL1の更新にかかる処理とを実行してもよい。
【0068】
B7.他の実施形態7:
実施形態においては、前処理部210が、ワークWKを撮像した入力画像と基準画像とを比較することにより、学習モデルM1による処理の対象とする画像を選択する例を説明した。しかしながら、前処理部210が、学習モデルM1による処理の対象とする画像を選択する方法は任意の方法でよい。例えば、前処理部210は、学習モデルM1とは異なる機械学習モデルを用いて、学習モデルM1による処理の対象とする画像を選択してもよい。
【0069】
また、前処理部210が欠陥の種類を判別するのではなく、判別部220が、例えば、学習モデルM1とは異なる機械学習モデルを用いて欠陥の種類を判別してもよい。
【0070】
実施形態において、検査装置100は、欠陥候補として選択されなかった画像に含まれているワークWKについては、欠陥を有しないとする確定した検査結果を出力した。しかしながら、前処理部210により欠陥を有しないと判別された画像についても、学習モデルM1による処理の対象としてもよい。この形態によれば、前処理部210による判別の誤りの発生を抑制できる。
【0071】
あるいは、検査装置100は、前処理部210を備えなくてもよい。この場合、判別部220は、学習モデルM1を用いてすべての画像について欠陥の有無を判別する。また、判別部220は、学習モデルM1とは異なる機械学習モデルを用いて、欠陥の種類を判別する。この形態によれば、前処理部210による判別の誤りの発生を抑制できる。
【0072】
また、検査装置100の機能を実現する手段は、ソフトウェアに限られず、その一部または全部を、専用のハードウェアによって実現してもよい。例えば、専用のハードウェアとして、FPGA(Field Programmable Gate Array)またはASIC(Application Specific Integrated Circuit)に代表される回路を使用してもよい。
【0073】
C.他の形態:
本開示は、上述の実施形態に限られるものではなく、その趣旨を逸脱しない範囲において種々の構成で実現することができる。例えば、発明の概要の欄に記載した各形態中の技術的特徴に対応する実施形態中の技術的特徴は、上述の課題の一部または全部を解決するために、あるいは、上述の効果の一部または全部を達成するために、適宜、差し替え、組み合わせを行うことが可能である。また、その技術的特徴が本明細書中に必須なものとして説明されていなければ、適宜、削除することが可能である。
【0074】
(1)本開示の第1形態によれば、検査装置が提供される。この検査装置は、検査対象物を撮像した入力画像を用いて、前記検査対象物が有する前記欠陥の種類を判別する前処理部と、機械学習モデルを用いて、前記入力画像に基づいて、前記検査対象物の前記欠陥の有無を判別し、判別した結果の信頼度を表す信頼度スコアを含む判別結果を出力する判別部と、作業者による目視検査の実施の要否を通知し、前記目視検査の結果を受け付ける検査処理部と、検査結果を出力する出力部と、前記機械学習モデルによる前記判別結果を前記検査結果として採用できる前記欠陥の種類を表す情報が登録されたリストを記憶する記憶部と、を備え、(i)前記信頼度スコアが前記目視検査の実施を要しないことを示し、かつ、前記検査対象物が有する前記欠陥の種類が前記リストに登録されている場合に、前記検査処理部は、前記目視検査の実施が必要であることを通知せず、前記出力部は、前記判別結果を前記検査結果として出力し、(ii)前記信頼度スコアが前記目視検査の実施を要することを示す場合、または、(iii)前記信頼度スコアが前記目視検査の実施を要しないことを示し、かつ、前記検査対象物が有する前記欠陥の種類が前記リストに登録されていない場合に、前記検査処理部は、前記目視検査の実施が必要であることを通知し、前記目視検査の結果を受け付け、前記出力部は、前記目視検査の前記結果を前記検査結果として出力する。
上記形態によれば、機械学習モデルを用いた判別結果の信頼度を表す信頼度スコアに基づいて目視検査を要さないと判別され、検査対象物が有する欠陥の種類がリストに登録されている場合には、欠陥の種類によらず目視検査が実施されない。よって、機械学習モデルを用いた判別結果の信頼度を考慮しない態様にくらべて、作業者による目視検査の工数を削減できる。
【0075】
(2)上記形態において、前記判別結果を評価する評価部と、前記リストに登録されていない前記欠陥の種類に関する前記判別結果について、前記評価部が評価した結果が、前記判別結果を前記検査結果として採用できることを示す場合に、前記判別結果にかかる前記欠陥の種類を前記リストに追加する更新部と、をさらに備えてもよい。
上記形態によれば、機械学習モデルを用いた判別結果を評価した結果に基づいてリストを動的に更新するので、機械学習モデルを用いた判別の誤りの発生を抑制できる。
【0076】
(3)上記形態において、前記リストに登録されている前記欠陥の種類に関する前記判別結果について、前記評価部が評価した結果が、前記判別結果を前記検査結果として採用できないことを示す場合に、前記更新部は、前記判別結果にかかる前記欠陥の種類を前記リストから削除してもよい。
上記形態によれば、機械学習モデルを用いた判別結果を評価した結果に基づいてリストを動的に更新するので、機械学習モデルを用いた判別の誤りの発生を抑制できる。
【0077】
(4)上記形態において、前記信頼度スコアは、前記検査対象物が前記欠陥を有することについての信頼度を表す第1値を含み、前記第1値が第1閾値未満であることを含む第1条件が満たされており、前記検査対象物が有する前記欠陥の種類が前記リストに登録されている場合、または、前記第1値が前記第1閾値とは異なる第2閾値以上であることを含む第2条件が満たされており、前記検査対象物が有する前記欠陥の種類が前記リストに登録されている場合、前記検査処理部は、前記目視検査の実施が必要であることを通知せず、前記出力部は、前記判別結果を確定した前記検査結果として出力してもよい。
上記形態によれば、第1条件または第2条件が満たされ、欠陥の種類がリストに登録されている場合には、目視検査が実施されないので、作業者による目視検査の工数を削減できる。
【0078】
(5)上記形態において、前記前処理部は、前記検査対象物を撮像した複数の画像それぞれと基準画像との比較により、欠陥候補の前記検査対象物が含まれている画像を前記入力画像として選択し、前記入力画像を用いて、前記検査対象物が有する前記欠陥の種類を判別し、前記判別部は、前記前処理部により選択されなかった画像に基づいて前記欠陥の有無を判別せず、前記出力部は、前記前処理部により選択されなかった画像に含まれている前記検査対象物については、欠陥を有しないとする確定した前記検査結果を出力してもよい。
上記形態によれば、前処理部により選択されなかった画像に含まれている検査対象物については、機械学習モデルを用いた判別および目視検査を行わないので、検査にかかる工数を削減できる。
【0079】
(6)本開示の第2形態によれば、検査方法が提供される。この検査方法は、検査対象物を撮像した入力画像を用いて、前記検査対象物が有する欠陥の種類を判別するステップと、機械学習モデルを用いて前記入力画像に基づいて、前記検査対象物が前記欠陥の有無を判別し、判別した結果の信頼度を表す信頼度スコアを含む判別結果を出力するステップと、前記機械学習モデルによる前記判別結果を検査結果として採用できる前記欠陥の種類を表す情報が登録されたリストを記憶する記憶部から、前記リストを読み出すステップと、(i)前記信頼度スコアが作業者の目視検査の実施を要しないことを示し、かつ、前記検査対象物が有する前記欠陥の種類が前記リストに登録されている場合に、前記判別結果を前記検査結果として出力するステップと、(ii)前記信頼度スコアが前記目視検査の実施を要することを示す場合、または、(iii)前記信頼度スコアが前記目視検査の実施を要しないことを示し、かつ、前記検査対象物が有する前記欠陥の種類が前記リストに登録されていない場合に、前記目視検査の実施が必要であることを通知し、前記目視検査の結果を受け付けるステップと、前記目視検査の前記結果を前記検査結果として出力するステップと、を含む。
上記形態によれば、機械学習モデルを用いた判別結果の信頼度を表す信頼度スコアに基づいて目視検査を要さないと判別され、検査対象物が有する欠陥の種類がリストに登録されている場合には、欠陥の種類によらず目視検査が実施されない。よって、機械学習モデルを用いた判別結果の信頼度を考慮しない態様にくらべて、作業者による目視検査の工数を削減できる。
【0080】
(7)本開示の第3形態によれば、プログラムが提供される。このプログラムは、検査装置として機能するコンピューターに、検査対象物を撮像した入力画像を用いて、前記検査対象物が有する欠陥の種類を判別する機能と、機械学習モデルを用いて前記入力画像に基づいて、前記検査対象物が前記欠陥の有無を判別し、判別した結果の信頼度を表す信頼度スコアを含む判別結果を出力する機能と、前記機械学習モデルによる前記判別結果を検査結果として採用できる前記欠陥の種類を表す情報が登録されたリストを記憶する記憶部から、前記リストを読み出す機能と、(i)前記信頼度スコアが作業者の目視検査の実施を要しないことを示し、かつ、前記検査対象物が有する前記欠陥の種類が前記リストに登録されている場合に、前記目視検査の実施が必要であることを通知しない機能と、前記判別結果を前記検査結果として出力する機能と、(ii)前記信頼度スコアが前記目視検査の実施を要することを示す場合、または、(iii)前記信頼度スコアが前記目視検査の実施を要しないことを示し、かつ、前記検査対象物が有する前記欠陥の種類が前記リストに登録されていない場合に、前記目視検査の実施が必要であることを通知し、前記目視検査の結果を受け付ける機能と、前記目視検査の前記結果を前記検査結果として出力する機能と、を実現させる。
上記形態によれば、機械学習モデルを用いた判別結果の信頼度を表す信頼度スコアに基づいて目視検査を要さないと判別され、検査対象物が有する欠陥の種類がリストに登録されている場合には、欠陥の種類によらず目視検査が実施されない。よって、機械学習モデルを用いた判別結果の信頼度を考慮しない態様にくらべて、作業者による目視検査の工数を削減できる。
【0081】
本開示は、上記以外の種々の形態で実現することも可能である。例えば、コンピュータープログラムを記録した一時的でない記録媒体(non-transitory storage medium)の形態で実現することができる。
【符号の説明】
【0082】
10…検査システム、50…カメラ、100…検査装置、110…メモリー、120…インターフェイス部、130…入力装置、140…表示装置、150…プロセッサー、210…前処理部、220…判別部、230…検査処理部、240…出力部、250…評価部、260…更新部、L1…リスト、M1…学習モデル、WK…ワーク
図1
図2
図3
図4
図5