知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024004973
(43)【公開日】2024-01-17
(54)【発明の名称】判定装置、ピックアップシステムおよび判定方法
(51)【国際特許分類】
G06T 7/60 20170101AFI20240110BHJP
G06T 7/00 20170101ALI20240110BHJP
G06V 10/70 20220101ALI20240110BHJP
H05K 13/08 20060101ALN20240110BHJP
【ＦＩ】
G06T7/60 300Z
G06T7/00 350B
G06V10/70
H05K13/08 A
【審査請求】未請求
【請求項の数】11
【出願形態】ＯＬ
(21)【出願番号】P 2022104910
(22)【出願日】2022-06-29
(71)【出願人】
【識別番号】000232302
【氏名又は名称】ニデック株式会社
(74)【代理人】
【識別番号】100109380
【弁理士】
【氏名又は名称】小西 恵
(74)【代理人】
【識別番号】100109036
【弁理士】
【氏名又は名称】永岡 重幸
(72)【発明者】
【氏名】青山 裕矢
(72)【発明者】
【氏名】池尻 匡隆
【テーマコード（参考）】
5E353
5L096
【Ｆターム（参考）】
5E353CC03
5E353CC08
5E353HH11
5E353JJ48
5E353JJ50
5E353KK01
5E353KK11
5E353QQ12
5L096AA02
5L096AA06
5L096BA03
5L096CA02
5L096DA02
5L096FA67
5L096FA69
5L096JA11
5L096KA04
(57)【要約】 （修正有）
【課題】少数の教師データであっても精度の高い良否判定を実現する判定装置、ピックアップシステム及び判定方法を提供する。
【解決手段】搬送装置と、ピックアップ装置と、カメラと、画像処理用ＰＣと、学習用ＰＣと、ＰＬＣ（ｐｒｏｇｒａｍｍａｂｌｅ ｌｏｇｉｃ ｃｏｎｔｒｏｌｌｅｒ）と、ルータと、を備えるピックアップシステムにおいて、画像処理用ＰＣ１０４は、対象物の撮影画像から対象物の領域を、学習済の検出モデルで検出する領域検出部５２０と、上記領域における特徴量で学習済みの判定モデルで、対象物の良否を判定する判定部５４０と、判定部で「良」判定となった対象物をピックアップするピックアップ装置と、を備える。
【選択図】図７
【解決手段】搬送装置と、ピックアップ装置と、カメラと、画像処理用ＰＣと、学習用ＰＣと、ＰＬＣ（ｐｒｏｇｒａｍｍａｂｌｅ ｌｏｇｉｃ ｃｏｎｔｒｏｌｌｅｒ）と、ルータと、を備えるピックアップシステムにおいて、画像処理用ＰＣ１０４は、対象物の撮影画像から対象物の領域を、学習済の検出モデルで検出する領域検出部５２０と、上記領域における特徴量で学習済みの判定モデルで、対象物の良否を判定する判定部５４０と、判定部で「良」判定となった対象物をピックアップするピックアップ装置と、を備える。
【選択図】図７
【特許請求の範囲】
【請求項1】
対象物の撮影画像から当該対象物の領域を、学習された検出モデルで検出する領域検出部と、
前記領域における特徴量で学習された判定モデルで前記対象物の良否を判定する判定部と、
を備える判定装置。
前記領域における特徴量で学習された判定モデルで前記対象物の良否を判定する判定部と、
を備える判定装置。
【請求項2】
前記領域検出部は、前記撮影画像の各画素を、前記対象物を含んだ複数オブジェクトのいずれかに分類する分類処理によって前記対象物の領域を検出する請求項１に記載の判定装置。
【請求項3】
前記領域検出部は、前記分類処理としてセマンティックセグメンテーションを用いる請求項２に記載の判定装置。
【請求項4】
前記判定部は、前記特徴量として、前記領域における予め設定された幾何学的な特徴量を用いる請求項１に記載の判定装置。
【請求項5】
請求項１から３のいずれか１項に記載の判定装置と、
前記判定装置で「良」判定となった前記対象物をピックアップするピックアップ装置と、
を備えるピックアップシステム。
前記判定装置で「良」判定となった前記対象物をピックアップするピックアップ装置と、
を備えるピックアップシステム。
【請求項6】
前記ピックアップ装置におけるピックアップの結果の成否が、前記領域検出部で検出された領域の特徴量と対応付けられた教師データで前記判定モデルの再学習を行う第１の学習装置を更に備える請求項５に記載のピックアップシステム。
【請求項7】
前記ピックアップ装置は、ピックアップの結果の成否を検知する検知機能を有し、
前記第１の学習装置は、前記検知機能で検知された成否を前記領域検出部で検出された領域と対応付けて前記教師データを得る請求項６に記載のピックアップシステム。
前記第１の学習装置は、前記検知機能で検知された成否を前記領域検出部で検出された領域と対応付けて前記教師データを得る請求項６に記載のピックアップシステム。
【請求項8】
前記第１の学習装置は、前記ピックアップ装置におけるピックアップの失敗率が閾値を越えた失敗率であると判定モデルの再学習を行う請求項６に記載のピックアップシステム。
【請求項9】
前記第１の学習装置は、前記判定装置における「否」判定の判定率が閾値を越えた判定率であると判定モデルの再学習を行う請求項６に記載のピックアップシステム。
【請求項10】
前記領域を示した教師データの入力を受けて前記検出モデルの再学習を行う第２の学習装置を更に備える請求項６に記載のピックアップシステム。
【請求項11】
対象物の撮影画像から当該対象物の領域を、学習された検出モデルで検出する領域検出ステップと、
前記領域における特徴量で学習された判定モデルで前記対象物の良否を判定する判定ステップと、
を有する判定方法。
前記領域における特徴量で学習された判定モデルで前記対象物の良否を判定する判定ステップと、
を有する判定方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、判定装置、ピックアップシステムおよび判定方法に関する。
【背景技術】
【0002】
従来、対象物をカメラで確認し、アームなどでピックアップするピックアップシステムが知られる。また、ピックアップシステムや他の装置においては、ピックアップの可否や対象物の正常異常などといった良否判定を対象物の撮影画像に基づいて行う判定装置が求められる。
【0003】
例えば特許文献１は、対象物の撮影画像で当該対象物品について正常状態か否かを学習して判定する物品判別システムを開示する。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開２０２１－１２８４５６号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
良否判定の判定基準が、対象物の撮影画像に基づいてディープラーニングなどに代表されるＡＩ学習などで機械的に学習される場合、判定基準の詳細を人間が理解することが難しい。このため、ＡＩ学習などで学習された判定基準は、ピックアップシステムにおけるピックアップ率向上などへの利用が困難である。また、ディープラーニングなどの学習技術では、正確な良否判定を実現するためには多数の教師データが必要となる。
【0006】
一方、良否判定における判定基準として、人間が理解しやすい閾値が用いられる場合は閾値の適切な設定が難しい。
そこで、本発明は、少数の教師データであっても精度の高い良否判定を実現することを目的とする。
そこで、本発明は、少数の教師データであっても精度の高い良否判定を実現することを目的とする。
【課題を解決するための手段】
【0007】
本発明に係る判定装置の一態様は、対象物の撮影画像から当該対象物の領域を、学習された検出モデルで検出する領域検出部と、上記領域における特徴量で学習された判定モデルで上記対象物の良否を判定する判定部と、を備える。
また、本発明に係るピックアップシステムの一態様は、上記判定装置と、上記判定装置で「良」判定となった上記対象物をピックアップするピックアップ装置と、を備える。
また、本発明に係るピックアップシステムの一態様は、上記判定装置と、上記判定装置で「良」判定となった上記対象物をピックアップするピックアップ装置と、を備える。
【0008】
また、本発明に係る判定方法の一態様は、対象物の撮影画像から当該対象物の領域を、学習された検出モデルで検出する領域検出ステップと、上記領域における特徴量で学習された判定モデルで上記対象物の良否を判定する判定ステップと、を有する。
【発明の効果】
【0009】
本発明によれば、少数の教師データであっても精度の高い良否判定を実現することができる。
【図面の簡単な説明】
【0010】
【発明を実施するための形態】
【0011】
以下、添付の図面を参照しながら、本開示の判定装置、ピックアップシステムおよび判定方法の実施形態を詳細に説明する。但し、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするため、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。また、先に説明した図に記載の要素については、後の図の説明において適宜に参照する場合がある。
【0012】
図１は、本発明のピックアップシステムの一実施形態における概略構成を示す図である。
ピックアップシステム１００は、一例として、電子部品や機械部品などを製品に自動実装するマウンタに組み込まれる。
ピックアップシステム１００は、一例として、電子部品や機械部品などを製品に自動実装するマウンタに組み込まれる。
【0013】
ピックアップシステム１００は、搬送装置１０１と、ピックアップ装置１０２と、カメラ１０３と、画像処理用ＰＣ（パーソナルコンピュータ）１０４と、学習用ＰＣ１０５と、ＰＬＣ（ｐｒｏｇｒａｍｍａｂｌｅ ｌｏｇｉｃ ｃｏｎｔｒｏｌｌｅｒ）１０６と、ルータ１０７を備える。
【0014】
搬送装置１０１は、ピックアップの対象物を搬送し、ピックアップ装置１０２は当該対象物をピックアップハンド１２１でピックアップする。ピックアップハンド１２１におけるピックアップの方式は吸着方式であってもよいし把持方式であってもよい。
カメラ１０３は、搬送装置１０１で搬送される対象物を撮影して画像処理用ＰＣ１０４に撮影画像を送る。
カメラ１０３は、搬送装置１０１で搬送される対象物を撮影して画像処理用ＰＣ１０４に撮影画像を送る。
【0015】
画像処理用ＰＣ１０４は、学習済みのモデル（学習モデル）によって撮影画像を解析することで、ピックアップハンド１２１による対象物のピックアップ可否を判定する。
ＰＬＣ１０６は、ピックアップ装置１０２におけるピックアップハンド１２１などの動作を制御する。ＰＬＣ１０６は、ルータ１０７などで構成されたネットワークで画像処理用ＰＣ１０４に接続され、ピックアップ可能と判定された対象物についてピックアップ装置１０２にピックアップを実行させる。つまり、ピックアップ装置１０２は、判定装置としての画像処理用ＰＣ１０４で「良」判定となった対象物をピックアップする。
ＰＬＣ１０６は、ピックアップ装置１０２におけるピックアップハンド１２１などの動作を制御する。ＰＬＣ１０６は、ルータ１０７などで構成されたネットワークで画像処理用ＰＣ１０４に接続され、ピックアップ可能と判定された対象物についてピックアップ装置１０２にピックアップを実行させる。つまり、ピックアップ装置１０２は、判定装置としての画像処理用ＰＣ１０４で「良」判定となった対象物をピックアップする。
【0016】
ピックアップ装置１０２には、ピックアップハンド１２１によるピックアップの結果の成否を検知するするセンサなどが備えられ、検知された成否の情報はＰＬＣ１０６を介して画像処理用ＰＣ１０４へと送られる。画像処理用ＰＣ１０４では、対象物の撮影画像とピックアップの成否とが対応付けられる。
【0017】
学習用ＰＣ１０５は、画像処理用ＰＣ１０４から撮影画像を取得して学習モデルを生成する。生成された学習モデルは、画像処理用ＰＣ１０４に送られて判定に用いられる。
図２は、搬送装置１０１を図１とは別方向で示す斜視図であり、図３は搬送装置１０１の部分拡大図である。
図２は、搬送装置１０１を図１とは別方向で示す斜視図であり、図３は搬送装置１０１の部分拡大図である。
【0018】
搬送装置１０１は、リール部１１１とレール部１１２とを有する。ピックアップ対象物が収容されたテープ２００は、リール状に巻かれてリール部１１１にセットされる。図２に矢印で示されるリール部１１１の回転に伴ってテープ２００はレール部１１２へと繰り出される。
【0019】
レール部１１２へと繰り出されたテープ２００はレール部１１２上を進み、ピックアップ箇所Ｒ１でピックアップハンド１２１による対象物のピックアップが実行される。
図４は、テープ２００の構造を示す図である。
テープ２００には、等間隔に凹部２０１が設けられ、各凹部２０１内に、ピックアップ対象物である部品３００が収容される。テープ２００がレール部１１２上に繰り出されることにより、各凹部２０１内に収容された部品３００が、図３に示すピックアップ箇所Ｒ１へと搬送される。
図４は、テープ２００の構造を示す図である。
テープ２００には、等間隔に凹部２０１が設けられ、各凹部２０１内に、ピックアップ対象物である部品３００が収容される。テープ２００がレール部１１２上に繰り出されることにより、各凹部２０１内に収容された部品３００が、図３に示すピックアップ箇所Ｒ１へと搬送される。
【0020】
図５は、テープ２００に収容される部品３００の一例を示す図である。図６は、部品３００を収容してレール部１１２上を進むテープ２００を示す図である。
本実施形態では一例として、底部３０１と背部３０２とを有する部品３００がピックアップの対象物となる。部品３００の底部３０１には孔３０３が在る。部品３００は、底部３０１が凹部２０１の底側に向いた姿勢で凹部２０１内に収容される。凹部２０１内に収容された部品３００の姿勢が悪いと、ピックアップハンド１２１によるピックアップが失敗する。ピックアップが失敗すると、ピックアップシステム１００における処理の遅延や中断を生じるおそれがある。
本実施形態では一例として、底部３０１と背部３０２とを有する部品３００がピックアップの対象物となる。部品３００の底部３０１には孔３０３が在る。部品３００は、底部３０１が凹部２０１の底側に向いた姿勢で凹部２０１内に収容される。凹部２０１内に収容された部品３００の姿勢が悪いと、ピックアップハンド１２１によるピックアップが失敗する。ピックアップが失敗すると、ピックアップシステム１００における処理の遅延や中断を生じるおそれがある。
【0021】
このため、本実施形態のピックアップシステム１００では、ピックアップ前にピックアップの可否が判定されて、ピックアップの失敗抑制による稼働率向上が図られる。即ち、レール部１１２上を進む部品３００の各凹部２０１について、ピックアップ箇所Ｒ１内、あるいはピックアップ箇所Ｒ１の手前に存在する、図６に示す撮影領域Ｒ２で部品３００の姿勢がカメラ１０３によって撮影される。そして、画像処理用ＰＣ１０４による撮影画像の解析により、ピックアップの可否（即ちピックアップ可能な姿勢であるか否か）が判定される。ピックアップ不可と判定された部品３００はピックアップされずに廃棄され、次の部品３００がピックアップ対象となる。
【0022】
ここで、ピックアップ可否の判定処理の概念について説明する。
図７は、ピックアップ可否の判定処理の概念を模式的に示す概念図である。図８は、部品３００の撮影画像の例を示す図である。図９は、部品３００の姿勢の例を示す図である。
図７は、ピックアップ可否の判定処理の概念を模式的に示す概念図である。図８は、部品３００の撮影画像の例を示す図である。図９は、部品３００の姿勢の例を示す図である。
【0023】
画像処理用ＰＣ１０４は、ピックアップ可否の判定処理の機能として、画像入力部５１０と、領域検出部５２０と、特徴量算出部５３０と、判定部５４０とを備える。画像処理用ＰＣ１０４は、本発明の判定装置の一実施形態として機能し、本発明の判定方法の一実施形態を実行する。
画像処理用ＰＣ１０４では、機械学習によって得られた学習モデル（領域検出モデル４４０および判定モデル４６０）が用いられて撮影画像４３０からピックアップの可否が判定される。領域検出部５２０は画像入力部５１０から入力される対象物（例えば部品３００）の撮影画像４３０から当該対象物の領域を、学習された領域検出モデル４４０で検出し、当該領域を表した領域データ４５０を出力する。
画像処理用ＰＣ１０４では、機械学習によって得られた学習モデル（領域検出モデル４４０および判定モデル４６０）が用いられて撮影画像４３０からピックアップの可否が判定される。領域検出部５２０は画像入力部５１０から入力される対象物（例えば部品３００）の撮影画像４３０から当該対象物の領域を、学習された領域検出モデル４４０で検出し、当該領域を表した領域データ４５０を出力する。
【0024】
特徴量算出部５３０は、領域データ４５０が表す部品３００の領域から、特定の算出ルールに従って、当該領域の特徴量４５５を算出する。判定部５４０は、算出された特徴量４５５に基づいて判定モデル４６０でピックアップの可否判定を行う。判定部５４０は、部品３００の領域における特徴量で学習された判定モデル４６０で部品３００の良否（例えばピックアップ可能な姿勢であるか否か）を判定する。
【0025】
このように、画像処理用ＰＣ１０４では、撮影画像４３０に基づいた可否判定のために、２つの学習モデル４４０、４６０による２段階の処理が実行される。
領域検出モデル４４０は、学習用ＰＣ１０５で領域検出の教師データ４１０によって学習された学習モデルである。領域検出の教師データ４１０としては、部品３００の撮影画像４１１と部品３００の領域データ４１２とを組み合わせた教師データが用いられる。本実施形態では、領域検出のアルゴリズムとしてセマンティックセグメンテーションが用いられ、領域検出モデル４４０の学習がディープラーニングで実行される。
領域検出モデル４４０は、学習用ＰＣ１０５で領域検出の教師データ４１０によって学習された学習モデルである。領域検出の教師データ４１０としては、部品３００の撮影画像４１１と部品３００の領域データ４１２とを組み合わせた教師データが用いられる。本実施形態では、領域検出のアルゴリズムとしてセマンティックセグメンテーションが用いられ、領域検出モデル４４０の学習がディープラーニングで実行される。
【0026】
セマンティックセグメンテーションは、撮影画像４３０の画素を、部品３００を含んだ複数オブジェクトのいずれかに分類する分類処理の一種である。教師データ４１０に含まれる部品３００の領域データ４１２は、人間が部品３００の領域として撮影画像４１１中で指定した領域を示す。上記分類処理は、オブジェクトの領域検出などに優れた処理であるため、領域検出モデル４４０によって部品３００の領域が高い精度で検出される。セマンティックセグメンテーションは上記分類処理の中でも精度が高くて好ましい。
【0027】
図８に示すように、各撮影画像４３１～４３４には各姿勢で部品３００が写り、例えば図８の左側に位置した２つの撮影画像４３１、４３２では、部品３００の姿勢はピックアップが容易な正しい姿勢である。また、図８の右側に位置した２つの撮影画像４３３、４３４では、部品３００の姿勢は正しい姿勢からずれた（例えば傾いた）姿勢である。領域検出モデル４４０は部品３００の領域として、各撮影画像４３１～４３４中のハッチングされた範囲を検出する。このため、領域の形状などに部品３００の姿勢が反映される。
【0028】
例えば図９には、テープ２００の凹部２０１内における部品３００の姿勢と、検出された領域４５１、４５２、４５３との対応が示される。図９の中央には、正しい姿勢で部品３００が凹部２０１に収まった場合が示され（図８の撮影画像４３１、４３２に対応）、図９の右側には、正しい姿勢に対して部品３００が左回りに傾いた姿勢で凹部２０１に収まった場合が示される（図８の撮影画像４３４に対応）。また、図９の左側には、正しい姿勢に対して部品３００が右回りに傾いた姿勢で凹部２０１に収まった場合が示される（図８の撮影画像４３３に対応）。
【0029】
正しい姿勢の部品３００に対応した領域４５２の面積は、左回りに傾いた姿勢の部品３００に対応した領域４５３の面積よりも小さい。また、正しい姿勢の部品３００に対応した領域４５２の面積は、右回りに傾いた姿勢の部品３００に対応した領域４５１の面積よりも大きい。このように、部品３００の領域４５１、４５２、４５３は、部品３００の姿勢を反映した幾何学的な特徴を有する。図７に示す特徴量４５５としては、例えば領域データ４５０が表す領域における特定箇所のエッジ角度や当該領域の面積など、領域における予め設定された幾何学的な特徴量が用いられる。このような特徴量は、部品３００の姿勢が反映されるとともに、人が理解し易くて好ましい。但し、ピックアップ可能な姿勢か否かを区別するための閾値となる適切な特徴量を人が求めることは難しいので、機械学習によって判定モデル４６０が生成される。
【0030】
図７に示す判定モデル４６０は、学習用ＰＣ１０５で判定の教師データ４２０によって学習された学習モデルである。判定の教師データ４２０としては、部品３００の領域データ４２１と、領域データ４２１から特徴量を算出する算出アルゴリズム４２２と、部品３００のピックアップ成否のデータ４２３とを組み合わせた教師データが用いられる。なお、判定の教師データ４２０としては、特徴量の算出アルゴリズム４２２で領域データ４２１から算出された特徴量と、ピックアップ成否のデータ４２３とを組み合わせた教師データが用いられてもよい。ピックアップ成否のデータ４２３としては、ピックアップ装置１０２で実際にピックアップハンド１２１がピックアップを行った結果の成否を表したデータが用いられる。
【0031】
判定モデル４６０の学習としては、結果として得られる判定モデル４６０における特徴量と判定結果との対応関係が理解しやすい例えば決定木分析などが望ましい。判定モデル４６０としては、例えば、複数種類の特徴量それぞれを座標軸とした多次元空間上の範囲が得られる。即ち、特徴量の組み合わせが当該範囲内に収まっていればピックアップ可能と判定される。判定モデル４６０の学習で、人が理解しやすい特徴量やモデルが採用されることにより、学習結果を部品３００の収容工程などに反映してピックアップ率の向上を図ることが可能となる。
【0032】
上述したように、領域検出の教師データ４１０に含まれる部品３００の領域データ４１２は人間が指定した領域のデータである。また、判定の教師データ４２０に含まれるピックアップ成否のデータ４２３は実際にピックアップを行った結果の成否を表したデータである。従って、近年のＡＩ学習に用いられるような膨大なデータを教師データ４１０、４２０として用意することは難しい。しかし、領域検出モデル４４０と判定モデル４６０とに分かれた学習および処理が採用されることにより、教師データ４１０、４２０が少ない場合でも最終的に高い判定精度が得られる。
【0033】
図１０は、学習モデルの生成手順を示すフローチャートである。
学習モデルの生成では、先ず、学習用のデータ収集のために、図１に示す搬送装置１０１、ピックアップ装置１０２およびカメラ１０３が稼働される。そして、ピックアップハンド１２１によるピックアップの成否データと、ピックアップ対象となった部品３００の撮影画像が収集される（Ｓ１０１）。成否データと撮影画像は、カメラ１０３およびピックアップ装置１０２から画像処理用ＰＣ１０４を介して学習用ＰＣ１０５に収集される。
学習モデルの生成では、先ず、学習用のデータ収集のために、図１に示す搬送装置１０１、ピックアップ装置１０２およびカメラ１０３が稼働される。そして、ピックアップハンド１２１によるピックアップの成否データと、ピックアップ対象となった部品３００の撮影画像が収集される（Ｓ１０１）。成否データと撮影画像は、カメラ１０３およびピックアップ装置１０２から画像処理用ＰＣ１０４を介して学習用ＰＣ１０５に収集される。
【0034】
次に、収集された撮影画像に対して部品３００の領域が、学習用ＰＣ１０５に対する操作によって指定される。そして当該領域のデータが成否データおよび撮影画像のそれぞれと組み合わされて教師データ４１０、４２０が作成される（Ｓ１０２）。その後、撮影画像と部品３００の領域とが組み合わされた教師データ４１０によって領域検出の学習が行われ（Ｓ１０３）、領域検出モデル４４０が生成される（Ｓ１０４）。
【0035】
一方、部品３００の領域とピックアップの成否データとが組み合わされた教師データ４２０については、学習および判定に用いられる特徴量の種類が選定される（Ｓ１０５）。そして、当該特徴量の算出アルゴリズムが教師データ４２０に更に組み合わされ、判定の学習が行われて（Ｓ１０６）、判定モデル４６０が生成される（Ｓ１０７）。
【0036】
図１１は、ピックアップシステム１００におけるピックアップの処理手順を示すフローチャートである。
ピックアップ処理では、先ず、カメラ１０３によって部品３００の画像が撮影され（Ｓ２０１）、撮影画像が画像処理用ＰＣ１０４へと送られる。画像処理用ＰＣ１０４では、領域検出モデル４４０によって撮影画像から部品３００の領域が検出される（Ｓ２０２）。つまり、部品３００の撮影画像から当該部品３００の領域が、学習された領域検出モデル４４０で検出される。また、画像処理用ＰＣ１０４では、図１０のＳ１０５で選定された種類の特徴量が、Ｓ２０２で検出された領域について算出される（Ｓ２０３）。
ピックアップ処理では、先ず、カメラ１０３によって部品３００の画像が撮影され（Ｓ２０１）、撮影画像が画像処理用ＰＣ１０４へと送られる。画像処理用ＰＣ１０４では、領域検出モデル４４０によって撮影画像から部品３００の領域が検出される（Ｓ２０２）。つまり、部品３００の撮影画像から当該部品３００の領域が、学習された領域検出モデル４４０で検出される。また、画像処理用ＰＣ１０４では、図１０のＳ１０５で選定された種類の特徴量が、Ｓ２０２で検出された領域について算出される（Ｓ２０３）。
【0037】
画像処理用ＰＣ１０４では、判定モデル４６０によって特徴量から、部品３００の姿勢がピックアップ可能な姿勢か否かの判定が行われる（Ｓ２０４）。つまり、部品３００の領域における特徴量で学習された判定モデル４６０で部品３００の良否（例えば姿勢の良否）が判定される。判定の結果、ピックアップ可能な姿勢と判定された場合（Ｓ２０４；ＹＥＳ）には、ピックアップ装置１０２によって部品３００のピックアップが実行される（Ｓ２０５）。ピックアップ装置１０２に組み込まれたセンサなどにより、ピックアップの成功が確認された場合は（Ｓ２０６；ＹＥＳ）、Ｓ２０１に戻り、上記処理が繰り返される。
【0038】
一方、センサなどにより、ピックアップの失敗が検知された場合は、ピックアップにおける累計の失敗率が所定の閾値（例えば１０％）以上に達したか否かが判定される（Ｓ２０７）。Ｓ２０７の閾値は学習不足であるか否かを判断するための値に設定されている。失敗率が１０％未満（Ｓ２０７；ＮＯ）であれば学習不足ではないと考えられるので、Ｓ２０１に戻り、上記処理が繰り返される。
【0039】
失敗率が１０％以上に達した場合（Ｓ２０７；ＹＥＳ）には、判定モデル４６０における学習不足の可能性があるので自動的な再学習が実施される（Ｓ２０８）。従って、ピックアップ装置１０２におけるピックアップの失敗率が閾値を越えた失敗率であると判定モデル４６０の再学習が行われる。Ｓ２０８では、ピックアップ装置１０２におけるピックアップの結果の成否が、領域検出部５２０で検出された領域の特徴量と対応付けられた教師データで判定モデル４６０の再学習が行われる。
本実施形態では、ピックアップの結果の成否がピックアップ装置１０２の有するセンサなどの検知機能で自動的に取得されて領域の特徴量と対応付けられるので、学習が自動的に実行される。Ｓ２０８の再学習により、判定モデル４６０が更新されるので、ピックアップ不可の姿勢を有した部品３００の見逃しが減少し、ピックアップ率が向上する。
本実施形態では、ピックアップの結果の成否がピックアップ装置１０２の有するセンサなどの検知機能で自動的に取得されて領域の特徴量と対応付けられるので、学習が自動的に実行される。Ｓ２０８の再学習により、判定モデル４６０が更新されるので、ピックアップ不可の姿勢を有した部品３００の見逃しが減少し、ピックアップ率が向上する。
【0040】
上記Ｓ２０４の判定で、部品３００の姿勢がピックアップ不能な姿勢と判定された場合（Ｓ２０４；ＮＯ）には、当該部品３００はピックアップが試みられずに廃棄される（Ｓ２０９）。これにより、ピックアップシステム１００における処理の遅延や中断などが回避され、高い生産性が実現される。
【0041】
部品３００が廃棄されると廃棄率が算出され、廃棄率が所定の閾値（例えば１０％）以上に達したか否かが判定される（Ｓ２１０）。Ｓ２１０の閾値は過剰廃棄であるか否かを判断するための値に設定されている。廃棄率が１０％未満（Ｓ２１０；ＮＯ）であれば過剰廃棄ではないと考えられるので、Ｓ２０１に戻り、上記処理が繰り返される。
廃棄率が１０％以上に達した場合（Ｓ２１０；ＹＥＳ）には、判定モデル４６０による判定が厳しすぎて過剰廃棄となった可能性がある。即ち、Ｓ２０８の自動的な再学習ではピックアップ失敗のケースが追加されて再学習されるため、再学習が繰り返されると廃棄率が上昇する。この結果、判定モデル４６０の判定が厳しくなりすぎて過剰廃棄となる場合がある。
廃棄率が１０％以上に達した場合（Ｓ２１０；ＹＥＳ）には、判定モデル４６０による判定が厳しすぎて過剰廃棄となった可能性がある。即ち、Ｓ２０８の自動的な再学習ではピックアップ失敗のケースが追加されて再学習されるため、再学習が繰り返されると廃棄率が上昇する。この結果、判定モデル４６０の判定が厳しくなりすぎて過剰廃棄となる場合がある。
【0042】
そこで、廃棄率が１０％以上に達した場合（Ｓ２１０；ＹＥＳ）には、少なくとも判定モデル４６０について再学習が行われて更新される（Ｓ２１１）。つまり、Ｓ２０４の判定における「否」判定の判定率が閾値を越えた判定率であると判定モデル４６０の再学習が行われる。Ｓ２１１の再学習では、少なくともピックアップ成功の教師データが新たに与えられて学習が行われる。Ｓ２１１の再学習では、領域検出モデル４４０も含めた再学習が、例えば図１０に示す手順で行われてもよい。即ち、領域を示した教師データの入力を受けて領域検出モデル４４０の再学習が行われる。領域検出モデル４４０の再学習により、領域の検出精度が向上するので、結果として、Ｓ２０４における判定精度も向上する。
【0043】
図１２は、図１１のＳ２１１の再学習による判定モデルの更新概念を示す図である。
図１２には、判定モデルの一例として、２種類の特徴量それぞれを縦軸および横軸とした２次元空間上の範囲４６１、４６２が示される。当該２次元空間上に配置された各撮影画像４３５、４３６、４３７は、各位置に相当する特徴量を有したケースを表す。
図１２には、判定モデルの一例として、２種類の特徴量それぞれを縦軸および横軸とした２次元空間上の範囲４６１、４６２が示される。当該２次元空間上に配置された各撮影画像４３５、４３６、４３７は、各位置に相当する特徴量を有したケースを表す。
【0044】
再学習前の判定モデルの範囲４６１では、２次元空間の原点付近に位置する撮影画像４３５が表すケースが範囲４６１内に位置し、他の撮影画像４３６、４３７が表すケースは範囲４６１から外れている。しかし、原点の右上に位置する撮影画像４３７のケースについては、本来はピックアップ可能なケースであり、過剰廃棄の原因となる。
【0045】
これに対し、再学習後は判定モデルの範囲４６１が広がり、原点の右上に位置する撮影画像４３７のケースも範囲４６１内に含まれる。この結果、過剰廃棄が解消される。
なお、ここでは、本発明の判定装置および判定方法における適用の一例としてピックアップシステムが挙げられるが、本発明の判定装置および判定方法の適用分野は上記に限定されず、対象の姿勢や形状や色などの良否を判定する様々な分野に適用可能である。
上述した実施形態は、すべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した実施の形態ではなくて請求の範囲によって示され、請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。
なお、本技術は以下のような構成をとることが可能である。
（１）
対象物の撮影画像から当該対象物の領域を、学習された検出モデルで検出する領域検出部と、
前記領域における特徴量で学習された判定モデルで前記対象物の良否を判定する判定部と、
を備える判定装置。
（２）
前記領域検出部は、前記撮影画像の各画素を、前記対象物を含んだ複数オブジェクトのいずれかに分類する分類処理によって前記対象物の領域を検出する（１）に記載の判定装置。
（３）
前記領域検出部は、前記分類処理としてセマンティックセグメンテーションを用いる（２）に記載の判定装置。
（４）
前記判定部は、前記特徴量として、前記領域における予め設定された幾何学的な特徴量を用いる（１）または（２）に記載の判定装置。
（５）
（１）から（３）のいずれに記載の判定装置と、
前記判定装置で「良」判定となった前記対象物をピックアップするピックアップ装置と、
を備えるピックアップシステム。
（６）
前記ピックアップ装置におけるピックアップの結果の成否が、前記領域検出部で検出された領域の特徴量と対応付けられた教師データで前記判定モデルの再学習を行う第１の学習装置を更に備える（５）に記載のピックアップシステム。
（７）
前記ピックアップ装置は、ピックアップの結果の成否を検知する検知機能を有し、
前記第１の学習装置は、前記検知機能で検知された成否を前記領域検出部で検出された領域と対応付けて前記教師データを得る（６）に記載のピックアップシステム。
（８）
前記第１の学習装置は、前記ピックアップ装置におけるピックアップの失敗率が閾値を越えた失敗率であると判定モデルの再学習を行う（６）または（７）に記載のピックアップシステム。
（９）
前記第１の学習装置は、前記判定装置における「否」判定の判定率が閾値を越えた判定率であると判定モデルの再学習を行う（６）から（８）のいずれかに記載のピックアップシステム。
（１０）
前記領域を示した教師データの入力を受けて前記検出モデルの再学習を行う第２の学習装置を更に備える（６）から（９）のいずれかに記載のピックアップシステム。
（１１）
対象物の撮影画像から当該対象物の領域を、学習された検出モデルで検出する領域検出ステップと、
前記領域における特徴量で学習された判定モデルで前記対象物の良否を判定する判定ステップと、
を有する判定方法。
なお、ここでは、本発明の判定装置および判定方法における適用の一例としてピックアップシステムが挙げられるが、本発明の判定装置および判定方法の適用分野は上記に限定されず、対象の姿勢や形状や色などの良否を判定する様々な分野に適用可能である。
上述した実施形態は、すべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した実施の形態ではなくて請求の範囲によって示され、請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。
なお、本技術は以下のような構成をとることが可能である。
（１）
対象物の撮影画像から当該対象物の領域を、学習された検出モデルで検出する領域検出部と、
前記領域における特徴量で学習された判定モデルで前記対象物の良否を判定する判定部と、
を備える判定装置。
（２）
前記領域検出部は、前記撮影画像の各画素を、前記対象物を含んだ複数オブジェクトのいずれかに分類する分類処理によって前記対象物の領域を検出する（１）に記載の判定装置。
（３）
前記領域検出部は、前記分類処理としてセマンティックセグメンテーションを用いる（２）に記載の判定装置。
（４）
前記判定部は、前記特徴量として、前記領域における予め設定された幾何学的な特徴量を用いる（１）または（２）に記載の判定装置。
（５）
（１）から（３）のいずれに記載の判定装置と、
前記判定装置で「良」判定となった前記対象物をピックアップするピックアップ装置と、
を備えるピックアップシステム。
（６）
前記ピックアップ装置におけるピックアップの結果の成否が、前記領域検出部で検出された領域の特徴量と対応付けられた教師データで前記判定モデルの再学習を行う第１の学習装置を更に備える（５）に記載のピックアップシステム。
（７）
前記ピックアップ装置は、ピックアップの結果の成否を検知する検知機能を有し、
前記第１の学習装置は、前記検知機能で検知された成否を前記領域検出部で検出された領域と対応付けて前記教師データを得る（６）に記載のピックアップシステム。
（８）
前記第１の学習装置は、前記ピックアップ装置におけるピックアップの失敗率が閾値を越えた失敗率であると判定モデルの再学習を行う（６）または（７）に記載のピックアップシステム。
（９）
前記第１の学習装置は、前記判定装置における「否」判定の判定率が閾値を越えた判定率であると判定モデルの再学習を行う（６）から（８）のいずれかに記載のピックアップシステム。
（１０）
前記領域を示した教師データの入力を受けて前記検出モデルの再学習を行う第２の学習装置を更に備える（６）から（９）のいずれかに記載のピックアップシステム。
（１１）
対象物の撮影画像から当該対象物の領域を、学習された検出モデルで検出する領域検出ステップと、
前記領域における特徴量で学習された判定モデルで前記対象物の良否を判定する判定ステップと、
を有する判定方法。
【符号の説明】
【0046】
１００ ：ピックアップシステム
１０１ ：搬送装置
１０２ ：ピックアップ装置
１０３ ：カメラ
１０４ ：画像処理用ＰＣ
１０５ ：学習用ＰＣ
１０６ ：ＰＬＣ
１０７ ：ルータ
１１１ ：リール部
１１２ ：レール部
１２１ ：ピックアップハンド
２０１ ：凹部
３００ ：部品
３００ ：部品
４１１、４３０、４３１～４３４ ：撮影画像
４２０ ：判定の教師データ
４４０ ：領域検出モデル（学習モデル）
４５０ ：領域データ
４１０ ：領域検出の教師データ
４５１、４５２、４５３ ：部品の領域
４５５ ：特徴量
４６０ ：判定モデル（学習モデル）
５１０ ：画像入力部
５２０ ：領域検出部
５３０ ：特徴量算出部
５４０ ：判定部
１０１ ：搬送装置
１０２ ：ピックアップ装置
１０３ ：カメラ
１０４ ：画像処理用ＰＣ
１０５ ：学習用ＰＣ
１０６ ：ＰＬＣ
１０７ ：ルータ
１１１ ：リール部
１１２ ：レール部
１２１ ：ピックアップハンド
２０１ ：凹部
３００ ：部品
３００ ：部品
４１１、４３０、４３１～４３４ ：撮影画像
４２０ ：判定の教師データ
４４０ ：領域検出モデル（学習モデル）
４５０ ：領域データ
４１０ ：領域検出の教師データ
４５１、４５２、４５３ ：部品の領域
４５５ ：特徴量
４６０ ：判定モデル（学習モデル）
５１０ ：画像入力部
５２０ ：領域検出部
５３０ ：特徴量算出部
５４０ ：判定部
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】