特開 2024-133879 教師データ判定装置、教師データ判定方法及び教師データ判定プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024133879

(43)【公開日】2024-10-03

(54)【発明の名称】教師データ判定装置、教師データ判定方法及び教師データ判定プログラム

(51)【国際特許分類】

   G06T 7/00 20170101AFI20240926BHJP

   G06V 10/764 20220101ALI20240926BHJP

   G06T 7/70 20170101ALI20240926BHJP

【ＦＩ】

G06T7/00 350B

G06V10/764

G06T7/70 A

【審査請求】未請求

【請求項の数】7

【出願形態】ＯＬ

(21)【出願番号】P 2023043880

(22)【出願日】2023-03-20

(71)【出願人】

【識別番号】000136136

【氏名又は名称】株式会社ＰＦＵ

(74)【代理人】

【識別番号】110002147

【氏名又は名称】弁理士法人酒井国際特許事務所

(72)【発明者】

【氏名】朝井 雄大

(72)【発明者】

【氏名】李 健

(72)【発明者】

【氏名】谷崎 裕紀

【テーマコード（参考）】

5L096

【Ｆターム（参考）】

5L096AA02

5L096AA06

5L096BA03

5L096CA04

5L096FA06

5L096FA16

5L096FA32

5L096FA33

5L096FA35

5L096FA59

5L096FA60

5L096FA69

5L096JA11

5L096KA04

(57)【要約】

【課題】機械学習に有用な教師データを自動的に収集すること。
【解決手段】教師データ判定装置１００において、画像認識部１１は、学習済モデルを用いて物体の画像を認識し、認識した画像に対して画像の属性を示す情報である属性情報を付与し、ばらつき算出部１３は、画像認識部１１による画像に対する複数の認識結果であって、各々が物体の画像と属性情報とを含む複数の認識結果の間でのばらつきを算出し、認識結果判定部１４は、複数の認識結果において、ばらつきに基づいて、機械学習の教師データとして採用する認識結果を判定する。
【選択図】図２

【特許請求の範囲】

【請求項1】

学習済モデルを用いて物体の画像を認識し、認識した前記画像に対して前記画像の属性を示す情報である属性情報を付与する認識部と、
前記認識部による前記画像に対する複数の認識結果であって、各々が前記画像と前記属性情報とを含む前記複数の認識結果の間でのばらつきを算出する算出部と、
前記複数の認識結果において、前記ばらつきに基づいて、機械学習の教師データとして採用する認識結果を判定する判定部と、
を具備する教師データ判定装置。

【請求項2】

前記属性情報は、前記物体の画像の輪郭によって囲まれた領域の面積、前記物体の種類、前記学習済モデルから出力される信頼スコア、前記領域の重心位置の予測誤差、及び、前記物体の画像の色の統計量の少なくとも一つである、
請求項１に記載の教師データ判定装置。

【請求項3】

前記認識部は、時間の経過とともに搬送路を搬送される同一物体の画像であって、撮影時刻が互いに異なる複数の画像のそれぞれに対する前記複数の認識結果を取得し、
前記算出部は、撮影時刻が互いに異なる前記同一物体の前記複数の画像のそれぞれに対する前記複数の認識結果の間での前記ばらつきを算出する、
請求項１に記載の教師データ判定装置。

【請求項4】

前記認識部は、単一の前記物体の画像に対して互いに異なる複数の学習済モデルの各々を用いて単一の前記物体の画像に対する前記複数の認識結果を取得し、
前記算出部は、前記複数の認識結果の間での前記ばらつきを算出する、
請求項１に記載の教師データ判定装置。

【請求項5】

前記認識部は、単一の前記物体の画像を加工することにより複数の加工済画像を生成し、前記複数の加工済画像のそれぞれに対して同一の学習済モデルを用いて、前記複数の加工済画像のそれぞれに対する複数の認識結果を取得し、
前記算出部は、前記複数の認識結果の間での前記ばらつきを算出する、
請求項１に記載の教師データ判定装置。

【請求項6】

学習済モデルを用いて物体の画像を認識し、
認識した前記画像に対して前記画像の属性を示す情報である属性情報を付与し、
前記画像に対する複数の認識結果であって、各々が前記画像と前記属性情報とを含む前記複数の認識結果の間でのばらつきを算出し、
前記複数の認識結果において、前記ばらつきに基づいて、機械学習の教師データとして採用する認識結果を判定する、
教師データ判定方法。

【請求項7】

学習済モデルを用いて物体の画像を認識し、
認識した前記画像に対して前記画像の属性を示す情報である属性情報を付与し、
前記画像に対する複数の認識結果であって、各々が前記画像と前記属性情報とを含む前記複数の認識結果の間でのばらつきを算出し、
前記複数の認識結果において、前記ばらつきに基づいて、機械学習の教師データとして採用する認識結果を判定する、
処理をプロセッサに実行させるための教師データ判定プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、教師データ判定装置、教師データ判定方法及び教師データ判定プログラムに関する。

【背景技術】

【0002】

廃棄物処理場では日々大量の廃棄物がベルトコンベア上を流れ、処理されている。廃棄物が処理される現場では人の手によって廃棄物の選別作業が行われている。廃棄物の選別作業は単純作業である一方で、廃棄物の選別を行う作業者（以下では「選別作業者」と呼ぶことがある）の負担が大きいことから、廃棄物の選別を自動的に行う装置（以下では「廃棄物選別装置」と呼ぶことがある）が開発されている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１６－１９１９７３号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

選別作業者が行っていた作業を選別作業者に代わって廃棄物選別装置にやらせる場合、廃棄物選別装置が、ベルトコンベア上を流れる各々の廃棄物を認識し、認識結果に基づいてロボットハンドや吸引パッドを用いて、ベルトコンベア上を流れる廃棄物群から所望の廃棄物（以下では「所望廃棄物」と呼ぶことがある）を抽出することが考えられる。そこで、ベルトコンベア上を複数種類の廃棄物が混在して流れてくる場合には、廃棄物選別装置が廃棄物の種類を識別することが必要になる。廃棄物選別装置が様々な種類の廃棄物を認識するにあたっては、機械学習によって生成された学習済モデルを用いた画像認識が有効である。

【0005】

しかし、機械学習によって精度の良い学習済モデルを生成するには数多くの有用な教師データが必要とされる。

【0006】

そこで、本開示では、機械学習に有用な教師データを自動的に収集できる技術を提案する。

【課題を解決するための手段】

【0007】

本開示の教師データ判定装置は、認識部と、算出部と、判定部とを有する。前記認識部は、学習済モデルを用いて物体の画像を認識し、認識した前記画像に対して前記画像の属性を示す情報である属性情報を付与する。前記算出部は、前記認識部による前記画像に対する複数の認識結果であって、各々が前記画像と前記属性情報とを含む前記複数の認識結果の間でのばらつきを算出する。前記判定部は、前記複数の認識結果において、前記ばらつきに基づいて、機械学習の教師データとして採用する認識結果を判定する。

【発明の効果】

【0008】

本開示によれば、機械学習に有用な教師データを自動的に収集できる。

【図面の簡単な説明】

【0009】

【図1】図１は、本開示の実施例１に係る物体選別システムの構成例を示す図である。

【図2】図２は、本開示の実施例１に係る制御装置の構成例を示す図である。

【図3】図３は、本開示の実施例１に係る属性情報の一例を示す図である。

【図4】図４は、本開示の実施例１に係る重心座標のトレース例を示す図である。

【図5】図５は、本開示の実施例１に係る重心座標のトレース例を示す図である。

【図6】図６は、本開示の実施例１に係る重心座標のトレース例を示す図である。

【図7】図７は、本開示の実施例１に係る重心座標のトレース例を示す図である。

【図8】図８は、本開示の実施例１に係る所望廃棄物の抽出例を示す図である。

【図9】図９は、本開示の実施例１に係る画像認識結果の一例を示す図である。

【図10】図１０は、本開示の実施例１に係る教師データ判定装置の動作例１－１を示す図である。

【図11】図１１は、本開示の実施例１に係る教師データ判定装置の動作例１－２を示す図である。

【図12】図１２は、本開示の実施例１に係る教師データ判定装置の動作例１－３を示す図である。

【図13】図１３は、本開示の実施例２に係る教師データ判定装置の動作例２を示す図である。

【図14】図１４は、本開示の実施例３に係る教師データ判定装置の動作例３を示す図である。

【図15】図１５は、本開示の実施例４に係る認識結果ばらつきの算出例を示す図である。

【図16】図１６は、本開示の実施例４に係る認識結果ばらつきの算出例を示す図である。

【図17】図１７は、本開示の実施例４に係る認識結果ばらつきの算出例を示す図である。

【図18】図１８は、本開示の実施例４に係る認識結果ばらつきの算出例を示す図である。

【図19】図１９は、本開示の実施例４に係る認識結果ばらつきの算出例を示す図である。

【図20】図２０は、本開示の実施例４に係る認識結果ばらつきの算出例を示す図である。

【図21】図２１は、本開示の実施例４に係る教師データ判定装置の動作例４を示す図である。

【発明を実施するための形態】

【0010】

以下、本開示の実施例を図面に基づいて説明する。以下の実施例において同一の構成には同一の符号を付す。

【0011】

［実施例１］
＜物体選別システムの構成＞
図１は、本開示の実施例１に係る物体選別システムの構成例を示す図である。

【0012】

図１において、物体選別システム１は、制御装置１０と、カメラ２０と、物体選別装置３０と、ベルトコンベア４０とを有する。制御装置１０と、カメラ２０と、物体選別装置３０とは、ネットワークを介して互いに接続される。

【0013】

以下では、図１に示す物体選別システム１が、ベルトコンベア４０上を廃棄物群が流れる廃棄物処理場に設置される場合を一例に挙げて説明する。つまり、以下では、物体選別システム１の選別対象の物体が廃棄物である場合を一例に挙げて説明する。しかし、物体選別システム１は、ベルトコンベア上を部品群が流れる組立工場等に設置されても良い。つまり、物体選別システム１の選別対象の物体は廃棄物に限定されず、物体選別システム１は様々な物体に対して使用可能である。

【0014】

ベルトコンベア４０は、ベルトコンベア４０上に載せられた廃棄物群を搬送方向ＣＤへ搬送する。つまり、ベルトコンベア４０は、搬送方向ＣＤへ廃棄物群が搬送される搬送路を形成する。

【0015】

カメラ２０は、廃棄物群が搬送されるベルトコンベア４０の上方に配置され、所定の画角を有し、ベルトコンベア４０の上方からベルトコンベア４０の上面における所定の領域を一定のフレームレートで連続して撮影する。よって、カメラ２０によって撮影された画像（以下では「撮影画像」と呼ぶことがある）は、廃棄物群の画像となる。撮影画像は、カメラ２０から制御装置１０へ送信される。

【0016】

＜制御装置の構成＞
図２は、本開示の実施例１に係る制御装置の構成例を示す図である。図２において、制御装置１０は、教師データ判定装置１００と、教師データ記憶部１５と、機械学習部１６と、学習済モデル記憶部１７とを有する。教師データ判定装置１００は、画像認識部１１と、認識結果記憶部１２と、ばらつき算出部１３と、認識結果判定部１４とを有する。

【0017】

画像認識部１１は、学習済モデル記憶部１７に記憶されている学習済モデルを用いて、撮影画像の中に存在する各廃棄物の画像（以下では「廃棄物画像」と呼ぶことがある）を認識し、認識した各廃棄物画像に対して、各廃棄物画像の属性を示す情報（以下では「属性情報」と呼ぶことがある）を付与する。画像認識部１１は、学習済モデルを用いた画像認識の信頼スコアが閾値以上となる廃棄物画像に属性情報を付与する。信頼スコアは、学習済モデル記憶部１７に記憶されている学習済モデルから廃棄物画像毎に出力される。画像認識部１１は、例えば、撮影画像に対してインスタンスセグメンテーションを行うことにより廃棄物画像を認識する。画像認識部１１は、廃棄物画像と、廃棄物画像に付与済みの属性情報とを互いに対応付け、各廃棄物画像に対して属性情報が付与された認識結果（以下では「画像認識結果」と呼ぶことがある）を生成し、生成した画像認識結果を認識結果記憶部１２及び物体選別装置３０へ出力する。

【0018】

認識結果記憶部１２は、画像認識部１１から順次出力される画像認識結果を時系列に記憶する。つまり、認識結果記憶部１２は、画像認識部１１による廃棄物画像に対する複数の画像認識結果であって、各々が廃棄物画像と属性情報とを含む複数の画像認識結果を記憶する。

【0019】

物体選別装置３０は、画像認識部１１から出力される画像認識結果（つまり、廃棄物画像及び属性情報）に基づいて、ベルトコンベア４０を搬送される廃棄物群の中から所望廃棄物を抽出することにより選別する。物体選別装置３０は、例えば、ロボットハンドや吸引パッド等を用いて所望廃棄物を抽出する。

【0020】

ばらつき算出部１３は、認識結果記憶部１２に記憶されている複数の画像認識結果の間でのばらつき（以下では「認識結果ばらつき」と呼ぶことがある）を算出し、算出した認識結果ばらつきを認識結果判定部１４へ出力する。

【0021】

認識結果判定部１４は、認識結果ばらつきに基づいて、認識結果記憶部１２に記憶されている複数の画像認識結果において、機械学習の教師データとして採用する画像認識結果（以下では「採用認識結果」と呼ぶことがある）を判定する。そして、認識結果判定部１４は、認識結果記憶部１２に記憶されている複数の画像認識結果の中から採用認識結果抽出し、抽出した採用認識結果を教師データ記憶部１５へ出力する。

【0022】

教師データ記憶部１５には、属性情報が付与された多くの廃棄物画像が教師データとして予め記憶されている。また、教師データ記憶部１５は、認識結果判定部１４から出力される採用認識結果を追加の教師データとして新たに記憶する。

【0023】

機械学習部１６は、一定時間毎に、教師データ記憶部１５に記憶されている教師データを用いて機械学習を行い、機械学習後の学習済モデルによって、学習済モデル記憶部１７に記憶されている学習済モデルを更新する。よって、画像認識部１１での廃棄物画像の認識は、採用認識結果を用いて機械学習部１６によって行われる追加の機械学習により更新された後の学習済モデルを用いて行われることになる。

【0024】

＜属性情報＞
図３は、本開示の実施例１に係る属性情報の一例を示す図である。以下では、廃棄物として空きビンを想定し、物体選別装置３０では、ベルトコンベア４０上を流れる各々の空きビンが、茶色の空きビン（以下では「茶色ビン」と呼ぶことがある）と、無色透明の空きビン（以下では「透明ビン」と呼ぶことがある）と、茶色以外の色（以下では「他色」と呼ぶことがある）を有する空きビン（以下では「他色ビン」と呼ぶことがある）との三種類の空きビンに選別される場合を想定する。また以下では、所望廃棄物が茶色ビンであり、茶色ビン用の教師データが教師データ記憶部１５に記憶される場合を想定する。

【0025】

図３に示すように、撮影画像に廃棄物画像として空きビンの画像（以下では「空きビン画像」と呼ぶことがある）ＢＩが含まれる場合、画像認識部１１は、学習済モデル記憶部１７に記憶されている学習済モデルを用いて、撮影画像の中に存在する空きビン画像ＢＩを認識し、認識した空きビン画像ＢＩに対して、撮影時刻と、個体ＩＤと、ラベル情報ＬＡと、輪郭情報ＣＯと、重心座標ＤＧと、輪郭領域面積と、信頼スコアと、重心予測誤差と、色統計量とを含む属性情報を付与する。

【0026】

撮影時刻は、空きビン画像ＢＩを含む撮影画像がカメラ２０によって取得された時刻である。

【0027】

個体ＩＤは、複数の空きビン画像において互いに同一の空きビンを一意に特定するためのＩＤである。画像認識部１１は、それぞれの空きビン画像ＢＩに個体ＩＤを付与する。

【0028】

ラベル情報ＬＡは、空きビンの種類を示す情報である。画像認識部１１は、空きビン画像ＢＩが茶色ビンの画像（以下では「茶色ビン画像」と呼ぶことがある）である場合には“茶色ビン”というラベル情報ＬＡを空きビン画像ＢＩに付与し、空きビン画像ＢＩが透明ビンの画像（以下では「透明ビン画像」と呼ぶことがある）である場合には“透明ビン”というラベル情報ＬＡを空きビン画像ＢＩに付与し、空きビン画像ＢＩが他色ビンの画像（以下では「他色ビン画像」と呼ぶことがある）である場合には“他色ビン”というラベル情報ＬＡを空きビン画像ＢＩに付与する。

【0029】

また、画像認識部１１は、空きビン画像ＢＩの輪郭を示す輪郭情報ＣＯを空きビン画像ＢＩに付与する。矩形の撮影画像の長辺をＸ軸、短辺をＹ軸として、輪郭情報ＣＯは、複数の座標点(x0,y0)，(x1,y1)，…，(xn,yn)で形成される。

【0030】

また、画像認識部１１は、輪郭情報ＣＯに基づいて空きビン画像ＢＩの面積重心を算出し、算出した面積重心の位置を示す重心座標ＤＧを空きビン画像ＢＩに付与する。重心座標ＤＧは、単一の座標点(X,Y)で形成される。

【0031】

ここで、輪郭情報ＣＯを形成する複数の座標点(x0,y0)，(x1,y1)，…，(xn,yn)、及び、重心座標を形成する単一の座標点(X,Y)は、撮影画像の座標系、つまり、カメラ２０の座標系（以下では「カメラ座標系」と呼ぶことがある）における座標点である。

【0032】

また、画像認識部１１は、輪郭情報ＣＯを形成する複数の座標点(x0,y0)，(x1,y1)，…，(xn,yn)によって囲まれた領域（以下では「輪郭領域」と呼ぶことがある）の面積（つまり、輪郭領域面積）を算出し、算出した輪郭領域面積を空きビン画像ＢＩに付与する。画像認識部１１は、輪郭領域内の画素の総数を輪郭領域面積として算出する。

【0033】

また、画像認識部１１は、画像認識部１１が学習済モデルを用いて空きビン画像ＢＩを認識する際に学習済モデルから出力される信頼スコアを空きビン画像ＢＩに付与する。信頼スコアは、空きビン画像ＢＩの画像認識結果の確度を示す。

【0034】

また、画像認識部１１は、後述する重心予測誤差［mm］を空きビン画像ＢＩに付与する。

【0035】

また、画像認識部１１は、空きビン画像ＢＩの色統計量を空きビン画像ＢＩに付与する。画像認識部１１は、輪郭領域内の各画素の色情報に基づいて、輪郭領域内の全画素におけるＲ成分（Red成分）の統計量（以下では「Ｒ成分量」と呼ぶことがある）と、輪郭領域内の全画素におけるＧ成分（Green成分）の統計量（以下では「Ｇ成分量」と呼ぶことがある）と、輪郭領域内の全画素におけるＢ成分（Blue成分）の統計量（以下では「Ｂ成分量」と呼ぶことがある）とを色統計量として空きビン画像ＢＩに付与する。Ｒ成分量、Ｇ成分量及びＢ成分量は、例えば、加算平均によって算出され、０～２５５の階調値を用いて表される。

【0036】

＜重心座標のトレース＞
図４、図５、図６及び図７は、本開示の実施例１に係る重心座標のトレース例を示す図である。

【0037】

まず、図４に示すように、画像認識部１１は、時刻ｔ１１において取得された撮影画像において茶色ビン画像ＢＯを認識し、時刻ｔ１１における茶色ビン画像ＢＯに個体ＩＤを付与するとともに、時刻ｔ１１における茶色ビン画像ＢＯの重心座標ＤＧ１を算出する。

【0038】

次いで、図５に示すように、画像認識部１１は、カメラ２０のフレームレートＦＲ［frame/sec］と、ベルトコンベア４０の搬送速度ＣＳ［mm/sec］とに基づいて、時刻ｔ１１で取得された撮影画像の次に時刻ｔ１２で取得されるであろう撮影画像における茶色ビン画像ＢＯの重心座標ＥＧ２を予測する。時刻ｔ１２における重心座標ＥＧ２は、時刻ｔ１１における重心座標ＤＧ１に対して、１フレーム当たり、ベルトコンベア４０の搬送方向ＣＤ（つまり、図１におけるＸ方向）にＣＳ／ＦＲだけ移動すると予測される。また、画像認識部１１は、予測した重心座標ＥＧ２を中心とする円形の所定の大きさの許容範囲ＴＲを設定する。

【0039】

次いで、図６に示すように、画像認識部１１は、時刻ｔ１２において取得された撮影画像において茶色ビン画像ＢＯを認識し、時刻ｔ１２における茶色ビン画像ＢＯの重心座標ＤＧ２を算出する。また、画像認識部１１は、重心座標ＤＧ２が許容範囲ＴＲ内にあるか否かを判定する。また、画像認識部１１は、重心座標ＥＧ２と重心座標ＤＧ２との間の距離を、重心位置の予測誤差である重心予測誤差ＰＥとして算出する。

【0040】

重心座標ＤＧ２が許容範囲ＴＲ内にあるときは、画像認識部１１は、時刻ｔ１１及び時刻ｔ１２における双方の茶色ビン画像ＢＯの被写体が同一の茶色ビンであると判定し、時刻ｔ１２における茶色ビン画像ＢＯに対し、時刻ｔ１１における茶色ビン画像ＢＯに付与した個体ＩＤと同一の個体ＩＤを付与するとともに、図７に示すように、重心座標ＤＧ１から重心座標ＤＧ２へと繋がる直線のトレース線ＴＬを設定する。一方で、重心座標ＤＧ２が許容範囲ＴＲ内にないときは、画像認識部１１は、重心座標のトレースを中止する。

【0041】

画像認識部１１は、フレームレートＦＲで順次取得される撮影画像に対して、上記のような重心座標のトレースを順次実行する。

【0042】

＜所望廃棄物の抽出＞
図８は、本開示の実施例１に係る所望廃棄物の抽出例を示す図である。図８では、カメラ２０のフレームレートＦＲは、例えば、ベルトコンベア４０の搬送速度ＣＳとカメラ２０の画角とに基づいて、搬送方向ＣＤに搬送される同一の空きビンを最大で３回撮影可能なフレームレートに設定されている。また、物体選別装置３０は、吸引パッド３１を用いて空きビン群から所望廃棄物である茶色ビンを抽出する。

【0043】

図８において、画像認識部１１は、時刻ｔ１１において取得された撮影画像において茶色ビン画像ＢＯを認識し、時刻ｔ１１における茶色ビン画像ＢＯの重心座標ＤＧ１(X1,Y1)を算出する。

【0044】

次いで、画像認識部１１は、時刻ｔ１２において取得された撮影画像において茶色ビン画像ＢＯを認識し、時刻ｔ１２における茶色ビン画像ＢＯの重心座標ＤＧ２(X2,Y2)を算出する。

【0045】

次いで、画像認識部１１は、時刻ｔ１１及び時刻ｔ１２における双方の茶色ビン画像ＢＯの被写体が同一の茶色ビンであると判定し、重心座標ＤＧ１(X1,Y1)から重心座標ＤＧ２(X2,Y2)へと繋がる直線のトレース線ＴＬを設定する。

【0046】

次いで、画像認識部１１は、時刻ｔ１３において取得された撮影画像において茶色ビン画像ＢＯを認識し、時刻ｔ１３における茶色ビン画像ＢＯの重心座標ＤＧ３(X3,Y3)を算出する。

【0047】

次いで、画像認識部１１は、時刻ｔ１２及び時刻ｔ１３における双方の茶色ビン画像ＢＯの被写体が同一の茶色ビンであると判定し、重心座標ＤＧ１(X1,Y1)から重心座標ＤＧ３(X3,Y3)へと繋がる直線のトレース線ＴＬを設定する。

【0048】

次いで、画像認識部１１は、重心座標ＤＧ１(X1,Y1)から重心座標ＤＧ３(X3,Y3)へと繋がるトレース線ＴＬをＸ方向における吸引パッド３１の設置位置まで直線近似により延長し、かつ、カメラ座標系を物体選別装置３０の座標系に変換することにより、茶色ビンの抽出目標座標ＴＣ(X,Y)を算出する。また、画像認識部１１は、搬送速度ＣＳに基づいて、時刻ｔ１１，ｔ１２，ｔ１３で認識した茶色ビン画像ＢＯの被写体である茶色ビンが抽出目標座標ＴＣ(X,Y)に到達する時刻（以下では「抽出目標時刻」と呼ぶことがある）ｔＨを算出する。画像認識部１１は、算出した抽出目標座標ＴＣ(X,Y)及び抽出目標時刻ｔＨを含む制御信号を物体選別装置３０へ送信する。

【0049】

物体選別装置３０では、画像認識部１１から受信された抽出目標座標ＴＣ(X,Y)及び抽出目標時刻ｔＨに従って、吸引パッド３１が、抽出目標座標ＴＣ(X,Y)に移動し、抽出目標時刻ｔＨで抽出目標座標ＴＣ(X,Y)に位置する空きビンを空きビン群から抽出する。これにより、物体選別装置３０では、時刻ｔ１１，ｔ１２，ｔ１３で画像認識部１１によって認識された茶色ビン画像ＢＯの被写体である茶色ビンが空きビン群から抽出される。

【0050】

＜画像認識結果＞
図９は、本開示の実施例１に係る画像認識結果の一例を示す図である。図９には、一例として、時刻ｔ１２で取得された撮影画像に含まれる空きビン画像に対する画像認識結果を示す。

【0051】

図９に示すように、画像認識結果には、撮影時刻と、空きビン画像と、個体ＩＤと、輪郭領域面積と、重心予測誤差と、Ｒ成分量と、Ｇ成分量と、Ｂ成分量と、信頼スコアと、ラベル情報ＬＡにより示される空きビンの種類とが含まれる。

【0052】

＜教師データ判定装置の動作＞
図１０、図１１及び図１２は、本開示の実施例１に係る教師データ判定装置の動作例１－１，１－２，１－３を示す図である。

【0053】

以下では、一例として、輪郭領域面積のばらつき（以下では「面積ばらつき」と呼ぶことがある）に対する閾値を“５”、重心予測誤差のばらつき（以下では「誤差ばらつき」と呼ぶことがある）に対する閾値を“３”、Ｒ成分量のばらつき（以下では「Ｒ成分ばらつき」と呼ぶことがある）に対する閾値を“５”、Ｇ成分量のばらつき（以下では「Ｇ成分ばらつき」と呼ぶことがある）に対する閾値を“５”、Ｂ成分量のばらつき（以下では「Ｂ成分ばらつき」と呼ぶことがある）に対する閾値を“５”、信頼スコアのばらつき（以下では「信頼スコアばらつき」と呼ぶことがある）に対する閾値を“３”、空きビンの種類のばらつき（以下では「種類ばらつき」と呼ぶことがある）に対する閾値を“０.３”として説明する。

【0054】

ばらつき算出部１３は、面積ばらつき、誤差ばらつき、Ｒ成分ばらつき、Ｇ成分ばらつき、Ｂ成分ばらつき、及び、信頼スコアばらつきの各々のばらつきを、標準偏差を用いて算出する。また、ばらつき算出部１３は、シンプソンの多様度指数を用いて種類ばらつきを算出する。面積ばらつき、誤差ばらつき、Ｒ成分ばらつき、Ｇ成分ばらつき、Ｂ成分ばらつき、信頼スコアばらつき、及び、種類ばらつきの各々のばらつきが、認識結果ばらつきに該当する。

【0055】

認識結果判定部１４は、面積ばらつき、誤差ばらつき、Ｒ成分ばらつき、Ｇ成分ばらつき、Ｂ成分ばらつき、信頼スコアばらつき、及び、種類ばらつきの少なくとも一つが閾値以上となる画像認識結果を採用認識結果と判定する。

【0056】

＜動作例１－１（図１０）＞
認識結果判定部１４は、図１０に示すように、時刻ｔ１１，ｔ１２，ｔ１３の各時刻において画像認識部１１によって時系列に取得された３個の画像認識結果であって、同一の個体ＩＤを有する３個の画像認識結果の間において、面積ばらつき及び誤差ばらつきが閾値以上になるときは、ばらつきの発生要因が画像認識部１１の認識精度の不足にあると判定し、これらの３個の画像認識結果を採用認識結果と判定する。一方で、画像認識部１１は、同一の個体ＩＤを付与する複数の空きビン画像の被写体は同一の空きビンであると判定する。同一の個体ＩＤを有する時系列に取得された３個の画像認識結果の間において面積ばらつき及び誤差ばらつきが閾値以上になる場合として、例えば、時刻ｔ１２における空きビン画像の一部が欠落した場合が想定される。

【0057】

＜動作例１－２（図１１）＞
認識結果判定部１４は、図１１に示すように、時刻ｔ１１，ｔ１２，ｔ１３の各時刻において画像認識部１１によって時系列に取得された３個の画像認識結果であって、同一の個体ＩＤを有する３個の画像認識結果の間において、Ｂ成分ばらつき及び種類ばらつきが閾値以上となるときは、ばらつきの発生要因が画像認識部１１の認識精度の不足にあると判定し、これらの３個の画像認識結果を採用認識結果と判定する。

【0058】

＜動作例１－３（図１２）＞
認識結果判定部１４は、図１２に示すように、時刻ｔ１１，ｔ１２，ｔ１３の各時刻において画像認識部１１によって時系列に取得された３個の画像認識結果であって、同一の個体ＩＤを有する３個の画像認識結果の間において、誤差ばらつきが閾値以上になる一方で面積ばらつきが閾値未満になるときは、ばらつきが画像認識部１１の認識精度の不足によって発生したものではないと判定し、これらの３個の画像認識結果を機械学習の教師データとして採用せずに認識結果記憶部１２から抽出しない。同一の個体ＩＤを有する時系列に取得された３個の画像認識結果の間において、誤差ばらつきが閾値以上になる一方で面積ばらつきが閾値未満になる場合として、例えば、同一の空きビンが、ベルトコンベア４０での搬送中にベルトコンベア４０上で転がってしまった場合が想定される。

【0059】

以上、実施例１について説明した。

【0060】

［実施例２］
＜教師データ判定装置の動作＞
画像認識部１１は、単一の空きビン画像に対して互いに異なる複数の学習済モデルの各々を用いて、単一の空きビン画像に対する複数の画像認識結果を取得する。互いに異なる複数の学習済モデルは、学習済モデル記憶部１７に予め記憶されている。

【0061】

ばらつき算出部１３は、単一の空きビン画像に対する複数の画像認識結果の間において、面積ばらつき、誤差ばらつき、Ｒ成分ばらつき、Ｇ成分ばらつき、Ｂ成分ばらつき、信頼スコアばらつき、及び、種類ばらつきの各々のばらつきを算出する。

【0062】

＜動作例２（図１３）＞
図１３は、本開示の実施例２に係る教師データ判定装置の動作例２を示す図である。以下では、一例として、画像認識部１１が、単一の空きビン画像に対して互いに異なる第一学習済モデル、第二学習済モデル及び第三学習済モデルの３個の学習済モデルの各々を用いて、単一の空きビン画像に対する３個の画像認識結果を取得する場合について説明する。図１３において、一行目の画像認識結果は第一学習済モデルを用いて取得されたものであり、二行目の画像認識結果は第二学習済モデルを用いて取得されたものであり、三行目の画像認識結果は第三学習済モデルを用いて取得されたものである。

【0063】

認識結果判定部１４は、図１３に示すように、第一学習済モデル、第二学習済モデル及び第三学習済モデルの各々の学習済モデルを用いて画像認識部１１によって同一時刻ｔ１２に取得された３個の画像認識結果であって、同一の個体ＩＤを有する３個の画像認識結果の間において、信頼スコアばらつきが閾値以上になるときは、ばらつきの発生要因が画像認識部１１の認識精度の不足にあると判定し、これらの３個の画像認識結果を採用認識結果と判定する。

【0064】

以上、実施例２について説明した。

【0065】

［実施例３］
＜教師データ判定装置の動作＞
画像認識部１１は、単一の空きビン画像を加工することにより複数の加工済画像を生成する。また、画像認識部１１は、複数の加工済画像のそれぞれに対して同一の学習済モデルを用いて、複数の加工済画像のそれぞれに対する複数の画像認識結果を、単一の空きビン画像に対する複数の画像認識結果として取得する。

【0066】

ばらつき算出部１３は、複数の加工済画像のそれぞれに対する複数の画像認識結果の間において、面積ばらつき、誤差ばらつき、Ｒ成分ばらつき、Ｇ成分ばらつき、Ｂ成分ばらつき、信頼スコアばらつき、及び、種類ばらつきの各々のばらつきを算出する。

【0067】

＜動作例３（図１４）＞
図１４は、本開示の実施例３に係る教師データ判定装置の動作例３を示す図である。以下では、一例として、画像認識部１１が、単一の空きビン画像を加工することにより、第一加工済画像、第二加工済画像及び第三加工済画像の３個の加工済画像を生成する場合について説明する。図１４において、一行目の画像認識結果は第一加工済画像に対する画像認識結果であり、二行目の画像認識結果は第二加工済画像に対する画像認識結果であり、三行目の画像認識結果は第三加工済画像に対する画像認識結果である。

【0068】

認識結果判定部１４は、図１４に示すように、同一の学習済モデルを用いて画像認識部１１によって同一時刻ｔ１２に取得された３個の画像認識結果であって、同一の個体ＩＤを有する３個の画像認識結果の間において、種類ばらつきが閾値以上になるときは、ばらつきの発生要因が画像認識部１１の認識精度の不足にあると判定し、これらの３個の画像認識結果を採用認識結果と判定する。

【0069】

以上、実施例３について説明した。

【0070】

［実施例４］
＜認識結果ばらつきの算出＞
実施例１～３では、輪郭領域面積、重心予測誤差、Ｒ成分量、Ｇ成分量、Ｂ成分量、及び、信頼スコアが連続値をとり、ばらつき算出部１３が、面積ばらつき、誤差ばらつき、Ｒ成分ばらつき、Ｇ成分ばらつき、Ｂ成分ばらつき、及び、信頼スコアばらつきを、標準偏差を用いて算出する場合について説明した。これに対し、実施例４では、ばらつき算出部１３は、輪郭領域面積、重心予測誤差、Ｒ成分量、Ｇ成分量、Ｂ成分量、及び、信頼スコアをヒストグラムによって離散値にし、面積ばらつき、誤差ばらつき、Ｒ成分ばらつき、Ｇ成分ばらつき、Ｂ成分ばらつき、及び、信頼スコアばらつきを、シンプソンの多様度指数を用いて算出する。

【0071】

図１５～２０は、本開示の実施例４に係る認識結果ばらつきの算出例を示す図である。例えば、輪郭領域面積が図１５に示すようなヒストグラムになる場合、ばらつき算出部１３は、多様度指数として示される面積ばらつきを０.００と算出する。また例えば、重心予測誤差が図１６に示すようなヒストグラムになる場合、ばらつき算出部１３は、多様度指数として示される誤差ばらつきを０.００と算出する。また例えば、Ｒ成分量が図１７に示すようなヒストグラムになる場合、ばらつき算出部１３は、多様度指数として示されるＲ成分ばらつきを０.００と算出する。また例えば、Ｇ成分量が図１８に示すようなヒストグラムになる場合、ばらつき算出部１３は、多様度指数として示されるＧ成分ばらつきを０.００と算出する。また例えば、Ｂ成分量が図１９に示すようなヒストグラムになる場合、ばらつき算出部１３は、多様度指数として示されるＢ成分ばらつきを０.４４と算出する。また例えば、信頼スコアが図２０に示すようなヒストグラムになる場合、ばらつき算出部１３は、多様度指数として示される信頼スコアばらつきを０.００と算出する。

【0072】

＜教師データ判定装置の動作＞
＜動作例４（図２１）＞
図２１は、本開示の実施例４に係る教師データ判定装置の動作例４を示す図である。

【0073】

ばらつき算出部１３は、上記の図１５～２０に示したように、面積ばらつき、誤差ばらつき、Ｒ成分ばらつき、Ｇ成分ばらつき、及び、信頼スコアばらつきを多様度指数の０.００と算出する一方で、Ｂ成分ばらつきを多様度指数の０.４４と算出する（図２１）。また例えば、図２１に示すように、ばらつき算出部１３は、実施例１と同様にして、種類ばらつきを多様度指数の０.４４と算出する。

【0074】

また、図２１に示すように、面積ばらつき、誤差ばらつき、Ｒ成分ばらつき、Ｇ成分ばらつき、Ｂ成分ばらつき、信頼スコアばらつき、及び、種類ばらつきの各々のばらつきに対して、重みが設定されている。そこで、例えば、ばらつき算出部１３は、各々の認識結果ばらつきと、各々の重みとの乗算結果の総和（以下では「重み付き和」と呼ぶことがある）を算出する。そして、認識結果判定部１４は、重み付き和が閾値以上となるときに、ばらつきの発生要因が画像認識部１１の認識精度の不足にあると判定し、時刻ｔ１１，ｔ１２，ｔ１３の各時刻において画像認識部１１によって時系列に取得された３個の画像認識結果であって、同一の個体ＩＤを有する３個の画像認識結果を採用認識結果と判定する。図２１に示す例では、重み付き和は、（０.４４×１）＋（０.４４）×２＝１.３２と算出され、重み付き和に対する閾値は１.０に設定される。

【0075】

また例えば、認識結果判定部１４は、図２１に示す各々の認識結果ばらつきの中での最大値が閾値以上となるときに、ばらつきの発生要因が画像認識部１１の認識精度の不足にあると判定し、時刻ｔ１１，ｔ１２，ｔ１３の各時刻において画像認識部１１によって時系列に取得された３個の画像認識結果であって、同一の個体ＩＤを有する３個の画像認識結果を採用認識結果と判定しても良い。図２１に示す例では、認識結果ばらつきの最大値（以下では「ばらつき最大値」と呼ぶことがある）は０.４４であり、ばらつき最大値に対する閾値は０.３に設定される。

【0076】

また例えば、ばらつき算出部１３は、各々の認識結果ばらつきの平均値（以下では「平均ばらつき」と呼ぶことがある）を算出する。そして、認識結果判定部１４は、平均ばらつきが閾値以上となるときに、ばらつきの発生要因が画像認識部１１の認識精度の不足にあると判定し、時刻ｔ１１，ｔ１２，ｔ１３の各時刻において画像認識部１１によって時系列に取得された３個の画像認識結果であって、同一の個体ＩＤを有する３個の画像認識結果を採用認識結果と判定しても良い。図２１に示す例では、平均ばらつきは、（０.４４＋０.４４）÷７＝０.１３（小数点第三位四捨五入）と算出され、平均ばらつきに対する閾値は０.２に設定される。

【0077】

以上、実施例４について説明した。

【0078】

［実施例５］
上記の実施例１～４では、認識結果判定部１４は、認識結果ばらつきが閾値以上となる画像認識結果のすべてを採用認識結果と判定した。しかし、認識結果ばらつきが閾値以上となる全Ｎ個の画像認識結果のうち、例えば、ばらつきの大きさが上位のＭ個（Ｍ＜Ｎ）の画像認識結果だけ、または、ランダムなＭ個の画像認識結果だけを採用認識結果と判定しても良い。

【0079】

［実施例６］
認識結果記憶部１２、教師データ記憶部１５、及び、学習済モデル記憶部１７は、ハードウェアとして、例えば、メモリまたはストレージにより実現される。画像認識部１１、ばらつき算出部１３、認識結果判定部１４、及び、機械学習部１６は、ハードウェアとして、例えば、ＣＰＵ（Central Processing Unit）、ＤＳＰ（Digital Signal Processor）、ＦＰＧＡ（Field Programmable Gate Array）、ＡＳＩＣ（Application Specific Integrated Circuit）等のプロセッサにより実現される。

【0080】

また、制御装置１０での上記説明における各処理の全部または一部は、各処理に対応するプログラムを制御装置１０が有するプロセッサに実行させることによって実現しても良い。例えば、上記説明における各処理に対応するプログラムが制御装置１０が有するメモリまたはストレージに記憶され、プログラムがプロセッサによってメモリまたはストレージから読み出されて実行されても良い。また、プログラムは、任意のネットワークを介して制御装置１０に接続されたプログラムサーバに記憶され、そのプログラムサーバから制御装置１０にダウンロードされて実行されたり、制御装置１０が読み取り可能な記録媒体に記憶され、その記録媒体から読み出されて実行されても良い。制御装置１０が読み取り可能な記録媒体には、例えば、メモリカード、ＵＳＢメモリ、ＳＤカード、フレキシブルディスク、光磁気ディスク、ＣＤ－ＲＯＭ、及び、ＤＶＤ等の可搬の記憶媒体が含まれる。

【0081】

以上、実施例６について説明した。

【0082】

上記の実施例１～５では、認識結果ばらつきとして、面積ばらつき、誤差ばらつき、Ｒ成分ばらつき、Ｇ成分ばらつき、Ｂ成分ばらつき、信頼スコアばらつき、及び、種類ばらつきのすべてを用いる場合を一例に挙げた。しかし、本開示の技術は、面積ばらつき、誤差ばらつき、Ｒ成分ばらつき、Ｇ成分ばらつき、Ｂ成分ばらつき、信頼スコアばらつき、及び、種類ばらつきの少なくとも一つを用いる場合に適用可能である。つまり、本開示の技術は、輪郭領域面積、重心予測誤差と、色統計量、信頼スコア、及び、ラベル情報ＬＡの少なくとも一つが属性情報に含まれている場合に適用可能である。また、認識結果ばらつきとして、面積ばらつき、誤差ばらつき、Ｒ成分ばらつき、Ｇ成分ばらつき、Ｂ成分ばらつき、信頼スコアばらつき、及び、種類ばらつき以外のばらつきが用いられる場合にも、本開示の技術を適用可能である。

【0083】

以上のように、本開示の教師データ判定装置（実施例の教師データ判定装置１００）は、認識部（実施例の画像認識部１１）と、算出部（実施例のばらつき算出部１３）と、判定部（実施例の認識結果判定部１４）とを有する。認識部は、学習済モデルを用いて物体の画像を認識し、認識した画像に対して画像の属性を示す情報である属性情報を付与する。算出部は、認識部による画像に対する複数の認識結果であって、各々が物体の画像と属性情報とを含む複数の認識結果の間でのばらつきを算出する。判定部は、複数の認識結果において、ばらつきに基づいて、機械学習の教師データとして採用する認識結果を判定する。

【0084】

こうすることで、認識結果の確度が低いと想定される認識結果を機械学習の教師データとして採用することが可能になるため、機械学習に有用な教師データを自動的に収集できる。

【0085】

例えば、認識部は、時間の経過とともに搬送路を搬送される同一物体の画像であって、撮影時刻が互いに異なる複数の画像のそれぞれに対する複数の認識結果を取得する。算出部は、撮影時刻が互いに異なる同一物体の複数の画像のそれぞれに対する複数の認識結果の間でのばらつきを算出する。

【0086】

また例えば、認識部は、単一の物体の画像に対して互いに異なる複数の学習済モデルの各々を用いて単一の物体の画像に対する複数の認識結果を取得し、算出部は、それらの複数の認識結果の間でのばらつきを算出する。

【0087】

また例えば、認識部は、単一の物体の画像を加工することにより複数の加工済画像を生成し、複数の加工済画像のそれぞれに対して同一の学習済モデルを用いて、複数の加工済画像のそれぞれに対する複数の認識結果を取得し、算出部は、それらの複数の認識結果の間でのばらつきを算出する。

【符号の説明】

【0088】

１ 物体選別システム
１０ 制御装置
２０ カメラ
３０ 物体選別装置
１００ 教師データ判定装置
１１ 画像認識部
１２ 認識結果記憶部
１３ ばらつき算出部
１４ 認識結果判定部
１５ 教師データ記憶部
１６ 機械学習部
１７ 学習済モデル記憶部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】