特開 2023-98304 教師データ生成装置および教師データ生成プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023098304

(43)【公開日】2023-07-10

(54)【発明の名称】教師データ生成装置および教師データ生成プログラム

(51)【国際特許分類】

   G06T 7/00 20170101AFI20230703BHJP

   B25J 13/08 20060101ALI20230703BHJP

【ＦＩ】

G06T7/00 350B

G06T7/00 U

B25J13/08 A

【審査請求】未請求

【請求項の数】10

【出願形態】ＯＬ

(21)【出願番号】P 2021214982

(22)【出願日】2021-12-28

(71)【出願人】

【識別番号】000000974

【氏名又は名称】川崎重工業株式会社

(74)【代理人】

【識別番号】100131200

【弁理士】

【氏名又は名称】河部 大輔

(72)【発明者】

【氏名】徐 天奮

(72)【発明者】

【氏名】大野 誠太

(72)【発明者】

【氏名】松田 吉平

【テーマコード（参考）】

3C707

5L096

【Ｆターム（参考）】

3C707AS04

3C707BS10

3C707KS03

3C707KT01

3C707KT06

3C707LW12

3C707LW15

3C707NS07

5L096BA05

5L096CA21

5L096CA23

5L096DA04

5L096FA69

5L096KA04

(57)【要約】

【課題】教師データの更新に要する時間を短縮する。
【解決手段】制御装置１は、画像に含まれる物体に対して、所定情報を示すラベルをユーザの入力操作に応じて付与するラベル付与部１４２と、画像と画像に付与されたラベルとの組を教師データとして生成する生成部１４３と、検出モデルによる検出が行われた画像であって物体について検出が失敗した第２画像Ｄｂを、検出モデルによる検出結果と紐づけて記憶する記憶部１２とを備える。ラベル付与部１４２は、第２画像Ｄｂにおいて、検出失敗の物体に所定情報を示すラベルをユーザの入力操作に応じて付与する一方、検出成功の物体の所定情報を示すラベルは前記検出結果をもって代用し、生成部１４３は、第２画像Ｄｂと、検出失敗の物体に付されたラベルおよび検出成功の物体の検出結果との組を教師データとして生成する。
【選択図】図４

【特許請求の範囲】

【請求項1】

画像に含まれる物体および前記物体の所定情報を検出する学習済みの検出モデルに再学習させる教師データを生成する教師データ生成装置であって、
画像に含まれる物体に対して、前記所定情報を示すラベルをユーザの入力操作に応じて付与するラベル付与部と、
前記画像と前記画像に付与された前記ラベルとの組を教師データとして生成する生成部と、
前記検出モデルによる検出が行われた画像であって少なくとも１つの物体について前記検出が失敗した画像を、前記検出モデルによる検出結果と紐づけて記憶する記憶部とを備え、
前記ラベル付与部は、前記記憶部の前記画像において、検出失敗の物体に前記所定情報を示す前記ラベルをユーザの入力操作に応じて付与する一方、検出成功の物体の前記所定情報を示す前記ラベルは前記検出結果をもって代用し、
前記生成部は、前記記憶部の前記画像と、前記検出失敗の物体に付された前記ラベルおよび前記検出成功の物体の前記検出結果との組を教師データとして生成する教師データ生成装置。

【請求項2】

請求項１に記載の教師データ生成装置において、
前記記憶部の前記画像を表示する表示部をさらに備えており、
前記ラベル付与部は、前記表示部に表示された前記記憶部の前記画像に含まれる前記検出失敗の物体に前記所定情報を示すマークがユーザの入力操作によって付されることで、前記ラベルを付与する教師データ生成装置。

【請求項3】

請求項２に記載の教師データ生成装置において、
前記記憶部の前記画像を前記表示部に表示させる表示制御部をさらに備えており、
前記表示制御部は、前記記憶部の前記画像を前記表示部に表示させる際、前記記憶部の前記画像に含まれる前記検出成功の物体に前記検出結果を示す前記マークを付す教師データ生成装置。

【請求項4】

請求項２または３に記載の教師データ生成装置において、
前記所定情報は、前記記憶部の前記画像における物体の位置情報であり、
前記ラベル付与部は、ユーザの入力操作によって物体に付された前記マークの位置を前記物体の位置情報として前記ラベルを付与する教師データ生成装置。

【請求項5】

請求項４に記載の教師データ生成装置において、
前記マークの位置は、ロボットアームが、前記物体に対して前記マークの位置に基づいて所定の処理を行う位置として設定される教師データ生成装置。

【請求項6】

請求項５に記載の教師データ生成装置において、
前記マークの位置は、前記ロボットアームが、前記物体に対して把持する位置として設定される教師データ生成装置。

【請求項7】

請求項５または６に記載の教師データ生成装置において、
前記ロボットアームを制御するロボット制御装置と通信可能である教師データ生成装置。

【請求項8】

請求項２または３に記載の教師データ生成装置において、
前記所定情報は、物体の属性情報であり、
前記ラベル付与部は、物体の属性情報に応じて区別された色の前記マークがユーザの入力操作によって前記物体に付されることで、前記マークの色を前記物体の属性情報として前記ラベルを付与する教師データ生成装置。

【請求項9】

請求項１乃至８に記載の教師データ生成装置において、
前記検出失敗の物体は、未検出の物体または誤検出の物体である教師データ生成装置。

【請求項10】

画像に含まれる物体および前記物体の所定情報を検出する学習済みの検出モデルに再学習させる教師データを生成する機能をコンピュータに実現させる教師データ生成プログラムであって、
画像に含まれる物体に対して、前記所定情報を示すラベルをユーザの入力操作に応じて付与する機能と、
前記画像と前記画像に付与された前記ラベルとの組を教師データとして生成する機能と、
前記検出モデルによる検出が行われた画像であって少なくとも１つの物体について前記検出が失敗した画像を、前記検出モデルによる検出結果と紐づけて記憶する機能と、
記憶された前記画像において、検出失敗の物体に前記所定情報を示す前記ラベルをユーザの入力操作に応じて付与する一方、検出成功の物体の前記所定情報を示す前記ラベルは前記検出結果をもって代用する機能と、
記憶された前記画像と、前記検出失敗の物体に付された前記ラベルおよび前記検出成功の物体の前記検出結果との組を教師データとして生成する機能とをコンピュータに実現させる教師データ生成プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

ここに開示された技術は、教師データ生成装置および教師データ生成プログラムに関する。

【背景技術】

【0002】

従来より、機械学習に用いられる教師データを生成する装置が知られている。例えば、特許文献１に開示されている装置では、検出される物体が写っている大量の画像に対して、ラベル付け、即ちアノテーション処理が行われる。そして、画像とラベルとが関連付けられてなる教師データが生成される。その教師データを用いた教師あり機械学習により、学習モデルが生成される。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０２０－１９７９７８号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

ところで、生成した学習モデルを用いて、画像に対して物体の検出処理を行った際、例えば未検出の物体があった場合は、学習モデルを再学習させて更新する必要がある。そのため、未検出の物体があった画像に対してラベルを付与して、新たな教師データを生成する必要がある。しかしながら、学習モデルを搭載した装置の稼働後に学習モデルの更新を行う場合、稼働を停止させる必要があるため、新たな教師データの生成に要する時間は短いほうが望ましい。

【0005】

ここに開示された技術は、かかる点に鑑みてなされたものであり、その目的は、学習済みの検出モデルに再学習させる教師データの生成に要する時間を短縮することにある。

【課題を解決するための手段】

【0006】

ここに開示された技術は、画像に含まれる物体および前記物体の所定情報を検出する学習済みの検出モデルに再学習させる教師データを生成する教師データ生成装置である。前記教師データ生成装置は、画像に含まれる物体に対して、前記所定情報を示すラベルをユーザの入力操作に応じて付与するラベル付与部と、前記画像と前記画像に付与された前記ラベルとの組を教師データとして生成する生成部と、前記検出モデルによる検出が行われた画像であって少なくとも１つの物体について前記検出が失敗した画像を、前記検出モデルによる検出結果と紐づけて記憶する記憶部とを備えている。そして、前記ラベル付与部は、前記記憶部の前記画像において、検出失敗の物体に前記所定情報を示す前記ラベルをユーザの入力操作に応じて付与する一方、検出成功の物体の前記所定情報を示す前記ラベルは前記検出結果をもって代用する。前記生成部は、前記記憶部の前記画像と、前記検出失敗の物体に付された前記ラベルおよび前記検出成功の物体の前記検出結果との組を教師データとして生成する。

【0007】

また、ここに開示された別の技術は、画像に含まれる物体および前記物体の所定情報を検出する学習済みの検出モデルに再学習させる教師データを生成する機能をコンピュータに実現させる教師データ生成プログラムである。前記教師データ生成プログラムは、画像に含まれる物体に対して、前記所定情報を示すラベルをユーザの入力操作に応じて付与する機能と、前記画像と前記画像に付与された前記ラベルとの組を教師データとして生成する機能と、前記検出モデルによる検出が行われた画像であって少なくとも１つの物体について前記検出が失敗した画像を、前記検出モデルによる検出結果と紐づけて記憶する機能と、前記記憶部の前記画像において、検出失敗の物体に前記所定情報を示す前記ラベルをユーザの入力操作に応じて付与する一方、検出成功の物体の前記所定情報を示す前記ラベルは前記検出結果をもって代用する機能と、前記記憶部の前記画像と、前記検出失敗の物体に付された前記ラベルおよび前記検出成功の物体の前記検出結果との組を教師データとして生成する機能とをコンピュータに実現させる。

【発明の効果】

【0008】

前記の教師データ生成装置によれば、学習済みの検出モデルに再学習させる教師データの生成に要する時間を短縮することができる。

【0009】

前記の教師データ生成プログラムによれば、学習済みの検出モデルに再学習させる教師データの生成に要する時間を短縮することができる。

【図面の簡単な説明】

【0010】

【図1】図１は、ロボットシステムの概略構成を示す図である。

【図2】図２は、物体がバラ置きされたバケットを示す平面図である。

【図3】図３は、制御装置およびその周辺機器の概略構成を示すブロック図である。

【図4】図４は、制御装置の処理部の機能ブロック図である。

【図5】図５は、制御装置の処理部の生成処理を示すフローチャートである。

【図6】図６は、表示部において第１画像が選択された状態の一例を示す図である。

【図7】図７は、表示部において第１画像の物体にマークを付す様子の一例を示す図である。

【図8】図８は、表示部において第１画像の全ての物体にマークが付与された状態の一例を示す図である。

【図9】図９は、表示部における第２画像の一例を示す図である。

【図10】図１０は、表示部における第２画像の一例を示す図である。

【図11】図１１は、表示部における第２画像の一例を示す図である。

【図12】図１２は、表示部における第２画像の一例を示す図である。

【図13】図１３は、表示部における第２画像の一例を示す図である。

【図14】図１４は、表示部における第２画像の一例を示す図である。

【図15】図１５は、表示部における第２画像の一例を示す図である。

【図16】図１６は、表示部における第２画像の一例を示す図である。

【発明を実施するための形態】

【0011】

以下、例示的な実施形態を図面に基づいて詳細に説明する。

【0012】

図１は、ロボットシステム１００の概略構成を示す図である。図２は、物体Ｗがバラ置きされたバケットＢを示す平面図である。

【0013】

ロボットシステム１００は、制御装置１と、撮像装置２と、ロボット制御装置３と、ロボット４とを備えている。制御装置１は、教師データ生成装置の一例である。ロボットシステム１００では、例えばバケットＢにバラ置きされている物体Ｗを撮像装置２が撮影し、制御装置１が撮像装置２による撮影画像から物体Ｗを検出する。ロボット制御装置３は、制御装置１が検出したバケットＢ内の物体Ｗをロボット４に把持させて所定の場所に搬送させる。この例では、物体Ｗは、ガラス製の瓶である。

【0014】

ロボット４は、ベース４１と、ベース４１に回転自在に連結されるロボットアーム４２とを有している。ロボットアーム４２は、物体Ｗを把持する、例えば垂直多関節式のアームである。具体的に、ロボットアーム４２には、物体Ｗを把持するためのハンド４３が設けられている。

【0015】

ロボット制御装置３は、ロボット４を制御する。ロボット制御装置３は、ハンド４３を含むロボットアーム４２の各種動作を制御する。制御装置１およびロボット制御装置３は、有線または無線により互いに通信可能である。ロボット制御装置３は、制御装置１から出力された物体Ｗの検出信号に基づいて、バケットＢ内における物体Ｗの位置を求める。ロボット制御装置３は、求めた物体Ｗの位置に応じて、ロボットアーム４２を制御してロボットアーム４２に物体Ｗを把持させる。

【0016】

撮像装置２は、例えばバケットＢの上方に設けられている。撮像装置２は、制御装置１と有線または無線により通信可能である。撮像装置２は、バケットＢ、即ちバケットＢ内の物体Ｗを撮影し、その撮影画像を制御装置１へ出力する。撮像装置２は、例えばカメラである。なお、撮像装置２は、制御装置１に加えロボット制御装置３と有線または無線により通信可能であってもよい。

【0017】

制御装置１は、撮像装置２から出力された撮影画像から、１つまたは複数の物体Ｗを検出する。より詳しくは、制御装置１は、撮影画像から、１つまたは複数の物体Ｗおよびその物体Ｗの所定情報を検出する。制御装置１は、検出した物体Ｗの所定情報をロボット制御装置３へ出力する。ロボット制御装置３は、制御装置１からの物体Ｗの所定情報に基づいて、バケットＢ内の対象となる物体Ｗをロボットアーム４２に把持させる。この例では、物体Ｗの所定情報は、画像内における物体Ｗの位置情報および物体Ｗの属性情報である。

【0018】

制御装置１は、機械学習により学習済みの検出モデルを用いて、撮像装置２による撮影画像から物体Ｗの所定情報を検出する。また、制御装置１は、検出モデルに学習させる教師データを生成する機能も有している。具体的に、制御装置１は、物体Ｗが写っている第１画像にラベルを付与して、学習前の検出モデルに学習させる教師データを生成する。こうして第１画像を用いて学習させた検出モデルによって、画像において物体Ｗの所定情報の検出が行われる。このとき、検出モデルによる検出が失敗した物体Ｗがあった場合、その時の画像が第２画像として蓄積される。そして、制御装置１は、蓄積された第２画像にラベルを付与して、学習済みの検出モデルに再学習させるため、即ち学習済みの検出モデルを更新するための教師データを生成する。

【0019】

ラベルは、正解データまたはタグとも称される。この例では、ラベルは、物体Ｗの所定情報を示すものである。つまり、ラベルは、画像内における物体Ｗの位置、物体Ｗの属性である。この例では、物体Ｗの属性は、物体Ｗの色である。

【0020】

教師データは、検出モデルに学習させるデータである。教師データは、学習データまたは訓練データとも称される。この例では、教師データは、第１画像および第２画像と、第１画像および第２画像に付与されたラベルとが組になったデータである。言い換えれば、教師データは、第１画像および第２画像と、第１画像および第２画像に付されたラベルとを関連付けたデータである。

【0021】

なお、機械学習では、複数の教師データを利用して学習が行われる。この例では、複数の教師データの集まりを教師データセットと称し、教師データセットに含まれる個々のデータを教師データと称する。即ち、教師データと称する場合は、前述した組を意味し、教師データセットと称する場合は、組の集まりを意味する。

【0022】

検出モデルは、機械学習を利用した学習モデルである。この例では、検出モデルは、物体Ｗが写っている画像を入力とし、物体Ｗの所定情報を出力する。機械学習自体は、公知の種々の手法が利用可能であり、例えば、ニューラルネットワーク、強化学習または深層学習といった手法を利用可能である。機械学習は、教師あり学習が用いられてもよいし、半教師あり学習が用いられてもよい。

【0023】

図３は、制御装置１およびその周辺機器の概略構成を示すブロック図である。制御装置１は、入力部１１と、記憶部１２と、表示部１３と、処理部１４とを備えている。

【0024】

入力部１１は、ユーザからの入力操作を受け付ける。入力部１１は、入力操作に応じた入力信号を処理部１４へ出力する。入力部１１は、例えば、タッチパネルやマウス等のポインティングデバイス、またはキーボードである。

【0025】

記憶部１２は、各種プログラム及び各種データを記憶する、コンピュータに読み取り可能な記憶媒体である。記憶部１２は、ハードディスク等の磁気ディスク、ＣＤ－ＲＯＭおよびＤＶＤ等の光ディスク、または半導体メモリによって形成されている。

【0026】

具体的に、記憶部１２は、第１画像Ｄａ、第２画像Ｄｂ、教師データセットＤＳ、および生成プログラムＰＧ等を記憶する。

【0027】

第１画像Ｄａは、物体Ｗが写っている画像である。第１画像Ｄａは、学習前の検出モデルに学習させるための画像であり、撮像装置２が撮影したバケットＢ内の物体Ｗの撮影画像である。第２画像Ｄｂは、学習済みの検出モデルによる検出が行われた画像であって少なくとも１つの物体Ｗについて検出が失敗した画像である。学習済みの検出モデルは、例えば、後述する生成部１４３が第１画像Ｄａに基づいて生成した教師データを学習させた検出モデルである。検出モデルによる検出が行われる画像は、撮像装置２が撮影したバケットＢ内の物体Ｗの撮影画像であるが、第１画像Ｄａとは異なる画像である。教師データセットＤＳには、生成部１４３が生成した教師データが含まれる。

【0028】

ここで、物体Ｗについて検出モデルによる検出が失敗したとは、検出モデルが、物体Ｗの所定情報を検出できなかった、あるいは物体Ｗの所定情報を適切に検出できなかったことを意味し、以下、検出モデによる検出が失敗した物体Ｗを「検出失敗の物体Ｗ」と称する。逆に、物体Ｗについて検出モデルによる検出が成功したとは、検出モデルが、物体Ｗの所定情報を適切に検出できたことを意味し、以下、検出モデによる検出が失敗した物体Ｗを「検出成功の物体Ｗ」と称する。

【0029】

また、記憶部１２は、第２画像Ｄｂを、検出モデルによる検出結果と紐づけて記憶する。検出モデルによる検出結果とは、検出モデルが適切に検出した物体Ｗの所定情報、即ち、検出成功の物体Ｗの所定情報である。

【0030】

生成プログラムＰＧは、教師データ生成プログラムの一例である。生成プログラムＰＧは、教師データを生成する各種機能をコンピュータ、即ち、処理部１４に実現させるためのプログラムである。生成プログラムＰＧは、処理部１４によって読み出されて実行される。

【0031】

表示部１３は、第１画像Ｄａおよび第２画像Ｄｂを表示する。この例では、表示部１３は、ＧＵＩ（Graphical User Interface）画面を表示し、そのＧＵＩ画面において第１画像Ｄａや第２画像Ｄｂを表示する。表示部１３は、例えば、液晶ディスプレイまたは有機ＥＬディスプレイである。

【0032】

図４は、制御装置１の処理部１４の機能ブロック図である。処理部１４は、ＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphics Processing Unit）及び／又はＤＳＰ（Digital Signal Processor）等の各種プロセッサと、ＲＡＭ（Random Access Memory）及び／又はＲＯＭ（Read Only Memory）等の各種半導体メモリとを有している。処理部１４は、記憶部１２から生成プログラムＰＧ等を読み出して実行する。

【0033】

具体的に、処理部１４は、表示制御部１４１と、ラベル付与部１４２と、生成部１４３と、学習部１４４と、検出部１４５とを機能ブロックとして有している。

【0034】

表示制御部１４１は、第１画像Ｄａおよび第２画像Ｄｂを取得する。具体的に、表示制御部１４１は、記憶部１２から第１画像Ｄａを読み出すことで第１画像Ｄａを取得する。また、表示制御部１４１は、記憶部１２から第２画像Ｄｂを読み出すことで第２画像Ｄｂを取得する。表示制御部１４１は、記憶部１２から取得した第１画像Ｄａおよび第２画像Ｄｂを、表示部１３に表示させる。

【0035】

さらに、表示制御部１４１は、表示部１３に表示されている複数の第１画像Ｄａおよび第２画像Ｄｂから、ユーザの入力操作によって選択された画像を、表示部１３において拡大表示させる。

【0036】

ラベル付与部１４２は、第１画像Ｄａに含まれる物体Ｗに対して、物体Ｗの所定情報を示すラベル、即ち物体Ｗの位置情報および属性情報を示すラベルをユーザの入力操作に応じて付与する。つまり、ラベル付与部１４２は、第１画像Ｄａにラベルを付与するアノテーションを行う。

【0037】

生成部１４３は、第１画像Ｄａと、第１画像Ｄａに付与されたラベルとの組を教師データとして生成する。つまり、第１画像Ｄａと、第１画像Ｄａに付与されたラベルとを関連付けた教師データが生成される。こうして生成された教師データは、記憶部１２に教師データセットＤＳとして格納される。

【0038】

学習部１４４は、検出モデルを生成する。具体的に、学習部１４４は、記憶部１２から教師データを読み出し、その教師データを機械学習させた学習済みの検出モデルを生成する。学習済みの検出モデルは、画像に含まれる物体Ｗの所定情報を検出する。より詳しくは、検出モデルは、物体Ｗが写っている画像が入力されると、物体Ｗの所定情報、即ち物体Ｗの位置および物体Ｗの属性（この例では、色）を出力する。学習部１４４で生成された学習済みの検出モデルは、例えば、記憶部１２に格納される。

【0039】

検出部１４５は、学習済みの検出モデルを用いて、画像の中から物体Ｗを検出し、さらに、物体Ｗの位置および色を検出する。具体的に、検出部１４５は、記憶部１２から読み出した検出モデルに画像を入力することで、物体Ｗの位置および色を出力する。つまり、検出部１４５では、検出モデルによる検出処理が行われる。

【0040】

検出部１４５は、検出を行った画像であって検出失敗の物体Ｗがある画像、即ち第２画像Ｄｂを記憶部１２に格納する。つまり、検出部１４５は、検出処理を行うと、第２画像Ｄｂを記憶部１２に格納する。その際、検出部１４５は、第２画像Ｄｂを、検出モデルによる検出結果と紐づけて記憶部１２に記憶させる。なお、検出部１４５は、第２画像Ｄｂだけでなく、検出失敗の物体Ｗが全くない画像も記憶部１２に格納するようにしてもよい。

【0041】

ラベル付与部１４２は、第２画像Ｄｂにおいて、検出失敗の物体Ｗに所定情報を示すラベルをユーザの入力操作に応じて付与する一方、検出成功の物体Ｗの所定情報を示すラベルは検出モデルによる検出結果をもって代用する。検出成功の物体Ｗについては、物体Ｗの位置および色が適切に検出されている。そのため、その成功の検出結果をラベルとして利用することで、ユーザの入力操作に応じてラベルを付与する処理が省略される。つまり、第２画像Ｄｂに対するラベルの付与処理は、第２画像Ｄｂに写っている全ての物体Ｗに関してではなく、検出失敗の物体Ｗに関してのみ行われる。この例では、検出失敗の物体Ｗは、未検出の物体Ｗまたは誤検出の物体Ｗである。

【0042】

生成部１４３は、第２画像Ｄｂと、検出失敗の物体Ｗに付されたラベルおよび検出成功の物体Ｗの検出結果との組を教師データとして生成する。こうして、生成部１４４は、学習済みの検出モデルに再学習させる教師データを生成する。

【0043】

より詳しくは、ラベル付与部１４２は、表示部１３に表示されている第１画像Ｄａおよび第２画像Ｄｂに含まれる物体Ｗにその所定情報を示すマークがユーザの入力操作によって付されることで、ラベルを付与する。なお、第２画像Ｄｂに関しては、第２画像Ｄｂに含まれる検出失敗の物体Ｗにユーザの入力操作によってマークが付される。具体的に、ラベル付与部１４２は、ユーザの入力操作に応じて物体Ｗにマークを付すことで、マークの位置を物体Ｗの位置として付与する。マークの位置は、ロボットアーム４２が、物体Ｗに対してマークの位置に基づいて所定の処理を行う位置として設定される。具体的に、マークの位置は、ロボットアーム４２が、物体Ｗに対して把持する位置として設定される。つまり、この例では、ロボットアーム４２が物体Ｗに対して行う所定の処理は、物体Ｗを把持する処理である。また、ラベル付与部１４２は、物体Ｗの属性情報に応じて区別された色のマークを物体Ｗに付すことで、物体Ｗの属性情報を付与する。この例では、ラベル付与部１４２は、瓶の色に応じて区別された色のマークを瓶に付すことで、瓶の色情報を付与する。

【0044】

さらに、表示制御部１４１は、第２画像Ｄｂを表示部１３に表示させる際、第２画像Ｄｂに含まれる検出成功の物体Ｗに検出モデルによる検出結果を示すマークを付す。つまり、表示制御部１４１は、ラベル付与部１４２によるラベルの付与処理と同様のマーク、即ち、第２画像Ｄｂにおける検出成功の物体Ｗの所定情報を示すマークを付す。そのため、第２画像Ｄｂに紐づけられた検出モデルによる検出結果をもって、ラベルの付与処理を代用することができる。

【0045】

次に、制御装置１における処理の概略について説明する。制御装置１では、生成部１４３が、第１画像Ｄａにラベルを付与して、学習前の検出モデルに学習させるための教師データを生成する。以下、この教師データの生成処理を第１の生成処理と称する。続いて、学習部１４４は、第１の生成処理で生成した教師データを用いて機械学習させた検出モデルを生成する。次に、検出部１４５は、撮像装置２から出力された画像に対して検出モデルを用いて検出処理を行い、その検出処理を行った第２画像Ｄｂを検出モデルの検出結果と紐づけて記憶部１２に格納する。生成部１４３は、第２画像Ｄｂにラベルを付与して、学習済みの検出モデルに再学習させるための、学習済みの検出モデルを更新するための教師データを生成する。以下、この教師データの生成処理を第２の生成処理と称する。学習部１４４は、第２の生成処理で生成された教師データを用いて検出モデルを更新する。

【0046】

次に、前述した教師データの第１の生成処理および第２の生成処理の詳細について、図５を参照しながら説明する。図５は、教師データ生成装置の生成処理を示すフローチャートである。このフローチャートは、第１の生成処理および第２の生成処理について共通である。

【0047】

図６は、表示部１３において第１画像Ｄａが選択された状態の一例を示す図である。まず、ステップＳ１において、第１画像Ｄａが取得される。具体的に、表示制御部１４１は、記憶部１２から第１画像Ｄａを読み出す。このとき、読み出す第１画像Ｄａの枚数を設定し得る。図６に示すように、表示制御部１４１にって取得された複数枚の第１画像Ｄａは、表示部１３にサムネイル一覧１３１として表示される。なお、この生成処理では、表示制御部１４１が、表示部１３にＧＵＩ画面を表示させる。

【0048】

続くステップＳ２では、サムネイル一覧１３１から第１画像Ｄａが選択される。具体的には、ユーザは、ラベルを付与する対象の第１画像Ｄａをサムネイル一覧１３１から選択する。より詳しくは、ユーザは、マウスのポインタＰで対象の第１画像Ｄａを選択する。この例では、画像リストの最上位の第１画像ＤａがポインタＰで選択される（図６参照）。表示制御部１４１、ユーザによって選択された第１画像Ｄａを、表示部１３の中央に拡大表示させる。なお、図６以降の図では、ハッチングを付した瓶が茶色の瓶または割れ片を示す。

【0049】

図７は、表示部１３において第１画像Ｄａの物体Ｗにマークを付す様子の一例を示す図である。続くステップＳ３では、ラベル付与部１４２が、拡大表示された第１画像Ｄａに対してラベルを付与する。図７に示すように、ユーザは、第１画像Ｄａにおける物体Ｗ（瓶）の一つ一つにポインタＰで指定する入力操作を行うことで、物体Ｗにラベルが付与される。より具体的には、ユーザがポインタＰで物体Ｗにおける所定の位置を指定すると、その指定した位置にマークＭが付与される。所定の位置は、ロボットアーム４２が把持し易いと思われる位置を目視で指定する。これにより、第１画像Ｄａに対して、物体Ｗの位置を示すラベルが付与される。

【0050】

また、マークＭは、物体Ｗの色に応じて色分けされている。この例では、表示部１３におけるクラス指定部１３２に示すように、茶色の瓶か透明な瓶かでマークＭが色分けされている。さらに、この例では、物体Ｗの状態によっても、マークＭが色分けされている。つまり、瓶の割れ片か否かに応じてマークＭが色分けされている。マークＭの色の指定は、ユーザが、クラス指定部１３２においてポインタＰで色および状態（即ち、割れ片か否か）を指定することで行われる。こうして、物体Ｗに付したマークＭの色を指定することにより、第１画像Ｄａに対して、物体Ｗの色および状態を示すラベルが付与される。なお、図７以降の図では、説明の便宜上、物体Ｗの色および状態に応じてマークＭの形状を変えている。

【0051】

こうして、物体ＷにマークＭを付すと、その物体Ｗの位置情報およびクラス情報（即ち、色および状態）が、表示部１３における左側に、ラベル付与一覧１３６として表示される。ラベル付与一覧１３６では、マークＭが付されたそれぞれの物体Ｗの位置情報１３７およびクラス情報１３８が表示される。図８は、表示部１３において第１画像Ｄａの全ての物体Ｗにマークが付与された状態の一例を示す図である。図８に示すように、第１画像Ｄａにおいて全ての物体ＷにマークＭを付与すると、この第１画像Ｄａに対するラベルの付与は終了する。つまり、ユーザは、表示部１３における保存ボタン１３９をポインタＰで押す。これにより、第１画像Ｄａにおける全ての物体Ｗの位置情報およびクラス情報が確定する。

【0052】

ステップＳ４では、教師データが生成される。つまり、生成部１４３が、第１画像Ｄａと第１画像Ｄａに付与されたラベルとの組を教師データとして生成する。例えば、第１画像Ｄａに複数の物体Ｗが含まれる場合には、１つの第１画像Ｄａと複数のラベとの組が教師データとして生成される。続くステップＳ５では、生成部１４３は、生成した教師データを、記憶部１２に格納する。以上により、教師データの第１の生成処理が終了する。以上のステップＳ１からステップＳ５の処理が、サムネイル一覧１３１の第１画像Ｄａごとに行われる。

【0053】

学習部１４４は、こうして生成された教師データを用いて学習済みの検出モデルを生成する。そして、例えばロボットシステム１００が稼働されると、検出部１４５は、学習済みの検出モデルを用いて、撮像装置２によって撮影された画像について検出処理を行っていく。その際、第２画像Ｄｂが、検出モデルによる検出結果と紐づけられて記憶部１２に蓄積されていく。

【0054】

次に、第２の生成処理について、同じく図５のフローチャートに基づいて説明する。図９～図１５は、表示部１３における第２画像Ｄｂの一例を示す図である。なお、図９～図１５では、表示部１３のＧＵＩ画面に表示された第２画像Ｄｂのみを示している。

【0055】

まず、ステップＳ１において、表示制御部１４１が、第２画像Ｄｂを取得する。具体的に、表示制御部１４１は、記憶部１２から第２画像Ｄｂを読み出す。このとき、読み出す第２画像Ｄｂの枚数を設定し得る。取得された複数枚の第２画像Ｄｂは、第１画像Ｄａと同様、表示部１３にサムネイル一覧１３１として表示される。この第２の生成処理においても、第１の生成処理と同様、表示部１３にはＧＵＩ画面が表示されている。

【0056】

続くステップＳ２では、第２画像Ｄｂが拡大表示される。具体的には、ユーザは、対象の第２画像Ｄｂをサムネイル一覧１３１から選択する。表示制御部１４１は、選択された第２画像Ｄｂを、表示部１３の中央に拡大表示させる。その際、表示制御部１４１は、選択された第２画像Ｄｂと紐づけられている検出モデルによる検出結果を示すマークＭを第２画像Ｄｂにおける検出成功の物体Ｗに付す。

【0057】

続くステップＳ３では、ラベルが付与され得る。例えば、ステップＳ２で選択された第２画像Ｄｂが図９に示す画像である場合について説明する。この図９の第２画像Ｄｂは、検出部１４５による検出処理によって検出されなかった未検出の物体Ｗａ（即ち、検出失敗の物体Ｗ）が存在する画像である。なお、誤検出の物体は存在しないとする。つまり、検出された物体Ｗ（即ち、検出成功の物体Ｗ）には表示制御部１４１によってマークＭが付されており、未検出の物体ＷａにはマークＭが付されていない。

【0058】

この図９の第２画像Ｄｂの場合、図１０に示すように、ユーザは、未検出の物体Ｗａに対してのみ、マークＭを付することでラベルを付与する。その際、前述の生成動作におけるラベル付与と同様、物体Ｗａにおける所定の位置にマークＭを付し、物体Ｗａの色および状態に応じてマークＭの色を指定する。このように、検出された物体Ｗに関しては、その物体Ｗに付されたマークＭ（即ち、検出結果）を利用することで、ラベルの付与処理が省略される。そのため、ラベルの付与処理の時間が短縮される。こうして、図１１に示すように、全ての未検出の物体Ｗａに対してラベルの付与処理が完了すると、ステップＳ３は終了する。なお、未検出の物体Ｗａの属性が新規の属性である場合、ユーザは、表示部１３に表示されているクラス追加ボタン１３３をポインタＰで押して、クラス指定部１３２において新規の属性情報を追加する。

【0059】

また、ステップＳ２で選択された第２画像Ｄｂが図１２に示す画像である場合について説明する。この図１２の第２画像Ｄｂは、検出部１４５による検出処理によって誤検出された物体Ｗｂ（即ち、検出失敗の物体Ｗ）が存在する画像である。なお、未検出の物体は存在しないとする。

【0060】

この例では、物体Ｗｂのクラス情報（詳しくは、色情報）が誤検出されている。この場合、ユーザは、誤検出の物体Ｗｂに付されている誤ったマークＭをポインタＰで指定し、表示部１３に表示されているクラス変更ボタン１３５を押す。ユーザは、クラス変更ボタン１３５を押した後、クラス指定部１３２で正しい色を指定することで、誤ったマークＭの色が変更される（図１３参照）。こうして、ステップＳ３は終了する。この場合も、検出された物体Ｗ（即ち、検出成功の物体Ｗ）に関しては、その物体Ｗに付されたマークＭ（即ち、検出結果）を利用することで、ラベルの付与処理が省略される。

【0061】

また、ステップＳ２で選択された第２画像Ｄｂが図１４に示す画像である場合について説明する。この図１４の第２画像Ｄｂは、検出部１４５による検出処理によって誤検出された物体Ｗｃ（即ち、検出失敗の物体Ｗ）が存在する画像である。なお、未検出の物体は存在しないとする。

【0062】

この例では、物体Ｗｃの位置情報が誤検出されている。つまり、物体Ｗｃに付されているマークＭの位置が所定の位置から大きくずれている。この場合、ユーザは、誤検出の物体Ｗｃに付されているマークＭをポインタＰで指定して所定の位置まで移動させる（図１５参照）。これにより、誤検出の物体Ｗｃに付されたマークＭが正しい位置に変更され、ステップＳ３は終了する。この場合も、検出された物体Ｗ（即ち、検出成功の物体Ｗ）に関しては、その物体Ｗに付されたマークＭ（即ち、検出結果）を利用することで、ラベルの付与処理が省略される。

【0063】

また、ステップＳ２で選択された第２画像Ｄｂが図１６に示す画像である場合について説明する。この図１６の第２画像Ｄｂは、検出部１４５による検出処理によってマークＭａが物体Ｗの存在しない位置に付されている画像である。

【0064】

この例では、マークＭａがバケットＢの壁に付されている。この場合、ユーザは、マークＭａをポインタＰで指定して、表示部１３における削除ボタン１３４を押す。これにより、マークＭａは第２画像Ｄｂから削除され、ステップＳ３は終了する。この場合も、検出された物体Ｗ（即ち、検出成功の物体Ｗ）に関しては、その物体Ｗに付されたマークＭ（即ち、検出結果）を利用することで、ラベルの付与処理が省略される。

【0065】

このようにしてステップＳ３が終了すると、ステップＳ４へ移行する。ステップＳ４では、教師データが生成される。つまり、生成部１４３が、第２画像Ｄｂと、検出失敗の物体Ｗに付与されたラベルおよび検出成功の物体Ｗの検出結果との組を教師データとして生成する。第２画像Ｄｂに基づいて教師データを生成する際は、前述したように第２画像Ｄｂに対するラベルの付与処理の時間が短縮されるので、教師データの生成に要する時間が短縮される。続くステップＳ５において、生成部１４３は、生成した教師データを記憶部１２に格納する。以上により、第２の生成処理が終了する。以上のステップＳ１からステップＳ５の処理が、サムネイル一覧１３１の第２画像Ｄｂごとに行われる。

【0066】

以上のように、制御装置１は、画像に含まれる物体Ｗおよび物体Ｗの所定情報を検出する学習済みの検出モデルに再学習させる教師データを生成する。制御装置１（教師データ生成装置）は、画像に含まれる物体Ｗに対して、所定情報を示すラベルをユーザの入力操作に応じて付与するラベル付与部１４２と、画像と画像に付与されたラベルとの組を教師データとして生成する生成部１４３と、検出モデルによる検出が行われた画像であって少なくとも１つの物体Ｗについて検出が失敗した第２画像Ｄｂを、検出モデルによる検出結果と紐づけて記憶する記憶部１２とを備えている。そして、ラベル付与部１４２は、記憶部１２の第２画像Ｄｂにおいて、検出失敗の物体Ｗに所定情報を示すラベルをユーザの入力操作に応じて付与する一方、検出成功の物体Ｗの所定情報を示すラベルは検出モデルによる検出結果をもって代用する。生成部１４３は、記憶部１２の第２画像Ｄｂと、検出失敗の物体Ｗに付されたラベルおよび検出成功の物体Ｗの検出結果との組を教師データとして生成する。

【0067】

また、生成プログラムＰＧ（教師データ生成プログラム）は、画像に含まれる物体Ｗおよび物体Ｗの所定情報を検出する学習済みの検出モデルに再学習させる教師データを生成する機能をコンピュータに実現させる。生成プログラムＰＧは、画像に含まれる物体Ｗに対して、所定情報を示すラベルをユーザの入力操作に応じて付与する機能と、画像と画像に付与されたラベルとの組を教師データとして生成する機能と、検出モデルによる検出が行われた画像であって少なくとも１つの物体Ｗについて検出が失敗した第２画像Ｄｂを、検出モデルによる検出結果と紐づけて記憶する機能と、記憶されている第２画像Ｄｂにおいて、検出失敗の物体Ｗに所定情報を示すラベルをユーザの入力操作に応じて付与する一方、検出成功の物体Ｗの所定情報を示すラベルは検検出モデルによる検出結果をもって代用する機能と、第２画像Ｄｂと、検出失敗の物体Ｗに付されたラベルおよび検出成功の物体Ｗの検出結果との組を教師データとして生成する機能とをコンピュータに実現させる。

【0068】

これらの構成によれば、検出成功の物体Ｗについては、所定情報が適切に検出されている。そのため、その成功の検出結果を利用することで、ラベルの付与処理が代用される。つまり、第２画像Ｄｂに対するラベルの付与処理は、全ての物体Ｗに関してではなく、検出失敗の物体Ｗに関してのみ行われる。これにより、検出失敗の物体Ｗに対するラベルの付与処理が省略されるので、第２画像Ｄｂに対するラベルの付与処理が軽減される。そのため、第２画像Ｄｂに対するラベルの付与処理の時間を短縮することができる。そして、生成部１４３は、第２画像Ｄｂと、検出失敗の物体Ｗに付与されたラベルおよび検出成功の物体Ｗの検出結果との組を教師データとして生成する。このように、第２画像Ｄｂに基づいて教師データを生成する際は、第２画像Ｄｂに対するラベルの付与処理の時間が短縮される。したがって、学習済みの検出モデルに再学習させる教師データの生成に要する時間を短縮することができる。

【0069】

また、制御装置１は、第２画像Ｄｂを表示する表示部１３をさらに備えている。ラベル付与部１４２は、表示部１３に表示された第２画像Ｄｂに含まれる検出失敗の物体Ｗに所定情報を示すマークがユーザの入力操作によって付されることで、ラベルを付与する。

【0070】

この構成によれば、表示部１３表示されている第２画像Ｄｂの物体ＷにマークＭを付すことでラベルが付与されるので、視認しながらラベルの付与処理を行うことができる。また、マークＭの形状や色を変えることで、物体Ｗに応じたラベルの識別が容易となる。これらのことから、ラベルの付与処理の容易性が向上する。

【0071】

また、制御装置１は、記憶部１２の第２画像Ｄｂを表示部１３に表示させる表示制御部１４１をさらに備えている。表示制御部１４１は、記憶部１２の第２画像Ｄｂを表示部１３に表示させる際、記憶部１２の第２画像Ｄｂに含まれる検出成功の物体Ｗに検出結果を示すマークを付す。

【0072】

この構成によれば、第２画像Ｄｂにおける検出成功の物体Ｗには、検出結果を示すマークＭが付されるので、検出結果を一層利用し易くなる。そのため、ラベルの付与処理を容易に検出結果で代用することができ、容易にラベルの付与処理を省略することができる。

【0073】

また、制御装置１において、物体Ｗの所定情報は、物体Ｗの位置情報である。ラベル付与部１４２は、ユーザの入力操作によって物体Ｗに付されたマークＭの位置を物体の位置情報としてラベルを付与する。

【0074】

この構成によれば、表示されている物体Ｗに付したマークＭを付すことで物体Ｗの位置情報を示すラベルが付与されるので、ラベルの付与処理が容易になる。

【0075】

また、マークＭの位置は、ロボットアーム４２が、物体Ｗに対してマークＭの位置に基づいて所定の処理を行う位置として設定される。

【0076】

この構成によれば、マークＭの位置からロボットアーム４２による処理に関する位置を容易に把握することができる。そのため、物体Ｗに対するロボットアーム４２の処理動作の制御が容易になる。

【0077】

また、マークＭの位置は、ロボットアーム４２が、物体Ｗに対して把持する位置として設定される。

【0078】

この構成によれば、マークＭの位置からロボットアーム４２による把持位置を容易に把握することができる。そのため、物体Ｗに対するロボットアーム４２の把持動作の制御が容易になる。

【0079】

また、制御装置１において、物体Ｗの所定情報は、物体Ｗの属性情報である。ラベル付与部１４２は、物体Ｗの属性情報に応じて区別された色のマークＭを物体Ｗに付すことで、物体Ｗの属性情報を付与する。

【0080】

この構成によれば、物体Ｗの属性情報に応じてマークＭに色が区別されるので、物体Ｗごとの属性情報に対する視認性が高まる。そのため、ラベルの付与処理の容易性が向上する。

【0081】

また、制御装置１において、検出失敗の物体Ｗは、未検出の物体Ｗまたは誤検出の物体Ｗである。

【0082】

この構成によれば、未検出や誤検出は検出失敗の典型的な形態であるため、第２画像Ｄｂに対するラベルの付与処理を効果的に軽減することができる。

【0083】

《その他の実施形態》
以上のように、本出願において開示する技術の例示として、前記実施形態を説明した。しかしながら、本開示における技術は、これに限定されず、適宜、変更、置き換え、付加、省略などを行った実施の形態にも適用可能である。また、前記実施形態で説明した各構成要素を組み合わせて、新たな実施の形態とすることも可能である。また、添付図面および詳細な説明に記載された構成要素の中には、課題解決のために必須な構成要素だけでなく、前記技術を例示するために、課題解決のためには必須でない構成要素も含まれ得る。そのため、それらの必須ではない構成要素が添付図面や詳細な説明に記載されていることをもって、直ちに、それらの必須ではない構成要素が必須であるとの認定をするべきではない。

【0084】

例えば、物体Ｗの属性に応じてマークＭの色を変えるようにしたが、色に代えてマークＭの形状を変えるようにしてもよい。

【0085】

また、検出失敗の物体Ｗは、未検出の物体Ｗのみを対象としてもよいし、誤検出の物体Ｗのみを対象としてもよい。

【0086】

また、物体Ｗの所定情報は、物体Ｗの位置情報および属性情報の何れか一方であってもよい。また、物体Ｗの属性情報は、物体Ｗの色に限らず、物体Ｗの形状や大きさであってもよい。

【0087】

また、前記実施形態の制御装置１（即ち、教師データ生成装置）は、教師データを生成する機能だけでなく、学習部１４４による学習機能および検出部１４５による検出機能も備えるようにしたが、ここに開示された技術は、これに限らず、学習部１４４および検出部１４５の少なくとも一方を単独で設けるようにしてもよい。つまり、教師データ生成装置は、学習部１４４および検出部１４５の両方を省略した装置であってもよいし、学習部１４４または検出部１４５を省略した装置であってもよい。

【0088】

また、制御装置１は、教師データの生成処理のうち第１の生成処理を省略した装置、即ち、第２の生成処理のみを行う装置であってもよい。つまり、学習済みの検出モデルを外部から購入して搭載するような制御装置１であってもよい。

【0089】

また、ロボットアーム４２が物体Ｗに対して行う所定の処理は、物体Ｗを把持する以外に、物体Ｗに対する塗装や溶接、ネジ締め等であってもよい。

【0090】

本明細書で開示する要素の機能は、開示された機能を実行するよう構成またはプログラムされた汎用プロセッサ、専用プロセッサ、集積回路、ＡＳＩＣ（Application Specific Integrated Circuits）、従来の回路、および/または、それらの組み合わせ、を含む回路または処理回路を使用して実行できる。プロセッサは、トランジスタやその他の回路を含むため、処理回路または回路と見なされる。本開示において、回路、ユニット、または手段は、列挙された機能を実行するハードウェアであるか、または、列挙された機能を実行するようにプログラムされたハードウェアである。ハードウェアは、本明細書に開示されているハードウェアであってもよいし、あるいは、列挙された機能を実行するようにプログラムまたは構成されているその他の既知のハードウェアであってもよい。ハードウェアが回路の一種と考えられるプロセッサである場合、回路、手段、またはユニットはハードウェアとソフトウェアの組み合わせであり、ソフトウェアはハードウェアおよび/またはプロセッサの構成に使用される。

【符号の説明】

【0091】

１ 制御装置（教師データ生成装置）
１２ 記憶部
１３ 表示部
４２ ロボットアーム
１４１ 表示制御部
１４２ ラベル付与部
１４３ 生成部
Ｄａ 第１画像
Ｄｂ 第２画像
ＰＧ 生成プログラム（教師データ生成プログラム）
Ｗ 物体
Ｍ マーク

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】