IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 株式会社豊田中央研究所の特許一覧 ▶ 豊田通商株式会社の特許一覧

特開2022-137611教師データ生成装置、教師データ生成方法、およびコンピュータプログラム
<>
  • 特開-教師データ生成装置、教師データ生成方法、およびコンピュータプログラム 図1
  • 特開-教師データ生成装置、教師データ生成方法、およびコンピュータプログラム 図2
  • 特開-教師データ生成装置、教師データ生成方法、およびコンピュータプログラム 図3
  • 特開-教師データ生成装置、教師データ生成方法、およびコンピュータプログラム 図4
  • 特開-教師データ生成装置、教師データ生成方法、およびコンピュータプログラム 図5
  • 特開-教師データ生成装置、教師データ生成方法、およびコンピュータプログラム 図6
  • 特開-教師データ生成装置、教師データ生成方法、およびコンピュータプログラム 図7
  • 特開-教師データ生成装置、教師データ生成方法、およびコンピュータプログラム 図8
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2022137611
(43)【公開日】2022-09-22
(54)【発明の名称】教師データ生成装置、教師データ生成方法、およびコンピュータプログラム
(51)【国際特許分類】
   G06T 7/00 20170101AFI20220914BHJP
【FI】
G06T7/00 350B
【審査請求】未請求
【請求項の数】15
【出願形態】OL
(21)【出願番号】P 2021037169
(22)【出願日】2021-03-09
(71)【出願人】
【識別番号】000003609
【氏名又は名称】株式会社豊田中央研究所
(71)【出願人】
【識別番号】000241485
【氏名又は名称】豊田通商株式会社
(74)【代理人】
【識別番号】100160691
【弁理士】
【氏名又は名称】田邊 淳也
(74)【代理人】
【識別番号】100157277
【弁理士】
【氏名又は名称】板倉 幸恵
(74)【代理人】
【識別番号】100182718
【弁理士】
【氏名又は名称】木崎 誠司
(72)【発明者】
【氏名】佐藤 勇気
(72)【発明者】
【氏名】北山 功志郎
(72)【発明者】
【氏名】森 広行
(72)【発明者】
【氏名】八百川 盾
(72)【発明者】
【氏名】伊東 享祐
【テーマコード(参考)】
5L096
【Fターム(参考)】
5L096CA02
5L096CA27
5L096FA18
5L096KA04
5L096MA03
(57)【要約】
【課題】機械学習時の自動化を実現することにより、機械学習から対象物の自動選別までの処理における省人化、高精度化、および処理量向上を実現する。
【解決手段】教師データ生成装置であって、選別対象である対象物の画像を取得する撮影部と、撮影部により取得された画像を用いて、対象物の位置情報を取得する位置取得部と、対象物の位置情報を用いて対象物の材質を測定することにより、対象物の材質情報を取得する材質取得部と、対象物の画像と、位置情報と、材質情報と、を対応付けた教師データを生成する教師データを生成する教師データ生成部と、を備える。
【選択図】図1
【特許請求の範囲】
【請求項1】
教師データ生成装置であって、
選別対象である対象物の画像を取得する撮影部と、
前記撮影部により取得された画像を用いて、前記対象物の位置情報を取得する位置取得部と、
前記対象物の位置情報を用いて前記対象物の材質を測定することにより、前記対象物の材質情報を取得する材質取得部と、
前記対象物の画像と、前記位置情報と、前記材質情報と、を対応付けた教師データを生成する教師データを生成する教師データ生成部と、
を備える、教師データ生成装置。
【請求項2】
請求項1に記載の教師データ生成装置であって、さらに、
前記教師データ生成部によって生成された前記教師データを用いて1つ以上の拡張教師データを生成する教師データ拡張部を備え、
前記教師データ拡張部は、元となる前記教師データに含まれる前記対象物の画像に対して画像処理を施し、前記画像処理後の前記対象物の画像と、元となる前記教師データに含まれる前記位置情報及び前記材質情報と、を対応付けて前記拡張教師データを生成する、教師データ生成装置。
【請求項3】
請求項2に記載の教師データ生成装置であって、
前記教師データ拡張部は、前記画像処理として、
元となる前記教師データを複数選択し、
選択された前記教師データに含まれる前記対象物の画像に対して、それぞれ、前記対象物を含む所定領域を切り取ったトリミング画像を生成し、前記トリミング画像をランダムな角度で回転させ、1枚の背景画像に対してランダムに決定した位置に重畳なく張り付けた合成画像を生成する処理を行う、教師データ生成装置。
【請求項4】
請求項2または請求項3に記載の教師データ生成装置であって、
前記教師データ拡張部は、生成した全ての前記拡張教師データに対応付けられている前記対象物の数が、前記対象物の材質の種類毎に同程度の数になるように前記拡張教師データを生成する、教師データ生成装置。
【請求項5】
請求項1から請求項4までのいずれか一項に記載の教師データ生成装置であって、さらに、
前記対象物を搬送する搬送部を備える、教師データ生成装置。
【請求項6】
請求項5に記載の教師データ生成装置であって、
前記搬送部は、前記撮影部により取得された1つの画像に1つの前記対象物が含まれるように、複数の前記判別対象を搬送方向に沿って一列に並べて搬送する、教師データ生成装置。
【請求項7】
請求項6に記載の教師データ生成装置であって、
前記教師データ生成部は、1つの前記対象物についての前記対象物の画像と、前記位置情報と、前記材質情報と、を対応付けた前記教師データを生成する、教師データ生成装置。
【請求項8】
請求項1から請求項7までのいずれか一項に記載の教師データ生成装置であって、
前記材質取得部は、レーザ誘起ブレークダウン分光計である、教師データ生成装置。
【請求項9】
請求項8に記載の教師データ生成装置であって、
前記位置取得部は、前記位置情報として、前記搬送部の搬送速度と、前記搬送部により搬送される前記対象物の高さ情報とを取得し、
前記材質取得部は、前記位置情報を用いて、前記レーザ誘起ブレークダウン分光計の焦点を自動調節する、教師データ生成装置。
【請求項10】
請求項1から請求項9までのいずれか一項に記載の教師データ生成装置であって、
前記対象物は、廃棄物としての金属製のスクラップ屑である、教師データ生成装置。
【請求項11】
請求項10に記載の教師データ生成装置であって、
前記撮影部は、前記スクラップ屑が10ピクセル×10ピクセル以上の範囲に写る解像度で撮影する、教師データ生成装置。
【請求項12】
請求項1から請求項11までのいずれか一項に記載の教師データ生成装置であって、
前記位置取得部は、前記撮影部より取得された画像を画像認識することにより、画像に写っている前記対象物の位置を特定する、教師データ生成装置。
【請求項13】
請求項1から請求項12までのいずれか一項に記載の教師データ生成装置であって、
前記教師データ生成部は、
前記材質取得部により取得された前記材質情報が、予め設定された材質基準を満たす場合には、前記材質基準を満たす前記対象物を用いて前記教師データを生成し、
前記材質情報が前記材質基準を満たさない場合には、前記材質基準を満たさない前記対象物を対応付けた前記教師データを生成しない、教師データ生成装置。
【請求項14】
教師データ生成方法であって、
選別対象である対象物の画像を取得する撮影工程と、
取得された画像を用いて、前記対象物の位置情報を取得する位置取得工程と、
前記対象物の位置情報を用いて前記対象物の材質を測定することにより、前記対象物の材質情報を取得する材質取得工程と、
前記対象物の画像と、前記位置情報と、前記材質情報と、を対応付けた教師データを生成する教師データを生成する教師データ生成工程と、
を備える、教師データ生成方法。
【請求項15】
コンピュータに、教師データ生成を実現させるコンピュータプログラムであって、
選別対象である対象物の画像を取得する撮影機能と、
取得された画像を用いて、前記対象物の位置情報を取得する位置取得機能と、
前記対象物の位置情報を用いて前記対象物の材質を測定することにより、前記対象物の材質情報を取得する材質取得機能と、
前記対象物の画像と、前記位置情報と、前記材質情報と、を対応付けた教師データを生成する教師データを生成する教師データ生成機能と、
を実現させる、コンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、教師データ生成装置、教師データ生成方法、およびコンピュータプログラムに関する。
【背景技術】
【0002】
スクラップ屑からアルミ合金等の金属をリサイクルするために、これらの金属を選別する技術が知られている(例えば、特許文献1参照)。特許文献1に記載された技術は、スクラップ屑にレーザ光を照射し、レーザ光の反射率データを用いて有価物を選別している。
【0003】
一方、機械学習により、対象物の位置および姿勢を検出する技術が知られている。さらに、教師あり学習の機械学習を行うために用いられる教師データを生成する学習用データ生成装置が知られている(例えば、特許文献2参照)。特許文献2に記載された装置は、取得した背景画像に写る対象物のCG(computer graphics)を作成する。この装置は、作成されたCGを背景画像に配置してレンダリングを実行し、合成されたレンダリング画像を作成する。この装置は、レンダリング画像と、対象物の位置と姿勢とを紐付けた教師データを生成する。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特許6635423号公報
【特許文献2】特許6675691号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
従来、ライン上を流れるスクラップ屑を作業者の目視で選別する場合には、外観が似ているスクラップ屑を選別するために、数ヶ月程度の訓練を積む必要があり、人件費が高額になるおそれがある。また、訓練を積んだ作業者であっても、選別ミスをするおそれがある。このような課題を解決するために、スクラップ屑から特定の金属等を選別するシステムにおける省人化が望まれている(例えば、特許文献1)。しかしながら、特許文献1に記載された技術では、選別対象となる全てのスクラップ屑にレーザ光を照射する必要があるため、選別の処理に時間を要する。また、レーザ光の発光スペクトルの情報のみで選別が行われるため、レーザ光の焦点調整の誤差や対象物の汚れの影響で発光スペクトルが適切に取得できなかった場合に、選別ミスが生じるおそれがある。
【0006】
また、選別システムの省人化のために、特許文献2に記載された機械学習により作成された学習モデルを用いて自動選別が行われる場合がある。自動選別では、機械が自動で選別を行うため、選別処理の省人化と選別の精度向上が期待できる。一方で、対象物1つ1つに対して、リサイクル可能か否かを判断するための材質の分析が行われると、分析に時間を要して選別処理量の向上が期待できないおそれがある。すなわち、自動選別技術の導入により省人化と高精度化は期待できるが、選別処理量の向上が課題となる。そのため、省人化と高精度化を両立した上で、選別処理量を向上させるために、機械学習時に膨大な教師データが準備されることが好ましい。しかしながら、学習モデルを作成するための教師データを人手で用いて生成する場合、自動選別による省人化を実現できても、その前段階の機械学習時に多くの人手が必要になってしまう。
【0007】
本発明は、上述した課題を解決するためになされたものであり、機械学習時の自動化を実現することにより、機械学習から対象物の自動選別までの処理における省人化、高精度化、および処理量向上を実現することを目的とする。
【課題を解決するための手段】
【0008】
本発明は、上述の課題の少なくとも1つを解決するためになされたものであり、以下の形態として実現できる。
【0009】
(1)本発明の一形態によれば、教師データ生成装置が提供される。この教師データ生成装置は、選別対象である対象物の画像を取得する撮影部と、前記撮影部により取得された画像を用いて、前記対象物の位置情報を取得する位置取得部と、前記対象物の位置情報を用いて前記対象物の材質を測定することにより、前記対象物の材質情報を取得する材質取得部と、前記対象物の画像と、前記位置情報と、前記材質情報と、を対応付けた教師データを生成する教師データを生成する教師データ生成部と、を備える。
【0010】
本構成によれば、教師データ生成部は、撮影部と位置取得部と材質取得部とにより自動的に取得された、対象物の画像、位置情報、及び材質情報を対応付けた教師データを生成する。学習モデルの作成に用いられる教師データは膨大な数が必要となるため、本構成のように教師データの生成を自動化することにより、学習モデルの作成(学習工程)に要する時間を低減できる。さらに、学習モデルを用いた自動選別が行われることにより、作業者による選別よりも高精度な選別を実現でき、選別の高速化を実現できる。すなわち、本構成の教師データ生成装置によれば、機械学習から対象物の自動選別までの処理における省人化、高精度化、および処理量向上を実現できる。
【0011】
(2)上記態様の教師データ生成装置において、さらに、前記教師データ生成部によって生成された前記教師データを用いて1つ以上の拡張教師データを生成する教師データ拡張部を備え、前記教師データ拡張部は、元となる前記教師データに含まれる前記対象物の画像に対して画像処理を施し、前記画像処理後の前記対象物の画像と、元となる前記教師データに含まれる前記位置情報及び前記材質情報と、を対応付けて前記拡張教師データを生成してもよい。
この構成によれば、教師データ拡張部は、元の教師データを画像処理して拡張教師データを生成するため、簡単に、教師データに変化を持たせた拡張教師データを生成できると共に、数多くの拡張教師データを手間なく生成できる。これにより、教師データより多くの拡張教師データを用いて学習モデルが作成されるため、学習モデルを用いた自動選別での対象物の検出率を向上させることができる。
【0012】
(3)上記態様の教師データ生成装置において、前記教師データ拡張部は、前記画像処理として、元となる前記教師データを複数選択し、選択された前記教師データに含まれる前記対象物の画像に対して、それぞれ、前記対象物を含む所定領域を切り取ったトリミング画像を生成し、前記トリミング画像をランダムな角度で回転させ、1枚の背景画像に対してランダムに決定した位置に重畳なく張り付けた合成画像を生成する処理を行ってもよい。
この構成によれば、教師データ拡張部により生成される拡張教師データは、元となる複数の教師データを含んでいるため、教師データの数よりも多い。そのため、本構成の拡張教師データを用いて作成された学習モデルは、複数の選別対象がバラバラに搬送された状態で自動選別する際に、教師データを用いて作成された学習モデルと比べて、処理量向上を実現できる。
【0013】
(4)上記態様の教師データ生成装置において、前記教師データ拡張部は、生成した全ての前記拡張教師データに対応付けられている前記対象物の数が、前記対象物の材質の種類毎に同程度の数になるように前記拡張教師データを生成してもよい。
この構成によれば、教師データとして特定の材質情報を有する対象物のデータ数が少なくても、全ての拡張教師データに含まれる元の教師データが含む材質情報の偏りが低減される。この結果、拡張教師データを用いて作成した学習モデルによる対象物の自動選別において、選別対象の検出率を向上させることができる。
【0014】
(5)上記態様の教師データ生成装置において、さらに、前記対象物を搬送する搬送部を備えていてもよい。
この構成によれば、撮影部および位置取得部の位置を固定した状態で、対象物の位置情報と材質情報とが自動的に取得される。
【0015】
(6)上記態様の教師データ生成装置において、前記搬送部は、前記撮影部により取得された1つの画像に1つの前記対象物が含まれるように、複数の前記判別対象を搬送方向に沿って一列に並べて搬送してもよい。
この構成によれば、教師データ生成部は、対象物の画像を対応付けた教師データを生成しやすい。
【0016】
(7)上記態様の教師データ生成装置において、前記教師データ生成部は、1つの前記対象物についての前記対象物の画像と、前記位置情報と、前記材質情報と、を対応付けた前記教師データを生成してもよい。
この構成によれば、複数の対象物が写り込んでいる画像が教師データ生成に用いられてないため、前記の対応付けが容易になる。
【0017】
(8)上記態様の教師データ生成装置において、前記材質取得部は、レーザ誘起ブレークダウン分光計であってもよい。
この構成によれば、対象物の材質の同定に要する時間を低減できる。
【0018】
(9)上記態様の教師データ生成装置において、前記位置取得部は、前記位置情報として、前記搬送部の搬送速度と、前記搬送部により搬送される前記対象物の高さ情報とを取得し、前記材質取得部は、前記位置情報を用いて、前記レーザ誘起ブレークダウン分光計の焦点を自動調節してもよい。
この構成によれば、搬送部により搬送される対象物の位置情報および材質情報の取得が自動化され、教師データ生成時の省人化を実現できる。
【0019】
(10)上記態様の教師データ生成装置において、前記対象物は、廃棄物としての金属製のスクラップ屑であってもよい。
廃棄物の形状は元の形状の特徴を引き継いでおり、かつ、廃棄物の元となる特定の部品は特定の材料で構成されているため、廃棄物の形状と材質とは相関関係を有することが多い。本構成では、対象物が予め何の廃棄物であるのかが認識されることにより、対象物の形状を表す画像と、対象物の材質情報とを対応付けた教師データが作成される。この結果、本構成の教師データ生成装置を用いることにより、教師データを用いた学習モデルが対象物の画像により対象物の材質情報を自動選別する際の選別処理量を向上させることができる。
【0020】
(11)上記態様の教師データ生成装置において、前記撮影部は、前記スクラップ屑が10ピクセル×10ピクセル以上の範囲に写る解像度で撮影してもよい。
この構成の撮影部は、所定の大きさ以上の対象物の画像を取得できるため、より高精度な学習モデルを作成するための教師データが教師データ生成部により作成される。
【0021】
(12)上記態様の教師データ生成装置において、前記位置取得部は、前記撮影部より取得された画像を画像認識することにより、画像に写っている前記対象物の位置を特定してもよい。
この構成によれば、画像中における対象物の位置が特定されることにより、教師データ生成部は、高精度の選別を行う学習モデルを作成するための教師データを生成できる。
【0022】
(13)上記態様の教師データ生成装置において、前記教師データ生成部は、前記材質取得部により取得された前記材質情報が、予め設定された材質基準を満たす場合には、前記材質基準を満たす前記対象物を用いて前記教師データを生成し、前記材質情報が前記材質基準を満たさない場合には、前記材質基準を満たさない前記対象物を対応付けた前記教師データを生成しなくてもよい。
この構成によれば、一定の材質基準により教師データの生成の有無が決定するため、材質情報として不明確な材質を対応付けた教師データの生成が行われない。すなわち、データ生成部24は、高精度の教師データを作成できる。
【0023】
なお、本発明は、種々の態様で実現することが可能であり、例えば、教師データ生成装置、学習装置、学習モデル生成装置、選別装置、およびこれらの装置を備えるシステム、教師データ生成システム、および教師データ生成方法、これら装置や方法を実行するためのコンピュータプログラム、このコンピュータプログラムを配布するためのサーバ装置、コンピュータプログラムを記憶した一時的でない記憶媒体等の形態で実現することができる。
【図面の簡単な説明】
【0024】
図1】本発明の実施形態としての学習モデル作成システムの概略図である。
図2】データ生成部により生成された教師データの説明図である。
図3】データ拡張部により生成された拡張データの説明図である。
図4】合成画像を含む1つの拡張データについての説明図である。
図5】拡張教師データ生成方法のフローチャートである。
図6】教師データおよび拡張教師データの数とスクラップ屑の未検出率との関係を示す表である。
図7】教師データおよび拡張教師データに含まれる材質の比率と未検出率との関係の表である。
図8】実施例と比較例とにおける教師データの生成時間の表である。
【発明を実施するための形態】
【0025】
<実施形態>
1.学習モデル作成システムの構成:
図1は、本発明の実施形態としての学習モデル作成システム100の概略図である。学習モデル作成システム(教師データ生成装置)100は、学習モデルを作成するために必要な教師データを生成し、生成した教師データを用いて自動選別に用いられる学習モデルを作成する。本実施形態の学習モデル作成システム100は、学習モデルを作成する際に用いられる教師データとして、対象物の画像と、対象物の材質情報と、対象物の位置情報とを対応付けたデータを生成する。これにより、学習モデル作成システム100は、教師データの作成から学習モデルを用いた対象物の自動選別までの処理における省人化等を実現する。
【0026】
図1に示されるように、学習モデル作成システム100は、選別対象となる複数の対象物OBを搬送するベルトコンベア(搬送部)10と、搬送される対象物OBのそれぞれの画像を取得する撮影部30と、ベルトコンベア10により搬送される対象物OBのそれぞれにレーザLSを照射して対象物OBの材質情報を取得する材質取得部40と、対象物OBの画像と対象物OBの材質情報とを用いて教師データおよび学習モデルを作成するモデル作成装置20と、を備えている。
【0027】
ベルトコンベア10は、図1に示される搬送方向に沿って対象物OBを、矢印で示される搬送方向に搬送するベルト11を備えている。本実施形態のベルトコンベア10は、撮影部30により取得された1つの画像に1つの対象物OBが含まれるように、複数の対象物OBを搬送方向に沿ってベルト11上に一列に並べて搬送する。本実施形態では、複数の対象物OBは、搬送方向に沿って一列に30cm間隔で搬送される。
【0028】
撮影部30は、ベルト11上を搬送される各対象物OBを撮影するステレオカメラである。撮影部30は、対象物OBが10ピクセル×10ピクセル以上の範囲に写る解像度で各対象物OBを撮影している。撮影部30は、一定の撮影間隔でベルト11上を撮影する。
【0029】
材質取得部40は、レーザ誘起ブレークダウン分光計である。材質取得部40は、後述する位置取得部25により取得されたベルト11上の対象物OBまでの位置情報に含まれる高さ情報を用いて、対象物OBまでの焦点距離を自動調節する。また、材質取得部40は、位置取得部25により取得されたベルトコンベア10の搬送速度を用いて、レーザLSの照射タイミングを調整する。
【0030】
材質取得部40は、各対象物OBにレーザLSを照射することにより対象物OBの表面から発生したレーザ誘起プラズマの放射光を集光および分光する。材質取得部40は、得られた発光スペクトル線強度と、特定の成分元素のスペクトル線強度とを照合することにより、対象物OBに含まれる元素を算出する。本実施形態の対象物OBは、廃棄物としての金属製のスクラップ屑である。対象物OBは、特定の部品から解体されたスクラップ屑であるため、各対象物OBの材質は、限られた何種類かのいずれかの材質であることが予めわかっている。そのため、予め着目する特定の成分元素が選択されることにより、材質取得部40は、レーザ誘起ブレークダウン分光法により対象物OBの材質情報を取得できる。なお、以降では、対象物OBの材質情報を、単に「対象物OBの材質」ともいう。
【0031】
本実施形態では、Si(ケイ素)の濃度で判別できる鋳造材と展伸材とを含む複数の対象物OBの選別について説明する。本実施形態の材質取得部40は、Siに対応する波長671nm(ナノメートル)のスペクトル線強度と、Al(アルミニウム)に対応する波長309nmのスペクトル線強度との比を基準として材質を選別した。材質取得部40は、Siのスペクトル線強度の方が大きい対象物OBの材質を鋳造材として同定し、Alのスペクトル線強度の方が大きい対象物OBの材質を展伸材として同定した。なお、レーザ発振器として、1064nmのNd:YAGパルスレーザ(パルス幅6ns)が用いられ、レーザ光エネルギーは35.6mJである。分光器は、波長200~740nmを対象とした。
【0032】
モデル作成装置20は、有線により撮影部30および材質取得部40に接続している。モデル作成装置20は、パーソナルコンピュータ(PC:Perasonal Computer)21と、PC21からの制御信号に応じて各種画像を表示するモニタ28と、を備えている。PC21は、各種データを記憶する記憶部27と、記憶部27へのデータの保存等の各種制御を行う制御部22と、を備えている。
【0033】
記憶部27は、ハードディスクドライブ(HDD:Hard Disk Drive)などで構成されている。記憶部27は、データ生成部24により生成される教師データを記憶する教師データデータベース271(教師データDB)271と、データ拡張部23により生成される拡張教師データを記憶する拡張データデータベース(拡張データDB)272と、学習部26が拡張教師データを用いて作成する学習モデルを記憶するモデルデータベース(モデルDB)273と、を備えている。なお、データ生成部24、データ拡張部23、および学習部26についての説明は後述する。
【0034】
制御部22は、図示されていないCPU(Central Processing Unit)が、ROM(Read Only Memory)に格納されているプログラムをRAM(Random Access Memory)に展開することにより機能する。制御部22は、撮影部30により取得された各対象物OBの画像を用いて対象物OBの位置情報を取得する位置取得部25と、教師データを生成するデータ生成部(教師データ生成部)24と、データ生成部24により生成された教師データを用いて拡張教師データを生成するデータ拡張部(教師データ拡張部)23と、データ拡張部23により生成された拡張教師データを用いて学習モデルを作成する学習部26として、機能する。
【0035】
位置取得部25は、ステレオカメラである撮影部30により取得された各対象物OBの画像を画像認識することにより、ベルトコンベア10により搬送される各対象物OBの位置情報を取得する。位置取得部25は、対象物OBが写っている画像に対し、画像処理(グレースケール化、ぼかし、2値化、輪郭抽出)を施し、対象物OBを囲む矩形領域(「バウンディングボックス」とも言う)で抽出することにより、画像中の対象物OBの位置情報を取得する。位置情報は、画像中における対象物OBの複数の特徴点の位置座標を含んでいる。特徴点の位置座標は、画像に設定された座標軸を基準として、対象物OBの形状を表すエッジ等の特徴点の座標値である。位置取得部25は、対象物OBの位置情報から、ベルト11上を搬送される対象物OBの高さ情報を取得できる。対象物OBの高さ情報は、材質取得部40が対象物OBまでの焦点距離を算出するために用いられる。また、位置取得部25は、速度センサとしてのロータリエンコーダを用いてベルトコンベア10の搬送速度を取得する。
【0036】
データ生成部24は、撮影部30により取得された各対象物OBの画像と、位置取得部25により取得された位置情報と、材質取得部40により取得された材質情報とを対応付けた教師データを生成する。図2は、データ生成部24により生成された教師データの説明図である。図2には、複数の対象物OBのうちの対象物IDがサンプルSM1~SM4として識別された各サンプルに対して、対応付けられた教師データの一部が示されている。サンプルSM1~SM4のそれぞれの対象物OBとしての画像は、図1,2に示される画像IM1~IM4である。
【0037】
図2に示されるように、教師データは、撮影部30により取得された1つの対象物OBの画像および位置情報と、材質取得部40により取得された材質情報とを含んでいる。例えば、サンプルSM1の位置情報としては、特徴点P1Aの座標値として(X,Y,Z)=(xx1,yy1,zz1)が格納されている。図1に示される材質情報では、材質取得部40により特定された各サンプルSM1~SM4の材質として、鋳造材か展伸材かのいずれかが対応付けられている。データ生成部24は、生成した教師データを記憶部27の教師データDB271に保存する。
【0038】
データ拡張部23は、データ生成部24により生成された教師データを用いて、複数の教師データが1つのデータとして対応付けられた拡張教師データ(以降では、単に「拡張データ」とも呼ぶ)を生成する。本実施形態のデータ拡張部23は、拡張データとして、元となる教師データに含まれる対象物OBの画像に対して画像処理(トリミングおよび回転)を施し、画像処理後の対象物OBの画像と、元となる教師データに含まれる位置情報および材質情報とを対応付けたデータを生成する。
【0039】
図3は、データ拡張部23により生成された拡張データの説明図である。図3には、拡張データに含まれる4つの対象物を有する合成画像IMEDが示されている。本実施形態のデータ拡張部23は、元となる複数の教師データとして、教師データDB271から4つの教師データをランダムに選択する。データ拡張部23は、材質が鋳造材の対象物OBの数と、材質が展伸材の対象物OBとの数とが同程度になるように、拡張データに対応付けられる鋳造材の2つの教師データと展伸材の2つの教師データとを選択する。以降では、図2に示される対象物IDがSM1~SM4である4つの教師データが、拡張データに含まれるデータとして選択された例について説明する。
【0040】
データ拡張部23は、選択した教師データに含まれる対象物OBの各画像IM1~IM4を含む所定領域を切り取ったトリミング画像を生成する。本実施形態では、データ拡張部23は、予め用意しておいた矩形状の1つの背景画像IMBを4つの領域AR1~AR4(図3の破線で区切られた領域)に分割し、領域AR1~AR4よりも小さい画像になるようにトリミング画像を生成する。データ拡張部23は、画像IM1~IM4のそれぞれのトリミング画像を、分割された4つの領域AR1~AR4に対してランダムに決定した領域に重畳なく貼り付ける。その際に、データ拡張部23は、教師データとしての画像IM1~IM4をランダムに回転させた画像IM1a~IM4aのトリミング画像を各領域AR1~AR4に貼り付けて、合成画像IMEDを生成する。
【0041】
本実施形態のデータ拡張部23は、拡張データとして、図3に示される合成画像IMEDと、合成画像IMEDに含まれる4つの対象物OBの元の教師データに含まれていた位置情報および材質情報とを対応付ける。図4は、合成画像IMEDを含む1つの拡張データED1についての説明図である。図4に示される拡張データED1では、元の教師データであるサンプルSM1~SM4に含まれる材質情報と、元の教師データに含まれる位置情報からトリミングおよび回転を用いて算出された位置情報とが対応付けられている。データ拡張部23は、ランダムに選択した4つの教師データに対して画像処理(トリミングおよび回転)を行ったデータを1つの拡張データED1として生成し、記憶部27の拡張データDB272に保存する。
【0042】
学習部26は、教師データDB271に記憶されている複数の教師データと、拡張データDB272に記憶されている複数の拡張データとを用いてディープラーニングを行うことにより、複数の対象物OBから鋳造材と展伸材との両方を選別するための学習モデルを作成する。作成した学習モデルはモデルDB273に保存され、対象物OBの選別装置が行う選別に用いられる。
【0043】
2.拡張教師データ生成方法:
図5は、拡張教師データ生成方法のフローチャートである。図5に示される拡張教師データ生成フローでは、初めに、ベルトコンベア10が複数の対象物OBを搬送する(ステップS1)。撮影部30は、ベルトコンベア10により搬送される各対象物OBを撮影する(ステップS2)。位置取得部25は、撮影部30により取得された対象物OBの画像を画像認識することにより、対象物OBの位置情報を取得する(ステップS3)。位置取得部25は、対象物OBが写っている画像に対してバウンディングボックスで抽出することにより、対象物OBの位置情報を取得する。
【0044】
材質取得部40は、レーザ誘起ブレークダウン分光法によりベルトコンベア10により搬送される対象物OBの材質情報を取得する(ステップS4)。材質取得部40は、対象物OBの位置情報およびベルトコンベア10の搬送速度を用いて、レーザLSの焦点と照射タイミングとを調整する。材質取得部40は、対象物OBから得られた発光スペクトル線強度を用いて、対象物OBの材質を同定する。
【0045】
データ生成部24は、取得された対象物OBの材質情報と、撮影部30により取得された対象物OBの画像と、位置取得部25異より取得された対象物OBの位置情報とを対応付けた教師データを生成し、教師データDB271に保存する(ステップS5)。データ拡張部23は、複数の教師データからランダムに選択した複数の教師データに含まれる画像を合成した合成画像IMEDに対応付けた複数の拡張データを生成する(ステップS6)。データ拡張部23は、教師データDB271に記憶された複数の教師データに含まれる材質のうち、割合が少ない材質に対応付けられた教師データを多く選択して拡張データを生成する。複数の拡張データが生成されると、拡張教師データ生成フローが終了する。
【0046】
3.教師データおよび拡張教師データを用いた学習モデルの評価:
教師データおよび拡張教師データ(拡張データ)を用いて学習部26により作成された学習モデルを用いてスクラップ屑の選別評価を行った。データ拡張部23は、材質が鋳造材である26個の教師データと、材質が展伸材である23個の教師データとの計49個の教師データを用いて、1以上の拡張データを生成した。
【0047】
図6は、教師データおよび拡張教師データの数とスクラップ屑の未検出率との関係を示す表である。図6には、学習モデルを作成するために用いられた教師データおよび拡張データの数の合計が50,100,200個である場合に、複数のスクラップ屑の選別時の鋳造材および展伸材の未検出率(%)が示されている。図6に示されるように、学習に用いられる教師データおよび拡張データの数の合計が50個から200個へと増えるにつれて、鋳造材および展伸材の未検出率が低下している。
【0048】
図7は、教師データおよび拡張教師データに含まれる材質の比率と未検出率との関係の表である。図7には、学習モデルを作成するために用いられた全ての教師データおよび拡張データに含まれる対象物OBの材質が鋳造材であるデータの比率に応じて変化する、鋳造材のスクラップ屑の未検出率が示されている。図7に示されるように、全ての教師データおよび拡張データの合計に含まれる材質が鋳造材である教師データの比率が大きくなるにつれて、学習モデルによる鋳造材のスクラップ屑の未検出率が低減する。なお、教師データおよび拡張データの合計に含まれる鋳造材の比率が2%とは、教師データおよび拡張データの合計に含まれる全ての材質のうちの鋳造材のデータの比率を表す。例えば、教師データの数が200個かつ拡張データの数が200個である場合に、教師データおよび拡張データの合計に含まれる元の教師データの数は1000個(200個+200個×4)であり、2%の比率とは1000個の元の教師データのうちの20個であることを表している。
【0049】
図8は、実施例と比較例とにおける教師データの生成時間の表である。図8には、本実施形態の学習モデル作成システム100を用いて自動的に教師データを作成した実施例の生成時間と、従来行われていた手動により教師データを作成した比較例の生成時間とが示されている。図8に示される生成時間は、2000個の対象物OBであるスクラップ屑から教師データを生成するまでの時間である。実施例では、対象物OBの間隔を300mm、ベルトコンベア10の搬送速度を5m/minとした場合に、下記式(1)により算出される生成時間が2hである。
300mm/(5m/min)×2000個=2h・・・(1)
【0050】
比較例では、作業者による1個あたりの対象物OBの材質取得に要する時間を5sとし、1個あたりの対象物OBの撮影時間を5sとし、1個あたりの材質情報と対象物OBの画像とのアノテーションに要する時間を10sとする。この場合に、下記式(2)により算出される比較例の生成時間は約11時間である。
(5s+5s+10s)×2000個≒11h・・・(2)
【0051】
以上説明したように、本実施形態の学習モデル作成システム100では、材質取得部40は、位置取得部25により取得された対象物OBの位置情報を用いて、対象物OBの材質情報を自動的に取得する。そして、データ生成部24は、撮影部30により取得された各対象物OBの画像と、位置取得部25により取得された位置情報と、材質取得部40により取得された材質情報とを対応付けた教師データを生成する。すなわち、本実施形態の学習モデル作成システム100では、データ生成部24が、撮影部30と位置取得部25と材質取得部40とにより自動的に取得された、対象物OBの画像、位置情報、及び材質情報を対応付けた教師データを生成する。学習モデルの作成に用いられる教師データは膨大な数が必要となるため、本実施形態のように教師データの生成を自動化することにより、学習モデルの作成(学習工程)に要する時間を低減できる。さらに、学習モデルを用いた自動選別が行われることにより、作業者による選別よりも高精度な選別を実現でき、選別の高速化を実現できる。すなわち、本実施形態の学習モデル作成システム100を用いることにより、機械学習から対象物OBの自動選別までの処理における省人化、高精度化、および処理量向上を実現できる。
【0052】
また、本実施形態の学習モデル作成システム100は、元となる教師データに含まれる対象物OBの画像に対して画像処理を施し、画像処理後の対象物OBの画像と、元となる教師データに含まれる位置情報および材質情報とを対応付けたデータを生成する。すなわち、データ拡張部23は、元の教師データを画像処理して拡張データを生成するため、簡単に、教師データに変化を持たせた拡張教師データを生成できると共に、数多くの拡張データを手間なく生成できる。これにより、教師データより多くの拡張データを用いて学習モデルが作成されるため、図6に示されるように、学習モデルを用いた自動選別での対象物OBの検出率を向上させることができる。
【0053】
また、本実施形態のデータ拡張部23は、データ生成部24により生成された教師データを用いて、複数の教師データが1つのデータとして対応付けられた拡張データを生成するデータ拡張部23を備えている。データ拡張部23は、生成する拡張データとして、元となる教師データに含まれる対象物OBの画像に対してトリミングおよび回転の画像処理を施す。データ拡張部23は、図3に示されるように、画像IM1~IM4のそれぞれのトリミング画像を、分割された4つの領域AR1~AR4に対してランダムに決定した領域に重畳なく貼り付ける。これにより、教師データの数よりも多い拡張データを生成され、生成された拡張データは、元となる複数の教師データを含んでいる。そのため、本実施形態の拡張データを用いて作成された学習モデルは、自動選別時にベルトコンベア10により複数の対象物OBが搬送されても、教師データを用いて作成された学習モデルと比べて、処理量向上を実現できる。
【0054】
また、本実施形態のデータ拡張部23は、材質が鋳造材の対象物OBの数と、材質が展伸材の対象物OBとの数とが同程度になるように、拡張データに対応付けられる鋳造材の2つの教師データと展伸材の2つの教師データとを選択する。これにより、教師データとして特定の材質の対象物OBを含むデータ数が少なくても、全ての拡張データに含まれる元の教師データが含む材質の偏りが低減される。この結果、図7に示されるように、教師データおよび拡張データを用いて作成した学習モデルによる対象物OBの自動選別において、選別対象の検出率を向上させることができる。
【0055】
また、本実施形態の学習モデル作成システム100は、複数の対象物OBを搬送するベルトコンベア10を備えている。そのため、撮影部30および位置取得部25の位置を固定した状態で、対象物OBの位置情報と材質情報とが自動的に取得される。
【0056】
また、本実施形態のベルトコンベア10は、撮影部30により取得された1つの画像に1つの対象物OBが含まれるように、複数の対象物OBを搬送方向に沿ってベルト11上に一列に並べて搬送する。そのため、データ生成部24は、対象物OBの画像を対応付けた教師データを生成しやすい。
【0057】
また、本実施形態のデータ生成部24は、撮影部30により取得された1つの対象物OBの画像および位置情報と、材質取得部40により取得された材質情報とを含む教師データを生成する。そのため、複数の対象物OBが写り込んでいる画像が対応付けられた教師データが機械学習に用いられてないため、作成される学習モデルをより高精度化できる。
【0058】
また、本実施形態の材質取得部40は、レーザ誘起ブレークダウン分光計であるため、対象物OBの材質の同定に要する時間を低減できる。また、本実施形態のレーザ誘起ブレークダウン分光計は、位置取得部25により取得されたベルト11上の対象物OBまでの位置情報に含まれる高さ情報を用いて、対象物OBまでの焦点距離を自動調節する。これにより、ベルトコンベア10により搬送される対象物OBの位置情報および材質情報の取得が自動化され、教師データ生成時の省人化を実現できる。
【0059】
また、本実施形態の選別対象である対象物OBは、廃棄物としてのスクラップ屑である。廃棄物の形状は元の形状の特徴を引き継いでおり、かつ、廃棄物の元となる特定の部品は特定の材料で構成されているため、廃棄物の形状と材質とは相関関係を有することが多い。そのため、本実施形態では、対象物OBが予め何の廃棄物であるのかが認識されることにより、対象物OBの形状を表す画像と、対象物OBの材質情報とを対応付けた教師データが作成される。この結果、本実施形態では、教師データを用いた学習モデルが対象物OBの画像により材質を自動選別する際の選別処理量を向上させることができる。
【0060】
また、本実施形態の撮影部30は、対象物OBが10ピクセル×10ピクセル以上の範囲に写る解像度で各対象物OBを撮影している。すなわち、撮影部30は、所定の大きさ以上の対象物OBの画像を取得できるため、より高精度な学習モデルを作成するための教師データがデータ生成部24により作成される。
【0061】
また、本実施形態の位置取得部25は、対象物OBが写っている画像に対し、画像処理(グレースケール化等)を行い、画像中の対象物OBの位置情報を取得する。画像中における対象物OBの位置が特定されることにより、データ生成部24は、高精度の選別を行う学習モデルを作成するための教師データを生成できる。
【0062】
<上記実施形態の変形例>
本発明は上記の実施形態に限られるものではなく、その要旨を逸脱しない範囲において種々の態様において実施することが可能であり、例えば次のような変形も可能である。上記実施形態において、ハードウェアによって実現されるとした構成の一部をソフトウェアに置き換えるようにしてもよく、逆に、ソフトウェアによって実現されるとした構成の一部をハードウェアに置き換えるようにしてもよい。本発明は上記の実施形態に限られるものではなく、その要旨を逸脱しない範囲において種々の態様において実施することが可能である。
【0063】
[変形例1]
上記実施形態の学習モデル作成システム100は、教師データを生成する教師データ生成装置を備えるシステムの一例であって、教師データ生成装置の構成および教師データ生成装置が行う制御等については、種々変形可能である。例えば、教師データ生成装置は、学習部26、モニタ28、およびデータ拡張部23を備えていなくてもよい。教師データ生成装置は、撮影部30と、対象物OBの位置情報を取得する位置取得部25と、対象物OBの材質情報を取得する材質取得部40と、教師データを生成するデータ生成部24とを備えていればよい。教師データ生成装置は、拡張データを生成する必要はなく、学習部26により学習モデルを作成する必要はない。学習モデルは、教師データ生成装置により生成された教師データが用いられて別の装置で作成されてもよい。
【0064】
上記実施形態のデータ拡張部23は、選択した4つの教師データに含まれる対象物OBの画像に画像処理を施して1つの拡張データED1を生成したが、生成される拡張データについては変形可能である。例えば、データ拡張部23は、1つの教師データに含まれる対象物OBの画像をランダムに回転させた1つの拡張データを生成してもよい。拡張データに含まれる元の教師データの数は、3個以下であってもよいし、5個以上であってもよい。また、データ拡張部23は、教師データに含まれる対象物OBの画像を回転させずに背景画像IMBに貼り付けてもよいし、回転させた画像と回転させてない画像とを混在させてもよい。データ拡張部23は、背景画像IMBを分割した領域AR1~AR4のそれぞれを異なる大きさや形状に分割してもよい。背景画像IMBに貼り付けられる元の教師データに含まれる対象物OBの画像は拡大または縮小されてもよい。拡張データにおいて、図4に示される領域IDは、位置情報として格納されてもよい。
【0065】
上記実施形態のデータ拡張部23は、材質が鋳造材の対象物OBの数と、材質が展伸材の対象物OBとの数とが同程度になるように、拡張データED1に対応付けられる2つの教師データとを選択したが、材質による数の比率を考慮せずに教師データを選択してもよい。データ拡張部23は、材質による数の比率が同じになるように、拡張データに対応付けられる元の教師データを選択することが好ましい。例えば、教師データに含まれる材質の種類がNm個、1つの拡張データに対応付けられる教師データの数がNd個、生成される拡張データの数がNe個の場合に、全ての拡張データに含まれる材質毎の元の教師データの数は、Nd×Ne/Nm(個)に近いことが好ましい。なお、本実施形態における同程度とは、最も好ましい数値から±20%の範囲に含まれる数値をいう。
【0066】
[変形例2]
教師データの生成のために搬送される複数の対象物OBは、ベルトコンベア10上で一列に並べて搬送されなくてもよい。この場合に、データ生成部24は、撮影部30により取得された1つの画像に複数の対象物OBが写っていた場合に教師データを生成しないことにより、1つの対象物OBに対応した教師データを生成できる。ベルトコンベア10は、所定間隔をかけて一列に対象物OBを並べるためのガイドを備えていてもよい。
【0067】
また、データ生成部24は、材質取得部40により取得された材質が予め設定された鋳造材または展伸材である材質基準を満たす場合に対象物OBに対応した教師データを生成し、材質が材質基準を満たさない場合に対象物OBに対応した教師データを生成しなくてもよい。この変形例では、一定の材質基準により教師データの生成の有無が決定するため、材質情報として不明確な材質を対応付けた教師データの生成が行われない。すなわち、データ生成部24は、高精度の教師データを作成できる。
【0068】
上記実施形態の材質取得部40は、レーザ誘起ブレークダウン分光計であったが、ハイパースペクトルカメラであってもよいし、X線解析により対象物OBの材質を同定してもよい。上記実施形態の撮影部30は、1つのステレオカメラであったが、複数のカメラにより構成されてもよく、撮影部としてのカメラの配置台数および位置については変形可能である。また、撮影部30の解像度は、10×10ピクセル以上で対象物OBを撮影できる解像度でなくてもよい。
【0069】
以上、実施形態、変形例に基づき本態様について説明してきたが、上記した態様の実施の形態は、本態様の理解を容易にするためのものであり、本態様を限定するものではない。本態様は、その趣旨並びに特許請求の範囲を逸脱することなく、変更、改良され得ると共に、本態様にはその等価物が含まれる。また、その技術的特徴が本明細書中に必須なものとして説明されていなければ、適宜、削除することができる。
【符号の説明】
【0070】
10…ベルトコンベア
11…ベルト
20…モデル作成装置
22…制御部
23…データ拡張部(教師データ拡張部)
24…データ生成部(教師データ生成部)
25…位置取得部
26…学習部
27…記憶部
28…モニタ
30…撮影部
40…材質取得部
100…学習モデル作成システム(教師データ生成装置)
271…教師データDB
272…拡張データDB
273…モデルDB
AR1~AR4…領域
ED1…拡張データ
IM1~IM4,IM1a~IM4a…対象物の画像
IMB…背景画像
IMED…合成画像
LS…レーザ
OB…対象物
P1A,P1B,P2A,P1Aa,P1Ba,P2Aa…特徴点
SM1~SM4…サンプル
図1
図2
図3
図4
図5
図6
図7
図8