知財求人 - 知財ポータルサイト「IP Force」
▶ 株式会社御池鐵工所の特許一覧 ▶ 安川情報システム株式会社の特許一覧
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】特開2020-62633(P2020-62633A)
(43)【公開日】2020年4月23日
(54)【発明の名称】廃棄物選別装置及び廃棄物選別方法
(51)【国際特許分類】
B07C 5/10 20060101AFI20200331BHJP
B02C 23/00 20060101ALI20200331BHJP
B07C 5/342 20060101ALI20200331BHJP
B07C 5/344 20060101ALI20200331BHJP
【ＦＩ】
B07C5/10
B02C23/00 A
B07C5/342
B07C5/344
【審査請求】有
【請求項の数】10
【出願形態】ＯＬ
【全頁数】28
(21)【出願番号】特願2018-197836(P2018-197836)
(22)【出願日】2018年10月19日
(71)【出願人】
【識別番号】591119624
【氏名又は名称】株式会社御池鐵工所
(71)【出願人】
【識別番号】399076312
【氏名又は名称】株式会社ＹＥ ＤＩＧＩＴＡＬ
(74)【代理人】
【識別番号】100138896
【弁理士】
【氏名又は名称】森川 淳
(72)【発明者】
【氏名】小林 由和
(72)【発明者】
【氏名】小林 秀匡
(72)【発明者】
【氏名】河井 健治
(72)【発明者】
【氏名】亀津 達也
(72)【発明者】
【氏名】藤原 浩二
【テーマコード（参考）】
3F079
4D067
【Ｆターム（参考）】
3F079AB00
3F079CA19
3F079CA23
3F079CA31
3F079CA36
3F079CA38
3F079CB07
3F079CB09
3F079CB24
3F079CB29
3F079CC01
3F079CC13
3F079DA12
3F079EA08
3F079EA12
4D067EE45
4D067GA18
4D067GB05
(57)【要約】
【課題】選別精度を効果的に向上できる廃棄物選別装置を提供する。【解決手段】
廃棄物選別装置１は、廃棄物２を搬送するコンベヤ３と、コンベヤ３上の廃棄物２の形状及び高さを測定する３Ｄセンサ４と、コンベヤ３上の廃棄物２を撮影する可視光カメラ５と、コンベヤ３で搬送される廃棄物２が金属と非金属のいずれであるかを検知する金属センサ６を備える。可視光カメラ５及び金属センサ６からの情報に基づいて、判別装置７の判別部１２により廃棄物２の材質が判別される。判別１２は、教師有り学習によってアルゴリズムを成長させるニューラルネットワークを用いた判別モデルを有する。判別部１２で材質が判別された廃棄物２のうち、正判別率が所定値以上の材質の廃棄物２が、ロボットアーム９によってコンベヤ３から回収され、材質に対応する収集箱１０に投入されて選別される。
【選択図】図１
【特許請求の範囲】
【請求項1】
廃棄物を搬送する搬送装置と、
上記搬送装置で搬送される廃棄物を撮影する撮影装置と、
廃棄物の画像とこの廃棄物の材質を示す材質情報とを教師データとして判別モデルの機械学習を行い、この判別モデルを用いて、上記撮影装置が撮影した画像に基づいて廃棄物の材質を判別する判別部と、
上記判別部で材質が判別された廃棄物のうち、正判別率が所定値以上の材質の廃棄物を上記搬送装置から回収して選別する選別部と
を備えることを特徴とする廃棄物選別装置。
上記搬送装置で搬送される廃棄物を撮影する撮影装置と、
廃棄物の画像とこの廃棄物の材質を示す材質情報とを教師データとして判別モデルの機械学習を行い、この判別モデルを用いて、上記撮影装置が撮影した画像に基づいて廃棄物の材質を判別する判別部と、
上記判別部で材質が判別された廃棄物のうち、正判別率が所定値以上の材質の廃棄物を上記搬送装置から回収して選別する選別部と
を備えることを特徴とする廃棄物選別装置。
【請求項2】
請求項１に記載の廃棄物選別装置において、
上記判別部は、上記撮影装置が撮影した廃棄物が金属であるか否かを示す金属情報が入力され、上記廃棄物の画像と金属情報に基づいて上記判別モデルで材質を判別することを特徴とする廃棄物選別装置。
上記判別部は、上記撮影装置が撮影した廃棄物が金属であるか否かを示す金属情報が入力され、上記廃棄物の画像と金属情報に基づいて上記判別モデルで材質を判別することを特徴とする廃棄物選別装置。
【請求項3】
請求項２に記載の廃棄物選別装置において、
上記搬送装置で搬送される廃棄物が金属であるか否かを検出する金属検出装置を備え、
上記金属検出装置から金属情報が上記判別部に入力されるように形成されていることを特徴とする廃棄物選別装置。
上記搬送装置で搬送される廃棄物が金属であるか否かを検出する金属検出装置を備え、
上記金属検出装置から金属情報が上記判別部に入力されるように形成されていることを特徴とする廃棄物選別装置。
【請求項4】
廃棄物を搬送する搬送装置と、
上記搬送装置で搬送される廃棄物の可視光の反射光を撮影してなる可視光画像を出力する可視光撮影装置と、
上記搬送装置で搬送される廃棄物の少なくとも赤外線の反射光を撮影してなる赤外線画像を出力する赤外線撮影装置と、
上記廃棄物の赤外線画像に基づいて、赤外線の吸収スペクトルによって廃棄物の材質を判別する第１判別部と、
上記第１判別部により所定の材質と判別された廃棄物以外の廃棄物について、予め準備された廃棄物の可視光画像とこの廃棄物の材質情報とを教師データとして機械学習を行う判別モデルを用いて、上記可視光撮影装置が撮影した可視光画像に基づいて廃棄物の材質を判別する第２判別部と、
上記第１判別部により所定の材質と判別された廃棄物、又は、上記第２判別部で材質が判別された廃棄物のうち正判別率が所定値以上の材質の廃棄物を、上記搬送装置から回収して選別する選別部と
を備えることを特徴とする廃棄物選別装置。
上記搬送装置で搬送される廃棄物の可視光の反射光を撮影してなる可視光画像を出力する可視光撮影装置と、
上記搬送装置で搬送される廃棄物の少なくとも赤外線の反射光を撮影してなる赤外線画像を出力する赤外線撮影装置と、
上記廃棄物の赤外線画像に基づいて、赤外線の吸収スペクトルによって廃棄物の材質を判別する第１判別部と、
上記第１判別部により所定の材質と判別された廃棄物以外の廃棄物について、予め準備された廃棄物の可視光画像とこの廃棄物の材質情報とを教師データとして機械学習を行う判別モデルを用いて、上記可視光撮影装置が撮影した可視光画像に基づいて廃棄物の材質を判別する第２判別部と、
上記第１判別部により所定の材質と判別された廃棄物、又は、上記第２判別部で材質が判別された廃棄物のうち正判別率が所定値以上の材質の廃棄物を、上記搬送装置から回収して選別する選別部と
を備えることを特徴とする廃棄物選別装置。
【請求項5】
請求項４に記載の廃棄物選別装置において、
上記第１判別部により判別された所定の材質は、正判別率が所定値以上の材質であることを特徴とする廃棄物選別装置。
上記第１判別部により判別された所定の材質は、正判別率が所定値以上の材質であることを特徴とする廃棄物選別装置。
【請求項6】
請求項４に記載の廃棄物選別装置において、
上記赤外線撮影装置は、上記赤外線の反射光の強度分布を複数の波長帯域毎に示したマルチスペクトル画像を出力するマルチスペクトルカメラであることを特徴とする廃棄物選別装置。
上記赤外線撮影装置は、上記赤外線の反射光の強度分布を複数の波長帯域毎に示したマルチスペクトル画像を出力するマルチスペクトルカメラであることを特徴とする廃棄物選別装置。
【請求項7】
請求項４に記載の廃棄物選別装置において、
上記第２判別部は、上記可視光撮影装置が撮影した廃棄物が金属であるか否かを示す金属情報が入力され、上記廃棄物の可視光画像と金属情報に基づいて上記判別モデルで材質を判別することを特徴とする廃棄物選別装置。
上記第２判別部は、上記可視光撮影装置が撮影した廃棄物が金属であるか否かを示す金属情報が入力され、上記廃棄物の可視光画像と金属情報に基づいて上記判別モデルで材質を判別することを特徴とする廃棄物選別装置。
【請求項8】
請求項６に記載の廃棄物選別装置において、
上記マルチスペクトル画像に基づいて判別された複数の材質が単一の廃棄物に存在し、所定の材質に対応する領域が所定の割合を占める場合、上記第１判別部が、上記廃棄物が上記所定の材質であると判別することを特徴とする廃棄物選別装置。
上記マルチスペクトル画像に基づいて判別された複数の材質が単一の廃棄物に存在し、所定の材質に対応する領域が所定の割合を占める場合、上記第１判別部が、上記廃棄物が上記所定の材質であると判別することを特徴とする廃棄物選別装置。
【請求項9】
請求項６に記載の廃棄物選別装置において、
上記第１判別部が、上記マルチスペクトル画像に基づいて、プラスチック、ポリ塩化ビニル樹脂及び紙類のいずれかの材質を判別し、
上記第２判別部が、上記可視光画像に基づいて、コンクリート、木、ガラス、ペットボトル及びポリスチレンフォームのいずれかの材質を判別することを特徴とする廃棄物選別装置。
上記第１判別部が、上記マルチスペクトル画像に基づいて、プラスチック、ポリ塩化ビニル樹脂及び紙類のいずれかの材質を判別し、
上記第２判別部が、上記可視光画像に基づいて、コンクリート、木、ガラス、ペットボトル及びポリスチレンフォームのいずれかの材質を判別することを特徴とする廃棄物選別装置。
【請求項10】
廃棄物を搬送する搬送装置と、
上記搬送装置で搬送される廃棄物の少なくとも赤外線の反射光を撮影してなる赤外線画像を出力する赤外線撮影装置と、
予め準備された廃棄物の赤外線画像とこの廃棄物の材質情報とを教師データとして機械学習を行う判別モデルを用いて、上記赤外線撮影装置が撮影した赤外線画像に基づいて廃棄物の材質を判別する判別部と、
上記判別部により所定の材質と判別された廃棄物のうち正判別率が所定値以上の材質の廃棄物を、上記搬送装置から回収して選別する選別部と
を備えることを特徴とする廃棄物選別装置。
上記搬送装置で搬送される廃棄物の少なくとも赤外線の反射光を撮影してなる赤外線画像を出力する赤外線撮影装置と、
予め準備された廃棄物の赤外線画像とこの廃棄物の材質情報とを教師データとして機械学習を行う判別モデルを用いて、上記赤外線撮影装置が撮影した赤外線画像に基づいて廃棄物の材質を判別する判別部と、
上記判別部により所定の材質と判別された廃棄物のうち正判別率が所定値以上の材質の廃棄物を、上記搬送装置から回収して選別する選別部と
を備えることを特徴とする廃棄物選別装置。
【請求項11】
請求項１０に記載の廃棄物選別装置において、
上記赤外線撮影装置は、上記廃棄物における赤外線の反射光の強度分布を複数の波長帯域毎に示したマルチスペクトル画像を出力するマルチスペクトルカメラであることを特徴とする廃棄物選別装置。
上記赤外線撮影装置は、上記廃棄物における赤外線の反射光の強度分布を複数の波長帯域毎に示したマルチスペクトル画像を出力するマルチスペクトルカメラであることを特徴とする廃棄物選別装置。
【請求項12】
請求項１０に記載の廃棄物選別装置において、
上記判別部が、上記マルチスペクトル画像に基づいて、プラスチック、ポリ塩化ビニル樹脂、紙類、コンクリート、石、ガラス、木、ペットボトル及びポリスチレンフォームのいずれかの材質を判別することを特徴とする廃棄物選別装置。
上記判別部が、上記マルチスペクトル画像に基づいて、プラスチック、ポリ塩化ビニル樹脂、紙類、コンクリート、石、ガラス、木、ペットボトル及びポリスチレンフォームのいずれかの材質を判別することを特徴とする廃棄物選別装置。
【請求項13】
廃棄物の画像を準備する画像準備工程と、
上記画像準備工程で準備された廃棄物の画像と、この廃棄物の材質を示す材質情報とを教師データとして判別モデルの機械学習を行う機械学習工程と、
材質を判別すべき廃棄物を撮影する撮影工程と、
上記撮影工程で撮影した破棄物の画像に基づいて、上記機械学習工程で機械学習を行った判別モデルを用いて廃棄物の材質を判別する判別工程と、
上記判別工程で判別された廃棄物の材質が、所定値以上の正判別率の材質である場合に、この廃棄物を対象に選別を行う選別工程と
を備えることを特徴とする廃棄物選別方法。
上記画像準備工程で準備された廃棄物の画像と、この廃棄物の材質を示す材質情報とを教師データとして判別モデルの機械学習を行う機械学習工程と、
材質を判別すべき廃棄物を撮影する撮影工程と、
上記撮影工程で撮影した破棄物の画像に基づいて、上記機械学習工程で機械学習を行った判別モデルを用いて廃棄物の材質を判別する判別工程と、
上記判別工程で判別された廃棄物の材質が、所定値以上の正判別率の材質である場合に、この廃棄物を対象に選別を行う選別工程と
を備えることを特徴とする廃棄物選別方法。
【請求項14】
請求項１３に記載の廃棄物選別方法において、
上記選別工程で選別されずに残った廃棄物を、上記撮影工程に戻すことを特徴とする廃棄物選別方法。
上記選別工程で選別されずに残った廃棄物を、上記撮影工程に戻すことを特徴とする廃棄物選別方法。
【請求項15】
請求項１３に記載の廃棄物選別方法において、
上記機械学習工程が、上記判別モデルの作成場所から離れた場所に存在する作業者の入力に基づいて作成された材質情報を用いて、判別モデルの機械学習を行うことを特徴とする廃棄物選別方法。
上記機械学習工程が、上記判別モデルの作成場所から離れた場所に存在する作業者の入力に基づいて作成された材質情報を用いて、判別モデルの機械学習を行うことを特徴とする廃棄物選別方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、機械学習の手法を用いて廃棄物の材質を判別し、選別を行う廃棄物選別装置及び廃棄物選別方法に関する。
【背景技術】
【0002】
建設廃棄物のように、コンクリートや金属や木やプラスチック等の多様な材質を含む廃棄物は、かつては埋め立てや海洋投棄等の最終処分が行われていたが、資源の有効利用を目的として、廃棄物を材質ごとに選別して再資源化を行う試みが広がりつつある。
【0003】
従来、廃棄物を材質ごとに選別する方法としては、比重差選別機や揺動式選別機や風力選別機を用いた方法が知られている。しかしながら、これらの機器は、被処理物に振動や風を与えるものであり、装置構成が複雑かつ大型になりやすい。また、振動や風により、被処理物に付着した微粒子が飛散し、周辺環境に影響を及ぼす虞がある。
【0004】
そこで最近、被処理物の撮影画像に基づく材質認識の技術を利用した廃棄物の選別装置が提案されている。この種の廃棄物の選別装置として、従来、廃棄物を搬送するコンベアと、コンベア上の廃棄物を撮影する撮影装置と、廃棄物の撮影画像を表示すると共に材質を示す情報の入力を受ける端末と、廃棄物の画像情報に基づいて機械学習を行う制御部と、制御部の指令に基づいて廃棄物を選別するロボットアームを備えたものがある（例えば、特許文献１参照）。
【0005】
上記従来の廃棄物選別装置は、コンベアで搬送する廃棄物について、撮影装置で撮影すると共に質量を測定し、撮影画像と質量と体積と比重をモニタに表示する。作業者がモニタの表示内容から材質を判別して端末に入力すると、入力された材質に関する材質情報が画像情報と質量情報に紐づけられ、教師情報として記憶される。制御部は、上記教師情報に基づいて、誤差逆伝播法による最適化手法を用いた畳み込みニューラルネットワークを用いた機械学習を行い、この機械学習の結果に基づいて、廃棄物の材質の判別を行う。材質が判別された廃棄物は、ロボットアームによって把持され、材質に応じた収集場所に収集されて選別される。
【先行技術文献】
【特許文献】
【0006】
【特許文献1】特許第５９６９６８５号
【発明の概要】
【発明が解決しようとする課題】
【0007】
しかしながら上記従来の廃棄物選別装置は、制御部が機械学習を繰り返し行っても、廃棄物の材質を正しく判別する割合である正判別率が向上しない場合がある。したがって、ロボットアームが、選別すべき材質とは異なる材質の廃棄物を収集してしまい、廃棄物選別装置の選別精度が低下する問題がある。廃棄物の選別精度が低いと、選別された廃棄物をリサイクルに用いることが困難になる不都合がある。
【0008】
そこで、本発明の課題は、選別精度を効果的に向上できる廃棄物選別装置を提供することにある。
【課題を解決するための手段】
【0009】
上記課題を解決するため、本発明の廃棄物選別装置は、廃棄物を搬送する搬送装置と、
上記搬送装置で搬送される廃棄物を撮影する撮影装置と、
廃棄物の画像とこの廃棄物の材質を示す材質情報とを教師データとして判別モデルの機械学習を行い、この判別モデルを用いて、上記撮影装置が撮影した画像に基づいて廃棄物の材質を判別する判別部と、
上記判別部で材質が判別された廃棄物のうち、正判別率が所定値以上の材質の廃棄物を上記搬送装置から回収して選別する選別部と
を備えることを特徴としている。
【0010】
上記構成によれば、廃棄物選別装置に投入された廃棄物が、搬送装置で搬送される。搬送装置で搬送される廃棄物が、撮影装置で撮影される。判別部は、廃棄物の画像とこの廃棄物の材質を示す材質情報とを教師データとして判別モデルの機械学習を行う。判別モデルは、上記搬送装置で搬送される廃棄物が上記撮影装置で撮影されて生成された画像と、上記廃棄物の材質情報とが入力されて、機械学習を行ってもよい。また、判別モデルは、予め準備された廃棄物の画像と、この廃棄物の材質情報とが入力されて、機械学習を行ってもよい。これらの判別モデルの機械学習は、選別部が選別を行う前や、選別部が選別を行った後や、選別部が選別を行う合間のいずれに行われてもよい。選別部は、上記判別部で材質が判別された廃棄物のうち、正判別率が所定値以上の材質の廃棄物を上記搬送装置から回収して選別する。したがって、選別された廃棄物は、材質が誤って判別されたものが混入する割合が少ない。その結果、この廃棄物選別装置は、選別された廃棄物の材質の純度が従来よりも高くなるので、選別された廃棄物のリサイクルを効果的に行うことができる。ここで、正判別率は、判別モデルの機械学習が行われた後、判別部で廃棄物の材質を判別する試験を行い、判別結果が正しいか否かを確認することにより求める。こうして求めた正判別率が所定値以上の材質の廃棄物を選別することにより、選別した廃棄物の材質における純度を安定して高めることができる。なお、正判別率が所定値以上の材質の廃棄物であるか否かの判断は、選別部が行っても、選別部の制御装置が行っても、判別部が行ってもよい。
【0011】
一実施形態の廃棄物選別装置は、上記判別部は、上記撮影装置が撮影した廃棄物が金属であるか否かを示す金属情報が入力され、上記廃棄物の画像と金属情報に基づいて上記判別モデルで材質を判別する。
【0012】
上記実施形態によれば、撮影装置で撮影されて材質を判別すべき廃棄物について、この廃棄物が金属であるか否かを示す金属情報が、判別部に入力される。上記金属情報は、画像を視認した作業者によって作成されてもよく、あるいは、搬送装置の周囲に設置された金属検出装置の出力に基づいて作成されてもよい。判別部は、廃棄物の画像と、この廃棄物の金属情報に基づいて判別モデルで判別を行うことにより、上記廃棄物の材質を高い判別率で判別することができる。本発明者は、機械学習を行う判別モデルで廃棄物の画像に基づいて材質の判別を行う場合、廃棄物の画像と共に、廃棄物が金属であるか否かの情報を判別モデルに入力すれば、廃棄物の材質の正判別率が向上することを見出した。この知見に基づいて、本発明がなされるに至ったものである。
【0013】
一実施形態の廃棄物選別装置は、上記搬送装置で搬送される廃棄物が金属であるか否かを検出する金属検出装置を備え、上記金属検出装置から金属情報が上記判別部に入力されるように形成されている。
【0014】
上記実施形態によれば、搬送装置で搬送される廃棄物が、金属検出装置によって金属であるか否かが検出される。この金属検出装置の検出結果であって、廃棄物が金属であるか否かの金属情報が、判断部に入力される。したがって、判断部の判別モデルにより、廃棄物の画像と金属情報に基づいて、上記廃棄物の材質を高い判別率で判別することができる。
【0015】
また、本発明の他の側面によれば、廃棄物選別装置は、廃棄物を搬送する搬送装置と、
上記搬送装置で搬送される廃棄物の可視光の反射光を撮影してなる可視光画像を出力する可視光撮影装置と、
上記搬送装置で搬送される廃棄物の少なくとも赤外線の反射光を撮影してなる赤外線画像を出力する赤外線撮影装置と、
上記廃棄物の赤外線画像に基づいて、赤外線の吸収スペクトルによって廃棄物の材質を判別する第１判別部と、
上記第１判別部により所定の材質と判別された廃棄物以外の廃棄物について、予め準備された廃棄物の可視光画像とこの廃棄物の材質情報とを教師データとして機械学習を行う判別モデルを用いて、上記可視光撮影装置が撮影した可視光画像に基づいて廃棄物の材質を判別する第２判別部と、
上記第１判別部により所定の材質と判別された廃棄物、又は、上記第２判別部で材質が判別された廃棄物のうち正判別率が所定値以上の材質の廃棄物を、上記搬送装置から回収して選別する選別部と
を備えることを特徴としている。
【0016】
上記構成によれば、廃棄物選別装置に投入された廃棄物が、搬送装置で搬送される。搬送装置で搬送される廃棄物が、可視光撮影装置で撮影されて可視光画像が出力される。また、搬送装置で搬送される廃棄物が、赤外線撮影装置で撮影されて赤外線画像が出力される。第１判別部により、赤外線画像に基づいて、赤外線の吸収スペクトルによって廃棄物の材質が判別される。この第１判別部により所定の材質と判別された廃棄物以外の廃棄物について、第２判別部により、可視光画像に基づいて廃棄物の材質が判別される。この第２判別部は、廃棄物の可視光画像とこの廃棄物の材質を示す材質情報とを教師データとして判別モデルの機械学習を行う。判別モデルは、上記搬送装置で搬送される廃棄物が上記可視光撮影装置で撮影されて生成された可視光画像と、上記廃棄物の材質情報とが入力されて、機械学習を行ってもよい。また、判別モデルは、予め準備された廃棄物の可視光画像と、この廃棄物の材質情報とが入力されて、機械学習を行ってもよい。これらの判別モデルの機械学習は、選別部が選別を行う前や、選別部が選別を行った後や、選別部が選別を行う合間のいずれに行われてもよい。第１判別部により所定の材質と判別された廃棄物、又は、第２判別部で材質が判別された廃棄物のうち正判別率が所定値以上の材質の廃棄物が、選別部によって搬送装置から回収されて選別される。このように、赤外線の吸収スペクトルに基づく材質の判別と、可視光画像の機械学習を行った判別モデルを用いた画像認識に基づく材質の判別とを行うので、廃棄物の材質を高い正判別率で判別することができる。ここで、赤外線の吸収スペクトルに基づいて材料を正確に判別できる所定の材質を第１判別部で判別し、他の材質を可視光画像の機械学習に基づく判別モデルを用いた画像認識で判別することにより、効率的かつ正確に材質を判別できる。特に、第２判別部で材質が判別された廃棄物は、正判別率が所定値以上の材質の廃棄物が搬送装置から選別されるので、選別された廃棄物は、材質が誤って判別されたものが混入する割合が少ない。したがって、この廃棄物選別装置は、選別された廃棄物の材質の純度が従来よりも高くなるので、選別された廃棄物のリサイクルを効果的に行うことができる。ここで、正判別率は、第２判別部で廃棄物の材質を判別する試験を行い、判別結果が正しいか否かを確認することにより求める。こうして求めた正判別率が所定値以上の材質の廃棄物を選別することにより、選別した廃棄物の材質における純度を安定して高めることができる。この正判別率の試験は、第２判別部の判別モデルの機械学習を行う度に行ってもよい。また、正判別率が所定値以上の材質の廃棄物であるか否かの判断は、選別部が行っても、選別部の制御装置が行っても、第２判別部が行ってもよい。
【0017】
一実施形態の廃棄物選別装置は、上記第１判別部により判別された所定の材質は、正判別率が所定値以上の材質である。
【0018】
上記実施形態によれば、第１判別部により判別された廃棄物の材質が、正判別率が所定値以上の材質である場合、この第１判別部の判別結果が採用され、この材質の廃棄物が選別部によって選別される。赤外線の吸収スペクトルに基づいて材質を判別する第１判別部についても、正判別率を考慮することにより、選別部で選別された廃棄物は、材質が誤って判別されたものが混入する割合が少ない。したがって、この廃棄物選別装置は、選別された廃棄物の材質の純度が従来よりも高くなるので、選別された廃棄物のリサイクルを効果的に行うことができる。
【0019】
一実施形態の廃棄物選別装置は、上記赤外線撮影装置は、上記赤外線の反射光の強度分布を複数の波長帯域毎に示したマルチスペクトル画像を出力するマルチスペクトルカメラである。
【0020】
上記実施形態によれば、廃棄物をマルチペクトルカメラで撮影して出力されたマルチスペクトル画像を用いることにより、廃棄物の可視光から赤外線までの吸収スペクトルを精度よく検出できる。したがって、廃棄物の材質を正確に判別できる。ここで、マルチスペクトルカメラは、複数の波長帯域における反射光の強度分布を出力するものであれば、波長帯域の数や値は限定されない。したがって、マルチスペクトルカメラには、ハイパースペクトルカメラが包含される。また、マルチスペクトル画像には、ハイパースペクトル画像が包含される。また、マルチスペクトル画像には、複数の波長帯域における反射光の強度分布を示す画像を作成可能な情報が含まれる。したがって、マルチスペクトル画像に基づいて、撮影範囲内の所定の位置における可視光及び赤外線の反射スペクトルや吸収スペクトルを知ることができる。
【0021】
上記第２判別部は、上記可視光撮影装置が撮影した廃棄物が金属であるか否かを示す金属情報が入力され、上記廃棄物の可視光画像と金属情報に基づいて上記判別モデルで材質を判別する。
【0022】
上記実施形態によれば、可視光撮影装置で撮影されて材質を判別すべき廃棄物について、この廃棄物が金属であるか否かを示す金属情報が、第２判別部に入力される。上記金属情報は、可視光画像を視認した作業者によって作成されてもよく、あるいは、搬送装置の周囲に設置された金属検出装置の出力に基づいて作成されてもよい。第２判別部は、廃棄物の可視光画像と、この廃棄物の金属情報に基づいて判別モデルで判別を行うことにより、上記廃棄物の材質を高い判別率で判別することができる。
【0023】
一実施形態の廃棄物選別装置は、上記マルチスペクトル画像に基づいて判別された複数の材質が単一の廃棄物に存在し、所定の材質に対応する領域が所定の割合を占める場合、上記第１判別部が、上記廃棄物が上記所定の材質であると判別する。
【0024】
上記実施形態によれば、マルチスペクトルカメラから出力されたマルチスペクトル画像に基づいて、第１判別部が廃棄物の材質を判別するとき、単一の廃棄物に、複数の材質が検出される場合がある。このような廃棄物として、例えば、紙や樹脂のラベルが貼付されたガラス瓶や、土砂が付着した木等がある。このような廃棄物は、マルチスペクトル画像に基づいて判別した材質の分布領域を平面座標上に表した場合、ガラスや木のように、体積において大半を占める材質が、比較的少ない領域を占める。したがって、所定の材質が所定の占有割合である場合に、この廃棄物の材質が上記材質であると判別することにより、この廃棄物の主要な材質を正確に特定することができる。例えば、マルチスペクトル画像に基づく材質の分布画像において、ガラスと、ガラス以外の紙又は樹脂等の複数の材質の領域が検出され、これらの材質のうちのガラスの占める割合が４０％を超える場合、上記廃棄物をガラスであると判別する。これにより、ラベルが貼付されたガラス瓶の材質を、ガラスと判別することができる。ここで、上記所定の割合を占める材質が、複数の材質の中で最も大きい割合を占める場合に、この廃棄物の材質であると判別してもよい。
【0025】
一実施形態の廃棄物選別装置は、上記第１判別部が、上記マルチスペクトル画像に基づいて、プラスチック、ポリ塩化ビニル樹脂及び紙類のいずれかの材質を判別し、上記第２判別部が、上記可視光画像に基づいて、コンクリート、木、ガラス、ペットボトル及びポリスチレンフォームのいずれかの材質を判別する。
【0026】
上記実施形態によれば、第１判別部により、マルチスペクトル画像に基づく反射光のスペクトル解析が行われ、プラスチック、ポリ塩化ビニル樹脂及び紙類のいずれかの材質が判別される。また、第２判別部により、可視光画像に基づく画像認識により、コンクリート、木、ガラス、ペットボトル及びポリスチレンフォームのいずれかの材質が判別される。これにより、廃棄物の全体の正判別率を効果的に高めることができる。ここで、第１判別部で判別されるプラスチックは、ポリエチレンテレフタレート及びポリスチレンフォームを除く。
【0027】
また、本発明の他の側面によれば、廃棄物選別装置は、廃棄物を搬送する搬送装置と、
上記搬送装置で搬送される廃棄物の少なくとも赤外線の反射光を撮影してなる赤外線画像を出力する赤外線撮影装置と、
予め準備された廃棄物の赤外線画像とこの廃棄物の材質情報とを教師データとして機械学習を行う判別モデルを用いて、上記赤外線撮影装置が撮影した赤外線画像に基づいて廃棄物の材質を判別する判別部と、
上記判別部により所定の材質と判別された廃棄物のうち正判別率が所定値以上の材質の廃棄物を、上記搬送装置から回収して選別する選別部と
を備えることを特徴としている。
【0028】
上記構成によれば、廃棄物選別装置に投入された廃棄物が、搬送装置で搬送される。搬送装置で搬送される廃棄物が、赤外線撮影装置で撮影されて赤外線画像が出力される。判別部により、赤外線画像に基づいて廃棄物の材質が判別される。この判別部は、廃棄物の赤外線画像とこの廃棄物の材質を示す材質情報とを教師データとして判別モデルの機械学習を行う。判別モデルは、上記搬送装置で搬送される廃棄物が上記赤外線撮影装置で撮影されて生成された赤外線画像と、上記廃棄物の材質情報とが入力されて、機械学習を行ってもよい。また、判別モデルは、予め準備された廃棄物の赤外線画像と、この廃棄物の材質情報とが入力されて、機械学習を行ってもよい。これらの判別モデルの機械学習は、選別部が選別を行う前や、選別部が選別を行った後や、選別部が選別を行う合間のいずれに行われてもよい。判別部により材質が判別された廃棄物のうち正判別率が所定値以上の材質の廃棄物が、選別部によって搬送装置から回収されて選別される。このように、赤外線画像の機械学習を行った判別モデルを用いた画像認識に基づく材質の判別を行うので、廃棄物の材質を高い正判別率で判別することができる。したがって、この廃棄物選別装置は、選別された廃棄物の材質の純度が従来よりも高くなるので、選別された廃棄物のリサイクルを効果的に行うことができる。ここで、正判別率は、判別部で廃棄物の材質を判別する試験を行い、判別結果が正しいか否かを確認することにより求める。こうして求めた正判別率が所定値以上の材質の廃棄物を選別することにより、選別した廃棄物の材質における純度を安定して高めることができる。この正判別率の試験は、判別部の判別モデルの機械学習を行う度に行ってもよい。また、正判別率が所定値以上の材質の廃棄物であるか否かの判断は、選別部が行っても、選別部の制御装置が行っても、判別部が行ってもよい。
【0029】
一実施形態の廃棄物選別装置は、上記赤外線撮影装置は、上記赤外線の反射光の強度分布を複数の波長帯域毎に示したマルチスペクトル画像を出力するマルチスペクトルカメラである。
【0030】
上記実施形態によれば、廃棄物をマルチペクトルカメラで撮影して出力されたマルチスペクトル画像を用いることにより、廃棄物の可視光から赤外線までの吸収スペクトルを精度よく検出できる。したがって、廃棄物の材質を正確に判別できる。ここで、マルチスペクトルカメラは、複数の波長帯域における反射光の強度分布を出力するものであれば、波長帯域の数や値は限定されない。したがって、マルチスペクトルカメラには、ハイパースペクトルカメラが包含される。また、マルチスペクトル画像には、ハイパースペクトル画像が包含される。また、マルチスペクトル画像には、複数の波長帯域における反射光の強度分布を示す画像を作成可能な情報が含まれる。したがって、マルチスペクトル画像に基づいて、撮影範囲内の所定の位置における可視光及び赤外線の反射スペクトルや吸収スペクトルを知ることができる。
【0031】
一実施形態の廃棄物選別装置は、上記判別部が、上記マルチスペクトル画像に基づいて、プラスチック、ポリ塩化ビニル樹脂、紙類、コンクリート、石、ガラス、木、ペットボトル及びポリスチレンフォームのいずれかの材質を判別する。
【0032】
上記実施形態によれば、判別部により、マルチスペクトル画像に基づく反射光のスペクトル解析と画像処理が行われ、プラスチック、ポリ塩化ビニル樹脂、紙類、コンクリート、石、ガラス、木、ペットボトル及びポリスチレンフォームのいずれかの材質が判別される。これにより、廃棄物の全体の正判別率を効果的に高めることができる。ここで、判別部で判別されるプラスチックは、ポリエチレンテレフタレート及びポリスチレンフォームを除く。
【0033】
本発明の廃棄物選別方法は、廃棄物の画像を準備する画像準備工程と、上記画像準備工程で準備された廃棄物の画像と、この廃棄物の材質を示す材質情報とを教師データとして判別モデルの機械学習を行う機械学習工程と、
材質を判別すべき廃棄物を撮影する撮影工程と、
上記撮影工程で撮影した破棄物の画像に基づいて、上記機械学習工程で機械学習を行った判別モデルを用いて廃棄物の材質を判別する判別工程と、
上記判別工程で判別された廃棄物の材質が、所定値以上の正判別率の材質である場合に、この廃棄物を対象に選別を行う選別工程と
を備えることを特徴としている。
【0034】
上記構成によれば、廃棄物の選別を目的として、選別の対象となる可能性のある廃棄物について、画像準備工程で画像を準備する。画像準備工程で準備された廃棄物の画像と、この廃棄物の材質を示す材質情報とを教師データとして、機械学習工程で判別モデルの機械学習を行う。この後、材質を判別すべき廃棄物を、撮影工程で撮影する。この撮影工程で撮影された破棄物の画像に基づいて、上記機械学習工程で機械学習を行った判別モデルを用いて、判別工程により廃棄物の材質を判別する。この判別工程で判別された廃棄物の材質が、正判別率が所定値以上の材質である場合に、この廃棄物を対象に選別工程で選別を行う。機械学習工程は、選別部が選別を行う前に加えて、選別部が選別を行った後や、選別部が選別を行う合間に行ってもよい。選別工程では、上記判別工程で材質が判別された廃棄物のうち、正判別率が所定値以上の材質の廃棄物を対象に選別するので、選別された廃棄物は、材質が誤って判別されたものが混入する割合が少ない。したがって、この廃棄物選別方法によれば、選別された廃棄物の材質の純度が従来よりも高くなるので、選別された廃棄物のリサイクルを効果的に行うことができる。ここで、正判別率は、機械学習工程で判別モデルの機械学習を行った後、この判別モデルを用いて複数の廃棄物の材質を判別する試験を行い、判別結果が正しいか否かを確認することにより求める。こうして求めた正判別率が所定値以上の材質の廃棄物を選別することにより、選別した廃棄物の材質における純度を安定して高めることができる。
【0035】
一実施形態の廃棄物選別方法は、上記選別工程で選別されずに残った廃棄物を、上記撮影工程に戻す。
【0036】
上記実施形態によれば、選別工程で選別されずに残った廃棄物は、判別工程で判別モデルを用いて材質が判別されなかったものである。このような廃棄物を撮影工程に戻し、判別すべき廃棄物として再び撮影し、この撮影工程で撮影した画像に基づいて、判別工程で判別モデルを用いて材質を再び判別する。最初の判別工程で材質が判別されなかった廃棄物を、撮影工程に戻して再び撮影することにより、判別モデルに入力する画像を更新できるので、新たな画像によって材質を正しく判別できる可能性がある。その結果、廃棄物の材質の正判別率を高めることができる。
【0037】
一実施形態の廃棄物選別方法は、上記機械学習工程が、上記判別モデルの作成場所から離れた場所に存在する作業者の入力に基づいて作成された材質情報を用いて、判別モデルの機械学習を行う。
【0038】
上記実施形態によれば、判別モデルの作成場所から離れた場所に存在する作業者の入力に基づいて材質情報を作成し、この材質情報を用いて判別モデルの機械学習を行うことにより、廃棄物の材質の判断を、多様な場所で行うことができる。したがって、判別モデルの機械学習を、場所に制限されることなく行うことができる。ここで、判別モデルの配置場所から離れた場所の作業者に、情報ネットワークを介して廃棄物の画像を送信し、視認させて廃棄物の材質を判断させ、判断結果の入力情報を、情報ネットワークを介して受信して材質情報を形成してもよい。これにより、判別モデルの作成場所から離れた場所の作業者の判断に基づいて、判別モデルを作成できる。
【図面の簡単な説明】
【0039】
【図1】本発明の第１実施形態の廃棄物選別装置を示す模式図である。
【図2】第１実施形態の廃棄物選別装置の判別装置と制御装置を示すブロック図である。
【図3】第１実施形態の廃棄物選別装置が行う選別方法を示すフロー図である。
【図4】第２実施形態の廃棄物選別装置を示す模式図である。
【図5】第２実施形態の廃棄物選別装置の判別装置と制御装置を示すブロック図である。
【図6】第２実施形態の廃棄物選別装置が行う選別方法を示すフロー図である。
【図7】第３実施形態の廃棄物選別装置を示す模式図である。
【図8】第３実施形態の廃棄物選別装置の判別装置と制御装置を示すブロック図である。
【図9】第３実施形態の廃棄物選別装置が行う選別方法を示すフロー図である。
【発明を実施するための形態】
【0040】
以下、本発明を図示の実施の形態により詳細に説明する。
【0041】
図１は、本発明の第１実施形態の廃棄物選別装置を示す模式図である。この廃棄物選別装置は、都市ごみ等のように、コンクリート、ガラスビン、金属屑、プラスチック、木片及び古紙等の種々のものが混在した廃棄物を、材質に応じて選別するものである。本実施形態の廃棄物選別装置は、例えばゴミ処理場等に設置され、家庭や商業施設等から収集された廃棄物を選別し、材質毎に回収して再利用を行うために用いることができる。
【0042】
第１実施形態の廃棄物選別装置１は、廃棄物２を搬送する搬送装置としてのコンベヤ３と、コンベヤ３上の廃棄物２の形状及び高さを測定する３Ｄセンサ４と、コンベヤ３上の廃棄物２を撮影する撮影装置としての可視光カメラ５と、コンベヤ３で搬送される廃棄物２が金属と非金属のいずれであるかを検知する金属センサ６を備える。３Ｄセンサ４、可視光カメラ５及び金属センサ６は、これらから入力された情報に基づいて廃棄物２の材質を判別する判別装置７に接続されている。判別装置７は制御装置８に接続され、判別装置７による判別結果に応じて、制御装置８が、選別部としてのロボットアーム９と、コンベヤ３を制御する。制御装置８で制御されたロボットアーム９により、コンベヤ３上の廃棄物２が取り上げられ、材質毎に分けて収集する収集箱１０に投入されるようになっている。
【0043】
コンベヤ３は、両端のプーリに巻き回されたコンベヤベルトが、モータに連結されたプーリで駆動され、コンベヤベルトの上の廃棄物２を搬送するように構成されている。このコンベヤ３は、モータ及び変速機等を含んで形成された駆動装置３０が制御装置８によって制御され、廃棄物２の搬送の動作が制御される。
【0044】
３Ｄセンサ４は、コンベヤ３上の廃棄物２の形状及び高さを計測し、測定情報が、選別対象の判断や、ロボットアーム９の制御に用いられる。３Ｄセンサ４は、レーザースキャナを用いて構成することができる。上記３Ｄセンサ４は、コンベヤ３の上方を取り囲むように設置された計測部屋の内側に配置されている。ここで、３Ｄセンサ４は、レーザースキャナ以外の他の光学的手法によるものや、超音波等を利用した音響的手法によるものを用いてもよい。
【0045】
可視光カメラ５は、コンベヤ３上の廃棄物２を撮影して可視光画像を出力し、この可視光画像に基づいて判別装置７で廃棄物２の材質が判別される。可視光カメラ５は、コンベヤ３の上方を取り囲むように設置された撮影部屋の内側に配置され、外部の光による影響を防止するようになっている。可視光カメラ５は、コンベヤ３のコンベヤベルトが所定距離進行する毎に静止画像を撮影して、コンベヤベルト上の廃棄物２を漏れなく撮影するようになっている。
【0046】
金属センサ６は、コンベヤ３上の廃棄物２が金属であるか、又は、非金属であるかを検出し、検出結果として金属／非金属情報を出力する。金属／非金属情報は、判別装置７に入力され、廃棄物２の材質の判別に用いられる。金属センサ６は、電磁波や電磁界を利用したものや、Ｘ線を利用したもの等、種々の原理で金属又は非金属を検出するものを用いることができる。
【0047】
図２は、判別装置７及び制御装置８を示すブロック図である。判別装置７は、３Ｄセンサ４の測定情報や可視光カメラ５が撮影した可視光画像を処理する情報処理部１１と、情報処理部１１で処理された可視光画像に基づいて廃棄物２の材質を判別する判別部１２と、３Ｄセンサ４や可視光カメラ５からの情報を記憶する記憶部１３を有する。制御装置８は、判別部１２による判別結果に基づいてロボットアーム９を制御すると共にコンベヤ３を制御する制御部１６と、廃棄物選別装置１の設定に関する操作を受け付ける操作部１７を有する。
【0048】
判別装置７と制御装置８は、いずれもＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）と、コンピュータプログラムが格納された記憶装置を有し、記憶装置のコンピュータプログラムが読み出されてＣＰＵで実行されることにより、各装置の機能が実現される。なお、判別装置７の記憶部１３は、磁気ディスクや半導体メモリ等で形成することができる。また、記憶部１３の一部又は全部を、判別装置７から分離して廃棄物選別装置１の設置位置から離れた位置に配置し、情報ネットワークにより判別装置７に接続してもよい。この場合、記憶部１３として、クラウドサーバや、ブロックチェーン技術を用いた分散型台帳を利用することができる。また、制御装置８の操作部１７は、ボタン、タッチセンサ、タッチパッド、ダイヤル等の入力装置や、表示機能を兼ね備えたタッチパネルで形成することができる。
【0049】
判別装置７の情報処理部１１は、可視光カメラ５が撮影した可視光画像と、３Ｄセンサ４の測定情報と、金属センサ６の検出情報が入力される。情報処理部１１は、３Ｄセンサ４の測定情報に基づいて、所定の大きさであり、かつ、コンベヤ３上の配置状態が把持可能な状態である廃棄物２を、選別候補として抽出する。大きさについては、ロボットアーム９の把持部で把持可能な大きさであるものを抽出する。また、配置状態については、ロボットアーム９の把持部が他の廃棄物２やコンベヤ３等の部材に干渉することなく把持できるものを抽出する。情報処理部１１は、可視光画像から、選別候補として抽出した廃棄物２の部分の画像を切り出す。可視光画像に複数の選別候補の廃棄物２が写り込んでいる場合、複数の廃棄物２の部分の画像を切り出す。画像が切出された選別候補の廃棄物２について、可視光画像中の座標に基づいて平面位置を特定すると共に、３Ｄセンサ４の測定情報のうちの高さ情報を特定して紐付ける。なお、廃棄物２の大きさや配置は、可視光カメラ５の可視光画像に基づいて判断してもよい。
【0050】
情報処理部１１は、選別候補として抽出した廃棄物２について、可視光画像の廃棄物２の部分と高さ情報に基づいて重心を算出すると共に、ロボットアーム９で把持する際の把持部の姿勢を特定する。これらの廃棄物２の重心の情報と、廃棄物２を把持する際の把持部の姿勢の情報は、判別部１２で判別された材質の情報と共に、制御装置８の制御部１６へ送られる。
【0051】
また、判別装置７の情報処理部１１は、コンベヤ３に設置された移動量検出部で検出されたコンベヤベルトの移動量を示す情報を、制御装置８の制御部１６を介して受け取る。コンベヤ３の移動量検出部は、エンコーダ等を用いることができる。このコンベヤベルトの移動量に応じて、情報処理部１１は、３Ｄセンサ４、可視光カメラ５及び金属センサ６を制御して測定や撮影のタイミングを図るようになっている。３Ｄセンサ４、可視光カメラ５及び金属センサ６の作動のタイミングをコンベヤ３の移動量に応じて制御することにより、３Ｄセンサ４、可視光カメラ５及び金属センサ６で取得した情報に基づいて、ロボットアーム９で廃棄物２を正確に特定して選別することができる。
【0052】
判別装置７の判別部１２は、判別装置７の情報処理部１１で可視光画像から切出された選別候補の廃棄物２の画像に基づいて、画像認識技術により廃棄物２の材質の判別を行う。判別部１２は、判別モデルとして、教師有り学習によってアルゴリズムを成長させるニューラルネットワークを用いて構成されている。この判別部１２は、廃棄物２の画像が入力され、ニューラルネットワークにより計算を実行して、上記廃棄物２の材質を出力する。なお、判別部１２は、判別モデルとして、他の教師有り学習を行うアルゴリズムによるサポートベクターマシン（ＳＶＭ）等を用いてもよい。また、判別部１２のニューラルネットワークは、多数構造を有してディープラーニングを行ってもよい。また、判別部１２は、ニューラルネットワークによる処理を、ソフトウェアで実行してもよく、或いは、ハードウェアで実行してもよい。
【0053】
判別部１２のニューラルネットワークは、廃棄物２の選別作業を行うに先立ち、学習モードで機械学習を行う。学習モードでは、教師データとして、廃棄物の画像を入力すると共に、この廃棄物の画像の材質の情報を正解として入力する。廃棄物選別装置１で選別しようとする複数の材質について、廃棄物の種々の形態を示した画像と、この廃棄物の材質を示す正解の情報との複数の組み合わせを準備し、これらの複数の組み合わせの画像及び情報を用いて機械学習を行う。
【0054】
制御装置８の制御部１６は、判別装置７からの情報に基づいてロボットアーム９及びコンベヤ３を制御する。また、コンベヤ３の移動量検出部で検出されたコンベヤベルトの移動量を示す情報を、判別装置７に出力する。また、制御部１６は、情報処理部１１で選別の対象として特定された廃棄物２について、情報処理部１１から受け取った廃棄物２の重心とロボットアーム９の把持部の姿勢に関する情報に基づいて、ロボットアーム９を制御し、廃棄物２をコンベヤ３から取り上げ、材質に応じた収集箱１０に投入する動作を実行させる。
【0055】
ロボットアーム９は、例えば垂直多関節ロボットにより構成され、先端に設けた把持部により、コンベヤ３上の廃棄物２を掴んで取り上げ、取り上げた廃棄物２の材質に応じて、材質毎に設定された収集箱１０に投入する。ロボットアーム９は、垂直多関節ロボット以外に、パラレルリンクロボット等の他の形式のロボットを用いてもよい。
【0056】
上記構成の廃棄物選別装置１は、判別部１２で行わる処理に応じて、学習モードと判別モードの運転を行う。すなわち、判別部１２は、廃棄物２の判別の学習を行う学習モードと、廃棄物２の選別のために判別を行う判別モードの処理を行う。
【0057】
学習モードでは、廃棄物選別装置１のコンベヤ３で廃棄物２を搬送し、可視光カメラ５で撮影した可視光画像を情報処理部１１で処理して廃棄物２の部分を抽出すると共に、制御装置１７の操作部１７を通じて上記廃棄物２の材質に関する情報を正解として入力する。上記廃棄物２の画像と、上記材質に関する正解の情報を、判別部１２に入力して教師有り学習を行うことができる。正解としての廃棄物２の材質に関する情報の入力は、判別装置７に入力部を接続し、この入力部を通じて行ってもよい。
【0058】
また、学習モードにおいて、廃棄物選別装置１の設置位置と異なる位置で、正解としての廃棄物２の材質に関する情報を入力してもよい。この場合、廃棄物選別装置１に通信装置を接続すると共に、情報の入力を行う位置に、画像表示装置と入力部と通信部を有する情報入力装置を設置する。廃棄物選別装置１の通信装置と、情報入力装置の通信部を情報ネットワークで接続し、廃棄物２の画像を情報入力装置に送信する。この廃棄物２の画像を情報入力装置の表示部に表示し、操作者が、上記表示部に表示された廃棄物２の画像を視認し、この廃棄物２の材質を判断して、入力部に材質に関する情報を入力する。入力部に入力された情報を、情報入力装置から廃棄物選別装置１に送信し、廃棄物２の画像と共に教師データとして判別部１２に入力する。このようにして、廃棄物選別装置１から離れた位置に存在する操作者が、廃棄物２の材質を判断して材質に関する情報を送信することにより、廃棄物選別装置１の判別部１２の機械学習を行うことができる。情報入力装置を、例えば障害者作業所や作業療法施設等に配置することにより、廃棄物２の材質の判断と入力の仕事を提供することができる。
【0059】
また、学習モードでは、コンベヤ３上の廃棄物２の撮影画像に基づいて機械学習を行う以外に、廃棄物の画像と、この画像の廃棄物の材質を示す情報とを予め準備しておき、これらの画像と情報を判別部１２に入力して機械学習を行ってもよい。また、廃棄物選別装置１と異なる位置に、判別部１２と同様のニューラルネットワークを含む計算機を設置し、この計算機で廃棄物の画像と材質を示す情報とに基づいて機械学習を行い、機械学習により得られたパラメータを廃棄物選別装置１の判別部１２に読み込ませてもよい。また、上記計算機で機械学習を行って得たパラメータは、複数の廃棄物選別装置１と共有してもよい。
【0060】
学習モードで機械学習を行った判別部１２は、判別モードにおいて、情報処理部１１から出力された廃棄物２の画像が入力され、アルゴリズムに沿って計算を行い、材質を出力する。ここで、判別部１２には、情報処理部１１から出力された廃棄物２の画像と共に、金属センサ６から出力された金属／非金属情報が入力され、ニューラルネットワークで処理が行われる。このように、廃棄物２の画像と金属／非金属情報に基づいて判別を行うことにより、判別部１２による材質の判別結果の正確さを、廃棄物２の画像のみに基づいて判別を行うよりも、向上することができる。
【0061】
また、判別部１２は、判別モードで材質の判別を行った廃棄物２のうち、予め行われた判別試験により所定の正判別率に達した材質の廃棄物２について、この廃棄物２を選別の対象として、ロボットアーム９の動作に必要な情報を制御装置８に向けて出力する。ロボットアーム９の動作に必要な情報としては、廃棄物２の材質に関する情報や、廃棄物２の重心に関する情報や、ロボットアームの把持部の姿勢に関する情報等を採用できる。正判別率を特定するための判別試験は、判別部１２の学習モードで機械学習を行った後に行ってもよい。また、ロボットアーム９の動作に必要な情報を制御装置８に向けて出力するのは、判別部１２による判別結果を受けて、情報処理部１１が行ってもよい。また、廃棄物２を選別の対象とする正判別率の値は、８０％以上や、９０％以上等の種々の値を設定できる。
【0062】
表１は、判別モードにおいて、金属センサ６から出力された金属／非金属情報を入力しない金属教示無の場合と、金属／非金属情報を入力する金属教示有の場合とで、判別部１２による材質の判別結果の正解の割合を示した正判別率の違いを示した表である。ここで、正判別率は、アルミニウム、銅、鉄、ＳＵＳ（ステンレススチール）、ガラス、コンクリート、木、紙類、プラスチック、ポリ塩化ビニル樹脂、ペットボトル及びポリスチレンフォームが混在する１０００個の廃棄物２について、判別部１２で材質の判別を行い、所定の材質であると判別された数のうち、正しく判別された数の占める割合を算出して求めた。また、判別部１２は、アルミニウム、銅、鉄、ＳＵＳ、ガラス、コンクリート、木、紙類、プラスチック、ペットボトル、ポリスチレンフォーム（発泡スチロール）及びＰＶＣ（ポリ塩化ビニル樹脂）について、予め教師データにより機械学習を行った。表１において、数値の単位は％であり、判別した材質の正判別率を示している。ここで、プラスチックは、ポリ塩化ビニル樹脂、ポリスチレンフォーム及びポリエチレンテレフタレート以外のプラスチックである。【表1】
【0063】
表１から分かるように、判別モードにおいて、廃棄物２の画像と共に、金属／非金属情報を判別部１２に入力することにより、材質の正判別率を向上することができる。
【0064】
なお、表１には、アルミニウム、銅、鉄及びＳＵＳについては、金属センサ６で金属と検知されたことに応じて判別部１２による判別は行わなかったが、判別部１２による判別を行ってもよい。
【0065】
図３は、第１実施形態の廃棄物選別装置１の動作を示すフロー図である。図３に示すように、本実施形態の廃棄物選別装置１は、まず、判別装置７の判別部１２の機械学習を行うために、廃棄物の可視光画像と、この廃棄物の材質を示す情報とを含む教師データを準備する（ステップＳ１）。教師データの準備は、廃棄物選別装置１のコンベヤ３で廃棄物２を搬送し、可視光カメラ５で廃棄物２を撮影して得た可視光画像を判別装置７の情報処理部１１で抽出すると共に、この廃棄物２の材質を示す情報を外部から入力して行ってもよい。また、教師データとして、他の方法により得た廃棄物の画像と、この廃棄物の材質を示す情報とを準備してもよい。教師データを準備した後、判別部１２が教師モードになり、教師データの入力を受け、判別を行おうとする複数の材質の廃棄物について機械学習を行う（ステップＳ２）。判別部１２の機械学習を行った後、廃棄物選別装置１に実際に廃棄物２を投入し、判別部１２により廃棄物２の材質を判別する試験を行う。この判別試験は、判別しようとする材質の複数の廃棄物について行う。判別部１２による廃棄物２の判別の結果を集計し、材質を正確に判別できたか否かを確認して、材質毎の正判別率を算出する（ステップＳ３）。この後、判別部１２が判別モードになり、廃棄物２を矢印Ｅで示すように、コンベヤ３の始端部に投入する。コンベヤ３に投入されて搬送される廃棄物２は、金属センサ６で金属又は非金属であるかが判別され（ステップＳ４）、３Ｄセンサ４で形状が計測されて三次元情報が取得され（ステップＳ５）、可視光カメラ５で可視光画像が取得される（ステップＳ６）。これらの金属センサ６、３Ｄセンサ４及び可視光カメラ５で取得された情報が、判別装置７の情報処理部１１で処理され、金属／非金属情報と可視光画像が判別部１２のニューラルネットワークに入力されて、廃棄物２の材質が判別される（ステップＳ７）。判別部１２のニューラルネットワークで判別された廃棄物２の材質が、判別試験で正判別率が８０％以上と特定された材質である場合、判別部１２は、廃棄物２の材質に関する情報と、廃棄物２の重心に関する情報と、ロボットアームの把持部の姿勢に関する情報を、制御装置８の制御部１６に出力する。制御部１６は、廃棄物２の材質に関する情報と、廃棄物２の重心に関する情報と、ロボットアームの把持部の姿勢に関する情報を受けると、これらの情報に基づいてロボットアーム９を制御し、コンベヤ３上の廃棄物２を取り上げて、材質に対応した収集箱１０に投入して選別を行う（ステップ８）。コンベヤ３上の廃棄物２のうち、ロボットアーム９で取り上げられなかった廃棄物２は、矢印Ｆ１で示すようにコンベヤ３の終端部から排出され、図示しないコンベヤ等の搬送装置によって戻されて、矢印Ｆ２で示すようにコンベヤ３の始端部に再度投入される。コンベヤ３上に、選別すべき廃棄物２が残留しているか否かが、３Ｄセンサ４の三次元情報及び／又は可視光カメラ５の可視光画像に基づいて判別装置７で判断され（ステップＳ９）、コンベヤ３上に選別すべき廃棄物２が残留する場合、制御装置８によりコンベヤ３の運転が継続され、これにより、コンベヤ３上の廃棄物２についてステップＳ４乃至Ｓ８の工程が繰り返される。一方、コンベヤ３上に選別すべき廃棄物２が無くなると、制御装置８によりコンベヤ３の運転が停止され、廃棄物選別装置１の選別の作業が終了する。
【0066】
以上のように、本実施形態の廃棄物選別装置１によれば、判別部１２で材質が判別される廃棄物２のうち、正判別率が８０％以上の材質の廃棄物２を選別するので、収集箱１０に収集される廃棄物２の材質の純度を効果的に高めることができる。したがって、収集箱１０に収集された廃棄物２は、効率的に再利用を行うことができる。
【0067】
また、本実施形態の廃棄物選別装置１は、判別部１２で選別対象とされなかった廃棄物２を、再度コンベヤ３に投入して循環させることにより、コンベヤ３上の配置状態を変えることができる。これにより、当初は材質が判別されなかった廃棄物２を、配置状態が変わることにより正しく判別して選別することができるので、廃棄物２の選別残しを効果的に削減できる。
【0068】
図４は、本発明の第２実施形態の廃棄物選別装置２１を示す模式図である。第２実施形態の廃棄物選別装置２１は、撮影装置として、可視光カメラ５に加えてハイパースペクトルカメラ２２を備えると共に、ハイパースペクトルカメラ２２の撮影画像に基づいて材質を判別する第１判別部２６と、可視光カメラ５の撮影画像に基づいて材質を判別する第２判別部２７とを備える点が、第１実施形態と異なる。第２実施形態において、第１実施形態と同じ機能を有する部分については第１実施形態と同じ符号を付して、詳細な説明を省略する。
【0069】
以下、第２実施形態の廃棄物選別装置２１に関して、第１実施形態の廃棄物選別装置１と異なる点を中心に説明を行う。
【0070】
第２実施形態の廃棄物選別装置２１は、コンベヤ３上の廃棄物２の形状及び高さを測定する３Ｄセンサ４と、コンベヤ３上の廃棄物２を撮影する可視光撮影装置としての可視光カメラ５と、コンベヤ３上の廃棄物２を撮影する赤外線撮影装置としてのハイパースペクトルカメラ２２と、コンベヤ３で搬送される廃棄物２が金属と非金属のいずれであるかを検知する金属センサ６を備える。３Ｄセンサ４、可視光カメラ５、ハイパースペクトルカメラ２２及び金属センサ６は、これらから入力された情報に基づいて廃棄物２の材質を判別する判別装置２４に接続されている。判別装置２４は、ロボットアーム９とコンベヤ３を制御する制御装置８に接続されている。
【0071】
ハイパースペクトルカメラ２２は、撮影対象の反射光の強度を、可視光及び近赤外線に属する複数の波長帯域ごとに取得して記録するものであり、２次元座標に、複数の波長帯域の光強度を示す情報が重畳して記録されたハイパースペクトル画像を出力する。このように、ハイパースペクトル画像は、赤外線帯域の情報を含み、本発明の赤外線画像に該当する。なお、ハイパースペクトルカメラ２２は、可視光線の波長から赤外線の波長までの間で、複数の波長帯域について光強度を記録するものであれば、記録する波長帯域の個数や値は、判別しようとする材質に応じて適宜設定可能である。例えば、ハイパースペクトルカメラ２２としては、５００ｎｍ以上１７００ｎｍ以下の波長の可視光及び赤外線を、１〜１０ｎｍ程度の帯域幅毎に撮影するものを用いることができる。或いは、７５０ｎｍ以上１７００ｎｍ以下の波長の可視光及び赤外線を撮影するものを用いてもよい。また、ハイパースペクトルカメラ２２の撮影する波長の下限と上限は、いずれも他の値であってもよい。また、赤外線カメラとして、ハイパースペクトルカメラよりも記録する波長の範囲が狭く、また、波長帯域の数が少ないマルチスペクトルカメラを用いてもよい。なお、ハイパースペクトルカメラは、マルチスペクトルカメラに包含される。
【0072】
判別装置２４は、図５のブロック図に示すように、３Ｄセンサ４の測定情報や可視光カメラ５が撮影した可視光画像やハイパースペクトルカメラ２２から出力されたハイパースペクトル画像を処理する情報処理部２５と、情報処理部２５で処理されたハイパースペクトル画像に基づいて廃棄物２の材質を判別する第１判別部２６と、情報処理部２５で処理された可視光画像に基づいて廃棄物２の材質を判別する第２判別部２７と、３Ｄセンサ４や可視光カメラ５やハイパースペクトルカメラ２２からの情報を記憶する記憶部２８を有する。
【0073】
判別装置２４の情報処理部２５は、第１実施形態の情報処理部１１と同様に選別候補の廃棄物２を抽出すると、抽出した廃棄物２について、ハイパースペクトル画像の廃棄物２の部分を切り出し、選別する選別候補として抽出し、切出した廃棄物２のハイパースペクトル画像を第１判別部２６へ出力する。
【0074】
判別装置２４の第１判別部２６は、情報処理部２５から入力された廃棄物２のハイパースペクトル画像に基づいて、反射光の波長分布を分析し、廃棄物２の吸収スペクトルを特定する。第１判別部２６は、特定した吸収スペクトルに基づいて、廃棄物２の材質を特定する。第１判別部２６により材質が特定され、特定された材質が所定の材質であると、情報処理部２５により、第１実施形態と同様に切り出された可視光画像中の座標に基づいて平面位置が特定されると共に、３Ｄセンサ４の測定情報のうちの高さ情報が特定されて紐付けられる。さらに、情報処理部２５により、可視光画像の廃棄物２の部分が抽出され、可視光画像の抽出部分と高さ情報に基づいて廃棄物２の重心が算出される。これと共に、ロボットアーム９で把持される際の把持部の姿勢が特定される。これらの廃棄物２の重心の情報と、把持部の姿勢の情報は、第１判別部２６で判別された材質の情報と共に、制御装置８の制御部１６へ送られる。制御部１６は、情報処理部２５から受け取った廃棄物２の重心とロボットアーム９の把持部の姿勢に関する情報に基づいて、ロボットアーム９を制御し、廃棄物２をコンベヤ３から取り上げて所定の収集箱１０に投入させる。
【0075】
一方、情報処理部２５は、第１判別部２６で所定の材質であると判別されたもの以外の廃棄物２について、第２判別部２７により材質を判別するための処理を行う。すなわち、第１判別部２６で材質が判別されなかった廃棄物２や、第１判別部２６による判別結果では選別を行わないことが予め定められた材質の廃棄物２について、情報処理部２５が可視光画像から廃棄物２の部分を切り出し、切り出した廃棄物２の画像を第２判別部２７へ出力する。また、情報処理部２５により、切り出された可視光画像中の座標に基づいて平面位置が特定されると共に、３Ｄセンサ４の測定情報のうちの高さ情報が特定されて紐付けられ、廃棄物２の重心が算出され、ロボットアーム９で把持される際の把持部の姿勢が特定される。
【0076】
第２判別部２７は、情報処理部２５から廃棄物２の可視光画像を受け取ると、この廃棄物２の可視光画像に基づいて、画像認識技術により廃棄物２の材質の判別を行う。第２判別部２７は、第１実施形態の判別部１２と同様に、判別モデルとして、教師有り学習によってアルゴリズムを成長させるニューラルネットワークを用いて構成されている。この第２判別部２７は、第１実施形態と同様に、学習モードで機械学習が行われ、判別モードで廃棄物２の材質の判別が行われる。第２判別部２７の判別モードで判別された材質のうち、正判別率が所定値以上の材質の廃棄物２について、ロボットアーム９の動作に必要な情報が制御装置８に向けて出力される。なお、ロボットアーム９の動作に必要な情報は、第２判別部２７による判別結果を受けて、情報処理部２５が制御装置８に向けて出力してもよい。また、廃棄物２を選別の対象とする正判別率の値は、８０％以上や、９０％以上等の種々の値を設定できる。
【0077】
第２実施形態の廃棄物選別装置２１は、ハイパースペクトルカメラ２２によるハイパースペクトル画像に基づいて第１判別部２６で材質を特定し、第１判別部２６で特定された材質が所定の材質以外である場合は、第２判別部２７で可視光画像に基づいて機械学習に基づく判別モデルにより材質を特定する。したがって、廃棄物２の材質を高い精度で判別することができる。
【0078】
ここで、第１判別部２６は、廃棄物２の材質を、上記所定の材質として、ポリ塩化ビニル樹脂、ポリスチレンフォーム及びポリエチレンテレフタレート以外のプラスチック、ポリ塩化ビニル樹脂及び紙類のいずれかであると判別した場合、これらの材質の廃棄物２をロボットアーム９で選別するように設定できる。一方、第１判別部２６が判別した材質が、ポリ塩化ビニル樹脂、ポリスチレンフォーム及びポリエチレンテレフタレート以外のプラスチック、ポリ塩化ビニル樹脂及び紙類のいずれでもない場合、この廃棄物２の材質を第２判別部２７により判別するように設定できる。第２判別部２７により判別する材質としては、鉄、アルミニウム、銅、ステンレス、コンクリート、木、ガラス、ペットボトル及びポリスチレンフォームを挙げることができる。このように、ポリ塩化ビニル樹脂、ポリスチレンフォーム及びポリエチレンテレフタレート以外のプラスチック、ポリ塩化ビニル樹脂及び紙類を第１判別部２６で判別し、鉄、アルミニウム、銅、ステンレス、コンクリート、木、ガラス、ペットボトル及びポリスチレンフォームを第２判別部２７で判別することにより、廃棄物２の材質を高い精度で判別することができる。なお、木及び／又はコンクリートは、第１判別部２６によって判別してもよい。また、鉄、アルミニウム、銅及びステンレスは、第２判別部２７によらず、金属センサ６のみにより検出してもよい。
【0079】
ここで、可視光画像で黒色に表れた廃棄物２は、第１判別部２６及び第２判別部２７のいずれによっても材質の判別が困難である場合が多い。したがって、可視光画像で黒色に表れた廃棄物２は、選別候補から除外してもよい。
【0080】
第２実施形態の廃棄物選別装置２１において、第１判別部２６により、単一の廃棄物２から複数の材質が検出された場合、各材質の配分割合に基づいて、この廃棄物２の材質を判別するのが好ましい。例えば、単一の廃棄物２からガラスと紙が検出された場合、ラベル付きのガラス容器である可能性が高く、材質の占める割合はガラスが大半であるため、この廃棄物２の材質はガラスと判別する。この場合、紙とガラスが検出され、ガラスの占める割合が４０％を超えたときに、ガラスと判別することができる。また、第１判別部２６により単一の廃棄物２に複数の材質が検出された場合、検出された材質の種類及び／又は配分割合に、可視光カメラ５で撮影した可視光画像から抽出した廃棄物２の形状を組み合わせて廃棄物２の種類を特定し、材質を判別してもよい。これにより、例えば、紙やプラスチックのラベルの付されたガラス瓶を特定し、材料をガラスに判別することができる。
【0081】
図６は、第２実施形態の廃棄物選別装置２１の動作を示すフロー図である。図６に示すように、本実施形態の廃棄物選別装置２１は、まず、判別装置２４の第２判別部２７の機械学習を行うために、廃棄物の可視光画像と、この廃棄物の材質を示す情報とを含む教師データを準備する（ステップＳ１１）。教師データの準備は、廃棄物選別装置２１のコンベヤ３で廃棄物２を搬送し、可視光カメラ５で廃棄物２を撮影して得た可視光画像を判別装置２４の情報処理部２５で抽出すると共に、この廃棄物２の材質を示す情報を外部から入力して行ってもよい。また、教師データとして、他の方法により得た廃棄物の画像と、この廃棄物の材質を示す情報とを準備してもよい。教師データを準備した後、第２判別部２７が教師モードになり、教師データの入力を受け、判別を行おうとする複数の材質の廃棄物について機械学習を行う（ステップＳ１２）。第２判別部２７の機械学習を行った後、廃棄物選別装置２１に実際に廃棄物２を投入し、第２判別部２７により廃棄物２の材質を判別する試験を行う。この判別試験は、判別しようとする材質の複数の廃棄物について行う。第２判別部２７による廃棄物２の判別の結果を集計し、材質を正確に判別できたか否かを確認して、材質毎の正判別率を算出する。また、第２判別部２７による判別試験と共に、第１判別部２６による判別試験を行う。第１判別部２６による判別試験は、廃棄物選別装置２１に廃棄物２を投入し、ハイパースペクトルカメラ２２で廃棄物２を撮影し、ハイパースペクトル画像に基づいて第１判別部２６により廃棄物２の材質を判別する。この第１判別部２６による廃棄物２の判別の結果を集計し、材質を正確に判別できたか否かを確認して、材質毎の正判別率を算出する。これらにより、判別装置２４で判別しようとする全て材質について、材質毎の正判別率を算出する。（ステップＳ１３）。この後、第２判別部２７が判別モードになり、廃棄物２を矢印Ｅで示すように、コンベヤ３の始端部に投入する。コンベヤ３に投入されて搬送される廃棄物２は、金属センサ６で金属又は非金属であるかが判別され（ステップＳ１４）、３Ｄセンサ４で形状が計測されて三次元情報が取得され（ステップＳ１５）、可視光カメラ５で可視光画像が取得され（ステップＳ１６）、ハイパースペクトルカメラ２２でハイパースペクトル画像が取得される（ステップＳ１７）。このハイパースペクトル画像に基づいて、第１判別部２６により、廃棄物２の材質が判別される（ステップＳ１８）。第１判別部２６により廃棄物２の材質が判別されると、この材質が所定の材質であるか否かが判断され（ステップＳ１９）、所定の材質であると、この材質の廃棄物２のうち、判別試験で正判別率が８０％以上と特定された材質である場合に、判別装置２４は、廃棄物２の材質に関する情報と、廃棄物２の重心に関する情報と、ロボットアームの把持部の姿勢に関する情報を、制御装置８の制御部１６に出力する。制御部１６は、廃棄物２の材質に関する情報と、廃棄物２の重心に関する情報と、ロボットアームの把持部の姿勢に関する情報を受けると、これらの情報に基づいてロボットアーム９を制御し、コンベヤ３上の廃棄物２を取り上げて、材質に対応した収集箱１０に投入して選別を行う（ステップ２１）。ステップＳ１９において、第１判別部２６で判別された材質が所定の材質ではない場合、金属／非金属情報と可視光画像が第２判別部２７のニューラルネットワークに入力されて、廃棄物２の材質が判別される（ステップＳ２０）。第２判別部２７のニューラルネットワークで材質が判別された廃棄物２のうち、判別試験で正判別率が８０％以上と特定された材質の廃棄物２について、ロボットアーム９でコンベヤ３上から取り上げ、材質に対応した収集箱１０に投入して選別を行う（ステップ２１）。コンベヤ３上の廃棄物２のうち、ロボットアーム９で取り上げられなかった廃棄物２は、矢印Ｆ１で示すようにコンベヤ３の終端部から排出され、図示しないコンベヤ等の搬送装置によって戻されて、矢印Ｆ２で示すようにコンベヤ３の始端部に再度投入される。コンベヤ３上に、選別すべき廃棄物２が残留しているか否かが、３Ｄセンサ４の三次元情報及び／又は可視光カメラ５の可視光画像に基づいて判別装置２４で判断され（ステップＳ２２）、コンベヤ３上に選別すべき廃棄物２が残留する場合、制御装置８によりコンベヤ３の運転が継続され、これにより、コンベヤ３上の廃棄物２についてステップＳ１４乃至Ｓ２１の工程が繰り返される。一方、コンベヤ３上に選別すべき廃棄物２が無くなると、制御装置８によりコンベヤ３の運転が停止され、廃棄物選別装置２１の選別の作業が終了する。
【0082】
以上のように、本実施形態の廃棄物選別装置２１によれば、廃棄物２の所定の材質を、第１判別部２６により赤外線の吸収スペクトルに基づいて判別し、他の材質を、第２判別部２７により可視光画像の機械学習を行った判別モデルによる画像認識に基づいて判別するので、廃棄物２の材質を正確に判別することができる。また、第１判別部２６及び第２判別部２７により判別された材質の廃棄物２のうち、正判別率が８０％以上の材質の廃棄物２を選別したので、選別されて収集箱１０に収集される廃棄物２の純度を効果的に高めることができる。したがって、この廃棄物選別装置２１で選別されて収集された廃棄物は、有効かつ効率的にリサイクルに供することができる。なお、第１判別部２６及び第２判別部２７により判別された材質の廃棄物２のうち、正判別率が８０％以上の材質の廃棄物２を選別したが、選別する材質の正判別率の基準は、８０％以外の他の値であってもよい。また、正判別率は、第２判別部２７により判別された材質についてのみ考慮し、第１判別部２６により判別された材質の正判別率は考慮することなく、第１判別部２６で判別された所定の材質の廃棄物２を全て選別してもよい。
【0083】
図７は、本発明の第３実施形態の廃棄物選別装置３１を示す模式図である。第３実施形態の廃棄物選別装置３１は、撮影装置として、可視光カメラ５に換えてハイパースペクトルカメラ３２を備えると共に、判別部３３が、ハイパースペクトルカメラ３２の撮影画像に基づいて材質を判別する点が、第１実施形態と異なる。第３実施形態において、第１実施形態と同じ機能を有する部分については第１実施形態と同じ符号を付して、詳細な説明を省略する。
【0084】
以下、第３実施形態の廃棄物選別装置３１に関して、第１実施形態の廃棄物選別装置１と異なる点を中心に説明を行う。
【0085】
第３実施形態の廃棄物選別装置３１は、コンベヤ３上の廃棄物２を撮影する赤外線撮影装置としてのハイパースペクトルカメラ３２と、コンベヤ３上の廃棄物２の形状及び高さを測定する３Ｄセンサ４と、コンベヤ３で搬送される廃棄物２が金属と非金属のいずれであるかを検知する金属センサ６を備える。ハイパースペクトルカメラ３２、３Ｄセンサ４及び金属センサ６は、これらから入力された情報に基づいて廃棄物２の材質を判別する判別装置３４に接続されている。判別装置３４は、ロボットアーム９とコンベヤ３を制御する制御装置８に接続されている。
【0086】
第３実施形態の廃棄物選別装置３１のハイパースペクトルカメラ３２は、５００ｎｍ以上２３５０ｎｍ以下の波長の可視光及び赤外線を、５ｎｍ前後の帯域幅毎に撮影するものを用いることができる。ここで、ハイパースペクトルカメラ３２は、近赤外線に含まれる光を撮影するのが好ましい。また、ハイパースペクトルカメラ２２の撮影する波長の下限と上限は、いずれも他の値であってもよい。例えば、ハイパースペクトルカメラ２２の撮影する波長の下限は８００ｎｍでもよい。また、ハイパースペクトルカメラ２２の撮影する波長の上限は２５００ｎｍでもよい。また、撮影する帯域幅は、１〜１０ｎｍ程度のいずれの値であってもよい。
【0087】
判別装置３４は、図８のブロック図に示すように、ハイパースペクトルカメラ３２が撮影したハイパースペクトル画像や３Ｄセンサ４の測定情報を処理する情報処理部３５と、情報処理部３５でハイパースペクトル画像が処理されてなる情報又は画像に基づいて廃棄物２の材質を判別する判別部３６と、３Ｄセンサ４やハイパースペクトルカメラ３２からの情報を記憶する記憶部３７を有する。
【0088】
判別装置３４の情報処理部３５は、第１実施形態の情報処理部１１と同様に選別候補の廃棄物２を抽出すると、抽出した廃棄物２について、ハイパースペクトル画像の廃棄物２の部分を切り出し、選別する選別候補として抽出し、切出した廃棄物２のハイパースペクトル画像を判別部３６へ出力する。
【0089】
判別装置３４の判別部３６は、廃棄物２のハイパースペクトル画像に基づいて、機械学習を利用した画像認識により廃棄物２の材質を特定する。まず、判別部３６は、情報処理部３５から入力された廃棄物２のハイパースペクトル画像に基づいて、判別用画像を作成する。判別用画像は、所定の波長帯域の反射強度分布を表した画像や、１つまたは複数の波長帯域のデータを所定の方法に従って変換した画像等を用いることができる。判別用画像は、撮影範囲の２次元座標上に、材質に応じて設定された色により、材質の分布が表された画像である。この判別用画像を、判別部３６が有する判別モデルに入力し、画像認識技術により廃棄物２の材質の判別を行う。判別部３６は、判別モデルとして、教師有り学習によってアルゴリズムを成長させるニューラルネットワークを用いて構成されている。この判別部３６は、第１実施形態と同様に、学習モードで機械学習が行われ、判別モードで廃棄物２の材質の判別が行われる。判別部３６の判別モードで判別された材質のうち、正判別率が所定値以上の材質の廃棄物２について、ロボットアーム９の動作に必要な情報が制御装置８に向けて出力される。なお、ロボットアーム９の動作に必要な情報は、判別部３６による判別結果を受けて、情報処理部３５が制御装置８に向けて出力してもよい。また、廃棄物２を選別の対象とする正判別率の値は、８０％以上や、９０％以上等の種々の値を設定できる。
【0090】
ロボットアーム９の動作に必要な情報は、情報処理部３５により、ハイパースペクトル画像中の廃棄物２の座標に基づいて特定された平面位置と、３Ｄセンサ４の測定情報のうちの高さ情報に基づいて形成される。具体的には、情報処理部３５によりハイパースペクトル画像から抽出された廃棄物２の部分と高さ情報に基づいて廃棄物２の重心が算出される。これと共に、ロボットアーム９で把持される際の把持部の姿勢が特定される。これらの廃棄物２の重心の情報と、把持部の姿勢の情報が、判別部３６で判別された材質の情報と共に、制御装置８の制御部１６へ送られる。制御部１６は、情報処理部３５から受け取った廃棄物２の重心とロボットアーム９の把持部の姿勢に関する情報に基づいて、ロボットアーム９を制御し、廃棄物２をコンベヤ３から取り上げて所定の収集箱１０に投入させる。
【0091】
第３実施形態の廃棄物選別装置３１は、ハイパースペクトルカメラ３２によるハイパースペクトル画像に基づいて、判別部３６で機械学習を行う判別モデルにより材質を特定するので、廃棄物２の材質を高い精度で判別することができる。
【0092】
ここで、判別部３６は、廃棄物２の材質を、上記所定の材質として、ポリ塩化ビニル樹脂、ポリスチレンフォーム及びポリエチレンテレフタレート以外のプラスチック、ポリ塩化ビニル樹脂、紙類、コンクリート、石、ガラス、木、ペットボトル及びポリスチレンフォームのいずれかであると判別した場合、これらの材質の廃棄物２をロボットアーム９で選別するように設定できる。また、鉄、アルミニウム、銅、ステンレスは、金属センサ６の検出情報に基づいて判別することができる。
【0093】
図９は、第３実施形態の廃棄物選別装置３１の動作を示すフロー図である。図９に示すように、本実施形態の廃棄物選別装置３１は、まず、判別装置３４の判別部３６の機械学習を行うために、廃棄物のハイパースペクトル画像から作成した判別用画像と、この廃棄物の材質を示す情報とを含む教師データを準備する（ステップＳ３１）。教師データの準備は、廃棄物選別装置３１のコンベヤ３で廃棄物２を搬送し、ハイパースペクトルカメラ３２で廃棄物２を撮影して得たハイパースペクトル画像を判別装置３４の情報処理部３５で加工して判別用画像を作成すると共に、この廃棄物２の材質を示す情報を外部から入力して行ってもよい。また、教師データとして、他の方法により得た廃棄物の判別用画像と、この廃棄物の材質を示す情報とを準備してもよい。教師データを準備した後、判別部３６が教師モードになり、教師データの入力を受け、判別を行おうとする複数の材質の廃棄物について機械学習を行う（ステップＳ３２）。判別部３６の機械学習を行った後、廃棄物選別装置３１に実際に廃棄物２を投入し、判別部３６により廃棄物２の材質を判別する試験を行う。この判別試験は、判別しようとする材質の複数の廃棄物について行う。判別部３６による廃棄物２の判別の結果を集計し、材質を正確に判別できたか否かを確認して、材質毎の正判別率を算出する。（ステップＳ３３）。この後、判別部３６が判別モードになり、廃棄物２を矢印Ｅで示すように、コンベヤ３の始端部に投入する。コンベヤ３に投入されて搬送される廃棄物２は、金属センサ６で金属又は非金属であるかが判別され（ステップＳ３４）、３Ｄセンサ４で形状が計測されて三次元情報が取得され（ステップＳ３５）、ハイパースペクトルカメラ３２でハイパースペクトル画像が取得される（ステップＳ３６）。このハイパースペクトル画像に基づいて、判別部３６により判別用画像が作成され、この判別用画像が判別部３６のニューラルネットワークに入力されて、廃棄物２の材質が判別される（ステップＳ３７）。判別部３６により廃棄物２の材質が判別されると、この材質の廃棄物２のうち、判別試験で正判別率が８０％以上と特定された材質である場合に、判別装置３４は、廃棄物２の材質に関する情報と、廃棄物２の重心に関する情報と、ロボットアームの把持部の姿勢に関する情報を、制御装置８の制御部１６に出力する。制御部１６は、廃棄物２の材質に関する情報と、廃棄物２の重心に関する情報と、ロボットアームの把持部の姿勢に関する情報を受けると、これらの情報に基づいてロボットアーム９を制御し、コンベヤ３上の廃棄物２を取り上げて、材質に対応した収集箱１０に投入して選別を行う（ステップ３８）。コンベヤ３上の廃棄物２のうち、ロボットアーム９で取り上げられなかった廃棄物２は、矢印Ｆ１で示すようにコンベヤ３の終端部から排出され、図示しないコンベヤ等の搬送装置によって戻されて、矢印Ｆ２で示すようにコンベヤ３の始端部に再度投入される。コンベヤ３上に、選別すべき廃棄物２が残留しているか否かが、３Ｄセンサ４の三次元情報及び／又はハイパースペクトルカメラ３２のハイパースペクトル画像に基づいて判別装置３４で判断され（ステップＳ３９）、コンベヤ３上に選別すべき廃棄物２が残留する場合、制御装置８によりコンベヤ３の運転が継続され、これにより、コンベヤ３上の廃棄物２についてステップＳ３４乃至Ｓ３８の工程が繰り返される。一方、コンベヤ３上に選別すべき廃棄物２が無くなると、制御装置８によりコンベヤ３の運転が停止され、廃棄物選別装置３１の選別の作業が終了する。
【0094】
以上のように、本実施形態の廃棄物選別装置３１によれば、廃棄物２の所定の材質を、判別部３６のニューラルネットワークを用いた判別モデルにより、ハイパースペクトル画像から作成した判別用画像の画像認識に基づいて判別するので、廃棄物２の材質を正確に判別することができる。また、判別部３６により判別された材質の廃棄物２のうち、正判別率が８０％以上の材質の廃棄物２を選別するので、選別されて収集箱１０に収集される廃棄物２の純度を効果的に高めることができる。したがって、この廃棄物選別装置３１で選別されて収集された廃棄物は、有効かつ効率的にリサイクルに供することができる。なお、判別部３６により判別された材質の廃棄物２のうち、正判別率が８０％以上の材質の廃棄物２を選別したが、選別する材質の正判別率の基準は、８０％以外の他の値であってもよい。
【0095】
上記第１乃至第３実施形態において、コンベヤ３上の廃棄物２のうち、ロボットアーム９で取り上げられなかった廃棄物２は、矢印Ｆ１で示すようにコンベヤ３の終端部から排出され、図示しないコンベヤ等の搬送装置によって戻され、矢印Ｆ２で示すようにコンベヤ３の始端部に再度投入されたが、ロボットアーム９で取り上げられなかった廃棄物２はコンベヤ３に再投入しなくてもよい。すなわち、コンベヤ３に投入された廃棄物２のうち、ロボットアーム９で取り上げられなかった廃棄物２は、矢印Ｆ１で示すようにコンベヤ３の終端部から排出されると、コンベヤ３に再投入されることなく廃棄や他の処理に付されてもよい。
【0096】
また、ロボットアーム９で取り上げられなかった廃棄物２をコンベヤ３上に再投入するように構成された場合、時間の経過に伴い、判別不可能な材質の廃棄物２がコンベヤ３上に溜まるので、これらの廃棄物２を定期的に排除するのが好ましい。また、コンベヤ３上に、矢印Ｅで示すように新たな廃棄物２を投入する場合は再投入を行わない一方、新たな破棄物２を投入しない場合に、矢印Ｆ２で示すように廃棄物２を再投入するようにしてもよい。
【0097】
上記第１乃至第３実施形態において、廃棄物２として都市ごみの選別に用いた場合について例示したが、災害時の瓦礫等のような他の廃棄物の選別のために、本発明を適用することも可能である。
【0098】
以上、実施形態を通じて本発明を説明したが、本発明の要旨を逸脱しない範囲で種々の変更が可能であり、本発明の技術的範囲は上記実施形態に限定されない。
【符号の説明】
【0099】
１，２１，３１ 廃棄物選別装置２ 廃棄物
３ コンベヤ
４ ３Ｄセンサ
５ 可視光カメラ
６ 金属センサ
７，２４，３４ 判別装置
８ 制御装置
９ ロボットアーム
１１，２５，３５ 情報処理部
１２，３６ 判別部
１３，２８，３７ 記憶部
１６ 制御部
１７ 操作部
２２，３２ ハイパースペクトルカメラ
２６ 第１判別部
２７ 第２判別部
３０ コンベヤの駆動装置
【手続補正書】
【提出日】2019年10月25日
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
廃棄物を搬送する搬送装置と、
上記搬送装置で搬送される廃棄物の可視光の反射光を撮影してなる可視光画像を出力する可視光撮影装置と、
上記搬送装置で搬送される廃棄物の少なくとも赤外線の反射光を撮影してなる赤外線画像を出力する赤外線撮影装置と、
上記廃棄物の赤外線画像に基づいて、赤外線の吸収スペクトルによって廃棄物の材質を判別する第１判別部と、
上記第１判別部により所定の材質と判別された廃棄物以外の廃棄物について、予め準備された廃棄物の可視光画像とこの廃棄物の材質情報とを教師データとして機械学習を行う判別モデルを用いて、上記可視光撮影装置が撮影した可視光画像に基づいて廃棄物の材質を判別する第２判別部と、
上記第１判別部により所定の材質と判別された廃棄物、又は、上記第２判別部で材質が判別された廃棄物のうち正判別率が所定値以上の材質の廃棄物を、上記搬送装置から回収して選別する選別部と
を備えることを特徴とする廃棄物選別装置。
上記搬送装置で搬送される廃棄物の可視光の反射光を撮影してなる可視光画像を出力する可視光撮影装置と、
上記搬送装置で搬送される廃棄物の少なくとも赤外線の反射光を撮影してなる赤外線画像を出力する赤外線撮影装置と、
上記廃棄物の赤外線画像に基づいて、赤外線の吸収スペクトルによって廃棄物の材質を判別する第１判別部と、
上記第１判別部により所定の材質と判別された廃棄物以外の廃棄物について、予め準備された廃棄物の可視光画像とこの廃棄物の材質情報とを教師データとして機械学習を行う判別モデルを用いて、上記可視光撮影装置が撮影した可視光画像に基づいて廃棄物の材質を判別する第２判別部と、
上記第１判別部により所定の材質と判別された廃棄物、又は、上記第２判別部で材質が判別された廃棄物のうち正判別率が所定値以上の材質の廃棄物を、上記搬送装置から回収して選別する選別部と
を備えることを特徴とする廃棄物選別装置。
【請求項2】
請求項１に記載の廃棄物選別装置において、
上記第１判別部により判別された所定の材質は、正判別率が所定値以上の材質であることを特徴とする廃棄物選別装置。
上記第１判別部により判別された所定の材質は、正判別率が所定値以上の材質であることを特徴とする廃棄物選別装置。
【請求項3】
請求項１に記載の廃棄物選別装置において、
上記赤外線撮影装置は、上記赤外線の反射光の強度分布を複数の波長帯域毎に示したマルチスペクトル画像を出力するマルチスペクトルカメラであることを特徴とする廃棄物選別装置。
上記赤外線撮影装置は、上記赤外線の反射光の強度分布を複数の波長帯域毎に示したマルチスペクトル画像を出力するマルチスペクトルカメラであることを特徴とする廃棄物選別装置。
【請求項4】
請求項１に記載の廃棄物選別装置において、
上記第２判別部は、上記可視光撮影装置が撮影した廃棄物が金属であるか否かを示す金属情報が入力され、上記廃棄物の可視光画像と金属情報に基づいて上記判別モデルで材質を判別することを特徴とする廃棄物選別装置。
上記第２判別部は、上記可視光撮影装置が撮影した廃棄物が金属であるか否かを示す金属情報が入力され、上記廃棄物の可視光画像と金属情報に基づいて上記判別モデルで材質を判別することを特徴とする廃棄物選別装置。
【請求項5】
請求項４に記載の廃棄物選別装置において、
上記搬送装置で搬送される廃棄物が金属であるか否かを検出する金属検出装置を備え、
上記金属検出装置から金属情報が上記第２判別部に入力されるように形成されていることを特徴とする廃棄物選別装置。
上記搬送装置で搬送される廃棄物が金属であるか否かを検出する金属検出装置を備え、
上記金属検出装置から金属情報が上記第２判別部に入力されるように形成されていることを特徴とする廃棄物選別装置。
【請求項6】
請求項３に記載の廃棄物選別装置において、
上記マルチスペクトル画像に基づいて判別された複数の材質が単一の廃棄物に存在し、所定の材質に対応する領域が所定の割合を占める場合、上記第１判別部が、上記廃棄物が上記所定の材質であると判別することを特徴とする廃棄物選別装置。
上記マルチスペクトル画像に基づいて判別された複数の材質が単一の廃棄物に存在し、所定の材質に対応する領域が所定の割合を占める場合、上記第１判別部が、上記廃棄物が上記所定の材質であると判別することを特徴とする廃棄物選別装置。
【請求項7】
請求項３に記載の廃棄物選別装置において、
上記第１判別部が、上記マルチスペクトル画像に基づいて、プラスチック、ポリ塩化ビニル樹脂及び紙類のいずれかの材質を判別し、
上記第２判別部が、上記可視光画像に基づいて、コンクリート、木、ガラス、ペットボトル及びポリスチレンフォームのいずれかの材質を判別することを特徴とする廃棄物選別装置。
上記第１判別部が、上記マルチスペクトル画像に基づいて、プラスチック、ポリ塩化ビニル樹脂及び紙類のいずれかの材質を判別し、
上記第２判別部が、上記可視光画像に基づいて、コンクリート、木、ガラス、ペットボトル及びポリスチレンフォームのいずれかの材質を判別することを特徴とする廃棄物選別装置。
【請求項8】
廃棄物の可視光画像を準備する画像準備工程と、
上記画像準備工程で準備された廃棄物の可視光画像と、この廃棄物の材質を示す材質情報とを教師データとして判別モデルの機械学習を行う機械学習工程と、
材質を判別すべき廃棄物を撮影して可視光画像を得る可視光撮影工程と、
材質を判別すべき廃棄物を撮影して赤外線画像を得る赤外線撮影工程と、
上記赤外線撮影工程で撮影した廃棄物の赤外線画像に基づいて、赤外線の吸収スペクトルに基づいて廃棄物の材質を判別する第１判別工程と、
上記第１判別工程により材質が判別された廃棄物以外の廃棄物について、上記可視光撮影工程で撮影した廃棄物の可視光画像に基づいて、上記機械学習工程で機械学習を行った判別モデルを用いて廃棄物の材質を判別する第２判別工程と、
上記第１又は第２判別工程で判別された廃棄物の材質が、所定値以上の正判別率の材質である場合に、この廃棄物を対象に選別を行う選別工程と
を備えることを特徴とする廃棄物選別方法。
上記画像準備工程で準備された廃棄物の可視光画像と、この廃棄物の材質を示す材質情報とを教師データとして判別モデルの機械学習を行う機械学習工程と、
材質を判別すべき廃棄物を撮影して可視光画像を得る可視光撮影工程と、
材質を判別すべき廃棄物を撮影して赤外線画像を得る赤外線撮影工程と、
上記赤外線撮影工程で撮影した廃棄物の赤外線画像に基づいて、赤外線の吸収スペクトルに基づいて廃棄物の材質を判別する第１判別工程と、
上記第１判別工程により材質が判別された廃棄物以外の廃棄物について、上記可視光撮影工程で撮影した廃棄物の可視光画像に基づいて、上記機械学習工程で機械学習を行った判別モデルを用いて廃棄物の材質を判別する第２判別工程と、
上記第１又は第２判別工程で判別された廃棄物の材質が、所定値以上の正判別率の材質である場合に、この廃棄物を対象に選別を行う選別工程と
を備えることを特徴とする廃棄物選別方法。
【請求項9】
請求項８に記載の廃棄物選別方法において、
上記選別工程で選別されずに残った廃棄物を、上記可視光撮影工程及び赤外線撮影工程に戻すことを特徴とする廃棄物選別方法。
上記選別工程で選別されずに残った廃棄物を、上記可視光撮影工程及び赤外線撮影工程に戻すことを特徴とする廃棄物選別方法。
【請求項10】
請求項８に記載の廃棄物選別方法において、
上記機械学習工程が、上記判別モデルの作成場所から離れた場所に存在する作業者の入力に基づいて作成された材質情報を用いて、判別モデルの機械学習を行うことを特徴とする廃棄物選別方法。
上記機械学習工程が、上記判別モデルの作成場所から離れた場所に存在する作業者の入力に基づいて作成された材質情報を用いて、判別モデルの機械学習を行うことを特徴とする廃棄物選別方法。
【手続補正2】
【補正対象書類名】明細書
【補正対象項目名】００３３
【補正方法】変更
【補正の内容】
【0033】
本発明の廃棄物選別方法は、廃棄物の画像を準備する画像準備工程と、上記画像準備工程で準備された廃棄物の画像と、この廃棄物の材質を示す材質情報とを教師データとして判別モデルの機械学習を行う機械学習工程と、
材質を判別すべき廃棄物を撮影する撮影工程と、
上記撮影工程で撮影した廃棄物の画像に基づいて、上記機械学習工程で機械学習を行った判別モデルを用いて廃棄物の材質を判別する判別工程と、
上記判別工程で判別された廃棄物の材質が、所定値以上の正判別率の材質である場合に、この廃棄物を対象に選別を行う選別工程と
を備えることを特徴としている。
【手続補正3】
【補正対象書類名】明細書
【補正対象項目名】００３４
【補正方法】変更
【補正の内容】
【0034】
上記構成によれば、廃棄物の選別を目的として、選別の対象となる可能性のある廃棄物について、画像準備工程で画像を準備する。画像準備工程で準備された廃棄物の画像と、この廃棄物の材質を示す材質情報とを教師データとして、機械学習工程で判別モデルの機械学習を行う。この後、材質を判別すべき廃棄物を、撮影工程で撮影する。この撮影工程で撮影された廃棄物の画像に基づいて、上記機械学習工程で機械学習を行った判別モデルを用いて、判別工程により廃棄物の材質を判別する。この判別工程で判別された廃棄物の材質が、正判別率が所定値以上の材質である場合に、この廃棄物を対象に選別工程で選別を行う。機械学習工程は、選別部が選別を行う前に加えて、選別部が選別を行った後や、選別部が選別を行う合間に行ってもよい。選別工程では、上記判別工程で材質が判別された廃棄物のうち、正判別率が所定値以上の材質の廃棄物を対象に選別するので、選別された廃棄物は、材質が誤って判別されたものが混入する割合が少ない。したがって、この廃棄物選別方法によれば、選別された廃棄物の材質の純度が従来よりも高くなるので、選別された廃棄物のリサイクルを効果的に行うことができる。ここで、正判別率は、機械学習工程で判別モデルの機械学習を行った後、この判別モデルを用いて複数の廃棄物の材質を判別する試験を行い、判別結果が正しいか否かを確認することにより求める。こうして求めた正判別率が所定値以上の材質の廃棄物を選別することにより、選別した廃棄物の材質における純度を安定して高めることができる。
【手続補正4】
【補正対象書類名】明細書
【補正対象項目名】００９６
【補正方法】変更
【補正の内容】
【0096】
また、ロボットアーム９で取り上げられなかった廃棄物２をコンベヤ３上に再投入するように構成された場合、時間の経過に伴い、判別不可能な材質の廃棄物２がコンベヤ３上に溜まるので、これらの廃棄物２を定期的に排除するのが好ましい。また、コンベヤ３上に、矢印Ｅで示すように新たな廃棄物２を投入する場合は再投入を行わない一方、新たな廃棄物２を投入しない場合に、矢印Ｆ２で示すように廃棄物２を再投入するようにしてもよい。