(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-07-03
(45)【発行日】2024-07-11
(54)【発明の名称】廃棄物選別装置
(51)【国際特許分類】
B07C 5/342 20060101AFI20240704BHJP
【ＦＩ】
B07C5/342 ZAB
【請求項の数】
7
(21)【出願番号】P 2020037893
(22)【出願日】2020-03-05
(65)【公開番号】P2021137738
(43)【公開日】2021-09-16
【審査請求日】2022-12-01
(73)【特許権者】
【識別番号】591119624
【氏名又は名称】株式会社御池鐵工所
(74)【代理人】
【識別番号】100138896
【弁理士】
【氏名又は名称】森川 淳
(72)【発明者】
【氏名】小林 由和
(72)【発明者】
【氏名】小林 秀匡
(72)【発明者】
【氏名】河井 健治
【審査官】中田 誠二郎
(56)【参考文献】
【文献】特表２００７－５０５７３３（ＪＰ，Ａ）
【文献】特開２０１３－１６４３３８（ＪＰ，Ａ）
【文献】特許第５９６９６８５（ＪＰ，Ｂ１）
【文献】特開２０２０－０６２６３３（ＪＰ，Ａ）
【文献】米国特許出願公開第２０１０／０１３１０９４（ＵＳ，Ａ１）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｂ０７Ｃ ５／００－５／３８
(57)【特許請求の範囲】
【請求項1】
廃棄物を載置して搬送する搬送面を有する搬送装置と、上記搬送装置の搬送面の幅方向にわたって赤外線を照射する赤外線照射装置と、
上記搬送装置で搬送される廃棄物の少なくとも赤外線の反射光を撮影してなる赤外線画像を出力する赤外線撮影装置と、
予め準備された廃棄物の赤外線画像とこの廃棄物の材質情報とを教師データとして機械学習を行う判別モデルを用いて、上記赤外線撮影装置が撮影した赤外線画像に基づいて廃棄物の材質を判別する判別部と、
上記判別部により材質が判別された廃棄物のうちの所定の廃棄物を、上記搬送装置から回収して選別する選別部と
を備え、
上記判別部は、判別しようとする材質の複数の廃棄物について判別の結果を集計し、材質を正確に判別できたか否かを確認して材質毎の正判別率を算出する判別試験を予め行い、
上記選別部は、上記判別部が材質を判別した廃棄物のうち、上記正判別率が所定値以上の材質の廃棄物を上記所定の廃棄物として回収して選別する一方、上記正判別率が所定値よりも小さい材質の廃棄物は回収しないことを特徴とする廃棄物選別装置。
【請求項2】
請求項１に記載の廃棄物選別装置において、上記赤外線撮影装置が、上記赤外線の反射光の強度分布を複数の波長帯域毎に示したマルチスペクトル画像を出力するマルチスペクトルカメラであることを特徴とする廃棄物選別装置。
【請求項3】
請求項２に記載の廃棄物選別装置において、上記赤外線撮影装置が、ラインスキャン型のマルチスペクトルカメラであることを特徴とする廃棄物選別装置。
【請求項4】
請求項１に記載の廃棄物選別装置において、上記赤外線照射装置が、搬送装置の搬送面の幅方向に複数の赤外線発生源が位置するように複数個配置されていることを特徴とする廃棄物選別装置。
【請求項5】
請求項１に記載の廃棄物選別装置において、上記赤外線照射装置が、搬送装置の搬送面の幅方向に延在する赤外線発生源を有することを特徴とする廃棄物選別装置。
【請求項6】
請求項１に記載の廃棄物選別装置において、上記赤外線撮影装置が、上記赤外線の反射光の強度分布を複数の波長帯域毎に示したマルチスペクトル画像を出力するマルチスペクトルカメラであり、
上記判別部が、上記マルチスペクトル画像に基づいて、ポリエチレン、ポリプロピレン、ポリ塩化ビニル樹脂、紙類、コンクリート、石、ガラス、木、ペットボトル及びポリスチレンフォームのいずれかの材質を判別することを特徴とする廃棄物選別装置。
【請求項7】
請求項１乃至６のいずれかに記載の廃棄物選別装置において、上記赤外線撮影装置が、１０００ｎｍ以上２３５０ｎｍ以下の波長の赤外線を検出して撮影を行うことを特徴とする廃棄物選別装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、機械学習の手法を用いて廃棄物の材質を判別し、選別を行う廃棄物選別装置に関する。
【背景技術】
【0002】
建設廃棄物のように、コンクリートや金属や木やプラスチック等の多様な材質を含む廃棄物は、かつては埋め立てや海洋投棄等の最終処分が行われていたが、資源の有効利用を目的として、廃棄物を材質ごとに選別して再資源化を行う試みが広がりつつある。
【0003】
従来、廃棄物を材質ごとに選別する方法としては、比重差選別機や揺動式選別機や風力選別機を用いた方法が知られている。しかしながら、これらの機器は、被処理物に振動や風を与えるものであり、装置構成が複雑かつ大型になりやすい。また、振動や風により、被処理物に付着した微粒子が飛散し、周辺環境に影響を及ぼす虞がある。
【0004】
そこで最近、被処理物の撮影画像に基づく材質認識の技術を利用した廃棄物の選別装置が提案されている。この種の廃棄物の選別装置として、従来、廃棄物を搬送するコンベアと、コンベア上の廃棄物を撮影する撮影装置と、廃棄物の撮影画像を表示すると共に材質を示す情報の入力を受ける端末と、廃棄物の画像情報に基づいて機械学習を行う制御部と、制御部の指令に基づいて廃棄物を選別するロボットアームを備えたものがある（例えば、特許文献１参照）。
【0005】
上記従来の廃棄物選別装置は、コンベアで搬送する廃棄物について、撮影装置で撮影すると共に質量を測定し、撮影画像と質量と体積と比重をモニタに表示する。作業者がモニタの表示内容から材質を判別して端末に入力すると、入力された材質に関する材質情報が画像情報と質量情報に紐づけられ、教師情報として記憶される。制御部は、上記教師情報に基づいて、誤差逆伝播法による最適化手法を用いた畳み込みニューラルネットワークを用いた機械学習を行い、この機械学習の結果に基づいて、廃棄物の材質の判別を行う。材質が判別された廃棄物は、ロボットアームによって把持され、材質に応じた収集場所に収集されて選別される。
【先行技術文献】
【特許文献】
【0006】
【文献】特許第５９６９６８５号公報
【発明の概要】
【発明が解決しようとする課題】
【0007】
しかしながら上記従来の廃棄物選別装置は、制御部が機械学習を繰り返し行っても、廃棄物の材質を正しく判別する割合である正判別率が向上しない場合がある。したがって、ロボットアームが、選別すべき材質とは異なる材質の廃棄物を収集してしまい、廃棄物選別装置の選別精度が低下する問題がある。廃棄物の選別精度が低いと、選別された廃棄物をリサイクルに用いることが困難になる不都合がある。
【0008】
そこで、本発明の課題は、選別精度を効果的に向上できる廃棄物選別装置を提供することにある。
【課題を解決するための手段】
【0009】
上記課題を解決するため、本発明の廃棄物選別装置は、
廃棄物を載置して搬送する搬送面を有する搬送装置と、
上記搬送装置の搬送面の幅方向にわたって赤外線を照射する赤外線照射装置と、
上記搬送装置で搬送される廃棄物の少なくとも赤外線の反射光を撮影してなる赤外線画像を出力する赤外線撮影装置と、
予め準備された廃棄物の赤外線画像とこの廃棄物の材質情報とを教師データとして機械学習を行う判別モデルを用いて、上記赤外線撮影装置が撮影した赤外線画像に基づいて廃棄物の材質を判別する判別部と、
上記判別部により所定の材質と判別された廃棄物を、上記搬送装置から回収して選別する選別部と
を備えることを特徴としている。
廃棄物を載置して搬送する搬送面を有する搬送装置と、
上記搬送装置の搬送面の幅方向にわたって赤外線を照射する赤外線照射装置と、
上記搬送装置で搬送される廃棄物の少なくとも赤外線の反射光を撮影してなる赤外線画像を出力する赤外線撮影装置と、
予め準備された廃棄物の赤外線画像とこの廃棄物の材質情報とを教師データとして機械学習を行う判別モデルを用いて、上記赤外線撮影装置が撮影した赤外線画像に基づいて廃棄物の材質を判別する判別部と、
上記判別部により所定の材質と判別された廃棄物を、上記搬送装置から回収して選別する選別部と
を備えることを特徴としている。
【0010】
上記構成によれば、廃棄物選別装置に投入された廃棄物が、搬送装置の搬送面に載置されて搬送される。搬送装置の搬送面の幅方向にわたって赤外線を照射する赤外線照射装置により、搬送装置で搬送される廃棄物に赤外線が照射される。赤外線が照射された廃棄物が、赤外線撮影装置で撮影されて赤外線画像が出力される。判別部により、赤外線画像に基づいて廃棄物の材質が判別される。この判別部は、廃棄物の赤外線画像とこの廃棄物の材質を示す材質情報とを教師データとして判別モデルの機械学習を行う。判別モデルは、上記搬送装置で搬送される廃棄物が上記赤外線撮影装置で撮影されて生成された赤外線画像と、上記廃棄物の材質情報とが入力されて、機械学習を行ってもよい。また、判別モデルは、予め準備された廃棄物の赤外線画像と、この廃棄物の材質情報とが入力されて、機械学習を行ってもよい。これらの判別モデルの機械学習は、選別部が選別を行う前や、選別部が選別を行った後や、選別部が選別を行う合間のいずれに行われてもよい。判別部により材質が判別された廃棄物が、選別部によって搬送装置から回収されて選別される。このように、赤外線画像の機械学習を行った判別モデルを用いた画像認識に基づく材質の判別を行うので、廃棄物の材質を高い判別率で判別することができる。したがって、この廃棄物選別装置は、選別された廃棄物の材質の純度が従来よりも高くなるので、選別された廃棄物のリサイクルを効果的に行うことができる。
【0011】
また、本発明の他の側面による廃棄物選別装置は、
廃棄物を載置して搬送する搬送面を有する搬送装置と、
上記搬送装置で搬送される廃棄物の可視光の反射光を撮影してなる可視光画像を出力する可視光撮影装置と、
上記搬送装置の搬送面の幅方向にわたって赤外線を照射する赤外線照射装置と、
上記搬送装置で搬送される廃棄物の少なくとも赤外線の反射光を撮影してなる赤外線画像を出力する赤外線撮影装置と、
上記廃棄物の赤外線画像に基づいて、赤外線のスペクトル特性によって廃棄物の材質を判別する第１判別部と、
上記第１判別部により所定の材質と判別された廃棄物以外の廃棄物について、予め準備された廃棄物の可視光画像とこの廃棄物の材質情報とを教師データとして機械学習を行う判別モデルを用いて、上記可視光撮影装置が撮影した可視光画像に基づいて廃棄物の材質を判別する第２判別部と、
上記第１判別部又は第２判別部により所定の材質と判別された廃棄物を、上記搬送装置から回収して選別する選別部と
を備えることを特徴としている。
廃棄物を載置して搬送する搬送面を有する搬送装置と、
上記搬送装置で搬送される廃棄物の可視光の反射光を撮影してなる可視光画像を出力する可視光撮影装置と、
上記搬送装置の搬送面の幅方向にわたって赤外線を照射する赤外線照射装置と、
上記搬送装置で搬送される廃棄物の少なくとも赤外線の反射光を撮影してなる赤外線画像を出力する赤外線撮影装置と、
上記廃棄物の赤外線画像に基づいて、赤外線のスペクトル特性によって廃棄物の材質を判別する第１判別部と、
上記第１判別部により所定の材質と判別された廃棄物以外の廃棄物について、予め準備された廃棄物の可視光画像とこの廃棄物の材質情報とを教師データとして機械学習を行う判別モデルを用いて、上記可視光撮影装置が撮影した可視光画像に基づいて廃棄物の材質を判別する第２判別部と、
上記第１判別部又は第２判別部により所定の材質と判別された廃棄物を、上記搬送装置から回収して選別する選別部と
を備えることを特徴としている。
【0012】
上記構成によれば、廃棄物選別装置に投入された廃棄物が、搬送装置の搬送面に載置されて搬送される。搬送装置で搬送される廃棄物が、可視光撮影装置で撮影されて可視光画像が出力される。また、搬送装置の搬送面の幅方向にわたって赤外線を照射する赤外線照射装置により、搬送装置で搬送される廃棄物に赤外線が照射される。赤外線が照射された廃棄物が、赤外線撮影装置で撮影されて赤外線画像が出力される。第１判別部により、赤外線画像に基づいて、赤外線のスペクトル特性によって廃棄物の材質が判別される。この第１判別部により所定の材質と判別された廃棄物以外の廃棄物について、第２判別部により、可視光画像に基づいて廃棄物の材質が判別される。この第２判別部は、廃棄物の可視光画像とこの廃棄物の材質を示す材質情報とを教師データとして判別モデルの機械学習を行う。判別モデルは、上記搬送装置で搬送される廃棄物が上記可視光撮影装置で撮影されて生成された可視光画像と、上記廃棄物の材質情報とが入力されて、機械学習を行ってもよい。また、判別モデルは、予め準備された廃棄物の可視光画像と、この廃棄物の材質情報とが入力されて、機械学習を行ってもよい。これらの判別モデルの機械学習は、選別部が選別を行う前や、選別部が選別を行った後や、選別部が選別を行う合間のいずれに行われてもよい。第１判別部又は第２判別部で材質が判別された廃棄物は、選別部によって搬送装置から回収されて選別される。このように、赤外線のスペクトル特性に基づく材質の判別と、可視光画像の機械学習を行った判別モデルを用いた画像認識に基づく材質の判別とを行うので、廃棄物の材質を良好な判別率で判別することができる。ここで、赤外線のスペクトル特性に基づいて材料を正確に判別できる所定の材質を第１判別部で判別し、他の材質を可視光画像の機械学習に基づく判別モデルを用いた画像認識で判別することにより、効率的かつ正確に材質を判別できる。したがって、この廃棄物選別装置は、選別された廃棄物の材質の純度が従来よりも高くなるので、選別された廃棄物のリサイクルを効果的に行うことができる。
【0013】
一実施形態の廃棄物選別装置は、上記赤外線撮影装置が、上記赤外線の反射光の強度分布を複数の波長帯域毎に示したマルチスペクトル画像を出力するマルチスペクトルカメラである。
【0014】
上記実施形態によれば、廃棄物をマルチペクトルカメラで撮影して出力されたマルチスペクトル画像を用いることにより、廃棄物の可視光領域から赤外線領域までのスペクトル特性を精度よく検出できる。したがって、廃棄物の材質を正確に判別できる。ここで、マルチスペクトルカメラは、複数の波長帯域における反射光の強度分布を出力するものであれば、波長帯域の数や値は限定されない。したがって、マルチスペクトルカメラには、ハイパースペクトルカメラが包含される。また、マルチスペクトル画像には、ハイパースペクトル画像が包含される。また、マルチスペクトル画像には、複数の波長帯域における反射光の強度分布を示す画像を作成可能な情報が含まれる。したがって、マルチスペクトル画像に基づいて、撮影範囲内の所定の位置における廃棄物の可視光領域及び赤外線領域のスペクトル特性が得られる。
【0015】
一実施形態の廃棄物選別装置は、上記赤外線撮影装置が、ラインスキャン型のマルチスペクトルカメラである。
【0016】
上記実施形態によれば、廃棄物をラインスキャン型のマルチペクトルカメラで撮影することにより、マルチスペクトル画像を効率的に取得できる。特に、搬送装置が、ベルトコンベヤ等のように一定方向に移動する搬送面に廃棄物を載置して搬送する場合、ラインスキャン型のマルチペクトルカメラにより、上記搬送装置の搬送面を幅方向に走査することにより、搬送面の移動方向に連続したマルチスペクトル画像を得ることができる。したがって、エリア型のカメラで撮影した場合のような、撮影範囲をラップさせて順次撮影する手間や、隣り合う画像を順次つなぎ合わせる工程を削除できる。また、ラインスキャン型のマルチペクトルカメラは、画像の撮影位置を、搬送装置の搬送面の移動方向における１点に特定できるので、エリア型のカメラで撮影した場合のような、廃棄物が撮影されてから選別部で選別されるまでの時間に、画像中の位置によってばらつきが生じる不都合を防止できる。その結果、マルチスペクトル画像に基づいて廃棄物の材質を良好な精度で判別でき、また、良好な精度で廃棄物の選別動作を行うことができる。
【0017】
一実施形態の廃棄物選別装置は、上記赤外線照射装置が、搬送装置の搬送面の幅方向に複数の赤外線発生源が位置するように複数個配置されている。
【0018】
上記実施形態によれば、搬送装置の搬送面の幅方向に複数の赤外線発生源が位置するように配置された複数の赤外線照射装置により、搬送面上の廃棄物に、幅方向における偏りの少ない量の赤外線を照射できる。したがって、上記廃棄物を赤外線撮影装置で撮影した赤外線画像に基づいて、廃棄物の正確なスペクトル特性が得られる。
【0019】
一実施形態の廃棄物選別装置は、上記赤外線照射装置が、搬送装置の搬送面の幅方向に延在する赤外線発生源を有する。
【0020】
上記実施形態によれば、搬送装置の搬送面の幅方向に延在する赤外線発生源を有する赤外線照射装置により、搬送面上の廃棄物に、幅方向における偏りの少ない量の赤外線を照射できる。したがって、上記廃棄物を赤外線撮影装置で撮影した赤外線画像に基づいて、廃棄物の正確なスペクトル特性が得られる。
【0021】
一実施形態の廃棄物選別装置は、上記第２判別部が、上記可視光撮影装置が撮影した廃棄物が金属であるか否かを示す金属情報が入力され、上記廃棄物の可視光画像と金属情報に基づいて上記判別モデルで材質を判別する。
【0022】
上記実施形態によれば、可視光撮影装置で撮影されて材質を判別すべき廃棄物について、この廃棄物が金属であるか否かを示す金属情報が、第２判別部に入力される。上記金属情報は、可視光画像を視認した作業者によって作成されてもよく、あるいは、搬送装置の周囲に設置された金属検出装置の出力に基づいて作成されてもよい。第２判別部は、廃棄物の可視光画像と、この廃棄物の金属情報に基づいて判別モデルで判別を行うことにより、上記廃棄物の材質を高い判別率で判別することができる。
【0023】
一実施形態の廃棄物選別装置は、上記搬送装置で搬送される廃棄物が金属であるか否かを検出する金属検出装置を備える。
【0024】
上記実施形態によれば、金属検出装置により、搬送装置で搬送される金属物が金属であるか否かを検出し、検出結果を示す金属情報を第２判別部に入力することにより、上記廃棄物の材質を高い判別率で判別することができる。
【0025】
一実施形態の廃棄物選別装置は、上記赤外線撮影装置が、上記赤外線の反射光の強度分布を複数の波長帯域毎に示したマルチスペクトル画像を出力するマルチスペクトルカメラであり、
上記マルチスペクトル画像に基づいて判別された複数の材質が単一の廃棄物に存在し、所定の材質に対応する領域が所定の割合を占める場合、上記第１判別部が、上記廃棄物が上記所定の材質であると判別する。
上記マルチスペクトル画像に基づいて判別された複数の材質が単一の廃棄物に存在し、所定の材質に対応する領域が所定の割合を占める場合、上記第１判別部が、上記廃棄物が上記所定の材質であると判別する。
【0026】
上記実施形態によれば、赤外線撮影装置としてのマルチスペクトルカメラから出力されたマルチスペクトル画像に基づいて、第１判別部が廃棄物の材質を判別するとき、単一の廃棄物に、複数の材質が検出される場合がある。このような廃棄物として、例えば、紙や樹脂のラベルが貼付されたガラス瓶や、土砂が付着した木等がある。このような廃棄物は、マルチスペクトル画像に基づいて判別した材質の分布領域を平面座標上に表した場合、ガラスや木のように、体積において大半を占める材質が、比較的少ない領域を占める。したがって、所定の材質が所定の占有割合である場合に、この廃棄物の材質が上記材質であると判別することにより、この廃棄物の主要な材質を正確に特定することができる。例えば、マルチスペクトル画像に基づく材質の分布画像において、ガラスと、ガラス以外の紙又は樹脂等の複数の材質の領域が検出され、これらの材質のうちのガラスの占める割合が４０％を超える場合、上記廃棄物をガラスであると判別する。これにより、ラベルが貼付されたガラス瓶の材質を、ガラスと判別することができる。ここで、上記所定の割合を占める材質が、複数の材質の中で最も大きい割合を占める場合に、この廃棄物の材質であると判別してもよい。
【0027】
一実施形態の廃棄物選別装置は、上記赤外線撮影装置が、上記赤外線の反射光の強度分布を複数の波長帯域毎に示したマルチスペクトル画像を出力するマルチスペクトルカメラであり、
上記判別部が、上記マルチスペクトル画像に基づいて、ポリエチレン、ポリプロピレン、ポリ塩化ビニル樹脂、紙類、コンクリート、石、ガラス、木、ペットボトル及びポリスチレンフォームのいずれかの材質を判別する。
上記判別部が、上記マルチスペクトル画像に基づいて、ポリエチレン、ポリプロピレン、ポリ塩化ビニル樹脂、紙類、コンクリート、石、ガラス、木、ペットボトル及びポリスチレンフォームのいずれかの材質を判別する。
【0028】
上記実施形態によれば、赤外線撮影装置としてのマルチスペクトルカメラで撮影されたマルチスペクトル画像に基づいて、判別部により、赤外線のスペクトル解析と画像処理が行われ、ポリエチレン、ポリプロピレン、ポリ塩化ビニル樹脂、紙類、コンクリート、石、ガラス、木、ペットボトル及びポリスチレンフォームのいずれかの材質が判別される。これにより、廃棄物の全体の正判別率を効果的に高めることができる。
【0029】
一実施形態の廃棄物選別装置は、上記赤外線撮影装置が、上記赤外線の反射光の強度分布を複数の波長帯域毎に示したマルチスペクトル画像を出力するマルチスペクトルカメラであり、
上記第１判別部が、上記マルチスペクトル画像に基づいて、ポリエチレン、ポリプロピレン、ポリ塩化ビニル樹脂及び紙類のいずれかの材質を判別し、
上記第２判別部が、上記可視光画像に基づいて、コンクリート、木、ガラス、ペットボトル及びポリスチレンフォームのいずれかの材質を判別する。
上記第１判別部が、上記マルチスペクトル画像に基づいて、ポリエチレン、ポリプロピレン、ポリ塩化ビニル樹脂及び紙類のいずれかの材質を判別し、
上記第２判別部が、上記可視光画像に基づいて、コンクリート、木、ガラス、ペットボトル及びポリスチレンフォームのいずれかの材質を判別する。
【0030】
上記実施形態によれば、赤外線撮影装置としてのマルチスペクトルカメラで撮影されたマルチスペクトル画像に基づいて、第１判別部により赤外線のスペクトル解析が行われ、ポリエチレン、ポリプロピレン、ポリ塩化ビニル樹脂及び紙類のいずれかの材質が判別される。また、第２判別部により、可視光画像に基づく画像認識により、コンクリート、木、ガラス、ペットボトル及びポリスチレンフォームのいずれかの材質が判別される。これにより、廃棄物の全体の正判別率を効果的に高めることができる。
【0031】
一実施形態の廃棄物選別装置は、上記赤外線撮影装置が、１０００ｎｍ以上２３５０ｎｍ以下の波長の赤外線を検出して撮影を行う。
【0032】
上記実施形態によれば、赤外線撮影装置が検出した１０００ｎｍ以上２３５０ｎｍ以下の波長の赤外線に関するスペクトル特性に基づいて、廃棄物の材質を高い精度で判別することができる。
【図面の簡単な説明】
【0033】
【図1】本発明の第１実施形態の廃棄物選別装置を示す模式図である。
【図2】赤外線撮影装置の撮影室内の様子を搬送装置の搬送方向に沿って示す模式図である。
【図3】赤外線撮影装置の撮影室内の様子を搬送装置の搬送方向の直角方向に沿って示す模式図である。
【図4】他の赤外線照射装置が設置された撮影室内の様子を示す模式図である。
【図5】第１実施形態の廃棄物選別装置の判別装置と制御装置を示すブロック図である。
【図6】第１実施形態の廃棄物選別装置が行う選別方法を示すフロー図である。
【図7】第２実施形態の廃棄物選別装置を示す模式図である。
【図8】第２実施形態の廃棄物選別装置の判別装置と制御装置を示すブロック図である。
【図9】第２実施形態の廃棄物選別装置が行う選別方法を示すフロー図である。
【発明を実施するための形態】
【0034】
以下、本発明を図示の実施の形態により詳細に説明する。
【0035】
図１は、本発明の第１実施形態の廃棄物選別装置を示す模式図である。この廃棄物選別装置は、都市ごみ等のように、コンクリート、ガラスビン、金属屑、プラスチック、木片及び古紙等の種々のものが混在した廃棄物を、材質に応じて選別するものである。本実施形態の廃棄物選別装置は、例えばゴミ処理場等に設置され、家庭や商業施設等から収集された廃棄物を選別し、材質毎に回収して再利用を行うために用いることができる。
【0036】
第１実施形態の廃棄物選別装置１は、廃棄物２を搬送する搬送装置としてのベルトコンベヤ３と、ベルトコンベヤ３上の廃棄物２の形状及び高さを測定する３Ｄセンサ４と、ベルトコンベヤ３上の廃棄物２を撮影する可視光撮影装置としての可視光カメラ５と、ベルトコンベヤ３上の廃棄物２を撮影する赤外線撮影装置としてのハイパースペクトルカメラ６と、ベルトコンベヤ３で搬送される廃棄物２が金属と非金属のいずれであるかを検知する金属センサ１９を備える。３Ｄセンサ４、可視光カメラ５、ハイパースペクトルカメラ６及び金属センサ１９は、これらから入力された情報に基づいて廃棄物２の材質を判別する判別装置７に接続されている。判別装置７は制御装置８に接続され、判別装置７による判別結果に応じて、制御装置８が、選別部としてのロボットアーム９と、ベルトコンベヤ３を制御する。制御装置８で制御されたロボットアーム９により、ベルトコンベヤ３上の廃棄物２が取り上げられ、材質毎に分けて収集する収集箱１０に投入されるようになっている。
【0037】
ベルトコンベヤ３は、両端のプーリに巻き回されたコンベヤベルトが、モータに連結されたプーリで駆動され、上記コンベヤベルトの上方向きの表面である搬送面上に、廃棄物２を載置して搬送するように構成されている。このベルトコンベヤ３は、モータ及び変速機等を含んで形成された駆動装置３０が制御装置８によって制御され、廃棄物２の搬送の動作が制御される。
【0038】
３Ｄセンサ４は、ベルトコンベヤ３上の廃棄物２の形状及び高さを計測し、測定情報が、選別対象の判断や、ロボットアーム９の制御に用いられる。３Ｄセンサ４は、レーザースキャナを用いて構成することができる。上記３Ｄセンサ４は、ベルトコンベヤ３の上方を取り囲むように設置された計測室の内側に配置されている。ここで、３Ｄセンサ４は、レーザースキャナ以外の他の光学的手法によるものや、超音波等を利用した音響的手法によるものを用いてもよい。
【0039】
可視光カメラ５は、ベルトコンベヤ３上の廃棄物２を撮影して可視光画像を出力し、この可視光画像に基づいて判別装置７で廃棄物２の材質が判別される。可視光カメラ５は、ベルトコンベヤ３の上方を取り囲むように設置された撮影室の内側に配置され、外部の光による影響を防止するようになっている。可視光カメラ５は、ベルトコンベヤ３のコンベヤベルトが所定距離進行する毎に静止画像を撮影して、コンベヤベルト上の廃棄物２を漏れなく撮影するようになっている。なお、可視光カメラ５は、ベルトコンベヤ３の搬送面を連続的に撮影し、ベルトコンベヤ３の運転状況と同期して連続的な画像を出力するラインスキャン型のカメラを用いてもよい。
【0040】
ハイパースペクトルカメラ６は、撮影対象の反射光の強度を、可視光及び近赤外線に属する複数の波長帯域ごとに取得して記録するものであり、２次元座標に、複数の波長帯域の光強度を示す情報が重畳して記録されたハイパースペクトル画像を出力する。このように、ハイパースペクトル画像は、赤外線帯域の情報を含み、本発明の赤外線画像に該当する。なお、ハイパースペクトルカメラ６は、可視光線の波長から赤外線の波長までの間で、複数の波長帯域について光強度を記録するものであれば、記録する波長帯域の個数や値は、判別しようとする材質に応じて適宜設定可能である。例えば、ハイパースペクトルカメラ６としては、１０００ｎｍ以上２３５０ｎｍ以下の波長の可視光及び赤外線を、５～１５ｎｍ程度の分解能で撮影するものを用いることができる。特に、１７００ｎｍ以上２０００ｎｍ以下の近赤外線を撮影するハイパースペクトルカメラ６を用いると、材質の判別精度が向上する点で特に好ましい。しかしながら、ハイパースペクトルカメラ６の撮影する波長の下限と上限は、いずれも他の値であってもよい。また、赤外線カメラとして、ハイパースペクトルカメラよりも記録する波長の範囲が狭く、また、波長分解能の低いマルチスペクトルカメラを用いてもよい。なお、ハイパースペクトルカメラは、マルチスペクトルカメラに包含される。
【0041】
また、ハイパースペクトルカメラ６は、ラインスキャン型であるのが好ましい。ラインスキャン型のハイパースペクトルカメラ６は、ベルトコンベヤ３の搬送面を幅方向に走査し、ベルトコンベヤ３の搬送面の延在方向に沿ったハイパースペクトル画像を出力する。ラインスキャン型のハイパースペクトルカメラ６は、エリア型のカメラを用いた場合のような、撮影範囲をラップさせて順次撮影する手間や、隣り合う画像を順次つなぎ合わせる工程を削除できる。また、ラインスキャン型のマルチペクトルカメラ６は、画像の撮影位置が、ベルトコンベヤ３の搬送面の移動方向において、実質的に１点に特定される。したがって、エリア型のカメラで撮影した場合のような、廃棄物が撮影されてから選別部で選別されるまでの時間に、画像中の位置によってばらつきが生じる不都合を防止できる。その結果、マルチスペクトル画像に基づいて廃棄物の材質を良好な精度で判別でき、また、良好な精度で廃棄物の選別動作を行うことができる。
【0042】
図２及び図３は、ハイパースペクトルカメラ６が設置された赤外線画像撮影室２１内を示す模式図である。図２は、ベルトコンベヤ３の搬送方向に沿った断面を示しており、図３は、ベルトコンベヤ３の搬送方向と直角方向であって、搬送面の幅方向に沿った断面を示している。この赤外線画像撮影室２１内には、赤外線照射装置としての複数のハロゲンランプ２２が配置され、このハロゲンランプ２２よりもベルトコンベヤ３の搬送方向の下流側に、ハイパースペクトルカメラ６が配置されている。この赤外線画像撮影室２１は、ベルトコンベヤ３のコンベヤベルトの搬送面の上方を取り囲むように設置されており、赤外線の撮影に対する外部の光の影響を防止するようになっている。ハロゲンランプ２２は、ベルトコンベヤ３のコンベヤベルトの幅方向に複数個配列されている。これにより、搬送面への赤外線の照射量を、搬送面の幅方向において偏りが少なくなるようにしている。その結果、搬送面上の位置にかかわらず、廃棄物２に偏りの無い所定量の赤外線を照射して、ハイパースペクトルカメラ６の撮影画像から正確なスペクトル特性が得られるようになっている。ここで、図３ではハロゲンランプ２２をベルトコンベヤ３のコンベヤベルトの幅方向に４個配置した例を示したが、ハロゲンランプ２２の個数は何個でもよい。
【0043】
図４は、赤外線画像撮影室２１内に、他の赤外線照射装置として、線形の赤外線発生源を有するリニア型ハロゲンランプ２４を設置した様子を示す断面図である。図４は、図３と同様に、搬送面の幅方向に沿った断面を示している。ベルトコンベヤ３の搬送面の幅方向に延びるリニア型ハロゲンランプ２４を用いることにより、搬送面の幅方向における赤外線の照射量の偏りを少なくできる。ここで、赤外線照射装置は、ハロゲンランプ２２，２４以外に、他の赤外線発生源を用いてもよい。
【0044】
金属センサ１９は、ベルトコンベヤ３上の廃棄物２が金属であるか、又は、非金属であるかを検出し、検出結果として金属／非金属情報を出力する。金属／非金属情報は、判別装置７に入力され、廃棄物２の材質の判別に用いられる。金属センサ１９は、電磁波や電磁界を利用したものや、Ｘ線を利用したもの等、種々の原理で金属又は非金属を検出するものを用いることができる。
【0045】
図５は、判別装置７及び制御装置８を示すブロック図である。判別装置７は、３Ｄセンサ４の測定情報や可視光カメラ５が撮影した可視光画像やハイパースペクトルカメラ６から出力されたハイパースペクトル画像を処理する情報処理部１１と、情報処理部１１で処理されたハイパースペクトル画像に基づいて廃棄物２の材質を判別する第１判別部１２と、情報処理部１１で処理された可視光画像に基づいて廃棄物２の材質を判別する第２判別部１３と、３Ｄセンサ４や可視光カメラ５やハイパースペクトルカメラ６からの情報を記憶する記憶部１４を有する。制御装置８は、判別部１２，１３による判別結果に基づいてロボットアーム９を制御すると共にベルトコンベヤ３を制御する制御部１６と、廃棄物選別装置１の設定に関する操作を受け付ける操作部１７を有する。
【0046】
判別装置７と制御装置８は、いずれもＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）と、コンピュータプログラムが格納された記憶装置を有し、記憶装置のコンピュータプログラムが読み出されてＣＰＵで実行されることにより、各装置の機能が実現される。なお、判別装置７の記憶部１４は、磁気ディスクや半導体メモリ等で形成することができる。また、記憶部１４の一部又は全部を、判別装置７から分離して廃棄物選別装置１の設置位置から離れた位置に配置し、情報ネットワークにより判別装置７に接続してもよい。この場合、記憶部１４として、クラウドサーバや、ブロックチェーン技術を用いた分散型台帳を利用することができる。また、制御装置８の操作部１７は、ボタン、タッチセンサ、タッチパッド、ダイヤル等の入力装置や、表示機能を兼ね備えたタッチパネルで形成することができる。
【0047】
判別装置７の情報処理部１１は、３Ｄセンサ４の測定情報と、可視光カメラ５が撮影した可視光画像と、ハイパースペクトルカメラ６が撮影したハイパースペクトル画像と、金属センサ１９の検出情報が入力される。情報処理部１１は、３Ｄセンサ４の測定情報に基づいて、所定の大きさであり、かつ、ベルトコンベヤ３上の配置状態が把持可能な状態である廃棄物２を、選別候補として抽出する。大きさについては、ロボットアーム９の把持部で把持可能な大きさであるものを抽出する。また、配置状態については、ロボットアーム９の把持部が他の廃棄物２やベルトコンベヤ３等の部材に干渉することなく把持できるものを抽出する。情報処理部１１は、可視光画像から、選別候補として抽出した廃棄物２の部分の画像を切り出す。可視光画像に複数の選別候補の廃棄物２が写り込んでいる場合、複数の廃棄物２の部分の画像を切り出す。画像が切り出された選別候補の廃棄物２について、可視光画像中の座標に基づいて平面位置を特定すると共に、３Ｄセンサ４の測定情報のうちの高さ情報を特定して紐付ける。なお、廃棄物２の大きさや配置は、可視光カメラ５の可視光画像に基づいて判断してもよい。
【0048】
情報処理部１１は、選別候補として抽出した廃棄物２について、可視光画像の廃棄物２の部分と高さ情報に基づいて重心を算出すると共に、ロボットアーム９で把持する際の把持部の姿勢を特定する。これらの廃棄物２の重心の情報と、廃棄物２を把持する際の把持部の姿勢の情報は、判別部１２，１３で判別された材質の情報と共に、制御装置８の制御部１６へ送られる。
【0049】
また、判別装置７の情報処理部１１は、ベルトコンベヤ３に設置された移動量検出部で検出されたコンベヤベルトの移動量を示す情報を、制御装置８の制御部１６を介して受け取る。ベルトコンベヤ３の移動量検出部は、エンコーダ等を用いることができる。このコンベヤベルトの移動量に応じて、情報処理部１１は、３Ｄセンサ４、可視光カメラ５、ハイパースペクトルカメラ６及び金属センサ１９を制御して測定や撮影のタイミングを図るようになっている。３Ｄセンサ４、可視光カメラ５及び金属センサ１９の作動のタイミングをベルトコンベヤ３の移動量に応じて制御することにより、３Ｄセンサ４、可視光カメラ５、ハイパースペクトルカメラ６及び金属センサ１９で取得した情報に基づいて、ロボットアーム９で廃棄物２を正確に特定して選別することができる。
【0050】
判別装置７の情報処理部１１は、選別候補として抽出した廃棄物２について、ハイパースペクトル画像の廃棄物２の部分を切り出し、選別する選別候補として抽出し、切出した廃棄物２のハイパースペクトル画像を第１判別部１２へ出力する。
【0051】
判別装置７の第１判別部１２は、情報処理部１１から入力された廃棄物２のハイパースペクトル画像に基づいて、反射光の波長分布を分析し、廃棄物２のスペクトル特性を特定する。第１判別部１２は、特定したスペクトル特性に基づいて、廃棄物２の材質を特定する。第１判別部１２により材質が特定され、特定された材質が所定の材質であると、情報処理部１１により、第１実施形態と同様に切り出された可視光画像中の座標に基づいて平面位置が特定されると共に、３Ｄセンサ４の測定情報のうちの高さ情報が特定されて紐付けられる。さらに、情報処理部１１により、可視光画像の廃棄物２の部分が抽出され、可視光画像の抽出部分と高さ情報に基づいて廃棄物２の重心が算出される。これと共に、ロボットアーム９で把持される際の把持部の姿勢が特定される。これらの廃棄物２の重心の情報と、把持部の姿勢の情報は、第１判別部１２で判別された材質の情報と共に、制御装置８の制御部１６へ送られる。制御部１６は、情報処理部１１から受け取った廃棄物２の重心とロボットアーム９の把持部の姿勢に関する情報に基づいて、ロボットアーム９を制御し、廃棄物２をベルトコンベヤ３から取り上げて所定の収集箱１０に投入させる。
【0052】
この判別装置７は、ハイパースペクトルカメラ６によるハイパースペクトル画像に基づいて第１判別部１２で材質を特定し、第１判別部１２で特定された材質が所定の材質以外である場合は、第２判別部１３で可視光画像に基づいて機械学習に基づく判別モデルにより材質を特定する。したがって、廃棄物２の材質を高い精度で判別することができる。
【0053】
ここで、第１判別部１２は、廃棄物２の材質を、上記所定の材質として、ポリエチレン、ポリプロピレン、ポリ塩化ビニル樹脂、ポリスチレンフォーム、ポリエチレンテレフタレート及び紙類のいずれかであると判別した場合、これらの材質の廃棄物２をロボットアーム９で選別するように設定できる。一方、第１判別部１２が判別した材質が、ポリエチレン、ポリプロピレン、ポリ塩化ビニル樹脂、ポリスチレンフォーム、ポリエチレンテレフタレート及び紙類のいずれでもない場合、この廃棄物２の材質を第２判別部１３により判別するように設定できる。第２判別部１３により判別する材質としては、鉄、アルミニウム、銅、ステンレス、コンクリート、木及びガラス等を挙げることができる。このように、ポリエチレン、ポリプロピレン、ポリ塩化ビニル樹脂、ポリスチレンフォーム、ポリエチレンテレフタレート及び紙類を第１判別部１２で判別し、鉄、アルミニウム、銅、ステンレス、コンクリート、木及びガラス等を第２判別部１３で判別することにより、廃棄物２の材質を高い精度で判別することができる。なお、木及び／又はコンクリートは、第１判別部１２によって判別してもよい。また、鉄、アルミニウム、銅及びステンレスは、第２判別部１３によらず、金属センサ１９のみにより検出してもよい。
【0054】
情報処理部１１は、第１判別部１２により、単一の廃棄物２から複数の材質が検出された場合、各材質の配分割合に基づいて、この廃棄物２の材質を判別するのが好ましい。例えば、単一の廃棄物２からガラスと紙が検出された場合、ラベル付きのガラス容器である可能性が高く、材質の占める割合はガラスが大半であるため、この廃棄物２の材質はガラスと判別する。この場合、紙とガラスが検出され、ガラスの占める割合が４０％を超えたときに、ガラスと判別することができる。また、第１判別部１２により単一の廃棄物２に複数の材質が検出された場合、検出された材質の種類及び／又は配分割合に、可視光カメラ５で撮影した可視光画像から抽出した廃棄物２の形状を組み合わせて廃棄物２の種類を特定し、材質を判別してもよい。これにより、例えば、紙やプラスチックのラベルの付されたガラス瓶を特定し、材料をガラスに判別することができる。
【0055】
一方、情報処理部１１は、第１判別部１２で所定の材質であると判別されたもの以外の廃棄物２について、第２判別部１３により材質を判別するための処理を行う。すなわち、第１判別部１２で材質が判別されなかった廃棄物２や、第１判別部１２による判別結果では選別を行わないことが予め定められた材質の廃棄物２について、情報処理部１１が可視光画像から廃棄物２の部分を切り出し、切り出した廃棄物２の画像を第２判別部１３へ出力する。また、情報処理部１１により、切り出された可視光画像中の座標に基づいて平面位置が特定されると共に、３Ｄセンサ４の測定情報のうちの高さ情報が特定されて紐付けられ、廃棄物２の重心が算出され、ロボットアーム９で把持される際の把持部の姿勢が特定される。
【0056】
第２判別部１３は、情報処理部１１から廃棄物２の可視光画像を受け取ると、この廃棄物２の可視光画像に基づいて、画像認識技術により廃棄物２の材質の判別を行う。第２判別部１３は、判別モデルとして、教師有り学習によってアルゴリズムを成長させるニューラルネットワークを用いて構成されている。この第２判別部１３は、廃棄物２の画像が入力され、ニューラルネットワークにより計算を実行して、上記廃棄物２の材質を出力する。なお、第２判別部１３は、判別モデルとして、他の教師有り学習を行うアルゴリズムによるサポートベクターマシン（ＳＶＭ）等を用いてもよい。また、第２判別部１３のニューラルネットワークは、多数構造を有してディープラーニングを行ってもよい。また、第２判別部１３は、ニューラルネットワークによる処理を、ソフトウェアで実行してもよく、或いは、ハードウェアで実行してもよい。
【0057】
第２判別部１３のニューラルネットワークは、廃棄物２の選別作業を行うに先立ち、学習モードで機械学習を行う。学習モードでは、教師データとして、廃棄物の画像を入力すると共に、この廃棄物の画像の材質の情報を正解として入力する。廃棄物選別装置１で選別しようとする複数の材質について、廃棄物の種々の形態を示した画像と、この廃棄物の材質を示す正解の情報との複数の組み合わせを準備し、これらの複数の組み合わせの画像及び情報を用いて機械学習を行う。
【0058】
制御装置８の制御部１６は、判別装置７からの情報に基づいてロボットアーム９及びベルトコンベヤ３を制御する。また、ベルトコンベヤ３の移動量検出部で検出されたコンベヤベルトの移動量を示す情報を、判別装置７に出力する。また、制御部１６は、情報処理部１１で選別の対象として特定された廃棄物２について、情報処理部１１から受け取った廃棄物２の重心とロボットアーム９の把持部の姿勢に関する情報に基づいて、ロボットアーム９を制御し、廃棄物２をベルトコンベヤ３から取り上げ、材質に応じた収集箱１０に投入する動作を実行させる。
【0059】
ロボットアーム９は、例えば垂直多関節ロボットにより構成され、先端に設けた把持部により、ベルトコンベヤ３上の廃棄物２を掴んで取り上げ、取り上げた廃棄物２の材質に応じて、材質毎に設定された収集箱１０に投入する。ロボットアーム９は、垂直多関節ロボット以外に、パラレルリンクロボット等の他の形式のロボットを用いてもよい。
【0060】
上記構成の廃棄物選別装置１は、第２判別部１３で行われる処理に応じて、学習モードと判別モードの運転を行う。すなわち、第２判別部１３は、廃棄物２の判別の学習を行う学習モードと、廃棄物２の選別のために判別を行う判別モードの処理を行う。
【0061】
学習モードでは、廃棄物選別装置１のベルトコンベヤ３で廃棄物２を搬送し、可視光カメラ５で撮影した可視光画像を情報処理部１１で処理して廃棄物２の部分を抽出すると共に、制御装置１７の操作部１７を通じて上記廃棄物２の材質に関する情報が正解として操作者によって入力される。上記廃棄物２の画像と、上記材質に関する正解の情報を、第２判別部１３に入力して教師有り学習を行うことができる。正解としての廃棄物２の材質に関する情報の入力は、判別装置７に入力部を接続し、この入力部を通じて行ってもよい。
【0062】
また、学習モードにおいて、操作者は、廃棄物選別装置１の設置位置と異なる位置で、正解としての廃棄物２の材質に関する情報を入力してもよい。この場合、廃棄物選別装置１に通信装置を接続すると共に、情報の入力を行う位置に、画像表示装置と入力部と通信部を有する情報入力装置を設置する。廃棄物選別装置１の通信装置と、情報入力装置の通信部を情報ネットワークで接続し、廃棄物２の画像を情報入力装置に送信する。この廃棄物２の画像を情報入力装置の表示部に表示し、操作者が、上記表示部に表示された廃棄物２の画像を視認し、この廃棄物２の材質を判断して、入力部に材質に関する情報を入力する。入力部に入力された情報を、情報入力装置から廃棄物選別装置１に送信し、廃棄物２の画像と共に教師データとして第２判別部１３に入力する。このようにして、廃棄物選別装置１から離れた位置に存在する操作者が、廃棄物２の材質を判断して材質に関する情報を送信することにより、廃棄物選別装置１の第２判別部１３の機械学習を行うことができる。情報入力装置を、例えば障害者作業所や作業療法施設等に配置することにより、廃棄物２の材質の判断と入力の仕事を提供することができる。
【0063】
また、学習モードでは、ベルトコンベヤ３上の廃棄物２の撮影画像に基づいて機械学習を行う以外に、廃棄物の画像と、この画像の廃棄物の材質を示す情報とを予め準備しておき、これらの画像と情報を第２判別部１３に入力して機械学習を行ってもよい。また、廃棄物選別装置１と異なる位置に、第２判別部１３と同様のニューラルネットワークを含む計算機を設置し、この計算機で廃棄物の画像と材質を示す情報とに基づいて機械学習を行い、機械学習により得られたパラメータを廃棄物選別装置１の第２判別部１３に読み込ませてもよい。また、上記計算機で機械学習を行って得たパラメータは、複数の廃棄物選別装置１と共有してもよい。
【0064】
学習モードで機械学習を行った第２判別部１３は、判別モードにおいて、情報処理部１１から出力された廃棄物２の画像が入力され、アルゴリズムに沿って計算を行い、材質を出力する。ここで、第２判別部１３には、情報処理部１１から出力された廃棄物２の画像と共に、金属センサ１９から出力された金属／非金属情報が入力され、ニューラルネットワークで処理が行われる。このように、廃棄物２の画像と金属／非金属情報に基づいて判別を行うことにより、第２判別部１３による材質の判別結果の正確さを、廃棄物２の画像のみに基づいて判別を行うよりも、向上することができる。
【0065】
また、第２判別部１３は、判別モードで材質の判別を行った廃棄物２のうち、予め行われた判別試験により所定の正判別率に達した材質の廃棄物２について、この廃棄物２を選別の対象として、ロボットアーム９の動作に必要な情報を制御装置８に向けて出力する。ロボットアーム９の動作に必要な情報としては、廃棄物２の材質に関する情報や、廃棄物２の重心に関する情報や、ロボットアームの把持部の姿勢に関する情報等を採用できる。正判別率を特定するための判別試験は、第２判別部１３の学習モードで機械学習を行った後に行ってもよい。また、ロボットアーム９の動作に必要な情報を制御装置８に向けて出力するのは、第２判別部１３による判別結果を受けて、情報処理部１１が行ってもよい。また、廃棄物２を選別の対象とする正判別率の値は、８０％以上や、９０％以上等の種々の値を設定できる。
【0066】
表１は、判別モードにおいて、金属センサ１９から出力された金属／非金属情報を入力しない金属教示無の場合と、金属／非金属情報を入力する金属教示有の場合とで、第２判別部１３による材質の判別結果の正解の割合を示した正判別率の違いを示した表である。ここで、正判別率は、アルミニウム、銅、鉄、ＳＵＳ（ステンレススチール）、ガラス、コンクリート、木、紙類、プラスチック、ポリ塩化ビニル樹脂、ペットボトル及びポリスチレンフォームが混在する１０００個の廃棄物２について、第２判別部１３で材質の判別を行い、所定の材質であると判別された数のうち、正しく判別された数の占める割合を算出して求めた。また、第２判別部１３は、アルミニウム、銅、鉄、ＳＵＳ、ガラス、コンクリート、木、紙類、プラスチック、ペットボトル、ポリスチレンフォーム（発泡スチロール）及びＰＶＣ（ポリ塩化ビニル樹脂）について、予め教師データにより機械学習を行った。表１において、数値の単位は％であり、判別した材質の正判別率を示している。ここで、プラスチックは、ポリ塩化ビニル樹脂、ポリスチレンフォーム及びポリエチレンテレフタレート以外のプラスチックである。
【表1】
【0067】
表１から分かるように、判別モードにおいて、廃棄物２の画像と共に、金属／非金属情報を第２判別部１３に入力することにより、材質の正判別率を向上することができる。
【0068】
なお、表１には、アルミニウム、銅、鉄及びＳＵＳについては、金属センサ１９で金属と検知されたことに応じて第２判別部１３による判別は行わなかったが、第２判別部１３による判別を行ってもよい。また、表１に記載した材質のうち、プラスチック、ポリ塩化ビニル樹脂、ペットボトル及びポリスチレンフォームは第１判別部１２で判別してもよい。
【0069】
図６は、第１実施形態の廃棄物選別装置１の動作を示すフロー図である。図６に示すように、本実施形態の廃棄物選別装置１は、まず、判別装置７の第２判別部１３の機械学習を行うために、廃棄物の可視光画像と、この廃棄物の材質を示す情報とを含む教師データを準備する（ステップＳ１１）。教師データの準備は、廃棄物選別装置１のベルトコンベヤ３で廃棄物２を搬送し、可視光カメラ５で廃棄物２を撮影して得た可視光画像を判別装置７の情報処理部１１で抽出すると共に、この廃棄物２の材質を示す情報を外部から入力して行ってもよい。また、教師データとして、他の方法により得た廃棄物の画像と、この廃棄物の材質を示す情報とを準備してもよい。教師データを準備した後、第２判別部１３が教師モードになり、教師データの入力を受け、判別を行おうとする複数の材質の廃棄物について機械学習を行う（ステップＳ１２）。第２判別部１３の機械学習を行った後、廃棄物選別装置１に実際に廃棄物２を投入し、第２判別部１３により廃棄物２の材質を判別する試験を行う。この判別試験は、判別しようとする材質の複数の廃棄物について行う。第２判別部１３による廃棄物２の判別の結果を集計し、材質を正確に判別できたか否かを確認して、材質毎の正判別率を算出する。また、第２判別部１３による判別試験と共に、第１判別部１２による判別試験を行う。第１判別部１２による判別試験は、廃棄物選別装置１に廃棄物２を投入し、ハイパースペクトルカメラ６で廃棄物２を撮影し、ハイパースペクトル画像に基づいて第１判別部１２により廃棄物２の材質を判別する。この第１判別部１２による廃棄物２の判別の結果を集計し、材質を正確に判別できたか否かを確認して、材質毎の正判別率を算出する。これらにより、判別装置７で判別しようとする全て材質について、材質毎の正判別率を算出する。（ステップＳ１３）。この後、第２判別部１３が判別モードになり、廃棄物２を矢印Ｅで示すように、ベルトコンベヤ３の始端部に投入する。ベルトコンベヤ３に投入されて搬送される廃棄物２は、金属センサ１９で金属又は非金属であるかが判別され（ステップＳ１４）、３Ｄセンサ４で形状が計測されて三次元情報が取得され（ステップＳ１５）、可視光カメラ５で可視光画像が取得され（ステップＳ１６）、ハイパースペクトルカメラ６でハイパースペクトル画像が取得される（ステップＳ１７）。このハイパースペクトル画像に基づいて、第１判別部１２により、廃棄物２の材質が判別される（ステップＳ１８）。第１判別部１２により廃棄物２の材質が判別されると、この材質が所定の材質であるか否かが判断され（ステップＳ１９）、所定の材質であると、この材質の廃棄物２のうち、判別試験で正判別率が８０％以上と特定された材質である場合に、判別装置７は、廃棄物２の材質に関する情報と、廃棄物２の重心に関する情報と、ロボットアームの把持部の姿勢に関する情報を、制御装置８の制御部１６に出力する。制御部１６は、廃棄物２の材質に関する情報と、廃棄物２の重心に関する情報と、ロボットアームの把持部の姿勢に関する情報を受けると、これらの情報に基づいてロボットアーム９を制御し、ベルトコンベヤ３上の廃棄物２を取り上げて、材質に対応した収集箱１０に投入して選別を行う（ステップ２１）。ステップＳ１９において、第１判別部１２で判別された材質が所定の材質ではない場合、金属／非金属情報と可視光画像が第２判別部１３のニューラルネットワークに入力されて、廃棄物２の材質が判別される（ステップＳ２０）。第２判別部１３のニューラルネットワークで材質が判別された廃棄物２のうち、判別試験で正判別率が８０％以上と特定された材質の廃棄物２について、ロボットアーム９でベルトコンベヤ３上から取り上げ、材質に対応した収集箱１０に投入して選別を行う（ステップ２１）。ベルトコンベヤ３上の廃棄物２のうち、ロボットアーム９で取り上げられなかった廃棄物２は、矢印Ｆ１で示すようにベルトコンベヤ３の終端部から排出され、図示しないコンベヤ等の搬送装置によって戻されて、矢印Ｆ２で示すようにベルトコンベヤ３の始端部に再度投入される。ベルトコンベヤ３上に、選別すべき廃棄物２が残留しているか否かが、３Ｄセンサ４の三次元情報及び／又は可視光カメラ５の可視光画像に基づいて判別装置７で判断され（ステップＳ２２）、ベルトコンベヤ３上に選別すべき廃棄物２が残留する場合、制御装置８によりベルトコンベヤ３の運転が継続され、これにより、ベルトコンベヤ３上の廃棄物２についてステップＳ１４乃至Ｓ２１の工程が繰り返される。一方、ベルトコンベヤ３上に選別すべき廃棄物２が無くなると、制御装置８によりベルトコンベヤ３の運転が停止され、廃棄物選別装置１の選別の作業が終了する。
【0070】
以上のように、本実施形態の廃棄物選別装置１によれば、廃棄物２の所定の材質を、第１判別部１２により赤外線のスペクトル特性に基づいて判別し、他の材質を、第２判別部１３により可視光画像の機械学習を行った判別モデルによる画像認識に基づいて判別するので、廃棄物２の材質を正確に判別することができる。また、第１判別部１２及び第２判別部１３により判別された材質の廃棄物２のうち、正判別率が８０％以上の材質の廃棄物２を選別したので、選別されて収集箱１０に収集される廃棄物２の純度を効果的に高めることができる。したがって、この廃棄物選別装置１で選別されて収集された廃棄物は、有効かつ効率的にリサイクルに供することができる。なお、第１判別部１２及び第２判別部１３により判別された材質の廃棄物２のうち、正判別率が８０％以上の材質の廃棄物２を選別したが、選別する材質の正判別率の基準は、８０％以外の他の値であってもよい。また、正判別率は、第２判別部１３により判別された材質についてのみ考慮し、第１判別部１２により判別された材質の正判別率は考慮することなく、第１判別部１２で判別された所定の材質の廃棄物２を全て選別してもよい。
【0071】
また、本実施形態の廃棄物選別装置１は、第１判別部１２及び第２判別部１３で選別対象とされなかった廃棄物２を、再度ベルトコンベヤ３に投入して循環させることにより、ベルトコンベヤ３上の配置状態を変えることができる。これにより、当初は材質が判別されなかった廃棄物２を、配置状態が変わることにより正しく判別して選別することができるので、廃棄物２の選別残しを効果的に削減できる。
【0072】
図７は、本発明の第２実施形態の廃棄物選別装置１０１を示す模式図である。第２実施形態の廃棄物選別装置１０１は、撮影装置としてハイパースペクトルカメラ６のみを備え、判別装置３４が、ハイパースペクトルカメラ６の撮影画像のみに基づいて材質を判別する点が、第１実施形態と異なる。第２実施形態において、第１実施形態と同じ機能を有する部分については第１実施形態と同じ符号を付して、詳細な説明を省略する。
【0073】
以下、第２実施形態の廃棄物選別装置１０１に関して、第１実施形態の廃棄物選別装置１と異なる点を中心に説明を行う。
【0074】
第２実施形態の廃棄物選別装置１０１は、ベルトコンベヤ３上の廃棄物２を撮影する赤外線撮影装置としてのハイパースペクトルカメラ６と、ベルトコンベヤ３上の廃棄物２の形状及び高さを測定する３Ｄセンサ４と、ベルトコンベヤ３で搬送される廃棄物２が金属と非金属のいずれであるかを検知する金属センサ１９を備える。ハイパースペクトルカメラ６、３Ｄセンサ４及び金属センサ１９は、これらから入力された情報に基づいて廃棄物２の材質を判別する判別装置３４に接続されている。判別装置３４は、ロボットアーム９とベルトコンベヤ３を制御する制御装置８に接続されている。
【0075】
第２実施形態の廃棄物選別装置１０１のハイパースペクトルカメラ６は、１０００ｎｍ以上２３５０ｎｍ以下の波長の赤外線を、５ｎｍ前後の帯域幅毎に撮影するものを用いることができる。ここで、ハイパースペクトルカメラ６は、近赤外線に含まれる光を撮影するのが好ましい。また、ハイパースペクトルカメラ６の撮影する波長の下限と上限は、いずれも他の値であってもよい。特に、１７００ｎｍ以上２０００ｎｍ以下の近赤外線を撮影するハイパースペクトルカメラ６を用いると、材質の判別精度が向上する点で特に好ましい。また、撮影する帯域幅、すなわち波長分解能は、いずれの値であってもよい。
【0076】
判別装置３４は、図８のブロック図に示すように、ハイパースペクトルカメラ６が撮影したハイパースペクトル画像や３Ｄセンサ４の測定情報を処理する情報処理部３５と、情報処理部３５でハイパースペクトル画像が処理されてなる情報又は画像に基づいて廃棄物２の材質を判別する判別部３６と、３Ｄセンサ４やハイパースペクトルカメラ６からの情報を記憶する記憶部１４を有する。
【0077】
判別装置３４の情報処理部３５は、第１実施形態の情報処理部１１と同様に選別候補の廃棄物２を抽出すると、抽出した廃棄物２について、ハイパースペクトル画像の廃棄物２の部分を切り出し、選別する選別候補として抽出し、切出した廃棄物２のハイパースペクトル画像を判別部３６へ出力する。
【0078】
判別装置３４の判別部３６は、廃棄物２のハイパースペクトル画像に基づいて、機械学習を利用した画像認識により廃棄物２の材質を特定する。まず、判別部３６は、情報処理部３５から入力された廃棄物２のハイパースペクトル画像に基づいて、判別用画像を作成する。判別用画像は、所定の波長帯域の反射強度分布を表した画像や、１つまたは複数の波長帯域のデータを所定の方法に従って変換した画像等を用いることができる。判別用画像は、撮影範囲の２次元座標上に、材質に応じて設定された色により、材質の分布が表された画像である。この判別用画像を、判別部３６が有する判別モデルに入力し、画像認識技術により廃棄物２の材質の判別を行う。判別部３６は、判別モデルとして、教師有り学習によってアルゴリズムを成長させるニューラルネットワークを用いて構成されている。この判別部３６は、第１実施形態と同様に、学習モードで機械学習が行われ、判別モードで廃棄物２の材質の判別が行われる。判別部３６の判別モードで判別された材質のうち、正判別率が所定値以上の材質の廃棄物２について、ロボットアーム９の動作に必要な情報が制御装置８に向けて出力される。なお、ロボットアーム９の動作に必要な情報は、判別部３６による判別結果を受けて、情報処理部３５が制御装置８に向けて出力してもよい。また、廃棄物２を選別の対象とする正判別率の値は、８０％以上や、９０％以上等の種々の値を設定できる。
【0079】
ロボットアーム９の動作に必要な情報は、情報処理部３５により、ハイパースペクトル画像中の廃棄物２の座標に基づいて特定された平面位置と、３Ｄセンサ４の測定情報のうちの高さ情報に基づいて形成される。具体的には、情報処理部３５によりハイパースペクトル画像から抽出された廃棄物２の部分と高さ情報に基づいて廃棄物２の重心が算出される。これと共に、ロボットアーム９で把持される際の把持部の姿勢が特定される。これらの廃棄物２の重心の情報と、把持部の姿勢の情報が、判別部３６で判別された材質の情報と共に、制御装置８の制御部１６へ送られる。制御部１６は、情報処理部３５から受け取った廃棄物２の重心とロボットアーム９の把持部の姿勢に関する情報に基づいて、ロボットアーム９を制御し、廃棄物２をベルトコンベヤ３から取り上げて所定の収集箱１０に投入させる。
【0080】
第２実施形態の廃棄物選別装置１０１は、ハイパースペクトルカメラ６によるハイパースペクトル画像に基づいて、判別部３６で機械学習を行う判別モデルにより材質を特定するので、廃棄物２の材質を高い精度で判別することができる。
【0081】
ここで、判別部３６は、廃棄物２の材質を、上記所定の材質として、ポリエチレン、ポリプロピレン、ポリ塩化ビニル樹脂、ポリスチレンフォーム、ポリエチレンテレフタレート、紙類、コンクリート、石、ガラス、木及びポリスチレンフォームのうちのいずれかであると判別した場合、これらの材質の廃棄物２をロボットアーム９で選別するように設定できる。また、鉄、アルミニウム、銅、ステンレスは、金属センサ１９の検出情報に基づいて判別することができる。
【0082】
図９は、第２実施形態の廃棄物選別装置１０１の動作を示すフロー図である。図９に示すように、本実施形態の廃棄物選別装置１０１は、まず、判別装置３４の判別部３６の機械学習を行うために、廃棄物のハイパースペクトル画像から作成した判別用画像と、この廃棄物の材質を示す情報とを含む教師データを準備する（ステップＳ３１）。教師データの準備は、廃棄物選別装置１０１のベルトコンベヤ３で廃棄物２を搬送し、ハイパースペクトルカメラ６で廃棄物２を撮影して得たハイパースペクトル画像を判別装置３４の情報処理部３５で加工して判別用画像を作成すると共に、この廃棄物２の材質を示す情報を外部から入力して行ってもよい。また、教師データとして、他の方法により得た廃棄物の判別用画像と、この廃棄物の材質を示す情報とを準備してもよい。教師データを準備した後、判別部３６が教師モードになり、教師データの入力を受け、判別を行おうとする複数の材質の廃棄物について機械学習を行う（ステップＳ３２）。判別部３６の機械学習を行った後、廃棄物選別装置１０１に実際に廃棄物２を投入し、判別部３６により廃棄物２の材質を判別する試験を行う。この判別試験は、判別しようとする材質の複数の廃棄物について行う。判別部３６による廃棄物２の判別の結果を集計し、材質を正確に判別できたか否かを確認して、材質毎の正判別率を算出する。（ステップＳ３３）。この後、判別部３６が判別モードになり、廃棄物２を矢印Ｅで示すように、ベルトコンベヤ３の始端部に投入する。ベルトコンベヤ３に投入されて搬送される廃棄物２は、金属センサ１９で金属又は非金属であるかが判別され（ステップＳ３４）、３Ｄセンサ４で形状が計測されて三次元情報が取得され（ステップＳ３５）、ハイパースペクトルカメラ６でハイパースペクトル画像が取得される（ステップＳ３６）。このハイパースペクトル画像に基づいて、判別部３６により判別用画像が作成され、この判別用画像が判別部３６のニューラルネットワークに入力されて、廃棄物２の材質が判別される（ステップＳ３７）。判別部３６により廃棄物２の材質が判別されると、この材質の廃棄物２のうち、判別試験で正判別率が８０％以上と特定された材質である場合に、判別装置３４は、廃棄物２の材質に関する情報と、廃棄物２の重心に関する情報と、ロボットアームの把持部の姿勢に関する情報を、制御装置８の制御部１６に出力する。制御部１６は、廃棄物２の材質に関する情報と、廃棄物２の重心に関する情報と、ロボットアームの把持部の姿勢に関する情報を受けると、これらの情報に基づいてロボットアーム９を制御し、ベルトコンベヤ３上の廃棄物２を取り上げて、材質に対応した収集箱１０に投入して選別を行う（ステップ３８）。ベルトコンベヤ３上の廃棄物２のうち、ロボットアーム９で取り上げられなかった廃棄物２は、矢印Ｆ１で示すようにベルトコンベヤ３の終端部から排出され、図示しないコンベヤ等の搬送装置によって戻されて、矢印Ｆ２で示すようにベルトコンベヤ３の始端部に再度投入される。ベルトコンベヤ３上に、選別すべき廃棄物２が残留しているか否かが、３Ｄセンサ４の三次元情報及び／又はハイパースペクトルカメラ６のハイパースペクトル画像に基づいて判別装置３４で判断され（ステップＳ３９）、ベルトコンベヤ３上に選別すべき廃棄物２が残留する場合、制御装置８によりベルトコンベヤ３の運転が継続され、これにより、ベルトコンベヤ３上の廃棄物２についてステップＳ３４乃至Ｓ３８の工程が繰り返される。一方、ベルトコンベヤ３上に選別すべき廃棄物２が無くなると、制御装置８によりベルトコンベヤ３の運転が停止され、廃棄物選別装置１０１の選別の作業が終了する。
【0083】
以上のように、本実施形態の廃棄物選別装置１０１によれば、廃棄物２の所定の材質を、判別部３６のニューラルネットワークを用いた判別モデルにより、ハイパースペクトル画像から作成した判別用画像の画像認識に基づいて判別するので、廃棄物２の材質を正確に判別することができる。また、判別部３６により判別された材質の廃棄物２のうち、正判別率が８０％以上の材質の廃棄物２を選別するので、選別されて収集箱１０に収集される廃棄物２の純度を効果的に高めることができる。したがって、この廃棄物選別装置１０１で選別されて収集された廃棄物は、有効かつ効率的にリサイクルに供することができる。なお、判別部３６により判別された材質の廃棄物２のうち、正判別率が８０％以上の材質の廃棄物２を選別したが、選別する材質の正判別率の基準は、８０％以外の他の値であってもよい。
【0084】
上記第１及び第２実施形態において、第１判別部１２，第２判別部１３又は判別部３６による正判別率が８０％以上の材質の廃棄物２を選別したが、正判別率に基づくことなく廃棄物２を選別してもよい。この場合、正判別率を特定するための試験は行わなくてよい。
【0085】
また、上記第１及び第２実施形態において、ベルトコンベヤ３上の廃棄物２のうち、ロボットアーム９で取り上げられなかった廃棄物２は、矢印Ｆ１で示すようにベルトコンベヤ３の終端部から排出され、図示しないコンベヤ等の搬送装置によって戻され、矢印Ｆ２で示すようにベルトコンベヤ３の始端部に再度投入されたが、ロボットアーム９で取り上げられなかった廃棄物２はベルトコンベヤ３に再投入しなくてもよい。すなわち、ベルトコンベヤ３に投入された廃棄物２のうち、ロボットアーム９で取り上げられなかった廃棄物２は、矢印Ｆ１で示すようにベルトコンベヤ３の終端部から排出されると、ベルトコンベヤ３に再投入されることなく廃棄や他の処理に付されてもよい。
【0086】
また、ロボットアーム９で取り上げられなかった廃棄物２をベルトコンベヤ３上に再投入するように構成された場合、時間の経過に伴い、判別不可能な材質の廃棄物２がベルトコンベヤ３上に溜まるので、これらの廃棄物２を定期的に排除するのが好ましい。また、ベルトコンベヤ３上に、矢印Ｅで示すように新たな廃棄物２を投入する場合は再投入を行わない一方、新たな破棄物２を投入しない場合に、矢印Ｆ２で示すように廃棄物２を再投入するようにしてもよい。
【0087】
上記第１及び第２実施形態において、廃棄物２として都市ごみの選別に用いた場合について例示したが、災害時の瓦礫等のような他の廃棄物の選別のために、本発明を適用することも可能である。
【0088】
以上、実施形態を通じて本発明を説明したが、本発明の要旨を逸脱しない範囲で種々の変更が可能であり、本発明の技術的範囲は上記実施形態に限定されない。
【符号の説明】
【0089】
１，１０１ 廃棄物選別装置
２ 廃棄物
３ ベルトコンベヤ
４ ３Ｄセンサ
５ 可視光カメラ
６ ハイパースペクトルカメラ
７，３４ 判別装置
８ 制御装置
９ ロボットアーム
１１，３５ 情報処理部
１２ 第１判別部
１３ 第２判別部
１４ 記憶部
１６ 制御部
１７ 操作部
１９ 金属センサ
２１ 赤外線画像撮影室
３０ ベルトコンベヤの駆動装置
３６ 判別部
２ 廃棄物
３ ベルトコンベヤ
４ ３Ｄセンサ
５ 可視光カメラ
６ ハイパースペクトルカメラ
７，３４ 判別装置
８ 制御装置
９ ロボットアーム
１１，３５ 情報処理部
１２ 第１判別部
１３ 第２判別部
１４ 記憶部
１６ 制御部
１７ 操作部
１９ 金属センサ
２１ 赤外線画像撮影室
３０ ベルトコンベヤの駆動装置
３６ 判別部
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】