(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024158193
(43)【公開日】2024-11-08
(54)【発明の名称】プラスチックの材質判別方法と判別装置並びに判別プログラム
(51)【国際特許分類】
G01N 21/3563 20140101AFI20241031BHJP
G01N 21/27 20060101ALI20241031BHJP
G06T 7/00 20170101ALI20241031BHJP
G06V 10/70 20220101ALI20241031BHJP
G01N 21/359 20140101ALI20241031BHJP
【FI】
G01N21/3563
G01N21/27 A
G06T7/00 350B
G06V10/70
G01N21/359
【審査請求】有
【請求項の数】8
【出願形態】OL
(21)【出願番号】P 2023073180
(22)【出願日】2023-04-27
(11)【特許番号】
(45)【特許公報発行日】2024-03-08
【公序良俗違反の表示】
(特許庁注:以下のものは登録商標)
1.BLUETOOTH
(71)【出願人】
【識別番号】523159960
【氏名又は名称】エザキラボ株式会社
(74)【代理人】
【識別番号】230115336
【弁護士】
【氏名又は名称】山下 あや理
(74)【代理人】
【識別番号】100071548
【弁理士】
【氏名又は名称】山下 賢二
(72)【発明者】
【氏名】江崎 修央
(72)【発明者】
【氏名】濱口 宝
(72)【発明者】
【氏名】白川 琥大
【テーマコード(参考)】
2G059
5L096
【Fターム(参考)】
2G059AA05
2G059BB08
2G059EE02
2G059EE13
2G059FF01
2G059GG02
2G059HH01
2G059HH02
2G059KK04
2G059MM01
2G059MM02
5L096CA04
5L096CA17
5L096DA02
5L096EA35
5L096FA35
5L096GA41
5L096KA04
(57)【要約】
【課題】
プラスチックの材質をすばやく、しかも高精度に判別できる便利な方法を提供する。
【解決手段】
材質が未知のプラスチック(10)に対して、可視光線と近赤外線とを照射し、そのプラスチック(10)からの反射光をカメラ(11)で撮影し、可視光画像と近赤外光画像とを取得すると共に、その可視光画像の色相ヒストグラムと近赤外光画像の輝度ヒストグラムとを各々生成し、その両ヒストグラムに含まれた特徴量を機械学習した学習モデル(26)を用いて、コンピューター(スマートフォン)(C)が上記プラスチック(10)の材質を判別する方法である。
【選択図】
図6
【特許請求の範囲】
【請求項1】
材質が未知のプラスチックに対して、可視光線と近赤外線とを各々照射し、そのプラスチックの表面から反射する光をカメラにより撮影して、可視光画像と近赤外光画像とを取得すると共に、
その可視光画像の色相ヒストグラムと近赤外光画像の輝度ヒストグラムとを各々測定し、
コンピューターがその両ヒストグラムに各々含まれた特徴量を機械学習した学習モデルを用いて、上記プラスチックの材質を判別することを特徴とするプラスチックの材質判別方法。
【請求項2】
可視光画像と近赤外光画像におけるプラスチックの選定した材質判別対象部位である一定領域を、何れも正方形のグリッドに各々切り出し細分し、そのグリッドの1区画ずつで可視光画像の色相ヒストグラムと近赤外光画像の輝度ヒストグラムを各々測定すると共に、
コンピューターの学習モデルを用いた上記プラスチックの材質判別も、上記グリッドの1区画ずつで行った上、その判別結果をグリッドにおける全区画のそれとして集計し、その集計により求めた最頻値を以って、上記プラスチックの材質であると判別することを特徴とする請求項1記載のプラスチックの材質判別方法。
【請求項3】
近赤外線をその互いに異なる波長の複数として、材質が未知のプラスチックへ照射し、そのプラスチックからの反射光を各々撮影することにより、複数の近赤外光画像を取得することを特徴とする請求項1又は2記載のプラスチックの材質判別方法。
【請求項4】
材質が未知のプラスチックに対して、可視光線と近赤外線とを各々照射する測定光照射装置と、
その照射中にプラスチックの表面から反射する光を撮影するカメラと、
少なくとも画像分析・処理部と学習部並びに材質判別部を有するコンピューターとから成り、
そのコンピューターの画像分析・処理部では上記カメラにより撮影された可視光画像の色相ヒストグラムと近赤外光画像の輝度ヒストグラムとの各値を測定し、
同じくコンピューターの学習部ではその両ヒストグラムに各々含まれた特徴量を、予め材質が既知である複数のプラスチックに基づいて機械学習した学習機が、上記色相ヒストグラムと輝度ヒストグラムとの各値をすべて入力されることにより、材質判別基準となる学習モデルを生成し、
更にコンピューターの材質判別部では上記学習機から出力された学習モデルを用いて、未知のプラスチックの材質を判別することを特徴とするプラスチックの材質判別装置。
【請求項5】
コンピューターがスマートフォンやその他のカメラ機能を有するモバイル端末から成る一方、
測定光照射装置が上記コンピューターを着脱自在に装着使用できるアタッチメント又はアダプターから成り、
測定光照射装置におけるプラスチックの表面へ押し付け使用される下部が、上記カメラでの撮影空間を区成する鏡筒として、
その鏡筒の胴面に白色LEDと少なくとも1つの近赤外線LEDとを並列設置すると共に、
上記コンピューターからの出力信号によって、上記白色LEDと近赤外線LEDとの点灯・消灯を各々制御できるように、そのコンピューターと上記測定光照射装置とを電気的に接続したことを特徴とする請求項4記載のプラスチックの材質判別装置。
【請求項6】
コンピューターを底面カメラ付きのスマートフォンとして、そのアタッチメント又はアダプターになる測定光照射装置の上部をスマートフォン受け止め支持枠として、正面からスマートフォンの抜き差し可能な上向き開放したリップチャンネル溝型に造形すると共に、
そのリップチャンネル溝型をなす上記支持枠のフラットな溝底面に、スマートフォンの底面カメラと対応位置する透過口を、下部の撮影空間になる鏡筒との連通状態に形成する一方、
上記測定光照射装置における鏡筒の胴面に、白色LEDを第1光源とし、波長が互いに異なる2つの近赤外線LEDを第2、3光源として、その上中下の3段に取り付けたことを特徴とする請求項5記載のプラスチックの材質判別装置。
【請求項7】
材質が未知のプラスチックに対して、可視光線と近赤外線とを各々照射し、そのプラスチックの表面から反射する光をカメラにより撮影して、可視光画像と近赤外光画像とを取得するステップと、
その取得した各画像における上記プラスチックの選定した材質判別対象部位である一定領域で、上記可視光画像の色相ヒストグラムと近赤外光画像の輝度ヒストグラムとの各値を測定するステップと、
材質が既知である複数の異なるプラスチックに基づいて、コンピューターが予め上記色相ヒストグラムと輝度ヒストグラムに各々含まれた特徴量を機械学習した学習機へ、上記未知のプラスチックにおける色相ヒストグラムと輝度ヒストグラムとの各値をすべて入力するステップと、
その学習機から出力する学習モデルを用いて、上記未知のプラスチックの材質を判別し、その判別した材質を表示するステップとをコンピューターに実行させるためのプラスチックの材質判別プログラム。
【請求項8】
材質が未知のプラスチックに対して、可視光線と近赤外線とを各々照射し、そのプラスチックの表面から反射する光をカメラにより撮影して、可視光画像と近赤外光画像とを取得するステップと、
その取得した各画像における上記プラスチックの選定した材質判別対象部位である一定領域を、何れも正方形のグリッドに切り出して細分し、その細分したグリッドの1区画ずつで上記可視光画像の色相ヒストグラムと近赤外光画像の輝度ヒストグラムとの各値を測定するステップと、
材質が既知である複数の異なるプラスチックに基づいて、コンピューターが予め上記色相ヒストグラムと輝度ヒストグラムに各々含まれた特徴量を機械学習した学習機へ、上記未知のプラスチックにおけるグリッドの1区画ずつで測定した色相ヒストグラムと輝度ヒストグラムとの各値をすべて入力するステップと、
その学習機から上記未知のプラスチックにおけるグリッドの1区画ずつに関する材質の判別結果を出力すると共に、その1区画ずつについて出力した判別結果を全区画のそれとして集計することにより求めた最頻値を以って、上記未知のプラスチックの材質であると判別し、その判別した材質を表示するステップとをコンピューターに実行させるためのプラスチックの材質判別プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明はプラスチックにおける主として廃棄上の分別処理やリサイクルのために役立つ材質の判別方法と判別装置並びに判別プログラムに関する。
【背景技術】
【0002】
プラスチックの材質を判別する手段については、近赤外線分光法による方法と装置が数多く提案されている。
【0003】
そのうち、特許文献1、2に記載されたプラスチック判定装置も近赤外線分光法を使用してはいるが、特にその中央演算処理ユニットを内蔵する本体装置がタブレット端末から成り、分光センサーを備えた測定装置もハンディタイプとして、誰もがその全体を手軽に持ち運んでどこにおいても、また動かすことができない固定状態にあるプラスチックでも、その材質の判別に使用できる利便性がある点で、本発明に最も近似する公知の判別装置であると考えられる。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特許第6947447号公報
【特許文献2】特許第7015579号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
ところが、上記特許文献1、2に開示されたプラスチック判定装置は、あくまでも近赤外線分光法を使用したものであり、既知の材質毎に言わば予め定まっている基準スペクトル(分光スペクトル)の値を利用して、未知の材質について分光センサーにより取得した分光スペクトルの値と比較・照合し、その最も近似する値を以って、材質を判別するようになっているため、その判別結果が例えば廃プラスチックにおける表面の凹凸、その他の肌荒れ状態や検知領域の広大さ、分光センサーの性能などによって左右されやすく、また互いに異なる材質のプラスチック同士でも、非常に類似したスペクトルを持つことがあるので、高い判別精度(正解率)を得ることが困難である。
【0006】
それにもまして、上記プラスチック判定装置を繰り返し使用し、その使用回数を増したとしても、判別精度が向上するわけではなく、その向上のためには特殊・高価な近赤外線の分光センサーやスペクトルカメラなどの採用を余儀なくされることになり、その意味での汎用性や量産性などに劣る問題がある。
【課題を解決するための手段】
【0007】
本発明はこのような問題の抜本的な解決を目的としており、その目的を達成するために、請求項1ではプラスチックの材質判別方法として、材質が未知のプラスチックに対して可視光線と近赤外線とを各々照射し、そのプラスチックの表面から反射する光をカメラにより撮影して、可視光画像と近赤外光画像とを取得すると共に、
【0008】
その可視光画像の色相ヒストグラムと近赤外光画像の輝度ヒストグラムとを各々測定し、
【0009】
コンピューターがその両ヒストグラムに各々含まれた特徴量を機械学習した学習モデルを用いて、上記プラスチックの材質を判別することを特徴とする。
【0010】
また、請求項2では同じくプラスチックの材質判別方法として、可視光画像と近赤外光画像におけるプラスチックの選定した材質判別対象部位である一定領域を、何れも正方形のグリッドに各々切り出し細分し、そのグリッドの1区画ずつで可視光画像の色相ヒストグラムと近赤外光画像の輝度ヒストグラムを各々測定すると共に、
【0011】
コンピューターの学習モデルを用いた上記プラスチックの材質判別も、上記グリッドの1区画ずつで行った上、その判別結果をグリッドにおける全区画のそれとして集計し、その集計により求めた最頻値を以って、上記プラスチックの材質であると判別することを特徴とする。
【0012】
請求項3ではやはり材質判別方法として、近赤外線をその互いに異なる波長の複数として、材質が未知のプラスチックへ照射し、そのプラスチックからの反射光を各々撮影することにより、複数の近赤外光画像を取得することを特徴とする。
【0013】
請求項4ではプラスチックの材質判別装置として、材質が未知のプラスチックに対して可視光線と近赤外線とを各々照射する測定光照射装置と、
【0014】
その照射中にプラスチックの表面から反射する光を撮影するカメラと、
【0015】
少なくとも画像分析・処理部と学習部並びに材質判別部を有するコンピューターとから成り、
【0016】
そのコンピューターの画像分析・処理部では上記カメラにより撮影された可視光画像の色相ヒストグラムと近赤外光画像の輝度ヒストグラムとの各値を測定し、
【0017】
同じくコンピューターの学習部ではその両ヒストグラムに各々含まれた特徴量を、予め材質が既知である複数のプラスチックに基づいて機械学習した学習機が、上記色相ヒストグラムと輝度ヒストグラムとの各値をすべて入力されることにより、材質判別基準となる学習モデルを生成し、
【0018】
更にコンピューターの材質判別部では上記学習機から出力された学習モデルを用いて、未知のプラスチックの材質を判別することを特徴とする。
【0019】
請求項5では同じく材質判別装置として、コンピューターがスマートフォンやその他のカメラ機能を有するモバイル端末から成る一方、
【0020】
測定光照射装置が上記コンピューターを着脱自在に装着使用できるアタッチメント又はアダプターから成り、
【0021】
測定光照射装置におけるプラスチックの表面へ押し付け使用される下部が、上記カメラでの撮影空間を区成する鏡筒として、
【0022】
その鏡筒の胴面に白色LEDと少なくとも1つの近赤外線LEDとを並列設置すると共に、
【0023】
上記コンピューターからの出力信号によって、上記白色LEDと近赤外線LEDとの点灯・消灯を各々制御できるように、そのコンピューターと上記測定光照射装置とを電気的に接続したことを特徴とする。
【0024】
請求項6ではやはり材質判別装置として、コンピューターを底面カメラ付きのスマートフォンとして、そのアタッチメント又はアダプターになる測定光照射装置の上部をスマートフォン受け止め支持枠として、正面からスマートフォンの抜き差し可能な上向き開放したリップチャンネル溝型に造形すると共に、
【0025】
そのリップチャンネル溝型をなす上記支持枠のフラットな溝底面に、スマートフォンの底面カメラと対応位置する透過口を、下部の撮影空間になる鏡筒との連通状態に形成する一方、
【0026】
上記測定光照射装置における鏡筒の胴面に、白色LEDを第1光源とし、波長が互いに異なる2つの近赤外線LEDを第2、3光源として、その上中下の3段に取り付けたことを特徴とする。
【0027】
請求項7ではプラスチックの材質判別プログラムとして、材質が未知のプラスチックに対して可視光線と近赤外線とを各々照射し、そのプラスチックの表面から反射する光をカメラにより撮影して、可視光画像と近赤外光画像とを取得するステップと、
【0028】
その取得した各画像における上記プラスチックの選定した材質判別対象部位である一定領域で、上記可視光画像の色相ヒストグラムと近赤外光画像の輝度ヒストグラムとの各値を測定するステップと、
【0029】
材質が既知である複数の異なるプラスチックに基づいて、コンピューターが予め上記色相ヒストグラムと輝度ヒストグラムに各々含まれた特徴量を機械学習した学習機へ、上記未知のプラスチックにおける色相ヒストグラムと輝度ヒストグラムとの各値をすべて入力するステップと、
【0030】
その学習機から出力する学習モデルを用いて、上記未知のプラスチックの材質を判別し、その判別した材質を表示するステップとをコンピューターに実行させることを特徴とする。
【0031】
請求項8では同じく材質判別プログラムとして、材質が未知のプラスチックに対して可視光線と近赤外線とを各々照射し、そのプラスチックの表面から反射する光をカメラにより撮影して、可視光画像と近赤外光画像とを取得するステップと、
【0032】
その取得した各画像における上記プラスチックの選定した材質判別対象部位である一定領域を、何れも正方形のグリッドに切り出して細分し、その細分したグリッドの1区画ずつで上記可視光画像の色相ヒストグラムと近赤外光画像の輝度ヒストグラムとの各値を測定するステップと、
【0033】
材質が既知である複数の異なるプラスチックに基づいて、コンピューターが予め上記色相ヒストグラムと輝度ヒストグラムに各々含まれた特徴量を機械学習した学習機へ、上記未知のプラスチックにおけるグリッドの1区画ずつで測定した色相ヒストグラムと輝度ヒストグラムとの各値をすべて入力するステップと、
【0034】
その学習機から上記未知のプラスチックにおけるグリッドの1区画ずつに関する材質の判別結果を出力すると共に、その1区画ずつについて出力した判別結果を全区画のそれとして集計することにより求めた最頻値を以って、上記未知のプラスチックの材質であると判別し、その判別した材質を表示するステップとをコンピューターに実行させることを特徴とする。
【発明の効果】
【0035】
請求項1の構成によれば、可視光線と近赤外線とを各々照射している被判別樹脂(材質が未知のプラスチック)の表面から反射する反射光を、カメラで撮影することにより可視光画像と近赤外光画像とを取得し、その可視光画像の色相ヒストグラムと近赤外光画像の輝度ヒストグラムに各々含まれている特徴量を、予め機械学習した学習機へ入力し、これらのヒストグラムにおける色合いの特徴的な濃淡分布パターンと、その言わば背景となる特徴的な明暗(陰影)分布パターンとを、学習機が習得した学習モデル(教師モデル)を材質判別基準として、上記被判別樹脂の材質を判別する方法であるため、高精度な判別結果を安定良く得られる効果があり、その学習モデルを次回の学習モデルとして使用し、これを繰り返し更新することによって、判別精度をますます向上させることができる。
【0036】
その場合、特に請求項2の構成を採用するならば、上記被判別樹脂が例えば廃プラスチックとして、その表面における凹凸やその他の肌荒れ状態などに起因して、その表面からの反射光を安定良く捕捉できないおそれがあっても、上記学習機の生成した学習モデルの使用とも相俟って、別な材質のプラスチックとの相互間における僅かな違いでも見逃すことなく、常時確実に発見することができ、その材質の判別上100%の正解率を達成することも可能となる。
【0037】
また、請求項3の構成を採用するならば、複数の近赤外光画像からその輝度ヒストグラムに含まれた多くの特徴量を学習機に機械学習させることができ、その習得した学習モデルを用いて、高精度な判別結果を得られる利点がある。
【0038】
請求項4の構成によれば、上記材質判別方法を使用するための材質判別装置として、その必要最少限の簡素な構成で足り、その使用上の利便性や汎用性を得られる効果がある。
【0039】
その場合、特に請求項5の構成を採用するならば、その材質判別装置を手軽に持ち運んで、誰がどこにおいても被判別樹脂の材質判別を行えるのであり、その使用上の利便性がますます向上するばかりでなく、量産効果の達成にも役立つ。
【0040】
更に、請求項6の構成を採用するならば、そのコンピューターとして一般的なスマートフォンを使って、その底面カメラにより被判別樹脂を撮影することができるため、そのスマホのアタッチメント又はアダプターになる測定光照射装置のみを製造すれば足り、量産性と普及性がますます向上する。
【0041】
請求項7の構成によれば、そのプラスチックの材質判別プログラムを例えばスマホの専用アプリとしてインストールすることにより、誰もが5秒程度での瞬時に被判別樹脂の材質判別を実行できる効果がある。
【0042】
殊更、請求項8の構成によれば、その材質判別プログラムをコンピューターが実行することによって、請求項2の構成に伴なう優れた上記効果を確実に達成することができる。
【図面の簡単な説明】
【0043】
【
図1】本発明の実施形態に係る材質判別装置の機能ブロック図である。
【
図2】上記材質判別装置の物理的な構成を示す斜面図である。
【
図3】
図2から抽出した測定光照射装置における第1~3光源の配置状態を示す正面図である。
【
図4】カメラで撮影した各画像を材質判別対象部位だけの一定領域から正方形のグリッドに切り出す過程の説明図である。
【
図5】材質がポリプロピレンの1つの色相ヒストグラムと2つの輝度ヒストグラムを例示するグラフである。
【
図6】材質が未知のプラスチック(被判別樹脂)における材質判別処理工程を示すフローチャートである。
【発明を実施するための形態】
【0044】
以下、図面に基づいて本発明の好適な実施形態を詳述する。その実施形態に係るプラスチックの材質判別装置は
図1の機能ブロック図から示唆されるように、材質が未知のプラスチック(以下、「被判別樹脂」ということもある)(10)に対して測定光を照射する装置(A)と、その照射された測定光が被判別樹脂(10)の表面から反射した反射光を撮影するカメラ(11)と、その撮影された画像の色相ヒストグラムと輝度ヒストグラムを測定し、その各値に含まれた特徴量を材質が既知のプラスチックにつき、予め機械学習した学習機が生成した材質判別基準となる学習モデルを用いて、上記被判別樹脂(10)の材質を判別するコンピューター(C)とから成る。
【0045】
この点、図示実施形態の材質判別装置では
図2のように、そのコンピューター(C)が底面カメラ(11)付きのスマートフォンとして具体化されていると共に、そのアタッチメント又はアダプターが測定光照射装置(A)として、これにコンピューター(以下、「スマホ」と略称することもある)(C)を着脱自在に装着使用し得るようになっている。そして、そのスマホ(C)と別個な測定光照射装置(A)とが、制御部(制御基板)(12)を介して図外のUSBケーブルにより、電気的に接続されるようになっているが、その制御部(12)を小型化して測定光照射装置(A)の内部に埋設しても良い。
【0046】
図示の上記材質判別装置はその物理的な構成として、スマホ(C)とそのアタッチメント又はアダプターをなす測定光照射装置(A)とから成るに過ぎないため、どこにでも持ち運ぶことができ、自由に動かせる小型・軽量のプラスチック製品のみならず、固定状態にある大型の重いプラスチック製装置品などでも、その材質を判別するために便利良く使えるのであり、その被判別樹脂(10)を言わば一定な大きさ・形状のピースとして作成準備する必要もない。
【0047】
また、図示実施形態の場合、その材質判別装置のコンピューター(C)として、底面カメラ(11)付きのスマホを採用しており、これに代わるカメラ機能を備えたタブレット端末やノートパソコン、その他のモバイル通信端末を採用することも可能であるが、上記反射光を撮影するためのカメラ(11)を測定光照射装置(A)に内蔵させて、そのカメラ(11)とコンピューター(C)の後述する画像分析・処理部とを、例えばWi-Fiや好ましくはBluetoothによって近距離無線通信できるように接続しても良い。
【0048】
上記プラスチックの材質判別装置における主要な構成部材のうち、先ず測定光照射装置(A)は
図1、2のようなスマホ(コンピューター)(C)を受け止め支持する上部と、カメラ(11)での撮影空間(S)を区成する下部とから一体形成又は組み立て一体化されている。
【0049】
つまり、その測定光照射装置(A)の上部はスマホ(C)の受け止め支持枠(13)として、正面視の上向き開放したリップチャンネル溝型に造形されており、その正面(前側)から上記スマホ(C)を左右一対の向かい合うスライドガイド溝(14)に沿って、抜き差し自在に差し込み装填使用できるようになっている。(15)はスマホ(C)を差し込んだ時、その底面カメラ(11)と対応位置することとなるように、上記支持枠(13)のフラットな溝底面(13a)に開口形成された透過口であり、下部の撮影空間(S)と連通している。
【0050】
他方、上記測定光照射装置(A)の下部はカメラ(11)での撮影空間(S)を区成する角形(好ましくは矩形)又は円形の鏡筒(16)として、その開口下縁部が被判別樹脂(10)の表面へ押し付けられるようになっている。
【0051】
その際、測定光照射装置(A)の下部をなす鏡筒(16)に比して、同じく上部をなすスマホ受け止め支持枠(13)は大きいため、その支持枠(13)が鏡筒(16)から張り出す左右両端部を、使用者が両手で把持することにより。その鏡筒(16)の開口下縁部を被判別樹脂(10)へ確実に便利良く押し付けることができる。
【0052】
尚、図示省略するが、カメラ(11)での撮影空間(S)から測定光が漏出することを防止するため、上記鏡筒(16)の開口下縁部へ、例えば弾性変形し得るゴムや柔軟なシート、その他のシールカバーを取り付けておくことが望ましい。
【0053】
上記測定光照射装置(A)における鏡筒(16)の胴面には
図1、3に示す如く、カメラ(11)での撮影空間(S)を指向する第1~3光源(17)(18a)(18b)の左右一対ずつが、所要間隔を保って上中下の3段に並列設置されており、その新品との交換も可能である。
【0054】
その上段位置の第1光源(17)としては白色LEDが採用されており、上記材質が未知のプラスチック(被判別樹脂)(10)へ白色可視光線を照射するようになっている。
【0055】
中段位置の第2光源(18a)としては850nmの近赤外線LEDが、下段位置の第3光源(18b)としては940nmの近赤外線LEDが各々採用されており、その互いに異なる近赤外線を同じく被判別樹脂(10)へ照射するようになっている。
【0056】
ここに採用された波長の数値(850nmと940nm)は、スマホ(C)の底面カメラ(11)によって撮影できる波長の範囲に属し、しかも比較的入手しやすい近赤外線LEDである点で好ましいからであるが、その他の近赤外線の波長範囲(例えば940nmと960nm)に属するLED(発光ダイオード)を採用してもさしつかえない。後述の出力したい特徴量と相関の高い近赤外線の特定波長を選べば良い。
【0057】
そして、上記第1~3光源(17)(18a)(18b)は何れもスマホ(コンピューター)(C)からの出力信号によって、オン(点灯)・オフ(消灯)制御されるように、そのスマホ(C)と測定光照射装置(A)とが電気的に接続されており、例えば第1~3光源(17)(18a)(18b)が各々点灯した1秒後に、カメラ(11)での撮影が行われ、その0.5秒後に各々消灯するようになっている。(19)はその第1~3光源(17)(18a)(18b)の電源をオン・オフ操作する押しボタンなどの操作部である。
【0058】
尚、第1~3光源(17)(18a)(18b)における上中下3段の配列位置関係やその点灯と消灯を行う順序、カメラ(11)による撮影順序などは、その第1~3光源(17)(18a)(18b)の記載番号順序に限らず、自由に設定することができる。その第1~3光源(17)(18a)(18b)の電源となるモバイルバッテリは、図示省略してある。
【0059】
次に、上記スマホ(コンピューター)(C)の底面カメラ(11)は、第1光源(17)の白色LEDから可視光線を照射されている上記被判別樹脂(10)の表面から反射する光と、第2、3光源(18a)(18b)の波長が互いに異なる近赤外線LEDから近赤外線を照射されている同じく被判別樹脂(10)の表面から反射する光とを、各々撮影する(合計3回撮影する)ことによって、1つの可視光画像と波長が異なる2つの近赤外光画像とを取得し、その3つの画像をコンピューター(スマホ)(C)の後述する画像分析・処理部へ入力することになる。
【0060】
更に、上記コンピューター(スマホ)(C)は
図1のブロック図に示すように、画像分析・処理部(20)と学習部(21)、材質判別部(22)、記憶部(23)並びに表示部(24)を有しており、その物理的な構成をなす図外のプロセッサー(例えばCPU)が、オペレーティングシステム(OS)及びアプリケーションソフトウェア(材質判別プログラム)(以下、「専用アプリ」と略称することもある)を実行することによって、上記材質が未知のプラスチック(被判別樹脂)(10)における材質を判別し得るようになっている。
【0061】
即ち、コンピューター(C)の画像分析・処理部(20)は既述のようにカメラ(11)と無線通信できる接続状態にあり、そのカメラ(11)によって撮影された1つの上記可視光画像と2つの近赤外光画像が、カメラ(11)からコンピューター(C)の画像分析・処理部(20)へ出力される。
【0062】
その画像分析・処理部(20)では、カメラ(11)により撮影された上記3つの画像を何れも
図4のように、その各画像(P)から材質が未知のプラスチック(被判別樹脂)(10)における使用者の選定(調整)した材質判別対象部位である一定な領域(大きさ/面積)(Z)だけを抜き出すと共に、その抜き出した一定領域(Z)をすべて同じ正方形のグリッド(G)の1区画(25)ずつで、
図5(イ)(ロ)(ハ)のような上記可視光画像の色相ヒストグラムと波長が異なる2つの近赤外光画像の輝度ヒストグラムとを生成し、その各値を測定する。
図5はポリプロピレンにおける3つのヒストグラムを例示している。
【0063】
また、コンピューター(C)の学習部(21)では材質が既知である複数(図示実施形態の場合6種)を、予め表1のような2進法でのわかり易い数値(2値化)によって分類した上、その分類した1種ずつについて学習機がニューラルネットワークにより、上記色相ヒストグラムと両輝度ヒストグラムに各々含まれた特徴量を抽出し、ディープラーニングにより機械学習して、上記被判別樹脂(10)の材質判別基準となる学習モデル(基準モデル/教師モデル)(26)を作成すると共に、これを上記アプリケーションソフトウェア(材料判別プログラム)と同じく、記憶部(23)に格納する。
【0064】
【0065】
つまり、カメラ(11)により撮影された上記画像のコンピューター(C)による分析・処理上、複数のプラスチックについて予め表1のような材質毎に異なる2進法での単純な数値が、言わば識別子として付与されることにより、分類(例えば6種)されており、その識別子を学習機へ入力して、学習機に機械学習させ、その学習モデルやこれに基づく材質の判別結果も上記識別子(2進数)から自ずと変換した材質として出力することにより、判別した材質を特定・表示するようになっているのである。表1はそのための変換表になる。
【0066】
そして、コンピューター(C)の材質判別部(22)では先の画像分析・処理部(20)において上記グリッド(G)の1区画(25)ずつで取得した可視光画像の色相ヒストグラムと、両近赤外光画像の輝度ヒストグラムとの各値を、すべて学習機へ入力し、その記憶部(23)に記憶されている学習モデルを用いて、言わば人工知能(AI)としての働きにより、上記材質が未知のプラスチック(被判別物樹脂)(10)の材質を判別し、そのグリッド(G)の1区画(25)ずつに関する判別結果を、一旦表1のような予めの2進数により分類された1種の材質として出力する。例えば、コンピューター内部での表示が「1,0,0,0,0,0」であれば、材質:ポリプロピレン(PP)に変換して出力するようになっている。
【0067】
更に、上記材質判別部(22)では1区画(25)ずつでの判別結果を、そのグリッド(G)の全区画として集計することにより求めた最頻値を以って、上記被判別樹脂(10)の材質であると判別し、その判別した材質をコンピューター(C)の表示部(24)へ表示するようになっている。
【0068】
図示実施形態に係るプラスチックの材質判別装置は上記の構成を備えており、これによる材質判別処理工程(材質判別方法)を具体的に詳述すると、次のとおりである。
【0069】
即ち、上記材質判別装置を使用して、材質が未知のプラスチック(被判別樹脂)(10)の材質を判別するに当たっては、その測定光照射装置(A)における鏡筒(16)の開口下縁部を被判別樹脂(10)の表面へ、測定光(可視光線と近赤外線)が漏出しない状態に強く押し付ける一方、その照射装置(A)における操作部(19)の手動操作による第1~3光源(17)(18a)(18b)の電源オンと、コンピューター(スマホ)(例えばGoogle Pixel 5)(C)における専用アプリ(材質判別プログラム)の起動とを行い、
図6のフローチャートに示す如く、先ず第1光源(17)の白色LEDを点灯させて(ステップS1)、その可視光線を被判別樹脂(10)へ一定時間(例えば1秒)だけ照射中に、その被判別樹脂(10)の表面から反射する光をスマホ(C)の底面カメラ(11)で撮影し(ステップS2)、1つの可視光画像を取得する。
【0070】
その撮影後一定時間(例えば0.5秒)が経過すると、上記第1光源(17)が消灯するので、次に第2光源(18a)である850nmの近赤外線LEDを点灯させて(ステップS3)、その近赤外線を被判別樹脂(10)へ同じ上記一定時間だけ照射中に、その被判別樹脂(10)から反射する光をスマホ(C)のカメラ(11)で撮影し(ステップS4)、1つ目の近赤外光画像を取得する。
【0071】
また、その撮影後同じ上記一定時間が経過すると、上記第2光源(18a)がやはり消灯するので、引き続き第3光源(18b)である940nmの近赤外線LEDを点灯させて(ステップS5)、その近赤外線を被判別樹脂(10)へ同じ上記一定時間だけ照射中に、その被判別樹脂(10)からの反射光をスマホ(C)のカメラ(11)で撮影し(ステップS6)、2つ目の近赤外光画像を取得する。その撮影後に同じ上記一定時間経過すると、第3光源(18b)は消灯する。
【0072】
尚、上記第1~3光源(17)(18a)(18b)による測定光の照射順序とカメラ(11)による撮影順序が、
図6のフローチャートに示す順序に限らず、自由に設定しても良い旨は既述のとおりである。
【0073】
そこで、上記カメラ(11)により撮影された1つの可視光画像と2つの近赤外光画像との各画像(P)から
図4のように、被判別樹脂(10)の表面における使用者の選定(調整)した材質判別対象部位である一定な領域(大きさ/面積)(Z)だけを抜き出す(ステップS7)。これは外光やその他の悪影響を受け難く表面の撮影状態が良く現れている言わば中央部を切り取る趣旨である。
【0074】
しかも、その抜き出した一定領域(Z)を上記3つの各画像(P)について、すべて同じ正方形のグリッド(G)に切り出し細分する(ステップS8)。万一、被判別樹脂(10)の表面に凹凸やその他の不整があると、これに起因して、平坦な部位と異なる反射光の発生するおそれがあるため、想定(学習)している反射光の捕捉可能な領域を、数多く形成しておく趣旨である。
【0075】
図示実施形態における正方形なグリッド(G)のサイズは一例として256×256であり、その合計25個に区画細分されているが、ステップS8に後続するステップS9では、材質がポリプロピレンのグラフを例示した
図5(イ)(ロ)(ハ)のように、上記グリッド(G)の1区画(25)ずつで可視光画像の色相ヒストグラム(イ)と850nm近赤外光画像の輝度ヒストグラム(ロ)並びに940nm近赤外光画像の輝度ヒストグラム(ハ)とを割り出して(変換して)、その各値を取得する。その
図5(イ)(ロ)(ハ)のグラフにおける縦軸は画素数の値、横軸は大きさ(範囲:0~255)の値を各々示している。
【0076】
つまり、
図5の上記ヒストグラムを示したグラフでは、1つの色相ヒストグラムの値と2つの輝度ヒストグラムの各値とが何れも256個(256階調)として、その合計768個の値を取得している。
【0077】
そして、上記グリッド(G)の1区画(25)ずつで取得した色相ヒストグラムの各値と、両輝度ヒストグラムの各値とのすべて(先に例示した合計768個)を、コンピューター(スマホ)(C)における学習部(21)での学習機に入力することにより、機械学習させるのである(ステップS10)。
【0078】
そうすれば、その学習機から上記グリッド(G)における1区画(25)ずつでの材質判別結果が、予め表1(変換表)のように分類されている材質のうちの何れであるかを、その2進数から対応的に自動変換した材質として出力されることになる(ステップS11)。
【0079】
その場合、学習機での機械学習した材質判別基準となる学習モデル(教師モデル)(26)が、その入力された3つの画像におけるヒストグラム(可視光画像の色相ヒストグラムと波長が異なる2つの近赤外光画像の輝度ヒストグラム)の波形やその凹凸部分の位置、大きさ(高さと裾の広がり幅)、別なヒストグラムの波形と比較したときの相関性などを総合的に習得して、材質の判別を行っているものと推測される。
【0080】
そのため、上記グリッド(G)における1区画(25)ずつでの判別結果を引き続き、グリッド(G)の全区画におけるそれとして表2のように集計し、その集計により求めた最頻値を以って、被判別樹脂(10)の材質であると判別し、その最終結論として判別した材質を、コンピューター(スマホ)(C)の表示部(24)へ表示する(ステップS12)。
【0081】
【0082】
つまり、その集計した結果が例えば表2の一覧表に示すとおりであったとすれば、その「1,0,0,0,0,0」ポリプロピレンが最頻値であるため、上記被判別樹脂(10)の材質をポリプロピレン(PP)であると判別して、その旨を表示することになる。
【0083】
図示の実施形態に係るプラスチックの材質判別方法では、
図6のフローチャートからも明白なように、材質が未知のプラスチック(10)に対して可視光線と波長が異なる2つの近赤外線とを各々照射し、そのプラスチック(10)の表面から反射する反射光をカメラ(11)で撮影することにより、1つの可視光画像と2つの近赤外光画像とを取得するステップ(S1~S6)と、
【0084】
その取得した3つの画像(P)における上記プラスチック(10)の材質判別対象部位である一定領域(Z)を、各々正方形のグリッド(G)に切り出し細分し、その細分したグリッド(G)の1区画(25)ずつで上記可視光画像の色相ヒストグラムと両近赤外光画像の輝度ヒストグラムとの各値を測定するステップ(S7~S9)と、
【0085】
材質が既知である複数の異なるプラスチックを予め数値化して分類の上、その分類した1種ずつについて上記ステップと同じステップを予行することにより、色相ヒストグラムと両輝度ヒストグラムとの特徴量を機械学習した学習機へ、上記未知のプラスチック(10)におけるグリッド(G)の1区画(25)ずつで測定した色相ヒストグラムの各値と両輝度ヒストグラムの各値とをすべて入力するステップ(S10)と、
【0086】
その学習機から上記未知のプラスチック(10)におけるグリッド(G)の1区画(25)ずつに関する材質の判別結果を、予め分類された1種ずつの数値と対応する材質として出力するステップ(S11)とを備え、
【0087】
その学習機が上記グリッド(G)の1区画(25)ずつについて出力した判別結果を、全区画のそれとして集計することにより求めた最頻値を以って、上記未知のプラスチック(10)の材質であると判別する(ステップS12)ようになっている。
【0088】
また、そのために使う材質判別装置は、材質が未知のプラスチック(10)に対して可視光線と波長が異なる2つの近赤外線とを各々照射する測定光照射装置(A)と、
【0089】
その測定光が各々照射されている上記プラスチック(10)の表面から反射する反射光を撮影するカメラ(11)と、
【0090】
少なくとも画像分析・処理部(20)と学習部(21)並びに材質判別部(22)を有するコンピューター(C)とから成り、
【0091】
そのコンピューター(C)の画像分析・処理部(20)では上記カメラ(11)により撮影された1つの可視光画像と2つの近赤外光画像を、各々正方形のグリッド(G)に細分し、その細分したグリッド(G)の1区画(25)ずつで可視光画像の色相ヒストグラムと両近赤外光画像の輝度ヒストグラムとの各値を測定し、
【0092】
同じくコンピューター(C)の学習部(21)では、上記グリッド(G)の1区画(25)ずつにおける可視光画像の色相ヒストグラムと両近赤外光画像の輝度ヒストグラムに各々含まれた特徴量を、予め材質が既知である複数のプラスチックにおける数値化(2値化)された分類上の1種ずつに基づいて機械学習した学習機が、その上記色相ヒストグラムと両輝度ヒストグラムとの各値をすべて入力されることにより、材質判別基準となる学習モデル(26)を生成し、
【0093】
上記コンピューター(C)の材質判別部(22)では材質が未知のプラスチック(10)における上記グリッド(G)の1区画(25)ずつについて学習機から出力された学習モデル(26)を用いて、その材質の判別を行うと共に、その判別結果を全区画のそれとして集計することにより求められた最頻値が、上記未知のプラスチック(10)の材質であると判別する。
【0094】
図示実施形態の上記構成によれば、可視光線と波長が異なる2つの近赤外線を照射している被判別樹脂(材質が未知のプラスチック)(10)から反射する反射光を、カメラ(11)で撮影することにより1つの可視光画像と2つの近赤外光画像とを取得し、その可視光画像の色相ヒストグラムと両近赤外光画像の輝度ヒストグラムに各々含まれている特徴量を、予め機械学習した学習機へ入力し、これらのヒストグラムにおける色合いの特徴的な濃淡分布パターンと、その言わば背景となる特徴的な明暗(陰影)分布パターンとを、学習機が習得した学習モデル(教師モデル)(26)を材質判別基準として、上記被判別樹脂(10)の材質を判別する方法であるため、高精度な判別結果を安定良く得られる効果がある。
【0095】
つまり、プラスチックにおける材質の持つ色によって、近赤外線反射光の特性がたとえ変化したとしても、その材質そのものの色を表すヒストグラム(色相ヒストグラム)と、近赤外線反射光の輝度ヒストグラムも測定して、コンピューターの上記学習機へ入力することにより、材質の判別を確実に行えるようになっているのである。その学習機から出力された学習モデルを次回の学習モデルとして使用し、これを繰り返し更新することにより、材質判別精度をますます向上させることができる。
【0096】
その場合、波長が異なる近赤外線の照射によって、2つの近赤外光画像を取得しており、しかもこれら近赤外光画像の輝度ヒストグラムと上記可視光画像の色相ヒストグラムとの何れについても、その撮影した各画像(P)における材質判別対象部位の一定領域(Z)を正方形のグリッド(G)に分割形成し、そのヒストグラムの各値を細かな複数の1区画(25)ずつで測定するようになっているため、上記被判別樹脂(10)の表面における凹凸やその他の肌荒れ状態などに起因して、その表面からの反射光を安定良く捕捉できないおそれがあっても、上記学習機の生成した学習モデル(26)の使用とも相俟って、別な材質のプラスチックとの相互間における僅かな違いでも見逃すことなく、常時確実に発見することができ、その材質の判別上100%の正解率を達成することも可能となる。
【0097】
但し、上記材質判別方法とその装置では
図6のフローチャートにおけるステップS8~ステップS11から明白なように、カメラ(11)で撮影された各画像(P)の材質判別対象部位である一定領域(Z)を、一旦正方形のグリッド(G)に分割形成して、その細かい1区画(25)ずつで色相ヒストグラムと輝度ヒストグラムとの各値を取得しているが、被判別樹脂(10)の表面が支障のない平坦状態に保たれているならば、またその表面にたとえ凹凸やその他の不整状態があっても、使用者がその不整状態にある部分を避けて、材質判別対象部位である一定領域(Z)を選定(調整)することができるならば、上記グリッド(G)に区画細分する必要はなく、
図6のステップS8を省略し、その一定な領域(Z)の全体で色相ヒストグラムと輝度ヒストグラムとの各値を測定して、そのステップS9~ステップS11に準じた処理工程を順次実行すれば良い。そのステップS11の処理工程において、学習機から被判別樹脂(10)の最終的な材質判別結果を出力し、その材質を表示すれば良いのである。
【0098】
更に、
図6のフローチャートにおけるステップS3~S6から示唆されるように、波長が異なる近赤外線の照射によって、2つの近赤外光画像と延いては2つの輝度ヒストグラムを取得しているが、被判別樹脂(10)の材質判別上、可視光画像の色相ヒストグラムと併せて考慮される近赤外光画像の輝度ヒストグラムであれば、その1つの近赤外線LEDを光源として照射することにより、1つの近赤外光画像と延いては1つの輝度ヒストグラムを取得するだけにとどめても良い。
【符号の説明】
【0099】
(10)・・・材質が未知のプラスチック(被判別樹脂)
(11)・・・カメラ(底面カメラ)
(12)・・・制御部
(13)・・・スマホ受け止め支持枠
(13a)・・・溝底面
(14)・・・スライドガイド溝
(15)・・・透過口
(16)・・・鏡筒
(17)・・・第1光源
(18a)・・・第2光源
(18b)・・・第3光源
(19)・・・操作部
(20)・・・画像分析・処理部
(21)・・・学習部
(22)・・・材質判別部
(23)・・・記憶部
(24)・・・表示部
(25)・・・1区画
(26)・・・学習モデル
(A)・・・測定光照射装置
(C)・・・コンピューター(スマホ)
(G)・・・グリッド
(P)・・・画像
(S)・・・撮影空間
(Z)・・・一定領域