(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2025107410
(43)【公開日】2025-07-17
(54)【発明の名称】判定装置、判定方法、プログラム及び回収装置
(51)【国際特許分類】
G01N 21/90 20060101AFI20250710BHJP
G01N 21/88 20060101ALI20250710BHJP
G06T 7/00 20170101ALI20250710BHJP
【FI】
G01N21/90 A
G01N21/88 J
G06T7/00 350C
G06T7/00 610B
【審査請求】有
【請求項の数】11
【出願形態】OL
(21)【出願番号】P 2025079582
(22)【出願日】2025-05-12
(62)【分割の表示】P 2020183775の分割
【原出願日】2020-11-02
(71)【出願人】
【識別番号】000002897
【氏名又は名称】大日本印刷株式会社
(74)【代理人】
【識別番号】100114557
【弁理士】
【氏名又は名称】河野 英仁
(74)【代理人】
【識別番号】100078868
【弁理士】
【氏名又は名称】河野 登夫
(72)【発明者】
【氏名】土井 麻由佳
(72)【発明者】
【氏名】吉野 恭司
(57)【要約】
【課題】ペットボトルの回収を好適に支援することができる判定装置等を提供する。
【解決手段】判定装置2は、ペットボトルを撮像した画像を取得する取得部と、前記画像を入力した場合に前記ペットボトルがリサイクル可能な状態であるか否かを判定するよう学習済みのモデルに、取得した前記画像を入力して前記ペットボトルがリサイクル可能な状態であるか否かを判定する判定部と、判定結果に応じて、前記ペットボトルの回収指示を出力する出力部とを備える。
【選択図】
図6
【特許請求の範囲】
【請求項1】
ペットボトルを撮像した画像を取得する取得部と、
前記画像を入力した場合に前記ペットボトルの中身が飲料であるか又は異物であるかを含む複数の項目別に前記ペットボトルがリサイクル可能な状態であるか否かを判定するよう学習済みのモデルに、取得した前記画像を入力して前記複数の項目別に前記ペットボトルがリサイクル可能な状態であるか否かを判定する判定部と、
判定結果に応じて、前記ペットボトルの回収指示を出力する出力部と、
前記複数の項目別に、各項目について前記ペットボトルがリサイクル可能な状態であるか否かを示す判定結果を表示する表示部と
を備える判定装置。
【請求項2】
前記複数の項目は、前記ペットボトルのキャップの有無、及びラベルの有無を更に含む
請求項1に記載の判定装置。
【請求項3】
前記ペットボトルにラベルがあると判定した場合、前記ペットボトルを底面から撮像した底面画像を取得する第2取得部を備え、
前記判定部は、前記底面画像に基づき前記ペットボトルの中身が飲料であるか又は異物であるかを判定する
請求項2に記載の判定装置。
【請求項4】
前記ペットボトルにラベルがあると判定した場合、前記表示部は、前記ラベルを除去すべき旨の案内を表示し、
前記取得部は、前記ペットボトルを再撮像した画像を取得し、
前記判定部は、前記再撮像した画像を前記モデルに入力して、前記ペットボトルの中身が飲料であるか又は異物であるかを判定する
請求項2に記載の判定装置。
【請求項5】
前記取得部は、複数の前記ペットボトルを撮像した前記画像を取得し、
前記判定部は、取得した前記画像を前記モデルに入力して、リサイクル可能な状態であるか否かを前記ペットボトル毎に判定する
請求項1~4のいずれか1項に記載の判定装置。
【請求項6】
前記出力部は、前記画像に含まれる前記複数のペットボトルのうち、リサイクル不可能な状態であると判定した前記ペットボトルの前記回収指示を出力する
請求項5に記載の判定装置。
【請求項7】
前記画像に写る物体がペットボトルであるか否かを判定する第2判定部を備え、
前記判定部は、前記物体がペットボトルであると判定した場合に、前記画像を前記モデルに入力して前記ペットボトルがリサイクル可能か否かを判定する
請求項1~6のいずれか1項に記載の判定装置。
【請求項8】
判定対象とした前記画像に対し、前記ペットボトルがリサイクル可能な状態であるか否かを示す正解データを設定する設定入力を受け付ける受付部と、
前記画像及び正解データに基づき、前記モデルを更新する更新部と
を備える請求項1~7のいずれか1項に記載の判定装置。
【請求項9】
ペットボトルを撮像した画像を取得し、
前記画像を入力した場合に前記ペットボトルの中身が飲料であるか又は異物であるかを含む複数の項目別に前記ペットボトルがリサイクル可能な状態であるか否かを判定するよう学習済みのモデルに、取得した前記画像を入力して前記複数の項目別に前記ペットボトルがリサイクル可能な状態であるか否かを判定し、
判定結果に応じて、前記ペットボトルの回収指示を出力し、
前記複数の項目別に、各項目について前記ペットボトルがリサイクル可能な状態であるか否かを示す判定結果を表示する
処理をコンピュータが実行する判定方法。
【請求項10】
ペットボトルを撮像した画像を取得し、
前記画像を入力した場合に前記ペットボトルの中身が飲料であるか又は異物であるかを含む複数の項目別に前記ペットボトルがリサイクル可能な状態であるか否かを判定するよう学習済みのモデルに、取得した前記画像を入力して前記複数の項目別に前記ペットボトルがリサイクル可能な状態であるか否かを判定し、
判定結果に応じて、前記ペットボトルの回収指示を出力し、
前記複数の項目別に、各項目について前記ペットボトルがリサイクル可能な状態であるか否かを示す判定結果を表示する
処理をコンピュータに実行させるプログラム。
【請求項11】
ペットボトルの投入口を有する回収箱本体と、
前記投入口を覆う蓋であって、ペットボトルを載置可能、かつ、載置されたペットボトルを開放動作に合わせて前記回収箱本体に移動させるように構成された蓋と、
前記蓋を開閉させる開閉駆動部と、
前記蓋に載置された前記ペットボトルを撮像する撮像部と、
前記ペットボトルを撮像した画像を入力した場合に前記ペットボトルの中身が飲料であるか又は異物であるかを含む複数の項目別に前記ペットボトルがリサイクル可能な状態であるか否かを判定するよう学習済みのモデルに、撮像した前記画像を入力して前記複数の項目別に前記ペットボトルがリサイクル可能な状態であるか否かを判定する判定部と、
前記複数の項目別に、各項目について前記ペットボトルがリサイクル可能な状態であるか否かを示す判定結果を表示する表示部とを備え、
前記ペットボトルがリサイクル可能な状態であると判定した場合、前記開閉駆動部は前記蓋を開放する
回収装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、判定装置、判定方法、プログラム及び回収装置に関する。
【背景技術】
【0002】
リサイクルのためのペットボトル回収が広く行われているが、ペットボトルをリサイクルするためには、ペットボトルからキャップを取り外す、商品名等が印刷されたラベルを除去するなど、リサイクル可能な一定の状態でペットボトルを回収することが望ましい。しかし、キャップが取り付けられたままの状態、ラベルが除去されていない状態等でペットボトルの回収箱に投入されることが多い。
【0003】
上記の事情から、リサイクル可能な状態でペットボトルを回収するための手法が提案されている。例えば特許文献1では、ペットボトルのキャップをペットボトル回収箱のキャップ投入口に入れた場合、ペットボトルの投入口を開放するペットボトル/キャップ分別装置が開示されている。
【先行技術文献】
【特許文献】
【0004】
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら、特許文献1に係る発明はペットボトルのキャップを分別するのみで、例えばペットボトルに付属するラベルや、飲み残し等のペットボトルの中身などについては判別できていない。
【0006】
一つの側面では、ペットボトルの回収を好適に支援することができる判定装置等を提供することを目的とする。
【課題を解決するための手段】
【0007】
一つの側面に係る判定装置は、ペットボトルを撮像した画像を取得する取得部と、前記画像を入力した場合に前記ペットボトルがリサイクル可能な状態であるか否かを判定するよう学習済みのモデルに、取得した前記画像を入力して前記ペットボトルがリサイクル可能な状態であるか否かを判定する判定部と、判定結果に応じて、前記ペットボトルの回収指示を出力する出力部とを備える。
【発明の効果】
【0008】
一つの側面では、ペットボトルの回収を好適に支援することができる。
【図面の簡単な説明】
【0009】
【
図1】ペットボトル回収システムの構成例を示す説明図である。
【
図4】回収装置DBのレコードレイアウトの一例を示す説明図である。
【
図5】リサイクル可否の判定処理に関する説明図である。
【
図6】ペットボトルの回収処理に関する説明図である。
【
図7】リサイクル可否の判定結果の表示例を示す説明図である。
【
図9】判定モデルの生成処理の手順を示すフローチャートである。
【
図10】ペットボトルの回収処理の手順を示すフローチャートである。
【
図11】変形例1に係る回収装置2の構成例を示す模式図である。
【
図12】判定モデルの更新処理の手順を示すフローチャートである。
【
図13】実施の形態2に係るペットボトル回収システムの構成例を示す模式図である。
【
図14】判定装置の構成例を示すブロック図である。
【
図15】実施の形態2に係るリサイクル可否の判定処理に関する説明図である。
【
図16】実施の形態2に係るペットボトルの回収処理の手順を示すフローチャートである。
【
図17】上述した形態の回収装置の動作を示す機能ブロック図である。
【発明を実施するための形態】
【0010】
以下、本発明をその実施の形態を示す図面に基づいて詳述する。
(実施の形態1)
図1は、ペットボトル回収システムの構成例を示す説明図である。本実施の形態では、ペットボトルを撮像した画像から当該ペットボトルがリサイクル可能な状態であるか否かを判定するペットボトル回収システムについて説明する。ペットボトル回収システムは、サーバ1、回収装置(判定装置)2、端末3を含む。各装置は、インターネット等のネットワークNに通信接続されている。
【0011】
サーバ1は、種々の情報処理、情報の送受信が可能なサーバコンピュータである。なお、サーバ1に相当するコンピュータはサーバコンピュータに限定されず、パーソナルコンピュータ等であってもよい。本実施の形態においてサーバ1は、所定の訓練データを学習する機械学習を行い、ペットボトルを撮像した画像を入力した場合に、当該ペットボトルがリサイクル可能な状態であるか否かを判定する判定モデル50を生成する生成装置として機能する。サーバ1は、生成した判定モデル50のデータを回収装置2に送信し、インストールさせる。
【0012】
回収装置2は、ペットボトルを回収するための回収箱であり、上記の判定モデル50を用いてペットボトルがリサイクル可能な状態か否かを判定し、判定結果に応じてペットボトルを回収する装置である。例えば回収装置2は、飲料品の自動販売機の傍、あるいは所定の施設(飲料品を販売する小売店等)などに設置されている。
【0013】
なお、
図1では回収装置2が一台のみ図示されているが、本実施の形態では、回収装置2が複数の地点に設置されているものとして説明する。
【0014】
例えば回収装置2は、回収箱本体201、ペットボトル投入口202、蓋203、カメラ204、背景板205を備える。回収箱本体201は、ペットボトルが投入される筐体であり、ペットボトル投入口202から投入されたペットボトルを収容する。ペットボトル投入口202は、回収箱本体201の天板に設けられた開口であり、ペットボトルが投入される。蓋203は、ペットボトル投入口202を覆う蓋であり、ペットボトルを載置可能な板状部材である。後述するように、蓋203は開閉動作可能に構成され、ペットボトルのリサイクル可否の判定結果に応じて開閉される。
【0015】
カメラ204は、蓋203に載置されたペットボトルを撮像する撮像装置である。なお、本実施の形態では回収装置2(回収箱)とカメラ204とが一体となっているものとして説明するが、カメラ204は回収装置2とは物理的に離れた位置に設置されていてもよい。背景板205は、ペットボトルを撮像した画像の背景が一定となるように設けられた部材であり、ペットボトル投入口202及び蓋203から見て、カメラ204とは反対側
に位置する回収箱本体201の天板の一辺から上方に突出する形で設けられている。
【0016】
後述するように、回収装置2は、通常時は閉まっている蓋203にペットボトルが載置された場合、当該ペットボトルをカメラ204で撮像する。そして回収装置2は、撮像した画像を判定モデル50に入力し、ペットボトルがリサイクル可能な状態であるか否かを判定する。リサイクル可能な状態であると判定した場合、回収装置2は蓋203を開放し、ペットボトルを回収箱本体201内部に落下移動させる。
【0017】
なお、本実施の形態では、ペットボトルを回収する回収装置2(回収箱)と、ペットボトルがリサイクル可能な状態であるか否かを判定する装置とが一体であるものとして説明するが、本実施の形態はこれに限定されるものではない。例えばリサイクル可否の判定は、回収装置2に接続されたローカルコンピュータ(パーソナルコンピュータ等)、あるいはクラウド上のサーバ1が行い、回収装置2は判定結果に応じて蓋203を開閉させるのみであってもよい。すなわち、ペットボトルを回収する回収装置2と、リサイクル可否の判定を行う判定装置とが一体である必要はなく、両者は別々の装置であってもよい。
【0018】
端末3は、回収装置2で回収したペットボトルを収集する収集者(例えば自動販売機を設置した飲料品メーカ、回収装置2が設置された施設の職員など)が所持する情報処理端末であり、例えばスマートフォン、パーソナルコンピュータ、タブレット端末等である。後述するように、サーバ1は、回収装置2におけるペットボトルの回収状況を管理し、回収箱本体201が満杯の場合はペットボトルを回収装置2から収集するよう端末3に収集指示を通知してもよい。
【0019】
図2は、サーバ1の構成例を示すブロック図である。サーバ1は、制御部11、主記憶部12、通信部13、及び補助記憶部14を備える。
制御部11は、一又は複数のCPU(Central Processing Unit)、MPU(Micro-Processing Unit)、GPU(Graphics Processing Unit)等の演算処理装置であり、補助記憶部14に記憶されたプログラムP1を読み出して実行することにより、種々の情報処理、制御処理等を行う。主記憶部12は、SRAM(Static Random Access Memory)、D
RAM(Dynamic Random Access Memory)、フラッシュメモリ等の一時記憶領域であり、制御部11が演算処理を実行するために必要なデータを一時的に記憶する。通信部13は、通信に関する処理を行うための通信モジュールであり、外部と情報の送受信を行う。
【0020】
補助記憶部14は、大容量メモリ、ハードディスク等の不揮発性記憶領域であり、制御部11が処理を実行するために必要なプログラムP1、その他のデータを記憶している。また、補助記憶部14は、回収装置DB141を記憶している。回収装置DB141は、複数の地点に設置された各回収装置2の情報を格納するデータベースである。
【0021】
なお、補助記憶部14はサーバ1に接続された外部記憶装置であってもよい。また、サーバ1は複数のコンピュータからなるマルチコンピュータであっても良く、ソフトウェアによって仮想的に構築された仮想マシンであってもよい。
【0022】
また、本実施の形態においてサーバ1は上記の構成に限られず、例えば操作入力を受け付ける入力部、画像を表示する表示部等を含んでもよい。また、サーバ1は、CD(Compact Disk)-ROM、DVD(Digital Versatile Disc)-ROM等の可搬型記憶媒体1aを読み取る読取部を備え、可搬型記憶媒体1aからプログラムP1を読み取って実行するようにしても良い。あるいはサーバ1は、半導体メモリ1bからプログラムP1を読み込んでも良い。
【0023】
図3は、回収装置2の構成例を示すブロック図である。回収装置2は、制御部21、主
記憶部22、通信部23、表示部24、開閉駆動部25、及び補助記憶部26を備える。
制御部21は、一又は複数のCPU、MPU等の演算処理装置であり、補助記憶部26に記憶されたプログラムP2を読み出して実行することにより、種々の情報処理、制御処理等を行う。主記憶部22は、RAM等の一時記憶領域であり、制御部21が演算処理を実行するために必要なデータを一時的に記憶する。通信部23は、通信に関する処理を行うための通信モジュールであり、外部と情報の送受信を行う。表示部24は、ディスプレイ、あるいは所定の表示器(LED(Light Emitting Diode)ランプなどのインジケータ)等の表示手段(
図7、8参照)であり、リサイクル可否の判定結果を表示する。開閉駆動部25は、蓋203の開閉動作(例えばスライド動作)を駆動する駆動機構であり、制御部21からの開放指示(回収指示)に従って蓋203を開放する。
【0024】
補助記憶部26は、ハードディスク、大容量メモリ等の不揮発性記憶領域であり、制御部21が処理を実行するために必要なプログラムP2、その他のデータを記憶している。また、補助記憶部26は、判定モデル50を記憶している。判定モデル50は、所定の訓練データを学習済みの機械学習モデルであり、ペットボトルを撮像した画像を入力した場合に、ペットボトルがリサイクル可能な状態であるか否かを判定した判定結果を出力するモデルである。判定モデル50は、人工知能ソフトウェアの一部を構成するプログラムモジュールとしての利用が想定される。
【0025】
なお、回収装置2は、CD-ROM等の可搬型記憶媒体2aを読み取る読取部を備え、可搬型記憶媒体2aからプログラムP2を読み取って実行するようにしても良い。あるいは回収装置2は、半導体メモリ2bからプログラムP2を読み込んでも良い。
【0026】
図4は、回収装置DB141のレコードレイアウトの一例を示す説明図である。回収装置DB141は、装置ID列、設置地点列、最大回収本数列、回収状況列を含む。装置ID列は、複数の地点に設置された各回収装置2を識別するための装置IDを記憶している。設置地点列、最大回収本数列、回収状況列はそれぞれ、装置IDと対応付けて、回収装置2の設置地点、回収箱本体201に収容可能なペットボトルの最大回収本数、及び現時点で回収箱本体201に収容されている回収本数を記憶している。
【0027】
図5は、リサイクル可否の判定処理に関する説明図である。
図5Aはリサイクル可能な状態のペットボトルを、
図5B~Dはリサイクル不可能な状態のペットボトルを図示している。
図5A~Dに基づき、判定モデル50に基づくリサイクル可否の判定処理について説明する。
【0028】
上述の如く、サーバ1は、所定の訓練データを学習する機械学習を行い、ペットボトルを撮像した画像を入力として、リサイクル可否の判定結果を出力する判定モデル50を生成する。判定モデル50は、例えば深層学習により生成されるニューラルネットワークであり、複数の畳み込み層を有するCNN(Convolution Neural Network;畳み込みニューラルネットワーク)である。
【0029】
判定モデル50は、画像の入力を受け付ける入力層と、入力画像の特徴量を抽出する中間層と、リサイクル可否の判定結果を出力する出力層とを有する。入力層は、ペットボトルを撮像した画像の入力を受け付け、入力された画像データを中間層に受け渡す。中間層は、画像データを畳み込む複数の畳み込み層を備え、画像データを畳み込んで特徴量を抽出し、出力層に受け渡す。出力層は、中間層で抽出した特徴量に基づき、リサイクル可能な状態であるか否かを示す判定結果を出力する。
【0030】
本実施の形態に係る判定モデル50は、判定基準とする複数の項目別にリサイクル可否を判定した判定結果を出力する。当該複数の項目は、例えば、ペットボトルに付属するキ
ャップの有無、ラベルの有無、及びペットボトルの中身の有無の3項目である。
【0031】
図5B~Dはそれぞれ、ペットボトルにキャップが取り付けられたままの状態、ラベルが貼り付けられたままの状態、及びペットボトルに中身(飲料)が残ったままの状態を図示している。なお、
図5B~Dではそれぞれ、キャップ、ラベル、及び中身に対応する部分を太線で図示している。
図5B~Dの状態のペットボトルを回収した場合、リサイクルするためにはキャップを取り外したり、ラベルを除去したりする作業が必要となる。そこで本実施の形態では、判定モデル50を用いてこれらの状態を検知し、
図5Aに示すように、キャップ、ラベル、及び中身が無い状態のペットボトルを回収する。
【0032】
サーバ1は、訓練用のペットボトルの撮像画像に対し、当該ペットボトルがリサイクル可能な状態であるか否かを示す正解データ(正解ラベル)が付与された訓練データを用いて、判定モデル50を生成する。正解データは、上記の3項目それぞれの判定結果の正解値を示すデータである。本実施の形態では、判定モデル50が出力し得るラベル(判定結果)として、キャップの有無(2通り)、ラベルの有無(2通り)、及び中身の有無(2通り)に応じて2×2×2=8通りのラベルが用意されている。訓練データでは、訓練用の画像に対し、上記の8通りのいずれかのラベルが正解データとして付与されている。
【0033】
サーバ1は、訓練用のペットボトルの撮像画像を判定モデル50に入力し、上記の項目別にリサイクル可否を判定した判定結果を出力として取得する。サーバ1は、判定モデル50から出力された判定結果を正解データと比較し、両者が近似するように、ニューロン間の重み等のパラメータを最適化する。サーバ1は、訓練データに含まれる複数の撮像画像について学習を行い、判定モデル50を生成する。
【0034】
なお、本実施の形態に係る判定モデル50は、ペットボトルの中身の有無を判定するのみであるが、ペットボトルの中身が何であるかを含めて判定するようにしてもよい。具体的には、判定モデル50は、ペットボトルの中身が飲料であるか、又は飲料以外の異物(煙草の吸殻等)であるかを判定するようにしてもよい。この場合、例えば中身の有無に係る判定項目の正解値として、ペットボトルが空の状態、飲料が残っている状態のほか、異物が存在する場合も含めて3通りの正解値を用意すればよい。これにより、飲料が残っている状態のペットボトルと、飲料以外の異物が存在するペットボトルとを別々に検知することができる。
【0035】
例えば回収装置2は、ネットワークNを介して判定モデル50のデータをサーバ1から取得し、補助記憶部26に記憶してある。回収装置2は、判定モデル50を用いてペットボトルがリサイクル可能な状態であるか否かを判定し、リサイクル可能な状態であると判定した場合、蓋203を開放してペットボトルを回収する。
【0036】
図6は、ペットボトルの回収処理に関する説明図である。
図7は、リサイクル可否の判定結果の表示例を示す説明図である。
図6及び
図7に基づき、回収装置2の処理内容について説明する。
【0037】
図6上側には、蓋203に載置されたペットボトルをカメラ204が撮像する様子を図示している。蓋203にペットボトルが載置された場合、回収装置2はカメラ204によりペットボトルを撮像する。そして回収装置2は、ペットボトルの画像を判定モデル50に入力して、ペットボトルがリサイクル可能な状態であるか否かを判定する。具体的には、回収装置2は、キャップの有無、ラベルの有無、及び中身の有無の項目別に判定を行う。また、回収装置2は、全ての項目についてリサイクル可能な状態であるか否か、すなわち、ペットボトルにキャップ、ラベル、及び中身が無く、リサイクルのために回収可能か否かを総合的に判定する。以下の説明では便宜上、上記の各項目の判定結果を総合した判
定結果を「総合判定結果」と呼ぶ。
【0038】
なお、回収装置2は判定モデル50に基づくリサイクル可否の判定を行う前に、画像に写る物体を認識し、認識した物体がペットボトルであるか否かを判定するようにしてもよい。すなわち、回収装置2は、判定モデル50に画像を入力する前に、画像に写る物体がペットボトルであるか否かを判定し、ペットボトルであると判定した場合に画像を判定モデル50に入力してリサイクル可能な状態であるか否かを判定する。これにより、ペットボトル以外の物体(例えば空き缶)が投棄される事態を防ぐことができる。
【0039】
図7では、リサイクル可否の判定結果をユーザ(ペットボトルを捨てる人物)に提示する際の表示画面を図示している。回収装置2は、液晶ディスプレイ等の表示手段を表示部24として備え(
図1、6では不図示)、表示部24に当該画面を表示する。当該画面は、ペットボトル画像71、項目別判定結果72、及び総合判定結果73を含む。回収装置2は、カメラ204で撮像したペットボトル画像71を表示すると共に、判定モデル50によるリサイクル可否の判定結果を項目別判定結果72及び総合判定結果73として表示する。
【0040】
項目別判定結果72は、判定基準とした各項目の判定結果を表示する表示欄である。例えば回収装置2は、各項目の判定結果をマルバツで表示すると共に、リサイクル不可能な状態であると判定した項目(バツ)を、色分け等の方法で強調表示する。なお、
図7では便宜上、色分けされている様子をハッチングで図示している。
【0041】
なお、回収装置2は、リサイクル不可能な状態であると判定した項目を強調表示するだけでなく、当該項目に対応するペットボトルの箇所をユーザに提示してもよい。例えば回収装置2は、リサイクル不可能な状態であると判定した項目に対応する事物(
図7ではラベル)をペットボトル画像71から認識し、当該事物に対応する画像領域にバウンディングボックス等のオブジェクトをペットボトル画像71に重畳してもよい。このように、リサイクル不可能な状態と判定した項目をユーザに提示する方法は特に限定されない。
【0042】
総合判定結果73は、全ての項目でリサイクル可能な状態であるか否かを判定した総合判定結果を表示する表示欄である。例えば
図7に示すように、回収装置2は、マルバツで総合判定結果を表示する。
【0043】
このように、回収装置2はリサイクル可否の判定結果を表示し、ユーザに提示する。
図7に示すように、リサイクル不可能な状態であると判定された場合、その原因に該当する項目が項目別判定結果72に表示される。この場合、ユーザは該当項目に関係する事物(
図7ではラベル)を除去し、ペットボトルの再撮像を行って判定を行わせる。これにより、ペットボトルの回収を好適に実施することができる。
【0044】
ところで、
図5の例では、側面視(正面視)で一部領域のみをラベルが覆い、ペットボトルの底部が露出した商品を対象としているので問題にならないが、商品に依っては、ペットボトルの側面のほとんどをラベルが覆い、底部が露出していない商品もある。この場合、ラベルに隠れてペットボトルの中が見えず、中身の有無をラベルの有無と同時に判定できない場合も想定される。
【0045】
この場合、回収装置2は、以下のように処理することでリサイクル可否を判定することができる。例えば回収装置2は、ペットボトルを載置する蓋203に底面撮像用のカメラを別途設け、ペットボトルを底面から撮像した底面画像を取得する。そして回収装置2は、上記の判定モデル50による判定の結果、ラベルがあると判定した場合、底面画像から中身の有無を判定する。なお、底面画像に基づく判定は、判定モデル50等の機械学習モ
デルを用いてもよく、あるいはルールベース(画像のパターンマッチング)で行ってもよい。このように、ペットボトルを側面から撮像した画像と、底面から撮像した画像とを組み合わせることで、ラベルの大きさに関わらず中身の有無を判定することができる。
【0046】
なお、上記の処理は一例であって、本実施の形態はこれに限定されるものではない。例えば回収装置2は、ペットボトルにラベルがあると判定した場合、ラベルを除去して再撮像すべき旨の案内を
図7の画面に表示してもよい。例えば回収装置2は、項目別判定結果72に「ラベル」の判定結果として「×」を表示すると共に、「中身」の判定結果として「△」(判定不可能)を表示し、ラベルを除去した上で再撮像するよう案内文を表示する。これにより、ペットボトルを底面から撮像せずとも中身の有無を好適に判定することができる。
【0047】
図8は、判定結果の表示の他例を示す説明図である。
図7ではディスプレイ画面に判定結果を表示する場合について説明したが、判定結果の表示手段はこれに限定されるものではない。例えば
図8に示すように、回収装置2は、リサイクル可否の判定結果を表示するための専用の表示器(LEDランプ等のインジケータ)を表示部24として備え、当該表示器に判定結果を表示してもよい。表示器は、各項目の判定結果を表示する複数の項目別ランプ81と、総合判定結果を表示する総合ランプ82とを備え、判定結果に応じて各ランプの表示色を変更する。これにより、
図7のディスプレイ画面よりも簡易に判定結果の表示手段を構成することができる。
【0048】
図6に戻って説明を続ける。ペットボトルがリサイクル可能な状態であると判定した場合、回収装置2はペットボトルを回収する。具体的には
図6下側に示すように、回収装置2は、蓋203を開放させる開放指示を開閉駆動部25に出力して蓋203を開放し、蓋203に載置されたペットボトルを回収箱本体201に落下移動させる。
【0049】
以上の処理により、回収装置2は、リサイクル可能な状態のペットボトルを回収していく。ここで、回収箱本体201に回収されたペットボトルの回収状況を記憶しておき、回収箱本体201が満杯となった場合は所定の収集者にペットボトルを収集させるようにすると好適である。
【0050】
例えば各回収装置2は、蓋203の開閉回数、すなわちペットボトルの回収本数をカウントし、ネットワークNを介してサーバ1に回収本数を送信する。サーバ1は、各回収装置2におけるペットボトルの回収本数を回収装置DB141に記憶する。サーバ1は、現時点の回収本数を最大回収本数と比較し、例えば回収本数が最大回収本数以上であるか否かを判定する。最大回収本数以上であると判定した場合、サーバ1は、回収本数が最大回収本数以上となった回収装置2を示す収集指示を端末3に通知する。ペットボトルを好適に収集することができる。
【0051】
なお、上記ではペットボトルの本数に応じて回収箱本体201が満杯になったか否かを判定することにしたが、ペットボトルの容量(体積)を基準に判定を行ってもよい。この場合、例えば回収装置2は画像に写るペットボトルの大きさから容量を認識し、回収箱本体201に投入された各ペットボトルの容量を集計して最大収容容量と比較すればよい。このように、回収装置2は、回収箱本体201に収容されたペットボトルの総量を所定の上限値と比較可能であればよい。
【0052】
また、上記ではサーバ1を経由して端末3(収集者)に収集指示を通知することにしたが、一連の処理を回収装置2で完結して、回収装置2から端末3に直接的に収集指示を通知してもよい。
【0053】
以上より、本実施の形態1によれば、リサイクル可能な状態のペットボトルを好適に判別し、ペットボトル回収を支援することができる。
【0054】
図9は、判定モデル50の生成処理の手順を示すフローチャートである。
図9に基づき、機械学習により判定モデル50を生成する際の処理内容について説明する。
サーバ1の制御部11は、判定モデル50を生成するための訓練データを取得する(ステップS11)。訓練データは、訓練用のペットボトルの撮像画像に対し、当該ペットボトルがリサイクル可能な状態であるか否かを示す正解データが付与されたデータである。上述の如く、正解データは、キャップの有無、ラベルの有無、中身の有無等のように、複数の項目別に判定結果の正解値を示すデータである。
【0055】
制御部11は訓練データに基づき、ペットボトルを撮像した画像を入力した場合に、リサイクル可能な状態であるか否かを判定する判定モデル50を生成する(ステップS12)。具体的には上述の如く、制御部11は、CNN等のニューラルネットワークを判定モデル50として生成する。制御部11は、訓練用のペットボトルの撮像画像を判定モデル50に入力し、キャップの有無、ラベルの有無等の各項目について判定した判定結果を出力として取得する。制御部11は、判定モデル50から出力された判定結果を正解データと比較し、両者が近似するように、ニューロン間の重み等のパラメータを最適化して判定モデル50を生成する。制御部11は一連の処理を終了する。
【0056】
図10は、ペットボトルの回収処理の手順を示すフローチャートである。
図10に基づき、回収装置2が実行する処理内容について説明する。
回収装置2の制御部21は、ペットボトル投入口202を覆う蓋203に載置されたペットボトルをカメラ204により撮像する(ステップS31)。制御部21は、撮像された画像を判定モデル50に入力して、ペットボトルがリサイクル可能な状態であるか否かを判定する(ステップS32)。具体的には、制御部21は、リサイクル可否の判定基準とする複数の項目それぞれについて判定を行う。当該項目は、例えばキャップの有無、ラベルの有無、及び中身の有無である。なお、制御部21は、ステップS32の判定処理を行う前に、画像に写る物体がペットボトルであるか否かを判定してもよい。
【0057】
制御部21は、リサイクル可否の判定結果を表示部24に表示する(ステップS33)。具体的には、制御部21は、上記の各項目それぞれの判定結果を表示すると共に、全ての項目でリサイクル可能な状態であるか否かを判定した総合判定結果を表示する。
【0058】
なお、上述の如く、制御部21は、ステップS32でペットボトルにラベルがあると判定した場合、ペットボトルを底面から撮像した底面画像を取得して中身の有無を判定してもよい。また、ペットボトルにラベルがあると判定した場合、制御部21は、ステップS33でラベルを除去して再撮像すべき旨の案内を表示し、ラベルを除去したペットボトルを再撮像して中身の有無を判定してもよい。
【0059】
制御部21は、ステップS32における判定結果に基づき、ペットボトルがリサイクル可能な状態であるか否かを判定する(ステップS34)。リサイクル可能な状態でないと判定した場合(S34:NO)、制御部21は一連の処理を終了する。リサイクル可能な状態であると判定した場合(S34:YES)、制御部21は、蓋203を開放させる開放指示(回収指示)を開閉駆動部25に出力して蓋203を開放し(ステップS35)、一連の処理を終了する。
【0060】
なお、上記では回収装置2がペットボトルの回収手段(ペットボトルを載置可能な蓋203と、蓋203を開閉させる開閉駆動部25)を備えるものとして説明したが、本実施の形態はこれに限定されるものではない。例えば回収装置2は、判定モデル50による判
定結果を表示し、リサイクル可能な状態である場合はペットボトル投入口202にペットボトルを投入(回収)するようユーザへの回収指示を表示するのみであってもよい。すなわち、回収装置2(判定装置)は、少なくともリサイクル可否の判定結果に応じたペットボトルの回収指示を出力可能であればよく、その回収指示に従ってペットボトルの回収手段を動作させる構成は必須ではない。
【0061】
以上より、本実施の形態1によれば、ペットボトルを撮像した画像からリサイクル可能な状態であるか否かを判定モデル50により判定し、判定結果に応じて蓋203を開閉して、リサイクル可能な状態のペットボトルを回収する。また、リサイクル不可能な状態である場合、その原因である判定項目をユーザに提示し、該当項目に対応する事物(キャップ、ラベル等)の除去を促す。これにより、ペットボトルの回収を好適に支援することができる。
【0062】
(変形例1)
実施の形態1に係る回収装置2は、廃棄物を投入する投入口としてペットボトル投入口202のみを有する回収箱であった。一方で、ペットボトルのキャップ、ラベル等の付属物品の投入口(第2の投入口)を回収装置2に設けてもよい。本変形例では、ペットボトル投入口202以外に、キャップ投入口206、ラベル投入口207を設けた回収装置2について説明する。
【0063】
図11は、変形例1に係る回収装置2の構成例を示す模式図である。本変形例に係る回収装置2の回収箱本体201は、ペットボトル投入口202以外に、キャップ投入口206及びラベル投入口207を備える。キャップ投入口206及びラベル投入口207はそれぞれ、ペットボトルに付属するキャップ及びラベル(物品)を回収箱本体201に投入するための開口であり、通常時は蓋208、209で覆われている。キャップ投入口206及びラベル投入口207の蓋208、209はペットボトル投入口202と同様に、制御部21からの指示に従って開閉動作可能に構成されている。
【0064】
なお、キャップ投入口206及びラベル投入口207以外にも、ペットボトルの中身(飲料)を廃棄するための投入口を設けてもよい。
【0065】
回収装置2は、判定モデル50に基づくリサイクル可否の判定結果に応じて、ペットボトル投入口202、キャップ投入口206、及びラベル投入口207を開閉する。すなわち、回収装置2は、実施の形態1と同様に、総合判定結果としてリサイクル可能な状態であると判定した場合、ペットボトル投入口202を開放してペットボトルを回収する。一方で、キャップ及び/又はラベルがあると判定した場合、回収装置2は、蓋208、209を開閉させる開閉駆動部(不図示)に開放指示を出力し、キャップ投入口206及び/又はラベル投入口207を開放する。これにより、キャップ、ラベルの分別を促すと共に、ユーザの利便性を向上させることができる。
【0066】
上記の点以外は実施の形態1と同様であるため、本実施の形態ではフローチャート等の詳細な図示及び説明は省略する。
【0067】
(変形例2)
実施の形態1では、回収装置2がペットボトルの撮像画像からリサイクル可否を判定し、ペットボトルを回収する形態について説明した。ここで、回収装置2で撮像したペットボトルの画像を再学習用の訓練データに用いて、判定モデル50の更新(再学習)を行ってもよい。本変形例では、判定モデル50の更新処理について説明する。
【0068】
図12は、判定モデル50の更新処理の手順を示すフローチャートである。
図12に基
づき、判定モデル50の更新処理の処理内容について説明する。
サーバ1の制御部11は、各回収装置2から、カメラ204で撮像したペットボトルの画像を取得する(ステップS101)。例えば回収装置2は、判定対象としたペットボトルの撮像画像を補助記憶部26に記憶しておき、定期的に撮像画像をサーバ1に送信する。
【0069】
なお、サーバ1は、判定対象とした全てのペットボトルの画像を回収装置2から取得するようにしてもよいが、一部のペットボトルの画像のみを取得して再学習に用いてもよい。例えばサーバ1は、判定対象としたペットボトルのうち、リサイクル不可能な状態であると判定した画像を取得するようにしてもよい。また、例えばサーバ1は、判定モデル50からリサイクル可否の判定結果と共に出力される、判定結果の確からしさを示す確率値が所定の数値範囲内(例えば50%前後の数値範囲)に属するペットボトルの画像を取得するようにしてもよい。これにより、リサイクル不可能な状態にあるペットボトルの画像、あるいは判定結果が不確かなペットボトルの画像など、再学習用の訓練データとして適した画像を選別することができる。
【0070】
制御部11は、取得したペットボトルの画像に対し、本システムの管理者から、当該ペットボトルがリサイクル可能な状態であるか否かを示す正解データを設定する設定入力を受け付ける(ステップS102)。ステップS102で設定される正解データは実施の形態1と同様に、キャップ、ラベル等の項目別にリサイクル可否の正解値を表すデータである。
【0071】
制御部11は、ステップS102で正解データが設定(付与)されたペットボトルの画像を再学習用の訓練データに用いて、判定モデル50を更新する(ステップS103)。すなわち、制御部11は、再学習用のペットボトルの画像を判定モデル50に入力して、判定モデル50から出力される判定結果が正解データに近似するように、ニューロン間の重み等のパラメータを最適化する。制御部11は、更新後の判定モデル50のデータを回収装置2に送信し(ステップS104)、一連の処理を終了する。
【0072】
なお、
図12のフローチャートでは判定モデル50の更新を行う処理主体がサーバ1であるものとして説明したが、回収装置2が判定モデル50の更新をローカルで行ってもよい。
【0073】
以上より、本変形例2によれば、本システムの運用を通じて判定モデル50を更新し、リサイクル可否の判定精度を向上させることができる。
【0074】
(実施の形態2)
実施の形態1では、主にペットボトルを利用したエンドユーザ向けのシステムについて説明した。本実施の形態では、エンドユーザが捨てた大量のペットボトルを分別する事業者向けのシステムについて説明する。
【0075】
図13は、実施の形態2に係るペットボトル回収システムの構成例を示す模式図である。本実施の形態に係るペットボトル回収システムは、回収装置2に代えて、判定装置4、ベルトコンベア5、カメラ6を有する。例えば判定装置4は、ネットワークNを介してサーバ1と通信接続されており、サーバ1から判定モデル50のデータを取得してローカルストレージに記憶してある。
【0076】
判定装置4は、判定モデル50を用いてペットボトルのリサイクル可否を判定する装置であり、例えばパーソナルコンピュータである。なお、サーバ1及び判定装置4を一体のコンピュータとして構成してもよい。実施の形態1の回収装置2と同様に、判定装置4を
ベルトコンベア5、カメラ6等と一体の装置として構成してもよい。
【0077】
ベルトコンベア5は、廃棄物(ペットボトル)の分別を行うためのベルトコンベアであり、ペットボトルを一方向に搬送する装置である。ベルトコンベア5は、コンベアベルトに載せられたペットボトル(
図13では不図示)を一方向に搬送し、作業者がコンベアベルト上のペットボトルをリサイクル可能なものとリサイクル不可能なものとに分別する。なお、
図13のシステムにロボットアーム等のペットボトル回収手段(回収装置)を設け、作業者に依らず機械的にペットボトルを分別可能としてもよい。
【0078】
カメラ6は、ベルトコンベア5で搬送されるペットボトルを撮像する撮像装置である。例えば
図13に示すように、カメラ6はベルトコンベア5の真上に配置され、ベルトコンベア5で搬送される多数のペットボトルを撮像する。
【0079】
図14は、判定装置4の構成例を示すブロック図である。判定装置4は、制御部41、主記憶部42、通信部43、表示部44、及び補助記憶部45を備える。
制御部41は、一又は複数のCPU、MPU等の演算処理装置であり、補助記憶部45に記憶されたプログラムP4を読み出して実行することにより、種々の情報処理、制御処理等を行う。主記憶部42は、RAM等の一時記憶領域であり、制御部41が演算処理を実行するために必要なデータを一時的に記憶する。通信部43は、通信に関する処理を行うための通信モジュールであり、外部と情報の送受信を行う。表示部44は、液晶ディスプレイ等の表示画面であり、制御部41から与えられた画像を表示する。補助記憶部45は、ハードディスク、大容量メモリ等の不揮発性記憶領域であり、制御部41が処理を実行するために必要なプログラムP4、その他のデータを記憶している。また、補助記憶部45は、判定モデル50を記憶している。
【0080】
なお、判定装置4は、CD-ROM等の可搬型記憶媒体4aを読み取る読取部を備え、可搬型記憶媒体4aからプログラムP4を読み取って実行するようにしても良い。あるいは判定装置4は、半導体メモリ4bからプログラムP4を読み込んでも良い。
【0081】
図15は、実施の形態2に係るリサイクル可否の判定処理に関する説明図である。
図15に基づき、本実施の形態の概要を説明する。
上述の如く、カメラ6は、ベルトコンベア5で搬送される多数のペットボトルを撮像する。本実施の形態では、一の撮像画像(フレーム)に複数のペットボトルが含まれるものとする。
【0082】
判定装置4は、カメラ6で撮像した画像を判定モデル50に入力して、ペットボトルがリサイクル可能な状態であるか否かを判定する。ここで判定装置4は、撮像画像に含まれる複数のペットボトルそれぞれについて、リサイクル可能な状態であるか否かを判定する。
【0083】
例えば判定装置4は、判定モデル50に画像を入力する前に、当該画像から個々のペットボトルを認識する。判定装置4は、各ペットボトルに対応する画像領域を当該画像から抽出し、各画像領域を個別に判定モデル50に入力する。これにより、判定装置4は、リサイクル可能な状態であるか否かをペットボトル毎に判定する。なお、判定装置4は、実施の形態1と同様に、キャップの有無、ラベルの有無等の項目別に判定を行ってもよく、リサイクル可能な状態であるか否かの総合判定のみを行うようにしてもよい。
【0084】
なお、上記ではカメラ6で撮像した画像から個々のペットボトルの画像領域を抽出して判定を行うものとしたが、本実施の形態はこれに限定されるものではない。例えば判定装置4は、リサイクル可能な状態のペットボトルと、リサイクル不可能な状態のペットボト
ルとが混在した撮像画像を訓練データとして学習した判定モデル50を用意し、複数のペットボトルが写る画像から直接的に各ペットボトルのリサイクル可否を判定可能としてもよい。このように、判定装置4は、複数のペットボトルが写る画像から各ペットボトルのリサイクル可否を判定可能であればよく、その具体的な処理方法は特に限定されない。
【0085】
判定装置4は、各ペットボトルについてリサイクル可否を判定した判定結果を表示する。例えば
図15に示すように、判定装置4は、カメラ6で撮像した画像を表示すると共に、各ペットボトルの画像領域を示す表示ラベル(バウンディングボックス等)を重畳する。そして判定装置4は、各ペットボトルがリサイクル可能な状態であるか否かを、例えば表示ラベルの表示色を変更することで表示する。なお、
図15では図示の便宜上、リサイクル不可能な状態のペットボトルのバウンディングボックスを太線で図示している。
【0086】
判定装置4は、上記のリサイクル可否の判定結果に応じて、ペットボトルの回収指示を出力する。例えば判定装置4は、画像に含まれる複数のペットボトルのうち、リサイクル不可能な状態であると判定されたペットボトルの回収指示を出力する。なお、リサイクル不可能なペットボトルではなく、リサイクル可能なペットボトルの回収指示を出力してもよい。
【0087】
判定装置4は、例えばリサイクル不可能な状態のペットボトルが検知された旨のアラートを表示する。又は、判定装置4は、ペットボトルの分別作業を行う作業者が携帯する携帯端末(スマートフォン等)に回収指示の通知を行ってもよい。又は、本システムにロボットアーム等の回収手段(回収装置)を設ける場合、判定装置4は当該回収手段に回収指示を出力して、該当するペットボトルを回収させてもよい。
【0088】
図16は、実施の形態2に係るペットボトルの回収処理の手順を示すフローチャートである。
図16に基づき、判定装置4が実行する処理内容について説明する。
判定装置4の制御部41は、ベルトコンベア5で搬送される複数のペットボトルを撮像した画像をカメラ6から取得する(ステップS201)。制御部41は、取得した画像を判定モデル50に入力して、画像に含まれる複数のペットボトルがそれぞれ、リサイクル可能な状態であるか否かを判定する(ステップS202)。制御部41は、リサイクル可能な状態であるか否かをペットボトル毎に判定した判定結果を表示する(ステップS203)。
【0089】
制御部41は、判定対象とした複数のペットボトルに、リサイクル不可能な状態のペットボトルがあるか否かを判定する(ステップS204)。リサイクル不可能な状態のペットボトルがあると判定した場合(S204:YES)、制御部41は、該当するペットボトルの回収指示を出力する(ステップS205)。例えば制御部41は、自装置の表示部44においてアラート表示を行ってもよく、分別作業を行う作業者に直接通知してもよく、あるいはロボットアーム等の回収手段の動作を制御してもよい。
【0090】
ステップS205の処理を実行後、又はステップS204でNOの場合、制御部41は処理をステップS201に戻す。これにより、制御部41は、ベルトコンベア5で搬送されて来るペットボトルのリサイクル可否を継続的に判定し、回収指示を出力する。
【0091】
以上より、本実施の形態2によれば、複数のペットボトルを撮像した画像から個々のペットボトルがリサイクル可能な状態であるか否かを判定し、回収指示を出力する。これにより、大量のペットボトルの分別作業を行う場合にも対応することができる。
【0092】
(実施の形態3)
図17は、上述した形態の回収装置2又は判定装置4の動作を示す機能ブロック図であ
る。制御部21又は制御部41がプログラムP2又はP4を実行することにより、回収装置2又は判定装置4は以下のように動作する。
取得部171は、ペットボトルを撮像した画像を取得する。判定部172は、前記画像を入力した場合に前記ペットボトルがリサイクル可能な状態であるか否かを判定するよう学習済みのモデルに、取得した前記画像を入力して前記ペットボトルがリサイクル可能な状態であるか否かを判定する。出力部173は、判定結果に応じて、前記ペットボトルの回収指示を出力する。
【0093】
本実施の形態3は以上の如きであり、その他は実施の形態1及び2と同様であるので、対応する部分には同一の符号を付してその詳細な説明を省略する。
【0094】
今回開示された実施の形態はすべての点で例示であって、制限的なものではないと考えられるべきである。本発明の範囲は、上記した意味ではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。
【符号の説明】
【0095】
1 サーバ
11 制御部
12 主記憶部
13 通信部
14 補助記憶部
P1 プログラム
2 回収装置(判定装置)
21 制御部
22 主記憶部
23 通信部
24 表示部
25 開閉駆動部
26 補助記憶部
P2 プログラム
50 判定モデル
201 回収箱本体
202 ペットボトル投入口
203、208、209 蓋
204 カメラ
205 背景板
206 キャップ投入口(第2の投入口)
207 ラベル投入口(第2の投入口)
3 端末
4 判定装置
41 制御部
42 主記憶部
43 通信部
44 表示部
45 補助記憶部
P2 プログラム
5 ベルトコンベア
6 カメラ