(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2023-04-27
(54)【発明の名称】自動化された廃棄物管理のための方法および電子装置
(51)【国際特許分類】
G06V 10/75 20220101AFI20230420BHJP
G06T 7/194 20170101ALI20230420BHJP
G06T 7/00 20170101ALI20230420BHJP
G06V 10/764 20220101ALI20230420BHJP
【ＦＩ】
G06V10/75
G06T7/194
G06T7/00 350B
G06V10/764
【審査請求】未請求
【予備審査請求】未請求
(21)【出願番号】P 2022553590
(86)(22)【出願日】2021-03-19
(85)【翻訳文提出日】2022-11-07
(86)【国際出願番号】 US2021023272
(87)【国際公開番号】W WO2021194892
(87)【国際公開日】2021-09-30
(31)【優先権主張番号】16/826,213
(32)【優先日】2020-03-21
(33)【優先権主張国・地域又は機関】US
(81)【指定国・地域】
(71)【出願人】
【識別番号】522351930
【氏名又は名称】フィデリティ エージー インコーポレイテッド
【氏名又は名称原語表記】ＦＩＤＥＬＩＴＹ ＡＧ， ＩＮＣ．
(74)【代理人】
【識別番号】100139723
【弁理士】
【氏名又は名称】樋口 洋
(72)【発明者】
【氏名】ルース，クリス
(72)【発明者】
【氏名】ルース，クリフトン
(72)【発明者】
【氏名】チャクラヴァーチュラ，マイトレーヤ
(72)【発明者】
【氏名】ジェンキンス，ロイ ウィリアム
(72)【発明者】
【氏名】ヘニー，クリス
(72)【発明者】
【氏名】デッカー，ウルフギャング
【テーマコード（参考）】
5L096
【Ｆターム（参考）】
5L096AA02
5L096AA06
5L096BA08
5L096CA02
5L096DA02
5L096FA02
5L096FA18
5L096FA69
5L096HA11
5L096JA13
5L096KA04
5L096KA15
(57)【要約】
本明細書の実施形態は、人工知能ベースの廃棄物オブジェクト分類エンジンを使用することにより廃棄物管理をするための方法および装置を開示する。本方法は、少なくとも１つの画像を取得する工程、および少なくとも１つの取得画像から少なくとも１つの廃棄物オブジェクトを検出する工程を含む。さらに、本方法は、少なくとも１つの検出された廃棄物オブジェクトが予め記憶された廃棄物オブジェクトと一致すると判定し、予め記憶された廃棄物オブジェクトを用いて検出された廃棄物オブジェクトのタイプを識別する。さらに、本方法は、識別に基づいて検出された廃棄物オブジェクトのタイプを表示する工程を含む。
【特許請求の範囲】
【請求項1】
廃棄物管理のための方法であって、人工知能ベースの廃棄物オブジェクト分類エンジンによって、少なくとも１つの画像を取得する工程；
前記人工知能ベースの廃棄物オブジェクト分類エンジンによって、前記少なくとも１つの取得画像から少なくとも１つの廃棄物オブジェクトを検出する工程；
前記人工知能ベースの廃棄物オブジェクト分類エンジンによって、前記少なくとも１つの検出された廃棄物オブジェクトが予め記憶された廃棄物オブジェクトと一致すると判定する工程；
前記人工知能ベースの廃棄物オブジェクト分類エンジンによって、前記予め記憶された廃棄物オブジェクトを用いて検出された廃棄物オブジェクトのタイプを識別する工程；および
前記人工知能ベースの廃棄物オブジェクト分類エンジンによって、前記識別に基づいて検出された廃棄物オブジェクトのタイプを表示する工程
を含む、方法。
【請求項2】
前記人工知能ベースの廃棄物オブジェクト分類エンジンによって、前記検出された廃棄物オブジェクトのタイプをユーザに通知する工程をさらに含むことを特徴とする、請求項１に記載の方法。
【請求項3】
前記予め記憶された廃棄物オブジェクトが、様々なカテゴリを有する廃棄物オブジェクトを含む廃棄物オブジェクトデータセットを取得する工程；
前記取得された廃棄物オブジェクトデータセットから廃棄物オブジェクトに対応する画像の部分を取得する工程；
機械学習モデルを使用して、前記廃棄物オブジェクトに対応する画像の部分をトレーニングする工程；および
前記廃棄物オブジェクトに対応する画像のトレーニングされた部分に基づいて、予め記憶された廃棄物オブジェクトを生成する工程
によって生成されることを特徴とする、請求項１に記載の方法。
【請求項4】
前記人工知能ベースの廃棄物オブジェクト分類エンジンによって、前記少なくとも１つの取得画像から前記少なくとも１つの廃棄物オブジェクトを検出する工程が、前記少なくとも１つの取得画像から前記少なくとも１つの廃棄物オブジェクトを識別する工程；
前記少なくとも１つの取得画像の前景部分および前記少なくとも１つの取得画像の背景部分を処理することによって、前記少なくとも１つの取得画像から前記少なくとも１つの識別された廃棄物オブジェクトを抽出する工程；
前記抽出に基づいて、少なくとも１つの特徴パラメータを決定する工程；
前記決定された特徴パラメータに基づいて、前記少なくとも１つの識別された廃棄物オブジェクトに対応するピクセルを分析する工程；および
前記分析されたピクセルに基づいて、前記少なくとも１つの取得画像から前記少なくとも１つの廃棄物オブジェクトを検出する工程
を含むことを特徴とする、請求項１に記載の方法。
【請求項5】
前記人工知能ベースの廃棄物オブジェクト分類エンジンによって、前記予め記憶された廃棄物オブジェクトを使用して前記検出された廃棄物オブジェクトのタイプを識別する工程が、前記検出された廃棄物オブジェクトの複数のタイプが検出されたかどうかを判定する工程；
以下のうちの１つを実行する工程：
複数のタイプの廃棄物オブジェクトが検出されないと判定することに応答して、前記少なくとも１つの特徴パラメータを使用して検出された廃棄物オブジェクトのタイプを識別する工程、および
前記複数のタイプの廃棄物オブジェクトが検出されたと判定することに応答して、前記少なくとも１つの識別された廃棄物オブジェクトに基づいて少なくとも１つの特徴パラメータを決定する工程、決定された特徴パラメータに基づいて少なくとも１つの識別された廃棄物オブジェクトに対応するピクセルを分析する工程、および前記分析されたピクセルに基づいて少なくとも１つの取得画像から少なくとも１つの廃棄物オブジェクトを検出する工程
を含むことを特徴とする、請求項１に記載の方法。
【請求項6】
前記特徴パラメータが、廃棄物オブジェクトの形状、廃棄物オブジェクトの色、廃棄物オブジェクトの強度を含むことを特徴とする、請求項４に記載の方法。
【請求項7】
前記特徴パラメータが、廃棄物オブジェクトの形状、廃棄物オブジェクトの色、廃棄物オブジェクトの強度を含むことを特徴とする、請求項５に記載の方法。
【請求項8】
廃棄物管理のための電子装置であって、メモリ；
前記メモリに結合されたプロセッサ；および
人工知能ベースの廃棄物オブジェクト分類エンジン
を含み、
前記人工知能ベースの廃棄物オブジェクト分類エンジンは、前記プロセッサに結合され、以下：
少なくとも１つの画像を取得し；
前記少なくとも１つの取得画像から少なくとも１つの廃棄物オブジェクトを検出し；
前記少なくとも１つの検出された廃棄物オブジェクトが予め記憶された廃棄物オブジェクトと一致することを判定し；
前記予め記憶された廃棄物を使用して前記検出された廃棄物オブジェクトのタイプを識別し；
前記識別に基づいて、前記検出された廃棄物オブジェクトのタイプを表示する
ように構成される、電子装置。
【請求項9】
前記人工知能ベースの廃棄物オブジェクト分類エンジンが、前記検出された廃棄物オブジェクトのタイプをユーザに通知するように構成されることを特徴とする、請求項８に記載の電子装置。
【請求項10】
前記予め記憶された廃棄物オブジェクトが、様々なカテゴリを有する廃棄物オブジェクトを含む廃棄物オブジェクトデータセットを取得し；
前記取得された廃棄物オブジェクトデータセットから廃棄物オブジェクトに対応する画像の部分を取得し；
機械学習モデルを使用して、前記廃棄物オブジェクトに対応する画像の部分をトレーニングし；
前記廃棄物オブジェクトに対応する画像のトレーニングされた部分に基づいて、予め記憶された廃棄物オブジェクトを生成する
ことによって生成されることを特徴とする、請求項８に記載の電子装置。
【請求項11】
前記少なくとも１つの取得画像から前記少なくとも１つの廃棄物オブジェクトを検出することが、前記少なくとも１つの取得画像から前記少なくとも１つの廃棄物オブジェクトを識別し；
前記少なくとも１つの取得画像の前景部分および前記少なくとも１つの取得画像の背景部分を処理することによって、前記少なくとも１つの取得画像から前記少なくとも１つの識別された廃棄物オブジェクトを抽出し；
前記抽出に基づいて、少なくとも１つの特徴パラメータを決定し；
前記決定された特徴パラメータに基づいて、前記少なくとも１つの識別された廃棄物オブジェクトに対応するピクセルを分析し；
前記分析されたピクセルに基づいて、前記少なくとも１つの取得画像から前記少なくとも１つの廃棄物オブジェクトを検出する
ことを含むことを特徴とする、請求項８に記載の電子装置。
【請求項12】
前記予め記憶された廃棄物オブジェクトを使用して前記検出された廃棄物オブジェクトのタイプを識別することが、前記検出された廃棄物オブジェクトの複数のタイプが検出されたかどうかを判定し；
以下のうちの１つを実行する：
複数のタイプの廃棄物オブジェクトが検出されないと判定することに応答して、前記少なくとも１つの特徴パラメータを使用して検出された廃棄物オブジェクトのタイプを識別し、
前記複数のタイプの廃棄物オブジェクトが検出されたと判定することに応答して、前記少なくとも１つの識別された廃棄物オブジェクトに基づいて少なくとも１つの特徴パラメータを決定し、決定された特徴パラメータに基づいて少なくとも１つの識別された廃棄物オブジェクトに対応するピクセルを分析し、前記分析されたピクセルに基づいて少なくとも１つの取得画像から少なくとも１つの廃棄物オブジェクトを検出する
ことを含むことを特徴とする、請求項８に記載の電子装置。
【請求項13】
前記特徴パラメータが、廃棄物オブジェクトの形状、廃棄物オブジェクトの色、廃棄物オブジェクトの強度を含むことを特徴とする、請求項１１に記載の電子装置。
【請求項14】
前記特徴パラメータが、廃棄物オブジェクトの形状、廃棄物オブジェクトの色、廃棄物オブジェクトの強度を含むことを特徴とする、請求項１２に記載の電子装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、廃棄物管理システムに関し、より詳細には、廃棄物管理を自動化する装置および方法に関する。
【背景技術】
【0002】
このセクションは、技術分野を詳細に説明し、技術分野において遭遇する問題について論じる。したがって、このセクションにおける記述は、従来技術として解釈されるべきではない。
【0003】
一般的な既存の廃棄物処理システムは、様々な場所から収集され、次いで廃棄物処理施設において手動で分離される未分類のゴミを含む。固形廃棄物の手動による分離は、廃棄物選別者に健康上の危険をもたらすだけでなく、現代の家庭、企業、および産業によって廃棄される大量の廃棄物のために、効率が低く、時間がかかり、完全には実現可能ではない。廃棄物処理システムを効率的にするために、識別子（例えば、バーコード識別子など）を用いて廃棄物を選別、処理、破砕、圧縮、および洗浄するための自動廃棄物処理システムが必要とされる。
【0004】
このプロセスを効率的にするために、様々な方法およびシステムが先行技術に導入されている。特許文献１（Ｋｌｉｎｅ ｅｔ ａｌ）は、従来のゴミ集積所および埋立地に代わる廃棄物回収および変換センター／発電所を開示している。
【0005】
特許文献２（Ｂｒｕｎｎｅｒ ｅｔ ａｌ）は、観察から収集されたデータ測定データベースからパターンを識別するためのマイニング実験情報を開示している。
【0006】
特許文献３（Ｋｕｍａｒ ｅｔ ａｌ）は、材料の各々を識別または分類し、これらは次いでそのような識別または分類に基づいて別々のグループに分類される、機械学習システムを実装する視覚および／またはｘ線システムを利用して材料を選別する材料選別システムを開示する。
【0007】
特許文献４（Ｈｏｒｏｗｉｔｚ ｅｔ ａｌ）は、機械学習を用いた廃棄材料の光学材料特性評価のためのシステムを開示している。さらに、特許文献５（Ｐａｒｒ ｅｔ ａｌ）は、材料回収（またはリサイクル）設備のためのシステム制御を開示している。
【先行技術文献】
【特許文献】
【0008】
【特許文献1】米国特許出願第１０／９４３，８９７号明細書
【特許文献2】米国特許第７，２６９，５１６号明細書
【特許文献3】米国特許出願第１５／９６３，７５５号明細書
【特許文献4】米国特許出願第１６／１７７，１３７号明細書
【特許文献5】米国特許出願第１６／２４７，４４９号明細書
【発明の概要】
【発明が解決しようとする課題】
【0009】
しかしながら、従来技術では、何十年にも遡って、正確である廃棄物管理のための自動化された方法およびシステムは存在しない。したがって、従来の廃棄物管理技術に関連する制限を克服することができる本発明のアプローチが長年にわたって必要とされている。これらの問題を解決するために、本発明は、迅速かつ正確に信頼性のある廃棄物管理のための自動化された装置、システム、および方法を提供する。
【課題を解決するための手段】
【0010】
本発明は、自動廃棄物管理のための人工知能ベースの方法を開示する。
【0011】
本発明の第１の態様では、廃棄物管理のための方法が開示される。この方法は、少なくとも１つの画像を取得する工程を含む。さらに、本方法は、少なくとも１つの取得画像から少なくとも１つの廃棄物を検出する工程を含む。さらに、本方法は、少なくとも１つの検出された廃棄物オブジェクトが予め記憶された廃棄物オブジェクトと一致すると判定する工程、予め記憶された廃棄物オブジェクトを用いて検出された廃棄物オブジェクトのタイプを識別する工程、および識別に基づいて検出された廃棄物オブジェクトのタイプを表示する工程を含む。
【0012】
一実施形態では、方法は、検出された廃棄物オブジェクトのタイプをユーザに通知する工程をさらに含む。
【0013】
代替的な好ましい実施形態では、事前に記憶された廃棄物オブジェクトは、様々なカテゴリを有する廃棄物オブジェクトを含む廃棄物オブジェクトデータセットを取得する工程、取得された廃棄物オブジェクトデータセットから廃棄物オブジェクトに対応する画像の部分を取得する工程、機械学習モデルを使用して廃棄物オブジェクトに対応する画像の部分をトレーニングする工程、および廃棄物オブジェクトに対応する画像のトレーニングされた部分に基づいて予め記憶された廃棄物オブジェクトを生成する工程によって生成される。
【0014】
一実施形態では、少なくとも１つの取得画像から少なくとも１つの廃棄物オブジェクトを検出する工程は、少なくとも１つの取得画像から少なくとも１つの廃棄物オブジェクトを識別する工程、少なくとも１つの取得画像の前景部分および少なくとも１つの取得画像の背景部分を処理することによって少なくとも１つの取得画像から少なくとも１つの識別された廃棄物オブジェクトを抽出する工程、抽出に基づいて少なくとも１つの特徴パラメータを決定する工程、決定された特徴パラメータに基づいて少なくとも１つの識別された廃棄物オブジェクトに対応する１つまたは複数のピクセルを分析する工程、および分析されたピクセルに基づいて少なくとも１つの取得画像から少なくとも１つの廃棄物オブジェクトを検出する工程、を含む。
【0015】
さらに別の実施形態では、事前に記憶された廃棄物オブジェクトを使用して検出された廃棄物オブジェクトのタイプを識別する工程は、検出された廃棄物オブジェクトの複数のタイプが検出されたかどうかを判定する工程、および以下のうちの１つを実行する工程を含む：複数のタイプの廃棄物オブジェクトが検出されないと判定することに応答して、少なくとも１つの特徴パラメータを使用して検出された廃棄物オブジェクトのタイプを識別する工程、および、複数のタイプの廃棄物オブジェクトが検出されたと判定することに応答して、少なくとも１つの識別された廃棄物オブジェクトに基づいて少なくとも１つの特徴パラメータを決定する工程、決定された特徴パラメータに基づいて少なくとも１つの識別された廃棄物オブジェクトに対応する１つまたは複数のピクセルを分析する工程、および分析されたピクセルに基づいて少なくとも１つの取得画像から少なくとも１つの廃棄物オブジェクトを検出する工程。
【0016】
代替的な実施形態では、特徴パラメータは、廃棄物オブジェクトの形状、廃棄物オブジェクトの色、廃棄物オブジェクトの強度を含む。
【0017】
本発明の第２の態様では、自動廃棄物管理のための電子装置が開示される。電子装置は、メモリに結合されたプロセッサ、およびプロセッサに結合された人工知能ベースの廃棄物オブジェクト分類エンジンを含む。人工知能ベースの廃棄物オブジェクト分類エンジンは、少なくとも１つの画像を取得し、少なくとも１つの取得画像から少なくとも１つの廃棄物オブジェクトを検出し、少なくとも１つの検出された廃棄物オブジェクトが事前に記憶された廃棄物オブジェクトと一致することを判定するように構成される。人工知能ベースの廃棄物オブジェクト分類エンジンはまた、事前に記憶された廃棄物オブジェクトを使用して検出された廃棄物オブジェクトのタイプを識別するように構成され、識別に基づいて検出された廃棄物オブジェクトのタイプを表示することができる。
【0018】
以下、本発明の好ましい実施形態を、本発明の範囲を限定するのではなく例示するために提供される添付の図面と併せて説明するが、同様の表示は同様の要素を示し、先行技術は「先行技術」として明示される。
【図面の簡単な説明】
【0019】
【図1】本発明の教示による廃棄物管理のための電子装置のブロック図
【図2】廃棄物管理のためのシステムのブロック図
【図3】廃棄物管理のための電子装置に含まれる人工知能ベースの廃棄物オブジェクト分類エンジンのブロック図
【図4】人工知能ベースの廃棄物オブジェクト分類エンジンにおける様々な層を示す概略図
【図5】廃棄物管理のための方法を示すフローチャート
【図6】廃棄物管理のための様々な動作を示す例示的なフローチャート
【図9】本発明のスマートビン廃棄物ソート装置の一斜視図
【図10】スマートビン廃棄物ソート装置の代替的な斜視図
【図11】スマートビン廃棄物ソート装置に含まれる収集缶の部分断面図
【図12】スマートビン廃棄物ソート装置に含まれるスマートビンバックパネルの斜視図
【図13】視覚インジケータを含むスマートビン廃棄物ソート装置の斜視図
【図14】スマートビン廃棄物ソート装置が廃棄物管理のためにスマートフォンと通信する例示的なシステムの概略図
【発明を実施するための形態】
【0020】
このセクション（本発明の最良の形態の例示的な実施形態を説明する、例示的な好ましい実施形態の説明、以下「例示的な実施形態」と称する）を読む際、例示的な実施形態を、本発明者らの考えに従って特許の出願中に本発明を実施するための最良の形態として考えるべきである。当業者は、同じ方法でまたは異なる方法で同じ結果を達成するために、実質的に等価な構造または実質的に等価な行為を認識することができるので、例示的な実施形態は、本発明を１つの実施形態に限定するものとして解釈されるべきではない。
【0021】
種（または特定の項目）の議論は、その種が属する属（項目のクラス）ならびにこの属における関連種を呼び起こす。同様に、属の記載は、当該技術分野で既知の種を呼び起こす。さらに、技術が発展するにつれて、本発明の態様を達成するための多数の追加の代替案が生じ得る。そのような進歩は、それらのそれぞれの属内に組み込まれ、示されるまたは記載される態様と機能的に等価または構造的に等価であると認識されるべきである。
【0022】
機能または行為は、特に明記しない限り、機能または行為を実行する全てのモードを組み込むものとして解釈されるべきである。例えば、シート乾燥は、乾熱または湿熱適用によって、あるいはマイクロ波を使用することによって行われ得る。したがって、「紙乾燥」という用語の使用は、「乾熱」または「湿熱」およびこの用語の他のすべての他のモードならびに「圧力加熱」などの類似の用語を呼び起こす。
【0023】
他に明記しない限り、接続語（例えば、「または」、「および」、「含む」、または「備える」）は、排他的な意味ではなく包括的な意味で解釈されるべきである。
【0024】
当業者によって理解されるように、本発明を不明瞭にしないために、様々な構造および装置がブロック図に示されている。以下の議論において、同様の名称を有する行為は、他に明記しない限り、同様の方法で実行される。
【0025】
前述の議論および定義は、明確化のために提供され、限定するものではない。用語および語句は、他に示されない限り、それらの通常の平易な意味に従う。
【0026】
以下の本発明の実施形態の詳細な説明では、本発明の実施形態の完全な理解を提供するために、多数の具体的な詳細が記載される。しかしながら、本発明の実施形態は、これらの具体的な詳細の有無にかかわらず実施され得ることが、当業者に明らかであろう。他の例では、本発明の実施形態の態様を不必要に不明瞭にしないように、既知の方法、手順および構成要素は詳細に説明されていない。
【0027】
さらに、本発明がこれらの実施形態のみに限定されないことは明らかであろう。当業者には、本発明の精神および範囲から逸脱することなく、多数の修正、変更、変形、置換、および均等物が明らかであろう。
【0028】
好ましい実施形態では、本発明は、人工知能ベースの廃棄物オブジェクト分類エンジンを提供し、これは、選択された実施形態ではカスタム設計され（したがって、カスタム設計され、キャプチャされたトレーニングモデルの使用を採用することができる）、ディープラーニング法と呼ばれる機械学習から作成される。機械学習は、人工知能ベースの廃棄物オブジェクト分類エンジンが、明示的にプログラムされることなく経験から自動的に学習し改善することを可能にする。
【0029】
ディープラーニング法は、構造化されていないまたはラベル付けされていないデータから教師なし方式で学習することができるネットワークを使用する。ディープラーニング法は、本発明の人工知能ベースの廃棄物オブジェクト分類エンジンが、手続き型コードまたは明示的にコード化されたソフトウェアアルゴリズムの開発ではなく、推論およびパターン認識を通して自己学習することを可能にする、ニューラルネットワークの複数の層を採用する。ニューラルネットワークは、哺乳動物の大脳皮質のニューロン構造に従ってモデル化され、ニューロンはノードとして表され、シナプスはノード間の一意に重み付けされた経路として表される。次いで、ノードは層状に編成され、ネットワークを構成する。ニューラルネットワークは、入力層、中間層または隠れ層、および出力層を含む層状様式で編成される。
【0030】
ニューラルネットワークは、受信された入力に基づいて、一意に重み付けされた経路を変化させることによって学習能力を向上させる。ニューラルネットワーク内の連続する層は、受信された入力パターンに基づいて、重み付けされた係数を修正することによって学習能力を組み込む。ニューラルネットワークのトレーニングは、子供に物体の認識を教える方法に非常に類似している。ニューラルネットワークは、基本データセットから繰り返しトレーニングされ、出力層からの結果は、画像の正しい分類と連続的に比較される。
【0031】
代替的な説明では、ニューラルネットワークの代わりに任意の機械学習パラダイムを、トレーニングおよび学習プロセスにおいて使用することができる。
【0032】
図１は、廃棄物管理のための電子装置１００のブロック図である。電子装置（１００）は、例えば、スマートソート人工知能（ＡＩ）ビンシステム、スマートビン廃棄物選別装置、スマート廃棄物セパレータ、スマートフォン、スマートモノのインターネット（ＩＯＴ）デバイス、スマートサーバ等であり得るが、これらに限定されない。
【0033】
一実施形態では、電子装置は、プロセッサ１０２と、通信機１０４と、ディスプレイ１０６と、メモリ１０８と、人工知能ベースの廃棄物オブジェクト分類エンジン１１０と、撮像ユニット１１２と、センサ１１４とを含む。物理的接続は図示されていないが、プロセッサ１０２は、電子技術で知られている任意の方法で、通信機１０４、ディスプレイ１０６、メモリ１０８、人工知能ベースの廃棄物オブジェクト分類エンジン１１０、撮像ユニット１１２、およびセンサ１１４と通信可能に結合される。
【0034】
撮像ユニット１１２は、例えば、スタンドアロンカメラ、デジタルカメラ、ビデオ、カメラ、赤外線（ＩＲ）または紫外線（ＵＶ）カメラなどであり得るが、これらに限定されない。センサ１１４は、例えば、距離センサ、充填レベルセンサ、電子スケール、ひずみゲージ等であり得るが、これらに限定されない。
【0035】
一実施形態では、撮像ユニット１１２は、少なくとも１つの画像を取得し、少なくとも１つの取得画像を人工知能ベースの廃棄物オブジェクト分類エンジン１１０に共有する。一例では、カメラは、リアルタイムデジタル画像（たとえば、ＲＧＢ画像など）またはほぼリアルタイムの２次元デジタル画像またはデジタル画像の連続ストリームをキャプチャし、取得画像にジオタグを付加し、画像は複数の被写体を含み得る。複数の被写体は、廃棄物オブジェクト上のユーザの手、トレイ上の廃棄物オブジェクト、取得画像と共に背景部分を含む。別の例では、デジタルカメラが廃棄物画像をキャプチャし、センサが廃棄物画像から有用な特徴情報を検出し、次いで、デジタルカメラおよびセンサが、情報を人工知能ベースの廃棄物オブジェクト分類エンジン１１０に転送する。
【0036】
少なくとも１つの取得画像を受信した後、人工知能ベースの廃棄物オブジェクト分類エンジン１１０は、少なくとも１つの取得画像から少なくとも１つの廃棄物オブジェクトを検出する。一例では、人工知能ベースの廃棄物オブジェクト分類エンジン１１０は、デジタル画像または取得画像の連続ストリームを処理して、廃棄物オブジェクトと文脈理解のための最小背景とを含み、廃棄物オブジェクトに関連する確率確実性を高める、適切に切り取られた画像を生成する。
【0037】
代替的な実施形態では、人工知能ベースの廃棄物オブジェクト分類エンジン１１０は、少なくとも１つの取得画像から少なくとも１つの廃棄物オブジェクトを識別するように構成される。さらに、人工知能ベースの廃棄物オブジェクト分類エンジン１１０は、少なくとも１つの取得画像の前景部分および少なくとも１つの取得画像の背景部分を処理することによって、少なくとも１つの取得画像から少なくとも１つの識別された廃棄物オブジェクトを抽出するように構成される。抽出に基づいて、人工知能ベースの廃棄物オブジェクト分類エンジン１１０は、少なくとも１つの特徴パラメータを決定するように構成される。特徴パラメータは、例えば、廃棄物オブジェクトの形状、廃棄物オブジェクトの色、廃棄物オブジェクトの強度、ＩＲ検出可能またはＵＶ検出可能な画像、廃棄物オブジェクトのテクスチャ情報などであり得るが、これらに限定されない。
【0038】
一例では、人工知能ベースの廃棄物オブジェクト分類エンジン１１０は、取得画像に対応する連結成分情報を利用して、画像をピクセルに分割し、前景画像内の主要な関心項目の部分ではない前景を検出する。これによって、生の（raw）取得画像内の他のオブジェクトの部分を除去するために主要な廃棄物オブジェクトの周りの境界ボックスがもたらされ、ＡＩアルゴリズムまたはビジョンコンピュータアルゴリズムを使用して生の取得画像が処理される。さらに、人工知能ベースの廃棄物オブジェクト分類エンジン１１０は、各ピクセルがＡＩアルゴリズムまたはビジョンコンピュータアルゴリズムにどのように対応するかを表す特徴値を作成する。
【0039】
決定された特徴パラメータに基づいて、人工知能ベースの廃棄物オブジェクト分類エンジン１１０は、少なくとも１つの識別された廃棄物オブジェクトに対応する１つまたは複数のピクセルを分析するように構成される。分析されたピクセルに基づいて、人工知能ベースの廃棄物オブジェクト分類エンジン１１０は、少なくとも１つの取得画像から少なくとも１つの廃棄物オブジェクトを検出するように構成される。
【0040】
少なくとも１つの取得画像から少なくとも１つの廃棄物オブジェクトを検出した後、人工知能ベースの廃棄物オブジェクト分類エンジン１１０は、少なくとも１つの検出された廃棄物オブジェクトが予め記憶された廃棄物オブジェクトと一致すると特定するように構成される。
【0041】
一実施形態では、事前に記憶された廃棄物オブジェクトは、様々なカテゴリと共に廃棄物オブジェクトのセットを含む廃棄物オブジェクトデータセットを取得する工程、取得された廃棄物オブジェクトデータセットから廃棄物オブジェクトの各セットに対応する画像の部分を取得する工程、機械学習モデル３０６を使用して廃棄物オブジェクトの各セットに対応する画像の部分をトレーニングする工程、および廃棄物オブジェクトに対応する画像のトレーニングされた部分に基づいて予め記憶された廃棄物オブジェクトを生成する工程によって生成される。機械学習モデル３０６は、図３と併せて説明される。
【0042】
事前に記憶された廃棄物オブジェクトを使用することによって、人工知能ベースの廃棄物オブジェクト分類エンジン１１０は、検出された廃棄物オブジェクトのタイプを識別するように構成される。一例では、人工知能ベースの廃棄物オブジェクト分類エンジン１１０は、機械学習分類器またはフィルタを使用して、検出された廃棄物オブジェクトのタイプを識別するように構成される。タイプは、例えば、リサイクル可能タイプ、ごみタイプ、コンポストタイプ等であり得るが、これらに限定されない。一例では、画像は、ガラス、段ボール、金属、紙、発泡スチロール、食品に対応し、リサイクルタイプの廃棄物は、ガラス、ストロー、アルミニウムであり、ごみタイプの廃棄物は、発泡スチロール、コーヒーカップである。
【0043】
代替的な実施形態では、人工知能ベースの廃棄物オブジェクト分類エンジン１１０は、検出された廃棄物オブジェクトの複数のタイプが検出されるかどうかを特定するように構成される。あるいは、複数のタイプの廃棄物オブジェクトが検出されない場合、人工知能ベースの廃棄物オブジェクト分類エンジン１１０は、少なくとも１つの特徴パラメータを使用して、検出された廃棄物オブジェクトのタイプを識別するように構成される。
【0044】
別の実施形態では、複数のタイプの廃棄物オブジェクトが検出される場合、人工知能ベースの廃棄物オブジェクト分類エンジン１１０は、少なくとも１つの識別された廃棄物オブジェクトに基づいて少なくとも１つの特徴パラメータを決定し、決定された特徴パラメータに基づいて少なくとも１つの識別された廃棄物オブジェクトに対応する１つまたは複数のピクセルを分析し、分析されたピクセルに基づいて少なくとも１つの取得画像から少なくとも１つの廃棄物オブジェクトを検出する。
【0045】
検出された廃棄物オブジェクトのタイプを識別することに基づいて、人工知能ベースの廃棄物オブジェクト分類エンジン１１０は、検出された廃棄物オブジェクトのタイプをディスプレイ１０６に表示するように構成される。ディスプレイ１０６は、例えば、情報ディスプレイ、ＬＥＤディスプレイ、ＬＣＤディスプレイ等とすることができるが、これらに限定されない。
【0046】
さらに、人工知能ベースの廃棄物オブジェクト分類エンジン１１０は、検出された廃棄物オブジェクトのタイプを、通信機１０４を使用してユーザに通知するように構成される。通信機１０４は、例えば、Ｂｌｕｅｔｏｏｔｈ（登録商標）通信機、ワイヤレス・フィデリティ（Ｗｉ－Ｆｉ）通信機、ライト・フィデリティ（Ｌｉ－Ｆｉ）通信機等とすることができるが、これらに限定されない。一例では、通知は、スピーカ、ＬＥＤ、および画面上のメッセージングを使用する音声による視覚的警告の形態で提供される。別の例では、通知は、プッシュメッセージの形態でユーザに提供される。
【0047】
さらに、メモリ１０８は、記憶された命令を含み、命令は、人工知能ベースの廃棄物オブジェクト分類エンジン１１０に、少なくとも１つのプロセッサ１０２によって実行されたときに少なくとも１つの画像に対して機能を実行させる。撮像ユニット１１２は、有線通信手段、または、Ｂｌｕｅｔｏｏｔｈ、近距離無線通信、Ｗｉ－Ｆｉ、ユニバーサルシリアルバス等であるがこれらに限定されない無線通信手段を含む、通信機１０４を介してプロセッサ１０２と接続される。
【0048】
一実施形態では、画像がカラー画像である場合、人工知能ベースの廃棄物オブジェクト分類エンジン１１０は、より高い精度のピクセル分類を支援するために、付加的情報を追加することを利用する。人工知能ベースの廃棄物オブジェクト分類エンジン１１０の精度は、画像の品質に正比例する。画像解像度は、様々な照明条件、背景および可変シナリオにおいて試験される個々のピクセルおよび全体的なオブジェクトの最も効果的な分類を提供する。カメラ画像キャプチャは連続的（すなわち、検出点から廃棄点まで）でなければならない。画像は、十分に照明され、歪んでおらず、可能な限り控えめでなくてはならない。
【0049】
さらに、人工知能ベースの廃棄物オブジェクト分類エンジン１１０は、クラスタリングおよびＫＮＮ分類器を含む複数の技法を使用するが、本発明の範囲内で他の分類器を使用することができる。
【0050】
通信機１０４は、１つまたは複数のネットワークまたは第２の電子装置（図２に示される）を介して、内部ユニットおよび外部デバイスと通信するように構成される。メモリ１０８は、１つまたは複数のコンピュータ可読記憶媒体を含んでもよい。したがって、メモリ１０８は、不揮発性記憶素子を含み得る。そのような不揮発性記憶素子の例は、磁気ハードディスク、光ディスク、フロッピー（登録商標）ディスク、フラッシュメモリ、あるいは電気的プログラマブルメモリ（ＥＰＲＯＭ）または電気的消去可能プログラマブル（ＥＥＰＲＯＭ）メモリの形態を含み得る。さらに、メモリ１０８は、いくつかの例では、非一過性記憶媒体と見なすことができる。「非一過性」なる用語は、記憶媒体が搬送波または伝搬信号で具現化されないことを示し得る。しかしながら、「非一過性」なる用語は、メモリ１０８が移動不可能であると解釈されるべきではない。
【0051】
図１は、電子装置１００の様々なユニットを示すが、当業者は、本開示を読めば、他の実施形態がそれに限定されないことを理解する。他の実施形態では、電子装置１００は、より少ないまたはより多い数の様々なユニットを含み得る。さらに、様々なユニットのラベルまたは名称は、例示目的でのみ使用され、本発明の範囲を限定しない。１つまたは複数のユニットを一緒に組み合わせて、廃棄物を管理するために同じまたは実質的に同様の機能を実行することができる。
【0052】
図２は、廃棄物管理のためのシステム２００のブロック図である。一実施形態では、システム２００は、第１の電子装置１００ａと第２の電子装置１００ｂとを含む。第１の電子装置１００ａは、第２の電子装置１００ｂに少なくとも１つの画像をリアルタイムで、ほぼリアルタイムで、または記録されたフォーマットで転送する。第２の電子装置１００ｂは、第１の電子装置１００ａから少なくとも１つの画像を受信した後、廃棄物を管理するための様々な動作を実行する。第２の電子装置１００ｂの動作および機能は、図１に関連して既に説明した通りである。
【0053】
図２は、システム２００の限定された概観を示すが、本開示を読めば、他の実施形態はそのように限定されないことが当業者には容易に理解される。さらに、システム２００は、互いに通信する任意の数のハードウェアまたはソフトウェアコンポーネントを含むことができる。
【0054】
図３は、廃棄物管理のための電子装置１００に含まれる人工知能ベースの廃棄物オブジェクト分類エンジン１１０のブロック図である。一実施形態では、人工知能ベースの廃棄物オブジェクト分類エンジン１１０は、人工知能モデル３０２と、分類器３０４と、機械学習モデル３０６とを含む。さらに、人工知能モデル３０２は、ボックス生成器３０２ａおよび形状識別器３０２ｂを含む。分類器３０４は、例えば、ｋ近傍法（ＫＮＮ）分類器であり得るが、これに限定されない。機械学習モデル３０６は、例えば、教師あり学習およびディープラーニングベースの学習モデルおよび多層ハイブリッドディープラーニングベースの学習モデルであり得るが、これらに限定されない。
【0055】
一実施形態では、機械学習モデル３０６は、生画像内の廃棄物オブジェクトを、金属、ガラス、段ボール、紙、発泡スチロール、食品、プラスチックなどの高レベルのグループに分類して、コンテンツを用いてコンテキストを導き、報酬を与え、教育し、整合するように構成される。人工知能モデル３０２は、分類の前にトレーニング例を必要とし、機械学習モデル３０６がオブジェクトベクトルの特定の組合せを特定のクラスタイプと関連付けることを可能にする。ランタイム動作中の人工知能モデル３０２のこの段階の結果は、構成されたカテゴリに基づくオブジェクトの全体的な分類である。廃棄物オブジェクトは、分類に基づいて堆積される。さらに、現在の分類に該当しないオブジェクトは、図７および図８に説明されるように機械学習ルーチンに供給され、システムをさらにトレーニングし、可能な分類ブラケットを拡張する。
【0056】
ボックス生成器３０２ａは、廃棄物情報に関連するバウンディングボックスのセットを出力し、各バウンディングボックスは、廃棄物オブジェクトの位置、サイズ、およびカテゴリラベルを定義する。ボックス生成器３０２ａは、廃棄物オブジェクトに対応する物理的特性について明確な境界を生成する。一例では、アイコンサイズおよびアイコンシェアは、廃棄物オブジェクトに対応する物理的特性の強度に基づいて、視覚的に変化される。形状生成器３０２ｂは、廃棄物オブジェクトに対応する物理的特性の予測される形状および強度を出力する。ボックス生成器３０２ａおよび形状生成器３０２ｂは、直列または並列のいずれかで個々に、または一体として動作することができる。分類器３０４は、教師なし学習モデルを用いて画素値特徴をクラスに分類する。
【0057】
一実施形態では、フレームワークは、機械学習手順を実行し、トレーニング画像ピクセルデータセットを使用して分類器３０４をトレーニングする。分類器３０４は、画像ピクセルに適用され、１つ以上の異なるピクセルを識別し、次いで、補正されてもよい。人工知能モデル３０２および機械学習モデル３０６は、基準撮像システムから１つ以上のトレーニング画像データセットを受信する。あるいは、人工知能モデル３０２および機械学習モデル３０６は、廃棄物材料の識別を「教示し」、修正し、実装するために、確証アーキテクチャ、トレーニング、および実装を使用または組み込んでもよい。
【0058】
別の実施形態では、人工知能モデル３０２は、畳み込みニューラルネットワーク（ＣＮＮ）ベースの技法を使用して、画像に対応する特徴を抽出し、多層パーセプトロン技法を使用して、画像特徴を統合し、廃棄物をリサイクル可能、ゴミ、コンポスト、またはその他として分類する。多層パーセプトロン技術は、手動でラベル付けされた廃棄物オブジェクトに対してトレーニングされ、検証される。さらに、人工知能モデル３０２は、撮像ユニット１１２から収集された情報を集約することによって、廃棄物オブジェクトを分類する応答センターとして機能する。
【0059】
別の実施形態では、機械学習モデル３０６は、層ベースのニューラルネットワーク（例えば、４層ディープラーニングネットワーク、５層ニューラルネットワーク等）であってもよく、予測分析のためにそれをトレーニングすることができる。例えば、４層ベースのニューラルネットワークは、廃棄物オブジェクト予測のためのディープラーニングを達成するために、各レベルで３２、１６、１０および４のノードを有する。予測関数は、図４に示されるように、特徴ベクトルセットをニューラルネットワークに渡し、出力を生成する。図４に示されるように、第１の層（すなわち、入力層）と最後の層（すなわち、出力層）との間の層は、隠れ層と呼ばれる。すべての層は、廃棄物オブジェクトを処理および予測するために使用される。別の例では、４層ニューラルネットワークが、廃棄物オブジェクト予測に使用され、最後の層（すなわち、出力層）は、廃棄物オブジェクトを予測するための６つのノードを有する。概して、ニューラルネットワークは、３２個のノードを含む第１の層、１６個のノードに対応する第２の層、廃棄物オブジェクトを予測するための５個のノードまたは６個のノードを含む最後の層を有する。
【0060】
別の実施形態では、機械学習モデル３０６は、テンサフローライブラリによって作成される。最初に、機械学習モデル３０６は、廃棄物分類のためにインターネット上で情報を取得しタグ付けすることによって作成される、廃棄物オブジェクトのｍセットのデータセットを構築する。さらに、機械学習モデル３０６は、データセット内の廃棄物オブジェクトの特徴を抽出する。テンサフローライブラリモデルから、機械学習モデル３０６は、廃棄物オブジェクトがどのカテゴリに属するかを相関させる。一例では、機械学習モデル３０６を通して予測される廃棄物は、リサイクル可能、ゴミ、コンポストである。
【0061】
一実施形態では、機械学習モデル３０６の精度および速度は、機械学習モデル３０６がトレーニングされる生データセットの量に基づいて変化する。別の実施形態では、機械学習モデル３０６の精度および速度は、フレームレート、全体的なＣＰＵパワー、ＧＰＵパワー等に基づいて変化する。
【0062】
図５は、本発明の一実施形態による、廃棄物管理のための方法を示すフローチャート５００である。動作（５０２～５１２）は、人工知能ベースの廃棄物オブジェクト分類エンジン１１０によって実行される。
【0063】
動作５０２において、方法は、少なくとも１つの画像を取得する工程を含む。動作５０４において、方法は、少なくとも１つの取得画像から少なくとも１つの廃棄物オブジェクトを検出する工程を含む。次いで、動作５０６において、方法は、少なくとも１つの検出された廃棄物オブジェクトが予め記憶された廃棄物オブジェクトと一致すると判定する工程を含む。次に、動作５０８において、方法は、予め記憶された廃棄物オブジェクトを使用して、検出された廃棄物オブジェクトのタイプを識別する工程を含む。動作５１０において、方法は、識別に基づいて、検出された廃棄物オブジェクトのタイプを表示する工程を含む。そして、動作５１２において、方法は、検出された廃棄物オブジェクトのタイプをユーザに通知する工程を含む。
【0064】
提案される方法を使用して、ＡＩベースのコンピュータビジョン技法を用いて廃棄物選別のためのユーザ挙動を指図することができる。提案される方法は、廃棄物を評価し、所望のカテゴリ、すなわち、リサイクル可能物、ごみ、およびコンポストに分類するために使用することができる。提案される方法は、多くの場所（例えば、オフィス空間、アパート、レクリエーションエリア、スタジアム、家庭、公共の場所、公園、道路掃除等）におけるごみ処理において実施することができる。提案される方法は、ユーザ（例えば、技術者、農業ユーザ、フードコート従業員、歩行者等）によって使用され得る。
【0065】
提案される方法を使用して、廃棄物オブジェクトを運ぶユーザの視覚情報を捕捉し、廃棄物を分析して正しい流れに分類し、視覚的警告（ＬＥＤおよび画面上のメッセージングを通して）または音声メッセージをユーザに提供し、ユーザによって廃棄された廃棄物を自動的に分類することができる。
【0066】
図６は、廃棄物管理のための様々な動作を示す例示的なフローチャート６００である。
【0067】
動作６０２から開始して、方法は、画像をキャプチャする工程、およびジオタギングを画像上に追加する工程を含む。例として、カメラは画像をキャプチャし、ジオタギングを画像上に追加する。
【0068】
動作６０４において、方法は、取得画像から前景オブジェクトを検出し抽出する工程を含む。例として、人工知能ベースの廃棄物オブジェクト分類エンジン１１０は、取得された生画像から主要オブジェクトおよびサブ画像を検出して抽出し、取得された生画像から背景部分を分離する。
【0069】
動作６０６において、方法は、取得された生画像に関連付けられたピクセル明確化のための特徴パラメータに対応する特徴値を計算する工程を含む。一例では、人工知能ベースの廃棄物オブジェクト分類エンジン１１０は、廃棄物オブジェクトの形状および廃棄物オブジェクトの色を使用して、取得された生画像に関連付けられたピクセル明確化のための特徴パラメータに対応する特徴値を計算する。
【0070】
次いで、動作６０８において、方法は、ピクセル明確化を用いて廃棄物サブパーツを識別する工程を含む。例として、人工知能ベースの廃棄物オブジェクト分類エンジン１１０は、ピクセル明確化を用いて廃棄物サブパーツを識別する。
【0071】
次に、動作６１０において、方法は、ピクセル明確化のための特徴パラメータに対応する特徴値を再び計算する。例として、人工知能ベースの廃棄物オブジェクト分類エンジン１１０は、ピクセル明確化のための特徴パラメータに対応する特徴値を再び計算する。
【0072】
クエリ６１２において、方法は、複数の廃棄物オブジェクトが検出されたかどうかを特定することができる。複数の廃棄物が検出されない場合、動作６１４において、方法は、廃棄物オブジェクトを分類する工程を含む。例として、人工知能ベースの廃棄物オブジェクト分類エンジン１１０は、廃棄物オブジェクトを分類することができる。
【0073】
次いで、動作６１６において、方法は、廃棄物分類からセンサ１１４をトリガする工程を含む。例として、プロセッサ１０２は、廃棄物分類のためにセンサ１１４をトリガする。
【0074】
あるいは、クエリ６１２から、複数の廃棄物オブジェクトが検出された場合、動作６１８において、方法は、複数のオブジェクト検出のための特徴値に対応する特徴明確化を実行する工程を含む。一例では、人工知能ベースの廃棄物オブジェクト分類エンジン１１０は、複数のオブジェクト検出のための特徴値に対応する特徴明確化を実行する。
【0075】
動作６１８の後、方法は、特徴明確化に基づいて複数のオブジェクトを検出し分類する工程を含む動作６２０に進む。例として、人工知能ベースの廃棄物オブジェクト分類エンジン１１０は、特徴明確化に基づいて複数のオブジェクトを検出し、分類する。
【0076】
【0077】
方法７００は、様々なカテゴリと共に廃棄物オブジェクトのセットを含む生データセットを取得する工程を含む動作７０２で開始する。次に、動作７０４において、方法は、生データセットから廃棄物オブジェクトに対応する画像の部分を取得する工程を含む。次いで、動作７０６において、方法は、取得された廃棄物オブジェクト情報を使用することによって機械学習モデルを作成する工程を含む。機械学習モデルは、フレームレート、全体的なＣＰＵパワー、ＧＰＵパワー等に基づいてトレーニングされる。
【0078】
図８は、本発明の一実施形態による、図５に関連して機械学習モデル３０６をトレーニングおよび維持するための様々な動作を示すフローチャートである。動作（８０２～８０６）は、人工知能モデル３０２によって実行される。
【0079】
まず、動作８０２において、方法は、生データセットから廃棄物オブジェクトに対応する画像の部分を取得する工程を含む。次に、動作８０４において、方法は、廃棄物オブジェクト内の主要オブジェクトをラベル付けする工程を含む。次いで、動作８０６において、方法は、ラベル付けされた主要オブジェクトに基づいて機械学習モデルをトレーニングおよび維持する工程を含む。ラベル付けされた主要オブジェクトは、廃棄物オブジェクトに対応する画像の複数のクラスを含む。
【0080】
フロー図５００～８００における様々なアクション、動作、ブロック、ステップ等は、提示された順序で、異なる順序で、または同時に実行されてもよい。さらに、いくつかの実施形態では、アクション、動作、ブロック、ステップ等のいくつかは、本発明の範囲から逸脱することなく、省略、追加、修正、スキップ等されてもよい。
【0081】
本発明の上記の教示を組み込んだスマートビン廃棄物ソート装置１００ｃの斜視図である図９および図１０を同時に参照する。スマートビン廃棄物ソート装置１００ｃは、電子装置１００の一例である。具体的には、電子装置１００の実質的な動作および機能は、図１から図８と併せて既に説明されている。
【0082】
図９および図１０に示すように、スマートビン廃棄物ソート装置（１００ｃ）は、ビンハウジング（１１６）、スマートビンバックパネル（１１８）、収集缶（１２０）、ビンハウジングドア（１２２）、開口部を有するビンハウジング蓋（１２４）、デジタルカメラ（１１２ａ）、情報ディスプレイ（１０６ａ）、距離センサ（１１４ａ）、スピーカ（１２６）、光学インジケータ（１２８）、充填レベルセンサ（１１４ｂ）、電子スケール（１３０）、ひずみゲージ（１１４ｃ）（図１１に示される）、プロセッサ（１０２）（図１２に示される）、電源（１３２）（図１２に示される）、配電盤（１３４）（図１２に示される）、取付けプレート（１３６）（図１２に示される）、方向用視覚インジケータ（１３８）（図１３に示される）、より広い視野のためのデジタルカメラアレイ（１１２ｂ）（図１３に示される）、およびワイド画面情報ディスプレイ（１０６ｂ）（図１３に示される）を含む。示される装置は、好ましくは、家庭、または、空港、スポーツ施設（例えば、スタジアム等）、例えば、廊下、休憩室、またはトイレ等の学校またはオフィス場所等の、家庭または公共用途のためにサイズ決めされる。
【0083】
ビンハウジング（１１６）は、あらゆるタイプの廃棄物を収集するための収集缶（１２０）を含む。スマートビンバックパネル（１１８）は、ビンハウジング（１１６）の上部に取り付けられ、ビンハウジング（１１６）の上部を覆う。ビンハウジングドア（１２２）には、ビンハウジング（１１６）が設けられ、ビンハウジング（１１６）は、収集缶（１２０）内の廃棄物にアクセスして保持するための開口部を有するビンハウジング蓋（１２４）を含む。
【0084】
デジタルカメラ（１１２ａ）は、廃棄物の画像をキャプチャし、情報ディスプレイ（１０６ａ）は、廃棄物のタイプを表示する。距離センサ（１１４ａ）は、ユーザとスマートビン廃棄物ソート装置（１００ａ）との間の距離を測定する。スピーカ（１２６）は、廃棄物のタイプをユーザに知らせる。
【0085】
図１０にさらに詳細に示されるように、光学インジケータ（１２８）は、ユーザに廃棄物のタイプを示し、充填レベルセンサ（１１４ｂ）は、収集缶（１２０）内に格納された廃棄物のレベルを測定する。電子スケール（１３０）は、収集缶（１２０）の底部に設けられる。
【0086】
図１１は、スマートビン廃棄物ソート装置１００ｃに含まれる収集缶１２０の部分断面図である。図１１に示されるように、ひずみゲージ（１１４ｃ）は、収集缶（１２０）内に格納された廃棄物の重量を測定する。プロセッサ（１０２）は、スマートビン廃棄物選別デバイス（１００ａ）内の様々の要素、例えば、収集缶（１２０）、ビンハウジングドア（１２２）、開口部を有するビンハウジング蓋（１２４）、デジタルカメラ（１１２ａ）、情報ディスプレイ（１０６ａ）、距離センサ（１１４ａ）、スピーカ（１２６）、光学インジケータ（１２８）、充填レベルセンサ（１１４ｂ）、電子スケール（１３０）、およびひずみゲージ（１１４ｃ）と連結される。
【0087】
図１２は、本発明の一実施形態による、スマートビン廃棄物ソート装置１００ｃに含まれるスマートビンバックパネル１１８の斜視図である。図１２に示すように、電源（１３２）は、スマートビン廃棄物ソート装置（１００ａ）内の電力を、配電盤（１３４）を介して供給する。取付けプレート（１３６）は、スマートビンバックパネル（１１８）内に設けられる。
【0088】
図１３は、本発明の一実施形態による、視覚インジケータ１３８を含むスマートビン廃棄物ソート装置１００ｃの斜視図である。図１３に示されるように、視覚インジケータ（１３８）は、廃棄物処理のためにユーザに対して方向を示し、デジタルカメラアレイ（１１２ｂ）は、より広い視野のために使用される。ワイドスクリーン情報ディスプレイ（１０６ｂ）は、廃棄物に関する情報を表示する。
【0089】
図１４は、本発明の一実施形態による、スマートビン廃棄物ソート装置１００ｃが廃棄物管理のためにスマートフォン１００ｄと通信する例示的なシステムの概略図である。
【0090】
一実施形態では、システムは、スマートビン廃棄物ソート装置１００ｃおよびスマートフォン１００ｄを含む。スマートビン廃棄物ソート装置１００ｃは、少なくとも１つの画像を、リアルタイムでまたはほぼリアルタイムでまたは記録されたフォーマットでスマートフォン１００ｄに転送する。スマートビン廃棄物ソート装置１００ｃから少なくとも１つの画像を受信した後、スマートフォン１００ｄは、廃棄物を管理するために様々な動作を実行する。スマートフォン１００ｄの動作および機能は、図１、図２および図９～図１３と併せて実質的に説明される。
【0091】
本発明は、その好ましい実施形態に関連して説明されたが、本発明の精神および範囲から逸脱することなく、多くの他の可能な修正および変形を行うことができることを理解されたい。本開示を読むと、当業者は、本発明と同じ目的を達成するために、変更、修正、および置換を行うことができる。例示的な実施形態は単なる例示であり、本発明の範囲を限定することを意図するものではない。本発明は、説明およびそれらの均等物の範囲内にある全ての他の実施形態を包含することが意図される。
【0092】
本明細書で説明される方法およびプロセスは、より少ないまたは追加のステップまたは状態を有してもよく、ステップまたは状態は異なる順序で行われてもよい。全てのステップまたは状態に到達する必要はない。本明細書で説明される方法およびプロセスは、１つ以上の汎用コンピュータによって実行されるソフトウェアコードモジュールで具現化されてもよく、それを介して完全にまたは部分的に自動化されてもよい。コードモジュールは、任意のタイプのコンピュータ可読媒体または他のコンピュータ記憶デバイスに記憶され得る。方法の一部またはすべては、代替的に、専用コンピュータハードウェアにおいて全体的にまたは部分的に具現化され得る。本明細書に記載されるシステムは、必要に応じて、ディスプレイ、ユーザ入力装置（例えば、タッチスクリーン、キーボード、マウス、音声認識等）、ネットワークインターフェース等を含んでもよい。
【0093】
開示された方法の結果は、揮発性および／または不揮発性メモリ（例えば、磁気ディスクストレージ、光学ストレージ、ＥＥＰＲＯＭおよび／またはソリッドステートＲＡＭ）を使用する関係データベースおよびフラットファイルシステム等の、任意のタイプのコンピュータデータリポジトリに格納することができる。
【0094】
本明細書で開示される実施形態に関連して説明される様々な例示的な論理ブロック、モジュール、ルーチン、およびアルゴリズムステップは、電子ハードウェア、コンピュータソフトウェア、または両方の組合せとして実装され得る。ハードウェアとソフトウェアのこの互換性を明確に示すために、様々な例示的なコンポーネント、ブロック、モジュール、およびステップが、上記では概してそれらの機能に関して説明された。そのような機能をハードウェアとしてまたはソフトウェアとして実装するかは、特定のアプリケーションおよび全体的なシステムに課された設計上の制約に依存する。説明された機能は、特定のアプリケーションごとに様々な方法で実装され得るが、そのような実装の決定は、本開示の範囲からの逸脱を引き起こすものと解釈されるべきではない。
【0095】
さらに、本明細書で開示される実施形態に関連して説明される様々な例示的な論理ブロックおよびモジュールは、本明細書で説明する機能を実行するように設計された、汎用プロセッサデバイス、デジタル信号プロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）または他のプログラマブル論理デバイス、ディスクリートゲートまたはトランジスタ論理、ディスクリートハードウェアコンポーネントまたはそれらの任意の組合せなどの機械によって実装または実行され得る。汎用プロセッサデバイスはマイクロプロセッサであり得るが、代替として、プロセッサデバイスは、コントローラ、マイクロコントローラ、またはステートマシン、それらの組合せ等であり得る。プロセッサデバイスは、コンピュータ実行可能命令を処理するように構成された電気回路を含むことができる。別の実施形態では、プロセッサデバイスは、コンピュータ実行可能命令を処理することなく論理演算を実行するＦＰＧＡまたは他のプログラマブルデバイスを含む。プロセッサデバイスはまた、コンピューティングデバイスの組合せ、例えば、ＤＳＰとマイクロプロセッサとの組合せ、複数のマイクロプロセッサ、ＤＳＰコアと連携する１つまたは複数のマイクロプロセッサ、あるいは任意の他のそのような構成として実装され得る。本明細書では主にデジタル技術に関して説明されるが、プロセッサデバイスはまた、主にアナログコンポーネントを含み得る。コンピューティング環境は、いくつか例を挙げると、マイクロプロセッサに基づくコンピュータシステム、メインフレームコンピュータ、デジタル信号プロセッサ、ポータブルコンピューティングデバイス、デバイスコントローラ、または機器内の計算エンジンを含む、任意のタイプのコンピュータシステムを含むことができるが、これらに限定されない。
【0096】
本明細書で開示される実施形態に関連して説明される方法、プロセス、ルーチン、またはアルゴリズムの要素は、直接ハードウェアで、プロセッサデバイスによって実行されるソフトウェアモジュールで、またはその２つの組合せで具現化され得る。ソフトウェアモジュールは、ＲＡＭメモリ、フラッシュメモリ、ＲＯＭメモリ、ＥＰＲＯＭメモリ、ＥＥＰＲＯＭメモリ、レジスタ、ハードディスク、リムーバブルディスク、ＣＤ－ＲＯＭ、または任意の他の形態の非一時的コンピュータ可読記憶媒体中に常駐することができる。例示的な記憶媒体は、プロセッサデバイスが記憶媒体から情報を読み取り、記憶媒体に情報を書き込むことができるように、プロセッサデバイスに結合され得る。代替案として、記憶媒体は、プロセッサデバイスに統合され得る。プロセッサデバイスおよび記憶媒体は、ＡＳＩＣ中に常駐することができる。ＡＳＩＣは、ユーザ端末中に常駐することができる。代替案として、プロセッサデバイスおよび記憶媒体は、ユーザ端末中に個別の構成要素として常駐することができる。
【0097】
とりわけ、「できる」、「し得る」、「かもしれない」、「あり得る」、「例えば」などの本明細書で使用される条件付き言語は、他に特に明記されない限り、または使用される文脈内で別様に理解されない限り、概して、特定の実施形態が、特定の特徴、要素、および／またはステップを含むが、他の実施形態は含まないことを伝えることを意図する。したがって、そのような条件付き言語は、概して、特徴、要素、および／またはステップが、１つ以上の実施形態に何らかの形で必要とされること、または１つ以上の実施形態が、他の入力もしくはプロンプトの有無にかかわらず、これらの特徴、要素、および／またはステップが、任意の特定の実施形態に含まれるか、または実行されるべきかどうかを決定するための論理を必然的に含むことを意図するものではない。「備える」、「含む」、「有する」等の用語は、同義語であり、包括的に、非限定的な様式で使用され、追加の要素、特徴、行為、動作などを除外しない。また、「または」なる用語は、その包括的な意味で（排他的な意味ではなく）使用され、例えば、要素のリストを接続するために使用される場合、「または」という用語は、リスト中の要素のうちの１つ、いくつか、またはすべてを意味する。
【0098】
「Ｘ、Ｙ、Ｚの少なくとも１つ」なる句のような離接的言語は、他に特に明記されていない限り、項目、用語などがＸ、Ｙ、またはＺ、あるいはそれらの任意の組合せ（例えば、Ｘ、Ｙ、および／またはＺ）のいずれかであり得ることを提示するために一般に使用されるような文脈とともに別様に理解される。したがって、そのような離接的言語は、概して、特定の実施形態が、Ｘのうちの少なくとも１つ、Ｙのうちの少なくとも１つ、またはＺのうちの少なくとも１つが存在することを必要とすることを意図せず、それを意味するべきではない。
【0099】
本明細書で説明されるネットワーク化された電子装置は、モバイル通信デバイス（例えば、携帯電話）、ラップトップ、タブレットコンピュータ、双方向テレビジョン、ゲームコンソール、メディアストリーミングデバイス、頭部装着型ディスプレイ、仮想または拡張現実デバイス、ネットワークウォッチ等の形態であり得る。ネットワーク化されたデバイスは、必要に応じて、ディスプレイ、ユーザ入力デバイス（例えば、タッチスクリーン、キーボード、マウス、音声認識等）、ネットワークインターフェース等を含み得る。
【0100】
上記の詳細な説明は、様々な実施形態に適用される新規の特徴を示し、説明し、指摘したが、本開示の趣旨から逸脱することなく、例示されるデバイスまたはアルゴリズムの形態および詳細における様々な省略、置換、および変更を行うことができることを理解されたい。認識され得るように、本明細書に記載される特定の実施形態は、いくつかの特徴が他の特徴とは別個に使用または実施され得るので、本明細書に記載される特徴および利点の全てを提供しない形態で具現化され得る。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【国際調査報告】