特許 7596052 対象物分別システム、対象物分別方法及び対象物分別プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B1)

(11)【特許番号】

(24)【登録日】2024-11-29

(45)【発行日】2024-12-09

(54)【発明の名称】対象物分別システム、対象物分別方法及び対象物分別プログラム

(51)【国際特許分類】

   G06Q 50/10 20120101AFI20241202BHJP

   G06Q 10/30 20230101ALI20241202BHJP

【ＦＩ】

G06Q50/10

G06Q10/30

【請求項の数】 5

(21)【出願番号】P 2024058037

(22)【出願日】2024-03-29

【審査請求日】2024-06-27

【早期審査対象出願】

(73)【特許権者】

【識別番号】524124433

【氏名又は名称】大久保 慶太郎

(74)【代理人】

【識別番号】110002516

【氏名又は名称】弁理士法人白坂

(72)【発明者】

【氏名】大久保 慶太郎

【審査官】山崎 誠也

(56)【参考文献】

【文献】特開２０２３－０８１５０１（ＪＰ，Ａ）

【文献】ＡＩを活用したゴミの分別と回収アシストシステム，[online]，2021年02月25日，[令和６年９月６日検索],インターネット<URL:https://www.shonai-cit.ac.jp/wp-content/uploads/2021/03/R2-DensiThema-TechHack.pdf>

【文献】株式会社調和技研 事例紹介 －２０２３年５月版－，シーテック ２０２３ ，2017年10月17日，p.14-15

【文献】ＡＩを活用したリサイクル（資源ゴミ）の自動分別，[online]，2024年02月21日，[令和６年９月６日検索],インターネット<URL:https://web.archive.org/web/20240221135535/https://aicam.jp/effecitvely/auto-separate_trash_using_ai>

【文献】黄 思韵，リサイクル支援システムのための画像認識を用いた資源物識別の検討，２０２３年度人工知能学会全国大会（第３７回） ［ｏｎｌｉｎｅ］，2023年09月19日，p.1-2，[令和６年９月９日検索],インターネット<URL:https://confit.atlas.jp/guide/event-img/jsai2023/1O3-GS-7-02/public/pdf?type=in>

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｑ １０／００－９９／００

(57)【特許請求の範囲】

【請求項1】

撮像された対象物の写真を取得する写真取得部と、
学習用画像データと、前記学習用画像データに含まれている対象物の種類を示す情報との対応関係を予め機械学習した学習モデルを介して、前記写真に含まれる対象物が廃棄物としての種類を示す度合いを算出する算出部と、
前記度合いと前記写真と併せて出力する出力部と、
前記写真と類似している画像を類似画像として取得し、前記類似画像に含まれる対象物の販売価格帯をインターネット上で検索する価格検索部と、
前記販売価格帯を示す金額を点数に換算する換算部と、を備える
対象物分別システム。

【請求項2】

前記対象物分別システムは、
入力された評価用文章テキストを事前に学習した大規模言語モデルを介して、前記度合いに基づく評価データを生成する生成部、を更に備える
ことを特徴とする請求項１に記載の対象物分別システム。

【請求項3】

前記生成部は、
前記対象物を所有する所有者の身分を識別する識別コードを生成して前記対象物の写真に紐づける
ことを特徴とする請求項２に記載の対象物分別システム。

【請求項4】

コンピュータが、
撮像された対象物の写真を取得する写真取得ステップと、
学習用画像データと、前記学習用画像データに含まれている対象物の種類を示す情報との対応関係を予め機械学習した学習モデルを介して、前記写真に含まれる対象物が廃棄物としての種類を示す度合いを算出する算出ステップと、
前記度合いと前記写真と併せて出力する出力ステップと、
前記写真と類似している画像を類似画像として取得し、前記類似画像に含まれる対象物の販売価格帯をインターネット上で検索する価格検索ステップと、
前記販売価格帯を示す金額を点数に換算する換算ステップと、を実行する
対象物分別方法。

【請求項5】

コンピュータに、
撮像された対象物の写真を取得する写真取得機能と、
学習用画像データと、前記学習用画像データに含まれている対象物の種類を示す情報との対応関係を予め機械学習した学習モデルを介して、前記写真に含まれる対象物が廃棄物としての種類を示す度合いを算出する算出機能と、
前記度合いと前記写真と併せて出力する出力機能と、
前記写真と類似している画像を類似画像として取得し、前記類似画像に含まれる対象物の販売価格帯をインターネット上で検索する価格検索機能と、
前記販売価格帯を示す金額を点数に換算する換算機能と、を実行させる
対象物分別プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、廃棄物の写真を取得して廃棄物の種類を判定し、リサイクル点数及びコメントを生成する対象物分別システムに関する。

【背景技術】

【0002】

従来、廃棄物のリサイクルの還元プロセスが不透明であり、特に、不法投棄や廃棄物処理費の高騰をするとともに、カーボンニュートラルに対する意識が更なる重要になっていく。そこで、廃棄物を適切に分別システムが求められている。

【0003】

特許文献１に開示された廃棄物選別システム及びその方法は、廃棄物の搬送手段、写真取得手段、表示手段、素材情報の判別手段及びシステム制御手段が設けられている。廃棄物に含まれた素材情報によりその廃棄物の種類を判定することができる。

【0004】

特許文献２に開示された廃棄物履歴管理システムは、廃棄物データを効率よく管理して分析する方法が開示されており、廃棄物履歴を管理することで、廃棄物の比較や分析が可能となる。

【先行技術文献】

【特許文献】

【0005】

【文献】特許５９６９６８５号公報

【文献】特開２０２３－１７１９７１号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

本発明は従来の対象物分別システムでは、対象物の種類を示す情報を予めプログラムに組み込んでいたため、新しい種類の対象物が出現した場合には、その種類を認識することができなかった。本発明は、機械学習によって対象物の種類を示す情報と学習用画像データとの対応関係を予め学習することで、新しい種類の対象物でも高い精度で分別することができるようにした対象物分別システムを提供することを目的としている。

【課題を解決するための手段】

【0007】

本発明の一つの実施態様としては、撮像された対象物の写真を取得する写真取得部と、学習用画像データと、学習用画像データに含まれている対象物の種類を示す情報との対応関係を予め機械学習した学習モデルを介して、写真に含まれる対象物が廃棄物としての種類を示す度合いを算出する算出部と、度合いと写真と併せて出力する出力部と、を備える。

【0008】

上記の対象物分別システムにおいて、入力された評価用文章テキストを事前に学習した大規模言語モデルを介して、度合いに基づく評価データを生成する生成部、を更に備えることとしてもよい。
上記の対象物分別システムにおいて、写真と類似している画像を類似画像として取得し、類似画像の販売価格帯をインターネット上で検索する価格検索部と、販売価格帯を示す金額を点数に換算する換算部と、を更に備えることとしてもよい。
生成部は、対象物を所有する所有者の身分を識別する識別コードを生成して対象物の写真に紐づけることとしてもよい。

【0009】

コンピュータが、撮像された対象物の写真を取得する写真取得ステップと、学習用画像データと、学習用画像データに含まれている対象物の種類を示す情報との対応関係を予め機械学習した学習モデルを介して、写真に含まれる対象物が廃棄物としての種類を示す度合いを算出する算出ステップと、度合いと写真と併せて出力する出力ステップと、を実行する対象物分別方法である。

【0010】

コンピュータに、撮像された対象物の写真を取得する写真取得機能と、学習用画像データと、学習用画像データに含まれている対象物の種類を示す情報との対応関係を予め機械学習した学習モデルを介して、写真に含まれる対象物が廃棄物としての種類を示す度合いを算出する算出機能と、度合いと写真と併せて出力する出力機能と、を実行させる対象物分別プログラムである。

【発明の効果】

【0011】

本発明の一実施形態によれば、本願発明に係る対象物分別システムは、撮影された対象物の写真、撮影された対象物が廃棄物としての種類を示す度合い、その度合いに基づく評価、その対象物と類似する中古品の販売価格帯を検索して換算された点数等を有する情報セットを生成する。したがって、本発明により、廃棄物の分別作業において大規模言語モデル（ｌａｒｇｅ ｌａｎｇｕａｇｅ ｍｏｄｅｌ、下記ＬＬＭ）を介して廃棄物の統計情報を管理・分析することが可能になる。

【図面の簡単な説明】

【0012】

【図1】本発明の実施形態に係る対象物分別システムの概略を示す図である。

【図2】本発明の実施形態に係る対象物分別システムの構成及び機能を示すブロック構成図である。

【図3】本発明の実施形態に係る対象物分別システムが合致率及びコメントを生成する一例である。

【図4】本発明の実施形態に係る対象物分別システムがネットで類似品の価格を検索して点数に換算する一例である。

【図5】本発明の実施形態に係る対象物分別システムが生成した分別結果の一例である。

【図6】本発明の実施形態に係る対象物分別システムの動作例を示すフローチャート図の一例である。

【発明を実施するための形態】

【0013】

以下、各図面を用いて本願発明に係る対象物分別システム１０の実施形態を説明する。なお、本願発明は、その実施形態に限定されるものではない。また、各図面において説明上重要ではない構成要素の一部は省略して表示する。

【0014】

＜概要＞
図１で示すように、本発明に係る対象物分別システム１０は、インターネットNWを介してユーザ端末２０と接続している。本実施形態のユーザ端末は、パーソナルコンピュータ（ｐｅｒｓｏｎａｌ ｃｏｍｐｕｔｅｒ、以下、ＰＣという）等を始めとした電子機器であってよいが、ＰＣ以外に、携帯電話、スマートフォン、タブレット型端末、ウェアラブル端末等、他のあらゆる電子機器で機能を実現してもよい。

【0015】

図２によると、対象物分別システム１０は、写真取得部１０１、算出部１０２、生成部１０３、価格検索部１０４、換算部１０５及び出力部１０６に構成されてもよいが、これらに限定されておらず、対象物分別システム１０の機能を実現すればよい。本発明の写真取得部１０１は、対象物の写真を取得する構成である。一例として、バウンディングボックス内に唯一の対象物がある場合、対象物分別システム１０の写真取得用のバウンディングボックスは、対象物を包囲して写真を取得してもよい。バウンディングボックス内に複数の対象物がある場合、夫々バウンディングボックスにより対象物を囲んでおり、対象物画像を取得してもよい。また、写真取得部１０１により撮像された対象物の写真を取得し、学習用画像データと、前記学習用画像データに含まれている対象物の種類を示す情報との対応関係を予め機械学習した学習モデルを介して、前記写真に含まれる対象物が廃棄物としての種類を示す度合いを算出する。そして、商品名と商品ジャンルとの対応関係を設定したデータベースを利用して商品ジャンルを決定し、前記度合いと商品ジャンルと前記写真と併せて出力する。

【0016】

本発明によれば、学習用画像データと、前記学習用画像データに含まれている対象物の種類を示す情報との対応関係を予め機械学習した学習モデルを介して、写真に含まれる対象物が廃棄物としての種類を示す度合いを算出することができる。また、特に追加学習の必要性が高い特徴量を集中的に追加学習することで効率的に追加学習を進めることができる。

【0017】

写真取得部１０１は、評価対象画像から物体領域を抽出するための処理を行う領域分割部と、領域分割された物体領域から特徴量を抽出するための処理特徴量抽出部とを含んでもよい。そして、対象物分別システム１０は、学習用画像データから学習モデルを決定するための処理を行うことができる。以上のような構成により、本発明に係る写真取得部１０１は高精度であるだけでなく、高速かつ省エネルギーであることが特徴である。

【0018】

算出部１０２は、撮影された写真の対象物が所定の廃棄物種類との合致率であるか否かを示す合致率を算出することができる。一例として、対象物分別システム１０は、写真中の対象物を認識した後、所定の種類との類似度を示す度合い（以下、合致率という）を算出することができる。所定の種類は、廃棄物としての種類（例えば、サーキュラーエコノミー、レアメタル採取、アップサイクリング、コンポスト化、リユース等）を含んでもよい。その中で、写真内の対象物を認識する方法は、公知技術であってもよい。また、廃棄物の種類と対象物との対応関係を示す合致率は学習モデルに算出されてもよい。この場合、学習済みモデルは、画像中のある領域を構成する各画素の色に基づいて生成された特徴量と、その領域に対象廃棄物が写っているか否かとの対応関係を学習させたものであってもよい。この対応関係は、販売実績データベースに基づいて予め設定されており、撮影された写真から廃棄物であるかどうかを判断することができる。

【0019】

生成部１０３は、算出部１０２に算出された度合いに基づいて、対象物のリサイクルに関する情報（以下、評価データという）、対象物を所有する所有者の身分を識別する識別コード、ＱＲコード（登録商標）等を生成することができる。評価データは、合致率に基づいてユーザにリサイクル指導情報を提供するものである。一例として、あるノートパソコンが所定の種類B（例えば、リユース品）との合致率が一番高い場合、生成部１０３はその合致率に基づいて、「リユース品としてリサイクル可能であり、ノートパソコンのスクリーンはほかの用途に使えます」等アドバイスを生成してもよい。

【0020】

生成部１０３は、例えば、ＱＲコード（登録商標）などを情報記録手段として利用してインターネットに接続させる場合（例えば、ＱＲコード（登録商標）に付した手段に直接現状情報が記録されない場合）においては、公知のコンピュータ、サーバ装置、及び携帯端末などの処理装置（ＣＰＵ等）及び記憶装置を前記記録更新手段として用いることができる。

【0021】

価格検索部１０４は、対象物分別システム１０が写真内に含まれる対象物を認識してその対象物と似ている中古品の価格を検索することができる。一例として、ある廃棄冷蔵庫は、複数の中古品販売店において１０００円、２０００円、３０００円で販売されており、価格検索部１０４は、中古品販売店の価格を集まって価格帯を生成してもよい。この場合、価格検索部１０４は、価格帯を１０００～３０００としてもよいが、価格の中位数、平均値等を算出して検索価格としてもよい。また、自動的に価格を検索することだけではなく、実際の中古品の価格は商品の状態や市場の状況により変動しているので、ユーザは手動で価格検索部１０４に中古品の価格を入力してもよい。

【0022】

価格検索部１０４は、特徴量テーブルの画像レコードのなかで、指定された検索条件に含まれる特徴量の平均値が所定の値以上のレコードを検索した結果を、検索結果データベースの検索結果テーブルに格納する。本実施形態に係る対象物分別システム１０は、特徴量としては、色情報や形状情報などが用いられる。また、ＥＣサイト等から商品名、税抜き価格、税込価格、及びバーコードの領域のみを抽出して出力するようにしてもよい。また、基準画像も、対象画像および非対象画像と同様に１つの画像のみで構成されている必要はなく、複数の画像で構成されるデータセットであってもよい。

【0023】

換算部１０５は、価格検索部１０４の価格帯、或いは価格の中位数や平均値に基づいて点数に換算することができる。換算結果も価格検索結果と同じであり、中位数や平均値によって点数に換算してもよい。

【0024】

出力部１０６は、対象物写真、各識別コード、点数等情報を含めてユーザ端末に出力することができる。出力されたものは、スマホアプリに表示してもよいし、写真等媒体を介して表示してもよい。また、出力された対象物リサイクル評価表は、各識別コードを付けられるため、誰でも確認することができる。

【0025】

本実施形態に係る対象物分別システム１０は、ＬＬＭをはじめとする生成ＡＩを搭載しており、生成ＡＩのプロンプトは処理を一つに纏めてもよいが、対象物分別システム１０の機能によって複数のステップに分けられてもよい。本実施形態におけるプロンプトは、（１）対象物の分別、（２）類似画像検索による中古販売価格帯の調査、（３）改ざん防止に分けられているが、これらに限定されておらず、ＥＸＩＦ（Ｅｘｃｈａｎｇｅａｂｌｅ ｉｍａｇｅ ｆｉｌｅ ｆｏｒｍａｔ）の編集や、リサイクルのプロセスの可視化等ステップを含んでもよい。

【0026】

＜対象物の分別＞
本実施形態に係る対象物分別システム１０は、画像識別用モデルを搭載することができる、具体的には、本実施形態に係る画像識別に要する学習モデルは、学習用画像データと、前記学習用画像データに含まれている対象物の種類を示す情報との対応関係を予め機械学習したものであり、学習後の学習モデルを介して写真に含まれる対象物の種類を識別してもよい。

【0027】

また、画像識別技術はこれらに限定されておらず、画像検出モデルを介して写真内に含まれる対象物を識別してもよい。一例として、赤外線の波長帯で撮影した赤外線画像から抽出した対象物の画像領域と、この画像領域に写された対象物に波長の変動が含まれているか否かを示す情報とを対応付けた学習用データを用いて、いわゆる教師ありの機械学習の手法により予め生成される。

【0028】

本実施形態に係る対象物分別システム１０は、撮影された写真から廃棄物であるかどうかを判定し、その結果を出力することができる。また、目的取得の方法はカメラから目的を送信させてそれを取得する方法やコンピュータの入出力部を利用してユーザに入力させる方法等がある。

【0029】

本発明による対象物分別システム１０は、学習用画像データと、前記学習用画像データに含まれている対象物の種類を示す情報との対応関係を予め機械学習した学習モデルを介して、写真に含まれる対象物が廃棄物としての種類を示す度合いを算出する。本対象物分別システム１０は、仮撮影画像を変換した基準画像（実施形態の方法で作成した基準画像）または仮基準画像を変換した基準画像（実施形態の方法で作成した基準画像）を利用することができる。ユーザは、どちらかを選択することができる。

【0030】

一方、本実施形態に係る対象物分別システム１０は、識別対象物の種類を示す情報と、所定の廃棄物としての種類を示す情報との対応関係を予め機械学習し、撮影された写真に含まれる対象物が廃棄物としての種類を示す度合いを算出する。対象物の種類の分析方法は限定されておらず、写真内の対象物の特徴を示す情報を抽出して、所定の廃棄物としての種類を示す情報と比較することで、一致しているかどうかを判断してもよい。一例として、対象物分別システム１０は、写真に含まれる対象物の色、材質、形状等情報を予め抽出して値付けて写真データとする。その一方、対象物分別システム１０は、所定の廃棄物としての種類を示す情報を所定の値を付けて所定種類データとする。その後、算出部１０２は、写真データと所定種類データとを比較することで、一定範囲内に入る場合、その対象物は、所定種類との関連性が高いと判断できる。この形によると、廃棄物分別作業を効率化することができる。

【0031】

本発明により、撮影された写真から廃棄物であるか否かを判定することができる。また、本発明は、携帯電話やタブレット端末等の携帯情報端末にも適用可能である。

【0032】

本発明は、写真取得部１０１で撮影された対象物の写真を取得し、学習用画像データと、前記学習用画像データに含まれている対象物の種類を示す情報との対応関係を予め機械学習した学習モデルを介して、前記写真に含まれる対象物が廃棄物としての種類を示す度合いを算出する。この際、色調だけでなく、形状や大きさなどの特徴量も考慮することで、より正確な判定が可能となる。また、異質ごみや粗大ごみなどの特殊な廃棄物についても、適切に識別することができる。このようにして算出された度合いを基に、出力部で対象物を一般ごみや資源ごみなどの種類に分別することができる。

【0033】

本発明による対象物分別システム１０に入力した画像には、例えば、画像等の予め設定された、あるいは、類似画像検索装置によって設定される識別子が付与されており、識別できるようになっていてもよい。

【0034】

本実施形態に係る対象物分別システム１０は、撮影された画像から廃棄物であるか否かを判定することができる。また、任意の画像処理が可能であるため、より正確な判定が可能である。ま代表画像を選択する方法としては、例えば、選択部がグループ化した画像の中で最初に受け付けた画像としてもよいし、グループ化した画像の中の任意の画像としてもよい。

【0035】

本発明による対象物分別システム１０は、学習用画像の外観特徴量と分類テキスト特徴量に基づき出力される可能性が高い分類情報が、学習用画像の分類情報近づくように、全結合層を学習させることにより、マルチモーダルモデルを生成する。このマルチモーダルモデルは、入力画像の外観特徴量と分類テキスト特徴量を入力し、出力された分類情報が入力画像の正しい分類情報に近づくように調整される。そして、このマルチモーダルモデルを用いて、入力画像の正しい分類情報を推定することができる。

【0036】

本発明による対象物分別システム１０は、学習用画像の外観情報を入力させることにより得られるＣＮＮ部の内部状態に基づき出力される可能性の高い分類情報が、学習用画像の分類情報に近づくように、外観特徴抽出モデルのアテンション機構を学習させる。このようにして、本発明に係る画像類似度推定システムは、学習用画像と同じ種類の対象物を含む写真を入力することで、その写真がどの程度学習用画像と似ているかを推定することができる。そして、本発明に係る画像類似度推定システムは、対象物分別システムにおいて使用されることができる。

【0037】

図２に示すように、対象物分別システム１０は、対象物３０の写真を取得した後、その写真に含まれる対象物３０に基づいて所定分類３０１、合致率３０２、評価及びコメント３０３を有するリストを生成してもよい。所定分類３０１の数や定義は特に限定されておらず、ユーザは自分で所定の分類を設定してもよいし、対象物分別システム１０に搭載された分類を使用してもよい。

【0038】

また、本発明に係る対象物分別システム１０は、商品画像から商品領域を抽出し、各商品の画像特徴量を算出して、各商品間の類似度を算出することにより、ユーザが入力した類似画像検索要求に対して、類似度の高い１つ以上の商品を抽出し、ユーザに提示することができる。本発明に係る商品推薦システムは、例えば、インターネット上でのオンラインショッピングサイト等で利用されることが想定される。ユーザが入力した類似画像検索要求は、例えば、ユーザが撮影した写真等である。本発明に係る商品推薦システムは、ユーザが入力した類似画像検索要求に対して、類似度の高い１つ以上の商品を抽出することができるため、ユーザは自分が欲しい商品を探すために必要な時間や労力を大幅に削減することができる。

【0039】

写真取得部１０１も価格検索部１０４も、検索対象画像の特徴量ベクトルの算出は、必ずしも本発明に係る類似画像検索装置で行われる必要はなく、他の装置で算出された検索対象画像の特徴量ベクトルを用いて、類似画像検索を行うことができる。

【0040】

本発明に係る画像検索方法は、画像が同じ特性を有する領域に分割され、分割された領域毎に基準となるテンプレートを用いて領域毎に概略認識としての画素データレベルでのマッチングが行われ、対象物の候補の抽出と対象物の位置検出が行なわれる。そして、対象物の候補から対象物を正確に検出するために、対象物の形状や色彩等の特徴量を用いて、対象物を正確に検出する。このようにして、本発明に係る画像検索方法は、高精度で高速な画像検索が可能である。

【0041】

本実施形態に係る対象物分別システム１０は、画像生成装置はスキャナでなくてもよく、デジタルカメラ、スマートフォン、タブレット端末等の撮像可能なデバイスであってもよい。

【0042】

カメラ機種のような自動的に取得可能な撮影条件の情報は、自動的に取得され基準画像生成モデルの検索に用いるようにしてもよい。また、検査物は食品に限定されず、包装体、工業製品等であってもよい。

【0043】

＜類似画像検索による中古販売価格帯の調査＞
また、本実施形態に係る価格検索部１０４は、商品アイテムデータベースにおいて、同一あるいは類似として対応付けられた組合せ商品アイテムの識別情報と、販売商品アイテムの画像データから抽出した画像の特徴データと、販売商品アイテムの価格及びブランド等の販売情報と、各販売商品の用途情報と、などを属性情報として事前に登録しており、対象物分別システム１０に搭載されたデータベースに記憶されてもよい。そして、ユーザ端末において撮影された画像を商品アイテムデータベースに照合し、照合結果に基づいて、ユーザが撮影した商品アイテムに関連する組合せ商品アイテムを提示する。本実施形態に係る商品アイテムデータベースは、国内のオンラインショップに限定されておらず、海外のオンラインショップ、ＥＣサイト、実店舗の価格を検索してもよい。外国店舗の場合、価格検索部１０４は、その外国価格を日本円に換算してもよい。

【0044】

また、本実施形態に係る対象物分別システム１０は、インターネットＮＷに接続しており、各中古品販売サイトから写真に含まれる対象物と同一又は類似の製品を検索してもよい。同一又は類似の商品が検索される場合、その同一又は類似の商品の写真、価格、セラー等属性情報を合わせて抽出してユーザ端末２０に表示してもよい。価格検索をする際に、中古品を分類する分類器を用いて、類似画像検索を行うこともできる。図４のように、対象物４０を含む写真が対象物分別システム１０に入力された場合、対象物分別システム１０は、その対象物４０に似ている中古品や新品を検索しており、その中古品や新品の写真及び価格等情報を価格リスト４０１として生成してもよい。その場合、価格リスト４０１に含まれる情報は限定されておらず、価格検索部１０４は、その中古品を販売するオンライン店舗のＵＲＬ情報、商品説明等情報を価格リスト４０１に追記してもよい。これらの情報は、カテゴリ情報として対象物分別システム１０に搭載されたデータベースに記憶されてもよい。

【0045】

分類器の生成は、必ずしも本発明に係る類似画像検索装置で行われる必要はなく、他の装置で生成された分類器を用いて、類似画像検索を行うことができる。撮影された対象物の種類を自動的に判別し、適切な処理方法を提供することもできる。

【0046】

カテゴリ情報は、画像特徴量だけではないが、類似画像検索手段において、類似度計算に使用され、色・形状・テクスチャの類似度との加重平均により、比較する画像間の類似度が算出されるものである。カテゴリ情報は、テキスト情報としてデータベースに記憶されてもよい。一例として、対象物分別システム１０は各ＥＣサイトに接続しており、搭載されるデータベースには商品情報が格納されており、記憶部に記憶された情報や、ユーザからの入力情報や検索結果などの情報を格納してもよい。ユーザが自分で検索条件を設定する場合、対象物分別システム１０は条件設定部を備えてもよい。この場合、ユーザが設定した条件に基づいて検索結果を絞り込む。

【0047】

また、本発明は、大カテゴリのID、中カテゴリのID、小カテゴリのIDがアンダースコアで区切られて登録されてもよい。例えば、リサイクルの対象物がピン、弁当ケース、プラスチック包装等日常生活上の必需品である場合、その対象物はありふれたものであるため、大カテゴリのIDを付けてもよい。逆に、リサイクルの対象物がパソコン、タッブレト、コーヒーメーカー等複数の部品を有する貴重品である場合、各部品は材質によりリサイクル方法も異なるため、各部品に小カテゴリのIDを付けてもよい。

【0048】

また、各中古品や新品の価格を取得した後、換算部１０５はその価格を一定の比率に従って所定のポイントに換算してもよい。例えば、価格検索部１０４は、各商品の出品に関する情報を解析し、その価格と等比率の形で対象物に、各中古品や新品の価格と同じの点数を付与してもよい。図４の後半によると、換算部１０５は、その対象物を販売する店名４０２を記入した後に、その店においてその対象物に類似する商品の価格４０３、写真４０４及び点数４０５等情報をリストして生成してもよい。

【0049】

その中で、対象物と類似する中古品や新品を検索する際、学習モデルを利用して結果との確信度を算出してもよい。一例として、学習済みモデルによる判定結果の確信度が９５％以上であれば、写真に含まれる対象物はその中古品や新品との関連性が高く、一致しているものであると判断してその中古品や新品の価格を取得する。９５％未満であれば、写真に含まれる対象物はその中古品や新品との関連性が低く、一致していないものであると判断してその中古品や新品の価格を取得しなくてもよい。

【0050】

＜改ざん防止＞
本実施形態に係る対象物分別システム１０は、Advanced Data Analysisを利用してアップロードした画像にステガノグラフィーで対象物の所有者の個人情報を埋め込んでもよい。ステガノグラフィーとは、情報隠蔽の一つであり、ある情報を他の情報に埋め込む技術である。一例として、本実施形態に係る対象物分別システム１０の生成部１０３は、対象物の所有者の個人情報を読み取る第１識別コードを生成してもよいが、対象物に関する情報を読み取る第２識別コードを生成してもよい。第１識別コードと第２識別コードはＱＲコード（登録商標）に限定されておらず、バーコード等情報識別用コードを含んでもよい。

【0051】

図５によると、本実施形態に係る対象物分別システム１０は、写真に含まれる対象物の解析結果を示す情報リストを生成してもよい。情報リストは、対象物の写真、所有者の個人情報を読み取るための第１識別コード、対象物に関する情報を読み取るための第２識別コードを有してもよい。その中で、所有者の第１識別コードは、所有者の身分を識別できる情報を同時に含んでもよい。その所有者の身分を識別する情報は、所有者が事前に対象物分別システム１０に搭載されたデータベースに入力してもよいが、インターネットから公開された情報を集めてデータベースに記憶されてもよい。ユーザが第１識別コードを読み込む場合、ユーザが第１識別コードを読み込んだ際に提示された画面に、識別用コードを入力することができる。ユーザが入力した識別用コードと、対象物分別システム１０に搭載されたデータベースに記憶されたユーザの身分を識別できる情報と比較することで、完全に一致している場合、そのユーザは対象物の所有者であると判断することができる。一例として、対象物の所有者は学校である場合、学校の方はその対象物の写真を取得する前に、学校コードを事前に対象物分別システム１０に入力してもよい。その対象物のリサイクル情報を生成した後、学校の方は、第１識別コードを読み取り、学校コードを入力することで、身分認証を行うことができる。学校コードが一致している場合、その写真に含まれる対象物の所有者はその学校であると判断してもよい。

【0052】

ユーザが写真に含まれる対象物の所有者であることが判断した後、ユーザが第２識別コードを読み取り、対象物のリサイクル情報を確認してもよい。一例として、ユーザは第２識別コードを読み取った後、商品情報、最適なリサイクル方式の提案、類似画像から中古販売価格を検索し想定ポイント数、学校コード、ＥＸＩＦ情報等がユーザ端末２０に表示されてもよい。

【0053】

＜ＥＸＩＦ編集＞
本実施形態に係る対象物分別システム１０は、他のシステムと連携して写真のメタデータにタグを付与してもよい。一般的に、写真データ等情報をやり取りできる場合、ＥＸＩＦ情報によりその写真データに含まれる情報が流出される可能性が高い。この場合、対象物分別システム１０は、写真の撮影日付、タグ、評価、大きさ、サイズ、タイトル、作成者、撮影場所等ＥＸＩＦ情報をユーザ端末２０に表示され、ユーザはユーザ端末２０において前述の各情報を再編集してもよいが、対象物分別システム１０が前述の各情報を暗号化してもよい。また、ＥＸＩＦ情報の再編集は、ＥＸＩＦ編集ツールを使用してもよい。

【0054】

＜プロセス管理＞
また、本実施形態に係る対象物分別システム１０は、工場による集荷や学校での再利用（アップサイクリング）、リユースのプロセスを可視化するために、ステータスの管理画面と参照用のダッシュボードを生成してもよい。一例として、ある廃棄物は、対象物そのものの情報、捨てる日付、リサイクル業者がその廃棄物を取得する時間、その廃棄物のリサイクル結果等情報をユーザ端末２０に表示されてもよい。ユーザはその廃棄物のリサイクル情報及びリサイクルプロセスをリアルタイムで把握することができる。

【0055】

本発明に係る対象物分別システム１０に関する情報処理装置が学習モデルを生成するための学習処理を行うものとするが、これに限るものではなく、情報処理装置とは異なる装置が学習モデルを生成し、この装置から学習済みの学習モデルの情報を情報処理装置が取得して記憶部の学習モデル記憶部に記憶して異常検出の処理に利用してもよい。

【0056】

本発明に係る写真取得部１０１と価格検索部１０４は、画像取得モジュール、画像表示モジュール、領域分割モジュール、評価値算出モジュール、及び評価モデル決定モジュールを備える。画像取得モジュールは、被評価画像を取得する。画像表示モジュールは、被評価画像を表示する。領域分割モジュールは、被評価画像を領域に分割する。評価値算出モジュールは、各領域の特徴量を算出し、各領域の評価値を算出する。評価モデル決定モジュールは、各領域の評価値から被評価画像全体の評価値を算出する。

【0057】

また、プログラムの実装形態としては、コンパイラによってコンパイルされるオブジェクトコード、インタプリタにより実行されるプログラムコード等のアプリケーションプログラムに限定されることはなく、オペレーティングシステムに組み込まれるプログラムモジュール等の形態であってもよい。コードモジュールは、任意のタイプのコンピュータ可読媒体または他のコンピュータ記憶デバイスに記憶され得る。

【0058】

本実施形態に係る対象物分別システム１０は、撮影された写真から廃棄物であるかどうかを判定し、適切な処理方法を提案することができる。また、機械学習によって精度が向上するため、より正確な分別が可能である。本発明により、撮影された写真から廃棄物の種類を自動的に判定することができる。また、基準データテーブルに基づく再分類の方向性が異なる場合でも、精細な再分類が可能である。

【0059】

＜動作＞
ここからは図６を参照し、本実施形態に係る対象物分別システム１０の作動について説明する。図５に示すように、写真取得部１０１は、対象物の写真を取得した後（Ｓ５０１）、その写真に含まれる物品と所定の種類を示す情報との度合いを算出する（Ｓ５０２）。この場合、ある対象物は複数の合致率が算出されたため、対象物分別システム１０はその合致率に基づいて評価用文章を生成することができる（Ｓ５０３）。その後、価格検索部１０４は、その対象部に似てる商品をインターネットを介して検索しており（Ｓ５０４）、その対象物の価値を算出する。次に、換算部１０５は、対象物の価値に基づいて、その価値に応じて点数を対象物に付与する（Ｓ５０５）。そして、対象部写真、識別コード、コメント文章当情報をリスト化にして出力用情報として生成する（Ｓ５０６）。最後、対象物分別システム１０は、リストされた情報をユーザ端末２０に送信してユーザ端末の表示部に表示する（Ｓ５０７）。

【0060】

本発明に係る対象物分別システム１０は、例えば、パーソナルコンピュータ等を始めとした電子機器で構成されているが、ＰＣ以外に、携帯電話、スマートフォン、タブレット型端末、ウェアラブル端末等、他のあらゆる電子機器で具現化されるものであってもよい。本発明により、撮影された写真から廃棄物であるか否かを判定することができる。また、ユーザ端末２０自体にＡＩエッジデバイスを搭載してもよい。ＡＩエッジデバイスとは、人工知能（ＡＩ）を搭載したＩｏＴ機器のＡＩ部分である。

【0061】

ＣＰＵの機能の一部をＤＳＰ等のプログラムコードで実行される回路で実現するようにしてもよく、ヴェリログによって記述されたプログラム言語に基づいて生成されたゲート回路等のハードウエア構成でもよく、またハードウエア回路によって実現するようにしても良い。

【0062】

プログラムは、予めＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）やフラッシュメモリなどの記憶装置（非一過性の記憶媒体を備える記憶装置）に格納されていてもよいし、ＤＶＤやＣＤ－ＲＯＭなどの着脱可能な記憶媒体（非一過性の記憶媒体）に格納されており、記憶媒体がドライブ装置に装着されることでインストールされてもよい。前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよく、ＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）等のプログラマブルロジックデバイスを用いて実現されるものであってもよい。

【0063】

本実施形態に係る対象物分別システム１０により、撮影された画像から廃棄物であるか否かを判定することができるため、廃棄物のリサイクル作業の効率化が図られる。また、ＬＬＭ等人工知能技術の使用により各対象物に参考となるリサイクルコメントを取得することも可能であるため、より効率的なリサイクル作業も期待できる。

【符号の説明】

【0064】

１０ 対象物分別システム
２０ ユーザ端末
３０ 対象物の例
１０１ 写真取得部
１０２ 算出部
１０３ 生成部
１０４ 価格検索部
１０５ 換算部
１０６ 出力部

【要約】

【課題】
本発明は、対象物分別システムにおいて、新しい種類の対象物でも高い精度で分別することができるようにした対象物分別システムを提供することを目的としている。
【解決手段】
撮像された対象物の写真を取得する写真取得部と、学習用画像データと、前記学習用画像データに含まれている対象物の種類を示す情報との対応関係を予め機械学習した学習モデルを介して、前記写真に含まれる対象物が廃棄物としての種類を示す度合いを算出する算出部と、前記度合いと前記写真と併せて出力する出力部と、を備える。
【選択図】図１

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】