特開 2023-175413 情報処理システムおよび情報処理方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023175413

(43)【公開日】2023-12-12

(54)【発明の名称】情報処理システムおよび情報処理方法

(51)【国際特許分類】

   G06T 7/20 20170101AFI20231205BHJP

   G06Q 50/10 20120101ALI20231205BHJP

【ＦＩ】

G06T7/20 300

G06Q50/10

【審査請求】未請求

【請求項の数】12

【出願形態】ＯＬ

(21)【出願番号】P 2022087843

(22)【出願日】2022-05-30

【国等の委託研究の成果に係る記載事項】（出願人による申告）令和２年度、国立研究開発法人科学技術振興機構、戦略的創造研究推進事業「人の知覚を用いた参加型ＩｏＴセンサ調整基盤の創出」委託研究、産業技術力強化法第１７条の適用を受ける特許出願

(71)【出願人】

【識別番号】504143441

【氏名又は名称】国立大学法人 奈良先端科学技術大学院大学

(74)【代理人】

【識別番号】110000338

【氏名又は名称】弁理士法人 ＨＡＲＡＫＥＮＺＯ ＷＯＲＬＤ ＰＡＴＥＮＴ ＆ ＴＲＡＤＥＭＡＲＫ

(72)【発明者】

【氏名】立花 巧樹

(72)【発明者】

【氏名】中岡 黎

(72)【発明者】

【氏名】宮地 篤士

(72)【発明者】

【氏名】冨田 周作

(72)【発明者】

【氏名】松田 裕貴

(72)【発明者】

【氏名】諏訪 博彦

【テーマコード（参考）】

5L049

5L096

【Ｆターム（参考）】

5L049CC11

5L096CA02

5L096DA02

5L096HA09

5L096HA11

5L096KA04

(57)【要約】

【課題】拾得物の種類をより高精度に特定する。
【解決手段】情報処理システム（１）において、フラグ管理部（１１）は、ユーザ（Ｕ）が携帯可能な清掃器具（８０）に取り付けられたカメラ（９０）が撮像した映像を解析し、（ｉ）ユーザ（Ｕ）が清掃器具（８０）を用いて清掃対象としての拾得物（ＳＴ）の拾得を開始したことを表す拾得開始フラグと、（ｉｉ）ユーザ（Ｕ）が清掃器具（８０）を用いて拾得物（ＳＴ）の拾得を完了したことを表す拾得完了フラグと、を発生させる。フレーム抽出部（１２）は、映像に含まれている複数のフレームの内、（ｉ）拾得開始フラグの発生時点におけるフレームから、（ｉｉ）拾得完了フラグの発生時点におけるフレームまでの、任意の１つのフレームを注目フレームとして抽出する。拾得物特定部（２１）は、注目フレームを解析し、当該注目フレームに映っている拾得物（ＳＴ）の種類を特定する。
【選択図】図１

【特許請求の範囲】

【請求項1】

ユーザが携帯可能な清掃器具に取り付けられたカメラが撮像した映像を解析することにより、（ｉ）上記ユーザが上記清掃器具を用いて清掃対象としての拾得物の拾得を開始したことを表す拾得開始フラグと、（ｉｉ）上記ユーザが上記清掃器具を用いて上記拾得物の拾得を完了したことを表す拾得完了フラグと、を発生させるフラグ管理部と、
上記映像に含まれている複数のフレームの内、（ｉ）上記拾得開始フラグの発生時点におけるフレームから、（ｉｉ）上記拾得完了フラグの発生時点におけるフレームまでの、任意の１つのフレームを注目フレームとして抽出するフレーム抽出部と、
上記注目フレームを解析することにより、上記注目フレームに映っている上記拾得物の種類を特定する拾得物特定部と、を備えている、情報処理システム。

【請求項2】

上記ユーザが上記清掃器具を用いて上記拾得物を拾得する動作は、（ｉ）第１動作と、（ｉｉ）上記第１動作に後続する第２動作と、に区分可能であり、
Ｎ１およびＮ２はそれぞれ、任意に設定可能な自然数であり、
上記フラグ管理部は、
上記映像内において上記第１動作をＮ１回連続して検出した場合に、上記拾得開始フラグを発生させ、
上記拾得開始フラグを発生させた後に、上記映像内において上記第２動作をＮ２回連続して検出した場合に、上記拾得完了フラグを発生させる、請求項１に記載の情報処理システム。

【請求項3】

Ｎ１およびＮ２はいずれも、２以上に設定されている、請求項２に記載の情報処理システム。

【請求項4】

Ｎ１とＮ２とは異なっている、請求項３に記載の情報処理システム。

【請求項5】

Ｎ１およびＮ２はいずれも、１に設定されている、請求項２に記載の情報処理システム。

【請求項6】

上記拾得完了フラグの発生時点における上記ユーザの位置を示す位置情報を取得する位置情報取得部と、
上記拾得完了フラグの発生時点を示す時間情報を取得する時間情報取得部と、をさらに備えており、
上記情報処理システムは、上記拾得物特定部が特定した上記拾得物の種類を示す拾得物情報を、上記位置情報および上記時間情報と対応付けて記憶装置に格納する、請求項１または２に記載の情報処理システム。

【請求項7】

上記記憶装置に格納された上記位置情報に対応する上記拾得物情報がプロットされたマップを描画するマップ描画部をさらに備えている、請求項６に記載の情報処理システム。

【請求項8】

上記マップ描画部は、上記記憶装置に格納された上記位置情報に対応する上記時間情報を、上記マップとともに表示装置に表示させる、請求項７に記載の情報処理システム。

【請求項9】

上記フラグ管理部と上記フレーム抽出部と上記位置情報取得部と上記時間情報取得部とを有する第１情報処理装置を備えており、
上記第１情報処理装置は、上記ユーザが携帯可能な端末装置である、請求項６に記載の情報処理システム。

【請求項10】

上記第１情報処理装置は、上記清掃器具に取り付けられている、請求項９に記載の情報処理システム。

【請求項11】

上記拾得物特定部を有する第２情報処理装置を備えており、
上記第２情報処理装置は、上記第１情報処理装置よりも高い計算リソースを有している、請求項９に記載の情報処理システム。

【請求項12】

ユーザが携帯可能な清掃器具に取り付けられたカメラが撮像した映像を解析することにより、（ｉ）上記ユーザが上記清掃器具を用いて清掃対象としての拾得物の拾得を開始したことを表す拾得開始フラグと、（ｉｉ）上記ユーザが上記清掃器具を用いて上記拾得物の拾得を完了したことを表す拾得完了フラグと、を発生させるフラグ管理ステップと、
上記映像に含まれている複数のフレームの内、（ｉ）上記拾得開始フラグの発生時点におけるフレームから、（ｉｉ）上記拾得完了フラグの発生時点におけるフレームまでの、任意の１つのフレームを注目フレームとして抽出するフレーム抽出ステップと、
上記注目フレームを解析することにより、上記注目フレームに映っている上記拾得物の種類を特定する拾得物特定ステップと、を含んでいる、情報処理方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明の一態様は、携帯可能な清掃器具を用いてユーザが拾得した清掃対象としての拾得物（ごみ）の種類を特定する情報処理システムに関する。

【背景技術】

【0002】

上述の情報処理システムに関して、例えば、本願の発明者らによる下記の先行技術が知られている。

【先行技術文献】

【非特許文献】

【0003】

【非特許文献1】立花巧樹，中岡黎，宮地篤士，冨田周作，松田裕貴，中村優吾，諏訪博彦：“カメラ装着型トングを用いたポイ捨てごみの種別認識手法の提案と評価”，第２８回社会情報システム学シンポジウム（ＩＳＳ２８），ｐｐ．１－６，２０２２年１月

【非特許文献2】立花巧樹，中岡黎，宮地篤士，冨田周作，松田裕貴，中村優吾，諏訪博彦：“センサ装着型トングを用いたポイ捨てごみの種別・位置情報収集システムの提案”，第２９回マルチメディア通信と分散処理ワークショップ論文集，ｐｐ．１９９－２０２，２０２１年１０月

【発明の概要】

【発明が解決しようとする課題】

【0004】

拾得物の種類をより高精度に特定することが、望まれている。

【課題を解決するための手段】

【0005】

上記の課題を解決するために、本発明の一態様に係る情報処理システムは、ユーザが携帯可能な清掃器具に取り付けられたカメラが撮像した映像を解析することにより、（ｉ）上記ユーザが上記清掃器具を用いて清掃対象としての拾得物の拾得を開始したことを表す拾得開始フラグと、（ｉｉ）上記ユーザが上記清掃器具を用いて上記拾得物の拾得を完了したことを表す拾得完了フラグと、を発生させるフラグ管理部と、上記映像に含まれている複数のフレームの内、（ｉ）上記拾得開始フラグの発生時点におけるフレームから、（ｉｉ）上記拾得完了フラグの発生時点におけるフレームまでの、任意の１つのフレームを注目フレームとして抽出するフレーム抽出部と、上記注目フレームを解析することにより、上記注目フレームに映っている上記拾得物の種類を特定する拾得物特定部と、を備えている。

【0006】

また、本発明の一態様に係る情報処理方法は、ユーザが携帯可能な清掃器具に取り付けられたカメラが撮像した映像を解析することにより、（ｉ）上記ユーザが上記清掃器具を用いて清掃対象としての拾得物の拾得を開始したことを表す拾得開始フラグと、（ｉｉ）上記ユーザが上記清掃器具を用いて上記拾得物の拾得を完了したことを表す拾得完了フラグと、を発生させるフラグ管理ステップと、上記映像に含まれている複数のフレームの内、（ｉ）上記拾得開始フラグの発生時点におけるフレームから、（ｉｉ）上記拾得完了フラグの発生時点におけるフレームまでの、任意の１つのフレームを注目フレームとして抽出するフレーム抽出ステップと、上記注目フレームを解析することにより、上記注目フレームに映っている上記拾得物の種類を特定する拾得物特定ステップと、を含んでいる。

【図面の簡単な説明】

【0007】

【図1】実施形態１の情報処理システムの構成を例示するブロック図である。

【図2】図１の情報処理システムと清掃器具とカメラとの関係を概略的に示す図である。

【図3】図１の情報処理システムにおける処理の流れを例示する図である。

【図4】フレーム抽出部によって抽出された注目フレームの様々な例を示す図である。

【図5】マップ描画部が表示装置に表示させる表示画面の一例を示す図である。

【図6】実施形態２の情報処理システムの構成を例示するブロック図である。

【図7】図６の情報処理システムにおける処理の流れを例示する図である。

【発明を実施するための形態】

【0008】

〔実施形態１〕
実施形態１の情報処理システム１について、以下に説明する。説明の便宜上、実施形態１にて説明したコンポーネント（構成要素）と同じ機能を有する各コンポーネントについては、以降の各実施形態では同じ符号を付記し、その説明を繰り返さない。簡潔化のため、公知の技術事項についても説明を適宜省略する。

【0009】

本明細書において述べる各コンポーネントについての説明は、特に矛盾のない限り、いずれも単なる一例である。それゆえ、例えば、特に矛盾のない限り、各コンポーネントの位置関係は、各図の例に限定されない。また、各コンポーネントの図示は、必ずしもスケール通りではない。各コンポーネントの接続態様も、各図の例に限定されない。したがって、例えば、有線接続として例示されている接続は、無線接続に置き換えられてよい。逆も然りである。

【0010】

（情報処理システム１の構成）
図１は、情報処理システム１の構成を例示するブロック図である。情報処理システム１は、第１情報処理装置１０と第２情報処理装置２０とを有していてよい。第１情報処理装置１０と第２情報処理装置２０とは、互いに通信可能に接続されていればよい。

【0011】

図１に示す通り、第１情報処理装置１０は、フラグ管理部１１とフレーム抽出部１２と位置情報取得部１３と時間情報取得部１４とを有していてよい。第２情報処理装置２０は、拾得物特定部２１とマップ描画部２２と記憶部２９を有していてよい。記憶部２９は、本発明の一態様に係る記憶装置の一例である。ただし、本発明の一態様に係る記憶装置は、情報処理システム１の外部の装置であってもよい。記憶装置は、情報処理システム１と通信可能に接続されていればよい。

【0012】

第１情報処理装置１０は、ユーザＵが携帯可能な清掃器具８０に取り付けられたカメラ９０と通信可能に接続されていてよい。これにより、第１情報処理装置１０は、カメラ９０が撮像した映像（例：映像ストリーム）を取得できる。カメラ９０は、映像を撮像可能な任意の撮像装置であってよい。

【0013】

図２は、情報処理システム１と清掃器具８０とカメラ９０との関係を概略的に示す図である。実施形態１では、清掃器具８０がトングであり、かつ、第１情報処理装置１０がスマートフォンである場合を例示する。当該スマートフォンは、ユーザＵが携帯可能な端末装置の一例である。

【0014】

したがって、例えば図２に示す通り、ユーザＵは、（ｉ）片方の手に清掃器具８０を、（ｉｉ）もう片方の手に第１情報処理装置１０を、それぞれ把持できる。別の例として、ユーザＵは、例えば自身の衣服のポケット内に第１情報処理装置１０を収納することにより、第１情報処理装置１０を携帯してもよい。

【0015】

図２の例では、第１情報処理装置１０とカメラ９０とは有線接続されている。その一方、第１情報処理装置１０と第２情報処理装置２０とは、通信ネットワークを介して無線接続されている。実施形態１では、第２情報処理装置２０がサーバ装置（例：クラウドサーバ）である場合を例示する。当該サーバ装置は、第１情報処理装置１０（例：スマートフォン）よりも高い計算リソースを有する装置の一例である。

【0016】

ユーザＵは、清掃器具８０を用いて、清掃対象としての拾得物ＳＴを拾得する。図２では、拾得物ＳＴの一例としてタバコが図示されている。本発明の一態様では、例えば、以下に述べる拾得動作が行われる時間範囲の全体に亘り、拾得物ＳＴがカメラ９０の画角内に含まれるように、カメラ９０が清掃器具８０に取り付けられていればよい。そこで、図２の例では、トングの先端部がカメラ９０の画角内に常に含まれるように、カメラ９０が当該トングに取り付けられている。

【0017】

本明細書では、ユーザＵが清掃器具８０を用いて拾得物ＳＴを拾得する一連の動作を、総称的に拾得動作と称する。実施形態１では、拾得動作が、（ｉ）第１動作と、（ｉｉ）当該第１動作に後続する第２動作と、に区分可能である場合を例示する。第１動作は、第２動作の予備動作であると理解されてよい。第１動作および第２動作はそれぞれ、前段動作および後段動作と称されてもよい。

【0018】

一例として、ユーザＵが屋外での清掃活動を行う場合には、「トングを用いて拾得物ＳＴを掴む」→「（続いて、掴んだ拾得物ＳＴをゴミ袋の内部に投入するために）拾得物ＳＴをリリースする（手放す）」という一連の動作がなされる。そこで、実施形態１では、（ｉ）第１動作が「清掃器具８０を用いて拾得物ＳＴを掴む動作」であり、かつ、（ｉｉ）第２動作が「清掃器具８０を用いて拾得物ＳＴをリリースする動作」である場合を例示する。

【0019】

実施形態１の例では、第１情報処理装置１０（例：フラグ管理部１１）は、カメラ９０が撮像した映像（より具体的には、当該映像を構成する各フレーム）を解析することにより、当該映像内における第１動作および第２動作をそれぞれ検出できるように構成されている。したがって、例えば、フラグ管理部１１は、第１動作および第２動作をそれぞれ検出できるように構築された学習済モデル（動作検出モデル）を含んでいてよい。

【0020】

そして、実施形態１の例では、第２情報処理装置２０（例：拾得物特定部２１）は、画像（例：後述する注目フレーム）を解析することにより、当該画像に映っている拾得物ＳＴの種類（カテゴリ）を特定（識別）できるように構成されている。したがって、例えば、拾得物特定部２１は、拾得物ＳＴの種類を特定できるように構築された学習済モデル（拾得物特定モデル）を含んでいてよい。

【0021】

動作検出モデルおよび拾得物特定モデルはそれぞれ、任意の機械学習アルゴリズムを用いて構築されてよい。一例として、動作検出モデルおよび拾得物特定モデルの少なくとも一方は、非深層学習モデル（比較的シンプルなモデル）として構築されてよい。例えば、非深層学習モデルは、画像を解析することによって予め抽出された特徴量（画像特徴量）を、入力として受け付けてよい。

【0022】

非深層学習モデルを構築するためのアルゴリズムは、例えば、ＤＴ（Decision Tree，決定木）系のアルゴリズムであってよい。ＤＴ系のアルゴリズムの例としては、ＬｉｇｈｔＧＢＭ（Light Gradient Boosting Machine）、ＸＧＢｏｏｓｔ（eXtreme Gradient Boosting）、およびＲＦ（Random Forest，ランダムフォレスト）を挙げることができる。非深層学習モデルを構築するためのアルゴリズムの別の例としては、ＳＶＭ（Support Vector Machine，サポートベクターマシン）またはＮＮ（Neural Network，ニューラルネットワーク）を挙げることができる。

【0023】

別の例として、動作検出モデルおよび拾得物特定モデルの少なくとも一方は、深層学習モデル（より複雑なモデル）として構築されてもよい。深層学習モデルは、任意の深層学習アルゴリズムによって構築されてよい。深層学習アルゴリズムの例としては、ＤＮＮ（Deep NN）、ＣＮＮ（Convolutional NN）、およびＡＥ（Auto-Encoder）を挙げることができる。深層学習モデルによれば、非深層学習モデルに比べて高精度な予測（推論）を行うことができる。深層学習モデルは、画像データ自体を入力として受け付けることもできる。

【0024】

なお、当業者であれば明らかである通り、機械学習アルゴリズムに依らずに各モデルを構築することも可能である。したがって、例えば、公知のルールベースアルゴリズムに基づき、第１動作および第２動作が検出されてもよいし、拾得物ＳＴの種類が特定されてもよい。ただし、各モデルの予測精度向上の観点からは、機械学習アルゴリズムによって各モデルを構築することが好ましい。

【0025】

（情報処理システム１における処理の流れの一例）
図３は、情報処理システム１における処理の流れを例示する。図３の例において、Ｓ１～Ｓ９は第１情報処理装置１０における処理であり、Ｓ１０～Ｓ１２は第２情報処理装置２０における処理である。

【0026】

Ｓ１において、第１情報処理装置１０は、カメラ９０から映像を取得する。Ｓ２において、フラグ管理部１１は、映像を解析し、当該映像内において第１動作を検出したか否かを判定する。フラグ管理部１１が第１動作を検出した場合（Ｓ２においてＹＥＳ）、Ｓ３に進む。他方、フラグ管理部１１が第１動作を検出しなかった場合（Ｓ２においてＮＯ）、Ｓ２に戻る。このように、フラグ管理部１１が第１動作を検出するまで、Ｓ２が繰り返される。

【0027】

Ｓ３では、フラグ管理部１１は、Ｓ２において第１動作が検出されたことを契機として、第１動作が完了したことを表すフラグ（第１動作完了フラグ）を発生させる。実施形態１における第１動作完了フラグは、ユーザＵが清掃器具８０を用いて拾得物ＳＴの拾得を開始したことを表すフラグ（拾得開始フラグ）の一例である。フラグ管理部１１は、第１動作完了フラグの発生時点を、第１時点として特定する。第１時点は、拾得開始フラグの発生時点と言い換えることができる。

【0028】

続いて、Ｓ４において、フラグ管理部１１は、映像を解析し、当該映像内において第２動作を検出したか否かを判定する。フラグ管理部１１が第２動作を検出した場合（Ｓ４においてＹＥＳ）、Ｓ５に進む。他方、フラグ管理部１１が第２動作を検出しなかった場合（Ｓ４においてＮＯ）、Ｓ４に戻る。このように、フラグ管理部１１が第２動作を検出するまで、Ｓ４が繰り返される。

【0029】

Ｓ５では、フラグ管理部１１は、Ｓ４において第２動作が検出されたことを契機として、第２動作が完了したことを表すフラグ（第２動作完了フラグ）を発生させる。実施形態１における第２動作完了フラグは、ユーザＵが清掃器具８０を用いて拾得物ＳＴの拾得を完了したことを表すフラグ（拾得完了フラグ）の一例である。フラグ管理部１１は、第２動作完了フラグの発生時点を、第２時点として特定する。第２時点は、拾得完了フラグの発生時点と言い換えることができる。

【0030】

続いて、Ｓ６において、フレーム抽出部１２は、映像に含まれている複数のフレームの内、（ｉ）第１時点における当該映像のフレーム（便宜上、初期フレームと称する）から、（ｉｉ）第２時点における当該映像のフレーム（便宜上、終端フレームと称する）までの、任意の１つのフレームを注目フレームとして抽出する。

【0031】

例えば、フレーム抽出部１２は、終端フレームを注目フレームとして抽出してよい。別の例として、フレーム抽出部１２は、初期フレームを注目フレームとして抽出してよい。さらに別の例として、フレーム抽出部１２は、第１時点と第２時点との中間時点におけるフレーム（便宜上、中間フレームと称する）を、注目フレームとして抽出してもよい。

【0032】

そして、Ｓ７において、位置情報取得部１３は、第２時点におけるユーザＵの位置（より具体的には、地理的位置）を示す位置情報を取得する。一例として、位置情報取得部１３は、第１情報処理装置１０が有する不図示の測位デバイスから当該位置情報を取得してよい。当該測位デバイスは、例えばＧＰＳ（Global Positioning System）デバイスであってよい。

【0033】

別の例として、清掃器具８０に測位デバイスが取り付けられていてもよい。この場合、位置情報取得部１３は、清掃器具８０に取り付けられた測位デバイスから位置情報を取得してよい。

【0034】

時間情報取得部１４は、第２時点を示す時間情報を取得する。例えば、時間情報取得部１４は、フラグ管理部１１から当該時間情報を取得してよい。なお、当業者であれば明らかである通り、本発明の一態様では、Ｓ６に先立ちＳ７が実行されてもよい。

【0035】

続いて、Ｓ８において、第１情報処理装置１０は、第２情報処理装置２０に各データ（例：注目フレーム、位置情報、および時間情報）を送信する。そして、Ｓ９では、第２情報処理装置２０は、第１情報処理装置１０から送信された当該各データを受信する。

【0036】

Ｓ１０において、拾得物特定部２１は、注目フレームを解析し、当該注目フレームに映っている拾得物ＳＴの種類を特定する。拾得物特定部２１は、特定した拾得物ＳＴの種類を示す拾得物情報を生成する。

【0037】

Ｓ１１において、第２情報処理装置２０は、Ｓ１０において生成された拾得物情報を、位置情報および時間情報と対応付けて、記憶部２９に格納する。例えば、第２情報処理装置２０は、記憶部２９内のデータベースＤＢに、拾得物情報を位置情報および時間情報と対応付けて保存してよい。図３の処理の流れによれば、拾得物情報が新たに生成されるごとに、データベースＤＢを更新できる。

【0038】

（情報処理システム１の効果）
以下では、拾得物特定部２１による拾得物ＳＴの識別カテゴリとして、「缶」、「ペットボトル」、「タバコ」、「紙類」、「プラスチック製包装袋」の５つのカテゴリが設定されている場合を例示する。そこで、以下の例における拾得物特定部２１は、上記５つのカテゴリの物体識別を行うことが可能な拾得物特定モデルを含んでいるものとする。

【0039】

図４は、フレーム抽出部１２によって抽出された注目フレームの様々な例を示す。図４の例において、
・ＩＭＧ１：拾得物ＳＴとして缶が拾得された場合の注目フレーム；
・ＩＭＧ２：拾得物ＳＴとしてペットボトルが拾得された場合の注目フレーム；
・ＩＭＧ３：拾得物ＳＴとしてタバコが拾得された場合の注目フレーム；
・ＩＭＧ４：拾得物ＳＴとして紙類が拾得された場合の注目フレーム；
・ＩＭＧ５：拾得物ＳＴとしてプラスチック製包装袋が拾得された場合の注目フレーム；
である。

【0040】

第１時点および第２時点についての上述の各説明から明らかである通り、フレーム抽出部１２によれば、拾得物ＳＴが鮮明かつ大きいサイズで映り込んでいる蓋然性が高いと期待できるフレームを、注目フレームとして抽出できる（例えば、図４のＩＭＧ１～ＩＭＧ５を参照）。そして、拾得物特定部２１に、当該注目フレームに映っている拾得物ＳＴの種類を特定させることができる。

【0041】

このように、情報処理システム１では、先行技術とは異なり、拾得完了フラグの発生を契機として抽出された注目フレームに対してのみ、拾得物特定部２１に画像識別を行わせることができる。言い換えれば、情報処理システム１では、先行技術とは異なり、カメラ９０によって撮像された映像（より具体的には、映像の各フレーム）に対して、拾得物特定部２１に画像識別を行わせることが不要となる。

【0042】

以上の通り、情報処理システム１によれば、画像識別の対象として好ましくないフレーム（例：拾得物ＳＴがそもそも映っていないフレーム、映っている拾得物ＳＴが不鮮明なフレーム、または、映っている拾得物ＳＴのサイズが小さいフレームなど）を予め排除した上で、拾得物特定部２１に画像識別を行わせることができる。その結果、従来よりも高精度に拾得物ＳＴの種類を特定することが可能となる。

【0043】

（位置情報を示すマップの例）
マップ描画部２２は、記憶部２９に格納された位置情報（例：データベースＤＢに記録されている位置情報）に対応する拾得物情報がプロットされたマップを描画してよい。例えば、マップ描画部２２は、上記位置情報に対応する位置に拾得物情報がプロットされたマップを描画してよい。そして、マップ描画部２２は、当該マップを表示装置に表示させてよい。一例として、表示装置は、図２におけるスマートフォン（第１情報処理装置１０）であってよい。別の例として、表示装置は、情報処理システム１の外部の装置であってもよい。表示装置は、情報処理システム１と通信可能に接続されていればよい。

【0044】

マップ描画部２２は、記憶部２９に格納された位置情報に対応する時間情報を、マップとともに表示装置に表示させてもよい。図５は、マップ描画部２２が表示装置に表示させる表示画面の一例である。図５の例におけるプロット点ＰＸの位置情報は、ペットボトルを示す拾得物情報に対応している。

【0045】

図５に示す通り、マップ描画部２２は、上記位置情報に対応する注目フレームを表示装置にさらに表示させてもよい。マップ描画部２２は、上記位置情報に対応するユーザＩＤを表示装置にさらに表示させてもよい。ユーザＩＤは、第１情報処理装置１０に対応付けて予め設定されていてよい。マップ描画部２２は、プロット点の総数を表示装置にさらに表示させてもよい（図５の「現在のデータ件数」という項目を参照）。

【0046】

マップ描画部２２は、拾得物の種類および拾得位置の少なくともいずれかに応じて設定された重み係数によって各拾得物の個数を重み付けすることにより、各拾得物の取得成果を表すポイント（スコア）を算出してよい。一例として、「缶」には１個あたり２ポイントの重み係数が、「タバコ」には１個あたり４ポイントの重み係数が設定されてよい。この場合、マップ描画部２２は、各拾得物についてのポイントの合計値を、表示装置にさらに表示させてもよい。

【0047】

より広範囲に亘る位置情報をより多くのユーザから収集する観点からは、第１情報処理装置１０は、各ユーザが携帯可能な端末装置（携帯端末）であることが好ましい。このため、上述の図２では、第１情報処理装置１０がスマートフォンである場合が例示されている。第１情報処理装置１０としての携帯端末を複数のユーザのそれぞれに使用させることにより、豊富な位置情報（および関連する各データ）を、各ユーザから低コストで収集できる。

【0048】

ただし、第１情報処理装置１０が携帯端末である場合、第１情報処理装置１０はそれほど高い計算リソースを有していないことも考えられる。このため、例えば、第１情報処理装置１０が携帯端末である場合、第１情報処理装置１０は、動作検出モデルとして非深層学習モデルを含んでいてよい。

【0049】

その一方、拾得物ＳＴの識別精度を向上させる観点からは、第２情報処理装置２０は、拾得物特定モデルとして深層学習モデルを含んでいることが好ましい。このため、第２情報処理装置２０は、例えば第１情報処理装置１０よりも高い計算リソースを有していることが好ましい。このため、上述の図２では、第２情報処理装置２０がサーバ装置である場合が例示されている。

【0050】

情報処理システム１によれば、例えば、ごみの適切な分別収集を促進できるので、当該ごみの適切なリサイクルにも有益である。加えて、情報処理システム１によれば、例えば野生動物がプラスチックごみを誤食するリスクを低減することもできるので、動物福祉および自然環境保護にも有益である。このように、情報処理システム１は、例えば、国連が提唱する持続可能な開発目標（ＳＤＧｓ）にも貢献する。

【0051】

〔実施形態２〕
図６は、実施形態２における情報処理システム１Ｕの構成を例示するブロック図である。図６に示す通り、実施形態２における第１情報処理装置を、第１情報処理装置１０Ｕと称する。そして、実施形態２におけるフラグ管理部を、フラグ管理部１１Ｕと称する。

【0052】

図７は、情報処理システム１Ｕにおける処理の流れを例示する。図７の例において、Ｓ２１～Ｓ３４は第１情報処理装置１０Ｕにおける処理であり、Ｓ３５～Ｓ３７は第２情報処理装置２０における処理である。以下では、実施形態１の例との相違点に関する処理についてのみ述べる。

【0053】

第１情報処理装置１０Ｕでは、Ｎ１およびＮ２が予め設定されている。Ｎ１およびＮ２はそれぞれ、以下に述べるＣ１（第１カウント値）およびＣ２（第２カウント値）に対する閾値である。Ｃ１およびＣ２の初期値は、０に設定されている。

【0054】

Ｎ１およびＮ２はそれぞれ、任意に設定可能な自然数であればよい。実施形態２では、Ｎ１およびＮ２がいずれも２以上に設定されている場合を例示する。一例として、実施形態２では、Ｎ１＝Ｎ２＝１０として設定されていてよい。

【0055】

Ｓ２１（Ｓ１と同様）の後、Ｓ２２において、フラグ管理部１１Ｕは、映像を解析し、当該映像内において第１動作を検出したか否かを判定する。フラグ管理部１１Ｕが第１動作を検出した場合（Ｓ２２においてＹＥＳ）、Ｓ２３に進む。Ｓ２３において、フラグ管理部１１Ｕは、Ｃ１を１だけカウントアップ（インクリメント）し、Ｃ１を更新する。そして、Ｓ２５に進む。

【0056】

他方、フラグ管理部１１が第１動作を検出しなかった場合（Ｓ２２においてＮＯ）、Ｓ２４に進む。Ｓ２４において、フラグ管理部１１Ｕは、Ｃ１を０に設定する。すなわち、フラグ管理部１１Ｕは、Ｃ１を初期値にリセットする。そして、Ｓ２２に戻る。

【0057】

Ｓ２５において、フラグ管理部１１Ｕは、Ｃ１≧Ｎ１であるか否かを判定する。言い換えれば、フラグ管理部１１Ｕは、Ｃ１がＮ１に達したか否かを判定する。Ｃ１がＮ１に達した場合（Ｓ２５においてＹＥＳ）、Ｓ２６に進む。他方、Ｃ１がＮ１に達していない場合（Ｓ２５においてＮＯ）、Ｓ２２に戻る。

【0058】

Ｃ１がＮ１に達したことは、フラグ管理部１１Ｕが、映像内において第１動作をＮ１回連続して検出したことを意味する。このように、実施形態２では、第１動作をＮ１回連続して検出するまで、第１動作を検出する処理が繰り返される。

【0059】

Ｓ２６では、フラグ管理部１１Ｕは、Ｃ１がＮ１に達したことを契機として、第１動作完了フラグを発生させる。実施形態２における第１動作完了フラグは、拾得開始フラグの別の例である。フラグ管理部１１Ｕは、Ｃ１がＮ１に達した時点（言い換えれば、第１動作をＮ１回連続して検出した時点）を、第１時点として特定する。

【0060】

続いて、Ｓ２７において、フラグ管理部１１Ｕは、映像を解析し、当該映像内において第２動作を検出したか否かを判定する。フラグ管理部１１Ｕが第２動作を検出した場合（Ｓ２７においてＹＥＳ）、Ｓ２８に進む。Ｓ２８において、フラグ管理部１１Ｕは、Ｃ２を１だけカウントアップし、Ｃ２を更新する。そして、Ｓ３０に進む。

【0061】

他方、フラグ管理部１１Ｕが第２動作を検出しなかった場合（Ｓ２７においてＮＯ）、Ｓ２９に進む。Ｓ２９において、フラグ管理部１１Ｕは、Ｃ２を０に設定する。すなわち、フラグ管理部１１Ｕは、Ｃ２を初期値にリセットする。そして、Ｓ２７に戻る。

【0062】

Ｓ３０において、フラグ管理部１１Ｕは、Ｃ２≧Ｎ２であるか否かを判定する。言い換えれば、フラグ管理部１１Ｕは、Ｃ２がＮ２に達したか否かを判定する。Ｃ２がＮ２に達した場合（Ｓ３０においてＹＥＳ）、Ｓ３１に進む。他方、Ｃ２がＮ２に達していない場合（Ｓ３０においてＮＯ）、Ｓ２７に戻る。

【0063】

Ｃ２がＮ２に達したことは、フラグ管理部１１Ｕが、映像内において第２動作をＮ２回連続して検出したことを意味する。このように、実施形態２では、第２動作をＮ２回連続して検出するまで、第２動作を検出する処理が繰り返される。

【0064】

Ｓ３１では、フラグ管理部１１は、Ｃ２がＮ２に達したことを契機として、第２動作完了フラグを発生させる。実施形態２における第２動作完了フラグは、拾得完了フラグの別の例である。フラグ管理部１１Ｕは、Ｃ２がＮ２に達した時点（言い換えれば、第２動作をＮ２回連続して検出した時点）を、第２時点として特定する。Ｓ３２以降の処理については、実施形態１と同様である。

【0065】

以上の処理の流れによれば、映像内において、第１動作をＮ１回連続して検出した後に、第２動作をＮ２回連続して検出した場合に、拾得完了フラグを発生させるよう、フラグ管理部１１Ｕを動作させることができる。

【0066】

（情報処理システム１Ｕの効果）
映像に映っている人の所定の動作を検出するタスクは、比較的難しいことが知られている。このため、当該動作を高精度に検出することは、必ずしも容易ではない。したがって、例えば、ユーザＵが実際には当該動作を行なっていないにもかかわらず、映像内において当該動作が誤って検出されることもありうる（偽陽性検出）。

【0067】

そこで、拾得動作の完了をより高い信頼性で検出する観点からは、Ｎ１およびＮ２を２以上に設定することが好ましい。このようにＮ１およびＮ２を設定することにより、第１動作および第２動作のそれぞれの偽陽性検出リスクを低減した上で、拾得動作の完了を検出できる。

【0068】

なお、Ｎ１およびＮ２を２以上に設定する場合、Ｎ１とＮ２とは異なる値に設定されてもよい。一例として、第１動作の偽陽性検出リスクが、第２動作の偽陽性検出リスクよりも高いと考えられる場合には、Ｎ１はＮ２よりも大きい値に設定されてよい。別の例として、第１動作の偽陽性検出リスクが、第２動作の偽陽性検出リスクよりも低いと考えられる場合には、Ｎ１はＮ２よりも小さい値に設定されてよい。

【0069】

（補足）
図７の例において、Ｎ１＝Ｎ２＝１として設定されてもよい。実施形態１の図３における処理の流れは、図７の例においてＮ１＝Ｎ２＝１として設定されている場合に相当する。Ｎ１＝Ｎ２＝１と設定されている場合、Ｎ１およびＮ２がいずれも２以上に設定されている場合に比べて、短時間で拾得動作の完了を検出できる。

【0070】

〔変形例〕
（１）本発明の一態様に係る情報処理システムは、単一の情報処理装置によって実現されてもよい。例えば、豊富な計算リソースを有する携帯端末を第１情報処理装置として用いた場合、当該第１情報処理装置に拾得物特定部を設けることもできる。したがって、例えば、本発明の一態様に係る情報処理システムは、携帯端末としての第１情報処理装置によって実現されてもよい。

【0071】

（２）当業者であれば明らかである通り、本発明の一態様に係る清掃器具は、ユーザが携帯可能であり、かつ、カメラを取りつけることが可能な器具であればよい。したがって、本発明の一態様に係る清掃器具は、任意のハンドツールであってよい。トング以外の清掃器具の例としては、ダストパン、スクレーパ、粘着部材付きのハンドツール、および掃除機などを挙げることができる。

【0072】

したがって、本明細書における「拾得」という動作は、本発明の一態様に係る清掃器具を用いたユーザによるごみの清掃活動に関連する任意の動作を含むものとして解釈されてよい。このため、例えば、「拾い上げる」、「掬う」、「剥がす」、「吸着する」、および「吸引する」などの動作はいずれも、「拾得」の範疇に含まれる。「拾得」の意味合いは、清掃器具のタイプに応じて解釈されてよい。

【0073】

（３）本発明の一態様に係る第１情報処理装置は、清掃器具に取り付けられていてもよい。当該第１情報処理装置も、ユーザが携帯可能な端末装置の範疇に含まれる。一例として、当該第１情報処理装置は、清掃器具に取り付け可能な小型の演算装置であってよい。当該演算装置の例としては、マイクロプロセッサ、マイクロコンピュータ、およびマイクロコントローラなどを挙げることができる。

【0074】

当該演算装置は、例えば、カメラの近傍に取り付けられてよい。当該演算装置は、第２情報処理装置と通信可能であってよい。当該演算装置は、測位デバイスをさらに有していてもよい。あるいは、当該演算装置は、清掃器具に取り付けられた測位デバイスと通信可能に接続されていてもよい。

【0075】

別の例として、第１情報処理装置は、カメラと上記演算装置とを有するモジュール（カメラ一体化モジュール）であってもよい。この場合、カメラ一体化モジュールが、清掃器具に取り付けられていればよい。

【0076】

〔ソフトウェアによる実現例〕
情報処理システム１・１Ｕ（以下では、便宜上「装置」と呼ぶ）の機能は、当該装置としてコンピュータを機能させるためのプログラムであって、当該装置の各制御ブロック（特に、第１情報処理装置１０・１０Ｕおよび第２情報処理装置２０に含まれる各制御ブロック）としてコンピュータを機能させるためのプログラムにより実現することができる。

【0077】

この場合、上記装置は、上記プログラムを実行するためのハードウェアとして、少なくとも１つの制御装置（例えばプロセッサ）と少なくとも１つの記憶装置（例えばメモリ）を有するコンピュータを備えている。この制御装置と記憶装置により上記プログラムを実行することにより、上記各実施形態で説明した各機能が実現される。

【0078】

上記プログラムは、一時的ではなく、コンピュータ読み取り可能な、１または複数の記録媒体に記録されていてもよい。この記録媒体は、上記装置が備えていてもよいし、備えていなくてもよい。後者の場合、上記プログラムは、有線または無線の任意の伝送媒体を介して上記装置に供給されてもよい。

【0079】

また、上記各制御ブロックの機能の一部または全部は、論理回路により実現することも可能である。例えば、上記各制御ブロックとして機能する論理回路が形成された集積回路も本発明の範疇に含まれる。この他にも、例えば量子コンピュータにより上記各制御ブロックの機能を実現することも可能である。

【0080】

加えて、上記各実施形態における説明から明らかである通り、上記各実施形態で説明した各処理は、ＡＩ（Artificial Intelligence：人工知能）に実行させてもよい。この場合、ＡＩは上記制御装置で動作するものであってもよいし、他の装置（例えばエッジコンピュータまたはクラウドサーバ等）で動作するものであってもよい。

【0081】

〔まとめ〕
本発明の態様１に係る情報処理システムは、ユーザが携帯可能な清掃器具に取り付けられたカメラが撮像した映像を解析することにより、（ｉ）上記ユーザが上記清掃器具を用いて清掃対象としての拾得物の拾得を開始したことを表す拾得開始フラグと、（ｉｉ）上記ユーザが上記清掃器具を用いて上記拾得物の拾得を完了したことを表す拾得完了フラグと、を発生させるフラグ管理部と、上記映像に含まれている複数のフレームの内、（ｉ）上記拾得開始フラグの発生時点におけるフレームから、（ｉｉ）上記拾得完了フラグの発生時点におけるフレームまでの、任意の１つのフレームを注目フレームとして抽出するフレーム抽出部と、上記注目フレームを解析することにより、上記注目フレームに映っている上記拾得物の種類を特定する拾得物特定部と、を備えている。

【0082】

本発明の態様２に係る情報処理システムでは、上記態様１において、上記ユーザが上記清掃器具を用いて上記拾得物を拾得する動作は、（ｉ）第１動作と、（ｉｉ）上記第１動作に後続する第２動作と、に区分可能であり、Ｎ１およびＮ２はそれぞれ、任意に設定可能な自然数であり、上記フラグ管理部は、上記映像内において上記第１動作をＮ１回連続して検出した場合に、上記拾得開始フラグを発生させ、上記拾得開始フラグを発生させた後に、上記映像内において上記第２動作をＮ２回連続して検出した場合に、上記拾得完了フラグを発生させてよい。

【0083】

本発明の態様３に係る情報処理システムでは、上記態様２において、Ｎ１およびＮ２はいずれも、２以上に設定されていてよい。

【0084】

本発明の態様４に係る情報処理システムでは、上記態様３において、Ｎ１とＮ２とは異なっていてもよい。

【0085】

本発明の態様５に係る情報処理システムでは、上記態様４において、Ｎ１およびＮ２はいずれも、１に設定されていてよい。

【0086】

本発明の態様６に係る情報処理システムは、上記態様１から５のいずれか１つにおいて、上記拾得完了フラグの発生時点における上記ユーザの位置を示す位置情報を取得する位置情報取得部と、上記拾得完了フラグの発生時点を示す時間情報を取得する時間情報取得部と、をさらに備えており、上記情報処理システムは、上記拾得物特定部が特定した上記拾得物の種類を示す拾得物情報を、上記位置情報および上記時間情報と対応付けて記憶装置に格納してよい。

【0087】

本発明の態様７に係る情報処理システムは、上記態様６において、上記記憶装置に格納された上記位置情報に対応する上記拾得物情報がプロットされたマップを描画するマップ描画部をさらに備えていてよい。

【0088】

本発明の態様８に係る情報処理システムでは、上記態様７において、上記マップ描画部は、上記記憶装置に格納された上記位置情報に対応する上記時間情報を、上記マップとともに表示装置に表示させてよい。

【0089】

本発明の態様９に係る情報処理システムは、上記態様６から８のいずれか１つにおいて上記フラグ管理部と上記フレーム抽出部と上記位置情報取得部と上記時間情報取得部とを有する第１情報処理装置を備えており、上記第１情報処理装置は、上記ユーザが携帯可能な端末装置であってよい。

【0090】

本発明の態様１０に係る情報処理システムでは、上記態様９において、上記第１情報処理装置は、上記清掃器具に取り付けられていてよい。

【0091】

本発明の態様１１に係る情報処理システムは、上記態様９または１０において、上記拾得物特定部を有する第２情報処理装置を備えており、上記第２情報処理装置は、上記第１情報処理装置よりも高い計算リソースを有していてよい。

【0092】

本発明の態様１２に係る情報処理方法は、ユーザが携帯可能な清掃器具に取り付けられたカメラが撮像した映像を解析することにより、（ｉ）上記ユーザが上記清掃器具を用いて清掃対象としての拾得物の拾得を開始したことを表す拾得開始フラグと、（ｉｉ）上記ユーザが上記清掃器具を用いて上記拾得物の拾得を完了したことを表す拾得完了フラグと、を発生させるフラグ管理ステップと、上記映像に含まれている複数のフレームの内、（ｉ）上記拾得開始フラグの発生時点におけるフレームから、（ｉｉ）上記拾得完了フラグの発生時点におけるフレームまでの、任意の１つのフレームを注目フレームとして抽出するフレーム抽出ステップと、上記注目フレームを解析することにより、上記注目フレームに映っている上記拾得物の種類を特定する拾得物特定ステップと、を含んでいる。

【0093】

〔付記事項〕
本発明の一態様は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても、本発明の一態様の技術的範囲に含まれる。

【符号の説明】

【0094】

１、１Ｕ 情報処理システム
１０、１０Ｕ 第１情報処理装置（端末装置，表示装置）
１１、１１Ｕ フラグ管理部
１２ フレーム抽出部
１３ 位置情報取得部
１４ 時間情報取得部
２０ 第２情報処理装置（第１情報処理装置よりも高い計算リソースを有する装置）
２１ 拾得物特定部
２２ マップ描画部
２９ 記憶部（記憶装置）
８０ 清掃器具
９０ カメラ
Ｕ ユーザ
ＳＴ 拾得物（清掃対象）
ＩＭＧ１～ＩＭＧ５ 注目フレーム

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】