特許 7490347 片付け支援装置、片付け支援プログラム及び片付け支援方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-05-17

(45)【発行日】2024-05-27

(54)【発明の名称】片付け支援装置、片付け支援プログラム及び片付け支援方法

(51)【国際特許分類】

   G06Q 50/10 20120101AFI20240520BHJP

【ＦＩ】

G06Q50/10

【請求項の数】 16

(21)【出願番号】P 2019172004

(22)【出願日】2019-09-20

(65)【公開番号】P2021051346

(43)【公開日】2021-04-01

【審査請求日】2022-06-17

(73)【特許権者】

【識別番号】303046244

【氏名又は名称】旭化成ホームズ株式会社

(74)【代理人】

【識別番号】100106909

【弁理士】

【氏名又は名称】棚井 澄雄

(74)【代理人】

【識別番号】100149548

【弁理士】

【氏名又は名称】松沼 泰史

(74)【代理人】

【識別番号】100188558

【弁理士】

【氏名又は名称】飯田 雅人

(74)【代理人】

【識別番号】100165179

【弁理士】

【氏名又は名称】田▲崎▼ 聡

(74)【代理人】

【識別番号】100189337

【弁理士】

【氏名又は名称】宮本 龍

(72)【発明者】

【氏名】下川 美代子

【審査官】毛利 太郎

(56)【参考文献】

【文献】国際公開第２００４／１０３８６４（ＷＯ，Ａ１）

【文献】特開２０１９－１１３８９６（ＪＰ，Ａ）

【文献】特開２０１４－１６４６２９（ＪＰ，Ａ）

【文献】特開２０１７－０３６９７６（ＪＰ，Ａ）

【文献】特開２０１９－０３６１８１（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｑ １０／００ － ９９／００

(57)【特許請求の範囲】

【請求項1】

物品の定位置を示す定位置データと、前記物品及び前記物品が存在する空間を撮影した画像を使用して生成される前記物品の現在位置を示す現在位置データと、前記物品及び前記物品を使用した使用者を撮影した画像を使用して生成される前記使用者を示す使用者データまたは前記物品の所有者を示す所有者データと、を前記物品ごとに取得するデータ取得部と、
前記定位置データと前記現在位置データとを比較して前記現在位置が前記定位置と異なるか否かを前記物品ごとに判定する片付け要否判定部と、
前記現在位置が前記定位置と異なると判定された場合、前記物品を片付ける片付け作業を実行するよう前記使用者に報知させるための第１信号または前記所有者データに基づいて、前記片付け作業を実行するよう前記所有者に報知させるための第２信号の少なくとも一方と、前記現在位置が前記定位置と異なる前記物品の数に関連する情報を出力装置に出力させるための信号とを前記出力装置に出力する信号出力部と、
を備える片付け支援装置。

【請求項2】

前記データ取得部は、前記物品を最後に使用した前記使用者を示す前記使用者データを取得する、
請求項１に記載の片付け支援装置。

【請求項3】

前記信号出力部は、前記使用者ごとに前記現在位置が前記定位置と異なる前記物品の数に関連する情報を前記出力装置に出力させるための前記信号を出力する、
請求項１又は請求項２に記載の片付け支援装置。

【請求項4】

前記信号出力部は、前記使用者ごとに前記現在位置が前記定位置と異なる前記物品が少なくとも一つ存在していた期間を所定の期間で除算した値を示す情報を前記出力装置に出力させるための信号を更に出力する、
請求項１又は請求項２に記載の片付け支援装置。

【請求項5】

前記信号出力部は、前記所有者ごとに前記現在位置が前記定位置と異なる前記物品の数に関連する情報を前記出力装置に出力させるための前記信号を出力する、
請求項１に記載の片付け支援装置。

【請求項6】

前記信号出力部は、前記所有者ごとに前記現在位置が前記定位置と異なる前記物品が少なくとも一つ存在していた期間を所定の期間で除算した値を示す情報を前記出力装置に出力させるための信号を更に出力する、
請求項１に記載の片付け支援装置。

【請求項7】

前記片付け作業は、前記物品を前記定位置に収納する作業である、
請求項１から請求項６のいずれか一つに記載の片付け支援装置。

【請求項8】

前記片付け作業は、前記物品を前記定位置と異なる所定の位置に収納する作業である、
請求項１から請求項７のいずれか一つに記載の片付け支援装置。

【請求項9】

物品の定位置を示す定位置データと、前記物品及び前記物品が存在する空間を撮影した画像を使用して生成され、前記物品の現在位置を示す現在位置データとを前記物品ごとに取得し、前記物品及び前記物品を使用した使用者を撮影した画像を使用して生成される前記使用者を示す使用者データまたは前記物品の所有者を示す所有者データと、を取得するデータ取得部と、
前記定位置データと前記現在位置データとを比較して前記現在位置が前記定位置と異なるか否かを前記物品ごとに判定する片付け要否判定部と、
前記現在位置が前記定位置と異なると判定された場合、前記物品を片付ける片付け作業を実行させるための信号を片付け実行装置に出力するとともに、前記片付け作業を実行したことを前記使用者に報知させるための第１信号または前記所有者データに基づいて、前記片付け作業を実行したことを前記所有者に報知させるための第２信号の少なくとも一方と、前記現在位置が前記定位置と異なる前記物品の数に関連する情報を出力装置に出力させるための信号とを出力する信号出力部と、
を備える片付け支援装置。

【請求項10】

前記信号出力部は、前記物品を使用した使用者又は前記物品の所有者ごとに前記現在位置が前記定位置と異なる前記物品の数に関連する情報を出力装置に出力させるための前記信号を出力する、
請求項９に記載の片付け支援装置。

【請求項11】

前記信号出力部は、前記物品を使用した使用者又は前記物品の所有者ごとに前記現在位置が前記定位置と異なる前記物品が少なくとも一つ存在していた期間を所定の期間で除算した値を示す情報を出力装置に出力させるための信号を更に出力する、
請求項９に記載の片付け支援装置。

【請求項12】

前記片付け作業は、前記物品を前記定位置に収納する作業である、
請求項９から請求項１１のいずれか一つに記載の片付け支援装置。

【請求項13】

前記片付け作業は、前記物品を前記定位置と異なる所定の位置に収納する作業である、
請求項９から請求項１１のいずれか一つに記載の片付け支援装置。

【請求項14】

コンピュータに、
物品の定位置を示す定位置データと、前記物品及び前記物品が存在する空間を撮影した画像を使用して生成され、前記物品の現在位置を示す現在位置データとを前記物品ごとに取得し、前記物品及び前記物品を使用した使用者を撮影した画像を使用して生成される前記使用者を示す使用者データまたは前記物品の所有者を示す所有者データと、を取得するデータ取得機能と、
前記定位置データと前記現在位置データとを比較して前記現在位置が前記定位置と異なるか否かを前記物品ごとに判定する片付け要否判定機能と、
前記現在位置が前記定位置と異なると判定された場合、前記物品を片付ける片付け作業を実行するよう前記使用者に報知させるための第１信号または前記所有者データに基づいて、前記片付け作業を実行するよう前記所有者に報知させるための第２信号の少なくとも一方と、前記現在位置が前記定位置と異なる前記物品の数に関連する情報を出力装置に出力させるための信号とを前記出力装置に出力する信号出力機能と、
を実現させる片付け支援プログラム。

【請求項15】

コンピュータに、
物品の定位置を示す定位置データと、前記物品及び前記物品が存在する空間を撮影した画像を使用して生成され、前記物品の現在位置を示す現在位置データとを前記物品ごとに取得し、前記物品及び前記物品を使用した使用者を撮影した画像を使用して生成される前記使用者を示す使用者データまたは前記物品の所有者を示す所有者データと、を取得するデータ取得機能と、
前記定位置データと前記現在位置データとを比較して前記現在位置が前記定位置と異なるか否かを前記物品ごとに判定する片付け要否判定機能と、
前記現在位置が前記定位置と異なると判定された場合、前記物品を片付ける片付け作業を実行させるための信号を片付け実行装置に出力するとともに、前記所有者データに基づいて、前記片付け作業を実行するよう前記所有者に報知させるための第１信号または前記所有者データに基づいて、前記片付け作業を実行したことを前記所有者に報知させるための第２信号の少なくとも一方と、前記現在位置が前記定位置と異なる前記物品の数に関連する情報を出力装置に出力させるための信号とを出力する信号出力機能と、
を実現させる片付け支援プログラム。

【請求項16】

片付け支援装置が、物品の定位置を示す定位置データを取得と、前記物品及び前記物品が存在する空間を撮影した画像を使用して生成され、前記物品の現在位置を示す現在位置データとを前記物品ごとに取得し、前記物品及び前記物品を使用した使用者を撮影した画像を使用して生成される前記使用者を示す使用者データまたは前記物品の所有者を示す所有者データと、を取得するデータ取得ステップと、
片付け支援装置が、前記定位置データと前記現在位置データとを比較して前記現在位置が前記定位置と異なるか否かを前記物品ごとに判定する片付け要否判定ステップと、
片付け支援装置が、前記現在位置が前記定位置と異なると判定された場合、前記物品を片付ける片付け作業を実行するよう前記使用者に報知させるための第１信号または前記所有者データに基づいて、前記片付け作業を実行するよう前記所有者に報知させるための第２信号の少なくとも一方と、前記現在位置が前記定位置と異なる前記物品の数に関連する情報を出力装置に出力させるための信号とを前記出力装置に出力する信号出力ステップと、
を含む片付け支援方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、片付け支援装置、片付け支援プログラム及び片付け支援方法に関する。

【背景技術】

【0002】

部屋の中に放置されている玩具、服飾品、電子機器、書籍、文房具、工具等の物品を片付ける作業は、日常生活において必須である。片付ける作業を支援する技術の一例として、例えば、特許文献１に開示されている物品位置推定装置が挙げられる。

【0003】

この物品位置推定装置は、物品管理データベースに格納された物品の検出時刻の情報、及び、人管理データベースに格納された人の移動履歴情報を用いて、物品の検出時刻を含む所定の時間内に検出された人を特定し、人管理データベースの人の移動履歴情報を基に、人と物品とが人検出装置と物品検出装置とで同時的に検出された場合に、検出された人のそれ以後の移動領域を、物品の物品存在領域として推定する。

【先行技術文献】

【特許文献】

【0004】

【文献】特許第４００６４７１号公報

【0005】

しかし、上述した物品位置推定装置は、物品が存在する可能性がある領域を推定することにより、ユーザが物品を探す場合に過去の記憶をたどるという思考を不要にするものであり、物品を片付ける作業そのものを支援するものではない。

【発明の概要】

【発明が解決しようとする課題】

【0006】

本発明は、このような事情に鑑みてなされたものであり、片付けを支援することができる片付け支援装置、片付け支援プログラム及び片付け支援方法を提供することを課題とする。

【課題を解決するための手段】

【0007】

本発明の一態様は、物品の定位置を示す定位置データと、前記物品及び前記物品が存在する空間を撮影した画像を使用して生成される前記物品の現在位置を示す現在位置データと、前記物品及び前記物品を使用した使用者を撮影した画像を使用して生成される前記使用者を示す使用者データまたは前記物品の所有者を示す所有者データと、を取得するデータ取得部と、前記定位置データと前記現在位置データとを比較して前記現在位置が前記定位置と異なるか否かを判定する片付け要否判定部と、前記現在位置が前記定位置と異なると判定された場合、前記物品を片付ける片付け作業を実行するよう前記使用者に報知させるための第１信号または前記所有者データに基づいて、前記片付け作業を実行するよう前記所有者に報知させるための第２信号、を出力装置に出力する信号出力部と、を備える片付け支援装置である。

【0017】

本発明の一態様は、物品の定位置を示す定位置データと、前記物品及び前記物品が存在する空間を撮影した画像を使用して生成され、前記物品の現在位置を示す現在位置データとを前記物品ごとに取得し、前記物品及び前記物品を使用した使用者を撮影した画像を使用して生成される前記使用者を示す使用者データまたは前記物品の所有者を示す所有者データと、を取得するデータ取得部と、前記定位置データと前記現在位置データとを比較して前記現在位置が前記定位置と異なるか否かを前記物品ごとに判定する片付け要否判定部と、前記現在位置が前記定位置と異なると判定された場合、前記物品を片付ける片付け作業を実行させるための信号を片付け実行装置に出力するとともに、前記片付け作業を実行したことを前記使用者に報知させるための第１信号または前記所有者データに基づいて、前記片付け作業を実行したことを前記所有者に報知させるための第２信号の少なくとも一方と、前記現在位置が前記定位置と異なる前記物品の数に関連する情報を出力装置に出力させるための信号とを出力する信号出力部と、を備える片付け支援装置である。

【0022】

本発明の一態様は、コンピュータに、物品の定位置を示す定位置データと、前記物品及び前記物品が存在する空間を撮影した画像を使用して生成され、前記物品の現在位置を示す現在位置データとを前記物品ごとに取得し、前記物品及び前記物品を使用した使用者を撮影した画像を使用して生成される前記使用者を示す使用者データまたは前記物品の所有者を示す所有者データと、を取得するデータ取得機能と、前記定位置データと前記現在位置データとを比較して前記現在位置が前記定位置と異なるか否かを前記物品ごとに判定する片付け要否判定機能と、前記現在位置が前記定位置と異なると判定された場合、前記物品を片付ける片付け作業を実行するよう前記使用者に報知させるための第１信号または前記所有者データに基づいて、前記片付け作業を実行するよう前記所有者に報知させるための第２信号の少なくとも一方と、前記現在位置が前記定位置と異なる前記物品の数に関連する情報を出力装置に出力させるための信号とを前記出力装置に出力する信号出力機能と、を実現させる片付け支援プログラムである。

【0023】

本発明の一態様は、コンピュータに、物品の定位置を示す定位置データと、前記物品及び前記物品が存在する空間を撮影した画像を使用して生成され、前記物品の現在位置を示す現在位置データとを前記物品ごとに取得し、前記物品及び前記物品を使用した使用者を撮影した画像を使用して生成される前記使用者を示す使用者データまたは前記物品の所有者を示す所有者データと、を取得するデータ取得機能と、前記定位置データと前記現在位置データとを比較して前記現在位置が前記定位置と異なるか否かを前記物品ごとに判定する片付け要否判定機能と、前記現在位置が前記定位置と異なると判定された場合、前記物品を片付ける片付け作業を実行させるための信号を片付け実行装置に出力するとともに、前記所有者データに基づいて、前記片付け作業を実行するよう前記所有者に報知させるための第１信号または前記所有者データに基づいて、前記片付け作業を実行したことを前記所有者に報知させるための第２信号の少なくとも一方と、前記現在位置が前記定位置と異なる前記物品の数に関連する情報を出力装置に出力させるための信号とを出力する信号出力機能と、を実現させる片付け支援プログラムである。

【0024】

本発明の一態様は、片付け支援装置が、物品の定位置を示す定位置データを取得と、前記物品及び前記物品が存在する空間を撮影した画像を使用して生成され、前記物品の現在位置を示す現在位置データとを前記物品ごとに取得し、前記物品及び前記物品を使用した使用者を撮影した画像を使用して生成される前記使用者を示す使用者データまたは前記物品の所有者を示す所有者データと、を取得するデータ取得ステップと、片付け支援装置が、前記定位置データと前記現在位置データとを比較して前記現在位置が前記定位置と異なるか否かを前記物品ごとに判定する片付け要否判定ステップと、片付け支援装置が、前記現在位置が前記定位置と異なると判定された場合、前記物品を片付ける片付け作業を実行するよう前記使用者に報知させるための第１信号または前記所有者データに基づいて、前記片付け作業を実行するよう前記所有者に報知させるための第２信号の少なくとも一方と、前記現在位置が前記定位置と異なる前記物品の数に関連する情報を出力装置に出力させるための信号とを前記出力装置に出力する信号出力ステップと、を含む片付け支援方法である。

【発明の効果】

【0025】

本発明によれば、片付けを支援することができる片付け支援装置、片付け支援プログラム及び片付け支援方法を提供することができる。

【図面の簡単な説明】

【0026】

【図1】本発明の実施形態に係る片付け支援システムの一例を示す図である。

【図2】本発明の実施形態に係るデータ生成部により生成される物品関連データの一例を示す図である。

【図3】本発明の実施形態に係るデータ生成部により生成される居住者関連データの一例を示す図である。

【図4】本発明の実施形態に係るデータ生成部により生成される片付け関連データの一例を示す図である。

【図5】本発明の実施形態に係る片付け支援装置が実行する処理の一例を示すフローチャートである。

【発明を実施するための形態】

【0027】

［実施形態］
図１は、本発明の実施形態に係る片付け支援システムの一例を示す図である。図１に示すように、片付け支援システム１は、データ収集装置１０と、データ記憶装置２０と、片付け支援装置３０と、出力装置４０と、片付け実行装置５０とを備える。データ収集装置１０、データ記憶装置２０、片付け支援装置３０、出力装置４０及び片付け実行装置５０は、相互にネットワークＮＷにより接続されている。ネットワークＮＷは、例えば、ＷＡＮ（Wide Area Network）、ＬＡＮ（Local Area Network）、インターネット、イントラネットである。

【0028】

データ収集装置１０は、撮影部１１と、画像解析部１２と、入力受付部１３と、データ生成部１４とを備える。

【0029】

撮影部１１は、カメラであり、物品及び当該物品が存在する空間の画像を撮影し、第一の物品／空間画像及び第二の物品／空間画像を生成する。ここで言う物品は、例えば、玩具、衣類、服飾品、電子機器、書籍、文房具、工具、塵芥である。また、ここで言う空間は、例えば、片付け支援システム１のユーザが居住している住宅内の部屋、玄関、廊下、台所、浴室、洗面室、バルコニー、テラス、ベランダ、倉庫、ガレージである。

【0030】

第一の物品／空間画像は、空間内に存在する全ての物品が片付けられている状態で撮影された画像であり、第二の物品／空間画像が撮影される前に撮影される。また、ここで言う片付けは、物品が収納されるべき位置として指定されている定位置又は当該定位置と異なる所定の位置に物品を収納することである。定位置は、物品各々が本来収納されるべき位置である。また、定位置としては、例えば、居住者が共有している棚、箱、台等又は各居住者専用の籠、机、キャビネット等が挙げられる。さらに、定位置は、屑入れを含んでいてもよい。また、固有空間は、上述した住宅の各居住者が他の居住者よりも優先的に使用している空間であり、例えば、各居住者の専用の部屋、机、かごである。さらに、固有空間は、一人の居住者に対して複数存在していてもよい。なお、固有空間は、定位置と異なる所定の位置の例であり、引っ越し、模様替え等により変化することがあり得る。

【0031】

一方、第二の物品／空間画像は、空間内に存在する物品の少なくとも一つが片付けられていない状態で撮影された画像である。また、第二の物品／空間画像が撮影されるタイミングは、特に限定されないが、住宅の居住者が帰宅する予定の時刻、住宅の居住者が食事を開始する時刻、これらの時刻よりも所定の時間だけ早い時刻であることが好ましいことがある。

【0032】

また、撮影部１１は、上述した住宅に居住している居住者の画像を撮影し、居住者画像を生成する。さらに、撮影部１１は、物品及び当該物品を使用している者を撮影し、使用者画像を生成する。

【0033】

なお、第一の物品／空間画像、第二の物品／空間画像、居住者画像及び使用者画像は、静止画であってもよいし、動画を構成する画像であってもよい。また、撮影部１１は、上述した空間の内部又は外部の所定の位置に固定されていてもよいし、上述した空間内で移動するロボットに取り付けられていてもよい。さらに、撮影部１１は、撮影する範囲を任意のタイミングで切り替えてもよい。

【0034】

画像解析部１２は、第一の物品／空間画像に描出されている物品及び当該物品の定位置を認識する処理を実行する。また、画像解析部１２は、第二の物品／空間画像に描出されている物品及び当該物品の現在位置を認識する処理を実行する。さらに、画像解析部１２は、居住者画像に描出されている居住者を認識する処理を実行する。また、画像解析部１２は、使用者画像に描出されている使用者を認識する処理を実行する。

【0035】

なお、画像解析部１２は、機械学習を利用した画像認識より、これら四つの処理を実行してもよい。具体的には、画像解析部１２は、上述した四種類の画像に前処理を施す。ここで言う前処理は、例えば、ノイズの除去、歪みの除去、画像に描出されている対象の輪郭の強調、画像の明るさや色合いの調整が含まれる。そして、画像解析部１２は、強化学習、教師有り学習又は教師無し学習により学習した機械学習装置に前処理を施した画像を読み込ませて当該画像に描出されている対象を認識させる。なお、ここで言う機械学習は、例えば、ニューラルネットワーク、ディープラーニングであり、特に、畳み込みニューラルネットワーク（ＣＮＮ：Convolutional Neural Network）が画像認識を実行する上で好適である。

【0036】

入力受付部１３は、データ収集装置１０に接続されているキーボード、マウス等を使用して入力される情報を受け付ける。この情報は、例えば、物品名、定位置の名称、居住者名又は居住者の固有空間の名称を示す情報であり、これら以外の情報であってもよい。

【0037】

データ生成部１４は、画像解析部１２が実行した処理の結果及び入力受付部１３が受け付けた情報を使用して物品関連データ、居住者関連データ及び片付け関連データを生成する。

【0038】

図２は、本発明の実施形態に係るデータ生成部により生成される物品関連データの一例を示す図である。物品関連データは、例えば、物品識別情報、物品名、物品の画像、定位置識別情報、定位置の名称、現在位置座標及び現在位置座標が更新された日時を物品ごとに示すデータである。物品関連データは、物品識別情報、物品名及び物品の画像により各物品を特定し、定位置識別情報及び定位置の名称により各物品の定位置を特定し、現在位置座標により各物品の現在位置を特定している。物品識別情報は、各物品に割り当てられる固有のコードである。定位置識別情報は、各物品の定位置に割り当てられる固有のコードであり、定位置の位置を示す定位置座標と対応付けられている。物品識別情報及び定位置識別情報は、いずれも英字、数字、記号等の組み合わせで表される。現在位置座標が更新された日時は、例えば、撮影部１１が第二の物品／空間画像として動画を撮影し、画像解析部１２が当該動画を構成する画像から物品の現在位置をリアルタイムに認識する処理を実行している場合において物品の現在位置が認識された日時である。

【0039】

物品識別情報は、入力受付部１３が物品名を示す情報を受け付けた後、当該情報に基づいて自動的に生成されてもよいし、データ収集装置１０に接続されているキーボード等を使用して入力されてもよい。物品名は、データ収集装置１０に接続されているキーボード等を使用して入力される。物品の画像は、画像解析部１２が第一の物品／空間画像に対して実行された画像認識の結果に基づいて、データ生成部１４により第一の物品／空間画像から抽出された画像である。ただし、物品の画像は、第一の物品／空間画像以外の画像に対して実行された画像認識の結果に基づいて、当該画像から抽出された画像であってもよい。

【0040】

定位置識別情報は、入力受付部１３が定位置を示す情報を受け付けた後、当該情報に基づいて自動的に生成されてもよいし、データ収集装置１０に接続されているキーボード等を使用して入力されてもよい。定位置の名称は、データ収集装置１０に接続されているキーボード等を使用して入力される。現在位置座標は、画像解析部１２が第二の物品／空間画像に対して実行した画像認識の結果を使用してデータ生成部１４により算出される。現在位置座標が更新された日時は、データ生成部１４により現在位置座標が算出された後、自動的に生成されてもよいし、データ収集装置１０に接続されているキーボード等を使用して入力されてもよい。

【0041】

図２の上から一行目に示すように、物品関連データは、物品がラジコンカーである場合、物品識別情報「Ｂ００１」、物品名「ラジコンカー」、物品の画像データ「ラジコンカー．ｉｍａｇｅ」、定位識別情報「Ｔ００１」、定位置の名称「おもちゃ箱」、現在位置の座標「Ｘ１，Ｙ１，Ｚ１」及び現在位置座標が更新された日時「２０＊＊年〇月〇日〇時〇分」を含む。同様に、図２の上から二行目に示すように、物品関連データは、物品がクマのぬいぐるみである場合、物品識別情報「Ｂ００２」、物品名「クマのぬいぐるみ」、画像データ「クマのぬいぐるみ．ｉｍａｇｅ」、定位識別情報「Ｔ００２」、定位置の名称「おもちゃ箱」、現在位置の座標「Ｘ２，Ｙ２，Ｚ２」及び現在位置座標が更新された日時「２０＊＊年△月△日△時△分」を含む。

【0042】

図３は、本発明の実施形態に係るデータ生成部により生成される居住者関連データの一例を示す図である。居住者関連データは、例えば、居住者識別情報、居住者名、居住者の画像、固有空間識別情報、居住者の固有空間の名称を居住者ごとに示すデータである。居住者関連データは、居住者識別情報、居住者名及び居住者の画像により各居住者を特定し、固有空間識別情報及び居住者の固有空間の名称により居住者ごとに固有空間を特定している。また、居住者関連データは、各居住者を特定しているデータと固有空間を特定しているデータとに分けて管理されていてもよい。居住者識別情報は、各居住者に割り当てられる固有のコードであり、英字、数字、記号等の組み合わせで表される。

【0043】

居住者識別情報は、入力受付部１３が居住者名を示す情報を受け付けた後、当該情報に基づいて自動的に生成されてもよいし、データ収集装置１０に接続されているキーボード等を使用して入力されてもよい。居住者名は、データ収集装置１０に接続されているキーボード等を使用して入力される。居住者の画像は、画像解析部１２が居住者画像に対して実行した画像認識の結果に基づいて、データ生成部１４が居住者画像から抽出した画像である。居住者識別情報、居住者名及び居住者の画像は、引っ越し、模様替え等により変更する必要が出てくるケースが少ない。

【0044】

固有空間識別情報は、入力受付部１３が居住者の固有空間の名称を示す情報を受け付けた後、当該情報に基づいて自動的に生成されてもよいし、データ収集装置１０に接続されているキーボード等を使用して入力されてもよい。居住者の固有空間の名称は、データ収集装置１０に接続されているキーボード等を使用して入力される。また、固有空間識別情報及び居住者の固有空間の名称は、引っ越し、模様替え等により固有空間が変更された場合、更新される。

【0045】

図３の上から一行目に示すように、居住者関連データは、居住者が学童である「〇〇太郎」である場合、居住者識別情報「Ｋ００１」、居住者名「〇〇太郎」、居住者の画像データ「〇〇太郎．ｉｍａｇｅ」、固有空間識別情報「Ｓ００１」及び居住者の固有空間の名称「勉強机」を含む。同様に、図３の上から二行目に示すように、居住者関連データは、居住者が幼児である「〇〇花子」である場合、居住者識別情報「Ｋ００２」、居住者名「〇〇花子」、居住者の画像データ「〇〇花子．ｉｍａｇｅ」、固有空間識別情報「Ｓ００２」及び居住者の固有空間の名称「おもちゃ箱」を含む。

【0046】

なお、データ生成部１４が図３に示した学童である「〇〇太郎」及び幼児である「〇〇花子」に関する居住者関連データを生成する場合を例に挙げて説明したが、これに限定されない。例えば、データ生成部１４は、学童及び幼児以外の居住者に関する居住者関連データを生成してもよい。また、データ生成部１４は、固有空間が一人の居住者に対して複数存在する場合、当該居住者の居住者識別情報、居住者名及び居住者の画像に対して固有空間情報及び居住者の固有空間の名称を複数含んでいる居住者関連データを生成してもよい。

【0047】

図４は、本発明の実施形態に係データ生成部により生成される片付け関連データの一例を示す図である。片付け関連データは、例えば、物品の使用者が特定された日時、物品識別情報、定位置識別情報、定位置識別情報フラグ、現在位置座標、物品の使用者、物品を最後に使用した使用者及び物品の所有者が所有者ごとに対応付けられたデータである。片付け関連データは、物品の使用者、物品を最後に使用した使用者及び物品の所有者を特定し、物品の定位置及び現在位置と対応付けている。

【0048】

物品の使用者が特定された日時は、物品の使用者名及び物品を最後に使用した使用者名がデータ生成部１４により特定された後、自動的に生成されてもよいし、データ収集装置１０に接続されているキーボード等を使用して入力されてもよい。定位置識別情報フラグは、データ記憶装置２０が備える記憶領域のうち定位置識別情報が記憶される領域を示す二進数であり、定位置識別情報が生成された後、定位置であるか否かによって自動的に生成される。物品の使用者名及び物品を最後に使用した使用者名は、画像解析部１２が居住者画像に対して実行した画像認識の結果と図３に示した居住者画像とを比較した結果に基づいて、データ生成部１４により特定される。物品の所有者名は、自動的に生成されてもよいし、データ収集装置１０に接続されているキーボード等を使用して入力されてもよい。なお、片付け関連データは、定位置識別情報を含んでいなくてもよい。

【0049】

図４の上から一行目に示すように、片付け関連データは、物品がラジコンカーである場合、物品の使用者が特定された日時「２０＊＊年×月×日×時×分」、物品識別情報「Ｂ００１」、定位置識別情報「Ｔ００１」、定位置情報識別フラグ「＊＊＊０」、現在位置座標「Ｘ１，Ｙ１，Ｚ１」、物品の使用者名「〇〇太郎」、物品を最後に使用した使用者名「〇〇太郎」及び物品の所有者名「〇〇太郎」が対応付けられたデータである。同様に、図４の上から二行目に示すように、片付け関連データは、物品がクマのぬいぐるみである場合、物品の使用者が特定された日時「２０＊＊年◇月◇日◇時◇分」、物品識別情報「Ｂ００２」、定位置識別情報「Ｔ００２」、定位置情報識別フラグ「＊＊＊１」、現在位置座標「Ｘ２，Ｙ２，Ｚ２」、物品の使用者名「〇〇花子」、物品を最後に使用した使用者名「〇〇太郎」及び物品の所有者名「〇〇花子」が対応付けられたデータである。

【0050】

なお、データ生成部１４は、物品関連データ、居住者関連データ及び片付け関連データをデータ記憶装置２０に格納する。

【0051】

データ記憶装置２０は、データ生成部１４により生成された物品関連データ、居住者関連データ及び片付け関連データを記憶する。データ記憶装置２０は、例えば、ＨＤＤ（Hard Disk Drive）、フラッシュメモリ、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）である。

【0052】

片付け支援装置３０は、データ取得部３１と、片付け要否判定部３２と、信号出力部３３とを備える。

【0053】

データ取得部３１は、物品の定位置を示す定位置データを取得する。この定位置データは、例えば、図２及び図４に示した定位置識別情報である。また、データ取得部３１は、物品の現在位置を示す現在位置データを取得する。この現在位置データは、例えば、図２及び図４に示した現在位置座標である。

【0054】

さらに、データ取得部３１は、物品の使用者を示す使用者データを取得してもよい。この使用者データは、図４に示した物品の使用者名又は物品を最後に使用した使用者名と同じ名前の居住者に割り当てられている居住者識別情報である。また、データ取得部３１は、物品の所有者を示す所有者データを取得してもよい。この所有者データは、例えば、図４に示した物品の所有者名と同じ名前の居住者に割り当てられている居住者識別情報である。

【0055】

片付け要否判定部３２は、定位置データと現在位置データとを比較して現在位置が定位置と異なるか否かを判定する。例えば、片付け要否判定部３２は、現在位置座標が定位置識別情報に対応付けられている定位置座標と所定の範囲内で一致していない場合、物品の現在位置が物品の定位置と異なると判定する。一方、片付け要否判定部３２は、現在位置座標が定位置識別情報に対応付けられている定位置座標と所定の範囲内で一致している場合、物品の現在位置が物品の定位置と等しいと判定する。

【0056】

信号出力部３３は、現在位置が定位置と異なると判定された場合、物品を片付ける片付け作業を実行するよう報知させるための信号を出力装置４０に出力する。この信号は、例えば、片付け作業を実行することを促す文字列、画像、動画等を出力装置４０に表示させたり、片付け作業を実行することを促す音声案内、アラーム等を出力装置に出力させたりする信号である。

【0057】

なお、信号出力部３３は、定位置が存在しないと判定された場合、物品を片付ける片付け作業を実行するよう報知させるための信号を出力装置４０に出力してもよい。また、定位置が存在しない場合としては物品が塵芥である場合が想定される。さらに、信号出力部３３は、使用者データに基づいて、片付け作業を実行するよう使用者に報知させるための信号を出力装置に出力してもよい。或いは、信号出力部３３は、所有者データに基づいて、片付け作業を実行するよう所有者に報知させるための信号を出力装置４０に出力してもよい。

【0058】

さらに、信号出力部３３は、現在位置が定位置と異なると判定された場合、片付け作業を実行させるための信号を片付け実行装置５０に出力してもよい。この信号は、片付け実行装置５０の各部を制御する信号である。

【0059】

なお、片付け支援装置３０の少なくとも一部は、図１に示したネットワークＮＷに接続されているサーバ等に含まれていてもよいし、片付け支援システム１のユーザが居住している住宅の内部又はその周辺に設置されていてもよい。

【0060】

出力装置４０は、信号出力部３３により入力された信号に基づいて、物品の使用者、物品の所有者等に片付け作業を実行するよう報知する装置であり、例えば、ディスプレイ、スピーカである。

【0061】

片付け実行装置５０は、信号出力部３３により入力された信号に基づいて、物品の使用者、物品の所有者等の代わりに片付け作業を実行するロボットである。なお、片付け実行装置５０は、片付け作業を実行することができる限り、任意の構成が採用され得る。

【0062】

次に、図５を参照しながら、片付け支援装置３０が実行する処理の一例を説明する。図５は、本発明の実施形態に係る片付け支援装置が実行する処理の一例を示すフローチャートである。図５に示した処理は、物品ごとに実行される。

【0063】

ステップＳ１０において、データ取得部３１は、物品の定位置を示す定位置データを取得し、物品及び当該物品が存在する空間を撮影した画像を使用して生成され、物品の現在位置を示す現在位置データを取得する。

【0064】

ステップＳ２０において、片付け要否判定部３２は、ステップＳ１０で取得された現在位置データにより示される現在位置がステップＳ１０で取得された定位置データにより示される定位置と異なるか否かを発明する。片付け要否判定部３２は、現在位置が定位置と異なると判定した場合（ステップＳ２０：ＹＥＳ）、処理をステップＳ３０に進める。一方、片付け要否判定部３２は、現在位置が定位置と等しいと判定した場合（ステップＳ２０：ＮＯ）、処理を終了させる。

【0065】

ステップＳ３０において、信号出力部３３は、物品を片付ける片付け作業を実行するよう報知させるための信号を出力装置４０に出力する。

【0066】

なお、片付け支援装置３０は、上述したステップＳ３０において、物品を片付ける片付け作業を実行するよう報知させるための信号を出力装置４０に出力する代わりに、物品を片付ける片付け作業を実行させるための信号を片付け実行装置５０に出力してもよい。

【0067】

また、信号出力部３３は、図５に示した処理が複数の物品に対して実行される場合、物品の使用者又は物品の所有者ごとに現在位置が定位置と異なる物品の数に関連する情報を出力装置４０に出力させるための信号を出力してもよい。このような情報は、例えば、現在位置が定位置と一致していない物品の数又は割合である。或いは、信号出力部３３は、図５に示した処理が複数の物品に対して実行される場合、物品の使用者又は物品の所有者ごとに現在位置と定位置とが一致していない物品少なくとも一つが存在していた期間を所定の期間で除算した値を示す情報を出力装置４０に出力させるための信号を出力してもよい。また、当該所定の期間は、例えば、上述した第二の物品／空間画像が撮影され得る期間であってもよいし、一日、一週間、一か月等の一定期間であってもよい。

【0068】

以上、実施形態に係る片付け支援装置３０について説明した。片付け支援装置３０は、現在位置が定位置と異なると判定された場合、物品を片付ける片付け作業を実行するよう報知させるための信号を出力装置４０に出力する。これにより、片付け支援装置３０は、物品が定位置に収納されていないことを報知し、当該物品の片付け作業を支援することができる。例えば、片付け支援装置３０は、住宅の居住者、特に、学童や幼児に片付けを促して片付けを習得することを支援することができる。

【0069】

また、片付け支援装置３０は、第一の物品／空間画像から生成された定位置データ及び第二の物品／空間画像から生成された現在位置データを使用して物品の現在位置が定位置と一致しているか否かを判定する。これにより、片付け支援装置３０は、各物品の位置が頻繁に変化する場合であっても、各物品が定位置に収納されているか否かを住宅の居住者が判断する労力を低減させることができる。

【0070】

片付け支援装置３０は、使用者データに基づいて、片付け作業を実行するよう使用者に報知させるための信号を出力装置４０に出力してもよい。これにより、片付け支援装置３０は、当該物品を実際に使用しており、当該物品の片付け作業を行わせることが妥当である者に、当該物品の片付け作業が必要であることを認識させ、当該物品の片付け作業を行うよう促すことができる。さらに、片付け支援装置３０は、片付け作業を実行するよう物品を最後に使用した使用者に報知させるための信号を出力装置４０に出力してもよい。この場合、片付け支援装置３０は、当該物品の片付け作業を行わせることが最も妥当であると考えられる者に、当該物品の片付け作業が必要であることを認識させ、当該物品の片付け作業を行うよう促すことができる。

【0071】

片付け支援装置３０は、所有者データに基づいて、片付け作業を実行するよう所有者に報知させるための信号を出力装置４０に出力してもよい。これにより、片付け支援装置３０は、当該物品を実際に所有しており、当該物品の片付け作業を行わせることが妥当である者に、当該物品の片付け作業が必要であることを認識させ、当該物品の片付け作業を行うよう促すことができる。特に、片付け支援装置３０は、物品が住宅の居住者の間で共有されている場合、このような処理を実行することが好ましい。

【0072】

或いは、片付け支援装置３０は、現在位置が定位置と異なると判定された場合、片付け作業を実行させるための信号を片付け実行装置５０に出力してもよい。これにより、片付け支援装置３０は、物品の使用者、物品の所有者、住宅の居住者等が当該物品の片付け作業を行うことができない事情を抱えている場合、これらの者の代わりに当該物品の片付け作業を片付け実行装置５０に実行させることができる。

【0073】

また、片付け支援装置３０は、物品の使用者又は所有者ごとに現在位置が定位置と異なる物品の数に関連する情報を出力装置４０に出力させるための信号を出力してもよい。或いは、片付け支援装置３０は、物品の使用者又は所有者ごとに現在位置が定位置と異なる物品が少なくとも一つ存在していた期間を所定の期間で除算した値を示す情報を出力装置４０に出力させるための信号を出力してもよい。これらにより、片付け支援装置３０は、片付け作業が実行されている度合いを定量的に示す情報を報知し、物品の使用者や所有者同士の間で片付け作業に対する意欲を触発させ合うことができる。

【0074】

なお、上述したデータ収集装置１０又は片付け支援装置３０が有する機能の少なくとも一部は、回路部（circuitry）を含むハードウェアがプログラムを実行することにより実現されてもよい。ここで言うハードウェアは、例えば、ＣＰＵ（Central Processing Unit）、ＬＳＩ（Large Scale Integration）、ＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field-Programmable Gate Array）、ＧＰＵ（Graphics Processing Unit）である。また、上述したプログラムは、記憶媒体を備える記憶装置に格納されている。ここで言う記憶媒体は、例えば、ＨＤＤ、フラッシュメモリ、ＲＯＭである。さらに、上述したプログラムは、データ収集装置１０又は片付け支援装置３０が有する機能の一部を実現する差分プログラムであってもよい。

【0075】

以上、本発明の実施形態について図面を参照しながら説明した。ただし、片付け支援システム１は、上述した実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形、置換、組み合わせ又は設計変更を加えることができる。

【符号の説明】

【0076】

１…片付け支援システム、１０…データ収集装置、１１…撮影部、１２…画像解析部、１３…入力受付部、１４…データ生成部、２０…データ記憶装置、３０…片付け支援装置、３１…データ取得部、３２…片付け要否判定部、３３…信号出力部、４０…出力装置、５０…片付け実行装置

【図1】

【図2】

【図3】

【図4】

【図5】