(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024080488
(43)【公開日】2024-06-13
(54)【発明の名称】管理者管理装置、管理者管理方法及び収納支援装置
(51)【国際特許分類】
G06Q 10/10 20230101AFI20240606BHJP
【FI】
G06Q10/10
【審査請求】未請求
【請求項の数】10
【出願形態】OL
(21)【出願番号】P 2022193725
(22)【出願日】2022-12-02
(71)【出願人】
【識別番号】000237592
【氏名又は名称】株式会社デンソーテン
(74)【代理人】
【識別番号】110002147
【氏名又は名称】弁理士法人酒井国際特許事務所
(72)【発明者】
【氏名】平塚 陽子
(72)【発明者】
【氏名】大築 ともえ
(72)【発明者】
【氏名】岡田 康貴
【テーマコード(参考)】
5L010
5L049
【Fターム(参考)】
5L010AA11
5L049AA11
(57)【要約】
【課題】管理対象物に対する管理者のデータを含むデータベースにおける管理者に関するデータの更新を適切に、また手間を少なく行うこと。
【解決手段】実施形態の管理者管理装置(収納支援システム)は、管理対象物に対する管理者を識別する情報である管理者識別情報を含むデータベースを管理する管理者管理装置であって、コントローラを備え、コントローラは、管理対象物に対する各ユーザの使用状況を基に、管理対象物に対する管理者を推定し、データベースにおける管理対象物に対する管理者識別情報を、推定した管理者を識別する情報である推定管理者識別情報で更新する。
【選択図】
図1
【特許請求の範囲】
【請求項1】
管理対象物に対する管理者を識別する情報である管理者識別情報を含むデータベースを管理する管理者管理装置であって、コントローラを備え、
前記コントローラは、
前記管理対象物に対する各ユーザの使用状況を基に、前記管理対象物に対する管理者を推定し、
前記データベースにおける前記管理対象物に対する前記管理者識別情報を、前記推定した管理者を識別する情報である推定管理者識別情報で更新する
管理者管理装置。
【請求項2】
前記コントローラは、
管理対象物に対する各ユーザの利用頻度に基づき前記管理対象物に対する管理者を推定する
請求項1に記載の管理者管理装置。
【請求項3】
前記コントローラは、
管理対象物に対する各ユーザの利用頻度に基づき、前記管理対象物に対する管理者の確率である管理者確率を算出し、
前記管理対象物に対する前記管理者確率が最大のユーザを、管理対象物に対する管理者と推定する
請求項2に記載の管理者管理装置。
【請求項4】
前記コントローラは、
過去の算出処理による前記管理者確率と、最新の算出処理による前記管理者確率とによる平均化処理を行い、
前記平均化処理による管理者確率に基づき管理対象物に対する管理者を推定する
請求項3に記載の管理者管理装置。
【請求項5】
前記各管理対象物と各ユーザの接触状態を検出する状態センサとして、複数種の状態検出用の状態センサを備え、
前記コントローラは、
前記状態センサで検出された各管理対象物と各ユーザの状態に基づき前記管理者確率を、前記状態センサの種別毎に算出し、
算出された前記状態センサの種別毎の前記管理者確率を統合処理して統合管理者確率を算出し、
算出された前記統合管理者確率に基づき管理者を推定する
請求項3又は4に記載の管理者管理装置。
【請求項6】
前記各管理対象物と各ユーザの状態を検出する状態センサを備え、
前記コントローラは、
前記状態センサによる検出出力に基づき各ユーザの利用頻度を算出し、
前記状態センサによる検出出力の信頼度に基づき、前記管理者の推定処理内容を変更する
請求項1~4のいずれか1項に記載の管理者管理装置。
【請求項7】
前記コントローラは、
前記状態センサによる検出出力の信頼度が予め定めた所定閾値より低い場合に、前記推定管理者識別情報の更新を行わない
請求項6に記載の管理者管理装置。
【請求項8】
前記各管理対象物と各ユーザの状態を検出する状態センサを備え、
前記コントローラは、
前記状態センサによる検出出力に基づき各ユーザの利用頻度を算出し、
前記状態センサによる検出出力の信頼度と、前記利用頻度とに基づき前記管理者確率を算出する
請求項3または4に記載の管理者管理装置。
【請求項9】
コントローラが実行する管理対象物に対する管理者を推定する管理者推定方法であって、
前記管理対象物に対する各ユーザの使用状況を基に、前記管理対象物に対する管理者を推定する
管理者管理方法。
【請求項10】
物品の所有者に対して当該物品の収納に関する支援をする収納支援装置であって、前記物品に対する管理者を識別する情報である管理者識別情報を含むデータベースと、コントローラとを備え、
前記コントローラは、
前記物品に対する各ユーザの使用状況を基に、前記物品に対する管理者を推定し、
前記データベースにおける前記物品に対する前記管理者識別情報を、前記推定した管理者を識別する情報である推定管理者識別情報で更新する
収納支援装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、管理者管理装置、管理者管理方法及び収納支援装置に関する。
【背景技術】
【0002】
物品の片付けにおいて、片付けられていない物品を自動的に収納先に収納等するシステム、所謂、片付けを支援する片付け支援システムが提案されている(例えば下記特許文献1参照)。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】国際公開第2019/087854号
【特許文献2】特開2005-309844号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
物品の片付けは、当該物品の使用者が使用後に行うことが多いが、最終的には物品の所有者、あるいは物品の管理者(以降、「物品の所有者」は「物品の管理者」も含めた意味で用いる)が責任を持って行うことが一般的である。一方で、物品の所有者は、時間経過とともに変化する場合がある。例えば、兄が所有していたおもちゃを、兄弟の成長により弟が所有するようになるケースが考えられる。
【0005】
このため、片付け支援システムの運用においては、管理対象の物品の所有者を変更する作業が生じる。このような物品の所有者の変更処理は面倒であり、自動化等による手間の削減が望まれている。
【0006】
また、同様の要望は、物品とその所有者の関係性に基づく処理を行う各種システム、またサービスとそのサービスを受ける権利を有する権利者の関係性に基づく処理を行う各種システムでも存在する。
【0007】
本発明は、このような要望に応えるもので、収納支援装置(システム)等の管理者に関する処理を行う装置等において管理対象物に対応付けられた管理者(物品の所有者や、サービスの権利者に対応)の更新を適切に、また手間を少なく行えるようにすることを目的とする。
【課題を解決するための手段】
【0008】
本発明に係る管理者管理装置は、管理対象物に対する管理者を識別する情報である管理者識別情報を含むデータベースを管理する管理者管理装置であって、コントローラを備え、前記コントローラは、前記管理対象物に対する各ユーザの使用状況を基に、前記管理対象物に対する管理者を推定し、前記データベースにおける前記管理対象物に対する前記管理者識別情報を、前記推定した管理者を識別する情報である推定管理者識別情報で更新する。
【発明の効果】
【0009】
本発明によれば、管理対象物に対する管理者に相関があると考えられる管理対象物に対する各ユーザの使用状況に基づき管理者を推定し、データベースにおける管理者データを更新するので、管理対象物に対する管理者のデータの更新を適切に、また手間を少なく行うことが可能となる。
【図面の簡単な説明】
【0010】
【
図1】本発明の実施形態に係る収納支援装置の全体構成図である。
【
図2】本発明の実施形態に係る収納支援装置が住居に適用される様子を示す図である。
【
図3】本発明の実施形態に係り、登録者データベース、収納先データベース、物品データベース及び総合管理データベースの概略構成図である。
【
図4】本発明の実施形態に係り、登録者データベースの内部構成図である。
【
図5】本発明の実施形態に係り、収納先データベースの内部構成図である。
【
図6】本発明の実施形態に係り、物品データベースの内部構成図である。
【
図7】本発明の実施形態に係り、総合管理データベースの内部構成図である。
【
図8】本発明の実施形態に係り、所有者判定データベースの内部構成図である。
【
図9】本発明の実施形態に係り、収納支援装置を用いた動作のフローチャートである。
【
図10】本発明の実施形態に係り、複数の居住区域と住居内の複数の部屋との対応関係を示す図である。
【
図11】本発明の実施形態に係り、所有者更新処理のフローチャートである。
【
図12】本発明の実施形態に係り、画像認識結果の例を示す図である。
【
図13】本発明の実施形態に係り、物品の移動の例を示す図である。
【
図14】本発明の実施形態に係り、表示部の表示内容の例を示す図である。
【
図15】本発明の実施形態に属する実施例EX1_Aに係り、想定される状態を示す図である。
【
図16】本発明の実施形態に属する実施例EX1_Aに係り、ユーザ及び収納支援装置間の情報のやり取りを示す図である。
【
図17】本発明の実施形態に属する実施例EX1_Bに係り、表示部の表示内容の例を示す図である。
【
図18】本発明の実施形態に属する実施例EX2に係り、想定される状態を示す図である。
【
図19】本発明の実施形態に属する実施例EX3に係り、ユーザ及び収納支援装置間の情報のやり取りを示す図である。
【
図20】本発明の実施形態に属する実施例EX6に係り、想定される状態を示す図である。
【発明を実施するための形態】
【0011】
以下、本発明の実施形態の例を、図面を参照して具体的に説明する。参照される各図において、同一の部分には同一の符号を付し、同一の部分に関する重複する説明を原則として省略する。尚、本明細書では、記述の簡略化上、情報、信号、物理量又は部材等を参照する記号又は符号を記すことによって、該記号又は符号に対応する情報、信号、物理量又は部材等の名称を省略又は略記することがある。
【0012】
図1に本発明の実施形態に係る収納支援システム1の構成ブロック図を示す。収納支援システム1は、住居、事務所等の各種建物内や区画が決められた屋外スペース等で使用することができるが、説明を分かりやすくするため、ここでは
図2に示す如く、住居例の住居HHに対して収納支援システム1を適用(設置)した例をあげて説明する。
【0013】
収納支援システム1は、制御部10、センサ部20、記憶部30及びインターフェース部40を備える。収納支援システム1の全体が住居HH内に設置されて良いが、収納支援システム1の一部の構成要素は住居HHの外に設置され得る。例えば、記憶部30は住居HHの外の外部サーバに設置し、インターネット回線網等の通信回線で制御部10と接続するようにしても良い。また、制御部10及び記憶部30の双方が住居HHの外に設置しても良い。
【0014】
次に収納支援システム1の動作、センサ部20のカメラ等の設置状態等の説明を分かりやすくするために、住居HHにおける収納支援動作における各領域について説明する。収納支援システム1では、ユーザの都合に合わせて、収納支援を行う支援対象領域を設定する。つまり、収納支援システム1は、支援対象領域にある対象物品に対して収納支援動作を実行する。そしてこの収納支援動作を行うために、支援対象領域に応じてセンサ部20等が設置される。具体的には、支援対象領域の全域のカメラ撮影画像が得られるようにカメラの設置等が行われることになる。なお、本例では、住居HHにおけるリビング、キッチン、一階洋室、二階洋室、二階和室を支援対象領域としている。
【0015】
制御部10は、CPU(Central Processing Unit)、RAM(Random Access Memory)及びROM(Read Only Memory)等を含んで構成され、収納支援システム1の全体動作を統括的に制御する。制御部10は、磁気ディスク又は半導体メモリ等から成るプログラムメモリ(不図示)を有し、プログラムメモリに格納されたプログラムをCPUにて実行することで制御部10の各種機能が実現される。上記プログラムをCPUにて実行することにより実現される機能ブロックとして、制御部10は、登録処理部11、物体検出部12、トラッキング処理部13、音声対応部14、通知部15、判定部16及び更新処理部17を備えるが、それらの機能については後述される。制御部10は、コントローラの一例である。
【0016】
センサ部20は、カメラ部21、光検出部22及び環境測定部23を備える。センサ部20は、これらカメラ部21、光検出部22及び環境測定部23から得られるセンサ情報SI20を制御部10に出力する。カメラ部21、光検出部22及び環境測定部23の各構成要素と制御部10とは有線又は無線にて接続されており、センサ情報SI20は有線又は無線にてセンサ部20から制御部10に送られる。なお、センサ部20は、状態検出用の状態センサの一例である。また、センサ部20の出力は、検出出力の一例である。
【0017】
カメラ部21は1以上の定点カメラ21n(a~e)を備える。カメラ部21を構成する定点カメラ21nの総数および設置位置は支援対象領域に応じて決定される。具体的には、支援対象領域全体の撮影画像が得られるように定点カメラ21nの総数および設置位置(撮影方向も含めて)が決定される。例えば、支援対象領域のリビングおよびキッチンに対しては、
図2に示すように、撮影範囲(カメラ視野)が21A、B、C、D、Eの定点カメラ21a、b、c、d、eを適当な位置・撮影方向に設置して、リビング全体を撮影範囲21A、B、C、D、E(の和)でカバーできる領域とする。なお、
図2では2次元で領域を図示しているが、実際には上下方向も含めた3次元空間の領域を考慮して、定点カメラ21nを設置する。そして、支援対象領域である他の部屋(一階洋室、二階洋室、二階和室)も、リビングおよびキッチンと同様の方法で定点カメラ21nを設置する。各定点カメラ21nは自身の視野内の被写体を撮影し、当該撮影画像情報を生成及び出力する。そして、カメラ部21はこれら各定点カメラ21nの画像情報をまとめた撮影画像情報SI21を、制御部10に出力する。なお、カメラ部21は、各定点カメラ21nの画像から重複撮影部分をまとめた(重複撮影部分はどれか1つの撮影画像を選択、あるいは該当の各撮影画像を画角・縮尺等を合わせる加工をして重ね合わせる等)合成画像を生成しても良い。この方法では、後の各画像処理において、重複撮影部分の処理が不要となるので、処理負荷が低くなる利点がある。
【0018】
光検出部22は1以上のLIDAR(Light Detection and Ranging)22n(a~e)を備え、光を用いて任意の物体(人物を含む)を検出する。LIDAR22nも、定点カメラ21nと同様に、支援対象領域全体の物体検出が行えるようにLIDAR22nの総数および設置位置が決定される。各LIDAR22nは、周囲に走査する形でレーザ光を出射し、自身が出射したレーザ光の対象物による反射光を受信することで、各出射したレーザ光の行路時間と出射方向を計測し、当該計測値に基づき自身に対する対象物の距離と方向を検出し、その検出結果を示す光検出情報を生成及び出力する。各LIDAR22nにおける対象物の検出範囲は、レーザ光の照射(走査)範囲と感度(レーザ出力と受光素子の受光感度により定まる)により定まる。このため、LIDAR22nの特性と支援対象領域に応じて、収納支援システム1におけるLIDAR22nの総数および設置位置(撮影方向も含めて)が決定される。
【0019】
そして、光検出部22これら各LIDAR22nの光検出情報をまとめた光検出情報SI22を、制御部10に出力する。なお、光検出部22は、各LIDAR22nの光検出情報から重複(同じ物体の)検出部分をまとめた(重複検出部分はどれか1つの検出結果を選択、あるいは該当の各物体の検出結果を統計手法等により処理して検出結果とする)合成検出結果を生成しても良い。この方法では、後の各光検出結果処理において、重複検出部分の処理が不要となるので、処理負荷が低くなる利点がある。
【0020】
環境測定部23は1以上の環境測定センサ23n(a~e)を備える。各環境測定センサ23aは測定対象位置における環境を測定し、測定結果を示す環境測定情報を生成及び出力する。測定される環境は測定対象位置の温度及び湿度を含む。環境測定センサ23nも、定点カメラ21nと同様に、支援対象領域全体における必要個所で必要な環境状態の検出が行えるように環境測定センサ23nの総数および設置位置が決定される。環境測定部23は、各環境測定センサ23nの環境測定情報をまとめた環境測定情報SI23を、制御部10に出力する。
【0021】
記憶部30は、磁気ディスク又は半導体メモリなどの任意の記録媒体から成る記録装置である。制御部10は、任意の情報を記憶部30に記録させることができると共に、記憶部30に記録された任意の情報を読み出すことができる。制御部10及び記憶部30は有線又は無線にて互いに双方向通信が可能な態様で接続される。制御部10の制御の下、記憶部30にてデータベースDBが形成及び保持される。データベースDBの詳細は後述する。
【0022】
インターフェース部40は、収納支援システム1とユーザとの間のマンマシンインターフェースであり、表示部41、操作部42、マイクロホン43及びスピーカ44を備える。制御部10及びインターフェース部40は有線又は無線にて互いに双方向通信が可能な態様で接続される。
【0023】
表示部41は液晶ディスプレイパネル等にて構成される表示装置であり、制御部10の制御の下で任意の画像を表示する。操作部42は、キーボード等の入力機器にて構成される操作入力装置であり、ユーザから任意の操作の入力を受け付ける。表示部41及び操作部42は、ディスプレイ表面にタッチスイッチシートが設けられたタッチパネルにより構成しても良い。マイクロホン43は、マイクロホン43の周辺の音を収音し、収音した音を電気信号に変換する。マイクロホン43の収音の対象は、主としてユーザの発話による音声である。スピーカ44は制御部10の制御の下で任意の音を出力する。なお、マイクロホン43とスピーカ44は、後述の音声対応部14による音声対話機能における音声入力および音声出力の動作も行う。また、以下の説明において、ユーザ操作・指示とは、インターフェース部40を介してユーザが収納支援システム1に入力する操作・指示を指し、タッチパネル等を用いた接触操作、音声操作等を含む。
【0024】
尚、制御部10とセンサ部20と記憶部30とインターフェース部40とは、各々別装置として構成しても、全てを一体した装置として構成しても、制御部10と他の1つあるいは2つの構成部を一体化した装置として構成しても良い。つまり、このようなパターンで構成された装置により、収納支援システム1は構成可能である。これは、センサ部20と記憶部30とインターフェース部40は、汎用的な別部品、別装置として流通されているものでもあることから、これら別部品、別装置を、コネクタ等を用いて制御部10を含む収納支援装置(又は管理者管理装置)に接続することにより効率的に収納支援システム1を実現できることを考慮したものである。
【0025】
図1の記憶部30に示す如く、データベースDBに、登録者データベースDBa、収納先データベースDBb、物品データベースDBc、総合管理データベースDBd及び所有者判定データベースDBeが設けられる。なお、登録者データベースDBa、収納先データベースDBb、物品データベースDBc及び総合管理データベースDBdがマスタデータとして機能するのに対し、所有者判定データベースDBeはトランザクションデータとして機能する。
【0026】
後述の初期登録処理において、登録者データベースDBaには、登録者ごとに登録者データレコード610が形成され、当該登録者に関するデータが格納される。尚、初期登録処理の後にも登録者のデータレコード610は登録者データベースDBaへ追加され得る。
【0027】
後述の初期登録処理において、収納先データベースDBbには、収納先ごとに収納先データレコード630が形成され、当該収納先に関するデータが格納される。収納先とは、何らかの物品を収納することのできる収納場所(家具又は空間等)を指し、住居HH内に設けられる。例えば、箪笥、クローゼット、おもちゃ箱、収納ケース、本棚、書庫、物置及びロッカーなどが、収納先に該当する。尚、初期登録処理の後にも収納先の収納先データレコード630は収納先データベースDBbへ追加され得る。
【0028】
後述の初期登録処理において、物品データベースDBcには、物品ごとに物品データレコード650が形成され、当該収納先に関するデータが格納される。登録された物品は、以下では、登録物品と称されることがある。物品データベースDBcに登録される物品データレコード650の物品とは、いずれかの収納先に収納される物品となる。尚、初期登録処理の後にも登録物品の物品データレコード650は物品データベースDBcへ追加され得る。
【0029】
総合管理データベースDBdは登録物品に対する様々な情報を管理するためのデータベースであり、総合管理データベースDBdには、登録物品ごとに管理データレコード670が形成され、当該登録物品に関するデータが格納される。総合管理データベースDBdには管理データレコード670以外のデータも記憶されるが、これについては後に説明する。尚、ここでは、データベースDBc及びDBdが別々に設けられているが、データベースDBc及びDBdの代わりに、データベースDBc及びDBdを統合したデータベースを設けるようにしても良い。データベースDBc及びDBdを統合したデータベースは登録物品ごとに物品データセット650と管理データセット670のデータを含む統合データレコードが形成され、対応するデータが記憶されることになる。
【0030】
所有者判定データベースDBeには、時刻及び登録物品ごとに所有者判定データレコード680が形成され、当該時刻及び登録物品に対応する各種データが格納される。この所有者判定データレコード680は、後述の所有者更新処理において生成される。
【0031】
また、所有者判定データベースDBeは、物品データベースDBcの一部として実装されてもよい。具体的には、物品データレコード650と所有者判定データレコード680とを登録物品をキーとして統合した統合データレコードを物品データベースDBcに記憶する。ただし、所有者判定データレコード680は、時刻ごとのデータレコードでもあるため、物品データレコード650に対して複数の所有者判定データレコード680の各データ群を分離(識別)可能に記憶できる形式(フォーマット)としておく必要がある。
【0032】
図4に登録者データベースDBaの構造及び登録者データベースDBa中のデータの例を示す。尚、本実施形態において用語“情報”と用語“データ”は互いに同義であると考えて良い。ここでは登録者が複数存在することを想定し、第i番目の登録者を第i登録者と称する。iは任意の自然数を表す。登録者iごとの登録者データレコード610iは情報611i~616iを含む。即ち、第1登録者の登録者データレコード6101は第1登録者の情報6111~6161を含み、第2登録者の登録者データレコード6102は第2登録者の情報6112~6162を含む(他の登録者も同様)。なお、
図4には左端列に第i登録者のデータが表記されているが、これは説明を分かりやすくするために表記したもので、実際には登録者データベースDBaにこのデータは含まれない。
図4では、図面の煩雑化防止又は図示の簡略化上、情報611~616の内、一部の情報についてのみ内容を図示し、幾つかの情報の内容の図示は割愛されている。
【0033】
第i登録者の情報611iは、各登録者iに固有の登録者IDを表す。登録者IDは登録者データレコード610iの識別データであって、また登録者データレコード610iの主キーとしての働きも行う。以下、第i登録者に対する登録者IDを記号「Ai」にて参照する。また、第i登録者の情報612iは、第i登録者の名前(本名又はニックネーム等)を表す。
【0034】
情報613iは各登録者iの収納指定区域を表す。収納支援システム1において住居HHの居住空間は複数の居住区域に分割して管理され、複数の居住区域の内の1以上の居住区域が、登録者ごとに収納指定区域iとして設定される。第i登録者の収納指定区域iは、第i登録者が所有者となっている物品を収納すべき居住区域を表している。
【0035】
制御部10は、画像認識によって、センシング空間内の各人物が何れの登録者iであるのかを識別する人物識別処理を実行する。情報614は当該人物識別を行うために参照される画認用画像情報である。第i登録者の情報614iは、第i登録者を撮影することで得られた画像情報を含む。識別の精度を高めるべく、第i登録者を複数の方向から撮影することで得られた複数枚の撮影画像に基づく画像情報を、第i登録者の情報614iに含めておくと良い。また、人物識別に適した部位の画像が好ましい点を考慮して、第i登録者の情報614iは、少なくとも第i登録者の顔画像の画像情報を含む。各登録者iの情報614iが登録者データベースDBaに格納された後、制御部10は、撮影画像情報SI21(
図1参照)と各登録者の情報614とに基づいて人物識別処理を実行することができる。なお、人物識別処理において光検出情報SI22が更に参照されても良い。この場合、人物の外観形状での人物識別となるので、当該外観形状での識別に適した各登録者iの外観形状データが登録者データベースDBaに記録されることになる。
【0036】
情報615iは各登録者iの嗜好を表す嗜好情報である(
図4においては具体的内容を表記せず、仮に符号で表記する)。情報616iは各登録者iの情報611~615に分類されない各登録者iに関する他情報である(
図4においては具体的内容を表記せず、仮に符号で表記する)。ユーザ等は、第i登録者の情報616iとして第i登録者に関する任意の情報を記録し、自由に当該情報を利用することができる。
【0037】
図5に収納先データベースDBbの構造及び収納先データベースDBb中のデータの例を示す。ここでは収納先が複数存在することを想定し、収納支援システム1に登録された第i番目の収納先を第i収納先と称する。本実施形態で述べる収納先は、特に記述なき限り収納支援システム1に登録された収納先を指す。収納先ごとの収納先データレコード630iは情報631i~638iを含む。即ち、第1収納先の収納先データレコード6301は第1収納先の情報6311~6381を含み、第2収納先の収納先データレコード6302は第2収納先の情報6312~6382を含む(他の収納先も同様)。
図5では、図面の煩雑化防止又は図示の簡略化上、情報631~638の内、一部の情報についてのみ内容を図示し、幾つかの情報の内容の図示は割愛されている。
【0038】
なお、
図5には左端列に第i収納先のデータが表記されているが、これは説明を分かりやすくするために表記したもので、実際には収納先データベースDBbにこのデータは含まれない。
【0039】
第i収納先の情報631iは、各収納先に固有の収納先IDを表す。収納先IDは登録者データレコード610iの識別データであって、また収納先データレコード630iの主キーとしての働きも行う。以下、第i収納先に対する収納先IDを記号「Bi」にて参照する。第i収納先の情報632iは第i収納先の名前(呼び名)を表す。各収納先は物品を収納可能な収納空間を有する。第i収納先の情報633iは、第i収納先が有する収納空間の全容積(以下、収納全容積と称する)を表す。なお、情報633iは、第i収納先の占める直方体形状・容積を示す情報が好ましいので、当該直方体の縦・横・高さの情報からなるのが、好ましい。第i収納先の情報634iは第i収納先の所在区域を表す。第i収納先の所在区域は上記複数の居住区域の何れかとなる。
【0040】
第i収納先の情報635iは第i収納先の3次元マップ(以下、3Dマップと称する)を表す。第i収納先の3次元マップは、少なくとも第i収納先の収納空間の大きさ及び形状を表す。第i収納先の3次元マップは、仮想3次元空間に設定されるデータであって、第i収納先の情報635により仮想3次元空間において第i収納先の収納空間が定義される。仮想3次元空間は制御部10により形成される仮想空間である。
【0041】
第i収納先の情報636iは第i収納先の推定残容積を表す(
図5において内容を図示せず)。第i収納先の推定残容積とは、第i収納先の収納全容積と、現時点において第i収納先の収納空間に収納されている物品の全容積との差を表し、前者から後者を差し引くことで第i収納先の推定残容積が得られる。つまり、第i収納先の推定残容積は、第i収納先に対して更に追加的に収納することのできる物品の最大容積を表す。なお、物品の形状・容積、また収納先の形状・容積により残容積は変化する(形成される隙間等により)ので、物品の占める容量の算出方法(物品が収納され得る直方体の箱の縦・横・高さの情報を物品の収納容量情報とする等)や残容積の算出方法(収納物品を避けて収納先に形成し得る直方体の縦・横・高さの情報を残容積情報とする等)を適宜設定して、推定残容積を算出するのが好ましい。
【0042】
第i収納先の情報637iは第i収納先の環境を表す環境情報である(
図5において内容を図示せず)。情報637iにより、第i収納先の環境として第i収納先の収納空間の温度及び湿度が示される。第i収納先の情報637iは、第i収納先の収納空間に設置された環境測定センサ23aから得られる。第i収納先の情報638iは情報631~637に分類されない第i収納先に関する他情報である(
図5においては具体的内容を表記せず、仮に符号で表記する)。ユーザ等は、第i収納先の情報638iとして第i収納先に関する任意の情報を記録し、自由に当該情報を利用することができる。
【0043】
図6に物品データベースDBcの構造及び物品データベースDBc中のデータの例を示す。ここでは登録物品が複数存在することを想定し、第i番目の登録物品を第i登録物品と称する。登録物品ごとの物品データレコード650iは情報651i~661iを含む。即ち、第1登録物品の物品データレコード6501は第1登録物品の情報6511~6611を含み、第2登録物品の物品データレコード6502は第2登録物品の情報6512~6612を含む(他の登録物品も同様)。
図6では、図面の煩雑化防止又は図示の簡略化上、情報651~661の内、一部の情報についてのみ内容を図示し、幾つかの情報の内容の図示は割愛されている。
【0044】
なお、
図6には左端列に第i登録物品のデータが表記されているが、これは説明を分かりやすくするために表記したもので、実際には収納先データベースDBcにこのデータは含まれない。
【0045】
第i登録物品の情報651iは、各登録物品に固有の物品IDを表す。物品IDは物品データレコード650iの識別データであって、また物品データレコード650iの主キーとしての働きも行う。以下、第i登録物品に対する物品IDを記号「Ci」にて参照する。第i登録物品の名称652iは、第i登録物品の名前(呼び名)を表す。なお、登録物品の名前(呼び名)は、一般的な商品名でもよいし、所有者等が付与した愛称等でも良い。第i登録物品の情報653iは第i登録物品の撮影画像であり、1以上の物品画像(1以上の物品画像の画像情報)が記録される。第i登録物品の情報654iは第i登録物品の形状(例えば三次元形状)を示す形状情報である。第i登録物品の情報655iは第i登録物品の容積(体積)を表す。なお、情報655iは、第i登録物品の占める直方体形状・容積を示す情報が好ましいので、当該直方体の縦・横・高さの情報からなるのが、好ましい。
【0046】
第i登録物品の情報656iは第i登録物品が何れの種類の物品に属するのかを表す分類情報である。なお、物品の種類の例としては、例えばおもちゃ、文房具、書籍、電子機器、キッチン用具及びスポーツ用具などがある。
【0047】
第i登録物品の情報657iは第i登録物品の所有者を表す。登録者データベースDBaに登録された何れかの登録者が第i登録物品の所有者となる。第i登録物品の情報658iは第i登録物品が物品データベースDBcに登録された日付(物品登録日)を表す登録日情報である。第i登録物品の情報659iは第i登録物品が収納されるべき規定収納先を表す。規定収納先は、収納先データベースDBbにて収納先ID(632)が割り当てられた何れかの収納先である。第i登録物品の情報659iとして、第i登録物品の規定収納先の収納先IDが設定される。
【0048】
第i登録物品の情報660iは第i登録物品の使用履歴を表す(
図6においては具体的内容を表記せず、仮に符号で表記する)。なお、使用履歴としては、使用タイミング、使用率、使用頻度と言った情報が使用される。情報661iは情報651~660に分類されない第i登録物品に関する他情報である(
図6においては具体的内容を表記せず、仮に符号で表記する)。ユーザ等は、第i登録物品の情報661iとして第i登録物品に関する任意の情報を記録し、自由に当該情報を利用することができる。
【0049】
図7に総合管理データベースDBdの構造及び総合管理データベースDBd中のデータの例を示す。上述したように、総合管理データベースDBdは登録物品ごとに管理データレコード670を有する。登録物品iごとの管理データレコード670iは情報671i~678i(ただし、676iは676-1i、676-2i、676-3iを含む)を含む。即ち、第1登録物品の管理データレコード6701は第1登録物品の情報6711~6781を含み、第2登録物品の管理データレコード6702は第2登録物品の情報6712~6782を含む(他の登録物品も同様)。なお、
図7には左端列に第i登録物品のデータが表記されているが、これは説明を分かりやすくするために表記したもので、実際には登録者データベースDBdにこのデータは含まれない。
図7では、図面の煩雑化防止又は図示の簡略化上、情報671~678の内、一部の情報についてのみ内容を図示し、幾つかの情報の内容の図示は割愛されている。
【0050】
第i登録物品の情報671iは、各登録物品iに固有の物品IDを表す。物品IDは管理データレコード670iの識別データでもあって、また管理データレコード670iの主キーとしての働きも行う。またこの物品IDのデータは、
図6における物品ID651と共通のデータが使用され、その結果、物品ID671と物品ID651のデータが同じである、総合管理データベースDBdの管理データレコード670と物品データベースDBcの物品データレコード650は、関連付けられる。
【0051】
第i登録物品の情報672iは第i登録物品が現在収納されている収納先(以下、現収納先と称され得る)を表す。第i登録物品の収納先672iとして、収納先データベースDBbの収納先ID632で使用されるデータと共通の収納先IDデータが記録される。従って、収納先ID672と収納先ID632のデータが同じである、総合管理データベースDBdの管理データレコード670と収納先データベースDBbの収納先データレコード630は、関連付けられる。
【0052】
第i登録物品の情報673iは第i登録物品の使用者を表す。第i登録物品の使用者iは1以上の登録者である。第i登録物品の使用者673iとして、登録者データベースDBaの登録者ID611で使用されるデータと共通の登録者IDデータが記録される。従って、使用者673と登録者ID611のデータが同じである、総合管理データベースDBdの管理データレコード670と登録者データベースDBaの登録者データレコード610は、関連付けられる。
【0053】
第i登録物品の情報674iは第i登録物品の最終使用者を表す情報である。第i登録物品の最終使用者674iとして、登録者データベースDBaの登録者ID631で使用されるデータと共通の登録者IDデータが記録される。従って、最終使用者674と登録者ID631のデータが同じである、総合管理データベースDBdの管理データレコード670と登録者データベースDBaの登録者データレコード610は、関連付けられる。
【0054】
第i登録物品の情報675iは第i登録物品の移動履歴を表す。第i登録物品の情報676i-1i、676-2i、676-3iは、夫々、第i登録物品に対する廃棄提案フラグ、廃棄済推定フラグ、消耗品フラグを表す。第i登録物品の情報677iは第i登録物品の状態(物品状態)を表す。情報678iは情報671~677に分類されない第i登録物品に関する他情報である。ユーザ等は、第i登録物品の情報680iとして第i登録物品に関する任意の情報を記録し、自由に当該情報を利用することができる。なお、
図7において移動履歴675、廃棄提案フラグ676-1、廃棄済推定フラグ676-2、消耗品フラグ676-3、物品状態677と他情報678とは具体的内容を表記せず、仮に符号で表記する。
【0055】
また、総合管理データベースDBdは、総合管理データベースDBdの内容が最後に更新された日時を表す更新日時679を記録する。
【0056】
図8に所有者判定データベースDBeの構造及び所有者判定データベースDBe中のデータの例を示す。所有者判定データベースDBeは所有者判定ごとに判定データレコード680を有する。所有者判定iごとの判定データレコード680iは情報681i~687iを含む。即ち、第1所有者判定の判定データレコード6801は第1所有者判定の情報6811~6871を含み、第2登録物品の管理データレコード6802は第2登録物品の情報6812~6872を含む(他の所有者判定も同様)。なお、
図8では、図面の煩雑化防止又は図示の簡略化上、情報681~687の内、一部の情報についてのみ内容を図示し、幾つかの情報の内容の図示は割愛されている。
【0057】
第i所有者判定データレコード680iの情報681iは、後述する所有者判定処理における、判定時刻を表す。なお、好ましい例では、所有者判定はシステム設計者等により予め定められた判定に適した量の判定用情報を収集できる所定時間間隔で行われる。そして、所有者判定は、判定時刻直前の上記所定時間の間に収集された判定用情報を用いて行われることになる。但し、後述する判定方法では、より精度の高い判定を図るため、以前の判定結果も考慮した判定方法として、所有者判定にフィルタ処理を施したものとしている。
【0058】
また、第i所有者判定データレコード680iの情報682iは、所有者判定処理における、判定対象の登録物品を識別する物品IDである。情報682iの物品IDは、物品データベースDBcの情報651(
図6)に記憶に使用されるものと同じ物品IDが使用される。つまり、情報682及び情報651のデータが同じ登録物品の管理データレコード670mと所有者判定データレコード680nは互いに関連付けられる。
【0059】
第i所有者判定データセット680iの情報683i及び情報684iは、情報681iの時刻においてそれぞれ画像及び音声に基づき推定(計算)された、情報682iで特定される物品の所有者候補と所有者であることの確からしさである。
【0060】
第i所有者判定データレコード680iの情報683iは、情報682iで特定される物品に対する各所有者候補とその所有者である確率の情報である。そして、この画像認識結果情報683iはカメラ撮影画像に基づき推定された確率で、詳細は後述するが、登録物品と登録者の接触時間に基づき算出される。登録物品と登録者の接触については、物理的に両者が接触している(距離0)だけでなく、同じ部屋に存在している(使用等している場合が好ましいので、収納場所から取り出されている等の条件を付加しても良い)、登録者が登録物品を使用している(電子機器等の場合は遠隔使用の場合が多いのでこの方法(電源オンの条件等で判定)が適している)と言った、登録者が登録物品の所有者としての行動を行っている意味で用いている。
【0061】
また、第i所有者判定データレコード680iの情報684iも、情報682iで特定される物品に対する各所有者候補とその所有者である確率の情報である。そして、この音声認識結果情報684iは各部屋等に設置されたマイクロホン43で取得された音声に基づき推定された確率で、詳細は後述するが、登録物品と登録者の接触時間に基づき算出される。つまり、音声の声紋分析による発声人物を特定し、またその音声が取得されたマイクロホン43の設置位置から発声人物の位置を特定する。そして、その特定した発声人物およびその位置と、登録物品と発声人物との接触状態(接触時間)を推定し、その接触時間に基づき音声認識結果情報が算出される。他、音声の言語認識結果に基づき、例えば、言語認識結果である会話内容における登録物品の存在状況と会話時間に登録物品と発声人物との接触状態(接触時間)を推定するといった方法も適用可能である。
【0062】
第i所有者判定データレコード680iの情報685iは、情報683i及び情報684iを基に計算される、つまり情報685iは、画像及び音声に基づき推定(から計算)された、情報682iで特定される物品の所有者候補が所有者であるというデータの信頼度である。つまり、情報685iは、画像及び音声に基づき推定(から計算)された、情報682iで特定される物品の各所有者候補が所有者であるというデータの信頼度である。
【0063】
第i所有者判定データレコード680iの情報686iは、情報685iに示す各所有者候補信頼度を基に計算される、情報682iで特定される物品の所有者候補と所有者であるというデータのスコアであり、最終的な所有者の判定に使用される。スコアは、現在の信頼度に加え、過去の信頼度に基づき計算される。
【0064】
第i所有者判定データレコード680iの情報687iは、所有者判定処理の所有者判定結果で、所有者であると判定されたユーザを表す。
【0065】
次に収納支援システム1の運用前の準備工程について説明する。この準備工程は、
図9に示す如く、ステップS1の設置工程、そしてステップS2の計測・校正工程、続いてステップS3の初期登録工程が実施され、実運用、つまり物品の所有者判定やその結果表示等の動作が可能となる。
【0066】
ステップS1の設置工程では、収納支援システム1の設置業者、ユーザ等により、各定点カメラ21a、各LIDAR22a及び各環境測定センサ23a等が、事前に検討された住居HH内の適所に設置される。例えば、各居住区域には1台以上の定点カメラ21aおよび1台以上のLIDAR22aが設置され、また各居住区域には1か所以上の収納先が設置され、そして各収納先に1台の環境測定センサ23aが設置される。
【0067】
ステップS2の計測・校正工程では、各定点カメラ21a、各LIDAR22a及び各環境測定センサ23a等の設置状態(位置、向き等)の計測、住居HHにおける各居住空間の計測が行われ、また必要に応じて各センサ類の設置位置の調整や処理に用いる補正データの生成といった校正作業が行われる。また、校正作業が行われた各定点カメラ21a、各LIDAR22aによって行われた住居HHにおける各居住空間の計測結果を用いて、住居HH全体(各居住空間の繋がり・位置関係等を含む)や各居住空間の3次元形状を表す3Dマップが作成される。なお、各居住空間の3Dマップについては、住居HHの建築に関するデータ、設計図面データ等に基づき作成する等しても良い。
【0068】
また、計測・校正工程において、全空間3Dマップ内の各位置と実際の3次元空間であるセンシング空間内の各位置との対応付けが行われる。また、計測・校正工程では、各定点カメラ21aの位置及び撮影方向並びに各LIDAR22aの位置及び光の出射方向が測定・校正等され、そして3Dマップに対してこれらの情報が対応付けられる。
【0069】
このような計測・校正工程の作業により、各定点カメラ21a、各LIDAR22a及び各環境測定センサ23aにおける設置位置や計測範囲、そして住居HHにおける各居住空間の位置等の位置関係が把握可能となる。従って、例えば各定点カメラ21a、各LIDAR22aの計測結果により、センシング空間内の各人物又は各物品の位置及び移動状態(各居住空間に対する位置関係)を把握することが可能となる。
【0070】
ステップS3の初期登録工程では、収納支援システム1の動作に必要な情報の初期登録処理を実行する。初期登録処理は、人物登録処理、収納先登録処理及び物品登録処理を含む。初期登録処理は、ユーザ操作、例えばキーボード等による入力操作や、予め容易された情報(情報が記憶された記録媒体の接続、情報が記憶されたサーバにネットを介して接続等)の取り込み操作に基づいて実行される。
【0071】
初期登録工程における収納支援システム1(制御部10)の実行する人物登録処理について説明する(
図4登録者データベースDBa参照)。人物登録処理において、登録処理部11は、ユーザ操作に基づき、人物毎に登録者データベースDBaにデータレコードを生成して、各データを記憶する。具体的には、登録処理部11は、新たな第i登録者のデータ入力に基づき、登録者データベースDBaにデータレコードiを生成する。そして、登録処理部11は、予め定めた付与方法で登録者毎に異なった登録者IDを生成し、データレコードiに登録者ID情報611iとして登録する。そして、登録処理部11は、入力された当該登録者iの名前、収納指定区域データ、画認用画像情報、嗜好情報、他情報を、データレコードiに名前612i、収納指定区域データ613i、画認用画像情報614i、嗜好情報615i、他情報616iとして記憶する。
【0072】
なお、実運用工程等における人物登録情報の修正の際は、ユーザの情報変更操作等に基づき、修正対象第i登録者のデータレコードiに記憶された修正対象データを書き換えることになる。例えば、
図4の例では、登録処理部11は、データレコード6101、6102および6103に、第1、第2及び第3登録者として、両親及びその子供の各情報が登録する。そして登録処理部11は、登録者ID611および名前611として、両親及びその子供のIDコード及び氏名を登録する。
【0073】
また登録処理部11は、収納指定区域613として、各登録者が良く利用している部屋等、収納先として希望している部屋等、例えば1階洋室及び1階和室等を登録する。
【0074】
また登録処理部11は、画認用画像情報614として、登録者の認識に適した比較用画像データ、ここでは各投稿者における顔の正面と両側面、そして全身正面画像を登録する。また登録処理部11は、嗜好情報615として、ユーザ操作等により入力された登録者の嗜好を表す情報を登録する。他、登録処理部11は、他情報616として、ユーザ操作等により入力された登録者に関する各種情報を登録する。
【0075】
初期登録工程における収納支援システム1(制御部10)の実行する収納先登録処理について説明する(
図5収納先データベースDBb参照)。収納先登録処理において、登録処理部11は、ユーザ操作に基づき、収納先毎に収納先データベースDBbにデータレコード630iを生成して、各データを記憶する。具体的には、登録処理部11は、新たな第i収納先のデータ入力に基づき、収納先データベースDBbにデータレコードiを生成する。そして、登録処理部11は、予め定めた付与方法で収納先毎に異なった収納先IDを生成し、データレコードiに収納先ID情報631iとして登録する。そして、登録処理部11は、入力された当該第i収納先の名称、収納全容量、所在区域、3Dマップ情報、他情報を、データレコードiに名称632i、収納全容量633i、所在区域634i、3Dマップ635i、他情報638iとして記憶する。なお、第i収納先の推定残容量636i、環境637iのデータは、実運用工程における第i収納先への物品の収納状況変化、第i収納先の環境変化に基づき登録(更新登録)されることになる。なお、実運用工程等における収納先情報の修正の際は、ユーザの情報変更操作等に基づき、修正対象第i収納先のデータレコードiに記憶された修正対象データを書き換えることになる。
【0076】
登録処理部11は、収納先データベースDBbにおける各データレコードiの各情報について、ユーザ操作等によって入力された該当データを登録する。なお、登録処理部11は、各所に設置された定点カメラ21nの撮影画像データとその設置位置データに基づき画像解析処理を行って、第i収納先に関する名称、収納全容量、所在区域、3Dマップ情報を推定し、その推定結果を収納先データベースDBbにおける各データレコードiの各情報として登録しても良い。例えば、収納先登録処理において、第i収納先の収納空間が、第i収納先の収納空間を撮影可能な定点カメラ21aにて又は他の任意のカメラにて撮影される。その撮影結果が登録処理部11に与えられ、登録処理部11は当該撮影結果に基づいて第i収納先の収納全容積を推定すると共に第i収納先の3Dマップを生成する。そして、これら第i収納先の収納全容積の推定結果が収納全容量633iとして、また生成された3Dマップが3Dマップ635iとして、データベースDBbのデータレコードiに格納される。
【0077】
尚、所在区域634と
図4の登録者データベースDBaの収納指定区域613とに登録されるデータは同じデータ種が用いられるようになっており、所在区域634と収納指定区域613のデータが同じデータレコード同士は関連付けされる(リンクされる)ことになる。例えば、第i登録者の収納指定区域(
図4の情報613に対応)に第j収納先の所在区域が含まれるとき、第j収納先は第i登録者の所有物を収納すべき収納先の1つとして第i登録者に対応付けられる。結果、各収納先は何れかの登録者に対応付けられる。1つの収納先が一人の登録者にのみ対応付けられることもあるし、1つの収納先が複数の登録者に対応付けられることもある。
【0078】
初期登録工程における収納支援システム1(制御部10)の実行する物品登録処理について説明する(
図6物品データベースDBc参照)。物品登録処理において、登録処理部11は、ユーザ操作に基づき、収納対象の物品毎に物品データベースDBcにデータレコード650iを生成して、各データを記憶する。具体的には、登録処理部11は、新たに登録する物品である第i登録物品のデータ入力に基づき、物品データベースDBcにデータレコードiを生成する。そして、登録処理部11は、予め定めた付与方法で物品毎に異なった物品IDを生成し、データレコードiに物品ID情報651iとして登録する。そして、登録処理部11は、入力された当該第i登録物品の名称、物品画像、形状情報、物品容量、分類情報、所有者、物品登録日、規定収納先、他情報を、データレコードiに名称652i、物品画像653i、形状情報654i、物品容量655i、分類情報656i、所有者657i、物品登録日658i、規定収納先659i、他情報661iとして記憶する。なお、第i登録物品の使用履歴660iのデータは、実運用工程における第i登録物品の使用状況に基づき登録(更新登録)されることになる。
【0079】
なお、実運用工程等における物品情報の修正の際は、ユーザの情報変更操作等に基づき、修正対象第i登録物品のデータレコードiに記憶された修正対象データを書き換えることになる。
【0080】
登録処理部11は、物品データベースDBcにおける各データレコードiの各情報について、ユーザ操作等によって入力された該当データを登録する。なお、登録処理部11は、各所に設置された定点カメラ21nの撮影画像データとその設置位置データ、撮影日時データ等に基づき画像解析処理を行って、第i登録物品に関する名称、物品画像、形状情報、物品容量、分類情報、所有者、物品登録日、規定収納先を推定し、その推定結果を物品データベースDBcにおける各データレコードiの各情報として登録しても良い。
【0081】
例えば、物品登録処理において、第i登録物品が定点カメラ21aにて又は他の任意のカメラにて撮影され、物品画像が生成される。なお、必要に応じて第i登録物品は互いに異なる方向(視点)から複数枚撮影され、撮影された複数の画像が適宜選択され登録される物品画像データとなる。また、これらの第i登録物品の撮影画像に画像解析処理が施され、第i登録物品の形状(例えば三次元形状)を示す情報、大きさ(容積)を示す情報、物品の種類が推定される。なお、これらの推定処理は、ディープニューラルネットワーク(DNN)技術等により実現可能である。そして、これらの第i登録物品に関する各情報が、登録処理部11により、物品データベースDBcにおける第i登録物品のデータレコードの該当項目部分に記憶される。なお、ここでは定点カメラ21a等による第i登録物品の撮影画像を画像解析処理することにより第i登録物品に関する各情報を生成し物品データベースDBcに登録しているが、ユーザ操作に基づきこれらデータを記憶するようにしても良い。
【0082】
そして、第i登録物品の各情報が物品データベースDBcに登録された日付が、物品データベースDBcにおける第i登録物品のデータレコードiに日付情報658iとして記憶される。
【0083】
なお、第i登録物品の使用履歴情報661iについては、物品の使用状況により変化する情報であるので、実運用工程の中で新たな使用毎にデータが更新記憶されることになる。
【0084】
また、
図7の総合管理データベースDBdについては、登録処理部11は、
図6の物品データベースDBcにおいて第i登録物品に対するデータレコードを生成するのに合わせて、第i登録物品に対するデータレコードiを生成する。そして、登録処理部11は、物品データベースDBcの物品ID情報651iと同じ物品ID情報を、総合管理データベースDBdのデータレコードiに物品ID情報671iとして登録する。なお、総合管理データベースDBdにおける物品ID情報671i以外の各情報i(他情報680iは情報内容による)は、物品の使用状況により変化する情報であるので、実運用工程の中で更新記憶されることになる。
【0085】
実運用工程について説明する前に、
図1を再度参照し、登録処理部11以外の制御部10の各機能ブロックの機能を説明する。物体検出部12、トラッキング処理部13、音声対応部14及び通知部15、判定部16及び更新処理部17は、実運用工程において有益に動作する。以下における各種の動作は、特に記述なき限り、ステップS3の初期登録工程が完了した後の動作であるとする。
【0086】
物体検出部12は、カメラ部21の撮影画像情報SI21と、各登録者の画認用画像情報614と、各登録物品の物品画像653と、に基づき、画像における画素のマッチング処理等を用いて、物体、ここでは物品(登録物品)と人物(登録者)の検出処理を行う。物体検出処理は光検出情報SI22も更に参照して実行されるものであっても良い。物体検出処理では、センシング空間に存在する各物体の種別(識別情報:物品ID651、登録者ID611)とその位置が検出されることになる。物体検出処理は、画像を用いた各種検出処理、例えばセンシング空間内の各物体の色の検出処理等も含んでいて良い。
【0087】
トラッキング処理部13は、順次実行される物体検出処理の結果に基づき、センシング空間内の各物体(各登録者及び各登録物品を含む)の位置を追跡検知するトラッキング処理を行う。
【0088】
音声対応部14は、マイクロホン43にて収音されたユーザの発話内容を認識する音声認識処理を行うと共に、ユーザの発話内容に対して応答する応答処理を実行する。応答処理では、応答内容を示す画像(文字等)が表示部41に表示されても良いし、これに代えて又はこれに加えて、応答内容を示す音声がスピーカ44から出力されても良い。尚、特に図示しないが、制御部10に文字入力認識機能を設け、制御部10は、表示部41に設けられたタッチパネル上にユーザが入力した文字を認識し、認識した文字に応答する上述のような応答処理を行っても良い。
【0089】
通知部15はユーザに対して様々な通知を行う。ユーザに対する各種通知は、通知内容を示す画像を表示部41に表示することによる通知(以下、画像通知と称する)であっても良いし、通知内容を示す音声をスピーカ44から出力することによる通知(以下、音声通知と称する)であっても良く、画像通知及び音声通知の双方からなる通知であっても良い。
【0090】
判定部16は、物品の使用状況を基に、つまり所有者判定データベースDBeの各情報を基に当該物品の所有者を判定する。そして判定部16は、所有者判定データベースDBeに所有者判定結果情報687として、判定した当該物品の所有者の識別情報を記録する。
【0091】
更新処理部17は、判定部16が判定した物品の所有者で、物品データベースDBcの所有者情報657を更新する。判定部16が判定した物品の所有者は、推定管理者識別情報の一例である。物品データベースDBcの所有者情報657は、管理者識別情報の一例である。
【0092】
次に、物品の所有者の判定処理および更新処理を説明する。
図11は、所有者判定更新処理のフローチャートである。この処理は、制御部10(判定部16、更新処理部17)により、予め定められた時間間隔で到来する判定時刻に実行される。なお、ステップS101~S104の処理における詳細については、本フローチャートの全貌の説明後に説明する。
【0093】
図11に示すように、ステップS101において、制御部10(判定部16)は、画像認識結果に基づき登録者ごとの各登録物品の所有者である確率(以降、所有者確率と称する)を計算し、ステップS102に移る。ステップS102において、制御部10(判定部16)は、音声認識結果に基づき登録者ごとの各登録物品の所有者確率を計算し、ステップS103に移る。
【0094】
ステップS103において、制御部10(判定部16)は、画像認識結果に基づく登録者ごとの各登録物品の所有者確率と、音声認識結果に基づく登録者ごとの各登録物品の所有者確率とに基づき、登録者ごとの各登録物品の所有者である信頼度(以降、所有者信頼度と称する)を計算し、ステップS104に移る。ステップS104において、制御部10(判定部16)は、現在(最新)の登録者ごとの各登録物品の所有者信頼度と、過去(前回)の登録者ごとの各登録物品の所有者信頼度とに基づき、登録者ごとの各登録物品の所有者である評価値としてスコア(以降、所有者スコアと称する)を計算し、ステップS105に移る。
【0095】
ステップS105において、制御部10(判定部16)は、登録者ごとの各登録物品の所有者スコアに基づき各登録物品の所有者を決定し、例えば最高スコアの登録者を該当物品の所有者として、ステップS106に移る。ステップS106において、制御部10(更新処理部17)は、各物品の所有者変更があったか判断し、所有者変更があればステップS107に移り、所有者変更がなければ処理を終える。ステップS107において、制御部10(更新処理部17)は、物品データベースDbcにおける所有者変更があった物品のデータレコードの所有者情報657のデータを新たな所有者(所有者ID)に更新し、処理を終える。
【0096】
次に、ステップS101における画像認識結果に基づく所有者確率の計算方法の具体例を
図8に示した所有者判定データベースDBeを用いて説明する。
【0097】
物品の所有者は、物品の使用時間が非所有者より長いと考えられる。また、物品の使用時間は、物品と接触する時間、あるいは物品と同一の空間(本例では、同じ部屋等)に滞在する時間で推定できる。そこで、本実施形態では、各登録者と各登録物品が同一空間に存在している時間により各登録物品に対する各登録者の所有者確率を算出する。なお、物品と接触する時間による所有者判定も、同様の方法(「同一空間に存在している時間」が「接触時間」に変わる)となる。
【0098】
各登録者と各登録物品が同一空間に存在している時間の情報(以降、物品使用時間と称する)は、物体検出部12が例えば各定点カメラ21によるセンシング空間内の各部屋の画像を解析して得た、各登録者と各登録物品の位置関係、検出した部屋情報に基づき得ることができる。尚、対応する収納場所に登録物品が存在する場合は、物品が不使用状態にあるので各登録者と各登録物品が同一空間に存在している時間から除外するのが好ましい。また、登録物品が電化製品等の場合は、当該物品が起動していなければ(電源オン状態をスイッチの状態(カメラ画像解析や音声出力(当該物品特有の音声を検出)状況等で判断))、各登録者と各登録物品が同一空間に存在している時間から除外するのが好ましい。
【0099】
また、画像認識処理および音声認識処理による各登録者と各登録物品の認識については、誤認識が伴い、また撮影画像の状態(撮影環境(明るさ等)、人物・物品の撮影角度や距離等)によって認識率が変化する。このため、本実施形態においてはこのような認識率も考慮した物品所有者の推定処理を行う。つまり、各登録物品について、各登録者の物品使用時間の比率、つまり各登録者による物品の利用頻度、そして人物および物品の認識率に基づき所有者確率を算出する。なお、物品の利用頻度としては、物品使用時間の比率以外に、物品使用回数の比率と言ったものなど、頻度としての性質を持つ各種パラメータを使用することが可能である。
【0100】
前述の通り、物体検出部12は、センシング空間内の各登録物品および各登録者の有無を検出し、それらの位置を検出する。また、物体検出部12は、画像認識処理等により各物体および各登録者を識別する。
【0101】
例えば、物体検出部12は、機械学習の手法で学習済み(各登録物品および各登録者の画像と正解データ(各登録物品および各登録者の識別データからなる学習データセットで学習))のDNNを用いて、画像中に存在する各登録物品および各登録者を検出し、そして検出した画像中における各登録物品および各登録者の位置を検出する。そして、これら検出した各時刻における各登録物品および各登録者の位置から、各登録物品および各登録者が接近している時間を算出し、各登録物品の所有者確率を算出する。
【0102】
図12は、画像認識処理の場面例を示す図であり、この例を用いて登録物品の所有者確率の算出例を説明する。なお、この算出例はあくまでも一例であり、各算出式等は同様の所有者確率の算出思想に基づきいろいろな形式のものを適用することが可能である。
【0103】
図12に示す例は次のような状況例とする。登録者P1は時刻t
aにおいて登録物品G1を手に取り(接触開始)、時刻t
bにおいて手放す(接触終了)。そして、登録者P2は時刻t
bにおいて登録物品G1を手に取り(接触開始)、時刻t
cにおいて手放す(接触終了)。また、時刻t
aから時刻t
bまでの時間長は時間長ab、時刻t
bから時刻t
cまでの時間長は時間長bcとする。なお、時刻t
aから時刻t
cまでの時間が所有者確率の判定間隔となっており、この時間内の測定データで所有者確率が算出され(時刻t
c)、その後(次の判定間隔期間)の処理で当該算出された所有者確率が使用されることになる。さらに、時刻t
aから時刻t
bまでの期間における登録者P1、P2および登録物品G1、G2(G1と誤認識される物品例)の認識率を各々FP1、FP2およびFG1、FG2とする。なお、これらの認識率は、DNNで構成された物体検出部12において、DNNで算出された各登録者および登録物品である旨の確率値を用いることや、撮影条件を示すデータを予め定めた算出式に適用して算出した算出値を用いること等が可能である。
【0104】
登録者Pnが登録物品Gmの所有者(管理者)である確率(所有者確率(管理者確率))は、登録物品Gmが誰かに接触されている全時間(WPT)に対する登録者Pnが登録物品Gmに接触されている時間(AT)の割合(AT/WPT)で推定する。また、登録者Pnおよび登録物品Gmの認識率(ここでは画像認識による認識率。なお、音声認識による認識率でも以下の処理は同様なものとなる。)はFPn、FGmである。従って、認識率も考慮した登録者Pnの登録物品Gmに対する所有者確率PVnmは、以下の式で表される。
PVnm = ab / (ab+bc) * FPn * FGm
【0105】
従って、上述の状況例における登録者P1、P2の登録物品G1に対する所有者確率は次のようになる。
PV11 = AT / WPT * FP1 * FG1
PV21 = AT / WPT * FP2 * FG1
【0106】
なお、各登録物品について各登録者の所有者確率の和が1(100%)となるように正規化処理(各所有者確率を同じ係数で積算して増減して、その総和が1となるようにする)するのが好ましく、本例でもそのような正規化処理を行う。また、所有者確率の算出期間に対する各登録者の物品への接触総時間が予め定めた必要な信頼性が得られないと判断できる所定時間より短い場合には、所有者確率の算出結果は信頼性が低くなると考えられるため、当該算出結果は所有者判断からは除外すると言う処理も有効である。
【0107】
そして、このようにして求められた時刻tc(時刻taから時刻tcまでの画像、音声データに基づく判定時刻)における各登録物品に対する各登録者の所有者確率の算出結果が
図8の所有者判定データベースDBeに記憶されることになる。
【0108】
図8に表示されたデータの記憶例を説明すると、時刻t11の判定結果である物品G1に対する所有者確率値が、時刻681が時刻t11、物品ID682が物品G1で特定されるデータレコード680i(iはt11・G1で規定される。以降、680i(tn・Gm)の形式で表記する)に記憶される。具体的なデータ例では、画像認識による所有者確率値として時刻t11で算出された「天太:90%,天子:10%」が画像認識結果683iとして記憶され、音声認識による所有者確率値として時刻t11で算出された「天太:90%,天子:10%」が音声認識結果値684iとして記憶される。
【0109】
また、信頼度685に記憶されるデータは、各登録物品に対する各登録者が所有者である信頼度を示す信頼度値で、ここでは画像認識結果値683iと音声認識結果値684iの平均値、つまり画像認識結果値683iと音声認識結果値684iを統合した統合所有者(管理者)確率としてこの平均値を適用している。なお、平均値を計算する処理は、平均化処理の一例である。具体的なデータ例では、データレコード680i(t11・G1)には、当該データレコード680iの画像認識結果値683iと音声認識結果値684iとの平均である「天太:90%,天子:10%」が音声認識結果値684iとして記憶される。
【0110】
なお、信頼度685の算出方法は平均に限らず、画像認識と音声認識の精度等に応じて重みづけて平均する算出方法等、画像認識結果値683iと音声認識結果値684iを用いた適当な算出方法が適用できる。
【0111】
また、判定スコア686に記憶されるデータは、各登録物品に対する所有者を決定する判定スコアで、本実施形態では1つ前の判定時刻における判定スコア値686i-1と現判定時刻における信頼度値685iとの加重平均(ここでは、重みづけ係数は、共に0.5)を新たな判定スコア値686iとして算出する。なお、加重平均の重みづけ係数は製品(システム)設計開発時の実験結果等に基づき、適当な値に設定されることになる。
【0112】
なお、ここでは1つ前の判定時刻における判定スコア値686i-1と現判定時刻における信頼度値685iとの加重平均を判定スコア値686iとしているので、過去の全判定スコア値の移動平均処理(1つ古くなるごとに係数が半減する)を行っているとも言える。
【0113】
具体的なデータ例では、データレコード680i(t11・G1)には、当該データレコード680iの信頼度値685iである「天太:90%,天子:10%」と、データレコード680i(t10・G1)の判定スコア値686i(ここでは初期設定値の「天太:100%,天子:0%」)との加重平均(重みづけ係数は、共に0.5)である「天太:95%,天子:5%」が、判定スコア値686i(t11・G1)として記憶される。
【0114】
そして、所有者判定結果687に記憶されるデータは、各登録物品に対する所有者として決定された登録者で、現判定時刻に対するデータレコードにおける判定スコア値686iが最大の登録者が所有者として記憶される。この所有者判定結果687に記憶された所有者判定結果値687iが、後の各種処理(例えば、登録物品の所有者表示)によって所有者として扱われることになる。
【0115】
具体的なデータ例では、データレコード680i(t11・G1)においては、時刻t11における登録物品G1に対する所有者として、当該データレコードにおける判定スコア値686iが最大の登録者「天太(判定スコア95%)」が記憶される。また、データレコード680i(t13・G1)においては、時刻t13における登録物品G1に対する所有者として、当該データレコードにおける判定スコア値686iが最大の登録者「天子(判定スコア80%)」が記憶される。なお、最新の所有者(現所有者)は、最新の時刻(
図8の例では時刻t14)に対するデータレコード680i(
図8の例ではデータレコード680i(t14・G1))における所有者判定結果値687i(
図8の例では「天子」)となる。
【0116】
なお、
図8の例では、説明を分かりやすくするために登録者(所有者)を実名で表記しているが、実際にはデータの識別性、低容量性を考慮して識別コード(登録者ID)を使用することになる。
【0117】
そして、登録物品G1の最新の所有者(現所有者)が変更された場合は、物品データベースDBcにおける該当の登録物品に対するデータレコードの所有者情報657iを最新の所有者データで更新し、物品登録日658iを所有者判定日時データで更新する。
【0118】
なお、各登録者との接触が無い登録物品については、上述の各データの算出処理は行われず、所有者判定データベースDBeにおける各データ、および物品データベースDBcにおける所有者判定結果687の所有者情報657iは更新されない。また、判定スコア値686iの算出に用いられる加重平均の重みづけ係数については、前回の算出時からの経過時間が長い程、過去情報に対する重みづけ係数を軽くする処理(古いデータは信頼性が低くなるので、時間経過に伴いその影響度を小さくする)も適用可能である。
【0119】
また、登録物品に対する所有者の変更があった場合、物品データベースDBcにおける規定収納先情報659iを変更後の所有者に応じた収納先に変更(更新)する。具体的には、更新処理部17は次のような処理を行う。登録者データベースDBaにおける登録者ID情報612iが変更後の所有者のID情報であるデータレコードを検索し、検索されたデータレコードの収納指定区域情報613i、つまり変更後の所有者に適した収納先区域(部屋)を読み出す。そして、この読み出した収納先区域情報で、収納先データベースDBbの所在区域情報634iを検索し、検索したデータレコードの収納先ID情報632iを新たな収納先として決定する。なお、収納先候補が複数生じた場合は、収納先候補における収納容量と収納残容量と収納空間形状(収納先データベースDBbにおける収納全容量情報633iと収納残容量636iと3Dマップ情報635i)と、収納対象登録物品の容積と形状(物品データベースDBcにおける物品容積情報655iと形状情報654i)との比較処理により収納先を決定するのが好ましい。
【0120】
また、各センサ(カメラ、マイクロホン)は、常に正常に機能し、信頼できる情報を提供するとは限らない。例えば、センサは、照明、雑音といった外乱の影響を受けることにより、不正確な情報を出力する場合がある。
【0121】
例えば、カメラが強い日差しを受けてハレーションを起こしたり、逆に非常に暗い場合にコントラストが不十分になったり、ノイズの影響を強く受けたりして、良好な画像解析ができなくなる場合がある。また、マイクロホンでは、雑音が多い環境では発話者の音声のS/Nが小さくなり、良好な音声解析ができなくなる場合がある。
【0122】
そこで、本実施形態では、制御部10(判定部16)が、各センサ(カメラ、マイクロホン)の出力の信頼度が予め定めた所定域閾値以下となった場合に、登録物品に対する所有者の判定は行わず、所有者情報の更新を禁止する。なお、各センサ(カメラ、マイクロホン)の出力の信頼度については、周囲環境(明るさ(カメラ)や雑音(マイクロホン)等)による推定や、カメラ画像に基づく所有者判定結果(所有者確率等)とマイクロホン音声に基づく所有者判定結果(所有者確率等)の乖離状態(乖離が大きい程、信頼度が低い)による推定が可能である。
【0123】
また、通知部15は、更新処理部17がデータベースに登録された管理対象に対応するユーザ、即ち所有者を変更した場合、所有者が変更されたことを音声又は文字によりユーザに通知する。
【0124】
例えば、通知部15は、
図8で例示するように時刻t
13に所有者が変更された場合、「ポン助の所有者が天太から天子に変わりました。」というメッセージを表示部41に表示し、当該メッセージを音声(音声合成)でスピーカから出力させる。これにより、ユーザは物品の所有者が変更されたことを確認でき、物品の所有者の変更にともなう収納支援機能の動作の変更にユーザが戸惑うことを防止できる。
【0125】
これまで、物品がおもちゃである場合を例に説明したが、物品はおもちゃに限られない。管理対象の物品は、文房具、書籍、電子機器、スポーツ用具、収納用具(バッグ、ランドセル)等であってもよい。
【0126】
また、管理対象は物品ではなく、サービスであってもよい。例えば、PC、スマートホン等の電子機器、及び自動車等のレンタル、リースの権利等でも適用可能である。このようなサービスにおいては、対象のサービスの利用(使用)権利者が、上述の装置における物品の所有者と同等に扱われることになる。
【0127】
また、所有者更新処理により所有者が変更された場合、変更後の所有者に合わせて機器等の設定を変更する付加機能を追加することも有用なものとなる。例えば、ゲーム機の場合、新しい所有者のゲーム習熟レベルに応じてゲームの難易度を変更する機能を付加するものである。これは、登録者毎にゲーム難易度のデータを登録者データベースDBaに記憶しておき、制御部10(更新処理部17)が登録者変更に伴い登録者データベースDBaから新しい所有者のゲーム難易度のデータを読み出し、対象のゲーム機に設定(ゲーム機との間の通信回線でゲーム難易度のデータと設定指令を送信する)することにより、実現できる。
【0128】
次に、データベースDB中の幾つかの情報について説明を加える。
【0129】
図7を参照する(
図1も参照)。物体検出部12による物体検出処理及びトラッキング処理部13によるトラッキング処理により、センシング空間内の各物体が何れの登録者であるか或いは何れの登録物品であるかが識別された上で、各物体の位置が追跡される。この追跡結果に基づき、制御部10は各登録物品の移動履歴を示す情報675を生成する。第i登録物品の情報675は、第i登録物品の位置(所在地)の変化の履歴を表す。
【0130】
例えば、
図13に示すような物品711の移動(位置変化)について考える。物品711は任意の登録物品(第i登録物品)である。物品711が2020年5月1日の時刻t
1に収納先712から登録者713により取り出されて登録者713と共に収納先712から移動した後、物品711がセンシング空間内の或る位置714に載置され、その後、同日の時刻t
2に物品711が位置714から登録者713と共に移動して収納先715
に収納されたという事実F
1があった場合を考える。時刻t
1及びt
2間における撮影画像情報SI21及び光検出情報SI22に基づく物体検出処理及びトラッキング処理により、当該事実F
1が制御部10にて認識され、制御部10は認識した事実F
1の内容を、物品711としての第i登録物品の情報675に含める。
【0131】
更に、時刻t2の後、物品711が2020年5月1日の時刻t3に収納先715から登録者716により取り出されて登録者716と共に収納先715から移動した後、物品711がセンシング空間内の或る位置717に載置され、その後、同日の時刻t4に物品711が位置717から登録者716と共に移動して収納先718に収納されたという事実F2があった場合を考える。時刻t3及びt4間における撮影画像情報SI21及び光検出情報SI22に基づく物体検出処理及びトラッキング処理により、当該事実F2が制御部10にて認識され、制御部10は認識した事実F2の内容を、物品711としての第i登録物品の情報675に含める。
【0132】
その後も物品711の移動がある度に、その移動の内容が物品711としての第i登録物品の情報675に含められる。但し、現時点から見て所定期間(例えば1年)以上の過去の移動履歴は情報675から消去されても良い。尚、各登録物品の移動履歴にて示される時刻は、収納支援システム1内の計時部(不図示)で取得される時刻であっても良いし、他の任意のデバイスの計時部(不図示)で取得される時刻であっても良い(後述の使用履歴に関しても同様)。
【0133】
制御部10は、物体検出処理及びトラッキング処理の結果を用いて第i登録物品の現収納先を表す情報672(
図7参照)を生成できる。
図13に示す例であれば、物品711としての第i登録物品の現収納先は、時刻t
1の以前において収納先712であり、時刻t
2の後から時刻t
3の直前までにおいて収納先715であり、時刻t
4の後において収納先718である。尚、第i登録物品が何れの収納先にも収納されていない期間(例えば第i登録物品としての物品711が位置714又は717に載置されている期間)においては、第i登録物品の情報672に対し、現収納先の代わりに“使用中”というフラグ情報が格納される。尚、物品711のトラッキング処理が行われている期間、具体的には、物品711が位置714又は717に載置されている期間における物品711の撮影画像情報及び物品711の周辺の撮影画像情報を取得して、記憶部30に保存しておいても良い。
【0134】
第i登録物品の情報673は上述したように第i登録物品の使用者を表す。第i登録物品の使用者とは、第i登録物品を使用した人物であって、第i登録物品に対して一定時間以上継続して接触した人物は第i登録物品の使用者とみなされて良い。制御部10において、撮影画像情報SI21及び光検出情報SI22に基づいて、登録物品ごとに各登録者が当該登録物品の使用者であるか否かが判別される。第i登録物品の使用者の内、第i登録物品の最後の使用者(第i登録物品を最後に使用した人物)が第i登録物品の最終使用者であって、第i登録物品の最終使用者が第i登録物品の情報674にて示される。
図13の例であれば、物品711としての第i登録物品の最終使用者は、時刻t
3の直前において登録者713であり、時刻t
4の後において登録者716である。但し、登録者713及び716は互いに同一の登録者であり得るし、互いに異なる登録者であり得る。
【0135】
上述の如く、第i登録物品の情報660は第i登録物品の使用履歴を表す使用履歴情報(
図6において内容を図示せず)である。第i登録物品の使用履歴は、第i登録物品の使用率、使用頻度及び使用タイミングの夫々の履歴を含む。制御部10は、第i登録物品が任意の収納先に収納されている状態において第i登録物品が非使用状態にあるとみなし、第i登録物品が任意の収納先から取り出されている状態において第i登録物品が使用状態にあるとみなす。任意の登録物品が使用状態にある期間を使用期間と称し、任意の登録物品が非使用状態にある期間を非使用期間と称する。第i登録物品の使用率は、第i登録物品の使用期間及び非使用期間の和に対する第i登録物品の使用期間の比である。第i登録物品の使用頻度は、一定の時間長さを有する注目期間において、第i登録物品が非使用状態から使用状態に切り替わった回数を表す。第i登録物品の使用タイミングは、第i登録物品の使用期間の日時を表す。現時点より所定期間(例えば1年)だけ前の時点から現時点までの期間を使用履歴算定期間に設定し、使用履歴算定期間における第i登録物品の使用履歴を第i登録物品の情報660に含めておく。
【0136】
図7を再度参照し、第i登録物品の情報676による廃棄提案フラグは、第i登録物品が廃棄提案物品であるか否かを表すフラグである。第i登録物品の情報677による廃棄済推定フラグは、第i登録物品が廃棄済推定物品であるか否かを表すフラグである。第i登録物品の情報678による消耗品フラグは、第i登録物品が消耗品であるか否かを表すフラグである。これらのフラグの活用方法等は後述される。
【0137】
第i登録物品の情報679は第i登録物品の状態(物品状態)を表す。第i登録物品について、情報679は、第i登録物品が正常であるのか、故障又は破損しているのか等を表すこともあるし、第i登録物品が消耗品である場合にあっては第i登録物品の消耗の程度を表すこともある。制御部10は、第i登録物品の撮影結果を含む撮影画像情報SI21等に基づき、第i登録物品の情報679を生成及び更新できる。
【0138】
図5を参照し、制御部10は、第i収納先の情報636としての第i収納先の推定残容積を、第i収納先の収納全容積(633)と、第i収納先に現在収納されている各登録物品の容積の合計と、に基づいて導出することができる。この導出に際し、情報655及び672が参照される(
図6及び
図7参照)。
【0139】
図14に、実運用工程における表示部41の表示内容を示す。ここでは、表示部41の表示画面にてタッチパネルが形成されていることを想定する。表示部41の表示画面上にアイコンB1~B6が表示される。ユーザによりアイコンB1~B6の何れかを押下することで、押下されたアイコンに応じた処理が制御部10により実行される。
【0140】
本実施形態は、以下の実施例EX1_A、EX1_B及びEX2~EX11を含む。それらの実施例の中で、収納支援システム1の具体的な動作等を説明する。後述の各実施例において、上述の事項と矛盾する事項がある場合には、各実施例での記載が優先されて良い。また矛盾無き限り、以下に示す複数の実施例の内、任意の実施例に記載した事項を、他の任意の実施例に適用することもできる(即ち複数の実施例の内の任意の2以上の実施例を組み合わせることも可能である)。
【0141】
[実施例EX1_A]
実施例EX1_Aを説明する。ユーザによりアイコンB1(
図14参照)の押下操作が入力されると(ユーザから第1指示を受けると)制御部10により片付け支援処理が実行される。アイコンB1の押下操作がなくとも、ユーザにより片付けに関わるキーワードが発話されることで片付け支援処理が実行されても良い。ユーザが行うべき作業(行動)であって、収納先に収納されていない状態の各物品を収納先に収納する作業を片付け作業と称する。片付け支援処理ではユーザによる片付け作業が支援される。
【0142】
今、
図15に示す如く、物品OBJ_11が何れの収納先にも収納されていない状態ST1を考える。状態ST1では、居住空間内の何れかの床の上に何れかの登録物品である物品OBJ_11が載置されている。片付け作業を行うべき登録者は任意であるが、ここでは、子供である第3登録者が片付け作業を行うべき人物であるとする。
【0143】
片付け支援処理の実行期間において、第3登録者が物品OBJ_11を手に取って物品OBJ_11をどこに収納すべきかの問い合わせ810を収納支援システム1に対して行う(
図16参照)。問い合わせ810は発話による問い合わせ(例えば「このおもちゃは、どこに直せばいい?」という発話による問い合わせ)であっても良いし、タッチパネル又はタッチパネル以外の操作部材を操作することによる問い合わせであっても良い(後述の任意の問い合わせについても同様)。また、問い合わせは、他の人物(例えば第1又は第2登録者)が行っても良い。発話による問い合わせを行う場合、発話者の発話内容を収音できる位置にマイクロホン43があるものとする(後述の任意の問い合わせについても同様)。
【0144】
問い合わせ810を受けると、制御部10は、撮影画像情報SI21に基づいて問い合わせの対象となっている物品が物品OBJ_11であると認識すると共に、物品OBJ_11に対する物体検出処理の結果に基づき物品OBJ_11が何れの登録物品であるかを識別する。制御部10は、その識別結果とデータベースDBに基づいて、物品OBJ_11の収納を支援する収納支援情報をユーザに通知する(
図16参照)。通知の対象となるユーザは、問い合わせの発信者(ここでは第3登録者)を含み、更にそれ以外の登録者も含み得る。
【0145】
収納支援情報の通知により各物品の適正な収納が支援される(例えば効率的な収納が支援される)。
【0146】
収納支援情報の通知は視覚的な通知を含んでいると良く、これにより各物品の適正な収納が促進される。視覚的な通知は表示部41への収納支援情報の表示を含む。尚、上述したように、表示部41はスマートホンやタブレット端末等の表示部であり得る。
【0147】
収納支援情報の通知は物品OBJ_11の規定収納先を明示する通知であって良い。例えば、物品OBJ_11が第1登録物品であって且つ第1登録物品の規定収納先が収納先ID「B1」で示される第1収納先であるならば(
図5及び
図6参照)、物品OBJ_11の規定収納先が第1収納先であることを明示する通知を収納支援情報の通知として行って良い(例えば「緑のおもちゃ箱にしまおう」という音声通知又は画像通知を行う)。物品OBJ_11が第1登録物品以外の登録物品である場合も同様である。
【0148】
収納支援情報の通知は、上記問い合わせが行われたユーザ(ここでは第3登録者)の位置から物品OBJ_11の規定収納先までの移動ルートを案内するルート案内を含んでいても良い。ルート案内では、上記移動ルートを示す画像が表示部41に表示される。
【0149】
尚、片付け支援処理の実行期間においては、第3登録者が物品OBJ_11を手に取ったことが撮影画像情報SI21に基づいて検知されたとき、上記問い合わせが行われなくとも、制御部10は、上記問い合わせが行われたときと同様の通知を行っても良い。
【0150】
制御部10は、物品OBJ_11の収納を支援する収納支援情報をユーザに通知する際、物品OBJ_11の規定収納先を通知する(例えば明示する)と共に、物品OBJ_11の規定収納先への推奨収納方法を通知(提示)するようにしても良い。
【0151】
物品OBJ_11が第1登録物品であって且つ物品OBJ_11の規定収納先が第1収納先であることを想定して、推奨収納方法の通知について説明する。
【0152】
推奨収納方法の通知では、例えば、物品OBJ_11の規定収納先である第1収納先の3Dマップ(635;
図5参照)と、物品OBJ_11の容積(655;
図6参照)と、物品OBJ_11の形状情報(654;
図6)と、を含む判断指標Q1
EX1_Aが参照される。制御部10は、判断指標Q1
EX1_Aに基づき、物品OBJ_11の規定収納先のどの位置に物品OBJ_11を収納するのが良いかを判断し、その判断結果を推奨収納方法の通知としてユーザ(第3登録者)に伝える。このような判断を実現するための機械学習済みのDNNが制御部10に搭載されていると良い。推奨収納方法の通知では、上記判断指標Q1
EX1_Aに基づく動画像を表示部41に表示して、当該動画像により、物品OBJ_11を第1収納先のどの位置にどのように収納したら良いのかを案内する。
【0153】
また例えば、状態ST1の内、第1収納先に既に1以上の他の登録物品が収納されていることが制御部10に認識されている状態ST1aを想定する(制御部10は各登録物品の情報672により当該認識が可能である)。
【0154】
状態ST1aにおいて、物品OBJ_11の規定収納先である第1収納先の3Dマップ(635;
図5参照)と、物品OBJ_11の容積(655;
図6参照)と、物品OBJ_11の形状情報(654;
図6)と、上記1以上の他の登録物品の容積(655;
図6参照)と、上記1以上の他の登録物品の形状情報(654;
図6)と、を含む判断指標Q2
EX1_Aが参照される。制御部10は、判断指標Q2
EX1_Aに基づき、物品OBJ_11の規定収納先のどの位置に物品OBJ_11を収納するのが良いかを判断し、その判断結果を推奨収納方法の通知としてユーザ(第3登録者)に伝える。このような判断を実現するための機械学習済みのDNNが制御部10に搭載されていると良い。推奨収納方法の通知では、上記判断指標Q2
EX1_Aに基づく動画像を表示部41に表示して、当該動画像により、物品OBJ_11を第1収納先のどの位置にどのように収納したら良いのかを案内する。この際、物品OBJ_11を規定収納先の奥の方に収納することが推奨されるのであれば、既に規定収納先に収納済みの他の登録物品を一旦規定収納先から取り出してから、物品OBJ_11を規定収納先内の推奨位置に収納し、その後、取り出した他の登録物品を再び規定収納先に収納する様子を示す動画像を生成して表示部41に表示すれば良い。
【0155】
推奨収納方法を通知するための上記の各動画像は、拡張現実(Augmented Reality;A
R)を利用した動画像であっても良い。
【0156】
推奨収納方法の通知(提示)により各物品の適正な収納が支援される。特に片付け作業を行うべき人物が小さな子供である場合には、一人での適正な片付けが難しい場合もある。推奨収納方法の通知により、子供に適正な片付けの仕方を学ばせることができるという作用も期待される。
【0157】
1つの物品OBJ_11に注目したが、複数の物品の片付け作業を行うべきときにも、物品(登録物品)ごとに、物品OBJ_11に対するものと同様の処理及び通知が行われて良い。
【0158】
[実施例EX1_B]
実施例EX1_Bを説明する。実施例EX1_Bでは、片付け支援処理の他の具体例を示す。実施例EX1_Aと同様に
図15の状態ST1を考え、子供である第3登録者が片付け作業を行うべき人物であるとする。
図16に示す如く、片付け支援処理の実行期間において、第3登録者が物品OBJ_11を手に取って物品OBJ_11をどこに収納すべきかの問い合わせ810(例えば「このおもちゃは、どこに直せばいい?」という発話)を収納支援システム1に対して行う。
【0159】
問い合わせ810を受けると、制御部10は、撮影画像情報SI21に基づいて問い合わせの対象となっている物品が物品OBJ_11であると認識する。更に、制御部10は、物品OBJ_11に対する物体検出処理の結果に基づき物品OBJ_11が何れの登録物品であるかを識別し、その識別結果とデータベースDBに基づいて、物品OBJ_11の収納を支援する収納支援情報をユーザに通知する。但し、収納支援情報をユーザに通知する際、実施例EX1_Bに係る制御部10は、ユーザ(ここでは第3登録者)にゲームを提示することを通じて物品OBJ_11の規定収納先をユーザに通知する。
【0160】
例えば、ゲームでは、何らかの課題を表示部41による画像表示又はスピーカ44からの音声出力でユーザ(ここでは第3登録者)に提示し、その課題が達成されたときに、物品OBJ_11の規定収納先をユーザ(ここでは第3登録者)に明示して通知する。但し、課題の達成が失敗に終わっても物品OBJ_11の規定収納先のユーザ(ここでは第3登録者)への明示は実行されて良い。
【0161】
ゲームの具体例としてクイズゲームを採用できる。
図17に状態ST1に対応するクイズゲームの例を示す。当該クイズゲームにおいて、制御部10は、物品OBJ_11を収納するための収納先の候補として複数の選択肢が示された画像820を表示部41に表示する。その上で、制御部10は、物品OBJ_11を収納するのに適した収納先(即ち物品OBJ_11の規定収納先)を選択するための選択操作を、ユーザ(ここでは第3登録者)に対して促す。画像820には、各選択肢を示すテキスト文字と各選択肢の収納先の外観を示す画像とが含まれる。複数の選択肢の内の1つのみが、物品OBJ_11の規定収納先に相当する。つまり、物品OBJ_11の規定収納先を正解回答とする質問をユーザ(ここでは第3登録者)に提示する。ユーザ(ここでは第3登録者)は選択操作にて上記複数の選択肢の何れか1つを選択することにより、質問に対して回答する。制御部10は、この回答に応じた表示(画像表示)を表示部41にて行うことを通じて物品OBJ_11の規定収納先をユーザ(ここでは第3登録者)に認識させ且つ通知する。
【0162】
インターフェース部40に対するユーザの選択操作において、物品OBJ_11の規定収納先を示す選択肢が選択された場合、制御部10は正解応答を行い、物品OBJ_11の規定収納先を示す選択肢が選択されなかった場合、制御部10は不正解応答を行う。正解応答は、ユーザの選択が正しいことを示す画像(映像)を表示部41に表示する正解対応処理を含み、当該正解対応処理を通じて物品OBJ_11の規定収納先をユーザに明示する。不正解応答は、ユーザの選択に誤りがあることを示す画像(映像)を表示部41に表示する不正解対応処理を含む。不正解応答では、不正解対応処理と共に又は当該不正解対応処理を経て、正解の選択肢、即ち物品OBJ_11の規定収納先をユーザに明示する。
【0163】
ゲームの具体例としてクイズゲームを挙げたが、ゲームの内容等は任意である。例えば、所謂シューティングゲームを採用し、シューティングゲームにて一定の条件が達成されたときに物品OBJ_11の規定収納先がユーザに通知されるようにしても良い。
【0164】
特に子供に関しては、片付けの習慣が身につくまで、飽きさせることなく何度も片付け作業を経験させることが必要と考えられる。収納支援情報の通知においてゲーム性を持たせることで子供が片付け作業を楽しんで行うと期待される。つまり、適正な片付けを楽しみながら子供に覚えさせることが可能となる。大人についても同様であり、大人も片付け作業を楽しむことができる。
【0165】
正解応答又は不正解応答において、物品OBJ_11の実際に何れかの収納先に収納される前に、拡張現実を適宜利用しつつ、物品OBJ_11が選択操作にて選択された収納先に収納される様子を表す動画像を表示部41に表示させても良い。これによって、選択操作にて選択された収納先に物品OBJ_11を収納して良いか否か(選択操作にて選択された収納先に物品OBJ_11を収納することが正しいのか否か)を、ユーザ(ここでは第3登録者)に再検討させることができる。これは、正しい片付けの習熟に役立つ。
【0166】
尚、登録者の他情報616にゲームポイントを含めておいて良い。制御部10は、正解応答が行われる際、ゲームを行ったユーザのゲームポイントに第1得点を加算し、不正解応答が行われる際、ゲームを行ったユーザのゲームポイントに第2得点を加算する。ゲームを行ったユーザは、ここでは第3登録者である。第1得点は第2得点よりも大きい。第2得点はゼロでも良い。ゲームポイントが一定値以上となれば、何らかの特典が第3登録者に与えられる仕組みを収納支援システム1に組み込ませて良いし、或いは、何らかの特典が第3登録者に与えられる仕組みを住居HHの居住者間で取り決めておいても良い。
【0167】
物品OBJ_11の規定収納先がユーザに通知される際、実施例EX1_Aの如く、推奨収納方法の通知も行われるようにしても良い。1つの物品OBJ_11に注目したが、複数の物品の片付け作業を行うべきときにも、物品(登録物品)ごとに、物品OBJ_11に対するものと同様の処理及び通知が行われて良い。
【0168】
また、片付け支援処理において、物品OBJ_11の規定収納先がユーザ(ここでは第3登録者)に通知又は認識された後、制御部10は、実際に物品OBJ_11が規定収納先に収容されるまでにもゲームを実施して良い。例えば、以下の片付けゲームを実施しても良い。片付けゲームにおいて、制御部10は、物品OBJ_11の規定収納先をユーザ(ここでは第3登録者)に通知した後、片付けの開始をユーザ(ここでは第3登録者)に通知し、その後、物品OBJ_11が規定収納先に収納されるまでにかかった時間(以下、片付け時間と称する)を計測する。制御部10は、物品OBJ_11及び規定収納先を撮影する1以上の定点カメラ21aの撮影画像情報に基づいて、物品OBJ_11が規定収納先に収納されたか否かを検出できる。
【0169】
更に、片付けゲームにおいて、制御部10は、物品OBJ_11の規定収納先への収納の状態(収納位置、収納の向き等)について理想収納状態を設定する。片付けゲームにおいて、制御部10は、物品OBJ_11及び規定収納先を撮影する1以上の定点カメラ21aの撮影画像情報に基づいて、実際の物品OBJ_11の規定収納先への収納の状態を特定し、特定した状態を理想収納状態と比較する。片付けゲームにおいて、制御部10は、その比較結果と上記片付け時間とを得点化することで、物品OBJ_11の実際の片付け作業の良し悪しを表す片付け結果得点を導出し、片付け結果得点をユーザ(ここでは第3登録者)に通知する。片付け結果得点が所定条件を満たせば、ゲームクリアとなって、制御部10はユーザ(ここでは第3登録者)に対し何らかの報酬(当該ユーザに興味がありそうな動画像を表示部41に表示する等)を与えるようにしても良い。片付け結果得点を、上記ゲームポイントに加算するようにしても良い。物品OBJ_11以外の物品についても同様である。
【0170】
[実施例EX2]
実施例EX2を説明する。ユーザによりアイコンB2(
図14参照)の押下操作が入力されると(ユーザから第2指示を受けると)制御部10により物品追加処理が実行される。アイコンB2の押下操作がなくとも、ユーザにより物品追加に関わるキーワードが発話されることで物品追加処理が実行されても良い。初期登録工程での物品登録処理により複数の登録物品が設定された後、新たに他の物品を登録物品として収納支援システム1に登録したい場合がある。この新たに登録されるべき他の物品を新規物品と称する。物品追加処理を経て新規物品は収納支援システム1における複数の登録物品に組み込まれる(複数の登録物品に追加される)。
【0171】
登録処理部11により物品追加処理が実行される。現在、計n個の登録物品が収納支援システム1に登録されている状況において新規物品を新たに登録することを想定する(nは2以上の整数)。この場合、新規物品は物品追加処理を経て第(n+1)登録物品となる。
【0172】
物品追加処理において、登録処理部11は、物品追加処理におけるユーザ操作に基づき、新規物品の名称を取得して、取得した名称を第(n+1)登録物品の情報651に設定する。登録処理部11は、新規物品に対して固有の物品IDを割り当てることで第(n+1)登録物品の情報652を設定する。
【0173】
物品追加処理において、登録処理部11は、新規物品としての第(n+1)登録物品の情報653~656を取得して物品データベースDBcに格納する。
【0174】
物品追加処理において、新規物品が、新規物品を撮影可能な定点カメラ21aにて又は他の任意のカメラにて撮影され、登録処理部11は当該撮影結果に基づいて第(n+1)登録物品の情報653~656を取得する。新規物品は互いに異なる方向(視点)から複数枚撮影される。新規物品を複数回撮影することで得られる複数の撮影画像が第(n+1)登録物品の物品画像として情報653に含められる。登録処理部11は、第(n+1)登録物品の情報653における複数の撮影画像に基づき、第(n+1)登録物品の形状(例えば三次元形状)を示す情報を第(n+1)登録物品の形状情報654として生成すると共に、第(n+1)登録物品の大きさ(容積)を推定し、その推定結果を第(n+1)登録物品の情報655に含める。更に、登録処理部11は、第(n+1)登録物品の情報653における複数の撮影画像に基づき第(n+1)登録物品の種類を判別し、第(n+1)登録物品の種類の判別結果を第(n+1)登録物品の情報656に設定する。第(n+1)登録物品の情報655及び656の内、少なくとも一方は、ユーザ操作に基づき設定されても良い。
【0175】
物品追加処理において、ユーザ操作に基づき新規物品の所有者が設定され、設定された新規物品の所有者が第(n+1)登録物品の情報657に設定される。物品追加処理において、新規物品が第(n+1)登録物品として登録された日付が第(n+1)登録物品の情報658に設定される。
【0176】
物品追加処理において、ユーザ操作に基づき、新規物品としての第(n+1)登録物品の情報651~658が設定された後、登録処理部11は、以下の規定収納先提案処理を実行することができる。
【0177】
規定収納先提案処理では、第(n+1)登録物品の情報653に含められた新規物品の撮影画像と、データベースDBに登録されている複数の収納先に関する情報と、に基づき、複数の収納先の中から新規物品が収納されるべき収納先(以下、提案収納先と称する)を選択(設定)する。登録者の人数は一人であり得ても良いが、本実施形態の如く複数の登録者が存在する場合にあっては、新規物品の所有者に対応付けられた1以上の収納先の中から提案収納先が選択される。提案収納先が制御部10によりユーザ(例えばアイコンB2の押下操作を行ったユーザ)に通知される。
【0178】
例えば、
図18を参照し、新規物品の所有者が第i
B登録者であって、第i
B登録者に対して第j
B~第(j
B+3)収納先のみが対応付けられている状態ST2を考える(i
B及びj
Bは整数)。当該状態ST2においては、第j
B~第(j
B+3)収納先の何れか1つが提案収納先として選択される。この選択内容の通知を受けてユーザ(基本的には例えば第i
B登録者)が所定の承認操作を収納支援システム1に入力すると、提案収納先が第(n+1)登録物品の規定収納先として情報659(
図6参照)に設定される。
【0179】
但し、第j
B~第(j
B+3)収納先の内、2以上の収納先が提案収納先として選択されることがあり得ても良い。この場合、2以上の提案収納先をユーザに通知し、ユーザが2以上の提案収納先の何れか1つをユーザ操作により指定する。すると、指定された提案収納先が第(n+1)登録物品の規定収納先として情報659(
図6参照)に設定される。
【0180】
新規物品の撮影画像を参照することにより、新規物品の収納先として好ましい収納先の選択が可能となり、物品の整理整頓が容易化される。
【0181】
規定収納先提案処理において、例えば、登録処理部11は、新規物品の撮影画像に基づく新規物品の容積(655)と、新規物品の所有者に対応付けられた各収納先の推定残容量(636)と、に基づいて、提案収納先を選択することができる。状態ST2において、仮に、新規物品の容積が第jB~第(jB+2)収納先の各推定残容積よりも大きく且
つ第(jB+3)収納先の推定残容積より小さいのであれば、第(jB+3)収納先を提
案収納先として選択する。
【0182】
提案収納先を選択に際して、新規物品の撮影画像に基づく新規物品の形状情報(654)が考慮されても良い。状態ST2において、登録処理部11は、新規物品の撮影画像に基づく新規物品の三次元形状と、第jB~第(jB+3)収納先の各3Dマップ(635)と、を参照することで、第jB~第(jB+3)収納先の中から、新規物品の収納に適した収納先を提案収納先として選択することができる。
【0183】
提案収納先を選択に際して、各収納先の環境情報(637)が参照されても良い。状態ST2において、登録処理部11は、新規物品に対する物体分類処理の結果から新規物品の保管において推奨される温度又は湿度を判断する。登録処理部11は、その判断結果と、第jB~第(jB+3)収納先の環境情報(637)と、に基づき、第jB~第(j
B+3)収納先の中から、新規物品の収納に適した収納先を提案収納先として選択することができる。
【0184】
規定収納先提案処理では、新規物品の所有者の嗜好情報も考慮して提案収納先の選択及び通知を行っても良い。制御部10は、各登録者がどのような種類の物品をどこの収納先に収納する傾向にあるのかを学習し、その学習結果に基づき各登録者の嗜好情報(615)を生成する。説明の具体化のため、
図18の状態ST2を再度想定する。状態ST2において考慮される嗜好情報は、新規物品の所有者である第i
B登録者の嗜好情報(615;
図4参照)である。
【0185】
新規物品に対する規定収納先提案処理が行われる前において、第iB登録者が所有物となっている登録物品の内、文房具に分類される物品は全て又は殆ど第jB収納先が規定収納先に設定され且つ第jB収納先に収納され、且つ、書籍に分類される物品は全て又は殆ど第(jB+1)収納先が規定収納先に設定され且つ第(jB+1)収納先に収納され、且つ、電子機器に分類される物品は全て又は殆ど第(jB+2)収納先が規定収納先に設定され且つ第(jB+2)収納先に収納され、スポーツ用具に分類される物品は全て又は殆ど第(jB+3)収納先が規定収納先に設定され且つ第(jB+3)収納先に収納されているものとする。このような収納状況から、制御部10は、第iB登録者は、文房具、書籍、電子機器、スポーツ用具を、夫々、第jB、第(jB+1)、第(jB+2)、第(jB+3)収納先に収納する傾向があるという嗜好情報(第iB登録者の嗜好情報615)を取得する。この場合において、例えば、新規物品が物体分類処理にてスポーツ用具に分類されたならば、登録処理部11は、第iB登録者の嗜好情報615に基づき(即ち上記傾向に従い)第(jB+3)収納先を新規物品に対する提案収納先に選択する、といったことが可能である。
【0186】
新規物品の所有者の嗜好情報も考慮して提案収納先を選択することにより、新規物品の所有者の嗜好に沿った提案収納先の提案が可能となる。
【0187】
物品追加処理において、規定収納先提案処理に関係なく、ユーザ指示に基づき新規物品に対する規定収納先が設定されても構わない。
【0188】
ユーザ(ここでは第i
B登録者)が新規物品に対する規定収納先として或る特定の収納先(ユーザが望ましいと考えた収納先)を指定したとき、制御部10は、基本的に、その指定に従って新規物品に対する規定収納先を設定する。しかしながら、特定の収納先の収納状態や新規物品の大きさ等によっては、特定の収納先に新規物品を収納できないときがある。このような場合、制御部10にて以下の入替提案処理が行われても良い。
図18の状態ST2を想定して入替提案処理を説明する。
【0189】
今、上記特定の収納先が第jB収納先であるとする。第jB収納先の推定残容積よりも新規物品の容積(655)が大きい場合、制御部10は収納不可と判定する。或いは、第jB収納先の3Dマップと新規物品の形状情報(654)に基づき、第jB収納先の収納空間に新規物品が収まらないと判断されるときにも、制御部10は収納不可と判定する。例えば、新規物品が長尺の物品であって、第i収納先の収納空間の大きさと比べて新規物品の全長が大きすぎる場合、収納不可と判定される。
【0190】
制御部10は、収納不可と判定したとき、第(jB+1)~第(jB+3)収納先の推定残容積及び第(jB+1)~第(jB+3)収納先の3Dマップに基づき、新規物品を収納可能な収納先を、入替候補として、第(jB+1)~第(jB+3)収納先の中から抽出する。入替候補は2以上抽出されても良い。
【0191】
入替候補を抽出すると、制御部10は、第jB収納先に対して新規物品を収納することができない旨をユーザ(ここでは第iB登録者)に通知すると共に、入替候補をユーザに通知する。入替候補が1つの場合、入替候補の通知では、入替候補を新規物品の規定収納先に設定することがユーザに対して提案される。この提案に同意する旨を表すユーザ操作があると、制御部10は、入替候補を新規物品の規定収納先に設定し、その設定結果を物品データベースDBcに含める。入替候補が複数ある場合、制御部10は、複数の入替候補の何れかを新規物品の規定収納先にすることができる旨をユーザに通知する。この通知を受けて、ユーザは、複数の入替候補の何れか1つをユーザ操作を通じて選択する。そうすると、制御部10は、選択された入替候補を新規物品の規定収納先に設定し、その設定結果を物品データベースDBcに含める。
【0192】
制御部10は、入替候補を新規物品の規定収納先に設定すると、ユーザ(ここでは第iB登録者)に対し、新規物品の規定収納先への収納を案内しても良い。この案内は、ユーザ(ここでは第iB登録者)の現在位置から新規物品の規定収納先までの移動ルートを案内するルート案内を含んでいても良いし、上述したような推奨収納方法の通知を含んでいても良い。上記案内は任意の規定収納先提案処理でも行われて良い。
【0193】
ここで、物品の容積について説明を加えておく。説明の便宜上、任意の注目された物品を注目物品と称し、注目物品の容積について説明する。注目物品は登録物品である。但し、注目物品は登録物品以外の物品であっても良い。まず基準解釈方法を説明する。基準解釈方法において、注目物品の容積は文字通り注目物品の実際の容積であり、注目物品の実際の容積(例えば注目物品の実際の容積の推定結果)が注目物品の情報655として物品データベースDBcに含められる。例えば、注目物品がバケツのような中空部を有する物品である場合、注目物品の容積は中空部の容積を含まない。実施例EX2を含め、本実施形態に係る制御部10では基準解釈方法が採用される。
【0194】
但し、制御部10において、注目物品の全体を包囲する最小の直方体を想定し、想定した直方体の容積を注目物品の容積と捉える方法(以下、変形解釈方法と称する)を採用しても良い。変形解釈方法が採用される場合、注目物品が上記バケツであれば、注目物品の容積は上記中空部の容積も含むことになる。変形解釈方法が採用される場合、変形解釈方法の下での注目物品の容積が注目物品の情報655として物品データベースDBcに含められる。変形解釈方法が採用される場合、或る注目された収納先の3Dマップに、直方体と想定された登録物品を詰め込んでいくことが制御部10内でイメージ化される。その上で、制御部10は、新規物品を更に上記注目された収納先に追加収納できるかを判断することになる。
【0195】
[実施例EX3]
実施例EX3を説明する。ユーザによりアイコンB3(
図14参照)の押下操作が入力されると(ユーザから第3指示を受けると)制御部10により物品捜索処理が実行される。アイコンB3の押下操作がなくとも、ユーザにより物品捜索に関わるキーワードが発話されることで物品捜索処理が実行されても良い。
【0196】
図19を参照し、実施例EX3では、ユーザ850が任意の登録物品(以下、捜索対象物品と称する)を探しているものとする。ユーザ850は任意の登録者であって良い。物品捜索処理の実行期間において、ユーザ850は捜索対象物品の所在地の問い合わせ860(即ち捜索対象物品が現在どこにあるかの問い合わせ)を収納支援システム1に対して行う。登録物品として第1~第n登録物品がデータベースDBに登録されているものとする(nは2以上の整数)。問い合わせ860は捜索対象物品が第1~第n登録物品の何れであるかを推定又は認識するための情報を含み、その情報に基づき、制御部10は、捜索対象物品が第1~第n登録物品の何れであるかを特定する。
【0197】
例えば、捜索対象物品の名称又は物品IDが問い合わせ860に含まれていて良く、この場合には即座に上記特定が可能となり得る。各登録物品を表示部41にリスト表示し、ユーザ操作に基づき、その中から捜索対象物品が指定されても良い。また例えば、ユーザ850及び制御部10間で音声等による会話を行い、会話の中でユーザ850が捜索対象物品の特徴を収納支援システム1に入力(伝達)するようにしても良い。制御部10は、入力された特徴に基づき、捜索対象物品の候補を第1~第n登録物品の中から絞り込んでゆき、最終的に捜索対象物品が第1~第n登録物品の何れであるかを特定することができる。捜索対象物品が第1~第n登録物品の何れであるかを特定するのに際し、制御部10は、捜索対象物品の候補として1以上の登録物品の画像(653;
図6参照)を表示部41に表示して、「探しているのは、これですか?」といった確認問い合わせをユーザ850に行うようにしても良い。
【0198】
各登録物品を撮影するカメラ部21の撮影画像情報SI21に基づく上記の物体検出処理及びトラッキング処理によりセンシング空間内で各登録物品が追跡され(詳細には各登録物品の位置及び移動の軌跡が追跡され)、追跡の結果に基づく情報がデータベースDBに含められる。尚、上述したように、物体検出処理及びトラッキング処理では、LIDAR22aを用いた光検出情報SI22も利用され得る。上記追跡の結果に基づく情報は
図7に示される情報672及び675を含む。制御部10は、捜索対象物品に対する追跡の結果に基づく情報(672、675)に基づき、問い合わせ860に対する応答862を行う(
図19参照)。問い合わせ860に対する応答862は、表示部41での表示による応答を含み、更にスピーカ44からの音声出力による応答を含みうる(後述の他の任意の応答についても同様)。
【0199】
これにより、ユーザの探し物が容易に見つかるようになる。
【0200】
捜索対象物品が第i
C登録物品であることを想定して応答862の例を説明する(i
Cはn以下の自然数)。制御部10は、第i
C登録物品の情報672又は675に基づき第i
C登録物品の現在の所在地を応答862に含める。基本的には、制御部10は、第i
C登録物品の情報672(
図7参照)にて示される第i
C登録物品の現収納先を応答862の内容に含める。但し、第i
C登録物品の情報672に“使用中”というフラグ情報が格納されている場合にあっては、第i
C登録物品の移動履歴を表す情報675に基づき、第i
C登録物品の現在の所在地を応答862に含める。例えば、捜索対象物品が
図13に示した物品711である場合において、物品711が収納先715に収納されているときに問い合わせ860があったならば捜索対象物品(711)が収納先715内にあることを応答862に含める。また例えば、捜索対象物品が
図13に示した物品711である場合において、物品711が位置717にあるときに問い合わせ860があったならば捜索対象物品(711)が位置717にあることを応答862に含める。
【0201】
尚、移動履歴の情報675をデータベースDBに含めておくことで、何らかの事情(追跡の失敗等)により捜索対象物品の真の所在地が収納支援システム1にとって不明になった場合でも、情報675中の移動履歴をたどることで、捜索対象物品を見つけることができる可能性がある。制御部10は、任意のタイミングにおいて、ユーザ操作に応じ各登録物品の移動履歴の情報(675)をユーザに通知することができる。
【0202】
[実施例EX4]
実施例EX4を説明する。ユーザによりアイコンB4(
図14参照)の押下操作が入力されると(ユーザから第4指示を受けると)制御部10により廃棄提案処理(物品整理処理)が実行される。アイコンB4の押下操作がなくとも、ユーザにより物品廃棄又は物品整理に関わるキーワードが発話されることで廃棄提案処理が実行されても良い。
【0203】
廃棄提案処理において、制御部10は何れか1以上の登録物品の廃棄を提案する通知(以下、廃棄提案通知と称する)をユーザに対して行う。廃棄の提案に際し、情報676による廃棄提案フラグが参照される(
図7参照)。上述したように、第i登録物品の情報676による廃棄提案フラグは、第i登録物品が廃棄提案物品であるか否かを表すフラグである。制御部10は、第i登録物品の使用履歴情報660に基づき、第i登録物品の廃棄提案フラグ(676)に“1”又は“0”の値を代入する。各登録物品の廃棄提案フラグの初期値は“0”である。第i登録物品について“1”の廃棄提案フラグは、第i登録物品が廃棄提案物品であることを指し示す。廃棄提案物品は廃棄が提案される物品であり、故に廃棄提案通知にて廃棄提案物品の廃棄が提案される。つまり、廃棄提案通知において、対応する廃棄提案フラグが“1”となる登録物品の廃棄がユーザに提案される。
【0204】
このように、使用履歴情報(660)に基づき廃棄提案物品を特定して廃棄の提案を行うことにより、例えば、殆ど使用していないような物品の廃棄が促進され、住居HH内の整理整頓が図られる。
【0205】
例えば、使用履歴情報660に基づく第i登録物品の使用率又は使用頻度が所定値以下であるとき、制御部10は第i登録物品についての廃棄提案フラグに“1”を代入する。或いは例えば、使用履歴情報660に基づき第i登録物品が一定期間以上継続して非使用状態に維持されていると判断されるとき、制御部10は第i登録物品についての廃棄提案フラグに“1”を代入しても良い。
【0206】
使用履歴情報660に加え、制御部10は登録日情報658(
図6参照)も考慮して廃棄提案フラグの値の決定及び廃棄提案通知を行うようにしても良い。即ち例えば、第i登録物品の登録日が現在から見て所定日数(例えば365日×2)以上過去であって、且つ、使用履歴情報660に基づく第i登録物品の使用率又は使用頻度が所定値以下であるとき、制御部10は第i登録物品についての廃棄提案フラグに“1”を代入するようにしても良い。或いは例えば、第i登録物品の登録日が現在から見て所定日数(例えば365日×2)以上過去であって、且つ、使用履歴情報660に基づき第i登録物品が一定期間以上継続して非使用状態に維持されていると判断されるとき、制御部10は第i登録物品についての廃棄提案フラグに“1”を代入しても良い。
【0207】
これにより例えば、古く且つ殆ど使用していないような物品の廃棄が促進され、住居H
H内の整理整頓が図られる。
【0208】
廃棄提案処理において、制御部10は、使用履歴情報660に基づきつつ、又は、使用履歴情報660及び登録日情報658に基づきつつ、各登録者の嗜好情報615(
図4参照)も考慮して廃棄提案通知を行うようにしても良い。
【0209】
これにより例えば、所有者の嗜好に合致していない物品の廃棄が提案される(より妥当な廃棄提案が実現される)。
【0210】
例えば、物体分類処理により第1種類に分類される第1~第3おもちゃと第2種類に分類される第4~第6おもちゃとがあって、第1~第6おもちゃが夫々第iD1~第iD6登録物体として2020年4月1日にデータベースDBに登録されたとする(iD1~iD6は互いに異なる自然数)。第1種類及び第2種類は互いに異なる。第1~第6おもちゃの所有者は第3登録者である。2020年4月1日から2020年4月30日までは、第3登録者が第1~第6おもちゃの全てを使って遊んでいたが、2020年5月1日から2020年12月1日までは第3登録者が第1~第3おもちゃのみを使用し(第1~第3おもちゃのみで遊び)、第4~第6おもちゃを使用してなかった(第4~第6おもちゃを使って遊んでいなかった)状況を想定する。2020年4月1日から2020年12月1日までの期間において、上記の状況を、制御部10は、撮影画像情報SI21に基づいて、又は、撮影画像情報SI21及び光検出情報SI22に基づいて認識し、その認識結果に基づき第3登録者の嗜好情報615を生成する。結果、2020年12月1日時点の第3登録者の嗜好情報615には、第3登録者が第1種類のおもちゃを好み且つ第2種類のおもちゃを好まないという情報が含められる。
【0211】
この場合例えば、2020年12月2日において、制御部10は、第3登録者の嗜好情報615に基づき、第iD1~第iD3登録物体の各廃棄提案フラグの値を“0”に維持する一方、第iD4~第iD6登録物体の各廃棄提案フラグに“1”を代入する、といったことが可能である。
【0212】
但し、第3登録者以外の登録者が第iD4~第iD6登録物体を使用する場合もあるので、嗜好情報615だけでなく、使用履歴情報660も参照して(更には登録日情報658も参照して)各登録物体の廃棄提案フラグの値を制御すると良い。まとめると例えば、第i登録物品の使用履歴情報660と、第i登録物品の登録日情報658と、第i登録物品の所有者の嗜好情報615と、に基づき、制御部10にて第i登録物品の廃棄提案評価値を導出し、廃棄提案評価値が所定値以上となると第i登録物品の廃棄提案フラグに“1”を代入する、といった方法を採用可能である。
【0213】
[実施例EX5]
実施例EX5を説明する。ユーザによりアイコンB5(
図14参照)の押下操作が入力されると(ユーザから第5指示を受けると)制御部10により収納変更提案処理が実行される。アイコンB5の押下操作がなくとも、ユーザにより所定のキーワードが発話されることで収納変更提案処理が実行されても良い。
【0214】
各登録物品及び各登録者を撮影するカメラ部21の撮影画像情報SI21に基づく上記の物体検出処理及びトラッキング処理によりセンシング空間内で各登録物品及び各登録者が追跡され(詳細には各登録物品及び各登録者の位置及び移動の軌跡が追跡され)、追跡の結果に基づく情報がデータベースDBに含められる。尚、上述したように、物体検出処理及びトラッキング処理では、LIDAR22aを用いた光検出情報SI22も利用され得る。上記追跡の結果に基づく情報は
図7に示される情報672及び675を含む。
【0215】
第i登録物品の情報675により、任意の期間において第i登録物品が何れかの登録者に使用されていたのか、及び、使用されていたとすれば何れの登録者に使用されていたのか、が示される。第i登録物品が任意の収納先から取り出されている状態では第i登録物品が何れかの登録者により使用状態にあるとみなされる。制御部10は、第i登録物品が使用状態にある期間(使用期間)において、撮影画像情報SI21に基づき(更には光検出情報SI22に基づき)、第i登録物品の使用者を特定できる。登録物品ごとに、各時刻において当該登録物品が何れかの登録者に使用されていたのか、及び、使用されていたとすれば何れの登録者に使用されていたのかを蓄積してゆくことで、制御部10により各登録者による各登録物品の使用状況が認識される。
【0216】
収納変更提案処理に係る制御部10は、各登録者による各登録物品の使用状況の認識結果に基づき、何れか1以上の登録物品に対する新たな規定収納先を提案する。この提案は表示部41又はスピーカ44を用いて行われ、当該提案に対して同意する旨の指示をユーザから受けると、制御部10は、自身が提案した内容に従って各登録物品に対する規定収納先を更新する。
【0217】
更新前の規定収納先を特に旧規定収納先と称し、上記新たな規定収納先に相当する更新後の規定収納先を特に新規定収納先と称する。例えば、第iE1登録物品の所有者が第1登録者であって第iE1登録物品の旧規定収納先が第1登録者に対応付けられた第iE2収納先に設定されている状態を想定する。この状態を起点に、以後、第iE1登録物品が第1登録者に全く又は殆ど使用されず、第2登録者が第1登録者よりも第iE1登録物品を長時間又は高頻度で使用しているとき、収納変更提案処理に係る制御部10は、第iE1登録物品に対する新たな規定収納先として第2登録者に対応付けられた第iE3収納先を提案する。この提案がユーザにより同意されると、第iE3収納先が第iE1登録物品の新規定収納先となる(iE1~iE3は整数;但しiE2≠iE3)。
【0218】
本実施例によれば、各登録物品の使用状況に応じて、より良い規定収納先が設定されるようになる。
【0219】
[実施例EX6]
実施例EX6を説明する。ユーザによりアイコンB6(
図14参照)の押下操作が入力されると(ユーザから第6指示を受けると)制御部10によりレイアウト変更処理が実行される。アイコンB6の押下操作がなくとも、ユーザにより所定のキーワードが発話されることでレイアウト変更処理が実行されても良い。
【0220】
レイアウト変更処理は、住居HH内の模様替え等により、各登録物品の収納先を様々に組み替えるときに実行される。ここでは、住居HH内の模様替えにより、複数の登録物品を収納すべき複数の収納先が第1収納先群から第2収納先群に切り替えられることを想定する。この切り替えを、便宜上、収納先切り替えと称する。第1収納先群及び第2収納先群の夫々は複数の収納先から成る。収納切り替え前においては第1収納先群を構成する複数の収納先が住居HH内に設置され、収納切り替え後においては第2収納先群を構成する複数の収納先が住居HH内に設置される。第1収納先群を構成する複数の収納先と第2収納先群を構成する複数の収納先は、互いに同じ収納先を含むこともあるが、ここでは、第1収納先群を構成する複数の収納先と第2収納先群を構成する複数の収納先とが全く相違することを考える。
【0221】
収納先切り替えの前後において基本的に登録者データベースDBaの各情報に変化はないが、収納指定区域の情報613は変化し得る(ここでは情報613の変化を無視する)。収納先切り替えの前後において、規定収納先の情報659を除き物品データベースDBcの各情報に変化はない。規定収納先の情報659はレイアウト変更処理の中で新たに設定される。収納先切り替えの前後において、現収納先の情報672を除き総合管理データベースDBdの各情報に変化はない。現収納先の情報672はレイアウト変更処理の実行時において破棄されて良い。
【0222】
レイアウト変更処理では、レイアウト変更処理前の収納先データベースDBbが破棄され、第2収納先群を構成する収納先ごとに初期登録処理における収納先登録処理を実行することで収納先データベースDBbを新たに構築する。新たに構築された収納先データベースDBbにおいて、第2収納先群を構成する収納先ごとに情報631~635が設定される(
図5参照)。第2収納先群を構成する各収納先の所在区域の情報634と、登録者データベースDBaにおける収納指定区域の情報613(
図4参照)と、に基づき、データベースDBにおいて(DBa及びDBbにおいて)第2収納先群を構成する各収納先が何れかの登録者に対応付けられる。この対応付けの内容に基づき、制御部10は、第2収納先群の何れかの収納先を各登録物品の新たな規定収納先としてユーザに提案する。この提案は表示部41又はスピーカ44を用いて行われ、当該提案に対して同意する旨の指示をユーザから受けると、制御部10は、自身が提案した内容に従って各登録物品に対する規定収納先を設定する。
【0223】
例えば、
図20に示す如く、第2収納群中の4つの収納先である第j
F~第(j
F+3)収納先が第i
F登録者に対応付けられる場合において、登録物品910の所有者が第i
F登録者である状態ST6を考える(i
F及びj
Fは整数)。状態ST6において、レイアウト変更処理に係る制御部10は、第j
F~第(j
F+3)収納先の何れか1つを登録物品910の新たな規定収納先としてユーザに提案する。この際、登録物品910の容積(655)及び形状情報(654)、並びに、第j
F~第(j
F+3)収納先の3Dマップ(635)に基づき、制御部10は、登録物品910にとって好ましい収納先を登録物品910の新たな規定収納先としてユーザに提案すれば良い。
【0224】
本実施例によれば、レイアウト変更等により収納先が切り替えられる際に、登録済みの情報を用いて速やかに妥当な規定収納先が提案され、物品の整理整頓が速やかに完了する。
【0225】
登録物品910の新たな規定収納先として例えば第jF収納先を提案する場合、制御部10は、登録物品910の画像(653)、形状(654)及び容積(655)と、第jF収納先の3Dマップ(635)と、に基づき、登録物品910が第jF収納先に収納される様子を示す動画像を生成して表示部41に表示して良い。これにより、登録物品910が第jF収納先に収納されるイメージを分かりやすくユーザに提示することができる。
【0226】
[実施例EX7]
実施例EX7を説明する。上述したように、物体検出処理及びトラッキング処理によりセンシング空間内で各登録物品が追跡され(詳細には各登録物品の位置及び移動の軌跡が追跡され)、追跡の結果に基づき各登録物体の現収納先(672)が検出される。制御部10は以下の収納先相違対応処理を行っても良い。
【0227】
収納先相違対応処理において、制御部10は、第i登録物品の現収納先と第i登録物品の規定収納先とを比較し、それらが相違する場合、ユーザに対して所定の相違対応通知を行う。収納先相違対応処理を登録物品ごとに実行することができる。制御部10は、収納先相違対応処理を、例えば周期的に実行しても良いし、ユーザ指示に基づき実行しても良い。
【0228】
相違対応通知は、第i登録物品の現収納先が第i登録物品の規定収納先と異なることを示す通知を含んでいて良い。相違対応通知は、第i登録物品を第i登録物品の規定収納先に戻すようユーザに促す通知を含んでいても良い。これにより、第i登録物品の正しい収納が促進される。
【0229】
相違対応通知において、制御部10は、第i登録物品の規定収納先を第i登録物品の現収納先に変更するかをユーザに問い合わせても良い。この問い合わせを受けたユーザが当該変更を肯定する指示を収納支援システム1に入力したとき、制御部10は第i登録物品の規定収納先を第i登録物品の現収納先に変更すると良い(即ち、第i登録物品の情報659を第i登録物品の現収納先を表す情報に更新しても良い)。これにより、第i登録物品の実際の収納先に併せて規定収納先を現実に即したものに更新してゆくことができる。
【0230】
[実施例EX8]
実施例EX8を説明する。第i登録物品の情報678(
図7参照)による消耗品フラグにより第i登録物品が消耗品であるか否かが表わされる。第i登録物品について“1”の消耗品フラグは、第i登録物品が消耗品であることを指し示す。第i登録物品が消耗品であるか否かの判別は上記の物体分類処理において実現される。
【0231】
任意の第i登録物品が消耗品である場合には特に、住居HH内に存在する第i登録物品の個数をデータベースDBにて管理及び登録しておくと良い。ここでは、第i登録物品の個数を第i登録物品の他情報680に設定しておくものとする(
図7参照)。制御部10は、撮影画像情報SI21に基づいて、又は、撮影画像情報SI21及び光検出情報SI22に基づいて、住居HH内に存在する第i登録物品の個数を検出し、その検出された個数(以下、第i登録物品の検出個数NUM
DETと称する)を第i登録物品の他情報680に設定できる。
【0232】
そして、他情報680に設定された第i登録物品の検出個数NUMDETは、ユーザ操作に基づき表示部41に表示されるなどして、ユーザに通知されると良い。これにより、第i登録物品の個数をユーザは容易に知ることができる。
【0233】
特定の種類の物品(主に消耗品)に関しては必要数が制御部10にて設定されている。特定の種類の物品とは、イベント時に複数個消費されるような物品であり、例えば、紙コップ、使い捨て歯ブラシ及びペットボトル入りジュース等である。必要数はユーザ操作により予め定められているものとする。例えば、第i登録物品が紙コップである場合、第i登録物品は特定の種類の物品に属し、第i登録物品の検出個数NUMDETと共に第i登録物品の必要数NUMNEEDも第i登録物品の他情報680に設定される。そして例えば、第i登録物品の検出個数NUMDETと第i登録物品の必要数NUMNEEDとの間に所定条件が満たされるとき、例えば差(NUMDET-NUMNEED)がゼロ又は正の所定値以下であるとき、制御部10は、第i登録物品の補充(個数増大)を促す補充通知をユーザに行っても良い。
【0234】
[実施例EX9]
実施例EX9を説明する。第i登録物品の情報677(
図7参照)による廃棄済推定フラグは、第i登録物品が廃棄済推定物品であるか否かを表すフラグである。第i登録物品について“1”の廃棄済推定フラグは第i登録物品が廃棄済推定物品であることを指し示す。廃棄済推定物品とは、廃棄された物品であると制御部10により推定された物品を指す。各登録物品の廃棄済推定フラグの初期値は“0”である。例えば、制御部10は、ユーザの発話内容に対する音声認識処理の結果に基づき又はインターフェース部40への入力操作の内容に基づき第i登録物品が廃棄されたのかを推定する。そして、第i登録物品が廃棄されたと推定される場合、第i登録物品の廃棄済推定フラグ(677)に“1”を代入する。例えば、特定の登録物品の名称が“BBB”である場合において、登録者間の会話で「BBBは少し前に捨てたよ」という発話があったとき、その発話の内容に対する音声認識処理の結果に基づき、制御部10は特定の登録物品に対する廃棄済推定フラグ(677)に“1”を代入する。尚、第i登録物品の廃棄とは、第i登録物品が住居HHの居住空間(収納先を含む)に存在しなくなることを意味する。
【0235】
各登録物品の廃棄済推定フラグに基づく情報は、ユーザ操作に基づき表示部41に表示されるなどしてユーザに通知されて良い。これにより、任意の登録物品に関して当該登録物品が廃棄されたか否かをユーザに知らせることが可能となる。任意の登録者は自身が何らかの物品を廃棄したのにも関わらず、廃棄したという事実を忘れる場合がある。また、任意の登録者が知らない内に他の登録者が何らかの物品を廃棄する場合もある。これらの場合において上記通知は有益となり得る。
【0236】
[実施例EX10]
実施例EX10を説明する。
【0237】
任意の第i登録物品の規定収納先が登録される際、ユーザは任意の付加情報を収納支援システム1に入力することで、付加情報を第i登録物品に関連づけてデータベースDBに保存することができる。例えば、第i登録物品の規定収納先として第1収納先が登録される際、ユーザは、第i登録物品の規定収納先を第1収納先にしている理由を付加情報に含めておくことができる。その後、保存された付加情報は、任意のタイミングにおいてユーザ操作に基づき表示部41に表示されるなどしてユーザに通知されて良い。これにより、複数の登録者間で当該理由を共有するといったことが可能である。
【0238】
実施例EX6では、同一の住居HH内で各登録物品の収納先を切り替える例を挙げたが、実施例EX6に示した方法は住居自体の変更を伴う引っ越しにおいても適用できる。
【0239】
図1のセンサ部20において光検出部22は省略され得る。この場合、撮影画像情報SI21及び光検出情報SI22に基づいて実行されると上述した任意の処理又は動作は、光検出情報SI22を利用することなく撮影画像情報SI21に基づいて実行されることになる。また、センサ部20において環境測定部23は省略可能である。
【0240】
複数の登録者が存在することを前提として上述の各実施例を説明したが、登録者の総数は1であり得る。
【0241】
[実施例EX11]
実施例EX11を説明する。
【0242】
住居HHに対して収納支援システム1が適用される例を上述したが、住居HHの代わりに、任意の工場、任意の施設、任意の乗り物などに収納支援システム1が適用されて良い。
【0243】
収納支援システム1が適用される乗り物には車両が含まれる。車両は任意の種類の自動車を含み、一般乗用車でも良いし、バス又は救急車などの公共の自動車でも良い。収納支援システム1が適用される車両は複数の収納先を備える。車両に収納支援システム1が適用される場合、車両の適所に収納支援システム1が設置され、上述の居住空間は車両の車室内の空間に読み替えられる。車両に収納支援システム1が適用される場合、各登録物品は車両に積載されるべき物品であり、車両に設けられる複数の収納先の中から、登録物品ごとに規定収納先が選択及び設定されると良い。
【0244】
車両において道具等の収納場所が定められているケースも多い。例えば救急車には多数の医療器具が搭載されており、多くの医療器具については収納されるべき場所(収納先)が定められていることから、収納支援システム1が有益に機能すると期待される。また、住居の引っ越しにおける収納支援システム1の動作を、車両での荷物積替支援にも適用できる。
【0245】
本発明に係る任意の装置(例えば収納支援システム1)を、便宜上、対象装置と称する。対象装置を、集積回路等のハードウェア、或いは、ハードウェアとソフトウェアの組み合わせによって構成することができる。対象装置にて実現される機能の全部又は一部である任意の特定の機能をプログラムとして記述して、該プログラムを対象装置に搭載可能なメモリに保存しておいても良い。そして、該プログラムをプログラム実行装置(例えば、対象装置に搭載可能なマイクロコンピュータ)上で実行することによって、その特定の機能を実現するようにしても良い。上記プログラムは任意の記録媒体に記録されうる。上記プログラムを記録する記録媒体は対象装置と異なる機器(サーバ機器等)に搭載又は接続されても良い。
【0246】
本発明の実施形態は、特許請求の範囲に示された技術的思想の範囲内において、適宜、種々の変更が可能である。以上の実施形態は、あくまでも、本発明の実施形態の例であって、本発明ないし各構成要件の用語の意義は、以上の実施形態に記載されたものに制限されるものではない。上述の説明文中に示した具体的な数値は、単なる例示であって、当然の如く、それらを様々な数値に変更することができる。
【符号の説明】
【0247】
1 収納支援システム
10 制御部
11 登録処理部
12 物体検出部
13 トラッキング処理部
14 音声対応部
15 通知部
16 判定部
17 更新処理部
20 センサ部
21 カメラ部
22 光検出部
23 環境測定部
30 記憶部
40 インターフェース部
41 表示部
42 操作部
43 マイクロホン
44 スピーカ
DB データベース
DBa 登録者データベース
DBb 収納先データベース
DBc 物品データベース
DBd 総合管理データベース
DBe 所有者判定データベース