(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023156424
(43)【公開日】2023-10-24
(54)【発明の名称】情報処理方法、情報処理装置及び情報処理プログラム
(51)【国際特許分類】
G06Q 50/10 20120101AFI20231017BHJP
G06Q 10/06 20230101ALI20231017BHJP
A47L 9/28 20060101ALI20231017BHJP
【FI】
G06Q50/10
G06Q10/06
A47L9/28 E
【審査請求】有
【請求項の数】12
【出願形態】OL
(21)【出願番号】P 2023130668
(22)【出願日】2023-08-10
(62)【分割の表示】P 2019048950の分割
【原出願日】2019-03-15
(31)【優先権主張番号】62/711,022
(32)【優先日】2018-07-27
(33)【優先権主張国・地域又は機関】US
(71)【出願人】
【識別番号】514136668
【氏名又は名称】パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ
【氏名又は名称原語表記】Panasonic Intellectual Property Corporation of America
(74)【代理人】
【識別番号】100115381
【弁理士】
【氏名又は名称】小谷 昌崇
(74)【代理人】
【識別番号】100118049
【弁理士】
【氏名又は名称】西谷 浩治
(72)【発明者】
【氏名】小川 貴生
(72)【発明者】
【氏名】小出 雅士
(57)【要約】
【課題】物品の破損が発生した状況に応じて、自走式装置に所定の動作を実行させることができる情報処理方法、情報処理装置及び情報処理プログラムを提供する。
【解決手段】サーバ装置3における情報処理方法は、空間内に設置された1以上のセンサの少なくとも1つにおいて取得された第1情報を取得し、第1情報に基づき、空間内に存在する物品の破損を検知し、第1情報に基づき、物品の破損が発生した状況を推定し、推定した状況に応じて、空間内において自走式掃除機21に所定の動作を実行させるための第2情報を出力する。
【選択図】
図1
【特許請求の範囲】
【請求項1】
情報処理装置における情報処理方法であって、
空間内に設置された1以上のセンサの少なくとも1つにおいて取得された第1情報を取得し、
前記第1情報に基づき、前記空間内に存在する物品の破損を検知した場合、前記空間内において自走式装置に所定の動作を実行させるための第2情報を出力し、
前記第2情報は、前記自走式装置を前記物品の破損位置に移動させ、前記自走式装置に破損物品を撮像させ、撮像した画像データを送信させるための情報を含み、
前記自走式装置によって送信された前記破損物品を撮像した前記画像データを取得し、
前記画像データに基づき、前記破損物品を特定し、
特定した前記破損物品と同一又は類似の属性を有する代替物品を特定し、
特定した前記代替物品に関する情報を提示装置に提示させるための第6情報を出力する、
情報処理方法。
【請求項2】
さらに、前記第1情報に基づき、前記物品の破損が発生した状況を推定し、
前記第2情報は、前記推定した状況に応じて、前記空間内において前記自走式装置に所定の音声を出力させるための情報である、
請求項1記載の情報処理方法。
【請求項3】
さらに、前記第1情報に基づき、前記物品の破損が発生した状況を推定し、
さらに、前記推定した状況を変化させるための情報を提示装置に提示させるための第3情報を出力する、
請求項1又は2記載の情報処理方法。
【請求項4】
さらに、前記第1情報に基づき、前記物品の破損が発生した状況を推定し、
前記自走式装置は、自走式掃除機であり、
前記第2情報は、前記推定した状況に応じて、前記空間内において前記自走式掃除機に前記破損した物品を清掃させるための情報である、
請求項1~3のいずれか1項に記載の情報処理方法。
【請求項5】
さらに、前記第1情報に基づき、前記物品の破損が発生した状況を推定し、
前記推定した状況は、不審者が前記空間内に侵入した状況であり、
前記第2情報は、前記空間内において前記自走式装置に前記不審者を攪乱する動作を実行させるための情報である、
請求項1~4のいずれか1項に記載の情報処理方法。
【請求項6】
さらに、前記空間内に配置された撮像装置から前記不審者を撮像した画像データを取得し、
さらに、取得した前記画像データと、前記不審者が存在することを通知するための通知情報とを送信する、
請求項5記載の情報処理方法。
【請求項7】
さらに、前記自走式装置が破損したことを示す破損情報が取得された場合、前記自走式装置の修理を依頼するための第4情報を出力する、
請求項5又は6記載の情報処理方法。
【請求項8】
さらに、前記第1情報に基づき、前記物品の破損が発生した状況を推定し、
さらに、前記推定した状況の発生を抑制するための物品に関する情報を提示装置に提示させるための第5情報を出力する、
請求項1~7のいずれか1項に記載の情報処理方法。
【請求項9】
前記1以上のセンサは、前記空間内に設置されたマイクロフォン装置及び撮像装置の少なくとも一方を含み、
前記第1情報は、前記マイクロフォン装置によって取得された音データ及び前記撮像装置によって取得された画像データの少なくとも一方を含み、
さらに、前記音データ及び前記画像データの少なくとも一方に基づき、前記物品の破損が発生した状況を推定する、
請求項1~8のいずれか1項に記載の情報処理方法。
【請求項10】
さらに、前記第1情報に基づき、前記物品の破損が発生した状況を推定し、
前記第1情報の取得は、所定の時間間隔で前記第1情報を取得し、
前記状況の推定は、前記物品の破損が発生した時点を基準とする所定の期間内に取得された複数の第1情報に基づき、前記物品の破損が発生した前記状況を推定する、
請求項1~9のいずれか1項に記載の情報処理方法。
【請求項11】
空間内に設置された1以上のセンサの少なくとも1つにおいて取得された第1情報を取得する第1取得部と、
前記第1情報に基づき、前記空間内に存在する物品の破損を検知した場合、前記空間内において自走式装置に所定の動作を実行させるための第2情報を出力する第1出力部と、
前記第2情報は、前記自走式装置を前記物品の破損位置に移動させ、前記自走式装置に破損物品を撮像させ、撮像した画像データを送信させるための情報を含み、
前記自走式装置によって送信された前記破損物品を撮像した前記画像データを取得する第2取得部と、
前記画像データに基づき、前記破損物品を特定する破損物品特定部と、
特定した前記破損物品と同一又は類似の属性を有する代替物品を特定する代替物品特定部と、
特定した前記代替物品に関する情報を提示装置に提示させるための第6情報を出力する第2出力部と、
を備える情報処理装置。
【請求項12】
空間内に設置された1以上のセンサの少なくとも1つにおいて取得された第1情報を取得し、
前記第1情報に基づき、前記空間内に存在する物品の破損を検知した場合、前記空間内において自走式装置に所定の動作を実行させるための第2情報を出力し、
前記第2情報は、前記自走式装置を前記物品の破損位置に移動させ、前記自走式装置に破損物品を撮像させ、撮像した画像データを送信させるための情報を含み、
前記自走式装置によって送信された前記破損物品を撮像した前記画像データを取得し、
前記画像データに基づき、前記破損物品を特定し、
特定した前記破損物品と同一又は類似の属性を有する代替物品を特定し、
特定した前記代替物品に関する情報を提示装置に提示させるための第6情報を出力するようにコンピュータを機能させる情報処理プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、機器に所定の動作を実行させる情報処理方法、情報処理装置及び情報処理プログラムに関するものである。
【背景技術】
【0002】
従来、掃除動作中に、撮像部で撮像された撮像画像と、記憶部に記憶されている登録された異物の画像とを比較することで画像認識を行い、記憶部に記憶した登録された異物を認識する電気掃除装置が知られている(例えば、特許文献1参照)。この電気掃除装置は、登録された異物を認識したときに、認識された異物に対応して記憶部に記憶されている制御態様に基づいて吸引駆動部の制御を行うと共に、認識された異物が何であるかを特定する表示を、表示画面に表示する。
【先行技術文献】
【特許文献】
【0003】
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、上記従来の技術では、物品の破損が発生した状況を推定しておらず、更なる改善が必要とされていた。
【0005】
本開示は、上記の問題を解決するためになされたもので、物品の破損が発生した状況に応じて、自走式装置に所定の動作を実行させることができる情報処理方法、情報処理装置及び情報処理プログラムを提供することを目的とするものである。
【課題を解決するための手段】
【0006】
本開示の一態様に係る情報処理方法は、情報処理装置における情報処理方法であって、空間内に設置された1以上のセンサの少なくとも1つにおいて取得された第1情報を取得し、前記第1情報に基づき、前記空間内に存在する物品の破損を検知し、前記第1情報に基づき、前記物品の破損が発生した状況を推定し、前記推定した状況に応じて、前記空間内において自走式装置に所定の動作を実行させるための第2情報を出力する。
【発明の効果】
【0007】
本開示によれば、空間内に存在する物品が破損した際に、物品の破損が発生した状況に応じて、自走式装置に所定の動作を実行させることができる。
【図面の簡単な説明】
【0008】
【
図1】本開示の実施の形態1における機器制御システムの構成を示す図である。
【
図2】本開示の実施の形態1におけるサーバ装置の構成を示す図である。
【
図3】本実施の形態1において機器動作情報記憶部に記憶される機器動作情報の一例を示す図である。
【
図4】本実施の形態1において物品情報記憶部に記憶される物品情報の一例を示す図である。
【
図5】本実施の形態1においてサービス情報記憶部に記憶される映画情報の一例を示す図である。
【
図6】本実施の形態1においてサービス情報記憶部に記憶されるレストラン情報の一例を示す図である。
【
図7】本開示の実施の形態1におけるサーバ装置の動作を説明するための第1のフローチャートである。
【
図8】本開示の実施の形態1におけるサーバ装置の動作を説明するための第2のフローチャートである。
【
図9】本実施の形態1において、日常的な動作中に物品が人物の手から滑り落ちた第1状況における機器の動作について説明するための図である。
【
図10】本実施の形態1において、複数の人物が喧嘩している第2状況における機器の動作について説明するための図である。
【
図11】本実施の形態1において、不審者が侵入している第3状況における機器の動作について説明するための図である。
【
図12】本開示の実施の形態2における第1サーバ装置の構成を示す図である。
【
図13】本開示の実施の形態2における第2サーバ装置の構成を示す図である。
【発明を実施するための形態】
【0009】
(本開示の基礎となった知見)
上記の従来技術では、掃除対象物以外の異物の画像が予め記憶部に登録されており、掃除動作中に撮像された撮像画像と異物の画像とが比較され、登録された異物が認識され、認識された異物が何であるかを特定する表示が表示画面に表示される。そして、異物としては、電気掃除機の故障又は破損を避ける観点から、「ビニール袋」、「書類」、「コード」又は「ネジ」等が挙げられており、吸い込まれてしまう異物の清浄性を確保したり汚損及び破損を避けたりする観点から、「書類」、「マイクロSDカード」、「紙幣」及び「宝石」等が挙げられている。つまり、従来技術では、掃除対象物以外の異物が認識されるものの、例えば、破損したマグカップ等の掃除対象物は認識されない。
【0010】
また、従来技術では、物品が破損した場合、物品の破損が発生した状況が推定されることはない。そのため、従来技術は、物品の破損が発生した状況に応じて、電気掃除機に所定の動作を実行させることについては開示も示唆もされていない。
【0011】
以上の課題を解決するために、本開示の一態様に係る情報処理方法は、情報処理装置における情報処理方法であって、空間内に設置された1以上のセンサの少なくとも1つにおいて取得された第1情報を取得し、前記第1情報に基づき、前記空間内に存在する物品の破損を検知し、前記第1情報に基づき、前記物品の破損が発生した状況を推定し、前記推定した状況に応じて、前記空間内において自走式装置に所定の動作を実行させるための第2情報を出力する。
【0012】
この構成によれば、空間内に設置された1以上のセンサの少なくとも1つにおいて取得された第1情報に基づき、物品の破損が発生した状況が推定され、推定された状況に応じて、空間内において自走式装置に所定の動作を実行させるための第2情報が出力される。したがって、空間内に存在する物品が破損した際に、物品の破損が発生した状況に応じて、自走式装置に所定の動作を実行させることができる。
【0013】
また、上記の情報処理方法において、前記第2情報は、前記推定した状況に応じて、前記空間内において前記自走式装置に所定の音声を出力させるための情報であってもよい。
【0014】
この構成によれば、物品の破損が発生した状況に応じて、空間内において自走式装置に所定の音声を出力させることができる。例えば、物品の破損が発生した状況が、複数の人物が喧嘩している状況である場合、自走式装置に喧嘩中の複数の人物をなだめる音声を出力しながら移動させる動作を実行させることができる。
【0015】
また、上記の情報処理方法において、さらに、前記推定した状況を変化させるための情報を提示装置に提示させるための第3情報を出力してもよい。
【0016】
この構成によれば、推定した状況を変化させるための情報を提示装置に提示させるための第3情報が出力されるので、物品の破損が発生した状況を変化させることができる。例えば、物品の破損が発生した状況が、複数の人物が喧嘩している状況である場合、喧嘩中の複数の人物が仲直りするのに適した情報を提示することができる。
【0017】
また、上記の情報処理方法において、前記自走式装置は、自走式掃除機であり、前記第2情報は、前記推定した状況に応じて、前記空間内において前記自走式掃除機に前記破損した物品を清掃させるための情報であってもよい。
【0018】
この構成によれば、自走式装置は、自走式掃除機であり、物品の破損が発生した状況に応じて、空間内において自走式掃除機に破損した物品を清掃させることができる。例えば、物品の破損が発生した状況が、日常的な動作中に物品が人物の手から滑り落ちた状況である場合、自走式掃除機に破損物品を清掃させる動作を実行させることができる。
【0019】
また、上記の情報処理方法において、前記推定した状況は、不審者が前記空間内に侵入した状況であり、前記第2情報は、前記空間内において前記自走式装置に前記不審者を攪乱する動作を実行させるための情報であってもよい。
【0020】
この構成によれば、物品の破損が発生した状況が、不審者が空間内に侵入した状況である場合、空間内において自走式装置に不審者を攪乱する動作を実行させることができる。
【0021】
また、上記の情報処理方法において、さらに、前記空間内に配置された撮像装置から前記不審者を撮像した画像データを取得し、さらに、取得した前記画像データと、前記不審者が存在することを通知するための通知情報とを送信してもよい。
【0022】
この構成によれば、空間内に配置された撮像装置から不審者を撮像した画像データが取得され、取得された画像データと、不審者が存在することを通知するための通知情報とが送信されるので、不審者が存在することを他者に通知することができる。
【0023】
また、上記の情報処理方法において、さらに、前記自走式装置が破損したことを示す破損情報が取得された場合、前記自走式装置の修理を依頼するための第4情報を出力してもよい。
【0024】
この構成によれば、自走式装置が破損した場合に、自走式装置の修理を自動的に依頼することができる。
【0025】
また、上記の情報処理方法において、さらに、前記推定した状況の発生を抑制するための物品に関する情報を提示装置に提示させるための第5情報を出力してもよい。
【0026】
この構成によれば、物品の破損が発生した状況の発生を抑制するための物品に関する情報が提示装置に提示されるので、物品の破損が発生した状況の発生を抑制することができる。例えば、物品の破損が発生した状況が、不審者が空間内に侵入した状況である場合、不審者が空間内に侵入した状況の発生を抑制するための物品として防犯用品に関する情報を提示することができる。
【0027】
また、上記の情報処理方法において、前記1以上のセンサは、前記空間内に設置されたマイクロフォン装置及び撮像装置の少なくとも一方を含み、前記第1情報は、前記マイクロフォン装置によって取得された音データ及び前記撮像装置によって取得された画像データの少なくとも一方を含み、前記状況の推定は、前記音データ及び前記画像データの少なくとも一方に基づき、前記物品の破損が発生した前記状況を推定してもよい。
【0028】
この構成によれば、空間内に設置されたマイクロフォン装置によって取得された音データ及び空間内に設置された撮像装置によって取得された画像データの少なくとも一方に基づき、物品の破損が発生した状況を高い精度で推定することができる。
【0029】
また、上記の情報処理方法において、前記第1情報の取得は、所定の時間間隔で前記第1情報を取得し、前記状況の推定は、前記物品の破損が発生した時点を基準とする所定の期間内に取得された複数の第1情報に基づき、前記物品の破損が発生した前記状況を推定してもよい。
【0030】
この構成によれば、所定の時間間隔で第1情報が取得され、物品の破損が発生した時点を基準とする所定の期間内に取得された複数の第1情報に基づき、物品の破損が発生した状況が推定されるので、例えば、物品の破損が発生した時点から所定の期間だけ過去の画像データを用いて物品の破損が発生した状況をより高い精度で推定することができる。
【0031】
本開示の他の態様に係る情報処理装置は、空間内に設置された1以上のセンサの少なくとも1つにおいて取得された第1情報を取得する取得部と、前記第1情報に基づき、前記空間内に存在する物品の破損を検知する検知部と、前記第1情報に基づき、前記物品の破損が発生した状況を推定する推定部と、前記推定した状況に応じて、前記空間内において自走式装置に所定の動作を実行させるための第2情報を出力する出力部と、を備える。
【0032】
この構成によれば、空間内に設置された1以上のセンサの少なくとも1つにおいて取得された第1情報に基づき、物品の破損が発生した状況が推定され、推定された状況に応じて、空間内において自走式装置に所定の動作を実行させるための第2情報が出力される。したがって、空間内に存在する物品が破損した際に、物品の破損が発生した状況に応じて、自走式装置に所定の動作を実行させることができる。
【0033】
本開示の他の態様に係る情報処理プログラムは、空間内に設置された1以上のセンサの少なくとも1つにおいて取得された第1情報を取得し、前記第1情報に基づき、前記空間内に存在する物品の破損を検知し、前記第1情報に基づき、前記物品の破損が発生した状況を推定し、前記推定した状況に応じて、前記空間内において自走式装置に所定の動作を実行させるための第2情報を出力するようにコンピュータを機能させる。
【0034】
この構成によれば、空間内に設置された1以上のセンサの少なくとも1つにおいて取得された第1情報に基づき、物品の破損が発生した状況が推定され、推定された状況に応じて、空間内において自走式装置に所定の動作を実行させるための第2情報が出力される。したがって、空間内に存在する物品が破損した際に、物品の破損が発生した状況に応じて、自走式装置に所定の動作を実行させることができる。
【0035】
以下添付図面を参照しながら、本開示の実施の形態について説明する。なお、以下の実施の形態は、本開示を具体化した一例であって、本開示の技術的範囲を限定するものではない。
【0036】
(実施の形態1)
図1は、本開示の実施の形態1における機器制御システムの構成を示す図である。
図1に示すように、機器制御システムは、サーバ装置3、ゲートウェイ(GW)5、第1センサ11、第2センサ12、自走式掃除機21及び表示装置22を備える。
【0037】
ゲートウェイ5、第1センサ11、第2センサ12、自走式掃除機21及び表示装置22は、住宅10内に配置される。ゲートウェイ5は、第1センサ11、第2センサ12、自走式掃除機21及び表示装置22と無線で通信可能に接続される。また、ゲートウェイ5は、ネットワーク4を介してサーバ装置3と互いに通信可能に接続される。ネットワーク4は、例えばインターネットである。
【0038】
第1センサ11、第2センサ12、自走式掃除機21及び表示装置22は、ゲートウェイ5を介してサーバ装置3と互いに通信可能に接続される。なお、第1センサ11、第2センサ12、自走式掃除機21及び表示装置22は、ゲートウェイ5を介さずに、サーバ装置3と直接通信可能に接続されてもよい。
【0039】
図2は、本開示の実施の形態1におけるサーバ装置の構成を示す図である。サーバ装置3は、住宅10内に配置された複数のセンサを含むセンサ群1と、住宅10内に配置された複数の機器を含む機器群2と通信可能に接続されている。センサ群1は、第1センサ11及び第2センサ12等の種々のセンサを含む。機器群2は、自走式掃除機21、表示装置22及び情報機器23等の種々の機器を含む。なお、
図2において、ゲートウェイ5は省略されている。
【0040】
第1センサ11は、例えば、マイクロフォン装置であり、住宅10内の音を収集し、音データをサーバ装置3へ送信する。第2センサ12は、例えば、撮像装置であり、住宅10内を撮像し、画像データをサーバ装置3へ送信する。なお、センサ群1は、熱画像センサ及び振動センサを含んでもよい。センサ群1を構成するセンサは、住宅10の壁、床及び家具に設置されてもよく、機器群2のいずれかの機器に搭載されていてもよい。
【0041】
自走式掃除機21は、自走式装置の一例であり、自律的に移動しながら吸引清掃を行う。自走式掃除機21は、住宅10内の床面上を自律的に移動しながら床面を掃除する。通常、自走式掃除機21は、住宅10内の所定の場所に設置された充電装置(図示せず)に接続されており、自走式掃除機21の本体に設けられた清掃開始ボタンがユーザにより押下された場合、又はサーバ装置3から清掃指示情報を受信した場合、充電装置から離れ、清掃を開始する。自走式掃除機21は、不図示の制御部、カメラ、スピーカ、駆動部、清掃部及び通信部を備える。
【0042】
制御部は、自走式掃除機21による清掃動作を制御する。駆動部は、自走式掃除機21を移動させる。駆動部は、自走式掃除機21を移動させるための駆動輪及び駆動輪を駆動するモータを含む。駆動輪は自走式掃除機21の底部に設置されている。清掃部は、自走式掃除機21の底部に設置され、吸引対象物を吸引する。
【0043】
カメラは、自走式掃除機21の進行方向を撮像する。通信部は、カメラによって撮像された画像データをサーバ装置3へ送信する。また、通信部は、清掃を開始するための清掃指示情報をサーバ装置3から受信する。制御部は、通信部によって清掃指示情報が受信された場合、清掃を開始する。なお、清掃指示情報は、住宅10内において物品6が破損した破損位置を含む。破損位置は、例えばマグカップ及び皿などの物品6が破損した位置である。自走式掃除機21は、破損位置まで移動した後、破損位置に存在する吸引対象物を撮像し、撮像した画像データをサーバ装置3へ送信する。そして、自走式掃除機21は、破損位置を清掃し、充電装置へ戻る。
【0044】
スピーカは、物品の破損が発生した状況に応じて、所定の音声を出力する。例えば、物品の破損が発生した状況が、複数の人物が喧嘩している状況であった場合、スピーカは、喧嘩している複数の人物をなだめるような音声を出力する。
【0045】
なお、本実施の形態1では、機器制御システムは、自走式掃除機21を自走式装置の一例として備えているが、本開示は特にこれに限定されず、ペット型ロボット等の自走式ロボットを自走式装置の一例として備えてもよい。自走式ロボットは、自走式掃除機21の清掃機能以外の機能を有している。
【0046】
表示装置22は、住宅10内の所定の部屋の壁に配置される。また、本実施の形態1における機器制御システムは、複数の表示装置22を備えてもよい。複数の表示装置22は、例えば、リビング、キッチン、寝室、風呂、トイレ及び玄関等の各部屋の壁に配置されてもよい。また、表示装置22は、スマートフォン又はタブレット型コンピュータ等の情報端末であってもよい。表示装置22は、不図示の通信部、表示部及び入力部を備える。
【0047】
通信部は、住宅10内に配置された機器から、機器の状態を示す情報を受信する。また、通信部は、サーバ装置3から提示情報を受信する。
【0048】
表示部は、例えば、液晶表示装置であり、種々の情報を表示する。表示部は、住宅10内に配置された機器に関する情報を表示する。表示部は、例えば、洗濯機の現在の状態を表示したり、空調機器の現在の状態を表示したりする。また、表示部は、通信部によって受信された提示情報を表示する。
【0049】
入力部は、例えば、タッチパネルであり、ユーザによる入力操作を受け付ける。入力部は、住宅10内に配置された機器に対する操作指示の入力を受け付ける。入力部は、例えば、空調機器に対する操作指示の入力を受け付けたり、照明機器に対する操作指示の入力を受け付けたりする。通信部は、入力部によって入力された操作指示を機器へ送信する。
【0050】
情報機器23は、例えば、スマートフォン、タブレット型コンピュータ、パーソナルコンピュータ又は携帯電話機であり、外部と通信する機能を有している。情報機器23は、不図示の通信部を備える。通信部は、住宅10内に侵入した不審者を撮像した画像データと、不審者が存在することを通知するための通知情報とをサーバ装置3から受信し、受信した画像データ及び通知情報を警察が管理するサーバ装置へ送信する。サーバ装置3は、住宅10内の情報機器23を介して画像データ及び通知情報を警察が管理するサーバ装置へ送信することにより、警察は、画像データ及び通知情報の送信元を特定することができる。
【0051】
なお、本実施の形態1において、サーバ装置3は、情報機器23を介して画像データ及び通知情報を警察が管理するサーバ装置へ送信しているが、本開示は特にこれに限定されず、サーバ装置3は、情報機器23を介さずに、画像データ及び通知情報を警察が管理するサーバ装置へ直接送信してもよい。
【0052】
機器群2は、自走式掃除機21、表示装置22及び情報機器23以外に、洗濯機、照明機器、空調機器、電動シャッター、電気錠及び空気清浄機等を含む。機器群2を構成する機器は、例えば、家電機器、情報機器及び住宅設備機器を含む。
【0053】
サーバ装置3は、通信部31、プロセッサ32及びメモリ33を備える。
【0054】
通信部31は、センサデータ受信部311、制御情報送信部312、提示情報送信部313及び通知情報送信部314を備える。プロセッサ32は、破損検知部321、状況推定部322、破損位置特定部323、機器動作決定部324、破損物品特定部325、代替物品特定部326、提示情報生成部327、サービス特定部328及び通知情報生成部329を備える。メモリ33は、機器動作情報記憶部331、物品情報記憶部332及びサービス情報記憶部333を備える。
【0055】
センサデータ受信部311は、住宅10(空間)内に設置された1以上のセンサの少なくとも1つにおいて取得されたセンサデータ(第1情報)を取得する。センサデータ受信部311は、センサ群1の各センサからセンサデータを受信する。センサデータ(第1情報)は、第1センサ11(マイクロフォン装置)によって取得された音データ及び第2センサ12(撮像装置)によって取得された画像データを含む。センサデータ受信部311は、第1センサ11から音データをセンサデータとして受信し、第2センサ12から画像データをセンサデータとして受信する。
【0056】
また、センサデータ受信部311は、機器群2の各機器からセンサデータを受信する。機器群2の中には、センサを備えた機器もある。センサを備えた機器は、センサデータをサーバ装置3へ送信する。上記のように、自走式掃除機21はカメラを備えている。そのため、センサデータ受信部311は、自走式掃除機21から画像データをセンサデータとして受信する。また、表示装置22がマイクロフォン及びカメラを備えてもよく、センサデータ受信部311は、表示装置22から音データ及び画像データをセンサデータとして受信してもよい。
【0057】
破損検知部321は、センサデータ受信部311によって受信されたセンサデータ(第1情報)に基づき、住宅10内に存在する物品の破損を検知する。破損検知部321は、第1センサ11から受信した音データに物品が破損した際に発生する音の特徴が含まれている場合、物品が破損したことを検知する。メモリ33は、例えば、陶器又はガラスが割れる音などの複数の破損音の周波数成分を予め記憶してもよい。破損検知部321は、第1センサ11から受信した音データの周波数成分と、メモリ33に記憶されている複数の破損音の周波数成分とを比較し、2つの周波数成分が一致した場合、物品が破損したことを検知する。
【0058】
なお、破損検知部321は、物品の破損が発生した時点の音データと、物品の破損が発生したこととを教師データとして機械学習された予測モデルを用いて、第1センサ11から受信した音データから、物品の破損が発生したことを推定してもよい。この場合、予測モデルは、予めメモリ33に記憶されている。
【0059】
また、破損検知部321は、第2センサ12によって撮像された画像データから、物品が破損したことを検知してもよい。例えば、センサデータ受信部311は、第2センサ12から時間的に連続した画像データを取得してもよい。破損検知部321は、取得した画像データを解析し、当該画像データに、住宅10内の人物の手から物品が落下し、床面で物品が割れた様子が含まれている場合、物品が破損したことを検知してもよい。
【0060】
また、破損検知部321は、振動センサなどの他のセンサからのセンサデータを用いて物品が破損したことを検知してもよい。また、破損検知部321は、センサ群1の複数のセンサからのセンサデータを用いて、物品が破損したことを検知してもよい。
【0061】
状況推定部322は、センサデータ(第1情報)に基づき、物品の破損が発生した状況を推定する。状況推定部322は、音データ及び画像データの少なくとも一方に基づき、物品の破損が発生した状況を推定する。すなわち、センサデータ受信部311は、所定の時間間隔で画像データを取得する。状況推定部322は、物品の破損が発生した時点を基準とする所定の期間内に取得された複数の画像データに基づき、物品の破損が発生した状況を推定する。破損検知部321は、音データから物品が破損した音の特徴成分を認識することにより、物品の破損が発生した時点を特定することができる。状況推定部322は、特定された物品の破損が発生した時点から過去の所定の期間内に取得された複数の画像データに基づき、物品の破損が発生した状況を推定する。
【0062】
例えば、人物の日常的な動作中に物品が人物の手から滑り落ちた場合、物品は破損する。また、例えば、複数の人物が喧嘩している場合、複数の人物のうちの1の人物が物品を投げることにより、物品は破損する。また、例えば、不審者が住宅10内に侵入した場合、不審者が物品を破壊することにより、物品は破損する。そのため、物品の破損が発生した状況としては、例えば、日常的な動作中に物品が人物の手から滑り落ちた第1状況、複数の人物が喧嘩している第2状況、及び不審者が侵入している第3状況が存在する。状況推定部322は、物品の破損が発生した状況が、日常的な動作中に物品が人物の手から滑り落ちた第1状況、複数の人物が喧嘩している第2状況、及び不審者が侵入している第3状況のいずれであるかを推定する。
【0063】
状況推定部322は、物品の破損が発生した時点の直前の複数の画像データを解析し、複数の画像データに含まれる人物の手と物品とを認識する。そして、状況推定部322は、当該人物の手から物品が落下した場合、物品の破損が発生した状況が、日常的な動作中に物品が人物の手から滑り落ちた第1状況であると推定する。なお、状況推定部322は、物品の破損が発生した時点の直前の音データを取得し、音データに人物が驚く声が含まれている場合、物品の破損が発生した状況が、日常的な動作中に物品が人物の手から滑り落ちた第1状況であると推定してもよい。
【0064】
また、状況推定部322は、物品の破損が発生した時点の直前の複数の画像データを解析し、複数の画像データに含まれる複数の人物の手と物品とを認識する。そして、状況推定部322は、複数の人物のうちの1の人物が物品を投げた場合、物品の破損が発生した状況が、複数の人物が喧嘩している第2状況であると推定する。なお、状況推定部322は、物品の破損が発生した時点の直前の音データを取得し、音データに複数の人物が言い争う声が含まれている場合、物品の破損が発生した状況が、複数の人物が喧嘩している第2状況であると推定してもよい。
【0065】
また、状況推定部322は、物品の破損が発生した時点の直前の音データを取得し、音データに含まれる複数の人物の声の音量閾値以上である場合、物品の破損が発生した状況が、複数の人物が喧嘩している第2状況であると推定してもよい。また、状況推定部322は、物品の破損が発生した時点の直前の複数の画像データを取得し、複数の画像データに含まれる複数の人物が喧嘩している動きを認識してもよい。また、状況推定部322は、振動センサによって複数の人物が喧嘩している際に発生する振動を検出してもよい。
【0066】
さらに、状況推定部322は、物品の破損が発生した時点の直前の複数の画像データを解析し、複数の画像データに含まれる人物を認識する。そして、状況推定部322は、予め登録されている住宅10の住人ではない人物が認識された場合、物品の破損が発生した状況が、不審者が侵入している第3状況であると推定する。なお、状況推定部322は、予め登録されている住宅10の住人ではない人物が認識され、かつ予め登録されている住宅10の住人が認識されなかった場合、物品の破損が発生した状況が、不審者が侵入している第3状況であると推定してもよい。
【0067】
なお、状況推定部322は、物品の破損が発生した時点の直前の画像データと、物品の破損が発生した状況とを教師データとして機械学習された予測モデルを用いて、物品の破損が発生した時点の直前の画像データから、物品の破損が発生した状況を推定してもよい。なお、予測モデルは、予めメモリ33に記憶されている。
【0068】
なお、本実施の形態1における物品の破損が発生した状況は、上記の第1状況~第3状況に限定されない。
【0069】
破損位置特定部323は、住宅10内における物品の破損位置を特定する。メモリ33は、例えば、2次元の座標空間で表される住宅10の間取り図を予め記憶してもよい。なお、自走式掃除機21は、住宅10内を移動することにより間取り図を作成し、作成した間取り図をサーバ装置3へ送信してもよい。破損位置特定部323は、物品が破損した音の発生源の間取り図上の座標を破損位置として特定する。
【0070】
なお、破損位置特定部323は、複数のマイクロフォンによって物品が破損した音を収集することにより、より正確に物品が破損した音の発生源を特定することができる。また、破損位置特定部323は、第2センサ12によって撮像された画像データから、物品が破損した位置を特定してもよい。
【0071】
機器動作決定部324は、状況推定部322によって推定された状況に応じて、住宅10(空間)内において自走式掃除機21(自走式装置)に実行させる所定の動作を決定する。また、機器動作決定部324は、状況推定部322によって推定された状況に応じて、自走式掃除機21以外の他の機器に実行させる所定の動作を決定してもよい。また、機器動作決定部324は、機器群2を構成する機器だけでなく、状況推定部322によって推定された状況に応じて、センサ群1を構成するセンサに実行させる所定の動作を決定してもよい。
【0072】
機器動作情報記憶部331は、物品の破損が発生した状況と、機器に実行させる動作とを対応付けた機器動作情報を予め記憶している。
【0073】
図3は、本実施の形態1において機器動作情報記憶部に記憶される機器動作情報の一例を示す図である。
【0074】
図3に示すように、物品の破損が発生した状況には、機器に実行させる動作が対応付けられている。日常的な動作中に物品が人物の手から滑り落ちた第1状況には、自走式掃除機21に破損物品を吸引させる動作と、表示装置22に破損物品の代替物品を提示させる動作とが対応付けられている。また、複数の人物が喧嘩している第2状況には、自走式掃除機21に喧嘩中の複数の人物をなだめる音声を出力しながら移動させる動作と、表示装置22に仲直りに適したレストラン又は映画を提示させる動作とが対応付けられている。また、不審者が侵入している第3状況には、自走式掃除機21に不審者の足下を攪乱しながら移動させる動作と、撮像装置(第2センサ12)に不審者を撮像させる動作と、情報機器23に不審者を撮像した画像データと不審者が存在することを通知するための通知情報とを警察に送信させる動作とが対応付けられている。
【0075】
なお、物品の破損が発生した状況に対応付けられる機器の動作については、上記に限定されない。
【0076】
機器動作決定部324は、機器動作情報記憶部331を参照し、状況推定部322によって推定された状況に対応付けられている機器に実行させる所定の動作を決定する。
【0077】
機器動作決定部324は、日常的な動作中に物品が人物の手から滑り落ちた第1状況が推定された場合、破損物品を吸引させる自走式掃除機21の動作と、破損物品の代替物品を提示させる表示装置22の動作とを決定する。また、機器動作決定部324は、複数の人物が喧嘩している第2状況が推定された場合、喧嘩中の複数の人物をなだめる音声を出力しながら移動させる自走式掃除機21の動作と、仲直りに適したレストラン又は映画を提示させる表示装置22の動作とを決定する。また、機器動作決定部324は、不審者が侵入している第3状況が推定された場合、不審者の足下を攪乱しながら移動させる自走式掃除機21の動作と、不審者を撮像させる撮像装置(第2センサ12)の動作と、不審者を撮像した画像データと不審者が存在することを通知するための通知情報とを警察に送信させる情報機器23の動作とを決定する。
【0078】
また、機器動作決定部324は、自走式掃除機21の動作を制御する。機器動作決定部324は、推定された状況に応じて、空間内において自走式掃除機21(自走式装置)に所定の動作を実行させるための制御情報(第2情報)を生成する。ここで、制御情報は、推定された状況に応じて、住宅10(空間)内において自走式掃除機21に破損した物品を清掃させるための清掃指示情報である。機器動作決定部324は、破損物品を吸引させる自走式掃除機21の動作を決定した場合、破損位置特定部323によって特定された破損位置に自走式掃除機21を移動させるとともに、当該破損位置において自走式掃除機21に破損物品を清掃させるための清掃指示情報を生成する。
【0079】
制御情報送信部312は、推定された状況に応じて、住宅10(空間)内において自走式掃除機21(自走式装置)に所定の動作を実行させるための制御情報(第2情報)を出力する。制御情報送信部312は、機器動作決定部324によって生成された清掃指示情報を自走式掃除機21へ送信する。自走式掃除機21は、清掃指示情報を受信すると、破損位置に移動し、当該破損位置において破損物品である吸引対象物を撮像し、撮像した画像データをサーバ装置3へ送信し、吸引対象物を吸引する。センサデータ受信部311は、自走式掃除機21による吸引対象物に関する情報を取得する。例えば、吸引対象物に関する情報は、吸引対象物の外観に関する情報である。外観に関する情報は、自走式掃除機21が備えるカメラによって撮像された画像を含む。画像は、吸引対象物を含む。センサデータ受信部311は、自走式掃除機21によって送信された吸引対象物を撮像した画像データを受信する。
【0080】
破損物品特定部325は、機器動作決定部324によって破損物品の代替物品を提示させる表示装置22の動作が特定された場合、自走式掃除機21から受信した吸引対象物を含む画像データに基づき、吸引対象物により構成される破損物品を特定する。吸引対象物は、破損物品である。破損物品特定部325は、吸引対象物の外観に基づき、破損物品を特定する。破損物品特定部325は、吸引対象物を含む画像を認識し、認識した画像から破損物品を特定する。メモリ33は、複数の物品の画像と、当該複数の物品それぞれの名称(商品名)とを対応付けたテーブルを予め記憶してもよい。破損物品特定部325は、吸引対象物を撮像した画像データと、メモリ33に記憶されている複数の物品の画像とを比較し、吸引対象物の画像と部分的に一致する物品の画像に対応付けられている物品の名称を、破損物品の名称として特定する。
【0081】
物品情報記憶部332は、物品に関する物品情報を記憶する。
【0082】
図4は、本実施の形態1において物品情報記憶部に記憶される物品情報の一例を示す図である。
【0083】
図4に示すように、物品情報は、物品を識別するための品番、物品の商品名、物品の種類、物品のカテゴリ、物品の色、物品のサイズ、物品の重量、物品の材質、物品の価格、物品の製造メーカ及び物品の販売店舗を含む。物品情報記憶部332は、品番、物品の商品名、物品の種類、物品のカテゴリ、物品の色、物品のサイズ、物品の重量、物品の材質、物品の価格、物品の製造メーカ及び物品の販売店舗を対応付けた物品情報を記憶する。
【0084】
なお、
図4に示す物品情報は一例であり、物品の画像等の他の情報を含んでもよい。また、物品情報の全てが1つのテーブルで管理されてもよいし、複数のテーブルに分散して管理されてもよい。
【0085】
代替物品特定部326は、破損物品に関する物品情報に基づき、破損物品に関連する代替物品を特定する。代替物品特定部326は、破損物品の物品情報を物品情報記憶部332から取得する。
【0086】
例えば、代替物品は、破損物品と同一の物品であってもよい。この場合、代替物品特定部326は、破損物品と同一の物品を代替物品として特定する。
【0087】
また、例えば、代替物品は、破損物品と同一の属性の物品であってもよい。この場合、代替物品特定部326は、破損物品と同一の属性の物品を代替物品として特定する。属性は、例えば、物品の色、サイズ、重量又は材質である。代替物品特定部326は、破損物品の色、サイズ、重量及び材質が同一の物品を代替物品として特定する。なお、代替物品特定部326は、破損物品の色、サイズ、重量及び材質のうちの少なくとも1つが同一の物品を代替物品として特定してもよい。
【0088】
また、例えば、代替物品は、破損物品の属性と類似する属性の物品であってもよい。この場合、代替物品特定部326は、破損物品の属性と類似する属性の物品を代替物品として特定する。属性は、例えば、物品の色、サイズ又は重量である。代替物品特定部326は、破損物品の色、サイズ及び重量のうちの少なくとも1つに類似する物品を代替物品として特定する。例えば、青色に類似する色は、青紫色などであり、色毎に類似の色が対応付けて予め記憶される。また、破損物品のサイズに類似するサイズの物品とは、例えば、破損物品の幅、奥行及び高さの-1センチメートルから+1センチメートルの範囲内のサイズの物品である。なお、破損物品のサイズに類似するサイズの物品とは、前述したようにサイズが所定の値の範囲内の物品に限らず、例えば、破損物品の幅、奥行及び高さの-10%から+10%の範囲内のサイズの物品のように、サイズが所定の比率の範囲内の物品であってもよい。さらに、破損物品の重量に類似する重量の物品とは、例えば、破損物品の重量の-10グラムから+10グラムの範囲内の重量の物品である。なお、破損物品の重量に類似する重量の物品とは、例えば、前述したようにサイズが所定の値の範囲内の物品に限らず、破損物品の重量の-10%から+10%の範囲内の重量の物品のように、サイズが所定の比率の範囲内の物品であってもよい。
【0089】
また、例えば、代替物品は、破損物品と同一の属性であり、かつ破損物品より強度が高い材質の物品であってもよい。この場合、代替物品特定部326は、破損物品と同一の属性であり、かつ破損物品より強度が高い材質の物品を代替物品として特定する。属性は、例えば、物品の色である。破損物品の材質が陶器である場合、代替物品特定部326は、破損物品と同一の色であり、かつ破損物品より強度が高い金属の物品を代替物品として特定する。
【0090】
なお、メモリ33は、ユーザに関するユーザ情報を記憶するユーザ情報記憶部を備えてもよい。ユーザ情報は、ユーザを識別するためのユーザID、ユーザの氏名、ユーザの住所、ユーザの生年月日、ユーザの血液型、ユーザの家族構成及びユーザの所有物品を含む。代替物品特定部326は、破損物品特定部325によって特定された破損物品を所有するユーザを特定し、特定したユーザのユーザ情報をユーザ情報記憶部から取得してもよい。そして、代替物品特定部326は、破損物品に関する物品情報と、破損物品の所有者に関するユーザ情報とに基づき、破損物品に関連する代替物品を特定してもよい。
【0091】
例えば、ユーザ情報は、所有者が所有している複数の所有物品を示す所有物品情報を含む。代替物品特定部326は、所有物品情報で示される複数の所有物品の中から、破損物品とは種類が異なる物品を特定し、販売されている複数の販売物品の中から、特定した物品と少なくとも1つの属性が同じであり、かつ破損物品と同じ種類の物品を代替物品として特定してもよい。また、ユーザ情報は、所有者の住居の位置を示す住居情報を含んでもよい。代替物品特定部326は、住居情報で示される住居の位置から所定範囲内の店舗で購入可能な代替物品を特定してもよい。
【0092】
提示情報生成部327は、代替物品特定部326によって特定された代替物品に関する提示情報を生成する。提示情報は、代替物品の外観を示す画像を含む。また、提示情報は、代替物品の外観を示す画像とともに、代替物品を注文するためのオブジェクト画像を含んでもよい。
【0093】
提示情報送信部313は、代替物品特定部326によって特定された代替物品に関する提示情報を出力する。すなわち、提示情報送信部313は、提示情報生成部327によって生成された提示情報を表示装置22へ送信する。表示装置22は、受信した提示情報を所定の態様で表示する。
【0094】
また、複数の人物が喧嘩している第2状況が推定された場合、機器動作決定部324が生成する制御情報は、推定された状況に応じて、住宅10(空間)内において自走式掃除機21(自走式装置)に所定の音声を出力させるための音声出力指示情報である。機器動作決定部324は、喧嘩中の複数の人物をなだめる音声を出力しながら移動させる自走式掃除機21の動作を決定した場合、破損位置特定部323によって特定された破損位置に自走式掃除機21を移動させるとともに、当該破損位置において自走式掃除機21に喧嘩中の複数の人物をなだめる音声を出力しながら移動させるための音声出力指示情報を生成する。
【0095】
制御情報送信部312は、機器動作決定部324によって生成された音声出力指示情報を自走式掃除機21へ送信する。自走式掃除機21は、音声出力指示情報を受信すると、充電位置から破損位置に移動し、当該破損位置において喧嘩中の複数の人物をなだめる音声を出力する。このとき、自走式掃除機21は、喧嘩中の複数の人物をなだめる音声を出力するとともに、吸引対象物(破損物品)を吸引してもよい。そして、吸引対象物の吸引が完了した後、又は音声出力を開始してから所定時間が経過した後、自走式掃除機21は、充電位置へ戻る。
【0096】
サービス特定部328は、機器動作決定部324によって仲直りに適したレストラン又は映画を提示させる表示装置22の動作が特定された場合、サービス情報記憶部333を参照し、喧嘩中の複数の人物に提示するためのレストラン又は映画を特定する。
【0097】
サービス情報記憶部333は、上映中の映画に関する映画情報及びレストランに関するレストラン情報を含むサービス情報を予め記憶する。
【0098】
図5は、本実施の形態1においてサービス情報記憶部に記憶される映画情報の一例を示す図である。
【0099】
図5に示すように、映画情報は、映画のタイトル、映画のジャンル、上映場所、上映スケジュール及び空席情報を含む。サービス情報記憶部333は、映画のタイトル、映画のジャンル、上映場所、上映スケジュール及び空席情報を対応付けた映画情報を記憶する。
【0100】
なお、
図5に示す映画情報は一例であり、映画に出演している俳優等の他の情報を含んでもよい。また、映画情報の全てが1つのテーブルで管理されてもよいし、複数のテーブルに分散して管理されてもよい。
【0101】
サービス特定部328は、喧嘩中の複数の人物に提示するための映画を特定する。サービス特定部328は、例えば、仲直りに適したジャンルであり、鑑賞可能な映画を特定する。なお、映画が仲直りに適したジャンルであるか否かは、映画情報に予め含まれていることが好ましい。また、鑑賞可能な映画とは、上映開始時刻が現在時刻以降であり、かつ空席がある映画のことである。また、メモリ33が、喧嘩中の複数の人物のそれぞれに関するユーザ情報を予め記憶しており、ユーザ情報が、好みの映画のジャンルに関する情報を含む場合、サービス特定部328は、ユーザ情報を参照し、喧嘩中の複数の人物に共通する好みの映画のジャンルに対応する映画を特定してもよい。
【0102】
図6は、本実施の形態1においてサービス情報記憶部に記憶されるレストラン情報の一例を示す図である。
【0103】
図6に示すように、レストラン情報は、レストランの店名、料理のジャンル、レストランの場所、レストランの営業時間及び空席情報を含む。サービス情報記憶部333は、レストランの店名、料理のジャンル、レストランの場所、レストランの営業時間及び空席情報を対応付けたレストラン情報を記憶する。
【0104】
なお、
図6に示すレストラン情報は一例であり、メニュー及びレストラン内の画像等の他の情報を含んでもよい。また、レストラン情報の全てが1つのテーブルで管理されてもよいし、複数のテーブルに分散して管理されてもよい。
【0105】
サービス特定部328は、喧嘩中の複数の人物に提示するためのレストランを特定する。サービス特定部328は、例えば、仲直りに適したジャンルであり、食事可能なレストランを特定する。なお、レストランが仲直りに適したジャンルであるか否かは、レストラン情報に予め含まれていることが好ましい。また、食事可能なレストランとは、現在時刻が営業時間内であり、かつ空席があるレストランのことである。また、メモリ33が、喧嘩中の複数の人物のそれぞれに関するユーザ情報を予め記憶しており、ユーザ情報が、好みの料理のジャンルに関する情報を含む場合、サービス特定部328は、ユーザ情報を参照し、喧嘩中の複数の人物に共通する好みの料理のジャンルに対応するレストランを特定してもよい。
【0106】
なお、本実施の形態1では、サービス特定部328は、喧嘩中の複数の人物に提示するためのレストラン及び映画のいずれかを特定してもよいし、喧嘩中の複数の人物に提示するためのレストラン及び映画の両方を特定してもよい。
【0107】
また、本実施の形態1では、機器動作決定部324は、複数の人物が喧嘩している第2状況が推定された場合、仲直りに適したレストラン又は映画を提示させる表示装置22の動作を決定しているが、本開示は特これに限定されず、機器動作決定部324は、複数の人物が喧嘩している第2状況が推定された場合、仲直りに適したサービスを提示させる表示装置22の動作を決定してもよい。サービス特定部328は、機器動作決定部324によって仲直りに適したサービスを提示させる表示装置22の動作が特定された場合、サービス情報記憶部333を参照し、喧嘩中の複数の人物に提示するためのサービスを特定する。
【0108】
提示情報生成部327は、推定された状況を変化させるための情報を表示装置22(提示装置)に提示させるための提示情報(第3情報)を生成する。提示情報生成部327は、サービス特定部328によって特定された仲直りに適したレストラン又は映画に関する提示情報を生成する。
【0109】
提示情報送信部313は、推定された状況を変化させるための情報を表示装置22(提示装置)に提示させるための提示情報を出力する。ここで、提示情報送信部313は、サービス特定部328によって特定されたレストラン又は映画に関する提示情報を表示装置22へ送信する。すなわち、提示情報送信部313は、提示情報生成部327によって生成された提示情報を表示装置22へ送信する。表示装置22は、受信した提示情報を所定の態様で表示する。
【0110】
また、不審者が侵入している第3状況が推定された場合、機器動作決定部324が生成する制御情報は、住宅10(空間)内において自走式掃除機21(自走式装置)に不審者を攪乱する動作を実行させるための攪乱動作指示情報である。機器動作決定部324は、自走式掃除機21に不審者の足下を攪乱しながら移動させる動作を決定した場合、破損位置特定部323によって特定された破損位置に自走式掃除機21を移動させるとともに、当該破損位置において自走式掃除機21に不審者の足下を攪乱しながら移動させるための攪乱動作指示情報を生成する。
【0111】
制御情報送信部312は、機器動作決定部324によって生成された攪乱動作指示情報を自走式掃除機21へ送信する。自走式掃除機21は、攪乱動作指示情報を受信すると、充電位置から破損位置に移動し、当該破損位置において不審者の足下を攪乱しながら移動する。このとき、自走式掃除機21は、不審者との距離を距離センサで測定し、不審者と所定の距離を維持しながら、移動する。そして、不審者が住宅10(空間)内からいなくなった後、自走式掃除機21は、吸引対象物(破損物品)を吸引し、充電位置へ戻る。また、自走式掃除機21は、警察が到着するまで不審者を住宅10内に閉じこめておくため、住宅10の出入り口をふさぐように移動してもよい。
【0112】
また、センサデータ受信部311は、撮像装置(第2センサ12)に不審者を撮像させる動作が特定された場合、住宅10(空間)内に配置された第2センサ12から不審者を撮像した画像データを取得する。センサデータ受信部311は、画像データを通知情報生成部329へ出力する。
【0113】
通知情報生成部329は、不審者が存在することを通知するための通知情報を生成する。通知情報は、例えば、不審者が存在することを示す情報と、住宅10の住所とを含む。通知情報生成部329は、センサデータ受信部311によって取得された画像データと、通知情報とを通知情報送信部314へ出力する。
【0114】
通知情報送信部314は、不審者を撮像した画像データと不審者が存在することを通知するための通知情報とを警察に送信させる情報機器23の動作が決定された場合、センサデータ受信部311によって取得された画像データと、不審者が存在することを通知するための通知情報とを情報機器23へ送信する。情報機器23は、画像データ及び通知情報をサーバ装置3から受信し、受信した画像データ及び通知情報を警察が管理するサーバ装置へ送信する。
【0115】
なお、自走式掃除機21は、自身が破損したことを検知した場合、自走式掃除機21が破損したことを示す破損情報をサーバ装置3へ送信してもよい。センサデータ受信部311は、自走式掃除機21によって送信された破損情報を受信してもよい。通知情報生成部329は、破損情報が受信された場合、製造メーカに自走式掃除機21の修理を依頼するための通知情報(第4情報)を生成してもよい。通知情報送信部314は、製造メーカに自走式掃除機21の修理を依頼するための通知情報を情報機器23へ送信してもよい。情報機器23は、製造メーカに自走式掃除機21の修理を依頼するための通知情報をサーバ装置3から受信し、受信した通知情報を製造メーカが管理するサーバ装置へ送信してもよい。
【0116】
図7は、本開示の実施の形態1におけるサーバ装置の動作を説明するための第1のフローチャートであり、
図8は、本開示の実施の形態1におけるサーバ装置の動作を説明するための第2のフローチャートである。なお、
図7では、音データに基づき破損を検知する例を説明しているが、破損の検知は、前述の通り画像データなどの他のセンサデータに基づき行ってもよい。
【0117】
まず、センサデータ受信部311は、第1センサ11から音データをセンサデータとして受信する(ステップS1)。
【0118】
次に、破損検知部321は、センサデータ受信部311によって受信された音データを用いて、住宅10内の物品の破損を検知したか否かを判断する(ステップS2)。このとき、破損検知部321は、センサデータ受信部311から受信した音データの周波数成分と、予め記憶されている物品が破損した音データの周波数成分とが一致する場合、物品が破損したことを検知する。ここで、物品の破損を検知していないと判断された場合(ステップS2でNO)、ステップS1に処理が戻る。
【0119】
一方、物品の破損を検知したと判断された場合(ステップS2でYES)、センサデータ受信部311は、物品の破損が発生したことが検知された時点から過去の所定の期間内に取得された複数の画像データをセンサデータとして第2センサ12から受信する(ステップS3)。なお、センサデータ受信部311は、物品の破損が発生したことが検知された時点から過去の所定の期間内に取得された複数の画像データの送信を第2センサ12にリクエストし、リクエストに応じて第2センサ12によって送信された複数の画像データを受信してもよい。また、センサデータ受信部311は、定期的に画像データを第2センサ12から受信し、受信した画像データをメモリ33に記憶してもよい。そして、物品の破損が発生したことが検知された場合、状況推定部322は、物品の破損が発生したことが検知された時点から過去の所定の期間内に取得された複数の画像データをメモリ33から読み出してもよい。
【0120】
次に、状況推定部322は、物品の破損が発生したことが検知された時点から過去の所定の期間内に取得された複数の画像データに基づき、物品の破損が発生した状況を推定する(ステップS4)。本実施の形態1では、状況推定部322は、物品の破損が発生した状況が、日常的な動作中に物品が人物の手から滑り落ちた第1状況、複数の人物が喧嘩している第2状況、及び不審者が侵入している第3状況のいずれであるかを推定する。
【0121】
次に、状況推定部322は、推定結果が、日常的な動作中に物品が人物の手から滑り落ちた第1状況であるか否かを判断する(ステップS5)。
【0122】
ここで、推定結果が、物品が人物の手から滑り落ちた第1状況であると判断された場合(ステップS5でYES)、破損位置特定部323は、住宅10内における物品の破損位置を特定する(ステップS6)。
【0123】
次に、機器動作決定部324は、機器動作情報記憶部331を参照し、状況推定部322によって推定された第1状況に対応付けられている機器の動作を決定する(ステップS7)。ここで、推定結果が、物品が人物の手から滑り落ちた第1状況である場合、機器動作決定部324は、破損物品を吸引させる自走式掃除機21の動作と、破損物品の代替物品を提示させる表示装置22の動作とを決定する。
【0124】
次に、機器動作決定部324は、破損位置特定部323によって特定された破損位置に自走式掃除機21を移動させるとともに、当該破損位置において自走式掃除機21に破損物品を清掃させるための清掃指示情報を生成する(ステップS8)。
【0125】
次に、制御情報送信部312は、機器動作決定部324によって生成された清掃指示情報を自走式掃除機21へ送信する(ステップS9)。自走式掃除機21は、サーバ装置3から清掃指示情報を受信し、清掃指示情報に含まれる破損位置に向かって移動する。自走式掃除機21は、破損位置に到着すると、カメラにより吸引対象物を撮像し、撮像した画像データをサーバ装置3へ送信する。自走式掃除機21は、吸引対象物を含む画像データをサーバ装置3へ送信すると、吸引対象物を吸引する。
【0126】
次に、センサデータ受信部311は、自走式掃除機21から吸引対象物を含む画像データをセンサデータとして受信する(ステップS10)。
【0127】
次に、破損物品特定部325は、自走式掃除機21から受信した吸引対象物を含む画像データに基づき、吸引対象物により構成される破損物品を特定する(ステップS11)。破損物品特定部325は、予め記憶されている複数の物品の画像と、画像データに含まれる吸引対象物の画像と比較し、吸引対象物により構成される破損物品を認識する。例えば、吸引対象物が陶器のマグカップの破片である場合、破損物品特定部325は、画像データに含まれる破片の画像と部分的に一致する物品の画像を認識し、認識した物品の画像に対応する物品を破損物品として特定する。
【0128】
次に、代替物品特定部326は、破損物品の物品情報を物品情報記憶部332から取得する(ステップS12)。
【0129】
次に、代替物品特定部326は、破損物品に関する物品情報に基づき、破損物品に関連する代替物品を特定する(ステップS13)。例えば、代替物品特定部326は、破損物品と同一の物品を代替物品として特定する。
【0130】
次に、提示情報生成部327は、代替物品特定部326によって特定された代替物品に関する提示情報を生成する(ステップS14)。
【0131】
次に、提示情報送信部313は、提示情報生成部327によって生成された提示情報を表示装置22へ送信する(ステップS15)。表示装置22は、サーバ装置3によって送信された提示情報を受信し、受信した提示情報を表示する。表示装置22は、自走式掃除機21により吸引対象物が吸引されている間、提示情報を表示する。なお、表示装置22は、自走式掃除機21による吸引対象物の吸引開始とともに、提示情報を表示してもよい。また、表示装置22は、自走式掃除機21による吸引対象物の吸引終了後も、提示情報を継続して表示してもよい。
【0132】
図9は、本実施の形態1において、日常的な動作中に物品が人物の手から滑り落ちた第1状況における機器の動作について説明するための図である。
【0133】
日常的な動作中に物品6が人物61の手から滑り落ちた結果、物品6が破損した場合、自走式掃除機21は、破損位置に移動し、破損した物品6を吸引する。また、室内に設置された表示装置22は、破損した物品6と同一の代替物品を購入するか否かを確認するための画像222を含む提示情報221を表示する。
【0134】
図9に示すように、提示情報221は、例えば、「Would you buy a new mug?」という文章と、代替物品の外観を示す画像と、代替物品を注文するための注文画面に切り替えるためのボタンとを含む画像222を含む。
【0135】
なお、機器動作決定部324は、清掃指示情報を生成する際に、清掃を開始することをユーザに通知するための提示情報を生成してもよい。この場合、制御情報送信部312は、機器動作決定部324によって生成された清掃指示情報を自走式掃除機21へ送信するとともに、機器動作決定部324によって生成された提示情報を表示装置22へ送信してもよい。表示装置22は、清掃を開始することをユーザに通知するための提示情報を表示してもよい。この場合、提示情報は、例えば、「Are you okay?Not injured?I’m going to clean now.」という文章を含む。
【0136】
一方、
図7のステップS5で、推定結果が、物品が人物の手から滑り落ちた第1状況ではないと判断された場合(ステップS5でNO)、状況推定部322は、推定結果が、複数の人物が喧嘩している第2状況であるか否かを判断する(ステップS16)。
【0137】
ここで、推定結果が、複数の人物が喧嘩している第2状況であると判断された場合(ステップS16でYES)、破損位置特定部323は、住宅10内における物品の破損位置を特定する(ステップS17)。
【0138】
次に、機器動作決定部324は、機器動作情報記憶部331を参照し、状況推定部322によって推定された第2状況に対応付けられている機器の動作を決定する(ステップS18)。ここで、推定結果が、複数の人物が喧嘩している第2状況である場合、機器動作決定部324は、喧嘩中の複数の人物をなだめる音声を出力しながら移動させる自走式掃除機21の動作と、仲直りに適したレストラン又は映画を提示させる表示装置22の動作とを決定する。
【0139】
次に、機器動作決定部324は、破損位置特定部323によって特定された破損位置に自走式掃除機21を移動させるとともに、当該破損位置において自走式掃除機21に喧嘩中の複数の人物をなだめる音声を出力しながら移動させるための音声出力指示情報を生成する(ステップS19)。
【0140】
次に、制御情報送信部312は、機器動作決定部324によって生成された音声出力指示情報を自走式掃除機21へ送信する(ステップS20)。自走式掃除機21は、音声出力指示情報を受信すると、充電位置から破損位置に移動し、当該破損位置において喧嘩中の複数の人物をなだめる音声を出力する。そして、自走式掃除機21は、吸引対象物(破損物品)を吸引する。吸引対象物の吸引が完了した後、又は音声出力を開始してから所定時間が経過した後、自走式掃除機21は、充電位置へ戻る。
【0141】
次に、サービス特定部328は、サービス情報記憶部333を参照し、喧嘩中の複数の人物に提示するためのレストランを特定する(ステップS21)。サービス特定部328は、予め記憶されているユーザ情報を参照し、喧嘩中の複数の人物に共通する好みの料理のジャンルを特定し、特定したジャンルに対応するとともに食事可能なレストランを特定する。
【0142】
なお、
図8の処理では、サービス特定部328は、喧嘩中の複数の人物に提示するためのレストランを特定しているが、本開示は特にこれに限定されず、喧嘩中の複数の人物に提示するための映画を特定してもよい。
【0143】
次に、提示情報生成部327は、サービス特定部328によって特定された仲直りに適したレストランに関する提示情報を生成する(ステップS22)。
【0144】
次に、提示情報送信部313は、提示情報生成部327によって生成された提示情報を表示装置22へ送信する(ステップS23)。表示装置22は、サーバ装置3によって送信された提示情報を受信し、受信した提示情報を表示する。表示装置22は、自走式掃除機21により音声が出力されている間、提示情報を表示する。なお、表示装置22は、自走式掃除機21による音声の出力開始とともに、提示情報を表示してもよい。また、表示装置22は、自走式掃除機21による音声の出力終了後も、提示情報を継続して表示してもよい。
【0145】
図10は、本実施の形態1において、複数の人物が喧嘩している第2状況における機器の動作について説明するための図である。
【0146】
複数の人物62,63が喧嘩している際に、物品6が破損した場合、自走式掃除機21は、破損位置に移動し、喧嘩中の複数の人物62,63をなだめる音声を出力する。
図10では、例えば、自走式掃除機21は、「まあまあ、落ち着いて」という音声を出力する。また、室内に設置された表示装置22は、喧嘩中の複数の人物62,63の仲直りに適したレストランを提示するための提示情報223を表示する。
【0147】
図10に示すように、提示情報223は、例えば、「Mレストランでイタリア料理を食べませんか?」という文章と、レストランを予約するための予約ボタンとを含む。予約ボタンが押下されると、レストランを予約するための予約画面に移行する。
【0148】
一方、
図8のステップS16で、推定結果が、複数の人物が喧嘩している第2状況ではないと判断された場合(ステップS16でNO)、状況推定部322は、推定結果が、不審者が侵入している第3状況であるか否かを判断する(ステップS24)。
【0149】
ここで、推定結果が、不審者が侵入している第3状況ではないと判断された場合(ステップS24でNO)、すなわち、物品が破損した状況を推定することができなかった場合、処理が終了する。なお、推定結果が、不審者が侵入している第3状況ではないと判断された場合、機器動作決定部324は、破損物品を吸引させる自走式掃除機21の動作を決定してもよい。
【0150】
一方、推定結果が、不審者が侵入している第3状況であると判断された場合(ステップS24でYES)、破損位置特定部323は、住宅10内における物品の破損位置を特定する(ステップS25)。
【0151】
次に、機器動作決定部324は、機器動作情報記憶部331を参照し、状況推定部322によって推定された第3状況に対応付けられている機器の動作を決定する(ステップS26)。ここで、推定結果が、不審者が侵入している第3状況である場合、機器動作決定部324は、不審者の足下を攪乱しながら移動させる自走式掃除機21の動作と、不審者を撮像させる撮像装置(第2センサ12)の動作と、不審者を撮像した画像データと不審者が存在することを通知するための通知情報とを警察に送信させる情報機器23の動作とを決定する。
【0152】
次に、機器動作決定部324は、破損位置特定部323によって特定された破損位置に自走式掃除機21を移動させるとともに、当該破損位置において自走式掃除機21に不審者の足下を攪乱しながら移動させるための攪乱動作指示情報を生成する(ステップS27)。
【0153】
次に、制御情報送信部312は、機器動作決定部324によって生成された攪乱動作指示情報を自走式掃除機21へ送信する(ステップS28)。自走式掃除機21は、攪乱動作指示情報を受信すると、充電位置から破損位置に移動し、当該破損位置において不審者の足下を攪乱しながら移動する。そして、不審者が住宅10(空間)内からいなくなった後、自走式掃除機21は、吸引対象物(破損物品)を吸引し、充電位置へ戻る。
【0154】
次に、センサデータ受信部311は、住宅10(空間)内に配置された第2センサ12から不審者を撮像した画像データを受信する(ステップS29)。
【0155】
次に、通知情報生成部329は、不審者が存在することを通知するための通知情報を生成する(ステップS30)。
【0156】
次に、通知情報送信部314は、センサデータ受信部311によって取得された画像データと、通知情報生成部329によって生成された通知情報とを情報機器23へ送信する(ステップS31)。情報機器23は、画像データ及び通知情報をサーバ装置3から受信し、受信した画像データ及び通知情報を警察が管理するサーバ装置へ送信する。
【0157】
図11は、本実施の形態1において、不審者が侵入している第3状況における機器の動作について説明するための図である。
【0158】
不審者64が侵入した際に、物品6が破損した場合、自走式掃除機21は、破損位置に移動し、不審者64の足下を攪乱しながら移動する。
図11では、例えば、自走式掃除機21は、不審者64と所定の距離を維持しながら、不審者64の周囲を移動する。また、第2センサ12は、不審者64を撮像した画像データをサーバ装置3へ送信する。さらに、情報機器23は、不審者64を撮像した画像データ及び不審者64が存在することを通知するための通知情報をサーバ装置3から受信し、受信した画像データ及び通知情報を警察が管理するサーバ装置へ送信する。
【0159】
また、情報機器23が画像データ及び通知情報を警察が管理するサーバ装置へ送信した後、室内に設置された表示装置22は、警察に通報したことを提示するための提示情報224を表示してもよい。
図11に示すように、提示情報224は、例えば、「警察に通報しました」という文章を含む。
【0160】
このように、空間内に設置された1以上のセンサの少なくとも1つにおいて取得された第1情報に基づき、物品の破損が発生した状況が推定され、推定された状況に応じて、空間内において自走式掃除機21に所定の動作を実行させるための第2情報が出力される。したがって、空間内に存在する物品が破損した際に、物品の破損が発生した状況に応じて、自走式掃除機21に所定の動作を実行させることができる。
【0161】
なお、提示情報生成部327は、推定された状況の発生を抑制するための物品に関する情報を表示装置22(提示装置)に提示させるための提示情報(第5情報)を生成してもよい。また、提示情報送信部313は、推定された状況の発生を抑制するための物品に関する情報を表示装置22(提示装置)に提示させるための提示情報(第5情報)を送信(出力)してもよい。例えば、不審者が侵入している第3状況が推定された場合、提示情報生成部327は、防犯用品に関する提示情報生成し、表示装置22へ送信してもよい。
【0162】
(実施の形態2)
実施の形態1における機器制御システムは、1つのサーバ装置を備えているが、実施の形態2における機器制御システムは、2つのサーバ装置を備えている。
【0163】
図12は、本開示の実施の形態2における第1サーバ装置の構成を示す図であり、
図13は、本開示の実施の形態2における第2サーバ装置の構成を示す図である。
【0164】
実施の形態2における機器制御システムは、第1サーバ装置3A、第2サーバ装置3B、ゲートウェイ5(不図示)、第1センサ11、第2センサ12、自走式掃除機21、表示装置22及び情報機器23を備える。なお、本実施の形態2において、実施の形態1と同じ構成については同じ符号を付し、説明を省略する。センサ群1は、第1センサ11及び第2センサ12等の種々のセンサを含む。機器群2は、自走式掃除機21、表示装置22及び情報機器23等の種々の機器を含む。なお、
図12及び
図13において、ゲートウェイ5は省略されている。
【0165】
第1サーバ装置3Aは、センサ群1、機器群2及び第2サーバ装置3Bとネットワークを介して通信可能に接続されている。また、第2サーバ装置3Bは、機器群2及び第1サーバ装置3Aとネットワークを介して通信可能に接続されている。
【0166】
第1サーバ装置3Aは、例えば、プラットフォーマーにより運営される。第2サーバ装置3Bは、例えば、サードパーティにより運営される。
【0167】
第1サーバ装置3Aは、通信部31A、プロセッサ32A及びメモリ33Aを備える。
【0168】
通信部31Aは、センサデータ受信部311、制御情報送信部312、通知情報送信部314、破損物品情報送信部315及び機器動作情報送信部316を備える。プロセッサ32Aは、破損検知部321、状況推定部322、破損位置特定部323、機器動作決定部324、破損物品特定部325及び通知情報生成部329を備える。メモリ33Aは、機器動作情報記憶部331を備える。
【0169】
破損物品情報送信部315は、破損物品特定部325によって特定された破損物品を示す破損物品情報を第2サーバ装置3Bへ送信する。
【0170】
機器動作情報送信部316は、機器動作決定部324によって決定された仲直りに適したレストラン又は映画を提示させる表示装置22の動作を示す機器動作情報を第2サーバ装置3Bへ送信する。
【0171】
第2サーバ装置3Bは、通信部31B、プロセッサ32B及びメモリ33Bを備える。
【0172】
通信部31Bは、提示情報送信部313、破損物品情報受信部317及び機器動作情報受信部318を備える。プロセッサ32Bは、代替物品特定部326及び提示情報生成部327を備える。メモリ33Bは、物品情報記憶部332を備える。
【0173】
破損物品情報受信部317は、第1サーバ装置3Aによって送信された破損物品情報を受信する。代替物品特定部326は、破損物品情報受信部317によって受信された破損物品情報に基づき、破損物品に関連する代替物品を特定する。
【0174】
機器動作情報受信部318は、第1サーバ装置3Aによって送信された機器動作情報を受信する。サービス特定部328は、仲直りに適したレストラン又は映画を提示させる表示装置22の動作を示す機器動作情報が機器動作情報受信部318によって受信された場合、サービス情報記憶部333を参照し、喧嘩中の複数の人物に提示するためのレストラン又は映画を特定する。
【0175】
なお、本実施の形態2では、第1サーバ装置3Aが第2サーバ装置3Bへ破損物品情報及び機器動作情報を送信しているが、本開示は特にこれに限定されず、第2サーバ装置3Bが第1サーバ装置3Aへ破損物品情報及び機器動作情報を要求するリクエストを送信し、第1サーバ装置3Aがリクエストに応じて第2サーバ装置3Bへ破損物品情報及び機器動作情報を送信してもよい。
【0176】
また、本実施の形態2において、機器制御システムは、複数の第2サーバ装置3Bを備えてもよい。
【0177】
なお、上記各実施の形態において、各構成要素は、専用のハードウェアで構成されるか、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、CPUまたはプロセッサなどのプログラム実行部が、ハードディスクまたは半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。
【0178】
本開示の実施の形態に係る装置の機能の一部又は全ては典型的には集積回路であるLSI(Large Scale Integration)として実現される。これらは個別に1チップ化されてもよいし、一部又は全てを含むように1チップ化されてもよい。また、集積回路化はLSIに限るものではなく、専用回路又は汎用プロセッサで実現してもよい。LSI製造後にプログラムすることが可能なFPGA(Field Programmable Gate Array)、又はLSI内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。
【0179】
また、本開示の実施の形態に係る装置の機能の一部又は全てを、CPU等のプロセッサがプログラムを実行することにより実現してもよい。
【0180】
また、上記で用いた数字は、全て本開示を具体的に説明するために例示するものであり、本開示は例示された数字に制限されない。
【0181】
また、上記フローチャートに示す各ステップが実行される順序は、本開示を具体的に説明するために例示するためのものであり、同様の効果が得られる範囲で上記以外の順序であってもよい。また、上記ステップの一部が、他のステップと同時(並列)に実行されてもよい。
【産業上の利用可能性】
【0182】
本開示に係る情報処理方法、情報処理装置及び情報処理プログラムは、物品の破損が発生した状況に応じて、自走式装置に所定の動作を実行させることができるので、機器に所定の動作を実行させる情報処理方法、情報処理装置及び情報処理プログラムとして有用である。
【符号の説明】
【0183】
1 センサ群
2 機器群
3 サーバ装置
3A 第1サーバ装置
3B 第2サーバ装置
4 ネットワーク
5 ゲートウェイ
6 物品
10 住宅
11 第1センサ
12 第2センサ
21 自走式掃除機
22 表示装置
23 情報機器
31,31A,31B 通信部
32,32A,32B プロセッサ
33,33A,33B メモリ
311 センサデータ受信部
312 制御情報送信部
313 提示情報送信部
314 通知情報送信部
315 破損物品情報送信部
316 機器動作情報送信部
317 破損物品情報受信部
318 機器動作情報受信部
321 破損検知部
322 状況推定部
323 破損位置特定部
324 機器動作決定部
325 破損物品特定部
326 代替物品特定部
327 提示情報生成部
328 サービス特定部
329 通知情報生成部
331 機器動作情報記憶部
332 物品情報記憶部
333 サービス情報記憶部