特許 6899358 宅内管理システム、宅内管理プログラム、および宅内管理方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6899358

(24)【登録日】2021年6月16日

(45)【発行日】2021年7月7日

(54)【発明の名称】宅内管理システム、宅内管理プログラム、および宅内管理方法

(51)【国際特許分類】

   G06F 13/00 20060101AFI20210628BHJP

【ＦＩ】

   G06F13/00 358D

【請求項の数】13

【全頁数】15

(21)【出願番号】特願2018-149662(P2018-149662)

(22)【出願日】2018年8月8日

(65)【公開番号】特開2020-24634(P2020-24634A)

(43)【公開日】2020年2月13日

【審査請求日】2020年3月18日

(73)【特許権者】

【識別番号】501440684

【氏名又は名称】ソフトバンク株式会社

(74)【代理人】

【識別番号】110002516

【氏名又は名称】特許業務法人白坂

(72)【発明者】

【氏名】塩原 翔太

【審査官】 木村 雅也

(56)【参考文献】

【文献】 韓国公開特許第１０−２０１２−００９９５５４（ＫＲ，Ａ）

【文献】 特開２０１７−０６８７９８（ＪＰ，Ａ）

【文献】 特開２００１−２５６０３６（ＪＰ，Ａ）

【文献】 特開２０１３−２３５３７３（ＪＰ，Ａ）

【文献】 米国特許出願公開第２０１５／００２９２２３（ＵＳ，Ａ１）

【文献】 中国特許出願公開第１０８０２７７８２（ＣＮ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｆ １３／００

(57)【特許請求の範囲】

【請求項1】

宅内に設置されたオブジェクトの状態に関する状態情報を取得する状態情報取得部と、
宅内の環境に関する環境情報を取得する環境情報取得部と、
前記状態情報の経時的変化を認識する宅内物体認識部と、
前記状態情報の経時的変化および前記オブジェクト周辺における前記環境情報の経時的変化のうち、少なくともいずれか一方に基づいて、前記オブジェクトに対して行われた動作を認識する宅内動作認識部と、
前記宅内物体認識部および前記宅内動作認識部からの各情報に基づいて、前記オブジェクトに対する行動を推薦する推薦情報を生成する行動推薦部と、を備えている宅内管理システム。

【請求項2】

前記宅内物体認識部は、所定時間毎に取得された前記状態情報同士を比較することで、前記状態情報の経時的変化を認識することを特徴とする請求項１に記載の宅内管理システム。

【請求項3】

前記行動推薦部からの推薦情報を居住者に報知する報知部を備えていることを特徴とする請求項１または２に記載の宅内管理システム。

【請求項4】

前記行動推薦部からの推薦情報に基づいて、前記オブジェクトの状態および宅内の環境のうち、少なくともいずれか一方を変化させる行動部を備えていることを特徴とする請求項１から３のいずれか１項に記載の宅内管理システム。

【請求項5】

前記環境情報取得部、および前記行動部は、ホームアシスタント機器を構成していることを特徴とする請求項４に記載の宅内管理システム。

【請求項6】

前記状態情報および前記環境情報を処理する情報処理端末を備えていることを特徴とする請求項１から５のいずれか１項に記載の宅内管理システム。

【請求項7】

前記宅内物体認識部、前記宅内動作認識部、および前記行動推薦部が内蔵され、かつ宅内又は宅外に設けられた情報処理サーバを備え、
前記情報処理端末は、前記状態情報取得部および前記環境情報取得部で取得した各情報を、前記情報処理サーバに無線通信により伝達することを特徴とする請求項６に記載の宅内管理システム。

【請求項8】

前記情報処理端末は、外部コンテンツに対して、前記推薦情報を無線通信により伝達することを特徴とする請求項６又は７に記載の宅内管理システム。

【請求項9】

前記外部コンテンツは、居住者の携帯端末であることを特徴とする請求項８に記載の宅内管理システム。

【請求項10】

前記外部コンテンツは、居住者からの依頼に応じて、宅内に設置された前記オブジェクトの状態を調整する専門業者であることを特徴とする請求項８に記載の宅内管理システム。

【請求項11】

前記宅内物体認識部が認識した宅内の物体位置を記録する宅内物体記録部と、
前記宅内動作認識部が認識した前記オブジェクトに対して行われた動作を記録する宅内動作記録部と、を備えていることを特徴とする請求項１から１０のいずれか１項に記載の宅内管理システム。

【請求項12】

コンピュータに、
宅内に設置されたオブジェクトの状態に関する状態情報を取得する状態情報取得機能と、
宅内の環境に関する環境情報を取得する環境情報取得機能と、
前記状態情報の経時的変化を認識する宅内物体認識機能と、
前記状態情報の経時的変化および前記オブジェクト周辺における前記環境情報の経時的変化のうち、少なくともいずれか一方に基づいて、前記オブジェクトに対して行われた動作を認識する宅内動作認識機能と、
前記宅内物体認識機能および前記宅内動作認識機能により得られた各情報に基づいて、前記オブジェクトに対する行動を推薦する推薦情報を生成する行動推薦機能と、を実現させる宅内管理プログラム。

【請求項13】

コンピュータが、
宅内に設置されたオブジェクトの状態に関する状態情報を取得する状態情報取得ステップと、
宅内の環境に関する環境情報を取得する環境情報取得ステップと、
前記状態情報の経時的変化を認識する宅内物体認識ステップと、
前記状態情報の経時的変化および前記オブジェクト周辺における前記環境情報の経時的変化のうち、少なくともいずれか一方に基づいて、前記オブジェクトに対して行われた動作を認識する宅内動作認識ステップと、
前記宅内物体認識ステップおよび前記宅内動作認識ステップにより得られた各情報に基
づいて、前記オブジェクトに対する行動を推薦する推薦情報を生成する行動推薦ステップ
と、を実行する宅内管理方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、宅内管理システム、宅内管理プログラム、および宅内管理方法に関する。

【背景技術】

【0002】

従来、人工知能を利用した機器の開発が目覚ましい。その中には、居住者からの音声による指示に従って、指示された内容を実行する機器がある。
例えば、特許文献１には、居住者からの音声による指示に従って、音楽を再生したり、照明を点灯させたりというように、宅内に配置された機器の管理を行う宅内管理システム（スマートスピーカ）が開示されている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１７−０６８２４３号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、従来の宅内管理システムでは、居住者が、宅内に配置された機器をどのように制御するべきかを判断するうえで、宅内の様々な状況を居住者自身がそれぞれ確認して把握する必要があり、利便性に改善の余地があった。

【0005】

そこで本発明は、居住者が次に行うべき作業を容易に把握することができ、利便性を向上することができる宅内管理システムを提供することを目的とする。

【課題を解決するための手段】

【0006】

上記課題を解決するために、本発明の宅内管理システムは、宅内に設置されたオブジェクトの状態に関する状態情報を取得する状態情報取得部と、宅内の環境に関する環境情報を取得する環境情報取得部と、状態情報に基づいて、オブジェクトの状態を認識する宅内物体認識部と、状態情報および環境情報のうち、少なくともいずれか一方に基づいて、オブジェクトに対して行われた動作を認識する宅内動作認識部と、宅内物体認識部および宅内動作認識部からの各情報に基づいて、オブジェクトに対する行動を推薦する推薦情報を生成する行動推薦部と、を備えている。

【0007】

また、宅内物体認識部は、状態情報の経時的変化を認識してもよい。

【0008】

また、宅内物体認識部は、所定時間毎に取得された状態情報同士を比較することで、状態情報の経時的変化を認識してもよい。

【0009】

宅内動作認識部は、状態情報の経時的変化、およびオブジェクト周辺における環境情報の経時的変化のうちの少なくともいずれか一方に基づいて、オブジェクトに対して行われた動作を認識してもよい。

【0010】

また、行動推薦部からの推薦情報を居住者に報知する報知部を備えてもよい。

【0011】

また、行動推薦部からの推薦情報に基づいて、オブジェクトの状態および宅内の環境のうち、少なくともいずれか一方を変化させる行動部を備えてもよい。

【0012】

また、環境情報取得部、および行動部は、ホームアシスタント機器を構成してもよい。

【0013】

また、状態情報および環境情報を処理する情報処理端末を備えてもよい。

【0014】

また、宅内物体認識部、宅内動作認識部、および行動推薦部が内蔵され、かつ宅内又は宅外に設けられた情報処理サーバを備え、情報処理端末は、状態情報取得部および環境情報取得部で取得した各情報を、情報処理サーバに無線通信により伝達してもよい。

【0015】

また、情報処理端末は、外部コンテンツに対して、推薦情報を無線通信により伝達してもよい。

【0016】

また、外部コンテンツは、居住者の携帯端末であってもよい。

【0017】

また、外部コンテンツは、居住者からの依頼に応じて、宅内に設置されたオブジェクトの状態を調整する専門業者であってもよい。

【0018】

また、宅内物体認識部が認識した宅内の物体位置を記録する宅内物体記録部と、宅内動作認識部が認識したオブジェクトに対して行われた動作を記録する宅内動作記録部と、を備えてもよい。

【0019】

上記課題を解決するために、本発明の宅内管理プログラムは、コンピュータに、宅内に設置されたオブジェクトの状態に関する状態情報を取得する状態情報取得機能と、宅内の環境に関する環境情報を取得する環境情報取得機能と、状態情報に基づいて、オブジェクトの状態を認識する宅内物体認識機能と、状態情報および環境情報のうち、少なくともいずれか一方に基づいて、オブジェクトに対して行われた動作を認識する宅内動作認識機能と、宅内物体認識機能および宅内動作認識機能により得られた各情報に基づいて、オブジェクトに対する行動を推薦する推薦情報を生成する行動推薦機能と、を実現させる。

【0020】

上記課題を解決するために、本発明の宅内管理方法は、コンピュータが、宅内に設置されたオブジェクトの状態に関する状態情報を取得する状態情報取得ステップと、宅内の環境に関する環境情報を取得する環境情報取得ステップと、前記状態情報に基づいて、前記オブジェクトの状態を認識する宅内物体認識ステップと、前記状態情報および前記環境情報のうち、少なくともいずれか一方に基づいて、前記オブジェクトに対して行われた動作を認識する宅内動作認識ステップと、前記宅内物体認識ステップおよび前記宅内動作認識ステップにより得られた各情報に基づいて、前記オブジェクトに対する行動を推薦する推薦情報を生成する行動推薦ステップと、を実行する。

【発明の効果】

【0021】

本発明の宅内管理システムは、状態情報取得部と環境情報取得部とを備えている。このため、宅内に設置されたオブジェクトの状態に関する状態情報と、宅内の環境に関する環境情報と、を取得することで、宅内の状況に関する情報を、正確に取得することができる。
また、宅内管理システムは、宅内物体認識部と宅内動作認識部とを備えている。このため、オブジェクトの状態と、オブジェクトに対して行われた動作と、を正確に認識することができる。

【0022】

そして、宅内管理システムは、行動推薦部を備えている。このため、行動推薦部が、宅内物体認識部および宅内動作認識部からの各情報に基づいて、オブジェクトに対する行動を推薦する。このため、居住者が次に行うべき作業を容易に把握することができ、利便性を向上することができる。

【図面の簡単な説明】

【0023】

【図1】本発明の一実施形態に係る宅内管理システムの構成を示すブロック図である。

【図2】図１に示す情報処理サーバのうち、制御部の構成を示すブロック図である。

【図3】図１に示す宅内管理システムのうち、情報処理端末の構成を示すブロック図である。

【図4】宅内管理システムにおける処理フローを示すフロー図である。

【発明を実施するための形態】

【0024】

本発明の一実施形態について、図１から図４を参照しながら説明する。
図１は、本発明の一実施形態に係る宅内管理システム１０の構成を示すブロック図である。なお、この図における制御部１５では、本発明の特徴部分となる構成のみを図示し、その他の構成は図２に詳述する。
図１に示すように、本実施形態に係る宅内管理システム１０は、状態情報取得部１１と、環境情報取得部１２と、情報処理サーバ１３と、情報処理端末１４と、を備えている。

【0025】

（状態情報取得部、および環境情報取得部）
状態情報取得部１１は、宅内に設置されたオブジェクトの状態に関する状態情報を取得する。状態情報とは、例えばオブジェクトの形状、位置、姿勢、動作の様子等である。オブジェクトとしては、家具、什器、家庭用電化製品等の他、宅内の内装やドア等も含まれる。
状態情報取得部１１としては、カメラ、ウェアラブル端末、トラッカー等が挙げられる。なお、これらはあくまで例示であり、状態情報取得部１１は、宅内に設置されたオブジェクトの状態情報を取得できる機器であれば、その他の機器を採用してもよい。

【0026】

環境情報取得部１２は、宅内の環境に関する環境情報を取得する。環境情報とは、宅内の温度、湿度、人や動物の有無および動き、汚れの程度等である。
環境情報取得部１２としては、温度センサ、湿度センサ、人感センサ、カメラ等が挙げられる。なお、これらはあくまで例示であり、環境情報取得部１２としては、宅内の環境情報を取得できる機器であれば、その他の機器を採用してもよい。

【0027】

（情報処理サーバ）
情報処理サーバ１３は、音声データを含む各種のデータを受信し、例えば、受信したデータから居住者１００の指示を抽出し、居住者１００から指定された制御を行うことができる。情報処理サーバ１３は、制御部（ＡＩ部）１５と、データベース部１６と、を備え、宅内又は宅外に設けられている。

【0028】

図２は、図１に示す情報処理サーバ１３のうち、制御部１５の構成を示すブロック図である。図２に示すように、制御部１５は、受信部１５１と、制御データベース１５２と、処理部１５３と、送信部１５４と、を備える。本実施形態では、制御部１５として、人工知能（ＡＩ）が採用されている。

【0029】

受信部１５１は、図１に示すネットワーク２０を介して、情報処理端末１４から音声データを含む各種のデータを受信する通信インターフェースである。
受信部１５１は、居住者１００からの音声による指示入力を示す音声データを受信する。また、受信部１５１は、状態情報、および環境情報を受信する。受信部１５１は、音声データを受信すると、処理部１５３に伝達する。

【0030】

制御データベース１５２は、制御部１５が動作するうえで必要とする各種の制御プログラムや各種データを記憶する機能を有する。制御データベース１５２は、例えば、ＨＤＤ、ＳＳＤ、フラッシュメモリなど各種の記憶媒体により実現される。
なお、制御部１５は、プログラムを制御データベース１５２に記憶し、当該プログラムを実行して、処理部１５３が、処理部１５３に含まれる各機能部としての処理を実行してもよい。このプログラムは、処理部１５３に、宅内管理システム１０の各構成部が実行する各機能を実現させる。
各機能とは、後述する状態情報取得機能、環境情報取得機能、宅内物体認識機能、宅内動作認識機能、および行動推薦機能を含んでいる。

【0031】

また、制御データベース１５２は、受信した音声データに基づいて居住者１００からの指示内容を推定するための音声解析を行う音声解析プログラムを記憶している。
また、制御データベース１５２は、音の種別から居住者１００の置かれている環境を推定するための環境推定モデルを記憶していてもよい。環境推定モデルは、各種の機器の音および位置関係のデータであり、音の方向や大きさから、音を発生している機器を特定するためのモデルである。

【0032】

また、制御データベース１５２は、行動推薦部１５７が推薦情報を生成するために用いる行動推薦モデルを記憶している。
行動推薦モデルは、オブジェクトの状態、およびオブジェクトに対して行われた動作に対して、行動推薦部１５７が、その後にオブジェクトに対して適切な働きかけを行う行動を特定し、推薦情報を生成するためのモデルである。

【0033】

処理部１５３は、制御部１５の各部を制御するコンピュータであり、例えば、中央処理装置（ＣＰＵ）やマイクロプロセッサ、ＡＳＩＣ、ＦＰＧＡなどであってもよい。なお、処理部１５３は、これらの例に限られず、どのようなものであってもよい。

【0034】

そして、処理部１５３は、宅内物体認識部１５５、宅内動作認識部１５６、および行動推薦部１５７を備えている。すなわち、宅内物体認識部１５５、宅内動作認識部１５６、および行動推薦部１５７は、情報処理サーバ１３に内蔵されている。

【0035】

宅内物体認識部１５５は、状態情報に基づいて、オブジェクトの状態を認識する。宅内物体認識部１５５は、状態情報の経時的変化を認識する。この実施形態では、宅内物体認識部１５５は、所定時間毎に取得された状態情報同士を比較することで、状態情報の経時的変化を認識する。なお、このような態様に限られず、例えば、予め記憶されたオブジェクトの定常状態における画像データに基づいて、状態情報の経時的変化を認識してもよい。

【0036】

宅内動作認識部１５６は、状態情報および環境情報のうち、少なくともいずれか一方に基づいて、オブジェクトに対して行われた動作を認識する。ここで、オブジェクトに対して行われた動作とは、例えば居住者１００や、そのペット等からの働きかけにより、オブジェクトの形状、位置、又は姿勢が変化することである。また、オブジェクトに対して行われた動作としては、例えば地震等の外乱からの働きかけも含む。

【0037】

この実施形態では、宅内動作認識部１５６は、状態情報の経時的変化、およびオブジェクト周辺における環境情報の経時的変化のうちの少なくともいずれか一方に基づいて、オブジェクトに対して行われた動作を認識する。
そして行動推薦部１５７は、宅内物体認識部１５５および宅内動作認識部１５６からの各情報に基づいて、行動推薦モデルを用いて推薦情報を生成する。

【0038】

送信部１５４は、処理部１５３で処理されたデータのうち、外部に伝達するデータを送信する機能を有する通信インターフェースである。送信部１５４は例えば、行動推薦部１５７で生成した推薦情報を、後述する報知部１７又は行動部１８に送信することができる。

【0039】

図１に示すように、データベース部１６は、宅内物体記録部１６１と、宅内動作記録部１６２と、宅内周期記録部１６３と、行動履歴記録部１６４と、行動委託先記録部１６５と、を備えている。
宅内物体記録部１６１は、宅内物体認識部１５５が認識した宅内のオブジェクトの位置を記録する。すなわち、オブジェクトの座標を記録して比較を行うことで、オブジェクトの位置の変化を認識することができる。
宅内動作記録部１６２は、宅内動作認識部１５６が認識したオブジェクトに対して行われた動作を記録する。

【0040】

宅内周期記録部１６３は、宅内において周期的に行われる動作を記録する。これにより、居住者１００が習慣的に行う動作を記録することで、宅内動作認識部１５６が、宅内での居住者１００の動作のうち、習慣的に行われる動作について、正確かつ迅速に認識することができる。
行動履歴記録部１６４は、宅内で過去に行われた行動を記録する。これにより、行動推薦部１５７が、宅内のオブジェクトの変化に対して最適な行動を推薦することができる。

【0041】

行動委託先記録部１６５は、外部の専門業者の情報を記録する。すなわち、行動推薦部１５７は、宅内の状態にあわせて、掃除や修理等のように、専門業者に委託するべき内容については、行動委託先記録部１６５を参照して選択する。

【0042】

情報処理サーバ１３は、ネットワーク２０を介して、情報処理端末１４と接続されている。また、情報処理サーバ１３は、各種の機器（家電）と接続されていてよく、情報処理サーバ１３は、各機器を制御可能に構成されていてもよい。制御可能に構成されているとは、情報処理サーバ１３が各機器を遠隔制御できるように各機器の制御権を有していることを意味する。

【0043】

情報処理サーバ１３は、情報処理端末１４が取得した音声データを、ネットワーク２０を介して受信する。情報処理サーバ１３は、受信した音声データに基づいて、居住者１００の状況（環境）を推定するとともに、居住者１００からの音声による指示の内容を解釈する。そして、推定した状況（環境）に応じて、居住者１００の意図や状況に応じた制御を行う。ここで情報処理サーバ１３が実行する制御とは、自装置の制御の他、他の機器を制御するための信号を出力することまで含んでよい。

【0044】

ネットワーク２０は、情報処理サーバ１３と各種の機器との間を相互に接続させるためのネットワークであり、例えば、無線ネットワークや有線ネットワークである。
具体的には、ネットワーク２０は、ワイヤレスＬＡＮ（ｗｉｒｅｌｅｓｓ ＬＡＮ：ＷＬＡＮ）や広域ネットワーク（ｗｉｄｅ ａｒｅａ ｎｅｔｗｏｒｋ：ＷＡＮ）、ＩＳＤＮｓ（ｉｎｔｅｇｒａｔｅｄ ｓｅｒｖｉｃｅ ｄｉｇｉｔａｌ ｎｅｔｗｏｒｋｓ）、無線ＬＡＮｓ、ＬＴＥ（ｌｏｎｇ ｔｅｒｍ ｅｖｏｌｕｔｉｏｎ）、ＬＴＥ−Ａｄｖａｎｃｅｄ、第４世代（４Ｇ）、第５世代（５Ｇ）、ＣＤＭＡ（ｃｏｄｅ ｄｉｖｉｓｉｏｎ ｍｕｌｔｉｐｌｅ ａｃｃｅｓｓ）、ＷＣＤＭＡ（登録商標）、イーサネット（登録商標）などである。

【0045】

また、ネットワーク２０は、これらの例に限られず、例えば、公衆交換電話網（Ｐｕｂｌｉｃ Ｓｗｉｔｃｈｅｄ Ｔｅｌｅｐｈｏｎｅ Ｎｅｔｗｏｒｋ：ＰＳＴＮ）やブルートゥース（Ｂｌｕｅｔｏｏｔｈ（登録商標））、ブルートゥースローエナジー（Ｂｌｕｅｔｏｏｔｈ Ｌｏｗ Ｅｎｅｒｇｙ）、光回線、ＡＤＳＬ（Ａｓｙｍｍｅｔｒｉｃ Ｄｉｇｉｔａｌ Ｓｕｂｓｃｒｉｂｅｒ Ｌｉｎｅ）回線、衛星通信網などであってもよく、どのようなネットワークであってもよい。ネットワーク２０は、居住者１００の住居に備えられる場合には、ホームネットワークと呼称されることもある。

【0046】

また、ネットワーク２０、例えば、ＮＢ−ＩｏＴ（Ｎａｒｒｏｗ Ｂａｎｄ ＩｏＴ）や、ｅＭＴＣ（ｅｎｈａｎｃｅｄ Ｍａｃｈｉｎｅ Ｔｙｐｅ Ｃｏｍｍｕｎｉｃａｔｉｏｎ）であってもよい。なお、ＮＢ−ＩｏＴやｅＭＴＣは、ＩｏＴ向けの無線通信方式であり、低コスト、低消費電力で長距離通信が可能なネットワークである。

【0047】

また、ネットワーク２０は、これらの組み合わせであってもよい。また、ネットワーク２０は、これらの例を組み合わせた複数の異なるネットワークを含むものであってもよい。例えば、ネットワーク２０は、ＬＴＥによる無線ネットワークと、閉域網であるイントラネットなどの有線ネットワークとを含むものであってもよい。

【0048】

（情報処理端末）
図３は、図１に示す宅内管理システム１０のうち、情報処理端末１４の構成を示すブロック図である。図３に示すように、情報処理端末１４は、受信部１４１と、記憶部１４２と、スピーカ１４３と、マイク１４４と、送信部１４５と、を備えるスマートスピーカである。

【0049】

受信部１４１は、情報処理サーバ１３から制御信号（音声データ）を受信する通信インターフェースである。受信部１４１は、受信した制御信号（音声データ）をスピーカ１４３に伝達する。

【0050】

記憶部１４２は、情報処理端末１４が動作する上で必要とする各種のプログラムやデータを記憶する機能を有する。
記憶部１４２は、例えば、ＨＤＤ、ＳＳＤ、フラッシュメモリなど各種の記憶媒体により実現される。なお、情報処理端末１４は、プログラムを記憶部１４２に記憶し、当該プログラムを実行して、図示しない制御部が、情報処理端末１４として実現すべき機能を実現することとしてよい。記憶部１４２は、マイク１４４が集音した音声データを記憶する。

【0051】

スピーカ１４３は、情報処理サーバ１３から送信されて受信した制御信号（音声データ）を再生する発話部としての機能を有する。スピーカ１４３は、居住者１００に向けて発話するために生成されたロボット発話データを、音声データに変換して発話する。

【0052】

マイク１４４は、居住者１００からの発話音声および周囲の音を検出する機能を有する。すなわち、マイク１４４は、情報処理端末１４の周囲の音声を集音し、集音して得られる音声データを、情報処理サーバ１３に送信する。
マイク１４４は、１つのマイクロフォンで構成されてもよいし、複数のマイクロフォンで構成されていてもよい。また、マイクロフォンは、集音の方向が限定された指向性のものであってもよい。

【0053】

マイク１４４は、音が検出される方向を特定することができる。このため、居住者１００の方向や、騒音が発生する方向を特定することができる。マイク１４４は、集音した音声を示す音声データを、記憶部１４２に記憶する。

【0054】

送信部１４５は、記憶部１４２に記憶されている音声データを、情報処理サーバ１３に送信する機能を有する通信インターフェースである。送信部１４５は、記憶部１４２に記憶されている音声データを逐次、情報処理サーバ１３に送信することとしてもよいし、居住者１００からの音声による指示入力があったと検出できた場合に、その前後の所定長分の音声データを送信することとしてもよい。

【0055】

そして、情報処理端末１４は、状態情報および環境情報を処理する。ここで、処理とは、情報処理端末１４が、状態情報取得部１１および環境情報取得部１２から取得した状態情報および環境情報を、情報処理サーバ１３に伝達することを指す。
なお、情報処理端末１４は、状態情報又は環境情報の一部を改変したり、状態情報又は環境情報を解析したりした状態で、情報処理サーバ１３に伝達してもよい。
また、情報処理端末１４は、居住者１００と自然言語により対話可能となっており、居住者１００の発話データを情報処理サーバ１３に伝達することができる。

【0056】

情報処理端末１４は、外部コンテンツに対して、推薦情報を無線通信により伝達する。外部コンテンツとして、例えば居住者１００の携帯端末（スマートフォン）４０や、居住者１００からの依頼に応じて、宅内に設置されたオブジェクトの状態を調整する専門業者等を選択することができる。

【0057】

そして、情報処理端末１４は、状態情報取得部１１および環境情報取得部１２で取得した各情報を、情報処理サーバ１３に無線通信により伝達するとともに、情報処理サーバ１３からの推薦情報を、報知部１７に無線通信により伝達する。

【0058】

図１に示すように、宅内管理システム１０はさらに、報知部１７と、行動部１８と、を備えている。
報知部１７は、行動推薦部１５７からの推薦情報を、居住者１００に報知する。
行動部１８は、行動推薦部１５７からの推薦情報に基づいて、オブジェクトの状態および宅内の環境のうち、少なくともいずれか一方を変化させる。
この実施形態では、環境情報取得部１２、および行動部１８は、ホームアシスタント機器を構成している。

【0059】

ホームアシスタント機器とは、居住者１００の指示に基づく制御の対象となり得る各種の機器のことを指す。このような機器としては、各種の家電が該当し、例えば、照明装置、空調装置、スピーカ、テレビ、給湯装置、電動ブラインド、電動カーテン、自動掃除機等などがある。そして、環境情報取得部１２としての各種のセンサは、前述した各種の機器に内蔵された状態で稼働する。

【0060】

（制御フロー）
次に、図４を用いて、宅内管理システム１０の制御フローについて説明する。図４は、宅内管理システム１０における処理フローを示すフロー図である。この説明では、オブジェクトとして椅子を例に挙げ、オブジェクトの状態の変化として、宅内のペットがグラスを転倒させたことにより、椅子の座面に水が付着した状態を例に挙げる。

【0061】

まず、状態情報取得部１１が状態情報を取得する（Ｓ５０１）。そして、状態情報取得部１１は、情報処理端末１４に取得した状態情報を伝達する。
次に、情報処理端末１４が、状態情報を情報処理サーバ１３に送信する（Ｓ５０２）。この場合、例えば宅内を撮像するカメラが、椅子に水が付着する様子を撮像し、その画像データを、情報処理端末１４が、情報処理サーバ１３に送信する。

【0062】

次に、環境情報取得部１２が環境情報を取得する（Ｓ５０３）。そして、環境情報取得部１２は、情報処理端末１４に取得した環境情報を伝達する。
次に、情報処理端末１４が、環境情報を情報処理サーバ１３に送信する（Ｓ５０４）。この場合、人感センサが、椅子周辺におけるペットの移動を検出し、その情報を情報処理端末１４が情報処理サーバ１３に送信する。

【0063】

次に、宅内物体認識部１５５が、状態情報に基づいて、オブジェクトの状態を認識する（Ｓ５０５）とともに、宅内動作認識部１５６が、オブジェクトに対して行われた動作を認識する（Ｓ５０６）。
この場合、宅内物体認識部１５５が、例えば、現時点の椅子を撮像した撮像データと、少し前の状態である水が付着していない椅子を撮像した撮像データと、を比較して、椅子に水が付着した状態を認識する。
そして、宅内動作認識部１５６は、ペットが移動した情報と、グラスの姿勢が変化した情報と、に基づいて、ペットがグラスを転倒させたことを認識する。

【0064】

次に、行動推薦部１５７が、推薦情報を生成する（Ｓ５０７）とともに、報知部１７が推薦情報を居住者１００に報知する（Ｓ５０８）。この場合、推薦情報としては、グラスの片づけと、椅子の座面の洗浄と、が該当する。報知部１７からの報知としては、報知部１７が備える表示器に推薦情報を表示するような態様であってもよい。
また、報知部１７による報知に代えて、例えば別室にいる居住者１００の携帯端末４０に対して、情報処理端末１４から推薦情報を無線通信により送信してもよい。

【0065】

そして、居住者１００が推薦情報に基づく行動を起こす（Ｓ５０９）ことで、オブジェクトの状態が変化する（Ｓ５１０）。また、オブジェクト周辺の環境が変化する（Ｓ５１１）こともある。
この場合、居住者１００が行動部１８となる。また、行動部１８としては他の機器であってもよいし、外部の専門業者であってもよい。

【0066】

また、例えばオブジェクトが床である場合に、行動部１８としての掃除機により清掃をおこなってもよい。また、例えばオブジェクトが換気扇である場合に、行動部１８としての外部の専門業者に、清掃を発注してもよい。
また、例えばオブジェクトが浴槽である場合に、居住者１００が帰宅したことを認識して、行動部１８としての給湯器を用いて、浴槽に湯を流入してもよい。

【0067】

以上説明したように、本実施形態に係る宅内管理システム１０は、状態情報取得部１１と環境情報取得部１２とを備えている。このため、宅内に設置されたオブジェクトの状態に関する状態情報と、宅内の環境に関する環境情報と、を取得することで、宅内の状況に関する情報を、正確に取得することができる。
また、宅内管理システム１０は、宅内物体認識部１５５と宅内動作認識部１５６とを備えている。このため、オブジェクトの状態と、オブジェクトに対して行われた動作と、を正確に認識することができる。

【0068】

そして、宅内管理システム１０は、行動推薦部１５７を備えている。このため、行動推薦部１５７が、宅内物体認識部１５５および宅内動作認識部１５６からの各情報に基づいて、オブジェクトに対する行動を推薦する。このため、居住者１００が次に行うべき作業を容易に把握することができ、利便性を向上することができる。

【0069】

また、宅内物体認識部１５５は、状態情報の経時的変化を認識するので、オブジェクトの状態が時間の経過とともに変化した際に、オブジェクトの状態の変化を正確に認識することができる。
また、宅内物体認識部１５５が、所定時間毎に取得された状態情報同士を比較することで、状態情報の経時的変化を認識するので、時間の経過とともに変化した部分を、正確に割り出して認識することができる。

【0070】

また、宅内動作認識部１５６が、状態情報の経時的変化、および環境情報の経時的変化のうちの少なくともいずれか一方に基づいて、オブジェクトに対して行われた動作を認識するので、オブジェクトに対してどのような動作が行われたについて、時間の経過とともに正確に認識することができる。

【0071】

また、宅内管理システム１０が、報知部１７を備えているので、行動推薦部１５７が生成した推薦情報を、報知部１７により居住者１００に確実に知らせることができる。
また、宅内管理システム１０が、行動部１８を備えているので、行動推薦部１５７が生成した推薦情報に基づいて、オブジェクトの状態および宅内の環境のうち、少なくともいずれか一方を、居住者１００が望む状態に変化させることができる。

【0072】

また、宅内管理システム１０が、情報処理端末１４を備えているので、状態情報および環境情報を情報処理端末１４により情報処理サーバ１３に送信することができる。
また、宅内管理システム１０が情報処理サーバ１３を備えているので、情報処理端末１４の内部で各部の制御を行うような構成と比較して、情報処理端末１４の負荷を抑えることで、情報処理端末１４のデータ容量を小さくし、簡易な構成とすることができる。

【0073】

また、情報処理端末１４が、外部コンテンツに対して、推薦情報を伝達するので、行動部１８で対応することができない行動を選択することができる。
例えば、外部コンテンツとして居住者１００の携帯端末４０を選択した場合には、宅外に外出中の居住者１００に対して、即座に推薦情報を伝達することができる。また、外部コンテンツとして専門業者を選択した場合には、例えば機器の修理や機器の内部の等、居住者１００が対応するのが難しい行動を起こすことができる。

【0074】

また、環境情報取得部１２および行動部１８が、ホームアシスタント機器を構成しているので、例えば一つのホームアシスタント機器に複数の機能を具備させること等により、機器の数量を少なくし、これらの複数の機器の取り扱い性を向上することができる。

【0075】

また、宅内管理システム１０が、宅内物体記録部１６１と、宅内動作記録部１６２と、を備えているので、宅内物体認識部１５５と宅内動作認識部１５６それぞれが認識したオブジェクトの状態、およびオブジェクトに対して行われた動作を、過去の実績として蓄積することができる。これにより、今後のオブジェクトの状態、およびオブジェクトに対して行われる動作を予測することができる。

【0076】

上記実施形態に係る装置は、上記実施形態に限定されるものではなく、他の手法により実現されてもよいことは言うまでもない。以下、各種変形例について説明する。
宅内管理システム１０は、どのような態様で実現されてもよい。すなわち、上述した実施形態のように、機能の一部が、情報処理端末１４に内蔵されていてもよいし、機能の全部が情報処理サーバ１３、又は情報処理端末１４に内蔵されていてもよい。
すなわち、情報処理端末１４を介することなく、状態情報取得部１１から状態情報を情報処理サーバ１３に伝達してもよいし、情報処理端末１４を介することなく、環境情報取得部１２から環境情報を情報処理サーバ１３に伝達してもよい。

【0077】

また、上記記実施形態においては、制御の内容を実行する情報処理サーバ１３と、状態情報および環境情報を処理する情報処理端末１４と、が別の装置である例を説明した。しかし、両装置は、１つの装置で実現されてもよい。
即ち、情報処理端末１４が、情報処理サーバ１３が保持する機能も備えることとしてよい。この場合、情報処理端末１４と宅内管理システム１０との間で通信を行う必要がなくなり、通信遅延による発生し得る制御の遅延を抑制することができる。また、情報処理端末１４は、宅内物体認識部１５５又は宅内動作認識部１５６の機能を保持してもよい。

【0078】

また、宅内管理システム１０は、単なるコンピュータシステムやサーバ装置であったり、ロボットであったりしてもよい。即ち、宅内管理システム１０は、単体のコンピュータシステムとして成立してもよいし、スマートスピーカやロボット等の機器に内蔵されてもよい。また、宅内管理システム１０は、スマートスピーカやロボットを制御するための制御装置であってもよい。

【0079】

また、上記実施形態において、情報処理端末１４は、状態情報および環境情報を、逐次情報処理サーバ１３に送信することとしているが、これはその限りではない。情報処理端末１４は居住者１００からの指示入力があったタイミングにおいてのみ、状態情報および環境情報を送信することとしてよい。
これを実現するために、情報処理端末１４自身は逐次、状態情報および環境情報を取得するが、その際に、居住者１００からの音声による指示入力があるか否かを検知する検知部を備えてもよい。例えば、人の音声の周波数領域に音があるか否かに基づいて居住者１００からの指示入力があるか否かを検知し、あると判定した場合に、情報処理端末１４は、その前後の所定時間に相当する状態情報および環境情報を情報処理サーバ１３に送信することとしてよい。

【0080】

また、上記実施形態のプログラムは、コンピュータに読み取り可能な記憶媒体に記憶された状態で提供されてもよい。記憶媒体は、「一時的でない有形の媒体」に、プログラムを記憶可能である。記憶媒体は、ＨＤＤやＳＤＤなどの任意の適切な記憶媒体、またはこれらの２つ以上の適切な組合せを含むことができる。記憶媒体は、揮発性、不揮発性、または揮発性と不揮発性の組合せでよい。なお、記憶媒体はこれらの例に限られず、プログラムを記憶可能であれば、どのようなデバイスまたは媒体であってもよい。

【0081】

なお、宅内管理システム１０は、例えば、記憶媒体に記憶されたプログラムを読み出し、読み出したプログラムを実行することによって、各実施形態に示す複数の機能部の機能を実現することができる。また、当該プログラムは、任意の伝送媒体（通信ネットワークや放送波等）を介して、宅内管理システム１０に提供されてもよい。宅内管理システム１０は、例えば、インターネット等を介してダウンロードしたプログラムを実行することにより、各実施形態に示す複数の機能部の機能を実現する。

【0082】

なお、当該プログラムは、例えば、ＡｃｔｉｏｎＳｃｒｉｐｔ、ＪａｖａＳｃｒｉｐｔ(登録商標)などのスクリプト言語、Ｏｂｊｅｃｔｉｖｅ―Ｃ、Ｊａｖａ(登録商標)などのオブジェクト指向プログラミング言語、ＨＴＭＬ５などのマークアップ言語などを用いて実装できる。

【0083】

宅内管理システム１０における処理の少なくとも一部は、１以上のコンピュータにより構成されるクラウドコンピューティングにより実現されていてもよい。また、宅内管理システム１０の各機能部は、上記実施形態に示した機能を実現する１または複数の回路によって実現されてもよく、１の回路により複数の機能部の機能が実現されることとしてもよい。

【0084】

また、本開示の実施形態を諸図面や実施例に基づき説明してきたが、当業者であれば本開示に基づき種々の変形や修正を行うことが容易であることに注意されたい。従って、これらの変形や修正は本開示の範囲に含まれることに留意されたい。例えば、各手段、各ステップ等に含まれる機能等は論理的に矛盾しないように再配置可能であり、複数の手段やステップ等を１つに組み合わせたり、或いは分割したりすることが可能である。また、各実施形態に示す構成を適宜組み合わせることとしてもよい。

【符号の説明】

【0085】

１０ 宅内管理システム
１１ 状態情報取得部
１２ 環境情報取得部
１３ 情報処理サーバ
１４ 情報処理端末
１５ 制御部
１７ 報知部
１８ 行動部
１５５ 宅内物体認識部
１５６ 宅内動作認識部
１５７ 行動推薦部

【図1】

【図2】

【図3】

【図4】