(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-11-30
(45)【発行日】2022-12-08
(54)【発明の名称】画像処理システム及びプログラム
(51)【国際特許分類】
G06Q 10/00 20120101AFI20221201BHJP
G06Q 30/02 20120101ALI20221201BHJP
【ＦＩ】
G06Q10/00 300
G06Q30/02 398
【請求項の数】
8
(21)【出願番号】P 2018071814
(22)【出願日】2018-04-03
(65)【公開番号】P2019185185
(43)【公開日】2019-10-24
【審査請求日】2020-11-27
(73)【特許権者】
【識別番号】000220262
【氏名又は名称】東京瓦斯株式会社
(74)【代理人】
【識別番号】100104880
【弁理士】
【氏名又は名称】古部 次郎
(74)【代理人】
【識別番号】100125346
【弁理士】
【氏名又は名称】尾形 文雄
(74)【代理人】
【識別番号】100166981
【弁理士】
【氏名又は名称】砂田 岳彦
(72)【発明者】
【氏名】清石 彩華
(72)【発明者】
【氏名】川又 大祐
【審査官】加舎 理紅子
(56)【参考文献】
【文献】特開２００８－０１５５８５（ＪＰ，Ａ）
【文献】特開２００５－２８４４０８（ＪＰ，Ａ）
【文献】特開２０１７－１８２５３１（ＪＰ，Ａ）
【文献】特開２０１５－１７１２１０（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｑ １０／００ － ９９／００
(57)【特許請求の範囲】
【請求項1】
動画像データの解析処理により生成された、人の行動と当該行動に関連する物品とを紐付けた行動データを蓄積する記憶手段と、
前記記憶手段に蓄積された前記行動データのうち、予め定めた抽出条件に該当する、通信機能を有しない特定の物品に関連する又は特定の人に関連する行動データを抽出する抽出手段と、
前記人の行動に対応する前記動画像データが、前記行動データに紐付けられている場合、故障した特定の物品に対して紐付けられている前記行動データに対応する当該動画像データに共通する行動又は頻度の高い行動を抽出し、故障の原因となる情報として出力する分析手段と、
を有する画像処理システム。
【請求項2】
動画像データの解析処理により生成された、人の行動と当該行動に関連する物品とを紐付けた行動データを蓄積する記憶手段と、
前記記憶手段に蓄積された前記行動データのうち、予め定めた抽出条件に該当する、通信機能を有しない特定の物品に関連する又は特定の人に関連する行動データを抽出する抽出手段と、
前記物品の使われ方に紐づけて、当該使われ方に適した物品及びサービスの少なくとも一方を記憶するデータベースと、
前記行動データの前記人の行動に紐付けられて記録されている物品の使われ方、又は、当該行動データに紐付けられている前記動画像データから推定された物品の使われ方に応じた他の物品又はサービスを前記データベースから検出して提案する提供手段と、
を有する画像処理システム。
【請求項3】
動画像データの解析処理により生成された、人の行動と当該行動に関連する物品とを紐付けた行動データを蓄積する記憶手段と、
前記記憶手段に蓄積された前記行動データのうち、予め定めた抽出条件に該当する、通信機能を有しない特定の物品に関連する又は特定の人に関連する行動データを抽出する抽出手段と、
生活のパターンに紐付けて、当該生活のパターンに適した物品及びサービスの少なくとも一方を記憶するデータベースと、
前記行動データの前記人の行動に紐付けられて記録されている物品の使われ方、又は、当該行動データに紐付けられている前記動画像データから推定された、特定の個人又は特定の世帯に対応する生活のパターンに応じた物品又はサービスを前記データベースから検出して提案する提供手段と、
を有する画像処理システム。
【請求項4】
動画像データの解析処理により生成された、人の行動と当該行動に関連する物品とを紐付けた行動データを蓄積する記憶手段と、
前記記憶手段に蓄積された前記行動データのうち、予め定めた抽出条件に該当する、通信機能を有しない特定の物品に関連する又は特定の人に関連する行動データを抽出する抽出手段と、
前記物品について想定される不具合に紐付けて、当該不具合に適した物品及びサービスの少なくとも一方を記憶するデータベースと、
前記行動データの前記人の行動に紐付けられて記録されている物品の使われ方、又は、当該行動データに紐付けられている前記動画像データから推定された前記物品に生じている不具合又は不具合が発生する時期に基づいて、特定の個人又は世帯に対して物品又はサービスを前記データベースから検出して提案する提案手段と、
を有する画像処理システム。
【請求項5】
動画像データの解析処理により生成された、人の行動と当該行動に関連する物品とを紐付けた行動データが記憶手段に蓄積されている場合、コンピュータに、当該記憶手段に蓄積された当該行動データのうち、予め定めた抽出条件に該当する、通信機能を有しない特定の物品に関連する又は特定の人に関連する行動データを抽出させる機能と、
前記人の行動に対応する前記動画像データが、前記行動データに紐付けられている場合、コンピュータに、故障した特定の物品に対して紐付けられている当該行動データに対応する当該動画像データに共通する行動又は頻度の高い行動を抽出し、故障の原因となる情報として出力させる機能と、
を実現させるためのプログラム。
【請求項6】
動画像データの解析処理により生成された、人の行動と当該行動に関連する物品とを紐付けた行動データが記憶手段に蓄積されている場合、コンピュータに、当該記憶手段に蓄積された当該行動データのうち、予め定めた抽出条件に該当する、通信機能を有しない特定の物品に関連する又は特定の人に関連する行動データを抽出させる機能と、
コンピュータに、前記物品の使われ方に紐づけて、当該使われ方に適した物品及びサービスの少なくとも一方を記憶するデータベースから、当該行動データの前記人の行動に紐付けられて記録されている物品の使われ方、又は、当該行動データに紐付けられている前記動画像データから推定された物品の使われ方に応じた他の物品又はサービスを検出して提案させる機能と、
を実現させるためのプログラム。
【請求項7】
動画像データの解析処理により生成された、人の行動と当該行動に関連する物品とを紐付けた行動データが記憶手段に蓄積されている場合、コンピュータに、当該記憶手段に蓄積された当該行動データのうち、予め定めた抽出条件に該当する、通信機能を有しない特定の物品に関連する又は特定の人に関連する行動データを抽出させる機能と、
コンピュータに、生活のパターンに紐付けて、当該生活のパターンに適した物品及びサービスの少なくとも一方を記憶するデータベースから、当該行動データの前記人の行動に紐付けられて記録されている物品の使われ方、又は、当該行動データに紐付けられている前記動画像データから推定された、特定の個人又は特定の世帯に対応する生活のパターンに応じた物品又はサービスを検出して提案させる機能と、
を実現させるためのプログラム。
【請求項8】
動画像データの解析処理により生成された、人の行動と当該行動に関連する物品とを紐付けた行動データが記憶手段に蓄積されている場合、コンピュータに、当該記憶手段に蓄積された当該行動データのうち、予め定めた抽出条件に該当する、通信機能を有しない特定の物品に関連する又は特定の人に関連する行動データを抽出させる機能と、
コンピュータに、前記物品について想定される不具合に紐付けて、当該不具合に適した物品及びサービスの少なくとも一方を記憶するデータベースから、前記行動データの前記人の行動に紐付けられて記録されている物品の使われ方、又は、当該行動データに紐付けられている前記動画像データから推定された前記物品に生じている不具合又は不具合が発生する時期に基づいて、特定の個人又は世帯に対して物品又はサービスを検出して提案させる機能と、
を実現させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像処理システム及びプログラムに関する。
【背景技術】
【0002】
現在、ホームセキュリティーや見守りサービスの一環として、個人宅内に様々なセンサデバイスが設置されようとしている。
【先行技術文献】
【特許文献】
【0003】
【文献】特開２００５－３１６８８３号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
既存のサービスには、自宅に設置したカメラのライブ映像を契約者に対してストリーミングする機能や監視の対象とする行為（例えばドアの出入り、危険場所への立ち入り、離床など）の発生を契約者に通知する機能が用意されている。
一方で、既存のサービスによる映像資源の活用は十分でない。
一方で、既存のサービスによる映像資源の活用は十分でない。
【0005】
本発明は、人に関連づけた物品の使い方の検証を可能にすることを目的とする。
【課題を解決するための手段】
【0006】
請求項１に記載の発明は、動画像データの解析処理により生成された、人の行動と当該行動に関連する物品とを紐付けた行動データを蓄積する記憶手段と、前記記憶手段に蓄積された前記行動データのうち、予め定めた抽出条件に該当する、通信機能を有しない特定の物品に関連する又は特定の人に関連する行動データを抽出する抽出手段と、前記人の行動に対応する前記動画像データが、前記行動データに紐付けられている場合、故障した特定の物品に対して紐付けられている前記行動データに対応する当該動画像データに共通する行動又は頻度の高い行動を抽出し、故障の原因となる情報として出力する分析手段と、を有する画像処理システムである。
請求項２に記載の発明は、動画像データの解析処理により生成された、人の行動と当該行動に関連する物品とを紐付けた行動データを蓄積する記憶手段と、前記記憶手段に蓄積された前記行動データのうち、予め定めた抽出条件に該当する、通信機能を有しない特定の物品に関連する又は特定の人に関連する行動データを抽出する抽出手段と、前記物品の使われ方に紐づけて、当該使われ方に適した物品及びサービスの少なくとも一方を記憶するデータベースと、前記行動データの前記人の行動に紐付けられて記録されている物品の使われ方、又は、当該行動データに紐付けられている前記動画像データから推定された物品の使われ方に応じた他の物品又はサービスを前記データベースから検出して提案する提供手段と、を有する画像処理システムである。
請求項３に記載の発明は、動画像データの解析処理により生成された、人の行動と当該行動に関連する物品とを紐付けた行動データを蓄積する記憶手段と、前記記憶手段に蓄積された前記行動データのうち、予め定めた抽出条件に該当する、通信機能を有しない特定の物品に関連する又は特定の人に関連する行動データを抽出する抽出手段と、生活のパターンに紐付けて、当該生活のパターンに適した物品及びサービスの少なくとも一方を記憶するデータベースと、前記行動データの前記人の行動に紐付けられて記録されている物品の使われ方、又は、当該行動データに紐付けられている前記動画像データから推定された、特定の個人又は特定の世帯に対応する生活のパターンに応じた物品又はサービスを前記データベースから検出して提案する提供手段と、を有する画像処理システムである。
請求項４に記載の発明は、動画像データの解析処理により生成された、人の行動と当該行動に関連する物品とを紐付けた行動データを蓄積する記憶手段と、前記記憶手段に蓄積された前記行動データのうち、予め定めた抽出条件に該当する、通信機能を有しない特定の物品に関連する又は特定の人に関連する行動データを抽出する抽出手段と、前記物品について想定される不具合に紐付けて、当該不具合に適した物品及びサービスの少なくとも一方を記憶するデータベースと、前記行動データの前記人の行動に紐付けられて記録されている物品の使われ方、又は、当該行動データに紐付けられている前記動画像データから推定された前記物品に生じている不具合又は不具合が発生する時期に基づいて、特定の個人又は世帯に対して物品又はサービスを前記データベースから検出して提案する提案手段と、を有する画像処理システムである。
請求項５に記載の発明は、動画像データの解析処理により生成された、人の行動と当該行動に関連する物品とを紐付けた行動データが記憶手段に蓄積されている場合、コンピュータに、当該記憶手段に蓄積された当該行動データのうち、予め定めた抽出条件に該当する、通信機能を有しない特定の物品に関連する又は特定の人に関連する行動データを抽出させる機能と、前記人の行動に対応する前記動画像データが、前記行動データに紐付けられている場合、コンピュータに、故障した特定の物品に対して紐付けられている当該行動データに対応する当該動画像データに共通する行動又は頻度の高い行動を抽出し、故障の原因となる情報として出力させる機能と、を実現させるためのプログラムである。
請求項６に記載の発明は、動画像データの解析処理により生成された、人の行動と当該行動に関連する物品とを紐付けた行動データが記憶手段に蓄積されている場合、コンピュータに、当該記憶手段に蓄積された当該行動データのうち、予め定めた抽出条件に該当する、通信機能を有しない特定の物品に関連する又は特定の人に関連する行動データを抽出させる機能と、コンピュータに、前記物品の使われ方に紐づけて、当該使われ方に適した物品及びサービスの少なくとも一方を記憶するデータベースから、当該行動データの前記人の行動に紐付けられて記録されている物品の使われ方、又は、当該行動データに紐付けられている前記動画像データから推定された物品の使われ方に応じた他の物品又はサービスを検出して提案させる機能と、を実現させるためのプログラムである。
請求項７に記載の発明は、動画像データの解析処理により生成された、人の行動と当該行動に関連する物品とを紐付けた行動データが記憶手段に蓄積されている場合、コンピュータに、当該記憶手段に蓄積された当該行動データのうち、予め定めた抽出条件に該当する、通信機能を有しない特定の物品に関連する又は特定の人に関連する行動データを抽出させる機能と、コンピュータに、生活のパターンに紐付けて、当該生活のパターンに適した物品及びサービスの少なくとも一方を記憶するデータベースから、当該行動データの前記人の行動に紐付けられて記録されている物品の使われ方、又は、当該行動データに紐付けられている前記動画像データから推定された、特定の個人又は特定の世帯に対応する生活のパターンに応じた物品又はサービスを検出して提案させる機能と、を実現させるためのプログラムである。
請求項８に記載の発明は、動画像データの解析処理により生成された、人の行動と当該行動に関連する物品とを紐付けた行動データが記憶手段に蓄積されている場合、コンピュータに、当該記憶手段に蓄積された当該行動データのうち、予め定めた抽出条件に該当する、通信機能を有しない特定の物品に関連する又は特定の人に関連する行動データを抽出させる機能と、コンピュータに、前記物品について想定される不具合に紐付けて、当該不具合に適した物品及びサービスの少なくとも一方を記憶するデータベースから、前記行動データの前記人の行動に紐付けられて記録されている物品の使われ方、又は、当該行動データに紐付けられている前記動画像データから推定された前記物品に生じている不具合又は不具合が発生する時期に基づいて、特定の個人又は世帯に対して物品又はサービスを検出して提案させる機能と、を実現させるためのプログラムである。
請求項２に記載の発明は、動画像データの解析処理により生成された、人の行動と当該行動に関連する物品とを紐付けた行動データを蓄積する記憶手段と、前記記憶手段に蓄積された前記行動データのうち、予め定めた抽出条件に該当する、通信機能を有しない特定の物品に関連する又は特定の人に関連する行動データを抽出する抽出手段と、前記物品の使われ方に紐づけて、当該使われ方に適した物品及びサービスの少なくとも一方を記憶するデータベースと、前記行動データの前記人の行動に紐付けられて記録されている物品の使われ方、又は、当該行動データに紐付けられている前記動画像データから推定された物品の使われ方に応じた他の物品又はサービスを前記データベースから検出して提案する提供手段と、を有する画像処理システムである。
請求項３に記載の発明は、動画像データの解析処理により生成された、人の行動と当該行動に関連する物品とを紐付けた行動データを蓄積する記憶手段と、前記記憶手段に蓄積された前記行動データのうち、予め定めた抽出条件に該当する、通信機能を有しない特定の物品に関連する又は特定の人に関連する行動データを抽出する抽出手段と、生活のパターンに紐付けて、当該生活のパターンに適した物品及びサービスの少なくとも一方を記憶するデータベースと、前記行動データの前記人の行動に紐付けられて記録されている物品の使われ方、又は、当該行動データに紐付けられている前記動画像データから推定された、特定の個人又は特定の世帯に対応する生活のパターンに応じた物品又はサービスを前記データベースから検出して提案する提供手段と、を有する画像処理システムである。
請求項４に記載の発明は、動画像データの解析処理により生成された、人の行動と当該行動に関連する物品とを紐付けた行動データを蓄積する記憶手段と、前記記憶手段に蓄積された前記行動データのうち、予め定めた抽出条件に該当する、通信機能を有しない特定の物品に関連する又は特定の人に関連する行動データを抽出する抽出手段と、前記物品について想定される不具合に紐付けて、当該不具合に適した物品及びサービスの少なくとも一方を記憶するデータベースと、前記行動データの前記人の行動に紐付けられて記録されている物品の使われ方、又は、当該行動データに紐付けられている前記動画像データから推定された前記物品に生じている不具合又は不具合が発生する時期に基づいて、特定の個人又は世帯に対して物品又はサービスを前記データベースから検出して提案する提案手段と、を有する画像処理システムである。
請求項５に記載の発明は、動画像データの解析処理により生成された、人の行動と当該行動に関連する物品とを紐付けた行動データが記憶手段に蓄積されている場合、コンピュータに、当該記憶手段に蓄積された当該行動データのうち、予め定めた抽出条件に該当する、通信機能を有しない特定の物品に関連する又は特定の人に関連する行動データを抽出させる機能と、前記人の行動に対応する前記動画像データが、前記行動データに紐付けられている場合、コンピュータに、故障した特定の物品に対して紐付けられている当該行動データに対応する当該動画像データに共通する行動又は頻度の高い行動を抽出し、故障の原因となる情報として出力させる機能と、を実現させるためのプログラムである。
請求項６に記載の発明は、動画像データの解析処理により生成された、人の行動と当該行動に関連する物品とを紐付けた行動データが記憶手段に蓄積されている場合、コンピュータに、当該記憶手段に蓄積された当該行動データのうち、予め定めた抽出条件に該当する、通信機能を有しない特定の物品に関連する又は特定の人に関連する行動データを抽出させる機能と、コンピュータに、前記物品の使われ方に紐づけて、当該使われ方に適した物品及びサービスの少なくとも一方を記憶するデータベースから、当該行動データの前記人の行動に紐付けられて記録されている物品の使われ方、又は、当該行動データに紐付けられている前記動画像データから推定された物品の使われ方に応じた他の物品又はサービスを検出して提案させる機能と、を実現させるためのプログラムである。
請求項７に記載の発明は、動画像データの解析処理により生成された、人の行動と当該行動に関連する物品とを紐付けた行動データが記憶手段に蓄積されている場合、コンピュータに、当該記憶手段に蓄積された当該行動データのうち、予め定めた抽出条件に該当する、通信機能を有しない特定の物品に関連する又は特定の人に関連する行動データを抽出させる機能と、コンピュータに、生活のパターンに紐付けて、当該生活のパターンに適した物品及びサービスの少なくとも一方を記憶するデータベースから、当該行動データの前記人の行動に紐付けられて記録されている物品の使われ方、又は、当該行動データに紐付けられている前記動画像データから推定された、特定の個人又は特定の世帯に対応する生活のパターンに応じた物品又はサービスを検出して提案させる機能と、を実現させるためのプログラムである。
請求項８に記載の発明は、動画像データの解析処理により生成された、人の行動と当該行動に関連する物品とを紐付けた行動データが記憶手段に蓄積されている場合、コンピュータに、当該記憶手段に蓄積された当該行動データのうち、予め定めた抽出条件に該当する、通信機能を有しない特定の物品に関連する又は特定の人に関連する行動データを抽出させる機能と、コンピュータに、前記物品について想定される不具合に紐付けて、当該不具合に適した物品及びサービスの少なくとも一方を記憶するデータベースから、前記行動データの前記人の行動に紐付けられて記録されている物品の使われ方、又は、当該行動データに紐付けられている前記動画像データから推定された前記物品に生じている不具合又は不具合が発生する時期に基づいて、特定の個人又は世帯に対して物品又はサービスを検出して提案させる機能と、を実現させるためのプログラムである。
【発明の効果】
【0007】
請求項１記載の発明によれば、故障の原因を検証できる。
請求項２記載の発明によれば、物品の使い方に応じた他の物品やサービスを提案できる。
請求項３記載の発明によれば、生活のパターンに応じた他の物品やサービスを提案できる。
請求項４記載の発明によれば、現在の不具合又は将来の不具合に応じた他の物品やサービスを提案できる。
請求項５記載の発明によれば、故障の原因を検証できる。
請求項６記載の発明によれば、物品の使い方に応じた他の物品やサービスを提案できる。
請求項７記載の発明によれば、生活のパターンに応じた他の物品やサービスを提案できる。
請求項８記載の発明によれば、現在の不具合又は将来の不具合に応じた他の物品やサービスを提案できる。
請求項２記載の発明によれば、物品の使い方に応じた他の物品やサービスを提案できる。
請求項３記載の発明によれば、生活のパターンに応じた他の物品やサービスを提案できる。
請求項４記載の発明によれば、現在の不具合又は将来の不具合に応じた他の物品やサービスを提案できる。
請求項５記載の発明によれば、故障の原因を検証できる。
請求項６記載の発明によれば、物品の使い方に応じた他の物品やサービスを提案できる。
請求項７記載の発明によれば、生活のパターンに応じた他の物品やサービスを提案できる。
請求項８記載の発明によれば、現在の不具合又は将来の不具合に応じた他の物品やサービスを提案できる。
【図面の簡単な説明】
【0008】
【図1】実施の形態で提案するマーケティング支援システムの構成例を示す図である。
【図2】住宅の間取りと、住宅で生活している人の行動と、住宅に設けられているカメラの配置の例を示す図である。
【図3】住宅に設けられる通信設備の例を説明する図である。
【図4】本実施の形態で使用する行動データ生成サーバの機能構成の一例を示す図である。
【図5】行動の内容や行動の対象を推定する手法の一例を説明する図である。（Ａ）はコーヒーメーカの方向に人が移動している場面を示し、（Ｂ）はコーヒーメーカの前に人が立ち止まって何かの作業をしている場面を示している。
【図6】住環境で撮像された動画像データに基づいて生成された行動データの一例を説明する図である。
【図7】公共の場所に設置された監視カメラで撮像された動画像データに基づいて生成された行動データの一例を説明する図である。
【図8】本実施の形態で使用する行動検証サーバの機能構成の一例を示す図である。
【図9】行動検証サーバによる検証結果の出力例を説明する図である。
【図10】住宅からネットワークに送信する前に動画像データに秘匿化する機能を備える通信設備の例を説明する図である。
【発明を実施するための形態】
【0009】
以下、添付図面を参照して、本発明の実施の形態について詳細に説明する。
【0010】
＜システム構成＞
図１は、実施の形態で提案するマーケティング支援システム１００の構成例を示す図である。
本実施の形態におけるマーケティング支援システム１００は、日常生活を記録した映像資源のマーケティングへの活用を支援するシステムである。
図１に示すマーケティング支援システム１００は、ネットワーク２００と、住宅３００と、マンション４００内の専有部分４１０と、公園、道路などの公共の場所に設置された監視カメラ５００と、日常生活を撮像した動画像データを蓄積するデータセンタ６００と、動画像データ６１０を解析して行動データ６２０を生成する行動データ生成サーバ７００と、行動データ６２０を処理する行動検証サーバ８００と、を有している。
図１は、実施の形態で提案するマーケティング支援システム１００の構成例を示す図である。
本実施の形態におけるマーケティング支援システム１００は、日常生活を記録した映像資源のマーケティングへの活用を支援するシステムである。
図１に示すマーケティング支援システム１００は、ネットワーク２００と、住宅３００と、マンション４００内の専有部分４１０と、公園、道路などの公共の場所に設置された監視カメラ５００と、日常生活を撮像した動画像データを蓄積するデータセンタ６００と、動画像データ６１０を解析して行動データ６２０を生成する行動データ生成サーバ７００と、行動データ６２０を処理する行動検証サーバ８００と、を有している。
【0011】
ネットワーク２００には、例えばローカルエリアネットワークやインターネット（クラウドネットワークを含む）を使用する。もっとも、ネットワーク２００は、専用線でもよい。
ネットワーク２００を介した通信は、有線方式でも無線方式でもよく、これらを併用した方式でも良い。
ネットワーク２００を介した通信は、有線方式でも無線方式でもよく、これらを併用した方式でも良い。
【0012】
本実施の形態の場合、通信を行う２つの端末間には、仮想回線（仮想専用線）が設定され、通信の秘匿性が確保される。
このため、本実施の形態では、撮像された動画像データ６１０がそのまま（すなわち生データのまま）、データセンタ６００に送信される。
もっとも、スクランブル処理やマスク処理を加えた後の動画像データ６１０をデータセンタ６００に送信してもよい。すなわち、送信されるデータの秘匿性を高めてもよい。
このため、本実施の形態では、撮像された動画像データ６１０がそのまま（すなわち生データのまま）、データセンタ６００に送信される。
もっとも、スクランブル処理やマスク処理を加えた後の動画像データ６１０をデータセンタ６００に送信してもよい。すなわち、送信されるデータの秘匿性を高めてもよい。
【0013】
本実施の形態における住宅３００やマンション４００の専有部分４１０には、複数のカメラが設けられており、日常生活を撮像している。
また、公共の場所には、監視カメラ５００が設けられており、不特定多数の人の日常的な行動や活動を撮像している。
個々のカメラは、撮像によって生成されるデータを動画像データ６１０として出力する。本実施の形態の場合、動画像データ６１０は、画像の解析に必要な解像度とフレームレートを有している。
また、公共の場所には、監視カメラ５００が設けられており、不特定多数の人の日常的な行動や活動を撮像している。
個々のカメラは、撮像によって生成されるデータを動画像データ６１０として出力する。本実施の形態の場合、動画像データ６１０は、画像の解析に必要な解像度とフレームレートを有している。
【0014】
本実施の形態の場合、動画像データ６１０には、少なくとも人の区別が可能（好ましくは顔認証による個人の特定が可能）であること、人の行動の認識が可能であること、行動に関連する物品の認識が可能であること等が要求される。
動画像データ６１０のデータセンタ６００への送信は、カメラによる撮像とほぼ同時に実行してもよいし（いわゆるライブ配信でもよいし）、ハードディスク装置その他のストレージ装置に一旦蓄積した後に実行してもよい。
なお、不図示のマイクによって収録された音データもデータセンタ６００に送信してもよい。
動画像データ６１０のデータセンタ６００への送信は、カメラによる撮像とほぼ同時に実行してもよいし（いわゆるライブ配信でもよいし）、ハードディスク装置その他のストレージ装置に一旦蓄積した後に実行してもよい。
なお、不図示のマイクによって収録された音データもデータセンタ６００に送信してもよい。
【0015】
本実施の形態におけるデータセンタ６００には、管理の対象であるカメラによって撮像された動画像データ６１０と、人の行動と行動に関連する物品とを紐付けた行動データ６２０とが蓄積される。もっとも、行動データ６２０は、後述する行動データ生成サーバ７００に蓄積されてもよい。
本実施の形態の場合、データセンタ６００に蓄積されている動画像データ６１０及び行動データ６２０は、行動データ生成サーバ７００及び行動検証サーバ８００で実行される人工知能に対してのみ提供される。
データセンタ６００は、大容量のストレージ装置で構成される。データセンタ６００は１つの拠点に限らず、複数の拠点に分散的に配置されてもよい。
本実施の形態の場合、データセンタ６００に蓄積されている動画像データ６１０及び行動データ６２０は、行動データ生成サーバ７００及び行動検証サーバ８００で実行される人工知能に対してのみ提供される。
データセンタ６００は、大容量のストレージ装置で構成される。データセンタ６００は１つの拠点に限らず、複数の拠点に分散的に配置されてもよい。
【0016】
本実施の形態における行動データ生成サーバ７００は、人工知能を用いて動画像データ６１０を解析し、動画像データ６１０に現れる個人の抽出、個人の行動の抽出、行動に関連する１つ又は複数の物品の抽出、行動データ６２０の生成等の処理を実行する。
行動データ生成サーバ７００は、いわゆるコンピュータであり、プログラムの実行を通じて各部を制御するＣＰＵ（Central Processing Unit）と、ＢＩＯＳ（Basic Input Output System）や基本ソフトウェア等のプログラムを記憶するＲＯＭ（Read Only Memory）と、プログラムの実行領域として用いられるＲＡＭ（Random Access Memory）と、各種のデータを記憶するハードディスク装置と、ネットワーク２００との通信に用いられる通信装置とを有している。
人工知能による動画像データ６１０の解析や行動データ６２０の生成は、コンピュータによるプログラムの実行を通じて実現される。具体的な処理の内容については後述する。
ここでの行動データ生成サーバ７００は、画像処理システムの一例である。なお、広義の画像処理システムは、データセンタ６００と行動データ生成サーバ７００を含む。
行動データ生成サーバ７００は、いわゆるコンピュータであり、プログラムの実行を通じて各部を制御するＣＰＵ（Central Processing Unit）と、ＢＩＯＳ（Basic Input Output System）や基本ソフトウェア等のプログラムを記憶するＲＯＭ（Read Only Memory）と、プログラムの実行領域として用いられるＲＡＭ（Random Access Memory）と、各種のデータを記憶するハードディスク装置と、ネットワーク２００との通信に用いられる通信装置とを有している。
人工知能による動画像データ６１０の解析や行動データ６２０の生成は、コンピュータによるプログラムの実行を通じて実現される。具体的な処理の内容については後述する。
ここでの行動データ生成サーバ７００は、画像処理システムの一例である。なお、広義の画像処理システムは、データセンタ６００と行動データ生成サーバ７００を含む。
【0017】
行動検証サーバ８００は、人工知能を用いて動画像データ６１０や行動データ６２０を処理し、抽出条件に該当する特定の物品又は特定の人に関連する行動データの抽出、推奨されない行動の抽出、抽出された行動に類似する行動データの抽出、特定の行動データに紐付けられている動画像データの抽出等の処理を実行する。
行動検証サーバ８００は、いわゆるコンピュータであり、プログラムの実行を通じて各部を制御するＣＰＵと、ＢＩＯＳや基本ソフトウェア等のプログラムを記憶するＲＯＭと、プログラムの実行領域として用いられるＲＡＭと、各種のデータを記憶するハードディスク装置と、ネットワーク２００との通信に用いられる通信装置とを有している。
人工知能による動画像データ６１０や行動データ６２０の処理は、コンピュータによるプログラムの実行を通じて実現される。具体的な処理の内容については後述する。
ここでの行動検証サーバ８００は、情報処理システムの一例である。なお、広義の情報処理システムは、データセンタ６００と行動検証サーバ８００を含む。
行動検証サーバ８００は、いわゆるコンピュータであり、プログラムの実行を通じて各部を制御するＣＰＵと、ＢＩＯＳや基本ソフトウェア等のプログラムを記憶するＲＯＭと、プログラムの実行領域として用いられるＲＡＭと、各種のデータを記憶するハードディスク装置と、ネットワーク２００との通信に用いられる通信装置とを有している。
人工知能による動画像データ６１０や行動データ６２０の処理は、コンピュータによるプログラムの実行を通じて実現される。具体的な処理の内容については後述する。
ここでの行動検証サーバ８００は、情報処理システムの一例である。なお、広義の情報処理システムは、データセンタ６００と行動検証サーバ８００を含む。
【0018】
＜住宅３００内の設備＞
ここでは、住宅３００について、本実施の形態で想定するカメラの配置等を説明する。
図２は、住宅３００の間取り３１０（３１０Ａ～３１０Ｉ）と、住宅３００で生活している人３２０（３２０Ａ～３２０Ｄ）の行動と、住宅３００に設けられているカメラ３３０（３３０Ａ、３３０Ｂ）の配置の例を示す図である。
図２に示す間取り３１０は、住宅３００の１階部分を表している。図２の場合、１階部分には、リビング３１０Ａ、台所３１０Ｂ、浴室３１０Ｃ、洗面室３１０Ｄ、個室３１０Ｅ、トイレ３１０Ｆ、廊下３１０Ｇ、階段３１０Ｈ、玄関３１０Ｉが配置されている。
ここでは、住宅３００について、本実施の形態で想定するカメラの配置等を説明する。
図２は、住宅３００の間取り３１０（３１０Ａ～３１０Ｉ）と、住宅３００で生活している人３２０（３２０Ａ～３２０Ｄ）の行動と、住宅３００に設けられているカメラ３３０（３３０Ａ、３３０Ｂ）の配置の例を示す図である。
図２に示す間取り３１０は、住宅３００の１階部分を表している。図２の場合、１階部分には、リビング３１０Ａ、台所３１０Ｂ、浴室３１０Ｃ、洗面室３１０Ｄ、個室３１０Ｅ、トイレ３１０Ｆ、廊下３１０Ｇ、階段３１０Ｈ、玄関３１０Ｉが配置されている。
【0019】
図２の場合、各空間には、人３２０の日常生活を撮像するカメラ３３０Ａが少なくとも１つ備え付けられている。
カメラ３３０Ａが備え付けられていない空間が存在してもよいが、人３２０の日常生活を網羅的に記録する観点からは死角の少ない配置が望ましい。
図２の場合、カメラ３３０Ｂは、リビング３１０Ａに配置された犬型のロボットに内蔵されている。
カメラ３３０Ａが撮像する範囲は固定であるのに対し、カメラ３３０Ｂが撮像する範囲は、ロボットの移動に伴って変化する。なお、カメラ３３０Ｂは、玩具やぬいぐるみに内蔵されていてもよい。
この他、人３２０の日常生活を撮像するカメラ３３０Ｂは、個室３１０Ｅの机の上に配置されたコンピュータやスマートフォンに設けられていてもよい。
カメラ３３０Ａが備え付けられていない空間が存在してもよいが、人３２０の日常生活を網羅的に記録する観点からは死角の少ない配置が望ましい。
図２の場合、カメラ３３０Ｂは、リビング３１０Ａに配置された犬型のロボットに内蔵されている。
カメラ３３０Ａが撮像する範囲は固定であるのに対し、カメラ３３０Ｂが撮像する範囲は、ロボットの移動に伴って変化する。なお、カメラ３３０Ｂは、玩具やぬいぐるみに内蔵されていてもよい。
この他、人３２０の日常生活を撮像するカメラ３３０Ｂは、個室３１０Ｅの机の上に配置されたコンピュータやスマートフォンに設けられていてもよい。
【0020】
各空間には、様々な物品が配置されている。
例えばリビング３１０Ａには、テレビ台、テレビ、リビングテーブル、ソファ、ダイニングテーブル、ドア、掃除機、照明器具（不図示）、エアコン（不図示）等が配置されている。なお、Ｂさん（人３２０Ｂ）は、掃除機を用いてリビング３１０Ａを掃除している。
例えば台所３１０Ｂには、流し台、ガスコンロ、レンジフード（換気扇）、蛍光灯、食器棚等が配置されている。なお、Ａさん（人３２０Ａ）は、ガスコンロで炒めものをしている。
この他、浴室３１０ＣではＣさん（人３２０Ｃ）が入浴中であり、個室３１０ＥではＤさん（人３２０Ｄ）がコンピュータを使用している。
例えばリビング３１０Ａには、テレビ台、テレビ、リビングテーブル、ソファ、ダイニングテーブル、ドア、掃除機、照明器具（不図示）、エアコン（不図示）等が配置されている。なお、Ｂさん（人３２０Ｂ）は、掃除機を用いてリビング３１０Ａを掃除している。
例えば台所３１０Ｂには、流し台、ガスコンロ、レンジフード（換気扇）、蛍光灯、食器棚等が配置されている。なお、Ａさん（人３２０Ａ）は、ガスコンロで炒めものをしている。
この他、浴室３１０ＣではＣさん（人３２０Ｃ）が入浴中であり、個室３１０ＥではＤさん（人３２０Ｄ）がコンピュータを使用している。
【0021】
図３は、住宅３００に設けられる通信設備の例を説明する図である。
本実施の形態の場合、住宅３００には、動画像データ６１０を出力する複数台のカメラ３３０と、センサデータを送信する複数台のＩｏＴ（Internet of Things）デバイス３４０とが通信装置３５０に接続されている。
もっとも、ＩｏＴ（Internet of Things）デバイス３４０の通信装置３５０への接続は任意である。
本実施の形態の場合、住宅３００には、動画像データ６１０を出力する複数台のカメラ３３０と、センサデータを送信する複数台のＩｏＴ（Internet of Things）デバイス３４０とが通信装置３５０に接続されている。
もっとも、ＩｏＴ（Internet of Things）デバイス３４０の通信装置３５０への接続は任意である。
【0022】
本実施の形態の場合、通信装置３５０は、カメラ３３０から入力される動画像データ６１０とＩｏＴデバイス３４０から入力されるセンサデータを、例えば仮想回線が設定されたネットワーク２００（図１参照）を介してデータセンタ６００（図１参照）に送信する。
ＩｏＴデバイス３４０は、通信装置３５０を通じてセンサデータをデータセンタ６００に送信する機能を有するデバイスをいう。
ＩｏＴデバイス３４０は、通信装置３５０を通じてセンサデータをデータセンタ６００に送信する機能を有するデバイスをいう。
【0023】
センサデータには、ＩｏＴデバイス３４０に内蔵されたセンサで発生するデータに限らず、Ｍ２Ｍ（Machine to Machine）通信を通じて収集された他のデバイスのセンサで発生するデータも含まれる。
Ｍ２Ｍ通信にのみ対応する機器は、インターネットへの送信機能を有しない点でＩｏＴデバイス３４０と異なる。
本実施の形態では、Ｍ２Ｍ通信にのみ対応する機器とＩｏＴデバイス３４０を総称して通信機能を有する物品ということがあり、通信機能を有しない物品と区別する目的で使用する。
Ｍ２Ｍ通信にのみ対応する機器は、インターネットへの送信機能を有しない点でＩｏＴデバイス３４０と異なる。
本実施の形態では、Ｍ２Ｍ通信にのみ対応する機器とＩｏＴデバイス３４０を総称して通信機能を有する物品ということがあり、通信機能を有しない物品と区別する目的で使用する。
【0024】
ＩｏＴデバイス３４０には、例えば電気製品、住宅設備、ペット用品等が含まれる。
ＩｏＴデバイス３４０としての電気製品には、例えばテレビ、エアコン、パソコン、温度センサ、湿度センサ、ウェアラブル機器がある。
ＩｏＴデバイス３４０としての住宅設備には、例えば窓の開閉を検知するセンサ、ドアの開閉を検知するセンサ、壁の振動を検知するセンサ、通信機能を有する電力メータ（スマートメータ）、住宅３００での電気やガスに関する情報を集中的に処理する装置（ホームコントローラ）がある。
ＩｏＴデバイス３４０としての電気製品には、例えばテレビ、エアコン、パソコン、温度センサ、湿度センサ、ウェアラブル機器がある。
ＩｏＴデバイス３４０としての住宅設備には、例えば窓の開閉を検知するセンサ、ドアの開閉を検知するセンサ、壁の振動を検知するセンサ、通信機能を有する電力メータ（スマートメータ）、住宅３００での電気やガスに関する情報を集中的に処理する装置（ホームコントローラ）がある。
【0025】
なお、温度センサ、湿度センサ、照度センサ、振動センサ、紫外線量センサ、風速センサ、ＣＯ２濃度センサ、ＰＭ２．５濃度センサ、ほこり検知センサ等で測定されたセンサデータは、環境データとしてデータセンタ６００に送信される。
また、ウェアラブル機器によって取得された脈拍や血圧などは、生体データとしてデータセンタ６００に送信される。
また、ウェアラブル機器によって取得された脈拍や血圧などは、生体データとしてデータセンタ６００に送信される。
【0026】
なお、住宅３００には、通信機能を有しない物品も存在する。
通信機能を有しない物品には、例えば包丁、鍋などの調理器具、コップ、皿などの食器、化粧品、ヘアスプレー、ドライヤー、ブラシ、ドア、窓ガラス、手すり、筆記具、ハサミ、椅子、ソファ、シャワー、バスタブ、石鹸がある。
これら通信機能を有しない物品の使用の様子は、動画像データ６１０の一部として行動データ生成サーバ７００に送信される。
通信機能を有しない物品には、例えば包丁、鍋などの調理器具、コップ、皿などの食器、化粧品、ヘアスプレー、ドライヤー、ブラシ、ドア、窓ガラス、手すり、筆記具、ハサミ、椅子、ソファ、シャワー、バスタブ、石鹸がある。
これら通信機能を有しない物品の使用の様子は、動画像データ６１０の一部として行動データ生成サーバ７００に送信される。
【0027】
＜行動データ生成サーバ７００の機能構成＞
図４は、本実施の形態で使用する行動データ生成サーバ７００の機能構成の一例を示す図である。
図４に示す機能は、ＣＰＵによるプログラムの実行を通じて実現される。各機能の一部又は全部には人工知能の処理が含まれる。
なお、図４は、プログラムの実行を通じて実現される機能のうち、行動データの生成で必要になる一部の機能を表している。
図４は、本実施の形態で使用する行動データ生成サーバ７００の機能構成の一例を示す図である。
図４に示す機能は、ＣＰＵによるプログラムの実行を通じて実現される。各機能の一部又は全部には人工知能の処理が含まれる。
なお、図４は、プログラムの実行を通じて実現される機能のうち、行動データの生成で必要になる一部の機能を表している。
【0028】
行動データ生成サーバ７００は、ＩｏＴデバイス３４０（図３参照）から操作に関する情報（操作データ）を取得する操作データ取得部７１０と、カメラ３３０（図３参照）が配置されている空間の温度、湿度等を環境データとして取得する環境データ取得部７２０と、動画像データ６１０（図３参照）に撮像されている人を推定する人推定部７３０と、推定された人３２０（図２参照）の行動と行動に関連する物品を動画像データ６１０から抽出する行動及び物品抽出部７４０と、抽出された情報に基づいて行動データ６２０（図１参照）を生成する行動データ生成部７５０として機能する。
【0029】
本実施の形態における操作データには、操作の対象である電子機器、操作された機能、操作されたボタン等の情報が含まれる。
このため、操作データ取得部７１０は、動画像データ６１０の解析によっては抽出できない操作の情報の取得に用いられる。
例えば人３２０が操作するボタン類が小さい場合、動画像データ６１０の解析では、操作されたボタンを特定することは難しいが、操作データを用いれば操作されたボタンや機能の特定が可能である。
また例えば物品に対する操作がカメラ３３０の死角で行われた場合、動画像データ６１０を解析しても操作の内容を特定できないが、操作データを用いれば操作されたボタンや機能の特定が可能である。
なお、操作の対象である物品については、人の移動の前後の画像から特定できる場合もある。
このため、操作データ取得部７１０は、動画像データ６１０の解析によっては抽出できない操作の情報の取得に用いられる。
例えば人３２０が操作するボタン類が小さい場合、動画像データ６１０の解析では、操作されたボタンを特定することは難しいが、操作データを用いれば操作されたボタンや機能の特定が可能である。
また例えば物品に対する操作がカメラ３３０の死角で行われた場合、動画像データ６１０を解析しても操作の内容を特定できないが、操作データを用いれば操作されたボタンや機能の特定が可能である。
なお、操作の対象である物品については、人の移動の前後の画像から特定できる場合もある。
【0030】
環境データ取得部７２０が取得した環境データは、人の行動と環境との因果関係などの検証に利用できる。
例えば特定の人が行ったエアコンの設定温度を上げる操作と、その時点における室温（気温）や湿度との関係の検証に利用できる。
人推定部７３０は、動画像データ６１０を解析して、動画像データ６１０に出現する個人、性別、年齢等を推定する。人推定部７３０は、例えば顔認識技術を推定に使用する。顔認識技術により、同一人の抽出、個人の特定等が可能になる。顔認識技術も人工知能による処理の一例である。
なお、人の推定では、動画像データ６１０に限らず、様々な情報が複合的に用いられる。例えば音声のデータを利用してもよい。
例えば特定の人が行ったエアコンの設定温度を上げる操作と、その時点における室温（気温）や湿度との関係の検証に利用できる。
人推定部７３０は、動画像データ６１０を解析して、動画像データ６１０に出現する個人、性別、年齢等を推定する。人推定部７３０は、例えば顔認識技術を推定に使用する。顔認識技術により、同一人の抽出、個人の特定等が可能になる。顔認識技術も人工知能による処理の一例である。
なお、人の推定では、動画像データ６１０に限らず、様々な情報が複合的に用いられる。例えば音声のデータを利用してもよい。
【0031】
行動及び物品抽出部７４０は、動画像データを解析して、人の行動と、行動に関連する１つ又は複数の物品を抽出する。行動及び物品抽出部７４０は、抽出手段の一例である。
本実施の形態の場合、人の行動には、例えば調理、飲食、テレビの視聴、入浴、掃除、扉や窓の開閉、照明の点灯又は消灯、睡眠がある。
抽出される行動の内容や数は、人工知能に予め与えられる場合もあれば、学習により追加される場合もある。
本実施の形態の場合、人の行動には、例えば調理、飲食、テレビの視聴、入浴、掃除、扉や窓の開閉、照明の点灯又は消灯、睡眠がある。
抽出される行動の内容や数は、人工知能に予め与えられる場合もあれば、学習により追加される場合もある。
【0032】
なお、抽出される行動には、行動の手順、行動で使用した体の部位、物品の持ち方又は使い方、物品に対する力の加え方、使用中の怪我、鍋の吹きこぼれ、空焚き等の情報を含めてもよい。
例えば使用した体の部位として「肘」、「足」、「膝」等を記録してもよい。これらの情報の抽出により、行動データ６２０の多様な検証が実現される。例えば物品の故障の原因になる行動、壊れやすい部位、壊れる時期などの予測の基礎資料として用いることができる。
例えば使用した体の部位として「肘」、「足」、「膝」等を記録してもよい。これらの情報の抽出により、行動データ６２０の多様な検証が実現される。例えば物品の故障の原因になる行動、壊れやすい部位、壊れる時期などの予測の基礎資料として用いることができる。
【0033】
ところで、動画像データ６１０に人３２０の行動が写っていても、具体的な操作の内容までは特定できない場合もある。例えば操作されているボタン類が小さい場合である。
このような場合、行動及び物品抽出部７４０は、行動として操作や使用を記録する。
なお、動画像データ６１０の解析によっては行動の内容を特定できなくても、行動の対象である物品がＩｏＴデバイス３４０の場合には、行動を抽出した時間との紐付けにより、操作の内容を特定できる場合がある。
このような場合、行動及び物品抽出部７４０は、行動として操作や使用を記録する。
なお、動画像データ６１０の解析によっては行動の内容を特定できなくても、行動の対象である物品がＩｏＴデバイス３４０の場合には、行動を抽出した時間との紐付けにより、操作の内容を特定できる場合がある。
【0034】
また、人３２０の具体的な行動は、１つのカメラ３３０から出力される動画像データ６１０だけでは抽出できない場合がある。例えば物品に対する作業がカメラ３３０の死角で行われる場合である。
カメラ３３０の死角には、カメラ３３０の撮像範囲の外側だけなく、撮像範囲内の物品が人３２０や他の物品に隠れる場合も含まれる。ここでの人３２０には、物品を操作している人だけでなく他の人も含まれる。
このような場合、行動及び物品抽出部７４０は、例えば時間的に前後する複数の画像から人、物品、行動を推定する。
カメラ３３０の死角には、カメラ３３０の撮像範囲の外側だけなく、撮像範囲内の物品が人３２０や他の物品に隠れる場合も含まれる。ここでの人３２０には、物品を操作している人だけでなく他の人も含まれる。
このような場合、行動及び物品抽出部７４０は、例えば時間的に前後する複数の画像から人、物品、行動を推定する。
【0035】
図５は、行動の内容や行動の対象を推定する手法の一例を説明する図である。（Ａ）はコーヒーメーカ３６０の方向に人３２０が移動している場面（時点Ｔ１）を示し、（Ｂ）はコーヒーメーカ３６０の前に人３２０が立ち止まって何かの作業をしている場面（時点Ｔ２）を示している。
なお、図５に示すコーヒーメーカ３６０には、通信機能が備えられていない。すなわち、図５に示すコーヒーメーカ３６０は、ＩｏＴデバイス３４０ではない。
なお、図５に示すコーヒーメーカ３６０には、通信機能が備えられていない。すなわち、図５に示すコーヒーメーカ３６０は、ＩｏＴデバイス３４０ではない。
【0036】
図５の場合、行動及び物品抽出部７４０は、同一人がコーヒーメーカ３６０の前まで移動して、何らかの作業を行っている様子を動画像データ６１０の解析によって認識する。前述したように、作業中の内容は動画像データ６１０には写っていないが、人３２０の移動先にコーヒーメーカ３６０が存在することは、動画像データ６１０の解析により分かっている。
そこで、行動及び物品抽出部７４０は、人３２０の行動として、コーヒーメーカ３６０の「使用」を記録する。
図４の説明に戻る。
そこで、行動及び物品抽出部７４０は、人３２０の行動として、コーヒーメーカ３６０の「使用」を記録する。
図４の説明に戻る。
【0037】
この他、行動及び物品抽出部７４０は、人３２０が所持するスマートフォン等の通信端末が発する電波に基づいて人３２０の移動や物品の移動を推定することもできる。例えばＷｉＦｉ（商標）の電波の反射経路と屋内の環境との間には相関関係を見出すことができる。
本実施の形態における行動及び物品抽出部７４０は、電波の反射状況の変化から屋内の環境の変化を検知する機能も備えている。例えば行動及び物品抽出部７４０は、電波の反射状況の変化に基づいて、カメラ３３０の死角内での人３２０の移動を検知する。行動及び物品抽出部７４０は、検知された情報で動画像データ６１０から取得される情報を補完する。
本実施の形態における行動及び物品抽出部７４０は、電波の反射状況の変化から屋内の環境の変化を検知する機能も備えている。例えば行動及び物品抽出部７４０は、電波の反射状況の変化に基づいて、カメラ３３０の死角内での人３２０の移動を検知する。行動及び物品抽出部７４０は、検知された情報で動画像データ６１０から取得される情報を補完する。
【0038】
行動データ生成部７５０は、抽出された人の行動と物品とを紐付けた行動データ６２０（図１参照）を生成し、データセンタ６００に蓄積する。行動データ生成部７５０は生成手段の一例である。
もっとも、生成された行動データ６２０は、行動データ生成サーバ７００内のハードディスク装置やデータセンタ６００とは別のネットワークストレージに蓄積してもよい。
本実施の形態の場合、行動データ６２０には、行動と物品以外にも関連する情報が含まれる。
もっとも、生成された行動データ６２０は、行動データ生成サーバ７００内のハードディスク装置やデータセンタ６００とは別のネットワークストレージに蓄積してもよい。
本実施の形態の場合、行動データ６２０には、行動と物品以外にも関連する情報が含まれる。
【0039】
図６は、住環境で撮像された動画像データ６１０に基づいて生成された行動データ６２０の一例を説明する図である。
図６の場合、行動データ６２０には、ユーザ情報６２１、ユーザの行動情報６２２、行動が行われた場所６２３、行動に関連する物品情報６２４、ＩｏＴデバイス３４０（図３参照）から取得された操作データ６２５、情報の抽出に用いた動画像リンク情報６２６、行動が行われた場所の環境データ６２７が含まれている。
図６の場合、行動データ６２０には、ユーザ情報６２１、ユーザの行動情報６２２、行動が行われた場所６２３、行動に関連する物品情報６２４、ＩｏＴデバイス３４０（図３参照）から取得された操作データ６２５、情報の抽出に用いた動画像リンク情報６２６、行動が行われた場所の環境データ６２７が含まれている。
【0040】
住環境の場合、日常的に撮像される人３２０は居住者に限られる。このため、図６に示すユーザ情報６２１には、Ａさん、Ｂさん、Ｃさんというように、個人名が記録されている。もっとも、ユーザ情報６２１には、推定された年齢と性別の情報が含まれてもよい。
また、来客者の行動が抽出された場合には、ユーザ情報６２１として、推定された性別と年代が記録される。
行動情報６２２には、人工知能による画像解析によって推定された行動が記録される。例えば調理、扉閉じ、掃除、点灯等が記録される。図６の場合、具体的な行動を推定できなかったエアコン用リモンに対する行動情報６２２には操作が記録され、コーヒーメーカ３６０（図５参照）に対する行動情報６２２には使用が記録されている。
また、来客者の行動が抽出された場合には、ユーザ情報６２１として、推定された性別と年代が記録される。
行動情報６２２には、人工知能による画像解析によって推定された行動が記録される。例えば調理、扉閉じ、掃除、点灯等が記録される。図６の場合、具体的な行動を推定できなかったエアコン用リモンに対する行動情報６２２には操作が記録され、コーヒーメーカ３６０（図５参照）に対する行動情報６２２には使用が記録されている。
【0041】
場所６２３には、人３２０の行動が撮像された場所の情報が記録される。場所６２３は、カメラ３３０毎に情報が割り当てられていてもよいし、人工知能による画像解析によって場所の内容が推定されてもよい。図６の場合には、台所、リビング、浴室が記録されている。
物品情報６２４には、人工知能によって推定された物品の種別などの情報が記録される。図６の場合、ガスコンロ、包丁、エアコン用リモコン、冷蔵庫、掃除機、照明、コーヒーメーカ３６０、コップ等が記録される。
操作データ６２５には、ＩｏＴデバイス３４０（図３参照）から取得された情報が記録される。図６の場合、ＩｏＴデバイス３４０は、エアコンだけである。このため、エアコン用リモコンに紐づけて操作の内容が設定温度の変更であり、変更後の温度が２５℃であることが記録されている。
物品情報６２４には、人工知能によって推定された物品の種別などの情報が記録される。図６の場合、ガスコンロ、包丁、エアコン用リモコン、冷蔵庫、掃除機、照明、コーヒーメーカ３６０、コップ等が記録される。
操作データ６２５には、ＩｏＴデバイス３４０（図３参照）から取得された情報が記録される。図６の場合、ＩｏＴデバイス３４０は、エアコンだけである。このため、エアコン用リモコンに紐づけて操作の内容が設定温度の変更であり、変更後の温度が２５℃であることが記録されている。
【0042】
図６の場合、動画像リンク情報６２６には、行動が推定された動画像データ６１０を撮像したカメラ３３０を特定する情報（例えばカメラ１）と、行動が写っている時間を特定する情報とが記録されている。
図６の場合には、カメラ３３０を特定する番号によって動画像データ６１０を特定しているが、動画像データ６１０を一意に特定する情報（例えば符号）を記録してもよい。
また、図６の場合には、１台のカメラ３３０の情報が記録されているが、複数台のカメラ３３０の情報が記録されてもよい。動画像リンク情報６２６が記録されることにより、行動の詳細な検証や原因を検証する作業が効率的に行える。
環境データ６２７には、記録された行動が行われた環境を特定する情報として、例えば気温（室温）、湿度、天候等の情報が記録される。なお、天候の情報は、外部機関が提供する気象情報を利用してもよい。
図６の場合には、カメラ３３０を特定する番号によって動画像データ６１０を特定しているが、動画像データ６１０を一意に特定する情報（例えば符号）を記録してもよい。
また、図６の場合には、１台のカメラ３３０の情報が記録されているが、複数台のカメラ３３０の情報が記録されてもよい。動画像リンク情報６２６が記録されることにより、行動の詳細な検証や原因を検証する作業が効率的に行える。
環境データ６２７には、記録された行動が行われた環境を特定する情報として、例えば気温（室温）、湿度、天候等の情報が記録される。なお、天候の情報は、外部機関が提供する気象情報を利用してもよい。
【0043】
図７は、公共の場所に設置された監視カメラ５００で撮像された動画像データ６１０に基づいて生成された行動データ６２０の一例を説明する図である。図７には、図６との対応部分に対応する符号を付して示している。
基本的に、公共の場所で撮像された動画像データ６１０から個人を特定することは難しい。このため、図７の場合には、ユーザ情報６２１として推定された性別と年代とで人３２０が特定されている。
基本的に、公共の場所で撮像された動画像データ６１０から個人を特定することは難しい。このため、図７の場合には、ユーザ情報６２１として推定された性別と年代とで人３２０が特定されている。
【0044】
この行動データ６２０の生成により、各人の行動と行動に関連する物品との関係が可視化される。特に、通信機能を有しない物品に関連する行動を可視化することができる。
なお、ＩｏＴデバイス３４０から収集される操作データでは、操作された機能や操作の時点等の情報を取得することはできても操作した個人を特定できない。
一方、本実施の形態における行動データ６２０を用いれば、ユーザ情報６２１によって、個人を特定した情報の抽出が可能になる。
結果的に、任意の物品（特に通信機能を有しない物品）を対象とした人の行動の検証が可能になり、新たなサービスの開発にも活用できる。
例えば特定の個人、性別、年代に応じた特定の物品の使用の頻度、使用のタイミング、使い方、使用の場所等が可視化される。
また、行動データ６２０に動画像データ６１０が紐付けられていることで行動や故障の原因の検証も容易になる。
なお、ＩｏＴデバイス３４０から収集される操作データでは、操作された機能や操作の時点等の情報を取得することはできても操作した個人を特定できない。
一方、本実施の形態における行動データ６２０を用いれば、ユーザ情報６２１によって、個人を特定した情報の抽出が可能になる。
結果的に、任意の物品（特に通信機能を有しない物品）を対象とした人の行動の検証が可能になり、新たなサービスの開発にも活用できる。
例えば特定の個人、性別、年代に応じた特定の物品の使用の頻度、使用のタイミング、使い方、使用の場所等が可視化される。
また、行動データ６２０に動画像データ６１０が紐付けられていることで行動や故障の原因の検証も容易になる。
【0045】
＜行動検証サーバ８００の機能構成＞
図８は、本実施の形態で使用する行動検証サーバ８００の機能構成の一例を示す図である。
図８に示す機能は、ＣＰＵによるプログラムの実行を通じて実現される。各機能の一部又は全部には人工知能の処理が含まれる。
なお、図８は、プログラムの実行を通じて実現される機能のうち、行動データ６２０（図１参照）の検証で必要になる一部の機能を表している。
図８は、本実施の形態で使用する行動検証サーバ８００の機能構成の一例を示す図である。
図８に示す機能は、ＣＰＵによるプログラムの実行を通じて実現される。各機能の一部又は全部には人工知能の処理が含まれる。
なお、図８は、プログラムの実行を通じて実現される機能のうち、行動データ６２０（図１参照）の検証で必要になる一部の機能を表している。
【0046】
行動検証サーバ８００は、抽出処理で使用する条件を取得する抽出条件取得部８１０と、動画像データ６１０（図１参照）を解析する動画像データ解析部８２０と、抽出条件に該当する行動データ６２０を抽出する抽出実行部８３０と、抽出の結果を出力する抽出結果出力部８４０と、必要に応じて対象者に情報を提供する情報提供部８５０として機能する。
本実施の形態の場合、抽出処理で使用する条件のうちの幾つかは予め登録されている。もっとも、行動検証サーバ８００の作業者が、任意の条件を与えることも可能である。抽出条件取得部８１０は、登録済みの又は作業者によって与えられた条件を取得する機能を実行する。
本実施の形態の場合、抽出処理で使用する条件のうちの幾つかは予め登録されている。もっとも、行動検証サーバ８００の作業者が、任意の条件を与えることも可能である。抽出条件取得部８１０は、登録済みの又は作業者によって与えられた条件を取得する機能を実行する。
【0047】
本実施の形態の場合、動画像データ解析部８２０は、動画像データ６１０を人工知能で解析し、抽出の対象とする行動が含まれる画像を抽出する機能を実行する。抽出の対象とする行動には、例えば推奨されない行動に類似する動作、包丁の切れ味が悪そうな行動に類似する動作、ガスコンロの着火が悪そうな行動に類似する動作、体を支える行動に類似する動作等が含まれる。
【0048】
因みに、推奨されない行動には、例えば間違った操作、故障の原因となる操作、怪我の原因となる操作等が含まれる。
また、包丁の切れ味が悪そうな行動には、例えば何度も包丁を引く、力が加わっている、切った後に手でちぎる等が含まれる。
また、ガスコンロの着火が悪そうな行動には、例えば何度もスイッチを押す、何度も着火を確認するように覗き込む等が含まれる。
また、体を支える行動には、例えば玄関や風呂場で壁に手を掛ける、椅子やベッドから起き上がる際や座る際に手をつく等が含まれる。
また、包丁の切れ味が悪そうな行動には、例えば何度も包丁を引く、力が加わっている、切った後に手でちぎる等が含まれる。
また、ガスコンロの着火が悪そうな行動には、例えば何度もスイッチを押す、何度も着火を確認するように覗き込む等が含まれる。
また、体を支える行動には、例えば玄関や風呂場で壁に手を掛ける、椅子やベッドから起き上がる際や座る際に手をつく等が含まれる。
【0049】
抽出実行部８３０は、取得された抽出条件に該当する行動データ６２０を抽出する機能を実行する。なお、抽出実行部８３０が抽出する行動データ６２０には、抽出条件に完全に合致する行動データ６２０だけでなく、抽出条件との合致度が高い（すなわち類似する）行動データ６２０を含めることができる。ここでの抽出実行部８３０は抽出手段の一例である。
抽出結果出力部８４０は、抽出された行動データ６２０を予め定めた形式で出力する機能を実行する。出力の形式は、行動検証サーバ８００の作業者が選択できるようにしてもよい。
抽出結果出力部８４０は、抽出された行動データ６２０を予め定めた形式で出力する機能を実行する。出力の形式は、行動検証サーバ８００の作業者が選択できるようにしてもよい。
【0050】
情報提供部８５０は、予め定めた提供の条件に該当する事例が発見された場合に、行動データ６２０に紐付けられている連絡先に対して情報を提供する機能を実行する。
提供される情報には、注意の喚起、新製品や代替製品の提案、ライフスタイルの変化に応じた各種の提案（例えばリフォームや引っ越し）等が含まれる。
情報の提供の仕方には、郵送物を用いる手法、メールを送信する手法、いわゆるスマートスピーカを通じてお知らせする手法、家庭内に設けたデジタルサイネージを通じてお知らせする手法、ウェブ画面に広告を掲載する手法等がある。スマートスピーカには、無線通信機能、音声アシスタント機能、音再生機能等が内蔵されている。
情報の提供は、緊急性の度合いに応じて、即時、次回の連絡時や訪問時等が事前の取り決めに基づいて選択される。
提供される情報には、注意の喚起、新製品や代替製品の提案、ライフスタイルの変化に応じた各種の提案（例えばリフォームや引っ越し）等が含まれる。
情報の提供の仕方には、郵送物を用いる手法、メールを送信する手法、いわゆるスマートスピーカを通じてお知らせする手法、家庭内に設けたデジタルサイネージを通じてお知らせする手法、ウェブ画面に広告を掲載する手法等がある。スマートスピーカには、無線通信機能、音声アシスタント機能、音再生機能等が内蔵されている。
情報の提供は、緊急性の度合いに応じて、即時、次回の連絡時や訪問時等が事前の取り決めに基づいて選択される。
【0051】
図９は、行動検証サーバ８００による検証結果の出力例を説明する図である。
図９には、１４種類の出力例が示されている。勿論、これらは出力例の一部である。
・例１
出力例の１つには、指定された物品又は行動又は人に関連する行動データの出力がある。これらのうちの複数を組み合わせて指定してもよい。
出力の形式には、個人別、世帯別、年代別、性別、物品別、行動別のいずれも可能である。
行動検証サーバ８００は、行動データ６２０を抽出の対象とするため、従前の手法では可視化されていない行動も含めた抽出結果を短時間のうちに抽出することができる。
例えば日常生活での物品の具体的な使われ方を、個人、世帯、年代、性別等を単位として可視化できる。
また例えば特定の行動に使用される物品に関する情報を、個人、世帯、年代、性別等を単位として可視化できる。
また例えば特定の人や世帯、年代や性別を単位として、物品の使われ方を可視化することができる。
また例えば公共の場所に設置された遊具や備品の使われ方に関する行動データ６２０を可視化できる。
図９には、１４種類の出力例が示されている。勿論、これらは出力例の一部である。
・例１
出力例の１つには、指定された物品又は行動又は人に関連する行動データの出力がある。これらのうちの複数を組み合わせて指定してもよい。
出力の形式には、個人別、世帯別、年代別、性別、物品別、行動別のいずれも可能である。
行動検証サーバ８００は、行動データ６２０を抽出の対象とするため、従前の手法では可視化されていない行動も含めた抽出結果を短時間のうちに抽出することができる。
例えば日常生活での物品の具体的な使われ方を、個人、世帯、年代、性別等を単位として可視化できる。
また例えば特定の行動に使用される物品に関する情報を、個人、世帯、年代、性別等を単位として可視化できる。
また例えば特定の人や世帯、年代や性別を単位として、物品の使われ方を可視化することができる。
また例えば公共の場所に設置された遊具や備品の使われ方に関する行動データ６２０を可視化できる。
【0052】
・例２
出力例の１つには、指定した物品の特定の機能や部位の使用に関する情報の出力がある。
例えばエアコンの除湿機能がどのような頻度で使用されるか、どのようなタイミングで使用されるか、どの年代で使用されるか、男性と女性のどちらで使用されるか、使用の頻度の高い個人や世帯はどこか、使用の頻度の高い部屋はどこか、使用の頻度の高い地域はどこか等の情報を短時間のうちに抽出することができる。
例えばガスコンロのグリルがどのような頻度で使用されるか、どのようなタイミングで使用されるか、どの年代で使用されるか、男性と女性のどちらで使用されるか、どのような調理に使用されるか、使用の頻度の高い個人や世帯はどこか、使用の頻度の高い地域はどこか等の情報を短時間のうちに出力できる。
例えば浴室でシャワーがどのような頻度で使用されるか、どのようなタイミングで使用されるか、どの年代で使用されるか、男性と女性のどちらで使用されるか、体のどの部位に使用されるか、使用の頻度の高い個人や世帯はどこか、使用の頻度の高い地域はどこか等の情報を短時間のうちに抽出することができる。また、石鹸、シャンプー等についても使用の頻度や交換の頻度等の情報を短時間のうちに抽出することができる。
出力例の１つには、指定した物品の特定の機能や部位の使用に関する情報の出力がある。
例えばエアコンの除湿機能がどのような頻度で使用されるか、どのようなタイミングで使用されるか、どの年代で使用されるか、男性と女性のどちらで使用されるか、使用の頻度の高い個人や世帯はどこか、使用の頻度の高い部屋はどこか、使用の頻度の高い地域はどこか等の情報を短時間のうちに抽出することができる。
例えばガスコンロのグリルがどのような頻度で使用されるか、どのようなタイミングで使用されるか、どの年代で使用されるか、男性と女性のどちらで使用されるか、どのような調理に使用されるか、使用の頻度の高い個人や世帯はどこか、使用の頻度の高い地域はどこか等の情報を短時間のうちに出力できる。
例えば浴室でシャワーがどのような頻度で使用されるか、どのようなタイミングで使用されるか、どの年代で使用されるか、男性と女性のどちらで使用されるか、体のどの部位に使用されるか、使用の頻度の高い個人や世帯はどこか、使用の頻度の高い地域はどこか等の情報を短時間のうちに抽出することができる。また、石鹸、シャンプー等についても使用の頻度や交換の頻度等の情報を短時間のうちに抽出することができる。
【0053】
・例３
出力例の１つには、出現頻度の高い行動の出力がある。
出力の形式には、個人別、世帯別、年代別、性別、物品別のいずれも可能である。
行動検証サーバ８００は、行動データ６２０を抽出の対象とするため、従前の手法では可視化されていない行動も含めた抽出結果を短時間のうちに出力できる。
この種の情報は、個人、世帯、年代、性別に応じたサービスや製品の開発にも利用できる。
出力例の１つには、出現頻度の高い行動の出力がある。
出力の形式には、個人別、世帯別、年代別、性別、物品別のいずれも可能である。
行動検証サーバ８００は、行動データ６２０を抽出の対象とするため、従前の手法では可視化されていない行動も含めた抽出結果を短時間のうちに出力できる。
この種の情報は、個人、世帯、年代、性別に応じたサービスや製品の開発にも利用できる。
【0054】
・例４
出力例の１つには、指定した物品の使用の場所の出力がある。
出力の形式には、個人別、世帯別、年代別、性別のいずれも可能である。
行動検証サーバ８００は、行動データ６２０を抽出の対象とするため、従前の手法では可視化されていない行動も含めた抽出結果を短時間のうちに出力できる。
例えば歯ブラシ、シェーバー、ドライヤー等について想定外の場所での使用を知ることができる。
この種の情報は、個人、世帯、年代、性別に応じたサービスや製品の開発にも利用できる。
出力例の１つには、指定した物品の使用の場所の出力がある。
出力の形式には、個人別、世帯別、年代別、性別のいずれも可能である。
行動検証サーバ８００は、行動データ６２０を抽出の対象とするため、従前の手法では可視化されていない行動も含めた抽出結果を短時間のうちに出力できる。
例えば歯ブラシ、シェーバー、ドライヤー等について想定外の場所での使用を知ることができる。
この種の情報は、個人、世帯、年代、性別に応じたサービスや製品の開発にも利用できる。
【0055】
・例５
出力例の１つには、指定した物品の使用のタイミングの出力がある。
出力の形式には、個人別、世帯別、年代別、性別のいずれも可能である。
行動検証サーバ８００は、行動データ６２０を抽出の対象とするため、従前の手法では可視化されていない行動も含めた抽出結果を短時間のうちに出力できる。
例えば歯ブラシ、シェーバー、ドライヤー等をどのようなタイミングで使用するかを知ることができる。
この種の情報は、個人、世帯、年代、性別に応じたサービスや製品の開発にも利用できる。
出力例の１つには、指定した物品の使用のタイミングの出力がある。
出力の形式には、個人別、世帯別、年代別、性別のいずれも可能である。
行動検証サーバ８００は、行動データ６２０を抽出の対象とするため、従前の手法では可視化されていない行動も含めた抽出結果を短時間のうちに出力できる。
例えば歯ブラシ、シェーバー、ドライヤー等をどのようなタイミングで使用するかを知ることができる。
この種の情報は、個人、世帯、年代、性別に応じたサービスや製品の開発にも利用できる。
【0056】
・例６
出力例の１つには、指定した物品の使用の仕方の出力がある。
出力の形式には、個人別、世帯別、年代別、性別のいずれも可能である。
行動検証サーバ８００は、行動データ６２０を抽出の対象とするため、従前の手法では可視化されていない行動も含めた抽出結果を短時間のうちに出力できる。
例えば特定の用途での使用が想定される器具や道具が他の用途で使われていることも抽出できる。特に、通信機能を有しない物品の使い方を知ることができる。
また例えば指定した物品が乱暴に使われているか、想定外の体の部位で使われているか等の情報も知ることができる。
なお、物品の使用の仕方（使い方）は、行動データ６２０として記録されている場合と複数の行動データ６２０から推定される場合がある。
また、抽出された又は推定された物品の使用の仕方（使い方）に適した物品やサービスを他のデータベースから検索して対象者に提案してもよい。例えば現在の物品よりも丈夫な物品や補強のサービスを提案に用いてもよい。
また、特定の物品に限らず、複数の物品の使用の仕方（使い方）から個人や世帯に特有の生活のパターン（又は傾向）を推定し、推定された生活のパターンに適した物品やサービスを他のデータベースから検索して対象者に提案してもよい。例えば現在の物品よりも丈夫な物品や補強のサービスを提案に用いてもよい。
出力例の１つには、指定した物品の使用の仕方の出力がある。
出力の形式には、個人別、世帯別、年代別、性別のいずれも可能である。
行動検証サーバ８００は、行動データ６２０を抽出の対象とするため、従前の手法では可視化されていない行動も含めた抽出結果を短時間のうちに出力できる。
例えば特定の用途での使用が想定される器具や道具が他の用途で使われていることも抽出できる。特に、通信機能を有しない物品の使い方を知ることができる。
また例えば指定した物品が乱暴に使われているか、想定外の体の部位で使われているか等の情報も知ることができる。
なお、物品の使用の仕方（使い方）は、行動データ６２０として記録されている場合と複数の行動データ６２０から推定される場合がある。
また、抽出された又は推定された物品の使用の仕方（使い方）に適した物品やサービスを他のデータベースから検索して対象者に提案してもよい。例えば現在の物品よりも丈夫な物品や補強のサービスを提案に用いてもよい。
また、特定の物品に限らず、複数の物品の使用の仕方（使い方）から個人や世帯に特有の生活のパターン（又は傾向）を推定し、推定された生活のパターンに適した物品やサービスを他のデータベースから検索して対象者に提案してもよい。例えば現在の物品よりも丈夫な物品や補強のサービスを提案に用いてもよい。
【0057】
・例７
出力例の１つには、行動の原因がある。
出力の形式には、個人別、世帯別、年代別、性別のいずれも可能である。
行動検証サーバ８００は、行動データ６２０を抽出の対象とするため、従前の手法では可視化されていない行動も含めた抽出結果を短時間のうちに出力できる。
行動データ６２０には、解析に使用した動画像データ６１０の時間が含まれるため、その前の時間帯の動作や行動が実行されたときの環境についての情報も抽出することができる。このため、それらの情報を人工知能に与えることにより、行動の原因を推定して出力させることもできる。
例えばＩｏＴデバイス３４０（図３参照）の操作データでは、操作の内容を知ることはできても、原因については知ることができないが、行動データ６２０を用いることにより、行動の原因を推定することが可能になる。
出力例の１つには、行動の原因がある。
出力の形式には、個人別、世帯別、年代別、性別のいずれも可能である。
行動検証サーバ８００は、行動データ６２０を抽出の対象とするため、従前の手法では可視化されていない行動も含めた抽出結果を短時間のうちに出力できる。
行動データ６２０には、解析に使用した動画像データ６１０の時間が含まれるため、その前の時間帯の動作や行動が実行されたときの環境についての情報も抽出することができる。このため、それらの情報を人工知能に与えることにより、行動の原因を推定して出力させることもできる。
例えばＩｏＴデバイス３４０（図３参照）の操作データでは、操作の内容を知ることはできても、原因については知ることができないが、行動データ６２０を用いることにより、行動の原因を推定することが可能になる。
【0058】
・例８、９
出力例の１つには、故障が予測される時期や故障の原因がある。
行動検証サーバ８００は、行動データ６２０を抽出の対象とするため、個々の物品の使用の頻度、使用時間、使用の仕方等についての具体的な情報を取得することができる。特に、通信機能を有しない物品についての故障の時期や故障の原因を予測することが可能になる。
行動データ６２０には、解析に使用した動画像データ６１０の時間が含まれるため、例えば紐付けられている動画像データ６１０を抽出して分析することにより、故障の原因になりそうな行動を含めて評価することができる。
ここでの分析の結果には、故障が生じた個人（世帯）に共通する又は頻度の高い操作の仕方、扱い方等が含まれる。
このため、単純に使用頻度や使用時間だけでは推定が難しい具体的な故障の時期や故障の原因を推定することができる。
また、故障が多く発生する個人や世帯を対象として、故障の原因となる行動や行動の傾向を推定することもできる。
また、将来の不具合（故障）の予想に基づいて、新製品や代替品を提案することができる。また、将来の故障に備えて点検サービスを提案することもできる。
出力例の１つには、故障が予測される時期や故障の原因がある。
行動検証サーバ８００は、行動データ６２０を抽出の対象とするため、個々の物品の使用の頻度、使用時間、使用の仕方等についての具体的な情報を取得することができる。特に、通信機能を有しない物品についての故障の時期や故障の原因を予測することが可能になる。
行動データ６２０には、解析に使用した動画像データ６１０の時間が含まれるため、例えば紐付けられている動画像データ６１０を抽出して分析することにより、故障の原因になりそうな行動を含めて評価することができる。
ここでの分析の結果には、故障が生じた個人（世帯）に共通する又は頻度の高い操作の仕方、扱い方等が含まれる。
このため、単純に使用頻度や使用時間だけでは推定が難しい具体的な故障の時期や故障の原因を推定することができる。
また、故障が多く発生する個人や世帯を対象として、故障の原因となる行動や行動の傾向を推定することもできる。
また、将来の不具合（故障）の予想に基づいて、新製品や代替品を提案することができる。また、将来の故障に備えて点検サービスを提案することもできる。
【0059】
・例１０
出力例の１つには、行動と環境との関係がある。
出力の形式には、個人別、世帯別、年代別、性別のいずれも可能である。
行動検証サーバ８００は、行動データ６２０を抽出の対象とするため、従前の手法では可視化されていない行動も含めた抽出結果を短時間のうちに出力できる。
具体的には、特定の行動とその行動が行われた環境の情報も抽出することができる。このため、それらの情報を人工知能に与えることにより、従前には知られていなかった関係を推定して出力させることもできる。
出力例の１つには、行動と環境との関係がある。
出力の形式には、個人別、世帯別、年代別、性別のいずれも可能である。
行動検証サーバ８００は、行動データ６２０を抽出の対象とするため、従前の手法では可視化されていない行動も含めた抽出結果を短時間のうちに出力できる。
具体的には、特定の行動とその行動が行われた環境の情報も抽出することができる。このため、それらの情報を人工知能に与えることにより、従前には知られていなかった関係を推定して出力させることもできる。
【0060】
・例１１、１２、１３、１４
出力例の１つには、特徴的な行動をしている人の出力がある。
この種の例には、例えば物品の不具合がある場合に特徴的な行動の出力がある。例えば包丁の切れ味が悪い場合（例１１）やガスコンロの着火が悪い場合（例１２）には、行動データ６２０から推定が可能である。例えば同様の行動が何度も抽出される場合には、物品に不具合が生じていると推定される。
他に、この種の例には、動作の前に体を支える場合（例１３）や推奨されない行動（例１４）がある。
いずれについても、出力の形式には、個人別、世帯別のいずれも可能である。
出力例の１つには、特徴的な行動をしている人の出力がある。
この種の例には、例えば物品の不具合がある場合に特徴的な行動の出力がある。例えば包丁の切れ味が悪い場合（例１１）やガスコンロの着火が悪い場合（例１２）には、行動データ６２０から推定が可能である。例えば同様の行動が何度も抽出される場合には、物品に不具合が生じていると推定される。
他に、この種の例には、動作の前に体を支える場合（例１３）や推奨されない行動（例１４）がある。
いずれについても、出力の形式には、個人別、世帯別のいずれも可能である。
【0061】
行動検証サーバ８００は、行動データ６２０を抽出の対象とするため、従前の手法では可視化されていない行動も含めた抽出結果を短時間のうちに出力できる。
例えば切れ味が悪い包丁を使っている人に対しては新製品や代替品を提案することができる。また、砥石や研ぎ器の提案や包丁を研ぐサービスの提案も可能である。なお、ハサミについても新製品や代替品の紹介が可能である。
また、着火が悪いガスコンロを使っている人に対しては修理や訪問サービス、新製品や代替品を紹介することができる。
また、行動の前に体を支えている人に対してはリフォーム（例えば手すりの設置）や住替えを提案することができる。
また、推奨されない行動をしている人に対しては、使い方に対する注意を喚起したり、使い方教室への参加を提案したりできる。これにより、故障の低減、怪我の軽減を図ることができる。
例えば切れ味が悪い包丁を使っている人に対しては新製品や代替品を提案することができる。また、砥石や研ぎ器の提案や包丁を研ぐサービスの提案も可能である。なお、ハサミについても新製品や代替品の紹介が可能である。
また、着火が悪いガスコンロを使っている人に対しては修理や訪問サービス、新製品や代替品を紹介することができる。
また、行動の前に体を支えている人に対してはリフォーム（例えば手すりの設置）や住替えを提案することができる。
また、推奨されない行動をしている人に対しては、使い方に対する注意を喚起したり、使い方教室への参加を提案したりできる。これにより、故障の低減、怪我の軽減を図ることができる。
【0062】
＜他の実施の形態＞
以上、本発明の実施の形態について説明したが、本発明の技術的範囲は上述の実施の形態に記載の範囲に限定されない。上述の実施の形態に、種々の変更又は改良を加えたものも、本発明の技術的範囲に含まれることは、特許請求の範囲の記載から明らかである。
例えば前述の実施の形態では、マーケティング支援システム１００（図１参照）として、カメラ３３０で撮像された動画像データ６１０（図１参照）を未加工のままデータセンタ６００（図１参照）に蓄積しているが、未加工の動画像データ６１０（図１参照）の蓄積を望まない人も予想される。
以上、本発明の実施の形態について説明したが、本発明の技術的範囲は上述の実施の形態に記載の範囲に限定されない。上述の実施の形態に、種々の変更又は改良を加えたものも、本発明の技術的範囲に含まれることは、特許請求の範囲の記載から明らかである。
例えば前述の実施の形態では、マーケティング支援システム１００（図１参照）として、カメラ３３０で撮像された動画像データ６１０（図１参照）を未加工のままデータセンタ６００（図１参照）に蓄積しているが、未加工の動画像データ６１０（図１参照）の蓄積を望まない人も予想される。
【0063】
図１０は、住宅３００からネットワーク２００に送信する前に動画像データ６１０を秘匿化する機能を備える通信設備の例を説明する図である。図１０には、図３との対応部分に対応する符号を付して示している。
図１０に示す設備に特有の構成は、動画像データ６１０を秘匿化して通信装置３５０に出力する秘匿化装置３７０が設けられる点である。
本実施の形態の場合、秘匿化とは、個人を特定する情報に加工を加えることをいう。秘匿化には、例えば頭部、胴部などの体の部位を選択的に他の画像に置換する処理の他、全身を他の画像に置換する処理を含む。ここでの置換には、２次元画像への置換、３次元画像への置換が含まれる。なお、置換には、人の領域を塗りつぶす処理も含まれる。
図１０に示す設備に特有の構成は、動画像データ６１０を秘匿化して通信装置３５０に出力する秘匿化装置３７０が設けられる点である。
本実施の形態の場合、秘匿化とは、個人を特定する情報に加工を加えることをいう。秘匿化には、例えば頭部、胴部などの体の部位を選択的に他の画像に置換する処理の他、全身を他の画像に置換する処理を含む。ここでの置換には、２次元画像への置換、３次元画像への置換が含まれる。なお、置換には、人の領域を塗りつぶす処理も含まれる。
【0064】
ただし、本実施の形態の場合、個人の特定に限らず、年代や性別の特定も重要である。従って、本実施の形態における秘匿化装置３７０は、秘匿化処理を実行する前に、個人、年代、性別などを画像認識し、秘匿化された領域に対して個人を区別する符号、年代、性別等の情報を付加することが望ましい。
この他、動画像データ６１０を住宅３００やマンション４００の専有部分４１０に蓄積する構成としてもよい。
また、行動データ生成サーバ７００の機能を、住宅３００やマンション４００の専有部分４１０に蓄積する構成としてもよい。
この他、動画像データ６１０を住宅３００やマンション４００の専有部分４１０に蓄積する構成としてもよい。
また、行動データ生成サーバ７００の機能を、住宅３００やマンション４００の専有部分４１０に蓄積する構成としてもよい。
【符号の説明】
【0065】
１００…マーケティング支援システム、２００…ネットワーク、３００…住宅、３１０、３１０Ａ～３１０Ｉ…間取り、３２０、３２０Ａ～３２０Ｄ…人、３３０、３３０Ａ、３３０Ｂ…カメラ、３４０…ＩｏＴデバイス、３５０…通信装置、３６０…コーヒーメーカ、３７０…秘匿化装置、４００…マンション、４１０…専有部分、５００…監視カメラ、６００…データセンタ、６１０…動画像データ、６２０…行動データ、７００…行動データ生成サーバ、７１０…操作データ取得部、７２０…環境データ取得部、７３０…人推定部、７４０…行動及び物品抽出部、７５０…行動データ生成部、８００…行動検証サーバ、８１０…抽出条件取得部、８２０…動画像データ解析部、８３０…抽出実行部、８４０…抽出結果出力部、８５０…情報提供部
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
