特許 7363685 情報処理装置、情報処理システム、プログラム及び情報処理方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-10-10

(45)【発行日】2023-10-18

(54)【発明の名称】情報処理装置、情報処理システム、プログラム及び情報処理方法

(51)【国際特許分類】

   G06Q 50/10 20120101AFI20231011BHJP

【ＦＩ】

G06Q50/10

【請求項の数】 13

(21)【出願番号】P 2020114477

(22)【出願日】2020-07-01

(65)【公開番号】P2022012560

(43)【公開日】2022-01-17

【審査請求日】2022-06-22

(73)【特許権者】

【識別番号】000003207

【氏名又は名称】トヨタ自動車株式会社

(74)【代理人】

【識別番号】100147485

【弁理士】

【氏名又は名称】杉村 憲司

(74)【代理人】

【識別番号】230118913

【弁護士】

【氏名又は名称】杉村 光嗣

(74)【代理人】

【識別番号】100169823

【弁理士】

【氏名又は名称】吉澤 雄郎

(74)【代理人】

【識別番号】100176728

【弁理士】

【氏名又は名称】北村 慎吾

(72)【発明者】

【氏名】駒嶺 聡史

(72)【発明者】

【氏名】長谷川 英男

【審査官】樋口 龍弥

(56)【参考文献】

【文献】特開２０１８－０４５５４５（ＪＰ，Ａ）

【文献】特開２０２０－０２７３８８（ＪＰ，Ａ）

【文献】特表２０１７－５１０００７（ＪＰ，Ａ）

【文献】村山 大騎，分類手法に応じた他者を怒らせる問題発言抽出パターンの特徴に関する分析，情報処理学会 論文誌（ジャーナル），日本，情報処理学会，2018年02月15日，第59巻 第2号，p.429-441

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｑ １０／００ － ９９／００

(57)【特許請求の範囲】

【請求項1】

複数のユーザの行動データを取得し、
取得した前記行動データから、前記複数のユーザの間の関係性が悪化したことを示す行動データである特有行動を抽出し、
前記特有行動の前に取得された行動データのうち前記特有行動と関連づけられる行動データを少なくとも１つ含む原因パターンを特定し、
前記原因パターンに含まれる行動データを取得すると、前記複数のユーザの間の関係性が悪化することを回避することを推奨するメッセージを生成し、
生成した前記メッセージを、前記複数のユーザの双方が感知可能な情報を出力可能な出力装置に出力させる、制御部、
を備える、情報処理装置。

【請求項2】

請求項１に記載の情報処理装置において、
前記原因パターンは、複数の行動データの組合せを含む、情報処理装置。

【請求項3】

請求項２に記載の情報処理装置において、
前記複数の行動データの組合せは、順番に依存する、情報処理装置。

【請求項4】

請求項１から３のいずれか一項に記載の情報処理装置において、
前記行動データは、前記ユーザを撮影した画像データ、前記ユーザの会話の音声を検出した音声データ、及び、前記ユーザが投稿したＳＮＳデータの少なくともいずれか１つを含む、情報処理装置。

【請求項5】

請求項１から４のいずれか一項に記載の情報処理装置と、
前記行動データを検出するためのカメラ及び音声入力装置の少なくともいずれか一方と、を備える情報処理システム。

【請求項6】

複数のユーザの行動データを取得することと、
取得した前記行動データから、前記複数のユーザの間の関係性が悪化したことを示す行動データである特有行動を抽出することと、
前記特有行動の前に取得された行動データのうち前記特有行動と関連づけられる行動データを少なくとも１つ含む原因パターンを特定することと、
前記原因パターンに含まれる行動データを取得すると、前記複数のユーザの間の関係性が悪化することを回避することを推奨するメッセージを生成することと、
生成した前記メッセージを、前記複数のユーザの双方が感知可能な情報を出力可能な出力装置に出力させることと、
を含む動作をコンピュータに実行させる、プログラム。

【請求項7】

請求項６に記載のプログラムにおいて、
前記原因パターンは、複数の行動データの組合せを含む、プログラム。

【請求項8】

請求項７に記載のプログラムにおいて、
前記複数の行動データの組合せは、順番に依存する、プログラム。

【請求項9】

請求項６から８のいずれか一項に記載のプログラムにおいて、
前記行動データは、前記ユーザを撮影した画像データ、前記ユーザの会話の音声を検出した音声データ、及び、前記ユーザが投稿したＳＮＳデータの少なくともいずれか１つを含む、プログラム。

【請求項10】

情報処理装置における情報処理方法であって、
複数のユーザの行動データを取得することと、
取得した前記行動データから、前記複数のユーザの間の関係性が悪化したことを示す行動データである特有行動を抽出することと、
前記特有行動の前に取得された行動データのうち前記特有行動と関連づけられる行動データを少なくとも１つ含む原因パターンを特定することと、
前記原因パターンに含まれる行動データを取得すると、前記複数のユーザの間の関係性が悪化することを回避することを推奨するメッセージを生成することと、
生成した前記メッセージを、前記複数のユーザの双方が感知可能な情報を出力可能な出力装置に出力させることと、
を含む、情報処理方法。

【請求項11】

請求項１０に記載の情報処理方法において、
前記原因パターンは、複数の行動データの組合せを含む、情報処理方法。

【請求項12】

請求項１１に記載の情報処理方法において、
前記複数の行動データの組合せは、順番に依存する、情報処理方法。

【請求項13】

請求項１０から１２のいずれか一項に記載の情報処理方法において、
前記行動データは、前記ユーザを撮影した画像データ、前記ユーザの会話の音声を検出した音声データ、及び、前記ユーザが投稿したＳＮＳデータの少なくともいずれか１つを含む、情報処理方法。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、情報処理装置、情報処理システム、プログラム及び情報処理方法に関する。

【背景技術】

【0002】

カメラで撮影された動画などの画像に基づいて、撮影された人物の行動を検出する技術が知られている。

【0003】

特許文献１は、ゲート内に設置されたカメラによってゲートを通過した対象者を撮影し、撮影画像に基づいて検出された対象者の行動が危険行動であるか否かを判定する技術を開示している。

【先行技術文献】

【特許文献】

【0004】

【文献】特開２０１１－３４３５７号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

例えば、同一の住居に居住している複数のユーザの関係性が悪化する原因となる行動を、カメラで撮影された画像などに基づいて特定できると、複数のユーザの関係性が悪化することを事前に回避できる可能性があるため有用である。

【0006】

本開示の目的は、複数のユーザの間の関係性の悪化につながる行動を特定することである。

【課題を解決するための手段】

【0007】

本開示に係る情報処理装置は、
複数のユーザの行動データを取得し、
取得した前記行動データから、前記複数のユーザの間の関係性が悪化したことを示す行動データである特有行動を抽出し、
前記特有行動の前に取得された行動データのうち前記特有行動と関連づけられる行動データを少なくとも１つ含む原因パターンを特定する、制御部、
を備える。

【0008】

本開示に係るプログラムは、
複数のユーザの行動データを取得することと、
取得した前記行動データから、前記複数のユーザの間の関係性が悪化したことを示す行動データである特有行動を抽出することと、
前記特有行動の前に取得された行動データのうち前記特有行動と関連づけられる行動データを少なくとも１つ含む原因パターンを特定することと、
を含む動作をコンピュータに実行させる。

【0009】

本開示に係る情報処理方法は、
情報処理装置における情報処理方法であって、
複数のユーザの行動データを取得することと、
取得した前記行動データから、前記複数のユーザの間の関係性が悪化したことを示す行動データである特有行動を抽出することと、
前記特有行動の前に取得された行動データのうち前記特有行動と関連づけられる行動データを少なくとも１つ含む原因パターンを特定することと、
を含む。

【発明の効果】

【0010】

本開示によれば、複数のユーザの間の関係性の悪化につながる行動を特定することができる。

【図面の簡単な説明】

【0011】

【図1】本開示の実施形態に係る情報処理システムの構成を示す図である。

【図2】本開示の実施形態に係る情報処理装置の構成を示すブロック図である。

【図3】本開示の実施形態に係る端末装置の構成を示すブロック図である。

【図4】原因パターンの一例を示す図である。

【図5】推奨メッセージの一例を示す図である。

【図6】本開示の実施形態に係る情報処理システムの動作を示すフローチャートである。

【図7】本開示の実施形態に係る情報処理システムの動作を示すフローチャートである。

【発明を実施するための形態】

【0012】

以下、本開示の実施形態について図面を参照して説明する。

【0013】

図１は、本開示の実施形態に係る情報処理システム１の構成を示す図である。図１を参照して、本開示の実施形態に係る情報処理システム１の構成及び概要を説明する。

【0014】

情報処理システム１は、情報処理装置１０と、端末装置２０Ａと、端末装置２０Ｂと、カメラ３０と、音声入力装置４０と、出力装置５０とを備える。情報処理装置１０と、端末装置２０Ａと、端末装置２０Ｂと、カメラ３０と、音声入力装置４０と、出力装置５０とは、ネットワーク６０を介して通信可能に接続されている。ネットワーク６０は移動体通信網及びインターネットなどを含むネットワークであってよい。

【0015】

図１に示すように、カメラ３０、音声入力装置４０及び出力装置５０は、住居２に設置されている。なお、本実施形態においては、建物の一例として、住居２を例に挙げて説明しているが、住居２は他の種類の建物であってもよい。例えば、住居２は、店舗及び事務所などのような他の用途で用いられる建物であってもよい。

【0016】

また、本実施形態においては、一例としてユーザＡ及びユーザＢが住居２の中にいるものとして説明する。端末装置２０Ａは、住居２の中にいるユーザＡが所有している端末装置である。端末装置２０Ｂは、住居２の中にいるユーザＢが所有している端末装置である。以後の説明において、端末装置２０Ａ及び端末装置２０Ｂを特に区別する必要がない場合は、単に「端末装置２０」と称して説明する場合がある。また、ユーザＡ及びユーザＢを特に区別する必要がない場合は、単に「ユーザ」と称して説明する場合がある。

【0017】

図１では、情報処理装置１０、カメラ３０、音声入力装置４０及び出力装置５０をそれぞれ１台ずつ示しているが、情報処理装置１０、カメラ３０、音声入力装置４０及び出力装置５０は、それぞれ２台以上であってもよい。

【0018】

また、図１では、住居２の中にユーザＡ及びユーザＢの２人のユーザがいる場合を示しているが、住居２の中には任意の人数のユーザがいてよい。それぞれのユーザが端末装置２０を所有している場合、端末装置２０の台数は、ユーザの人数に対応する。

【0019】

情報処理装置１０は、例えば、サーバとして機能するように構成された専用のコンピュータである。情報処理装置１０は、汎用のＰＣ（Personal Computer）であってもよい。

【0020】

情報処理装置１０は、端末装置２０、カメラ３０、音声入力装置４０及び出力装置５０と、ネットワーク６０を介して通信可能である。

【0021】

情報処理装置１０は、端末装置２０、カメラ３０及び音声入力装置４０から、住居２の中にいる複数のユーザの行動データを取得する。行動データは、ユーザの行動に関するデータである。行動データは、ユーザを撮影した画像データ、ユーザの会話の音声を検出した音声データ、及び、ユーザが投稿したＳＮＳ（Social Networking Service）データの少なくともいずれか１つを含む。

【0022】

情報処理装置１０は、カメラ３０から、住居２の中にいるユーザをカメラ３０が撮影した画像データを取得する。画像データは、静止画像のデータであってもよいし、動画のデータであってもよい。

【0023】

情報処理装置１０は、音声入力装置４０から、住居２の中にいるユーザの会話を音声入力装置４０が検出した音声データを取得する。

【0024】

情報処理装置１０は、端末装置２０から、住居２の中にいるユーザが投稿したＳＮＳデータを取得する。あるいは、情報処理装置１０は、住居２の中にいるユーザが投稿したＳＮＳデータが保存されている外部サーバから、ユーザが投稿したＳＮＳデータを取得する。

【0025】

情報処理装置１０は、取得したユーザの行動データから、複数のユーザの間の関係性が悪化したことを示す特有行動を抽出する。以後の説明において、「特有行動」は、複数のユーザの間の関係性が悪化したことを示す行動を意味するものとする。特有行動は、例えば、複数のユーザの間で口論が発生していることを示す行動、及び、複数のユーザの間で喧嘩が発生していることを示す行動などである。

【0026】

情報処理装置１０は、様々な基準で、取得したユーザの行動データが特有行動であると判定し、特有行動を抽出してよい。情報処理装置１０は、例えば、音声データを含む行動データが相手を強く罵っている可能性が高い単語を含んでいることを検出した場合、複数のユーザの間で口論が発生していると判定し、当該行動データを特有行動であると判定してよい。

【0027】

情報処理装置１０は、特有行動を抽出すると、特有行動の前に取得された行動データのうち特有行動と関連づけられる行動パターンの組合せを含む原因パターンを特定する。原因パターンは、複数の行動パターンの組合せを含んでよい。情報処理装置１０は、原因パターンを特定する度に、特定した原因パターンを保存する。

【0028】

情報処理装置１０は、以前に保存された原因パターンに含まれている行動データに対応する行動データを取得すると、複数のユーザの間の関係性が悪化することを回避すること、すなわち、特有行動につながることを回避することを推奨するメッセージを生成する。以後の説明において、特有行動につながることを回避することを推奨するメッセージを「推奨メッセージ」と称して説明する場合がある。

【0029】

情報処理装置１０は、生成した推奨メッセージを、端末装置２０Ａ及び端末装置２０Ｂのいずれかに送信して、端末装置２０Ａ及び端末装置２０Ｂのいずれかに出力させる。情報処理装置１０は、生成した推奨メッセージを、端末装置２０Ａ及び端末装置２０Ｂの双方に送信して、端末装置２０Ａ及び端末装置２０Ｂの双方に出力させてもよい。情報処理装置１０は、生成した推奨メッセージを、出力装置５０に送信して、出力装置５０に出力させてもよい。

【0030】

端末装置２０は、情報処理装置１０とネットワーク６０を介して通信可能である。端末装置２０は、住居２の中にいるユーザが所有している端末装置である。端末装置２０は、情報処理装置１０から、推奨メッセージを受信する。端末装置２０は、受信した推奨メッセージを出力する。端末装置２０は、推奨メッセージを音声として出力してよい。端末装置２０は、推奨メッセージを画像として出力してよい。端末装置２０は、推奨メッセージを出力する前に振動して、ユーザの注意を端末装置２０に向けさせてもよい。端末装置２０は、例えば、スマートフォン又はタブレットなどであってよい。

【0031】

カメラ３０は、情報処理装置１０とネットワーク６０を介して通信可能である。カメラ３０は、住居２の中にいるユーザを常時撮影している。カメラ３０は、撮影した画像データを情報処理装置１０に送信する。

【0032】

音声入力装置４０は、情報処理装置１０とネットワーク６０を介して通信可能である。音声入力装置４０は、住居２の中にいるユーザの会話を常時検出している。音声入力装置４０は、検出した音声データを情報処理装置１０に送信する。音声入力装置４０は、例えば、マイクであってよい。

【0033】

出力装置５０は、情報処理装置１０とネットワーク６０を介して通信可能である。出力装置５０は、情報処理装置１０から、推奨メッセージを受信する。出力装置５０は、受信した推奨メッセージを出力する。出力装置５０は、スピーカ及びディスプレイの少なくともいずれか一方含む。出力装置５０は、推奨メッセージを音声として出力してよい。出力装置５０は、推奨メッセージを画像として出力してよい。出力装置５０は、住居２の中にいる複数のユーザの双方が感知可能な情報として、音声及び画像などを出力可能である。

【0034】

図２を参照して、本開示の実施形態に係る情報処理装置１０の構成を説明する。

【0035】

情報処理装置１０は、通信部１１と、記憶部１２と、入力部１３と、出力部１４と、制御部１５とを備える。

【0036】

通信部１１は、ネットワーク６０に接続する通信モジュールを含む。例えば、通信部１１は、ＬＡＮ（Local Area Network）に対応する通信モジュールを含んでもよい。一実施形態において、情報処理装置１０は、通信部１１を介してネットワーク６０に接続されている。通信部１１は、ネットワーク６０を介して多様な情報を送信及び受信する。通信部１１は、ネットワーク６０を介して、端末装置２０、カメラ３０、音声入力装置４０及び出力装置５０と通信可能である。

【0037】

記憶部１２は、例えば半導体メモリ、磁気メモリ、又は光メモリ等であるが、これらに限定されない。記憶部１２は、例えば主記憶装置、補助記憶装置、又はキャッシュメモリとして機能してもよい。記憶部１２は、情報処理装置１０の動作に用いられる任意の情報を記憶する。例えば、記憶部１２は、システムプログラム、アプリケーションプログラム、及び通信部１１によって受信された各種情報等を記憶してもよい。記憶部１２に記憶された情報は、例えば通信部１１を介してネットワーク６０から受信される情報で更新可能であってもよい。記憶部１２の一部は、情報処理装置１０の外部に設置されていてもよい。その場合、外部に設置されている記憶部１２の一部は、任意のインタフェースを介して情報処理装置１０と接続されてよい。

【0038】

入力部１３は、ユーザ入力を検出して、ユーザの操作に基づく入力情報を取得する１つ以上の入力用インタフェースを含む。例えば、入力部１３は、物理キー、静電容量キー、出力部１４のディスプレイと一体的に設けられたタッチスクリーン、又は音声入力を受け付けるマイク等を含むが、これに限定されない。

【0039】

出力部１４は、情報を出力してユーザに通知する１つ以上の出力用インタフェースを含む。例えば、出力部１４は、情報を画像で出力するディスプレイ、又は情報を音声で出力するスピーカ等を含むが、これに限定されない。

【0040】

制御部１５は、少なくとも１つのプロセッサ、少なくとも１つの専用回路、又はこれらの組み合わせを含む。プロセッサは、ＣＰＵ（Central Processing Unit）若しくはＧＰＵ（Graphics Processing Unit）などの汎用プロセッサ、又は特定の処理に特化した専用プロセッサである。専用回路は、例えば、ＦＰＧＡ（Field-Programmable Gate Array）又はＡＳＩＣ（Application Specific Integrated Circuit）である。制御部１５は、情報処理装置１０の各部を制御しながら、情報処理装置１０の動作に関わる処理を実行する。

【0041】

図３を参照して、本開示の実施形態に係る端末装置２０の構成を説明する。

【0042】

端末装置２０は、通信部２１と、記憶部２２と、入力部２３と、出力部２４と、振動部２５と、制御部２６とを備える。

【0043】

通信部２１は、ネットワーク６０に接続する通信モジュールを含む。例えば、通信部２１は、ＬＴＥ、４Ｇ及び５Ｇ等の移動体通信規格に対応する通信モジュールを含んでもよい。一実施形態において、端末装置２０は、通信部２１を介してネットワーク６０に接続されている。通信部２１は、ネットワーク６０を介して多様な情報を送信及び受信する。通信部２１は、ネットワーク６０を介して、情報処理装置１０と通信可能である。

【0044】

記憶部２２は、例えば半導体メモリ、磁気メモリ、又は光メモリ等であるが、これらに限定されない。記憶部２２は、例えば主記憶装置、補助記憶装置、又はキャッシュメモリとして機能してもよい。記憶部２２は、端末装置２０の動作に用いられる任意の情報を記憶する。例えば、記憶部２２は、システムプログラム、アプリケーションプログラム、及び通信部２１によって受信された各種情報等を記憶してもよい。記憶部２２に記憶された情報は、例えば通信部２１を介してネットワーク６０から受信される情報で更新可能であってもよい。記憶部２２の一部は、端末装置２０の外部に設置されていてもよい。その場合、外部に設置されている記憶部２２の一部は、任意のインタフェースを介して端末装置２０と接続されてよい。

【0045】

入力部２３は、ユーザ入力を検出して、ユーザの操作に基づく入力情報を取得する１つ以上の入力用インタフェースを含む。例えば、入力部２３は、物理キー、静電容量キー、出力部２４のディスプレイと一体的に設けられたタッチスクリーン、又は音声入力を受け付けるマイク等であるが、これらに限定されない。

【0046】

出力部２４は、情報を出力してユーザに通知する１つ以上の出力用インタフェースを含む。例えば、出力部２４は、情報を画像で出力するディスプレイ、又は情報を音声で出力するスピーカ等を含むが、これに限定されない。

【0047】

振動部２５は、端末装置２０全体を振動させることが可能な振動機構を含む。振動部２５は、例えば、偏心おもり及びモータなどを含んでいてよい。

【0048】

制御部２６は、少なくとも１つのプロセッサ、少なくとも１つの専用回路、又はこれらの組み合わせを含む。プロセッサは、ＣＰＵ若しくはＧＰＵなどの汎用プロセッサ、又は特定の処理に特化した専用プロセッサである。専用回路は、例えば、ＦＰＧＡ又はＡＳＩＣである。制御部２６は、端末装置２０の各部を制御しながら、端末装置２０の動作に関わる処理を実行する。

【0049】

（情報処理システムの動作）
図１に示す情報処理システム１の動作を、図１～図３を参照して説明する。

【0050】

住居２に設置されているカメラ３０は、住居２の中にいるユーザを常時撮影している。カメラ３０は、撮影した画像データを、ユーザの行動データとして情報処理装置１０に送信する。

【0051】

住居２に設置されている音声入力装置４０は、住居２の中にいるユーザの会話を常時検出している。音声入力装置４０は、検出した音声データを、ユーザの行動データとして情報処理装置１０に送信する。

【0052】

住居２の中にいるユーザがＳＮＳデータを投稿すると、ユーザが所有している端末装置２０は、投稿されたＳＮＳデータを、ユーザの行動データとして情報処理装置１０に送信する。端末装置２０は、ＳＮＳデータを、ＳＮＳデータを管理している外部サーバに送信してもよい。

【0053】

情報処理装置１０の通信部１１は、カメラ３０が送信した画像データを、ユーザの行動データとして受信する。制御部１５は、カメラ３０が送信した画像データを、ユーザの行動データとして、通信部１１を介して取得する。制御部１５は、取得した画像データを解析して、どのユーザがどのような行動をしているかを認識する。制御部１５は、例えば、画像を解析して、ユーザＡがビールを飲んでいると認識する。

【0054】

通信部１１は、音声入力装置４０が送信した音声データを、ユーザの行動データとして受信する。制御部１５は、音声入力装置４０が送信した音声データを、ユーザの行動データとして、通信部１１を介して取得する。制御部１５は、取得した音声データを解析して、どのユーザがどのような会話をしたかを認識する。制御部１５は、例えば、ユーザＡがユーザＢに対して、洗濯を依頼する発言をしたと認識する。制御部１５は、どのユーザの発言であるかを認識する際、音声データの特徴によって認識してもよいし、その発言の際にカメラ３０から取得した画像データを解析することによって認識してもよい。

【0055】

通信部１１は、端末装置２０が送信したＳＮＳデータを、ユーザの行動データとして受信する。制御部１５は、端末装置２０が送信したＳＮＳデータを、ユーザの行動データとして、通信部１１を介して取得する。制御部１５は、取得したＳＮＳデータを解析して、どのユーザがどのようなコメントを投稿したかを認識する。制御部１５は、例えば、体調が良くないとのコメントをユーザＡが投稿したと認識する。

【0056】

＜特有行動の抽出及び原因パターンの特定＞
制御部１５は、カメラ３０及び音声入力装置４０などから取得した複数のユーザの行動データの中から、複数のユーザの間の関係性が悪化したことを示す特有行動を抽出する。制御部１５は、例えば、音声データを含む行動データが相手を強く罵っている可能性が高い単語を含んでいることを検出した場合、複数のユーザの間で口論が発生していると判定し、当該行動データを特有行動であると判定して抽出する。

【0057】

制御部１５は、特有行動を抽出すると、抽出された特有行動を取得する前に取得していた行動データを解析し、特有行動と関連づけることができる行動データの組合せを特定する。このようにして特定された、特有行動と関連づけることができる行動データの組合せを、本実施形態においては「原因パターン」と称する。

【0058】

制御部１５は、ある特定の特有行動の前に高い頻度で取得されている行動データの組合せがあると解析すると、当該行動データの組合せを原因パターンとして特定する。

【0059】

制御部１５は、例えば、ある行動データの組合せを取得した後に、特有行動が引き起こされる確率が所定の閾値以上である場合に、当該行動データの組合せを原因パターンとして特定してよい。所定の閾値は、例えば７０％などであってよい。

【0060】

図４に、原因パターンの一例を示す。図４に示す原因パターン１及び２は、「ユーザＡとユーザＢが口論している」という特有行動と関連づけられた原因パターンである。原因パターン１及び２は、それぞれ、３つの行動データの組合せを含む。

【0061】

原因パターン１は、以下の３つの行動データの組合せとなっている。
行動データ１：ユーザＡがゴミ出しを断る
行動データ２：ユーザＡが靴下を丸めたまま洗濯機に入れる
行動データ３：ユーザＢがビールを飲む

【0062】

原因パターン１は、制御部１５が上記３つの行動データ１～３を取得すると、その後に、「ユーザＡとユーザＢが口論している」という特有行動につながる可能性が高いことを示している。例えば、行動データ１及び行動データ２に対応する行動があっても、その後に行動データ３に対応する行動がなければ特有行動につながる可能性が低い場合がある。このような場合に、行動データ１～３の組合せを原因パターン１として特定することで、より正確に、ユーザの行動と特有行動とを関連づけることができる。

【0063】

原因パターン２は、以下の３つの行動データの組合せとなっている。
行動データ１：ユーザＡが洗濯を頼む
行動データ２：ユーザＡが食器洗いを頼む
行動データ３：ユーザＢが掃除を頼む

【0064】

原因パターン２は、制御部１５が上記３つの行動データ１～３を取得すると、その後に、「ユーザＡとユーザＢが口論している」という特有行動を引き起こす可能性が高いことを示している。例えば、行動データ１及び行動データ２に対応する行動があっても、その後に行動データ３に対応する行動がなければ特有行動につながる可能性が低い場合がある。このような場合に、行動データ１～３の組合せを原因パターン２として特定することで、より正確に、ユーザの行動と特有行動とを関連づけることができる。

【0065】

制御部１５は、特有行動と関連づけられる原因パターンを特定すると、特定した原因パターンを記憶部１２に保存する。

【0066】

制御部１５は、行動データの順番に依存するデータとして、原因パターンを記憶部１２に保存してもよいし、行動データの順番には依存しないデータとして、原因パターンを記憶部１２に保存してもよい。

【0067】

例えば、行動データの順番に依存するデータとして図４に示す原因パターン１が記憶部１２に保存されている場合、制御部１５は、行動データ１と行動データ３の順番が入れ替わった組合せは、特有行動を引き起こす可能性が低いと判定する。例えば、行動データの順番には依存しないデータとして図４に示す原因パターン１が記憶部１２に保存されている場合、制御部１５は、行動データ１～３のどの順番の組合せも、特有行動を引き起こす可能性が高いと判定する。

【0068】

制御部１５は、行動データを一般化した形式で、原因パターンを記憶部１２に保存してもよい。例えば、制御部１５は、図４に示す原因パターン２を記憶部１２に保存する際、「ユーザＡが家事の依頼を３回する」という形式で、記憶部１２に保存してよい。この場合、制御部１５は、ユーザＡが家事の依頼を３回すると、特有行動を引き起こす可能性が高いと判定する。

【0069】

制御部１５は、時間と関連づけて原因パターンを特定し、時間と関連づけた形式で、原因パターンを記憶部１２に保存してもよい。例えば、図４に原因パターン２として示した行動データ１～３の組合せが、所定の時間範囲内で行われたときに特有行動を引き起こす可能性が高い場合、行動データ１～３の組合せと、所定の時間範囲とを関連づけて原因パターンとして特定してもよい。

【0070】

＜推奨メッセージの生成及び出力＞
制御部１５は、行動データを取得すると、取得した行動データが、既に記憶部１２に保存されている原因パターンに含まれている行動データであるか否かを判定する。制御部１５は、取得した行動データが、既に記憶部１２に保存されている原因パターンに含まれていると判定すると、複数のユーザの間の関係性が悪化することを回避することを推奨するメッセージを生成する。

【0071】

制御部１５は、取得した行動データが、原因パターンに含まれている行動データの一部に該当した段階で、推奨メッセージを生成してよい。例えば、原因パターンが３つの行動データの組合せである場合、制御部１５は、そのうちの１つ又は２つの行動データを取得した段階で、推奨メッセージを生成してよい。

【0072】

あるいは、制御部１５は、原因パターンに含まれている複数の行動データを全て取得した段階で、推奨メッセージを生成してよい。例えば、原因パターンが３つの行動データの組合せである場合、制御部１５は、３つの行動データを全て取得した段階で、推奨メッセージを生成してよい。どの段階で推奨メッセージを生成するかは、例えば、設定値として設定可能であってよい。

【0073】

制御部１５は、生成した推奨メッセージを、通信部１１を介して端末装置２０に送信する。制御部１５は、生成した推奨メッセージを、例えば、原因パターンに含まれている行動データに該当する行動を行ったユーザが所有している端末装置２０に送信する。例えば、図４に示す原因パターン２にふくまれている行動データを取得した場合、制御部１５は、ユーザＡが所有している端末装置２０に推奨メッセージを送信する。

【0074】

端末装置２０の通信部２１は、情報処理装置１０が送信した推奨メッセージを受信する。制御部２６は、情報処理装置１０が送信した推奨メッセージを、通信部２１を介して取得する。

【0075】

制御部２６は、推奨メッセージを取得すると、振動部２５を制御して端末装置２０全体を振動させる。制御部２６は、端末装置２０を振動させることにより、端末装置２０のユーザが端末装置２０へ注意を向けることを促すことができる。

【0076】

制御部２６は、推奨メッセージを出力部２４に出力させる。制御部２６は、推奨メッセージを、画像として出力部２４に表示させてもよいし、音声として出力部２４から出力させてもよい。

【0077】

図５に、端末装置２０が、出力部２４に「Ｂさんとしばらく距離を置きましょう。」との推奨メッセージを表示させている例を示す。このような推奨メッセージを見たユーザＡがユーザＢとしばらく距離をおけば、ユーザＡとユーザＢとの間の口論という特有行動が引き起こされる確率を低減することができる。

【0078】

制御部１５が、一方の端末装置２０に推奨メッセージを送信して出力させる例を示したが、制御部１５は、双方の端末装置２０に推奨メッセージを送信して、双方の端末装置２０に推奨メッセージを出力させてもよい。

【0079】

あるいは、制御部１５は、推奨メッセージを、出力装置５０に送信して出力させてもよい。出力装置５０が出力するメッセージは複数のユーザが認識できるため、この場合、双方のユーザが、出力装置５０が出力するメッセージを認識する。双方のユーザが、推奨メッセージによって推奨された行動を取ることによって、ユーザＡとユーザＢとの間の口論という特有行動が引き起こされる確率を低減することができる。

【0080】

図６及び図７に示すフローチャートを参照して、情報処理システム１の動作を説明する。図６は、情報処理システム１が原因パターンを特定する処理を示すフローチャートである。図７は、情報処理システム１が推奨メッセージを生成し出力する処理を示すフローチャートである。

【0081】

最初に、図６に示すフローチャートを参照して、情報処理システム１が原因パターンを特定する処理について説明する。

【0082】

ステップＳ１０１において、情報処理装置１０の制御部１５は、住居２の中にいる複数のユーザの行動データを取得する。制御部１５は、カメラ３０及び音声入力装置４０などから、住居２の中にいる複数のユーザの行動データを取得する。

【0083】

ステップＳ１０２において、制御部１５は、カメラ３０及び音声入力装置４０などから取得したユーザの行動データの中から、複数のユーザの間の関係性が悪化したことを示す特有行動を抽出する。

【0084】

ステップＳ１０３において、制御部１５は、特有行動を抽出すると、抽出された特有行動を取得する前に取得していた行動データを解析し、原因パターンを特定する。制御部１５は、特定した原因パターンを記憶部１２に保存する。

【0085】

続いて、図７に示すフローチャートを参照して、情報処理システム１が推奨メッセージを生成し出力する処理について説明する。図７に示す処理は、図６に示した処理によって、情報処理装置１０の記憶部１２に、少なくとも１つの原因パターンが保存されている状態において実行される処理である。

【0086】

ステップＳ２０１において、情報処理装置１０の制御部１５は、住居２の中にいる複数のユーザの行動データを取得する。情報処理装置１０は、カメラ３０及び音声入力装置４０などから、住居２の中にいる複数のユーザの行動データを取得する。

【0087】

ステップＳ２０２において、制御部１５は、取得した行動データが、既に記憶部１２に保存されている原因パターンに含まれている行動データであるか否かを判定する。

【0088】

取得した行動データが原因パターンに含まれていないと判定した場合、すなわちステップＳ２０２においてＮＯと判定した場合、制御部１５は、ステップＳ２０２の処理を繰り返す。取得した行動データが原因パターンに含まれていると判定した場合、すなわちステップＳ２０２においてＹＥＳと判定した場合、制御部１５は、ステップＳ２０３に進む。

【0089】

ステップＳ２０３において、制御部１５は、複数のユーザの間の関係性が悪化することを回避することを推奨する推奨メッセージを生成する。

【0090】

ステップＳ２０４において、制御部１５は、生成した推奨メッセージを送信する。制御部１５は、端末装置２０及び出力装置５０などに推奨メッセージを送信してよい。端末装置２０及び出力装置５０などは、推奨メッセージを受信すると、受信した推奨メッセージを出力する。

【0091】

上述のように、本実施形態に係る情報処理装置１０において、制御部１５は、取得した行動データから、複数のユーザの間の関係性が悪化したことを示す行動データである特有行動を抽出する。また、制御部１５は、抽出した特有行動の前に取得された行動データのうち特有行動と関連づけられる行動データを少なくとも１つ含む原因パターンを特定する。したがって、本実施形態に係る情報処理装置１０は、複数のユーザの間の関係性の悪化につながる行動を、原因パターンとして特定することができる。

【0092】

また、上述のように、原因パターンは、複数の行動データの組合せを含んでよい。このように、複数の行動データの組合せを含む原因パターンを特定することで、本実施形態に係る情報処理装置１０は、例えばユーザが気付いていないような複数の行動の組合せであって、ユーザの間の関係性を悪化させる可能性が高い行動の組合せを特定することができる。

【0093】

本開示は上述の実施形態に限定されるものではない。例えば、ブロック図に記載の複数のブロックを統合してもよいし、又は１つのブロックを分割してもよい。フローチャートに記載の複数のステップを記述に従って時系列に実行する代わりに、各ステップを実行する装置の処理能力に応じて、又は必要に応じて、並列的に又は異なる順序で実行してもよい。その他、本開示の趣旨を逸脱しない範囲での変更が可能である。

【0094】

例えば、上述した実施形態において情報処理装置１０において実行される一部の処理動作が、端末装置２０、カメラ３０、音声入力装置４０又は出力装置５０において実行されてもよい。

【0095】

例えば、スマートフォン又はコンピュータ等の汎用の電子機器を、上述した実施形態に係る情報処理装置１０として機能させる構成も可能である。具体的には、実施形態に係る情報処理装置１０等の各機能を実現する処理内容を記述したプログラムを、電子機器のメモリに格納し、電子機器のプロセッサによって当該プログラムを読み出して実行させる。したがって、一実施形態に係る開示は、プロセッサが実行可能なプログラムとしても実現可能である。

【0096】

例えば、上述した実施形態において、音声入力装置４０と出力装置５０とを独立した装置として説明したが、音声入力装置４０と出力装置５０とは一体化された装置であってもよい。音声入力装置４０及び出力装置５０は、例えば、一体化されたスマートスピーカであってもよい。

【0097】

例えば、上述した実施形態において説明した情報処理装置１０が住居２に設置されていてもよい。

【0098】

例えば、上述した実施形態において、原因パターンが複数の行動データの組合せを含む場合を例に挙げて説明したが、原因パターンは、１つの行動データだけを含んでいてもよい。

【0099】

例えば、上述した実施形態において、住居２の中に２人のユーザがいる場合を例に挙げて説明したが、住居２の中にいるユーザの人数は、１人又は３人以上であってもよい。

【符号の説明】

【0100】

１ 情報処理システム
２ 住居
１０ 情報処理装置
１１ 通信部
１２ 記憶部
１３ 入力部
１４ 出力部
１５ 制御部
２０ 端末装置
２１ 通信部
２２ 記憶部
２３ 入力部
２４ 出力部
２５ 振動部
２６ 制御部
３０ カメラ
４０ 音声入力装置
５０ 出力装置
６０ ネットワーク

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】