IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 株式会社日立製作所の特許一覧

(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024176933
(43)【公開日】2024-12-19
(54)【発明の名称】行動分析装置及び行動分析方法
(51)【国際特許分類】
   G06Q 50/10 20120101AFI20241212BHJP
【FI】
G06Q50/10
【審査請求】未請求
【請求項の数】9
【出願形態】OL
(21)【出願番号】P 2023095825
(22)【出願日】2023-06-09
(71)【出願人】
【識別番号】000005108
【氏名又は名称】株式会社日立製作所
(74)【代理人】
【識別番号】110001807
【氏名又は名称】弁理士法人磯野国際特許商標事務所
(72)【発明者】
【氏名】佐野 健太郎
(72)【発明者】
【氏名】小谷 正直
(72)【発明者】
【氏名】久保 陽
【テーマコード(参考)】
5L049
5L050
【Fターム(参考)】
5L049CC11
5L049CC20
5L050CC11
5L050CC20
(57)【要約】
【課題】人間の行動と、同一人物の他の行動、時刻、曜日、装置の稼働状態、他者の行動などとの関係性を類似度として数値化する行動分析装置及び行動分析方法を提供する。
【解決手段】本発明の行動分析装置1は、少なくとも人間の行動に伴い発生したセンサデータを含む情報を取得し、取得した情報を単語化する情報取得部11と、情報取得部で単語化した人間の行動に伴う複数の単語について、単語間の関係性として類似度を数値化する演算部12と、演算部で算出した単語間の類似性又は単語間の類似性の時系列変化を表示する表示部14と、を備えるようにした。
【選択図】 図1
【特許請求の範囲】
【請求項1】
少なくとも人間の行動に伴い発生したセンサデータを含む情報を取得し、取得した情報を単語化する情報取得部と、
前記情報取得部で単語化した人間の行動に伴う複数の単語について、単語間の関係性として類似度を数値化するとともに、単語間の関係性の時系列変化を算出する演算部と、
前記演算部で算出した単語間の関係性又は単語間の関係性の時系列変化を表示する表示部と、
を備える行動分析装置。
【請求項2】
請求項1に記載の行動分析装置において、
前記情報取得部は、行動認識部の学習モデルにより前記センサデータに関連付けた人間の行動名が通知される、
行動分析装置。
【請求項3】
請求項1に記載の行動分析装置において、
前記演算部が、
前記情報取得部で単語化した単語を特定の順番で列挙し文書を作成する文章作成部と、
前記文章作成部で作成した文章を、文章ごとに単語に分割する単語分割部と、
前記単語分割部で分割された文章ごとに単語を受信し、少なくとも一つ以上の文章からなるデータにおいて、ある単語が発生する際に周囲に存在する単語を分析し、頻繁に同時に発生する単語ほど類似度が大きくなるよう、単語をベクトル形式に数値化する単語数値化部と、
前記単語数値化部でベクトル形式に数値化された単語間の関係性をベクトルの類似度を用いて数値化する類似度算出部と、
を備える行動分析装置。
【請求項4】
請求項3に記載の行動分析装置において、
前記類似度算出部が、コサイン類似度をベクトルの類似度として求め、
前記表示部が、前記ベクトルの類似度を棒グラフ又は多角形チャート示す、
行動分析装置。
【請求項5】
請求項3に記載の行動分析装置において、
前記類似度算出部は、ベクトルの発生確率をベクトルの類似度としてベクトルの距離から求め、
前記表示部は、前記ベクトルの類似度を棒グラフ又は多角形チャート示す、
行動分析装置。
【請求項6】
請求項3に記載の行動分析装置において、
前記表示部が、行動間の関係性に基づいてレコメンドを表示する、
行動分析装置。
【請求項7】
請求項6に記載の行動分析装置において、
前記表示部が、選択されたレコメンドタイプに応じて、行動間の関係性に基づいてレコメンドを表示する、
行動分析装置。
【請求項8】
請求項1に記載の行動分析装置において、
前記演算が、月日や季節の期間に分けて、単語間のベクトルの時系列変化を求める
行動分析装置。
【請求項9】
情報取得部が、少なくとも人間の行動に伴い発生したセンサデータを含む情報を取得し、取得した情報を単語化するステップと、
演算部が、前記情報取得部で単語化した人間の行動に伴う複数の単語について、単語間の関係性として類似度を数値化するとともに、単語間の関係性の時系列変化を算出するステップと、
表示部が、前記演算部で算出した単語間の関係性又は単語間の関係性の時系列変化を表示するステップと、
を含む行動分析方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、人間の行動分析装置及び行動分析方法に関する。
【背景技術】
【0002】
近年、地球温暖化が課題となっており、CО2排出量の原因の約6割を占める一般家庭の活動において、意識変革及び行動変容が必要とされている。一般家庭でCО2排出量を低減する行動変容を促すレコメンドは、内容が画一的なものである場合には、「知らないものや経験したことのないものは受け入れがたい」という現状維持のバイアスを受けやすい。このため、意識変革及び行動変容につながり辛い。したがって、より納得感のあるレコメンドを行うための、人間行動の分析技術が必要とされている。
【0003】
例えば、特許文献1には、「生活者(電力のユーザ)の消費電力量に基づいて、各ユーザがどのような「生活行動(居住者行動)を如何なる発生時刻又は時間帯で発生させたかを推定し、さらに、特定ユーザについて推定した「生活行動」に対し、他の類似するユーザとの比較結果に基づいて「比較ラベル」を付与した生活行動比較情報を生成する。」と記載されている。特許文献1の技術によれば、他ユーザとの比較を通じ、各ユーザの生活行動パターンに適合しているレコメンド等を提供できる。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開2015-191325号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
上記の先行技術によれば、「行動属性」とその「属性値」とを特徴ベクトルの要素とすることで、ユークリッド距離や内積により類似度を算出できる。また、所定閾値以上の類似度を有する特徴ベクトルのユーザは「類似ユーザ」と考えることができる。
【0006】
しかし、この「行動属性」は、例えば消費電力データに基づき推定された「起床」であり、「属性値」は例えば「6:30」といった行動属性における具体的な値である。このため、それらを要素とするベクトルを用いて算出される類似度は、単語表記が一致するか否かを判断するものであり、単語間の関係性の大小を捉えるものではなかった。
【0007】
また、比較対象は同一人物の「行動属性」間に限られるため、「行動属性」と時刻、曜日、家電の稼働状態、他者の「行動属性」などとの関係性を捉えることは困難であった。
【0008】
本発明の目的は、人間の行動と、同一人物の他の行動、時刻、曜日、装置の稼働状態、他者の行動などとの関係性を数値化する行動分析装置及び行動分析方法を提供することにある。
【課題を解決するための手段】
【0009】
前記課題を解決するため、本発明の行動分析装置は、少なくとも人間の行動に伴い発生したセンサデータを含む情報を取得し、取得した情報を単語化する情報取得部と、前記情報取得部で単語化した人間の行動に伴う複数の単語について、単語間の関係性として類似度を数値化する演算部と、前記演算部で算出した単語間の類似性又は単語間の類似性の時系列変化を表示する表示部と、を備えるようにした。
【発明の効果】
【0010】
本発明によれば、人間の行動と、同一人物の他の行動、時刻、曜日、装置の稼働状態、他者の行動などとの関係性として類似度を数値化できる。
【図面の簡単な説明】
【0011】
図1】実施例1の行動分析装置の構成を示すブロック図である。
図2】演算部の構成を説明するブロック図である。
図3】行動分析装置の動作を説明するフローチャートである。
図4】行動分析装置を適用したスマートホームサービスシステムの構成図である。
図5A】料理行動と各曜日の類似度を棒グラフにより可視化した例である。
図5B】洗濯行動とそれ以外の行動との類似度を多角形チャート(レーダーチャート)により可視化した例である。
図6】表示部としてスマートホームサービスを提供するアプリの画面例である。
図7】表示部としてスマートホームサービスを提供するアプリの他の画面例である。
図8A】家電製品等の稼働状況とユーザの行動との関係性を示すアプリの画面の例である。
図8B】家電製品等の稼働状況とユーザの行動との関係性を示すアプリの画面の例である。
図9】行動分析装置を適用したスマートライフサービスのシステム構成図である。
図10A】スマートライフサービスを提供するアプリの画面の表示例である。
図10B】スマートライフサービスを提供するアプリの画面の表示例である。
図11】行動分析装置を適用したスマートライフサービスのシステム構成図である。
図12A】スマートライフサービスの出力画面について説明する図である。
図12B】スマートライフサービスの出力画面について説明する図である。
図13】レコメンドの方針を選択する画面例である。
【発明を実施するための形態】
【0012】
以下、本発明の実施形態について図面を用いて詳細に説明するが、本発明は以下の実施形態に限定されることなく、本発明の技術的な概念の中で種々の変形例や応用例もその範囲に含む。
【実施例0013】
図1は、本実施例の行動分析装置1の構成を示すブロック図である。行動分析装置1は、情報取得部11と、演算部12と、蓄積部13と、表示部14と、で構成され、人間行動を数値化する。
【0014】
情報取得部11は、人間の行動に伴い発生したデータ21及び分析対象の情報31を取得し、演算部12及び蓄積部13に送信する。ここで、人間の行動に伴い発生したデータ21には、人感、照度、温湿度、気圧、加速度、ドア開閉等のセンサデータ21a(不図示)、画像データ21b(不図示)、音声データ21c(不図示)、施設の入退館記録21d(不図示)、乗り物・イベント等の予約情報21e(不図示)、商品名・価格等を含む決済情報21f(不図示)、及びそれらの日付・曜日・時刻情報が含まれる。また、分析対象の情報31には、分析対象とした人物を識別する記号・施設名・部屋名・場所名・地名・時刻情報などが含まれる。
【0015】
詳しくは、センサデータ21aは、各種センサを宅内に設置する、スマートウォッチ等のウェアラブルセンサを使用する、家電製品等に予め備えられているセンサを使用する、等の方法で取得する。
【0016】
情報取得部11は、人感センサは人間の在/不在を1/0の数値で出力するため、人感センサの出力結果を再度在/不在の単語に変換するか、又は、人感センサが反応した場所に紐づく行動名に変換して、演算部12及び蓄積部13に送信する。例えば、情報取得部11は、リビングの人感センサの反応をリラックス、寝室の人感センサの反応を睡眠、キッチンの人感センサの反応を料理、人感センサの反応が無い状態を外出に変換する。これらの単語(在、不在、リラックス、睡眠、料理、外出)は、人間の行動に伴い発生したセンサデータを含む情報を単語化したものである。
【0017】
情報取得部11は、照度センサ・温湿度センサ・気圧センサ・加速度センサは出力が連続的なアナログ値であるため、センサ出力のアナログ値を一定の幅ごとに単語化する。例えば、0℃~10℃を低温、10℃~30℃を適温、30℃~40℃を高温と単語化する。又は、20%以下を乾燥、20%~60%を快適、60%~100%を湿潤と単語化してもよい。気圧も同様に、低気圧、常圧、高気圧に任意の閾値で単語化する。加速度センサの出力もその大きさを用いて、任意の閾値で活発、平常、安静に単語化する。又は、3軸方向の加速度の出力及びその変化量を利用し、歩行、走行、転倒等に単語化する。例えば、照度は照明のON/OFFにより変化するといったように、照度、温湿度、気圧、加速度は、人間の行動に伴い数値が変化する。その変化は、センサデータを含む情報として情報取得部11に取得され、単語化される。
【0018】
情報取得部11は、上記のとおり、センサデータ21aの出力値を任意の条件で単語化することで、データの示す物理的な意味をユーザが理解し易くする利点がある。
【0019】
センサデータ21aは、スマートウォッチ等のウェアラブルセンサを使用して取得してもよい。ウェアラブルセンサは、上記のセンサに対して、常にユーザが装着するため、屋外などセンサを設置することが困難な状況でもデータを収集できる。また、センサが身体に密着するため、心拍数、睡眠の質など、前記の非接触センサとは異なるデータを取得できる。
【0020】
家電製品等に予め備えられているセンサには、温度センサ、ドア開閉センサ、電流センサなどがある。情報取得部11は、それらを用いて人間や家電製品等の状況を推測し、行動に単語化することが可能である。例えば、冷蔵庫及び電子レンジのセンサを用いて料理及び食事を、洗濯機のセンサから洗濯を、掃除機のセンサから掃除を推測する。
【0021】
画像データ21bは、店舗、公共施設等の監視カメラにより取得できる。情報取得部11は、画像データ21bは、撮影した日時・場所に加え、そこに映る人間の人数・行動・人流方向等の情報を含むため、画像解析技術によりそれらを「10人、歩行、南方向」等のように単語化する。
【0022】
音声データ21cは、電話の通話記録・会話型のスマートデバイス・マイクを備えたカメラ等により取得できる。情報取得部11は、音声データ21cを自然言語処理技術により文章化し、文章をさらに分割することで単語化する。
【0023】
施設の入退館記録21dには、手書きの入退館記録・部屋の出入口のカード・指紋や静脈等による認証記録があり、施設のセキュリティ管理装置が管理している。情報取得部11は、セキュリティ管理装置から入退館記録21dを取得する。これらのデータは入退館が記録された場所、日付、曜日、時刻、個人を識別する情報等を単語として含んでいる。例えば、「2月10日、月曜日、会議室A、Bさん」等がある。
【0024】
イベント等の予約情報21eは、予約日時・人数・イベントの名称・日時・開催場所・主催者・ジャンル等の情報を単語として含み、情報取得部11は、イベント予約サイトの管理装置や、予約者本人の端末の予約履歴から予約情報21eを取得できる。予約情報21eは、例えば、「2月11日、火曜日、音楽イベント、3人、A会場、B主催」等がある。
【0025】
商品名、価格等を含む決済情報21fは、決済日時・場所・商品名・価格等の情報を単語として含み、情報取得部11は、決済処理装置や、決済を行った本人の端末の履歴から取得できる。決済情報21fのデータの一例として、「2月12日、水曜日、Aデパート、B商品、価格C」等がある。
【0026】
演算部12は、詳細は後述するが、情報取得部11から通知された人間の行動に伴い発生したデータ21を単語化した情報について、単語間の関係性として類似度を数値化する。そして、処理結果を表示部14及び蓄積部13に送信する。また、演算部12は、例えば、月日や季節の期間に分けて、単語間のベクトルの時系列変化を求めるようにしてもよい。
【0027】
表示部14は、詳細は後述するが、演算部12で求めた現時点の単語間の関係性又は単語間の関係性の時系列変化を表示する。
蓄積部13は、演算部12で求めた数値化された単語間の関係性を分析する対象者ごとに記憶する。
【0028】
つぎに、図2のブロック図により、演算部12の構成を説明する。
演算部12は、文章作成部121と、単語分割部122と、単語数値化部123と、類似度算出部124から構成する。
【0029】
文章作成部121は、情報取得部11から受信した日付・曜日・時刻・場所・人間行動・環境状態・個人等を識別可能な単語等を、特定の順番で列挙し文章を作成する。ここで、本明細書における文章とは、「2月13日、木曜日、14:00、A室、リラックス、晴、Bさん」のように、各単語を句点・読点・スペース・助詞・助動詞などを用いて連結したものと定義する。
【0030】
文章作成部121は、作成した文書ごとに日付・曜日・時刻情報を付記し、時系列順に複数の文章に分けて記述することで、日付・曜日・時刻情報と他の単語との関係性を明確化する。例えば、情報取得部11から2月14日金曜日15:00に画像データ、2月14日金曜日16:00にイベント等の予約情報を受信した場合、「2月14日、10人、歩行、南方向、音楽イベント、A会場、B主催」のように1つの文章にまとめて記載するだけでなく、「2月14日、金曜日、15:00、10人、歩行、南方向」「2月14日、金曜日、16:00、音楽イベント、A会場、B主催」のように、データごとに日付・曜日・時刻情報とともに文章を作成することで、日付・曜日・時刻情報と他の単語との関係性を数値化し易くする。
【0031】
また、文章作成部121は、単語を記載する順序を少なくとも一部定型化して文章を作成する。これにより、ある単語を基準に複数の文章をソートすることができる。例えば、文章の記載順序を「日付、曜日、時刻、場所、人間行動、環境状態、個人等を識別可能な単語」と定めることで、複数のデータから複数の文章を作成した後、1つめと3つめの単語から日付及び時刻情報を取得し、それを基準とし、文章を時系列順にソートすることができる。これにより、単語間の関係性を数値化する順番がすなわち時系列順となり、各データ間の時系列方向の関係性をより明確にできる。
【0032】
単語分割部122は、文章作成部121から文章を受信し、再度、文章ごとに単語に分割する。分割は、句点、読点、スペース、助詞、助動詞などを用い機械的に行う。又は、Janome、MeCabなどの自然言語処理の分野で用いられる単語分割アルゴリズムを適用してもよい。なお、情報取得部11から送信された情報が、予め全て単語に分割済みであり、かつ、記載順序も定型化されていることが確認できる場合には、文章作成部121と単語分割部122の処理を省略してもよい。
【0033】
単語数値化部123は、単語分割部122で分割された文章ごとに単語を受信し、少なくとも一つ以上の文章からなるデータにおいて、ある単語が発生する際に周囲に存在する単語を分析し、頻繁に同時に発生する単語ほど類似度が大きくなるよう、単語をベクトル形式に数値化する。例えば、Word2Vec、BERT等の自然言語処理の分野で用いられる単語のベクトル化アルゴリズムを適用し、学習により各単語のベクトル表現を獲得する。
【0034】
類似度算出部124は、単語数値化部123においてベクトル形式で表現した単語を受信し、単語間の関係性をベクトルの類似度を用いて数値化する。例えば、以下の式(1)で定義するコサイン類似度により、単語間の関係性を数値化する。
【0035】
【数1】
【0036】
ここで、式(1)においてa、bはベクトルであり、a・bは内積、はノルムの積を表す。このコサイン類似度を用いることで、ベクトル形式で表現された単語間の成す角を数値化できる。ベクトル間の成す角は、それら2つのベクトルが示す単語の類似性を表現しており、絶対値が小さいほど傾向が類似し、絶対値が90度未満であれば同傾向、90度以上であれば逆傾向の性質を持つと推測できる。コサイン類似度は正負の符号含め、これらの傾向を数値で表現できる点で有用である。
【0037】
また、単語間の関係性を評価する別の方法として、以下の式(2)で定義する発生確率を用いてもよい。
【数2】
【0038】
ここで、式(2)においてLはベクトル間の距離であり、nはあるベクトルとの距離を計算すべきベクトルが全部でn個あることを示す。また、添え字のiは前記n個のベクトルのi番目であることを示す。なお、nの値は、以下の具体例のように、分析内容を定めると必然的に決定される値である。
【0039】
(具体例1)料理行動と各曜日との関係性を評価する場合、nは曜日の種類数である7。
(具体例2)会議室が5部屋あるビルで、そこに勤務するある人と会議室との関係性を評価する場合、nは会議室の種類数である5。
(具体例3)4人家族において、お父さんと、それ以外の家族との関係性を評価する場合、nはお父さん以外の家族の人数である3。
【0040】
この発生確率を用いることで、ベクトル形式で表現された単語間の距離を数値化し、単語間の関係性を評価できる。ベクトル間の距離も、前記成す角と同様、2つのベクトルが示す単語の類似性を表現することに加え、式(2)は計算すべき全数nを考慮しているため、発生し得る全てのケースの中で、どの程度の割合を占めるかを適切に表現することができる。これにより、コサイン類似度と比較し、発生回数、発生頻度などの影響をより適切に表現することが期待される。
【0041】
他にも、単語間の関係性を評価する方法として、式(1)と式(2)の演算結果を用いる方法がある。例えば、両者の積である式(3)により単語間の関係性を評価することで、コサイン類似度の正負の符号の情報を反映し単語間の傾向の類似性を表すと同時に、発生確率が表現する発生回数、発生頻度などの影響を考慮することができる。
【0042】
【数3】
【0043】
演算部12で算出された単語間の関係性は、分析対象の情報31と紐づけて蓄積部13に送信されると同時に、表示部14にも送信され、棒グラフ、多角形のチャート図などの手段で可視化される。なお、演算部12は人間の行動に伴い発生したデータ21だけでなく、蓄積部13から受信したデータを用い、単語間の関係性を数値化してもよい。
【0044】
蓄積部13は、演算部12が算出した単語間の関係性を、分析対象又は他者、他施設等の過去の蓄積データと合わせて演算部12に送信する。これにより、演算部12は現時点の単語間の関係性と過去の蓄積データを活用し、単語間の関係性の時系列変化を算出し表示部14に送信することができる。
【0045】
つぎに、図3のフローチャートにより、行動分析装置1の動作を説明する。
図3のフローチャートは、行動分析を行うたび、又は、周期的に起動する。
【0046】
ステップS11で、情報取得部11が、人間の行動に伴い発生したデータ21及び分析対象の情報31を取得する。
【0047】
ステップS12で、情報取得部11は、取得した情報を単語化して演算部12及び蓄積部13に送信する。
【0048】
ステップS13で、演算部12は、情報取得部11と蓄積部13の少なくとも一方から受信した情報を用いて単語間の関係性を数値化する。
【0049】
ステップS14で、演算部12は、算出した単語間の関係性を表示部14及び蓄積部13に送信する。
【0050】
ステップS15で、蓄積部13は、演算部12が算出した単語間の関係性を、分析対象又は他者、他施設等の過去の蓄積データと合わせて演算部12に送信する。
【0051】
ステップS16で、演算部12は、現時点の単語間の関係性と過去の蓄積データを活用し、単語間の関係性の時系列変化を算出し、表示部14に送信する。
【0052】
ステップS17で、表示部14は、現時点の単語間の関係性及びその時系列変化を表示する。
【実施例0053】
以下では、コネクテッド家電や各種センサを設置した一般家庭において、実施形態の行動分析装置1を適用してスマートホームサービスを実施する場合について説明する。
図4は、行動分析装置1を適用したスマートホームサービスのシステム構成図である。
【0054】
図4のスマートホームサービスシステムでは、サービス事業者が、行動分析装置1と連携したスマートホームサービス及び商品を用意する。そして、商品には予めセンサが組み込まれ、その情報をインターネット又は外部サーバ61経由で行動分析装置1が収集する。この商品には、コネクテッド家電及び各種センサ類が含まれる。
【0055】
サービス及び商品に加入申し込みがあった場合、事業者は必要なコネクテッド家電及び各種センサ類をユーザ宅に送付する。ここで、ユーザ宅に既に購入済みのコネクテッド家電又は見守り用途のセンサ等が存在する場合には、それらのデータを外部サーバ61が収集することで、スマートホームサービスに必要な情報を取得してもよい。
【0056】
センサ類は、例えば、体組成計41、体重計42,ウェアラブルセンサ43、感圧センサ44、振動センサ45、開閉センサ46,温湿度気圧センサを含む環境センサ47、人感センサ48、画像センサ49、電波センサ50、照度センサ51等であり、これらのデータはインターネット又は外部サーバ61経由で行動分析装置1が収集する。
【0057】
また、コネクテッド家電には冷蔵庫52、洗濯機53、オーブンレンジ54、ロボットクリーナー55、IHクッキングヒーター56、給湯器57等があり、予め組み込まれているドア開閉センサ、電流センサ等の指示値に加え、運転モードの情報等も行動分析装置1が収集可能である。センサ類は設置後、電源接続、電池、又は太陽光や振動などの環境発電により電源を確保し、測定を開始する。
【0058】
なお、外部サーバ61の所有者は限定されることはなく、事業者の管理するサーバであってもよいし、センサメーカの管理するサーバであってもよいし、一般にレンタル可能なサーバでもよい。
【0059】
また、スマートホームサービスの事業者と行動分析装置1の提供者が異なる環境でそれぞれデータを保管し、行動分析装置1にそれぞれ読み込ませ、システム内部で接続してもよい。ただし、これらのサーバは、行動分析装置1の提供者の社内環境、事業者の社内環境、クラウド環境のいずれかに構築された行動分析装置1と通信可能である必要がある。
【0060】
以下に、スマートホームサービスシステムのおける行動分析装置1の動作を詳細に説明する。
【0061】
行動分析装置1の情報取得部11は、外部サーバ61に収集されたセンサのデータ、コネクテッド家電のデータ及び分析対象の情報31を取得し、単語化して演算部12及び蓄積部13に送信する。
分析対象の情報31の取得方法には、センサに入力できるようにする、サービス及び商品の加入申込書に記載する、事業者ホームページのマイページから追加で入力できるようにする、第三者である他の事業者、ユーザが所属する自治体、非営利団体などと連携し入手するなどがある。
【0062】
演算部12は、情報取得部11から受信したデータ及び分析対象の情報31を用い、単語間の関係性を数値化する。詳しくは、まず、演算部12の文章作成部121において、情報取得部11で単語化したセンサ及びコネクテッド家電のデータにより、文章を作成する。
【0063】
例えば、センサデータを単語化する例として、温湿度気圧センサを含む環境センサ47の値を、0℃~10℃を「低温」、10℃~30℃を「適温」、30℃~40℃を「高温」とする等、一定の幅ごとに単語化することが考えられる。
また、人感センサ48が反応した場所と人間の行動を関連付け、キッチンの人感センサが反応した場合に「キッチン」あるいは「料理」として単語化する。
また、コネクテッド家電のデータを単語化する例として、電子レンジが温め、調理等、何らかの運転モードで動作した場合に、「電子レンジ」あるいは「料理」として単語化することも可能である。
【0064】
文章作成部121は、これらの単語化結果と、センサ又はコネクテッド家電が動作した日付、時刻、曜日情報を用い、「2月15日、土曜日、12:00、低温、キッチン、電子レンジ、料理」として文章化する。この文章は、センサ又はコネクテッド家電が反応する時刻ごとに作成することが可能であり、それらは分析対象の情報31と紐づけて蓄積部13に蓄積してもよい。
【0065】
演算部12の単語分割部122は、文章作成部121で作成した文章を一定期間蓄積した後、それらを時系列順に並べ、再度、単語に分割する。
そして、演算部12の単語数値化部123が、単語をベクトル形式で表現する。
【0066】
最後に、演算部12の類似度算出部124が、単語間の類似度を算出する。
これらの操作により、センサ又はコネクテッド家電のデータより求めた文章に含まれる単語と単語の関係性が数値化できるため、例えば、料理行動と関係性が深い他の行動、曜日、時刻、温度、場所、家電などが数値で評価できる。
【0067】
つぎに、演算部12の単語数値化部123における単語間の関係性を数値化した具体例を説明する。
【0068】
図5Aは、料理行動と各曜日の類似度を上記の式(1)又は式(2)を用いて算出し、棒グラフにより可視化した例である。式(1)又は式(2)により類似度を算出した場合には、傾向が類似する場合には正の類似度になり、傾向が類似しない場合には負の類似度になる。このため、図5Aに示すように、類似度に応じて棒グラフの塗り方を変えることにより類似度を明示でき、料理行動と水曜日及び木曜日の傾向が類似しないことを直感的に確認できる。又、棒グラフに替えて、類似度に応じてグラフの背景色を変更してもよい。
【0069】
図5Bは、洗濯行動とそれ以外の行動との類似度を、多角形チャート(レーダーチャート)により可視化した例である。図5Bでは、式(1)又は式(3)に類似度を算出し、傾向が類似することを示す正の類似度と、傾向が類似しないことを示す負の類似度を、線の書式を変更して明示している。これにより、洗濯行動と朝食、昼食の傾向が類似しないことを直感的に確認できる。又、線の書式を変更することに替えて、領域の背景色を変更するようにしてもよい。
【0070】
つぎに、行動分析装置1の表示部14の表示例を説明する。
表示部14は、実施例のスマートホームサービスシステムにおいては、行動分析装置1に接続したディスプレイであってもよく、また、スマートホームサービスシステムを利用するユーザが手元で確認できるようにしたスマートフォン等の端末であってもよい。
【0071】
図6は、表示部14として、ユーザのスマートフォン等の外部端末71におけるスマートホームサービスを提供するアプリの画面の例である。図6では、行動の種類ごとに他の行動との類似度を多角形チャート(レーダーチャート)で可視化する。これにより、ユーザは自分の行動間の関係性を確認し、生活習慣を振り返ることができる。
【0072】
図6では、さらに、行動間の関係性を基に、スマートホームサービスが省エネアドバイスを提供している。詳しくは、洗濯行動を行う時間の傾向と、分析対象の情報31の一例であるユーザが契約する電気料金プランの情報を連携し、電気料金を節約するためのアドバイス(レコメンド)を行う。
【0073】
図7は、表示部14として、ユーザのスマートフォン等の外部端末71におけるスマートホームサービスを提供するアプリの画面の他の例である。図7では、スマートウォッチ等のウェアラブルセンサにより取得できる睡眠の質、心拍数等の情報と行動との関係性を表示する。前記睡眠の質は、例えばレム睡眠、ノンレム睡眠(浅い)、ノンレム睡眠(深い)をスマートウォッチにより測定し、それぞれ睡眠の質:低、睡眠の質:中、睡眠の質:高と分類している。なお、前記スマートウォッチ等のウェアラブルセンサは事業者が送付してもよいし、ユーザが所有するデバイスを活用してもよい。
【0074】
詳しくは、行動分析装置1は、前記睡眠の質と、センサにより検知したユーザの行動、場所、日付、曜日、時刻等の情報を合わせ「2月15日、土曜日、22:00、寝室、睡眠、睡眠の質:低、心拍数:100」等の文章を作成して演算部12の入力とすることで、睡眠の質、心拍数等の情報と行動との関係性を数値化する。
【0075】
そして、行動分析装置1は、ユーザに、図7に示す多角形チャート(レーダーチャート)により、睡眠の質:高とリラックス行動、外出行動、料理行動が高い関係性を持つこと示し、また同時に、睡眠の質:低と昼寝行動が高い関係性を持つことを示す。
【0076】
行動分析装置1は、加えて、これらの情報を基に、「昼寝をした日は睡眠の質が上がらないようです。体を動かしたら十分リラックスし、睡眠に備えましょう。料理を楽しむことも効果的かも知れません。」等の睡眠の質を向上するためのアドバイス(レコメンド)を行ってもよい。
【0077】
図8A図8Bは、表示部14として、ユーザのスマートフォン等の外部端末71に家電製品等の稼働状況とユーザの行動との関係性を示すアプリの画面の例である。家電製品の稼働状況は、弱、中、強の冷蔵庫の温度設定をコネクテッド冷蔵庫に予め備えられたセンサにより検知した状況を示している。
【0078】
また、家電製品の稼働状況が、泥汚れコース、おしゃれ着コース、槽洗いコースの洗濯機の洗濯モードをコネクテッド洗濯機に予め備えられたセンサにより検知した状況としてもよい。
さらに、季節ごとの稼働状況とユーザの行動の関係性を数値化するため、前記家電製品等の稼働状況を取得した日付を基に一年を春夏秋冬の四季に分類し、情報に加えてもよい。
また、コネクテッド家電に備え付けられたセンサ又は別途設置する環境センサにより環境温度を測定し、その値を低温、適温、高温に三分類し情報に加えてもよい。
【0079】
これらの情報を合わせ「2月16日、冬、日曜日、13:00、冷蔵庫設定:中、環境:低温」等の文章を作成して演算部12の入力とすることで、図8A及び図8Bに例示する、冷蔵庫設定と各環境情報との関係性を数値化する。
ユーザは、冷蔵庫設定が年間通じて一定である図8Aと、最も省エネとなる冷蔵庫設定をシステムが表示する図8Bとを比較し、今まで冷蔵庫設定を活用しきれていなかったことを認識すると同時に、省エネに向け理想的な冷蔵庫設定を把握することができる。
【0080】
この際、ユーザは、図8A図8Bの家電利活用アドバイス(レコメンド)を参照してもよい。又は、ユーザが冷蔵庫設定の活用を開始してから再度、図8Aの表示を確認することで、理想的な設定である図8Bの表示との差を確認し、自らの省エネの水準を確認できる。
【0081】
上記では、家電製品等の稼働状況として冷蔵庫の温度設定を例に説明したが、温度以外の電流値、圧縮機の回転数などを用いてもよい。又は、別途、修理依頼、返品等から故障情報を入手し、前記家電製品等の稼働状況との関係性を数値化してもよい。
【実施例0082】
以下では、実施形態の行動分析装置1を適用してスマートライフサービスを実施する場合について説明する。
図9は、行動分析装置1を適用したスマートライフサービスのシステム構成図である。以下の説明では、図4のシステム構成図と重複する内容の説明は省略し、異なる部分のみ説明する。
【0083】
スマートライフサービスを提供する事業者の行動分析装置1の情報取得部11は、スマートライフサービスのユーザの自宅73において人間の行動に伴い発生したデータ21を取得する。ここで、人間の行動に伴い発生したデータ21を取得するセンサは、事業者がユーザ宅に設置するか、又は、ユーザが所有するデバイス等を活用する。
【0084】
本実施例の行動分析装置1は、ユーザが生活の中で関連する外部事業者の情報をも取得する。こで、外部事業者とは例えば交通インフラを管理する会社、ビル・施設の管理会社、イベント会社等であり、これら外部事業者の管理する外部サーバ61a、61b、61cから、ユーザが許可した情報を情報取得部11に取得する。
【0085】
行動分析装置1(情報取得部11)は、交通インフラを管理する会社の外部サーバ61aから、ユーザがバス、鉄道等の交通インフラを利用した時刻、区間、料金等の情報を取得する。行動分析装置1(演算部12)は、これらの情報と、宅内のセンサデータ21aを分析した情報を用いて、「2月17日、月曜日、14:00、食事」「2月17日、月曜日、14:30、外出」や「2月17日、月曜日、15:00、外出、バス乗車(○○行)」のように、時系列に宅内の行動と宅外の移動の情報を文章化する。そして、行動分析装置1(演算部12)は、月曜日における宅内での食事行動と、外出、行先を含むバス乗車について、時刻情報も合わせて関係性を数値化し、宅内の生活習慣と宅外の移動情報の関係性を明らかにする。
【0086】
行動分析装置1(情報取得部11)は、ビル・施設の管理会社の外部サーバ61bから、ユーザが利用したオフィスビル、スポーツジム、図書館等、建物の入退館記録、会議室の入退室記録等の情報を取得する。行動分析装置1(演算部12)は、これらの情報と、宅内のセンサデータ21a又はユーザのウェアラブルセンサ43を分析した情報を用いて、「2月18日、火曜日、8:00、起床、心拍数:低」や「2月18日、火曜日、9:00、外出、心拍数:低」「2月18日、火曜日、9:30、外出、スポーツジム入館、心拍数:中」のように、時系列に宅内の行動と宅外の施設における行動の情報を文章化する。そして、行動分析装置1(演算部12)は、火曜日における宅内での起床時間と、外出、スポーツジム入館及び心拍数について関係性を数値化し、宅内の生活習慣と、宅外のビル、施設の利用情報、心拍数から推測可能な疲労、発熱状態等の健康状態に関して生活習慣を評価する。
【0087】
行動分析装置1(情報取得部11)は、イベント会社の外部サーバ61cから、ユーザが参加したツアー旅行、コンサート等のイベントの種類、予約記録、参加情報を取得する。行動分析装置1(演算部12)は、これらの情報と宅内のセンサデータ21aを分析した情報を用いて、「2月19日、水曜日、21:00、睡眠」、「2月20日、木曜日、7:00、起床」、「2月20日、木曜日、7:30、外出」や「2月20日、木曜日、9:00、外出、コンサートイベント参加」のように、時系列に宅内の行動と宅外のイベントに関連する行動の情報を文章化する。そして、行動分析装置1(演算部12)は、水曜日の夜間における宅内での睡眠時間と、木曜日の朝における起床、外出及びコンサートイベント参加について関係性を数値化し、宅内の生活習慣と、宅外のコンサートイベント参加に関して生活習慣を評価する。
【0088】
行動分析装置1は、外部サーバ61a、61b、61cから取得した情報を組み合わせて使用してもよい。例えば、行動分析装置1は、ビル・施設の管理会社の外部サーバ61bからユーザがオフィスビルに入館した情報を取得すると同時に、交通インフラを管理する会社の外部サーバ61aからユーザが利用した交通手段を入手し、2月21日、金曜日、10:30、外出、バス、オフィスビル」のように、行動を文章化する。また、行動分析装置1は、外出行動と、行先、移動手段について、時刻情報も合わせて関係性を数値化してもよい。
【0089】
ここで、行動分析装置1は、外部サーバ61a、61b、61cから取得した情報及び数値化した分析対象の関係性の分析結果を、蓄積部13と異なるサーバに、分析対象の情報31と紐づけて保存してもよい。
【0090】
情報取得部11が取得する人間の行動に伴い発生したデータ21は、行動認識部15により人間の行動名に変換して、情報取得部11に通知してもよい。行動認識部15は、機械学習(ロジスティック回帰、決定木、サポートベクトルマシン、ランダムフォレスト、k近傍法等)、深層学習(全結合層、CNN、RNN等の組み合わせ)等の学習モデルにより構成された分類器であり、過去の本実施例のユーザ又は他のユーザの測定データを基に、人間の行動に伴い発生したデータ21と人間の行動名を関連付ける。行動認識部15は、行動分析装置1に含まれていてもよいし、他のサーバに格納されていてもよい。
【0091】
これにより、行動分析装置1は、人間の行動に伴い発生したデータ21から人間の行動を推測する際、「台所の人感センサが反応しているため料理行動中である」等の自明な推測に加え、「リビングの人感センサ、台所の人感センサ、台所の温湿度センサから総合的に判断し料理行動の可能性が高い」といった、複数の情報を対象とした、一見自明でないため人間には困難な推測を行うことが可能となる。
【0092】
つぎに、ユーザが所有又は事業者から貸与されるユーザの外部端末71の表示部14に表示されるスマートライフサービスの出力画面について説明する。
図10A図10Bは、スマートライフサービスを提供するアプリの画面の表示例である。
【0093】
図10Aは、移動手段及び時間帯を対象とし、ライブとの関係性を数値化した例である。図10Aにおいて、ライブとバス、電車、タクシーとの関係性は、交通インフラを管理する会社の外部サーバ61aから取得した乗車情報、降車情報等を用い数値化する。朝、昼、夜はそれぞれデータを取得した時刻を基に、一定の時刻の範囲で定義する。
【0094】
図10Aにより、ユーザ又は事業者は、ユーザがライブに向かう際の移動方法は主として電車であり、時間帯は昼間が最も多い他、朝も僅かに可能性があることを理解できる。
また、関係性の数値化結果と一般に入手可能な電車の混雑予想情報を基に、「本日はライブの予定日ですが、昼間の電車は混雑が予想されます。早めに移動してランチを楽しむのはいかがでしょう?」等の、混雑を避けるための移動方法をスマートライフアドバイスとしてレコメンドする。
【0095】
図10Bは、時期とライブとの関係性を数値化した例である。この時期は、春夏秋冬の他に、梅雨・初秋・晩秋・初冬等の任意の区切り方としてもよい。時期は、データを取得した日付を基に、一定の月の範囲で定義する。
【0096】
図10Bにより、ユーザ又は事業者は、ユーザがライブに参加する時期について春、初秋及び晩秋が多く、それ以外の時期は可能性が低いことを理解できる。
また、関係性の数値化結果とイベント会社の外部サーバ61cから取得したイベント予定情報を基に、「例年秋に参加しているライブが、今年は夏に開催されます。冷感グッズを持参し熱中症に注意しましょう。」等のスマートライフアドバイスを行ってもよい。
【実施例0097】
以下では、実施形態の行動分析装置1を適用して他のスマートライフサービスを実施する場合について説明する。
図11は、行動分析装置1を適用したスマートライフサービスのシステム構成図である。以下の説明では、図4図9のシステム構成図と重複する内容の説明は省略し、異なる部分のみ説明する。
【0098】
スマートライフサービスを提供する事業者の行動分析装置1の情報取得部11は、スマートライフサービスのユーザの自宅73において人間の行動に伴い発生したデータ21及び外部サーバ61のデータを取得する。外部サーバ61のデータは、データを収集する組織又はデータを収集される個人の承認を得て、及び本サービスのユーザ以外の人物の情報を含め取得してもよい。
【0099】
行動分析装置1は、複数の外部サーバ61のデータを基に、「2月24日、月曜日、9:30、外出、バス、200円、オフィスビルロビー」、「2月24日、月曜日、14:00、外出、オフィスビル会議室A」、「2月24日、月曜日、20:00、外出、オフィスビル会議室B」、「2月24日、月曜日、22:30、外出、タクシー、3000円」又は「2月24日、月曜日、23:00、リラックス」のように、複数の情報を含め時系列に行動を文章化する。そして、行動分析装置1(演算部12)は、ユーザの様々な行動とオフィスビルとの関係性を数値化する。
【0100】
つぎに、図12A図12Bにより、外部端末71の表示部14に表示する本実施例のスマートライフサービスの出力画面について説明する。
【0101】
図12A図12Bは、ユーザの行動とオフィスビル及びそれに関連する移動手段との関係性を数値化した例である。ユーザは、外部端末71の表示部14に表示されるスマートライフアドバイス等のレコメンド内容について、その方針を指定することができる。具体的には、外部端末71のインターフェース72(図11参照)において、レコメンドの方針を《節約モード》《ヘルシーモード》《スタディモード》《ファミリーモード》《ボランティアモード》等から選択する、そして、レコメンド内容決定部16(図11参照)が選択したレコメンドの方針を受信し、演算部12の出力を基にレコメンド内容を決定し、表示部14に表示する。
【0102】
ここで、図13は、外部端末71のインターフェース72において、レコメンドタイプを選択する画面例である。ここで、《節約モード》とはオフィスビルに関連する行動において、発生する費用を低減又は最小化することを目的とし、その実現に向けレコメンドを行うモードである。同様に、《ヘルシーモード》はユーザの食事、栄養バランス、及び健康、《スタディモード》は務効率向上、及び能力開発、《ファミリーモード》は家庭環境、《ボランティアモード》は仕事以外での他者及び社会への貢献を、それぞれ優先しレコメンドを行う。
【0103】
図13において、ユーザが《節約モード》を選択した場合には、行動分析装置1は、図12Aに示すように、多角形チャート(レーダーチャート)に示すユーザの行動とオフィスビルへの移動方法の関係性を数値化した情報に基づいて、「深夜はタクシーで移動しています。移動時間を早め、電車、バスを利用することで、毎月約5,000円を節約できそうです」の《節約モード》のレコメンドを表示する。
【0104】
図13において、ユーザが《スタディモード》を選択した場合には、行動分析装置1は、図12Bに示すように、多角形チャート(レーダーチャート)に示すユーザ行動とオフィスビルの利用時間の関係性を数値化した情報に基づいて、「深夜の利用時間が多いです。業績top10平均は朝型が多いことから、出勤・帰宅時間を早め業務効率を向上することが有効と思われます。」の《スタディモード》のレコメンドを表示する。
【0105】
図13において、ユーザが《ヘルシーモード》を選択した場合には、行動分析装置1は、図12Aの多角形チャート(レーダーチャート)に示すユーザの行動とオフィスビルへの移動方法の関係性を数値化した情報、及び図12Bの多角形チャート(レーダーチャート)に示すユーザの行動とオフィスビルの利用時間の関係性を数値化した情報に基づいて、「昼休み中もオフィスビル内にいることが多いです。外で野菜多めのランチをとり、散歩してはいかがでしょう?最寄り駅までの移動時に徒歩、自転車を活用することも有効です」の《ヘルシーモード》のレコメンドを表示する。
【0106】
図13において、ユーザが《ファミリーモード》を選択した場合には、行動分析装置1は、図12Bの多角形チャート(レーダーチャート)に示すユーザの行動とオフィスビルの利用時間の関係性を数値化した情報、及びユーザの家族の日常生活の行動情報に基づいて、「木曜は定時に帰宅すると家族との時間を確保できます。他の曜日と業務量を調整してみましょう」の《ファミリーモード》のレコメンドを表示する。
【0107】
図13において、ユーザが《ボランティアモード》を選択した場合には、行動分析装置1は、図12Bの多角形チャート(レーダーチャート)に示すユーザの行動とオフィスビルの利用時間の関係性を数値化した情報、及びイベント会社の外部サーバ61cから取得した情報に基づいて、「オフィスビルの利用時間帯に献血が予定されています。献血カード、献血手帳の準備はよいでしょうか?」の《ボランティアモード》のレコメンドを表示する。
【0108】
なお、行動分析装置1は、図13に示すように、インターフェース72により、ユーザによるレコメンドの10段階評価の入力と任意で要望等のコメントを付加できるようにして、レコメンド内容決定部16の処理の評価をフィードバックできるようにする。さらに、図示しない別画面によりユーザの情報を変更及び更新してもよい。
【0109】
本発明は上記した実施例に限定されるものではなく、様々な変形例が含まれる。上記の実施例は本発明で分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施形態の構成の一部を他の実施形態の構成に置き換えることが可能であり、また、ある実施形態の構成に他の実施形態の構成を加えることも可能である。
【符号の説明】
【0110】
1 行動分析装置
11 情報取得部
12 演算部
121 文章作成部
122 単語分割部
123 単語数値化部
124 類似度算出部
13 蓄積部
14 表示部
図1
図2
図3
図4
図5A
図5B
図6
図7
図8A
図8B
図9
図10A
図10B
図11
図12A
図12B
図13