特許 6405204 滞在場所属性特定装置、滞在場所属性特定システム、滞在場所属性特定方法およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6405204

(24)【登録日】2018年9月21日

(45)【発行日】2018年10月17日

(54)【発明の名称】滞在場所属性特定装置、滞在場所属性特定システム、滞在場所属性特定方法およびプログラム

(51)【国際特許分類】

   H04M 1/00 20060101AFI20181004BHJP

   H04M 11/00 20060101ALI20181004BHJP

【ＦＩ】

   H04M1/00 R

   H04M11/00 301

【請求項の数】9

【全頁数】15

(21)【出願番号】特願2014-241017(P2014-241017)

(22)【出願日】2014年11月28日

(65)【公開番号】特開2016-103740(P2016-103740A)

(43)【公開日】2016年6月2日

【審査請求日】2017年9月7日

(73)【特許権者】

【識別番号】000208891

【氏名又は名称】ＫＤＤＩ株式会社

(74)【代理人】

【識別番号】100122426

【弁理士】

【氏名又は名称】加藤 清志

(72)【発明者】

【氏名】松野 淳

(72)【発明者】

【氏名】帆足 啓一郎

【審査官】 山田 倍司

(56)【参考文献】

【文献】 米国特許出願公開第２０１３／０１０２２８３（ＵＳ，Ａ１）

【文献】 特開２０１１−０４００６３（ＪＰ，Ａ）

【文献】 特開２０１０−１７８２００（ＪＰ，Ａ）

【文献】 特開２０１２−１６４２２７（ＪＰ，Ａ）

【文献】 特開２０１２−００３４９４（ＪＰ，Ａ）

【文献】 特開２０１４−１６０４２０（ＪＰ，Ａ）

【文献】 Lin Liao et al.，Location-based activity recognition，２００６年，ＵＲＬ，http://papers.nips.cc/paper/2911-location-based-activity-recognition.pdf

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｆ １９／００

Ｇ０６Ｑ １０／００−１０／１０

３０／００−３０／０８

５０／００−５０／２０

５０／２６−９９／００

Ｈ０４Ｍ １／００

１／２４− ３／００

３／１６− ３／２０

３／３８− ３／５８

７／００− ７／１６

１１／００−１１／１０

９９／００

(57)【特許請求の範囲】

【請求項1】

滞在場所属性を特定する滞在場所属性特定装置であって、
ユーザの行動を認識する行動認識手段と、
該認識した行動に基づいて、行動履歴を保存する行動履歴記憶手段と、
前記滞在場所属性ごとの人の行動特性を表す行動パターンを保存する行動パターン記憶手段と、
行動認識モデルに対応した混同行列を保存する行動認識混同行列記憶手段と、
滞在日時と前記滞在場所属性とを関連付けて保存する滞在場所属性履歴記憶手段と、
前記行動パターンと行動認識モデルに対応した混同行列とを用いて、前記行動履歴から前記滞在場所属性を特定し、該特定した前記滞在場所属性を前記滞在場所属性履歴記憶手段に保存するとともに、前記行動履歴中の行動系列の誤りを訂正する滞在場所属性特定手段と、
を備えたことを特徴とする滞在場所属性特定装置。

【請求項2】

前記滞在場所属性特定手段は、前記滞在場所属性と前記滞在場所属性で発生しうる行動から構成される前記行動パターンにより、前記滞在場所属性ごとに発生しうる行動系列を定めることを特徴とする請求項１に記載の滞在場所属性特定装置。

【請求項3】

前記滞在場所属性特定手段は、前記定めた行動系列に対して、前記混同行列を用いて、最大の認識誤り率を求め、前記滞在場所属性を特定することを特徴とする請求項２に記載の滞在場所属性特定装置。

【請求項4】

前記滞在場所属性特定手段は、誤りを含んで認識した前記行動系列を前記最大の認識誤り率を用いて特定した行動系列により、前記行動履歴記憶手段に保存されている前記行動系列の誤りを訂正することを特徴とする請求項３に記載の滞在場所属性特定装置。

【請求項5】

携帯端末から取得されるデータを入力として行動認識モデルからユーザ行動を認識する行動認識手段と、
位置情報を取得する位置情報取得手段と、
ユーザによる操作の有無をアプリケーションの動作状況から判定するアプリケーション動作監視手段と、
前記ユーザの行動と、前記位置情報と、前記操作の有無とに基づいて生成した行動履歴を前記行動履歴記憶手段に保存し、前記滞在場所属性特定手段に行動履歴の更新を通知する行動履歴生成手段と、
をさらに備えることを特徴とする請求項１から４のいずれかに記載の滞在場所属性特定装置。

【請求項6】

前記行動履歴生成手段は、前記ユーザの行動と前記位置情報と前記操作の有無とが前記行動履歴記憶手段中の最新の行動履歴と一致する場合には、前記行動履歴を保存しないことを特徴とする請求項５に記載の滞在場所属性特定装置。

【請求項7】

携帯端末とサーバとからなり、滞在場所属性を特定する滞在場所属性特定システムであって、
前記携帯端末が、
取得されるデータを入力として行動認識モデルからユーザ行動を認識する行動認識手段と、
位置情報を取得する位置情報取得手段と、
ユーザによる操作の有無をアプリケーションの動作状況から判定するアプリケーション動作監視手段と、
前記ユーザの行動と、前記位置情報と、前記操作の有無とに基づいて生成した行動履歴を行動履歴記憶手段に保存し、滞在場所属性特定手段に行動履歴の更新を通知する行動履歴生成手段と、
を備え、
前記サーバが、
行動履歴を保存する行動履歴記憶手段と、
前記滞在場所属性ごとの人の行動特性を表す行動パターンを保存する行動パターン記憶手段と、
行動認識モデルに対応した混同行列を保存する行動認識混同行列記憶手段と、
滞在日時と前記滞在場所属性とを関連付けて保存する滞在場所属性履歴記憶手段と、
前記行動パターンと行動認識モデルに対応した混同行列とを用いて、前記行動履歴から前記滞在場所属性を特定し、該特定した前記滞在場所属性を前記滞在場所属性履歴記憶手段に保存するとともに、前記行動履歴中の行動系列の誤りを訂正する滞在場所属性特定手段と、
を備えたことを特徴とする滞在場所属性特定システム。

【請求項8】

ユーザの行動を認識する行動認識手段と、該認識した行動に基づいて、行動履歴を保存する行動履歴記憶手段と、滞在場所属性ごとの人の行動特性を表す行動パターンを保存する行動パターン記憶手段と、行動認識モデルに対応した混同行列を保存する行動認識混同行列記憶手段と、滞在日時と前記滞在場所属性とを関連付けて保存する滞在場所属性履歴記憶手段と、滞在場所属性特定手段と、を備え、滞在場所属性を特定する滞在場所属性特定装置における滞在場所属性特定方法であって、
前記滞在場所属性特定手段が、前記行動パターンと行動認識モデルに対応した混同行列とを用いて、前記行動履歴から前記滞在場所属性を特定する第１のステップと、
前記滞在場所属性特定手段が、該特定した前記滞在場所属性を前記滞在場所属性履歴記憶手段に保存する第２のステップと、
前記滞在場所属性特定手段が、前記行動履歴中の行動系列の誤りを訂正する第３のステップと、
を備えたことを特徴とする滞在場所属性特定方法。

【請求項9】

ユーザの行動を認識する行動認識手段と、該認識した行動に基づいて、行動履歴を保存する行動履歴記憶手段と、滞在場所属性ごとの人の行動特性を表す行動パターンを保存する行動パターン記憶手段と、行動認識モデルに対応した混同行列を保存する行動認識混同行列記憶手段と、滞在日時と前記滞在場所属性とを関連付けて保存する滞在場所属性履歴記憶手段と、滞在場所属性特定手段と、を備え、滞在場所属性を特定する滞在場所属性特定装置における滞在場所属性特定方法をコンピュータに実行させるためのプログラムであって、
前記滞在場所属性特定手段が、前記行動パターンと行動認識モデルに対応した混同行列とを用いて、前記行動履歴から前記滞在場所属性を特定する第１のステップと、
前記滞在場所属性特定手段が、該特定した前記滞在場所属性を前記滞在場所属性履歴記憶手段に保存する第２のステップと、
前記滞在場所属性特定手段が、前記行動履歴中の行動系列の誤りを訂正する第３のステップと、
をコンピュータに実行させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、ユーザの日常生活において，滞在場所属性を特定する滞在場所属性特定装置、滞在場所属性特定システム、滞在場所属性特定方法およびプログラムに関する。

【背景技術】

【0002】

携帯端末が、一般ユーザにまで広く普及した現在では、携帯端末搭載のＧＰＳでユーザの滞在場所を特定することが可能である。例えば、非特許文献１では、ユーザのある地点付近における滞在時間がある閾値を超えた場合に、その地点を滞在地として推定する方式が提案されている。

【0003】

また、特許文献１では、ＧＰＳで、滞在場所を特定した上で滞在時間の長さから、滞在場所属性として自宅または職場を特定する方式が提案されている。このように、様々な滞在場所属性を特定することは、ユーザ自身の日常行動を記録するライフログサービスなどに有用であることから、従来より、様々な研究がなされている。

【0004】

例えば、特許文献２では、携帯端末に搭載されたセンサデータを収集し、それらのデータから推測可能な周辺状況に基づいた滞在場所属性の特定方式が提案されている。この方式によれば、例えば、照度の明るさから、滞在場所が本社ビルか支社ビルかを特定することができる。つまり、この技術では、滞在場所属性を特定する条件となる周辺状況と滞在場所属性との組からなるユーザ個別の辞書を作成することにより、ユーザの日常生活に適した滞在場所属性の特定を可能としている。

【先行技術文献】

【特許文献】

【0005】

【特許文献1】ＷＯ２０１１／１０２５４１パンフレット

【特許文献2】特開２０１３−２１０２２０号公報

【非特許文献】

【0006】

【非特許文献1】西野等；滞在地遷移情報からの行動パターン抽出方式の検討；情報処理学会研究報告．ユビキタスコンピューティングシステム，２００８（１１０）ｐｐ.５７−６４

【発明の概要】

【発明が解決しようとする課題】

【0007】

しかしながら、非特許文献１に記載の技術では、その滞在場所に紐づく具体的な場所までは特定することはできない。また、特許文献１に記載の技術では、滞在時間の長さだけを用いて、その他の飲食店などの属性を特定することはできない。さらに、特許文献２では、まず、滞在場所属性をユーザ自身で登録しなければならない点において、ユーザ負荷が高いという問題がある。また、滞在場所属性を特定するための手がかりとされる周辺状況が、場所固有の普遍性の高いものではない点も課題として挙げられる。つまり、例えば、照度から滞在場所として飲食店を特定したいとしても、店の雰囲気に応じて店内の照度は異なるし、同一店であっても時間経過とともに照度は変化する。そのため、単純にセンサ情報を取得するだけでは、滞在場所属性を特定出来るほどの特徴を有していないという問題がある。

【0008】

そこで、本発明は、上述の課題に鑑みてなされたものであり、滞在場所属性ごとに発生しうる行動系列を定め，定めた行動系列に対して、行動認識モデルから定まる混同行列を用いて、最大の認識誤り率を計算し、滞在場所属性を特定する滞在場所属性特定装置、滞在場所属性特定システム、滞在場所属性特定方法およびプログラムを提供することを目的とする。

【課題を解決するための手段】

【0009】

本発明は、上記の課題を解決するために以下の事項を提案している。

【0010】

（１）本発明は、滞在場所属性を特定する滞在場所属性特定装置であって、ユーザの行動を認識する行動認識手段と、該認識した行動に基づいて、行動履歴を保存する行動履歴記憶手段と、前記滞在場所属性ごとの人の行動特性を表す行動パターンを保存する行動パターン記憶手段と、行動認識モデルに対応した混同行列を保存する行動認識混同行列記憶手段と、滞在日時と前記滞在場所属性とを関連付けて保存する滞在場所属性履歴記憶手段と、前記行動パターンと行動認識モデルに対応した混同行列とを用いて、前記行動履歴から前記滞在場所属性を特定し、該特定した前記滞在場所属性を前記滞在場所属性履歴記憶手段に保存するとともに、前記行動履歴中の行動系列の誤りを訂正する滞在場所属性特定手段と、を備えたことを特徴とする滞在場所属性特定装置を提案している。

【0011】

（２）本発明は、（１）の滞在場所属性特定装置について、前記滞在場所属性特定手段は、前記滞在場所属性と前記滞在場所属性で発生しうる行動から構成される前記行動パターンにより、前記滞在場所属性ごとに発生しうる行動系列を定めることを特徴とする滞在場所属性特定装置を提案している。

【0012】

（３）本発明は、（２）の滞在場所属性特定装置について、前記滞在場所属性特定手段は、前記定めた行動系列に対して、前記混同行列を用いて、最大の認識誤り率を求め、前記滞在場所属性を特定することを特徴とする滞在場所属性特定装置を提案している。

【0013】

（４）本発明は、（３）の滞在場所属性特定装置について、前記滞在場所属性特定手段は、誤りを含んで認識した前記行動系列を前記最大の認識誤り率を用いて特定した行動系列により、前記行動履歴記憶手段に保存されている前記行動系列の誤りを訂正することを特徴とする滞在場所属性特定装置を提案している。

【0014】

（５）本発明は、（１）から（４）の滞在場所属性特定装置について、携帯端末から取得されるデータを入力として行動認識モデルからユーザ行動を認識する行動認識手段と、位置情報を取得する位置情報取得手段と、ユーザによる操作の有無をアプリケーションの動作状況から判定するアプリケーション動作監視手段と、前記ユーザの行動と、前記位置情報と、前記操作の有無とに基づいて生成した行動履歴を前記行動履歴記憶手段に保存し、前記滞在場所属性特定手段に行動履歴の更新を通知する行動履歴生成手段と、をさらに備えることを特徴とする滞在場所属性特定装置を提案している。

【0015】

（６）本発明は、（５）の滞在場所属性特定装置について、前記行動履歴生成手段は、前記ユーザの行動と前記位置情報と前記操作の有無が前記行動履歴記憶手段中の最新の行動履歴と一致する場合には、前記行動履歴を保存しないことを特徴とする滞在場所属性特定装置を提案している。

【0016】

（７）本発明は、携帯端末とサーバとからなり、滞在場所属性を特定する滞在場所属性特定システムであって、前記携帯端末が、取得されるデータを入力として行動認識モデルからユーザ行動を認識する行動認識手段と、位置情報を取得する位置情報取得手段と、ユーザによる操作の有無をアプリケーションの動作状況から判定するアプリケーション動作監視手段と、前記ユーザの行動と、前記位置情報と、前記操作の有無とに基づいて生成した行動履歴を前記行動履歴記憶手段に保存し、滞在場所属性特定手段に行動履歴の更新を通知する行動履歴生成手段と、を備え、前記サーバが、行動履歴を保存する行動履歴記憶手段と、前記滞在場所属性ごとの人の行動特性を表す行動パターンを保存する行動パターン記憶手段と、行動認識モデルに対応した混同行列を保存する行動認識混同行列記憶手段と、滞在日時と前記滞在場所属性とを関連付けて保存する滞在場所属性履歴記憶手段と、前記行動パターンと行動認識モデルに対応した混同行列とを用いて、前記行動履歴から前記滞在場所属性を特定し、該特定した前記滞在場所属性を前記滞在場所属性履歴記憶手段に保存するとともに、前記行動履歴中の行動系列の誤りを訂正する滞在場所属性特定手段と、を備えたことを特徴とする滞在場所属性特定システムを提案している。

【0017】

（８）本発明は、ユーザの行動を認識する行動認識手段と、該認識した行動に基づいて、行動履歴を保存する行動履歴記憶手段と、前記滞在場所属性ごとの人の行動特性を表す行動パターンを保存する行動パターン記憶手段と、行動認識モデルに対応した混同行列を保存する行動認識混同行列記憶手段と、滞在日時と前記滞在場所属性とを関連付けて保存する滞在場所属性履歴記憶手段と、滞在場所属性特定手段と、を備え、滞在場所属性を特定する滞在場所属性特定装置における滞在場所属性特定方法であって、前記滞在場所属性特定手段が、前記行動パターンと行動認識モデルに対応した混同行列とを用いて、前記行動履歴から前記滞在場所属性を特定する第１のステップと、前記滞在場所属性特定手段が、該特定した前記滞在場所属性を前記滞在場所属性履歴記憶手段に保存する第２のステップと、前記滞在場所属性特定手段が、前記行動履歴中の行動系列の誤りを訂正する第３のステップと、を備えたことを特徴とする滞在場所属性特定方法を提案している。

【0018】

（９）本発明は、ユーザの行動を認識する行動認識手段と、該認識した行動に基づいて、行動履歴を保存する行動履歴記憶手段と、前記滞在場所属性ごとの人の行動特性を表す行動パターンを保存する行動パターン記憶手段と、行動認識モデルに対応した混同行列を保存する行動認識混同行列記憶手段と、滞在日時と前記滞在場所属性とを関連付けて保存する滞在場所属性履歴記憶手段と、滞在場所属性特定手段と、を備え、滞在場所属性を特定する滞在場所属性特定装置における滞在場所属性特定方法をコンピュータに実行させるためのプログラムであって、前記滞在場所属性特定手段が、前記行動パターンと行動認識モデルに対応した混同行列とを用いて、前記行動履歴から前記滞在場所属性を特定する第１のステップと、前記滞在場所属性特定手段が、該特定した前記滞在場所属性を前記滞在場所属性履歴記憶手段に保存する第２のステップと、前記滞在場所属性特定手段が、前記行動履歴中の行動系列の誤りを訂正する第３のステップと、をコンピュータに実行させるためのプログラムを提案している。

【発明の効果】

【0019】

本発明によれば、滞在場所属性ごとに発生しうる行動系列を定め、定めた行動系列に対して、行動認識モデルから定まる混同行列を用いて、最大の認識誤り率を計算し、滞在場所属性を特定する。そのため、滞在場所ごとの周辺状況の変化に影響を受けず、滞在場所属性を特定できるという効果がある。また、ユーザに対する新規滞在場所属性の登録負荷を軽減できるという効果がある。さらに、サーバを用いたシステムを構築すれば、携帯端末の処理負荷、記憶容量の負担を軽減できるという効果がある。

【図面の簡単な説明】

【0020】

【図1】本発明の実施形態に係る滞在場所属性特定装置の構成ブロック図である。

【図2】本発明の実施形態に係る行動パターン記憶部に記憶される滞在場所属性ごとに発生しうる応用行動情報を示す図である。

【図3】本発明の実施形態に係る行動認識混同行列記憶部に記憶される応用行動に対応する行動認識モデルの混同行列を例示した図である。

【図4】本発明の実施形態に係る行動履歴記憶部に記憶される行動履歴情報を例示した図である。

【図5】本発明の実施形態に係る滞在場所属性履歴記憶部に記憶される滞在場所履歴情報を例示した図である。

【図6】本発明の実施形態に係る行動系列誤り訂正後の行動履歴情報を例示した図である。

【図7】本発明の実施形態に係る滞在場所属性特定部の処理フローチャートである。

【図8】本発明の実施形態に係る滞在場所属性特定システムの構成ブロック図である。

【発明を実施するための形態】

【0021】

以下、図面を用いて、本発明の実施形態について詳細に説明する。
なお、本実施形態における構成要素は適宜、既存の構成要素等との置き換えが可能であり、また、他の既存の構成要素との組み合わせを含む様々なバリエーションが可能である。したがって、本実施形態の記載をもって、特許請求の範囲に記載された発明の内容を限定するものではない。

【0022】

＜滞在場所属性特定装置の構成＞
図１を用いて、本実施形態に係る滞在場所属性特定装置の構成について説明する。

【0023】

本実施形態に係る滞在場所属性特定装置１００は、図１に示すように、例えば、加速度センサ１０１Ａ、傾きセンサ１０１Ｂからなるモーションセンサ１０１と、マイク１０２と、行動認識部１０３と、行動認識モデル部１０４と、アプリケーション動作監視部１０５と、ＧＰＳ受信部１０６と、ＧＰＳ測位部１０７と、行動履歴生成部１０８と、行動履歴記憶部１０９と、行動パターン記憶部１１０と、行動認識混同行列記憶部１１１と、滞在場所属性履歴記憶部１１２と、滞在場所属性特定部１１３とから構成されている。

【0024】

モーションセンサ１０１は、ユーザの行動情報を得るための加速度センサ１０１Ａ、傾きセンサ１０１Ｂ等からセンサ情報を取得し、取得した情報を行動認識部１０３に出力する。マイク１０２は、ユーザの滞在場所周辺の音声データを収集し、収集したデータを行動認識部１０３に出力する。

【0025】

行動認識部１０３は、モーションセンサ１０１およびマイク１０２が収集取得した情報、後述する行動認識モデルに基づいて、ユーザの行動系列を認識する。行動認識モデル部１０４は、モーションセンサ１０１およびマイク１０２が収集取得した情報に基づいて、行動認識モデルを生成する。具体的には、モーションセンサ１０１のモーションデータ、マイク１０２からの音声データの特徴量とユーザ行動の正解データから形成される訓練データを用いて、サポートベクターマシンなどの機械学習アルゴリズムにより生成する。

【0026】

アプリケーション動作監視部１０５は、ユーザによる携帯端末等の操作の有無をアプリケーションの動作状況から判定する。ＧＰＳ受信部１０６は、ＧＰＳ衛星からの信号を受信し、ＧＰＳ測位部１０７は、受信した信号に基づいて位置情報を算出する。

【0027】

行動履歴生成部１０８は、行動認識部１０３から得たユーザの行動系列から行動履歴情報を生成し、生成した情報を行動履歴記憶部１０９に格納する。また、滞在場所属性特定部１１３に行動履歴の更新を通知する。なお、ユーザの行動と位置情報と携帯端末等の操作の有無が行動履歴記憶部１０９中の最新の行動履歴と一致する場合には，行動履歴を保存しない。

【0028】

行動履歴記憶部１０９は、行動認識部１０３が認識した行動に基づいて、行動履歴を保存する。行動パターン記憶部１１０は、滞在場所属性ごとの人の行動特性を表す行動パターンを保存する。行動認識混同行列記憶部１１１は、行動認識モデルに対応した混同行列を保存する。滞在場所属性履歴記憶部１１２は、滞在日時と滞在場所属性とを関連付けて保存する。

【0029】

滞在場所属性特定部１１３は、行動パターンと行動認識モデルに対応した混同行列とを用いて、行動履歴から滞在場所属性を特定し、特定した滞在場所属性を滞在場所属性履歴記憶部１１２に保存するとともに、行動履歴中の行動系列の誤りを訂正する。具体的には、滞在場所属性と滞在場所属性で発生しうる行動から構成される行動パターンにより、滞在場所属性ごとに発生しうる行動系列を定める。定めた行動系列に対して、混同行列を用いて、最大の認識誤り率を求め、滞在場所属性を特定する。誤りを含んで認識した行動系列を最大の認識誤り率を用いて特定した行動系列によって、行動履歴記憶部１０９に保存されている行動系列の誤りを訂正する。より具体的には、行動認識混同行列記憶部１１１の滞在場所属性ごとの行動認識モデルに対応した混同行列を用いて、滞在場所属性に応じて、行動系列の認識誤りを訂正する。

【0030】

以下、図１から図６を用いて、具体的な事例に基づく説明を行なう。

【0031】

人は、滞在場所属性ごとに特徴的な行動をとる。例えば、書店では本の立ち読み行動、飲食店では、着席し飲食をしたり、本を読む行動、映画館では、着席し映像を視聴したり、飲食をする行動などである。そのため、一般的な人の行動特性から，滞在場所属性ごとに発生しうる行動系列を定めることが可能である。

【0032】

ここで、行動系列とは、上記のように、一般的な人の行動特性から，滞在場所属性ごとに発生しうる行動の集合をいい、本発明においては、具体的には、滞在場所属性が、「書店」の場合には、「読書」を指し、「飲食店」の場合には、「飲食、読書」を指し、「映画館」の場合には、「映画視聴、飲食」を指す。

【0033】

しかし、単純に、飲食をしたり、本を読んでいるからといって、滞在場所属性を飲食店とは特定できない。なぜなら、「歩行、走行、静止」のような基本行動については十分高い精度で認識可能であるが、「読書、飲食、映像視聴」のような応用行動（行動系列）については、認識誤りが生じる可能性が低いとは言えないからである。

【0034】

そこで、本実施形態では、この点も考慮して、滞在場所属性ごとに発生しうる行動系列を定め、定めた行動系列に対して、行動認識モデルから定まる混同行列を用いて、最大の認識誤り率を計算し、滞在場所属性を特定する。

【0035】

本発明では、認識対象行動を「歩行、走行、静止、読書、飲食、映像視聴、携帯端末操作」とし、特定対象滞在場所属性を「書店、飲食店、映画館」として説明する。このとき、「歩行、走行、静止、携帯端末操作」は、どこでも発生しうる基本動作とし、一般的な人の行動特性から、書店では「読書」、飲食店では「飲食，読書」、映画館では「映像視聴，飲食」が発生しうるとする（これを上記で定義したように、本実施形態における行動系列とする）。

【0036】

これにより、滞在場所属性ごとに発生しうる行動系列が定まる。「歩行、走行、静止」は、十分高い精度で認識可能であり、「携帯端末操作」は、携帯端末のアプリケーション動作を監視することで認識可能である。

【0037】

しかし、「読書、飲食、映像視聴」は、互いに認識誤りを生じやすい行動である。そのため、「読書、飲食、映像視聴」に対する行動認識の混同行列を生成する。この混同行列を用いれば、誤りを含んで認識した行動系列を最大の認識誤り率を用いて、特定することができるため、その行動系列を実際のユーザ行動系列と推定する。このような処理により、推定したユーザ行動系列から滞在場所属性が特定可能となる。

【0038】

図１に示すように、モーションデータと音声データを入力として行動認識モデルから、行動認識部１０３は、ユーザ行動を分刻みで認識し、ＧＰＳから緯度と経度で表される位置情報を取得する。さらに、アプリケーション動作監視部１０５が、アプリケーション動作状況から、ユーザが携帯端末を操作しているかどうかを判定する。行動認識部は、「歩行、走行、静止、読書、食事、映像視聴」を認識する。

【0039】

ここで、「歩行、走行、静止」のような基本行動は、十分高い精度で認識可能であるが、「読書、食事、映像視聴」のような応用行動（行動系列）については互いに認識誤りを生じることがある。そのため、例えば、行動認識部１０３が、ユーザ行動を「読書」と認識しても、実際には、「食事」または「映像視聴」である可能性も考えられる。

【0040】

そこで、行動履歴生成部１０８が、行動認識結果と位置情報とからなる行動履歴を生成し、この行動履歴を行動履歴記憶部１０９に保存する。ただし、行動の継続状態は、タイムスタンプからも読み取り可能であるため、行動認識結果または位置情報に変化があった場合にのみ、行動履歴を行動履歴記憶部１０９に保存することとする。このように滞在場所特定に必要ない情報を行動履歴記憶部１０９に保存しないことで、スマートフォンに必要な記憶容量を削減することができる。

【0041】

また、参考文献１、２などに記載の技術を用いれば、行動認識モデルをモーションデータ、音声データの特徴量、ユーザ行動の正解データとから形成される訓練データから、サポートベクターマシンなどの機械学習アルゴリズムにより生成することが可能となる。

【0042】

参考文献１；Ｓｔｅｆａｎ Ｄｅｍｂａｃｈ, ｅｔ ａｌ.,“Ｓｉｍｐｌｅ ａｎｄ Ｃｏｍｐｌｅｘ Ａｃｔｉｖｉｔｙ Ｒｅｃｏｇｎｉｔｉｏｎ Ｔｈｒｏｕｇｈ Ｓｍａｒｔ Ｐｈｏｎｅｓ”, １１^ｔｈ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｉｎｔｅｌｌｉｇｅｎｔ Ｅｎｖｉｒｏｎｍｅｎｔｓ, ２０１２.

【0043】

参考文献２；Ｋｏｊｉ Ｙａｔａｎｉ ａｎｄ Ｋｈａｉ Ｎ.Ｔｒｕｏｎｇ, “ＢｏｄｙＳｃｏｐｅ： Ａ Ｗｅａｒａｂｌｅ Ａｃｏｕｓｔｉｃ Ｓｅｎｓｏｒ ｆｏｒ Ａｃｔｉｖｉｔｙ Ｒｅｃｏｇｎｉｔｉｏｎ”, １４^ｔｈＡＣＭ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｕｂｉｑｕｉｔｏｕｓ Ｃｏｍｐｕｔｉｎｇ, ２０１２.

【0044】

「歩行，走行，静止」のような基本行動はいずれの滞在場所属性でも発生しうる。一方で、応用行動（行動系列）については、滞在場所属性ごとの人の行動特性から、発生しうる行動が異なる。図２は、滞在場所属性ごとに発生しうる応用行動（行動系列）を示しており、この情報を行動パターン記憶部１１０に保存する。

【0045】

例えば、「書店」であれば「読書」、「飲食店」であれば「飲食」または「読書」、「映画館」であれば「映像視聴」または「飲食」が発生しうる応用行動（行動系列）である。しかしながら、応用行動（行動系列）は基本行動とは異なり動作が複雑であるため、応用行動（行動系列）間で認識誤りが生じることがある。

【0046】

例えば、実際のユーザ行動が「飲食」であったとしても、行動認識部１０３が誤って、「読書」または「映像視聴」と認識する場合である。そのため、行動履歴中の応用行動（行動系列）認識結果には誤りが含まれている可能性がある。そこで、図３に示すような応用行動（行動系列）に対する行動認識モデルの混同行列を定める。

【0047】

ここで、図３の横軸に記載の「読書、飲食、映画視聴」は、実際に誤って認識された行動認識を示し、縦軸に記載の「読書、飲食、映画視聴」は、正しい行動認識を示している。

【0048】

混同行列は、一般的な認識モデルの評価指標の一つであり、行動認識モデルのテストデータに対する分類結果の正誤をまとめる過程で生成可能である。図３は、混同行列について、例えば、「読書」を認識するときに、正しく「読書」と認識可能な確率は７０％、誤って「食事」と認識する確率は２０％、「映像視聴」と認識する確率は１０％であることを表している。

【0049】

混同行列を用いれば、滞在場所属性ごとに発生しうる行動系列ｓから、誤りを含んだ行動系列ｅが発生する確率Ｐ（ｅ｜ｓ）を計算することができる。このとき、実際の行動系列はＰ（ｅ｜ｓ）を最大にする行動系列ｓ´と推定され、ｓ´から滞在場所属性を特定することが可能となる。特定した滞在場所属性は、滞在場所属性履歴記憶部１１２に滞在開始日時と滞在終了日時とともに保存し、行動履歴記憶部１０９中の誤りを含んだ行動系列ｅをｓ´に訂正する。なお、滞在場所属性特定部の処理については、図７を用いて後述する。

【0050】

図４は、行動履歴情報の例を示している。履歴情報は日時、行動、位置情報から構成される。例えば、２０１４／１０／４ １１：５９：００時点に位置（ｘ０、ｙ０）で歩行、２０１４／１０／４ １２：００：００時点に位置（ｘ１、ｙ１）で歩行という履歴が残っている。

【0051】

非特許文献１などによれば、位置情報履歴から、ある地点付近における滞留時間がある閾値を超えた場合に、滞在場所を特定することが可能となる。しかし、ここでは、簡単化のために、同一位置情報の場合にのみ同一地点に滞在していると見なして、以下、説明する。

【0052】

図４に示す行動履歴情報中では、２０１４／１０／４ １２：００：００から２０１４／１０／４ １２：４５：００まで、同一地点（ｘ１、ｙ１）に滞在していることが分かる。以下では、（ｘ１、ｙ１）の滞在場所属性を特定する処理例を説明する。

【0053】

図４から、（ｘ１、ｙ１）に滞在していた行動履歴情報中の行動系列ｅは以下の通りである。
２０１４／１０／４ １２：１８：００飲食
２０１４／１０／４ １２：２０：００映像視聴
２０１４／１０／４ １２：２２：００飲食
２０１４／１０／４ １２：３０：００読書
２０１４／１０／４ １２：３６：００映像視聴
２０１４／１０／４ １２：３７：００読書
２０１４／１０／４ １２：４１：００飲食
２０１４／１０／４ １２：４２：００読書
なお、２０１４／１０／４ １２：４５：００は、基本行動である「歩行」であるため、省略する。

【0054】

図４の例は、実際には、ユーザが「飲食店」で「飲食」をしながら「読書」をしているが、認識誤りにより行動系列ｅ中に「映像視聴」が含まれてしまっているものを例示している。

【0055】

仮に、滞在場所が「書店」であれば、図２より「書店」で発生しうる行動系列ｓは「読書」のみからなり、全ての応用行動（行動系列）が「読書」であるとした時に、ｅが発生する確率は、Ｐ（ｅ｜ｓ）＝（Ｐ（飲食｜読書））^２×（Ｐ(映像視聴｜読書)）^２×（Ｐ(飲食｜読書)）⁸×（Ｐ(読書｜読書)）⁶×（Ｐ(映像視聴｜読書)）×(Ｐ(読書｜読書))⁴×(Ｐ(飲食｜読書))×（Ｐ(読書｜読書)）³＝１．９８４２９Ｅ−１３となる。

【0056】

また、滞在場所が「書店」である場合には、行動行列ｓが「読書」のみであったが、滞在場所が「飲食店」の場合には、行動行列ｓが「読書」と「飲食」であるため、「読書」と「飲食」とからなる行動系列ｓの全ての組み合わせにおいて、発生する確率のうち最大なものは、Ｐ（ｅ｜ｓ）＝(Ｐ(飲食｜飲食))^２×（Ｐ(映像視聴｜飲食)）^２×（Ｐ(飲食｜飲食)）⁸×（Ｐ(読書｜読書)）⁶×（Ｐ(映像視聴｜飲食)）×(Ｐ(読書｜読書))⁴×（Ｐ(飲食｜飲食)）×（Ｐ(読書｜読書)）³＝６．４７Ｅ−０７となる。

【0057】

また、同様に、滞在場所が「映画館」である場合、「映像視聴」と「飲食」からなる行動系列ｓの全ての組み合わせにおいて、発生する確率のうち最大なものは、Ｐ（ｅ｜ｓ）＝（Ｐ(飲食｜飲食)）^２×（Ｐ(映像視聴｜映像視聴)）^２×（Ｐ(飲食｜飲食)）⁸×（Ｐ(読書｜飲食)）⁶×（Ｐ(映像視聴｜映像視聴)）×（Ｐ(飲食｜飲食)）⁴×（Ｐ(飲食｜飲食)）×（Ｐ(読書｜飲食)）³＝８．４４７７１Ｅ−１２となる。

【0058】

そして、この例では、上記から最も確率の高い滞在場所属性して「飲食店」が特定される。そして、滞在場所属性、滞在開始日時として（ｘ１、ｙ１）に滞在し始めた日時２０１４／１０／４ １２：００：００、滞在終了日時として（ｘ１、ｙ１）に最後に滞在した日時２０１４／１０／４ １２：４５：００からなる滞在場所属性履歴情報を滞在場所属性履歴記憶部１１２に保存する．このとき、滞在場所履歴情報は図５のように示される。また、Ｐ（ｅ｜ｓ）を最大とする行動系列に従って、行動履歴中の行動系列誤りを訂正する。図６に、誤り訂正後の行動履歴情報を示す。

【0059】

＜滞在場所属性特定部の処理＞
図７を用いて、本実施形態に係る滞在場所属性特定部の処理について説明する。

【0060】

まず、行動履歴生成部１０８から行動履歴の更新通知を受信する（ステップＳ１１０）。滞在場所属性特定部１１３は、更新された行動履歴情報、行動パターン情報、行動認識の混同行列情報を取得する（ステップＳ１２０）。

【0061】

次に、滞在場所属性履歴記憶部１１２から１番目、２番目に新しい履歴情報ｈ１、ｈ２を取得し（ステップＳ１３０）、ｈ１とｈ２との間で滞在時間が一致するか否かを判断する（ステップＳ１４０）。

【0062】

判断の結果、ｈ１とｈ２との間で滞在時間が一致しないと判断した場合（ステップＳ１４０の「Ｎｏ」）には、滞在場所属性履歴記憶部１１２からｈ２と同一の滞在場所の履歴情報集合Ｈを取得し、Ｈから応用行動（行動系列）ｅを取得する（ステップＳ１５０）。

【0063】

そして、行動パターン情報と混同行列情報とから最大の誤り率で生成される行動系列（応用行動）ｓを求め、このｓから滞在場所属性を特定し（ステップＳ１６０）、滞在場所属性とＨとから取得可能な滞在開始日時、滞在終了日時を滞在場所属性履歴記憶部１１２に保存するとともに（ステップＳ１７０）、ｓにしたがって、行動履歴情報内の行動系列の誤りを訂正して、処理を終了する（ステップＳ１８０）。

【0064】

一方、ステップＳ１４０において、ｈ１とｈ２との間で滞在時間が一致すると判断した場合（ステップＳ１４０の「Ｙｅｓ」）には、そのまま、処理を終了する。

【0065】

以上、説明したように、本実施形態によれば、滞在場所属性ごとに発生しうる行動系列（応用行動）を定め、定めた行動系列（応用行動）に対して、行動認識モデルから定まる混同行列を用いて、最大の認識誤り率を計算し、滞在場所属性を特定する。そのため、滞在場所ごとの周辺状況変化に影響を受けず滞在場所属性を特定できる。

【0066】

＜変形実施形態＞
上記の実施形態では、滞在場所属性特定装置１００がすべての処理を完結する場合について説明したが、例えば、図８に示すように、携帯端末２００とサーバ３００とによるシステムでこれを実現することもできる。

【0067】

具体的には、図８に示すように、携帯端末２００が、例えば、加速度センサ１０１Ａ、傾きセンサ１０１Ｂからなるモーションセンサ１０１と、マイク１０２と、行動認識部１０３と、行動認識モデル部１０４と、アプリケーション動作監視部１０５と、ＧＰＳ受信部１０６と、ＧＰＳ測位部１０７と、行動履歴生成部１０８とを備え、サーバ３００が、行動履歴記憶部１０９と、行動パターン記憶部１１０と、行動認識混同行列記憶部１１１と、滞在場所属性履歴記憶部１１２と、滞在場所属性特定部１１３とを備えるように、システムを構成してもよい。

【0068】

このようなシステム構成とすることにより、携帯端末の処理負荷、記憶容量の負担を軽減できる。

【0069】

なお、滞在場所属性特定装置、携帯端末、サーバの処理をコンピュータシステムが読み取り可能な記録媒体に記録し、この記録媒体に記録されたプログラムを滞在場所属性特定装置、携帯端末、サーバに読み込ませ、実行することによって本発明の滞在場所属性特定装置、滞在場所属性特定システムを実現することができる。ここでいうコンピュータシステムとは、ＯＳや周辺装置等のハードウェアを含む。

【0070】

また、「コンピュータシステム」は、ＷＷＷ（Ｗｏｒｌｄ Ｗｉｄｅ Ｗｅｂ）システムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。

【0071】

また、上記プログラムは、前述した機能の一部を実現するためのものであってもよい。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組合せで実現できるもの、いわゆる差分ファイル（差分プログラム）であってもよい。

【0072】

以上、この発明の実施形態につき、図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。

【符号の説明】

【0073】

１００；滞在場所属性特定装置
１０１；モーションセンサ
１０１Ａ；加速度センサ
１０１Ｂ；傾きセンサ
１０２；マイク
１０３；行動認識部
１０４；行動認識モデル部
１０５；アプリケーション動作監視部
１０６；ＧＰＳ受信部
１０７；ＧＰＳ測位部
１０８；行動履歴生成部
１０９；行動履歴記憶部
１１０；行動パターン記憶部
１１１；行動認識混同行列記憶部
１１２；滞在場所属性履歴記憶部
１１３；滞在場所属性特定部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】