6185968 情報処理システム、携帯端末、サーバ装置、情報処理方法及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6185968

(24)【登録日】2017年8月4日

(45)【発行日】2017年8月23日

(54)【発明の名称】情報処理システム、携帯端末、サーバ装置、情報処理方法及びプログラム

(51)【国際特許分類】

   G06Q 50/10 20120101AFI20170814BHJP

   G08B 25/04 20060101ALN20170814BHJP

【ＦＩ】

   G06Q50/10

   !G08B25/04 E

【請求項の数】12

【全頁数】24

(21)【出願番号】特願2015-183144(P2015-183144)

(22)【出願日】2015年9月16日

(65)【公開番号】特開2017-58945(P2017-58945A)

(43)【公開日】2017年3月23日

【審査請求日】2016年12月9日

【早期審査対象出願】

(73)【特許権者】

【識別番号】500257300

【氏名又は名称】ヤフー株式会社

(74)【代理人】

【識別番号】100107766

【弁理士】

【氏名又は名称】伊東 忠重

(74)【代理人】

【識別番号】100070150

【弁理士】

【氏名又は名称】伊東 忠彦

(72)【発明者】

【氏名】坪内 孝太

(72)【発明者】

【氏名】西 賢太郎

【審査官】 大野 朋也

(56)【参考文献】

【文献】 特開２００７−１３３５３１（ＪＰ，Ａ）

【文献】 特表２００３−５２３５８１（ＪＰ，Ａ）

【文献】 特開２０１５−１９１５５４（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｑ １０／００−９９／００

Ｇ０８Ｂ ２５／０４

(57)【特許請求の範囲】

【請求項1】

ユーザの現在の動作を示す動作情報を取得する取得手段と、
前記取得手段により取得された動作情報を、所定の状態における前記ユーザの動作を示す基準情報と比較することで、前記ユーザの状態変化の有無を判定する判定手段と、
前記判定手段により状態変化があったと判定された場合に、前記動作情報に含まれる前記ユーザの視線に関する視線情報に基づいて、前記ユーザが視認する領域を算出する算出手段と、を有し、
前記判定手段は、前記ユーザが置かれる状況を示すパラメータに応じて分けて管理された前記基準情報のうち、前記ユーザが現在置かれている状況に応じた基準情報と比較することで、前記ユーザの状態変化の有無を判定することを特徴とする情報処理システム。

【請求項2】

前記判定手段により状態変化があったと判定された場合に、前記取得手段により取得された動作情報から、前記ユーザの視線に関する視線情報を収集する収集手段を更に有し、
前記算出手段は、前記収集手段により収集された視線情報に基づいて、前記ユーザが視認する領域を算出することを特徴とする請求項１に記載の情報処理システム。

【請求項3】

前記算出手段は、前記収集手段により収集された、複数のユーザの視線情報に基づいて、該複数のユーザが重複して視認する領域を算出することを特徴とする請求項２に記載の情報処理システム。

【請求項4】

前記判定手段は、前記ユーザの目の焦点距離が所定の閾値以上であった場合に、前記ユーザの状態変化があったと判定することを特徴とする請求項１乃至３のいずれか１項に記載の情報処理システム。

【請求項5】

前記判定手段は、前記ユーザの目の視線方向が一定となっている時間が所定の閾値以上であった場合に、前記ユーザの状態変化があったと判定することを特徴とする請求項１乃至４のいずれか１項に記載の情報処理システム。

【請求項6】

前記判定手段は、前記ユーザの左右方向の首振り角度が所定の閾値以上であった場合、または、上下方向の首振り角度が所定の閾値以上であった場合に、前記ユーザの状態変化があったと判定することを特徴とする請求項１乃至５のいずれか１項に記載の情報処理システム。

【請求項7】

前記ユーザが置かれる状況を示すパラメータには、日時、位置、天候、気温のいずれかが含まれ、それぞれの状況における前記基準情報は、前記ユーザの過去の行動パターンに基づいて決定されることを特徴とする請求項１乃至６のいずれか１項に記載の情報処理システム。

【請求項8】

サーバ装置と接続される携帯端末であって、
ユーザの現在の動作を示す動作情報を取得する取得手段と、
前記取得手段により取得された動作情報を、所定の状態における前記ユーザの動作を示す基準情報と比較することで、前記ユーザの状態変化の有無を判定する判定手段と、
前記判定手段により状態変化があったと判定された場合に、前記動作情報に含まれる前記ユーザの視線に関する視線情報を前記サーバ装置に送信する送信手段と、を有し、
前記判定手段は、前記ユーザが置かれる状況を示すパラメータに応じて分けて管理された前記基準情報のうち、前記ユーザが現在置かれている状況に応じた基準情報と比較することで、前記ユーザの状態変化の有無を判定することを特徴とする携帯端末。

【請求項9】

携帯端末を所持するユーザの現在の動作を示す動作情報を取得する取得手段と、
前記取得手段により取得された動作情報を、所定の状態における前記ユーザの動作を示す基準情報と比較することで、前記ユーザの状態変化の有無を判定する判定手段と、
前記判定手段により状態変化があったと判定された場合に、前記動作情報に含まれる前記ユーザの視線に関する視線情報に基づいて、前記ユーザが視認する領域を算出する算出手段と、を有し、
前記判定手段は、前記ユーザが置かれる状況を示すパラメータに応じて分けて管理された前記基準情報のうち、前記ユーザが現在置かれている状況に応じた基準情報と比較することで、前記ユーザの状態変化の有無を判定することを特徴とするサーバ装置。

【請求項10】

取得手段が、ユーザの現在の動作を示す動作情報を取得する取得工程と、
判定手段が、前記取得工程において取得された動作情報を、所定の状態における前記ユーザの動作を示す基準情報と比較することで、前記ユーザの状態変化の有無を判定する判定工程と、
算出手段が、前記判定工程において状態変化があったと判定された場合に、前記動作情報に含まれる前記ユーザの視線に関する視線情報に基づいて、前記ユーザが視認する領域を算出する算出工程と、を有し、
前記判定工程は、前記ユーザが置かれる状況を示すパラメータに応じて分けて管理された前記基準情報のうち、前記ユーザが現在置かれている状況に応じた基準情報と比較することで、前記ユーザの状態変化の有無を判定することを特徴とする情報処理方法。

【請求項11】

サーバ装置と接続される携帯端末のコンピュータに、
ユーザの現在の動作を示す動作情報を取得する取得工程と、
前記取得工程において取得された動作情報を、所定の状態における前記ユーザの動作を示す基準情報と比較することで、前記ユーザの状態変化の有無を判定する判定工程と、
前記判定工程において状態変化があったと判定された場合に、前記動作情報に含まれる前記ユーザの視線に関する視線情報を前記サーバ装置に送信する送信工程と、を実行させるためのプログラムであって、
前記判定工程は、前記ユーザが置かれる状況を示すパラメータに応じて分けて管理された前記基準情報のうち、前記ユーザが現在置かれている状況に応じた基準情報と比較することで、前記ユーザの状態変化の有無を判定することを特徴とするプログラム。

【請求項12】

サーバ装置のコンピュータに、
携帯端末を所持するユーザの現在の動作を示す動作情報を取得する取得工程と、
前記取得工程において取得された動作情報を、所定の状態における前記ユーザの動作を示す基準情報と比較することで、前記ユーザの状態変化の有無を判定する判定工程と、
前記判定工程において状態変化があったと判定された場合に、前記動作情報に含まれる前記ユーザの視線に関する視線情報に基づいて、前記ユーザが視認する領域を算出する算出工程と、を実行させるためのプログラムであって、
前記判定工程は、前記ユーザが置かれる状況を示すパラメータに応じて分けて管理された前記基準情報のうち、前記ユーザが現在置かれている状況に応じた基準情報と比較することで、前記ユーザの状態変化の有無を判定することを特徴とするプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、情報処理システム、携帯端末、サーバ装置、情報処理方法及びプログラムに関する。

【背景技術】

【0002】

従来より、歩行者等の不特定多数の人の動作を示す動作情報を収集することで、複数の人が注目する何らかの事象（何らかの異常や、興味を引く出来事等）の発生を検出し、当該事象が発生している領域を推定する技術が知られている。

【0003】

例えば、歩行者等が所持する携帯端末の位置情報を収集することで、何らかの異常の発生により複数の人が立ち止まっている状況をいち早く検出し、当該異常が発生している領域を特定する技術が知られている。

【0004】

あるいは、所定の位置に撮像装置を設置し、歩行者等の不特定多数の人を撮影することで得た画像情報を用いて、複数の人の視線を検出し、視線が集まっている領域を特定することで、当該領域で何らかの事象が発生したことを検出する技術が知られている。

【先行技術文献】

【特許文献】

【0005】

【特許文献1】特開２００８−４０７５８号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

しかしながら、上記のように歩行者等が所持する携帯端末の位置情報を収集しただけでは、異常が発生している領域を精度よく推定することは難しい。例えば、何らかの異常を遠巻きに見ている状況の場合、人々が立ち止まっている位置の位置情報が、異常が発生している領域を表しているとは限らないからである。

【0007】

一方で、視線が集まっている領域を特定して異常が発生している領域を検出する方法の場合、このような問題は回避できる。しかしながら、不特定多数の人の視線を監視して、異常が発生している領域を常時検出しようとすると、膨大なデータ量を高速で処理する必要があり、計算コストがかかるという問題がある。

【0008】

本発明は上記課題に鑑みてなされたものであり、複数の人が注目する事象が発生している領域を、当該複数の人の視線に基づいて特定するシステムを、低コストで実現することを目的とする。

【課題を解決するための手段】

【0009】

本発明の一実施形態に係る情報処理システムは、以下のような構成を備える。即ち、
ユーザの現在の動作を示す動作情報を取得する取得手段と、
前記取得手段により取得された動作情報を、所定の状態における前記ユーザの動作を示す基準情報と比較することで、前記ユーザの状態変化の有無を判定する判定手段と、
前記判定手段により状態変化があったと判定された場合に、前記動作情報に含まれる前記ユーザの視線に関する視線情報に基づいて、前記ユーザが視認する領域を算出する算出手段と、を有し、
前記判定手段は、前記ユーザが置かれる状況を示すパラメータに応じて分けて管理された前記基準情報のうち、前記ユーザが現在置かれている状況に応じた基準情報と比較することで、前記ユーザの状態変化の有無を判定することを特徴とする。

【発明の効果】

【0010】

複数の人が注目する事象が発生している領域を、当該複数の人の視線に基づいて特定するシステムを、低コストで実現することが可能となる。

【図面の簡単な説明】

【0011】

【図1】視線情報収集システムの全体構成の一例を示す図である。

【図2】ウェアラブルデバイスおよび携帯端末のハードウェア構成の一例を示す図である。

【図3】サーバ装置のハードウェア構成の一例を示す図である。

【図4】携帯端末の機能構成の一例を示す図である。

【図5】状態変化判定情報の一例を示す図である。

【図6】状態変化判定処理の流れを示すフローチャートである。

【図7】状態変化判定処理の流れを示すフローチャートである。

【図8】状態変化情報送信処理の流れを示すフローチャートである。

【図9】サーバ装置の機能構成の一例を示す図である。

【図10】事象が発生している領域を特定するまでの処理を説明するための図である。

【図11】状態変化判定処理の流れを示すフローチャートである。

【図12】状態変化判定処理の流れを示すフローチャートである。

【図13】携帯端末の機能構成の一例を示す図である。

【図14】それぞれの状況下での基準情報が規定された状態変化判定情報を説明するための図である。

【図15】それぞれの状況下での基準情報が規定された状態変化判定情報を説明するための図である。

【図16】それぞれの状況下での基準情報が規定された状態変化判定情報を説明するための図である。

【図17】携帯端末のハードウェア構成の一例を示す図である。

【発明を実施するための形態】

【0012】

以下、各実施形態について添付の図面を参照しながら説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複した説明を省く。

【0013】

［第１の実施形態］
＜１．視線情報収集システムの全体構成＞
はじめに、本実施形態に係る情報処理システムの一例である視線情報収集システムの全体構成について説明する。図１は、視線情報収集システムの全体構成の一例を示す図である。

【0014】

図１に示すように、視線情報収集システム１００は、ユーザ１５０に装着される眼鏡型のウェアラブルデバイス１１０と、ユーザ１５０により所持される携帯端末１２０と、サーバ装置１３０とを有する。ウェアラブルデバイス１１０と携帯端末１２０とは、近距離無線通信により通信可能に接続されている。また、携帯端末１２０とサーバ装置１３０とは、インターネットやＬＡＮ（Local Area Network）等に代表されるネットワーク１４０を介して接続されている。なお、図１の例では、ウェアラブルデバイス１１０を装着し携帯端末１２０を所持するユーザ１５０を一人のみ示しているが、実際には、複数のユーザが存在しているものとする。

【0015】

ウェアラブルデバイス１１０は、ユーザ１５０の各種動作を検出するための動作センサを有しており、ユーザ１５０の各種動作をリアルタイムに検出し、検出した動作データ（ユーザの動作を示す動作情報）を、携帯端末１２０に送信する。ウェアラブルデバイス１１０が有する動作センサには、例えば、ユーザ１５０の目の動きを検出し、視線データを出力する視線センサが含まれる。また、ユーザ１５０の頭部の姿勢を検出し、頭部姿勢データを出力する頭部姿勢センサ、ユーザ１５０が発話する音声を検出し、音声データを出力する音声センサが含まれる。

【0016】

携帯端末１２０は、ウェアラブルデバイス１１０より送信された動作データ（ここでは、視線データ、頭部姿勢データ、音声データ）を受信する。また、携帯端末１２０は、ウェアラブルデバイス１１０が検出していない、ユーザ１５０のその他の動作を検出するための動作センサを有する。更に、携帯端末１２０は、ウェアラブルデバイス１１０以外のウェアラブルデバイス（不図示）により検出された、ユーザ１５０のその他の動作を示す動作データを受信する。

【0017】

携帯端末１２０が有する動作センサには、例えばユーザ１５０が歩行等を行うことで生じる振動を検出し、振動データを出力する振動センサが含まれる。また、ユーザ１５０の現在位置を検出し、ＧＰＳデータ（緯度データ、経度データ、高度データ）を出力するＧＰＳセンサが含まれる。

【0018】

また、携帯端末１２０が、ウェアラブルデバイス１１０以外のウェアラブルデバイスより受信する動作データには、例えばユーザ１５０の脈波を検出する脈波センサより送信される脈波データが含まれる。

【0019】

携帯端末１２０は、ウェアラブルデバイス１１０またはそれ以外のウェアラブルデバイスより受信した動作データ及び携帯端末１２０が有する動作センサが検出した動作データに基づいて、ユーザ１５０の状態変化の有無を判定する。また、携帯端末１２０は、ユーザ１５０に状態変化があったと判定した際に取得した視線データに基づいて、状態変化情報を生成し、サーバ装置１３０に送信する。

【0020】

また、携帯端末１２０は、状態変化情報の送信に応じてサーバ装置１３０より解析結果情報を受信し、表示部に表示する。

【0021】

サーバ装置１３０は、携帯端末１２０から送信される状態変化情報を解析し、解析結果を携帯端末１２０に送信する装置である。サーバ装置１３０には、情報収集プログラム、状態解析プログラム、解析結果送信プログラムがインストールされている。サーバ装置１３０はこれらのプログラムを実行することで、情報収集部１３１、状態解析部１３２、解析結果送信部１３３として機能する。

【0022】

情報収集部１３１は、携帯端末１２０から送信される状態変化情報を受信する。なお、情報収集部１３１は、複数のユーザがそれぞれ所持する携帯端末から送信される状態変化情報を受信するものとする。

【0023】

状態解析部１３２は、情報収集部１３１において受信された状態変化情報を用いて、送信元の携帯端末１２０を所持するユーザ１５０の視線位置を算出する。また、状態解析部１３２は、複数のユーザそれぞれの視線位置を算出することで、複数の人がそれぞれ視認する領域を特定したうえで、複数の人が重複して視認する領域を算出することで、何らかの事象が発生している領域を特定する。

【0024】

なお、ここでいう"何らかの事象が発生している"とは、例えば、地割れが起きている、電線に異物が引っかかっている、道路に異物が落ちている等のように、何らかの異常が発生していることが含まれる。また、デジタルサイネージが表示されている、花火が打ち上げられている等のように、人々の興味を引く出来事が発生していることが含まれる。更に、何らかの異常や人々の興味を引く出来事は、一定の場所にとどまって発生している事象に限られず、移動を伴う事象であってもよい。具体的には、宣伝車が通過した、逃げ出した動物が横切った等の事象であってもよい。

【0025】

解析結果送信部１３３は、状態解析部１３２により特定された、事象が発生している領域が明示された地図を含む解析結果情報を、携帯端末１２０に送信するとともに、解析結果格納部１３４に格納する。

【0026】

＜２．各装置のハードウェア構成＞
次に、視線情報収集システム１００を構成する各装置のハードウェア構成について説明する。

【0027】

（１）ウェアラブルデバイスのハードウェア構成
はじめに、ウェアラブルデバイス１１０のハードウェア構成について説明する。図２（ａ）は、ウェアラブルデバイス１１０のハードウェア構成の一例を示す図である。

【0028】

図２（ａ）に示すように、ウェアラブルデバイス１１０は、ＣＰＵ２０１、ＲＯＭ（Read Only Memory）２０２、ＲＡＭ（Random Access Memory）２０３、補助記憶部２０４、通信部２０５を備える。また、ウェアラブルデバイス１１０は、操作スイッチ２０６、表示部２０７、視線センサ２０８、頭部姿勢センサ２０９、音声センサ２１０を有する。なお、ウェアラブルデバイス１１０の各部は、バス２１１を介して相互に接続されている。

【0029】

ＣＰＵ２０１は、補助記憶部２０４にインストールされた各種プログラムを実行するコンピュータである。ＲＯＭ２０２は、不揮発性メモリである。ＲＯＭ２０２は、補助記憶部２０４に格納された各種プログラムをＣＰＵ２０１が実行するために必要な各種プログラム、データ等を格納する主記憶部として機能する。具体的には、ＲＯＭ２０２はＢＩＯＳ（Basic Input/Output System）やＥＦＩ（Extensible Firmware Interface）等のブートプログラム等を格納する。

【0030】

ＲＡＭ２０３は、ＤＲＡＭ（Dynamic Random Access Memory）やＳＲＡＭ（Static Random Access Memory）等の揮発性メモリであり、主記憶部として機能する。ＲＡＭ２０３は、補助記憶部２０４に格納された各種プログラムがＣＰＵ２０１によって実行される際に展開される、作業領域を提供する。

【0031】

補助記憶部２０４は、ウェアラブルデバイス１１０にインストールされた各種プログラムや、各種プログラムを実行する際に用いるデータ等を格納する。

【0032】

通信部２０５は、ウェアラブルデバイス１１０が近距離無線通信により携帯端末１２０と通信するためのデバイスである。

【0033】

操作スイッチ２０６は、ユーザ１５０がウェアラブルデバイスに対して各種指示を入力するためのデバイスである。表示部２０７は、各種情報をユーザ１５０に表示するためのデバイスである。

【0034】

視線センサ２０８は、ユーザ１５０の目の動きを検出し、視線データを出力する。頭部姿勢センサ２０９は、ユーザ１５０の頭部の姿勢を検出し、頭部姿勢データを出力する。音声センサ２１０は、ユーザ１５０が発話する音声を検出し、音声データを出力する。

【0035】

（２）携帯端末のハードウェア構成
次に、携帯端末１２０のハードウェア構成について説明する。図２（ｂ）は、携帯端末１２０のハードウェア構成の一例を示す図である。

【0036】

図２（ｂ）に示すように、携帯端末１２０は、ＣＰＵ２２１、ＲＯＭ２２２、ＲＡＭ２０３、補助記憶部２０４、第１通信部２２５を備える。また、携帯端末１２０は、操作部２２６、表示部２２７、脈波データ取得部２２８、振動センサ２２９、ＧＰＳセンサ２３０、第２通信部２３１を有する。なお、携帯端末１２０の各部は、バス２３２を介して相互に接続されている。

【0037】

ＣＰＵ２２１は、補助記憶部２２４にインストールされた各種プログラムを実行するコンピュータである。ＲＯＭ２２２は、不揮発性メモリである。ＲＯＭ２２２は、補助記憶部２２４に格納された各種プログラムをＣＰＵ２２１が実行するために必要な各種プログラム、データ等を格納する主記憶部として機能する。具体的には、ＲＯＭ２２２はＢＩＯＳやＥＦＩ等のブートプログラム等を格納する。

【0038】

ＲＡＭ２２３は、ＤＲＡＭやＳＲＡＭ等の揮発性メモリであり、主記憶部として機能する。ＲＡＭ２２３は、補助記憶部２２４に格納された各種プログラムがＣＰＵ２２１によって実行される際に展開される、作業領域を提供する。

【0039】

補助記憶部２２４は、携帯端末１２０にインストールされた各種プログラムや、各種プログラムを実行する際に用いるデータ等を格納する。

【0040】

第１通信部２２５は、携帯端末１２０が近距離無線通信によりウェアラブルデバイス１１０と通信するためのデバイスである。

【0041】

操作部２２６は、ユーザ１５０による携帯端末１２０への入力を受け付ける。ユーザ１５０により文字が入力された場合には、テキストデータを出力する。表示部２２７は、各種情報（例えば、解析結果情報）をユーザ１５０に表示するためのデバイスである。

【0042】

脈波データ取得部２２８は、不図示のウェアラブルデバイスが有する脈波センサ２４０が接続され、脈波センサ２４０により脈波が検出されることで出力された脈波データを取得する。

【0043】

振動センサ２２９は、ユーザ１５０が歩行等を行うことで生じる振動を検出し、振動データを出力する。

【0044】

ＧＰＳセンサ２３０は、ユーザ１５０の現在位置を検出し、ＧＰＳデータ（緯度データ、経度データ、高度データ）を出力する。

【0045】

第２通信部２３１は、サーバ装置１３０と接続し、サーバ装置１３０に状態変化情報を送信したり、サーバ装置１３０より解析結果情報を受信したりする。

【0046】

（３）サーバ装置のハードウェア構成
次に、サーバ装置１３０のハードウェア構成について説明する。図３は、サーバ装置のハードウェア構成の一例を示す図である。

【0047】

図３に示すように、サーバ装置１３０は、ＣＰＵ３０１、ＲＯＭ３０２、ＲＡＭ３０３、補助記憶部３０４、操作部３０５、表示部３０６、通信部３０７を備える。なお、サーバ装置１３０の各部は、バス３０８を介して相互に接続されている。

【0048】

ＣＰＵ３０１は、補助記憶部３０４にインストールされた各種プログラム（情報収集プログラム、状態解析プログラム、解析結果送信プログラム）を実行するコンピュータである。ＲＯＭ３０２は、不揮発性メモリである。ＲＯＭ３０２は、補助記憶部３０４に格納された各種プログラムをＣＰＵ３０１が実行するために必要な各種プログラム、データ等を格納する主記憶部として機能する。具体的には、ＲＯＭ３０２はＢＩＯＳやＥＦＩ等のブートプログラム等を格納する。

【0049】

ＲＡＭ３０３は、ＤＲＡＭやＳＲＡＭ等の揮発性メモリであり、主記憶部として機能する。ＲＡＭ３０３は、補助記憶部３０４に格納された各種プログラムがＣＰＵ３０１によって実行される際に展開される、作業領域を提供する。

【0050】

補助記憶部３０４は、サーバ装置１３０にインストールされた各種プログラムや、各種プログラムを実行する際に用いるデータ等を格納する。

【0051】

操作部３０５は、サーバ装置１３０の管理者によるサーバ装置１３０への入力を受け付けるデバイスである。表示部３０６は、サーバ装置１３０の内部情報を表示するデバイスである。通信部３０７は、携帯端末１２０と通信を行うためのデバイスである。

【0052】

＜３．携帯端末の機能構成＞
次に、携帯端末１２０の機能構成について説明する。図４は、携帯端末の機能構成の一例を示す図である。図４に示すように、携帯端末１２０は、視線データ解析部４０１、頭部姿勢データ解析部４０２、音声データ解析部４０３、振動データ解析部４０４、脈波データ解析部４０５、テキストデータ解析部４０６、ＧＰＳデータ解析部４０７を有する。また、携帯端末１２０は、状態変化判定部４１０、状態変化情報送信部４２０を有する。

【0053】

視線データ解析部４０１は、ウェアラブルデバイス１１０より受信した視線データを解析することで、ユーザ１５０の目の焦点距離及び視線方向を算出し、焦点距離データ及び視線方向データを状態変化判定部４１０に通知する。

【0054】

頭部姿勢データ解析部４０２は、ウェアラブルデバイス１１０より受信した頭部姿勢データを解析することで、ユーザ１５０の上下方向及び左右方向の首振り角度を算出し、上下首振り角度データ及び左右首振り角度データを状態変化判定部４１０に通知する。

【0055】

音声データ解析部４０３は、ウェアラブルデバイス１１０より受信した音声データを解析することで、ユーザ１５０が発話した音声を特定し、特定データ（音声）を状態変化判定部４１０に通知する。

【0056】

振動データ解析部４０４は、ウェアラブルデバイス１１０より受信した振動データを解析することで、ユーザ１５０が歩行等を行った際の移動速度を算出し、移動速度データを状態変化判定部４１０に通知する。

【0057】

脈波データ解析部４０５は、脈波データ取得部２２８において取得された脈波データを解析することで、単位時間あたりの脈拍数を算出し、脈拍数データを状態変化判定部４１０に通知する。

【0058】

テキストデータ解析部４０６は、操作部２２６より出力されたテキストデータを解析し、状態変化判定部４１０に通知する。なお、操作部２２６より出力されたテキストデータには、例えば、ツイッタへの文字入力を識別することで得たテキストデータ、検索クエリとして入力された文字を識別することで得たテキストデータ等が含まれる。

【0059】

ＧＰＳデータ解析部４０７は、ＧＰＳセンサ２３０が取得したＧＰＳデータ（緯度データ、経度データ、高度データ）を、状態変化情報送信部４２０に送信する。

【0060】

状態変化判定部４１０は、所定の状態（定常状態）におけるユーザの動作を示す基準情報が格納された状態変化判定情報ＤＢ４３０を参照し、該基準情報と、ユーザ１５０の現在の動作を示す動作データに応じたデータ（判定データ）とを比較する。状態変化判定部４１０は、基準情報と判定データとの比較の結果に基づいて、ユーザ１５０の状態変化の有無を判定する。なお、定常状態とは、いずれの事象も発生していない場合のユーザ１５０の状態をいい、定常状態におけるユーザの動作を示す基準情報は、定常状態において取得された過去の動作データに応じた判定データに基づいて決定される。決定方法は任意であるが、例えば、定常状態における判定データからｘ％ずれた値を基準情報として決定してもよい。また、決定に際して用いる過去の動作データは、当該ユーザ自身の過去の動作データに関わらず、他のユーザの過去の動作データであってもよい。また、基準情報の決定は、携帯端末１２０のユーザが行っても、サーバ装置１３０の管理者が行ってもよい。更に、決定した基準情報は、後で微調整ができるように構成してもよく、その際の微調整は、携帯端末１２０のユーザが行っても、サーバ装置１３０の管理者が行ってもよい。

【0061】

具体的には、定常状態において取得された過去の視線データを用いて算出された焦点距離に基づいて基準情報を決定する。あるいは、定常状態において取得された過去の脈波データを用いて算出された脈拍数に基づいて基準情報を決定する。

【0062】

状態変化判定部４１０は、ユーザ１５０の現在の動作データに応じた判定データに基づいて、ユーザ１５０の状態が変化したと判定した場合、状態変化情報送信部４２０に、視線情報を送信する。具体的には、状態変化判定部４１０は、ユーザ１５０の状態が変化したと判定した際に取得した、焦点距離データ、視線方向データを、視線情報として状態変化情報送信部４２０に通知する。

【0063】

状態変化情報送信部４２０は、状態変化判定部４１０より視線情報を受信すると、受信時にＧＰＳデータ解析部４０７より通知されたＧＰＳデータと、受信前後においてテキストデータ解析部４０６より通知されたテキストデータとを含む状態変化情報を生成する。また、状態変化情報送信部４２０は、生成した状態変化情報をサーバ装置１３０に送信する。更に、状態変化情報送信部４２０は、サーバ装置１３０に状態変化情報を送信したことを示す履歴情報を、履歴情報ＤＢ４４０に格納する。

【0064】

このように、携帯端末１２０は、状態変化判定部４１０において、ユーザ１５０の状態が変化したと判定した場合に、サーバ装置１３０に状態変化情報を送信する。このため、視線情報をすべて送信する方法と比較して、サーバ装置１３０において解析すべきデータ量を大幅に削減することができる。この結果、サーバ装置１３０における計算コストを低減させることが可能となる。

【0065】

つまり、本実施形態における携帯端末１２０が複数の人によって所持されれば、複数の人が注目する事象が発生している領域を、当該複数の人の視線に基づいて特定するシステムを、低コストで実現することができる。

【0066】

＜４．状態変化判定情報の説明＞
次に、状態変化判定情報ＤＢ４３０に格納される状態変化判定情報について説明する。図５は、状態変化判定情報の一例を示す図である。図５に示すように、状態変化判定情報５００は、情報の項目として、"判定データ"、"定常状態でないことを判定するための基準情報"とを含む。

【0067】

"判定データ"には、定常状態でないことを判定するための基準情報と比較するデータであって、動作データに応じたデータ（判定データ）が格納される。図５の例では、"判定データ"として、焦点距離データＬ、視線方向が一定となっている時間Ｔ、左右首振り角度θ、上下首振り角度φ、移動速度Ｖ、特定データ（音声）、脈拍数Ｐが格納されている。

【0068】

"定常状態でないことを判定するための基準情報"には、"判定データ"に格納されたそれぞれの種類の判定データについて、ユーザ１５０の状態が定常状態でないことを判定するための閾値が格納される。図５の例は、焦点距離データＬがＬ１以上の場合に、ユーザ１５０が定常状態でなくなったと判定することを示している。同様に、視線方向が一定となっている時間ＴがＴ１以上の場合に、ユーザ１５０が定常状態でなくなったと判定することを示している。また、左右首振り角度θが（−θ１）以下の場合または（＋θ１）以上の場合、上下首振り角度φが（−φ１）以下の場合または（＋φ１）以上の場合に、ユーザ１５０が定常状態でなくなったと判定することを示している。また、移動速度Ｖが０の場合、所定の特定データ（音声）が抽出された場合、または、脈拍数ＰがＰ２以上の場合に、それぞれ、ユーザ１５０が定常状態でなくなったと判定することを示している。

【0069】

＜５．状態変化判定処理の流れ＞
次に、状態変化判定部４１０による状態変化判定処理の流れについて説明する。図６及び図７は、状態変化判定処理の流れを示すフローチャートである。

【0070】

ステップＳ６０１において、状態変化判定部４１０は、状態変化の有無を判定するための評価値に、初期値（＝０）を代入する。

【0071】

ステップＳ６０２において、状態変化判定部４１０は、焦点距離データＬがＬ１以上であるか否かを判定する。ステップＳ６０２において、Ｌ１以上であると判定した場合には、ユーザ１５０が定常状態でなくなったと判定し、ステップＳ６０３において評価値に所定値αを加算する。一方、ステップＳ６０２においてＬ１以上でないと判定した場合には、ステップＳ６０４に進む。

【0072】

ステップＳ６０４において、状態変化判定部４１０は、視線方向が一定となっている時間Ｔが、Ｔ１以上であるか否かを判定する。ステップＳ６０４において、Ｔ１以上であると判定した場合には、ユーザ１５０が定常状態でなくなったと判定し、ステップＳ６０５において、評価値に所定値αを加算する。一方、ステップＳ６０４においてＴ１以上でないと判定した場合には、ステップＳ６０６に進む。

【0073】

ステップＳ６０６において、状態変化判定部４１０は、左右首振り角度θが（−θ１）以下であるか、または、（＋θ１）以上であるかを判定する。また、状態変化判定部４１０は、上下首振り角度φが（−φ１）以下であるか、または、（＋φ１）以上であるかを判定する。

【0074】

ステップＳ６０６において、いずれかの条件を満たしたと判定した場合には、ユーザ１５０が定常状態でなくなったと判定し、ステップＳ６０７において、評価値に所定値αを加算する。一方、ステップＳ６０６において、いずれの条件も満たさないと判定した場合には、ステップＳ６０８に進む。

【0075】

ステップＳ６０８において、状態変化判定部４１０は、移動速度Ｖが０であるか否かを判定する。ステップＳ６０８において、移動速度Ｖが０であると判定した場合には、ユーザ１５０が定常状態でなくなったと判定し、ステップＳ６０９において、評価値に所定値αを加算する。一方、ステップＳ６０８において移動速度Ｖが０でないと判定した場合には、図７のステップＳ７０１に進む。

【0076】

ステップＳ７０１において、状態変化判定部４１０は、脈拍数ＰがＰ１以上であるか否かを判定する。ステップＳ６１０において、Ｐ１以上であると判定した場合には、ユーザ１５０が定常状態でなくなったと判定し、ステップＳ７０２において評価値に所定値αを加算する。一方、ステップＳ７０１において、Ｐ１以上でないと判定した場合には、ステップＳ７０３に進む。

【0077】

ステップＳ７０３において、状態変化判定部４１０は、所定の特定データ（音声）を抽出したか否かを判定する。ステップＳ７０３において、所定の特定データ（音声）を抽出したと判定した場合には、ユーザ１５０が定常状態でなくなったと判定し、ステップＳ７０４において、評価値に所定値αを加算する。一方、ステップＳ７０３において、所定の特定データ（音声）を抽出していないと判定した場合には、ステップＳ７０５に進む。

【0078】

ステップＳ７０５において、状態変化判定部４１０は、評価値が所定の閾値以上であるか否かを判定する。ステップＳ７０５において、評価値が所定の閾値以上であると判定した場合には、ステップＳ７０６に進む。ステップＳ７０６において、状態変化判定部４１０は、ユーザ１５０の状態が変化したと判定し、このときに取得した焦点距離データ、視線方向データを視線情報として状態変化情報送信部４２０に通知する。

【0079】

一方、ステップＳ７０５において、評価値が所定の閾値以上でないと判定した場合には、ステップＳ７０７に進む。ステップＳ７０７において、状態変化判定部４１０は、評価値をリセットする。

【0080】

ステップＳ７０８において、状態変化判定部４１０は、状態変化判定処理を終了するか否かを判定し、終了しないと判定した場合には、ステップＳ６０２に戻る。これにより、所定の制御周期ごとに、ユーザ１５０の状態が変化したか否かの判定を行うことができる。

【0081】

一方、ステップＳ７０８において、終了すると判定した場合には、状態変化判定処理を終了する。

【0082】

＜６．状態変化情報送信処理の流れ＞
次に、状態変化情報送信部４２０による状態変化情報送信処理の流れについて説明する。図８は、状態変化情報送信処理の流れを示すフローチャートである。

【0083】

ステップＳ８０１において、状態変化情報送信部４２０は、状態変化判定部４１０より視線情報を受信したか否かを判定する。ステップＳ８０１において視線情報を受信していないと判定した場合には、ステップＳ８０４に進む。

【0084】

一方、ステップＳ８０１において、視線情報を受信したと判定した場合には、ステップＳ８０２に進む。ステップＳ８０２において、状態変化情報送信部４２０は、テキストデータ解析部４０６より、テキストデータを取得する。テキストデータ解析部４０６より取得したテキストデータは、発生した事象を特定するためのメタ情報として用いる。また、状態変化情報送信部４２０は、ＧＰＳデータ解析部４０７より、ＧＰＳデータ（緯度データ、経度データ、高度データ）を取得する。ＧＰＳデータ解析部４０７より取得したＧＰＳデータは、ユーザ１５０の現在位置を特定するための位置情報として用いる。

【0085】

ステップＳ８０３において、状態変化情報送信部４２０は、取得した視線情報、位置情報、メタ情報を、状態変化情報としてサーバ装置１３０に送信する。

【0086】

ステップＳ８０４において、状態変化情報送信部４２０は、状態変化情報送信処理を終了するか否かを判定し、終了しないと判定した場合には、ステップＳ８０１に戻る。一方、終了すると判定した場合には、状態変化情報送信処理を終了する。

【0087】

＜７．サーバ装置の機能構成＞
次に、サーバ装置１３０の機能構成について説明する。図９は、サーバ装置の機能構成の一例を示す図である。上述したように、サーバ装置１３０は、情報収集部１３１、状態解析部１３２、解析結果送信部１３３を有している。情報収集部１３１、解析結果送信部１３３の詳細は、既に説明済みであるため、ここでは、状態解析部１３２の詳細について説明する。

【0088】

状態解析部１３２は、視線情報取得部９０１、視線位置算出部９０２、視線位置集計部９０３、可視化部９０４、事象推定部９０５を有する。

【0089】

視線情報取得部９０１は、情報収集部１３１において収集された状態変化情報に含まれる視線情報と、位置情報と、メタ情報とを取得する。

【0090】

視線位置算出部９０２は、視線情報取得部９０１において取得された視線情報と位置情報とに基づいて、ユーザ１５０の視線位置を算出する。

【0091】

具体的には、視線位置算出部９０２は、所定の３次元座標軸において、位置情報に含まれる緯度データ、経度データ、高度データを始点とするベクトルを生成する。このとき、ベクトルの長さは、視線情報に含まれる焦点距離データに基づいて決定し、ベクトルの向きは、視線情報に含まれる視線方向データに基づいて決定する。

【0092】

また、視線位置算出部９０２は、生成したベクトルの終点を含む予め定められた大きさの領域（生成したベクトルの終点を視線位置とした場合に視認可能な領域）を、ユーザ１５０が視認する領域として算出する。なお、視線位置算出部９０２は、ユーザ１５０が視認する領域について、ベクトルの終点を最大値、領域の周縁部を最小値とする重み付けを行う。

【0093】

視線位置集計部９０３は、視線位置算出部９０２において、複数のユーザが視認する領域が算出された場合に、当該複数のユーザが重畳して視認する領域を算出することで事象が発生した領域を特定する。具体的には、視線位置集計部９０３は、複数のユーザが視認する領域内のそれぞれの重み値を、各座標位置について加算する。そして、各座標位置の重み値のうち、所定の閾値以上の重み値を有する座標位置を含む領域（すなわち、複数のユーザが重畳して視認する領域）を、事象が発生した領域として特定する。

【0094】

可視化部９０４は、事象が発生した領域を明示した地図を生成し、解析結果送信部１３３に通知する。

【0095】

事象推定部９０５は、視線情報取得部９０１において取得されたメタ情報を解析することで、発生した事象を推定する。ユーザ１５０の状態変化があった際に、例えば、ユーザ１５０がツイッタにおいてつぶやいた内容や、検索した検索クエリは、発生した事象に関連する情報である蓋然性が高い。視線情報取得部９０１において取得されたメタ情報は、ユーザ１５０の状態変化があった前後にユーザ１５０により入力された、これらの情報を含むため、事象推定部９０５では、メタ情報を解析することで、発生した事象を推定することができる。

【0096】

なお、事象推定部９０５は、状態変化情報に含まれるメタ情報以外の情報を用いて、発生した事象を推定するようにしてよい。例えば、状態変化情報を取得した時間帯において、ユーザ１５０以外のユーザがツイッタにおいてつぶやいた内容や、ユーザ１５０以外のユーザが検索した検索クエリを用いて、発生した事象を推定するようにしてもよい。ユーザ１５０以外のユーザがツイッタにおいてつぶやいた内容や、ユーザ１５０以外のユーザが検索した検索クエリは、サーバ装置１３０が、例えば、不図示の他のサーバ装置等から取得してもよい。

【0097】

事象推定部９０５は、発生した事象についての推定結果を、解析結果送信部１３３に通知する。

【0098】

これにより、解析結果送信部１３３では、事象が発生した領域が明示された地図と、発生した事象についての推定結果とを含む解析結果情報を、携帯端末１２０に送信することができる。なお、解析結果送信部１３３では、携帯端末１２０に送信した解析結果情報を、解析結果格納部１３４に格納する。

【0099】

＜８．事象が発生している領域を特定する処理の説明＞
次に、状態解析部１３２が、事象が発生している領域を特定するまでの処理の流れについて、図１０を用いて説明する。図１０は、ユーザの視線位置に基づいて、事象が発生している領域を特定するまでの処理を説明するための図である。なお、図１０は、説明を簡略化するため、２次元座標軸で示している。

【0100】

図１０（ａ）は、視線位置算出部９０２により算出された、ユーザ１５０が視認する領域を示した図である。図１０（ａ）において、ベクトル１００１は、ユーザ１５０の位置情報により特定される現在位置を始点とし、ユーザ１５０の視線情報により特定される視線位置を終点とするベクトルを示している。また、領域１０１１は、ベクトル１００１の終点を含む予め定められた大きさの領域である。なお、領域１０１１内の色の濃淡は、領域内の重み値を示している。

【0101】

同様に、図１０（ｂ）は、視線位置算出部９０２により算出された、ユーザ１５０'が視認する領域を示した図である。図９（ｂ）において、ベクトル１００２は、ユーザ１５０'の位置情報により特定される現在位置を始点とし、ユーザ１５０'の視線情報により特定される視線位置を終点とするベクトルを示している。また、領域１０１２は、ベクトル１００２の終点を含む予め定められた大きさの領域である。なお、領域１０１２内の色の濃淡は、領域内の重み値を示している。

【0102】

図１０（ｃ）は、視線位置集計部９０３が、視線位置算出部９０２により算出された、ユーザ１５０及びユーザ１５０'それぞれが視認する領域内の重み値を加算し、所定の閾値以上の重み値を有する座標位置を抽出した様子を示している。

【0103】

図１０（ｃ）において、領域１０１３は、視線位置集計部９０３により、事象が発生した領域として特定された領域である。このように、複数のユーザの視線情報に基づいて事象が発生した領域を特定することで、１のユーザの視線情報に基づいて事象が発生した領域を特定する場合と比較して、事象が発生した領域の信頼度を高めることができる。

【0104】

以上の説明から明らかなように、本実施形態に係る情報処理システムの一例である視線情報収集システムは、
・携帯端末を所持するユーザの動作を示す動作データに基づいて、ユーザの状態変化の有無を判定する構成とした。
・ユーザの状態変化があったと判定した際に取得された視線情報と位置情報とをサーバ装置に送信する構成とした。
・携帯端末より送信された視線情報と位置情報とに基づいてユーザが視認する領域を算出し、複数のユーザが重畳して視認する領域を、事象が発生した領域として特定する構成とした。

【0105】

これにより、本実施形態に係る情報処理システムの一例である視線情報収集システムによれば、事象が発生した領域を特定するにあたり、サーバ装置において解析される視線情報及び位置情報のデータ量を削減することができる。つまり、複数の人が注目する事象が発生している領域を、当該複数の人の視線に基づいて特定するシステムを、低コストで実現することができる。

【0106】

［第２の実施形態］
上記第１の実施形態では、状態変化判定処理において、それぞれの判定データに基づいて、ユーザ１５０が定常状態でなくなったと判定した場合に、状態変化判定部４１０が評価値に対して同じ値を加算していく構成とした。これに対して、第２の実施形態では、判定データの種類に応じて、異なる値を評価値に対して加算していく構成とする。ユーザ１５０の状態変化の有無を判定するにあたり、判定データと、ユーザ１５０の状態変化の有無との相関は、判定データの種類によって異なるからである。以下、第２の実施形態について、上記第１の実施形態との相違点を中心に説明する。

【0107】

図１１及び図１２は、状態変化判定処理の流れを示すフローチャートである。図６及び図７において示した状態変化判定処理のフローチャートとの相違点は、ステップＳ１１０１、Ｓ１１０２、Ｓ１１０３、Ｓ１１０４、Ｓ１２０１、Ｓ１２０２である。

【0108】

ステップＳ１１０１において、状態変化判定部４１０は、評価値に所定値ａを加算する。また、ステップＳ１１０２において、状態変化判定部４１０は、評価値に所定値ｂを加算する。同様に、ステップＳ１１０３、Ｓ１１０４、Ｓ１２０１、Ｓ１２０２において、状態変化判定部４１０は、評価値にそれぞれ所定値ｃ、ｄ、ｅ、ｆを加算する。

【0109】

なお、所定値ａ〜ｆは互いに異なる値であり、例えば、過去の状態変化判定処理の結果に基づいて決定されるものとする。このように、いずれの判定データが基準情報を超えたかに応じて、異なる所定値を評価値に加算していくことで、判定データの種類と、ユーザ１５０の状態変化の有無との相関に応じた評価値を算出することが可能となる。

【0110】

これにより、本実施形態によれば、ユーザ１５０の状態変化の有無を、精度よく判定することが可能となる。

【0111】

［第３の実施形態］
上記第１の実施形態では、ユーザごとに、予め１つの状態変化判定情報５００を用意しておき、状態変化判定部４１０が、当該状態変化判定情報５００を参照することで、ユーザの状態変化の有無を判定する構成とした。しかしながら、ユーザの状態が変化したか否かの判定に用いる基準情報は、ユーザが置かれた状況によって変わってくる。

【0112】

そこで、第３の実施形態では、ユーザの過去の行動パターンを加味して、予め複数の状態変化判定情報を用意しておき、ユーザが置かれた現在の状況に応じた状態変化判定情報を参照することで、ユーザの状態変化の有無を判定する。以下、第３の実施形態について、上記第１の実施形態との相違点を中心に説明する。

【0113】

＜１．携帯端末の機能構成＞
はじめに、携帯端末１２０の機能構成について説明する。図１３は、携帯端末の機能構成の一例を示す図である。図４との相違点は、状況解析部１３０１が付加されている点である。また、状態変化判定部１３１０の機能が、図４の状態変化判定部４１０の機能とは異なっている点である。更に、状態変化判定情報ＤＢ１３３０に格納された情報が、図４の状態変化判定情報ＤＢ４３０に格納された情報とは異なっている点である。

【0114】

状況解析部１３０１は、ユーザ１５０が置かれた状況を示すパラメータを取得し、状態変化判定部１３１０に通知する。本実施形態において、ユーザ１５０が置かれた状況を示すパラメータには、日時、天候、気温を示す情報が含まれるが、ユーザ１５０の行動パターンに影響を与える情報であれば、日時、天候、気温に限られず、それ以外の情報が含まれていてもよい。

【0115】

状態変化判定部１３１０は、所定の状態（定常状態）におけるユーザの動作を示す基準情報が格納された状態変化判定情報ＤＢ１３３０を参照し、該基準情報と、ユーザ１５０の現在の動作を示す動作データに応じたデータ（判定データ）とを比較する。このとき、状態変化判定部１３１０では、状況解析部１３０１より通知された、ユーザ１５０が現在置かれている状況を示すパラメータに応じた基準情報を状態変化判定情報ＤＢ１３３０より読み出す。

【0116】

なお、状態変化判定情報ＤＢ１３３０には、ユーザ１５０が置かれた状況ごとに異なる基準情報が規定された状態変化情報が格納されているものとする。

【0117】

図１４〜図１６は、それぞれの状況下での基準情報が規定された状態変化判定情報を説明するための図である。図１４〜図１６の例は、日時、天候、気温等の状況が異なることに応じて、異なる状態変化判定情報が用意されていることを示している。

【0118】

図１４は、日時＝"ＡＡ"、天候＝"ＢＢ"、気温＝"ＣＣ"の場合の状態変化判定情報を説明するための図である。日時＝"ＡＡ"がいわゆる通勤時間帯であったとすると、ユーザ１５０は、天候＝"ＢＢ"の場合、自宅１４０１から駅１４０２まで、矢印１４１１で示すルートで徒歩で移動する。

【0119】

ここで、交差点１４０３では、左右を確認するために、ユーザ１５０は、左右に首を振る。つまり、交差点１４０３においては、左右首振り角度θが大きい状態が、ユーザ１５０にとっての定常状態となる。したがって、状態変化判定部４１０は、ユーザ１５０が交差点１４０３に移動したことを認識すると、左右首振り角度についての基準情報がθ２（＞θ１）の状態変化判定情報を参照して、状態変化判定処理を行う。

【0120】

また、上り坂を上ったあとの交差点１４０４では、ユーザ１５０の脈拍数Ｐが上がる。つまり、交差点１４０４において、脈拍数Ｐが大きい状態が、ユーザ１５０にとっての定常状態となる。したがって、状態変化判定部４１０は、ユーザ１５０が交差点１４０４に移動したことを認識すると、脈拍数についての基準情報がＰ３（＞Ｐ２）の状態変化判定情報を参照して、状態変化判定処理を行う。

【0121】

また、信号機のある交差点１４０５では、ユーザ１５０の移動速度Ｖが０になる。つまり、交差点１４０５においては、移動速度Ｖ＝０がユーザ１５０にとっての定常状態となる。したがって、状態変化判定部４１０は、ユーザ１５０が交差点１４０５に移動したことを認識すると、移動速度Ｖについての基準情報が規定されていない状態変化情報を参照して、状態変化判定処理を行う。

【0122】

また、線路１４０６に沿って延びる道路１４０７を歩行するユーザ１５０は、線路１４０６を走行する列車を見るため、焦点距離が長くなるとともに、視線方向が一定となっている時間が長くなる。したがって、状態変化判定部４１０は、ユーザ１５０が道路１４０７を歩行中であることを認識すると、焦点距離についての基準情報がＬ２（＞Ｌ１）で、視線方向が一定となっている時間についての基準情報がＴ２（＞Ｔ１）の状態変化判定情報を参照する。

【0123】

図１５は、日時＝"ＤＤ"、天候＝"ＢＢ"、気温＝"ＣＣ"の場合の状態変化判定情報を説明するための図である。日時＝"ＤＤ"がいわゆる退勤時間帯であったとすると、ユーザ１５０は、天候＝"ＢＢ"の場合、駅１４０２から自宅１４０１まで矢印１５１１に示すルートで徒歩で移動する。

【0124】

この場合、信号機がある横断歩道１５０１では、ユーザ１５０の移動速度Ｖが０になる。つまり、横断歩道１５０１においては、移動速度Ｖ＝０がユーザ１５０にとっての定常状態となる。したがって、状態変化判定部４１０は、ユーザ１５０が横断歩道１５０１に移動したことを認識すると、移動速度についての基準情報が規定されていない状態変化情報を参照して、状態変化判定処理を行う。

【0125】

また、交差点１４０３では、左右を確認するために、ユーザ１５０は、左右に首を振る。つまり、交差点１４０３においては、左右首振り角度θが大きい状態が、ユーザ１５０にとっての定常状態となる。したがって、状態変化判定部４１０は、ユーザ１５０が交差点１４０３に移動したことを認識すると、左右首振り角度についての基準情報がθ２（＞θ１）の状態変化判定情報を参照して、状態変化判定処理を行う。

【0126】

図１６は、日時＝"ＡＡ"、天候＝"ＦＦ"、気温＝"ＧＧ"の場合の状態変化判定情報を説明するための図である。日時＝"ＡＡ"は、図１４と同様にいわゆる通勤時間帯であるが、天候＝"ＦＦ"で気温＝"ＧＧ"の場合、ユーザ１５０は、自宅１４０１から駅１４０２まで、矢印１６１１で示すルートでバスで移動する。

【0127】

この場合、バス停１６０１では、ユーザ１５０の移動速度Ｖが０になる。また、ユーザ１５０は、バスの往来を確認するために左右に首を振る。つまり、バス停１６０１においては、移動速度Ｖが０で、かつ、左右首振り角度θが大きい状態が、ユーザ１５０にとっての定常状態となる。したがって、状態変化判定部４１０は、ユーザ１５０がバス停１６０１に移動したことを認識すると、移動速度についての基準情報が規定されておらず、かつ、左右首振り角度についての基準情報がθ２（＞θ１）の状態変化判定情報を参照する。

【0128】

また、バスに乗った後、ユーザ１５０は、窓の外の景色を眺める。このため、ユーザ１５０の焦点距離が長くなるとともに、左右首振り角度が大きくなる。

【0129】

つまり、矢印１６１１に沿ったルートを移動中は、焦点距離が長くなり、左右首振り角度が大きい状態がユーザ１５０にとっての定常状態となる。したがって、状態変化判定部４１０は、ユーザ１５０が矢印１６１１に沿ったルートを移動中であることを認識すると、焦点距離についての基準情報がＬ２（＞Ｌ１）で、左右首振り角度についての基準情報がθ２（＞θ１）の状態変化判定情報を参照する。

【0130】

このように、本実施形態に係る情報処理システムの一例である視線情報収集システムでは、
・日時、天候、気温等の状況に応じて、ユーザの行動パターンが変化することに鑑みて、予め複数の状態変化判定情報を用意しておき、ユーザが置かれたそれぞれの状況に応じた状態変化判定情報を参照することで、ユーザの状態変化の有無を判定する構成とした。

【0131】

これにより、本実施形態に係る情報処理システムの一例である視線情報収集システムによれば、ユーザの状態変化を精度よく判定することが可能となる。

【0132】

［その他の実施形態］
上記第１乃至第３の実施形態では、状態変化判定部４１０または１３１０が、ユーザ１５０の状態に変化があったと判定した際に、視線データ解析部４０１より取得した視線方向データを状態変化情報送信部４２０に通知する構成とした。しかしながら、状態変化情報送信部４２０に通知する視線方向データは、例えば、左右首振り角度や上下首振り角度等に基づいて特定される顔の向き、あるいは、ユーザ１５０の体の向き等に基づいて、算出し直した視線方向データであってもよい。

【0133】

上記第１乃至第３の実施形態では、携帯端末１２０が状態変化判定部４１０を有する構成としたが、本発明はこれに限定されず、例えば、状態変化判定部４１０はサーバ装置１３０に配されていてもよい。また、状態変化判定部４１０以外の機能であって、携帯端末１２０が有するものとして説明した機能の一部は、サーバ装置１３０が有していてもよい。

【0134】

この場合、携帯端末により検出された動作データが逐次サーバ装置１３０に送信され、サーバ装置１３０において、該携帯端末を所持するユーザの状態変化の有無が判定される。なお、この場合も、事象が発生している領域を特定する際に用いる動作データ（緯度データ、経度データ、高度データ、視線方向データ）のデータ量を削減することができるための上記第１乃至第３の実施形態と同様の効果が得られる。

【0135】

また、上記第１乃至第３の実施形態では、ウェアラブルデバイス１１０と携帯端末１２０とを別体として、ウェアラブルデバイス１１０と携帯端末１２０との間を近距離無線通信により接続する構成としたが、本発明はこれに限定されない。例えば、携帯端末１２０の機能をウェアラブルデバイス１１０に持たせ、ウェアラブルデバイス１１０が直接サーバ装置１３０と通信するように構成してもよい。

【0136】

また、上記第１乃至第３の実施形態では、ウェアラブルデバイス１１０に配された動作センサにより検出された動作データを、ウェアラブルデバイス１１０が一括して携帯端末１２０に送信する構成としたが、本発明はこれに限定されない。例えば、ウェアラブルデバイス１１０と別体の動作センサをウェアラブルデバイス１１０に取り付け、個々の動作センサがそれぞれ携帯端末１２０との間で近距離無線通信を行うようにしてもよい。

【0137】

この場合、ウェアラブルデバイス１１０は、動作センサをユーザ１５０に装着させるための冶具として機能することになる。また、携帯端末１２０は、各動作センサにて検出された動作データを直接取得する取得部を有することになる。

【0138】

図１７は、動作データを直接取得する取得部を有する携帯端末のハードウェア構成を示す図である。図１７に示すように、携帯端末１７００は、脈波センサ２４０にて検出された脈波データを取得する脈波データ取得部２２８に加え、視線センサ１７１１にて検出された視線データを取得する視線データ取得部１７０１を有する。更に、携帯端末１７００は、頭部姿勢センサ１７１２にて検出された頭部姿勢データを取得する頭部姿勢データ取得部１７０２、音声センサ１７１３にて検出された音声データを取得する音声データ取得部１７０３を有する。

【0139】

また、上記第１乃至第３の実施形態では、視線情報収集システム１００の適用例について特に言及しなかったが、視線情報収集システム１００の適用例としては、例えば、以下のようなものが挙げられる。
・何らかの異常が発生している場合
何らかの異常が発生している場合（地割れが起きている、電線に異物が引っかかっている、道路に異物が落ちている等の場合）、視線情報収集システム１００では、これらの異常が発生した領域を特定するとともに、どのような異常であるかを推定して出力する。このため、例えば、異常の種類に応じた所定の連絡先に対して、異常が発生した領域をいち早く伝えるサービスを提供することができる。
・人々の興味を引く出来事が発生している場合
人々の興味を引く出来事が発生している場合（デジタルサイネージが表示されている、花火が打ち上げられている等の場合）、視線情報収集システム１００では、当該出来事が発生している領域を特定するにあたり、当該出来事を視認している人の数を算出できる。このため、例えば、これらの出来事の注目度を評価するサービスを提供することができる。
・移動を伴う事象が発生している場合
移動を伴う事象が発生している場合（宣伝車が通過した、逃げ出した動物が横切った等の場合）、視線情報収集システム１００では、これらの事象が発生している領域の位置の変化を、逐次、追跡することができる。このため、例えば、ユーザに対して事象が発生している領域を、リアルタイムに知らせるサービスを提供することができる。

【0140】

なお、上記実施形態に挙げた構成等に、その他の要素との組み合わせ等、ここで示した構成に本発明が限定されるものではない。これらの点に関しては、本発明の趣旨を逸脱しない範囲で変更することが可能であり、その応用形態に応じて適切に定めることができる。

【符号の説明】

【0141】

１００ ：視線情報収集システム
１１０ ：ウェアラブルデバイス
１２０ ：携帯端末
１３０ ：サーバ装置
１３１ ：情報収集部
１３２ ：状態解析部
１３３ ：解析結果送信部
１３４ ：解析結果格納部
４０１ ：視線データ解析部
４０２ ：頭部姿勢データ解析部
４０３ ：音声データ解析部
４０４ ：振動データ解析部
４０５ ：脈波データ解析部
４０６ ：テキストデータ解析部
４０７ ：ＧＰＳデータ解析部
４１０ ：状態変化判定部
４２０ ：状態変化情報送信部
４３０ ：状態変化判定情報ＤＢ
４４０ ：履歴情報ＤＢ
５００ ：状態変化判定情報
９０１ ：視線情報取得部
９０２ ：視線位置算出部
９０３ ：視線位置集計部
９０４ ：可視化部
９０５ ：事象推定部
１００１、１００２ ：ベクトル
１０１１、１０１２ ：視認される領域
１０１３ ：事象が発生した領域
１３０１ ：状況解析部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】