(58)【調査した分野】(Int.Cl.,DB名)
前記行動認識情報送信部は、前記第1の情報端末と同じ所定のグループに所属する他の情報端末へ前記第1のユーザーの行動を送信する、請求項2に記載の情報処理装置。
前記行動認識情報送信部は、所定のグループ毎に設定された行動認識レベルに応じて、認識した1のユーザーの行動に関する情報を他のユーザーの情報端末へ送信する、請求項2に記載の情報処理装置。
前記行動認識情報送信部は、前記第1の情報端末が前記第2の情報端末との間で設定した行動認識レベルに応じて、認識した前記1のユーザーの行動を前記第2の情報端末へ送信する、請求項2に記載の情報処理装置。
加速度情報を取得する加速度センサと、位置情報を取得する位置情報取得部と、操作情報を取得する操作情報取得部と、前記加速度情報、前記位置情報又は前記操作情報に基づいてユーザーの行動を認識する行動認識部と、を有するクライアント端末と、
前記クライアント端末から前記行動認識部が認識した行動認識結果情報を受信する受信部と、前記行動認識結果情報に基づいて、他のユーザーが保有する他のクライアント端末が前記加速度情報又は前記位置情報を取得するか否かを判定するための情報を送信する情報送信部と、を有するサーバーと、
を備え、
前記加速度情報、前記位置情報又は前記操作情報は、ユーザー毎に設定された行動認識レベルに基づいて取得される、情報処理システム。
前記第1の情報端末から受信した複数の情報と、前記第2の情報端末から受信した情報とについて、前記第1及び第2の情報端末間の距離、前記第1及び第2の情報端末が位置する場所の属性、前記第1及び第2のユーザーの行動、又は前記第1及び第2のユーザーが設定した時刻までの残り時間についての情報同士を対応付ける、請求項14に記載の情報処理装置。
前記相関スコア算出部は、ジオカテゴリヒストグラム同士の相関度を利用して相関スコアを算出するためにジオカテゴライズ部を含む、請求項12に記載の情報処理装置。
前記相関スコアに基づいて、前記第1及び第2の情報端末が前記所定の情報を取得する際のレベルを示す情報を前記第1及び第2の情報端末へ送信する行動認識レベル情報送信部を更に備える、請求項12に記載の情報処理装置。
加速度情報を取得する加速度センサと、位置情報を取得する位置情報取得部と、操作情報を取得する操作情報取得部と、前記加速度情報、前記位置情報又は前記操作情報に基づいてユーザーの行動を認識する行動認識部と、を有する、第1のユーザーが保有する第1の情報端末と、
加速度情報を取得する加速度センサと、位置情報を取得する位置情報取得部と、前記加速度情報又は前記位置情報に基づいてユーザーの行動を認識する行動認識部と、を有する、第2のユーザーが保有する第2の情報端末と、
前記第1及び第2の情報端末のそれぞれから、前記行動認識部が認識した行動認識結果情報を受信する受信部と、前記第1の情報端末から受信した前記行動認識結果情報と、前記第2の情報端末から受信した前記行動認識結果情報の相関の程度を表す相関スコアを算出する相関スコア算出部と、算出された前記相関スコアに基づいて、認識された前記第2のユーザーの行動の中から、前記第1のユーザーへ提供する行動を選択する選択部と、選択された前記第2のユーザーの行動を、前記第1の情報端末へ送信する送信部と、を有するサーバーと、
を備える、情報処理システム。
加速度情報を取得する加速度センサと、位置情報を取得する位置情報取得部と、操作情報を取得する操作情報取得部と、を有し、第1のユーザーが保有する第1の情報端末と、
加速度情報を取得する加速度センサと、位置情報を取得する位置情報取得部と、操作情報を取得する操作情報取得部と、を有し、第2のユーザーが保有する第2の情報端末と、
前記第1及び第2の情報端末のそれぞれから、前記加速度情報、前記位置情報又は前記操作情報を受信する受信部と、前記加速度情報、前記位置情報又は前記操作情報に基づいて、前記第1及び第2の情報端末を保有する第1及び第2のユーザーの行動を認識する行動認識部と、前記第1のユーザーの行動認識の結果得られた行動認識結果情報と、前記第2のユーザーの行動認識の結果得られた行動認識結果情報との相関の程度を表す相関スコアを算出する相関スコア算出部と、算出された前記相関スコアに基づいて、認識された前記第2のユーザーの行動の中から、前記第1のユーザーへ提供する行動を選択する選択部と、選択された前記第2のユーザーの行動を、前記第1の情報端末へ送信する送信部と、を有するサーバーと、
を備える、情報処理システム。
【発明を実施するための形態】
【0034】
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【0035】
なお、説明は以下の順序で行うものとする。
1.第1の実施形態
1.1.前提となる技術
1.2.第1の実施形態のシステム構成
1.3.第1の実施形態のシステム構成の具体例
1.4.消費電力低減の具体例
1.5.ユーザー端末の表示遷移の例
1.6.ユーザーが公開する行動認識レベルの上限を設定する例
1.7.ユーザーの現在の状況により行動認識レベルを制御する例
1.8.使用端末の状況により行動認識レベルを制御する例
1.9.第1の実施形態の処理フロー
2.第2の実施形態
2.1.前提となる技術
2.2.第2の実施形態のシステム構成
2.3.プレゼンス共有レベルについて
2.4.サブスコアによる相関度算出について
2.5.第2の実施形態の処理フロー
2.6.行動認識レベルの上限を公開ユーザーごとに設定し、プレゼンス共有技術と連携する例について
【0036】
<1.第1の実施形態>
[1.1.前提となる技術]
まず、
図1を参照して、本開示の前提となる技術について説明する。
図1は、前述した特許文献1に記載されているような、携帯電話などの通信機能とセンサを搭載した機器(ユーザー端末1500)において、機器を持ち歩いているユーザーの行動を認識し、その結果をリアルタイムに友人等と共有する技術を示す模式図である。
図1では、各ユーザーが保持するユーザー端末1500の表示画面を示している。
図1に示す例では、ユーザー(Ken)がバスに乗っている、ユーザー(Tagawa)が座っている、ユーザー(Mike)が走っているなどの各ユーザーの行動を、各ユーザーがリアルタイムに把握(共有)することができる。
【0037】
しかしながら、行動認識を行うためには、連続的に加速度センサを解析する必要があり、解析のためにユーザー端末1500が備えるCPU(中央演算処理装置)で演算することで、電力を消費してしまう。また、位置情報を利用する場合には、GPSやWi−Fiなどから位置情報を取得するために更に電力を消費する。
【0038】
図2は、
図1に示す技術において、行動認識の応答遅延を示す模式図である。
図2に示す例では、行動認識を開始してt1数秒後には、行動認識1により携帯電話の状態が取得され、グループに属するユーザー間で共有される。また、行動認識を開始してt2秒後までには、行動認識2によりユーザーの動作状態が取得され、グループに属するユーザー間で共有される。また、行動認識を開始してt3秒後までには、行動認識3によりユーザーの詳細な行動が取得され、グループに属するユーザー間で共有される。このように、行動の種類によって、認識結果が得られるまでの時間がかかり、ユーザーに心理的なストレスを与える要因となる。
【0039】
このため、第1の実施形態では、行動の認識結果を公開するメンバーを設定し、そのメンバーの行動に応じて行動認識の処理を制御することにより消費電力の低減を実現する。また、行動認識の応答性能に応じた表示をすることで、ユーザーの待ち時間に対する心理的ストレスを緩和する。
【0040】
更に、公開するメンバーごとやグループごとに公開する行動認識レベルの上限を決めておくことで、行動認識レベルを最適に制御し、消費電力を低減する。また、ユーザーの状況や使用端末の状態に基づいて、公開する行動認識レベルを制御する。以下、第1の実施形態について詳細に説明する。
【0041】
[1.2.第1の実施形態のシステム構成]
図3は、第1の実施形態に係るシステム構成を示す模式図である。
図3に示すように、第1の実施形態に係るシステムは、サーバー100、ユーザー端末500A、ユーザー端末500B、ユーザー端末500C、・・・を有して構成されている。ユーザー端末500A、ユーザー端末500B、ユーザー端末500C、・・・は、ユーザーA、ユーザーB、ユーザーC、・・・によってそれぞれ使用される。
【0042】
各ユーザー端末500A、ユーザー端末500B、ユーザー端末500C、・・・は、自分の行動を公開するグループを共有のサーバー100に設定する。
図4は、ユーザーA,B,C,Dのそれぞれが、自分の行動を公開するグループ(group1)に属しており、この4人のユーザーがそれぞれの行動を各ユーザー端末500A、ユーザー端末500B、ユーザー端末500C、ユーザー端末500D上で共有できることを示している。また、ユーザーEは、group1に属していないため、ユーザーA,B,C,Dと行動の共有はできないことを示している。各ユーザーは、同時に複数のグループに属することができる。
図4では、ユーザーAは、group1とgroup2に属しており、ユーザーFはgroup2にのみ属している。
【0043】
なお、ここでは、各ユーザーが行動認識のために使用するデバイス(ユーザー端末500A、ユーザー端末500B、ユーザー端末500C、・・・)として、携帯電話(ディスプレイを備えセンサを搭載した通信機器)として説明するが、これに限定されるものではない。例えば、行動認識のために使用するデバイスは、ディスプレイを備えていない携帯機器であっても良く、この場合にも本実施形態の消費電力削減技術を適用することが可能である。
【0044】
行動認識は、主に2つの手法によって行う。第1の手法は、ユーザー端末500A、ユーザー端末500B、ユーザー端末500C、・・・が備える加速度センサ、ジャイロセンサを用いて行動認識を行う手法である。なお、この行動認識を低次の行動認識と称する場合がある。第1の手法では、ユーザーが「歩いている」、「座っている」、「立ち止まっている」、「ジャンプしている」、「電車に乗っている」、「バスに乗っている」、「自動車に乗っている」等の行動を認識する。ユーザー端末500A、ユーザー端末500B、ユーザー端末500C、・・・は、ユーザーが「歩いている」、「座っている」、「立ち止まっている」、「ジャンプしている」、「電車に乗っている」、「バスに乗っている」、「自動車に乗っている」等の動作に応じた加速度センサ、ジャイロセンサの出力波形を予め保有している。そして、加速度センサ、ジャイロセンサで検出した波形を予め保有している出力波形と比較することにより、ユーザー端末500A、ユーザー端末500B、ユーザー端末500C、・・・は、ユーザーが「歩いている」、「座っている」、「立ち止まっている」、「ジャンプしている」等の動作を認識することができる。なお、ユーザーが歩いている、立ち止まっている、ジャンプしている、等の動作に応じた加速度センサ、ジャイロセンサの出力波形は、予めサーバー100が保有しておき、ユーザー端末500A、ユーザー端末500B、ユーザー端末500C、・・・がセンサの検出波形をサーバー100へ送ることで、サーバー100側でユーザーが「歩いている」、「座っている」、「立ち止まっている」、「ジャンプしている」等の動作を認識することもできる。このように、第1の手法では、ユーザーの動作などユーザー自身の直接的な行動を認識する。第1の手法による行動認識は、例えば特開2010−198595号公報に記載された手法を用いることができる。
【0045】
第2の手法は、ユーザー端末500A、ユーザー端末500B、ユーザー端末500C、・・・が備える加速度センサ、ジャイロセンサの情報と、位置情報とを用いて行動認識を行う手法である。なお、この行動認識を高次の行動認識と称する場合がある。第2の手法では、ユーザーが「買い物をしている」、「乗り物に乗っている」、「食事をしている」、「仕事をしている」など、第1の手法よりもユーザーの生活行動に近い行動を認識する。第2の手法では、第1の手法で得られた、ユーザーが「歩いている」、「座っている」、「立ち止まっている」、「ジャンプしている」等の動作と、GPS、Wi−Fi(のアクセスポイント情報)等から得られたユーザーの位置情報(緯度、経度情報)とを組み合わせてユーザーの生活行動を認識する。また、位置情報を取得する方法として、携帯電話で使用している通信網の基地局情報から緯度経度を特定する技術も同様に使用可能である。第2の手法による行動認識は、例えば特開2011−81431号公報に記載された手法を用いることができる。
【0046】
第2の手法では、GPS、Wi−Fi等から得られた情報に基づいて、ユーザーの位置情報(緯度、経度情報)を取得する。そして、ユーザーの位置情報と第1の手法で得られたユーザーが「歩いている」、「座っている」、「立ち止まっている」、「ジャンプしている」等の動作とを組み合わせてユーザーの生活行動を認識する。
【0047】
具体的には、ユーザーの位置情報と地図データベースの情報を組み合わせることにより、ユーザーの行動と特定する。例えば、ユーザーの位置情報に基づいて、ユーザーが「レストラン」の場所に位置していることが特定され、第1の手法によりユーザーが座っていることが判明した場合、ユーザーが「レストランで食事をしている」ことが認識される。この場合に、時刻が正午12時であれば、ユーザーが「レストランで昼食をとっている」ことが認識される。また、例えばユーザーがオフィス街に位置しており、第1の手法によりユーザーが「座っている」ことが判別されると、ユーザーが「会社で仕事をしている」ことが認識される。
【0048】
地図のデータベースの代わりに、ユーザーからのフィードバックに基づいてデータベースを生成しても良い。例えば、ユーザーがオフィス街に位置している場合に、位置情報とともに、ユーザーがオフィス街にいることをフィードバックすることで、その位置情報がオフィス街に相当することが記録される。このような記録情報をデータベース化することで、ユーザーが取得した位置情報に基づいて、ユーザーがいる場所の属性(オフィス、レストラン等)を識別することが可能である。
【0049】
以上のように、行動認識として、第1の手法によりユーザーの動作を認識することができ、第2の手法によりユーザーの生活行動を認識することができる。
【0050】
図5は、情報を共有するユーザーの行動認識レベルの例を示す模式図である。
図5に示すように、行動認識レベル1〜3に応じて、共有する情報が異なる。行動認識レベル1では、ユーザー端末500A、ユーザー端末500B、ユーザー端末500C、・・・の操作情報が解析され、同じグループに属するユーザー間で共有される。行動認識レベル2では、レベル1の操作情報に加えて、加速度センサ、ジャイロセンサから得られたセンサ情報が解析され、同じグループに属するユーザー間で共有される。操作情報、及びセンサ情報は、単独または組み合わせで解析される。行動認識レベル3では、レベル1の操作情報、レベル2のセンサ情報に加えて、GPS、Wi−Fiから得られた位置情報が解析され、ユーザー間で共有される。操作情報、センサ情報及び位置情報は、単独または組み合わせで解析される。
図5に示すように、行動認識レベルが上がるほど、そのユーザーの状況を詳しく知ることができるが、解析のために電力消費が増大し、また、結果出力の応答も遅くなる。なお、上述したように、センサ情報からは、第1の手法により、ユーザーが「歩き出した」、「立ち止まった」等の行動が認識される。また、センサ情報と位置情報を組み合わせることにより、第2の手法により、ユーザーが「仕事をしている」、「食事をしている」等の行動が認識される。なお、
図5では、行動認識レベルを3段階に分けた例を示しているが、行動認識レベルの分割数はこれに限定されるものではない。
【0051】
図6は、
図1に示した前提となる技術において、ユーザーの行動を表示する仕組みを示す模式図である。ユーザーAとユーザーBはgroup1に属しており、group1内の全ユーザーが行動認識レベル1を行っているものとする。すなわち、group1内の全ユーザーのユーザー端末1500は、各ユーザー端末1500の操作を解析した結果を共有している。
【0052】
その後、ステップS10以降の処理が順次行われ、行動認識レベル2、行動認識レベル3の行動認識が行われる。これにより、ユーザーAの「立ち止まった」、「歩き出した」、「走り出した」との行動、及びユーザーBの「携帯を使い始めた」、「携帯を使い終わった」との行動がサーバーに認識され、group1内の全ユーザーで共有される。
【0053】
[1.3.第1の実施形態のシステム構成の具体例]
図7は、第1の実施形態のサーバー100及びユーザー端末500A,500Bの構成を示す模式図である。
図7に示すように、サーバー100は、受信部102、行動認識部104、行動認識レベル情報送信部105、行動認識情報送信部106、制御部108、データベース110、送信頻度決定部112を有して構成されている。また、ユーザー端末500Aは、通信部502A、制御部504A、行動認識部506A、表示部508A、入力部510A、加速度センサ512A、GPS等による位置情報取得部514Aを有して構成され、ユーザー端末500Bは、通信部502B、制御部504B、行動認識部506B、表示部508B、入力部510B、加速度センサ512B、GPS等による位置情報取得部514Bを有して構成されている。
【0054】
ユーザー端末500Aの通信部502Aは、入力部510A、加速度センサ512A、位置情報取得部514Aから得られたユーザー端末500Aに関する情報(操作情報、センサ情報、位置情報など)をサーバー100へ送信する。また、通信部502Aは、行動認識部506Aで得られた行動認識結果をサーバー100へ送信することもできる。行動認識部506Aは、入力部510A、加速度センサ512A、位置情報取得部514Aから得られたユーザー端末500Aに関する情報(操作情報、センサ情報、位置情報など)に基づいて、上述した第1の手法、第2の手法を用いて行動を認識する。また、ユーザー端末500Aの通信部502Aは、ユーザーBの行動パターン(行動認識結果情報)をサーバー100から受信する。同様に、ユーザー端末500Bの通信部502Bは、入力部510B、加速度センサ512B、位置情報取得部514Bから得られたユーザー端末500Bに関する情報(操作情報、センサ情報、位置情報など)をサーバー100へ送信する。また、通信部502Bは、行動認識部506Bで得られた行動認識結果をサーバー100へ送信することもできる。行動認識部506Bは、入力部510B、加速度センサ512B、位置情報取得部514Bから得られたユーザー端末500Bに関する情報(操作情報、センサ情報、位置情報など)に基づいて、上述した第1の手法、第2の手法を用いて行動を認識する。また、ユーザー端末500Bの通信部502Bは、ユーザーAの行動パターン(行動認識結果情報)をサーバー100から受信する。
【0055】
サーバー100の受信部102は、ユーザー端末500A,500Bから操作情報、センサ情報、位置情報などを受信する。また、サーバー100の受信部102は、ユーザー端末500A,500Bが行動認識部506A,506Bで得た行動認識結果を送信した場合は、行動認識結果を受信する。行動認識部104は、ユーザー端末500A,500Bから送られた操作情報、センサ情報、位置情報などに基づいて、ユーザーの行動を認識する。この際、行動認識部104は、上述した第1の手法、第2の手法を用いて行動を認識する。また、行動認識部104は、ユーザー端末500A,500Bが行動認識部506A,506Bで得た行動認識結果を送信した場合は、受信した行動認識結果によるユーザの行動を認識する。行動認識情報送信部106は、認識したユーザーの行動を各ユーザー端末500A,500Bに対して送信する。これにより、各ユーザー端末500A,500Bは、各ユーザーの行動を認識することができる。行動認識レベル情報送信部105は、ユーザー端末の操作が開始されたことが行動認識部104で認識された場合に、後述する行動認識レベルを“2”以上に引き上げるように、行動認識レベルを指定して各ユーザー端末500A,500Bに対して行動認識レベル情報を送信する。制御部108は、CPU(中央演算処理装置)等から構成され、サーバー100の全体を制御する。データベース110は、データを記億する記憶部であって、後述する行動認識レベル、各ユーザーが属するグループ等の情報を記憶している。送信頻度決定部112は、認識したユーザーの行動を行動認識情報送信部106が送信する際の送信頻度を決定する。
【0056】
ユーザー端末500Aの行動認識部506Aは、入力部510A、加速度センサ512A、及び位置情報取得部514Aから得られたユーザー端末500Aに関する情報(操作情報、センサ情報、位置情報など)に基づいて、ユーザー端末500Aを保有するユーザーの行動を認識する。同様に、ユーザー端末500Bの行動認識部506Bは、入力部510B、加速度センサ512B、及び位置情報取得部514Bから得られたユーザー端末500Bに関する情報(操作情報、センサ情報、位置情報など)に基づいて、ユーザー端末500Bを保有するユーザーの行動を認識する。行動認識部500A,500Bは、それぞれ、制御部504A,504Bの指令に基づいて、取得する情報についての行動認識レベルを変更する。また、行動認識部506A,506Bは、入力部510A,510Bに入力された情報に基づいて、ユーザーに関する情報を取得する。
【0057】
ユーザー端末500A,500Bの表示部508A,508Bは、液晶表示ディスプレイ(LCD)等から構成され、制御部504A,504Bの指示に基づいて、他のユーザーの行動に関する情報を表示する。また、入力部510A,510Bは、タッチセンサ、キーボード等から構成され、ユーザーの操作が入力されるインターフェースとして機能する。
【0058】
制御部504A,504Bは、CPU(中央演算処理装置)等から構成され、ユーザー端末500A,500Bの全体を制御する。制御部504A,504Bは、時刻情報を取得するクロックを有している。
以上のように、サーバー100は、ユーザー端末500A,500Bから取得した情報(操作情報、センサ情報、位置情報など)に基づいて、行動認識部104にて各ユーザーの行動認識を行うことができる。また、ユーザー端末500A,500Bは、それぞれの行動認識部506A,506Bにて行動認識を行うことができる。ユーザー端末500A,500Bから取得した情報(操作情報、センサ情報、位置情報など)に基づいて、サーバー100が行動認識を行う場合、ユーザー端末500A,500Bにおける処理負荷をより低減することができる。
【0059】
なお、
図7に示すサーバー100の各構成要素は、回路(ハードウェア)、または制御部108とこれを機能させるためのプログラム(ソフトウェア)によって構成することができる。この場合に、そのプログラムは、サーバー100が備える記憶部(データベース110)に格納されることができる。
【0060】
同様に、
図7に示すユーザー端末500A,500Bの各構成要素は、回路(ハードウェア)、または制御部504A,504Bとこれを機能させるためのプログラム(ソフトウェア)によって構成することができる。この場合に、そのプログラムは、ユーザー端末500A,500Bが備えるメモリなどの記憶部(不図示)に格納されることができる。
【0061】
[1.4.消費電力低減の具体例]
図6において、グループ内のユーザーの全員がユーザー端末500A,500B,・・・の表示アプリを見ていない状態では、ステップS10以降の行動認識2以降の情報は、ユーザー間での共有を停止していても差し支えない。
【0062】
このため、本実施形態では、
図8に示すように、ユーザーが加入しているグループ内のユーザー全員がユーザー端末500A,500Bを操作していない状態では、ステップS10以降の処理を中止する。これによって、行動認識レベル2,3による行動認識は行われない。そして、グループ内の一人が、ユーザー端末500A,500Bを操作した場合に、行動認識レベル2以上の処理を行う。
図8に示す例では、ステップS22において、ユーザーBが「携帯電話の操作を開始した」という行動をサーバー100に送信したことをきっかけとして、グループに属するユーザー端末500A,500B、・・・が行動認識レベル2以上の処理(ステップS22〜S38)を開始する。そして、ステップS38において、ユーザーAの「携帯電話の操作を終了した」という行動をサーバー1000に送信したことをきっかけとして、行動認識レベル2以上の処理を停止する。これにより、行動認識レベル2以上の処理を行う時間を限定することが可能となり、消費電力の大幅な低減が可能となる。
【0063】
ステップS22では、ユーザー端末500Bの入力部510Bがユーザーの操作を受け、制御部504Bに操作を受けた旨を通知し、制御部504Bは、ユーザーの操作を受けた旨を通信部502Bからサーバー100へ送信させる。
【0064】
ステップS24では、サーバー100がユーザー端末500Aに対して、「ユーザーBが携帯を使いだした」という情報とともに、「行動認識レベル2以上での行動認識を開始せよ」との通知を送信する。そして、ユーザー端末500Aの通信部502Aが、サーバー100から「行動認識レベル2以上での行動認識を開始せよ」との通知を受信する。この通知を受けて、ユーザー端末500Aの制御部504Aは、行動認識部506Aによる行動認識のレベルを“行動認識レベル2”に引き上げる。従って、ステップS28、ステップS32では、ユーザーAが「走り出した」、「歩き出した」という情報が行動認識部506Aによって取得され、ステップS30,S34においてユーザー端末500Bへ送信される。
【0065】
ステップS36では、入力部510Bに入力された操作情報に基づいて、ユーザーBがユーザー端末500Bを使い終わったことが制御部504Bによって検知され、送信部500Aからサーバー100へユーザー端末500Bを使い終わったことが送信される。サーバー100は、ユーザーBがユーザー端末500Bを使い終わったことをユーザー端末500Aに対して送信する。また、サーバー100は、ユーザー端末500Bの使用が終了したため、「行動認識レベル2を停止せよ」との指示をユーザー端末500Aに対して送信する(ステップS38)。ユーザー端末500Aの制御部504Aは、「行動認識を停止せよ」との指示を受けて、行動認識部506Aによる行動認識を停止させる。これにより、ユーザー情報の取得が停止され、消費電力を低減することが可能となる。
【0066】
[1.5.ユーザー端末の表示遷移の例]
図9は、行動認識のレベルに応じて、ユーザー端末500A,500B,・・・の表示が遷移する例を示す模式図である。
図9に示すように、行動認識のレベルに応じて表示状態を遷移させることで、ユーザーが行動認識のレベルを瞬時に認識することができる。
図9に示すように、行動認識レベル1では、ユーザー端末500A,500B,・・・のそれぞれの表示部506Aに他のユーザー端末500A,500B,・・・の外観が表示され、外観の色又は明るさに応じて各ユーザーのユーザー端末500A,500B,・・・のオン/オフが表現される。行動認識レベル2では、ユーザー端末500A,500B,・・・のそれぞれの表示部506Aに他のユーザー端末500A,500B,・・・の各ユーザーの動作状態が、人物の外観の表示によって表現される。行動認識レベル2では、ユーザー端末500A,500B,・・・のそれぞれの表示部506Aにおいて、他のユーザーの詳細な行動が、人物、地図、交通機関等の表示によって表現される。
【0067】
また、
図9に示す表示例において、行動認識の認識結果が得られ、認識結果を共有できるものから共有することで、ユーザーの心理的ストレスを下げることができる。
【0068】
図10〜
図12は、表示遷移の状態表示を示す模式図である。行動解析結果が更新されるたびに、表示が行動認識レベル1〜3の間で遷移するが、
図10〜
図12に示す例では、表示がどこまで更新され、今後更新される可能性があるのかを表示する。
図10は、現在の行動解析結果を遷移状態単位で示す例を示しており、行動認識1の場合は3つのドット600のうちの左側の1つが点灯し、行動認識2の場合は3つのドット600のうちの左側の2つが点灯し、行動認識3の場合は3つのドット600の全てが点灯する例を示している。これにより、ユーザーは現在の行動認識レベルがどのレベルであるかを認識することができる。
【0069】
図11は、行動認識レベル1〜3の各レベルにおいて、次の状態に切り替わるまでの残り時間を表示した例を示している。この場合、時間の経過に伴いインジケータ610が右に移動し、次の状態に切り替わるまでの残り時間が減少していることが認識される。
【0070】
図12は、表示する画像の透明度、彩度など画像の表示を変える例を示す模式図である。この場合、行動認識3→行動認識2→行動認識1とレベルが下がるにつれて画像の透明度が上昇する。これにより、ユーザーは現在のレベルを瞬時に認識することが可能である。
【0071】
図10〜
図12の例において、ユーザー端末500A,500B,・・・は、サーバー100から行動認識レベルを受信すると、制御部504A,504B,・・・の指令に基づき、行動認識レベルに応じた表示を表示部508A,508B,・・・に表示させる。
【0072】
[1.6.ユーザーが公開する行動認識レベルの上限を設定する例]
次に、ユーザーが公開する行動認識レベルの上限を設定する例について説明する。ユーザーが公開する行動認識レベルの上限を設定することで、不必要な行動認識を回避し、より効率的に消費電力の低減を行うことができる。
【0073】
具体的な方法として、以下の(A),(B)の方法を例示する。
(A)公開するグループに対して上限を設定する方法
(B)公開するユーザーごとに上限を設定する方法
また、第2の実施形態で説明する「プレゼンス共有レベルを動的に変更する方法」を適用すると、(B)で設定された上限の行動認識レベルを直ちに行うのではなく、行動認識から得られた公開相手の状況から、段階的に行動認識レベルを変更させることができる。この例については、第2の実施形態で説明する。
【0074】
(A)と(B)を同時に実施することも可能であり、例えば、(B)で全員が設定した上限の最大のものをグループに対する上限(A)としてもよい。または、(A)で設定した上限を超えて(B)が設定された場合は、グループに対する上限(A)を優先してもよい。
【0075】
図13は、(A)公開するグループに行動認識レベルの上限を設定する例、を示す模式図である。例えば、
図13に示すように、group1に対して行動認識レベル3を上限として共有するという設定がされ、group2に対してレベル1を上限として共有するという設定がされる。これにより、group2のみに属するユーザーFはレベル1を上限に行動認識を行い、group1に属するユーザーA,B,C,Dはレベル3を上限に行動認識を行う。
【0076】
図8で説明したユーザー端末500A,500B,・・・の操作に応じた行動認識結果の提供は、グループ毎に行われる。ユーザーB,C,Dがユーザー端末500B,500C,500Dの表示部508B,508C,508D上でアプリケーションを見ておらず、ユーザーFがユーザー端末500F上でアプリケーションを見ている場合、ユーザーAはユーザーFに対してのみ行動認識結果を提供すればよく、group2の設定上限である行動認識レベル1を上限とすればよい。これにより、消費電力を低減することができる。group1に属するユーザーB,C,Dのいずれかがアプリケーションを見始めた場合、そのユーザーが保有するユーザー端末から
図8のステップS22と同様の通知がサーバー100に送られ、サーバー100からgroup1に属する他のユーザーに対してステップS24と同様の通知が送られる。これにより、group1の設定上限である行動認識レベル2で行動認識結果が共有される。なお、group毎の公開レベルは、各ユーザー端末500A,500B,・・・からサーバー100に送られた登録情報に基づいて、サーバー110のデータベースに格納されている。
【0077】
図14は、(B)ユーザーが提供する行動認識レベルの上限を公開ユーザーごとに設定する例、を示す模式図である。この場合、ユーザーが公開する行動認識レベルを公開相手ユーザーごとに設定する。例えば、
図14に示すように、ユーザーAが公開する行動認識レベルを各公開相手に設定している場合を想定する。
図14に示す例では、ユーザーAは、ユーザーBに対して行動認識レベル3で自身の行動を提供する。また、ユーザーAは、ユーザーCに対しても行動認識レベル3で自身の行動を提供し、ユーザーDに対しては行動認識レベル2で自身の行動を提供する。なお、上記と同様に、ユーザーB,Cが「端末操作を行っていない」場合には、ユーザーB,Cへ行動認識結果の配信をしなくてよく、ユーザーAはユーザーDに対する行動認識レベル2を上限として行動を提供すればよいことになる。なお、ユーザー毎の公開レベルは、各ユーザー端末500A,500B,・・・からサーバー100に送られた登録情報に基づいて、サーバー110のデータベースに格納されている。
【0078】
[1.7.ユーザーの現在の状況により行動認識レベルを制御する例]
次に、ユーザーの現在の状況により行動認識レベルを制御する方法について説明する。ここでは、以下の(C−1)、(C−2)の方法について説明する。以下に説明する(C−1),(C−2)のそれぞれの単独または組み合わせにより、公開する行動レベルを限定することができる。
【0079】
(C−1)
図15に示すように、ユーザーが提供する行動認識結果のレベルの上限を一日の時間帯ごとにあらかじめ設定しておくことで消費電力を低減する。
図15は、時間帯に応じて行動認識レベルを変化させ、比較的ユーザーの行動が少ない夜間は行動認識を行わず、ユーザーが活動的となる昼間に詳細な行動認識を提供するように設定した例を示している。ユーザー端末500A,500B,・・・の制御部504A,504B,・・・は、時刻情報を取得するクロックを備えており、時刻情報に基づいて行動認識部506A,506B,・・・による行動認識レべルを
図15のように変更する。
【0080】
(C−2)ユーザーが提供する行動認識結果のレベルの上限を、ユーザーの行動認識結果を利用して制御することで、消費電力を低減する。
図16に示す例では、行動認識レベル3の状態でユーザーが自宅にいることが認識できた場合は、行動認識レベルを“2”に低下させ、その後、一定時間歩いている状態が継続し、場所が移動した可能性が認識されるまでは、行動認識レベルを“2”に下げた状態を継続することで消費電力を低減している。行動認識レベルを“2”に低下させた後、一定時間歩いている状態が継続し、場所が移動した可能性が認識された場合は、行動認識レベルを“3”に上げる。また、
図17に示す例では、行動認識レベル3でユーザーが車(自動車)に乗っていることが認識できている状況では、行動認識レベルを“2”に引き下げ、姿勢変化が起こるまではレベル2に引き下げた状態を継続することで消費電力を低減する例を示している。行動認識レベルを“2”に引き下げた後、姿勢変化が起こった場合は、行動認識レベルを3に引き上げる。いずれの例においても、制御部504A,504B,・・・は、行動認識部506A,506B,・・・が取得した行動認識結果に基づいて、行動認識部506A,506B,・・・による行動認識レベルを変更する。
【0081】
[1.8.使用端末の状況により行動認識レベルを制御する例]
次に、使用端末の状況により行動認識レベルを制御することで消費電力の低減を行う方法について説明する。ここでは、以下の(D−1)、(D−2)、(D−3)の方法について説明する。なお、以下に示す(D−1)、(D−2)、(D−3)のそれぞれは、単独でもその組み合わせでも適用が可能である。
【0082】
図18では、ユーザー端末500A,500B,・・・のバッテリー残量に応じて行動認識レベルを制御する例を示している。
図18に示すようなユーザー端末500A,500B,・・・の動的な状況の変化により、行動認識レベルの変更が可能である。
【0083】
(D−1)バッテリー状態による行動認識レベルの制御を行う。バッテリー残量が少なくなると、行動認識レベルの上限を引き下げ、消費電力を低減する。
図18に示す例では、バッテリ残量が50%から25%までの間では、行動認識レベルの上限をレベル2に引き下げ、バッテリ残量が25%未満から10%までの間はレベル1の行動認識を行う設定例を示している。これにより、行動認識レベルが高くなるほど消費電力は増加するため、バッテリー残量が少ないほど行動認識レベルを低下させることで、バッテリーの残量の低下を抑えることができる。
【0084】
(D−2)バッテリー残量の減少速度が速い場合も、行動認識レベルを下げ、消費電力を低減する。
図19に示す例では、バッテリー残量の低下速度が5%/hよりも速い場合は、行動認識レベルの上限をレベル2に引き下げ、10%/hよりも速い場合には、レベル1まで引き下げている。また、
図19に示す例では、バッテリー残量の低下速度15%/hよりも速い場合は行動認識を停止するように設定している。これにより、バッテリーの残量の低下を抑えることができる。
【0085】
(D−3)位置情報取得の状況(GPS/Wi−Fi/3G...)
ユーザー端末500A,500B,・・・が位置情報を取得できない状況では、位置情報を使用しない行動認識レベルに変更する。これにより、ユーザー端末500A,500B,・・・が無駄に位置情報の取得を試みて電力を消費してしまうことを抑止できる。また、ユーザー端末500A,500Bが取得できた位置情報の精度に応じて、現在の行動認識の精度が保証できない場合には行動認識レベルを下げることもできる。
【0086】
(D−1),(D−2)の場合、ユーザー端末500A,500B,・・・の制御部504A,504B,・・・は、ユーザー端末500A,500B,・・・のバッテリー(
図7において不図示)の残量、またはバッテリーの減少速度を取得し、バッテリー残量、またはバッテリーの減少速度に基づいて、行動認識部506A,506B,・・・による行動認識レベルを変更する。また、(D−3)の場合、行動認識部506A,506B,・・・は、GPS等により位置情報を取得できない状況では、制御部504A,504B,・・・に対してその旨を通知し、制御部504A,504B,・・・は行動認識部506A,506B,・・・に対して位置情報を使用しない行動認識レベルに変更させる。
【0087】
[1.9.第1の実施形態の処理フロー]
図20は、本実施形態の処理を示すフローチャートである。先ず、ステップS101では、ユーザー端末500A,500B,・・・がサーバー100へ端末情報を送信する。次のステップS102では、サーバー100がユーザー端末500A,500B,・・・から送られた端末情報を受信する。端末情報には、ユーザー端末500A,500Bに関する情報(操作情報、センサ情報、位置情報など)が含まれる。次のステップS103では、サーバー100が端末情報に基づいて各ユーザー端末500の行動を認識する。
【0088】
次のステップS104では、サーバー100が各ユーザー端末500へ提供する行動パターンを送信する。次のステップS106では、ユーザー端末500が、ステップS104でサーバー100が送信した他のユーザーの行動を受信する。次のステップS107では、ユーザー端末500が、他のユーザーの行動パターンを表示する。
【0089】
以上説明したように第1の実施形態によれば、行動認識レベルを制御することで、消費電力を低減することが可能となる。
【0090】
<2.第2の実施形態>
[2.1.前提となる技術]
次に、本開示の第2の実施形態について説明する。
図21は、本実施形態の前提となる技術において、友達の行動を共有する仕組みを示す模式図である。第1の実施形態と同様に、第2の実施形態に係るシステムは、サーバー200、ユーザー端末500A、ユーザー端末500B、ユーザー端末500C、・・・を有して構成されている。ユーザー端末500A、ユーザー端末500B、ユーザー端末500C、・・・は、ユーザーA、ユーザーB、ユーザーC、・・・によってそれぞれ使用される。
【0091】
図21において、各ユーザー端末500A、ユーザー端末500B、ユーザー端末500C、・・・は、無線通信ネットワークを介して、サーバー200へ「音楽を聴いている」、「湘南付近にいる」、「ショッピングモールにいる」、「買い物をしている」等の情報を送ることができる。
【0092】
しかしながら、
図21に示すシステムでは、グループまたは個人に対して提供する行動認識結果は一様であり、公開レベルを設定することは想定していない。そこで、本実施形態では、「ユーザーが公開する行動認識結果の公開レベルを設定することを可能にし、公開レベルをユーザー本人や公開する相手の状況に応じて動的に変化させる」ことにより、新しいユーザー体験を提供する。本実施形態では、不必要に自分の行動を公開することを避けることができ、個人の情報を保護することができる。
【0093】
[2.2.第2の実施形態のシステム構成]
図22は、第2の実施形態のサーバー200及びユーザー端末500A,500Bの構成を示す模式図である。
図22に示すように、サーバー200は、受信部202、行動認識部204、相関スコア算出部208、選択部210、送信部212、送信頻度決定部214、制御部216、データベース218を有して構成されている。ユーザー端末500A、ユーザー端末500B、ユーザー端末500C、・・・の構成は、第1の実施形態と同様である。
【0094】
ユーザー端末500Aの通信部502Aは、ユーザー端末500Aに関する情報(操作情報、センサ情報、位置情報など)をサーバー200へ送信する。また、通信部502Aは、行動認識部506Aで得られた行動認識結果をサーバー100へ送信することもできる。行動認識部506Aは、入力部510A、加速度センサ512A、位置情報取得部514Aから得られたユーザー端末500Aに関する情報(操作情報、センサ情報、位置情報など)に基づいて、上述した第1の手法、第2の手法を用いて行動を認識する。また、ユーザー端末500Aは、ユーザーBの行動パターン(行動認識結果情報)をサーバー200から受信する。同様に、ユーザー端末500Bの通信部502Bは、入力部510B、加速度センサ512B、位置情報取得部514Bから得られたユーザー端末500Bに関する情報(操作情報、センサ情報、位置情報など)をサーバー200へ送信する。また、通信部502Bは、行動認識部506Bで得られた行動認識結果をサーバー100へ送信することもできる。行動認識部506Bは、入力部510B、加速度センサ512B、位置情報取得部514Bから得られたユーザー端末500Bに関する情報(操作情報、センサ情報、位置情報など)に基づいて、上述した第1の手法、第2の手法を用いて行動を認識する。また、ユーザー端末500Bの通信部502Bは、ユーザーAの行動パターン(行動認識結果情報)をサーバー200から受信する。
【0095】
サーバー200の受信部202は、ユーザー端末500A,500Bから操作情報、センサ情報、位置情報などを受信する。また、サーバー200の受信部202は、ユーザー端末500A,500Bが行動認識部506A,506Bで得た行動認識結果を送信した場合は、行動認識結果を受信する。行動認識部204は、ユーザー端末500A,500Bから送られた操作情報、センサ情報、位置情報などに基づいて、ユーザーの行動を認識する。この際、行動認識部104は、上述した第1の手法、第2の手法を用いて行動を認識する。また、行動認識部104は、ユーザー端末500A,500Bが行動認識部506A,506Bで得た行動認識結果を送信した場合は、受信した行動認識結果によるユーザーの行動を認識する。相関スコア算出部208は、ユーザー端末500A,500Bの各ユーザーA,Bの行動の相関スコアを算出する。選択部210は、相関スコアに基づいて、ユーザー端末500A,500Bに送信するユーザーの行動を選択する。送信部212は、選択部210によって選択されたユーザーの行動(の情報)を各ユーザー端末500A,500Bへ送信する。送信頻度決定部214は、送信部212がユーザーの行動を送信する際の送信頻度を決定する。行動認識レベル情報送信部220は、相関スコアに基づいて、第1の実施形態で説明した行動認識レベルを“2”以上に引き上げるように、行動認識レベルを指定して各ユーザー端末500A,500Bに対して行動認識レベル情報を送信する。制御部216は、CPU(中央演算処理装置)等から構成され、サーバー200の全体を制御する。データベース218は、データを記億する記憶部であって、後述する行動認識レベル、各ユーザーが属するグループ等の情報を記憶している。送信頻度決定部214は、認識したユーザーの行動を行動認識情報送信部106が送信する際の送信頻度を決定する。
以上のように、サーバー200は、ユーザー端末500A,500Bから取得した情報(操作情報、センサ情報、位置情報など)に基づいて、行動認識部104にて各ユーザーの行動認識を行うことができる。また、ユーザー端末500A,500Bは、それぞれの行動認識部506A,506Bにて行動認識を行うことができる。ユーザー端末500A,500Bから取得した情報(操作情報、センサ情報、位置情報など)に基づいて、サーバー200が行動認識を行う場合、ユーザー端末500A,500Bにおける処理負荷をより低減することができる。
【0096】
なお、
図22に示すサーバー200の各構成要素は、回路(ハードウェア)、または制御部216とこれを機能させるためのプログラム(ソフトウェア)によって構成することができる。この場合に、そのプログラムは、サーバー200が備える記憶部(データベース218)に格納されることができる。
【0097】
[2.3.プレゼンス共有レベルについて]
図23は、第2の実施形態の処理の概要を示す模式図である。
図23に示すように、各ユーザーは、自分のプレゼンス(行動・状態)の共有レベルを多段階で保持している。
図23では、ユーザーAのプレゼンスをユーザーB,C,Dへ共有する仕組みを表している。ユーザーAは自分のプレゼンスを共有するレベルを1からNまで設定できるようになっており、それぞれのレベルは包含関係にある。また、ユーザーB,C,Dは、ある尺度によりユーザーAとの関係をスコア化し、ユーザーAとの相対的な状況に応じてスコアを動的に算出することでユーザーAから提供されるプレゼンスの結果が変化する。共有レベルが1に近いほど詳細な情報を共有し、共有レベル1が最も詳細な情報を共有するものとする。
【0098】
図24は、共有するプレゼンスの例を示す模式図である。
図14に示すように、共有するプレゼンスとしては、身体情報、位置情報、行動情報、環境情報、視聴情報、アピアランス情報、バディ情報、思考情報が挙げられる。これらの情報は、各ユーザー端末500A,500B,・・・の行動認識部506A,506B,・・・によって取得(検出)される。
【0099】
また、
図25は、どのレベルでプレゼンスを共有するかを決定するための指標を示す模式図である。
図25に示すように、地理的な距離、場所属性の相関度、行動パターンの相関度、ユーザー同士が互いに設定したイベントまでの残り時間、親密度に応じて、共有レベルが設定される。
【0100】
また、
図26〜
図28は、プレゼンスと共有レベルを示す模式図である。
図26〜
図28に示すように、プレゼンスの共有ベルを4段階とし、視聴情報、行動情報、位置情報などプレゼンスの提供レベルをユーザーごとに設定し、サーバー200に登録しておく。共有レベルは、サーバー200のデータベース218に登録される。この際、全ての共有相手に対して同一の設定を用いてもよいし、共有する相手ごとに設定を変えてもよい。
【0101】
図29は、第2の実施形態において、友人の行動を共有する仕組みを示す模式図である。
図29に示すように、ユーザーDのプレゼンスをサーバーに送信し、ユーザーDとユーザーAとのスコアを算出する。そして、算出したスコアにより共有するレベルを決定し、ユーザーDに提供すべきユーザーAの情報が限定され、ユーザーDに提供される。
図30〜
図32は、ユーザーAとユーザーDとの間のプレゼンスの共有レベルを示しており、共有レベルは、視聴情報、行動情報、位置情報のそれぞれでレベル3とされている。従って、
図29に示す例では、視聴情報、行動情報、位置情報のそれぞれについて、共有レベル3までの情報がユーザーAとユーザーDとの間で共有されることになる。
【0102】
図33は、受信するユーザーのプレゼンスに応じた情報が提供される様子を示す模式図である。
図33に示すように、ユーザーAは、音楽を聴いており、湘南付近にいて、ショッピングモールにいて、買い物をしているものとする。ユーザーBは、ユーザーAとの共有レベルが“1”であり、視聴情報として、アーチスト名、聴いている楽曲名、及び聴いている楽曲の共有が可能であり、位置情報として「湘南付近の買い物する場所にいる」、行動情報として「買い物をしている」を共有可能である。ユーザーCは、ユーザーAとの共有レベルが“2”であり、視聴情報として、アーチスト名、聴いている楽曲名を共有可能であり、位置情報として「湘南付近の買い物をする場所にいる」、行動情報として「歩いている」を共有可能である。ユーザーDは、ユーザーAとの共有レベルが“3”であり、視聴情報としてアーチスト名を共有可能であり、位置情報として「湘南にいる」、行動情報として「立っている」を共有可能である。このように、ユーザーAとの共有レベルに応じて、ユーザーAとユーザーB〜Dのそれぞれが共有する情報を変化させることが可能である。
【0103】
図34は、共有レベルとスコアを示す模式図である。例えば、スコアを0.0〜1.0の値とし、スコアの値が大きいほど詳細なプレゼンスを共有できるものとする。
図34に示すように、スコアと共有レベルを対応づけ、全ての共有するプレゼンスのレベルに対して同一のスコアを割り当ててもよいし、それぞれのプレゼンスに対して、個別にスコアを割り当ててもよい。例えば、視聴情報、行動情報、位置情報のそれぞれについて同一のスコアを割り当てても良いし、視聴情報、行動情報、位置情報のそれぞれについて異なる個別のスコアを割り当てても良い。
【0104】
[2.4.サブスコアによる相関度算出ついて]
次に、サブスコアについて説明する。また、以下に示すような尺度で複数のサブスコアを計算し、それぞれに重みをつけて加算することでユーザー間のスコアとすることができる。たとえば、下記のように変数を定義する。
地理的な距離から算出されたサブスコア:Sgeo
場所属性の相関度:Slcorr
行動パターンの相関度:Sacorr
設定した時刻までの残り時間:Stime
ユーザーAに対するユーザーBのスコアScoreBtoAは、重み係数Wを用いて下記のように表現できる。
ScoreBtoA=(Wgeo*Sgeo+Wlcorr*Slcorr+Wacorr*Sacorr+Wtime*Stime)/Wsum
Wsum=Wgeo+Wlcorr+Wacorr+Wtime
(0.0≦W≦1.0 ただし、0.0<Wsum, 0.0≦S≦1.0)
また、共有するプレゼンスに対して個別のScoreBtoAを算出してもよい。
【0105】
また、
図25に示したように、共有するかを決定するための尺度として、以下のものが挙げられる。
地理的な距離
場所属性の相関度(ふたりとも買い物する場所にいるなど)
行動パターンの相関度(ふたりとも電車に乗っているなど)
お互いが設定したイベントまでの残り時間
親密度(会話の頻度など)
【0106】
サブスコア:Sgeoについては、緯度経度および高度を利用してユーザー間の距離を算出し、距離に応じてスコア化することもできる。例えば、
図35に示すように、ユーザーXとユーザーYの距離(distxy)を求め、距離distxyが閾値distA以下であれば、スコア1.0とし、distB以上であれば、スコア0.0とし、その中間であれば、中間値をとるようにする。このように、距離が近いほどサブスコアを高くすることにより、共有レベルを高くすることができ、より詳細な情報を共有することが可能である。
【0107】
また、
図36は、設定した時刻までの残り時間に応じてスコア化する例を示す模式図である。サブスコア:Stimeについては、設定した時刻までの残り時間に基づいて設定することができる。例えば、ユーザー同士がある時刻にある場所で会うという待ち合わせをしている状況を想定する。通常、待ち合わせの時刻が近づいてきた場合、あるいは待ち合わせの時刻が過ぎてしまった場合には、相手の状況を詳細に知りたいと感じる。一方、待ち合わせの時刻がまだ先である場合、相手の状況を詳細に知る必要はなく、相手の詳細な情報は冗長な情報となることが起こり得る。
図36に示すように、サブスコアの算出方法の一例として、待ち合わせなどのイベントが発生する時刻と現在時刻から得られる残り時間をRemainとして、ある残り時間remainA以下になった場合にスコア1.0とし、remainB以上の場合にはスコア0.0とする。残り時間がremainAとremainBの間の場合には中間値をサブスコアとする。これにより、待ち合わせの時間が近付くにつれて、より詳細な情報を共有することが可能となる。
【0108】
次に、行動パターンの相関度(サブスコア:Sacorr)について説明する。「買い物している」、「仕事している」、「電車に乗っている」、「通勤中」など、ユーザーの行動や行動の組み合わせを行動パターンとし、相関度を求める。例えば、ユーザーそれぞれが、「電車に乗っている」状態であった場合、その場所にかかわらず、似たような状況を体験している可能性が高く、現在興味を持っている事が近い状態にあり、詳細な状況を共有するのに有意義な状態であるといえる。従って、行動パターンの相関度が近いほど、共有レベルを高くすることで、より詳細な情報を共有できるようにする。
【0109】
図37は、行動パターンの相関度を示す模式図である。
図37に示すように、相関度の算出方法の例として、それぞれの行動の相関度を定義した表を用いることができる。
図37の表によれば、ユーザーXとユーザーYの現在の行動に基づいて、ユーザーXとユーザーYの行動の相関度を検索することができる。これにより、ユーザーXとユーザーYの行動に基づいて、相関度を算出することができる。
【0110】
次に、場所属性(サブスコア:Slcorr)について説明する。「買い物する場所」、「勉強する場所」、「仕事をする場所」など、ある場所に関連する行動情報を場所属性とする。ユーザー同士は遠くに離れていても、どちらも同じ場所属性の場所にいる場合には、似ている行動をしている可能性が高く、現在興味を持っている事が近い状態にあり、詳細な状況を共有するのに有意義な状態であるといえる。従って、場所の関連性が高いほど、ユーザーXとユーザーYのスコアは高くなる。
【0111】
また、一意に場所属性を決定できない状況であっても、ジオカテゴリヒストグラムを比較することでスコアを算出することができる。ジオカテゴリヒストグラムについては、例えば前述の特許文献3に記載されている。相関度の算出方法のひとつとして、ベクトルの要素に、ジオカテゴリヒストグラムのそれぞれの要素をもつベクトルGeoを考える。
Case XとCase Yの相関度Corrxyは、
Corrxy=Geox・Geoy/(|Geox||Geoy|)
として表すことができる。
【0112】
例えば、
図38に示すような4つの要素からなるジオカテゴリヒストグラムがあるものする。度数は0以上の値を持つものとする。
図38に示す例では、Case OとCase Aの相関度(=1.0)が最も高く、Case OとCase Cの相関度(=0.23)が最も低くなる。
【0113】
図39は、サーバー200の相関スコア算出部208に含まれるジオカテゴライズ部208aとその周辺を示す模式図である。ジオカテゴライズ部208aは、緯度・経度データを入力として、地図データベース(専用のものでなくてもよい)を参照し、その位置カテゴリ(ジオカテゴリ)、その周辺カテゴリを数値化したもの(ジオカテゴリヒストグラム)を出力する。緯度・経度データは、ある一点におけるものでも良いし、時系列データであってもよい。またクラスタリング技術によりクラスタされた代表点を表すものでもよい。
【0114】
[2.5.第2の実施形態の処理フロー]
図40は、第2の実施形態のサーバー200における処理を示すフローチャートである。先ず、ステップS201では、ユーザー端末500A、ユーザー端末500B、ユーザー端末500C、・・・がサーバー200へ端末情報を送信する。次のステップS202では、サーバー200が端末情報を受信する。端末情報は、視聴情報、行動情報、位置情報などのプレゼンスの情報を含む。次のステップS203では、サーバー200が各ユーザーの行動及び端末状態を認識する。次のステップS204では、サーバー200が相関スコアを算出する。次のステップS205では、相関スコアに基づいてユーザーへ提供する行動を選択する。次のステップS206では、サーバー200が選択したユーザーの行動を送信する。次のステップS207では、ユーザー端末500A、ユーザー端末500B、ユーザー端末500C、・・・が、ステップS206で送信されたユーザーの行動を受信する。次のステップS208では、ユーザー端末500A、ユーザー端末500B、ユーザー端末500C、・・・が、ステップS207で受信した行動に基づいて、他のユーザーの行動を表示する。
【0115】
[2.6.行動認識レベルの上限を公開ユーザーごとに設定し、プレゼンス共有技術と連携する例について]
次に、
図41に基づいて、(B’)ユーザーが提供する行動認識レベルの上限を公開ユーザーごとに設定し、プレゼンス共有技術と連携する例について説明する。この場合、第1の実施形態と同様に、ユーザーが公開する行動認識レベルを公開相手ユーザーごとに設定する。そして、第1の実施形態と同様に、ユーザーB,Cが「携帯操作を行っていない」場合には、ユーザーB,Cへ行動認識結果の配信をしなくてよく、ユーザーAは行動認識共有レベル2を上限として行えばよいことになる。更に、「プレゼンス共有レベルを動的に変更する方法」を適用すると、ユーザーB,Cが「携帯操作を行った」場合でも、ユーザーB,Cの行動とユーザーAの行動の相関スコアに応じて提供する行動認識公開レベルを段階的に変更することができる。従って、行動認識公開レベルに必要な行動認識レベルを設定すればよい。
【0116】
図42は、
図41の例の処理を示すシーケンス図である。先ず、ステップS300でユーザーBがユーザー端末500Bを使い始めると、ステップS302では、サーバー200が、「公開レベル3まで共有せよ」との指示をユーザー端末500Aに対して送信する。次に、ステップS304では、ユーザーAが「歩き出した」という情報がサーバー200へ送信され、ステップS306では、その情報がユーザー端末500Bへ送信される。次に、ステップS308では、ユーザーAが「座った」という情報がサーバー200へ送信され、ステップS310では、その情報がユーザー端末500Bへ送信される。このようにして、ユーザーAの行動がユーザーAとユーザーBの間で共有される。
【0117】
次に、ステップS312では、ユーザーAが「携帯を使い始めた」という情報がサーバー200へ送信される。サーバー200は、この情報を受けて、ステップS314において「公開レベル3まで共有せよ」との指示をユーザー端末500Bに対して送信する。これにより、ユーザー端末500Bは、公開レベルを1に設定する。
【0118】
次に、ステップS316では、ユーザーBが「座った」という情報がサーバー200へ送信され、ステップS318では、その情報がユーザー端末500Bへ送信される。ここで、サーバー200は、ユーザーAとユーザーBの双方が「座った」という情報が得られたため、相関スコアに基づいて公開レベルを“2”に引き上げ、「公開レベル2まで共有せよ」との指示をユーザー端末500A,500Bの双方に対して送信する(ステップS320,S322)。
【0119】
次に、ステップS324では、ユーザーBが茅ヶ崎にて「座っている」という情報がサーバー200へ送信される。次のステップS326では、ユーザーAが鎌倉にて「座っている」という情報がサーバー200へ送信される。次のステップS328では、ユーザーBが茅ヶ崎にて「座っている」という情報がサーバー200からユーザー端末500Aへ送信される。次に、ステップS330では、ユーザーAが鎌倉にて「座っている」という情報がサーバー200からユーザー端末500Bへ送信される。ここで、ユーザーAとユーザーBの双方が、比較的距離の近い鎌倉と茅ヶ崎のそれぞれで「座った」という情報が得られたため、サーバー200で算出される相関スコアがより高くなる。このため、サーバー200は、相関スコアに基づいて公開レベルを“1”に引き上げ、「公開レベル1まで共有せよ」との指示をユーザー端末500A,500Bの双方に対して送信する(ステップS332,S334)。
【0120】
その後、ステップS336では、ユーザーBが茅ヶ崎にて座っており食事中である、という情報がサーバー200へ送信される。次のステップS338では、ユーザーAが鎌倉にて座っており買い物中である、という情報がサーバー200へ送信される。次のステップS340では、ユーザーBが茅ヶ崎にて座っており食事中である、という情報がサーバー200からユーザー端末500Aへ送信される。次に、ステップS342では、ユーザーAが鎌倉にて座っており買い物中である、という情報がサーバー200からユーザー端末500Bへ送信される。
【0121】
以上のように、
図42の処理によれば、ユーザーAとユーザーBの行動の相関度に基づいて、共有レベルを動的に変更していくことが可能となる。従って、各ユーザーは、行動の相関度がより高い他のユーザーの行動を詳細に知ることが可能となる。
【0122】
更に、共有レベルとともに第1の実施形態で説明した行動認識レベルを変更することで、ユーザーAとユーザーBの行動の相関度に基づいて行動認識レベルを動的に変更することが可能となる。これにより、ユーザーAとユーザーBの行動の相関度に基づいて、行動認識部506A,506B,・・・の行動認識レベルを動的に変更することができるため、相関度に基づいて各ユーザー端末500A,500Bの消費電力を低減することができる。従って、相関度が低いほど、行動認識レベルを低下させることができるので、相関度が低いユーザー端末500A,500Bの消費電力を共に削減することが可能である。
【0123】
以上説明したように第2の実施形態によれば、ユーザーの行動の相関度に基づいて、相関度の高いユーザー同士がより詳細な情報を交換することが可能となる。
【0124】
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
【0125】
なお、以下のような構成も本開示の技術的範囲に属する。
(1)第1のユーザーが保有する第1の情報端末及び第2のユーザーが保有する第2の情報端末から所定の情報を受信する受信部と、
前記第1の情報端末から受信した前記所定の情報に基づいて、前記第1のユーザーの行動を認識する行動認識部と、
認識した前記第1のユーザーの行動に基づいて、前記第2のユーザーが保有する前記第2の情報端末が前記所定の情報を取得するか否かを判定するための情報を送信する情報送信部と、
を備える、情報処理装置。
(2)認識した前記第1のユーザーの行動を前記第2の情報端末へ送信する行動認識情報送信部を更に備える、前記(1)に記載の情報処理装置。
(3)前記行動認識情報送信部は、前記第1の情報端末と同じ所定のグループに所属する他の情報端末へ前記第1のユーザーの行動を送信する、前記(2)に記載の情報処理装置。
(4)前記行動認識情報送信部は、所定のグループ毎に設定された行動認識レベルに応じて、認識した1のユーザーの行動に関する情報を他のユーザーの情報端末へ送信する、前記(2)に記載の情報処理装置。
(5)前記行動認識情報送信部は、前記第1の情報端末が前記第2の情報端末との間で設定した行動認識レベルに応じて、認識した前記1のユーザーの行動を前記第2の情報端末へ送信する、前記(2)に記載の情報処理装置。
(6)加速度情報を取得する加速度センサと、位置情報を取得する位置情報取得部と、操作情報を取得する操作情報取得部と、前記加速度情報、前記位置情報又は前記操作情報に基づいてユーザーの行動を認識する行動認識部と、を有するクライアント端末と、
前記クライアント端末から前記行動認識部が認識した行動認識結果情報を受信する受信部と、前記行動認識結果情報に基づいて、他のユーザーが保有する他のクライアント端末が前記加速度情報又は前記位置情報を取得するか否かを判定するための情報を送信する情報送信部と、を有するサーバーと、
を備える、情報処理システム。
(7)加速度情報を取得する加速度センサと、位置情報を取得する位置情報取得部と、操作情報を取得する操作情報取得部と、を有するクライアント端末と、
前記クライアント端末から前記加速度情報、前記位置情報又は前記操作情報を受信する受信部と、前記加速度情報又は前記位置情報に基づいて、前記クライアント端末を保有するユーザーの行動を認識する行動認識部と、認識した前記ユーザーの行動に基づいて、他のユーザーが保有する他のクライアント端末が前記加速度情報又は前記位置情報を取得するか否かを判定するための情報を送信する情報送信部と、を有するサーバーと、
を備える、情報処理システム。
(8)加速度情報を取得する加速度センサと、
位置情報を取得する位置情報取得部と、
操作情報を取得する操作情報取得部と、
前記加速度情報、前記位置情報又は前記操作情報に基づいてユーザーの行動を認識する行動認識部と、
前記行動認識部が認識した行動認識結果情報をサーバーへ送信する送信部と、
他のクライアント端末から受信した前記行動認識結果情報に基づいて前記サーバーが送信した情報を受信する受信部と、を備え、
前記情報に基づいて、加速度センサ又は前記位置情報取得部の動作を停止させる、クライアント端末。
(9)加速度情報を取得する加速度センサと、
位置情報を取得する位置情報取得部と、
操作情報を取得する操作情報取得部と、
前記加速度情報、前記位置情報又は前記操作情報をサーバーへ送信する送信部と、
他のクライアント端末から受信した前記加速度情報又は前記位置情報に基づいて前記サーバーが認識した行動認識結果情報を受信する受信部と、を備え、
前記行動認識結果情報に基づいて、加速度センサ又は前記位置情報取得部の動作を停止させる、クライアント端末。
(10)第1のユーザーが保有する第1の情報端末及び第2のユーザーが保有する第2の情報端末から所定の情報を受信することと、
前記第1の情報端末から受信した前記所定の情報に基づいて、前記第1のユーザーの行動を認識することと、
認識した前記第1のユーザーの行動に基づいて、前記第2のユーザーが保有する前記第2の情報端末が前記所定の情報を取得するか否かを判定するための情報を送信することと、
を備える、情報処理方法。
(11)第1のユーザーが保有する第1の情報端末及び第2のユーザーが保有する第2の情報端末から所定の情報を受信する手段、
前記第1の情報端末から受信した前記所定の情報に基づいて、前記第1のユーザーの行動を認識する手段、
認識した前記第1のユーザーの行動に基づいて、前記第2のユーザーが保有する前記第2の情報端末が前記所定の情報を取得するか否かを判定するための情報を送信する手段、
としてコンピュータを機能させるためのプログラム。
(12)第1のユーザーが保有する第1の情報端末及び第2のユーザーが保有する第2の情報端末から所定の情報を受信する受信部と、
前記第1又は第2の情報端末から受信した前記所定の情報に基づいて、前記第1及び第2のユーザーの行動を認識する行動認識部と、
前記第1の情報端末から受信した前記所定の情報と、前記第2の情報端末から受信した前記所定の情報の相関の程度を表す相関スコアを算出する相関スコア算出部と、
算出された前記相関スコアに基づいて、認識された前記第2のユーザーの行動の中から、前記第1のユーザーへ提供する行動を選択する選択部と、
選択された前記第2のユーザーの行動を、前記第1の情報端末へ送信する送信部と、
を備える、情報処理装置。
(13)前記選択部は、前記相関スコアが高いほど、前記第1のユーザーへ提供する行動としてより詳細な行動を選択する、前記(12)に記載の情報処理装置。
(14)前記相関スコア算出部は、
前記第1の情報端末から受信した複数の情報と、前記第2の情報端末から受信した情報とについて、関連する情報同士を対応付け、
関連する情報の各組み合わせについて、その情報同士の相関の程度を表す相関サブスコアを算出し、
算出した各前記相関サブスコアそれぞれについて、当該相関サブスコアと、前記相関スコアに対する当該サブスコアの寄与を表す重み係数とに基づいて、前記相関スコアを算出する、前記(12)に記載の情報処理装置。
(15)前記第1の情報端末から受信した複数の情報と、前記第2の情報端末から受信した情報とについて、前記第1及び第2の情報端末間の距離、前記第1及び第2の情報端末が位置する場所の属性、前記第1及び第2のユーザーの行動、又は前記第1及び第2のユーザーが設定した時刻までの残り時間についての情報同士を対応付ける、前記(14)に記載の情報処理装置。
(16)前記相関スコア算出部は、ジオカテゴリヒストグラム同士の相関度を利用して相関スコアを算出するためにジオカテゴライズ部を含む、前記(12)に記載の情報処理装置。
(17)前記相関スコアに基づいて、前記第1及び第2の情報端末が前記所定の情報を取得する際のレベルを示す情報を前記第1及び第2の情報端末へ送信する行動認識レベル情報送信部を更に備える、前記(12)に記載の情報処理装置。
(18)算出された前記相関スコアに基づいて、前記行動パターンを送信する頻度を決定する送信頻度決定部を更に備え、
前記送信部は、選択された前記第2のユーザーの行動パターンを、算出された前記送信頻度で、前記第1の情報端末へ送信する、
前記(12)に記載の情報処理装置。
(19)加速度情報を取得する加速度センサと、位置情報を取得する位置情報取得部と、操作情報を取得する操作情報取得部と、前記加速度情報、前記位置情報又は前記操作情報に基づいてユーザーの行動を認識する行動認識部と、を有する、第1のユーザーが保有する第1の情報端末と、
加速度情報を取得する加速度センサと、位置情報を取得する位置情報取得部と、前記加速度情報又は前記位置情報に基づいてユーザーの行動を認識する行動認識部と、を有する、第2のユーザーが保有する第2の情報端末と、
前記第1及び第2の情報端末のそれぞれから、前記行動認識部が認識した行動認識結果情報を受信する受信部と、前記第1の情報端末から受信した前記行動認識結果情報と、前記第2の情報端末から受信した前記行動認識結果情報の相関の程度を表す相関スコアを算出する相関スコア算出部と、算出された前記相関スコアに基づいて、認識された前記第2のユーザーの行動の中から、前記第1のユーザーへ提供する行動を選択する選択部と、選択された前記第2のユーザーの行動を、前記第1の情報端末へ送信する送信部と、を有するサーバーと、
を備える、情報処理システム。
(20)加速度情報を取得する加速度センサと、位置情報を取得する位置情報取得部と、操作情報を取得する操作情報取得部と、を有し、第1のユーザーが保有する第1の情報端末と、
加速度情報を取得する加速度センサと、位置情報を取得する位置情報取得部と、操作情報を取得する操作情報取得部と、を有し、第2のユーザーが保有する第2の情報端末と、
前記第1及び第2の情報端末のそれぞれから、前記加速度情報、前記位置情報又は前記操作情報を受信する受信部と、前記加速度情報、前記位置情報又は前記操作情報に基づいて、前記第1及び第2の情報端末を保有する第1及び第2のユーザーの行動を認識する行動認識部と、前記第1のユーザーの行動認識の結果得られた行動認識結果情報と、前記第2のユーザーの行動認識の結果得られた行動認識結果情報との相関の程度を表す相関スコアを算出する相関スコア算出部と、算出された前記相関スコアに基づいて、認識された前記第2のユーザーの行動の中から、前記第1のユーザーへ提供する行動を選択する選択部と、選択された前記第2のユーザーの行動を、前記第1の情報端末へ送信する送信部と、を有するサーバーと、
を備える、情報処理システム。
(21)加速度情報を取得する加速度センサと、
位置情報を取得する位置情報取得部と、
操作情報を取得する操作情報取得部と、
前記加速度情報、前記位置情報又は前記操作情報に基づいてユーザーの行動を認識する行動認識部と、
前記行動認識部が認識した行動認識結果情報をサーバーへ送信する送信部と、
前記サーバーにおいて前記行動認識結果情報と他のクライアント端末から取得した行動認識結果情報との相関スコアに基づいて選択された前記他のクライアント端末の行動を受信する受信部と、
を備える、クライアント端末。
(22)加速度情報を取得する加速度センサと、
位置情報を取得する位置情報取得部と、
操作情報を取得する操作情報取得部と、
前記加速度情報、前記位置情報又は前記操作情報をサーバーへ送信する送信部と、
前記サーバーにおいて、前記加速度情報又は前記位置情報に基づいて認識されたユーザーの行動と、他のクライアント端末から受信した前記加速度情報又は前記位置情報に基づいて認識された前記他のクライアント端末のユーザーの行動との相関スコアに基づいて選択された前記他のクライアント端末の行動を受信する受信部と、
を備える、クライアント端末。
(23)第1のユーザーが保有する第1の情報端末及び第2のユーザーが保有する第2の情報端末から所定の情報を受信することと、
前記第1又は第2の情報端末から受信した前記所定の情報に基づいて、前記第1及び第2のユーザーの行動を認識することと、
前記第1の情報端末から受信した前記所定の情報と、前記第2の情報端末から受信した前記所定の情報の相関の程度を表す相関スコアを算出することと、
算出された前記相関スコアに基づいて、認識された前記第2のユーザーの行動の中から、前記第1のユーザーへ提供する行動を選択することと、
選択された前記第2のユーザーの行動を、前記第1の情報端末へ送信することと、
を備える、情報処理方法。
(24)第1のユーザーが保有する第1の情報端末及び第2のユーザーが保有する第2の情報端末から所定の情報を受信する手段、
前記第1又は第2の情報端末から受信した前記所定の情報に基づいて、前記第1及び第2のユーザーの行動を認識する手段、
前記第1の情報端末から受信した前記所定の情報と、前記第2の情報端末から受信した前記所定の情報の相関の程度を表す相関スコアを算出する手段、
算出された前記相関スコアに基づいて、認識された前記第2のユーザーの行動の中から、前記第1のユーザーへ提供する行動を選択する手段、
選択された前記第2のユーザーの行動を、前記第1の情報端末へ送信する手段、
としてコンピュータを機能させるためのプログラム。