IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 公立大学法人岩手県立大学の特許一覧

特開2023-147654情報処理システム、情報処理方法、プログラム
<>
  • 特開-情報処理システム、情報処理方法、プログラム 図1
  • 特開-情報処理システム、情報処理方法、プログラム 図2
  • 特開-情報処理システム、情報処理方法、プログラム 図3
  • 特開-情報処理システム、情報処理方法、プログラム 図4
  • 特開-情報処理システム、情報処理方法、プログラム 図5
  • 特開-情報処理システム、情報処理方法、プログラム 図6
  • 特開-情報処理システム、情報処理方法、プログラム 図7
  • 特開-情報処理システム、情報処理方法、プログラム 図8
  • 特開-情報処理システム、情報処理方法、プログラム 図9
  • 特開-情報処理システム、情報処理方法、プログラム 図10
  • 特開-情報処理システム、情報処理方法、プログラム 図11
  • 特開-情報処理システム、情報処理方法、プログラム 図12
  • 特開-情報処理システム、情報処理方法、プログラム 図13
  • 特開-情報処理システム、情報処理方法、プログラム 図14
  • 特開-情報処理システム、情報処理方法、プログラム 図15
  • 特開-情報処理システム、情報処理方法、プログラム 図16
  • 特開-情報処理システム、情報処理方法、プログラム 図17
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023147654
(43)【公開日】2023-10-13
(54)【発明の名称】情報処理システム、情報処理方法、プログラム
(51)【国際特許分類】
   G06F 3/01 20060101AFI20231005BHJP
   G06F 3/0346 20130101ALI20231005BHJP
   G06Q 30/0251 20230101ALI20231005BHJP
【FI】
G06F3/01 570
G06F3/0346 425
G06Q30/02 398
G06F3/01 510
【審査請求】未請求
【請求項の数】18
【出願形態】OL
(21)【出願番号】P 2022055292
(22)【出願日】2022-03-30
【新規性喪失の例外の表示】特許法第30条第2項適用申請有り 情報処理システム、情報処理方法、プログラムの集会での発表 集会名:情報処理学会第84回全国大会 開催場所:愛媛大学 城北キャンパス ハイブリッド開催 開催日:令和4年3月3日~5日
(71)【出願人】
【識別番号】507234427
【氏名又は名称】公立大学法人岩手県立大学
(74)【代理人】
【識別番号】100108833
【弁理士】
【氏名又は名称】早川 裕司
(74)【代理人】
【識別番号】100162156
【弁理士】
【氏名又は名称】村雨 圭介
(72)【発明者】
【氏名】大澤 嘉規
(72)【発明者】
【氏名】堀川 三好
【テーマコード(参考)】
5B087
5E555
5L049
【Fターム(参考)】
5B087BC04
5B087DD02
5B087DD03
5B087DE06
5E555AA05
5E555AA25
5E555AA26
5E555AA64
5E555AA71
5E555BA02
5E555BA05
5E555BA06
5E555BA19
5E555BA38
5E555BB02
5E555BB05
5E555BB06
5E555BB19
5E555BB38
5E555BC04
5E555BC20
5E555CA24
5E555CA41
5E555CA44
5E555CB02
5E555CB58
5E555CB66
5E555CB69
5E555DA01
5E555DB48
5E555DB60
5E555DC13
5E555DC21
5E555EA03
5E555EA19
5E555FA00
5L049BB08
5L049CC11
(57)【要約】
【課題】パーソナライズされた情報を生成するのに適用可能な情報を得ることの可能な情報処理システム、情報処理方法、プログラムを提供する。
【解決手段】情報処理システムは、端末装置に対するユーザの操作状態を推定するように構成されており、計測装置によって計測されたユーザの状態に関する情報を取得する状態情報取得手段32と、所定期間内のユーザの状態に関する情報の推移に基づいて、所定期間内の端末装置に対するユーザの操作状態を推定する操作状態推定手段35と、を備える。
【選択図】図4
【特許請求の範囲】
【請求項1】
端末装置に対するユーザの操作状態を推定する情報処理システムであって、
計測装置によって計測された前記ユーザの状態に関する情報を取得する状態情報取得手段と、
所定期間内の前記ユーザの状態に関する情報の推移に基づいて、前記所定期間内の前記端末装置に対する前記ユーザの操作状態を推定する操作状態推定手段と、を備える、
情報処理システム。
【請求項2】
前記操作状態推定手段は、前記所定期間内の前記ユーザの状態に関する情報の推移と、前記ユーザの状態に関する情報の推移を学習データとして用いた機械学習に基づく学習済モデルと、に基づいて、前記所定期間内の前記端末装置に対する前記ユーザの操作状態を推定する、請求項1に記載の情報処理システム。
【請求項3】
前記所定期間内の前記ユーザの状態に関する情報の推移に基づいて、前記所定期間内の前記ユーザの行動パターンを推定する行動推定手段を備え、
前記操作状態推定手段は、前記所定期間内の前記ユーザの行動パターンに基づいて、前記所定期間内の前記端末装置に対する前記ユーザの操作状態を推定する、請求項1又は2に記載の情報処理システム。
【請求項4】
前記行動推定手段は、前記所定期間内の前記ユーザの状態に関する情報の推移と、前記ユーザの状態に関する情報の推移を学習データとして用いた機械学習に基づく学習済モデルと、に基づいて、前記所定期間内の前記ユーザの行動パターンを推定する、請求項3に記載の情報処理システム。
【請求項5】
前記ユーザの状態に関する情報に基づいて、前記端末装置に対する前記ユーザの操作状態が変化するタイミングを示す状態変化点を検出する検出手段を備え、
前記行動推定手段は、第1の状態変化点から前記第1の状態変化点の次の状態変化点である第2の状態変化点までの期間内の前記ユーザの行動パターンを推定する、請求項3又は4に記載の情報処理システム。
【請求項6】
前記ユーザの状態に関する情報に基づいて、前記端末装置に対する前記ユーザの操作状態が変化するタイミングを示す状態変化点を検出する検出手段を備え、
前記操作状態推定手段は、第1の状態変化点から前記第1の状態変化点の次の状態変化点である第2の状態変化点までの期間内の前記端末装置に対する前記ユーザの操作状態を推定する、請求項1~5の何れかに記載の情報処理システム。
【請求項7】
前記検出手段は、所定のタイミングにおける前記ユーザの状態に関する情報が所定の条件を満たす場合に前記所定のタイミングが前記状態変化点であるか否かを判別することによって、前記状態変化点を検出する、請求項5又は6に記載の情報処理システム。
【請求項8】
前記所定の条件は、前記ユーザの状態に関する情報の推移を示す曲線の微分値が0であることを含む、請求項7に記載の情報処理システム。
【請求項9】
前記検出手段は、前記所定のタイミングにおける前記ユーザの状態に関する情報の変化の大小を示す変化点スコアが所定値以上である場合に、前記所定のタイミングが前記状態変化点であると判別する、請求項7又は8に記載の情報処理システム。
【請求項10】
推定された前記所定期間内の前記端末装置に対する前記ユーザの操作状態に応じて前記端末装置の動作を制御する制御手段を備える、請求項1~9の何れかに記載の情報処理システム。
【請求項11】
推定された前記所定期間内の前記端末装置に対する前記ユーザの操作状態に応じた情報を提供する提供手段を備える、請求項1~10の何れかに記載の情報処理システム。
【請求項12】
前記端末装置上で実行されているWebブラウザに表示されたWebページに関する情報を取得するページ情報取得手段を備え、
前記状態情報取得手段は、前記Webページが前記Webブラウザに表示されているときに前記計測装置によって計測された前記ユーザの状態に関する情報を取得し、
前記操作状態推定手段は、前記Webページが前記Webブラウザに表示されているときの前記所定期間内の前記端末装置に対する前記ユーザの操作状態を推定する、請求項1~11の何れかに記載の情報処理システム。
【請求項13】
推定された前記所定期間内の前記端末装置に対する前記ユーザの操作状態に応じて、前記Webブラウザに表示されるWebページの表示態様を変更する変更手段を備える、請求項12に記載の情報処理システム。
【請求項14】
前記ユーザの状態に関する情報は、前記ユーザの加速度及び前記ユーザの角速度のうち少なくとも1つを含む、請求項1~13の何れかに記載の情報処理システム。
【請求項15】
前記ユーザの操作状態は、前記端末装置に対する前記ユーザのタッチ状態、スクロール状態、スワイプ状態、フリック状態、ピンチ状態及びドラッグ状態のうち少なくとも1つを含む、請求項1~14の何れかに記載の情報処理システム。
【請求項16】
前記計測装置は前記端末装置に設けられている、請求項1~15の何れかに記載の情報処理システム。
【請求項17】
コンピュータを用いて、端末装置に対するユーザの操作状態を推定する情報処理方法であって、
前記コンピュータが、
計測装置によって計測された前記ユーザの状態に関する情報を取得するステップと、
所定期間内の前記ユーザの状態に関する情報の推移に基づいて、前記所定期間内の前記端末装置に対する前記ユーザの操作状態を推定するステップと、
の各ステップを実行する、
情報処理方法。
【請求項18】
コンピュータが、端末装置に対するユーザの操作状態を推定するためのプログラムであって、
前記コンピュータに、
計測装置によって計測された前記ユーザの状態に関する情報を取得する機能と、
所定期間内の前記ユーザの状態に関する情報の推移に基づいて、前記所定期間内の前記端末装置に対する前記ユーザの操作状態を推定する機能と、
を実現させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、情報処理システム、情報処理方法、プログラムに関する。
【背景技術】
【0002】
近年、携帯端末等の端末装置の普及により、端末装置のユーザの情報を収集し、ユーザ毎にパーソナライズされた情報をユーザに提供する機能(例えば、ユーザの検索履歴や位置によって結果が変わる検索エンジン機能や、閲覧履歴や購買履歴に応じてお勧めの商品を表示するレコメンド機能等)を有する情報提供サービスが実用化されている。
【0003】
例えば、特許文献1に記載された技術では、アイテムに対してアクションを起こしたユーザに対して、当該アイテムに関連するアイテムをレコメンドするようになっている。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開2011-154591号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
このような情報提供サービスでは、ユーザの検索履歴、位置、又は、Webページの閲覧・購買履歴等の情報を分析し、分析結果に応じて、パーソナライズされた情報が生成されるようになっている。一方、よりパーソナライズされた情報を生成するためには、より適切な情報を用いて分析を行う必要がある。
【0006】
本発明は上記課題に鑑みてなされたものであり、パーソナライズされた情報を生成するのに適用可能な情報を得ることの可能な情報処理システム、情報処理方法、プログラムを提供することを目的とする。
【課題を解決するための手段】
【0007】
上記課題を解決するために、第一に本発明は、端末装置に対するユーザの操作状態を推定する情報処理システムであって、計測装置によって計測された前記ユーザの状態に関する情報を取得する状態情報取得手段と、所定期間内の前記ユーザの状態に関する情報の推移に基づいて、前記所定期間内の前記端末装置に対する前記ユーザの操作状態を推定する操作状態推定手段と、を備える、情報処理システムを提供する(発明1)。
【0008】
かかる発明(発明1)によれば、所定期間内のユーザの状態に関する情報に基づいて、所定期間内の端末装置に対するユーザの操作状態(例えば、端末装置をどの程度頻繁に操作しているか又は操作可能であるか等)が推定されるので、例えば、推定されたユーザの操作状態を分析等することによって、ユーザの操作状態に応じてパーソナライズされた情報を生成することが可能になる。これにより、パーソナライズされた情報を生成するのに適用可能な情報(ユーザの操作状態)を得ることができる。
【0009】
上記発明(発明1)においては、前記操作状態推定手段は、前記所定期間内の前記ユーザの状態に関する情報の推移と、前記ユーザの状態に関する情報の推移を学習データとして用いた機械学習に基づく学習済モデルと、に基づいて、前記所定期間内の前記端末装置に対する前記ユーザの操作状態を推定してもよい(発明2)。
【0010】
かかる発明(発明2)によれば、学習済モデルを用いることによって、所定期間内の端末装置に対するユーザの操作状態を容易に推定することができる。
【0011】
上記発明(発明1~2)においては、前記所定期間内の前記ユーザの状態に関する情報の推移に基づいて、前記所定期間内の前記ユーザの行動パターンを推定する行動推定手段を備え、前記操作状態推定手段は、前記所定期間内の前記ユーザの行動パターンに基づいて、前記所定期間内の前記端末装置に対する前記ユーザの操作状態を推定してもよい(発明3)。
【0012】
かかる発明(発明3)によれば、所定期間内のユーザの状態に関する情報に基づいて推定されたユーザの行動パターンを用いて、所定期間内の端末装置に対するユーザの操作状態を推定することが可能になる。
【0013】
上記発明(発明3)においては、前記行動推定手段は、前記所定期間内の前記ユーザの状態に関する情報の推移と、前記ユーザの状態に関する情報の推移を学習データとして用いた機械学習に基づく学習済モデルと、に基づいて、前記所定期間内の前記ユーザの行動パターンを推定してもよい(発明4)。
【0014】
かかる発明(発明4)によれば、学習済モデルを用いることによって、所定期間内のユーザの行動パターンを容易に推定することができる。
【0015】
上記発明(発明3~4)においては、前記ユーザの状態に関する情報に基づいて、前記端末装置に対する前記ユーザの操作状態が変化するタイミングを示す状態変化点を検出する検出手段を備え、前記行動推定手段は、第1の状態変化点から前記第1の状態変化点の次の状態変化点である第2の状態変化点までの期間内の前記ユーザの行動パターンを推定してもよい(発明5)。
【0016】
かかる発明(発明5)によれば、状態変化点が検出されたタイミングでユーザの行動パターンの推定処理が開始され、それ以外のタイミングではユーザの行動パターンの推定処理が開始されないので、例えばユーザの行動パターンの推定処理が常時開始される場合と比較して、ユーザの行動パターンの推定処理にかかる負荷を低減することが可能になる。
【0017】
上記発明(発明1~5)においては、前記ユーザの状態に関する情報に基づいて、前記端末装置に対する前記ユーザの操作状態が変化するタイミングを示す状態変化点を検出する検出手段を備え、前記操作状態推定手段は、第1の状態変化点から前記第1の状態変化点の次の状態変化点である第2の状態変化点までの期間内の前記端末装置に対する前記ユーザの操作状態を推定してもよい(発明6)。
【0018】
かかる発明(発明6)によれば、状態変化点が検出されたタイミングでユーザの操作状態の推定処理が開始され、それ以外のタイミングではユーザの操作状態の推定処理が開始されないので、例えばユーザの操作状態の推定処理が常時開始される場合と比較して、ユーザの操作状態の推定処理にかかる負荷を低減することが可能になる。
【0019】
上記発明(発明5~6)においては、前記検出手段は、所定のタイミングにおける前記ユーザの状態に関する情報が所定の条件を満たす場合に前記所定のタイミングが前記状態変化点であるか否かを判別することによって、前記状態変化点を検出してもよい(発明7)。
【0020】
かかる発明(発明7)によれば、ユーザの状態に関する情報が所定の条件を満たすタイミングで状態変化点の検出処理が行われるので、例えば状態変化点の検出処理が常時行われる場合と比較して、状態変化点の検出処理にかかる負荷を低減することが可能になる。
【0021】
上記発明(発明7)においては、前記所定の条件は、前記ユーザの状態に関する情報の推移を示す曲線の微分値が0であることを含んでもよい(発明8)。
【0022】
かかる発明(発明8)によれば、ユーザの状態に関する情報の推移を示す曲線の微分値が0である場合に、状態変化点の検出処理を行うことが可能になる。
【0023】
上記発明(発明7~8)においては、前記検出手段は、前記所定のタイミングにおける前記ユーザの状態に関する情報の変化の大小を示す変化点スコアが所定値以上である場合に、前記所定のタイミングが前記状態変化点であると判別してもよい(発明9)。
【0024】
かかる発明(発明9)によれば、変化点スコアを用いることによって、状態変化点を容易に検出することが可能になる。
【0025】
上記発明(発明1~9)においては、推定された前記所定期間内の前記端末装置に対する前記ユーザの操作状態に応じて前記端末装置の動作を制御する制御手段を備えてもよい(発明10)。
【0026】
かかる発明(発明10)によれば、例えば、ユーザが端末装置をあまり操作していない場合に端末装置の消費電力を抑えるために表示部の明るさを低減する等のように、端末装置を制御することによって、ユーザの操作状態に応じて端末装置を適切に動作させることが可能になる。
【0027】
上記発明(発明1~10)においては、推定された前記所定期間内の前記端末装置に対する前記ユーザの操作状態に応じた情報を提供する提供手段を備えてもよい(発明11)。
【0028】
かかる発明(発明11)によれば、例えば、ユーザが端末装置を頻繁に操作している場合に端末装置を介して広告情報をユーザに提供する等のように、ユーザの操作状態に応じて適切な情報を提供することが可能になる。
【0029】
上記発明(発明1~11)においては、前記端末装置上で実行されているWebブラウザに表示されたWebページに関する情報を取得するページ情報取得手段を備え、前記状態情報取得手段は、前記Webページが前記Webブラウザに表示されているときに前記計測装置によって計測された前記ユーザの状態に関する情報を取得し、前記操作状態推定手段は、前記Webページが前記Webブラウザに表示されているときの前記所定期間内の前記端末装置に対する前記ユーザの操作状態を推定してもよい(発明12)。
【0030】
かかる発明(発明12)によれば、端末装置上で実行されているWebブラウザに所定のWebページが表示されているときのユーザの操作状態を推定することが可能になる。
【0031】
上記発明(発明1~12)においては、推定された前記所定期間内の前記端末装置に対する前記ユーザの操作状態に応じて、前記Webブラウザに表示されるWebページの表示態様を変更する変更手段を備えてもよい(発明13)。
【0032】
かかる発明(発明13)によれば、例えば、WebページがWebブラウザに表示されているときのユーザの操作状態に応じて、当該Webページのデザインやレイアウト等を動的に変更することが可能になる。
【0033】
上記発明(発明1~13)においては、前記ユーザの状態に関する情報は、前記ユーザの加速度及び前記ユーザの角速度のうち少なくとも1つを含んでもよい(発明14)。
【0034】
かかる発明(発明14)によれば、ユーザの加速度及び角速度のうち少なくとも1つに基づいて、ユーザの操作状態を推定することができる。
【0035】
上記発明(発明1~14)においては、前記ユーザの操作状態は、前記端末装置に対する前記ユーザのタッチ状態、スクロール状態、スワイプ状態、フリック状態、ピンチ状態及びドラッグ状態のうち少なくとも1つを含んでもよい(発明15)。
【0036】
かかる発明(発明15)によれば、ユーザの状態に関する情報に基づいて、ユーザのタッチ状態(例えば、タッチ操作の回数やタッチ操作の時間等)、スクロール状態(例えば、スクロール操作の回数やスクロール操作の時間等)、スワイプ状態(例えば、スワイプ操作の回数やスワイプ操作の時間等)、フリック状態(例えば、フリック操作の回数やフリック操作の時間等)、ピンチ状態(例えば、ピンチイン及び/又はピンチアウト操作の回数やピンチイン及び/又はピンチアウト操作の時間等)及びドラッグ状態(例えば、ドラッグ操作の回数やドラッグ操作の時間等)のうち少なくとも1つを推定することが可能になる。
【0037】
上記発明(発明1~15)においては、前記計測装置は前記端末装置に設けられてもよい(発明16)。
【0038】
かかる発明(発明16)によれば、端末装置に設けられた計測装置を用いて、ユーザの状態に関する情報を取得することが可能になる。
【0039】
第二に本発明は、コンピュータを用いて、端末装置に対するユーザの操作状態を推定する情報処理方法であって、前記コンピュータが、計測装置によって計測された前記ユーザの状態に関する情報を取得するステップと、所定期間内の前記ユーザの状態に関する情報の推移に基づいて、前記所定期間内の前記端末装置に対する前記ユーザの操作状態を推定するステップと、の各ステップを実行する、情報処理方法を提供する(発明17)。
【0040】
第三に本発明は、コンピュータが、端末装置に対するユーザの操作状態を推定するためのプログラムであって、前記コンピュータに、計測装置によって計測された前記ユーザの状態に関する情報を取得する機能と、所定期間内の前記ユーザの状態に関する情報の推移に基づいて、前記所定期間内の前記端末装置に対する前記ユーザの操作状態を推定する機能と、を実現させるためのプログラムを提供する(発明18)。
【発明の効果】
【0041】
本発明の情報処理システム、情報処理方法、プログラムによれば、パーソナライズされた情報を生成するのに適用可能な情報を得ることができる。
【図面の簡単な説明】
【0042】
図1】本発明の一実施形態に係る情報処理システムの基本構成を概略的に示す図である。
図2】端末装置の構成を示すブロック図である。
図3】情報処理装置の構成を示すブロック図である。
図4】情報処理システムで主要な役割を果たす機能を説明するための機能ブロック図である。
図5】第1取得データの構成例を示す図である。
図6】第2取得データの構成例を示す図である。
図7】ユーザの加速度と変化点スコアの経時的な変化の一例を示す図である。
図8】第1学習データの構成例を示す図である。
図9】第2学習データの構成例を示す図である。
図10】推定データの構成例を示す図である。
図11】制御データの構成例を示す図である。
図12】提供データの構成例を示す図である。
図13】(a),(b)は、推定された操作状態に応じてWebブラウザに表示されるWebページのレイアウトの一例を示す図である。
図14】本発明の一実施形態に係る情報処理システムの主要な処理の一例を示すフローチャートである。
図15】操作状態データの構成例を示す図である。
図16】第3学習データの構成例を示す図である。
図17】情報処理システムの各機能について、端末装置と、情報処理装置との間の分担例を示す図である。
【発明を実施するための形態】
【0043】
以下、本発明の一実施形態について添付図面を参照して詳細に説明する。ただし、この実施形態は例示であり、本発明はこれに限定されるものではない。
【0044】
(1)情報処理システムの基本構成
図1は、本発明の一実施形態に係る情報処理システムの基本構成を概略的に示す図である。本実施形態に係る情報処理システムは、図1に示すように、端末装置10に対するユーザの操作状態を推定するように構成されており、情報処理装置20が、所定の計測装置18(図2に示す)によって計測されたユーザの状態に関する情報を取得し、所定期間内のユーザの状態に関する情報に推移に基づいて、所定期間内の端末装置10に対するユーザの操作状態を推定するようになっている。端末装置10と、情報処理装置20とは、例えばインターネットやLAN(Local Area Network)等の通信網NW(ネットワーク)に接続されている。
【0045】
端末装置10は、例えば、ユーザに装着可能なデバイス(例えば、ウェアラブルデバイス)であってもよいし、ユーザが所持可能な携帯型デバイスであってもよい。また、端末装置10は、例えば、携帯端末、スマートフォン、PDA(Personal Digital Assistant)、パーソナルコンピュータ、双方向の通信機能を備えたテレビジョン受像機(いわゆる多機能型のスマートテレビも含む。)等のように、個々のユーザによって操作される装置であってもよい。さらに、端末装置10は、複数のユーザによって操作され得る共用の装置であってもよい。
【0046】
情報処理装置20は、パーソナライズされた情報を生成するのに適用可能な情報を得るための装置である。情報処理装置20は、端末装置10と同様に、個々のユーザによって操作される装置であってもよい。
【0047】
(2)端末装置の構成
図2を参照して端末装置10の構成について説明する。図2は、端末装置10の内部構成を示すブロック図である。図2に示すように、端末装置10は、CPU(Central Processing Unit)11と、ROM(Read Only Memory)12と、RAM(Random Access Memory)13と、記憶装置14と、表示処理部15と、表示部16と、入力部17と、計測装置18と、通信インタフェース部19と、を備えており、各部間の制御信号又はデータ信号を伝送するためのバス10aが設けられている。
【0048】
CPU11は、電源が端末装置10に投入されると、ROM12又は記憶装置14に記憶された各種のプログラムをRAM13にロードして実行する。
【0049】
記憶装置14は、例えば、フラッシュメモリ、SSD(Solid State Drive)、磁気記憶装置(例えばHDD(Hard Disk Drive)、フロッピーディスク(登録商標)、磁気テープ等)、光ディスク等の不揮発性の記憶装置であってもよいし、RAM等の揮発性の記憶装置であってもよく、CPU11が実行するプログラムやCPU11が参照するデータを格納する。
【0050】
表示処理部15は、CPU11から与えられる表示用データを表示部16に表示する。表示部16は、例えば、マトリクス状に画素単位で配置された薄膜トランジスタを含むLCD(Liquid Crystal Display)モニタであり、表示用データに基づいて薄膜トランジスタを駆動することで、表示されるデータを表示画面に表示する。
【0051】
端末装置10が釦入力方式の通信装置である場合には、入力部17は、ユーザの操作入力を受け入れるための方向指示釦及び決定釦等の複数の指示入力釦を含む釦群と、テンキー等の複数の指示入力釦を含む釦群とを備え、各釦の押下(操作)入力を認識してCPU11へ出力するためのインタフェース回路を含む。
【0052】
端末装置10がタッチパネル入力方式の通信装置である場合には、入力部17は、主として表示画面に指先又はペンで触れることによるタッチパネル方式の入力を受け付ける。タッチパネル入力方式は、静電容量方式等の公知の方式であってもよい。
【0053】
また、端末装置10が音声入力可能な装置である場合には、入力部17は、音声入力用のマイクを含むように構成されてもよいし、外付けのマイクを介して入力された音声データをCPU11へ出力するためのインタフェース回路を備えてもよい。さらに、端末装置10が動画像及び/又は静止画像を入力可能な通信装置である場合には、入力部17は、画像入力用のデジタルカメラやデジタルビデオカメラを含むように構成されてもよいし、外付けのデジタルカメラやデジタルビデオカメラで撮像された画像データを受け付けてCPU11へ出力するためのインタフェース回路を備えてもよい。
【0054】
計測装置18は、端末装置10のユーザの状態を連続的又は断続的(例えば、所定間隔(例えば200ミリ秒間隔)毎)に計測する装置である。ここで、ユーザの状態に関する情報とは、例えば、ユーザの状態を表す値であってもよいし、ユーザの状態を表す値を所定の計算式に代入することによって得られた値であってもよいし、ユーザの状態の度合いを表す情報であってもよい。
【0055】
計測装置18は、例えば、ユーザの状態(例えば、3軸方向又は2軸方向の加速度、3軸方向又は2軸方向の角速度、心拍数(脈拍)、血圧、体温、発汗量、歩数、歩行速度、姿勢、運動強度(例えば、心拍数÷最大心拍数)又は消費カロリー等)を計測する装置(例えば、加速度センサ、ジャイロセンサ、モーションセンサ、心拍計、血圧計、体温計、発汗計等)であってもよい。
【0056】
通信インタフェース部19は、通信網NWを介して他の装置(例えば、情報処理装置20)と通信を行うためのインタフェース回路を含む。
【0057】
(3)情報処理装置の構成
図3を参照して情報処理装置20の構成について説明する。図3は、情報処理装置20の内部構成を示すブロック図である。図3に示すように、情報処理装置20は、CPU21と、ROM22と、RAM23と、記憶装置24と、表示処理部25と、表示部26と、入力部27と、通信インタフェース部28と、を備えており、各部間の制御信号又はデータ信号を伝送するためのバス20aが設けられている。
【0058】
CPU21は、電源が情報処理装置20に投入されると、ROM22又は記憶装置24に記憶された各種のプログラムをRAM23にロードして実行する。本実施形態では、CPU21は、ROM22又は記憶装置24に記憶されたプログラムを読み出して実行することにより、後述するページ情報取得手段31、状態情報取得手段32、検出手段33、行動推定手段34、操作状態推定手段35、制御手段36、提供手段37及び変更手段38(図4に示す)の機能を実現する。
【0059】
記憶装置24は、例えば、フラッシュメモリ、SSD、磁気記憶装置(例えばHDD、フロッピーディスク(登録商標)、磁気テープ等)、光ディスク等の不揮発性の記憶装置であってもよいし、RAM等の揮発性の記憶装置であってもよく、CPU21が実行するプログラムやCPU21が参照するデータを格納する。また、記憶装置24には、後述する第1取得データ(図5に示す)、第2取得データ(図6に示す)、第1学習データ(図8に示す)、第2学習データ(図9に示す)、推定データ(図10に示す)、制御データ(図11に示す)及び提供データ(図12に示す)が記憶されている。
【0060】
入力部27は、例えばマウスやキーボード等の情報入力デバイスであってもよいし、音声入力用のマイクを含むように構成されてもよいし、画像入力用のデジタルカメラやデジタルビデオカメラを含むように構成されてもよいし、外付けのデジタルカメラやデジタルビデオカメラで撮像された画像データを受け付けてCPU21へ出力するためのインタフェース回路を備えてもよい。
【0061】
通信インタフェース部28は、通信網NWを介して通信を行うためのインタフェース回路を含む。情報処理装置20内の他の各部の詳細は、端末装置10と同様であってもよい。
【0062】
(4)情報処理システムにおける各機能の概要
本実施形態の情報処理システムで実現される機能について、図4を参照して説明する。図4は、本実施形態の情報処理システムで主要な役割を果たす機能を説明するための機能ブロック図である。図4の機能ブロック図では、状態情報取得手段32及び操作状態推定手段35が本発明の情報処理システムの主要な構成に対応している。他の手段(ページ情報取得手段31、検出手段33、行動推定手段34、制御手段36、提供手段37及び変更手段38)は必ずしも必須の構成ではないが、本発明をさらに好ましくするための構成要素である。
【0063】
ページ情報取得手段31は、端末装置10上で実行されているWebブラウザに表示されたWebページに関する情報を取得する機能を備える。
【0064】
ここで、Webページに関する情報は、Webページの識別情報(例えばURL(Uniform Resource Locator)等)を含んでもよいし、端末装置10上でのWebページの表示状態に関する情報を含んでもよい。また、Webページの表示状態に関する情報には、例えば、Webページが端末装置10の画面(表示部16)に表示されている状態(フォアグラウンド)、Webページが端末装置10の画面(表示部16)に表示されていない状態(バックグラウンド)、Webページがプリレンダリングされている状態(プリレンダリング)等が含まれてもよい。これにより、ユーザがどのような操作状態でWebページを閲覧(表示)しているのかとともに、Webページがどのような状態で表示されているかについても把握することが可能になるので、推定されたユーザの操作状態を分析等することによって、ユーザの操作状態に応じてよりパーソナライズされた情報を生成することができる。
【0065】
さらに、Webページに関する情報は、Webページがオンラインで表示されているか否かに関する情報を含んでもよい。これにより、ユーザがどのような操作状態でWebページを閲覧しているのかとともに、Webページがオンラインで表示されているか否かについても把握することが可能になるので、推定されたユーザの操作状態を分析等することによって、ユーザの操作状態に応じてよりパーソナライズされた情報を生成することができる。
【0066】
ページ情報取得手段31の機能は、例えば以下のように実現される。先ず、端末装置10のCPU11は、例えば、入力部17を用いたユーザの操作によってWebブラウザ(例えば、Google Chrome(登録商標)等)を実行している場合に、所定時間(例えば、10秒等)が経過する毎に、Webブラウザに表示されているWebページに関する情報を取得する。なお、ここでは、Webページに関する情報が、Webページの識別情報(例えばURL等)と、Webページの表示状態(例えば、フォアグラウンド、バックグラウンド、プリレンダリング等)と、Webページがオンラインで表示されているか否かと、を含むことを想定している。また、CPU11は、例えばJavaScript(登録商標)等を用いて構成されたアプリケーションを実行することによって、Webページに関する情報を取得してもよい。そして、CPU11は、Webページに関する情報を取得する毎に、取得した情報を、通信インタフェース部19及び通信網NWを介して情報処理装置20に送信する。ここで、情報処理装置20に送信される情報には、Webページに関する情報の取得日時と、端末装置10の識別情報(例えば、端末装置10のシリアル番号やMAC(Media Access Control)アドレス等)と、が含まれていてもよい。
【0067】
一方、情報処理装置20のCPU21は、通信インタフェース部28を介してWebページに関する情報を受信(取得)する毎に、Webページに関する情報を、例えば図5に示す第1取得データに記憶する。第1取得データは、端末装置10の識別情報(図の例では、端末装置ID)毎に、Webページに関する情報(図の例では、WebページのURL、Webページに関する情報の取得日時、Webページの表示状態、及び、端末装置10の接続状態(Webページがオンラインで表示されているか否か))が対応付けられた状態で記述されているデータである。ここで、図5に示すように、Webページに関する情報の取得日時、Webページの表示状態、及び、端末装置10の接続状態は、WebページのURL毎に対応付けられていてもよい。
【0068】
状態情報取得手段32は、計測装置18によって計測された端末装置10のユーザの状態に関する情報を取得する機能を備える。
【0069】
また、状態情報取得手段32は、WebページがWebブラウザに表示されているときに計測装置18によって計測されたユーザの状態に関する情報を取得してもよい。
【0070】
ここで、ユーザの状態に関する情報は、ユーザの加速度及びユーザの角速度のうち少なくとも1つを含んでもよい。これにより、ユーザの加速度及び角速度のうち少なくとも1つに基づいて、ユーザの操作状態を推定することができる。
【0071】
状態情報取得手段32の機能は、例えば以下のように実現される。なお、ここでは、状態情報取得手段32が、WebページがWebブラウザに表示されているときに計測装置18によって計測されたユーザの状態に関する情報を取得する場合を一例として説明する。先ず、端末装置10のCPU11は、例えば、入力部17を用いたユーザの操作によってWebブラウザを実行している場合に、所定時間(例えば、200ミリ秒等)が経過する毎に、ユーザの状態(例えば、ユーザの3軸方向又は2軸方向の加速度と、ユーザの3軸方向又は2軸方向の角速度と、のうち少なくとも1つ)を取得する。ここで、CPU11は、例えばJavaScript(登録商標)等を用いて構成されたアプリケーションを実行して計測装置18を動作させることによって、ユーザの状態に関する情報を取得してもよい。そして、CPU11は、ユーザの状態に関する情報を計測する毎に、計測したユーザの状態に関する情報を、通信インタフェース部19及び通信網NWを介して情報処理装置20に送信する。ここで、情報処理装置20に送信される情報には、ユーザの状態に関する情報の取得(計測)日時と、上述した端末装置10の識別情報と、が含まれていてもよい。
【0072】
一方、情報処理装置20のCPU21は、通信インタフェース部28を介してユーザの状態に関する情報を受信(取得)する毎に、ユーザの状態に関する情報を、例えば図6に示す第2取得データに記憶する。第2取得データは、端末装置10の識別情報(図の例では、端末装置ID)毎に、ユーザの状態に関する情報の取得(計測)日時と、ユーザの状態に関する情報と、が対応付けられた状態で記述されているデータである。
【0073】
検出手段33は、ユーザの状態に関する情報に基づいて、端末装置10に対するユーザの操作状態が変化するタイミングを示す状態変化点を検出する機能を備える。
【0074】
また、検出手段33は、所定のタイミングにおけるユーザの状態に関する情報が所定の条件を満たす場合に当該所定のタイミングが状態変化点であるか否かを判別することによって、状態変化点を検出してもよい。これにより、ユーザの状態に関する情報が所定の条件を満たすタイミングで状態変化点の検出処理が行われるので、例えば状態変化点の検出処理が常時行われる場合と比較して、状態変化点の検出処理にかかる負荷を低減することが可能になる。
【0075】
ここで、所定の条件は、ユーザの状態に関する情報の推移を示す曲線の微分値が0であることを含んでもよい。これにより、ユーザの状態に関する情報の推移を示す曲線の微分値が0である場合に、状態変化点の検出処理を行うことが可能になる。なお、所定の条件は、例えば、所定のタイミングを含む或る期間内のユーザの状態に関する情報(例えば、加速度及び角速度のうち1つ以上)の変化量の平均値の絶対値が所定値未満であることを含んでもよい。
【0076】
さらに、検出手段33は、所定のタイミングにおけるユーザの状態に関する情報の変化の大小を示す変化点スコアが所定値以上である場合に、当該所定のタイミングが状態変化点であると判別してもよい。これにより、変化点スコアを用いることによって、状態変化点を容易に検出することが可能になる。
【0077】
検出手段33の機能は、例えば以下のように実現される。なお、ここでは、所定のタイミングにおいてユーザの状態に関する情報の推移を示す曲線の微分値が0である場合であって、当該所定のタイミングにおけるユーザの状態に関する情報の変化点スコアが所定値以上である場合に、当該所定のタイミングが状態変化点として検出される場合を一例として説明する。
【0078】
情報処理装置20のCPU21は、例えば、所定のタイミング(例えば、最初のユーザの状態に関する情報を端末装置10から受信(取得)したタイミング等)を起点として所定期間(例えば、3秒等)が経過する毎に、当該所定期間内に第2取得データに記憶されたユーザの状態に関する情報(所定期間内のユーザの状態に関する情報の推移に関する情報)を第2取得データから抽出する。次に、CPU21は、抽出した所定期間内のユーザの状態に関する情報を用いて、所定期間内のユーザの状態に関する情報の経時的な変化を表す二次曲線を算出する。そして、CPU21は、所定期間内の時間(ユーザの状態に関する情報の取得(計測)日時)のうち、算出した二次曲線において微分値が0になる時間(本願発明における「所定のタイミング」の一例である)を抽出する。
【0079】
次いで、情報処理装置20のCPU21は、抽出した時間毎に、当該時間が状態変化点であるか否かを判別する。ここで、CPU21は、状態変化点の周知の検出手法を用いて状態変化点を判別してもよい。なお、ここでは、検出手法の一例としてChange Finderを用いる場合について説明する。Change Finderは、従来の検出手法と比較して計算時間が短いこと、非定常データへの対応が可能であること、オンライン処理に適していること等の特徴を有している。CPU21は、抽出した時間毎に、Change Finderを用いて変化点スコアを算出し、この変化点スコアが所定の閾値Th未満から当該閾値Th以上になる時間を、状態変化点として検出する。図7に、ユーザの状態に関する情報の一例である加速度と、変化点スコアと、の経時的な変化の一例を示す。図7に示す例では、変化点スコアが閾値Th(図の例では、20)未満から閾値Th以上になる時間t1,t2が、状態変化点として検出される。
【0080】
行動推定手段34は、所定期間内のユーザの状態に関する情報の推移に基づいて、所定期間内のユーザの行動パターンを推定する機能を備える。
【0081】
また、行動推定手段34は、所定期間内のユーザの状態に関する情報の推移と、ユーザの状態に関する情報の推移を学習データとして用いた機械学習に基づく学習済モデルと、に基づいて、所定期間内のユーザの行動パターンを推定してもよい。この場合、学習済モデルを用いることによって、所定期間内のユーザの行動パターンを容易に推定することができる。
【0082】
さらに、行動推定手段34は、第1の状態変化点から当該第1の状態変化点の次の状態変化点である第2の状態変化点までの期間内のユーザの行動パターンを推定してもよい。この場合、状態変化点が検出されたタイミングでユーザの行動パターンの推定処理が開始され、それ以外のタイミングではユーザの行動パターンの推定処理が開始されないので、例えばユーザの行動パターンの推定処理が常時開始される場合と比較して、ユーザの行動パターンの推定処理にかかる負荷を低減することが可能になる。
【0083】
行動推定手段34の機能は、例えば以下のように実現される。なお、ここでは、行動推定手段34が、第1の状態変化点(例えば、図7に示す時間t1)から当該第1の状態変化点の次の状態変化点である第2の状態変化点(例えば、図7に示す時間t2)までの期間内のユーザの行動パターンを、学習済モデルを用いて推定する場合を一例として説明する。情報処理装置20のCPU21は、例えば、第2取得データにアクセスして、第1の状態変化点として検出された時間(ユーザの状態に関する情報の取得(計測)日時)から第2の状態変化点として検出された時間までの期間内に取得されたユーザの状態に関する情報を抽出する。そして、CPU21は、抽出したユーザの状態に関する情報(所定期間内のユーザの状態に関する情報の推移に関する情報)を、ユーザの状態に関する情報を第1学習データとして用いた機械学習に基づく第1学習済モデルに入力することによって、当該期間内のユーザの行動パターンを推定する。
【0084】
第1学習データの一例を図8に示す。図8に示す第1学習データは、ユーザが所定の行動パターン(図の例では、「横になる」→「横になる」→「静止」→「横になる」→「静止」、「静止」→「静止」→「歩行」→「静止」→「静止」、「歩行」→「階段を上がる」→「歩行」→「静止」、「歩行」→「歩行」→「静止」→「歩行」→「歩行」等の何れか)を行っている場合のユーザの状態に関する情報(例えば、ユーザの3軸方向の加速度及び3軸方向の角速度のうち少なくとも一方)の時間推移を、当該行動パターン(行動パターンラベル)に対応付けた状態で記述されているデータである。これにより、機械学習の結果として、所定の行動パターンを行うユーザの状態に関する情報の時間推移と、当該行動パターンとの関係を示す学習済モデルが構成される。なお、図8に示す例では、行動パターンが複数の行動を含むように構成されているが、行動パターンは、1つの行動(例えば、「歩行」)のみを含むように構成されてもよい。
【0085】
なお、第1学習データに記述されるデータは、同一のユーザが異なる行動パターンを行った場合のデータを含んでもよいし、異なるユーザが同一の行動パターンを行った場合のデータを含んでもよい。
【0086】
また、CPU21は、ユーザの状態に関する情報を第1学習データとして用いた機械学習によって、ユーザの状態に関する情報に基づいてユーザの行動パターンを推定するのに用いられるモデル(第1学習済モデル)を学習してもよい。
【0087】
この場合、CPU21は、例えば、所定のモデル学習指示が入力部27を用いて入力されると、図8に示す第1学習データを用いてモデルの学習を行ってもよい。CPU21は、例えば、時系列対応型ニューラルネットワークモデルを用いて学習してもよい。ここで、時系列対応型ニューラルネットワークとして、例えば、RNN(Recurrent Neural Network)や、RNNの発展型であるLSTM(Long Short-Term Memory)等を適用することができる。また、CPU21は、例えば、グラフニューラルネットワーク(GNN)モデル、畳み込みニューラルネットワーク(CNN)モデル、サポートベクターマシン(SVM)モデル、全結合ニューラルネットワーク(FNN)モデル、勾配ブースティング(HGB)モデル、ウェーブネット(WN)モデル等の複数のモデルのうち何れかのモデルを用いて学習してもよい。さらに、CPU21は、GNNの派生である、グラフ畳み込みニューラルネットワーク(GCN)モデル、グラフアテンションネットワーク(GAT)モデル、グラフ畳み込みLSTM(GC-LSTM)モデルのうち何れかを用いて学習してもよい。
【0088】
このようにして、CPU21は、第1の状態変化点から第2の状態変化点までの期間内のユーザの状態に関する情報の推移に関する情報を第1学習済モデルに入力することによって、当該期間内のユーザの行動パターンを推定することができる。また、本実施形態では、例えば、第2取得データにユーザの状態に関する情報が新たに記憶される毎に、当該情報が新たに記憶された時点から所定期間内のユーザの行動パターンを推定する必要がないので、ユーザの行動パターンの推定処理にかかる負荷を低減することが可能になる。
【0089】
なお、本実施形態では、CPU21が、情報処理装置20内に設けられたモデル(第1学習済モデル)を学習し、この第1学習済モデルを用いてユーザの行動パターンを推定する場合を一例として説明したが、本発明は、この場合に限られない。例えば、ユーザの行動パターンを推定するのに用いられる第1学習済モデルは、情報処理装置20以外の他の装置に設けられてもよい。この場合、CPU21は、第1の状態変化点から第2の状態変化点までの期間内のユーザの状態に関する情報の推移に関する情報を、他の装置に設けられた第1学習済モデルに入力し、第1学習済モデルによって推定された行動パターンを受信(取得)してもよい。
【0090】
操作状態推定手段35は、所定期間内のユーザの状態に関する情報の推移に基づいて、所定期間内の端末装置10に対するユーザの操作状態を推定する機能を備える。
【0091】
また、操作状態推定手段35は、所定期間内のユーザの状態に関する情報の推移と、ユーザの状態に関する情報の推移を学習データとして用いた機械学習に基づく学習済モデルと、に基づいて、所定期間内の端末装置10に対するユーザの操作状態を推定してもよい。この場合、学習済モデルを用いることによって、所定期間内の端末装置10に対するユーザの操作状態を容易に推定することができる。
【0092】
さらに、操作状態推定手段35は、所定期間内のユーザの行動パターンに基づいて、所定期間内の端末装置10に対するユーザの操作状態を推定してもよい。これにより、所定期間内のユーザの状態に関する情報に基づいて推定されたユーザの行動パターンを用いて、所定期間内の端末装置10に対するユーザの操作状態を推定することが可能になる。
【0093】
さらにまた、操作状態推定手段35は、WebページがWebブラウザに表示されているときの所定期間内の端末装置10に対するユーザの操作状態を推定してもよい。これにより、端末装置10上で実行されているWebブラウザに所定のWebページが表示されているときのユーザの操作状態を推定することが可能になる。
【0094】
また、操作状態推定手段35は、第1の状態変化点から当該第1の状態変化点の次の状態変化点である第2の状態変化点までの期間内の端末装置10に対するユーザの操作状態を推定してもよい。この場合、状態変化点が検出されたタイミングでユーザの操作状態の推定処理が開始され、それ以外のタイミングではユーザの操作状態の推定処理が開始されないので、例えばユーザの操作状態の推定処理が常時開始される場合と比較して、ユーザの操作状態の推定処理にかかる負荷を低減することが可能になる。
【0095】
さらに、ユーザの操作状態は、端末装置10に対するユーザのタッチ状態、スクロール状態、スワイプ状態、フリック状態、ピンチ状態及びドラッグ状態のうち少なくとも1つを含んでもよい。これにより、ユーザの状態に関する情報に基づいて、ユーザのタッチ状態(例えば、タッチ操作の回数やタッチ操作の時間等)、スクロール状態(例えば、スクロール操作の回数やスクロール操作の時間等)、スワイプ状態(例えば、スワイプ操作の回数やスワイプ操作の時間等)、フリック状態(例えば、フリック操作の回数やフリック操作の時間等)、ピンチ状態(例えば、ピンチイン及び/又はピンチアウト操作の回数やピンチイン及び/又はピンチアウト操作の時間等)及びドラッグ状態(例えば、ドラッグ操作の回数やドラッグ操作の時間等)のうち少なくとも1つを推定することが可能になる。
【0096】
操作状態推定手段35の機能は、例えば以下のように実現される。なお、ここでは、操作状態推定手段35が、第1の状態変化点(例えば、図7に示す時間t1)から当該第1の状態変化点の次の状態変化点である第2の状態変化点(例えば、図7に示す時間t2)までの期間内のユーザの操作状態を、学習済モデルを用いて推定する場合を一例として説明する。情報処理装置20のCPU21は、例えば、上述した行動推定手段34の機能に基づいて、第1の状態変化点から第2の状態変化点までの期間のユーザの行動パターンを推定すると、推定した行動パターンを、ユーザの行動パターンを第2学習データとして用いた機械学習に基づく第2学習済モデルに入力することによって、当該期間内のユーザの操作状態を推定する。
【0097】
第2学習データの一例を図9に示す。図9に示す第2学習データは、端末装置10に対するユーザの所定の操作状態(操作状態ラベル)(図の例では、端末装置10の表示部16に対する「タッチ回数がX回(X>0)以上」、「タッチ回数がX回(0<X<X)以上X回未満」、「タッチ回数がX回(0<X<X)以上X回未満」、「タッチ回数がX回(0<X<X)以上X回未満」等の何れか)を、その操作状態におけるユーザの行動パターン(図の例では、「横になる」→「横になる」→「静止」→「横になる」→「静止」、「静止」→「静止」→「歩行」→「静止」→「静止」、「歩行」→「階段を上がる」→「歩行」→「静止」、「歩行」→「歩行」→「静止」→「歩行」→「歩行」等の何れか)に対応付けた状態で記述されているデータである。これにより、機械学習の結果として、所定の操作状態におけるユーザの行動パターンと、当該操作状態との関係を示す学習済モデルが構成される。
【0098】
なお、図9に示す例では、操作状態が、端末装置10に表示部16に対するタッチ回数で示されているが、操作状態は、表示部16に対するタッチ時間で示されてもよい。また、操作状態は、タッチ状態(例えば、タッチ操作の回数やタッチ操作の時間等)、スクロール状態(例えば、スクロール操作の回数やスクロール操作の時間等)、スワイプ状態(例えば、スワイプ操作の回数やスワイプ操作の時間等)、フリック状態(例えば、フリック操作の回数やフリック操作の時間等)、ピンチ状態(例えば、ピンチイン及び/又はピンチアウト操作の回数やピンチイン及び/又はピンチアウト操作の時間等)及びドラッグ状態(例えば、ドラッグ操作の回数やドラッグ操作の時間等)のうち少なくとも1つを用いて示されてもよい。さらに、操作状態は、端末装置10に対する操作の程度を表す情報(例えば、「頻繁に操作されている(タッチ等の操作回数が非常に多い又は操作時間が非常に長い)」、「よく操作されている(タッチ等の操作回数が多い又は操作時間が長い)」、「あまり操作されていない(タッチ等の操作回数が少ない又は操作時間が短い)」、「殆ど操作されていない(タッチ等の操作回数が非常に少ない又は操作時間が非常に短い)」等)で示されてもよい。
【0099】
なお、第2学習データに記述されるデータは、同一のユーザが異なる行動パターンを行った場合の操作状態を含んでもよいし、異なるユーザが同一の行動パターンを行った場合の操作状態を含んでもよい。
【0100】
また、CPU21は、行動パターンを第2学習データとして用いた機械学習によって、行動パターンに基づいてユーザの操作状態を推定するのに用いられるモデル(第2学習済モデル)を学習してもよい。
【0101】
この場合、CPU21は、例えば、所定のモデル学習指示が入力部27を用いて入力されると、図9に示す第2学習データを用いてモデルの学習を行ってもよい。CPU21は、例えば、上述した第1学習済モデルと同様に、時系列対応型ニューラルネットワークモデル、GNNモデル、CNNモデル、SVMモデル、FNNモデル、HGBモデル、WNモデル、GCNモデル、GATモデル、畳み込みLSTM(GC-LSTM)モデル等の複数のモデルのうち何れかのモデルを用いて学習してもよい。
【0102】
このようにして、CPU21は、第1の状態変化点から第2の状態変化点までの期間内のユーザの行動パターンを第2学習済モデルに入力することによって、当該期間内のユーザの操作状態を推定することができる。また、本実施形態では、例えば、第2取得データにユーザの状態に関する情報が新たに記憶される毎に、当該情報が新たに記憶された時点から所定期間内のユーザの操作状態を推定する必要がないので、ユーザの操作状態の推定処理にかかる負荷を低減することが可能になる。
【0103】
なお、本実施形態では、CPU21が、情報処理装置20内に設けられたモデル(第2学習済モデル)を学習し、この第2学習済モデルを用いてユーザの行動パターンを推定する場合を一例として説明したが、本発明は、この場合に限られない。例えば、ユーザの操作状態を推定するのに用いられる第2学習済モデルは、情報処理装置20以外の他の装置に設けられてもよい。この場合、CPU21は、第1の状態変化点から第2の状態変化点までの期間内のユーザの行動パターンを、他の装置に設けられた第2学習済モデルに入力し、第2学習済モデルによって推定されたユーザの操作状態を受信(取得)してもよい。
【0104】
また、CPU21は、所定期間内のユーザの操作状態を推定すると、Webページに関する情報と、ユーザの操作状態と、を対応付けた状態で記憶してもよい。この場合、CPU21は、所定期間内のユーザの行動を推定すると、当該ユーザ(端末装置ID)に対応するWebページに関する情報のうち、取得日時が当該所定期間内に含まれるWebページに関する情報を第1取得データから抽出する。そして、CPU21は、抽出したWebページに関する情報と、ユーザの操作状態と、を対応付けた状態で例えば図10に示す推定データに記憶する。推定データは、端末装置10の識別情報(図の例では、端末装置ID)毎に、Webページに関する情報と、ユーザの操作状態と、が対応付けられた状態で記述されているデータである。ここで、図10に示す推定データ内のアクセス期間は、対応するWebページが、ユーザの端末装置10上で実行されているWebブラウザに連続して表示されている期間を示している。また、図10に示す例では、1つのアクセス期間に対して表示状態、接続状態及び操作状態が1つずつ対応付けられているが、1つのアクセス期間において表示状態、接続状態及び操作状態のうち少なくとも1つが変化する場合があることから、1つのアクセス期間に対して複数の表示状態、接続状態及び操作状態が対応付けられていてもよい。
【0105】
この場合、推定データに基づいて、端末装置10上で実行されているWebブラウザに所定のWebページが表示されているときのユーザの操作状態を把握することが可能になる。また、推定データに基づいて、ユーザがどのような操作状態でWebページを閲覧しているのかとともに、Webページがどのような状態で表示されているかについても把握することが可能になる。さらに、推定データに基づいて、ユーザがどのような操作状態でWebページを閲覧しているのかとともに、Webページがオンラインで表示されているか否かについても把握することが可能になる。
【0106】
制御手段36は、推定された所定期間内の端末装置10に対するユーザの操作状態に応じて端末装置10の動作を制御する機能を備える。これにより、例えば、ユーザが端末装置10をあまり操作していない場合に端末装置10の消費電力を抑えるために表示部16の明るさを低減する等のように、端末装置10を制御することによって、ユーザの操作状態に応じて端末装置10を適切に動作させることが可能になる。
【0107】
制御手段36の機能は、例えば以下のように実現される。情報処理装置20のCPU21は、操作状態推定手段35の機能に基づいてユーザの操作状態を推定すると、図11に示す制御データにアクセスして、推定された操作状態に対応する制御内容を抽出する。制御データは、Webページの識別情報(例えば、WebページのURL)毎に、推定された操作状態(図の例では、「タッチ回数がX回以上」、「タッチ回数がX回以上X回未満」等)と端末装置10の制御内容(図の例では、「所定のアプリケーション(例えば、地図アプリケーション等)を起動」、「表示部16の明るさを低減」等)とが対応付けられた状態で記述されているデータである。例えば、所定のWebページが端末装置10のWebブラウザに表示されているときに推定された操作状態が「タッチ回数がX回以上」であった場合、CPU21は、「タッチ回数がX回以上」という行動に対応する制御内容(ここでは、「所定のアプリケーションを起動」)を制御データから抽出する。そして、CPU21は、抽出した制御内容(ここでは、「所定のアプリケーションを起動」)で端末装置10を動作させるための指示情報(コマンド)を、通信インタフェース部28及び通信網NWを介して端末装置10に送信する。
【0108】
一方、端末装置10のCPU11は、指示情報を情報処理装置20から受信すると、受信した指示情報に基づいて動作する(ここでは、所定のアプリケーションを起動する)。このようにして、ユーザの操作状態に応じて端末装置10を適切に動作させることができる。
【0109】
なお、ここでは、制御データが、Webページの識別情報毎に、推定された操作状態と端末装置10の制御内容とが対応付けられた状態で記述されている場合を一例として説明したが、制御データは、推定された操作状態毎に、端末装置10の制御内容が対応付けられた状態で記述されてもよい(つまり、Webページの識別情報が対応付けられていなくてもよい)。
【0110】
提供手段37は、推定された所定期間内の端末装置10に対するユーザの操作状態に応じた情報を提供する機能を備える。これにより、例えば、ユーザが端末装置10を頻繁に操作している場合に端末装置10を介して広告情報をユーザに提供する等のように、ユーザの操作状態に応じて適切な情報を提供することが可能になる。
【0111】
提供手段37の機能は、例えば以下のように実現される。情報処理装置20のCPU21は、操作状態推定手段35の機能に基づいてユーザの操作状態を推定すると、図12に示す提供データにアクセスして、推定された操作状態に対応する提供情報を抽出する。提供データは、Webページの識別情報(例えば、WebページのURL)毎に、推定された操作状態(図の例では、「タッチ回数がX回以上」、「タッチ回数がX回以上X回未満」等)と提供情報(図の例では、「アンケート情報」、「広告情報」等)とが対応付けられた状態で記述されているデータである。例えば、所定のWebページが端末装置10のWebブラウザに表示されているときに推定された操作状態が「アンケート情報」であった場合、CPU21は、「アンケート情報」という行動に対応する提供情報(ここでは、「アンケート情報」)を提供データから抽出する。そして、CPU21は、抽出した提供情報を、通信インタフェース部28及び通信網NWを介して端末装置10に送信する。
【0112】
一方、端末装置10のCPU11は、提供情報を情報処理装置20から受信すると、受信した提供情報を例えば表示部16に表示させてもよい。また、提供情報が音声データで構成されている場合には、CPU11は、提供情報をスピーカ等の音声出力装置から出力してもよい。このようにして、ユーザの操作状態に応じて適切な情報を提供することができる。
【0113】
なお、ここでは、提供データが、Webページの識別情報毎に、推定された操作状態と提供情報とが対応付けられた状態で記述されている場合を一例として説明したが、提供データは、推定された操作状態毎に、提供情報が対応付けられた状態で記述されてもよい(つまり、Webページの識別情報が対応付けられていなくてもよい)。
【0114】
変更手段38は、推定された所定期間内の端末装置10に対するユーザの操作状態に応じて、Webブラウザに表示されるWebページの表示態様を変更する機能を備える。これにより、例えば、例えば、WebページがWebブラウザに表示されているときのユーザの操作状態に応じて、当該Webページのデザインやレイアウト等を動的に変更することが可能になる。
【0115】
変更手段38の機能は、例えば以下のように実現される。情報処理装置20のCPU21は、操作状態推定手段35の機能に基づいてユーザの操作状態を推定すると、端末装置10上のWebブラウザに表示されているWebページを例えばWebサーバ(図示省略)から取得し、取得したWebページのデザインやレイアウト等を推定された操作状態に応じて変更する等によって、Webページを変更してもよい。ここで、推定されたユーザの操作状態に対応するWebページのデザインやレイアウト等に関する情報は、例えば記憶装置24に記憶されてもよい。そして、CPU21は、変更したWebページを、通信インタフェース部28及び通信網NWを介して端末装置10に送信する。
【0116】
一方、端末装置10のCPU11は、変更したWebページを情報処理装置20から受信すると、変更したWebページを表示部16に表示させてもよい。図13に、端末装置10に表示されるWebページの表示態様の一例を示す。図13(a)は、推定されたユーザの操作状態が「タッチ回数がX回以上」の場合にWebブラウザに表示されるWebページのレイアウトの一例を示す図であり、図13(b)は、推定されたユーザの操作状態が「タッチ回数がX回以上X回未満」の場合にWebブラウザに表示されるWebページのレイアウトの一例を示す図である。例えば、ユーザの操作状態が「タッチ回数がX回以上」と推定された場合、図13(a)に示すように、テキストや動画等が表示される領域A,B,C,Dが設けられたWebページが表示されるようになっている。ここで、領域Aは画面上部に表示され、領域Bは画面左下部に表示され、領域C,Dは画面右下部に表示されるようにレイアウトされている。一方、ユーザの操作状態が「タッチ回数がX回以上X回未満」と推定された場合、図13(b)に示すように、領域D,C,A(各領域に表示される情報は、図13(a)に表示される内容と同じであってもよい)が設けられたWebページが表示されるようになっている。ここで、領域Dは画面上部に表示され、領域Cは画面中央部に表示され、領域Aは画面下部に表示されるようにレイアウトされている。このようにして、WebページがWebブラウザに表示されているときのユーザの操作状態に応じてWebページの表示態様を動的に変更することができる。
【0117】
(5)本実施形態の情報処理システムの主要な処理のフロー
次に、本実施形態の情報処理システムにより行われる主要な処理のフローの一例について、図14のフローチャートを参照して説明する。
【0118】
情報処理装置20のCPU21は、状態情報取得手段32の機能に基づいて、計測装置18によって計測された端末装置10のユーザの状態に関する情報を取得する(ステップS100)。ここで、CPU21は、WebページがWebブラウザに表示されているときに計測装置18によって計測されたユーザの状態に関する情報を取得してもよい。また、ユーザの状態に関する情報は、ユーザの加速度及びユーザの角速度のうち少なくとも1つを含んでもよい。
【0119】
次に、情報処理装置20のCPU21は、操作状態推定手段35の機能に基づいて、所定期間内のユーザの状態に関する情報の推移に基づいて、所定期間内の端末装置10に対するユーザの操作状態を推定する(ステップS102)。ここで、CPU21は、所定期間内のユーザの状態に関する情報の推移と、ユーザの状態に関する情報の推移を学習データとして用いた機械学習に基づく学習済モデルと、に基づいて、所定期間内の端末装置10に対するユーザの操作状態を推定してもよい。また、CPU21は、所定期間内のユーザの行動パターンに基づいて、所定期間内の端末装置10に対するユーザの操作状態を推定してもよい。さらに、CPU21は、WebページがWebブラウザに表示されているときの所定期間内の端末装置10に対するユーザの操作状態を推定してもよい。さらにまた、CPU21は、第1の状態変化点から当該第1の状態変化点の次の状態変化点である第2の状態変化点までの期間内の端末装置10に対するユーザの操作状態を推定してもよい。
【0120】
なお、情報処理装置20のCPU21は、推定されたユーザの操作状態を含むデータ(図10に示す推定データ)を、通信インタフェース部28及び通信網NWを介して外部装置(例えば、パーソナライズされた情報を生成して提供するコンピュータ(例えば、サーバ)等)に送信(提供)してもよい。
【0121】
一方、パーソナライズされた情報を生成して提供するサービス提供者側では、情報処理装置20から送信された推定データに基づいて、ユーザがどのような操作状態でWebページを閲覧しているのか等を把握することが可能になる。また、推定データを分析等することによって、ユーザの操作状態に応じてパーソナライズされた情報を生成することが可能になる。
【0122】
上述したように、本実施形態の情報処理システム、情報処理方法、プログラムによれば、所定期間内のユーザの状態に関する情報に基づいて、所定期間内の端末装置10に対するユーザの操作状態(例えば、端末装置10をどの程度頻繁に操作しているか又は操作可能であるか等)が推定されるので、例えば、推定されたユーザの操作状態を分析等することによって、ユーザの操作状態に応じてパーソナライズされた情報を生成することが可能になる。これにより、パーソナライズされた情報を生成するのに適用可能な情報(ユーザの操作状態)を得ることができる。
【0123】
また、本実施形態の情報処理システム、情報処理方法、プログラムによれば、計測装置18が端末装置10に設けられているので、端末装置10に設けられた計測装置18を用いて、ユーザの状態に関する情報を取得することが可能になる。
【0124】
以下、上述した実施形態の変形例について説明する。
(変形例)
上記実施形態では、操作状態推定手段35が、行動推定手段34によって推定された行動パターンと、行動パターンを第2学習データとして用いた機械学習に基づく第2学習済モデルと、に基づいて、ユーザの操作状態を推定する場合を一例として説明したが、本発明は、この場合に限られない。例えば、操作状態推定手段35は、所定期間内のユーザの状態に関する情報の推移が、所定の操作状態に対応する所定の条件を満たす場合に、当該所定の操作状態を端末装置10に対するユーザの操作状態として推定してもよい。ここで、所定の条件とは、例えば、所定期間内のユーザの状態に関する情報の推移が、所定の操作状態に対応するユーザの状態に関する情報の範囲に含まれることであってもよい。
【0125】
この場合、情報処理装置20のCPU21は、所定期間内に第2取得データに記憶されたユーザの状態に関する情報(所定期間内のユーザの状態に関する情報の推移に関する情報)を第2取得データから抽出すると、図15に示す操作状態データを参照してユーザの操作状態を推定してもよい。操作状態データは、複数の操作状態(図の例では、「タッチ回数がX回以上」、「タッチ回数がX回以上X回未満」、「タッチ回数がX回以上X回未満」、「タッチ回数がX回以上X回未満」等)毎に、対応するユーザの状態に関する情報の範囲(図の例では、3軸加速度の範囲)の時間推移が対応付けられた状態で記述されているデータである。操作状態データは、例えば記憶装置24に記憶されていてもよい。
【0126】
CPU21は、例えば、第2取得データから抽出したユーザの状態に関する情報の時間推移が、操作状態データ内の何れかの操作状態に対応するユーザの状態に関する情報の範囲に含まれる場合に、当該何れかの操作状態(例えば、「タッチ回数がX回以上」)をユーザの操作状態として推定してもよい。
【0127】
また、行動推定手段34は、図15に示す操作状態データと同様に構成されたデータ(図示省略)を用いて、操作状態推定手段35と同様に、所定期間内のユーザの状態に関する情報の推移が、所定の行動パターンに対応する所定の条件(例えば、所定期間内のユーザの状態に関する情報の推移が、所定の行動パターンに対応するユーザの状態に関する情報の範囲に含まれること)を満たす場合に、ユーザが当該所定の行動パターンを行っていると推定してもよい。
【0128】
このように、本変形例にかかる情報処理システム、情報処理方法、プログラムによれば、上述した実施形態と同様の作用効果を発揮することが可能である。
【0129】
なお、本発明のプログラムは、コンピュータで読み取り可能な記憶媒体に記憶されていてもよい。このプログラムを記録した記憶媒体は、図2に示す端末装置10のROM12、RAM13又は記憶装置14であってもよいし、図3に示す情報処理装置20のROM22、RAM23又は記憶装置24であってもよい。また、記憶媒体は、例えばCD-ROMドライブ等のプログラム読取装置に挿入されることで読み取り可能なCD-ROM等であってもよい。さらに、記憶媒体は、磁気テープ、カセットテープ、フレキシブルディスク、MO/MD/DVD等であってもよいし、半導体メモリであってもよい。
【0130】
以上説明した実施形態及び変形例は、本発明の理解を容易にするために記載されたものであって、本発明を限定するために記載されたものではない。したがって、上記実施形態及び変形例に開示された各要素は、本発明の技術的範囲に属する全ての設計変更や均等物をも含む趣旨である。
【0131】
例えば、上述した実施形態では、計測装置18が端末装置10に設けられている場合を一例として説明したが、本発明は、この場合に限られない。計測装置18は、例えば、ユーザに装着された状態で設けられてもよいし、ユーザ及び端末装置10とは別の位置に設けられてもよい。また、計測装置18がユーザに装着された状態で設けられている場合には、ユーザの少なくとも1つの身体部位(例えば、腕、脚等)の加速度や角速度等が、ユーザの状態に関する情報として取得されてもよい。
【0132】
また、上述した実施形態では、情報処理装置20のCPU21が、操作状態推定手段35の機能として、所定期間内のユーザの行動パターンに基づいて、所定期間内の端末装置10に対するユーザの操作状態を推定する場合を一例として説明したが、本発明は、この場合に限られない。例えば、CPU21は、所定期間内のユーザの状態に関する情報の推移を、ユーザの状態に関する情報の推移を第3学習データとして用いた機械学習に基づく第3学習済モデルに入力することによって、所定期間内のユーザの操作状態を推定してもよい。
【0133】
第3学習データの一例を図16に示す。図16に示す第3学習データは、ユーザの状態に関する情報の推移と、ユーザの操作状態(操作状態ラベル)とが対応付けられた状態で記述されているデータである。これにより、機械学習の結果として、ユーザの状態に関する情報の推移と、ユーザの操作状態との関係を示す第3学習済モデルが構成される。また、CPU21は、ユーザの状態に関する情報の推移を第3学習データとして用いた機械学習によって、ユーザの状態に関する情報に基づいてユーザの操作状態を推定するのに用いられるモデル(第3学習済モデル)を学習してもよい。
【0134】
さらに、上述した実施形態では、1人のユーザによる端末装置10の操作状態が推定される場合を一例として説明したが、複数のユーザの各々が所持する端末装置10に対するユーザの操作状態が推定されてもよい。
【0135】
さらにまた、上述した実施形態では、「静止」、「歩行」、「横になる」、「階段を上がる」のうち1つ以上を含む行動パターンが推定される場合を一例として説明したが、行動パターンに含まれる行動の内容はこれらに限定されない。
【0136】
また、上述した実施形態では、1つの情報処理装置20が設けられている場合を一例として説明したが、本発明は、この場合に限られない。例えば、複数の情報処理装置20が設けられてもよく、この場合には、何れかの情報処理装置20上の操作内容及び処理結果等が他の情報処理装置20上でリアルタイムに提示されてもよいし、何れかの情報処理装置20での処理結果等が複数の情報処理装置20間で共有されてもよい。
【0137】
さらに、上述した実施形態では、情報処理装置20によって、ページ情報取得手段31、状態情報取得手段32、検出手段33、行動推定手段34、操作状態推定手段35、制御手段36、提供手段37及び変更手段38の各機能を実現する構成としたが、本発明は、この構成に限られない。例えば、インターネットやLAN等の通信網NWを介して情報処理装置20と通信可能に接続されたコンピュータ等(例えば、汎用のパーソナルコンピュータやサーバコンピュータ等)によって、上記各手段31~37のうち少なくとも1つの手段の機能を実現する構成としてもよい。また、図4に示した機能ブロック図の各機能は、図17(a),(b)に示すように、端末装置10と情報処理装置20との間で任意に分担されてもよい。
【0138】
例えば、端末装置10のCPU11は、ユーザの状態に関する情報に基づいてユーザの行動パターンを推定してもよいし、推定した行動パターンに基づいてユーザの操作状態を推定してもよい。この場合、CPU11は、上述した実施形態における第1学習済モデル及び/又は第2学習済モデルを学習してもよい。この場合、CPU11は、例えばオープンソースの機械学習ライブラリであるTensorFlow(登録商標)を用いて機械学習を行ってもよい。これにより、端末装置10において、ユーザの操作状態の推定をリアルタイムで行うことが可能になる。また、ユーザの操作状態の推定処理を端末装置10内で行うことが可能になるので、例えば、ユーザの状態に関する情報やユーザの行動パターンに関する情報が端末装置10の外部に送信されるのを抑制することができる。したがって、ユーザのプライバシー保護を実現しながら、ユーザの操作状態を推定することが可能になる。
【産業上の利用可能性】
【0139】
上述したような本発明の情報処理システム、情報処理方法、プログラムは、ユーザ毎にパーソナライズされた情報をユーザに提供する情報提供サービス等に好適に利用することができるので、その産業上の利用可能性は極めて大きい。
【符号の説明】
【0140】
10…端末装置
18…計測装置
20…情報処理装置
31…ページ情報取得手段
32…状態情報取得手段
33…検出手段
34…行動推定手段
35…操作情報推定手段
36…制御手段
37…提供手段
38…変更手段
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13
図14
図15
図16
図17