IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ ヤフー株式会社の特許一覧

特開2024-86017情報処理装置、情報処理方法、及び情報処理プログラム
<>
  • 特開-情報処理装置、情報処理方法、及び情報処理プログラム 図1
  • 特開-情報処理装置、情報処理方法、及び情報処理プログラム 図2
  • 特開-情報処理装置、情報処理方法、及び情報処理プログラム 図3
  • 特開-情報処理装置、情報処理方法、及び情報処理プログラム 図4
  • 特開-情報処理装置、情報処理方法、及び情報処理プログラム 図5
  • 特開-情報処理装置、情報処理方法、及び情報処理プログラム 図6
  • 特開-情報処理装置、情報処理方法、及び情報処理プログラム 図7
  • 特開-情報処理装置、情報処理方法、及び情報処理プログラム 図8
  • 特開-情報処理装置、情報処理方法、及び情報処理プログラム 図9
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024086017
(43)【公開日】2024-06-27
(54)【発明の名称】情報処理装置、情報処理方法、及び情報処理プログラム
(51)【国際特許分類】
   G06F 3/0481 20220101AFI20240620BHJP
   G06F 3/04842 20220101ALI20240620BHJP
【FI】
G06F3/0481
G06F3/04842
【審査請求】未請求
【請求項の数】6
【出願形態】OL
(21)【出願番号】P 2022200864
(22)【出願日】2022-12-16
(71)【出願人】
【識別番号】500257300
【氏名又は名称】LINEヤフー株式会社
(74)【代理人】
【識別番号】110002147
【氏名又は名称】弁理士法人酒井国際特許事務所
(72)【発明者】
【氏名】池松 香
(72)【発明者】
【氏名】鈴木 健司
(72)【発明者】
【氏名】笹谷 奈翁美
【テーマコード(参考)】
5E555
【Fターム(参考)】
5E555AA03
5E555AA07
5E555BA05
5E555BA06
5E555BA14
5E555BA38
5E555BA70
5E555BB05
5E555BB06
5E555BB14
5E555BB38
5E555BC17
5E555CA12
5E555CA22
5E555CB12
5E555CB34
5E555CB40
5E555CB45
5E555CC05
5E555DB03
5E555DB18
5E555DB53
5E555DC09
5E555DC11
5E555DC13
5E555DC52
5E555DD02
5E555EA03
5E555EA20
5E555FA00
(57)【要約】
【課題】利用者の操作内容を的確に予測して、利用者の操作を補助することができる情報処理装置、情報処理方法、及び情報処理プログラムを提供することを目的とする。
【解決手段】本開示に係る情報処理装置は、利用者端末に操作処理の対象となる複数の対象コンテンツを表示させる処理を含む利用者端末の表示を制御する処理を行う表示制御部と、利用者の対象コンテンツに対する操作を示す操作情報を取得する取得部と、操作情報に基づいて対象コンテンツに対する利用者の操作内容を予測する予測部と、操作情報、及び予測部が予測した利用者の操作内容に基づいて利用者の操作を補助する提案情報を生成する生成部と、を備え、表示制御部は、生成部が生成した提案情報を利用者端末に表示させる。
【選択図】図4
【特許請求の範囲】
【請求項1】
利用者端末に操作処理の対象となる複数の対象コンテンツを表示させる処理を含む利用者端末の表示を制御する処理を行う表示制御部と、
利用者の対象コンテンツに対する操作を示す操作情報を取得する取得部と、
前記操作情報に基づいて対象コンテンツに対する利用者の操作内容を予測する予測部と、
前記操作情報、及び前記予測部が予測した利用者の操作内容に基づいて利用者の操作を補助する提案情報を生成する生成部と、を備え、
前記表示制御部は、前記生成部が生成した前記提案情報を利用者端末に表示させる、
情報処理装置。
【請求項2】
前記生成部は、前記操作情報が複数の対象コンテンツの境界の位置を操作点として示す場合に、前記操作点の近辺の対象コンテンツを含む提案情報を生成する、
請求項1に記載の情報処理装置。
【請求項3】
前記生成部は、前記操作情報に基づいて選択された対象コンテンツに基づいて、前記表示制御部が対象コンテンツの表示態様を遷移させた後に、前記操作情報が複数の対象コンテンツの境界の位置を操作点として示す場合に、前記操作点の近辺の対象コンテンツを含む提案情報を生成する、
請求項1又は請求項2に記載の情報処理装置。
【請求項4】
前記表示制御部は、利用者が対象コンテンツを選択した後に、利用者端末の前記提案情報の表示を消す表示制御を実行する、
請求項3に記載の情報処理装置。
【請求項5】
利用者端末に操作処理の対象となる複数の対象コンテンツを表示させるステップと、
利用者の対象コンテンツに対する操作を示す操作情報を取得するステップと、
前記操作情報に基づいて対象コンテンツに対する利用者の操作内容を予測するステップと、
前記操作情報、及び予測した利用者の操作内容に基づいて利用者の操作を補助する提案情報を生成するステップと、
生成した前記提案情報を利用者端末に表示させるステップと、
を含む情報処理方法。
【請求項6】
利用者端末に操作処理の対象となる複数の対象コンテンツを表示させるステップと、
利用者の視線情報を用いた対象コンテンツに対する操作を示す操作情報を取得するステップと、
前記操作情報に基づいて対象コンテンツに対する利用者の操作内容を予測するステップと、
前記操作情報、及び予測した利用者の操作内容に基づいて利用者の操作を補助する提案情報を生成するステップと、
生成した前記提案情報を利用者端末に表示させるステップと、
をコンピュータに実行させる情報処理プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、情報処理装置、情報処理方法、及び情報処理プログラムに関する。
【背景技術】
【0002】
スマートウォッチやスマートフォングラスなどのウェアラブルデバイスの登場により、利用者とこれらのデバイスとの間の相互作用を画像表示により担うGUI(Graphical User Interface)においてコンテンツを操作する際に、誤ったコンテンツを選択してしまうといった不都合が生じることがあった。
【0003】
例えば、下記の特許文献1には、タッチ操作のタッチ領域に複数のオブジェクトが表示される場合に、容易に一つのオブジェクトを選択できる操作表示装置が開示されている。特許文献1に記載の操作表示装置は、タッチ領域のオブジェクトが複数の場合に、オブジェクトに圧力レベルを対応付けて、圧力検出部で検出される押下圧に対応する圧力レベルに対応付けられるオブジェクトを選択する。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開2018-197898号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら、特許文献1に記載の操作表示装置は、例えば、チタン酸ジルコン酸鉛(PZT:Pb(Zr,Ti)O3)などの圧電セラミックス素子に圧力が加わった際の圧電セラミックス素子の静電容量の変化を検出することにより押下圧を検出する圧力センサを設ける必要があり、一般的なスマートウォッチやスマートフォンなどのデバイスに適用することができなかった。
【0006】
本開示は上記課題を鑑み、利用者の操作内容を的確に予測して、利用者の操作を補助することができる情報処理装置、情報処理方法、及び情報処理プログラムを提供することを目的とする。
【課題を解決するための手段】
【0007】
上述した課題を解決し、目的を達成するために、本開示に係る情報処理装置は、利用者端末に操作処理の対象となる複数の対象コンテンツを表示させる処理を含む利用者端末の表示を制御する処理を行う表示制御部と、利用者の対象コンテンツに対する操作を示す操作情報を取得する取得部と、前記操作情報に基づいて対象コンテンツに対する利用者の操作内容を予測する予測部と、前記操作情報、及び前記予測部が予測した利用者の操作内容に基づいて利用者の操作を補助する提案情報を生成する生成部と、を備え、前記表示制御部は、前記生成部が生成した前記提案情報を利用者端末に表示させる。
【発明の効果】
【0008】
本開示によれば、利用者の操作内容を的確に予測して、利用者の操作を補助することができる情報処理装置、情報処理方法、及び情報処理プログラムを提供することができる。
【図面の簡単な説明】
【0009】
図1図1は、実施形態に係る情報処理の一例を示す図である。
図2図2は、実施形態に係る情報処理装置の生成部が生成する提案情報の一例を示す図である。
図3図3は、実施形態に係る情報処理システムの構成例を示す図である。
図4図4は、実施形態に係る情報処理装置の構成例を示す図である。
図5図5は、実施形態に係る情報処理装置の操作情報記憶部に記憶される情報の一例を示す図である。
図6図6は、実施形態に係る情報処理装置のコンテンツ記憶部に記憶される情報の一例を示す図である。
図7図7は、実施形態に係る利用者端末の構成例を示す図である。
図8図8は、実施形態に係る情報処理の一例を示すフローチャートである。
図9図9は、情報処理装置の機能を実現するコンピュータの一例を示すハードウェア構成図である。
【発明を実施するための形態】
【0010】
以下に、本願に係る情報処理装置、情報処理方法、及び情報処理プログラムを実施するための形態(以下、「実施形態」と記載する。)について図面を参照しつつ詳細に説明する。なお、この実施形態により本願に係る情報処理装置、情報処理方法、及び情報処理プログラムが限定されるものではない。
【0011】
(実施形態)
〔1-1.実施形態に係る情報処理の一例〕
まず、図1を用いて、実施形態に係る情報処理の一例について説明する。図1は、実施形態に係る情報処理の一例を示す図である。図1では、実施形態に係る情報処理が情報処理装置100、利用者端末200により実行される例を示す。以下、実施形態に係る情報処理についてステップごとに順を追って説明する。
【0012】
まず、情報処理装置100は、利用者端末200に操作対象となる複数の対象コンテンツを表示させる(ステップS1)。例えば、情報処理装置100は、利用者端末200に、電子ブックのページ画面や、テキストボックス、動画のスクロールバー、ブラウザのWEBページのスクロールバーやリンク、CAD(Computer‐Aided Design)のオブジェクトなどを含む操作対象となる複数の対象コンテンツを表示させて、利用者の操作情報を受け付ける。なお、操作対象となる複数の対象コンテンツが表示される状態とは、例えば、スワイプ操作を受け付けるスクロールバーが複数表示される場合や、スクロールバーとスワイプ操作を受け付けるページ画面が重ねて表示される状態、別のページへ遷移するリンクが複数並べて表示される状態、文字入力のキーボードの画面表示がされ入力キーが複数並べて表示される状態などのことを指している。例えば、図1に示す表示画面G1に示されるような複数の対象コンテンツを表示させてもよい。
【0013】
次に、情報処理装置100は、利用者端末200から利用者の操作情報を取得する(ステップS2)。ここで、操作情報とは、利用者の利用者端末200に対する操作を示す情報であって、例えば、タッチパネルに対するタッチ操作の情報や、アイトラッキング装置の注視点の情報であってよい。例えば、情報処理装置100は、利用者Uが利用者端末200に対して操作を行うたびに、利用者Uの操作情報を取得する。
【0014】
次に、情報処理装置100は、操作情報に基づいて対象コンテンツに対する利用者の操作内容を予測する(ステップS3)。例えば、情報処理装置100は、操作情報が示す事象を事前事象として、利用者の操作内容を示す事後事象との関係を、ベイジアンネットワークによりモデル化したモデルを用いて、事前事象から予測される事後事象の確率が最も高い事象を利用者の操作内容として予測してよい。
【0015】
次に、情報処理装置100は、操作情報、及び利用者の操作の予測内容に基づいて利用者の操作を補助する提案情報を生成する(ステップS4)。例えば、情報処理装置100は、操作情報から利用者の操作状況を判定して、判定した利用者の操作状況、及び利用者の操作の予測内容に基づいて、利用者の操作を補助する提案情報を生成してよい。つまり、情報処理装置100は、利用者の操作状況と、利用者の操作内容の予測に応じて、利用者の操作を補助する提案情報を生成する。ここで、利用者の操作状況とは、利用者が操作を行った際の複数の対象コンテンツの状態のことを指しており、例えば、複数のアイコンが密集して表示されている状態や、スクロールバーが複数表示されている状態のことを意味する。
【0016】
次に、情報処理装置100は、生成した提案情報を利用者端末200に表示させる(ステップS5)。例えば、情報処理装置100は、ステップS1において表示された複数の対象コンテンツに重ねて表示する態様により、ステップS4において生成した提案情報を利用者端末200に表示させてよい。なお、情報処理装置100は、利用者の注意が集中していると考えられる利用者の操作情報が示すタッチ位置や注視点の位置に近い位置に提案情報を表示させるようにすることが好ましい。例えば、図1に示す表示画面G2に示されるような提案情報P1を表示させてもよい。
【0017】
これにより、情報処理装置100は、操作情報に基づいて利用者の操作内容を予測して、予測した操作内容に応じて利用者の操作を補助する提案情報を生成することができる。そのため、利用者の操作内容を的確に予測して、利用者の操作を補助することができる情報処理装置100を提供することができる。
【0018】
〔1-2.実施形態に係る情報処理の他の例1〕
情報処理装置100は、操作情報が複数の対象コンテンツの境界の位置を操作点として示す場合に、操作点の近辺の対象コンテンツを含む提案情報を生成する。
【0019】
この情報処理について順を追って説明する。まず、情報処理装置100は、図1に示したステップS1からS3までと同じ処理を実行する。ステップS1からS3までの処理は、前述した処理と同じであるから説明を省略する。
【0020】
次に、情報処理装置100は、操作情報が複数の対象コンテンツの境界の位置を操作点として示す場合に、操作点の近辺の対象コンテンツを含む提案情報を生成する(ステップS4-1)。例えば、利用者Uが利用者端末200にステップS1において表示された複数のアイコンが表示された表示画面G1に対して、図1において利用者の操作対象を意味するTargetとして示すアイコンI1の境界の位置を操作点として示す操作を行ったとする。この場合、情報処理装置100は、図1に示すS5の表示画面G2に示す提案情報P1を生成する。図1に示す提案情報P1は、アイコンI1の近辺のアイコンであるアイコンI2、及びアイコンI3に対して、それぞれのアイコンに対応付けられたプログラムを実行させる処理を実行するプログラムを含む情報である。なお、操作点の近辺とは、操作情報が示す操作点、ないし注視点の位置から最も近い順に対象コンテンツを並べた場合に、最上位から第三位までに含まれる対象コンテンツを意味する。このような提案情報を利用者端末200に表示させることにより、利用者Uは、複数の対象コンテンツが密集して表示される状態においても、操作したい対象コンテンツを的確に操作することができる。
【0021】
次に、情報処理装置100は、図1に示したステップS5と同じ処理を実行する。ステップS5の処理は、前述した処理と同じであるから説明を省略する。
【0022】
これにより、複数の対象コンテンツが密集して表示されている状態においても、利用者が誤った対象コンテンツを選択しないように、利用者を補助する提案情報を表示させることができる。そのため、利用者の操作内容を的確に予測して、利用者の操作を補助することができる情報処理装置100を提供することができる。
【0023】
〔1-3.実施形態に係る情報処理の他の例2〕
情報処理装置100は、操作情報に基づいて選択された対象コンテンツに基づいて、対象コンテンツの表示態様を遷移させた後に、操作情報が複数の対象コンテンツの境界の位置を操作点として示す場合に、操作点の近辺の対象コンテンツを含む提案情報を生成する。
【0024】
この情報処理について順を追って説明する。まず、情報処理装置100は、図1に示したステップS1からS3までと同じ処理を実行する。ステップS1からS3までの処理は、前述した処理と同じであるから説明を省略する。
【0025】
次に、情報処理装置100は、操作情報に基づいて選択された対象コンテンツに基づいて、対象コンテンツの表示態様を遷移させた後に、操作情報が複数の対象コンテンツの境界の位置を操作点として示す場合に、操作点の近辺の対象コンテンツを含む提案情報を生成する(ステップS4-2)。例えば、利用者Uが利用者端末200にステップS1において表示された複数のアイコンが表示された表示画面G1に対して、アイコンI1を選択する操作を行ったとする。この場合、情報処理装置100は、アイコンI1に対応付けられたプログラムを実行する処理を行って、例えば、複数の対象コンテンツの表示態様を遷移させる。
【0026】
ここで、このような場合に情報処理装置100が生成する提案情報について図2を用いて説明する。図2は、実施形態に係る情報処理装置の生成部が生成する提案情報の一例を示す図である。図2には、表示画面G1から表示画面G3に表示態様が遷移されたことが示されている。図2に示す表示画面G3に表示される提案情報P2は、アイコンI1の近辺のアイコンであるアイコンI2、及びアイコンI3に対して、それぞれのアイコンに対応付けられたプログラムを実行させる処理を実行するプログラムを含む情報である。なお、操作点の近辺とは、操作情報が示す操作点、ないし注視点の位置から最も近い順に対象コンテンツを並べた場合に、最上位から第三位までに含まれる対象コンテンツを意味する。
【0027】
このような提案情報を複数の対象コンテンツの表示態様を遷移させた後の利用者端末200に表示させることにより、利用者Uは誤った対象コンテンツを操作してしまった場合であっても、利用者Uが意図する対象コンテンツを操作することができる。
【0028】
次に、情報処理装置100は、図1に示したステップS5と同じ処理を実行する。ステップS5の処理は、前述した処理と同じであるから説明を省略する。
【0029】
これにより、複数の対象コンテンツが密集して表示されている状態において、利用者が誤った対象コンテンツを選択した場合であっても、利用者を補助する提案情報を表示させて、利用者が意図する対象コンテンツを操作することができる。そのため、利用者の操作内容を的確に予測して、利用者の操作を補助することができる情報処理装置100を提供することができる。
【0030】
〔1-4.実施形態に係る情報処理の他の例3〕
情報処理装置100は、利用者が対象コンテンツを選択した後に、利用者端末200の提案情報の表示を消す表示制御を実行する。
【0031】
この情報処理について順を追って説明する。まず、情報処理装置100は、図1に示したステップS1からS5までと同じ処理を実行する。ステップS1からS3までの処理は、前述した処理と同じであるから説明を省略する。
【0032】
次に、情報処理装置100は、利用者が対象コンテンツを選択した後に、利用者端末200の提案情報の表示を消す表示制御を実行する(ステップS6)。例えば、図1に示す表示画面G1が表示された状態において、利用者UがアイコンI1と、アイコンI2と、アイコンI3の境界の位置を操作点として示す操作を行い、情報処理装置100がステップS3において表示画面G2に示す提案情報P1を表示させたとする。そして、利用者Uが利用者端末200に表示された表示画面G2を確認して、アイコンI1を選択する操作を行ったとする。この場合、情報処理装置100は、利用者端末200に表示された表示画面G2において提案情報P1の表示を消す表示制御を実行させる。
【0033】
これにより、利用者の操作を補助する提案情報を表示させたときに、利用者が意図する対象コンテンツを操作した場合に、表示された提案情報を消すことができる。そのため、利用者の操作内容を的確に予測して、利用者の操作を補助することができる情報処理装置100を提供することができる。
【0034】
〔2.情報処理システムの構成〕
次に、図3を用いて実施形態に係る情報処理システムの構成について説明する。図3は、実施形態に係る情報処理システムの構成例を示す図である。図3に示すように、情報処理システム1は、情報処理装置100と、利用者端末200と、ネットワークNを含む。なお、図3に示した情報処理システム1は、複数台の利用者端末200が含まれ構成されていてもよい。
【0035】
情報処理装置100は、例えばPC(Personal Computer)、WS(Work Station)、サーバの機能を備えるコンピュータなどの情報処理装置であってよい。情報処理装置100は、利用者端末200からネットワークNを介して送信されてきた情報に基づいて処理を行う。
【0036】
利用者端末200は、利用者が利用する情報処理装置である。利用者端末200は、例えば、スマートフォン、スマートウォッチ、スマートフォングラス、タブレット型端末、デスクトップ型PC、ノート型PC、携帯電話機、PDA(Personal Digital Assistant)等の情報処理装置であってよい。なお、図1に示す例においては、利用者端末200がスマートフォンである場合を示している。
【0037】
ネットワークNは、情報処理装置100と利用者端末200を有線、又は無線により相互に通信可能に接続する。ネットワークNが有線の場合は、IEEE802.3に規定されるイーサネット(登録商標)(ETHERNET(登録商標))により実現されてよい。また、ネットワークNが無線の場合は、IEEE802.11に規定される無線LAN(Local Area Network)を用いて実現されてよい。
【0038】
〔3.情報処理装置の構成〕
次に、図3を用いて、実施形態に係る情報処理装置100の構成について説明する。図3は、実施形態に係る情報処理装置の構成例を示す図である。図3に示すように、情報処理装置100は、通信部110と、記憶部120と、制御部130と、を有する。なお、図3に図示はしていないが、情報処理装置100は、情報処理装置100の管理者から各種操作を受け付ける入力部(例えば、キーボードやマウス等)や、各種情報を表示するための表示部(例えば、液晶ディスプレイ等)を有してもよい。
【0039】
(通信部110について)
通信部110は、例えば、NIC(Network Interface Card)等によって実現される。そして、通信部110は、ネットワークNと有線または無線で接続され、利用者端末200との間で情報の送受信を行う。
【0040】
(記憶部120について)
記憶部120は、例えば、RAM(Random Access Memory)、フラッシュメモリ(Flash Memory)等の半導体メモリ素子、または、ハードディスク、SSD(Solid State Drive)、光ディスク等の記憶装置によって実現される。図3に示すように、記憶部120は、操作情報記憶部121と、コンテンツ記憶部122と、を有する。
【0041】
(操作情報記憶部121について)
操作情報記憶部121は、利用者端末200から取得した利用者の操作情報を記憶する。ここで、図5を用いて、操作情報記憶部121が記憶する情報の一例を説明する。図5は、実施形態に係る情報処理装置の操作情報記憶部に記憶される情報の一例を示す図である。
【0042】
図5に示す例において、操作情報記憶部121は、「利用者ID」、「操作情報」という項目に係る情報を紐付けて記憶する。
【0043】
「利用者ID」は、利用者を識別する識別子であり文字列や番号などによって表される。「操作情報」は、「利用者ID」に紐付けられた利用者の操作情報であり、操作情報をタッチパネルにより受け付ける場合、操作情報は利用者の指ごとのタッチ所要時間、タッチ移動速度(X軸、Y軸)、タッチダウン位置(X軸、Y軸)、タッチアップ位置(X軸、Y軸)、接触面積、タッチダウン‐アップ位置の差異などを含んでよい。また、操作情報をアイトラッキング装置により受け付ける場合、操作情報は左右の眼球の視線方向、左右の眼球の注視点の位置などを含んでよい。
【0044】
すなわち、図5においては、利用者ID「UID#1」により識別された利用者の操作情報が操作情報「操作情報#1」であることを示している。
【0045】
なお、操作情報記憶部121に記憶される情報は、「利用者ID」、「操作情報」という項目に係る情報に限定されるものではなく、その他の任意の利用者の操作に関係する情報が記憶されてよい。
【0046】
(コンテンツ記憶部122について)
コンテンツ記憶部122は、利用者端末200に表示させる複数のコンテンツを記憶する。図6は、実施形態に係る情報処理装置のコンテンツ記憶部に記憶される情報の一例を示す図である。
【0047】
図6に示す例において、コンテンツ記憶部122は、「コンテンツID」、「コンテンツデータ」という項目に係る情報を紐付けて記憶する。
【0048】
「コンテンツID」は、コンテンツを識別する識別子であり文字列や番号などによって表される。「コンテンツデータ」は、利用者端末200に表示させるコンテンツのデータである。
【0049】
すなわち、図6においては、コンテンツID「CT#1」によって識別されるコンテンツとして、コンテンツデータ「CD#1」が示すコンテンツデータが記憶されていることを示している。
【0050】
なお、コンテンツ記憶部122は、「コンテンツID」、「コンテンツデータ」という項目に係る情報に限定されることなく、その他の任意のコンテンツに関係する情報が記憶されてよい。
【0051】
(制御部130について)
次に図3に戻って、制御部130について説明する。制御部130は、CPU(Central Processing Unit)やMPU(Micro Processing Unit)等によって、情報処理装置100の記憶装置に記憶されている各種プログラムがRAMを作業領域として実行されることにより実現される。また、制御部130は、例えば、ASIC(Application Specific Integrated Circuit)やFPGA(Field Programmable Gate Array)等の集積回路により実現されてもよい。
【0052】
図3に示すように、制御部130は、取得部131と、予測部132と、判定部133と、生成部134と、表示制御部135を有する。
【0053】
(取得部131について)
取得部131は、情報処理装置100の内部、ないし外部から各種の情報を取得する。
【0054】
例えば、取得部131は、利用者の対象コンテンツに対する操作を示す操作情報を取得する。利用者端末200がタッチパネルによって利用者の操作を受け付ける場合であれば、取得部131は、利用者のタッチ操作のタッチ所要時間、タッチ移動速度(X軸、Y軸)、タッチダウン位置(X軸、Y軸)、タッチアップ位置(X軸、Y軸)、接触面積、タッチダウン‐アップ位置の差異を含む操作情報を取得する。また、利用者端末200がアイトラッキング装置によって利用者の操作を受け付ける場合であれば、取得部131は、利用者の左右の眼球の視線方向、左右の眼球の注視点の位置などを含む操作情報を取得する。
【0055】
(予測部132について)
予測部132は、操作情報に基づいて対象コンテンツに対する利用者の操作内容を予測する。予測部132は、操作情報が示す事象に基づいて、対象コンテンツに対する利用者の操作内容の事後確率を予測して、利用者の操作内容を予測してよい。すなわち、予測部132は、ベイズの定理を用いたベイジアンネットワークを用いて複数の対象コンテンツの選択確率の相互依存関係を表現して、操作情報に基づいて利用者の操作内容を予測してよい。ベイジアンネットワークは、事象間の因果関係の強さを、ある事象が起こったときに他の事象が起こる確率である条件付き確率の大きさから判断し、多数の事象間の因果関係を有向グラフにより整理するモデルである。対象コンテンツがアイコンの場合であれば、利用者の操作情報が示す操作点の位置を事前の事象、利用者が複数のアイコンのうちの特定のアイコンを選択する確率を事後確率としてよい。すなわち、複数の対象コンテンツのうちにおいて、最も事後確率が高い対象コンテンツを利用者が選択すると予測してよい。
【0056】
(判定部133について)
判定部133は、利用者の操作状況を判定する。具体的には、判定部133は、操作情報から利用者の操作状況を判定する。ここで、操作状況とは、利用者が対象コンテンツに対して操作を行う際の対象コンテンツなどの状況を指している。例えば、利用者端末200に複数の対象コンテンツとして複数のアイコンが並べて表示されている状態であって、利用者の操作情報が示す操作点の位置が複数のアイコンの境界の位置を示していたとする。この場合、判定部133は、利用者の操作状況について、複数の対象コンテンツが密集して表示されている状態において、複数の対象コンテンツの境界を操作点として操作する操作状況であると判定する。
【0057】
(生成部134について)
生成部134は、操作情報、及び予測部132が予測した利用者の操作内容に基づいて利用者の操作を補助する提案情報を生成する。すなわち、生成部134は、操作情報と、利用者の操作状況と、利用者の操作内容の予測に応じて、利用者の操作を補助する提案情報を生成する。以下、生成部134が生成する提案情報の具体例について説明する。
【0058】
生成部134は、操作情報が複数の対象コンテンツの境界の位置を操作点として示す場合に、操作点の近辺の対象コンテンツを含む提案情報を生成する。例えば、利用者Uが利用者端末200に表示された複数のアイコンが表示された図1に示す表示画面G1に対して、図1において利用者の操作対象を意味するTargetとして示すアイコンI1の境界の位置を操作点として示す操作を行ったとする。この場合、生成部134は、図1に示す表示画面G2に示す提案情報P1を生成する。図1に示す提案情報P1は、アイコンI1の近辺のアイコンであるアイコンI2、及びアイコンI3に対して、それぞれのアイコンに対応付けられたプログラムを実行させる処理を実行するプログラムを含む情報である。
【0059】
生成部134は、操作情報に基づいて選択された対象コンテンツに基づいて、表示制御部135がページを遷移させた後に、操作情報が複数の対象コンテンツの境界の位置を操作点として示す場合に、操作点の近辺の対象コンテンツを含む提案情報を生成する。例えば、利用者Uが利用者端末200に表示された複数のアイコンが表示された表示画面G1に対して、アイコンI1を選択する操作を行ったとする。そして、アイコンI1に対応付けられたプログラムを実行する処理を行って、例えば、複数の対象コンテンツの表示態様を遷移させたとする。この場合、生成部134は、図2に示す表示画面G3に表示される提案情報P2のような提案情報を生成する。図2に示す提案情報P2は、アイコンI1の近辺のアイコンであるアイコンI2、及びアイコンI3に対して、それぞれのアイコンに対応付けられたプログラムを実行させる処理を実行するプログラムを含む情報である。なお、操作点の近辺とは、操作情報が示す操作点、ないし注視点の位置から最も近い順に対象コンテンツを並べた場合に、最上位から第三位までに含まれる対象コンテンツを意味する。
【0060】
(表示制御部135について)
表示制御部135は、利用者端末200の出力部240の表示を制御する。
【0061】
例えば、表示制御部135は、利用者端末200に操作処理の対象となる複数の対象コンテンツを表示させる。表示制御部135は、例えば、電子ブックのページ画面、テキストボックス、動画のスクロールバー、ブラウザのWEBページのスクロールバーやリンク、CADのオブジェクトなどを含む複数のコンテンツを表示させる。なお、表示制御部135が表示させるコンテンツは、これに限定されるものではなく、VR(Virtual Reality)やMR(Mixed Reality)の技術を利用したコンテンツなどであってもよい。
【0062】
また、表示制御部135は、利用者が複数の対象コンテンツのうちの一つを選択した場合に、複数の対象コンテンツの表示態様を遷移させる。例えば、表示制御部135は、利用者が選択した対象コンテンツに対応付けられたプログラムを実行させることにより、複数の対象コンテンツの表示態様を遷移させてよい。
【0063】
また、表示制御部135は、利用者が対象コンテンツを選択した後に、利用者端末200の提案情報の表示を消す表示制御を実行する。例えば、図1に示す表示画面G1が表示された状態において、利用者UがアイコンI1と、アイコンI2と、アイコンI3の境界の位置を操作点として示す操作を行い、表示画面G2に示す提案情報P1を表示させたとする。そして、利用者Uが利用者端末200に表示された表示画面G2を確認して、アイコンI1を選択する操作を行ったとする。この場合、表示制御部135は、利用者端末200に表示された表示画面G2において提案情報P1の表示を消す表示制御を実行させる。
【0064】
〔4.利用者端末の構成〕
次に、図7を用いて、実施形態に係る利用者端末200の構成について説明する。図7は、実施形態に係る利用者端末の構成例を示す図である。図7に示すように、利用者端末200は、通信部210と、記憶部220と、入力部230と、出力部240と、制御部250を有する。
【0065】
通信部210は、例えば、NIC等によって実現される。そして、通信部210は、ネットワークNと有線又は無線で接続され、ネットワークNを介して、情報処理装置100との間で各種の情報の送受信を行う。
【0066】
記憶部220は、各種の情報を記憶する記憶装置である。記憶部220は、主記憶装置と補助記憶装置とを備える。主記憶装置は、例えばRAM、ROM、フラッシュメモリ等のような半導体メモリ素子によって実現されてよい。また、補助記憶装置は、例えばハードディスクやSSD、光ディスク等によって実現されてよい。
【0067】
入力部230は、利用者から各種の操作情報が入力される。例えば、入力部230は、タッチパネルにより表示面(例えば出力部240)を介して利用者からの各種操作を受け付ける。また、入力部230は、アイトラッキング装置であってもよい。アイトラッキング装置は、ステレオカメラが撮像した利用者の眼球の画像情報に基づいて、利用者の眼球運動を分析して、利用者の視線方向を把握し、利用者の注視点を操作情報として受け付ける装置である。
【0068】
出力部240は、例えば液晶ディスプレイや有機EL(Electro-Luminescence)ディスプレイ等によって実現されるタブレット型端末等の表示画面であり、各種情報を表示するための表示装置である。つまり、利用者端末200は、入力部230がタッチパネルである場合は、出力部240である表示画面により利用者の入力を受け付け、利用者への出力も行う。また、出力部240は、スピーカーであり、スピーカーにより音声を出力してよい。
【0069】
制御部250は、例えば、CPUやMPU等によって、利用者端末200に記憶されている各種プログラムがRAMを作業領域として実行されることにより実現される。また、制御部250は、例えば、ASICやFPGA等の集積回路により実現されてもよい。
【0070】
図7に示すように、制御部250は、受付部251と、表示制御部252と、を有する。以下、これらの構成について順を追って説明する。
【0071】
受付部251は、利用者から対象コンテンツに対する操作情報を受け付ける。また、例えば、受付部251は、出力部240に操作対象となる複数の対象コンテンツを表示させて、利用者から操作対象となる複数の対象コンテンツに対する操作情報を受け付ける。受付部251は、例えば、出力部240がタッチパネルである場合であれば、利用者の指ごとのタッチ座標の中心点座標や、移動速度、移動方向、接触面積などの情報をセンシングすることにより、利用者から対象コンテンツに対する操作情報を受け付けてよい。また、受付部251は、入力部230がアイトラッキング装置である場合であれば、利用者の左右の眼球の視線方向、注視点などを操作情報として受け付ける。
【0072】
表示制御部252は、出力部240に表示される情報を制御する。例えば、表示制御部252は、出力部240に情報処理装置100の表示制御部135の制御指令にしたがって複数の対象コンテンツを表示させるように制御する。また、表示制御部252は、出力部240に情報処理装置100の生成部134が生成した提案情報を表示させるように制御する。この場合は、表示制御部252は、元々の表示に重ねて提案情報を表示させてよい。
【0073】
〔5.情報処理のフロー〕
次に、図8を用いて、実施形態に係る情報処理装置100による情報処理の手順について説明する。図8は、実施形態に係る情報処理の一例を示すフローチャートである。以下、図8に示すフローチャートに沿って、実施形態に係る情報処理の手順について説明する。
【0074】
例えば、情報処理装置100は、利用者端末200に操作処理の対象となる複数の対象コンテンツを表示させる(ステップS101)。そして、情報処理装置100は、利用者の対象コンテンツに対する操作を示す操作情報を取得する(ステップS102)。そして、情報処理装置100は、操作情報に基づいて対象コンテンツに対する利用者の操作内容を予測する(ステップS103)。そして、情報処理装置100は、操作情報、及び予測した利用者の操作内容に基づいて利用者の操作を補助する提案情報を生成する(ステップS104)。そして、情報処理装置100は、生成した提案情報を利用者端末200に表示させる(ステップS105)。
【0075】
これによれば、操作情報に基づいて利用者の操作内容を予測して、予測した操作内容に応じて利用者の操作を補助する提案情報を生成することができる。そのため、利用者の操作内容を的確に予測して、利用者の操作を補助することができる情報処理方法、及び情報処理プログラムを提供することができる。
【0076】
〔6.ハードウェア構成〕
また、上述した実施形態に係る情報処理装置100は、例えば図9に示すような構成のコンピュータ1000によって実現される。図9は、情報処理装置の機能を実現するコンピュータの一例を示すハードウェア構成図である。コンピュータ1000は、出力装置1010、入力装置1020と接続され、演算装置1030、一次記憶装置1040、二次記憶装置1050、出力IF(Interface)1060、入力IF1070、ネットワークIF1080がバス1090により接続された形態を有する。
【0077】
演算装置1030は、一次記憶装置1040や二次記憶装置1050に格納されたプログラムや入力装置1020から読み出したプログラム等に基づいて動作し、各種の処理を実行する。一次記憶装置1040は、RAM等、演算装置1030が各種の演算に用いるデータを一次的に記憶するメモリ装置である。また、二次記憶装置1050は、演算装置1030が各種の演算に用いるデータや、各種のデータベースが記憶される記憶装置であり、ROM(Read Only Memory)、HDD(Hard Disk Drive)、フラッシュメモリ等により実現される。
【0078】
出力IF1060は、モニタやプリンタといった各種の情報を出力する出力装置1010に対し、出力対象となる情報を送信するためのインタフェースであり、例えば、USB(Universal Serial Bus)やDVI(Digital Visual Interface)、HDMI(登録商標)(High Definition Multimedia Interface)といった規格のコネクタにより実現される。また、入力IF1070は、マウス、キーボード、およびスキャナ等といった各種の入力装置1020から情報を受信するためのインタフェースであり、例えば、USB等により実現される。
【0079】
なお、入力装置1020は、例えば、CD(Compact Disc)、DVD(Digital Versatile Disc)、PD(Phase change rewritable Disk)等の光学記録媒体、MO(Magneto-Optical disk)等の光磁気記録媒体、テープ媒体、磁気記録媒体、または半導体メモリ等から情報を読み出す装置であってもよい。また、入力装置1020は、USBメモリ等の外付け記憶媒体であってもよい。
【0080】
ネットワークIF1080は、ネットワークNを介して他の機器からデータを受信して演算装置1030へ送り、また、ネットワークNを介して演算装置1030が生成したデータを他の機器へ送信する。
【0081】
演算装置1030は、出力IF1060や入力IF1070を介して、出力装置1010や入力装置1020の制御を行う。例えば、演算装置1030は、入力装置1020や二次記憶装置1050からプログラムを一次記憶装置1040上にロードし、ロードしたプログラムを実行する。
【0082】
例えば、コンピュータ1000が情報処理装置100として機能する場合、コンピュータ1000の演算装置1030は、一次記憶装置1040上にロードされたプログラムを実行することにより、情報処理装置100の制御部130の機能を実現する。
【0083】
〔7.構成と効果〕
本開示に係る情報処理装置100は、利用者端末200に操作処理の対象となる複数の対象コンテンツを表示させる処理を含む利用者端末200の表示を制御する処理を行う表示制御部135と、利用者の対象コンテンツに対する操作を示す操作情報を取得する取得部131と、操作情報に基づいて対象コンテンツに対する利用者の操作内容を予測する予測部132と、操作情報、及び予測部132が予測した利用者の操作内容に基づいて利用者の操作を補助する提案情報を生成する生成部134と、を備え、表示制御部135は、生成部134が生成した提案情報を利用者端末200に表示させる。
【0084】
この構成によれば、操作情報に基づいて利用者の操作内容を予測して、予測した操作内容に応じて利用者の操作を補助する提案情報を生成することができる。そのため、利用者の操作内容を的確に予測して、利用者の操作を補助することができる情報処理装置100を提供することができる。
【0085】
本開示に係る情報処理装置100の生成部134は、操作情報が複数の対象コンテンツの境界の位置を操作点として示す場合に、操作点の近辺の対象コンテンツを含む提案情報を生成する。
【0086】
この構成によれば、複数の対象コンテンツが密集して表示されている状態においても、利用者が誤った対象コンテンツを選択しないように、利用者を補助する提案情報を表示させることができる。そのため、利用者の操作内容を的確に予測して、利用者の操作を補助することができる情報処理装置100を提供することができる。
【0087】
本開示に係る情報処理装置100の生成部134は、操作情報に基づいて選択された対象コンテンツに基づいて、表示制御部135が対象コンテンツの表示態様を遷移させた後に、操作情報が複数の対象コンテンツの境界の位置を操作点として示す場合に、操作点の近辺の対象コンテンツを含む提案情報を生成する。
【0088】
この構成によれば、複数の対象コンテンツが密集して表示されている状態において、利用者が誤った対象コンテンツを選択した場合であっても、利用者を補助する提案情報を表示させて、利用者が意図する対象コンテンツを操作することができる。そのため、利用者の操作内容を的確に予測して、利用者の操作を補助することができる情報処理装置100を提供することができる。
【0089】
本開示に係る情報処理装置100の表示制御部135は、利用者が対象コンテンツを選択した後に、利用者端末200の提案情報の表示を消す表示制御を実行する。
【0090】
この構成によれば、利用者の操作を補助する提案情報を表示させたときに、利用者が意図する対象コンテンツを操作した場合に、表示された提案情報を消すことができる。そのため、利用者の操作内容を的確に予測して、利用者の操作を補助することができる情報処理装置100を提供することができる。
【0091】
また、本開示に係る情報処理方法は、利用者端末200に操作処理の対象となる複数の対象コンテンツを表示させるステップと、利用者の対象コンテンツに対する操作を示す操作情報を取得するステップと、操作情報に基づいて対象コンテンツに対する利用者の操作内容を予測するステップと、操作情報、及び予測した利用者の操作内容に基づいて利用者の操作を補助する提案情報を生成するステップと、生成した提案情報を利用者端末200に表示させるステップと、を含む。
【0092】
この構成によれば、操作情報に基づいて利用者の操作内容を予測して、予測した操作内容に応じて利用者の操作を補助する提案情報を生成することができる。そのため、利用者の操作内容を的確に予測して、利用者の操作を補助することができる情報処理方法を提供することができる。
【0093】
また、本開示に係る情報処理プログラムは、利用者端末200に操作処理の対象となる複数の対象コンテンツを表示させるステップと、利用者の視線情報を用いた対象コンテンツに対する操作を示す操作情報を取得するステップと、操作情報に基づいて対象コンテンツに対する利用者の操作内容を予測するステップと、操作情報、及び予測した利用者の操作内容に基づいて利用者の操作を補助する提案情報を生成するステップと、生成した提案情報を利用者端末200に表示させるステップと、をコンピュータに実行させる。
【0094】
この構成によれば、操作情報に基づいて利用者の操作内容を予測して、予測した操作内容に応じて利用者の操作を補助する提案情報を生成することができる。そのため、利用者の操作内容を的確に予測して、利用者の操作を補助することができる情報処理プログラムを提供することができる。
【0095】
以上、本願の実施形態を図面に基づいて詳細に説明したが、これは例示であり、発明の開示の欄に記載の態様を始めとして、当業者の知識に基づいて種々の変形、改良を施した他の形態で本発明を実施することが可能である。
【0096】
また、上述してきた「部(section、module、unit)」は、「手段」や「回路」などに読み替えることができる。例えば、取得部131は、取得手段や取得回路に読み替えることができる。
【符号の説明】
【0097】
1 情報処理システム
100 情報処理装置
110 通信部
120 記憶部
121 操作情報記憶部
122 コンテンツ記憶部
130 制御部
131 取得部
132 予測部
133 判定部
134 生成部
135 表示制御部
200 利用者端末
210 通信部
220 記憶部
230 入力部
240 出力部
250 制御部
251 受付部
252 表示制御部
N ネットワーク
図1
図2
図3
図4
図5
図6
図7
図8
図9