ホーム > 特許ランキング > ＬＩＮＥヤフー株式会社
知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024087938
(43)【公開日】2024-07-02
(54)【発明の名称】情報処理装置、情報処理方法、及び情報処理プログラム
(51)【国際特許分類】
G06F 3/01 20060101AFI20240625BHJP
【ＦＩ】
G06F3/01 510
【審査請求】未請求
【請求項の数】8
【出願形態】ＯＬ
(21)【出願番号】P 2022202853
(22)【出願日】2022-12-20
(71)【出願人】
【識別番号】500257300
【氏名又は名称】ＬＩＮＥヤフー株式会社
(74)【代理人】
【識別番号】110002147
【氏名又は名称】弁理士法人酒井国際特許事務所
(72)【発明者】
【氏名】池松 香
(72)【発明者】
【氏名】山中 祥太
【テーマコード（参考）】
5E555
【Ｆターム（参考）】
5E555AA08
5E555AA48
5E555BA02
5E555BA05
5E555BA06
5E555BB02
5E555BB05
5E555BB06
5E555BC17
5E555CA12
5E555CA42
5E555CB12
5E555CB65
5E555CB67
5E555CC03
5E555DB05
5E555DB11
5E555DB20
5E555DB50
5E555DC13
5E555DD01
5E555EA03
5E555EA19
5E555EA22
5E555FA00
(57)【要約】
【課題】利用者の操作の誤りを的確に検出し、元の状態に戻すことができる情報処理装置、情報処理方法、及び情報処理プログラムを提供することを目的とする。
【解決手段】本開示に係る情報処理装置は、利用者端末に操作処理の対象となる複数の対象コンテンツを表示させる表示制御部と、利用者の対象コンテンツに対する操作を示す操作情報を取得する取得部と、対象コンテンツに対する利用者の操作時における視線情報と、表情情報に基づいて、利用者の操作が誤りであったか否かを推定する推定部と、推定部が利用者の操作が誤りであると推定した場合に、対象コンテンツの状態を元の状態に戻すための利用者への提案を示す提案情報を生成する生成部と、を備える。
【選択図】図３
【解決手段】本開示に係る情報処理装置は、利用者端末に操作処理の対象となる複数の対象コンテンツを表示させる表示制御部と、利用者の対象コンテンツに対する操作を示す操作情報を取得する取得部と、対象コンテンツに対する利用者の操作時における視線情報と、表情情報に基づいて、利用者の操作が誤りであったか否かを推定する推定部と、推定部が利用者の操作が誤りであると推定した場合に、対象コンテンツの状態を元の状態に戻すための利用者への提案を示す提案情報を生成する生成部と、を備える。
【選択図】図３
【特許請求の範囲】
【請求項1】
利用者端末に操作処理の対象となる複数の対象コンテンツを表示させる表示制御部と、
利用者の対象コンテンツに対する操作を示す操作情報を取得する取得部と、
対象コンテンツに対する利用者の操作時における視線情報と、表情情報に基づいて、利用者の操作が誤りであったか否かを推定する推定部と、
前記推定部が利用者の操作が誤りであると推定した場合に、対象コンテンツの状態を元の状態に戻すための利用者への提案を示す提案情報を生成する生成部と、
を備える情報処理装置。
利用者の対象コンテンツに対する操作を示す操作情報を取得する取得部と、
対象コンテンツに対する利用者の操作時における視線情報と、表情情報に基づいて、利用者の操作が誤りであったか否かを推定する推定部と、
前記推定部が利用者の操作が誤りであると推定した場合に、対象コンテンツの状態を元の状態に戻すための利用者への提案を示す提案情報を生成する生成部と、
を備える情報処理装置。
【請求項2】
前記推定部は、利用者の視線情報と表情情報に対する操作の正誤との関係を学習した学習済みモデルを用いて利用者の操作の正誤を推定する、
請求項１に記載の情報処理装置。
請求項１に記載の情報処理装置。
【請求項3】
前記推定部が利用者の操作が誤りであると推定した場合に、利用者の操作の誤りの態様を示す誤操作態様を判定する判定部と、をさらに備える、
請求項１又は請求項２に記載の情報処理装置。
請求項１又は請求項２に記載の情報処理装置。
【請求項4】
前記生成部は、前記判定部が利用者の誤操作態様について、利用者は誤ったページに遷移したと判定した場合に、元のページに戻るためのブラウザのバックボタンを含む提案情報を生成する、
請求項３に記載の情報処理装置。
請求項３に記載の情報処理装置。
【請求項5】
前記生成部は、前記判定部が利用者の誤操作態様について、利用者は複数のリンクのうちの誤ったリンクを選択したと判定した場合に、利用者が選択したリンクの隣に表示されたリンクを含む提案情報を生成する、
請求項３に記載の情報処理装置。
請求項３に記載の情報処理装置。
【請求項6】
前記生成部は、前記判定部が利用者の誤操作態様について、利用者は文字入力の際に誤ったキーを入力したと推定された場合に、直近の入力キーを考慮しない推測変換候補を含む提案情報を生成する、
請求項３に記載の情報処理装置。
請求項３に記載の情報処理装置。
【請求項7】
利用者端末に操作処理の対象となる複数の対象コンテンツを表示させるステップと、
利用者の対象コンテンツに対する操作を示す操作情報を取得するステップと、
対象コンテンツに対する利用者の操作時における視線情報と、表情情報に基づいて、利用者の操作が誤りであったか否かを推定するステップと、
利用者の操作が誤りであると推定した場合に、対象コンテンツの状態を元の状態に戻すための利用者への提案を示す提案情報を生成するステップと、
を含む情報処理方法。
利用者の対象コンテンツに対する操作を示す操作情報を取得するステップと、
対象コンテンツに対する利用者の操作時における視線情報と、表情情報に基づいて、利用者の操作が誤りであったか否かを推定するステップと、
利用者の操作が誤りであると推定した場合に、対象コンテンツの状態を元の状態に戻すための利用者への提案を示す提案情報を生成するステップと、
を含む情報処理方法。
【請求項8】
利用者端末に操作処理の対象となる複数の対象コンテンツを表示させるステップと、
利用者の対象コンテンツに対する操作を示す操作情報を取得するステップと、
対象コンテンツに対する利用者の操作時における視線情報と、表情情報に基づいて、利用者の操作が誤りであったか否かを推定するステップと、
利用者の操作が誤りであると推定した場合に、対象コンテンツの状態を元の状態に戻すための利用者への提案を示す提案情報を生成するステップと、
をコンピュータに実行させる情報処理プログラム。
利用者の対象コンテンツに対する操作を示す操作情報を取得するステップと、
対象コンテンツに対する利用者の操作時における視線情報と、表情情報に基づいて、利用者の操作が誤りであったか否かを推定するステップと、
利用者の操作が誤りであると推定した場合に、対象コンテンツの状態を元の状態に戻すための利用者への提案を示す提案情報を生成するステップと、
をコンピュータに実行させる情報処理プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、情報処理装置、情報処理方法、及び情報処理プログラムに関する。
【背景技術】
【0002】
利用者の眼球運動を分析して視線方向を把握し、視線の先の注視点の位置を認識する技術が知られている。例えば、下記の特許文献１には、被験者の視機能を適切に検査する視機能検出装置であって、表示部に判断用画像を表示させて、判断用画像を表示領域内で移動させ、表示部を観察する被験者の注視点の位置を検出し、判断用画像の移動方向と注視点の移動方向との関係に基づいて被験者の視機能を検出する視機能検出装置が開示されている。
【0003】
このような視線認識技術を、ＨＭＩ（Ｈｕｍａｎ Ｍａｃｈｉｎｅ Ｉｎｔｅｒｆａｃｅ）に応用し、ＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）としてディスプレイ上に表示されたオブジェクトの指定を受け付ける技術が知られている。これにより、キーボードやマウスなどの物理的な動きの認識により利用者の操作を受け付ける手段を用いることが困難な重度の障害を抱えた方などの操作意思を把握して、パーソナルコンピュータなどの装置に対する操作を受け付けることができる。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開２０１９－１５０２５０号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら、視線認識技術を用いたＵＩ（Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）においては、利用者の注視点の先のオブジェクトを選択、ないし操作する意思があったとは限らず、コンピュータが利用者の注視点の先のオブジェクトを選択、ないし操作すると利用者の意思とは異なる場合がある。また、利用者の意思とは異なるオブジェクトを選択、ないし操作した場合に、元の状態に戻すことができなかった。
【0006】
本開示は上記課題を鑑み、利用者の操作の誤りを的確に検出し、元の状態に戻すことができる情報処理装置、情報処理方法、及び情報処理プログラムを提供することを目的とする。
【課題を解決するための手段】
【0007】
上述した課題を解決し、目的を達成するために、本開示に係る情報処理装置は、利用者端末に操作処理の対象となる複数の対象コンテンツを表示させる表示制御部と、利用者の対象コンテンツに対する操作を示す操作情報を取得する取得部と、対象コンテンツに対する利用者の操作時における視線情報と、表情情報に基づいて、利用者の操作が誤りであったか否かを推定する推定部と、前記推定部が利用者の操作が誤りであると推定した場合に、対象コンテンツの状態を元の状態に戻すための利用者への提案を示す提案情報を生成する生成部と、を備える。
【発明の効果】
【0008】
本開示によれば、利用者の操作の誤りを的確に検出し、元の状態に戻すことができる情報処理装置、情報処理方法、及び情報処理プログラムを提供することができる。
【図面の簡単な説明】
【0009】
【発明を実施するための形態】
【0010】
以下に、本願に係る情報処理装置、情報処理方法、及び情報処理プログラムを実施するための形態（以下、「実施形態」と記載する。）について図面を参照しつつ詳細に説明する。なお、この実施形態により本願に係る情報処理装置、情報処理方法、及び情報処理プログラムが限定されるものではない。
【0011】
（実施形態）
〔１－１．実施形態に係る情報処理の一例〕
まず、図１を用いて、実施形態に係る情報処理の一例について説明する。図１は、実施形態に係る情報処理の一例を示す図である。図１では、実施形態に係る情報処理が情報処理装置１００、利用者端末２００により実行される例を示す。以下、実施形態に係る情報処理についてステップごとに順を追って説明する。
〔１－１．実施形態に係る情報処理の一例〕
まず、図１を用いて、実施形態に係る情報処理の一例について説明する。図１は、実施形態に係る情報処理の一例を示す図である。図１では、実施形態に係る情報処理が情報処理装置１００、利用者端末２００により実行される例を示す。以下、実施形態に係る情報処理についてステップごとに順を追って説明する。
【0012】
まず、情報処理装置１００は、利用者端末２００に操作対象となる複数のコンテンツを表示させる（ステップＳ１）。例えば、情報処理装置１００は、利用者端末２００に、電子ブックのページ画面や、テキストボックス、動画のスクロールバー、ブラウザのＷＥＢページのスクロールバーやリンク、ＣＡＤ（Ｃｏｍｐｕｔｅｒ‐Ａｉｄｅｄ Ｄｅｓｉｇｎ）のオブジェクトなどを含む操作対象となる複数のコンテンツを表示させて、利用者の操作情報を受け付ける。なお、操作対象となる複数のコンテンツが表示される状態とは、例えば、スワイプ操作を受け付けるスクロールバーが複数表示される場合や、スクロールバーとスワイプ操作を受け付けるページ画面が重ねて表示される状態、別のページへ遷移するリンクが複数並べて表示される状態、文字入力のキーボードの画面表示がされ入力キーが複数並べて表示される状態などのことを指している。
【0013】
次に、情報処理装置１００は、利用者端末２００から利用者の操作情報と、操作時の視線情報、表情情報を取得する（ステップＳ２）。ここで、操作情報とは、利用者の利用者端末２００に対する操作を示す情報であって、例えば、タッチパネルに対するタッチ操作の情報や、アイトラッキング装置の注視点の情報であってよい。また、視線情報は、アイトラッキング装置による利用者の視線方向に関する情報である。また、表情情報は、利用者端末２００が備える撮像部２５０により撮像された利用者の表情についての画像情報である。例えば、情報処理装置１００は、利用者Ｕが利用者端末２００に対して操作を行った時に、利用者Ｕの操作情報と、操作時の利用者Ｕの視線情報、及び表情情報を一括して取得する。
【0014】
次に、情報処理装置１００は、利用者の操作時における視線情報と、表情情報に基づいて、利用者の操作が誤りであったか否かを推定する（ステップＳ３）。例えば、情報処理装置１００は、利用者の操作時の視線情報と表情情報に対する利用者の操作の正誤との関係を学習した学習済みモデルを用いて、利用者の操作時の視線情報と表情情報に基づいて、利用者の操作が誤りであったか否かを推定してよい。この場合の学習済みモデルは、ＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）などにより実現されてよい。例えば、視線情報としての左右の眼球ごとの視線移動速度や瞳孔径、及び表情情報としての口角、眉角度などの特徴と、利用者の操作の誤りとの関係を学習させることにより実現されてよい。
【0015】
次に、情報処理装置１００は、利用者の操作が誤りと推定された場合に、元の状態に戻すための利用者への提案を示す提案情報を生成する（ステップＳ４）。例えば、情報処理装置１００は、利用者の操作の誤りの態様を示す誤操作態様を判定して、判定された誤操作態様に応じて、元の状態に戻すための利用者への提案を示す提案情報を生成する。
【0016】
次に、情報処理装置１００は、生成した提案情報を利用者端末２００に表示させる（ステップＳ５）。例えば、情報処理装置１００は、元の状態に戻すための利用者への提案を示す提案情報を利用者端末２００に表示させて、利用者から元の状態に戻す処理に対する意思を受け付ける。なお、この場合、情報処理装置１００は、利用者端末２００に元々表示されていた複数のコンテンツに重ねて提案情報を表示させてよい。
【0017】
これにより、情報処理装置１００は、利用者の視線情報、及び表情情報に基づいて、利用者の操作の誤りを推定し、元の状態に戻す提案情報を利用者端末２００に提供することができる。そのため、利用者の操作の誤りを的確に検出し、元の状態に戻すことができる情報処理装置１００を提供することができる。
【0018】
〔１－２．実施形態に係る情報処理の他の例１〕
情報処理装置１００は、利用者の操作が誤りであると推定した場合に、利用者の操作の誤りの態様を示す誤操作態様を判定し、利用者の誤操作態様について、利用者は誤ったページに遷移したと判定した場合に、元のページに戻るためのブラウザのバックボタンを含む提案情報を生成する。
情報処理装置１００は、利用者の操作が誤りであると推定した場合に、利用者の操作の誤りの態様を示す誤操作態様を判定し、利用者の誤操作態様について、利用者は誤ったページに遷移したと判定した場合に、元のページに戻るためのブラウザのバックボタンを含む提案情報を生成する。
【0019】
この情報処理について順を追って説明する。まず、情報処理装置１００は、図１に示したステップＳ１からＳ３までと同じ処理を実行する。ステップＳ１からＳ３までの処理は、前述した処理と同じであるから説明を省略する。
【0020】
次に、情報処理装置１００は、利用者の操作が誤りであると推定した場合に、利用者の操作の誤りの態様を示す誤操作態様を判定し、利用者の誤操作態様について、利用者は誤ったページに遷移したと判定した場合に、元のページに戻るためのブラウザのバックボタンを含む提案情報を生成する（ステップＳ４－１）。例えば、利用者の操作情報の受け付け時のコンテンツの状態が、ブラウザが表示されている状態であって、利用者の操作情報がブラウザに表示されたページとは異なる別のページへのリンクの選択を示し、利用者端末２００に操作情報にしたがって別のページを表示したにもかかわらず、推定部１３２が利用者の操作が誤りであると推定したとする。この場合、情報処理装置１００は、利用者の誤操作態様について、利用者は誤ったページに遷移したと判定する。そして、情報処理装置１００は、元のページに戻るためのブラウザのバックボタンを含む提案情報を生成する。
【0021】
次に、情報処理装置１００は、図１に示したステップＳ５と同じ処理を実行する。ステップＳ５の処理は、前述した処理と同じであるから説明を省略する。
【0022】
これにより、ブラウザが表示された状態において、利用者の意図とは異なる誤ったページに遷移した場合に、元のページに戻るためのバックボタンを利用者端末２００に表示させることができる。
【0023】
〔１－３．実施形態に係る情報処理の他の例２〕
情報処理装置１００は、利用者の操作が誤りであると推定した場合に、利用者の操作の誤りの態様を示す誤操作態様を判定し、利用者の誤操作態様について、利用者は複数のリンクのうちの誤ったリンクを選択したと判定した場合に、利用者が選択したリンクの隣に表示されたリンクを含む提案情報を生成する。
情報処理装置１００は、利用者の操作が誤りであると推定した場合に、利用者の操作の誤りの態様を示す誤操作態様を判定し、利用者の誤操作態様について、利用者は複数のリンクのうちの誤ったリンクを選択したと判定した場合に、利用者が選択したリンクの隣に表示されたリンクを含む提案情報を生成する。
【0024】
この情報処理について順を追って説明する。まず、情報処理装置１００は、図１に示したステップＳ１からＳ３までと同じ処理を実行する。ステップＳ１からＳ３までの処理は、前述した処理と同じであるから説明を省略する。
【0025】
次に、情報処理装置１００は、利用者の操作が誤りであると推定した場合に、利用者の操作の誤りの態様を示す誤操作態様を判定し、利用者の誤操作態様について、利用者は複数のリンクのうちの誤ったリンクを選択したと判定した場合に、利用者が選択したリンクの隣に表示されたリンクを含む提案情報を生成する（ステップＳ４－２）。例えば、利用者の操作情報の受け付け時のコンテンツの状態が、ブラウザに表示されたページとは異なる別のページへの複数のリンクが密集して表示されている状態であって、利用者の操作情報が複数のリンクのうちの一つの選択を示し、利用者端末２００に操作情報にしたがって選択したリンクに対応する別のページを表示したにもかかわらず、ステップＳ３において情報処理装置１００が利用者の操作が誤りであると推定したとする。この場合、情報処理装置１００は、利用者の誤操作態様について、利用者は複数のリンクのうちの誤ったリンクを選択したと判定する。そして、情報処理装置１００は、利用者が選択したリンクから最も近い位置に表示されたリンクを含む提案情報を生成する。
【0026】
次に、情報処理装置１００は、図１に示したステップＳ５と同じ処理を実行する。ステップＳ５の処理は、前述した処理と同じであるから説明を省略する。
【0027】
これにより、利用者が複数のリンクのうちの誤ったリンクを選択した場合に、利用者が選択したリンクの隣に表示されたリンクを含む提案情報を利用者端末２００に表示させることができる。
【0028】
〔１－４．実施形態に係る情報処理の他の例３〕
情報処理装置１００は、利用者の操作が誤りであると推定した場合に、利用者の操作の誤りの態様を示す誤操作態様を判定し、利用者の誤操作態様について、利用者は文字入力の際に誤ったキーを入力したと推定された場合に、直近の入力キーを考慮しない推測変換候補を含む提案情報を生成する。
情報処理装置１００は、利用者の操作が誤りであると推定した場合に、利用者の操作の誤りの態様を示す誤操作態様を判定し、利用者の誤操作態様について、利用者は文字入力の際に誤ったキーを入力したと推定された場合に、直近の入力キーを考慮しない推測変換候補を含む提案情報を生成する。
【0029】
この情報処理について順を追って説明する。まず、情報処理装置１００は、図１に示したステップＳ１からＳ３までと同じ処理を実行する。ステップＳ１からＳ３までの処理は、前述した処理と同じであるから説明を省略する。
【0030】
次に、情報処理装置１００は、利用者の操作が誤りであると推定した場合に、利用者の操作の誤りの態様を示す誤操作態様を判定し、利用者の誤操作態様について、利用者は文字入力の際に誤ったキーを入力したと推定された場合に、直近の入力キーを考慮しない推測変換候補を含む提案情報を生成する（ステップＳ４－３）。例えば、利用者が「視線」という文字入力を行っている最中に、「視線」の文字の内の最後の「ン」の文字の選択の際に、操作を誤って「ル」を選択したとする。そして、ステップＳ３において情報処理装置１００が利用者の操作が誤りであると推定し、情報処理装置１００が利用者の誤操作態様について、利用者は文字入力の際に誤ったキーを入力したと判定したとする。この場合、情報処理装置１００は、「シセ」までの文字入力によって推測される「視線」の推測変換候補を含む提案情報を生成する。
【0031】
次に、情報処理装置１００は、図１に示したステップＳ５と同じ処理を実行する。ステップＳ５の処理は、前述した処理と同じであるから説明を省略する。
【0032】
これにより、利用者が文字入力の際に誤ったキーを入力した場合に、直近の入力キーを考慮しない推測変換候補を提案することができる。
【0033】
〔２．情報処理システムの構成〕
次に、図２を用いて実施形態に係る情報処理システムの構成について説明する。図２は、実施形態に係る情報処理システムの構成例を示す図である。図２に示すように、情報処理システム１は、情報処理装置１００と、利用者端末２００と、ネットワークＮを含む。なお、図２に示した情報処理システム１は、複数台の利用者端末２００が含まれ構成されていてもよい。
次に、図２を用いて実施形態に係る情報処理システムの構成について説明する。図２は、実施形態に係る情報処理システムの構成例を示す図である。図２に示すように、情報処理システム１は、情報処理装置１００と、利用者端末２００と、ネットワークＮを含む。なお、図２に示した情報処理システム１は、複数台の利用者端末２００が含まれ構成されていてもよい。
【0034】
情報処理装置１００は、例えばＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）、ＷＳ（Ｗｏｒｋ Ｓｔａｔｉｏｎ）、サーバの機能を備えるコンピュータなどの情報処理装置であってよい。情報処理装置１００は、利用者端末２００からネットワークＮを介して送信されてきた情報に基づいて処理を行う。
【0035】
利用者端末２００は、利用者が利用する情報処理装置である。利用者端末２００は、例えば、スマートフォン、タブレット型端末、デスクトップ型ＰＣ、ノート型ＰＣ、携帯電話機、ＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ）等の情報処理装置であってよい。なお、図１に示す例においては、利用者端末２００がスマートフォンである場合を示している。
【0036】
ネットワークＮは、情報処理装置１００と利用者端末２００を有線、又は無線により相互に通信可能に接続する。ネットワークＮが有線の場合は、ＩＥＥＥ８０２．３に規定されるイーサネット（登録商標）（ＥＴＨＥＲＮＥＴ（登録商標））により実現されてよい。また、ネットワークＮが無線の場合は、ＩＥＥＥ８０２．１１に規定される無線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）を用いて実現されてよい。
【0037】
〔３．情報処理装置の構成〕
次に、図３を用いて、実施形態に係る情報処理装置１００の構成について説明する。図３は、実施形態に係る情報処理装置の構成例を示す図である。図３に示すように、情報処理装置１００は、通信部１１０と、記憶部１２０と、制御部１３０と、を有する。なお、図３に図示はしていないが、情報処理装置１００は、情報処理装置１００の管理者から各種操作を受け付ける入力部（例えば、キーボードやマウス等）や、各種情報を表示するための表示部（例えば、液晶ディスプレイ等）を有してもよい。
次に、図３を用いて、実施形態に係る情報処理装置１００の構成について説明する。図３は、実施形態に係る情報処理装置の構成例を示す図である。図３に示すように、情報処理装置１００は、通信部１１０と、記憶部１２０と、制御部１３０と、を有する。なお、図３に図示はしていないが、情報処理装置１００は、情報処理装置１００の管理者から各種操作を受け付ける入力部（例えば、キーボードやマウス等）や、各種情報を表示するための表示部（例えば、液晶ディスプレイ等）を有してもよい。
【0038】
（通信部１１０について）
通信部１１０は、例えば、ＮＩＣ（Ｎｅｔｗｏｒｋ Ｉｎｔｅｒｆａｃｅ Ｃａｒｄ）等によって実現される。そして、通信部１１０は、ネットワークＮと有線または無線で接続され、利用者端末２００との間で情報の送受信を行う。
通信部１１０は、例えば、ＮＩＣ（Ｎｅｔｗｏｒｋ Ｉｎｔｅｒｆａｃｅ Ｃａｒｄ）等によって実現される。そして、通信部１１０は、ネットワークＮと有線または無線で接続され、利用者端末２００との間で情報の送受信を行う。
【0039】
（記憶部１２０について）
記憶部１２０は、例えば、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ)、フラッシュメモリ（Ｆｌａｓｈ Ｍｅｍｏｒｙ）等の半導体メモリ素子、または、ハードディスク、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）、光ディスク等の記憶装置によって実現される。図３に示すように、記憶部１２０は、操作情報記憶部１２１と、モデル記憶部１２２と、コンテンツ記憶部１２３と、を有する。
記憶部１２０は、例えば、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ)、フラッシュメモリ（Ｆｌａｓｈ Ｍｅｍｏｒｙ）等の半導体メモリ素子、または、ハードディスク、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）、光ディスク等の記憶装置によって実現される。図３に示すように、記憶部１２０は、操作情報記憶部１２１と、モデル記憶部１２２と、コンテンツ記憶部１２３と、を有する。
【0040】
（操作情報記憶部１２１について）
操作情報記憶部１２１は、利用者端末２００から取得した利用者の操作情報を記憶する。ここで、図４を用いて、操作情報記憶部１２１が記憶する情報の一例を説明する。図４は、実施形態に係る情報処理装置の操作情報記憶部に記憶される情報の一例を示す図である。
操作情報記憶部１２１は、利用者端末２００から取得した利用者の操作情報を記憶する。ここで、図４を用いて、操作情報記憶部１２１が記憶する情報の一例を説明する。図４は、実施形態に係る情報処理装置の操作情報記憶部に記憶される情報の一例を示す図である。
【0041】
図４に示す例において、操作情報記憶部１２１は、「利用者ＩＤ」、「操作情報」という項目に係る情報を紐付けて記憶する。
【0042】
「利用者ＩＤ」は、利用者を識別する識別子であり文字列や番号などによって表される。「操作情報」は、「利用者ＩＤ」に紐付けられた利用者の操作情報であり、操作情報をタッチパネルにより受け付ける場合、操作情報は利用者の指ごとのタッチ所要時間、タッチ移動速度（Ｘ軸、Ｙ軸）、タッチダウン位置（Ｘ軸、Ｙ軸）、タッチアップ位置（Ｘ軸、Ｙ軸）、接触面積、タッチダウン‐アップ位置の差異などを含んでよい。また、操作情報をアイトラッキング装置により受け付ける場合、操作情報は左右の眼球の視線方向、左右の眼球の注視点の位置などを含んでよい。
【0043】
すなわち、図４においては、利用者ＩＤ「ＵＩＤ＃１」により識別された利用者の操作情報が操作情報「操作情報＃１」であることを示している。
【0044】
なお、操作情報記憶部１２１に記憶される情報は、「利用者ＩＤ」、「操作情報」という項目に係る情報に限定されるものではなく、その他の任意の利用者の操作に関係する情報が記憶されてよい。
【0045】
（モデル記憶部１２２について）
モデル記憶部１２２は、利用者の操作時の視線情報と表情情報に対する利用者の操作の正誤との関係を学習した学習済みモデルを記憶する。図５は、実施形態に係る情報処理装置のモデル記憶部に記憶される情報の一例を示す図である。
モデル記憶部１２２は、利用者の操作時の視線情報と表情情報に対する利用者の操作の正誤との関係を学習した学習済みモデルを記憶する。図５は、実施形態に係る情報処理装置のモデル記憶部に記憶される情報の一例を示す図である。
【0046】
図５に示す例において、モデル記憶部１２２は、「モデルＩＤ」、「モデルデータ」という項目に係る情報を紐付けて記憶する。
【0047】
「モデルＩＤ」は、機械学習モデルを識別する識別子であり文字列や番号などによって表される。「モデルデータ」は、機械学習モデルのモデルデータを示す。例えば、機械学習モデルは、ニューラルネットワークなどであってよい。
【0048】
すなわち、図５において、モデルＩＤ「Ｍ＃１」で識別されるモデルは、機械学習モデルＭ＃１を示す。また、モデルデータ「ＭＤＴ＃１」は、機械学習モデルＭ＃１のモデルデータを示す。
【0049】
ここで、機械学習モデルがニューラルネットワークである場合は、モデルデータ「ＭＤＴ＃１」には、例えば、ニューラルネットワークを構成する複数の層のそれぞれに含まれるノードが互いにどのように結合するかという結合情報や、結合されたノード間で入出力される数値に掛け合わされる結合係数などの各種情報が含まれる。
【0050】
なお、モデル記憶部１２２は、「モデルＩＤ」、「モデルデータ」という項目に係る情報に限定されることなく、その他の任意の機械学習モデルに関係する情報が記憶されてよい。
【0051】
（コンテンツ記憶部１２３について）
コンテンツ記憶部１２３は、利用者端末２００に表示させる複数の対象コンテンツを記憶する。図６は、実施形態に係る情報処理装置のコンテンツ記憶部に記憶される情報の一例を示す図である。
コンテンツ記憶部１２３は、利用者端末２００に表示させる複数の対象コンテンツを記憶する。図６は、実施形態に係る情報処理装置のコンテンツ記憶部に記憶される情報の一例を示す図である。
【0052】
図６に示す例において、コンテンツ記憶部１２３は、「コンテンツＩＤ」、「コンテンツデータ」という項目に係る情報を紐付けて記憶する。
【0053】
「コンテンツＩＤ」は、コンテンツを識別する識別子であり文字列や番号などによって表される。「コンテンツデータ」は、利用者端末２００に表示させるコンテンツのデータである。
【0054】
すなわち、図６においては、コンテンツＩＤ「ＣＴ＃１」によって識別されるコンテンツとして、コンテンツデータ「ＣＤ＃１」が示すコンテンツデータが記憶されていることを示している。
【0055】
なお、コンテンツ記憶部１２３は、「コンテンツＩＤ」、「コンテンツデータ」という項目に係る情報に限定されることなく、その他の任意のコンテンツに関係する情報が記憶されてよい。
【0056】
（制御部１３０について）
次に図３に戻って、制御部１３０について説明する。制御部１３０は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）やＭＰＵ（Ｍｉｃｒｏ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）等によって、情報処理装置１００の記憶装置に記憶されている各種プログラムがＲＡＭを作業領域として実行されることにより実現される。また、制御部１３０は、例えば、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）やＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）等の集積回路により実現されてもよい。
次に図３に戻って、制御部１３０について説明する。制御部１３０は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）やＭＰＵ（Ｍｉｃｒｏ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）等によって、情報処理装置１００の記憶装置に記憶されている各種プログラムがＲＡＭを作業領域として実行されることにより実現される。また、制御部１３０は、例えば、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）やＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）等の集積回路により実現されてもよい。
【0057】
図３に示すように、制御部１３０は、取得部１３１と、推定部１３２と、判定部１３３と、生成部１３４と、表示制御部１３５を有する。
【0058】
（取得部１３１について）
取得部１３１は、情報処理装置１００の内部、ないし外部から各種の情報を取得する。
取得部１３１は、情報処理装置１００の内部、ないし外部から各種の情報を取得する。
【0059】
例えば、取得部１３１は、利用者の対象コンテンツに対する操作を示す操作情報を取得する。利用者端末２００がタッチパネルによって利用者の操作を受け付ける場合であれば、取得部１３１は、利用者のタッチ操作のタッチ所要時間、タッチ移動速度（Ｘ軸、Ｙ軸）、タッチダウン位置（Ｘ軸、Ｙ軸）、タッチアップ位置（Ｘ軸、Ｙ軸）、接触面積、タッチダウン‐アップ位置の差異を含む操作情報を取得する。また、利用者端末２００がアイトラッキング装置によって利用者の操作を受け付ける場合であれば、取得部１３１は、利用者の左右の眼球の視線方向、左右の眼球の注視点の位置などを含む操作情報を取得する。
【0060】
また、取得部１３１は、利用者の視線情報、及び表情情報を取得する。具体的には、取得部１３１は、入力部２３０のアイトラッキング装置によって計測された利用者の視線情報を取得する。なお、視線情報には、左右の眼球ごとの視線方向、左右の眼球ごとの注視点の位置、左右の眼球ごとの視線の移動速度、左右の眼球ごとの瞳孔径などの情報が含まれていてよい。また、取得部１３１は、利用者端末２００の撮像部２５０により撮像された利用者の表情についての画像情報を利用者端末２００から取得する。
【0061】
（推定部１３２について）
推定部１３２は、対象コンテンツに対する利用者の操作時における視線情報と、表情情報に基づいて、利用者の操作が誤りであったか否かを推定する。例えば、推定部１３２は、利用者の操作時の視線情報と表情情報に対する利用者の操作の正誤との関係を学習した学習済みモデルを用いて、利用者の操作時の視線情報と表情情報に基づいて、利用者の操作が誤りであったか否かを推定してよい。この場合の学習済みモデルは、ＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）などにより実現されてよい。例えば、学習済みモデルは視線情報としての左右の眼球ごとの視線移動速度や瞳孔径、及び表情情報としての口角、眉角度などの特徴と、利用者の操作の誤りとの関係を学習させることにより実現されてよい。
推定部１３２は、対象コンテンツに対する利用者の操作時における視線情報と、表情情報に基づいて、利用者の操作が誤りであったか否かを推定する。例えば、推定部１３２は、利用者の操作時の視線情報と表情情報に対する利用者の操作の正誤との関係を学習した学習済みモデルを用いて、利用者の操作時の視線情報と表情情報に基づいて、利用者の操作が誤りであったか否かを推定してよい。この場合の学習済みモデルは、ＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）などにより実現されてよい。例えば、学習済みモデルは視線情報としての左右の眼球ごとの視線移動速度や瞳孔径、及び表情情報としての口角、眉角度などの特徴と、利用者の操作の誤りとの関係を学習させることにより実現されてよい。
【0062】
（判定部１３３について）
判定部１３３は、推定部１３２が利用者の操作が誤りであると推定した場合に、利用者の操作の誤りの態様を示す誤操作態様を判定する。すなわち、判定部１３３は、推定部１３２が利用者の操作が誤りであったと推定した時に対応する利用者の操作情報の受け付け時のコンテンツの状態に応じて、利用者の誤操作態様を判定する。
判定部１３３は、推定部１３２が利用者の操作が誤りであると推定した場合に、利用者の操作の誤りの態様を示す誤操作態様を判定する。すなわち、判定部１３３は、推定部１３２が利用者の操作が誤りであったと推定した時に対応する利用者の操作情報の受け付け時のコンテンツの状態に応じて、利用者の誤操作態様を判定する。
【0063】
例えば、利用者の操作情報の受け付け時のコンテンツの状態が、ブラウザが表示されている状態であって、利用者の操作情報がブラウザに表示されたページとは異なる別のページへのリンクの選択を示し、利用者端末２００に操作情報にしたがって別のページを表示したにもかかわらず、推定部１３２が利用者の操作が誤りであると推定したとする。この場合、判定部１３３は、利用者の誤操作態様について、利用者は誤ったページに遷移したと判定する。
【0064】
また、例えば、利用者の操作情報の受け付け時のコンテンツの状態が、ブラウザに表示されたページとは異なる別のページへの複数のリンクが密集して表示されている状態であって、利用者の操作情報が複数のリンクのうちの一つの選択を示し、利用者端末２００に操作情報にしたがって選択したリンクに対応する別のページを表示したにもかかわらず、推定部１３２が利用者の操作が誤りであると推定したとする。この場合、判定部１３３は、利用者の誤操作態様について、利用者は複数のリンクのうちの誤ったリンクを選択したと判定する。
【0065】
また、例えば、利用者の操作情報の受け付け時のコンテンツの状態が、文字入力のキーボードの入力キーが複数表示されている状態であり、利用者の操作情報が複数の入力キーのうちの一つの選択を示し、利用者端末２００に操作情報にしたがって当該の入力キーに対応する文字を表示したにもかかわらず、推定部１３２が利用者の操作が誤りであると推定したとする。この場合、判定部１３３は、利用者は文字入力の際に誤ったキーを入力したと判定する。
【0066】
（生成部１３４について）
生成部１３４は、推定部１３２が利用者の操作が誤りであると推定した場合に、対象コンテンツの状態を元の状態に戻すための利用者への提案を示す提案情報を生成する。具体的には、生成部１３４は、判定部１３３が判定した誤操作態様に応じて提案情報を生成する。以下、生成部１３４が生成する提案情報について、判定部１３３が判定した誤操作態様ごとに説明する。
生成部１３４は、推定部１３２が利用者の操作が誤りであると推定した場合に、対象コンテンツの状態を元の状態に戻すための利用者への提案を示す提案情報を生成する。具体的には、生成部１３４は、判定部１３３が判定した誤操作態様に応じて提案情報を生成する。以下、生成部１３４が生成する提案情報について、判定部１３３が判定した誤操作態様ごとに説明する。
【0067】
生成部１３４は、判定部１３３が利用者の誤操作態様について、利用者は誤ったページに遷移したと判定した場合に、元のページに戻るためのブラウザのバックボタンを含む提案情報を生成する。例えば、生成部１３４は、利用者が選択すると、元のページに戻る処理が実行されるようにプログラムが組まれている矢印によって戻る方向を指し示したオブジェクトにより表現されるバックボタンを含む提案情報を生成する。
【0068】
また、生成部１３４は、判定部１３３が利用者の誤操作態様について、利用者は複数のリンクのうちの誤ったリンクを選択したと判定した場合に、利用者が選択したリンクから最も近い位置に表示されたリンクを含む提案情報を生成する。例えば、生成部１３４は、利用者が選択したリンクの位置を操作情報に基づいて特定し、当該のリンクからの距離が最も近いリンクを示す最近接リンクを特定する。そして、生成部１３４は、特定した最近接リンクに対応付けられたページに遷移する処理が実行されるにプログラムとともに、最近接リンクのオブジェクトを含む提案情報を生成する。
【0069】
また、生成部１３４は、判定部１３３が利用者の誤操作態様について、利用者は文字入力の際に誤ったキーを入力したと判定された場合に、直近の入力キーを考慮しない推測変換候補を含む提案情報を生成する。例えば、利用者が「視線」という文字入力を行っている最中に、「視線」の文字の内の最後の「ン」の文字の選択の際に、操作を誤って「ル」を選択したとする。そして、推定部１３２が利用者の操作が誤りであると推定し、判定部１３３が利用者の誤操作態様について、利用者は文字入力の際に誤ったキーを入力したと判定したとする。この場合、生成部１３４は、直近の入力キーである「ル」の入力を取り消して、「シセ」までの文字入力によって推測される「視線」の推測変換候補を含む提案情報を生成する。
【0070】
（表示制御部１３５について）
表示制御部１３５は、利用者端末２００の出力部２４０の表示を制御する。
表示制御部１３５は、利用者端末２００の出力部２４０の表示を制御する。
【0071】
例えば、表示制御部１３５は、利用者端末２００に操作処理の対象となる複数の対象コンテンツを表示させる。表示制御部１３５は、例えば、電子ブックのページ画面、テキストボックス、動画のスクロールバー、ブラウザのＷＥＢページのスクロールバーやリンク、ＣＡＤのオブジェクトなどを含む複数のコンテンツを表示させる。なお、表示制御部１３５が表示させるコンテンツは、これに限定されるものではなく、ＶＲ（Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ）やＭＲ（Ｍｉｘｅｄ Ｒｅａｌｉｔｙ）の技術を利用したコンテンツなどであってもよい。
【0072】
また、表示制御部１３５は、生成部１３４が生成した提案情報を利用者端末２００の出力部２４０に表示させる。例えば、表示制御部１３５は、判定部１３３が利用者の誤操作態様について、利用者は複数のリンクのうちの誤ったリンクを選択したと判定した場合に、利用者が選択したリンクから最も近い位置に表示されたリンクを含む提案情報を利用者端末２００に表示させる。また、表示制御部１３５は、判定部１３３が利用者の誤操作態様について、利用者は誤ったページに遷移したと判定した場合に、元のページに戻るためのブラウザのバックボタンを含む提案情報を利用者端末２００に表示させる。また、表示制御部１３５は、判定部１３３が利用者の誤操作態様について、利用者は文字入力の際に誤ったキーを入力したと判定された場合に、直近の入力キーを考慮しない推測変換候補を含む提案情報を利用者端末２００に表示させる。
【0073】
〔４．利用者端末の構成〕
次に、図７を用いて、実施形態に係る利用者端末２００の構成について説明する。図７は、実施形態に係る利用者端末の構成例を示す図である。図７に示すように、利用者端末２００は、通信部２１０と、記憶部２２０と、入力部２３０と、出力部２４０と、撮像部２５０と、制御部２６０を有する。
次に、図７を用いて、実施形態に係る利用者端末２００の構成について説明する。図７は、実施形態に係る利用者端末の構成例を示す図である。図７に示すように、利用者端末２００は、通信部２１０と、記憶部２２０と、入力部２３０と、出力部２４０と、撮像部２５０と、制御部２６０を有する。
【0074】
通信部２１０は、例えば、ＮＩＣ等によって実現される。そして、通信部２１０は、ネットワークＮと有線又は無線で接続され、ネットワークＮを介して、情報処理装置１００との間で各種の情報の送受信を行う。
【0075】
記憶部２２０は、各種の情報を記憶する記憶装置である。記憶部２２０は、例えば、撮像部２５０が撮像した撮像データを記憶する。記憶部２２０は、主記憶装置と補助記憶装置とを備える。主記憶装置は、例えばＲＡＭ、ＲＯＭ、フラッシュメモリ等のような半導体メモリ素子によって実現されてよい。また、補助記憶装置は、例えばハードディスクやＳＳＤ、光ディスク等によって実現されてよい。
【0076】
入力部２３０は、利用者から各種の操作情報が入力される。例えば、入力部２３０は、タッチパネルにより表示面（例えば出力部２４０）を介して利用者からの各種操作を受け付ける。また、入力部２３０は、アイトラッキング装置であってもよい。アイトラッキング装置は、ステレオカメラが撮像した利用者の眼球の画像情報に基づいて、利用者の眼球運動を分析して、利用者の視線方向を把握し、利用者の注視点を操作情報として受け付ける装置である。
【0077】
出力部２４０は、例えば液晶ディスプレイや有機ＥＬ（Ｅｌｅｃｔｒｏ－Ｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイ等によって実現されるタブレット型端末等の表示画面であり、各種情報を表示するための表示装置である。つまり、利用者端末２００は、入力部２３０がタッチパネルである場合は、出力部２４０である表示画面により利用者の入力を受け付け、利用者への出力も行う。また、出力部２４０は、スピーカーであり、スピーカーにより音声を出力してよい。
【0078】
撮像部２５０は、利用者の顔の表情を撮像する撮像装置である。撮像部２５０は、例えばカメラであってよい。カメラは、光学素子と撮像素子を含む。光学素子は、例えばレンズ、ミラー、プリズム、フィルタなどの光学系を構成する素子である。撮像素子は、光学素子を通して入射した光を電気信号である画像信号に変換する素子である。撮像素子は、例えば、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）センサやＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）センサなどである。
【0079】
制御部２６０は、例えば、ＣＰＵやＭＰＵ等によって、利用者端末２００に記憶されている各種プログラムがＲＡＭを作業領域として実行されることにより実現される。また、制御部２６０は、例えば、ＡＳＩＣやＦＰＧＡ等の集積回路により実現されてもよい。
【0080】
図７に示すように、制御部２６０は、受付部２６１と、表示制御部２６２と、を有する。以下、これらの構成について順を追って説明する。
【0081】
受付部２６１は、利用者からコンテンツに対する操作情報を受け付ける。また、例えば、受付部２６１は、出力部２４０に操作対象となる複数のコンテンツを表示させて、利用者から操作対象となる複数のコンテンツに対する操作情報を受け付ける。受付部２６１は、例えば、出力部２４０がタッチパネルである場合であれば、利用者の指ごとのタッチ座標の中心点座標や、移動速度、移動方向、接触面積などの情報をセンシングすることにより、利用者からコンテンツに対する操作情報を受け付けてよい。また、受付部２６１は、入力部２３０がアイトラッキング装置である場合であれば、利用者の左右の眼球の視線方向、注視点などを操作情報として受け付ける。
【0082】
表示制御部２６２は、出力部２４０に表示される情報を制御する。例えば、表示制御部２６２は、出力部２４０に情報処理装置１００の表示制御部１３５の制御指令にしたがって複数の対象コンテンツを表示させるように制御する。また、表示制御部２６２は、出力部２４０に情報処理装置１００の生成部１３４が生成した提案情報を表示させるように制御する。この場合は、表示制御部２６２は、元々の表示に重ねて提案情報を表示させてよい。
【0083】
〔５．情報処理のフロー〕
次に、図８を用いて、実施形態に係る情報処理装置１００による情報処理の手順について説明する。図８は、実施形態に係る情報処理の一例を示すフローチャートである。以下、図８に示すフローチャートに沿って、実施形態に係る情報処理の手順について説明する。
次に、図８を用いて、実施形態に係る情報処理装置１００による情報処理の手順について説明する。図８は、実施形態に係る情報処理の一例を示すフローチャートである。以下、図８に示すフローチャートに沿って、実施形態に係る情報処理の手順について説明する。
【0084】
例えば、情報処理装置１００は、利用者端末２００に操作処理の対象となる複数の対象コンテンツを表示させる（ステップＳ１０１）。そして、情報処理装置１００は、利用者の対象コンテンツに対する操作を示す操作情報を取得する（ステップＳ１０２）。そして、情報処理装置１００は、対象コンテンツに対する利用者の操作時における視線情報と、表情情報に基づいて、利用者の操作が誤りであったか否かを推定する（ステップＳ１０３）。そして、情報処理装置１００は、利用者の操作が誤りであると推定した場合に、対象コンテンツの状態を元の状態に戻すための利用者への提案を示す提案情報を生成する（ステップＳ１０４）。
【0085】
これによれば、利用者の視線情報、及び表情情報に基づいて、利用者の操作の誤りを推定し、元の状態に戻す提案情報を利用者端末２００に提供することができる。そのため、利用者の操作の誤りを的確に検出し、元の状態に戻すことができる情報処理方法、及び情報処理プログラムを提供することができる。
【0086】
〔６．ハードウェア構成〕
また、上述した実施形態に係る情報処理装置１００は、例えば図９に示すような構成のコンピュータ１０００によって実現される。図９は、情報処理装置の機能を実現するコンピュータの一例を示すハードウェア構成図である。コンピュータ１０００は、出力装置１０１０、入力装置１０２０と接続され、演算装置１０３０、一次記憶装置１０４０、二次記憶装置１０５０、出力ＩＦ（Ｉｎｔｅｒｆａｃｅ）１０６０、入力ＩＦ１０７０、ネットワークＩＦ１０８０がバス１０９０により接続された形態を有する。
また、上述した実施形態に係る情報処理装置１００は、例えば図９に示すような構成のコンピュータ１０００によって実現される。図９は、情報処理装置の機能を実現するコンピュータの一例を示すハードウェア構成図である。コンピュータ１０００は、出力装置１０１０、入力装置１０２０と接続され、演算装置１０３０、一次記憶装置１０４０、二次記憶装置１０５０、出力ＩＦ（Ｉｎｔｅｒｆａｃｅ）１０６０、入力ＩＦ１０７０、ネットワークＩＦ１０８０がバス１０９０により接続された形態を有する。
【0087】
演算装置１０３０は、一次記憶装置１０４０や二次記憶装置１０５０に格納されたプログラムや入力装置１０２０から読み出したプログラム等に基づいて動作し、各種の処理を実行する。一次記憶装置１０４０は、ＲＡＭ等、演算装置１０３０が各種の演算に用いるデータを一次的に記憶するメモリ装置である。また、二次記憶装置１０５０は、演算装置１０３０が各種の演算に用いるデータや、各種のデータベースが記憶される記憶装置であり、ＲＯＭ(Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ)、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）、フラッシュメモリ等により実現される。
【0088】
出力ＩＦ１０６０は、モニタやプリンタといった各種の情報を出力する出力装置１０１０に対し、出力対象となる情報を送信するためのインタフェースであり、例えば、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）やＤＶＩ（Ｄｉｇｉｔａｌ Ｖｉｓｕａｌ Ｉｎｔｅｒｆａｃｅ）、ＨＤＭＩ（登録商標）（Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅ）といった規格のコネクタにより実現される。また、入力ＩＦ１０７０は、マウス、キーボード、およびスキャナ等といった各種の入力装置１０２０から情報を受信するためのインタフェースであり、例えば、ＵＳＢ等により実現される。
【0089】
なお、入力装置１０２０は、例えば、ＣＤ（Ｃｏｍｐａｃｔ Ｄｉｓｃ）、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）、ＰＤ（Ｐｈａｓｅ ｃｈａｎｇｅ ｒｅｗｒｉｔａｂｌｅ Ｄｉｓｋ）等の光学記録媒体、ＭＯ（Ｍａｇｎｅｔｏ－Ｏｐｔｉｃａｌ ｄｉｓｋ）等の光磁気記録媒体、テープ媒体、磁気記録媒体、または半導体メモリ等から情報を読み出す装置であってもよい。また、入力装置１０２０は、ＵＳＢメモリ等の外付け記憶媒体であってもよい。
【0090】
ネットワークＩＦ１０８０は、ネットワークＮを介して他の機器からデータを受信して演算装置１０３０へ送り、また、ネットワークＮを介して演算装置１０３０が生成したデータを他の機器へ送信する。
【0091】
演算装置１０３０は、出力ＩＦ１０６０や入力ＩＦ１０７０を介して、出力装置１０１０や入力装置１０２０の制御を行う。例えば、演算装置１０３０は、入力装置１０２０や二次記憶装置１０５０からプログラムを一次記憶装置１０４０上にロードし、ロードしたプログラムを実行する。
【0092】
例えば、コンピュータ１０００が情報処理装置１００として機能する場合、コンピュータ１０００の演算装置１０３０は、一次記憶装置１０４０上にロードされたプログラムを実行することにより、情報処理装置１００の制御部１３０の機能を実現する。
【0093】
〔７．構成と効果〕
本開示に係る情報処理装置１００は、利用者端末２００に操作処理の対象となる複数の対象コンテンツを表示させる表示制御部１３５と、利用者の対象コンテンツに対する操作を示す操作情報を取得する取得部１３１と、対象コンテンツに対する利用者の操作時における視線情報と、表情情報に基づいて、利用者の操作が誤りであったか否かを推定する推定部１３２と、推定部１３２が利用者の操作が誤りであると推定した場合に、対象コンテンツの状態を元の状態に戻すための利用者への提案を示す提案情報を生成する生成部１３４と、を備える。
本開示に係る情報処理装置１００は、利用者端末２００に操作処理の対象となる複数の対象コンテンツを表示させる表示制御部１３５と、利用者の対象コンテンツに対する操作を示す操作情報を取得する取得部１３１と、対象コンテンツに対する利用者の操作時における視線情報と、表情情報に基づいて、利用者の操作が誤りであったか否かを推定する推定部１３２と、推定部１３２が利用者の操作が誤りであると推定した場合に、対象コンテンツの状態を元の状態に戻すための利用者への提案を示す提案情報を生成する生成部１３４と、を備える。
【0094】
この構成によれば、利用者の視線情報、及び表情情報に基づいて、利用者の操作の誤りを推定し、元の状態に戻す提案情報を利用者端末２００に提供することができる。そのため、利用者の操作の誤りを的確に検出し、元の状態に戻すことができる情報処理装置１００を提供することができる。
【0095】
本開示に係る情報処理装置１００の推定部１３２は、利用者の視線情報と表情情報に対する操作の正誤との関係を学習した学習済みモデルを用いて利用者の操作の正誤を推定する。
【0096】
この構成によれば、利用者の視線情報と表情情報に基づいて、利用者の操作の正誤を推定することができる。そのため、利用者の操作の誤りを的確に検出することができる。
【0097】
本開示に係る情報処理装置１００は、推定部１３２が利用者の操作が誤りであると推定した場合に、利用者の操作の誤りの態様を示す誤操作態様を判定する判定部１３３と、をさらに備える。
【0098】
この構成によれば、利用者の操作の誤りの態様を示す誤操作態様を判定することができる。そのため、それぞれの誤操作態様に応じた、的確な処理を実行することができる。
【0099】
本開示に係る情報処理装置１００の生成部１３４は、判定部１３３が利用者の誤操作態様について、利用者は誤ったページに遷移したと判定した場合に、元のページに戻るためのブラウザのバックボタンを含む提案情報を生成する。
【0100】
この構成によれば、ブラウザが表示された状態において、利用者の意図とは異なる誤ったページに遷移した場合に、元のページに戻るためのバックボタンを利用者端末２００に表示させることができる。そのため、利用者の操作の誤りを的確に検出し、元の状態に戻すことができる情報処理装置１００を提供することができる。
【0101】
本開示に係る情報処理装置１００の生成部１３４は、判定部１３３が利用者の誤操作態様について、利用者は複数のリンクのうちの誤ったリンクを選択したと判定した場合に、利用者が選択したリンクの隣に表示されたリンクを含む提案情報を生成する。
【0102】
この構成によれば、利用者が複数のリンクのうちの誤ったリンクを選択した場合に、利用者が選択したリンクの隣に表示されたリンクを含む提案情報を利用者端末２００に提供することができる。そのため、利用者の操作の誤りを的確に検出し、元の状態に戻すことができる情報処理装置１００を提供することができる。
【0103】
本開示に係る情報処理装置１００の生成部１３４は、判定部１３３が利用者の誤操作態様について、利用者は文字入力の際に誤ったキーを入力したと推定された場合に、直近の入力キーを考慮しない推測変換候補を含む提案情報を生成する。
【0104】
この構成によれば、利用者が文字入力の際に誤ったキーを入力した場合に、直近の入力キーを考慮しない推測変換候補を提案することができる。そのため、利用者の操作の誤りを的確に検出し、元の状態に戻すことができる情報処理装置１００を提供することができる。
【0105】
また、本開示に係る情報処理方法は、利用者端末２００に操作処理の対象となる複数の対象コンテンツを表示させるステップと、利用者の対象コンテンツに対する操作を示す操作情報を取得するステップと、対象コンテンツに対する利用者の操作時における視線情報と、表情情報に基づいて、利用者の操作が誤りであったか否かを推定するステップと、利用者の操作が誤りであると推定した場合に、対象コンテンツの状態を元の状態に戻すための利用者への提案を示す提案情報を生成するステップと、を含む。
【0106】
この構成によれば、利用者の視線情報、及び表情情報に基づいて、利用者の操作の誤りを推定し、元の状態に戻す提案情報を利用者端末２００に提供することができる。そのため、利用者の操作の誤りを的確に検出し、元の状態に戻すことができる情報処理方法を提供することができる。
【0107】
また、本開示に係る情報処理プログラムは、利用者端末２００に操作処理の対象となる複数の対象コンテンツを表示させるステップと、利用者の対象コンテンツに対する操作を示す操作情報を取得するステップと、対象コンテンツに対する利用者の操作時における視線情報と、表情情報に基づいて、利用者の操作が誤りであったか否かを推定するステップと、利用者の操作が誤りであると推定した場合に、対象コンテンツの状態を元の状態に戻すための利用者への提案を示す提案情報を生成するステップと、をコンピュータに実行させる。
【0108】
この構成によれば、利用者の視線情報、及び表情情報に基づいて、利用者の操作の誤りを推定し、元の状態に戻す提案情報を利用者端末２００に提供することができる。そのため、利用者の操作の誤りを的確に検出し、元の状態に戻すことができる情報処理プログラムを提供することができる。
【0109】
以上、本願の実施形態を図面に基づいて詳細に説明したが、これは例示であり、発明の開示の欄に記載の態様を始めとして、当業者の知識に基づいて種々の変形、改良を施した他の形態で本発明を実施することが可能である。
【0110】
また、上述してきた「部（ｓｅｃｔｉｏｎ、ｍｏｄｕｌｅ、ｕｎｉｔ）」は、「手段」や「回路」などに読み替えることができる。例えば、取得部１３１は、取得手段や取得回路に読み替えることができる。
【符号の説明】
【0111】
１ 情報処理システム
１００ 情報処理装置
１１０ 通信部
１２０ 記憶部
１２１ 操作情報記憶部
１２２ モデル記憶部
１２３ コンテンツ記憶部
１３０ 制御部
１３１ 取得部
１３２ 推定部
１３３ 判定部
１３４ 生成部
１３５ 表示制御部
２００ 利用者端末
２１０ 通信部
２２０ 記憶部
２３０ 入力部
２４０ 出力部
２５０ 撮像部
２６０ 制御部
２６１ 受付部
２６２ 表示制御部
Ｎ ネットワーク
１００ 情報処理装置
１１０ 通信部
１２０ 記憶部
１２１ 操作情報記憶部
１２２ モデル記憶部
１２３ コンテンツ記憶部
１３０ 制御部
１３１ 取得部
１３２ 推定部
１３３ 判定部
１３４ 生成部
１３５ 表示制御部
２００ 利用者端末
２１０ 通信部
２２０ 記憶部
２３０ 入力部
２４０ 出力部
２５０ 撮像部
２６０ 制御部
２６１ 受付部
２６２ 表示制御部
Ｎ ネットワーク
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】