IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 株式会社ドワンゴの特許一覧

特開2022-57958アシストシステム、アシスト方法、およびアシストプログラム
<>
  • 特開-アシストシステム、アシスト方法、およびアシストプログラム 図1
  • 特開-アシストシステム、アシスト方法、およびアシストプログラム 図2
  • 特開-アシストシステム、アシスト方法、およびアシストプログラム 図3
  • 特開-アシストシステム、アシスト方法、およびアシストプログラム 図4
  • 特開-アシストシステム、アシスト方法、およびアシストプログラム 図5
  • 特開-アシストシステム、アシスト方法、およびアシストプログラム 図6
  • 特開-アシストシステム、アシスト方法、およびアシストプログラム 図7
  • 特開-アシストシステム、アシスト方法、およびアシストプログラム 図8
  • 特開-アシストシステム、アシスト方法、およびアシストプログラム 図9
  • 特開-アシストシステム、アシスト方法、およびアシストプログラム 図10
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2022057958
(43)【公開日】2022-04-11
(54)【発明の名称】アシストシステム、アシスト方法、およびアシストプログラム
(51)【国際特許分類】
   G09B 19/00 20060101AFI20220404BHJP
【FI】
G09B19/00 H
【審査請求】有
【請求項の数】6
【出願形態】OL
(21)【出願番号】P 2020166484
(22)【出願日】2020-09-30
(11)【特許番号】
(45)【特許公報発行日】2021-12-15
(71)【出願人】
【識別番号】598138327
【氏名又は名称】株式会社ドワンゴ
(74)【代理人】
【識別番号】100088155
【弁理士】
【氏名又は名称】長谷川 芳樹
(74)【代理人】
【識別番号】100113435
【弁理士】
【氏名又は名称】黒木 義樹
(74)【代理人】
【識別番号】100144440
【弁理士】
【氏名又は名称】保坂 一之
(72)【発明者】
【氏名】川上 量生
(72)【発明者】
【氏名】小田桐 優理
(57)【要約】
【課題】コンテンツを視認するユーザを適切にアシストすること。
【解決手段】一実施形態に係るアシストシステムは、少なくとも一つのプロセッサを備える。少なくとも一つのプロセッサは、対象ユーザの視点の動きを示す対象データを取得し、複数のサンプルユーザから得られた複数のサンプルデータであって、それぞれのサンプルデータがサンプルコンテンツを視認したサンプルユーザの視点の動きと、該サンプルコンテンツに対する該サンプルユーザの理解度とのペアを示す、該複数のサンプルデータに統計処理を行うことで得られる、ユーザの視点の動きとコンテンツへの該ユーザの理解度との対応関係を示す対応関係データと、コンテンツへのユーザの理解度に対応付けられたアシスト情報と、を記憶する記憶部を参照し、対象データと対応関係データとに基づいて対象ユーザの理解度を推定し、対象ユーザの理解度に対応するアシスト情報を出力する。
【選択図】図4
【特許請求の範囲】
【請求項1】
少なくとも一つのプロセッサを備え、
前記少なくとも一つのプロセッサが、
対象コンテンツを表示する画面上での対象ユーザの視点の動きを示す対象データを取得し、
サンプルコンテンツを視認した複数のサンプルユーザから得られた複数のサンプルデータであって、それぞれのサンプルデータが、該サンプルコンテンツを視認した前記サンプルユーザの視点の動きと、該サンプルコンテンツに対する該サンプルユーザの理解度とのペアを示す、該複数のサンプルデータに対して統計処理を行うことにより得られる、ユーザの視点の動きとコンテンツへの該ユーザの理解度との対応関係を示す対応関係データと、コンテンツへのユーザの理解度に対応付けられたアシスト情報と、を記憶する記憶部を参照し、
前記対象データおよび前記対応関係データに基づいて、前記対象コンテンツへの前記対象ユーザの理解度を推定し、
推定された前記対象ユーザの理解度に対応する前記アシスト情報を出力する、
アシストシステム。
【請求項2】
前記統計処理が、前記サンプルユーザの視点の動きと前記サンプルユーザの理解度とに基づいて前記複数のサンプルデータをクラスタリングする処理を含む、
請求項1に記載のアシストシステム。
【請求項3】
前記統計処理が、前記複数のサンプルデータに対して回帰分析を行う処理を含む、
請求項1に記載のアシストシステム。
【請求項4】
前記少なくとも一つのプロセッサが、前記対象コンテンツが前記画面上に表示されたときから所定時間経過後に前記アシスト情報を出力する、
請求項1~3のいずれか一項に記載のアシストシステム。
【請求項5】
前記対応関係データが、
前記対象コンテンツと異なるサンプルコンテンツを視認した前記サンプルユーザから得られた前記サンプルデータを含む複数の第1サンプルデータに対して前記統計処理を行うことにより得られる一般化された対応関係データと、
前記対象コンテンツをサンプルコンテンツとして視認した複数のサンプルユーザから得られた複数の第2サンプルデータに対して前記統計処理を行うことにより得られるコンテンツ特有の対応関係データとを含み、
前記少なくとも一つのプロセッサが、
前記対象データおよび前記一般化された対応関係データに基づいて、前記対象コンテンツへの前記対象ユーザの第1理解度を推定し、
推定された前記対象ユーザの第1理解度に対応するアシスト情報を出力し、
前記対象データおよび前記コンテンツ特有の対応関係データに基づいて、前記対象コンテンツへの前記対象ユーザの第2理解度を推定し、
推定された前記対象ユーザの第2理解度に対応するアシスト情報を出力する、
請求項1~4のいずれか一項に記載のアシストシステム。
【請求項6】
前記少なくとも一つのプロセッサが、前記対象ユーザの前記第1理解度に対応するアシスト情報を出力した後に、前記対象ユーザの前記第2理解度に対応するアシスト情報を出力する、
請求項5に記載のアシストシステム。
【請求項7】
少なくとも一つのプロセッサを備えるアシストシステムによって実行されるアシスト方法であって、
対象コンテンツを表示する画面上での対象ユーザの視点の動きを示す対象データを取得するステップと、
サンプルコンテンツを視認した複数のサンプルユーザから得られた複数のサンプルデータであって、それぞれのサンプルデータが、該サンプルコンテンツを視認した前記サンプルユーザの視点の動きと、該サンプルコンテンツに対する該サンプルユーザの理解度とのペアを示す、該複数のサンプルデータに対して統計処理を行うことにより得られる、ユーザの視点の動きとコンテンツへの該ユーザの理解度との対応関係を示す対応関係データと、コンテンツへのユーザの理解度に対応付けられたアシスト情報と、を記憶する記憶部を参照するステップと、
前記対象データおよび前記対応関係データに基づいて、前記対象コンテンツへの前記対象ユーザの理解度を推定するステップと、
推定された前記対象ユーザの理解度に対応する前記アシスト情報を出力するステップと
を含むアシスト方法。
【請求項8】
対象コンテンツを表示する画面上での対象ユーザの視点の動きを示す対象データを取得するステップと、
サンプルコンテンツを視認した複数のサンプルユーザから得られた複数のサンプルデータであって、それぞれのサンプルデータが、該サンプルコンテンツを視認した前記サンプルユーザの視点の動きと、該サンプルコンテンツに対する該サンプルユーザの理解度とのペアを示す、該複数のサンプルデータに対して統計処理を行うことにより得られる、ユーザの視点の動きとコンテンツへの該ユーザの理解度との対応関係を示す対応関係データと、コンテンツへのユーザの理解度に対応付けられたアシスト情報と、を記憶する記憶部を参照するステップと、
前記対象データおよび前記対応関係データに基づいて、前記対象コンテンツへの前記対象ユーザの理解度を推定するステップと、
推定された前記対象ユーザの理解度に対応する前記アシスト情報を出力するステップと
をコンピュータに実行させるアシストプログラム。
【請求項9】
少なくとも一つのプロセッサを備え、
前記少なくとも一つのプロセッサが、
対象コンテンツを表示する画面上での対象ユーザの視点の動きを示す対象データを取得し、
サンプルコンテンツを視認した複数のサンプルユーザから得られた複数のサンプルデータであって、それぞれのサンプルデータが、該サンプルコンテンツを視認した前記サンプルユーザの視点の動きと、該サンプルユーザに対応するアシスト情報とを示す、該複数のサンプルデータに対して統計処理を行うことにより得られる、ユーザの視点の動きとコンテンツのアシスト情報との対応関係を示す対応関係データを記憶する記憶部を参照し、
前記対象データおよび前記対応関係データに基づいて、該対象データに対応する前記アシスト情報を出力する、
アシストシステム。

【発明の詳細な説明】
【技術分野】
【0001】
本開示の一側面はアシストシステム、アシスト方法、およびアシストプログラムに関する。
【背景技術】
【0002】
コンテンツを視認するユーザをアシストする技術が知られている。例えば、特許文献1には、外国語の読解の学習を支援するための学習支援装置が記載されている。この学習支援装置は、学習者が課題外国語文章を読解する際の視線運動を追跡して、読み返し頻度および視線停留を計算し、その読み返し頻度および視線停留に関する情報を指導者に提示する。特許文献2から6にも、ユーザのアシストに関する技術が記載されている。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2005-338173号公報
【特許文献2】特開2010-039646号公報
【特許文献3】特開2016-114684号公報
【特許文献4】特開2018-097266号公報
【特許文献5】特許第6636670号公報
【特許文献6】特開2014-194637号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
コンテンツを視認するユーザを適切にアシストできる手法が望まれている。
【課題を解決するための手段】
【0005】
本開示の一側面に係るアシストシステムは、少なくとも一つのプロセッサを備える。少なくとも一つのプロセッサは、対象コンテンツを表示する画面上での対象ユーザの視点の動きを示す対象データを取得し、サンプルコンテンツを視認した複数のサンプルユーザから得られた複数のサンプルデータであって、それぞれのサンプルデータが、該サンプルコンテンツを視認したサンプルユーザの視点の動きと、該サンプルコンテンツに対する該サンプルユーザの理解度とのペアを示す、該複数のサンプルデータに対して統計処理を行うことにより得られる、ユーザの視点の動きとコンテンツへの該ユーザの理解度との対応関係を示す対応関係データと、コンテンツへのユーザの理解度に対応付けられたアシスト情報と、を記憶する記憶部を参照し、対象データおよび対応関係データに基づいて、対象コンテンツへの対象ユーザの理解度を推定し、推定された対象ユーザの理解度に対応するアシスト情報を出力する。
【0006】
このような側面においては、サンプルユーザから得られたサンプルデータが統計処理されることにより対応関係データが生成され、該対応関係データと、対象コンテンツに対する対象ユーザの視点の動きを示す対象データとに基づいて該対象ユーザの理解度が推定される。統計処理により得られる対応関係データを用いることで、コンテンツを視認するユーザの実際の傾向に即して対象ユーザの理解度が推定される。その推定に基づくアシスト情報を出力することで、対象コンテンツを視認する対象ユーザを適切にアシストできる。
【発明の効果】
【0007】
本開示の一側面によれば、コンテンツを視認するユーザを適切にアシストできる。
【図面の簡単な説明】
【0008】
図1】実施形態に係るアシストシステムの適用の一例を示す図である。
図2】実施形態に係るアシストシステムに関連するハードウェア構成の一例を示す図である。
図3】実施形態に係るアシストシステムに関連する機能構成の一例を示す図である。
図4】実施形態に係るアシストシステムの動作の一例を示すフローチャートである。
図5】実施形態に係るアイトラッキングシステムの動作の一例を示すフローチャートである。
図6】第1コンテンツに設定される誘導領域の一例を示す図である。
図7】第1コンテンツに設定される誘導領域の一例を示す図である。
図8】実施形態に係るアシストシステムの動作の一例を示すフローチャートである。
図9】実施形態に係るアシストシステムの動作の一例を示すフローチャートである。
図10】アシスト情報の例を示す図である。
【発明を実施するための形態】
【0009】
以下、添付図面を参照しながら本開示での実施形態を詳細に説明する。図面の説明において同一または同等の要素には同一の符号を付し、重複する説明を省略する。
【0010】
[システムの概要]
実施形態に係るアシストシステムは、コンテンツを視認するユーザをアシストするコンピュータシステムである。コンテンツとは、コンピュータまたはコンピュータシステムによって提供され、人が認識可能な情報のことをいう。コンテンツを示す電子データのことをコンテンツデータという。コンテンツの表現形式は限定されず、例えば、コンテンツは文書、画像(例えば、写真、映像など)、またはこれらの組合せによって表現されてもよい。コンテンツの目的および利用場面は限定されず、例えば、コンテンツは教育、ニュース、講演、商取引、エンターテインメント、医療、ゲーム、チャットなどの様々な目的で利用され得る。
【0011】
アシストシステムは、コンテンツデータをユーザ端末に送信することで、コンテンツをユーザに提供する。ユーザとは、アシストシステムから情報を得ようとする人であり、すなわち、コンテンツの視聴者である。ユーザ端末は「視聴者端末」ということもできる。アシストシステムは、ユーザからの要求によりコンテンツデータをユーザ端末に提供してもよいし、ユーザとは別の配信者の指示に基づいてコンテンツデータをユーザ端末に提供してもよい。配信者とは、ユーザ(視聴者)に情報を伝えようとする人であり、すなわち、コンテンツの発信者である。
【0012】
アシストシステムは、コンテンツのみならず、ユーザの理解度に対応するアシスト情報を必要に応じてユーザに提供する。ユーザの理解度とは、コンテンツに対するユーザの理解の程度を示す指標である。例えば、コンテンツに文章が含まれている場合、ユーザの理解度は、ユーザがその文章をどのくらい理解しているか(例えば、ユーザが、文章に含まれる単語の意味を理解しているか否か、ユーザが文章の文法を理解しているか否かなど)を示す指標であってもよい。アシスト情報とは、コンテンツに対するユーザの理解を促進させるための情報である。例えば、コンテンツに文章が含まれている場合、アシスト情報は、文章に含まれる単語の意味、文章の文法などを示す情報であってもよい。以下の説明では、理解度を推定する対象となるユーザ(言い換えると、必要に応じてアシスト情報が提供される対象となるユーザ)を対象ユーザといい、その対象ユーザによって視認されるコンテンツを対象コンテンツという。
【0013】
アシスト情報を出力するために、アシストシステムは、対象コンテンツを表示する画面上での対象ユーザの視点の動きに基づいて、対象ユーザの理解度を推定する。具体的には、アシストシステムは、ユーザの視点の動きとユーザの理解度との対応関係を示す対応関係データを参照する。対応関係データは、予め取得されたサンプルデータに対して統計処理が行われることにより生成される電子データである。サンプルデータとは、コンテンツを視認したユーザの視点の動きと、コンテンツに対するユーザの理解度とのペアを示す電子データである。以下の説明では、対応関係データを生成するためのサンプルデータを提供するユーザをサンプルユーザといい、サンプルユーザにより視認されるコンテンツをサンプルコンテンツという。
【0014】
アシストシステムは、対象ユーザの視点の動きを示すデータを、該対象ユーザのユーザ端末から取得する。視点の動きを示すデータとは、ユーザ端末の画面においてユーザの視点がどのように移動したかを表すデータであり、本開示では視点データともいう。以下、対象ユーザの視点の動きを示すデータ(すなわち、対象ユーザの視点データ)を対象データという。アシストシステムは、対応関係データと対象データとを用いて、対象ユーザの理解度を推定する。その後アシストシステムは、対象ユーザの理解度に対応するアシスト情報を必要に応じて該対象ユーザのユーザ端末に出力する。
【0015】
本開示において、サンプルユーザと対象ユーザとを区別する必要のない場合には、これらをユーザと総称して説明を行うことがある。
【0016】
視点データはアイトラッキングシステムにより取得される。アイトラッキングシステムは、ユーザの眼の動きに基づいてユーザの視点座標を所与の時間間隔ごとに特定し、時系列に沿って並ぶ複数の視点座標を示す視点データを取得する。視点座標とは、ユーザ端末の画面における視点の位置を示す座標である。視点座標は、二次元の座標系を用いて表されてもよい。アイトラッキングシステムは、ユーザ端末に搭載されてもよいし、ユーザ端末とは異なる他のコンピュータに搭載されてもよい。あるいは、トラッキングシステムはユーザ端末と他のコンピュータとが協働することにより実現されてもよい。
【0017】
アイトラッキングシステムは、ユーザの視点座標をより精度よく特定するための処理である較正を行う。一例として、まずアイトラッキングシステムは、ユーザ端末の画面に表示されているコンテンツの部分領域を、ユーザに注視させるための誘導領域として設定する。以下、誘導領域が設定されるコンテンツを第1コンテンツという。そして、アイトラッキングシステムは、ユーザの眼の動きに基づいて、誘導領域を注視するユーザの視点座標を第1視点座標として特定し、その第1視点座標と誘導領域の領域座標との差分を算出する。誘導領域の領域座標とは、ユーザ端末の画面における誘導領域の位置を示す座標である。その後、アイトラッキングシステムは、ユーザ端末の画面に表示されるコンテンツ(第2コンテンツ)をユーザが視認する際に、そのユーザの眼の動きに基づいて、第2コンテンツを見るユーザの視点座標を第2視点座標として特定する。そして、アイトラッキングシステムは、特定した第2視点座標を、予め算出した差分を用いて較正する。第2コンテンツは、第2視点座標が較正される際にユーザが見ているコンテンツである。
【0018】
上述したようにコンテンツの目的および利用場面は限定されない。本実施形態においては、コンテンツの一例として教育用コンテンツを示し、アシストシステムが教育用コンテンツを視認する生徒をアシストするものとする。したがって、対象コンテンツは「教育用の対象コンテンツ」であり、サンプルコンテンツは「教育用のサンプルコンテンツ」である。教育用コンテンツとは、生徒への教育を行うために用いられるコンテンツであり、例えば、演習問題、試験問題などのようなテストでもよいし、教科書でもよい。教育用コンテンツは、文章、数式、グラフまたは図形などを含んでいてもよい。生徒とは、学業、技芸などの教えを受ける人のことをいう。生徒はユーザ(視聴者)の一例である。上述したように視聴者へのコンテンツの配信は、配信者の指示に基づいて行われてもよい。コンテンツが教育用コンテンツの場合、配信者は教師であってもよい。教師とは生徒に学業、技芸などを教える人のことをいう。教師は教員免許を持つ人であってもよいし、教員免許を持たない人でもよい。教師および生徒のそれぞれについて年齢および所属は限定されず、したがって、教育用コンテンツの目的および利用場面も限定されない。例えば、教育用コンテンツは、保育園、幼稚園、小学校、中学校、高等学校、大学、大学院、専門学校、予備校、オンライン学校などの各種の学校で用いられてよいし、学校以外の場所または場面で用いられてもよい。これに関連して、教育用コンテンツは、幼児教育、義務教育、高等教育、生涯学習などの様々な目的で用いられ得る。また、教育用コンテンツは、学校教育のみならず企業などのセミナーまたは研修の場面で用いられるコンテンツを含む。
【0019】
[システムの構成]
図1は、実施形態に係るアシストシステム1の適用の一例を示す図である。本実施形態では、アシストシステム1はサーバ10を備える。サーバ10は、通信ネットワークNを介してユーザ端末20およびデータベース30と通信可能に接続される。通信ネットワークNの構成は限定されない。例えば、通信ネットワークNは、インターネットを含んで構成されてもよいし、イントラネットを含んで構成されてもよい。
【0020】
サーバ10は、コンテンツをユーザ端末20に配信し、必要に応じてアシスト情報をユーザ端末20に提供するコンピュータである。サーバ10は、一つまたは複数のコンピュータから構成されてもよい。
【0021】
ユーザ端末20は、ユーザによって使用されるコンピュータである。本実施形態においては、ユーザは、教育用のコンテンツを視聴する生徒である。一例では、ユーザ端末20は、アシストシステム1にアクセスしてコンテンツデータおよびアシスト情報を受信し表示する機能と、視点データをアシストシステム1に送信する機能とを有する。ユーザ端末20の種類は限定されず、例えば、高機能携帯電話機(スマートフォン)、タブレット端末、ウェアラブル端末(例えば、ヘッドマウントディスプレイ(HMD)、スマートグラスなど)、ラップトップ型パーソナルコンピュータ、携帯電話機などの携帯端末でもよい。あるいは、ユーザ端末20はデスクトップ型パーソナルコンピュータなどの据置型端末でもよい。図1では、3台のユーザ端末20を示すが、ユーザ端末20の個数は限定されない。本実施形態においては、サンプルユーザの端末と対象ユーザの端末とを区別して説明する際には、サンプルユーザの端末を「ユーザ端末20A」と表記し、対象ユーザの端末を「ユーザ端末20B」と表記する。ユーザは、ユーザ端末20を操作してアシストシステム1にログインし、コンテンツを視聴することができる。本実施形態では、アシストシステム1のユーザが既にログインしていることを前提とする。
【0022】
データベース30は、アシストシステム1によって用いられるデータを記憶する非一時的な記憶装置である。本実施形態では、データベース30は、コンテンツデータ、サンプルデータ、対応関係データおよびアシスト情報を記憶する。データベース30は単一のデータベースとして構築されてもよいし、複数のデータベースの集合であってもよい。
【0023】
図2は、アシストシステム1に関連するハードウェア構成の一例を示す図である。図2は、サーバ10として機能するサーバコンピュータ100と、ユーザ端末20として機能する端末コンピュータ200とを示す。
【0024】
一例として、サーバコンピュータ100はハードウェア構成要素として、プロセッサ101、主記憶部102、補助記憶部103、および通信部104を備える。
【0025】
プロセッサ101は、オペレーティングシステムおよびアプリケーションプログラムを実行する演算装置である。プロセッサの例としてCPU(Central Processing Unit)およびGPU(Graphics Processing Unit)が挙げられるが、プロセッサ101の種類はこれらに限定されない。
【0026】
主記憶部102は、サーバ10を実現するためのプログラム、プロセッサ101から出力された演算結果などを記憶する装置である。主記憶部102は例えばROM(Read Only Memory)およびRAM(Random Access Memory)のうちの少なくとも一つにより構成される。
【0027】
補助記憶部103は、一般に主記憶部102よりも大量のデータを記憶することが可能な装置である。補助記憶部103は例えばハードディスク、フラッシュメモリなどの不揮発性記憶媒体によって構成される。補助記憶部103は、サーバコンピュータ100をサーバ10として機能させるためのサーバプログラムP1と各種のデータとを記憶する。本実施形態では、アシストプログラムはサーバプログラムP1として実装される。
【0028】
通信部104は、通信ネットワークNを介して他のコンピュータとの間でデータ通信を実行する装置である。通信部104は例えばネットワークカードまたは無線通信モジュールにより構成される。
【0029】
サーバ10の各機能要素は、プロセッサ101または主記憶部102の上にサーバプログラムP1を読み込ませてプロセッサ101にそのプログラムを実行させることで実現される。サーバプログラムP1は、サーバ10の各機能要素を実現するためのコードを含む。プロセッサ101はサーバプログラムP1に従って通信部104を動作させ、主記憶部102または補助記憶部103におけるデータの読み出しおよび書き込みを実行する。このような処理によりサーバ10の各機能要素が実現される。
【0030】
サーバ10は、一つまたは複数のコンピュータにより構成され得る。複数のコンピュータが用いられる場合には、通信ネットワークNを介してこれらのコンピュータが互いに接続されることで、論理的に一つのサーバ10が構成される。
【0031】
一例として、端末コンピュータ200はハードウェア構成要素として、プロセッサ201、主記憶部202、補助記憶部203、および通信部204、入力インタフェース205、出力インタフェース206、および撮像部207を備える。
【0032】
プロセッサ201は、オペレーティングシステムおよびアプリケーションプログラムを実行する演算装置である。プロセッサ201は例えばCPUまたはGPUであり得るが、プロセッサ201の種類はこれらに限定されない。
【0033】
主記憶部202は、ユーザ端末20を実現させるためのプログラム、プロセッサ201から出力された演算結果などを記憶する装置である。主記憶部202は例えばROMおよびRAMのうちの少なくとも一つにより構成される。
【0034】
補助記憶部203は、一般に主記憶部202よりも大量のデータを記憶することが可能な装置である。補助記憶部203は例えばハードディスク、フラッシュメモリなどの不揮発性記憶媒体によって構成される。補助記憶部203は、端末コンピュータ200をユーザ端末20として機能させるためのクライアントプログラムP2と各種のデータとを記憶する。
【0035】
通信部204は、通信ネットワークNを介して他のコンピュータとの間でデータ通信を実行する装置である。通信部204は例えばネットワークカードまたは無線通信モジュールにより構成される。
【0036】
入力インタフェース205は、ユーザの操作または動作に基づいてデータを受け付ける装置である。例えば、入力インタフェース205は、キーボード、操作ボタン、ポインティングデバイス、タッチパネル、マイクロフォン、センサ、およびカメラのうちの少なくとも一つによって構成される。
【0037】
出力インタフェース206は、端末コンピュータ200で処理されたデータを出力する装置である。例えば、出力インタフェース206はモニタ、タッチパネル、HMDおよびスピーカのうちの少なくとも一つによって構成される。
【0038】
撮像部207は、現実世界を写した画像を撮影する装置であり、具体的にはカメラである。撮像部207は動画像(映像)を撮影してもよいし静止画(写真)を撮影してもよい。撮像部207は入力インタフェース205としても機能し得る。
【0039】
ユーザ端末20の各機能要素は、対応するクライアントプログラムP2をプロセッサ201または主記憶部202に読み込ませてプロセッサ201にそのプログラムを実行させることで実現される。クライアントプログラムP2は、ユーザ端末20の各機能要素を実現するためのコードを含む。プロセッサ201はクライアントプログラムP2に従って通信部204、入力インタフェース205、出力インタフェース206、または撮像部207を動作させ、主記憶部202または補助記憶部203におけるデータの読み出しおよび書き込みを行う。この処理によりユーザ端末20の各機能要素が実現される。
【0040】
サーバプログラムP1およびクライアントプログラムP2の少なくとも一つは、CD-ROM、DVD-ROM、半導体メモリなどの有形の記録媒体に非一時的に記録された上で提供されてもよい。あるいは、これらのプログラムの少なくとも一つは、搬送波に重畳されたデータ信号として通信ネットワークNを介して提供されてもよい。これらのプログラムは別々に提供されてもよいし、一緒に提供されてもよい。
【0041】
図3は、アシストシステム1に関連する機能構成の一例を示す図である。サーバ10は、機能要素としてコンテンツ配信部11、統計処理部12、推定部13、およびアシスト部14を備える。統計処理部12は、対応関係データを生成する機能要素である。統計処理部12は、データベース30に記憶されたサンプルデータに対して統計処理を行うことにより対応関係データを生成し、対応関係データをデータベース30に格納する。推定部13は、対象コンテンツへの対象ユーザの理解度を推定する機能要素である。推定部13は、対象ユーザの視点の動きを示す対象データをユーザ端末20Bから取得し、その対象データと対応関係データとに基づいて対象ユーザの理解度を推定する機能要素である。アシスト部14は、対象ユーザの理解度に対応するアシスト情報をユーザ端末20Bに送信する機能要素である。
【0042】
ユーザ端末20は、機能要素として設定部21、特定部22、算出部23、トラッキング部24、および表示制御部25を備える。設定部21は、ユーザ端末20の画面に表示された第1コンテンツの部分領域を誘導領域として設定する機能要素である。特定部22は、誘導領域を注視するユーザの眼の動きに基づいて、ユーザの第1視点座標を特定する機能要素である。算出部23は、設定部21によって設定された誘導領域の領域座標と、特定部22によって特定された第1視点座標との差分を算出する機能要素である。トラッキング部24は、ユーザ端末20の画面に表示されたコンテンツを見るユーザの眼の動きを観測して視点データを生成する機能要素である。トラッキング部24は、第2コンテンツを見るユーザの第2視点座標を、算出された差分を用いて較正して、較正後の第2視点座標を示す視点データを生成する。表示制御部25は、ユーザ端末20での画面の表示を制御する機能要素である。本実施形態では、アイトラッキングシステムは設定部21、特定部22、算出部23、トラッキング部24、および表示制御部25により構成される。
【0043】
[システムの動作]
図4は、アシストシステム1の動作を処理フローS1として示すフローチャートである。図4を参照して、アシストシステム1による処理の全体像を説明する。
【0044】
ステップS11では、サーバ10の統計処理部12が複数のサンプルデータに対して統計処理を行い、対応関係データを生成する。
【0045】
ステップS11の前提となる、サンプルデータの収集の一例を説明する。まず、コンテンツ配信部11が複数のユーザ端末20Aのそれぞれにサンプルコンテンツを配信する。それぞれのユーザ端末20Aにサンプルコンテンツを配信するタイミングは限定されない。例えば、コンテンツ配信部11はそれぞれのユーザ端末20Aからの要求に応じてサンプルコンテンツをそのユーザ端末20Aに配信してもよいし、2以上のユーザ端末20Aにサンプルコンテンツを一斉に配信してもよい。それぞれのユーザ端末20Aでは表示制御部25がそのサンプルコンテンツを受信および表示する。その後、ユーザ端末20Aのトラッキング部24がそのサンプルコンテンツを視認したサンプルユーザの視点の動きを示す視点データを生成する。一例では、サンプルユーザはアンケートに回答する形式で、サンプルコンテンツへの理解度をユーザ端末20Aに入力し、ユーザ端末20Aはその入力データを受け付ける。あるいは、ユーザ端末20Aまたはサーバ10がサンプルコンテンツに対するユーザの解答(例えば、設問に対する解答)に基づいてサンプルユーザの理解度を推定してもよい。入力または推定される理解度は、例えば、文章に含まれる単語の意味を理解できたか否か、文章の文法が理解できたか否かなどを示す。一例では、ユーザ端末20Aは、生成された視点データと、入力または推定された理解度とのペアを示すサンプルデータを生成し、そのサンプルデータをサーバ10に送信する。あるいは、ユーザ端末20Aが視点データをサーバ10に送信し、サーバ10がその視点データと、推定された理解度とのペアを示すサンプルデータを生成してもよい。いずれにしても、サーバ10はそのサンプルデータをデータベース30に格納する。サーバ10は、或る特定のサンプルコンテンツについて複数のユーザ端末20Aから得られた複数のサンプルデータをデータベース30に格納する。サーバ10は複数のサンプルコンテンツのそれぞれについて複数のサンプルデータを格納してもよい。アシストシステム1はこの一連の処理によってサンプルデータを収集する。
【0046】
統計処理部12は、データベース30から複数のサンプルデータを読み出し、該複数のサンプルデータに対して統計処理を行い、対応関係データを生成する。統計処理部12による統計処理の手法および生成される対応関係データの表現形式は限定されない。
【0047】
一例として、統計処理部12は、サンプルユーザの視点の動きおよびサンプルコンテンツに対するユーザの理解度に基づいて、複数のサンプルデータをクラスタリングすることにより対応関係データを生成する。統計処理部12は、視点の移動速度と、視点の反転回数(視点の移動方向が変化した回数)と、視点が移動した領域の面積とのうちの少なくとも一つに基づいて視点の動きの類似性を判断してもよい。統計処理部12は、単語の意味の理解度と、文章の文法の理解度とのうちの少なくとも一つに基づいてコンテンツの理解度の類似性を判断してもよい。統計処理部12は、それぞれのサンプルデータについて、視点の動きに関する特徴と理解度に関する特徴とを特徴ベクトルとしてベクトル化し、その特徴ベクトルが共通または類似するサンプルデータ同士を同じクラスタに所属させてもよい。統計処理部12は、クラスタリングの結果からユーザの視点の動きとユーザの理解度との対応関係を導出する。この対応関係は、より具体的には、ユーザの視点の動きの傾向と、その傾向に対応する理解度とのペアを示すといえる。統計処理部12はその対応関係を示す対応関係データを生成し、その対応関係データをデータベース30に格納する。
【0048】
他の例として、統計処理部12は、回帰分析を行うことにより対応関係データを生成してもよい。具体的には、統計処理部12は、サンプルユーザの視点の動きおよびサンプルユーザの理解度のそれぞれを所定の規則に基づいて数値化する。統計処理部12は、数値化されたデータに対して回帰分析を行い、サンプルユーザの理解度を目的変数とし、サンプルユーザの視点の動きを説明変数とする回帰式を生成する。このとき、統計処理部12は、サンプルユーザの視点の動きを、視点の移動速度、視点の反転回数などのような複数の要素に分解し、該複数の要素に対応する複数の説明変数を設定してもよい。例えば、統計処理部12は、視点の移動速度および視点の反転回数をそれぞれ独立した説明変数として数値化し、その複数の説明変数を用いた重回帰分析を行ってもよい。統計処理部12は回帰分析により生成された回帰式を対応関係データとしてデータベース30に格納する。統計処理部12により行われる回帰分析の手法は、部分的最小二乗回帰(PLS)またはサポートベクター回帰(SVR)であってもよい。いずれにしても、その対応関係データも、ユーザの視点の動きの傾向と、その傾向に対応する理解度とのペアを示す。
【0049】
さらに他の例として、統計処理部12は、サンプルユーザの視点の動きとサンプルユーザの理解度との対応関係を機械学習により分析し対応関係データを生成してもよい。機械学習は、ニューラルネットワークを用いたディープラーニングでもよい。統計処理部12は、ユーザの視点の動きを示すデータを入力層に入力するとユーザの理解度を示すデータを出力するように構成された機械学習モデルを用いて、サンプルデータを学習データとする教師あり学習を行い、その学習モデル内の重み付けパラメータを調整する。統計処理部12は、重み付けパラメータの調整が行われたモデル(学習済みモデル)を対応関係データとしてデータベース30に格納する。機械学習を採用する場合、統計処理部12は、データベース30に記憶されたサンプルデータを前処理して、機械学習に適した形式のデータに変換してもよい。
【0050】
統計処理部12は、統計処理に使用するサンプルデータを適宜選択し、複数種類の対応関係データを生成してもよい。例えば、統計処理部12は複数のサンプルコンテンツのそれぞれについて、該サンプルコンテンツを視聴する複数のサンプルユーザから取得されたサンプルデータを使用して対応関係データを生成してもよい。この場合には、それぞれのコンテンツについて対応関係データが生成される。以下ではこの対応関係データを「コンテンツ特有の対応関係データ」という。あるいは、統計処理部12は複数のサンプルコンテンツ(例えば、同じカテゴリに属する複数のサンプルコンテンツ)のサンプルデータを使用して対応関係データを生成してもよい。この場合には、複数のコンテンツ(例えば、同じカテゴリに属する複数のコンテンツ)に共通する対応関係データが生成される。以下ではこの対応関係データを「一般化された対応関係データ」という。
【0051】
ステップS12では、対象コンテンツを視認している対象ユーザに対して、アシスト部14が必要に応じてアシスト情報を提供する。アシスト部14は、対象コンテンツへの対象ユーザの理解度を推定し、その理解度に対応するアシスト情報を必要に応じて提供する。アシスト情報を出力する処理の詳細は後述する。ユーザの理解度とアシスト情報との対応関係は予め定められ、その対応関係を特定することができるようにアシスト情報がデータベース30に予め記憶される。対象コンテンツへの対象ユーザの理解が不足している部分をアシスト情報によって補えるように、ユーザの理解度とアシスト情報とが対応付けられてもよい。例えば、コンテンツ中の文章に含まれる単語の意味を理解していないことを示すユーザの理解度に対しては、該単語の意味がアシスト情報として対応付けられてもよい。
【0052】
図5は、アイトラッキングシステムの動作を処理フローS2として示すフローチャートである。アイトラッキングシステムによる処理は、視点座標の較正に使用する差分を算出する工程(ステップS21からステップS23)と、算出した差分を用いてユーザの視点座標を較正する工程(ステップS24およびステップS25)とに大別される。
【0053】
ステップS21では、設定部21が、ユーザ端末20の画面上に表示されている第1コンテンツの部分領域を誘導領域として動的に設定する。第1コンテンツは、コンテンツ配信部11によって配信されて表示制御部25により表示される任意のコンテンツである。第1コンテンツは教育用コンテンツでもよいし、教育を目的としないコンテンツでもよい。誘導領域とは、ユーザに注視させるための領域であり、連続して並ぶ複数の画素によって構成される。誘導領域を動的に設定するとは、ユーザに注視させるための領域が予め設定されていない第1コンテンツが画面上に表示されることに応答して、該第1コンテンツ中に誘導領域を設定することをいう。一例では、この誘導領域は、第1コンテンツが画面上に表示されている間に限って設定される。画面に表示されている第1コンテンツ中における誘導領域の位置は限定されない。例えば、設定部21は、第1コンテンツの中央部分、上側部分、下側部分、角の部分などの任意の位置に誘導領域を設定してもよい。一例では、設定部21が誘導領域を設定した後に、表示制御部25がその設定に基づいて第1コンテンツ中に誘導領域を表示する。誘導領域の形状および面積(画素数)も限定されない。誘導領域は視点座標を較正するためにユーザに注視させる領域であるので、典型的には、設定部21は誘導領域の面積を、画面に表示された第1コンテンツの面積(すなわち、表示装置の面積)に比べてかなり小さく設定する。
【0054】
誘導領域を動的に設定する方法は限定されない。一例では、設定部21は、誘導領域の表示態様を、誘導領域以外の領域(以下ではこれを非誘導領域ともいう)の表示態様と異ならせることで、誘導領域と非誘導領域とを視覚的に区別させてもよい。表示態様を設定する手法は限定されない。具体例として、設定部21は、誘導領域の解像度を変えることなく非誘導領域の解像度を低下させて誘導領域の解像度を相対的に高めることにより、誘導領域と非誘導領域とを区別させてもよい。別の具体例として、設定部21は、誘導領域の表示態様を変えることなく非誘導領域に対してぼかし処理を行うことにより、誘導領域と非誘導領域とを区別させてもよい。例えば、設定部21は非誘導領域のうち、ある対象画素の色を該対象画素に隣接する複数の画素の色の平均色に設定することにより、ぼかし処理を行ってもよい。設定部21は非誘導領域の解像度を維持しつつぼかし処理を行ってもよいし、解像度を低下させた上でぼかし処理を行ってもよい。別の具体例として、設定部21は、誘導領域の外縁を特定色または特定種類の枠線で囲むことにより誘導領域と他の領域とを区別させてもよい。設定部21は解像度の調整、ぼかし処理および枠線の描画のうち任意の2以上の手法を組み合わせることによって誘導領域を他の領域と区別させてもよい。
【0055】
あるいは、ユーザによって選択可能な選択オブジェクトが第1コンテンツ中に含まれている場合に、設定部21は、該選択オブジェクトが表示される領域を誘導領域に設定してもよい。すなわち、設定部21はその選択オブジェクトを部分領域として特定して、その選択オブジェクトを誘導領域として設定してもよい。典型的には、選択オブジェクトは、アプリケーションプログラムのチュートリアル画面に表示される選択ボタンまたはリンクであってもよい。あるいは、ユーザ端末20によって問題演習または試験が行われる場合には、選択オブジェクトは問題を選択するためのボタンであってもよいし、演習または試験を開始するためのボタンであってもよい。設定部21は、誘導領域として設定した選択オブジェクトの解像度を維持しつつ、非誘導領域の解像度を低下させてもよい。この処理に加えてまたは代えて、設定部21は、非誘導領域に対してぼかし処理を行ってもよいし、誘導領域として設定した選択オブジェクトの外縁を特定色または特定種類の枠線で囲んでもよい。
【0056】
設定部21は誘導領域の領域座標を任意の手法により設定する。例えば、設定部21は誘導領域の中央または重心の座標を領域座標として設定してもよい。あるいは、設定部21は誘導領域の中の任意の1画素の位置を領域座標として設定してもよい。
【0057】
ステップS22では、特定部22が、誘導領域を注視するユーザの視点座標を第1視点座標として特定する。特定部22はユーザの眼の動きに基づいて視点座標を特定する。その特定方法は限定されない。一例として、特定部22は、ユーザ端末20の撮像部207によってユーザの眼の周辺画像を撮影し、ユーザの目頭を基準点とした虹彩の位置に基づいて視点座標を特定してもよい。他の例として、特定部22は角膜反射法(PCCR)を用いてユーザの視点座標を特定してもよい。角膜反射法を採用する場合、ユーザ端末20はハードウェア構成として赤外線出射装置および赤外線カメラを備えてもよい。
【0058】
ステップS23では、算出部23が、特定部22によって特定された第1視点座標と、設定部21によって設定された誘導領域の領域座標との差分を算出する。例えば、ユーザ端末20の画面における位置がXY座標系で表される場合であって、第1視点座標が(105,105)であり領域座標が(100,100)である場合には、差分は(105-100,105-100)=(5,5)となる。算出部23は算出された差分を主記憶部202、補助記憶部203などの任意の記憶装置に格納する。
【0059】
較正の精度を向上させるために、ユーザ端末20は誘導領域の位置を変化させながらステップS21からステップS23までの処理を複数回繰り返してもよい。この場合、算出部23は、算出された複数の差分の統計値(例えば平均値)を、後の較正処理(ステップS25)において使用する差分として設定してもよい。
【0060】
ステップS24では、トラッキング部24が第2コンテンツを見るユーザの視点座標を第2視点座標として特定する。第2コンテンツは、コンテンツ配信部11によって配信されて表示制御部25により表示される任意のコンテンツである。例えば、第2コンテンツはサンプルコンテンツでもよいし対象コンテンツでもよい。トラッキング部24は、特定部22による第1視点座標の特定と同様の方法(すなわち、ステップS22の処理と同様の方法)によって第2視点座標を特定してよい。第2コンテンツは第1コンテンツと異なってもよいし同じでもよい。
【0061】
ステップS25では、トラッキング部24が差分を用いて第2視点座標を較正する。例えば、ステップS24において特定された第2視点座標が(190,155)であり、ステップS23において算出された差分が(5,5)である場合、トラッキング部24は第2視点座標を(190-5,155-5)=(185,150)というように較正する。
【0062】
トラッキング部24は、ステップS24,S25の処理を繰り返して、時系列に並ぶ較正後の複数の第2視点座標を取得し、ユーザの視点の動きを示す視点データを生成してもよい。あるいは、トラッキング部24が較正後の複数の第2視点座標を取得し、サーバ10がその複数の第2視点座標に基づいて視点データを生成してもよい。
【0063】
図6および図7を参照し、誘導領域の設定例について説明する。図6および図7はいずれも、設定部21により第1コンテンツに設定される誘導領域の一例を示す図である。
【0064】
図6の例では、設定部21は非誘導領域の解像度を低下させることで誘導領域を設定する。この例では、ユーザ端末20は、子供、芝生およびボールを含む第1コンテンツC11を表示し、その第1コンテンツC11上で誘導領域の位置を変化させながら差分を算出する。誘導領域の位置の変化に伴って、画面D11,D12,D13の順に表示が変化する。図6では非誘導領域を破線で表す。
【0065】
まず、設定部21は子供の顔の部分を誘導領域A11として設定する。画面D11はこの設定に対応する。設定部21は誘導領域A11の解像度を変えることなく、誘導領域A11以外の領域(非誘導領域)の解像度を下げる。一例として、設定部21は、誘導領域A11の解像度が非誘導領域の解像度の2倍以上または4倍以上になるように非誘導領域の解像度を下げてもよい。例えば、誘導領域A11の解像度が300ppiであるとき、非誘導領域の解像度は150ppi以下または75ppi以下であってもよい。このような解像度の設定により、非誘導領域は誘導領域A11よりもぼやけて表示されるので、ユーザの視線は通常、明瞭に表示された誘導領域A11に向けられる。これにより、誘導領域A11を注視するユーザの視点座標(第1視点座標)を特定することが可能となる。画面D11が表示されている間に、特定部22がユーザの第1視点座標を取得し、算出部23がその第1視点座標と誘導領域A11の領域座標との差分を算出する。
【0066】
その後、設定部21はボールの部分を誘導領域A12として設定する。画面D12はこの設定に対応する。設定部21は誘導領域A12の解像度をオリジナル値に戻し、誘導領域A12以外の領域(非誘導領域)の解像度を下げる。その結果、ユーザの視線は通常、誘導領域A12に向けられる。画面D12が表示されている間に、特定部22がユーザの第1視点座標を取得し、算出部23がその第1視点座標と誘導領域A12の領域座標との差分を算出する。
【0067】
その後、設定部21は第1コンテンツC11の右下部分(芝生の部分)を誘導領域A13として設定する。画面D13はこの設定に対応する。設定部21は誘導領域A13の解像度をオリジナル値に戻し、誘導領域A13以外の領域(非誘導領域)の解像度を下げる。その結果、ユーザの視線は通常、誘導領域A13に向けられる。画面D13が表示されている間に、特定部22がユーザの第1視点座標を取得し、算出部23がその第1視点座標と誘導領域A13の領域座標との差分を算出する。算出部23は算出された複数の差分の統計値を求める。この統計値は、トラッキング部24による第2視点座標の較正(ステップS25)に用いられる。
【0068】
図7の例では、設定部21は第1コンテンツC21内の選択オブジェクトを誘導領域として設定する。この例では、第1コンテンツC21はオンライン学力テストのチュートリアルであり、そのチュートリアルの進行に伴って、画面D11,D12,D13の順に表示が変化する。
【0069】
画面D21は、「国語の問題を出題します。」という文字列と、OKボタンとを含む。OKボタンは選択オブジェクトである。設定部21は、OKボタンが表示されている領域を誘導領域A21として設定する。通常、ユーザは選択オブジェクトを操作する際に該選択オブジェクトを注視する。そのため、誘導領域A21を注視するユーザの視点座標(第1視点座標)を特定することが可能となる。一例では、OKボタンがユーザによって選択されたときに、特定部22がユーザの第1視点座標を取得し、算出部23がその第1視点座標と誘導領域A21の領域座標との差分を算出する。
【0070】
ユーザがOKボタンを操作すると、表示制御部25が画面D21を画面D22へと切り替える。画面D22は、「問題数を選択してください。」という文字列と、「5問」、「10問」および「15問」という三つの選択ボタンとを含む。これらの選択ボタンは選択オブジェクトである。設定部21は、三つの選択ボタンが表示されている領域をそれぞれ誘導領域A22、誘導領域A23、および誘導領域A24として設定する。一例では、ユーザが三つの選択ボタンのうちいずれか一つを選択したときに、特定部22がユーザの視点座標(第1視点座標)を特定する。その後、算出部23が、その第1視点座標と、ユーザによって選択された選択オブジェクトに対応する誘導領域(誘導領域A22から誘導領域A24のうちいずれか一つ)の領域座標との差分を算出する。
【0071】
ユーザが一つの選択ボタンを選択すると、表示制御部25が画面D22を画面D23へと切り替える。画面D23は、「テストを開始しますか?」という文字列と、開始ボタンとを含む。開始ボタンは選択オブジェクトである。設定部21は、開始ボタンが表示されている領域を誘導領域A25として設定する。一例では、開始ボタンがユーザによって選択されたときに、特定部22がユーザの第1視点座標を取得し、算出部23がその第1視点座標と誘導領域A25の領域座標との差分を算出する。算出部23は算出された複数の差分の統計値を求める。この統計値は、トラッキング部24による第2視点座標の較正(ステップS25)に用いられる。
【0072】
図8は、アシストシステム1の動作の一例を処理フローS3として示すフローチャートである。処理フローS3は、対象コンテンツを視聴する対象ユーザに対してアシスト情報を提供する処理手順を示す。処理フローS3は、対象ユーザがアシストシステム1にログインしていることを前提とする。また、アイトラッキングシステムが、視点座標の較正に使用される差分を既に算出していることも前提とする。
【0073】
ステップS31では、ユーザ端末20Bの表示制御部25がユーザ端末20Bの画面に対象コンテンツを表示する。表示制御部25は、例えばコンテンツ配信部11から配信されたコンテンツデータをサーバ10から受信し、該コンテンツデータに基づいて対象コンテンツを表示する。
【0074】
ステップS32では、ユーザ端末20Bのトラッキング部24が、対象コンテンツを視認する対象ユーザの視点座標(第2視点座標)を取得する。具体的には、トラッキング部24は、対象コンテンツを見る対象ユーザの眼の動きに基づいて視点座標(較正前の視点座標)を特定し、特定した視点座標を予め算出された差分を用いてその視点座標を較正する。トラッキング部24は、較正された視点座標を所与の時間間隔ごとに取得し、その複数の視点座標が時系列に沿って並ぶ視点データ(すなわち、対象ユーザの視点の動きを示す対象データ)を生成してもよい。
【0075】
ステップS33では、推定部13が対象データを取得する。例えば、推定部13は、ユーザ端末20Bのトラッキング部24から対象データを受信してもよい。あるいは、トラッキング部24が複数の較正された視点座標をサーバ10に順次送信し、推定部13は該複数の視点座標が時系列に沿って並ぶ視点データ(対象データ)を生成してもよい。
【0076】
ステップS34では、推定部13がデータベース30を参照して対応関係データを取得し、対象データおよび対応関係データに基づいて対象コンテンツへの対象ユーザの理解度を推定する。一例として、対応関係データがクラスタリングにより生成されている場合には、推定部13は対象データが属するクラスタにより示される理解度を対象ユーザの理解度として推定する。別の例として、対応関係データが回帰分析によって生成された場合には、推定部13は回帰式に対象データを適用して対象ユーザの理解度を推定する。さらに別の例として、対応関係データが学習済みモデルである場合には、推定部13はその学習済みモデルに対象データを入力することで対象ユーザの理解度を推定する。
【0077】
ステップS35では、アシスト部14が対象ユーザの理解度に対応するアシスト情報をデータベース30から取得し、そのアシスト情報をユーザ端末20Bへと送信する。ユーザ端末20Bの表示制御部25はユーザ端末20Bの画面にアシスト情報を表示する。アシスト情報の出力タイミングは限定されない。例えば、表示制御部25は対象コンテンツがユーザ端末20の画面上に表示されたときから所定時間(例えば15秒)が経過した後にアシスト情報を出力してもよい。あるいは、表示制御部25はユーザからの要求に応じてアシスト情報を出力してもよい。表示制御部25はアシスト情報の表示時間をユーザの理解度に応じて調整してもよい。あるいは、表示制御部25は予めユーザなどにより設定された表示時間の間だけアシスト情報を表示してもよい。あるいは、アシスト部14は対象コンテンツの表示が切り替わるまでアシスト情報を表示してもよいし、対象コンテンツに対するユーザ入力(例えば、設問に対する解答)が行われるまでアシスト情報を表示してもよい。推定された理解度が、対象コンテンツへの対象ユーザの理解が充分であることを示す場合には、アシスト部14はアシスト情報を出力することなく処理を終了してもよい。アシスト情報の出力態様は限定されない。アシスト情報が音声データを含む場合にはユーザ端末20がその音声データをスピーカから出力してもよい。
【0078】
ステップS36として示すように、アシストシステム1は、ユーザ端末20Bが対象コンテンツを表示している間、ステップS32からステップS35までの処理を繰り返す。一例として、アシストシステム1は対象コンテンツが表示されている間その一連の処理を繰り返す。
【0079】
図9は、アシストシステム1の動作の例を処理フローS4として示すフローチャートである。処理フローS4も、対象コンテンツを視聴する対象ユーザに対してアシスト情報を提供する処理に関するが、具体的な手順は処理フローS3と異なる。処理フローS4も、対象ユーザがアシストシステム1にログインしていることと、アイトラッキングシステムが差分を既に算出していることとを前提とする。
【0080】
ステップS41では、ユーザ端末20Bの表示制御部25がユーザ端末20Bの画面に対象コンテンツを表示する。ステップS42では、ユーザ端末20Bのトラッキング部24が、対象コンテンツを視認する対象ユーザの視点座標(第2視点座標)を取得する。ステップS43では、推定部13が対象ユーザの視点の動きを示す対象データを取得する。この一連の処理はステップS31~S33と同様である。
【0081】
ステップS44では、推定部13がデータベース30を参照して、一般化された対応関係データを取得し、対象データおよび一般化された対応関係データに基づいて対象コンテンツへの対象ユーザの理解度(第1理解度)を推定する。具体的な推定方法はステップS34と同様である。
【0082】
ステップS45では、アシスト部14が対象ユーザの第1理解度に対応するアシスト情報をデータベース30から取得し、そのアシスト情報をユーザ端末20Bへと送信する。ユーザ端末20Bの表示制御部25は、ユーザ端末20Bの画面にアシスト情報を出力する。
【0083】
ステップS46では、アシスト部14が対象ユーザに対して追加のアシストを行うか否か、すなわち追加のアシスト情報を対象ユーザに提供するか否かを判定する。アシスト部14が追加のアシストを行わないと判定した場合、処理はステップS49に移る。アシスト部14が追加のアシストを行うと判定した場合、処理はステップS47に移る。一例として、対象コンテンツに対するユーザ入力(例えば、設問に対する解答)が所定時間内に行われた場合にはアシスト部14は追加のアシストを行わないと判定し、そのユーザ入力が所定時間内に行われない場合にはアシスト部14は追加のアシストを行うと判定してもよい。
【0084】
ステップS47では、推定部13がデータベース30を参照して対象コンテンツ特有の対応関係データを取得し、対象データおよびコンテンツ特有の対応関係データに基づいて対象コンテンツへの対象ユーザの理解度(第2理解度)を推定する。この処理は、同じコンテンツがサンプルコンテンツおよび対象コンテンツとして用いられることを前提とする。具体的な推定方法はステップS34と同様である。
【0085】
ステップS48では、アシスト部14が対象ユーザの第2理解度に対応する追加のアシスト情報をデータベース30から取得し、そのアシスト情報をユーザ端末20Bへと送信する。ユーザ端末20Bの表示制御部25は、ユーザ端末20Bの画面に追加のアシスト情報を出力する。
【0086】
ステップS49として示すように、アシストシステム1は、ユーザ端末20Bが対象コンテンツを表示している間、ステップS42からステップS48までの処理を繰り返す。一例として、アシストシステム1は対象コンテンツが表示されている間その一連の処理を繰り返す。
【0087】
図10はアシスト情報の例を示す図である。この例では、対象コンテンツQ11は英語の問題の一部であり、対象ユーザは日本人の生徒であるとする。この例では、アシストシステム1は、「語彙力の不足」を示す理解度Raと、「文法力の不足」を示す理解度Rbと、「文章の背景についての理解不足」を示す理解度Rcとに関する情報を含む対応関係データを参照するものとする。例えば、推定部13が対象データとその対応関係データとに基づいて、対象ユーザの語彙力が不足していると推定した場合には、アシスト部14がその理解度に対応するアシスト情報B11を出力する。対象ユーザの文法力が不足していると推定部13が推定した場合には、アシスト部14はその理解度に対応するアシスト情報B12を出力する。対象ユーザが文章の背景を理解していないと推定部13が推定した場合には、アシスト部14はその理解度に対応するアシスト情報B13を出力する。ユーザ端末20Bの表示制御部25は出力されたアシスト情報を表示する。対象ユーザはそのアシスト情報を参考にして問題を解くことができる。
【0088】
[効果]
以上説明したように、本開示の一側面に係るアシストシステムは、少なくとも一つのプロセッサを備える。少なくとも一つのプロセッサは、対象コンテンツを表示する画面上での対象ユーザの視点の動きを示す対象データを取得し、サンプルコンテンツを視認した複数のサンプルユーザから得られた複数のサンプルデータであって、それぞれのサンプルデータが、該サンプルコンテンツを視認したサンプルユーザの視点の動きと、該サンプルコンテンツに対する該サンプルユーザの理解度とのペアを示す、該複数のサンプルデータに対して統計処理を行うことにより得られる、ユーザの視点の動きとコンテンツへの該ユーザの理解度との対応関係を示す対応関係データと、コンテンツへのユーザの理解度に対応付けられたアシスト情報と、を記憶する記憶部を参照し、対象データおよび対応関係データに基づいて、対象コンテンツへの対象ユーザの理解度を推定し、推定された対象ユーザの理解度に対応するアシスト情報を出力する。
【0089】
本開示の一側面に係るアシスト方法は、少なくとも一つのプロセッサを備えるアシストシステムによって実行される。アシスト方法は、対象コンテンツを表示する画面上での対象ユーザの視点の動きを示す対象データを取得するステップと、サンプルコンテンツを視認した複数のサンプルユーザから得られた複数のサンプルデータであって、それぞれのサンプルデータが、該サンプルコンテンツを視認したサンプルユーザの視点の動きと、該サンプルコンテンツに対する該サンプルユーザの理解度とのペアを示す、該複数のサンプルデータに対して統計処理を行うことにより得られる、ユーザの視点の動きとコンテンツへの該ユーザの理解度との対応関係を示す対応関係データと、コンテンツへのユーザの理解度に対応付けられたアシスト情報と、を記憶する記憶部を参照するステップと、対象データおよび対応関係データに基づいて、対象コンテンツへの対象ユーザの理解度を推定するステップと、推定された対象ユーザの理解度に対応するアシスト情報を出力するステップとを含む。
【0090】
本開示の一側面に係るアシストプログラムは、対象コンテンツを表示する画面上での対象ユーザの視点の動きを示す対象データを取得するステップと、サンプルコンテンツを視認した複数のサンプルユーザから得られた複数のサンプルデータであって、それぞれのサンプルデータが、該サンプルコンテンツを視認したサンプルユーザの視点の動きと、該サンプルコンテンツに対する該サンプルユーザの理解度とのペアを示す、該複数のサンプルデータに対して統計処理を行うことにより得られる、ユーザの視点の動きとコンテンツへの該ユーザの理解度との対応関係を示す対応関係データと、コンテンツへのユーザの理解度に対応付けられたアシスト情報と、を記憶する記憶部を参照するステップと、対象データおよび対応関係データに基づいて、対象コンテンツへの対象ユーザの理解度を推定するステップと、推定された対象ユーザの理解度に対応するアシスト情報を出力するステップとをコンピュータに実行させる。
【0091】
このような側面においては、サンプルユーザから得られたサンプルデータが統計処理されることにより対応関係データが生成され、該対応関係データと、対象コンテンツに対する対象ユーザの視点の動きを示す対象データとに基づいて該対象ユーザの理解度が推定される。統計処理により得られる対応関係データを用いることで、コンテンツを視認するユーザの実際の傾向に即して対象ユーザの理解度が推定される。その推定に基づくアシスト情報を出力することで、対象コンテンツを視認する対象ユーザを適切にアシストできる。ユーザの視点の動きとユーザの理解度との対応関係が統計処理によって導かれるので、その対応関係について予め仮説を設定する必要が無くなる。加えて、統計処理によってその対応関係を精度良く求めることが可能になる(仮説を精度良く設定することは非常に困難である)。したがって、対象ユーザを実状に応じて適切にアシストできる。
【0092】
他の側面に係るアシストシステムでは、統計処理が、サンプルユーザの視点の動きとサンプルユーザの理解度とに基づいて複数のサンプルデータをクラスタリングする処理を含んでいてもよい。この場合には、ユーザの視点の動きとユーザの理解度との対応関係がクラスタリングによって適切に導出できる。
【0093】
他の側面に係るアシストシステムでは、統計処理が、複数のサンプルデータに対して回帰分析を行う処理を含んでいてもよい。この場合には、ユーザの視点の動きとユーザの理解度との対応関係が回帰分析によって適切に導出できる。
【0094】
他の側面に係るアシストシステムでは、少なくとも一つのプロセッサが、対象コンテンツが画面上に表示されたときから所定時間経過後にアシスト情報を出力してもよい。この場合には、アシスト情報を用いずに対象コンテンツについて思考する時間を対象ユーザに対して与えることが可能となり、例えば対象ユーザによる対象コンテンツを用いた学習の自由度を高めることができる。
【0095】
他の側面に係るアシストシステムでは、対応関係データが、対象コンテンツと異なるサンプルコンテンツを視認したサンプルユーザから得られたサンプルデータを含む複数の第1サンプルデータに対して統計処理を行うことにより得られる一般化された対応関係データと、対象コンテンツをサンプルコンテンツとして視認した複数のサンプルユーザから得られた複数の第2サンプルデータに対して統計処理を行うことにより得られるコンテンツ特有の対応関係データとを含んでもよい。少なくとも一つのプロセッサは、対象データおよび一般化された対応関係データに基づいて、対象コンテンツへの対象ユーザの第1理解度を推定し、推定された対象ユーザの第1理解度に対応するアシスト情報を出力し、対象データおよびコンテンツ特有の対応関係データに基づいて、対象コンテンツへの対象ユーザの第2理解度を推定し、推定された対象ユーザの第2理解度に対応するアシスト情報を出力してもよい。この場合には、一般化された対応関係データに基づくアシスト情報(対象コンテンツに限定されない一般的なアシスト情報)と、コンテンツ特有の対応関係データに基づくアシスト情報(対象コンテンツに特化したアシスト情報)という2種類のアシスト情報によってユーザを効果的にアシストできる。
【0096】
他の側面に係るアシストシステムでは、少なくとも一つのプロセッサが、対象ユーザの第1理解度に対応するアシスト情報を出力した後に、対象ユーザの第2理解度に対応するアシスト情報を出力してもよい。この場合には、一般化された対応関係データに基づくアシスト情報のみでは対象コンテンツへの理解が不十分である対象ユーザに対して、コンテンツ特有の対応関係データに基づくアシスト情報(すなわち、より具体的なアシスト情報)によってユーザを効果的にアシストできる。
【0097】
[変形例]
以上、本開示の実施形態に基づいて詳細に説明した。しかし、本開示は上記実施形態に限定されるものではない。本開示は、その要旨を逸脱しない範囲で様々な変形が可能である。
【0098】
上記実施形態では、アシストシステム1がサーバ10を用いて構成されるが、アシストシステム1は、サーバ10を用いずに構成されてもよい。この場合には、サーバ10の各機能要素はいずれかのユーザ端末20に実装されてもよく、例えば、コンテンツの配信者が使用する端末およびコンテンツの視聴者が使用する端末のいずれか一方に実装されてもよい。あるいは、サーバ10の個々の機能要素は複数のユーザ端末20に分かれて実装されてもよく、例えば配信者が使用する端末および視聴者が使用する端末に分かれて実装されてもよい。これに関連して、アシストプログラムはクライアントプログラムとして実現されてもよい。ユーザ端末20がサーバ10の機能を有することで、サーバ10の負荷を低減することができる。加えて、生徒などのコンテンツの視聴者に関する情報(例えば、視点の動きを示すデータ)がユーザ端末20の外部に送信されないので、視聴者の秘密をより確実に守ることが可能になる。
【0099】
上記実施形態ではアイトラッキングシステムがユーザ端末20のみから構成されるが、そのシステムはサーバ10を用いて構成されてもよい。この場合には、ユーザ端末20のいくつかの機能要素はサーバ10に実装されてもよい。例えば、算出部23に相当する機能要素がサーバ10に実装されてもよい。
【0100】
上記実施形態ではアシスト情報は対象コンテンツとは別に表示されるが、アシスト情報は対象コンテンツの一部を構成するような態様で表示されてもよい。例えば対象コンテンツが文章を含む場合、アシスト部14は該文章の一部(例えば文章の理解のために重要である部分)をアシスト情報として強調表示してもよい。すなわち、アシスト情報は対象コンテンツに付加される視覚効果でもよい。このとき、アシスト部14はアシスト情報の対象となる文章の一部の色またはフォントを他の部分異ならせることによってその強調表示を実行してもよい。
【0101】
上記実施形態ではアシストシステム1は対象ユーザの理解度に対応するアシスト情報を出力する。しかし、アシストシステム1はその理解度を用いることなくアシスト情報を出力してもよい。以下にこの変形例について説明する。
【0102】
サーバ10は、サンプルコンテンツを視認したサンプルユーザの視点の動きを示す視点データと、該サンプルユーザに提示されたアシスト情報とを示すサンプルデータをそれぞれのユーザ端末20Aから取得し、そのサンプルデータをデータベース30に格納する。一例では、サンプルユーザに提示されたアシスト情報(すなわち、サンプルユーザに対応するアシスト情報)は、人手による実験または調査、サンプルユーザへのアンケートなどによって特定され、ユーザ端末20Aに入力される。統計処理部12はデータベース30内のサンプルデータに対して統計処理を行い、ユーザの視点の動きとコンテンツのアシスト情報との対応関係を示す対応関係データを生成し、その対応関係データをデータベース30に格納する。上記実施形態と同様に、統計処理の手法および生成される対応関係データの表現形式は限定されない。したがって、統計処理部12はクラスタリング、回帰分析、機械学習などの様々な手法によって対応関係データを生成してよい。
【0103】
サーバ10は、ユーザ端末20Bから受信した対象データとその対応関係データとに基づいて、該対象データに対応するアシスト情報を出力する。一例では、推定部13がデータベース30を参照して対応関係データを取得し、対象データに対応するアシスト情報を特定する。対応関係データがクラスタリングにより生成されている場合には、推定部13は対象データが属するクラスタにより示されるアシスト情報を特定する。別の例として、対応関係データが回帰分析によって生成された場合には、推定部13は回帰式に対象データを適用してアシスト情報をする。さらに別の例として、対応関係データが学習済みモデルである場合には、推定部13はその学習済みモデルに対象データを入力することでアシスト情報を特定する。アシスト部14は特定されたアシスト情報をデータベース30から取得し、そのアシスト情報をユーザ端末20Bへと送信する。
【0104】
すなわち、本開示の一側面に係るアシストシステムは、少なくとも一つのプロセッサを備える。少なくとも一つのプロセッサは、対象コンテンツを表示する画面上での対象ユーザの視点の動きを示す対象データを取得し、サンプルコンテンツを視認した複数のサンプルユーザから得られた複数のサンプルデータであって、それぞれのサンプルデータが、該サンプルコンテンツを視認したサンプルユーザの視点の動きと、該サンプルユーザに対応するアシスト情報とを示す、該複数のサンプルデータに対して統計処理を行うことにより得られる、ユーザの視点の動きとコンテンツのアシスト情報との対応関係を示す対応関係データを記憶する記憶部を参照し、対象データおよび対応関係データに基づいて、該対象データに対応するアシスト情報を出力する。
【0105】
このような側面においては、サンプルユーザから得られたサンプルデータが統計処理されることにより対応関係データが生成され、該対応関係データと、対象コンテンツに対する対象ユーザの視点の動きを示す対象データとに基づいてアシスト情報が出力される。統計処理により得られる対応関係データを用いることで、コンテンツを視認するユーザの実際の傾向に即してアシスト情報を出力できる。したがって、対象コンテンツを視認する対象ユーザを適切にアシストできる。
【0106】
本開示において、「少なくとも一つのプロセッサが、第1の処理を実行し、第2の処理を実行し、…第nの処理を実行する。」との表現、またはこれに対応する表現は、第1の処理から第nの処理までのn個の処理の実行主体(すなわちプロセッサ)が途中で変わる場合を含む概念である。すなわち、この表現は、n個の処理のすべてが同じプロセッサで実行される場合と、n個の処理においてプロセッサが任意の方針で変わる場合との双方を含む概念である。
【0107】
少なくとも一つのプロセッサにより実行される方法の処理手順は上記実施形態での例に限定されない。例えば、上述したステップ(処理)の一部が省略されてもよいし、別の順序で各ステップが実行されてもよい。また、上述したステップのうちの任意の2以上のステップが組み合わされてもよいし、ステップの一部が修正又は削除されてもよい。あるいは、上記の各ステップに加えて他のステップが実行されてもよい。
【符号の説明】
【0108】
1…アシストシステム、10…サーバ、11…コンテンツ配信部、12…統計処理部、13…推定部、14…アシスト部、20,20A,20B…ユーザ端末、21…設定部、22…特定部、23…算出部、24…トラッキング部、25…表示制御部、30…データベース、100…サーバコンピュータ、101…プロセッサ、102…主記憶部、103…補助記憶部、104…通信部、200…端末コンピュータ、201…プロセッサ、202…主記憶部、203…補助記憶部、204…通信部、205…入力インタフェース、206…出力インタフェース、207…撮像部、A11,A12,A13,A21,A22,A23,A24,A25…誘導領域、C11,C21…第1コンテンツ、D11,D12,D13,D21,D22,D23…画面、N…通信ネットワーク、P1…サーバプログラム、P2…クライアントプログラム。

図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
【手続補正書】
【提出日】2021-03-19
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
少なくとも一つのプロセッサを備え、
前記少なくとも一つのプロセッサが、
対象コンテンツを表示する画面上での対象ユーザの視点の動きを示す対象データを取得し、
サンプルコンテンツを視認した複数のサンプルユーザから得られた複数のサンプルデータであって、それぞれのサンプルデータが、該サンプルコンテンツを視認した前記サンプルユーザの視点の動きと、該サンプルコンテンツに対する該サンプルユーザの理解度とのペアを示す、該複数のサンプルデータに対して統計処理を行うことにより得られる、ユーザの視点の動きとコンテンツへの該ユーザの理解度との対応関係を示す対応関係データと、コンテンツへのユーザの理解度に対応付けられたアシスト情報と、を記憶する記憶部を参照し、
前記対象データおよび前記対応関係データに基づいて、前記対象コンテンツへの前記対象ユーザの理解度を推定し、
推定された前記対象ユーザの理解度に対応する前記アシスト情報を、前記対象コンテンツが前記画面上に表示されたときから前記対象コンテンツに対するユーザ入力が行われることなく所定時間が経過した後に出力する、
アシストシステム。
【請求項2】
少なくとも一つのプロセッサを備え、
前記少なくとも一つのプロセッサが、
対象コンテンツを表示する画面上での対象ユーザの視点の動きを示す対象データを取得し、
サンプルコンテンツを視認した複数のサンプルユーザから得られた複数のサンプルデータであって、それぞれのサンプルデータが、該サンプルコンテンツを視認した前記サンプルユーザの視点の動きと、該サンプルコンテンツに対する該サンプルユーザの理解度とのペアを示す、該複数のサンプルデータに対して統計処理を行うことにより得られる、ユーザの視点の動きとコンテンツへの該ユーザの理解度との対応関係を示す対応関係データと、コンテンツへのユーザの理解度に対応付けられたアシスト情報と、を記憶する記憶部を参照し、
前記対象データおよび前記対応関係データに基づいて、前記対象コンテンツへの前記対象ユーザの理解度を推定し、
推定された前記対象ユーザの理解度に対応する前記アシスト情報を出力し、
前記対応関係データが、
前記対象コンテンツと異なるサンプルコンテンツを視認した前記サンプルユーザから得られた前記サンプルデータを含む複数の第1サンプルデータに対して前記統計処理を行うことにより得られる一般化された対応関係データと、
前記対象コンテンツをサンプルコンテンツとして視認した複数のサンプルユーザから得られた複数の第2サンプルデータに対して前記統計処理を行うことにより得られるコンテンツ特有の対応関係データとを含み、
前記少なくとも一つのプロセッサが、
前記対象データおよび前記一般化された対応関係データに基づいて、前記対象コンテンツへの前記対象ユーザの第1理解度を推定し、
推定された前記対象ユーザの第1理解度に対応するアシスト情報を出力し、
前記対象データおよび前記コンテンツ特有の対応関係データに基づいて、前記対象コンテンツへの前記対象ユーザの第2理解度を推定し、
推定された前記対象ユーザの第2理解度に対応するアシスト情報を出力する、
アシストシステム。
【請求項3】
前記少なくとも一つのプロセッサが、前記対象ユーザの前記第1理解度に対応するアシスト情報を出力した後に、前記対象ユーザの前記第2理解度に対応するアシスト情報を出力する、
請求項に記載のアシストシステム。
【請求項4】
前記統計処理が、前記サンプルユーザの視点の動きと前記サンプルユーザの理解度とに基づいて前記複数のサンプルデータをクラスタリングする処理を含む、
請求項1~3のいずれか一項に記載のアシストシステム。
【請求項5】
前記統計処理が、前記複数のサンプルデータに対して回帰分析を行う処理を含む、
請求項1~3のいずれか一項に記載のアシストシステム。
【請求項6】
少なくとも一つのプロセッサを備えるアシストシステムによって実行されるアシスト方法であって、
対象コンテンツを表示する画面上での対象ユーザの視点の動きを示す対象データを取得するステップと、
サンプルコンテンツを視認した複数のサンプルユーザから得られた複数のサンプルデータであって、それぞれのサンプルデータが、該サンプルコンテンツを視認した前記サンプルユーザの視点の動きと、該サンプルコンテンツに対する該サンプルユーザの理解度とのペアを示す、該複数のサンプルデータに対して統計処理を行うことにより得られる、ユーザの視点の動きとコンテンツへの該ユーザの理解度との対応関係を示す対応関係データと、コンテンツへのユーザの理解度に対応付けられたアシスト情報と、を記憶する記憶部を参照するステップと、
前記対象データおよび前記対応関係データに基づいて、前記対象コンテンツへの前記対象ユーザの理解度を推定するステップと、
推定された前記対象ユーザの理解度に対応する前記アシスト情報を、前記対象コンテンツが前記画面上に表示されたときから前記対象コンテンツに対するユーザ入力が行われることなく所定時間が経過した後に出力するステップと
を含むアシスト方法。
【請求項7】
少なくとも一つのプロセッサを備えるアシストシステムによって実行されるアシスト方法であって、
対象コンテンツを表示する画面上での対象ユーザの視点の動きを示す対象データを取得するステップと、
サンプルコンテンツを視認した複数のサンプルユーザから得られた複数のサンプルデータであって、それぞれのサンプルデータが、該サンプルコンテンツを視認した前記サンプルユーザの視点の動きと、該サンプルコンテンツに対する該サンプルユーザの理解度とのペアを示す、該複数のサンプルデータに対して統計処理を行うことにより得られる、ユーザの視点の動きとコンテンツへの該ユーザの理解度との対応関係を示す対応関係データと、コンテンツへのユーザの理解度に対応付けられたアシスト情報と、を記憶する記憶部を参照するステップと、
前記対象データおよび前記対応関係データに基づいて、前記対象コンテンツへの前記対象ユーザの理解度を推定するステップと、
推定された前記対象ユーザの理解度に対応する前記アシスト情報を出力するステップと
を含み、
前記対応関係データが、
前記対象コンテンツと異なるサンプルコンテンツを視認した前記サンプルユーザから得られた前記サンプルデータを含む複数の第1サンプルデータに対して前記統計処理を行うことにより得られる一般化された対応関係データと、
前記対象コンテンツをサンプルコンテンツとして視認した複数のサンプルユーザから得られた複数の第2サンプルデータに対して前記統計処理を行うことにより得られるコンテンツ特有の対応関係データとを含み、
前記アシスト方法が、
前記対象データおよび前記一般化された対応関係データに基づいて、前記対象コンテンツへの前記対象ユーザの第1理解度を推定するステップと、
推定された前記対象ユーザの第1理解度に対応するアシスト情報を出力するステップと、
前記対象データおよび前記コンテンツ特有の対応関係データに基づいて、前記対象コンテンツへの前記対象ユーザの第2理解度を推定するステップと、
推定された前記対象ユーザの第2理解度に対応するアシスト情報を出力するステップと、を含む
アシスト方法
【請求項8】
対象コンテンツを表示する画面上での対象ユーザの視点の動きを示す対象データを取得するステップと、
サンプルコンテンツを視認した複数のサンプルユーザから得られた複数のサンプルデータであって、それぞれのサンプルデータが、該サンプルコンテンツを視認した前記サンプルユーザの視点の動きと、該サンプルコンテンツに対する該サンプルユーザの理解度とのペアを示す、該複数のサンプルデータに対して統計処理を行うことにより得られる、ユーザの視点の動きとコンテンツへの該ユーザの理解度との対応関係を示す対応関係データと、コンテンツへのユーザの理解度に対応付けられたアシスト情報と、を記憶する記憶部を参照するステップと、
前記対象データおよび前記対応関係データに基づいて、前記対象コンテンツへの前記対象ユーザの理解度を推定するステップと、
推定された前記対象ユーザの理解度に対応する前記アシスト情報を、前記対象コンテンツが前記画面上に表示されたときから前記対象コンテンツに対するユーザ入力が行われることなく所定時間が経過した後に出力するステップと
をコンピュータに実行させるアシストプログラム。
【請求項9】
対象コンテンツを表示する画面上での対象ユーザの視点の動きを示す対象データを取得するステップと、
サンプルコンテンツを視認した複数のサンプルユーザから得られた複数のサンプルデータであって、それぞれのサンプルデータが、該サンプルコンテンツを視認した前記サンプルユーザの視点の動きと、該サンプルコンテンツに対する該サンプルユーザの理解度とのペアを示す、該複数のサンプルデータに対して統計処理を行うことにより得られる、ユーザの視点の動きとコンテンツへの該ユーザの理解度との対応関係を示す対応関係データと、コンテンツへのユーザの理解度に対応付けられたアシスト情報と、を記憶する記憶部を参照するステップと、
前記対象データおよび前記対応関係データに基づいて、前記対象コンテンツへの前記対象ユーザの理解度を推定するステップと、
推定された前記対象ユーザの理解度に対応する前記アシスト情報を出力するステップと
を含むアシスト方法をコンピュータに実行させ、
前記対応関係データが、
前記対象コンテンツと異なるサンプルコンテンツを視認した前記サンプルユーザから得られた前記サンプルデータを含む複数の第1サンプルデータに対して前記統計処理を行うことにより得られる一般化された対応関係データと、
前記対象コンテンツをサンプルコンテンツとして視認した複数のサンプルユーザから得られた複数の第2サンプルデータに対して前記統計処理を行うことにより得られるコンテンツ特有の対応関係データとを含み、
前記アシスト方法が、
前記対象データおよび前記一般化された対応関係データに基づいて、前記対象コンテンツへの前記対象ユーザの第1理解度を推定するステップと、
推定された前記対象ユーザの第1理解度に対応するアシスト情報を出力するステップと、
前記対象データおよび前記コンテンツ特有の対応関係データに基づいて、前記対象コンテンツへの前記対象ユーザの第2理解度を推定するステップと、
推定された前記対象ユーザの第2理解度に対応するアシスト情報を出力するステップと、を含む、
アシストプログラム
【請求項10】
少なくとも一つのプロセッサを備え、
前記少なくとも一つのプロセッサが、
対象コンテンツを表示する画面上での対象ユーザの視点の動きを示す対象データを取得し、
サンプルコンテンツを視認した複数のサンプルユーザから得られた複数のサンプルデータであって、それぞれのサンプルデータが、該サンプルコンテンツを視認した前記サンプルユーザの視点の動きと、該サンプルユーザに対応するアシスト情報とを示す、該複数のサンプルデータに対して統計処理を行うことにより得られる、ユーザの視点の動きとコンテンツのアシスト情報との対応関係を示す対応関係データを記憶する記憶部を参照し、
前記対象コンテンツへの前記対象ユーザの理解度を用いることなく、前記対象データおよび前記対応関係データに基づいて、該対象データに対応する前記アシスト情報を出力する、
アシストシステム。
【手続補正書】
【提出日】2021-08-06
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
少なくとも一つのプロセッサを備え、
前記少なくとも一つのプロセッサが、
対象コンテンツを表示する画面上での対象ユーザの視点の動きを示す対象データを取得し、
サンプルコンテンツを視認した複数のサンプルユーザから得られた複数のサンプルデータであって、それぞれのサンプルデータが、該サンプルコンテンツを視認した前記サンプルユーザの視点の動きと、該サンプルコンテンツに対する該サンプルユーザの理解度とのペアを示す、該複数のサンプルデータに対して統計処理を行うことにより得られる、ユーザの視点の動きとコンテンツへの該ユーザの理解度との対応関係を示す対応関係データと、コンテンツへのユーザの理解度に対応付けられたアシスト情報と、を記憶する記憶部を参照し、
前記対象データおよび前記対応関係データに基づいて、前記対象コンテンツへの前記対象ユーザの理解度を推定し、
推定された前記対象ユーザの理解度に対応する前記アシスト情報を出力し、
前記対応関係データが、
前記対象コンテンツと異なるサンプルコンテンツを視認した前記サンプルユーザから得られた前記サンプルデータを含む複数の第1サンプルデータに対して前記統計処理を行うことにより得られる一般化された対応関係データと、
前記対象コンテンツをサンプルコンテンツとして視認した複数のサンプルユーザから得られた複数の第2サンプルデータに対して前記統計処理を行うことにより得られるコンテンツ特有の対応関係データとを含み、
前記少なくとも一つのプロセッサが、
前記対象データおよび前記一般化された対応関係データに基づいて、前記対象コンテンツへの前記対象ユーザの第1理解度を推定し、
推定された前記対象ユーザの第1理解度に対応するアシスト情報を出力し、
前記対象データおよび前記コンテンツ特有の対応関係データに基づいて、前記対象コンテンツへの前記対象ユーザの第2理解度を推定し、
推定された前記対象ユーザの第2理解度に対応するアシスト情報を出力する、
アシストシステム。
【請求項2】
前記少なくとも一つのプロセッサが、前記対象ユーザの前記第1理解度に対応するアシスト情報を出力した後に、前記対象ユーザの前記第2理解度に対応するアシスト情報を出力する、
請求項に記載のアシストシステム。
【請求項3】
前記統計処理が、前記サンプルユーザの視点の動きと前記サンプルユーザの理解度とに基づいて前記複数のサンプルデータをクラスタリングする処理を含む、
請求項1または2に記載のアシストシステム。
【請求項4】
前記統計処理が、前記複数のサンプルデータに対して回帰分析を行う処理を含む、
請求項1または2に記載のアシストシステム。
【請求項5】
少なくとも一つのプロセッサを備えるアシストシステムによって実行されるアシスト方法であって、
対象コンテンツを表示する画面上での対象ユーザの視点の動きを示す対象データを取得するステップと、
サンプルコンテンツを視認した複数のサンプルユーザから得られた複数のサンプルデータであって、それぞれのサンプルデータが、該サンプルコンテンツを視認した前記サンプルユーザの視点の動きと、該サンプルコンテンツに対する該サンプルユーザの理解度とのペアを示す、該複数のサンプルデータに対して統計処理を行うことにより得られる、ユーザの視点の動きとコンテンツへの該ユーザの理解度との対応関係を示す対応関係データと、コンテンツへのユーザの理解度に対応付けられたアシスト情報と、を記憶する記憶部を参照するステップと、
前記対象データおよび前記対応関係データに基づいて、前記対象コンテンツへの前記対象ユーザの理解度を推定するステップと、
推定された前記対象ユーザの理解度に対応する前記アシスト情報を出力するステップと
を含み、
前記対応関係データが、
前記対象コンテンツと異なるサンプルコンテンツを視認した前記サンプルユーザから得られた前記サンプルデータを含む複数の第1サンプルデータに対して前記統計処理を行うことにより得られる一般化された対応関係データと、
前記対象コンテンツをサンプルコンテンツとして視認した複数のサンプルユーザから得られた複数の第2サンプルデータに対して前記統計処理を行うことにより得られるコンテンツ特有の対応関係データとを含み、
前記アシスト方法が、
前記対象データおよび前記一般化された対応関係データに基づいて、前記対象コンテンツへの前記対象ユーザの第1理解度を推定するステップと、
推定された前記対象ユーザの第1理解度に対応するアシスト情報を出力するステップと、
前記対象データおよび前記コンテンツ特有の対応関係データに基づいて、前記対象コンテンツへの前記対象ユーザの第2理解度を推定するステップと、
推定された前記対象ユーザの第2理解度に対応するアシスト情報を出力するステップと、を含む
アシスト方法。
【請求項6】
対象コンテンツを表示する画面上での対象ユーザの視点の動きを示す対象データを取得するステップと、
サンプルコンテンツを視認した複数のサンプルユーザから得られた複数のサンプルデータであって、それぞれのサンプルデータが、該サンプルコンテンツを視認した前記サンプルユーザの視点の動きと、該サンプルコンテンツに対する該サンプルユーザの理解度とのペアを示す、該複数のサンプルデータに対して統計処理を行うことにより得られる、ユーザの視点の動きとコンテンツへの該ユーザの理解度との対応関係を示す対応関係データと、コンテンツへのユーザの理解度に対応付けられたアシスト情報と、を記憶する記憶部を参照するステップと、
前記対象データおよび前記対応関係データに基づいて、前記対象コンテンツへの前記対象ユーザの理解度を推定するステップと、
推定された前記対象ユーザの理解度に対応する前記アシスト情報を出力するステップと
を含むアシスト方法をコンピュータに実行させ、
前記対応関係データが、
前記対象コンテンツと異なるサンプルコンテンツを視認した前記サンプルユーザから得られた前記サンプルデータを含む複数の第1サンプルデータに対して前記統計処理を行うことにより得られる一般化された対応関係データと、
前記対象コンテンツをサンプルコンテンツとして視認した複数のサンプルユーザから得られた複数の第2サンプルデータに対して前記統計処理を行うことにより得られるコンテンツ特有の対応関係データとを含み、
前記アシスト方法が、
前記対象データおよび前記一般化された対応関係データに基づいて、前記対象コンテンツへの前記対象ユーザの第1理解度を推定するステップと、
推定された前記対象ユーザの第1理解度に対応するアシスト情報を出力するステップと、
前記対象データおよび前記コンテンツ特有の対応関係データに基づいて、前記対象コンテンツへの前記対象ユーザの第2理解度を推定するステップと、
推定された前記対象ユーザの第2理解度に対応するアシスト情報を出力するステップと、を含む、
アシストプログラム。