IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 株式会社 資生堂の特許一覧

<>
  • 特許-情報処理装置及びプログラム 図1
  • 特許-情報処理装置及びプログラム 図2
  • 特許-情報処理装置及びプログラム 図3
  • 特許-情報処理装置及びプログラム 図4
  • 特許-情報処理装置及びプログラム 図5
  • 特許-情報処理装置及びプログラム 図6
  • 特許-情報処理装置及びプログラム 図7
  • 特許-情報処理装置及びプログラム 図8
  • 特許-情報処理装置及びプログラム 図9
  • 特許-情報処理装置及びプログラム 図10
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-03-31
(45)【発行日】2023-04-10
(54)【発明の名称】情報処理装置及びプログラム
(51)【国際特許分類】
   G06Q 50/10 20120101AFI20230403BHJP
【FI】
G06Q50/10
【請求項の数】 5
(21)【出願番号】P 2020509588
(86)(22)【出願日】2018-10-19
(86)【国際出願番号】 JP2018038966
(87)【国際公開番号】W WO2019187274
(87)【国際公開日】2019-10-03
【審査請求日】2021-08-30
(31)【優先権主張番号】P 2018067054
(32)【優先日】2018-03-30
(33)【優先権主張国・地域又は機関】JP
(73)【特許権者】
【識別番号】000001959
【氏名又は名称】株式会社 資生堂
(74)【代理人】
【識別番号】230116816
【弁護士】
【氏名又は名称】成川 弘樹
(74)【代理人】
【識別番号】100146123
【弁理士】
【氏名又は名称】木本 大介
(74)【代理人】
【識別番号】100174850
【弁理士】
【氏名又は名称】大崎 絵美
(72)【発明者】
【氏名】藤原 重良
【審査官】小原 正信
(56)【参考文献】
【文献】特開2013-037506(JP,A)
【文献】国際公開第2007/135796(WO,A1)
【文献】特開2002-312536(JP,A)
【文献】特開2004-192244(JP,A)
【文献】国際公開第2016/088463(WO,A1)
【文献】大須他,脳波(EEG)およびアイトラッキングによる生体反応の測定,経営の科学 オペレーションズ・リサーチ,日本,公益社団法人日本オペレーションズ・リサーチ学会,2016年07月01日,第61巻 第7号,p.446 右欄13-25行
【文献】甲田他,視線情報と脳波を用いた興味度推定法の検討,電子情報通信学会2011年通信ソサイエティ大会講演論文集2,日本,社団法人電子情報通信学会,2011年08月30日,p.414 右欄8-19行
(58)【調査した分野】(Int.Cl.,DB名)
G06Q 10/00-99/00
(57)【特許請求の範囲】
【請求項1】
ユーザに対して、n(nは2以上の整数)個の質問を提示する手段を備え、
前記質問を提示してから前記質問に対する回答を取得するまでの思考期間における前記ユーザの視線の動きに関するアイトラッキング情報と、前記思考期間における前記ユーザの脳波に関する脳波情報と、を取得する手段を備え、
前記取得する手段は、更に、前記思考期間における前記ユーザの体の一部の動きに関するモーション情報、及び、前記思考期間における前記ユーザの表情に関する表情情報少なくとも1つを取得し、
n-1番目の質問の思考期間に取得された情報の組合せに基づいて、n番目の質問を作成する手段を備える、
情報処理装置。
【請求項2】
ユーザに対して、n(nは2以上の整数)個の質問を提示する手段を備え、
前記質問を提示してから前記質問に対する回答を取得するまでの思考期間における前記ユーザの視線の動きに関するアイトラッキング情報と、前記思考期間における前記ユーザの脳波に関する脳波情報と、前記思考期間におけるユーザの環境に関する環境情報と、を取得する手段を備え、
n-1番目の質問の思考期間に取得された情報の組合せに基づいて、n番目の質問を作成する手段を備える、
情報処理装置。
【請求項3】
前記作成する手段は、前記視線の動き及び前記脳波の組合せに応じた質問のカスタマイズパターンが記述された参照ファイルを参照して、前記質問を作成する、請求項1~請求項2の何れかに記載の情報処理装置。
【請求項4】
前記作成する手段は、n-1番目の質問の思考期間における視線の動き、及び、n番目の質問に対する回答の正しさとの対応関係が記述された教師データと、前記n-1番目の質問の思考期間に取得された情報と、に基づいて、前記n番目の質問を作成する、請求項1~請求項3の何れかに記載の情報処理装置。
【請求項5】
コンピュータを、請求項1~請求項4の何れかに記載の各手段として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、情報処理装置及びプログラムに関する。
【背景技術】
【0002】
一般に、商品に関する市場調査では、消費者に対するアンケートを用いて商品に対する評価を集計している。多数の消費者からの回答を得ることにより、商品に対する評価の精度の向上が期待できる。
【0003】
特開2003-308415号公報は、ユーザ端末及びサーバを備えるシステムを用いて、多くのアンケート結果を容易に取得する技術を開示している。
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかし、特開2003-308415号公報のアンケートでは、全ての回答者に一様の質問が提示される。各回答者は、質問の意味を各人の主観で解釈し、且つ、その解釈に応じて任意に回答している。回答者が理解する質問の意味は、回答者の主観に依存する。つまり、回答者によって、質問の意味の解釈が異なる。そのため、複数の回答者から得られたアンケート結果には、回答者の主観に応じたノイズ(例えば、回答者の真意が反映されない回答)が混入する。
【0005】
本発明の目的は、回答者の主観に応じたノイズの回答への混入を抑制することである。
【課題を解決するための手段】
【0006】
本発明の一態様は、
ユーザに対して、n(nは2以上の整数)個の質問を提示する手段を備え、
質問を提示してから質問に対する回答を取得するまでの思考期間におけるユーザの視線の動きに関するアイトラッキング情報と、思考期間におけるユーザの脳波に関する脳波情報と、を取得する手段を備え、
n-1番目の質問の思考期間に取得された情報の組合せに基づいて、n番目の質問を作成する手段を備える、
情報処理装置である。
【発明の効果】
【0007】
本発明によれば、回答者の主観に応じたノイズの回答への混入を抑制するができる。
【図面の簡単な説明】
【0008】
図1】本実施形態の情報処理システムの構成を示す概略図である。
図2】本実施形態の情報処理システムの構成を示すブロック図である。
図3】本実施形態の概要の説明図である。
図4】本実施形態のユーザ情報データベースのデータ構造を示す図である。
図5】本実施形態の質問情報マスタのデータ構造を示す図である。
図6】本実施形態の回答情報データベースのデータ構造を示す図である。
図7】本実施形態の情報処理のシーケンス図である。
図8図7のQ&Aの詳細なフローチャートである。
図9図7の情報処理において表示される画面例を示す図である。
図10図7の情報処理において表示される画面例を示す図である。
【発明を実施するための形態】
【0009】
以下、本発明の一実施形態について、図面に基づいて詳細に説明する。なお、実施形態を説明するための図面において、同一の構成要素には原則として同一の符号を付し、その繰り返しの説明は省略する。
【0010】
(1)情報処理システムの構成
情報処理システムの構成について説明する。図1は、本実施形態の情報処理システムの構成の概略図である。図2は、本実施形態の情報処理システムの構成を示すブロック図である。
【0011】
図1に示すように、情報処理システム1は、クライアント装置10と、サーバ30とを備える。
クライアント装置10及びサーバ30は、ネットワーク(例えば、インターネット又はイントラネット)NWを介して接続される。
アイトラッカ20及び脳波計測装置21は、クライアント装置10に接続される。
【0012】
クライアント装置10は、サーバ30にリクエストを送信する情報処理装置の一例である。クライアント装置10は、例えば、スマートフォン、タブレット端末、又は、パーソナルコンピュータである。
【0013】
アイトラッカ20は、ユーザUの視線の動きを検出し、且つ、視線の動きに関するアイトラッキング信号を生成するように構成される。具体的には、アイトラッカ20は、所定時間毎に、ユーザUの視線の位置を示す二次元座標を計測する。
【0014】
ユーザUの頭部にはプローブ21aが装着される。脳波計測装置21は、プローブ21aを介して、ユーザUの脳の電圧を検出し、且つ、当該電圧を示す脳波信号を生成する。
【0015】
サーバ30は、クライアント装置10から送信されたリクエストに応じたレスポンスをクライアント装置10に提供する情報処理装置の一例である。サーバ30は、例えば、ウェブサーバである。
【0016】
(1-1)クライアント装置の構成
図1を参照して、クライアント装置10の構成について説明する。
【0017】
図1に示すように、クライアント装置10は、記憶装置11と、プロセッサ12と、入出力インタフェース13と、通信インタフェース14とを備える。
【0018】
記憶装置11は、プログラム及びデータを記憶するように構成される。記憶装置11は、例えば、ROM(Read Only Memory)、RAM(Random Access Memory)、及び、ストレージ(例えば、フラッシュメモリ又はハードディスク)の組合せである。
【0019】
プログラムは、例えば、以下のプログラムを含む。
・OS(Operating System)のプログラム
・情報処理を実行するアプリケーション(例えば、ウェブブラウザ)のプログラム
【0020】
データは、例えば、以下のデータを含む。
・情報処理において参照されるデータベース
・情報処理を実行することによって得られるデータ(つまり、情報処理の実行結果)
【0021】
プロセッサ12は、記憶装置11に記憶されたプログラムを起動することによって、クライアント装置10の機能を実現するように構成される。プロセッサ12は、コンピュータの一例である。
【0022】
入出力インタフェース13は、クライアント装置10に接続される入力デバイスからユーザの指示を取得し、かつ、クライアント装置10に接続される出力デバイスに情報を出力するように構成される。
入力デバイスは、例えば、キーボード、ポインティングデバイス、タッチパネル、又は、それらの組合せである。
出力デバイスは、例えば、ディスプレイ15である。
アイトラッカ20及び脳波計測装置21は、入出力インタフェース13を介して、クライアント装置10に接続される。
【0023】
通信インタフェース14は、クライアント装置10と外部装置(アイトラッカ20、脳波計測装置21、及び、サーバ30)との間の通信を制御するように構成される。
【0024】
ディスプレイ15は、プロセッサ12によって生成された画像を表示するように構成される。
ディスプレイ15は、例えば、液晶ディスプレイ又は有機EL(Electro Luminescence)ディスプレイである。
【0025】
(1-2)サーバの構成
図1を参照して、サーバ30の構成について説明する。
【0026】
図1に示すように、サーバ30は、記憶装置31と、プロセッサ32と、入出力インタフェース33と、通信インタフェース34とを備える。
【0027】
記憶装置31は、プログラム及びデータを記憶するように構成される。記憶装置31は、例えば、ROM、RAM、及び、ストレージ(例えば、フラッシュメモリ又はハードディスク)の組合せである。
【0028】
プログラムは、例えば、以下のプログラムを含む。
・OSのプログラム
・情報処理を実行するアプリケーションのプログラム
【0029】
データは、例えば、以下のデータを含む。
・情報処理において参照されるデータベース
・情報処理の実行結果
【0030】
プロセッサ32は、記憶装置31に記憶されたプログラムを起動することによって、サーバ30の機能を実現するように構成される。プロセッサ32は、コンピュータの一例である。
【0031】
入出力インタフェース33は、サーバ30に接続される入力デバイスからユーザの指示を取得し、かつ、サーバ30に接続される出力デバイスに情報を出力するように構成される。
入力デバイスは、例えば、キーボード、ポインティングデバイス、タッチパネル、又は、それらの組合せである。
出力デバイスは、例えば、ディスプレイである。
【0032】
通信インタフェース34は、サーバ30とクライアント装置10との間の通信を制御するように構成される。
【0033】
(2)実施形態の概要
本実施形態の概要について説明する。図3は、本実施形態の概要の説明図である。
【0034】
図3に示すように、ユーザUに対してn(nは、2以上の整数)番目の質問Q(n-1)が提示されてからユーザUが回答するまでの期間(以下「思考期間」という)に、ユーザUから計測情報(視線の動きE(n-1)及び脳波B(n-1))が取得される。
質問Q(n)は、質問Q(n-1)において取得された視線の動きE(n-1)及び脳波B(n-1)の関数f(E(n-1),B(n-1))として定義される。つまり、質問Q(n)は、質問Q(n-1)の思考期間の視線の動きE(n-1)及び脳波B(n-1)によって決まる。
換言すると、式1のように、n番目の質問Q(n)の態様は、n-1番目の質問Q(n-1)の思考期間の視線の動きE(n-1)及び脳波B(n-1)の関数で表される。
【数1】
【0035】
このように、本実施形態では、n-1番目の質問Q(n-1)の思考期間のユーザUの視線の動きE(n-1)及び脳波B(n-1)に応じて、n番目の質問Q(n)が、質問Q(n)a又は質問Q(n)bに変化する。質問Q(n)a及び質問Q(n)bは、何れも、同一の意味の質問であるが、質問の態様(例えば、質問の文章)が異なる。
【0036】
本実施形態によれば、質問の思考期間における回答者の無意識下の反応である視線の動きE(n-1)及び脳波B(n-1)に応じて質問の態様が変化する。これにより、回答へのノイズの混入を抑制することができる。その結果、回答者から得られた回答に回答者の真意が反映され易くなる。
【0037】
(3)データベース
本実施形態のデータベースについて説明する。以下のデータベースは、記憶装置31に記憶される。
【0038】
(3-1)ユーザ情報データベース
本実施形態のユーザ情報データベースについて説明する。図4は、本実施形態のユーザ情報データベースのデータ構造を示す図である。
【0039】
図4のユーザ情報データベースには、ユーザに関するユーザ情報が格納される。
ユーザ情報データベースは、「ユーザID」フィールドと、「ユーザ名」フィールドと、「ユーザ属性」フィールドと、を含む。各フィールドは、互いに関連付けられている。
【0040】
「ユーザID」フィールドには、ユーザを識別するユーザIDが格納される。
【0041】
「ユーザ名」フィールドには、ユーザ名に関する情報(例えば、テキスト)が格納される。
【0042】
「ユーザ属性」フィールドには、ユーザの属性に関するユーザ属性情報(「思考期間外情報」の一例)が格納される。「ユーザ属性」フィールドは、「年齢」フィールドと、「性別」フィールドと、を含む。
【0043】
「年齢」フィールドには、ユーザの年齢に関する情報が格納される。
【0044】
「性別」フィールドには、ユーザの性別に関する情報が格納される。
【0045】
(3-2)質問情報マスタ
本実施形態の質問情報マスタについて説明する。図5は、本実施形態の質問情報マスタのデータ構造を示す図である。
【0046】
図5の質問情報マスタには、ユーザUに対して提示すべき質問に関する質問情報が格納される。
質問情報マスタは、「質問ID」フィールドと、「質問」フィールドと、「回答」フィールドと、「カスタマイズパターン」フィールドと、を含む。
各フィールドは、互いに関連付けられている。
【0047】
「質問ID」フィールドには、質問を識別する質問IDが格納される。
【0048】
「質問」フィールドには、ユーザUに提示すべき質問に関する情報(例えば、テキスト、画像、音声、匂い、及び、振動の少なくとも1つ)が格納される。
【0049】
「回答」フィールドには、ユーザUに提示すべき回答の選択肢に関する情報が格納される。
「回答」フィールドは、複数の「選択肢」フィールド(例えば、「選択肢A」フィールド及び「選択肢B」フィールド)を含む。
各「選択肢」フィールドには、選択肢に関する情報が格納される。
【0050】
「カスタマイズパターン」フィールドには、カスタマイズパターンファイル(「参照ファイル」の一例)が格納される。カスタマイズパターンファイルには、視線の動き及び脳波の組合せ毎に、「質問」フィールド及び「回答」フィールドの少なくとも1つの情報の態様を、当該組合せによって決まる別の態様に変更するためのカスタマイズパターンが記述されている。
「質問」フィールドの情報の態様とは、例えば、質問の文脈、質問の文章、及び、質問を提示するときの書式(一例として、フォントタイプ、フォントサイズ、フォントカラー、背景色、背景画像、又は、それらの組合せ)の少なくとも1つである。
「回答」フィールドの情報の態様とは、例えば、回答の選択肢の文脈、回答の選択肢の文章、及び、回答の選択肢を提示するときの書式(一例として、フォントタイプ、フォントサイズ、フォントカラー、背景色、背景画像、又は、それらの組合せ)の少なくとも1つである。
【0051】
(3-3)回答情報データベース
本実施形態の回答情報データベースについて説明する。図6は、本実施形態の回答情報データベースのデータ構造を示す図である。
【0052】
図6の回答情報データベースには、提示された質問に対するユーザの回答及び反応に関する情報が格納される。
回答情報データベースは、「質問ID」フィールドと、「回答」フィールドと、「計測」フィールドと、を含む。
回答情報データベースは、ユーザIDに関連付けられている。
各フィールドは、互いに関連付けられている。
【0053】
「質問ID」フィールドには、質問の質問IDが格納される。
【0054】
「回答」フィールドには、ユーザUが選択した回答の選択肢の選択肢コードが格納される。
【0055】
「計測」フィールドには、アイトラッカ20及び脳波計測装置22によって計測された計測情報が格納される。
「計測」フィールドは、「計測時間」フィールドと、「計測視線座標」フィールドと、「計測脳波」フィールドと、を含む。「計測時間」フィールド、「計測視線座標」フィールド、及び、「計測脳波」フィールドは、互いに関連付けられている。
【0056】
「計測時間」フィールドには、計測時間に関する計測時間情報が格納される。
【0057】
「計測視線座標」フィールドには、ディスプレイ15上のユーザの視線の位置を示す視線座標が格納される。
「計測時間」フィールド及び「計測視線座標」フィールドの情報の組合せにより、ユーザUの視線の時間変化(つまり、思考期間の視線の動き)が特定される。
【0058】
「計測脳波」フィールドには、脳波計測装置21によって生成された脳波信号(例えば、電圧値)が格納される。
「計測時間」フィールド及び「計測脳波」フィールドの情報の組合せにより、ユーザUの脳波の時間変化(つまり、思考期間の脳波)が特定される。
【0059】
(4)情報処理
本実施形態の情報処理について説明する。図7は、本実施形態の情報処理のシーケンス図である。図8は、図7のQ&Aの詳細なフローチャートである。図9図10は、図7の情報処理において表示される画面例を示す図である。
図8Aは、1回目のQ&A(S101)の処理を示している。図8Aの処理では、1番目の質問Q(1)に関するQ&Aが実行される。
図8Bは、n(n=2~N(Nは、質問の上限数)の整数)回目のQ&A(S102)の処理を示している。図8Bの処理では、n番目の質問Q(n)に関するQ&Aが実行される。
【0060】
図7に示すように、クライアント装置10は、ユーザ情報の受付(S100)を実行する。
具体的には、プロセッサ12は、画面P100(図9)を表示する。
【0061】
画面P100は、操作オブジェクトB100と、フィールドオブジェクトF100と、を含む。
フィールドオブジェクトF100は、ユーザ情報(例えば、ユーザ名、年齢、及び、性別)の入力を受け付けるためのオブジェクトである。
操作オブジェクトB100は、フィールドオブジェクトF100の入力を確定させるためのユーザ指示を受け付けるオブジェクトである。
【0062】
ユーザがフィールドオブジェクトF100にユーザ情報を入力し、且つ、操作オブジェクトB100を操作すると、プロセッサ12は、ユーザ情報登録リクエストをサーバ30に送信する。
ユーザ情報登録リクエストは、フィールドオブジェクトF100に入力された情報を含む。
【0063】
ステップS100の後、サーバ30は、ユーザ情報の登録(S300)を実行する。
具体的には、プロセッサ32は、ユーザ情報データベース(図4)に新規レコードを追加する。
新規レコードの各フィールドには、以下の情報が格納される。
・「ユーザID」フィールドには、新規のユーザIDが格納される。
・「ユーザ名」フィールドには、ユーザ情報登録リクエストに含まれるユーザ名に関する情報が格納される。
・「性別」フィールドには、ユーザ情報登録リクエストに含まれる性別に関する情報が格納される。
・「年齢」フィールドには、ユーザ情報登録リクエストに含まれる年齢に関する情報が格納される。
【0064】
ユーザ情報データベース(図4)の更新が終了すると、プロセッサ32は、ユーザ情報更新レスポンスデータをクライアント装置10に送信する。ユーザ情報更新レスポンスデータは、質問情報マスタの質問ID「QUE1」に関連付けられた「質問」フィールド及び「回答」フィールドの情報を含む。
【0065】
ステップS300の後、クライアント装置10は、ユーザ情報更新レスポンスデータに基づいて、1回目のQ&A(S101)を実行する。
【0066】
図8Aに示すように、クライアント装置10は、1番目の質問の提示(S1010)を実行する。
具体的には、プロセッサ12は、ユーザ情報更新レスポンスデータに基づく画面P101(図9)をディスプレイ15に表示し、且つ、計測時間のタイマを起動する。
【0067】
画面P101は、表示オブジェクトA101と、操作オブジェクトB101a~B100bと、を含む。
表示オブジェクトA101には、1番目の質問Q(1)(例えば、「肌が敏感か?」という文章)が表示される。表示オブジェクトA101に表示される情報は、ユーザ情報更新レスポンスデータに含まれる「質問」フィールドの情報に対応する。
操作オブジェクトB101a~B101bは、表示オブジェクトA101に表示された質問Q(1)に対するユーザの回答を受け付けるためのオブジェクトである。操作オブジェクトB101a~B101bには、それぞれ、ユーザ情報更新レスポンスデータに含まれる各「選択肢」フィールドの選択肢コードが割り当てられている。
【0068】
ステップS1010の後、クライアント装置10は、計測情報の取得(S1011)を実行する。
【0069】
具体的には、プロセッサ12は、アイトラッカ20から、アイトラッキング信号を取得する。アイトラッキング信号は、アイトラッカ20に対する視線の相対位置を示す信号である。
プロセッサ12は、アイトラッキング信号が示す相対位置をディスプレイ15上の位置に変換することにより、ディスプレイ15上のユーザの視線の位置を示す計測座標を生成する。
プロセッサ12は、ステップS1010で起動したタイマによって得られた計測時間と、計測座標と、を関連付けて記憶装置11に記憶する。
【0070】
プロセッサ12は、脳波計測装置21から脳波信号を取得する。
プロセッサ12は、脳波信号に基づいて、計測時間と、脳波信号と、を関連付けて記憶装置11に記憶する。
【0071】
ステップS1011の後、クライアント装置10は、回答の受付(S1012)を実行する。
具体的には、ユーザが操作オブジェクトB101a又はB101bを操作すると、プロセッサ12は、ステップS1010で起動したタイマを停止する。
プロセッサ12は、操作された操作オブジェクト(例えば、操作オブジェクトB101a)に割り当てられた選択肢コードを取得する。
プロセッサ12は、1番目の質問Q(1)の質問IDと、選択肢コードと、計測時間と、計測座標と、脳波信号と、を関連付けて記憶装置11に記憶する。
【0072】
ステップS101の後、クライアント装置10は、n回目のQ&A(S102)を実行する。
【0073】
図8Bに示すように、n番目の質問の作成(S1020)が実行される。
クライアント装置10のプロセッサ12は、サーバ30に、n番目の質問の作成を要求するための質問作成リクエストデータを送信する。質問作成リクエストデータは、質問ID「QUEn」を含む。
【0074】
サーバ30のプロセッサ32は、質問情報マスタ(図5)を参照して、質問作成リクエストデータに含まれる質問ID「QUEn」に関連付けられたレコードを特定する。
【0075】
プロセッサ32は、特定したレコードの「カスタマイズパターン」フィールドのカスタマイズパターンファイルに従って、当該レコードの「質問」フィールド及び「回答」フィールドの少なくとも1つの情報を変更する。
【0076】
一例として、n-1番目の質問は、n番目の質問を決めるための複数のキーワードを含む。カスタマイズパターンファイルでは、n-1番目の質問に含まれる複数のキーワードのそれぞれについて、n番目の質問の質問IDが割り当てられている。
ステップS1011において記憶装置11に記憶された計測座標のうち、表示オブジェクトA101(図9)の「肌」の文字及びその周辺の位置を示す計測座標の数が所定数以上である場合、プロセッサ32は、ユーザが「肌」の文字を注視したと判定する。この場合、プロセッサ32は、カスタマイズパターンファイルを参照して、「肌」に割り当てられた質問(例えば、「肌の調子は?」)の質問IDを「質問」フィールドに格納する。
一方、ステップS1011において記憶装置11に記憶された計測座標のうち、表示オブジェクトA101の「敏感」の文字及びその周辺の位置を示す計測座標の数が所定数以上である場合、プロセッサ32は、ユーザが「敏感」の文字を注視したと判定する。この場合、プロセッサ32は、カスタマイズパターンファイルを参照して、「敏感」に割り当てられた質問(例えば、「どのくらい敏感?」)の質問IDを「質問」フィールドに格納する。
【0077】
プロセッサ32は、質問作成レスポンスデータをクライアント装置10に送信する。質問作成レスポンスデータは、変更後の「質問」フィールド及び「回答」フィールドの情報を含む。
【0078】
ステップS1020の後、クライアント装置10は、n番目の質問の提示(S1021)を実行する。
具体的には、プロセッサ12は、質問作成レスポンスデータに基づく画面P102(図10A)又はP103(図10B)をディスプレイ15に表示し、且つ、計測時間のタイマを起動する。
【0079】
画面P102は、ステップS1011において視線の動きE(1)=e11、及び、脳波B(1)=b11が取得された場合に表示される画面である。
画面P102は、表示オブジェクトA102と、操作オブジェクトB102a~B102bと、を含む。
表示オブジェクトA102には、ステップS1020で作成されたn番目の質問Q(n)(例えば、「肌の調子は?」という文章)が表示される。表示オブジェクトA102に表示される情報は、質問作成レスポンスデータに含まれる「質問」フィールドの情報に対応する。
操作オブジェクトB102a~B102bは、表示オブジェクトA102に表示された質問Q(n)に対するユーザの回答を受け付けるためのオブジェクトである。操作オブジェクトB102a~B102bには、それぞれ、質問作成レスポンスデータに含まれる各「選択肢」フィールドの選択肢コードが割り当てられている。
【0080】
画面P103は、ステップS1011において視線の動きE(1)=e12、及び、脳波B(1)=b11が取得された場合に表示される画面である。
画面P103は、表示オブジェクトA103と、操作オブジェクトB103a~B103bと、を含む。
表示オブジェクトA103には、ステップS1020で作成されたn番目の質問Q(n)(例えば、「どのくらい敏感?」という文章)が表示される。表示オブジェクトA103に表示される情報は、質問作成レスポンスデータに含まれる「質問」フィールドの情報に対応する。
操作オブジェクトB103a~B103bは、表示オブジェクトA103に表示された質問Q(n)に対するユーザの回答を受け付けるためのオブジェクトである。操作オブジェクトB103a~B103bには、それぞれ、質問作成レスポンスデータに含まれる各「選択肢」フィールドの選択肢コードが割り当てられている。
【0081】
このように、ステップS1011において取得された計測情報(つまり、n-1番目の質問において取得された視線の位置)に応じて、ディスプレイに表示されるn番目の質問が変化する。
【0082】
ステップS1021の後、クライアント装置10は、図8Aと同様に、計測情報の取得(S1011)を実行する。
【0083】
ステップS1011の後、クライアント装置10は、回答の受付(S1022)を実行する。
具体的には、ユーザが操作オブジェクトB102a~B102b及びB103a~B103bの何れかを操作すると、プロセッサ12は、ステップS1021で起動したタイマを停止する。
プロセッサ12は、操作された操作オブジェクト(例えば、操作オブジェクトB102a)に割り当てられた選択肢コードを取得する。
プロセッサ12は、n番目の質問Q(n)の質問IDと、選択肢コードと、計測時間と、計測座標と、脳波信号と、を関連付けて記憶装置11に記憶する。
【0084】
ステップS102は、n=Nになる(つまり、全ての問題に対する回答が得られる)まで繰り返し実行される。
【0085】
全ての問題に対するS102の後、クライアント装置10は、更新リクエスト(S103)を実行する。
具体的には、プロセッサ12は、更新リクエストデータをサーバ30に送信する。
更新リクエストデータは、以下の情報を含む。
・ステップS101~S102で記憶装置11に記憶された情報(質問ID、選択肢コード、計測時間、計測座標、及び、脳波信号)
【0086】
ステップS103の後、サーバ30は、更新リクエストデータに基づいて、データベースの更新(S300)を実行する。
具体的には、プロセッサ32は、ユーザ情報登録リクエストデータに含まれるユーザIDと、新規の回答情報データベース(図6)と、を関連付けて記憶装置31に記憶する。
新規の回答情報データベースの各フィールドには、以下のように情報が格納される。
・「質問ID」フィールドには、更新リクエストデータに含まれる質問IDが格納される。
・「回答」フィールドには、更新リクエストデータに含まれる選択肢コードが格納される。
・「計測時間」フィールドには、更新リクエストデータに含まれる計測時間が格納される。
・「計測座標」フィールドには、更新リクエストデータに含まれる計測座標が格納される。
・「脳波信号」フィールドには、更新リクエストデータに含まれる脳波信号が格納される。
【0087】
本実施形態によれば、質問Q(n-1)の思考期間におけるユーザUの無意識下の反応である視線の動きE(n-1)及び脳波B(n-1)に応じて質問Q(n)の態様が変化する。これにより、回答へのノイズの混入を抑制することができる。その結果、ユーザUから得られた回答にユーザUの真意が反映され易くなる。
【0088】
(5)変形例
本実施形態の変形例について説明する。
【0089】
(5-1)変形例1
変形例1について説明する。
【0090】
変形例1のクライアント装置10は、ステップS1020(図8B)において、視線の動きE(1)~E(n-1)の累積値と、脳波B(1)~B(n-1)の累積値と、に基づいて、質問Q(n)を作成する。
換言すると、式2のように、変形例1のn番目の質問Q(n)の態様は、1~n-1番目の思考期間の視線の動き及び脳波の累積和の関数で表される。
【数2】
【0091】
変形例1によれば、1番目の質問Q(1)からn-1番目の質問Q(n-1)までの思考期間における視線の動き及び脳波の累積値に応じて、n番目の質問Q(n)の態様が変化する。これにより、回答へのノイズの混入をより抑制することができる。
【0092】
(5-2)変形例2
変形例2について説明する。変形例2は、アイトラッキング情報及び脳波情報に加えて、新たな情報を考慮して、質問を作成する例である。
【0093】
変形例2のステップS1011(図8)では、プロセッサ12は、更に、以下の少なくとも1つと、計測時間と、を関連付けて記憶装置11に記憶する。
・思考期間におけるユーザUの体の一部(例えば、頭及び足の少なくとも1つ)の動きに関するモーション情報
・思考期間におけるユーザUの表情に関する表情情報
・思考期間におけるユーザUの生体情報(例えば、心拍数、筋電位、及び、自律神経のすくなくとも1つに関する情報)
【0094】
変形例2のカスタマイズパターンファイルには、視線の動き、脳波、及び、変形例2のステップS1011で新たに取得された情報の少なくとも1つの組合せ毎に、「質問」フィールド及び「回答」フィールドの少なくとも1つの情報の態様を当該組合せによって決まる別の態様に変更するためのカスタマイズパターンが記述されている。
【0095】
この場合、ステップS1020(図8B)では、プロセッサ32は、n-1番目の質問Q(n-1)の思考期間に取得された情報(つまり、視線の動き、脳波、及び、変形例2のステップS1011で新たに取得された情報の少なくとも1つ)の組合せに応じた態様の質問Q(n)を作成する。
【0096】
変形例2によれば、n-1番目の質問Q(n-1)の思考期間における視線の動き及び脳波、並びに、上記の新たな情報の少なくとも1つの組合せに応じて、n番目の質問Q(n)の態様が変化する。これにより、回答へのノイズの混入をより抑制することができる。
【0097】
(5-3)変形例3
変形例3について説明する。変形例3は、思考期間に取得された情報と、思考期間とは異なるタイミングで取得された情報と、の組合せを考慮して、質問を作成する例である。
【0098】
変形例3のカスタマイズパターンファイルには、視線の動き、脳波、及び、ユーザ属性の組合せ毎に、「質問」フィールド及び「回答」フィールドの少なくとも1つの情報の態様を当該組合せによって決まる別の態様に変更するためのカスタマイズパターンが記述されている。
【0099】
変形例3のステップS1020(図8B)では、プロセッサ32は、以下の思考期間外情報の少なくとも1つを参照する。
・フィールドオブジェクトF100に入力されたユーザ属性(つまり、年齢、及び、性別)
・ユーザUの環境に関する環境情報(例えば、温度、湿度、及び、紫外線曝露量)
【0100】
プロセッサ32は、n-1番目の質問Q(n-1)の思考期間に取得された情報(つまり、視線の動き及び脳波)と、参照した思考期間外情報と、の組合せに応じた態様の質問Q(n)を作成する。
【0101】
変形例3によれば、n-1番目の質問Q(n-1)の思考期間に取得された情報と、思考期間外に取得された情報と、の組合せに応じて、n番目の質問Q(n)の態様が変化する。これにより、回答へのノイズの混入をより抑制することができる。
【0102】
(5-4)変形例4
変形例4について説明する。変形例4は、人工知能を用いて、質問の態様を決定する例である。
【0103】
変形例4の記憶装置31には、教師データが記憶される。教師データには、n-1番目の質問の嗜好期間における視線の動き、及び、n番目の質問に対する回答の正しさの対応関係(例えば、n-1番目の質問及び回答の選択肢のうちユーザが注視した部分、並びに、n番目の質問に対するユーザの回答の精度を示すスコア)が記述されている。つまり、教師データは、n-1番目の質問において得られた計測情報に基づいて作成されたn番目の質問及び回答がユーザに適した回答であるか否かを示している。
【0104】
プロセッサ32は、ステップS1020(図8B)において、記憶装置31に記憶された教師データにベイズ推定モデルを適用することにより、n-1番目の計測情報に基づいて、ユーザに適合する確率が最も高い質問をn番目の質問として決定する。
【0105】
プロセッサ32は、記憶装置31に記憶された教師データに強化学習モデルを適用することにより、ユーザに質問を提示し、且つ、ユーザから回答を得る度に、教師データを最適化する。
【0106】
変形例4によれば、教師データを用いて質問及び回答の態様が決定される。これにより、回答のサンプル数が増えるほど、質問及び回答の態様をユーザに適合させることができる。
【0107】
変形例4では、教師データは、ユーザIDに関連付けられてもよい。この場合、教師データは、ユーザ毎に、n-1番目の質問において得られた計測情報に基づいて作成されたn番目の質問及び回答がユーザに適した回答であるか否かを示す。
【0108】
(6)本実施形態の小括
本実施形態について小括する。
【0109】
本実施形態の第1態様は、
ユーザに対して、n(nは2以上の整数)個の質問を提示する手段(例えば、ステップS1010及びS1021の処理を実行するプロセッサ)を備え、
質問を提示してから質問に対する回答を取得するまでの思考期間におけるユーザの視線の動きに関するアイトラッキング情報と、思考期間におけるユーザの脳波に関する脳波情報と、を取得する手段(例えば、ステップS1011の処理を実行するプロセッサ)を備え、
n-1番目の質問の思考期間に取得された情報の組合せに基づいて、n番目の質問を作成する手段(例えば、ステップS1020の処理を実行するプロセッサ)を備える、
情報処理装置(例えば、クライアント装置10)である。
【0110】
第1態様によれば、ユーザUの無意識下の反応である視線の動き及び脳波に応じて質問の態様が変化する。これにより、回答へのノイズの混入を低減することができる。その結果、ユーザUから得られた回答にユーザUの真意が反映され易くなる。
【0111】
本実施形態の第2態様は、
取得する手段は、更に、思考期間におけるユーザの体の一部の動きに関するモーション情報、思考期間におけるユーザの表情に関する表情情報、思考期間におけるユーザの生体に関する生体情報、及び、思考期間におけるユーザの環境に関する環境情報の少なくとも1つを取得する、
情報処理装置である。
【0112】
第2態様によれば、n-1番目の質問Q(n-1)の思考期間における視線の動き及び脳波、並びに、上記の新たな情報の少なくとも1つの組合せに応じて、n番目の質問Q(n)の態様が変化する。これにより、回答へのノイズの混入をより抑制することができる。
できる。
【0113】
本実施形態の第3態様は、
作成する手段は、取得する手段によって取得された情報と、思考期間外におけるユーザに関する思考期間外情報と、の組合せに基づいて、n番目の質問を作成する、
情報処理装置である。
【0114】
第3態様によれば、n-1番目の質問Q(n-1)の思考期間に取得された情報と、思考期間外情報と、の組合せに応じて、n番目の質問Q(n)の態様が変化する。これにより、回答へのノイズの混入をより抑制することができる。
【0115】
本実施形態の第4態様は、
思考期間外情報は、ユーザの属性に関するユーザ属性情報、及び、ユーザの環境に関する環境情報(例えば、温度、湿度、及び、紫外線曝露量)の少なくとも1つである、
情報処理装置である。
【0116】
本実施形態の第5態様は、
作成する手段は、視線の動き及び脳波の組合せに応じた質問のカスタマイズパターンが記述された参照ファイルを参照して、質問を作成する、
情報処理装置である。
【0117】
本実施形態の第6態様は、
作成する手段は、n-1番目の質問の思考期間における視線の動き、及び、n番目の質問に対する回答の正しさとの対応関係が記述された教師データと、n-1番目の質問の思考期間に取得された情報と、に基づいて、n番目の質問を作成する、
情報処理装置である。
【0118】
第6態様によれば、教師データを用いて質問及び回答の態様が決定される。これにより、回答のサンプル数が増えるほど、質問及び回答の態様をユーザに適合させることができる。
【0119】
本実施形態の第7態様は、コンピュータ(例えば、プロセッサ12又は32)を、上記の何れかに記載の各手段として機能させるためのプログラムである。
【0120】
(7)その他の変形例
【0121】
記憶装置11は、ネットワークNWを介して、クライアント装置10と接続されてもよい。記憶装置31は、ネットワークNWを介して、サーバ30と接続されてもよい。
【0122】
上記の情報処理の各ステップは、クライアント装置10及びサーバ30の何れでも実行可能である。
【0123】
計測情報は、視線の動きに関する情報及び脳波に関する情報に加えて、以下の情報の少なくとも1つを含んでもよい。
・眼球の三次元位置に関する情報
・心電図
【0124】
以上、本発明の実施形態について詳細に説明したが、本発明の範囲は上記の実施形態に限定されない。また、上記の実施形態は、本発明の主旨を逸脱しない範囲において、種々の改良や変更が可能である。また、上記の実施形態及び変形例は、組合せ可能である。
【符号の説明】
【0125】
1 :情報処理システム
10 :クライアント装置
11 :記憶装置
12 :プロセッサ
13 :入出力インタフェース
14 :通信インタフェース
15 :ディスプレイ
20 :アイトラッカ
21 :脳波計測装置
21a :プローブ
22 :脳波計測装置
30 :サーバ
31 :記憶装置
32 :プロセッサ
33 :入出力インタフェース
34 :通信インタフェース
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10