特開 2024-16454 情報処理装置、情報処理方法、およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024016454

(43)【公開日】2024-02-07

(54)【発明の名称】情報処理装置、情報処理方法、およびプログラム

(51)【国際特許分類】

   G06Q 30/0251 20230101AFI20240131BHJP

【ＦＩ】

G06Q30/02 398

【審査請求】未請求

【請求項の数】16

【出願形態】ＯＬ

(21)【出願番号】P 2022118590

(22)【出願日】2022-07-26

(71)【出願人】

【識別番号】000000295

【氏名又は名称】沖電気工業株式会社

(74)【代理人】

【識別番号】100140958

【弁理士】

【氏名又は名称】伊藤 学

(74)【代理人】

【識別番号】100137888

【弁理士】

【氏名又は名称】大山 夏子

(74)【代理人】

【識別番号】100190942

【弁理士】

【氏名又は名称】風間 竜司

(72)【発明者】

【氏名】富田 智晶

【テーマコード（参考）】

5L049

【Ｆターム（参考）】

5L049BB08

(57)【要約】

【課題】プライバシー保護を考慮してユーザの感情に応じた情報提示を行うことを可能とする。
【解決手段】ユーザ端末で取得される、情報提供領域に対するユーザの視線に関する情報である視線情報と、前記情報提供領域で提供されている情報内容とに基づき、前記ユーザの情報に対する感情を推定する処理と、推定した感情に対応する提示情報を取得する処理と、前記提示情報を前記ユーザ端末に送信する処理と、を行う制御部を備える、情報処理装置。
【選択図】図１

【特許請求の範囲】

【請求項1】

ユーザ端末で取得される、情報提供領域に対するユーザの視線に関する情報である視線情報と、前記情報提供領域で提供されている情報内容とに基づき、前記ユーザの情報に対する感情を推定する処理と、
推定した感情に対応する提示情報を取得する処理と、
前記提示情報を前記ユーザ端末に送信する処理と、
を行う制御部を備える、情報処理装置。

【請求項2】

前記情報提供領域は、公共の場で不特定多数のユーザに情報を提供する物体である表示装置の表示画面である、請求項１に記載の情報処理装置。

【請求項3】

前記制御部は、前記ユーザの視線情報に基づいて感情の分類を判定し、さらに前記表示画面の内容に基づいて、前記ユーザの情報に対する感情を推定する、請求項２に記載の情報処理装置。

【請求項4】

前記制御部は、前記視線情報と、前記ユーザ端末で取得された前記表示画面の撮像画像とに基づいて、前記表示画面における前記ユーザの注視点を算出する、請求項２または３に記載の情報処理装置。

【請求項5】

前記制御部は、前記ユーザの注視点に表示されている内容に基づいて、前記ユーザの情報に対する感情を推定する、請求項２または３に記載の情報処理装置。

【請求項6】

前記感情に対応する提示情報は、前記ユーザを支援するために前記表示画面に表示されている内容を補足する情報である、請求項２または３に記載の情報処理装置。

【請求項7】

前記制御部は、前記表示装置の識別情報に対応付けられるデータベースから、前記表示画面に表示されている内容に関する情報および前記提示情報を取得する、請求項２または３に記載の情報処理装置。

【請求項8】

前記制御部は、前記表示画面における視線移動パターンを用いた認証により、複数ユーザをグループに設定する処理を行う、請求項２または３に記載の情報処理装置。

【請求項9】

前記制御部は、ユーザ端末から受信した視線情報から認識した視線移動パターンと、予め生成した視線移動パターンとが一致する場合に、認証成功とする、請求項８に記載の情報処理装置。

【請求項10】

前記制御部は、認証が成功した複数のユーザのユーザ端末のアカウントを連携させることで、当該複数のユーザを同一グループに設定する、請求項９に記載の情報処理装置。

【請求項11】

前記制御部は、さらに前記複数のユーザ端末に対応付けられる前記表示装置の識別情報が一致する場合に、同一グループに設定する、請求項１０に記載の情報処理装置。

【請求項12】

前記視線移動パターンは、前記表示画面を複数のエリアに分割した各分割エリアにおける視線滞留の順番である、請求項８に記載の情報処理装置。

【請求項13】

前記制御部は、
前記視線移動パターンを用いた認証により一のユーザ端末をホスト端末に設定し、
前記視線移動パターンを用いた認証により他のユーザ端末をクライアント端末に設定して前記ホスト端末のアカウントに連携させることで、複数のユーザをグループに設定する、
請求項８に記載の情報処理装置。

【請求項14】

前記制御部は、
グループに設定された複数のユーザの感情を統合してグループ全体の感情を推定し、
推定したグループ全体の感情に対応する提示情報を取得し、
当該提示情報を、アカウント連携した複数のユーザ端末に送信する制御を行う、
請求項８に記載の情報処理装置。

【請求項15】

プロセッサが、
ユーザ端末で取得される、情報提供領域に対するユーザの視線に関する情報である視線情報と、前記情報提供領域で提供されている情報内容とに基づき、前記ユーザの情報に対する感情を推定することと、
推定した感情に対応する提示情報を取得することと、
前記提示情報を前記ユーザ端末に送信することと、
を含む、情報処理方法。

【請求項16】

コンピュータを、
ユーザ端末で取得される、情報提供領域に対するユーザの視線に関する情報である視線情報と、前記情報提供領域で提供されている情報内容とに基づき、前記ユーザの情報に対する感情を推定する処理と、
推定した感情に対応する提示情報を取得する処理と、
前記提示情報を前記ユーザ端末に送信する処理と、
を行う制御部として機能させる、プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、情報処理装置、情報処理方法、およびプログラムに関する。

【背景技術】

【0002】

従来、ユーザの感情を推定し、感情に基づいてそのユーザに適した情報を提示するシステムがある。例えば下記特許文献１では、ユーザの感情と、ユーザがその感情を抱いた対象とに基づいて情報を提示する技術について開示されている。具体的には、下記特許文献１では、推定した感情がネガティブな感情であるときには、対象を取り除くための情報を提示し、推定した感情がポジティブな感情であるときには、感情を維持するため情報を提示している。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０２０－１０９７０９号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

ここで、例えば公共の場に設置される電子案内板や電子広告板等の表示装置のように、不特定多数のユーザに情報を提供している際に、各ユーザの感情を推定して提示情報を最適化しても、最適化された情報が他のユーザに視認可能な状態で提示されると、プライバシー保護の観点から好ましくない。上記特許文献１でも、不特定多数のユーザに情報を提供している場合については考慮されていない。

【0005】

そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、プライバシー保護を考慮してユーザの感情に応じた情報提示を行うことが可能な、新規かつ改良された情報処理装置、情報処理方法、およびプログラムを提供することにある。

【課題を解決するための手段】

【0006】

上記課題を解決するために、本発明のある観点によれば、ユーザ端末で取得される、情報提供領域に対するユーザの視線に関する情報である視線情報と、前記情報提供領域で提供されている情報内容とに基づき、前記ユーザの情報に対する感情を推定する処理と、推定した感情に対応する提示情報を取得する処理と、前記提示情報を前記ユーザ端末に送信する処理と、を行う制御部を備える、情報処理装置が提供される。

【0007】

前記情報提供領域は、公共の場で不特定多数のユーザに情報を提供する物体である表示装置の表示画面であってもよい。

【0008】

前記制御部は、前記ユーザの視線情報に基づいて感情の分類を判定し、さらに前記表示画面の内容に基づいて、前記ユーザの情報に対する感情を推定してもよい。

【0009】

前記制御部は、前記視線情報と、前記ユーザ端末で取得された前記表示画面の撮像画像とに基づいて、前記表示画面における前記ユーザの注視点を算出してもよい。

【0010】

前記制御部は、前記ユーザの注視点に表示されている内容に基づいて、前記ユーザの情報に対する感情を推定してもよい。

【0011】

前記感情に対応する提示情報は、前記ユーザを支援するために前記表示画面に表示されている内容を補足する情報であってもよい。

【0012】

前記制御部は、前記表示装置の識別情報に対応付けられるデータベースから、前記表示画面に表示されている内容に関する情報および前記提示情報を取得してもよい。

【0013】

前記制御部は、前記表示画面における視線移動パターンを用いた認証により、複数ユーザをグループに設定する処理を行ってもよい。

【0014】

前記制御部は、ユーザ端末から受信した視線情報から認識した視線移動パターンと、予め生成した視線移動パターンとが一致する場合に、認証成功としてもよい。

【0015】

前記制御部は、認証が成功した複数のユーザのユーザ端末のアカウントを連携させることで、当該複数のユーザを同一グループに設定してもよい。

【0016】

前記制御部は、さらに前記複数のユーザ端末に対応付けられる前記表示装置の識別情報が一致する場合に、同一グループに設定してもよい。

【0017】

前記視線移動パターンは、前記表示画面を複数のエリアに分割した各分割エリアにおける視線滞留の順番であってもよい。

【0018】

前記制御部は、前記視線移動パターンを用いた認証により一のユーザ端末をホスト端末に設定し、前記視線移動パターンを用いた認証により他のユーザ端末をクライアント端末に設定して前記ホスト端末のアカウントに連携させることで、複数のユーザをグループに設定してもよい。

【0019】

前記制御部は、グループに設定された複数のユーザの感情を統合してグループ全体の感情を推定し、推定したグループ全体の感情に対応する提示情報を取得し、当該提示情報を、アカウント連携した複数のユーザ端末に送信する制御を行ってもよい。

【0020】

また、上記課題を解決するために本発明の別の観点によれば、プロセッサが、ユーザ端末で取得される、情報提供領域に対するユーザの視線に関する情報である視線情報と、前記情報提供領域で提供されている情報内容とに基づき、前記ユーザの情報に対する感情を推定することと、推定した感情に対応する提示情報を取得することと、前記提示情報を前記ユーザ端末に送信することと、を含む、情報処理方法が提供される。

【0021】

また、上記課題を解決するために本発明の別の観点によれば、コンピュータを、ユーザ端末で取得される、情報提供領域に対するユーザの視線に関する情報である視線情報と、前記情報提供領域で提供されている情報内容とに基づき、前記ユーザの情報に対する感情を推定する処理と、推定した感情に対応する提示情報を取得する処理と、前記提示情報を前記ユーザ端末に送信する処理と、を行う制御部として機能させる、プログラムが提供される。

【発明の効果】

【0022】

以上説明したように本発明によれば、プライバシー保護を考慮してユーザの感情に応じた情報提示を行うことを可能とする。

【図面の簡単な説明】

【0023】

【図1】本実施形態に係る情報提示システムの概要について説明する図である。

【図2】本実施形態に係る情報提示システムの構成の一例を示す図である。

【図3】本実施形態によるサーバ２０の構成の一例を示すブロック図である。

【図4】本実施形態による視線情報と撮像画像の取得について説明する図である。

【図5】本実施形態による注視点の出力について説明する図である。

【図6】本実施形態によるユーザ端末１０の構成の一例を示す図である。

【図7】本実施形態による情報提示システムの全体の流れの一例を示すシーケンス図である。

【図8】本応用例の概要について説明する図である。

【図9】本応用例によるサーバ２０Ａの構成の一例を示すブロック図である。

【図10】本応用例による視線移動パターンのユーザ通知画面の一例を示す図である。

【図11】本応用例による視線移動パターンの認識について説明する図である。

【図12】本応用例による情報提示システムの全体の流れの一例を示すシーケンス図である。

【図13】本実施形態による情報処理装置９００のハードウェア構成の一例を示すブロック図である。

【発明を実施するための形態】

【0024】

以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書および図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

【0025】

＜１．概要＞
本実施形態は、公共の場に設置される電子案内板または電子広告板等の表示装置のように、不特定多数のユーザに情報を提供している場合に、ユーザの感情を推定し、推定した感情に応じた情報を当該ユーザに個別に提示する仕組みに関する。

【0026】

図１は、本実施形態に係る情報提示システムの概要について説明する図である。本実施形態では、不特定多数のユーザに情報を提供する物体の一例として、公共の場に設置される電子案内板または電子広告板等の大型の表示装置が挙げられる。図１では、大型の表示装置の一例としてデジタルサイネージ３０を図示する。デジタルサイネージ３０は、自立型であってもよいし、壁面または柱に設置されていてもよい。例えばデジタルサイネージ３０が展示会の案内板の場合、デジタルサイネージ３０の表示部３１には、各展示ブースの説明情報または経路案内の情報が提示される。デジタルサイネージ３０の表示部３１は画面サイズが大きいため、ユーザは自分のスマートフォンの小さな画面で情報を調べるよりも、デジタルサイネージ３０を利用した方が、情報の全容把握または情報探索が行い易い。

【0027】

しかしながら、不特定多数のユーザが表示装置を利用する場面で、ユーザの感情に応じて最適化した情報を他のユーザに視認可能な状態で提示することは、プライバシー保護の観点から好ましくない。従来は、公共の場に設置される電子案内板または電子広告板等の表示装置において、不特定多数のユーザに対して最適な情報提示を行うことが困難であった。

【0028】

そこで、本発明の一本実施形態では、不特定多数のユーザに情報を提供する物体で情報探索中のユーザの感情を推定し、推定した感情に応じた情報の提示を当該ユーザのユーザ端末から個別に行うことで、プライバシー保護を考慮した情報提示を実現する。これにより、情報提示の利便性を高めることができる。

【0029】

図１に示す例では、デジタルサイネージ３０の表示部３１で情報探索中のユーザの感情が推定され、ユーザの感情に応じた情報がユーザ端末１０から提示される。これにより、情報の全容把握または探索は画面サイズの大きいデジタルサイネージ３０を利用しつつ、ユーザ個人に最適化された情報はユーザ端末１０に表示されることで、ユーザのプライバシーが保護される。なお、本実施形態による情報提示システムでは、ユーザの感情推定を、ユーザ端末１０に設けられる視線センサ１４０により得られる視線情報に基づいて行い得る。デジタルサイネージ３０に設けられるセンサ等、不特定多数のユーザを対象とする固定センサの場合、視線の計測範囲に限りがあり、背丈、性別、または視力矯正の有無などのユーザ特性が異なる不特定多数のユーザの視線を計測することは困難である。したがって本実施形態では、各ユーザが所持するユーザ端末１０に設けられるセンサまたはユーザの頭部に装着されるセンサといった、ユーザ特性に応じて自由に調整可能なセンサを用いてユーザの視線計測をそれぞれ行うことで、全てのユーザに対して感情推定を行い得る。

【0030】

図２は、本実施形態に係る情報提示システムの構成の一例を示す図である。図２に示すように、本実施形態に係る情報提示システムは、ユーザが利用するユーザ端末１０と、サーバ２０（情報処理装置）と、を含む。ユーザ端末１０と、サーバ２０は、ネットワーク５０を介して通信接続され、データの送受信を行い得る。

【0031】

ユーザ端末１０は、例えばスマートフォン、携帯電話端末、タブレット端末、およびメガネ型ウェアラブルデバイス等の任意のモバイル端末により実現される。ユーザ端末１０は、情報提供領域（例えばデジタルサイネージ３０の表示画面）に対するユーザの視線情報、デジタルサイネージ３０の表示部３１（表示画面）を撮像した撮像画像、およびデジタルサイネージ３０の識別情報をサーバ２０に送信する。ユーザ端末１０は、例えば図１に示すようにデジタルサイネージ３０の表示部３１に表示されたＱＲコード（登録商標）３１１から、デジタルサイネージ３０の識別情報を読み取ることが可能である。ＱＲコード３１１は、サイネージ３０の表示部３１以外の場所に貼付されていてもよい。また、ＱＲコード３１１は、デジタルサイネージ３０の識別情報を含む符号化情報の一例であって、これに限定されない。デジタルサイネージ３０の識別情報は、一次元コードまたは二次元コードから取得されてもよい。また、デジタルサイネージ３０の識別情報がデジタルサイネージ３０に表示、印字、または貼付され、これをユーザ端末１０がＯＣＲ（Optical Character Reader）技術により文字認識して取得してもよいし、ユーザがユーザ端末１０に手入力してもよい。

【0032】

サーバ２０は、ユーザ端末１０から受信した視線情報、およびデジタルサイネージ３０の表示画面の撮像画像に基づいて、デジタルサイネージ３０の表示画面（情報提供領域の一例）で情報探索中のユーザの感情を推定する。そして、サーバ２０は、推定した感情に対応する情報を取得し、取得した情報をユーザ端末１０に送信する。推定した感情に対応する情報は、情報探索中のユーザを支援するための情報であって、具体的には、デジタルサイネージ３０の表示画面に表示されている内容を補足する情報である。デジタルサイネージ３０の表示画面におけるユーザの注視点は、ユーザ端末１０から受信した視線情報に含まれるユーザの視線方向と、デジタルサイネージ３０の表示画面の撮像画像から得られる。また、サーバ２０は、ユーザ端末１０から受信したデジタルサイネージ３０の識別情報に基づいて、デジタルサイネージ３０の表示画面に表示されている内容および補足情報を、サイネージ別のＤＢ（データベース）から取得し得る。

【0033】

このように、本実施形態による情報提示システムは、不特定多数のユーザが利用するデジタルサイネージ３０で情報探索中のユーザの感情を推定し、推定した感情に応じた情報の提示を当該ユーザのユーザ端末１０で行うことで、プライバシー保護を考慮した情報提示を実現する。

【0034】

なお、デジタルサイネージ３０は表示装置の一例であり、本実施形態に係る表示装置はデジタルサイネージに限定されない。例えば、本実施形態に係る表示装置は、スクリーン、壁面、床面、または天井に画像を投影するプロジェクタであってもよい。また、不特定多数のユーザに情報を提供する物体は表示装置に限られず、例えば、会場案内図または商業施設のフロアマップ等が印字された案内板、または説明文が印字された説明板等の、大判印刷物であってもよい。

【0035】

＜２．サーバ２０の構成例＞
図３は、本実施形態によるサーバ２０の構成の一例を示すブロック図である。図３に示すように、サーバ２０は、通信部２１０、制御部２２０、および記憶部２３０を有する。

【0036】

（通信部２１０）
通信部２１０は、他の装置との間で情報の送受信を行う送信部および受信部としての機能を有する。通信部２１０は、例えばネットワーク５０を介して、ユーザ端末１０とデータの送受信を行い得る。ネットワーク５０は、インターネット、電話回線網、衛星通信網などの公衆回線網、Ｅｔｈｅｒｎｅｔ（登録商標）を含む各種のＬＡＮ（Local Area Network）、ＷＡＮ（Wide Area Network）等で実現されてもよい。さらに、各ネットワークは、Ｗｉ－Ｆｉ（登録商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標）等の無線通信網で実現されてもよい。

【0037】

（制御部２２０）
制御部２２０は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）およびＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等を中心に構成されており、サーバ２０の動作を全般的に制御する。

【0038】

また、本実施形態による制御部２２０は、注視点算出部２２１、感情推定部２２２、提示情報取得部２２３、および提示制御部２２４としても機能する。

【0039】

注視点算出部２２１は、ユーザ端末１０から受信した情報に基づいて、不特定多数のユーザに対して情報を提供する領域である情報提供領域における当該ユーザの注視点を算出する。情報提供領域とは、例えば表示画面である。本実施形態では、注視点算出部２２１は、デジタルサイネージ３０の表示部３１（表示画面）におけるユーザの注視点を算出する。具体的には、注視点算出部２２１は、ユーザ端末１０から受信した視線情報に含まれるユーザの視線方向の情報と、デジタルサイネージ３０の表示部３１（表示画面）を撮像した撮像画像とに基づいて、ユーザの注視点を算出する。本実施形態では、ユーザ端末１０の内向きカメラが視線センサ１４０に相当し、当該ユーザ端末１０の外向きカメラ（カメラ１５０）により撮像画像が得られる。図４は、本実施形態による視線情報と撮像画像の取得について説明する図である。図４に示すように、ユーザ端末１０の内側に設けられた視線センサ１４０によりユーザの視線方向が計測され、視線センサ１４０が設けられた面に対向する面である外側に設けられたカメラ１５０によりデジタルサイネージ３０の表示部３１の撮像画像が得られる。ユーザは、例えば図１に示すようにユーザ端末１０（具体的には、カメラ１５０）をデジタルサイネージ３０に向けた状態でデジタルサイネージ３０の表示部３１を見て情報探索を行う。この間に、視線センサ１４０によりユーザの視線方向が計測される。視線方向の計測は継続的に行われる。

【0040】

視線センサ１４０により検出されるユーザの視線方向は、視線センサ１４０に対する相対的な方向であってもよいし、三次元空間における視線の絶対方向であってもよい。また、カメラ１５０により得られる撮像画像は、ユーザの視界を含む視界画像である。注視点算出部２２１は、視線方向と撮像画像に基づいて、撮像画像に映る表示部３１（表示画面）における注視点を算出する。本実施形態では、注視点算出方法のアルゴリズムは特に限定しない。

【0041】

図５は、本実施形態による注視点の出力について説明する図である。注視点算出部２２１は、ユーザの注視点として、図５に示すように、デジタルサイネージ３０の表示部３１（表示画面上）に固定された二次元座標位置Ｐ（ｘ、ｙ）を出力する。注視点算出部２２１は、ユーザの視線情報を処理するのに十分な単位時間ごとに、視線の二次元座標位置Ｐを算出、更新する。本実施形態では、更新時間単位をΔｔとし、各時間で取得される二次元位置を、Δｔ×ｎ時間が経過した後の座標位置としてＰｎ（ｘｎ、ｙｎ）と記載する。つまりΔｔ×ｔ時間まで視線が計測された場合、注視点算出部２２１は、ユーザの注視点として、Ｐ１（ｘ１、ｙ１）、Ｐ２（ｘ２、ｙ２）・・・Ｐｔ（ｘｔ、ｙｔ）のような座標位置の配列を出力する。

【0042】

感情推定部２２２は、情報探索中のユーザの感情を推定する。具体的には、感情推定部２２２は、ユーザの注視点または瞳孔径等と、デジタルサイネージ３０での表示内容（情報内容）に基づいて、情報に対するユーザ感情を推定する。以下、詳細を説明する。

【0043】

まず、感情推定部２２２は、事前に教師あり学習による機械学習で生成された学習済みの感情推定モデルを用いて、ユーザの視線情報から、「興味関心」または「困り」といった感情の分類を判定する。なお、機械学習は教師あり学習に限定せず、教師なし学習や半教師学習などが用いられてもよい。次いで、感情推定部２２２は、デジタルサイネージ３０の表示内容（注視対象）との組み合わせから、ユーザが何に興味関心があるのか、何に困っているのか等の、より具体的な、情報に対するユーザ感情を推定する。表示内容の情報は、ユーザ端末１０から送信されたデジタルサイネージ３０の識別情報（サイネージＩＤとも称する）に基づいて、サイネージ別ＤＢ２３１から得られる。また、ユーザが利用するデジタルサイネージ３０のサイネージＩＤは、ユーザ端末１０で読み取る場合に限定されず、制御部２２０が、ユーザ端末１０から送信されたユーザ端末１０の位置情報と、会場内に配置された各デジタルサイネージの配置情報とに基づいて、ユーザがどのデジタルサイネージを利用しているかを推定してサイネージＩＤを特定してもよい。

【0044】

例えばデジタルサイネージ３０に表示されているフロアマップを注視した状態で「困り」の感情分類が推定された場合、感情推定部２２２は、「道に迷っている」といったユーザ感情が推定できる。この際、感情推定部２２２は、注視点に表示されている表示内容を参照することで、ユーザがどこに行きたいか（目的地）等を推定することもできる。また、デジタルサイネージ３０に表示されている展示の説明文を注視した状態で「困り」の感情分類が推定された場合、感情推定部２２２は、「この説明文の内容が分からない（説明が難しい、漢字が読めない等）」といったユーザ感情が推定できる。また、デジタルサイネージ３０に表示されている展示の説明文を注視した状態で「興味関心」の感情分類が推定された場合、感情推定部２２２は、「この展示についてもっと詳しい情報を知りたい」といったユーザ感情が推定できる。表示内容との組み合わせによる具体的なユーザ感情は、予め用意されたテーブルデータを用いて推定されてもよいし、機械学習により生成された学習済みモデルを用いて推定されてもよい。

【0045】

提示情報取得部２２３は、推定されたユーザ感情に対応する提示情報を取得する。提示情報取得部２２３は、サイネージＩＤに基づいて、記憶部２３０に記憶されているサイネージ別ＤＢ２３１から、情報を取得し得る。なお、サイネージ別ＤＢ２３１は、サーバ２０の記憶部２３０に格納される例に限定されず、外部のデータサーバに格納されていてもよい。例えば、会場に多数設置されるサイネージごとに、当該サイネージに関する情報を格納するデータサーバが用意されていてもよい。サイネージ別ＤＢ２３１には、例えばデジタルサイネージ３０が展示会の案内板である場合、各展示ブースの詳細情報、または案内板の位置から各展示ブースへの経路案内情報などが格納される。

【0046】

提示情報取得部２２３は、感情推定部２２２により、「この説明文の内容が分からない（説明が難しい、漢字が読めない等）」といったユーザ感情が推定された場合、子供向けに用意された平易な説明文をサイネージ別ＤＢ２３１から提示情報として取得する。また、提示情報取得部２２３は、感情推定部２２２により、「道に迷っている」といったユーザ感情が推定された場合、現在地から各方面への経路案内情報をサイネージ別ＤＢ２３１から提示情報として取得する。また、目的地も推定されている場合、提示情報取得部２２３は、現在地から目的地への詳しい経路案内情報をサイネージ別ＤＢ２３１から提示情報として取得する。

【0047】

提示制御部２２４は、提示情報取得部２２３により取得された提示情報をユーザ端末１０に送信する制御を行う。送信する情報では、ユーザ端末１０の表示部で当該提示情報を表示するようユーザ端末１０に指示する制御信号を含めてもよい。

【0048】

（記憶部２３０）
記憶部２３０は、制御部２２０の処理に関するデータ、制御部２２０の動作プログラムファイルなどの各種データを一時的あるいは永続的に記憶する機能を有する。また、記憶部２３０は、サイネージ別ＤＢ２３１を格納する。サイネージ別ＤＢ２３１は、例えば会場に設置される多数のデジタルサイネージごとに用意される。サイネージ別ＤＢ２３１には、サイネージＩＤ、および表示内容に関する情報が格納される。また、サイネージ別ＤＢ２３１には、さらに設置場所の情報が格納されていてもよい。

【0049】

以上、本実施形態によるサーバ２０の構成の一例について説明した。なお、本実施形態によるサーバ２０の構成は、図３に示す例に限定されない。例えば、サーバ２０は、複数の装置により構成されていてもよい。また、本実施形態では、サーバ２０（情報処理装置）の機能が、ネットワーク上に存在するクラウドサーバで実現される場合について説明したが、本発明はこれに限定されず、サーバ２０の機能を、各デジタルサイネージに設けられるハードウェア上でそれぞれ実現させてもよい。すなわち、各デジタルサイネージが、図３に示す構成（通信部２１０、制御部２２０、および対応するサイネージ別ＤＢ２３１）をそれぞれ有してもよい。

【0050】

＜３．ユーザ端末１０の構成例＞
図６は、本実施形態によるユーザ端末１０の構成の一例を示す図である。ユーザ端末１０は、図６に示すように、通信部１１０、制御部１２０、操作入力部１３０、視線センサ１４０、カメラ１５０、表示部１６０、および記憶部１７０を有する。

【0051】

（通信部１１０）
通信部１１０は、他の装置との間で情報の送受信を行う送信部および受信部としての機能を有する。通信部１１０は、例えばネットワーク５０を介してサーバ２０とデータの送受信を行い得る。

【0052】

（制御部１２０）
制御部１２０は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）およびＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等を中心に構成されており、ユーザ端末１０の動作を全般的に制御する。

【0053】

また、本実施形態による制御部１２０は、ユーザの感情に応じた情報提示の制御を行い得る。かかる制御は、ユーザ端末１０にインストールされたアプリケーションプログラムに従って行われてもよい。具体的には、制御部１２０は、ユーザが利用するデジタルサイネージ３０のサイネージＩＤをカメラ１５０により取得し、通信部１１０からサーバ２０に送信する制御を行う。また、制御部１２０は、視線センサ１４０により検出されるユーザの視線情報と、カメラ１５０により撮像されるデジタルサイネージ３０の表示部３１（表示画面）の撮像画像を、通信部１１０からサーバ２０に送信する制御を行う。また、制御部１２０は、サーバ２０から受信した、ユーザの感情に対応する提示情報を、表示部１６０に表示する制御を行う。

【0054】

（操作入力部１３０）
操作入力部１３０は、ユーザによる操作入力を受け付け、操作情報を制御部１２０に出力する。操作入力部１３０は、表示部１６０に積層されるタッチパネルにより実現されてもよいし、物理的なスイッチであってもよい。

【0055】

（視線センサ１４０）
視線センサ１４０は、ユーザの視線を計測する機能を有する。例えば視線センサ１４０は、赤外線ステレオカメラにより実現される。また、視線センサ１４０は、ユーザ端末１０の表面、すなわち表示部１６０が設けられる面に搭載され、ユーザ端末１０を所持するユーザの視線を計測する。視線計測のためのキャリブレーションは、事前に行われ得る。視線センサ１４０は、赤外線カメラに限定されず、可視光カメラであってもよい。視線センサ１４０は、視線方向および瞳孔径等を計測し得る。視線方向は、例えば目の中の所定の基準点（例えば目頭または角膜反射）と動点（例えば虹彩または瞳孔）の位置関係から計測され得る。

【0056】

（カメラ１５０）
カメラ１５０は、ユーザ端末１０の裏面、すなわち表示部１６０が設けられる面と対向する反対側の面に搭載される、いわゆる外向きカメラである。カメラ１５０は、例えば可視光カメラにより実現される。カメラ１５０は、ユーザの注視対象である、デジタルサイネージ３０の表示部３１（表示画面）を撮像する。また、カメラ１５０は、サイネージＩＤの取得に用いられる。具体的には、サイネージＩＤを含むＱＲコードを撮像し、ＱＲコードの撮像画像を制御部１２０に出力する。制御部１２０では、撮像画像に映るＱＲコードの画像解析が行われ、サイネージＩＤが抽出される。

【0057】

（表示部１６０）
表示部１６０は、各種操作画面、およびユーザの感情に対応する提示情報を表示する機能を有する。表示部１６０は、操作入力部１３０が積層されるタッチパネルディスプレイにより実現されてもよい。

【0058】

（記憶部１７０）
記憶部１７０は、制御部１２０の処理に関するデータ、制御部１２０の動作プログラムファイルなどの各種データを一時的あるいは永続的に記憶する機能を有する。

【0059】

以上、本実施形態によるユーザ端末１０の構成の一例について説明した。なお、本実施形態によるユーザ端末１０の構成は、図６に示す例に限定されない。例えば、視線センサ１４０およびカメラ１５０がユーザの頭部に装着されたメガネに設けられ、視線情報および撮像画像（視界画像）がユーザ端末１０に送信されてもよい。

【0060】

＜４．動作処理＞
次に、本実施形態による情報提示システムの動作処理について具体的に説明する。図７は、本実施形態による情報提示システムの全体の流れの一例を示すシーケンス図である。

【0061】

まず、図７に示すように、ユーザ端末１０は、デジタルサイネージ３０に表示されたＱＲコードの撮像画像からサイネージＩＤを取得する（ステップＳ１０３）。なお、感情推定に応じた情報提示を受けるために当該ＱＲコードを読み取るよう促す表示がデジタルサイネージ３０に表示されていてもよい。

【0062】

次に、ユーザ端末１０は、サイネージＩＤを含む接続要求をサーバ２０に送信する（ステップＳ１０６）。なお、接続要求の送信先（サーバ２０のアドレス）の情報も、デジタルサイネージ３０に表示されたＱＲコードから取得され得る。

【0063】

次いで、サーバ２０は、ユーザ端末１０からの接続要求に応じて、受信したサイネージＩＤを、当該ユーザ端末１０のユーザに対応付ける（ステップＳ１０９）。具体的には、サーバ２０は、ユーザ端末１０の識別情報にサイネージＩＤを対応付けてもよい。

【0064】

次に、ユーザ端末１０では、視線センサ１４０によりユーザの視線検出が行われ（ステップＳ１１２）、また、カメラ１５０によりデジタルサイネージ３０の撮像が行われる（ステップＳ１１５）。ユーザは、ユーザ端末１０を構えた状態で、デジタルサイネージ３０の表示部３１に視線を向け、表示部３１の表示内容を閲覧する。なお、感情推定のためのユーザ端末１０の操作方法および構え方等の説明が、デジタルサイネージ３０に表示されてもよいし、接続要求に応じてサーバ２０からユーザ端末１０に送信され、ユーザに通知されてもよい。

【0065】

続いて、ユーザ端末１０は、視線情報およびサイネージ撮像画像をサーバ２０に送信する（ステップＳ１１８）。

【0066】

次いで、サーバ２０は、注視点算出部２２１により、視線情報とサイネージ撮像画像に基づいて、注視点を算出する（ステップＳ１２１）。

【0067】

次に、サーバ２０は、感情推定部２２２により、視線情報とデジタルサイネージ３０の表示内容に基づいて、情報に対するユーザ感情を推定する（ステップＳ１２４）。

【0068】

次いで、サーバ２０は、提示情報取得部２２３により、ユーザに対応付けられたサイネージＩＤに基づいてサイネージ別ＤＢ２３１を参照し、ユーザの感情に対応する提示情報を取得する（ステップＳ１２７）。

【0069】

次に、サーバ２０は、提示制御部２２４により、提示情報をユーザ端末１０に送信する（ステップＳ１３０）。

【0070】

そして、ユーザ端末１０は、サーバ２０から受信した提示情報を表示部１６０に表示する（ステップＳ１３３）。これにより、不特定多数のユーザに利用されるデジタルサイネージ３０で情報探索中のユーザの感情に対応する情報を、当該ユーザのユーザ端末１０で個別に提示することができる。

【0071】

以上、本実施形態による情報提示システムの動作処理の一例について説明した。なお、図７に示す動作処理の流れは一例であって、本発明はこれに限定されない。例えば、図７に示す各処理のうち、一部が図７に示す順と異なる順で行われてもよいし、同時に行われてもよいし、また、いずれかの処理がスキップされてもよい。例えば、ステップＳ１１２に示す視線検出と、ステップＳ１１５に示す撮像処理は、同時に一定時間行われてもよい。また、ステップＳ１１８に示す送信処理は、ステップＳ１１２に示す視線検出およびステップＳ１１５に示す撮像処理と並行して行われてもよい。また、ユーザ端末１０は、ステップＳ１０３の代わりに位置情報を取得してサーバ２０に送信し、サーバ２０において、ユーザ端末１０の位置情報から、ユーザが利用するデジタルサイネージ３０のサイネージＩＤを特定してもよい。

【0072】

＜５．応用例＞
上述した実施形態では、不特定多数のユーザが同時にデジタルサイネージ３０を利用することが可能であり、各ユーザに対して、感情推定結果に応じた情報をユーザ端末１０から個別に提示している。ここで、不特定多数のユーザの中には、友人または家族等のグループが存在する場合がある。この場合、グループ全体の感情を推定し、その推定結果に応じた情報をグループに提示することが望ましい。そこで、上述した実施形態の応用例として、複数のユーザをグループとして処理する場合について説明する。

【0073】

図８は、本応用例の概要について説明する図である。本応用例では、図８に示すように、デジタルサイネージ３０を利用する複数のユーザであるユーザＸとユーザＹが友人または家族等のグループである場合を想定する。ユーザＸとユーザＹのグループ設定は、より具体的には、ユーザＸのユーザ端末１０Ｘと、ユーザＹのユーザ端末１０Ｙとのアカウント連携により実現される。本応用例では、各ユーザの表示部３１上での視線移動パターンに基づく認証により、アカウント連携を行う。各ユーザの視線情報は、上述した実施形態と同様に、各自のユーザ端末１０において検出される。

【0074】

（５－１．構成）
図９は、本応用例によるサーバ２０Ａの構成の一例を示すブロック図である。図９に示すように、サーバ２０Ａは、通信部２１０、制御部２２０Ａ、および記憶部２３０Ａを有する。図３を参照して説明した同符号の構成については、ここでの詳細な説明は省略する。

【0075】

制御部２２０Ａは、注視点算出部２２１、感情推定部２２２、提示情報取得部２２３、提示制御部２２４、パターン管理部２２５、パターン認識部２２６、および認証部２２７として機能する。

【0076】

パターン管理部２２５は、グループ設定の認証に用いる視線移動パターンを管理する機能を有する。具体的には、パターン管理部２２５は、グループ設定の認証に用いる視線移動パターンを生成し、パターンＤＢ２３２に格納する。グループ設定の認証はサイネージ毎に行われるため、パターン管理部２２５は、生成した視線移動パターンをパターンＤＢ２３２にサイネージ別に格納する。視線移動パターンとは、例えば表示部３１の表示エリアを等しい大きさに分割した所定数の分割エリアにおいて注視点が滞留した順番である。まず、パターン管理部２２５は、デジタルサイネージ３０に設けられる表示部３１の表示エリアを、所定数の等しい大きさに分割し、分割エリアの範囲を、サイネージ別ＤＢ２３１に保持させる。次いで、パターン管理部２２５は、視線移動パターンとして、どの分割エリアにどの順番で注視点を滞留させるかをランダムに生成する。なお、パターン管理部２２５は、同じサイネージにおいて既に他のグループ向けの視線移動パターンを生成している場合、当該視線移動パターンと重複しない視線移動パターンを生成する。また、分割エリアの数は特に限定しない。

【0077】

パターン管理部２２５により生成された視線移動パターンは、ユーザ端末１０に提示され得る。図１０は、本応用例による視線移動パターンのユーザ通知画面の一例を示す図である。図１０に示すように、ユーザ端末１０の表示部１６０において、分割エリアにおける注視点の移動順が示される。

【0078】

パターン認識部２２６は、注視点算出部２２１により算出されたユーザの注視点から、ユーザの視線移動パターンを認識する機能を有する。以下、図１１を参照して具体的に説明する。

【0079】

図１１は、本応用例による視線移動パターンの認識について説明する図である。図１１に示すように、表示部３１が等しい大きさに分割された分割エリアＥ１～Ｅ９において、パターン認識部２２６は、注視点がどの分割エリアにどの順番で滞留したかを判定し、視線移動パターンを認識する。ここで、滞留とは、注視点が特定範囲にある状態を言う。特定範囲とは、各分割エリアの範囲である。例えば、パターン認識部２２６は、Δｔ×ｎ時間が経過した際に計測されたユーザの注視点である座標位置Ｐｎ（ｘｎ，ｙｎ）が分割エリアＥ１の範囲内にある場合、注視点が分割エリア１に滞留していると判定する。

【0080】

ただし、パターン認識部２２６は、Ｐｎ（ｘｎ，ｙｎ）からＰｎ＋１（ｘｎ＋１，ｙｎ＋１）のような短い時間で、ある分割エリアの特定範囲内を注視点が通り過ぎた場合は、その分割エリアに滞留しているとは判定しない。図１１に示す例では、分割エリアＥ７から分割エリアＥ５に視線移動する際に、注視点が分割エリアＥ８を通過するが、短い時間で通り過ぎているだけのため、パターン認識部２２６は、分割エリアＥ８への滞留はしていないと判定する。

【0081】

図１１に示す例では、パターン認識部２２６は、注視点が、分割エリアＥ１、分割エリアＥ４、分割エリアＥ７、分割エリアＥ５、分割エリアＥ３、分割エリアＥ６、および分割エリアＥ９の順で滞留したと判定し、当該順番を視線移動パターンとして認識する。

【0082】

認証部２２７は、パターン認識部２２６で認識されたユーザの視線移動パターンが、パターン管理部２２５で生成された認証用の視線移動パターンと一致しているか否かを判断する。一致している場合、そのユーザの認証は成功となる。アカウント連携の開始要求に応じた認証時の場合、認証部２２７は、認証が成功したユーザのユーザ端末１０をホスト端末に設定する。一方、クライアント認証要求に応じた認証時の場合、認証部２２７は、認証が成功したユーザのユーザ端末１０を、既にホスト端末に設定したユーザ端末１０のアカウントと連携するクライアント端末に設定することで、グループの設定を実現する。アカウントの連携は、ホスト端末の識別情報にクライアント端末の識別情報を対応付けることで行われてもよいし、ホスト端末とクライアント端末に同じグループ番号が付与されることで行われてもよい。認証部２２７は、認証の成否、またはアカウントが連携できたこと（グループを設定したこと）を、ユーザ端末１０に通知してもよい。なお、認証部２２７は、クライアント端末の認証において、さらにサイネージＩＤがホスト端末と一致することを、認証成功の条件としてもよい。

【0083】

以上により、グループ設定が行われる。グループ設定が行われた場合、感情推定部２２２は、グループの各ユーザの感情を統合してグループ全体の感情を推定してもよい。例えば、感情推定部２２２は、グループの各ユーザの感情のうち過半数を占める感情を、グループ全体の感情と推定してもよい。また、感情推定部２２２は、ホストユーザ（ホスト端末に設定されたユーザ端末のユーザ）の感情を、グループ全体の感情と推定してもよい。そして、提示制御部２２４は、グループ全体の感情に対応する提示情報を、グループの全ユーザ、すなわちアカウント連携された複数のユーザ端末１０に送信する制御を行う。これにより、グループ設定された各ユーザ端末１０で、同じ提示情報を見ることができる。

【0084】

記憶部２３０Ａには、サイネージ別ＤＢ２３１と、パターンＤＢ２３２が格納されている。サイネージ別ＤＢ２３１には、サイネージＩＤおよび表示内容に関する情報の他、分割エリアの範囲を示す情報が格納される。パターンＤＢ２３２には、サイネージ別に生成された１以上の視線移動パターンが格納される。なお、制御部２２０Ａは、設定したユーザのグループが、デジタルサイネージ３０の利用を終了した場合、当該グループの認証に用いていた視線移動パターンを、パターンＤＢ２３２から破棄する。

【0085】

以上、本応用例によるサーバ２０Ａの構成の一例について説明した。

【0086】

（５－２．動作処理）
次に、本応用例による情報提示システムの動作処理について具体的に説明する。図１２は、本応用例による情報提示システムの全体の流れの一例を示すシーケンス図である。

【0087】

まず、図１２に示すように、ユーザ端末１０Ｘおよびユーザ端末１０Ｙは、それぞれ、デジタルサイネージ３０に表示されたＱＲコードの撮像画像からサイネージＩＤを取得し（ステップＳ２０３、Ｓ２０９）、サイネージＩＤを含む接続要求をサーバ２０に送信する（ステップＳ２０６、Ｓ２１２）。本応用例では、ユーザ端末１０Ｘおよびユーザ端末１０Ｙにおいて、それぞれ同じデジタルサイネージ３０から同じサイネージＩＤが取得され、サーバ２０Ａに送信される。

【0088】

次いで、サーバ２０Ａは、ユーザ端末１０Ｘ、ユーザ端末１０Ｙからの接続要求に応じて、受信したサイネージＩＤを、各ユーザに対応付ける（ステップＳ２１５）。ここでは、ユーザ端末１０Ｘの識別情報と、ユーザ端末１０Ｙの識別情報に、同じサイネージＩＤが対応付けられる。

【0089】

次に、ユーザ端末１０Ｘは、ホスト側としてのアカウント連携処理を開始する（ステップＳ２１８）。例えばユーザ端末１０Ｘのメニュー画面に表示される、「ホスト側アカウント連携処理開始」等のボタンがユーザＸに選択された際に開始される。

【0090】

次いで、ユーザ端末１０Ｘは、アカウント連携の開始要求をサーバ２０Ａに送信する（ステップＳ２２１）。

【0091】

次に、サーバ２０Ａは、アカウント連携開始要求に応じて、パターン管理部２２５により、視線移動パターンを生成する（ステップＳ２２４）。

【0092】

次いで、サーバ２０Ａは、生成された視線移動パターンをユーザ端末１０Ｘに送信する（ステップＳ２２７）。

【0093】

次に、ユーザ端末１０Ｘは、受信した視線移動パターンを表示部１６０に表示する（ステップＳ２３３）。表示例は、図１０に示す通りである。ユーザＸは、視線移動パターンを確認すると、デジタルサイネージ３０の表示部３１に対して視線入力を開始する。

【0094】

次いで、ユーザ端末１０Ｘでは、視線センサ１４０によりユーザＸの視線検出が行われ（ステップＳ２３３）、また、カメラ１５０によりデジタルサイネージ３０の撮像が行われる（ステップＳ２３６）。

【0095】

続いて、ユーザ端末１０Ｘは、ユーザＸの視線情報およびサイネージ撮像画像をサーバ２０Ａに送信する（ステップＳ２３９）。

【0096】

次いで、サーバ２０Ａは、注視点算出部２２１により、ユーザＸの視線情報とサイネージ撮像画像に基づいて、ユーザＸの注視点を算出する（ステップＳ２４２）。

【0097】

次に、サーバ２０Ａは、算出された注視点に基づいてパターン認識部２２６によりユーザＸの視線移動パターンを認識し、認証部２２７により、認証用に生成された上記視線移動パターンと一致しているか否かの判断を行い、一致している場合はユーザＸをホストとして認証する（ステップＳ２４５）。具体的には、認証部２２７は、視線移動パターンが一致している場合、ユーザ端末１０Ｘをホスト端末に設定する。

【0098】

次いで、サーバ２０Ａは、ホスト認証が成功したことをユーザ端末１０Ｘに通知する（ステップＳ２４８）。

【0099】

ユーザ端末１０Ｘは、ホスト認証が成功した旨を表示部１６０に表示してユーザＸに通知する（ステップＳ２５１）。この際、ユーザ端末１０Ｘは、表示部１６０に、グループに参加させたいユーザに認証用の視線移動パターンを共有するよう案内する情報を表示してもよい。ユーザＸは、例えば図１０に示すような認証用の視線移動パターンの表示を、一緒に居るユーザＹに見せて共有する。

【0100】

ユーザ端末１０Ｙでは、クライアント側としてのアカウント連携処理が開始される（ステップＳ２５４）。例えばユーザ端末１０Ｙのメニュー画面に表示される、「クライアント側アカウント連携処理開始」等のボタンがユーザＹに選択された際、ユーザ端末１０Ｙはアカウント連携処理を開始する。ユーザＹは、ユーザＸ（ホスト）から共有された視線移動パターンを確認すると、アカウント連携処理の開始操作を行った上で、デジタルサイネージ３０の表示部３１に対して視線入力を開始する。ユーザ端末１０Ｙは、アカウント連携処理として以下の処理を行う。

【0101】

まず、ユーザ端末１０Ｙは、視線センサ１４０によりユーザＹの視線検出を行い（ステップＳ２５７）、さらに、カメラ１５０によりデジタルサイネージ３０の撮像を行う（ステップＳ２６０）。

【0102】

次に、ユーザ端末１０Ｙは、ユーザＹの視線情報およびサイネージ撮像画像を含むクライアント認証要求をサーバ２０Ａに送信する（ステップＳ２６３）。

【0103】

次いで、サーバ２０Ａは、注視点算出部２２１により、ユーザＹの視線情報とサイネージ撮像画像に基づいて、ユーザＹの注視点を算出する（ステップＳ２６６）。

【0104】

次に、サーバ２０Ａは、算出された注視点に基づいてパターン認識部２２６によりユーザＹの視線移動パターンを認識し、認証部２２７により、クライアント認証を行う（ステップＳ２６９）。具体的には、認証部２２７は、ユーザＹの視線移動パターンが、認証用に生成された上記視線移動パターンと一致しているか否かの判断を行う。次に、認証部２２７は、視線移動パターンが一致し、さらに、ホストのユーザＸに対応付けられたサイネージＩＤと、ユーザＹに対応付けられたサイネージＩＤが一致している場合は、ユーザＹをクライアントとして認証（ユーザ端末１０Ｙをクライアント端末に設定）する。クライアント端末の設定とは、ホスト端末とのアカウントの連携であり、これにより、複数ユーザのグループ設定が実現される。サーバ２０Ａは、クライアント認証が成功したこと（グループ設定できたこと）をユーザ端末１０Ｘおよびユーザ端末１０Ｙに通知してもよい。

【0105】

以上、本応用例によるグループ設定の動作処理について具体的に説明した。本応用例では、グループ設定（アカウント連携）に視線移動パターンを用いた認証を行うことで、パスコードの文字列の入力といった操作の手間が省かれ、決められた順番に視線を移動させるといった、より簡便な方法で認証が可能となる。なお、図１２に示す動作処理の流れは一例であって、本発明はこれに限定されない。また、グループ設定が行われた後は、上述した通り、サーバ２０Ａが、グループの各ユーザの感情推定結果を統合してグループ全体の感情を推定する。そして、サーバ２０Ａは、推定したグループ全体の感情に対応する情報を取得し、グループの各ユーザに個別に提示する制御を行う。これにより、グループ設定された各ユーザは、各ユーザ端末１０で同じ提示情報を見ることができる。

【0106】

＜６．ハードウェア構成例＞
続いて、本実施形態に係るユーザ端末１０、サーバ２０、およびサーバ２０Ａのハードウェア構成について説明する。上記の動作は、ソフトウェアと、以下に説明するハードウェアとの協働により実現される。

【0107】

図１３は、本実施形態による情報処理装置９００のハードウェア構成の一例を示すブロック図である。情報処理装置９００は、本実施形態によるユーザ端末１０、サーバ２０、およびサーバ２０Ａに適用されるハードウェア構成の一例である。

【0108】

情報処理装置９００は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）９０１と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）９０２と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）９０３と、ホストバス９０４と、ブリッジ９０５と、外部バス９０６と、インタフェース９０７と、入力機器９０８と、出力機器９０９と、ストレージ機器９１０と、ドライブ９１１と、通信機器９１３と、を備える。

【0109】

ＣＰＵ９０１は、演算処理装置および制御装置として機能し、各種プログラムに従って情報処理装置９００内の動作全般を制御する。また、ＣＰＵ９０１は、マイクロプロセッサであってもよい。ＲＯＭ９０２は、ＣＰＵ９０１が使用するプログラムおよび演算パラメータ等を記憶する。ＲＡＭ９０３は、ＣＰＵ９０１の実行において使用するプログラム、およびその実行において適宜変化するパラメータ等を一時記憶する。これらはＣＰＵバス等から構成されるホストバス９０４により相互に接続されている。ＣＰＵ９０１、ＲＯＭ９０２およびＲＡＭ９０３の協働により、ユーザ端末１０の制御部１２０、サーバ２０の制御部２２０、またはサーバ２０Ａの制御部２２０Ａが実現される。

【0110】

ホストバス９０４は、ブリッジ９０５を介して、ＰＣＩ（Ｐｅｒｉｐｈｅｒａｌ Ｃｏｍｐｏｎｅｎｔ Ｉｎｔｅｒｃｏｎｎｅｃｔ／Ｉｎｔｅｒｆａｃｅ）バス等の外部バス９０６に接続されている。なお、必ずしもホストバス９０４、ブリッジ９０５および外部バス９０６を分離構成する必要はなく、１つのバスにこれらの機能を実装してもよい。

【0111】

入力機器９０８は、マウス、キーボード、タッチパネル、ボタン、スイッチまたはマイクロフォン等、操作者が情報を入力するための入力手段と、操作者による入力に基づいて入力信号を生成し、ＣＰＵ９０１に出力する入力制御回路等から構成されている。情報処理装置９００を操作する操作者は、この入力機器９０８を操作することにより、情報処理装置９００に対して各種のデータを入力したり処理動作を指示したりすることができる。入力機器９０８により、ユーザ端末１０の操作入力部１３０が実現される。

【0112】

出力機器９０９は、例えば、ＣＲＴ（Ｃａｔｈｏｄｅ Ｒａｙ Ｔｕｂｅ）ディスプレイ装置、液晶ディスプレイ（ＬＣＤ）装置、ＯＬＥＤ（Ｏｒｇａｎｉｃ Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）装置、ランプ等の表示装置およびスピーカ等の音声出力装置を含む。出力機器９０９により、ユーザ端末１０の表示部１６０が実現される。

【0113】

ストレージ機器９１０は、データ格納用の機器である。ストレージ機器９１０は、記憶媒体、記憶媒体にデータを記録する記録装置、記憶媒体からデータを読み出す読出し装置および記憶媒体に記録されたデータを削除する削除装置等を含んでもよい。ストレージ機器９１０により、ユーザ端末１０の記憶部１７０、サーバ２０の記憶部２３０、またはサーバ２０Ａの記憶部２３０Ａが実現される。

【0114】

ドライブ９１１は、記憶媒体用リーダライタであり、情報処理装置９００に外付けされる。ドライブ９１１は、装着される磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリ等のリムーバブル記憶媒体９１２に記録されている情報を読み出して、ＲＡＭ９０３に出力する。また、ドライブ９１１は、リムーバブル記憶媒体９１２に情報を書き込むこともできる。

【0115】

通信機器９１３は、通信を行うための通信デバイス等で構成された通信インタフェースである。当該通信機器９１３により、ユーザ端末１０の通信部１１０、または、サーバ２０若しくはサーバ２０Ａの通信部２１０が実現される。

【0116】

なお、情報処理装置９００のハードウェア構成は、図１３に示す構成に限られない。例えば、情報処理装置９００は、接続されている外部の通信デバイスを介して通信を行う場合には、通信機器９１３を備えていなくてもよい。また、情報処理装置９００は、例えば、入力機器９０８または出力機器９０９等を備えなくてもよい。また、例えば、図１３に示す構成の一部または全部は、１または２以上のＩＣ（Integrated Circuit）で実現されてもよい。

【0117】

＜７．補足＞
以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。

【0118】

例えば、サーバ２０の注視点算出部２２１で行われる注視点の算出を、ユーザ端末１０の制御部１２０で行ってもよい。ユーザ端末１０は、ユーザの視線情報およびデジタルサイネージ３０の撮像画像に基づいて、デジタルサイネージ３０の表示画面上の注視点を算出し、算出結果（注視点に対応する座標位置の情報）を、サーバ２０に送信してもよい。

【0119】

また、応用例によるアカウント連携は、ユーザ感情に対応する情報の提示の際に限らず、複数のユーザアカウントを連携させたい場合に活用することも可能である。例えば、応用例によるアカウント連携は、対人ゲームのユーザ同士の通信にも適用可能である。

【0120】

また、ユーザ端末１０、サーバ２０、またはサーバ２０Ａに内蔵されるＣＰＵ、ＲＯＭ、およびＲＡＭ等のハードウェアに、ユーザ端末１０、サーバ２０、またはサーバ２０Ａの機能を発揮させるための１以上のコンピュータプログラムも作成可能である。また、当該１以上のコンピュータプログラムが記憶されたコンピュータ読み取り可能な記憶媒体も提供される。

【符号の説明】

【0121】

１０ ユーザ端末
１１０ 通信部
１２０ 制御部
１３０ 操作入力部
１４０ 視線センサ
１５０ カメラ
１６０ 表示部
１７０ 記憶部
２０、２０Ａ サーバ
２１０ 通信部
２２０、２２０Ａ 制御部
２２１ 注視点算出部
２２２ 感情推定部
２２３ 提示情報取得部
２２４ 提示制御部
２２５ パターン管理部
２２６ パターン認識部
２２７ 認証部
２３０、２３０Ａ 記憶部
２３１ サイネージ別ＤＢ
２３２ パターンＤＢ
３０ デジタルサイネージ
３１ 表示部
３１１ ＱＲコード

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】