特開2017-227780(P2017-227780A)IP Force 特許公報掲載プロジェクト 2015.5.11 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ ソニー株式会社の特許一覧
特開2017-227780情報処理装置、情報処理方法及びコンピュータプログラム
<>
  • 特開2017227780-情報処理装置、情報処理方法及びコンピュータプログラム 図000003
  • 特開2017227780-情報処理装置、情報処理方法及びコンピュータプログラム 図000004
  • 特開2017227780-情報処理装置、情報処理方法及びコンピュータプログラム 図000005
  • 特開2017227780-情報処理装置、情報処理方法及びコンピュータプログラム 図000006
  • 特開2017227780-情報処理装置、情報処理方法及びコンピュータプログラム 図000007
  • 特開2017227780-情報処理装置、情報処理方法及びコンピュータプログラム 図000008
  • 特開2017227780-情報処理装置、情報処理方法及びコンピュータプログラム 図000009
  • 特開2017227780-情報処理装置、情報処理方法及びコンピュータプログラム 図000010
  • 特開2017227780-情報処理装置、情報処理方法及びコンピュータプログラム 図000011
  • 特開2017227780-情報処理装置、情報処理方法及びコンピュータプログラム 図000012
  • 特開2017227780-情報処理装置、情報処理方法及びコンピュータプログラム 図000013
  • 特開2017227780-情報処理装置、情報処理方法及びコンピュータプログラム 図000014
  • 特開2017227780-情報処理装置、情報処理方法及びコンピュータプログラム 図000015
  • 特開2017227780-情報処理装置、情報処理方法及びコンピュータプログラム 図000016
  • 特開2017227780-情報処理装置、情報処理方法及びコンピュータプログラム 図000017
  • 特開2017227780-情報処理装置、情報処理方法及びコンピュータプログラム 図000018
  • 特開2017227780-情報処理装置、情報処理方法及びコンピュータプログラム 図000019
  • 特開2017227780-情報処理装置、情報処理方法及びコンピュータプログラム 図000020
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】特開2017-227780(P2017-227780A)
(43)【公開日】2017年12月28日
(54)【発明の名称】情報処理装置、情報処理方法及びコンピュータプログラム
(51)【国際特許分類】
   G09B 5/02 20060101AFI20171201BHJP
   G09B 5/06 20060101ALI20171201BHJP
   G09B 5/04 20060101ALI20171201BHJP
   A61B 5/00 20060101ALI20171201BHJP
【FI】
   G09B5/02
   G09B5/06
   G09B5/04
   A61B5/00 D
【審査請求】未請求
【請求項の数】18
【出願形態】OL
【全頁数】24
(21)【出願番号】特願2016-124091(P2016-124091)
(22)【出願日】2016年6月23日
(71)【出願人】
【識別番号】000002185
【氏名又は名称】ソニー株式会社
(74)【代理人】
【識別番号】100095957
【弁理士】
【氏名又は名称】亀谷 美明
(74)【代理人】
【識別番号】100096389
【弁理士】
【氏名又は名称】金本 哲男
(74)【代理人】
【識別番号】100101557
【弁理士】
【氏名又は名称】萩原 康司
(74)【代理人】
【識別番号】100128587
【弁理士】
【氏名又は名称】松本 一騎
(72)【発明者】
【氏名】吉川 清士
(72)【発明者】
【氏名】佐塚 直也
(72)【発明者】
【氏名】脇田 能宏
【テーマコード(参考)】
2C028
4C117
【Fターム(参考)】
2C028AA03
2C028BB04
2C028BB06
2C028BB09
2C028BC01
2C028BD03
4C117XB01
4C117XB20
4C117XE06
4C117XE13
4C117XE14
4C117XE15
4C117XG12
4C117XJ01
4C117XJ14
4C117XJ38
4C117XP01
4C117XP04
(57)【要約】
【課題】ユーザ毎に情報を受け取りやすい提示方法で情報を提示することの可能な情報処理装置を提供する。
【解決手段】ユーザに与えられた刺激に対するユーザの反応を検出するセンサが取得したセンサ情報に基づいて、ユーザにコンテンツを提示する処理部を備える、情報処理装置が提供される。
【選択図】図3
【特許請求の範囲】
【請求項1】
ユーザに与えられた刺激に対する前記ユーザの反応を検出するセンサが取得したセンサ情報に基づいて、前記ユーザにコンテンツを提示する処理部を備える、情報処理装置。
【請求項2】
前記処理部は、
前記センサ情報に基づいて、刺激に対するユーザの反応を表すユーザモデルをユーザ毎に設定するモデル設定部と、
前記ユーザモデルに基づいて、前記ユーザに前記コンテンツを提示する提示処理を実行する提示処理部と、
を含む、請求項1に記載の情報処理装置。
【請求項3】
前記刺激に対するユーザの反応に応じて複数の感覚タイプが設定されており、
前記モデル設定部は、前記センサ情報に基づいて、前記ユーザの反応が該当する前記感覚タイプを1または複数特定し、前記ユーザモデルとして設定する、請求項2に記載の情報処理装置。
【請求項4】
前記感覚タイプは、少なくとも視覚型、聴覚型、及び触覚型を含む、請求項3に記載の情報処理装置。
【請求項5】
前記モデル設定部は、ユーザの反応が該当する前記感覚タイプが複数ある場合、該当する前記感覚タイプに対して重み付けをし、前記感覚タイプ及び前記重み付けを前記ユーザモデルとして設定する、請求項3に記載の情報処理装置。
【請求項6】
前記ユーザモデルは、予め設定された初期ユーザモデルが初期設定されている、請求項2に記載の情報処理装置。
【請求項7】
前記提示処理部は、前記ユーザにテストコンテンツを提示するテスト処理を実行し、
前記モデル設定部は、前記テストコンテンツが提示されたときの前記センサ情報に基づいて前記ユーザの反応を評価し、評価結果に基づいて前記ユーザの前記ユーザモデルの初期設定を行う、請求項2に記載の情報処理装置。
【請求項8】
前記モデル設定部は、前記提示処理部により前記コンテンツが提示されたときの前記センサ情報に基づいて前記ユーザの反応を評価し、評価結果に基づいて前記ユーザの前記ユーザモデルを更新する、請求項2に記載の情報処理装置。
【請求項9】
前記提示処理部は、
前記コンテンツに含まれるオブジェクトのうち、ユーザに対して印象付けを行う印象オブジェクトに対し、前記ユーザモデルに基づく刺激情報を設定し、
前記刺激情報に基づき、前記印象オブジェクトの提示処理を実行する、請求項2に記載の情報処理装置。
【請求項10】
前記刺激情報は、前記印象オブジェクトを拡大または縮小させる情報である、請求項9に記載の情報処理装置。
【請求項11】
前記刺激情報は、前記印象オブジェクトを点滅させる情報である、請求項9に記載の情報処理装置。
【請求項12】
前記刺激情報は、表示する前記印象オブジェクトに対して音声を付加する情報である、請求項9に記載の情報処理装置。
【請求項13】
前記刺激情報は、前記印象オブジェクトの提示とともに所定の機器を振動させる情報である、請求項9に記載の情報処理装置。
【請求項14】
前記提示処理部は、前記印象オブジェクトの重要度に基づいて、設定する前記刺激情報を変更する、請求項9に記載の情報処理装置。
【請求項15】
前記処理部は、さらにユーザ特性に基づいて、前記ユーザにコンテンツを提示する、請求項1に記載の情報処理装置。
【請求項16】
前記センサは、ユーザの生体情報を取得する生体センサ、または、ユーザを撮像する撮像装置のうち少なくともいずれか一方を含む、請求項1に記載の情報処理装置。
【請求項17】
刺激とともにコンテンツを提示すること、
ユーザに与えられた前記刺激に対する前記ユーザの反応をセンサにより検出すること、
前記センサが取得したセンサ情報に基づいて、前記ユーザの優位感覚を推定すること、を含む、情報処理方法。
【請求項18】
コンピュータを、ユーザに与えられた刺激に対する前記ユーザの反応を検出するセンサが取得したセンサ情報に基づいて、前記ユーザにコンテンツを提示する処理部を備える、情報処理装置として機能させるコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、情報処理装置、情報処理方法及びコンピュータプログラムに関する。
【背景技術】
【0002】
コンテンツの普及に伴い、ユーザへの情報の提示に際し、ユーザ毎に適切に情報を提示することが検討されている。例えば、ユーザの嗜好を分析してユーザの嗜好に合った情報を提示することや、ユーザの発想支援においてユーザがアイデアを出しやすい発想刺激をパーソナライズして提示すること(例えば、特許文献1)等が行われている。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2010−244334号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
ここで、人間は、五感、すなわち視覚、聴覚、触覚、味覚、嗅覚を用いて外界を感知している。この五感について、人間には優位な感覚がそれぞれ存在すると言われている。例えば、情報の提示を受けるとき、画面に表示して視覚的に提示された方が音声により聴覚的に提示される場合よりも理解しやすい等、理解しやすい情報の提示方法は人によって異なる。このような違いは、各人の五感の優位度の違いも関係していると考えられる。
【0005】
そこで、本開示では、ユーザ毎に情報を受け取りやすい提示方法で情報を提示することの可能な、新規かつ改良された情報処理装置、情報処理方法及びコンピュータプログラムを提案する。
【課題を解決するための手段】
【0006】
本開示によれば、ユーザに与えられた刺激に対するユーザの反応を検出するセンサが取得したセンサ情報に基づいて、ユーザにコンテンツを提示する処理部を備える、情報処理装置が提供される。
【0007】
また、本開示によれば、刺激とともにコンテンツを提示すること、ユーザに与えられた刺激に対するユーザの反応をセンサにより検出すること、センサが取得したセンサ情報に基づいて、ユーザの優位感覚を推定すること、を含む、情報処理方法が提供される。
【0008】
さらに、本開示によれば、コンピュータを、ユーザに与えられた刺激に対するユーザの反応を検出するセンサが取得したセンサ情報に基づいて、ユーザにコンテンツを提示する処理部を備える、情報処理装置として機能させるコンピュータプログラムが提供される。
【発明の効果】
【0009】
以上説明したように本開示によれば、ユーザ毎に情報を受け取りやすい提示方法で情報を提示することが可能となる。なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。
【図面の簡単な説明】
【0010】
図1】本開示の一実施形態に係る情報処理装置を用いたコンテンツ提示の概要を示す説明図である。
図2】同実施形態に係る情報処理装置を用いたユーザ毎のコンテンツ提示の一例を示す説明図である。
図3】同実施形態に係る情報提示システムの一構成例を示す機能ブロック図である。
図4】反応評価情報記憶部が保持する情報の一例として、生体情報とユーザの反応との関係を示す説明図である。
図5】刺激に対するユーザの反応を評価する一指標を表す説明図である。
図6】刺激に対するユーザの反応を表情から評価する場合の一指標を示す説明図である。
図7】ユーザモデル記憶部に記憶されている感覚タイプ情報の一例を示す説明図である。
図8】ユーザモデル記憶部に記憶されている刺激反応履歴テーブルの一例を示す説明図である。
図9】同実施形態に係る情報提示システムによる情報提示方法の一例を示すフローチャートである。
図10】ユースケース1として、コンテンツとして提示されるデジタル絵本のイメージを示す説明図である。
図11】印象オブジェクトに設定する刺激情報の大きさの一例を示す説明図である。
図12】印象オブジェクトに対して設定される刺激情報の内容を示す説明図である。
図13】刺激情報が過度に設定された場合にコンテンツ作成者に対して注意喚起がされることを示す説明図である。
図14】ユースケース2として、ユーザの感覚タイプに応じたガイド情報の提示例を示す説明図である。
図15】ユースケース3として、視覚型のユーザへの単語提示例を示す説明図である。
図16】触覚型のユーザへの単語提示例を示す説明図である。
図17】ユーザの反応変化によってコンテンツの提示の仕方を変更する場合の一処理例を示すフローチャートである。
図18】同実施形態に係る情報提示システムを構成する一機能部のハードウェア構成を示すハードウェア構成図である。
【発明を実施するための形態】
【0011】
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【0012】
なお、説明は以下の順序で行うものとする。
1.概要
2.情報処理装置の構成
3.情報提示方法
4.ユースケース
[ユースケース1:デジタル絵本]
[ユースケース2:感覚タイプ別のガイド情報の提示]
[ユースケース3:デジタル教材]
(1)英単語学習方法
(2)ユーザの反応変化によるコンテンツの提示変更
[ユースケース4:推定されたユーザモデルの利用]
(1)学習支援(クラス分け/チーム分け)
(2)テーマパーク・美術館・展示会
(3)コミュニケーション支援
5.ハードウェア構成
【0013】
<1.概要>
まず、図1及び図2を参照して、本開示の一実施形態に係る情報処理装置によるコンテンツの提示方法の概要を説明する。図1は、本実施形態に係る情報処理装置を用いたコンテンツ提示の概要を示す説明図である。図2は、本実施形態に係る情報処理装置を用いたユーザ毎のコンテンツ提示の一例を示す説明図である。
【0014】
本実施形態に係る情報処理装置は、ユーザ毎に情報を受け取りやすい提示方法で情報を提示する。本技術では、ユーザの感覚のうち優位に働く感覚(以下、「優位感覚」ともいう。)を推定し、優位感覚を刺激するように情報を提示することで、ユーザにとって負荷なく情報を受け取れるようにする。各ユーザの優位感覚は、ユーザの生体情報に基づき推定することができる。
【0015】
具体的には、図1に示すように、ユーザに情報を提示する際に、ある感覚(例えば、視覚、聴覚、触覚等)を刺激するように情報を提示する(P1)。このとき、当該刺激を受けたユーザの生体情報を取得する(P2)。そして、取得したユーザの生体情報を解析して当該刺激を受けたユーザの反応を推定し、ユーザの反応に基づき与えた刺激がユーザにとって効果があったか否かを評価する(P3)。プロセスP3の評価は、次に情報をユーザに提示する際に考慮するため、情報を提示する機能部へフィードバックされるとともに、ユーザの刺激に対する反応からユーザの優位感覚を推定するための情報として利用される(P4)。プロセスP4では、プロセスP1〜P3においてユーザに提示された様々な刺激に対する反応に基づき、ユーザの優位感覚を推定する。推定されたユーザの優位感覚は、情報を提示する機能部へフィードバックされることにより、優位感覚を刺激するように情報がユーザに提示される。
【0016】
例えば、図2に示すように、映像コンテンツに含まれるオブジェクトのうち視聴者に印象付けたいオブジェクト(以下、「印象オブジェクト」ともいう。)10が存在するとする。映像コンテンツには、印象オブジェクト10を提示する際に刺激情報を付加することのみ設定されている。情報処理装置は、映像コンテンツに印象オブジェクト10が設定されていると、映像コンテンツの視聴者の優位感覚に基づき、印象オブジェクト10に対して刺激情報を設定し、映像コンテンツを再生させる。
【0017】
ここで、情報に対する認識の仕方は、ユーザの優位感覚によってユーザ毎に相違すると言われている。本開示においては、ユーザの優位感覚による情報の認識の違いを感覚タイプに区分して表す。ここでは、感覚タイプとして、例えば、視覚が優位に働く視覚型、聴覚が優位に働く聴覚型、触覚が優位に働く触覚型の3つを設定する。各感覚タイプにより、情報の受け取り方、伝え方、記憶の仕方等が相違し、例えば身体の動きにもその違いが現れている。
【0018】
身体の動きの一例として、眼球の動きについてみると、まず、眼球の動きについては、視覚型のユーザは上へ動いたりキョロキョロしたりする傾向がある。また、聴覚型のユーザは一点を見据えて情報の内容に沿って動いたりやや下を見たりする傾向があり、触覚型のユーザは水平方向または下方で視線を泳がせる傾向がある。身体の動きの他の例として、手または腕の動きについてみると、視覚型のユーザは手等を上方へ向かわせる動きをする傾向があり、聴覚型のユーザは話の意味に沿った動きをする傾向があり、触覚型のユーザはオーバーアクション気味で腕を上下に動かす傾向がある。
【0019】
また、情報の伝達や記憶に関しては、視覚型のユーザは、画像や色に対するこだわりが強く、話が飛躍する傾向があり、早口であることが多い。そして、視覚型のユーザは情報を面で捉えて記憶する傾向がある。また、聴覚型のユーザは、時間、距離にこだわりがあり、一貫性のある話をする傾向がある。声の抑揚が少なく、ゆっくりとしたスピードで話す人が多い。そして、聴覚型のユーザは情報を関連付けて線で記憶する傾向がある。触覚型のユーザは、擬音語あるいは擬態語が多く、声の抑揚が多い傾向がある。そして、触覚型のユーザは情報を点として個々に記憶する傾向がある。
【0020】
そこで、本開示ではユーザの優位感覚を推定し、優位感覚を刺激するように情報をユーザに提示する。例えば、図2では、映像コンテンツ中に含まれる象を印象オブジェクト10としてユーザに印象付けるとする。このとき、ユーザの感覚タイプが視覚型であるときには、情報処理装置は、優位感覚である視覚を刺激するように、印象オブジェクト10である象を拡大/縮小させたり、動かしたり、点滅させたりしてもよい。また、ユーザの感覚タイプが聴覚型であるときには、情報処理装置は、印象オブジェクト10である象の表示とともに、優位感覚である聴覚を刺激するように鳴き声や効果音を出力するようにしてもよい。さらに、ユーザの感覚タイプが触覚型であるときには、情報処理装置は、印象オブジェクト10である象の表示とともに、優位感覚である触覚を刺激するように、ユーザが保持あるいは装着により触れている機器を振動させてもよい。振動させる機器は、例えば映像コンテンツを再生しているタブレット端末やスマートフォン、ウェアラブル端末等、表示装置を備える機器自体であってもよく、映像コンテンツを再生している機器以外の機器であってもよい。この場合、振動される機器は、映像コンテンツを再生している機器からの指示を受けて振動することも可能であり、ネットワークを介してこれらの機器を制御する制御サーバ等により制御されてもよい。
【0021】
このように、ユーザの感覚タイプに応じて、映像コンテンツ中の印象オブジェクト10の提示方法を変化させることで、各ユーザは情報を理解しやすくなり、印象オブジェクト10をユーザに印象付けやすくすることができる。
【0022】
以下、このような処理を実行させるための情報処理装置を備える情報提示システムと、これによる情報提示方法について、詳細に説明していく。
【0023】
<2.情報処理装置の構成>
まず、図3図8に基づいて、本開示の一実施形態に係る情報提示システム100の構成を説明する。なお、図3は、本開示の実施形態に係る情報提示システム100の一構成例を示す機能ブロック図である。図4は、反応評価情報記憶部130が保持する情報の一例として、生体情報とユーザの反応との関係を示す説明図である。図5は、刺激に対するユーザの反応を評価する一指標を表す説明図である。図6は、刺激に対するユーザの反応を表情から評価する場合の一指標を示す説明図である。図7は、ユーザモデル記憶部140に記憶されている感覚タイプ情報141の一例を示す説明図である。図8は、ユーザモデル記憶部140に記憶されている刺激反応履歴テーブル143の一例を示す説明図である。
【0024】
本実施形態に係る情報提示システム100は、図3に示すように、センサ類110と、モデル設定部120と、反応評価情報記憶部130と、ユーザモデル記憶部140と、提示処理部150と、コンテンツ記憶部160と、提示部170とを含む。
【0025】
センサ類110は、情報が提示されたユーザの反応を分析するためのユーザに関する情報を取得する。センサ類110としては、例えば、ユーザの生体情報を取得する生体センサ111、音声を取得する音声取得装置113、あるいはユーザを撮像する撮像装置115等がある。
【0026】
生体センサ111には、例えば、ユーザが外界から刺激を受けたときに反応する器官(効果器)の変化を生体情報として検出するセンサを用いてもよい。人間は、耳や眼等の受容器により、外界からの音や光等の刺激を受容する。受容器が受容した刺激が神経系を介して大脳の感覚中枢に伝達されることで感覚が成立する。そして、大脳の運動中枢は、この感覚に対する身体の動きを判断すると、その判断に基づく指令を効果器に伝達し、効果器を作動させる。この刺激による効果器の変化が刺激に対する反応して現れる。本開示では、生体センサ111により、このような刺激に対する効果器の変化を検出する。
【0027】
効果器の例を図4に示す。図4に示すように、効果器としては、例えば瞳孔、唾液腺、気管支、気道分泌、血圧、心拍数、肝臓、消化器、皮膚等がある。各効果器は、刺激へのユーザの感じ方より、緊張状態となり交感神経が優位に働く場合と、リラックス状態となり副交感神経が優位に働く場合とがある。例えば、瞳孔は、ユーザが受容した刺激に対して不快感を持った場合は散瞳し、ユーザが受容した刺激に対して安心感を持った場合は縮瞳する。このように、効果器には、外界からの刺激に対するユーザの感じ方に応じた変化が現れる。したがって、生体センサ111の検出値に基づき、ユーザに与えた刺激に対する反応を推定することが可能となる。生体センサ111としては、例えば、脈波センサや発汗センサ、血圧計等がある。
【0028】
また、センサ類110として、音声取得装置113または撮像装置115を備えてもよい。例えば、音声取得装置113により刺激を受けたときのユーザの音声を取得することで、声の抑揚や大きさ、話のスピード等を把握することができる。また、撮像装置115により刺激を受けたときのユーザの表情あるいは身体の動きを撮像することで、撮像された静止画像または動画像に基づき、ユーザの刺激に対する感じ方を把握することができる。また、撮像装置115は生体センサとして利用することもでき、例えば撮像装置115により撮像された画像から、顔心拍解析技術を利用して心拍数を得ることもでき、身体の微小変化から呼吸を認識することも可能である。
【0029】
以上より、センサ類110としては、少なくとも生体センサ111または撮像装置115のうちいずれか一方を有していればよいが、取得される情報が多いほどより正確にユーザの反応を認識することが可能となる。また、センサ類110としては、生体センサ111、音声取得装置113及び撮像装置115以外にも、例えばIoT(Internet of Things)センサ等も利用可能である。センサ類110により取得された検出値は、センサ情報としてモデル設定部120へ出力される。
【0030】
モデル設定部120は、センサ情報に基づいて、刺激に対するユーザの反応を表すユーザモデルをユーザ毎に設定する。まず、モデル設定部120は、センサ情報を解析し、ユーザに提示された刺激に対するユーザの反応を推定する。このとき、モデル設定部120は、後述する反応評価情報記憶部130を参照し、ユーザの反応を推定してもよい。なお、反応評価情報記憶部130には、例えば図4に示した生体情報とユーザの反応との関係、ユーザの内部状態を表す二軸マッピング(図5)、ユーザの表情と情動との関係(図6)等が記憶されている。
【0031】
例えば、モデル設定部120は、生体センサ111により取得された生体情報に基づき、図4に示した効果器の変化からユーザの反応を推定してもよい。例えば、生体情報としてユーザの瞳孔が画像として取得されているとき、モデル設定部120は、瞳孔の大きさの変化を検出し、瞳孔が大きくなったときにはユーザは緊張状態にあり、瞳孔が小さくなったときにはユーザはリラックス状態にあると判定する。取得されたセンサ情報が複数ある場合には、センサ情報それぞれについてユーザの反応を推定してもよい。そして、モデル設定部120は、ユーザに提示した刺激の内容と推定したユーザの反応とを、刺激反応履歴情報としてユーザモデル記憶部140に記録する。
【0032】
また、モデル設定部120は、推定したユーザの反応を評価してユーザモデルを設定する。ユーザモデルは、ユーザの優位感覚を表しており、例えばユーザの感覚タイプにより表される。各ユーザに設定されたユーザモデルに基づいてそれぞれ情報を提示することで、ユーザ毎に異なる優位感覚を適切に刺激し、各ユーザが情報を受け取りやすくすることができる。モデル設定部120は、設定したユーザモデルを、後述するユーザモデル記憶部140に記憶する。また、モデル設定部120は、ユーザに与えた刺激に対する反応に基づき、ユーザモデルを更新してもよい。
【0033】
反応評価情報記憶部130は、モデル設定部120によってユーザに提示された刺激に対するユーザの反応を推定するための情報を記憶する記憶部である。反応評価情報記憶部130は、例えば、図4に示した生体情報とユーザの反応との関係の他に、例えば、図5に示すようなユーザの内部状態を表す円環モデルを保持してもよい。図5に示す円環モデルは、刺激に対するユーザの反応を、一軸に感情のポジティブ/ネガティブ、他軸に感情の興奮度合(本開示では「覚醒レベル」ともいう。)を表したものである。図5の覚醒レベルは、図4に示した外界からの刺激に対する効果器の変化に対応させることもできる。モデル設定部120は、センサ類110により取得されたセンサ情報に基づき特定される感情を、図5の円環モデルにマッピングすることで、刺激に対するユーザの反応傾向を定量的に表すこともできる。
【0034】
また、反応評価情報記憶部130は、例えば図6に示すように顔の表情と情動との関係を保持してもよい。口角や眼尻の上がり下がりの状態あるいは眉間のしわ等によって変化する顔の表情には、嫌悪感あるいは怒り、驚き、軽蔑、恐れ、悲しみ等、そのときの情動が現れる。そこで、様々な情動について表情を形成する顔の特徴部分を反応評価情報記憶部130に保持することで、モデル設定部120は、例えば撮像装置115により撮像された画像を解析して特徴部分を抽出し、抽出された特徴部分が現れる情動を特定することができる。
【0035】
なお、図4図6は、反応評価情報記憶部130に記憶されている情報の一例であり、本開示に係る情報提示システムは、これらの情報をすべて含んでいなくともよく、また、他の情報を含んでいてもよい。また、反応評価情報記憶部130に記憶されている情報は予め設定されていてもよく、適宜更新されてもよい。
【0036】
ユーザモデル記憶部140は、刺激に対するユーザの反応を表すユーザモデルを記憶する記憶部である。本実施形態では、ユーザモデル記憶部140は、ユーザの感覚タイプ情報141と、刺激反応履歴テーブル143とを有する。感覚タイプ情報141は、モデル設定部120により推定された各ユーザの感覚タイプをユーザモデルとして記憶する。感覚タイプ情報141には、例えば図7に示すように、ユーザ毎に、視覚型、聴覚型、触覚型の各感覚タイプの割合が含まれる。ある1つの感覚が優位に働く人もいれば、複数の感覚が同程度に機能する人もいる。そこで、図7に示すように、各感覚タイプが優位に働く程度を割合として表すことで、各ユーザにより適した刺激を設定することが可能となる。感覚タイプ情報141は、刺激反応履歴テーブル143に格納された情報に基づき推定された感覚タイプである。
【0037】
また、刺激反応履歴テーブル143には、情報提示システム100により提示されたコンテンツ及び設定した刺激情報と、これに対するユーザの反応、ユーザへの効果等の情報が格納されている。刺激反応履歴テーブル143の一構成例を図8に示す。図8に示す刺激反応履歴テーブル143には、時間、場所、シーン、コンテンツ、刺激情報、ユーザの反応、ユーザへの効果を格納することができる。刺激反応履歴テーブル143には図8に示す以外の情報を格納することも可能である。また、シーンにより取得できない情報があってもよい。この場合には、取得不可あるいは未取得であることを記録してもよい。
【0038】
刺激反応履歴テーブル143に格納される情報例を以下に示す。
[時間情報]
・コンテンツを提示した年月日、曜日
・コンテンツ使用開始からの経過時間
[場所、シーン(使用場面)]
・使用場所:家、学校、友達の家、図書館、電車の中、等。
・コンテンツの提示を受けた人物:本人のみ、兄弟、親、友達、先生、等。
[コンテンツ]
・使用コンテンツの種類:デジタル絵本、英単語の教材、等。
[刺激情報]
・コンテンツ作成者から指示された刺激の内容:印象オブジェクトと刺激の大きさ
・刺激内容:(刺激決定指針)最も効果的な刺激、最近使用していない刺激、等。
(実際に提示した刺激)視覚型10%動く、聴覚型5%効果音、等。
より具体的な刺激提示内容。
[ユーザの反応]
・生体センサのセンサ情報からの反応:心拍数上昇、発汗増大、呼吸数増、等。
・音声取得装置、撮像装置の取得情報に基づく反応
・感情の環状モデルにおける位置情報:(x,y)=(Nx,Ny)
[ユーザへの効果]
・評価とその根拠
例)10段階評価:7、根拠:刺激呈示時の生体反応より
10段階評価:3、根拠:小テストを間違えた
【0039】
刺激反応履歴テーブル143に格納される刺激を与えたことによるユーザへの効果については、後から更新されることがあり得る。例えば、英単語教材のコンテンツを使用した際にユーザに英単語を覚えさせるような刺激を付加したとする。提示した刺激に対してユーザが一見良さそうな反応をしたことから当該刺激は効果ありとしたが、その後小テストを実施したところ、全然理解していないことが分かった場合には、提示した刺激は実際には効果がなかったと更新する、というような場合である。
【0040】
ユーザモデル記憶部140の保持する情報は、モデル設定部120により適宜更新される。例えば、ある刺激に対する反応がある度にリアルタイムに更新してもよく、一定期間経過後にバッチ処理的に更新してもよい。また、ユーザモデル記憶部140は、後述する提示処理部150に参照され、提示処理部150によりコンテンツに含まれる印象オブジェクトに刺激が設定される。
【0041】
提示処理部150は、コンテンツ記憶部160に記憶されている各種コンテンツを、提示部170を介してユーザに提示する。提示処理部150は、コンテンツ記憶部160に記憶されたコンテンツに含まれる印象オブジェクトに対して、ユーザモデル記憶部140に格納されている情報に基づき刺激を設定し、提示部170へ出力する。例えば、提示処理部150は、ユーザモデル記憶部140を参照する際に、感覚タイプ情報141に基づき設定する刺激情報を決定してもよい。また、提示処理部150は、例えば刺激反応履歴テーブル143を参照し、過去の刺激内容とその反応の履歴から今回の刺激に関係する履歴情報を抽出し、抽出された情報より刺激に対する反応とその効果を確認した上で、今回設定する刺激情報を決定してもよい。また、提示処理部150は、ユーザモデル以外にも、例えばユーザの嗜好、ユーザにより設定されたユーザ情報等のユーザ特性に基づき、刺激情報を設定してもよい。
【0042】
コンテンツ記憶部160は、ユーザに提示するコンテンツを記憶する記憶部である。コンテンツ記憶部160は、提示処理部150と同一の機器あるいはサーバに設けられてもよく、クラウド上に保持されているコンテンツであってもよい。コンテンツとしては、特に制限されるものではないが、コンテンツの提示に際してユーザに対して刺激を付加可能なコンテンツを想定してもよい。また、当該コンテンツにはデジタルコンテンツも含まれる。例えば、学習ドリル等の教育系コンテンツや、デジタル絵本等の書籍コンテンツ、実映像に対してリアルタイムに画像を合成して表示させるARコンテンツ等へも適用可能である。
【0043】
提示部170は、印象オブジェクトに設定された刺激とともにコンテンツをユーザに提示する。提示部170は、例えば情報を表示する表示部、音声を出力する音声出力部、機器を振動させる振動発生部等を含む。なお、コンテンツと印象オブジェクトに設定される刺激とは、必ずしも同一機器から提示されなくてもよい。例えば、印象オブジェクトの提示とともに振動を与える場合、印象オブジェクトを含むコンテンツはタブレット端末に表示させるが、振動はリストバンド型端末やスマートフォン等の他の機器を印象オブジェクトの表示に同期して振動させてもよい。
【0044】
<3.情報提示方法>
図9に、図3に示した情報提示システム100による基本的な情報提示方法を示す。図9は、本実施形態に係る情報提示システム100による情報提示方法の一例を示すフローチャートである。
【0045】
本実施形態に係る情報提示システム100では、まず、ユーザに提示するコンテンツがコンテンツ作成者により選択される(S100)。このとき、コンテンツ中、ユーザに印象付けたいオブジェクトが印象オブジェクトとして設定される(S110)。ステップS100、S110は、コンテンツがユーザに提供される前のコンテンツ作成段階である。コンテンツ作成者は、印象オブジェクトに対して具体的な動きや音声等を設定する必要はなく、印象オブジェクトをユーザに印象付けることのみを設定すればよい。
【0046】
コンテンツ作成者により印象オブジェクトが設定されたコンテンツがユーザ利用可能な状態になると、ユーザは、コンテンツを取得して使用することができる。ユーザがコンテンツの利用を開始すると、情報提示システム100の提示処理部150は、ユーザモデル記憶部140を参照し、コンテンツの提示方法を決定する(S120)。例えば、提示処理部150は、ユーザモデル記憶部140の感覚タイプ情報141を参照し、コンテンツを利用するユーザの感覚タイプに応じた刺激情報を設定する。例えば、ユーザが視覚型の感覚タイプである場合には、印象オブジェクトを拡大縮小させたり、点滅して表示させたりする。ステップS120にてコンテンツの提示方法が決定されると、コンテンツが再生され(S130)、ユーザにコンテンツが提示される。印象オブジェクトの提示時には、設定された刺激情報も合わせて提示される。
【0047】
コンテンツが提示されているとき、ユーザの生体情報や表情、音声等がセンサ類110によって取得されている(S140)。センサ類110により取得されたセンサ情報は、モデル設定部120へ出力される。モデル設定部120は、反応評価情報記憶部130を参照し、刺激が与えられたときのユーザの反応を評価し、感覚タイプを推定する(S150)。モデル設定部120は、刺激反応履歴テーブル143に、提示したコンテンツ、印象オブジェクト、設定した刺激情報、刺激に対するユーザの反応、刺激のユーザへの効果等を記録し、感覚タイプ情報141を今回推定された感覚タイプで更新する(S160)。ステップS120〜SS160までの処理は、例えばコンテンツの再生が終了されるまで実施される(S170)。
【0048】
以上、情報提示システム100による基本的な情報提示方法について説明した。かかる情報提示方法によれば、ユーザ毎に、最も情報を受け取りやすい方法で情報を提示することができる。また、ユーザに応じた適切な刺激方法を自動で実施させることができるので、コンテンツ作成者は、期待する刺激を印象オブジェクトに与える際に、詳細な刺激提示方法を設定する必要がない。
【0049】
なお、刺激に対するユーザの反応が得られていないとき、ユーザモデル記憶部140には、初期ユーザモデルとして、例えば予め設定された固定ユーザモデルまたは一般ユーザモデルを設定してもよい。固定ユーザモデルは特に限定されず、例えば感覚タイプを「視覚型」のみに設定する等、任意の初期値が設定されればよい。一般ユーザモデルは、例えば、過去に取得された他のユーザの感覚タイプ情報の平均値としてもよい。あるいは、実際のコンテンツをユーザに提示する前に、大まかな感覚タイプを特定するためのテストコンテンツを提示して、初期ユーザモデルを設定してもよい。このとき、テストコンテンツが提示されたときに取得されたセンサ情報に基づいてユーザの反応を評価し、ユーザの感覚タイプが推定される。このように、ユーザのユーザモデルを設定するためテスト処理を実施することで、コンテンツ再生開始直後からユーザの感覚に適した刺激情報が提示されるようになる。
【0050】
<4.ユースケース>
以下、本実施形態に係る情報提示システムのユースケースについて説明する。
【0051】
[ユースケース1:デジタル絵本]
まず、図10図13に基づいて、本実施形態に係る情報提示システム100により、コンテンツとしてデジタル絵本を提示する場合を説明する。なお、図10は、コンテンツとして提示されるデジタル絵本のイメージを示す説明図である。図11は、印象オブジェクトに設定する刺激情報の大きさの一例を示す説明図である。図12は、印象オブジェクトに対して設定される刺激情報の内容を示す説明図である。図13は、刺激情報が過度に設定された場合にコンテンツ作成者に対して注意喚起がされることを示す説明図である。
【0052】
本ユースケースでは、デジタル絵本を再生する際に、デジタル絵本の物語中に登場する人、動物、物体に刺激情報を設定し、デジタル絵本をおもしろく、また、ユーザの印象に残りやすくすることを考える。通常、デジタル絵本のコンテンツは、図10に示すようにタブレット端末等の端末2のディスプレイ20に静止画像あるいは動画像を表示させて使用される。例えば、「赤ずきんちゃん」のデジタル絵本について、登場する赤ずきん21及びオオカミ23がユーザに印象付ける印象オブジェクトとしてコンテンツ作成者により設定されているとする。このとき、コンテンツ作成者は、各印象オブジェクトに対して、刺激の大きさを表す覚醒レベルを設定する。覚醒レベルが大きいほど、刺激は大きくなる。例えば図11に示す例では、オオカミの覚醒レベルは4、赤ずきんの覚醒レベルは2に設定されている。
【0053】
情報提示システム100の提示処理部150は、例えば、ユーザモデル記憶部140の感覚タイプ情報141を参照し、ユーザの感覚タイプ及び設定された印象オブジェクトの覚醒レベルに基づき、コンテンツとともに与える刺激を設定する。図12に、刺激情報と覚醒レベルとの設定例を示す。かかる情報は、ユーザモデル記憶部140に記憶されていてもよい。図12では、視覚型のユーザへの刺激として、印象オブジェクトの動きの大きさ、聴覚型のユーザへの刺激として効果音の大きさ、触覚型のユーザへの刺激として、端末2の振動時間が設定される。本例において、デジタル絵本を利用するユーザは、視覚型、聴覚型、触覚型のすべてのタイプの特徴を有しているが、視覚型がより優位にあるため、印象オブジェクトの動きが他の刺激よりも強調されるようにコンテンツが提示される。
【0054】
提示処理部150は、図12に示した刺激情報と覚醒レベルとの関係に基づき、覚醒レベル4のオオカミ23に対しては、通常の動きよりも20%大きく動かすとともに、通常よりも10%大きい音量で効果音を出力し、端末2を3秒間振動させる。一方、覚醒レベル2の赤ずきん21に対しては、設定される刺激はオオカミ23よりも小さくなり、通常の動きよりも10%大きく動かすとともに、通常よりも5%大きい音量で効果音を出力し、端末2を1秒間振動させる。このように、コンテンツ作成者は印象オブジェクトの設定とその刺激の大きさとを設定するだけで、自動的に印象オブジェクトの具体的な動きが設定される。
【0055】
ここで、コンテンツ作成者が印象オブジェクトに対する覚醒レベルを設定できることから、意図しない刺激まで設定してしまい、印象オブジェクトに対するユーザの注意力を反って散漫させる可能性もある。例えば、図13上側に示すように、印象オブジェクトである赤ずきん21及びオオカミ23に加え、葉っぱ25にも刺激情報が設定され、各オブジェクトの動きや効果音、端末2の振動が所定のレベルを超えたとする。過度の刺激が設定されているか否かの判定は、例えば、同時に表示される印象オブジェクトのうち刺激情報が設定されているオブジェクト数が所定数以上であり、かつ、各覚醒レベルが4以上である場合に該当するかによって行ってもよい。過度の刺激が設定された場合には、コンテンツ作成者が作成内容を確認する際に、例えば図13下側に示すように、過度の刺激が設定されていることを示すメッセージ27をディスプレイ20に表示させたり、音声出力したりする等によってユーザに通知してもよい。
【0056】
[ユースケース2:感覚タイプ別のガイド情報の提示]
次に、図14に基づいて、本実施形態に係る情報提示システム100により、コンテンツとしてARを用いたガイド情報を提示する場合について説明する。図14は、ユーザの感覚タイプに応じたガイド情報の提示例を示す説明図である。ここでは、実画像が表示されている上に重畳して表示されるARを用いたガイド情報を、ユーザの感覚タイプに応じて適切に提示する例を示す。ガイド情報が印象オブジェクトに対応する。このとき、実画像及びガイド情報が表示される端末3は、スマートフォンやタブレット端末の他、ヘッドマウントディスプレイやアイウェア端末等を用いることができる。
【0057】
図14に示す例では、ユーザを別館に案内するガイド情報を提示する。このとき、コンテンツ作成者は、ユーザが目的地とした場所を印象オブジェクトとすることのみ設定する。ユーザは、別館への案内を端末3に指示すると、情報提示システム100の提示処理部150は、ユーザモデル記憶部140を参照してユーザの感覚タイプを取得する。そして、ユーザの感覚タイプに応じてガイド情報を提示する。例えば、視覚型のユーザに対しては、ディスプレイ30に表示される別館の位置を視覚的に示すガイドオブジェクト31を強調して表示する。また、例えば聴覚型のユーザに対しては、ディスプレイ30にはガイドオブジェクト31を視覚型のユーザに対して提示される場合よりも小さく表示するが、合わせて音声により別館の位置が通知される。さらに、例えば触覚型のユーザに対しては、聴覚型のユーザの場合と同様にガイドオブジェクト31をディスプレイ30に小さく表示するが、ディスプレイ30内に別館が表示されている場合に端末3を振動させることで、別館の位置を通知するようにしてもよい。
【0058】
また、ガイド情報提示の停止を行う際のユーザの行動より、当該ユーザの優位感覚を推定することも可能である。例えばガイド情報提示の停止の処理として、ガイドを確認後ウィンクする、ガイドを確認後「OK」と言う、ガイドを確認後に指を指す、の3つの動作を設定しておく。いずれの動作によっても同様にガイド情報提示の停止が実行されるが、ユーザが選択する動作が優位感覚により自然に選択されたものと推定することができる。例えば、ユーザがガイドを確認後ウィンクした場合には視覚型、ユーザがガイドを確認後「OK」と言った場合には聴覚型、ユーザがガイドを確認後に指を指した場合には触覚型を判定してもよい。このような動作もユーザモデル記憶部140に保持しておくことで、ユーザの感覚タイプの推定に利用することができる。
【0059】
[ユースケース3:デジタル教材]
次に、本実施形態に係る情報提示システム100により、学習用のデジタル教材を提示する場合について説明する。
【0060】
(1)英単語学習方法
まず、図15及び図16に基づいて、本実施形態に係る情報提示システム100により、コンテンツとして英単語教材を提示する場合について説明する。図15は、視覚型のユーザへの単語提示例を示す説明図である。図16は、触覚型のユーザへの単語提示例を示す説明図である。本ユースケースは、英単語教材を用いてユーザが英単語を覚える際に、ユーザが覚えやすいように英単語を提示する。ここでは英単語が印象オブジェクトとなり、図15及び図16では、「elephant」という英単語を印象オブジェクト41となる。
【0061】
ユーザがタブレット端末4を用いて英単語の学習を開始すると、提示処理部150は、ユーザモデル記憶部140を参照してユーザの感覚タイプを取得する。そして、ユーザの感覚タイプに応じて、印象オブジェクト41である英単語を提示する。例えば、視覚型のユーザに対しては、ディスプレイ40に「elephant」と英単語を表示し、さらに、単語を構成するアルファベット41a〜41hを一文字ずつ、他のアルファベットとの表示が異なるように表示させる。例えば、図15の例では、左から「e」、「l」、「e」、・・・と一文字ずつ順に文字を拡大しながら表示させていく。文字が拡大されたとき、文字の色を変化させてもよい。
【0062】
また、例えば聴覚型のユーザに対しては、ディスプレイ40に「elephant」と英単語を表示するとともに、音声で“イー・エル・イー・ピー・エイチ・エー・エヌ・ティー・・・エレファント”と再生してもよい。さらに、例えば触覚型のユーザに対しては、図16上側に示すように、最初は、ディスプレイ40に「elephant」と英単語が薄く表示されている。これを下書きオブジェクト43とする。そして、ユーザに、ディスプレイ40に表示された下書きオブジェクト43を、タッチペン6や指等の操作体によりなぞらせ、英単語を書かせる。
【0063】
このように、本実施形態に係る情報提示システム100を用いることで、ユーザの感覚タイプに応じて、英単語の提示を変化させることで、ユーザが覚えやすい提示方法で情報を提示することができる。
【0064】
(2)ユーザの反応変化によるコンテンツの提示変更
デジタル教材をユーザの自主学習に利用する場合、ユーザの感覚タイプに応じて適切な刺激情報を与えることで、記憶力向上あるいは集中力の持続が期待できる。また、ユーザに相性の良い刺激だけでなく、様々な刺激をまんべんなく与えることでも脳が活性し、記憶力が向上すると言われている。そこで、デジタル教材において、重要な部分あるいはポイントとなる部分は、ユーザの感覚タイプに応じた相性の良い刺激を用い、それ以外の部分では別の刺激を用いるようにしてもよい。このように、ユーザ毎に情報の提示の仕方にメリハリをつけることで、効果的に脳の活性化を支援することが可能となる。また、どのような刺激に対してもユーザの反応が弱くなることもある。逆に、些細な刺激に過敏に反応するようになることもある。このような場合には、例えば休憩を提案することで学習自体にメリハリを持たせ、効率的に学習させるようにしてもよい。
【0065】
図17にユーザの反応変化によってコンテンツの提示の仕方を変更する場合の一処理例を示す。ユーザがコンテンツの利用を開始すると、情報提示システム100の提示処理部150は、ユーザモデル記憶部140を参照し、コンテンツの提示方法を決定する(S200)。例えば、提示処理部150は、ユーザモデル記憶部140の感覚タイプ情報141を参照し、コンテンツを利用するユーザの感覚タイプに応じた刺激情報を設定する。ステップS200にてコンテンツの提示方法が決定されると、コンテンツが再生され(S210)、ユーザにコンテンツが提示される。印象オブジェクトの提示時には、設定された刺激情報も合わせて提示される。
【0066】
コンテンツが提示されているとき、ユーザの生体情報や表情、音声等がセンサ類110によって取得されている(S220)。センサ類110により取得されたセンサ情報は、モデル設定部120へ出力される。モデル設定部120は、反応評価情報記憶部130を参照し、刺激が与えられたときのユーザの反応を評価し、感覚タイプを推定する(S230)。ここで、モデル設定部120は、ユーザの反応がここまで学習を継続してきたときのレベルよりも所定の割合以下に低下したか、あるいは、所定の割合以上上昇したかを判定する(S240)。例えば、ユーザの集中力が切れると、精神性発汗がなくなる。ステップS240の判定は、このような生体情報の変化の程度が弱くなるといった変化等を利用して行うことができる。
【0067】
ステップS240の条件を満たさず、ユーザの反応がこれまでとあまり変わらない場合には、ステップS210に戻り、引き続き学習を継続させる。一方、ステップS240の条件を満たし、ユーザの反応が低下したり過度となっていたりする場合には、提示処理部150は、これまで設定していない刺激情報があるか否かを判定する(S250)。未設定の刺激情報がある場合には、提示処理部150は、ユーザの反応の改善を期待して印象オブジェクトを提示する際の刺激情報を変更し(S260)、ステップS210に戻り、引き続き学習を継続させる。一方、ステップS250にて、未設定の刺激情報がない場合には、提示処理部150は、学習自体のメリハリを持たせるため、ユーザに休憩や深呼吸を提案する(S270)。
【0068】
このようなコンテンツの提示方法では、ユーザが学習したことを、時間という尺度だけでなく、どの程度集中して学習したかという質の面でも記録として残すことができる。また、コンテンツの印象オブジェクトとなる学習内容については、ユーザの習熟度に応じて刺激情報の度合いを変化させるようにしてもよい。例えば、デジタル教材において習熟度の高い部分の刺激情報は弱く、習熟度の低い部分の刺激情報は強く設定することで、ユーザの記憶に定着していない部分をより印象付けることが可能となる。ユーザの習熟度は、例えば、小テストの結果による評価や、コンテンツの再生回数等によって判定可能である。
【0069】
さらに、ユーザの学習状況を一定期間記録することで、学習の進め方の傾向も把握することが可能である。例えば、学習する際に、先に回答例を提示してから練習問題を解かせた方がユーザの負担が少ない人もいれば、練習問題を解かせてから回答例を提示した方がユーザの負担が少ない人もいる。そこで、ユーザ毎の学習の進め方における反応を定量的に評価し、進め方の違いによる反応を比較することで、ユーザにとって学習内容が定着しやすい学習の進め方を判断する。これにより、ユーザの学習負荷を低下させ、効率よく学習させることが可能となる。
【0070】
[ユースケース4:推定されたユーザモデルの利用]
(1)学習支援(クラス分け/チーム分け)
本実施形態に係る情報提示システム100によれば、ユーザの感覚タイプ等のユーザモデルを特定することができる。そこで、特定されたユーザのユーザモデルに基づいて、同一タイプの生徒を同一クラス、同一チームに編成することで、教師は、生徒のタイプに合わせた授業を実施することが可能となる。生徒の感覚特定に合った授業を受けることができるので、学習内容の理解度も高まり、効率よく授業を行うことが可能となる。また、教師の選定においても、生徒のタイプに合致したタイプの教師を選定することで、教師と生徒とが意識しない部分で通じ合うことも期待でき、良好にコミュニケーションを行うことができる。
【0071】
(2)テーマパーク・美術館・展示会
また、本実施形態に係る情報提示システム100によりユーザモデルを特定できることを利用して、テーマパーク、美術館または展示会等において、ユーザの受け取りやすい刺激の選択や調整を行うことも可能となる。例えば、テーマパークにおいて、アトラクションの演出として、聴覚型の人には音から入る、視覚型の人には光から入る、といったように、各ユーザの感覚タイプに応じて興味を持ちやすい刺激情報を設定するようにしてもよい。
【0072】
(3)コミュニケーション支援
さらに、本実施形態に係る情報提示システム100によりユーザモデルを特定できることを利用して、初対面の人とコミュニケーションをとる際に相手のタイプを事前に把握できるようにし、コミュニケーションを取りやすくすることもできる。例えば、翻訳システムにおいて、相手の感覚タイプに応じた翻訳の提示方法や効果を刺激情報として設定してもよい。
【0073】
<5.ハードウェア構成>
最後に、本実施形態に係る情報提示システム100を構成する一機能部のハードウェア構成例について説明する。図18は、本実施形態に係る情報提示システム100を構成する一機能部のハードウェア構成を示すハードウェア構成図である。図18では、図3に示した各機能部を備える情報処理装置900のハードウェア構成の一例として説明するが、図3に示した機能部の一部のみを備える装置の場合も同様のハードウェア構成であってもよい。
【0074】
本実施形態に係る情報処理装置900は、上述したように、コンピュータ等の処理装置により実現することができる。情報処理装置900は、図18に示すように、CPU(Central Processing Unit)901と、ROM(Read Only Memory)902と、RAM(Random Access Memory)903と、ホストバス904aとを備える。また、情報処理装置900は、ブリッジ904と、外部バス904bと、インタフェース905と、入力装置906と、出力装置907と、ストレージ装置908と、ドライブ909と、接続ポート911と、通信装置913とを備える。
【0075】
CPU901は、演算処理装置および制御装置として機能し、各種プログラムに従って情報処理装置900内の動作全般を制御する。また、CPU901は、マイクロプロセッサであってもよい。ROM902は、CPU901が使用するプログラムや演算パラメータ等を記憶する。RAM903は、CPU901の実行において使用するプログラムや、その実行において適宜変化するパラメータ等を一時記憶する。これらはCPUバスなどから構成されるホストバス904aにより相互に接続されている。
【0076】
ホストバス904aは、ブリッジ904を介して、PCI(Peripheral Component Interconnect/Interface)バスなどの外部バス904bに接続されている。なお、必ずしもホストバス904a、ブリッジ904および外部バス904bを分離構成する必要はなく、1つのバスにこれらの機能を実装してもよい。
【0077】
入力装置906は、マウス、キーボード、タッチパネル、ボタン、マイク、スイッチおよびレバーなどユーザが情報を入力するための入力手段と、ユーザによる入力に基づいて入力信号を生成し、CPU901に出力する入力制御回路などから構成されている。出力装置907は、例えば、液晶ディスプレイ(LCD)装置、OLED(Organic Light Emitting Diode)装置およびランプなどの表示装置や、スピーカなどの音声出力装置を含む。
【0078】
ストレージ装置908は、情報処理装置900の記憶部の一例であり、データ格納用の装置である。ストレージ装置908は、記憶媒体、記憶媒体にデータを記録する記録装置、記憶媒体からデータを読み出す読出し装置および記憶媒体に記録されたデータを削除する削除装置などを含んでもよい。このストレージ装置908は、ハードディスクを駆動し、CPU901が実行するプログラムや各種データを格納する。
【0079】
ドライブ909は、記憶媒体用リーダライタであり、情報処理装置900に内蔵、あるいは外付けされる。ドライブ909は、装着されている磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリ等のリムーバブル記録媒体に記録されている情報を読み出して、RAM903に出力する。
【0080】
接続ポート911は、外部機器と接続されるインタフェースであって、例えばUSB(Universal Serial Bus)などによりデータ伝送可能な外部機器との接続口である。また、通信装置913は、例えば、通信網5に接続するための通信デバイス等で構成された通信インタフェースである。また、通信装置913は、無線LAN(Local Area Network)対応通信装置であっても、ワイヤレスUSB対応通信装置であっても、有線による通信を行うワイヤー通信装置であってもよい。
【0081】
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
【0082】
また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
【0083】
なお、以下のような構成も本開示の技術的範囲に属する。
(1)
ユーザに与えられた刺激に対する前記ユーザの反応を検出するセンサが取得したセンサ情報に基づいて、前記ユーザにコンテンツを提示する処理部を備える、情報処理装置。
(2)
前記処理部は、
前記センサ情報に基づいて、刺激に対するユーザの反応を表すユーザモデルをユーザ毎に設定するモデル設定部と、
前記ユーザモデルに基づいて、前記ユーザに前記コンテンツを提示する提示処理を実行する提示処理部と、
を含む、前記(1)に記載の情報処理装置。
(3)
前記刺激に対するユーザの反応に応じて複数の感覚タイプが設定されており、
前記モデル設定部は、前記センサ情報に基づいて、前記ユーザの反応が該当する前記感覚タイプを1または複数特定し、前記ユーザモデルとして設定する、前記(2)に記載の情報処理装置。
(4)
前記感覚タイプは、少なくとも視覚型、聴覚型、及び触覚型を含む、前記(3)に記載の情報処理装置。
(5)
前記モデル設定部は、ユーザの反応が該当する前記感覚タイプが複数ある場合、該当する前記感覚タイプに対して重み付けをし、前記感覚タイプ及び前記重み付けを前記ユーザモデルとして設定する、前記(3)または(4)に記載の情報処理装置。
(6)
前記ユーザモデルは、予め設定された初期ユーザモデルが初期設定されている、前記(2)〜(5)のいずれか1項に記載の情報処理装置。
(7)
前記提示処理部は、前記ユーザにテストコンテンツを提示するテスト処理を実行し、
前記モデル設定部は、前記テストコンテンツが提示されたときの前記センサ情報に基づいて前記ユーザの反応を評価し、評価結果に基づいて前記ユーザの前記ユーザモデルの初期設定を行う、前記(2)〜(5)のいずれか1項に記載の情報処理装置。
(8)
前記モデル設定部は、前記提示処理部により前記コンテンツが提示されたときの前記センサ情報に基づいて前記ユーザの反応を評価し、評価結果に基づいて前記ユーザの前記ユーザモデルを更新する、前記(2)〜(7)のいずれか1項に記載の情報処理装置。
(9)
前記提示処理部は、
前記コンテンツに含まれるオブジェクトのうち、ユーザに対して印象付けを行う印象オブジェクトに対し、前記ユーザモデルに基づく刺激情報を設定し、
前記刺激情報に基づき、前記印象オブジェクトの提示処理を実行する、前記(2)〜(8)のいずれか1項に記載の情報処理装置。
(10)
前記刺激情報は、前記印象オブジェクトを拡大または縮小させる情報である、前記(9)に記載の情報処理装置。
(11)
前記刺激情報は、前記印象オブジェクトを点滅させる情報である、前記(9)または(10)に記載の情報処理装置。
(12)
前記刺激情報は、表示する前記印象オブジェクトに対して音声を付加する情報である、前記(9)〜(11)のいずれか1項に記載の情報処理装置。
(13)
前記刺激情報は、前記印象オブジェクトの提示とともに所定の機器を振動させる情報である、前記(9)〜(12)のいずれか1項に記載の情報処理装置。
(14)
前記提示処理部は、前記印象オブジェクトの重要度に基づいて、設定する前記刺激情報を変更する、前記(9)〜(13)のいずれか1項に記載の情報処理装置。
(15)
前記処理部は、さらにユーザ特性に基づいて、前記ユーザにコンテンツを提示する、前記(1)〜(14)のいずれか1項に記載の情報処理装置。
(16)
前記センサは、ユーザの生体情報を取得する生体センサ、または、ユーザを撮像する撮像装置のうち少なくともいずれか一方を含む、前記(1)〜(15)のいずれか1項に記載の情報処理装置。
(17)
刺激とともにコンテンツを提示すること、
ユーザに与えられた前記刺激に対する前記ユーザの反応をセンサにより検出すること、
前記センサが取得したセンサ情報に基づいて、前記ユーザの優位感覚を推定すること、を含む、情報処理方法。
(18)
コンピュータを、ユーザに与えられた刺激に対する前記ユーザの反応を検出するセンサが取得したセンサ情報に基づいて、前記ユーザにコンテンツを提示する処理部を備える、情報処理装置として機能させるコンピュータプログラム。
【符号の説明】
【0084】
10 印象オブジェクト
100 情報提示システム
110 センサ類
111 生体センサ
113 音声取得装置
115 撮像装置
120 モデル設定部
130 反応評価情報記憶部
140 ユーザモデル記憶部
141 感覚タイプ情報
143 刺激反応履歴テーブル
150 提示処理部
160 コンテンツ記憶部
170 提示部
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13
図14
図15
図16
図17
図18