知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024037337
(43)【公開日】2024-03-19
(54)【発明の名称】刺激情報生成装置及びプログラム
(51)【国際特許分類】
G06F 3/01 20060101AFI20240312BHJP
G06F 3/0483 20130101ALI20240312BHJP
【ＦＩ】
G06F3/01 560
G06F3/0483
【審査請求】未請求
【請求項の数】9
【出願形態】ＯＬ
(21)【出願番号】P 2022142114
(22)【出願日】2022-09-07
(71)【出願人】
【識別番号】000004352
【氏名又は名称】日本放送協会
(74)【代理人】
【識別番号】100121119
【弁理士】
【氏名又は名称】花村 泰伸
(72)【発明者】
【氏名】堀 真希子
(72)【発明者】
【氏名】半田 拓也
【テーマコード（参考）】
5E555
【Ｆターム（参考）】
5E555AA76
5E555BA02
5E555BA04
5E555BA83
5E555BB02
5E555BB04
5E555BC04
5E555CA42
5E555CA44
5E555CB33
5E555CB56
5E555CB65
5E555CB66
5E555CB76
5E555DA23
5E555DA24
5E555DA26
5E555DA27
5E555DA30
5E555DB53
5E555FA00
(57)【要約】
【課題】ユーザが静的なコンテンツから情報を受ける際に、コンテンツの進行と同期し、かつ適切なタイミングで適切な刺激を提示することで、ユーザに対して豊かなメディア体験を提供する。
【解決手段】刺激情報生成装置１－１のユーザ動作設定部１１－１は、対象コンテンツに対する所定数のユーザの注視点に基づきターゲット領域を設定し、サンプルコンテンツに対する対象ユーザの注視点に基づき、注視点の滞留時間の平均値をトリガ時間として求める。刺激設定部１２は、ターゲット領域に対する刺激種類、強さ等を設定し、刺激生成ルールを生成する。刺激情報生成部３０－１は、対象コンテンツに対する対象ユーザの注視点がターゲット領域内にあり、かつトリガ時間を経過したときに、刺激生成ルールから、当該ターゲット領域に対応する刺激種類及び強さ等を含む刺激情報を生成する。そして、刺激情報に応じた刺激が対象ユーザへ提示される。
【選択図】図１
【解決手段】刺激情報生成装置１－１のユーザ動作設定部１１－１は、対象コンテンツに対する所定数のユーザの注視点に基づきターゲット領域を設定し、サンプルコンテンツに対する対象ユーザの注視点に基づき、注視点の滞留時間の平均値をトリガ時間として求める。刺激設定部１２は、ターゲット領域に対する刺激種類、強さ等を設定し、刺激生成ルールを生成する。刺激情報生成部３０－１は、対象コンテンツに対する対象ユーザの注視点がターゲット領域内にあり、かつトリガ時間を経過したときに、刺激生成ルールから、当該ターゲット領域に対応する刺激種類及び強さ等を含む刺激情報を生成する。そして、刺激情報に応じた刺激が対象ユーザへ提示される。
【選択図】図１
【特許請求の範囲】
【請求項1】
静的なコンテンツから情報を受けるユーザの操作に従って前記コンテンツが進行する際に、前記ユーザに対して刺激を提示するための刺激情報を生成し、前記刺激情報を刺激提示装置へ出力する刺激情報生成装置において、
前記コンテンツに対する前記ユーザの注視点が滞留する領域であって、かつ前記コンテンツの内容を描写した所定領域をターゲット領域とし、前記刺激が提示される前記ユーザを対象ユーザとし、前記対象ユーザの操作に従って進行する前記コンテンツを対象コンテンツとして、
前記ユーザの視線を計測する視線計測装置から、所定数のユーザが前記対象コンテンツを見ているときの視線データをそれぞれ入力し、前記所定数のユーザの前記視線データの示すそれぞれの注視点の軌跡及び前記所定領域に基づいて、複数のターゲット領域を求め、前記複数のターゲット領域の位置を複数のターゲット領域位置データとして設定し、
前記視線計測装置から、前記対象ユーザが前記対象コンテンツ以外のサンプルコンテンツを見ているときの視線データを入力し、前記視線データの示す注視点の軌跡に基づいて、前記注視点の滞留時間をトリガ時間として設定し、
前記複数のターゲット領域位置データ及び前記トリガ時間を第１ＤＢに格納するユーザ動作設定部と、
前記複数のターゲット領域のそれぞれについて、当該ターゲット領域に対応する刺激種類及び強さを設定し、前記刺激種類及び強さを第２ＤＢに格納する刺激設定部と、
前記視線計測装置から、前記対象ユーザが前記対象コンテンツを見ているときの視線データを入力すると共に、前記第１ＤＢから前記複数のターゲット領域位置データ及び前記トリガ時間を読み出し、前記第２ＤＢから前記複数のターゲット領域のそれぞれについての前記刺激種類及び強さを読み出し、
前記視線データの示す注視点が前記ターゲット領域内にあり、かつ前記注視点の前記ターゲット領域内にある時間が前記トリガ時間を経過したことの条件を判定し、前記条件を満たすと判定したときに、前記ターゲット領域に対応する前記刺激種類及び強さを含む前記刺激情報を生成し、前記刺激情報を前記刺激提示装置へ出力する刺激情報生成部と、
を備えたことを特徴とする刺激情報生成装置。
前記コンテンツに対する前記ユーザの注視点が滞留する領域であって、かつ前記コンテンツの内容を描写した所定領域をターゲット領域とし、前記刺激が提示される前記ユーザを対象ユーザとし、前記対象ユーザの操作に従って進行する前記コンテンツを対象コンテンツとして、
前記ユーザの視線を計測する視線計測装置から、所定数のユーザが前記対象コンテンツを見ているときの視線データをそれぞれ入力し、前記所定数のユーザの前記視線データの示すそれぞれの注視点の軌跡及び前記所定領域に基づいて、複数のターゲット領域を求め、前記複数のターゲット領域の位置を複数のターゲット領域位置データとして設定し、
前記視線計測装置から、前記対象ユーザが前記対象コンテンツ以外のサンプルコンテンツを見ているときの視線データを入力し、前記視線データの示す注視点の軌跡に基づいて、前記注視点の滞留時間をトリガ時間として設定し、
前記複数のターゲット領域位置データ及び前記トリガ時間を第１ＤＢに格納するユーザ動作設定部と、
前記複数のターゲット領域のそれぞれについて、当該ターゲット領域に対応する刺激種類及び強さを設定し、前記刺激種類及び強さを第２ＤＢに格納する刺激設定部と、
前記視線計測装置から、前記対象ユーザが前記対象コンテンツを見ているときの視線データを入力すると共に、前記第１ＤＢから前記複数のターゲット領域位置データ及び前記トリガ時間を読み出し、前記第２ＤＢから前記複数のターゲット領域のそれぞれについての前記刺激種類及び強さを読み出し、
前記視線データの示す注視点が前記ターゲット領域内にあり、かつ前記注視点の前記ターゲット領域内にある時間が前記トリガ時間を経過したことの条件を判定し、前記条件を満たすと判定したときに、前記ターゲット領域に対応する前記刺激種類及び強さを含む前記刺激情報を生成し、前記刺激情報を前記刺激提示装置へ出力する刺激情報生成部と、
を備えたことを特徴とする刺激情報生成装置。
【請求項2】
請求項１に記載の刺激情報生成装置において、
前記ユーザ動作設定部は、
前記所定数のユーザのそれぞれについて、当該ユーザの前記視線データの示す注視点の軌跡に基づいて、前記注視点の滞留するエリアを求め、
前記所定数のユーザにおける前記注視点の滞留する全てのエリアを包含する領域であって、かつ前記所定領域を前記複数のターゲット領域として求めるか、または、前記所定数のユーザのそれぞれについて求めた前記注視点の滞留する全てのエリアを前記所定数のユーザにて平均化し、前記平均化したエリアであって、かつ前記所定領域を前記複数のターゲット領域として求め、前記複数のターゲット領域位置データを前記第１ＤＢに格納する、ことを特徴とする刺激情報生成装置。
前記ユーザ動作設定部は、
前記所定数のユーザのそれぞれについて、当該ユーザの前記視線データの示す注視点の軌跡に基づいて、前記注視点の滞留するエリアを求め、
前記所定数のユーザにおける前記注視点の滞留する全てのエリアを包含する領域であって、かつ前記所定領域を前記複数のターゲット領域として求めるか、または、前記所定数のユーザのそれぞれについて求めた前記注視点の滞留する全てのエリアを前記所定数のユーザにて平均化し、前記平均化したエリアであって、かつ前記所定領域を前記複数のターゲット領域として求め、前記複数のターゲット領域位置データを前記第１ＤＢに格納する、ことを特徴とする刺激情報生成装置。
【請求項3】
請求項１に記載の刺激情報生成装置において、
前記ユーザ動作設定部は、
前記対象ユーザの前記視線データの示す注視点に基づいて、前記注視点が滞留する複数の領域における複数の滞留時間を算出し、前記複数の滞留時間から平均値を算出し、前記平均値を前記トリガ時間に設定し、前記トリガ時間を前記第１ＤＢに格納する、ことを特徴とする刺激情報生成装置。
前記ユーザ動作設定部は、
前記対象ユーザの前記視線データの示す注視点に基づいて、前記注視点が滞留する複数の領域における複数の滞留時間を算出し、前記複数の滞留時間から平均値を算出し、前記平均値を前記トリガ時間に設定し、前記トリガ時間を前記第１ＤＢに格納する、ことを特徴とする刺激情報生成装置。
【請求項4】
静的なコンテンツから情報を受けるユーザの操作に従って前記コンテンツが進行する際に、前記ユーザに対して刺激を提示するための刺激情報を生成し、前記刺激情報を刺激提示装置へ出力する刺激情報生成装置において、
前記コンテンツに対する前記ユーザの注視点が滞留する領域であって、かつ前記コンテンツの内容を描写した所定領域をターゲット領域とし、前記刺激が提示される前記ユーザを対象ユーザとし、前記対象ユーザの操作に従って進行する前記コンテンツを対象コンテンツとして、
前記ユーザの視線を計測する視線計測装置から、所定数のユーザが前記対象コンテンツを見ているときの視線データをそれぞれ入力し、前記所定数のユーザの前記視線データの示すそれぞれの注視点の軌跡及び前記所定領域に基づいて、複数のターゲット領域を求め、前記複数のターゲット領域の位置を複数のターゲット領域位置データとして設定し、前記対象コンテンツにおけるコマ毎の文字数を設定し、
前記視線計測装置から、前記対象ユーザが前記対象コンテンツ以外のサンプルコンテンツを見ているときの視線データを入力し、前記視線データの示す注視点の軌跡及び前記文字数に基づいて、前記対象ユーザが文字を読む際の読字速度を算出し、前記視線データの示す注視点の軌跡に基づいて、前記対象ユーザの注視点の移動速度を算出し、
前記複数のターゲット領域位置データ、前記コマ毎の文字数、前記読字速度及び前記移動速度に基づいて、前記対象コンテンツを構成する複数のページのそれぞれにつき、前記対象ユーザの注視点が当該ページに含まれる複数のターゲット領域のそれぞれに到達する到達時間を算出し、前記到達時間を第１ＤＢに格納するユーザ動作設定部と、
前記複数のターゲット領域のそれぞれについて、当該ターゲット領域に対応する刺激種類及び強さを設定し、前記刺激種類及び強さを第２ＤＢに格納する刺激設定部と、
前記第１ＤＢから、前記対象コンテンツのページ毎に、当該ページに含まれる複数のターゲット領域のそれぞれについての前記到達時間を読み出し、前記第２ＤＢから前記複数のターゲット領域のそれぞれについての前記刺激種類及び強さを読み出し、
前記ページ毎に、当該ページがめくられてからの経過時間をカウントし、前記経過時間が前記到達時間に到達したことの条件を判定し、前記条件を満たすと判定したときに、前記到達時間の前記ターゲット領域に対応する前記刺激種類及び強さを含む前記刺激情報を生成し、前記刺激情報を前記刺激提示装置へ出力する刺激情報生成部と、
を備えたことを特徴とする刺激情報生成装置。
前記コンテンツに対する前記ユーザの注視点が滞留する領域であって、かつ前記コンテンツの内容を描写した所定領域をターゲット領域とし、前記刺激が提示される前記ユーザを対象ユーザとし、前記対象ユーザの操作に従って進行する前記コンテンツを対象コンテンツとして、
前記ユーザの視線を計測する視線計測装置から、所定数のユーザが前記対象コンテンツを見ているときの視線データをそれぞれ入力し、前記所定数のユーザの前記視線データの示すそれぞれの注視点の軌跡及び前記所定領域に基づいて、複数のターゲット領域を求め、前記複数のターゲット領域の位置を複数のターゲット領域位置データとして設定し、前記対象コンテンツにおけるコマ毎の文字数を設定し、
前記視線計測装置から、前記対象ユーザが前記対象コンテンツ以外のサンプルコンテンツを見ているときの視線データを入力し、前記視線データの示す注視点の軌跡及び前記文字数に基づいて、前記対象ユーザが文字を読む際の読字速度を算出し、前記視線データの示す注視点の軌跡に基づいて、前記対象ユーザの注視点の移動速度を算出し、
前記複数のターゲット領域位置データ、前記コマ毎の文字数、前記読字速度及び前記移動速度に基づいて、前記対象コンテンツを構成する複数のページのそれぞれにつき、前記対象ユーザの注視点が当該ページに含まれる複数のターゲット領域のそれぞれに到達する到達時間を算出し、前記到達時間を第１ＤＢに格納するユーザ動作設定部と、
前記複数のターゲット領域のそれぞれについて、当該ターゲット領域に対応する刺激種類及び強さを設定し、前記刺激種類及び強さを第２ＤＢに格納する刺激設定部と、
前記第１ＤＢから、前記対象コンテンツのページ毎に、当該ページに含まれる複数のターゲット領域のそれぞれについての前記到達時間を読み出し、前記第２ＤＢから前記複数のターゲット領域のそれぞれについての前記刺激種類及び強さを読み出し、
前記ページ毎に、当該ページがめくられてからの経過時間をカウントし、前記経過時間が前記到達時間に到達したことの条件を判定し、前記条件を満たすと判定したときに、前記到達時間の前記ターゲット領域に対応する前記刺激種類及び強さを含む前記刺激情報を生成し、前記刺激情報を前記刺激提示装置へ出力する刺激情報生成部と、
を備えたことを特徴とする刺激情報生成装置。
【請求項5】
請求項４に記載の刺激情報生成装置において、
前記ユーザ動作設定部は、
前記対象ユーザの前記視線データの示す注視点が、第１のターゲット領域から第２のターゲット領域へ移動した場合に、前記第１のターゲット領域から前記第２のターゲット領域までの間の距離を、前記第１のターゲット領域から前記第２のターゲット領域への移動時間で除算することで、前記移動速度を求める、ことを特徴とする刺激情報生成装置。
前記ユーザ動作設定部は、
前記対象ユーザの前記視線データの示す注視点が、第１のターゲット領域から第２のターゲット領域へ移動した場合に、前記第１のターゲット領域から前記第２のターゲット領域までの間の距離を、前記第１のターゲット領域から前記第２のターゲット領域への移動時間で除算することで、前記移動速度を求める、ことを特徴とする刺激情報生成装置。
【請求項6】
請求項４に記載の刺激情報生成装置において、
前記ユーザ動作設定部は、
前記読字速度をＶC、前記移動速度をＶL、ｎコマ目の文字数をＣn、ｎコマ目の前記ターゲット領域の中心位置を（Ｐxn,Ｐyn）、前記対象ユーザがｎコマ目を読み始めてから前記注視点が次のｎ＋１コマ目の前記ターゲット領域へ移動するまでの時間をＴn、前記到達時間をＴＴnとして、
前記読字速度ＶC、前記移動速度ＶL、前記ｎコマ目の文字数Ｃn、ｎコマ目の前記ターゲット領域の中心位置（Ｐxn,Ｐyn）及びｎ＋１コマ目の前記ターゲット領域の中心位置（Ｐxn+1,Ｐyn+1）を用いて、式：
により、前記時間Ｔnを算出し、前記時間Ｔnを用いて、式：
により、前記到達時間ＴＴnを算出する、ことを特徴とする刺激情報生成装置。
前記ユーザ動作設定部は、
前記読字速度をＶC、前記移動速度をＶL、ｎコマ目の文字数をＣn、ｎコマ目の前記ターゲット領域の中心位置を（Ｐxn,Ｐyn）、前記対象ユーザがｎコマ目を読み始めてから前記注視点が次のｎ＋１コマ目の前記ターゲット領域へ移動するまでの時間をＴn、前記到達時間をＴＴnとして、
前記読字速度ＶC、前記移動速度ＶL、前記ｎコマ目の文字数Ｃn、ｎコマ目の前記ターゲット領域の中心位置（Ｐxn,Ｐyn）及びｎ＋１コマ目の前記ターゲット領域の中心位置（Ｐxn+1,Ｐyn+1）を用いて、式：
【請求項7】
請求項１または４に記載の刺激情報生成装置において、
さらに、オノマトペ及び音声データを組とした複数の組データが格納された音声ＤＢを備え、
前記刺激設定部は、
前記ターゲット領域に対応する前記刺激種類として振動が設定される場合に、当該ターゲット領域を振動ターゲット領域として、
前記音声ＤＢから、前記振動ターゲット領域を含むコマに存在するオノマトペに対応する音声データを選択し、前記刺激種類である振動及び強さ並びに前記音声データを前記第２ＤＢに格納し、
前記刺激情報生成部は、
前記第２ＤＢから、前記刺激種類である振動及び強さ並びに前記音声データを読み出し、前記振動ターゲット領域について、前記条件を満たすと判定したときに、前記振動ターゲット領域に対応する前記刺激種類である振動及び強さ並びに前記音声データを含む前記刺激情報を生成し、前記刺激情報を、前記強さ及び前記音声データに応じて振動子が動作する前記刺激提示装置へ出力する、ことを特徴とする刺激情報生成装置。
さらに、オノマトペ及び音声データを組とした複数の組データが格納された音声ＤＢを備え、
前記刺激設定部は、
前記ターゲット領域に対応する前記刺激種類として振動が設定される場合に、当該ターゲット領域を振動ターゲット領域として、
前記音声ＤＢから、前記振動ターゲット領域を含むコマに存在するオノマトペに対応する音声データを選択し、前記刺激種類である振動及び強さ並びに前記音声データを前記第２ＤＢに格納し、
前記刺激情報生成部は、
前記第２ＤＢから、前記刺激種類である振動及び強さ並びに前記音声データを読み出し、前記振動ターゲット領域について、前記条件を満たすと判定したときに、前記振動ターゲット領域に対応する前記刺激種類である振動及び強さ並びに前記音声データを含む前記刺激情報を生成し、前記刺激情報を、前記強さ及び前記音声データに応じて振動子が動作する前記刺激提示装置へ出力する、ことを特徴とする刺激情報生成装置。
【請求項8】
静的なコンテンツから情報を受けるユーザの操作に従って前記コンテンツが進行する際に、前記ユーザに対して刺激を提示するための刺激情報を生成し、前記刺激情報を刺激提示装置へ出力する刺激情報生成装置を構成するコンピュータを、
前記コンテンツに対する前記ユーザの注視点が滞留する領域であって、かつ前記コンテンツの内容を描写した所定領域をターゲット領域とし、前記刺激が提示される前記ユーザを対象ユーザとし、前記対象ユーザの操作に従って進行する前記コンテンツを対象コンテンツとして、
前記ユーザの視線を計測する視線計測装置から、所定数のユーザが前記対象コンテンツを見ているときの視線データをそれぞれ入力し、前記所定数のユーザの前記視線データの示すそれぞれの注視点の軌跡及び前記所定領域に基づいて、複数のターゲット領域を求め、前記複数のターゲット領域の位置を複数のターゲット領域位置データとして設定し、
前記視線計測装置から、前記対象ユーザが前記対象コンテンツ以外のサンプルコンテンツを見ているときの視線データを入力し、前記視線データの示す注視点の軌跡に基づいて、前記注視点の滞留時間をトリガ時間として設定し、
前記複数のターゲット領域位置データ及び前記トリガ時間を第１ＤＢに格納するユーザ動作設定部、
前記複数のターゲット領域のそれぞれについて、当該ターゲット領域に対応する刺激種類及び強さを設定し、前記刺激種類及び強さを第２ＤＢに格納する刺激設定部、及び、
前記視線計測装置から、前記対象ユーザが前記対象コンテンツを見ているときの視線データを入力すると共に、前記第１ＤＢから前記複数のターゲット領域位置データ及び前記トリガ時間を読み出し、前記第２ＤＢから前記複数のターゲット領域のそれぞれについての前記刺激種類及び強さを読み出し、
前記視線データの示す注視点が前記ターゲット領域内にあり、かつ前記注視点の前記ターゲット領域内にある時間が前記トリガ時間を経過したことの条件を判定し、前記条件を満たすと判定したときに、前記ターゲット領域に対応する前記刺激種類及び強さを含む前記刺激情報を生成し、前記刺激情報を前記刺激提示装置へ出力する刺激情報生成部として機能させるためのプログラム。
前記コンテンツに対する前記ユーザの注視点が滞留する領域であって、かつ前記コンテンツの内容を描写した所定領域をターゲット領域とし、前記刺激が提示される前記ユーザを対象ユーザとし、前記対象ユーザの操作に従って進行する前記コンテンツを対象コンテンツとして、
前記ユーザの視線を計測する視線計測装置から、所定数のユーザが前記対象コンテンツを見ているときの視線データをそれぞれ入力し、前記所定数のユーザの前記視線データの示すそれぞれの注視点の軌跡及び前記所定領域に基づいて、複数のターゲット領域を求め、前記複数のターゲット領域の位置を複数のターゲット領域位置データとして設定し、
前記視線計測装置から、前記対象ユーザが前記対象コンテンツ以外のサンプルコンテンツを見ているときの視線データを入力し、前記視線データの示す注視点の軌跡に基づいて、前記注視点の滞留時間をトリガ時間として設定し、
前記複数のターゲット領域位置データ及び前記トリガ時間を第１ＤＢに格納するユーザ動作設定部、
前記複数のターゲット領域のそれぞれについて、当該ターゲット領域に対応する刺激種類及び強さを設定し、前記刺激種類及び強さを第２ＤＢに格納する刺激設定部、及び、
前記視線計測装置から、前記対象ユーザが前記対象コンテンツを見ているときの視線データを入力すると共に、前記第１ＤＢから前記複数のターゲット領域位置データ及び前記トリガ時間を読み出し、前記第２ＤＢから前記複数のターゲット領域のそれぞれについての前記刺激種類及び強さを読み出し、
前記視線データの示す注視点が前記ターゲット領域内にあり、かつ前記注視点の前記ターゲット領域内にある時間が前記トリガ時間を経過したことの条件を判定し、前記条件を満たすと判定したときに、前記ターゲット領域に対応する前記刺激種類及び強さを含む前記刺激情報を生成し、前記刺激情報を前記刺激提示装置へ出力する刺激情報生成部として機能させるためのプログラム。
【請求項9】
静的なコンテンツから情報を受けるユーザの操作に従って前記コンテンツが進行する際に、前記ユーザに対して刺激を提示するための刺激情報を生成し、前記刺激情報を刺激提示装置へ出力する刺激情報生成装置を構成するコンピュータを、
前記コンテンツに対する前記ユーザの注視点が滞留する領域であって、かつ前記コンテンツの内容を描写した所定領域をターゲット領域とし、前記刺激が提示される前記ユーザを対象ユーザとし、前記対象ユーザの操作に従って進行する前記コンテンツを対象コンテンツとして、
前記ユーザの視線を計測する視線計測装置から、所定数のユーザが前記対象コンテンツを見ているときの視線データをそれぞれ入力し、前記所定数のユーザの前記視線データの示すそれぞれの注視点の軌跡及び前記所定領域に基づいて、複数のターゲット領域を求め、前記複数のターゲット領域の位置を複数のターゲット領域位置データとして設定し、前記対象コンテンツにおけるコマ毎の文字数を設定し、
前記視線計測装置から、前記対象ユーザが前記対象コンテンツ以外のサンプルコンテンツを見ているときの視線データを入力し、前記視線データの示す注視点の軌跡及び前記文字数に基づいて、前記対象ユーザが文字を読む際の読字速度を算出し、前記視線データの示す注視点の軌跡に基づいて、前記対象ユーザの注視点の移動速度を算出し、
前記複数のターゲット領域位置データ、前記コマ毎の文字数、前記読字速度及び前記移動速度に基づいて、前記対象コンテンツを構成する複数のページのそれぞれにつき、前記対象ユーザの注視点が当該ページに含まれる複数のターゲット領域のそれぞれに到達する到達時間を算出し、前記到達時間を第１ＤＢに格納するユーザ動作設定部、
前記複数のターゲット領域のそれぞれについて、当該ターゲット領域に対応する刺激種類及び強さを設定し、前記刺激種類及び強さを第２ＤＢに格納する刺激設定部、及び、
前記第１ＤＢから、前記対象コンテンツのページ毎に、当該ページに含まれる複数のターゲット領域のそれぞれについての前記到達時間を読み出し、前記第２ＤＢから前記複数のターゲット領域のそれぞれについての前記刺激種類及び強さを読み出し、
前記ページ毎に、当該ページがめくられてからの経過時間をカウントし、前記経過時間が前記到達時間に到達したことの条件を判定し、前記条件を満たすと判定したときに、前記到達時間の前記ターゲット領域に対応する前記刺激種類及び強さを含む前記刺激情報を生成し、前記刺激情報を前記刺激提示装置へ出力する刺激情報生成部として機能させるためのプログラム。
前記コンテンツに対する前記ユーザの注視点が滞留する領域であって、かつ前記コンテンツの内容を描写した所定領域をターゲット領域とし、前記刺激が提示される前記ユーザを対象ユーザとし、前記対象ユーザの操作に従って進行する前記コンテンツを対象コンテンツとして、
前記ユーザの視線を計測する視線計測装置から、所定数のユーザが前記対象コンテンツを見ているときの視線データをそれぞれ入力し、前記所定数のユーザの前記視線データの示すそれぞれの注視点の軌跡及び前記所定領域に基づいて、複数のターゲット領域を求め、前記複数のターゲット領域の位置を複数のターゲット領域位置データとして設定し、前記対象コンテンツにおけるコマ毎の文字数を設定し、
前記視線計測装置から、前記対象ユーザが前記対象コンテンツ以外のサンプルコンテンツを見ているときの視線データを入力し、前記視線データの示す注視点の軌跡及び前記文字数に基づいて、前記対象ユーザが文字を読む際の読字速度を算出し、前記視線データの示す注視点の軌跡に基づいて、前記対象ユーザの注視点の移動速度を算出し、
前記複数のターゲット領域位置データ、前記コマ毎の文字数、前記読字速度及び前記移動速度に基づいて、前記対象コンテンツを構成する複数のページのそれぞれにつき、前記対象ユーザの注視点が当該ページに含まれる複数のターゲット領域のそれぞれに到達する到達時間を算出し、前記到達時間を第１ＤＢに格納するユーザ動作設定部、
前記複数のターゲット領域のそれぞれについて、当該ターゲット領域に対応する刺激種類及び強さを設定し、前記刺激種類及び強さを第２ＤＢに格納する刺激設定部、及び、
前記第１ＤＢから、前記対象コンテンツのページ毎に、当該ページに含まれる複数のターゲット領域のそれぞれについての前記到達時間を読み出し、前記第２ＤＢから前記複数のターゲット領域のそれぞれについての前記刺激種類及び強さを読み出し、
前記ページ毎に、当該ページがめくられてからの経過時間をカウントし、前記経過時間が前記到達時間に到達したことの条件を判定し、前記条件を満たすと判定したときに、前記到達時間の前記ターゲット領域に対応する前記刺激種類及び強さを含む前記刺激情報を生成し、前記刺激情報を前記刺激提示装置へ出力する刺激情報生成部として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、静的なメディアコンテンツの進行に伴い、触覚情報等の刺激情報を生成する刺激情報生成装置及びプログラムに関する。
【背景技術】
【0002】
テレビ及びインターネットには、様々な映像コンテンツが存在している。近年、ＡＲ／ＶＲ技術の発展と共に、映像コンテンツを楽しむ際の臨場感及び迫力をより向上させるために、触覚刺激及び嗅覚刺激を提示する手法に注目が集まっている。しかし、そのほとんどが、映像コンテンツの進行と同期して、触覚刺激及び嗅覚刺激を提示するものである。ユーザは、自動的に更新されていく動的な映像からの視覚刺激及び音声からの聴覚刺激を受動的に取得し、これらと連動した触覚刺激及び嗅覚刺激を受け取ることになる。
【0003】
しかしながら、世の中にあるメディアは、映像コンテンツのように、提示される情報が提示装置上で自動的に更新されていく（変化していく）動的なものだけでなく、マンガ、小説、絵本等の書籍及びＷＥＢコンテンツ等の静的なコンテンツも数多く存在する。
【0004】
このような静的なコンテンツから情報を受けるユーザは、自分のペースで手動にて更新することで、コンテンツを進行する。ここで、静的なコンテンツからの情報を更新するとは、静的なコンテンツが本の場合は、視線を動かす、ページをめくる等を意味し、ＷＥＢコンテンツの場合は、マウススクロールする等を意味する。
【0005】
静的なコンテンツの例として、仕掛け絵本が知られている（例えば非特許文献１を参照）。この仕掛け絵本は、ユーザがホットケーキの絵を擦ることで、メイプルシロップの香りの嗅覚刺激を提示するものである。
【0006】
このような仕掛け絵本を実現するために、絵本を擦ることで香りを発生させる香り印刷技術が知られている（例えば非特許文献２を参照）。しかし、この仕掛け絵本では、嗅覚刺激を受けるために、自然な読書では想定できない、擦るという意識的な動作が必要となる。
【0007】
また、静的なコンテンツの例として、電子媒体上でコンテンツを楽しむ際に、所定の箇所をクリックすることで触覚刺激を提示する技術も知られている（例えば非特許文献３を参照）。しかし、このコンテンツも同様に、触覚刺激を受けるために、自然な読書では想定できない、クリックという意識的な動作が必要となる。
【0008】
これに対し、静的なコンテンツの例として、擦る、クリック等の意識的な動作を行うことなく触覚刺激を提示する技術が知られている（例えば特許文献１，２を参照）。特許文献１，２の技術は、ユーザの視線を計測し、ユーザの見ている注視点に応じた触覚効果を生成し、触覚刺激をユーザへ提示するものである。
【0009】
具体的には、特許文献１の技術は、画像を特定するためのメディアを解析し、画像を見ているユーザの視線の注視点を特定し、特定した画像及びユーザの注視点に基づいて、注視点のオブジェクト等に応じた触覚効果を生成し、触覚刺激をユーザへ提示する。
【0010】
また、特許文献２の技術は、ユーザの視線方向を判定し、視線方向がインタラクト可能なオブジェクトを含む部分である場合、第１の触覚効果を生成し、視線方向がインタラクト可能なオブジェクトを含まない部分である場合、第２の触覚効果を生成し、第１または第２の触覚効果に応じた触覚刺激をユーザへ提示するものである。
【先行技術文献】
【特許文献】
【0011】
【特許文献1】特開２０１６－１２６７７３号公報
【特許文献2】特許第６７０３０４４号公報
【非特許文献】
【0012】
【非特許文献1】きむらゆういち、“ほっとほっとホットケーキ メイプルシロップのにおいつき！”，［online］、２０１６年２月、世界文化社、［令和４年７月２８日検索］、インターネット＜ＵＲＬ：https://www.e-hon.ne.jp/bec/SA/Detail?refISBN=9784418168071＞
【非特許文献2】“香り印刷”，［online］、プリントオン株式会社、［令和４年７月２８日検索］、インターネット＜ＵＲＬ：https://www.print-on.jp/doujin/comic/tokusyu/kaori.htm＞
【非特許文献3】Kazi Masudul Alam，et al.，“HE-book: A prototype haptic interface for immersive e-book reading experience”，［online］、２０１１年，IEEE Xplore、［令和４年７月２８日検索］、インターネット＜ＵＲＬ：https://ieeexplore.ieee.org/stamp/stamp.jsp?tp=&arnumber=5945514＞
【発明の概要】
【発明が解決しようとする課題】
【0013】
しかしながら、ユーザが静的なコンテンツから情報を受ける際に、触覚刺激等の提示を受けることで、より豊かな体験を実現するためには、ユーザ固有のコンテンツ進行と同期して、適切な触覚刺激等を適切なタイミングで提示する必要がある。
【0014】
触覚刺激等を適切なタイミングで提示した場合には、ユーザによるメディア体験の効果は大きいが、一方で、不適切なタイミングで提示（時間的なずれ、刺激の種類の不適合等を含む提示）した場合には、逆にメディア体験の質を低下させることとなる。
【0015】
したがって、映像同期型でない静的なコンテンツの場合、ユーザによるコンテンツの進行と触覚刺激等とを同期させること、及び、提示される刺激が適切であることが重要となる。
【0016】
一方で、前述の特許文献１，２の技術は、ユーザの視線を計測し、ユーザの注視点に応じた触覚効果を生成し、触覚刺激をユーザへ提示するものである。しかし、これらの技術では、触覚効果を生成するためのユーザの注視点をどのように判定するのが適切であるか、また、どのようなタイミングで刺激を提示するのが適切であるかについて、技術的な言及がない。
【0017】
このため、前述の特許文献１，２の技術を用いて、ユーザが静的なコンテンツから情報を受ける際に（例えばユーザがマンガを読んでいるときに）、ユーザに対して触覚刺激等を提示したとしても、メディア体験の質を十分に向上させることができるとは限らない。
【0018】
そこで、本発明は前記課題を解決するためになされたものであり、その目的は、ユーザが静的なコンテンツから情報を受ける際に、コンテンツの進行と同期し、かつ適切なタイミングで適切な刺激を提示することで、ユーザに対して豊かなメディア体験を提供可能な刺激情報生成装置及びプログラムを提供することにある。
【課題を解決するための手段】
【0019】
前記課題を解決するために、請求項１の刺激情報生成装置は、静的なコンテンツから情報を受けるユーザの操作に従って前記コンテンツが進行する際に、前記ユーザに対して刺激を提示するための刺激情報を生成し、前記刺激情報を刺激提示装置へ出力する刺激情報生成装置において、前記コンテンツに対する前記ユーザの注視点が滞留する領域であって、かつ前記コンテンツの内容を描写した所定領域をターゲット領域とし、前記刺激が提示される前記ユーザを対象ユーザとし、前記対象ユーザの操作に従って進行する前記コンテンツを対象コンテンツとして、前記ユーザの視線を計測する視線計測装置から、所定数のユーザが前記対象コンテンツを見ているときの視線データをそれぞれ入力し、前記所定数のユーザの前記視線データの示すそれぞれの注視点の軌跡及び前記所定領域に基づいて、複数のターゲット領域を求め、前記複数のターゲット領域の位置を複数のターゲット領域位置データとして設定し、前記視線計測装置から、前記対象ユーザが前記対象コンテンツ以外のサンプルコンテンツを見ているときの視線データを入力し、前記視線データの示す注視点の軌跡に基づいて、前記注視点の滞留時間をトリガ時間として設定し、前記複数のターゲット領域位置データ及び前記トリガ時間を第１ＤＢに格納するユーザ動作設定部と、前記複数のターゲット領域のそれぞれについて、当該ターゲット領域に対応する刺激種類及び強さを設定し、前記刺激種類及び強さを第２ＤＢに格納する刺激設定部と、前記視線計測装置から、前記対象ユーザが前記対象コンテンツを見ているときの視線データを入力すると共に、前記第１ＤＢから前記複数のターゲット領域位置データ及び前記トリガ時間を読み出し、前記第２ＤＢから前記複数のターゲット領域のそれぞれについての前記刺激種類及び強さを読み出し、前記視線データの示す注視点が前記ターゲット領域内にあり、かつ前記注視点の前記ターゲット領域内にある時間が前記トリガ時間を経過したことの条件を判定し、前記条件を満たすと判定したときに、前記ターゲット領域に対応する前記刺激種類及び強さを含む前記刺激情報を生成し、前記刺激情報を前記刺激提示装置へ出力する刺激情報生成部と、を備えたことを特徴とする。
【0020】
また、請求項２の刺激情報生成装置は、請求項１に記載の刺激情報生成装置において、前記ユーザ動作設定部が、前記所定数のユーザのそれぞれについて、当該ユーザの前記視線データの示す注視点の軌跡に基づいて、前記注視点の滞留するエリアを求め、前記所定数のユーザにおける前記注視点の滞留する全てのエリアを包含する領域であって、かつ前記所定領域を前記複数のターゲット領域として求めるか、または、前記所定数のユーザのそれぞれについて求めた前記注視点の滞留する全てのエリアを前記所定数のユーザにて平均化し、前記平均化したエリアであって、かつ前記所定領域を前記複数のターゲット領域として求め、前記複数のターゲット領域位置データを前記第１ＤＢに格納する、ことを特徴とする。
【0021】
また、請求項３の刺激情報生成装置は、請求項１に記載の刺激情報生成装置において、前記ユーザ動作設定部が、前記対象ユーザの前記視線データの示す注視点に基づいて、前記注視点が滞留する複数の領域における複数の滞留時間を算出し、前記複数の滞留時間から平均値を算出し、前記平均値を前記トリガ時間に設定し、前記トリガ時間を前記第１ＤＢに格納する、ことを特徴とする。
【0022】
また、請求項４の刺激情報生成装置は、静的なコンテンツから情報を受けるユーザの操作に従って前記コンテンツが進行する際に、前記ユーザに対して刺激を提示するための刺激情報を生成し、前記刺激情報を刺激提示装置へ出力する刺激情報生成装置において、前記コンテンツに対する前記ユーザの注視点が滞留する領域であって、かつ前記コンテンツの内容を描写した所定領域をターゲット領域とし、前記刺激が提示される前記ユーザを対象ユーザとし、前記対象ユーザの操作に従って進行する前記コンテンツを対象コンテンツとして、前記ユーザの視線を計測する視線計測装置から、所定数のユーザが前記対象コンテンツを見ているときの視線データをそれぞれ入力し、前記所定数のユーザの前記視線データの示すそれぞれの注視点の軌跡及び前記所定領域に基づいて、複数のターゲット領域を求め、前記複数のターゲット領域の位置を複数のターゲット領域位置データとして設定し、前記対象コンテンツにおけるコマ毎の文字数を設定し、前記視線計測装置から、前記対象ユーザが前記対象コンテンツ以外のサンプルコンテンツを見ているときの視線データを入力し、前記視線データの示す注視点の軌跡及び前記文字数に基づいて、前記対象ユーザが文字を読む際の読字速度を算出し、前記視線データの示す注視点の軌跡に基づいて、前記対象ユーザの注視点の移動速度を算出し、前記複数のターゲット領域位置データ、前記コマ毎の文字数、前記読字速度及び前記移動速度に基づいて、前記対象コンテンツを構成する複数のページのそれぞれにつき、前記対象ユーザの注視点が当該ページに含まれる複数のターゲット領域のそれぞれに到達する到達時間を算出し、前記到達時間を第１ＤＢに格納するユーザ動作設定部と、前記複数のターゲット領域のそれぞれについて、当該ターゲット領域に対応する刺激種類及び強さを設定し、前記刺激種類及び強さを第２ＤＢに格納する刺激設定部と、前記第１ＤＢから、前記対象コンテンツのページ毎に、当該ページに含まれる複数のターゲット領域のそれぞれについての前記到達時間を読み出し、前記第２ＤＢから前記複数のターゲット領域のそれぞれについての前記刺激種類及び強さを読み出し、前記ページ毎に、当該ページがめくられてからの経過時間をカウントし、前記経過時間が前記到達時間に到達したことの条件を判定し、前記条件を満たすと判定したときに、前記到達時間の前記ターゲット領域に対応する前記刺激種類及び強さを含む前記刺激情報を生成し、前記刺激情報を前記刺激提示装置へ出力する刺激情報生成部と、を備えたことを特徴とする。
【0023】
また、請求項５の刺激情報生成装置は、請求項４に記載の刺激情報生成装置において、前記ユーザ動作設定部が、前記対象ユーザの前記視線データの示す注視点が、第１のターゲット領域から第２のターゲット領域へ移動した場合に、前記第１のターゲット領域から前記第２のターゲット領域までの間の距離を、前記第１のターゲット領域から前記第２のターゲット領域への移動時間で除算することで、前記移動速度を求める、ことを特徴とする。
【0024】
また、請求項６の刺激情報生成装置は、請求項４に記載の刺激情報生成装置において、前記ユーザ動作設定部が、前記読字速度をＶC、前記移動速度をＶL、ｎコマ目の文字数をＣn、ｎコマ目の前記ターゲット領域の中心位置を（Ｐxn,Ｐyn）、前記対象ユーザがｎコマ目を読み始めてから前記注視点が次のｎ＋１コマ目の前記ターゲット領域へ移動するまでの時間をＴn、前記到達時間をＴＴnとして、前記読字速度ＶC、前記移動速度ＶL、前記ｎコマ目の文字数Ｃn、ｎコマ目の前記ターゲット領域の中心位置（Ｐxn,Ｐyn）及びｎ＋１コマ目の前記ターゲット領域の中心位置（Ｐxn+1,Ｐyn+1）を用いて、式：
により、前記時間Ｔnを算出し、前記時間Ｔnを用いて、式：
により、前記到達時間ＴＴnを算出する、ことを特徴とする。
【0025】
また、請求項７の刺激情報生成装置は、請求項１または４に記載の刺激情報生成装置において、さらに、オノマトペ及び音声データを組とした複数の組データが格納された音声ＤＢを備え、前記刺激設定部が、前記ターゲット領域に対応する前記刺激種類として振動が設定される場合に、当該ターゲット領域を振動ターゲット領域として、前記音声ＤＢから、前記振動ターゲット領域を含むコマに存在するオノマトペに対応する音声データを選択し、前記刺激種類である振動及び強さ並びに前記音声データを前記第２ＤＢに格納し、前記刺激情報生成部が、前記第２ＤＢから、前記刺激種類である振動及び強さ並びに前記音声データを読み出し、前記振動ターゲット領域について、前記条件を満たすと判定したときに、前記振動ターゲット領域に対応する前記刺激種類である振動及び強さ並びに前記音声データを含む前記刺激情報を生成し、前記刺激情報を、前記強さ及び前記音声データに応じて振動子が動作する前記刺激提示装置へ出力する、ことを特徴とする。
【0026】
さらに、請求項８のプログラムは、静的なコンテンツから情報を受けるユーザの操作に従って前記コンテンツが進行する際に、前記ユーザに対して刺激を提示するための刺激情報を生成し、前記刺激情報を刺激提示装置へ出力する刺激情報生成装置を構成するコンピュータを、前記コンテンツに対する前記ユーザの注視点が滞留する領域であって、かつ前記コンテンツの内容を描写した所定領域をターゲット領域とし、前記刺激が提示される前記ユーザを対象ユーザとし、前記対象ユーザの操作に従って進行する前記コンテンツを対象コンテンツとして、前記ユーザの視線を計測する視線計測装置から、所定数のユーザが前記対象コンテンツを見ているときの視線データをそれぞれ入力し、前記所定数のユーザの前記視線データの示すそれぞれの注視点の軌跡及び前記所定領域に基づいて、複数のターゲット領域を求め、前記複数のターゲット領域の位置を複数のターゲット領域位置データとして設定し、前記視線計測装置から、前記対象ユーザが前記対象コンテンツ以外のサンプルコンテンツを見ているときの視線データを入力し、前記視線データの示す注視点の軌跡に基づいて、前記注視点の滞留時間をトリガ時間として設定し、前記複数のターゲット領域位置データ及び前記トリガ時間を第１ＤＢに格納するユーザ動作設定部、前記複数のターゲット領域のそれぞれについて、当該ターゲット領域に対応する刺激種類及び強さを設定し、前記刺激種類及び強さを第２ＤＢに格納する刺激設定部、及び、前記視線計測装置から、前記対象ユーザが前記対象コンテンツを見ているときの視線データを入力すると共に、前記第１ＤＢから前記複数のターゲット領域位置データ及び前記トリガ時間を読み出し、前記第２ＤＢから前記複数のターゲット領域のそれぞれについての前記刺激種類及び強さを読み出し、前記視線データの示す注視点が前記ターゲット領域内にあり、かつ前記注視点の前記ターゲット領域内にある時間が前記トリガ時間を経過したことの条件を判定し、前記条件を満たすと判定したときに、前記ターゲット領域に対応する前記刺激種類及び強さを含む前記刺激情報を生成し、前記刺激情報を前記刺激提示装置へ出力する刺激情報生成部として機能させることを特徴とする。
【0027】
また、請求項９のプログラムは、静的なコンテンツから情報を受けるユーザの操作に従って前記コンテンツが進行する際に、前記ユーザに対して刺激を提示するための刺激情報を生成し、前記刺激情報を刺激提示装置へ出力する刺激情報生成装置を構成するコンピュータを、前記コンテンツに対する前記ユーザの注視点が滞留する領域であって、かつ前記コンテンツの内容を描写した所定領域をターゲット領域とし、前記刺激が提示される前記ユーザを対象ユーザとし、前記対象ユーザの操作に従って進行する前記コンテンツを対象コンテンツとして、前記ユーザの視線を計測する視線計測装置から、所定数のユーザが前記対象コンテンツを見ているときの視線データをそれぞれ入力し、前記所定数のユーザの前記視線データの示すそれぞれの注視点の軌跡及び前記所定領域に基づいて、複数のターゲット領域を求め、前記複数のターゲット領域の位置を複数のターゲット領域位置データとして設定し、前記対象コンテンツにおけるコマ毎の文字数を設定し、前記視線計測装置から、前記対象ユーザが前記対象コンテンツ以外のサンプルコンテンツを見ているときの視線データを入力し、前記視線データの示す注視点の軌跡及び前記文字数に基づいて、前記対象ユーザが文字を読む際の読字速度を算出し、前記視線データの示す注視点の軌跡に基づいて、前記対象ユーザの注視点の移動速度を算出し、前記複数のターゲット領域位置データ、前記コマ毎の文字数、前記読字速度及び前記移動速度に基づいて、前記対象コンテンツを構成する複数のページのそれぞれにつき、前記対象ユーザの注視点が当該ページに含まれる複数のターゲット領域のそれぞれに到達する到達時間を算出し、前記到達時間を第１ＤＢに格納するユーザ動作設定部、前記複数のターゲット領域のそれぞれについて、当該ターゲット領域に対応する刺激種類及び強さを設定し、前記刺激種類及び強さを第２ＤＢに格納する刺激設定部、及び、前記第１ＤＢから、前記対象コンテンツのページ毎に、当該ページに含まれる複数のターゲット領域のそれぞれについての前記到達時間を読み出し、前記第２ＤＢから前記複数のターゲット領域のそれぞれについての前記刺激種類及び強さを読み出し、前記ページ毎に、当該ページがめくられてからの経過時間をカウントし、前記経過時間が前記到達時間に到達したことの条件を判定し、前記条件を満たすと判定したときに、前記到達時間の前記ターゲット領域に対応する前記刺激種類及び強さを含む前記刺激情報を生成し、前記刺激情報を前記刺激提示装置へ出力する刺激情報生成部として機能させることを特徴とする。
【発明の効果】
【0028】
以上のように、本発明によれば、ユーザが静的なコンテンツから情報を受ける際に、コンテンツの進行と同期し、かつ適切なタイミングで適切な刺激を提示することができる。そして、ユーザに対して豊かなメディア体験を提供することができる。
【図面の簡単な説明】
【0029】
【図1】実施例１，２の刺激情報生成装置を含む全体システムの構成例を示す概略図である。
【図2】実施例１におけるユーザ動作設定部及び読書傾向ＤＢの構成例を示すブロック図である。
【図3】ターゲット領域設定部の処理例を示すフローチャートである。
【図4】トリガ時間設定部の処理例を示すフローチャートである。
【図5】ターゲット領域の例を説明する図である。
【図6】読書傾向ＤＢに格納されたターゲット領域データの例を示す図である。
【図7】実施例１における刺激設定部の構成例を示すブロック図である。
【図8】実施例１における刺激設定部の処理例を示すフローチャートである。
【図9】刺激生成ルールを設定する際の表示装置２の表示画面例を示す図である。
【図10】音声データ検索部の処理例を示すフローチャートである。
【図11】音声ＤＢのデータ構成例を示す図である。
【図12】刺激生成ルールＤＢに格納された刺激生成ルールの例を示す図である。
【図13】実施例１における刺激情報生成部の構成例を示すブロック図である。
【図14】実施例１における刺激情報生成部の処理例を示すフローチャートである。
【図15】実施例２におけるユーザ動作設定部及び読書傾向ＤＢの構成例を示すブロック図である。
【図16】コマ毎の文字数Ｃnの例を示す図である。
【図17】読書スピード算出部の処理例を示すフローチャートである。
【図18】到達時間算出部の処理例を示すフローチャートである。
【図19】到達時間算出部の処理例を説明する図である。
【図20】到達時間ＴＴnの例を示す図である。
【図21】実施例２における刺激情報生成部の構成例を示すブロック図である。
【図22】実施例２における刺激情報生成部の処理例を示すフローチャートである。
【発明を実施するための形態】
【0030】
以下、本発明を実施するための形態について図面を用いて詳細に説明する。
〔発明の着目点〕
本発明の実施例１，２を説明する前に、本発明の着目点について説明する。映像同期型でない静的なコンテンツの場合には、ユーザによる静的なコンテンツの進行と正確に連動すること、及び提示する刺激が適切であることが重要となる。そのための手法として、以下の２つを想定する。
（１）常にユーザの視線追跡を行い、注視点を判定することでユーザが見ている箇所に適した刺激を提示する手法（以下、「第１手法」という。）
（２）ユーザの読書傾向（読字速度、視線の移動速度等）に合わせて、自動的に刺激の提示を進行する手法（以下、「第２手法」という。）
〔発明の着目点〕
本発明の実施例１，２を説明する前に、本発明の着目点について説明する。映像同期型でない静的なコンテンツの場合には、ユーザによる静的なコンテンツの進行と正確に連動すること、及び提示する刺激が適切であることが重要となる。そのための手法として、以下の２つを想定する。
（１）常にユーザの視線追跡を行い、注視点を判定することでユーザが見ている箇所に適した刺激を提示する手法（以下、「第１手法」という。）
（２）ユーザの読書傾向（読字速度、視線の移動速度等）に合わせて、自動的に刺激の提示を進行する手法（以下、「第２手法」という。）
【0031】
第１手法は、振動刺激の提示のみに限定した場合、前述の特許文献２の技術と重なる部分があるが、前述のとおり、特許文献２の技術のみでは、ユーザに対して豊かなメディア体験を提供する点において不十分である。
【0032】
例えば、静的なコンテンツがマンガの場合、マンガにはコマ割りがあり、効果音を示す擬音語、並びに、匂い、物の様子及び人物の動作の様子等を示す擬態語であるオノマトペが、特徴的な手書き文字で様々な箇所に様々なサイズで記載されている。また、マンガでは、心情を炎、縦線のイラストまたはコマ背景の色で表現することもあり、心情を表現するために多彩な形態が用いられる。特許文献２の技術では、このようなオノマトペ及び多彩な表現形態に対応することができない。
【0033】
このような多彩な形態の表現に対して、ユーザによる静的なコンテンツの進行に合わせて、適切なタイミングで適切な刺激（振動、温度、風、香り等）を提示するためには、以下の５つがポイントとなる。
【0034】
第一に、ユーザの注視点をトリガ入力として扱うときに反応する領域（以下、「ターゲット領域」という。）の設定が重要となる。ユーザの注視点をトリガ入力として扱うときに、ターゲット領域が小さ過ぎると反応しない、大き過ぎると意図しないところで反応するということが起こるため、適切なターゲット領域の位置及びサイズの設定が重要となる。
【0035】
第二に、トリガ入力として扱う注視点の滞留時間（ターゲット領域内に視点がどれだけ滞留したらトリガとするか）の設定も重要になる。これは、ユーザ特有の読書傾向に依存するため、ユーザ個人に合わせた調整が必要である。
【0036】
第三に、トリガ入力によって提示される刺激の停止のタイミングも重要になる。例えば継続的な擬音語のオノマトペが描かれている箇所では、注視している間は刺激を提示し続け、注視が外れたタイミングで停止すればよいが、注視が外れたという判定を正確に行う必要がある。
【0037】
第四に、常に視線追跡を行うことは、視線計測装置とユーザとの間の位置関係が限定されることとなる。長編の静的なコンテンツを楽しむ際に、ユーザの姿勢が限定されてしまうとユーザの負担になると考えられる。
【0038】
第五に、ページをめくった瞬間に見ていた箇所が誤って注視判定された場合、刺激の提示順序に誤りが生じてしまう可能性がある。このような場合であっても、刺激を正しい順序で提示する必要がある。
【0039】
一方で、第２手法を実現するには、第一に、ユーザの読書傾向を正確に把握し、精度の高い（ユーザによる静的なコンテンツの進行と同期する）タイミングにて自動的に刺激の提示を行うことが重要である。
【0040】
また、第二に、ユーザによる静的なコンテンツの進行と、予め設定された自動的な刺激の提示との間で時間のずれが積み上がることを防止することが重要である。また、第三に、ユーザの不規則（イレギュラー）な動作（読み返す、一旦読むのをやめる等）に対応することが重要である。
【0041】
ここで、第１手法及び第２手法において、静的なコンテンツの進行に伴い、ユーザの注視点に応じて刺激の種類を振動とした刺激情報を生成し、振動の刺激情報を触覚刺激提示装置へ出力する場合を想定する。
【0042】
触覚刺激提示装置として、音声データを入力するタイプの振動子を使用する場合、ユーザに対して適切な振動を提示するためには、音声データは、その注視点における例えばオノマトペに対応した適切なデータである必要がある。
【0043】
ここで、オノマトペに対応した適切な音声データを事前に選択しておく必要があるが、膨大な既存の音声データから１つを選択することは困難であり、例えば各音声データによる振動提示を試しながら１つを選択するのでは、膨大な手間がかかってしまう。
【0044】
そこで、オノマトペを検索ワードとして音声データを検索可能な音声ＤＢを用意しておき、音声ＤＢを用いて音声データを選択する手法（以下、「第３手法」という。）、が考えられる。
【0045】
以下に説明する実施例１は、前述の第１手法に対応し、以下に説明する実施例２は、前述の第２手法に対応し、実施例１，２において、前述の第３手法が実現される。
【0046】
〔刺激情報生成装置を含む全体システムの構成例〕
次に、実施例１，２の刺激情報生成装置を含む全体システムについて説明する。図１は、実施例１，２の刺激情報生成装置を含む全体システムの構成例を示す概略図である。このシステムは、刺激情報生成装置１、表示装置２、視線計測装置３、加速度センサ４、触覚刺激提示装置５Ａ，５Ｂ，５Ｃ及び嗅覚刺激提示装置６等を備えて構成される。刺激情報生成装置１－１，１－２と触覚刺激提示装置５Ａ，５Ｂ，５Ｃ及び嗅覚刺激提示装置６等との間は、無線または有線の通信手段で接続される。
次に、実施例１，２の刺激情報生成装置を含む全体システムについて説明する。図１は、実施例１，２の刺激情報生成装置を含む全体システムの構成例を示す概略図である。このシステムは、刺激情報生成装置１、表示装置２、視線計測装置３、加速度センサ４、触覚刺激提示装置５Ａ，５Ｂ，５Ｃ及び嗅覚刺激提示装置６等を備えて構成される。刺激情報生成装置１－１，１－２と触覚刺激提示装置５Ａ，５Ｂ，５Ｃ及び嗅覚刺激提示装置６等との間は、無線または有線の通信手段で接続される。
【0047】
刺激情報生成装置１は、静的なコンテンツにおいて、ユーザ固有のコンテンツの進行速度に合わせて、適切なタイミングで適切な刺激（触覚刺激、嗅覚刺激等）を提示するための刺激情報を生成して出力する。これにより、ユーザに対して豊かなメディア体験を提供することができる。
【0048】
刺激情報生成装置１は、静的なコンテンツ（例えばマンガ）から情報を受けるユーザのページめくりの操作に従って、コンテンツのページ（画像）を表示装置２へ出力して表示する。
【0049】
刺激情報生成装置１は、ユーザが例えばマンガのコマを読み進める等することで、コンテンツが進行する際に、視線計測装置３から、ユーザが注視している箇所を示す視線データを入力する。そして、刺激情報生成装置１は、実施例１では視線データの示す注視点が予め設定されたターゲット領域内に存在する等の条件を満たしたときに、実施例２ではページがめくられてからの経過時間が所定の時間に到達する条件を満たしたときに、刺激情報を生成し、刺激情報の示す刺激の種類（刺激種類）に応じて、刺激情報を触覚刺激提示装置５Ａ，５Ｂ，５Ｃ及び嗅覚刺激提示装置６等のいずれかへ出力する。
【0050】
ここで、刺激情報生成装置１がコンテンツを入力して刺激情報を生成して出力する場合のコンテンツを、対象コンテンツとする。刺激情報生成装置１が入力するコンテンツのうち、対象コンテンツ以外の前処理のときに使用するコンテンツをサンプルコンテンツとする。また、刺激情報生成装置１により生成された刺激情報に基づく刺激が提示されるユーザを、対象ユーザとする。
【0051】
刺激情報生成装置１は、前処理部１０、読書傾向ＤＢ（第１ＤＢ）２０、音声ＤＢ２１、刺激生成ルールＤＢ（第２ＤＢ）２２、刺激情報生成部３０及びデバイス制御部３１を備えている。前処理部１０は、ユーザ動作設定部１１及び刺激設定部１２を備えている。
【0052】
具体的には、実施例１の刺激情報生成装置１－１は、ユーザ動作設定部１１－１及び刺激設定部１２を備えた前処理部１０、並びに、読書傾向ＤＢ２０－１、音声ＤＢ２１、刺激生成ルールＤＢ２２、刺激情報生成部３０－１及びデバイス制御部３１を備えている。
【0053】
また、実施例２の刺激情報生成装置１－２は、ユーザ動作設定部１１－２及び刺激設定部１２を備えた前処理部１０、並びに、読書傾向ＤＢ２０－２、音声ＤＢ２１、刺激生成ルールＤＢ２２、刺激情報生成部３０－２及びデバイス制御部３１を備えている。
【0054】
実施例１におけるユーザ動作設定部１１－１は、対象コンテンツを入力し、対象コンテンツのページを表示装置２へ出力して表示しながら、複数の所定数のユーザのそれぞれについて順番に、視線計測装置３から、表示装置２に表示された当該ページを見ている当該ユーザの視線データを入力する。また、ユーザ動作設定部１１－１は、加速度センサ４からセンサデータ（手）を入力し、例えばセンサデータ（手）に基づいてページめくりを判定し、ページを設定する。ページめくりは、表示装置２のＵＩ（ユーザインターフェース）上のボタン押下によって行ってもよい。所定数のユーザには、後述する対象ユーザを含んでいてもよいし、含んでいなくてもよい。
【0055】
ユーザ動作設定部１１－１は、所定数のユーザの視線データの示す注視点の軌跡（位置情報及び時間情報を含む視線軌跡データ）に基づいて、注視点の滞留する複数の領域であって、かつ対象コンテンツの描写として刺激提示が適切な領域をターゲット領域に設定し、その位置をターゲット領域位置データに設定する。ユーザ動作設定部１１－１は、複数のターゲット領域位置データを含む複数のターゲット領域に関するデータをターゲット領域データとして、対象コンテンツのターゲット領域データを実施例１における読書傾向ＤＢ２０－１に格納する。
【0056】
これにより、ターゲット領域は、所定数のユーザの視線データに基づいて設定されるため、当該領域が小さ過ぎることがなく、また、大き過ぎることもなく、さらに、ユーザの注視点が滞留する位置に設定されるため、適切なサイズ及び位置の情報となる。つまり、前述の第１手法における第一の問題を解決することができる。
【0057】
また、実施例１におけるユーザ動作設定部１１－１は、サンプルコンテンツを入力し、サンプルコンテンツのページを表示装置２へ出力して表示しながら、視線計測装置３から、表示装置２に表示された当該ページを見ている対象ユーザの視線データを入力する。
【0058】
ユーザ動作設定部１１－１は、対象ユーザの視線データの示す注視点の軌跡に基づいて、注視点の滞留時間を算出し、滞留時間の平均値を算出してこれをトリガ時間に設定し、トリガ時間を実施例１における読書傾向ＤＢ２０－１に格納する。
【0059】
これにより、トリガ時間は、対象ユーザの視線データに基づいて設定されるため、対象ユーザ個人に合わせた調整（刺激を提示するタイミングの調整）が可能となる。つまり、前述の第１手法における第二の問題を解決することができる。
【0060】
実施例２におけるユーザ動作設定部１１－２は、前述のユーザ動作設定部１１－１と同様に、対象コンテンツを用いて、所定数のユーザの視線データの示す注視点の軌跡に基づいて、ターゲット領域データを生成する。そして、ユーザ動作設定部１１－２は、対象コンテンツのターゲット領域データを実施例２における読書傾向ＤＢ２０－２に格納する。
【0061】
また、実施例２におけるユーザ動作設定部１１－２は、既存の手法にて、対象コンテンツにおけるコマ毎の文字を認識してその文字数を算出し、対象コンテンツのコマ毎の文字数Ｃnを実施例２における読書傾向ＤＢ２０－２に格納する。または、ユーザ動作設定部１１－２は、予め設定された対象コンテンツのコマ毎の文字数Ｃnを実施例２における読書傾向ＤＢ２０－２に格納する。ｎは、ページ毎のコマ番号を示す。
【0062】
また、実施例２におけるユーザ動作設定部１１－２は、サンプルコンテンツを入力し、サンプルコンテンツのページを表示装置２へ出力して表示しながら、視線計測装置３から、表示装置２に表示された当該ページを見ている対象ユーザの視線データを入力する。
【0063】
ユーザ動作設定部１１－２は、対象ユーザの視線データの示す注視点の軌跡に基づいて、読み終わった文字の数及び視線の移動時間から読字速度ＶCを算出すると共に、視線の移動距離及び移動時間から視線の移動速度ＶLを算出する。そして、ユーザ動作設定部１１－２は、対象ユーザの読字速度ＶC及び移動速度ＶLを実施例２における読書傾向ＤＢ２０－２に格納する。
【0064】
また、実施例２におけるユーザ動作設定部１１－２は、ターゲット領域データに含まれる複数のターゲット領域位置データ、コマ毎の文字数Ｃn、読字速度ＶC及び移動速度ＶLに基づいて、対象コンテンツを構成する全てのページのそれぞれにつき、対象ユーザの注視点が当該ページ内に存在する複数のターゲット領域のそれぞれに到達する時間を、到達時間ＴＴnとして算出する。そして、ユーザ動作設定部１１－２は、対象ユーザの到達時間ＴＴnとして実施例２における読書傾向ＤＢ２０－２に格納する。
【0065】
これにより、対象ユーザの到達時間ＴＴnは、対象ユーザの読書傾向が反映された時間となり、後述する実施例２における刺激情報生成部３０－２において、到達時間ＴＴnのタイミングにて刺激情報が生成され出力される。このため、精度の高い適切なタイミングで対象ユーザに対し刺激を提示することができる。つまり、前述の第２手法における第一の問題を解決することができる。
【0066】
刺激設定部１２は、読書傾向ＤＢ２０－１，２０－２から対象コンテンツのターゲット領域データを読み出す。そして、刺激設定部１２は、当該刺激情報生成装置１を機能させるための各種データを指定するオペレータの操作に従い、対象コンテンツを構成する全てのページのそれぞれにつき、ターゲット領域データの示す複数のターゲット領域のそれぞれに対して、当該ターゲット領域に対応する刺激種類、強さ、刺激時間等を設定することで、刺激生成ルールを生成する。そして、刺激設定部１２は、刺激生成ルールを刺激生成ルールＤＢ２２に格納する。
【0067】
刺激種類としては、例えば「振動」「温度」「風」「香り」「照明」「音声」「味」等が設定される。「振動」「温度」及び「風」は触覚刺激に属し、「香り」は嗅覚刺激に属し、「照明」は視覚刺激に属し、「音声」は聴覚刺激に属し、「味」は味覚刺激に属する。
【0068】
これにより、複数のターゲット領域のそれぞれについて、刺激種類及び強さ等に加え、刺激時間も設定されるため、刺激の停止を適切なタイミングで行うことができる。つまり、前述の第１手法における第三の問題を解決することができる。
【0069】
また、刺激設定部１２は、ターゲット領域に対応する刺激種類として「振動」が設定される場合、音声ＤＢ２１から、当該ターゲット領域に存在するオノマトペに対応する音声データを読み出す。そして、刺激設定部１２は、当該ターゲット領域について、刺激種類である「振動」、強さ、音声データ及び刺激時間を含む刺激生成ルールを生成して刺激生成ルールＤＢ２２に格納する。
【0070】
これにより、オノマトペに対応した音声データを、簡易な手段にて設定することができる。つまり、前述の第３手法における問題を解決することができる。
【0071】
読書傾向ＤＢ２０、音声ＤＢ２１及び刺激生成ルールＤＢ２２のデータ構成の詳細について後述する。
【0072】
実施例１における刺激情報生成部３０－１は、対象コンテンツを入力し、対象コンテンツのページを表示装置２へ出力して表示しながら、視線計測装置３から、表示装置２に表示された当該ページを見ている対象ユーザの視線データを入力する。また、刺激情報生成部３０－１は、実施例１における読書傾向ＤＢ２０－１から対象コンテンツのターゲット領域データ及びトリガ時間を読み出すと共に、刺激生成ルールＤＢ２２から刺激生成ルールを読み出す。刺激情報生成部３０－１は、加速度センサ４からセンサデータ（手）を入力し、例えばセンサデータ（手）に基づいてページめくりを判定し、ページを設定する。ページめくりは、表示装置２のＵＩ上のボタン押下によって行ってもよい。
【0073】
刺激情報生成部３０－１は、視線データの示す注視点がターゲット領域位置データの示すターゲット領域内にあり、かつ注視点の当該ターゲット領域に連続して存在する時間がトリガ時間を経過した条件を満たすか否かを判定する。
【0074】
この場合、刺激情報生成部３０－１は、注視点がターゲット領域内にあり、かつトリガ時間を経過したことの判定処理において、ページ内で注視点が予め設定されたターゲット領域を順番に移動しているか否かを判定する。
【0075】
これにより、対象ユーザに対し、刺激を正しい順序で提示することができる。つまり、前述の第１手法における第五の問題を解決することができる。
【0076】
刺激情報生成部３０－１は、前述の条件を満たす場合、刺激生成ルールから、当該ターゲット領域に対応する刺激種類及び強さ等を読み出し、これらのデータに基づいて刺激情報を生成し、刺激情報をデバイス制御部３１に出力する。
【0077】
刺激種類が「振動」の場合、刺激情報生成部３０－１は、例えば音声データ及び「振動」の強さを含む触覚用の刺激情報を生成する。また、刺激種類が「温度」の場合、刺激情報生成部３０－１は、例えば温冷データ（温または冷を示すデータ）及び温冷の強さを含む触覚用の刺激情報を生成する。また、刺激種類が「風」の場合、刺激情報生成部３０－１は、例えば風の強さ及び方向を含む触覚用の刺激情報を生成する。
【0078】
また、刺激種類が「香り」の場合、刺激情報生成部３０－１は、例えば香りの種類（樹木、ハーブ、柑橘等の精油を元にした香りまたはフレーバーオイルの香り等）及び香りの強さを含む嗅覚用の刺激情報を生成する。また、刺激種類が「照明」である場合、刺激情報生成部３０－１は、例えば照明の色及び明るさを含む視覚用の刺激情報を生成する。また、刺激種類が「音声」の場合、刺激情報生成部３０－１は、例えば音声データ及び音声の強さを含む聴覚用の刺激情報を生成する。また、刺激種類が「味」の場合、刺激情報生成部３０－１は、例えば味の種類（甘味、酸味、塩味、苦味、うま味等）を含む味覚用の刺激情報を生成する。実施例２における刺激情報生成部３０－２についても同様である。
【0079】
実施例２における刺激情報生成部３０－２は、対象コンテンツを入力し、対象コンテンツのページを表示装置２へ出力して表示する。また、刺激情報生成部３０－２は、実施例２における読書傾向ＤＢ２０－２から到達時間ＴＴnを読み出すと共に、刺激生成ルールＤＢ２２から刺激生成ルールを読み出す。刺激情報生成部３０－２は、加速度センサ４からセンサデータ（手）を入力し、例えばセンサデータ（手）に基づいてページめくりを判定し、ページを設定する。ページめくりは、表示装置２のＵＩ上のボタン押下によって行ってもよい。
【0080】
刺激情報生成部３０－２は、ページ毎に、当該ページがめくられてからの経過時間ｔをカウントし、経過時間ｔが到達時間ＴＴnに到達したか否かを判定する。そして、刺激情報生成部３０－２は、経過時間ｔが到達時間ＴＴnに到達したと判定した場合、刺激生成ルールから、当該到達時間ＴＴnのターゲット領域に対応する刺激種類及び強さ等を読み出し、これらのデータに基づいて刺激情報を生成し、刺激情報をデバイス制御部３１に出力する。この場合、刺激情報生成部３０－２は、ページめくりがある毎に、経過時間ｔをリセットする。
【0081】
これにより、ページめくりがある毎に、静的なコンテンツの進行具合と刺激提示との間の時間的なずれの積み上がりを防止することができる。つまり、前述の第２手法における第二の問題を解決することができる。
【0082】
デバイス制御部３１は、刺激情報生成部３０－１，３０－２から刺激情報を入力し、当該刺激情報の示す刺激が対象ユーザへ提示されるように、触覚刺激提示装置５Ａ，５Ｂ，５Ｃ、嗅覚刺激提示装置６等のデバイスを制御する。すなわち、デバイス制御部３１は、当該刺激情報（の制御信号）を、当該刺激情報に含まれる刺激種類に応じた触覚刺激提示装置５Ａ，５Ｂ，５Ｃ、嗅覚刺激提示装置６等の刺激提示装置のうちのいずれかへ出力する。
【0083】
表示装置２は、刺激情報生成装置１－１，１－２からコンテンツのページを入力し、当該ページを画面に表示する。
【0084】
視線計測装置３は、ユーザが注視している方向を示す視線データを刺激情報生成装置１－１，１－２へ出力する。ユーザが表示装置２に表示されたコンテンツのページを見ている場合、視線計測装置３は、ページ内におけるユーザの注視点の位置情報を含む視線データを出力する。
【0085】
視線計測装置３がユーザから離れた位置に設置する形式の装置である場合、ユーザの読書姿勢が制限されてしまう。このため、姿勢を制限したくない場合は、視線計測装置３としてウェアラブル型の装置（例えば眼鏡に装着された装置）を用いる。
【0086】
これにより、ユーザの読書姿勢が制限されることなく、かつユーザの姿勢の負担を解消することができる。つまり、前述の第１手法における第四の問題を解決することができる。
【0087】
加速度センサ４は、表示装置２に表示されたコンテンツのページを見ているユーザの手に装着されており、ユーザの手の動きを検出するためのセンサデータ（手）を、ユーザのページめくりに相当する手の動きがあったときに刺激情報生成装置１－１，１－２へ出力する。このセンサデータ（手）は、刺激情報生成装置１－１，１－２において、ページめくりの判定のために用いられる。
【0088】
触覚刺激提示装置５Ａは、ユーザへ振動の触覚刺激を提示するデバイスであり、刺激情報生成装置１－１，１－２から例えば音声データ及び強さを含む刺激情報を入力し、刺激情報に応じて音声データに連動し、かつ強さの示すレベルにて振動子が振動する。
【0089】
触覚刺激提示装置５Ｂは、ユーザへ温度の触覚刺激を提示するデバイスであり、刺激情報生成装置１－１，１－２から例えば温冷データ及び強さを含む刺激情報を入力する。そして、触覚刺激提示装置５Ｂは、刺激情報に応じた電流がペルチェ素子に流れ、温冷データが温を示している場合、強さの示すレベルにてペルチェ素子の刺激提示面が加熱し、温冷データが冷を示している場合、強さの示すレベルにてペルチェ素子の刺激提示面が冷却するように動作する。ペルチェ素子は、電流の極性を制御することで温冷どちらの提示にも対応することが可能な素子である。
【0090】
触覚刺激提示装置５Ｃは、ユーザへ風の触覚刺激を提示するデバイスであり、刺激情報生成装置１－１，１－２から例えば風の強さ及び方向を含む刺激情報を入力し、刺激情報に応じて、強さの示すレベルにて指定した方向を向いてモータが回転することで、送風する。
【0091】
嗅覚刺激提示装置６は、ユーザへ香りの嗅覚刺激を提示するデバイスであり、刺激情報生成装置１－１，１－２から例えば香りの種類及び強さを含む刺激情報を入力し、刺激情報に応じて、種類の示す香りを、強さの示すレベルにてモータが回転する等して、香りを発生させる。
【0092】
ここで、触覚刺激提示装置５Ａ，５Ｂは、接触型の触覚刺激（振動及び温度）をユーザへ提示するデバイスである。これらのデバイスのサイズは、ユーザが手軽に扱えるように小型とし、マンガ等の静的なメディアを楽しむ際に自然な持ち方で把持できるようにする。
【0093】
把持型の小型デバイスは、ウェアラブル型なデバイスのように着脱の必要がなく、様々なシーンにおいて効率的に使用することができる。また、ユーザが提示中の刺激から即座に離れたいと思った場合、小型デバイスの制御は不要であり、小型デバイスから手を離すだけで対応可能である。
【0094】
また、把持型の小型デバイスについては、振動及び温度を手のひらのサイズほどの面積で提示し、それをユーザが把持する際に触れるようにする。これにより、グローブ型デバイス及び触る場所を固定するデバイスよりも汎用性が向上し、個人差の影響も小さくなる。
【0095】
例えば触覚刺激を提示する触覚刺激提示装置５Ａ，５Ｂ，５Ｃについては、静的なコンテンツの様々なシーンに適応するために、振動、温度等を、ユーザが姿勢を変えることなく提示できることが望ましい。このため、コンテンツが表示される表示装置２と共に自然な持ち方でユーザが把持できるように、例えば表示装置２がタブレットＰＣの場合、触覚刺激提示装置５Ａ，５Ｂ，５Ｃは、その背面に装着できるものとする。
【0096】
例えば嗅覚刺激を提示する嗅覚刺激提示装置６については、ユーザがコンテンツを楽しむ際に邪魔にならない位置（例えばコンテンツが表示される表示装置２の上部）に設置されるデバイスが用いられる。詳細については以下を参照されたい。
［非特許文献］ “Aroma Shooter（登録商標）”，［online］、Aromajoin Corporation、［令和４年８月５日検索］、インターネット＜ＵＲＬ：https://aromajoin.com/products/aroma-shooter＞
［非特許文献］ “Aroma Shooter（登録商標）”，［online］、Aromajoin Corporation、［令和４年８月５日検索］、インターネット＜ＵＲＬ：https://aromajoin.com/products/aroma-shooter＞
【0097】
尚、加速度センサ４－２は、刺激情報生成装置１が実施例２の刺激情報生成装置１－２として機能する場合に設けられる。加速度センサ４－２は、例えば表示装置２に表示されたコンテンツのページを見ている対象ユーザの頭部に装着されており、対象ユーザの頭の動きがあったときに、頭の動きを検出するためのセンサデータ（頭部）を刺激情報生成装置１－２へ出力する。このセンサデータ（頭部）は、刺激情報生成装置１－２において、対象ユーザの不規則動作の判定のために用いられる。
【0098】
この場合、実施例２における刺激情報生成部３０－２は、センサデータ（頭部）に基づいて対象ユーザの不規則動作有りを判定すると、対象ユーザによる読み返し、読書の一次中断等があったことを判断し、当該刺激情報生成部３０－２の処理を中断する。
【0099】
これにより、対象ユーザの不規則動作の有無を判定することで、対象ユーザによる読み返し、読書の一次中断等に対応することができる。つまり、前述の第２手法における第三の問題を解決することができる。
【0100】
また、図１に示したシステムは、ユーザへ刺激を提示する触覚刺激提示装置５Ａ，５Ｂ，５Ｃ及び嗅覚刺激提示装置６の他、例えば視覚刺激提示装置、聴覚刺激提示装置及び味覚刺激提示装置を備えるようにしてもよい。
【0101】
視覚刺激提示装置は、ユーザへ照明の視覚刺激を提示するデバイスであり、刺激情報生成装置１－１，１－２から例えば照明の色及び明るさを含む刺激情報を入力し、刺激情報に応じた色及び明るさにて、照明装置が点灯する。また、聴覚刺激提示装置は、ユーザへ音声の聴覚刺激を提示するデバイスであり、刺激情報生成装置１－１，１－２から例えば音声データ及び音声の強さを含む刺激情報を入力し、刺激情報に応じた音声を、強さの示すレベルにてスピーカまたはヘッドフォンから出力する。また、味覚刺激提示装置は、ユーザへ味の味覚刺激を提示するデバイスであり、刺激情報生成装置１－１，１－２から例えば味の種類を含む刺激情報を入力し、刺激情報に応じた味をユーザへ提示する。
【0102】
〔実施例１〕
次に、図１に示した実施例１の刺激情報生成装置１－１について詳細に説明する。前述のとおり、実施例１の刺激情報生成装置１－１は、常に対象ユーザの視線追跡を行い、注視点を判定することで対象ユーザが見ている箇所に適した刺激を提示する第１手法を実現する。
次に、図１に示した実施例１の刺激情報生成装置１－１について詳細に説明する。前述のとおり、実施例１の刺激情報生成装置１－１は、常に対象ユーザの視線追跡を行い、注視点を判定することで対象ユーザが見ている箇所に適した刺激を提示する第１手法を実現する。
【0103】
図２は、実施例１におけるユーザ動作設定部１１－１及び読書傾向ＤＢ２０－１の構成例を示すブロック図である。
【0104】
このユーザ動作設定部１１－１は、ターゲット領域設定部４０及びトリガ時間設定部４１を備えている。読書傾向ＤＢ２０－１は、所定数のユーザのそれぞれから取得した対象コンテンツ視線軌跡データ、ターゲット領域データ、対象ユーザから取得したサンプルコンテンツ視線軌跡データ、及び対象ユーザのトリガ時間が格納される。
【0105】
（ユーザ動作設定部１１－１／ターゲット領域設定部４０）
まず、ユーザ動作設定部１１－１に備えたターゲット領域設定部４０について説明する。図３は、ターゲット領域設定部４０の処理例を示すフローチャートである。ターゲット領域設定部４０は、対象コンテンツを入力し、対象コンテンツのページを表示装置２へ出力して表示する（ステップＳ３０１）。
まず、ユーザ動作設定部１１－１に備えたターゲット領域設定部４０について説明する。図３は、ターゲット領域設定部４０の処理例を示すフローチャートである。ターゲット領域設定部４０は、対象コンテンツを入力し、対象コンテンツのページを表示装置２へ出力して表示する（ステップＳ３０１）。
【0106】
この場合、ターゲット領域設定部４０は、例えば加速度センサ４から入力したセンサデータ（手）に基づいてページめくり有りを判定すると、次のページを表示装置２へ出力して表示する。
【0107】
後述するステップＳ３０２，Ｓ３０３は、所定数のユーザのそれぞれに対して行われる。
【0108】
ターゲット領域設定部４０は、視線計測装置３からユーザ毎の視線データを入力し、視線データの示す注視点の軌跡を視線軌跡データとして、ユーザ毎の対象コンテンツ視線軌跡データを読書傾向ＤＢ２０－１に格納する（ステップＳ３０２）。
【0109】
ターゲット領域設定部４０は、読書傾向ＤＢ２０－１からユーザ毎の対象コンテンツ視線軌跡データを読み出す（ステップＳ３０３）。そして、ターゲット領域設定部４０は、ユーザ毎に、当該ユーザの対象コンテンツ視線軌跡データに基づいて、注視点の滞留が起きているエリアを描画し、所定数の全てのユーザ（または所定数以下の予め設定された数のユーザ）について描画した全てのエリアを包含する領域または平均化した領域であって、かつ対象コンテンツの描写として刺激提示が適切な領域をターゲット領域に設定する（ステップＳ３０４）。平均化した領域とは、例えば以下の処理により得られる長方形の領域である。つまり、ターゲット領域設定部４０は、所定数の全てのユーザのそれぞれについて、注視点の滞留が起きているエリアを長方形で描画し、その４頂点の座標を求める。そして、ターゲット領域設定部４０は、注視点の滞留が起きているエリア毎に、全てのユーザにおける４頂点の座標のそれぞれを平均化することで、４頂点の平均位置座標を求め、４頂点の平均位置座標の示す長方形の領域を平均化した領域とする。これにより、対象コンテンツを構成する全てのページのそれぞれについて、所定数のユーザにつき描画したエリアであって、対象コンテンツの描写として刺激提示が適切な全てのエリアが複数のターゲット領域として設定される。
【0110】
注視点の滞留が起きているエリアは、対象コンテンツのフレーム毎に注視点の移動が微小なエリアであり、注視点が所定の時間期間において所定の領域内に存在している場合に、当該注視点を含む領域を滞留が起きているエリアとする。また、対象コンテンツの描写として刺激提示が適切な領域とは、対象コンテンツの内容を描画した所定領域であり、例えば登場人物の顔のある領域、セリフの枠、オノマトペが描写された領域、イラスト（炎、衝撃の様子等）の領域が該当する。つまり、ターゲット領域は、対象コンテンツに対するユーザの注視点が滞留する領域であって、かつ対象コンテンツの内容を描写した所定領域である。
【0111】
ターゲット領域設定部４０は、ターゲット領域の位置（ターゲット領域の左上座標、幅及び高さ）をターゲット領域位置データとして設定する。
【0112】
図５は、ターゲット領域の例を説明する図である。図５に示すように、ターゲット領域設定部４０により、対象コンテンツのあるページにおいて、例えば１番目のコマ（ｎ＝１）内にターゲット領域ＴＲ１が設定され、２番目のコマ（ｎ＝２）内にターゲット領域ＴＲ２が設定され、・・・、５番目のコマ（ｎ＝５）内にターゲット領域ＴＲ５が設定される。
【0113】
尚、図５の例は、コマ毎に１つのターゲット領域が設定される場合を示しているが、１つのコマに複数のターゲット領域が設定される場合もある。
【0114】
図２及び図３に戻って、ターゲット領域設定部４０は、ステップＳ３０４の後、ページ毎に、複数のターゲット領域のそれぞれに対して、刺激を提示する順番を示すターゲット領域番号を付与する（ステップＳ３０５）。そして、ターゲット領域設定部４０は、ページ毎のターゲット領域番号及びターゲット領域位置データを含むターゲット領域データを読書傾向ＤＢ２０－１に格納する（ステップＳ３０６）。
【0115】
図６は、読書傾向ＤＢ２０－１に格納されたターゲット領域データの例を示す図である。このターゲット領域データは、コンテンツＩＤ（対象コンテンツの識別子）、ページ番号、ターゲット領域番号（ページ内における刺激を提示する順番を示す番号）及びターゲット領域位置データ（ページ内におけるターゲット領域の位置を示すデータ）から構成される。Ｎは、最終ページの番号である。
【0116】
図６に示すように、コンテンツＩＤがＡ１である対象コンテンツにおいて、１のページ番号には、１～５のターゲット領域番号の１～５のターゲット領域位置データが設定されており、例えばターゲット領域番号が１の場合、ターゲット領域の左上の座標が（ｘ１，ｙ１）、幅がｗ１及び高さがｈ１のデータが設定されている。
【0117】
尚、図６に示したターゲット領域データは、コンテンツＩＤがＡ１である対象コンテンツに対するデータ群からなる。これに対し、ターゲット領域データは、複数の対象コンテンツに対するデータ群からなるようにしてもよい。
【0118】
このように、ターゲット領域設定部４０により、対象コンテンツのページ毎にターゲット領域番号及びターゲット領域位置データを含むターゲット領域データが、読書傾向ＤＢ２０－１に格納される。
【0119】
（ユーザ動作設定部１１－１／トリガ時間設定部４１）
次に、ユーザ動作設定部１１－１に備えたトリガ時間設定部４１について説明する。図４は、トリガ時間設定部４１の処理例を示すフローチャートである。トリガ時間設定部４１は、対象コンテンツ以外のサンプルコンテンツを入力し、サンプルコンテンツのページを表示装置２へ出力して表示する（ステップＳ４０１）。
次に、ユーザ動作設定部１１－１に備えたトリガ時間設定部４１について説明する。図４は、トリガ時間設定部４１の処理例を示すフローチャートである。トリガ時間設定部４１は、対象コンテンツ以外のサンプルコンテンツを入力し、サンプルコンテンツのページを表示装置２へ出力して表示する（ステップＳ４０１）。
【0120】
この場合、トリガ時間設定部４１は、ターゲット領域設定部４０と同様に、例えば加速度センサ４からセンサデータ（手）を入力してページめくり有りを判定すると、次のページを表示装置２へ出力して表示する。
【0121】
トリガ時間設定部４１は、視線計測装置３から対象ユーザの視線データを入力し、視線データの示す注視点の軌跡を視線軌跡データとして、対象ユーザのサンプルコンテンツ視線軌跡データを読書傾向ＤＢ２０－１に格納する（ステップＳ４０２）。
【0122】
トリガ時間設定部４１は、読書傾向ＤＢ２０－１から対象ユーザのサンプルコンテンツ視線軌跡データを読み出す（ステップＳ４０３）。そして、トリガ時間設定部４１は、対象ユーザのサンプルコンテンツ視線軌跡データに基づいて、図３に示したステップＳ３０４と同様の処理にて、ターゲット領域を設定する。これにより、サンプルコンテンツについて複数のターゲット領域が設定される。
【0123】
トリガ時間設定部４１は、対象ユーザのサンプルコンテンツ視線軌跡データに基づいて、複数のターゲット領域のそれぞれにつき、注視点の滞留が起きている時間（滞留時間）を算出する（ステップＳ４０４）。そして、トリガ時間設定部４１は、複数のターゲット領域の滞留時間の平均値を算出し、当該平均値をトリガ時間に設定し（ステップＳ４０５）、トリガ時間を読書傾向ＤＢ２０－１に格納する（ステップＳ４０６）。
【0124】
このように、トリガ時間設定部４１により、サンプルコンテンツに対する対象ユーザの視線データから取得された滞留時間の平均値が、対象ユーザのトリガ時間として読書傾向ＤＢ２０－１に格納される。
【0125】
（刺激設定部１２）
次に、図１に示した刺激設定部１２について説明する。図７は、実施例１における刺激設定部１２の構成例を示すブロック図であり、図８は、実施例１における刺激設定部１２の処理例を示すフローチャートである。図７及び図８に示す刺激設定部１２の構成例及び処理例は、後述する実施例２においても適用がある。刺激生成ルールＤＢ２２についても同様である。
次に、図１に示した刺激設定部１２について説明する。図７は、実施例１における刺激設定部１２の構成例を示すブロック図であり、図８は、実施例１における刺激設定部１２の処理例を示すフローチャートである。図７及び図８に示す刺激設定部１２の構成例及び処理例は、後述する実施例２においても適用がある。刺激生成ルールＤＢ２２についても同様である。
【0126】
この刺激設定部１２は、表示処理部４２、刺激生成ルール設定部４３及び音声データ検索部４４を備えている。刺激生成ルールＤＢ２２は、刺激生成ルール（のデータ）が格納される。
【0127】
表示処理部４２は、対象コンテンツを入力し（ステップＳ８０１）、表示処理部４２及び刺激生成ルール設定部４３は、読書傾向ＤＢ２０－１（，２０－２）からターゲット領域データを読み出す（ステップＳ８０２）。また、刺激生成ルール設定部４３は、刺激生成ルールＤＢ２２に、既に設定された刺激生成ルールが格納されている場合、刺激生成ルールＤＢ２２から刺激生成ルールを読み出す（ステップＳ８０３）。そして、表示処理部４２は、刺激生成ルール設定部４３から刺激生成ルールを入力する。
【0128】
表示処理部４２は、対象コンテンツのページ、並びにターゲット領域データに含まれる当該ページのターゲット領域番号及びターゲット領域位置データの各種データを、表示装置２へ出力して表示する（ステップＳ８０４）。
【0129】
また、表示処理部４２は、刺激生成ルール設定部４３から既に設定された刺激生成ルールを入力した場合、対象コンテンツのページ、並びに刺激生成ルールに含まれるターゲット領域番号、ターゲット領域位置データ、刺激種類、種類データ等の各種データを、表示装置２へ出力して表示する（ステップＳ８０４）。
【0130】
図９は、刺激生成ルールを設定する際の表示装置２の表示画面例を示す図である。図９に示すように、表示装置２には、対象コンテンツの画像（ページ）のファイル名「yakyu1.png」、当該ページのマンガのコマ（５コマから構成される）、各コマにおけるターゲット領域ＴＲ１，ＴＲ２，・・・，ＴＲ５、ターゲット領域ＴＲ１，ＴＲ２，・・・，ＴＲ５のそれぞれについての各種データが表示されている。これらの各種データは、後述する図１２に示す刺激生成ルールのデータに対応する。
【0131】
各コマにおけるターゲット領域ＴＲ１，ＴＲ２，・・・，ＴＲ５は、ターゲット領域番号及びターゲット領域位置データにより特定されて表示される。また、ターゲット領域ＴＲ１，ＴＲ２，・・・，ＴＲ５のそれぞれについての各種データは、ターゲット領域位置データ（図９のａ０，・・・，ｄ０，・）、刺激種類（ａ１，・・・，ｄ１、・）、種類データ（ａ２，・・・，ｄ２，・）、強さ（ａ３，・・・，ｄ３，・）、刺激時間（ａ４，・・・，ｄ４，・）及び刺激効果（開始／終了）（ａ５，・・・，ｄ５，・）である。
【0132】
図７及び図８に戻って、刺激生成ルール設定部４３は、オペレータの操作に従い（図９に示した表示画面のＵＩ上でのドラッグアンドドロップ操作等により）、各種データ（図９のａ０，ａ１，・・・，ａ５，・・・，ｄ０，ｄ１，・・・，ｄ５，・・・）を入力することで、ターゲット領域毎のルールを設定（編集）する（ステップＳ８０５）。そして、刺激生成ルール設定部４３は、設定された刺激生成ルールを表示処理部４２に出力する。
【0133】
具体的には、刺激生成ルール設定部４３は、オペレータの操作に従い、ターゲット領域毎に、ターゲット領域位置データ（ａ０，・・・，ｄ０，・）、刺激種類（ａ１，・・・，ｄ１，・）、種類データ（ａ２，・・・，ｄ２，・）、強さ（ａ３，・・・，ｄ３，・）、刺激時間（ａ４，・・・，ｄ４，・）及び刺激効果（開始／終了）（ａ５，・・・，ｄ５，・）の各種データを入力し、当該ページのルールを設定する。各種データの詳細については後述する図１２にて説明する。
【0134】
尚、刺激生成ルール設定部４３は、刺激提示をプレビューしながら編集できるようにするために、図１に示したデバイス制御部３１を介して触覚刺激提示装置５Ａ等のデバイスと接続し、設定したルールに従い、触覚刺激提示装置５Ａ等を動作させるようにしてもよい。
【0135】
また、刺激生成ルール設定部４３は、ステップＳ８０５において、オペレータの操作に従い、刺激種類として「振動」を設定した場合、音声データ検索部４４は、音声ＤＢ２１を用いて、種類データとして音声データを検索する。
【0136】
図１０は、音声データ検索部４４の処理例を示すフローチャートである。音声データ検索部４４は、刺激生成ルール設定部４３により刺激種類として「振動」が設定された場合に、当該ターゲット領域（振動ターゲット領域）に対応するコマにつき、当該コマ内における予め設定された検索ワードのオノマトペを入力する（ステップＳ１００１）。
【0137】
尚、図７の刺激設定部１２には図示していないオノマトペ検出部は、当該ターゲット領域に対応するコマにつき、所定の文字認識処理により、当該コマ内のオノマトペを検出するようにしてもよい。この場合、音声データ検索部４４は、オノマトペ検出部からオノマトペを入力する。
【0138】
音声データ検索部４４は、ステップＳ１００１の後、音声ＤＢ２１から、ステップＳ１００１にて入力したオノマトペに対応する音声データ及び触感（のデータ）を読み出す（ステップＳ１００２）。
【0139】
図１１は、音声ＤＢ２１のデータ構成例を示す図である。この音声ＤＢ２１は、オノマトペ、音声データ及び触感（のデータ）を組とした複数の組データを備えて構成される。図１１には、音声データのファイル名が示されている。また、触感は、オノマトペに対応する音声データがユーザの観点からどの程度適正であるかを示す情報である。
【0140】
図１１に示す音声ＤＢ２１には、オノマトペが「ビュッ」の場合に、これに対応する音声データとして「byu1.mp3」「byu2.mp3」等が格納されており、「byu1.mp3」の触感として「１」、「byu2.mp3」の触感として「２」等が格納されている。
【0141】
また、音声ＤＢ２１には、オノマトペが「カンッ」の場合に、これに対応する音声データとして「kan1.mp3」等が設定されており、「kan1.mp3」の触感として「１」等が設定されている。
【0142】
対象コンテンツがマンガであり、マンガに描かれたオノマトペを用いて検索する場合には、適切な触覚刺激となる音声データを取得できることが理想であるが、オノマトペを表現した音声データを振動子に入力して触覚刺激としたときに、必ずしも意図していた触覚刺激を提示できるとは限らない。
【0143】
そこで、ユーザの意図に従った触覚刺激を提示できるように、音声ＤＢ２１は、オノマトペ及び音声データに加え、さらに触感を含めた３項目のデータを組として構成するようにした。
【0144】
これにより、触感のデータである適正度合いに応じて、適切な音声データを設定することができる。つまり、オノマトペで検索可能な音声ＤＢ２１を用いて、触覚刺激提示の入力として使用するのに適切な音声データを設定可能なオーサリングシステムを実現することができる。
【0145】
尚、音声ＤＢ２１は、オノマトペ及び音声データを組とした複数の組データを備えて構成されるようにしてもよい。この場合、音声データ検索部４４は、音声ＤＢ２１から、ステップＳ１００１にて入力したオノマトペに対応する音声データを読み出す。
【0146】
図７及び図１０に戻って、音声データ検索部４４は、ステップＳ１００２の後、触感に応じて音声データのファイル名を、刺激生成ルール設定部４３及び表示処理部４２を介して表示装置２に表示する（ステップＳ１００３）。
【0147】
図９のａａの箇所を参照して、例えば検索ワードが「ビュッ」の場合に、検索結果として、触感の示す数値の順番に上から「byu1.mp3」「byu2.mp3」等が表示される。オペレータは、検索結果のファイル名の左側にある再生ボタンを操作することで、当該ファイル名の音声が図１には図示していない再生装置にて再生される。
【0148】
尚、音声データ検索部４４は、ステップＳ１００１において、検索ワードのオノマトペを入力したときに、検索ワードを音声合成して音声データを生成すると共に、音声データのファイル名を付与するようにしてもよい。この場合、音声データ検索部４４は、ステップＳ１００３において、生成した音声データのファイル名も表示装置２に表示する。
【0149】
これにより、音声ＤＢ２１にないオノマトペが描かれていた際に、対象コンテンツに応じて、独自のオノマトペに対応した音声データを生成することができ、振動刺激の提示に使用することができる。
【0150】
図７及び図１０に戻って、音声データ検索部４４は、オペレータの操作に従い、表示装置２に表示された音声データのファイル名（例えば「byu1.mp3」「byu2.mp3」等）のうちいずれか１つの音声データを選択する（ステップＳ１００４）。
【0151】
この場合、音声データ検索部４４は、オペレータの操作を介入させることなく、音声ＤＢ２１から読み出した複数の音声データのうち、触感の示す数値が最小の（適正度合いが最も高い）音声データを選択するようにしてもよい。
【0152】
このようにして選択された音声データは、刺激生成ルール設定部４３により、刺激種類が「振動」の場合の種類データに設定される。
【0153】
尚、前述の例では、刺激生成ルール設定部４３は、図８のステップＳ８０５において、刺激種類が「振動」の場合に、音声データ検索部４４により選択された音声データを種類データとして設定し、オペレータの操作に従い、その強さを設定するようにした。
【0154】
これに対し、図７の刺激設定部１２には図示していないオノマトペ検出部は、当該ターゲット領域に対応するコマにつき、所定の文字認識処理等により、オノマトペの文字のサイズを検出するようにしてもよい。
【0155】
この場合、刺激生成ルール設定部４３は、オノマトペ検出部からオノマトペのサイズを入力し、サイズが大きいほど強さのレベルが上がり、サイズが小さいほど強さのレベルが下がるように、強さを自動的に設定する。
【0156】
また、刺激生成ルール設定部４３は、図８のステップＳ８０５において、刺激種類が「振動」の場合に、図７の刺激設定部１２には図示していないオノマトペ検出部に対し、オノマトペを自動的に認識させると共に、そのサイズも自動的に認識させ、音声データ検索部４４に対し、音声ＤＢ２１を用いて音声データを自動的に選択させるようにしてもよい。
【0157】
これにより、刺激種類が「振動」の場合に、オペレータの操作を介入させることなく、その種類データである音声データ及び強さを自動的に設定することができる。
【0158】
図７及び図８に戻って、刺激生成ルール設定部４３は、ステップＳ８０５の後、全てのページの設定が完了したか否かを判定する（ステップＳ８０６）。刺激生成ルール設定部４３は、ステップＳ８０６において、全てのページの設定が完了していないと判定した場合（ステップＳ８０６：Ｎ）、ステップＳ８０４へ移行し、次のページについて、表示処理部４２がステップＳ８０４の処理を行い、刺激生成ルール設定部４３がステップＳ８０５の処理を行う。
【0159】
一方、刺激生成ルール設定部４３は、ステップＳ８０６において、全てのページの設定が完了したと判定した場合（ステップＳ８０６：Ｙ）、刺激生成ルールを刺激生成ルールＤＢ２２に格納する（ステップＳ８０７）。
【0160】
図１２は、刺激生成ルールＤＢ２２に格納された刺激生成ルールの例を示す図である。刺激生成ルールは、コンテンツＩＤ（対象コンテンツの識別子）、ページ番号、ターゲット領域番号、ターゲット領域位置データ、刺激種類、種類データ、強さ（レベル）、刺激時間及び刺激効果（開始／終了）から構成される。Ｎは、最終ページの番号である。
【0161】
コンテンツＩＤがＡ１である対象コンテンツにおいて、１のページ番号には、１～５のターゲット領域番号のターゲット領域位置データが設定されており、例えばターゲット領域番号が１の場合、ターゲット領域の左上の座標が（ｘ１，ｙ１）、幅がｗ１及び高さがｈ１、刺激種類が「振動」、種類データが「byu2.mp3」、強さが「４」、刺激時間が「再生終了まで」及び刺激効果が「なし／なし」のデータが設定されている。
【0162】
刺激種類は、「振動」「温度」「風」「香り」等である。種類データは、例えば刺激種類が「振動」の場合、音声データであり、刺激種類が「温度」の場合、「温」または「冷」を示す温冷データであり、刺激種類が「香り」の場合、香りの種類を示すデータである。強さ（レベル）は、刺激種類が「振動」または「風」の場合、その大きさであり、刺激種類が「温度」の場合、「温冷データ」の「温」または「冷」の強さであり、刺激種類が「香り」の場合、その強さである。
【0163】
刺激時間は、当該刺激が提示される時間期間であり、例えば「再生終了まで」、「カスタム２０００ｍｓ」（具体的な時間の長さ）が設定される。刺激時間として「再生終了まで」が設定された場合、例えば刺激種類が「振動」のときは、音声データが再生されてから再生が終了するまでの間（音声データの時間長）で刺激が継続することを示す。また、刺激時間として「カスタム２０００ｍｓ」が設定された場合、例えば刺激種類が「振動」のときは、音声データが再生されてから２０００ｍｓ経過するまでの間で刺激が継続することを示す。
【0164】
このように、刺激時間として、「再生終了まで」または「カスタム２０００ｍｓ」のように具体的な時間の長さが設定されることにより、ユーザに対し瞬発的な刺激または継続的な刺激を提示することができる。
【0165】
刺激効果（開始／停止）は、刺激の提示が開始するときにフェードインの効果を付与するか否か（フェードまたはなし）、及び刺激の提示が終了するときにフェードアウトの効果を付与するか否か（フェードまたはなし）が設定される。
【0166】
これにより、例えば瞬発的な刺激の場合に、刺激効果（開始／停止）として「なし／なし」を設定する。この場合、後述する図１４のステップＳ１４０６において、トリガ入力が発生した瞬間に刺激情報を生成及び出力してユーザに刺激を提示するが、刺激の停止処理としてその効果が必要ないことも多く、これに対応することができる。
【0167】
また、例えば継続的な刺激の場合は、後述する図１４のステップＳ１４０６において、注視点がターゲット領域内に滞留する等によりトリガ入力が発生した後、刺激を継続し、注視点がターゲット領域外に一定時間以上滞留したときに、刺激を停止することとなる。この場合、刺激が急に停止すると不自然になるため、刺激効果の停止を「フェード」に設定して、フェードアウトの効果を提示することで、ユーザに対して不自然な印象を与えることなく刺激を停止させることができる。
【0168】
尚、図１２に示した刺激生成ルールは、コンテンツＩＤがＡ１である対象コンテンツに対する対象ユーザについてのデータ群からなる。これに対し、刺激生成ルールは、複数の対象コンテンツに対する対象ユーザについてのデータ群からなるようにしてもよいし、１または複数の対象コンテンツに対する複数の対象ユーザのそれぞれについてのデータ群からなるようにしてもよい。
【0169】
このように、刺激設定部１２により、対象コンテンツのページ毎にターゲット領域番号、ターゲット領域位置データ、刺激種類、種類データ等を含む刺激生成ルールが、刺激生成ルールＤＢ２２に格納される。
【0170】
（刺激情報生成部３０－１）
次に、図１に示した実施例１における刺激情報生成部３０－１について詳細に説明する。図１３は、実施例１における刺激情報生成部３０－１の構成例を示すブロック図であり、図１４は、実施例１における刺激情報生成部３０－１の処理例を示すフローチャートである。
次に、図１に示した実施例１における刺激情報生成部３０－１について詳細に説明する。図１３は、実施例１における刺激情報生成部３０－１の構成例を示すブロック図であり、図１４は、実施例１における刺激情報生成部３０－１の処理例を示すフローチャートである。
【0171】
この刺激情報生成部３０－１は、表示処理部５０、ページめくり判定部５１、注視点ターゲット領域判定部５２及び刺激情報処理部５３を備えている。
【0172】
表示処理部５０は、対象コンテンツを入力し（ステップＳ１４０１）、注視点ターゲット領域判定部５２は、読書傾向ＤＢ２０－１からトリガ時間を読み出す（ステップＳ１４０２）。また、注視点ターゲット領域判定部５２及び刺激情報処理部５３は、刺激生成ルールＤＢ２２から刺激生成ルールを読み出す（ステップＳ１４０３）。
【0173】
表示処理部５０は、ページめくり判定部５１からページめくり有りを入力し、対象コンテンツのページを更新することで、現在のページを管理する。表示処理部５０は、対象コンテンツのページを表示装置２へ出力して表示する（ステップＳ１４０４）。表示処理部５０は、表示装置２へ出力したページのページ番号を注視点ターゲット領域判定部５２に出力する。
【0174】
ページめくり判定部５１及び注視点ターゲット領域判定部５２は、視線計測装置３から視線データを入力し、ページめくり判定部５１は、加速度センサ４からセンサデータ（手）を入力する（ステップＳ１４０５）。
【0175】
注視点ターゲット領域判定部５２は、表示処理部５０からページ番号を入力し、刺激生成ルールから、当該ページ番号に対応する全てのターゲット領域位置データを抽出する。
【0176】
注視点ターゲット領域判定部５２は、視線データの示す注視点がターゲット領域位置データの示すターゲット領域内に存在し、かつ注視点のターゲット領域内に連続して存在する時間がトリガ時間を経過したことの条件を満たすか否かを判定する（ステップＳ１４０６）。
【0177】
注視点ターゲット領域判定部５２は、ステップＳ１４０６において、注視点がターゲット領域内に存在し、かつトリガ時間を経過したことの条件を満たすと判定した場合（ステップＳ１４０６：Ｙ）、ステップＳ１４０６の条件を満たすことを示すデータ、並びに当該ページ番号及び当該ターゲット領域に対応するターゲット領域番号を刺激情報処理部５３に出力する。
【0178】
これにより、トリガ時間が経過したことを判定することで、対象ユーザがターゲット領域を確実に注目していたことを判断することができ、注視点がターゲット領域を単に横切るときのような、ターゲット領域を注目していない場合を除外することができる。
【0179】
刺激情報処理部５３は、注視点ターゲット領域判定部５２から条件を満たすことのデータ、並びにページ番号及びターゲット領域番号を入力すると、刺激生成ルールに従い、入力したページ番号及びターゲット領域番号に対応する刺激情報を生成する（ステップＳ１４０７）。そして、刺激情報処理部５３は、刺激情報をデバイス制御部３１に出力し（ステップＳ１４０８）、ステップＳ１４０９へ移行する。
【0180】
これにより、デバイス制御部３１にて、刺激情報の示す刺激がユーザへ提示されるように、触覚刺激提示装置５Ａ，５Ｂ，５Ｃ、嗅覚刺激提示装置６等のデバイスが制御される。
【0181】
具体的には、刺激情報処理部５３は、刺激生成ルールから、入力したページ番号及びターゲット領域番号に対応する刺激種類、種類データ、強さ、刺激時間及び刺激効果を抽出し、刺激種類、種類データ、強さ、刺激時間及び刺激効果からなる刺激情報を生成する。例えばステップＳ１４０６において、注視点がページ番号１及びターゲット領域１のターゲット領域内に存在する等の条件を満たした場合、刺激情報処理部５３は、刺激生成ルール（図１２を参照）から、刺激種類として「振動」、種類データとして音声データである「byu2.mp3」、強さとして「４」、刺激時間として「再生終了まで」及び刺激効果として「なし／なし」を抽出し、これらのデータからなる刺激情報を生成する。
【0182】
これにより、デバイス制御部３１から、刺激種類として「振動」、種類データとして音声データである「byu2.mp3」、強さとして「４」、刺激時間として「再生終了まで」及び刺激効果として「なし／なし」のデータが反映された刺激情報（の制御信号）が触覚刺激提示装置５Ａへ出力される。そして、触覚刺激提示装置５Ａは、当該刺激情報に従い、振動子が音声データ「byu2.mp3」に連動した強さ「４」にて、刺激時間の示す「再生終了まで」の間振動する。この場合、フェードイン及びフェードアウトの処理は行われない。
【0183】
ここで、例えば触覚刺激提示装置５Ｂのペルチェ素子を用いて温度を提示する場合、温度提示が遅れるという問題、及び対象ユーザが温度変化を感じるまでに時間がかかるという問題がある。これは、嗅覚刺激提示装置６を用いて香りを提示する場合も同様である。
【0184】
この問題を解決するために、刺激情報処理部５３は、刺激種類が「温度」または「香り」の場合に、１つ手前のターゲット領域番号のターゲット領域に対応する刺激情報を生成して出力するタイミングにて、または、１つ手前のタイミングの所定時間前または後のタイミングにて、刺激種類が「温度」または「香り」の場合の刺激情報を生成して出力するようにしてもよい。
【0185】
つまり、刺激情報処理部５３は、ステップＳ１４０７，Ｓ１４０８にて当該ターゲット領域番号のタイミングにおいて、刺激生成ルールから、次のターゲット領域番号のターゲット領域に対応する刺激種類を抽出し、当該刺激種類が「温度」または「香り」である場合、その刺激情報を生成して出力する。
【0186】
これにより、刺激種類が「温度」または「香り」である場合の刺激情報は、１つ手前のターゲット領域番号のタイミングにて生成及び出力されるため、対象ユーザは、適切なタイミングまたはこれに近いタイミングで「温度」または「香り」の刺激を受けることができる。つまり、刺激種類が「温度」または「香り」である場合の提示遅れ等の問題を解決することができる。
【0187】
一方、注視点ターゲット領域判定部５２は、ステップＳ１４０６において、当該ステップＳ１４０６の条件を満たさないと判定した場合、すなわち注視点がターゲット領域内に存在しない、またはトリガ時間を経過していないと判定した場合（ステップＳ１４０６：Ｎ）、ステップＳ１４０９へ移行する。
【0188】
尚、注視点ターゲット領域判定部５２は、ステップＳ１４０６における条件を判定する処理において、ページ内で注視点がターゲット領域番号の示す順番に条件を満たしながら移動しているか否かを判定する。
【0189】
すなわち、注視点ターゲット領域判定部５２は、次にステップＳ１４０６の条件を判定する対象のターゲット領域番号を保持しており、ステップＳ１４０６において、注視点が滞留するターゲット領域が対象のターゲット領域番号のターゲット領域であると判定した場合、ステップＳ１４０６の条件を判定し、ターゲット領域が対象のターゲット領域番号のターゲット領域でないと判定した場合、ステップＳ１４０６の条件を判定しないで、注視点が対象のターゲット領域番号のターゲット領域に滞留するまで待機する。
【0190】
これにより、ターゲット領域番号の示す順番に刺激の提示が終わらない限りは、次のターゲット領域に対応する刺激の提示が行われないようにすることができ、ターゲット領域番号の順番に刺激を提示することができる。
【0191】
例えば、ターゲット領域番号が１のターゲット領域に対応する刺激が提示された後、ターゲット領域番号が３のターゲット領域に注視点が滞留したとしても、当該ターゲット領域番号が３のターゲット領域に対応する刺激は提示されることがない。ターゲット領域番号が１のターゲット領域に対応する刺激が提示された後は、ターゲット領域番号が２のターゲット領域に対応する刺激が提示されることとなる。
【0192】
ページめくり判定部５１は、ステップＳ１４０８またはステップＳ１４０６（Ｎ）から移行して、ページめくりの有無を判定する（ステップＳ１４０９）。
【0193】
具体的には、ページめくり判定部５１は、例えば加速度センサ４から入力したセンサデータ（手）に基づいて、手がページをめくっているように動いたと判断した場合、ページめくり有りを判定し、手がページをめくっているように動いていないと判定した場合、ページめくり無しを判定する。
【0194】
尚、ページめくり判定部５１は、視線計測装置３から入力した視線データに基づいて、注視点がページの左下の所定領域から右上の所定領域へ移動したと判断した場合、ページめくり有りを判定し、注視点がページの左下の所定領域から右上の所定領域へ移動していないと判断した場合、ページめくり無しを判定するようにしてもよい。
【0195】
また、ページめくり判定部５１は、センサデータ（手）に基づいて、手がページをめくっているように動いたと判断し、かつ視線データに基づいて、注視点がページの左下の所定領域から右上の所定領域へ移動したと判断した場合、ページめくり有りを判定するようにしてもよい。ページめくり判定部５１は、手がページをめくっているように動いていないと判断した場合、または注視点がページの左下の所定領域から右上の所定領域へ移動していないと判断した場合、ページめくり無しを判定する。
【0196】
また、ページめくり判定部５１は、表示装置２の画面へのタッチ操作入力があったときに、ページめくり有りを判定するようにしてもよい。
【0197】
ページめくり判定部５１は、ステップＳ１４０９において、ページめくり無しを判定した場合（ステップＳ１４０９：Ｎ）、ステップＳ１４０５へ移行し、新たな視線データ及びセンサデータ（手）を入力する。
【0198】
一方、ページめくり判定部５１は、ステップＳ１４０９において、ページめくり有りを判定した場合（ステップＳ１４０９：Ｙ）、ページめくり有りを表示処理部５０に出力する。そして、表示処理部５０は、ページめくり判定部５１からページめくり有りを入力し、全てのページ（ページ番号Ｎのページ）の処理が完了したか否かを判定する（ステップＳ１４１０）。
【0199】
表示処理部５０は、ステップＳ１４１０において、全てのページの処理が完了していないと判定した場合（ステップＳ１４１０：Ｎ）、次ページを設定し（ステップＳ１４１１）、ステップＳ１４０４へ移行し、対象コンテンツのステップＳ１４１１にて設定したページを表示装置２へ出力して表示する。表示処理部５０は、新たなページ番号を注視点ターゲット領域判定部５２に出力する。
【0200】
一方、表示処理部５０は、ステップＳ１４１０において、全てのページの処理が完了したと判定した場合（ステップＳ１４１０：Ｙ）、当該刺激情報生成部３０－１による処理を終了する。
【0201】
このように、刺激情報生成部３０－１により、対象コンテンツのページ毎に、対象ユーザの注視点がターゲット領域に滞留してトリガ時間が経過すると、ターゲット領域番号の順番に、刺激生成ルールに従ってターゲット領域に対応する刺激情報が生成され、対象ユーザに対し刺激が提示される。
【0202】
以上のように、実施例１の刺激情報生成装置１－１によれば、前処理部１０のユーザ動作設定部１１－１は、対象コンテンツのページを表示装置２に表示しながら、所定数のユーザのそれぞれについて順番に視線データを入力し、所定数のユーザの視線データの示す視線軌跡データに基づいて、注視点の滞留エリアをターゲット領域として設定することで、ページ毎の複数のターゲット領域番号及びターゲット領域位置データを含むターゲット領域データを生成し、ターゲット領域データを読書傾向ＤＢ２０－１に格納する。
【0203】
また、ユーザ動作設定部１１－１は、サンプルコンテンツのページを表示装置２に表示しながら、対象ユーザの視線データを入力し、視線データの示す視線軌跡データに基づいて、注視点の滞留エリアをターゲット領域として設定する。そして、ユーザ動作設定部１１－１は、視線軌跡データに基づいて、注視点の滞留時間を算出し、複数のターゲット領域の滞留時間の平均値をトリガ時間に設定し、トリガ時間を読書傾向ＤＢ２０－１に格納する。
【0204】
刺激設定部１２は、読書傾向ＤＢ２０－１からターゲット領域データを読み出し、オペレータの操作に従い、ターゲット領域データの示す複数のターゲット領域のそれぞれについて、刺激種類、強さ等を設定（編集）することで、刺激生成ルールを生成し、刺激生成ルールを刺激生成ルールＤＢ２２に格納する。
【0205】
刺激情報生成部３０－１は、対象コンテンツのページを表示装置２に表示しながら、当該ページを見ている対象ユーザの視線データを入力すると共に、読書傾向ＤＢ２０－１からターゲット領域データ及びトリガ時間を読み出し、刺激生成ルールＤＢ２２から刺激生成ルールを読み出す。そして、刺激情報生成部３０－１は、視線データの示す注視点がターゲット領域データに含まれるターゲット領域位置データのターゲット領域内にあり、かつトリガ時間を経過したことを判定すると、刺激生成ルールから、当該ターゲット領域に対応する刺激種類及び強さ等を抽出し、刺激情報を生成する。刺激情報の制御信号は、デバイス制御部３１から触覚刺激提示装置５Ａ，５Ｂ，５Ｃ及び嗅覚刺激提示装置６等のいずれかへ出力される。
【0206】
このように、静的なメディアコンテンツである対象コンテンツにおいて、対象ユーザの注視点がターゲット領域内にあり、かつトリガ時間経過したときに、当該ターゲット領域に対応する刺激情報が生成される。注視点は、対象ユーザの自然な動作が反映された視線データから得られたものであり、トリガ時間は、対象ユーザの注視点の滞留時間に関する対象ユーザ固有の読書傾向が反映されたものである。
【0207】
つまり、対象コンテンツにおいて、対象ユーザ固有の読書傾向及び対象ユーザの自然な動作を適切に認識することができ、対象ユーザ固有のコンテンツの進行速度に合わせて、適切なタイミングで適切な刺激を提示することができる。
【0208】
したがって、ユーザが静的なコンテンツから情報を受ける際に、コンテンツの進行と同期し、かつ適切なタイミングで適切な刺激を提示することで、ユーザに対して豊かなメディア体験を提供することができる。
【0209】
〔実施例２〕
次に、図１に示した実施例２の刺激情報生成装置１－２について詳細に説明する。前述のとおり、実施例２の刺激情報生成装置１－２は、ユーザの読書傾向（読字速度、視線の移動速度等）に合わせて、自動的に刺激の提示を進行する第２手法を実現する。
次に、図１に示した実施例２の刺激情報生成装置１－２について詳細に説明する。前述のとおり、実施例２の刺激情報生成装置１－２は、ユーザの読書傾向（読字速度、視線の移動速度等）に合わせて、自動的に刺激の提示を進行する第２手法を実現する。
【0210】
図１５は、実施例２におけるユーザ動作設定部１１－２及び読書傾向ＤＢ２０－２の構成例を示すブロック図である。
【0211】
このユーザ動作設定部１１－２は、ターゲット領域設定部６０、文字数設定部６１、読書スピード算出部６２及び到達時間算出部６３を備えている。読書傾向ＤＢ２０－２には、所定数のユーザのそれぞれから取得した対象コンテンツ視線軌跡データ、ターゲット領域データ、対象コンテンツのコマ毎の文字数Ｃn、対象ユーザから取得したサンプルコンテンツ視線軌跡データ、対象ユーザの読書スピード（読字速度ＶC及び移動速度ＶL）及び対象ユーザのターゲット領域毎の到達時間ＴＴnが格納される。
【0212】
（ユーザ動作設定部１１－２／ターゲット領域設定部６０）
実施例２におけるユーザ動作設定部１１－２に備えたターゲット領域設定部６０の処理は、図２及び図３に示した実施例１におけるユーザ動作設定部１１－１に備えたターゲット領域設定部４０と同様であるため、ここでは説明を省略する。
実施例２におけるユーザ動作設定部１１－２に備えたターゲット領域設定部６０の処理は、図２及び図３に示した実施例１におけるユーザ動作設定部１１－１に備えたターゲット領域設定部４０と同様であるため、ここでは説明を省略する。
【0213】
ターゲット領域設定部６０により、対象コンテンツのページ毎にターゲット領域番号及びターゲット領域位置データを含むターゲット領域データが、読書傾向ＤＢ２０－２に格納される。
【0214】
（ユーザ動作設定部１１－２／文字数設定部６１）
次に、ユーザ動作設定部１１－２に備えた文字数設定部６１について説明する。文字数設定部６１は、ターゲット領域設定部６０から対象コンテンツのページを入力し、コマ毎の文字を認識して文字数を算出することで、対象コンテンツのコマ毎の文字数Ｃnを求める。
次に、ユーザ動作設定部１１－２に備えた文字数設定部６１について説明する。文字数設定部６１は、ターゲット領域設定部６０から対象コンテンツのページを入力し、コマ毎の文字を認識して文字数を算出することで、対象コンテンツのコマ毎の文字数Ｃnを求める。
【0215】
この場合、コマ毎の文字数Ｃnは、予め設定されたデータとして扱うようにしてもよい。文字数設定部６１は、対象コンテンツのコマ毎の文字数Ｃnを読書傾向ＤＢ２０－２に格納する。
【0216】
図１６は、コマ毎の文字数Ｃnの例を示す図である。このコマ毎の文字数Ｃnのデータは、コンテンツＩＤ（対象コンテンツの識別子）、ページ番号、コマ番号ｎ（ｎコマ目）（ページ毎のコマの番号）及び文字数Ｃn（コマ番号ｎのコマ内に存在する文字の数）から構成される。Ｎは、最終ページの番号である。
【0217】
コンテンツＩＤがＡ１である対象コンテンツにおいて、１のページ番号には、１～５のコマ番号ｎが設定されており、コマ番号ｎ＝１，２の文字数Ｃ1，Ｃ2は３、コマ番号ｎ＝３，５の文字数Ｃ3，Ｃ5は０，コマ番号ｎ＝４の文字数Ｃ4は４が設定されている。
【0218】
尚、図１６に示したコマ毎の文字数Ｃnは、コンテンツＩＤがＡ１である対象コンテンツについてのデータ群からなる。これに対し、コマ毎の文字数Ｃnのデータは、複数の対象コンテンツについてのデータ群からなるようにしてもよい。
【0219】
このように、文字数設定部６１により、対象コンテンツを構成する全てのページのそれぞれについて、コマ毎の文字数Ｃnが読書傾向ＤＢ２０－２に格納される。
【0220】
（ユーザ動作設定部１１－２／読書スピード算出部６２）
次に、ユーザ動作設定部１１－２に備えた読書スピード算出部６２について説明する。図１７は、読書スピード算出部６２の処理例を示すフローチャートである。
次に、ユーザ動作設定部１１－２に備えた読書スピード算出部６２について説明する。図１７は、読書スピード算出部６２の処理例を示すフローチャートである。
【0221】
読書スピード算出部６２は、対象コンテンツ以外のサンプルコンテンツを入力し、サンプルコンテンツのページを表示装置２へ出力して表示する（ステップＳ１７０１）。
【0222】
この場合、読書スピード算出部６２は、ターゲット領域設定部６０及び図２に示したターゲット領域設定部４０と同様に、例えば加速度センサ４からセンサデータ（手）を入力してページめくり有りを判定し、次のページを表示装置２へ出力して表示する。
【0223】
読書スピード算出部６２は、視線計測装置３から対象ユーザの視線データを入力し、視線データの示す注視点の軌跡を視線軌跡データとして、対象ユーザのサンプルコンテンツ視線軌跡データを読書傾向ＤＢ２０－２に格納する（ステップＳ１７０２）。
【0224】
読書スピード算出部６２は、読書傾向ＤＢ２０－２から対象ユーザのサンプルコンテンツ視線軌跡データを読み出す（ステップＳ１７０３）。
【0225】
読書スピード算出部６２は、例えば、当該ページにおけるページめくり有りのときに、当該ページのサンプルコンテンツ視線軌跡データに基づいて、当該ページにおける視線の移動時間を算出する。そして、読書スピード算出部６２は、当該ページに存在する文字数を移動時間で除算することで、対象ユーザによる文字を読む速度である読字速度ＶC（文字数／秒）を求め、対象ユーザの読字速度ＶCを読書傾向ＤＢ２０－２に格納する（ステップＳ１７０４）。
【0226】
尚、当該ページに存在する文字数は、読書傾向ＤＢ２０－２に格納されたコマ毎の文字数Ｃnを加算することで求めるようにしてもよいし、既存の手法にて、対象コンテンツにおけるページの文字を認識することで求めるようにしてもよいし、予め設定されるようにしてもよい。また、読書スピード算出部６２は、全てのページについて読字速度を算出し、その平均を読字速度ＶCとして求めるようにしてもよい。
【0227】
読書スピード算出部６２は、例えば、サンプルコンテンツ視線軌跡データに基づいて、コマ内における注視点が滞留する第１の滞留エリアを求め、当該滞留エリアから注視点が移動した後に、次のコマ内における注視点が滞留する第２の滞留エリアを求める。そして、読書スピード算出部６２は、サンプルコンテンツ視線軌跡データに基づいて、注視点が第１の滞留エリアから第２の滞留エリアへ移動したときの移動時間（コマ間移動時間）を求めると共に、第１の滞留エリア（の中心位置）と第２の滞留エリア（の中心位置）との間の距離（コマ間距離）を求める。
【0228】
読書スピード算出部６２は、コマ間距離をコマ間移動時間で除算することで、対象ユーザによる注視点のコマ間の移動速度ＶL（距離（ｍｍ）／秒）を求め、対象ユーザの移動速度ＶLを読書傾向ＤＢ２０－２に格納する（ステップＳ１７０５）。
【0229】
尚、読書スピード算出部６２は、サンプルコンテンツ視線軌跡データに基づいて、サンプルコンテンツのターゲット領域データを生成し、ターゲット領域データに含まれるターゲット領域位置データ及びサンプルコンテンツ視線軌跡データに基づいて、注視点が第１のターゲット領域から第２のターゲット領域へ移動したときのコマ間移動時間を求めると共に、第１のターゲット領域（の中心位置）と第２のターゲット領域（の中心位置）との間のコマ間距離を求めることで、移動速度ＶLを算出するようにしてもよい。
【0230】
また、読書スピード算出部６２は、ページ内のコマの中心を検出したり、描かれているキャラクターまたはセリフ吹き出しの中心を検出したりすることで、その検出位置を前述の滞留エリアの中心位置として扱うようにしてもよい。
【0231】
このように、読書スピード算出部６２により、サンプルコンテンツに対する対象ユーザの視線データから取得された読書スピードである読字速度ＶC及び移動速度ＶLが、読書傾向ＤＢ２０－２に格納される。
【0232】
（ユーザ動作設定部１１－２／到達時間算出部６３）
次に、ユーザ動作設定部１１－２に備えた到達時間算出部６３について説明する。図１８は、到達時間算出部６３の処理例を示すフローチャートである。
次に、ユーザ動作設定部１１－２に備えた到達時間算出部６３について説明する。図１８は、到達時間算出部６３の処理例を示すフローチャートである。
【0233】
到達時間算出部６３は、読書傾向ＤＢ２０－２から、対象コンテンツのターゲット領域データ、対象コンテンツのコマ毎の文字数Ｃn、対象ユーザの読字速度ＶC及び移動速度ＶLを読み出す（ステップＳ１８０１）。
【0234】
到達時間算出部６３は、ｎコマ目について、文字数Ｃnを読字速度ＶCで除算することで、当該ｎコマ目を読む時間（ｎコマ目を読み始めてから読み終わるまでの時間）を算出する。
【0235】
また、到達時間算出部６３は、ターゲット領域データに含まれるターゲット領域位置データに基づいて、ｎコマ目とｎ＋１コマ目との間の距離（ｎコマ目に存在するターゲット領域とｎ＋１コマ目に存在するターゲット領域との間の距離）を算出し、当該距離を移動速度ＶLで除算することで、ｎコマ目からｎ＋１コマ目への注視点の移動時間を算出する。尚、コマ毎に１つのターゲット領域が存在する場合、図６に示したターゲット領域データに含まれるターゲット領域番号が、コマ番号ｎに相当することとなる。
【0236】
到達時間算出部６３は、以下の式にて、ｎコマ目を読む時間にｎ＋１コマ目への移動時間を加算することで、ｎコマ目にかかる時間（ｎコマ目を読み始めてから注視点が次のｎ＋１コマ目のターゲット領域に到達するまでの時間）Ｔnを求める（ステップＳ１８０２）。
【数1】
【0237】
（Ｐxn，Ｐyn）は、ｎコマ目（コマ毎に１つのターゲット領域が存在する場合、ターゲット領域番号がｎ）のターゲット領域位置データに含まれるターゲット領域の左上の座標（ｘ，ｙ）から求められるターゲット領域の中心位置である。（Ｐxn+1，Ｐyn+1）は、ｎ＋１コマ目（コマ毎に１つのターゲット領域が存在する場合、ターゲット領域番号がｎ＋１）のターゲット領域位置データに含まれるターゲット領域の左上の座標（ｘ，ｙ）から求められるターゲット領域の中心位置である。
【0238】
図１９は、到達時間算出部６３の処理例を説明する図である。ターゲット領域位置データに含まれるｎコマ目のターゲット領域ＴＲｎの左上の座標（ｘn，ｙn）からターゲット領域ＴＲｎの中心位置（Ｐxn，Ｐyn）が算出される。また、ターゲット領域位置データに含まれるｎ＋１コマ目のターゲット領域ＴＲｎ＋１の左上の座標（ｘn+1，ｙn+1）からターゲット領域ＴＲｎ＋１の中心位置（Ｐxn+1，Ｐyn+1）が算出される。そして、前記式（１）にて、ｎコマ目にかかる時間（ｎコマ目を読み始めてから注視点が次のｎ＋１コマ目のターゲット領域に到達するまでの時間）Ｔnが算出される。ここで、時間Ｔnには、トリガ時間を含んでもよい。
【0239】
図１５及び図１８に戻って、到達時間算出部６３は、ステップＳ１８０２の後、以下の式にて、ステップＳ１８０２にて求めた時間Ｔnを用いることで、ページめくりがあってから、対象ユーザの注視点がｎコマ目のターゲット領域に到達するまでの時間を到達時間ＴＴnとして算出する（ステップＳ１８０３）。
【数2】
【0240】
到達時間算出部６３は、対象ユーザの到達時間ＴＴnを読書傾向ＤＢ２０－２に格納する（ステップＳ１８０４）。
【0241】
図２０は、到達時間ＴＴnの例を示す図である。到達時間ＴＴnは、コンテンツＩＤ（対象コンテンツの識別子）、ページ番号、コマ番号ｎ（ｎコマ目）及びターゲット領域番号と共に、読書傾向ＤＢ２０－２に格納される。Ｎは、最終ページの番号である。図２０の例は、各コマに１つのターゲット領域が存在する場合を示している。
【0242】
図２０に示すように、コンテンツＩＤがＡ１である対象コンテンツにおいて、１のページ番号には、１～５のコマ番号ｎ及びこれらに対応する１～５のターゲット領域番号が設定されており、例えば１のターゲット領域番号に対応する到達時間ＴＴ1として０．５秒、・・・、５のターゲット領域番号に対応する到達時間ＴＴ5として２．６秒が設定されている。
【0243】
尚、図２０に示した到達時間ＴＴnは、コンテンツＩＤがＡ１である対象コンテンツに対する対象ユーザについてのデータ群からなる。これに対し、到達時間ＴＴnは、複数の対象コンテンツに対する対象ユーザについてのデータ群からなるようにしてもよいし、１または複数の対象コンテンツに対する複数の対象ユーザのそれぞれについてのデータ群からなるようにしてもよい。
【0244】
このように、到達時間算出部６３により、対象コンテンツを構成する全てのページのそれぞれにつき、ページめくりがあってから当該ページ内に存在する複数のターゲット領域のそれぞれに到達するまでの時間が、到達時間ＴＴnとして読書傾向ＤＢ２０－２に格納される。
【0245】
尚、前記式（１）及び（２）は、１つのコマに１つのターゲット領域が存在する場合を示している。これに対し、１つのコマに複数のターゲット領域が存在する場合、またはマンガの形式が異なる場合には、前記式（１）及び（２）を変形して適用する。
【0246】
（刺激情報生成部３０－２）
次に、図１に示した実施例２における刺激情報生成部３０－２について詳細に説明する。図２１は、実施例２における刺激情報生成部３０－２の構成例を示すブロック図であり、図２２は、実施例２における刺激情報生成部３０－２の処理例を示すフローチャートであり、図２３は、図２２の処理例の続きを示すフローチャートである。
次に、図１に示した実施例２における刺激情報生成部３０－２について詳細に説明する。図２１は、実施例２における刺激情報生成部３０－２の構成例を示すブロック図であり、図２２は、実施例２における刺激情報生成部３０－２の処理例を示すフローチャートであり、図２３は、図２２の処理例の続きを示すフローチャートである。
【0247】
この刺激情報生成部３０－２は、表示処理部７０、ページめくり判定部７１、注視点ターゲット領域判定部７２、刺激情報処理部７３及び不規則動作判定部７４を備えている。
【0248】
表示処理部７０は、対象コンテンツを入力し（ステップＳ２２０１）、注視点ターゲット領域判定部７２は、読書傾向ＤＢ２０－２から到達時間ＴＴnを読み出す（ステップＳ２２０２）。また、注視点ターゲット領域判定部７２及び刺激情報処理部７３は、刺激生成ルールＤＢ２２から刺激生成ルールを読み出す（ステップＳ２２０３）。
【0249】
表示処理部７０は、ページめくり判定部７１からページめくり有りを入力し、対象コンテンツのページを更新することで、現在のページを管理する。表示処理部７０は、対象コンテンツのページを表示装置２へ出力して表示する（ステップＳ２２０４）。表示処理部７０は、表示装置２へ出力したページのページ番号を注視点ターゲット領域判定部７２に出力する。注視点ターゲット領域判定部７２は、表示処理部７０から新たなページ番号（開始時は最初のページ番号）を入力すると、経過時間ｔのカウントを開始する（ステップＳ２２０５）。
【0250】
ページめくり判定部７１及び注視点ターゲット領域判定部７２は、視線計測装置３から視線データを入力し、ページめくり判定部７１は、加速度センサ４からセンサデータ（手）を入力し、不規則動作判定部７４は、加速度センサ４－２からセンサデータ（頭部）を入力する（ステップＳ２２０６）。
【0251】
注視点ターゲット領域判定部７２は、読書傾向ＤＢ２０－２から読み出した到達時間ＴＴnから、表示処理部５０から入力したページ番号に対応する到達時間ＴＴnを抽出する。
【0252】
注視点ターゲット領域判定部７２は、経過時間ｔと到達時間ＴＴnとを比較し、経過時間ｔが到達時間ＴＴnに到達したか否かを判定する（ステップＳ２２０７）。
【0253】
ここで、経過時間ｔは、新たなページがめくられてからの時間であり、到達時間ＴＴnは、新たなページがめくられてからコマ（ここではターゲット領域とする）に到達するまでの設定時間である。このため、経過時間ｔの値が到達時間ＴＴnの値に対して小さいほど、対象ユーザの現在の注視点は次に到達するターゲット領域から遠い位置にあり、経過時間ｔの値が到達時間ＴＴnの値に近いほど（同じであるほど）、対象ユーザの現在の注視点は次に到達するターゲット領域に近い位置にあることとなる。つまり、到達時間ＴＴnに対する経過時間ｔにより、次に到達するターゲット領域に対する対象ユーザの現在の注視点を予測することができる。
【0254】
尚、注視点ターゲット領域判定部７２は、ステップＳ２２０７において、ページ内でコマ番号ｎ（ここではターゲット領域番号）の順番（ｎ＝１，２，・・の順番）に、判定を行う。前述のとおり、これは、ターゲット領域番号の順番に刺激を提示するためである。
【0255】
注視点ターゲット領域判定部７２は、ステップＳ２２０７において、経過時間ｔが到達時間ＴＴnに到達したと判定した場合（ステップＳ２２０７：Ｙ）、ステップＳ２２０７の条件を満たすことを示すデータ、並びに当該ページ番号及びコマ番号ｎ（ここでは、１コマに１つのターゲット領域が存在するとして、ターゲット領域番号であるｎ）を刺激情報処理部７３に出力する。
【0256】
刺激情報処理部７３は、注視点ターゲット領域判定部７２から条件を満たすことのデータ、並びにページ番号及びターゲット領域番号（ｎ）を入力すると、刺激生成ルールに従い、入力したページ番号及びターゲット領域番号（ｎ）に対応する刺激情報を生成する（ステップＳ２２０８）。そして、刺激情報処理部７３は、刺激情報をデバイス制御部３１に出力し（ステップＳ２２０９）、ステップＳ２２１４へ移行する。
【0257】
これにより、デバイス制御部３１にて、刺激情報の示す刺激がユーザへ提示されるように、触覚刺激提示装置５Ａ，５Ｂ，５Ｃ、嗅覚刺激提示装置６等のデバイスが制御される。
【0258】
具体的には、刺激情報処理部７３は、図１３に示した実施例１に示した刺激情報処理部５３と同様に、刺激生成ルールから、入力したページ番号及びターゲット領域番号に対応する刺激種類、種類データ、強さ、刺激時間及び刺激効果を抽出し、刺激種類、種類データ、強さ、刺激時間及び刺激効果からなる刺激情報を生成する。
【0259】
ここで、実施例１と同様に、例えば触覚刺激提示装置５Ｂのペルチェ素子を用いて温度を提示する場合、温度提示が遅れるという問題、及び対象ユーザが温度変化を感じるまでに時間がかかるという問題がある。これは、嗅覚刺激提示装置６を用いて香りを提示する場合も同様である。
【0260】
この問題を解決するために、温度提示等の時間が遅れるというディレイを予め考慮し、実際に対象ユーザが温度提示等の刺激を受けるタイミングよりも前に、温度提示等の制御を開始しておく。
【0261】
具体的には、注視点ターゲット領域判定部７２は、刺激種類が「温度」または「香り」の場合に、到達時間ＴＴnから予め設定された遅れ時間（刺激種類毎に設定された遅れ時間）を減算し、減算結果を新たな到達時間ＴＴnとする。そして、注視点ターゲット領域判定部７２は、ステップＳ２２０７において、経過時間ｔと新たな到達時間ＴＴnとを比較し、経過時間ｔが新たな到達時間ＴＴnに到達したと判定した場合、前述と同様の処理を行う。
【0262】
そして、刺激情報処理部７３は、元の到達時間ＴＴnよりも早い新たな到達時間ＴＴnのタイミングにて、刺激種類が「温度」または「香り」の場合の刺激情報を生成して出力する。
【0263】
これにより、刺激種類が「温度」または「香り」である場合の刺激情報は、元の到達時間ＴＴnよりも早いタイミングにて生成及び出力されるため、対象ユーザは、適切なタイミングで「温度」または「香り」の刺激を受けることができる。つまり、刺激種類が「温度」または「香り」である場合の提示遅れ等の問題を解決することができる。
【0264】
一方、注視点ターゲット領域判定部７２は、ステップＳ２２０７において、経過時間ｔが到達時間ＴＴnに到達していないと判定した場合（ステップＳ２２０７：Ｎ）、すなわちステップＳ２２０７の条件を満たしていないと判定した場合、図２３のステップＳ２２１０へ移行する（α）。
【0265】
不規則動作判定部７４は、ステップＳ２２０６にて加速度センサ４－２から入力したセンサデータ（頭部）に基づいて、対象ユーザの急な頭部移動についての不規則動作の有無を判定する（ステップＳ２２１０）。これにより、対象ユーザの読み返し、読書の一次中断等の動作を判定することができる。
【0266】
尚、不規則動作判定部７４は、ステップＳ２２１０において、視線計測装置３から視線データを入力し、視線データに基づいて、対象ユーザの急な注視点移動についての不規則動作の有無を判定してもよい。また、不規則動作判定部７４は、図１には図示していないカメラ（対象ユーザを撮影するカメラ）から映像データを入力し、映像データに基づいて、対象ユーザの不規則動作の有無を判定してもよい。この場合も、読み返し、読書の一時中断等の動作が判定される。
【0267】
不規則動作判定部７４は、ステップＳ２２１０において、不規則動作有りを判定した場合（ステップＳ２２１０：Ｙ）、例えば読み返しまたは読書の一時中断を判定した場合、不規則動作有りを示すデータを表示処理部７０、ページめくり判定部７１、注視点ターゲット領域判定部７２及び刺激情報処理部７３に出力する。
【0268】
表示処理部７０、ページめくり判定部７１、注視点ターゲット領域判定部７２及び刺激情報処理部７３は、不規則動作判定部７４から不規則動作有りを示すデータを入力すると、それぞれの処理を中断し、注視点ターゲット領域判定部７２は、経過時間ｔのカウントを停止する（ステップＳ２２１１）。
【0269】
不規則動作判定部７４は、ステップＳ２２１１の後、対象ユーザによる操作に従い、再開入力の有無を判定する（ステップＳ２２１２）。不規則動作判定部７４は、ステップＳ２２１２において、再開入力無しを判定した場合（ステップＳ２２１２：Ｎ）、再開入力があるまで待機する。
【0270】
一方、不規則動作判定部７４は、ステップＳ２２１２において、再開入力有りを判定した場合（ステップＳ２２１２：Ｙ）、処理再開を示すデータを表示処理部７０、ページめくり判定部７１、注視点ターゲット領域判定部７２及び刺激情報処理部７３に出力する。
【0271】
表示処理部７０、ページめくり判定部７１、注視点ターゲット領域判定部７２及び刺激情報処理部７３は、不規則動作判定部７４から処理再開を示すデータを入力すると、それぞれの処理を再開し、注視点ターゲット領域判定部７２は、経過時間ｔのカウントを再開し（ステップＳ２２１３）、図２２のステップＳ２２１４へ移行する（β）。
【0272】
一方、不規則動作判定部７４は、ステップＳ２２１０において、不規則動作無しを判定した場合（ステップＳ２２１０：Ｎ）、図２２のステップＳ２２１４へ移行する（β）。
【0273】
ページめくり判定部７１は、ステップＳ２２０９、ステップＳ２２１３またはステップＳ２２１０（Ｎ）から移行して、ページめくりの有無を判定する（ステップＳ２２１４）。
【0274】
具体的には、ページめくり判定部７１は、図１３に示したページめくり判定部５１と同様に、例えば加速度センサ４から入力したセンサデータ（手）に基づいて、ページめくりの有無を判定する。
【0275】
ページめくり判定部７１は、ステップＳ２２１４において、ページめくり無しを判定した場合（ステップＳ２２１４：Ｎ）、ステップＳ２２０６へ移行し、新たな視線データ及びセンサデータ（手、頭部）を入力する。
【0276】
一方、ページめくり判定部７１は、ステップＳ２２１４において、ページめくり有りを判定した場合（ステップＳ２２１４：Ｙ）、ページめくり有りを表示処理部７０に出力する。そして、表示処理部７０は、全てのページ（ページ番号Ｎのページ）の処理が完了したか否かを判定する（ステップＳ２２１５）。
【0277】
表示処理部７０は、ステップＳ２２１５において、全てのページの処理が完了していないと判定した場合（ステップＳ２２１５：Ｎ）、次ページを設定すると共に、注視点ターゲット領域判定部７２は、経過時間ｔをリセットし（ステップＳ２２１６）、ステップＳ２２０４へ移行する。そして、表示処理部７０は、対象コンテンツのステップＳ２２１６にて設定したページを表示装置２へ出力して表示する。表示処理部７０は、新たなページ番号を注視点ターゲット領域判定部７２に出力する。
【0278】
これにより、ページめくりがある毎に経過時間ｔがリセットされるため、刺激の自動提示の開始点を０リセットすることができ、ページを超えたずれの積み上がりを防止することができる。つまり、対象ユーザの実際の注視点と、経過時間ｔに従って予測可能な注視点との間のずれの積み上がりをなくすことができる。
【0279】
一方、表示処理部７０は、ステップＳ２２１５において、全てのページの処理が完了したと判定した場合（ステップＳ２２１５：Ｙ）、当該刺激情報生成部３０－２による処理を終了する。
【0280】
このように、刺激情報生成部３０－２により、対象コンテンツのページ毎に、経過時間ｔが到達時間ＴＴnに到達すると、刺激生成ルールに従ってターゲット領域に対応する刺激情報が生成され、対象ユーザに対し刺激が提示される。
【0281】
以上のように、実施例２の刺激情報生成装置１－２によれば、前処理部１０のユーザ動作設定部１１－２は、実施例１と同様に、対象コンテンツのページを表示装置２に表示しながら、所定数のユーザの視線データの示す視線軌跡データに基づいて、ページ毎の複数のターゲット領域番号及びターゲット領域位置データを含むターゲット領域データを生成し、ターゲット領域データを読書傾向ＤＢ２０－２に格納する。
【0282】
また、ユーザ動作設定部１１－２は、対象コンテンツにおけるコマ毎の文字の認識処理により、または手動による設定処理により、コマ毎の文字数Ｃnを読書傾向ＤＢ２０－２に格納する。
【0283】
また、ユーザ動作設定部１１－２は、サンプルコンテンツのページを表示装置２に表示しながら、対象ユーザの視線軌跡データを取得し、視線軌跡データ及び例えばコマ毎の文字数Ｃnに基づいて、読字速度ＶCを求めて読書傾向ＤＢ２０－２に格納する。また、ユーザ動作設定部１１－２は、視線軌跡データに基づいて、コマ内における注視点の滞留エリアを求め、第１のコマ内の滞留エリアから次の第２のコマ内の滞留エリアへの移動時間及び距離から移動速度ＶLを求めて読書傾向ＤＢ２０－２に格納する。
【0284】
また、ユーザ動作設定部１１－２は、ターゲット領域データに含まれる複数のターゲット領域位置データ、コマ毎の文字数Ｃn、読字速度ＶC及び移動速度ＶLに基づいて、対象コンテンツを構成する全てのページのそれぞれにつき、対象ユーザの注視点がターゲット領域に到達する到達時間ＴＴnを算出し、読書傾向ＤＢ２０－２に格納する。
【0285】
刺激設定部１２は、実施例１と同様に、刺激生成ルールを生成し、刺激生成ルールを刺激生成ルールＤＢ２２に格納する。
【0286】
刺激情報生成部３０－２は、対象コンテンツのページを表示装置２に表示しながら、当該ページを見ている対象ユーザの視線データを入力すると共に、読書傾向ＤＢ２０－２から到達時間ＴＴnを読み出し、刺激生成ルールＤＢ２２から刺激生成ルールを読み出す。そして、刺激情報生成部３０－２は、ページがめくられてからの経過時間ｔをカウントし、経過時間ｔが到達時間ＴＴnに到達したことを判定すると、刺激生成ルールから、当該到達時間ＴＴnのターゲット領域に対応する刺激種類及び強さ等を読み出し、刺激情報を生成する。刺激情報の制御信号は、デバイス制御部３１から触覚刺激提示装置５Ａ，５Ｂ，５Ｃ及び嗅覚刺激提示装置６等のいずれかへ出力される。
【0287】
この場合、刺激情報生成部３０－２は、加速度センサ４－２からのセンサデータ（頭部）に基づいて、対象ユーザの急な頭部移動についての不規則動作を判定し、不規則動作があった場合、当該刺激情報生成部３０－２の処理を中断する。
【0288】
このように、静的なメディアコンテンツである対象コンテンツにおいて、対象ユーザによりページがめくられてからの経過時間ｔが到達時間ＴＴnに到達したときに、注視点が当該ターゲット領域に到達したものとみなして、当該ターゲット領域に対応する刺激情報が生成される。到達時間ＴＴnは、サンプルコンテンツを用いて、対象ユーザにより新たなページがめくられてからターゲット領域に到達するまでの事前に算出された時間であり、対象ユーザ固有の読書傾向が反映されたものである。
【0289】
つまり、対象コンテンツにおいて、対象ユーザ固有の読書傾向及び対象ユーザの自然な動作を適切に認識することができ、対象ユーザ固有のコンテンツの進行速度に合わせて、適切なタイミングで適切な刺激を提示することができる。
【0290】
したがって、ユーザが静的なコンテンツから情報を受ける際に、コンテンツの進行と同期し、かつ適切なタイミングで適切な刺激を提示することで、ユーザに対して豊かなメディア体験を提供することができる。
【0291】
以上、実施例１，２を挙げて本発明を説明したが、本発明は前記実施例１，２に限定されるものではなく、その技術思想を逸脱しない範囲で種々変形可能である。
【0292】
例えば前記実施例１，２において、図１に示したとおり、刺激情報生成装置１（１－１，１－２）は、ユーザ動作設定部１１（１１－１，１１－２）及び刺激設定部１２を備えた前処理部１０、読書傾向ＤＢ２０（２０－１，２０－２）、音声ＤＢ２１、刺激生成ルールＤＢ２２、刺激情報生成部３０（３０－１，３０－２）及びデバイス制御部３１を備えるようにした。
【0293】
これに対し、刺激情報生成装置１（１－１，１－２）は、これらの構成部のうち刺激設定部１２及び音声ＤＢ２１を除く構成部を備えるようにし、図１には図示していない刺激設定装置が、刺激設定部１２及び音声ＤＢ２１を備えるようにしてもよい。また、刺激設定装置が刺激設定部１２のみを備え、図１には図示していない音声ＤＢサーバが音声ＤＢ２１を備えるようにしてもよい。
【0294】
尚、本発明の実施例１，２による刺激情報生成装置１－１，１－２のハードウェア構成としては、通常のコンピュータを使用することができる。刺激情報生成装置１－１，１－２は、ＣＰＵ、ＲＡＭ等の揮発性の記憶媒体、ＲＯＭ等の不揮発性の記憶媒体、及びインターフェース等を備えたコンピュータによって構成される。
【0295】
実施例１の刺激情報生成装置１－１に備えた前処理部１０のユーザ動作設定部１１－１及び刺激設定部１２、読書傾向ＤＢ２０－１、音声ＤＢ２１、刺激生成ルールＤＢ２２、刺激情報生成部３０－１並びにデバイス制御部３１の各機能は、これらの機能を記述したプログラムをＣＰＵに実行させることによりそれぞれ実現される。
【0296】
また、実施例２の刺激情報生成装置１－２に備えた前処理部１０のユーザ動作設定部１１－２及び刺激設定部１２、読書傾向ＤＢ２０－２、音声ＤＢ２１、刺激生成ルールＤＢ２２、刺激情報生成部３０－２並びにデバイス制御部３１の各機能は、これらの機能を記述したプログラムをＣＰＵに実行させることによりそれぞれ実現される。
【0297】
これらのプログラムは、前記記憶媒体に格納されており、ＣＰＵに読み出されて実行される。また、これらのプログラムは、磁気ディスク（フロッピー（登録商標）ディスク、ハードディスク等）、光ディスク（ＣＤ－ＲＯＭ、ＤＶＤ等）、半導体メモリ等の記憶媒体に格納して頒布することもでき、ネットワークを介して送受信することもできる。
【符号の説明】
【0298】
１ 刺激情報生成装置
２ 表示装置
３ 視線計測装置
４ 加速度センサ
５ 触覚刺激提示装置
６ 嗅覚刺激提示装置
１０ 前処理部
１１ ユーザ動作設定部
１２ 刺激設定部
２０ 読書傾向ＤＢ
２１ 音声ＤＢ
２２ 刺激生成ルールＤＢ
３０ 刺激情報生成部
３１ デバイス制御部
４０，６０ ターゲット領域設定部
４１ トリガ時間設定部
４２，５０，７０ 表示処理部
４３ 刺激生成ルール設定部
４４ 音声データ検索部
５１，７１ ページめくり判定部
５２，７２ 注視点ターゲット領域判定部
５３，７３ 刺激情報処理部
６１ 文字数設定部
６２ 読書スピード算出部
６３ 到達時間算出部
７４ 不規則動作判定部
Ｎ 最終ページ番号
（ｘ，ｙ） ターゲット領域の左上座標
ｗ ターゲット領域の幅
ｈ ターゲット領域の高さ
ｎ コマ番号
ＴＲ ターゲット領域
Ｃn ｎコマ目の文字数
ＶC 読字速度
ＶL 移動速度
Ｔn 時間（ｎコマ目を読み始めてからｎ＋１コマ目のターゲット領域に到達するための時間）
ＴＴn 到達時間（１コマ目を読み始めてからｎコマ目のターゲット領域に到達するまでの時間）
２ 表示装置
３ 視線計測装置
４ 加速度センサ
５ 触覚刺激提示装置
６ 嗅覚刺激提示装置
１０ 前処理部
１１ ユーザ動作設定部
１２ 刺激設定部
２０ 読書傾向ＤＢ
２１ 音声ＤＢ
２２ 刺激生成ルールＤＢ
３０ 刺激情報生成部
３１ デバイス制御部
４０，６０ ターゲット領域設定部
４１ トリガ時間設定部
４２，５０，７０ 表示処理部
４３ 刺激生成ルール設定部
４４ 音声データ検索部
５１，７１ ページめくり判定部
５２，７２ 注視点ターゲット領域判定部
５３，７３ 刺激情報処理部
６１ 文字数設定部
６２ 読書スピード算出部
６３ 到達時間算出部
７４ 不規則動作判定部
Ｎ 最終ページ番号
（ｘ，ｙ） ターゲット領域の左上座標
ｗ ターゲット領域の幅
ｈ ターゲット領域の高さ
ｎ コマ番号
ＴＲ ターゲット領域
Ｃn ｎコマ目の文字数
ＶC 読字速度
ＶL 移動速度
Ｔn 時間（ｎコマ目を読み始めてからｎ＋１コマ目のターゲット領域に到達するための時間）
ＴＴn 到達時間（１コマ目を読み始めてからｎコマ目のターゲット領域に到達するまでの時間）
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】