特開 2015-79498 閲覧行動の記録方法および装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】特開2015-79498(P2015-79498A)

(43)【公開日】2015年4月23日

(54)【発明の名称】閲覧行動の記録方法および装置

(51)【国際特許分類】

   G06F 17/30 20060101AFI20150327BHJP

   G06Q 50/10 20120101ALI20150327BHJP

   A61B 3/113 20060101ALI20150327BHJP

   G06F 3/038 20130101ALI20150327BHJP

【ＦＩ】

   G06F17/30 340B

   G06F17/30 110H

   G06Q50/10

   A61B3/10 B

   G06F3/038 310A

【審査請求】有

【請求項の数】19

【出願形態】ＯＬ

【外国語出願】

【全頁数】15

(21)【出願番号】特願2014-202988(P2014-202988)

(22)【出願日】2014年10月1日

(31)【優先権主張番号】102136043

(32)【優先日】2013年10月4日

(33)【優先権主張国】TW

(71)【出願人】

【識別番号】511248629

【氏名又は名称】由田新技股▲ふん▼有限公司

(74)【代理人】

【識別番号】110000729

【氏名又は名称】特許業務法人 ユニアス国際特許事務所

(72)【発明者】

【氏名】鄒 嘉駿

(72)【発明者】

【氏名】林 伯聰

(72)【発明者】

【氏名】高 嘉文

【テーマコード（参考）】

5B087

【Ｆターム（参考）】

5B087AA09

5B087BC26

5B087BC32

5B087DD01

5B087DJ01

5B087DJ03

(57)【要約】      （修正有）

【課題】視標追跡分析に基づいて閲読時間を記録する閲覧行動の記録方法および装置を提供する。
【解決手段】ユーザーの画像系列を取り込みＳ４１０、画像系列に対して視標追跡手順に基づいてユーザーの眼球の移動軌跡を追跡しＳ４１５、眼球の視野が注視部分を離れたことを検出した時Ｓ４２０でＹＥＳ、または、眼球が電子文書を注視し続けていて、且つ注視部分の閲覧が終了したことを検出した時Ｓ４３０でＹｅｓ、電子文書の注視部分の閲覧時間を計算するＳ４２５。注視部分に対応する保存スペースに閲覧時間を記録するＳ４３５。
【選択図】図４

【特許請求の範囲】

【請求項1】

複数の部分を有する電子文書を表示ユニットに表示するステップと、
撮像ユニットによりユーザーの画像系列を取り込むステップと、
前記画像系列に対して視標追跡手順を行い、前記ユーザーの眼球の移動軌跡を追跡するステップと、
前記眼球が前記複数の部分のうちの注視部分を注視していることを検出した時、前記眼球の視野が前記注視部分を離れたかどうかを検出するステップと、
前記眼球の前記視野が前記注視部分を離れたことを検出した時、前記注視部分の閲覧時間を計算するステップと、
前記眼球が前記電子文書を注視し続けていて、且つ前記注視部分の閲覧が終了したことを検出した時、前記注視部分の前記閲覧時間を計算するステップと、
前記注視部分に対応する保存スペースに前記閲覧時間を記録するステップと
を含む閲覧行動の記録方法。

【請求項2】

前記視標追跡手順が、補正手順を含み、前記補正手順が、
前記ユーザーが前記表示ユニットの複数の補正ポイントを見た時にそれぞれ得られる複数の補正画像を順番に受信するステップと、
前記撮像ユニットが前記各補正画像を取り込んだ時に形成される前記各補正画像の眼領域中の２つの輝点位置に基づいて、基準補正パラメータを取得するステップと、
前記補正画像に基づいて、透視変換法により座標変換マトリックスを生成するステップと、
を含み、前記座標変換マトリックスを用いて、前記眼領域の座標位置を前記表示ユニットの座標位置に変換する
請求項１に記載の閲覧行動の記録方法。

【請求項3】

前記ユーザーの前記眼球の前記移動軌跡を追跡する前記ステップが、
前記画像系列における現画像の前記眼領域を検出して、前記現画像における瞳孔位置を取得するステップと、
前記現画像の前記眼領域中の前記２つの輝点位置に基づいて、比較補正パラメータを取得するステップと、
前記基準補正パラメータおよび前記比較補正パラメータに基づいて、動的補償パラメータを取得するステップと、
前記現画像における前記２つの輝点位置のうちの１つと前記瞳孔位置、および前記動的補償パラメータに基づいて、眼球移動座標を計算するステップと、
前記座標変換マトリックスを用いて、前記眼球移動座標を前記表示ユニットに対応する視野着地座標に変換するステップと、
前記視野着地座標を記録するステップと
を含む請求項２に記載の閲覧行動の記録方法。

【請求項4】

前記眼球の前記視野が前記注視部分を離れ、且つ前記注視部分の閲覧が終了していないことを検出した時に、前記注視部分の現在の閲覧率および前記眼球の前記視野が最終的に留まった視野着地座標を前記注視部分に対応する前記保存スペースに記録するステップ
をさらに含む請求項１〜３のいずれか１項に記載の閲覧行動の記録方法。

【請求項5】

前記閲覧率に基づいて、前記各部分に対してマーキング操作を行い、閲覧終了記号、閲覧未了記号または未読記号を前記各部分に標示するステップ
をさらに含む請求項４に記載の閲覧行動の記録方法。

【請求項6】

前記眼球が前記電子文書を注視し続けていて、且つ前記注視部分の閲覧が終了したことを検出した時に前記注視部分の前記閲覧時間を計算する前記ステップが、
前記注視部分に対応する前記保存スペースから読み取った前記記録された閲覧時間に基づいて、前記注視部分の全ての前記閲覧時間を合計するステップ
を含む請求項１〜５のいずれか１項に記載の閲覧行動の記録方法。

【請求項7】

前記各部分の閲覧頻度を記録するステップ
をさらに含む請求項１〜６のいずれか１項に記載の閲覧行動の記録方法。

【請求項8】

前記電子文書を前記表示ユニットに表示する前記ステップの後、前記方法が、さらに、
前記ユーザーのＩＤを識別するステップと、
前記ユーザーに対応するＩＤ情報がデータベース内に存在するかどうかを判断するステップと、
前記ユーザーに対応する前記ＩＤ情報が前記データベース内に存在しない時、前記ＩＤ情報を記録して、前記ＩＤ情報に対応する前記保存スペースを確立するステップと
を含む請求項１〜７のいずれか１項に記載の閲覧行動の記録方法。

【請求項9】

前記閲覧時間、前記各部分に対応する閲覧率、および前記ユーザーのＩＤ名を前記表示ユニットに表示するステップ
をさらに含む請求項８に記載の閲覧行動の記録方法。

【請求項10】

複数の部分を有する電子文書を表示する表示ユニットと、
ユーザーの画像系列を取り込む撮像ユニットと、
前記電子文書および前記画像系列を保存する保存ユニットと、
前記表示ユニット、前記撮像ユニットおよび前記保存ユニットに結合され、前記画像系列に対して視標追跡手順を実行し、前記ユーザーの眼球の移動軌跡を追跡する処理ユニットと
を含み、前記眼球が前記複数の部分のうちの注視部分を注視していることを前記処理ユニットが検出した時、前記処理ユニットが、前記眼球の視野が前記注視部分を離れたかどうかを検出し、前記眼球の前記視野が前記注視部分を離れたことを前記処理ユニットが検出した時、前記処理ユニットが、前記注視部分の閲覧時間を計算して、前記注視部分に対応する保存スペースに前記閲覧時間を記録し、前記眼球が前記電子文書を注視し続けていて、且つ前記注視部分の閲覧が終了したことを前記処理ユニットが検出した時、前記処理ユニットが、前記注視部分の前記閲覧時間を計算して、前記注視部分に対応する保存スペースに前記閲覧時間を記録する閲覧行動の記録装置。

【請求項11】

前記処理ユニットによって駆動される行動分析モジュールをさらに含み、前記行動分析モジュールが、
前記画像系列に対して前記視標追跡手順を実行し、前記ユーザーの前記眼球の前記移動軌跡を追跡する視標追跡モジュールと、
前記閲覧時間を計算するタイミングモジュールと、
前記閲覧時間を記録する記録モジュールと
を含む請求項１０に記載の閲覧行動の記録装置。

【請求項12】

前記行動分析モジュールが、さらに、補正モジュールを含み、
前記補正モジュールが、前記ユーザーが前記表示ユニットの複数の補正ポイントを見た時にそれぞれ得られる複数の補正画像を順番に受信し、前記補正モジュールが、前記撮像ユニットが前記各補正画像を取り込んだ時に形成される前記各補正画像の眼領域中の２つの輝点位置に基づいて、基準補正パラメータを取得し、前記補正モジュールが、前記補正画像に基づいて、透視変換法により座標変換マトリックスを生成し、前記座標変換マトリックスを用いて、前記眼領域の座標位置を前記表示ユニットの座標位置に変換する請求項１１に記載の閲覧行動の記録装置。

【請求項13】

前記視標追跡モジュールが、前記画像系列における現画像の前記眼領域を検出して、前記現画像における瞳孔位置を取得し、前記現画像の前記眼領域中の前記２つの輝点位置に基づいて、比較補正パラメータを取得し、前記基準補正パラメータおよび前記比較補正パラメータに基づいて、動的補償パラメータを取得し、前記現画像における前記２つの輝点位置のうちの１つと前記瞳孔位置、および前記動的補償パラメータに基づいて、眼球移動座標を計算し、前記座標変換マトリックスを用いて、前記眼球移動座標を前記表示ユニットに対応する視野着地座標に変換し、前記視野着地座標を記録する請求項１２に記載の閲覧行動の記録装置。

【請求項14】

前記行動分析モジュールが、さらに、
前記眼球の前記視野が最終的に留まった視野着地座標に基づいて、前記注視部分の現在の閲覧率を計算する文書トリミングモジュール
を含み、前記記録モジュールが、さらに、前記眼球の前記視野が前記注視部分を離れ、且つ前記注視部分の閲覧が終了していない時に、前記注視部分の前記現在の閲覧率および前記眼球の前記視野が最終的に留まった前記視野着地座標を前記注視部分に対応する前記保存スペースに記録する請求項１１〜１３のいずれか１項に記載の閲覧行動の記録装置。

【請求項15】

前記文書トリミングモジュールが、前記視野着地座標に基づいて、前記注視部分の閲覧が終了したかどうかを判断し、
前記眼球が前記電子文書を注視し続けていて、且つ前記注視部分の閲覧が終了したことを検出した時、前記タイミングモジュールが、前記記録した閲覧時間に基づいて、前記注視部分の全ての前記閲覧時間を合計する請求項１４に記載の閲覧行動の記録装置。

【請求項16】

前記記録モジュールが、さらに、前記各部分の閲覧頻度を記録する請求項１４または１５に記載の閲覧行動の記録装置。

【請求項17】

前記行動分析モジュールが、さらに、
前記ユーザーのＩＤを識別し、前記ユーザーに対応するＩＤ情報がデータベース内に存在するかどうかを判断する識別モジュール
を含み、前記ユーザーに対応する前記ＩＤ情報が前記データベース内に存在しない時、前記識別モジュールが、前記ＩＤ情報を記録して、前記ＩＤ情報に対応する前記保存スペースを確立する請求項１１〜１６のいずれか１項に記載の閲覧行動の記録装置。

【請求項18】

前記行動分析モジュールが、さらに、
前記閲覧時間、前記各部分に対応する閲覧率、および前記ユーザーのＩＤ名を前記表示ユニットに表示するプロンプトモジュール
を含む請求項１７に記載の閲覧行動の記録装置。

【請求項19】

前記行動分析モジュールが、さらに、
前記各部分に対してマーキング操作を行い、閲覧終了記号、閲覧未了記号または未読記号を前記各部分に標示するマーキングモジュール
を含む請求項１１〜１８のいずれか１項に記載の閲覧行動の記録装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、電子文書の閲覧方法および装置に関するものであり、特に、視標追跡（eye-tracking）装置に基づいて閲覧行動を記録する方法および装置に関するものである。

【背景技術】

【0002】

情報のデジタル化に伴い、従来の情報インターフェースは、次第に電子製品へと入れ替わっている。例えば、従来の写真やファイルの代わりにデジタルフォトフレームやデジタルカメラが使用されるようになり、個人用携帯情報端末（personal digital assistant, PDA）、スマートフォン、ブックリーダー等の電子製品が、新世代の文書閲覧プラットフォームになっている。ユーザーは、電子書籍（e-book）等の複数の電子文書を同じ携帯型電子製品に保存することができるため、従来の紙製の本を持ち運ぶ不便さを軽減することができる。さらに、ユーザーは、携帯型電子製品を使用して、いつでも電子書籍を見ることができる。

【0003】

現在、多くの電子書籍の制御方法が開発されている。例えば、米国特許第ＵＳ７４２９１０８号（特許文献１）において、注視追跡（gaze-tracking）装置を用いた電子リーダー・レコーダーで前回閲覧した段落を見つけることのできる閲覧位置の表記方法が提供されている。さらに、米国特許第ＵＳ２０１３／００５４６２２号（特許文献２）において、眼球移動軌跡分析によるファイルの採点方法が提供されている。特許文献２は、ユーザーの眼球移動軌跡に基づいてファイルを分類することができる。ユーザーが検索を行う時、このシステムは、ユーザーの興味特徴パラメータに基づいて検索したファイルを採点し、採点結果に基づいて検索したファイルを分類する。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】米国特許第ＵＳ７４２９１０８号

【特許文献2】米国特許第ＵＳ２０１３／００５４６２２号

【発明の概要】

【発明が解決しようとする課題】

【0005】

ＰＤＡ、スマートフォン、ブックリーダー等の電子製品は、新世代の文書閲覧プラットフォームになったが、文書閲覧プラットフォームの機能には制限がある。

【課題を解決するための手段】

【0006】

本発明は、視標追跡分析に基づいて閲読時間を記録する閲覧行動の記録方法および装置を提供する。

【0007】

本発明は、以下のステップを含む閲覧行動の記録方法を提供する。複数の部分（parts）を有する電子文書を表示ユニットに表示する。撮像ユニットによりユーザーの画像系列を取り込む。画像系列に対して視標追跡手順を行い、ユーザーの眼球の移動軌跡を追跡する。眼球が複数の部分のうちの注視部分を注視していることを検出した時、眼球の視野が注視部分を離れたかどうかを検出する。眼球の視野が注視部分を離れたことを検出した時、注視部分の閲覧時間を計算する。眼球が電子文書を注視し続けていて、且つ注視部分の閲覧が終了したことを検出した時、注視部分の閲覧時間を計算する。注視部分に対応する保存スペースに閲覧時間を記録する。

【0008】

本発明は、表示ユニットと、撮像ユニットと、保存ユニットと、処理ユニットとを含む閲覧行動の記録装置を提供する。表示ユニットは、複数の部分を有する電子文書を表示するために使用される。撮像ユニットは、ユーザーの画像系列を取り込むために使用される。保存ユニットは、電子文書および画像系列を保存するために使用される。処理ユニットは、表示ユニット、撮像ユニットおよび保存ユニットに結合され、画像系列に対して視標追跡手順を実行し、ユーザーの眼球の移動軌跡を追跡する。眼球が複数の部分のうちの注視部分を注視していることを処理ユニットが検出した時、処理ユニットは、眼球の視野が注視部分を離れたかどうかを検出する。眼球の視野が注視部分を離れたことを処理ユニットが検出した時、処理ユニットは、注視部分の閲覧時間を計算し、注視部分に対応する保存スペースに閲覧時間を記録する。眼球が電子文書を注視し続けていて、且つ注視部分の閲覧が終了したことを処理ユニットが検出した時、処理ユニットは、注視部分の閲覧時間を計算し、注視部分に対応する保存スペースに閲覧時間を記録する。

【0009】

本発明の１つの実施形態において、閲覧行動の記録装置は、さらに、処理ユニットによって駆動される行動分析モジュールを含み、行動分析モジュールは、画像系列に対して視標追跡手順を実行し、ユーザーの眼球の移動軌跡を追跡する視標追跡モジュールと、閲覧時間を計算するタイミングモジュールと、閲覧時間を記録する記録モジュールとを含む。

【0010】

本発明の１つの実施形態において、行動分析モジュールは、さらに、補正モジュールを含む。補正モジュールは、ユーザーが表示ユニットの複数の補正ポイントを見た時にそれぞれ得られる複数の補正画像を順番に受信し、撮像ユニットが各補正画像を取り込んだ時に形成される各補正画像の眼領域中の２つの輝点位置に基づいて、基準補正パラメータを取得し、補正画像に基づいて、透視変換（perspective transformation）法により座標変換マトリックスを生成し、座標変換マトリックスを用いて、眼領域の座標位置を表示ユニットの座標位置に変換する。

【0011】

本発明の１つの実施形態において、視標追跡モジュールは、画像系列における現画像の眼領域を検出して、現画像における瞳孔位置を取得し、現画像の眼領域中の２つの輝点位置に基づいて、比較補正パラメータを取得し、基準補正パラメータおよび比較補正パラメータに基づいて、動的補償パラメータを取得し、現画像における２つの輝点位置のうちの１つと瞳孔位置、および動的補償パラメータに基づいて、眼球移動座標を計算し、座標変換マトリックスを用いて、眼球移動座標を表示ユニットに対応する視野着地座標に変換し、視野着地座標を記録する。

【0012】

本発明の１つの実施形態において、行動分析モジュールは、さらに、文書トリミングモジュールを含む。文書トリミングモジュールは、眼球の視野が最終的に留まった視野着地座標に基づいて、注視部分の現在の閲覧率を計算する。記録モジュールは、さらに、眼球の視野が注視部分を離れ、且つ注視部分の閲覧が終了していない時に、注視部分の現在の閲覧率および眼球の視野が最終的に留まった視野着地座標を注視部分に対応する保存スペースに記録する。また、文書トリミングモジュールは、さらに、視野着地座標に基づいて、注視部分の閲覧が終了したかどうかを判断する。眼球が電子文書を注視し続けていて、且つ注視部分の閲覧が終了したことを検出した時、タイミングモジュールは、記録した閲覧時間に基づいて、注視部分の全ての閲覧時間を合計する。

【0013】

本発明の１つの実施形態において、記録モジュールは、さらに、各部分の閲覧頻度を記録する。

【0014】

本発明の１つの実施形態において、行動分析モジュールは、さらに、ユーザーのＩＤ（identity）を識別し、そのユーザーに対応するＩＤ情報がデータベース内に存在するかどうかを判断するための識別モジュールを含み、ユーザーに対応するＩＤ情報がデータベース内に存在しない時、識別モジュールは、ＩＤ情報を記録して、ＩＤ情報に対応する保存スペースを確立する。

【0015】

本発明の１つの実施形態において、行動分析モジュールは、さらに、プロンプト（prompt）モジュールを含む。プロンプトモジュールは、閲覧時間、各部分に対応する閲覧率、およびユーザーのＩＤ名を表示ユニットに表示するために使用される。

【0016】

本発明の１つの実施形態において、行動分析モジュールは、さらに、マーキング（marking）モジュールを含む。マーキングモジュールは、各部分に対してマーキング操作を行い、閲覧終了（read finish）記号、閲覧未了（unfinished）記号または未読（unread）記号を各部分に標示する。

【発明の効果】

【0017】

以上のように、電子文書の各部分を閲覧するのにかかった閲覧時間を記録することによって、閲覧の便利性をより向上させることができる。さらに、視標追跡に基づき、ユーザーが対応操作を手動で行う必要がないため、非常に便利である。

【0018】

本発明の上記および他の目的、特徴、および利点をより分かり易くするため、図面と併せた幾つかの実施形態を以下に説明する。

【図面の簡単な説明】

【0019】

【図1】本発明の１つの実施形態に係る閲覧行動の記録装置のブロック図である。

【図2】本発明の１つの実施形態に係る閲覧行動の記録装置の概略図である。

【図3】本発明の１つの実施形態に係る保存ユニットのブロック図である。

【図4】本発明の１つの実施形態に係る閲覧行動の記録方法を示すフローチャートである。

【図5】本発明の１つの実施形態に係る眼領域の概略図である。

【図6】（ａ）〜（ｃ）は、本発明の１つの実施形態に係る３つの記録テーブルの概略図である。

【発明を実施するための形態】

【0020】

図１は、本発明の１つの実施形態に係る閲覧行動の記録装置のブロック図である。図１を参照すると、閲覧行動の記録装置１００は、撮像ユニット１１０と、表示ユニット１２０と、保存ユニット１３０と、処理ユニット１４０とを含む。処理ユニット１４０は、撮像ユニット１１０、表示ユニット１２０および保存ユニット１３０に連結される。

【0021】

撮像ユニット１１０は、例えば、ＣＣＤ（charge coupled device）レンズ、ＣＭＯＳ（complementary metal oxide semiconductor transistor）レンズまたは赤外線レンズを有するビデオカメラまたはカメラである。撮像ユニット１１０は、ユーザーの画像系列を取り込むために使用される。

【0022】

表示ユニット１２０は、例えば、液晶表示ディスプレイ（liquid-crystal display, LCD）、プラズマディスプレイ、真空蛍光ディスプレイ、発光ダイオード（light-emitting diode, LED）ディスプレイ、電界放出ディスプレイ（field emission display, FED）、および／または他の適切なディスプレイであるが、本発明はこれらに限定されない。

【0023】

保存ユニット１３０は、例えば、任意の型式の固定型または移動型ランダムアクセスメモリ（random access memory, RAM）、読み出し専用メモリ（read-only memory、ROM）、フラッシュメモリ、ハードディスクまたは他の類似デバイス、または上述したデバイスの組み合わせである。保存ユニット１３０は、複数の電子文書を含み、撮像ユニット１１０によって取り込まれた画像系列を一時的に保存する。

【0024】

処理ユニット１４０は、例えば、中央処理装置（central processing unit, CPU）、あるいは、プログラマブル汎用または特殊目的のマイクロプロセッサ（microprocessor）、デジタル信号プロセッサ（digital signal processor, DSP）、プログラマブルコントローラ（programmable controller）、特定用途向け集積回路（application specific integrated circuit, ASIC）、プログラマブルロジックデバイス（programmable logic device, PLD）または他の類似デバイス、または上述したデバイスの組み合わせである。

【0025】

閲覧行動の記録装置１００は、例えば、スマートフォン、ブックリーダー、タブレットＰＣ、パソコン等の電子装置である。例えば、図２は、本発明の１つの実施形態に係る閲覧行動の記録装置の概略図である。図２において、閲覧行動の記録装置１００は、ブックリーダーであり、撮像ユニット１１０（例えば、フロントカメラ）は、表示ユニット１２０（例えば、タッチスクリーン）を有する側に配置される。表示ユニット１２０は、電子文書を表示し、撮像ユニット１１０は、画像系列を取り込む。その後、処理ユニット１４０は、取り込んだ画像系列に対して視標追跡手順を実行し、ユーザーの眼球の移動軌跡を検出することにより、眼球の移動軌跡に基づいて、ユーザーが現時点で電子文書を注視しているかどうか、または、電子文書の注視位置を判断する。

【0026】

実際の応用において、保存ユニット１３０は、閲覧行動を記録するために用いるコンピュータプログラムを含む。コンピュータプログラムは、複数のプログラム命令（例えば、組織図確立用プログラム命令、テーブル承認用プログラム命令、設定プログラム命令および配備プログラム命令等）から構成される。これらのプログラム命令は、電子装置にローディングされ、閲覧行動の記録方法の様々なステップおよび上述した閲覧行動の記録装置１００の様々な機能を達成するのと同様にして実行される。

【0027】

例えば、図３は、本発明の１つの実施形態に係る保存ユニットのブロック図である。図３を参照すると、保存ユニット１３０は、閲覧行動の記録方法を実行するために使用される行動分析モジュール３１０を含む。行動分析モジュール３１０は、例えば、コンピュータプログラミング言語によって書かれたプログラム命令であり、プログラム命令は、複数のコマンドを含む。処理ユニット１４０は、プログラム命令を実行し、視標追跡に基づいて、ユーザーが電子文書を閲覧する行動を記録することができる。

【0028】

行動分析モジュール３１０は、視標追跡モジュール３１１と、タイミングモジュール３１２と、記録モジュール３１３と、補正モジュール３１４と、文書トリミングモジュール３１５と、識別モジュール３１６と、プロンプトモジュール３１７と、マーキングモジュール３１８とを含む。注意すべきこととして、行動分析モジュール３１０に含まれる上記モジュールは単なる例であり、本発明を限定するものではない。

【0029】

視標追跡モジュール３１１は、画像系列に対して視標追跡手順を実行し、ユーザーの眼球の移動軌跡を追跡するよう構成される。タイミングモジュール３１２は、各部分の閲覧時間を計算するよう構成される。記録モジュール３１３は、閲覧時間を対応する保存スペースに記録するよう構成される。補正モジュール３１４は、視標追跡手順が実行される前に補正手順を行うよう構成される。文書トリミングモジュール３１５は、各部分の閲覧が終了したかどうかを判断し、眼球の視野着地座標に基づいて閲覧率を計算するよう構成される。識別モジュール３１６は、現時点で閲覧行動の記録装置１００を使用しているユーザーのＩＤを識別するよう構成される。プロンプトモジュール３１７は、各部分の閲覧行動の関連情報を表示ユニット１２０に表示するよう構成される。マーキングモジュール３１８は、各部分に対してマーキング操作を行い、閲覧終了記号、閲覧未了記号または未読記号を各部分に標示するよう構成される。

【0030】

以下、図１および図３を参照して、閲覧行動の記録方法の各ステップについて詳しく説明する。図４は、本発明の１つの実施形態に係る閲覧行動の記録方法を示すフローチャートである。図１、図３および図４を参照すると、ステップＳ４０５において、表示ユニット１２０に電子文書を表示する。ここで、電子文書は、例えば、章（chapter）、段落（paragraph）、節（section）等の複数の部分を含む。ユーザーは、閲覧行動の記録装置１００を介して電子文書を閲覧することができる。

【0031】

そして、ステップＳ４１０において、撮像ユニット１１０を使用して、ユーザーの画像系列を取り込む。例えば、撮像ユニット１１０は、ユーザーの顔の画像を取り込むために使用されるフロントカメラであってもよく、あるいは、撮像ユニット１１０は、既に調整され、ユーザーの眼球画像を直接取り込めるものであってもよい。

【0032】

そして、ステップＳ４１５において、処理ユニット１４０は、画像系列に対して視標追跡（eye-tracking）手順を実行し、ユーザーの眼球の移動軌跡を追跡する。視標追跡手順は、眼球の位置および眼球移動情報を測定するために使用される。現在の視標追跡は、撮影装置を介して眼球の位置を取得する、探りコイル（search coil）を使用する、電気眼球図（electrooculogram）に基づく等の方法を含む。

【0033】

例えば、眼球の位置を検出する前に、補正モジュール３１４は、補正手順を実行する。補正モジュール３１４は、複数の補正画像を順番に受信する。ここで、補正画像は、ユーザーが表示ユニット１２０の複数の補正ポイントを閲覧した時に得られる。例えば、表示ユニット１２０の右上、左上、右下および左下の４つのポイントを補正ポイントとする。補正手順を実行する時、上述した４つの補正ポイントを見るようユーザーを促すことによって、４つの補正画像が得られる。補正モジュール３１４は、各補正画像の眼領域中の２つの輝点位置に基づいて、基準補正パラメータを取得する。

【0034】

例えば、図５は、本発明の１つの実施形態に係る眼領域の概略図である。図５は、２つの輝点位置Ｇ１およびＧ２を含む。２つの輝点位置Ｇ１およびＧ２は、眼球によって反射した光によって形成され、光は、撮像ユニット１１０内に設置された発光モジュールによって発せられる。基準補正パラメータは、各補正画像における２つの輝点位置Ｇ１およびＧ２に基づいて得られる。基準補正パラメータは、例えば、２つの輝点位置Ｇ１およびＧ２に基づくベクトルである。そして、補正モジュール３１４は、補正画像に基づいて、透視変換法により座標変換マトリックスを生成する。座標変換マトリックスは、眼領域の座標位置を表示ユニット１２０の座標位置に変換するために使用される。

【0035】

視標追跡モジュール３１１は、画像系列における現画像の眼領域を検出して、現画像における瞳孔位置および２つの輝点位置（輝点位置Ｇ１’およびＧ２’と称す）を取得する。さらに、視標モジュール３１１は、現画像の２つの輝点位置Ｇ１’およびＧ２’に基づいて比較補正パラメータを取得し、さらに、基準補正パラメータ（Ｃ１）および比較補正パラメータ（Ｃ２）に基づいて動的補償パラメータ（Ｃ３）を取得する。例えば、動的補償パラメータは、基準補正パラメータと比較補正パラメータ間の比率、すなわち、Ｃ３＝Ｃ２／Ｃ１である。その後、視標追跡モジュール３１１は、現画像における輝点位置Ｇ１’（または、輝点位置Ｇ２’）、瞳孔位置（例えば、瞳孔の中心座標）および動的補償パラメータに基づいて、眼球移動座標を計算する。例えば、眼球移動座標は、（Ｘ’，Ｙ’）である。視標追跡モジュール３１１は、座標変換マトリックスを用いて、眼球移動座標（Ｘ’，Ｙ’）を表示ユニット１２０に対応する視野着地座標（例えば、（Ｘｓ，Ｙｓ））に変換する。その後、視野着地座標（Ｘｓ，Ｙｓ）を記録する。このようにして、記録した複数の視野着地座標に基づいて、眼球の移動軌跡を取得する。

【0036】

そして、ステップＳ４２０において、処理ユニット１４０は、眼球の視野が現時点で注視している部分のうちの１つを離れたかどうかを検出する。つまり、視標追跡モジュール３１１は、眼球が電子文書内の複数の部分のうちの１つ（以下、注視部分と称す）を注視していることを検出した時、視標追跡モジュール３１１は、さらに、眼球の視野が注視部分を離れたかどうかを検出する。例えば、視標追跡モジュール３１１は、取得した視野着地座標に基づいて、眼球の視野が注視部分を離れたか、それともまだ注視しているかどうかを検出する。

【0037】

眼球の視野が注視部分を離れたことを検出した時、ステップＳ４２５において、タイミングモジュール３１２は、注視部分の閲覧時間を計算する。そして、ステップＳ４３５において、記録モジュール３１３は、注視部分に対応する保存スペースに閲覧時間を記録する。例えば、保存ユニット１３０には、データベース（または、テーブル）が設置され、データベースには、電子文書の各部分に対応する保存スペース（または、フィールド）が設置される。

【0038】

例えば、ユーザーが初期位置から注視部分を読み始めた場合、記録される閲覧時間は、視野が初期位置から最後に留まる視野着地位置に移動する時の所要時間である。別の例として、ユーザーが初期位置以外から注視部分を読み始めた場合、タイミングモジュール３１２は、さらに、前に記録した閲覧時間を読み出し、現時点で計算した閲覧時間と前に記録した閲覧時間を合計して、注視部分の閲覧時間を取得する。

【0039】

さらに、ステップＳ４２０の後、眼球の視野が注視部分を離れて、且つ注視部分の閲覧が終了していないことを検出した時、文書トリミングモジュール３１５は、眼球の視野が最後に留まった視野着地座標に基づいて、注視部分の現在の閲覧率を計算することができる。さらに、記録モジュール３１３は、注視部分の現在の閲覧率および眼球の視野が最後に留まった視野着地座標を注視部分に対応する保存スペースに記録する。

【0040】

一方、ステップＳ４３０において、眼球の視野が注視部分を注視していることを検出した時、注視部分の閲覧が終了したかどうかをさらに検出する。例えば、文書トリミングモジュール３１５は、視野着地座標に基づいて、注視部分の閲覧が終了したかどうかを判断する。例えば、閲覧行動の記録装置１００に電子文書が入力された時、文書トリミングモジュール３１５を使用して、電子文書に含まれる複数の部分（例えば、章）を分析し、各章の初期位置と終了位置を記録することができる。このようにして、文書トリミングモジュール３１５が視野着地座標を取得した後、文書トリミングモジュール３１５は、注視部分の閲覧が終了したかどうかを判断することができる。

【0041】

眼球が電子文書を注視し続けていることを検出した時、ステップＳ４２０において、タイミングモジュール３１２は、注視部分の閲覧時間を計算する。この時、算出した閲覧時間は、例えば、注視部分の総閲覧時間である。例えば、タイミングモジュール３１２は、注視部分に対応する保存スペースに記録された閲覧時間を読み出し、記録された閲覧時間に基づいて、注視部分の全ての閲覧時間（総閲覧時間）を合計する。

【0042】

注視部分の閲覧が終了し、且つ別の部分が注視された時、タイミングモジュール３１２は、閲覧時間を再計算する。例えば、眼球の視野が別の部分を離れた、または別の部分の閲覧が終了したことを検出した時、別の部分の閲覧時間を計算する。また、記録モジュール３１３は、さらに、各部分の閲覧頻度を記録する。あるいは、記録モジュール３１３は、電子文書の閲覧頻度を記録する。

【0043】

注意すべきこととして、識別モジュール３１６を使用して、ユーザーのＩＤを識別することができる。例えば、保存ユニット１３０にデータベースを設置して、ユーザーのＩＤ情報を保存する。識別モジュール３１６は、瞳孔識別技術を利用してユーザーのＩＤを識別し、ユーザーに対応するＩＤ情報がデータベースに存在するかどうかを判断する。ユーザーに対応するＩＤ情報がデータベース内に存在しない時は、そのＩＤ情報を記録して、ＩＤ情報に対応する保存スペースを作成する。

【0044】

その後、プロンプトモジュール３１７を用いて、閲覧時間、各部分に対応する閲覧率およびユーザーのＩＤ名を表示ユニット１２０に表示することができる。例えば、テーブルを使用して、上述したＩＤを表示することができる。以下に、電子文書の各部分の閲覧状態を示す例を３つ上げて説明する。図６（ａ）〜図６（ｃ）は、本発明の１つの実施形態に係る３つの記録テーブルの概略図である。

【0045】

図６（ａ）の記録テーブル６１０では、一人のユーザーを例として挙げ、各部分が「閲覧終了」、「閲覧未了」または「未読」であるかを図記号で識別する。記録テーブル６１０は、３つのフィールド６１１、６１２および６１３を含む。フィールド６１１は、部分（例えば、章）を記載し、フィールド６１２は、各章の閲覧状態を記載する。本実施形態において、記号Ｍ１、Ｍ２（円グラフを用いて閲覧率を示す）およびＭ３は、それぞれ、「閲覧終了」、「閲覧未了」または「未読」を示す。ここで、第４章は、未読である。

【0046】

図６（ｂ）の記録テーブル６２０は、さらに、各章を閲覧しているユーザーのＩＤ名を記載し、図記号の代わりにパーセンテージで各章の閲覧状態を示す。フィールド６１１、６１２および６１３の他に、記録テーブル６２０は、さらに、フィールド６２１を含む。フィールド６２１は、各章を閲覧したユーザーを記録するために使用される。図６（ｂ）に示すように、第１、第２および第３章は、それぞれ、ユーザー「Ａ」、ユーザー「Ｂ」およびユーザー「Ｃ」である。例えば、電子文章を現在閲覧しているユーザーが初めて識別されるユーザーであることを識別モジュール３１６が検出した時（データベースに対応するＩＤ情報がない時）、識別モジュール３１６は、対応する名前、コードまたはニックネーム等のＩＤ名を入力するようユーザーに求め、そのＩＤ名をフィールド６２１６１２の対応する章に補充する。

【0047】

さらに、図６（ｃ）の記録テーブル６３０において、異なるユーザーに対し、異なるタグページを作成する。４つのタグページ６３１〜６３４を例に挙げると、タグページ６３１は、ユーザー「Ａ」に対応し、タグページ６３２は、ユーザー「Ｂ」に対応し、タグページ６３３は、ユーザー「Ｃ」に対応し、タグページ６３４は、ユーザー「Ｄ」に対応する。各タグページは、フィールド６１１〜６１３を含む。

【0048】

以上のように、上述した実施形態に基づき、撮像ユニットによりユーザーの眼球を取り込み、視標追跡手順を使用して眼球の視野着地座標を追跡することにより、現注視部分の閲覧が終了したかどうかを検出し、さらに、視野が電子文書を離れた時に閲覧時間を記録する。また、異なるユーザーがそれぞれ電子文書の各部分の閲覧に費やした閲覧時間を記録することができる。

【0049】

以上のごとく、この発明を実施形態により開示したが、もとより、この発明を限定するためのものではなく、当業者であれば容易に理解できるように、この発明の技術思想の範囲内において、適当な変更ならびに修正が当然なされうるものであるから、その特許権保護の範囲は、特許請求の範囲および、それと均等な領域を基準として定めなければならない。

【産業の利用可能性】

【0050】

本発明により、文書閲覧プラットフォームの閲覧便利性を向上させることができる。

【符号の説明】

【0051】

１００ 閲覧行動の記録装置
１１０ 撮像ユニット
１２０ 表示ユニット
１３０ 保存ユニット
１４０ 処理ユニット
３１０ 行動分析モジュール
３１１ 指標追跡モジュール
３１２ タイミングモジュール
３１３ 記録モジュール
３１４ 補正モジュール
３１５ 文書トリミングモジュール
３１６ 識別モジュール
３１７ プロンプトモジュール
３１８ マーキングモジュール
Ｇ１、Ｇ２ 輝点
６１０、６２０、６３０ 記録テーブル
６１１〜６１３、６２１ フィールド
６３１〜６３４ タグページ
Ｍ１〜Ｍ３ 記号
Ｓ４０５〜Ｓ４３５ ステップ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6(a)】

【図6(b)】

【図6(c)】

【外国語明細書】

2015079498000001.pdf