特許 6903999 コンテンツ表示装置およびコンテンツ表示プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6903999

(24)【登録日】2021年6月28日

(45)【発行日】2021年7月14日

(54)【発明の名称】コンテンツ表示装置およびコンテンツ表示プログラム

(51)【国際特許分類】

   G06T 11/60 20060101AFI20210701BHJP

   G06T 19/00 20110101ALI20210701BHJP

   G06F 3/042 20060101ALI20210701BHJP

   G06F 3/0481 20130101ALI20210701BHJP

   G06F 3/0484 20130101ALI20210701BHJP

   G06F 3/0488 20130101ALI20210701BHJP

【ＦＩ】

   G06T11/60 100A

   G06T19/00 600

   G06F3/042 P

   G06F3/042 470

   G06F3/0481

   G06F3/0484

   G06F3/0488 130

【請求項の数】8

【全頁数】20

(21)【出願番号】特願2017-65160(P2017-65160)

(22)【出願日】2017年3月29日

(65)【公開番号】特開2018-169709(P2018-169709A)

(43)【公開日】2018年11月1日

【審査請求日】2020年2月28日

(73)【特許権者】

【識別番号】000005496

【氏名又は名称】富士フイルムビジネスイノベーション株式会社

(74)【代理人】

【識別番号】100137752

【弁理士】

【氏名又は名称】亀井 岳行

(74)【代理人】

【識別番号】100085040

【弁理士】

【氏名又は名称】小泉 雅裕

(74)【代理人】

【識別番号】100108925

【弁理士】

【氏名又は名称】青谷 一雄

(74)【代理人】

【識別番号】100087343

【弁理士】

【氏名又は名称】中村 智廣

(72)【発明者】

【氏名】服部 圭悟

【審査官】 片岡 利延

(56)【参考文献】

【文献】 特開２０１２−２１６０１６（ＪＰ，Ａ）

【文献】 米国特許出願公開第２００８／００１８５９１（ＵＳ，Ａ１）

【文献】 特開平１０−１２４１７８（ＪＰ，Ａ）

【文献】 国際公開第２０１６／１５８０００（ＷＯ，Ａ１）

【文献】 特許第４６７９６６１（ＪＰ，Ｂ１）

【文献】 特開２０１６−０８１３１３（ＪＰ，Ａ）

【文献】 特開２０１６−１２６５５８（ＪＰ，Ａ）

【文献】 特開２０１９−１０１７９６（ＪＰ，Ａ）

【文献】 特開２０１８−０９２４２０（ＪＰ，Ａ）

【文献】 特開２０１５−００１６５７（ＪＰ，Ａ）

【文献】 米国特許出願公開第２０１４／０１５２８４３（ＵＳ，Ａ１）

【文献】 米国特許出願公開第２０１５／００４９０３１（ＵＳ，Ａ１）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｔ １１／６０

Ｇ０６Ｆ ３／０４２

Ｇ０６Ｆ ３／０４８１

Ｇ０６Ｆ ３／０４８４

Ｇ０６Ｆ ３／０４８８

Ｇ０６Ｔ １９／００

(57)【特許請求の範囲】

【請求項1】

画像を取得する画像取得手段と、
前記画像取得手段で取得された画像のうちシート媒体の画像に重畳されるコンテンツを格納する格納手段と、
前記画像取得手段で取得されたシート媒体の画像に応じて、前記シート媒体の画像にコンテンツを重畳して表示するコンテンツ表示手段と、
利用者が把持して使用可能な筆記具型の入力部材であって、先端部に発光部を有する前記入力部材と、
前記画像取得手段で取得された画像に基づき、前記発光部からの光の位置を取得する光取得手段と、
前記入力部材が前記シート媒体に接触した状態での光の軌跡に基づいて、前記軌跡を前記コンテンツに対応させて保存する保存手段と、
前記シート媒体が１枚ずつ分離可能な複数の前記シート媒体に対して、前記シート媒体が１枚ずつ分離され且つ複数のシート媒体が並んで配置された場合に、各シート媒体に予め対応付けられたコンテンツを重畳して表示すると共に、並んで配置されたシート媒体の並びが変更された場合に、変更後のシート媒体の並びに応じて、各シート媒体に割り付けられたコンテンツを重畳して表示する前記コンテンツ表示手段と、
を備えたことを特徴とするコンテンツ表示装置。

【請求項2】

前記画像取得手段で取得されたシート媒体の画像に基づいて、シート媒体の姿勢を推定する姿勢推定手段と、
推定された姿勢に基づいて、シート媒体がめくられた場合に、めくられた後のシート媒体の面に次のページに対応するコンテンツを重畳して表示する前記コンテンツ表示手段と、
を備えたことを特徴とする請求項１に記載のコンテンツ表示装置。

【請求項3】

円環状の留め具で留められた複数の前記シート媒体に対して、シート媒体がめくられた回数を検知するめくり回数検知手段と、
めくられた回数に応じたページに対応付けられたコンテンツを前記シート媒体の面に表示する前記コンテンツ表示手段と、
を備えたことを特徴とする請求項２に記載のコンテンツ表示装置。

【請求項4】

感圧時に発光する前記発光部、
を備えたことを特徴とする請求項１ないし３のいずれかに記載のコンテンツ表示装置。

【請求項5】

前記入力部材が前記シート媒体に接触したことを検知する接触検知手段と、
前記入力部材から出力された接触を検知した信号と、前記光取得手段が取得した光の位置とに基づいて、前記シート媒体への入力部材を使用した書き込みを判別する書き込み判別手段と、
を備えたことを特徴とする請求項１ないし４のいずれかに記載のコンテンツ表示装置。

【請求項6】

前記入力部材の使用者の視線を検知する視線検知手段と、
視線の先に対応する光を、前記シート媒体への入力部材を使用した書き込みと判別する書き込み判別手段と、
を備えたことを特徴とする請求項１ないし５のいずれかに記載のコンテンツ表示装置。

【請求項7】

前記光の軌跡に基づいて、前記シート媒体への入力部材を使用した書き込みの書き順を判別する書き順判別手段と、
前記書き順判別手段で書き込まれた書き順から、書き込まれた文字の認識を行う文字認識手段と、
を備えたことを特徴とする請求項１ないし６のいずれかに記載のコンテンツ表示装置。

【請求項8】

コンピュータを、
画像を取得する画像取得手段、
前記画像取得手段で取得された画像のうちシート媒体の画像に重畳されるコンテンツを格納する格納手段、
前記画像取得手段で取得されたシート媒体の画像に応じて、前記シート媒体の画像にコンテンツを重畳して表示するコンテンツ表示手段、
前記画像取得手段で取得された画像に基づき、利用者が把持して使用可能な筆記具型の入力部材の発光部からの光の位置を取得する光取得手段、
前記入力部材が前記シート媒体に接触した状態での光の軌跡に基づいて、前記軌跡を前記コンテンツに対応させて保存する保存手段、
前記シート媒体が１枚ずつ分離可能な複数の前記シート媒体に対して、前記シート媒体が１枚ずつ分離され且つ複数のシート媒体が並んで配置された場合に、各シート媒体に予め対応付けられたコンテンツを重畳して表示すると共に、並んで配置されたシート媒体の並びが変更された場合に、変更後のシート媒体の並びに応じて、各シート媒体に割り付けられたコンテンツを重畳して表示する前記コンテンツ表示手段、
として機能させることを特徴とするコンテンツ表示プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、コンテンツ表示装置およびコンテンツ表示プログラムに関する。

【背景技術】

【0002】

利用者が手書きで行った文字や記号、下線等の書き込みを、コンピュータ等の情報処理装置に取り込むための技術として、以下の技術が公知である。

【0003】

特許文献１としての特開２００５−２６７２５７公報には、ペン型の入力装置（１）を、カメラセンサとパターン光を投影するレーザーポインタとで構成し、ペン先の移動量を算出して、ペン先の移動の時間的な経過から手書き情報を判別する技術が記載されている。特許文献１には、利用者が装着するヘッドマウンテッドディスプレイに手書き情報を表示することも記載されている。

【0004】

特許文献２としての特開２００９−２６１２３号公報には、タブレット（１１）上で専用ペン（１２）を移動させると、タブレット（１１）が移動軌跡を認識し、タブレット（１１）で入力された文字から、表示する文書や表示するページを特定して、大型モニターのような表示装置（５）に表示する技術が記載されている。

【0005】

特許文献３としての特開２０１５−２０４０３５号公報には、利用者がメガネ型のウェアラブルディスプレイ（１００）を装着し、ウェアラブルティスプレイ（１００）のカメラで取得した紙文書（ＤＣ）または電子文書（ＤＩ）の画像にＡＲコード（Ｃ２）が含まれている場合に、ウェアラブルディスプレイ（１００）にＡＲコードに関連付けられたＡＲコンテンツを表示する技術が記載されている。特許文献３には、タッチパネル（３６０）に接触したタッチペンや指の動きをタッチパネル（３６０）で検知して、検知した動きの軌跡を画像（ＡＤＩ）として表示するとともに、追加された画像（ＡＤＩ）を記憶する技術も記載されている。

【先行技術文献】

【特許文献】

【0006】

【特許文献1】特開２００５−２６７２５７公報（「００２４」〜「００２５」、「００４３」〜「００４４」、図１、図２）

【特許文献2】特開２００９−２６１２３号公報（「００２３」〜「００２５」、「００３５」〜「００３７」、「００４１」、図１〜図４）

【特許文献3】特開２０１５−２０４０３５号公報（「００７０」〜「００７４」、「００９０」〜「００９９」）

【発明の概要】

【発明が解決しようとする課題】

【0007】

(従来技術の問題点)
手書きで文字入力を行ったり、文字を電子的に閲覧する場合に、黒板やホワイトボード等の設置型のものを使用すると、持ち運びができず、利用者が自由な場所で手軽に利用できない問題があった。また、タブレット端末のような入出力が可能なディスプレイを有する携帯端末を使用する場合は、持ち運ぶことは可能であるが、精密機械で丁寧に扱う必要があったり、ディスプレイやバッテリーの重量があって利用者が持ち続けると手の負担になったりして、手軽に扱うことができない（利便性が低い）問題があった。

【0008】

本発明は、設置型の文字入力部材や表示画面を有する携帯端末を使用する場合に比べて、文書の閲覧や手書き入力を手軽に扱えるようにすることを技術的課題とする。

【課題を解決するための手段】

【0009】

前記技術的課題を解決するために、請求項１に記載の発明のコンテンツ表示装置は、
画像を取得する画像取得手段と、
前記画像取得手段で取得された画像のうちシート媒体の画像に重畳されるコンテンツを格納する格納手段と、
前記画像取得手段で取得されたシート媒体の画像に応じて、前記シート媒体の画像にコンテンツを重畳して表示するコンテンツ表示手段と、
利用者が把持して使用可能な筆記具型の入力部材であって、先端部に発光部を有する前記入力部材と、
前記画像取得手段で取得された画像に基づき、前記発光部からの光の位置を取得する光取得手段と、
前記入力部材が前記シート媒体に接触した状態での光の軌跡に基づいて、前記軌跡を前記コンテンツに対応させて保存する保存手段と、
前記シート媒体が１枚ずつ分離可能な複数の前記シート媒体に対して、前記シート媒体が１枚ずつ分離され且つ複数のシート媒体が並んで配置された場合に、各シート媒体に予め対応付けられたコンテンツを重畳して表示すると共に、並んで配置されたシート媒体の並びが変更された場合に、変更後のシート媒体の並びに応じて、各シート媒体に割り付けられたコンテンツを重畳して表示する前記コンテンツ表示手段と、
を備えたことを特徴とする。

【0010】

請求項２に記載の発明は、請求項１に記載のコンテンツ表示装置において、
前記画像取得手段で取得されたシート媒体の画像に基づいて、シート媒体の姿勢を推定する姿勢推定手段と、
推定された姿勢に基づいて、シート媒体がめくられた場合に、めくられた後のシート媒体の面に次のページに対応するコンテンツを重畳して表示する前記コンテンツ表示手段と、
を備えたことを特徴とする。

【0011】

請求項３に記載の発明は、請求項２に記載のコンテンツ表示装置において、
円環状の留め具で留められた複数の前記シート媒体に対して、シート媒体がめくられた回数を検知するめくり回数検知手段と、
めくられた回数に応じたページに対応付けられたコンテンツを前記シート媒体の面に表示する前記コンテンツ表示手段と、
を備えたことを特徴とする。

【0014】

請求項４に記載の発明は、請求項１ないし３のいずれかに記載のコンテンツ表示装置において、
感圧時に発光する前記発光部、
を備えたことを特徴とする。

【0015】

請求項５に記載の発明は、請求項１ないし４のいずれかに記載のコンテンツ表示装置において、
前記入力部材が前記シート媒体に接触したことを検知する接触検知手段と、
前記入力部材から出力された接触を検知した信号と、前記光取得手段が取得した光の位置とに基づいて、前記シート媒体への入力部材を使用した書き込みを判別する書き込み判別手段と、
を備えたことを特徴とする。

【0016】

請求項６に記載の発明は、請求項１ないし５のいずれかに記載のコンテンツ表示装置において、
前記入力部材の使用者の視線を検知する視線検知手段と、
視線の先に対応する光を、前記シート媒体への入力部材を使用した書き込みと判別する書き込み判別手段と、
を備えたことを特徴とする。

【0017】

請求項７に記載の発明は、請求項１ないし６のいずれかに記載のコンテンツ表示装置において、
前記光の軌跡に基づいて、前記シート媒体への入力部材を使用した書き込みの書き順を判別する書き順判別手段と、
前記書き順判別手段で書き込まれた書き順から、書き込まれた文字の認識を行う文字認識手段と、
を備えたことを特徴とする。

【0018】

前記技術的課題を解決するために、請求項８に記載の発明のコンテンツ表示プログラムは、
コンピュータを、
画像を取得する画像取得手段、
前記画像取得手段で取得された画像のうちシート媒体の画像に重畳されるコンテンツを格納する格納手段、
前記画像取得手段で取得されたシート媒体の画像に応じて、前記シート媒体の画像にコンテンツを重畳して表示するコンテンツ表示手段、
前記画像取得手段で取得された画像に基づき、利用者が把持して使用可能な筆記具型の入力部材の発光部からの光の位置を取得する光取得手段、
前記入力部材が前記シート媒体に接触した状態での光の軌跡に基づいて、前記軌跡を前記コンテンツに対応させて保存する保存手段、
前記シート媒体が１枚ずつ分離可能な複数の前記シート媒体に対して、前記シート媒体が１枚ずつ分離され且つ複数のシート媒体が並んで配置された場合に、各シート媒体に予め対応付けられたコンテンツを重畳して表示すると共に、並んで配置されたシート媒体の並びが変更された場合に、変更後のシート媒体の並びに応じて、各シート媒体に割り付けられたコンテンツを重畳して表示する前記コンテンツ表示手段、
として機能させることを特徴とする。

【発明の効果】

【0019】

請求項１，８に記載の発明によれば、設置型の文字入力部材や表示画面を有する携帯端末を使用する場合に比べて、文書の閲覧や手書き入力を手軽に扱えるようにすることができる。また、請求項１，８に記載の発明によれば、複数のシート媒体を並べて一度に閲覧することができる。さらに、請求項１，８に記載の発明によれば、シート媒体が並べ替えられても、並べ替えた通りに閲覧できる。
請求項２に記載の発明によれば、シート媒体をめくるという直感的な動作に対応して、次のページの文書の閲覧ができる。
請求項３に記載の発明によれば、コンテンツの総ページ数よりも少ない枚数のシート媒体で全てのページを閲覧することができる。

【0020】

請求項４に記載の発明によれば、感圧時に発光しない場合に比べて、シート媒体への入力部材での入力の判別精度を向上できる。
請求項５に記載の発明によれば、接触検知手段を有しない場合に比べて、シート媒体への入力部材での入力の判別精度を向上できる。
請求項６に記載の発明によれば、視線に基づいて書き込みの判別をしない場合に比べて、入力部材での入力の判別精度を向上できる。
請求項７に記載の発明によれば、書き順に基づいて文字の認識を行わない場合に比べて、文字の認識精度を向上できる。

【図面の簡単な説明】

【0021】

【図1】図１は本発明の実施例１のコンテンツ表示装置を含むコンテンツ表示システムの説明図である。

【図2】図２は実施例１のコンテンツ表示装置の一例としてのヘッドマウントディスプレイの説明図である。

【図3】図３は実施例１の入力部材の要部説明図である。

【図4】図４は実施例１のコンテンツ表示システムの各部材が備えている各機能をブロック図で示した図である。

【図5】図５は紙束がめくられる状態の説明図であり、図５Ａはめくる前の状態の説明図、図５Ｂはめくる途中の説明図、図５Ｃはめくられた後の説明図である。

【図6】図６は実施例１のコンテンツの重畳の説明図であり、図６Ａは識別マークが付与された紙の説明図、図６Ｂは図６Ａの識別マークに対応付けられたコンテンツデータの説明図、図６Ｃは紙にコンテンツデータが重畳された状態の説明図である。

【図7】図７は実施例１の湾曲した紙に対する領域分割の説明図であり、図７Ａは領域分割前の説明図であり、領域分割後の説明図である。

【図8】図８は実施例１のコンテンツの変形の説明図であり、図８Ａは変形前の説明図、図８Ｂは変形後の説明図である。

【図9】図９は障害物で隠れた場合の位置の特定方法の一例の説明図である。

【図10】図１０は実施例１の視線および視野の説明図である。

【図11】図１１はコンテンツ画像に書き込みがあった場合の一例の説明図であり、図１１Ａは紙と光の軌跡の説明図、図１１Ｂは表示されかつ保存されるデータの説明図である。

【図12】図１２は実施例１の表示画像の作成処理のフローチャートの説明図である。

【図13】図１３は複数の紙が並べられた状態の説明図であり、図１３Ａは並べ替え前の状態の説明図、図１３Ｂは並べ替え後の説明図である。

【発明を実施するための形態】

【0022】

次に図面を参照しながら、本発明の実施の形態の具体例である実施例を説明するが、本発明は以下の実施例に限定されるものではない。
なお、以下の図面を使用した説明において、理解の容易のために説明に必要な部材以外の図示は適宜省略されている。

【実施例1】

【0023】

図１は本発明の実施例１のコンテンツ表示装置を含むコンテンツ表示システムの説明図である。
図２は実施例１のコンテンツ表示装置の一例としてのヘッドマウントディスプレイの説明図である。
図１において、本発明の実施例１のコンテンツ表示システム１は、コンテンツ表示装置の一例としてのヘッドマウントディスプレイ２を有する。図１、図２において、実施例１のヘッドマウントディスプレイ２は、利用者３が装着可能なメガネ型の形状に形成されている。ヘッドマウントディスプレイ２は、枠部の一例としてのフレーム部２ａと、フレーム部２ａに支持された被表示部の一例としてのガラス部２ｂとを有する。フレーム部２ａには、表示部材の一例としてのプロジェクタ４が支持されている。プロジェクタ４は、ガラス部２ｂに画像、映像を投影して、利用者３が視認できるように構成されている。したがって、利用者３がガラス部２ｂを通じて前方の景色や物体を視認できるとともに、ガラス部２ｂに投影された画像も利用者３が視認できるように、ヘッドマウントディスプレイ２が構成されている。

【0024】

ヘッドマウントディスプレイ２のフレーム部２ａには、画像取得部材の一例としてのカメラ６が支持されている。カメラ６は、利用者３の前方の画像、映像を撮影可能に向きが設定されている。
また、ヘッドマウントディスプレイ２には、図示しない視線検知部材が支持されている。視線検知部材は、例えば、利用者３の黒目の位置をカメラで撮影して画像の解析から利用者３の視線を検知したり、利用者３の眼球に赤外光を照射して黒目の位置を検出して視線を検知したり、眼電位に基づいて視線を検知する等、従来公知の任意の視線検知部材を採用可能である。
さらに、実施例１のヘッドマウントディスプレイ２は、図示しない無線通信モジュールを内蔵している。したがって、情報処理装置の一例としてのサーバ１１との間で、無線通信で情報の送受信が可能に構成されている。

【0025】

サーバ１１は、サーバ本体１１ａと、表示部材の一例としてのディスプレイ１１ｂと、入力部材の一例としてのキーボード１１ｃおよびマウス１１ｄと、を有する。また、サーバ１１は、通信回線１２を通じて、ヘッドマウントディスプレイ２と情報の送受信が可能に構成されている。

【0026】

図３は実施例１の入力部材の要部説明図である。
図１において、実施例１のコンテンツ表示システム１は、入力部材の一例としてのペンポインタ１６を有する。図１、図３において、実施例１のペンポインタ１６は、筆記具型に構成されており、利用者３が手で摘んで操作可能に構成されている。図３において、実施例１のペンポインタ１６は、中空円筒状の本体部１７を有する。本体部１７の内部には、電源の一例としての乾電池１８が収容されている。本体部１７の先端側には、乾電池１８の端子が接触可能な端子部材１９が配置されている。

【0027】

本体部１７の先端部には、感圧部の一例としてのスライダ２１が、中空円筒の軸方向に沿って移動可能に支持されている。スライダ２１と本体部１７との間には、付勢部材の位置例としてのスプリング２２が支持されている。スプリング２２は、スライダ部２１を先端側に押す力を作用させる。
スライダ２１の先端部には、発光部の一例としてのＬＥＤ光源２３が支持されている。ＬＥＤ光源２３には、端子部材１９に向けて伸びる接続端子部２４が接続されている。したがって、実施例１のペンポインタ１６では、スライダ２１の先端部が、紙やＯＨＰフィルム等のシート媒体（紙束Ｓ）に接触すると、スプリング２２が縮んで接続端子部２４が端子部材１９に接触する。したがって、ＬＥＤ光源２３に乾電池１８が接続して給電され、ＬＥＤ光源２３が発光する。なお、実施例１では、電源として乾電池を例示したが、これに限定されない。例えば、充電池を使用したり、コンセント等からケーブルを介して給電する等の構成を採用可能である。

【0028】

また、実施例１のシート媒体の一例としての紙束Ｓは、複数枚の紙を有する。紙束Ｓの角部には、パンチ穴３１が形成されている。パンチ穴３１には、円環状の留め具３２が貫通して装着されている。したがって、実施例１の紙束Ｓは、留め具３２を通じてめくることが可能に構成されている。

【0029】

（実施例１の制御部の説明）
図４は実施例１のコンテンツ表示システムの各部材が備えている各機能をブロック図で示した図である。
図４において、ヘッドマウントディスプレイ２の制御部Ｃａやサーバ本体（制御部）１１ａは、外部との信号の入出力等を行う入出力インターフェースＩ／Ｏを有する。また、制御部Ｃａ，１１ａは、必要な処理を行うためのプログラムおよび情報等が記憶されたＲＯＭ：リードオンリーメモリを有する。また、制御部Ｃａ，１１ａは、必要なデータを一時的に記憶するためのＲＡＭ：ランダムアクセスメモリを有する。また、制御部Ｃａ，１１ａは、ＲＯＭ等に記憶されたプログラムに応じた処理を行うＣＰＵ：中央演算処理装置を有する。したがって、実施例１の制御部Ｃａは、小型の情報処理装置、いわゆるマイクロコンピュータにより構成されている。同様に、サーバ本体１１ａは、情報処理装置、いわゆるコンピュータ装置により構成されている。よって、制御部Ｃａ，１１ａは、ＲＯＭ等に記憶されたプログラムを実行することにより種々の機能を実現することができる。

【0030】

（ヘッドマウントディスプレイ２の制御部Ｃａに接続された信号出力要素）
ヘッドマウントディスプレイ２の制御部Ｃａは、カメラ６や視線検知部材ＳＮ１や、図示しないセンサ等の信号出力要素からの出力信号が入力されている。
カメラ６は、ヘッドマウントディスプレイ２の前方の画像を撮影する。
視線検知部材ＳＮ１は、利用者３の目の映像を撮影する。

【0031】

（ヘッドマウントディスプレイ２の制御部Ｃａに接続された被制御要素）
ヘッドマウントディスプレイ２の制御部Ｃａは、プロジェクタ４や、その他の図示しない制御要素に接続されている。制御部Ｃａは、プロジェクタ４等へ、それらの制御信号を出力している。
プロジェクタ４は、ガラス部２ｂに画像を表示（投影）する。

【0032】

（ヘッドマウントディスプレイ２の制御部Ｃａの機能）
ヘッドマウントディスプレイ２の制御部Ｃａは、前記信号出力要素からの入力信号に応じた処理を実行して、前記各制御要素に制御信号を出力する機能を有している。すなわち、制御部Ｃａは次の機能を有している。
Ｃ１：画像情報送信手段
画像情報送信手段Ｃ１は、カメラ６で撮影した画像をサーバ１１に向けて送信する。
Ｃ２：視線情報送信手段
視線情報送信手段Ｃ２は、視線検知部材ＳＮ１で撮影した目の映像をサーバ１１に向けて送信する。

【0033】

Ｃ３：表示情報受信手段
表示情報受信手段Ｃ３は、サーバ１１から送信されたガラス部２ｂに表示する情報を受信する。
Ｃ４：コンテンツ表示手段
コンテンツ表示手段Ｃ４は、表示情報受信手段Ｃ３が受信した情報に基づいて、プロジェクタ４を制御して、画像をガラス部２ｂに表示する。

【0034】

（サーバ本体１１ａに接続された信号出力要素）
サーバ本体１１ａは、キーボード１１ｃやマウス１１ｄや、図示しないセンサ等の信号出力要素からの出力信号が入力されている。

【0035】

（サーバ本体１１ａに接続された被制御要素）
サーバ本体１１ａは、ディスプレイ１１ｂや、その他の図示しない制御要素に接続されている。サーバ本体１１ａは、ディスプレイ１１ｂへ、それらの制御信号を出力している。

【0036】

（サーバ本体１１ａの機能）
サーバ本体１１ａは、前記信号出力要素からの入力信号に応じた処理を実行して、前記各制御要素に制御信号を出力する機能を有している。すなわち、サーバ本体１１ａは次の機能を有している。
Ｃ１１：情報受信手段
情報受信手段Ｃ１１は、ヘッドマウントディスプレイ２から送信された情報を受信する。実施例１では、カメラ６で撮影した画像や視線検知部材ＳＮ１で撮影した画像を受信する。

【0037】

Ｃ１２：画像取得手段
画像取得手段Ｃ１２は、カメラ６で撮影した画像を取得する。したがって、紙束Ｓやペンポインタ１６等が映った画像を取得する。実施例１の画像取得手段Ｃ１２は、予め設定された時間間隔で画像を取得する。画像を取得する時間間隔は、後述する各種処理の処理時間に応じて設定可能であるが、短いほど利用者３に取って滑らかな映像のように認識されやすいため好ましい。
Ｃ１３：シート検出手段
シート検出手段Ｃ１３は、画像取得手段Ｃ１２が取得した画像に基づいて、紙束Ｓ（シート媒体）を検出する。実施例１のシート検出手段Ｃ１３は、カメラ６で撮影した画像の中に、四隅を有するシート状の物体が存在するかを、画像解析を行って、紙束Ｓを検出する。なお、紙束Ｓが撓んだり、湾曲したり、角等の一部が折れ曲がっていたり、一部が手やペンポインタ１６等で隠れている場合も含めて、画像解析で紙束Ｓを検出する。

【0038】

Ｃ１４：障害物検出手段
障害物検出手段Ｃ１４は、画像取得手段Ｃ１２が取得した画像に基づいて、紙束Ｓの一部を隠している利用者３の手やペンポインタ１６等の障害物を検出する。実施例１の障害物検出手段Ｃ１４は、画像解析を行って障害物の検出を行う。
Ｃ１５：姿勢推定手段
姿勢推定手段Ｃ１５は、シート検出手段Ｃ１３や障害物検出手段Ｃ１４の検出結果に基づいて、紙束Ｓの姿勢を推定する。実施例１の姿勢推定手段Ｃ１５は、紙束Ｓの３次元的な位置、傾き、撓み、湾曲、折れ曲がり等の姿勢を推定する。
Ｃ１６：姿勢履歴の記憶手段
姿勢履歴の記憶手段Ｃ１６は、姿勢推定手段Ｃ１５が推定した紙束Ｓの姿勢の履歴を記憶する。

【0039】

図５は紙束がめくられる状態の説明図であり、図５Ａはめくる前の状態の説明図、図５Ｂはめくる途中の説明図、図５Ｃはめくられた後の説明図である。
Ｃ１７：めくり判定手段
めくり判定手段Ｃ１７は、姿勢履歴の記憶手段Ｃ１６に記憶された紙束Ｓの姿勢の履歴に基づいて、紙束Ｓを構成する紙Ｓ１がめくられたか否かを判別する。実施例１のめくり判定手段Ｃ１７は、一例として、図５に示すように、紙Ｓ１が留め具３２に沿って移動している一連の姿勢の変化が見られた場合に、紙Ｓ１がめくられたと判定する。
Ｃ１８：めくり回数検知手段
めくり回数検知手段Ｃ１８は、めくられた回数、すなわち、めくられた紙Ｓ１の枚数を計数する。

【0040】

図６は実施例１のコンテンツの重畳の説明図であり、図６Ａは識別マークが付与された紙の説明図、図６Ｂは図６Ａの識別マークに対応付けられたコンテンツデータの説明図、図６Ｃは紙にコンテンツデータが重畳された状態の説明図である。
Ｃ１９：マーク認識手段
特定情報の認識手段の一例としてのマーク認識手段Ｃ１９は、画像取得手段Ｃ１２で取得された画像に基づいて、紙束Ｓの各紙Ｓ１に付与された特定情報の一例としての識別マーク４１を認識する。識別マーク４１は、専用のマーカーを使用することも可能であるし、バーコードや、ＱＲコード（登録商標）、ＡＲマーカー等の二次元コードといった従来公知の任意のマーカーを使用することも可能である。また、マーカーを使用しなくても、特定の情報、例えば、プレゼンテーション資料のように各ページの特定の位置に会社名や文書作成者、ページ番号、会社ロゴといったものが付与される場合には、会社名等の特定の文字列や会社ロゴ等を、コンテンツを特定する情報として使用することも可能である。

【0041】

Ｃ２０：格納手段
格納手段Ｃ２０は、識別マーク４１に対応するコンテンツの情報４２を格納する。実施例１の格納手段Ｃ２０は、識別マーク４１と、その識別マーク４１に対応するコンテンツの情報４２とを、対応付けて記憶する。なお、１つの識別マーク４１に対して、複数のコンテンツの情報４２が対応付けられて記憶される場合もある。例えば、紙束が５枚の場合に、１ページ目の紙Ｓ１の識別マーク４１に対して、１ページ、６ページ、１１ページ、１６ページ、…、のコンテンツを対応付け、２ページ目の紙Ｓ１の識別マーク４１に対して、２ページ、７ページ、１２ページ、１７ページ、…、のコンテンツを対応付けて記憶することも可能である。

【0042】

Ｃ２１：コンテンツ取得手段
コンテンツ取得手段Ｃ２１は、マーク認識手段Ｃ１９が認識した識別マーク４１に対応するコンテンツの情報４２を取得する。実施例１のコンテンツ取得手段Ｃ２１は、識別マーク４１とめくり回数とに基づいて、対応するコンテンツの情報４２を取得する。例えば、めくり回数が６回（５回以上１０回未満）と計数された状態で、２ページ目の紙Ｓ１の識別マーク４１が認識された場合には、７ページ目のコンテンツの情報４２を取得する。なお、実施例１のコンテンツ取得手段Ｃ２１は、取得された画像において、複数の識別マーク４１が認識されている場合には、各識別マーク４１に対応するコンテンツの情報４２を取得する。

【0043】

図７は実施例１の湾曲した紙に対する領域分割の説明図であり、図７Ａは領域分割前の説明図であり、領域分割後の説明図である。
Ｃ２２：領域分割手段
領域分割手段Ｃ２２は、姿勢推定手段Ｃ１５で推定された紙Ｓ１の姿勢に応じて、紙Ｓ１の領域を、複数の領域４６に分割する。図７において、実施例１の領域分割手段Ｃ２２は、紙Ｓ１の外縁に平行な四辺を有する四角形状の領域４６に分割する。したがって、図７に示すように、紙Ｓ１の姿勢が撓んだり、湾曲していたりすると、領域４６の四辺も曲線で構成される。なお、手等の障害物で隠されていても

【0044】

図８は実施例１のコンテンツの変形の説明図であり、図８Ａは変形前の説明図、図８Ｂは変形後の説明図である。
Ｃ２３：コンテンツ変形手段
コンテンツ変形手段Ｃ２３は、コンテンツ取得手段Ｃ２１が取得したコンテンツの情報４２と、領域分割手段Ｃ２２で分割された領域４６の形状とに基づいて、コンテンツを変形させる。実施例１のコンテンツ変形手段Ｃ２３は、各領域４６の分割数、一例として、図７では横５×縦８に応じて、コンテンツの情報４２を分割する。そして、各領域４６の四隅の座標（Ｘ，Ｙ，１）を取得し、コンテンツの情報４２の各分割領域の四隅の座標（ｘ，ｙ，１）の違いに応じて、射影変換Ｈでコンテンツの情報４２を変形（拡大、縮小、平行移動、回転、せん断）させる。

【0045】

Ｃ２４：重畳画像作成手段
重畳画像作成手段Ｃ２４は、紙Ｓ１に重畳するコンテンツの画像を作成する。実施例１の重畳画像作成手段Ｃ２４は、コンテンツ変形手段Ｃ２３で変形された各分割領域４６の画像を組み合わせて、ヘッドマウントディスプレイ２で紙Ｓ１に重畳して表示するコンテンツの画像を作成する。

【0046】

Ｃ２５：光取得手段（接触検知手段）
光取得手段Ｃ２５は、画像取得手段Ｃ１２が取得した画像に基づいて、ペンポインタ１６のＬＥＤ光源２３からの光を取得する。すなわち、ペンポインタ１６の先端が紙Ｓ１に接触して発光したことを検知する。実施例１の光取得手段Ｃ２５は、一例として、画像における輝度が予め設定された値よりも大きい場合に、ペンポインタ１６の光と特定する。なお、ＬＥＤ光源２３からの光を特定する方法は、これに限定されない。例えば、ＬＥＤ光源２３の光の色が特定の色の場合、その色に基づいて判別することも可能である。例えば、紙束Ｓが白色で、光が赤色の場合、紙の領域に赤色があるか否かを判定することで光であるかを判定することも可能である。また、光の検出精度を上げるためには、輝度の急激な上昇を書き込み開始のトリガーとしたり、光の強度、光の広がり、光の周波数等の特性を利用して検出した色が光か否かを判定する等、光の物理特性を利用することも可能である。

【0047】

図９は障害物で隠れた場合の位置の特定方法の一例の説明図である。
Ｃ２６：光位置検出手段
光位置検出手段Ｃ２６は、光取得手段Ｃ２５で取得された光の位置を特定する。実施例１の光位置検出手段Ｃ２６は、ＬＥＤ光源２３の光の位置を特定する。シートの一部が手や腕、あるいは折り曲げによって隠れている場合、後述する軌跡保存手段で保存された光の軌跡４８の延長から、光が照射されたシートの位置を推定する。例えば、図９において、分割領域４６におけるコンテンツ画像４２の特徴と時間ごとの移動量を記憶し、画像４２の特徴から障害物４７で隠れている領域４６や紙Ｓ１の姿勢を特定し、分割領域４６の過去の位置から現在の位置をカルマンフィルタ等の予測のアルゴリズムで推定することも可能である。このとき、推定位置が分割領域４６の隣接領域と連続になるように制限を加えることで絞り込みが容易かつ高精度になる。

【0048】

図１０は実施例１の視線および視野の説明図である。
Ｃ２７：視線検知手段
視線検知手段Ｃ２７は、視線検知部材ＳＮ１の検知結果に基づいて、利用者３の視線を検知する。図１０において、実施例１の視線検知手段Ｃ２７は、視線検知部材ＳＮ１の検知結果から利用者３の目３ａの向いている方向５１を検知する。
Ｃ２８：視野判別手段
視野判別手段Ｃ２８は、視線（方向５１）に基づいて、利用者３の視野５２を判別する。実施例１の視野判別手段Ｃ２８は、視線（方向５１）を中心として利用者３からの距離に応じて半径が広くなる円錐状の領域を視野５２として演算する。

【0049】

Ｃ２９：書き込み判別手段
書き込み判別手段Ｃ２９は、視野５２と光位置検出手段Ｃ２６で検出された光の位置とに基づいて、書き込みがされたか否かを判別する。実施例１の書き込み判別手段Ｃ２９は、カメラ６で撮影した画像において、視野５２内にＬＥＤ光源２３の光が検出されているか否かを判別することで、書き込みがされたか否かを判別する。すなわち、利用者３が紙Ｓ１を見ていない状態で、ペンポインタ１６が紙Ｓ１に触れて発光している場合に、書き込みと誤判定しないように、書き込み判別手段Ｃ２９は判別する。

【0050】

図１１はコンテンツ画像に書き込みがあった場合の一例の説明図であり、図１１Ａは紙と光の軌跡の説明図、図１１Ｂは表示されかつ保存されるデータの説明図である。
Ｃ３０：軌跡保存手段（保存手段）
軌跡保存手段Ｃ３０は、ペンポインタ１６のＬＥＤ光源２３の光の軌跡４８を保存する。図１１において、実施例１の軌跡保存手段Ｃ３０は、光の軌跡４８を保存する場合には、光の軌跡４８が書き込まれたコンテンツの画像４２に対応付けて保存する。どのコンテンツのどの位置に書き込みがあったかを対応付けて保存する。また、実施例１の軌跡保存手段Ｃ３０は、書き込み判別手段Ｃ２９で利用者３による書き込みと判別された光の軌跡を書き込みとして保存する。なお、コンテンツ画像４２に光の軌跡４８を対応付けて保存する場合には、コンテンツ画像４２に軌跡４８を重畳した画像を保存することでも可能であるし、コンテンツ画像４２と軌跡４８とを別ファイルとして保存してもよい。また、保存データ形式として多層（マルチレイヤー）のデータを採用し、コンテンツ画像４２のレイヤーと軌跡４８のレイヤーとを分けて同一のファイルに保存することも可能である。

【0051】

Ｃ３１：軌跡画像作成手段
軌跡画像作成手段Ｃ３１は、軌跡保存手段Ｃ３０に保存された軌跡４８に基づいて、ヘッドマウントディスプレイ２に表示する軌跡４８の画像を作成する。なお、ヘッドマウントディスプレイ２では、コンテンツ画像に軌跡４８の画像が重畳されて表示される。
Ｃ３２：書き順判別手段
書き順判別手段Ｃ３２は、光の軌跡４８に基づいて、書き込まれた内容の書き順を判別する。実施例１の書き順判別手段Ｃ３２は、時間的な履歴に基づいて書き順を判別する。

【0052】

Ｃ３３：文字認識手段
文字認識手段Ｃ３３は、光の軌跡４８に基づいて、書き込まれた文字認識を行う。文字認識は、従来公知のＯＣＲ：Optical Character Recognition技術で認識した文字について、書き順判別手段Ｃ３２で判別した書き順と、文字の書き順とに基づいて、書き込まれた文字の認識、特定を行う。
Ｃ３４：情報送信手段
情報送信手段Ｃ３４は、重畳画像作成手段Ｃ２４で作成されたコンテンツ画像や軌跡重畳手段Ｃ３１で作成された光の軌跡４８の画像をヘッドマウントディスプレイ２に送信する。

【0053】

（実施例１の流れ図の説明）
次に、実施例１のコンテンツ表示システム１における制御の流れを流れ図、いわゆるフローチャートを使用して説明する。

【0054】

（フローチャートの説明）
図１２は実施例１の表示画像の作成処理のフローチャートの説明図である。
図１２のフローチャートの各ステップＳＴの処理は、サーバ１１に記憶されたプログラムに従って行われる。また、この処理はサーバ１１の他の各種処理と並行して実行される。なお、ヘッドマウントディスプレイ２では、カメラ６や視線検出部材ＳＮ１の検知結果をサーバ１１に送信するとともに、サーバ１１から受信した画像を表示する処理が行われるが、簡単であるため図示および詳細な説明は省略する。
図１２に示すフローチャートはサーバ１１の電源投入により開始される。

【0055】

図１２のＳＴ１において、ヘッドマウントディスプレイ２からの情報を受信したか否かを判別する。イエス（Ｙ）の場合はＳＴ２に進み、ノー（Ｎ）の場合はＳＴ１を繰り返す。
ＳＴ２において、次の処理（１），（２）を実行し、ＳＴ３に進む。
（１）紙Ｓ１を検出する。
（２）紙Ｓ１上の障害物を検知する。
ＳＴ３において、紙Ｓ１の姿勢を推定する。そして、ＳＴ４に進む。
ＳＴ４において、姿勢の履歴からシートがめくられたか否かを判定する。そして、ＳＴ５に進む。
ＳＴ５において、紙Ｓ１上の識別マーク４１とめくられた回数に応じたコンテンツ４２を取得する。そして、ＳＴ６に進む。

【0056】

ＳＴ６において、取得した画像に基づいて領域４６の分割を行う。そして、ＳＴ７に進む。
ＳＴ７において、各領域４６の形状に応じて、コンテンツの画像を変形させる。そして、ＳＴ８に進む。
ＳＴ８において、変形された各領域４６の画像から、紙Ｓ１の姿勢に応じたコンテンツ画像４２を作成する。そして、ＳＴ９に進む。
ＳＴ９において、カメラ６の画像において、ペンポインタ１６の光を検出したか否かを判別する。イエス（Ｙ）の場合はＳＴ１０に進み、ノー（Ｎ）の場合はＳＴ１１に進む。

【0057】

ＳＴ１０において、光の位置を検出する。そして、ＳＴ１３に進む。
ＳＴ１１において、光の軌跡４８から光の位置を推定する。そして、ＳＴ１２に進む。
ＳＴ１２において、光の位置が障害物の位置と一致するか否かを判別する。イエス（Ｙ）の場合はＳＴ１３に進み、ノー（Ｎ）の場合はＳＴ１７に進む。
ＳＴ１３において、視線５１を取得する。そして、ＳＴ１４に進む。
ＳＴ１４において、光の位置が視野５２の内部にあるか否かを判別する。イエス（Ｙ）の場合はＳＴ１５に進み、ノー（Ｎ）の場合はＳＴ１７に進む。

【0058】

ＳＴ１５において、次の処理（１），（２）を実行して、ＳＴ１６に進む。
（１）光の軌跡４８を保存する。
（２）軌跡４８の画像を作成する。
ＳＴ１６において、次の処理（１）〜（３）を実行して、ＳＴ１７に進む。
（１）軌跡４８に基づいて書き順を判別する。
（２）書き順に基づいて文字認識を行う。
（３）文字認識結果を保存する。
ＳＴ１７において、作成されたコンテンツ画像や軌跡４８の画像をヘッドマウントディスプレイ２に送信する。そして、ＳＴ１に戻る。

【0059】

（実施例１の作用）
前記構成を備えた実施例１のコンテンツ表示システム１では、利用者３がヘッドマウントディスプレイ２を装着して紙束Ｓに視線を向けると、紙束Ｓがカメラ６で撮影される。そして、紙束Ｓの姿勢が判別され、紙束Ｓの識別マーク４１と姿勢に応じたコンテンツの画像４２が重畳して表示される。また、紙束Ｓに対してペンポインタ１６で書き込みが行われると光の軌跡４８に応じた画像が重畳して表示される。したがって、利用者３は、現実には、識別マーク４１が付された紙束Ｓの表面をペンポインタ１６でなぞっているにも関わらず、ヘッドマウントディスプレイ２を通じて、仮想的にコンテンツと書き込んだ内容が表示されて、視認することが可能である。

【0060】

ここで、特許文献２や特許文献３に記載されているようなタブレット端末を使用する場合は、タブレット端末の表面がガラス等で滑りやすく、紙を使用する場合に比べて、ガラス面に対して筆記がしにくい問題がある。これに対して、実施例１では、紙束Ｓに対してペンポインタ１６で仮想的な書き込みを行っており、タブレット端末を使用する場合に比べて、書き込みしやすい。また、利用者３にとっても、実際に紙に書き込んでいる感触が得やすく、仮想的な書き込みを現実の書き込みのように認識しやすくなる。したがって、タブレット端末を使用する場合に比べて、現実感が得られやすい。
また、特許文献１に記載されているように、手書き情報を表示する構成では、コンテンツとの対応が取れず、後から手書き内容だけを確認しても、コンテンツとの関係がわからず、内容を理解しづらくなる問題がある。これに対して、実施例１では、手書きの内容（軌跡４８）とコンテンツ４２とが対応付けて保存されており、内容の確認や理解等がしやすくなっている。

【0061】

さらに、特許文献２に記載の構成のように、固定設置型の表示装置を使用する構成では、自由な場所で手軽に閲覧や手書き入力ができない問題があった。また、タブレット端末を使用する場合には、電池の重量もあり、紙等のシート媒体に比べて、手軽に扱いにくく、利便性が低い問題もあった。
これらに対して、実施例１では、紙束Ｓに対してコンテンツ画像を重畳する形で表示している。したがって、利用者３は紙束Ｓを扱う形となり、タブレット端末を使用する場合に比べて、可搬性が高く、手軽に扱いやすい。そして、紙束Ｓにコンテンツを投影しており、文書や絵、図、表等のコンテンツの閲覧も容易である。

【0062】

特に、紙Ｓは湾曲させたりすることも可能である。したがって、湾曲させたり、撓ませたりすることができないタブレット端末を使用する場合に比べて、利用者３が取り扱い安くなる。また、実施例１では、紙束Ｓが湾曲等していても、紙束Ｓの姿勢に合わせてコンテンツが変形され表示される。したがって、コンテンツが変形されない場合に比べて、利用者３が違和感なくコンテンツの閲覧が可能である。

【0063】

また、実施例１では、ペンポインタ１６での仮想的な書き込みが行われており、紙束Ｓ自体には実際に書き込みが行われない。紙束Ｓに書き込みが行われると、紙束Ｓを再使用することは困難であるが、実施例１では実際に書き込みが行われず、紙束Ｓは何度でも再使用可能である。
よって、実施例１では、紙束Ｓ自体が、利用者３が手書き入力を行う入力部であるとともに、画像が表示される出力部としても機能しており、いわば、紙束Ｓがインターフェースとして使用されている。

【0064】

さらに、実施例１では、ペンポインタ１６が紙束Ｓに接触して、スライダ２１を押し込む圧力、すなわち、筆圧が作用した場合に、ＬＥＤ光源２３が点灯する。したがって、利用者３が書き込む意思をもって操作した場合に書き込みを検知する。よって、圧力に関わらずＬＥＤ光源２３が点灯する構成に比べて、書き込みの誤検知が低減される。
また、ペンポインタ１６での書き込みを判定する際に、視線５１も考慮して書き込みの判定を行う。したがって、視線５１も使用しない場合に比べて、書き込みの誤判定が低減される。

【0065】

さらに、実施例１では、ペンポインタ１６の光に基づいて書き込みを判別しているが、手や腕等で光が照射された位置が推定しづらい場合には、光の軌跡４８の履歴から光の位置を推測可能である。よって、手や腕等で隠れて光量が一時的に不足したり、一時的に観測できなかったり、折り曲げ部を通過する際に光の位置が一時的に飛んだりする等で、光の位置の追跡が一時的にできなくなっても、過去の履歴（光の軌跡４８）からペンポインタ１６の先端の位置を推定することが可能である。したがって、光の軌跡４８の履歴から光の位置を推測しない場合に比べて、書き込みの判別精度が向上する。

【0066】

また、実施例１では、紙Ｓ１の姿勢に基づいて、紙Ｓ１がめくられたかを判別している。そして、めくられた回数に応じて、紙Ｓ１に表示されるコンテンツが取得される。よって、実施例１では、コンテンツの総ページ数に対して、紙束Ｓを構成する紙Ｓ１の枚数が少なくても、めくっていくことで全てのページを閲覧することが可能である。したがって、コンテンツのページ数に応じた枚数の紙を準備する場合に比べて、紙束Ｓを構成する紙Ｓ１の枚数を減らすことができ、紙束Ｓが軽量化される。よって、取り扱いが容易になるとともに、紙にかかる費用も削減可能である。

【0067】

さらに、実施例１では、光の軌跡４８に基づいて文字認識がされる。したがって、書き込まれた内容を文字化、文書化することが容易となる。よって、利用者３が手書きで入力した文字を改めてキーボード等で入力し直さなくても、容易に再利用することが可能である。
また、実施例１では、文字認識を行う場合に、書き順も考慮して文字認識が行われる。したがって、書き順を考慮しない場合に比べて、文字認識の精度が向上される。

【0068】

図１３は複数の紙が並べられた状態の説明図であり、図１３Ａは並べ替え前の状態の説明図、図１３Ｂは並べ替え後の説明図である。
さらに、実施例１では、カメラ６で撮影された画像において、複数の識別マーク４１が検出された場合には、検出された識別マーク４１全てに対してコンテンツが表示される。したがって、図１３に示すように、複数のページのコンテンツを並べて表示、閲覧することも可能である。ここで、例えば、ページ順を並び替えても、実施例１では、識別マーク４１に基づいてコンテンツを表示しており、並べ替えた順に表示される。なお、並べ替えが行われた場合に、ページ順を並べ替え後の順に記憶するように、コンテンツ４２の情報を更新するように構成することも可能である。

【0069】

また、実施例１では、コンテンツとして会議資料を使用可能である。この場合、会議の出席者の各自に紙束を配布しておき、紙束に共通のコンテンツを投影することで会議が可能となる。そして、出席者の各自の書き込みが、それぞれコンテンツに対応して保存される。したがって、会議終了後に、各自が自分の書き込みを確認することも可能である。また、全員の書き込みを統合して、議事録を作成することにも利用可能である。さらに、全員の書き込みや視線の履歴から、書き込みが多かったところと少なかったところ、視線が集中したところや集中しなかったところも分析可能である。この分析から、出席者が興味を持ったところや、資料の説明でわかりにくかったところの分析にも活用可能である。

【0070】

他にも、科目の違う授業を行う場合でも、識別マーク４１に対応付けるコンテンツを変更することで、科目の切替が可能である。したがって、教科書（紙束Ｓ）自体は１種類でも、異なる複数の科目、教科の授業を行うことが可能である。
また、試験問題として、識別マーク４１が付与された紙束Ｓを配布し、問題（コンテンツ）はヘッドマウントディスプレイ２で閲覧することで、紙束Ｓ自体には問題が記載されない状態となる。したがって、紙束Ｓを受験者が持ち帰っても問題を閲覧することができず、試験問題の漏洩を防止することが可能である。

【0071】

（変更例）
以上、本発明の実施例を詳述したが、本発明は、前記実施例に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内で、種々の変更を行うことが可能である。本発明の変更例（Ｈ01）〜（Ｈ07）を下記に例示する。
（Ｈ01）前記実施例において、ペンポインタ１６として、筆圧が作用した場合にスライダ２１が移動して、ＬＥＤ光源２３が点灯する構成を例示したがこれに限定されない。例えば、ペンポインタ１６の先端部に感圧センサや感圧式のスイッチのような接触検知手段を設けておき、先端部に圧力が作用した場合に、ＬＥＤ光源２３が点灯する構成とすることも可能である。また、感圧とＬＥＤ光源２３の点灯とを連携させることが望ましいが、連携させない構成とすることも可能である。すなわち、ペンポインタ１６とサーバ１１との間で情報の送受信を可能としておき、ペンポインタ１６で感圧したことをサーバ１１に送信することで、書き込みを判断し、ＬＥＤ光源２３は点灯し続ける構成とすることも可能である。他にも、書き込みの判別は、感圧に限定されず、例えば、本体部１７にスイッチを設けておき、利用者が握った場合にスイッチが入り、ＬＥＤ光源２３が点灯したり、サーバ１１に情報を送信したりするような構成とすることも可能である。

【0072】

（Ｈ02）前記実施例において、ペンポインタ１６の光源はＬＥＤに限定されない。ランプやレーザー等発光可能な任意の構成を採用可能である。
（Ｈ03）前記実施例において、紙Ｓ１のめくりを計数する構成を採用することが望ましいが、めくりに対応しない構成とすることも可能である。
（Ｈ04）前記実施例において、紙Ｓ１の姿勢を検知し、姿勢に応じてコンテンツを変形させることが望ましいが、変形させない構成とすることも可能である。
（Ｈ05）前記実施例において、書き込みを検知する場合に、視線５１も考慮して判別することが望ましいが、視線５１を考慮しないようにすることも可能である。

【0073】

（Ｈ06）前記実施例において、文字認識の処理は行うことが望ましいが、行わない構成とすることも可能である。また、書き順の判別も行うことが望ましいが、行わない構成とすることも可能である。
（Ｈ07）前記実施例において、コンテンツの取得やシート媒体の姿勢の推定、コンテンツの変形、書き込みの検出等の各種処理をサーバ１１で集中処理する構成を例示したがこれに限定されない。すべての機能をヘッドマウントディスプレイ２に組み込む構成とすることも可能であるし、サーバ１１で行った一部の処理をヘッドマウントディスプレイ２で行うことも可能である。また、サーバ１１とは異なる情報処理装置を更に設けて分散処理、クラウド処理を行うことも可能である。

【符号の説明】

【0074】

１…コンテンツ表示装置、
３…利用者、
１６…入力部材、
２３…発光部、
３２…留め具、
４２…コンテンツ、
４８…軌跡、
５１…視線、
Ｃ４…コンテンツ表示手段、
Ｃ１２…画像取得手段、
Ｃ１５…姿勢推定手段、
Ｃ１８…めくり回数検知手段、
Ｃ２０…格納手段、
Ｃ２５…光取得手段、
Ｃ２７…視線検知手段、
Ｃ２９…書き込み判別手段、
Ｃ３０…保存手段、
Ｃ３２…書き順判別手段、
Ｃ３３…文字認識手段、
Ｓ１…シート媒体。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】