知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-08-08
(45)【発行日】2022-08-17
(54)【発明の名称】情報処理システム、情報処理装置、情報処理方法及びプログラム
(51)【国際特許分類】
G03B 21/14 20060101AFI20220809BHJP
G09G 5/00 20060101ALI20220809BHJP
G09G 5/36 20060101ALI20220809BHJP
G06F 3/0483 20130101ALI20220809BHJP
G06F 3/01 20060101ALN20220809BHJP
【ＦＩ】
G03B21/14 Z
G09G5/00 550C
G09G5/00 530T
G09G5/00 510H
G09G5/36 520D
G06F3/0483
G06F3/01 570
【請求項の数】
8
(21)【出願番号】P 2017209831
(22)【出願日】2017-10-30
(65)【公開番号】P2019082572
(43)【公開日】2019-05-30
【審査請求日】2020-08-19
(73)【特許権者】
【識別番号】000006747
【氏名又は名称】株式会社リコー
(74)【代理人】
【識別番号】100107766
【弁理士】
【氏名又は名称】伊東 忠重
(74)【代理人】
【識別番号】100070150
【弁理士】
【氏名又は名称】伊東 忠彦
(72)【発明者】
【氏名】藤山 遼太郎
(72)【発明者】
【氏名】星村 隆史
(72)【発明者】
【氏名】山内 慎
(72)【発明者】
【氏名】田子 美加年
【審査官】中村 直行
(56)【参考文献】
【文献】国際公開第２０１４／０７３３４６（ＷＯ，Ａ１）
【文献】米国特許出願公開第２０１０／０１４１６０５（ＵＳ，Ａ１）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０３Ｂ ２１／００ － ２１／６４
Ｇ０９Ｇ ３／００ － ５／４２
Ｇ０６Ｆ ３／０４８３
Ｇ０６Ｆ ３／０４８８３
Ｇ０６Ｆ ３／０１
(57)【特許請求の範囲】
【請求項1】
画像の投影を制御する投影制御部と、前記画像の投影範囲に配置された紙の領域を検出する紙検出部と、
複数ページからなるデータのうち投影対象として選択されたページに関する画像が前記紙の領域に対応するように、前記投影範囲に投影される投影画像を生成する生成部と、
を有し、
前記生成部は、前記紙検出部が検出する前記紙の領域の変化が、前記紙が捲られたことを示す条件であって前記紙の一部が持ち上げられた後に元に戻されたことを示す条件に合致する場合に、前記投影対象として選択されているページの前ページ又は次ページに関する画像が前記紙の領域に対応するように前記投影画像を再生成する、
ことを特徴とする情報処理システム。
【請求項2】
前記生成部は、前記紙検出部が検出する前記紙の領域に変化があると、変化後の前記紙の領域に対応するように、前記投影画像を生成する、ことを特徴とする請求項１記載の情報処理システム。
【請求項3】
前記生成部は、前記紙検出部が検出する前記紙の領域の変化が、前記条件に最初に合致した場合には、前記投影対象として選択されているページの前ページ及び次ページのいずれか一方向のページに関する画像が前記紙の領域に対応するように前記投影画像を再生成し、その後に前記条件に合致した場合には、前記紙の捲りの方向が前記最初に合致した場合と同じ方向であれば、前記投影対象として選択されているページに対して前記一方向のページに関する画像が前記紙の領域に対応するように前記投影画像を再生成し、前記紙の捲りの方向が前記最初に合致した場合と逆方向であれば、前記投影対象として選択されているページに対して前記一方向とは逆方向のページに関する画像が前記紙の領域に対応するように前記投影画像を再生成する、ことを特徴とする請求項１又は２記載の情報処理システム。
【請求項4】
前記紙に対する描画を検出する描画検出部と、前記描画の内容に基づいて前記データを更新する更新部と、
を有することを特徴とする請求項１乃至３いずれか一項記載の情報処理システム。
【請求項5】
前記紙を対象としたユーザの動作を検出する動作検出部と、前記動作検出部が検出した動作に応じた処理を前記データに関して実行する処理実行部と、
を有することを特徴とする請求項１乃至４いずれか一項記載の情報処理システム。
【請求項6】
画像の投影範囲に配置された紙の領域を示す情報を取得する取得部と、複数ページからなるデータのうち投影対象として選択されたページに関する画像が前記紙の領域に対応するように、前記投影範囲に投影される投影画像を生成する生成部と、
を有し、
前記生成部は、前記取得部が取得する前記紙の領域の変化が、前記紙が捲られたことを示す条件であって前記紙の一部が持ち上げられた後に元に戻されたことを示す条件に合致する場合に、前記投影対象として選択されているページの前ページ又は次ページに関する画像が前記紙の領域に対応するように前記投影画像を再生成する、
ことを特徴とする情報処理装置。
【請求項7】
画像の投影範囲に配置された紙の領域を示す情報を取得する取得手順と、複数ページからなるデータのうち投影対象として選択されたページに関する画像が前記紙の領域に対応するように、前記投影範囲に投影される投影画像を生成する生成手順と、
前記取得手順が取得する前記紙の領域の変化が、前記紙が捲られたことを示す条件であって前記紙の一部が持ち上げられた後に元に戻されたことを示す条件に合致する場合に、前記投影対象として選択されているページの前ページ又は次ページに関する画像が前記紙の領域に対応するように前記投影画像を再生成する再生成手順と、
をコンピュータが実行することを特徴とする情報処理方法。
【請求項8】
画像の投影範囲に配置された紙の領域を示す情報を取得する取得手順と、複数ページからなるデータのうち投影対象として選択されたページに関する画像が前記紙の領域に対応するように、前記投影範囲に投影される投影画像を生成する生成手順と、
前記取得手順が取得する前記紙の領域の変化が、前記紙が捲られたことを示す条件であって前記紙の一部が持ち上げられた後に元に戻されたことを示す条件に合致する場合に、前記投影対象として選択されているページの前ページ又は次ページに関する画像が前記紙の領域に対応するように前記投影画像を再生成する再生成手順と、
をコンピュータに実行させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、情報処理システム、情報処理装置、情報処理方法及びプログラムに関する。
【背景技術】
【0002】
コンピュータ等に記憶されている画像データや文書データ等の電子データについては、当該電子データを処理対象とするアプリケーション（例えば、ワープロソフト、表計算ソフト、プレゼンテーションソフト、ＰＤＦのビューア等）を利用して表示装置に表示することができる。ユーザは、電子データを表示したアプリケーションを利用して、表示されている電子データを操作（ページめくりや編集等）することができる。
【0003】
また、立体表示が可能な表示装置に複数の紙からなる本を表示させ、複数の紙のうちの一部をめくる操作を行なう２つの物体を検出することで、検出結果に基づいてめくられたページを表示部に表示させる表示装置が提案されている（例えば、特許文献１参照）。
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、電子データの種類によってアプリケーションが異なるのが一般的である。したがって、ユーザは、各アプリケーションの操作を覚えなければならない。
【0005】
また、特許文献１の技術では、ＡＲ（Augmented Reality）のような立体表示された本や紙の画像に対して操作を行なうため、操作しづらいという問題が有る。
【0006】
そこで、電子データを印刷すれば、ページ捲り、書き込み、削除等、アプリケーションごとの操作性の違いから解放される。しかし、単に、電子データを一読するために紙を印刷するのは経済的ではだけでなく、環境に負荷がかかる。
【0007】
本発明は、上記の点に鑑みてなされたものであって、媒体にデータを投影することで印刷せずにデータを確認可能とすることを目的とする。
【課題を解決するための手段】
【0008】
そこで上記課題を解決するため、情報処理システムは、画像の投影を制御する投影制御部と、前記画像の投影範囲に配置された紙の領域を検出する紙検出部と、複数ページからなるデータのうち投影対象として選択されたページに関する画像が前記紙の領域に対応するように、前記投影範囲に投影される投影画像を生成する生成部と、を有し、前記生成部は、前記紙検出部が検出する前記紙の領域の変化が、前記紙が捲られたことを示す条件であって前記紙の一部が持ち上げられた後に元に戻されたことを示す条件に合致する場合に、前記投影対象として選択されているページの前ページ又は次ページに関する画像が前記紙の領域に対応するように前記投影画像を再生成する。
【発明の効果】
【0009】
媒体にデータを投影することで印刷せずにデータを確認可能とすることができる。
【図面の簡単な説明】
【0010】
【図1】第１の実施の形態におけるデータ操作支援システム１の構成例を示す図である。
【図2】第１の実施の形態における情報処理装置１０のハードウェア構成例を示す図である。
【図3】第１の実施の形態における紙投影装置２０のハードウェア構成例を示す図である。
【図4】第１の実施の形態における紙投影装置２０の外観の第１の例を示す図である。
【図5】第１の実施の形態における紙投影装置２０の外観の第２の例を示す図である。
【図6】第１の実施の形態における情報処理装置１０及び紙投影装置２０の機能構成例を示す図である。
【図7】投影範囲における投影用紙の配置例を示す図である。
【図8】ＵＩ領域の構成例を示す図である。
【図9】紙領域に対するＵＩ領域の配置例を示す図である。
【図10】投影用紙の移動及び回転の一例を示す図である。
【図11】投影用紙の捲りの一例を示す図である。
【図12】第１の実施の形態において情報処理装置１０が実行する処理手順の一例を説明するためのフローチャートである。
【図13】紙領域情報記憶部１１１の構成例を示す図である。
【図14】描画情報対応処理の処理手順の一例を説明するためのフローチャートである。
【図15】投影画像データ更新処理の処理手順の一例を説明するためのフローチャートである。
【図16】第１の実施の形態において紙投影装置２０が実行する処理手順の一例を説明するためのフローチャートである。
【図17】第２の実施の形態において情報処理装置１０が実行する処理手順の一例を説明するためのフローチャートである。
【図18】第３の実施の形態における情報処理装置１０及び紙投影装置２０の機能構成例を示す図である。
【図19】第３の実施の形態において情報処理装置１０が実行する処理手順の一例を説明するためのフローチャートである。
【図20】第３の実施の形態において紙投影装置２０が実行する処理手順の一例を説明するためのフローチャートである。
【発明を実施するための形態】
【0011】
以下、図面に基づいて第１の実施の形態を説明する。図１は、第１の実施の形態におけるデータ操作支援システム１の構成例を示す図である。図１において、データ操作支援システム１は、情報処理装置１０及び紙投影装置２０を含む。情報処理装置１０と紙投影装置２０とは、ＵＳＢ（Universal Serial Bus）ケーブル等のケーブル、無線又は有線のＬＡＮ（Local Area Network）、等の通信回線を介して接続される。すなわち、情報処理装置１０は、紙投影装置２０の傍（例えば、同じ机上等）に置かれてもよいし、紙投影装置２０から離れた場所に置かれてもよい。
【0012】
情報処理装置１０は、汎用的なコンピュータである。本実施の形態において、情報処理装置１０は、紙投影装置２０によって投影対象とされる画像（以下、「投影画像データ」という。）を生成すると共に、紙投影装置２０の投影範囲に配置された紙（以下「投影用紙」という。）に対するユーザによる操作に応じた処理を実行する。
【0013】
紙投影装置２０は、投影範囲に投影画像データを投影すると共に、投影範囲内に配置された投影用紙に対するユーザによる操作を検出する装置である。
【0014】
図２は、第１の実施の形態における情報処理装置１０のハードウェア構成例を示す図である。図２の情報処理装置１０は、それぞれバスＢで相互に接続されているドライブ装置１００、補助記憶装置１０２、メモリ装置１０３、ＣＰＵ１０４、インタフェース装置１０５、表示装置１０６、及び入力装置１０７等を有する。
【0015】
情報処理装置１０での処理を実現するプログラムは、ＣＤ－ＲＯＭ等の記録媒体１０１によって提供される。プログラムを記憶した記録媒体１０１がドライブ装置１００にセットされると、プログラムが記録媒体１０１からドライブ装置１００を介して補助記憶装置１０２にインストールされる。但し、プログラムのインストールは必ずしも記録媒体１０１より行う必要はなく、ネットワークを介して他のコンピュータよりダウンロードするようにしてもよい。補助記憶装置１０２は、インストールされたプログラムを格納すると共に、必要なファイルやデータ等を格納する。
【0016】
メモリ装置１０３は、プログラムの起動指示があった場合に、補助記憶装置１０２からプログラムを読み出して格納する。ＣＰＵ１０４は、メモリ装置１０３に格納されたプログラムに従って情報処理装置１０に係る機能を実現する。インタフェース装置１０５は、ネットワークに接続するためのインタフェースとして用いられる。表示装置１０６はプログラムによるＧＵＩ（Graphical User Interface）等を表示する。入力装置１０７はキーボード及びマウス等で構成され、様々な操作指示を入力させるために用いられる。
【0017】
図３は、第１の実施の形態における紙投影装置２０のハードウェア構成例を示す図である。図３の紙投影装置２０は、補助記憶装置２０１、メモリ装置２０２、ＣＰＵ２０３、インタフェース装置２０４、プロジェクタ２０５、赤外線投光器２０６及び赤外線カメラ２０７等を有する。
【0018】
紙投影装置２０での処理を実現するプログラムは、補助記憶装置２０１にインストールされる。メモリ装置２０２は、プログラムの起動指示があった場合に、補助記憶装置２０１からプログラムを読み出して格納する。ＣＰＵ２０３は、メモリ装置２０２に格納されたプログラムに従って紙投影装置２０に係る機能を実行する。インタフェース装置２０４は、ネットワークに接続するためのインタフェースとして用いられる。
【0019】
プロジェクタ２０５は、画像データを所定の範囲（投影範囲）に投影する装置（プロジェクタ）である。
【0020】
赤外線投光器２０６は、投影範囲に対して赤外線を投光する。赤外線カメラ２０７は、投影範囲において放射される赤外線を可視化する画像を撮像する。
【0021】
図４は、第１の実施の形態における紙投影装置２０の外観の第１の例を示す図である。図４において、（１）は斜視図を示し、（２）は上面図を示し、（３）は左側面図を示し、（４）は正面図を示し、（５）は右側面図を示し、（６）は背面図を示す。
【0022】
図４に示されるように、赤外線投光器２０６は、プロジェクタ２０５による投影範囲Ａ１の全体に赤外線を投光可能なように配置され、赤外線カメラ２０７は、投影範囲Ａ１の全体を撮像可能なように配置される。投影用紙は、投影範囲Ａ１内に配置される。なお、図４では、便宜上、紙投影装置２０の大きさに対して投影範囲Ａ１が小さく描画されているが、実際には、より大きな範囲を投影範囲Ａ１とすることが可能である。
【0023】
また、図４では、プロジェクタ２０５及び赤外線投光器２０６が露出している例が示されているが、例えば、図５に示されるように、外観の美感を確保するため、プロジェクタ２０５及び赤外線投光器２０６に対してカバーが設置されてもよい。
【0024】
図５は、第１の実施の形態における紙投影装置２０の外観の第２の例を示す図である。図５では、カバーｃ１及びカバーｃ２が設置された例が示されている。カバーｃ１は、赤外線と通す素材であればどのようなものでもよい。また、カバーｃ２は、プロジェクタ２０５による投影が遮蔽されるのを回避するための窓ｗ１を有する。
【0025】
図６は、第１の実施の形態における情報処理装置１０及び紙投影装置２０の機能構成例を示す図である。図６において、情報処理装置１０は、選択部１１、変換部１２、切替部１３、生成部１４、画像送信部１５、紙情報受信部１６及び描画処理部１７等を有する。これら各部は、情報処理装置１０にインストールされた１以上のプログラムが、ＣＰＵ１０４に実行させる処理により実現される。情報処理装置１０は、また、紙領域情報記憶部１１１を利用する。これら各記憶部は、例えば、メモリ装置１０３、補助記憶装置１０２、又は情報処理装置１０にネットワークを介して接続可能な記憶装置等を用いて実現可能である。
【0026】
選択部１１は、ＰＤＦファイル等の投影対象とするファイル（以下、「投影対象ファイル」という。）の選択を受け付ける。変換部１２は、投影対象ファイルのページごとの画像データ（例えば、ＪＰＥＧデータ等）であるページ画像データを生成する。
【0027】
切替部１３は、複数のページ画像データのうち、投影対象とするページ（以下、「投影対象ページ」という。）を切り替える。
【0028】
生成部１４は、紙投影装置２０による投影範囲Ａ１における投影用紙の位置、投影用紙の回転角度、及び投影用紙のサイズ等を示す情報（以下、「紙領域情報」という。）に基づいて、投影範囲Ａ１における投影用紙の領域（以下、「紙領域」という。）に投影対象ページのページ画像データが投影されるよう、投影画像データを生成する。
【0029】
図７は、投影範囲における投影用紙の配置例を示す図である。図７に示されるように、投影用紙ｐ１は、投影範囲Ａ１に含まれるように配置される。図７において、投影用紙ｐ１が形成する領域が紙領域である。なお、複数の投影用紙ｐ１，ｐ２，・・・，ｐｎが投影範囲Ａ１に配置されてもよい。この場合、各投影用紙ｐ１の位置及び回転角度等は異なっていてもよい。
【0030】
紙領域情報は、例えば、所定の座標系において、投影範囲Ａ１を示す情報と、紙領域を示す情報とを含む情報であってもよい。投影範囲Ａ１を示す情報は、例えば、当該座標系において投影範囲Ａ１の各頂点又は対角の２つの頂点の座標値群であってもよい。紙領域を示す情報は、例えば、当該座標系において、紙領域の各頂点又は対角の２つの頂点の座標値群と回転角度とを含む情報であってもよい。
【0031】
投影画像データは、例えば、投影範囲Ａ１全体に対応する画像として生成される。この場合、当該画像において、紙領域に対応する領域に投影対象ページが当てはめられ、紙領域以外の領域（以下、「背景領域」という。）は、投影されていることをユーザが認識しづらい態様（黒一色又は濃い青一色による塗りつぶし）や、背景領域を示す態様（幾何学模様などのパターンや、木の机の木目模様など）とされてもよい。又は、紙投影装置２０の光源のＯＮ／ＯＦＦの制御が可能な場合には背景領域について光源がＯＦＦにされてもよい。さらには、紙投影装置２０の投影機構（投影レンズ系等）が物体に追従して投影を制御する機能を有している場合には、背景領域への投影は行なわず、紙領域のみへ投影を行なうように投影機構を制御するようにしてもよい。また、光源のＯＮ／ＯＦＦの制御と投影角度などの投影機構の制御とを組み合わせる構成としてもよい。但し、投影画像データは、投影範囲Ａ１全体に対応する画像データではなく、投影用紙ｐ１とその付近のみに対応する画像データであってもよいし、投影対象のページ画像データがそのまま投影画像データとされてもよい。
【0032】
なお、生成部１４は、描画モード中においては、描画色等の変更等を受け付けるためのＵＩ領域をも含むように投影画像データを生成する。描画モードとは、投影用紙に対する描画が有効となる処理状態（期間）をいい。例えば、描画用紙に対するペンのタッチ等により開始される。当該ペンは、専用のペンであってもよいし、通常のペンであってもよい。以下、描画用に利用されるペンを「描画ペン」という。描画ペンは、タッチペン又はスタイラスペン等のように、描画先の対象物（本実施の形態では投影用紙ｐ１）に対して、実際に描画が行われないものであるものが望ましいが、ボールペンや鉛筆等にように、投影用紙ｐ１に対して描画が可能なものであってもよい。
【0033】
図８は、ＵＩ領域の構成例を示す図である。図８に示されるＵＩ領域ｕ１は、ボタンｂ１～ｂ８等の仮想的な（画像によって表現される）ボタンを含む。ボタンｂ１は、投影対象ページを１ページ前へ戻すことの指示を受け付けるためのボタンである。ボタンｂ２は、描画ペンの種別（以下、「描画タイプ」という。）について黒のボールペン又は黒のペンへの変更指示を受け付けるためのボタンである。ボタンｂ３は、描画タイプについて赤のボールペン又は赤のペンへの変更指示を受け付けるためのボタンである。ボタンｂ４は、描画タイプについて青のボールペン又は青のペンへの変更指示を受け付けるためのボタンである。ボタンｂ５は、描画タイプについて黄色の蛍光ペンへの変更指示を受け付けるためのボタンである。ボタンｂ６は、描画タイプについて消しゴムへの変更指示を受け付けるためのボタンである。すなわち、ボタンｂ２～ｂ６の選択状態は、排他的であり、選択されたボタンが拡大される。したがって、図８では、ボタンｂ３が選択された状態が示されている。ボタンｂ７は、保存して投影を終了することの指示を受け付けるためのボタンである。ボタンｂ８は、投影対象ページを１ページ前へ進めることの指示を受け付けるためのボタンである。なお、図８に示される描画タイプは一例に過ぎない。他の描画タイプが選択可能とされてもよい。
【0034】
ＵＩ領域ｕ１は、例えば、図９に示されるように紙領域に配置される。図９は、紙領域に対するＵＩ領域の配置例を示す図である。図９において、（１）及び（２）に示される矩形は、それぞれ紙領域を示す。（１）は、投影範囲Ａ１において投影用紙ｐ１が縦方向に置かれた場合のＵＩ領域ｕ１の配置例を示す。（２）は、投影範囲Ａ１において投影用紙ｐ１が横方向に置かれた場合のＵＩ領域ｕ１の配置例を示す。なお、ＵＩ領域ｕ１は、投影範囲Ａ１内において、紙領域以外の領域に配置されてもよい。
【0035】
図６に戻る。画像送信部１５は、投影画像データを紙投影装置２０へ送信する。
【0036】
紙情報受信部１６は、紙領域情報を紙投影装置２０から受信（取得）する。紙情報受信部１６が受信した紙領域情報は、紙領域情報記憶部１１１に記憶される。紙情報受信部１６は、また、投影用紙ｐ１が捲られたり、投影用紙ｐ１の角が折られたりしたことを示す情報（以下、「操作情報」という。）を紙投影装置２０から受信する。紙情報受信部１６が受信した操作情報は、切替部１３に通知される。
【0037】
描画処理部１７は、投影用紙ｐ１に対する描画ペンの描画内容を示す情報（以下、「描画情報」という。）を紙投影装置２０から受信する。なお、描画ペンが実際には描画を行えないペンである場合、描画情報は、描画ペンのペン先が投影用紙ｐ１に接触している状態における当該ペン先の軌跡を示す情報である。描画処理部１７は、受信した描画情報に基づいて、投影対象のページ画像データを更新する。すなわち、描画処理部１７は、描画情報が示す描画内容をページ画像データに反映する。この際、描画内容の反映は、選択されている描画タイプに従って行われる。
【0038】
一方、紙投影装置２０は、画像受信部２１、投影制御部２２、紙検出部２３及び描画検出部２４等を有する。これら各部は、紙投影装置２０にインストールされた１以上のプログラムが、紙投影装置２０のＣＰＵ２０３に実行させる処理により実現される。
【0039】
画像受信部２１は、投影画像データを情報処理装置１０から受信する。投影制御部２２は、画像受信部２１が受信した投影画像データについて、プロジェクタ２０５による投影範囲Ａ１への投影を制御する。
【0040】
紙検出部２３は、赤外線カメラ２０７から入力される画像が示す赤外線のコントラストに基づいて、投影範囲Ａ１における投影用紙ｐ１ごとに、位置、回転角度、及びサイズ等の紙領域を検出する。例えば、紙検出部２３は、当該画像における画素値が閾値以上である領域を紙領域として検出する。紙検出部２３は、また、紙領域の変化も検出する。例えば、紙検出部２３は、投影用紙ｐ１の移動、投影用紙ｐ１の回転、投影用紙ｐ１の除去又は追加等を検出する。紙検出部２３は、紙投影装置２０の起動後に最初に紙領域を検出した際や、紙領域の変化を検出した際に、当該紙領域を示す紙領域情報を情報処理装置１０へ送信する。
【0041】
図１０は、投影用紙の移動及び回転の一例を示す図である。図１０において、（１）は、投影範囲Ａ１内における投影用紙ｐ１の移動の例を示す。（２）は、投影用紙ｐ１の回転の例を示す。回転の結果、（３）に示されるように、投影用紙ｐ１は、投影範囲Ａ１に対して傾きを有することも有る。例えば、この傾きが、投影用紙ｐ１の回転角度である。
【0042】
なお、投影範囲Ａ１内に複数枚の投影用紙ｐ１が配置されている場合、紙検出部２３は、それぞれの投影用紙ｐ１の紙領域及び各紙領域の変化を検出する。したがって、例えば、打ち合わせや会議等において、各出席者の前に投影用紙ｐ１を配置することで、各出席者の前にページ画像データを投影することができる。この場合、投影範囲Ａ１を拡大するために、紙投影装置２０が高い場所に配置されてもよい。
【0043】
図６に戻る。紙検出部２３は、また、投影用紙ｐ１に対するユーザによる操作（例えば、捲りや角の折り等）のうち、所定の条件に合致する操作も検出する。
【0044】
図１１は、投影用紙の捲りの一例を示す図である。図１１に示されるように、投影用紙ｐ１の捲りとは、例えば、投影用紙ｐ１の右側又は左側を捲るように持ち上げ後で、持ち上げた側を元に戻す操作をいう。したがって、捲りは裏返しとは異なる。但し、裏返しによって捲りが代替されてもよい。
【0045】
例えば、ユーザが投影用紙ｐ１を捲る操作を行なうと、一時的に紙領域のサイズ及び形状が変化した後に、紙領域が元のサイズ及び形状に戻る。紙検出部２３は、このような条件に合致する紙領域の変化の検知に基づいて投影用紙ｐ１の捲りを検出する。紙検出部２３は、投影用紙ｐ１に対する操作内容を示す操作情報を情報処理装置１０へ送信する。なお、投影用紙ｐ１の捲りは、投影対象ページの変更指示に相当する。
【0046】
また、ユーザが投影用紙ｐ１のいずれかの角を一時的に折る動作を行なうと、紙領域の４つの角のうち一つの角部分が削れた形状に変化した後に、元の形状に戻る。紙検出部２３は、このような現象の検知に基づいて投影用紙ｐ１の角の折りを検出する。なお、投影用紙ｐ１の角の折りが検出されると、情報処理装置１０は、投影対象ページに対するしおりの挿入指示（又は付箋の付加指示）が有ったと判定する。
【0047】
描画検出部２４は、投影範囲Ａ１に含まれる投影用紙ｐ１に対する描画ペンによる描画（ペン先の軌跡）を検出する。
【0048】
描画の検出方法としては、様々な手法を用いることが可能である。例えば、投影用紙ｐ１に印字されたパターンを撮像する小型のカメラを備えた描画ペンによりペン先の軌跡を検出する手法が採用されてもよい。また、描画ペンとは別のカメラによる撮像により投影用紙ｐ１上でのペン先の軌跡を検出する手法が採用されてもよい。また、感圧方式や静電方式などにより描画を検出する投影用紙ｐ１（パネル）によって描画内容を検出する手法が採用されてもよい。また、赤外線投光器２０６が、投影範囲Ａ１に対して格子状に赤外線を投光し、赤外線カメラ２０７が、描画ペンのペン先が通過した格子を検出する手法によって描画を検出する手法が採用されてもよい。また、描画ペンが実際に投影用紙ｐ１に対して描画を行う場合には、実際に描画された内容を画像として検知する手法が用いられてもよい。描画検出部２４は、検出した描画内容（ペン先の軌跡）を示す座標群を含む描画情報を情報処理装置１０へ送信する。又は、投影対象画像データ又は投影対象画像データの一部であるページ画像データに対して描画内容が反映された画像データが、描画情報として情報処理装置１０に送信されてもよい。
【0049】
以下、情報処理装置１０及び紙投影装置２０が実行する処理手順について説明する。図１２は、第１の実施の形態において情報処理装置１０が実行する処理手順の一例を説明するためのフローチャートである。
【0050】
例えば、紙情報受信部１６が、紙投影装置２０において最初に紙領域が検出された際や、投影用紙ｐ１の移動又は回転等により紙領域の変化が検出された際や、紙領域が増減した際（投影用紙ｐ１が増減した際）に紙投影装置２０から送信される紙領域情報を受信すると（Ｓ１０１でＹｅｓ）、紙情報受信部１６は、受信した紙領域情報を紙領域情報記憶部１１１に記憶する（Ｓ１０２）。
【0051】
図１３は、紙領域情報記憶部１１１の構成例を示す図である。図１３に示されるように、紙領域情報記憶部１１１の各レコードは、「投影対象ファイル名」、「座標情報」、「回転角度」、「投影対象ページ」及び「描画モード」等の項目を含む。「投影対象ファイル名」は、投影対象ファイルのファイル名である。「座標情報」は、紙領域の位置及び範囲を示す情報である。「座標情報」は、例えば、紙領域の対角の頂点の座標値である。「回転角度」は、紙領域の回転角度を示す情報である。「投影対象ページ」は、投影対象ファイルにおいて現時点において投影対象となっているページのページ番号である。描画モードは、描画モード中か（ＴＲＵＥ）否か（ＦＡＬＳＥ）を示す情報である。これらの項目のうち、「座標情報」、「回転角度」が紙領域情報に含まれる。したがって、紙領域情報記憶部１１１は、紙領域情報に投影対象エージ及び描画モード等を関連付けて記憶可能なように構成される。なお、紙領域情報記憶部１１１には、紙領域情報ごとにレコードが記憶される。
【0052】
例えば、最初に紙領域が検出された際において、複数の投影用紙ｐ１ｐ２，・・・，ｐｎが投影範囲Ａ１内に配置されている場合、投影用紙ｐ１ｐ２，・・・，ｐｎそれぞれの紙領域情報が受信され、紙領域情報記憶部１１１に記憶される。
【0053】
また、いずれかの投影用紙ｐ１の紙領域が変化（移動又は回転）した場合、変化前（移動前又は回転前）の紙領域情報と変化後（移動後又は回転後）の紙領域情報とが受信される。この場合、紙情報受信部１６は、紙領域情報記憶部１１１に記憶されている紙領域情報のうち、移動前又は回転前の紙領域情報を、移動後又は回転後の紙領域情報に更新する。
【0054】
また、いずれかの投影用紙ｐ１が投影範囲Ａ１から除去された場合、当該投影用紙ｐ１の除去前の状態における紙領域情報に加え、当該投影用紙ｐ１が除去されたことを示す情報が受信される。この場合、紙情報受信部１６は、紙領域情報記憶部１１１に記憶されている当該紙領域情報と、後述されるような当該紙領域情報に関連付けられている情報とを紙領域情報記憶部１１１から削除する。
【0055】
また、新たな投影用紙ｐ１が投影範囲Ａ１に追加された場合、当該投影用紙ｐ１が配置された後の紙領域情報が受信される。この場合、紙情報受信部１６は、当該紙領域情報を紙領域情報記憶部１１１に記憶する。
【0056】
なお、全ての投影用紙ｐ１について投影対象ページ、描画モード等を同期させる場合、各投影用紙ｐ１を区別する必要はないため、ステップＳ１０１では、全ての投影用紙ｐ１のそれぞれの最新の紙領域に係る紙領域情報が毎回受信されてもよい。この場合、紙領域情報記憶部１１１では、全ての紙領域情報が毎回書き換えられてもよい。
【0057】
又は、選択部１１が、投影対象ファイルの選択を受け付けると（Ｓ１０３でＹｅｓ）、変換部１２は、投影対象ファイルをメモリ装置１０３に読み込み、メモリ装置１０３内の投影対象ファイル（以下、「投影対象ファイルｍ１」という。）のページごとにページ画像データを生成する（Ｓ１０４）。例えば、投影対象ファイルｍ１が５ページを含むＰＤＦファイルであったとすると、５つのＪＰＥＧデータが、ページ画像データとして生成される。生成されたページ画像データは、例えば、補助記憶装置１０２に記憶される。続いて、切替部１３は、投影対象ファイルｍ１における最初のページを投影対象ページとして選択する（Ｓ１０５）。具体的には、切替部１３は、投影対象ページを示す情報（例えば「１」）を、紙領域情報記憶部１１１に記憶されている各紙領域情報に関連付けて紙領域情報記憶部１１１に記憶する。
【0058】
又は、紙情報受信部１６が、紙投影装置２０から操作情報を受信すると（Ｓ１０６でＹｅｓ）、紙情報受信部１６は、当該操作情報（以下、「対象操作情報」という。）が投影用紙ｐ１の捲りを示す情報か、又は投影用紙ｐ１の角の折りを示す情報かを判定する（Ｓ１０７）。
【0059】
対象操作情報が投影用紙ｐ１の捲りを示す情報である場合（Ｓ１０７でＹｅｓ）、切替部１３は、対象操作情報が示す操作内容に応じて、投影対象ページを変更する（Ｓ１０８）。この場合、対象操作情報には、捲りの対象とされた投影用紙ｐ１の紙領域情報が投影用紙ｐ１の識別情報として含まれている。そこで、切替部１３は、例えば、対象操作情報が、投影用紙ｐ１の右側を持ち上げて左に捲るといった操作を示す場合、紙領域情報記憶部１１１において対象操作情報に関連付けられている投影対象ページに１を加算する（すなわち、次ページが投影対象ページとされる）。一方、対象操作情報が、投影用紙ｐ１の左側を持ち上げて右に捲るといった操作を示す場合、切替部１３は、紙領域情報記憶部１１１において対象操作情報に関連付けられている投影対象ページから１を減算する（すなわち、前ページを投影対象ページとする）。但し、当該投影対象ページが既に最終ページである場合に、次ページへの変更は行われず、当該投影対象ページが最初のページである場合に、前ページへの変更は行われない。但し、該投影対象ページが既に最終ページである場合に次ページへの切り替えが要求された場合に、最初のページが投影対象ページとされてもよいし、該投影対象ページが最初のページである場合に前ページへの切り替えが要求された場合に、最終ページが投影対象ページとされてもよい。なお、投影用紙ｐ１の右側及び左側とは、投影用紙ｐ１に投影されているページ画像の方向を基準とする。具体的には、ページ画像の上下方向がユーザに対して合っている状態（すなわち、ページ画像の上方向がユーザから離れており、下方向がユーザに近い状態）を基準として、投影用紙ｐ１の右側及び左側が決まる。但し、捲りの方向は区別されないようにしてもよい、例えば、投影用紙ｐ１がいずれの方向に捲られたとしても、次ページ又は前ページが投影対象ページにされるようにしてもよい。
【0060】
又は、切替部１３は、捲りを示す操作情報が初めて受信された際に、対象操作情報に含まれている捲りの方向に関わらず、紙領域情報記憶部１１１において対象操作情報に関連付けられている投影対象ページに１を加算してもよい。この場合、切替部１３は、当該操作情報に係る操作をページを進める操作として記憶し、当該操作とは逆の操作をページを戻す操作として記憶する。例えば、初めて受信された操作情報が、投影用紙ｐ１の右側を持ち上げて左に捲るといった操作を示す場合、当該操作がページを進める操作として記憶され、左側を持ち上げて右に捲る（裏返す）といった操作がページを戻す操作として記憶される。切替部１３は、記憶した内容に基づき、ページの切替を行う。
【0061】
又は、例えば、ページ画像データが横長の画像であり、投影用紙ｐ１が横方向に置かれている状態において、ページ画像データがユーザに正対している場合、投影用紙ｐ１の上側又は下側が捲られることで、投影用紙ｐ１の捲りが検出されてもよい。この場合、切替部１３は、下側が捲られた場合に投影対象ページを進め、上側が捲られた場合に投影対象ページを戻してもよい。
【0062】
なお、本実施の形態では、複数前の投影用紙ｐ１が投影範囲Ａ１内に配置されている場合には、それぞれの投影内容が異なる（独立している）例について説明しているが、複数枚の投影用紙ｐ１が投影範囲Ａ１内に配置されている場合であって、全ての投影用紙ｐ１に同じ投影対象ページを投影したい場合、つまり同期して投影したい場合、投影対象ページは紙領域情報ごとではなく、１つだけ記憶されればよい。又は、ステップＳ１０８において、紙領域情報記憶部１１１において紙領域情報ごとに記憶されている全ての投影対象ページが更新されてもよい。
【0063】
一方、対象操作情報が投影用紙ｐ１の角が折られたことを示す情報である場合（Ｓ１０７でＮｏ）、紙情報受信部１６は、投影対象ファイルに対してしおり情報を付与（付加）する（Ｓ１０９）。すなわち、紙情報受信部１６は、対象操作情報に含まれている紙領域情報に関連付けられて紙領域情報記憶部１１１に記憶されている投影対象ページを参照し、投影対象ファイルのページのうち、当該投影対象ページに対応するページにしおり情報を付与（付加）する（Ｓ１０９）。すなわち、後述されるように、この場合、対象操作情報には、角が折られた投影用紙ｐ１の紙領域情報が含まれている。
【0064】
又は、描画処理部１７が、紙投影装置２０から描画情報（以下、「対象描画情報」という。）を受信すると（Ｓ１１０でＹｅｓ）、描画処理部１７は、描画情報対応処理を実行する（Ｓ１１１）。描画情報対応処理では、対象描画情報に応じた処理が実行される。描画情報対応処理の詳細は後述される。
【0065】
ステップＳ１０２、Ｓ１０５、Ｓ１０７及びＳ１１１に続いて、情報処理装置１０は、投影画像データ更新処理を実行する（Ｓ１１２）。ステップＳ１１２の実行後、ステップＳ１０１以降が繰り返される。なお、投影画像データ更新処理の詳細は後述される。
【0066】
続いて、ステップＳ１１１の詳細について説明する。図１４は、描画情報対応処理の処理手順の一例を説明するためのフローチャートである。
【0067】
ステップＳ２０１において、描画処理部１７は、対象描画情報に含まれている紙領域情報（すなわち、描画対象とされた投影用紙ｐ１に対応する紙領域情報）に対応する描画モードがＴＲＵＥであるか否かを判定する。描画モードとは、投影用紙ｐ１に対する描画が有効な状態であるか否かを示すパラメータをいい、各紙領域情報に関連付けられて紙領域情報記憶部１１１に記憶される。描画モードについて、「ＴＲＵＥ」は描画が有効な状態であることを示し、「ＦＡＬＳＥ」は描画が無効な状態であることを示す。例えば、投影用紙ｐ１に対して描画ペンをタッチすることで描画モードを「ＴＲＵＥ」とすることができる。なお、全ての投影用紙ｐ１，ｐ２，・・・，ｐｎの描画モードを同期させる場合、描画モードは紙領域情報ごとではなく、１つだけ記憶されてもよい。
【0068】
対象描画情報に含まれている紙領域情報に関連付けられて紙領域情報記憶部１１１に記憶されている描画モードが「ＦＡＬＳＥ」である場合（Ｓ２０１でＮｏ）、描画処理部１７は、当該紙領域情報に関連付けられて紙領域情報記憶部１１１に記憶されている描画モードを「ＴＲＵＥ」にする（Ｓ２０２）。すなわち、描画モードが「ＦＡＬＳＥ」である投影用紙ｐ１に関して、描画情報が受信されたということは、当該投影用紙ｐ１に対して描画ペンがタッチされたことを意味する。したがって、この場合、当該投影用紙ｐ１に対応する描画モードが「ＴＲＵＥ」に更新される。
【0069】
一方、対象描画情報に含まれている紙領域情報に関連付けられて紙領域情報記憶部１１１に記憶されている描画モードが「ＴＲＵＥ」である場合（Ｓ２０１でＹｅｓ）、描画処理部１７は、描画位置がＵＩ領域ｕ１に含まれるか否かを判定する（Ｓ２０３）。描画位置がＵＩ領域ｕ１に含まれるか否かの判定は、対象描画情報に含まれている描画位置（描画ペンの接触位置）を示す座標情報と、ＵＩ領域ｕ１の範囲を示す座標情報との比較により可能である。なお、ＵＩ領域ｕ１は、紙領域の所定の位置に配置されるため、ＵＩ領域ｕ１の範囲を示す座標情報は、対象描画情報に含まれている紙領域情報に基づいて特定可能である。
【0070】
描画位置がＵＩ領域ｕ１に含まれる場合（Ｓ２０３でＹｅｓ）、描画処理部１７は、ＵＩ領域ｕ１（図８）において操作対象とされたボタンに応じた処理を実行する（Ｓ２０４）。
【0071】
例えば、当該描画位置（すなわち、描画ペンの接触位置）がボタンｂ１の範囲に含まれる場合、描画処理部１７は、対象描画情報に含まれている紙領域情報に関連付けられて紙領域情報記憶部１１１に記憶されている投影対象ページから１を減算し、ステップＳ１１２（図１５）の処理を呼び出す。但し、当該投影対象ページが「１」である場合、何も実行されなくてよいし、最終ページが投影対象ページとされてもよい。同様に、描画位置がボタンｂ８の範囲に含まれる場合、描画処理部１７は、対象描画情報に含まれている紙領域情報に関連付けられて紙領域情報記憶部１１１に記憶されている投影対象ページに１を加算し、ステップＳ１１２（図１５）の処理を呼び出す。但し、当該投影対象ページが投影対象ファイルの最終ページである場合、何も実行されなくてよいし、最初のページが投影対象ページとされてもよい。
【0072】
また、当該描画位置が、ボタンｂ２～ｂ６のいずれかの範囲内である場合、対象描画情報に含まれている紙領域情報に関連付けて、描画位置に係るボタンに対応する描画タイプを紙領域情報記憶部１１１に記憶する。
【0073】
また、当該描画位置が、ボタンｂ７の範囲内である場合、描画処理部１７は、例えば、投影対象ファイルｍ１の各ページ画像データに基づいて、投影対象ファイルと同じデータ形式のファイルを生成し、当該ファイルを例えば補助記憶装置１０２に保存する。この際、投影対象ファイルが上書き保存されてもよいし、投影対象ファイルとは別のファイルとして保存されてもよい。また、描画処理部１７は、ファイルの保存後に、投影対象ファイルｍ１及びページ画像データと、紙領域情報記憶部１１１の内容とを削除（クリア）する。その結果、投影対象ファイルｍ１の投影は終了する。
【0074】
一方、当該描画位置がＵＩ領域ｕ１に含まれない場合（Ｓ２０３でＮｏ）、描画処理部１７は、対象描画情報に含まれている紙領域情報に関連付けられて紙領域情報記憶部１１１に記憶されている描画タイプにしたがって、対象描画情報に含まれている描画内容に基づいて、当該紙領域情報に関連付けられて紙領域情報記憶部１１１に記憶されている投影対象ページに係るページ画像データを更新する（Ｓ２０５）。具体的には、描画処理部１７は、当該描画タイプのペン種及びペンの色に従って、対象描画情報に含まれている軌跡（座標群）に応じた描画を当該ページ画像データに対して実行する。また、描画タイプとして消しゴムが選択されている場合、描画処理部１７は、当該ページ画像データにおいて対象描画情報が示す軌跡に該当する部分の描画内容を削除する。
【0075】
続いて、ステップＳ１１２の詳細について説明する。図１５は、投影画像データ更新処理の処理手順の一例を説明するためのフローチャートである。
【0076】
ステップＳ３０１において、生成部１４は、ページ画像データを生成済であるか否かを判定する。すなわち、既に、投影対象ファイルが選択されて、図１２のステップＳ１０４及びＳ１０５が実行済みであるか否かを判定する。ページ画像データが生成済みでない場合（Ｓ３０１でＮｏ）、以降の処理は実行されない。なお、投影対象ファイルの選択前に、紙投影装置２０において紙領域が検出され、当該紙領域を示す紙領域情報の受信に応じてステップＳ１１２が呼び出される場合に、ステップＳ３０１の判定はＮｏとなる。
【0077】
ページ画像データを生成済である場合（Ｓ３０１でＹｅｓ）、生成部１４は、１以上の紙領域情報が紙領域情報記憶部１１１に記憶されているか否かを判定する（Ｓ３０２）。１以上の紙領域情報が紙領域情報記憶部１１１に記憶されている場合（Ｓ３０２でＹｅｓ）、生成部１４は、各紙領域情報に基づいて、投影対象ページのページ画像データを紙領域に含む投影画像データを生成する（Ｓ３０３）。すなわち、投影範囲Ａを全領域とする投影画像データにおいて、各紙領域情報が示す紙領域に対して、それぞれの紙領域情報に関連付けられている投影対象ページのページ画像データが重畳される。この際、各ページ画像データは、各紙領域情報が示すサイズ及び回転角度にしたがって拡大又は縮小及び回転されて配置される。したがって、Ａ４の投影用紙ｐ１に対応する紙領域の対するページ画像データは、Ａ４のサイズに収まるように拡大又は縮小され、Ａ３の投影用紙ｐ１に対応する紙領域の対するページ画像データは、Ａ３のサイズに収まるように拡大又は縮小される。なお、上記の記載は、投影用紙ｐ１のサイズがＡ３又はＡ４に限定されることを意図するものではなく、投影用紙ｐ１のサイズとしては任意のサイズが選択されてよい。
【0078】
続いて、生成部１４は、「ＴＲＵＥ」である描画モードが関連付けられている紙領域情報（投影用紙ｐ１）が紙領域情報記憶部１１１に記憶されているか否かを判定する（Ｓ３０５）。該当する紙領域情報が無い場合（Ｓ３０５でＮｏ）、ステップＳ３０７に進む。該当する紙領域情報が有る場合（Ｓ３０５でＹｅｓ）、生成部１４は、投影画像データにおいて、当該紙領域情報に係る紙領域の所定の位置にＵＩ領域ｕ１を示す画像を合成（重畳）する（Ｓ３０６）。すなわち、当該紙領域内にＵＩ領域ｕ１を含む投影画像データが生成される。
【0079】
一方、紙領域情報が紙領域情報記憶部１１１に１つも記憶されていない場合（Ｓ３０２でＮｏ）、生成部１４は、全面が背景領域である投影画像データを生成する（Ｓ３０４）。紙領域情報は、投影用紙ｐ１の除去に応じて紙領域情報記憶部１１１から削除される。したがって、全ての投影用紙ｐ１が除去された場合、ユーザには、ページ画像データが非表示になったように見える。
【0080】
ステップＳ３０５でＮｏの場合、ステップＳ３０６、又はステップＳ３０４に続いて、画像送信部１５は、生成された投影画像データを紙投影装置２０へ送信する（Ｓ３０７）。
【0081】
続いて、紙投影装置２０が実行する処理手順について説明する。図１６は、第１の実施の形態において紙投影装置２０が実行する処理手順の一例を説明するためのフローチャートである。
【0082】
例えば、紙検出部２３が、投影範囲Ａ１内に新たな紙領域を検出した場合、又は既に検出されているいずれかの紙領域の変化を検出した場合（Ｓ４０１でＹｅｓ）、紙検出部２３は、投影範囲Ａ１において新たに検出された紙領域を示す紙領域情報、又は変化した紙領域に対応する紙領域情報を情報処理装置１０へ送信する（Ｓ４０２）。複数の紙領域が検出された場合、当該複数の紙領域のそれぞれの紙領域情報が送信される。また、いずれかの紙領域の移動又は回転が検出された場合、当該紙領域の移動前又は回転前の紙領域情報と、移動後又は回転後の紙領域情報とが情報処理装置１０へ送信される。また、いずれかの投影用紙ｐ１が投影範囲Ａ１から除去された場合、当該投影用紙ｐ１の除去前の紙領域を示す紙領域情報に加え、当該紙領域情報に対応する投影用紙ｐ１が除去されたことを示す情報が情報処理装置１０へ送信される。
【0083】
なお、全ての投影用紙ｐ１について投影対象ページ、描画モード等を同期させる場合、各投影用紙ｐ１を区別する必要はないため、ステップＳ４０１では、全ての投影用紙ｐ１のそれぞれの最新の紙領域に係る紙領域情報が送信されてもよい。
【0084】
又は、画像受信部２１が、情報処理装置１０から送信された投影画像データを受信すると（Ｓ４０３でＹｅｓ）、投影制御部２２は、当該投影画像データの投影範囲Ａ１への投影をプロジェクタ２０５に実行させる（Ｓ４０４）。ここで、投影画像データには、各紙領域に対してページ画像データが当てはめられている。したがって、投影範囲Ａ１に配置された投影用紙ｐ１の紙面には、ページ画像データが投影される。また、投影用紙ｐ１が移動された場合や、回転された場合には、移動後又は回転後の紙領域に合わせてページ画像データが投影画像データに重畳される。したがって、ユーザから見た場合、投影用紙ｐ１に追随してページ画像データが移動又は回転するように見える。したがって、例えば、ユーザは、投影用紙ｐ１を自らの方向に近づけたり、投影用紙ｐ１を回転させたりすることによって、ページ画像データを自ら又は他の人（隣の人や前方又は公報の人等）に見易い状態にすることができる。
【0085】
又は、紙検出部２３が、いずれかの投影用紙ｐ１が捲られたことを検出すると（Ｓ４０５でＹｅｓ）、紙検出部２３は、捲られた投影用紙ｐ１の紙領域情報と、捲りの方向を示す情報とを含む操作情報を情報処理装置１０へ送信する（Ｓ４０６）。捲りの方向を示す情報とは、例えば、投影用紙ｐ１の右側が持ち上げられて左に捲られたのか、投影用紙ｐ１の左側が持ち上げられて右に捲られたのかを示す情報をいう。
【0086】
又は、紙検出部２３が、いずれかの投影用紙ｐ１の角が一時的に折られたことを検出すると（Ｓ４０７でＹｅｓ）、紙検出部２３は、当該投影用紙ｐ１の紙領域情報と、角が折られたことを示す情報とを含む操作情報を情報処理装置１０へ送信する（Ｓ４０８）。
【0087】
又は、描画検出部２４が、いずれかの投影用紙ｐ１の紙面に対する描画ペンによる描画を検出すると（Ｓ４０９でＹｅｓ）、描画検出部２４は、描画対象の投影用紙ｐ１の紙領域情報と、描画の内容（描画ペンのペン先の軌跡）とを含む描画情報を情報処理装置１０へ送信する（Ｓ４１０）。例えば、描画ペンが紙面にタッチした場合、当該紙面に係る投影用紙ｐ１の紙領域情報と、タッチされた位置の座標とを含む情報が描画情報となる。また、描画ペンのペン先が紙面を移動した場合、当該紙面に係る投影用紙ｐ１の紙領域情報と、移動した軌跡の座標群とを含む情報が描画情報となる。
【0088】
なお、情報処理装置１０は、図１２のステップＳ１０５が実行された後でステップＳ１１２が実行される際（すなわち、投影対象ファイルの選択直後にステップＳ１１２が実行される際）には、図１５のステップＳ３０３において、投影対象ファイルｍ１の全ページのそれぞれの投影画像データを送信し、ステップＳ３０４において、当該全ページのそれぞれの投影画像データを送信するようにしてもよい。この場合、紙投影装置２０は、図１６のステップＳ３０４において、全ページの投影画像データを順番に（連続的に）投影させた後で、最初のページの投影画像データを投影するようにしてもよい。そうすることで、投影対象ファイルが印刷された場合に印刷物の厚みによってユーザが感じることのできる、投影対象ファイルの全体のボリューム感（総ページ数）を、投影の開始時にユーザに把握させることができる。
【0089】
上述したように、第１の実施の形態によれば、操作対象の電子データ（投影対象ファイル）のページの画像が投影用紙ｐ１に投影されるため、ユーザは、投影用紙ｐ１を介して当該ページを閲覧することができる。また、ユーザは、投影用紙ｐ１を操作することによって、当該電子データの操作（例えば、ページ捲りやしおりの付加等）を行うことができる。また、ユーザは、投影用紙ｐ１に対して描画ペンによって描画を行うことで、当該電子データを編集することができる。したがって、本実施の形態によれば、媒体にデータを投影することで印刷せずにデータを確認可能とすることができる。
【0090】
次に、第２の実施の形態について説明する。第２の実施の形態では第１の実施の形態と異なる点について説明する。したがって、特に言及されない点については、第１の実施の形態と同様でもよい。
【0091】
第２の実施の形態では、投影範囲Ａ１における複数の投影用紙ｐ１のそれぞれごとに、異なるファイルのページ画像データが投影される例（すなわち、投影対象ファイルと投影用紙ｐ１との関係が１対１である例）について説明する。第２の実施の形態では、図１２の代わりに図１７の処理手順が実行される。
【0092】
【0093】
第２の実施の形態では、ステップＳ１０３においてＹｅｓの場合（すなわち、投影対象ファイルの選択を受け付けた場合）に、ステップＳ１０４の前にステップＳ１２１及びＳ１２２が実行される。
【0094】
ステップＳ１２１において、変換部１２は、既存の投影対象ファイルｍ１と、新たに選択された投影対象ファイルとの個数の合計（以下、「投影対象ファイル数」という。）が、紙領域情報記憶部１１１に記憶されている紙領域情報の数（すなわち、投影用紙ｐ１の枚数）以下であるか否かを判定する。
【0095】
投影対象ファイル数が紙領域情報の数以下である場合（Ｓ１２１でＹｅｓ）、変換部１２は、未使用の紙領域情報に対して、新たに選択された投影対象ファイルを割り当てる（Ｓ１２２）。未使用の紙領域情報とは、既存の投影対象ファイルｍ１のいずれもが割り当てられてない紙領域情報（すなわち、既存の投影対象ファイルｍ１のいずれの投影先とされていない投影用紙ｐ１の紙領域情報）をいう。紙領域情報に対する投影対象ファイルの割り当ては、例えば、紙領域情報に対して投影対象ファイルのファイルパス名を関連付けることで行われてもよい。続いて、ステップＳ１０４以降が実行される。
【0096】
また、第２の実施の形態では、図１５のステップＳ３０３において、生成部１４は、紙領域情報記憶部１１１に記憶されている紙領域情報ごとに、当該紙領域情報に関連付けられている投影対象ファイル及び投影対象ページに対応するページ画像データを、投影対象画像データにおいて当該紙領域情報が示す紙領域に当てはまるように、投影対象画像データに重畳する。その結果、各投影用紙ｐ１に対して異なる投影対象ファイルのページ画像データが投影される投影画像データが生成される。
【0097】
次に、第３の実施の形態について説明する。第３の実施の形態では第１又は第２の実施の形態と異なる点について説明する。したがって、特に言及されない点については、第１又は第２の実施の形態と同様でもよい。
【0098】
図１８は、第３の実施の形態における情報処理装置１０及び紙投影装置２０の機能構成例を示す図である。図１８中、図６と同一部分には同一符号を付し、その説明は省略する。図１８において、紙投影装置２０は、ジェスチャ検出部２５を更に有する。ジェスチャ検出部２５は、紙投影装置２０にインストールされた１以上のプログラムが、紙投影装置２０のＣＰＵ２０３に実行させる処理により実現される。
【0099】
ジェスチャ検出部２５は、ユーザによる所定のジェスチャ（身振り、手振り等の動作）を検出すると、当該ジェスチャの内容を示す情報（以下、「ジェスチャ情報」という。）を情報処理装置１０へ送信する。ジェスチャを検出する方法としては、一般的なモーションセンサや画像認識などによる動作検知を採用することが可能である。
【0100】
一方、情報処理装置１０は、ジェスチャ処理部１８を更に有する。ジェスチャ処理部１８は、情報処理装置１０にインストールされた１以上のプログラムが、ＣＰＵ１０４に実行させる処理により実現される。
【0101】
ジェスチャ処理部１８は、ジェスチャ情報を受信すると、当該ジェスチャ情報に応じた処理を実行する。
【0102】
図１９は、第３の実施の形態において情報処理装置１０が実行する処理手順の一例を説明するためのフローチャートである。図１９中、図１２と同一ステップには同一ステップ番号を付し、その説明は省略する。図１９では、ステップＳ１３１及びＳ１３２が追加されている。
【0103】
ジェスチャ処理部１８が、紙投影装置２０から送信されたジェスチャ情報を受信すると（Ｓ１３１でＹｅｓ）、ジェスチャ処理部１８は、当該ジェスチャ情報が示すジェスチャに応じた処理を実行する（Ｓ１３２）。
【0104】
例えば、いずれかの投影用紙ｐ１が破られた場合（以下「ジェスチャＡ」という。）、当該投影用紙ｐ１の紙領域情報と、当該投影用紙ｐ１が破られたことを示す情報とを含むジェスチャ情報が受信される。この場合、ジェスチャ処理部１８は、ステップＳ１３２において、当該紙領域情報に関連付けられているページ画像データを削除する。したがって、その後に保存が指示された場合、当該ページ画像データに係るページが除去された状態で、当該ページ画像データに対応する投影対象ファイルが保存される。なお、当該投影用紙ｐ１が破られることにより、当該投影用紙ｐ１は、投影範囲Ａ１から除去される。したがって、この場合、当該投影用紙ｐ１について除去されたことを示す紙領域情報が受信され（Ｓ１０１でＹｅｓ）、当該紙領域情報が紙領域情報記憶部１１１から削除された後で、ステップＳ１１２が実行される。したがって、当該投影用紙ｐ１に対してページ画像データが投影されない投影画像データが生成される。
【0105】
また、或るユーザに正対していた投影用紙ｐ１が、投影範囲Ａ１上を移動して向かいのユーザに手渡された場合（以下「ジェスチャＢ」という。）、当該投影用紙ｐ１の紙領域情報と、当該投影用紙ｐ１が手渡されたことを示す情報とを含むジェスチャ情報が受信される。この場合、ジェスチャ処理部１８は、ステップＳ１３２において、当該紙領域情報の回転角度を１８０度変更する。したがって、この場合、続けて実行されるステップＳ１１２では、当該投影用紙ｐ１に対するページ画像データが、当該向かいのユーザに正対するように反転された投影画像データが生成される。なお、当該投影用紙ｐ１の移動に伴って、既に、当該投影用紙ｐ１に関して紙領域情報記憶部１１１に記憶されている紙領域情報の位置情報は、移動後の状態に更新されているため（Ｓ１０２）、ステップＳ１３２では、当該紙領域情報の位置情報の更新は行われなくてもよい。
【0106】
また、いずれかの投影用紙ｐ１が持ち上げられた場合（以下「ジェスチャＣ」という。）、当該投影用紙ｐ１が持ち上げられる前の紙領域情報と、当該投影用紙ｐ１が持ち上げられたことを示す情報とを含むジェスチャ情報が受信される。この場合、ジェスチャ処理部１８は、ステップＳ１３２において、紙領域情報記憶部１１１に記憶されている当該紙領域情報に対して、持ち上げられたことを示すフラグ情報を付与する。その結果、生成部１４は、図１５のステップＳ３０３において、当該フラグ情報が付与されている紙領域情報に対応するページ画像データを当該紙領域情報が示す紙領域からはみ出すように拡大して投影画像データに重畳する。この際、持ち上げられた高さ、又は持ち上げられた投影用紙ｐ１と持ち上げたユーザの顔（又は目）との距離に応じて拡大の程度が変えられてもよい。この場合、当該高さ又は距離等がジェスチャ情報に含まれればよい。
【0107】
また、いずれかの投影用紙ｐ１が長辺方向で半分に折られた後に開かれた（元に戻された）場合（例えば、横方向のＡ３の用紙がＡ４サイズになるように折られた後に開かれた場合）（以下「ジェスチャＤ」という。）、当該投影用紙ｐ１の元の（例えば、Ａ３の状態の）紙領域情報と、当該投影用紙ｐ１が一時的に半分に折られたことを示す情報とを含むジェスチャ情報が受信される。この場合、ジェスチャ処理部１８は、ステップＳ１３２において、紙領域情報記憶部１１１に記憶されている当該紙領域情報に対して、一時的に半分に折られたことを示す情報を付与する。生成部１４は、図１５のステップＳ３０３において、当該フラグ情報が付与されている紙領域情報が有る場合には、投影画像データにおいて当該紙領域情報が示す紙領域の左半分に当該紙領域情報に関連付けられている投影対象ページのページ画像データを重畳し、右半分に当該投影対象ページの次のページのページ画像データを重畳する。その結果、当該紙領域情報に対応する投影用紙ｐ１には、２つのページが集約されて投影されるようになる。
【0108】
また、それぞれが異なるページ画像データが投影されている複数の投影用紙ｐ１が束ねられた場合（例えば、各投影用紙ｐ１が重ねられた後で、各投影用紙ｐ１が略垂直方向に持ち上げられて、トントンと投影範囲Ａ１が形成されている机上等において揃えられた場合）（以下「ジェスチャＥ」という。）、当該複数の投影用紙ｐ１のそれぞれの紙領域情報の重なり順と、該複数の投影用紙ｐ１が束ねられたことを示す情報とを含むジェスチャ情報が受信される。この場合、ジェスチャ処理部１８は、ステップＳ１３２において、当該ジェスチャ情報に含まれる複数の紙領域情報のそれぞれに対応するページ画像データが、当該ジェスチャ情報に含まれる重なり順のページで配列された新たなファイルを生成し、当該ファイルを例えば、補助記憶装置１０２に保存する。
【0109】
図２０は、第３の実施の形態において紙投影装置２０が実行する処理手順の一例を説明するためのフローチャートである。図２０中、図１６と同一ステップには同一ステップ番号を付し、その説明は省略する。図２０では、ステップＳ４１１及びＳ４１２が追加されている。
【0110】
ジェスチャ検出部２５は、ジェスチャＡ～ジェスチャＥのいずれかの条件を満たすジェスチャ（投影用紙ｐ１に対するユーザの動作）を検出すると（Ｓ４１１でＹｅｓ）、ジェスチャの対象とされた投影用紙ｐ１の紙領域情報と、ジェスチャの内容（ジェスチャＡ～ジェスチャＥの種別）を示す情報とを含むジェスチャ情報を情報処理装置１０へ送信する（Ｓ４１２）。
【0111】
なお、第３の実施の形態は、第２の実施の形態と組み合わされてもよい。
【0112】
また、上記各実施の形態において、投影用紙ｐ１の捲りや角の折り等についても、赤外線投光器２０６及び赤外線カメラ２０７ではなく、モーションセンサ等を用いたジェスチャの検知に基づいて検出されてもよい。
【0113】
また、投影範囲Ａ１における紙領域についても、赤外線投光器２０６及び赤外線カメラ２０７ではなく、通常のデジタルカメラを用いて検出されてもよい。
【0114】
また、上記各実施の形態において、情報処理装置１０は、インターネット等を介して紙投影装置２０に接続されてもよい。例えば、情報処理装置１０は、クラウドシステムを構成するコンピュータであってもよい。この場合、投影対象ファイルの選択は、情報処理装置１０にインターネット等を介して接続される端末においてブラウザ等を用いて行われてもよい。
【0115】
また、紙投影装置２０が、図６又は図１８における情報処理装置１０の機能の全てを有してよい。例えば、図６又は図１８における情報処理装置１０の各部として情報処理装置１０を機能させるプログラムが紙投影装置２０にインストールされてもよいし、紙投影装置２０の筐体内に情報処理装置１０が含まれるようにしてもよい。
【0116】
また、紙投影装置２０は、赤外線投光器２０６及び赤外線カメラ２０７を有さずに、赤外線投光器２０６及び赤外線カメラ２０７を有する別の装置が、紙投影装置２０と通信回線を介して接続されるようにしてもよい。この場合、紙投影装置２０は、図６又は図１８における画像受信部２１及び投影制御部２２を有し、当該別の装置が、図６又は図１８における紙検出部２３、描画検出部２４及びジェスチャ検出部２５を有してもよい。
【0117】
また、上記各実施の形態では、投影先のシート媒体が紙である例について説明したが、「シート」、「フィルム」等の紙以外の媒体であって画像を投影可能な領域を有する媒体に関して上記各実施の形態が適用されてもよい。この際、当該媒体として、シート状の媒体（例えば、机上等において平面的に載置可能な媒体）が好適である。
【0118】
なお、上記で説明した実施形態の各機能は、一又は複数の処理回路によって実現することが可能である。ここで、本明細書における「処理回路」とは、電子回路により実装されるプロセッサのようにソフトウェアによって各機能を実行するようプログラミングされたプロセッサや、上記で説明した各機能を実行するよう設計されたASIC(Application Specific Integrated Circuit)、DSP（digital signal processor）、FPGA（field programmable gate array）や従来の回路モジュール等のデバイスを含むものとする。
【0119】
なお、上記各実施の形態において、データ操作支援システム１は、情報処理システムの一例である。描画処理部１７は、更新部の一例である。ジェスチャ検出部２５は、動作検出部の一例である。ジェスチャ処理部１８は、処理実行部の一例である。紙情報受信部１６は、取得部の一例である。紙検出部２３は、媒体検出部の一例である。
【0120】
以上、本発明の実施の形態について詳述したが、本発明は斯かる特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。
【符号の説明】
【0121】
１０ 情報処理装置
１１ 選択部
１２ 変換部
１３ 切替部
１４ 生成部
１５ 画像送信部
１６ 紙情報受信部
１７ 描画処理部
１８ ジェスチャ処理部
２０ 紙投影装置
２１ 画像受信部
２２ 投影制御部
２３ 紙検出部
２４ 描画検出部
２５ ジェスチャ検出部
１００ ドライブ装置
１０１ 記録媒体
１０２ 補助記憶装置
１０３ メモリ装置
１０４ ＣＰＵ
１０５ インタフェース装置
１１１ 紙領域情報記憶部
２０１ 補助記憶装置
２０２ メモリ装置
２０３ ＣＰＵ
２０４ インタフェース装置
２０５ プロジェクタ
２０６ 赤外線投光器
２０７ 赤外線カメラ
Ｂ バス
１１ 選択部
１２ 変換部
１３ 切替部
１４ 生成部
１５ 画像送信部
１６ 紙情報受信部
１７ 描画処理部
１８ ジェスチャ処理部
２０ 紙投影装置
２１ 画像受信部
２２ 投影制御部
２３ 紙検出部
２４ 描画検出部
２５ ジェスチャ検出部
１００ ドライブ装置
１０１ 記録媒体
１０２ 補助記憶装置
１０３ メモリ装置
１０４ ＣＰＵ
１０５ インタフェース装置
１１１ 紙領域情報記憶部
２０１ 補助記憶装置
２０２ メモリ装置
２０３ ＣＰＵ
２０４ インタフェース装置
２０５ プロジェクタ
２０６ 赤外線投光器
２０７ 赤外線カメラ
Ｂ バス
【先行技術文献】
【特許文献】
【0122】
【文献】特開２０１６－７６２３４号公報
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】