特許 6663105 投影装置、投影プログラムおよび投影方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6663105

(24)【登録日】2020年2月18日

(45)【発行日】2020年3月11日

(54)【発明の名称】投影装置、投影プログラムおよび投影方法

(51)【国際特許分類】

   H04N 5/74 20060101AFI20200227BHJP

【ＦＩ】

   H04N5/74 Z

【請求項の数】8

【全頁数】13

(21)【出願番号】特願2016-1166(P2016-1166)

(22)【出願日】2016年1月6日

(65)【公開番号】特開2017-123541(P2017-123541A)

(43)【公開日】2017年7月13日

【審査請求日】2018年11月29日

(73)【特許権者】

【識別番号】518133201

【氏名又は名称】富士通クライアントコンピューティング株式会社

(74)【代理人】

【識別番号】110002918

【氏名又は名称】特許業務法人扶桑国際特許事務所

(72)【発明者】

【氏名】徳田 明央

【審査官】 益戸 宏

(56)【参考文献】

【文献】 特開２０１３−２５４４３７（ＪＰ，Ａ）

【文献】 特開２０１５−０１１５８６（ＪＰ，Ａ）

【文献】 特開２０１５−１８０９８８（ＪＰ，Ａ）

【文献】 特開２０１５−１９１３８２（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ ５／７４

Ｇ０６Ｆ ３／００

Ｇ０９Ｇ ５／００

(57)【特許請求の範囲】

【請求項1】

書類の種類を特定し、該書類と、該書類で記入されるべき箇所の位置と、該書類で所定の事項が記載されている箇所の位置とを関連付けて持つテーブルを参照して、該書類に重畳して、前記記入されるべき箇所の位置を示す第１のマーカと、前記所定の事項が記載されている箇所の位置を示す第２のマーカとを表示する手段と、
前記記入されるべき箇所に記入が行われたと判断すると、前記第１のマーカを消す手段と、
を備えたことを特徴とする投影装置。

【請求項2】

前記記入されるべき箇所に画像が追加されたことを検出した場合に記入が行われたと判断する、
ことを特徴とする請求項１に記載の投影装置。

【請求項3】

前記第１のマーカに関連付けて、記入を促す情報を表示し、
前記第１のマーカの表示を消す際に前記記入を促す情報の表示を消す、
ことを特徴とする請求項１または２に記載の投影装置。

【請求項4】

前記書類を撮像するカメラの撮像画像を解析して該書類の特徴点を抽出し、該特徴点に基づいて書類を特定する、
ことを特徴とする請求項１乃至３のいずれか一項に記載の投影装置。

【請求項5】

前記第１のマーカまたは前記第２のマーカに対応するボタンを表示し、前記ボタンの選択を検出すると、前記ボタンと付加情報との対応関係を示す情報を参照して、前記ボタンに対応する前記付加情報を表示する、
ことを特徴とする請求項１乃至４のいずれか一項に記載の投影装置。

【請求項6】

前記テーブルでは、前記記入されるべき箇所の位置と、前記所定の事項が記載されている箇所の位置とには、初期状態から前記第１のマーカまたは前記第２のマーカを表示する場合にフラグが設定され、
書類の種類を特定し、前記テーブルを参照して、前記フラグが設定されている前記記入されるべき箇所を示す前記第１のマーカと、前記フラグが設定されている前記所定の事項が記載されている箇所の位置を示す前記第２のマーカとを表示し、所定の操作が検出されると、前記フラグが設定されていない前記記入されるべき箇所を示す前記第１のマーカと、前記フラグが設定されていない前記所定の事項が記載されている箇所の位置を示す前記第２のマーカとを表示する、
ことを特徴とする請求項１乃至５のいずれか一項に記載の投影装置。

【請求項7】

書類の種類を特定し、該書類と、該書類で記入されるべき箇所の位置と、該書類で所定の事項が記載されている箇所の位置とを関連付けて持つテーブルを参照して、該書類に重畳して、前記記入されるべき箇所の位置を示す第１のマーカと、前記所定の事項が記載されている箇所の位置を示す第２のマーカとを表示し、
前記記入されるべき箇所に記入が行われたと判断すると、前記第１のマーカの表示を消す、
処理をコンピュータに実行させることを特徴とする投影プログラム。

【請求項8】

書類の種類を特定し、該書類と、該書類で記入されるべき箇所の位置と、該書類で所定の事項が記載されている箇所の位置とを関連付けて持つテーブルを参照して、該書類に重畳して、前記記入されるべき箇所の位置を示す第１のマーカと、前記所定の事項が記載されている箇所の位置を示す第２のマーカとを表示し、
前記記入されるべき箇所に記入が行われたと判断すると、前記第１のマーカの表示を消す、
処理をコンピュータが実行することを特徴とする投影方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、投影装置、投影プログラムおよび投影方法に関する。

【背景技術】

【0002】

昨今は書類や書物の電子化が進み、紙に記載された書類（以下、紙資料）等は少なくなっているが、依然、金融・保険、売買をはじめとした商業活動での契約締結等の作業では、契約書や同意書、約款等は未だに紙資料にて運用されていることが多い。

【0003】

こうした紙資料を必要とする商業活動等において、必要事項の記入が行われるべき記入欄に記入漏れがあると事後の処理を円滑に進められなくなるため、契約締結等にむけた事業者側の担当者は、契約を結ぶ顧客等に対し記入欄への記入を促し、記入漏れがないことを確認する必要がある。

【0004】

一方、光タッチ・フォイルを用い、物理的な文書上に重ねて電子文書を表示する技術が提案されている（特許文献１等を参照）。

【先行技術文献】

【特許文献】

【0005】

【特許文献1】特表２００５−５０９９４８号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

上述した紙資料の記入欄の記入漏れの確認の精度は、担当者の経験や注意力に依存するところが多く、経験の浅い担当者であったり、業務が多忙であったりした場合には、記入漏れが見落とされやすいという問題があった。

【0007】

そこで、開示の形態は、一側面では、紙資料における未記入の箇所の目視確認を容易にすることを目的とする。

【課題を解決するための手段】

【0008】

開示の形態は、書類の種類を特定し、該書類と該書類で記入されるべき箇所の位置を関連付けて持つテーブルを参照して、該書類に重畳して、記入されるべき箇所の位置を示すマーカを表示する手段と、前記記入されるべき箇所に記入が行われたと判断すると、該記入が行われた箇所に関連して表示したマーカの表示を消す手段と、を備える。

【発明の効果】

【0009】

開示の形態は、紙資料における未記入の箇所の目視確認を容易にすることができる。

【図面の簡単な説明】

【0010】

【図1】一実施形態にかかる投影装置のハードウェア構成例を示す図である。

【図2】ステレオカメラ、キャプチャカメラおよびプロジェクタの配置例を示す図である。

【図3】投影装置の機能構成例を示す図である。

【図4】書類識別ＤＢ、ハイライト部座標ＤＢ、指示情報ＤＢおよび付加情報ＤＢのデータ構造と相互の関係の例を示す図である。

【図5】事前設定の処理例を示すフローチャートである。

【図6】運用時の処理例を示すフローチャートである。

【図7】書類と書類上に重畳された表示の例を示す図である。

【図8】付加情報の表示の例を示す図である。

【図9】押印の作業指示の表示と押印による表示消去の例を示す図である。

【発明を実施するための形態】

【0011】

以下、本発明の好適な実施形態につき説明する。

【0012】

＜構成＞
図１は一実施形態にかかる投影装置１００のハードウェア構成例を示す図である。図１において、投影装置１００は、ステレオカメラ１とキャプチャカメラ２とプロジェクタ３と制御部４と文字入力装置５とを備えている。文字入力装置５は省略することもできる。ステレオカメラ１は、２個のカメラを備え、それらの撮像画像のずれ量により被写体までの距離が計測可能なカメラであり、主にユーザの指の３次元的な位置を検出するために用いられる。キャプチャカメラ２は、主に書類の撮像に用いられるカメラである。プロジェクタ３は、書類や書類が置かれた机の上にハイライト表示等のマーカや説明文等の各種の画像を投影するものである。

【0013】

制御部４は、投影装置１００の全体的な制御を行う部分であり、一般的なＰＣ(Personal Computer)の構成要素を備えている。すなわち、制御部４は、ＢＵＳ４１を介して相互に接続された、ＣＰＵ（Central Processing Unit）４２とＲＡＭ（Random Access Memory）４３とＲＯＭ（Read Only Memory）４４とＩ／Ｆ（Interface）４５とＨＤＤ／ＳＳＤ（Hard Disk Drive/Solid State Drive）４６とを備えている。ＣＰＵ４２は、ＲＡＭ４３をワークエリアとしてＲＯＭ４４またはＨＤＤ／ＳＳＤ４６等に格納されたプログラムを実行することで、投影装置１００の動作を統括的に制御する。Ｉ／Ｆ４５は、投影装置１００の内部または外部に接続される機器とのインタフェースである。内部または外部に接続される機器としては、前述したステレオカメラ１、キャプチャカメラ２、プロジェクタ３および文字入力装置５等がある。文字入力装置５は、キーボード等の、文字を入力するためのデバイスである。

【0014】

図２はステレオカメラ１、キャプチャカメラ２およびプロジェクタ３の配置例を示す図である。図２において、ステレオカメラ１およびキャプチャカメラ２の視野（画角）と、プロジェクタ３の投影範囲は、机６の上の書類７が載置されることが予定される所定の範囲をカバーするものとなっている。

【0015】

図３は投影装置１００の機能構成例を示す図である。図３において、投影装置１００は、ＯＳ（Operating System）４０１と画像解析部４０２と指位置解析部４０３と画像表示部４０４とを備えている。また、投影装置１００は、書類識別部４０５と指操作解析部４０６と表示画像作成部４０７とデータ管理部４０８とを備えている。これらの部分は、図１に示したＣＰＵ４２において所定のプログラムが実行されることで実現される。プログラムは、記録媒体を経由して取得されるものでもよいし、ネットワークを経由して取得されるものでもよいし、ＲＯＭ組込でもよい。

【0016】

また、処理に際して設定・参照される情報を保持する部分として、書類識別ＤＢ（Data Base）４１１とハイライト部座標ＤＢ４１２と指示情報ＤＢ４１３と付加情報ＤＢ４１４とが設けられている。書類識別ＤＢ４１１は、顧客と契約を結ぶ等の運用時において、投影装置１００の視野内に置かれた書類（書類の種別）を識別するための情報を保持するものである。ハイライト部座標ＤＢ４１２は、識別された書類にハイライト（マーカ）を表示（投影）すべき部分の座標等の情報を保持するものである。指示情報ＤＢ４１３は、ハイライトと関連付けて表示する指示情報を保持するものである。付加情報ＤＢ４１４は、指示情報に含まれるボタン等が選択されたことに応じて表示する付加情報を保持するものである。これらのＤＢは図１に示したＨＤＤ／ＳＳＤ４６やＲＡＭ４３上の記憶領域に保持される。

【0017】

ＯＳ４０１は、コンピュータとしての基本的な機能を提供する基本ソフトウェアである。画像解析部４０２は、主としてキャプチャカメラ２から取得した撮像画像を解析し、書類のエッジの抽出、書類の記載内容のＯＣＲ（Optical Character Recognition）等による認識等を行う機能を有している。指位置解析部４０３は、主としてステレオカメラ１から取得した撮像画像を解析し、ユーザの指の３次元的な位置を認識する機能を有している。画像表示部４０４は、プロジェクタ３に画像信号を与えて投影により画像を表示する機能を有している。

【0018】

書類識別部４０５は、画像解析部４０２の解析結果に基づき、書類識別ＤＢ４１１を参照して、書類から抽出された特徴点に基づいて書類を特定する機能を有している。指操作解析部４０６は、指位置解析部４０３の解析結果に基づき、指によるタップやドラッグ等の操作を認識する機能を有している。

【0019】

表示画像作成部４０７は、書類識別部４０５により特定された書類に応じたハイライト部と指示情報をハイライト部座標ＤＢ４１２と指示情報ＤＢ４１３から取得し、画像解析部４０２により認識された書類の位置に合わせた表示（投影）のための画像を生成する機能を有している。また、表示画像作成部４０７は、指操作解析部４０６により認識されたユーザの操作に応じ、付加情報を付加情報ＤＢ４１４から取得して表示のための画像を生成する機能を有している。更に、表示画像作成部４０７は、サインや押印等を行うべき記入欄への記入を促す画像を生成するとともに、記入が行われたことを検出した場合に記入を促す画像を消す機能を有している。

【0020】

データ管理部４０８は、事前設定のフェーズにおいて、画像解析部４０２の解析結果と指操作解析部４０６により認識されたユーザの操作に応じて、書類識別ＤＢ４１１、ハイライト部座標ＤＢ４１２、指示情報ＤＢ４１３および付加情報ＤＢ４１４にデータを設定する機能を有している。この際、データ管理部４０８は、画像表示部４０４に操作をガイドするための画像を提供して表示（投影）するようにしてもよい。

【0021】

図４は書類識別ＤＢ４１１、ハイライト部座標ＤＢ４１２、指示情報ＤＢ４１３および付加情報ＤＢ４１４のデータ構造と相互の関係の例を示す図である。図４において、書類識別ＤＢ４１１は、「特徴点」と「書類」の項目を有している。「特徴点」は、書類のタイトル等の記載内容や記載位置により書類を特徴付ける情報である。記載位置は、書類の一隅（例えば、左上隅等）を原点とした相対位置である。なお、「特徴点」は複数の特徴点の情報を含むことができる（例えば、書類のタイトルとヴァージョンで書類を特定する場合等）。「書類」は、「特徴点」により特定される書類の識別子である。

【0022】

ハイライト部座標ＤＢ４１２は、書類識別ＤＢ４１１の「書類」を介してリンクされる個別の領域を有しており、それぞれの領域は、「ポイント」「座標数」「座標」「初期」「記入」「指示情報」の項目を有している。「ポイント」は、ハイライト部（マーカを付す部分）の識別子である。ポイントは、顧客等に対して十分な説明が必要と考えられる重要事項に対応する。「座標数」は、該ポイントに含まれる座標（座標範囲）の個数である。記載内容が複数の行に渡る等により連続してハイライトを付せない場合は「２」以上となる。「座標」は、ハイライト部の座標範囲であり、「座標数」に応じて座標範囲が設けられる。座標範囲は、書類の一隅（例えば、左上隅等）を原点とした相対座標である。「初期」は、書類の特定後の初期状態から表示する対象であるか否かを示すフラグである。「記入」は、該ポイントにサインや押印をすべき記入欄が含まれるか否かを示すフラグである。「指示情報」は、該ポイントに対応して表示される指示情報の識別子である。

【0023】

指示情報ＤＢ４１３は、「指示情報」「位置」「内容」の項目を有している。「指示情報」は、指示情報の識別子であり、ハイライト部座標ＤＢ４１２の「指示情報」からリンクされる。書類が異なっても個々の指示情報としては同じ内容のものが存在することが多いため、複数の書類からリンクが行えるようになっている。「位置」は、指示情報を表示する、ポイントの位置に対する相対位置である。「内容」は、指示情報の内容であり、テキスト、図形、ボタンを含む。

【0024】

付加情報ＤＢ４１４は、「付加情報」「位置」「内容」の項目を有している。「付加情報」は、付加情報の識別子であり、ここではボタンの識別子を示しており、指示情報ＤＢ４１３の「内容」に含まれるボタンからリンクされる。「位置」は、付加情報を表示する相対位置である。「内容」は、付加情報の内容であり、テキストや図形を含む。

【0025】

＜動作＞
［事前設定］
図５は事前設定の処理例を示すフローチャートである。プロジェクタ３により机６の上に表示される基本的なメニューに対するユーザの指による操作や文字入力装置５等に対する操作により事前設定のモードに入ることができる。

【0026】

図５において、画像解析部４０２と指位置解析部４０３は、キャプチャカメラ２とステレオカメラ１から撮像画像を取得し（ステップＳ１１）、画像解析部４０２は画像解析を行い、指位置解析部４０３は指位置解析を行い、指操作解析部４０６は指操作解析を行う（ステップＳ１２）。これらの処理は繰り返し行われる。

【0027】

一方、画像解析（ステップＳ１２）において書類が検出された場合（ステップＳ１３のＹｅｓ）、データ管理部４０８は、自動的にまたはユーザの操作に応じ、書類識別データを書類識別ＤＢ４１１に設定する（ステップＳ１４）。例えば、書類を特定するためのタイトル等が用紙上の所定位置に固定される場合は、自動的に特徴点の抽出を行い、ユニークな書類の識別子を発行し、書類識別ＤＢ４１１に設定する。また、書類から抽出された複数の特徴点の候補をユーザに提示し、ユーザにより選択された特徴点に識別子を付与して書類識別ＤＢ４１１に設定してもよい。

【0028】

次いで、データ管理部４０８は、ユーザの操作に応じ、ハイライト部座標データをハイライト部座標ＤＢ４１２に設定する（ステップＳ１５）。例えば、画像解析により認識されている書類上の記載部分について、ポイントごとにユーザが指で指定した範囲を受け付けることでハイライト表示する座標範囲を取得する。また、初期状態から表示する対象であるか、記入欄が含まれるかを表示（投影）によるユーザインタフェースまたは文字入力装置５から入力する。更に、そのポイントに対応する指示情報が新規のものであれば指示情報のユニークな識別子を発行し、既存のものであればユーザに指示情報の候補を提示して指定を受け付け、それらをハイライト部座標ＤＢ４１２に設定する。

【0029】

次いで、データ管理部４０８は、ユーザの操作に応じ、新規の指示情報と付加情報のデータを指示情報ＤＢ４１３と付加情報ＤＢ４１４に設定する（ステップＳ１６）。例えば、ハイライト部座標ＤＢ４１２で発行された指示情報の識別子に対し、指示情報を表示する位置の指定を受け付け、内容の入力を受け付けて、指示情報ＤＢ４１３に設定する。また、指示情報に含まれるボタンに対し、付加情報を表示する位置の指定を受け付け、内容の入力を受け付けて、付加情報ＤＢ４１４に設定する。

【0030】

複数の書類について事前設定を行う場合は、上記の処理（ステップＳ１３〜Ｓ１６）を繰り返す。

【0031】

［運用時］
図６は運用時の処理例を示すフローチャートである。プロジェクタ３により机６の上に表示される基本的なメニューに対するユーザの指による操作や文字入力装置５等に対する操作により運用のモードに入ることができる。

【0032】

図６において、画像解析部４０２と指位置解析部４０３は、キャプチャカメラ２とステレオカメラ１から撮像画像を取得し（ステップＳ２０１）、画像解析部４０２は画像解析を行い、指位置解析部４０３は指位置解析を行い、指操作解析部４０６は指操作解析を行う（ステップＳ２０２）。これらの処理は繰り返し行われる。

【0033】

一方、画像解析（ステップＳ２０２）において書類が検出された場合（ステップＳ２０３のＹｅｓ）、書類識別部４０５は、画像解析で抽出された特徴点に書類識別ＤＢ４１１に設定されたいずれかの特徴点が存在するか否かを照合することで、書類を特定する（ステップＳ２０４）。

【0034】

次いで、表示画像作成部４０７は、書類識別部４０５により特定された書類に対して、ハイライト部座標ＤＢ４１２において初期状態から表示するものとされているハイライトと指示情報の表示画像を生成し、画像表示部４０４に与えて表示（投影）を行う（ステップＳ２０５）。図７は書類と書類上に重畳された表示の例を示す図である。この例では、「○○契約書」というタイトルの書類７に対し、記載内容の「・・・の場合、・・・できません。」と「・・・場合があります。」の部分に網かけで示すハイライト表示が行われるとともに、２箇所の「・・・の場合」について、囲み枠と引き出し線を伴って「事例解説」のボタンの画像が表示されている。

【0035】

次いで、図６に戻り、指操作解析（ステップＳ２０２）においてボタンの選択が検出された場合（ステップＳ２０６のＹｅｓ）、表示画像作成部４０７は選択されたボタンに対応する付加情報を付加情報ＤＢ４１４から取得して付加情報の表示画像を生成し、画像表示部４０４に与えて表示（投影）を行う（ステップＳ２０７）。図８は付加情報の表示の例を示す図であり、書類７の記載内容「・・・の場合」に対応する「事例解説」のボタンが選択されたことで、「お客様が故意に・・・・場合。・・・・・・場合。本製品が・・・・された場合。」という付加情報が表示されている。付加情報は、いったん表示された後は該書類の処理終了まで表示を続けるようにしてもよいし、所定時間の経過により表示が消えるようにしてもよいし、「事例解説」のボタンを「表示を消す」等に変え、そのボタンが選択された場合に表示を消すようにしてもよい。

【0036】

次いで、図６に戻り、理解完了が検出された場合（ステップＳ２０８のＹｅｓ）、以下の処理を行う。なお、理解完了は、最後の重要項目等の指示情報に含められた理解完了のボタンが担当者により選択されたことで検出してもよいし、文字入力装置５により所定のキー操作が行われたことで検出してもよい。

【0037】

理解完了が検出された場合の処理として、表示画像作成部４０７は、ハイライト部座標ＤＢ４１２において初期状態から表示するもの以外のポイントについて、ハイライトと指示情報の表示画像を生成し、画像表示部４０４に与えて表示（投影）を行う（ステップＳ２０９）。

【0038】

次いで、表示画像作成部４０７は、記入欄の含まれるポイントについて、記入が検出されたか判断する（ステップＳ２１０）。ここで、記入の検出は、空欄であった部分にサインまたは押印による画像の変化があったか否かで判断することを想定しているが、記入された内容がサインまたは印影であるかを画像解析により厳密に判断してもよい。

【0039】

記入が検出されたと判断した場合（ステップＳ２１０のＹｅｓ）、表示画像作成部４０７は、記入欄に対応するハイライト表示と指示情報の画像を消去し、その画像の表示を消す（ステップＳ２１１）。

【0040】

図９は押印の作業指示の表示と押印による表示消去の例を示す図である。図９（ａ）は押印が行われるべき記入欄（押印欄）に網かけで示されるハイライト表示が行われるとともに、「契約書内容に同意いただける場合、こちらに押印をお願いします。」という指示情報による注意書きが表示されている状態を示している。図９（ｂ）は、図９（ａ）の記入欄（押印欄）に押印が行われたことが検出され、ハイライト表示と注意書きの表示が消された状態を示している。

【0041】

次いで、図６に戻り、現時点の書類について全ての作業が終了していない場合（ステップＳ２１２のＮｏ）は記入欄の記入検出（ステップＳ２１０）に戻り、全ての作業が終了した場合（ステップＳ２１２のＹｅｓ）は次の書類の検出を待機する（ステップＳ２０３）。

【0042】

＜総括＞
以上説明したように、本実施形態によれば、紙資料における未記入の箇所の目視確認を容易にすることができる。

【0043】

以上、好適な実施の形態により説明した。ここでは特定の具体例を示して説明したが、特許請求の範囲に定義された広範な趣旨および範囲から逸脱することなく、これら具体例に様々な修正および変更を加えることができることは明らかである。すなわち、具体例の詳細および添付の図面により限定されるものと解釈してはならない。

【0044】

以上の説明に関し、更に以下の項を開示する。
（付記１）
書類の種類を特定し、該書類と該書類で記入されるべき箇所の位置を関連付けて持つテーブルを参照して、該書類に重畳して、記入されるべき箇所の位置を示すマーカを表示する手段と、
前記記入されるべき箇所に記入が行われたと判断すると、該記入が行われた箇所に関連して表示したマーカの表示を消す手段と、
を備えたことを特徴とする投影装置。
（付記２）
前記記入されるべき箇所に画像が追加されたことを検出した場合に記入が行われたと判断する、
ことを特徴とする付記１に記載の投影装置。
（付記３）
前記マーカに関連付けて、記入を促す情報を表示し、
前記マーカの表示を消す際に前記記入を促す情報の表示を消す、
ことを特徴とする付記１または２に記載の投影装置。
（付記４）
前記書類を撮像するカメラの撮像画像を解析して該書類の特徴点し、該特徴点に基づいて書類を特定する、
ことを特徴とする付記１乃至３のいずれか一項に記載の投影装置。
（付記５）
書類の種類を特定し、該書類と該書類で記入されるべき箇所の位置を関連付けて持つテーブルを参照して、該書類に重畳して、記入されるべき箇所の位置を示すマーカを表示し、
前記記入されるべき箇所に記入が行われたと判断すると、該記入が行われた箇所に関連して表示したマーカの表示を消す、
処理をコンピュータに実行させることを特徴とする投影プログラム。
（付記６）
前記記入されるべき箇所に画像が追加されたことを検出した場合に記入が行われたと判断する、
ことを特徴とする付記５に記載の投影プログラム。
（付記７）
前記マーカに関連付けて、記入を促す情報を表示し、
前記マーカの表示を消す際に前記記入を促す情報の表示を消す、
ことを特徴とする付記５または６に記載の投影プログラム。
（付記８）
前記書類を撮像するカメラの撮像画像を解析して該書類の特徴点し、該特徴点に基づいて書類を特定する、
ことを特徴とする付記５乃至７のいずれか一項に記載の投影プログラム。
（付記９）
書類の種類を特定し、該書類と該書類で記入されるべき箇所の位置を関連付けて持つテーブルを参照して、該書類に重畳して、記入されるべき箇所の位置を示すマーカを表示し、
前記記入されるべき箇所に記入が行われたと判断すると、該記入が行われた箇所に関連して表示したマーカの表示を消す、
処理をコンピュータが実行することを特徴とする投影方法。
（付記１０）
前記記入されるべき箇所に画像が追加されたことを検出した場合に記入が行われたと判断する、
ことを特徴とする付記９に記載の投影方法。
（付記１１）
前記マーカに関連付けて、記入を促す情報を表示し、
前記マーカの表示を消す際に前記記入を促す情報の表示を消す、
ことを特徴とする付記９または１０に記載の投影方法。
（付記１２）
前記書類を撮像するカメラの撮像画像を解析して該書類の特徴点し、該特徴点に基づいて書類を特定する、
ことを特徴とする付記９乃至１１のいずれか一項に記載の投影方法。

【符号の説明】

【0045】

１００ 投影装置
１ ステレオカメラ
２ キャプチャカメラ
３ プロジェクタ
４ 制御部
４１ ＢＵＳ
４２ ＣＰＵ
４３ ＲＡＭ
４４ ＲＯＭ
４５ Ｉ／Ｆ
４６ ＨＤＤ／ＳＳＤ
４０１ ＯＳ
４０２ 画像解析部
４０３ 指位置解析部
４０４ 画像表示部
４０５ 書類識別部
４０６ 指操作解析部
４０７ 表示画像作成部
４０８ データ管理部
４１１ 書類識別ＤＢ
４１２ ハイライト部座標ＤＢ
４１３ 指示情報ＤＢ
４１４ 付加情報ＤＢ
５ 文字入力装置
６ 机
７ 書類

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】