特許 7398945 拡張現実の文書編集方法、プログラム及びシステム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-12-07

(45)【発行日】2023-12-15

(54)【発明の名称】拡張現実の文書編集方法、プログラム及びシステム

(51)【国際特許分類】

   G06F 40/166 20200101AFI20231208BHJP

【ＦＩ】

G06F40/166

【請求項の数】 20

【外国語出願】

(21)【出願番号】P 2019226299

(22)【出願日】2019-12-16

(65)【公開番号】P2020115327

(43)【公開日】2020-07-30

【審査請求日】2022-06-17

(31)【優先権主張番号】16/234,071

(32)【優先日】2018-12-27

(33)【優先権主張国・地域又は機関】US

(73)【特許権者】

【識別番号】519448326

【氏名又は名称】コニカ ミノルタ ビジネス ソリューションズ ユー．エス．エー．， インコーポレイテッド

(74)【代理人】

【識別番号】110001254

【氏名又は名称】弁理士法人光陽国際特許事務所

(72)【発明者】

【氏名】テック， カーク スティーブン

【審査官】長 由紀子

(56)【参考文献】

【文献】特開２００６－３１８４６３（ＪＰ，Ａ）

【文献】特開２０１１－０９７１９５（ＪＰ，Ａ）

【文献】特開２００４－１５７８７３（ＪＰ，Ａ）

【文献】特開２０１３－１６４６５２（ＪＰ，Ａ）

【文献】特開２００４－２６０７５０（ＪＰ，Ａ）

【文献】特開２０１２－２２１２１０（ＪＰ，Ａ）

【文献】特開平０９－３１９５５６（ＪＰ，Ａ）

【文献】特開２０１８－１５６４５５（ＪＰ，Ａ）

【文献】特開２００９－２７１８４１（ＪＰ，Ａ）

【文献】米国特許第０９７６７５８５（ＵＳ，Ｂ１）

【文献】小林 元樹、小池 英樹，電子情報の表示と操作を実現する机型実世界指向インタフェース「ＥｎｈａｎｃｅｄＤｅｓｋ」 Retrieving and Manipulating Digital Information on EnhancedDesk，レクチャーノート／ソフトウェア学 １８ インタラクティブシステムとソフトウェアＶ 初版 ，日本，株式会社近代科学社，1997年12月20日，pp.167-174

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｆ ４０／００－５８

(57)【特許請求の範囲】

【請求項1】

物理的文書の画像を処理し、前記物理的文書の編集された箇所を見せる又は表示する方法であって、
前記物理的文書上において、前記編集された箇所と関連づけられ第一ユーザー権利を含むタグを識別する工程と、
識別された前記タグに基づき、前記編集された箇所の編集前の形態を含む前記物理的文書のデジタルコピーを取得する工程と、
前記物理的文書から所定距離内にある可搬装置より、第二ユーザー権利を受信する工程と、
前記第二ユーザー権利と前記第一ユーザー権利を比較し、前記第二ユーザー権利が前記第一ユーザー権利と一致することを判定する工程と、
編集後の形態と、前記判定に基づき、前記編集された箇所の前記編集前の形態を見せる又は表示することができることを示す情報と、を出力する工程と、
前記編集前の形態を見せる又は表示することができる場合、前記編集された箇所の前記編集前の形態を表示せよとの指示を受信する工程と、
前記指示に基づき、前記物理的文書から所定距離にある面に、プロジェクタを用いて、前記編集された箇所の前記編集前の形態を表示する工程と、を含む方法。

【請求項2】

前記タグを識別する工程は、
前記物理的文書を撮像し前記物理的文書の内容をデジタル化する工程と、
光学文字認識及び非テキスト内容分析を用いて、前記内容を分析する工程と、
前記分析された内容内の前記タグを識別する工程と、を更に含む請求項１に記載の方法。

【請求項3】

前記可搬装置から前記第二ユーザー権利を継続的に受信する工程と、
前記第二ユーザー権利の受信の停止が検出されたときは、前記編集された箇所の前記編集前の形態を表示することを停止する工程と、を更に含む請求項１又は２に記載の方法。

【請求項4】

前記編集された箇所の前記編集前の形態を表示せよとの前記指示は、継続的に受信され、
前記指示の受信の停止が検出されたときは、前記編集された箇所の前記編集前の形態を表示することを停止する工程を更に含む請求項１から３のいずれか一項に記載の方法。

【請求項5】

前記編集された箇所の前記編集前の形態を表示せよとの前記指示は、前記物理的文書を取り囲む拡張現実（ＡＲ）環境内に配置される仮想の入力手段に対してジェスチャーが継続的になされている間受信される請求項１から４のいずれか一項に記載の方法。

【請求項6】

前記物理的文書は更に、複数の前記編集された箇所を含み、
前記複数の編集された箇所はそれぞれ、前記第一ユーザー権利を含む前記タグを含み、
前記複数の編集された箇所の前記第一ユーザー権利はそれぞれ、異なるレベルの権利管理を含み、
前記第二ユーザー権利は、あるレベルの権利管理を含み、
前記複数の編集された箇所のうち、いずれかの箇所の前記編集前の形態を見せる又は表示するためには、前記第二ユーザー権利のあるレベルの権利管理は、前記第一ユーザー権利の前記レベルの権利管理と一致しなければならない請求項１から５のいずれか一項に記載の方法。

【請求項7】

前記物理的文書の前記デジタルコピーは、リモートサーバから取得される請求項１から６のいずれか一項に記載の方法。

【請求項8】

前記タグは、前記物理的文書の表面にある視覚的内容である請求項１から７のいずれか一項に記載の方法。

【請求項9】

前記第二ユーザー権利の情報は、前記可搬装置から近距離通信を用いて送信される請求項１から８のいずれか一項に記載の方法。

【請求項10】

前記物理的文書は、撮像装置及び前記プロジェクタを備えたインタラクティブキャプチャを伴う投影装置（ＰＩＣ装置）を用いて撮像される請求項１から９のいずれか一項に記載の方法。

【請求項11】

物理的文書の画像を処理し、前記物理的文書の編集された箇所を見せる又は表示するためのプログラムであって、
コンピュータに
前記物理的文書上において、前記編集された箇所と関連づけられ第一ユーザー権利を含むタグを識別させ、
識別された前記タグに基づき、前記編集された箇所の編集前の形態を含む前記物理的文書のデジタルコピーを取得させ、
前記物理的文書から所定距離内にある可搬装置より、第二ユーザー権利を受信させ、
前記第二ユーザー権利と前記第一ユーザー権利を比較させ、前記第二ユーザー権利が前記第一ユーザー権利と一致することを判定させ、
編集後の形態と、前記判定に基づき、前記編集された箇所の前記編集前の形態を見せる又は表示することができることを示す情報と、を出力させ、
前記編集前の形態を見せる又は表示することができる場合、前記編集された箇所の前記編集前の形態を表示せよとの指示を受信させ、
前記指示に基づき、前記物理的文書から所定距離にある面に、プロジェクタを用いて、前記編集された箇所の前記編集前の形態を表示させるプログラム。

【請求項12】

前記タグの識別は、
前記物理的文書を撮像し前記物理的文書の内容をデジタル化する工程と、
光学文字認識及び非テキスト内容分析を用いて、前記内容を分析する工程と、
前記分析された内容内の前記タグを識別する工程と、を更に含む請求項１１に記載のプログラム。

【請求項13】

前記可搬装置から前記第二ユーザー権利を継続的に受信させ、
前記第二ユーザー権利の受信の停止が検出されたときは、前記編集された箇所の前記編集前の形態を表示することを停止させる、請求項１１又は１２に記載のプログラム。

【請求項14】

前記編集された箇所の前記編集前の形態を表示せよとの前記指示は、継続的に受信され、
前記指示の受信の停止が検出されたときは、前記編集された箇所の前記編集前の形態を表示することを停止させる、請求項１１から１３のいずれか一項に記載のプログラム。

【請求項15】

前記物理的文書は更に、複数の前記編集された箇所を含み、
前記複数の編集された箇所はそれぞれ、前記第一ユーザー権利を含む前記タグを含み、
前記複数の編集された箇所の前記第一ユーザー権利はそれぞれ、異なるレベルの権利管理を含み、
前記第二ユーザー権利は、あるレベルの権利管理を含み、
前記複数の編集された箇所のうち、いずれかの箇所の前記編集前の形態を見せる又は表示するためには、前記第二ユーザー権利のあるレベルの権利管理は、前記第一ユーザー権利の前記レベルの権利管理と一致しなければならず、
前記物理的文書は、撮像装置及び前記プロジェクタを備えたインタラクティブキャプチャを伴う投影装置（ＰＩＣ装置）を用いて撮像される、請求項１１から１４のいずれか一項に記載のプログラム。

【請求項16】

物理的文書の画像を処理し、前記物理的文書の編集された箇所を見せる又は表示するためのシステムであって、
メモリと、
前記メモリに接続されたコンピュータプロセッサを備え、
前記コンピュータプロセッサは、
前記物理的文書上において、前記編集された箇所と関連づけられ第一ユーザー権利を含むタグを識別し、
識別された前記タグに基づき、前記編集された箇所の編集前の形態を含む前記物理的文書のデジタルコピーを取得し、
前記物理的文書から所定距離内にある可搬装置より、第二ユーザー権利を受信し、
前記第二ユーザー権利と前記第一ユーザー権利を比較し、前記第二ユーザー権利が前記第一ユーザー権利と一致することを判定し、
編集後の形態と、前記判定に基づき、前記編集された箇所の前記編集前の形態を見せる又は表示することができることを示す情報と、を出力し、
前記編集前の形態を見せる又は表示することができる場合、前記編集された箇所の前記編集前の形態を表示せよとの指示を受信し、
前記指示に基づき、前記物理的文書から所定距離にある面に、プロジェクタを用いて、前記編集された箇所の前記編集前の形態を表示するシステム。

【請求項17】

前記タグの識別は、
前記物理的文書を撮像し前記物理的文書の内容をデジタル化する工程と、
光学文字認識及び非テキスト内容分析を用いて、前記内容を分析する工程と、
前記分析された内容内の前記タグを識別する工程と、を更に含む、請求項１６に記載のシステム。

【請求項18】

前記コンピュータプロセッサは更に、
前記可搬装置から前記第二ユーザー権利を継続的に受信し、
前記第二ユーザー権利の受信の停止が検出されたときは、前記編集された箇所の前記編集前の形態を表示することを停止する、請求項１６又は１７に記載のシステム。

【請求項19】

前記編集された箇所の前記編集前の形態を表示せよとの前記指示は、継続的に受信され、
前記コンピュータプロセッサは更に、
前記指示の受信の停止が検出されたときは、前記編集された箇所の前記編集前の形態を表示することを停止する、請求項１６から１８のいずれか一項に記載のシステム。

【請求項20】

前記物理的文書は更に、複数の前記編集された箇所を含み、
前記複数の編集された箇所はそれぞれ、前記第一ユーザー権利を含む前記タグを含み、
前記複数の編集された箇所の前記第一ユーザー権利はそれぞれ、異なるレベルの権利管理を含み、
前記第二ユーザー権利は、あるレベルの権利管理を含み、
前記複数の編集された箇所のうち、いずれかの箇所の前記編集前の形態を見せる又は表示するためには、前記第二ユーザー権利のあるレベルの権利管理は、前記第一ユーザー権利の前記レベルの権利管理と一致しなければならず、
前記物理的文書は、撮像装置及び前記プロジェクタを備えたインタラクティブキャプチャを伴う投影装置（ＰＩＣ装置）を用いて撮像され、
前記ＰＩＣ装置は、前記コンピュータプロセッサによって制御される、請求項１６から１９のいずれか一項に記載のシステム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、拡張現実の文書編集方法、プログラム及びシステムに関する。

【背景技術】

【0002】

拡張現実（ＡＲ）は、ユーザーの視界内でコンピュータ生成画像を物理的対象物上に重ね合わせることで、ユーザーに実世界環境のインタラクティブな体験をさせることができる。しかし、ＡＲメガネの使用は一部のユーザーにとって不快となることがある。

【発明の概要】

【発明が解決しようとする課題】

【0003】

ユーザーは、電子文書（すなわち、文書のデジタルコピー）内の情報を編集することにより、取扱いに注意を要する機密情報へのアクセスを容易に制御することができる。ユーザーは、元となる電子文書へのアクセス及び編集された情報を見る権利（すなわち、権限）を有する限り、物理的文書上の編集された情報（すなわち、編集された箇所）に容易にアクセスすることができる。それでもなお、物理的文書上の編集された情報を見る権利を有するユーザーは、元の電子文書にアクセスすることなく編集された情報にアクセスすることを望む。

【課題を解決するための手段】

【0004】

主として、一側面において、本発明は、物理的文書の画像を処理し、前記物理的文書の編集された箇所を見せる又は表示する方法である。前記方法は、前記物理的文書上において、前記編集された箇所と関連づけられ第一ユーザー権利を含むタグを識別する工程と、識別された前記タグに基づき、前記編集された箇所の編集前の形態を含む前記物理的文書のデジタルコピーを取得する工程と、前記物理的文書から所定距離内にある可搬装置より、第二ユーザー権利を受信する工程と、前記第二ユーザー権利と前記第一ユーザー権利を比較し、前記第二ユーザー権利が前記第一ユーザー権利と一致することを判定する工程と、編集後の形態と、前記判定に基づき、前記編集された箇所の前記編集前の形態を見せる又は表示することができることを示す情報と、を出力する工程と、前記編集前の形態を見せる又は表示することができる場合、前記編集された箇所の前記編集前の形態を表示せよとの指示を受信する工程と、前記指示に基づき、前記物理的文書から所定距離にある面に、プロジェクタを用いて、前記編集された箇所の前記編集前の形態を表示する工程と、を含む。

【0005】

主として、一側面において、本発明は、物理的文書の画像を処理し、前記物理的文書の編集された箇所を見せる又は表示するためのプログラムに関する。前記プログラムは、コンピュータに、前記物理的文書上において、前記編集された箇所と関連づけられ第一ユーザー権利を含むタグを識別させ、識別された前記タグに基づき、前記編集された箇所の編集前の形態を含む前記物理的文書のデジタルコピーを取得させ、前記物理的文書から所定距離内にある可搬装置より、第二ユーザー権利を受信させ、前記第二ユーザー権利と前記第一ユーザー権利を比較し、前記第二ユーザー権利が前記第一ユーザー権利と一致することを判定させ、編集後の形態と、前記判定に基づき、前記編集された箇所の前記編集前の形態を見せる又は表示することができることを示す情報と、を出力させ、前記編集前の形態を見せる又は表示することができる場合、前記編集された箇所の前記編集前の形態を表示せよとの指示を受信させ、前記指示に基づき、前記物理的文書から所定距離にある面に、プロジェクタを用いて、前記編集された箇所の前記編集前の形態を表示させる。

【0006】

主として、一側面において、本発明は、物理的文書の画像を処理し、前記物理的文書の編集された箇所を見せる又は表示するためのシステムに関する。前記システムは、メモリと、前記メモリに接続されたコンピュータプロセッサを備える。前記コンピュータプロセッサは、前記物理的文書上において、前記編集された箇所と関連づけられ第一ユーザー権利を含むタグを識別し、識別された前記タグに基づき、前記編集された箇所の編集前の形態を含む前記物理的文書のデジタルコピーを取得し、前記物理的文書から所定距離内にある可搬装置より、第二ユーザー権利を受信し、前記第二ユーザー権利と前記第一ユーザー権利を比較し、前記第二ユーザー権利が前記第一ユーザー権利と一致することを判定し、編集後の形態と、前記判定に基づき、前記編集された箇所の前記編集前の形態を見せる又は表示することができることを示す情報と、を出力し、前記編集前の形態を見せる又は表示することができる場合、前記編集された箇所の前記編集前の形態を表示せよとの指示を受信し、前記指示に基づき、前記物理的文書から所定距離にある面に、プロジェクタを用いて、前記編集された箇所の前記編集前の形態を表示する。

【0007】

本発明のその他の側面は、以下の説明及び添付の特許請求の範囲から明らかとなる。

【図面の簡単な説明】

【0008】

【図1】図１は、本発明の一以上の実施形態に係るシステムを示す。

【図2】図２は、本発明の一以上の実施形態に係るフローチャートを示す。

【図3】図３は、本発明の一以上の実施形態に係る実行例を示す。

【図4】図４Ａ～４Ｄは、本発明の一以上の実施形態に係る追加の実行例を示す。

【図5】図５は、本発明の一以上の実施形態に係るコンピューティングシステムを示す。

【発明を実施するための形態】

【0009】

本発明の具体的な実施形態を、添付の図面を参照して詳細に説明する。複数の図における同様の構成要素は、一貫性を保つため、同様の参照符号で示される。

【0010】

以下の本発明の実施形態の詳細な説明では、本発明がより十分に理解されるよう、具体的な詳細が多数示されている。しかし、当業者にとっては、これらの具体的な詳細がなくとも本発明が実施可能であることは明らかであろう。他の例では、説明を不必要に複雑にしないよう、周知の特徴について詳細に説明していない。

【0011】

主として、本発明の実施形態は、物理的文書の画像を処理して物理的文書の編集された箇所を見せる又は表示するための方法、非一時的なコンピュータ読取り可能な媒体（ＣＲＭ）、及びシステムを提供する。具体的には、編集された箇所を有する物理的文書は、インタラクティブキャプチャを伴う投影（Ｐｒｏｊｅｃｔｉｏｎ ｗｉｔｈ Ｉｎｔｅｒａｃｔｉｖｅ Ｃａｐｔｕｒｅ（ＰＩＣ））装置を用いて撮像される。ＰＩＣ装置は、以下図３において詳細に説明するが、撮像部（例えば、２次元及び/又は３次元撮像装置）及び投影部（例えば、プロジェクタ）を備え、撮像部と投影部はＡＲメガネを要しないＡＲ環境を生成するために連携して動作する。ＰＩＣ装置は、物理的文書上の編集された情報に関連づけられたタグを識別し、識別されたタグに基づいて、編集された情報の編集前の形態を含んだ物理的文書の電子バージョン（すなわちデジタルコピー）を取得する。次いでＰＩＣ装置は、ユーザーが、編集された情報の編集前の形態を示すか又は表示する（すなわち、見る）権利（すなわち、権限）を有しているかどうかを判定するためにユーザー認証を行う。ユーザーの権利を確認すると、ＰＩＣ装置は、編集された情報の編集前の形態をユーザーに表示することができる。

【0012】

図１は、本発明の一以上の実施形態に係るシステム（１００）を示す。図１に示すように、システム（１００）は例えば、バッファ（１０２）、撮像エンジン（１０６）、編集エンジン（１０８）及び表示エンジン（１１０）含む複数の構成要素を有する。これら構成要素（１０２、１０６、１０８及び１１０）はそれぞれ、同じコンピューティング装置（例えばパーソナルコンピュータ（ＰＣ）、ノート型コンピュータ、タブレット型ＰＣ、スマートフォン、多機能プリンター、キオスク、サーバ、ＰＩＣ装置等）に配置されるか、若しくは有線及び/又は無線セグメントを有する任意のサイズのネットワークによって接続された異なるコンピューティング装置に配置されてよい。それぞれの構成要素を以下で説明する。

【0013】

バッファ（１０２）は、ハードウェア（すなわち、回路）、ソフトウェア又はそれらの任意の組合せに実装できる。バッファ（１０２）は、編集された情報を含む物理的文書のデジタルコピー（１０４）を記憶するように構成される。異なる物理的文書の複数のデジタルコピー（１０４）は、バッファ（１０２）に記憶されてよい。バッファ（１０４）は、ユーザーによって使用されているローカルコンピュータ内、又はローカルコンピュータによってアクセス可能なリモートサーバ内に配置されてよい。

【0014】

デジタルコピー（１０４）は、一部の情報が編集された（すなわち、一以上の編集された箇所を含む）物理的文書の電子バージョンであり得る。デジタルコピー（１０４）は、物理的文書上の編集された箇所の編集前の形態（すなわち、編集された内容）を含み得る。デジタルコピー（１０４）は任意の様式（例えば、ＯＯＸＭＬ文書、ＰＤＦ文書等）でバッファ（１０２）に保存され得る。また、物理的文書は、編集された箇所を複数含み得る。

【0015】

物理的文書の編集された箇所は、可視タグ（例えば、バーコード、ＱＲ(クイックレスポンス)コード（登録商標）等）を含み得る。可視タグは、編集された内容にアクセスするにあたり、物理的文書のデジタルコピー（１０４）を見つけるのに用いる文献情報を含み得る。可視タグは、ユーザー権利情報（すなわち、ユーザー権限情報）を更に含み得る。ユーザー権利情報は、編集された内容を見せる又は表示するために必要なユーザー権利のレベル（すなわち、ユーザー権限の程度）を示す。

【0016】

物理的文書が編集された箇所を複数含む場合、編集された箇所はそれぞれ、同じ文書情報及びユーザー権利情報を含む同じ可視タグを有してよい。あるいは、編集された箇所はそれぞれ特有の可視タグを有してもよく、特有のタグは、異なるレベルのユーザー権利（すなわち、異なるレベルのユーザー権限）を示す異なるユーザー権利情報を含む。例えば、編集された文書には二つの編集された箇所があると仮定すると、二つの編集された箇所のうち一方は、その箇所を見せる又は表示するのに、他方よりも高いレベルのユーザー権利を要求することがある。したがって、これら二つの編集された箇所のユーザー権利情報は異なることとなる。

【0017】

システム（１００）は更に、撮像エンジン（１０６）を備える。撮像エンジン（１０６）はハードウェア（すなわち回路）、ソフトウェア、又はそれらの任意の組合せに実装できる。撮像エンジン（１０６）は物理的文書を撮像し、デジタルコピー（１０４）を取得する。

【0018】

撮像エンジン（１０６）は、物理的文書のデジタル画像を取り込む２次元及び/又は３次元撮像装置（例えば、カメラや、複数のカメラの組合せ等）を備え得る。撮像エンジン（１０６）は、物理的文書のデジタル画像に対して光学的文字認識及び非テキスト内容解析を行い、視覚タグを識別する。

【0019】

システム（１００）は更に、編集エンジン（１０８）を備える。編集エンジン（１０８）はハードウェア（すなわち、回路）、ソフトウェア、又はそれらの任意の組合せに実装できる。編集エンジン（１０８）は、編集された内容へのユーザーのアクセスを制御する。

【0020】

編集エンジン（１０８）は、識別された視覚タグを分析し、視覚タグに記憶された文書情報に基づいて、バッファ（１０４）から物理的文書のデジタルコピー（１０４）を取得する。

【0021】

編集エンジン（１０８）は、ユーザーから、当該ユーザーのユーザー権利を含むユーザー権利情報（すなわち、ユーザー認証情報）を受信する。ユーザー認証情報は、任意の形態で、任意の装置を用いて、ユーザーから編集エンジン（１０８）へ送信され得る。任意の形態とは、例えばユーザーによる直接入力、無線周波数識別（ＲＦＩＤ）による送信、近距離通信等であり、任意の装置とは、例えばキーボード、マウス、マイク、ＲＦＩＤタグ、ＲＦＩＤ及び/又は近距離通信が可能なリストバンド等である。

【0022】

異なるユーザーのユーザー認証情報は、異なるレベルのユーザー権利を含み得る。例えば、第一のユーザーが管理者であり、第二のユーザーが第一のユーザーの下で働く従業員であると仮定すると、第一のユーザーのユーザー認証情報は、第二のユーザーのユーザー認証情報よりも高いレベルのユーザー権利を示すだろう。ユーザー権利のレベルは、施設内（例えば、会社、企業、大学、病院等）における個人間の明確な階層システムを表す任意の方法で設定され得る。

【0023】

編集エンジン（１０８）は更に、識別された視覚タグに記憶されたユーザー権利情報をユーザー認証情報と比較し、ユーザーが編集された内容を見せる又は表示することができるか（すなわち、権限を有するか）どうかを判定する。ユーザー認証情報が可視タグに記憶されたユーザー権利情報と一致するかそれよりも高い場合、ユーザーは、編集された内容を見せる又は表示することができる。あるいは、ユーザー認証情報が可視タグに記憶されたユーザー権利情報よりも低い場合、ユーザーは、編集された内容を見せる又は表示することができない。

【0024】

編集エンジン（１０８）は、ユーザーに対し、例えばＲＦＩＤや近距離通信による継続的な検出を介して、ユーザー認証情報を継続的に提供するよう要求してもよい。編集エンジン（１０８）がユーザー認証情報を受信しなくなると、編集された内容はもはや見られなくなる。あるいは、ユーザー認証情報が受信され認証されると、編集エンジン（１０８）がユーザーに対して編集された内容へのアクセスを維持するためにユーザー認証情報の再送信を求めるまでの所定時間の間、ユーザーは編集された内容へのアクセスを得る。

【0025】

システム（１００）はさらに、表示エンジン（１１０）を備える。表示エンジン（１１０）はハードウェア（すなわち、回路）、ソフトウェア、又はそれらの任意の組合せに実装できる。表示エンジン（１１０）は、一以上の光、効果及び/又は画像を用いて、物理的文書の周辺に、ユーザーが物理的文書と相互作用するためのＡＲ環境を生成する。

【0026】

ＡＲ環境は、物理的文書を取り囲む所定領域内において生成され得る。所定領域の大きさは、システム（１００）内部の投影部又はシステム（１００）に接続された投影部の能力に基づいて決定され得る。これについては、図４Ｂを参照しながら以下で詳細に例示する。

【0027】

ユーザーが編集された内容を見せる又は表示することができる（すなわち、権限を有する）と編集エンジン（１０８）が判定すると、表示エンジン（１１０）は、編集された情報を見せる又は表示することができる旨を示す情報をＡＲ環境内に表示する（すなわち、投影する）。当該情報は仮想ボタンの形であってよく、ユーザーはこのボタンと相互作用して編集された内容を表示できる。また、当該情報は、編集された情報を見せる又は表示することができる（すなわち、見ることができる）旨を示すテキストの行として、ＡＲ環境内に表示されてもよい。また、当該情報は音声の形でユーザーに伝達されてもよい。ユーザーに通知するための上記の形態は、任意に組み合わせることが可能であってもよい。これについては、図４Ｂを参照しながら以下で詳細に例示する。

【0028】

表示エンジン（１１０）は更に、撮像エンジン（１０６）と連携して動作し、ユーザーのＡＲ環境との相互作用を検出する。撮像エンジン（１０６）はＡＲ環境を継続的に撮像し、ＡＲ環境内におけるユーザーのジェスチャー（すなわち、物理的対象及び/又は仮想の対象との相互作用）を判定する。撮像エンジン（１１０）は、ユーザーのジェスチャーを事前に設定された動きに変換する。あるいは、撮像エンジン（１０６）は、所定間隔でＡＲ環境の画像を取り込み、取り込んだ画像をＡＲ環境内の変化について分析して、ユーザーのジェスチャーを判定してもよい。例えば、ユーザーの指が表示エンジン（１１０）によって生成された仮想ボタンの上にあると仮定すると、撮像エンジン（１０６）は仮想ボタン上のユーザーの指を検出し、ユーザーのジェスチャーが仮想ボタンを押す動きであると解釈する。

【0029】

編集された内容を表示するためのジェスチャー（すなわち、ユーザーからの指示）をユーザーから受信すると、表示エンジン（１１０）は、ユーザーに見せる又は表示するための編集された内容をＡＲ環境内で生成する。表示エンジン（１１０）が編集された内容を継続的に表示するためには、ユーザーのジェスチャーは継続的でなければならない。ユーザーのジェスチャーが検出不可となると、表示エンジン（１１０）は編集された内容の表示を停止する。あるいは、表示エンジン（１１０）は、ユーザーのジェスチャーの検出後、ユーザーのジェスチャーの再検出を要求するまでの所定時間の間、編集された内容を表示する。

【0030】

表示エンジン（１１０）は更に、通常はコンピューティングシステム内及び/又はコンピューティングシステム上に現れる物理的な構成要素の仮想版を生成してもよい。ユーザーはＡＲ環境内において、この仮想版と相互作用し、コマンドを入力する。このような構成要素は、スクロールバー、印刷ボタン、電子メールボタン、ズームボタン、拡大ボタン等でよいが、これらに限定されない。

【0031】

図２は、本発明の一以上の実施形態に係るフローチャートを示す。具体的には、このフローチャートは、物理的文書の編集された箇所を見せる又は表示するために物理的文書の画像を処理する工程を説明するものである。図２のステップのうち一以上は、図１を参照しながら上記で説明したシステム（１００）の構成要素によって実施され得る。図２のステップのうち一以上を省略し、繰り返し、及び/又は図２に示される順序とは異なる順序で実施してもよい。したがって、本発明の範囲は、図２に示される具体的なステップの配置に限定されると考えられるべきではない。

【0032】

まず、物理的文書が取得される（ステップ２０５）。電子版（すなわち、デジタルコピー）を印刷することで物理的コピーが取得されてもよい。当該電子版は任意の情報源から取得されてよく（例えば、ダウンロード、スキャン等）、任意のサイズや形式でよい。あるいは、物理的文書は、あるユーザーから他のユーザーへ物理的に直接渡されることで取得されてもよい。この場合、物理的文書を受領するユーザーは、デジタルコピーへのアクセスを持たない。当該物理的文書は、編集された情報（すなわち、一以上の編集された箇所）を含む。

【0033】

ステップ２１０では、図１を参照して上述したように、物理的文書が撮像され、物理的文書上の編集された箇所に関連づけられた視覚タグが識別される。視覚タグは、デジタルコピーを見つけるために用いる文書情報とユーザー権利情報（すなわち、ユーザー権限情報）とを含む。このユーザー権利情報は、編集された箇所の編集前の形態を見せる又は表示する（すなわち、編集された内容を表示する）ために必要とされるユーザー権利のレベル（すなわち、ユーザー権限の程度）を示す。

【0034】

ステップ２１５では、図１を参照して上述したように、文書情報に基づいて物理的文書のデジタルコピーが取得される。デジタルコピーは、ローカルコンピューティングシステムのバッファから取得され得る。あるいは、デジタルコピーは、ローカルコンピューティングシステムによってアクセス可能なリモートサーバのバッファから取得され得る。

【0035】

ステップ２２０では、図１を参照して上述したように、物理的文書を取り扱うユーザーのユーザー権利を含むユーザー認証情報が、物理的文書から所定の距離にある装置から受信される。ユーザー認証情報は、任意の形態で、任意の装置を用いて送信され得る。任意の形態とは、例えばユーザーによる直接入力、無線周波数識別（ＲＦＩＤ）による送信、近距離通信等であり、任意の装置とは、例えば、キーボード、マウス、マイク、ＲＦＩＤタグ、ＲＦＩＤ及び/又は近距離通信が可能なリストバンド等である。

【0036】

ステップ２３０では、図１を参照して上述したように、ユーザー権利情報（すなわち、第一ユーザー権利）とユーザー認証情報（すなわち、第二ユーザー権利）とを比較し、第二ユーザー権利が第一ユーザー権利と一致するか、又は第一ユーザー権利よりも高いかどうかを判定するための判定がなされる。

【0037】

ステップ２３０の判定がＮＯの場合、ステップ２４０において、ユーザーが編集された内容を見せる又は表示することを許可されていない旨の表示が表示され、本処理は終了する。

【0038】

ステップ２３０での判定がＹＥＳの場合、プロセスはステップ２３５に進む。ステップ２３５では、図１を参照して上述したように、編集された内容を見せる又は表示することができる（すなわち、見ることができる）旨の表示が、物理的文書を取り囲むＡＲ環境内に表示される。

【0039】

ステップ２４５では、図１を参照して上述したように、編集された内容を表示するための指示が受信される。ステップ２５０では、この指示の受信に応じて、編集された内容が表示される。

【0040】

物理的文書が複数の編集された箇所を含む場合、複数の編集された箇所のうち一つを見せる又は表示するために、ユーザーの選択に基づいて、編集された箇所のそれぞれについて図２のステップの一部（例えば、ステップ２２５～２５０）を繰り返してもよい。ユーザー権限情報に記憶されたユーザー権利のレベルによっては、ユーザーは、物理的文書上の編集された箇所の全てを見せる又は表示することができない場合がある。例えば、編集された箇所のうち一つに含まれるユーザー権利のレベルが、当該ユーザーのユーザー権利のレベルよりも高いと仮定すると、当該ユーザーはこの編集された箇所を見せる又は表示することができない（すなわち、見られない）。

【0041】

図３は、本発明の一以上の実施形態に係る実行例を示す。図３に示すように、インタラクティブキャプチャを伴う投影装置（ＰＩＣ装置）（３０１）は、撮像部（例えば、２次元及び/又は３次元撮像装置）及び投影部（例えば、プロジェクタ）を備える。撮像部と投影部は連携して動作し、物理的文書（３０５）を取り囲む所定領域の辺りにＡＲ環境（３０３）を生成する。デジタルコンテンツ（３０７Ａ～３０７Ｃ）は、ユーザーに対してＡＲ環境（３０３）内に投影される（すなわち、表示される）。図３に示す構成によれば、ＡＲメガネの着用を要さずに、ＡＲを用いて物理的世界からデジタル世界へ橋渡しをすることができる。またＰＩＣ装置は、図１を参照しながら上述したように、システム（１００）を用いて制御されてもよい。

【0042】

図３に示すように、物理的文書（３０５）から所定距離内にあるユーザー装置（３０２）は、ユーザー認証情報をＰＩＣ装置（３０１）に送信する。ユーザー認証情報は任意の形態で、任意の装置を用いて送信され得る。任意の形態とは、例えばユーザーによる直接入力、無線周波数識別（ＲＦＩＤ）による送信、近距離通信等であり、任意の装置とは、例えばキーボード、マウス、マイク、ＲＦＩＤタグ、ＲＦＩＤ及び/又は近距離通信が可能なリストバンド等である。

【0043】

図４Ａ～４Ｃは、一以上の実施形態に係る追加の実行例を示す。図４Ａに示すように、物理的文書（４０１）は視覚タグ（例えば、ＱＲコード（登録商標））を含む編集された箇所（４０３）と、編集されていない箇所（４０５）とを含む。物理的文書（４０１）は、編集された箇所（４０３）を複数含み得る。

【0044】

図４Ｂは、図３に示されるＡＲ環境（３０３）内の物理的文書（４０１）を示す。図４Ｂに示すように、ＡＲ環境（３０３）は物理的文書（４０１）を取り囲んでおり、表示ウィンドウ（４０７）及び仮想ボタン（４０９）を含む。表示ウィンドウ（４０７）は、ＰＩＣ装置によってユーザーに伝達されている情報（例えば、編集された箇所（４０３）の編集前の形態（すなわち、編集された内容）、編集された内容、ユーザーに対する指示に関する表示等）を表示する。仮想ボタン（４０９）は、ユーザーからの作用を受けると（すなわち、押下されると）、ユーザーが編集された箇所（４０３）を見せる又は表示する（すなわち、編集を元に戻す）ことができるようにする。

【0045】

図４Ｃは、編集された内容の表示ウィンドウ（４０７）内における表示を示す。図４Ｃに示すように、ユーザーの指が仮想ボタン（４０９）上で検出される（すなわち、指が仮想ボタン（４０９）を押している）。編集された内容は、当該ユーザーが編集された内容を見せる又は表示する権限を有するとＰＩＣ装置が判断した場合に限り表示されてよい。これについては、上記にて、図１を参照しながら詳しく説明している。

【0046】

図４Ｄは、図４Ｂ及び４Ｃに示されるような仮想ボタン（４０９）を複数含んだＡＲ環境（４０３）を示す。図４Ｄに示すように、ＡＲ環境は編集された内容を表示するための第一の仮想ボタン（４０９Ａ）（すなわち、編集を元に戻すボタン）と、編集された内容を印刷するための第二の仮想ボタン（４０９Ｂ）とを含む。編集された内容は、ユーザーが編集された内容を見せる又は表示する権限を有する、とＰＩＣ装置が判断した場合のみ印刷可能となり得る。これについては、上記にて、図１を参照しながら詳しく説明している。

【0047】

本発明の実施形態は、使用するプラットフォームにかかわらず、事実上あらゆる種類のコンピューティングシステムに実装できる。例えば、コンピューティングシステムは、一以上の可搬装置（例えば、ノート型コンピュータ、スマートフォン、パーソナルデジタルアシスタント、タブレット型コンピュータ又はその他の可搬装置）、デスクトップコンピュータ、サーバ、サーバシャーシにおけるブレード、又は本発明の一以上の実施形態を実施するための最低限の処理能力、メモリ及び入出力装置を少なくとも備えるその他の種類の一以上のコンピューティング装置であってよい。例えば図５に示すように、コンピューティングシステム（５００）は、一以上のコンピュータプロセッサ（５０２）、関連するメモリ（５０４）（例えば、ランダムアクセスメモリ（ＲＡＭ）、キャッシュメモリ、フラッシュメモリ等）、一以上の記憶装置（５０６）（例えば、ハードディスク、コンパクトディスク（ＣＤ）ドライブやデジタル多用途ディスク（ＤＶＤ）ドライブといった光ドライブ、フラッシュメモリスティック等）、その他多くの構成要素及び機能を有してよい。コンピュータプロセッサ（５０２）は、指示を処理するための集積回路でもよい。例えば、コンピュータプロセッサは、一以上のコア又はプロセッサのマイクロコアでもよい。また、コンピューティングシステム（５００）は、タッチスクリーン、キーボード、マウス、マイク、タッチパッド、電子ペン、又はその他の種類の入力装置といった一以上の入力装置（５１０）を備えてよい。また、コンピューティングシステム（５００）は、スクリーン（例えば、液晶ディスプレイ（ＬＣＤ）、プラズマディスプレイ、タッチスクリーン、ブラウン管（ＣＲＴ）モニター、プロジェクタ、又はその他の表示装置）、プリンター、外部記憶装置、又はその他の出力装置等、一以上の出力装置（５０８）を備えてよい。一以上の出力装置は、入力装置と同じでも良いし、異なってもよい。コンピューティングシステム（５００）は、ネットワークインターフェース接続（図示なし）を介してネットワーク（５１２）（例えば、ローカルエリアネットワーク（ＬＡＮ）、インターネット等の広域ネットワーク（ＷＡＮ）、モバイルネットワーク、又はその他の種類のネットワーク）に接続されてよい。入力装置と出力装置は、ローカルにまたはリモートに（例えば、ネットワーク（５１２）を介して）コンピュータプロセッサ（５０２）、メモリ（５０４）及び記憶装置（５０６）に接続されてよい。コンピューティングシステムには多くの異なる種類があり、前述の入力装置及び出力装置は他の形態をとってもよい。

【0048】

本発明の実施形態を実施するためのコンピュータ読取り可能なプログラムコードの形態をとるソフトウェア指示は、全て又は一部が、一時的に又は恒久的に、ＣＤ、ＤＶＤ、記憶装置、ディスケット、テープ、フラッシュメモリ、物理メモリ、又はその他のコンピュータ読取り可能な記憶媒体といった非一時的なコンピュータ読取り可能な媒体に記憶されてよい。具体的には、ソフトウェア指示は、プロセッサによって実行された際に本発明の実施形態を実施するように構成されたコンピュータ読取り可能なプログラムコードに相当し得る。

【0049】

更に、前述のコンピューティングシステム（５００）の構成要素は、そのうち一つ以上が遠隔に配され、ネットワーク（５１２）を介してその他の構成要素と接続されてもよい。また、本発明の一以上の実施形態は、複数のノードを有する分散システムに実装されてもよく、本発明の各部は、分散システム内の異なるノード上に位置してもよい。本発明の一実施形態では、ノードは別個のコンピューティング装置に相当する。あるいは、ノードは関連する物理メモリを有するコンピュータプロセッサに相当してもよい。あるいは、ノードは、共有メモリ及び/又は情報源を有するコンピュータプロセッサ又はコンピュータプロセッサのマイクロコアに相当してもよい。

【0050】

本発明の一以上の実施形態は、以下のうち一以上の効果を有し得る:ユーザーが文書の物理的コピーとの相互作用を望む場合に、物理的世界とデジタル世界との橋渡しができる;ユーザーはＡＲメガネを装着せずにＡＲ環境と相互作用できる;物理的文書のデジタルコピーに直接アクセスすることなく（すなわち、ユーザーが文献の物理的コピーのみを利用可能であるとき、又はユーザーがデジタルコピーの在処を知らないとき）、当該物理的文書の編集された内容を見せる又は表示することができる；物理的文書上のある編集された情報へのユーザーのアクセスを、ユーザーの権利（すなわち、権限）に基づいて制御できる；など。

【0051】

限られた数の実施形態に関連して本発明を説明したが、本開示の恩恵に浴する当業者であれば、ここに開示された本発明の範囲から逸脱しない他の実施形態が考案可能であると分かるだろう。したがって、本発明の範囲は、添付の特許請求の範囲によってのみ限定されるものである。

【図1】

【図2】

【図3】

【図4A】

【図4B】

【図4C】

【図4D】

【図5】