特許 7440256 拡張現実の文書処理

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-02-19

(45)【発行日】2024-02-28

(54)【発明の名称】拡張現実の文書処理

(51)【国際特許分類】

   G06F 16/54 20190101AFI20240220BHJP

   H04N 5/74 20060101ALI20240220BHJP

   G06F 3/16 20060101ALI20240220BHJP

   G06F 16/93 20190101ALI20240220BHJP

【ＦＩ】

G06F16/54

H04N5/74 Z

G06F3/16 630

G06F16/93

【請求項の数】 14

【外国語出願】

(21)【出願番号】P 2019227023

(22)【出願日】2019-12-17

(65)【公開番号】P2020149668

(43)【公開日】2020-09-17

【審査請求日】2022-07-20

(31)【優先権主張番号】16/235,337

(32)【優先日】2018-12-28

(33)【優先権主張国・地域又は機関】US

(73)【特許権者】

【識別番号】519448326

【氏名又は名称】コニカ ミノルタ ビジネス ソリューションズ ユー．エス．エー．， インコーポレイテッド

(74)【代理人】

【識別番号】110001254

【氏名又は名称】弁理士法人光陽国際特許事務所

(72)【発明者】

【氏名】テック， カーク スティーブン

【審査官】齊藤 貴孝

(56)【参考文献】

【文献】特開２０１２－０４３４００（ＪＰ，Ａ）

【文献】特開２０１５－０１１５８６（ＪＰ，Ａ）

【文献】特開２０１３－２５４４３７（ＪＰ，Ａ）

【文献】特開２０１３－０４６１５１（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１２／０００８８２０（ＵＳ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｆ １６／００－１６／９５８

Ｈ０４Ｎ ５／７４

Ｈ０４Ｎ ２３／６０

Ｈ０４Ｎ ２３／４０

Ｇ０６Ｖ ３０／１２

Ｇ０６Ｆ ３／０４８４２

Ｇ０６Ｆ ３／１６

(57)【特許請求の範囲】

【請求項1】

コンピューターを用いて、物理的文書の画像を処理し、前記物理的文書のデジタルサーチを可能にする方法であって、前記コンピューターが、
前記物理的文書のデジタルコピーを取得する工程と、
前記物理的文書内の関心点をサーチせよとの指示を受領する工程と、
前記物理的文書を撮像し、前記関心点が前記物理的文書の表面上にあると判定する工程と、
プロジェクターを用いて、前記物理的文書の表面上に、前記関心点に物理的に重なる視覚補助要素を投影して前記物理的文書の表面上にある関心点を強調表示する工程と、を含む方法であり、
前記物理的文書は複数の物理的文書の束内のページであり、
前記デジタルコピーは前記束内の全てのページを含み、
前記コンピューターが、
前記束の最上位ページを撮像する工程と、
前記関心点が前記最上位ページの表面上にあると判定する工程と、
プロジェクターを用いて、前記最上位ページの表面上に、前記視覚補助要素を投影して前記最上位ページの表面上にある関心点を強調表示する工程と、を更に含む方法であり、
前記コンピューターが、
前記最上位ページを撮像し、前記関心点が前記最上位ページ上にないと判定する工程と、
前記最上位ページを前記束のデジタルコピー内の前記関心点を含むページと比較する工程と、
前記比較に基づいて、前記束を前記関心点の位置までトラバースせよと、前記トラバースする前記束における割合又はページ数が含まれる、更新された指示を出力する工程と、を更に含む方法。

【請求項2】

前記強調表示される関心点は、前記束内で最初に現れる関心点であり、
前記コンピューターが、
前記束内で２番目に現れる関心点をサーチせよとの指示を受領する工程と、
前記２番目に現れる関心点を探す前記束のデジタルコピーのサーチに基づいて、前記束を前記２番目に現れる関心点の位置までトラバースせよとの指示を出力する工程と、
前記束を撮像し、前記２番目に現れる関心点が前記束の最上位ページの表面上にあると判定する工程と、
プロジェクターを用いて、前記最上位ページの表面上に、前記視覚補助要素を投影して前記最上位ページの表面上にある２番目に現れる関心点を強調表示する工程と、を更に含む請求項１に記載の方法。

【請求項3】

前記物理的文書は複数の物理的文書の束内のページであり、
前記物理的文書のデジタルコピーを取得する工程は、
前記コンピューターが、
前記束の各ページを撮像してデジタル化する工程と、
前記撮像されてデジタル化された束を前記複数の物理的文書のデジタルコピーとしてメモリに記憶する工程と、
前記束の最上位ページを撮像する工程と、
前記束の前記最上位ページを前記束の前記デジタルコピーのページと比較する工程と、
前記比較に基づいて、前記束の前記最上位ページが前記束のデジタルコピーのページの一つと合致すると判定する工程と、
前記判定に基づいて、前記メモリから前記束のデジタルコピーを取り出す工程と、を更に含む請求項１又は２に記載の方法。

【請求項4】

前記物理的文書内の関心点をサーチせよとの指示は、音声コマンドとしてユーザーから受領される請求項１から３のいずれか一項に記載の方法。

【請求項5】

前記束を前記関心点の位置までトラバースせよとの指示は、プロジェクターにより、前記複数の物理的文書から所定の距離内の表面上に投影される請求項１から４のいずれか一項に記載の方法。

【請求項6】

前記束を前記関心点の位置までトラバースせよとの指示は、前記関心点が前記最上位ページ上にあると判定されるまで、継続して投影され、更新される請求項１から５のいずれか一項に記載の方法。

【請求項7】

前記物理的文書は、イメージャーや前記プロジェクターを備えるインタラクティブキャプチャを伴う投影装置（ＰＩＣ装置）を用いて撮像され、
前記デジタルコピーをサーチするのに光学的文字認識及び非テキスト内容分析が用いられる請求項１から６のいずれか一項に記載の方法。

【請求項8】

前記関心点は、テキスト文字、非テキスト文字、テキストの列、画像、グラフ及び表からなるグループより選択されたものである請求項１から７のいずれか一項に記載の方法。

【請求項9】

物理的文書の画像を処理し、前記物理的文書のデジタルサーチを可能にするためのプログラムを格納した、非一時的なコンピューター読取り可能な媒体（ＣＲＭ）において、前記プログラムは、コンピューターに
前記物理的文書のデジタルコピーを取得させ、
前記物理的文書内で関心点をサーチせよとの指示を受領させ、
前記物理的文書を撮像して前記関心点が前記物理的文書の表面上にあると判定させ、
プロジェクターを用いて、前記物理的文書の表面上に、前記関心点に物理的に重なる視覚補助要素を投影して前記物理的文書の表面上にある関心点を強調表示させるプログラムであり、
前記物理的文書は複数の物理的文書の束内のページであり、
前記デジタルコピーは前記束内の全てのページを含み、
前記コンピューター読取り可能なプログラムコードは、コンピューターに更に
前記束の最上位ページを撮像させ、
前記関心点が前記最上位ページの表面上にあると判定させ、
プロジェクターを用いて、前記最上位ページの表面上に、前記視覚補助要素を投影して前記最上位ページの表面上にある関心点を強調表示させるプログラムであり、
前記プログラムは、コンピューターに更に
前記最上位ページを撮像させ、前記関心点が前記最上位ページ上にないと判定させ、
前記最上位ページを前記束のデジタルコピー内の前記関心点を含むページと比較させ、
前記比較に基づいて、前記束を前記関心点の位置までトラバースせよと、前記トラバースする前記束における割合又はページ数が含まれる、更新された指示を出力させるプログラム。

【請求項10】

前記強調表示される関心点は、前記束内で最初に現れる関心点であり、
前記プログラムは、コンピューターに更に
前記束内で２番目に現れる関心点をサーチせよとの指示を受領させ、
前記２番目に現れる関心点を探す前記束のデジタルコピーのサーチに基づいて、前記束を前記２番目に現れる関心点の位置までトラバースせよとの指示を出力させ、
前記束を撮像させ、前記２番目に現れる関心点が前記束の最上位ページの表面上にあると判定させ、
プロジェクターを用いて、前記最上位ページの表面上に、前記視覚補助要素を投影して前記最上位ページの表面上にある２番目に現れる関心点を強調表示させる請求項９に記載のプログラム。

【請求項11】

前記物理的文書は、イメージャーや前記プロジェクターを備えるインタラクティブキャプチャを伴う投影装置（ＰＩＣ装置）を用いて撮像され、
前記デジタルコピーをサーチするのに光学的文字認識及び非テキスト内容分析が用いられ、
前記関心点は、テキスト文字、非テキスト文字、テキストの列、画像、グラフ及び表からなるグループより選択されたものである請求項９又は１０に記載のプログラム。

【請求項12】

物理的文書の画像を処理し、前記物理的文書のデジタルサーチを可能にするためのシステムであって、前記システムは
メモリと、
前記メモリに接続されたコンピュータプロセッサーを備え、
前記コンピュータプロセッサーは、
前記物理的文書のデジタルコピーを取得し、
前記物理的文書内で関心点をサーチせよとの指示を受領し、
前記物理的文書を撮像し、前記関心点が前記物理的文書の表面上にあると判定し、
プロジェクターを用いて、前記物理的文書の表面上に、前記関心点に物理的に重なる視覚補助要素を投影して前記物理的文書の表面上にある関心点を強調表示するシステムであり、
前記物理的文書は複数の物理的文書の束内のページであり、
前記デジタルコピーは前記束内の全てのページを含み、
前記コンピュータプロセッサーは、更に
前記束の最上位ページを撮像し、
前記関心点が前記最上位ページの表面上にあると判定し、
プロジェクターを用いて、前記最上位ページの表面上に、前記視覚補助要素を投影して前記最上位ページの表面上にある関心点を強調表示するシステムであり、
前記コンピュータプロセッサーは、更に
前記最上位ページを撮像し、前記関心点が前記最上位ページ上にないと判定し、
前記最上位ページを前記束のデジタルコピー内の前記関心点を含むページと比較し、
前記比較に基づいて、前記束を前記関心点の位置までトラバースせよと、前記トラバースする前記束における割合又はページ数が含まれる、更新された指示を出力するシステム。

【請求項13】

前記強調表示される関心点は、前記束内で最初に現れる関心点であり、
前記コンピュータプロセッサーは、更に
前記束内で２番目に現れる関心点をサーチせよとの指示を受領し、
前記２番目に現れる関心点を探す前記束のデジタルコピーのサーチに基づいて、前記束を前記２番目に現れる関心点の位置までトラバースせよとの指示を出力し、
前記束を撮像し、前記２番目に現れる関心点が前記束の最上位ページの表面上にあると判定し、
プロジェクターを用いて、前記最上位ページの表面上に、前記視覚補助要素を投影して前記最上位ページの表面上にある２番目に現れる関心点を強調表示する請求項１２に記載のシステム。

【請求項14】

前記物理的文書は、イメージャーや前記プロジェクターを備えるインタラクティブキャプチャを伴う投影装置（ＰＩＣ装置）を用いて撮像され、
前記ＰＩＣ装置は前記コンピュータプロセッサーに制御され、
前記デジタルコピーをサーチするのに光学的文字認識及び非テキスト内容分析が用いられ、
前記関心点は、テキスト文字、非テキスト文字、テキストの列、画像、グラフ及び表から
なるグループより選択されたものである請求項１２又は１３に記載のシステム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、拡張現実の文書処理に関する。

【背景技術】

【0002】

拡張現実（ＡＲ）は、ユーザーの視界内でコンピューター作成画像を物理的対象物上に重ね合わせることで、ユーザーに実世界環境のインタラクティブな体験をさせることができる。しかし、ＡＲメガネの使用は一部のユーザーにとって不快となることがある。

【発明の概要】

【発明が解決しようとする課題】

【0003】

コンピュータライズされたサーチ機能（すなわち、デジタル文書サーチワークフロー）は、ユーザーが実際の文書内容を手動で調べることなく電子文書内の関心点（例えば、テキスト文字、非テキスト文字、表、図、グラフ等）を容易に見つけることを可能にする。にもかかわらず、ユーザーは、物理的文書のみをハンドリング及びインタラクティングしながらこれらのコンピュータライズされたサーチ機能にアクセスすることを望む。

【課題を解決するための手段】

【0004】

主として、一側面において、本発明は、コンピューターを用いて、物理的文書の画像を処理し、前記物理的文書のデジタルサーチを可能にする方法に関する。前記方法は、前記コンピューターが、前記物理的文書のデジタルコピーを取得する工程と、前記物理的文書内の関心点をサーチせよとの指示を受領する工程と、前記物理的文書を撮像し、前記関心点が前記物理的文書の表面上にあると判定する工程と、プロジェクターを用いて、前記物理的文書の表面上に、前記関心点に物理的に重なる視覚補助要素を投影して前記物理的文書の表面上にある関心点を強調表示する工程と、を含む方法であり、前記物理的文書は複数の物理的文書の束内のページであり、前記デジタルコピーは前記束内の全てのページを含み、前記コンピューターが、前記束の最上位ページを撮像する工程と、前記関心点が前記最上位ページの表面上にあると判定する工程と、プロジェクターを用いて、前記最上位ページの表面上に、前記視覚補助要素を投影して前記最上位ページの表面上にある関心点を強調表示する工程と、を更に含む方法であり、前記コンピューターが、前記最上位ページを撮像し、前記関心点が前記最上位ページ上にないと判定する工程と、前記最上位ページを前記束のデジタルコピー内の前記関心点を含むページと比較する工程と、前記比較に基づいて、前記束を前記関心点の位置までトラバースせよと、前記トラバースする前記束における割合又はページ数が含まれる、更新された指示を出力する工程と、を更に含む方法。

【0005】

主として、一側面において、本発明は、物理的文書の画像を処理し、前記物理的文書のデジタルサーチを可能にするためのプログラムを格納した、非一時的なコンピューター読取り可能な媒体（ＣＲＭ）のプログラムに関する。前記プログラムは、コンピューターに、前記物理的文書のデジタルコピーを取得させ、前記物理的文書内で関心点をサーチせよとの指示を受領させ、前記物理的文書を撮像して前記関心点が前記物理的文書の表面上にあると判定させ、プロジェクターを用いて、前記物理的文書の表面上に、前記関心点に物理的に重なる視覚補助要素を投影して前記物理的文書の表面上にある関心点を強調表示させるプログラムであり、前記物理的文書は複数の物理的文書の束内のページであり、前記デジタルコピーは前記束内の全てのページを含み、前記コンピューター読取り可能なプログラムコードは、コンピューターに更に前記束の最上位ページを撮像させ、前記関心点が前記最上位ページの表面上にあると判定させ、プロジェクターを用いて、前記最上位ページの表面上に、前記視覚補助要素を投影して前記最上位ページの表面上にある関心点を強調表示させるプログラムであり、前記プログラムは、コンピューターに更に前記最上位ページを撮像させ、前記関心点が前記最上位ページ上にないと判定させ、前記最上位ページを前記束のデジタルコピー内の前記関心点を含むページと比較させ、前記比較に基づいて、前記束を前記関心点の位置までトラバースせよと、前記トラバースする前記束における割合又はページ数が含まれる、更新された指示を出力させるプログラム。

【0006】

主として、一側面において、本発明は、物理的文書の画像を処理し、前記物理的文書のデジタルサーチを可能にするためのシステムに関する。前記システムは、メモリと、前記メモリに接続されたコンピュータプロセッサーを備える。前記コンピュータプロセッサーは、前記物理的文書のデジタルコピーを取得し、前記物理的文書内で関心点をサーチせよとの指示を受領し、前記物理的文書を撮像し、前記関心点が前記物理的文書の表面上にあると判定し、プロジェクターを用いて、前記物理的文書の表面上に、前記関心点に物理的に重なる視覚補助要素を投影して前記物理的文書の表面上にある関心点を強調表示するシステムであり、
前記物理的文書は複数の物理的文書の束内のページであり、
前記デジタルコピーは前記束内の全てのページを含み、
前記コンピュータプロセッサーは、更に
前記束の最上位ページを撮像し、
前記関心点が前記最上位ページの表面上にあると判定し、
プロジェクターを用いて、前記最上位ページの表面上に、前記視覚補助要素を投影して前記最上位ページの表面上にある関心点を強調表示するシステムであり、
前記コンピュータプロセッサーは、更に
前記最上位ページを撮像し、前記関心点が前記最上位ページ上にないと判定し、
前記最上位ページを前記束のデジタルコピー内の前記関心点を含むページと比較し、
前記比較に基づいて、前記束を前記関心点の位置までトラバースせよと、前記トラバースする前記束における割合又はページ数が含まれる、更新された指示を出力するシステム。

【0007】

本発明のその他の側面は、以下の説明及び添付の特許請求の範囲から明らかとなる。

【図面の簡単な説明】

【0008】

【図1】図１は、本発明の一以上の実施形態に係るシステムを示す。

【図2】図２は、本発明の一以上の実施形態に係るフローチャートを示す。

【図3】図３は、本発明の一以上の実施形態に係る実行例を示す。

【図4】図４Ａ～４Ｃは、本発明の一以上の実施形態に係る追加の実行例を示す。

【図5】図５は、本発明の一以上の実施形態に係るコンピューティングシステムを示す。

【発明を実施するための形態】

【0009】

本発明の具体的な実施形態を、添付の図面を参照して詳細に説明する。複数の図における同様の構成要素は、一貫性を保つため、同様の参照符号で示される。

【0010】

以下の本発明の実施形態の詳細な説明では、本発明がより十分に理解されるよう、具体的な詳細が多数示されている。しかし、当業者にとっては、これらの具体的な詳細なしで本発明が実施可能であることは明らかであろう。他の例では、説明を不必要に複雑にしないよう、周知の特徴について詳細に説明していない。

【0011】

主として、本発明の実施形態は、物理的文書の画像を処理して物理的文書のデジタルサーチを可能にするための方法、非一時的なコンピューター読取り可能な媒体（ＣＲＭ）、及びシステムを提供する。具体的には、一つの物理的文書又は物理的文書の束は、インタラクティブキャプチャを伴う投影（Projection with Interactive Capture（ＰＩＣ））装置を用いて撮像され、電子文書（すなわち、物理的文書のデジタルコピー）としてメモリに記憶される。ＰＩＣ装置は、以下図３において詳細に説明するが、撮像部（例えば、２次元及び/又は３次元のイメージャー）及び投影部（例えば、プロジェクター）を備え、撮像部と投影部はＡＲメガネを要しないＡＲ環境を作成するために連携して動作する。物理的文書又は束の内容内で関心点（例えば、テキスト文字、非テキスト文字、表、図、グラフ等）をサーチせよとのユーザー指示を受領すると、ＰＩＣ装置はデジタルコピー上でデジタル文書サーチワークフローを行い、関心点を特定するための指示を出力する。ユーザーが関心点を含む物理的文書に到達すると、ＰＩＣ装置はプロジェクターを用いて物理的文書の表面上の関心点を強調する。

【0012】

図１は、本発明の一以上の実施形態に係るシステム（１００）を示す。図１に示すように、システム（１００）は例えば、バッファ（１０２）、撮像エンジン（１０６）、サーチエンジン（１０８）及び表示エンジン（１１０）を含む複数の構成要素を有する。これら構成要素（１０２、１０６、１０８及び１１０）はそれぞれ、同じコンピューティング装置（例えばパーソナルコンピューター（ＰＣ）、ノート型コンピューター、タブレット型ＰＣ、スマートフォン、多機能プリンター、キオスク、サーバー、ＰＩＣ装置等）に配置されるか、若しくは有線及び/又は無線セグメントを有する任意のサイズのネットワークによって接続された異なるコンピューティング装置に配置されてよい。それぞれの構成要素を以下で説明する。

【0013】

バッファ（１０２）は、ハードウェア（すなわち、回路）、ソフトウェア又はそれらの任意の組合せで実行できる。バッファ（１０２）は、撮像された一つの物理的文書又は物理的文書の束のデジタルコピー（１０４）を記憶するように構成される。複数のデジタルコピー（１０４）がバッファ（１０２）に記憶されてよい。

【0014】

デジタルコピー（１０４）は、撮像された物理的文書の電子バージョンでもよい。デジタルコピー（１０４）は任意の画像様式（例えば、ＪＰＥＧ画像、ＧＩＦ画像、ＢＭＰ画像、ＴＩＦＦ画像、ＰＤＦ文書等）でバッファ（１０２）に保存され得る。また、物理的文書は、片面、両面、または片面と両面を組み合わせた文書でよい。

【0015】

システム（１００）は、撮像エンジン（１０６）を備える。撮像エンジン（１０６）はハードウェア（すなわち回路）、ソフトウェア、又はそれらの任意の組合せで実行できる。撮像エンジン（１０６）は物理的文書を撮像し、デジタルコピー（１０４）を作成する。

【0016】

さらに、撮像エンジン（１０６）は、物理的文書のデジタル画像を得ることができる２次元及び/又は３次元イメージャー（例えば、カメラや、一以上のカメラの組合せ等）を備えてもよい。

【0017】

デジタルコピー（１０４）は、撮像エンジン（１０６）によって作成される。あるいは、デジタルコピー（１０４）は、システム（１００）と通信している多機能周辺装置（例えば、スキャナを備えるプリンター）又は自動給紙装置（ＡＤＦ）などの外部装置によって作成されてもよい。

【0018】

システム（１００）は更に、サーチエンジン（１０８）を備える。サーチエンジン（１０８）はハードウェア（すなわち、回路）、ソフトウェア、又はそれらの任意の組合せで実行できる。サーチエンジン（１０８）は、デジタルコピー（１０４）内の内容上でコンピュータライズされたサーチ機能（すなわち、デジタル文書サーチワークフロー）を行う。

【0019】

サーチエンジン（１０８）は、デジタルコピー（１０４）に対して光学的文字認識及び非テキスト内容分析を行い、デジタルコピー（１０４）内の内容（例えば、テキスト文字、非テキスト文字、表、図、グラフ等）を特定する。デジタルコピー（１０４）内の内容は、特定されると、サーチエンジン（１０８）によるサーチが可能になる。デジタルコピー（１０４）内の内容を正確に特定できる任意の画像処理プログラム（例えば、単語認識プログラム、表認識プログラム等）がサーチエンジン（１０８）によって利用されてよい。

【0020】

デジタルコピー（１０４）内で関心点（例えば、テキスト文字、非テキスト文字、表、図、グラフ等）をサーチせよとのユーザー指示を受領すると、サーチエンジン（１０８）は、デジタルコピー（１０４）をサーチしてデジタルコピー（１０４）内の全ての関心点の例を特定する。ユーザー指示は任意の入力装置（例えば、キーボード、タブレット、マイクロフォン等）を介してサーチエンジン（１０８）に入力されてよい。

【0021】

サーチエンジン（１０８）は、関心点の例の数を含む情報をユーザーに伝える。テキストの視覚表示、音声での伝達、視覚テキスト及び音声の組み合わせ、又はユーザーに情報を明確に伝えることが可能な任意の適した方法を用いて指示が伝えられてもよい。関心点は、デジタルコピー（１０４）内に一度だけ現れる（すなわち、関心点の例が一つだけある）こともある。あるいは、関心点は、デジタルコピー（１０４）内に複数回現れる（すなわち、関心点の例が複数ある）こともある。

【0022】

サーチエンジン（１０８）は、更にユーザーから関心点の例の一つを、要求された関心点の例として特定せよとの指示を受領する。デジタルコピー（１０４）内に関心点の例が一つだけある場合は、当該一つの例がサーチエンジン（１０８）によって要求された例として特定される。あるいは、サーチエンジン（１０８）は、当該一つの例を要求された例として指定するユーザーからの指示を受領するまで待機する。

【0023】

サーチエンジン（１０８）は、更にデジタルコピー（１０４）内の要求された例の位置を特定し、要求された例の物理的位置の情報を含む指示を作成する。テキストの視覚表示、音声での伝達、視覚テキスト及び音声の組み合わせ、又はユーザーに指示を明確に伝えることが可能な任意の適した方法を用いて指示が伝えられてもよい。

【0024】

文書の束を撮像する場合、サーチエンジン（１０８）によって作成される指示は特性の異なる情報を含んでもよい。指示は、Ｘを０より大きい正の整数とすると、束のＸパーセントをトラバースするようにユーザーに指示する情報を含んでもよい。例えば、関心点が束内でおよそ６０％の深さにあるとする。サーチエンジンによって作成される指示は、例えば、「束の６０％をトラバースしてください」となる。

【0025】

あるいは、Ｎを、束に残っているページの合計ページ数及び/又は束の合計ページ数よりも小さい０より大きい正の整数だとすると、指示は、ユーザーに束の任意の方向でＮページ分のトラバースをするよう指示する情報を含んでもよい。例えば、関心点が現在撮像されている束の最上位ページより５ページ下にあるとする。サーチエンジンによって作成される指示は、例えば、「５ページ分進んでください」となる。別の例として、ユーザーが既に束の一部をトラバースしてユーザーが現在扱っているページより２ページ前で関心点が特定されたとする。サーチエンジンによって作成される指示は、例えば、「２ページ分戻ってください」となる。

【0026】

サーチエンジン（１０８）は、上記したものの組み合わせ及び/又はユーザーが物理的文書の束内の関心点の位置を正しく特定するのを助ける任意のやり方を用いて指示を編集してよい。

【0027】

ユーザーが束をトラバースしている間、撮像エンジン（１０６）によって束が継続して撮像されてもよいし、サーチエンジン（１０８）は撮像されている束の最上位ページに基づいて関心点を見つけるための指示を継続して更新してもよい。あるいは、ユーザーが束のトラバースを停止したと判定した場合（例えば、ユーザーの体の一部が画像内に検出されない場合、束の同じ画像が所定時間継続して撮像されている場合、等）のみ撮像エンジン（１０６）は束を撮像し、束が撮像された場合のみ、サーチエンジン（１０８）は関心点の位置を見つけるための指示を更新する。

【0028】

関心点の要求された例はサーチエンジン（１０８）によって最も優先されてもよい。例えば、関心点の例が複数あり、ユーザーが束を先までトラバースし過ぎて要求された例とは異なる関心点の例に到達したとする。サーチエンジン（１０８）は、撮像されている現在のページ上の例よりも要求された例の方を優先し、要求された例を見つけるためにユーザーに指示する更新された指示を作成する。

【0029】

システム（１００）は表示エンジン（１１０）を更に備える。表示エンジン（１１０）は、ハードウェア（すなわち、回路）、ソフトウェア、又はそれらの任意の組合せにより実現される。表示エンジン（１１０）は、一以上の光、効果及び/又は画像を表示して、物理的文書の束の周辺に、ＡＲ環境を作成する。表示エンジン（１１０）によりAR環境の投影を行うことで、ARメガネは不要となる。この点は、図３において以下でより詳細に例示される。

【0030】

表示エンジン（１１０）はプロジェクターを備えてもよい。表示エンジン（１１０）は、プロジェクターを用いて、サーチエンジン（１０８）により作成された指示を表示するよう束から所定の距離以内の表面へ一以上の光、効果及び/又は画像を投影する。所定の距離は、物理的文書又はその束によって占められている領域と重ならないプロジェクターの適用範囲内の任意の距離でよい。この点は、以下図４Ｂでより詳細に例示される。

【0031】

さらに、表示エンジン（１１０）は、プロジェクターを用いて、一以上の光、効果及び/又は画像を投影して物理的文書の表面上の関心点及び関心点の周囲の所定領域を強調表示する。関心点の周囲の所定領域は、他の内容と重ならず、関心領域が表示エンジン（１１０）によって強調表示されているとユーザーが容易に判断できる任意の大きさでよい。この点は、以下図４Ｃでより詳細に例示される。

【0032】

物理的文書上に現れた関心点の一つの例のみが任意の決められた時間に強調表示されてよい。あるいは、物理的文書上に現れた関心点の複数の例が同じ時間に強調表示されてもよい。

【0033】

システム（１００）は４つの要素（１０２、１０６、１０８及び１１０）を持つものとして示されているが、本発明の他の実施形態では、システム（１００）はより多くの又はより少ない要素を有してよい。さらに、上記の各要素の機能は要素間をまたいで分割してもよい。さらに、各要素（１０２、１０６、１０８及び１１０）は反復操作を行うために複数回利用されてもよい。

【0034】

図２は、本発明の一以上の実施形態に係るフローチャートを示す。具体的には、このフローチャートは、物理的文書の画像を処理して物理的文書のデジタルサーチを可能にする工程を説明するものである。図２のステップのうち一以上は、図１を参照しながら上記で説明したシステム（１００）の要素によって実施され得る。本発明の一以上の実施形態において、図２のステップのうち一以上を省略し、繰り返し、及び/又は図２に示される順序とは異なる順序で実施してもよい。したがって、本発明の範囲は、図２に示される具体的なステップの配置に限定されると考えられるべきではない。

【0035】

まず、物理的文書の束のデジタルコピーが取得される（ステップ２０５）。当該デジタルコピーは任意の情報源から取得されてよく（例えば、ダウンロード、スキャン等）、任意のサイズや形式でよい。デジタルコピーは物理的文書の束内の各ページの画像を含めてよい。デジタルコピー上の光学文字認識及び非テキスト内容分析を行ってデジタルコピー内の内容（例えば、テキスト文字、非テキスト文字、表、図、グラフ等）を特定してもよい。

【0036】

ステップ２１０では、図１を参照して上述したように、束内の関心点（すなわち、要求された関心点）をサーチせよとの指示をユーザーから受領する。指示は、入力装置（例えば、キーボード、マイクロフォン、タッチパッド等）を介して直接入力により受領されてよい。

【0037】

ステップ２１５では、図１を参照して上述したように、ステップ２１０で受領された要求された関心点のサーチが束内で行われ、ステップ２２０では、ユーザーに対して、束内の関心点の位置まで束をトラバースせよとの指示を出力する（例えば、投影する）。束内に関心点がない場合は、関心点が束内にないという通知が指示の代わりに投影される。

【0038】

ステップ２２５では、図１を参照して上述したように、関心点の位置に到達したか否かを判定するために束の最上位ページが撮像され、ステップ２３０において、撮像されている最上位ページ上に関心点があるか否かが判定される。

【0039】

束は、ユーザーが束をトラバースしている間継続して撮像されてもよく、関心点を見つけるための指示は撮像されている束の最上位ページに基づいて継続的に更新されてもよい。あるいは、ユーザーが束をトラバースするのを停止した時のみ束が撮像され、束が撮像されたときのみ関心点を見つけるための指示が更新されてもよい。

【0040】

ステップ２３０でYESと判定された場合、処理はステップ２３５に進み、図１を参照して上述したように、ユーザーに見えるように束の最上位ページの表面上で関心点が強調表示される。

【0041】

ステップ２３０でNOと判定された場合、最上位ページはデジタルコピー内の関心点を含むページと比較される。その後、ステップ２４５において、束をトラバースせよとの更新された指示がユーザーに対して出力（例えば、伝達）され、処理はステップ２２５へ戻る。

【0042】

関心点の要求された例は最も優先される。例えば、関心点の例が複数あり、ユーザーが束を先までトラバースし過ぎて要求された例とは異なる関心点の例に到達したとする。撮像されている現在のページ上の例よりも要求された例の方が優先される。その結果、ステップ２４５にて作成された更新された指示は要求された例に基づくものになる。

【0043】

束内に関心点の例が複数ある場合、ユーザーから異なる例（例えば、前の例、次の例、２番目の例、５番目の例等）を探すようにとの指示が受領されると、図２の処理が関心点の各々の例について繰り返される。

【0044】

一以上の実施形態の上記処理は物理的文書が束である状況について述べるのに使用したが、同じ処理は、一枚の物理的文書だけがサーチされる状況にも適用される。物理的文書が一枚だけサーチされる場合、図２のフローチャート内のあるステップ（例えば、ステップ２２０、２３０、２４０及び２４５）は省略もしくは変更されてよい。例えば、ステップ２２０において、束をトラバースせよとの指示は出力されず、関心点がない場合は、関心点が束内にないという通知が投影される。

【0045】

図３は、本発明の一以上の実施形態に係る実行例を示す。図３に示すように、インタラクティブキャプチャを伴う投影装置（ＰＩＣ装置）（３０１）は、撮像部（例えば、２次元及び/又は３次元イメージャー）及び投影部（例えば、プロジェクター）を備える。撮像部と投影部は連携して動作し、物理的文書（３０５）を取り囲む所定領域の辺りにＡＲ環境（３０３）を生成する。デジタルコンテンツ（３０７Ａ～３０７Ｃ）は、ユーザーに対してＡＲ環境（３０３）内に投影される（すなわち、表示される）。図３に示す構成によれば、ＡＲメガネの着用を要さずに、ＡＲを用いて物理的世界からデジタル世界へ橋渡しをすることができる。またＰＩＣ装置は、図１を参照しながら上述したように、システム（１００）を用いて制御されてもよい。

【0046】

図４Ａ～４Ｃは、一以上の実施形態に係る実行例を示す。図４Ａに示すように、物理的文書の束（４０３）が図３を参照して上述されたＰＩＣ装置（３０１）によって撮像される。ＰＩＣ装置（３０１）は、束（４０３）の各ページが撮像されると、束（４０３）のデジタルコピーを作成する。

【0047】

図４Ｂは、ＰＩＣ装置（３０１）がユーザーからの指示の受領に応じて関心点に到達するためにユーザーに束（４０３）をトラバースせよと指示する一連の指示（４０３）を投影するところを示す。図４Ｂで分かるように、ユーザーは、ＰＩＣ装置（３０１）に束（４０３）内で「１８年度状況報告」というフレーズ（すなわち、関心点）を見つけよとの音声コマンドを発する。束（４０３）のデジタルコピーをサーチし、束（４０３）の最上位ページを撮像すると、ＰＩＣ装置（３０１）は、関心点に到達するためにユーザーに「２ページ下までトラバース」するように指示する指示を投影する。指示（４０３）は音声形式でＰＩＣ装置（３０１）によって伝えられてもよい。

【0048】

図４Ｃは、ＰＩＣ装置（３０１）がユーザーが束（４０３）内の関心点を含むページに到達した際に強調表示領域（４０５）を投影するところを示す。図４Ｃにて分かるように、ユーザーは、束（４０３）内の「１８年度状況報告」というフレーズを含むページに到達している。当該ページが撮像され、そのページが当該フレーズを含むと判定されると、ＰＩＣ装置（３０１）は、そのフレーズ上に光、効果及び/又は画像の一以上を投影して、ユーザーに見えるように、束（４０３）の表面上でフレーズが明確に識別されるように強調表示領域（４０５）を作成する。

【0049】

本発明の実施形態は、使用するプラットフォームにかかわらず、事実上あらゆる種類のコンピューティングシステムで実行できる。例えば、コンピューティングシステムは、一以上の可搬装置（例えば、ノート型コンピューター、スマートフォン、パーソナルデジタルアシスタント、タブレット型コンピューター又はその他の可搬装置）、デスクトップコンピューター、サーバー、サーバーシャーシにおけるブレード、又は本発明の一以上の実施形態を実施するための最低限の処理能力、メモリ及び入出力装置を少なくとも備えるその他の種類の一以上のコンピューティング装置であってよい。例えば図５に示すように、コンピューティングシステム（５００）は、一以上のコンピュータプロセッサー（５０２）、関連するメモリ（５０４）（例えば、ランダムアクセスメモリ（ＲＡＭ）、キャッシュメモリ、フラッシュメモリ等）、一以上の記憶装置（５０６）（例えば、ハードディスク、コンパクトディスク（ＣＤ）ドライブやデジタル多用途ディスク（ＤＶＤ）ドライブといった光ドライブ、フラッシュメモリスティック等）、その他多くの構成要素及び機能を有してよい。コンピュータプロセッサー（５０２）は、指示を処理するための集積回路でもよい。例えば、コンピュータプロセッサーは、一以上のコア又はプロセッサーのマイクロコアでもよい。また、コンピューティングシステム（５００）は、タッチスクリーン、キーボード、マウス、マイク、タッチパッド、電子ペン、又はその他の種類の入力装置といった一以上の入力装置（５１０）を備えてよい。また、コンピューティングシステム（５００）は、スクリーン（例えば、液晶ディスプレイ（ＬＣＤ）、プラズマディスプレイ、タッチスクリーン、ブラウン管（ＣＲＴ）モニター、プロジェクター、又はその他の表示装置）、プリンター、外部記憶装置、又はその他の出力装置等、一以上の出力装置（５０８）を備えてよい。一以上の出力装置は、入力装置と同じでも良いし、異なってもよい。コンピューティングシステム（５００）は、ネットワークインターフェース接続（図示なし）を介してネットワーク（５１２）（例えば、ローカルエリアネットワーク（ＬＡＮ）、インターネット等の広域ネットワーク（ＷＡＮ）、モバイルネットワーク、又はその他の種類のネットワーク）に接続されてよい。入力装置と出力装置は、ローカルにまたはリモートに（例えば、ネットワーク（５１２）を介して）コンピュータプロセッサー（５０２）、メモリ（５０４）及び記憶装置（５０６）に接続されてよい。コンピューティングシステムには多くの異なる種類があり、前述の入力装置及び出力装置は他の形態をとってもよい。

【0050】

本発明の実施形態を実施するためのコンピューター読取り可能なプログラムコードの形態をとるソフトウェア指示は、全て又は一部が、一時的に又は恒久的に、ＣＤ、ＤＶＤ、記憶装置、ディスケット、テープ、フラッシュメモリ、物理メモリ、又はその他のコンピューター読取り可能な記憶媒体といった非一時的なコンピューター読取り可能な媒体に記憶されてよい。具体的には、ソフトウェア指示は、プロセッサーによって実行された際に本発明の実施形態を実施するように構成されたコンピューター読取り可能なプログラムコードに相当し得る。

【0051】

更に、前述のコンピューティングシステム（５００）の構成要素は、そのうち一つ以上が遠隔に配され、ネットワーク（５１２）を介してその他の構成要素と接続されてもよい。また、本発明の一以上の実施形態は、複数のノードを有する分散システム上で実施されてもよく、本発明の各部は、分散システム内の異なるノード上に位置してもよい。本発明の一実施形態では、ノードは別個のコンピューティング装置に相当する。あるいは、ノードは関連する物理メモリを有するコンピュータプロセッサーに相当してもよい。あるいは、ノードは、共有メモリ及び/又は情報源を有するコンピュータプロセッサー又はコンピュータプロセッサーのマイクロコアに相当してもよい。

【0052】

本発明の一以上の実施形態は、以下のうち一以上の効果を有し得る:ユーザーが文書の物理的コピーとの相互作用を望む場合に、物理的世界とデジタル世界との橋渡しができる;ユーザーはＡＲメガネを装着せずにＡＲ環境と相互作用できる; 物理的文書のデジタルコピーの位置を知らずにコンピュータライズされたサーチ機能を用いて物理的文書を処理することができる；物理的文書のデジタルコピーに直接アクセスすることなく（すなわち、ユーザーが文書の物理的コピーのみを利用可能であるとき）コンピュータライズされたサーチ機能を用いて物理的文書を処理することができる；ユーザーが文書の物理的コピーを扱うことを好む場合にコンピュータライズされたサーチ機能を用いて物理的文書を処理することができる；など。

【0053】

限られた数の実施形態に関連して本発明を説明したが、本開示の恩恵に浴する当業者であれば、ここに開示された本発明の範囲から逸脱しない他の実施形態が考案可能であると分かるだろう。したがって、本発明の範囲は、添付の特許請求の範囲によってのみ限定されるものである。

【図1】

【図2】

【図3】

【図4A】

【図4B】

【図4C】

【図5】