特許 7172030 表示装置及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-11-08

(45)【発行日】2022-11-16

(54)【発明の名称】表示装置及びプログラム

(51)【国際特許分類】

   G06F 3/0483 20130101AFI20221109BHJP

   H04N 1/00 20060101ALI20221109BHJP

   H04N 5/64 20060101ALI20221109BHJP

   G06T 19/00 20110101ALI20221109BHJP

【ＦＩ】

G06F3/0483

H04N1/00 C

H04N5/64 511A

G06T19/00 600

【請求項の数】 12

(21)【出願番号】P 2017233940

(22)【出願日】2017-12-06

(65)【公開番号】P2019101886

(43)【公開日】2019-06-24

【審査請求日】2020-11-19

(73)【特許権者】

【識別番号】000005496

【氏名又は名称】富士フイルムビジネスイノベーション株式会社

(74)【代理人】

【識別番号】110002583

【氏名又は名称】弁理士法人平田国際特許事務所

(72)【発明者】

【氏名】佐々木 裕丈

(72)【発明者】

【氏名】高野 健太郎

(72)【発明者】

【氏名】安岡 大輔

(72)【発明者】

【氏名】服部 圭悟

(72)【発明者】

【氏名】林 光雄

(72)【発明者】

【氏名】寺部 宏基

【審査官】塩屋 雅弘

(56)【参考文献】

【文献】特開２０１７－１８２６４７（ＪＰ，Ａ）

【文献】特開２０００－２４２３９０（ＪＰ，Ａ）

【文献】特開２０１３－０９７５４９（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１３／０１０６８０９（ＵＳ，Ａ１）

【文献】特開２０１６－２０５９７４（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１７／０３０１２６１（ＵＳ，Ａ１）

【文献】米国特許出願公開第２０１４／００９８１３２（ＵＳ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｆ ３／０１

３／０３ － ３／０３９

３／０４１－ ３／０４８９５

３／１４ － ３／１５３

Ｈ０４Ｎ １／００

Ｈ０４Ｎ ５／６４

Ｇ０６Ｔ １９／００

(57)【特許請求の範囲】

【請求項1】

ユーザに装着されるディスプレイと、
本表示装置以外の他の装置に関する冊子であって、前記他の装置に対する 前記ユーザの操作に対応する前記冊子の参照先のページを示すページ情報を前記冊子に対応する電子文書から取得する取得手段と、
取得された前記ページ情報に対応する前記冊子の小口上の位置を特定する特定手段と、
特定された前記小口上の位置を指し示す画像を、前記ユーザが装着している前記ディスプレイ越しに見える前記小口に重畳表示するよう制御する表示制御手段と、
を備えた表示装置。

【請求項2】

ユーザに装着されるディスプレイと、
本表示装置以外の他の装置に関する冊子であって、前記他の装置に対する 前記ユーザの操作に対応する前記冊子の参照先のページを示すページ情報を前記冊子に対応する電子文書から取得する取得手段と、
前記冊子が開かれたページを示すページ情報を認識する認識手段と、
認識された前記ページ情報が取得された前記ページ情報と異なる場合に、前記参照先のページを指し示す画像を、前記ユーザが装着している前記ディスプレイ越しに見える前記冊子に重畳表示するよう制御する表示制御手段と、
を備えた表示装置。

【請求項3】

前記他の装置で行われている処理が中断した場合に、その原因に応じたエラー情報を受信する受信手段、をさらに備え、
前記取得手段は、前記エラー情報に基づいて、中断した原因又は対処方法を記載したページを示す前記ページ情報を取得する、
請求項１又は２に記載の表示装置。

【請求項4】

前記受信手段が前記他の装置で行われる処理が再開されたことを示す情報を受信した場合は、前記表示制御手段は、前記画像を非表示にするよう制御する、
請求項３に記載の表示装置。

【請求項5】

前記冊子が開かれたページを示すページ情報を認識する認識手段をさらに備え、
前記取得手段は、前記ページ情報とともに参照先の箇所を取得し、
前記表示制御手段は、前記参照先の箇所を指し示す画像を、前記認識手段により認識された前記ページ上に重畳表示するよう制御する、
請求項１又は３に記載の表示装置。

【請求項6】

前記表示制御手段は、前記参照先の箇所に対応する操作の次に行うべき操作に対応する参照先のページを指し示す画像を前記冊子の小口上に重畳表示するよう制御する、
請求項５に記載の表示装置。

【請求項7】

認識された前記ページ情報が、取得された前記ページ情報と同じである場合は、前記表示制御手段は、前記参照先のページを指し示す画像を非表示にするよう制御する、
請求項５に記載の表示装置。

【請求項8】

前記冊子が開かれたページを示すページ情報を認識する認識手段をさらに備え、認識された前記ページ情報が取得された前記ページ情報と同じである場合は、前記表示制御手段は、前記開かれたページの参照先の箇所を指し示す画像を重畳表示するよう制御する、
請求項１又は３に記載の表示装置。

【請求項9】

ユーザに装着されるディスプレイと、
他の装置の表示画面に表示されている情報を受信する受信手段と、
受信された前記情報に対応する冊子であって、前記他の装置に対する前記ユーザの操作に対応する前記冊子の参照先のページを示すページ情報を前記冊子に対応する電子文書から取得する取得手段と、
取得された前記ページ情報に対応する前記冊子の小口上の位置を特定する特定手段と、
特定された前記小口上の位置を指し示す画像を、ユーザが装着している本装置に設けられたディスプレイ越しに見える前記小口に重畳表示するよう制御する表示制御手段と、
を備えた表示装置。

【請求項10】

前記冊子が開かれたページを示すページ情報を認識する認識手段をさらに備え、
前記取得手段は、前記ページ情報とともに参照先の箇所を取得し、
前記表示制御手段は、前記参照先の箇所を指し示す画像を、前記認識手段により認識された前記ページ上に重畳表示するよう制御する、
請求項９に記載の表示装置。

【請求項11】

前記取得手段は、前記参照先の複数のページを示す複数のページ情報、及び前記複数のページの参照先の順位を示す順位情報を取得し、
前記特定手段は、前記複数のページ情報に対応する前記冊子の小口上の複数の位置を特定し、
前記表示制御手段は、特定された前記小口上の複数の位置及び前記順位を指し示す画像を、前記小口に重畳表示するよう制御する、
請求項１又は９に記載の表示装置。

【請求項12】

ユーザに装着されるディスプレイを有するコンピュータを、
前記ディスプレイ以外の他の装置に関する冊子であって、前記他の装置に対する 前記ユーザの操作に対応する前記冊子の参照先のページを示すページ情報を前記冊子に対応する電子文書から取得する取得手段と、
取得された前記ページ情報に対応する前記冊子の小口上の位置を特定する特定手段と、
特定された前記小口上の位置を指し示す画像を、前記ユーザが装着している前記ディスプレイ越しに見える前記小口に重畳表示するよう制御する表示制御手段、
として機能させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、表示装置及びプログラムに関する。

【背景技術】

【0002】

近年、実空間に存在する書籍のページをめくるような操作感をユーザに提供する表示装置が提案されている（例えば、特許文献１参照。）。

【0003】

特許文献１に記載された表示装置は、小口が正面を向くように起立した状態で電子書籍を表示画面に表示するとともに、表示画面に指を接触させる操作に応じて電子書籍のページをめくる制御を行う。

【先行技術文献】

【特許文献】

【0004】

【文献】特開２０１５－１１１３９２号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

機器に対する操作を補助する紙媒体のマニュアルを参照する場合に、マニュアルにおいてユーザが意図している操作を説明しているページを検索するには、マニュアルの目次ページから操作を説明していると思われる項目を探し出す必要があり、ページを検索するには時間がかかっている。

【0006】

本発明の課題は、ユーザが意図している操作に対応するページを冊子から検索する場合に、目次ページから探し出す場合と比較して検索にかかる時間を短縮することができる表示装置及びプログラムを提供することにある。

【課題を解決するための手段】

【0007】

［１］ユーザに装着されるディスプレイと、
本表示装置以外の他の装置に関する冊子であって、前記他の装置に対する前記ユーザの操作に対応する前記冊子の参照先のページを示すページ情報を前記冊子に対応する電子文書から取得する取得手段と、
取得された前記ページ情報に対応する前記冊子の小口上の位置を特定する特定手段と、
特定された前記小口上の位置を指し示す画像を、前記ユーザが装着している前記ディスプレイ越しに見える前記小口に重畳表示するよう制御する表示制御手段と、を備えた表示装置。
［２］ユーザに装着されるディスプレイと、
本表示装置以外の他の装置に関する冊子であって、前記他の装置に対する前記ユーザの操作に対応する前記冊子の参照先のページを示すページ情報を前記冊子に対応する電子文書から取得する取得手段と、
前記冊子が開かれたページを示すページ情報を認識する認識手段と、
認識された前記ページ情報が取得された前記ページ情報と異なる場合に、前記参照先のページを指し示す画像を、前記ユーザが装着している前記ディスプレイ越しに見える前記冊子に重畳表示するよう制御する表示制御手段と、を備えた表示装置。
［３］前記他の装置で行われている処理が中断した場合に、その原因に応じたエラー情報を受信する受信手段、をさらに備え、
前記取得手段は、前記エラー情報に基づいて、中断した原因又は対処方法を記載したページを示す前記ページ情報を取得する、前記［１］又は［２］に記載の表示装置。
［４］前記受信手段が前記他の装置で行われる処理が再開されたことを示す情報を受信した場合は、前記表示制御手段は、前記画像を非表示にするよう制御する、前記［３］に記載の表示装置。
［５］前記冊子が開かれたページを示すページ情報を認識する認識手段をさらに備え、
前記取得手段は、前記ページ情報とともに参照先の箇所を取得し、
前記表示制御手段は、前記参照先の箇所を指し示す画像を、前記認識手段により認識された前記ページ上に重畳表示するよう制御する、前記［１］又は［３］に記載の表示装置。
［６］前記表示制御手段は、前記参照先の箇所に対応する操作の次に行うべき操作に対応する参照先のページを指し示す画像を前記冊子の小口上に重畳表示するよう制御する、前記［５］に記載の表示装置。
［７］認識された前記ページ情報が、取得された前記ページ情報と同じである場合は、前記表示制御手段は、前記参照先のページを指し示す画像を非表示にするよう制御する、前記［５］に記載の表示装置。
［８］前記冊子が開かれたページを示すページ情報を認識する認識手段をさらに備え、認識された前記ページ情報が取得された前記ページ情報と同じである場合は、前記表示制御手段は、前記開かれたページの参照先の箇所を指し示す画像を重畳表示するよう制御する、前記［１］又は［３］に記載の表示装置。
［９］ユーザに装着されるディスプレイと、
他の装置の表示画面に表示されている情報を受信する受信手段と、
受信された前記情報に対応する冊子であって、前記他の装置に対する前記ユーザの操作に対応する前記冊子の参照先のページを示すページ情報を前記冊子に対応する電子文書から取得する取得手段と、
取得された前記ページ情報に対応する前記冊子の小口上の位置を特定する特定手段と、
特定された前記小口上の位置を指し示す画像を、ユーザが装着している本装置に設けられたディスプレイ越しに見える前記小口に重畳表示するよう制御する表示制御手段と、を備えた表示装置。
［１０］前記冊子が開かれたページを示すページ情報を認識する認識手段をさらに備え、
前記取得手段は、前記ページ情報とともに参照先の箇所を取得し、
前記表示制御手段は、前記参照先の箇所を指し示す画像を、前記認識手段により認識された前記ページ上に重畳表示するよう制御する、前記［９］に記載の表示装置。
［１１］前記取得手段は、前記参照先の複数のページを示す複数のページ情報、及び前記複数のページの参照先の順位を示す順位情報を取得し、
前記特定手段は、前記複数のページ情報に対応する前記冊子の小口上の複数の位置を特定し、
前記表示制御手段は、特定された前記小口上の複数の位置及び前記順位を指し示す画像を、前記小口に重畳表示するよう制御する、前記［１］又は［９］に記載の表示装置。
［１２］ユーザに装着されるディスプレイを有するコンピュータを、
前記ディスプレイ以外の他の装置に関する冊子であって、前記他の装置に対する前記ユーザの操作に対応する前記冊子の参照先のページを示すページ情報を前記冊子に対応する電子文書から取得する取得手段と、
取得された前記ページ情報に対応する前記冊子の小口上の位置を特定する特定手段と、
特定された前記小口上の位置を指し示す画像を、前記ユーザが装着している前記ディスプレイ越しに見える前記小口に重畳表示するよう制御する表示制御手段、
として機能させるためのプログラム。

【発明の効果】

【0008】

請求項１、１２に係る発明によれば、ユーザが意図している操作に対応するページを冊子から検索する場合に、目次ページから探し出す場合と比較して検索にかかる時間を短縮することができる。
請求項２に係る発明によれば、ユーザが開いたページが間違っていた場合は、正しいページの位置を示すことができる。
請求項３に係る発明によれば、処理が中断した場合、中断した原因又は対処方法に対応するページの位置を冊子又は小口に重畳表示することができる。
請求項４、７に係る発明によれば、表示したままとすることで紛らわしくなるのを抑制することができる。
請求項５に係る発明によれば、ユーザが参照先のページを開くと、当該ページの参照先の箇所を認識することができる。
請求項６に係る発明によれば、ユーザが次の操作に関して参照先のページの小口上の位置を認識することができる。
請求項８に係る発明によれば、ページを開いた場合は、小口を指し示す場合よりも参照先のページであることが分かりやすい。
請求項９に係る発明によれば、他の装置の表示に関してユーザが意図している操作に対応するページを冊子から検索する場合に、目次ページから探し出す場合と比較して検索にかかる時間を短縮することができる。
請求項１０に係る発明によれば、ユーザが参照先の箇所を認識することができる。
請求項１１に係る発明によれば、参照先のページが複数存在する場合、示された順位に従って冊子を参照することができる。

【図面の簡単な説明】

【0009】

【図1】図１は、本発明の実施の形態に係る表示システムの構成の一例を示す斜視図である。

【図2】図２は、画像形成装置の制御系の一例を示すブロック図である。

【図3】図３は、ヘッドマウントディスプレイ装置の制御系の一例を示す図である。

【図4】図４（ａ）～（ｄ）は、小口の位置及び姿勢を認識する方法を説明するための冊子の斜視図である。

【図5】図５（ａ）～（ｃ）は、参照先のページに対応する小口上の位置を指し示す指示画像の一例を示す図である。

【図6】図６（ａ）、（ｂ）は、参照先のページに対応する小口上の位置を指し示す指示画像の他の例を示す図である。

【図7】図７（ａ）～（ｅ）は、開いたページが間違っていた場合の指示画像の一例を示す図である。

【図8】図８は、ＨＭＤ装置の動作の一例を示すフローチャートである。

【図9】図９は、図８における画像認識処理の一例を示すフローチャートである。

【発明を実施するための形態】

【0010】

以下、本発明の実施の形態について図面を参照して説明する。なお、各図中、実質的に同一の機能を有する構成要素については、同一の符号を付してその重複した説明を省略する。

【0011】

［実施の形態の要約］
本発明の実施の形態に係る表示装置は、冊子の参照先のページを示すページ情報を取得する取得手段と、取得されたページ情報に対応する冊子の小口上の位置を特定する特定手段と、特定された小口上の位置を指し示す画像を、ユーザが装着している本装置に設けられたディスプレイ越しに見える小口に重畳表示するよう制御する表示制御手段と、を備える。

【0012】

「冊子」とは、ユーザが参照するものであって、書いたものや印刷したものをとじたものである。ユーザは、例えば、他の装置の利用者、管理者、サービス員等である。他の装置とは、画像形成装置、画像処理装置、情報処理装置等の自装置以外の装置をいう。

【0013】

「参照先のページ」とは、例えば、ユーザが意図している操作に対応して参照することを推奨するページをいう。操作には、設定、入力、選択、編集、消耗品の交換等の様々な操作が含まれる。参照先のページには、例えば、他の装置が処理を中断した場合に、それを回復するための操作に対応するページ、設定操作の途中にユーザが冊子を取り出した場合、設定操作の続きの操作に対応するページ、消耗品交換の時期を知らせる表示がされた場合に、消耗品の交換操作に対応するページ等が該当する。

【0014】

［実施の形態］
図１は、本発明の実施の形態に係る表示システムの構成の一例を示す斜視図である。

【0015】

この表示システム１は、冊子２が備えられた画像形成装置３と、ユーザの頭部に装着されるヘッドマウントディスプレイ装置（以下「ＨＭＤ装置」という。）４とを備える。画像形成装置３は、他の装置の一例である。ＨＭＤ装置４は、表示装置の一例である。

【0016】

画像形成装置３とＨＭＤ装置４とは、無線によって互いに接続可能になっている。なお、画像形成装置３とＨＭＤ装置４とを有線によって接続してもよい。

【0017】

冊子２は、ユーザが参照する画像形成装置３に関するマニュアルである。マニュアルは、例えば、見開きの形式になっている。ユーザは、例えば、画像形成装置３の利用者、管理者、サービス員等である。マニュアルには、主に利用者又は管理者が参照する操作マニュアル（取扱説明書ともいう。）、主サービス員が参照するサービスマニュアル等がある。操作マニュアルには、目次、画像形成装置３の操作方法、用語の説明、エラーコード、エラーの原因、エラーの対処方法等が記載されている。サービスマニュアルには、目次、部品交換方法、チェック方法、分解方法、交換部品リスト等が記載されている。また、マニュアルには、文字だけでなく、イラスト等が記載されている。

【0018】

画像形成装置３は、例えば、コピー機能、スキャン機能、プリント機能等の複数の機能を有する複合機である。画像形成装置３は、装置本体３ａと、装置本体３ａの側面に設けられ、冊子２が抜き差し可能に収容される収容部３ｂと、印刷された用紙が排出される用紙排出台３ｃと、ユーザの操作を受け付けるとともに、情報を表示する操作表示部３２と、原稿から画像を読み取る画像読取部３３とを備える。なお、冊子２は、画像形成装置３の収容部３ｂに収容されていなくてもよく、例えば、キャビネット等に収容されていてもよい。

【0019】

画像読取部３３は、原稿を原稿台に給紙する自動給紙装置３３０を有する。自動給紙装置３３０は、原稿が配置される原稿トレー３３１と、原稿が排出される原稿排出台３３２とを備える。

【0020】

ＨＭＤ装置４は、現実空間に仮想空間の画像（仮想画像、虚像ともいう。）が重畳するように表示するもの、すなわち仮想画像を仮想的に表示するものである。具体的には、ＨＭＤ装置４は、使用者の頭部に装着されるものであり、使用者が仮想画像を視認すると同時に現実空間（外景ともいう。）も直接視認可能な光透過方式の頭部装着型表示装置である。光透過方式の頭部装着型表示装置は、例えば、メガネ型でもゴーグル型でもよい。

【0021】

（画像形成装置の構成）
図２は、画像形成装置３の制御系の一例を示すブロック図である。画像形成装置３は、画像形成装置３の各部を制御する制御部３０と、各種の情報を記憶する記憶部３１と、操作表示部３２と、画像読取部３３と、画像処理部３４と、画像形成部３５と、エラー検出部３６と、無線通信部３７とを備える。

【0022】

制御部３０は、ＣＰＵ、インターフェース等によって実現され、プログラム３１０に従って動作して画像形成装置３の各部を制御する。

【0023】

記憶部３１は、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、ハードディスク等から構成され、プログラム３１０、装置基本情報３１１、装置状態情報３１２、履歴情報３１３、電子マニュアル３１４、電子マニュアル参照情報３１５等が記憶されている。

【0024】

装置基本情報３１１は、本装置３の機種、現在の日時等を含む。装置状態情報３１２は、稼働状況、各種スイッチの状態、オプションの情報、操作表示部３２の表示内容、エラーが発生している場合はエラーコード等を含む。履歴情報３１３は、操作履歴、故障履歴、部品交換履歴、使用頻度、コピー累積枚数、本装置３を使用したユーザの情報（ユーザＩＤ）等を含む。

【0025】

電子マニュアル３１４は、冊子２に対応する電子文書であり、例えば、複数の機種に共通になっている。なお、電子マニュアル３１４は、機種ごとに異なるものでもよい。

【0026】

電子マニュアル参照情報３１５には、電子マニュアル３１４の参照されたページ、項目番号、タイトル、キーワード及びそれらの回数がユーザＩＤごとに記録されている。

【0027】

操作表示部３２は、例えば、液晶ディスプレイ等の表示部にタッチパネルが重合配置されたタッチパネルディスプレイを有する。

【0028】

画像読取部３３は、例えば、上記自動給紙装置３３０と、スキャナとにより構成され、自動給紙装置３３０から給紙され原稿、又は原稿台に配置された原稿から画像データを読み取る。画像処理部３４は、画像の圧縮、伸長、合成等の画像処理を行う。画像形成部３５は、例えば、電子写真方式、インクジェット方式等により用紙等の記録媒体に画像を形成して用紙排出台３ｃに出力する。

【0029】

エラー検出部３６は、画像形成装置３が処理の実行中に発生したエラーを検出する。制御部３０は、エラー検出部３６が検出したエラーの原因に対応したエラーコードをＨＭＤ装置４に送信する。また、制御部３０は、画像形成装置３で中断した処理が再開された場合は、そのことを示す情報をＨＭＤ装置４に送信する。エラーコードは、エラー情報の一例である。

【0030】

無線通信部３７は、例えば、Ｗｉ－Ｆｉ（Wireless Fidelity）、Ｗｉ－Ｆｉダイレクト等の無線ＬＡＮ（Local Area Network）や、Ｂｌｕｅｔｏｏｔｈ（登録商標）、赤外線通信等の近距離無線通信を用いてＨＭＤ装置４と通信する。

【0031】

（ＨＭＤ装置の構成）
図３は、ＨＭＤ装置４の制御系の一例を示す図である。ＨＭＤ装置４は、頭部装着部４ａと、頭部装着部４ａにケーブル４ｂにより接続されたコントローラ４ｃとを備える。なお、コントローラ４ｃは、頭部装着部４ａを構成するフレームに設けられてもよい。

【0032】

頭部装着部４ａは、ユーザの頭部に装着されるメガネ型のフレームと、フレームに取り付けられ、可視光を透過する左右のレンズと、フレームに設けられた表示部４０と、フレームの中央に設けられ、前方の外景を撮影するカメラ４１とを備える。レンズは、ディスプレイの一例である。

【0033】

ＨＭＤ装置４は、頭部装着部４ａに設けられた表示部４０及びカメラ４１と、コントローラ４ｃに設けられた制御部４２、記憶部４３、入力装置４４及び無線通信部４５とを備える。

【0034】

表示部４０は、画像光を出射する出射源としての液晶ディスプレイを有し、画像光を仮想画像（虚像）として外景に投影するタイプでも、画像光をユーザの網膜に直接結像して投影するタイプでもよい。

【0035】

カメラ４１は、外景を撮影し、撮影した画像をケーブル４ｂを介してコントローラ４ｃの制御部４２に送る。カメラ４１が撮影する画像は、動画又は１秒間に複数枚撮影する静止画でもよい。

【0036】

制御部４２は、ＣＰＵ（Central Processing Unit）、インターフェース等から構成されている。ＣＰＵは、記憶部４３に記憶されたプログラム４３０に従って動作することにより受信手段４２１、決定手段４２２、認識手段４２３、特定手段４２４、表示制御手段４２５等として機能する。各手段４２１～４２５の詳細は後述する。決定手段４２２は、取得手段の一例である。

【0037】

記憶部４３は、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）等から構成され、プログラム４３０、電子マニュアル３１４、開始位置情報４３１、ユーザ情報（例えば、ユーザＩＤ）等が記憶される。

【0038】

電子マニュアル３１４は、画像形成装置３から取得したものである。開始位置情報４３１は、後述する決定手段４３３が決定した参照先のページを示すページ番号、参照先の箇所、参照先のページの順位等を含む。

【0039】

入力装置４４は、例えば、キーボード、タッチパネルディスプレイ等の入力手段を用いることができる。入力装置４４は、制御部４２に有線又は無線により接続される。なお、入力装置４４として画像形成装置３に備えられた操作表示部３２を利用してもよい。また、音声入力によりキーワードや各種の要求等を入力してもよい。

【0040】

無線通信部４５は、例えば、Ｗｉ－Ｆｉ、Ｗｉ－Ｆｉダイレクト等の無線ＬＡＮや、Ｂｌｕｅｔｏｏｔｈ、赤外線通信等の近距離無線通信を用いて画像形成装置３と通信する。

【0041】

受信手段４２１は、入力装置４４を操作して入力されたキーワードや各種の要求等を受け付ける。また、受信手段４２１は、画像形成装置３との間で通信が確立したとき、画像形成装置３から装置情報（装置基本情報３１１、装置状態情報３１２、履歴情報３１３）、電子マニュアル３１４、電子マニュアル参照情報３１５等を受信する。

【0042】

また、受信手段４２１は、画像形成装置３で行われている処理がエラーにより中断した場合に、その原因に応じたエラーコードを受信する。そして受信手段４２１は、画像形成装置３で行われる処理が再開された場合には、そのことを示す情報を受信する。

【0043】

決定手段４２２は、ユーザＩＤ、装置情報（装置基本情報３１１、装置状態情報３１２、履歴情報３１３）、電子マニュアル参照情報３１５及び入力されたキーワード等に基づいて、冊子２の参照先のページを示すページ番号、及び当該ページの参照先の箇所を決定する。参照先のページは、参照を開始すべきページのことである。参照先の箇所は、参照を開始すべき箇所のことである。以下、参照を開始すべきページ、及び参照先の箇所を「参照開始位置」ともいう。決定手段４２２は、複数の参照先のページを決定した場合は、参照先のページの順位を決定する。ページ番号は、ページ情報の一例である。順位を示す順位情報は、番号等でもよい。決定手段４２２は、決定した参照先のページを示すページ番号、参照先の箇所及び順位情報を参照開始位置情報３１４として記憶部４３に記憶する。

【0044】

決定手段４２２は、参照先のページを決定する場合、例えば、キーワードを含むページを参照先のページとして決定してもよい。また、決定手段４２２は、受信手段４２１が画像形成装置３から受信した装置状態情報３１２にエラーコードが含まれている場合や受信手段４２１がエラーコードを受信した場合は、エラーコードに基づいて、エラーの原因又は対処方法を記載したページを参照先のページ、又は参照先の箇所として決定してもよい。決定したページ番号及び参照先の箇所は電子マニュアル３１４から取得することができる。

【0045】

順位を決定する方法としては、例えば、次の方法が考えられる。
（ａ）装置基本情報３１１に含まれる画像形成装置３の機種に基づいて、同機種で参照される回数が多い順を順位としてもよい。この順位は、電子マニュアル参照情報３１５から取得することができる。
（ｂ）履歴情報３１３に含まれる操作履歴から直前の操作を抜き出し、その操作の次に行われた操作の回数が多い順を順位としてもよい。例えば、ユーザが行った直前の操作の次の操作についてマニュアルを参照したい場合が考えられる。この順位は、履歴情報３１３に含まれる操作履歴から取得することができる。
（ｃ）当該ユーザが過去に参照した回数が多い順を順位としてもよい。この順位は、電子マニュアル参照情報３１５から取得することができる。

【0046】

認識手段４２３は、カメラ４１により撮影された画像から冊子２の位置及び姿勢を認識し、さらに小口を認識する。認識手段４２３は、冊子２が開かれたページを示すページ番号を認識する。これらの詳細については後述する。

【0047】

特定手段４２４は、決定手段４２２により決定されたページ番号に対応する冊子２の小口上の位置を特定する。特定手段４２４は、決定手段４２２により決定されたページ番号が複数の場合は、複数の位置を特定する。

【0048】

特定手段４２４は、参照先のページに対応する小口上の位置を特定する方法として、例えば、認識手段４２３により認識された小口の位置に基づいて、画像における小口の厚さを認識し、電子マニュアル３１４から総ページ数を取得し、小口の厚さ及び総ページ数から参照先のページに対応する画像中の小口上の位置を特定する。

【0049】

表示制御手段４２５は、特定手段４２４により特定された小口上の位置を指し示す指示画像を、ユーザが装着している本装置４に設けられたディスプレイ越しに見える小口に重畳表示、すなわち仮想的に表示するよう制御する。そして、開かれたページが正しい場合、すなわち参照先のページである場合は、表示制御手段４２５は、参照先の箇所を指し示す指示画像を当該ページ上に重畳表示するよう制御する。このとき、小口に重畳表示していた指示画像を非表示にするよう制御する。参照先の箇所は、ページの冒頭箇所にあるとは限らないことから、参照先のページを開いた後に、当該ページの参照先の箇所を指示画像により示すことは、検索時間を短縮する上で好ましい。なお、参照先の箇所がページの冒頭箇所になっている場合には、表示制御手段４２５は、開かれたページの冒頭箇所を指し示す指示画像を当該ページ上に重畳表示するよう制御してもよい。

【0050】

また、表示制御手段４２５は、受信手段４２１が画像形成装置３からエラーコードを受信した場合、エラーコードに対応する冊子２の参照先のページを指し示す指示画像を冊子２の小口に重畳表示するよう制御する。また、表示制御手段４２５は、受信手段４２１が画像形成装置３で中断していた処理が再開されたことを示す情報を受信した場合は、指示画像を非表示にするよう制御する。

【0051】

また、表示制御手段４２５は、ユーザにより開かれたページが参照先のページと異なる場合は、特定手段４２４により特定された小口上の位置又はその位置に方向を指し示す指示画像を、ユーザが装着している本装置４に設けられたディスプレイ越しに見える小口に重畳表示するよう制御する。

【0052】

また、表示制御手段４２５は、参照先のページ又は参照先の箇所に対応する操作の次に行うべき操作に関して参照先のページを指し示す指示画像を、ユーザが装着している本装置４に設けられたディスプレイ越しに見える小口に重畳表示するよう制御する。参照先のページ又は参照先の箇所の次に行うべき操作に関して参照先のページは、例えば、電子マニュアル３１４にタイトルとともに記載されている項目番号から取得することができる。例えば、項目番号が「3.1.1」、そのタイトルが「設定内容の変更」であり、次の項目番号が「3.1.2」、そのタイトルが「設定内容の確定」の場合、現在行われている操作が「設定内容の変更」であれば、次に行うべき操作は、項目番号から「設定内容の確定」であることが分かる。

【0053】

そして、表示制御手段４２５は、冊子２が開かれたページが次に行うべき操作に関して参照先のページと異なる場合は、次に行うべき操作に対応するページを指し示す指示画像を、冊子に強調して重畳表示するよう制御する。強調して重畳表示する方法としては、例えば、目立つ色や大きい文字を用いてもよい。

【0054】

（冊子を認識する方法）
認識手段４２３は、カメラ４１により撮影された画像（撮影画像ともいう。）における冊子２の位置及び姿勢を認識する方法として、次の方法を採用してもよい。例えば、冊子２の表紙、裏表紙及び背に関する基準画像の特徴量を予め記憶部４３に記憶しておき、カメラ４１により得られた撮影画像から冊子２の特徴量を抽出し、抽出した特徴量と記憶部４３に記憶された基準画像の特徴量との間の類似度が予め定められた値を満たす場合に、撮影画像に含まれる対象物を冊子２であると認識し、撮影画像における冊子２の位置及び姿勢を認識する。

【0055】

冊子２の位置及び姿勢を認識する他の方法として、例えば、冊子２の予め定められた位置（例えば、表紙、裏表紙、背、小口等）に当該位置を示す認識コードを印刷等により形成しておき、画像から認識コードを認識することにより、撮影画像における冊子２の位置及び姿勢を認識してもよい。認識コードとしては、例えば、ＱＲコード（登録商標）等が考えられる。なお、認識コードは、事前に特徴点抽出を行っている任意の画像でもよい。また、認識コードは冊子２の表紙、裏表紙、背及び小口のそれぞれ又はいずれかに設けてもよい。冊子２の各面又は主要な面に認識コードを設けることにより、認識コードを設けない場合よりも冊子２の位置及び姿勢をより正確に認識することができる。

【0056】

（小口を認識する方法）
図４（ａ）～（ｄ）は、小口の位置及び姿勢を認識する方法を説明するための冊子２の斜視図である。図４（ａ）は、冊子２の一例を示す斜視図である。冊子２は、表紙２ａ、裏表紙２ｂ、背２ｃ及び小口２ｄを有する。図４（ａ）に示すように、小口２ｄには、３つの第１乃至第３の認識コード２０Ａ、２０Ｂ、２０Ｃ（これらを総称するときは「認識コード２０」という。）が印刷等により形成されている。３つの認識コード２０Ａ～２０Ｃは、同一のパターンを有している。すなわち、認識コード２０は、例えば、左上、右上、左下の３つの隅に位置検出パターン２１を有している。なお、認識コード２０は、位置検出パターン２１の他に、冊子２を識別する冊子ＩＤ、認識コードが設けられた位置を示す位置情報等のパターンを有していてもよい。

【0057】

これらの位置検出パターン２１の位置を認識することにより、冊子２の向きを認識することができ、表紙２ａが設けられている方向、すなわち１ページ目の側を認識することができる。小口２ｄに複数の認識コード２０を形成することにより、冊子２の一部が欠けて冊子２全体を撮影できない場合でも、小口２ｄの位置及び向きを認識することができる。例えば、３つの認識コード２０のうち、図４（ｂ）に示すように、第１の認識コード２０Ａのみが撮影された場合、図４（ｃ）に示すように、第２の認識コード２０Ｂのみが撮影されている場合、図４（ｄ）に示すように、第３の認識コード２０Ｃのみが撮影されている場合でも、３の位置検出パターン２１の配列から小口２ｄを認識することができ、表紙２ａが設けられている方向を認識することができる。図４（ｄ）場合は、冊子２が上下逆になっているために図４（ａ）に示すものに対して３つの位置検出パターン２１が上下逆の配置になっており、小口２ｄの右側が表紙２ａになっていることが分かる。

【0058】

（ページを認識する方法）
認識手段４２３は、例えば冊子２の各ページにページ番号を暗号化したコード画像を印刷等により形成し、撮影画像からコード画像を読み取ることでページ番号を認識してもよい。認識手段４２３は、コード画像から暗号化された情報を読み取り、読み取った情報を復号することで、ページ番号を認識する。なお、コード画像の代わりに記載内容を認識し、ページごとに文書情報から構成された電子文書と比較することでページ番号を認識してもよい。また、各ページの下部又は上部に印刷されたページ番号を認識してもよい。

【0059】

（小口上への表示例）
参照先のページに対応する小口上の位置を指し示す指示画像１０ａ～１０ｅ（これらを総括するときは「指示画像１０」ともいう。）としては、図５（ａ）～（ｃ）及び後述する図６（ａ）、（ｂ）に示すものを採用してもよい。

【0060】

図５（ａ）～（ｃ）は、参照先のページに対応する小口上の位置を指し示す指示画像の一例を示す図である。図５（ａ）に示す指示画像１０ａは、位置を示す矢印と、順位を示す数字とを組合せたものである。図５（ｂ）に示す指示画像１０ｂは、位置を示す矢印の太さで順位を示したものである。この場合、最も太い矢印が第１の順位である。図５（ｃ）に示す指示画像１０ｃは、位置を示す矢印の高さ方向の位置で順位を示したものである。この場合、最も高い位置の矢印が第１の順位である。

【0061】

図６（ａ）、（ｂ）は、参照先のページに対応する小口上の位置を指し示す指示画像の他の例を示す図である。図６（ａ）に示す指示画像１０ｄは、ゲージの目盛１１で位置を示し、数字で順位を示したものである。図６（ｂ）に示す指示画像１０ｅは、ゲージの目盛１１で位置を示し、目盛１１の大きさで順位を示したものである。

【0062】

（開いたページが間違っている場合の表示例）
開いたページが間違っていた場合の正しいページの方向を指し示す指示画像１２ａ～１２ｅ（これらを総括するときは「指示画像１２」ともいう。）としては、図７（ａ）～（ｅ）に示すものを採用してもよい。

【0063】

図７（ａ）～（ｅ）は、開いたページが間違っていた場合の指示画像の一例を示す図である。図７（ａ）に示す指示画像１２ａは、参照先のページの方向を矢印で示し、開く枚数を数字で示したものである。図７（ｂ）に示す指示画像１２ｂは、開く動作を矢印で示し、開く枚数を数字で示したものである。図７（ｃ）に示す指示画像１２ｃは、参照先のページが大きくずれていた場合に、参照先の位置を再度矢印で示し、開く枚数を数字で示したものである。図７（ｄ）、（ｅ）に示す指示画像１２ｄは、図７（ａ）に示した矢印と数字をページ内に表示したものである。なお、正しい位置を小口２ｄに表示してもよい。また、矢印の代わりに他の図形でもよい。さらに、順位は矢印の大きさの他に他の図形の大きさでもよい。

【0064】

（実施の形態の動作）
次に、表示システム１の動作の一例について説明する。図８は、ＨＭＤ装置４の動作の一例を示すフローチャートである。図９は、図８における画像認識処理の一例を示すフローチャートである。なお、画像認識処理の流れは、図９に示すものに限られない。

【0065】

ユーザがＨＭＤ装置４の入力装置４４を操作して、キーワードを入力するとともに、電子マニュアル３１４のキーワードに関連するページの表示要求を行うと、ＨＭＤ装置４の受信手段４２１は、キーワード、及び電子マニュアル３１４のページの表示要求を受け付ける（Ｓ１）。なお、キーワードを入力せずに電子マニュアル３１４のページの表示要求を行ってもよい。

【0066】

次に、決定手段４２２は、自装置４を使用するユーザのユーザＩＤを記憶部４３から取得し、画像形成装置３との間で通信を行い、画像形成装置３から装置情報として、装置基本情報３１１、装置状態情報３１２及び履歴情報３１３を受信し、電子マニュアル３１４及び電子マニュアル参照情報３１５を受信する（Ｓ２）。

【0067】

決定手段４２２は、受信した情報に基づいて、冊子２の参照開始位置（参照先のページのページ番号、及び参照先のページ中の参照先の箇所）及び参照先のページの順位を決定する（Ｓ３）。例えば、３つの参照先のページを決定した場合は、３つのページに対して参照先の順位を決定する。

【0068】

認識手段４２３は、カメラ４１が撮影した画像に含まれる表示対象を認識する画像認識処理を開始する（Ｓ４）。

【0069】

次に、図９を参照して画像認識処理について説明する。認識手段４２３は、カメラ４１から制御部４２に送信された画像中に冊子２を認識したか否かを判断する（Ｓ４０１）。冊子２を認識した場合（Ｓ４０１：Ｙｅｓ）、画像中に小口２ｄを認識したか否かを判断する（Ｓ４０２）。

【0070】

小口を認識した場合（Ｓ４０２：Ｙｅｓ）、特定手段４２４は、複数（例えば３つ）の参照開始位置を特定する。表示制御手段４２５は、小口２ｄに参照開始位置及び順位を指し示す指示画像（図５及び図６参照）を仮想的に表示するよう表示部４０を制御する（Ｓ４０３）。ユーザは指示画像を目印としてページを開けば、ユーザが意図している操作に対応するページを冊子から検索することができ、目次ページから探し出す場合と比較して検索にかかる時間を短縮することができる。

【0071】

認識手段４２３は、カメラ４１が撮影した画像に基づいて、ユーザが開いたページが正しいか否かを判断する（Ｓ４０４）。開いたページが参照開始位置に対応していれば、正しいページと判断する。

【0072】

ユーザが開いたページが正しくなければ（Ｓ４０４：Ｎｏ）、表示制御手段４２５は、図７に示すように、正しいページの方向を示す指示画像１２を仮想的に表示するよう表示部４０を制御する（Ｓ４０５）。

【0073】

開いたページが正しい場合は（Ｓ４０４：Ｙｅｓ）、当該ページ中の参照開始位置を指し示す指示画像（図示せず）を仮想的に表示するよう表示部４０を制御する（Ｓ４０６）。

【0074】

認識手段４２３は、カメラ４１から制御部４２に送信された画像中にページを認識できなくなったか否かを判断する（Ｓ４０７）。このような場合として、ユーザがマニュアルを閉じて作業や操作を行っている場合が考えられる。

【0075】

ページを認識できなくなると（Ｓ４０７：Ｎｏ）、表示制御手段４２５は、いままで開いていたページを記憶しておく。表示制御手段４２５は、当該ページに含まれる情報として例えばイラスト（図示せず）をユーザの操作に必要な最小情報として仮想的に表示するよう表示部４０を制御する（Ｓ４０８）。最小情報とは、元のページから抜き出した情報をいう。表示する情報を最小情報とすることで、ページの内容をそのまま表示するよりも認識しやすくなる。なお、最小情報は、タイトル、要点等の他の情報でもよい。

【0076】

認識手段４２３は、カメラ４１から制御部４２に送信された画像中に冊子２を認識したか否かを判断する（Ｓ４０９）。冊子２を認識した場合は（Ｓ４０９：Ｙｅｓ）、画像中に小口２ｄを認識したか否かを判断する（Ｓ４１０）。

【0077】

小口を認識した場合（Ｓ４１０：Ｙｅｓ）、表示制御手段４２５は、小口２ｄに前回開いていたページに対応する参照開始位置を差し示す指示画像を仮想的に表示するよう表示部４０を制御する（Ｓ４１１）。

【0078】

認識手段４２３は、カメラ４１が撮影した画像に基づいて開いたページが前回開いていたページか否かを判断する（Ｓ４１２）。

【0079】

開いたページが前回のページでない場合は（Ｓ４１２：Ｎｏ）、表示制御手段４２５は、図７に示すように、正しいページの方向を示す指示画像１２を仮想的に表示するよう表示部４０を制御する（Ｓ４１３）。

【0080】

開いたページが前回のページの場合は（Ｓ４１２：Ｙｅｓ）、当該ページ中の参照先の箇所を指し示す指示画像を仮想的に表示するよう表示部４０を制御する（Ｓ４１４）。

【0081】

＜変形例１＞
画像形成装置３の操作表示部３２の表示画面に表示されている情報に関連する冊子２のページの位置を指し示す指示画像を、表示制御手段４２５により冊子２の小口２ｄに重畳表示するよう制御してもよい。具体的には、受信手段４２１は、画像形成装置３の操作表示部３２の表示画面に表示されている情報を受信する。決定手段４２２は、受信手段４２１が受信した情報に対応する冊子２の参照先のページを示すページ番号を取得する。特定手段４２４は、決定手段４２２により取得されたページ番号に対応する小口上の位置を特定する。表示制御手段４２５は、特定された小口上の位置を指し示す指示画像を、ユーザが装着している本装置４に設けられたディスプレイ越しに見える小口２ｄに重畳表示するよう制御する。

【0082】

＜変形例２＞
参照先のページを、ユーザの過去の参照履歴を考慮して絞ってもよい。同じページの参照履歴が予め定められた回数を閲覧している場合は、そのページを省くことが可能であるので、そのページを除いて参照開始位置を特定することができる。

【0083】

＜変形例３＞
電子マニュアルの参照先のページに情報を記入できるようにしてもよい。例えば、ＨＭＤ装置４に、カメラが撮影した画像に基づいて、ユーザのジェスチャーを検出する機能を持たせ、ユーザが開いたページ中の重要箇所にジェスチャーによってマークを付するようにしてもよい。次回、同じページを開いたときに、当該マークが当該ページに重畳表示することができる。なお、情報の記入は入力装置４４を用いてもよい。

【0084】

＜変形例４＞
冊子２は白紙の冊子としておき、冊子２を開いたときに、開いたページに電子マニュアルの対応するページの内容を重畳表示してもよい。これにより例えばマニュアルの改訂が電子マニュアルのみで済む。

【0085】

＜変形例５＞
上記実施の形態では、参照先のページ、順位等をＨＭＤ装置４の決定手段４２２が決定していたが、画像形成装置３又は外部装置が参照先のページ、順位等を決定し、ＨＭＤ装置４がその決定されたページ、順位等を取得してもよい。これによりＨＭＤ装置４の決定に関する処理の負担が軽減できる。

【0086】

以上、本発明の実施の形態を説明したが、本発明の実施の形態は上記実施の形態に限定されるものではなく、本発明の要旨を変更しない範囲内で種々の変形、実施が可能である。

【0087】

制御部３０、４２の各手段は、それぞれ一部又は全部を再構成可能回路（ＦＰＧＡ：Field Programmable Gate Array）、特定用途向け集積回路（ＡＳＩＣ：Application Specific Integrated Circuit）等のハードウエア回路によって構成してもよい。

【0088】

また、本発明の要旨を変更しない範囲内で、上記実施の形態の構成要素の一部を省くことや変更することが可能である。また、本発明の要旨を変更しない範囲内で、上記実施の形態のフローにおいて、ステップの追加、削除、変更、入替え等が可能である。また、上記実施の形態で用いたプログラムをＣＤ－ＲＯＭ等のコンピュータ読み取り可能な記録媒体に記録して提供することができる。また、上記実施の形態で用いたプログラムをクラウドサーバ等の外部サーバに格納しておき、ネットワークを介して利用することができる。

【符号の説明】

【0089】

１…表示システム、２…冊子、２ａ…表紙、２ｂ…裏表紙、２ｃ…背、２ｄ…小口、３…画像形成装置、３ａ…装置本体、３ｂ…収容部、３ｃ…用紙排出台、４…ＨＭＤ装置、４ａ…頭部装着部、４ｂ…ケーブル、４ｃ…コントローラ、１０、１０ａ～１０ｅ…指示画像、１１…目盛、１２、１２ａ～１２ｅ…指示画像、２０、２０Ａ、２０Ｂ、２０Ｃ…認識コード、２１…位置検出パターン、３０…制御部、３１…記憶部、３２…操作表示部、３３…画像読取部、３４…画像処理部、３５…画像形成部、３６…エラー検出部、３７…無線通信部、４０…表示部、４１…カメラ、４２…制御部、４３…記憶部、４４…入力装置、４５…無線通信部、３１０…プログラム、３１１…装置基本情報、３１２…装置状態情報、３１３…履歴情報、３１４…電子マニュアル、３１５…電子マニュアル参照情報、３３０…自動給紙装置、３３１…原稿トレー、３３２…原稿排出台、４２１…受信手段、４２２…決定手段、４２３…認識手段、４２４…特定手段、４２５…表示制御手段、４３０…プログラム、４３２…開始位置情報

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】