特許 7095332 表示装置および表示方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-06-27

(45)【発行日】2022-07-05

(54)【発明の名称】表示装置および表示方法

(51)【国際特許分類】

   G06T 19/00 20110101AFI20220628BHJP

   G06F 3/04815 20220101ALI20220628BHJP

   G06F 3/04842 20220101ALI20220628BHJP

【ＦＩ】

G06T19/00 600

G06F3/04815

G06F3/04842

【請求項の数】 9

(21)【出願番号】P 2018049491

(22)【出願日】2018-03-16

(65)【公開番号】P2019160171

(43)【公開日】2019-09-19

【審査請求日】2020-12-11

(73)【特許権者】

【識別番号】000006747

【氏名又は名称】株式会社リコー

(74)【代理人】

【識別番号】100089118

【弁理士】

【氏名又は名称】酒井 宏明

(72)【発明者】

【氏名】長谷川 隆

(72)【発明者】

【氏名】小松原 悟

【審査官】板垣 有紀

(56)【参考文献】

【文献】特開２０１４－２３５７０４（ＪＰ，Ａ）

【文献】特開２０１５－１０８８７３（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１７／００１１２５４（ＵＳ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ １９／００

Ｇ０６Ｆ ３／０４８ － ３／０４８９

(57)【特許請求の範囲】

【請求項1】

実空間の画像を取得する撮像部と、
前記画像を表示する表示部と、
保守の対象装置の部品に関する部品情報、前記部品情報に関連付けられた拡張現実情報、および前記保守の内容に応じて前記部品ごとの前記拡張現実情報の表示の態様を記憶する記憶部と、
前記撮像部および前記表示部の動作を制御するとともに、前記画像に前記拡張現実情報を重畳させて表示させる制御部と、を備え、
前記制御部は、
前記撮像部により取得された前記対象装置の前記画像を前記表示部に表示させ、前記記憶部から取得した前記部品情報に基づき前記画像内の前記部品を判別し、前記記憶部から取得した前記拡張現実情報のうち、前記保守の対象となる前記部品および前記保守の対象外の前記部品の表示の態様を異ならせる、
表示装置。

【請求項2】

前記制御部は、
前記保守の対象となる前記部品の前記拡張現実情報を前記保守の対象外の前記部品の前記拡張現実情報よりも顕著となるよう表示させる、
請求項１に記載の表示装置。

【請求項3】

前記制御部は、
前記保守の対象外の前記部品の前記拡張現実情報の表示の明度および彩度の少なくともいずれか１つを前記保守の対象となる前記部品の前記拡張現実情報の表示の明度および彩度よりも低くする、
請求項１または請求項２に記載の表示装置。

【請求項4】

前記制御部は、
前記保守の対象外の前記部品の前記拡張現実情報を非表示とする、
請求項１または請求項２に記載の表示装置。

【請求項5】

前記記憶部が記憶する前記部品情報は前記部品ごとの位置情報を含み、
前記制御部は、
前記保守の対象となる前記部品が前記画像に含まれないときは、前記記憶部から取得した前記部品ごとの位置情報に基づき、前記画像に含まれない前記部品が前記画像の範囲外にあることを表示する、
請求項１乃至請求項４のいずれか１項に記載の表示装置。

【請求項6】

前記記憶部が記憶する前記部品情報は前記部品ごとの用途情報を含み、
前記制御部は、
前記記憶部から取得した前記部品ごとの用途情報に基づき、前記保守の対象となる前記部品の用途を示す前記拡張現実情報を表示させる、
請求項１乃至請求項５のいずれか１項に記載の表示装置。

【請求項7】

前記記憶部が記憶する前記部品情報は前記部品間の位置関係を示す位置情報を含み、
前記制御部は、
前記記憶部から取得した前記部品間の位置関係を示す位置情報から前記画像内の前記部品を判別し、判別した前記部品の用途を特定する、
請求項６に記載の表示装置。

【請求項8】

前記記憶部が記憶する前記部品情報は前記部品ごとの基準点に対する位置情報を含み、
前記制御部は、
前記記憶部から取得した前記基準点と前記部品との位置関係から前記画像内の前記部品を判別し、判別した前記部品の用途を特定する、
請求項６または請求項７に記載の表示装置。

【請求項9】

表示部を備える表示装置で実行される表示方法であって、
保守の対象装置の実空間の画像を取得する撮像ステップと、
前記対象装置の前記画像を前記表示部に表示させる画像表示ステップと、
前記対象装置の部品に関する部品情報に基づき前記画像内の前記部品を判別する判別ステップと、
前記部品情報に関連付けられた拡張現実情報のうち、前記保守の対象となる前記部品および前記保守の対象外の前記部品の表示の態様を異ならせ、前記画像に前記拡張現実情報を重畳させて前記表示部に表示させ、前記保守の対象となる前記部品が前記画像に含まれないときは、前記部品情報に含まれる前記部品ごとの位置情報に基づき、前記画像に含まれない前記部品が前記画像の範囲外にあることを表示させる拡張現実情報表示ステップと、を行う、
表示方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、表示装置および表示方法に関する。

【背景技術】

【0002】

現実の環境から与えられる情報に、コンピュータが作り出した情報を重畳表示する拡張現実（ＡＲ：Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）技術が知られている。

【0003】

このような技術を用いた装置として、実空間の映像に表示する情報の量が多くなっても画面の煩雑化を抑制することができる端末装置が知られている。かかる端末装置においては、距離の離れたオブジェクトについて画面上への表示を抑制させる（特許文献１）。

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、例えばプリンタのような画像形成装置の保守点検等にＡＲ技術を適用した場合、装置内にはアノテーションを表示させるべき部品等が互いに密集して存在しており、特許文献１に記載された技術では、画面上への表示を抑制することは困難である。

【0005】

本発明は、上述の課題に鑑みてなされたものであって、ＡＲ技術を用いて保守点検をする担当者に対して、視覚的に理解性、作業性の高い保守ビューを表示させることができる表示装置および表示方法を提供することを目的とする。

【課題を解決するための手段】

【0006】

上述した課題を解決し、目的を達成するために、本発明は、実空間の画像を取得する撮像部と、前記画像を表示する表示部と、保守の対象装置の部品に関する部品情報、前記部品情報に関連付けられた拡張現実情報、および前記保守の内容に応じて前記部品ごとの前記拡張現実情報の表示の態様を記憶する記憶部と、前記撮像部および前記表示部の動作を制御するとともに、前記画像に前記拡張現実情報を重畳させて表示させる制御部と、を備え、前記制御部は、前記撮像部により取得された前記対象装置の前記画像を前記表示部に表示させ、前記記憶部から取得した前記部品情報に基づき前記画像内の前記部品を判別し、前記記憶部から取得した前記拡張現実情報のうち、前記保守の対象となる前記部品および前記保守の対象外の前記部品の表示の態様を異ならせる。

【発明の効果】

【0007】

本発明によれば、ＡＲ技術を用いて保守点検をする担当者に対して、視覚的に理解性、作業性の高い保守ビューを表示させることができる。

【図面の簡単な説明】

【0008】

【図1】図１は、実施形態１にかかる表示システムの構成の一例を示す図である。

【図2】図２は、実施形態１にかかる携帯型端末と接続可能な複合機のハードウェア構成を説明する図である。

【図3】図３は、実施形態１にかかる携帯型端末のハードウェア構成を説明する図である。

【図4】図４は、実施形態１にかかる携帯型端末が有する機能構成の一例を示す図である。

【図5】図５は、実施形態１にかかる携帯型端末上の表示例を示す図である。

【図6】図６は、実施形態１にかかる携帯型端末上で保守動作モードにおいて撮像部から取り込まれた撮像データを示す図である。

【図7】図７は、実施形態１にかかる携帯型端末の記憶部が保有する保守モード別ＡＲアノテーション表示情報である。

【図8】図８は、実施形態１にかかる携帯型端末上の保守動作実施ビューの表示例を示す図である。

【図9】図９は、実施形態１にかかる携帯型端末における表示処理の手順の一例を示すフロー図である。

【図10】図１０は、比較例にかかる携帯型端末上の保守動作実施ビューの表示例を示す図である。

【図11】図１１は、実施形態１の変形例１にかかる携帯型端末上の保守動作実施ビューの表示例を示す図である。

【図12】図１２は、実施形態１の変形例２にかかる携帯型端末上の保守動作実施ビューの表示例を示す図である。

【図13】図１３は、実施形態２にかかる携帯型端末上で保守動作モードにおいて撮像部から取り込まれた複合機の背面の撮像データを示す図である。

【図14】図１４は、実施形態２にかかる携帯型端末の記憶部が保有する部品ごとの座標定義情報である。

【図15】図１５は、実施形態２にかかる携帯型端末上でライブビューにＡＲアノテーション情報が重畳された例を示す図である。

【図16】図１６は、実施形態２にかかる携帯型端末上の画像に基準点が無い場合の部品の判別方法を説明する図である。

【図17】図１７は、実施形態２にかかる携帯型端末１５０における表示処理の手順の一例を示すフロー図である。

【発明を実施するための形態】

【0009】

以下に、図１～図１９を参照しながら、本発明にかかる表示装置および表示方法の実施形態を詳細に説明する。また、以下の実施形態によって本発明が限定されるものではなく、以下の実施形態における構成要素には、当業者が容易に想到できるもの、実質的に同一のもの、およびいわゆる均等の範囲のものが含まれる。さらに、以下の実施形態の要旨を逸脱しない範囲で構成要素の種々の省略、置換、変更および組み合わせを行うことができる。

【0010】

［実施形態１］
まずは、図１～図１２を用い、実施形態１について説明する。

【0011】

（表示システムの全体構成）
図１は、実施形態１にかかる表示システム１の構成の一例を示す図である。図１に示すように、表示システム１は、画像形成装置としての複合機（ＭＦＰ：Ｍｕｌｔｉｆｕｎｃｔｉｏｎ Ｐｅｒｉｐｈｅｒａｌ）２００と、表示装置としての携帯型端末１００とを、備える。複合機２００および携帯型端末１００は、例えば、インターネット等の通信ネットワーク９０を介して接続されている。通信ネットワーク９０の回線は、有線接続でも、無線接続でも、両者の混在した接続方式でもよい。ここでは、複合機２００および携帯型端末１００は無線通信機能を有し、無線接続にて情報のやり取りをするものとする。

【0012】

携帯型端末１００は、ＡＲ機能を有する、タブレットＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）、スマートフォン、モバイルＰＣ、ウェアラブル端末等である。携帯型端末１００は、通信ネットワーク９０を介し、複合機２００と情報のやり取りが可能に構成される。

【0013】

複合機２００は、携帯型端末１００の運営業者である機器メーカや機器ベンダなどにより、顧客に販売又はリースされた機器であり、当該顧客の顧客環境に設置されている。複合機２００は、印刷機能、複写機能、スキャナ機能、及びファクシミリ機能のうち少なくとも２つの機能を有する。図１の例では、複合機２００が１台のみ図示されているが、複数台存在していてもよい。

【0014】

（複合機のハードウェア構成）
図２は、実施形態１にかかる携帯型端末１００と接続可能な複合機２００のハードウェア構成を説明する図である。なお、図２は、携帯型端末１００との無線接続に関連する構成を主として示し、複合機２００の他の機能に関する構成は簡略化または省略されている。

【0015】

図２に示すように、複合機２００は、コントローラ２１０、及びコントローラ２１０に接続されるプリンタエンジン２２７並びにパネル装置２２８を備える。コントローラ２１０は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）２１１、ＲＯＭ（Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ）２１２、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）２１３、ＮＶＲＡＭ（Ｎｏｎ－Ｖｏｌａｔｉｌｅ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）２１４、通信インタフェース（Ｉ／Ｆ）２１５、ネットワークＩ／Ｆ２１６、エンジンＩ／Ｆ２１７、パネルＩ／Ｆ２１８、及びＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）２１９を備える。

【0016】

コントローラ２１０は、その動作時点に設定されている動作モードおよびネットワークＩ／Ｆ２１６を介して接続されたホストＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）２３６からの印字制御データに従って印刷処理を実行する。また、コントローラ２１０は、通信Ｉ／Ｆ２１５を介して接続された携帯型端末１００から入力される各種操作を実行する。

【0017】

ＣＰＵ２１１は、ＲＯＭ２１２に格納された制御プログラムに従ってホストＰＣ２３６からの印刷データを処理する。

【0018】

ＲＯＭ２１２は、ＣＰＵ２１１が、コントローラ２１０内で実行するデータの管理や周辺モジュールを統括的に制御する制御プログラムを格納する。

【0019】

ＲＡＭ２１３は、ＣＰＵ２１１が制御プログラムにしたがって作成するページメモリや制御プログラムが動作するために必要なワークメモリ等として使用される。またＲＡＭ２１３は、ホストＰＣ２３６からの印刷データをページ単位に管理して一時記憶するバッファとして使用される。また、ＲＡＭ２１３は印字データから変換された画像データを記憶するビットマップメモリとしても使用される。

【0020】

ＮＶＲＡＭ２１４は、電源を切っても保持したいデータ、例えば、印刷制御に用いられる、パネル装置２２８を介して設定された所定の設定値や所定の印刷条件情報等の情報が格納される不揮発性ＲＡＭである。

【0021】

ＨＤＤ２１９は、磁気ディスク等のハードディスクであり、ホストＰＣ２３６等からの印刷データの蓄積や印字データから変換されたビットマップデータの蓄積に使用される。また、ＨＤＤ２１９は、それらのデータの保存のため、または一時記憶のためのバッファやワーク用領域等として、様々な用途で使用される。また、ＨＤＤ２１９は印字に使用されるさまざまな種類のフォントデータの格納に使用されてもよい。

【0022】

通信Ｉ／Ｆ２１５は、携帯型端末１００等の外部機器と無線通信（Ｗｉ－Ｆｉ通信）を行うインタフェースである。

【0023】

ネットワークＩ／Ｆ２１６は、ホストＰＣ２３６から複合機２００への印刷ジョブとして送られる印刷データおよびホストＰＣ２３６から複合機２００へのステータス信号を送受信するインタフェースである。

【0024】

エンジンＩ／Ｆ２１７は、コントローラ２１０からプリンタエンジン２２７への制御信号およびプリンタエンジン２２７からコントローラ２１０へのステータス信号のやりとりをするインタフェースである。

【0025】

エンジンＩ／Ｆ２１７には、例えば、プリンタエンジン２２７が接続される。プリンタエンジン２２７は、印刷データ入力を受け付け、画像の印刷出力を行う機構である。プリンタエンジン２２７は、レーザー方式、ＬＥＤ方式、インクジェット方式等の方式で画像を形成することができる。

【0026】

パネルＩ／Ｆ２１８は、パネル装置２２８を介してユーザが複合機２００の状態表示の切替えや動作モードおよびフォント等の切替え等を行えるように、コントローラ２１０にパネル装置２２８との間で信号のやりとりをさせるインタフェースである。

【0027】

パネルＩ／Ｆ２１８には、パネル装置２２８が接続される。パネル装置２２８は、複合機２００のユーザからの入力を受け付け、かつ、ユーザに対して情報を提示するマンマシン・インタフェース部である。パネル装置２２８は、複合機２００の操作を可能にするボタンや複合機２００の状態を表示するインジケータ（ＬＥＤ、ＬＣＤ等の表示器、スピーカ等）を備える。

【0028】

（携帯型端末のハードウェア構成）
図３は、実施形態１にかかる携帯型端末１００のハードウェア構成を説明する図である。図３に示すように、携帯型端末１００は、コントローラ１１０、及びコントローラ１１０に接続される、表示装置１２１、入力装置１２２、カメラ１２３、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）モジュール１２４並びに方位センサ１２５を備える。コントローラ１１０は、ＣＰＵ１１１、ＲＯＭ１１２、ＲＡＭ１１３、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ）１１４、通信Ｉ／Ｆ１１５、および入出力Ｉ／Ｆ１１６を備える。

【0029】

コントローラ１１０は、携帯型端末１００の全体を制御し、例えば通信ネットワーク９０を介して情報の検索、取得およびその表示、写真やビデオの撮影、再生およびその保存、メールの送受信等の機能を実現する。また、それらの機能の実現にあたり表示装置１２１を介して適宜必要な情報をユーザに表示する。

【0030】

ＣＰＵ１１１は、ＲＯＭ１１２に格納された制御プログラムに従って携帯型端末１００の動作を制御したり、携帯型端末１００に無線接続された複合機２００を制御したりする処理を実行する。

【0031】

ＲＯＭ１１２は、ＣＰＵ１１１が、コントローラ１１０内で実行するデータの管理や周辺モジュールを統括的に制御する制御プログラムを格納する。

【0032】

ＲＡＭ１１３は、ＣＰＵ１１１が制御プログラムを動作させるために必要なワークメモリ等として使用される。またＲＡＭ１１３は、通信ネットワーク９０を介して取得した情報やカメラ１２３を介して取得した情報を一時記憶するバッファとしても使用される。

【0033】

ＥＥＰＲＯＭ１１４は、電源を切っても保持したいデータ、例えば、携帯型端末１００の設定情報等が格納される不揮発性ＲＯＭである。

【0034】

通信Ｉ／Ｆ１１５は、複合機２００等の外部機器と無線通信（Ｗｉ－Ｆｉ通信）を行うインタフェースである。

【0035】

入出力Ｉ／Ｆ１１６は、携帯型端末１００に備えられる各種機器、例えば表示装置１２１、入力装置１２２、カメラ１２３、ＧＰＳモジュール１２４、及び方位センサ１２５等とコントローラ１１０との間で信号の送受信を行うインタフェースである。

【0036】

表示装置１２１は、文字、数字、および各種画面、操作用アイコン、カメラ１２３により取得された画像等を表示する。表示装置１２１は、ＣＲＴ（Ｃａｔｈｏｄｅ Ｒａｙ Ｔｕｂｅ）ディスプレイ、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）、または有機ＥＬ（Ｅｌｅｃｔｒｏ－Ｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイ等である。表示装置１２１は、タッチパネル方式の装置であってもよい。この場合、表示装置１２１は、図示しない接触センサおよび位置センサ等を更に備える。

【0037】

入力装置１２２は、文字および数字等の入力、各種指示の選択、ならびにカーソルの移動等の操作を行う。入力装置１２２は、例えば、携帯型端末１００の筐体に設けられたキーパッドであってもよく、または、マウスまたはキーボード等の装置であってもよい。また、これらの構成に加えて、表示装置１２１と一体化したタッチパネル方式の装置であってもよい。

【0038】

カメラ１２３は、携帯型端末１００の一部であって、例えば、表示装置１２１の裏面に設けられる。携帯型端末１００を向けた方向と、カメラ１２３で撮影されて表示装置１２１に映し出される映像とが実質的に同じになるように設定されている。カメラ１２３の解像度は適宜選択可能であるが、撮影した写真データやビデオデータが印刷やビデオ再生に充分に活用できる品質を得るレベルとすることが望ましい。複数のカメラ１２３を配置してステレオカメラとして機能させてもよい。

【0039】

ＧＰＳモジュール１２４は、複数のＧＰＳ衛星から電波を受信して、それらの強度から現在の携帯型端末１００の位置情報を取得する。ＧＰＳモジュール１２４は、通信Ｉ／Ｆ１１５を介して通信ネットワーク９０の回線と通信することにより、携帯型端末１００の近くに存在する衛星の情報をアシストデータとして取得し、位置測位を行うＡＧＰＳ（Ａｓｓｉｓｔｅｄ Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）モジュールであってもよい。

【0040】

方位センサ１２５は、携帯型端末１００が向いている方向、携帯型端末１００の姿勢および角度を検出する。方位センサ１２５は、例えば、複数の地磁気センサを組み合わせたものである。方位センサ１２５は、地磁気センサに加えて複数の加速度センサまたはジャイロを組み合わせたモーションセンサであってもよい。モーションセンサとしては、３軸方向の地磁気センサと３軸方向の加速度センサとを組み合わせた６軸センサ、３軸方向の地磁気センサと２軸方向の加速度センサとを組み合わせた５軸センサ等がある。

【0041】

（携帯型端末の機能構成）
図４は、実施形態１にかかる携帯型端末１００が有する機能構成の一例を示す図である。説明の便宜上、図４では、主に実施形態１に関する機能を例示しているが、携帯型端末１００が有する機能はこれらに限られない。

【0042】

図４に示すように、実施形態１にかかる表示装置としての携帯型端末１００は、画像を表示する表示部２０と、保守の対象装置としての複合機２００の部品に関する部品情報、部品情報に関連付けられた拡張現実情報、および保守の内容に応じて部品ごとの拡張現実情報の表示の態様を記憶する記憶部３０と、撮像部１２および表示部２０の動作を制御するとともに、画像に拡張現実情報を重畳させて表示させる制御部１０と、を備え、制御部１０は、撮像部１２により取得された複合機２００の画像を表示部２０に表示させ、記憶部３０から取得した部品情報に基づき画像内の部品を判別し、記憶部３０から取得した拡張現実情報のうち、保守の対象となる部品および保守の対象外の部品の表示の態様を異ならせる。以下に、実施形態１の携帯型端末１００の機能について詳細に説明する。

【0043】

携帯型端末１００は、制御部１０、表示部２０、および記憶部３０を備える。これらは互いに通信可能に接続されている。制御部１０には、また、通信部１１、撮像部１２、位置情報取得部１３、方位情報取得部１４、およびキー入力部１５が接続される。表示部２０は、位置検出部２１、表示コントローラ２２、画面提供部２３、及び接触検出部２４を有する。

【0044】

制御部１０は、各部の動作を制御するとともに所定の情報処理を実現する。制御部１０は、図３のＣＰＵ１１１上で記憶部３０に記憶されたプログラムを実行することにより仮想的に構成される機能ブロックであって、携帯型端末１００の通信部１１、撮像部１２、位置情報取得部１３、方位情報取得部１４、キー入力部１５、表示部２０、および記憶部３０といった各機能ブロックとの間でデータおよび制御信号をやり取りすることにより、携帯型端末１００の各種機能を実現する。

【0045】

通信部１１は、通信ネットワーク９０の回線と接続して、他の端末装置やサーバシステムと通信を行うモジュールである。ここでの通信としては、例えば、他の端末装置と通信接続して行う回線交換型通信、通信ネットワーク９０の回線を介して接続されたサーバシステムと行うパケット交換型通信等を挙げることができる。また、ＡＧＰＳ方式により携帯型端末１００の位置情報を取得する場合には、通信部１１は位置情報取得部１３と協調動作して端末位置情報の取得を補助する。通信部１１は、例えば、図３の通信Ｉ／Ｆ１１５によって実現される。

【0046】

撮像部１２は、実空間の映像を取得する。より具体的には、撮像部１２は、所定の光学系および受像素子を有し、デジタル画像を取得する機能を提供するモジュールである。携帯型端末１００でデジタル画像を撮影する際には、起動された撮像部１２は、通常、光学系の取得した被写体像から所定露光時間で受像素子によりデータを取得する処理を所定時間間隔で繰り返し、当該データを表示部２０に表示することによりライブビュー機能を実現する。そして、その状態でユーザがさらにキー入力部１５で所定の操作を行うことにより、撮像部１２は光学系の取得した被写体像から設定された撮影条件で画像データを生成し、生成された画像データは記憶部３０に保存される。ＡＲ技術を用いた携帯型端末１００は、上述のライブビュー機能により表示部２０に表示される実空間映像に拡張現実をもたらす情報を表示する。撮像部１２は、例えば、図３のカメラ１２３によって実現される。

【0047】

位置情報取得部１３は、携帯型端末１００の位置情報を取得する。位置情報取得部１３は、例えば、図３のＧＰＳモジュール１２４によって実現される。上述のように、ＡＧＰＳ方式に対応したモジュールを採用すれば、携帯型端末１００の位置情報をより高速かつ正確に取得することができるので好適である。ただし、位置情報取得部１３は、ＧＰＳまたはＡＧＰＳを利用するものに限られず、ＧＰＳに依存することなく端末位置情報を取得する構成とすることも可能である。例えば、ＷｉＦｉやＢｌｕｅｔｏｏｔｈ（登録商標）等の無線通信基地局を空間内に複数配設し、それらからの電波強度により端末位置情報を取得する方式を利用してもよい。

【0048】

位置情報取得部１３は、携帯型端末１００が向いている方位を検出する。制御部１０は、位置情報取得部１３の検出値からユーザが携帯型端末１００を保持している姿勢および角度を認識することが可能である。位置情報取得部１３は、例えば、図３の方位センサ１２５によって実現される。方位センサ１２５がモーションセンサである場合には、携帯型端末１００の姿勢および角度に関する情報だけでなく、ユーザが携帯型端末１００を動かしたり傾けたりした動作の向きおよび速さを検出することが可能となる。

【0049】

キー入力部１５は、ユーザのキー操作による入力を受け付ける。ユーザが操作することにより各キーまたはボタンに応じた信号であるキーイベントが制御部１０に通知され、種々の操作および制御に利用される。キー入力部１５は、例えば、図３の入力装置１２２、およびＣＰＵ１１１で動作するプログラムによって実現される。

【0050】

表示部２０は、各種の画面を表示する。以下、表示部２０がタッチパネルであるときの構成である。表示コントローラ２２は表示部２０全体を制御する。画面提供部２３は表示コントローラ２２の制御下で画面を表示する。接触検出部２４はユーザの画面への接触を検出する。位置検出部２１はユーザがタッチした画面の位置を検出する。表示部２０は、例えば、図３の表示装置１２１、入力装置１２２、図示しない接触センサ、位置センサ、およびＣＰＵ１１１で動作するプログラムによって実現される。

【0051】

タッチパネル方式の表示部２０は、制御部１０からのデータおよび制御信号を表示コントローラ２２で受け付けて所定の画面を画面提供部２３で表示する。また、表示部２０は、画面をタッチするユーザの操作を接触検出部２４で受け付けて位置検出部２１にて接触位置を検出し、その接触位置に関する位置信号を制御部１０に入力として通知する。携帯型端末１００おいては、後述する動作に従って、撮像部１２により取得した実空間の映像に拡張現実情報を付加して表示することによりユーザに拡張現実を提供し、また表示機能およびタッチパネル機能によりユーザインタフェースを提供する。

【0052】

記憶部３０は、所定の情報を制御部１０の制御下で記憶し、また記憶している情報を制御部１０に提供するメモリである。 また、記憶部３０は、制御部１０で実行される種々のプログラムを記憶しており、制御部１０はこれを適宜読み出して実行する。携帯型端末１００には固有の端末ＩＤが付与されている。この端末ＩＤも、その他のデータとともに記憶部３０に記憶されている。また、記憶部３０は、後述する拡張現実情報（ＡＲアノテーション情報）、及び保守対象となる複数機能毎に上記拡張現実情報のグラフィックスオブジェクトごとの表示、非表示の対応情報を記憶する。また、記憶部３０は、上記拡張現実情報と複合機２００の各部品とを対応付ける部品情報を記憶する。記憶部３０は、例えば、図３のＲＯＭ１１２、ＲＡＭ１１３、およびＥＥＰＲＯＭ１１４によって実現される。

【0053】

（携帯型端末の動作例）
次に、図５～図８を用いて、携帯型端末１００の動作例について説明する。図５は、実施形態１にかかる携帯型端末１００上の表示例を示す図である。保守担当者は保守動作モード開始を指示する操作を行うことで、操作対象である複合機２００を保守操作実施可能な状態にし、保守動作を開始することが出来る。

【0054】

すなわち、複合機２００の保守を行う場合、携帯型端末１００の表示部２０上に表示される図５の画面表示の中から、保守ボタンを押下する操作を行う。また、保守担当者は、さらに保守モードを選択することができる。これにより、保守動作実施ビューの表示に切り替えることが出来る。

【0055】

図６は、実施形態１にかかる携帯型端末１００上で保守動作モードにおいて撮像部１２から取り込まれた撮像データを示す図である。上記の保守ボタン押下の操作により、携帯型端末１００の表示部２０の表示が、まずは、図６に示すような撮像部１２からのライブビューに切り替わる。

【0056】

携帯型端末１００の制御部１０は、上記の撮像データの画像分析を行うことにより、撮像データ内に含まれる部品種類を特定する制御を行う。図６のライブビュー上の円形の各マークが、特定された部品を表している。また、制御部１０は、記憶部３０に保持される、各部品に対応するＡＲアノテーション情報のグラフィックスオブジェクト情報を取得する。また、制御部１０は、記憶部３０に保持される保守モード別ＡＲアノテーション表示情報を取得し、選択された保守モードに応じて、ＡＲアノテーション情報を表示する部品と表示しない部品とを選別する。

【0057】

図７は、実施形態１にかかる携帯型端末１００の記憶部３０が保有する保守モード別ＡＲアノテーション表示情報である。保守担当者が選択可能な保守モードは、例えば、スキャナ部、本体、給紙トレイ部等、複合機２００が備える各部位ごとに分けられている。または、保守モードは、故障発生時、復旧後点検時、定期点検時等の複合機２００の状態ごとに分けられていてもよい。図７に示すように、保守モード別ＡＲアノテーション表示情報においては、各保守モード１，２，３・・・に応じて、部品ごとのＡＲアノテーション表示のＯＮ／ＯＦＦが設定されている。図７において、「０」は非表示となる部品、「１」は表示される部品を表している。例えば、保守モード２においてはモータＡ，Ｆ，Ｇに「１」が、それ以外の部品に対しては「０」が設定されている。このため、保守モード２ではモータＡ，Ｆ，ＧのみがＡＲアノテーション情報の表示対象となる。

【0058】

図８は、実施形態１にかかる携帯型端末１００上の保守動作実施ビューの表示例を示す図である。図８においては、ライブビューにＡＲアノテーション情報が重畳された表示となっている。図８に示すように、円形のマークが付いた部品のうち、一部の部品についてのみＡＲアノテーション情報が表示されている。つまり、保守担当者が保守モードを選択することで、選択された保守モードに関連性のない部品のＡＲアノテーション情報を表示することなく、選択された保守モードに関連した部品のＡＲアノテーション情報のみが表示される。このように、携帯型端末１００においては、保守対象の部位、または、複合機２００の状態に見合った部品に対応するＡＲアノテーション情報が選択的に表示される。

【0059】

また、図８に示すように、通信部１１および通信ネットワーク９０の回線を介して、複合機２００側の部品状態情報を取得したうえで、取得結果をＡＲアノテーション情報に付加して表示してもよい。これにより、例えば、モータの回転状態や、センサのＯＮ／ＯＦＦ検出状態を表示してもよい。

【0060】

また、保守対象部品に対し、携帯型端末１００上から保守動作が実施できるように構成してもよい。かかる構成は、保守対象部品等の保守動作実行を指示する操作インタフェースを、携帯型端末１００および複合機２００側に設けることで実現できる。保守担当者による実行操作時には、対象部品の保守動作実行を通信部１１、及び通信ネットワーク９０の回線を介して複合機２００側に指示することができる。

【0061】

（携帯型端末における表示処理例）
次に、図９を用いて、携帯型端末１００における表示処理の例について説明する。図９は、実施形態１にかかる携帯型端末１００における表示処理の手順の一例を示すフロー図である。

【0062】

図９に示すように、ステップＳ１０１において、携帯型端末１００の制御部１０は、保守担当者により保守ボタンが押下され、保守動作モードの開始が指示されたか否かを判定する。保守動作モードの開始指示があった場合は（Ｙｅｓ）、ステップＳ１０２において、制御部１０は、保守担当者により保守モードが選択されたか否かを判定する。保守モードが選択された場合は（Ｙｅｓ）、ステップＳ１０３において、制御部１０が撮像部１２に指示をしてカメラ１２３を起動させる。また、制御部１０が位置情報取得部１３および方位情報取得部１４に指示をし、表示部２０の表示コントローラ２２が位置検出部２１および接触検出部２４に指示をし、各種センサを起動させる。これにより、カメラ１２３から取得された画像のライブビュー表示が開始される。

【0063】

ステップＳ１０４において、制御部１０は、カメラ１２３の撮像データを分析することで、撮像データ中に含まれる部品を検出する。また、制御部１０は、記憶部３０を参照して、検出された各部品に対応するＡＲアノテーション情報を取得する。

【0064】

ステップＳ１０５において、制御部１０は、記憶部３０を参照して、保守モード別ＡＲアノテーション表示情報を取得する。制御部１０は、かかる情報に基づき、選択された保守モードに該当する部品を選別する。

【0065】

ステップＳ１０６において、制御部１０は、表示コントローラ２２に指示をして、表示部２０の画面提供部２３に選別した部品のＡＲアノテーション情報を表示させる。これにより、ライブビューにＡＲアノテーション情報が重畳された保守動作実施ビューが表示される。

【0066】

ステップＳ１０７において、制御部１０は、保守担当者により保守動作の指示が入力されたか否かを判定する。指示がなければ（Ｎｏ）、ステップＳ１０９へと移行する。指示があれば（Ｙｅｓ）、ステップＳ１０８において、制御部１０は、通信部１１に指示をして、指示された動作の命令を複合機２００へと送信させる。複合機２００は、動作命令を受けると、それに従い、各部を動作させる。

【0067】

ステップＳ１０９において、制御部１０は、保守担当者により保守動作モードの終了が指示されたか否かを判定する。終了指示がなければ（Ｎｏ）、ステップＳ１０４に戻り、引き続き、保守動作実施ビューの表示を継続する。終了指示があれば（Ｙｅｓ）、保守動作実施ビューの表示を終了させる。

【0068】

以上により、携帯型端末１００における表示処理が終了する。

【0069】

例えば、特許文献１の端末装置においては、複数のグラフィックスオブジェクトを1つの集合グラフィックスオブジェクトとして表示部に表示させる機構を有する。そして、端末装置の現在の位置から距離の大きいオブジェクトほど集合オブジェクトとして扱われるようにすることで、距離の離れたオブジェクトについては画面上の表示を抑制させる。

【0070】

しかしながら、例えば、プリンタや複写機等の多機能を有する複合機などにおいては、装置内部の構造が複雑で、多数の部品が狭い領域に密集した状態となっている。このため、特許文献１のように、現在位置からの距離に依存して複数のグラフィックスオブジェクトを紐付けるか否かが決定される手法では、例えば、図１０の比較例の携帯型端末１００’のように、保守作業時等において、実施したい保守作業に関係のない部品のＡＲアノテーション情報が多数表示されてしまうのを回避することができない。

【0071】

実施形態１の携帯型端末１００においては、記憶部３０に保持される保守モード別ＡＲアノテーション表示情報に基づき、実施したい保守作業に関連性のない部品のＡＲアノテーション情報を表示することなく、保守作業に必要な部品の情報を選択的に表示させることができる。これにより、複合機２００の密集箇所に部品が集中的に存在するケースにおいても、全部品のＡＲアノテーション情報が表示されてしまうような煩雑な表示になることを回避し、保守担当者の視認性に優れる保守動作実施ビュー表示を実現できる。よって、保守担当者は、視覚的に理解性、作業性の高い保守動作実施ビューに基づき、保守作業効率を向上させ、保守手順ミスを低減させることが可能となる。

【0072】

（変形例１）
次に、図１１を用いて、実施形態１の変形例１の携帯型端末１００ａについて説明する。実施形態１の変形例１の携帯型端末１００ａは、保守作業対象外の部品情報を目立たなくして表示させる点が、上述の実施形態１とは異なる。

【0073】

図１１に示すように、実施形態１の変形例１の携帯型端末１００ａ上の保守動作実施ビューにおいては、選択された保守モードに対して対象外の部品について、ＡＲアノテーション情報の表示の明度および彩度の少なくともいずれかを、選択された保守モードに対して対象となっている部品のＡＲアノテーション情報の表示よりも低くする。これにより、非対象部品のＡＲアノテーション情報が、対象部品のＡＲアノテーション情報表示よりも薄く表示される。または、例えば、カラー表示となっている対象部品のＡＲアノテーション情報に対して、非対象部品のＡＲアノテーション情報をモノクロ表示とする。これらにより、非対象部品のＡＲアノテーション情報の表示を目立たなくさせることができる。つまり、相対的に、対象部品のＡＲアノテーション情報表示を顕著にすることができる。

【0074】

（変形例２）
次に、図１２を用いて、実施形態１の変形例２の携帯型端末１００ｂについて説明する。実施形態１の変形例２の携帯型端末１００ｂは、保守動作実施ビュー外にある部品についても所定の情報を表示させる点が、上記の実施形態１とは異なる。

【0075】

図１２に示すように、実施形態１の変形例２の携帯型端末１００ｂ上の保守動作実施ビューにおいては、選択された保守モードに対して対象となっている部品がカメラの視界から外れた位置に存在している。このような場合、実施形態１の変形例２の携帯型端末１００ｂは、かかる部品が、保守動作実施ビューの表示画像外にあることを示すＡＲアノテーション情報を表示する。

【0076】

また、図１２に示すように、保守動作実施ビューの表示画像外の部品が、具体的に表示画像外のどの方向に存在するかを矢印等で示すようにしてもよい。このような構成は、例えば、携帯型端末１００ｂの記憶部に予め部品情報として、各部品の位置情報を保持しておくことで実現される。携帯型端末１００ｂの制御部は、記憶部のかかる情報を参照して、実際の保守動作実施ビューに基づいて、保守動作実施ビューの表示画像外のいずれの方向に該当部品が存在するかを表示させる。このとき、制御部が、位置情報取得部で取得した携帯型端末１００ｂの位置情報や、方位センサにより取得した携帯型端末１００ｂの姿勢および角度の情報を用いてもよい。

【0077】

（その他の変形例）

【0078】

上述の実施形態１では、画像形成装置は複合機２００であるとしたが、これに限られない。画像形成装置は、印刷装置、複写機、複合機、スキャナ装置、及びファクシミリ装置等のうち、単独の機能を有する装置であってもよい。また、実施形態１および変形例１，２の携帯型端末１００，１００ａ，１００ｂの対象となる装置は、画像形成装置に限られない。対象装置が、プロジェクタ、カメラ、エアコン、冷蔵庫、蛍光灯、自動販売機、及びハンドヘルド型端末等の各種電子機器、並びにＰＣ等の情報処理装置などであってもよい。

【0079】

［実施形態２］
次に、図１３～図１７を用い、実施形態２について説明する。実施形態２においては、撮像データの画像分析による部品種類の特定方法、および携帯型端末からの保守動作の実施についても更に詳しく説明する。以下の説明では、実施形態２の携帯型端末１５０の悪部の構成については実施形態１の図３および図４を参照し、便宜的に実施形態１の構成と同様の符号を用いる。このことは、実施形態２の携帯型端末１５０が実施形態１の携帯型端末１００と異なる機能を有していることを否定しない。

【0080】

（携帯型端末の動作例）
まずは、図１３～図１５を用いて、実施形態２の携帯型端末１５０の動作例について説明する。

【0081】

図１３は、実施形態２にかかる携帯型端末１５０上で保守動作モードにおいて撮像部１２から取り込まれた撮像データを示す図である。図１３は、例えば複合機２００の背面の撮像データを表しており、スキャナ部２４０、本体部２５０、給紙トレイ部２６０等の複合機２００の各部や、種類の異なるモータ２８１～２８３、種類の異なるファン２９１，２９２等の写真画像が表示されている。また、写真画像と重ね合わせた紙搬送パス２７０が示されている。紙搬送パス２７０は、画像が転写される転写しが給紙されてから廃止されるまでの通り道をイメージした線画である。

【0082】

図１３に示すように、実施形態２の携帯型端末１５０においても、カメラ１２３から入力した画像からオブジェクトを抽出し、各オブジェクトの輪郭や特徴点から、モータやファン等の部品種別を判別する。

【0083】

また、実施形態２の携帯型端末１５０においては、同一部品が複数検出された場合は、その位置関係から各部品の用途を判別してＡＲアノテーション情報を表示する。例えば、同じ種類のモータであっても、給紙部と排紙部両方に使用する場合があるためである。

【0084】

また、実施形態２の携帯型端末１５０においては、ＡＲアノテーション情報として、部品の用途に加え、それらの部品を動作させるＯＮ／ＯＦＦボタンが表示される。ＯＮボタンが押されるとその部品が動作され、ＯＦＦボタンが押されると停止される。

【0085】

上記機能を実現するため、携帯型端末１５０ではマーカレスＡＲ技術が用いられる。

【0086】

図１３に示すように、マーカレスＡＲ技術においては、例えば、複合機２００上の或る位置を基準点ＳＰとする。図１３の例では、スキャナ部２４０と本体部２５０との境界線上であって、複合機２００の背面から見て左側の点を基準点ＳＰとしている。図１３には、１箇所のみ基準点ＳＰを設けているが、複数設けられてもよい。そして、この基準点ＳＰと、判別された各部品の中心位置ＣＰとの位置関係から部品用途を判別する。記憶部３０は、基準点ＳＰに基づく各部品の中心座標データを保有する。

【0087】

図１４は、実施形態２にかかる携帯型端末１５０の記憶部３０が保有する部品ごとの座標定義情報である。部品ごとの座標定義情報は、例えば、部品情報に含まれる。図１４に示すように、部品ごとの座標定義情報には、各部品について、基準点ＳＰに基づく中心座標が定義されている。また、部品ごとの座標定義情報には、部品ごとの用途を示す部品名が定義されている。また、部品ごとの座標定義情報には、回転方向および速度等の部品ごとの動作モードが定義されている。

【0088】

携帯型端末１５０の制御部１０は、カメラ１２３からの入力画像内で輪郭を把握できた部品について基準点ＳＰとの位置関係を算出し、記憶部３０の座標定義情報と照合して各部品の用途を判別する。制御部１０は、部品名称等の判別した結果をＡＲアノテーション情報として表示させる。また、部品名称表示の下にＯＮ／ＯＦＦボタンを併せて表示させる。

【0089】

図１５は、実施形態２にかかる携帯型端末１５０上でライブビューにＡＲアノテーション情報が重畳された例を示す図である。図１５に示すように、携帯型端末１５０上においては、図１３および図１４の情報に基づき、カメラ１２３からの入力画像内の部品が判別され、ＡＲアノテーション情報が表示されている。保守担当者は、この情報に基づき、各部品を判別することができる。

【0090】

また、保守担当者が、例えば画面に表示されるＯＮボタンを押すと、携帯型端末１５０から通信ネットワーク９０を介して複合機２００に指令が行き、標準モードまたは保守モードで対象の部品が動作される。標準モードとは、例えば、モータであれば通常動作時の回転方向や速度等がその部品の用途に応じた値であることを意味する。保守モードには、上述の実施形態１の保守モード１，２，３・・・等のように、いくつかのモードが存在し、保守作業内容に応じてモード変更可能なように設定されている。

【0091】

ところで、カメラ１２３からの入力画像に基準点ＳＰが含まれない場合も存在する。

【0092】

図１６は、実施形態２にかかる携帯型端末１５０上の画像に基準点ＳＰが無い場合の部品の判別方法を説明する図である。図１６に示すように、カメラ１２３からの入力画像内に基準点ＳＰが存在しない場合、入力画像内で近隣に認識された部品同士の位置関係で各部品の用途を判別する。

【0093】

（携帯型端末における表示処理例）
次に、図１７を用いて、携帯型端末１５０における表示処理の例について説明する。図１７は、実施形態２にかかる携帯型端末１５０における表示処理の手順の一例を示すフロー図である。

【0094】

図１７のステップＳ２０１～Ｓ２０４は、実施形態１の図９のステップＳ１０１～Ｓ１０４と同様のフローである。

【0095】

ステップＳ２０５において、携帯型端末１５０の制御部１０は、記憶部３０を参照し、部品ごとの座標定義情報を取得する。ステップＳ２０６において、制御部１０は、カメラ１２３からの入力画像内に基準点ＳＰが含まれているか否かを判定する。

【0096】

基準点ＳＰが含まれているときは（Ｙｅｓ）、ステップＳ２０７ａにおいて、基準点ＳＰに基づき、各部品の中心座標から各部品の用途を判別する。

【0097】

基準点ＳＰが含まれていないときは（Ｎｏ）、ステップＳ２０７ｂにおいて、各部品間の相互の位置関係に基づき各部品の用途を判別する。

【0098】

ステップＳ２０８において、制御部１０は、表示部２０の表示コントローラ２２に、部品ごとにＡＲアノテーション情報を表示させる。

【0099】

ステップＳ２０９において、制御部１０は、保守担当者により保守動作モードの終了が指示されたか否かを判定する。終了指示がなければ（Ｎｏ）ステップＳ２０４に戻り、終了指示があれば（Ｙｅｓ）保守動作実施ビューの表示を終了させる。

【0100】

以上により、携帯型端末１５０における表示処理が終了する。

【0101】

実施形態２の携帯型端末１５０においても、実施形態１の携帯型端末１００と同様の効果を奏する。

【0102】

また、実施形態２の携帯型端末１５０においては、種類が同一であっても用途の異なる部品等を判別できるようにしたので、よりいっそう保守担当者の視認性に優れる保守動作実施ビュー表示を実現できる。

【0103】

また、実施形態２の携帯型端末１５０においては、携帯型端末１５０から各部品を動作させることができるようにしたので、例えば、センサやモータ等のアウトプットチェック及びインプットチェックを携帯型端末１５０上で容易に行うことができる。

【0104】

（その他の変形例）

【0105】

上述の実施形態２では、複合機２００からは独立した携帯型端末１５０を用いることとしたが、これに限られない。例えば、複合機２００が備えるパネル装置２２８（図２参照）が取り外し可能に構成され、携帯型端末として使用可能に構成されていてもよい。

【0106】

上述の実施形態１，２、および変形例の各々は、それぞれ任意に組み合わせることが可能である。

【符号の説明】

【0107】

１ 表示システム
１０ 制御部
１１ 通信部
１２ 撮像部
１３ 位置情報取得部
１４ 方位情報取得部
１５ キー入力部
２０ 表示部
２１ 位置検出部
２２ 表示コントローラ
２３ 画面提供部
２４ 接触検出部
３０ 記憶部
１００ 携帯型端末
１１０ コントローラ
１１１ ＣＰＵ
１１２ ＲＯＭ
１１３ ＲＡＭ
１１４ ＥＥＰＲＯＭ
１１５ 通信Ｉ／Ｆ
１１６ 入出力Ｉ／Ｆ
１２１ 表示装置
１２２ 入力装置
１２３ カメラ
１２４ ＧＰＳモジュール
１２５ 方位センサ
２００ 複合機

【先行技術文献】

【特許文献】

【0108】

【文献】特許第５３１５１１１号

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】