特許 7489862 操作案内補助システム及び操作案内補助方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-05-16

(45)【発行日】2024-05-24

(54)【発明の名称】操作案内補助システム及び操作案内補助方法

(51)【国際特許分類】

   H04N 1/00 20060101AFI20240517BHJP

   B41J 29/38 20060101ALI20240517BHJP

   G06F 3/01 20060101ALI20240517BHJP

【ＦＩ】

H04N1/00 002Z

B41J29/38 301

G06F3/01 510

【請求項の数】 12

(21)【出願番号】P 2020139529

(22)【出願日】2020-08-20

(65)【公開番号】P2022035306

(43)【公開日】2022-03-04

【審査請求日】2023-03-22

(73)【特許権者】

【識別番号】000005049

【氏名又は名称】シャープ株式会社

(74)【代理人】

【識別番号】100112335

【弁理士】

【氏名又は名称】藤本 英介

(74)【代理人】

【識別番号】100101144

【弁理士】

【氏名又は名称】神田 正義

(74)【代理人】

【識別番号】100101694

【弁理士】

【氏名又は名称】宮尾 明茂

(74)【代理人】

【識別番号】100124774

【弁理士】

【氏名又は名称】馬場 信幸

(72)【発明者】

【氏名】近藤 真幸

(72)【発明者】

【氏名】永田 義典

(72)【発明者】

【氏名】新居 由佳子

(72)【発明者】

【氏名】山村 実穂

(72)【発明者】

【氏名】香月 美智子

(72)【発明者】

【氏名】野口 正

(72)【発明者】

【氏名】佐枝 政夫

【審査官】鈴木 肇

(56)【参考文献】

【文献】特開２０１３－２５０８４９（ＪＰ，Ａ）

【文献】特開２０１４－１５５０６５（ＪＰ，Ａ）

【文献】特開２０１９－０６６５１３（ＪＰ，Ａ）

【文献】特開２００９－１３４２１５（ＪＰ，Ａ）

【文献】特開２００９－２２９７３１（ＪＰ，Ａ）

【文献】特開２０１８－０９３４２４（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ １／００

Ｂ４１Ｊ ２９／００－２９／７０

Ｇ０６Ｆ ３／０１

Ｇ０６Ｆ ３／０４８－３／０４８９５

(57)【特許請求の範囲】

【請求項1】

撮影装置が画像形成装置とは別体の携帯端末装置に設けられ、前記撮影装置を利用した画像形成装置の操作案内補助システムであって、
前記画像形成装置の操作案内を行う機能を有する制御部と、
前記操作案内を表示する表示部と、
を備え、
前記制御部は、
前記画像形成装置にエラーが発生した場合に、前記撮影装置によりエラー発生箇所の情報を取得し、
前記画像形成装置のエラー情報に基づき、エラー解除するための操作案内の対象となる操作対象部材を特定し、
前記エラー発生箇所の情報から前記画像形成装置の操作を行う利用者の手の情報を取得し、
前記利用者の手の情報を含む前記エラー発生箇所の情報を前記表示部に表示し、
前記操作案内の手順に沿って、利用者の操作を誘導する操作案内補助情報を表示し、
前記携帯端末装置は、
前記撮影装置による撮影時に、前記携帯端末装置の表示部に表示される操作案内の映像を一時的に停止することを可能とし、
前記制御部は、
前記操作案内を停止した状態から、前記操作案内を再開したときに、
前記操作対象部材および前記利用者の手の位置を認識し、
前記操作案内を停止した時点から前記操作案内を再開することを特徴とする操作案内補助システム。

【請求項2】

撮影装置が画像形成装置とは別体の携帯端末装置に設けられ、前記撮影装置を利用した画像形成装置の操作案内補助システムであって、
前記画像形成装置の操作案内を行う機能を有する制御部と、
前記操作案内を表示する表示部と、
を備え、
前記制御部は、
利用者が前記画像形成装置の操作案内を要求した場合に、
前記利用者の要求した情報に基づき、前記操作案内の対象となる操作対象部材を特定し、
前記撮影装置により前記画像形成装置の操作を行う利用者の手の情報を取得し、
前記利用者の手の情報を含む前記操作案内に関する情報を前記表示部に表示し、
前記操作案内の手順に沿って、利用者の操作を誘導する操作案内補助情報を表示し、
前記携帯端末装置は、
前記撮影装置による撮影時に、前記携帯端末装置の表示部に表示される操作案内の映像を一時的に停止することを可能とし、
前記制御部は、
前記操作案内を停止した状態から、前記操作案内を再開したときに、
前記操作対象部材および前記利用者の手の位置を認識し、
前記操作案内を停止した時点から前記操作案内を再開することを特徴とする操作案内補助システム。

【請求項3】

前記操作案内補助情報は、少なくとも、前記操作対象部材を示す画像情報、操作手順の順番を示す画像情報、操作方向を示す画像情報、操作手順の説明文の何れかを含むことを特徴とする請求項１または２に記載の操作案内補助システム。

【請求項4】

前記制御部は、
前記利用者が操作案内に沿って操作を行ったことを操作履歴データとして記憶し、
前記操作履歴データに基づき、次の操作案内を表示することを特徴とする請求項１から３のうち何れか一項に記載の操作案内補助システム。

【請求項5】

前記制御部は、
前記操作案内の操作が完了した場合は、前記表示部に予め設定された表示画面を表示することを特徴とする請求項１から４のうち何れか一項に記載の操作案内補助システム。

【請求項6】

前記制御部は、
色により画像領域を区切ることで、前記撮影装置による前記操作対象部材および前記利用者の手を識別することを特徴とする請求項１から５のうち何れか一項に記載の操作案内補助システム。

【請求項7】

前記制御部は、
前記操作対象部材と前記利用者の手との位置関係に対応して、前記操作案内補助情報として、前記表示部に前記利用者の操作を誘導するための案内画像を表示することを特徴とする請求項１から６のうち何れか一項に記載の操作案内補助システム。

【請求項8】

前記制御部は、
前記利用者の手と前記操作対象部材との位置関係の変化に対応して、前記案内画像の表示態様を変化させることを特徴とする請求項７に記載の操作案内補助システム。

【請求項9】

前記制御部は、
前記撮影装置による撮影時に、前記画像形成装置を認識できない場合は、
前記利用者に対して前記画像形成装置を撮影することを報知することを特徴とする請求項１から８のうち何れか一項に記載の操作案内補助システム。

【請求項10】

前記制御部は、
前記利用者に対して前記画像形成装置を撮影することを報知した後に、
前記画像形成装置を認識した場合は、
前記操作対象部材の位置と前記利用者の手の位置を認識して、前記操作案内を行うことを特徴とする請求項９に記載の操作案内補助システム。

【請求項11】

撮影装置が画像形成装置とは別体の携帯端末装置に設けられ、前記撮影装置を利用した画像形成装置の操作案内補助方法であって、
前記画像形成装置にエラーが発生した場合に、前記撮影装置によりエラー発生箇所の情報を取得する工程と、
前記画像形成装置のエラー情報に基づき、エラー解除するための操作案内の対象となる操作対象部材を特定する工程と、
前記エラー発生箇所の情報から前記画像形成装置の操作を行う利用者の手の情報を取得する工程と、
前記利用者の手の情報を含む前記エラー発生箇所の情報を表示する工程と、
前記操作案内の手順に沿って、利用者の操作を誘導する操作案内補助情報を表示する工程と、
前記携帯端末装置の前記撮影装置による撮影時に、前記携帯端末装置の表示部に表示される操作案内の映像を一時的に停止することを可能とする工程と、
前記操作案内を停止した状態から、前記操作案内を再開したときに、前記操作対象部材および前記利用者の手の位置を認識する工程と、
前記操作案内を停止した時点から前記操作案内を再開する工程とを含むことを特徴とする操作案内補助方法。

【請求項12】

撮影装置が画像形成装置とは別体の携帯端末装置に設けられ、前記撮影装置を利用した画像形成装置の操作案内補助方法であって、
利用者が前記画像形成装置の操作案内を要求した場合に、前記利用者の要求した情報に基づき、前記操作案内の対象となる操作対象部材を特定する工程と、
前記撮影装置により前記画像形成装置の操作を行う利用者の手の情報を取得する工程と、
前記利用者の手の情報を含む前記操作案内に関する情報を表示する工程と、
前記操作案内の手順に沿って、利用者の操作を誘導する操作案内補助情報を表示する工程と、
前記携帯端末装置の前記撮影装置による撮影時に、前記携帯端末装置の表示部に表示される操作案内の映像を一時的に停止することを可能とする工程と、
前記操作案内を停止した状態から、前記操作案内を再開したときに、前記操作対象部材および前記利用者の手の位置を認識する工程と、
前記操作案内を停止した時点から前記操作案内を再開する工程とを含むことを特徴とする操作案内補助方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、操作案内補助システム等に係り、特に、撮影装置を利用した画像形成装置の操作案内補助システム等に関する。

【背景技術】

【0002】

近年、画像形成装置において、利用者が装置の操作案内やエラー処理を行う場合に、別途操作マニュアル等を参照することなく、表示部に所望する事項を参照するようにしたものが知られている。

【0003】

従来は、画像形成装置においてエラーが発生した場合には、画像形成装置の側面パネル等を開放して、エラー要因に関係するハンドル、操作ボタン、ギア等を操作してエラーを解消するようにしている。

【0004】

しかしながら、エラー発生箇所に近いところにハンドルや操作ボタン等が複数存在する場合には、どれを操作してよいか判らないことがあった。

【0005】

また、エラー処理を行う操作案内が表示部に表示されても、利用者はどこを操作してよいか判らないことがあった。

【0006】

そこで、従来技術として、画像形成装置において、ジャム発生時に、ユーザに対し、そのジャムの状態に応じて適切にジャムを解除することができる操作を案内するようにしたものが開示されている（特許文献１を参照）。

【0007】

具体的には、特許文献１に記載の技術は、画像形成装置において、ジャム発生時に、ジャムの状態に応じた解除操作をユーザに分かり易くするために、携帯端末を利用して、ジャムが発生した箇所をカメラで撮影して、その撮影した画像に操作方法を表示するようにしたものである

【先行技術文献】

【特許文献】

【0008】

【文献】特開２０１３－２０５４２５号公報

【発明の概要】

【発明が解決しようとする課題】

【0009】

しかしながら、特許文献１の技術では、ジャムが発生した紙の処理についての操作であり、ジャムが処理されたことを、ジャムが発生した紙が無くなったと画像認識で判断するようにしたものであり、ジャムを処理するために、ハンドルやレバー等の操作を案内するものではなかった。

【0010】

したがって、特許文献１の技術により、従来からの問題である、操作案内を分かり易くして、装置にエラーが発生した場合でも簡単にエラー解除を行うという問題を解消するものではなかった。

【0011】

本発明は、上記従来の課題に鑑みてなされたものであり、画像形成装置の操作案内を分かり易くして、エラーが発生した場合でも簡単にエラー解除を行うことができる操作案内補助システム等を提供することを目的とする。

【課題を解決するための手段】

【0012】

本発明の操作案内補助システムは、撮影装置（例えば、カメラ）を利用した画像形成装置の操作案内補助システムであって、前記画像形成装置の操作案内を行う機能を有する制御部と、前記操作案内を表示する表示部（例えば、操作画面）と、を備え、前記制御部により、前記画像形成装置にエラーが発生した場合に、前記撮影装置によりエラー発生箇所の情報（映像）を取得し、前記画像形成装置のエラー情報に基づき、エラー解除するための操作案内の対象となる操作対象部材（例えば、操作ハンドル、操作ボタン、搬送部、駆動ギア等）を特定し、前記エラー発生箇所の情報から前記画像形成装置の操作を行う利用者の手の情報を取得し、前記利用者の手の情報を含む前記エラー発生箇所の情報を前記表示部に表示し、前記操作案内の手順に沿って、利用者の操作を誘導する操作案内補助情報を表示することを特徴とするものである。

【0013】

また、本発明の操作案内補助システムは、撮影装置を利用した画像形成装置の操作案内補助システムであって、前記画像形成装置の操作案内を行う機能を有する制御部と、前記操作案内を表示する表示部と、を備え、前記制御部により、利用者が前記画像形成装置の操作案内を要求した場合に、前記利用者の要求した情報に基づき、前記操作案内の対象となる操作対象部材を特定し、前記撮影装置により前記画像形成装置の操作を行う利用者の手の情報を取得し、前記利用者の手の情報を含む前記操作案内に関する情報を前記表示部に表示し、前記操作案内の手順に沿って、利用者の操作を誘導する操作案内補助情報を表示することを特徴とするものである。

【0014】

また、本発明の操作案内補助方法は、撮影装置を利用した画像形成装置の操作案内補助方法であって、前記画像形成装置にエラーが発生した場合に、前記撮影装置によりエラー発生箇所の情報（映像）を取得する工程と、前記画像形成装置のエラー情報に基づき、エラー解除するための操作案内の対象となる操作対象部材を特定する工程と、前記エラー発生箇所の情報から前記画像形成装置の操作を行う利用者の手の情報を取得する工程と、前記利用者の手の情報を含む前記エラー発生箇所の情報を表示する工程と、前記操作案内の手順に沿って、利用者の操作を誘導する操作案内補助情報を表示する工程と、を備えることを特徴とするものである。

【0015】

また、本発明の操作案内補助方法は、撮影装置を利用した画像形成装置の操作案内補助方法であって、利用者が前記画像形成装置の操作案内を要求した場合に、前記利用者の要求した情報に基づき、前記操作案内の対象となる操作対象部材を特定する工程と、前記撮影装置により前記画像形成装置の操作を行う利用者の手の情報を取得する工程と、前記利用者の手の情報を含む前記操作案内に関する情報を表示部（操作画面）に表示する工程と、前記操作案内の手順に沿って、利用者の操作を誘導する操作案内補助情報を表示する工程と、を備えることを特徴とするものである。

【発明の効果】

【0016】

本発明の操作案内補助システムによれば、画像形成装置において、操作案内を行う際に、表示部に操作案内に関する情報とともに操作を行う使用者の手の情報を表示して、操作案内の手順に沿って、前記表示部に操作案内に関する情報に加えて利用者の操作を誘導する操作案内補助情報を表示するようにしたので、利用者に対して操作案内を明確に行うことができる。例えば、装置にエラーが発生した場合でも、利用者が表示部においてエラーが発生した箇所、操作を行う利用者の手および操作案内補助情報を表示しながら操作案内が行われるので、簡単にエラー解除の処理を行うことができる。

【図面の簡単な説明】

【0017】

【図1】第１実施形態に係る操作案内補助システムの全体構成を示す説明図である。

【図2】操作案内補助システムにおいて携帯端末装置を用いた案内補助の操作を示す説明図である。

【図3】操作案内補助システムを構成する画像形成装置の全体構成を示す説明図である。

【図4】画像形成装置の構成を示すブロック図である。

【図5】画像形成装置の制御部の操作案内補助機能の一例を示すブロック図である。

【図6】操作案内補助システムを構成する携帯端末装置の全体構成を示す説明図である。

【図7】携帯端末装置の構成を示すブロック図である。

【図8】操作案内補助システムにおいて操作案内を行う手順の一例を示すフローチャートである。

【図9】携帯端末装置の表示部表示される操作案内補助情報の一例を示す説明図である。

【図10】図９に続き表示される操作案内補助情報の一例を示す説明図である。

【図11】第２実施形態に係る携帯端末装置の表示部に表示される操作案内補助情報の一例を示す説明図である。

【図12】図１２は図１１に続き表示される操作案内補助情報の一例を示す説明図である。

【図13】第３実施形態に係る操作案内補助システムにおいて操作案内を行う手順の一部を示すフローチャートである。

【図14】図１４は図１３に続き操作案内を行う手順を示すフローチャートである。

【図15】第４実施形態に係る画像形成装置の構成を示すブロック図である。

【図16】画像形成装置の制御部の操作案内補助機能の一例を示すブロック図である。

【発明を実施するための形態】

【0018】

（第１実施形態）
以下、本発明の第１実施形態について図面を参照して説明する。
図１は発明を実施する形態の一例であって、本発明の第１実施形態に係る操作案内補助システムの全体構成を示す説明図、図２は操作案内補助システムにおいて携帯端末装置を用いた案内補助の操作を示す説明図、図３は操作案内補助システムを構成する画像形成装置の全体構成を示す説明図、図４は画像形成装置の構成を示すブロック図、図５は画像形成装置の制御部の操作案内補助機能の一例を示すブロック図である。

【0019】

（操作案内補助システムの構成）
第１実施形態は、図１に示すように、画像形成装置１０と、携帯端末装置２０とをネットワークＮＷを介して通信接続された操作案内補助システム１である。

【0020】

操作案内補助システム１を構成する画像形成装置１０は、画像形成装置１０を操作する際の案内やエラーが発生した場合のエラー解除の案内等の操作案内を行う機能を有している。

【0021】

操作案内補助システム１を構成する携帯端末装置２０は、図２に示すように、カメラ（撮影装置）２２０と、カメラ２２０により撮影された映像を表示する表示部２５０を備えている。

【0022】

操作案内補助システム１は、画像形成装置１０にエラーが発生した場合に、画像形成装置１０のエラー情報に基づき、エラー発生箇所を特定し、エラー解除の操作案内の対象となる操作対象部材を特定し、携帯端末装置２０のカメラ２２０により撮影された画像形成装置１０のエラー発生箇所で操作を行う利用者の手の情報を取得し、操作対象部材および利用者の手の情報を含むエラー発生箇所の情報を携帯端末装置２０の表示部２５０に表示して、操作案内の手順に沿って、利用者の操作を誘導する操作案内補助情報を表示することを特徴としている。

【0023】

（画像形成装置の構成）
まず、第１実施形態に係る画像形成装置１０の全体構成について説明する。
画像形成装置１０は、図３に示すように、装置本体１０ａの上部に原稿読取部１１１を備えて原稿の画像を読取り、電子写真方式により画像を出力する複合機である。

【0024】

画像形成装置１０は、図４に示すように、主に、制御部１００と、画像入力部１１０と、原稿読取部１１１と、画像処理部１２０と、画像形成部１３０と、操作部１４０と、表示部１５０と、記憶部１６０と、通信部１７０等を備えて構成されている。

【0025】

制御部１００は、画像形成装置１０の全体を制御するための機能部である。
そして、制御部１００は、各種プログラムを読み出して実行することにより各種機能を実現しており、例えば１又は複数の演算装置（例えば、ＣＰＵ（Central Processing Unit））等により構成されている。

【0026】

画像入力部１１０は、画像形成装置１０に入力される画像データを読み取るための機能部である。そして、画像入力部１１０は、原稿の画像を読み取る機能部である原稿読取部１１１と接続され、原稿読取部１１１から出力される画像データを入力する。

【0027】

また、画像入力部１１０は、ＵＳＢメモリや、ＳＤカード等の記憶媒体から画像データを入力してもよい。また、他の携帯端末装置と接続を行う通信部１７０により、他の携帯端末装置から画像データを入力してもよい。

【0028】

原稿読取部１１１は、コンタクトガラス（不図示）に載置された原稿を光学的に読み取り、画像形成部１３０へスキャンデータを渡す機能を有する。

【0029】

画像処理部１２０は、原稿読取部１１１で読み込まれた画像データに基づき、設定されたファイル形式（TIFF，GIF，JPEG等）に変換する機能を有する。そして、画像処理が施された画像データに基づき出力画像を形成する。

【0030】

画像形成部１３０は、画像データに基づく出力データを記録媒体（例えば記録用紙）に形成するための機能部である。画像形成部１３０は、例えば電子写真方式を利用したレーザプリンタ等により構成されている。

【0031】

操作部１４０は、ユーザによる操作指示を受け付けるための機能部であり、各種キースイッチや、接触による入力を検出する装置等により構成されている。ユーザは、操作部１４０を介して、使用する機能や出力条件を入力する。

【0032】

表示部１５０は、ユーザに各種情報を表示するための機能部であり、例えばＬＣＤ（Liquid crystal display）等により構成されている。

【0033】

すなわち、操作部１４０は、画像形成装置１０を操作するためのユーザーインターフェースを提供し、表示部１５０には、画像形成装置１０の各種設定メニュー画面やメッセージが表示される。

【0034】

なお、画像形成装置１０は、図３に示すように、操作部１４０の構成として、操作パネル１４１と、表示部１５０とが一体に形成されているタッチパネルを備えてもよい。この場合において、タッチパネルの入力を検出する方式は、例えば、抵抗膜方式、赤外線方式、電磁誘導方式、静電容量方式といった、一般的な検出方式であればよい。

【0035】

記憶部１６０は、画像形成装置１０の動作に必要な制御プログラムを含む各種プログラムや、読み取りデータを含む各種データやユーザ情報が記憶されている機能部である。記憶部１６０は、例えば、不揮発性のＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、ＨＤＤ（Hard Disk Drive）等により構成されている。また、半導体メモリであるＳＳＤ（Solid State Drive）を備えてもよい。

【0036】

ＲＯＭには、画像形成装置１０の一般的な動作を実現するためのコンピュータプログラムが記憶される。ＲＯＭには、さらに、操作部１４０に表示する各種設定画面等を表示するための画面データが記憶される。

【0037】

ＲＡＭは、制御部１００におけるＣＰＵによる演算処理結果を一時的に記憶するワーキングメモリとしての機能と、画像データを記憶するフレームメモリとしての機能を提供する。

【0038】

ＨＤＤには、原稿読取部１１１にてスキャンされた画像データ等の各種データが一時的に記憶される。

【0039】

通信部１７０は、ネットワークＮＷを介して携帯端末装置２０等と通信接続を行う。

【0040】

（画像形成装置の特徴的な構成）

【0041】

第１実施形態に係る操作案内補助システム１を構成する画像形成装置１０では、図４に示すように、制御部１００は、操作案内機能１０１に加えて、さらに、操作案内補助機能１０２を備えることを特徴としている。

【0042】

操作案内機能１０１は、例えば、画像形成装置１０にエラーが発生した場合に、画像形成装置１０のエラー情報に基づき、エラー解除の操作案内を行う。

【0043】

操作案内補助機能１０２は、操作案内機能１０１を補助する機能であって、図５に示すように、
（１）画像形成装置１０のエラー情報に基づき、エラー解除の操作案内の対象となる操作レバーやハンドル等の操作対象部材を特定する機能（以下、「操作対象部材特定機能」と称する。）１０２１、
（２）携帯端末装置２０のカメラ２２０により撮影された画像形成装置１０上で操作を行う利用者の手の情報を取得する機能（以下、「利用者情報取得機能」と称する。）１０２２と、
（３）利用者の手の情報を含むエラー発生箇所の情報を表示部２５０に表示する機能（以下、「エラー情報表示機能」と称する。）１０２３と、
（４）エラー解除するための操作案内の手順に沿って、表示部２５０にエラー発生箇所の情報に加えて利用者の操作を誘導する操作案内補助情報を表示する機能（以下、「操作案内補助情報表示機能」と称する。）１０２４と、
を備えることを特徴としている。

【0044】

第１実施形態では、記憶部１６０には、図４に示すように、操作案内情報１６１、エラー情報１６２、操作案内補助情報１６３等が記憶されることを特徴としている。

【0045】

操作案内情報１６１として、画像形成装置１０の操作案内を行う情報が予め記憶部１６０に記憶されている。

【0046】

エラー情報１６２として、図示しないエラー検知センサによるエラー検知情報や、エラー検知情報に基づくエラー箇所の情報等が記憶部１６０に記憶される。

【0047】

エラー箇所の情報としては、エラー箇所の位置情報やエラー要因（ジャミング、部品破損等）を含む。

【0048】

操作案内補助情報１６３は、例えば、操作対象部材を示す画像情報、操作手順の順番を示す画像情報、操作方向（押し／引き、回転）を示す画像情報（矢印等）、操作手順の説明文等を含む。

【0049】

操作対象部材としては、操作ハンドル等の操作部材、タッチキー等の操作ボタン、ギア等の駆動部材などの操作の対象となる部材を含む。

【0050】

（携帯端末装置の構成）
次に、第１実施形態に係る携帯端末装置２０について図面を参照して説明する。
図６は操作案内補助システムを構成する携帯端末装置の全体構成を示す説明図、図７は携帯端末装置の構成を示すブロック図である。

【0051】

携帯端末装置２０は、図６に示すように、本体２０ａのおもて面側に表示部２５０を備え、裏面側にカメラ２２０を備えている。

【0052】

そして、携帯端末装置２０は、図７に示すように、主に、制御部２００と、カメラ２２０と、表示部２５０と、通信部２７０等を備えて構成されている。

【0053】

携帯端末装置２０は、通信部２７０を介して画像形成装置１０と通信可能に接続されている。表示部２５０は、カメラ２２０で撮影された映像が表示可能に制御されるとともに、画像形成装置１０からの操作案内情報１６１及び操作案内補助情報１６３が表示可能に制御されている。

【0054】

（操作案内を実行する手順）
次に、操作案内補助システム１において画像形成装置１０の操作案内を行う手順の一例についてフローチャートに沿って説明する。

【0055】

図８は第１実施形態に係る操作案内補助システムにおいて操作案内を行う手順の一例を示すフローチャートである。

【0056】

ここでは、操作案内補助システム１において、画像形成装置１０にエラーが発生したときに、携帯端末装置２０を用いて操作案内を行う場合について説明する。

【0057】

図８に示すように、画像形成装置１０において、印刷ジョブが実行されて（ステップＳ１０１）、エラーが発生したとき（ステップＳ１０３）、利用者が携帯端末装置２０により操作案内を行う場合は、携帯端末装置２０の表示部２５０に操作誘導依頼画面を表示して操作案内を行う（ステップＳ１０５）。

【0058】

ここで、操作誘導依頼画面は、例えば、利用者が操作案内補助を要求または選択した場合、操作案内補助機能が可能となる操作画面である。

【0059】

利用者が携帯端末装置２０により操作案内を行う場合は、携帯端末装置２０に操作案内を行うためのアプリケーションを入手して操作案内を開始する、または、画像形成装置１０に接続して操作案内を開始する（ステップＳ１０７）。

【0060】

使用者は携帯端末装置２０のカメラ２２０を起動して、画像形成装置１０に接続する（ステップＳ１０９）。

【0061】

画像形成装置１０から携帯端末装置２０にエラー情報１６２およびエラー解除するための操作案内補助情報１６３が送信される（ステップＳ１１１）。

【0062】

携帯端末装置２０では、画像形成装置１０のエラー情報１６２および操作案内補助情報１６３が入手される（ステップＳ１１３）。

【0063】

そして、カメラ２２０により画像形成装置１０のエラー発生箇所が撮影されたか否かが判定される（ステップＳ１１５）。

【0064】

ステップＳ１１５において、カメラ２２０によりエラー発生箇所が撮影されていないと判定された場合は、携帯端末装置２０の表示部２５０に「エラー発生箇所を撮影して下さい」等のエラー発生箇所を撮影することを指示するメッセージが所定時間の間表示させる（ステップＳ１１７）。そして、ステップＳ１１５戻る。

【0065】

一方、ステップＳ１１５において、カメラ２２０によりエラー発生箇所が撮影されていると判定された場合は、撮影されたエラー解除に関連する操作ハンドル、操作ボタン、ギアおよび操作を行う利用者の手を光源変換等で検知する（ステップＳ１１９）。

【0066】

そして、画像に変換された操作ハンドル、操作ボタン、ギアおよび操作を行う利用者の手の操作案内補助情報１６３をエラー情報に合成して、表示部２５０の操作画面に表示して、エラー解除の操作案内を行う（ステップＳ１２１）。

【0067】

操作画面おける操作案内補助情報１６３の表示は、操作ハンドル、操作ボタン、ギア等の画像をカラーで表示したり、操作方向を矢印で表示したり、コメント等によるガイダンスを表示するようにしてもよい。

【0068】

エラー解除の操作案内（ガイダンス）に沿って操作が行われて、画像形成装置１０のエラー検知センサがエラー状況を検知しなくなった時点でエラーは解除された状態となる。

【0069】

そして、画像形成装置１０において、エラー解除を検知したか否かが判定される（ステップＳ１２３）。

【0070】

ステップＳ１２３において、エラー解除を検知していないと判定された場合は、ステップＳ１１５に戻る。

【0071】

一方、ステップＳ１２３において、エラー解除を検知したと判定された場合は、エラー解除の操作案内は終了する。

【0072】

操作案内が終了した後は、表示部２５０の表示画面を、初期画面や通常の操作画面等、予め設定された画面に戻すようにしてもよい。

【0073】

（エラー解除の操作案内の一例）
次に、第１実施形態の携帯端末装置２０の表示部２５０に表示される操作案内補助情報１６３の表示態様について図面を参照して説明する。

【0074】

図９は第１実施形態に係る携帯端末装置の表示部表示される操作案内補助情報の一例を示す説明図、図１０は図９に続き表示される操作案内補助情報の一例を示す説明図である。

【0075】

第１実施形態では、操作案内補助システム１において、携帯端末装置２０の表示部２５０を用いて操作案内が開始されると、表示部２５０には、携帯端末装置２０のエラー発生箇所を示すエラー情報画像が表示されるとともに、操作案内補助情報１６３として、操作を行う利用者の手の画像、エラー解除に関わる操作対象部材を示す画像、エラー解除の操作を説明するコメントが表示される。

【0076】

具体的には、第１実施形態では、図９に示すように、操作を行う利用者の手の画像として手操作画像２５２１、エラー解除に関わる操作対象部材を示す画像として操作レバー画像２５３１がエラー情報画像２５１０に合成して表示されている。

【0077】

操作レバー画像２５３１は、画像の合成処理により、当該処理するエラー解除に関わらないその他の操作部材とは異なる色で表示されている。例えば、操作レバー画像２５３１は、カラーで表示し、その他の操作部材は、モノトーンで表示するようにしてもよい。

【0078】

そして、エラー解除の操作を説明するコメントとして、「レバーを引いて、側面パネルを開けて下さい。」という第１ガイドコメント２５５１が、エラー情報画像２５１０付近に表示されている。ここでは、第１ガイドコメント２５５１は、表示部２５０内の下部に表示されている。

【0079】

なお、第１ガイドコメント２５５１の表示位置は、これに限定されるものではなく、その他の位置であってもよい。

【0080】

そして、エラー解除の操作の一工程が終了すると、図１０に示すように、次のエラー解除の操作に関する操作対象部材を示すギア画像２５３２が表示される。

【0081】

そして、この工程のエラー解除の操作を説明する「ギアを回して、紙を取り出して下さい。」という第２ガイドコメント２５５２が表示される。

【0082】

このように、携帯端末装置２０の表示部２５０に、エラー情報画像２５１０に加えて、操作を行う利用者の手の手操作画像２５２１、操作レバー画像２５３１、ギア画像２５３２、第１ガイドコメント２５５１、第２ガイドコメント２５５２による操作案内補助情報１６３を表示するようにしたので、エラー解除の操作を行う操作対象部材を明確にしてエラー解除の操作を容易に行うことができる。

【0083】

なお、操作案内補助情報１６３として表示された手操作画像２５２１、操作レバー画像２５３１、ギア画像２５３２、第１ガイドコメント２５５１、第２ガイドコメント２５５２に基づき、利用者によって実行された操作内容は、操作案内補助情報１６３の操作履歴データとして記憶部１６０に記憶して、その操作履歴データに基づいて、次の操作案内を行うようにしてもよい。

【0084】

以上のように構成したので、第１実施形態によれば、携帯端末装置２０のカメラ２２０を利用した画像形成装置１０の操作案内補助システム１において、画像形成装置１０には、操作案内機能１０１と、操作案内補助機能１０２とを備え、操作案内を表示する表示部として携帯端末装置２０の表示部２５０を用いて、画像形成装置１０にエラーが発生した場合に、画像形成装置１０のエラー情報に基づき、エラー解除の操作案内の対象となる操作対象部材を特定し、カメラ２２０により撮影されたエラー情報画像２５１０とともに利用者の手を示す手操作画像２５２１を含む操作案内補助情報１６３を表示部２５０に表示し、エラー解除の操作案内の手順に沿って、利用者の操作を誘導するようにしたので、利用者は容易にエラー解除の操作を行うことができる。

【0085】

第１実施形態では、操作案内補助情報１６３として、利用者の手を示す手操作画像２５２１に加えて、エラー解除に関わる操作対象部材を示す画像として操作レバー画像２５３１、ギア画像２５３２、エラー解除に関わる操作対象部材を説明するコメントとして第２ガイドコメント２５５２を表示するようにしたことで、エラー解除の対象となる操作対象部材を間違えることなく操作することができる。

【0086】

また、第１実施形態では、操作レバー画像２５３１を、エラー解除に関わらないその他の操作部材とは異なる色で表示するようにしたので、利用者は、操作する対象となる操作対象部材を明確に判別することができる。

【0087】

なお、第１実施形態では、操作案内補助システム１において、画像形成装置１０にエラーが発生した場合に、操作案内補助機能１０２によりエラー解除の操作案内を補助することについて説明したが、操作案内補助機能１０２は、エラー解除の操作案内を補助するものに限定されるものではなく、例えば、画像形成装置１０の利用者が要求した操作案内の情報に基づいて、その要求した操作案内を補助するようにしたものであってもよい。

【0088】

（第２実施形態）
次に、第２実施形態について説明する。
第２実施形態は、操作案内補助システム１において、カメラ２２０により取得した情報に対して、例えば、CMOSセンサ等を用いる光源変換により、色の違いにより画像領域を区切ることで操作対象部材および利用者の手を識別し、エラー解除の操作案内を行う際に、操作対象部材と操作を行う利用者の手との位置関係に対応して、表示部２５０に利用者の操作を誘導するための案内画像（マーカー、矢印等）を表示することを特徴とするものである。

【0089】

図１１は第２実施形態に係る携帯端末装置の表示部に表示される操作案内補助情報の一例を示す説明図、図１２は図１１に続き表示される操作案内補助情報の一例を示す説明図である。

【0090】

なお、第２実施形態において、説明の便宜上、第１実施形態の操作案内補助システムおいて説明した構成と同一の構成については、同一の番号を付して説明を省略する。

【0091】

第２実施形態では、操作案内補助システム１において、操作案内補助情報１６３として、操作を行う利用者の手の画像、エラー解除に関わる操作対象部材を示す画像、エラー解除の操作を説明するコメントに加えて、エラー解除に関わる操作対象部材を説明するコメントが表示される。

【0092】

具体的には、第２実施形態では、図１１、図１２に示すように、操作を行う利用者の手の画像として手操作画像２５２１－２、エラー解除に関わる操作対象部材を示す画像として操作レバー画像２５３１－２、ギア画像２５３２－２、エラー解除に関わる操作対象部材を説明するコメントとして操作部材名称である側面パネル２５４１、操作レバー２５４２、ギア２５４３がエラー情報画像２５１０に合成して表示されている。

【0093】

さらに、第２実施形態では、表示部２５０に表示される画像を、光源変換により画像領域に対応して色を変えて表示している。

【0094】

具体的には、図１１、図１２に示すように、手操作画像２５２１－２は黄色とし、操作レバー画像２５３１－２、ギア画像２５３２－２は赤色とし、画像形成装置１０の内部２５１１は黒色としている。

【0095】

このように、表示部２５０に表示される画像、または画像が表示される画像領域に応じて画像または画像領域の色を変えることにより、それぞれの画像を色により識別することができる。

【0096】

さらに、第２実施形態では、エラー解除の操作案内を行う際に、図１１に示すように、操作レバー画像２５３１－２と手操作画像２５２１－２との位置関係に対応して、利用者の操作を誘導するために、案内画像として矢印２５６１を表示している。

【0097】

これにより、矢印２５６１の向きにより利用者が操作する方向を明確にすることができる。

【0098】

また、図１２に示すように、ギア画像２５３２－２に対して利用者がどのように操作を行うかを誘導するために、案内画像として回動を示唆する矢印２５６２を表示している。

【0099】

これにより、矢印２５６２の回動を示唆する表示により利用者が操作する行為を明確にすることができる。

【0100】

そして、エラー解除の操作を説明するコメントとして、図１１には、「赤いレバーを引いて、側面パネルを開けて下さい。」という第３ガイドコメント２５５３が表示されている。また、図１２には、「赤いギアを矢印の方向に回して、紙を取り出して下さい。」という第４ガイドコメント２５５４が表示されている。

【0101】

このように、操作レバーやギアなどの操作対象部材の色を設定したり、矢印等の案内画像を表示したりすることで、エラー解除の操作を行う操作対象部材をさらに明確にしてエラー解除の操作を容易に行うことができる。

【0102】

以上のように構成したので、第２実施形態によれば、操作案内補助システム１において、表示部２５０に操作案内補助情報１６３を表示する際に、色により画像領域を区切ることで、カメラ２２０による操作対象部材の画像および利用者の手の画像を識別し、エラー解除の操作案内を行う際に、操作対象部材と操作を行う利用者の手との位置関係に対応して、利用者の操作を誘導するために矢印等の案内画像を表示するようにしたことで、利用者に対する操作案内をより明確に行うことができる。

【0103】

また、操作案内補助システム１において、画像形成装置１０における操作レバー等の操作部材の位置情報を画像形成装置１０側に記憶させていくことで、色識別により表示される操作対象部材の画像を表示部２５０に表示する際に、表示部２５０に表示されるエラー情報の画像と操作対象部材の画像の表示位置の精度アップを図ることができる。

【0104】

なお、第２実施形態では、案内画像として矢印２５６１、２５６２を操作対象部材の画像である操作レバー画像２５３１－２、ギア画像２５３２－２の付近に表示しているが、案内画像の表示態様はこれに限定されるものではない。

【0105】

例えば、変形例として、表示部２５０において、利用者の手の手操作画像と操作対象部材の画像との位置関係の変化に対応して、案内画像の表示態様を、点滅させたり、色を変化させたり、矢印の方向を変更したりして、案内画像の表示態様を変化させるようにしてもよい。

【0106】

また、その他の例として、エラー解除における操作ステップの状態（エラーが解除されている段階）が解るように、エラー情報画像２５１０上または付近に、ステップ１、ステップ２・・・と表示したり、ステップ１／５、ステップ２／５・・・等のように、ステップの数字を表示するようにしてもよい。

【0107】

（第３実施形態）
次に、第３実施形態について説明する。
第３実施形態は、操作案内補助システム１において、携帯端末装置２０は、エラー解除の操作を行う際のカメラ２２０による撮影時に、表示部２５０に表示される操作案内の映像を一時的に停止することを可能とし、操作案内を停止した状態から操作案内を再開したときに、操作対象部材および利用者の手の位置を認識して、操作案内を停止した時点から操作案内を再開するようにしたことを特徴とするものである。

【0108】

図１３は第３実施形態に係る操作案内補助システムにおいて操作案内を行う手順の一部を示すフローチャート、図１４は図１３に続き操作案内を行う手順を示すフローチャートである。

【0109】

なお、第３実施形態に係る操作案内補助システムは、第１実施形態の操作案内補助システムと同様な構成を有するものであるため、第１実施形態の操作案内補助システム１を参照するものして説明を省略する。

【0110】

ここでは、操作案内補助システム１において、画像形成装置１０に発生したエラーの解除操作を行う際に、携帯端末装置２０のカメラ２２０の撮影を一時中止して、エラー解除の操作を行う場合について、フローチャートに沿って説明する。

【0111】

なお、第３実施形態の操作案内補助システム１において、携帯端末装置２０のカメラ２２０の撮影を一時中止して、エラー解除の操作を行う処理以外の操作案内を行う処理、すなわち、図１３、図４に示す、ステップＳ１０１からステップＳ１２４までの処理については、第１実施形態の操作案内補助システム１における操作案内の処理と同様に行われるため、説明は省略する。

【0112】

従って、ここでは、操作案内補助システム１において、携帯端末装置２０のカメラ２２０の撮影を一時中止して、エラー解除の操作を行う処理について説明する。

【0113】

図１４に示すように、第３実施形態に係る操作案内補助システム１では、ステップＳ１２１において、操作案内補助情報１６３をエラー情報に合成して表示部２５０に表示して、エラー解除の操作案内が行われているときに、操作状況によって利用者がカメラ２２０を停止する必要が生じて、カメラ２２０を停止すると、カメラ２２０を停止したか否かが判定される（ステップＳ３０１）。

【0114】

ステップＳ３０１において、カメラ２２０が停止したと判定された場合は、表示部２５０に表示される操作案内の画面を一時的に停止する（ステップＳ３０３）。

【0115】

そして、カメラ２２０による撮影が再開されたか否かが判定される（ステップＳ３０５）。ステップＳ３０５において、カメラ２２０による撮影が再開されたと判定された場合は、カメラ２２０を停止した時点からエラー解除の操作案内を再開する（ステップＳ３０７）。そして、ステップＳ１２３に進む。

【0116】

一方、ステップＳ３０５において、カメラ２２０による撮影が再開されていないと判定された場合は、ステップＳ３０３に戻る。

【0117】

また、ステップＳ３０１において、カメラ２２０を停止していないと判定された場合は、そのままステップＳ１２３に進む。
このようにして、操作案内は実行される。

【0118】

以上のように構成したので、第３実施形態によれば、操作案内補助システム１において、携帯端末装置２０は、エラー解除の操作を行う際のカメラ２２０による撮影時に、表示部２５０に表示される操作案内を一時的に停止した状態から操作案内を再開したときに、操作対象部材および利用者の手の位置を認識して、操作案内を停止した時点から操作案内を再開するようにしたことで、例えば、カメラ２２０によりエラー解除手順を確認中に、両手を使う操作が必要な場合に、操作手順の案内を一時停止することで、エラー解除を行う操作をスムーズに行うことできる。

【0119】

なお、案内操作を再開する時には、例えば、携帯端末装置２０のカメラ２２０をエラーが発生した場所に戻り、撮影を再開して、エラー発生箇所の情報を取得することで、操作案内を再開することを判断するようにしてもよい。

【0120】

（第４実施形態）
次に、第４実施形態について説明する。
第４実施形態は、操作案内補助システム１において、画像形成装置１０は、制御部１００の操作案内補助機能１０２に加えて、カメラ２２０による撮影時に、画像形成装置１０を認識できない場合は、利用者に対して画像形成装置１０を撮影することを報知する機能を備えることを特徴とするものである。

【0121】

図１５は第４実施形態に係る画像形成装置の構成を示すブロック図、図１６は画像形成装置の制御部の操作案内補助機能の一例を示すブロック図である。

【0122】

なお、第４実施形態に係る画像形成装置は、第１実施形態に係る操作案内補助システムの画像形成装置と同様な構成には同一の符号を付することで説明を省略する。

【0123】

第４実施形態に係る操作案内補助システム１を構成する画像形成装置４０は、図１５に示すように、制御部４００は、操作案内機能１０１に加えて、さらに、操作案内補助機能４０２を備えている。

【0124】

操作案内補助機能４０２は、図１６に示すように、操作対象部材特定機能１０２１、利用者情報取得機能１０２２、エラー情報表示機能１０２３、操作案内補助情報表示機能１０２４に加えて、操作対象情報報知機能４０２５を備える。

【0125】

第４実施形態では、操作案内補助機能４０２は、操作対象としての画像形成装置４０がカメラ２２０により撮影されていない場合は、操作対象情報報知機能４０２５により、表示部２５０に画像形成装置４０をカメラ２２０により撮影する旨のコメント等を表示することで、利用者に画像形成装置４０が撮影されていないことを報知するようにしている。

【0126】

また、制御部４００は、利用者に対して画像形成装置４０を撮影することを報知した後に、画像形成装置４０をカメラ２２０から送信された情報により認識した場合は、画像形成装置４０の位置と操作する利用者の手の位置を認識して、操作案内に沿って、利用者の操作を誘導するようにしてもよい。

【0127】

以上のように構成したので、第４実施形態によれば、操作案内補助システム１において、画像形成装置４０の操作案内を行う場合に、操作案内を行う対象である画像形成装置４０が表示部２５０に表示されていない場合は、利用者に対して画像形成装置４０を撮影することを報知することで、操作案内を行う操作対象を明確にすることができる。

【0128】

以上のように、本発明は、上述した実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能である。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、すなわち、本発明の要旨を逸脱しない範囲内において適宜変更した技術的手段を組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。

【符号の説明】

【0129】

１ 操作案内補助システム
１０，４０ 画像形成装置
２０ 携帯端末装置
１００，２００，４００ 制御部
１０１ 操作案内機能
１０２，４０２ 操作案内補助機能
１５０，２５０ 表示部
１６０ 記憶部
１６１ 操作案内情報
１６２ エラー情報
１６３ 操作案内補助情報
２２０ カメラ（撮影装置）
１０２１ 操作対象部材特定機能
１０２２ 利用者情報取得機能
１０２３ エラー情報表示機能
１０２４ 操作案内補助情報表示機能
２５１０ エラー情報画像
２５２１，２５２１－２ 手操作画像（操作案内補助情報）
２５３１，２５３１－２ 操作レバー画像（操作案内補助情報）
２５３２，２５３２－２ ギア画像（操作案内補助情報）
２５４１ 側面パネル（操作部材名称）
２５４２ 操作レバー（操作部材名称）
２５４３ ギア（操作部材名称）
２５５１ 第１ガイドコメント（操作案内補助情報）
２５５２ 第２ガイドコメント（操作案内補助情報）
２５５３ 第３ガイドコメント（操作案内補助情報）
２５５４ 第４ガイドコメント（操作案内補助情報）
２５６１、２５６２ 矢印（案内画像）
４０２５ 操作対象情報報知機能

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】