特許 7409427 情報処理装置、情報処理システム、及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-12-25

(45)【発行日】2024-01-09

(54)【発明の名称】情報処理装置、情報処理システム、及びプログラム

(51)【国際特許分類】

   G06F 16/907 20190101AFI20231226BHJP

   G06F 16/383 20190101ALI20231226BHJP

【ＦＩ】

G06F16/907

G06F16/383

【請求項の数】 7

(21)【出願番号】P 2022073119

(22)【出願日】2022-04-27

(62)【分割の表示】P 2017220482の分割

【原出願日】2017-11-15

(65)【公開番号】P2022093466

(43)【公開日】2022-06-23

【審査請求日】2022-04-27

(73)【特許権者】

【識別番号】000005496

【氏名又は名称】富士フイルムビジネスイノベーション株式会社

(74)【代理人】

【識別番号】110000752

【氏名又は名称】弁理士法人朝日特許事務所

(72)【発明者】

【氏名】中山 雄太

(72)【発明者】

【氏名】安岡 大輔

【審査官】木村 大吾

(56)【参考文献】

【文献】特開２０１２－１９８７９１（ＪＰ，Ａ）

【文献】特開２０１１－１１４７８１（ＪＰ，Ａ）

【文献】特開２０００－３３９４７８（ＪＰ，Ａ）

【文献】特開２０１７－１８７９６２（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｆ １６／００－１６／９５８

Ｇ０６Ｑ １０／００－９９／００

(57)【特許請求の範囲】

【請求項1】

利用者が操作する機器のいずれかの部位を撮像した画像を取得する取得部と、
取得した前記画像に撮像された前記部位の輪郭に基づいて前記部位を特定する特定部と、
特定された前記部位に対応する説明の情報を通知する通知部と、
を有し、
前記特定部は、さらに特定した前記部位が操作画面を含む部位である場合、該操作画面を解析して、解析の結果に基づいて該操作画面の種類を特定し、
前記通知部は、さらに前記特定部が前記種類を特定した場合、特定した該種類に対応する説明の情報を通知する情報処理装置。

【請求項2】

前記特定部は、前記種類を特定し、該種類に対応する説明を特定するために前記操作画面の状態が必要である場合、前記解析の結果に基づいて該状態を特定し、
前記通知部は、前記特定部が前記状態を特定した場合、特定した該状態に対応する説明の情報を通知する
ことを特徴とする請求項１に記載の情報処理装置。

【請求項3】

前記機器の部位ごとに該部位に対応する説明の情報を対応付けて記憶した記憶部を有し、
前記通知部は、前記特定部が特定した前記部位が前記記憶部に記憶されているか否かを判断し、該部位が該記憶部に記憶されている場合に、該部位に対応する前記説明の情報を抽出して通知する
ことを特徴とする請求項１又は２に記載の情報処理装置。

【請求項4】

前記通知部は、前記画像とともに該画像から特定された前記部位に対応する前記説明の情報を表示部に表示することで通知する
ことを特徴とする請求項１から３のいずれか一項に記載の情報処理装置。

【請求項5】

前記特定部は、取得した前記画像に含まれる前記部位の輪郭を示す輪郭線を検出し、該輪郭線を構成する特徴点を特定して、該特徴点に基づいて前記部位を特定する
ことを特徴とする請求項４に記載の情報処理装置。

【請求項6】

情報処理装置と、該情報処理装置と通信回線を経由して通信可能に接続する端末と、を有し、前記情報処理装置、及び前記端末のいずれかは、
利用者が操作する機器のいずれかの部位を撮像した画像を取得する取得部と、
取得した前記画像に撮像された前記部位の輪郭に基づいて前記部位を特定する特定部と、
特定された前記部位に対応する説明の情報を通知する通知部と、
を有し、
前記特定部は、さらに特定した前記部位が操作画面を含む部位である場合、該操作画面を解析して、解析の結果に基づいて該操作画面の種類を特定し、
前記通知部は、さらに前記特定部が前記種類を特定した場合、特定した該種類に対応する説明の情報を通知する情報処理システム。

【請求項7】

コンピュータを、
利用者が操作する機器のいずれかの部位を撮像した画像を取得する取得部と、
取得した前記画像に撮像された前記部位の輪郭に基づいて前記部位を特定する特定部と、
特定された前記部位に対応する説明の情報を通知する通知部、
として機能させるとともに、
前記特定部は、さらに特定した前記部位が操作画面を含む部位である場合、該操作画面を解析して、解析の結果に基づいて該操作画面の種類を特定し、
前記通知部は、さらに前記特定部が前記種類を特定した場合、特定した該種類に対応する説明の情報を通知するように前記コンピュータを機能させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、情報処理装置、情報処理システム、及びプログラムに関する。

【背景技術】

【0002】

機器の操作に不慣れな利用者に対し、その機器の操作に関する情報を通知する仕組みが開発されている。

【0003】

特許文献１には、機器に付与されたコードシンボルを用いて、その機器に関する情報をカメラ機能付き携帯端末に配信する情報配信装置が開示されている。
特許文献２には、複数の機能を有する電子機器の一部を撮影した撮影画像を基に、電子機器の機能を特定し、その機能に対応する操作画面を表示し、入力された操作内容を取得して、その操作内容に基づいて、機能の動作を設定する設定指示情報を電子機器に送信する機器操作装置が開示されている。

【先行技術文献】

【特許文献】

【0004】

【文献】特開２０１２－２１２２２３号公報

【文献】特開２０１６－７６７４６号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

本発明は、機器のいずれかの部位に対応する情報を利用者に通知することを目的とする。

【課題を解決するための手段】

【0006】

本発明の請求項１に係る情報処理装置は、利用者が操作する機器のいずれかの部位を撮像した画像を取得する取得部と、取得した前記画像に撮像された前記部位の輪郭に基づいて前記部位を特定する特定部と、特定された前記部位に対応する説明の情報を通知する通知部と、を有し、前記特定部は、さらに特定した前記部位が操作画面を含む部位である場合、該操作画面を解析して、解析の結果に基づいて該操作画面の種類を特定し、前記通知部は、さらに前記特定部が前記種類を特定した場合、特定した該種類に対応する説明の情報を通知する情報処理装置である。

【0007】

本発明の請求項２に係る情報処理装置は、請求項１に記載の態様において、前記特定部は、前記種類を特定し、該種類に対応する説明を特定するために前記操作画面の状態が必要である場合、前記解析の結果に基づいて該状態を特定し、前記通知部は、前記特定部が前記状態を特定した場合、特定した該状態に対応する説明の情報を通知する情報処理装置である。
本発明の請求項３に係る情報処理装置は、請求項１又は２に記載の態様において、前記機器の部位ごとに該部位に対応する説明の情報を対応付けて記憶した記憶部を有し、前記通知部は、前記特定部が特定した前記部位が前記記憶部に記憶されているか否かを判断し、該部位が該記憶部に記憶されている場合に、該部位に対応する前記説明の情報を抽出して通知することを特徴とする情報処理装置である。

【0008】

本発明の請求項４に係る情報処理装置は、請求項１から３のいずれか一項に記載の態様において、前記通知部は、前記画像とともに該画像から特定された前記部位に対応する前記説明の情報を表示部に表示することで通知することを特徴とする情報処理装置である。

【0009】

本発明の請求項５に係る情報処理装置は、請求項４に記載の態様において、前記特定部は、取得した前記画像に含まれる前記部位の輪郭を示す輪郭線を検出し、該輪郭線を構成する特徴点を特定して、該特徴点に基づいて前記部位を特定することを特徴とする情報処理装置である。

【0010】

本発明の請求項６に係る情報処理システムは、情報処理装置と、該情報処理装置と通信回線を経由して通信可能に接続する端末と、を有し、前記情報処理装置、及び前記端末のいずれかは、利用者が操作する機器のいずれかの部位を撮像した画像を取得する取得部と、取得した前記画像に撮像された前記部位の輪郭に基づいて前記部位を特定する特定部と、特定された前記部位に対応する説明の情報を通知する通知部と、を有し、前記特定部は、さらに特定した前記部位が操作画面を含む部位である場合、該操作画面を解析して、解析の結果に基づいて該操作画面の種類を特定し、前記通知部は、さらに前記特定部が前記種類を特定した場合、特定した該種類に対応する説明の情報を通知する情報処理システムである。

【0011】

本発明の請求項７に係るプログラムは、コンピュータを、利用者が操作する機器のいずれかの部位を撮像した画像を取得する取得部と、取得した前記画像に撮像された前記部位の輪郭に基づいて前記部位を特定する特定部と、特定された前記部位に対応する説明の情報を通知する通知部、として機能させるとともに、前記特定部は、さらに特定した前記部位が操作画面を含む部位である場合、該操作画面を解析して、解析の結果に基づいて該操作画面の種類を特定し、前記通知部は、さらに前記特定部が前記種類を特定した場合、特定した該種類に対応する説明の情報を通知するように前記コンピュータを機能させるためのプログラムである。

【発明の効果】

【0012】

請求項１から６に係る発明によれば、機器のいずれかの部位に対応する情報を利用者に通知することができる。

【図面の簡単な説明】

【0013】

【図1】本実施形態に係る情報処理システム９の構成を示す図。

【図2】端末２の構成の一例を示す図。

【図3】端末２により機器Ｊを撮像する様子を示す図。

【図4】サーバ装置１の構成を示す図。

【図5】記憶部１２が記憶するデータベースを示す図。

【図6】サーバ装置１の機能的構成を示す図。

【図7】画像の解析を説明するための図。

【図8】サーバ装置１の動作の流れを示すフロー図。

【図9】端末２の表示部２４に表示されるメインメニューの例を示す図。

【図10】案内処理及び通知処理の動作の流れを示すフロー図。

【図11】端末２が説明を表示する画面の例を示す図。

【図12】変形例における通知の動作を説明するフロー図。

【発明を実施するための形態】

【0014】

＜実施形態＞
＜情報処理システムの全体構成＞
図１は、本実施形態に係る情報処理システム９の構成を示す図である。情報処理システム９は、サーバ装置１と、端末２と、これらを通信可能に接続する通信回線３とを有する。

【0015】

サーバ装置１は、利用者の端末２から送られる画像を用いて利用者が操作する機器のいずれかの部位に対応する情報を端末２に通知する情報処理装置である。

【0016】

通信回線３は、例えばインターネット、移動通信網等である。端末２は、利用者が操作する機器のいずれかの部位を撮像し、得られた画像を、通信回線３を介してサーバ装置１に送信して、その部位に対応する情報をサーバ装置１から得て利用者に知らせる端末装置である。情報処理システム９は、サーバ装置１及び端末２を複数有していてもよい。また、情報処理システム９は、通信回線３を複数有していてもよい。

【0017】

＜端末の構成＞
図２は、端末２の構成の一例を示す図である。端末２は、制御部２１、記憶部２２、通信部２３、表示部２４、操作部２５、及び撮像部２６を有する。また、端末２は、制御部２１の制御の下で音を放出する放音部２７を有していてもよい。

【0018】

制御部２１は、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）を有し、ＣＰＵがＲＯＭ及び記憶部２２に記憶されているコンピュータプログラム（以下、単にプログラムという）を読み出して実行することにより端末２の各部を制御する。

【0019】

通信部２３は、無線により通信回線３に接続する通信回路である。端末２は、通信部２３により通信回線３に接続されたサーバ装置１と情報をやり取りする。

【0020】

操作部２５は、各種の指示をするための操作ボタン、キーボード、タッチパネル等の操作子を備えており、利用者による操作を受付けてその操作内容に応じた信号を制御部２１に送る。

【0021】

表示部２４は、液晶ディスプレイ等の表示画面を有しており、制御部２１の制御の下、画像を表示する。表示画面の上には、操作部２５の透明のタッチパネルが重ねて配置されてもよい。

【0022】

記憶部２２は、ソリッドステートドライブ、ハードディスクドライブ等の大容量の記憶手段であり、制御部２１のＣＰＵに読み込まれる各種のプログラム、データ等を記憶する。

【0023】

撮像部２６は、撮像素子と、この撮像素子の受光面上に物体の光学像を形成するためのレンズ、反射鏡等の光学系とを備えている。この撮像素子とは、例えばＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサや、ＣＣＤ（Charge Coupled Device）イメージセンサ等である。

【0024】

利用者が操作部２５を操作して、利用者が操作する機器のいずれかの部位に撮像部２６のレンズを向けてこの部位を撮像する指示をすると、制御部２１は、この指示を受付けて撮像部２６に制御信号を送る。撮像部２６は、制御信号に従って上記の部位を撮像し、撮像素子において生成された画像を示す画像データを制御部２１に供給する。制御部２１は、通信部２３及び通信回線３を介してこの画像データをサーバ装置１に送信する。

【0025】

なお、撮像部２６は、利用者の頭部に装着され、利用者の視線の方向を撮像するカメラを備えたメガネ型等のウェアラブル装置であってもよい。

【0026】

図３は、端末２により機器Ｊを撮像する様子を示す図である。機器Ｊは利用者が操作する機器の一例であり、画像形成装置である。

【0027】

機器Ｊは、原稿を読取ってその内容を示す画像データを生成する読取り機能や、画像データに示される画像を用紙等の媒体上に形成する画像形成機能、電話回線を用いて他の装置と接続し画像データをやり取りするファクシミリ機能、通信回線を用いて他の装置に画像データを含むメール等をやり取りする通信機能等を有する。

【0028】

機器Ｊは複数の部位を有する。機器Ｊのうち、部位Ｒ１はいわゆる自動給紙装置（ＡＤＦ：Automatic Document Feeder）であり、部位Ｒ２は操作パネルであり、部位Ｒ３は媒体収容器であり、部位Ｒ４は排出口であり、部位Ｒ５は刻印用プレートである。

【0029】

ＡＤＦは、複数枚の原稿の束から１枚ずつ原稿を取り出して読取り装置に供給する装置である。操作パネルは、各種の指示をするための操作ボタン、キーボード、透明のタッチパネル等の操作子と、この透明のタッチパネルの下に重ねて配置されている液晶ディスプレイ等の表示画面とを備えている。利用者は、操作パネルの表示画面に表示される操作画面を見て操作子に対して操作を行う。操作パネルは、利用者による操作を受付けてその操作内容に応じた制御信号を機器Ｊの制御部に送る。

【0030】

媒体収容器は、表面に画像が形成される樹脂製のシートや用紙等の媒体を収容する容器である。排出口は、画像が形成された媒体を排出する開口部である。刻印用プレートは、例えばアルミニウム等の金属板であり、機器Ｊの製造元のロゴマーク、機種名、型番、製造番号等の識別情報が刻印される。

【0031】

利用者は、機器Ｊについて説明を受けたい場合に、その説明の内容に応じて機器Ｊを撮像し、得られた画像データをサーバ装置１に送る。すなわち、利用者は、機器Ｊの全体に関する説明を受けたい場合に、端末２を操作して機器Ｊの全体を撮像してサーバ装置１に送る。また、利用者は、機器Ｊのうちいずれかの部位に関する説明を受けたい場合に、端末２を操作してその部位を撮像してサーバ装置１に送る。サーバ装置１は、送られた画像に含まれる物体が何であるかを解析して特定し、その物体に応じた説明を端末２に通知する。

【0032】

なお上述した態様において、利用者が、説明を受けたい部位を撮像範囲に収め、それ以外の部位を撮像範囲から除外することにより、サーバ装置１は、取得した画像から利用者が説明を受けたい部位を特定するが、他の方法でこの部位を特定してもよい。

【0033】

例えば、利用者は、機器Ｊの全体を撮像するとともに、撮像された画像を表示部２４に表示させ、操作部２５を操作することで、その画像に含まれる領域を指定してもよい。この場合、端末２の制御部２１は、機器Ｊの全体を示す撮像された画像から、指定された領域を切り抜いて、その領域内の画像を示す画像データをサーバ装置１に送ってもよい。サーバ装置１は、端末２において切り抜かれた画像に基づいて、利用者が説明を受けた部位を特定する。

【0034】

また、端末２の制御部２１は、機器Ｊの全体を示す撮像された画像を示す画像データとともに、利用者によって指定された領域を示すデータをサーバ装置１に送ってもよい。この場合、サーバ装置１は、機器Ｊの全体を示す画像のうち、利用者が指定する領域に基づいて、利用者が説明を受けた部位を特定する。

【0035】

なお、利用者が指定する領域は、操作部２５によって受付けられたものに限られない。例えば、端末２が利用者の視線を検知する検知部を備えたメガネ型のウェアラブル機器である場合、サーバ装置１は、その視線に対応する領域を、上述した「利用者が指定する領域」として受付けてもよい。また、サーバ装置１は、取得した画像のうち、ピントが合っているように見える領域を、上述した「利用者が指定する領域」として受付けてもよい。

【0036】

＜サーバ装置の構成＞
図４は、サーバ装置１の構成を示す図である。サーバ装置１は、制御部１１、記憶部１２、及び通信部１３を有する。

【0037】

制御部１１は、ＣＰＵ、ＲＯＭ、ＲＡＭを有し、ＣＰＵがＲＯＭ及び記憶部１２に記憶されているプログラムを読み出して実行することによりサーバ装置１の各部を制御する。

【0038】

通信部１３は、無線又は有線により通信回線３に接続する通信回路である。サーバ装置１は、通信部１３により通信回線３に接続された端末２と情報をやり取りする。

【0039】

記憶部１２は、ハードディスクドライブ等の大容量の記憶手段であり、制御部１１のＣＰＵに読み込まれる各種のプログラムを記憶する。

【0040】

また、記憶部１２は、部位ＤＢ１２１、画面ＤＢ１２２、状態ＤＢ１２３、説明ＤＢ１２４、履歴ＤＢ１２５、及び案内ＤＢ１２６を記憶する。

【0041】

図５は、記憶部１２が記憶するデータベースを示す図である。部位ＤＢ１２１は、機器Ｊの外観の特徴を部位ごとに記憶するデータベースである。図５（ａ）に示す部位ＤＢ１２１は、機器Ｊの部位を識別する識別情報である部位ＩＤと、その部位の外観の特徴を示す特徴情報とを対応付けて記憶する。

【0042】

例えばサーバ装置１は、取得した画像を解析して得られた特徴量と、部位ＤＢ１２１に記憶されている特徴情報との類似度を算出して、その類似度が閾値を超えた場合にその特徴情報に対応付けられている部位ＩＤにより、利用者が説明を受けようとしている部位を特定する。

【0043】

画面ＤＢ１２２は、操作パネルの表示画面に表示される操作画面の情報を操作のカテゴリー（種類）ごとに記憶するデータベースである。図５（ｂ）に示す画面ＤＢ１２２は、操作画面のカテゴリーを識別する識別情報である画面ＩＤと、そのカテゴリーにおける操作画面の特徴を示すカテゴリー特徴情報とを対応付けて記憶する。ここでカテゴリーとは、機器に対して行われる操作の分類のことである。カテゴリーの例としては、上述した読取り機能に関する操作、画像形成機能に関する操作、ファクシミリ機能に関する操作、通信機能に関する操作、カートリッジの交換、トレイへの紙の補充等が挙げられる。

【0044】

例えばサーバ装置１は、取得した画像から、利用者が説明を受けようとしている部位を特定し、その部位が操作パネルである場合に、画面ＤＢ１２２を参照して、この操作パネルの表示画面に表示される操作画面を特定する。

【0045】

状態ＤＢ１２３は、利用者による機器Ｊの操作の状態ごとに、その状態の情報を記憶するデータベースである。図５（ｃ）に示す状態ＤＢ１２３は、操作画面や部位の形状等によって示される利用者の操作の状態の識別情報である状態ＩＤと、その状態に由来する形状や操作画面の内容等を示す操作特徴情報とを対応付けて記憶する。

【0046】

例えばサーバ装置１は、取得した画像に含まれる操作パネルの表示画面に表示される操作画面を特定した場合に、操作画面のカテゴリーに応じて状態ＤＢ１２３を参照し、この操作画面の状態を特定する。操作画面の状態とは、例えば「利用者による記入を受付ける枠である記入フォームが未記入（空欄）であるか否か」や、「発生したエラーの種別を通知するエラーコードが表示されているか否か」、「エラーコードが表示されている場合にどのエラーコードが表示されているか」等である。

【0047】

説明ＤＢ１２４は、機器Ｊの部位、部位と画面のカテゴリーとの組、又は部位と画面のカテゴリーと操作の状態との組ごとに、それらに対応する説明を記憶するデータベースである。図５（ｄ）に示す説明ＤＢ１２４は、部位を識別する部位ＩＤ、画面のカテゴリーを識別する画面ＩＤ、操作の状態を識別する状態ＩＤと、説明とを対応付けて記憶する。説明の内容の一例としては、特定した操作の時に行われる操作又は特定した操作の後に行われる操作に関するものである。より具体的には、例えば、操作画面において「利用者による記入を受付ける枠である記入フォームが未記入（空欄）である」という操作状態が存在する場合に、「未記入（空欄）に入力する方法を説明する情報」が説明の内容に該当する。また、説明ＤＢ１２４には、説明と、その説明の重要度とが対応付けて記憶されている。

【0048】

この説明とは、少なくとも機器Ｊのいずれかの部位を説明する情報であり、例えば、部位の名称や構成、操作方法等を表した情報である。この説明は、部位が例えば操作画面を含む操作パネルである場合には、操作画面のカテゴリーを説明する情報であり、また、操作画面のカテゴリーによっては、操作画面の状態を説明する情報である。

【0049】

例えば図５（ｄ）に示す説明ＤＢ１２４において、Ｎｏ．１及びＮｏ．２のレコードには、部位ＩＤと説明とが対応付けられている。これらのレコードでは、画面ＩＤ及び状態ＩＤの欄に、これらが不要であることを示す「－」が記述されている。

【0050】

また、Ｎｏ．３のレコードには、部位ＩＤと画面ＩＤとの組に対して１つの説明が対応付けられている。このレコードでは、状態ＩＤの欄に、これが不要であることを示す「－」が記述されている。

【0051】

また、Ｎｏ．４及びＮｏ．５のレコードには、部位ＩＤと画面ＩＤと状態ＩＤとの組に対して１つの説明が対応付けられている。このレコードでは、画面ＩＤ及び状態ＩＤの欄のいずれにも、不要であることを示す「－」が記述されていない。

【0052】

また、Ｎｏ．６及びＮｏ．７のレコードには、部位ＩＤと画面ＩＤと状態ＩＤとの組に対して２つの説明「Ｘ１」「Ｘ２」が対応付けられている。部位ＩＤと画面ＩＤと状態ＩＤとの組に対して複数の説明が対応付けられている場合、それぞれの説明に対応する重要度に応じて、説明が抽出される。

【0053】

この説明は、説明の内容そのものを表す文字で構成されていてもよいし、ＵＲＩ（Uniform Resource Identifier）等、説明が格納されている資源の識別子を表す文字で構成されていてもよい。また、この説明は、文字で構成されるもののほか、画像、動画、音声等や、これらの組合せで構成されるものであってもよい。

【0054】

履歴ＤＢ１２５は、端末２から受付けた利用者の要求の履歴や、端末２に通知した説明の履歴を記憶するデータベースである。図５（ｅ）に示す履歴ＤＢ１２５は、利用者が端末２によってサーバ装置１に要求し、この要求に応答するサーバ装置１から通知された内容を、その要求の日時と対応付けて記憶する。すなわち、履歴ＤＢ１２５を記憶する記憶部１２は、通知部による過去の通知の履歴を記憶する記憶部の一例である。

【0055】

案内ＤＢ１２６は、部位の特定が失敗したときの案内を記憶するデータベースである。図５（ｆ）に示す案内ＤＢ１２６は、部位の特定が失敗した原因を識別する失敗ＩＤと、その失敗が生じたときに端末２の利用者に案内すべき内容とを対応付けて記憶する。

【0056】

部位の特定が失敗する場合とは、例えば「明るさが不十分である」「部位が画像内に収まっていない」「機器の機種が不明である」「特定した部位において、行うべき操作が存在しない」等である。案内ＤＢ１２６には、これらの失敗に対応付けて、例えば「明るくして撮像し直して下さい」「説明が必要な部位を撮像し直して下さい」「追加で刻印用プレートを撮像して下さい」「必要な操作はありません」等といった情報が記憶されている。

【0057】

＜サーバ装置の機能的構成＞
図６は、サーバ装置１の機能的構成を示す図である。サーバ装置１の制御部１１は、記憶部１２に記憶されているプログラムを読み出して実行することにより、取得部１１１、解析部１１２，特定部１１３、抽出部１１４、及び通知部１１５として機能する。なお、図６において、通信回線３及び通信部１３を省略する。

【0058】

取得部１１１は、端末２から画像を示す画像データを取得する。この画像データが示す画像は、利用者の操作する機器Ｊのいずれかの部位を撮像した画像であり、端末２の撮像部２６によって撮像された画像である。

【0059】

解析部１１２は、取得した画像データを用いてこの画像データが示す画像の解析をする。解析部１１２は、例えば、アフィン変換等のアルゴリズムを用いて、撮像方向による画像の歪みを補正する。また、解析部１１２は、例えば、Ｈｉｌｄｉｔｃｈの細線化アルゴリズム等のアルゴリズムを用いて、画像に含まれる機器の部位の輪郭線を検出する。

【0060】

また、解析部１１２は、検出したこれらの輪郭線を構成する特徴点を予め決められた規則に従って特定する。また、解析部１１２は、画像に含まれる記入フォーム、タイトルを示す文字、エラーコードを示す文字等、操作画面の特徴となる要素又は操作が必要となる部分の要素を特定する。操作画面の要素を特定する際に、解析部１１２は、画像データの階調補正、二値化、文字認識処理等を行ってもよい。

【0061】

図７は、画像の解析を説明するための図である。図７（ａ）に示す画像は利用者が図３に示す部位Ｒ３を撮像した画像であり、収容器の外観が含まれている。また、図７（ｂ）に示す画像は利用者が図３に示す部位Ｒ２を撮像した画像であり、操作パネルの外観が含まれている。解析部１１２は、収容器の輪郭線を検出し、これらの輪郭線を構成する特徴点Ｐを特定する。

【0062】

上述した特徴点の特定には、例えば、ＢＲＩＥＦ（Binary Robust Independent Elementary Features）、ＦＡＳＴ（Features from Accelerated Segment Test）、ＯＲＢ（Oriented FAST and rotated BRIEF）、ＳＩＦＴ（Scale-invariant feature transform）、ＳＵＲＦ（Speed-Upped Robust Feature）等のアルゴリズムが用いられる。また、解析部１１２は、画像の特徴量を算出するＨＯＧ（Histogram of Oriented Gradient）等のアルゴリズムを用いて解析をしてもよい。

【0063】

また、図７（ｃ）に示す画像は、利用者が操作パネルを撮像した場合に、取得した画像から歪みの補正等を行って、その操作パネルの液晶画面に表示される操作画面を再構成した画像である。解析部１１２は、例えば再構成されたこの画像に含まれる線や文字等から、タイトル文字を示す領域Ｃ１、エラー番号を示す領域Ｃ２、記入フォームを示す領域Ｃ３を特定する。

【0064】

特定部１１３は、解析部１１２による解析の結果に基づいて、画像に含まれる機器Ｊの部位を特定する。この場合、特定部１１３は、部位ＤＢ１２１を参照する。

【0065】

また、特定部１１３は、特定した部位が操作パネルである場合、上述した解析の結果に基づいて、この操作パネルに含まれる操作画面のカテゴリーを特定する。この場合、特定部１１３は、部位ＤＢ１２１のほか、画面ＤＢ１２２を参照する。

【0066】

また、特定部１１３は、操作画面のカテゴリーが決められたカテゴリーである場合、上述した解析の結果に基づいて、この操作画面の状態を特定する。この場合、特定部１１３は、部位ＤＢ１２１のほか、状態ＤＢ１２３を参照する。

【0067】

抽出部１１４は、特定部１１３によって特定された部位等に対応する説明を、説明ＤＢ１２４から抽出する。

【0068】

また抽出部１１４は、特定部１１３によって特定された部位等に対応する説明が複数ある場合に、その説明のそれぞれに重み付けをする。

【0069】

例えば、図５（ｄ）に示す説明ＤＢ１２４のＮｏ．６及びＮｏ．７のレコードは、部位ＩＤ「Ｐ０３」、画面ＩＤ「Ｍ１２」、状態ＩＤ「Ｔ２３」の組に対して２つの説明「Ｘ１」「Ｘ２」が対応付けられていることを示している。

【0070】

例えば、部位ＩＤ「Ｐ０３」によって識別される部位は操作パネルであり、画面ＩＤ「Ｍ１２」で識別される操作画面のカテゴリーは画像の読取り（以下「スキャン」ともいう）を行わせるためのスキャン画面である。このスキャン画面で利用者は、読取られた画像を示す画像データを記憶する記憶装置と、その画像データが記憶され複数の利用者間で共有される記憶領域とを、記憶装置名と共有名との組によって設定する。

【0071】

この場合、例えば、状態ＩＤ「Ｔ２１」は、記憶装置名のみが未記入である状態を示しており、これに対応する説明には記憶装置名の設定方法を示す文言等が記述されている。また、状態ＩＤ「Ｔ２２」は、共有名のみが未記入である状態を示しており、これに対応する説明には共有名の設定方法を示す文言等が記述されている。部位ＩＤ「Ｐ０３」及び画面ＩＤ「Ｍ１２」が特定されているときに、これらの状態ＩＤ「Ｔ２１」及び「Ｔ２２」が特定されると、それぞれに対応する１つの説明が特定される。

【0072】

一方、状態ＩＤ「Ｔ２３」は、記憶装置名及び共有名の両方が未記入である状態を示している。部位ＩＤ「Ｐ０３」及び画面ＩＤ「Ｍ１２」が特定されているときに、この状態ＩＤ「Ｔ２３」が特定されると、記憶装置名の設定方法を示す文言等が記述されている説明「Ｘ１」と、共有名の設定方法を示す文言等が記述されている説明「Ｘ２」とが特定される。

【0073】

抽出部１１４は、特定された部位、操作画面のカテゴリー、及び操作の状態に、複数の説明が対応している場合に、これらの説明を、例えば、それぞれに対応する重要度に応じて重み付けをする。図５（ｄ）に示す説明ＤＢ１２４では、重要度「Ｌ１」が重要度「Ｌ２」よりも重要であると決められているため、説明「Ｘ１」が説明「Ｘ２」よりも優先される。

【0074】

通知部１１５は、抽出部１１４により抽出された説明を端末２に通知する。通知部１１５は、説明が複数ある場合に、それぞれの説明を、付された重み付けに応じて通知する。

【0075】

重み付けに応じた通知には様々な態様が含まれる。例えば通知部１１５は、特定された部位、操作画面のカテゴリー、及び操作の状態に、複数の説明が対応している場合に、これらの説明を、それぞれの説明に付された重み付けの順に通知してもよい。

【0076】

例えば、上述したスキャン画面は記憶装置名及び共有名を利用者に要求するが、利用者が利用する記憶装置の記憶装置名が特定されると共有名の名前空間が限定され、かつ、共有名が先に特定されても記憶装置名が限定されない場合がある。

【0077】

この場合、利用者が共有名を先に記入しても、記憶装置名を絞り込む案内を表示させることはできない。しかし、利用者が記憶装置名を先に記入すれば、共有名を絞り込む案内を操作パネルに表示させることが可能である。

【0078】

したがって、上述したスキャン画面に対して推奨される操作の手順は、記憶装置名を記入してから共有名を記入する順序である。この例に示す通り、説明ＤＢ１２４では、抽出される説明が複数ある場合に、それらの説明の重要度が推奨される操作の手順に応じて定められていてもよい。すなわち、抽出部１１４は、説明が複数ある場合に、特定された部位に対する操作の手順に応じて、説明のそれぞれに重み付けをすればよい。これにより、利用者による記入の効率が上がる

【0079】

＜サーバ装置の動作＞
図８は、サーバ装置１の動作の流れを示すフロー図である。また、図９は、端末２の表示部２４に表示されるメインメニューの例を示す図である。図９に示すメインメニューは、６つのメニューに区画されており、利用者がそれぞれのメニューを指で触れることでそのメニューを選択すると、端末２は選択されたそのメニューに対応する処理を実行する。例えば利用者が「よくある質問」というメニューを選択すると、端末２は質問のリストを記憶部２２等から読み出して表示し、利用者がさらに表示されたリストの中からいずれかの質問を選択すると、端末２はその質問に対する回答を表示する。端末２はサーバ装置１にその質問の回答を要求してもよい。

【0080】

また、例えば利用者が「プリントについて」というメニューを選択すると媒体に画像を形成するプリント機能についての説明が、「スキャンについて」というメニューを選択すると原稿を読取るスキャン機能についての説明が、「ファックスについて」というメニューを選択すると読取った画像を電話回線経由で送信するファックス機能についての説明が、それぞれ表示される。また、「宛先表について」というメニューを選択すると送信する宛先を記述した宛先表の使い方についての説明が表示される。

【0081】

図９のメインメニューにおいて利用者が「カメラで探す」というメニューを選択すると、操作部２５でこの操作を受付けた端末２は撮像部２６を起動する。そして端末２は、利用者の操作に応じて機器Ｊのいずれかの部位を撮像して、得られた画像を示す画像データをサーバ装置１に送信する。

【0082】

サーバ装置１の制御部１１は、端末２から送信された画像データを取得すると（ステップＳ１０１）、その画像データが示す画像を解析する（ステップＳ１０２）。制御部１１は、解析の結果に基づいて、その画像から利用者が説明を受けようとしている機器Ｊの部位の特定を試み、その特定が成功したか否かを判断する（ステップＳ１０３）。

【0083】

部位の特定が成功しなかったと判断する場合（ステップＳ１０３；ＮＯ）、制御部１１は、端末２に異常を通知し（ステップＳ１０４）、後述する案内処理を行って（ステップＳ２００）、処理を終了する。

【0084】

図１０は、案内処理及び通知処理の動作の流れを示すフロー図である。図１０（ａ）には、上述したステップＳ２００で制御部１１が実行する案内処理が示されている。制御部１１は、特定が成功しなかった、すなわち失敗した原因を特定し（ステップＳ２０１）、案内ＤＢ１２６を参照して、その原因に対応する案内を抽出する（ステップＳ２０２）。制御部１１は、抽出した案内を端末２に通知する（ステップＳ２０３）。

【0085】

一方、部位の特定が成功したと判断する場合（ステップＳ１０３；ＹＥＳ）、制御部１１は、特定した部位が操作画面を含む部位であるか否かを判断する（ステップＳ１０５）。

【0086】

特定した部位が操作画面を含む部位であると判断する場合（ステップＳ１０５；ＹＥＳ）、制御部１１は、解析の結果に基づいて、操作画面のカテゴリー（種類）を特定する（ステップＳ１０６）。なお、この操作画面のカテゴリーの特定は、上述したステップＳ１０２において、制御部１１が画像データにより示される画像を解析したときに行っていてもよい。そして、制御部１１は、特定した操作画面のカテゴリーから説明を特定するために、画面の状態が必要であるか否かを判断する（ステップＳ１０７）。

【0087】

ステップＳ１０７において、画面の状態が必要であると判断する場合（ステップＳ１０７；ＹＥＳ）、制御部１１は、解析の結果に基づいて、画面の状態を特定して（ステップＳ１０８）、ステップＳ１０９に進める。

【0088】

一方、ステップＳ１０７において、画面の状態が必要でないと判断する場合（ステップＳ１０７；ＮＯ）、制御部１１は、ステップＳ１０８を実行せずに処理をステップＳ１０９に進める。

【0089】

制御部１１は、特定した部位等に対応する説明を抽出し（ステップＳ１０９）、抽出した説明を端末２に通知する（ステップＳ３００）。

【0090】

ステップＳ１０５において特定した部位が操作画面を含まない部位であると判断する場合（ステップＳ１０５；ＮＯ）、制御部１１は、特定したその部位が説明ＤＢ１２４に登録されている部位であるか否かを判断する（ステップＳ１１０）。

【0091】

特定した部位が登録されている部位であると判断する場合（ステップＳ１１０；ＹＥＳ）、制御部１１は、説明ＤＢ１２４からその部位に対応付けて記憶されている説明を抽出し（ステップＳ１１１）、抽出したその説明を端末２に通知する（ステップＳ３００）。

【0092】

一方、特定した部位が登録されている部位でないと判断する場合（ステップＳ１１０；ＮＯ）、制御部１１は、記憶部１２から一般的な情報を抽出し（ステップＳ１１１）、抽出したその情報を端末２に通知する（ステップＳ３００）。

【0093】

図１０（ｂ）には、上述したステップＳ３００で制御部１１が実行する通知処理が示されている。制御部１１は、図８に示すステップＳ１０９、ステップＳ１１１、又はステップＳ１１２でそれぞれ抽出された説明が複数であるか否か判断する（ステップＳ３０１）。

【0094】

抽出された説明が複数であると判断する場合（ステップＳ３０１；ＹＥＳ）、制御部１１は、それらの説明を、それぞれに対応付けられている重要度に応じて並べ替える（ステップＳ３０２）。そして制御部１１は、並べ替えられた説明を端末２に通知する（ステップＳ３０３）。一方、抽出された説明が複数でないと判断する場合（ステップＳ３０１；ＹＥＳ）、制御部１１は、ステップＳ３０２の処理を実行せずに、抽出された説明を端末２に通知する（ステップＳ３０３）。

【0095】

サーバ装置１により説明が通知されると、端末２は、その通知された説明に応じた画面を表示部２４に表示させ、又はその説明に応じた音声を放音部２７に放出させる。図１１は、端末２が説明を表示する画面の例を示す図である。図１１に示す通り、利用者が「カメラで探す」というメニューを選択し、図３に示す機器Ｊの部位Ｒ２を撮像して画像データをサーバ装置１に送った場合、サーバ装置１の制御部１１は、この画像に含まれる部位Ｒ２が操作パネルであることを特定する。制御部１１は、利用者が説明を受けようとしている部位が操作パネルであると特定した場合に、画像に含まれる操作画面を特定する。そして、この操作画面のカテゴリーがスキャン画面であると特定されると、制御部１１は、このときの操作の状態を特定する。

【0096】

このときの操作の状態は、図７（ｃ）で示した通り、記憶装置名及び共有名の両方が未記入である状態であるため、制御部１１は、図５（ｄ）に示した２つの説明「Ｘ１」「Ｘ２」を抽出する。説明「Ｘ１」は、記憶装置名の設定方法を示す説明であり、説明「Ｘ２」は、共有名の設定方法を示す説明である。上述した通り、それぞれに対応付けられた重要度「Ｌ１」「Ｌ２」により、説明「Ｘ１」が説明「Ｘ２」よりも優先される。

【0097】

これにより図１１に示した通り、表示部２４の操作画面の領域Ａ１には利用者が撮像した画像が表示され、この領域Ａ１の下の領域Ａ２にはこの画像に基づいて抽出された説明が表示される。領域Ａ２の右側にはスクロールバーを示す領域Ａ３が表示されている。領域Ａ３に示すスクロールバーを操作すると、その操作に応じて領域Ａ２に表示された内容がスクロールされる。

【0098】

領域Ａ２は、領域Ａ２１と、領域Ａ２１の下に続いて配置される領域Ａ２２とを含む。領域Ａ２１は、領域Ａ２２よりも目立つ位置であるため、重要度の高い説明「Ｘ１」が記述される。これらの説明を受けた利用者は領域Ａ４に表示されたアイコン等を操作して端末２に次の指示をする。

【0099】

以上の動作により、利用者は操作する機器Ｊのいずれかの部位を端末２で撮像するだけで、その部位に対応する説明を得る。そして、この説明を得るために、機器Ｊと端末２とが通信する必要はない。また、撮像した部位が操作画面を含むか否かによって画像から特定される内容と、通知される説明の内容とが変化するが、利用者はこれらを意識する必要がない。

【0100】

また、以上の動作により、利用者が撮像した画像に含まれる部位について説明が複数ある場合には、それらの説明に割当てられた重要度に応じて説明の表示される順序が決められるため、利用者は、重要な説明をより受取り易くなる。

【0101】

＜変形例＞
以上が実施形態の説明であるが、この実施形態の内容は以下のように変形し得る。また、以下の変形例を組合せてもよい。

【0102】

＜変形例１＞
上述した実施形態において、抽出部１１４は、特定された部位等に対応する情報が複数ある場合に、それらの情報のそれぞれに重み付けをしていたが、重み付けを行わなくてもよい。

【0103】

＜変形例２＞
上述した実施形態において、説明ＤＢ１２４では、抽出される説明が複数ある場合に、それらの説明の重要度が推奨される操作の手順に応じて定められていたが、これに限られない。複数の説明の重要度は、例えば、その説明の分類に応じて定められていてもよい。ここでいう説明の分類とは、その説明が警告を示すものであるか、操作を進行させるために必須の情報であるか、操作の進行に必須ではないが推薦される情報であるか、といった、それぞれの内容が属するカテゴリーを示すものである。

【0104】

この構成によれば、例えば、排出口についての説明が複数ある場合、「熱いので触れないで下さい」といった警告の説明が、「詰まっている紙を引き抜いて下さい」といった操作手順の説明よりも高い重要度に対応付けられる。

【0105】

また、スキャンした画像を示す画像データを保存する際に、その画像データをメールでも指定した宛先に送ることができることを示した説明や、スキャンを行った日時で画像データを仕分けすることができることを示した説明等は、操作に必須ではないが推薦される内容であるため、操作に必須な事項を示した説明よりも重要度が低く設定される。

【0106】

＜変形例３＞
上述した実施形態において、制御部１１は、抽出された複数の説明を、それぞれに対応付けられている重要度に応じて並べ替えていたが、重要度に応じて分類してもよい。図１２は、複数の説明が抽出されたときの変形例における通知の動作を説明するフロー図である。

【0107】

図１２（ａ）に示す通り、制御部１１は、抽出された説明が複数であるか否か判断する（ステップＳ３１１）。そして、抽出された説明が複数であると判断する場合（ステップＳ３１１；ＹＥＳ）、制御部１１は、これら複数の説明に対して、それぞれに対応付けられている重要度が閾値を超えるか否かに応じて足切りを行う（ステップＳ３１２）。

【0108】

足切りとは、抽出した説明のうち、その重要度が閾値を超えるもののみを残し、閾値を超えないものを除外する処理である。制御部１１は、足切りによって残された説明のみを通知する（ステップＳ３１３）。

【0109】

抽出された説明が複数でないと判断する場合（ステップＳ３１１；ＮＯ）、制御部１１は、上述した足切りを行わずに説明を通知する（ステップＳ３１３）。

【0110】

また、抽出部１１４は、抽出された説明が複数ある場合に、それらの説明を、そのそれぞれに対応付けられた重要度により重み付けをしていたが、履歴ＤＢ１２５に記憶された履歴に応じてこの重み付けをしてもよい。

【0111】

図１２（ｂ）に示す通り、制御部１１は、抽出された説明が複数であるか否か判断する（ステップＳ３２１）。そして、抽出された説明が複数であると判断する場合（ステップＳ３２１；ＹＥＳ）、制御部１１は、履歴ＤＢ１２５を参照し（ステップＳ３２２）、複数の説明のうち、既に通知した説明を除外することで、これらの説明の中から通知の対象とする説明を選択する（ステップＳ３２３）。制御部１１は、ステップＳ３２３によって選択された説明のみを通知する（ステップＳ３２４）。

【0112】

抽出された説明が複数でないと判断する場合（ステップＳ３２１；ＮＯ）、制御部１１は、上述した選択を行わずに説明を通知する（ステップＳ３２４）。

【0113】

なお、ステップＳ３２３において、制御部１１は、複数の説明のうち、既に通知した説明の日時に応じて、それらに重み付けをしてもよい。例えば、制御部１１は、過去の履歴で新しいものほど対応する説明の重要度を下げるように重み付けをしてもよい。

【0114】

また、複数の説明に対する重み付けに利用しない場合、記憶部１２は、履歴ＤＢ１２５を記憶しなくてもよい。

【0115】

この構成によれば、利用者に通知した情報の履歴を用いることにより、利用者が必要としている蓋然性が高い情報が優先して通知される。

【0116】

＜変形例４＞
上述した実施形態において、サーバ装置１の制御部１１は、取得部１１１、解析部１１２，特定部１１３、抽出部１１４、及び通知部１１５として機能していたが、これらの機能は端末２の制御部２１によって実現されてもよい。この場合、端末２の記憶部２２は、部位ＤＢ１２１、画面ＤＢ１２２、状態ＤＢ１２３、説明ＤＢ１２４、履歴ＤＢ１２５、及び案内ＤＢ１２６に相当するデータベースを記憶していればよい。そして、この場合、端末２はサーバ装置１と通信する必要はなく、情報処理システム９はサーバ装置１を有しなくてもよい。

【0117】

この場合の端末２は、利用者が操作する機器のいずれかの部位を撮像した画像を取得する取得部と、取得した前記画像の解析をする解析部と、前記解析の結果に基づいて前記部位を特定する特定部と、特定された前記部位に対応する情報を抽出する抽出部と、抽出された前記情報を通知する通知部と、を有する情報処理装置として機能する。

【0118】

なお、端末２の記憶部２２は、サーバ装置１の記憶部１２が記憶するデータベースのうち、一部分のみを記憶してもよい。この一部分とは、例えば、１人又は複数の利用者が要求する頻度が高いもの等である。端末２の制御部２１は、端末２だけで利用者の要求する情報を抽出できない場合に、撮像した画像を示す画像データをサーバ装置１に送ってそのサーバ装置１に情報の通知を求めてもよい。

【0119】

＜変形例５＞
サーバ装置１の制御部１１又は端末２の制御部２１によって実行されるプログラムは、磁気テープ及び磁気ディスク等の磁気記録媒体、光ディスク等の光記録媒体、光磁気記録媒体、半導体メモリ等の、コンピュータ装置が読取り可能な記録媒体に記憶された状態で提供し得る。また、このプログラムを、インターネット等の通信回線経由でダウンロードさせることも可能である。なお、上述した制御部１１又は制御部２１によって例示した制御手段としてはＣＰＵ以外にも種々の装置が適用される場合があり、例えば、専用のプロセッサ等が用いられる。

【符号の説明】

【0120】

１…サーバ装置、１１…制御部、１１１…取得部、１１２…解析部、１１３…特定部、１１４…抽出部、１１５…通知部、１２…記憶部、１２１…部位ＤＢ、１２２…画面ＤＢ、１２３…状態ＤＢ、１２４…説明ＤＢ、１２５…履歴ＤＢ、１２６…案内ＤＢ、１３…通信部、２…端末、２１…制御部、２２…記憶部、２３…通信部、２４…表示部、２５…操作部、２６…撮像部、２７…放音部、３…通信回線、９…情報処理システム、Ａ１…領域、Ａ２…領域、Ａ２１…領域、Ａ２２…領域、Ａ３…領域、Ａ４…領域、Ｃ１…領域、Ｃ２…領域、Ｃ３…領域、Ｊ…機器、Ｐ…特徴点、Ｒ１…部位、Ｒ２…部位、Ｒ３…部位、Ｒ４…部位、Ｒ５…部位。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】