(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-07-18
(45)【発行日】2023-07-26
(54)【発明の名称】情報処理装置及びプログラム
(51)【国際特許分類】
G06F 3/01 20060101AFI20230719BHJP
H04N 1/00 20060101ALI20230719BHJP
【FI】
G06F3/01 510
H04N1/00 127B
(21)【出願番号】P 2019032825
(22)【出願日】2019-02-26
【審査請求日】2022-01-19
(73)【特許権者】
【識別番号】000005496
【氏名又は名称】富士フイルムビジネスイノベーション株式会社
(74)【代理人】
【識別番号】100104880
【氏名又は名称】古部 次郎
(74)【代理人】
【識別番号】100125346
【氏名又は名称】尾形 文雄
(74)【代理人】
【識別番号】100166981
【氏名又は名称】砂田 岳彦
(72)【発明者】
【氏名】小林 徹哉
(72)【発明者】
【氏名】角田 章
(72)【発明者】
【氏名】三井 駿
(72)【発明者】
【氏名】二宮 智彦
【審査官】田川 泰宏
(56)【参考文献】
【文献】特開2015-084028(JP,A)
【文献】特開2017-016572(JP,A)
【文献】特開2013-145434(JP,A)
【文献】国際公開第2011/142051(WO,A1)
【文献】特開2016-126681(JP,A)
【文献】特開2016-162111(JP,A)
【文献】特開2017-228872(JP,A)
【文献】特開2008-194953(JP,A)
【文献】米国特許出願公開第2018/0278769(US,A1)
(58)【調査した分野】(Int.Cl.,DB名)
G06F 3/01-3/04895
H04N 1/00
(57)【特許請求の範囲】
【請求項1】
操作を記録する対象として特定された第1の機器に対するユーザの操作
に伴う操作画面の遷移を時系列に撮像した画像の解析を通じ、ユーザが設定したパラメータの内容を推定する推定手段と、
推定されたパラメータの内容を操作の記録として保存する保存手段と
を有する情報処理装置。
【請求項2】
推定されたパラメータの内容を確認するための画面をユーザに提示する、請求項1に記載の情報処理装置。
【請求項3】
推定されたパラメータの内容の変更を前記画面上で受け付ける、請求項2に記載の情報処理装置。
【請求項4】
コンピュータに、
操作を記録する対象として特定された第1の機器に対するユーザの操作
に伴う操作画面の遷移を時系列に撮像した画像の解析を通じ、ユーザが設定したパラメータの内容を推定する機能と、
推定されたパラメータの内容を操作の記録として保存する機能と
を
実現させる
ためのプログラム。
【請求項5】
コンピュータに、
操作を記録する対象として特定された第1の機器に対するユーザの操作の様子を時系列に撮像した画像の解析を通じ、ユーザが設定したパラメータの内容を推定する機能と、
推定されたパラメータの内容を操作の記録として保存する機能と、
を実現させるためのプログラムであり、
前記推定する機能は、ユーザの操作を受け付ける画面に変化が現れた後の画像と変化が現れる前の画像との差分を抽出し、差分に対応するパラメータに基づいてユーザの操作を推定する、
プログラム。
【請求項6】
差分が選択肢の表示の態様の変化、又は、選択肢の選択状態に関する表示の変化である場合、前記推定する機能は、選択状態に変化した選択肢の文字列をユーザが設定したパラメータの内容と推定する、請求項5に記載のプログラム。
【請求項7】
コンピュータに、
操作を記録する対象として特定された第1の機器に対するユーザの操作の様子を時系列に撮像した画像の解析を通じ、ユーザが設定したパラメータの内容を推定する機能と、
推定されたパラメータの内容を操作の記録として保存する機能と、
保存されているパラメータの内容を、前記第1の機器とは異なる第2の機器に設定可能か否かを確認する機能の実行を受け付けた場合、確認の結果をユーザに提示する機能と
を実現させるためのプログラム。
【請求項8】
前記設定の可否は、パラメータの内容毎に提示される、請求項7に記載のプログラム。
【請求項9】
コンピュータに、
操作を記録する対象として特定された第1の機器に対するユーザの操作の様子を時系列に撮像した画像の解析を通じ、ユーザが設定したパラメータの内容を推定する機能と、
推定されたパラメータの内容を操作の記録として保存する機能と、
前記第1の機器とは異なる第2の機器の操作画面を通じ、パラメータの内容を設定するための操作を支援する機能の実行を受け付けた場合、パラメータの内容の設定を実現する操作を当該操作画面に応じて提示する機能と
を実現させるためのプログラム。
【請求項10】
パラメータの内容の設定を実現する操作の指示は、ユーザが装着する端末を通じて拡張現実又は複合現実として提示される、請求項9に記載のプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、情報処理装置及びプログラムに関する。
【背景技術】
【0002】
例えば用紙その他の記録用の媒体に画像を形成する画像形成装置には、ユーザを支援する機能として、繰り返し用いる操作やパラメータの値をジョブメモリとして登録する機能が用意されている。ジョブメモリとして登録された設定は、ボタン一つで呼び出すことができる。また、ジョブメモリには、一連の操作の過程で表示される画面の階層なども記憶することができる。
【先行技術文献】
【特許文献】
【0003】
【発明の概要】
【発明が解決しようとする課題】
【0004】
ただし、ジョブメモリは、画面のどの部位が操作されたのかを記憶する機能であり、画面内のパラメータの内容がどのように変更されたのかは記憶されていない。また、ジョブメモリは、画像形成装置と不可分の関係にあり、別の画像形成装置への移行は想定されていない。このため、他の画像形成装置を使用する場合には、一連の操作を全て手動で行う必要がある。
ところが、多機能化に伴い、画像形成装置に用意されるユーザインタフェース用の画面の構成や内容も複雑化している。このため、設定したい項目を発見できない場合や発見までの時間が長くなる場合がある。また、同じメーカの製品でも、発売の時期や市場の違いによりユーザインタフェース画面の構成や内容が異なることがある。
【0005】
本発明は、不慣れな操作画面から得られる情報だけを頼りに機器を操作する場合に比して、不慣れな機器の操作を容易にすることを目的とする。
【課題を解決するための手段】
【0006】
請求項1に記載の発明は、操作を記録する対象として特定された第1の機器に対するユーザの操作に伴う操作画面の遷移を時系列に撮像した画像の解析を通じ、ユーザが設定したパラメータの内容を推定する推定手段と、推定されたパラメータの内容を操作の記録として保存する保存手段とを有する情報処理装置である。
請求項2に記載の発明は、推定されたパラメータの内容を確認するための画面をユーザに提示する、請求項1に記載の情報処理装置である。
請求項3に記載の発明は、推定されたパラメータの内容の変更を前記画面上で受け付ける、請求項2に記載の情報処理装置である。
請求項4に記載の発明は、コンピュータに、操作を記録する対象として特定された第1の機器に対するユーザの操作に伴う操作画面の遷移を時系列に撮像した画像の解析を通じ、ユーザが設定したパラメータの内容を推定する機能と、推定されたパラメータの内容を操作の記録として保存する機能とを実現させるためのプログラムである。
請求項5に記載の発明は、コンピュータに、操作を記録する対象として特定された第1の機器に対するユーザの操作の様子を時系列に撮像した画像の解析を通じ、ユーザが設定したパラメータの内容を推定する機能と、推定されたパラメータの内容を操作の記録として保存する機能と、を実現させるためのプログラムであり、前記推定する機能は、ユーザの操作を受け付ける画面に変化が現れた後の画像と変化が現れる前の画像との差分を抽出し、差分に対応するパラメータに基づいてユーザの操作を推定する、プログラムである。
請求項6に記載の発明は、差分が選択肢の表示の態様の変化、又は、選択肢の選択状態に関する表示の変化である場合、前記推定する機能は、選択状態に変化した選択肢の文字列をユーザが設定したパラメータの内容と推定する、請求項5に記載のプログラムである。
請求項7に記載の発明は、コンピュータに、操作を記録する対象として特定された第1の機器に対するユーザの操作の様子を時系列に撮像した画像の解析を通じ、ユーザが設定したパラメータの内容を推定する機能と、推定されたパラメータの内容を操作の記録として保存する機能と、保存されているパラメータの内容を、前記第1の機器とは異なる第2の機器に設定可能か否かを確認する機能の実行を受け付けた場合、確認の結果をユーザに提示する機能とを実現させるためのプログラムである。
請求項8に記載の発明は、前記設定の可否は、パラメータの内容毎に提示される、請求項7に記載のプログラムである。
請求項9に記載の発明は、コンピュータに、操作を記録する対象として特定された第1の機器に対するユーザの操作の様子を時系列に撮像した画像の解析を通じ、ユーザが設定したパラメータの内容を推定する機能と、推定されたパラメータの内容を操作の記録として保存する機能と、前記第1の機器とは異なる第2の機器の操作画面を通じ、パラメータの内容を設定するための操作を支援する機能の実行を受け付けた場合、パラメータの内容の設定を実現する操作を当該操作画面に応じて提示する機能とを実現させるためのプログラムである。
請求項10に記載の発明は、パラメータの内容の設定を実現する操作の指示は、ユーザが装着する端末を通じて拡張現実又は複合現実として提示される、請求項9に記載のプログラムである。
【発明の効果】
【0007】
請求項1記載の発明によれば、不慣れな操作画面から得られる情報だけを頼りに機器を操作する場合に比して、不慣れな機器の操作が容易になる。
請求項2記載の発明によれば、推定されたパラメータの内容を登録前に確認できる。
請求項3記載の発明によれば、パラメータを正しい内容で登録できる。
請求項4記載の発明によれば、不慣れな操作画面から得られる情報だけを頼りに機器を操作する場合に比して、不慣れな機器の操作が容易になる。
請求項5記載の発明によれば、使い慣れた操作画面を操作する以外の操作を不要にできる。
請求項6記載の発明によれば、使い慣れた操作画面を操作する以外の操作を不要にできる。
請求項7記載の発明によれば、実機を操作する前に指示可能か否かを確認できる。
請求項8記載の発明によれば、パラメータ毎に指示可能か否かを確認できる。
請求項9記載の発明によれば、不慣れな操作画面でも効率よく必要とする設定を行うことができる。
請求項10記載の発明によれば、実機の操作画面を確認しながら操作できる。
【図面の簡単な説明】
【0008】
【
図1】実施の形態で使用する情報処理システムの概念構成を説明する図である。
【
図2】実施の形態で使用する端末装置の構成例を示す図である。
【
図3】端末装置の制御ユニットにより実現される機能構成を説明する図である。
【
図4】実施の形態で使用するパラメータ設定支援サーバの構成例を説明する図である。
【
図5】パラメータ設定支援サーバの制御ユニットにより実現される機能構成を説明する図である。
【
図6】操作の登録動作を説明するシーケンス図である。
【
図7】端末装置による操作画面の撮像の様子を説明する図である。
【
図8】パラメータ設定支援サーバによる操作画面の特定の様子を説明する図である。
【
図9】パラメータ推定モジュールによるパラメータの推定の手法を説明する図である。(A)は遷移のパターン1を示し、(B)は遷移のパターン2を示す。
【
図10】操作の登録の指示を受け付ける画面からパラメータが推定されている時点までの画面の遷移を説明する図である。
【
図11】推定の結果の確認を求める画面の例を示す図である。
【
図12】操作を記録した履歴の確認に用いる画面の例を示す図である。
【
図13】移行確認に関する動作を説明するシーケンス図である。
【
図14】移行確認を求めるボタンが操作された場合の画面の遷移例を示す図である。
【
図15】設定の支援(アシスト)に関する動作を説明するシーケンス図である。
【
図16】設定を支援する画面の遷移例を示す図である。
【
図17】端末装置がメガネ型のウェアラブル端末である場合の操作のイメージを説明する図である。
【
図18】端末装置がメガネ型のウェアラブル端末である場合の操作のイメージを説明する図である。
【発明を実施するための形態】
【0009】
以下、図面を参照して、本発明の実施の形態を説明する。
<実施の形態>
<システムの全体構成>
図1は、実施の形態で使用する情報処理システム1の概念構成を説明する図である。情報処理システム1は、インターネット10と、地点Aに設置されている画像形成装置20Aと、地点Bに設置されている画像形成装置20Bと、ユーザが携帯する端末装置30と、パラメータ設定支援サーバ40とを有している。
本実施の形態における端末装置30は、インターネット10経由でパラメータ設定支援サーバ40と接続されている。
【0010】
図1の例では、画像形成装置20A、20B、端末装置30のそれぞれが1台であるものとして表しているが、画像形成装置20A、20B、端末装置30はいずれも複数台存在してもよい。
本実施の形態の場合、地点Aの画像形成装置20Aは、端末装置30を操作するユーザが使い慣れている装置を想定する。従って、画像形成装置20Aは、第1の機器の一例である。
【0011】
本実施の形態の場合、「使い慣れている」とは、操作の対象とする機器の動作を規定するパラメータやその属性(以下では、総称して「パラメータ」という)の設定を迷わずに行える意味で使用する。もっとも、使い慣れているパラメータの設定は1つあればよい。
なお、使い慣れている画像形成装置20Aは、1機種に限らず、複数の機種でもよい。また、使い慣れている画像形成装置20Aを製造している会社は複数社でもよい。
【0012】
本実施の形態の場合、地点Bの画像形成装置20Bは、端末装置30を操作するユーザが使い慣れていない装置を想定する。従って、画像形成装置20Bは、第2の機器の一例である。
基本的には、使い慣れている画像形成装置20A以外は、使い慣れていない又は操作に不慣れな画像形成装置20Bである。従って、設置されている地点の違いは、使い慣れているか否かには無関係である。本実施の形態では、説明の都合上、地点Aに設置されている画像形成装置20Aを使い慣れている装置、地点Bに設置されている画像形成装置20Bを使い慣れていない装置と呼んでいるのに過ぎない。従って、同じ地点Aであっても、使い慣れている画像形成装置20Aと使い慣れていない画像形成装置20Bが設定されていてもよい。
【0013】
操作の対象である画像形成装置20Bの操作に不慣れなユーザは、自身が設定したいパラメータに対応するボタン類を操作画面上で探し出し、1つずつ操作する必要がある。例えば画像形成装置20Bの操作画面で使用される機能名と画像形成装置20Aの操作画面で使用される機能名等とが同じでも、操作画面のレイアウトが異なれば、ユーザの操作は難しくなる。加えて、機能名が異なれば、同じ機能であるのかの確認も難しくなる。
また、パラメータの属性についても、画像形成装置20Aでは「1」であっても、画像形成装置20Bでは「2」とすべき場合もある。例えば濃度の与え方が異なる場合に起こり得る。このように、使い慣れていない画像形成装置20Bにおいて、使い慣れている画像形成装置20Aと同じ動作を再現させることは必ずしも容易ではない。
【0014】
本実施の形態における画像形成装置20A及び20Bは、コピー、スキャナ、faxの機能を有している。このため、画像形成装置20A及び20Bには、原稿の画像を読み取る画像読取ユニットと、記録媒体の一例である用紙上に画像を記録する画像形成ユニットと、画像データが表す画像に色補正や階調補正等の処理を加える画像処理ユニットと、装置全体の動作を制御する制御ユニットと、画像データ等を記憶する記憶ユニットと、ユーザインタフェース画面等の表示に用いられる表示ユニットと、ユーザの操作を受け付ける操作受付ユニットと、LAN等を介した通信を実現する通信インタフェース(=通信IF)を有している。勿論、これらの装置構成は一例である。
【0015】
パラメータ設定支援サーバ40は、ユーザが操作する端末装置30と連携し、事前に登録された画像形成装置20Aで登録されたパラメータの設定を、画像形成装置20Bで容易に再現できるように支援する。
本実施の形態の場合、端末装置30は、携帯型の端末である。携帯型の端末には、例えばスマートフォン、ウェアラブル端末、ノート型のコンピュータが含まれる。ウェアラブル端末には、例えば手首装着型のウェアラブル端末、頭部に装着されるメガネ型のウェアラブル端末がある。
【0016】
メガネ型の端末には、ホログラム光学素子を組み込んだ透明板を使用する透過式と呼ばれる端末がある。ホログラム光学素子は、前方から入射する光を透過する性質と、透明板の内部を伝搬する映像光を屈折してユーザの眼球方向に出力する特性とを有している。このため、メガネ型の端末を装着したユーザは、実在する物体に仮想の画像やテキストを重ねた像を視認することが可能である。
【0017】
<各装置の構成>
<端末装置の構成>
図2は、実施の形態で使用する端末装置30の構成例を示す図である。
図2に示す端末装置30は、装置全体の動作を制御する制御ユニット301と、画像データ等を記憶する記憶ユニット302と、ユーザインタフェース画面等の表示に用いられる表示ユニット303と、ユーザの操作を受け付ける操作受付ユニット304と、画像を撮像するカメラ305と、通信インタフェース306とを有している。
【0018】
ここでのカメラ305は、静止画像又は動画像による撮像が可能である。
本実施の形態における制御ユニット301は、CPU(=Central Processing Unit)311と、ファームウェアやBIOS(=Basic Input Output System)等が記憶されたROM(=Read Only Memory)312と、ワークエリアとして用いられるRAM(=Random Access Memory)313とを有している。制御ユニット301は、いわゆるコンピュータとして機能する。
【0019】
記憶ユニット302は、例えば不揮発性の書き換え可能な半導体メモリ等によって構成される。記憶ユニット302には、例えばカメラ305で撮像された画像データ等が記憶される。
表示ユニット303は、例えば液晶ディスプレイや有機ELディスプレイで構成される。表示ユニット303には、ユーザによる操作を支援する情報が表示される。
操作受付ユニット304は、表示ユニット303の表面に配置されるタッチセンサ、スイッチ、ボタン等で構成される。
因みに、制御ユニット301と各ユニット等とは、バス307や不図示の信号線を通じて接続されている。
【0020】
図3は、端末装置30の制御ユニット301により実現される機能構成を説明する図である。
図3に示す機能モジュールは、CPU311(
図2参照)によるプログラムの実行を通じて実現される。なお、
図3に示す機能モジュールは、制御ユニット301によって提供される機能モジュールの一例である。
【0021】
実施の形態における制御ユニット301は、操作の対象である機種を特定する操作対象特定モジュール321と、操作画面の遷移の候補を検出する遷移候補検出モジュール322と、遷移前と遷移後の操作画面の候補を保存する候補画面保存モジュール323と、操作画面の候補を送信する候補画面送信モジュール324と、パラメータ設定支援サーバ40(
図1参照)による推定の結果を提示する推定結果提示モジュール325と、登録されている操作の設定を指定された機種に移行可能か否かを確認した結果を提示する移行可否提示モジュール326と、登録されている操作と同じ設定を実現する操作を支援する画面を提示する設定支援画面提示モジュール327として機能する。
【0022】
本実施の形態における操作対象特定モジュール321は、設定の操作の記録をユーザが指示した場合に実行される。本実施の形態の場合、操作対象特定モジュール321は、以下に説明する複数の手法のうち少なくとも1つの手法を用い、操作の対象である画像形成装置20A等を特定する。
手法の1つは、カメラ305(
図2参照)で撮像されたラベルその他の文字や数値の列を読み取って機種を特定する手法である。この手法では、撮像された画像が文字認識され、文字コードに変換される。ラベルその他の文字や数値の列は、操作の対象である機器の筐体に配置される他、操作画面に表示されることもある。
他の手法の1つは、カメラ305で撮像された画像形成装置20A等の外観の画像から機種を特定する手法である。操作対象特定モジュール321は、予め用意されている外観の写真、特徴部分の写真等との照合により、1又は複数の候補を特定する。複数の候補が該当する場合、ユーザが選択した機器の情報を取得する。
他の手法の1つは、操作の対象である機器との論理的又は物理的な接続により、機種を特定する情報を取得する手法である。
操作の対象である機種は、例えば一覧表の中からユーザが1つを選択することで特定される。
【0023】
本実施の形態の場合、遷移候補検出モジュール322は、操作対象特定モジュール321による装置の特定後に実行される。
遷移候補検出モジュール322は、操作画面の操作の様子を撮像した画像データを処理し、操作画面の遷移の可能性が高い事象の発生を検出する。操作画面の遷移の可能性が高い事象とは、例えば操作画面全体のレイアウト等が変化する場合、ラジオボタン等の位置が移動する場合、特定ボタンの表示色や輝度が変化する場合である。例えば非選択状態から選択状態に変化したボタンは、他とは異なる表示色に変化する。また、非選択状態から選択状態に変化したボタンは、他のボタンよりも高い輝度に変化する。
【0024】
ここで、遷移候補検出モジュール322による操作画面の遷移の候補の検出は、ユーザが撮像した画像データの終了時点までが対象である。本実施の形態の場合、画像データの終了時点は、例えばユーザが撮像の終了を指示した時点、機械音等の設定の終了を知らせる音が検出された時点、操作画面に変化が検出されない状態のまま予め定めた時間が経過した時点である。
本実施の形態の場合、操作画面の遷移の検出は、パラメータ設定支援サーバ40(
図1参照)が実行する。このため、遷移候補検出モジュール322による処理は、操作画面の遷移の可能性が高い候補の検出にとどまる。
【0025】
例えば動画像として操作の様子が撮像される場合、遷移候補検出モジュール322は、1つ前のフレームと1つ後のフレームとを順次比較し、フレーム間の差分が予め定めたしきい値を超えるか否かを判定する。フレーム間の差分が予め定めたしきい値を超える場合、本実施の形態における遷移候補検出モジュール322は、操作画面の遷移が生じた可能性が高いと判定する。
なお、操作中に写り込む指や手による変化は、無視することが望ましい。もっとも、写り込んだ指や手による変化を操作画面の変化として検出した場合でも、最終的な操作画面の遷移の検出は、パラメータ設定支援サーバ40(
図1参照)側で実行される。
【0026】
候補画面保存モジュール323は、遷移の候補として検出された時点の前後に対応する操作画面を記憶ユニット302(
図2参照)に保存する。記憶ユニット302に保存された操作画面には、撮像時刻などの付属データも記録されている。
候補画面送信モジュール324は、操作画面の送信先を示す情報に基づいて、遷移の候補として保存された操作画面を送信する。本実施の形態の場合、送信先を示す情報として、パラメータ設定支援サーバ40のインターネット10(
図1参照)上のアドレスが記録されている。送信先を示す情報は、アプリケーションプログラムのインストール時や更新時に与えられる。例えばURL(=Uniform Resource Locator)が用いられる。
推定結果提示モジュール325は、ユーザの操作により設定されたと推定された結果を、表示ユニット303(
図2参照)に提示する。推定の結果は、パラメータの組み合わせで与えられる。推定の結果は、パラメータ設定支援サーバ40から与えられる。
【0027】
移行可否提示モジュール326は、画像形成装置20Aについて登録された操作と同じ設定を、他の装置でも実現可能か否かを事前に確認したい場合に起動される。本実施の形態の場合、移行可否提示モジュール326は、ユーザが移行を希望する機種を特定する情報をパラメータ設定支援サーバ40に与え、指定された操作と同一の設定が指定された機種で可能か否かの検証の結果を受信する。検証の結果は、パラメータ毎に与えられる。例えばあるパラメータの設定は可であるが、あるパラメータの設定は否であるとの結果が通知される。ここでの移行可否提示モジュール326は、提示手段の一例である。
設定支援画面提示モジュール327は、ユーザが指定する登録済み操作と同一の設定を、ユーザが操作する機種で実現するために必要な操作の手順や操作の内容を、実際に操作する操作画面に応じて提示する。設定支援画面提示モジュール327は、パラメータ設定支援サーバ40との連動により処理を進行する。ここでの設定支援画面提示モジュール327は、提示手段の一例である。
【0028】
<パラメータ設定支援サーバの構成>
図4は、実施の形態で使用するパラメータ設定支援サーバ40の構成例を説明する図である。
図4に示すパラメータ設定支援サーバ40は、装置全体の動作を制御する制御ユニット401と、パラメータの設定の支援で使用されるデータを記憶する記憶ユニット402と、通信インタフェース403とを有している。
【0029】
本実施の形態における制御ユニット401は、CPU411と、ファームウェアやBIOS等が記憶されたROM412と、ワークエリアとして用いられるRAM413とを有している。制御ユニット401は、いわゆるコンピュータとして機能する。
記憶ユニット402は、例えば不揮発性の記憶装置であるハードディスク装置(HDD:Hard Disk Drive)等によって構成される。記憶ユニット402には、ユーザが登録した操作に関するパラメータ、端末装置30(
図1参照)から送信される操作画面、ユーザの操作として推定されたパラメータ、支援の対象である機器の機種毎の操作画面等が保存されている。
因みに、制御ユニット401と各ユニット等とは、バス404や不図示の信号線を通じて接続されている。
【0030】
図5は、パラメータ設定支援サーバ40の制御ユニット401により実現される機能構成を説明する図である。
図5に示す機能モジュールは、CPU411(
図4参照)によるプログラムの実行を通じて実現される。なお、
図5に示す機能モジュールは、制御ユニット401によって提供される機能モジュールの一例である。
実施の形態における制御ユニット401は、ユーザが操作する機器の機種に関する情報を取得する機種情報取得モジュール421と、ユーザの操作に伴う操作画面の遷移を保存する画面遷移保存モジュール422と、操作画面の遷移を解析してユーザが操作したパラメータを推定するパラメータ推定モジュール423と、推定されたパラメータを操作に関連付けて保存するパラメータ保存モジュール424と、パラメータの確認をユーザに求めるパラメータ確認モジュール425と、登録されているパラメータ等の設定をユーザが指定する機器への移行が可能か否かを確認する移行可否確認モジュール426と、登録されているパラメータ等と同じ設定を実現する操作の実行を支援する設定支援モジュール427として機能する。
【0031】
本実施の形態における機種情報取得モジュール421は、端末装置30からユーザが操作の対象とする機器の機種に関する情報を取得する。操作の登録時に取得された機種の情報は、ユーザの操作を解析したパラメータ等の記録に関連付けられる。機種情報取得モジュール421は、画像形成装置20A等の筐体に配置されているラベルその他の文字や数値の列の画像、画像形成装置20A等の外観の画像等を端末装置30から取得して機種を特定する。
【0032】
本実施の形態における画面遷移保存モジュール422は、端末装置30から受信した遷移の可能性が高い操作画面の中からユーザが操作している操作画面を推定して保存する。本実施の形態における画面遷移保存モジュール422は、遷移の可能性が高い操作画面と操作対象である機種の操作画面に関するリストとの照合により、ユーザが操作した操作画面を推定する。推定された操作画面は、操作順に保存される。すなわち、推定された操作画面は、時系列に保存される。操作順に保存された操作画面の履歴は、ユーザの操作に伴う操作画面の遷移を表している。
【0033】
パラメータ推定モジュール423は、操作画面の遷移を解析し、遷移の原因になったユーザによる操作の内容を推定する。換言すると、パラメータ推定モジュール423は、ユーザが設定したパラメータの内容を推定する。ユーザによるパラメータの設定には、例えばパラメータ自体の選択、特定のパラメータに関する属性の選択や入力等がある。ここでのパラメータ推定モジュール423は、推定手段の一例である。
【0034】
パラメータ保存モジュール424は、推定されたパラメータを1つの操作に紐づけて保存する。なお、ここでの操作は、操作の対象である機器(例えば画像形成装置20A)にも紐付けられている。ここでのパラメータ保存モジュール424は、保存手段の一例である。
パラメータ確認モジュール425は、推定されたパラメータの内容の確認を操作の実行者であるユーザに求める。具体的には、パラメータ確認モジュール425は、推定されたパラメータの内容の承認又は修正を端末装置30(
図1参照)から受け付ける。ユーザの確認が終了すると、推定されたパラメータは、ユーザによって登録された操作の内容として保存される。ジョブメモリとの違いは、操作されたパラメータの内容まで保存される点である。
【0035】
移行可否確認モジュール426は、端末装置30側から、登録済みの操作の移行が可能か否かの確認が要求された場合に起動される。移行可否確認モジュール426は、移行の対象である登録済みの操作の指定と、移行先となる機種の指定とを受け付ける。
登録済みの操作の一覧は、機種毎にパラメータ設定支援サーバ40に保存されている。なお、登録済みの操作の管理情報には、操作を登録したユーザを識別する情報が含まれていてもよい。なお、他のユーザによって登録された登録済み操作も一覧表示の対象になる。
移行先となる機種を指定する方法には、機種の一覧の中から選択する方法、実機からラベル等を読み取って特定する方法、実機の外観の画像から特定する方法、実機との接続により機種を特定する情報を取得する方法等がある。
【0036】
移行の可否を確認する登録済みの操作と移行先となる機種とが指定されると、移行可否確認モジュール426は、移行先となる機種において、登録済みの操作と同一の設定が可能か否かをパラメータ毎に確認する。
因みに、操作の登録に用いた機種と移行先の機種とでは、操作画面に表示されるパラメータの名称や表現等が一致するとは限らない。ただし、本実施の形態におけるパラメータ設定支援サーバ40には、機種の違いによるパラメータ間の対応関係のリストが記録されている。ここでのリストには、機種の違いによる属性間の対応関係についても記録されている。なお、ある機種における1つのパラメータが、別の機種では複数のパラメータの組に対応付けられていてもよい。属性についても同様である。
移行可否確認モジュール426は、設定されているパラメータ毎に移行の可否を確認し、確認の結果を端末装置30に通知する。ここでの移行可否確認モジュール426は、提示手段の一例である。
【0037】
設定支援モジュール427は、端末装置30側から、登録済みの操作と同じパラメータの設定の支援が要求された場合に起動される。設定支援モジュール427は、支援の対象である登録済みの操作の指定と、支援の対象となる実機の指定とを受け付ける。
登録済みの操作の一覧については、移行可否確認モジュール426と同じである。
支援の対象である機種を指定する方法には、機種の一覧の中から選択する方法、実機からラベル等を読み取って特定する方法、実機の外観の画像から特定する方法、実機との接続により機種を特定する情報を取得する方法等がある。
【0038】
登録済みの操作と操作の対象となる実機とが指定されると、設定支援モジュール427は、登録済みの操作と同一のパラメータの設定には、操作画面のどの部位をどのように操作すればよいかを具体的に指示する画面を形成して端末装置30に通知する。本実施の形態の場合、設定支援モジュール427には、実機に表示されている操作画面を画像認識する機能も設けられており、認識された操作画面のどの部位をどのように操作すればよいかを具体的に指示する。指示には、例えばハイライト表示、仮想の枠の表示に、音声によるガイドが用いられる。
本実施の形態の場合、設定支援モジュール427による支援は、ユーザが支援の終了を指示した時点、機械音等の設定の終了を知らせる音が検出された時点、操作画面に変化が検出されない状態のまま予め定めた時間が経過した時点等に終了する。ここでの設定支援モジュール427は、提示手段の一例である。
【0039】
<具体的な操作の例>
以下では、前述した機能を有する端末装置30(
図1参照)とパラメータ設定支援サーバ40(
図1参照)とを用いた具体的な操作の例を説明する。
【0040】
<操作の登録が選択された場合の動作>
図6は、操作の登録動作を説明するシーケンス図である。
図6の場合、記号のSはステップを意味している。
まず、操作の登録を希望するユーザは、端末装置30を操作して、操作を登録する画像形成装置20Aを特定する情報を取得する(ステップ1)。機種を特定する情報は、例えば筐体表面に印字されている文字等の読み取りにより行われる。
次に、ユーザは、カメラ305(
図2参照)を起動し、操作の撮像を開始する(ステップ2)。なお、カメラ305の起動は、端末装置30の制御により実行されてもよい。この後、ユーザは、画像形成装置20Aに対する操作を開始する。撮像の終了は、操作の終了まで継続される(ステップ3)。
【0041】
図7は、端末装置30による操作画面の撮像の様子を説明する図である。本実施の形態の場合、操作の対象は、地点Aに設置されている画像形成装置20A(
図1参照)である。
図中の「画面1」、「画面2」、「画面3」、「画面4」は、ユーザの操作に伴い、時系列に出現する操作画面に対応する。カメラ305による撮像が静止画像の場合、ユーザは、「画面1」、「画面2」、「画面3」、「画面4」を順番に撮像する。カメラ305による撮像が動画像の場合、ユーザは、登録する操作の開始から終了までを連続的に撮像する。
【0042】
図6の説明に戻る。
図6の場合、端末装置30は、撮像された画像データを処理して遷移の候補を検出する(ステップ4)。次に、端末装置30は、画像形成装置20Aを特定する情報と遷移の候補が検出された時点の前後の操作画面を送信する(ステップ5)。送信先は、パラメータ設定支援サーバ40である。
パラメータ設定支援サーバ40は、対象機器について保持されている操作画面のリストとの照合により、ユーザの操作に伴う操作画面の遷移を特定する(ステップ6)。
【0043】
図8は、パラメータ設定支援サーバ40(
図1参照)による操作画面の特定の様子を説明する図である。操作画面の特定は、画面遷移保存モジュール422(
図5参照)が実行する。
図8の中段には、端末装置30(
図1参照)が遷移の候補として検出した操作画面が時系列に並んでいる。
図8では、操作画面の切り替わりを伴う時点にのみ吹き出しを示しているが、遷移の候補は、これらの時点の間にも検出されている。例えば後述するパターン2(
図9参照)に対応する画面の変化も、遷移の候補として検出されている。
画面遷移保存モジュール422は、端末装置30から受信した操作画面と、操作の対象である機器について用意されている操作画面のリストとを照合し、操作画面の遷移を推定する。具体的には、リストと一致する4つの画面、すなわち「画面1」、「画面2」、「画面3」、「画面4」が抽出される。
【0044】
図6の説明に戻る。
図6の場合、パラメータ設定支援サーバ40は、遷移の原因であるパラメータの内容を推定する(ステップ7)。操作画面の前後の関係により、設定されたパラメータの内容の推定が可能である。
図9は、パラメータ推定モジュール423(
図5参照)によるパラメータの推定の手法を説明する図である。(A)は遷移のパターン1を示し、(B)は遷移のパターン2を示す。
【0045】
パターン1は、操作画面が「画面1」から「画面2」に切り替わる例である。
図9の場合、「画面1」はパラメータの一覧画面であったのに対し、「画面2」はカラーモードに関する属性の設定画面に切り替わっている。この変化は、操作画面のレイアウト自体の切り替わりを伴っている。パターン1の場合、操作画面の遷移は、「画面1」に表示されたパラメータの一覧の中で「カラーモード」が選択されたことに起因すると推定される。
パターン2は、操作画面は「画面1」のままであるが、属性が変更された場合に対応する。
図9の例では、「カラーモード」について設定可能な属性が「カラー」と「白黒」の2つである。「画面1」では「カラー」が設定されていたが、「画面2」では「白黒」が設定されている。なお、「カラー」と「白黒」との間でユーザの設定が何度も変更された場合でも、登録する設定は、ユーザが最終的に選択した属性である。従って、パラメータ推定モジュール423は、パターン2の場合には、最終的な設定の内容を操作の記録として登録する。
【0046】
図6に戻る。
登録の対象である操作についてのパラメータの推定が完了すると、パラメータ確認モジュール425(
図5参照)は、端末装置30に対して推定の結果を送信する(ステップ8)。
端末装置30では、受信した推定の結果を表示する(ステップ9)。
その後、端末装置30は、推定の結果に対するユーザの承認又はユーザによる修正を受け付ける(ステップ10)。
本実施の形態の場合、推定の結果の承認は、パラメータ設定支援サーバ40にも通知される。このため、承認された推定の結果は端末装置30とパラメータ設定支援サーバ40の両方に保存される(ステップ11及び12)。
【0047】
<端末装置に表示される画面の例>
ここでは、操作の登録に伴い端末装置30に表示される画面の例を説明する。
図10は、操作の登録の指示を受け付ける画面からパラメータが推定されている時点までの画面の遷移を説明する図である。
時点T1に対応する画面は、操作の記録の指示が可能な初期画面である。
図10に示す初期画面では、「画像形成装置の操作を記録する」、「他の画像形成装置を操作する」、「記録したデータを見る」の3つの選択が可能である。
時点T1では、「画像形成装置の操作を記録する」がユーザによって選択されている。
【0048】
時点T2に対応する画面は、時点T1で「画像形成装置の操作を記録する」が選択された場合に表示される。
図10の例では、操作を登録する画像形成装置の特定が求められている。
時点T3に対応する画面は、画像形成装置の特定が終了した後に表示される。
図10の例では、記録したい操作の開始が促されている。なお、時点T3に対応する画面が表示されるまで又は表示に連動してカメラ305(
図2参照)による撮像が開始される。
時点T4に対応する画面は、ユーザによる操作の様子が撮像されているかをユーザが確認できるように表示される。
時点T5に対応する画面は、撮像された操作がパラメータ設定支援サーバ40(
図1参照)によって解析されていることを示す画面である。
【0049】
図11は、推定の結果の確認を求める画面の例を示す図である。
パラメータ設定支援サーバ40による解析が終了すると、
図11に示す画面が端末装置30に表示される。
図11の場合、登録の対象である操作には「いつものコピー」との名称が付されている。この名称は、推定されたパラメータを保存するまでの間に入力されればよい。また、
図11の場合、推定されたパラメータとして、「カラーモード」についての「カラー」、「用紙サイズ」についての「A4」、「原稿の種類」についての「文字/写真」、…「パラメータn」についての「設定値」が列記されている。ここでの記号「/」は「又は」の意味である。
図中右上の保存のボタンが操作されると、推定されたパラメータの内容が確定する。なお、推定の結果が実際の操作と異なる場合には、
図11に示す画面上での修正が可能である。修正には、一部の変更、追加、削除等がある。
【0050】
図12は、操作を記録した履歴の確認に用いる画面の例を示す図である。
時点T11に対応する画面は、
図10の初期画面と同じである。時点T11では、「記録したデータを見る」がユーザによって選択されている。
時点T12に対応する画面は、記録済みの操作の履歴を表示する画面の一例である。
図12では、登録されている操作の名称が一覧表示されている。
図12の例では、「いつものコピー」、「白黒コピー」、…「拡大コピー」が例示されている。例えば「いつものコピー」を選択すると、
図11に示す画面が表示される。確認画面では、保存のボタンは表示されない。
【0051】
<移行確認が選択された場合の動作>
図13は、移行確認に関する動作を説明するシーケンス図である。
図13の場合も、記号のSはステップを意味している。
まず、移行確認を希望するユーザは、端末装置30を操作して、登録済み操作を指定する(ステップ21)。
図13の場合、指定された登録済み操作の情報は、端末装置30からパラメータ設定支援サーバ40に通知される。パラメータ設定支援サーバ40は、指定された登録済み操作のパラメータを読み出す(ステップ22)。
【0052】
続いて、移行確認を希望するユーザは、端末装置30を操作して、移行する機器nを選択する(ステップ23)。ここでの選択には、機種の一覧表から選択する場合と実機を指定する場合がある。実機を指定した場合には、実機との通信により、実機の装置構成が端末装置30に読み出される。もっとも、パラメータ設定支援サーバ40が実機の装置構成を読み出し可能な場合には、端末装置30による装置構成の読み出しは不要である。
【0053】
登録済み操作の移行先となる機器nの情報の通知を受けたパラメータ設定支援サーバ40は、機器nで設定可能な情報を読み出す(ステップ24)。機器nが機種の一覧表から指定されている場合、パラメータ設定支援サーバ40は、機器nで設定可能な最大の範囲で情報を読み出す。一方、機器nとして実機が指定されている場合、パラメータ設定支援サーバ40は、指定された実機で実際に設定可能な情報を読み出す。例えば指定された機種ではフィニッシャーの装着が可能である場合、パラメータ設定支援サーバ40は、フィニッシャーの装着を前提として設定可能な情報を読み出す。一方、実機にはフィニッシャーが装着されていない場合、パラメータ設定支援サーバ40は、フィニッシャーに関する機能を除いて設定可能な情報とする。フィニッシャーとは、例えば綴じ処理、穴加工その他の仕上げ加工をいう。
【0054】
続いて、パラメータ設定支援サーバ40は、登録済み操作のパラメータ毎に移行の可否を確認する(ステップ25)。パラメータの名称は、機種によって異なる可能性があるので、予め格納されている名称の対応リスト等を使用する。確認の可否は、パラメータ設定支援サーバ40から端末装置30に通知される。
通知を受けた端末装置30は、登録済み操作のパラメータ毎に移行の可否を表示する(ステップ26)。
【0055】
図14は、移行確認を求めるボタンが操作された場合の画面の遷移例を示す図である。
パラメータ設定支援サーバ40による解析が終了すると、
図11に示す画面が端末装置30に表示される。
時点T21に示す画面は、登録済み操作の確認画面において「移行確認」ボタンが操作される様子を表している。
時点T22に示す画面は、機種名の選択に用いられる一覧表を表している。時点T22では、機種名「58020056」が選択されている。
時点T23に示す画面には、登録済み操作を構成する個々のパラメータについての設定の可否が示されている。時点T23の場合、カラーモードの属性が反転表示されている。反転表示は、設定できないことを意味している。例えば指定された機種がモノクロ印刷機の場合、カラー印刷を設定することができない。
なお、反転表示以外に、設定できないパラメータについて説明文を表示してもよいし、フォントを変えて表示してもよいし、フォントの色を変えて表示してもよい。
【0056】
<設定の支援(アシスト)が選択された場合の動作>
図15は、設定の支援(アシスト)に関する動作を説明するシーケンス図である。
図15の場合も、記号のSはステップを意味している。
まず、設定の支援を希望するユーザは、端末装置30を操作して、登録済み操作を指定する(ステップ31)。
図15の場合、指定された登録済み操作の情報は、端末装置30からパラメータ設定支援サーバ40に通知される。パラメータ設定支援サーバ40は、指定された登録済み操作のパラメータを読み出す(ステップ32)。
【0057】
続いて、端末装置30は、実機の情報をパラメータ設定支援サーバ40に送信する(ステップ33)。実機を指定する情報の入力には、様々な手法が用意されている。例えばバーコード、QR(Quick Response)コード(登録商標)その他のコードの読み取りにより指定する方法、画像形成装置を撮像して指定する方法、画像形成装置にタッチして指定する方法を使用する。
設定する実機の情報が通知されると、パラメータ設定支援サーバ40は、登録済み操作のパラメータと実機で設定可能なパラメータの対応関係を取得する(ステップ34)。
この後、パラメータ設定支援サーバ40は、実機の操作画面毎に操作位置等を特定する(ステップ35)。特定された操作位置などは、パラメータ設定支援サーバ40から端末装置30に送信される。
端末装置30では、受信した操作位置等を順番に指示する(ステップ36)。
【0058】
図16は、設定を支援する画面の遷移例を示す図である。
図16では、端末装置30がスマートフォン等の携帯型の端末である場合を想定している。具体的には、片手で端末装置30を把持しながら、片手で画像形成装置20B(
図1参照)の操作画面を操作する場合を想定する。
時点T31に対応する画面は、登録済み操作の確認画面において「アシスト」ボタンが操作される様子を表している。
【0059】
時点T32に対応する画面は、操作の対象である画像形成装置20Bの指定を受け付ける画面を示している。
図16の例では、「QRコードで指定」、「画像形成装置を撮像して指定」、「画像形成装置にタップして指定」の3種類が示されている。ユーザは、いずれかの手法を選択し、操作の対象とする画像形成装置20Bの情報を取得する。
時点T33に対応する画面は、画像形成装置20Bの情報の取得中であることをユーザに示す画面である。
【0060】
時点T34と時点T35に対応する画面は、操作位置等を支援する画面の例を示している。
時点T34に対応する画面では、操作画面が「画面1」の場合である。
図16の例では、「○○をタップしてください」との文言により、ユーザが設定すべき項目が示されている。なお、画面1のうち操作すべき位置を、ユーザに明示的に示す画面を用意してもよい。
時点T35に対応する画面では、操作画面が「画面2」に切り替わっている。操作すべき位置をユーザに通知する方法は、「画面1」と同じである。
この支援用の画面の表示により、不慣れな画像形成装置20Bを操作する場合でも、ユーザは、使い慣れている画像形成装置20Aと同じ設定を容易に行える。
【0061】
図17は、端末装置30がメガネ型のウェアラブル端末である場合の操作のイメージを説明する図である。
図17の場合、端末装置30を頭部に装着したユーザには、目の前に実在する画像形成装置20Bに加え、空間中には実在しない仮想の枠51と文字列52とが視認される。吹き出し内の表示は、ユーザによって視認される空間の様子を表している。
ここでの枠51は、操作の対象として端末装置30が認識している装置を、ユーザに知らせるために用いられる。また、文字列52は、ユーザに求める行動を記述した文である。
図17の場合、「操作したい画像形成装置を見てください」との文が空中に浮かぶように表示されている。
このように、実在する物体にコンピュータが作成した仮想の視覚情報を重ねる技術は、拡張現実(=Augmented Reality:AR)又は複合現実(=Mixed Reality:MR)と呼ばれる。
【0062】
図18は、端末装置30がメガネ型のウェアラブル端末である場合の操作のイメージを説明する図である。
時点T41に対応する画面は、枠51(
図17参照)で囲まれた範囲に存在する画像形成装置20Bの情報を取得中であることを示している。時点T41の例では、実在する画像形成装置20Bに重ねるように、説明文53が表示されている。
時点T42に対応する画面は、ユーザが画像形成装置20Bの操作画面を見ている状態で提示される支援情報の例を示している。この例の場合、「[白黒]をタップしてください」との説明文54が「画面1」に重ねて表示されると共に、「画面1」のうちタップすべき位置に枠55が重ねて表示されている。この枠55も仮想の画像である。枠55が表示されることで、ユーザは、不慣れな「画面1」でも操作すべき位置を容易に見つけられる。
時点T43に対応する画面は、ユーザによる操作後の画面を示している。時点T43にも説明文54の表示が残っているが、[白黒]ボタンの操作が確認できたので枠55の表示は消えている。
【0063】
<他の実施の形態>
以上、本発明の実施の形態について説明したが、本発明の技術的範囲は上述の実施の形態に記載の範囲に限定されない。上述の実施の形態に、種々の変更又は改良を加えたものも、本発明の技術的範囲に含まれることは、特許請求の範囲の記載から明らかである。
【0064】
前述の実施の形態においては、画像形成装置20A(
図1参照)に操作を登録するユーザと画像形成装置20B(
図1参照)への登録済み操作の適用を希望するユーザとの異同について説明していないが、画像形成装置20Aを操作するユーザと画像形成装置20Bを操作するユーザは同一人物である必要はない。
【0065】
前述の実施の形態においては、端末装置30(
図1参照)とパラメータ設定支援サーバ40(
図1参照)との連携により前述した支援サービスを提供しているが、全ての処理を端末装置30だけで実行してもよいし、パラメータ設定支援サーバ40だけで実行してもよい。なお、パラメータ設定支援サーバ40で全ての処理を実行する場合でも、実機に関する画像の撮像や情報の入力には端末装置30の利用が必要となる。ここでの端末装置30とパラメータ設定支援サーバ40は、いずれも情報処理装置の一例である。
【0066】
また、前述の実施の形態では、端末装置30とパラメータ設定支援サーバ40との連携動作の一例として
図6、
図13、
図15を示したが、端末装置30とパラメータ設定支援サーバ40との処理の分担はこれらに限らない。
前述の実施の形態においては、第1の機器と第2の機器がいずれも画像形成装置であったが、第1の機器と第2の機器は画像形成装置に限らない。例えばコンピュータ等の情報処理装置、洗濯機、電子調理器等の白物家電でもよい。
【符号の説明】
【0067】
1…情報処理システム、10…インターネット、20A、20B…画像形成装置、30…端末装置、40…パラメータ設定支援サーバ、321…操作対象特定モジュール、322…遷移候補検出モジュール、323…候補画面保存モジュール、324…候補画面送信モジュール、325…推定結果提示モジュール、326…移行可否提示モジュール、327…設定支援画面提示モジュール、421…機種情報取得モジュール、422…画面遷移保存モジュール、423…パラメータ推定モジュール、424…パラメータ保存モジュール、425…パラメータ確認モジュール、426…移行可否確認モジュール、427…設定支援モジュール