(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024140780
(43)【公開日】2024-10-10
(54)【発明の名称】情報処理システムおよびプログラム
(51)【国際特許分類】
G06F 3/0481 20220101AFI20241003BHJP
G06F 3/04886 20220101ALI20241003BHJP
【ＦＩ】
G06F3/0481
G06F3/04886
【審査請求】未請求
【請求項の数】11
【出願形態】ＯＬ
(21)【出願番号】P 2023052109
(22)【出願日】2023-03-28
(71)【出願人】
【識別番号】000005496
【氏名又は名称】富士フイルムビジネスイノベーション株式会社
(74)【代理人】
【識別番号】100104880
【弁理士】
【氏名又は名称】古部 次郎
(74)【代理人】
【識別番号】100125346
【弁理士】
【氏名又は名称】尾形 文雄
(72)【発明者】
【氏名】清水 佑樹
【テーマコード（参考）】
5E555
【Ｆターム（参考）】
5E555AA16
5E555BA27
5E555BB04
5E555BC01
5E555BD05
5E555CA22
5E555CA42
5E555DB11
5E555EA19
5E555FA00
(57)【要約】
【課題】画像処理装置の操作画面のイメージデータを予めモバイル端末側に保持させることなく、画像処理装置をモバイル端末側で操作できるようにする。
【解決手段】ユーザ端末１０の制御部１１では、撮像制御部１０１が、画像処理装置の撮像を制御し、その撮像画像に画像処理装置の操作画面が含まれている場合、ＵＩ補正部１０４が、その操作画面に基づく端末側操作画面を生成し、その端末側操作画面に対し、画像処理装置に各種の処理を実行させるための入力操作が行われると、送信制御部１０６が、その入力情報を画像処理装置に向けて送信させる制御を行う。
【選択図】図４
【解決手段】ユーザ端末１０の制御部１１では、撮像制御部１０１が、画像処理装置の撮像を制御し、その撮像画像に画像処理装置の操作画面が含まれている場合、ＵＩ補正部１０４が、その操作画面に基づく端末側操作画面を生成し、その端末側操作画面に対し、画像処理装置に各種の処理を実行させるための入力操作が行われると、送信制御部１０６が、その入力情報を画像処理装置に向けて送信させる制御を行う。
【選択図】図４
【特許請求の範囲】
【請求項1】
１または複数のプロセッサを備え、
前記１または複数のプロセッサは、
ユーザの端末により撮像された画像処理装置の撮像画像に、当該画像処理装置の操作画面が含まれている場合、当該撮像画像に含まれる当該操作画面を端末側操作画面として当該端末に表示させ、
前記端末側操作画面に含まれる要素に対する操作に応じた処理を、前記端末および前記画像処理装置の各々に行わせることを特徴とする、
情報処理システム。
前記１または複数のプロセッサは、
ユーザの端末により撮像された画像処理装置の撮像画像に、当該画像処理装置の操作画面が含まれている場合、当該撮像画像に含まれる当該操作画面を端末側操作画面として当該端末に表示させ、
前記端末側操作画面に含まれる要素に対する操作に応じた処理を、前記端末および前記画像処理装置の各々に行わせることを特徴とする、
情報処理システム。
【請求項2】
前記１または複数のプロセッサは、
前記要素に対する操作に応じた前記端末の処理として、前記画像処理装置の操作画面を撮像するカメラを起動させる処理と、テキスト入力を受け付けるためのソフトウェアキーボードを起動させる処理とのいずれかを行わせ、
前記要素に対する操作に応じた前記画像処理装置の処理として、当該操作を当該画像処理装置の操作画面に対する操作として受け付ける処理を行わせることを特徴とする、
請求項１に記載の情報処理システム。
前記要素に対する操作に応じた前記端末の処理として、前記画像処理装置の操作画面を撮像するカメラを起動させる処理と、テキスト入力を受け付けるためのソフトウェアキーボードを起動させる処理とのいずれかを行わせ、
前記要素に対する操作に応じた前記画像処理装置の処理として、当該操作を当該画像処理装置の操作画面に対する操作として受け付ける処理を行わせることを特徴とする、
請求項１に記載の情報処理システム。
【請求項3】
前記１または複数のプロセッサは、前記要素に対する操作が、画面の表示内容を変更する操作である場合、当該操作に応じた前記端末の処理として、当該画面の表示内容が変更された後の前記画像処理装置の操作画面を撮像するカメラを起動させる処理を行わせることを特徴とする、
請求項２に記載の情報処理システム。
請求項２に記載の情報処理システム。
【請求項4】
前記１または複数のプロセッサは、前記端末が前記カメラを起動している場合、撮像対象として前記画像処理装置の操作画面が当該端末に表示されると、当該端末に当該操作画面を撮像させることを特徴とする、
請求項３に記載の情報処理システム。
請求項３に記載の情報処理システム。
【請求項5】
前記１または複数のプロセッサは、前記要素に対する操作が、テキスト入力するためのオブジェクトを選択する操作である場合、当該操作に応じた前記端末の処理として、テキスト入力を受け付けるためのソフトウェアキーボードを起動させる処理を行わせることを特徴とする、
請求項２に記載の情報処理システム。
請求項２に記載の情報処理システム。
【請求項6】
前記１または複数のプロセッサは、前記端末が前記ソフトウェアキーボードを起動している場合、当該端末に記憶されているテキストデータの複製および貼り付けの操作を受け付けることを特徴とする、
請求項５に記載の情報処理システム。
請求項５に記載の情報処理システム。
【請求項7】
前記１または複数のプロセッサは、前記画像処理装置の操作画面のデザインおよびルールに関する情報を教師データとする機械学習の結果に基づいて、前記端末側操作画面を構成する１以上のオブジェクトの各々が前記要素に該当するかどうかの判定と、当該要素の種類の判定とを行うことを特徴とする、
請求項１に記載の情報処理システム。
請求項１に記載の情報処理システム。
【請求項8】
前記教師データには、前記要素に対して行われた操作の情報と、当該操作により前記画像処理装置に表示された操作画面の撮像画像とを対応付けた情報がさらに含まれることを特徴とする、
請求項７に記載の情報処理システム。
請求項７に記載の情報処理システム。
【請求項9】
前記１または複数のプロセッサは、
前記要素に対して行われた操作により前記端末に表示された前記端末側操作画面と、当該操作に関する情報とを対応付けて管理し、
前記要素に対する操作が行われると、当該操作に関する情報に対応付けられている前記端末側操作画面を前記端末に表示させることを特徴とする、
請求項１に記載の情報処理システム。
前記要素に対して行われた操作により前記端末に表示された前記端末側操作画面と、当該操作に関する情報とを対応付けて管理し、
前記要素に対する操作が行われると、当該操作に関する情報に対応付けられている前記端末側操作画面を前記端末に表示させることを特徴とする、
請求項１に記載の情報処理システム。
【請求項10】
前記１または複数のプロセッサは、前記端末側操作画面を前記端末に表示させるとともに、前記画像処理装置の操作画面を撮像するカメラを起動させるためのボタンを当該端末に表示させることを特徴とする、
請求項９に記載の情報処理システム。
請求項９に記載の情報処理システム。
【請求項11】
コンピュータに、
ユーザの端末により撮像された画像処理装置の撮像画像に、当該画像処理装置の操作画面が含まれている場合、当該撮像画像に含まれる当該操作画面を端末側操作画面として当該端末に表示させる機能と、
前記端末側操作画面に含まれる要素に対する操作に応じた処理を、前記端末および前記画像処理装置の各々に行わせる機能と、
を実現させるプログラム。
ユーザの端末により撮像された画像処理装置の撮像画像に、当該画像処理装置の操作画面が含まれている場合、当該撮像画像に含まれる当該操作画面を端末側操作画面として当該端末に表示させる機能と、
前記端末側操作画面に含まれる要素に対する操作に応じた処理を、前記端末および前記画像処理装置の各々に行わせる機能と、
を実現させるプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、情報処理システムおよびプログラムに関する。
【背景技術】
【0002】
事務室等に設置された、文書の印刷や読み取り等を可能にするいわゆる複合機等の画像処理装置の操作画面は、その場にいる複数のユーザにより操作されることがある。このため、ユーザからは、衛生面等の理由で、画像処理装置の操作画面に触れることなく、その画像処理装置を操作したいという要望がある。これに対して、画像処理装置の操作画面のイメージデータを予めモバイル端末側に保持させておくことで、送受信されるデータを軽量化させながら、画像処理装置の操作画面をモバイル端末側で操作できるようにする技術が知られている。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開２０２１－１７０３７０号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、画像処理装置の操作画面は、機種やバージョンごとに違いがあり、また、ユーザによりカスタマイズされることがあるため、モバイル端末側で予め保持されている画像処理装置の操作画面の内容と、画像処理装置側の実際の操作画面の内容とが相違し、モバイル端末側から意図する操作が行えないことがある。
【0005】
本発明の目的は、画像処理装置の操作画面のイメージデータを予めモバイル端末側に保持させることなく、画像処理装置をモバイル端末側で操作できるようにすることにある。
【課題を解決するための手段】
【0006】
請求項１に記載された発明は、１または複数のプロセッサを備え、前記１または複数のプロセッサは、ユーザの端末により撮像された画像処理装置の撮像画像に、当該画像処理装置の操作画面が含まれている場合、当該撮像画像に含まれる当該操作画面を端末側操作画面として当該端末に表示させ、前記端末側操作画面に含まれる要素に対する操作に応じた処理を、前記端末および前記画像処理装置の各々に行わせることを特徴とする、情報処理システムである。
請求項２に記載された発明は、前記１または複数のプロセッサは、前記要素に対する操作に応じた前記端末の処理として、前記画像処理装置の操作画面を撮像するカメラを起動させる処理と、テキスト入力を受け付けるためのソフトウェアキーボードを起動させる処理とのいずれかを行わせ、前記要素に対する操作に応じた前記画像処理装置の処理として、当該操作を当該画像処理装置の操作画面に対する操作として受け付ける処理を行わせることを特徴とする、請求項１に記載の情報処理システムである。
請求項３に記載された発明は、前記１または複数のプロセッサは、前記要素に対する操作が、画面の表示内容を変更する操作である場合、当該操作に応じた前記端末の処理として、当該画面の表示内容が変更された後の前記画像処理装置の操作画面を撮像するカメラを起動させる処理を行わせることを特徴とする、請求項２に記載の情報処理システムである。
請求項４に記載された発明は、前記１または複数のプロセッサは、前記端末が前記カメラを起動している場合、撮像対象として前記画像処理装置の操作画面が当該端末に表示されると、当該端末に当該操作画面を撮像させることを特徴とする、請求項３に記載の情報処理システムである。
請求項５に記載された発明は、前記１または複数のプロセッサは、前記要素に対する操作が、テキスト入力するためのオブジェクトを選択する操作である場合、当該操作に応じた前記端末の処理として、テキスト入力を受け付けるためのソフトウェアキーボードを起動させる処理を行わせることを特徴とする、請求項２に記載の情報処理システムである。
請求項６に記載された発明は、前記１または複数のプロセッサは、前記端末が前記ソフトウェアキーボードを起動している場合、当該端末に記憶されているテキストデータの複製および貼り付けの操作を受け付けることを特徴とする、請求項５に記載の情報処理システムである。
請求項７に記載された発明は、前記１または複数のプロセッサは、前記画像処理装置の操作画面のデザインおよびルールに関する情報を教師データとする機械学習の結果に基づいて、前記端末側操作画面を構成する１以上のオブジェクトの各々が前記要素に該当するかどうかの判定と、当該要素の種類の判定とを行うことを特徴とする、請求項１に記載の情報処理システムである。
請求項８に記載された発明は、前記教師データには、前記要素に対して行われた操作の情報と、当該操作により前記画像処理装置に表示された操作画面の撮像画像とを対応付けた情報がさらに含まれることを特徴とする、請求項７に記載の情報処理システムである。
請求項９に記載された発明は、前記１または複数のプロセッサは、前記要素に対して行われた操作により前記端末に表示された前記端末側操作画面と、当該操作に関する情報とを対応付けて管理し、前記要素に対する操作が行われると、当該操作に関する情報に対応付けられている前記端末側操作画面を前記端末に表示させることを特徴とする、請求項１に記載の情報処理システムである。
請求項１０に記載された発明は、前記１または複数のプロセッサは、前記端末側操作画面を前記端末に表示させるとともに、前記画像処理装置の操作画面を撮像するカメラを起動させるためのボタンを当該端末に表示させることを特徴とする、請求項９に記載の情報処理システムである。
請求項１１に記載された発明は、コンピュータに、ユーザの端末により撮像された画像処理装置の撮像画像に、当該画像処理装置の操作画面が含まれている場合、当該撮像画像に含まれる当該操作画面を端末側操作画面として当該端末に表示させる機能と、前記端末側操作画面に含まれる要素に対する操作に応じた処理を、前記端末および前記画像処理装置の各々に行わせる機能と、を実現させるプログラムである。
請求項２に記載された発明は、前記１または複数のプロセッサは、前記要素に対する操作に応じた前記端末の処理として、前記画像処理装置の操作画面を撮像するカメラを起動させる処理と、テキスト入力を受け付けるためのソフトウェアキーボードを起動させる処理とのいずれかを行わせ、前記要素に対する操作に応じた前記画像処理装置の処理として、当該操作を当該画像処理装置の操作画面に対する操作として受け付ける処理を行わせることを特徴とする、請求項１に記載の情報処理システムである。
請求項３に記載された発明は、前記１または複数のプロセッサは、前記要素に対する操作が、画面の表示内容を変更する操作である場合、当該操作に応じた前記端末の処理として、当該画面の表示内容が変更された後の前記画像処理装置の操作画面を撮像するカメラを起動させる処理を行わせることを特徴とする、請求項２に記載の情報処理システムである。
請求項４に記載された発明は、前記１または複数のプロセッサは、前記端末が前記カメラを起動している場合、撮像対象として前記画像処理装置の操作画面が当該端末に表示されると、当該端末に当該操作画面を撮像させることを特徴とする、請求項３に記載の情報処理システムである。
請求項５に記載された発明は、前記１または複数のプロセッサは、前記要素に対する操作が、テキスト入力するためのオブジェクトを選択する操作である場合、当該操作に応じた前記端末の処理として、テキスト入力を受け付けるためのソフトウェアキーボードを起動させる処理を行わせることを特徴とする、請求項２に記載の情報処理システムである。
請求項６に記載された発明は、前記１または複数のプロセッサは、前記端末が前記ソフトウェアキーボードを起動している場合、当該端末に記憶されているテキストデータの複製および貼り付けの操作を受け付けることを特徴とする、請求項５に記載の情報処理システムである。
請求項７に記載された発明は、前記１または複数のプロセッサは、前記画像処理装置の操作画面のデザインおよびルールに関する情報を教師データとする機械学習の結果に基づいて、前記端末側操作画面を構成する１以上のオブジェクトの各々が前記要素に該当するかどうかの判定と、当該要素の種類の判定とを行うことを特徴とする、請求項１に記載の情報処理システムである。
請求項８に記載された発明は、前記教師データには、前記要素に対して行われた操作の情報と、当該操作により前記画像処理装置に表示された操作画面の撮像画像とを対応付けた情報がさらに含まれることを特徴とする、請求項７に記載の情報処理システムである。
請求項９に記載された発明は、前記１または複数のプロセッサは、前記要素に対して行われた操作により前記端末に表示された前記端末側操作画面と、当該操作に関する情報とを対応付けて管理し、前記要素に対する操作が行われると、当該操作に関する情報に対応付けられている前記端末側操作画面を前記端末に表示させることを特徴とする、請求項１に記載の情報処理システムである。
請求項１０に記載された発明は、前記１または複数のプロセッサは、前記端末側操作画面を前記端末に表示させるとともに、前記画像処理装置の操作画面を撮像するカメラを起動させるためのボタンを当該端末に表示させることを特徴とする、請求項９に記載の情報処理システムである。
請求項１１に記載された発明は、コンピュータに、ユーザの端末により撮像された画像処理装置の撮像画像に、当該画像処理装置の操作画面が含まれている場合、当該撮像画像に含まれる当該操作画面を端末側操作画面として当該端末に表示させる機能と、前記端末側操作画面に含まれる要素に対する操作に応じた処理を、前記端末および前記画像処理装置の各々に行わせる機能と、を実現させるプログラムである。
【発明の効果】
【0007】
請求項１の本発明によれば、ユーザの端末により撮像された画像処理装置の撮像画像に、その画像処理装置の操作画面が含まれている場合、その操作画面の撮像画像が端末側操作画面としてユーザの端末に表示される。そして、端末側操作画面に含まれる要素に対する操作が行われると、その操作に応じた処理が、ユーザの端末および画像処理装置の各々により行われる。これにより、画像処理装置の操作画面のイメージデータを予めユーザの端末に保持させることなく、ユーザの端末から画像処理装置を操作できる。
請求項２の本発明によれば、端末側操作画面に含まれる要素に対する操作に応じた端末側の処理として、カメラを起動させる処理と、ソフトウェアキーボードを起動させる処理とのいずれかが行われるので、ユーザの操作を簡略化できる。
請求項３の本発明によれば、端末側操作画面に含まれる要素に対する操作が、画面の表示内容を変更する操作である場合、端末側の処理として、画面の表示内容が変更された後の画像処理装置の操作画面を撮像するカメラが自動で起動するので、ユーザの操作を簡略化できる。
請求項４の本発明によれば、ユーザの端末の撮像対象として、画像処理装置の操作画面が表示されると、これをトリガとして操作画面が自動で撮像されるので、ユーザの操作を簡略化できる。
請求項５の本発明によれば、端末側操作画面に含まれる要素に対する操作が、テキスト入力するためのオブジェクトを選択する操作である場合、端末側の処理として、テキスト入力を受け付けるためのソフトウェアキーボードが自動で起動するので、ユーザの端末が本来的に備えている機能を活用しつつ、ユーザの操作を簡略化できる。
請求項６の本発明によれば、ユーザの端末がソフトウェアキーボードを起動している場合、ユーザの端末に記憶されているテキストデータの複製および貼り付けの操作が可能となるので、ユーザの端末の内部資源（例えば、アドレス帳のデータなど）を活用できる。
請求項７の本発明によれば、画像処理装置の操作画面のデザインおよびルールに関する情報を教師データとする機械学習の結果に基づいて、端末側操作画面を構成する１以上のオブジェクトの各々が操作画面の要素に該当するかどうかが判定され、さらに、操作画面の要素に該当する場合には、その種類が判定される。これにより、判定の精度が向上する。
請求項８の本発明によれば、機械学習に用いられる教師データに、操作画面の要素に対して行われた操作の情報と、その操作により画像処理装置に表示された操作画面の撮像画像とを対応付けた情報が含まれるので、実際に行われた処理の結果を教師データとする機械学習が可能となる。
請求項９の本発明によれば、端末側操作画面に含まれる要素に対して行われた操作に関する情報と、その操作によりユーザの端末に表示された端末側操作画面とが対応付けて管理される。そして、その要素に対する操作が再度行われると、その操作に関する情報に対応付けられている端末側操作画面がユーザの端末に表示される。これにより、画像処理装置の操作画面を撮像する回数が減るので、ユーザの利便性が向上する。
請求項１０の本発明によれば、操作に関する情報に対応付けられている端末側操作画面がユーザの端末に表示される際、カメラを起動させるためのボタンが表示される。これにより、ユーザは、画像処理装置の操作画面を改めて撮像することで、操作に関する情報に対応付けられている端末側操作画面を更新できる。
請求項１１の本発明によれば、ユーザの端末により撮像された画像処理装置の撮像画像に、その画像処理装置の操作画面が含まれている場合、その操作画面の撮像画像が端末側操作画面としてユーザの端末に表示される。そして、端末側操作画面に含まれる要素に対する操作が行われると、その操作に応じた処理が、ユーザの端末および画像処理装置の各々により行われる。これにより、画像処理装置の操作画面のイメージデータを予めユーザの端末に保持させることなく、ユーザの端末から画像処理装置を操作できる。
請求項２の本発明によれば、端末側操作画面に含まれる要素に対する操作に応じた端末側の処理として、カメラを起動させる処理と、ソフトウェアキーボードを起動させる処理とのいずれかが行われるので、ユーザの操作を簡略化できる。
請求項３の本発明によれば、端末側操作画面に含まれる要素に対する操作が、画面の表示内容を変更する操作である場合、端末側の処理として、画面の表示内容が変更された後の画像処理装置の操作画面を撮像するカメラが自動で起動するので、ユーザの操作を簡略化できる。
請求項４の本発明によれば、ユーザの端末の撮像対象として、画像処理装置の操作画面が表示されると、これをトリガとして操作画面が自動で撮像されるので、ユーザの操作を簡略化できる。
請求項５の本発明によれば、端末側操作画面に含まれる要素に対する操作が、テキスト入力するためのオブジェクトを選択する操作である場合、端末側の処理として、テキスト入力を受け付けるためのソフトウェアキーボードが自動で起動するので、ユーザの端末が本来的に備えている機能を活用しつつ、ユーザの操作を簡略化できる。
請求項６の本発明によれば、ユーザの端末がソフトウェアキーボードを起動している場合、ユーザの端末に記憶されているテキストデータの複製および貼り付けの操作が可能となるので、ユーザの端末の内部資源（例えば、アドレス帳のデータなど）を活用できる。
請求項７の本発明によれば、画像処理装置の操作画面のデザインおよびルールに関する情報を教師データとする機械学習の結果に基づいて、端末側操作画面を構成する１以上のオブジェクトの各々が操作画面の要素に該当するかどうかが判定され、さらに、操作画面の要素に該当する場合には、その種類が判定される。これにより、判定の精度が向上する。
請求項８の本発明によれば、機械学習に用いられる教師データに、操作画面の要素に対して行われた操作の情報と、その操作により画像処理装置に表示された操作画面の撮像画像とを対応付けた情報が含まれるので、実際に行われた処理の結果を教師データとする機械学習が可能となる。
請求項９の本発明によれば、端末側操作画面に含まれる要素に対して行われた操作に関する情報と、その操作によりユーザの端末に表示された端末側操作画面とが対応付けて管理される。そして、その要素に対する操作が再度行われると、その操作に関する情報に対応付けられている端末側操作画面がユーザの端末に表示される。これにより、画像処理装置の操作画面を撮像する回数が減るので、ユーザの利便性が向上する。
請求項１０の本発明によれば、操作に関する情報に対応付けられている端末側操作画面がユーザの端末に表示される際、カメラを起動させるためのボタンが表示される。これにより、ユーザは、画像処理装置の操作画面を改めて撮像することで、操作に関する情報に対応付けられている端末側操作画面を更新できる。
請求項１１の本発明によれば、ユーザの端末により撮像された画像処理装置の撮像画像に、その画像処理装置の操作画面が含まれている場合、その操作画面の撮像画像が端末側操作画面としてユーザの端末に表示される。そして、端末側操作画面に含まれる要素に対する操作が行われると、その操作に応じた処理が、ユーザの端末および画像処理装置の各々により行われる。これにより、画像処理装置の操作画面のイメージデータを予めユーザの端末に保持させることなく、ユーザの端末から画像処理装置を操作できる。
【図面の簡単な説明】
【0008】
【図1】本実施の形態が適用される情報処理システムの全体構成の一例を示す図である。
【図2】ユーザ端末のハードウェア構成の一例を示す図である。
【図3】画像処理装置のハードウェア構成の一例を示す図である。
【図4】ユーザ端末の制御部の機能構成の一例を示す図である。
【図5】画像処理装置の制御部の機能構成の一例を示す図である。
【図6】ユーザ端末の処理のうち、端末側操作画面を表示するまでの流れの一例を示すフローチャートである。
【図7】ユーザ端末の処理のうち、端末側操作画面への入力操作を受け付けてから、端末側操作画面を遷移させるまでの処理の流れの一例を示すフローチャートである。
【図8】ユーザ端末で画像処理装置の操作画面を撮像する様子を示す図である。
【図9】端末側操作画面に対する操作が行われている様子を示す図である。
【図10】端末側操作画面にソフトウェアキーボードが表示させるときの様子を示す図である。
【図11】自動撮像の様子を示す図である。
【図12】ユーザ端末に記憶されている端末側操作画面の自動読み出しの具体例を示す図である。
【発明を実施するための形態】
【0009】
以下、添付図面を参照して、本発明の実施の形態について詳細に説明する。
＜情報処理システムの構成＞
図１は、本実施の形態が適用される情報処理システム１の全体構成の一例を示す図である。
情報処理システム１は、ユーザ端末１０と、画像処理装置５０とがネットワーク９０を介して接続されることにより構成されている。ネットワーク９０は、例えば、ＬＡＮ（Local Area Network）、インターネット等である。
＜情報処理システムの構成＞
図１は、本実施の形態が適用される情報処理システム１の全体構成の一例を示す図である。
情報処理システム１は、ユーザ端末１０と、画像処理装置５０とがネットワーク９０を介して接続されることにより構成されている。ネットワーク９０は、例えば、ＬＡＮ（Local Area Network）、インターネット等である。
【0010】
（ユーザ端末）
ユーザ端末１０は、情報処理システム１を利用するユーザが操作するスマートフォン、タブレット端末等のモバイル型の情報処理装置である。ユーザ端末１０には、画像処理装置５０の操作を可能にするアプリケーションソフトウェアがインストールされている。ユーザ端末１０は、画像処理装置５０から送信されてくる各種の情報を取得し、各種の処理を行う。また、ユーザ端末１０は、画像処理装置５０に向けて各種の情報を送信する。
ユーザ端末１０は、情報処理システム１を利用するユーザが操作するスマートフォン、タブレット端末等のモバイル型の情報処理装置である。ユーザ端末１０には、画像処理装置５０の操作を可能にするアプリケーションソフトウェアがインストールされている。ユーザ端末１０は、画像処理装置５０から送信されてくる各種の情報を取得し、各種の処理を行う。また、ユーザ端末１０は、画像処理装置５０に向けて各種の情報を送信する。
【0011】
例えば、ユーザ端末１０は、撮像した画像処理装置５０の撮像画像に、画像処理装置５０の操作画面が含まれているかどうかを判定する。また、ユーザ端末１０は、操作画面の要素の種類を判定する。ユーザ端末１０は、撮像した画像処理装置５０の撮像画像に、画像処理装置５０の操作画面が含まれている場合、その撮像画像に含まれる操作画面をユーザインターフェースとして表示する。具体的には、ユーザ端末１０は、撮像画像に含まれる操作画面の表示領域を抽出し、拡大、傾き補正等を施すことで、画像処理装置５０の操作を可能にするユーザインターフェースとしての端末側操作画面を生成し、表示部に表示する。
【0012】
また、ユーザ端末１０は、端末側操作画面に含まれる要素に対する操作に応じた処理を行う。例えば、ユーザ端末１０は、端末側操作画面に含まれる要素に対する操作に応じた処理として、画像処理装置５０の操作画面を撮像するカメラを起動させる。この場合、ユーザ端末１０は、端末側操作画面に含まれる要素に対する操作が、画面遷移させるボタンを押下する操作である場合、その操作に応じた処理として、画面遷移後の画像処理装置５０の操作画面を撮像するカメラを起動させる。ユーザ端末１０は、画面遷移後の画像処理装置５０の操作画面を撮像するカメラを起動している場合、画像処理装置５０の操作画面が、撮像対象としてファインダに表示されると、その操作画面を自動で撮像してもよい。
【0013】
また、ユーザ端末１０は、端末側操作画面に含まれる要素に対する操作に応じた処理として、テキスト入力を受け付けるためのソフトウェアキーボードを起動させる。例えば、ユーザ端末１０は、端末側操作画面に含まれる要素に対する操作が、テキスト入力するためのオブジェクトを選択する操作である場合、その操作に応じた処理として、テキスト入力を受け付けるためのソフトウェアキーボードを起動させる。
【0014】
ここで、「テキスト入力するためのオブジェクト」とは、例えば、テキストボックスなどである。ユーザ端末１０は、テキスト入力を受け付けるためのソフトウェアキーボードを起動している場合、自機に記憶されているテキストデータを複製する操作、および複製したテキストデータを貼り付けの操作を受け付ける。また、「自機に記憶されているテキストデータ」とは、例えば、ユーザ端末１０に記憶されているアドレス帳のデータなどである。
【0015】
ユーザ端末１０は、端末側操作画面に含まれる要素に対して行われた操作の結果として表示された端末側操作画面と、その操作に関する情報とを対応付けて管理する。そして、ユーザ端末１０は、端末側操作画面に含まれる要素に対する操作が行われると、その操作に関する情報に対応付けられている端末側操作画面を表示する。また、ユーザ端末１０は、端末側操作画面を表示させるとともに、画像処理装置５０の操作画面を撮像するカメラを起動させるためのボタンを表示する。なお、ユーザ端末１０の処理の詳細については後述する。
【0016】
（画像処理装置）
画像処理装置５０は、情報処理システム１を利用するユーザの入力操作に応じて各種の処理を行う情報処理装置である。例えば、画像処理装置５０は、用紙等の媒体に画像を形成する処理、画像が形成された記録媒体を出力する処理、用紙等に形成された画像を読み取る処理などを行う。画像処理装置５０としては、例えば、トナー像を用紙の印刷面に形成するいわゆる電子写真方式の複合機や、インクを用紙の印刷面に吐出するいわゆるインクジェット方式のプリンタ等が挙げられる。
画像処理装置５０は、情報処理システム１を利用するユーザの入力操作に応じて各種の処理を行う情報処理装置である。例えば、画像処理装置５０は、用紙等の媒体に画像を形成する処理、画像が形成された記録媒体を出力する処理、用紙等に形成された画像を読み取る処理などを行う。画像処理装置５０としては、例えば、トナー像を用紙の印刷面に形成するいわゆる電子写真方式の複合機や、インクを用紙の印刷面に吐出するいわゆるインクジェット方式のプリンタ等が挙げられる。
【0017】
また、画像処理装置５０は、ユーザ端末１０から送信されてくる各種の情報を取得し、各種の処理を行う。また、画像処理装置５０は、ユーザ端末１０に向けて各種の情報を送信する。例えば、画像処理装置５０は、端末側操作画面に含まれる要素に対する操作に応じた処理を行う。具体的には、画像処理装置５０は、端末側操作画面に含まれる要素に対する操作に応じた処理として、その操作を自機の操作画面に対する操作として受け付ける処理を行う。なお、画像処理装置５０の処理の詳細については後述する。
【0018】
上述の情報処理システム１の構成は一例であり、情報処理システム１全体として上述の処理を実現させる機能を備えていればよい。このため、上述の処理を実現させる機能のうち、一部または全部を情報処理システム１内で分担してもよいし協働してもよい。すなわち、ユーザ端末１０の機能の一部または全部を画像処理装置５０の機能としてもよいし、また、画像処理装置５０の機能の一部または全部をユーザ端末１０の機能としてもよい。さらに、情報処理システム１を構成するユーザ端末１０および画像処理装置５０の各々の機能の一部または全部を、図示せぬ他のサーバ等に移譲してもよい。これにより、情報処理システム１全体としての処理が促進され、また、処理を補完し合うことも可能となる。
【0019】
（ユーザ端末のハードウェア構成）
図２は、ユーザ端末１０のハードウェア構成の一例を示す図である。
ユーザ端末１０は、制御部１１と、メモリ１２と、記憶部１３と、通信部１４と、操作部１５と、表示部１６と、撮像部１７とを有している。これらの各部は、データバス、アドレスバス、ＰＣＩ（Peripheral Component Interconnect）バス等で接続されている。
図２は、ユーザ端末１０のハードウェア構成の一例を示す図である。
ユーザ端末１０は、制御部１１と、メモリ１２と、記憶部１３と、通信部１４と、操作部１５と、表示部１６と、撮像部１７とを有している。これらの各部は、データバス、アドレスバス、ＰＣＩ（Peripheral Component Interconnect）バス等で接続されている。
【0020】
制御部１１は、ＯＳ（基本ソフトウェア）やアプリケーションソフトウェア（応用ソフトウェア）等の各種ソフトウェアの実行を通じてユーザ端末１０の機能の制御を行うプロセッサである。制御部１１は、例えばＣＰＵ（Central Processing Unit）で構成される。メモリ１２は、各種ソフトウェアやその実行に用いるデータ等を記憶する記憶領域であり、演算に際して作業エリアとして用いられる。メモリ１２は、例えばＲＡＭ（Random Access Memory）等で構成される。
【0021】
記憶部１３は、各種ソフトウェアに対する入力データや各種ソフトウェアからの出力データ等を記憶する記憶領域である。記憶部１３は、例えばプログラムや各種設定データなどの記憶に用いられるＨＤＤ（Hard Disk Drive）やＳＳＤ（Solid State Drive）、半導体メモリ等で構成される。記憶部１３には、各種情報を記憶するデータベースとして、例えば、撮像画像と、その撮像画像に含まれる操作画面と、操作の内容とを対応付けた情報が記憶されている画像ＤＢ１３１等が格納されている。
【0022】
通信部１４は、ネットワーク９０を介してユーザ端末１０および外部との間でデータの送受信を行う。操作部１５は、例えばキーボード、マウス、機械式のボタン、スイッチで構成され、入力操作を受け付ける。操作部１５には、表示部１６と一体的にタッチパネルを構成するタッチセンサも含まれる。表示部１６は、例えば情報の表示に用いられる液晶ディスプレイや有機ＥＬ（Electro Luminescence）ディスプレイで構成され、画像やテキストのデータなどを表示する。撮像部１７は、カメラ等で構成され、カメラのファインダとしても機能する表示部１６に表示された被写体を撮像して、画像のデータとして取得する。
【0023】
（画像処理装置のハードウェア構成）
図３は、画像処理装置５０のハードウェア構成の一例を示す図である。
画像処理装置５０は、図２のユーザ端末１０のハードウェア構成のうち、制御部１１、メモリ１２、記憶部１３、通信部１４、操作部１５、および表示部１６の各々に対応するハードウェア構成を有している。
図３は、画像処理装置５０のハードウェア構成の一例を示す図である。
画像処理装置５０は、図２のユーザ端末１０のハードウェア構成のうち、制御部１１、メモリ１２、記憶部１３、通信部１４、操作部１５、および表示部１６の各々に対応するハードウェア構成を有している。
【0024】
すなわち、画像処理装置５０は、ＣＰＵ等のプロセッサで構成される制御部５１と、ＲＡＭ等の記憶領域で構成されるメモリ５２と、ＨＤＤやＳＤＤ、半導体メモリ等の記憶領域で構成される記憶部５３とを有している。記憶部５３には、各種の情報を記憶するデータベースが格納されている。また、画像処理装置５０は、ネットワーク９０を介して、ユーザ端末１０、および外部との間でデータの送受信を行う通信部５４を有している。また、画像処理装置５０は、タッチパネル等で構成される操作部５５と、液晶ディスプレイや有機ＥＬディスプレイ等で構成される表示部５６を有している。
【0025】
さらに、画像処理装置５０は、これらの構成に加えて、読取部５７と、画像形成部５８とを有している。読取部５７は、記録媒体としての用紙等の媒体（例えば、紙媒体の文書等）に記録された画像を読み取る。読取部５７は、例えば光源から原稿に照射した光に対する反射光をレンズで縮小してＣＣＤ（Charge Coupled Devices）で受光するＣＣＤ方式のスキャナや、ＬＥＤ光源から原稿に順に照射した光に対する反射光をＣＩＳ（Contact Image Sensor）で受光するＣＩＳ方式のスキャナ等で構成される。画像形成部５８は、例えば、電子写真方式やインクジェット方式等により、記録媒体としての用紙の印刷面に、印刷対象の画像を形成する。そして、これらの各部は、データバス、アドレスバス、ＰＣＩバス等で接続されている。
【0026】
（ユーザ端末の制御部の機能構成）
図４は、ユーザ端末１０の制御部１１の機能構成の一例を示す図である。
ユーザ端末１０の制御部１１では、撮像制御部１０１と、管理部１０２と、判定部１０３と、ＵＩ補正部１０４と、表示制御部１０５と、送信制御部１０６とが機能する。
図４は、ユーザ端末１０の制御部１１の機能構成の一例を示す図である。
ユーザ端末１０の制御部１１では、撮像制御部１０１と、管理部１０２と、判定部１０３と、ＵＩ補正部１０４と、表示制御部１０５と、送信制御部１０６とが機能する。
【0027】
撮像制御部１０１は、撮像部１７に画像処理装置５０の操作画面を撮像させる制御を行う。具体的には、撮像制御部１０１は、ユーザの操作に基づいて、撮像部１７のカメラを起動させて、画像処理装置５０の操作画面を撮像させる制御を行う。ここで、「ユーザの操作」とは、カメラのシャッターボタンを押下する操作、カメラのファインダに画像処理装置５０の操作画面を表示させる操作などである。
【0028】
管理部１０２は、記憶部１３（図２参照）のデータベースに各種の情報を格納して管理する。例えば、管理部１０２は、撮像部１７（図２参照）により撮像された撮像画像を画像ＤＢ１３１に格納して管理する。具体的には、管理部１０２は、撮像部１７により撮像された撮像画像と、その撮像画像に含まれる操作画面と、操作の内容とを対応付けた情報を、教師データとして画像ＤＢ１３１に格納して管理する。
【0029】
判定部１０３は、撮像部１７により撮像された画像処理装置５０の撮像画像に、画像処理装置５０の操作画面が含まれているかどうかを判定する。具体的には、判定部１０３は、画像処理装置５０の撮像画像を構成する１以上のオブジェクトの各々が画像処理装置５０の操作画面の要素に該当するかどうかを判定する。このとき、判定部１０３は、操作画面の要素の種類を判定する。要素の種類としては、例えば、ユーザインターフェースとしてのボタン、テキストボックスなどである。
【0030】
判定部１０３は、画像処理装置５０の撮像画像に操作画面が含まれているかどうかを判定する際、機械学習の結果に基づいた判定を行ってもよい。この場合、教師データには、操作画面に含まれる要素に対して行われた操作の情報と、その操作の結果として画像処理装置５０に表示された操作画面の撮像画像とを対応付けた情報の他に、例えば、画像処理装置５０の操作画面のデザインおよびルールに関する情報等を含めてもよい。
【0031】
ＵＩ補正部１０４は、画像処理装置５０の操作画面の撮像画像を補正することで、画像処理装置５０の操作を可能にするユーザインターフェースとしての端末側操作画面を生成する。具体的には、ＵＩ補正部１０４は、画像処理装置５０の撮像画像に含まれる操作画面の領域を抽出し、拡大、傾き補正等を施すことで端末側操作画面を生成する。すなわち、画像処理装置５０に表示される端末側操作画面は、画像処理装置５０の操作画面から独立して別個に生成されるものではなく、画像処理装置５０の操作画面を撮像したものの表示態様を修正したものである。
【0032】
表示制御部１０５は、ユーザ端末１０の表示部１６に各種の情報を表示させるための制御を行う。具体的には、表示制御部１０５は、起動されたカメラのファインダを表示部１６に表示させるための制御を行う。また、表示制御部１０５は、被写体となる画像処理装置５０を表示部１６に表示させるための制御を行う。また、表示制御部１０５は、ＵＩ補正部１０４により生成された端末側操作画面を表示部１６に表示させるための制御を行う。また、表示制御部１０５は、テキスト入力を受け付けるためのソフトウェアキーボードを表示部１６に表示させるための制御を行う。
【0033】
送信制御部１０６は、各種の情報を送信する制御を行う。具体的には、送信制御部１０６は、画像処理装置５０および外部の各々に向けて各種の情報を送信する制御を行う。送信制御部１０６により送信が制御される情報のうち、画像処理装置５０に向けて送信される情報としては、例えば、画像処理装置５０に各種の処理を実行させるために端末側操作画面に入力された入力情報などである。
【0034】
【0035】
取得部５０１は、各種の情報を取得する。具体的には、取得部５０１は、ユーザ端末１０および外部から送信されてきた各種の情報を取得する。取得部５０１により取得される情報のうちユーザ端末１０から送信されてくる情報としては、例えば、画像処理装置５０に各種の処理を実行させるために端末側操作画面に入力された入力情報などである。
【0036】
処理制御部５０２は、ユーザ端末１０から送信されてきた、画像処理装置５０に各種の処理を実行させるために端末側操作画面に入力された入力情報に基づいて、通信部５４、表示部５６、読取部５７、および画像形成部５８（図３参照）等に、画像処理装置５０の機能にかかる各種の処理を実行させる制御を行う。例えば、処理制御部５０２は、画像処理装置５０に各種の処理を実行させるために端末側操作画面に入力された入力情報に基づいて、操作画面の表示を遷移させる。
【0037】
＜処理の流れ＞
（ユーザ端末の処理の流れ）
図６は、ユーザ端末１０の処理のうち、端末側操作画面を表示するまでの流れの一例を示すフローチャートである。
ユーザ端末１０は、ユーザの操作に基づいて、操作の対象となる画像処理装置５０と接続するための認証処理を実行し（ステップ６０１）、画像処理装置５０の操作を可能にするアプリケーションソフトウェアを起動させる（ステップ６０２）。
（ユーザ端末の処理の流れ）
図６は、ユーザ端末１０の処理のうち、端末側操作画面を表示するまでの流れの一例を示すフローチャートである。
ユーザ端末１０は、ユーザの操作に基づいて、操作の対象となる画像処理装置５０と接続するための認証処理を実行し（ステップ６０１）、画像処理装置５０の操作を可能にするアプリケーションソフトウェアを起動させる（ステップ６０２）。
【0038】
次に、ユーザ端末１０は、ユーザの操作に基づいて、カメラを起動させる（ステップ６０３）。そして、ユーザ端末１０は、カメラのファインダに画像処理装置５０の操作画面が表示されると（ステップ６０４でＹＥＳ）、その操作画面を撮像する（ステップ６０５）。これに対して、カメラのファインダに画像処理装置５０の操作画面が表示されていない場合（ステップ６０４でＮＯ）、ユーザ端末１０は、カメラのファインダに画像処理装置５０の操作画面が表示されるまでステップ６０４の判断処理を繰り返す。
【0039】
次に、ユーザ端末１０は、ステップ６０５で撮像された撮像画像に含まれる、画像処理装置５０の操作画面の表示領域を抽出し（ステップ６０６）、傾き補正等を行うことで端末側操作画面を生成する（ステップ６０７）。そして、ユーザ端末１０は、生成した端末側操作画面を表示する（ステップ６０８）。
【0040】
図７は、ユーザ端末１０の処理のうち、端末側操作画面への入力操作を受け付けてから、端末側操作画面を遷移させるまでの処理の流れの一例を示すフローチャートである。
ユーザ端末１０は、表示した端末側操作画面をタップする操作が行われると（ステップ７０１でＹＥＳ）、タップされた位置の要素の種類を判定する（ステップ７０２）。これに対して、タップ操作が行われていない場合、ユーザ端末１０は、タップ操作が行われるまでステップ７０１の判断処理を繰り返す。
ユーザ端末１０は、表示した端末側操作画面をタップする操作が行われると（ステップ７０１でＹＥＳ）、タップされた位置の要素の種類を判定する（ステップ７０２）。これに対して、タップ操作が行われていない場合、ユーザ端末１０は、タップ操作が行われるまでステップ７０１の判断処理を繰り返す。
【0041】
ユーザ端末１０は、タップされた位置の要素の種類がボタンである場合には（ステップ７０３でＹＥＳ）、ステップ７０６の処理に進む。これに対して、タップされた位置の要素の種類がテキストボックスである場合（ステップ７０３でＮＯ）、ユーザ端末１０は、キーボードを表示して（ステップ７０４）、テキストデータの入力を促す。そして、テキストデータが入力されると（ステップ７０５でＹＥＳ）、ユーザ端末１０は、ステップ７０６の処理に進む。これに対して、テキストデータが入力されていない場合（ステップ７０５でＮＯ）、ユーザ端末１０は、テキストデータが入力されるまでステップ７０５の判定処理を繰り返す。
【0042】
ユーザ端末１０は、画像処理装置５０に各種の処理を実行させるための入力情報を画像処理装置５０に向けて送信するとともに（ステップ７０６）、端末側操作画面と操作の内容とを対応付けて記憶する（ステップ７０７）。
【0043】
ユーザ端末１０は、ステップ７０６で画像処理装置５０に向けて送信した入力情報により、画像処理装置５０の操作画面が遷移すると（ステップ７０８でＹＥＳ）、遷移後の操作画面に対応する端末側操作画面の読み出しを試みる（ステップ７０９）。これに対して、画像処理装置５０の操作画面が遷移していない場合（ステップ７０８でＮＯ）、画像処理装置５０の操作画面が遷移するまでステップ７０８の判定処理を繰り返す。
【0044】
ユーザ端末１０は、端末側操作画面の読み出しに成功すると（ステップ７１０でＹＥＳ）、読み出した端末側操作画面を表示する（ステップ７１１）。これに対して、端末側操作画面の読み出しに成功しなかった場合（ステップ７１０でＮＯ）、画像処理装置５０に表示されている遷移後の操作画面を撮像するためのカメラを起動させる（ステップ７１２）。この場合、ユーザ端末１０は、例えば、上述の図６のステップ６０４の判断処理以降の処理を行う。
【0045】
＜具体例＞
図８は、ユーザ端末１０で画像処理装置５０の操作画面を撮像する様子を示す図である。
画像処理装置５０の操作を、画像処理装置５０の操作画面に直接触れることなくモバイル端末等から操作しようとするユーザは、画像処理装置５０の操作を可能にするアプリケーションソフトウェアがインストールされたユーザ端末１０を操作することで、操作の対象となる画像処理装置５０と接続するための認証を行う。
図８は、ユーザ端末１０で画像処理装置５０の操作画面を撮像する様子を示す図である。
画像処理装置５０の操作を、画像処理装置５０の操作画面に直接触れることなくモバイル端末等から操作しようとするユーザは、画像処理装置５０の操作を可能にするアプリケーションソフトウェアがインストールされたユーザ端末１０を操作することで、操作の対象となる画像処理装置５０と接続するための認証を行う。
【0046】
次に、ユーザは、ユーザ端末１０のカメラを起動させ、画像処理装置５０の操作部５５（図３参照）の操作画面５５０を、ユーザ端末１０のファインダに表示させて撮像する。すると、撮像画像５００に含まれる操作画面５５０の表示領域が抽出され、各種の補正が施されて、画像処理装置５０の操作を可能にするユーザインターフェースとしての端末側操作画面１００が生成される。生成された端末側操作画面１００はユーザ端末１０の表示部１６に表示される。ここで、ユーザ端末１０の表示部１６に表示される端末側操作画面１００の態様は特に限定されない。例えば、図８に示すように、ユーザ端末１０の表示部１６のサイズに調整されて拡大表示されるなど、ユーザが操作しやすい態様で表示される。
【0047】
図９は、端末側操作画面１００に対する操作が行われている様子を示す図である。
ユーザは、端末側操作画面１００に表示されている要素（ボタン、テキストボックスなど）に対してタップ操作や文字入力の操作を行うと、それらの入力情報が画像処理装置５０に向けて送信される。端末側操作画面１００に対する入力情報を取得した画像処理装置５０は、その入力情報を操作画面５５０に対する入力操作として受け付けて、入力操作に応じた処理（画面遷移、印刷、読み取りなど）を行う。
ユーザは、端末側操作画面１００に表示されている要素（ボタン、テキストボックスなど）に対してタップ操作や文字入力の操作を行うと、それらの入力情報が画像処理装置５０に向けて送信される。端末側操作画面１００に対する入力情報を取得した画像処理装置５０は、その入力情報を操作画面５５０に対する入力操作として受け付けて、入力操作に応じた処理（画面遷移、印刷、読み取りなど）を行う。
【0048】
例えば、図９に示すように、端末側操作画面１００に含まれる要素のうち、「ボックス保存」と表記されたボタン２１が押下されると、画像処理装置５０の操作画面５５０に含まれる要素のうち、「ボックス保存」と表記されたボタン２１が押下されたものとして受け付けられる。すると、画像処理装置５０の操作画面５５０が操作画面５５１に遷移する。
【0049】
ここで、操作画面５５１に対応する端末側操作画面がユーザ端末１０に記憶されている場合には、その端末側操作画面がユーザ端末１０に表示される。これに対して、操作画面５５１に対応する端末側操作画面がユーザ端末１０に記憶されていない場合には、ユーザ端末１０のカメラが再び起動する。ユーザは、画像処理装置５０の操作画面５５１をユーザ端末１０のファインダに表示させて撮像する。すると、撮像画像５１０に含まれる操作画面５５１の表示領域が抽出され、各種の補正が施されて、操作画面５５１に対応する端末側操作画面１１０が生成される。生成された端末側操作画面１１０は表示部１６に表示される。
【0050】
図１０は、端末側操作画面にソフトウェアキーボードが表示させるときの様子を示す図である。
端末側操作画面に含まれる要素に対する操作が、テキストボックスを選択する操作である場合には、ユーザ端末１０の表示部１６に、テキスト入力を受け付けるためのソフトウェアキーボードが表示される。例えば、図１０に示すように、「日時」と表記されたテキストボックス１１１をタップする操作が行われると、その入力情報が画像処理装置５０に向けて送信される。そして、その入力情報を取得した画像処理装置５０において、操作画面５５１に含まれる「日時」と表記されたテキストボックス５１１をタップする操作が行われたとして受け付けられる。これにより、画像処理装置５０の操作画面５５１が操作画面５５２に遷移する。
端末側操作画面に含まれる要素に対する操作が、テキストボックスを選択する操作である場合には、ユーザ端末１０の表示部１６に、テキスト入力を受け付けるためのソフトウェアキーボードが表示される。例えば、図１０に示すように、「日時」と表記されたテキストボックス１１１をタップする操作が行われると、その入力情報が画像処理装置５０に向けて送信される。そして、その入力情報を取得した画像処理装置５０において、操作画面５５１に含まれる「日時」と表記されたテキストボックス５１１をタップする操作が行われたとして受け付けられる。これにより、画像処理装置５０の操作画面５５１が操作画面５５２に遷移する。
【0051】
また、ユーザ端末１０は、テキストボックス１１１をタップする操作が行われると、タップされた要素がテキストボックスであることを検知し、テキストデータの入力を受け付けるためのソフトウェアキーボード１１２を表示する。ユーザがソフトウェアキーボード１１２にテキストを入力して「改行」と表記されたボタン１１３（または、図示せぬ「Ｅｎｔｅｒ」キー）をタップする操作を行うと、ソフトウェアキーボード１１２に入力されたテキストデータが、入力情報として画像処理装置５０に向けて送信される。すると、ユーザ端末１０は、ソフトウェアキーボード１１２に入力する操作が完了したことを検知し、画像処理装置５０の操作画面を撮像できるようにするために再びカメラを起動させる。
【0052】
図１１は、自動撮像の様子を示す図である。
画面遷移後の画像処理装置５０の操作画面５５１を撮像するカメラを起動している場合、画像処理装置５０の操作画面５５１が、撮像対象としてユーザ端末１０のファインダに表示されると、その操作画面５５１が自動で撮像される。すなわち、ユーザ端末１０のカメラが起動している間は、画像処理装置５０の操作画面５５１を検知する状態が継続される。図１１の枠線１１４および１１５は、ユーザ端末１０の表示部１６のファインダに表示された画像処理装置５０の操作画面５５１の表示領域を認識していることを示す枠線である。
画面遷移後の画像処理装置５０の操作画面５５１を撮像するカメラを起動している場合、画像処理装置５０の操作画面５５１が、撮像対象としてユーザ端末１０のファインダに表示されると、その操作画面５５１が自動で撮像される。すなわち、ユーザ端末１０のカメラが起動している間は、画像処理装置５０の操作画面５５１を検知する状態が継続される。図１１の枠線１１４および１１５は、ユーザ端末１０の表示部１６のファインダに表示された画像処理装置５０の操作画面５５１の表示領域を認識していることを示す枠線である。
【0053】
図１２は、ユーザ端末１０に記憶されている端末側操作画面の自動読み出しの具体例を示す図である。
上述のように、ユーザ端末１０に格納されている画像ＤＢ１３１（図２参照）には、撮像部１７により撮像された撮像画像と、その撮像画像に含まれる操作画面と、操作の内容とを対応付けた情報が記憶されている。ユーザ端末１０は、記憶されている操作の内容と同様の操作が行われると、その操作の内容に対応付けられている端末側操作画面を自動で読み出す。
上述のように、ユーザ端末１０に格納されている画像ＤＢ１３１（図２参照）には、撮像部１７により撮像された撮像画像と、その撮像画像に含まれる操作画面と、操作の内容とを対応付けた情報が記憶されている。ユーザ端末１０は、記憶されている操作の内容と同様の操作が行われると、その操作の内容に対応付けられている端末側操作画面を自動で読み出す。
【0054】
図１２には、端末側操作画面１１０に含まれる要素としてのボタン２２をタップする操作が行われたことにより自動で読み出された端末側操作画面１２０が示されている。端末側操作画面の読み出しは、現在表示されている端末側操作画面（例えば、図１２の端末側操作画面１１０）と、現在表示されている端末側操作画面に対する操作の種別（例えば、タップする操作など）および操作が行われた画面上の位置を示す座標とを入力し、次の端末側操作画面（例えば、図１２の端末側操作画面１２０）を出力する処理により実現される。
【0055】
ただし、画像処理装置５０側の設定変更等により操作画面の配置が変わることがあるので、「再撮影」と表記されたボタン２３が設けられている。ユーザは、ユーザ端末１０に記憶されている端末側操作画面１２０が、実際の画像処理装置５０の操作画面と一致しない場合、ボタン２３をタップする操作を行う。すると、実際の画像処理装置５０の操作画面を撮像可能にするカメラが起動する。
【0056】
＜他の実施の形態＞
以上、本実施の形態について説明したが、本発明は上述した実施の形態に限るものではない。また、本発明による効果も、上述した実施の形態に記載されたものに限定されない。例えば、図１に示す情報処理システム１の構成、図２に示すユーザ端末１０のハードウェア構成、および図３に示す画像処理装置５０のハードウェア構成は、いずれも本発明の目的を達成するための例示に過ぎず、特に限定されない。また、図４に示すユーザ端末１０の機能構成、および図５に示す画像処理装置５０の機能構成も例示に過ぎず、特に限定されない。上述した処理を全体として実行できる機能が図１の情報処理システム１に備えられていれば足り、この機能を実現するためにどのような機能構成を用いるかは図４および図５の例に限定されない。
以上、本実施の形態について説明したが、本発明は上述した実施の形態に限るものではない。また、本発明による効果も、上述した実施の形態に記載されたものに限定されない。例えば、図１に示す情報処理システム１の構成、図２に示すユーザ端末１０のハードウェア構成、および図３に示す画像処理装置５０のハードウェア構成は、いずれも本発明の目的を達成するための例示に過ぎず、特に限定されない。また、図４に示すユーザ端末１０の機能構成、および図５に示す画像処理装置５０の機能構成も例示に過ぎず、特に限定されない。上述した処理を全体として実行できる機能が図１の情報処理システム１に備えられていれば足り、この機能を実現するためにどのような機能構成を用いるかは図４および図５の例に限定されない。
【0057】
また、図６および図７に示すユーザ端末１０の処理のステップの順序も例示に過ぎず、特に限定されない。図示されたステップの順序に沿って時系列的に行われる処理だけではなく、必ずしも時系列的に処理されなくとも、並列的あるいは個別的に行われてもよい。また、図８乃至図１２に示す具体例も一例に過ぎず、特に限定されない。
【0058】
また、上述の実施の形態では、端末側操作画面に含まれる要素に対する操作として、画面遷移させるボタンを押下する操作が例示されているが、これに限定されない。画面の内容表示を変更する操作であればよいので、例えば、画面をスクロール移動させるスワイプの操作などであってもよい。
【0059】
（付記）
(((１)))
１または複数のプロセッサを備え、
前記１または複数のプロセッサは、
ユーザの端末により撮像された画像処理装置の撮像画像に、当該画像処理装置の操作画面が含まれている場合、当該撮像画像に含まれる当該操作画面を端末側操作画面として当該端末に表示させ、
前記端末側操作画面に含まれる要素に対する操作に応じた処理を、前記端末および前記画像処理装置の各々に行わせることを特徴とする、
情報処理システム。
(((２)))
前記１または複数のプロセッサは、
前記要素に対する操作に応じた前記端末の処理として、前記画像処理装置の操作画面を撮像するカメラを起動させる処理と、テキスト入力を受け付けるためのソフトウェアキーボードを起動させる処理とのいずれかを行わせ、
前記要素に対する操作に応じた前記画像処理装置の処理として、当該操作を当該画像処理装置の操作画面に対する操作として受け付ける処理を行わせることを特徴とする、
(((１)))に記載の情報処理システム。
(((３)))
前記１または複数のプロセッサは、前記要素に対する操作が、画面の表示内容を変更する操作である場合、当該操作に応じた前記端末の処理として、当該画面の表示内容が変更された後の前記画像処理装置の操作画面を撮像するカメラを起動させる処理を行わせることを特徴とする、
(((２)))に記載の情報処理システム。
(((４)))
前記１または複数のプロセッサは、前記端末が前記カメラを起動している場合、撮像対象として前記画像処理装置の操作画面が当該端末に表示されると、当該端末に当該操作画面を撮像させることを特徴とする、
(((３)))に記載の情報処理システム。
(((５)))
前記１または複数のプロセッサは、前記要素に対する操作が、テキスト入力するためのオブジェクトを選択する操作である場合、当該操作に応じた前記端末の処理として、テキスト入力を受け付けるためのソフトウェアキーボードを起動させる処理を行わせることを特徴とする、
(((２)))に記載の情報処理システム。
(((６)))
前記１または複数のプロセッサは、前記端末が前記ソフトウェアキーボードを起動している場合、当該端末に記憶されているテキストデータの複製および貼り付けの操作を受け付けることを特徴とする、
(((５)))に記載の情報処理システム。
(((７)))
前記１または複数のプロセッサは、前記画像処理装置の操作画面のデザインおよびルールに関する情報を教師データとする機械学習の結果に基づいて、前記端末側操作画面を構成する１以上のオブジェクトの各々が前記要素に該当するかどうかの判定と、当該要素の種類の判定とを行うことを特徴とする、
(((１)))乃至(((６)))のいずれかに記載の情報処理システム。
(((８)))
前記教師データには、前記要素に対して行われた操作の情報と、当該操作により前記画像処理装置に表示された操作画面の撮像画像とを対応付けた情報がさらに含まれることを特徴とする、
(((７)))に記載の情報処理システム。
(((９)))
前記１または複数のプロセッサは、
前記要素に対して行われた操作により前記端末に表示された前記端末側操作画面と、当該操作に関する情報とを対応付けて管理し、
前記要素に対する操作が行われると、当該操作に関する情報に対応付けられている前記端末側操作画面を前記端末に表示させることを特徴とする、
(((１)))乃至(((８)))のいずれかに記載の情報処理システム。
(((１０)))
前記１または複数のプロセッサは、前記端末側操作画面を前記端末に表示させるとともに、前記画像処理装置の操作画面を撮像するカメラを起動させるためのボタンを当該端末に表示させることを特徴とする、
(((９)))に記載の情報処理システム。
(((１１)))
コンピュータに、
ユーザの端末により撮像された画像処理装置の撮像画像に、当該画像処理装置の操作画面が含まれている場合、当該撮像画像に含まれる当該操作画面を端末側操作画面として当該端末に表示させる機能と、
前記端末側操作画面に含まれる要素に対する操作に応じた処理を、前記端末および前記画像処理装置の各々に行わせる機能と、
を実現させるプログラム。
(((１)))
１または複数のプロセッサを備え、
前記１または複数のプロセッサは、
ユーザの端末により撮像された画像処理装置の撮像画像に、当該画像処理装置の操作画面が含まれている場合、当該撮像画像に含まれる当該操作画面を端末側操作画面として当該端末に表示させ、
前記端末側操作画面に含まれる要素に対する操作に応じた処理を、前記端末および前記画像処理装置の各々に行わせることを特徴とする、
情報処理システム。
(((２)))
前記１または複数のプロセッサは、
前記要素に対する操作に応じた前記端末の処理として、前記画像処理装置の操作画面を撮像するカメラを起動させる処理と、テキスト入力を受け付けるためのソフトウェアキーボードを起動させる処理とのいずれかを行わせ、
前記要素に対する操作に応じた前記画像処理装置の処理として、当該操作を当該画像処理装置の操作画面に対する操作として受け付ける処理を行わせることを特徴とする、
(((１)))に記載の情報処理システム。
(((３)))
前記１または複数のプロセッサは、前記要素に対する操作が、画面の表示内容を変更する操作である場合、当該操作に応じた前記端末の処理として、当該画面の表示内容が変更された後の前記画像処理装置の操作画面を撮像するカメラを起動させる処理を行わせることを特徴とする、
(((２)))に記載の情報処理システム。
(((４)))
前記１または複数のプロセッサは、前記端末が前記カメラを起動している場合、撮像対象として前記画像処理装置の操作画面が当該端末に表示されると、当該端末に当該操作画面を撮像させることを特徴とする、
(((３)))に記載の情報処理システム。
(((５)))
前記１または複数のプロセッサは、前記要素に対する操作が、テキスト入力するためのオブジェクトを選択する操作である場合、当該操作に応じた前記端末の処理として、テキスト入力を受け付けるためのソフトウェアキーボードを起動させる処理を行わせることを特徴とする、
(((２)))に記載の情報処理システム。
(((６)))
前記１または複数のプロセッサは、前記端末が前記ソフトウェアキーボードを起動している場合、当該端末に記憶されているテキストデータの複製および貼り付けの操作を受け付けることを特徴とする、
(((５)))に記載の情報処理システム。
(((７)))
前記１または複数のプロセッサは、前記画像処理装置の操作画面のデザインおよびルールに関する情報を教師データとする機械学習の結果に基づいて、前記端末側操作画面を構成する１以上のオブジェクトの各々が前記要素に該当するかどうかの判定と、当該要素の種類の判定とを行うことを特徴とする、
(((１)))乃至(((６)))のいずれかに記載の情報処理システム。
(((８)))
前記教師データには、前記要素に対して行われた操作の情報と、当該操作により前記画像処理装置に表示された操作画面の撮像画像とを対応付けた情報がさらに含まれることを特徴とする、
(((７)))に記載の情報処理システム。
(((９)))
前記１または複数のプロセッサは、
前記要素に対して行われた操作により前記端末に表示された前記端末側操作画面と、当該操作に関する情報とを対応付けて管理し、
前記要素に対する操作が行われると、当該操作に関する情報に対応付けられている前記端末側操作画面を前記端末に表示させることを特徴とする、
(((１)))乃至(((８)))のいずれかに記載の情報処理システム。
(((１０)))
前記１または複数のプロセッサは、前記端末側操作画面を前記端末に表示させるとともに、前記画像処理装置の操作画面を撮像するカメラを起動させるためのボタンを当該端末に表示させることを特徴とする、
(((９)))に記載の情報処理システム。
(((１１)))
コンピュータに、
ユーザの端末により撮像された画像処理装置の撮像画像に、当該画像処理装置の操作画面が含まれている場合、当該撮像画像に含まれる当該操作画面を端末側操作画面として当該端末に表示させる機能と、
前記端末側操作画面に含まれる要素に対する操作に応じた処理を、前記端末および前記画像処理装置の各々に行わせる機能と、
を実現させるプログラム。
【0060】
(((１)))の本発明によれば、ユーザの端末により撮像された画像処理装置の撮像画像に、その画像処理装置の操作画面が含まれている場合、その操作画面の撮像画像が端末側操作画面としてユーザの端末に表示される。そして、端末側操作画面に含まれる要素に対する操作が行われると、その操作に応じた処理が、ユーザの端末および画像処理装置の各々により行われる。これにより、画像処理装置の操作画面のイメージデータを予めユーザの端末に保持させることなく、ユーザの端末から画像処理装置を操作できる。
(((２)))の本発明によれば、端末側操作画面に含まれる要素に対する操作に応じた端末側の処理として、カメラを起動させる処理と、ソフトウェアキーボードを起動させる処理とのいずれかが行われるので、ユーザの操作を簡略化できる。
(((３)))の本発明によれば、端末側操作画面に含まれる要素に対する操作が、画面の表示内容を変更する操作である場合、端末側の処理として、画面の表示内容が変更された後の画像処理装置の操作画面を撮像するカメラが自動で起動するので、ユーザの操作を簡略化できる。
(((４)))の本発明によれば、ユーザの端末の撮像対象として、画像処理装置の操作画面が表示されると、これをトリガとして操作画面が自動で撮像されるので、ユーザの操作を簡略化できる。
(((５)))の本発明によれば、端末側操作画面に含まれる要素に対する操作が、テキスト入力するためのオブジェクトを選択する操作である場合、端末側の処理として、テキスト入力を受け付けるためのソフトウェアキーボードが自動で起動するので、ユーザの端末が本来的に備えている機能を活用しつつ、ユーザの操作を簡略化できる。
(((６)))の本発明によれば、ユーザの端末がソフトウェアキーボードを起動している場合、ユーザの端末に記憶されているテキストデータの複製および貼り付けの操作が可能となるので、ユーザの端末の内部資源（例えば、アドレス帳のデータなど）を活用できる。
(((７)))の本発明によれば、画像処理装置の操作画面のデザインおよびルールに関する情報を教師データとする機械学習の結果に基づいて、端末側操作画面を構成する１以上のオブジェクトの各々が操作画面の要素に該当するかどうかが判定され、さらに、操作画面の要素に該当する場合には、その種類が判定される。これにより、判定の精度が向上する。
(((８)))の本発明によれば、機械学習に用いられる教師データに、操作画面の要素に対して行われた操作の情報と、その操作により画像処理装置に表示された操作画面の撮像画像とを対応付けた情報が含まれるので、実際に行われた処理の結果を教師データとする機械学習が可能となる。
(((９)))の本発明によれば、端末側操作画面に含まれる要素に対して行われた操作に関する情報と、その操作によりユーザの端末に表示された端末側操作画面とが対応付けて管理される。そして、その要素に対する操作が再度行われると、その操作に関する情報に対応付けられている端末側操作画面がユーザの端末に表示される。これにより、画像処理装置の操作画面を撮像する回数が減るので、ユーザの利便性が向上する。
(((１０)))の本発明によれば、操作に関する情報に対応付けられている端末側操作画面がユーザの端末に表示される際、カメラを起動させるためのボタンが表示される。これにより、ユーザは、画像処理装置の操作画面を改めて撮像することで、操作に関する情報に対応付けられている端末側操作画面を更新できる。
(((１１)))の本発明によれば、ユーザの端末により撮像された画像処理装置の撮像画像に、その画像処理装置の操作画面が含まれている場合、その操作画面の撮像画像が端末側操作画面としてユーザの端末に表示される。そして、端末側操作画面に含まれる要素に対する操作が行われると、その操作に応じた処理が、ユーザの端末および画像処理装置の各々により行われる。これにより、画像処理装置の操作画面のイメージデータを予めユーザの端末に保持させることなく、ユーザの端末から画像処理装置を操作できる。
(((２)))の本発明によれば、端末側操作画面に含まれる要素に対する操作に応じた端末側の処理として、カメラを起動させる処理と、ソフトウェアキーボードを起動させる処理とのいずれかが行われるので、ユーザの操作を簡略化できる。
(((３)))の本発明によれば、端末側操作画面に含まれる要素に対する操作が、画面の表示内容を変更する操作である場合、端末側の処理として、画面の表示内容が変更された後の画像処理装置の操作画面を撮像するカメラが自動で起動するので、ユーザの操作を簡略化できる。
(((４)))の本発明によれば、ユーザの端末の撮像対象として、画像処理装置の操作画面が表示されると、これをトリガとして操作画面が自動で撮像されるので、ユーザの操作を簡略化できる。
(((５)))の本発明によれば、端末側操作画面に含まれる要素に対する操作が、テキスト入力するためのオブジェクトを選択する操作である場合、端末側の処理として、テキスト入力を受け付けるためのソフトウェアキーボードが自動で起動するので、ユーザの端末が本来的に備えている機能を活用しつつ、ユーザの操作を簡略化できる。
(((６)))の本発明によれば、ユーザの端末がソフトウェアキーボードを起動している場合、ユーザの端末に記憶されているテキストデータの複製および貼り付けの操作が可能となるので、ユーザの端末の内部資源（例えば、アドレス帳のデータなど）を活用できる。
(((７)))の本発明によれば、画像処理装置の操作画面のデザインおよびルールに関する情報を教師データとする機械学習の結果に基づいて、端末側操作画面を構成する１以上のオブジェクトの各々が操作画面の要素に該当するかどうかが判定され、さらに、操作画面の要素に該当する場合には、その種類が判定される。これにより、判定の精度が向上する。
(((８)))の本発明によれば、機械学習に用いられる教師データに、操作画面の要素に対して行われた操作の情報と、その操作により画像処理装置に表示された操作画面の撮像画像とを対応付けた情報が含まれるので、実際に行われた処理の結果を教師データとする機械学習が可能となる。
(((９)))の本発明によれば、端末側操作画面に含まれる要素に対して行われた操作に関する情報と、その操作によりユーザの端末に表示された端末側操作画面とが対応付けて管理される。そして、その要素に対する操作が再度行われると、その操作に関する情報に対応付けられている端末側操作画面がユーザの端末に表示される。これにより、画像処理装置の操作画面を撮像する回数が減るので、ユーザの利便性が向上する。
(((１０)))の本発明によれば、操作に関する情報に対応付けられている端末側操作画面がユーザの端末に表示される際、カメラを起動させるためのボタンが表示される。これにより、ユーザは、画像処理装置の操作画面を改めて撮像することで、操作に関する情報に対応付けられている端末側操作画面を更新できる。
(((１１)))の本発明によれば、ユーザの端末により撮像された画像処理装置の撮像画像に、その画像処理装置の操作画面が含まれている場合、その操作画面の撮像画像が端末側操作画面としてユーザの端末に表示される。そして、端末側操作画面に含まれる要素に対する操作が行われると、その操作に応じた処理が、ユーザの端末および画像処理装置の各々により行われる。これにより、画像処理装置の操作画面のイメージデータを予めユーザの端末に保持させることなく、ユーザの端末から画像処理装置を操作できる。
【符号の説明】
【0061】
１…情報処理システム、１０…ユーザ端末、１１…制御部、５０…画像処理装置、５１…制御部、９０…ネットワーク、１０１…撮像制御部、１０２…管理部、１０３…判定部、１０４…ＵＩ補正部、１０５…表示制御部、１０６…送信制御部、５０１…取得部、５０２…処理制御部
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
