(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-11-13
(45)【発行日】2023-11-21
(54)【発明の名称】情報処理装置及びプログラム
(51)【国際特許分類】
G06F 16/9032 20190101AFI20231114BHJP
G06F 16/9035 20190101ALI20231114BHJP
G06F 3/14 20060101ALI20231114BHJP
【ＦＩ】
G06F16/9032
G06F16/9035
G06F3/14 330
【請求項の数】
6
(21)【出願番号】P 2019038937
(22)【出願日】2019-03-04
(65)【公開番号】P2020144469
(43)【公開日】2020-09-10
【審査請求日】2022-02-17
(73)【特許権者】
【識別番号】000005496
【氏名又は名称】富士フイルムビジネスイノベーション株式会社
(74)【代理人】
【識別番号】100104880
【弁理士】
【氏名又は名称】古部 次郎
(74)【代理人】
【識別番号】100125346
【弁理士】
【氏名又は名称】尾形 文雄
(74)【代理人】
【識別番号】100166981
【弁理士】
【氏名又は名称】砂田 岳彦
(72)【発明者】
【氏名】三井 駿
(72)【発明者】
【氏名】角田 章
(72)【発明者】
【氏名】小林 徹哉
(72)【発明者】
【氏名】二宮 智彦
【審査官】早川 学
(56)【参考文献】
【文献】特開２０１０－１０５１７９（ＪＰ，Ａ）
【文献】特開平１１－２９６５３３（ＪＰ，Ａ）
【文献】特開２０１８－１２８８４３（ＪＰ，Ａ）
【文献】特開２０１８－１２０３７０（ＪＰ，Ａ）
【文献】特開２０１８－０１０３３６（ＪＰ，Ａ）
【文献】特開２０１１－１１３５３３（ＪＰ，Ａ）
【文献】特開２０１６－０４５８７２（ＪＰ，Ａ）
【文献】特開２０１７－０１６３３２（ＪＰ，Ａ）
【文献】特許第５５６９６３８（ＪＰ，Ｂ１）
【文献】特開２０１８－１５１８０５（ＪＰ，Ａ）
【文献】米国特許出願公開第２０１３／００７７１２９（ＵＳ，Ａ１）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｆ １６／００－１６／９５８
Ｇ０６Ｆ ３／００－ ３／１６
(57)【特許請求の範囲】
【請求項1】
操作の対象とする画像形成装置に登録されている、画像の形成に関するパラメータの組み合わせ情報を検索の対象として検索を実行する検索手段と、前記検索手段による検索結果として提示される組み合わせ情報の数を、前回の検索結果を対象とする前記検索手段による追加の検索により更に絞り込むための条件のユーザによる入力を、対話形式により支援する支援手段と
を有し、
前記支援手段は、前記検索結果としての組み合わせ情報が所定数以上の場合には、当該検索結果をユーザに提示する前に絞り込み条件の指定に誘導し、
前記支援手段は、前記絞り込み条件の候補として、パラメータが関連する概念を提示する場合、パラメータと関連する概念の関係を学習した学習済みモデルに前記検索結果に含まれるパラメータを与えて関連する概念を出力し、出力された概念を当該絞り込み条件の候補として提示する、情報処理装置。
【請求項2】
操作の対象とする画像形成装置に登録されている、画像の形成に関するパラメータの組み合わせ情報を検索の対象として検索を実行する検索手段と、前記検索手段による検索結果として提示される組み合わせ情報の数を、前回の検索結果を対象とする前記検索手段による追加の検索により更に絞り込むための条件のユーザによる入力を、対話形式により支援する支援手段と
を有し、
前記支援手段は、前記検索結果としての組み合わせ情報が所定数以上の場合には、当該検索結果をユーザに提示する前に絞り込み条件の指定に誘導し、
前記支援手段は、絞り込み後の前記検索結果の数を１つ以上かつ予め定めた個数以下にできるパラメータの候補が存在しない場合、絞り込みに用いるパラメータの入力をユーザに要求する、情報処理装置。
【請求項3】
前記支援手段は、絞り込み効果が認められないパラメータを事前に提示する、請求項２に記載の情報処理装置。
【請求項4】
請求項１又は２に記載の情報処理装置は、ユーザが頭部に装着するメガネ型の端末又は携帯型の端末である。
【請求項5】
コンピュータに、操作の対象とする画像形成装置に登録されている、画像の形成に関するパラメータの組み合わせ情報を検索の対象として検索を実行する機能と、
前記検索を実行する機能による検索結果として提示される組み合わせ情報の数を、前回の検索結果を対象とする前記検索を実行する機能による追加の検索により更に絞り込むための条件のユーザによる入力を、対話形式により支援する機能と
を実現させるためのプログラムであり、
前記支援する機能は、前記検索結果としての組み合わせ情報が所定数以上の場合には、当該検索結果をユーザに提示する前に絞り込み条件の指定に誘導し、
前記支援する機能は、前記絞り込み条件の候補としてパラメータが関連する概念を提示する場合、パラメータと関連する概念の関係を学習した学習済みモデルに前記検索結果に含まれるパラメータを与えて関連する概念を出力し、出力された概念を当該絞り込み条件の候補として提示する、プログラム。
【請求項6】
コンピュータに、操作の対象とする画像形成装置に登録されている、画像の形成に関するパラメータの組み合わせ情報を検索の対象として検索を実行する機能と、
前記検索を実行する機能による検索結果として提示される組み合わせ情報の数を前回の検索結果を対象とする前記検索を実行する機能による追加の検索により更に絞り込むための条件のユーザによる入力を、対話形式により支援する機能と
を実現させるためのプログラムであり、
前記支援する機能は、前記検索結果としての組み合わせ情報が所定数以上の場合には、当該検索結果をユーザに提示する前に絞り込み条件の指定に誘導し、
前記支援する機能は、絞り込み後の検索結果の数を１つ以上かつ予め定めた個数以下にできるパラメータの候補が存在しない場合、絞り込みに用いるパラメータの入力をユーザに要求する、プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、情報処理装置及びプログラムに関する。
【背景技術】
【0002】
例えば画像形成装置には、ユーザを支援する機能として、繰り返し用いる操作やパラメータの値をジョブメモリとして登録する機能が用意されている。ジョブメモリとして登録された設定は、ボタンひとつで呼び出すことができる。また、ジョブメモリには、一連の操作の過程で表示される画面の階層なども記憶することができる。
【先行技術文献】
【特許文献】
【0003】
【文献】特開２０１８－４６４１６号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
ジョブメモリの実行には、表示部から実行したいジョブメモリを選択する必要があるが、多くのジョブメモリが登録されている場合、その名称だけからは、希望するジョブメモリを見つけることが難しい。また、ジョブメモリを構成するパラメータの幾つかを指定して類似度の高いジョブメモリを検索する手法でも、類似度の高いジョブメモリが多数見つかる場合には、希望するジョブメモリを見つけるまでに多くの時間を必要とする。
【0005】
本発明は、パラメータの組み合わせが指定される度に検索結果の全てをユーザに提示するだけの場合に比して、希望するパラメータの組み合わせを容易に見つけられるようにすることを目的とする。
【課題を解決するための手段】
【0006】
請求項１に記載の発明は、操作の対象とする画像形成装置に登録されている、画像の形成に関するパラメータの組み合わせ情報を検索の対象として検索を実行する検索手段と、前記検索手段による検索結果として提示される組み合わせ情報の数を、前回の検索結果を対象とする前記検索手段による追加の検索により更に絞り込むための条件のユーザによる入力を、対話形式により支援する支援手段とを有し、前記支援手段は、前記検索結果としての組み合わせ情報が所定数以上の場合には、当該検索結果をユーザに提示する前に絞り込み条件の指定に誘導し、前記支援手段は、前記絞り込み条件の候補として、パラメータが関連する概念を提示する場合、パラメータと関連する概念の関係を学習した学習済みモデルに前記検索結果に含まれるパラメータを与えて関連する概念を出力し、出力された概念を当該絞り込み条件の候補として提示する、情報処理装置である。
請求項２に記載の発明は、操作の対象とする画像形成装置に登録されている、画像の形成に関するパラメータの組み合わせ情報を検索の対象として検索を実行する検索手段と、前記検索手段による検索結果として提示される組み合わせ情報の数を、前回の検索結果を対象とする前記検索手段による追加の検索により更に絞り込むための条件のユーザによる入力を、対話形式により支援する支援手段とを有し、前記支援手段は、前記検索結果としての組み合わせ情報が所定数以上の場合には、当該検索結果をユーザに提示する前に絞り込み条件の指定に誘導し、前記支援手段は、絞り込み後の前記検索結果の数を１つ以上かつ予め定めた個数以下にできるパラメータの候補が存在しない場合、絞り込みに用いるパラメータの入力をユーザに要求する、情報処理装置である。
請求項３に記載の発明は、前記支援手段は、絞り込み効果が認められないパラメータを事前に提示する、請求項２に記載の情報処理装置である。
請求項４に記載の発明は、請求項１又は２に記載の情報処理装置は、ユーザが頭部に装着するメガネ型の端末又は携帯型の端末であるである。
請求項５に記載の発明は、コンピュータに、操作の対象とする画像形成装置に登録されている、画像の形成に関するパラメータの組み合わせ情報を検索の対象として検索を実行する機能と、前記検索を実行する機能による検索結果として提示される組み合わせ情報の数を、前回の検索結果を対象とする前記検索を実行する機能による追加の検索により更に絞り込むための条件のユーザによる入力を、対話形式により支援する機能とを実現させるためのプログラムであり、前記支援する機能は、前記検索結果としての組み合わせ情報が所定数以上の場合には、当該検索結果をユーザに提示する前に絞り込み条件の指定に誘導し、前記支援する機能は、前記絞り込み条件の候補としてパラメータが関連する概念を提示する場合、パラメータと関連する概念の関係を学習した学習済みモデルに前記検索結果に含まれるパラメータを与えて関連する概念を出力し、出力された概念を当該絞り込み条件の候補として提示する、プログラムである。
請求項６に記載の発明は、コンピュータに、操作の対象とする画像形成装置に登録されている、画像の形成に関するパラメータの組み合わせ情報を検索の対象として検索を実行する機能と、前記検索を実行する機能による検索結果として提示される組み合わせ情報の数を前回の検索結果を対象とする前記検索を実行する機能による追加の検索により更に絞り込むための条件のユーザによる入力を、対話形式により支援する機能とを実現させるためのプログラムであり、前記支援する機能は、前記検索結果としての組み合わせ情報が所定数以上の場合には、当該検索結果をユーザに提示する前に絞り込み条件の指定に誘導し、前記支援する機能は、絞り込み後の検索結果の数を１つ以上かつ予め定めた個数以下にできるパラメータの候補が存在しない場合、絞り込みに用いるパラメータの入力をユーザに要求する、プログラムである。
請求項２に記載の発明は、操作の対象とする画像形成装置に登録されている、画像の形成に関するパラメータの組み合わせ情報を検索の対象として検索を実行する検索手段と、前記検索手段による検索結果として提示される組み合わせ情報の数を、前回の検索結果を対象とする前記検索手段による追加の検索により更に絞り込むための条件のユーザによる入力を、対話形式により支援する支援手段とを有し、前記支援手段は、前記検索結果としての組み合わせ情報が所定数以上の場合には、当該検索結果をユーザに提示する前に絞り込み条件の指定に誘導し、前記支援手段は、絞り込み後の前記検索結果の数を１つ以上かつ予め定めた個数以下にできるパラメータの候補が存在しない場合、絞り込みに用いるパラメータの入力をユーザに要求する、情報処理装置である。
請求項３に記載の発明は、前記支援手段は、絞り込み効果が認められないパラメータを事前に提示する、請求項２に記載の情報処理装置である。
請求項４に記載の発明は、請求項１又は２に記載の情報処理装置は、ユーザが頭部に装着するメガネ型の端末又は携帯型の端末であるである。
請求項５に記載の発明は、コンピュータに、操作の対象とする画像形成装置に登録されている、画像の形成に関するパラメータの組み合わせ情報を検索の対象として検索を実行する機能と、前記検索を実行する機能による検索結果として提示される組み合わせ情報の数を、前回の検索結果を対象とする前記検索を実行する機能による追加の検索により更に絞り込むための条件のユーザによる入力を、対話形式により支援する機能とを実現させるためのプログラムであり、前記支援する機能は、前記検索結果としての組み合わせ情報が所定数以上の場合には、当該検索結果をユーザに提示する前に絞り込み条件の指定に誘導し、前記支援する機能は、前記絞り込み条件の候補としてパラメータが関連する概念を提示する場合、パラメータと関連する概念の関係を学習した学習済みモデルに前記検索結果に含まれるパラメータを与えて関連する概念を出力し、出力された概念を当該絞り込み条件の候補として提示する、プログラムである。
請求項６に記載の発明は、コンピュータに、操作の対象とする画像形成装置に登録されている、画像の形成に関するパラメータの組み合わせ情報を検索の対象として検索を実行する機能と、前記検索を実行する機能による検索結果として提示される組み合わせ情報の数を前回の検索結果を対象とする前記検索を実行する機能による追加の検索により更に絞り込むための条件のユーザによる入力を、対話形式により支援する機能とを実現させるためのプログラムであり、前記支援する機能は、前記検索結果としての組み合わせ情報が所定数以上の場合には、当該検索結果をユーザに提示する前に絞り込み条件の指定に誘導し、前記支援する機能は、絞り込み後の検索結果の数を１つ以上かつ予め定めた個数以下にできるパラメータの候補が存在しない場合、絞り込みに用いるパラメータの入力をユーザに要求する、プログラムである。
【発明の効果】
【0007】
請求項１記載の発明によれば、絞り込みに用いる条件を概念的に提示できる。
請求項２記載の発明によれば、絞り込みの必要性をユーザに知らせることができる。
請求項３記載の発明によれば、候補の絞り込みを効率的に進められる。
請求項４記載の発明によれば、実機を見ながらの操作を効率化できる。
請求項５記載の発明によれば、絞り込みに用いる条件を概念的に提示できる。
請求項６記載の発明によれば、絞り込みの必要性をユーザに知らせることができる。
請求項２記載の発明によれば、絞り込みの必要性をユーザに知らせることができる。
請求項３記載の発明によれば、候補の絞り込みを効率的に進められる。
請求項４記載の発明によれば、実機を見ながらの操作を効率化できる。
請求項５記載の発明によれば、絞り込みに用いる条件を概念的に提示できる。
請求項６記載の発明によれば、絞り込みの必要性をユーザに知らせることができる。
【図面の簡単な説明】
【0008】
【図1】実施の形態１で想定するシステム構成の一例を説明する図である。
【図2】実施の形態１で使用する画像形成装置の構成例を説明する図である。
【図3】実施の形態１で使用する制御ユニットの機能構成を説明する図である。
【図4】実施の形態で使用する端末装置の構成例を示す図である。
【図5】端末装置の制御ユニットにより実現される機能構成を説明する図である。
【図6】画像形成装置と端末装置との間で進行するデータの流れを説明する図である。
【図7】ジョブメモリ検索モジュール及び絞り込み支援モジュールの連携により実行される絞り込みロジックの例を説明する図である。
【図8】白黒かカラーを指定することで検索結果の数を３個以下に絞り込める例を説明する図である。
【図9】用紙サイズを指定することで検索結果の数を３個以下に絞り込める例を説明する図である。
【図10】検索結果の数が1個であった場合の操作画面の例を説明する図である。
【図11】検索結果の数が３個であった場合の操作画面の例を説明する図である。
【図12】端末装置が横向きに保持されている場合に可能な表示画面の例を説明する図である。
【図13】検索結果の数が４個以上であるが３個以下への絞り込みが可能な場合の操作画面の例を説明する図である。
【図14】検索結果の数が４個以上であるが３個以下への絞り込みが可能な場合の操作画面の他の例を説明する図である。
【図15】検索結果の数が４個以上であるが使用頻度による３個以下への絞り込みが可能な場合の操作画面の他の例を説明する図である。
【図16】検索結果の数が４個以上である場合に検索結果の数を３個以下に絞り込めない場合の操作画面の他の例を説明する図である。
【図18】画像形成装置におけるジョブメモリの登録数が０の場合の操作画面の例を説明する図である。
【図19】実施の形態２で想定するシステム構成の一例を説明する図である。
【図21】ユーザの指示に対してアプリケーション側から提示される仮想の画像の例を説明する図である。
【図22】検索結果の数が９個以上の場合における絞り込みの提案がアプリケーション側から提示される例を説明する図である。
【図23】特定のジョブメモリの実行をジェスチャーにより指示する例を説明する図である。
【図24】ジョブメモリの詳細を確認したい場合のユーザのジェスチャーを説明する図である。
【図25】ジョブメモリの詳細内容の提示の例を説明する図である。
【発明を実施するための形態】
【0009】
以下、図面を参照して、本発明の実施の形態を説明する。
＜実施の形態１＞
＜システム構成＞
図１は、実施の形態１で想定するシステム構成の一例を説明する図である。実施の形態１で想定するシステムは、用紙などの媒体に画像を形成する画像形成装置１０と、画像形成装置１０を操作するユーザが携帯する端末装置２０とで構成される。
本実施の形態の場合、ユーザは、端末装置２０を操作の対象とする。換言すると、ユーザは、画像形成装置１０を直接には操作しない。ユーザは、端末装置２０を操作し、画像形成装置１０にジョブメモリの呼び出しと実行を指示する。
＜実施の形態１＞
＜システム構成＞
図１は、実施の形態１で想定するシステム構成の一例を説明する図である。実施の形態１で想定するシステムは、用紙などの媒体に画像を形成する画像形成装置１０と、画像形成装置１０を操作するユーザが携帯する端末装置２０とで構成される。
本実施の形態の場合、ユーザは、端末装置２０を操作の対象とする。換言すると、ユーザは、画像形成装置１０を直接には操作しない。ユーザは、端末装置２０を操作し、画像形成装置１０にジョブメモリの呼び出しと実行を指示する。
【0010】
ジョブメモリは、いわゆるコピー、スキャン、ファックス等のジョブに関するパラメータの設定の記録である。ジョブメモリは、ジョブメモリ名で区別される。使用の頻度が高いパラメータの設定の組み合わせをジョブメモリとして記録することで、使用の頻度が高いパラメータの設定をワンタッチで呼び出すことが可能となり、結果として設定の作業が簡略化される。なお、ジョブメモリは、画像の形成に関するパラメータの組み合わせ情報の一例である。
１つのジョブメモリには、ジョブメモリ名、機能名、パラメータが含まれる。機能名は、ジョブメモリが関連する機能の名称であり、例えばコピー、スキャン、ファックスである。パラメータは、ユーザが設定する項目である。コピーに関するパラメータには、例えばカラーモード、用紙サイズがある。なお、ジョブメモリを管理する情報には、例えば使用回数、使用回数から計算される使用頻度がある。
本実施の形態における端末装置２０には、ユーザによるジョブメモリの特定を支援する機能が用意されている。ここでの端末装置２０は、情報処理装置の一例である。
１つのジョブメモリには、ジョブメモリ名、機能名、パラメータが含まれる。機能名は、ジョブメモリが関連する機能の名称であり、例えばコピー、スキャン、ファックスである。パラメータは、ユーザが設定する項目である。コピーに関するパラメータには、例えばカラーモード、用紙サイズがある。なお、ジョブメモリを管理する情報には、例えば使用回数、使用回数から計算される使用頻度がある。
本実施の形態における端末装置２０には、ユーザによるジョブメモリの特定を支援する機能が用意されている。ここでの端末装置２０は、情報処理装置の一例である。
【0011】
図１に示す画像形成装置１０と端末装置２０は、近距離無線通信により接続されている。近距離無線通信には、例えばブルートゥース（登録商標）、無線ＬＡＮ（＝Local Area Networkの略）を使用する。
本実施の形態における端末装置２０は、携帯型の端末である。携帯型の端末には、例えばスマートフォン、ウェアラブル端末、ノート型のコンピュータが含まれる。図１では、端末装置２０がスマートフォンの例を表している。
本実施の形態における端末装置２０は、携帯型の端末である。携帯型の端末には、例えばスマートフォン、ウェアラブル端末、ノート型のコンピュータが含まれる。図１では、端末装置２０がスマートフォンの例を表している。
【0012】
＜各装置の構成＞
以下では、画像形成装置１０と端末装置２０の装置構成を個別に説明する。
以下では、画像形成装置１０と端末装置２０の装置構成を個別に説明する。
【0013】
＜画像形成装置の構成＞
図２は、実施の形態１で使用する画像形成装置１０の構成例を説明する図である。
画像形成装置１０は、原稿の画像を読み取る画像読取ユニット１０１と、用紙などの媒体に画像を形成する画像形成ユニット１０２と、画像データが表す画像に色補正や階調補正等の処理を加える画像処理ユニット１０３と、装置全体の動作を制御する制御ユニット１０４と、画像データ等を記憶する記憶ユニット１０５と、ユーザインタフェース画面等の表示に用いられる表示ユニット１０６と、ユーザの操作を受け付ける操作受付ユニット１０７と、近距離無線通信その他の通信を実現する通信インタフェース（＝通信ＩＦ）１０８を有している。
図２は、実施の形態１で使用する画像形成装置１０の構成例を説明する図である。
画像形成装置１０は、原稿の画像を読み取る画像読取ユニット１０１と、用紙などの媒体に画像を形成する画像形成ユニット１０２と、画像データが表す画像に色補正や階調補正等の処理を加える画像処理ユニット１０３と、装置全体の動作を制御する制御ユニット１０４と、画像データ等を記憶する記憶ユニット１０５と、ユーザインタフェース画面等の表示に用いられる表示ユニット１０６と、ユーザの操作を受け付ける操作受付ユニット１０７と、近距離無線通信その他の通信を実現する通信インタフェース（＝通信ＩＦ）１０８を有している。
【0014】
画像読取ユニット１０１は、いわゆるスキャナであり、原稿を自動搬送する機構を有していてもよい。
画像形成ユニット１０２は、電子写真方式やインクジェット方式等により媒体に画像を形成するユニットであり、画像の形成方式に応じた機構を有している。
画像処理ユニット１０３は、画像データを処理するための専用のプロセサや処理回路等で構成されている。
制御ユニット１０４は、ＣＰＵ（＝Central Processing Unit）１１１と、ファームウェアやＢＩＯＳ（＝Basic Input Output System）等が記憶されたＲＯＭ（＝Read Only Memory）１１２と、ワークエリアとして用いられるＲＡＭ（＝Random Access Memory）１１３とを有している。制御ユニット１０４は、いわゆるコンピュータとして機能する。なお、ＲＯＭ１１２は、不揮発性の書き換え可能な半導体メモリでもよい。
画像形成ユニット１０２は、電子写真方式やインクジェット方式等により媒体に画像を形成するユニットであり、画像の形成方式に応じた機構を有している。
画像処理ユニット１０３は、画像データを処理するための専用のプロセサや処理回路等で構成されている。
制御ユニット１０４は、ＣＰＵ（＝Central Processing Unit）１１１と、ファームウェアやＢＩＯＳ（＝Basic Input Output System）等が記憶されたＲＯＭ（＝Read Only Memory）１１２と、ワークエリアとして用いられるＲＡＭ（＝Random Access Memory）１１３とを有している。制御ユニット１０４は、いわゆるコンピュータとして機能する。なお、ＲＯＭ１１２は、不揮発性の書き換え可能な半導体メモリでもよい。
【0015】
また、記憶ユニット１０５は、不揮発性の記憶装置であるハードディスク装置（＝ＨＤＤ）等によって構成される。記憶ユニット１０５には、画像読取ユニット１０１で読み取られた画像データ、通信により外部から与えられる画像データ、ＦＡＸ通信を通じて受信された画像データ等が保存される。
また、表示ユニット１０６は、例えば液晶ディスプレイや有機ＥＬ（＝Electro Luminescence）ディスプレイで構成される。
操作受付ユニット１０７は、表示ユニット１０６の表面に配置されるタッチセンサ、スイッチ、ボタン等で構成される。
因みに、制御ユニット１０４と各ユニット等とは、バス１０９や不図示の信号線を通じて接続されている。
また、表示ユニット１０６は、例えば液晶ディスプレイや有機ＥＬ（＝Electro Luminescence）ディスプレイで構成される。
操作受付ユニット１０７は、表示ユニット１０６の表面に配置されるタッチセンサ、スイッチ、ボタン等で構成される。
因みに、制御ユニット１０４と各ユニット等とは、バス１０９や不図示の信号線を通じて接続されている。
【0016】
図３は、実施の形態１で使用する制御ユニット１０４の機能構成を説明する図である。図３に示す機能モジュールは、ＣＰＵ１１１（図２参照）によるプログラムの実行を通じて実現される。なお、図３に示す機能モジュールは、制御ユニット１０４によって提供される機能モジュールの一例である。
本実施の形態における制御ユニット１０４は、装置内のジョブメモリを管理するジョブメモリ管理モジュール１２１と、ユーザを認証する認証モジュール１２２としての機能を有している。
本実施の形態における制御ユニット１０４は、装置内のジョブメモリを管理するジョブメモリ管理モジュール１２１と、ユーザを認証する認証モジュール１２２としての機能を有している。
【0017】
ジョブメモリ管理モジュール１２１は、ジョブメモリの使用回数も管理する。本実施の形態の場合、使用回数は、ジョブメモリ別の使用回数、任意のジョブメモリの総使用回数、ユーザ別又は端末装置２０別に集計されたジョブメモリ別の使用回数、ユーザ別又は端末装置２０別に集計された任意のジョブメモリの総使用回数である。
任意のジョブメモリの総使用回数は、画像形成装置１０で集計された使用回数の総和を意味する。例えばユーザＡによる任意のジョブメモリの使用回数が１０回、ユーザＢによる任意のジョブメモリの使用回数が２０回であれば、総使用回数は３０回である。
また、ユーザ別又は端末装置２０別に集計された任意のジョブメモリの使用回数は、ユーザ別又は端末装置２０別に集計された使用回数の総和を意味する。例えばユーザＡによる任意のジョブメモリの使用が１０回、ユーザＢによる任意のジョブメモリの使用が２０回であれば、ユーザＡの総使用回数は１０回であり、ユーザＢの総使用回数は２０回である。
任意のジョブメモリの総使用回数は、画像形成装置１０で集計された使用回数の総和を意味する。例えばユーザＡによる任意のジョブメモリの使用回数が１０回、ユーザＢによる任意のジョブメモリの使用回数が２０回であれば、総使用回数は３０回である。
また、ユーザ別又は端末装置２０別に集計された任意のジョブメモリの使用回数は、ユーザ別又は端末装置２０別に集計された使用回数の総和を意味する。例えばユーザＡによる任意のジョブメモリの使用が１０回、ユーザＢによる任意のジョブメモリの使用が２０回であれば、ユーザＡの総使用回数は１０回であり、ユーザＢの総使用回数は２０回である。
【0018】
本実施の形態におけるジョブメモリ管理モジュール１２１は、ユーザ認証により権限が認められたユーザが操作する端末装置２０（図１参照）からジョブメモリが要求された場合、ジョブメモリに関する全ての情報を端末装置２０に送信する。ここでの情報には、前述した使用回数も含まれる。また、本実施の形態の場合、ジョブメモリ管理モジュール１２１は、画像形成装置１０に記憶されている全てのジョブメモリを端末装置２０に送信する。
認証モジュール１２２は、端末装置２０からユーザに関する情報を取得し、権限の有無を認証する。本実施の形態では、認証モジュール１２２を制御ユニット１０４の一部として実行しているが、ユーザ認証については、不図示の認証サーバで実行し、認証の結果を受け取ってもよい。
認証モジュール１２２は、端末装置２０からユーザに関する情報を取得し、権限の有無を認証する。本実施の形態では、認証モジュール１２２を制御ユニット１０４の一部として実行しているが、ユーザ認証については、不図示の認証サーバで実行し、認証の結果を受け取ってもよい。
【0019】
＜端末装置の構成＞
図４は、実施の形態で使用する端末装置２０の構成例を示す図である。
図４に示す端末装置２０は、装置全体の動作を制御する制御ユニット２０１と、画像データ等を記憶する記憶ユニット２０２と、ユーザインタフェース画面等の表示に用いられる表示ユニット２０３と、ユーザの操作を受け付ける操作受付ユニット２０４と、画像を撮像するカメラ２０５と、ユーザの音声を電気信号に変換するマイク２０６と、通信インタフェース（＝通信ＩＦ）２０７とを有している。
図４は、実施の形態で使用する端末装置２０の構成例を示す図である。
図４に示す端末装置２０は、装置全体の動作を制御する制御ユニット２０１と、画像データ等を記憶する記憶ユニット２０２と、ユーザインタフェース画面等の表示に用いられる表示ユニット２０３と、ユーザの操作を受け付ける操作受付ユニット２０４と、画像を撮像するカメラ２０５と、ユーザの音声を電気信号に変換するマイク２０６と、通信インタフェース（＝通信ＩＦ）２０７とを有している。
【0020】
ここでのカメラ２０５は、静止画像又は動画像による撮像が可能である。
本実施の形態における制御ユニット２０１は、ＣＰＵ２１１と、ファームウェアやＢＩＯＳ等が記憶されたＲＯＭ２１２と、ワークエリアとして用いられるＲＡＭ２１３とを有している。制御ユニット２０１は、いわゆるコンピュータとして機能する。なお、ＲＯＭ２１２は、不揮発性の書き換え可能な半導体メモリでもよい。
記憶ユニット２０２は、不揮発性の書き換え可能な半導体メモリ等によって構成される。記憶ユニット２０２には、例えばカメラ２０５で撮像された画像データ、マイク２０６で収録された音声データ等が保存される。
本実施の形態における制御ユニット２０１は、ＣＰＵ２１１と、ファームウェアやＢＩＯＳ等が記憶されたＲＯＭ２１２と、ワークエリアとして用いられるＲＡＭ２１３とを有している。制御ユニット２０１は、いわゆるコンピュータとして機能する。なお、ＲＯＭ２１２は、不揮発性の書き換え可能な半導体メモリでもよい。
記憶ユニット２０２は、不揮発性の書き換え可能な半導体メモリ等によって構成される。記憶ユニット２０２には、例えばカメラ２０５で撮像された画像データ、マイク２０６で収録された音声データ等が保存される。
【0021】
表示ユニット２０３は、例えば液晶ディスプレイや有機ＥＬディスプレイで構成される。表示ユニット２０３には、ユーザによる操作を支援する情報が表示される。
操作受付ユニット２０４は、表示ユニット２０３の表面に配置されるタッチセンサ、スイッチ、ボタン等で構成される。
因みに、制御ユニット２０１と各ユニット等とは、バス２０８や不図示の信号線を通じて接続されている。
操作受付ユニット２０４は、表示ユニット２０３の表面に配置されるタッチセンサ、スイッチ、ボタン等で構成される。
因みに、制御ユニット２０１と各ユニット等とは、バス２０８や不図示の信号線を通じて接続されている。
【0022】
図５は、端末装置２０の制御ユニット２０１により実現される機能構成を説明する図である。図５に示す機能モジュールは、ＣＰＵ２１１（図４参照）によるプログラムの実行を通じて実現される。なお、図５に示す機能モジュールは、制御ユニット２０１によって提供される機能モジュールの一例である。
実施の形態における制御ユニット２０１は、ユーザの音声を認識する音声認識モジュール２２１と、操作の対象である画像形成装置１０（図１参照）からジョブメモリを取得するジョブメモリ取得モジュール２２２と、ユーザの発話した内容に基づいてジョブメモリを検索するジョブメモリ検索モジュール２２３と、検索されたジョブメモリの候補について使用頻度を計算する使用頻度計算モジュール２２４と、検索されたジョブメモリの候補の数の絞り込みを支援する絞り込み支援モジュール２２５と、ユーザが選択したジョブメモリの呼び出しを画像形成装置１０に指示するジョブメモリ指示モジュール２２６として機能する。
実施の形態における制御ユニット２０１は、ユーザの音声を認識する音声認識モジュール２２１と、操作の対象である画像形成装置１０（図１参照）からジョブメモリを取得するジョブメモリ取得モジュール２２２と、ユーザの発話した内容に基づいてジョブメモリを検索するジョブメモリ検索モジュール２２３と、検索されたジョブメモリの候補について使用頻度を計算する使用頻度計算モジュール２２４と、検索されたジョブメモリの候補の数の絞り込みを支援する絞り込み支援モジュール２２５と、ユーザが選択したジョブメモリの呼び出しを画像形成装置１０に指示するジョブメモリ指示モジュール２２６として機能する。
【0023】
音声認識モジュール２２１は、ユーザの音声を文字列に変換する機能を分担する。音声認識モジュール２２１は、例えば音声の特徴を抽出する特徴抽出ユニットと、メル周波数ケプストラム係数（＝Mel-Frequency Cepstrum Coefficients）等の特徴量から文字列を生成する認識エンジンとで構成される。音声認識の技術は既に実用化されているので、詳細な説明は省略する。
本実施の形態では、音声認識モジュール２２１により音声認識の処理を完結しているが、クラウドサービス等を活用して音声認識の結果を取得してもよい。
なお、ユーザは、音声認識モジュール２２１を使用しない入力を選択することも可能である。
本実施の形態では、音声認識モジュール２２１により音声認識の処理を完結しているが、クラウドサービス等を活用して音声認識の結果を取得してもよい。
なお、ユーザは、音声認識モジュール２２１を使用しない入力を選択することも可能である。
【0024】
ジョブメモリ取得モジュール２２２は、操作の対象である画像形成装置１０からジョブメモリに関する情報の全てを取得する。取得されるジョブメモリの数は、画像形成装置１０に記憶されているジョブメモリの数に依存する。なお、ジョブメモリ取得モジュール２２２は、ジョブメモリの取得に先立って、端末装置２０（図１参照）を操作するユーザの情報（以下「ユーザ情報」という）を画像形成装置１０に与える。ジョブメモリの取得は、画像形成装置１０による認証が成功し、権限が認められた場合に実行される。
【0025】
ジョブメモリ検索モジュール２２３は、画像形成装置１０から取得されたジョブメモリを検索の対象とし、ユーザの発話に含まれる言葉を検索キーに用い、ユーザが希望しているジョブメモリの候補を検索する。ジョブメモリ検索モジュール２２３は、発話に含まれるジョブメモリ名、機能名、パラメータ等を検索キーに使用する。例えばユーザが「コピーをお願い」と発話した場合、ジョブメモリ検索モジュール２２３は、機能名である「コピー」に関連するジョブメモリを検索キーに用いてジョブメモリを検索する。ジョブメモリ検索モジュール２２３は、検索手段の一例である。
本実施の形態におけるジョブメモリ検索モジュール２２３は、概念又は属性（以下では「概念」という）による条件の入力にも対応している。例えばユーザが「まとめてコピーしたい」と発話した場合、ジョブメモリ検索モジュール２２３は、「まとめてコピー」に関連するパラメータを含むジョブメモリを検索する。
本実施の形態におけるジョブメモリ検索モジュール２２３は、概念又は属性（以下では「概念」という）による条件の入力にも対応している。例えばユーザが「まとめてコピーしたい」と発話した場合、ジョブメモリ検索モジュール２２３は、「まとめてコピー」に関連するパラメータを含むジョブメモリを検索する。
【0026】
また、本実施の形態におけるジョブメモリ検索モジュール２２３は、発話に含まれるパラメータや検索対象とするジョブメモリのパラメータを概念に変換した後に検索する機能も備えていてもよい。例えば複数枚の原稿の縮尺を変更して１枚の用紙にコピーする機能は、画像形成装置１０のメーカによって呼び名が異なっている。このため、ユーザの発話した呼び名が操作の対象である画像形成装置１０のパラメータでは用いられていないことも起こり得る。ただし、呼び名を関連する概念に変換する機能があれば、ジョブメモリ検索モジュール２２３は、ユーザの希望に近いジョブメモリの検索が可能である。ここでの「関連する概念」には、例えば呼び名が属する上位の区分、同じ機能を意味する別の呼び名がある。呼び名と概念の関係は、テーブルとして事前に与えられてもよいし、後述する学習済みモデルの出力として与えられてもよいし、その両方でもよい。
【0027】
ジョブメモリ検索モジュール２２３は、発話に含まれる呼び名を、操作の対象である画像形成装置１０で使用される呼び名に変換するテーブルを有していてよい。この場合、ジョブメモリ検索モジュール２２３は、ユーザの発話を画像形成装置１０で用いられる呼び名に変換した後に、ジョブメモリを検索することが可能である。
本実施の形態の場合、ジョブメモリ名、機能名、パラメータと概念との関係を学習した学習済みモデルが利用される。学習済みモデルは、例えばニューラルネットワークで構成される。後述する絞り込み支援モジュール２２５による絞り込み条件の候補の提示にも利用される。
本実施の形態の場合、ジョブメモリ名、機能名、パラメータと概念との関係を学習した学習済みモデルが利用される。学習済みモデルは、例えばニューラルネットワークで構成される。後述する絞り込み支援モジュール２２５による絞り込み条件の候補の提示にも利用される。
【0028】
学習済みモデルには、ジョブメモリ名、機能名、パラメータを入力すると、関連する概念を出力する分類器と、概念を入力すると、操作の対象である画像形成装置１０で使用するジョブメモリ名、機能名、パラメータを出力する分類器がある。
例えば前者の分類器は、パラメータとしてのＡ５やＢ４が入力されると、関連する概念として用紙サイズを出力する。また例えば前者の分類器は、パラメータとして２アップ、４アップ、８アップ等が入力されると、関連する概念として「まとめてコピー」や「まとめて印刷」を出力する。後者の分類器では、前述の入力と出力の関係が入れ替わる。
例えば前者の分類器は、パラメータとしてのＡ５やＢ４が入力されると、関連する概念として用紙サイズを出力する。また例えば前者の分類器は、パラメータとして２アップ、４アップ、８アップ等が入力されると、関連する概念として「まとめてコピー」や「まとめて印刷」を出力する。後者の分類器では、前述の入力と出力の関係が入れ替わる。
【0029】
使用頻度計算モジュール２２４は、画像形成装置１０から取得される使用回数の情報に基づいて、ジョブメモリｘの使用頻度Ｐ（ｘ）を計算する。なお、本実施の形態における使用頻度計算モジュール２２４は、検索結果の数が予め定めた閾値より多い場合に、使用頻度Ｐ（ｘ）を計算する。もっとも、使用頻度Ｐ（ｘ）の計算は無条件に計算されてもよい。また、使用頻度Ｐ（ｘ）は、画像形成装置１０から与えられてもよい。
対象とするジョブメモリｘの使用頻度Ｐ（ｘ）は、ｐ１（ｘ）＊α＋ｐ２（ｘ）＊βとして計算される。
ここで、ｐ１（ｘ）は、端末装置２０（図１参照）におけるジョブメモリｘの使用頻度であり、ｐ２（ｘ）は、画像形成装置１０（図１参照）におけるジョブメモリｘの使用頻度である。
なお、ｐ１（ｘ）は、ｎ／ｍで計算される。
ここで、ｎは端末装置２０におけるジョブメモリｘの使用回数であり、ｍは端末装置２０における全てのジョブメモリの総使用回数である。
一方、ｐ２（ｘ）は、Ｎ／Ｍで計算される。
ここで、Ｎは画像形成装置１０におけるジョブメモリｘの使用回数であり、Ｍは画像形成装置１０における全てのジョブメモリの総使用回数である。
対象とするジョブメモリｘの使用頻度Ｐ（ｘ）は、ｐ１（ｘ）＊α＋ｐ２（ｘ）＊βとして計算される。
ここで、ｐ１（ｘ）は、端末装置２０（図１参照）におけるジョブメモリｘの使用頻度であり、ｐ２（ｘ）は、画像形成装置１０（図１参照）におけるジョブメモリｘの使用頻度である。
なお、ｐ１（ｘ）は、ｎ／ｍで計算される。
ここで、ｎは端末装置２０におけるジョブメモリｘの使用回数であり、ｍは端末装置２０における全てのジョブメモリの総使用回数である。
一方、ｐ２（ｘ）は、Ｎ／Ｍで計算される。
ここで、Ｎは画像形成装置１０におけるジョブメモリｘの使用回数であり、Ｍは画像形成装置１０における全てのジョブメモリの総使用回数である。
【0030】
因みに、係数α及びβは、α＋β＝１を満たす正の実数である。本実施の形態の場合、αとβの初期値はいずれも０．５である。
係数α及びβは、ユーザによる調整も可能である。例えばユーザ固有の使用頻度Ｐ（ｘ）を計算したい場合には、αを１．０とし、βを０とすればよい。調整は、操作画面上で行うことも可能であるが、音声で行うことも可能である。例えばユーザが「いつもの」と発話していた場合、α＝１．０、β＝０が計算に使用される。このように、画像形成装置１０を使用する任意のユーザ全体の使用頻度だけでなく、特定個人の使用頻度の情報を参照することも可能であるので、ユーザにとっての使い勝手の向上が期待される。
係数α及びβは、ユーザによる調整も可能である。例えばユーザ固有の使用頻度Ｐ（ｘ）を計算したい場合には、αを１．０とし、βを０とすればよい。調整は、操作画面上で行うことも可能であるが、音声で行うことも可能である。例えばユーザが「いつもの」と発話していた場合、α＝１．０、β＝０が計算に使用される。このように、画像形成装置１０を使用する任意のユーザ全体の使用頻度だけでなく、特定個人の使用頻度の情報を参照することも可能であるので、ユーザにとっての使い勝手の向上が期待される。
【0031】
なお、係数α及びβは、使用頻度計算モジュール２２４が自動的に計算してもよい。例えば端末装置２０における全てのジョブメモリの総使用回数と画像形成装置１０における全てのジョブメモリの総使用回数の比によって係数α及びβの値を計算してもよい。例えば端末装置２０における全てのジョブメモリの総使用回数ｍが２０回であり、画像形成装置１０における全てのジョブメモリの総使用回数Ｍが１００回である場合、α＝０．２、β＝０．８と計算される。
【0032】
絞り込み支援モジュール２２５は、ジョブメモリ検索モジュール２２３による検索結果の数が２個以上の場合に実行され、検索結果の数の絞り込みを支援する。絞り込み支援モジュール２２５は、支援手段の一例である。
本実施の形態の場合、絞り込み支援モジュール２２５は、絞り込みの支援に使用するストーリーを２つ有している。「ストーリー１」と「ストーリー２」の２つである。
「ストーリー１」は、検索結果による候補の数が７つ未満の場合である。すなわち、検索結果による候補の数が最大でも６個の場合である。
この場合、絞り込み支援モジュール２２５は、検索結果に含まれるジョブメモリのパラメータを解析し、候補を３個以下に絞り込むことが可能な追加のパラメータの候補をユーザに提示する。追加のパラメータの候補が複数ある場合、絞り込み支援モジュール２２５は、追加のパラメータの候補を予め定めた優先順位に従って１個ずつ提示する。例えば絞り込み後の数が少ない候補を絞り込み後の数が多い候補よりも優先する。
本実施の形態の場合、絞り込み支援モジュール２２５は、絞り込みの支援に使用するストーリーを２つ有している。「ストーリー１」と「ストーリー２」の２つである。
「ストーリー１」は、検索結果による候補の数が７つ未満の場合である。すなわち、検索結果による候補の数が最大でも６個の場合である。
この場合、絞り込み支援モジュール２２５は、検索結果に含まれるジョブメモリのパラメータを解析し、候補を３個以下に絞り込むことが可能な追加のパラメータの候補をユーザに提示する。追加のパラメータの候補が複数ある場合、絞り込み支援モジュール２２５は、追加のパラメータの候補を予め定めた優先順位に従って１個ずつ提示する。例えば絞り込み後の数が少ない候補を絞り込み後の数が多い候補よりも優先する。
【0033】
なお、検索結果の数を３個以下に絞り込むことが可能な追加のパラメータが存在しない場合、絞り込み支援モジュール２２５は、検索結果に含まれるジョブメモリｘの使用頻度Ｐ（ｘ）と予め定めた閾値Ｔ２を比較し、閾値Ｔ２以上の検索結果の数が３個以下に絞り込めるか否かを判定する。３個以下に絞り込める場合、絞り込み支援モジュール２２５は、使用頻度Ｐ（ｘ）が高い順番に候補を表示し、ユーザに選択を求める。因みに、検索結果の数を３個以下に絞り込めない場合、絞り込み支援モジュール２２５は、他の条件の入力を促す。
【0034】
前述した「ストーリー２」は、検索結果による候補の数が７個以上の場合である。この場合、絞り込み支援モジュール２２５は、検索結果に含まれるジョブメモリのパラメータを解析し、候補を半分以下に絞り込むことが可能な追加のパラメータの候補をユーザに提示する。
なお、「ストーリー２」の場合には、「ストーリー１」における処理のうち「３個以下絞り込める」かの部分を「半分以下に絞り込める」かに読み替える。
ジョブメモリ指示モジュール２２６は、ユーザが選択した特定のジョブメモリの呼び出しを画像形成装置１０に指示する。
なお、「ストーリー２」の場合には、「ストーリー１」における処理のうち「３個以下絞り込める」かの部分を「半分以下に絞り込める」かに読み替える。
ジョブメモリ指示モジュール２２６は、ユーザが選択した特定のジョブメモリの呼び出しを画像形成装置１０に指示する。
【0035】
＜処理動作の概略＞
図６は、画像形成装置１０と端末装置２０との間で進行するデータの流れを説明する図である。なお、図中の記号Ｓは、ステップを意味する。
図６の例では、ユーザが端末装置２０に対して「コピーをお願い」と話し掛けることが処理動作の起点となる。発話を検知した端末装置２０は、端末装置２０に記憶されているユーザの情報を画像形成装置１０に送信する。ユーザの情報を受信した画像形成装置１０は、ユーザ認証を実行する（ステップ１）。
図６は、画像形成装置１０と端末装置２０との間で進行するデータの流れを説明する図である。なお、図中の記号Ｓは、ステップを意味する。
図６の例では、ユーザが端末装置２０に対して「コピーをお願い」と話し掛けることが処理動作の起点となる。発話を検知した端末装置２０は、端末装置２０に記憶されているユーザの情報を画像形成装置１０に送信する。ユーザの情報を受信した画像形成装置１０は、ユーザ認証を実行する（ステップ１）。
【0036】
ユーザ認証に成功すると、画像形成装置１０は、装置内に記憶されている全てのジョブメモリを読み出し（ステップ２）、端末装置２０に送信する。個々のジョブメモリには、例えばジョブメモリ名、機能名、パラメータ、使用回数が含まれている。
ジョブメモリを受信した端末装置２０は、ユーザが希望する「コピー」に関連するジョブメモリを検索し、検索結果を候補として提示する（ステップ３）。検索結果の数が予め定めた数より多い場合、端末装置２０は、候補を提示する前に質問や条件の候補を提示し、ユーザに提示される候補の数を絞り込む。
ジョブメモリを受信した端末装置２０は、ユーザが希望する「コピー」に関連するジョブメモリを検索し、検索結果を候補として提示する（ステップ３）。検索結果の数が予め定めた数より多い場合、端末装置２０は、候補を提示する前に質問や条件の候補を提示し、ユーザに提示される候補の数を絞り込む。
【0037】
図６の例の場合、ユーザは、白黒で２枚の原稿を１枚にまとめてコピーするパラメータを設定したジョブメモリを意味する「白黒２アップ」と発話している。この後、端末装置２０は、該当するジョブメモリの呼び出しを画像形成装置１０に通知する。画像形成装置１０では、該当するジョブメモリを呼び出してパラメータを設定する（ステップ４）。
この後、画像形成装置１０は、スタートボタン等の操作があると、コピージョブを実行する（ステップ５）。実行の操作は、画像形成装置１０の操作パネル等に配置されたスタートボタンの操作の他、端末装置２０に対する実行の指示でもよい。端末装置２０に対する実行の指示は音声でもよいし、操作画面に表示されたボタンの操作でもよい。なお、コピーの場合には、原稿が画像形成装置１０の指定の位置に配置されることが、実行の条件である。スキャンやファックスについても同様である。
本実施の形態では、音声による対話形式で指示が可能であるので、ユーザの操作性の向上が期待される。
この後、画像形成装置１０は、スタートボタン等の操作があると、コピージョブを実行する（ステップ５）。実行の操作は、画像形成装置１０の操作パネル等に配置されたスタートボタンの操作の他、端末装置２０に対する実行の指示でもよい。端末装置２０に対する実行の指示は音声でもよいし、操作画面に表示されたボタンの操作でもよい。なお、コピーの場合には、原稿が画像形成装置１０の指定の位置に配置されることが、実行の条件である。スキャンやファックスについても同様である。
本実施の形態では、音声による対話形式で指示が可能であるので、ユーザの操作性の向上が期待される。
【0038】
＜検索結果の数の絞り込みの例＞
図７は、ジョブメモリ検索モジュール２２３（図５参照）及び絞り込み支援モジュール２２５（図５参照）の連携により実行される絞り込みロジックの例を説明する図である。図中の記号Ｓはステップを意味する。
まず、ユーザは呼び出したいジョブメモリ名や実行したい操作に関するキーワード等を発話する（ステップ１１）。図７の例では、ユーザは「白黒」と発話している。この発話の内容では、実行したい機能がコピーなのか、スキャンなのか、ファックスなのかも分からない。なお、発話の内容は、音声認識モジュール２２１（図５参照）によって認識され、文字列としてジョブメモリ検索モジュール２２３に与えられる。
図７は、ジョブメモリ検索モジュール２２３（図５参照）及び絞り込み支援モジュール２２５（図５参照）の連携により実行される絞り込みロジックの例を説明する図である。図中の記号Ｓはステップを意味する。
まず、ユーザは呼び出したいジョブメモリ名や実行したい操作に関するキーワード等を発話する（ステップ１１）。図７の例では、ユーザは「白黒」と発話している。この発話の内容では、実行したい機能がコピーなのか、スキャンなのか、ファックスなのかも分からない。なお、発話の内容は、音声認識モジュール２２１（図５参照）によって認識され、文字列としてジョブメモリ検索モジュール２２３に与えられる。
【0039】
次に、ジョブメモリ検索モジュール２２３は、ジョブメモリ名に「白黒」を含む数を判定する（ステップ１２）。勿論、検索に用いる文字列は、ユーザが発話した内容によって異なる。ジョブメモリ検索モジュール２２３は、検索結果の数が０個か、１個か、２個以上かで異なる処理を実行する。
ジョブメモリ名を対象とする検索結果が１個であった場合、ジョブメモリ検索モジュール２２３は、確認画面を表示する。図７の例では、「白黒」を含むジョブメモリ名は「白黒コピー」であるので、「白黒コピーでよろしいですか？」と表示される。もっとも、スピーカから音声を出力してユーザに確認を求めてもよい。
ジョブメモリ名を対象とする検索結果が１個であった場合、ジョブメモリ検索モジュール２２３は、確認画面を表示する。図７の例では、「白黒」を含むジョブメモリ名は「白黒コピー」であるので、「白黒コピーでよろしいですか？」と表示される。もっとも、スピーカから音声を出力してユーザに確認を求めてもよい。
【0040】
ジョブメモリ名を対象とする検索結果が０個であった場合、ジョブメモリ検索モジュール２２３は、パラメータを対象として「白黒」を含むジョブメモリを検索する。ジョブメモリ検索モジュール２２３は、検索結果の数が０個か、１個か、２個以上かを判定する（ステップ１３）。
ジョブメモリ名を対象とする検索結果が０個であり、パラメータを対象とする検索結果も０個であった場合、ジョブメモリ検索モジュール２２３は、該当するジョブメモリが存在しないこと（すなわち「該当なし」）をユーザに提示する。ジョブメモリ検索モジュール２２３は、例えば「該当の操作は登録されておりません」とのメッセージを表示する。
ジョブメモリ名を対象とする検索結果が０個であったが、パラメータを対象とする検索結果が１個であった場合、ジョブメモリ検索モジュール２２３は、見つかったジョブメモリでよいかを確認する画面を表示する。
ジョブメモリ名を対象とする検索結果が０個であり、パラメータを対象とする検索結果も０個であった場合、ジョブメモリ検索モジュール２２３は、該当するジョブメモリが存在しないこと（すなわち「該当なし」）をユーザに提示する。ジョブメモリ検索モジュール２２３は、例えば「該当の操作は登録されておりません」とのメッセージを表示する。
ジョブメモリ名を対象とする検索結果が０個であったが、パラメータを対象とする検索結果が１個であった場合、ジョブメモリ検索モジュール２２３は、見つかったジョブメモリでよいかを確認する画面を表示する。
【0041】
ジョブメモリ名を対象とする検索結果が２個以上であった場合、又は、ジョブメモリ名を対象とする検索結果が０個であったが、パラメータを対象とする検索結果が２個以上であった場合、絞り込み支援モジュール２２５が処理を引き継ぐ。
本実施の形態の場合、絞り込み支援モジュール２２５は、パラメータによる検索結果の数が３個以下か４個以上かを判定する（ステップ１４）。なお、ステップ１４の判定は、パラメータによる検索結果の数が６個以下であることを前提としている。パラメータによる検索結果の数が７個以上の場合には、検索結果の数の半分以下か半分を超えるかの判定になる。また、後述する説明の「３個以下」は「検索結果の数の半分」に、「４個以上」は「検索結果の数の半分を超える」と読み替えることになる。
本実施の形態の場合、絞り込み支援モジュール２２５は、パラメータによる検索結果の数が３個以下か４個以上かを判定する（ステップ１４）。なお、ステップ１４の判定は、パラメータによる検索結果の数が６個以下であることを前提としている。パラメータによる検索結果の数が７個以上の場合には、検索結果の数の半分以下か半分を超えるかの判定になる。また、後述する説明の「３個以下」は「検索結果の数の半分」に、「４個以上」は「検索結果の数の半分を超える」と読み替えることになる。
【0042】
ステップ１４で４個以上と判定された場合、絞り込み支援モジュール２２５は、３個以下に絞り込める他のパラメータの有無を判定する（ステップ１５）。なお、この時点では、検索結果はユーザに提示されていない。
絞り込みが可能である場合、絞り込み支援モジュール２２５は、絞り込める質問をユーザに提示する。図７の例では「用紙サイズは何ですか？」と「用紙サイズはＡ４ですか？Ａ３ですか？」を例示している。
前者の質問は、パラメータとしてのＡ４やＡ３による絞り込みが可能な場合に、Ａ４やＡ３が属する概念である「用紙サイズ」を質問文とする例である。前述したように、パラメータとしてのＡ４と概念としての用紙サイズの関係はテーブルとして用意されていてもよいし、学習済みモデルにパラメータとしてのＡ４を入力することで読み出してもよい。
後者の質問は、パラメータとしてのＡ４やＡ３による絞り込みが可能な場合に、パラメータとしてのＡ４やＡ３を直接の質問文とする例である。
絞り込みが可能である場合、絞り込み支援モジュール２２５は、絞り込める質問をユーザに提示する。図７の例では「用紙サイズは何ですか？」と「用紙サイズはＡ４ですか？Ａ３ですか？」を例示している。
前者の質問は、パラメータとしてのＡ４やＡ３による絞り込みが可能な場合に、Ａ４やＡ３が属する概念である「用紙サイズ」を質問文とする例である。前述したように、パラメータとしてのＡ４と概念としての用紙サイズの関係はテーブルとして用意されていてもよいし、学習済みモデルにパラメータとしてのＡ４を入力することで読み出してもよい。
後者の質問は、パラメータとしてのＡ４やＡ３による絞り込みが可能な場合に、パラメータとしてのＡ４やＡ３を直接の質問文とする例である。
【0043】
ステップ１５で絞り込みに用いられる他のパラメータが無いと判定された場合、絞り込み支援モジュール２２５は、使用頻度から絞り込んだ結果の数が１個か、２個又は３個か、４個以上かを判定する（ステップ１６）。この時点でも、検索結果はユーザに提示されていない。
ステップ１４で１個と判定された場合、又は、ステップ１６で１個と判定された場合、絞り込み支援モジュール２２５は、確認画面を表示する。図７の例では、「白黒コピーでよろしいですか？」と表示されている。もっとも、スピーカから音声を出力してユーザに確認を求めてもよい。
ステップ１４で２個又は３個と判定された場合、又は、ステップ１６で２個又は３個と判定された場合、絞り込み支援モジュール２２５は、使用頻度の値の降順にジョブメモリ名を表示し、ユーザに選択を促す。図７の例では、「上記のどれですか？」との文が表示される。この場合も、スピーカから音声でユーザに選択を促してもよい。
ステップ１６で４個以上と判定された場合、絞り込み支援モジュール２２５は、他の条件を質問する。図７の例では、「他の条件は何ですか？」との文が表示される。この場合も、スピーカから音声でユーザに選択を促してもよい。
ステップ１４で１個と判定された場合、又は、ステップ１６で１個と判定された場合、絞り込み支援モジュール２２５は、確認画面を表示する。図７の例では、「白黒コピーでよろしいですか？」と表示されている。もっとも、スピーカから音声を出力してユーザに確認を求めてもよい。
ステップ１４で２個又は３個と判定された場合、又は、ステップ１６で２個又は３個と判定された場合、絞り込み支援モジュール２２５は、使用頻度の値の降順にジョブメモリ名を表示し、ユーザに選択を促す。図７の例では、「上記のどれですか？」との文が表示される。この場合も、スピーカから音声でユーザに選択を促してもよい。
ステップ１６で４個以上と判定された場合、絞り込み支援モジュール２２５は、他の条件を質問する。図７の例では、「他の条件は何ですか？」との文が表示される。この場合も、スピーカから音声でユーザに選択を促してもよい。
【0044】
ここでは、ステップ１５における絞り込みの具体例を用いて説明する。
図８は、白黒かカラーかを指定することで検索結果の数を３個以下に絞り込める例を説明する図である。
図８に示す例は、ユーザが「コピーをお願い」と発話した場合に、パラメータに「コピー」を含むジョブメモリが６個見つかった状態を表している。ここでの６個のジョブメモリの場合、機能名に対応するパラメータは、いずれも「コピー」である。因みに、ジョブメモリ名は、「白黒」、「コピー０１」、「コピー０２」、「コピー０３」、「カラーコピー０４」、「白黒コピー０５」の６つである。
この例の場合、パラメータが白黒であるジョブメモリは３個であり、パラメータがカラーであるジョブメモリは３個である。また、パラメータがＡ４であるジョブメモリは１個であり、パラメータがＡ５であるジョブメモリは４個であり、パラメータがＢ４であるジョブメモリは１個であり、パラメータがＢ５であるジョブメモリは０個である。
この例の場合、カラーモードのパラメータを特定できれば、絞り込み後のジョブメモリの数は３個以下になる。そこで、ステップ１５では、「カラーですか？白黒ですか？」とパラメータを直接質問する文や「カラーモードは何ですか？」等の概念を質問する文をユーザに提示する。
図８は、白黒かカラーかを指定することで検索結果の数を３個以下に絞り込める例を説明する図である。
図８に示す例は、ユーザが「コピーをお願い」と発話した場合に、パラメータに「コピー」を含むジョブメモリが６個見つかった状態を表している。ここでの６個のジョブメモリの場合、機能名に対応するパラメータは、いずれも「コピー」である。因みに、ジョブメモリ名は、「白黒」、「コピー０１」、「コピー０２」、「コピー０３」、「カラーコピー０４」、「白黒コピー０５」の６つである。
この例の場合、パラメータが白黒であるジョブメモリは３個であり、パラメータがカラーであるジョブメモリは３個である。また、パラメータがＡ４であるジョブメモリは１個であり、パラメータがＡ５であるジョブメモリは４個であり、パラメータがＢ４であるジョブメモリは１個であり、パラメータがＢ５であるジョブメモリは０個である。
この例の場合、カラーモードのパラメータを特定できれば、絞り込み後のジョブメモリの数は３個以下になる。そこで、ステップ１５では、「カラーですか？白黒ですか？」とパラメータを直接質問する文や「カラーモードは何ですか？」等の概念を質問する文をユーザに提示する。
【0045】
図９は、用紙サイズを指定することで検索結果の数を３個以下に絞り込める例を説明する図である。
図９に示す例も、ユーザが「コピーをお願い」と発話した場合に、パラメータに「コピー」を含むジョブメモリが６個見つかった状態を表している。ここでの６個のジョブメモリの場合、機能名に対応するパラメータは、いずれも「コピー」である。因みに、ジョブメモリ名は、「白黒」、「ＡＡコピー」、「ＢＢコピー」、「ＸＸコピー」、「ＹＹコピー」、「ＺＺコピー」の６つである。
図９に示す例も、ユーザが「コピーをお願い」と発話した場合に、パラメータに「コピー」を含むジョブメモリが６個見つかった状態を表している。ここでの６個のジョブメモリの場合、機能名に対応するパラメータは、いずれも「コピー」である。因みに、ジョブメモリ名は、「白黒」、「ＡＡコピー」、「ＢＢコピー」、「ＸＸコピー」、「ＹＹコピー」、「ＺＺコピー」の６つである。
【0046】
この例の場合、パラメータが白黒であるジョブメモリは６個であり、パラメータがカラーであるジョブメモリは０個である。また、パラメータがＡ４であるジョブメモリは１個であり、パラメータがＡ５であるジョブメモリは３個であり、パラメータがＢ４であるジョブメモリは１個であり、パラメータがＢ５であるジョブメモリは１個である。
この例の場合、用紙サイズのパラメータを特定できれば、絞り込み後のジョブメモリの数は３個以下になる。そこで、ステップ１５では、「用紙サイズはＡ５ですか？それ以外ですか？」とパラメータを直接質問する文や「用紙サイズは何ですか？」等の概念を質問する文をユーザに提示する。
この例の場合、用紙サイズのパラメータを特定できれば、絞り込み後のジョブメモリの数は３個以下になる。そこで、ステップ１５では、「用紙サイズはＡ５ですか？それ以外ですか？」とパラメータを直接質問する文や「用紙サイズは何ですか？」等の概念を質問する文をユーザに提示する。
【0047】
＜操作画面の例＞
＜画面１＞
以下では、検索結果の数に応じた操作画面の例を説明する。
図１０は、検索結果の数が1個であった場合の操作画面の例を説明する図である。図１０に示す操作画面は、ステップ１２（図７参照）で１個と判定された場合、又は、ステップ１３（図７参照）で１個と判定された場合、又は、ステップ１６（図７参照）で１個と判定された場合に表示される。
＜画面１＞
以下では、検索結果の数に応じた操作画面の例を説明する。
図１０は、検索結果の数が1個であった場合の操作画面の例を説明する図である。図１０に示す操作画面は、ステップ１２（図７参照）で１個と判定された場合、又は、ステップ１３（図７参照）で１個と判定された場合、又は、ステップ１６（図７参照）で１個と判定された場合に表示される。
【0048】
操作画面の上段には、操作の対象である画像形成装置１０（図１参照）の名称である「画像形成装置Ａ」が表示されている。
時点Ｔ１の操作画面は、初期画面である。このため、アプリケーション側からユーザには、「こちらは画像形成装置Ａです。どんなジョブメモリを実行しますか？」との質問２３０が最初に表示され、次段にユーザからの指示２３１が表示されている。この例では、「白黒コピーをお願い」との発話の内容が表示されている。
時点Ｔ１の操作画面は、初期画面である。このため、アプリケーション側からユーザには、「こちらは画像形成装置Ａです。どんなジョブメモリを実行しますか？」との質問２３０が最初に表示され、次段にユーザからの指示２３１が表示されている。この例では、「白黒コピーをお願い」との発話の内容が表示されている。
【0049】
時点Ｔ２の操作画面は、ユーザの指示２３１に対する検索結果を示す画面である。この例では、検索結果の数を提示する文２３２と、該当するジョブメモリ名を提示するボタン２３３とが表示されている。図１０の場合、文２３２は「白黒コピーに関するジョブメモリが１件ありました」であり、ボタン２３３は「白黒」である。
ユーザからの指示２３４は、ボタン２３３の下に表示される。指示２３４は「それお願い」である。他に「白黒お願い」のようにジョブメモリ名を指示することも可能である。なお、ボタン２３３のタップによりユーザの選択を入力してもよい。指示２３４の認識により、画像形成装置１０（図１参照）に指示するジョブメモリが特定される。
ユーザからの指示２３４は、ボタン２３３の下に表示される。指示２３４は「それお願い」である。他に「白黒お願い」のようにジョブメモリ名を指示することも可能である。なお、ボタン２３３のタップによりユーザの選択を入力してもよい。指示２３４の認識により、画像形成装置１０（図１参照）に指示するジョブメモリが特定される。
【0050】
＜画面２＞
図１１は、検索結果の数が３個であった場合の操作画面の例を説明する図である。図１１には、図１０との対応部分に対応する符号を付して示している。
図１１に示す操作画面は、ステップ１４（図７参照）で３個以下と判定された場合、又は、ステップ１６（図７参照）で３個以下と判定された場合に表示される。
時点Ｔ１の操作画面は初期画面であるので図１０と共通する。
時点Ｔ２の操作画面は、ユーザの指示２３１に対する検索結果を示す画面である。この例では、検索結果の数が３個であるので、検索結果の数を提示する文２３２Ａと、該当するジョブメモリ名を提示するボタン２３３Ａの内容が図１０と異なっている。
図１１は、検索結果の数が３個であった場合の操作画面の例を説明する図である。図１１には、図１０との対応部分に対応する符号を付して示している。
図１１に示す操作画面は、ステップ１４（図７参照）で３個以下と判定された場合、又は、ステップ１６（図７参照）で３個以下と判定された場合に表示される。
時点Ｔ１の操作画面は初期画面であるので図１０と共通する。
時点Ｔ２の操作画面は、ユーザの指示２３１に対する検索結果を示す画面である。この例では、検索結果の数が３個であるので、検索結果の数を提示する文２３２Ａと、該当するジョブメモリ名を提示するボタン２３３Ａの内容が図１０と異なっている。
【0051】
図１１の場合、文２３２Ａは「白黒コピーに関するジョブメモリが複数件ありました」に変更され、ボタン２３３Ａとして「白黒」、「白黒コピー」、「白黒縮小」の３つが示されている。図１１に示すように、ユーザは、ジョブメモリ名を正確に覚えていなくても、可能性が高いジョブメモリの候補の提示を受けることが可能である。
図１１の例では、ジョブメモリ名が「白黒」であるジョブメモリが選択されている。このため、操作画面の指示２３４Ａには、ユーザが発話した「白黒お願い」の言葉が表示される。指示２３４Ａの認識により、画像形成装置１０（図１参照）に指示するジョブメモリが特定される。
図１１の例では、ジョブメモリ名が「白黒」であるジョブメモリが選択されている。このため、操作画面の指示２３４Ａには、ユーザが発話した「白黒お願い」の言葉が表示される。指示２３４Ａの認識により、画像形成装置１０（図１参照）に指示するジョブメモリが特定される。
【0052】
図１２は、端末装置２０が横向きに保持されている場合に可能な表示画面の例を説明する図である。
図１２に示すように、端末装置２０の長辺がユーザから見て横向きに保持されている場合、ユーザによって選択されたジョブメモリの詳細な内容を確認することが可能である。図１２に示す画面は、ジョブメモリ名の「白黒」を選択した状態で、詳細な内容を表示する特定の操作が検知された場合に表示される。特定の操作には、例えば「白黒」を選択した状態が予め定めた時間以上の継続がある。
図１２の場合、ジョブメモリ名が「白黒」のジョブメモリは、機能名のパラメータが「コピー」、カラーモードのパラメータが「白黒」、用紙サイズのパラメータが「Ａ４」である。
図１２に示すように、端末装置２０の長辺がユーザから見て横向きに保持されている場合、ユーザによって選択されたジョブメモリの詳細な内容を確認することが可能である。図１２に示す画面は、ジョブメモリ名の「白黒」を選択した状態で、詳細な内容を表示する特定の操作が検知された場合に表示される。特定の操作には、例えば「白黒」を選択した状態が予め定めた時間以上の継続がある。
図１２の場合、ジョブメモリ名が「白黒」のジョブメモリは、機能名のパラメータが「コピー」、カラーモードのパラメータが「白黒」、用紙サイズのパラメータが「Ａ４」である。
【0053】
＜画面３＞
図１３は、検索結果の数が４個以上であるが３個以下への絞り込みが可能な場合の操作画面の例を説明する図である。図１３には、図１１との対応部分に対応する符号を付して示している。
図１３に示す操作画面は、ステップ１５（図７参照）で３個以下に絞り込める他のパラメータが有ると判定された場合に表示される。
時点Ｔ１の操作画面は初期画面であるので図１１と共通する。
時点Ｔ１１の操作画面は、絞り込みに用いるパラメータや概念の確認を求める画面である。図１３の例では、カラーモードのパラメータによる絞り込みが可能であるので「カラーですか？白黒ですか？」との質問２４０が表示されている。なお、図１３の例では、ユーザは、「白黒で」と指示２４１を発声している。
時点１２の操作画面は、ユーザの指示２４１に対する検索結果を示す画面である。この例では、検索結果の数が３個に絞り込まれているので、検索結果の数を提示する文２４２と、該当するジョブメモリ名を提示する３個のボタン２３３Ａが提示されている。図１３の場合、文２４２は「３件ありました」である。
ジョブメモリ名を正確に覚えていない場合、検索結果の数は必然的に多くなるが、対話形式で絞り込み条件を入力できるので、ユーザの意図するジョブメモリに効率的にたどり着くことが可能になる。
図１３は、検索結果の数が４個以上であるが３個以下への絞り込みが可能な場合の操作画面の例を説明する図である。図１３には、図１１との対応部分に対応する符号を付して示している。
図１３に示す操作画面は、ステップ１５（図７参照）で３個以下に絞り込める他のパラメータが有ると判定された場合に表示される。
時点Ｔ１の操作画面は初期画面であるので図１１と共通する。
時点Ｔ１１の操作画面は、絞り込みに用いるパラメータや概念の確認を求める画面である。図１３の例では、カラーモードのパラメータによる絞り込みが可能であるので「カラーですか？白黒ですか？」との質問２４０が表示されている。なお、図１３の例では、ユーザは、「白黒で」と指示２４１を発声している。
時点１２の操作画面は、ユーザの指示２４１に対する検索結果を示す画面である。この例では、検索結果の数が３個に絞り込まれているので、検索結果の数を提示する文２４２と、該当するジョブメモリ名を提示する３個のボタン２３３Ａが提示されている。図１３の場合、文２４２は「３件ありました」である。
ジョブメモリ名を正確に覚えていない場合、検索結果の数は必然的に多くなるが、対話形式で絞り込み条件を入力できるので、ユーザの意図するジョブメモリに効率的にたどり着くことが可能になる。
【0054】
＜画面４＞
図１４は、検索結果の数が４個以上であるが３個以下への絞り込みが可能な場合の操作画面の他の例を説明する図である。図１４には、図１３との対応部分に対応する符号を付して示している。
図１４に示す操作画面も、ステップ１５（図７参照）で３個以下に絞り込める他のパラメータが有ると判定された場合に表示される。
時点Ｔ１の操作画面は初期画面であるので図１３と共通する。
時点Ｔ１１の操作画面も、絞り込みに用いるパラメータや概念の確認を求める画面である。ただし、図１４の例では、まとめ印刷のパラメータによる絞り込みが可能であるので「２アップですか？」との質問２４０Ａが表示されている。なお、図１４の例では、ユーザは、「はい」と指示２４１Ａを発声している。
図１４は、検索結果の数が４個以上であるが３個以下への絞り込みが可能な場合の操作画面の他の例を説明する図である。図１４には、図１３との対応部分に対応する符号を付して示している。
図１４に示す操作画面も、ステップ１５（図７参照）で３個以下に絞り込める他のパラメータが有ると判定された場合に表示される。
時点Ｔ１の操作画面は初期画面であるので図１３と共通する。
時点Ｔ１１の操作画面も、絞り込みに用いるパラメータや概念の確認を求める画面である。ただし、図１４の例では、まとめ印刷のパラメータによる絞り込みが可能であるので「２アップですか？」との質問２４０Ａが表示されている。なお、図１４の例では、ユーザは、「はい」と指示２４１Ａを発声している。
【0055】
時点１２の操作画面は、ユーザの指示２４１Ａに対する検索結果を示す画面である。この例では、検索結果の数が３個に絞り込まれているので、検索結果の数を提示する文２４２と、該当するジョブメモリ名を提示する３個のボタン２４３が提示されている。図１３の場合、文２４２は「３件ありました」であり、ボタン２４３は「白黒２アップ」、「カラー２アップ」、「２アップ両面」の３つである。
【0056】
＜画面５＞
図１５は、検索結果の数が４個以上であるが使用頻度による３個以下への絞り込みが可能な場合の操作画面の他の例を説明する図である。図１５には、図１０との対応部分に対応する符号を付して示している。
図１５に示す操作画面は、ステップ１６（図７参照）の判定結果が１個又は３個以下の場合に表示される。
時点Ｔ１の操作画面は初期画面であるので図１０と共通する。
時点Ｔ２１の操作画面は、使用頻度で１個に絞り込める場合に表示される確認用の画面である。図１５の例では、確認文２５１として「カラー２アップでよろしいですか？」と表示されている。なお、他の画面例と同様に、ジョブメモリ名のボタンを表示してもよい。
時点Ｔ２２の操作画面は、使用頻度で３個以下に絞り込める場合に表示される確認用の画面である。図１５の例では、「以下の候補が見つかりました」との文２５２と、該当するジョブメモリ名を提示する３個のボタン２５３が提示されている。図１５の場合、ボタン２５３は「白黒コピー」、「カラー２アップ」、「その他」の３つである。
図１５は、検索結果の数が４個以上であるが使用頻度による３個以下への絞り込みが可能な場合の操作画面の他の例を説明する図である。図１５には、図１０との対応部分に対応する符号を付して示している。
図１５に示す操作画面は、ステップ１６（図７参照）の判定結果が１個又は３個以下の場合に表示される。
時点Ｔ１の操作画面は初期画面であるので図１０と共通する。
時点Ｔ２１の操作画面は、使用頻度で１個に絞り込める場合に表示される確認用の画面である。図１５の例では、確認文２５１として「カラー２アップでよろしいですか？」と表示されている。なお、他の画面例と同様に、ジョブメモリ名のボタンを表示してもよい。
時点Ｔ２２の操作画面は、使用頻度で３個以下に絞り込める場合に表示される確認用の画面である。図１５の例では、「以下の候補が見つかりました」との文２５２と、該当するジョブメモリ名を提示する３個のボタン２５３が提示されている。図１５の場合、ボタン２５３は「白黒コピー」、「カラー２アップ」、「その他」の３つである。
【0057】
＜画面６＞
図１６は、検索結果の数が４個以上である場合に検索結果の数を３個以下に絞り込めない場合の操作画面の他の例を説明する図である。図１６には、図１０との対応部分に対応する符号を付して示している。
図１６に示す操作画面は、ステップ１６（図７参照）の判定結果が４個以上の場合に表示される。
時点Ｔ１の操作画面は初期画面であるので図１０と共通する。
時点Ｔ２の操作画面には、ユーザに追加の条件を求める質問２６１と、質問２６１に対するユーザからの応答２６２が表示されている。
図１６の例では、質問２６１として「他の条件はございますか？」が表示され、応答２６２として「白黒で」が表示されている。
図１６は、検索結果の数が４個以上である場合に検索結果の数を３個以下に絞り込めない場合の操作画面の他の例を説明する図である。図１６には、図１０との対応部分に対応する符号を付して示している。
図１６に示す操作画面は、ステップ１６（図７参照）の判定結果が４個以上の場合に表示される。
時点Ｔ１の操作画面は初期画面であるので図１０と共通する。
時点Ｔ２の操作画面には、ユーザに追加の条件を求める質問２６１と、質問２６１に対するユーザからの応答２６２が表示されている。
図１６の例では、質問２６１として「他の条件はございますか？」が表示され、応答２６２として「白黒で」が表示されている。
【0058】
＜画面７＞
図１７は、図１６における質問に対するユーザからの応答２６２が全ての検索結果の表示である場合の操作画面の例を説明する図である。図１７には、図１６との対応部分に対応する符号を付して示している。
時点Ｔ２の操作画面にも、ユーザに追加の条件を求める質問２６１と、質問２６１に対するユーザからの応答２６２が表示されている。ただし、応答２６２の内容が図１６とは異なっている。図１７の場合、応答２６２は「すべて表示して」である。
このため、時点Ｔ３の操作画面には、検索結果に対応する全てのジョブメモリ名に対応するボタン２６３が表示されている。図１７では、６個のボタン２６３が表示されている。図１７の場合、ボタン２６３は「白黒」、「白黒コピー」、「白黒縮小」、「コピーＡ」、「コピーＢ」、「カラー縮小」の６つである。
図１７は、図１６における質問に対するユーザからの応答２６２が全ての検索結果の表示である場合の操作画面の例を説明する図である。図１７には、図１６との対応部分に対応する符号を付して示している。
時点Ｔ２の操作画面にも、ユーザに追加の条件を求める質問２６１と、質問２６１に対するユーザからの応答２６２が表示されている。ただし、応答２６２の内容が図１６とは異なっている。図１７の場合、応答２６２は「すべて表示して」である。
このため、時点Ｔ３の操作画面には、検索結果に対応する全てのジョブメモリ名に対応するボタン２６３が表示されている。図１７では、６個のボタン２６３が表示されている。図１７の場合、ボタン２６３は「白黒」、「白黒コピー」、「白黒縮小」、「コピーＡ」、「コピーＢ」、「カラー縮小」の６つである。
【0059】
＜画面８＞
図１８は、画像形成装置１０（図１参照）におけるジョブメモリの登録数が０の場合の操作画面の例を説明する図である。図１８には、図１０との対応部分に対応する符号を付して示している。
図１８の場合も、操作画面の上段には、操作の対象である画像形成装置１０（図１参照）の名称である「画像形成装置Ａ」が表示されている。
ただし、画像形成装置１０には、ジョブメモリが登録されていない。このため、説明文２７０には「こちらは画像形成装置Ａです。ジョブメモリは１件も登録されていません」と表示されている。
図１８は、画像形成装置１０（図１参照）におけるジョブメモリの登録数が０の場合の操作画面の例を説明する図である。図１８には、図１０との対応部分に対応する符号を付して示している。
図１８の場合も、操作画面の上段には、操作の対象である画像形成装置１０（図１参照）の名称である「画像形成装置Ａ」が表示されている。
ただし、画像形成装置１０には、ジョブメモリが登録されていない。このため、説明文２７０には「こちらは画像形成装置Ａです。ジョブメモリは１件も登録されていません」と表示されている。
【0060】
＜実施の形態２＞
前述の実施の形態１においては、端末装置２０がスマートフォンである場合を想定していたが、本実施の形態では、端末装置２０がウェアラブル端末である場合を想定する。
ウェアラブル端末には、例えば手首装着型のウェアラブル端末、頭部に装着されるメガネ型のウェアラブル端末がある。
メガネ型の端末には、ホログラム光学素子を組み込んだ透明板を使用する透過式と呼ばれる端末がある。ホログラム光学素子は、前方から入射する光を透過する性質と、透明板の内部を伝搬する映像光を屈折してユーザの眼球方向に出力する特性とを有している。このため、メガネ型の端末を装着したユーザは、実在する物体に仮想の画像やテキストを重ねた像を視認することが可能である。
前述の実施の形態１においては、端末装置２０がスマートフォンである場合を想定していたが、本実施の形態では、端末装置２０がウェアラブル端末である場合を想定する。
ウェアラブル端末には、例えば手首装着型のウェアラブル端末、頭部に装着されるメガネ型のウェアラブル端末がある。
メガネ型の端末には、ホログラム光学素子を組み込んだ透明板を使用する透過式と呼ばれる端末がある。ホログラム光学素子は、前方から入射する光を透過する性質と、透明板の内部を伝搬する映像光を屈折してユーザの眼球方向に出力する特性とを有している。このため、メガネ型の端末を装着したユーザは、実在する物体に仮想の画像やテキストを重ねた像を視認することが可能である。
【0061】
図１９は、実施の形態２で想定するシステム構成の一例を説明する図である。実施の形態２で想定するシステムは、用紙などの媒体に画像を形成する画像形成装置１０と、画像形成装置１０を操作するユーザが頭部に装着する端末装置２０とで構成される。以下では、端末装置２０をウェアラブル端末と呼ぶ。
なお、本実施の形態で使用するウェアラブル端末のハードウェア構成や機能構成は、実施の形態１で説明した端末装置２０と同じである。
なお、本実施の形態で使用するウェアラブル端末のハードウェア構成や機能構成は、実施の形態１で説明した端末装置２０と同じである。
【0062】
図１９では、ウェアラブル端末を頭部に装着したユーザが見ているイメージを吹き出しで示している。本実施の形態の場合、ユーザは、目の前に実在する画像形成装置１０を裸眼で確認している。吹き出し３０１の中の枠線３０２は、ウェアラブル端末が認識している物体をユーザに示す仮想の画像である。このように、実在する物体にコンピュータが作成した仮想の視覚情報を重ねる技術は、拡張現実（＝Augmented Reality：ＡＲ）又は複合現実（＝Mixed Reality：ＭＲ）と呼ばれる。
図１９に示す例では、仮想の枠線３０２で囲まれた範囲の画像を解析したウェアラブル端末から「こちらは、画像形成装置Ａです。何を実行しますか？」との問い合わせ３０３が出力されている。この問い合わせ３０３は、初期画面の質問２３０（図１０参照）と同じである。なお、問い合わせ３０３は不図示のスピーカから出力される。
図１９に示す例では、仮想の枠線３０２で囲まれた範囲の画像を解析したウェアラブル端末から「こちらは、画像形成装置Ａです。何を実行しますか？」との問い合わせ３０３が出力されている。この問い合わせ３０３は、初期画面の質問２３０（図１０参照）と同じである。なお、問い合わせ３０３は不図示のスピーカから出力される。
【0063】
図２０は、図１９における問い合わせ３０３に対するユーザの応答３０４及びアプリケーション側からの質問３０５を説明する図である。
ユーザは応答３０４として「ジョブメモリを実行したい」と発話している。ユーザの発話はマイク２０６（図４参照）により録音され、ウェアラブル端末に取り込まれる。図２０では、ユーザの応答３０４に対する質問３０５として「どんなジョブメモリを実行しますか？」を出力する。
ユーザは応答３０４として「ジョブメモリを実行したい」と発話している。ユーザの発話はマイク２０６（図４参照）により録音され、ウェアラブル端末に取り込まれる。図２０では、ユーザの応答３０４に対する質問３０５として「どんなジョブメモリを実行しますか？」を出力する。
【0064】
図２１は、ユーザの指示３０６に対してアプリケーション側から提示される仮想の画像の例を説明する図である。
図２１の場合もユーザは「白黒コピーをお願い」との指示３０６を発話している。発話の内容は、図１０の指示２３１と同じである。
図２１の場合、検索結果を表示する領域の制約がないので、検索結果に対応するジョブメモリ名の全てが空間に浮かぶように提示される。図２１の例では、８個の仮想のボタン３１０が空間に浮かぶように提示されている。図２１の場合、８個のボタン３１０は、「白黒」、「会議用」、「社長用フォーマット」、「白黒ｇ」、「白黒Ａ」、「白黒縮小」、「白黒縮小」、「営業用」である。
図２１の場合もユーザは「白黒コピーをお願い」との指示３０６を発話している。発話の内容は、図１０の指示２３１と同じである。
図２１の場合、検索結果を表示する領域の制約がないので、検索結果に対応するジョブメモリ名の全てが空間に浮かぶように提示される。図２１の例では、８個の仮想のボタン３１０が空間に浮かぶように提示されている。図２１の場合、８個のボタン３１０は、「白黒」、「会議用」、「社長用フォーマット」、「白黒ｇ」、「白黒Ａ」、「白黒縮小」、「白黒縮小」、「営業用」である。
【0065】
図２２は、検索結果の数が９個以上の場合における絞り込みの提案がアプリケーション側から提示される例を説明する図である。図２２には、図２１との対応部分に対応する符号を付している。
本実施の形態の場合、検索結果の数が９個以上の場合には、アプリケーション側から絞り込みの提案がある。図２２の例では、質問３１１として「カラーですか？白黒ですか？」との提案がアプリケーション側から提示されている。この質問３１１に対し、ユーザは指示３１２として「白黒で」と答えている。
本実施の形態の場合、検索結果の数が９個以上の場合には、アプリケーション側から絞り込みの提案がある。図２２の例では、質問３１１として「カラーですか？白黒ですか？」との提案がアプリケーション側から提示されている。この質問３１１に対し、ユーザは指示３１２として「白黒で」と答えている。
【0066】
図２３は、特定のジョブメモリの実行をジェスチャーにより指示する例を説明する図である。図２３には、図２１との対応部分に対応する符号を付している。
図２３の場合、ユーザは、自身の手を空中で移動し、実行させたジョブメモリ名が記載されている仮想のボタン３１０の上に重ねる。タップするようなジェスチャー、仮想のボタン３１０を摘むようなジェスチャー等により特定のボタン３１０を選択した後、手を画像形成装置１０と重なる位置に移動することで、ジョブメモリの呼び出しを指示する。
なお、ジョブメモリの実行の指示は、特定のジョブメモリ名を発話することでも可能である。
図２３の場合、ユーザは、自身の手を空中で移動し、実行させたジョブメモリ名が記載されている仮想のボタン３１０の上に重ねる。タップするようなジェスチャー、仮想のボタン３１０を摘むようなジェスチャー等により特定のボタン３１０を選択した後、手を画像形成装置１０と重なる位置に移動することで、ジョブメモリの呼び出しを指示する。
なお、ジョブメモリの実行の指示は、特定のジョブメモリ名を発話することでも可能である。
【0067】
図２４は、ジョブメモリの詳細を確認したい場合のユーザのジェスチャーを説明する図である。図２４にも、図２１との対応部分に対応する符号を付している。
図２４の場合、ユーザは、自身の両手を仮想のボタン３１０の上に重ね、その後、両手を広げるようなジェスチャーを実行している。なお、「白黒縮小の詳細内容を知りたい」等の発話により指示することも可能である。
図２５は、ジョブメモリの詳細内容の提示の例を説明する図である。図２５にも、図２１との対応部分に対応する符号を付している。
図２５の例では、ユーザが選択した「白黒縮小」に対応するジョブメモリに記録されているパラメータの詳細画面３１３が表示されている。詳細画面３１３には、機能名のパラメータがコピーであること、カラーモードのパラメータが白黒であること、用紙サイズのパラメータがＡ４であること、縮小率のパラメータが８８％であることが示されている。
図２４の場合、ユーザは、自身の両手を仮想のボタン３１０の上に重ね、その後、両手を広げるようなジェスチャーを実行している。なお、「白黒縮小の詳細内容を知りたい」等の発話により指示することも可能である。
図２５は、ジョブメモリの詳細内容の提示の例を説明する図である。図２５にも、図２１との対応部分に対応する符号を付している。
図２５の例では、ユーザが選択した「白黒縮小」に対応するジョブメモリに記録されているパラメータの詳細画面３１３が表示されている。詳細画面３１３には、機能名のパラメータがコピーであること、カラーモードのパラメータが白黒であること、用紙サイズのパラメータがＡ４であること、縮小率のパラメータが８８％であることが示されている。
【0068】
＜他の実施の形態＞
以上、本発明の実施の形態について説明したが、本発明の技術的範囲は上述の実施の形態に記載の範囲に限定されない。上述の実施の形態に、種々の変更又は改良を加えたものも、本発明の技術的範囲に含まれることは、特許請求の範囲の記載から明らかである。
以上、本発明の実施の形態について説明したが、本発明の技術的範囲は上述の実施の形態に記載の範囲に限定されない。上述の実施の形態に、種々の変更又は改良を加えたものも、本発明の技術的範囲に含まれることは、特許請求の範囲の記載から明らかである。
【0069】
前述の実施の形態においては、検索結果の数が多い場合の絞り込みを支援する絞り込み支援モジュール２２５（図５参照）その他のモジュールが実行される端末装置としてスマートフォンやメガネ型のウェアラブル端末を例示したが、同機能はクラウドサービスやオンプレミス型のサービスとして提供されてもよい。すなわち、検索結果の数を絞り込む機能はサーバ上で実行され、絞り込みの結果がスマートフォンやメガネ型のウェアラブル端末を通じてユーザに提供されてもよい。サービスを提供するサーバは、情報処理装置の一例である。
また、端末装置とサーバとの協働により、前述したモジュールの機能が実行されてもよい。この場合は、端末装置とサーバとで情報処理装置が構成される。
また、端末装置とサーバとの協働により、前述したモジュールの機能が実行されてもよい。この場合は、端末装置とサーバとで情報処理装置が構成される。
【0070】
前述の実施の形態１の説明では、図７において、パラメータによる絞り込みの可能性を判断した後に使用頻度による絞り込みの可能性を判定しているが、使用頻度の計算に使用される使用回数が増加して信頼性が高くなった場合には、使用頻度による絞り込みの可能性を先に判定し、絞り込めない場合にパラメータによる絞り込みの可能性を判定してもよい。
【符号の説明】
【0071】
１０…画像形成装置、２０…端末装置、１２１…ジョブメモリ管理モジュール、１２２…認証モジュール、２２１…音声認識モジュール、２２２…ジョブメモリ取得モジュール、２２３…ジョブメモリ検索モジュール、２２４…使用頻度計算モジュール、２２５…絞り込み支援モジュール、２２６…ジョブメモリ指示モジュール
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】
【図25】
