特開 2022-187881 情報処理システム、情報処理システムの制御方法、及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022187881

(43)【公開日】2022-12-20

(54)【発明の名称】情報処理システム、情報処理システムの制御方法、及びプログラム

(51)【国際特許分類】

   G06F 3/16 20060101AFI20221213BHJP

   G06F 3/01 20060101ALI20221213BHJP

   H04N 1/00 20060101ALI20221213BHJP

   B41J 29/38 20060101ALI20221213BHJP

【ＦＩ】

G06F3/16 630

G06F3/16 650

G06F3/01 510

H04N1/00 127Z

H04N1/00 912

B41J29/38 201

【審査請求】未請求

【請求項の数】14

【出願形態】ＯＬ

(21)【出願番号】P 2021096097

(22)【出願日】2021-06-08

(71)【出願人】

【識別番号】000001007

【氏名又は名称】キヤノン株式会社

(74)【代理人】

【識別番号】100125254

【弁理士】

【氏名又は名称】別役 重尚

(72)【発明者】

【氏名】関根 広志

(72)【発明者】

【氏名】福田 真人

【テーマコード（参考）】

2C061

5C062

5E555

【Ｆターム（参考）】

2C061AP01

2C061AP07

2C061AP10

2C061AQ05

2C061AQ06

2C061AR03

2C061AS02

2C061HK11

2C061HN08

2C061HQ01

2C061HR04

5C062AA05

5C062AA12

5C062AA13

5C062AA29

5C062AB16

5C062AB38

5C062AB40

5C062AC02

5C062AC34

5C062AE11

5E555AA76

5E555BA06

5E555BA16

5E555BA27

5E555BA88

5E555BB06

5E555BB16

5E555BB27

5E555BC01

5E555BC11

5E555CA47

5E555CB64

5E555CB74

5E555CC01

5E555DA32

5E555DA33

5E555EA04

5E555EA05

5E555EA09

5E555EA23

5E555FA00

(57)【要約】      （修正有）

【課題】複数のスマートスピーカが１つの情報処理装置と連携する構成において指示の競合状態に適切に対応する情報処理システムを提供する。
【解決手段】情報処理システム１００は、クラウドサーバ１０３、複数の音声制御装置１０２、１０７と、少なくとも１台の画像形成装置１０１、１１０と、で構成される情報処理システム１００であって、複数の音声制御装置１０２、１０７の何れが優先される装置であるかの情報に基づいて、画像形成装置１０１、１１０にジョブを実行させる制御を行う。
【選択図】図１

【特許請求の範囲】

【請求項1】

情報処理装置と、前記情報処理装置に対する音声指示を受け付ける第１の音声制御装置と、前記情報処理装置に対する音声指示を受け付ける第２の音声制御装置とを備える情報処理システムであって、
前記第１の音声制御装置と前記第２の音声制御装置のうちどちらが優先される装置であるかの情報に基づいて前記情報処理装置にジョブを実行させる制御を行う制御手段を有することを特徴とする情報処理システム。

【請求項2】

前記制御手段は、前記第１の音声制御装置及び前記第２の音声制御装置の一方に前記情報処理装置の操作権限を設定し、前記情報処理装置の操作権限が設定された音声制御装置が受け付けた音声指示に対応するジョブを前記情報処理装置に実行させることを特徴とする請求項１記載の情報処理システム。

【請求項3】

前記制御手段は、前記第１の音声制御装置及び前記第２の音声制御装置のうち、先に音声指示を受け付けた音声制御装置に前記情報処理装置の操作権限を設定することを特徴とする請求項２記載の情報処理システム。

【請求項4】

前記制御手段は、前記第１の音声制御装置及び前記第２の音声制御装置のうち、緊急性を示す所定のワードを受け付けた音声制御装置に前記情報処理装置の操作権限を設定することを特徴とする請求項２記載の情報処理システム。

【請求項5】

前記第１の音声制御装置と前記第２の音声制御装置の優先度を設定する手段を更に有し、
前記制御手段は、前記第１の音声制御装置及び前記第２の音声制御装置のうち、高い優先度が設定された音声制御装置に前記情報処理装置の操作権限を設定することを特徴とする請求項２記載の情報処理システム。

【請求項6】

前記第１の音声制御装置が受け付けた音声指示に対応するジョブを前記情報処理装置が実行している最中に前記第１の音声制御装置より高い優先度が設定された前記第２の音声制御装置が他の音声指示を受け付けた場合、前記制御手段は、前記情報処理装置の操作権限を前記第１の音声制御装置から前記第２の音声制御装置に変更することを特徴とする請求項５記載の情報処理システム。

【請求項7】

前記制御手段は、前記情報処理装置に対し、前記第１の音声制御装置が受け付けた音声指示に対応するジョブを中断させ、前記第２の音声制御装置が受け付けた他の音声指示に対応する他のジョブを割り込み実行させることを特徴とする請求項６記載の情報処理システム。

【請求項8】

前記制御手段は、前記情報処理装置が前記他のジョブを完了した後、中断していた前記第１の音声制御装置が受け付けた音声指示に対応するジョブを前記情報処理装置に再開させることを特徴とする請求項７記載の情報処理システム。

【請求項9】

前記他の音声指示が前記情報処理装置の状態確認要求である場合、前記制御手段は、前記情報処理装置の操作権限を前記第１の音声制御装置に設定したまま保持することを特徴とする請求項６乃至８のいずれか１項に記載の情報処理システム。

【請求項10】

前記情報処理装置と前記第１の音声制御装置又は前記第２の音声制御装置とを中継するサーバを更に有し、
前記サーバは、前記制御手段を備えることを特徴とする請求項１乃至９のいずれか１項に記載の情報処理システム。

【請求項11】

前記第１の音声制御装置及び前記第２の音声制御装置の一方を優先装置に設定する手段を更に有し、
前記制御手段は、前記優先装置に設定された音声制御装置が受け付けた音声指示に対応するジョブを前記情報処理装置に優先的に実行させることを特徴とする請求項１記載の情報処理システム。

【請求項12】

前記第２の音声制御装置が前記優先装置に設定され、
前記第１の音声制御装置が受け付けた音声指示に対応するジョブを前記情報処理装置が実行している最中に前記第２の音声制御装置が他の音声指示を受け付けた場合、前記制御手段は、前記情報処理装置に対し、前記第１の音声制御装置が受け付けた音声指示に対応するジョブを中断させ、前記第２の音声制御装置が受け付けた他の音声指示に対応する他のジョブを割り込み実行させることを特徴とする請求項１１記載の情報処理システム。

【請求項13】

情報処理装置と、前記情報処理装置に対する音声指示を受け付ける第１の音声制御装置と、前記情報処理装置に対する音声指示を受け付ける第２の音声制御装置とを備える情報処理システムの制御方法であって、
前記第１の音声制御装置と前記第２の音声制御装置のうちどちらが優先される装置であるかの情報に基づいて前記情報処理装置にジョブを実行させる制御を行う制御工程を有することを特徴とする情報処理システムの制御方法。

【請求項14】

請求項１乃至１２のうちいずれか１項に記載の情報処理システムの各手段をコンピュータに実行させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、情報処理システム、情報処理システムの制御方法、及びプログラムに関する。

【背景技術】

【0002】

ユーザの発話によって印刷ジョブを投入するシステムが知られている（例えば、特許文献１参照）。昨今は、スマートスピーカの普及により、ネットワーク越しにスマートスピーカと情報処理装置を連携させることで、上述したシステムの構築が容易となってきている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１６－３５５１４号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

ここで、従来では、複数のスマートスピーカが１つの情報処理装置に連携するケースについて検討されていなかった。複数のスマートスピーカが１つの情報処理装置と連携する構成において、複数のスマートスピーカが略同時に指示が来た場合に競合する虞がある。このため、このような競合状態に適切に対応できるシステムが望まれる。

【0005】

本発明の目的は、複数のスマートスピーカが１つの情報処理装置と連携する構成において指示の競合状態に適切に対応することができる情報処理システム、情報処理システムの制御方法、及びプログラムを提供することにある。

【課題を解決するための手段】

【0006】

上記目的を達成するために、本発明の情報処理システムは、情報処理装置と、前記情報処理装置に対する音声指示を受け付ける第１の音声制御装置と、前記情報処理装置に対する音声指示を受け付ける第２の音声制御装置とを備える情報処理システムであって、前記第１の音声制御装置と前記第２の音声制御装置のうちどちらが優先される装置であるかの情報に基づいて前記情報処理装置にジョブを実行させる制御を行う制御手段を有することを特徴とする情報処理システム。

【発明の効果】

【0007】

本発明によれば、複数のスマートスピーカが１つの情報処理装置と連携する構成において指示の競合状態に適切に対応することができる。

【図面の簡単な説明】

【0008】

【図1】本発明の実施の形態に係る情報処理システムの機能を説明するための図である。

【図2】図１の画像形成装置の構成を概略的に示すブロック図である。

【図3】図１の音声制御装置の構成を概略的に示すブロック図である。

【図4】図１のクラウドサーバの構成を概略的に示すブロック図である。

【図5】図１の画像形成装置が実行するデバイス制御プログラムの機能構成を示すブロック図である。

【図6】図１の音声制御装置が実行する音声制御プログラムの機能構成を示すブロック図である。

【図7A】図１のクラウドサーバが実行する音声データ変換制御プログラムの機能構成を示すブロック図である。

【図7B】図７ＡのグループＩＤ判定部が用いるグループＩＤリストの一例を示す図である。

【図8】図１の情報処理システムにおける画像形成装置の登録の流れを説明するためのシーケンス図である。

【図9】図１の情報処理システムにおける音声制御装置の登録の流れを説明するためのシーケンス図である。

【図10】第１の実施の形態の情報処理システムによる音声操作制御の第１の例を示すシーケンス図である。

【図11】図１の情報処理システムにおける音声制御装置の優先度を設定する際の画面遷移を示す図である。

【図12】第１の実施の形態の情報処理システムによる音声操作制御の第２の例を示すシーケンス図である。

【図13】図１２のステップＳ１２０９、Ｓ１２２６、Ｓ１２４７、Ｓ１２５７の操作権限設定処理の手順を示すフローチャートである。

【図14】第１の実施の形態の情報処理システムによる音声操作制御の第３の例を示すシーケンス図である。

【図15】図１３の操作権限設定処理の他の手順を示すフローチャートである。

【図16】図７Ａのデバイス操作権限管理部の構成を概略的に示すブロック図である。

【図17】図７Ａのデバイス操作権限管理部の内部動作を説明するためのシーケンス図である。

【図18】図１６の操作権限記憶部の構成を説明するための図である。

【図19】第２の実施の形態の情報処理システムにおける画像形成装置の登録の第１の例を説明するためのシーケンス図である。

【図20】第２の実施の形態の情報処理システムにおける画像形成装置の優先装置を設定する際の画面遷移を示す図である。

【図21】図１９のステップ１９０４の画像形成装置登録処理の手順を示すフローチャートである。

【図22】図１のクラウドサーバが用いる画像形成装置サービスデータリストの一例を示す図である。

【図23】図１のクラウドサーバが用いるニックネームデータリストの一例を示す図である。

【図24】図１９のステップＳ１９０９、Ｓ１９１６の画像形成装置判定処理の手順を示すフローチャートである。

【図25】図１９のステップＳ１９１１の音声制御装置リスト取得処理の手順を示すフローチャートである。

【図26】図１のクラウドサーバが用いる音声制御装置サービスデータリストの一例を示す図である。

【図27】図１９のステップＳ１９１７の優先装置登録処理の手順を示すフローチャートである。

【図28】第２の実施の形態の情報処理システムによる音声操作制御の第１の例を示すシーケンス図である。

【図29】図１のクラウドサーバによって生成される通常プリントジョブコマンドの一例を示す図である。

【図30】図１のクラウドサーバによって生成される高優先プリントジョブコマンドの一例を示す図である。

【図31】図２８のステップＳ２８０９、Ｓ２８２６のプリントジョブコマンド生成処理の手順を示すフローチャートである。

【図32】図１のクラウドサーバが用いるファイル管理リストの一例を示す図である。

【図33】図３１のステップＳ３１１２のコマンド生成処理の手順を示すフローチャートである。

【図34】図１のクラウドサーバが用いるジョブ情報設定規則の一例を示す図である。

【図35】図２８のステップＳ２８１１、Ｓ２８２８のプリントジョブ実行処理の手順を示すフローチャートである。

【図36】図２８のステップＳ２８４６のプリントジョブ再開処理の手順を示すフローチャートである。

【図37】第２の実施の形態の情報処理システムによる音声操作制御の第２の例を示すシーケンス図である。

【図38】第２の実施の形態の情報処理システムにおける画像形成装置の登録の第２の例を説明するためのシーケンス図である。

【図39】第２の実施の形態の情報処理システムにおける画像形成装置の優先装置を設定する際の画面遷移を示す図である。

【図40】図３８のステップＳ３８１７の音声制御装置判定処理の手順を示すフローチャートである。

【発明を実施するための形態】

【0009】

以下、本発明の実施の形態について図面を参照しながら詳述する。まず、本発明の第１の実施の形態に係る情報処理システム及びその制御方法について説明する。

【0010】

図１は、本発明の実施の形態に係る情報処理システム１００の機能を説明するための図である。情報処理システム１００は、クラウドサーバ１０３、複数の音声制御装置、少なくとも１台の画像形成装置で構成される。本実施の形態では、一例として、クラウドサーバ１０３と、２台の音声制御装置１０２及び音声制御装置１０７と、２台の画像形成装置１０１及び画像形成装置１１０を備える情報処理システム１００について説明する。

【0011】

音声制御装置１０２、音声制御装置１０７、画像形成装置１０１、画像形成装置１１０、クライアント端末１０９は、ゲートウェイ１０５及びネットワーク１０４を介して互いに通信可能である。また、音声制御装置１０２、音声制御装置１０７、画像形成装置１０１、画像形成装置１１０、クライアント端末１０９は、ゲートウェイ１０５及びインターネットを介してクラウドサーバ１０３と通信可能である。

【0012】

音声制御装置１０２及び音声制御装置１０７は、例えば、ユーザ１０６の音声操作開始指示に従って、ユーザ１０６の音声を録音し、録音した音声を符号化して音声データを生成し、当該音声データをクラウドサーバ１０３へ送信する。音声制御装置１０２及び音声制御装置１０７は、スマートスピーカやスマートフォン等といった音声によりユーザとコミュニケーション可能な音声入出力装置である。なお、本実施の形態では、音声制御装置が画像形成装置と独立した構成となっているが、この構成に限られない。例えば、画像形成装置が、音声制御装置を構成する後述する図３のハードウェア及び後述する図６のソフトウエアの少なくとも一方を備えていてもよい。

【0013】

画像形成装置１０１及び画像形成装置１１０は、コピー、スキャン、プリント、ＦＡＸ等の複数の機能を備える複合機である。なお、画像形成装置１０１及び画像形成装置１１０は、プリンタやスキャナ等といった単体の機能を備える装置であってもよい。

【0014】

クラウドサーバ１０３は、１つ以上のクラウドサーバにより構成されている。クラウドサーバ１０３は、連携する音声制御装置と画像形成装置とを中継するサーバである。クラウドサーバ１０３は、音声認識を行い、また、画像形成装置１０１や画像形成装置１１０を制御するための情報処理を行う。例えば、クラウドサーバ１０３は、音声制御装置１０２から受信したユーザ１０６の音声データの音声認識を行い、音声認識の結果から画像形成装置１０１の画面操作やジョブの実行に関わるワードを判定する。なお、ジョブは、画像形成装置１０１がプリントエンジン２１１やスキャナ２１３を用いて実現する一連の画像形成処理、例えば、コピー、スキャン、プリント等の実行単位を示す。また、クラウドサーバ１０３は、音声認識の結果やワードの判定結果に基づいてテキストを生成し、このテキストの内容を音声制御装置１０２に音声再生するための音声合成データを生成する。

【0015】

クライアント端末１０９は、例えば、ユーザ１０６が使用するパーソナルコンピュータ（ＰＣ）である。クライアント端末１０９は、例えば、印刷対象となる電子ファイルを画像形成装置１０１や画像形成装置１１０に送信する。なお、電子ファイルは、クライアント端末１０９やインターネット上のサーバ（不図示）に格納されていてもよく、また、画像形成装置１０１のストレージや画像形成装置１１０のストレージに格納されていてもよい。また、クライアント端末１０９は、画像形成装置１０１や画像形成装置１１０がスキャンして生成した画像データを受信する。ネットワーク１０４は、音声制御装置１０２、音声制御装置１０７、画像形成装置１０１、画像形成装置１１０、クライアント端末１０９、ゲートウェイ１０５を互いに接続する。

【0016】

ゲートウェイ１０５は、例えば、ＩＥＥＥ８０２．１１規格シリーズに準拠した無線ＬＡＮルータ等である。ＩＥＥＥ８０２．１１規格シリーズは、ＩＥＥＥ８０２．１１ａやＩＥＥＥ８０２．１１ｂ等のＩＥＥＥ８０２．１１に属する一連の規格である。なお、ゲートウェイ１０５は、他の無線通信方式に従って動作する能力を有してもよい。また、ゲートウェイ１０５は、無線ＬＡＮルータではなく、１０ＢＡＳＥ－Ｔ、１００ＢＡＳＥＴ、１０００ＢＡＳＥ－Ｔ等に代表されるＥｔｈｅｒｎｅｔ規格に準拠した有線ＬＡＮルータ等でもよく、他の有線通信方式に従って動作する能力を有してもよい。

【0017】

次に、画像形成装置１０１及び画像形成装置１１０の構成について説明する。なお、本実施の形態では、画像形成装置１０１及び画像形成装置１１０は同様の構成であり、以下では、一例として、画像形成装置１０１を用いてその構成を説明する。また、以下では、画像形成装置１１０の構成要素について、画像形成装置１０１の構成要素の符号の末尾に「’」を付して説明する。

【0018】

図２は、図１の画像形成装置１０１の構成を概略的に示すブロック図である。図２において、画像形成装置１０１は、制御部２００、操作パネル２０９、プリントエンジン２１１、及びスキャナ２１３を備える。制御部２００は、操作パネル２０９、プリントエンジン２１１、及びスキャナ２１３と接続されている。また、制御部２００は、ＣＰＵ２０２、ＲＡＭ２０３、ＲＯＭ２０４、ストレージ２０５、ネットワークＩ／Ｆ２０６、ディスプレイコントローラ２０７、操作Ｉ／Ｆ２０８、プリントコントローラ２１０、及びスキャンコントローラ２１２を備える。これらはシステムバス２０１を介して互いに接続されている。なお、ＣＰＵは、Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔの略称である。

【0019】

ＣＰＵ２０２は、画像形成装置１０１全体の動作を制御する。ＣＰＵ２０２は、ＲＯＭ２０４やストレージ２０５に記憶された制御プログラムを読み出して、読取制御や印刷制御等の各種制御を行う。ＲＡＭ２０３は、ＣＰＵ２０２の主記憶メモリである。ＲＡＭ２０３は、ワークエリアとして、また、ＲＯＭ２０４及びストレージ２０５に記憶された各種制御プログラムを展開するための一時記憶領域として用いられる。ＲＯＭ２０４は、ＣＰＵ２０２が実行する制御プログラム等を記憶する。ストレージ２０５は、印刷データ、画像データ、プログラム、設定情報等を記憶する。

【0020】

なお、本実施の形態では、１つのＣＰＵ２０２が１つのメモリ（ＲＡＭ２０３）を用いて後述するフローチャートに示す各処理を実行する構成について説明するが、この構成に限られない。例えば、複数のＣＰＵ、ＲＡＭ、ＲＯＭ、及びストレージを協働させて後述するフローチャートに示す各処理を実行させてもよい。また、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）やＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）等のハードウェア回路を用いて一部の処理を実行するようにしてもよい。

【0021】

ネットワークＩ／Ｆ２０６は、画像形成装置１０１がネットワーク１０４を介して外部装置と通信するためのインタフェースである。例えば、画像形成装置１０１は、ネットワークＩ／Ｆ２０６により、印刷データを受信し、受信した印刷データをＰＤＬ解析モジュール（不図示）によって解析する。ＰＤＬ解析モジュールは、印刷データを解析するためのソフトウェアモジュールであり、ストレージ２０５やＲＯＭ２０４に記憶されている。ＰＤＬ解析モジュールは、様々な種類のページ記述言語（Ｐａｇｅ Ｄｅｓｃｒｉｐｔｉｏｎ Ｌａｎｇｕａｇｅ）で表現された印刷データに基づいて、プリントエンジン２１１が印刷するためのデータを生成する。

【0022】

ディスプレイコントローラ２０７は、操作パネル２０９と接続されている。操作パネル２０９は、ディスプレイコントローラ２０７によって制御された画面を表示する。ユーザが操作パネル２０９を操作すると、画像形成装置１０１は、操作Ｉ／Ｆ２０８を介してユーザ操作に対応したイベントを取得する。

【0023】

プリントコントローラ２１０は、プリントエンジン２１１と接続されている。印刷対象となる画像データは、プリントコントローラ２１０を介してプリントエンジン２１１へ転送される。プリントエンジン２１１は、プリントコントローラ２１０から制御コマンド及び画像データを受信し、この画像データに基づいて画像をシート上に形成する。なお、プリントエンジン２１１の印刷方式は、電子写真方式であってもよく、インクジェット方式であってもよい。プリントエンジン２１１の印刷方式が電子写真方式である場合、プリントエンジン２１１は、感光体（不図示）上に静電潜像を形成した後にトナーによって現像し、そのトナー像をシートに転写し、転写されたトナー像を定着することにより画像を形成する。一方、プリントエンジン２１１の印刷方式がインクジェット方式である場合、プリントエンジン２１１は、インクを吐出してシートに画像を形成する。

【0024】

スキャンコントローラ２１２は、スキャナ２１３と接続されている。スキャナ２１３は、セットされた原稿上の画像を読み取って画像データを生成する。スキャナ２１３は、原稿フィーダ（不図示）を備え、原稿フィーダにセットされた原稿を１枚ずつ搬送させながら読み取ることが可能である。スキャナ２１３によって生成された画像データはストレージ２０５に記憶される。また、画像形成装置１０１は、スキャナ２１３が生成した画像データを用いて、シート上に画像を形成することができる。

【0025】

次に、音声制御装置１０２及び音声制御装置１０７の構成について説明する。なお、本実施の形態では、音声制御装置１０２及び音声制御装置１０７は同様の構成であり、以下では、一例として、音声制御装置１０２を用いてその構成を説明する。また、以下では、音声制御装置１０７の構成要素について、音声制御装置１０２の構成要素の符号の末尾に「’」を付して説明する。

【0026】

図３は、図１の音声制御装置１０２の構成を概略的に示すブロック図である。図３において、音声制御装置１０２は、コントローラ部３００、マイクロフォン３０８、スピーカ３１０、及びＬＥＤ３１２を備える。コントローラ部３００は、マイクロフォン３０８、スピーカ３１０、及びＬＥＤ３１２と接続されている。また、コントローラ部３００は、ＣＰＵ３０２、ＲＡＭ３０３、ＲＯＭ３０４、ストレージ３０５、ネットワークＩ／Ｆ３０６、マイクＩ／Ｆ３０７、オーディオコントローラ３０９、及び表示コントローラ３１１を備える。これらは、システムバス３０１を介して互いに接続されている。

【0027】

ＣＰＵ３０２は、コントローラ部３００全体の動作を制御する中央演算装置である。ＲＡＭ３０３は揮発性メモリである。ＲＯＭ３０４は不揮発性メモリであり、ＣＰＵ３０２の起動プログラム、音声制御装置１０２を特定するためのＩＤである音声制御装置１０２のシリアル番号を格納する。ストレージ３０５は、ＲＡＭ３０３より記憶容量が大きい記憶デバイス、例えば、ＳＤカードである。なお、ストレージ３０５は、ＳＤカードに限られず、ＳＤカードと同等の機能を有する他の記憶デバイス、例えば、フラッシュＲＯＭであってもよい。ストレージ３０５には、例えば、コントローラ部３００が実行する制御プログラム、音声制御装置１０２が利用するサービスのサービスＵＲＬが格納されている。

【0028】

ＣＰＵ３０２は、音声制御装置１０２の電源ＯＮ等の起動時に、ＲＯＭ３０４に格納されている起動プログラムを実行する。この起動プログラムは、ストレージ３０５に格納されている制御プログラムを読み出して当該制御プログラムをＲＡＭ３０３上に展開するためのプログラムである。ＣＰＵ３０２は、起動プログラムを実行すると、続けてＲＡＭ３０３上に展開した制御プログラムを実行し、各種制御を行う。また、ＣＰＵ３０２は、制御プログラムの実行時に用いるデータをＲＡＭ３０３上に格納し、当該データの読み書きを行う。ストレージ３０５には更に、制御プログラムの実行時に必要となる各種設定データ等が格納され、ＣＰＵ３０２はこれらの設定データの読み書きを行う。ＣＰＵ３０２は、ネットワークＩ／Ｆ３０６を介してネットワーク１０４上の他の機器と通信を行う。

【0029】

ネットワークＩ／Ｆ３０６は、ＩＥＥＥ８０２．１１規格シリーズに準拠した無線通信方式に従って通信を行うための回路やアンテナを含む。なお、ネットワークＩ／Ｆ３０６の通信方式は、無線通信方式に限定されず、例えば、Ｅｔｈｅｒｎｅｔ規格に準拠した有線通信方式であってもよい。

【0030】

マイクＩ／Ｆ３０７は、マイクロフォン３０８に接続されている。マイクＩ／Ｆ３０７は、ユーザが発した音声をマイクロフォン３０８が受けた際に、当該音声を符号化して音声データに変換し、ＣＰＵ３０２から受けた指示に従って当該音声データをＲＡＭ３０３に保持する。

【0031】

マイクロフォン３０８は、例えば、スマートフォン等に搭載される小型のＭＥＭＳマイクロフォンである。なお、マイクロフォン３０８は、ＭＥＭＳマイクロフォンに限られず、ユーザの音声を取得できるものであれば他のデバイスであってもよい。また、マイクロフォン３０８は、ユーザが発した音声の到来方向を算出できるように、３個以上を所定の位置に配して用いることが好ましい。ただし、マイクロフォン３０８が１個であっても本発明を実現でき、３個以上にこだわるものではない。

【0032】

オーディオコントローラ３０９は、スピーカ３１０に接続されている。オーディオコントローラ３０９は、ＣＰＵ３０２から受けた指示に従って、音声データをアナログ音声信号に変換し、スピーカ３１０を通じて音声を出力する。スピーカ３１０は音声を再生するための汎用のデバイスである。スピーカ３１０は、音声制御装置１０２が応答していることを表す応答音や、クラウドサーバ１０３によって生成された音声合成データに基づいて音声を出力する。

【0033】

表示コントローラ３１１は、ＬＥＤ３１２に接続され、ＣＰＵ３０２から受けた指示に従ってＬＥＤ３１２の点灯制御を行う。例えば、表示コントローラ３１１は、音声制御装置１０２がユーザの音声を正しく入力していることを示すためのＬＥＤ３１２の点灯制御を行う。ＬＥＤ３１２は、例えば、ユーザが可視可能な青色等のＬＥＤである。なお、本実施の形態では、音声制御装置１０２が、ＬＥＤ３１２の代わりに、文字や絵を表示可能なディスプレイ装置を備えていてもよい。

【0034】

図４は、図１のクラウドサーバ１０３の構成を概略的に示すブロック図である。図４において、クラウドサーバ１０３は、ＣＰＵ４０２、ＲＡＭ４０３、ＲＯＭ４０４、ストレージ４０５、及びネットワークＩ／Ｆ４０６を備える。これらは、システムバス４０１を介して互いに接続されている。

【0035】

ＣＰＵ４０２は、クラウドサーバ１０３全体の動作を制御する中央演算装置である。ＲＡＭ４０３は揮発性メモリである。ＲＯＭ４０４は、不揮発性メモリであり、ＣＰＵ４０２の起動プログラム等を格納する。ストレージ４０５は、ＲＡＭ４０３より記憶容量が大きい記憶装置、例えば、ハードディスクドライブ（以下、「ＨＤＤ」とする。）である。なお、ストレージ４０５は、ＨＤＤに限られず、ＨＤＤと同等の機能を有する他の記憶装置、例えば、ソリッドステートドライブ（以下、「ＳＳＤ」とする。）でもあってもよい。ストレージ４０５には、例えば、ＣＰＵ４０２が実行する制御プログラムが格納されている。

【0036】

ＣＰＵ４０２は、クラウドサーバ１０３の電源ＯＮ等の起動時、ＲＯＭ４０４に格納されている起動プログラムを実行する。この起動プログラムは、ストレージ４０５に格納されている制御プログラムを読み出して当該制御プログラムをＲＡＭ４０３上に展開するためのプログラムである。ＣＰＵ４０２は、起動プログラムを実行すると、続けてＲＡＭ４０３上に展開した制御プログラムを実行し、各種制御を行う。また、ＣＰＵ４０２は、制御プログラムの実行時に用いるデータをＲＡＭ４０３上に格納し、当該データの読み書きを行う。ストレージ４０５には更に、制御プログラムの実行時に必要な各種設定データが格納され、ＣＰＵ４０２はこれら設定データの読み書きを行う。ＣＰＵ４０２は、ネットワークＩ／Ｆ４０６を介してネットワーク１０４上の他の機器と通信を行う。

【0037】

図５は、図１の画像形成装置１０１及び画像形成装置１１０が実行するデバイス制御プログラム５００の機能構成を示すブロック図である。図５において、デバイス制御プログラム５００は、データ送受信部５０１、データ解析部５０２、ジョブ制御部５０３、データ管理部５０４、表示部５０５、操作対象判定部５０６、スキャン部５０７、及びプリンタ部５０８で構成される。例えば、画像形成装置１０１において、デバイス制御プログラム５００はＲＯＭ２０４に格納され、ＣＰＵ２０２が起動時にデバイス制御プログラム５００をＲＡＭ２０３上に展開して実行する。なお、以下では、画像形成装置１０１のＣＰＵ２０２がデバイス制御プログラム５００を実行した場合を例に、上述した各構成要素の機能について説明する。

【0038】

データ送受信部５０１は、ネットワークＩ／Ｆ２０６を介して、ネットワーク１０４上の他の機器とＴＣＰ／ＩＰによるデータの送受信を画像形成装置１０１に行わせる。例えば、データ送受信部５０１により、画像形成装置１０１は、クラウドサーバ１０３が生成するデバイス操作データを受信する。また、データ送受信部５０１により、画像形成装置１０１は、クラウドサーバ１０３へ、ジョブの実行結果等を示す画面の表示内容が更新されたことを示す画面更新通知、及びジョブの状態を示すジョブ実行状態通知を送信する。

【0039】

データ解析部５０２は、クラウドサーバ１０３から受信したデバイス操作データをジョブ制御部５０３、データ管理部５０４、表示部５０５に対応する複数のコマンドに変換し、各コマンドをジョブ制御部５０３、データ管理部５０４、表示部５０５に出力する。

【0040】

ジョブ制御部５０３は、プリントコントローラ２１０を介してプリントエンジン２１１を制御し、また、スキャンコントローラ２１２を介してスキャナ２１３を制御する。例えば、表示部５０５が操作パネル２０９に表示されたコピー機能画面におけるスタートキーの押下を検知した場合、ジョブ制御部５０３は、操作対象判定部５０６からコピージョブのパラメータとジョブの開始指示を受信する。ジョブ制御部５０３は、受信したコピージョブのパラメータに基づいて、スキャナ２１３によって読み取られた画像データをプリントエンジン２１１がシートに印刷するように制御する。

【0041】

データ管理部５０４は、デバイス制御プログラム５００の実行において生成された作業データや、各デバイス制御に必要となる設定パラメータ等のデータをＲＡＭ２０３及びストレージ２０５上の所定の領域へ保存して管理する。例えば、データ管理部５０４は、ジョブ制御部５０３が使用するジョブデータや操作パネル２０９に表示する言語の情報である言語設定等をＲＡＭ２０３及びストレージ２０５に保存する。ジョブデータは、ジョブの各設定項目及び設定値の組み合わせから成るデータである。また、データ管理部５０４は、ゲートウェイ１０５との通信に必要となる認証情報、クラウドサーバ１０３と通信するために必要となるデバイス情報、画像形成対象の画像データをＲＡＭ２０３及びストレージ２０５に保存する。更に、データ管理部５０４は、表示部５０５が画面表示制御に用いる画面制御情報や、操作対象判定部５０６が操作対象を判定するために用いる操作対象判定情報をＲＡＭ２０３及びストレージ２０５に保存する。画面制御情報と操作対象判定情報は、表示部５０５が表示する画面毎に管理される。

【0042】

表示部５０５は、ディスプレイコントローラ２０７を介して操作パネル２０９を制御する。より具体的には、表示部５０５は、ユーザが操作可能なＵＩ部品（ボタン、プルダウンリスト、チェックボックス等）を操作パネル２０９に表示する。操作パネル２０９に表示される画面は、画面表示制御情報に基づいて更新される。例えば、表示部５０５は、データ管理部５０４に保存されている言語設定に対応する言語辞書をストレージ２０５から取得し、言語辞書に基づいてテキストデータを画面に表示する。

【0043】

操作対象判定部５０６は、操作パネル２０９においてユーザにタッチされた位置を示す座標を、操作Ｉ／Ｆ２０８から取得する。操作対象判定部５０６は、この時に操作パネル２０９に表示されているユーザが操作可能なＵＩ部品を操作対象として判定し、操作対象として判定したＵＩ部品に対応する画面表示制御情報を読み出し、当該画面表示制御情報に基づいて操作受付時の処理内容を決定する。例えば、操作対象判定部５０６は、表示部５０５に対して画面の表示内容の更新指示を出したり、ユーザ操作により設定されたジョブのパラメータ及び当該ジョブの開始指示をジョブ制御部５０３に送信したりする。

【0044】

スキャン部５０７は、ジョブ制御部５０３のスキャンジョブパラメータ設定に基づいて、スキャンコントローラ２１２を介してスキャナ２１３にスキャンを実行させ、読み取った画像データをデータ管理部５０４に保存する。プリンタ部５０８は、ジョブ制御部５０３のプリントジョブパラメータ設定に基づいて、プリントコントローラ２１０を介してプリントエンジン２１１に印刷を実行させる。

【0045】

図６は、図１の音声制御装置１０２及び音声制御装置１０７が実行する音声制御プログラム６００の機能構成を示すブロック図である。図６において、音声制御プログラム６００は、データ送受信部６０１、データ管理部６０２、音声制御部６０３、音声取得部６０４、音声再生部６０５、表示部６０６、音声操作開始検知部６０７、及び発話終了判定部６０８で構成される。例えば、音声制御装置１０２において、音声制御プログラム６００はストレージ３０５に格納され、ＣＰＵ３０２が起動時に音声制御プログラム６００をＲＡＭ３０３上に展開して実行する。なお、以下では、音声制御装置１０２のＣＰＵ３０２が音声制御プログラム６００を実行した場合を例に、上述した各構成要素の機能について説明する。

【0046】

データ送受信部６０１は、ネットワークＩ／Ｆ３０６を介して、ネットワーク１０４上の他の機器とＴＣＰ／ＩＰによるデータの送受信を音声制御装置１０２に行わせる。例えば、データ送受信部６０１により、音声制御装置１０２は、音声制御装置１０２のシリアル番号と、音声取得部６０４によって取得した音声データをクラウドサーバ１０３へ送信する。音声制御装置１０２のシリアル番号は、情報処理システム１００において音声制御装置１０２を識別するための番号である。また、データ送受信部６０１は、ユーザへの応答として生成された音声合成データをクラウドサーバ１０３から受信する。

【0047】

データ管理部６０２は、音声制御プログラム６００の実行において生成した作業データ等の各種データをストレージ３０５の所定の領域へ保存して管理する。例えば、データ管理部６０２は、音声再生部６０５によって再生される音声の音量設定データや、ゲートウェイ１０５との通信に必要となる認証情報、クラウドサーバ１０３との通信に必要となるデバイス情報等をストレージ３０５に保存する。デバイス情報は、例えば、音声制御装置１０２や音声制御装置１０７のシリアル番号を含む。

【0048】

音声取得部６０４は、マイクロフォン３０８が取得したユーザのアナログ音声を、音声データに変換し、当該音声データをＲＡＭ３０３に一時保存する。音声データは、ＭＰ３等の所定のフォーマットに変換され、更にクラウドサーバ１０３に送信するために符号化されたデータである。音声取得部６０４による処理の開始及び終了の各タイミングは、音声制御部６０３によって管理される。なお、音声データの符号化は、汎用のストリーミング用フォーマットでもよく、また、符号化された音声データを順次、データ送受信部６０１によって送信するようにしてもよい。

【0049】

音声再生部６０５は、クラウドサーバ１０３から受信した音声合成データを、オーディオコントローラ３０９を介してスピーカ３１０に再生させる。音声再生部６０５による音声合成データの再生タイミングは、音声制御部６０３によって管理される。

【0050】

表示部６０６は、表示コントローラ３１１を介してＬＥＤ３１２の点灯制御を行う。例えば、音声操作開始検知部６０７が音声指示を検知した場合に、表示部６０６はＬＥＤ３１２を点灯させる。ＬＥＤ３１２の点灯タイミングは、音声制御部６０３によって管理される。

【0051】

音声操作開始検知部６０７は、ユーザが発したウェイクワード、又は音声制御装置１０２の操作開始キー（不図示）の押下を検知し、音声制御部６０３へ操作開始通知を送信する。ウェイクワードとは、対話セッションを開始するための音声ワードであり、予め決められている。音声操作開始検知部６０７は、マイクロフォン３０８が取得したユーザのアナログ音声から、常時ウェイクワードを検知する。ユーザはウェイクワードを発し、続けて自身が行いたいことを発することで画像形成装置１０１や画像形成装置１１０の操作を行うことができる。音声操作開始検知部６０７がウェイクワードを検知してからの音声処理については後述する。

【0052】

発話終了判定部６０８は、音声取得部６０４による処理の終了タイミングを判定する。例えば、ユーザの音声が所定の時間（例えば３秒）途切れたときにユーザの発話が終了したと判定し、音声制御部６０３へ発話終了通知を送信する。なお、発話終了判定部６０８は、発話が無い時間（以下、「空白時間」という。）ではなく、ユーザが発した所定の語句から発話終了の判定を行ってもよい。例えば、ユーザが「はい」、「いいえ」、「ＯＫ」、「キャンセル」、「終了」、「スタート」、「開始」等の所定の語句を発した場合、発話終了判定部６０８は、上記所定の時間を待たずに発話終了と判定してもよい。また、音声制御装置１０２や音声制御装置１０７ではなく、クラウドサーバ１０３が発話終了の判定を行ってもよく、クラウドサーバ１０３は、ユーザの発話内容の意味や文脈から発話の終了を判定するようにしてもよい。

【0053】

音声制御部６０３は、音声制御プログラム６００における各モジュールが相互に連携して動作するように制御する。例えば、音声制御部６０３は、音声取得部６０４、音声再生部６０５、表示部６０６による処理の開始や終了の制御を行う。また、音声制御部６０３は、音声取得部６０４が音声データを取得した後、音声データをデータ送受信部６０１によってクラウドサーバ１０３へ送信するように制御する。更に、音声制御部６０３は、データ送受信部６０１がクラウドサーバ１０３から音声合成データを受信した後、音声再生部６０５が音声合成データを再生するように制御する。

【0054】

次に、音声取得部６０４、音声再生部６０５、表示部６０６による処理の開始及び終了のタイミングについて説明する。

【0055】

例えば、ユーザがウェイクワードを発し、続けて「コピーしたい」と発したとする。このとき、音声操作開始検知部６０７が、ウェイクワードの音声を検知し、音声制御部６０３に操作開始通知を送信する。音声制御部６０３は、操作開始通知を受信すると、音声取得部６０４に処理を開始させる。音声取得部６０４は、ウェイクワードに続けて発せられた「コピーしたい」というアナログ音声を取得し、取得したアナログ音声を音声データへ変換して一時的に保存する。発話終了判定部６０８は、ユーザが「コピーしたい」を発した後に当該ユーザの音声が所定の時間（例えば３秒）途切れると、発話終了通知を音声制御部６０３へ送信する。音声制御部６０３は、発話終了通知を受信すると、音声取得部６０４に処理を終了させる。なお、音声取得部６０４が処理を開始してから終了するまでの状態を発話処理状態と呼ぶこととする。表示部６０６は、発話処理状態の間、ＬＥＤ３１２を点灯させる。

【0056】

音声制御部６０３は、ユーザによる発話が終了したと判定すると、音声取得部６０４が一時的に保存した音声データをデータ送受信部６０１によってクラウドサーバ１０３へ送信し、クラウドサーバ１０３からの応答を待つ。クラウドサーバ１０３からの応答は、例えば、応答であることを示すヘッダ部と、音声合成データから成る応答メッセージある。音声制御部６０３は、データ送受信部６０１がクラウドサーバ１０３から応答メッセージを受信すると、音声再生部６０５に音声合成データを再生させる。音声合成データを再生すると、例えば、「コピー画面を表示します」といった音声がスピーカ３１０から出力される。なお、ユーザによる発話が終了したと判定されてから音声合成データの再生が終了するまでの状態を応答処理状態と呼ぶこととする。表示部６０６は、応答処理状態の間、ＬＥＤ３１２を点滅させる。

【0057】

応答処理の後、対話セッションが継続している間、ユーザはウェイクワードを発話することなく、続けて自身の行いたいことを発話することができる。対話セッションの終了判定は、クラウドサーバ１０３が行い、音声制御装置１０２や音声制御装置１０７に対話セッション終了通知を送信することで行う。なお、対話セッションの終了から次の対話セッションの開始までの状態を待機状態と呼ぶこととする。音声操作開始検知部６０７から操作開始通知が送信されるまで、音声制御装置１０２は常時待機状態となる。表示部６０６は、待機状態の間、ＬＥＤ３１２を消灯させる。

【0058】

図７Ａ及び図７Ｂは、図１のクラウドサーバ１０３が実行する音声データ変換制御プログラム７００を説明するための図である。図７Ａは、音声データ変換制御プログラム７００の機能構成を示すブロック図である。音声データ変換制御プログラム７００はストレージ４０５に格納され、ＣＰＵ４０２が起動時に音声データ変換制御プログラム７００をＲＡＭ４０３上に展開して実行する。図７Ａにおいて、音声データ変換制御プログラム７００は、データ送受信部７０１、データ管理部７０２、デバイス操作データ生成部７０３、デバイス操作権限管理部７０４、及び音声データ変換部７１０で構成される。音声データ変換部７１０は、音声認識部７０５、形態素解析部７０６、グループＩＤ判定部７０７、音声合成部７０８、及びファイル名判定部７０９を含む。

【0059】

データ送受信部７０１は、ネットワークＩ／Ｆ４０６を介して、ネットワーク１０４上の他の機器とＴＣＰ／ＩＰによるデータの送受信をクラウドサーバ１０３に行わせる。例えば、データ送受信部７０１により、クラウドサーバ１０３は、音声制御装置１０２や音声制御装置１０７からユーザの音声データを受信する。また、データ送受信部７０１により、クラウドサーバ１０３は、グループＩＤ判定部７０７によって判定されたグループＩＤや、音声認識部７０５による音声認識処理にて得られたテキストデータの判定結果を送信する。

【0060】

データ管理部７０２は、音声データ変換制御プログラム７００の実行において生成された作業データや、音声データ変換部７１０が音声認識処理を実施する際に必要となるパラメータ等をストレージ４０５上の所定の領域へ保存して管理する。例えば、データ管理部７０２は、データ送受信部７０１によって受信した対話セッション開始通知に含まれるデバイスＩＤから、対応するサービスＩＤを特定する。データ管理部７０２は、対話セッションのセッションＩＤ、デバイスＩＤ、サービスＩＤを含む対話セッションデータをＲＡＭ４０３に保存する。また、データ管理部７０２は、データ送受信部７０１によって受信した音声データをテキストへ変換するための音響モデルや言語モデル、形態素解析部７０６によるテキストの形態素解析に用いられる辞書をストレージ４０５に保存して管理する。更に、データ管理部７０２は、グループＩＤ判定部７０７によってグループＩＤを判定するためのグループＩＤリストや、音声合成部７０８による音声合成に用いられる音声データベースをストレージ４０５に保存して管理する。また、データ管理部７０２は、音声制御装置１０２、音声制御装置１０７、画像形成装置１０１、画像形成装置１１０等と通信するために必要となる各デバイス情報をストレージ４０５等に保存して管理する。

【0061】

音声認識部７０５は、データ送受信部７０１が受信したユーザの音声データをテキストに変換する音声認識処理を行う。音声認識処理では、音声認識部７０５は、音響モデルを用いてユーザの音声データを音素に変換し、更に言語モデルを用いて音素を実際のテキストデータに変換する。なお、入力する音声の言語は複数存在してよい。そのため、音声認識処理では、入力された音声データの言語を判定して言語に沿ったテキストデータに変換する第１の音声認識方式が用いられても良い。また、音声認識処理では、入力された音声データを異なる言語の音響モデルを用いて音素に変換し、対応する言語モデルを用いて、言語毎のテキストデータに変換して出力する第２の音声認識方式が用いられても良い。第２の音声認識方式の場合、複数の言語形式でテキストデータに変換するため、音声認識部７０５は音声認識処理の結果として、テキストと言語設定から成る音声認識データを出力する。

【0062】

形態素解析部７０６は、音声認識部７０５によって変換された音声認識データに対し、言語設定に沿った形態素解析を行う。形態素解析は、その言語の文法や品詞等の情報を持つ辞書から形態素列を導出し、更に各形態素の品詞等を判別する。形態素解析部７０６は、例えば、ＪＵＭＡＮ、茶筒、ＭｅＣａｂ等の公知の形態素解析ソフトウエアを用いて実現することができる。例えば、形態素解析部７０６は、音声認識部７０５によって変換された「ＭＦＰ１にファイルＢを１枚プリント」という音声認識データを、「Ｍ」「Ｆ」「Ｐ」「１」、「に」「ファイルＢ」、「を」、「１」、「枚」、「プリント」の形態素列として解析する。

【0063】

グループＩＤ判定部７０７は、形態素解析部７０６による形態素解析の結果と図７ＢのグループＩＤリストとをマッチングすることでグループＩＤを判定し、グループＩＤの判定結果を生成する。一例として、形態素列が「１」、「部」、「プリント」である場合について説明する。この場合、グループＩＤ判定部７０７は、図７ＢのグループＩＤリストから、「１」、「部」、「プリント」のグループＩＤである「ＮＵＭ００００１」、「ＣＮＦ００００１」、「ＦＮＣ００００２」を判定する。グループＩＤ判定部７０７は、グループＩＤの判定結果として、｛ＩＤ：ＮＵＭ００００１、ＩＤ：ＣＮＦ００００１、ＩＤ：ＦＮＣ００００２｝を生成する。グループＩＤリストは、画像形成装置１０１及び画像形成装置１１０のユーザ操作に関して同じ意味や意図を持つワードが同じＩＤとしてグルーピングされている。なお、このワードは、ユーザが音声制御装置１０２や音声制御装置１０７に対して発話する言葉を音声認識した結果である。

【0064】

ファイル名判定部７０９は、形態素解析部７０６によって解析された形態素の中に、例えば、ファイルＡといったファイルキーワードが含まれている場合、ＲＡＭ４０３上に保存されている対話セッションデータからサービスＩＤを取得する。ファイル名判定部７０９は、ストレージ４０５に保存されている後述する図３２のファイル管理リストからサービスＩＤとファイルキーワードをキーにして探索を行い、例えば、ファイルパス「￥ｕｓｅｒ１￥ｆｉｌｅ￥ｆｉｌｅＢ．ＪＰＧ」を取得する。

【0065】

音声合成部７０８は、画像形成装置１０１や画像形成装置１１０から受信した通知データに基づいて音声合成処理を行う。音声合成処理では、音声合成部７０８は、所定の通知に対して、組となる予め用意されたテキストをＭＰ３等の所定のフォーマットの音声データに変換する。例えば、音声合成部７０８は、データ管理部７０２が管理する音声データベースに基づいて音声データを生成する。音声データベースは、例えば、単語等の定型の内容を発した音声を集めたデータベースである。なお、本実施の形態では、音声データベースを用いて音声合成処理を行っているが、音声合成の手法として他の手法を用いてもよく、音声データベースによる手法に限定するものではない。

【0066】

デバイス操作データ生成部７０３は、グループＩＤ判定部７０７によって判定されたグループＩＤと音声認識データの言語設定に基づいて、画像形成装置１０１や画像形成装置１１０の操作を決定し、操作に対応した所定のデータ形式のファイルを生成する。例えば、音声認識データの言語設定が「日本語」であって、グループＩＤ判定結果が｛ＩＤ：ＮＵＭ００００１、ＩＤ：ＣＮＦ００００１、ＩＤ：ＦＮＣ００００２｝である場合について説明する。この場合、デバイス操作データ生成部７０３は、「ＦＮＣ００００２」から画像形成装置１０１又は画像形成装置１１０にプリントジョブを実行させると判断する。デバイス操作データ生成部７０３は、プリントジョブを実行するための「“ｏｐｅｒａｔｉｏｎ”：“ｊｏｂＳｔａｒｔ”」「“ｊｏｂＮａｍｅ”：“Ｐｒｉｎｔ”」という文字列を生成する。また、デバイス操作データ生成部７０３は、「ＮＵＭ００００１」、「ＣＮＦ００００１」に基づいて、コピージョブの部数に１を指定すると判断して、「部数：１」を指定するための「“ｃｏｐｉｅｓ”：“１”」という文字列を生成する。更に、デバイス操作データ生成部７０３は、ファイル名判定部７０９によって取得したファイルパス「￥ｕｓｅｒ１￥ｆｉｌｅ￥ｆｉｌｅＢ．ＪＰＧ」から、ストレージ４０５に保存された画像ファイル「ｆｉｌｅＢ．ＪＰＧ」を参照する。デバイス操作データ生成部７０３は、画像ファイル「ｆｉｌｅＢ．ＪＰＧ」のバイナリデータの文字列を生成する。実際はファイルヘッダ部分を含んだ膨大なデータが文字列として生成されることになるが、本実施の形態では、説明を容易にするために、バイナリデータを仮のデータである「“ｄａｔａ”：“ｙｙｙｙ・・・”」として説明する。

【0067】

また、デバイス操作データ生成部７０３は、形態素解析部７０６によって解析された形態素「Ｍ」「Ｆ」「Ｐ」「１」とＲＡＭ４０３に保存された対話セッションデータのサービスＩＤである「[e-mail]」に基づいて、後述の図２３のニックネームデータリストから画像形成装置１０１のシリアル番号、例えば、「ｍｆｐ＿ｓｅｒｉａｌ１１１」を取得する。デバイス操作データ生成部７０３は、対話セッションデータのサービスＩＤ「[e-mail]」と画像形成装置１０１のシリアル番号「ｍｆｐ＿ｓｅｒｉａｌ１１１」に基づいて後述する図２２の画像形成装置サービスデータリストから取得した優先装置、例えば、「ｓｐｅｅｋｅｒ１」が対話セッションデータの音声制御装置シリアル番号「ｓｐｅｅｋｅｒ１」と一致しているため、優先装置を示す「“ｐｒｉｏｒｉｔｙ“：”ｈｉｇｈ“」を生成する。デバイス操作データ生成部７０３は、生成したこれらの文字列を結合してジョブ実行形式のデータを生成する。

【0068】

デバイス操作権限管理部７０４は、デバイス操作データ生成部７０３によって生成されたジョブ実行形式のデータを受け取るデバイスの操作権限を限定するフラグを管理する。デバイスの操作権限は、音声操作対象となる画像形成装置１０１及び画像形成装置１１０に１つずつ付与されている。例えば、音声制御装置１０２及び音声制御装置１０７のうち、画像形成装置１０１の操作権限を設定された音声制御装置のみが、画像形成装置１０１に対して、クラウドサーバ１０３を介して音声操作可能となる。

【0069】

図８は、図１の情報処理システム１００における画像形成装置の登録の流れを説明するためのシーケンス図である。図８では、一例として、ユーザ１０６が画像形成装置１０１の登録指示を行う場合について説明する。なお、図８では、ユーザ１０６は、クラウドサーバ１０３が管理するサービスＵＲＬ「ｈｔｔｐ：／／ｓｅｒｖｉｃｅ１．ｃｏｍ」に対応するサービスが提供するアプリケーション及びＷｅｂＡＰＩ等を介して、ユーザ情報を予め登録していることとする。ユーザ情報は、サービスＩＤ「[e-mail]」と、これに対応するパスワード「ａａａａ」を含む。上記サービスＩＤ及びパスワードは、クラウドサーバ１０３のストレージ４０５に保存されている。

【0070】

図８において、まず、ユーザ１０６は、画像形成装置１０１の登録操作を行う（ステップＳ８０１）。具体的に、ユーザ１０６は、画像形成装置１０１の操作パネル２０９を操作して、サービスＵＲＬ、サービスＩＤ「[e-mail]」、パスワード「ａａａａ」を入力する。次いで、画像形成装置１０１のＣＰＵ２０２は、ネットワークＩ／Ｆ２０６を介してクラウドサーバ１０３へ画像形成装置１０１の登録要求を送信する（ステップＳ８０２）。画像形成装置１０１の登録要求には、ステップＳ８０１にて入力されたサービスＩＤ及びパスワードが含まれる。また、画像形成装置１０１の登録要求には、画像形成装置１０１のＲＯＭ２０４に保存されている画像形成装置１０１のシリアル番号である「ｍｆｐ＿ｓｅｒｉａｌ１１１」や空文字のニックネームも含まれる。更に、画像形成装置１０１の登録要求には、画像形成装置１０１のＲＡＭ２０３に保存されている画像形成装置１０１のＩＰアドレス、例えば、「ｘｘｘ．ｘｘｘ．ｘｘｘ．ｘｘｘ」も含まれる。

【0071】

クラウドサーバ１０３のＣＰＵ４０２は、受信した画像形成装置１０１の登録要求に含まれるサービスＩＤの判定処理を行う（ステップＳ８０３）。具体的に、ＣＰＵ４０２は、受信した画像形成装置１０１の登録要求に含まれるサービスＩＤ及びパスワードが、予め登録されていたユーザ情報と一致するか否かを判定する。上記サービスＩＤ及びパスワードが予め登録されていたユーザ情報と一致する場合、ＣＰＵ４０２は、画像形成装置１０１の登録処理を行う（ステップＳ８０４）。具体的に、ＣＰＵ４０２は、受信した画像形成装置１０１の登録要求に含まれるサービスＩＤ、パスワード、画像形成装置１０１のシリアル番号、及び画像形成装置１０１のＩＰアドレスを、これらを関連付けてストレージ４０５に保存する。次いで、ＣＰＵ４０２は、ネットワークＩ／Ｆ４０６を介して画像形成装置１０１へ、「登録完了」を示す登録結果を通知する（ステップＳ８０５）。

【0072】

この通知を受けた画像形成装置１０１のＣＰＵ２０２は、「登録完了」を知らせる画面を操作パネル２０９に表示し（ステップＳ８０６）、本処理を終了する。なお、本実施の形態では、ユーザ１０６が画像形成装置１０１を操作して画像形成装置１０１の登録指示を行ったが、ユーザ１０６がクライアント端末１０９を操作して画像形成装置１０１の登録指示を行ってもよい。

【0073】

上述した図８の登録処理により、情報処理システム１００において、画像形成装置１０１に対応付けて設定された音声制御装置が受け付けた音声指示に従って、画像形成装置１０１を音声操作可能となる。

【0074】

図９は、図１の情報処理システム１００における音声制御装置の登録の流れを説明するためのシーケンス図である。図９では、一例として、ユーザ１０６が音声制御装置１０２の登録指示を行う場合について説明する。なお、図９でも、ユーザ１０６が、クラウドサーバ１０３が管理するサービスＵＲＬ「ｈｔｔｐ：／／ｓｅｒｖｉｃｅ１．ｃｏｍ」に対応するサービスが提供するアプリケーション及びＷｅｂＡＰＩ等を介して上記ユーザ情報を予め登録していることとする。

【0075】

図９において、まず、ユーザ１０６は、音声制御装置１０２の電源をオンし（ステップＳ９０１）、音声制御装置１０２をセットアップモードに設定する（ステップＳ９０２）。これにより、音声制御装置１０２は、セットアップモード状態に移行する。音声制御装置１０２のＣＰＵ３０２は、音声制御装置１０２がセットアップモード状態であることを示すＬＥＤ点灯制御を行う。具体的に、ＣＰＵ３０２は、ＬＥＤ３１２を点灯させる（ステップＳ９０３）。

【0076】

次いで、ユーザ１０６は、クライアント端末１０９に対し、音声制御装置１０２の登録指示を行うための設定アプリの起動指示を行う（ステップＳ９０４）。クライアント端末１０９は、起動指示に従って当該設定アプリを起動させ、セットアップモード状態の音声制御装置１０２を探索する（ステップＳ９０５）。

【0077】

探索された音声制御装置１０２のＣＰＵ３０２は、クライアント端末１０９に対して応答を返す（ステップＳ９０６）。応答を受けたクライアント端末１０９は、クラウドサーバ１０３へログイン要求を送信する（ステップＳ９０７）。ログイン要求は、ユーザ１０６が入力したサービスＵＲＬ「ｈｔｔｐ：／／ｓｅｒｖｉｃｅ１．ｃｏｍ」、サービスＩＤ「[e-mail]」、及びパスワード「ａａａａ」を含む。

【0078】

クラウドサーバ１０３のＣＰＵ４０２は、受信したログイン要求に含まれるサービスＩＤ及びパスワードに基づいてログイン処理を行う（ステップＳ９０８）。ログイン処理を成功すると、ＣＰＵ４０２は、その旨を示すログイン応答をクライアント端末１０９へ通知する（ステップＳ９０９）。

【0079】

クライアント端末１０９は、ログイン処理を成功した旨を示すログイン応答を受信すると、ログイン要求に含めたサービスＵＲＬ、サービスＩＤ、及びパスワードをログイン情報として音声制御装置１０２へ送信する（ステップＳ９１０）。

【0080】

音声制御装置１０２のＣＰＵ３０２は、ログイン情報を受信すると、クラウドサーバ１０３に接続要求を送信する（ステップＳ９１１）。接続要求には、クライアント端末１０９から受信した上記ログイン情報や、音声制御装置１０２のシリアル番号である「ｓｐｅｅｋｅｒ１」が含まれる。次いで、ＣＰＵ３０２は、接続処理状態であることを示すＬＥＤ点灯制御を行う。具体的に、ＣＰＵ３０２は、ＬＥＤ３１２を点滅させる（ステップＳ９１２）。

【0081】

クラウドサーバ１０３のＣＰＵ４０２は、受信した接続要求に含まれるログイン情報に基づいてログイン処理を実行する（ステップＳ９１３）。ログイン処理を成功すると、ＣＰＵ４０２は、音声制御装置１０２のシリアル番号である「ｓｐｅｅｋｅｒ１」を登録する（ステップＳ９１４）。音声制御装置１０２のシリアル番号の登録を完了すると、ＣＰＵ４０２は、その旨を示す登録完了応答を音声制御装置１０２へ通知する（ステップＳ９１５）。

【0082】

音声制御装置１０２のＣＰＵ３０２は、登録完了応答を受信すると、クラウドサーバ１０３に接続状態であることを示すＬＥＤ点灯制御を行う。具体的に、ＣＰＵ３０２は、ＬＥＤ３１２を点灯させ（ステップＳ９１６）、本処理を終了する。

【0083】

上述した図９の登録処理により、情報処理システム１００において、画像形成装置１０１や画像形成装置１１０の連携対象となる音声制御装置として音声制御装置１０２を選択することが可能となる。

【0084】

図１０は、第１の実施の形態の情報処理システム１００による音声操作制御の第１の例を示すシーケンス図である。なお、図１０の音声操作制御においても、ユーザ１０６は、クラウドサーバ１０３が管理するサービスＵＲＬ「ｈｔｔｐ：／／ｓｅｒｖｉｃｅ１．ｃｏｍ」に対応するサービスが提供するアプリケーション及びＷｅｂＡＰＩ等を介して上記ユーザ情報を予め登録していることとする。また、図１０の音声操作制御では、図８の登録処理による画像形成装置１０１の登録、並びに図９の登録処理による音声制御装置１０７及び音声制御装置１０２の登録が既に完了していることとする。なお、図１０の音声操作制御では、音声制御装置１０２、画像形成装置１０１、クラウドサーバ１０３は、互いに通信可能な状態であることとする。また、画像形成装置１０１は、電源ＯＮの起動後にコピー、スキャン、プリント等の機能を呼び出し可能な状態であることとする。

【0085】

図１０において、まず、ユーザ１０８は、音声制御装置１０７に対して、対話セッションを開始するためのキーワードであるウェイクワードを発する（ステップＳ１００１）。ウェイクワードは、例えば、「スピーカ２を起動して」である。なお、スピーカ２は音声制御装置１０７に対応する。

【0086】

音声制御装置１０７のＣＰＵ３０２’は、ユーザ１０８がウェイクワードを発したことを検知すると、応答処理状態を示すＬＥＤ点灯制御を行う。具体的に、ＣＰＵ３０２’は、表示コントローラ３１１’を介してＬＥＤ３１２’を点滅させる。次いで、ＣＰＵ３０２’は、対話セッションを開始する（ステップＳ１００２）。対話セッションが継続している間、ユーザ１０８はウェイクワードを発することなく、続けて自身の行いたい指示を発することができる。音声制御装置１０７は、対話セッションを開始してから音声操作開始検知部６０７による操作開始通知を受信するまでの間、待機状態となり、待機状態では、ＬＥＤ３１２’が消灯する。

【0087】

対話セッションを開始した後、ユーザ１０８は、音声制御装置１０７に対して、プリント開始指示となるキーワードを発する（ステップＳ１００３）。このキーワードは、例えば、「ＭＦＰ１にファイルＡを５０部プリント」である。なお、ＭＦＰ１は画像形成装置１０１に対応する。

【0088】

音声制御装置１０７のＣＰＵ３０２’は、ユーザ１０８が上記キーワードを発したことを検知すると、応答処理状態を示すＬＥＤ点灯制御を行う。具体的に、ＣＰＵ３０２’は、表示コントローラ３１１’を介してＬＥＤ３１２’を点滅させる（ステップＳ１００４）。次いで、ＣＰＵ３０２’は、ジョブ要求を、ネットワークＩ／Ｆ３０６’を介してクラウドサーバ１０３へ送信する（ステップＳ１００５）。このジョブ要求は、ステップＳ１００３にてユーザ１０８が発したキーワードの音声データ、及び音声制御装置１０７のシリアル番号である「ｓｐｅｅｋｅｒ２」を含む。

【0089】

クラウドサーバ１０３のＣＰＵ４０２は、受信した音声データに対して、音声認識処理を施す（ステップＳ１００６）。ステップＳ１００６の処理により、「ＭＦＰ１にファイルＡを５０部プリント」という音声がテキストとして生成される。次いで、ＣＰＵ４０２は、生成したテキストに対して形態素解析処理を施す（ステップＳ１００７）。ステップＳ１００７の処理により、「ＭＦＰ１にファイルＡを５０部プリント」というテキストが、「Ｍ」「Ｆ」「Ｐ」「１」、「に」「ファイル」「Ａ」「を」「５０」「部」「プリント」、という形態素列として解析される。ＣＰＵ４０２は、形態素列「Ｍ」「Ｆ」「Ｐ」「１」、「に」「ファイル」「Ａ」「を」「５０」「部」「プリント」をＲＡＭ４０３に保存された形態素列解析結果リストに記録する。

【0090】

次いで、ＣＰＵ４０２は、ステップＳ１００７にて解析した形態素列のテキストに対して、グループＩＤ判定処理を行う（ステップＳ１００８）。グループＩＤ判定処理では、例えば、「Ｍ」「Ｆ」「Ｐ」「１」、「に」「ファイル」「Ａ」「を」「５０」「部」「プリント」、という形態素列と図７ＢのグループＩＤリストとのマッチングが行われる。ＣＰＵ４０２は、グループＩＤの判定結果として｛ＩＤ：ＡＬＰ０００１３、ＩＤ：ＡＬＰ００００６、ＩＤ：ＡＬＰ０００１６、ＩＤ：ＮＵＭ００００１、ＩＤ：ＡＬＰ００００１、ＩＤ：ＮＵＭ０００５０、ＩＤ：ＣＮＦ００００１、ＩＤ：ＦＮＣ００００２｝を生成する。ＣＰＵ４０２は、グループＩＤ判定結果の末尾が｛ＩＤ：ＦＮＣ００００２｝であることから、音声制御装置１０７から受信したジョブ要求がプリントジョブの実行指示であると判断する。

【0091】

次いで、ＣＰＵ４０２は、画像形成装置１０１の操作権限の設定処理を行う（ステップＳ１００９）。上述したように操作権限は、画像形成装置一つにつき一つのみ付与されている。画像形成装置１０１の操作権限が空き状態である場合、つまり、画像形成装置１０１の操作権限が他の音声制御装置に設定されていない場合、画像形成装置１０１の操作権限が、ステップＳ１００２にて対話セッションを開始した音声制御装置１０７に設定される。

【0092】

画像形成装置１０１の操作権限が音声制御装置１０７に設定されると、ＣＰＵ４０２は、ジョブコマンド生成処理を行う（ステップＳ１０１０）。ステップＳ１０１０では、音声制御装置１０７から受信したジョブ要求に対応するプリントジョブを画像形成装置１０１に実行させるためのプリントジョブコマンドが生成される。次いで、ＣＰＵ４０２は、生成したプリントジョブコマンドを画像形成装置１０１へ送信する（ステップＳ１０１１）。

【0093】

画像形成装置１０１のＣＰＵ２０２は、受信したプリントジョブコマンドに基づいてプリントジョブを実行する（ステップＳ１０１２）。次いで、ＣＰＵ２０２は、受信したプリントジョブコマンドに対応するプリントジョブを開始したことを示すジョブ開始応答をクラウドサーバ１０３へ通知する（ステップＳ１０１３）。

【0094】

クラウドサーバ１０３のＣＰＵ４０２は、ジョブ開始応答を受信すると、ジョブ管理情報を登録する（ステップＳ１０１４）。ジョブ管理情報は、ジョブ状態が「実行中」であることを示す情報、プリントジョブを実行している画像形成装置１０１を示す情報、画像形成装置１０１の操作権限が設定された音声制御装置１０７を示す情報を含む。次いで、ＣＰＵ４０２は、音声合成処理を行う（ステップＳ１０１５）。ステップＳ１０１５では、例えば、「ＭＦＰ１でプリントを開始しました」といった音声の音声合成データが生成される。次いで、ＣＰＵ４０２は、生成した音声合成データを音声制御装置１０７へ送信する（ステップＳ１０１６）。

【0095】

音声制御装置１０７のＣＰＵ３０２’は、受信した音声合成データを再生する（ステップＳ１０１７）。この音声合成データを再生すると、例えば、「ＭＦＰ１でプリントを開始しました」といった音声がスピーカ３１０’から出力される。次いで、ＣＰＵ３０２’は、ＬＥＤ３１２’を消灯させる。その後、クラウドサーバ１０３が対話セッションの終了判定を行い、その判定結果に基づいてクラウドサーバ１０３から送信された対話セッション終了通知を受信すると、ＣＰＵ３０２’は、対話セッションを終了する。

【0096】

その後、画像形成装置１０１が上記プリントジョブを完了する前に、ユーザ１０８と異なるユーザ１０６が音声制御装置１０２に対して、ウェイクワードを発する（ステップＳ１０１８）。このウェイクワードは、例えば、「スピーカ１を起動して」である。なお、スピーカ１は音声制御装置１０２に対応する。

【0097】

音声制御装置１０２のＣＰＵ３０２は、ユーザ１０６がウェイクワードを発したことを検知すると、応答処理状態を示すＬＥＤ点灯制御を行う。具体的に、ＣＰＵ３０２は、表示コントローラ３１１を介してＬＥＤ３１２を点滅させる。次いで、ＣＰＵ３０２は、対話セッションを開始する（ステップＳ１０１９）。

【0098】

対話セッションを開始した後、ユーザ１０６は、音声制御装置１０２に対して、プリント開始指示となるキーワードを発する（ステップＳ１０２０）。このキーワードは、例えば、「ＭＦＰ１にファイルＢを１部プリント」である。

【0099】

音声制御装置１０２のＣＰＵ３０２は、ユーザ１０６が上記キーワードを発したことを検知すると、応答処理状態を示すＬＥＤ点灯制御を行う。具体的に、ＣＰＵ３０２は、表示コントローラ３１１を介してＬＥＤ３１２を点滅させる（ステップＳ１０２１）。次いで、ＣＰＵ３０２は、ジョブ要求を、ネットワークＩ／Ｆ３０６を介してクラウドサーバ１０３へ送信する（ステップＳ１０２２）。このジョブ要求は、Ｓ１０２０にてユーザ１０６が発したキーワードの音声データ、及び音声制御装置１０２のシリアル番号である「ｓｐｅｅｋｅｒ１」を含む。

【0100】

クラウドサーバ１０３のＣＰＵ４０２は、受信した音声データに対して、音声認識処理を施す（ステップＳ１０２３）。ステップＳ１０２３の処理により、「ＭＦＰ１にファイルＢを１部プリント」という音声がテキストとして生成される。次いで、ＣＰＵ４０２は、生成したテキストに対して形態素解析処理を施す（ステップＳ１０２４）。ステップＳ１０２４の処理により、「ＭＦＰ１にファイルＢを１部プリント」というテキストが、「Ｍ」「Ｆ」「Ｐ」「１」、「に」「ファイル」「Ｂ」「を」「１」「部」「プリント」、という形態素列として解析される。ＣＰＵ４０２は、形態素列「Ｍ」「Ｆ」「Ｐ」「１」、「に」「ファイル」「Ｂ」「を」「１」「部」「プリント」をＲＡＭ４０３に保存された形態素列解析結果リストに記録する。

【0101】

次いで、ＣＰＵ４０２は、ステップＳ１０２４にて解析した形態素列のテキストに対して、グループＩＤ判定処理を行う（ステップＳ１０２５）。グループＩＤ判定処理では、例えば、「Ｍ」「Ｆ」「Ｐ」「１」、「に」「ファイル」「Ｂ」「を」「１」「部」「プリント」という形態素列と図７ＢのグループＩＤリストとのマッチングが行われる。ＣＰＵ４０２は、グループＩＤの判定結果として｛ＩＤ：ＡＬＰ０００１３、ＩＤ：ＡＬＰ００００６、ＩＤ：ＡＬＰ０００１６、ＩＤ：ＮＵＭ００００１、ＩＤ：ＡＬＰ００００２、ＩＤ：ＮＵＭ００００１、ＩＤ：ＣＮＦ００００１、ＩＤ：ＦＮＣ００００２｝を生成する。ＣＰＵ４０２は、グループＩＤ判定結果の末尾が｛ＩＤ：ＦＮＣ００００２｝であることから、音声制御装置１０２から受信したジョブ要求がプリントジョブの実行指示であると判断する。

【0102】

次いで、ＣＰＵ４０２は、画像形成装置１０１の操作権限の設定処理を行う（ステップＳ１０２６）。ここで、画像形成装置１０１の操作権限は、ステップＳ１００９にて音声制御装置１０７に既に設定されているため、その後に対話セッションを開始した音声制御装置１０２に画像形成装置１０１の操作権限が設定されない。

【0103】

画像形成装置１０１の操作権限が音声制御装置１０２に設定されない場合、ＣＰＵ４０２は、音声合成処理を行う（ステップＳ１０２７）。ステップＳ１０２７では、例えば、「ＭＦＰ１は使用中です」といった音声の音声合成データが生成される。次いで、ＣＰＵ４０２は、生成した音声合成データを音声制御装置１０２へ送信する（ステップＳ１０２８）。

【0104】

音声制御装置１０２のＣＰＵ３０２は、受信した音声合成データを再生する（ステップＳ１０２９）。この音声合成データを再生すると、例えば、「ＭＦＰ１は使用中です」といった音声がスピーカ３１０から出力される。次いで、ＣＰＵ３０２は、ＬＥＤ３１２を消灯させる。その後、クラウドサーバ１０３が対話セッションの終了判定を行い、その判定結果に基づいてクラウドサーバ１０３から送信された対話セッション終了通知を受信すると、ＣＰＵ３０２は、対話セッションを終了する。

【0105】

一方、画像形成装置１０１のＣＰＵ２０２は、ステップＳ１０１２にて開始したプリントジョブを終了すると、「正常終了」を示すジョブ終了通知を、ネットワークＩ／Ｆ４０６を介してクラウドサーバ１０３へ送信する（ステップＳ１０３０）。

【0106】

クラウドサーバ１０３のＣＰＵ４０２は、ジョブ終了通知を受信すると、音声制御装置１０７に対する画像形成装置１０１の操作権限の設定を解除する（ステップＳ１０３１）。次いで、ＣＰＵ４０２は、ステップＳ１０１４にて登録されたジョブ管理情報を更新する（ステップＳ１０３２）。具体的に、ＣＰＵ４０２は、ジョブ管理情報において、ジョブ状態を「実行中」から「スタンバイに」更新する。また、ＣＰＵ４０２は、プリントジョブを実行している画像形成装置１０１を示す情報、及び画像形成装置１０１の操作権限が設定された音声制御装置１０７を示す情報をジョブ管理情報から消去する。次いで、ＣＰＵ４０２は、音声合成処理を行う（ステップＳ１０３３）。ステップＳ１０３３では、例えば、「ＭＦＰ１でプリントジョブが正常に終了しました」といった音声の音声合成データが生成される。次いで、ＣＰＵ４０２は、生成した音声合成データを、ネットワークＩ／Ｆ４０６を介して音声制御装置１０７へ送信する（ステップＳ１０３４）。

【0107】

音声制御装置１０７のＣＰＵ３０２’は、受信した音声合成データを再生する（ステップＳ１０３５）。この音声合成データを再生すると、例えば、「ＭＦＰ１でプリントジョブが正常に終了しました」といった音声がスピーカ３１０’から出力される。その後、本処理は終了する。

【0108】

上述した第１の実施の形態によれば、音声制御装置１０２と音声制御装置１０７のうちどちらが優先される装置であるかの情報に基づいて画像形成装置１０１にジョブを実行させる制御が行われる。これにより、複数の音声制御装置が１つの画像形成装置と連携する構成において指示の競合状態に適切に対応することができる。

【0109】

また、上述した第１の実施の形態では、音声制御装置１０２及び音声制御装置１０７の一方に画像形成装置１０１の操作権限が設定され、画像形成装置１０１の操作権限が設定された音声制御装置が受け付けた音声指示に対応するジョブを画像形成装置１０１に実行させる。これにより、指示の競合状態を回避することができる。

【0110】

さらに、上述した第１の実施の形態では、音声制御装置１０２及び音声制御装置１０７のうち、先に音声指示を受け付けた音声制御装置に画像形成装置１０１の操作権限が設定される。これにより、先に受け付けた音声指示に対応するプリントジョブを確実に実行することができる。

【0111】

なお、上述した第１の実施の形態では、音声制御装置１０２及び音声制御装置１０７のうち、高い優先度が設定された音声制御装置に画像形成装置１０１の操作権限が設定されても良い。

【0112】

図１１は、図１の情報処理システム１００における音声制御装置の優先度を設定する際の画面遷移を示す図である。本実施の形態では、クラウドサーバ１０３にログインする端末として画像形成装置１０１を使用する例を示すが、クラウドサーバ１０３にログインする端末は、画像形成装置１０１に限られない。例えば、ＰＣやモバイルデバイス等の装置をクラウドサーバ１０３にログインする端末として使用してもよい。

【0113】

図１１のログイン画面１１０１は、クラウドサーバ１０３にログインするための画面であり、クラウドサーバ１０３にログインする端末である画像形成装置１０１の操作パネル２０９に表示される。ログイン画面１１０１は、操作パネル２０９に表示されたブラウザにおけるＵＲＬ入力項目１１０２に、所定のＵＲＬを入力することで表示される。ユーザがログイン画面１１０１におけるサービスＵＲＬ入力項目１１０３、サービスＩＤ入力項目１１０４、及びパスワード入力項目１１０５に値を入力し、ログインボタン１１０６を押下すると、操作パネル２０９の画面が設定メニュー画面１１０７に遷移する。

【0114】

設定メニュー画面１１０７は、登録された画像形成装置や音声制御装置の設定を行うための画面である。ユーザが設定メニュー画面１１０７において優先度設定ボタン１１０８を押下すると、操作パネル２０９の画面がＭＦＰ選択画面１１０９に遷移する。

【0115】

ＭＦＰ選択画面１１０９は、登録された複数の画像形成装置の中から、連携する音声制御装置の優先度の設定を行う画像形成装置を選択する画面である。ユーザがＭＦＰ選択画面１１０９に表示された複数の画像形成装置の中から１つの画像形成装置を選択すると、操作パネル２０９の画面が音声制御装置優先度設定画面１１１１に遷移する。本実施の形態では、一例として、画像形成装置１０１に対応するＭＦＰボタン１１１０が選択されたこととする。

【0116】

音声制御装置優先度設定画面１１１１には、画像形成装置１０１と連携するデバイスとして予め登録された音声制御装置のリストと、各音声制御装置の優先度が表示される。ユーザが或る音声制御装置の優先度を変更してＯＫボタン１１１２を押下すると、当該音声制御装置の優先度として変更後の優先度が設定される。本実施の形態では、優先度の値が「１」である場合、優先度が最も高く、優先度の値が大きくなるに従って優先度は低くなる。

【0117】

図１２は、第１の実施の形態の情報処理システム１００による音声操作制御の第２の例を示すシーケンス図である。図１２の音声操作制御は、図１０の音声操作制御と基本的に同じであり、以下では、図１０の音声操作制御と異なる点について説明する。なお、図１２において、音声制御装置１０７には音声制御装置１０２より低い優先度が設定されていることとする。図１２では、一例として、画像形成装置１０１が音声制御装置１０７の音声操作によるプリントジョブを実行している最中に、音声制御装置１０７より高い優先度が設定された音声制御装置１０２が他のプリントジョブの実行指示となる音声指示を受け付けた場合について説明する。なお、図１２の音声操作制御においても、ユーザ１０６は、クラウドサーバ１０３が管理するサービスＵＲＬ「ｈｔｔｐ：／／ｓｅｒｖｉｃｅ１．ｃｏｍ」に対応するサービスが提供するアプリケーション及びＷｅｂＡＰＩ等を介して上記ユーザ情報を予め登録していることとする。また、図１２の音声操作制御でも、図８の登録処理による画像形成装置１０１の登録、並びに図９の登録処理による音声制御装置１０７及び音声制御装置１０２の登録が既に完了していることとする。なお、図１２の音声操作制御でも、音声制御装置１０２、画像形成装置１０１、クラウドサーバ１０３は、互いに通信可能な状態であることとする。また、画像形成装置１０１は、電源ＯＮの起動後にコピー、スキャン、プリント等の機能を呼び出し可能な状態であることとする。

【0118】

図１２において、まず、ステップＳ１００１～Ｓ１００８と同様の処理であるステップＳ１２０１～Ｓ１２０８行われる。これにより、クラウドサーバ１０３は、音声制御装置１０７から受信したジョブ要求に基づいて、音声認識処理、形態素解析処理、グループＩＤ判定処理を行う。次いで、クラウドサーバ１０３のＣＰＵ４０２は、後述する図１３の操作権限設定処理を実行し（ステップＳ１２０９）、画像形成装置１０１の操作権限を音声制御装置１０７に設定する。次いで、ステップＳ１０１０～Ｓ１０２５と同様の処理であるステップＳ１２１０～Ｓ１２２５が行われる。これにより、音声制御装置１０７から受信したジョブ要求に対応するプリントジョブを画像形成装置１０１が実行している最中に音声制御装置１０２から送信されたジョブ要求に基づいて、クラウドサーバ１０３が音声認識処理、形態素解析処理、グループＩＤ判定処理を行う。

【0119】

次いで、クラウドサーバ１０３のＣＰＵ４０２は、後述する図１３の操作権限設定処理を実行する（ステップＳ１２２６）。ここで、画像形成装置１０１の操作権限は、ステップＳ１２０９にて音声制御装置１０７に設定されているが、上述したように音声制御装置１０２は音声制御装置１０７より優先度が高い。このような場合、ステップＳ１２２６において、音声制御装置１０７に対する画像形成装置１０１の操作権限の設定が解除され、画像形成装置１０１の操作権限は、音声制御装置１０２に設定される。次いで、ＣＰＵ４０２は、実行しているプリントジョブを停止させるプリントジョブ停止処理依頼を画像形成装置１０１へ送信する。

【0120】

画像形成装置１０１のＣＰＵ２０２は、受信したプリントジョブ停止処理依頼に従って、プリントジョブ停止処理を実行する（ステップＳ１２２８）。プリントジョブ停止処理では、ＣＰＵ２０２は、実行していたプリントジョブ、つまり、ステップＳ１２１２にて開始した音声制御装置１０７の音声操作によるプリントジョブを停止させる。このプリントジョブを停止して他のプリントジョブを実行可能な状態になると、ＣＰＵ２０２は、プリントジョブ終了応答をクラウドサーバ１０３へ返す（ステップＳ１２２９）。

【0121】

クラウドサーバ１０３のＣＰＵ４０２は、ジョブ終了応答を受信すると、音声合成処理を行う（ステップＳ１２３０）。ステップＳ１２３０では、例えば、「ＭＦＰ１でのプリントに割り込まれました」といった音声の音声合成データが生成される。次いで、ＣＰＵ４０２は、生成した音声合成データを音声制御装置１０７へ送信する（ステップＳ１２３１）。

【0122】

音声制御装置１０７のＣＰＵ３０２’は、受信した音声合成データを再生する（ステップＳ１２３２）。この音声合成データを再生すると、例えば、「ＭＦＰ１でのプリントに割り込まれました」といった音声がスピーカ３１０’から出力される。

【0123】

一方、クラウドサーバ１０３のＣＰＵ４０２は、ステップＳ１２３１にて音声合成データを音声制御装置１０７へ送信した後、ステップＳ１２１４にて登録したジョブ管理情報を更新する（ステップＳ１２３３）。ステップＳ１２３３では、このジョブ管理情報から、ジョブ状態が「実行中」であることを示す情報が削除される。次いで、ＣＰＵ４０２は、ステップＳ１２２２にて音声制御装置１０２から受信した音声データに基づいて、ジョブコマンド生成処理を行う（ステップＳ１２３４）。次いで、ＣＰＵ４０２は、生成したプリントジョブコマンドを画像形成装置１０１へ送信する（ステップＳ１２３５）。

【0124】

画像形成装置１０１のＣＰＵ２０２は、受信したプリントジョブコマンドに基づいてプリントジョブを実行する（ステップＳ１２３６）。次いで、ＣＰＵ２０２は、受信したプリントジョブコマンドに対応するプリントジョブを開始したことを示すジョブ開始応答をクラウドサーバ１０３へ通知する（ステップＳ１２３７）。

【0125】

クラウドサーバ１０３のＣＰＵ４０２は、ジョブ開始応答を受信すると、ジョブ管理情報を登録する（ステップＳ１２３８）。このジョブ管理情報は、ジョブ状態が「実行中」であることを示す情報、プリントジョブを実行している画像形成装置１０１を示す情報、画像形成装置１０１の操作権限が設定された音声制御装置１０２を示す情報を含む。次いで、ＣＰＵ４０２は、音声合成処理を行う（ステップＳ１２３９）。ステップＳ１２３９では、例えば、「ＭＦＰ１のプリントに割り込みしました」といった音声の音声合成データが生成される。次いで、ＣＰＵ４０２は、生成した音声合成データを音声制御装置１０２へ送信する（ステップＳ１２４０）。

【0126】

音声制御装置１０２のＣＰＵ３０２は、受信した音声合成データを再生する（ステップＳ１２４１）。この音声合成データを再生すると、「ＭＦＰ１のプリントに割込みました」といった音声がスピーカ３１０から出力される。次いで、ＣＰＵ３０２は、ＬＥＤ３１２を消灯させる。その後、クラウドサーバ１０３が対話セッションの終了判定を行い、その判定結果に基づいてクラウドサーバ１０３から送信された対話セッション終了通知を受信すると、ＣＰＵ３０２は、対話セッションを終了する。

【0127】

一方、画像形成装置１０１のＣＰＵ２０２は、ステップＳ１２３６にて開始したプリントジョブを終了すると、「正常終了」を示すジョブ終了通知を、ネットワークＩ／Ｆ４０６を介してクラウドサーバ１０３へ送信する（ステップＳ１２４２）。

【0128】

クラウドサーバ１０３のＣＰＵ４０２は、ジョブ終了通知を受信すると、ステップＳ１２３８にて登録されたジョブ管理情報を削除する（ステップＳ１２４３）。次いで、ＣＰＵ４０２は、音声合成処理を行う（ステップＳ１２４４）。ステップＳ１２４４では、例えば、「ＭＦＰ１のジョブが終了しました」といった音声の音声合成データが生成される。次いで、ＣＰＵ４０２は、生成した音声合成データを音声制御装置１０２へ送信する（ステップＳ１２４５）。

【0129】

音声制御装置１０２のＣＰＵ３０２は、受信した音声合成データを再生する（ステップＳ１２４６）。この音声合成データを再生すると、例えば、「ＭＦＰ１のジョブが終了しました」といった音声がスピーカ３１０から出力される。

【0130】

一方、クラウドサーバ１０３のＣＰＵ４０２は、ステップＳ１２４５にて音声合成データを音声制御装置１０２へ送信した後、後述する図１３の操作権限設定処理を実行する（ステップＳ１２４７）。ステップＳ１２４７では、音声制御装置１０２に対する画像形成装置１０１の操作権限の設定が解除され、ステップＳ１２２６にて設定が解除された音声制御装置１０７に画像形成装置１０１の操作権限が設定される。なお、この設定処理は、クラウドサーバ１０３がステップＳ１２４２にて画像形成装置１０１から送信されたジョブ終了通知を受信してからステップＳ１２４８の処理を開始するまでの間であれば、別のタイミングで実行されてもよい。次いで、ＣＰＵ４０２は、ステップＳ１２３３にて更新されたジョブ管理情報を更新する（ステップＳ１２４８）。ステップＳ１２４８では、このジョブ管理情報に、ジョブ状態が「再開」であることを示す情報が追加される。次いで、ＣＰＵ４０２は、ジョブコマンド生成処理を実行する（ステップＳ１２４９）。ステップＳ１２４９では、ステップＳ１２２８にて停止させていたプリントジョブを再開させるためのプリントジョブコマンドが生成される。次いで、ＣＰＵ４０２は、生成したプリントジョブコマンドを画像形成装置１０１へ送信する（ステップＳ１２５０）。

【0131】

画像形成装置１０１のＣＰＵ２０２は、受信したプリントジョブコマンドに基づいて、プリントジョブ再開処理を行う（ステップＳ１２５１）。これにより、ステップＳ１２２８にて停止されたプリントジョブ、つまり、音声制御装置１０７の音声操作によるプリントジョブが再開される。次いで、ＣＰＵ２０２は、上記プリントジョブを再開した旨を示すプリントジョブ再開応答をクラウドサーバ１０３へ送信する（ステップＳ１２５２）。

【0132】

クラウドサーバ１０３のＣＰＵ４０２は、プリントジョブ再開応答を受信すると、音声合成処理を行う（ステップＳ１２５３）。ステップＳ１２５３では、例えば、「ＭＦＰ１でのプリントを再開しました」といった音声の音声合成データが生成される。次いで、ＣＰＵ４０２は、生成した音声合成データを音声制御装置１０７へ送信する（ステップＳ１２５４）。

【0133】

音声制御装置１０７のＣＰＵ３０２’は、受信した音声合成データを再生する（ステップＳ１２５５）。この音声合成データを再生すると、「ＭＦＰ１でのプリントを再開しました」といった音声がスピーカ３１０’から出力される。

【0134】

一方、画像形成装置１０１のＣＰＵ２０２は、ステップＳ１２５１にて再開したプリントジョブを終了すると、「正常終了」を示すジョブ終了通知を、ネットワークＩ／Ｆ４０６を介してクラウドサーバ１０３へ送信する（ステップＳ１２５６）。

【0135】

クラウドサーバ１０３のＣＰＵ４０２は、ジョブ終了通知を受信すると、後述する図１３の操作権限設定処理を実行し（ステップＳ１２５７）、音声制御装置１０７に対する画像形成装置１０１の操作権限の設定を解除する。次いで、ＣＰＵ４０２は、ステップＳ１２４８にて更新されたジョブ管理情報を更新する（ステップＳ１２５８）。具体的に、ＣＰＵ４０２は、ジョブ管理情報において、ジョブ状態を「実行中」から「スタンバイ」に更新する。また、ＣＰＵ４０２は、プリントジョブを実行している画像形成装置１０１を示す情報、及び画像形成装置１０１の操作権限が設定された音声制御装置１０７を示す情報をジョブ管理情報から消去する。次いで、ＣＰＵ４０２は、音声合成処理を行う（ステップＳ１２５９）。ステップＳ１２５９では、例えば、「ＭＦＰ１でのプリントジョブが正常に終了しました」といった音声の音声合成データが生成される。次いで、ＣＰＵ４０２は、生成した音声合成データを、ネットワークＩ／Ｆ４０６を介して音声制御装置１０７へ送信する（ステップＳ１２６０）。

【0136】

音声制御装置１０７のＣＰＵ３０２’は、受信した音声合成データを再生する（ステップＳ１２６１）。この音声合成データを再生すると、例えば、「ＭＦＰ１でのプリントジョブが正常に終了しました」といった音声がスピーカ３１０’から出力される。その後、本処理は終了する。

【0137】

図１３は、図１２のステップＳ１２０９、Ｓ１２２６、Ｓ１２４７、Ｓ１２５７の操作権限設定処理の手順を示すフローチャートである。図１３の操作権限設定処理は、クラウドサーバ１０３のＣＰＵ４０２が、ＲＯＭ４０４又はストレージ４０５に格納されたプログラムを実行することによって実現される。図１３の操作権限設定処理は、音声制御装置１０２や音声制御装置１０７がクラウドサーバ１０３へジョブ要求となる音声データを送信した場合、若しくは画像形成装置１０１や画像形成装置１１０がクラウドサーバ１０３へジョブ終了通知を送信した場合に実行される。

【0138】

図１３において、ＣＰＵ４０２は、受信したデータがジョブ要求及びジョブ終了通知の何れであるかを判別する（ステップＳ１３０１）。

【0139】

ステップＳ１３０１の判別の結果、受信したデータがジョブ要求である場合、ＣＰＵ４０２は、受信したジョブ要求に対応するジョブを実行させる装置の操作権限が、当該ジョブ要求の送信元と異なる音声制御装置に設定済みであるか否かを判別する（ステップＳ１３０２）。例えば、受信したジョブ要求が、音声制御装置１０２から送信されたジョブ要求であって画像形成装置１０１にプリントジョブを実行させるジョブ要求である場合、ステップＳ１３０２では、画像形成装置１０１の操作権限が音声制御装置１０２と異なる音声制御装置１０７に設定済みであるか否かが判別される。

【0140】

ステップＳ１３０２の判別の結果、上記装置の操作権限が上記ジョブ要求の送信元と異なる音声制御装置に設定済みでない場合、ＣＰＵ４０２は、上記ジョブ要求の送信元となる音声制御装置に上記装置の操作権限を設定する（ステップＳ１３０３）。これにより、例えば、上記ジョブ要求の送信元となる音声制御装置１０２が画像形成装置１０１の操作権限を取得する。その後、操作権限設定処理は終了する。

【0141】

ステップＳ１３０２の判別の結果、上記装置の操作権限が上記ジョブ要求の送信元と異なる音声制御装置に設定済みである場合、ＣＰＵ４０２は、上記装置の操作権限が設定されている音声制御装置の優先度とジョブ要求の送信元となる音声制御装置の優先度とを比較する（ステップＳ１３０４）。ＣＰＵ４０２は、ジョブ要求の送信元となる音声制御装置の優先度が上記装置の操作権限が設定されている音声制御装置の優先度より高いか否かを判別する（ステップＳ１３０５）。

【0142】

ステップＳ１３０５の判別の結果、ジョブ要求の送信元となる音声制御装置の優先度が上記装置の操作権限が設定されている音声制御装置の優先度より低い場合、ＣＰＵ４０２は、本処理を終了する。ステップＳ１３０５の判別の結果、ジョブ要求の送信元となる音声制御装置の優先度が上記装置の操作権限が設定されている音声制御装置の優先度より高い場合、ＣＰＵ４０２は、ステップＳ１３０６の処理を行う。ステップＳ１３０６では、ＣＰＵ４０２は、上記装置の操作権限が設定されていた音声制御装置に対する上記装置の操作権限の設定を解除し、上記ジョブ要求の送信元となる音声制御装置に上記装置の操作権限を設定する。その後、操作権限設定処理は終了する。

【0143】

ステップＳ１３０１の判別の結果、受信したデータがジョブ終了通知である場合、ＣＰＵ４０２は、他にジョブ要求を受けているか否かを判別する（ステップＳ１３０７）。ステップＳ１３０７では、例えば、終了したジョブの要求元と異なる音声制御装置からジョブ要求を受けている場合、ＣＰＵ４０２は、他にジョブ要求を受けていると判別する。一方、終了したジョブの要求元と異なる音声制御装置からジョブ要求を受けていない場合、ＣＰＵ４０２は、他にジョブ要求を受けていないと判別する。

【0144】

ステップＳ１３０７の判別の結果、他にジョブ要求を受けている場合、ＣＰＵ４０２は、受けたジョブ要求の送信元となる音声制御装置の中で優先度が最も高い音声制御装置を特定する。ＣＰＵ４０２は、特定した音声制御装置に上記装置の操作権限を設定する（ステップＳ１３０８）。その後、操作権限設定処理は終了する。

【0145】

ステップＳ１３０７の判別の結果、他にジョブ要求を受けていない場合、ＣＰＵ４０２は、終了したジョブの要求元となる音声制御装置に対する上記装置の操作権限の設定を解除し（ステップＳ１３０９）、本処理を終了する。

【0146】

上述した第１の実施の形態では、音声制御装置１０２及び音声制御装置１０７のうち、高い優先度が設定された音声制御装置に画像形成装置１０１の操作権限が設定される。これにより、高い優先度が設定された音声制御装置が受け付けた音声指示に対応するプリントジョブを優先的に実行することができる。

【0147】

また、上述した第１の実施の形態では、音声制御装置１０７が受け付けた音声指示に対応するプリントジョブを画像形成装置１０１が実行している最中に音声制御装置１０７より高い優先度が設定された音声制御装置１０２が他の音声指示を受け付けた場合、画像形成装置１０１の操作権限が音声制御装置１０７から音声制御装置１０２に変更される。これにより、音声制御装置１０７が音声指示を受け付けた後に、音声制御装置１０７より高い優先度が設定された音声制御装置１０２が音声指示を受け付けた場合に、音声制御装置１０２に画像形成装置１０１の操作権限を確実に設定することができる。

【0148】

さらに、上述した第１の実施の形態では、画像形成装置１０１に対し、音声制御装置１０７が受け付けた音声指示に対応するプリントジョブの実行を中断させ、音声制御装置１０２が受け付けた他の音声指示に対応する他のプリントジョブの実行を割り込み実行させる。これにより、音声制御装置１０７が受け付けた音声指示に対応するプリントジョブが先に実行されていても、音声制御装置１０７より高い優先度が設定された音声制御装置１０２が受け付けた音声指示に対応する他のプリントジョブを優先的に実行することができる。

【0149】

上述した第１の実施の形態では、音声制御装置１０２が受け付けた他の音声指示に対応する他のプリントジョブを完了した後、中断していたプリントジョブ、つまり、音声制御装置１０７が受け付けた音声指示に対応するプリントジョブを画像形成装置１０１に再開させる。これにより、音声制御装置１０７が受け付けた音声指示に対応するプリントジョブが中断されたまま実行されなくなるのを防止することができる。

【0150】

なお、上述した第１の実施の形態では、音声制御装置１０７より高い優先度が設定された音声制御装置１０２が受け付けた音声指示がデバイス状況確認を行うためのキーワードである場合、画像形成装置１０１の操作権限が音声制御装置１０７に設定されたまま保持されてもよい。

【0151】

図１４は、第１の実施の形態の情報処理システム１００による音声操作制御の第３の例を示すシーケンス図である。図１４の音声操作制御は、図１０及び図１２の音声操作制御と基本的に同じであり、以下では、図１０及び図１２の音声操作制御と異なる点について説明する。なお、図１４においても、音声制御装置１０７には音声制御装置１０２より低い優先度が設定されていることとする。図１４では、一例として、画像形成装置１０１が音声制御装置１０７の音声操作によるプリントジョブを実行している最中に、音声制御装置１０２が画像形成装置１０１の状態確認指示となるキーワードを受け付けた場合について説明する。なお、図１４の音声操作制御においても、ユーザ１０６は、クラウドサーバ１０３が管理するサービスＵＲＬ「ｈｔｔｐ：／／ｓｅｒｖｉｃｅ１．ｃｏｍ」に対応するサービスが提供するアプリケーション及びＷｅｂＡＰＩ等を介して上記ユーザ情報を予め登録していることとする。また、図１４の音声操作制御でも、図８の登録処理による画像形成装置１０１の登録、並びに図９の登録処理による音声制御装置１０７及び音声制御装置１０２の登録が既に完了していることとする。なお、図１４の音声操作制御でも、音声制御装置１０２、画像形成装置１０１、クラウドサーバ１０３は、互いに通信可能な状態であることとする。また、画像形成装置１０１は、電源ＯＮの起動後にコピー、スキャン、プリント等の機能を呼び出し可能な状態であることとする。

【0152】

図１４において、上述したステップＳ１２０１～Ｓ１２１９と同様の処理であるステップＳ１４０１～Ｓ１４１９が行われる。これにより、画像形成装置１０１が音声制御装置１０７の音声操作によるプリントジョブを開始し、その後、音声制御装置１０７より高い優先度が設定されている音声制御装置１０２が対話セッションを開始する。次いで、ユーザ１０６は、音声制御装置１０２に対して、デバイス状況確認を行うためのキーワードを発する（ステップＳ１４２０）。このキーワードは、例えば、「ＭＦＰ１のトナー残量は？」である。

【0153】

音声制御装置１０２のＣＰＵ３０２は、ユーザ１０６が上記キーワードを発したことを検知すると、応答処理状態を示すＬＥＤ点灯制御を行う。具体的に、ＣＰＵ３０２は、表示コントローラ３１１を介してＬＥＤ３１２を点滅させる（ステップＳ１４２１）。次いで、ＣＰＵ３０２は、デバイス状況確認要求を、ネットワークＩ／Ｆ３０６を介してクラウドサーバ１０３へ送信する（ステップＳ１４２２）。この状態確認要求は、ステップＳ１４２０にてユーザ１０６が発したキーワードの音声データ、及び音声制御装置１０２のシリアル番号を含む。

【0154】

クラウドサーバ１０３のＣＰＵ４０２は、受信した音声データに対して、音声認識処理を施す（ステップＳ１４２３）。ステップＳ１４２３の処理により、「ＭＦＰ１のトナー残量は？」という音声がテキストとして生成される。次いで、ＣＰＵ４０２は、生成したテキストに対して形態素解析処理を施す（ステップＳ１４２４）。ステップＳ１４２４の処理により、「ＭＦＰ１のトナー残量は？」というテキストが、「Ｍ」「Ｆ」「Ｐ」「１」、「の」「トナー」「残量」「は？」、という形態素列として解析される。ＣＰＵ４０２は、形態素列「Ｍ」「Ｆ」「Ｐ」「１」「の」「トナー」「残量」「は？」をＲＡＭ４０３に保存された形態素列解析結果リストに記録する。

【0155】

次いで、ＣＰＵ４０２は、ステップＳ１４２４にて解析した形態素列のテキストに対してグループＩＤ判定処理を行う（ステップＳ１４２５）。グループＩＤ判定処理では、例えば、「Ｍ」「Ｆ」「Ｐ」「１」「の」「トナー」「残量」「は？」、という形態素列と図７ＢのグループＩＤリストとのマッチングが行われる。ＣＰＵ４０２は、グループＩＤ判定結果として、｛ＩＤ：ＡＬＰ０００１３、ＩＤ：ＡＬＰ００００６、ＩＤ：ＡＬＰ０００１６、ＩＤ：ＮＵＭ００００１、ＩＤ：ＮＡＭ００００６、ＩＤ：ＮＡＭ００００７｝を生成する。ＣＰＵ４０２は、グループＩＤ判定結果の末尾が｛ＩＤ：ＮＡＭ００００６、ＩＤ：ＮＡＭ００００７｝であることから、音声制御装置１０２から受けた要求がトナー残量の確認要求であり、ジョブ要求でないと判断する。

【0156】

次いで、ＣＰＵ４０２は、上述した操作権限設定処理を行わずに、トナー残量確認コマンドを画像形成装置１０１へ送信する（ステップＳ１４２６）。このように、音声制御装置１０７の音声操作によるプリントジョブを実行している最中に、音声制御装置１０７より優先度が高い音声制御装置１０２から要求を受けても、この要求に対応する処理が実行中のジョブと並列処理可能である場合、操作権限の変更（例えば、ステップＳ１２２６を参照。）は行われない。

【0157】

画像形成装置１０１のＣＰＵ２０２は、音声制御装置１０７の音声操作によるプリントジョブを実行しつつ、トナー残量を確認し、確認したトナー残量を示すトナー残量通知をクラウドサーバ１０３へ送信する（ステップＳ１４２７）。

【0158】

クラウドサーバ１０３のＣＰＵ４０２は、受信したトナー残量通知に基づいて、音声合成処理を行う（ステップＳ１４２８）。ステップＳ１４２８では、例えば、「ＭＦＰ１のトナー残量は５０％です」といった音声の音声合成データが生成される。次いで、ＣＰＵ４０２は、生成した音声合成データを音声制御装置１０２へ送信する（ステップＳ１４２９）。

【0159】

音声制御装置１０２のＣＰＵ３０２は、受信した音声合成データを再生する（ステップＳ１４３０）。この音声合成データを再生すると、「ＭＦＰ１のトナー残量は５０％です」といった音声がスピーカ３１０から出力される。その後、ステップＳ１０３０～Ｓ１０３５と同様の処理であるステップＳ１４３１～Ｓ１４３６の処理が行われ、本処理は終了する。

【0160】

上述した第１の実施の形態では、音声制御装置１０７から受信したジョブ要求に対応するプリントジョブを実行している最中に、音声制御装置１０７より高い優先度が設定された音声制御装置１０２がデバイス状況確認指示となる音声指示を受け付けた場合、画像形成装置１０１の操作権限が音声制御装置１０７に設定されたまま保持される。これにより、音声制御装置１０２が受け付けた音声指示が音声制御装置１０７から受信したジョブ要求に対応するプリントジョブと並列処理可能な処理の実行指示であるにも関わらず、当該プリントジョブが不要に中断されるのを防止することができる。

【0161】

なお、上述した実施の形態では、音声制御装置１０２及び音声制御装置１０７のうち、緊急性を示す所定のワード（以下、「緊急示唆ワード」という。）を受け付けた音声制御装置に画像形成装置１０１の操作権限が設定されても良い。

【0162】

図１５は、図１３の操作権限設定処理の他の手順を示すフローチャートである。図１５の操作権限設定処理は、クラウドサーバ１０３のＣＰＵ４０２が、ＲＯＭ４０４又はストレージ４０５に格納されたプログラムを実行することによって実現される。図１５の操作権限設定処理は、クラウドサーバ１０３が音声制御装置１０２や音声制御装置１０７からジョブ要求を受信した場合に実行される。

【0163】

図１５において、ＣＰＵ４０２は、受信したジョブ要求に含まれる音声データに緊急示唆ワードが含まれているか否かを判別する（ステップＳ１５０１）。緊急示唆ワードは、例えば、「急いで」や「緊急」である。

【0164】

ステップＳ１５０１の判別の結果、受信したジョブ要求に含まれる音声データに緊急示唆ワードが含まれている場合、ＣＰＵ４０２は、当該ジョブ要求の送信元の音声制御装置の優先度を一時的に上げる処理を行う（ステップＳ１５０２）。ステップＳ１５０２の処理により、上記ジョブ要求の送信元の音声制御装置の優先度が最も高くなる。これにより、緊急示唆ワードを受け付けた音声制御装置に対し、上記ジョブ要求に対応するプリントジョブを実行させる装置の操作権限が設定される。なお、ステップＳ１５０２にて、一時的に変更された優先度は、所定のタイミング、例えば、音声制御装置の対話セッションが終了したタイミングで元の優先度の設定に変更される。次いで、ＣＰＵ４０２は、上記ジョブ要求に対応するプリントジョブを実行させる装置の操作権限が、上記ジョブ要求の送信元の音声制御装置と異なる他の音声制御装置に設定済みであるか否かを判別する（ステップＳ１５０３）。

【0165】

ステップＳ１５０３の判別の結果、上記装置の操作権限が他の音声制御装置に設定済みでない場合、ＣＰＵ４０２は、上記ジョブ要求の送信元の音声制御装置に上記装置の操作権限を設定し（ステップＳ１５０４）、本処理を終了する。

【0166】

ステップＳ１５０３の判別の結果、上記装置の操作権限が他の音声制御装置に設定済みである場合、ＣＰＵ４０２は、上記装置の操作権限が設定されている音声制御装置の優先度とジョブ要求の送信元となる音声制御装置の優先度とを比較する（ステップＳ１５０５）。ＣＰＵ４０２は、ジョブ要求の送信元となる音声制御装置の優先度が上記装置の操作権限が設定されている音声制御装置の優先度より高いか否かを判別する（ステップＳ１５０６）。

【0167】

ステップＳ１５０６の判別の結果、ジョブ要求の送信元となる音声制御装置の優先度が上記装置の操作権限が設定されている音声制御装置の優先度より低い場合、ＣＰＵ４０２は、本処理を終了する。ステップＳ１５０６の判別の結果、ジョブ要求の送信元となる音声制御装置の優先度が上記装置の操作権限が設定されている音声制御装置の優先度より高い場合、ＣＰＵ４０２は、ステップＳ１５０７の処理を行う。ステップＳ１５０７では、ＣＰＵ４０２は、上記装置の操作権限が設定されていた音声制御装置に対する上記装置の操作権限の設定を解除し、上記ジョブ要求の送信元となる音声制御装置に上記装置の操作権限を設定する。その後、操作権限設定処理は終了する。

【0168】

上述した第１の実施の形態では、音声制御装置１０２及び音声制御装置１０７のうち、緊急示唆ワードを受け付けた音声制御装置に画像形成装置１０１の操作権限が設定される。これにより、ユーザが音声制御装置１０２及び音声制御装置１０７の何れに音声指示を行っても、緊急性が高いプリントジョブを即座に実行することができる。

【0169】

次に、クラウドサーバ１０３が実行する音声データ変換制御プログラム７００に含まれるデバイス操作権限管理部７０４の機能及び構成の詳細について説明する。

【0170】

図１６は、図７Ａのデバイス操作権限管理部７０４の構成を概略的に示すブロック図である。図１６において、デバイス操作権限管理部７０４は、デバイス操作受付部１６０１及び優先度設定管理部１６０２で構成される。

【0171】

デバイス操作受付部１６０１は、音声制御装置１０２等から送信されたジョブ要求又はデバイス状況確認要求に基づいて生成されたコマンドをデバイス操作データ生成部７０３から受信する。優先度設定管理部１６０２は、登録された画像形成装置の数と同じ数のＭＦＰ操作管理部を備える。図１６では、一例として、登録された画像形成装置１０１及び画像形成装置１１０の数と同じ２つのＭＦＰ操作管理部１６０３、１６０６を備える構成について示されている。優先度設定管理部１６０２は、デバイス操作受付部１６０１が受信したコマンドが画像形成装置１０１及び画像形成装置１１０の何れに対するコマンドであるかを判別し、当該コマンドをＭＦＰ操作管理部１６０３及びＭＦＰ操作管理部１６０６に振り分ける。ＭＦＰ操作管理部１６０３には、画像形成装置１０１に対するコマンドが割り振られ、ＭＦＰ操作管理部１６０６には、画像形成装置１１０に対するコマンドが割り振られる。

【0172】

ＭＦＰ操作管理部１６０３は画像形成装置１０１の操作管理を行い、ＭＦＰ操作管理部１６０６は画像形成装置１１０の操作管理を行う。なお、本実施の形態では、ＭＦＰ操作管理部１６０３及びＭＦＰ操作管理部１６０６は、管理対象が異なることを除いて同様の機能及び構成である。以下では、一例として、ＭＦＰ操作管理部１６０３を用いてその機能及び構成を説明する。

【0173】

ＭＦＰ操作管理部１６０３は、操作権限記憶部１６０４及び音声制御装置優先度リスト１６０５を含む。操作権限記憶部１６０４には、画像形成装置１０１が実行しているジョブの要求元である音声制御装置のシリアル番号が記録されている。音声制御装置優先度リスト１６０５には、画像形成装置１０１と連携する音声制御装置の優先度が設定されている。

【0174】

ＭＦＰ操作管理部１６０３は、受信したコマンドがジョブ要求及びデバイス状況確認要求の何れに基づくコマンドであるかを判別する。例えば、受信したコマンドがデバイス状況確認要求に基づくコマンドである場合、ＭＦＰ操作管理部１６０３は、当該コマンドを画像形成装置１０１へ送信する。一方、受信したコマンドがジョブ要求に基づくコマンドである場合、ＭＦＰ操作管理部１６０３は、画像形成装置１０１が実行しているジョブの要求元である音声制御装置のシリアル番号が操作権限記憶部１６０４に記録されているかについて確認する。

【0175】

画像形成装置１０１が実行しているジョブの要求元である音声制御装置のシリアル番号が操作権限記憶部１６０４に記録されている場合、ＭＦＰ操作管理部１６０３は、音声制御装置優先度リスト１６０５を確認する。ＭＦＰ操作管理部１６０３は、ジョブ要求の要求元の音声制御装置の優先度と、操作権限記憶部１６０４に記録されたシリアル番号に対応する音声制御装置の優先度とを比較する。比較した結果、ジョブ要求の要求元の音声制御装置の優先度の方が高い場合、画像形成装置１０１にて実行中のジョブを中断させ、ＭＦＰ操作管理部１６０３が受信したコマンドに従ったジョブを実行させる制御が行われる。このとき、操作権限記憶部１６０４では、記録されていたシリアル番号がジョブ要求の送信元の音声制御装置のシリアル番号に書き換えられる。一方、比較した結果、ジョブ要求の要求元の音声制御装置の優先度の方が低い場合、ジョブ要求の送信元の音声制御装置へエラーを返す。

【0176】

図１７は、図７Ａのデバイス操作権限管理部７０４の内部動作を説明するためのシーケンス図である。

【0177】

図１７において、音声制御装置１０７は、画像形成装置１０１に対するジョブ要求をクラウドサーバ１０３へ送信する（ステップＳ１７０１）。クラウドサーバ１０３では、当該ジョブ要求に基づいてプリントジョブコマンドが生成され、デバイス操作権限管理部７０４のデバイス操作受付部１６０１は、生成されたプリントジョブコマンドを受信する。

【0178】

次いで、デバイス操作受付部１６０１は、受信したプリントジョブコマンドを解析して画像形成装置１０１の操作管理を行うＭＦＰ操作管理部１６０３に当該プリントジョブコマンドを出力する（ステップＳ１７０２）。

【0179】

ＭＦＰ操作管理部１６０３は、操作権限記憶部１６０４を確認する（ステップＳ１７０３）。操作権限記憶部１６０４に音声制御装置１０７と異なる他の音声制御装置のシリアル番号が記録されている場合、ＭＦＰ操作管理部１６０３は、音声制御装置優先度リスト１６０５を確認する（ステップＳ１７０４）。ＭＦＰ操作管理部１６０３は、操作権限記憶部１６０４に記録されたシリアル番号に対応する音声制御装置の優先度と、音声制御装置１０７の優先度を比較する。比較した結果、音声制御装置１０７の優先度の方が高い場合、ＭＦＰ操作管理部１６０３は、操作権限記憶部１６０４に記録されたシリアル番号を音声制御装置１０７のシリアル番号に書き換える。次いで、ＭＦＰ操作管理部１６０３は、画像形成装置１０１にプリントジョブコマンドを送信する（ステップＳ１７０５）。

【0180】

画像形成装置１０１は、受信したプリントジョブコマンドに基づいてプリントジョブを開始する（ステップＳ１７０６）。次いで、画像形成装置１０１は、受信したプリントジョブコマンドに対応するプリントジョブを開始したことを示すジョブ開始応答をクラウドサーバ１０３へ通知する（ステップＳ１７０７）。

【0181】

ＭＦＰ操作管理部１６０３は、ジョブ開始応答を受信すると、デバイス操作受付部１６０１にその旨を通知する（ステップＳ１７０８）。次いで、クラウドサーバ１０３は、プリントジョブが開始された旨の音声が再生される音声合成データを生成し、当該音声合成データを音声制御装置１０７へ送信する（ステップＳ１７０９）。

【0182】

その後、音声制御装置１０７と異なる音声制御装置１０２が、画像形成装置１０１のトナー残量を確認するためのデバイス状況確認要求をクラウドサーバ１０３へ送信する（ステップＳ１７１０）。クラウドサーバ１０３では、当該デバイス状況確認要求に基づいてトナー残量確認コマンドが生成され、デバイス操作受付部１６０１がトナー残量確認コマンドを受信する。

【0183】

次いで、デバイス操作受付部１６０１は、受信したトナー残量確認コマンドを解析して、当該トナー残量確認コマンドをＭＦＰ操作管理部１６０３に出力する（ステップＳ１７１１）。ＭＦＰ操作管理部１６０３は、操作権限記憶部１６０４を確認して画像形成装置１０１がトナー残量確認コマンドを実行可能であることを確認し、トナー残量確認コマンドを画像形成装置１０１へ送信する（ステップＳ１７１２）。

【0184】

画像形成装置１０１は、受信したトナー残量確認コマンドに従って、トナー残量を確認し（ステップＳ１７１３）、確認した結果を含むトナー残量通知をクラウドサーバ１０３へ送信する（ステップＳ１７１４）。

【0185】

ＭＦＰ操作管理部１６０３は、画像形成装置１０１からトナー残量通知を受信すると、デバイス操作受付部１６０１にその旨を通知する（ステップＳ１７１５）。次いで、クラウドサーバ１０３は、トナー残量の確認結果が再生される音声合成データを生成し、当該音声合成データを音声制御装置１０７へ送信する（ステップＳ１７１６）。

【0186】

その後、音声制御装置１０２が画像形成装置１０１に対するジョブ要求をクラウドサーバ１０３へ送信する（ステップＳ１７１７）。クラウドサーバ１０３では、当該ジョブ要求に基づいてプリントジョブコマンドが生成され、デバイス操作権限管理部７０４のデバイス操作受付部１６０１がプリントジョブコマンドを受信する。

【0187】

次いで、デバイス操作受付部１６０１は、受信したプリントジョブコマンドを解析して画像形成装置１０１の操作管理を行うＭＦＰ操作管理部１６０３に当該プリントジョブコマンドを出力する（ステップＳ１７１８）。

【0188】

ＭＦＰ操作管理部１６０３は、操作権限記憶部１６０４を確認する（ステップＳ１７１９）。例えば、操作権限記憶部１６０４に音声制御装置１０２と異なる他の音声制御装置のシリアル番号が記録されている場合、ＭＦＰ操作管理部１６０３は、音声制御装置優先度リスト１６０５を確認する（ステップＳ１７２０）。ＭＦＰ操作管理部１６０３は、操作権限記憶部１６０４に記録されたシリアル番号に対応する音声制御装置の優先度と、ステップＳ１７１７にてジョブ要求を送信した音声制御装置１０２の優先度とを比較する。比較した結果、音声制御装置１０２の優先度の方が低い場合、ＭＦＰ操作管理部１６０３は、ステップＳ１７１８にて受信したプリントジョブコマンドに基づくプリントジョブを実行できない旨をデバイス操作受付部１６０１に通知する（ステップＳ１７２１）。クラウドサーバ１０３は、プリントジョブを実行できない旨の音声が再生される音声合成データを生成し、当該音声合成データを音声制御装置１０２へ送信する（ステップＳ１７２２）。

【0189】

一方、画像形成装置１０１は、ステップＳ１７０６にて開始したプリントジョブを終了すると、ジョブ終了通知をクラウドサーバ１０３へ送信する（ステップＳ１７２３）。

【0190】

ＭＦＰ操作管理部１６０３は、ジョブ終了通知を受信すると、操作権限記憶部１６０４を更新する（ステップＳ１７２４）。具体的に、ＭＦＰ操作管理部１６０３は、操作権限記憶部１６０４に記録されている音声制御装置１０７のシリアル番号を削除する。次いで、ＭＦＰ操作管理部１６０３は、画像形成装置１０１によるプリントジョブを終了した旨をデバイス操作受付部１６０１に通知する（ステップＳ１７２５）。クラウドサーバ１０３は、画像形成装置１０１によるプリントジョブを終了した旨の音声が再生される音声合成データを生成し、当該音声合成データを音声制御装置１０７へ送信する（ステップＳ１７２６）。

【0191】

その後、音声制御装置１０２が、画像形成装置１１０に対するジョブ要求をクラウドサーバ１０３へ送信する（ステップＳ１７２７）。クラウドサーバ１０３では、当該ジョブ要求に基づいてプリントジョブコマンドが生成され、デバイス操作権限管理部７０４のデバイス操作受付部１６０１が当該プリントジョブコマンドを受信する。

【0192】

次いで、デバイス操作受付部１６０１は、受信したプリントジョブコマンドを解析して画像形成装置１１０の操作管理を行うＭＦＰ操作管理部１６０６に当該プリントジョブコマンドを出力する（ステップＳ１７２８）。

【0193】

ＭＦＰ操作管理部１６０６は、当該ＭＦＰ操作管理部１６０６の操作権限記憶部１６０７を確認する（ステップＳ１７２９）。例えば、操作権限記憶部１６０７に音声制御装置１０２と異なる他の音声制御装置のシリアル番号が記録されている場合、ＭＦＰ操作管理部１６０６は、当該ＭＦＰ操作管理部１６０６の音声制御装置優先度リスト１６０８を確認する（ステップＳ１７３０）。ＭＦＰ操作管理部１６０６は、操作権限記憶部１６０７に記録されたシリアル番号に対応する音声制御装置の優先度と、ステップＳ１７２７にてジョブ要求を送信した音声制御装置１０２の優先度とを比較する。比較した結果、音声制御装置１０２の優先度の方が高い場合、ＭＦＰ操作管理部１６０６は、操作権限記憶部１６０７に記録されたシリアル番号を音声制御装置１０２のシリアル番号に書き換える。次いで、ＭＦＰ操作管理部１６０６は、プリントジョブコマンドを画像形成装置１１０へ送信する（ステップＳ１７３１）。

【0194】

画像形成装置１１０は、受信したプリントジョブコマンドに基づいてプリントジョブを開始する（ステップＳ１７３２）。次いで、画像形成装置１１０は、受信したプリントジョブコマンドに対応するプリントジョブを開始したことを示すジョブ開始応答をクラウドサーバ１０３へ通知する（ステップＳ１７３３）。

【0195】

ＭＦＰ操作管理部１６０６は、ジョブ開始応答を受信すると、デバイス操作受付部１６０１にその旨を通知する（ステップＳ１７３４）。次いで、クラウドサーバ１０３は、プリントジョブが開始された旨の音声が再生される音声合成データを生成し、当該音声合成データを音声制御装置１０２へ送信する（ステップＳ１７３５）。

【0196】

一方、画像形成装置１１０は、ステップＳ１７３２にて開始したプリントジョブを終了すると、ジョブ終了通知をクラウドサーバ１０３へ送信する（ステップＳ１７３６）。

【0197】

ＭＦＰ操作管理部１６０６は、ジョブ終了通知を受信すると、操作権限記憶部１６０７を更新する（ステップＳ１７３７）。具体的に、ＭＦＰ操作管理部１６０６は、操作権限記憶部１６０７に記録されている音声制御装置１０２のシリアル番号を削除する。次いで、ＭＦＰ操作管理部１６０６は、画像形成装置１０１によるプリントジョブを終了した旨をデバイス操作受付部１６０１に通知する（ステップＳ１７３８）。クラウドサーバ１０３は、画像形成装置１１０によるプリントジョブを終了した旨の音声が再生される音声合成データを生成し、当該音声合成データを音声制御装置１０２へ送信し（ステップＳ１７３９）、本処理を終了する。

【0198】

次に、操作権限記憶部１６０４及び操作権限記憶部１６０７の詳細な構成について説明する。なお、本実施の形態では、操作権限記憶部１６０４及び操作権限記憶部１６０７は、同様の構成である。以下では、一例として、操作権限記憶部１６０４を用いてその構成を説明する。

【0199】

図１８は、図１６の操作権限記憶部１６０４の構成を説明するための図である。図１８（ａ）は、操作権限記憶部１６０４の構成を概略的に示すブロック図である。図１８（ｂ）は、操作権限記憶部１６０４の動作可能状態を示す表である。

【0200】

図１８（ａ）において、操作権限記憶部１６０４は、プリント部１８０１、スキャン部１８０２、設定部１８０３、及び排他設定部１８０４を含む。

【0201】

クラウドサーバ１０３が音声制御装置１０２や音声制御装置１０７から画像形成装置１０１にプリントジョブを実行させるジョブ要求を受信した場合、プリント部１８０１のフラグが使用中に変更される。また、ジョブ要求の送信元の音声制御装置のシリアル番号が操作権限記憶部１６０４に記録される。

【0202】

クラウドサーバ１０３が音声制御装置１０２や音声制御装置１０７から画像形成装置１０１にスキャンジョブを実行させるジョブ要求を受信した場合、スキャン部１８０２のフラグが使用中に変更される。また、ジョブ要求の送信元の音声制御装置のシリアル番号が操作権限記憶部１６０４に記録される。

【0203】

クラウドサーバ１０３が音声制御装置１０２や音声制御装置１０７から画像形成装置１０１にコピージョブを実行させるジョブ要求を受信した場合、プリント部１８０１及びスキャン部１８０２の両方のフラグが使用中に変更される。また、ジョブ要求の送信元の音声制御装置のシリアル番号が操作権限記憶部１６０４に記録される。

【0204】

クラウドサーバ１０３が音声制御装置１０２や音声制御装置１０７からトナー残量や画像形成装置１０１の設定等を確認するためのデバイス状況確認要求を受信した場合、設定部１８０３のフラグが使用中に変更される。このとき、デバイス状況確認要求の送信元の音声制御装置のシリアル番号が操作権限記憶部１６０４に記録されない。

【0205】

排他設定部１８０４には、画像形成装置１０１の排他レベルが設定される。本実施の形態では、排他レベルとして、排他レベル１、排他レベル２、及び排他レベル３の何れかが設定される。なお、排他レベルの設定は、ユーザがクラウドサーバ１０３にログインして設定してもよく、また、ユーザがＰＣやモバイル端末を使用して設定してもよい。

【0206】

排他レベル１は、排他レベルが最も低い設定である。排他レベル１が排他設定部１８０４に設定された場合、予め設定された特定のジョブを画像形成装置１０１に並列で実行させることができる。画像形成装置１０１は、例えば、音声制御装置１０７の音声操作によるプリントジョブを実行している最中に、音声制御装置１０２の音声操作によるデバイス状況確認又はスキャンジョブを並列で実行可能である（例えば、図１８（ｂ）の１８０５を参照）。なお、コピージョブは、画像形成装置１０１のスキャナ２１３及びプリントエンジン２１１の両方を使用するため、プリントジョブやスキャンジョブと並列実行不可能である。

【0207】

排他レベル２は、排他レベル１より排他レベルが高い設定である。排他レベル２が排他設定部１８０４に設定された場合、一の音声制御装置の音声操作によるジョブを実行している最中に、一の音声制御装置より優先度が低い音声制御装置からジョブ要求を受信しても、当該ジョブ要求に対応するジョブが実行されない（例えば、図１８（ｂ）の１８０６を参照）。ただし、一の音声制御装置の音声操作によるジョブを実行している最中に、一の音声制御装置より優先度が低い音声制御装置からデバイス状況確認要求を受信した場合には、当該デバイス状況確認要求に対応する処理が実行される。

【0208】

排他レベル３は、排他レベルが最も高い設定である。排他レベル３が排他設定部１８０４に設定された場合、一の音声制御装置の音声操作によるジョブを実行している最中に、他の音声制御装置からジョブ要求を受信しても、当該ジョブ要求に対応するジョブが実行されない（例えば、図１８（ｂ）の１８０７を参照）。

【0209】

次に、本発明の第２の実施の形態に係る情報処理システム及びその制御方法について説明する。第２の実施の形態は、その構成や作用が上述した第１の実施の形態と基本的に同じであり、音声制御装置１０２及び音声制御装置１０７のうち、優先装置に設定された音声制御装置が受け付けた音声指示に対応するジョブを優先的に実行させる点で上述した第１の実施の形態と異なる。したがって、重複した構成、作用については説明を省略し、以下に異なる構成、作用についての説明を行う。

【0210】

図１９は、第２の実施の形態の情報処理システム１００における画像形成装置の登録の第１の例を説明するためのシーケンス図である。図１９では、一例として、ユーザ１０６が画像形成装置１０１の登録指示を行う場合について説明する。なお、図１９においても、ユーザ１０６は、クラウドサーバ１０３が管理するサービスＵＲＬ「ｈｔｔｐ：／／ｓｅｒｖｉｃｅ１．ｃｏｍ」に対応するサービスが提供するアプリケーション及びＷｅｂＡＰＩ等を介して上記ユーザ情報を予め登録していることとする。また、図１９では、画像形成装置の登録を行う図２０の音声制御サービス設定画面２００１が画像形成装置１０１の操作パネル２０９に表示されていることとする。

【0211】

図１９において、まず、ユーザ１０６は、画像形成装置１０１の登録操作を行う（ステップＳ１９０１）。具体的に、ユーザ１０６は、画像形成装置１０１の操作パネル２０９に表示された音声制御サービス設定画面２００１に、サービスＵＲＬ、サービスＩＤ「[e-mail]」、及びパスワード「ａａａａ」を入力して登録ボタン２００２を押下する。

【0212】

次いで、画像形成装置１０１のＣＰＵ２０２は、ネットワークＩ／Ｆ２０６を介してクラウドサーバ１０３へ画像形成装置の登録要求を送信する（ステップＳ１９０２）。画像形成装置の登録要求には、ステップＳ１９０１にて入力されたサービスＩＤ「[e-mail]」及びパスワード「ａａａａ」が含まれる。また、画像形成装置の登録要求には、画像形成装置１０１のシリアル番号「ｍｆｐ＿ｓｅｒｉａｌ１１１」や空文字のニックネームも含まれる。更に、画像形成装置の登録要求には、画像形成装置１０１のＲＡＭ２０３に保存されている画像形成装置１０１のＩＰアドレス、例えば、「ｘｘｘ．ｘｘｘ．ｘｘｘ．ｘｘｘ」も含まれる。

【0213】

クラウドサーバ１０３のＣＰＵ４０２は、受信した登録要求コマンドに含まれるサービスＩＤの判定処理を行う（ステップＳ１９０３）。具体的に、ＣＰＵ４０２は、受信した登録要求コマンドに含まれる情報をサービス情報としてＲＡＭ４０３に保存する。また、ＣＰＵ４０２は、受信した登録要求コマンドに含まれるサービスＩＤ及びパスワードが、予め登録されていたユーザ情報と一致するか否かを判定する。受信した登録要求コマンドに含まれるサービスＩＤ及びパスワードが予め登録されていたユーザ情報と一致する場合、ＣＰＵ４０２は、後述する図２１の画像形成装置登録処理を実行する（ステップＳ１９０４）。画像形成装置登録処理を完了すると、ＣＰＵ４０２は、ステップＳ１９０３にてＲＡＭ４０３に保存したサービス情報を削除する。次いで、ＣＰＵ４０２は、ネットワークＩ／Ｆ４０６を介して画像形成装置１０１へ、「登録完了」を示す登録結果を通知する（ステップＳ１９０５）。

【0214】

この通知を受けた画像形成装置１０１のＣＰＵ２０２は、図２０の優先装置登録確認画面２００３を操作パネル２０９に表示させる（ステップＳ１９０６）。

【0215】

次いで、ユーザ１０６が、優先装置の登録操作を行う（ステップＳ１９０７）。具体的に、ユーザ１０６は、優先装置登録確認画面２００３のはいボタン２００４を押下する。

【0216】

優先装置の登録操作が行われると、画像形成装置１０１のＣＰＵ２０２は、音声制御装置リスト取得要求を、ネットワークＩ／Ｆ２０６を介してクラウドサーバ１０３へ送信する（ステップＳ１９０８）。音声制御装置リスト取得要求は、画像形成装置１０１のシリアル番号、及びステップＳ１９０１にて入力されたサービスＩＤとパスワードを含む。

【0217】

クラウドサーバ１０３のＣＰＵ４０２は、受信した音声制御装置リスト取得要求に含まれるサービスＩＤと画像形成装置１０１のシリアル番号を画像形成装置情報としてＲＡＭ４０３に保存し、後述する図２４の画像形成装置判定処理を実行する（ステップＳ１９０９）。次いで、ＣＰＵ４０２は、優先装置登録待ち状態遷移処理を実行する（ステップＳ１９１０）。優先装置登録待ち状態遷移処理では、ＣＰＵ４０２は、優先装置の登録待ち状態を示すフラグデータ「登録待ち：ＴＲＵＥ」と、画像形成装置１０１のシリアル番号を優先装置登録待ち状態データとしてＲＡＭ４０３に保存する。

【0218】

次いで、ＣＰＵ４０２は、後述する図２５の音声制御装置リスト取得処理を実行し（ステップＳ１９１１）、上記音声制御装置リスト取得要求に含まれるサービスＩＤに対応付けられた全ての音声制御装置のシリアル番号を含む音声制御装置リストを取得する。ＣＰＵ４０２は、取得した音声制御装置リストをＲＡＭ４０３に保存する。次いで、ＣＰＵ４０２は、ＲＡＭ４０３に保存した音声制御装置リストを、ネットワークＩ／Ｆ４０６を介して画像形成装置１０１へ送信する（ステップＳ１９１２）。

【0219】

音声制御装置リストを受信した画像形成装置１０１のＣＰＵ２０２は、操作パネル２０９に図２０の優先装置選択画面２００５を表示させる（ステップＳ１９１３）。ユーザ１０６は、優先装置選択画面２００５における優先装置リスト２００６から、優先装置にしたい音声制御装置のシリアル番号を選択する（ステップＳ１９１４）。画像形成装置１０１のＣＰＵ２０２は、優先装置通知を、ネットワークＩ／Ｆ２０６を介してクラウドサーバ１０３へ送信する（ステップＳ１９１５）。優先装置通知は、ステップＳ１９０１にて入力されたサービスＩＤとパスワード、ステップＳ１９１４にてユーザ１０６に選択された音声制御装置のシリアル番号、画像形成装置１０１のシリアル番号を含む。

【0220】

クラウドサーバ１０３のＣＰＵ４０２は、受信した優先装置通知に含まれるサービスＩＤとパスワードを画像形成装置情報としてＲＡＭ４０３に保存し、後述する図２４の画像形成装置判定処理を実行する（ステップＳ１９１６）。次いで、ＣＰＵ４０２は、受信した優先装置通知に含まれる音声制御装置のシリアル番号、画像形成装置１０１のシリアル番号、サービスＩＤを優先装置設定情報としてＲＡＭ４０３に保存し、後述する図２７の優先装置登録処理を実行する（ステップＳ１９１７）。これにより、上記サービスＩＤに対応付けられた複数の音声制御装置の中から、画像形成装置１０１と連携し且つ画像形成装置１０１の優先装置となる音声制御装置が設定される。次いで、ＣＰＵ４０２は、優先装置登録待ち状態解除処理を行う（ステップＳ１９１８）。優先装置登録待ち状態解除処理では、ＣＰＵ４０２は、ステップＳ１９１０にてＲＡＭ４０３に保存した優先装置登録待ち状態データと、ステップＳ１９１６にＲＡＭ４０３に保存した画像形成装置情報を削除する。次いで、ＣＰＵ４０２は、ステップＳ１９１７にて実行した優先装置登録処理による優先装置登録結果として、「登録完了」を、ネットワークＩ／Ｆ４０６を介して、画像形成装置１０１へ送信する（ステップＳ１９１９）。

【0221】

画像形成装置１０１のＣＰＵ２０２は、クラウドサーバ１０３から優先装置の登録結果を受信すると、操作パネル２０９に図２０の優先装置登録結果画面２００７を表示し（ステップＳ１９２０）、本処理を終了する。

【0222】

図２１は、図１９のステップ１９０４の画像形成装置登録処理の手順を示すフローチャートである。図２１の画像形成装置登録処理は、クラウドサーバ１０３のＣＰＵ４０２がＲＯＭ４０４やストレージ４０５に格納されたプログラムを実行することによって実現される。

【0223】

図２１において、ＣＰＵ４０２は、ＲＡＭ４０３に保存されたサービス情報を取得する（ステップＳ２１０１）。このサービス情報には、ステップＳ１９０２にて画像形成装置１０１から送信された画像形成装置の登録要求に含まれるサービスＩＤ、パスワード、画像形成装置１０１のシリアル番号、ニックネーム、及び画像形成装置１０１のＩＰアドレスが含まれる。次いで、ＣＰＵ４０２は、取得したサービス情報に対応する装置である画像形成装置１０１が未登録であるか否かを判別する（ステップＳ２１０２）。具体的に、ＣＰＵ４０２は、取得したサービス情報に含まれるサービスＩＤ及び画像形成装置１０１のシリアル番号の組み合わせ情報が、図２２の画像形成装置サービスデータリストに設定されているか否かを判別する。この画像形成装置サービスデータリストには、登録された画像形成装置のサービスＩＤ、シリアル番号、ＩＰアドレス、及び当該画像形成装置の優先装置として登録された音声制御装置のシリアル番号が設定されている。取得したサービス情報に含まれるサービスＩＤ及び画像形成装置１０１のシリアル番号の組み合わせ情報が画像形成装置サービスデータリストに設定されていない場合、ＣＰＵ４０２は、画像形成装置が未登録であると判別する。取得したサービス情報に含まれるサービスＩＤ及び画像形成装置１０１のシリアル番号の組み合わせ情報が画像形成装置サービスデータリストに設定されている場合、ＣＰＵ４０２は、画像形成装置１０１が未登録でないと判別する。

【0224】

ステップＳ２１０２の判別の結果、画像形成装置１０１が未登録でない、つまり、登録済みである場合、ＣＰＵ４０２は、登録結果として「登録済み」をＲＡＭ４０３に保存し（ステップＳ２１０３）、本処理を終了する。

【0225】

ステップＳ２１０２の判別の結果、画像形成装置１０１が未登録である場合、ＣＰＵ４０２は、画像形成装置１０１を登録する（ステップＳ２１０４）。具体的に、ＣＰＵ４０２は、ステップＳ２１０１にて取得したサービス情報に含まれるサービスＩＤ、画像形成装置１０１のシリアル番号、ＩＰアドレスを１組にした画像形成装置サービスデータを、上記画像形成装置サービスデータリストの末尾に追加する。次いで、ＣＰＵ４０２は、取得したサービス情報に含まれるニックネームが空文字であるか否かを判別する（ステップＳ２１０５）。

【0226】

ステップＳ２１０５の判別の結果、取得したサービス情報に含まれるニックネームが空文字である場合、画像形成装置登録処理は後述するステップＳ２１０８へ進む。ステップＳ２１０５の判別の結果、取得したサービス情報に含まれるニックネームが空文字でない場合、ＣＰＵ４０２は、取得したサービス情報に含まれるニックネームが未登録であるか否かを判別する（ステップＳ２１０６）。具体的に、ＣＰＵ４０２は、取得したサービス情報に含まれるサービスＩＤ、画像形成装置１０１のシリアル番号、ニックネームの組み合わせ情報が、図２３のニックネームデータリストに設定されているか否かを判別する。このニックネームデータリストには、登録された画像形成装置のサービスＩＤ、シリアル番号、ニックネームが設定されている。取得したサービス情報に含まれるサービスＩＤ、画像形成装置１０１のシリアル番号、ニックネームの組み合わせ情報がニックネームデータリストに設定されていない場合、ＣＰＵ４０２は取得したサービス情報に含まれるニックネームが未登録であると判別する。取得したサービス情報に含まれるサービスＩＤ、画像形成装置１０１のシリアル番号、ニックネームの組み合わせ情報がニックネームデータリストに設定されている場合、ＣＰＵ４０２は取得したサービス情報に含まれるニックネームが未登録でないと判別する。

【0227】

ステップＳ２１０６の判別の結果、取得したサービス情報に含まれるニックネームが未登録でない、つまり、登録済みである場合、画像形成装置登録処理は後述するステップＳ２１０８へ進む。ステップＳ２１０６の判別の結果、取得したサービス情報に含まれるニックネームが未登録である場合、ＣＰＵ４０２は、このニックネームを登録する（ステップＳ２１０７）。具体的に、ＣＰＵ４０２は、取得したサービス情報に含まれるサービスＩＤ、画像形成装置１０１のシリアル番号、ニックネームを１組にしたニックネームデータをニックネームデータリストの末尾に追加する。次いで、ＣＰＵ４０２は、登録結果として「登録完了」をＲＡＭ４０３に保存し（ステップＳ２１０８）、本処理を終了する。

【0228】

図２４は、図１９のステップＳ１９０９、Ｓ１９１６の画像形成装置判定処理の手順を示すフローチャートである。図２４の画像形成装置判定処理も、クラウドサーバ１０３のＣＰＵ４０２がＲＯＭ４０４やストレージ４０５に格納されたプログラムを実行することによって実現される。

【0229】

図２４において、ＣＰＵ４０２は、ＲＡＭ４０３に保存されている画像形成装置情報を取得する（ステップＳ２４０１）。この画像形成装置情報には、画像形成装置１０１から受信したサービスＩＤ及び画像形成装置１０１のシリアル番号が含まれる。次いで、ＣＰＵ４０２は、画像形成装置１０１が登録済みであるか否かを判別する（ステップＳ２４０２）。具体的に、ＣＰＵ４０２は、取得した画像形成装置情報に含まれるサービスＩＤ及び画像形成装置１０１のシリアル番号の組み合わせ情報が上記画像形成装置サービスデータリストに設定されているか否かを判別する。取得した画像形成装置情報に含まれるサービスＩＤ及び画像形成装置１０１のシリアル番号の組み合わせ情報が上記画像形成装置サービスデータリストに設定されていない場合、ＣＰＵ４０２は、画像形成装置１０１が登録済みでないと判別する。取得した画像形成装置情報に含まれるサービスＩＤ及び画像形成装置１０１のシリアル番号の組み合わせ情報が上記画像形成装置サービスデータリストに設定されている場合、ＣＰＵ４０２は、画像形成装置１０１が登録済みであると判別する。

【0230】

ステップＳ２４０２の判別の結果、画像形成装置１０１が登録済みでない場合、ＣＰＵ４０２は、画像形成装置判定結果として「未登録」をＲＡＭ４０３に保存し（ステップＳ２４０３）、本処理を終了する。ステップＳ２４０２の判別の結果、画像形成装置１０１が登録済みである場合、ＣＰＵ４０２は、画像形成装置判定結果として「登録済み」をＲＡＭ４０３に保存し（ステップＳ２４０３）、本処理を終了する。

【0231】

図２５は、図１９のステップＳ１９１１の音声制御装置リスト取得処理の手順を示すフローチャートである。図２５の音声制御装置リスト取得処理も、クラウドサーバ１０３のＣＰＵ４０２がＲＯＭ４０４やストレージ４０５に格納されたプログラムを実行することによって実現される。

【0232】

図２５において、ＣＰＵ４０２は、ＲＡＭ４０３に保存されている画像形成装置情報からサービスＩＤを取得する（ステップＳ２５０１）。次いで、ＣＰＵ４０２は、図２６の音声制御装置サービスデータリストに基づいて、音声制御装置リストを取得する（ステップＳ２５０２）。音声制御装置サービスデータリストには、図９の登録処理によって登録された全ての音声制御装置のシリアル番号とＩＰアドレスが設定されている。ステップＳ２５０２では、ＣＰＵ４０２は、上記音声制御装置サービスデータリストから、ステップＳ２５０１にて取得したサービスＩＤに対応する全ての音声制御装置のシリアル番号を特定し、特定した全てのシリアル番号を含む音声制御装置リストを取得する。例えば、サービスＩＤが「[e-mail]」である場合、音声制御装置リストは｛ｓｐｅｅｋｅｒ１、ｓｐｅｅｋｅｒ２、ｓｐｅｅｋｅｒ３、ｓｐｅｅｋｅｒＡ、ｓｐｅｅｋｅｒＢ、ｓｐｅｅｋｅｒＣ｝といった内容となる。音声制御装置リストは、ＲＡＭ４０３に保存される。その後、音声制御装置リスト処理は終了する。

【0233】

図２７は、図１９のステップＳ１９１７の優先装置登録処理の手順を示すフローチャートである。図２７の優先装置登録処理も、クラウドサーバ１０３のＣＰＵ４０２がＲＯＭ４０４やストレージ４０５に格納されたプログラムを実行することによって実現される。

【0234】

図２７において、ＣＰＵ４０２は、優先設定登録待ち状態であるか否かを判別する（ステップＳ２７０１）。ステップＳ２７０１では、例えば、ＲＡＭ４０３に保存されている優先装置登録待ち状態データに含まれる優先装置の登録待ち状態を示すフラグデータが「ＴＲＵＥ」である場合、ＣＰＵ４０２は、優先設定登録待ち状態であると判別する。一方、上記フラグデータが「ＴＲＵＥ」でない場合、ＣＰＵ４０２は、優先設定登録待ち状態でないと判別する。

【0235】

ステップＳ２７０１の判別の結果、優先設定登録待ち状態でない場合、ＣＰＵ４０２は、優先装置登録結果として「非登録待ち状態」をＲＡＭ４０３に保存し（ステップＳ２７０２）、本処理を終了する。ステップＳ２７０１の判別の結果、優先設定登録待ち状態である場合、ＣＰＵ４０２は、ＲＡＭ４０３に保存された優先装置設定情報を取得する（ステップＳ２７０３）。この優先設定情報には、上述したようにステップＳ１９０１にて入力されたサービスＩＤ、ステップＳ１９１４にてユーザ１０６に選択された音声制御装置のシリアル番号、画像形成装置１０１のシリアル番号が含まれる。次いで、ＣＰＵ４０２は、画像形成装置１０１を登録済みであるか否かを判別する（ステップＳ２７０４）。例えば、取得した優先装置設定情報に含まれる画像形成装置１０１のシリアル番号及びサービスＩＤの組み合わせ情報が上記画像形成装置サービスデータリストに設定されている場合、ＣＰＵ４０２は、画像形成装置１０１を登録済みであると判別する。一方、上記組み合わせ情報が上記画像形成装置サービスデータリストに設定されていない場合、ＣＰＵ４０２は、画像形成装置１０１を登録済みでないと判別する。

【0236】

ステップＳ２７０４の判別の結果、画像形成装置１０１を登録済みでない場合、ＣＰＵ４０２は、優先装置登録結果として「画像形成装置未登録」をＲＡＭ４０３に保存し（ステップＳ２７０５）、本処理を終了する。

【0237】

ステップＳ２７０４の判別の結果、画像形成装置１０１を登録済みである場合、ＣＰＵ４０２は、ユーザが選択した音声制御装置を登録済みであるか否かを判別する（ステップＳ２７０６）。例えば、取得した優先装置設定情報に含まれる音声制御装置のシリアル番号及びサービスＩＤの組み合わせ情報が上記音声制御装置サービスデータリストに設定されている場合、ＣＰＵ４０２は、ユーザが選択した音声制御装置を登録済みであると判別する。一方、取得した優先装置設定情報に含まれる音声制御装置のシリアル番号及びサービスＩＤの組み合わせ情報が上記音声制御装置サービスデータリストに設定されていない場合、ＣＰＵ４０２は、ユーザが選択した音声制御装置を登録済みでないと判別する。

【0238】

ステップＳ２７０６の判別の結果、ユーザが選択した音声制御装置を登録済みでない場合、ＣＰＵ４０２は、優先装置登録結果として「音声制御装置未登録」をＲＡＭ４０３に保存し（ステップＳ２７０７）、本処理を終了する。ステップＳ２７０６の判別の結果、ユーザが選択した音声制御装置を登録済みである場合、ＣＰＵ４０２は、画像形成装置１０１に対する優先装置を未登録であるか否かを判別する（ステップＳ２７０８）。具体的に、ＣＰＵ４０２は、上記画像形成装置サービスデータリストから、取得した優先装置設定情報に含まれる画像形成装置１０１のシリアル番号及びサービスＩＤに対応するデータを取得する。当該データの優先設定が未設定である場合、ＣＰＵ４０２は、画像形成装置１０１に対する優先装置を未登録であると判別する。一方、上記データの優先設定が未設定でない、つまり、上記データの優先設定に何れかの音声制御装置が設定されている場合、ＣＰＵ４０２は、画像形成装置１０１に対する優先装置を未登録でないと判別する。

【0239】

ステップＳ２７０８の判別の結果、画像形成装置１０１に対する優先装置を未登録でない場合、ＣＰＵ４０２は、優先装置登録結果として「優先設定登録済み」をＲＡＭ４０３に保存し（ステップＳ２７０９）、本処理を終了する。ステップＳ２７０８の判別の結果、画像形成装置１０１に対する優先装置を未登録である場合、ＣＰＵ４０２は、画像形成装置１０１に対する優先装置を登録する（ステップＳ２７１０）。具体的に、ＣＰＵ４０２は、上記画像形成装置サービスデータリストから、取得した優先装置設定情報に含まれる画像形成装置１０１のシリアル番号及びサービスＩＤと一致するデータを特定し、当該データの優先設定に、ステップＳ２７０３にて取得した優先装置設定情報に含まれる音声制御装置のシリアル番号を設定する。次いで、ＣＰＵ４０２は、優先装置登録結果として「登録完了」をＲＡＭ４０３に保存し（ステップＳ２７１１）、本処理を終了する。

【0240】

図２８は、第２の実施の形態の情報処理システム１００による音声操作制御の第１の例を示すシーケンス図である。図２８の音声操作制御は、図１０の音声操作制御と基本的に同じであり、以下では、図１０の音声操作制御と異なる点について説明する。図２８では、音声制御装置１０７、音声制御装置１０２の順でジョブ要求が送信された場合について説明する。なお、図２８の音声操作制御においても、ユーザ１０６は、クラウドサーバ１０３が管理するサービスＵＲＬ「ｈｔｔｐ：／／ｓｅｒｖｉｃｅ１．ｃｏｍ」に対応するサービスが提供するアプリケーション及びＷｅｂＡＰＩ等を介して上記ユーザ情報を予め登録していることとする。また、図９の登録処理による音声制御装置１０７及び音声制御装置１０２の登録、及び図１９の登録処理による画像形成装置１０１の登録が既に完了し、音声制御装置１０２が画像形成装置１０１の優先装置として登録されていることとする。なお、図２８の音声操作制御でも、音声制御装置１０２、画像形成装置１０１、クラウドサーバ１０３は、互いに通信可能な状態であることとする。また、画像形成装置１０１は、電源ＯＮの起動後にコピー、スキャン、プリント等の機能を呼び出し可能な状態であることとする。

【0241】

図２８において、上述したステップＳ１００１～Ｓ１００８と同様の処理であるステップＳ２８０１～Ｓ２８０８が行われる。これにより、音声制御装置１０７から受信したジョブ要求に基づいて、クラウドサーバ１０３が音声認識処理、形態素解析処理、グループＩＤ判定処理を行う。

【0242】

次いで、クラウドサーバ１０３のＣＰＵ４０２は、ステップＳ２８０５にて音声制御装置１０７から送信されたジョブ要求に含まれる音声制御装置１０７のシリアル番号を音声制御装置情報としてＲＡＭ４０３に保存する。次いで、ＣＰＵ４０２は、後述する図３１のプリントジョブコマンド生成処理を実行する（ステップＳ２８０９）。ここで、音声制御装置１０７は、画像形成装置１０１の優先装置ではないため、ステップＳ２８０９では、優先度として「Ｌｏｗ」が設定された図２９の通常プリントジョブコマンドが生成される。次いで、ＣＰＵ４０２は、通常プリントジョブコマンドを、ネットワークＩ／Ｆ４０６を介して画像形成装置１０１へ送信する（ステップＳ２８１０）。

【0243】

画像形成装置１０１のＣＰＵ２０２は、受信した通常プリントジョブコマンドを、ＲＡＭ２０３に保存する。次いで、ＣＰＵ２０２は、後述する図３５のプリントジョブ実行処理を実行し（ステップＳ２８１１）、通常プリントジョブコマンドに基づいてプリントジョブを開始する。ＣＰＵ２０２は、プリントジョブ実行結果として、当該プリントジョブを示すジョブＩＤ「１」のジョブデータとジョブ状態を示す「ジョブ開始」をＲＡＭ２０３に保存する。次いで、ＣＰＵ２０２は、ネットワークＩ／Ｆ２０６を介して、ジョブ開始応答をクラウドサーバ１０３へ送信する（ステップＳ２８１２）。このジョブ開始応答は、ＲＡＭ２０３に保存されたジョブＩＤ「１」と、ジョブ状態を示す「実行中」を含む。

【0244】

クラウドサーバ１０３のＣＰＵ４０２は、ジョブ開始応答を受信すると、ジョブ管理情報を登録する（ステップＳ２８１３）。ステップＳ２８１３では、ＣＰＵ４０２は、ＲＡＭ４０３に保存されたジョブ管理情報リストの末尾にジョブ管理情報を追加する。ジョブ管理情報は、音声制御装置１０７のシリアル番号、画像形成装置１０１のシリアル番号、ジョブＩＤ「１」、及びジョブ状態を示す「実行中」を含む。次いで、ＣＰＵ４０２は、音声合成処理を行う（ステップＳ２８１４）。ステップＳ２８１４では、例えば、「プリントジョブを開始しました」といった音声の音声合成データが生成される。ＣＰＵ４０２は、生成した音声合成データを、ネットワークＩ／Ｆ４０６を介して音声制御装置１０７へ送信する（ステップＳ２８１５）。

【0245】

音声制御装置１０７のＣＰＵ３０２’は、受信した音声合成データを再生する（ステップＳ２８１６）。この音声合成データを再生すると、例えば、「プリントジョブを開始しました」といった音声がスピーカ３１０’から出力される。次いで、ＣＰＵ３０２’は、発話処理状態を示すＬＥＤ点灯制御を行う。具体的に、ＣＰＵ３０２’は、表示コントローラ３１１’を介してＬＥＤ３１２’を点滅させる。その後、クラウドサーバ１０３が対話セッションの終了判定を行い、その判定結果に基づいてクラウドサーバ１０３から送信された対話セッション終了通知を受信すると、ＣＰＵ３０２’は、対話セッションを終了する（ステップＳ２８１７）。

【0246】

その後、上述したステップＳ１０１８～Ｓ１０２５と同様の処理であるステップＳ２８１８～Ｓ２８２５の処理が行われる。これにより、クラウドサーバ１０３が、音声制御装置１０２から受信したジョブ要求に基づいて、音声認識処理、形態素解析処理、グループＩＤ判定処理を行う。

【0247】

次いで、クラウドサーバ１０３のＣＰＵ４０２は、ステップＳ２８２２にて音声制御装置１０２から送信されたジョブ要求に含まれる音声制御装置１０２のシリアル番号を音声制御装置情報としてＲＡＭ４０３に保存する。次いで、ＣＰＵ４０２は、後述する図３５のプリントジョブコマンド生成処理を実行する（ステップＳ２８２６）。ここで、音声制御装置１０２は、画像形成装置１０１の優先装置であるため、ステップＳ２８２６では、優先度として「Ｈｉｇｈ」が設定された図３０の高優先プリントジョブコマンドが生成される。次いで、ＣＰＵ４０２は、高優先プリントジョブコマンドを、ネットワークＩ／Ｆ４０６を介して画像形成装置１０１へ送信する（ステップＳ２８２７）。

【0248】

画像形成装置１０１のＣＰＵ２０２は、受信した高優先プリントジョブコマンドをＲＡＭ２０３に保存する。次いで、ＣＰＵ２０２は、後述する図３５のプリントジョブ実行処理を行う（ステップＳ２８２８）。ステップＳ２８２８では、ステップＳ２８１１にて開始した通常プリントジョブコマンドに基づくプリントジョブが停止され、上記高優先プリントジョブコマンドに基づくプリントジョブが割り込み実行される。ＣＰＵ２０２は、プリントジョブ実行結果として、上記高優先プリントジョブコマンドに基づくプリントジョブを示すジョブＩＤ「２」のジョブデータとジョブ状態を示す「割り込み開始」をＲＡＭ２０３に保存する。次いで、ＣＰＵ２０２は、プリントジョブ応答を、ネットワークＩ／Ｆ２０６を介してクラウドサーバ１０３へ送信する（ステップＳ２８２９）。プリントジョブ応答は、ＲＡＭ２０３に保存されたジョブＩＤ「２」と、ジョブ状態を示す「割り込み開始」を含む。

【0249】

クラウドサーバ１０３のＣＰＵ４０２は、プリントジョブ応答を受信すると、ジョブ管理情報を登録する（ステップＳ２８３０）。具体的に、ＣＰＵ４０２は、ＲＡＭ４０３に保存されたジョブ管理情報リストからジョブ状態が「実行中」のジョブ管理情報を探索し、このジョブ管理情報のジョブ状態を「中断中」に変更する。また、ＣＰＵ４０２は、このジョブ管理情報と異なる新たなジョブ管理情報を、ジョブ管理情報リストの先頭に追加する。新たなジョブ管理情報は、音声制御装置１０２のシリアル番号、画像形成装置１０１のシリアル番号、ジョブＩＤ「２」、ジョブ状態を示す「実行中」を含む。次いで、ＣＰＵ４０２は、音声合成処理を行う（ステップＳ２８３１）。ステップＳ２８３１では、例えば、「プリントジョブの割り込みが発生しました」といった音声の音声合成データが生成される。次いで、ＣＰＵ４０２は、ステップＳ２８３０にて探索したジョブ管理情報から、割り込まれたジョブのジョブ要求を送信した音声制御装置を特定する。ＣＰＵ４０２は、特定した音声制御装置、具体的に、音声制御装置１０７へ、生成した音声合成データを送信する（ステップＳ２８３２）。

【0250】

音声制御装置１０７のＣＰＵ３０２’は、音声合成データを受信すると、ＲＡＭ３０３’に保存された通知有り状態を示す値を「ＴＲＵＥ」に設定し、通知有り状態を示すＬＥＤ点灯制御を行う。具体的に、ＣＰＵ３０２’は、表示コントローラ３１１’を介してＬＥＤ３１２’を点滅させる（ステップＳ２８３３）。ＬＥＤ３１２’は、通知有り状態が「ＴＲＵＥ」の間、所定の間隔で点滅する。

【0251】

その後、ユーザ１０８が通知発声指示となる「通知はある？」を音声制御装置１０７に発すると（ステップＳ２８３４）、音声制御装置１０７のＣＰＵ３０２’は、受信した音声合成データを再生する（ステップＳ２８３５）。この音声合成データを再生すると、例えば、「プリントジョブの割り込みが発生しました」といった音声がスピーカ３１０’から出力される。また、ＣＰＵ３０２’は、ＲＡＭ３０３’に保存された通知有り状態を示す値を「ＦＡＬＳＥ」に設定する。

【0252】

一方、クラウドサーバ１０３のＣＰＵ４０２は、ステップＳ２８３２にて音声制御装置１０７へ音声合成データを送信した後、音声合成処理を行う（ステップＳ２８３６）。ステップＳ２８３６では、例えば、「プリントジョブを開始しました」といった音声の音声合成データが生成される。次いで、ＣＰＵ４０２は、生成した音声合成データを、ネットワークＩ／Ｆ４０６を介して音声制御装置１０２へ送信する（ステップＳ２８３７）。

【0253】

音声制御装置１０２のＣＰＵ３０２は、受信した音声合成データを再生する（ステップＳ２８３８）。この音声合成データを再生すると、例えば、「プリントジョブを開始しました」といった音声がスピーカ３１０から出力される。次いで、ＣＰＵ３０２は、発話処理状態を示すＬＥＤ点灯制御を行う。具体的に、ＣＰＵ３０２は、表示コントローラ３１１を介してＬＥＤ３１２を点滅させる。その後、クラウドサーバ１０３が対話セッションの終了判定を行い、その判定結果に基づいてクラウドサーバ１０３から送信された対話セッション終了通知を受信すると、ＣＰＵ３０２は、対話セッションを終了する（ステップＳ２８３９）。

【0254】

その後、ステップＳ２８２８にて開始された高優先プリントジョブコマンドに基づくプリントジョブを終了すると、画像形成装置１０１のＣＰＵ２０２は、ジョブ終了通知を、ネットワークＩ／Ｆ２０６を介してクラウドサーバ１０３へ送信する（ステップＳ２８４０）。このジョブ終了通知は、終了したプリントジョブを示すジョブＩＤ「２」とジョブ状態を示す「正常終了」を含む。

【0255】

クラウドサーバ１０３のＣＰＵ４０２は、ジョブ終了通知を受信すると、音声合成処理を行う（ステップＳ２８４１）。ステップＳ２８４１では、例えば、「プリントジョブが正常に終了しました」といった音声の音声合成データが生成される。次いで、ＣＰＵ４０２は、ＲＡＭ４０３に保存されているジョブ管理情報リストから、ジョブＩＤ「２」に対応するジョブ管理情報を探索する。ＣＰＵ４０２は、探索したジョブ管理情報における音声制御装置のシリアル番号に対応する音声制御装置１０２へ、生成した音声合成データを送信する（ステップＳ２８４２）。また、ＣＰＵ４０２は、ジョブ管理情報リストからジョブＩＤ「２」のジョブ管理情報を削除する。

【0256】

音声制御装置１０２のＣＰＵ３０２は、音声合成データを受信すると、ＲＡＭ３０３に保存された通知有り状態を示す値を「ＴＲＵＥ」に設定し、通知有り状態を示すＬＥＤ点灯制御を行う。具体的に、ＣＰＵ３０２は、表示コントローラ３１１を介してＬＥＤ３１２を点滅させる（ステップＳ２８４３）。ＬＥＤ３１２は、通知有り状態が「ＴＲＵＥ」の間、所定の間隔で点滅する。

【0257】

その後、ユーザ１０６が通知発声指示となる「通知はある？」を音声制御装置１０２に発すると（ステップＳ２８４４）、音声制御装置１０２のＣＰＵ３０２は、受信した音声合成データを再生する（ステップＳ２８４５）。この音声合成データを再生すると、例えば、「プリントジョブが正常に終了しました」といった音声がスピーカ３１０から出力される。また、ＣＰＵ３０２は、ＲＡＭ３０３に保存された通知有り状態を示す値を「ＦＡＬＳＥ」に設定する。

【0258】

一方、画像形成装置１０１のＣＰＵ２０２は、ステップＳ２８２８にて開始された高優先プリントジョブコマンドに基づくプリントジョブを終了すると、後述する図３６のプリントジョブ再開処理を実行する（ステップＳ２８４６）。これにより、ステップＳ２８２８にて中断された通常プリントジョブコマンドに基づくプリントジョブが再開される。ＣＰＵ２０２は、プリント再開処理の結果として、当該プリントジョブを示すジョブＩＤ「１」とジョブ状態を示す「ジョブ再開」をＲＡＭ２０３に保存する。次いで、ＣＰＵ２０２は、ジョブ再開通知を、ネットワークＩ／Ｆ２０６を介してクラウドサーバ１０３へ送信する（ステップＳ２８４７）。ジョブ再開通知は、ジョブＩＤ「１」とジョブ状態を示す「ジョブ再開」を含む。

【0259】

クラウドサーバ１０３のＣＰＵ４０２は、ジョブ再開通知を受信すると、音声合成処理を行う（ステップＳ２８４８）。ステップＳ２８４８では、例えば、「中断していたプリントジョブを再開しました」といった音声の音声合成データが生成される。次いで、ＣＰＵ４０２は、ＲＡＭ４０３に保存されたジョブ管理情報リストから、ジョブＩＤ「１」のジョブ管理情報を探索する。ＣＰＵ４０２は、探索したジョブ管理情報における音声制御装置のシリアル番号に対応する音声制御装置１０７へ、生成した音声合成データを送信する（ステップＳ２８４９）。

【0260】

音声制御装置１０７のＣＰＵ３０２’は、音声合成データを受信すると、ＲＡＭ３０３’に保存された通知有り状態を示す値を「ＴＲＵＥ」に設定し、表示コントローラ３１１’を介してＬＥＤ３１２’を点滅させる（ステップＳ２８５０）。

【0261】

その後、ユーザ１０８が通知発声指示となる「通知はある？」を音声制御装置１０７に発すると（ステップＳ２８５１）、音声制御装置１０７のＣＰＵ３０２’は、受信した音声合成データを再生する（ステップＳ２８５２）。この音声合成データを再生すると、例えば、「中断していたプリントジョブを再開しました」といった音声がスピーカ３１０’から出力される。また、ＣＰＵ３０２’は、ＲＡＭ３０３’に保存された通知有り状態を示す値を「ＦＡＬＳＥ」に設定する。

【0262】

その後、ステップＳ２８４６にて再開したプリントジョブを終了すると、画像形成装置１０１のＣＰＵ２０２は、ジョブ終了通知を、ネットワークＩ／Ｆ４０６を介してクラウドサーバ１０３へ送信する（ステップＳ２８５３）。このジョブ終了通知は、終了したプリントジョブを示すジョブＩＤ「１」とジョブ状態を示す「正常終了」を含む。

【0263】

クラウドサーバ１０３のＣＰＵ４０２は、ジョブ終了通知を受信すると、音声合成処理を行う（ステップＳ２８５４）。ステップＳ２８５４では、例えば、「プリントジョブが正常に終了しました」といった音声の音声合成データが生成される。次いで、ＣＰＵ４０２は、ＲＡＭ４０３に保存されているジョブ管理情報リストから、ジョブＩＤ「１」に対応するジョブ管理情報を探索する。ＣＰＵ４０２は、探索したジョブ管理情報における音声制御装置のシリアル番号に対応する音声制御装置１０７へ、生成した音声合成データを送信する（ステップＳ２８５５）。また、ＣＰＵ４０２は、ジョブ管理情報リストからジョブＩＤ「１」のジョブ管理情報を削除する。

【0264】

音声制御装置１０７のＣＰＵ３０２’は、音声合成データを受信すると、ＲＡＭ３０３’に保存された通知有り状態を示す値を「ＴＲＵＥ」に設定し、表示コントローラ３１１’を介してＬＥＤ３１２’を点滅させる（ステップＳ２８５６）。

【0265】

その後、ユーザ１０８が通知発声指示となる「通知はある？」を音声制御装置１０７に発すると（ステップＳ２８５７）、音声制御装置１０７のＣＰＵ３０２’は、受信した音声合成データを再生する（ステップＳ２８５８）。この音声合成データを再生すると、例えば、「プリントジョブが正常に終了しました」といった音声がスピーカ３１０’から出力される。また、ＣＰＵ３０２’は、ＲＡＭ３０３’に保存された通知有り状態を示す値を「ＦＡＬＳＥ」に設定し、本処理を終了する。

【0266】

図３１は、図２８のステップＳ２８０９、Ｓ２８２６のプリントジョブコマンド生成処理の手順を示すフローチャートである。図３１のプリントジョブコマンド生成処理は、クラウドサーバ１０３のＣＰＵ４０２が、ＲＯＭ４０４又はストレージ４０５に格納されたプログラムを実行することによって実現される。

【0267】

図３１において、ＣＰＵ４０２は、ＲＡＭ４０３に保存された音声制御装置情報から音声制御装置のシリアル番号を取得し、取得した音声制御装置のシリアル番号と一致するデータを上記音声制御装置サービスデータリストから抽出する。ＣＰＵ４０２は、抽出したデータからサービスＩＤを特定し（ステップＳ３１０１）、特定したサービスＩＤをＲＡＭ４０３に保存する。次いで、ＣＰＵ４０２は、取得したサービスＩＤに対応する画像形成装置を登録済みであるか否かを判別する（ステップＳ３１０２）。例えば、ＣＰＵ４０２は、ＲＡＭ４０３に保存された形態素列解析結果リストの「に」の前の文字列をニックネームと判断する。ＣＰＵ４０２は、当該ニックネーム及び取得したサービスＩＤの両方を含むデータを上記ニックネームデータリストから抽出する。該当するデータを上記ニックネームデータリストから抽出できた場合、ＣＰＵ４０２は、取得したサービスＩＤに対応する画像形成装置を登録済みであると判別する。一方、該当するデータを上記ニックネームデータリストから抽出できなかった場合、ＣＰＵ４０２は、取得したサービスＩＤに対応する画像形成装置を登録済みでないと判別する。

【0268】

ステップＳ３１０２の判別の結果、取得したサービスＩＤに対応する画像形成装置を登録済みでない場合、ＣＰＵ４０２は、プリントジョブ生成結果として「画像形成装置未登録」をＲＡＭ４０３に保存し（ステップＳ３１０３）、本処理を終了する。

【0269】

ステップＳ３１０２の判別の結果、取得したサービスＩＤに対応する画像形成装置を登録済みである場合、ＣＰＵ４０２は、上記ニックネームデータリストから抽出したデータから、画像形成装置のシリアル番号を取得し（ステップＳ３１０４）、取得した画像形成装置のシリアル番号をＲＡＭ４０３に保存する。次いで、ＣＰＵ４０２は、ＲＡＭ４０３に保存された形態素列解析結果リストの「に」と「を」の間の文字列をファイル名と判断し、当該ファイル名をＲＡＭ４０３に保存する（ステップＳ３１０５）。次いで、ＣＰＵ４０２は、ＲＡＭ４０３に保存されたファイル名をファイルワードとして持つデータが図３２のファイル管理リストに登録されているか否かを判別する（ステップＳ３１０６）。ファイル管理リストには、印刷対象となるファイルに関する情報が登録されている。

【0270】

ステップＳ３１０６の判別の結果、該当するデータが上記ファイル管理リストに登録されていない場合、ＣＰＵ４０２は、プリントジョブ生成結果として「ファイルエラー」をＲＡＭ４０３に保存し（ステップＳ３１０７）、本処理を終了する。

【0271】

ステップＳ３１０６の判別の結果、該当するデータが上記ファイル管理リストに登録されている場合、ＣＰＵ４０２は、ＲＡＭ４０３に保存された形態素列解析結果リストの「を」と「プリント」の間の文字列をジョブ情報として取得する（ステップＳ３１０８）。ＣＰＵ４０２は、この文字列に対応するグループＩＤを、ＲＡＭ４０３に保存されたジョブ情報グループＩＤリストに記録する。次いで、ＣＰＵ４０２は、ジョブ要求の送信元である音声制御装置が優先装置であるか否かを判別する（ステップＳ３１０９）。ステップＳ３１０９では、例えば、ＣＰＵ４０２は、ＲＡＭ４０３に保存されたサービスＩＤ及び画像形成装置のシリアル番号を含むデータを上記画像形成装置サービスデータリストから抽出する。ＣＰＵ４０２は、抽出したデータの優先装置に設定されているシリアル番号と、ＲＡＭ４０３に保存された音声制御装置情報に含まれる音声制御装置のシリアル番号とが一致する場合、ジョブ要求の送信元である音声制御装置が優先装置であると判別する。一方、抽出したデータの優先装置に設定されているシリアル番号と、ＲＡＭ４０３に保存された音声制御装置情報に含まれる音声制御装置のシリアル番号とが一致しない場合、ジョブ要求の送信元である音声制御装置が優先装置でないと判別する。

【0272】

ステップＳ３１０９の判別の結果、ジョブ要求の送信元である音声制御装置が優先装置である場合、ＣＰＵ４０２は、優先度情報として優先度「高」をＲＡＭ４０３に保存する（ステップＳ３１１０）。次いで、プリントジョブコマンド生成処理はステップＳ３１１２へ進む。ステップＳ３１０９の判別の結果、ジョブ要求の送信元である音声制御装置が優先装置でない場合、ＣＰＵ４０２は、優先度情報として優先度「低」をＲＡＭ４０３に保存する（ステップＳ３１１１）。次いで、ＣＰＵ４０２は、後述する図３３のコマンド生成処理を実行し（ステップＳ３１１２）、プリントジョブコマンドを生成する。次いで、ＣＰＵ４０２は、プリントジョブコマンド生成結果が「完了」である否かを判別する（ステップＳ３１１３）。

【0273】

ステップＳ３１１３の判別の結果、プリントジョブコマンド生成結果が「完了」でない場合、ＣＰＵ４０２は、プリントジョブ生成結果として「ジョブ情報エラー」をＲＡＭ４０３に保存し（ステップＳ３１１４）、本処理を終了する。ステップＳ３１１３の判別の結果、プリントジョブコマンド生成結果が「完了」である場合、ＣＰＵ４０２は、プリントジョブ生成結果として「生成完了」をＲＡＭ４０３に保存し（ステップＳ３１１５）、本処理を終了する。

【0274】

図３３は、図３１のステップＳ３１１２のコマンド生成処理の手順を示すフローチャートである。

【0275】

図３３において、ＣＰＵ４０２は、ジョブ開始を意味する文字列「“ｏｐｅｒａｔｉｏｎ”：“ｊｏｂＳｔａｒｔ”」を生成する（ステップＳ３３０１）。次いで、ＣＰＵ４０２は、プリントジョブを意味する文字列「“ｊｏｂＮａｍｅ”：“Ｐｒｉｎｔ”」を生成する（ステップＳ３３０２）。次いで、ＣＰＵ４０２は、ステップＳ３１１０又はＳ３１１１１にてＲＡＭ４０３に保存された優先度情報に対応する文字列を生成する（ステップＳ３３０３）。例えば、優先度情報が優先度「高」である場合、ＣＰＵ４０２は、この優先度を意味する文字列「“ｐｒｉｏｒｉｔｙ”：“ｈｉｇｈ”」を生成する。一方、優先度情報が優先度「低」である場合、ＣＰＵ４０２は、この優先度を意味する文字列「“ｐｒｉｏｒｉｔｙ”：“ｌｏｗ”」を生成する。ＣＰＵ４０２は、生成した文字列を優先度文字列としてＲＡＭ４０３に保存する。

【0276】

次いで、ＣＰＵ４０２は、ステップＳ３１０５にてＲＡＭ４０３に保存されたファイル名に対応するデータを上記ファイル管理リストから抽出する。ＣＰＵ４０２は、抽出したデータのファイルフォーマットを意味する文字列を生成する（ステップＳ３３０４）。例えば、抽出したデータのファイルフォーマットが「ＪＰＥＧ」である場合、ＣＰＵ４０２は、「“ｆｏｒｍａｔ”：“ＪＰＥＧ”」という文字列を生成し、この文字列をフォーマット文字列としてＲＡＭ４０３に保存する。

【0277】

次いで、ＣＰＵ４０２は、上記抽出したデータのファイルパスが示す画像ファイルデータをバイナリデータ化し、当該画像ファイルデータを意味する文字列を生成する（ステップＳ３３０５）。例えば、ファイルのバイナリデータが「ｘｘｘｘ・・・」である場合、ＣＰＵ４０２は、「“ｄａｔａ”：“ｘｘｘｘ・・・”」という文字列を生成し、この文字列をファイルデータ文字列としてＲＡＭ４０３に保存する。次いで、ＣＰＵ４０２は、ジョブ情報グループＩＤリストが空であるか否かを判別する（ステップＳ３３０６）。

【0278】

ステップＳ３３０６の判別の結果、ジョブ情報グループＩＤリストが空でない場合、ＣＰＵ４０２は、ジョブ情報生成用グループＩＤリスト取得処理を行う（ステップＳ３３０７）。ステップＳ３３０７では、ＣＰＵ４０２は、ジョブ情報グループＩＤリストの先頭から、図３４のジョブ情報設定規則の何れかのキーワードとマッチするまで探索を行う。何れかのキーワードにマッチした場合、ＣＰＵ４０２は、ジョブ情報グループＩＤリストの先頭からマッチしたキーワードまでの要素を、ＲＡＭ４０３上のジョブ情報生成用グループＩＤリストに保存し、上記要素をジョブ情報グループＩＤリストから削除する。また、マッチしたキーワードに対応する上記ジョブ情報設定規則の数値許可が「Ｙｅｓ」であり、且つジョブ情報生成用グループＩＤリストに数字を示すグループＩＤが存在せず、且つジョブ情報グループＩＤリストの先頭要素が数字を示すグループＩＤである場合、ＣＰＵ４０２は、ジョブ情報グループＩＤリストの先頭要素をジョブ情報生成用グループＩＤリストに保存し、当該先頭要素をジョブ情報グループＩＤリストから削除する。例えば、発声キーワードが「１部両面プリントする」である場合、ジョブ情報グループＩＤリストは｛ＩＤ：ＮＵＭ０００１、ＩＤ：ＣＮＦ００００１、ＩＤ：ＣＮＦ００００５｝となり、「ＩＤ：ＣＮＦ００００１」のキーワードがマッチするまで探索した｛ＩＤ：ＮＵＭ０００１、ＩＤ：ＣＮＦ００００１｝がジョブ情報生成用グループＩＤリストとなる。数値許可が「Ｙｅｓ」であるがジョブ情報生成用グループＩＤリスト内に数字を示すグループＩＤ｛ＩＤ：ＮＵＭ０００１｝が含まれているため、｛ＩＤ：ＮＵＭ０００１、ＩＤ：ＣＮＦ００００１｝をジョブ情報生成用グループＩＤリストとする。一方、発声キーワードが「部数１で両面プリントする」である場合、ジョブ情報グループＩＤリストは｛ＩＤ：ＣＮＦ００００１、ＩＤ：ＮＵＭ０００１、ＩＤ：ＣＮＦ００００５｝となる。「ＩＤ：ＣＮＦ００００１」のキーワードがマッチするまで探索した｛ＩＤ：ＣＮＦ００００１｝をジョブ情報生成用グループＩＤリストに保存した後、｛ＩＤ：ＣＮＦ００００１｝の数値許可が「Ｙｅｓ」であるため、ジョブ情報グループＩＤリスト｛ＩＤ：ＮＵＭ００００１、ＩＤ：ＣＮＦ００００５｝の先頭要素｛ＩＤ：ＮＵＭ００００１｝をジョブ情報生成用グループＩＤリストに保存し、｛ＩＤ：ＣＮＦ００００１、ＩＤ：ＮＵＭ０００１｝をジョブ情報生成用グループＩＤリストとする。

【0279】

次いで、ＣＰＵ４０２は、グループＩＤエラーが発生しているか否かを判別する（ステップＳ３３０８）。例えば、ジョブ情報生成用グループＩＤリストに上記ジョブ情報設定規則の何れかのキーワード又は数字を示すグループＩＤ以外が含まれている場合、又はステップＳ３３０７にてマッチしたキーワードに対応する上記ジョブ情報設定規則の数値許可が「Ｙｅｓ」であってジョブ情報生成用グループＩＤリストに数字に対応するグループＩＤが存在しない場合、又はジョブ情報設定規則の数値許可が「Ｎｏ」であってジョブ情報生成用グループＩＤリストに数字に対応するグループＩＤが存在する場合、ＣＰＵ４０２は、グループＩＤエラーが発生していると判別する。一方、上述した条件を満たさない場合、ＣＰＵ４０２は、グループＩＤエラーが発生していないと判別する。

【0280】

ステップＳ３３０８の判別の結果、グループＩＤエラーが発生している場合、ＣＰＵ４０２は、プリントジョブコマンド生成処理結果として「ジョブ情報エラー」をＲＡＭ４０３に保存し（ステップＳ３３０９）、本処理を終了する。

【0281】

ステップＳ３３０８の判別の結果、グループＩＤエラーが発生していない場合、ＣＰＵ４０２は、ジョブ情報生成用グループＩＤリスト及び上記ジョブ情報設定規則のジョブコマンドに基づいて、ジョブ情報を意味する文字列を生成する（ステップＳ３３１０）。例えば、ジョブ情報設定規則の数値許可が「Ｙｅｓ」のキーワードについて、ＣＰＵ４０２は、ジョブコマンドの「＃ＮＵＭ＃」をジョブ情報生成用グループＩＤリストの数字に対応するグループＩＤから生成した数字に置き換えた文字列を生成する。ＣＰＵ４０２は、この文字列をＲＡＭ４０３に保存されたジョブ情報文字列リストの末尾に記録する。一方、ジョブ情報設定規則の数値許可が「Ｎｏ」のキーワードについて、ＣＰＵ４０２は、ジョブコマンドの文字列を、ＲＡＭ４０３に保存されたジョブ情報文字列リストの末尾に記録する。その後、コマンド生成処理はステップＳ３３０６へ戻る。

【0282】

ステップＳ３３０６の判別の結果、ジョブ情報グループＩＤリストが空である場合、ＣＰＵ４０２はＳ３３０１～Ｓ３３０５、Ｓ３３１０にて生成された文字列を結合してＪＳＯＮ形式の文字列であるプリントジョブコマンドを生成する（ステップＳ３３１１）。ＣＰＵ４０２は、このプリントジョブコマンドをＲＡＭ４０３に保存する。次いで、ＣＰＵ４０２は、プリントジョブコマンド生成処理結果として「完了」をＲＡＭ４０３に保存し（ステップＳ３３１２）、本処理を終了する。

【0283】

図３５は、図２８のステップＳ２８１１、Ｓ２８２８のプリントジョブ実行処理の手順を示すフローチャートである。図３５のプリントジョブ実行処理は、画像形成装置１０１のＣＰＵ２０２がＲＯＭ２０４やストレージ２０５に格納されたプログラムを実行することによって実現される。

【0284】

図３５において、ＣＰＵ２０２は、画像形成装置１０１がプリント実行可能状態である否かを判別する（ステップＳ３５０１）。例えば、画像形成装置１０１がエラーやプリントジャムといったプリント動作が不可能な状態である場合、ＣＰＵ２０２は、画像形成装置１０１がプリント実行可能状態でないと判別する。一方、上述したようなプリント動作が不可能な状態でない場合、ＣＰＵ２０２は、画像形成装置１０１がプリント実行可能状態であると判別する。

【0285】

ステップＳ３５０１の判別の結果、画像形成装置１０１がプリント実行可能状態でない場合、ＣＰＵ２０２は、プリントジョブ実行結果として「実行エラー」をＲＡＭ２０３に保存し（ステップＳ３５０２）、本処理を終了する。

【0286】

ステップＳ３５０１の判別の結果、画像形成装置１０１がプリント実行可能状態である場合、ＣＰＵ２０２は、クラウドサーバ１０３から受信したプリントジョブコマンドに基づいてジョブデータを生成する（ステップＳ３５０３）。例えば、プリントジョブコマンドが図２９の通常プリントジョブコマンドである場合、ＣＰＵ２０２は、「“ｊｏｂＮａｍｅ”：“Ｐｒｉｎｔ”」に基づいて、「ジョブ名：プリント」のジョブデータを生成する。また、ＣＰＵ２０２は、画像形成装置１０１が生成したジョブ毎に１から昇順で割り当てられる「ジョブＩＤ」を割り当てて、プリントジョブコマンドの「“ｐｒｉｏｒｉｔｙ”：“ｌｏｗ”」に基づいて、上記ジョブデータに「優先度：低」を設定する。更に、ＣＰＵ２０２は、プリントジョブコマンドの「“ｃｏｐｉｅｓ”：“１”」に基づいて、生成したジョブデータのプリントジョブパラメータ「部数」に対して「１」を設定する。ＣＰＵ２０２は、生成したジョブデータを実行待ちプリントジョブデータとしてＲＡＭ２０３に保存する。ここで、プリントジョブコマンドに指定されていないジョブ設定には、画像形成装置１０１のストレージ２０５に保存されているデフォルト設定値が設定される。

【0287】

次いで、ＣＰＵ２０２は、プリントジョブコマンドに指定されている画像データをプリントエンジン２１１が解釈可能なフォーマットの画像データに変換する（ステップＳ３５０４）。次いで、ＣＰＵ２０２は、生成したジョブデータにデータ不正が無いか否かを判別する（ステップＳ３５０５）。ステップＳ３５０５では、例えば、画像形成装置１０１のプリントエンジン２１１が片面しか印刷できないにも関わらず「両面：ＯＮ」が指定されている場合、ＣＰＵ２０２は、生成したジョブデータにデータ不正が有ると判別する。

【0288】

ステップＳ３５０５の判別の結果、生成したジョブデータにデータ不正が有る場合、ＣＰＵ２０２は、プリントジョブ実行結果として「コマンドエラー」をＲＡＭ２０３に保存し（ステップＳ３５０６）、本処理を終了する。ステップＳ３５０５の判別の結果、生成したジョブデータにデータ不正が無い場合、ＣＰＵ２０２は、画像形成装置１０１のＲＡＭ２０３のジョブキュー内に実行中のプリントジョブが存在しているか否かを判別する（ステップＳ３５０７）。

【0289】

ステップＳ３５０７の判別の結果、ＲＡＭ２０３のジョブキュー内に実行中のプリントジョブが存在していない場合、ＣＰＵ２０２は、ステップＳ３５０５にて生成したジョブデータに基づいて、プリント処理を実行する（ステップＳ３５０８）。次いで、ＣＰＵ２０２は、プリントジョブ実行結果として「実行中」をＲＡＭ２０３に保存し（ステップＳ３５０９）、本処理を終了する。

【0290】

ステップＳ３５０７の判別の結果、ＲＡＭ２０３のジョブキュー内に実行中のプリントジョブが存在している場合、ＣＰＵ２０２は、割り込み実行可能であるか否かを判別する（ステップＳ３５１０）。例えば、ＣＰＵ２０２、実行待ちプリントジョブデータの優先度設定が「優先度：高」であって実行中のジョブデータの優先度設定が「優先度：低」である場合、ＣＰＵ２０２は、割り込み実行可能であると判別する。一方、実行待ちプリントジョブデータの優先度設定が「優先度：低」であって実行中のジョブデータの優先度設定が「優先度：高」である場合、ＣＰＵ２０２は、割り込み実行可能でないと判別する。

【0291】

ステップＳ３５１０の判別の結果、割り込み実行可能でない場合、ＣＰＵ２０２は、ＲＡＭ２０３のジョブキューの末尾に実行待ちプリントジョブデータをセットする（ステップＳ３５１１）。これにより、この実行待ちプリントジョブデータのプリントジョブは、実行中のジョブが完了した後に実行される。次いで、ＣＰＵ２０２は、プリントジョブ実行結果として「開始待ち」をＲＡＭ２０３に保存し（ステップＳ３５１２）、本処理を終了する。

【0292】

ステップＳ３５１０の判別の結果、割り込み実行可能である場合、ＣＰＵ２０２は、割り込みプリント処理を実行する（ステップＳ３５１３）。割り込みプリント処理では、ＣＰＵ２０２は、プリントコントローラ２１０を介してプリントエンジン２１１に、実行中のプリントジョブのジョブＩＤが指定された一時中断コマンドを送信し、実行中のプリントジョブを中断させる。これにより、「実行中」のプリントジョブの状態が「中断中」に変更され、ＲＡＭ２０３のジョブキューの先頭に実行待ちプリントジョブデータがセットされる。ＣＰＵ２０２は、プリントコントローラ２１０を介してプリントエンジン２１１に対し、実行待ちプリントジョブデータのプリントジョブの開始を指示する。次いで、ＣＰＵ２０２は、プリントジョブ実行結果として「割り込み開始」をＲＡＭ２０３に保存し（ステップＳ３５１４）、本処理を終了する。

【0293】

図３６は、図２８のステップＳ２８４６のプリントジョブ再開処理の手順を示すフローチャートである。図３６のプリントジョブ再開処理は、画像形成装置１０１のＣＰＵ２０２がＲＯＭ２０４やストレージ２０５に格納されたプログラムを実行することによって実現される。

【0294】

図３６において、ＣＰＵ２０２は、ＲＡＭ２０３のジョブキューにプリントジョブが存在するか否かを判別する（ステップＳ３６０１）。

【0295】

ステップＳ３６０１の判別の結果、ＲＡＭ２０３のジョブキューにプリントジョブが存在しない場合、ＣＰＵ２０２は、本処理を終了する。ステップＳ３６０１の判別の結果、ＲＡＭ２０３のジョブキューにプリントジョブが存在する場合、ＣＰＵ２０２は、ＲＡＭ２０３のジョブキューにジョブ状態が「中断中」のプリントジョブが存在するか否かを判別する（ステップＳ３６０２）。

【0296】

ステップＳ３６０２の判別の結果、ＲＡＭ２０３のジョブキューにジョブ状態が「中断中」のプリントジョブが存在しない場合、ＣＰＵ２０２は、ジョブキューにおける先頭のプリントジョブデータのプリントジョブを実行する（ステップＳ３６０３）。次いで、ＣＰＵ２０２は、プリントジョブ実行結果として「実行中」をＲＡＭ２０３に保存し（ステップＳ３６０４）、本処理を終了する。

【0297】

ステップＳ３６０２の判別の結果、ＲＡＭ２０３のジョブキューにジョブ状態が「中断中」のプリントジョブが存在する場合、ＣＰＵ２０２は、ジョブ状態が「中断中」のプリントジョブデータのプリントジョブを再開する（ステップＳ３６０５）。次いで、ＣＰＵ２０２は、プリントジョブ実行結果として「ジョブ再開」をＲＡＭ２０３に保存し（ステップＳ３６０６）、本処理を終了する。

【0298】

図３７は、第２の実施の形態の情報処理システム１００による音声操作制御の第２の例を示すシーケンス図である。図３７の音声操作制御は、図２８の音声操作制御と基本的に同じであり、以下では、図２８の音声操作制御と異なる点について説明する。図３７では、音声制御装置１０２、音声制御装置１０７の順でジョブ要求が送信された場合について説明する。なお、図３７の音声操作制御においても、ユーザ１０６は、クラウドサーバ１０３が管理するサービスＵＲＬ「ｈｔｔｐ：／／ｓｅｒｖｉｃｅ１．ｃｏｍ」に対応するサービスが提供するアプリケーション及びＷｅｂＡＰＩ等を介して上記ユーザ情報を予め登録していることとする。また、図９の登録処理による音声制御装置１０７及び音声制御装置１０２の登録、及び図１９の登録処理による画像形成装置１０１の登録が既に完了し、音声制御装置１０２が画像形成装置１０１の優先装置として登録されていることとする。なお、図３７の音声操作制御でも、音声制御装置１０２、画像形成装置１０１、クラウドサーバ１０３は、互いに通信可能な状態であることとする。また、画像形成装置１０１は、電源ＯＮの起動後にコピー、スキャン、プリント等の機能を呼び出し可能な状態であることとする。

【0299】

図３７において、ステップＳ２８１８～Ｓ２８２８と同様の処理であるステップＳ３７０１～Ｓ３７１１が行われる。これにより、優先装置に設定された音声制御装置１０２から送信されたジョブ要求に基づいて、画像形成装置１０１がプリントジョブを開始する。

【0300】

次いで、画像形成装置１０１のＣＰＵ２０２は、ネットワークＩ／Ｆ２０６を介してクラウドサーバ１０３へジョブ開始応答を送信する（ステップＳ３７１２）。このジョブ開始応答は、ステップＳ３７１１にて開始されたプリントジョブを示すジョブＩＤ「１」と、ジョブ状態を示す「実行中」を含む。その後、ステップＳ２８１３、Ｓ２８１４と同様の処理であるステップＳ３７１３、Ｓ３７１４が行われ、クラウドサーバ１０３のＣＰＵ４０２は、音声合成データを生成する。

【0301】

次いで、ＣＰＵ４０２は、生成した音声合成データを、ネットワークＩ／Ｆ４０６を介して音声制御装置１０２へ送信する（ステップＳ３７１５）。

【0302】

音声制御装置１０２のＣＰＵ３０２は、ステップＳ２８１６と同様に、受信した音声合成データを再生し（ステップＳ３７１６）、また、ステップＳ２８１７と同様に、対話セッションを終了させる（ステップＳ３７１７）。

【0303】

次いで、ステップＳ２８０１～Ｓ２８１０と同様の処理であるステップＳ３７１８～Ｓ３７２７の処理が行われる。これにより、音声制御装置１０７から送信されたジョブ要求に基づいて、クラウドサーバ１０３から画像形成装置１０１へ通常プリントジョブコマンドが送信される。

【0304】

画像形成装置１０１のＣＰＵ２０２は、受信した通常プリントジョブコマンドをＲＡＭ２０３に保存し、上述した図３５のプリントジョブ実行処理を実行する（ステップＳ３７２８）。ステップＳ３７２８では、実行中のプリントジョブの要求元である音声制御装置１０２の優先度が、音声制御装置１０７の優先度より高いので、音声制御装置１０７から送信されたジョブ要求に基づくプリントジョブの割り込み実行が行われない。ＣＰＵ２０２は、上述したステップＳ３５１１、Ｓ３５１２を行って、音声制御装置１０７から送信されたジョブ要求に基づくプリントジョブの実行を待機させる。次いで、ＣＰＵ２０２は、ネットワークＩ／Ｆ２０６を介してクラウドサーバ１０３へプリントジョブ応答を送信する（ステップＳ３７２９）。このプリントジョブ応答は、音声制御装置１０７から送信されたジョブ要求に基づくプリントジョブに対応するジョブＩＤ「２」とこのプリントジョブの実行結果を示す「開始待ち」を含む。

【0305】

クラウドサーバ１０３のＣＰＵ４０２は、ＲＡＭ４０３に保存されたジョブ管理情報リストの末尾にジョブ管理情報を登録する（ステップＳ３７３０）。このジョブ管理情報は、音声制御装置１０７のシリアル番号、画像形成装置１０１のシリアル番号、上記ジョブＩＤ「２」、及びプリントジョブの実行結果を示す「開始待ち」を含む。次いで、ＣＰＵ４０２は、音声合成処理を行う（ステップＳ３７３１）。ステップＳ３７３１では、「実行中のプリントジョブ終了後、開始されます」といった音声の音声合成データが生成される。次いで、ＣＰＵ４０２は、生成した音声合成データを、ネットワークＩ／Ｆ４０６を介して音声制御装置１０７へ送信する（ステップＳ３７３２）。

【0306】

音声制御装置１０７のＣＰＵ３０２’は、受信した音声合成データを再生する（ステップＳ３７３３）。この音声合成データを再生すると、「実行中のプリントジョブ終了後、開始されます」といった音声がスピーカ３１０’から出力される。次いで、ＣＰＵ３０２’は、ステップＳ３７１９で開始した対話セッションを終了させる（ステップＳ３７３４）。

【0307】

ステップＳ３７１１にて開始された高優先プリントジョブコマンドに基づくプリントジョブを完了すると、画像形成装置１０１のＣＰＵ２０２は、ジョブ終了通知を、ネットワークＩ／Ｆ２０６を介してクラウドサーバ１０３へ送信する（ステップＳ３７３５）。次いで、ステップＳ２８４１～Ｓ２８４５と同様の処理であるステップＳ３７３６～Ｓ３７４０が行われる。

【0308】

一方、画像形成装置１０１のＣＰＵ２０２は、ステップＳ３７３５にてジョブ終了通知をクラウドサーバ１０３へ送信した後、上述した図３６のプリントジョブ再開処理を実行する（ステップＳ３７４１）。ステップＳ３７４１の処理により、ＣＰＵ２０２は、待機中のプリントジョブ、具体的に、音声制御装置１０７から送信されたジョブ要求に基づくプリントジョブを実行する。次いで、ステップＳ２８４７～Ｓ２８５８と同様の処理であるステップＳ３７４２～Ｓ３７５３が行われる。

【0309】

上述した第２の実施の形態では、音声制御装置１０２及び音声制御装置１０７のうち、優先装置に設定された音声制御装置が受け付けた音声指示に対応するジョブが優先的に実行される。これにより、優先装置に設定された音声制御装置が受け付けた音声指示に対応するプリントジョブを速やかに実行することができる。

【0310】

なお、上述した第２の実施の形態では、ユーザ１０６が、操作パネル２０９を操作して画像形成装置１０１の登録指示を行い、音声制御装置１０２を用いて画像形成装置１０１の優先装置の登録指示を行っても良い。

【0311】

図３８は、第２の実施の形態の情報処理システム１００における画像形成装置の登録の第２の例を説明するためのシーケンス図である。図３８では、一例として、ユーザ１０６が操作パネル２０９を操作して画像形成装置１０１の登録指示を行い、更に音声制御装置１０２を用いて画像形成装置１０１の優先装置の登録指示を行う場合について説明する。なお、図３８の登録の処理について、図１９の登録の処理と一部が同様であり、以下では、図１９の登録の処理と異なる内容について説明する。なお、図３８でも、ユーザ１０６は、クラウドサーバ１０３が管理するサービスＵＲＬ「ｈｔｔｐ：／／ｓｅｒｖｉｃｅ１．ｃｏｍ」に対応するサービスが提供するアプリケーション及びＷｅｂＡＰＩ等を介して上記ユーザ情報を予め登録していることとする。また、図３８では、音声制御サービス設定画面２００１と同様の機能及び構成の図３９の音声制御サービス設定画面３９０１が画像形成装置１０１の操作パネル２０９に表示されていることとする。

【0312】

図３８において、まず、ステップＳ１９０１～Ｓ１９０６と同様の処理であるステップＳ３８０１～Ｓ３８０６が行われる。これにより、画像形成装置１０１が登録され、優先装置登録確認画面２００３と同様の機能及び構成の図３９の優先装置登録確認画面３９０３が操作パネル２０９に表示される。

【0313】

その後、ユーザ１０６が、優先装置の登録操作を行う（ステップＳ３８０７）。具体的に、ユーザ１０６は、操作パネル２０９に表示された優先装置登録確認画面３９０３の「はい」ボタン３９０４を押下する。

【0314】

優先装置の登録操作が行われると、画像形成装置１０１のＣＰＵ２０２は、ネットワークＩ／Ｆ２０６を介してクラウドサーバ１０３へ、音声制御装置登録待ちモード通知コマンドを送信する。音声制御装置登録待ちモード通知コマンドは、画像形成装置１０１のシリアル番号、及びステップＳ３８０１にて入力されたサービスＩＤを含む。また、ＣＰＵ２０２は、図３９の優先装置設定中画面３９０５を操作パネル２０９に表示させる（ステップＳ３８０９）。優先装置設定中画面３９０５には、音声制御装置を用いた画像形成装置１０１の優先装置の登録方法が示される。

【0315】

クラウドサーバ１０３のＣＰＵ４０２は、受信した音声制御装置登録待ちモード通知コマンドに含まれるサービスＩＤと画像形成装置１０１のシリアル番号を画像形成装置情報としてＲＡＭ４０３に保存する。次いで、ＣＰＵ４０２は、上述したステップＳ１９０９、Ｓ１９１０と同様の処理であるステップＳ３８１０、Ｓ３８１１を行う。

【0316】

その後、ユーザ１０６は、音声制御装置１０２に対してウェイクワードを発する（ステップＳ３８１２）。ウェイクワードは、例えば、「スピーカ１を起動して」である。

【0317】

音声制御装置１０２のＣＰＵ３０２は、ユーザ１０６がウェイクワードを発したことを検知すると、表示コントローラ３１１を介してＬＥＤ３１２を点滅させ（ステップＳ３８１３）、対話セッションを開始する。

【0318】

対話セッションが開始された後、ユーザ１０６は、音声制御装置１０２に対して、優先装置設定呼び出し指示となるキーワードを発する（ステップＳ３８１４）。このキーワードは、例えば、優先装置設定中画面３９０５に表示されている「ＭＦＰ１の優先装置登録」である。

【0319】

音声制御装置１０２のＣＰＵ３０２は、ユーザ１０６が上記キーワードを発したことを検知すると、表示コントローラ３１１を介してＬＥＤ３１２を点滅させる（ステップＳ３８１５）。次いで、ＣＰＵ３０２は、ステップＳ３８１４にてユーザ１０６が発した音声の音声データと音声制御装置１０２のシリアル番号を、ネットワークＩ／Ｆ３０６を介してクラウドサーバ１０３へ送信する（ステップＳ３８１６）。

【0320】

クラウドサーバ１０３のＣＰＵ４０２は、受信した音声制御装置１０２のシリアル番号を音声制御装置情報としてＲＡＭ４０３に保存し、後述する図４０の音声制御装置判定処理を実行する（ステップＳ３８１７）。次いで、ＣＰＵ４０２は、ステップＳ３８１６にて受信した音声データに対して音声認識処理を施す（ステップＳ３８１８）。この音声認識処理により、「ＭＦＰ１の優先装置登録」といったテキストが生成される。次いで、ＣＰＵ４０２は、ステップＳ３８１８にて生成されたテキストに対して形態素解析処理を施す（ステップＳ３８１９）。この形態素解析処理により、「ＭＦＰ１の優先装置登録」といったテキストが、「Ｍ」「Ｆ」「Ｐ」「１」、「の」「優先」「装置」「登録」、という形態素列として解析される。

【0321】

次いで、ＣＰＵ４０２は、解析した形態素列に対してグループＩＤ判定処理を行う（ステップＳ３８２０）。このグループＩＤ判定処理では、例えば、「Ｍ」「Ｆ」「Ｐ」「１」、「の」「優先」「装置」「登録」、という形態素列と図７（ｂ）のグループＩＤリストとのマッチングが行われる。グループＩＤ判定の結果として｛ＩＤ：ＡＬＰ０００１３、ＩＤ：ＡＬＰ００００６、ＩＤ：ＡＬＰ０００１６、ＩＤ：ＮＵＭ００００１、ＩＤ：ＮＡＭ００００２、ＩＤ：ＮＡＭ００００１、ＩＤ：ＯＰＲ０００４６｝が生成される。

【0322】

次いで、ＣＰＵ４０２は、画像形成装置特定処理を行う（ステップＳ３８２１）。ステップＳ３８２１では、ＣＰＵ４０２は、グループＩＤ判定の結果における「ＩＤ：ＮＡＭ００００２、ＩＤ：ＮＡＭ００００１、ＩＤ：ＯＰＲ０００４６」という並び順から、音声制御装置１０２から受信した要求が優先装置の登録要求であると判断する。また、ＣＰＵ４０２は、ステップＳ３８１９にて解析した形態素列の「の」の前に並んでいる形態素列から文字列「ＭＦＰ１」を生成し、この文字列を優先装置として登録する画像形成装置のニックネームと判断する。ＣＰＵ４０２は、ＲＡＭ４０３に保存されているサービスＩＤと上記ニックネームから画像形成装置１０１のシリアル番号を取得する。ＣＰＵ４０２は、この画像形成装置１０１のシリアル番号と、ステップＳ３８１６にて音声制御装置１０２から送信された音声制御装置１０２のシリアル番号とを優先装置設定情報としてＲＡＭ４０３に保存する。

【0323】

次いで、ＣＰＵ４０２は、上述した図２７の優先装置登録処理を実行し（ステップＳ３８２２）、音声制御装置１０２を画像形成装置１０１の優先装置に設定する。画像形成装置１０１の優先装置の登録を完了すると、ＣＰＵ４０２は、実行した優先装置登録処理による優先装置登録結果として、「登録完了」を、ネットワークＩ／Ｆ４０６を介して、画像形成装置１０１へ送信する（ステップＳ３８２３）。

【0324】

画像形成装置１０１のＣＰＵ２０２は、操作パネル２０９に図３９の優先装置登録結果画面３９０６を表示させる（ステップＳ３８２４）。優先装置登録結果画面３９０６には、優先装置の登録を完了した旨が表示される。

【0325】

一方、クラウドサーバ１０３のＣＰＵ４０２は、ステップＳ３８２３における優先装置登録結果の送信を完了すると、音声合成処理を行う（ステップＳ３８２５）。ステップＳ３８２５では、「ＭＦＰ１の優先装置に設定しました」といった音声の音声合成データが生成される。次いで、ＣＰＵ４０２は、生成した音声合成データを、ネットワークＩ／Ｆ４０６を介して音声制御装置１０２へ送信する（ステップＳ３８２６）。また、ＣＰＵ４０２は、上述したステップＳ１９１８と同様の処理であるステップＳ３８２７の処理を行う。

【0326】

音声制御装置１０２のＣＰＵ３０２は、受信した音声合成データを再生する（ステップＳ３８２８）。この音声合成データを再生すると、「ＭＦＰ１の優先装置に設定しました」といった音声がスピーカ３１０から出力される。次いで、ＣＰＵ３０２は、表示コントローラ３１１を介してＬＥＤ３１２を点滅させ（ステップＳ３８２９）、ステップＳ３８１３にて開始した対話セッションを終了させ、本処理を終了する。

【0327】

図４０は、図３８のステップＳ３８１７の音声制御装置判定処理の手順を示すフローチャートである。図４０の音声制御装置判定処理は、クラウドサーバ１０３のＣＰＵ４０２がＲＯＭ４０４やストレージ４０５に格納されたプログラムを実行することによって実現される。

【0328】

図４０において、ＣＰＵ４０２は、ＲＡＭ４０３に保存されている音声制御装置情報から音声制御装置１０２のシリアル番号を取得する（ステップＳ４００１）。次いで、ＣＰＵ４０２は、取得したシリアル番号に対応する音声制御装置が登録済みであるか否かを判別する（ステップＳ４００２）。例えば、取得したシリアル番号が上述した画像形成装置サービスデータリストに設定されている場合、ＣＰＵ４０２は、取得したシリアル番号に対応する音声制御装置が登録済みであると判別する。一方、取得したシリアル番号が上述した画像形成装置サービスデータリストに設定されていない場合、ＣＰＵ４０２は、取得したシリアル番号に対応する音声制御装置が登録済みでないと判別する。

【0329】

ステップＳ４００２の判別の結果、取得したシリアル番号に対応する音声制御装置が登録済みである場合、ＣＰＵ４０２は、音声制御装置判定結果として「登録済み」をＲＡＭ４０３に保存し（ステップＳ４００３）、本処理を終了する。

【0330】

ステップＳ４００２の判別の結果、取得したシリアル番号に対応する音声制御装置が登録済みでない場合、ＣＰＵ４０２は、音声制御装置判定結果として「未登録」をＲＡＭ４０３に保存し（ステップＳ４００４）、本処理を終了する。

【0331】

このように上述した実施の形態では、ユーザは、画像形成装置１０１の優先装置として設定したい音声制御装置に対し、優先装置設定呼び出し指示となるキーワードを発するだけで、当該音声制御装置を画像形成装置１０１の優先装置として登録することができる。

【0332】

なお、優先装置の登録方法は、上述した方法に限られない。例えば、サービスに画像形成装置を登録した後、別の画面から優先装置を登録しても良く、また、クラウドサーバ１０３の管理サービスを用いて優先装置の登録を行っても良い。

【0333】

また、上述した実施の形態では、画像形成装置１０１や画像形成装置１１０が音声データ変換制御プログラムを実行して、画像形成装置１０１や画像形成装置１１０が、クラウドサーバ１０３が行った上述した各種処理を行っても良い。この場合、音声制御装置１０２及び音声制御装置１０７は、クラウドサーバ１０３を介すこと無く、画像形成装置１０１や画像形成装置１１０へ直接ジョブ要求等を送信する。

【0334】

本発明は、上述の実施の形態の１以上の機能を実現するプログラムをネットワーク又は記憶媒体を介してシステム又は装置に供給し、該システム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読み出して実行する処理でも実現可能である。また、本発明は、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

【符号の説明】

【0335】

１００ 情報処理システム
１０１ 画像形成装置
１０２ 音声制御装置
１０３ クラウドサーバ
１０７ 音声制御装置
１１０ 画像形成装置
２０２ ＣＰＵ
４０２ ＣＰＵ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7A】

【図7B】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】

【図22】

【図23】

【図24】

【図25】

【図26】

【図27】

【図28】

【図29】

【図30】

【図31】

【図32】

【図33】

【図34】

【図35】

【図36】

【図37】

【図38】

【図39】

【図40】