特許 7415392 音声操作システム、音声操作方法及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-01-09

(45)【発行日】2024-01-17

(54)【発明の名称】音声操作システム、音声操作方法及びプログラム

(51)【国際特許分類】

   G06F 3/16 20060101AFI20240110BHJP

   G10L 15/00 20130101ALI20240110BHJP

   G10L 15/22 20060101ALI20240110BHJP

   H04N 1/00 20060101ALI20240110BHJP

【ＦＩ】

G06F3/16 630

G10L15/00 200A

G10L15/22 300Z

G06F3/16 670

H04N1/00 127A

H04N1/00 127B

【請求項の数】 12

(21)【出願番号】P 2019172514

(22)【出願日】2019-09-24

(65)【公開番号】P2021051416

(43)【公開日】2021-04-01

【審査請求日】2022-08-19

(73)【特許権者】

【識別番号】000001270

【氏名又は名称】コニカミノルタ株式会社

(74)【代理人】

【識別番号】110000925

【氏名又は名称】弁理士法人信友国際特許事務所

(72)【発明者】

【氏名】勝田 長生

(72)【発明者】

【氏名】御子柴 祐介

【審査官】石川 亮

(56)【参考文献】

【文献】特開２００８－１５２７２５（ＪＰ，Ａ）

【文献】特開２０１９－０９５５２０（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｆ ３／１６

Ｇ１０Ｌ １５／００

Ｇ１０Ｌ １５／２２

Ｈ０４Ｎ １／００

Ｇ０６Ｆ ３／１２

Ｂ４１Ｊ ２９／００－２９／７０

(57)【特許請求の範囲】

【請求項1】

記録材に画像を形成する画像形成装置と、
前記画像形成装置の操作に関する音声情報を受け付け、前記画像形成装置の操作指示を行うサーバと、
入力された操作に関する音声を音声情報に変換して前記サーバに送信すると共に、前記画像形成装置の操作に関する音声情報の応答の音声情報を前記サーバから受信して放音する音声入出力装置と、を備えた音声操作システムであり、
前記サーバは、前記画像形成装置が持つ機能又は構成の内の一部の情報を記憶する記憶部を有し、
前記サーバは、前記音声入出力装置から伝送された音声情報による操作の可否の判定を、前記記憶部に記憶された機能又は構成に基づいて行うと共に、前記記憶部に記憶された機能又は構成で判断できない操作の可否の判定を、前記画像形成装置で実行させる
音声操作システム。

【請求項2】

前記サーバの記憶部は、前記画像形成装置の基本構成から決まる機能又は構成による基本情報と、前記画像形成装置から伝送された追加情報とを記憶し、
前記サーバは、前記記憶部に記憶された前記基本情報と前記追加情報とに基づいて、前記画像形成装置での操作の可否の判定を行う
請求項１に記載の音声操作システム。

【請求項3】

前記追加情報は、複数の機能の組み合わせで可否が決まる情報である
請求項２に記載の音声操作システム。

【請求項4】

前記画像形成装置の起動時に、その起動時点での機能又は構成に基づいた前記追加情報を前記サーバに送信する
請求項３に記載の音声操作システム。

【請求項5】

前記追加情報は、前記音声入出力装置による音声応答サービス開始時に、前記画像形成装置から前記サーバに送られて更新される
請求項２に記載の音声操作システム。

【請求項6】

前記画像形成装置で、操作が否となる状況に変更があるとき、その変更された追加情報が、前記画像形成装置から前記サーバに送られて更新される
請求項３に記載の音声操作システム。

【請求項7】

前記追加情報は、前記画像形成装置での機能又は構成の変更時に、前記画像形成装置から前記サーバに送られて更新される
請求項２に記載の音声操作システム。

【請求項8】

前記サーバの記憶部に記憶される追加情報の情報量は、前記サーバと前記画像形成装置との間の通信に要する時間又は通信速度に応じて、動的に設定する
請求項２に記載の音声操作システム。

【請求項9】

前記音声入出力装置が指示の音声入力を受け付けてから、前記音声入出力装置が応答を出力するまでの応答時間に基づいて、前記サーバの記憶部が記憶する追加情報の情報量を設定する
請求項２に記載の音声操作システム。

【請求項10】

前記サーバとして、
前記音声入出力装置と通信を行う音声処理サーバと、
前記音声処理サーバ及び前記画像形成装置と通信を行う機器管理サーバとを備え、
前記機器管理サーバが、前記記憶部を備える
請求項１に記載の音声操作システム。

【請求項11】

記録材に画像を形成する画像形成装置と、
前記画像形成装置の操作に関する音声情報を受け付け、前記画像形成装置の操作指示を行うサーバと、
入力された操作に関する音声を音声情報に変換して前記サーバに送信すると共に、前記画像形成装置の操作に関する音声情報の応答の音声情報を前記サーバから受信して放音する音声入出力装置と、を含むシステムで実行される音声操作方法であって、
前記音声入出力装置で、前記画像形成装置の操作に関する音声を受け付け、変換された音声情報を前記サーバに送信するステップと、
前記サーバが受信した音声情報により操作の指示がある際に、その指示による操作について、前記サーバが記憶した情報に基づいて前記画像形成装置で実行の可否を判断し、判断結果が否のとき前記音声入出力装置に否の応答を送信するステップと、
前記画像形成装置での実行の可否の判断結果が否でないとき、前記画像形成装置において、現在の状況に基づいて、指示された操作の実行の可否を判断し、判断結果が否のとき前記サーバを経由して前記音声入出力装置に否の応答を送信するステップと、を含む
音声操作方法。

【請求項12】

画像形成装置の操作に関する音声情報を音声入出力装置から受け付け、前記画像形成装置に対して操作指示を行うと共に、操作指示に対する応答の音声情報を前記音声入出力装置に対して出力するコンピュータに実行させるプログラムであって、
前記音声入出力装置で、前記画像形成装置の操作に関する音声を受け付けたことで送信される音声情報を受信する手順と、
受信した音声情報により操作の指示がある際に、その指示による操作について、前記コンピュータが記憶した情報に基づいて前記画像形成装置での実行の可否を判断し、判断結果が否のとき、前記音声入出力装置に否の応答を送信する第１の操作可否を判断する手順と、
前記第１の操作可否を判断する手順で、判断結果が否でないとき、前記画像形成装置で実行の可否を判断させ、前記画像形成装置から判断結果が否の応答を受信したとき、前記音声入出力装置に否の応答を送信する第２の操作可否を判断する手順と、
をコンピュータに実行させるプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、音声操作システム、音声操作方法及びプログラムに関する。

【背景技術】

【0002】

従来、用紙に画像を形成する画像形成装置において、装置の構成や状態によって利用できない機能や、機能の複数の組み合わせで利用できないことが決まる機能については、操作画面での表示や警告音の出力でユーザに通知するようにしている。
例えば、カラー印刷ができない画像形成装置では、カラーコピーなどの利用不可の機能については、操作画面上でカラー印刷を選択できないようにする。また、例えば特定のサイズの用紙がトレイに入っていない場合には、トレイに入っていない用紙を利用することはできない。このような状況によって操作できない機能については、操作画面上でグレイアウトと称される通常とは異なる表示形態で操作ボタンを表示して、利用不可であることを通知している。

【0003】

また、画像をデータ化する規格の一つであるコンパクトＰＤＦと、モノクロとを組み合わせるような、禁止される組み合わせの項目が設定された場合には、該当する操作後に、組み合わせ禁止であることを、操作画面上で文字メッセージにより警告している。
また、これらの表示画面上での警告などと同時に、例えば「ピーピー」といった簡単な警告音を装置が出力することも行われている。

【0004】

一方、画像形成装置が備える操作パネルによる操作とは別に、近年、画像形成装置に対して音声入力による操作（以下、「音声操作」とも称する）が可能な画像処理システムが提案されている。このような画像形成システムでは、ユーザから発せられた音声は、音声認識機能を備えるスマートスピーカ等よりなる音声入出力装置に入力される。音声入出力装置では、入力された音声が音声データに変換され、該音声データは、クラウド等に設けられた音声処理サーバに送信される。そして、音声処理サーバから画像形成装置に対して、音声入出力装置に入力された音声に対応する指示（コマンド）が送信される。音声処理サーバからの指示を受信した画像形成装置では、印刷などの指示された処理が実行される。

【0005】

特許文献１には、印刷装置の操作を、スマートスピーカ等の音声制御デバイスで行う技術が記載されている。

【先行技術文献】

【特許文献】

【0006】

【文献】特開２０１９－９５５２０号公報

【発明の概要】

【発明が解決しようとする課題】

【0007】

画像形成装置の操作を、スマートスピーカによる音声入力で行うことを考えた場合、上述した利用できない機能の音声入力時には、音声による応答（音声応答）で指示された操作が無効であることをユーザに伝える必要がある。
このような場合も、スマートスピーカで受け付けた音声入力による指示は、音声処理サーバを経由して画像形成装置に伝送される。そして、指示を受信した画像形成装置において、音声入力による指示に該当する操作が不可であると判別される。画像形成装置で操作が不可であると判別されると、操作不可の応答が画像形成装置から音声処理サーバを経由してスマートスピーカに返送される。すると、スマートスピーカが「指示された操作は実行できません」といった音声を出力して、操作不可であることをユーザに伝える。

【0008】

このように音声入力を受け付けてから該当する操作が不可である旨の音声による返答は、スマートスピーカから音声処理サーバを経由して画像形成装置までの伝送が往復することで行われる。このため、画像形成装置から操作不可のメッセージが出力されるまでに時間がかかってしまう。したがって、ユーザが操作指示を行ってから、そのユーザの指示に対する応答が来るまで、ユーザが待たされることになり、それによってユーザはストレスを感じることになる。

【0009】

この問題を解決するためには、音声処理サーバが、画像形成装置の状態を常に監視して、用紙切れやトナー切れなどの状況を音声処理サーバ側が常時把握することが考えられる。このようにすることで、音声処理サーバは、スマートスピーカから音声処理サーバに指示が届いた時点で、画像形成装置での印刷が可能か否かを直ちに判断することができる。したがって、音声処理サーバは、直ちに印刷不可のメッセージ出力をスマートスピーカに指示できるので、応答出力までの時間を短縮することができる。

【0010】

しかしながら、音声処理サーバが画像形成装置の状態を常時監視するためには、音声処理サーバは、画像形成装置の状態を定期的にモニタしている必要があり、音声処理サーバの負担が非常に高くなってしまうという問題が発生する。

【0011】

本発明はこのような状況に鑑みてなされたものであり、本発明の目的は、サーバでの負担を増やすことなく、音声入力による操作が不可である場合に、操作不可を告げる応答が迅速かつ的確に行うことができる音声操作システム、音声操作方法及びプログラムを提供することにある。

【課題を解決するための手段】

【0012】

上記課題を解決するため、本発明の音声操作システムは、記録材に画像を形成する画像形成装置と、画像形成装置の操作に関する音声情報を受け付け、画像形成装置の操作指示を行うサーバと、入力された操作に関する音声を音声情報に変換してサーバに送信すると共に、画像形成装置の操作に関する音声情報の応答の音声情報をサーバから受信して放音する音声入出力装置と、を備えた音声操作システムに適用したものである。
ここで、サーバは、画像形成装置が持つ機能又は構成の内の一部の情報を記憶する記憶部を有し、サーバは、音声入出力装置から伝送された音声情報による操作の可否の判定を、記憶部に記憶された機能又は構成に基づいて行うと共に、記憶部に記憶された機能又は構成で判断できない操作の可否の判定を、画像形成装置で実行させるようにした。

【0013】

また本発明の音声操作方法は、記録材に画像を形成する画像形成装置と、画像形成装置の操作に関する音声情報を受け付け、画像形成装置の操作指示を行うサーバと、入力された操作に関する音声を音声情報に変換してサーバに送信すると共に、画像形成装置の操作に関する音声情報の応答の音声情報をサーバから受信して放音する音声入出力装置と、を含むシステムで実行される音声操作方法である。
そして、音声入出力装置で、画像形成装置の操作に関する音声を受け付け、変換された音声情報をサーバに送信するステップと、サーバが受信した音声情報により操作の指示がある際に、その指示による操作について、サーバが記憶した情報に基づいて画像形成装置での実行の可否を判断し、判断結果が否のとき音声入出力装置に否の応答を送信するステップと、判断結果が否でないとき、画像形成装置において、現在の状況に基づいて、指示された操作の実行の可否を判断し、判断結果が否のときサーバを経由して音声入出力装置に否の応答を送信するステップと、を含む。

【0014】

また本発明のプログラムは、画像形成装置の操作に関する音声情報を音声入出力装置から受け付け、画像形成装置に対して操作指示を行うと共に、操作指示に対する応答の音声情報を音声入出力装置に対して出力するコンピュータに実行させるプログラムであって、音声入出力装置で、画像形成装置の操作に関する音声を受け付けたことで送信される音声情報を受信する手順と、受信手順で受信した音声情報により操作の指示がある際に、その指示による操作について、コンピュータが記憶した情報に基づいて画像形成装置での実行の可否を判断し、判断結果が否のとき、音声入出力装置に否の応答を送信する第１の操作可否を判断する手順と、第１の操作可否を判断する手順で、判断結果が否でないとき、画像形成装置で実行の可否を判断させ、画像形成装置から判断結果が否の応答を受信したとき、音声入出力装置に否の応答を送信する第２の操作可否を判断する手順と、を含む。

【発明の効果】

【0015】

本発明によれば、音声で指示されたユーザからの操作が画像形成装置で実行可能か否かの判断が、操作内容によってサーバと画像形成装置とで分担して行われるので、サーバにおける処理負担の軽減と、音声指示から音声応答までの時間の短縮化の両立を実現することが可能になる。

【図面の簡単な説明】

【0016】

【図1】本発明の第１の実施形態に係る画像処理システムの概略構成図である。

【図2】本発明の第１の実施形態に係る画像処理システムに含まれる画像形成装置及び音声入出力装置の制御系の構成例を示すブロック図である。

【図3】本発明の第１の実施形態に係る禁則応答の２つの例の概略を説明する図である。

【図4】本発明の第１の実施形態に係る禁則判定情報の種別を説明する図である。

【図5】本発明の第１の実施形態に係る処理手順の例を示すシーケンス図である。

【図6】本発明の第１の実施形態に係る処理例を示すフローチャートである。

【図7】本発明の第２の実施形態に係る処理手順の例を示すシーケンス図である。

【図8】本発明の第２の実施形態に係る画像形成装置での処理例を示すフローチャートである。

【図9】本発明の第２の実施形態に係る音声処理サーバでの処理例を示すフローチャートである。

【図10】本発明の第３の実施形態に係る処理手順の例を示すシーケンス図である。

【図11】本発明の第３の実施形態に係る画像形成装置での処理例を示すフローチャートである。

【図12】本発明の第４の実施形態に係る画像処理システムの概略構成図である。

【図13】本発明の第４の実施形態に係る処理手順の例を示すシーケンス図である。

【図14】本発明の第４の実施形態に係る処理例を示すフローチャートである。

【発明を実施するための形態】

【0017】

以下、本発明を実施するための形態例について、添付図面を参照して説明する。本明細書及び図面において、実質的に同一の機能又は構成を有する構成要素は、同一の符号を付し、複数の実施形態例で構成要素の重複説明は省略する。

【0018】

＜第１の実施形態＞
［画像処理システムの構成］
まず、図１を参照して、本発明の第１の実施形態に係る画像処理システムの構成について説明する。図１は、本発明の第１の実施形態に係る画像処理システム１００の概要構成図である。

【0019】

図１に示す画像処理システム１００は、画像形成装置１と、音声入出力装置２と、音声処理サーバ３とを備える。音声入出力装置２及び音声処理サーバ３、並びに音声処理サーバ３及び画像形成装置１は、公衆交換電話網やＩＰ（Internet Protocol）網などよりなるネットワークＮを介して接続される。

【0020】

画像形成装置１は、例えば、コピー機能、プリンター機能、スキャナー機能等を有する多機能端末（ＭＦＰ： Multi-Functional Peripherals）で構成される。画像形成装置１は、不図示のプリンタコントローラ等から送信された画像データに基づいて用紙（記録材の一例）に画像形成を行い、該画像が形成された用紙を印刷物として出力する。

【0021】

音声入出力装置２は、例えば、スマートスピーカで構成され、不図示のマイクロフォン及びスピーカを備える。音声入出力装置２は、マイクロフォンが集音した音声、例えば、ユーザによって発話された音声による操作指示を音声データ（以下、「音声情報」とも称する）に変換し、この音声情報を音声処理サーバ３に送信する。また、音声入出力装置２は、音声処理サーバ３から送信される音声情報を受信して、スピーカから音声を出力する。

【0022】

音声処理サーバ３は、例えば、不図示のクラウド上に設けられ、その機能はクラウドアプリケーションサービスとして提供される。音声処理サーバ３は、音声入出力装置２から送信（入力）された音声情報に対して音声解析処理を行う。そして、音声処理サーバ３は、音声解析処理の結果に対応する、画像形成装置１へのコマンド（指示）や応答音声情報、あるいは通知音声情報などを音声入出力装置２又は画像形成装置１に送信する。なお、これらのコマンド（指示）や応答音声情報、あるいは通知音声情報などは、図２で後述する記憶部３１３から抽出される情報である。

【0023】

ここで、応答音声情報は、音声入出力装置２へのユーザの発話による操作指示（音声操作）に対する応答情報を伝える音声であり、通知音声情報は、エラーの発生やジョブの終了などの、画像形成装置１からの通知情報を伝える音声である。画像形成装置１へのコマンドには、例えば、印刷やコピー、スキャンなどのジョブの設定指示や、ジョブの開始指示などが含まれる。

【0024】

なお、本実施形態では、音声処理サーバ３がクラウド上に設けられる例を挙げたが、本発明はこれに限定されない。音声処理サーバ３は、画像形成装置１内に設けられてもよい。また、音声処理サーバ３と画像形成装置１との間に、ジョブに関する情報を中継する別のサーバを設けてもよい。

【0025】

［画像形成装置及び音声入出力装置の制御系の構成］
次に、図２を参照して、画像処理システム１００に含まれる画像形成装置１及び音声入出力装置２の制御系の構成例について説明する。

【0026】

［画像形成装置の制御系の構成］
まず、画像形成装置１の制御系の構成について説明する。図２に示すように、画像形成装置１は、通信部１１、制御部１２、画像形成部１３、音声応答処理部１４、音声出力部１５及び操作表示部１６を備える。

【0027】

通信部１１は、ネットワークＮを介して接続される音声処理サーバ３との間で行われる各種データの送受信動作を制御する。

【0028】

制御部１２は、ＣＰＵ（Central Processing Unit）１２０、ＲＡＭ（Random Access Memory）１２１、ＲＯＭ（Read Only Memory）１２２及び記憶部１２３を含む。

【0029】

ＣＰＵ１２０は、ＲＯＭ１２２に記憶されている、システム全体を制御するシステムプログラムや画像形成処理プログラムなどの各種処理プログラムを読み出してＲＡＭ１２１に展開し、展開したプログラムに従って画像形成装置１の各部の動作を制御する。

【0030】

例えば、ＣＰＵ１２０は、音声処理サーバ３から入力されるコマンドに対応付けられた画像形成処理を、画像形成部１３に実行させる制御を行う。また、ＣＰＵ１２０は、ユーザによる音声による操作指示に基づく設定において禁則等の設定ミスがあった場合や、画像形成装置１におけるジョブの実行中にエラーが発生した場合などに、音声応答処理部１４に対して、ユーザへの音声による応答又は音声により、操作が不可となる旨の通知を指示する。

【0031】

ＲＡＭ１２１は、ＣＰＵ１２０により実行される各種プログラム及びこれらプログラムに係るデータを一時的に記憶するワークエリアを形成し、このＲＡＭ１２１のワークエリアにジョブのキュー、各種動作の設定等が記憶される。

【0032】

ＲＯＭ１２２は、半導体メモリ等の不揮発性メモリ等により構成され、このＲＯＭ１２２に画像形成装置１に対応するシステムプログラム、及びシステムプログラム上で実行可能な画像形成処理プログラム、音声応答処理プログラム等が記憶される。これらのプログラムは、コンピュータが読取り可能なプログラムコードの形態で格納され、ＣＰＵ１２０は、当該プログラムコードに従った動作を逐次実行する。

【0033】

記憶部１２３は、ＨＤＤ（Hard Disk Drive）やＳＳＤ（Solid State Drive）などにより構成され、この記憶部１２３に、画像形成装置１に係る各種の設定データや、ＣＰＵ１２０から音声応答処理部１４に対して送信される各種指示に対応する音声データ（音声応答情報、音声通知情報等）などが記憶される。

【0034】

画像形成部１３は、不図示のプリンタコントローラ等から送信された画像データに基づいて用紙に画像形成を行い、画像が形成された用紙を印刷物として出力する。画像形成部１３は、不図示の帯電装置、感光ドラム、露光装置、転写ベルト及び定着装置を備える。

【0035】

そして、画像形成部１３は、まず、帯電装置により帯電された感光体ドラムに対して、露光装置から画像に応じた光を照射させることにより、感光ドラムの周上に静電潜像を形成する。次いで、画像形成部１３は、現像装置から感光体にトナーを供給させることにより、帯電した静電潜像上にトナーを付着させてトナー像を現像する。次いで、画像形成部１３は、トナー像を転写ベルトに１次転写するとともに、転写ベルトに転写されたトナー像を用紙に２次転写し、さらに、定着装置を用いて転写されたトナー像を用紙に定着する。

【0036】

なお、本実施形態では、画像形成部１３が電子写真方式を用いて画像形成を行う例を挙げたが、本発明はこれに限定されない。本発明の画像処理システム、画像形成装置では、インクジェット方式等の他の方式で画像形成を行う画像形成部を用いてもよい。

【0037】

音声応答処理部１４は、ＣＰＵ１２０から入力される指示に対応する音声情報を、記憶部１２３等から抽出して生成し、音声出力部１５に出力する。ＣＰＵ１２０からの指示は、上述したように、音声による操作指示に基づく設定において禁則等の設定ミスがあった場合や、動作中にエラーが発生した場合などに行われる。

【0038】

音声出力部１５は、例えば、スピーカで構成され、音声応答処理部１４から入力される音声情報を再生して音声として出力する。

【0039】

操作表示部１６は、例えば、ＬＣＤ（Liquid Crystal Display）や有機ＥＬ（Electroluminescence）等よりなる操作画面の表示部と、タッチセンサ等よりなる操作入力部とが一体に形成されたタッチパネルとして構成される。

【0040】

なお、本実施形態では、表示部及び操作入力部が操作表示部１６として一体に形成される例を挙げたが、本発明はこれに限定されない。表示部と、キーボードやマウス等よりなる操作入力部とが、それぞれ別々に構成されてもよい。または、タッチパネルとして構成された操作表示部１６に加えて、キーボードやマウス等よりなる操作入力部を備える構成としてもよい。

【0041】

［音声処理サーバの制御系の構成］
次に、同じく図２を参照して、音声処理サーバ３の制御系の構成について説明する。図２に示すように、音声処理サーバ３は、制御部３１、通信部３２及び音声解析部３３を備える。

【0042】

制御部３１は、ＣＰＵ３１０、ＲＡＭ３１１、ＲＯＭ３１２及び記憶部３１３を含む。
ＣＰＵ３１０は、ＲＯＭ３１２に記憶されているシステムプログラムや音声処理プログラムなどの各種処理プログラムを読み出してＲＡＭ３１１に展開し、展開したプログラムに従って音声処理サーバ３の各部の動作を制御する。

【0043】

例えば、ＣＰＵ３１０は、音声入出力装置２から音声情報が送信された場合に、該音声情報に対応する、画像処理のジョブに関する各種指示を、通信部３２を介して画像形成装置１に送信する制御を行う。また、ＣＰＵ３１０は、例えば、画像形成装置１から応答情報が送信された場合に、該応答情報に対応する音声情報を、通信部３２を介して音声入出力装置２に送信する制御を行う。

【0044】

ＲＡＭ３１１には、ＣＰＵ３１０により実行される各種プログラム及びこれらプログラムに係るデータを一時的に記憶するワークエリアが形成される。
ＲＯＭ３１２は、半導体メモリ等の不揮発性メモリ等により構成され、ＲＯＭ３１２に、音声処理サーバ３に対応するシステムプログラム、及びこのシステムプログラム上で実行可能な音声処理プログラム等が記憶される。これらのプログラムは、コンピュータが読取り可能なプログラムコードの形態で格納され、ＣＰＵ３１０は、このプログラムコードに従った動作を逐次実行する。

【0045】

記憶部３１３は、ＨＤＤやＳＳＤなどにより構成され、この記憶部３１３に、音声処理サーバ３に係る各種の設定データや、音声解析部３３による音声解析結果と対応付けられた、画像処理のジョブに関する指示等が記憶される。
また、記憶部３１３には、ネットワークＮを介して接続される画像形成装置１で実行の可否を示す情報（以下、この情報を「禁則情報」と称する）が記憶されている。記憶部３１３に記憶される画像形成装置１の禁則情報の詳細は後述するが、この禁足情報には、画像形成装置１の構成又は機能から決まる基本情報と、画像形成装置１の設定などによって発生する追加情報が含まれる。

【0046】

通信部３２は、ネットワークＮを介して接続される音声入出力装置２及び画像形成装置１との間で行われる各種データの送受信動作を制御する。
音声解析部３３は、音声入出力装置２から送信される音声情報を解析して、音声解析結果に対応する指示、例えば、設定情報やジョブの開始指示などを記憶部３１３から読み出し、制御部３１に出力する。また、音声解析部３３は、音声入出力装置２から送信される音声情報を解析して、音声解析結果に対応する応答音声情報や通知音声情報などを記憶部３１３から読み出し、制御部３１に出力する。

【0047】

［画像処理システムによる音声応答処理］
次に、図３及び図４を参照して、本発明の第１の実施形態に係る画像処理システム１００による音声応答処理の概要を説明する。
ここでは、ユーザが音声入出力装置２に対して音声で指示した操作が、画像形成装置１で実行できない場合における応答（禁則応答）の例を示す。

【0048】

図３（Ａ）に示す例は、ユーザが音声で指示した操作が、画像形成装置１の構成から禁則応答になる場合である。具体的には、ユーザが印刷の設定として、「カラーにして」と音声で音声入出力装置２に対して指示した場合を示す。
ここで、画像形成装置１は、モノクロ印刷は可能であるが、カラー印刷ができない構成である。この画像形成装置１の構成に関する禁則情報は、基本情報として音声処理サーバ３の記憶部３１３に記憶されている情報である。

【0049】

したがって、音声入出力装置２から音声情報「カラーにして」が音声処理サーバ３に伝送されたとき、音声処理サーバ３は、記憶部３１３に記憶されている画像形成装置１の基本情報に基づいて、指示内容の実行が不可であると判断する。
そして、指示内容の実行が不可であると判断した場合、音声処理サーバ３は、音声入出力装置２に対して実行不可を示す音声情報を伝送し、音声入出力装置２は伝送された音声をスピーカから出力（放音）する。
例えば、図３（Ａ）に示すように、音声入出力装置２は、「モノクロ機のためカラー設定はできません」との応答音声を出力し、ユーザに指示内容の実行が不可であることを告知する。

【0050】

図３（Ｂ）に示す例は、ユーザが音声で指示した操作が、複数の機能の組み合わせから禁則応答になる場合である。具体的には、ユーザが原稿のデータ化の設定として、ブラック（モノクロ）を最初に設定した後、「コンパクトＰＤＦにして」と音声で音声入出力装置２に対して指示した場合を示す。
ここで、モノクロとコンパクトＰＤＦの組み合わせは、ＰＤＦの規格上から実行できない。このモノクロとコンパクトＰＤＦの組み合わせの可否を示す禁則情報は、音声処理サーバ３の記憶部３１３には記憶されておらず、音声処理サーバ３が、モノクロとコンパクトＰＤＦの組み合わせの指示を画像形成装置１に対して行うことになる。

【0051】

このモノクロとコンパクトＰＤＦの組み合わせの指示を受信した画像形成装置１は、実行できない組み合わせと判断し、実行不可を音声処理サーバ３に伝送する。この実行不可の指示を受信した音声処理サーバ３は、音声入出力装置２に対して実行不可を示す音声情報を伝送し、音声入出力装置２が伝送された音声をスピーカから出力（放音）する。
例えば、図３（Ｂ）に示すように、音声入出力装置２は、「コンパクトＰＤＦとブラックは同時に設定できません」との応答音声を出力し、ユーザに指示内容の実行が不可であることを告知する。

【0052】

このように、本発明の第１の実施形態では、音声入出力装置２に対してユーザが音声で指示した操作内容によって、音声処理サーバ３が、直接、実行の不可を音声入出力装置２に返送する場合と、画像形成装置１での判断を経て音声入出力装置２に返送する場合とがある。

【0053】

図４は、本発明の第１の実施形態における、禁則情報の区別を示す。
本実施形態では、図４に示すように、画像形成装置１で指示された操作を実行できない禁則情報として、基本情報と、追加情報と、その他の情報との３種類が存在する。

【0054】

基本情報は、画像形成装置１の装置構成の組み合わせから禁止となる利用不可の情報であり、画像形成装置１の状態に係わらず常に禁止となる禁則情報である。
この基本情報は、音声処理サーバ３の記憶部３１３に記憶される。例えば、カラー印刷が可能な装置構成か、両面印刷が可能な装置構成か、Ａ３サイズの用紙の印刷が可能か、などの装置の構成から決まる禁則情報が、基本情報として記憶部３１３に記憶される。これらの基本情報は、例えば音声処理サーバ３で操作できる機種の登録時に、画像形成装置１の装置構成の情報を音声処理サーバ３が取得して、記憶部３１３に記憶される情報である。

【0055】

追加情報は、設定や機能の組み合わせなどの条件から決まる利用不可の情報であり、画像形成装置１の装置構成に依存しない禁則情報である。この追加情報は、基本情報と同様に音声処理サーバ３の記憶部３１３に記憶される。但し、追加情報は、基本情報とは異なり機種登録時には記憶されず、画像形成装置１から送信された追加情報を音声処理サーバ３が取得して、記憶部３１３に記憶される。

【0056】

その他の情報は、画像形成装置１の状態や状況に応じて禁止となる利用不可の情報である。
この場合の利用不可の情報には、例えば、設定で生じる組み合わせ禁止情報や、警告での組み合わせ禁止項目がある。この場合の利用不可の情報は、画像形成装置１側で判定されるものであり、音声処理サーバ３では判定することができないものである。

【0057】

［音声処理サーバが禁則情報を取得する処理］
図５は、音声処理サーバ３が、追加情報としての禁則情報を画像形成装置１から取得する処理の流れを示すシーケンス図である。
図５に示すように、画像形成装置１は、電源がオンになると（ステップＳ１０１）、画像形成装置１内の制御部１２が、装置内の設定情報を読み出して、追加情報に相当する禁則判定情報を取得する（ステップＳ１０２）。

【0058】

取得した禁則判定情報は、画像形成装置１から音声処理サーバ３に伝送される（ステップＳ１０３）。音声処理サーバ３が受信した禁則判定情報は、制御部３１の制御で記憶部３１３に記憶される。

【0059】

［画像形成装置での処理］
図６は、画像形成装置１が禁則判定情報を送信する処理の流れを示すフローチャートである。
まず、画像形成装置１の制御部１２は、音声操作機能を起動する（ステップＳ１１）。音声操作機能が起動されると、制御部１２は、現在の画像形成装置１の各部の状態を確認し、装置情報を取得する（ステップＳ１２）。

【0060】

装置情報を取得した画像形成装置１の制御部１２は、取得した装置情報から、装置構成に変更があるか否かを判断する（ステップＳ１３）。
このステップＳ１３で、装置構成に変更があると判断された場合には（ステップＳ１３のＹＥＳ）、制御部１２は、新たな装置構成に基づいた禁則判定情報を生成する（ステップＳ１４）。

【0061】

そして、ステップＳ１３で、装置構成に変更がないと判断された場合（ステップＳ１３のＮＯ）と、ステップＳ１４で新たな禁則判定情報を生成した後に、制御部１２は、得られた禁則判定情報を、音声処理サーバ３に対して伝送する（ステップＳ１５）。
このようにして音声処理サーバ３に伝送された禁則判定情報は、音声処理サーバ３の記憶部３１３に追加情報として記憶される。

【0062】

以上説明したように、本実施形態例によると、音声操作時には、操作の内容に応じて、音声処理サーバ３で操作不可と判断される場合と、画像形成装置１で操作不可と判断される場合とが発生する。したがって、禁則判定は、音声処理サーバ３と画像形成装置１とで分担して行われるようになる。このため、音声処理サーバ３は、画像形成装置１についての禁則判定情報をすべて記憶する必要がなく、それだけ音声処理サーバ３の記憶部３１３１に記憶される情報量を削減することができると共に、音声処理サーバ３での判断処理の負担を軽減することができる。

【0063】

また、音声処理サーバ３が操作不可と判断した場合には、音声処理サーバ３は、画像形成装置１まで操作指令を伝送せずに、直接音声入出力装置２に伝送するので、それだけ迅速に音声入出力装置２のスピーカから、操作否の返答を迅速に出力できるようになる。
一方、画像形成装置１が禁則判定を行う際には、画像形成装置１まで通信が行われることで、音声処理サーバ３が直接判断する場合に比べて返答までの時間が多少長く必要である。しかしながら、このようなケースは、音声処理サーバ３が操作不可と判断できなかった一部の操作指示に限られるため、全体としては操作不可の返答の迅速化を図ることができる。

【0064】

＜第２の実施形態＞
次に、図７～図９を参照して、本発明の第２の実施形態に係る画像処理システムについて説明する。
本発明の第２の実施形態の画像処理システム１００の全体構成や、その画像処理システム１００内の画像形成装置１及び音声処理サーバ３の構成は、第１の実施形態で説明した図１及び図２の構成と同じであり、重複説明を省略する。

【0065】

図７は、本実施形態の画像処理システム１００で行われる画像形成装置１の音声操作の処理例を示すシーケンス図である。
まず、音声入出力装置２は、電源オンなどで音声操作の開始の処理が行われ（ステップＳ１１１）、音声入出力装置２から音声処理サーバ３に、音声操作開始の指示が伝送される（ステップＳ１１２）。音声処理サーバ３が音声操作開始の指示を受信したとき、音声処理サーバ３は、画像形成装置１に対して、音声操作開始の指示を送る（ステップＳ１１３）。

【0066】

音声操作開始の指示を受信した画像形成装置１は、自身の装置情報を取得する（ステップＳ１１４）。ここでの装置情報としては、装置自身が印刷可能かなどの基本的な状態の他に、各用紙トレイの用紙のサイズ、用紙の有無、用紙綴じ等を行うオプション機器の状態、紙詰まりの有無、等の様々な状況が含まれる。
また、画像形成装置１は、音声処理サーバ３との通信状態や音声処理サーバ３の処理速度などのクラウド環境を取得する（ステップＳ１１５）。このクラウド環境の取得は、画像形成装置１が音声処理サーバ３と通信を行って取得してもよいが、前回の通信時の履歴から応答時間などを取得して判断してもよい。

【0067】

そして、画像形成装置１は、取得したクラウド環境に基づいて、音声処理サーバ３に登録させる禁則判定の追加情報を生成し（ステップＳ１１６）、生成した禁則判定の追加情報を音声処理サーバ３に送信する（ステップＳ１１７）。音声処理サーバ３が受信した禁則判定の追加情報は、記憶部３１３（図２）に記憶される。この音声処理サーバ３に送信される追加情報は、ステップＳ１１４で判断した装置情報を反映したものである。

【0068】

このような処理が行われた上で、音声入出力装置２に音声入力があるとき（ステップＳ１１８）、音声情報が音声処理サーバ３に伝送される（ステップＳ１１９）。ここでの音声入力は、画像形成装置１での印刷などの設定を変更する操作を指示する音声である。
音声情報を受信した音声処理サーバ３は、記憶部３１３に記憶された画像形成装置１についての情報に基づいて、指示された操作内容が禁則処理に該当するか否かを確認する（ステップＳ１２０）。

【0069】

このステップＳ１２０で、禁則処理に該当しないと判断されたとき、音声処理サーバ３は、有効な設定としての音声操作による設定変更の指令を画像形成装置１に送信する（ステップＳ１２１）。この設定変更の指令を受信した画像形成装置１は、指示された設定変更が、現在の装置の状態から禁則処理に該当するか否かを確認する（ステップＳ１２２）。

【0070】

また、ステップＳ１２１で設定変更の指令を画像形成装置１に送信すると同時に、音声入出力装置２に、設定結果の情報を回答する（ステップＳ１２３）。ここでは、ステップＳ１２０で、禁則処理に該当しないと判断しているため、音声処理サーバ３は、変更内容についての回答を行う。例えば、「××についての設定を受け付けました。」との音声情報を回答する。また、ステップＳ１２０で、禁則処理に該当していると判断された場合には、無効な設定である旨の回答を行い、ステップＳ１２１での画像形成装置１に対する指令は行わない。例えば、「××についての設定は無効です。」との音声情報を回答する。

【0071】

そして、ステップＳ１２３の回答を受信した音声入出力装置２は、回答内容を音声として出力する（ステップＳ１２４）。すなわち、音声入出力装置２は、変更内容についての音声、又は無効な設定であることの音声を出力する。

【0072】

一方、ステップＳ１２２で指示された設定変更が禁則処理に該当するか否かの確認で、装置の現在の状態から禁則処理に該当すると判断したとき、画像形成装置１は、音声処理サーバ３を経由して音声入出力装置２に対して、無効な設定を示す設定結果を回答する（ステップＳ１２５）。すなわち、「××についての設定は無効です。」との音声情報を回答する。この設定結果の回答を受信した音声入出力装置２は、受信した設定が無効であることの音声をスピーカから出力する。

【0073】

図８は、本実施形態での画像形成装置１の処理例を示すフローチャートである。
画像形成装置１の制御部１２（図２）は、音声処理サーバ３からの指令で音声操作が起動したか否かを判断する（ステップＳ２１）。このステップＳ２１で、音声操作が起動されていないと判断された場合には（ステップＳ２１のＮＯ）、ステップＳ２１の判断を繰り返す。

【0074】

ステップＳ２１で、音声操作が起動したと判断した場合は（ステップＳ２１のＹＥＳ）、画像形成装置１の制御部１２は、画像形成装置１の現在の状況に基づいて装置情報を取得し（ステップＳ２２）、続いて制御部１２は、音声処理サーバ３側のクラウド環境を取得する（ステップＳ２３）。

【0075】

そして、画像形成装置１の制御部１２は、ステップＳ２３で取得したクラウド環境に基づいて、ステップＳ２２で取得した装置情報の内から、音声処理サーバ３に対して登録させる禁則判定の追加情報を生成する（ステップＳ２４）。ここでは、例えば取得したクラウド環境から音声処理サーバ３と画像形成装置１との通信速度が遅い状況のとき、登録させる禁則判定の追加情報を比較的多い情報量とする。
ステップＳ２４で生成した禁則判定の追加情報は、画像形成装置１の制御部１２の制御で、音声処理サーバ３に送信され、音声処理サーバ３に記憶される（ステップＳ２５）。

【0076】

図９は、本実施形態での音声処理サーバ３の処理例を示すフローチャートである。
音声処理サーバ３の制御部３１は、音声入出力装置２からの指示による音声操作が起動した否かを判断する（ステップＳ３１）。このステップＳ３１で、音声操作が起動されていないと判断された場合（ステップＳ３１のＮＯ）、ステップＳ３１の判断を繰り返す。

【0077】

ステップＳ３１で、音声操作が起動したと判断した場合には（ステップＳ３１のＹＥＳ）、音声処理サーバ３の制御部３１は、起動した音声入出力装置２に対応した画像形成装置１について記憶した禁則情報を、記憶部３１３から取得する（ステップＳ３２）。また、このとき、画像形成装置１から禁則情報の送信がある場合には、その送信された禁則情報を記憶部３１３に記憶する。
その後、音声処理サーバ３の制御部３１は、音声入出力装置２からの音声指示を受信した否かを判断する（ステップＳ３３）。このステップＳ３３の判断で、音声指示を受信しない場合（ステップＳ３３のＮＯ）、ステップＳ３３の判断を繰り返す。

【0078】

そして、ステップＳ３３で、音声指示を受信したと判断された場合（ステップＳ３３のＹＥＳ）、音声処理サーバ３の制御部３１は、指示した受信内容、例えば印刷の設定の指示が、ステップＳ３２で取得した禁則情報に該当するか否かを確認する（ステップＳ３４）。
ステップＳ３４における確認の後、音声処理サーバ３の制御部３１は、指示した受信内容が有効か、又は禁則情報に該当するかを判断する（ステップＳ３５）。ステップＳ３４で、有効であると判断された場合には（ステップＳ３５のＹＥＳ）、音声処理サーバ３の制御部３１は、音声指示による設定情報を画像形成装置１に送信する（ステップＳ３６）。このとき、必要により設定を受け付けたことを音声入出力装置２に対して回答してもよい。
また、ステップＳ３４で、禁則に該当すると判断された場合には（ステップＳ３５のＮＯ）、無効な設定である旨の回答を、音声入出力装置２に対して行う（ステップＳ３７）。

【0079】

以上説明したように、本実施の形態例のように、音声処理サーバ３が回答処理を行う内容を、画像形成装置１からの情報に基づいて動的に設定することで、音声処理サーバ３が迅速に回答処理できる内容が適切に設定され、音声処理サーバ３と画像形成装置１とで音声操作サービス時の操作禁止通知処理を分担する処理が良好に行えるようになる。特にクラウド環境を取得して音声処理サーバ３が保持する禁則情報を追加することで、ネットワークの混雑等により通信速度が遅いような状況や、ネットワークを経由した回答に時間がかかるような状況での回答処理を迅速化でき、ユーザが音声で指示してからの回答までの時間の短時間化に貢献する。

【0080】

＜第３の実施形態＞
次に、図１０～図１１を参照して、本発明の第３の実施形態に係る画像処理システムについて説明する。
本発明の第３の実施形態の画像処理システム１００の全体構成や、その画像処理システム１００内の画像形成装置１及び音声処理サーバ３の構成は、第１の実施形態で説明した図１及び図２の構成と同じであり、重複説明を省略する。

【0081】

図１０は、本実施形態の画像処理システム１００で行われる画像形成装置１の音声操作の処理例を示すシーケンス図である。
音声入出力装置２に音声入力があるとき（ステップＳ１３１）、音声情報が音声処理サーバ３に伝送される（ステップＳ１３２）。ここでの音声入力は、画像形成装置１での印刷などの設定を変更する操作を指示する音声である。
音声情報を受信した音声処理サーバ３は、記憶部３１３に記憶された画像形成装置１についての情報に基づいて、指示された操作内容が禁則処理に該当するか否かを確認する（ステップＳ１３３）。

【0082】

このステップＳ１３３で、禁則処理に該当しないと判断したとき、音声処理サーバ３は、有効な設定としての音声操作による設定変更の指令を画像形成装置１に送信する（ステップＳ１３４）。この設定変更の指令を受信した画像形成装置１は、自身の装置情報を取得する（ステップＳ１３５）。ここでの装置情報には、装置自身が印刷可能かなどの基本的な状態の他に、各用紙トレイの用紙のサイズ、用紙の有無、用紙綴じ等を行うオプション機器の状態、紙詰まりの有無、等の様々な状況が含まれる点は、第２の実施形態での図７のステップＳ１１４での処理と同じである。

【0083】

また、画像形成装置１の制御部１２は、音声処理サーバ３との通信状態や音声処理サーバ３の処理速度などのクラウド環境を取得する（ステップＳ１３６）。このクラウド環境の取得は、画像形成装置１が音声処理サーバ３と通信を行って取得してもよいが、この場合にも、前回の通信時の履歴から応答時間などを取得して判断してもよい。

【0084】

そして、画像形成装置１の制御部１２は、ステップＳ１３５で受信した設定が、禁則に該当するか否かを判定する（ステップＳ１３７）。この判定が禁則に該当しない場合には、画像形成装置１は、該当する設定変更を実行し、禁則に該当する場合には、音声処理サーバ３側に設定変更できない旨の回答を行う点は、第２の実施形態と同じであるので、これらの処理は図１０では省略している。

【0085】

そして、ステップＳ１３７で、禁則に該当したと判定された場合は、画像形成装置１の制御部１２は、このとき判断した禁則に関する情報を、禁則判定追加情報として、音声処理サーバ３に伝送する（ステップＳ１３８）。この禁則判定追加情報を受信した音声処理サーバ３では、受信した追加の禁則判定情報が記憶部３１３に記憶される。

【0086】

図１１は、画像形成装置１での処理例を示すフローチャートである。
画像形成装置１の制御部１２（図２）は、音声処理サーバ３から音声操作による指令を受信したか否かを判断する（ステップＳ４１）。このステップＳ４１で、音声操作による指令を受信しないと判断された場合には（ステップＳ４１のＮＯ）、ステップＳ４１の判断を繰り返す。

【0087】

ステップＳ４１で、音声操作が起動したと判断されたときは（ステップＳ４１のＹＥＳ）、画像形成装置１の制御部１２は、画像形成装置１の現在の状況に基づいて装置情報を取得し（ステップＳ４２）、続いて制御部１２は、音声処理サーバ３側のクラウド環境を取得する（ステップＳ４３）。

【0088】

そして、画像形成装置１の制御部１２は、ステップＳ４３で取得したクラウド環境と、ステップＳ４１で受信した設定変更の情報に基づいて、ステップＳ４２で取得した装置情報の内から、音声処理サーバ３に対して登録させる禁則判定の追加情報を生成する（ステップＳ４４）。
ステップＳ４４で生成した禁則判定の追加情報は、画像形成装置１の制御部１２の制御で、音声処理サーバ３に送信され、音声処理サーバ３の記憶部３１３に記憶される（ステップＳ４５）。

【0089】

＜第４の実施形態＞
次に、図１２～図１４を参照して、本発明の第４の実施形態に係る画像処理システムについて説明する。
本発明の第４の実施形態の画像処理システム１００の全体構成や、その画像処理システム１００内の画像形成装置１及び音声処理サーバ３の構成は、以下に説明する相違点を除いて、第１の実施形態で説明した図１及び図２の構成と同じであり、重複説明を省略する。

【0090】

図１２は、本発明の第４の実施形態の画像処理システム１００の全体構成例を示す。
図１２に示す画像処理システム１００は、機器管理サーバ４がネットワークＮに接続された点が、図１で説明した画像処理システム１００と相違する。
すなわち、図１２に示す画像処理システム１００は、画像形成装置１と、音声入出力装置２と、音声処理サーバ３と、機器管理サーバ４とを備える。

【0091】

機器管理サーバ４は、ネットワークＮに接続された画像形成装置１の装置情報（機器情報）を記憶する記憶部を備えて、装置情報を管理するサーバである。具体的には、図２に示す音声処理サーバ３では、記憶部３１３に画像形成装置１の装置情報が記憶されるのに対して、本実施形態では、機器管理サーバ４が画像形成装置１の装置情報の少なくとも一部を記憶するようにした。

【0092】

したがって、音声処理サーバ３は、音声入出力装置２から音声情報が供給されたとき、その音声情報を操作指令に変換して、機器管理サーバ４に送信する処理を行う。また、音声処理サーバ３は、機器管理サーバ４から音声操作の応答などの情報を受信したとき、その応答の情報をユーザに伝える音声情報を生成して、音声入出力装置２に伝送する処理を行う。

【0093】

また、機器管理サーバ４は、画像形成装置１の装置情報を記憶して、音声処理サーバ３から操作指令を受信したとき、該当する操作指令が実行可能かを判断して、該当する操作指令が実行可能な場合に、画像形成装置１への操作の指示を行う。また、該当する操作指令が実行できない場合に、音声処理サーバ３への回答を行う。
但し、後述するように、音声処理サーバ３で判断可能な一部の情報については、音声処理サーバ３で直接判断して、音声入出力装置２に返答を送信する処理を行う。

【0094】

図１３は、本実施形態の画像処理システム１００の音声処理サーバ３及び機器管理サーバ４での処理例を示すシーケンス図である。
まず、画像形成装置１が電源オンになったとする（ステップＳ１４１）。このとき、画像形成装置１は、装置構成から決まる禁則情報を機器管理サーバ４に送信する（ステップＳ１４２）。ここでの禁則情報は、カラー印刷が不可、両面印刷が不可、等の情報である。
その後、画像形成装置１は、自身の装置情報を取得する（ステップＳ１４３）。ここでの装置情報としては、各用紙トレイの用紙のサイズ、用紙の有無、用紙綴じ等を行うオプション機器の状態、紙詰まりの有無、等の様々な状況に応じた情報である。

【0095】

そして、画像形成装置１は、取得した装置情報に基づいて、現在の装置の状況を、警告情報として機器管理サーバ４に伝送する（ステップＳ１４４）。機器管理サーバ４は、受信した警告情報を記憶する。
また、機器管理サーバ４は、音声処理サーバ３との通信状態や通信速度などのクラウド環境を取得する（ステップＳ１４５）。

【0096】

ここで、音声処理サーバ３から音声情報に基づいた指令（有効な設定の指令）が機器管理サーバ４に伝送されたとき（ステップＳ１４６）、その指令が機器管理サーバ４から画像形成装置１に伝送される（ステップＳ１４７）。
また、機器管理サーバ４では、ステップＳ１４２で取得した禁則情報と、ステップＳ１４５で取得したクラウド情報に基づいて、音声処理サーバ３に送信する禁則判定追加情報を生成する（ステップＳ１４８）。そして、機器管理サーバ４は、生成した禁則判定追加情報を、音声処理サーバ３に送信する（ステップＳ１４９）。このとき音声処理サーバ３に送信された禁則判定追加情報は、音声処理サーバ３内に記憶させる。

【0097】

図１４は、機器管理サーバ４での処理例を示すフローチャートである。
機器管理サーバ４は、画像形成装置１から警告情報としての装置情報を取得する（ステップＳ５１）。また、機器管理サーバ４は、音声処理サーバ３との通信状態や通信速度などのクラウド環境を取得する（ステップＳ５２）。
そして、機器管理サーバ４は、音声処理サーバ３から設定についての指令を受信したか否かを判断する（ステップＳ５３）。このステップＳ５３で、設定についての指令を受信しないと判断した場合（ステップＳ５３のＮＯ）、機器管理サーバ４は、ステップＳ５１の処理に戻る。

【0098】

また、ステップＳ５３で、設定についての指令を受信したと判断した場合（ステップＳ５３のＹＥＳ）、機器管理サーバ４は、受信した設定が禁則に該当しない場合に画像形成装置１に送信する（ステップＳ５４）。その後、機器管理サーバ４は、受信した警告情報とクラウド環境に基づいて禁則判定追加情報を生成し（ステップＳ５５）、生成した禁則判定情報を音声処理サーバ３に送信する（ステップＳ５６）。

【0099】

このようにして、音声処理サーバ３と機器管理サーバ４とで、禁則情報の判断を分担すると共に、音声処理サーバ３が記憶する禁則情報をクラウド環境に応じて随時更新することで、音声入出力装置２がユーザからの音声を受け付けてから応答するまでの時間を適切に短縮できるようになる。

【0100】

＜各種変形例＞
なお、本発明は上述した実施形態に限られるものではなく、特許請求の範囲に記載した本発明の要旨を逸脱しない限りにおいて、その他種々の応用例、変形例を取り得る。

【0101】

上述した各実施形態では、音声入出力装置２としてスマートスピーカが用いられる例を挙げたが、本発明はこれに限定されない。音声入出力装置２として、携帯電話端末やスマートフォンなどのユーザが所持した携帯端末装置が用いられてもよい。

【0102】

また、画像形成装置１の操作に関する回答は、音声入出力装置２（スマートスピーカ）から出力するようにしたが、画像形成装置１が禁則に該当すると判断したときには、画像形成装置１が備えるスピーカから、設定不可の応答の音声又は警告音を出力してもよい。この画像形成装置１内のスピーカからの応答の音声又は警告音の出力は、音声入出力装置２からの応答の音声出力と並行して行うようにしてもよい。あるいは、画像形成装置１内のスピーカからの応答の音声出力を行った場合には、音声入出力装置２からの応答の音声出力は行わないようにしてもよい。
また、画像形成装置１が禁則に該当すると判断したときには、画像形成装置１が備える操作パネル上で、操作や設定の不可を表示してもよい。

【0103】

さらに、上述した各実施形態例で説明した音声処理サーバ３又は機器管理サーバ４と、画像形成装置１とで音声操作サービス時の操作禁止通知処理を分担して行う例を、それぞれ好適な一例を示したものであり、別の観点から各サーバ３，４と画像形成装置１とで音声操作サービス時の操作禁止通知処理を分担してもよい。例えば、音声操作が行われる頻度が高い項目について、音声処理サーバ３又は機器管理サーバ４が禁則情報を記憶し、音声操作が行われる頻度が低い項目について、画像形成装置１が禁則の判断を行うようにしてもよい。この音声操作が行われる頻度は、例えば過去の音声操作履歴に応じて判断する。このように頻度に応じて分担する場合にも、各サーバ３，４と画像形成装置１とで音声操作サービス時の操作禁止通知処理を分担する際の分担内容が、音声操作履歴の変化に応じて動的に変化することになる。

【0104】

また、上述した各実施形態例では、画像形成装置１での電源オン時や、システム１００での音声操作機能の開始時などの起動時点での機能又は構成に基づいた追加情報を取得して、サーバ３，４に送るようにした。これに対して、画像形成装置１では、装置自身の状況に変化があるかを常に監視して、装置自身の状況に変化があったときに、サーバ３、４に追加又は変更された禁則情報をサーバ３，４に送るようにしてもよい。

【0105】

また、上述した各実施形態例で説明した各サーバ３，４や画像形成装置１での処理は、その処理手順を実行するプログラムとして構成して、既存のサーバや画像形成装置に実装することで、既存のサーバや画像形成装置を、本発明の画像処理システム１００として構成してもよい。プログラムは、半導体メモリや各種ディスクなどの記録媒体に格納することができる。あるいは、インターネット等の伝送媒体を介して、サーバや画像形成装置にプログラムを配布してもよい。

【符号の説明】

【0106】

１…画像形成装置、２…音声入出力装置、３…音声処理サーバ、１１…通信部、１２…制御部、１３…画像形成部、１４…音声応答処理部、１５…音声出力部、１６…操作表示部、３１…制御部、３２…通信部、３３…音声解析部、１００…画像処理システム

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】